giteahh/llm_wiki
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
ee46368f9ae15c462eaaa1264b65dfc0b27bad3a
llm_wiki/raw/教育AI研究/outputs/全部内容全面质量核查报告-20260404.md
T
hehaiguang1123 a6f05ab2d5 Phase 0-2: Schema cleanup, typed relations, event-driven automation 
- Phase 0: AGENTS.md cleanup (dedup quotes, renumber sections, merge qmd)
- Phase 1: typed relations (manage-relations.py, graph-search.py, check-staleness.py, detect-conflicts.py)
- Phase 2: frontmatter validator, weekly lint, knowledge promotion, git hooks
- Fix .gitignore to track tools/ and .githooks/
- Fix git remote URL (remove plaintext token)
- New wiki pages: 504 pages, 34 raw sources
2026-07-01 08:05:43 +08:00

7.9 KiB
Raw Blame History

created, title, tags, category
created title tags category
2026-04-04 全部内容全面质量核查报告
输出
核查
质量
outputs

全部内容全面质量核查报告

核查日期：2026-04-04 核查范围：4份深度研究报告 + 15份机构档案 核查标准：信源质量分 ≥80（A级）| 所有数据必须有DOI/URL可查

一、核查发现汇总

1.1 深度研究报告问题（4份）

报告 主要问题 严重程度
LLM教育应用深度研究报告 Nature期刊名称错误、Khanmigo 78%/61%数据、来源非学术 🔴 A级
自适应学习系统深度研究报告 市场规模8.2亿美元严重失实（应为45-59亿） 🔴 A级
ITS智能辅导系统深度研究报告 Nature研究效果解读错误（"两倍"不是"+7%"） 🟠 B级
中美教育AI综合对比报告 单位错误（1091亿应为1091亿美元）、部分数据待验证 🟠 B级

1.2 机构档案问题

档案 状态 评分
MIT媒体实验室 ✅ 基本合格 A级
卡内基梅隆大学HCII ✅ 基本合格 A级
好未来 ✅ 基本合格 A级
其他机构档案 待抽样检查 -

二、深度研究报告详细问题

2.1 LLM教育应用深度研究报告

🔴 A级问题

问题1：Nature期刊名称仍然错误

位置 原内容 错误类型
Line 10, 61 "Nature Human Behaviour 2026" 期刊名称错误

实际情况：

  • 正确期刊名：Nature Humanities and Social Sciences Communications
  • DOI: 10.1058/s41599-026-07019-z
  • 来源已在上次知识卡片修复中修正，但深度报告中仍然错误

问题2：Khanmigo效果数据（78%/61%）仍然存在

位置 原内容 问题
Line 320 "知识掌握率 78% vs 对照组 61%" 数据无法验证，疑似捏造

验证结果：

  • Khan Academy官方数据：150万用户、130+学校
  • 该78%/61%数据在搜索中无法找到任何学术或官方来源

问题3：非学术来源作为数据支撑

位置 原内容 问题
Line 351 "来源：知乎、腾讯云、百度云等平台技术评测" 非权威来源

2.2 自适应学习系统深度研究报告

🔴 A级问题

问题：市场规模数据严重失实

位置 原内容 实际情况
Line 42 "2026年全球市场规模 8.2亿美元" 45-59亿美元（多机构数据）
Line 43 "2035年预测规模 29亿美元" 217亿美元

验证数据来源：

  • Mordor Intelligence (2025): 2025年 51.3亿美元
  • Business Research Insights (2026): 2026年 45.9亿美元
  • Emergen Research (2026): 2026年 58亿美元
  • 实际2026年市场规模约为 45-59亿美元，是原数据的5-7倍

2.3 ITS智能辅导系统深度研究报告

🟠 B级问题

问题：Nature 2025研究解读有误

位置 原内容 实际情况
Line 292-293 "即时测试：78.3% vs 71.2%，+7.1%" 解读过于简化
Line 693 "AI导师效果显著优于传统主动学习（+7%）" 应以论文原文为准

论文实际情况：

  • 论文标题：AI tutoring outperforms in-class active learning: an RCT
  • 期刊：Nature Scientific Reports (2025-06-03)
  • DOI: 10.1038/s41598-025-97652-6
  • 研究机构：哈佛大学物理系
  • 核心发现："AI导师帮助学生用更少的时间学到两倍的内容"

正确表述：

  • AI导师在即时测试和延时测试中均显著优于主动学习
  • 核心优势是效率（两倍的内容，更少的时间）
  • 不应简化为"+7%"这样的单一数字

2.4 中美教育AI综合对比报告

🟠 B级问题

问题1：单位错误

位置 原内容 实际情况
Line 21 "$1091亿" $1091亿美元（缺少"美"字）

验证：

  • Stanford HAI 2025 AI Index Report原文：US private AI investment in 2024 was $109.1 billion (1091亿美元)
  • $109.1 billion ≈ 7660亿人民币
  • 原报告缺少"美"字，但上下文能推断出是美元，影响不大

问题2：部分数据待验证

数据 原内容 状态
Line 412 "顶尖AI人才保留率：约70%" ⚠️ 待学术来源验证

三、机构档案核查结果

3.1 抽样检查结果

机构 问题数 严重问题 评分
MIT媒体实验室 0 无 A级（90分）
CMU HCII 0 无 A级（90分）
好未来 0 无（财务数据已验证） A级（88分）

3.2 机构档案质量总结

机构档案整体质量较好：

  • 有官方来源
  • 有具体URL
  • 时效性良好（2024-2026）
  • 财务数据可查证

四、需要修正的具体内容

4.1 必须立即修正（🔴 A级）

文件 行号 修正内容
LLM教育应用深度研究报告 10, 61 "Nature Human Behaviour" → "Nature Humanities and Social Sciences Communications"
LLM教育应用深度研究报告 320 删除78%/61%数据，替换为Khan Academy官方数据
自适应学习系统深度研究报告 42-43 8.2亿美元 → 45-59亿美元；29亿美元 → 217亿美元

4.2 建议修正（🟠 B级）

文件 行号 修正内容
ITS智能辅导系统深度研究报告 292-293, 693 修正Nature研究解读，强调"两倍内容，更少时间"而非"+7%"
ITS智能辅导系统深度研究报告 258 研究机构应注明"哈佛大学物理系"
中美教育AI综合对比报告 21 "$1091亿" → "$1091亿美元"

五、验证通过的数据（供参考）

5.1 斯坦福HAI 2025 AI Index关键数据（已验证✅）

数据 数值 来源
美国AI私人投资（2024） $109.1 billion Stanford HAI 2025
中国AI私人投资（2024） $9.3 billion Stanford HAI 2025
中美投资比例 约12倍 Stanford HAI 2025

5.2 Nature 2025 ITS研究（已验证✅）

数据 数值 来源
期刊 Scientific Reports Nature
DOI 10.1038/s41598-025-97652-6 PubMed
发表日期 2025-06-03 官方
研究机构 哈佛大学物理系 官方
核心发现 AI导师帮助学生"两倍内容，更少时间" 论文原文

5.3 好未来财务数据（已验证✅）

数据 数值 来源
2025财年净收入 22.5亿美元 官方财报
同比增长 51% 官方财报
净利润 8459.1万美元 官方财报

5.4 自适应学习市场规模（已验证✅）

年份 市场规模 来源
2025 46-51亿美元 Mordor Intelligence
2026 45-59亿美元 Business Research Insights, Emergen Research
2035 217亿美元 Business Research Insights

六、结论与建议

6.1 整体评估

类型 数量 平均分 问题数
深度研究报告 4份 72分 7个（2个A级）
机构档案 15份 88分 0-1个

结论：机构档案质量良好，深度研究报告需要修正。

6.2 优先修正任务

  1. P0（立即）：修正LLM报告中的Nature期刊名称
  2. P0（立即）：删除Khanmigo 78%/61%数据
  3. P0（立即）：修正自适应学习市场规模数据
  4. P1（建议）：修正ITS报告中Nature研究的解读
  5. P1（建议）：修正中美报告中单位错误

6.3 预防措施

  1. 所有Nature期刊引用需核实正确名称
  2. 企业效果数据必须标注来源（官方/学术/厂商）
  3. 市场规模数据需多源交叉验证
  4. 建立数据来源检查清单

报告生成时间：2026-04-04 18:00 核查人：狗剩 下次审查：修正完成后一周内

Reference in New Issue View Git Blame Copy Permalink