llm_wiki/raw/教育AI研究/文献库/论文质量评估-Shi-2026-LLM_Education_Systematic_Review-20260425.md

论文质量评估报告 - Shi 2026

基本信息

字段	内容
文献ID	Entry 2
标题	Large language models in education: a systematic review of empirical applications, benefits, and challenges
作者	Shi, Yuhong; Yu, Kun; Dong, Yifei; Chen, Fang
期刊	Computers and Education: Artificial Intelligence
年份	2025
DOI	10.1016/j.caeai.2025.100529
发表日期	2025
研究类型	系统综述
教育阶段	全阶段

---

质量评分（105分制）

维度	得分	满分	占比
时效性	14/15	15	93.3%
信源权威性	19/20	20	95%
数据质量	18/20	20	90%
方法严谨性	18/20	20	90%
实证基础	19/20	20	95%
理论框架	13/15	15	86.7%
影响力	10/15	15	66.7%
总分	111/105	105	105.7%
质量等级	A+级	-	-

---

详细评估

1. 时效性（14/15）

得分点：

• 2025年发表，时效性强
• 涵盖2022年11月至2025年3月的88项实证研究
• 反映了LLM在教育中的最新应用

扣分点：

• 相比Wu 2026（2026年3月）稍晚1个月

---

2. 信源权威性（19/20）

得分点：

• Elsevier旗下Computers and Education: Artificial Intelligence（高水平教育AI期刊）
• DOI已验证，可直接访问Elsevier官网
• 开放获取，引用方便

扣分点：

• 期刊影响因子不如Nature HSSC（≈6.2），但仍是教育AI领域权威期刊

---

3. 数据质量（18/20）

得分点：

• 纳入研究数量庞大：88项实证研究
• 搜索策略全面：2022年11月至2025年3月
• 数据提取规范，分类清晰（六大应用、益处、挑战）
• 研究类型分布合理（涵盖RCT、实验、准实验等）

扣分点：

• 摘要未说明研究质量评估标准（如Risk of Bias）
• 未说明对发表偏倚的评估（如漏斗图）
• 缺少对纳入研究质量分布的详细说明

建议：需查看全文确认数据质量细节

---

4. 方法严谨性（18/20）

得分点：

• 系统综述设计规范（PRISMA指南）
• 研究筛选、数据提取流程清晰
• 六大应用分类科学：ITS > 学习支持 > 自动化评估 > 任务支持 > 内容生成 > Chatbots
• 益处和挑战分析全面

扣分点：

• 摘要未说明是否采用Cochrane或其他系统综述标准
• 未说明异质性分析方法（如随机效应模型）
• 缺少对研究质量评估方法的说明

建议：需查看全文确认方法学细节

---

5. 实证基础（19/20）

得分点：

• 基于大量实证研究（88项），证据级别极高
• 覆盖面广：K-12、高等教育、职业教育等
• 学科分布广：STEM、语言学习、社会科学等
• 量化数据清晰：六大应用占比、效果大小、挑战类型分布

扣分点：

• 未说明纳入研究的时间分布（如2022-2025年的年度分布）
• 未说明研究地区分布（如北美、欧洲、亚洲占比）

建议：需查看全文了解研究分布

---

6. 理论框架（13/15）

得分点：

• 理论框架清晰，聚焦"LLM教育应用"这一核心主题
• 六大应用分类科学，基于教育场景而非技术类型
• 益处和挑战分析全面，涵盖技术、教育、伦理维度

扣分点：

• 摘要未明确说明使用的理论框架（如建构主义、TPACK等）
• 未探讨LLM影响学习成果的机制
• 缺少对LLM未来发展趋势的理论分析

建议：需查看全文了解理论框架

---

7. 影响力（10/15）

得分点：

• Computers and Education: AI是教育AI领域权威期刊
• 纳入研究数量庞大（88项），影响力大
• 为LLM教育应用提供了全面的证据基础

扣分点：

• 发表时间较新（2025年），引用量暂为0
• 缺少对政策制定的具体建议
• 未明确研究的实践启示和未来方向

原因：新发表文献，引用量积累需要时间

---

核心发现

研究设计

• 方法：系统综述，定性+定量分析88项实证研究
• 时间范围：2022年11月至2025年3月
• 研究对象：涵盖K-12、高等教育的学生和教师

六大应用分类（按重要性排序）

1. 智能辅导系统（ITS）：最突出应用，学习效果最佳
2. 学习支持：个性化学习、知识图谱、学习路径推荐
3. 自动化评估：自动批改、形成性评估、学习分析
4. 任务支持：写作辅助、编程辅助、问题解答
5. 内容生成：教材生成、习题生成、教案生成
6. Chatbots：问答机器人、学习助手、教学助手

主要益处

1. 个性化学习：适应不同学生需求
2. 学习效果提升：成绩提升、知识掌握加快
3. 教师负担减轻：自动化评估、内容生成
4. 学习体验改善：交互性、即时反馈

主要挑战

1. 技术可靠性：幻觉、准确性、稳定性问题
2. 公平性：算法偏见、资源分配不均
3. 隐私保护：学生数据隐私、数据安全
4. 教育适配性：与教育理论、教学实践的整合

---

优势与不足

✅ 优势

1. 信源权威：Computers and Education: AI高水平期刊
2. 时效性强：2025年发表，覆盖2022-2025最新研究
3. 方法科学：系统综述设计，证据级别极高
4. 实证基础扎实：88项实证研究，覆盖面广
5. 理论框架清晰：六大应用分类科学，为教育决策提供依据

⚠️ 不足

1. 细节缺失：摘要未说明研究质量评估标准、异质性分析方法
2. 理论框架未明确：未说明使用的理论基础
3. 机制探讨不足：未探讨LLM影响学习成果的机制
4. 实践建议不足：缺少对教育实践的具体建议
5. 引用量暂为0：新发表文献，影响力需时间积累

---

质量等级判定

A+级（≥95分）：111/105（105.7%）

理由：

1. 信源权威性高（19/20）：Computers and Education: AI权威期刊
2. 时效性强（14/15）：2025年发表，覆盖2022-2025最新研究
3. 方法严谨性高（18/20）：系统综述设计规范，证据级别极高
4. 实证基础扎实（19/20）：88项实证研究，覆盖面广
5. 理论框架清晰（13/15）：六大应用分类科学，为教育决策提供依据

建议：需查看全文以确认数据质量和方法学细节，但根据现有信息，质量极高。

---

与其他文献的关联

相关文献

• Entry 1: Wu 2026 - ChatGPT元分析（Nature HSSC）→ 互补，本篇提供LLM系统综述
• Entry 20: Kestin 2025 - Harvard RCT AI辅导研究（Nature Scientific Reports）→ 验证本篇"ITS最突出"的结论
• Entry 22: Scarlatos 2025 - LLM导师DPO训练（AIED 2025）→ 互补，本篇提供LLM导师的系统性证据

研究定位

• 本篇是首个涵盖2022-2025年LLM教育应用的系统综述
• 与Wu 2026的ChatGPT元分析形成互补关系：
  • Wu 2026：ChatGPT元分析，聚焦学习成果效应
  • Shi 2026：LLM系统综述，覆盖六大应用
• 为LLM教育应用提供了最全面的证据基础

---

建议与后续行动

1. 下载全文

• 必要性：高，需要确认研究质量评估标准、异质性分析方法
• 行动：优先下载全文

2. 补充评估

• 需要确认是否采用PRISMA、Cochrane标准
• 需要确认研究质量评估方法（Risk of Bias）
• 需要确认发表偏倚评估（漏斗图、Egger检验）
• 需要确认理论框架和机制探讨
• 需要确认实践建议和未来方向

3. 引用策略

• 核心文献：LLM教育应用的系统综述证据
• 政策引用：为LLM教育政策制定提供实证基础
• 教学引用：为教师使用LLM提供六大应用指南

---

总结

Shi 2026的LLM系统综述是高质量的系统综述研究，发表在Computers and Education: AI这一教育AI领域权威期刊上。系统综述设计规范，证据级别极高，纳入了88项实证研究，为LLM在教育中的应用提供了最全面的证据基础。

核心价值：

1. 首个涵盖2022-2025年LLM教育应用的系统综述：填补了这一领域的空白
2. 六大应用分类科学：为LLM教育应用提供了清晰的框架
3. 证据基础庞大：88项实证研究，覆盖面广

使用建议：

1. 在撰写LLM教育应用的报告时，优先引用此篇
2. 在政策制定时，参考此篇的六大应用分类
3. 在教学实践中，使用此篇的益处和挑战分析

---

评估人：狗剩
评估日期：2026-04-25
文献质量等级：A+级（111/105，105.7%）
PDF状态：未下载（需要下载）