Phase 0-2: Schema cleanup, typed relations, event-driven automation

- Phase 0: AGENTS.md cleanup (dedup quotes, renumber sections, merge qmd) - Phase 1: typed relations (manage-relations.py, graph-search.py, check-staleness.py, detect-conflicts.py) - Phase 2: frontmatter validator, weekly lint, knowledge promotion, git hooks - Fix .gitignore to track tools/ and .githooks/ - Fix git remote URL (remove plaintext token) - New wiki pages: 504 pages, 34 raw sources
2026-07-01 08:05:43 +08:00
parent e544d6e04a
commit a6f05ab2d5
1067 changed files with 522992 additions and 819 deletions
@@ -0,0 +1,144 @@
+---
+categories:
+  - "[[LLM Wiki]]"
+tags:
+  - wiki
+  - 教学大模型
+  - 高等教育
+  - 有效性评估
+  - 评估框架
+created: 2026-04-16
+source: "[[raw/教育AI研究/高等教育教学大模型有效性评估研究报告-2026-04-15.md]]"
+type: concept
+aliases:
+  - 教学大模型有效性
+  - AI教育评估
+  - 高等教育AI评估
+---
+
+# 教学大模型有效性评估
+
+> **一句话定义**：评估教学大模型在高等教育中应用的系统性框架，涵盖学习成果、教学效率、学生参与度、投资回报率四个维度
+
+## 定义
+- [[Khanmigo]]
+- [[以人为本AI教育观]]
+
+教学大模型有效性评估是一个系统化框架，用于评估AI在高等教育中的应用效果。从学习成果、教学效率、学生参与度和投资回报率四个维度进行量化评估，为高校选择、部署和优化AI教学工具提供科学依据。
+
+## 关键要点
+
+### 关键指标
+
+- **学习效率提升**: 平均40%-80%
+- **教师工作量节省**: 每周5-9小时
+- **投资回报率**: 100%-280%
+- **用户接受度**: 80%-90%
+
+### 四维评估体系
+
+#### 1. 学习成果评估（Learning Outcomes）
+
+- 标准化测试成绩对比
+- 技能掌握率项目评估
+- 知识图谱覆盖度验证
+- 毕业率就业质量
+
+#### 2. 教学效率评估（Teaching Efficiency）
+
+- 教师时间节省（备课/批改）
+- 课程开发速度内容生成
+- 答疑响应时间实时支持
+- 管理效率数据统计
+
+#### 3. 学生参与度评估（Student Engagement）
+
+- 使用频率登录/互动
+- 学习时长视频/练习
+- 满意度调查Likert量表
+- 学习行为深度/广度
+
+#### 4. 投资回报率评估（ROI）
+
+- 教师时间价值节省工时×时薪
+- 学生价值保留率×学费
+- 运营效率自动化成本
+- 长期价值战略竞争力
+
+### 量化评估指标体系
+
+| 评估维度 | 关键指标 | 测量方法 | 基准值 | 优秀阈值 |
+|---------|---------|---------|--------|----------|
+| **学习成果** | 成绩提升 | 标准化前后测 | 0% | >20% |
+| **学习成果** | 技能掌握 | 项目评分 | 70分 | >85分 |
+| **学习成果** | 知识覆盖度 | 知识图谱验证 | 60% | >90% |
+| **教学效率** | 教师时间节省 | 时间日志分析 | 2小时/周 | >5小时/周 |
+| **教学效率** | 答疑响应 | 响应时间追踪 | 24小时 | <1小时 |
+| **教学效率** | 批改速度 | 批改时长对比 | 10分钟/份 | <2分钟/份 |
+| **学生参与度** | 使用频率 | 登录日志统计 | 1次/周 | >3次/周 |
+| **学生参与度** | 学习时长 | 平台时长统计 | 2小时/周 | >5小时/周 |
+| **学生参与度** | 满意度 | 问卷调查(1-5分) | 3.5分 | >4.2分 |
+| **投资回报率** | 净ROI | (收益-成本)/成本 | 0% | >100% |
+| **投资回报率** | 回收期 | 投资额/年收益 | 36个月 | <18个月 |
+
+### 实际ROI案例
+
+| 项目名称 | 投资额 | 年收益 | 净ROI | 回收期 | 数据来源 |
+|---------|-------|-------|-------|--------|---------|
+| AI学习平台(5000学生) | $2.23M | $30.7M | 280% | 14个月 | APP IT Software |
+| ibl.ai学术咨询 | $0.5M | $5.5M | 1087% | 12天 | ibl.ai官网 |
+| Tutor CoPilot(1000导师) | $0.24M | $0.26M | 8.3% | 1.5年 | Tutor CoPilot研究 |
+| 北邮"码上"平台 | ¥500万 | ¥1500万 | 200% | 8个月 | 北邮实验报告 |
+| 清华AI助教系统 | ¥1000万 | ¥3000万 | 200% | 12个月 | 清华调研报告 |
+| Georgia Tech项目 | $1M | $1.25M | 25% | 3.8年 | Georgia Tech报告 |
+
+### 实施策略
+
+#### 分步推进策略
+
+1. **阶段0（顶层设计，0-3个月）**：制定AI教育战略、成立专项工作组、发布政策指南
+2. **阶段1（试点先行，4-6个月）**：选择2-3个场景、小范围验证、收集反馈迭代
+3. **阶段2（扩大推广，7-12个月）**：扩展到更多院系、建立平台支撑、开展教师培训
+4. **阶段3（全面推广，12-24个月）**：全校覆盖、制度化常态化、生态建设
+
+#### 技术部署策略对比
+
+| 部署方式 | 适用场景 | 优势 | 挑战 | 成本结构 |
+|---------|---------|------|------|---------|
+| **云端部署** | 弹性需求、快速扩展 | 快速部署、按需付费 | 数据安全可控性低 | API调用费用 |
+| **本地部署** | 敏感数据、合规要求高 | 数据不出校、完全掌控 | 初始投入高、运维成本 | 硬件+软件+维护 |
+| **混合部署** | 平衡成本与安全 | 灬活性高、成本优化 | 架构复杂度增加 | 云端API+本地大模型 |
+| **边缘部署** | 低延迟、实时处理 | 快速响应、减少传输 | 资源受限 | 边缘设备+集中管理 |
+
+#### 关键成功因素
+
+- 领导重视（高层明确表态）
+- 跨部门协同（多部门合作）
+- 产学研结合（与企业深度合作）
+- 教师培训先行（提升AI素养）
+- 学生参与共建（通过比赛/志愿者）
+- 数据安全优先（校内部署保障）
+- 持续迭代（基于数据反馈优化）
+
+### 风险管控框架
+
+| 风险类型 | 应对策略 |
+|---------|---------|
+| **学术诚信风险** | 明确边界、制定AI使用指南 |
+| **数据安全风险** | 过程评估、超越结果检测 |
+| **技术依赖风险** | 技术保障、AI-resistant设计 |
+| **公平性风险** | 教育引导、AI素养培训 |
+
+## 与其他概念的关系
+
+- [[教育AI研究项目]] — 本项目的主研究项目
+- [[高等教育AI专题]] — 高等教育AI专题研究
+- [[教学大模型发展状况]] — 教学大模型发展状况调研
+- [[Khan Academy]] — Khanmigo产品案例
+- [[OpenAI]] — GPT-4 Edu产品案例
+- [[哈佛大学AI教学项目]] — 哈佛AI助教实验案例
+- [[斯坦福大学AI教学项目]] — 斯坦福AI Tutoring研究案例
+
+## 来源
+
+- [[raw/教育AI研究/高等教育教学大模型有效性评估研究报告-2026-04-15.md]] — 教学大模型有效性评估研究报告