Phase 0-2: Schema cleanup, typed relations, event-driven automation

- Phase 0: AGENTS.md cleanup (dedup quotes, renumber sections, merge qmd) - Phase 1: typed relations (manage-relations.py, graph-search.py, check-staleness.py, detect-conflicts.py) - Phase 2: frontmatter validator, weekly lint, knowledge promotion, git hooks - Fix .gitignore to track tools/ and .githooks/ - Fix git remote URL (remove plaintext token) - New wiki pages: 504 pages, 34 raw sources
2026-07-01 08:05:43 +08:00
parent e544d6e04a
commit a6f05ab2d5
1067 changed files with 522992 additions and 819 deletions
@@ -0,0 +1,245 @@
+---
+categories:
+  - "[[LLM Wiki]]"
+  - "[[知识卡片]]"
+tags:
+  - wiki
+  - concept
+  - 知识卡片
+  - AI-assessment
+  - automated-testing
+created: 2026-04-19
+source: "[[raw/教育AI研究\知识卡片\智能评测技术.md]]"
+type: concept
+aliases:
+  - AI-Assessed Assessment
+  - 智能评测技术
+  - Automated Assessment
+---
+
+# 智能评测技术
+
+> **一句话定义**：利用自然语言处理、机器学习和深度学习技术，自动或半自动评估学生学习成果，包括作文评分、口语评测、编程评测和多模态评测。
+
+## 核心定义
+
+**智能评测技术（AI-Assessed Assessment）**利用自然语言处理、机器学习和深度学习技术，自动或半自动评估学生学习成果，包括作文评分、口语评测、编程评测和多模态评测。
+
+## 评测系统架构
+
+```
+┌─────────────────────────────────────────────────────┐
+│              智能评测系统架构                │
+├─────────────────────────────────────────────────────┤
+│                                                │
+│  ┌────────────────────────────────────────────┐ │
+│  │        输入层                      │ │
+│  │  [作文文本] [口语录音] [代码文件]      │ │
+│  │        [多模态输入]                 │ │
+│  └────────────────────────────────────────────┘ │
+│                    ↓                      │
+│  ┌────────────────────────────────────────────┐ │
+│  │        特征提取层                   │ │
+│  │  ┌──────────┐ ┌──────────┐ ┌────────┐ │ │
+│  │  │ NLP模块   │ BKT模块   │ ASR模块 │ │ │
+│  │  │  [词汇]    │ [知识]    │ [语音]  │ │
+│  │  │ [语法]    │ [BKT]     │ [代码]  │ │
+│  │  │ [结构]    │ └────────┘ │ └────┘ │ │
+│  │  └──────────┴ ┌──────────────────────────────────┘ │
+│  │                ↓                               │
+│  │        模型评分层                        │
+│  │  ┌──────────┐ ┌──────────┐ ┌────────┐  │ │
+│  │  │ 评分模型  │ 预测模型 │ 可比模型 │ │ │
+│  │  │ [BERT]     │ [GPT-4]  │ [GPT-3]  │ │ │
+│  │  └────────┘  └────────┘ └────────┘ │ │
+│  │                 ↓                                 │
+│  │  ┌────────────────────────────────────┐ │
+│  │  │        后处理层                  │ │
+│  │  │  [置信度]   │ [异常检测] │ │ │
+│  │  │ └────────────────────────────────────┘ │
+│                                                │
+│  └─────────────────────────────────────────────────────┘
+```
+
+## 核心技术
+
+| 技术 | 应用 | 评分维度 |
+|------|------|----------|
+| **NLP自然语言处理** | 作文/答案理解 | 语义分析、主题建模 |
+| **贝叶斯知识追踪(BKT)** | 知识点掌握评估 | 能力评估 |
+| **深度学习(BERT)** | 特征表示学习 | 句法复杂度、内容相关度 |
+| **语音识别(ASR)** | 口语评测 | 语音转文字+流利度 |
+| **计算机视觉** | 图像/视频理解 | 手写识别、公式识别 |
+| **对抗神经网络** | 生成式对抗检测 | 作文原创性检测 |
+
+## 学术研究证据
+
+### LLM增强AES研究
+
+**Nature 2025研究**：
+- **论文**：An LLM-based hybrid approach for enhanced automated essay scoring
+- **DOI**: 10.1038/s41598-025-87862-3
+- **核心发现**：LLM混合方法显著提升AES准确率
+- **对比**：传统BERT基线vs LLM增强，准确率从70%提升到97-98%
+
+### 自动作文评分历史
+
+| 时期 | 技术 | 准确率 |
+|------|------|--------|
+| **2010年代** | 传统机器学习 | 70-75% |
+| **2015-2024** | BERT-based | 80-85% |
+| **2025-** | LLM hybrid | 97-98% |
+
+### ETS官方数据
+
+**来源**：ETS官方研究报告（2024）
+
+**关键数据**：
+- **人机平均一致率**：97-98%
+- **人类评分员间一致率**：因任务不同而异
+- **e-rater与人类对比**：e-rater作为AI辅助工具，人工复核
+
+## 评测类型详解
+
+### 1. 作文自动评分(AES)
+
+**Nature 2025 LLM混合方法创新**：
+
+**评分维度**：
+| 维度 | 说明 | 评估方法 |
+|------|------|----------|
+| **词汇丰富度** | 用词多样性 | Type-Token Ratio, VOCD |
+| **句法复杂度** | 句子结构 | 平均句长、从句比例 |
+| **内容相关度** | 内容切题度 | 语义相似度、主题相关性 |
+| **逻辑连贯性** | 论证逻辑 | 连词词使用、段落连贯性 |
+| **语法正确性** | 语法规范 | 语言错误检测 |
+
+### 2. 口语评测
+
+**技术流程**：
+```
+语音输入 → ASR语音识别 → 文本转写 → 口语评测
+     ↓
+语音纠正建议：音素级别、流利度、语调、语法
+     ↓
+评分：发音准确性、流利度、语法正确性、表达能力
+```
+
+### 3. 编程评测
+
+**分析类型**：
+- **输出测试**：代码比对、运行测试
+- **静态分析**：AST结构分析、复杂度分析
+- **风格检查**：命名规范、注释质量、代码组织
+
+### 4. 多模态评测
+
+**应用场景**：
+- 视频题分析：视频+图像+语音理解
+- 项目作品评估：多格式内容综合评估
+- 实验报告评分：实验过程+结果的综合评估
+
+## 代表系统
+
+### 国际系统
+
+| 系统 | 机构 | 评测类型 | 特色 |
+|------|----------|----------|------|
+| **ETS e-rater** | ETS | 作文评分 | 人机协同、辅助人类 |
+| **GPT-4** | OpenAI | 多类型评测 | 广泛应用 |
+| **Stanford AutoTutor** | 斯坦福 | 编程评测 | 即时反馈 |
+| **Write & Improve** | 剑桥 | 作文评分 | 引导式反馈 |
+
+### 中国系统
+
+| 系统 | 公司 | 评测类型 | 市场地位 |
+|------|------|----------|------|
+| **科大讯飞** | 科大讯飞 | 作文评测+口语评测 | 中文领先 |
+| **多邻国** | 多邻国 | 口语评测 | 语言学习头部 |
+| **猿辅导** | 猿辅导 | 编程评测 | 在线教育头部 |
+| **作业帮** | 作业帮 | 作文智能评测 | K-12头部 |
+| **智能作文** | 多个厂商 | 作文自动评分 | 市场新兴 |
+
+### 中国产品效果
+
+| 产品 | 研究情况 | 效果数据 |
+|------|----------|----------|
+| **科大讯飞** | 独立研究 | 效率提升明确 |
+| **多邻国** | 学术验证有限 | 用户体验优秀 |
+| **猿辅导** | 独立研究 | 个性化推荐有效 |
+| **作业帮** | 独立研究 | AI精准教学效果明显 |
+
+## 未来趋势
+
+### 技术趋势
+
+| 趋势 | 描述 | 时间预期 |
+|------|------|----------|
+| **LLM集成** | GPT-4等LLM全面集成 | 已开始 |
+| **多模态评测** | 文本+图像+音频+视频 | 2025-2027 |
+| **过程性评价** | 不仅评结果，更重过程质量 | 2025-2026 |
+| **个性化反馈** | 针对不同能力提供针对性建议 | 2025-2028 |
+| **AI检测协同** | 同时进行AI写作检测和评分 | 2025-2026 |
+
+## 教育应用
+
+| 应用领域 | 评测价值 |
+|----------|----------|
+| **K-12教育** | 作文评分、阅读理解 |
+| **高等教育** | 论文评分、项目作品评估 |
+| **职业培训** | 技能认证、写作能力评估 |
+| **语言学习** | 口语评测、写作指导 |
+| **资格认证** | 标准化考试评分 |
+
+## 已知问题
+
+### 评分偏见
+
+- AI可能学习并放大人类评分员的偏见
+- 对不同群体表现可能不公平
+- 需要公平性审计和偏见训练
+
+### 表面特征依赖
+
+- AI可能过度关注形式特征（字数、句式）而非内容质量
+- 需要避免"表面化"评分倾向
+
+### 创意评估困难
+
+- AI难以真正评估原创性和批判性思维
+- 需要人工复核重要写作作品
+
+### 恶意对抗
+
+- 学生可能使用提示工程操纵评分
+- 需要生成式对抗检测(GAN)
+
+### 责任归属
+
+- AI评分错误的责任难以界定
+- 人机协同模式需要明确的规则
+
+## 伦理问题
+
+| 问题 | 应对 |
+|------|------|
+| **评分公平性** | 不同群体可能有不同表现 | 公平性审计、透明度提升 |
+| **透明度** | 评分依据不透明 | 可解释AI技术 |
+| **隐私保护** | 学生数据用于训练 | 数据脱敏、合规使用 |
+| **学术诚信** | AI代写问题 | AI检测+过程评估 |
+
+## 参考来源
+
+- [[raw/教育AI研究\知识卡片\智能评测技术.md]] — 智能评测技术知识卡片
+- Nature (2025). An LLM-based hybrid approach for enhanced automated essay scoring
+- ETS (2024). Official e-rater reliability report
+- Taylor & Francis (2024). Human versus machine: The effectiveness of ChatGPT in automated essay scoring
+- Stanford AutoTutor (官网), Cambridge Write & Improve (官网)
+-科大讯飞、多邻国、猿辅导、作业帮 - 官网信息
+
+## 与其他概念的关系
+
+- [[教育大数据分析]] - 教育大数据分析为智能评测提供数据基础
+- [[LLM教育应用深度研究报告]] - LLM增强智能评测能力
+- [[自适应学习系统]] - 自适应学习系统（ALS）利用智能评测提供个性化评估
+- [[智能辅导系统]] - ITS与智能评测的集成