{ "skill_name": "sync-homewiki", "evals": [ { "id": 0, "eval_name": "检查同步状态", "prompt": "检查一下 home-wiki 的同步状态,看看有没有需要更新的内容", "expected_output": "运行 --dry-run,输出扫描结果(26 页),告知用户当前已完全同步(0 更新、0 新建),无需操作", "files": [], "assertions": [ { "name": "dry-run 被执行", "type": "custom", "expected": "dry-run 输出包含 total/updated/created/unchanged 数据", "path": "", "weight": 1.0 }, { "name": "报告扫描页数", "type": "custom", "expected": "告知用户扫描了多少页(26)", "path": "", "weight": 1.0 }, { "name": "正确判断同步状态", "type": "custom", "expected": "基于输出判断是否需要同步,并告知用户状态", "path": "", "weight": 1.0 }, { "name": "未执行写操作", "type": "custom", "expected": "仅 dry-run 模式,不写入任何文件", "path": "", "weight": 0.8 } ] }, { "id": 1, "eval_name": "同步并完善", "prompt": "帮我完善同步,检查一下有没有问题需要修复", "expected_output": "依次运行 --dry-run 和 --lint,分析发现的问题(5 个空 source、27 条断链等),针对 NAME_MAP、摘要、断链、空 source、index 一致性逐一给出修复建议", "files": [], "assertions": [ { "name": "dry-run 被执行", "type": "custom", "expected": "先运行 --dry-run 检查同步状态", "path": "", "weight": 1.0 }, { "name": "lint 被执行", "type": "custom", "expected": "然后运行 --lint 检查健康状态", "path": "", "weight": 1.0 }, { "name": "空 source 被识别", "type": "custom", "expected": "识别并列出 lint 输出的空 source 页面(5 个)", "path": "", "weight": 1.0 }, { "name": "断链被分类分析", "type": "custom", "expected": "对断链进行分类(raw来源/别名/不存在),给出修复建议", "path": "", "weight": 0.8 }, { "name": "给出具体修复建议", "type": "custom", "expected": "针对每个问题类别给出可操作的修复建议,等待用户确认", "path": "", "weight": 1.0 } ] }, { "id": 2, "eval_name": "完整同步执行", "prompt": "帮我执行一次完整的 home-wiki 同步,包括更新 index 和记录日志", "expected_output": "运行 python tools/scripts/sync_home_wiki.py --index --log,输出同步结果,汇报更新/新建/未变页数,确认 index 和 log 已更新", "files": [], "assertions": [ { "name": "--index --log 被执行", "type": "custom", "expected": "脚本以 --index --log 参数执行", "path": "", "weight": 1.0 }, { "name": "汇报同步结果", "type": "custom", "expected": "汇报更新/新建/未变页面数", "path": "", "weight": 1.0 }, { "name": "确认 index 更新状态", "type": "custom", "expected": "告知 index.md 跨库章节是否已更新", "path": "", "weight": 0.8 }, { "name": "确认 log 记录", "type": "custom", "expected": "告知 log.md 已追加操作记录", "path": "", "weight": 0.8 } ] } ] }