--- categories: - "[[LLM Wiki]]" tags: - wiki - concept - concept/technology - LLM - Wiki - 知识管理 - 记忆系统 - 知识图谱 - 开源 - agentmemory created: 2026-04-14 source: "https://gist.github.com/rohitg00/2067ab416f7bbe447c1977edaaa681e2" type: concept aliases: - LLM Wiki v2 --- # LLM Wiki v2 ## 概述 Rohit Ghumare 基于 **Karpathy** 原始理念开发的升级版本,新增记忆生命周期和知识图谱等功能。 基于 [agentmemory](https://github.com/rohitg00/agentmemory) 项目实践经验总结。 ## 核心理念 > **停止重新推导,开始积累编译** > > RAG 是检索和遗忘。Wiki 是积累和复合。 > > The Memex is finally buildable. — *最终,Memex 可以建造了* ## 缺失的层级:记忆生命周期 ### 置信度评分 (Confidence Scoring) 每个事实应携带置信度评分: - 有多少来源支持 - 最近何时被确认 - 是否有矛盾 ``` "项目X使用Redis缓存" → 来自2个来源 → 上次确认3周前 → 置信度 0.85 ``` 置信度随时间衰减,随确认强化。 ### 超替 (Supersession) 新信息与旧信息矛盾时: - 旧信息不删除,标记为过时 - 新信息显式替代旧信息 - 保留时间戳和关联 ### 遗忘 (Forgetting) 非永久保留机制: - 基于艾宾浩斯遗忘曲线 - 重要但长期未访问的内容逐渐淡化 - 不删除,降级优先权 - 架构决策衰减慢,临时Bug衰减快 ### 整合层级 (Consolidation Tiers) ``` 原始观察 → 工作记忆 → 情景记忆 → 语义记忆 → 程序记忆 ↓ ↓ ↓ ↓ ↓ 最新/未处理 单会话摘要 跨会话压缩 跨会话事实 工作流/模式 ``` ## 超越平面页面:知识图谱 ### 实体提取 -ingest 时提取结构化实体: - 人 (People) - 项目 (Projects) - 库 (Libraries) - 概念 (Concepts) - 文件 (Files) - 决策 (Decisions) ### 类型化关系 | 关系类型 | 说明 | |----------|------| | uses | 使用 | | depends on | 依赖 | | contradicts | 矛盾 | | caused | 导致 | | fixed | 修复 | | supersedes | 替代 | ### 图遍历查询 不同于关键词搜索,从节点向外遍历: ``` Redis → depends on → 下游依赖 → uses → 使用它的项目 ``` ## 搜索扩展 ### 混合搜索 | 搜索类型 | 能力 | |----------|------| | **BM25** | 关键词匹配、词干、同义词扩展 | | **向量搜索** | 语义相似度 (Embeddings) | | **图遍历** | 实体感知关系行走 | 融合方式:Reciprocal Rank Fusion (RRF) ## 自动化:事件驱动 | 事件 | 自动执行 | |------|----------| | 新来源 | auto-ingest, 提取实体, 更新图谱 | | 会话开始 | 加载相关上下文 | | 会话结束 | 压缩为观察, 归档洞察 | | 查询时 | 检查是否值得归档 (质量分数>阈值) | | 记忆写入 | 检查矛盾, 触发超替 | | 定时 | lint, 整合, 遗忘衰减 | ## 质量与自愈 ### 评分系统 每个LLM生成的内容都应有质量分数: - 结构是否良好 - 是否引用来源 - 是否与Wiki其他部分一致 ### 自愈 (Self-healing) Lint操作应自动修复: - 孤立页面链接或标记 - 陈旧声明标记 - 修复断裂的交叉引用 ### 矛盾解决 1. 标记矛盾 2. LLM提议哪个更可能正确(基于来源时效性、权威性、观察数量) 3. 人类可覆盖 ## 多智能体与协作 ### 网格同步 多智能体并行观察合并: - Last-write-wins (大多数情况) - 时间戳解决冲突 - 支持手动覆盖 ### 共享 vs 私有 | 类型 | 说明 | |------|------| | 私有 | 我的偏好、工作流 | | 共享 | 项目架构、团队决策 | ### 工作协调 - 谁在做什么 - 什么被阻塞 - 什么完成了 ## 隐私与治理 ###-ingest 时过滤 自动剥离敏感信息: - API密钥 - Token - 密码 - 标记为私有的内容 ### 审计追踪 每次操作记录: - 时间戳 - 变更内容 - 变更原因 ## 结晶化 (Crystallization) 将完成的工作链自动提炼为结构化摘要: ``` 探索结果 → 问题 → 发现 → 涉及实体 → 教训 ``` 探索是来源,与文章/论文同等对待。 ## 实现光谱 | 层级 | 组件 | 适用规模 | |------|------|----------| | **最小可用** | 原始来源 + Wiki页面 + index.md + Schema | ~50页 | | **+生命周期** | 置信度、超替、基本遗忘 | ~100页 | | **+结构** | 实体提取、类型关系、知识图谱 | ~200页 | | **+自动化** | Hooks、自动-ingest、自动lint | ~500页 | | **+扩展** | 混合搜索、整合层级、质量评分 | 500+页 | | **+协作** | 网格同步、共享/私有、工作协调 | 多用户 | ## Schema 是真正的产品 **CLAUDE.md / AGENTS.md** 是系统最重要的文件: - 定义存在的实体和关系类型 - 如何-ingest 不同来源 - 何时创建新页面 vs 更新现有页面 - 应用什么质量标准 - 如何处理矛盾 - 整合计划是什么 - 什么是私有 vs 共享 ## 相关链接 | 项目 | 地址 | |------|------| | **LLM Wiki v2** | [gist.github.com/rohitg00](https://gist.github.com/rohitg00/2067ab416f7bbe447c1977edaaa681e2) | | **Karpathy原始版** | [gist.github.com/karpathy/442a6bf555914893e9891c11519de94f](https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f) | | **agentmemory** | [github.com/rohitg00/agentmemory](https://github.com/rohitg00/agentmemory) | ## 本地研究 学习资料:`~/.openclaw/workspace/llm-wiki-v2-study/README.md` --- ## 家族新成员:Google Open Knowledge Format (OKF) > **验证日期**:2026-06-16 > **结论**:**不投入**。作为导出格式保留,作为生产格式放弃。 ### 它是什么 Google 2026-06 发布的开放规范,把 Karpathy LLM Wiki + Rohit v2 的"Markdown + YAML frontmatter + 互相链接"模式抽成正式标准。v0.1 核心: - 唯一硬性要求:`type` 字段 - 约定字段 6 个:`type` / `title` / `description` / `resource` / `tags` / `timestamp` - 概念之间用普通 Markdown 链接(不是 `[[wikilink]]`) - 可选 `index.md`(导航)+ `log.md`(变更历史) - 完整规范一页纸写完 GitHub: `GoogleCloudPlatform/knowledge-catalog/tree/main/okf` ### 真实验证(教育AI研究 corpus) 把 `/root/.openclaw/workspace/教育AI研究/`(121 个 .md)按 OKF 规范导出,10 秒脚本化完成,121/121 满足硬性要求。但暴露 7 个 friction: 1. **type 命名空间碎片化** — 49 个无 frontmatter 文件需要重写,OKF 不约束 2. **wikilink 不会自动变 Markdown link** — 61 个内部链接需手工翻译 3. **自定义字段(你用 20+ 字段)超出 OKF 6 字段** — 跨厂商只 `tags` 真互操作 4. **`resource` 字段对研究型语料语义模糊** — OKF 假设指向 DB/API 链接 5. **tag 表述不统一** — `LLM` / `大语言模型` / `生成式AI教育` 三个 tag 指同一概念 6. **`log.md` 完全可选** — 你的 `outputs/` 时间序列报告对 consumer 是黑盒 7. **40% 文件无 frontmatter** — OKF 之外的 tool 拿不到元数据 ### 与现有体系的关系 | 维度 | 你的 LLM Wiki v2 | OKF | |------|------------------|-----| | frontmatter 字段 | 20+ 自定义 | 6 个约定(可扩展) | | 链接语法 | `[[wikilink]]` Obsidian 风格 | 普通 Markdown | | 互操作 | 自给自足 | 跨厂商设计 | | 演化速度 | 个人决定 | 慢(一旦标准化) | | type 系统 | 无强制 | 强制但自定义空间大 | ### 不投入的理由 - **生产层没有迁移收益**。你现有 Obsidian 风格 + 自定义 frontmatter 体系已经能跑 - **导出层有保留价值**。需要给外部 consumer 时,OKF 是个体面的交付物形态 - **Google 立场可疑**。"中立"是策略不是信仰,参考实现全部跑在 GCP 上 - **type 命名空间是规范层隐患**。OKF 文章刻意回避,落到具体语料立刻显形 ### 何时重评 以下任一信号出现,重启这条线: - Google/Cloud 之外出现独立的 OKF type 字典 - 有外部组织真正要求你交付 OKF 格式 - OKF v0.2 / v1.0 解决 type 命名空间问题 - 你开始"对外交付"知识(不是给 agent 内用,而是给合作机构/公众) 验证产物保留: - Bundle:`/root/教育AI研究_okf/`(30MB) - 脚本:`/tmp/build_okf.py`(可重跑) --- *最后更新:2026-06-30(追加"4 级记忆在老何 wiki 落地"章节 + frontmatter 修正)* ## 4 级记忆架构在老何 wiki 的落地(2026-06-30) > **背景**:2026-06-30 老何在 [[SCHEMA]] 重构时,把 LLM Wiki v2 文档里的"整合层级 (Consolidation Tiers)" — 原始观察 → 工作记忆 → 情景记忆 → 语义记忆 → 程序记忆 — **正式落地为 vault 目录结构**。 ### SCHEMA 里的 5 层映射 | LLM Wiki v2 概念 | 老何 wiki 目录 | 关键特征 | |----------------|--------------|---------| | **Working Memory**(原始观察) | `raw/` | 不可变输入(HTML/PDF/转录) | | **Working Memory**(AI 可读提炼) | `sources/` | AI 摘要版本 | | **Episodic Memory** | `Daily/` | 每日笔记 + Dataview 视图 | | **Semantic Memory** | `concepts/` `entities/` `syntheses/` | 概念、实体、综合报告 | | **Procedural Memory** | `AGENTS.md` `SCHEMA.md` `log.md` `scripts/` | 规则、流程、工具 | | **自动生成** | `reports/` `_openclaw/` | 系统诊断 + agent 缓存 | ### 与原 LLM Wiki v2 设计的差异 | 维度 | LLM Wiki v2 原始设计 | 老何 wiki 实际落地 | |------|-------------------|------------------| | 记忆层级数 | 5 层 | 5 层 + 1 个自动生成层 | | 工作记忆命名 | Working Memory | 拆成 `raw/`(不可变)+ `sources/`(可编辑提炼) | | 程序记忆 | 不强调 | 4 个固定文件(AGENTS/SCHEMA/log/scripts)显式建模 | | 写入分区 | 单端 | 双端(PC + 腾讯云),按目录分区 | | 同步机制 | 不强调 | Gitea 双端同步(详见 wiki-gitea-sync skill) | ### 实际跑过的验证 2026-06-30 修复 wiki ↔ Gitea 同步时,本文档被作为"4 级记忆架构"的活样本使用: - **Working Memory 层**:`raw/articles/` 接收老何下载的讲座转录、HTML 原文 - **Episodic Memory 层**:`Daily/2026-06-30.md` 记录当天会话事件流 - **Semantic Memory 层**:本文档(`concepts/LLM-Wiki-v2.md`)作为概念层锚点 - **Procedural Memory 层**:`SCHEMA.md` 第 §五节编码了本文档里的 Consolidation Tiers 思想 - **自动生成层**:`_openclaw/sync-events.jsonl` 记录 14 条维护事件,机器可读 ### 与 [[以终为始]] 的关系 [[以终为始]] 是习惯七律的第一条——先定终态再行动。本文是"终态是什么"的元描述:当习惯 → 流程 → 工具 → 目录都按 4 级记忆架构搭建,[[以终为始]] 才有了具体的承载结构。