# nashsu/llm_wiki 手动测试指南

## 🎯 测试目标

通过手动操作 nashsu/llm_wiki 桌面应用，对比 **Two-Step** 和 **Single-Step** 两种模式在 Wiki 生成质量上的差异。

## 📁 准备工作

### 1. 应用位置

- **应用路径**: `D:\Users\hhhh2024\AppData\Local\LLM-Wiki\LLM Wiki.exe`
- **测试文件**: `D:\Applications\app\kepano-obsidian-main\raw\呼吸之间_李谨伯\第一编 从身体入手.md`

### 2. 测试输出目录

- A 组输出：`D:\Applications\app\kepano-obsidian-main\tools\experiments\wiki-generation-compare\output\llm-wiki-manual-group-a\`
- B 组输出：`D:\Applications\app\kepano-obsidian-main\tools\experiments\wiki-generation-compare\output\llm-wiki-manual-group-b\`

---

## 🚀 LLM Wiki 应用操作步骤

### 步骤 1：启动应用并创建项目

1. **启动 LLM Wiki 应用**
   ```
   双击运行：D:\Users\hhhh2024\AppData\Local\LLM-Wiki\LLM Wiki.exe
   ```

2. **创建新项目**
   - 点击 "Create New Project"
   - 选择项目模板：`General`（通用模板）
   - 项目名称：`Breathing-TaoTest`
   - 项目路径：`D:\LLM-Wiki-Test-Project\`
   - 点击 "Create"

3. **配置 LLM API**
   - 进入 "Settings"（⚙️ 图标）
   - 在 "LLM Provider" 中选择：
     - `OpenAI`
   - 输入 API Key（已配置在环境变量中）
   - 选择模型：`gpt-4o-mini` 或 `gpt-3.5-turbo`
   - 点击 "Save"

---

## 📊 A 组测试：Two-Step 模式

### 步骤 2A-1：导入测试文件

1. 点击 "Sources" 标签页
2. 点击 "Import" 按钮
3. 选择测试文件：
   ```
   D:\Applications\app\kepano-obsidian-main\raw\呼吸之间_李谨伯\第一编 从身体入手.md
   ```
4. 观察左侧 "Activity Panel"：
   - 会看到 "Analyzing…" 进度
   - 然后看到 "Generating…" 进度

### 步骤 2A-2：观察 Two-Step 流程

**预期行为**：
- **Step 1**: LLM 分析文件（约 30-60 秒）
  - 提取结构化信息（概念、方法、实体）
  - 识别术语关系
  - 推荐创建页面
- **Step 2**: LLM 生成 Wiki 页面（约 60-120 秒）
  - 根据推荐页面生成完整 Markdown
  - 自动创建目录结构
  - 生成 Wikilink 链接

### 步骤 2A-3：记录 A 组结果

1. **查看生成的 Wiki 页面**
   - 点击 "Wiki" 标签页
   - 左侧会显示目录结构：
     - `wiki/concepts/`
     - `wiki/methods/`
     - `wiki/entities/`
   - 统计生成的页面数量

2. **导出 A 组结果**
   - 在 "Wiki" 标签页中，选择所有生成的文件
   - 复制到：`D:\Applications\app\kepano-obsidian-main\tools\experiments\wiki-generation-compare\output\llm-wiki-manual-group-a\`

3. **记录元数据**
   - 记录以下信息：
     - 开始时间
     - 结束时间
     - 生成页面数量
     - 是否有错误信息

---

## 🔄 B 组测试：Single-Step 模式

### 步骤 2B-1：创建新项目（避免干扰）

1. 关闭当前应用
2. 重新启动 LLM Wiki 应用
3. 创建新项目：`Breathing-TaoTest-Single`
4. 配置相同的 LLM API

### 步骤 2B-2：导入测试文件

1. 点击 "Sources" 标签页
2. 点击 "Import" 按钮
3. 选择同一个测试文件：
   ```
   D:\Applications\app\kepano-obsidian-main\raw\呼吸之间_李谨伯\第一编 从身体入手.md
   ```
4. 观察左侧 "Activity Panel"：
   - 只会看到 "Generating…" 进度
   - 没有 "Analyzing…" 阶段

### 步骤 2B-3：观察 Single-Step 流程

**预期行为**：
- **Single Step**: LLM 直接生成 Wiki 页面（约 60-120 秒）
  - 直接从源文件提取术语
  - 边分析边生成
  - 可能生成的页面数量不同

### 步骤 2B-4：记录 B 组结果

1. **查看生成的 Wiki 页面**
   - 点击 "Wiki" 标签页
   - 统计生成的页面数量
   - 观察页面结构

2. **导出 B 组结果**
   - 在 "Wiki" 标签页中，选择所有生成的文件
   - 复制到：`D:\Applications\app\kepano-obsidian-main\tools\experiments\wiki-generation-compare\output\llm-wiki-manual-group-b\`

3. **记录元数据**
   - 记录以下信息：
     - 开始时间
     - 结束时间
     - 生成页面数量
     - 是否有错误信息

---

## 📈 手动评估方法

由于没有自动化脚本，建议进行以下评估：

### 1. 术语覆盖度对比

| 维度 | A 组 | B 组 |
|------|------|------|
| 生成页面数 | ? 页 | ? 页 |
| 常见术语是否覆盖 | 精气神、天人感应… | 精气神、天人感应… |
| 未覆盖的术语 | ? | ? |

### 2. Frontmatter 质量检查

打开几个生成的页面，检查：

```yaml
---
categories:
  - "[[LLM Wiki]]"
tags:
  - wiki
  - concept/entity/method
created: 2026-07-03
source: "[[raw/呼吸之间_李谨伯/第一编 从身体入手.md]]"
type: concept
confidence: 3
status: active
---
```

### 3. Wikilink 质量

- 检查页面间是否有 `[[wikilink]]` 链接
- 链接是否有效
- 是否有断链

### 4. 内容质量

- 定义是否准确引用原文
- 是否有来源标注（如 `[raw:文件:行号]`）
- 内容结构是否清晰

---

## 🎬 手动测试记录模板

### A 组记录（Two-Step）

```
开始时间：___________
结束时间：___________
耗时：___________ 分钟
生成页面数：___________ 页

生成的主要页面：
1. ______________
2. ______________
3. ______________

观察到的特点：
- ______________
- ______________
- ______________

遇到的问题：
- ______________
- ______________
```

### B 组记录（Single-Step）

```
开始时间：___________
结束时间：___________
耗时：___________ 分钟
生成页面数：___________ 页

生成的主要页面：
1. ______________
2. ______________
3. ______________

观察到的特点：
- ______________
- ______________
- ______________

遇到的问题：
- ______________
- ______________
```

---

## 📊 对比总结表

| 对比维度 | A 组 | B 组 | 结论 |
|---------|------|------|------|
| 术语覆盖率 | __% | __% | ? 优于 |
| 生成速度 | ___ 分钟 | ___ 分钟 | ? 更快 |
| 内容质量 | ? | ? | ? 更好 |
| Frontmatter 规范性 | ? | ? | ? 更好 |
| Wikilink 质量 | ? | ? | ? 更好 |

---

## 🔧 故障排查

### 应用无法启动

**问题**：双击 exe 文件无反应

**解决方案**：
1. 检查是否有杀毒软件拦截
2. 尝试以管理员身份运行
3. 查看 Windows 事件日志

### API 调用失败

**问题**：显示 API 错误

**解决方案**：
1. 检查 API Key 是否正确
2. 检查网络连接
3. 检查 API 配额是否用尽
4. 尝试使用其他模型

### 文件导入失败

**问题**：无法导入测试文件

**解决方案**：
1. 确保文件路径正确
2. 检查文件编码（应为 UTF-8）
3. 尝试将文件复制到项目根目录

### 生成页面异常

**问题**：生成的页面内容为空或格式错误

**解决方案**：
1. 检查 Activity Panel 中的错误信息
2. 查看 Review 标签页中的需要人工审查的内容
3. 手动修复后重新 Ingest

---

## 🎯 关键观察点

### Two-Step 模式的预期优势

1. **分析阶段**：
   - 更好的术语识别
   - 结构化信息提取
   - 避免遗漏重要概念

2. **生成阶段**：
   - 基于分析结果定向生成
   - 内容更加准确
   - 结构更加一致

### Single-Step 模式的预期优势

1. **效率**：
   - 只需一次 LLM 调用
   - 生成速度更快
   - 成本更低

2. **简洁**：
   - 流程更简单
   - 适合快速迭代

---

## 📝 测试完成后

1. **整理测试结果**
   - 将 A/B 两组的记录表整理好
   - 导出生成的页面文件
   - 截图保存关键界面

2. **生成对比报告**
   - 基于测试记录填写对比总结表
   - 分析两种模式的优缺点
   - 给出推荐结论

3. **反馈结果**
   - 将测试结果反馈给我
   - 我可以帮助生成详细的对比分析报告

---

## 🤔 需要注意的问题

1. **API 成本**：
   - Two-Step 模式需要两次 LLM 调用
   - 单次测试成本约为 $0.05-0.15

2. **时间成本**：
   - A 组预计 2-5 分钟
   - B 组预计 1-3 分钟

3. **网络稳定**：
   - 确保网络连接稳定
   - 避免中断测试

---

**祝测试顺利！如有问题，请随时反馈。**