五平台对照实验 — smoke 结果模板
与 Ch37 配套。填写说明:本地跑通后在
✓/✗列填 人工判题(答案是否可验证正确),勿只填「能返回答案」。
实验元数据
| 字段 | 填写 |
|---|---|
| 日期 | |
| Corpus 版本 | lab/corpus/ v0.1 |
| Query 集 | lab/queries-smoke-20.jsonl |
| LLM(统一) | 例:DeepSeek-chat |
| WeKnora commit | |
| Dify 版本/tag | |
| RAGFlow 版本/tag |
分组结果(示例:仅 WeKnora smoke,其余平台待填)
| query_id | WeKnora | Dify | RAGFlow | FastGPT | AnythingLLM | 备注 |
|---|---|---|---|---|---|---|
| A1 | ✓ | BM25 命中错误码 | ||||
| A3 | ✗ | 时效冲突未解 → 最后一公里 | ||||
| D3 | ✓ | 依赖 parse 过滤 | ||||
| X1 | ✗ | 幻觉未拒答 → 需阈值 | ||||
| M1 | △ | 只召回中文或只英文 |
图例:✓ 正确 · ✗ 错误 · △ 部分 · 空 = 未测
200 字结论(必填)
在 A 组精确查询上,____ 平台 BM25/关键词路最强;在 D 组表格上 ____ 最优;
C 组多跳 WeKnora 三路 ____。不建议写「X 全面最好」。
提交 PR 时
将本表截图或 Markdown 贴进 PR 描述,作为 改前基线;优化后复跑同一 query 集对比。