犀牛鸟 2026 研究笔记 estelledc.github.io

五平台 RAG 对照实验(Lab)

Ch37 五平台实验 绑定。G 之前重做标准:仓库内必须有 corpus + query 集 + 结果模板,不能只写「请你自己搭 20 条」。

目录

路径 用途
corpus/ 固定 3 篇 MD(架构 / 解析陷阱 / 版本冲突 FAQ)
queries-smoke-20.jsonl 20 条分组 query(A–E + 对抗 X + 跨语言 M + Token T)
results-smoke-template.md 填表模板 + 200 字结论

最小 smoke(30 分钟)

  1. corpus/ 上传到 WeKnora 知识库(或本地 ingest)
  2. queries-smoke-20.jsonlA1、A3、D3、X1、M1 五条人工问答
  3. 填入 results-smoke-template.md WeKnora 列
  4. 写 200 字 场景化选型(禁止「X 全面最好」)

与 benchmark 关系

资产 条数 用途
benchmark/smoke-10.jsonl 10 RAGAS 脚本回归
queries-smoke-20.jsonl 20 五平台横向对照

Corpus 文件 ID 与 benchmark 中 relevant_doc_ids 对齐。