中文 RAG Benchmark — smoke-10
与 Ch20 动手章 配套。本目录提供 可版本冻结 的评测资产,避免「教程写了 50 条、仓库里 0 条」。
文件
| 文件 | 说明 |
|---|---|
| smoke-10.jsonl | 10 条中文 QA,覆盖检索/解析/评估 |
../lab/corpus/ |
对应 relevant_doc_ids 的固定语料 |
用法
cd research/rag-knowledge
export WEKNORA_CHAT_URL="http://localhost:8080/api/v1/chat"
export WEKNORA_KEY="your-key"
python3 guide/scripts/eval_weknora_ragas.py \
--benchmark benchmark/smoke-10.jsonl \
--out benchmark/runs/smoke-$(date +%Y%m%d).json
脚本见 guide/scripts/eval_weknora_ragas.py(Ch20 同源,路径收敛到 repo)。
扩展至 50 条(竞赛 PR)
- 复制
smoke-10.jsonl→v0.1-50.jsonl - 按 Ch20 比例补 factual / reasoning / multi_hop
- PR 描述附 改前改后 RAGAS 四指标表