犀牛鸟 2026 研究笔记 estelledc.github.io

中文 RAG Benchmark — smoke-10

Ch20 动手章 配套。本目录提供 可版本冻结 的评测资产,避免「教程写了 50 条、仓库里 0 条」。

文件

文件 说明
smoke-10.jsonl 10 条中文 QA,覆盖检索/解析/评估
../lab/corpus/ 对应 relevant_doc_ids 的固定语料

用法

cd research/rag-knowledge
export WEKNORA_CHAT_URL="http://localhost:8080/api/v1/chat"
export WEKNORA_KEY="your-key"
python3 guide/scripts/eval_weknora_ragas.py \
  --benchmark benchmark/smoke-10.jsonl \
  --out benchmark/runs/smoke-$(date +%Y%m%d).json

脚本见 guide/scripts/eval_weknora_ragas.py(Ch20 同源,路径收敛到 repo)。

扩展至 50 条(竞赛 PR)

  1. 复制 smoke-10.jsonlv0.1-50.jsonl
  2. 按 Ch20 比例补 factual / reasoning / multi_hop
  3. PR 描述附 改前改后 RAGAS 四指标表