解析管线常见陷阱(实验语料)
Excel WPS 嵌入图片(case-1785)
WPS 将嵌入图片存为单元格 纯文本 DISPIMG("ID_xxx",1),不是 Excel 公式。openpyxl data_only=True 只对公式生效,无法过滤此类噪声。
修复原则:在 docreader/parser/excel_parser.py 遍历 cell 时最早阶段正则过滤 IMAGE 函数变体,并写参数化 pytest。
HTML 表格与分块(case-1725)
PaddleOCR-VL 输出带 style="text-align:..." 的 HTML <table>。WeKnora chunker 的 protectedPatterns 只识别 Markdown 管道表 |...|,不识别 HTML table。
后果:
- Token 被样式属性浪费(同内容 HTML token 约为 Markdown 2–3 倍)
- 表超 ChunkSize 时被从中间切断,检索召回残缺片段
修复原则:在 internal/infrastructure/docparser/ 将简单 HTML 表转为 Markdown;复杂 rowspan 表至少剥离 style,并让 chunker 识别 <table> 边界。