准确率基准测试 · 2026年10月
在 82 个经人工核对的真实页面上,98% 的数字正确
我们在真实文档上运行生产环境的提取流程,并将每个数字、词语和日期与经人工对照原文核对过的文本进行比较。数字方面:在未用于调优的 50 个页面上为 99%。
- 数字正确率(全部 82 页)
- 98.1%
- 数字正确率(未用于调优的 50 页)
- 99.1%
- 被余额核对标记的银行对账单行
- 1 / 284
准确率
结果
“正确率”是指我们输出的值中与页面上完全一致的值所占的比例。“检出率”是指页面上的值出现在我们输出中的比例。
| 页 | 数字正确率 | 数字检出率 | 词语正确率 | 词语检出率 | 日期正确率 | 日期检出率 |
|---|---|---|---|---|---|---|
| 所有页面 (82) | 98.1% | 97.3% | 96.2% | 90.2% | 99.5% | 99.5% |
| 未用于调优 (50) | 99.1% | 98.4% | 96.6% | 93.0% | 99.7% | 100% |
| 页 | 正确率 | 检出率 |
|---|---|---|
| 数字 PDF (29) | 99.7% | 99.4% |
| 扫描件 (41) | 97.2% | 96.8% |
| 带扫描仪文本层的 PDF (9) | 98.2% | 98.6% |
| 手机照片 (3) | 96.4% | 92.3% |
| 页 | 正确率 | 检出率 |
|---|---|---|
| 财务表格(对账单、发票) (32) | 98.7% | 97.5% |
| 纯文本文档 (11) | 92.9% | 94.3% |
其他版式未在此单独列出;所有页面都计入总体结果。
银行对账单
在从该数据集的对账单中提取出的 284 条交易行中,滚动余额核对标记了 1 条待审核。 当对账单上印有余额时,预览还会核对“期初余额 + 贷方 − 借方 = 期末余额”是否成立,并在一致时告诉您。
与免费工具的比较
我们还在相同页面上运行了 pdftotext 和 Tesseract OCR,并用相同方式评分,同时给出置信区间以及免费工具表现较好的页面类型。 阅读 PDF 转文本基准测试
我们如何衡量
- 68 份真实文档(82 页):包括银行对账单、发票、收据、表单、扫描件和手机照片,抽样构成与用户上传的文件构成相符。
- 每一页的预期文本都经过人工对照源文档核对。
- 只有当完全相同的值出现在页面上时,数字才算正确;页面上的数字出现在我们的输出中,则算作检出。词语和日期也按同样方式评分。
- 有 50 页被单独留出,从未用于调优该流程。
- 结果来自生产环境的流程,评分日期为 2026年10月2日。
局限性
- 数据集中只有 3 张手机照片,因此照片相关数据基于较小的样本。
- 纯文本文档的得分低于表格:92.9% 的数字正确。
- 在您的文档上结果可能有所不同。在依赖预览结果之前,请先对照原件核对。
- 每当流程发生变化,我们都会重新运行基准测试并更新此页面。