精度ベンチマーク · 2026年10月
手作業で確認した実際の書類82ページで、数値の98%が正確
本番環境の抽出パイプラインを実際のドキュメントで実行し、すべての数値、単語、日付を、元の書類と照らし合わせて手作業で確認したテキストと比較しています。数値については、調整に使用していない50ページで99%でした。
- 数値の正解率(全82ページ)
- 98.1%
- 数値の正解率(調整に使用していない50ページ)
- 99.1%
- 残高チェックで指摘された銀行取引明細書の行
- 1 / 284
精度
結果
「正解率」は、出力された値のうち、ページ上にそのとおり記載されている値の割合です。「検出率」は、ページ上の値のうち、出力に含まれている値の割合です。
| ページ | 数値の正解率 | 数値の検出率 | 単語の正解率 | 単語の検出率 | 日付の正解率 | 日付の検出率 |
|---|---|---|---|---|---|---|
| 全ページ (82) | 98.1% | 97.3% | 96.2% | 90.2% | 99.5% | 99.5% |
| 調整に使用していないページ (50) | 99.1% | 98.4% | 96.6% | 93.0% | 99.7% | 100% |
| ページ | 正解率 | 検出率 |
|---|---|---|
| デジタルPDF (29) | 99.7% | 99.4% |
| スキャン (41) | 97.2% | 96.8% |
| スキャナーのテキストレイヤー付きPDF (9) | 98.2% | 98.6% |
| スマートフォンの写真 (3) | 96.4% | 92.3% |
| ページ | 正解率 | 検出率 |
|---|---|---|
| 財務関連の表(明細書、請求書) (32) | 98.7% | 97.5% |
| 文章中心のドキュメント (11) | 92.9% | 94.3% |
その他のレイアウトはここでは個別に示していませんが、全体の結果にはすべてのページが含まれています。
銀行取引明細書
セット内の明細書から抽出された284件の取引行のうち、残高推移のチェックで確認が必要と指摘されたのは1件でした。 明細書に残高が記載されている場合、プレビューでは「開始残高 + 入金 − 出金 = 終了残高」になるかも確認し、一致したときにお知らせします。
無料ツールとの比較
同じページで pdftotext と Tesseract OCR も実行し、同じ方法で採点しました。信頼区間と、無料ツールが得意とするページの種類も載せています。 PDFテキスト変換ベンチマークを読む
測定方法
- 実際のドキュメント68件(82ページ):銀行取引明細書、請求書、領収書、フォーム、スキャン、スマートフォンの写真。アップロードされるファイルの構成比に合わせてサンプリングしています。
- すべてのページの正解テキストは、元のドキュメントと照らし合わせて手作業で確認しました。
- 数値は、その値がページ上にそのとおり記載されている場合にのみ正解とし、ページ上の数値が出力に含まれている場合に検出とみなします。単語と日付も同じ方法で採点しています。
- 50ページは評価用に取り分け、パイプラインの調整には一切使用していません。
- 結果は本番環境のパイプラインによるもので、2026年10月2日に採点しました。
制限事項
- セットに含まれるスマートフォンの写真は3件のみのため、写真の数値は少ないサンプルに基づいています。
- 文章中心のドキュメントは表よりスコアが低く、数値の正解率は92.9%です。
- お手持ちのドキュメントでは結果が異なる場合があります。利用する前に、プレビューを元のドキュメントと照らし合わせて確認してください。
- パイプラインを変更した際はベンチマークを再実行し、このページを更新します。