JP4871889B2 - 表認識方法及び表認識装置 - Google Patents
表認識方法及び表認識装置 Download PDFInfo
- Publication number
- JP4871889B2 JP4871889B2 JP2008009505A JP2008009505A JP4871889B2 JP 4871889 B2 JP4871889 B2 JP 4871889B2 JP 2008009505 A JP2008009505 A JP 2008009505A JP 2008009505 A JP2008009505 A JP 2008009505A JP 4871889 B2 JP4871889 B2 JP 4871889B2
- Authority
- JP
- Japan
- Prior art keywords
- item
- likelihood
- data
- relationship
- cell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Input (AREA)
Description
(1) 言語パターンと、レイアウトパターンに基づき、各文字列の項目らしさの尤度を計算する。
(2) 上下、左右の近傍の文字列のラベルの組合せに対し、単語共起尤度と、レイアウトパターン共起尤度を計算する。
(3) 上記(1)による尤度と(2)による尤度の積が最も高くなるような、ラベルの組み合わせを選択する。
(1)項目辞書の誤照合による表論理関係解析誤りを軽減できる。
(2)既存の表認識への影響を気にすることなく、項目辞書の追加を行うことができる。
(3)項目単語辞書が不完全な場合でも、項目とデータの認識を高精度で行うことができる。
本発明において、表とは、枠を含むかどうかにはよらない。図22に示すような、部分枠型の表2201や、スペースのみによる表2202、背景色による表2203を含む。本発明では、表の各枠に相当する部分を、セルと呼ぶことにする。
まず最初に、表の論理関係解析について説明する。
次に、本発明が解決しようとする課題について、具体例を用いて説明する。
図1は、本発明の実施形態の表論理関係解析装置の構成例を示す図である。
次に、本発明の概要と効果について説明する。
本発明では、表の論理関係を解析するため、項目縦(Fv)、項目横(Fh)、データ縦横(Vvh)、データ縦(Vv)、データ(Vh)の5種類のカテゴリを定義し、各セルごとに最適ラベルを選択する問題を考える。例えば、前述した図7の論理関係は、上記ラベルを用いて、図9の表90のように表現できる。ここで、ラベルFx(xはh、v、vhのいずれか)は、項目であることを表し、ラベルVxは、データであることを表す。また、ラベルXv(XはF又はV)は、下に隣接するセルと論理関係を持つことを表し、ラベルXh(Xは、F又はV)は、右方向に隣接するセルと論理関係を持つことを表す。Vvhは、上及び横の隣接するセルと論理関係を持つことを表す。
ラベル尤度とは、項目らしさ、データらしさの程度の数値を表すものとする。確率モデルを用いる場合は、項目の確率=項目の尤度である。
図10に、各文字行と辞書エントリの照合パターンの例を示す。項目辞書101は、図3の処理フローで参照される項目名単語辞書161と同じものである。単語リスト102は、登録されている単語の一例を示す。照合事例テーブル103は、文字行と辞書照合結果のパターンとその尤度を示したものである。事例1031は、文字行“銀行名”の照合パターンを表す。この場合、単語リスト102中の単語と完全マッチするため、高い尤度が適当と考えられる。事例1032は、文字行“×××銀行”の照合パターンを表す。この場合、単語リスト102中の単語と右端が一致する形で文字行中に完全に含まれる。この場合、事例1031の完全一致ほどではないが、項目名の可能性が高い。事例1033は、文字行“○○価格(××)”の照合パターンを表す。この場合、単語リスト102中の“価格”が部分一致する。ただし、“価格”の右隣接文字が記号“(”であるため、右境界一致とする。この場合、事例1031の完全一致ほどではないが、項目名の可能性が高い。最後に、事例1034は、文字列“単価(△)”の照合パターンを表す。この場合、単語リスト102中の“単価”が部分一致する。ただし、“単価”の左端が一致し、右隣接文字が記号“(”であるため、項目名の可能性が高い。
文字列照合パターンによる尤度(LstrMatch(xi))=項目名の頻度数÷各パターンの帳票全体での頻度 …(1)
項目・データ尤度計算(S34)において、縦方向に連続するセルの背景色もしくはハッチングパターンが、その下に隣接するセルの背景色もしくはハッチングパターンと異なる場合、その最上段側に連続するセル内の文字列が、項目名の可能性が高いと判断できる。この処理は、横方向に同じ高さのセルが繰返し連続している場合にも同様に実行できる。
レイアウトパターンによる尤度(LlayoutMatch(xi))=項目名の頻度数÷パターンの頻度 …(2)
項目・データ尤度計算(S34)において、縦方向に同じ幅のセルが繰返し接続している場合に、繰返しの最上段のセル内の文字の太さと下側のセル内の文字の太さが異なる場合に、その最上段のセル内の文字列が、項目名の可能性が高いと判断する。この処理は、太さ以外の文字のスタイル(フォント、斜体、下線等)についても適用できる。また、この処理は、横方向に同じ高さのセルが繰返し接続している場合にも同様に実行できる。
項目・データ尤度計算(S34)において、縦方向に同じ幅のセルが繰り返し接続している場合に、繰返しの最上段のセルの下側の罫線が太く、その他の罫線の太さが細い場合に、その最上段のセル内の文字列が、項目名の可能性が高いと判断する。この処理は、横方向に同じ高さのセルが繰返し連続している場合にも同様に実行できる。
項目・データ尤度計算(S34)において、処理対象文字列が、言語パターン知識辞書163に定義済みのパターンにマッチする時、パターンごとに定義される項目らしさの値を付与する。
以下、関係尤度計算(S35)について、具体的な実施例を用いて説明する。下記実施例3a〜3eで決定される尤度は、近傍のラベルに依存して決まる尤度である。
図17に、隣接するセル同士のレイアウトパターンと、論理関係別の尤度を示す。これは、図3のレイアウト共起辞書164の一例である。テーブル170は、特徴量として、接続方向(縦あるいは横)1704、接触罫線の種類1705、接触罫線の太さ1706を用い、接続関係(2つの文字列のラベル(Fx、Vx)の組合せ)別に、関係尤度を定義している。
関係パターン尤度(LrelLayout(xi,xj))=各関係の頻度÷各パターンの全体頻度 …(3)
これらの尤度は、式(3)により同様に計算できる。
図18に、隣接するセル同士の言語特徴と、関係尤度の定義例を示す。これは、図3の言語共起辞書165の一例である。テーブル180は、特徴量として、左(上)のセルの文字列の項目種別1804、右(下)のセルの言語パターン/固有表現カテゴリ1805を用いて、接続関係(2つの文字列のラベル(Fx、Vx)の組合せ)1806別に、関係尤度1807を定義している。図18では、最も尤度が高い関係以外は省略している。
言語パターン共起尤度(LrelLang(xi,xj))=文字列ペアがF−F(F−V)関係であった頻度÷文字列が隣接していた頻度 …(4)
上記実施例で説明したように、項目名照合度計算(S33)、項目・データ尤度計算(S34)、関係尤度計算(S35)により、各文字列の近傍情報のみを用いて、項目名らしさ、データらしさを評価する手段を提供した。最後に、これらの尤度を統合した全体尤度が大きくなるラベルの組合せを選択する必要がある。
いま、観測データをyとし、変数をxとおく。表データのラベル付け問題では、各セル内の文字列集合y=(y1,y2,…,yN)が観測データであり、それらのラベル集合x=(x1,x2,…,xN)が隠れ変数である(但し、xk={Fv,Fh,Fvh,Vv,Vh,l0:l0はラベルが未設定})。
11 入力手段
12 表示装置
13 CPU
14 印刷装置
15 ワークエリア
16 情報保持手段
19 通信ネットワーク
110 入力装置
111 画像入力装置
151 OS
152 通信プログラム
153 認識プログラム
161 項目名単語辞書
162 レイアウトパターン知識辞書
163 言語パターン知識辞書
164 レイアウト共起辞書
165 言語共起辞書
Claims (7)
- 項目名の候補となる単語を記憶した項目名単語辞書と、
文字列の言語パターンに基づき、文字列の項目らしさとデータらしさを数値化した情報を格納した言語パターン知識辞書と、
文字列が含まれるセルのデザイン特徴に基づき、当該デザイン特徴を有するセルの項目らしさとデータらしさを数値化した情報を格納したレイアウトパターン知識辞書と、
入力された表の論理関係を解析する表解析手段とを有し、
前記表解析手段は、入力された表のセル内の文字列と前記項目名単語辞書との照合具合により項目名らしさを判定し、セルのデザイン特徴を前記レイアウトパターン知識辞書と照合して項目らしさあるいはデータらしさを判定し、セル内の言語パターンを前記言語パターン知識辞書と照合して項目らしさあるいはデータらしさを判定し、前記各判定を総合して表中の各セルが項目であるかデータであるかを判別することを特徴とする表構造解析装置。 - 請求項1に記載の表構造解析装置において、前記表解析手段は、入力された表のセル内の文字列と前記項目名単語辞書との照合パターンが完全一致であるか、部分一致であるか、境界一致であるかを考慮して項目らしさの数値を計算することを特徴とする表構造解析装置。
- 請求項2に記載の表構造解析装置において、前記表解析手段は、前記各判定で求められた項目らしさあるいはデータらしさを表す数値の積によって表中の各セルが項目であるかデータであるかを判別することを特徴とする表構造解析装置。
- 請求項1に記載の表構造解析装置において、
物理的連接関係にあるセル同士のデザインの組合せに基づき、項目らしさとデータらしさを数値化した情報を格納したレイアウト共起辞書と、物理的連接関係にあるセル同士の言語共起に基づき、項目らしさとデータらしさを数値化した情報を格納した言語共起辞書を更に有し、
前記表解析手段は、入力された表の物理的連接関係にあるセル同士のデザインの組合せを前記レイアウト共起辞書と照合して項目らしさあるいはデータらしさを判定し、入力された表の物理的連接関係にあるセル同士の言語共起を前記言語共起辞書に照合して項目らしさあるいはデータらしさを判定し、これらの判定をも総合して表中の各セルが項目であるかデータであるかを判別することを特徴とする表構造解析装置。 - 請求項4に記載の表構造解析装置において、前記レイアウト共起辞書は、縦又は横に連続するセルの背景色もしくはハッチングが途中で変化する場合に、上端又は左端の背景もしくはハッチングを持つセルの項目の尤度を高く設定していることを特徴とする表構造解析装置。
- 請求項4に記載の表構造解析装置において、
前記言語共起辞書は、隣接文字列ペアがIs-A関係(上位・下位概念関係)の場合に項目−項目関係である尤度を高く設定し、Has-A関係(部分と全体の関係)に該当する場合に項目−データ関係である尤度を高く設定しており、
前記レイアウト共起辞書は、隣接文字列ペアのレイアウトパターンが、変化している場合に項目−データ関係である尤度を高く設定し、同じ場合に項目−項目関係、データ−データ関係の尤度を高く設定していることを特徴とする表構造解析装置。 - 請求項4に記載の表構造解析装置において、前記表解析手段は、前記項目名単語辞書と言語パターン知識辞書とを用いた照合により項目名らしさとデータらしさを判定してセルの状態を項目かデータかに初期設定し、次に、前記レイアウト共起辞書と言語共起辞書を用いた照合によりセルの状態の尤度を定量化し、状態(項目名かデータか)を変更することで尤度が上昇する場合に別の状態に変更し、表中のどのセルの状態を変更しても、尤度が低下するか、尤度の上昇が低い場合を最終の状態とすることを特徴とする表構造解析装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008009505A JP4871889B2 (ja) | 2008-01-18 | 2008-01-18 | 表認識方法及び表認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008009505A JP4871889B2 (ja) | 2008-01-18 | 2008-01-18 | 表認識方法及び表認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009169844A JP2009169844A (ja) | 2009-07-30 |
JP4871889B2 true JP4871889B2 (ja) | 2012-02-08 |
Family
ID=40970908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008009505A Expired - Fee Related JP4871889B2 (ja) | 2008-01-18 | 2008-01-18 | 表認識方法及び表認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4871889B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5621169B2 (ja) * | 2010-05-26 | 2014-11-05 | 日立オムロンターミナルソリューションズ株式会社 | 帳票認識装置および帳票認識方法 |
JP5653817B2 (ja) * | 2011-03-29 | 2015-01-14 | 日立オムロンターミナルソリューションズ株式会社 | 帳票認識装置、帳票認識方法およびそのためのプログラム |
JP5703191B2 (ja) * | 2011-11-02 | 2015-04-15 | 株式会社日立製作所 | 文書認識支援装置、文書検索装置及び文書管理方法 |
JP2013105321A (ja) * | 2011-11-14 | 2013-05-30 | Hitachi Ltd | 文書処理装置、文書構成要素間の関係解析方法およびプログラム |
JP5775839B2 (ja) * | 2012-03-14 | 2015-09-09 | 株式会社日立製作所 | 表構造解析装置及び表構造解析方法 |
JPWO2014068770A1 (ja) * | 2012-11-02 | 2016-09-08 | 株式会社日立製作所 | データ抽出方法、データ抽出装置及びそのプログラム |
JPWO2014170965A1 (ja) * | 2013-04-16 | 2017-02-16 | 株式会社日立製作所 | 文書処理方法、文書処理装置および文書処理プログラム |
JP6390085B2 (ja) * | 2013-10-03 | 2018-09-19 | 富士通株式会社 | プログラム、情報処理装置、及び、情報処理方法 |
JP6174466B2 (ja) * | 2013-11-22 | 2017-08-02 | 日立オムロンターミナルソリューションズ株式会社 | 帳票認識装置、帳票認識方法、及びプログラム |
JP6406932B2 (ja) * | 2014-08-29 | 2018-10-17 | 日立オムロンターミナルソリューションズ株式会社 | 帳票認識装置及び方法 |
JP6612680B2 (ja) * | 2016-06-02 | 2019-11-27 | 日本電信電話株式会社 | 論理関係認識装置、論理関係認識方法および論理関係認識プログラム |
JP6947971B2 (ja) * | 2016-11-17 | 2021-10-13 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、制御方法、プログラム |
JP2018092459A (ja) * | 2016-12-06 | 2018-06-14 | 株式会社アイリックコーポレーション | 画像分析装置、画像分析方法および画像分析プログラム |
US10679049B2 (en) * | 2017-09-29 | 2020-06-09 | Konica Minolta Laboratory U.S.A., Inc. | Identifying hand drawn tables |
WO2019245016A1 (ja) * | 2018-06-22 | 2019-12-26 | 株式会社ミラボ | 標準項目名設定装置、標準項目名設定方法及び標準項目名設定プログラム |
JP7041963B2 (ja) * | 2018-06-22 | 2022-03-25 | 株式会社ミラボ | 標準項目名設定装置、標準項目名設定方法及び標準項目名設定プログラム |
US10846525B2 (en) | 2019-02-15 | 2020-11-24 | Wipro Limited | Method and system for identifying cell region of table comprising cell borders from image document |
CN111062259B (zh) * | 2019-11-25 | 2023-08-25 | 泰康保险集团股份有限公司 | 表格识别方法和装置 |
CN113407717B (zh) * | 2021-05-28 | 2022-12-20 | 数库(上海)科技有限公司 | 消除新闻中行业词歧义的方法、装置、设备和存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09319824A (ja) * | 1996-05-30 | 1997-12-12 | Hitachi Ltd | 帳票認識方法 |
JP3190603B2 (ja) * | 1997-09-05 | 2001-07-23 | 翼システム株式会社 | 文字読み取り装置、その読み取り方法および記録媒体 |
JP2000163441A (ja) * | 1998-11-30 | 2000-06-16 | Nippon Telegr & Teleph Corp <Ntt> | 辞書作成方法及び装置及び辞書作成プログラムを格納した記憶媒体及び検索要求作成方法及び装置及び検索要求作成プログラムを格納した記憶媒体及び多言語対応情報検索システム |
JP4566510B2 (ja) * | 2002-12-20 | 2010-10-20 | 富士通株式会社 | 帳票認識装置および帳票認識方法 |
JP2006092207A (ja) * | 2004-09-22 | 2006-04-06 | Fuji Xerox Co Ltd | 文書属性取得装置、文書属性取得方法および文書属性取得プログラム |
JP4651488B2 (ja) * | 2005-09-14 | 2011-03-16 | 川崎重工業株式会社 | エンジンのジェネレータ冷却構造 |
JP2007233913A (ja) * | 2006-03-03 | 2007-09-13 | Fuji Xerox Co Ltd | 画像処理装置及びプログラム |
-
2008
- 2008-01-18 JP JP2008009505A patent/JP4871889B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009169844A (ja) | 2009-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4871889B2 (ja) | 表認識方法及び表認識装置 | |
US11734328B2 (en) | Artificial intelligence based corpus enrichment for knowledge population and query response | |
RU2613846C2 (ru) | Метод и система извлечения данных из изображений слабоструктурированных документов | |
Sage et al. | Recurrent neural network approach for table field extraction in business documents | |
CN112434691A (zh) | 基于智能解析识别的hs编码匹配、展示方法、系统及存储介质 | |
US11568666B2 (en) | Method and system for human-vision-like scans of unstructured text data to detect information-of-interest | |
EP3948501A1 (en) | Hierarchical machine learning architecture including master engine supported by distributed light-weight real-time edge engines | |
EP4141818A1 (en) | Document digitization, transformation and validation | |
Tkaczyk | New methods for metadata extraction from scientific literature | |
CN110287493B (zh) | 风险短语识别方法、装置、电子设备及存储介质 | |
Romero et al. | Modern vs diplomatic transcripts for historical handwritten text recognition | |
Cheddad et al. | SHIBR—The Swedish historical birth records: A semi-annotated dataset | |
CN117034948B (zh) | 基于多特征自适应融合的段落识别方法、系统及存储介质 | |
Belaid et al. | Administrative document analysis and structure | |
US11868313B1 (en) | Apparatus and method for generating an article | |
CN110188340B (zh) | 一种研报文本实体名词自动识别方法 | |
Gutehrlé et al. | Processing the structure of documents: logical layout analysis of historical newspapers in French | |
Dejean | Extracting structured data from unstructured document with incomplete resources | |
CN113254583B (zh) | 一种基于语义向量的文档标记方法、装置及介质 | |
CN112613318B (zh) | 实体名称归一化系统及其方法、计算机可读介质 | |
Kuropiatnyk et al. | Automation of template formation to identify the structure of natural language documents | |
Souza et al. | ARCTIC: metadata extraction from scientific papers in pdf using two-layer CRF | |
CN112395429A (zh) | 基于图神经网络的hs编码判定、推送、应用方法、系统及存储介质 | |
Gutehrlé et al. | Logical Layout Analysis Applied to Historical Newspapers | |
Lamba et al. | Exploring OCR Errors in Full-Text Large Documents: A Study of LIS Theses and Dissertations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111025 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111121 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141125 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |