JPWO2020071558A1 - 帳票レイアウト解析装置、その解析プログラムおよびその解析方法 - Google Patents
帳票レイアウト解析装置、その解析プログラムおよびその解析方法 Download PDFInfo
- Publication number
- JPWO2020071558A1 JPWO2020071558A1 JP2020551133A JP2020551133A JPWO2020071558A1 JP WO2020071558 A1 JPWO2020071558 A1 JP WO2020071558A1 JP 2020551133 A JP2020551133 A JP 2020551133A JP 2020551133 A JP2020551133 A JP 2020551133A JP WO2020071558 A1 JPWO2020071558 A1 JP WO2020071558A1
- Authority
- JP
- Japan
- Prior art keywords
- item
- area
- layout
- layout analysis
- handwritten character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 72
- 238000000605 extraction Methods 0.000 claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Character Input (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
Description
2 項目抽出部
3 手書き領域抽出部
4 フィルタ処理部
5 レイアウト解析部
6 学習処理部
7 学習モデル
8 対応規則テーブル
Claims (21)
- 帳票のレイアウトを解析する帳票レイアウト解析装置において、
帳票上に活字で印刷された項目名を含む項目領域を抽出対象として、深層学習による物体検出アルゴリズムを用いて、帳票画像中に含まれる項目領域を属性の分類付きで個別に抽出する項目抽出部と、
前記帳票画像上における項目領域の位置およびその属性に基づいて、帳票画像のレイアウトを解析するレイアウト解析部と、
を有することを特徴とする帳票レイアウト解析装置。 - 帳票上に手書き文字で記入された文字列を含む手書き文字領域を帳票画像中から個別に抽出する手書き領域抽出部をさらに有し、
前記レイアウト解析部は、前記手書き領域抽出部によって抽出された手書き文字領域のそれぞれに対して、前記項目抽出部によって分類された属性のいずれかを割り当てることを特徴とする請求項1に記載された帳票レイアウト解析装置。 - 前記レイアウト解析部は、予め設定された対応規則にしたがって、前記項目領域と、その近傍に位置する前記手書き文字領域とを対応付けた上で、前記手書き文字領域に対して、これに対応付けられた前記項目領域の属性を割り当てることを特徴とする請求項2に記載された帳票レイアウト解析装置。
- 前記項目抽出部は、前記物体検出アルゴリズムとして、前記帳票画像を一つのニューラルネットワークに入力することで、回帰問題的なアプローチによって、前記項目領域の抽出と、その属性の分類とをまとめて行うことを特徴とする請求項1から3のいずれかに記載された帳票レイアウト解析装置。
- 前記項目抽出部は、活字で表された項目名を含む項目画像と、当該項目画像の属性との対である教師データを用いた教師あり学習によって構築された学習モデルを参照して、前記項目領域の抽出と、その属性の分類とを行うことを特徴とする請求項4に記載された帳票レイアウト解析装置。
- 前記項目抽出部は、前記属性の分類確度を出力し、
前記分類確度が所定のしきい値よりも小さい前記属性をノイズとして除去するフィルタ処理部をさらに有することを特徴とする請求項1から3のいずれかに記載された帳票レイアウト解析装置。 - 前記レイアウト解析部は、帳票画像のレイアウトについて複数の解析結果が得られた場合、当該複数の解析結果をレイアウトの候補としてユーザに提示することを特徴とする請求項1から3のいずれかに記載された帳票レイアウト解析装置。
- 帳票のレイアウトを解析する帳票レイアウト解析プログラムにおいて、
帳票上に活字で印刷された項目名を含む項目領域を抽出対象として、深層学習による物体検出アルゴリズムを用いて、帳票画像中に含まれる項目領域を属性の分類付きで個別に抽出する第1のステップと、
前記帳票画像上における項目領域の位置およびその属性に基づいて、帳票画像のレイアウトを解析する第2のステップと、
を有する処理をコンピュータに実行させることを特徴とする帳票レイアウト解析プログラム。 - 帳票上に手書き文字で記入された文字列を含む手書き文字領域を帳票画像中から個別に抽出する第3のステップをさらに有し、
前記第2のステップは、第3のステップで抽出された手書き文字領域のそれぞれに対して、前記第1のステップで分類された属性のいずれかを割り当てることを特徴とする請求項8に記載された帳票レイアウト解析プログラム。 - 前記第2のステップは、予め設定された対応規則にしたがって、前記項目領域と、その近傍に位置する前記手書き文字領域とを対応付けた上で、前記手書き文字領域に対して、これに対応付けられた前記項目領域の属性を割り当てることを特徴とする請求項9に記載された帳票レイアウト解析プログラム。
- 前記第1のステップは、前記物体検出アルゴリズムとして、前記帳票画像を一つのニューラルネットワークに入力することで、回帰問題的なアプローチによって、前記項目領域の抽出と、その属性の分類とをまとめて行うことを特徴とする請求項8から10のいずれかに記載された帳票レイアウト解析プログラム。
- 前記第1のステップは、活字で表された項目名を含む項目画像と、当該項目画像の属性との対である教師データを用いた教師あり学習によって構築された学習モデルを参照して、前記項目領域の抽出と、その属性の分類とを行うことを特徴とする請求項11に記載された帳票レイアウト解析プログラム。
- 前記第1のステップは、前記属性の分類確度を出力するステップを含み、
前記分類確度が所定のしきい値よりも小さい前記属性をノイズとして除去する第4のステップをさらに有することを特徴とする請求項8から10のいずれかに記載された帳票レイアウト解析プログラム。 - 前記第2のステップは、帳票画像のレイアウトについて複数の解析結果が得られた場合、当該複数の解析結果をレイアウトの候補としてユーザに提示するステップを含むことを特徴とする請求項8から10のいずれかに記載された帳票レイアウト解析プログラム。
- 帳票のレイアウトを解析する帳票レイアウト解析方法において、
帳票上に活字で印刷された項目名を含む項目領域を抽出対象として、深層学習による物体検出アルゴリズムを用いて、帳票画像中に含まれる項目領域を属性の分類付きで個別に抽出する第1のステップと、
前記帳票画像上における項目領域の位置およびその属性に基づいて、帳票画像のレイアウトを解析する第2のステップと、
を有することを特徴とする帳票レイアウト解析方法。 - 帳票上に手書き文字で記入された文字列を含む手書き文字領域を帳票画像中から個別に抽出する第3のステップをさらに有し、
前記第2のステップは、第3のステップで抽出された手書き文字領域のそれぞれに対して、前記第1のステップで分類された属性のいずれかを割り当てることを特徴とする請求項15に記載された帳票レイアウト解析方法。 - 前記第2のステップは、予め設定された対応規則にしたがって、前記項目領域と、その近傍に位置する前記手書き文字領域とを対応付けた上で、前記手書き文字領域に対して、これに対応付けられた前記項目領域の属性を割り当てることを特徴とする請求項16に記載された帳票レイアウト解析方法。
- 前記第1のステップは、前記物体検出アルゴリズムとして、前記帳票画像を一つのニューラルネットワークに入力することで、回帰問題的なアプローチによって、前記項目領域の抽出と、その属性の分類とをまとめて行うことを特徴とする請求項15から17のいずれかに記載された帳票レイアウト解析方法。
- 前記第1のステップは、活字で表された項目名を含む項目画像と、当該項目画像の属性との対である教師データを用いた教師あり学習によって構築された学習モデルを参照して、前記項目領域の抽出と、その属性の分類とを行うことを特徴とする請求項18に記載された帳票レイアウト解析方法。
- 前記第1のステップは、前記属性の分類確度を出力するステップを含み、
前記分類確度が所定のしきい値よりも小さい前記属性をノイズとして除去する第4のステップをさらに有することを特徴とする請求項15から17のいずれかに記載された帳票レイアウト解析方法。 - 前記第2のステップは、帳票画像のレイアウトについて複数の解析結果が得られた場合、当該複数の解析結果をレイアウトの候補としてユーザに提示するステップを含むことを特徴とする請求項15から17のいずれかに記載された帳票レイアウト解析方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018190112 | 2018-10-05 | ||
JP2018190112 | 2018-10-05 | ||
PCT/JP2019/039412 WO2020071558A1 (ja) | 2018-10-05 | 2019-10-04 | 帳票レイアウト解析装置、その解析プログラムおよびその解析方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2020071558A1 true JPWO2020071558A1 (ja) | 2021-10-07 |
JPWO2020071558A5 JPWO2020071558A5 (ja) | 2022-10-07 |
JP7396568B2 JP7396568B2 (ja) | 2023-12-12 |
Family
ID=70055833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020551133A Active JP7396568B2 (ja) | 2018-10-05 | 2019-10-04 | 帳票レイアウト解析装置、その解析プログラムおよびその解析方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7396568B2 (ja) |
WO (1) | WO2020071558A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021170221A (ja) * | 2020-04-15 | 2021-10-28 | ネットスター株式会社 | 学習済みモデル、サイト判定プログラム及びサイト判定システム |
JP7478345B2 (ja) | 2020-05-12 | 2024-05-07 | 京セラドキュメントソリューションズ株式会社 | 帳票データ取得システムおよび帳票データ取得プログラム |
CN111709339B (zh) * | 2020-06-09 | 2023-09-19 | 北京百度网讯科技有限公司 | 一种票据图像识别方法、装置、设备及存储介质 |
JP7452809B1 (ja) | 2023-08-09 | 2024-03-19 | ファーストアカウンティング株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09231291A (ja) * | 1996-02-27 | 1997-09-05 | Mitsubishi Electric Corp | 帳票読取方法及びその装置 |
JP4867941B2 (ja) * | 2008-03-24 | 2012-02-01 | 沖電気工業株式会社 | 帳票処理方法、帳票処理プログラム、帳票処理装置、および、帳票処理システム |
JP2017010069A (ja) | 2015-06-16 | 2017-01-12 | シャープ株式会社 | 情報処理装置 |
-
2019
- 2019-10-04 JP JP2020551133A patent/JP7396568B2/ja active Active
- 2019-10-04 WO PCT/JP2019/039412 patent/WO2020071558A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP7396568B2 (ja) | 2023-12-12 |
WO2020071558A1 (ja) | 2020-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7396568B2 (ja) | 帳票レイアウト解析装置、その解析プログラムおよびその解析方法 | |
Riba et al. | Table detection in invoice documents by graph neural networks | |
US20200074169A1 (en) | System And Method For Extracting Structured Information From Image Documents | |
CN109685052A (zh) | 文本图像处理方法、装置、电子设备及计算机可读介质 | |
Elnagar et al. | Segmentation of connected handwritten numeral strings | |
WO2004111934A2 (en) | Segmentation and data mining for gel electrophoresis images | |
CN109389050B (zh) | 一种流程图连接关系识别方法 | |
WO2017092574A1 (zh) | 一种基于混合数据类型数据的挖掘方法 | |
US20210374455A1 (en) | Utilizing machine learning and image filtering techniques to detect and analyze handwritten text | |
Slavin | Using special text points in the recognition of documents | |
CN111078979A (zh) | 一种基于ocr和文本处理技术识别网贷网站的方法及系统 | |
JPWO2020071558A5 (ja) | ||
Mörzinger et al. | Visual Structure Analysis of Flow Charts in Patent Images. | |
Bhattacharya et al. | Understanding contents of filled-in Bangla form images | |
JP6896260B1 (ja) | レイアウト解析装置、その解析プログラムおよびその解析方法 | |
Abdo et al. | An approach to analysis of Arabic text documents into text lines, words, and characters | |
KR102203937B1 (ko) | 이미지 도면 내 객체 인식 장치 | |
Lue et al. | A novel character segmentation method for text images captured by cameras | |
CN114359912B (zh) | 基于图神经网络的软件页面关键信息提取方法及系统 | |
Tran et al. | A deep learning-based system for document layout analysis | |
US11900705B2 (en) | Intelligent engineering data digitization | |
US20220044048A1 (en) | System and method to recognise characters from an image | |
Sarkar et al. | Text line extraction from handwritten document pages based on line contour estimation | |
Duth et al. | Recognition of hand written and printed text of cursive writing utilizing optical character recognition | |
CN112836510A (zh) | 一种产品图片文字识别方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20210714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210716 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220929 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220929 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7396568 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |