JP7013341B2 - 帳票認識装置、帳票認識方法、及び帳票認識プログラム - Google Patents
帳票認識装置、帳票認識方法、及び帳票認識プログラム Download PDFInfo
- Publication number
- JP7013341B2 JP7013341B2 JP2018129093A JP2018129093A JP7013341B2 JP 7013341 B2 JP7013341 B2 JP 7013341B2 JP 2018129093 A JP2018129093 A JP 2018129093A JP 2018129093 A JP2018129093 A JP 2018129093A JP 7013341 B2 JP7013341 B2 JP 7013341B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- solid
- unit
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Character Input (AREA)
- Image Analysis (AREA)
Description
(1)枠抽出を前提としているため、矩形のベタ領域しか抽出できない。
(2)線幅に基づいてベタ領域を抽出しているため、枠の端まで文字が記載されるために
枠線が細い場合には、ベタ領域を抽出できないか、ベタ領域を誤分割してしまう。
図1は、本実施例における帳票認識装置100のハードウェア構成例である。帳票認識装置100は、操作部110と、表示部120と、画像入力部130と、記憶部140と、制御部150と、インターフェース(IF)160とを備えるコンピュータ装置である。
B.動作概要
本実施形態における帳票装置100は、図2(A)の入力画像から図2(B)の白抜き文字を反転した画像を生成する。図3を用いて、制御部150における帳票認識の概略の処理フローを示す。以下では、入力画像に含まれるベタ領域210を例に挙げて説明しているが、他のベタ領域220~240についても同様に考えることができる。すなわち、図2(A)に示す入力画像200に含まれるベタ領域210~240のそれぞれは、以下の処理が実行されることにより、図2(B)に示す画像250に含まれる反転領域260~290として抽出される。
まず、ステップ300の画像入力において、制御部150は、画像入力部130が入力した帳票画像を読み出す。以降の処理は2値画像を前提とした処理であるため、カラー画像の帳票が入力された場合は2値化し、2値画像の帳票が入力された場合はそのまま後段の処理に用いる。
(実施形態の処理の詳細)
以下、図3に示した処理の詳細について説明する。
図4は、図3のステップ320のベタ領域候補検出処理の詳細フローである。図5は、図4の各ステップにおける処理結果の例である。なお、この処理は2値画像を前提としている。ただし、カラー画像であっても、色ごとに画像を分離するなどしてこの処理を用いてもよい。
まず、ステップ400の膨張・収縮・膨張処理において、制御部150(ベタ領域候補検出部)は、入力画像からベタ領域の候補となる領域を検出する。ここで、膨張処理とは黒画素の領域を拡張することであり、収縮処理とは黒画素の領域を縮小することである。具体的には、膨張処理は、白抜き文字を除去するために、ベタ領域中の白抜き文字を黒画素に変換する処理である。収縮処理は、ノイズを除去するために、画像中の罫線や黒文字等を消去する処理である。ベタ領域候補検出部は、入力画像に対してこれらの処理をした結果、黒画素が連結した領域をベタ領域候補とする。
まず、ステップ710の白黒反転処理において、誤結合分離部は、図4の処理で判定された新たなベタ領域候補内の画素を白黒反転する。この処理により、白抜き文字を白黒反転して黒画素化する。図6の例では、誤結合分離部は、図6(C)に示す新たなベタ領域候補が穴埋めされて統合された後の領域に対応する入力帳票の画像である図6(A)に示す帳票画像上のベタ領域を白黒反転して、図6(D)に示す画像を生成する。
(第2実施形態)
第1実施形態では、入力画像からベタ領域を検出し、検出した領域内を白黒反転した。これに対し、第2実施形態では、黒文字生成用と白抜き文字抽出用の2値画像を分ける。2値化の手法やパラメータの違いにより、文字認識に適した黒文字を生成する2値画像と、ベタ領域検出に適した2値画像が異なることがあるためである。以下に示すように、本実施形態では、第1の2値化部が、カラー画像の帳票画像を2値化した第1の2値化画像を出力し、第2の2値化部が、第1の2値化部とは異なる方法で帳票画像を2値化した第2の2値化画像を出力し、帳票認識装置が、第2の2値化画像に基づいて、検出すべきベタ領域を検出し、第2の2値化画像から検出すべきベタ領域を切り出し、切り出したベタ領域に基づいて色を反転した画像を生成し、第1の2値化画像から検出すべきベタ領域を除去した画像を生成し、反転した画像と除去した画像とを統合した画像を生成する処理を実行する。
まず、ステップ900の2値化A(第1の2値化)において、制御部150(2値化部)は、カラー画像を2値化する。第4実施形態の帳票認識において、ベタ領域以外の文字や罫線の認識には、この2値画像Aを用いる。当該2値化処理では、2値化部が、帳票画像に含まれるベタ領域以外の領域(例えば、背景領域やベタ領域以外の文字や罫線の領域)を検出する。検出方法については、帳票画像の種類やカラーバリエーション等によって、様々な手法やパラメータを用いることができる。
第3実施形態では、黒文字生成用、ベタ領域検出用、白黒反転文字生成用で、3種類の値画像を用いる。白抜き文字をカラー画像化した際に、量子化誤差などの影響で文字の色が白ではなくベタ領域に近い色になることがある。この場合、2値化した時点で文字に潰れやかすれが発生する。このような画像を白黒反転すると、正しい文字の形状を得ることができない。これを防ぐため、ベタ領域内で再度2値化する。以下に示すように、本実施形態では、ベタ領域2値化部が、カラー画像の帳票画像から、検出すべきベタ領域を2値化したベタ領域2値化画像を出力し、切り出し2値化部が、検出すべきベタ領域が切り出された後の画像を2値化した切り出し画像を出力し、帳票認識装置が、ベタ領域2値化画像に基づいて、検出すべきベタ領域を検出して帳票画像から検出すべきベタ領域を切り出し、切り出した後の画像をネガポジ反転し、切り出し2値化部によりネガポジ反転された画像を2値化し、帳票画像から検出すべきベタ領域を除去した画像を生成し、2値化した画像と除去した画像とを統合した画像を生成する処理を実行する。
以下では、第2実施形態におけるステップと同様のステップについては同一の符号を付してその説明を省略する。
第4実施形態は、第1から第3の実施形態で生成した2値画像を利用した帳票認識である。
まず、ステップ1100の2値画像生成において、制御部150は、2値画像を生成する。この2値画像生成処理は、第1から第3の実施形態のいずれかである。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれている。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
110 操作部
120 表示部
130 画像入力部
140 記憶部
150 制御部
160 インターフェース(IF)
Claims (10)
- 画像入力部から入力された帳票画像を膨張または/および収縮させることにより、前記帳票画像の中からベタ領域の候補領域を検出するベタ領域候補検出部と、
前記帳票画像の色を反転した画像を膨張または/および収縮させることにより、誤結合された前記候補領域を分離し、前記候補領域を、前記分離後の新たな候補領域とする誤結合分離部と、
前記分離後の新たな候補領域がベタ領域か否かを判定し、前記新たな候補領域がベタ領域である場合に、当該新たな候補領域を、検出すべきベタ領域と判定する領域判定部と、
を備えることを特徴とする帳票認識装置。 - 請求項1に記載された帳票認識装置であって、
前記ベタ領域候補検出部は、前記帳票画像の膨張または/および収縮において得られた隣接する複数の前記候補領域と、前記入力された帳票画像とに基づいて、前記候補領域間の画像を抽出し、抽出した画像と複数の前記候補領域の画像とを統合する誤分割結合処理を実行する、
ことを特徴とする帳票認識装置。 - 請求項1に記載された帳票認識装置であって、
前記誤結合分離部は、前記ベタ領域候補検出部により検出された前記候補領域に対応する入力帳票の画像の色を反転した画像を膨張または/および収縮させた画像と、前記候補領域との差分をとり、当該差分をとることにより分離した画像を、前記分離後の新たな候補領域とする、
ことを特徴とする帳票認識装置。 - 請求項1に記載された帳票認識装置であって、
前記領域判定部により判定された前記新たな候補領域の色を反転した画像を生成し、前記入力された帳票画像の反転画像とする白抜き文字抽出部、
を備えることを特徴とする帳票認識装置。 - 請求項1に記載された帳票認識装置であって、
カラー画像の前記帳票画像を2値化した第1の2値化画像を出力する第1の2値化部と、
前記第1の2値化部とは異なる方法で前記帳票画像を2値化した第2の2値化画像を出力する第2の2値化部と、を備え、
前記帳票認識装置は、前記第2の2値化画像に基づいて、前記検出すべきベタ領域を検出し、前記第2の2値化画像から前記検出すべきベタ領域を切り出し、切り出した前記ベタ領域に基づいて色を反転した画像を生成し、前記第1の2値化画像から前記検出すべきベタ領域を除去した画像を生成し、前記反転した画像と前記除去した画像とを統合した画像を生成する、
ことを特徴とする帳票認識装置。 - 請求項1に記載された帳票認識装置であって、
カラー画像の前記帳票画像から、前記検出すべきベタ領域を2値化したベタ領域2値化画像を出力するベタ領域2値化部と、
前記検出すべきベタ領域が切り出された後の画像を2値化した切り出し画像を出力する切り出し2値化部と、を備え、
前記帳票認識装置は、前記ベタ領域2値化画像に基づいて、前記検出すべきベタ領域を検出して前記帳票画像から前記検出すべきベタ領域を切り出し、切り出した後の画像をネガポジ反転し、前記切り出し2値化部により前記ネガポジ反転された画像を2値化し、前記帳票画像から前記検出すべきベタ領域を除去した画像を生成し、前記2値化した画像と前記除去した画像とを統合した画像を生成する、
ことを特徴とする帳票認識装置。 - 請求項1に記載された帳票認識装置であって、
カラー画像の前記帳票画像を2値化した第1の2値化画像を出力する第1の2値化部と、
前記第1の2値化部とは異なる方法で前記帳票画像を2値化した第2の2値化画像を出力する第2の2値化部と、
前記検出すべきベタ領域が切り出された後の画像を2値化する第3の2値化部と、を備え、
前記帳票認識装置は、前記第2の2値化画像に基づいて、前記検出すべきベタ領域を検出して前記帳票画像から前記検出すべきベタ領域を切り出し、切り出した後の画像をネガポジ反転し、前記第3の2値化部により前記ネガポジ反転された画像を2値化し、前記第1の2値化画像から前記検出すべきベタ領域を除去した画像を生成し、前記2値化した画像と前記除去した画像とを統合した画像を生成する、
ことを特徴とする帳票認識装置。 - 請求項1に記載された帳票認識装置であって、
前記領域判定部により判定された前記新たな候補領域の色を反転した画像を生成し、前記入力された帳票画像の反転画像とする白抜き文字抽出部と、
前記反転画像からレイアウト情報を抽出するレイアウト解析部と、
前記レイアウト情報に含まれる文字列を認識する文字列認識部と、
前記認識された文字列の属性を解析する属性解析部と、
を備えることを特徴とする帳票認識装置。 - ベタ領域候補検出部が、画像入力部から入力された帳票画像を膨張または/および収縮させることにより、前記帳票画像の中からベタ領域の候補領域を検出し、
誤結合分離部が、前記帳票画像の色を反転した画像を膨張または/および収縮させることにより、誤結合された前記候補領域を分離し、前記候補領域を、前記分離後の新たな候補領域とし、
領域判定部が、前記分離後の新たな候補領域がベタ領域か否かを判定し、前記新たな候補領域がベタ領域である場合に、当該新たな候補領域を、検出すべきベタ領域と判定する、
ことを特徴とする帳票認識方法。 - コンピュータに、
画像入力部から入力された帳票画像を膨張または/および収縮させることにより、前記帳票画像の中からベタ領域の候補領域を検出する処理と、
前記帳票画像の色を反転した画像を膨張または/および収縮させることにより、誤結合された前記候補領域を分離し、前記候補領域を、前記分離後の新たな候補領域とする処理と、
前記分離後の新たな候補領域がベタ領域か否かを判定し、前記新たな候補領域がベタ領域である場合に、当該新たな候補領域を、検出すべきベタ領域と判定する処理と、
を実行させることを特徴とする帳票認識プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018129093A JP7013341B2 (ja) | 2018-07-06 | 2018-07-06 | 帳票認識装置、帳票認識方法、及び帳票認識プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018129093A JP7013341B2 (ja) | 2018-07-06 | 2018-07-06 | 帳票認識装置、帳票認識方法、及び帳票認識プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020009103A JP2020009103A (ja) | 2020-01-16 |
JP7013341B2 true JP7013341B2 (ja) | 2022-01-31 |
Family
ID=69151714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018129093A Active JP7013341B2 (ja) | 2018-07-06 | 2018-07-06 | 帳票認識装置、帳票認識方法、及び帳票認識プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7013341B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111611783B (zh) * | 2020-06-18 | 2023-04-25 | 山东旗帜信息有限公司 | 一种图形表格的定位分割方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001014468A (ja) | 1999-04-27 | 2001-01-19 | Ricoh Co Ltd | 画像処理方法、画像処理装置、地肌除去方法および記録媒体 |
JP2013210785A (ja) | 2012-03-30 | 2013-10-10 | Brother Ind Ltd | 画像処理装置およびプログラム |
-
2018
- 2018-07-06 JP JP2018129093A patent/JP7013341B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001014468A (ja) | 1999-04-27 | 2001-01-19 | Ricoh Co Ltd | 画像処理方法、画像処理装置、地肌除去方法および記録媒体 |
JP2013210785A (ja) | 2012-03-30 | 2013-10-10 | Brother Ind Ltd | 画像処理装置およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020009103A (ja) | 2020-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7454060B2 (en) | Image processor for character recognition | |
JP4745830B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
US8175380B2 (en) | Apparatus and method for improving text recognition capability | |
US7437002B2 (en) | Image recognition system utilizing an edge image and a binary image | |
JP2001297303A (ja) | 文書画像認識方法、装置及びコンピュータ読み取り可能な記録媒体 | |
JP4159720B2 (ja) | 表認識方法と表認識装置と文字認識装置及び表認識プログラムを記録した記憶媒体 | |
JP2011008549A (ja) | 画像処理装置、画像読取装置、複合機、画像処理方法、プログラム、記録媒体 | |
JP7013341B2 (ja) | 帳票認識装置、帳票認識方法、及び帳票認識プログラム | |
US20100054587A1 (en) | Image processing apparatus and image processing method | |
US11430235B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP4483567B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP7267854B2 (ja) | 帳票認識装置、帳票認識方法、及び帳票認識システム | |
US11288536B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
KR20100011187A (ko) | 문자 인식 방법 | |
US8542931B2 (en) | Ruled line extraction technique based on comparision results and indentifying noise based on line thickness | |
JP4587698B2 (ja) | 文字成分抽出装置 | |
JP2006072839A (ja) | 画像処理方法、画像処理装置、画像処理プログラム及び記録媒体 | |
JP6701773B2 (ja) | 罫線削除装置、罫線削除方法、および罫線削除プログラム | |
JP2002236921A (ja) | 文書画像認識方法、文書画像認識装置及び記録媒体 | |
US20240062567A1 (en) | Learning Image Generation Apparatus, Learning Image Generation Method, And Non-Transitory Computer-Readable Recording Medium | |
JP2923004B2 (ja) | 画像生成装置 | |
RU2737001C1 (ru) | Устройство и способ обработки изображений и носитель данных | |
EP0446630A2 (en) | Method and apparatus for segmenting characters in an amount field on a financial document | |
JP2023034823A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
US7545534B2 (en) | Image processing apparatus, method and program binarizing received image data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211223 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7013341 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |