WO2020157938A1 - 画像処理装置、制御方法及び制御プログラム - Google Patents
画像処理装置、制御方法及び制御プログラム Download PDFInfo
- Publication number
- WO2020157938A1 WO2020157938A1 PCT/JP2019/003491 JP2019003491W WO2020157938A1 WO 2020157938 A1 WO2020157938 A1 WO 2020157938A1 JP 2019003491 W JP2019003491 W JP 2019003491W WO 2020157938 A1 WO2020157938 A1 WO 2020157938A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- broken line
- region
- linear component
- area
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
Abstract
画像からより良好に破線を除去することが可能な画像処理装置、制御方法、制御プログラムを提供する。画像処理装置は、入力画像を取得する取得部と、入力画像を二値化した二値画像を生成する二値画像生成部と、二値画像内で表のセル領域を検出するセル領域検出部と、検出されたセル領域内で、当該セル領域の一端から他端まで連続しない直線成分を検出する直線成分検出部と、検出された直線成分を含み且つ直線成分の延伸方向においてセル領域の一端から他端まで延伸する領域をマスク領域として設定するマスク領域設定部と、設定されたマスク領域に基づいて、入力画像又は二値画像から直線成分を除去した補正画像を生成する補正画像生成部と、補正画像又は補正画像を用いて生成した情報を出力する出力部と、を有する。
Description
本開示は、画像処理装置、制御方法及び制御プログラムに関し、特に、入力画像を補正する画像処理装置、制御方法及び制御プログラムに関する。
請求書等の帳票を担当者が手作業によりデータ化している会社では、膨大な数の帳票のデータ化が必要である場合に担当者の業務負担が大きくなるため、帳票のデータ化作業の効率化に対する要望が高まっている。帳票のデータ化作業の効率化を図るためには、帳票に記載されている文字をコンピュータ等の画像処理装置が正しく認識する必要がある。このような帳票では、例えば表内に記載された数字の値を人が識別しやすくなるように、数字の桁を区切るための破線が記載されている場合がある。その場合、破線が文字の一部と誤って認識されてしまい、文字が正しく認識されない可能性がある。
文字のストロークが線と交差する領域を検出し、交わっている文字のストロークを保護しながら線を除去する方法が開示されている(特許文献1)。
画像データ中の罫線と垂直な方向の黒ランを抽出し、抽出したランデータの中心を通る回帰直線とランデータの距離の最大値が閾値未満である場合にランデータの位置に相当する部分を画像上で白画素に置き換える画像処理装置が開示されている(特許文献2)。
連結する黒画素をすべて包含する矩形の中で大きさが閾値より小さい矩形を点線要素として抽出し、抽出した点線要素について間隔が閾値以内の点線要素同士を統合した矩形を点線罫線として抽出する罫線認識方法が開示されている(特許文献3)。
画像処理装置では、画像からより良好に破線を除去することを求められている。
画像処理装置、制御方法及び制御プログラムの目的は、画像からより良好に破線を除去することを可能とすることにある。
実施形態の一側面に係る画像処理装置は、入力画像を取得する取得部と、入力画像を二値化した二値画像を生成する二値画像生成部と、二値画像内で表のセル領域を検出するセル領域検出部と、検出されたセル領域内で、当該セル領域の一端から他端まで連続しない直線成分を検出する直線成分検出部と、検出された直線成分を含み且つ直線成分の延伸方向においてセル領域の一端から他端まで延伸する領域をマスク領域として設定するマスク領域設定部と、設定されたマスク領域に基づいて、入力画像又は二値画像から直線成分を除去した補正画像を生成する補正画像生成部と、補正画像又は補正画像を用いて生成した情報を出力する出力部と、を有する。
また、実施形態の一側面に係る制御方法は、出力部を有する画像処理装置の制御方法であって、画像処理装置が、入力画像を取得し、入力画像を二値化した二値画像を生成し、二値画像内で表のセル領域を検出し、検出されたセル領域内で、当該セル領域の一端から他端まで連続しない直線成分を検出し、検出された直線成分を含み且つ直線成分の延伸方向においてセル領域の一端から他端まで延伸する領域をマスク領域として設定し、設定されたマスク領域に基づいて、入力画像又は二値画像から直線成分を除去した補正画像を生成し、補正画像又は補正画像を用いて生成した情報を出力部から出力する。
また、実施形態の一側面に係る制御プログラムは、出力部を有するコンピュータの制御プログラムであって、入力画像を取得し、入力画像を二値化した二値画像を生成し、二値画像内で表のセル領域を検出し、検出されたセル領域内で、当該セル領域の一端から他端まで連続しない直線成分を検出し、検出された直線成分を含み且つ直線成分の延伸方向においてセル領域の一端から他端まで延伸する領域をマスク領域として設定し、設定されたマスク領域に基づいて、入力画像又は二値画像から直線成分を除去した補正画像を生成し、補正画像又は補正画像を用いて生成した情報を出力部から出力する、ことをコンピュータに実行させる。
本実施形態によれば、画像処理装置、制御方法及び制御プログラムは、画像からより良好に破線を除去することが可能となる。
本発明の目的及び効果は、特に請求項において指摘される構成要素及び組み合わせを用いることによって認識され且つ得られるだろう。前述の一般的な説明及び後述の詳細な説明の両方は、例示的及び説明的なものであり、特許請求の範囲に記載されている本発明を制限するものではない。
以下、本開示の一側面に係る画像処理装置、制御方法及び制御プログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
図1は、実施形態に従った画像処理システムの概略構成を示す図である。図1に示すように、画像処理システム1は、画像読取装置100と、情報処理装置200とを有する。
画像読取装置100は、例えばスキャナ装置等である。画像読取装置100は、情報処理装置200に接続されている。情報処理装置200は、画像処理装置の一例であり、例えばパーソナルコンピュータ等である。
画像読取装置100は、第1インタフェース装置101と、撮像装置102と、第1記憶装置110と、第1CPU(Control Processing Unit)120とを有する。
第1インタフェース装置101は、USB(Universal Serial Bus)等のシリアルバスに準じるインタフェース回路を有し、情報処理装置200と電気的に接続して画像データ及び各種の情報を送受信する。また、第1インタフェース装置101の代わりに、無線信号を送受信するアンテナと、所定の通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有する通信装置が用いられてもよい。所定の通信プロトコルは、例えば無線LAN(Local Area Network)である。
撮像装置102は、主走査方向に直線状に配列されたCCD(Charge Coupled Device)による撮像素子を備える縮小光学系タイプの撮像センサを有する。さらに、撮像装置102は、光を照射する光源と、撮像素子上に像を結ぶレンズと、撮像素子から出力された電気信号を増幅してアナログ/デジタル(A/D)変換するA/D変換器とを有する。撮像装置102において、撮像センサは、搬送される原稿の表面を撮像してアナログの画像信号を生成して出力し、A/D変換器は、このアナログの画像信号をA/D変換してデジタルの入力画像を生成して出力する。入力画像は、各画素データが、例えばRGB各色毎に8bitで表される計24bitのR(赤色)値、G(緑色)値、B(青色)値からなるカラー多値画像である。なお、入力画像は、各画素データが例えば8bitの輝度値からなる白黒多値画像でもよい。また、CCDの代わりにCMOS(Complementary Metal Oxide Semiconductor)による撮像素子を備える等倍光学系タイプのCIS(Contact Image Sensor)が用いられてもよい。
第1記憶装置110は、RAM(Random Access Memory)、ROM(Read Only Memory)等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第1記憶装置110には、画像読取装置100の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第1記憶装置110にインストールされてもよい。可搬型記録媒体は、例えばCD-ROM(compact disk read only memory)、DVD-ROM(digital versatile disk read only memory)等である。また、第1記憶装置110は、撮像装置102により生成された入力画像等を記憶する。
第1CPU120は、予め第1記憶装置110に記憶されているプログラムに基づいて動作する。なお、第1CPU120に代えて、DSP(digital signal processor)、LSI(large scale integration)等が用いられてよい。また、第1CPU120に代えて、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programming Gate Array)等が用いられてもよい。
第1CPU120は、第1インタフェース装置101、撮像装置102及び第1記憶装置110等と接続され、これらの各部を制御する。第1CPU120は、撮像装置102の原稿読取制御、第1インタフェース装置101を介した情報処理装置200とのデータ送受信制御等を行う。
情報処理装置200は、第2インタフェース装置201と、入力装置202と、表示装置203と、第2記憶装置220と、第2CPU240と、処理装置260とを有する。以下、情報処理装置200の各部について詳細に説明する。
第2インタフェース装置201は、画像読取装置100の第1インタフェース装置101と同様のインタフェース回路を有し、情報処理装置200と画像読取装置100とを接続する。また、第2インタフェース装置201の代わりに、無線信号を送受信するアンテナと、無線LAN等の所定の通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有する通信装置が用いられてもよい。
入力装置202は、キーボード、マウス等の入力装置及び入力装置から信号を取得するインタフェース回路を有し、利用者の操作に応じた信号を第2CPU240に出力する。
表示装置203は、出力部の一例である。表示装置203は、液晶、有機EL等から構成されるディスプレイ及びディスプレイに画像データを出力するインタフェース回路を有し、第2記憶装置220と接続されて第2記憶装置220に保存されている画像データをディスプレイに表示する。
第2記憶装置220は、画像読取装置100の第1記憶装置110と同様のメモリ装置、固定ディスク装置、可搬用の記憶装置等を有する。第2記憶装置220には、情報処理装置200の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばCD-ROM、DVD-ROM等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて第2記憶装置220にインストールされてもよい。また、第2記憶装置220は、画像読取装置100から受信した入力画像、及び、処理装置260により入力画像に対して画像処理がなされた各種の処理画像等を記憶する。
第2CPU240は、予め第2記憶装置220に記憶されているプログラムに基づいて動作する。なお、第2CPU240に代えて、DSP、LSI、ASIC、FPGA等が用いられてもよい。
第2CPU240は、第2インタフェース装置201、入力装置202、表示装置203、第2記憶装置220及び処理装置260等と接続され、これらの各部を制御する。第2CPU240は、第2インタフェース装置201を介した画像読取装置100とのデータ送受信制御、入力装置202の入力制御、表示装置203の表示制御、処理装置260による画像処理の制御等を行う。
処理装置260は、入力画像に対して所定の画像処理を実行する。処理装置260は、CPU、DSP、LSI、ASIC又はFPGA等で構成される。
図2は、第2記憶装置220及び第2CPU240の概略構成を示す図である。
図2に示すように、第2記憶装置220には、取得プログラム221、エッジ画像生成プログラム222、二値画像生成プログラム223、セル領域検出プログラム224、直線成分検出プログラム225、マスク領域設定プログラム230、補正画像生成プログラム231、文字検出プログラム232及び出力制御プログラム233等の各プログラムが記憶される。直線成分検出プログラム225には、破線候補抽出プログラム226、グループ抽出プログラム227、破線検出プログラム228及び近似直線検出プログラム229等が含まれる。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。第2CPU240は、第2記憶装置220に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作する。これにより、第2CPU240は、取得部241、エッジ画像生成部242、二値画像生成部243、セル領域検出部244、直線成分検出部245、マスク領域設定部250、補正画像生成部251、文字検出部252及び出力制御部253として機能する。直線成分検出部245には、破線候補抽出部246、グループ抽出部247、破線検出部248及び近似直線検出部249等が含まれる。
図3は、画像読取装置100による画像読取処理の動作を示すフローチャートである。以下、図3に示したフローチャートを参照しつつ、画像読取処理の動作を説明する。なお、以下に説明する動作のフローは、予め第1記憶装置110に記憶されているプログラムに基づき主に第1CPU120により画像読取装置100の各要素と協働して実行される。
最初に、撮像装置102は、原稿として、請求書等の帳票を撮像した入力画像を生成し、第1記憶装置110に保存する(ステップS101)。この原稿には、少なくとも表が含まれている。表内には、それぞれ実線で囲まれた複数のセル領域が含まれ、各セル領域内には、文字及び破線が含まれる。
次に、第1CPU120は、第1記憶装置110に保存された入力画像を、第1インタフェース装置101を介して情報処理装置200に送信し(ステップS102)、一連のステップを終了する。
図4及び図5は、情報処理装置200による認識処理の動作を示すフローチャートである。以下、図4及び図5に示したフローチャートを参照しつつ、認識処理の動作を説明する。なお、以下に説明する動作のフローは、予め第2記憶装置220に記憶されているプログラムに基づき主に第2CPU240により情報処理装置200の各要素と協同して実行される。
最初に、取得部241は、第2インタフェース装置201を介して画像読取装置100から入力画像を取得し、第2記憶装置220に保存する(ステップS201)。
図6Aは、入力画像600の一例を示す模式図である。
図6Aに示すように、入力画像600には、表601が含まれる。表601内には、それぞれ実線で囲まれた複数のセル領域602が含まれている。セル領域602には、各項目の名称及び数値等を示す文字603と、水平方向に延伸し且つセル領域602内の各項目を領域分けするための破線604と、垂直方向に延伸し且つ数値の各桁を領域分けするための破線605とが含まれている。破線は、一定間隔で隙間が形成された直線である。なお、セル領域602内の各項目又は数値の各桁は、破線604、605の代わりに、点線又は細線で領域分けされてもよい。点線は、一定間隔で配置された点により形成された直線である。細線は、セル領域を囲む実線より細い直線である。
以下では、入力画像内で、各セル領域の枠を構成する各直線(セル領域を囲む実線)は、水平及び垂直方向に延伸しているものとして説明する。
次に、エッジ画像生成部242は、取得した入力画像からエッジ画素を抽出し、入力画像をエッジ画素と非エッジ画素に二値化したエッジ画像を生成する(ステップS202)。エッジ画像生成部242は、入力画像内の画素の水平方向の両隣の画素の輝度値の差の絶対値(以下、隣接差分値と称する)を算出し、隣接差分値が第1閾値を越える場合、その入力画像上の画素をエッジ画素として抽出する。第1閾値は、例えば、人が画像上の輝度の違いを目視により判別可能な輝度値の差(例えば20)に設定することができる。エッジ画像生成部242は、垂直方向についても隣接差分値を算出し、隣接差分値が第1閾値を越える場合、その入力画像上の画素もエッジ画素として抽出する。一方、エッジ画像生成部242は、エッジ画素として抽出されなかった画素を非エッジ画素として抽出する。
なお、エッジ画像生成部242は、入力画像内の画素から水平又は垂直方向に所定距離だけ離れた画素の輝度値の差の絶対値を隣接差分値として算出してもよい。また、エッジ画像生成部242は、各画素の輝度値に代えて、各画素の色値(R値、G値又はB値)を用いて隣接差分値を算出してもよい。また、エッジ画像生成部242は、入力画像の輝度値又は色値を閾値と比較することによりエッジ画素を抽出してもよい。例えば、エッジ画像生成部242は、特定の画素の輝度値又は色値が閾値未満であり、その特定の画素に隣接する画素又はその特定の画素から所定距離だけ離れた画素の輝度値又は色値が閾値以上である場合、その特定の画素をエッジ画素として抽出する。
図6Bは、エッジ画像610の一例を示す模式図である。
図6Bは、図6Aに示す入力画像600から生成されたエッジ画像610を示す。図6Bに示すように、エッジ画像610では、入力画像600におけるセル領域602を囲む実線に対応する画素612と、文字603に対応する画素613とがエッジ画素として抽出されている。さらに、エッジ画像610では、破線604に対応する一部の画素614と、破線605に対応する一部の画素615とがエッジ画素として抽出されている。
次に、二値画像生成部243は、取得した入力画像を低輝度な画素に対応する黒色画素と、高輝度な画素に対応する白色画素に二値化した二値画像を生成する(ステップS203)。二値画像生成部243は、入力画像内で階調値が第2閾値以上である画素を白色画素とし、階調値が第2閾値未満である画素を黒色画素とした画像を二値画像として生成する。第2閾値は、事前の実験により、一般的な背景を形成する画素の階調値と文字を形成する画素の階調値の間の値に設定される。なお、第2閾値は、大津の二値化処理により決定されてもよい。
図6Cは、二値画像620の一例を示す模式図である。
図6Cは、図6Aに示す入力画像600を二値化した二値画像620を示す。図6Cに示すように、二値画像620では、入力画像600におけるセル領域602を囲む実線に対応する一部の画素622と、文字603に対応する画素623とが黒色画素として抽出されている。さらに、二値画像620では、破線604に対応する一部の画素624と、破線605に対応する一部の画素625とが黒色画素として抽出されている。
次に、セル領域検出部244は、二値画像内で表のセルに対応するセル領域を検出する(ステップS204)。
セル領域検出部244は、例えば、エッジ画像内でエッジ画素により非エッジ画素が囲まれた領域に対応する二値画像内の領域をセル領域として検出する。セル領域検出部244は、エッジ画像内で相互に隣接するエッジ画素で囲まれる第1連結領域をラベリングによりグループ化し、各第1連結領域の内、水平又は垂直方向のサイズが第1サイズ以上である第1連結領域を抽出する。第1サイズは、内部に文字を含むことが可能なサイズに設定され、例えば16ポイントに相当する画素数に設定される。セル領域検出部244は、抽出した各第1連結領域内で、隣接する非エッジ画素で囲まれる第2連結領域をラベリングによりグループ化し、各第2連結領域の内、水平又は垂直方向の長さが第2サイズ以上である第2連結領域を抽出する。第2サイズは、文字の最低サイズに設定され、例えば8ポイントに相当する画素数に設定される。セル領域検出部244は、抽出した第2連結領域に隣接し且つその第2連結領域を囲むエッジ画素で囲まれた領域をセル領域として検出する。
図7Aは、セル領域について説明するための模式図である。
図7Aは、図6Bに示すエッジ画像610から抽出されたセル領域を表す画像700を示す。図7Aに示すように、画像700において、エッジ画像610内のエッジ画素で囲まれ且つ水平又は垂直方向のサイズが第1サイズ以上である領域701~707が第1連結領域として示されている。第1連結領域701内では、第2連結領域が抽出されず、セル領域が検出されない。第1連結領域702内では、1個の第2連結領域708が抽出され、第2連結領域708を囲む領域(第1連結領域702と同一領域)がセル領域として検出される。一方、第1連結領域706内では、14個の第2連結領域709が抽出され、14個の第2連結領域709をそれぞれ囲む14個の各領域がセル領域として検出される。同様に、第1連結領域703~705、707内でも複数のセル領域が検出される。このように、セル領域検出部244は、エッジ画像から、表のセルに対応する領域を精度良く検出することができる。
なお、セル領域検出部244は、エッジ画像内でエッジ画素が連続する直線を抽出し、抽出した直線で囲まれる領域を第1連結領域として抽出してもよい。その場合、セル領域検出部244は、例えばモロフォジー変換を用いて、直線を抽出する。セル領域検出部244は、エッジ画像内で、水平方向において非エッジ画素と隣接するエッジ画素を非エッジ画素に変換する収縮処理を所定回数(第1サイズ分)実行した後、エッジ画素と隣接する非エッジ画素をエッジ画素に変換する膨張処理を所定回数実行する。セル領域検出部244は、残ったエッジ画素を水平方向に延伸する直線として抽出する。同様に、セル領域検出部244は、エッジ画像内で、垂直方向において非エッジ画素と隣接するエッジ画素を非エッジ画素に変換する収縮処理を所定回数実行した後、エッジ画素と隣接する非エッジ画素をエッジ画素に変換する膨張処理を所定回数実行する。セル領域検出部244は、残ったエッジ画素を垂直方向に延伸する直線として抽出する。
図7Bは、直線に基づいて検出されるセル領域について説明するための模式図である。
図7Bは、図6Bに示すエッジ画像610から抽出された第1連結領域を表す画像710を示す。画像710では、図7Aに示した画像700と比較して、多数の直線が抽出され、多数の第1連結領域711~718が抽出されている。但し、単一の直線からなる第1連結領域711、718等には第2連結領域が含まれない。画像710において、各第1連結領域内で、第2連結領域を囲むセル領域は、画像700に示す各セル領域と同様となる。即ち、セル領域検出部244は、直線に基づく場合も、エッジ画素の連結成分に基づく場合と同様に、セル領域を精度良く検出することができる。
また、セル領域検出部244は、二値画像内で黒色画素により白色画素が囲まれた領域をセル領域として検出してもよい。セル領域検出部244は、二値画像内で相互に隣接する黒色画素で囲まれる第1連結領域をラベリングによりグループ化し、各第1連結領域の内、水平又は垂直方向のサイズが第1サイズ以上である第1連結領域を抽出する。セル領域検出部244は、抽出した各第1連結領域内で、隣接する白色画素で囲まれる第2連結領域をラベリングによりグループ化し、各第2連結領域の内、水平又は垂直方向の長さが第2サイズ以上である第2連結領域を抽出する。セル領域検出部244は、抽出した第2連結領域に隣接し且つその第2連結領域を囲む黒色画素で囲まれた領域をセル領域として検出する。この場合、セル領域検出部244は、エッジ画像を生成することなく、表のセルに対応する領域を検出できるため、認識処理の処理時間を短縮させることができる。
次に、破線候補抽出部246は、二値画像から抽出された各セル領域から破線候補を抽出する(ステップS205)。
破線候補抽出部246は、二値画像から抽出された各セル領域内で、相互に隣接する黒色画素で囲まれる第3連結領域をラベリングによりグループ化する。第3連結領域は、黒色画素の連結成分の一例である。なお、破線候補抽出部246は、破線と接触している文字が破線候補に極力含まれないように、水平及び垂直方向に隣接する黒色画素のみをグループ化し、斜め方向に隣接する黒色画素を第3連結領域に含ませない。なお、破線候補抽出部246は、斜め方向に隣接する黒色画素も第3連結領域に含ませてもよい。
破線候補抽出部246は、抽出した第3連結領域の内、水平及び垂直方向のサイズが第3サイズ(例えば1ポイントに相当する画素数)以下である第3連結領域を、破線でなくドットとみなして除去する。また、破線候補抽出部246は、その第3連結領域の外接矩形の面積(画素数)に対するその第3連結領域内の黒色画素の面積(画素数)の比率が所定比率(例えば60%)未満である第3連結領域を、破線でなく文字の一部とみなして除去する。また、破線候補抽出部246は、水平又は垂直方向のサイズが第4サイズ(例えば4ポイントに相当する画素数)より大きい第3連結領域を、破線でなく文字とみなして除去する。第4サイズは、所定の大きさの一例である。破線候補抽出部246は、除去せずに残った第3連結領域を破線候補として抽出する。このように、破線候補抽出部246は、二値画像から、所定の大きさを超える破線候補を除去して、所定の大きさ以下の破線候補を抽出する。
図8A、図8B及び図8Cは、破線候補について説明するための模式図である。
図8A、図8B及び図8Cは、それぞれ二値画像内の一部の画像800、810、820を示す。画像820は、セル領域821を示す。図8A、図8B及び図8Cにおいて、黒色画素の連結成分は、第3連結領域として抽出される。但し、図8Aの画像800に含まれる網掛けの一部801及び点線の一部802は、水平及び垂直方向のサイズが第3サイズ以下であるため、ドットとみなされて第3連結領域から除去される。また、図8Bの画像810に含まれる文字の一部811は、その外接矩形812の画素数に対する黒色画素の画素数の比率が所定比率未満であるため、文字の一部とみなされて第3連結領域から除去される。
また、図8Cの画像820に含まれる各文字822~825は、水平又は垂直方向のサイズが第4サイズより大きいため、文字とみなされて第3連結領域から除去される。また、画像820に含まれる文字826及びその文字826と連結する破線832と、文字827及びその文字827と連結する破線834とは、水平又は垂直方向のサイズが第4サイズより大きいため、文字とみなされて第3連結領域から除去される。一方、画像820に含まれる各破線831、833、835及び836~840は、破線候補として抽出される。
次に、グループ抽出部247は、抽出された破線候補の中から、所定方向に並んでいる複数の破線候補を破線候補グループとして抽出する(ステップS206)。所定方向は、各セル領域の枠を構成する直線(各セル領域を囲む実線)の延伸方向であり、画像内の垂直方向又は水平方向である。グループ抽出部247は、垂直方向に延伸する破線候補が垂直方向に並ぶグループを主破線候補グループとして抽出し、垂直方向に延伸する破線候補が水平方向に並ぶグループを副破線候補グループとして抽出する。同様に、グループ抽出部247は、水平方向に延伸する破線候補が水平方向に並ぶグループを主破線候補グループとして抽出し、水平方向に延伸する破線候補が垂直方向に並ぶグループを副破線候補グループとして抽出する。
主破線候補グループは、所定方向に並んでいる複数の破線候補が含まれる破線候補グループの一例であり、副破線候補グループは、所定方向と直交する方向に並んでいる複数の破線候補が含まれる第2破線候補グループの一例である。以下では、垂直方向及び水平方向の内、各破線候補の延伸方向(長手方向)を主方向と称し、各破線候補の延伸方向と直交する方向(短手方向)を副方向と称する場合がある。
グループ抽出部247は、各破線候補の主方向のサイズH、副方向のサイズW、主方向の中心位置Y及び副方向の中心位置Xを特定する(サイズH、W及び位置Y、Xについては図8Cを参照)。グループ抽出部247は、各破線候補の主方向のサイズHの差及び副方向のサイズWの差が第1サイズ閾値未満であり且つ副方向の中心位置Xの差が第1位置閾値未満である破線候補ペアの内、主方向において相互に隣り合う破線候補ペアを抽出する。そして、グループ抽出部247は、抽出した破線候補ペアが同一の主破線候補グループに含まれるように、各破線候補を分類する。第1サイズ閾値は、一般的な破線の幅より小さい値(例えば4画素)に設定される。同様に、グループ抽出部247は、各破線候補の主方向のサイズHの差及び副方向のサイズWの差が第1サイズ閾値未満であり且つ主方向の中心位置Yの差が第2位置閾値未満である破線候補ペアの内、副方向において相互に隣り合う破線候補ペアを抽出する。そして、グループ抽出部247は、抽出した破線候補ペアが同一の副破線候補グループに含まれるように、各破線候補を分類する。
図8Cに示す画像820では、破線候補831、833及び835が一つの主破線候補グループに分類され、破線候補836~840が一つの主破線候補グループに分類される。また、破線候補831及び836が一つの副破線候補グループに分類され、破線候補833及び838が一つの副破線候補グループに分類され、破線候補835及び840が一つの副破線候補グループに分類される。
なお、グループ抽出部247は、主方向において複数の文字(複数行の文字)が含まれるセル領域と、単数の文字(単数行の文字)のみが含まれるセル領域とで第1サイズ閾値を変更してもよい。グループ抽出部247は、セル領域の主方向のサイズが所定値より大きい場合、そのセル領域には複数行の文字が含まれ、そのサイズが所定値以下である場合、そのセル領域には単数行の文字のみが含まれると推定する。グループ抽出部247は、単数行の文字のみが含まれるセル領域における第1サイズ閾値を、複数行の文字が含まれるセル領域における第1サイズ閾値より大きくする。単数行の文字が含まれるセル領域は、複数行の文字が含まれるセル領域より小さいため、セル領域に含まれる破線候補の数は少ない傾向にある。グループ抽出部247は、単数行の文字のみが含まれるセル領域において使用する破線候補の数を多くすることにより、より良好に破線を検出することができる。
次に、破線検出部248は、主破線候補グループ毎に、各主破線候補グループに含まれる複数の破線候補の大きさの差に基づいて、各主破線候補グループに含まれる各破線候補の大きさに関する大きさ評価点を算出する(ステップS207)。破線検出部248は、各主破線候補グループに含まれる各破線候補の主方向のサイズH及び副方向のサイズWを特定する。破線検出部248は、主方向において相互に隣り合う破線候補ペアの内、各破線候補の主方向のサイズHの差及び副方向のサイズWの差が第2サイズ閾値未満である破線候補ペアの数を大きさ評価点として算出する。第2サイズ閾値は、第1サイズ閾値より小さい値(例えば2画素)に設定される。なお、破線検出部248は、算出した破線候補ペアの数を正規化した値、又は、算出した破線候補ペアの数を破線候補グループに含まれる破線候補ペアの数で除算した値を大きさ評価点として算出してもよい。
また、破線検出部248は、第1サイズ閾値と同様に、複数行の文字が含まれるセル領域と、単数行の文字のみが含まれるセル領域とで第2サイズ閾値を変更してもよい。破線検出部248は、グループ抽出部247と同様にして、セル領域に複数行の文字が含まれるか単数行の文字のみが含まれるかを推定する。破線検出部248は、単数行の文字のみが含まれるセル領域における第2サイズ閾値を、複数行の文字が含まれるセル領域における第2サイズ閾値より大きくする。これにより、破線候補の数が少ないセル領域では、大きさ評価点が高くなり、破線の検出抜けが抑制される。
次に、破線検出部248は、主破線候補グループ毎に、各主破線候補グループが含まれるセル領域の主方向の端部から第2所定距離内に破線候補が存在するか否かに基づいて、各セル領域の端部に関する端部評価点を算出する(ステップS208)。破線検出部248は、セル領域の主方向の端部から第2所定距離内にある各所定範囲に、その主破線候補グループに含まれる破線候補が存在するか否かを判定し、破線候補が存在する所定範囲の数を領域端評価点として算出する。破線検出部248は、各主破線候補グループに含まれる各破線候補の主方向のサイズHの平均値、副方向のサイズWの平均値及び副方向における中心位置Xの平均値を算出する。破線検出部248は、主方向のサイズHの平均値を第2所定距離に設定する。そして、破線検出部248は、セル領域内で、副方向において中心位置Xの平均値を中心としてサイズWの平均値の幅を有し、且つ、主方向においてセル領域の両端部のそれぞれから第2所定距離内にある各範囲を所定範囲として設定する。
図8Cに示す例では、破線候補836~840が含まれる主破線候補グループに対して、二つの端部領域841、842が所定範囲として設定される。
次に、破線検出部248は、主破線候補グループ毎に、各主破線候補グループに含まれる複数の破線候補間の距離に基づいて、各主破線候補グループに含まれる各破線候補の連続性に関する連続性評価点を算出する(ステップS209)。破線検出部248は、各主破線候補グループにおいて相互に隣り合う破線候補ペアを特定する。破線検出部248は、特定した破線候補ペア毎に、主方向における各破線候補のサイズH及び各破線候補間の距離ΔHを特定し、特定した破線候補ペアの中から、特定した距離ΔHが所定距離以下である破線候補ペアを抽出する。所定距離は、そのペアに係る破線候補の主方向のサイズHの内の大きい方の値に所定係数(例えば1.1)を乗算した値に設定される。
また、破線検出部248は、各主破線候補グループ内で相互に隣り合い、且つ、破線候補の間の距離ΔHが所定距離より大きい二つの破線候補を特定する。破線検出部248は、特定した二つの破線候補の間に、破線候補抽出部246により、第4サイズより大きいために文字とみなして破線候補から除外された第3連結領域が存在するか否かを判定する。破線検出部248は、特定した二つの破線候補の間に、破線候補から除外された第3連結領域が存在する場合、その二つの破線候補の間の距離ΔHに基づいて、その二つの破線候補の間に存在する破線候補の数を推定する。即ち、破線検出部248は、相互に隣り合う二つの破線候補の間の距離が所定距離より大きく且つその二つの破線候補の間に第3連結領域が存在していた場合、その二つの破線候補の間の距離に基づいて、その二つの破線候補の間に存在する破線候補の数を推定する。
破線検出部248は、以下の三つの条件を充足する第3連結領域が存在する場合に、相互に隣り合う二つの破線候補の間に第3連結領域が存在すると判定する。
第1条件:副方向において、一方の破線候補の所定側の端部及び他方の破線候補の反対側の端部の両方が第3連結領域の内側に存在すること。
第2条件:主方向において、何れかの破線候補の何れかの端部とその端部側に位置する第3連結領域の端部との間の距離が閾値未満であること。
第3条件:両方の破線候補の主方向のサイズが第3連結領域の主方向のサイズ以下であり、且つ、両方の破線候補の副方向のサイズが第3連結領域の副方向のサイズ以下であること。
第1条件:副方向において、一方の破線候補の所定側の端部及び他方の破線候補の反対側の端部の両方が第3連結領域の内側に存在すること。
第2条件:主方向において、何れかの破線候補の何れかの端部とその端部側に位置する第3連結領域の端部との間の距離が閾値未満であること。
第3条件:両方の破線候補の主方向のサイズが第3連結領域の主方向のサイズ以下であり、且つ、両方の破線候補の副方向のサイズが第3連結領域の副方向のサイズ以下であること。
主方向において、N個の破線を挟む二つの破線間の距離をΔHとし、破線の長さをHとし、破線間のブランクの長さが破線の長さHと略同一であると仮定すると、以下の式(1)が成立する。
ΔH=(2×N+1)×H (1)
したがって、距離ΔHだけ離れた二つの破線の間には、以下の式(2)で算出されるN個の破線が存在する可能性がある。
N=(ΔH/H-1)/2 (2)
そのため、破線検出部248は、二つの破線候補の間に第3連結領域が存在していた場合、その二つの破線候補の間に、式(2)で算出されるN個の破線が存在すると推定する。
ΔH=(2×N+1)×H (1)
したがって、距離ΔHだけ離れた二つの破線の間には、以下の式(2)で算出されるN個の破線が存在する可能性がある。
N=(ΔH/H-1)/2 (2)
そのため、破線検出部248は、二つの破線候補の間に第3連結領域が存在していた場合、その二つの破線候補の間に、式(2)で算出されるN個の破線が存在すると推定する。
破線検出部248は、二つの破線候補の間に、推定した数の破線候補が存在するものとみなして、二つの破線候補と、推定した数の破線候補とから、相互に隣り合う破線候補ペアをさらに抽出する。即ち、破線検出部248は、複数の破線候補間の距離が所定距離より大きく且つ破線候補間に第4サイズを超える第3連結領域が存在していた場合、その破線候補間に他の破線候補が存在するものとみなす。
図8Cに示す例では、文字826と連結する破線832と、文字827と連結する破線834とは、文字とみなされて第3連結領域から除去され、破線候補831、833、835が含まれる主破線候補グループに含まれない。しかしながら、破線候補831と破線候補833の間には、文字826及び破線832からなる第3連結領域が存在するため、破線候補が存在するとみなされる。同様に、破線候補833と破線候補835の間には、文字827及び破線834からなる第3連結領域が存在するため、破線候補が存在するとみなされる。したがって、この主破線候補グループから、破線候補831と推定された破線候補とのペア、推定された破線候補と破線候補833とのペア、破線候補833と推定された破線候補とのペア、推定された破線候補と破線候補835とのペアの5つのペアが抽出される。
一方、破線検出部248は、各主破線候補グループ内で相互に隣り合う破線候補ペアの間の距離ΔHが所定距離より大きく且つその破線候補ペアの間に上記条件を充足する第3連結領域が存在しない場合、その破線候補ペアを抽出しない。破線検出部248は、抽出した破線候補ペアが連続して並ぶ数に基づいて連続性評価点を算出する。例えば、破線検出部248は、破線候補ペアが主方向に連続する連続数の最大数を連続性評価点として算出する。なお、破線検出部248は、算出した最大数を正規化した値、又は、算出した最大数を破線候補グループに含まれる破線候補ペアの数で除算した値を連続性評価点として算出してもよい。
なお、破線検出部248は、対応するセル領域に複数行の文字が含まれか単数行の文字のみが含まれるかに応じて、連続性評価点を補正してもよい。破線検出部248は、グループ抽出部247と同様にして、セル領域に複数行の文字が含まれるか単数行の文字のみが含まれるかを推定する。破線検出部248は、単数行の文字のみが含まれるセル領域における連続性評価点に1より大きい所定の係数(例えば1.5)を乗算することにより、単数行の文字のみが含まれるセル領域における連続性評価点を増大させる。これにより、破線候補の数が少ないセル領域では、連続性評価点が高くなり、破線の検出抜けが抑制される。
次に、破線検出部248は、主破線候補グループ毎に算出した連続性評価点を補正する(ステップS210)。
破線検出部248は、副破線候補グループ毎に、各副破線候補グループに含まれる複数の破線候補間の距離に基づいて、各副破線候補グループに含まれる各破線候補の連続性に関する連続性評価点を算出する。破線検出部248は、各副破線候補グループにおいて相互に隣り合う破線候補ペアを特定する。破線検出部248は、特定した破線候補ペア毎に、各破線候補の主方向における各端部位置Y1、Y2及び副方向における中心位置Xを特定する。破線検出部248は、特定した破線候補ペアの中から、主方向における各端部位置Y1の間の距離L1及び各端部位置Y2の間の距離L2が第1距離閾値未満であり且つ副方向における中心位置Xの間の距離L3が第2距離閾値未満である破線候補ペアを抽出する。第1距離閾値は、例えば2画素に設定される。第2距離閾値は、例えば各破線候補の主方向のサイズの内の大きい方のサイズの所定倍(例えば2倍)に設定される。
一方、破線検出部248は、主方向における各端部位置Y1の間の距離L1もしくは各端部位置Y2の間の距離L2が第1距離閾値以上である破線候補ペア、又は、副方向における中心位置Xの間の距離L3が第2距離閾値以上である破線候補ペアを抽出しない。破線検出部248は、抽出した破線候補ペアが連続して並ぶ数に基づいて連続性評価点を算出する。例えば、破線検出部248は、抽出した破線候補ペアが副方向に連続する連続数の最大数を連続性評価点として算出する。なお、破線検出部248は、算出した最大数を正規化した値、又は、算出した最大数を破線候補グループに含まれる破線候補ペアの数で除算した値を連続性評価点として算出してもよい。
破線検出部248は、主破線候補グループに含まれる破線候補が含まれる副破線候補グループの連続性評価点に基づいて、主破線候補グループの連続性評価点を補正する。破線検出部248は、例えば、その主破線候補グループの評価点に、その副破線候補グループの連続性評価点を加算、乗算、重み付き加算又は重み付き乗算することにより、主破線候補グループの評価点を補正する。即ち、破線検出部248は、その副破線候補グループの連続性評価点が高い程、高くなるように、その主破線候補グループの連続性評価点を補正する。これにより、破線検出部248は、複数方向の連続性に基づいて、精度良く破線を検出することができる。
図8Cに示す例では、破線候補831、833及び835の主破線候補グループの連続性評価点は、破線候補836及び831、破線候補838及び833、破線候補840及び835の各副破線候補グループの連続性評価点に基づいて補正される。同様に、破線候補836~840の主破線候補グループの連続性評価点は、破線候補836及び831、破線候補838及び833、破線候補840及び835の各副破線候補グループの連続性評価点に基づいて補正される。
次に、破線検出部248は、主破線候補グループ毎に、各主破線候補グループの大きさ評価点、端部評価点及び連続性評価点に基づいて、各主破線候補グループに含まれる各破線候補の破線らしさを示す評価点を算出する(ステップS211)。破線検出部248は、大きさ評価点、端部評価点及び連続性評価点の加算値、乗算値、重み付き加算値又は重み付き乗算値を評価点として算出する。即ち、破線検出部248は、大きさ評価点、端部評価点及び連続性評価点が高い程、高くなるように評価点を算出する。
破線検出部248は、主破線候補グループ毎に、各主破線候補グループの評価点が評価閾値以上であるか否かを判定する(ステップS212)。
破線検出部248は、評価点が評価閾値以上である場合、その主破線候補グループに含まれる複数の破線候補を破線として検出する(ステップS213)。一方、破線検出部248は、評価点が評価閾値未満である場合、その主破線候補グループに含まれる複数の破線候補は破線でないと判定する。評価閾値は、事前の実験により、破線を含む主破線候補グループについて算出された評価点と、破線を含まない主破線候補グループについて算出された評価点との間の値に設定される。このように、破線検出部248は、セル領域の一端から他端まで連続しない直線成分として、破線を検出する。以下では、セル領域の一端から他端まで連続しない直線成分を不連続直線成分と称する場合がある。
なお、グループ抽出部247は、主破線候補グループとして、セル領域の枠と平行な方向に延伸する破線候補のグループを抽出している。そのため、破線検出部248は、セル領域の枠と略平行な方向に延伸する破線のみを検出している。これにより、セル領域の枠に対して斜め方向に延伸する文字、記号等が、セル領域内で各文字を領域分けする破線として誤って検出されることが抑制される。
次に、近似直線検出部249は、二値画像から抽出された各セル領域内で近似直線を検出する(ステップS214)。近似直線検出部249は、ハフ変換を用いて、各セル領域内で所定の黒色画素を通る直線を近似直線として検出する。なお、近似直線検出部249は、最小二乗法を用いて、各セル領域内で所定の黒色画素の近傍を通る直線を近似直線として検出してもよい。また、近似直線検出部249は、セル領域検出部244による直線抽出処理と同様に、モロフォジー変換を用いて、直線を検出してもよい。また、近似直線検出部249は、黒色画素の連結領域の内、短手方向の長さに対する長手方向の長さの比率が所定比率(例えば2)以上である矩形領域を近似直線として検出してもよい。
各セル領域は、黒色画素により白色画素が囲まれた領域である。そのため、各セル領域内で検出される近似直線は、破線、点線、又は、かすれ等により途切れた直線等のように、不連続直線成分である。
なお、近似直線検出部249は、セル領域の枠と略平行な方向に延伸する直線成分のみを検出してもよい。その場合、近似直線検出部249は、検出した直線の内、セル領域の枠(セル領域を囲む何れかの実線)との角度が所定角度(例えば3°)を超える直線を除去し、セル領域の枠との角度が所定角度以下の直線を近似直線として検出する。これにより、セル領域の枠に対して斜め方向に延伸する文字、記号等が、セル領域内で各文字を領域分けする破線として誤って検出されることが抑制される。
図9A及び図9Bは、他の二値画像について説明するための模式図である。
図9A及び図9Bは、それぞれ他の二値画像の一部の画像900、910を示す。各画像900、910は、それぞれセル領域901、911を示す。図9Aに示すセル領域901には、各項目の数値等を示す文字902と、垂直方向に延伸し且つセル領域901内の各文字902を領域分けするための点線903とが含まれる。点線903は一定間隔で配置された点により形成されており、点線903の内の一部904は繋がっているが、点線903はセル領域901の一端から他端まで連続していない。画像900において、点線903は、近似直線として検出される。
図9Bに示すセル領域911には、各項目の数値等を示す文字912と、水平方向に延伸し且つセル領域911内の各文字912を領域分けするための直線913とが含まれている。直線913の一部914は、かすれ等により途切れており、直線913はセル領域911の一端から他端まで連続していない。画像910において、直線913は、近似直線として検出される。
次に、マスク領域設定部250は、不連続直線成分(破線及び近似直線)を入力画像又は二値画像から除去するために使用するマスク領域を設定する(ステップS215)。マスク領域設定部250は、直線成分検出部245により検出された不連続直線成分を含み且つその不連続直線成分の延伸方向においてセル領域の一端から他端まで延伸する矩形領域をマスク領域として設定する。
図10A、図10B及び図10Cは、マスク領域について説明するための模式図である。
図10Aは、図8Cに示すセル領域821に対して設定されたマスク領域1000を示す。図10Aでは、マスク領域1000として、セル領域821の破線831、833、835及び836~840を含み且つ各破線が延伸する垂直方向においてセル領域821の一端843から他端844まで延伸する矩形領域が設定されている。
図10Bは、図9Aに示すセル領域901に対して設定されたマスク領域1010を示す。図10Bでは、マスク領域1010として、セル領域901の点線903を含み且つ各点線903が延伸する垂直方向においてセル領域901の一端905から他端906まで延伸する矩形領域が設定されている。
図10Cは、図9Bに示すセル領域911に対して設定されたマスク領域1020を示す。図10Cでは、マスク領域1020として、セル領域911の直線913を含み且つ直線913が延伸する水平方向においてセル領域911の一端915から他端916まで延伸する矩形領域が設定されている。
次に、補正画像生成部251は、マスク領域設定部250により設定されたマスク領域に基づいて、二値画像から不連続直線成分を除去した補正画像を生成する(ステップS216)。補正画像は、入力画像又は二値画像から破線検出部248が検出した破線を除去した破線除去画像の一例である。補正画像生成部251は、二値画像内でマスク領域内の画素を白色画素に置換することにより補正画像を生成する。
図11A、図11B及び図11Cは、補正画像について説明するための模式図である。
図11Aは、図8Cに示す画像820に対応する補正画像の一部の画像1100を示す。図11Aに示すように、画像1100では、画像820内の文字822~825を残しつつ、画像820において破線候補として抽出された各破線831、833、835及び836~840が除去されている。さらに、画像1100では、画像820内の文字826及び827を残しつつ、文字826と連結する破線832及び文字827と連結する破線834も除去されている。
図11Bは、図9Aに示す画像900に対応する補正画像の一部の画像1110を示す。図11Bに示すように、画像1110では、画像900内の各文字902を残しつつ、点線903の繋がっている部分904だけでなく、点線903の全体が除去されている。
図11Cは、図9Bに示す画像910に対応する補正画像の一部の画像1120を示す。図11Cに示すように、画像1120では、画像910内の各文字912を残しつつ、直線913の繋がっている部分だけでなく、直線913の全体が除去されている。
なお、補正画像生成部251は、多値画像である入力画像から補正画像を生成してもよい。補正画像生成部251は、入力画像内でマスク領域に対応する画素を、その周辺に位置する周辺画素で補間することにより補正画像を生成する。補正画像生成部251は、公知のインペインティング技術(画像補間技術)を利用して、各画素を補間する。なお、補正画像生成部251は、入力画像内でマスク領域に対応する領域と隣接する画素を用いて、マスク領域に対応する画素に対して一次元の線形補間を行うことにより、各画素を補間してもよい。補正画像生成部251は、各画素を周辺画素で補間することにより、不連続直線成分又はその延伸部分に文字がまたがっている場合でも、不連続直線成分とともに文字の一部を除去してしまうことを防止できる。
図12A、図12B、図12C及び図12Dは、入力画像から生成された補正画像について説明するための模式図である。
図12Aは、他の入力画像の一部の画像1200を示す。画像1200にはセル領域1201が含まれ、セル領域1201には文字1202と破線1203とが含まれる。図12Bは、画像1200から生成された二値画像の一部の画像1210を示す。画像1210では、セル領域1211内で、文字1202に対応する画素1212と、破線1203に対応する画素1213とが黒色画素として抽出されている。図12Cは、画像1210に含まれるセル領域1211に対して設定されたマスク領域1220を示す。図12Cでは、マスク領域1220として、画像1210の破線1213を含み且つ各破線1213が延伸する垂直方向においてセル領域1211の一端1214から他端1215まで延伸する矩形領域が設定されている。
図12Dは、画像1200に対応する補正画像の一部の画像1230を示す。画像1230では、画像1200内の文字1202を残しつつ、各破線1203が除去されている。但し、画像1200では、文字1202に対応する画素が、マスク領域1220に対応する領域と隣接しており、画像1230では、文字1202に対応する画素を用いて補間された画素にノイズ1231が発生している。
補正画像生成部251は、入力画像内で二値画像内の黒色画素及びマスク領域の両方に対応する画素を周辺画素で補間することにより、補正画像を生成してもよい。補正画像生成部251は、公知のインペインティング技術(画像補間技術)を利用して、入力画像内で二値画像内の黒色画素及びマスク領域の両方に対応する領域と隣接する画素を用いて、各画素を補間する。また、補正画像生成部251は、入力画像内で二値画像内の黒色画素及びマスク領域の両方に対応する領域と隣接する画素を用いて、その領域に対応する画素に対して二次元の線形補間(バイリニア補間)を行うことにより、各画素を補間してもよい。
この場合、マスク領域に対応する画素であっても、黒色画素に対応しない画素であれば、補間のための周辺画素として利用される。即ち、補正画像生成部251は、補間対象領域に対してより近い位置に存在する周辺画素を利用して各画素を補間することができる。また、補正画像生成部251は、マスク領域の延伸方向と直交する方向において補間対象の領域に隣接する画素だけでなく、マスク領域の延伸方向において補間対象の領域に隣接する画素も利用して各画素を補間することができる。したがって、補正画像生成部251は、より良好に各画素を補間することができる。
図13A及び図13Bは、入力画像から生成された補正画像について説明するための模式図である。
図13Aは、図12Bの画像1210内の黒色画素1212、1213及び図12Cのマスク領域1220の両方に対応する画素1300を示す。図13Bは、画像1200に対応する補正画像の一部の画像1310を示す。画像1310では、画像1200内の文字1202を残しつつ、各破線1203が除去されている。また、画像1310では、破線1203に対応する画素は、マスク領域1220に対応する領域内で破線1203に対応しない画素も用いて補間されるため、ノイズ1311は、図12Dのノイズ1231と比較して十分に小さい。
なお、補正画像生成部251は、補正画像において、各セル領域の枠を構成する直線をさらに除去してもよい。例えば、マスク領域設定部250は、ハフ変換又は最小二乗法を用いて、各セル領域の枠を構成する直線を検出する。マスク領域設定部250は、検出した各直線を含み且つ各直線の延伸方向において各セル領域の一端から他端まで延伸する領域をマスク領域として設定する。補正画像生成部251は、各セル領域の枠を構成する直線に対応する画素を、各セル領域内の直線成分を除去する場合と同様にして、置換又は補間することにより除去する。
次に、文字検出部252は、補正画像から文字を検出する(ステップS217)。文字検出部252は、公知のOCR(Optical Character Recognition)技術を利用して、補正画像から文字を検出する。
次に、出力制御部253は、検出された文字を表示装置203に表示し(ステップS218)、一連のステップを終了する。なお、出力制御部253は、検出された文字に関する情報として、検出された文字に代えて又は加えて、補正画像を表示装置203に表示してもよい。また、出力制御部253は、検出された文字又は補正画像を不図示の通信装置を介して不図示のサーバ等に送信してもよい。このように、出力制御部253は、補正画像を用いて生成した情報を出力する。
なお、ステップS212、S213において、破線検出部248は、評価点に基づいて破線を検出する代わりに、大きさ評価点、端部評価点及び連続性評価点のそれぞれに基づいて破線を検出してもよい。例えば、破線検出部248は、大きさ評価点、端部評価点及び連続性評価点のそれぞれが大きさ閾値、端部閾値及び連続性閾値以上であるか否かを判定する。破線検出部248は、大きさ評価点、端部評価点及び連続性評価点の内の所定数の評価点が各閾値以上である場合に、その主破線候補グループに含まれる複数の破線候補を破線として検出する。所定数は、1以上の値に設定される。各閾値は、事前の実験により、破線を含む主破線候補グループについて算出された各評価点と、破線を含まない主破線候補グループについて算出された各評価点との間の値に設定される。
この場合、破線検出部248は、主破線候補グループの連続性評価点が主連続性閾値以上であり且つ副破線候補グループの連続性評価点が副連続性閾値以上である場合に、連続性評価点が連続性閾値以上であるとみなしてもよい。主連続性閾値及び副連続性閾値は、各値が連続性閾値より小さく、且つ、各値の合計が連続性閾値以上の値になるように設定される。例えば、連続性閾値が3に設定され、主連続性閾値及び副連続性閾値が2に設定されている場合、破線候補ペアが主方向に連続する連続数及び副方向に連続する連続数が2であるときは、連続性評価点が連続性閾値以上であるとみなされる。これにより、破線検出部248は、複数方向の連続性に基づいて、精度良く破線を検出することができる。
また、ステップS210において、破線検出部248は、各主破線候補グループの連続性評価点を補正する代わりに、各主破線候補グループの評価点又は連続性評価点と比較するための評価閾値又は連続性閾値を補正してもよい。その場合、破線検出部248は、破線検出部248は、各副破線候補グループの連続性評価点が高い程、低くなるように、対応する主破線候補グループの評価閾値又は連続性閾値を補正する。この場合も、破線検出部248は、複数方向の連続性に基づいて、精度良く破線を検出することができる。なお、破線検出部248は、ステップS210の補正処理を省略してもよい。
また、破線検出部248は、大きさ評価点、端部評価点及び連続性評価点に基づいて評価点を算出するのでなく、大きさ評価点、端部評価点及び連続性評価点の内の少なくとも一つに基づいて評価点を算出してもよい。
また、破線検出部248は、表のセル領域から破線を検出するのでなく、二値画像全体から破線を検出してもよい。その場合、マスク領域設定部250は、直線成分検出部245により検出された不連続直線成分を含み且つその不連続直線成分の延伸方向において二値画像の一端から他端まで延伸する領域をマスク領域として設定する。
また、情報処理装置200は、セル領域毎に各線の検出及び除去を行うのでなく、表全体に対して各線の検出及び除去を行ってもよい。その場合、セル領域検出部244は、相互に隣接するセル領域を結合して表全体を抽出する。直線成分検出部245は、抽出した表内で、破線及び近似直線を検出する。なお、直線成分検出部245は、表の一端から他端まで連続する直線成分も検出してもよい。マスク領域設定部250は、直線成分検出部245により検出された直線成分を含み且つその直線成分の延伸方向において表の一端から他端まで延伸する領域をマスク領域として設定する。補正画像生成部251は、設定されたマスク領域に基づいて補正画像を生成する。なお、所定のセル領域内の直線成分を他のセル領域に延伸させた場合、延伸させた直線成分が他のセル領域内の文字と重複する可能性がある。そのため、補正画像生成部251は、直線成分の延伸部分と重複する文字の一部を除去しないように、補正対象の画素を周辺画素で補間することが望ましい。
以上詳述したように、図4に示したフローチャートに従って動作することによって、情報処理装置200は、文字と結合した破線候補を除去した上で一方向に並ぶ破線候補をグループ化し、破線候補グループ内の破線候補の間に所定の大きさを超える黒色画素の連結成分が存在する場合は、その間に破線候補が存在するとみなして破線を検出する。これにより、情報処理装置200は、画像からより精度良く破線を検出することが可能となった。
また、情報処理装置200は、不連続直線成分を検出し、その不連続直線成分を含み且つセル領域の一端から他端まで延伸する領域をマスク領域として設定し、マスク領域に基づいてセル領域内でその不連続直線成分を除去する。これにより、情報処理装置200は、画像からより良好に破線を除去することが可能となった。
特に、帳票では、表及び表内の破線が事前に印刷された用紙に、文字又は数値が後から印字される場合がある。このような場合、事前に印刷された破線に対して、文字又は数値が印字される位置がずれてしまい、文字に破線が接触する可能性がある。情報処理装置200は、破線の一部が文字と接触している場合でも、精度良く破線を検出し、良好に破線を除去することが可能となる。
また、情報処理装置200は、不連続直線成分を検出した場合、その不連続直線成分を含み且つセル領域の一端から他端まで延伸する領域内でその不連続直線成分を除去する。表内の破線又は点線等は、セル領域の一端から他端まで延伸している可能性が高いため、情報処理装置200は、セル領域内の破線又は点線等を完全に除去しつつ、セル領域外の文字等を誤って除去してしまうことを防止できる。
図14は、他の実施形態に係る情報処理装置における処理装置280の概略構成を示すブロック図である。
処理装置280は、処理装置260の代わりに使用され、第2CPU240の代わりに、認識処理を実行する。処理装置280は、取得回路281、エッジ画像生成回路282、二値画像生成回路283、セル領域検出回路284、直線成分検出回路285、マスク領域設定回路290、補正画像生成回路291、文字検出回路292及び出力制御回路293等を有する。直線成分検出回路285には、破線候補抽出回路286、グループ抽出回路287、破線検出回路288及び近似直線検出回路289等が含まれる。
取得回路281は、取得部の一例であり、取得部241と同様の機能を有する。取得回路281は、第2インタフェース装置201を介して画像読取装置100から入力画像を取得し、第2記憶装置220に保存する。
エッジ画像生成回路282は、エッジ画像生成部の一例であり、エッジ画像生成部242と同様の機能を有する。エッジ画像生成回路282は、第2記憶装置220から入力画像を読み出し、入力画像からエッジ画像を生成し、第2記憶装置220に保存する。
二値画像生成回路283は、二値画像生成部の一例であり、二値画像生成部243と同様の機能を有する。二値画像生成回路283は、第2記憶装置220から入力画像を読み出し、入力画像から二値画像を生成し、第2記憶装置220に保存する。
セル領域検出回路284は、セル領域検出部の一例であり、セル領域検出部244と同様の機能を有する。セル領域検出回路284は、第2記憶装置220からエッジ画像又は二値画像を読み出し、セル領域を検出し、検出結果を第2記憶装置220に保存する。
直線成分検出回路285は、直線成分検出部の一例であり、直線成分検出部245と同様の機能を有する。直線成分検出回路285は、第2記憶装置220から、二値画像とセル領域の検出結果とを読み出し、検出結果に基づいて二値画像から不連続直線成分を検出し、検出結果を第2記憶装置220に保存する。
破線候補抽出回路286は、破線候補抽出部の一例であり、破線候補抽出部246と同様の機能を有する。破線候補抽出回路286は、セル領域の検出結果に基づいて二値画像から破線候補を抽出し、抽出結果を第2記憶装置220に保存する。
グループ抽出回路287は、グループ抽出部の一例であり、グループ抽出部247と同様の機能を有する。グループ抽出回路287は、第2記憶装置220から破線候補の抽出結果を読み出し、抽出結果から破線候補グループを抽出し、抽出結果を第2記憶装置220に保存する。
破線検出回路288は、破線検出部の一例であり、破線検出部248と同様の機能を有する。破線検出回路288は、第2記憶装置220から破線候補グループの抽出結果を読み出し、抽出結果から破線を検出し、検出結果を第2記憶装置220に保存する。
近似直線検出回路289は、近似直線検出部の一例であり、近似直線検出部249と同様の機能を有する。近似直線検出回路289は、セル領域の検出結果に基づいて二値画像から近似直線を検出し、検出結果を第2記憶装置220に保存する。
マスク領域設定回路290は、マスク領域設定部の一例であり、マスク領域設定部250と同様の機能を有する。マスク領域設定回路290は、第2記憶装置220から不連続直線成分の検出結果を読み出し、検出結果に基づいてマスク領域を設定し、第2記憶装置220に保存する。
補正画像生成回路291は、補正画像生成部の一例であり、補正画像生成部251と同様の機能を有する。補正画像生成回路291は、第2記憶装置220から二値画像又は入力画像とマスク領域とを読み出し、読み出した各情報から補正画像を生成し、第2記憶装置220に保存する。
文字検出回路292は、文字検出部の一例であり、文字検出部252と同様の機能を有する。文字検出回路292は、第2記憶装置220から補正画像を読み出し、読み出した画像から文字を検出し、検出結果を第2記憶装置220に保存する。
出力制御回路293は、出力制御部の一例であり、出力制御部253と同様の機能を有する。出力制御回路293は、第2記憶装置220から文字の検出結果又は補正画像を読み出し、読み出した情報を表示装置203に出力する。
以上詳述したように、情報処理装置は、処理装置280を用いる場合も、画像からより精度良く破線を検出することが可能となるとともに、画像からより良好に破線を除去することが可能となった。
以上、好適な実施形態について説明してきたが、実施形態はこれらに限定されない。例えば、画像読取装置100と情報処理装置200の機能分担は、図1に示す画像処理システム1の例に限られず、画像読取装置100及び情報処理装置200の各部を画像読取装置100と情報処理装置200の何れに配置するかは適宜変更可能である。または、画像読取装置100と情報処理装置200を一つの装置で構成してもよい。
例えば、画像読取装置100の第1記憶装置110が、情報処理装置200の第2記憶装置220に記憶された各プログラムを記憶し、画像読取装置100の第1CPU120が、情報処理装置200の第2CPU120により実現される各部として動作してもよい。また、画像読取装置100が、情報処理装置200の処理装置280と同様の処理装置を有してもよい。
その場合、画像読取装置100は表示装置203と同様の表示装置を有する。認識処理は画像読取装置100で実行されるため、ステップS102、S201の入力画像の送受信処理は省略される。ステップS202~S218の各処理は、画像読取装置100の第1CPU120又は処理装置によって実行される。これらの処理の動作は、情報処理装置200の第2CPU240又は処理装置280によって実行される場合と同様である。
また、画像処理システム1において、第1インタフェース装置101と第2インタフェース装置201は、インターネット、電話回線網(携帯端末回線網、一般電話回線網を含む)、イントラネット等のネットワークを介して接続してもよい。その場合、第1インタフェース装置101及び第2インタフェース装置201に、接続するネットワークの通信インタフェース回路を備える。また、その場合、クラウドコンピューティングの形態で画像処理のサービスを提供できるように、ネットワーク上に複数の情報処理装置を分散して配置し、各情報処理装置が協働して、認識処理等を分担するようにしてもよい。これにより、画像処理システム1は、複数の画像読取装置が読み取った入力画像について、効率よく認識処理を実行できる。
1 画像処理システム、200 情報処理装置、203 表示部、241 取得部、242 エッジ画像生成部、243 二値画像生成部、244 セル領域検出部、245 直線成分検出部、246 破線候補抽出部、247 グループ抽出部、248 破線検出部、250 マスク領域設定部、251 補正画像生成部
Claims (10)
- 入力画像を取得する取得部と、
前記入力画像を二値化した二値画像を生成する二値画像生成部と、
前記二値画像内で表のセル領域を検出するセル領域検出部と、
前記検出されたセル領域内で、当該セル領域の一端から他端まで連続しない直線成分を検出する直線成分検出部と、
前記検出された直線成分を含み且つ前記直線成分の延伸方向において前記セル領域の一端から他端まで延伸する領域をマスク領域として設定するマスク領域設定部と、
前記設定されたマスク領域に基づいて、前記入力画像又は前記二値画像から前記直線成分を除去した補正画像を生成する補正画像生成部と、
前記補正画像又は前記補正画像を用いて生成した情報を出力する出力部と、
を有することを特徴とする画像処理装置。 - 前記補正画像生成部は、前記二値画像内で前記マスク領域内の画素を白色画素に置換することにより前記補正画像を生成する、請求項1に記載の画像処理装置。
- 前記補正画像生成部は、前記入力画像内で前記マスク領域に対応する画素を周辺画素で補間することにより前記補正画像を生成する、請求項1に記載の画像処理装置。
- 前記補正画像生成部は、前記入力画像内で前記二値画像内の黒色画素及び前記マスク領域の両方に対応する画素を周辺画素で補間することにより前記補正画像を生成する、請求項1に記載の画像処理装置。
- 前記セル領域検出部は、前記二値画像内で黒色画素により白色画素が囲まれた領域を前記セル領域として検出する、請求項1~4の何れか一項に記載の画像処理装置。
- 前記入力画像からエッジ画素を抽出し、前記入力画像をエッジ画素と非エッジ画素に二値化したエッジ画像を生成するエッジ画像生成部をさらに有し、
前記セル領域検出部は、前記エッジ画像内でエッジ画素により非エッジ画素が囲まれた領域に対応する前記二値画像内の領域を前記セル領域として検出する、請求項1~4の何れか一項に記載の画像処理装置。 - 前記直線成分検出部は、前記直線成分として破線を検出する、請求項1~6の何れか一項に記載の画像処理装置。
- 前記直線成分検出部は、前記セル領域の枠と略平行な方向に延伸する直線成分のみを検出する、請求項1~7の何れか一項に記載の画像処理装置。
- 出力部を有する画像処理装置の制御方法であって、前記画像処理装置が、
入力画像を取得し、
前記入力画像を二値化した二値画像を生成し、
前記二値画像内で表のセル領域を検出し、
前記検出されたセル領域内で、当該セル領域の一端から他端まで連続しない直線成分を検出し、
前記検出された直線成分を含み且つ前記直線成分の延伸方向において前記セル領域の一端から他端まで延伸する領域をマスク領域として設定し、
前記設定されたマスク領域に基づいて、前記入力画像又は前記二値画像から前記直線成分を除去した補正画像を生成し、
前記補正画像又は前記補正画像を用いて生成した情報を前記出力部から出力する、
ことを特徴とする制御方法。 - 出力部を有するコンピュータの制御プログラムであって、
入力画像を取得し、
前記入力画像を二値化した二値画像を生成し、
前記二値画像内で表のセル領域を検出し、
前記検出されたセル領域内で、当該セル領域の一端から他端まで連続しない直線成分を検出し、
前記検出された直線成分を含み且つ前記直線成分の延伸方向において前記セル領域の一端から他端まで延伸する領域をマスク領域として設定し、
前記設定されたマスク領域に基づいて、前記入力画像又は前記二値画像から前記直線成分を除去した補正画像を生成し、
前記補正画像又は前記補正画像を用いて生成した情報を前記出力部から出力する、
ことを前記コンピュータに実行させることを特徴とする制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/003491 WO2020157938A1 (ja) | 2019-01-31 | 2019-01-31 | 画像処理装置、制御方法及び制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/003491 WO2020157938A1 (ja) | 2019-01-31 | 2019-01-31 | 画像処理装置、制御方法及び制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020157938A1 true WO2020157938A1 (ja) | 2020-08-06 |
Family
ID=71842025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/003491 WO2020157938A1 (ja) | 2019-01-31 | 2019-01-31 | 画像処理装置、制御方法及び制御プログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2020157938A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1040334A (ja) * | 1996-04-26 | 1998-02-13 | Fujitsu Ltd | パターン抽出装置及びパターン領域の切り出し方法 |
WO2010113217A1 (ja) * | 2009-03-31 | 2010-10-07 | 富士通フロンテック株式会社 | 文字認識装置及び文字認識方法 |
JP2012178047A (ja) * | 2011-02-25 | 2012-09-13 | Murata Mach Ltd | 画像処理装置及び画像処理方法 |
-
2019
- 2019-01-31 WO PCT/JP2019/003491 patent/WO2020157938A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1040334A (ja) * | 1996-04-26 | 1998-02-13 | Fujitsu Ltd | パターン抽出装置及びパターン領域の切り出し方法 |
WO2010113217A1 (ja) * | 2009-03-31 | 2010-10-07 | 富士通フロンテック株式会社 | 文字認識装置及び文字認識方法 |
JP2012178047A (ja) * | 2011-02-25 | 2012-09-13 | Murata Mach Ltd | 画像処理装置及び画像処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6970835B2 (ja) | 画像処理装置、制御方法及び制御プログラム | |
JP5701182B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
US8861854B2 (en) | Character recognition apparatus, method, and computer-readable, non-transitory medium | |
US9092869B2 (en) | Image processing apparatus, region determining method, and computer-readable, non-transitory medium | |
KR101172399B1 (ko) | 화상형성장치 및 그 화질 개선 방법 | |
JP7185477B2 (ja) | 画像処理装置、制御方法及び制御プログラム | |
US10970579B2 (en) | Image processing apparatus for placing a character recognition target region at a position of a predetermined region in an image conforming to a predetermined format | |
JP6021665B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP2021149452A (ja) | 画像処理装置、制御方法及び制御プログラム | |
WO2020157938A1 (ja) | 画像処理装置、制御方法及び制御プログラム | |
US11620736B2 (en) | Image processing device, control method, and control program | |
WO2020157937A1 (ja) | 画像処理装置、制御方法及び制御プログラム | |
JP6970834B2 (ja) | 画像処理装置、制御方法及び制御プログラム | |
US9268998B2 (en) | Image determining apparatus, image processing system, and recording medium | |
JP7106672B2 (ja) | 画像処理装置、制御方法及び制御プログラム | |
JP7282257B2 (ja) | 画像処理装置、制御方法及び制御プログラム | |
JP7478628B2 (ja) | 画像処理装置、制御方法及び制御プログラム | |
JP2017118299A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2002262074A (ja) | 画像処理装置、画像処理方法、該方法を実行するプログラムおよび該プログラムを記録した記録媒体 | |
JP2023026170A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
JP2021149459A (ja) | 画像処理装置、制御方法及び制御プログラム | |
JP2011070327A (ja) | 画像属性判定装置、画像属性判定方法および画像属性判定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19912301 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19912301 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |