WO2020157937A1

WO2020157937A1 - 画像処理装置、制御方法及び制御プログラム

Info

Publication number: WO2020157937A1
Application number: PCT/JP2019/003489
Authority: WO
Inventors: 正義林
Original assignee: 株式会社Pfu
Priority date: 2019-01-31
Filing date: 2019-01-31
Publication date: 2020-08-06

Abstract

画像からより精度良く破線を検出することが可能な画像処理装置、制御方法、制御プログラムを提供する。画像処理装置は、入力画像を二値化した二値画像から所定の大きさ以下の破線候補を抽出する破線候補抽出部と、破線候補の中から所定方向に並んでいる複数の破線候補を破線候補グループとして抽出するグループ抽出部と、破線候補グループに含まれる複数の破線候補間の距離に基づいて破線候補グループに含まれる複数の破線候補を破線として検出する破線検出部と、入力画像又は二値画像から検出した破線を除去した破線除去画像を生成する破線除去画像生成部と、破線除去画像又は破線除去画像を用いて生成した情報を出力する出力部とを有し、破線検出部は、破線候補グループに含まれる複数の破線候補間の距離が所定距離より大きく且つ破線候補間に所定の大きさを超える黒色画素の連結成分が存在していた場合、破線候補が存在するものとみなして破線を検出する。

Description

画像処理装置、制御方法及び制御プログラム

　本開示は、画像処理装置、制御方法及び制御プログラムに関し、特に、入力画像から破線を検出する画像処理装置、制御方法及び制御プログラムに関する。

　請求書等の帳票を担当者が手作業によりデータ化している会社では、膨大な数の帳票のデータ化が必要である場合に担当者の業務負担が大きくなるため、帳票のデータ化作業の効率化に対する要望が高まっている。帳票のデータ化作業の効率化を図るためには、帳票に記載されている文字をコンピュータ等の画像処理装置が正しく認識する必要がある。このような帳票では、例えば表内に記載された数字の値を人が識別しやすくなるように、数字の桁を区切るための破線が記載されている場合がある。その場合、破線が文字の一部と誤って認識されてしまい、文字が正しく認識されない可能性がある。

　サイズが所定条件を満足する連結画素群からの距離に基づいて、連結画素群の中から点破線要素群の要素を探索する画像処理装置が開示されている（特許文献１）。

　連結する黒画素をすべて包含する矩形の中で大きさが閾値より小さい矩形を点線要素として抽出し、抽出した点線要素について間隔が閾値以内の点線要素同士を統合した矩形を点線罫線として抽出する罫線認識方法が開示されている（特許文献２）。

　黒画素連結成分の長さ、及び、隣り合う２つの点線要素の間隔に基づいて、文書画像から罫線を抽出する罫線抽出装置が開示されている（特許文献３）。また、枠線内画像に含まれるラベルの高さおよび幅に基づいて破線を検出する画像処理装置が開示されている（特許文献４）。

特開２００９－７０２３４号公報特開平７－２３０５２５号公報特開２００８－５９２９８号公報特開２０１２－６４０９８号公報

　画像処理装置では、画像からより精度良く破線を検出して除去することを求められている。

　画像処理装置、制御方法及び制御プログラムの目的は、画像からより精度良く破線を検出することを可能とすることにある。

　実施形態の一側面に係る画像処理装置は、入力画像を取得する取得部と、入力画像を二値化した二値画像を生成する二値画像生成部と、二値画像から所定の大きさ以下の破線候補を抽出する破線候補抽出部と、破線候補の中から、所定方向に並んでいる複数の破線候補を破線候補グループとして抽出するグループ抽出部と、破線候補グループに含まれる複数の破線候補間の距離に基づいて、破線候補グループに含まれる複数の破線候補を破線として検出する破線検出部と、入力画像又は二値画像から破線検出部が検出した破線を除去した破線除去画像を生成する破線除去画像生成部と、破線除去画像又は破線除去画像を用いて生成した情報を出力する出力部と、を有し、破線検出部は、破線候補グループに含まれる複数の破線候補間の距離が所定距離より大きく且つ破線候補間に所定の大きさを超える黒色画素の連結成分が存在していた場合、破線候補が存在するものとみなして破線を検出する。

　また、実施形態の一側面に係る制御方法は、出力部を有する画像処理装置の制御方法であって、画像処理装置が、入力画像を取得し、入力画像を二値化した二値画像を生成し、二値画像から所定の大きさ以下の破線候補を抽出し、破線候補の中から、所定方向に並んでいる複数の破線候補を破線候補グループとして抽出し、破線候補グループに含まれる複数の破線候補間の距離に基づいて、破線候補グループに含まれる複数の破線候補を破線として検出し、入力画像又は二値画像から検出した破線を除去した破線除去画像を生成し、破線除去画像又は破線除去画像を用いて生成した情報を出力部から出力する、ことを含み、検出において、破線候補グループに含まれる複数の破線候補間の距離が所定距離より大きく且つ破線候補間に所定の大きさを超える黒色画素の連結成分が存在していた場合、破線候補が存在するものとみなして破線を検出する。

　また、実施形態の一側面に係る制御プログラムは、出力部を有するコンピュータの制御プログラムであって、入力画像を取得し、入力画像を二値化した二値画像を生成し、二値画像から所定の大きさ以下の破線候補を抽出し、破線候補の中から、所定方向に並んでいる複数の破線候補を破線候補グループとして抽出し、破線候補グループに含まれる複数の破線候補間の距離に基づいて、破線候補グループに含まれる複数の破線候補を破線として検出し、入力画像又は二値画像から検出した破線を除去した破線除去画像を生成し、破線除去画像又は破線除去画像を用いて生成した情報を出力部から出力する、ことをコンピュータに実行させ、検出において、破線候補グループに含まれる複数の破線候補間の距離が所定距離より大きく且つ破線候補間に所定の大きさを超える黒色画素の連結成分が存在していた場合、破線候補が存在するものとみなして破線を検出する。

　本実施形態によれば、画像処理装置、制御方法及び制御プログラムは、画像からより精度良く破線を検出することが可能となる。

　本発明の目的及び効果は、特に請求項において指摘される構成要素及び組み合わせを用いることによって認識され且つ得られるだろう。前述の一般的な説明及び後述の詳細な説明の両方は、例示的及び説明的なものであり、特許請求の範囲に記載されている本発明を制限するものではない。

実施形態に従った画像処理システム１の概略構成を示す図である。第２記憶装置２２０及び第２ＣＰＵ２４０の概略構成を示す図である。画像読取処理の動作を示すフローチャートである。認識処理の動作を示すフローチャートである。認識処理の動作を示すフローチャートである。入力画像６００の一例を示す模式図である。エッジ画像６１０の一例を示す模式図である。二値画像６２０の一例を示す模式図である。セル領域について説明するための模式図である。セル領域について説明するための模式図である。破線候補について説明するための模式図である。破線候補について説明するための模式図である。破線候補について説明するための模式図である。他の二値画像について説明するための模式図である。他の二値画像について説明するための模式図である。マスク領域について説明するための模式図である。マスク領域について説明するための模式図である。マスク領域について説明するための模式図である。補正画像について説明するための模式図である。補正画像について説明するための模式図である。補正画像について説明するための模式図である。補正画像について説明するための模式図である。補正画像について説明するための模式図である。補正画像について説明するための模式図である。補正画像について説明するための模式図である。補正画像について説明するための模式図である。補正画像について説明するための模式図である。他の処理装置２８０の概略構成を示すブロック図である。

　以下、本開示の一側面に係る画像処理装置、制御方法及び制御プログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

　図１は、実施形態に従った画像処理システムの概略構成を示す図である。図１に示すように、画像処理システム１は、画像読取装置１００と、情報処理装置２００とを有する。

　画像読取装置１００は、例えばスキャナ装置等である。画像読取装置１００は、情報処理装置２００に接続されている。情報処理装置２００は、画像処理装置の一例であり、例えばパーソナルコンピュータ等である。

　画像読取装置１００は、第１インタフェース装置１０１と、撮像装置１０２と、第１記憶装置１１０と、第１ＣＰＵ（Control Processing Unit）１２０とを有する。

　第１インタフェース装置１０１は、ＵＳＢ（Universal Serial Bus）等のシリアルバスに準じるインタフェース回路を有し、情報処理装置２００と電気的に接続して画像データ及び各種の情報を送受信する。また、第１インタフェース装置１０１の代わりに、無線信号を送受信するアンテナと、所定の通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有する通信装置が用いられてもよい。所定の通信プロトコルは、例えば無線ＬＡＮ（Local Area Network）である。

　撮像装置１０２は、主走査方向に直線状に配列されたＣＣＤ（Charge Coupled Device）による撮像素子を備える縮小光学系タイプの撮像センサを有する。さらに、撮像装置１０２は、光を照射する光源と、撮像素子上に像を結ぶレンズと、撮像素子から出力された電気信号を増幅してアナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。撮像装置１０２において、撮像センサは、搬送される原稿の表面を撮像してアナログの画像信号を生成して出力し、Ａ／Ｄ変換器は、このアナログの画像信号をＡ／Ｄ変換してデジタルの入力画像を生成して出力する。入力画像は、各画素データが、例えばＲＧＢ各色毎に８ｂｉｔで表される計２４ｂｉｔのＲ（赤色）値、Ｇ（緑色）値、Ｂ（青色）値からなるカラー多値画像である。なお、入力画像は、各画素データが例えば８ｂｉｔの輝度値からなる白黒多値画像でもよい。また、ＣＣＤの代わりにＣＭＯＳ（Complementary Metal Oxide Semiconductor）による撮像素子を備える等倍光学系タイプのＣＩＳ（Contact Image Sensor）が用いられてもよい。

　第１記憶装置１１０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第１記憶装置１１０には、画像読取装置１００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第１記憶装置１１０にインストールされてもよい。可搬型記録媒体は、例えばＣＤ－ＲＯＭ（compact disk read only memory）、ＤＶＤ－ＲＯＭ（digital versatile disk read only memory）等である。また、第１記憶装置１１０は、撮像装置１０２により生成された入力画像等を記憶する。

　第１ＣＰＵ１２０は、予め第１記憶装置１１０に記憶されているプログラムに基づいて動作する。なお、第１ＣＰＵ１２０に代えて、ＤＳＰ（digital signal processor）、ＬＳＩ（large scale integration）等が用いられてよい。また、第１ＣＰＵ１２０に代えて、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programming Gate Array）等が用いられてもよい。

　第１ＣＰＵ１２０は、第１インタフェース装置１０１、撮像装置１０２及び第１記憶装置１１０等と接続され、これらの各部を制御する。第１ＣＰＵ１２０は、撮像装置１０２の原稿読取制御、第１インタフェース装置１０１を介した情報処理装置２００とのデータ送受信制御等を行う。

　情報処理装置２００は、第２インタフェース装置２０１と、入力装置２０２と、表示装置２０３と、第２記憶装置２２０と、第２ＣＰＵ２４０と、処理装置２６０とを有する。以下、情報処理装置２００の各部について詳細に説明する。

　第２インタフェース装置２０１は、画像読取装置１００の第１インタフェース装置１０１と同様のインタフェース回路を有し、情報処理装置２００と画像読取装置１００とを接続する。また、第２インタフェース装置２０１の代わりに、無線信号を送受信するアンテナと、無線ＬＡＮ等の所定の通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有する通信装置が用いられてもよい。

　入力装置２０２は、キーボード、マウス等の入力装置及び入力装置から信号を取得するインタフェース回路を有し、利用者の操作に応じた信号を第２ＣＰＵ２４０に出力する。

　表示装置２０３は、出力部の一例である。表示装置２０３は、液晶、有機ＥＬ等から構成されるディスプレイ及びディスプレイに画像データを出力するインタフェース回路を有し、第２記憶装置２２０と接続されて第２記憶装置２２０に保存されている画像データをディスプレイに表示する。

　第２記憶装置２２０は、画像読取装置１００の第１記憶装置１１０と同様のメモリ装置、固定ディスク装置、可搬用の記憶装置等を有する。第２記憶装置２２０には、情報処理装置２００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて第２記憶装置２２０にインストールされてもよい。また、第２記憶装置２２０は、画像読取装置１００から受信した入力画像、及び、処理装置２６０により入力画像に対して画像処理がなされた各種の処理画像等を記憶する。

　第２ＣＰＵ２４０は、予め第２記憶装置２２０に記憶されているプログラムに基づいて動作する。なお、第２ＣＰＵ２４０に代えて、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。

　第２ＣＰＵ２４０は、第２インタフェース装置２０１、入力装置２０２、表示装置２０３、第２記憶装置２２０及び処理装置２６０等と接続され、これらの各部を制御する。第２ＣＰＵ２４０は、第２インタフェース装置２０１を介した画像読取装置１００とのデータ送受信制御、入力装置２０２の入力制御、表示装置２０３の表示制御、処理装置２６０による画像処理の制御等を行う。

　処理装置２６０は、入力画像に対して所定の画像処理を実行する。処理装置２６０は、ＣＰＵ、ＤＳＰ、ＬＳＩ、ＡＳＩＣ又はＦＰＧＡ等で構成される。

　図２は、第２記憶装置２２０及び第２ＣＰＵ２４０の概略構成を示す図である。

　図２に示すように、第２記憶装置２２０には、取得プログラム２２１、エッジ画像生成プログラム２２２、二値画像生成プログラム２２３、セル領域検出プログラム２２４、直線成分検出プログラム２２５、マスク領域設定プログラム２３０、補正画像生成プログラム２３１、文字検出プログラム２３２及び出力制御プログラム２３３等の各プログラムが記憶される。直線成分検出プログラム２２５には、破線候補抽出プログラム２２６、グループ抽出プログラム２２７、破線検出プログラム２２８及び近似直線検出プログラム２２９等が含まれる。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。第２ＣＰＵ２４０は、第２記憶装置２２０に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作する。これにより、第２ＣＰＵ２４０は、取得部２４１、エッジ画像生成部２４２、二値画像生成部２４３、セル領域検出部２４４、直線成分検出部２４５、マスク領域設定部２５０、補正画像生成部２５１、文字検出部２５２及び出力制御部２５３として機能する。直線成分検出部２４５には、破線候補抽出部２４６、グループ抽出部２４７、破線検出部２４８及び近似直線検出部２４９等が含まれる。

　図３は、画像読取装置１００による画像読取処理の動作を示すフローチャートである。以下、図３に示したフローチャートを参照しつつ、画像読取処理の動作を説明する。なお、以下に説明する動作のフローは、予め第１記憶装置１１０に記憶されているプログラムに基づき主に第１ＣＰＵ１２０により画像読取装置１００の各要素と協働して実行される。

　最初に、撮像装置１０２は、原稿として、請求書等の帳票を撮像した入力画像を生成し、第１記憶装置１１０に保存する（ステップＳ１０１）。この原稿には、少なくとも表が含まれている。表内には、それぞれ実線で囲まれた複数のセル領域が含まれ、各セル領域内には、文字及び破線が含まれる。

　次に、第１ＣＰＵ１２０は、第１記憶装置１１０に保存された入力画像を、第１インタフェース装置１０１を介して情報処理装置２００に送信し（ステップＳ１０２）、一連のステップを終了する。

　図４及び図５は、情報処理装置２００による認識処理の動作を示すフローチャートである。以下、図４及び図５に示したフローチャートを参照しつつ、認識処理の動作を説明する。なお、以下に説明する動作のフローは、予め第２記憶装置２２０に記憶されているプログラムに基づき主に第２ＣＰＵ２４０により情報処理装置２００の各要素と協同して実行される。

　最初に、取得部２４１は、第２インタフェース装置２０１を介して画像読取装置１００から入力画像を取得し、第２記憶装置２２０に保存する（ステップＳ２０１）。

　図６Ａは、入力画像６００の一例を示す模式図である。

　図６Ａに示すように、入力画像６００には、表６０１が含まれる。表６０１内には、それぞれ実線で囲まれた複数のセル領域６０２が含まれている。セル領域６０２には、各項目の名称及び数値等を示す文字６０３と、水平方向に延伸し且つセル領域６０２内の各項目を領域分けするための破線６０４と、垂直方向に延伸し且つ数値の各桁を領域分けするための破線６０５とが含まれている。破線は、一定間隔で隙間が形成された直線である。なお、セル領域６０２内の各項目又は数値の各桁は、破線６０４、６０５の代わりに、点線又は細線で領域分けされてもよい。点線は、一定間隔で配置された点により形成された直線である。細線は、セル領域を囲む実線より細い直線である。

　以下では、入力画像内で、各セル領域の枠を構成する各直線（セル領域を囲む実線）は、水平及び垂直方向に延伸しているものとして説明する。

　次に、エッジ画像生成部２４２は、取得した入力画像からエッジ画素を抽出し、入力画像をエッジ画素と非エッジ画素に二値化したエッジ画像を生成する（ステップＳ２０２）。エッジ画像生成部２４２は、入力画像内の画素の水平方向の両隣の画素の輝度値の差の絶対値（以下、隣接差分値と称する）を算出し、隣接差分値が第１閾値を越える場合、その入力画像上の画素をエッジ画素として抽出する。第１閾値は、例えば、人が画像上の輝度の違いを目視により判別可能な輝度値の差（例えば２０）に設定することができる。エッジ画像生成部２４２は、垂直方向についても隣接差分値を算出し、隣接差分値が第１閾値を越える場合、その入力画像上の画素もエッジ画素として抽出する。一方、エッジ画像生成部２４２は、エッジ画素として抽出されなかった画素を非エッジ画素として抽出する。

　なお、エッジ画像生成部２４２は、入力画像内の画素から水平又は垂直方向に所定距離だけ離れた画素の輝度値の差の絶対値を隣接差分値として算出してもよい。また、エッジ画像生成部２４２は、各画素の輝度値に代えて、各画素の色値（Ｒ値、Ｇ値又はＢ値）を用いて隣接差分値を算出してもよい。また、エッジ画像生成部２４２は、入力画像の輝度値又は色値を閾値と比較することによりエッジ画素を抽出してもよい。例えば、エッジ画像生成部２４２は、特定の画素の輝度値又は色値が閾値未満であり、その特定の画素に隣接する画素又はその特定の画素から所定距離だけ離れた画素の輝度値又は色値が閾値以上である場合、その特定の画素をエッジ画素として抽出する。

　図６Ｂは、エッジ画像６１０の一例を示す模式図である。

　図６Ｂは、図６Ａに示す入力画像６００から生成されたエッジ画像６１０を示す。図６Ｂに示すように、エッジ画像６１０では、入力画像６００におけるセル領域６０２を囲む実線に対応する画素６１２と、文字６０３に対応する画素６１３とがエッジ画素として抽出されている。さらに、エッジ画像６１０では、破線６０４に対応する一部の画素６１４と、破線６０５に対応する一部の画素６１５とがエッジ画素として抽出されている。

　次に、二値画像生成部２４３は、取得した入力画像を低輝度な画素に対応する黒色画素と、高輝度な画素に対応する白色画素に二値化した二値画像を生成する（ステップＳ２０３）。二値画像生成部２４３は、入力画像内で階調値が第２閾値以上である画素を白色画素とし、階調値が第２閾値未満である画素を黒色画素とした画像を二値画像として生成する。第２閾値は、事前の実験により、一般的な背景を形成する画素の階調値と文字を形成する画素の階調値の間の値に設定される。なお、第２閾値は、大津の二値化処理により決定されてもよい。

　図６Ｃは、二値画像６２０の一例を示す模式図である。

　図６Ｃは、図６Ａに示す入力画像６００を二値化した二値画像６２０を示す。図６Ｃに示すように、二値画像６２０では、入力画像６００におけるセル領域６０２を囲む実線に対応する一部の画素６２２と、文字６０３に対応する画素６２３とが黒色画素として抽出されている。さらに、二値画像６２０では、破線６０４に対応する一部の画素６２４と、破線６０５に対応する一部の画素６２５とが黒色画素として抽出されている。

　次に、セル領域検出部２４４は、二値画像内で表のセルに対応するセル領域を検出する（ステップＳ２０４）。

　セル領域検出部２４４は、例えば、エッジ画像内でエッジ画素により非エッジ画素が囲まれた領域に対応する二値画像内の領域をセル領域として検出する。セル領域検出部２４４は、エッジ画像内で相互に隣接するエッジ画素で囲まれる第１連結領域をラベリングによりグループ化し、各第１連結領域の内、水平又は垂直方向のサイズが第１サイズ以上である第１連結領域を抽出する。第１サイズは、内部に文字を含むことが可能なサイズに設定され、例えば１６ポイントに相当する画素数に設定される。セル領域検出部２４４は、抽出した各第１連結領域内で、隣接する非エッジ画素で囲まれる第２連結領域をラベリングによりグループ化し、各第２連結領域の内、水平又は垂直方向の長さが第２サイズ以上である第２連結領域を抽出する。第２サイズは、文字の最低サイズに設定され、例えば８ポイントに相当する画素数に設定される。セル領域検出部２４４は、抽出した第２連結領域に隣接し且つその第２連結領域を囲むエッジ画素で囲まれた領域をセル領域として検出する。

　図７Ａは、セル領域について説明するための模式図である。

　図７Ａは、図６Ｂに示すエッジ画像６１０から抽出されたセル領域を表す画像７００を示す。図７Ａに示すように、画像７００において、エッジ画像６１０内のエッジ画素で囲まれ且つ水平又は垂直方向のサイズが第１サイズ以上である領域７０１～７０７が第１連結領域として示されている。第１連結領域７０１内では、第２連結領域が抽出されず、セル領域が検出されない。第１連結領域７０２内では、１個の第２連結領域７０８が抽出され、第２連結領域７０８を囲む領域（第１連結領域７０２と同一領域）がセル領域として検出される。一方、第１連結領域７０６内では、１４個の第２連結領域７０９が抽出され、１４個の第２連結領域７０９をそれぞれ囲む１４個の各領域がセル領域として検出される。同様に、第１連結領域７０３～７０５、７０７内でも複数のセル領域が検出される。このように、セル領域検出部２４４は、エッジ画像から、表のセルに対応する領域を精度良く検出することができる。

　なお、セル領域検出部２４４は、エッジ画像内でエッジ画素が連続する直線を抽出し、抽出した直線で囲まれる領域を第１連結領域として抽出してもよい。その場合、セル領域検出部２４４は、例えばモロフォジー変換を用いて、直線を抽出する。セル領域検出部２４４は、エッジ画像内で、水平方向において非エッジ画素と隣接するエッジ画素を非エッジ画素に変換する収縮処理を所定回数（第１サイズ分）実行した後、エッジ画素と隣接する非エッジ画素をエッジ画素に変換する膨張処理を所定回数実行する。セル領域検出部２４４は、残ったエッジ画素を水平方向に延伸する直線として抽出する。同様に、セル領域検出部２４４は、エッジ画像内で、垂直方向において非エッジ画素と隣接するエッジ画素を非エッジ画素に変換する収縮処理を所定回数実行した後、エッジ画素と隣接する非エッジ画素をエッジ画素に変換する膨張処理を所定回数実行する。セル領域検出部２４４は、残ったエッジ画素を垂直方向に延伸する直線として抽出する。

　図７Ｂは、直線に基づいて検出されるセル領域について説明するための模式図である。

　図７Ｂは、図６Ｂに示すエッジ画像６１０から抽出された第１連結領域を表す画像７１０を示す。画像７１０では、図７Ａに示した画像７００と比較して、多数の直線が抽出され、多数の第１連結領域７１１～７１８が抽出されている。但し、単一の直線からなる第１連結領域７１１、７１８等には第２連結領域が含まれない。画像７１０において、各第１連結領域内で、第２連結領域を囲むセル領域は、画像７００に示す各セル領域と同様となる。即ち、セル領域検出部２４４は、直線に基づく場合も、エッジ画素の連結成分に基づく場合と同様に、セル領域を精度良く検出することができる。

　また、セル領域検出部２４４は、二値画像内で黒色画素により白色画素が囲まれた領域をセル領域として検出してもよい。セル領域検出部２４４は、二値画像内で相互に隣接する黒色画素で囲まれる第１連結領域をラベリングによりグループ化し、各第１連結領域の内、水平又は垂直方向のサイズが第１サイズ以上である第１連結領域を抽出する。セル領域検出部２４４は、抽出した各第１連結領域内で、隣接する白色画素で囲まれる第２連結領域をラベリングによりグループ化し、各第２連結領域の内、水平又は垂直方向の長さが第２サイズ以上である第２連結領域を抽出する。セル領域検出部２４４は、抽出した第２連結領域に隣接し且つその第２連結領域を囲む黒色画素で囲まれた領域をセル領域として検出する。この場合、セル領域検出部２４４は、エッジ画像を生成することなく、表のセルに対応する領域を検出できるため、認識処理の処理時間を短縮させることができる。

　次に、破線候補抽出部２４６は、二値画像から抽出された各セル領域から破線候補を抽出する（ステップＳ２０５）。

　破線候補抽出部２４６は、二値画像から抽出された各セル領域内で、相互に隣接する黒色画素で囲まれる第３連結領域をラベリングによりグループ化する。第３連結領域は、黒色画素の連結成分の一例である。なお、破線候補抽出部２４６は、破線と接触している文字が破線候補に極力含まれないように、水平及び垂直方向に隣接する黒色画素のみをグループ化し、斜め方向に隣接する黒色画素を第３連結領域に含ませない。なお、破線候補抽出部２４６は、斜め方向に隣接する黒色画素も第３連結領域に含ませてもよい。

　破線候補抽出部２４６は、抽出した第３連結領域の内、水平及び垂直方向のサイズが第３サイズ（例えば１ポイントに相当する画素数）以下である第３連結領域を、破線でなくドットとみなして除去する。また、破線候補抽出部２４６は、その第３連結領域の外接矩形の面積（画素数）に対するその第３連結領域内の黒色画素の面積（画素数）の比率が所定比率（例えば６０％）未満である第３連結領域を、破線でなく文字の一部とみなして除去する。また、破線候補抽出部２４６は、水平又は垂直方向のサイズが第４サイズ（例えば４ポイントに相当する画素数）より大きい第３連結領域を、破線でなく文字とみなして除去する。第４サイズは、所定の大きさの一例である。破線候補抽出部２４６は、除去せずに残った第３連結領域を破線候補として抽出する。このように、破線候補抽出部２４６は、二値画像から、所定の大きさを超える破線候補を除去して、所定の大きさ以下の破線候補を抽出する。

　図８Ａ、図８Ｂ及び図８Ｃは、破線候補について説明するための模式図である。

　図８Ａ、図８Ｂ及び図８Ｃは、それぞれ二値画像内の一部の画像８００、８１０、８２０を示す。画像８２０は、セル領域８２１を示す。図８Ａ、図８Ｂ及び図８Ｃにおいて、黒色画素の連結成分は、第３連結領域として抽出される。但し、図８Ａの画像８００に含まれる網掛けの一部８０１及び点線の一部８０２は、水平及び垂直方向のサイズが第３サイズ以下であるため、ドットとみなされて第３連結領域から除去される。また、図８Ｂの画像８１０に含まれる文字の一部８１１は、その外接矩形８１２の画素数に対する黒色画素の画素数の比率が所定比率未満であるため、文字の一部とみなされて第３連結領域から除去される。

　また、図８Ｃの画像８２０に含まれる各文字８２２～８２５は、水平又は垂直方向のサイズが第４サイズより大きいため、文字とみなされて第３連結領域から除去される。また、画像８２０に含まれる文字８２６及びその文字８２６と連結する破線８３２と、文字８２７及びその文字８２７と連結する破線８３４とは、水平又は垂直方向のサイズが第４サイズより大きいため、文字とみなされて第３連結領域から除去される。一方、画像８２０に含まれる各破線８３１、８３３、８３５及び８３６～８４０は、破線候補として抽出される。

　次に、グループ抽出部２４７は、抽出された破線候補の中から、所定方向に並んでいる複数の破線候補を破線候補グループとして抽出する（ステップＳ２０６）。所定方向は、各セル領域の枠を構成する直線（各セル領域を囲む実線）の延伸方向であり、画像内の垂直方向又は水平方向である。グループ抽出部２４７は、垂直方向に延伸する破線候補が垂直方向に並ぶグループを主破線候補グループとして抽出し、垂直方向に延伸する破線候補が水平方向に並ぶグループを副破線候補グループとして抽出する。同様に、グループ抽出部２４７は、水平方向に延伸する破線候補が水平方向に並ぶグループを主破線候補グループとして抽出し、水平方向に延伸する破線候補が垂直方向に並ぶグループを副破線候補グループとして抽出する。

　主破線候補グループは、所定方向に並んでいる複数の破線候補が含まれる破線候補グループの一例であり、副破線候補グループは、所定方向と直交する方向に並んでいる複数の破線候補が含まれる第２破線候補グループの一例である。以下では、垂直方向及び水平方向の内、各破線候補の延伸方向（長手方向）を主方向と称し、各破線候補の延伸方向と直交する方向（短手方向）を副方向と称する場合がある。

　グループ抽出部２４７は、各破線候補の主方向のサイズＨ、副方向のサイズＷ、主方向の中心位置Ｙ及び副方向の中心位置Ｘを特定する（サイズＨ、Ｗ及び位置Ｙ、Ｘについては図８Ｃを参照）。グループ抽出部２４７は、各破線候補の主方向のサイズＨの差及び副方向のサイズＷの差が第１サイズ閾値未満であり且つ副方向の中心位置Ｘの差が第１位置閾値未満である破線候補ペアの内、主方向において相互に隣り合う破線候補ペアを抽出する。そして、グループ抽出部２４７は、抽出した破線候補ペアが同一の主破線候補グループに含まれるように、各破線候補を分類する。第１サイズ閾値は、一般的な破線の幅より小さい値（例えば４画素）に設定される。同様に、グループ抽出部２４７は、各破線候補の主方向のサイズＨの差及び副方向のサイズＷの差が第１サイズ閾値未満であり且つ主方向の中心位置Ｙの差が第２位置閾値未満である破線候補ペアの内、副方向において相互に隣り合う破線候補ペアを抽出する。そして、グループ抽出部２４７は、抽出した破線候補ペアが同一の副破線候補グループに含まれるように、各破線候補を分類する。

　図８Ｃに示す画像８２０では、破線候補８３１、８３３及び８３５が一つの主破線候補グループに分類され、破線候補８３６～８４０が一つの主破線候補グループに分類される。また、破線候補８３１及び８３６が一つの副破線候補グループに分類され、破線候補８３３及び８３８が一つの副破線候補グループに分類され、破線候補８３５及び８４０が一つの副破線候補グループに分類される。

　なお、グループ抽出部２４７は、主方向において複数の文字（複数行の文字）が含まれるセル領域と、単数の文字（単数行の文字）のみが含まれるセル領域とで第１サイズ閾値を変更してもよい。グループ抽出部２４７は、セル領域の主方向のサイズが所定値より大きい場合、そのセル領域には複数行の文字が含まれ、そのサイズが所定値以下である場合、そのセル領域には単数行の文字のみが含まれると推定する。グループ抽出部２４７は、単数行の文字のみが含まれるセル領域における第１サイズ閾値を、複数行の文字が含まれるセル領域における第１サイズ閾値より大きくする。単数行の文字が含まれるセル領域は、複数行の文字が含まれるセル領域より小さいため、セル領域に含まれる破線候補の数は少ない傾向にある。グループ抽出部２４７は、単数行の文字のみが含まれるセル領域において使用する破線候補の数を多くすることにより、より良好に破線を検出することができる。

　次に、破線検出部２４８は、主破線候補グループ毎に、各主破線候補グループに含まれる複数の破線候補の大きさの差に基づいて、各主破線候補グループに含まれる各破線候補の大きさに関する大きさ評価点を算出する（ステップＳ２０７）。破線検出部２４８は、各主破線候補グループに含まれる各破線候補の主方向のサイズＨ及び副方向のサイズＷを特定する。破線検出部２４８は、主方向において相互に隣り合う破線候補ペアの内、各破線候補の主方向のサイズＨの差及び副方向のサイズＷの差が第２サイズ閾値未満である破線候補ペアの数を大きさ評価点として算出する。第２サイズ閾値は、第１サイズ閾値より小さい値（例えば２画素）に設定される。なお、破線検出部２４８は、算出した破線候補ペアの数を正規化した値、又は、算出した破線候補ペアの数を破線候補グループに含まれる破線候補ペアの数で除算した値を大きさ評価点として算出してもよい。

　また、破線検出部２４８は、第１サイズ閾値と同様に、複数行の文字が含まれるセル領域と、単数行の文字のみが含まれるセル領域とで第２サイズ閾値を変更してもよい。破線検出部２４８は、グループ抽出部２４７と同様にして、セル領域に複数行の文字が含まれるか単数行の文字のみが含まれるかを推定する。破線検出部２４８は、単数行の文字のみが含まれるセル領域における第２サイズ閾値を、複数行の文字が含まれるセル領域における第２サイズ閾値より大きくする。これにより、破線候補の数が少ないセル領域では、大きさ評価点が高くなり、破線の検出抜けが抑制される。

　次に、破線検出部２４８は、主破線候補グループ毎に、各主破線候補グループが含まれるセル領域の主方向の端部から第２所定距離内に破線候補が存在するか否かに基づいて、各セル領域の端部に関する端部評価点を算出する（ステップＳ２０８）。破線検出部２４８は、セル領域の主方向の端部から第２所定距離内にある各所定範囲に、その主破線候補グループに含まれる破線候補が存在するか否かを判定し、破線候補が存在する所定範囲の数を領域端評価点として算出する。破線検出部２４８は、各主破線候補グループに含まれる各破線候補の主方向のサイズＨの平均値、副方向のサイズＷの平均値及び副方向における中心位置Ｘの平均値を算出する。破線検出部２４８は、主方向のサイズＨの平均値を第２所定距離に設定する。そして、破線検出部２４８は、セル領域内で、副方向において中心位置Ｘの平均値を中心としてサイズＷの平均値の幅を有し、且つ、主方向においてセル領域の両端部のそれぞれから第２所定距離内にある各範囲を所定範囲として設定する。

　図８Ｃに示す例では、破線候補８３６～８４０が含まれる主破線候補グループに対して、二つの端部領域８４１、８４２が所定範囲として設定される。

　次に、破線検出部２４８は、主破線候補グループ毎に、各主破線候補グループに含まれる複数の破線候補間の距離に基づいて、各主破線候補グループに含まれる各破線候補の連続性に関する連続性評価点を算出する（ステップＳ２０９）。破線検出部２４８は、各主破線候補グループにおいて相互に隣り合う破線候補ペアを特定する。破線検出部２４８は、特定した破線候補ペア毎に、主方向における各破線候補のサイズＨ及び各破線候補間の距離ΔＨを特定し、特定した破線候補ペアの中から、特定した距離ΔＨが所定距離以下である破線候補ペアを抽出する。所定距離は、そのペアに係る破線候補の主方向のサイズＨの内の大きい方の値に所定係数（例えば１．１）を乗算した値に設定される。

　また、破線検出部２４８は、各主破線候補グループ内で相互に隣り合い、且つ、破線候補の間の距離ΔＨが所定距離より大きい二つの破線候補を特定する。破線検出部２４８は、特定した二つの破線候補の間に、破線候補抽出部２４６により、第４サイズより大きいために文字とみなして破線候補から除外された第３連結領域が存在するか否かを判定する。破線検出部２４８は、特定した二つの破線候補の間に、破線候補から除外された第３連結領域が存在する場合、その二つの破線候補の間の距離ΔＨに基づいて、その二つの破線候補の間に存在する破線候補の数を推定する。即ち、破線検出部２４８は、相互に隣り合う二つの破線候補の間の距離が所定距離より大きく且つその二つの破線候補の間に第３連結領域が存在していた場合、その二つの破線候補の間の距離に基づいて、その二つの破線候補の間に存在する破線候補の数を推定する。

　破線検出部２４８は、以下の三つの条件を充足する第３連結領域が存在する場合に、相互に隣り合う二つの破線候補の間に第３連結領域が存在すると判定する。
　第１条件：副方向において、一方の破線候補の所定側の端部及び他方の破線候補の反対側の端部の両方が第３連結領域の内側に存在すること。
　第２条件：主方向において、何れかの破線候補の何れかの端部とその端部側に位置する第３連結領域の端部との間の距離が閾値未満であること。
　第３条件：両方の破線候補の主方向のサイズが第３連結領域の主方向のサイズ以下であり、且つ、両方の破線候補の副方向のサイズが第３連結領域の副方向のサイズ以下であること。

　主方向において、Ｎ個の破線を挟む二つの破線間の距離をΔＨとし、破線の長さをＨとし、破線間のブランクの長さが破線の長さＨと略同一であると仮定すると、以下の式（１）が成立する。
　ΔＨ＝（２×Ｎ＋１）×Ｈ　　　（１）
したがって、距離ΔＨだけ離れた二つの破線の間には、以下の式（２）で算出されるＮ個の破線が存在する可能性がある。
　Ｎ＝（ΔＨ／Ｈ－１）／２　　　（２）
そのため、破線検出部２４８は、二つの破線候補の間に第３連結領域が存在していた場合、その二つの破線候補の間に、式（２）で算出されるＮ個の破線が存在すると推定する。

　破線検出部２４８は、二つの破線候補の間に、推定した数の破線候補が存在するものとみなして、二つの破線候補と、推定した数の破線候補とから、相互に隣り合う破線候補ペアをさらに抽出する。即ち、破線検出部２４８は、複数の破線候補間の距離が所定距離より大きく且つ破線候補間に第４サイズを超える第３連結領域が存在していた場合、その破線候補間に他の破線候補が存在するものとみなす。

　図８Ｃに示す例では、文字８２６と連結する破線８３２と、文字８２７と連結する破線８３４とは、文字とみなされて第３連結領域から除去され、破線候補８３１、８３３、８３５が含まれる主破線候補グループに含まれない。しかしながら、破線候補８３１と破線候補８３３の間には、文字８２６及び破線８３２からなる第３連結領域が存在するため、破線候補が存在するとみなされる。同様に、破線候補８３３と破線候補８３５の間には、文字８２７及び破線８３４からなる第３連結領域が存在するため、破線候補が存在するとみなされる。したがって、この主破線候補グループから、破線候補８３１と推定された破線候補とのペア、推定された破線候補と破線候補８３３とのペア、破線候補８３３と推定された破線候補とのペア、推定された破線候補と破線候補８３５とのペアの５つのペアが抽出される。

　一方、破線検出部２４８は、各主破線候補グループ内で相互に隣り合う破線候補ペアの間の距離ΔＨが所定距離より大きく且つその破線候補ペアの間に上記条件を充足する第３連結領域が存在しない場合、その破線候補ペアを抽出しない。破線検出部２４８は、抽出した破線候補ペアが連続して並ぶ数に基づいて連続性評価点を算出する。例えば、破線検出部２４８は、破線候補ペアが主方向に連続する連続数の最大数を連続性評価点として算出する。なお、破線検出部２４８は、算出した最大数を正規化した値、又は、算出した最大数を破線候補グループに含まれる破線候補ペアの数で除算した値を連続性評価点として算出してもよい。

　なお、破線検出部２４８は、対応するセル領域に複数行の文字が含まれか単数行の文字のみが含まれるかに応じて、連続性評価点を補正してもよい。破線検出部２４８は、グループ抽出部２４７と同様にして、セル領域に複数行の文字が含まれるか単数行の文字のみが含まれるかを推定する。破線検出部２４８は、単数行の文字のみが含まれるセル領域における連続性評価点に１より大きい所定の係数（例えば１．５）を乗算することにより、単数行の文字のみが含まれるセル領域における連続性評価点を増大させる。これにより、破線候補の数が少ないセル領域では、連続性評価点が高くなり、破線の検出抜けが抑制される。

　次に、破線検出部２４８は、主破線候補グループ毎に算出した連続性評価点を補正する（ステップＳ２１０）。

　破線検出部２４８は、副破線候補グループ毎に、各副破線候補グループに含まれる複数の破線候補間の距離に基づいて、各副破線候補グループに含まれる各破線候補の連続性に関する連続性評価点を算出する。破線検出部２４８は、各副破線候補グループにおいて相互に隣り合う破線候補ペアを特定する。破線検出部２４８は、特定した破線候補ペア毎に、各破線候補の主方向における各端部位置Ｙ１、Ｙ２及び副方向における中心位置Ｘを特定する。破線検出部２４８は、特定した破線候補ペアの中から、主方向における各端部位置Ｙ１の間の距離Ｌ１及び各端部位置Ｙ２の間の距離Ｌ２が第１距離閾値未満であり且つ副方向における中心位置Ｘの間の距離Ｌ３が第２距離閾値未満である破線候補ペアを抽出する。第１距離閾値は、例えば２画素に設定される。第２距離閾値は、例えば各破線候補の主方向のサイズの内の大きい方のサイズの所定倍（例えば２倍）に設定される。

　一方、破線検出部２４８は、主方向における各端部位置Ｙ１の間の距離Ｌ１もしくは各端部位置Ｙ２の間の距離Ｌ２が第１距離閾値以上である破線候補ペア、又は、副方向における中心位置Ｘの間の距離Ｌ３が第２距離閾値以上である破線候補ペアを抽出しない。破線検出部２４８は、抽出した破線候補ペアが連続して並ぶ数に基づいて連続性評価点を算出する。例えば、破線検出部２４８は、抽出した破線候補ペアが副方向に連続する連続数の最大数を連続性評価点として算出する。なお、破線検出部２４８は、算出した最大数を正規化した値、又は、算出した最大数を破線候補グループに含まれる破線候補ペアの数で除算した値を連続性評価点として算出してもよい。

　破線検出部２４８は、主破線候補グループに含まれる破線候補が含まれる副破線候補グループの連続性評価点に基づいて、主破線候補グループの連続性評価点を補正する。破線検出部２４８は、例えば、その主破線候補グループの評価点に、その副破線候補グループの連続性評価点を加算、乗算、重み付き加算又は重み付き乗算することにより、主破線候補グループの評価点を補正する。即ち、破線検出部２４８は、その副破線候補グループの連続性評価点が高い程、高くなるように、その主破線候補グループの連続性評価点を補正する。これにより、破線検出部２４８は、複数方向の連続性に基づいて、精度良く破線を検出することができる。

　図８Ｃに示す例では、破線候補８３１、８３３及び８３５の主破線候補グループの連続性評価点は、破線候補８３６及び８３１、破線候補８３８及び８３３、破線候補８４０及び８３５の各副破線候補グループの連続性評価点に基づいて補正される。同様に、破線候補８３６～８４０の主破線候補グループの連続性評価点は、破線候補８３６及び８３１、破線候補８３８及び８３３、破線候補８４０及び８３５の各副破線候補グループの連続性評価点に基づいて補正される。

　次に、破線検出部２４８は、主破線候補グループ毎に、各主破線候補グループの大きさ評価点、端部評価点及び連続性評価点に基づいて、各主破線候補グループに含まれる各破線候補の破線らしさを示す評価点を算出する（ステップＳ２１１）。破線検出部２４８は、大きさ評価点、端部評価点及び連続性評価点の加算値、乗算値、重み付き加算値又は重み付き乗算値を評価点として算出する。即ち、破線検出部２４８は、大きさ評価点、端部評価点及び連続性評価点が高い程、高くなるように評価点を算出する。

　破線検出部２４８は、主破線候補グループ毎に、各主破線候補グループの評価点が評価閾値以上であるか否かを判定する（ステップＳ２１２）。

　破線検出部２４８は、評価点が評価閾値以上である場合、その主破線候補グループに含まれる複数の破線候補を破線として検出する（ステップＳ２１３）。一方、破線検出部２４８は、評価点が評価閾値未満である場合、その主破線候補グループに含まれる複数の破線候補は破線でないと判定する。評価閾値は、事前の実験により、破線を含む主破線候補グループについて算出された評価点と、破線を含まない主破線候補グループについて算出された評価点との間の値に設定される。このように、破線検出部２４８は、セル領域の一端から他端まで連続しない直線成分として、破線を検出する。以下では、セル領域の一端から他端まで連続しない直線成分を不連続直線成分と称する場合がある。

　なお、グループ抽出部２４７は、主破線候補グループとして、セル領域の枠と平行な方向に延伸する破線候補のグループを抽出している。そのため、破線検出部２４８は、セル領域の枠と略平行な方向に延伸する破線のみを検出している。これにより、セル領域の枠に対して斜め方向に延伸する文字、記号等が、セル領域内で各文字を領域分けする破線として誤って検出されることが抑制される。

　次に、近似直線検出部２４９は、二値画像から抽出された各セル領域内で近似直線を検出する（ステップＳ２１４）。近似直線検出部２４９は、ハフ変換を用いて、各セル領域内で所定の黒色画素を通る直線を近似直線として検出する。なお、近似直線検出部２４９は、最小二乗法を用いて、各セル領域内で所定の黒色画素の近傍を通る直線を近似直線として検出してもよい。また、近似直線検出部２４９は、セル領域検出部２４４による直線抽出処理と同様に、モロフォジー変換を用いて、直線を検出してもよい。また、近似直線検出部２４９は、黒色画素の連結領域の内、短手方向の長さに対する長手方向の長さの比率が所定比率（例えば２）以上である矩形領域を近似直線として検出してもよい。

　各セル領域は、黒色画素により白色画素が囲まれた領域である。そのため、各セル領域内で検出される近似直線は、破線、点線、又は、かすれ等により途切れた直線等のように、不連続直線成分である。

　なお、近似直線検出部２４９は、セル領域の枠と略平行な方向に延伸する直線成分のみを検出してもよい。その場合、近似直線検出部２４９は、検出した直線の内、セル領域の枠（セル領域を囲む何れかの実線）との角度が所定角度（例えば３°）を超える直線を除去し、セル領域の枠との角度が所定角度以下の直線を近似直線として検出する。これにより、セル領域の枠に対して斜め方向に延伸する文字、記号等が、セル領域内で各文字を領域分けする破線として誤って検出されることが抑制される。

　図９Ａ及び図９Ｂは、他の二値画像について説明するための模式図である。

　図９Ａ及び図９Ｂは、それぞれ他の二値画像の一部の画像９００、９１０を示す。各画像９００、９１０は、それぞれセル領域９０１、９１１を示す。図９Ａに示すセル領域９０１には、各項目の数値等を示す文字９０２と、垂直方向に延伸し且つセル領域９０１内の各文字９０２を領域分けするための点線９０３とが含まれる。点線９０３は一定間隔で配置された点により形成されており、点線９０３の内の一部９０４は繋がっているが、点線９０３はセル領域９０１の一端から他端まで連続していない。画像９００において、点線９０３は、近似直線として検出される。

　図９Ｂに示すセル領域９１１には、各項目の数値等を示す文字９１２と、水平方向に延伸し且つセル領域９１１内の各文字９１２を領域分けするための直線９１３とが含まれている。直線９１３の一部９１４は、かすれ等により途切れており、直線９１３はセル領域９１１の一端から他端まで連続していない。画像９１０において、直線９１３は、近似直線として検出される。

　次に、マスク領域設定部２５０は、不連続直線成分（破線及び近似直線）を入力画像又は二値画像から除去するために使用するマスク領域を設定する（ステップＳ２１５）。マスク領域設定部２５０は、直線成分検出部２４５により検出された不連続直線成分を含み且つその不連続直線成分の延伸方向においてセル領域の一端から他端まで延伸する矩形領域をマスク領域として設定する。

　図１０Ａ、図１０Ｂ及び図１０Ｃは、マスク領域について説明するための模式図である。

　図１０Ａは、図８Ｃに示すセル領域８２１に対して設定されたマスク領域１０００を示す。図１０Ａでは、マスク領域１０００として、セル領域８２１の破線８３１、８３３、８３５及び８３６～８４０を含み且つ各破線が延伸する垂直方向においてセル領域８２１の一端８４３から他端８４４まで延伸する矩形領域が設定されている。

　図１０Ｂは、図９Ａに示すセル領域９０１に対して設定されたマスク領域１０１０を示す。図１０Ｂでは、マスク領域１０１０として、セル領域９０１の点線９０３を含み且つ各点線９０３が延伸する垂直方向においてセル領域９０１の一端９０５から他端９０６まで延伸する矩形領域が設定されている。

　図１０Ｃは、図９Ｂに示すセル領域９１１に対して設定されたマスク領域１０２０を示す。図１０Ｃでは、マスク領域１０２０として、セル領域９１１の直線９１３を含み且つ直線９１３が延伸する水平方向においてセル領域９１１の一端９１５から他端９１６まで延伸する矩形領域が設定されている。

　次に、補正画像生成部２５１は、マスク領域設定部２５０により設定されたマスク領域に基づいて、二値画像から不連続直線成分を除去した補正画像を生成する（ステップＳ２１６）。補正画像は、入力画像又は二値画像から破線検出部２４８が検出した破線を除去した破線除去画像の一例である。補正画像生成部２５１は、二値画像内でマスク領域内の画素を白色画素に置換することにより補正画像を生成する。

　図１１Ａ、図１１Ｂ及び図１１Ｃは、補正画像について説明するための模式図である。

　図１１Ａは、図８Ｃに示す画像８２０に対応する補正画像の一部の画像１１００を示す。図１１Ａに示すように、画像１１００では、画像８２０内の文字８２２～８２５を残しつつ、画像８２０において破線候補として抽出された各破線８３１、８３３、８３５及び８３６～８４０が除去されている。さらに、画像１１００では、画像８２０内の文字８２６及び８２７を残しつつ、文字８２６と連結する破線８３２及び文字８２７と連結する破線８３４も除去されている。

　図１１Ｂは、図９Ａに示す画像９００に対応する補正画像の一部の画像１１１０を示す。図１１Ｂに示すように、画像１１１０では、画像９００内の各文字９０２を残しつつ、点線９０３の繋がっている部分９０４だけでなく、点線９０３の全体が除去されている。

　図１１Ｃは、図９Ｂに示す画像９１０に対応する補正画像の一部の画像１１２０を示す。図１１Ｃに示すように、画像１１２０では、画像９１０内の各文字９１２を残しつつ、直線９１３の繋がっている部分だけでなく、直線９１３の全体が除去されている。

　なお、補正画像生成部２５１は、多値画像である入力画像から補正画像を生成してもよい。補正画像生成部２５１は、入力画像内でマスク領域に対応する画素を、その周辺に位置する周辺画素で補間することにより補正画像を生成する。補正画像生成部２５１は、公知のインペインティング技術（画像補間技術）を利用して、各画素を補間する。なお、補正画像生成部２５１は、入力画像内でマスク領域に対応する領域と隣接する画素を用いて、マスク領域に対応する画素に対して一次元の線形補間を行うことにより、各画素を補間してもよい。補正画像生成部２５１は、各画素を周辺画素で補間することにより、不連続直線成分又はその延伸部分に文字がまたがっている場合でも、不連続直線成分とともに文字の一部を除去してしまうことを防止できる。

　図１２Ａ、図１２Ｂ、図１２Ｃ及び図１２Ｄは、入力画像から生成された補正画像について説明するための模式図である。

　図１２Ａは、他の入力画像の一部の画像１２００を示す。画像１２００にはセル領域１２０１が含まれ、セル領域１２０１には文字１２０２と破線１２０３とが含まれる。図１２Ｂは、画像１２００から生成された二値画像の一部の画像１２１０を示す。画像１２１０では、セル領域１２１１内で、文字１２０２に対応する画素１２１２と、破線１２０３に対応する画素１２１３とが黒色画素として抽出されている。図１２Ｃは、画像１２１０に含まれるセル領域１２１１に対して設定されたマスク領域１２２０を示す。図１２Ｃでは、マスク領域１２２０として、画像１２１０の破線１２１３を含み且つ各破線１２１３が延伸する垂直方向においてセル領域１２１１の一端１２１４から他端１２１５まで延伸する矩形領域が設定されている。

　図１２Ｄは、画像１２００に対応する補正画像の一部の画像１２３０を示す。画像１２３０では、画像１２００内の文字１２０２を残しつつ、各破線１２０３が除去されている。但し、画像１２００では、文字１２０２に対応する画素が、マスク領域１２２０に対応する領域と隣接しており、画像１２３０では、文字１２０２に対応する画素を用いて補間された画素にノイズ１２３１が発生している。

　補正画像生成部２５１は、入力画像内で二値画像内の黒色画素及びマスク領域の両方に対応する画素を周辺画素で補間することにより、補正画像を生成してもよい。補正画像生成部２５１は、公知のインペインティング技術（画像補間技術）を利用して、入力画像内で二値画像内の黒色画素及びマスク領域の両方に対応する領域と隣接する画素を用いて、各画素を補間する。また、補正画像生成部２５１は、入力画像内で二値画像内の黒色画素及びマスク領域の両方に対応する領域と隣接する画素を用いて、その領域に対応する画素に対して二次元の線形補間（バイリニア補間）を行うことにより、各画素を補間してもよい。

　この場合、マスク領域に対応する画素であっても、黒色画素に対応しない画素であれば、補間のための周辺画素として利用される。即ち、補正画像生成部２５１は、補間対象領域に対してより近い位置に存在する周辺画素を利用して各画素を補間することができる。また、補正画像生成部２５１は、マスク領域の延伸方向と直交する方向において補間対象の領域に隣接する画素だけでなく、マスク領域の延伸方向において補間対象の領域に隣接する画素も利用して各画素を補間することができる。したがって、補正画像生成部２５１は、より良好に各画素を補間することができる。

　図１３Ａ及び図１３Ｂは、入力画像から生成された補正画像について説明するための模式図である。

　図１３Ａは、図１２Ｂの画像１２１０内の黒色画素１２１２、１２１３及び図１２Ｃのマスク領域１２２０の両方に対応する画素１３００を示す。図１３Ｂは、画像１２００に対応する補正画像の一部の画像１３１０を示す。画像１３１０では、画像１２００内の文字１２０２を残しつつ、各破線１２０３が除去されている。また、画像１３１０では、破線１２０３に対応する画素は、マスク領域１２２０に対応する領域内で破線１２０３に対応しない画素も用いて補間されるため、ノイズ１３１１は、図１２Ｄのノイズ１２３１と比較して十分に小さい。

　なお、補正画像生成部２５１は、補正画像において、各セル領域の枠を構成する直線をさらに除去してもよい。例えば、マスク領域設定部２５０は、ハフ変換又は最小二乗法を用いて、各セル領域の枠を構成する直線を検出する。マスク領域設定部２５０は、検出した各直線を含み且つ各直線の延伸方向において各セル領域の一端から他端まで延伸する領域をマスク領域として設定する。補正画像生成部２５１は、各セル領域の枠を構成する直線に対応する画素を、各セル領域内の直線成分を除去する場合と同様にして、置換又は補間することにより除去する。

　次に、文字検出部２５２は、補正画像から文字を検出する（ステップＳ２１７）。文字検出部２５２は、公知のＯＣＲ（Optical Character Recognition）技術を利用して、補正画像から文字を検出する。

　次に、出力制御部２５３は、検出された文字を表示装置２０３に表示し（ステップＳ２１８）、一連のステップを終了する。なお、出力制御部２５３は、検出された文字に関する情報として、検出された文字に代えて又は加えて、補正画像を表示装置２０３に表示してもよい。また、出力制御部２５３は、検出された文字又は補正画像を不図示の通信装置を介して不図示のサーバ等に送信してもよい。このように、出力制御部２５３は、補正画像を用いて生成した情報を出力する。

　なお、ステップＳ２１２、Ｓ２１３において、破線検出部２４８は、評価点に基づいて破線を検出する代わりに、大きさ評価点、端部評価点及び連続性評価点のそれぞれに基づいて破線を検出してもよい。例えば、破線検出部２４８は、大きさ評価点、端部評価点及び連続性評価点のそれぞれが大きさ閾値、端部閾値及び連続性閾値以上であるか否かを判定する。破線検出部２４８は、大きさ評価点、端部評価点及び連続性評価点の内の所定数の評価点が各閾値以上である場合に、その主破線候補グループに含まれる複数の破線候補を破線として検出する。所定数は、１以上の値に設定される。各閾値は、事前の実験により、破線を含む主破線候補グループについて算出された各評価点と、破線を含まない主破線候補グループについて算出された各評価点との間の値に設定される。

　この場合、破線検出部２４８は、主破線候補グループの連続性評価点が主連続性閾値以上であり且つ副破線候補グループの連続性評価点が副連続性閾値以上である場合に、連続性評価点が連続性閾値以上であるとみなしてもよい。主連続性閾値及び副連続性閾値は、各値が連続性閾値より小さく、且つ、各値の合計が連続性閾値以上の値になるように設定される。例えば、連続性閾値が３に設定され、主連続性閾値及び副連続性閾値が２に設定されている場合、破線候補ペアが主方向に連続する連続数及び副方向に連続する連続数が２であるときは、連続性評価点が連続性閾値以上であるとみなされる。これにより、破線検出部２４８は、複数方向の連続性に基づいて、精度良く破線を検出することができる。

　また、ステップＳ２１０において、破線検出部２４８は、各主破線候補グループの連続性評価点を補正する代わりに、各主破線候補グループの評価点又は連続性評価点と比較するための評価閾値又は連続性閾値を補正してもよい。その場合、破線検出部２４８は、破線検出部２４８は、各副破線候補グループの連続性評価点が高い程、低くなるように、対応する主破線候補グループの評価閾値又は連続性閾値を補正する。この場合も、破線検出部２４８は、複数方向の連続性に基づいて、精度良く破線を検出することができる。なお、破線検出部２４８は、ステップＳ２１０の補正処理を省略してもよい。

　また、破線検出部２４８は、大きさ評価点、端部評価点及び連続性評価点に基づいて評価点を算出するのでなく、大きさ評価点、端部評価点及び連続性評価点の内の少なくとも一つに基づいて評価点を算出してもよい。

　また、破線検出部２４８は、表のセル領域から破線を検出するのでなく、二値画像全体から破線を検出してもよい。その場合、マスク領域設定部２５０は、直線成分検出部２４５により検出された不連続直線成分を含み且つその不連続直線成分の延伸方向において二値画像の一端から他端まで延伸する領域をマスク領域として設定する。

　また、情報処理装置２００は、セル領域毎に各線の検出及び除去を行うのでなく、表全体に対して各線の検出及び除去を行ってもよい。その場合、セル領域検出部２４４は、相互に隣接するセル領域を結合して表全体を抽出する。直線成分検出部２４５は、抽出した表内で、破線及び近似直線を検出する。なお、直線成分検出部２４５は、表の一端から他端まで連続する直線成分も検出してもよい。マスク領域設定部２５０は、直線成分検出部２４５により検出された直線成分を含み且つその直線成分の延伸方向において表の一端から他端まで延伸する領域をマスク領域として設定する。補正画像生成部２５１は、設定されたマスク領域に基づいて補正画像を生成する。なお、所定のセル領域内の直線成分を他のセル領域に延伸させた場合、延伸させた直線成分が他のセル領域内の文字と重複する可能性がある。そのため、補正画像生成部２５１は、直線成分の延伸部分と重複する文字の一部を除去しないように、補正対象の画素を周辺画素で補間することが望ましい。

　以上詳述したように、図４に示したフローチャートに従って動作することによって、情報処理装置２００は、文字と結合した破線候補を除去した上で一方向に並ぶ破線候補をグループ化し、破線候補グループ内の破線候補の間に所定の大きさを超える黒色画素の連結成分が存在する場合は、その間に破線候補が存在するとみなして破線を検出する。これにより、情報処理装置２００は、画像からより精度良く破線を検出することが可能となった。

　また、情報処理装置２００は、不連続直線成分を検出し、その不連続直線成分を含み且つセル領域の一端から他端まで延伸する領域をマスク領域として設定し、マスク領域に基づいてセル領域内でその不連続直線成分を除去する。これにより、情報処理装置２００は、画像からより良好に破線を除去することが可能となった。

　特に、帳票では、表及び表内の破線が事前に印刷された用紙に、文字又は数値が後から印字される場合がある。このような場合、事前に印刷された破線に対して、文字又は数値が印字される位置がずれてしまい、文字に破線が接触する可能性がある。情報処理装置２００は、破線の一部が文字と接触している場合でも、精度良く破線を検出し、良好に破線を除去することが可能となる。

　また、情報処理装置２００は、不連続直線成分を検出した場合、その不連続直線成分を含み且つセル領域の一端から他端まで延伸する領域内でその不連続直線成分を除去する。表内の破線又は点線等は、セル領域の一端から他端まで延伸している可能性が高いため、情報処理装置２００は、セル領域内の破線又は点線等を完全に除去しつつ、セル領域外の文字等を誤って除去してしまうことを防止できる。

　図１４は、他の実施形態に係る情報処理装置における処理装置２８０の概略構成を示すブロック図である。

　処理装置２８０は、処理装置２６０の代わりに使用され、第２ＣＰＵ２４０の代わりに、認識処理を実行する。処理装置２８０は、取得回路２８１、エッジ画像生成回路２８２、二値画像生成回路２８３、セル領域検出回路２８４、直線成分検出回路２８５、マスク領域設定回路２９０、補正画像生成回路２９１、文字検出回路２９２及び出力制御回路２９３等を有する。直線成分検出回路２８５には、破線候補抽出回路２８６、グループ抽出回路２８７、破線検出回路２８８及び近似直線検出回路２８９等が含まれる。

　取得回路２８１は、取得部の一例であり、取得部２４１と同様の機能を有する。取得回路２８１は、第２インタフェース装置２０１を介して画像読取装置１００から入力画像を取得し、第２記憶装置２２０に保存する。

　エッジ画像生成回路２８２は、エッジ画像生成部の一例であり、エッジ画像生成部２４２と同様の機能を有する。エッジ画像生成回路２８２は、第２記憶装置２２０から入力画像を読み出し、入力画像からエッジ画像を生成し、第２記憶装置２２０に保存する。

　二値画像生成回路２８３は、二値画像生成部の一例であり、二値画像生成部２４３と同様の機能を有する。二値画像生成回路２８３は、第２記憶装置２２０から入力画像を読み出し、入力画像から二値画像を生成し、第２記憶装置２２０に保存する。

　セル領域検出回路２８４は、セル領域検出部の一例であり、セル領域検出部２４４と同様の機能を有する。セル領域検出回路２８４は、第２記憶装置２２０からエッジ画像又は二値画像を読み出し、セル領域を検出し、検出結果を第２記憶装置２２０に保存する。

　直線成分検出回路２８５は、直線成分検出部の一例であり、直線成分検出部２４５と同様の機能を有する。直線成分検出回路２８５は、第２記憶装置２２０から、二値画像とセル領域の検出結果とを読み出し、検出結果に基づいて二値画像から不連続直線成分を検出し、検出結果を第２記憶装置２２０に保存する。

　破線候補抽出回路２８６は、破線候補抽出部の一例であり、破線候補抽出部２４６と同様の機能を有する。破線候補抽出回路２８６は、セル領域の検出結果に基づいて二値画像から破線候補を抽出し、抽出結果を第２記憶装置２２０に保存する。

　グループ抽出回路２８７は、グループ抽出部の一例であり、グループ抽出部２４７と同様の機能を有する。グループ抽出回路２８７は、第２記憶装置２２０から破線候補の抽出結果を読み出し、抽出結果から破線候補グループを抽出し、抽出結果を第２記憶装置２２０に保存する。

　破線検出回路２８８は、破線検出部の一例であり、破線検出部２４８と同様の機能を有する。破線検出回路２８８は、第２記憶装置２２０から破線候補グループの抽出結果を読み出し、抽出結果から破線を検出し、検出結果を第２記憶装置２２０に保存する。

　近似直線検出回路２８９は、近似直線検出部の一例であり、近似直線検出部２４９と同様の機能を有する。近似直線検出回路２８９は、セル領域の検出結果に基づいて二値画像から近似直線を検出し、検出結果を第２記憶装置２２０に保存する。

　マスク領域設定回路２９０は、マスク領域設定部の一例であり、マスク領域設定部２５０と同様の機能を有する。マスク領域設定回路２９０は、第２記憶装置２２０から不連続直線成分の検出結果を読み出し、検出結果に基づいてマスク領域を設定し、第２記憶装置２２０に保存する。

　補正画像生成回路２９１は、補正画像生成部の一例であり、補正画像生成部２５１と同様の機能を有する。補正画像生成回路２９１は、第２記憶装置２２０から二値画像又は入力画像とマスク領域とを読み出し、読み出した各情報から補正画像を生成し、第２記憶装置２２０に保存する。

　文字検出回路２９２は、文字検出部の一例であり、文字検出部２５２と同様の機能を有する。文字検出回路２９２は、第２記憶装置２２０から補正画像を読み出し、読み出した画像から文字を検出し、検出結果を第２記憶装置２２０に保存する。

　出力制御回路２９３は、出力制御部の一例であり、出力制御部２５３と同様の機能を有する。出力制御回路２９３は、第２記憶装置２２０から文字の検出結果又は補正画像を読み出し、読み出した情報を表示装置２０３に出力する。

　以上詳述したように、情報処理装置は、処理装置２８０を用いる場合も、画像からより精度良く破線を検出することが可能となるとともに、画像からより良好に破線を除去することが可能となった。

　以上、好適な実施形態について説明してきたが、実施形態はこれらに限定されない。例えば、画像読取装置１００と情報処理装置２００の機能分担は、図１に示す画像処理システム１の例に限られず、画像読取装置１００及び情報処理装置２００の各部を画像読取装置１００と情報処理装置２００の何れに配置するかは適宜変更可能である。または、画像読取装置１００と情報処理装置２００を一つの装置で構成してもよい。

　例えば、画像読取装置１００の第１記憶装置１１０が、情報処理装置２００の第２記憶装置２２０に記憶された各プログラムを記憶し、画像読取装置１００の第１ＣＰＵ１２０が、情報処理装置２００の第２ＣＰＵ１２０により実現される各部として動作してもよい。また、画像読取装置１００が、情報処理装置２００の処理装置２８０と同様の処理装置を有してもよい。

　その場合、画像読取装置１００は表示装置２０３と同様の表示装置を有する。認識処理は画像読取装置１００で実行されるため、ステップＳ１０２、Ｓ２０１の入力画像の送受信処理は省略される。ステップＳ２０２～Ｓ２１８の各処理は、画像読取装置１００の第１ＣＰＵ１２０又は処理装置によって実行される。これらの処理の動作は、情報処理装置２００の第２ＣＰＵ２４０又は処理装置２８０によって実行される場合と同様である。

　また、画像処理システム１において、第１インタフェース装置１０１と第２インタフェース装置２０１は、インターネット、電話回線網（携帯端末回線網、一般電話回線網を含む）、イントラネット等のネットワークを介して接続してもよい。その場合、第１インタフェース装置１０１及び第２インタフェース装置２０１に、接続するネットワークの通信インタフェース回路を備える。また、その場合、クラウドコンピューティングの形態で画像処理のサービスを提供できるように、ネットワーク上に複数の情報処理装置を分散して配置し、各情報処理装置が協働して、認識処理等を分担するようにしてもよい。これにより、画像処理システム１は、複数の画像読取装置が読み取った入力画像について、効率よく認識処理を実行できる。

　１　画像処理システム、２００　情報処理装置、２０３　表示部、２４１　取得部、２４２　エッジ画像生成部、２４３　二値画像生成部、２４４　セル領域検出部、２４５　直線成分検出部、２４６　破線候補抽出部、２４７　グループ抽出部、２４８　破線検出部、２５０　マスク領域設定部、２５１　補正画像生成部

Claims

　入力画像を取得する取得部と、
　前記入力画像を二値化した二値画像を生成する二値画像生成部と、
　前記二値画像から所定の大きさ以下の破線候補を抽出する破線候補抽出部と、
　前記破線候補の中から、所定方向に並んでいる複数の破線候補を破線候補グループとして抽出するグループ抽出部と、
　前記破線候補グループに含まれる複数の破線候補間の距離に基づいて、前記破線候補グループに含まれる複数の破線候補を破線として検出する破線検出部と、
　前記入力画像又は前記二値画像から前記破線検出部が検出した破線を除去した破線除去画像を生成する破線除去画像生成部と、
　前記破線除去画像又は前記破線除去画像を用いて生成した情報を出力する出力部と、を有し、
　前記破線検出部は、前記破線候補グループに含まれる複数の破線候補間の距離が所定距離より大きく且つ破線候補間に前記所定の大きさを超える黒色画素の連結成分が存在していた場合、破線候補が存在するものとみなして破線を検出する、
　ことを特徴とする画像処理装置。
　前記破線検出部は、前記破線候補グループに含まれる複数の破線候補間の距離に基づいて、前記破線候補グループの評価点を算出し、前記評価点に基づいて、前記破線を検出する、請求項１に記載の画像処理装置。
　前記破線検出部は、
　　前記破線候補グループ内で相互に隣り合い且つ破線候補間の距離が前記所定距離以下である破線候補ペアを抽出し、前記抽出した破線候補ペアが連続して並ぶ数に基づいて、前記評価点を算出し、
　　相互に隣り合う二つの破線候補の間の距離が前記所定距離より大きく且つ当該二つの破線候補の間に前記連結成分が存在していた場合、当該二つの破線候補の間の距離に基づいて、当該二つの破線候補の間に存在する破線候補の数を推定し、当該二つの破線候補と当該推定した数の破線候補とから破線候補ペアをさらに抽出する、請求項２に記載の画像処理装置。
　前記破線検出部は、さらに、前記破線候補グループに含まれる複数の破線候補の大きさの差に基づいて、前記評価点を算出する、請求項２または３に記載の画像処理装置。
　前記入力画像からエッジ画素を抽出し、前記入力画像をエッジ画素と非エッジ画素に二値化したエッジ画像を生成するエッジ画像生成部と、
　前記エッジ画像内でエッジ画素により非エッジ画素が囲まれた領域に対応する前記二値画像内の領域をセル領域として検出するセル領域検出部と、をさらに有し、
　前記破線候補抽出部は、前記抽出されたセル領域から前記破線候補を抽出する、請求項２～４の何れか一項に記載の画像処理装置。
　前記破線検出部は、さらに、前記セル領域の端部から第２所定距離内に破線候補が存在するか否かに基づいて、前記評価点を算出する、請求項５に記載の画像処理装置。
　前記グループ抽出部は、さらに、前記破線候補の中から、前記所定方向と直交する方向に並んでいる複数の破線候補を第２破線候補グループとして抽出し、
　前記破線検出部は、さらに、
　　前記第２破線候補グループに含まれる複数の破線候補間の距離に基づいて、前記第２破線候補グループの評価点を算出し、
　　前記破線候補グループに含まれる破線候補が含まれる第２破線候補グループの評価点に基づいて、前記破線候補グループの評価点又は前記破線候補グループの評価点と比較するための閾値を補正する、請求項２～６の何れか一項に記載の画像処理装置。
　出力部を有する画像処理装置の制御方法であって、前記画像処理装置が、
　入力画像を取得し、
　前記入力画像を二値化した二値画像を生成し、
　前記二値画像から所定の大きさ以下の破線候補を抽出し、
　前記破線候補の中から、所定方向に並んでいる複数の破線候補を破線候補グループとして抽出し、
　前記破線候補グループに含まれる複数の破線候補間の距離に基づいて、前記破線候補グループに含まれる複数の破線候補を破線として検出し、
　前記入力画像又は前記二値画像から検出した破線を除去した破線除去画像を生成し、
　前記破線除去画像又は前記破線除去画像を用いて生成した情報を前記出力部から出力する、ことを含み、
　前記検出において、前記破線候補グループに含まれる複数の破線候補間の距離が所定距離より大きく且つ破線候補間に前記所定の大きさを超える黒色画素の連結成分が存在していた場合、破線候補が存在するものとみなして破線を検出する、
　ことを特徴とする制御方法。
　出力部を有するコンピュータの制御プログラムであって、
　入力画像を取得し、
　前記入力画像を二値化した二値画像を生成し、
　前記二値画像から所定の大きさ以下の破線候補を抽出し、
　前記破線候補の中から、所定方向に並んでいる複数の破線候補を破線候補グループとして抽出し、
　前記破線候補グループに含まれる複数の破線候補間の距離に基づいて、前記破線候補グループに含まれる複数の破線候補を破線として検出し、
　前記入力画像又は前記二値画像から検出した破線を除去した破線除去画像を生成し、
　前記破線除去画像又は前記破線除去画像を用いて生成した情報を前記出力部から出力する、ことを前記コンピュータに実行させ、
　前記検出において、前記破線候補グループに含まれる複数の破線候補間の距離が所定距離より大きく且つ破線候補間に前記所定の大きさを超える黒色画素の連結成分が存在していた場合、破線候補が存在するものとみなして破線を検出する、
　ことを特徴とする制御プログラム。