JPWO2020089985A1 - 画像処理装置、制御方法及び制御プログラム - Google Patents

Abstract

低輝度背景と、低輝度背景上の高輝度文字と、罫線とを含む原稿の画像から文字を良好に検出することが可能な画像処理装置、制御方法、制御プログラムを提供する。画像処理装置は、低輝度背景と、低輝度背景上の高輝度文字と、複数の罫線とを含む原稿を撮像した多値画像を二値化した二値画像から罫線除去画像を生成する罫線除去画像生成部と、罫線除去画像内で黒色画素が連結する連結領域を検出する領域検出部と、複数の連結領域の大きさの関係、複数の連結領域の位置の関係、又は、複数の連結領域の間の距離の内の少なくとも一つに基づいて、複数の連結領域を結合する結合部と、多値画像において、結合された連結領域に対応する領域内の低輝度背景領域の階調値と高輝度文字領域の階調値との関係を逆転させた逆転画像を生成する逆転画像生成部と、逆転画像から文字を検出する文字検出部と、検出された文字に関する情報を出力する出力部と、を有する。

Description

本開示は、画像処理装置、制御方法及び制御プログラムに関し、特に、低輝度背景上の高輝度文字を含む原稿の画像を処理する画像処理装置、制御方法及び制御プログラムに関する。

請求書等の帳票を担当者が手作業によりデータ化している会社では、膨大な数の帳票のデータ化が必要である場合に担当者の業務負担が大きくなるため、帳票のデータ化作業の効率化に対する要望が高まっている。帳票のデータ化作業の効率化を図るためには、帳票に記載されている文字をコンピュータが正しく認識する必要がある。このような帳票において、黒色等の輝度が低い低輝度背景上に、白色等の輝度が高い高輝度文字が配置されている場合がある。一般的に、ＯＣＲ（Optical Character Recognition）ソフトウェアは、文字の輝度が背景の輝度よりも低いものとして、文字を認識する。そのため、そのような帳票を読み取った画像において、低輝度背景の領域の階調値と高輝度文字の領域の階調値との関係を逆転させてから、文字を認識することが望ましい。

画像の白抜き文字部を検出して、検出された白抜き文字部を白黒反転し、反転された画像部分について、文字認識処理を行う文字認識装置が開示されている（特許文献１）。

特開平９−２６９９７０号公報

低輝度背景上に高輝度文字が配置された帳票を撮像した画像において、低輝度背景の領域の階調値と高輝度文字の領域の階調値との関係を逆転させるためには、低輝度背景の領域を正しく特定する必要がある。特に、そのような帳票に罫線が含まれる場合、その帳票を撮像した画像において、低輝度背景の領域を正しく特定するためには、罫線の成分を良好に除去する必要がある。

画像処理装置、制御方法及び制御プログラムの目的は、低輝度背景と、低輝度背景上の高輝度文字と、罫線とを含む原稿の画像から文字を良好に検出することを可能とすることにある。

実施形態の一側面に係る画像処理装置は、低輝度背景と、低輝度背景上の高輝度文字と、複数の罫線とを含む原稿を撮像した多値画像を取得する取得部と、多値画像を二値化した二値画像を生成する二値画像生成部と、二値画像から複数の罫線の成分を除去した罫線除去画像を生成する罫線除去画像生成部と、罫線除去画像内で黒色画素が連結する連結領域を検出する領域検出部と、領域検出部により検出された複数の連結領域の大きさの関係、複数の連結領域の位置の関係、又は、複数の連結領域の間の距離の内の少なくとも一つに基づいて、複数の連結領域を結合する結合部と、多値画像において、結合された連結領域に対応する領域内の低輝度背景領域の階調値と高輝度文字領域の階調値との関係を逆転させた逆転画像を生成する逆転画像生成部と、逆転画像から文字を検出する文字検出部と、検出された文字に関する情報を出力する出力部と、を有する。

また、実施形態の一側面に係る制御方法は、出力部を有する画像処理装置の制御方法であって、画像処理装置が、低輝度背景と、低輝度背景上の高輝度文字と、複数の罫線とを含む原稿を撮像した多値画像を取得し、多値画像を二値化した二値画像を生成し、二値画像から複数の罫線の成分を除去した罫線除去画像を生成し、罫線除去画像内で黒色画素が連結する連結領域を検出し、検出された複数の連結領域の大きさの関係、複数の連結領域の位置の関係、又は、複数の連結領域の間の距離の内の少なくとも一つに基づいて、複数の連結領域を結合し、多値画像において、結合された連結領域に対応する領域内の低輝度背景領域の階調値と高輝度文字領域の階調値との関係を逆転させた逆転画像を生成し、逆転画像から文字を検出し、検出された文字に関する情報を出力部から出力することを含む。

また、実施形態の一側面に係る制御プログラムは、出力部を有するコンピュータの制御プログラムであって、低輝度背景と、低輝度背景上の高輝度文字と、複数の罫線とを含む原稿を撮像した多値画像を取得し、多値画像を二値化した二値画像を生成し、二値画像から複数の罫線の成分を除去した罫線除去画像を生成し、罫線除去画像内で黒色画素が連結する連結領域を検出し、検出された複数の連結領域の大きさの関係、複数の連結領域の位置の関係、又は、複数の連結領域の間の距離の内の少なくとも一つに基づいて、複数の連結領域を結合し、多値画像において、結合部により結合された連結領域に対応する領域内の低輝度背景領域の階調値と高輝度文字領域の階調値との関係を逆転させた逆転画像を生成し、逆転画像から文字を検出し、検出された文字に関する情報を出力部から出力することをコンピュータに実行させる。

本実施形態によれば、画像処理装置、制御方法及び制御プログラムは、低輝度背景と、低輝度背景上の高輝度文字と、罫線とを含む原稿の画像から文字を良好に検出することが可能となる。

本発明の目的及び効果は、特に請求項において指摘される構成要素及び組み合わせを用いることによって認識され且つ得られるだろう。前述の一般的な説明及び後述の詳細な説明の両方は、例示的及び説明的なものであり、特許請求の範囲に記載されている本発明を制限するものではない。

実施形態に従った画像処理システム１の概略構成を示す図である。 第２記憶装置２１０及び第２ＣＰＵ２２０の概略構成を示す図である。 画像読取処理の動作を示すフローチャートである。 認識処理の動作を示すフローチャートである。 多値画像５００の一例を示す模式図である。 二値画像５１０の一例を示す模式図である。 二値画像６００の一例を示す模式図である。 罫線除去画像６１０の一例を示す模式図である。 罫線除去画像７００の一例を示す模式図である。 罫線除去画像７２０の一例を示す模式図である。 逆転画像８００の一例を示す模式図である。 逆転二値画像８１０の一例を示す模式図である。 処理装置２３０の概略構成を示すブロック図である。

以下、本開示の一側面に係る画像処理装置、制御方法及び制御プログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

図１は、実施形態に従った画像処理システムの概略構成を示す図である。図１に示すように、画像処理システム１は、画像読取装置１００と、情報処理装置２００とを有する。

画像読取装置１００は、例えばスキャナ装置等である。画像読取装置１００は、情報処理装置２００に接続されている。情報処理装置２００は、画像処理装置の一例であり、例えばパーソナルコンピュータ等である。

画像読取装置１００は、第１インタフェース装置１０１と、撮像装置１０２と、第１記憶装置１１０と、第１ＣＰＵ（Control Processing Unit）１２０とを有する。

第１インタフェース装置１０１は、ＵＳＢ（Universal Serial Bus）等のシリアルバスに準じるインタフェース回路を有し、情報処理装置２００と電気的に接続して画像データ及び各種の情報を送受信する。また、第１インタフェース装置１０１の代わりに、無線信号を送受信するアンテナと、所定の通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有する通信装置が用いられてもよい。所定の通信プロトコルは、例えば無線ＬＡＮ（Local Area Network）である。

撮像装置１０２は、主走査方向に直線状に配列されたＣＣＤ（Charge Coupled Device）による撮像素子を備える縮小光学系タイプの撮像センサを有する。さらに、撮像装置１０２は、光を照射する光源と、撮像素子上に像を結ぶレンズと、撮像素子から出力された電気信号を増幅してアナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。撮像装置１０２において、撮像センサは、搬送される原稿の表面を撮像してアナログの画像信号を生成して出力し、Ａ／Ｄ変換器は、このアナログの画像信号をＡ／Ｄ変換してデジタルの入力画像を生成して出力する。入力画像は、各画素データが、例えばＲＧＢ各色毎に８ｂｉｔで表される計２４ｂｉｔのＲ（赤色）値、Ｇ（緑色）値、Ｂ（青色）値からなるカラー多値画像である。なお、ＣＣＤの代わりにＣＭＯＳ（Complementary Metal Oxide Semiconductor）による撮像素子を備える等倍光学系タイプのＣＩＳ（Contact Image Sensor）が用いられてもよい。

第１記憶装置１１０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第１記憶装置１１０には、画像読取装置１００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第１記憶装置１１０にインストールされてもよい。可搬型記録媒体は、例えばＣＤ−ＲＯＭ（compact disk read only memory）、ＤＶＤ−ＲＯＭ（digital versatile disk read only memory）等である。また、第１記憶装置１１０は、撮像装置１０２により生成された入力画像等を記憶する。

第１ＣＰＵ１２０は、予め第１記憶装置１１０に記憶されているプログラムに基づいて動作する。なお、第１ＣＰＵ１２０に代えて、ＤＳＰ（digital signal processor）、ＬＳＩ（large scale integration）等が用いられてよい。また、第１ＣＰＵ１２０に代えて、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programming Gate Array）等が用いられてもよい。

第１ＣＰＵ１２０は、第１インタフェース装置１０１、撮像装置１０２及び第１記憶装置１１０等と接続され、これらの各部を制御する。第１ＣＰＵ１２０は、撮像装置１０２の原稿読取制御、第１インタフェース装置１０１を介した情報処理装置２００とのデータ送受信制御等を行う。

情報処理装置２００は、第２インタフェース装置２０１と、入力装置２０２と、表示装置２０３と、第２記憶装置２１０と、第２ＣＰＵ２２０と、処理装置２３０とを有する。以下、情報処理装置２００の各部について詳細に説明する。

第２インタフェース装置２０１は、画像読取装置１００の第１インタフェース装置１０１と同様のインタフェース回路を有し、情報処理装置２００と画像読取装置１００とを接続する。また、第２インタフェース装置２０１の代わりに、無線信号を送受信するアンテナと、無線ＬＡＮ等の所定の通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有する通信装置が用いられてもよい。

入力装置２０２は、キーボード、マウス等の入力装置及び入力装置から信号を取得するインタフェース回路を有し、利用者の操作に応じた信号を第２ＣＰＵ２２０に出力する。

表示装置２０３は、出力部の一例である。表示装置２０３は、液晶、有機ＥＬ等から構成されるディスプレイ及びディスプレイに画像データを出力するインタフェース回路を有し、第２記憶装置２１０と接続されて第２記憶装置２１０に保存されている画像データをディスプレイに表示する。

第２記憶装置２１０は、画像読取装置１００の第１記憶装置１１０と同様のメモリ装置、固定ディスク装置、可搬用の記憶装置等を有する。第２記憶装置２１０には、情報処理装置２００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて第２記憶装置２１０にインストールされてもよい。また、第２記憶装置２１０は、画像読取装置１００から受信した入力画像、及び、処理装置２３０により入力画像に対して画像処理がなされた各種の処理画像等を記憶する。

第２ＣＰＵ２２０は、予め第２記憶装置２１０に記憶されているプログラムに基づいて動作する。なお、第２ＣＰＵ２２０に代えて、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。

第２ＣＰＵ２２０は、第２インタフェース装置２０１、入力装置２０２、表示装置２０３、第２記憶装置２１０及び処理装置２３０等と接続され、これらの各部を制御する。第２ＣＰＵ２２０は、第２インタフェース装置２０１を介した画像読取装置１００とのデータ送受信制御、入力装置２０２の入力制御、表示装置２０３の表示制御、処理装置２３０による画像処理の制御等を行う。

処理装置２３０は、入力画像に対して所定の画像処理を実行する。処理装置２３０は、ＣＰＵ、ＤＳＰ、ＬＳＩ、ＡＳＩＣ又はＦＰＧＡ等で構成される。

図２は、第２記憶装置２１０及び第２ＣＰＵ２２０の概略構成を示す図である。

図２に示すように第２記憶装置２１０には、取得プログラム２１１、二値画像生成プログラム２１２、罫線除去画像生成プログラム２１３、領域検出プログラム２１４、結合プログラム２１５、逆転画像生成プログラム２１６、逆転二値画像生成プログラム２１７、文字検出プログラム２１８及び出力制御プログラム２１９等の各プログラムが記憶される。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。第２ＣＰＵ２２０は、第２記憶装置２１０に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作する。これにより、第２ＣＰＵ２２０は、取得部２２１、二値画像生成部２２２、罫線除去画像生成部２２３、領域検出部２２４、結合部２２５、逆転画像生成部２２６、逆転二値画像生成部２２７、文字検出部２２８及び出力制御部２２９として機能する。

図３は、画像読取装置１００による画像読取処理の動作を示すフローチャートである。以下、図３に示したフローチャートを参照しつつ、画像読取処理の動作を説明する。なお、以下に説明する動作のフローは、予め第１記憶装置１１０に記憶されているプログラムに基づき主に第１ＣＰＵ１２０により画像読取装置１００の各要素と協働して実行される。

最初に、撮像装置１０２は、原稿として、請求書等の帳票を撮像した入力画像を生成し、第１記憶装置１１０に保存する（ステップＳ１０１）。

この原稿には、少なくとも、黒色等の輝度が低い低輝度背景と、低輝度背景上に配置された、白色等の輝度が高い高輝度文字と、複数の罫線とが含まれている。低輝度背景の輝度は所定輝度より低く、高輝度文字の輝度は低輝度背景の輝度より高い。即ち、入力画像において、低輝度背景領域の輝度値は所定輝度値（例えば１２８）より低く、高輝度文字領域の輝度値は低輝度背景領域の輝度値より高い。また、罫線の輝度は、低輝度背景の輝度と同様に、高輝度文字の輝度より低く、入力画像において、罫線領域の輝度値は、所定輝度値より低く、且つ、高輝度文字領域の輝度値より低い。

この原稿には、さらに、白色等の輝度が高い高輝度背景と、高輝度背景上に配置された、黒色等の輝度が低い低輝度文字とが含まれていてもよい。高輝度背景の輝度は所定輝度より高く、低輝度文字の輝度は高輝度背景の輝度より低い。即ち、入力画像において、高輝度背景領域の輝度値は所定輝度値より高く、低輝度文字領域の輝度値は高輝度背景領域の輝度値より高い。

次に、第１ＣＰＵ１２０は、第１記憶装置１１０に保存された入力画像を第１インタフェース装置１０１を介して情報処理装置２００に送信し（ステップＳ１０２）、一連のステップを終了する。

図４は、情報処理装置２００による認識処理の動作を示すフローチャートである。以下、図４に示したフローチャートを参照しつつ、認識処理の動作を説明する。なお、以下に説明する動作のフローは、予め第２記憶装置２１０に記憶されているプログラムに基づき主に処理装置２３０により情報処理装置２００の各要素と協同して実行される。

最初に、取得部２２１は、入力画像を多値画像として第２インタフェース装置２０１を介して画像読取装置１００から取得し、第２記憶装置２１０に保存する（ステップＳ２０１）。なお、取得部２２１は、カラー多値画像である入力画像から、白黒の多値画像を生成し、多値画像として取得してもよい。その場合、取得部２２１は、入力画像内の各画素毎に、以下の式に従って輝度値を算出し、算出した輝度値を各画素に対応する画素の階調値とする白黒多値画像を生成する。
輝度値＝０．２９９×（Ｒ値）＋０．５８７×（Ｇ値）＋０．１１４×（Ｂ値）

図５Ａは、多値画像５００の一例を示す模式図である。

図５Ａに示すように、多値画像５００には、高輝度背景領域５０１と、低輝度文字領域５０２と、低輝度背景領域５０３と、高輝度文字領域５０４と、複数の罫線領域５０５とが含まれる。高輝度背景領域５０１は、白色を有し且つ高い輝度を有する。低輝度文字領域５０２は、黒色を有し且つ高輝度背景領域５０１が有する輝度より低い輝度を有し、高輝度背景領域５０１上に配置されている。低輝度背景領域５０３は、黒色を有し且つ低い輝度を有する。高輝度文字領域５０４は、白色を有し且つ低輝度背景領域５０３が有する輝度より高い輝度を有し、低輝度背景領域５０３上に配置されている。罫線領域５０５は、黒色を有し且つ低い輝度を有し、低輝度背景領域５０３と連なっている。低輝度文字５０２領域及び高輝度文字領域５０４の少なくとも一部は、罫線領域５０５で囲まれる範囲内に配置されている。

次に、二値画像生成部２２２は、取得した多値画像を二値化した二値画像を生成する（ステップＳ２０２）。二値画像生成部２２２は、多値画像内で階調値が第１閾値以上である画素を白色画素とし、階調値が第１閾値未満である画素を黒色画素とした画像を二値画像として生成する。第１閾値は、事前の実験により、一般的な背景を形成する画素の階調値と文字を形成する画素の階調値の間の値に設定される。これにより、二値画像では、多値画像内の低輝度文字、低輝度背景及び罫線に対応する画素が黒色画素となり、高輝度背景及び高輝度文字に対応する画素が白色画素となる。

なお、第１閾値は、大津の二値化処理により決定されてもよい。一般に、帳票毎に低輝度背景及び高輝度文字の輝度は異なる。情報処理装置２００は、大津の二値化処理により第１閾値を決定することにより、多値画像において、低輝度背景の輝度と、高輝度文字の輝度とがどのような関係を有していても、低輝度背景と高輝度文字とを良好に識別することが可能となる。

図５Ｂは、二値画像５１０の一例を示す模式図である。

図５Ｂは、図５Ａに示す多値画像５００を二値化した二値画像５１０を示す。図５Ｂに示すように、二値画像５１０において、高輝度背景領域５０１に対応する領域５１１の画素と、高輝度文字領域５０４に対応する領域５１４の画素は、白色画素である。一方、二値画像５１０において、低輝度文字領域５０２に対応する領域５１２の画素と、低輝度背景領域５０３に対応する領域５１３の画素と、罫線領域５０５に対応する領域５１５の画素とは、黒色画素である。

次に、罫線除去画像生成部２２３は、二値画像において、二値画像内で黒色画素が連結する第１連結領域の内、水平及び垂直方向の長さが第２閾値未満の領域を白色画素に変換することにより、二値画像から低輝度文字の成分を除去する（ステップＳ２０３）。

罫線除去画像生成部２２３は、ラベリングにより、二値画像内で黒色画素をグループ化することにより、第１連結領域を特定する。罫線除去画像生成部２２３は、特定した各第１連結領域の内、水平方向の長さ及び垂直方向の長さが第２閾値未満である第１連結領域を除去対象領域として抽出する。第２閾値は、一般的な帳票で使用される文字の水平及び垂直方向の最大の長さ（例えば４０ポイント）に相当する画像上の長さに設定される。なお、第１連結領域の水平方向の長さと比較する第２閾値と、垂直方向の長さと比較する第２閾値は、それぞれ異なる値に設定されてもよい。罫線除去画像生成部２２３は、二値画像において、抽出した各除去対象領域（黒色画素）を白色画素に変換する。

図６Ａは、低輝度文字の成分が除去された二値画像６００の一例を示す模式図である。

図６Ａに示す二値画像６００は、図５Ｂに示す二値画像５１０から低輝度文字の成分が除去された画像である。図６Ａに示すように、二値画像６００では、低輝度背景領域５０３に対応する領域６０３の画素、及び、罫線領域５０５に対応する領域６０５の画素のみが黒色画素として残っている。一方、二値画像６００では、低輝度文字領域５０２に対応する領域６０２の画素は白色画素に変換されている。

次に、罫線除去画像生成部２２３は、二値画像から複数の罫線の成分を除去した罫線除去画像を生成する（ステップＳ２０４）。罫線除去画像生成部２２３は、低輝度文字の成分が除去された二値画像に残っている第１連結領域内の、水平又は垂直方向の長さが所定値以下である部分を白色画素に変換することにより、罫線除去画像を生成する。所定値は、例えば一般的な帳票で使用される罫線の最大幅（例えば３ポイント）に相当する画像上の長さに設定される。例えば、罫線除去画像生成部２２３は、第１連結領域内の各黒色画素から所定値の長さの範囲内に白色画素が存在する場合、その黒色画素を白色画素に変換することにより、白色画素を膨張させる。罫線除去画像生成部２２３は、二値画像内の白色画素を膨張させることにより、効率良く罫線成分を除去することができ、罫線除去画像の生成処理における処理負荷を低減させることができる。

なお、罫線除去画像生成部２２３は、各第１連結領域から、水平又は垂直方向の長さが所定値以下である部分を抽出し、抽出した各部分を白色画素に変換することにより、罫線除去画像を生成してもよい。

図６Ｂは、罫線除去画像６１０の一例を示す模式図である。

図６Ｂに示す罫線除去画像６１０は、図６Ａに示す二値画像６００から罫線の成分が除去された画像である。図６Ｂに示すように、罫線除去画像６１０では、低輝度背景領域５０３に対応する領域６１３の画素のみが黒色画素として残り、罫線領域５０５に対応する領域６１５の画素は、わずかな領域６１６の画素を除いて、白色画素に変換されている。罫線除去画像６１０では、高輝度背景領域に対応する領域とともに、高輝度文字領域５０４に対応する領域６１４も膨張している。特に、罫線除去画像６１０では、高輝度文字領域に対応する領域６１７が膨張していることにより、低輝度背景領域に対応する領域６１８と領域６１９とが分離している。

次に、罫線除去画像生成部２２３は、生成した罫線除去画像からノイズ成分を除去する（ステップＳ２０５）。

例えば、罫線除去画像生成部２２３は、罫線除去画像において、水平又は垂直方向に連続する長さが所定画素数（例えば２画素）以下である黒色画素をノイズ成分として抽出し、白色画素に変換することにより除去する。これにより、罫線除去画像生成部２２３は、罫線除去画像において、わずかに残った罫線の成分を除去することができる。

また、罫線除去画像生成部２２３は、罫線除去画像において黒色画素が連結する領域の内、水平又は垂直方向の長さが所定長さ（例えば５ポイントに相当する長さ）以下である領域をノイズ成分として抽出し、白色画素に変換することにより除去してもよい。これによっても、罫線除去画像生成部２２３は、罫線除去画像において、わずかに残った罫線の成分を除去することができる。

また、罫線除去画像生成部２２３は、罫線除去画像において黒色画素が連結する領域の内、その領域で囲まれた領域の全画素数に対する黒色画素数の割合が所定割合未満である領域をノイズ成分として抽出し、白色画素に変換することにより除去してもよい。所定割合は、例えば一般に使用される印鑑における文字又は文様部分の割合の最大値（例えば３３％）に設定される。これにより、罫線除去画像生成部２２３は、罫線除去画像において、印鑑等の成分を除去することができる。

図７Ａは、ノイズ成分が除去された罫線除去画像７００の一例を示す模式図である。

図７Ａに示す罫線除去画像７００は、図６Ｂに示す罫線除去画像６１０からノイズ成分が除去された画像である。図７Ａに示すように、罫線除去画像７００では、低輝度背景領域５０３に対応する領域７０３の画素のみが黒色画素として残り、罫線領域５０５に対応する領域７０６の画素は全て白色画素に変換されている。

次に、領域検出部２２４は、罫線除去画像内で黒色画素が連結する第２連結領域を検出する（ステップＳ２０６）。以下では、第２連結領域を単に連結領域と称する。罫線除去画像生成部２２３は、ラベリングにより、ノイズ成分が除去された罫線除去画像内で黒色画素をグループ化することにより、連結領域を検出する。

次に、結合部２２５は、領域検出部２２４により検出された複数の連結領域を結合する（ステップＳ２０７）。結合部２２５は、各連結領域の大きさの関係、各連結領域の位置の関係、又は、各連結領域の間の距離の内の少なくとも一つに基づいて、各連結領域を結合する。

結合部２２５は、検出された連結領域の内の二つの連結領域に係る全ての組合せを抽出する。結合部２２５は、抽出した組合せ毎に、各組合せに係る二つの連結領域が所定条件を満たすか否かを判定する。所定条件の内の第１条件は、所定方向において二つの連結領域の長さの差が所定差（例えば２画素）以下であることである。所定条件の内の第２条件は、所定方向において二つの連結領域の中心位置の間の距離が第１所定距離（例えば２画素）以下であることである。所定条件の内の第３条件は、所定方向と直交する方向において二つの連結領域が重複せず且つ二つの連結領域の間の距離が第２所定距離（例えば３画素）以下であることである。所定方向は水平方向及び／又は垂直方向であり、所定方向が水平方向である場合、所定方向と直交する方向は垂直方向であり、所定方向が垂直方向である場合、所定方向と直交する方向は水平方向である。所定条件は、第１条件、第２条件及び第３条件の内の任意の一つの条件又は二つの条件でもよい。

連結領域は、連結領域内の高輝度文字領域が膨張することにより二つの連結領域に分割する可能性があり、その場合、二つの連結領域の間の距離は、連結領域内の文字のサイズ以下となる可能性が高い。そのため、第２所定距離は、例えば一般的な帳票で使用される文字の水平及び垂直方向の最小の長さ（例えば４０ポイント）に相当する画像上の長さに設定される。なお、所定方向における連結領域の長さ（連結領域の幅）は、連結領域内の高輝度文字領域の一辺より大きいため、第２所定距離は、所定方向における連結領域の長さに設定されてもよい。

図７Ａに示す例では、垂直方向において連結領域７０８の長さＬ１と連結領域７０８の長さＬ２の差は十分に小さいため、連結領域７０８と連結領域７０９は第１条件を満たす。また、垂直方向において連結領域７０８の中心位置Ｐ１と連結領域７０９の中心位置Ｐ２の間の距離は十分に小さいため、連結領域７０８と連結領域７０９は第２条件を満たす。また、水平方向において連結領域７０８と連結領域７０９は重複せず且つ連結領域７０８と連結領域７０９の間の距離Ｄ１は十分に小さいため、連結領域７０８と連結領域７０９は第３条件を満たす。そのため、連結領域７０８と連結領域７０９は結合される。

一方、垂直方向において連結領域７０８の長さＬ１と連結領域７１０の長さＬ３の差は十分に小さいため、連結領域７０８と連結領域７１０は第１条件を満たす。しかしながら、垂直方向において連結領域７０８の中心位置Ｐ１と連結領域７１０の中心位置Ｐ３の間の距離は十分に大きいため、連結領域７０８と連結領域７１０は第２条件を満たさない。また、水平方向において連結領域７０８と連結領域７１０は重複しているため、連結領域７０８と連結領域７１０は第３条件も満たさない。

また、水平方向において連結領域７０８の長さＬ４と連結領域７１０の長さＬ５の差は十分に大きいため、連結領域７０８と連結領域７１０は第１条件を満たさない。また、水平方向において連結領域７０８の中心位置Ｐ４と連結領域７１０の中心位置Ｐ５の間の距離は十分に大きいため、連結領域７０８と連結領域７１０は第２条件も満たさない。また、垂直方向において連結領域７０８と連結領域７１０の間の距離Ｄ２は十分に大きいため、連結領域７０８と連結領域７１０は第３条件も満たさない。そのため、連結領域７０８と連結領域７１０は結合されない。

結合部２２５は、所定の条件を満たす組合せが存在する場合、その組合せに係る二つの連結領域を結合する。なお、結合部２２５は、特定の連結領域に対して、所定の条件を満たす組合せが複数存在する場合、特定の連結領域と、所定の条件を満たす組合せに係る全ての連結領域とを結合する。

結合部２２５は、結合対象の二つの連結領域に含まれる黒色画素に対応する画素のみを有効画素とする画像内で、各画素から第３所定距離内に有効画素が存在する場合、その画素を有効画素に変換することにより、有効画素を膨張させる。第３所定距離は、例えば上記の第３条件で設定された第２所定距離と同じ距離に設定される。また、結合部２２５は、その画像内で、各有効画素から第３所定距離内に無効画素が存在する場合、その画素を無効画素に変換することにより、有効画素を収縮させる。そして、結合部２２５は、その画像内の有効画素に対応する罫線除去画像内の白色画素を黒色画素に変換することにより、二つの連結領域を結合する。

なお、結合部２２５は、結合対象の二つの連結領域を包含する外接矩形で囲まれた領域の全ての白色画素を黒色画素に変換することにより、二つの連結領域を結合してもよい。

さらに、結合部２２５は、全ての連結領域内の白色画素を黒色画素に変換する。結合部２２５は、全ての連結領域について、各連結領域に含まれる黒色画素に対応する画素のみを有効画素とする画像内で、各画素から第４所定距離内に有効画素が存在する場合、その画素を有効画素に変換することにより、有効画素を膨張させる。第４所定距離は、一般的な帳票で使用される文字の水平又は垂直方向の最大の長さ（例えば４０ポイント）に相当する画像上の長さに設定される。また、結合部２２５は、その画像内で、各有効画素から第４所定距離内に無効画素が存在する場合、その画素を無効画素に変換することにより、有効画素を収縮させる。そして、結合部２２５は、その画像内の有効画素に対応する罫線除去画像内の白色画素を黒色画素に変換することにより、連結領域内の白色画素を黒色画素に変換する。

なお、結合部２２５は、各連結領域を包含する外接矩形で囲まれた領域の全ての白色画素を黒色画素に変換することにより、連結領域内の白色画素を黒色画素に変換してもよい。

図７Ｂは、連結領域が結合された罫線除去画像７２０の一例を示す模式図である。

図７Ｂに示す罫線除去画像７２０は、図７Ａに示す罫線除去画像７００において連結領域が結合された画像である。図７Ｂに示すように、罫線除去画像７２０では、罫線除去画像７００の連結領域７０８と連結領域７０９が結合されるとともに、連結領域７０８及び連結領域７０９内の白色画素が黒色画素に変換されて、連結領域７２１が形成されている。また、罫線除去画像７００の連結領域７１０は他の連結領域と結合されていないが、罫線除去画像７２０では、連結領域７１０内の白色画素が黒色画素に変換されて、連結領域７２２が形成されている。

次に、逆転画像生成部２２６は、多値画像において、連結領域に対応し、且つ、所定サイズ以上である高輝度文字が含まれる領域を、低輝度背景領域の階調値と高輝度文字領域の階調値との関係を逆転させる反転対象領域として抽出する（ステップＳ２０８）。この連結領域は、ステップＳ２０７において、内部の白色画素が黒色画素に変換された領域であり、結合部２２５により結合された連結領域、及び、結合部２２５により結合されていない連結領域の両方を含む。

まず、逆転画像生成部２２６は、多値画像において、罫線除去画像の各連結領域に対応する対応領域内の画素の階調値を、階調範囲の最大値から各画素の階調値を減算した減算値に変換することにより反転させた変換画像を生成する。次に、逆転画像生成部２２６は、変換画像を二値化した変換二値画像を生成する。逆転画像生成部２２６は、二値画像生成部２２２と同様にして、変換画像内で階調値が第１閾値以上である画素を白色画素とし、階調値が第１閾値未満である画素を黒色画素とした画像を変換二値画像として生成する。

次に、逆転画像生成部２２６は、変換二値画像において、各対応領域に対応する第２対応領域毎に、ラベリングにより、各第２対応領域内で黒色画素をグループ化することにより、黒色画素が連結する第３連結領域を特定する。逆転画像生成部２２６は、各第２対応領域毎に、水平方向の長さ及び／又は垂直方向の長さが第３閾値以上である第３連結領域が含まれるか否かを判定する。第３閾値は、一般的な帳票で使用される文字の水平及び垂直方向の最小の長さ（例えば８ポイント）に相当する画像上の長さに設定される。なお、第３連結領域の水平方向の長さと比較する第３閾値と、垂直方向の長さと比較する第３閾値は、それぞれ異なる値に設定されてもよい。逆転画像生成部２２６は、水平方向の長さ及び／又は垂直方向の長さが第３閾値以上である第３連結領域を、所定サイズ以上である高輝度文字に対応する領域とみなす。逆転画像生成部２２６は、水平方向の長さ及び／又は垂直方向の長さが第３閾値以上である第３連結領域が含まれる第２対応領域に対応する多値画像の対応領域を、反転対象領域として抽出する。

次に、逆転画像生成部２２６は、多値画像において、各反転対象領域内の低輝度背景領域の階調値と高輝度文字領域の階調値との関係を逆転させた逆転画像を生成する（ステップＳ２０９）。逆転画像生成部２２６は、多値画像において、各反転対象領域内の各画素の階調値を、階調範囲の最大値から各画素の階調値を減算した減算値に変換することにより反転させて、逆転画像を生成する。

図８Ａは、逆転画像８００の一例を示す模式図である。

図８Ａに示す逆転画像８００は、図５Ａに示す多値画像５００から生成された画像である。図８Ａに示すように、逆転画像８００では、低輝度背景領域５０３に対応する領域８０３の階調値と、高輝度文字領域５０４に対応する領域８０４の階調値との関係が逆転している。即ち、逆転画像８００では、高輝度背景領域５０１に対応する領域８０１、低輝度文字領域５０２に対応する領域８０２、及び、罫線領域５０５に対応する領域８０５の階調値は、多値画像５００に対して変化していない。一方、逆転画像８００では、低輝度背景領域５０３に対応する領域８０３、及び、高輝度文字領域５０４に対応する領域８０４は、領域８０４の輝度値が領域８０３の輝度値より低くなるように変化している。

また上記したように、逆転画像生成部２２６は、多値画像において、連結領域に対応する領域内に、所定サイズ以上である高輝度文字が含まれる場合に限り、その対応する領域内の低輝度背景領域の階調値と高輝度文字領域の階調値との関係を逆転させる。各連結領域において、背景は低輝度を有すると推定されるが、背景が濃い灰色を有し且つ文字が黒色を有する場合のように、各連結領域において、文字が背景よりさらに低輝度を有する可能性がある。逆転画像生成部２２６は、所定サイズ以上である高輝度文字が含まれる対応領域のみを反転対象領域として抽出することにより、白色を有する文字、即ち背景より高輝度を有する文字が含まれる対応領域のみを反転対象領域として抽出する。これにより、逆転画像生成部２２６は、文字が背景より低輝度を有する領域において、背景の階調値と文字の階調値との関係を逆転させることを防止することが可能となる。

次に、逆転二値画像生成部２２７は、逆転画像を二値化した逆転二値画像を生成する（ステップＳ２１０）。逆転二値画像生成部２２７は、二値画像生成部２２２と同様に、逆転画像内で階調値が第１閾値以上である画素を白色画素とし、階調値が第１閾値未満である画素を黒色画素とした画像を逆転二値画像として生成する。逆転二値画像では、逆転画像内の文字及び罫線に対応する画素が黒色画素となり、背景に対応する画素が白色画素となる。

図８Ｂは、逆転二値画像８１０の一例を示す模式図である。

図８Ｂは、図８Ａに示す逆転画像８００を二値化した逆転二値画像８１０を示す。図８Ｂに示すように、逆転二値画像８１０において、多値画像５００の高輝度背景領域５０１に対応する領域８１１の画素と、低輝度背景領域５０３に対応する領域８１３の画素とは、白色画素である。一方、逆転二値画像８１０において、低輝度文字領域５０２に対応する領域８１２の画素と、高輝度文字領域５０４に対応する領域８１４の画素と、罫線領域５０５に対応する領域８１５の画素とは、黒色画素である。

次に、文字検出部２２８は、逆転画像から生成された逆転二値画像から文字を検出する（ステップＳ２１１）。文字検出部２２８は、公知のＯＣＲ（Optical Character Recognition）技術を利用して、逆転二値画像から文字を検出する。

次に、出力制御部２２９は、検出された文字を表示装置２０３に表示し（ステップＳ２１２）、一連のステップを終了する。なお、出力制御部２２９は、検出された文字に関する情報として、検出された文字に代えて又は加えて、逆転画像又は逆転二値画像を表示装置２０３に表示してもよい。また、出力制御部２２９は、検出された文字、逆転画像又は逆転二値画像を不図示の通信装置を介して不図示のサーバ等に送信してもよい。このように、出力制御部２２９は、検出された文字に関する情報を出力する。

なお、罫線除去画像生成部２２３は、ステップＳ２０３の処理を省略し、ステップＳ２０４において、ステップＳ２０２で生成された二値画像から罫線除去画像を生成してもよい。また、罫線除去画像生成部２２３は、ステップＳ２０５の処理を省略し、領域検出部２２４は、ステップＳ２０６において、ステップＳ２０４で生成された罫線除去画像から連結領域を検出してもよい。また、逆転画像生成部２２６は、ステップＳ２０８の処理を省略し、ステップＳ２０９において、多値画像における全ての連結領域内の低輝度背景領域の階調値と高輝度文字領域の階調値との関係を逆転させることにより逆転画像を生成してもよい。また、逆転二値画像生成部２２７は、ステップＳ２１０の処理を省略し、文字検出部２２８は、ステップＳ２１１において、逆転画像から文字を検出してもよい。

以上詳述したように、図５に示したフローチャートに従って動作することによって、情報処理装置２００は、低輝度背景と、低輝度背景上の高輝度文字と、罫線とを含む原稿の画像から文字を良好に検出することが可能となった。

情報処理装置２００は、罫線成分、特に低輝度背景領域と連なる罫線成分を除去することにより、低輝度背景領域を良好に特定することが可能となった。また、情報処理装置２００は、罫線成分を除去する際に膨張した高輝度文字領域によって分断された低輝度背景領域を再結合することにより、低輝度背景領域を誤って特定することを抑制することが可能となった。情報処理装置２００は、低輝度背景領域を良好に特定することにより、低輝度背景領域の階調値と高輝度文字領域の階調値を良好に反転させることが可能となった。

一般に、帳票には、様々な濃度を有する文字が含まれている可能性がある。文字認識処理において、様々な濃度を有する各文字を認識可能にするためには、文字認識処理の対象とする二値画像において、各文字に対応する画素が黒色画素に変換されている必要がある。そのため、二値画像は、画像内の各画素がより黒色画素に変換され易くなるように生成されることが好ましい。しかし、そのように生成された二値画像では、白色文字の一部も黒色画素に変換される可能性があり、そのように生成された二値画像から白色文字を検出するために二値画像内の白色画素と黒色画素の関係を逆転させると、白色文字が掠れてしまう可能性が高い。情報処理装置２００は、多値画像を二値化してから階調値を反転させるのでなく、多値画像から逆転画像を生成してから逆転二値画像を生成することにより、逆転二値画像において文字が掠れてしまうことを防止することが可能となった。

また、一般に、汎用的なＯＣＲソフトウェアは、高輝度背景上に配置された低輝度文字を検出するように構成されている。情報処理装置２００は、低輝度背景領域と高輝度文字領域の階調値を反転させることにより、低輝度背景上の高輝度文字を含む原稿の画像から、高輝度背景上に配置された低輝度文字を検出するように構成されたＯＣＲソフトウェアを用いて文字を検出できる。また、情報処理装置２００は、低輝度背景上の高輝度文字と、高輝度背景上の低輝度文字とを含む原稿の画像から、高輝度文字又は低輝度文字の何れか一方のみを検出するように構成されたＯＣＲソフトウェアを用いて文字を検出できる。

また、情報処理装置２００は、画像内で黒色画素が連結する連結領域を検出し、検出した連結領域毎に低輝度背景領域と高輝度文字領域の階調値を反転させる。これにより、情報処理装置２００は、高輝度背景上に低輝度文字が配置されたセルと、低輝度背景上に高輝度文字が配置されたセルとが混合した帳票の画像から、文字を良好に検出することが可能となる。

なお、情報処理装置２００は、図５Ａに示す多値画像５００に対して、各背景、文字及び罫線の階調値の関係を反転させたような多値画像から、高輝度背景領域の階調値と低輝度文字領域の階調値との関係を逆転させた逆転画像を生成してもよい。その場合、罫線除去画像生成部２２３は、二値画像から高輝度の罫線の成分を除去した罫線除去画像を生成し、領域検出部２２４は、罫線除去画像内で白色画素が連結する連結領域を検出する。結合部２２５は、分断された連結領域を結合し、逆転画像生成部２２６は、多値画像において、連結領域に対応する領域内の高輝度背景領域の階調値と低輝度文字領域の階調値との関係を逆転させた逆転画像を生成する。

図９は、他の実施形態に係る情報処理装置における処理装置２３０の概略構成を示すブロック図である。

処理装置２３０は、第２ＣＰＵ２２０の代わりに、認識処理を実行する。処理装置２３０は、取得回路２３１、二値画像生成回路２３２、罫線除去画像生成回路２３３、領域検出回路２３４、結合回路２３５、逆転画像生成回路２３６、逆転二値画像生成回路２３７、文字検出回路２３８及び出力制御回路２３９等を有する。

取得回路２３１は、取得部の一例であり、取得部２２１と同様の機能を有する。取得回路２３１は、入力画像を多値画像として第２インタフェース装置２０１を介して画像読取装置１００から取得し、第２記憶装置２１０に保存する。

二値画像生成回路２３２は、二値画像生成部の一例であり、二値画像生成部２２２と同様の機能を有する。二値画像生成回路２３２は、第２記憶装置２１０から多値画像を読み出し、多値画像から二値画像を生成し、第２記憶装置２１０に保存する。

罫線除去画像生成回路２３３は、罫線除去画像生成部の一例であり、罫線除去画像生成部２２３と同様の機能を有する。罫線除去画像生成回路２３３は、第２記憶装置２１０から二値画像を読み出し、二値画像から罫線除去画像を生成し、第２記憶装置２１０に保存する。

領域検出回路２３４は、領域検出部の一例であり、領域検出部２２４と同様の機能を有する。領域検出回路２３４は、第２記憶装置２１０から罫線除去画像を読み出し、罫線除去画像内で連結領域を検出し、検出結果を第２記憶装置２１０に保存する。

結合回路２３５は、結合部の一例であり、結合部２２５と同様の機能を有する。結合回路２３５は、第２記憶装置２１０から、罫線除去画像と、連結領域の検出結果とを読み出し、検出結果に基づいて、罫線除去画像において連結領域を結合し、第２記憶装置２１０に保存する。

逆転画像生成回路２３６は、逆転画像生成部の一例であり、逆転画像生成部２２６と同様の機能を有する。逆転画像生成回路２３６は、第２記憶装置２１０から多値画像及び罫線除去画像を読み出し、読み出した各画像から逆転画像を生成し、第２記憶装置２１０に保存する。

逆転二値画像生成回路２３７は、逆転二値画像生成部の一例であり、逆転二値画像生成部２２７と同様の機能を有する。逆転二値画像生成回路２３７は、第２記憶装置２１０から逆転画像を読み出し、逆転画像から逆転二値画像を生成し、表示装置２０３に出力する。

文字検出回路２３８は、文字検出部の一例であり、文字検出部２２８と同様の機能を有する。文字検出回路２３８は、第２記憶装置２１０から逆転画像又は逆転二値画像を読み出し、読み出した画像から文字を検出し、検出結果を第２記憶装置２１０に保存する。

出力制御回路２３９は、出力制御部の一例であり、出力制御部２２９と同様の機能を有する。出力制御回路２３９は、第２記憶装置２１０から文字の検出結果、逆転画像又は逆転二値画像を読み出し、読み出した情報を表示装置２０３に出力する。

以上詳述したように、情報処理装置は、処理装置２３０を用いる場合も、低輝度背景と、低輝度背景上の高輝度文字と、罫線とを含む原稿の画像から文字を良好に検出することが可能となった。

以上、好適な実施形態について説明してきたが、実施形態はこれらに限定されない。例えば、画像読取装置１００と情報処理装置２００の機能分担は、図１に示す画像処理システム１の例に限られず、画像読取装置１００及び情報処理装置２００の各部を画像読取装置１００と情報処理装置２００の何れに配置するかは適宜変更可能である。または、画像読取装置１００と情報処理装置２００を一つの装置で構成してもよい。

例えば、画像読取装置１００の第１記憶装置１１０が、情報処理装置２００の第２記憶装置２１０に記憶された各プログラムを記憶し、画像読取装置１００の第１ＣＰＵ１２０が、情報処理装置２００の第２ＣＰＵ１２０により実現される各部として動作してもよい。また、画像読取装置１００が、情報処理装置２００の処理装置２３０と同様の処理装置を有してもよい。

その場合、画像読取装置１００は表示装置２０３と同様の表示装置を有する。認識処理は画像読取装置１００で実行されるため、ステップＳ１０２、Ｓ２０１の入力画像の送受信処理は省略される。ステップＳ２０２〜Ｓ２１２の各処理は、画像読取装置１００の第１ＣＰＵ１２０又は処理装置によって実行される。これらの処理の動作は、情報処理装置２００の第２ＣＰＵ２２０又は処理装置２３０によって実行される場合と同様である。

また、画像処理システム１において、第１インタフェース装置１０１と第２インタフェース装置２０１は、インターネット、電話回線網（携帯端末回線網、一般電話回線網を含む）、イントラネット等のネットワークを介して接続してもよい。その場合、第１インタフェース装置１０１及び第２インタフェース装置２０１に、接続するネットワークの通信インタフェース回路を備える。また、その場合、クラウドコンピューティングの形態で画像処理のサービスを提供できるように、ネットワーク上に複数の情報処理装置を分散して配置し、各情報処理装置が協働して、認識処理等を分担するようにしてもよい。これにより、画像処理システム１は、複数の画像読取装置が読み取った入力画像について、効率よく認識処理を実行できる。

１ 画像処理システム
２００ 情報処理装置
２２１ 取得部
２２２ 二値画像生成部
２２３ 罫線除去画像生成部
２２４ 領域検出部
２２５ 結合部
２２６ 逆転画像生成部
２２７ 逆転二値画像生成部
２２８ 文字検出部
２２９ 出力制御部

Claims (6)

1. 低輝度背景と、前記低輝度背景上の高輝度文字と、複数の罫線とを含む原稿を撮像した多値画像を取得する取得部と、
   前記多値画像を二値化した二値画像を生成する二値画像生成部と、
   前記二値画像から前記複数の罫線の成分を除去した罫線除去画像を生成する罫線除去画像生成部と、
   前記罫線除去画像内で黒色画素が連結する連結領域を検出する領域検出部と、
   前記領域検出部により検出された複数の連結領域の大きさの関係、前記複数の連結領域の位置の関係、又は、前記複数の連結領域の間の距離の内の少なくとも一つに基づいて、前記複数の連結領域を結合する結合部と、
   前記多値画像において、前記結合部により結合された連結領域に対応する領域内の低輝度背景領域の階調値と高輝度文字領域の階調値との関係を逆転させた逆転画像を生成する逆転画像生成部と、
   前記逆転画像から文字を検出する文字検出部と、
   前記検出された文字に関する情報を出力する出力部と、
   を有することを特徴とする画像処理装置。
2. 前記罫線除去画像生成部は、前記二値画像内で黒色画素が連結する領域内の、水平又は垂直方向の長さが所定値以下である部分を白色画素に変換することにより、前記罫線除去画像を生成する、請求項１に記載の画像処理装置。
3. 前記逆転画像生成部は、前記多値画像において、前記結合部により結合された連結領域に対応する領域内に、所定サイズ以上である高輝度文字が含まれる場合に限り、当該対応する領域内の低輝度背景領域の階調値と高輝度文字領域の階調値との関係を逆転させる、請求項１または２に記載の画像処理装置。
4. 前記逆転画像を二値化した逆転二値画像を生成する逆転二値画像生成部をさらに有し、
   前記文字検出部は、前記逆転二値画像から前記文字を検出する、請求項１〜３の何れか一項に記載の画像処理装置。
5. 出力部を有する画像処理装置の制御方法であって、前記画像処理装置が、
   低輝度背景と、前記低輝度背景上の高輝度文字と、複数の罫線とを含む原稿を撮像した多値画像を取得し、
   前記多値画像を二値化した二値画像を生成し、
   前記二値画像から前記複数の罫線の成分を除去した罫線除去画像を生成し、
   前記罫線除去画像内で黒色画素が連結する連結領域を検出し、
   前記検出された複数の連結領域の大きさの関係、前記複数の連結領域の位置の関係、又は、前記複数の連結領域の間の距離の内の少なくとも一つに基づいて、前記複数の連結領域を結合し、
   前記多値画像において、前記結合された連結領域に対応する領域内の低輝度背景領域の階調値と高輝度文字領域の階調値との関係を逆転させた逆転画像を生成し、
   前記逆転画像から文字を検出し、
   前記検出された文字に関する情報を前記出力部から出力する、
   ことを含むことを特徴とする制御方法。
6. 出力部を有するコンピュータの制御プログラムであって、
   低輝度背景と、前記低輝度背景上の高輝度文字と、複数の罫線とを含む原稿を撮像した多値画像を取得し、
   前記多値画像を二値化した二値画像を生成し、
   前記二値画像から前記複数の罫線の成分を除去した罫線除去画像を生成し、
   前記罫線除去画像内で黒色画素が連結する連結領域を検出し、
   前記検出された複数の連結領域の大きさの関係、前記複数の連結領域の位置の関係、又は、前記複数の連結領域の間の距離の内の少なくとも一つに基づいて、前記複数の連結領域を結合し、
   前記多値画像において、前記結合された連結領域に対応する領域内の低輝度背景領域の階調値と高輝度文字領域の階調値との関係を逆転させた逆転画像を生成し、
   前記逆転画像から文字を検出し、
   前記検出された文字に関する情報を前記出力部から出力する、
   ことを前記コンピュータに実行させることを特徴とする制御方法。

Images