JP5826081B2 - 画像処理装置、文字認識方法及びコンピュータプログラム - Google Patents

Description

本発明は、画像処理装置、文字認識方法及びコンピュータプログラムに関し、特に、複数種類の原稿について文字認識を行う画像処理装置、文字認識方法及びコンピュータプログラムに関する。

スキャナ装置等により原稿を読み取って取得した画像データ内の文字を認識する技術として、ＯＣＲ（Optical Character Recognition；光学式文字認識）技術がある。ＯＣＲ技術においては、文字のみが記載された原稿だけではなく、文字と、絵、写真等とが混在した原稿についても文字を認識することが求められる。そのため、様々な種類の原稿から高精度に文字認識を行えるように、ＯＣＲ処理は複雑になってきており、処理に長時間を要している。

特許文献１には、ＣＰＵと、逐次演算処理部と、並列演算処理部とを備える情報処理装置が開示されている。この情報処理装置では、画像処理に含まれる各演算処理が、ＣＰＵ、逐次演算処理部及び並列演算処理部のうちいずれで実行すれば高速になるかを事前に検証し、各演算処理をいずれで実行するかを設定したテーブルを予め記憶しておく。そして、ＣＰＵは、実行が命令された各演算処理について、記憶されたテーブルを参照して、いずれを実行主体とするかを決定する。

特許文献２には、文字認識処理と圧縮処理を行う画像処理装置が開示されている。この画像処理装置は、文章、図形、絵が混在した原稿に対し、画像データの属性（タイトル、文章、図形及び絵）を認識して領域を分割する。そして、タイトル、文章等の文字を含む領域について単純二値化した二値データを用いて文字認識処理を行う。なお、特許文献２には、タイトル、文章等の文字を含む領域については単純二値化した二値データに対して圧縮処理を行い、絵、写真等の中間調領域については誤差拡散法等により二値化した中間調二値データに対して圧縮処理を行うことが記載されている。

特開２０１１−１９１９０３号公報 特開平８−３１５１５９号公報

特許文献１に開示された情報処理装置は、画像処理に含まれる演算処理毎に、その処理を最も早く実行できる処理部を選択するので、各演算処理を高速に実行できる。しかしながら、この情報処理装置で文字認識処理を行う場合、予め定めた演算処理を全ての原稿に対して一律に実行するため、文字のみが記載された原稿に対しても文字と絵、写真等とが混在した原稿とほとんど同じ処理時間を要する。

特許文献２に開示された画像処理装置は、絵、写真等の領域については文字認識処理を行わないので、文字認識処理を高速に実行できる。しかしながら、この画像処理装置では、絵、写真等の領域に文字が含まれる場合、その文字を認識することはできない。

本発明の目的は、文字認識の精度を確保しつつ、高速に文字認識をすることが可能な画像処理装置、文字認識方法及びそのような文字認識方法をコンピュータに実行させるコンピュータプログラムを提供することにある。

本発明の一側面に係る画像処理装置は、入力画像内の各画素の画素値に基づいてヒストグラムを生成するヒストグラム生成部と、ヒストグラムに基づいて、入力画像に文字成分が含まれるか否かと、文字成分及び背景成分以外の非文字成分が含まれるか否かとを判定する成分判定部と、入力画像に文字成分と非文字成分の両方が含まれる場合、当該入力画像を各画素のエッジ強度に基づいて二値化する第１の処理で二値画像を生成し、入力画像に文字成分が含まれ、且つ非文字成分が含まれない場合、当該入力画像を各画素の輝度値に基づいて二値化する第２の処理で二値画像を生成する二値化部と、二値画像に対して文字認識を行う文字認識部と、を有する。

また、本発明の一側面に係る文字認識方法は、入力画像内の各画素の画素値に基づいてヒストグラムを生成するステップと、ヒストグラムに基づいて、入力画像に文字成分が含まれるか否かと、文字成分及び背景成分以外の非文字成分が含まれるか否かとを判定するステップと、入力画像に文字成分と非文字成分の両方が含まれる場合、当該入力画像を各画素のエッジ強度に基づいて二値化する第１の処理で二値画像を生成し、入力画像に文字成分が含まれ、且つ非文字成分が含まれない場合、当該入力画像を各画素の輝度値に基づいて二値化する第２の処理で二値画像を生成するステップと、二値画像に対して文字認識を行うステップと、を含む。

また、本発明の一側面に係るコンピュータプログラムは、入力画像内の各画素の画素値に基づいてヒストグラムを生成するステップと、ヒストグラムに基づいて、入力画像に文字成分が含まれるか否かと、文字成分及び背景成分以外の非文字成分が含まれるか否かとを判定するステップと、入力画像に文字成分と非文字成分の両方が含まれる場合、当該入力画像を各画素のエッジ強度に基づいて二値化する第１の処理で二値画像を生成し、入力画像に文字成分が含まれ、且つ非文字成分が含まれない場合、当該入力画像を各画素の輝度値に基づいて二値化する第２の処理で二値画像を生成するステップと、二値画像に対して文字認識を行うステップと、をコンピュータに実行させる。

本発明の一実施形態によれば、文字認識の精度を確保しつつ、高速に文字認識をすることが可能な画像処理装置、文字認識方法及びそのような文字認識方法をコンピュータに実行させるコンピュータプログラムを提供することができる。

実施形態に係る画像処理システムの概略構成図である。 画像処理部の概略構成図である。 画像読取処理の動作の例を示すフローチャートである。 文字認識処理の動作の例を示すフローチャートである。 領域分割処理について説明するための模式図である。 領域分割処理の動作の例を示すフローチャートである。 （ａ）〜（ｃ）は、成分判定処理について説明するための模式図である。 成分判定処理の動作の例を示すフローチャートである。 二値化処理の動作の例を示すフローチャートである。 画像処理部の他の例を示す概略構成図である。 文字認識処理の動作の他の例を示すフローチャートである。 画像処理部のさらに他の例を示す概略構成図である。 他の実施形態に係る画像処理システムの概略構成図である。

以下、本発明の一側面に係る画像処理装置、文字認識方法及びコンピュータプログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

図１は、実施形態に係る画像処理システムの概略構成を示す図である。図１に示すように、画像処理システム１は、画像読取装置１０と、情報処理装置２０とを有する。画像読取装置１０は、例えばイメージスキャナ、デジタルカメラ等であり、情報処理装置２０は、例えば画像読取装置１０に接続して用いられるパーソナルコンピュータ等である。

画像読取装置１０は、画像入力部１１と、第１画像メモリ部１２と、第１インターフェース部１３と、第１記憶部１４と、第１中央処理部１５とを有する。以下、画像読取装置１０の各部について詳細に説明する。

画像入力部１１は、撮像対象物である原稿等を撮像する撮像センサを有する。この撮像センサは、１次元又は２次元に配列されたＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と、撮像素子に撮像対象物の像を結像する光学系を備え、各撮像素子は、ＲＧＢ各色に対応するアナログ値を出力する。そして、画像入力部１１は、撮像センサが出力した各アナログ値をデジタル値に変換して画素データを生成し、生成した各画素データから構成される画像データ（以下、入力画像と称する）を生成する。この入力画像は、各画素データが、例えばＲＧＢ各色毎に８ｂｉｔで表される計２４ｂｉｔのＲＧＢ値からなるカラー画像データとなる。

第１画像メモリ部１２は、不揮発性半導体メモリ、揮発性半導体メモリ、磁気ディスク等の記憶装置を有する。第１画像メモリ部１２は、画像入力部１１と接続され、画像入力部１１により生成された入力画像を保存する。

第１インターフェース部１３は、ＵＳＢ（Universal Serial Bus）等のシリアルバスに準じるインターフェース回路を有し、情報処理装置２０と電気的に接続して画像データ及び各種の情報を送受信する。また、第１インターフェース部１３にフラッシュメモリ等を接続して第１画像メモリ部１２に保存されている画像データを一旦保存し、情報処理装置２０に複写するようにしてもよい。また、インターネット、電話回線網（携帯端末回線網、一般電話回線網を含む）、イントラネット等の有線又は無線のネットワークを介して第１インターフェース部１３と情報処理装置２０を接続してもよい。その場合、第１インターフェース部１３に、接続するネットワークの通信インターフェース回路を備える。

第１記憶部１４は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第１記憶部１４には、画像読取装置１０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。

第１中央処理部１５は、画像入力部１１、第１画像メモリ部１２、第１インターフェース部１３及び第１記憶部１４と接続され、これらの各部を制御する。第１中央処理部１５は、画像入力部１１の画像生成制御、第１画像メモリ部１２の制御、第１インターフェース部１３を介した情報処理装置２０とのデータ送受信制御、第１記憶部１４の制御等を行う。

情報処理装置２０は、第２インターフェース部２１と、第２画像メモリ部２２と、表示部２３と、入力部２４と、第２記憶部２５と、第２中央処理部２６と、画像処理部２７とを有する。以下、情報処理装置２０の各部について詳細に説明する。

第２インターフェース部２１は、画像読取装置１０の第１インターフェース部１３と同様のインターフェース回路を有し、情報処理装置２０と画像読取装置１０とを接続する。

第２画像メモリ部２２は、画像読取装置１０の第１画像メモリ部１２と同様の記憶装置を有する。第２画像メモリ部２２は、第２インターフェース部２１を介して画像読取装置１０から受信した入力画像を保存するとともに、画像処理部２７と接続され、画像処理部２７により入力画像に対して画像処理がなされた各種の処理画像を保存する。

表示部２３は、液晶、有機ＥＬ等から構成されるディスプレイ及びディスプレイに画像データ又は各種の情報を出力するインターフェース回路を有し、第２画像メモリ部２２及び第２中央処理部２６と接続されて、第２画像メモリ部２２に保存されている画像データ又は第２中央処理部２６から出力された情報をディスプレイに表示する。

入力部２４は、キーボード、マウス等の入力装置及び入力装置から信号を取得するインターフェース回路を有し、利用者の操作に応じた信号を第２中央処理部２６に出力する。

第２記憶部２５は、画像読取装置１０の第１記憶部１４と同様のメモリ装置、固定ディスク装置、可搬用の記憶装置等を有する。第２記憶部２５には、情報処理装置２０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。

第２中央処理部２６は、第２インターフェース部２１、第２画像メモリ部２２、表示部２３、入力部２４、第２記憶部２５及び画像処理部２７と接続され、これらの各部を制御する。第２中央処理部２６は、第２インターフェース部２１を介した画像読取装置１０とのデータ送受信制御、第２画像メモリ部２２の制御、表示部２３の表示制御、入力部２４の入力制御、第２記憶部２５の制御、画像処理部２７による画像処理の制御等を行う。

画像処理部２７は、第２画像メモリ部２２に接続され、文字認識処理を行う。この画像処理部２７は、第２中央処理部２６に接続され、第２中央処理部２６からの制御により予め第２記憶部２５に記憶されているプログラムに基づいて動作する。なお、画像処理部２７は、独立した集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。

図２は、画像処理部２７の概略構成を示す図である。図２に示すように画像処理部２７は、画像変換部２０１、領域分割部２０２、ヒストグラム生成部２０３、成分判定部２０４、二値化部２０５及び文字認識部２０６を有する。これらの各部は、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。なお、これらの各部は、それぞれ独立した集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。

図３は、画像読取装置１０による画像読取処理の動作の例を示すフローチャートである。以下、図３に示したフローチャートを参照しつつ、画像読取処理の動作の例を説明する。なお、以下に説明する動作のフローは、予め第１記憶部１４に記憶されているプログラムに基づき主に第１中央処理部１５により画像読取装置１０の各要素と協働して実行される。

最初に、画像入力部１１は、撮像対象物である原稿を撮影した入力画像を生成し、第１画像メモリ部１２に保存する（ステップＳ３０１）。

次に、第１中央処理部１５は、第１画像メモリ部１２に保存された入力画像を第１インターフェース部１３を介して情報処理装置２０に送信し（ステップＳ３０２）、一連のステップを終了する。

図４は、情報処理装置２０による文字認識処理の動作の例を示すフローチャートである。以下、図４に示したフローチャートを参照しつつ、文字認識処理の動作の例を説明する。なお、以下に説明する動作のフローは、予め第２記憶部２５に記憶されているプログラムに基づき主に第２中央処理部２６により情報処理装置２０の各要素と協同して実行される。

最初に、第２中央処理部２６は、入力画像を第２インターフェース部２１を介して画像読取装置１０から取得し、第２画像メモリ部２２に保存する（ステップＳ４０１）。

次に、画像変換部２０１は、第２画像メモリ部２２に保存された入力画像を読み出し、入力画像の各画素のＲＧＢ値を輝度値に変換した画像（以下、輝度画像と称する）を生成し、第２画像メモリ部２２に保存する（ステップＳ４０２）。なお、輝度値は、例えば以下の式により算出することができる。
輝度値＝ ０．３０×Ｒ値＋０．５９×Ｇ値＋０．１１×Ｂ値 （１）

次に、領域分割部２０２は、入力画像を、所定範囲内の輝度値を持つ画素が連結する領域を境界とする画像領域毎に分割する領域分割処理を実施する（ステップＳ４０３）。

図５は、領域分割処理について説明するための模式図である。図５に示す画像５００は入力画像の例である。入力画像５００は、タイトル領域５０１、文章領域５０２、５０３、文章と絵の混在領域５０４、絵領域５０５からなる。領域分割部２０２は、所定範囲（例えば１０）内の輝度値を持つ画素が連結した空白領域５１１〜５１４を抽出し、抽出した空白領域５１１〜５１４を境界として入力画像５００を各領域５０１〜５０５に分割する。

図６は、領域分割処理の動作の例を示すフローチャートである。以下、図６に示すフローチャートを参照しつつ、領域分割処理の動作の例を説明する。

領域分割部２０２は、第２画像メモリ部２２から輝度画像を読み出し、輝度画像の水平方向のライン（以下、水平ラインと称する）毎に各画素の輝度値のヒストグラム（以下、輝度ヒストグラムと称する）を生成する（ステップＳ６０１）。

次に、領域分割部２０２は、輝度ヒストグラムに基づいて、各画素の輝度値が所定範囲内にある水平ラインを抽出し、水平空白ラインとする（ステップＳ６０２）。なお、輝度値が所定範囲内にある画素の数が、その水平ライン内の全画素数の所定比率（例えば９５％）以上である場合に、その水平ラインを水平空白ラインとしてもよい。

次に、領域分割部２０２は、各画素の輝度値の分布範囲が略同一である、隣接する水平空白ライン同士を結合して水平空白領域とする（ステップＳ６０３）。

次に、領域分割部２０２は、輝度画像内の上端及び下端の何れにも位置せず、且つ所定幅（例えば２ライン）以上の（つまり、所定数以上の水平空白ラインが結合した）水平空白領域が存在するか否かを判定する（ステップＳ６０４）。

そのような水平空白領域が存在する場合、領域分割部２０２は、その水平空白領域に対応する入力画像内の領域を境界として、入力画像を水平方向に複数の画像領域に分割する（ステップＳ６０５）。図５に示す例では、この分割処理により、入力画像５００は、空白領域５１１を境界として、タイトル領域５０１と空白領域５１１より下側の画像領域とに分割される。一方、そのような水平空白領域が存在しない場合、領域分割部２０２は、特に処理を行わず、ステップＳ６０６へ処理を移行する。

次に、領域分割部２０２は、分割した各画像領域に対応する輝度画像内の各領域（ステップＳ６０５で輝度画像を分割していない場合は輝度画像）について、垂直方向のライン（以下、垂直ラインと称する）毎に輝度ヒストグラムを生成する（ステップＳ６０６）。

次に、領域分割部２０２は、輝度ヒストグラムに基づいて、各画素の輝度値が所定範囲内にある垂直ラインを抽出し、垂直空白ラインとする（ステップＳ６０７）。なお、ステップＳ６０２の処理と同様に、輝度値が所定範囲内にある画素の数が、その垂直ライン内の全画素数の所定比率以上である場合にその垂直ラインを垂直空白ラインとしてもよい。

次に、領域分割部２０２は、各画素の輝度値の分布範囲が略同一である、隣接する垂直空白ライン同士を結合して垂直空白領域とする（ステップＳ６０８）。

次に、領域分割部２０２は、各画像領域内の左端及び右端に位置せず、且つ所定幅以上の（つまり、所定数以上の垂直空白ラインが結合した）垂直空白領域が存在するか否かを判定する（ステップＳ６０９）。

そのような垂直空白領域が存在する場合、領域分割部２０２は、その垂直空白領域に対応する入力画像内の領域を境界として、各画像領域を垂直方向にさらに複数の画像領域に分割する（ステップＳ６１０）。図５に示す例では、この分割処理により、タイトル領域５０１は分割されず、空白領域５１１より下側の画像領域は、空白領域５１２を境界として、空白領域５１２より左側の画像領域と右側の画像領域とに分割される。一方、そのような空白領域が存在しない場合は、領域分割部２０２は、特に処理を行わず、ステップＳ６１１へ処理を移行する。

次に、領域分割部２０２は、ステップＳ６１０において領域を分割したか否かを判定する（ステップＳ６１１）。ステップＳ６１０において領域を分割した場合、領域分割部２０２は、分割した画像領域について、さらにステップＳ６０１〜Ｓ６１０の処理を繰り返す。一方、ステップＳ６１０において領域を分割しなかった場合は、一連のステップを終了する。

また、二回目以降のステップＳ６０１〜Ｓ６１０の処理において、領域分割部２０２は、ステップＳ６０５の処理後にステップＳ６０５で領域を分割したか否かを判定し、分割しなかった場合は一連のステップを終了する。

図５に示す例では、二回目の水平方向の分割処理により、空白領域５１２より左側の画像領域は、空白領域５１３を境界として、文章領域５０２と文章領域５０３とに分割され、空白領域５１２より右側の画像領域は、空白領域５１４を境界として、混在領域５０４と絵領域５０５とに分割される。そして、二回目の垂直方向の分割処理では空白領域が抽出されず、領域分割処理は終了となる。

このように、領域分割部２０２は、水平ライン又は垂直ライン毎の輝度ヒストグラムを用いることにより、入力画像内の領域を高速に分割することができる。

なお、領域分割部２０２は、輝度画像について水平方向及び垂直方向に画素を間引いた間引き画像を生成し、生成した間引き画像を用いて領域分割処理を実施してもよい。これにより、領域分割部２０２は、領域分割処理をより高速に実施できる。

また、領域分割部２０２は、輝度画像の各画素を閾値Ｔ１を用いて二値化した二値画像を生成し、生成した二値画像を用いて領域分割処理を実施してもよい。この閾値Ｔ１は、例えば輝度画像内の全画素の輝度値の平均値に設定することができる。この場合、領域分割部２０２は、輝度値が閾値Ｔ１以上の画素（白に近い画素）を０に、輝度値が閾値Ｔ１未満の画素（黒に近い画素）を１とするように二値化する。そして、二値画像の各ラインについて二値の総和を算出し、総和が所定値（例えば５）以下のラインを空白ラインとする。これにより、領域分割部２０２は、領域分割処理をより高速に実施できる。

図４に戻って、ヒストグラム生成部２０３は、領域分割部２０２により分割された画像領域毎に、各画素の輝度値のヒストグラムを生成し、第２画像メモリ部２２に記憶する（ステップＳ４０４）。

次に、成分判定部２０４は、ヒストグラム生成部２０３により生成されたヒストグラムに基づいて、各画像領域に文字成分が含まれるか否かと、文字成分及び背景成分以外の非文字成分が含まれるか否かとを判定する成分判定処理を実施する（ステップＳ４０５）。

図７（ａ）〜（ｃ）は、成分判定処理について説明するための模式図である。図７（ａ）に示すグラフ７００は、文字成分と非文字成分の両方を含む画像領域の輝度値のヒストグラムの例を示し、図７（ｂ）に示すグラフ７１０は、文字成分を含み、非文字成分を含まない画像領域の輝度値のヒストグラムの例を示し、図７（ｃ）に示すグラフ７２０は、非文字成分を含み、文字成分を含まない画像領域の輝度値のヒストグラムの例を示す。グラフ７００、７１０、７２０の横軸は輝度値を示し、縦軸は頻度を示す。

一般的な原稿では、文字の明るさと背景の明るさはそれぞれ均一であり、利用者が文字と背景を明確に区別できるようにそれぞれの明るさは大きく異なる。一方、絵、写真等の明るさは均一でない。そのため、輝度値のヒストグラムにおいて、文字成分と背景成分は分布幅が狭くなる傾向にあり、非文字成分は分布幅が広くなる傾向にある。また、一般的な原稿で絵、写真等に文字が重なっている場合、利用者が文字と絵、写真等を区別できるように、それぞれの明るさは異なる。従って、図７（ａ）に示すように、文字成分と非文字成分の両方を含む画像領域の輝度値のヒストグラムでは、非文字成分による広い範囲の分布７０１と文字成分による狭い範囲の分布７０２の両方が存在する可能性が高い。また、図７（ｂ）に示すように、文字成分を含み、非文字成分を含まない画像領域の輝度値のヒストグラムでは、背景成分による狭い範囲の分布７１１と文字成分による狭い範囲の分布７１２が存在する可能性が高い。また、図７（ｃ）に示すように、非文字成分を含み、文字成分を含まない画像領域の輝度値のヒストグラムでは、非文字成分による広い範囲の分布７２１のみが存在する可能性が高い。そこで、成分判定部２０４は、これらの特徴に基づいて各画像領域に文字成分と非文字成分とがそれぞれ含まれるか否かを判定する。

図８は、成分判定処理の動作の例を示すフローチャートである。以下、図８に示すフローチャートを参照しつつ、成分判定処理の動作の例を説明する。

成分判定部２０４は、第２画像メモリ部２２から、処理対象の画像領域の輝度値のヒストグラムを読み出す（ステップＳ８０１）。

次に、成分判定部２０４は、読み出したヒストグラムにおいて、輝度値の低い側から順に、頻度がその画像領域の全画素数の所定割合（例えば１％）以上である輝度値が存在するか否かを判定する（ステップＳ８０２）。

成分判定部２０４は、そのような輝度値が存在しない場合、ステップＳ８０６へ処理を移行させ、そのような輝度値が存在する場合、そのような輝度値が連続して存在する数が所定数（例えば２０）以上であるか否かを判定する（ステップＳ８０３）。

成分判定部２０４は、その連続して存在する数が所定数以上である場合、その連続する輝度値の範囲を第１の範囲として抽出し（ステップＳ８０４）、所定数未満である場合、その連続する輝度値の範囲を第２の範囲として抽出する（ステップＳ８０５）。

次に、成分判定部２０４は、読み出したヒストグラムの全ての輝度値について処理を完了したか否かを判定する（ステップＳ８０６）。全ての輝度値について処理を完了していない場合、ステップＳ８０２に処理を戻して、まだ処理していない輝度値についてステップＳ８０２〜Ｓ８０５の処理を繰り返す。

全ての輝度値について処理を完了した場合、成分判定部２０４は、そのヒストグラムに第１の範囲と第２の範囲の両方が存在するか否かを判定する（ステップＳ８０７）。ヒストグラムに第１の範囲と第２の範囲の両方が存在する場合、成分判定部２０４は、その画像領域を文字成分と非文字成分の両方を含む第１属性領域と判定する（ステップＳ８０８）。なお、第１の範囲と第２の範囲の両方が存在する場合、そのうちの一方又は両方が二つ以上存在しても、その画像領域には文字成分と非文字成分の両方が含まれる可能性が高いため、成分判定部２０４は、その画像領域を第１属性領域と判定する。

一方、ヒストグラムに第１の範囲と第２の範囲の両方が存在しない場合、成分判定部２０４は、そのヒストグラムに第２の範囲が二つ以上存在するか否かを判定する（ステップＳ８０９）。ヒストグラムに第２の範囲が二つ以上存在する場合、成分判定部２０４は、その画像領域を文字成分と背景成分のみを含む第２属性領域と判定する（ステップＳ８１０）。なお、第２の範囲が三つ以上存在する場合、その第２の範囲のうちの一つは背景成分であり、残りは、それぞれ輝度の異なる文字成分である可能性が高いため、成分判定部２０４は、その画像領域を第２属性領域と判定する。なお、その場合、その第２の範囲のうちの一つを非文字成分と判断して、その画像領域を第１属性領域と判定してもよい。

一方、ヒストグラムに第２の範囲が二つ以上存在しない場合、成分判定部２０４は、その画像領域を文字成分を含まない第３属性領域と判定する（ステップＳ８１１）。なお、ヒストグラムに第１の範囲のみが含まれる場合、その画像領域には非文字成分のみが含まれる可能性が高く、ヒストグラムに第２の範囲が一つだけ含まれる場合、その画像領域には背景成分のみが含まれる可能性が高いが、何れの場合もその画像領域には文字成分は含まれない。

画像領域が何れの属性領域であるかを判定すると、成分判定部２０４は、全ての画像領域のヒストグラムについて処理を完了したか否かを判定する（ステップＳ８１２）。全ての画像領域のヒストグラムについて処理を完了していない場合、成分判定部２０４は、ステップＳ８０１に処理を戻して、まだ処理していない画像領域のヒストグラムについてステップＳ８０１〜Ｓ８１１の処理を繰り返す。一方、全ての画像領域のヒストグラムについて処理を完了した場合、成分判定部２０４は、一連のステップを終了する。

このように、成分判定部２０４は、各画像領域のヒストグラムを用いることにより、各画像領域に文字成分と非文字成分とがそれぞれ含まれるか否かを高速に判定できる。

図４に戻って、二値化部２０５は、成分判定部２０４によって判定された結果に従って、各画像領域に対して二値化処理を実施する（ステップＳ４０６）。

図９は、二値化処理の動作の例を示すフローチャートである。以下、図９に示すフローチャートを参照しつつ、二値化処理の動作の例を説明する。

二値化部２０５は、入力画像内に第１属性領域が存在するか否かを判定する（ステップＳ９０１）。入力画像内に第１属性領域が存在する場合、即ち入力画像に文字成分と非文字成分の両方が含まれ、且つ各画像領域のうちの少なくとも一つに文字成分と非文字成分の両方が含まれる場合、二値化部２０５は、入力画像を第１の処理で二値化する（ステップＳ９０２）。

各画像領域は空白領域を境界として分割された領域であり、第１属性領域には文字成分と非文字成分の両方が含まれる。そのため、第１属性領域では文字成分と非文字成分が連結している可能性が高く、文字が絵、写真等に重なっている可能性が高い。従って、この場合、様々な輝度からなる非文字成分から文字成分を適切に分離するように二値化する必要がある。

そこで、二値化部２０５は、第１の処理では入力画像を各画素のエッジ強度に基づいて二値化する。例えば、二値化部２０５は、輝度画像の各画素に対して、Ｐｒｅｗｉｔｔフィルタ、Ｓｏｂｅｌフィルタ等のエッジ検出フィルタを適用してその出力値の絶対値を画素値とするエッジ画像を生成する。そして、生成したエッジ画像の各画素の画素値が予め定められた閾値Ｔ２以上であるか否かにより各画素を二値化した二値画像を生成する。この閾値Ｔ２は、例えば人が画像上の輝度の違いを目視により判別可能な輝度値の差（例えば２０）に設定することができる。

一方、入力画像内に第１属性領域が存在しない場合、二値化部２０５は、入力画像内に第２属性領域のみが存在するか否かを判定する（ステップＳ９０３）。入力画像内に第２属性領域のみが存在する場合、即ち入力画像に文字成分が含まれ、且つ非文字成分が含まれない場合、二値化部２０５は、入力画像を第２の処理で二値化する（ステップＳ９０４）。

第２属性領域には文字成分と背景成分のみが含まれ、非文字成分は含まれない。つまり入力画像内には文字成分と背景成分のみが含まれ、そのため各画素のエッジ強度に基づいて二値化することなく文字成分と背景成分を分離できる可能性が高い。

そこで、二値化部２０５は、第２の処理では入力画像を各画素の輝度値に基づいて二値化する。この場合、二値化部２０５は、輝度画像の各画素の輝度値が閾値Ｔ３以上であるか否かにより各画素を二値化した二値画像を生成する。この閾値Ｔ３は、例えば、輝度画像内の全画素の輝度値の平均値に設定することができる。第２の処理では、各画素のエッジ強度を求める必要がないため、第１の処理より高速に二値化処理を実施できる。

一方、入力画像内に第２属性領域以外の画像領域が存在する場合、二値化部２０５は、入力画像内に第２属性領域と第３属性領域の両方が存在するか否かを判定する（ステップＳ９０５）。入力画像内に第２属性領域と第３属性領域の両方が存在する場合、即ち入力画像に文字成分と非文字成分の両方が含まれるが、各画像領域の何れにも文字成分と非文字成分の両方が含まれない場合、二値化部２０５は、入力画像内の第２属性領域のみを各画素の輝度値に基づいて二値化する（ステップＳ９０６）。

入力画像内に第２属性領域と第３属性領域の両方が存在する場合、入力画像に文字成分と非文字成分の両方が含まれるが、各画像領域の何れにも文字成分と非文字成分の両方が含まれないため、文字成分と非文字成分は連結していず、文字は絵、写真等に重なっていない可能性が高い。そこで、二値化部２０５は、入力画像のうち第２属性領域についてのみを各画素の輝度値に基づいて二値化する。

一方、入力画像内に第２属性領域と第３属性領域の両方が存在しない場合、入力画像には文字成分が含まれないと考えられるため、二値画像を生成することなく、一連のステップを終了する。また、ステップＳ９０２、Ｓ９０４、Ｓ９０６において二値画像を生成すると、二値化部２０５は一連のステップを終了する。

なお、第１の処理において入力画像を各画素のエッジ強度に基づいて二値化する方法は、エッジ画像に基づいて各画素を二値化することに限定されない。例えば、第１の処理では輝度画像を十分に小さい領域（例えば３画素×３画素の領域）に分割し、各領域内の各画素の輝度値の平均値を閾値としてその領域内の各画素を二値化してもよい。この場合、入力画像を各領域内の各画素の輝度値の差に基づいて二値化することができ、文字成分と非文字成分が隣接していても各成分を適切に分離することができる。そこで、二値化部２０５は、第１の処理として、所定領域毎に二値化の閾値を定めて各画素の輝度値を二値化し、一方、第２の処理としては、入力画像内の全ての画素に共通に二値化の閾値を定めて各画素の輝度値を二値化する。この場合、第２の処理では所定領域毎に二値化の閾値を求める必要がないため、第１の処理より高速に二値化処理を実施できる。

あるいは、二値化部２０５は、第１の処理において入力画像内の各画素の少なくとも色成分に基づいてエッジ強度を算出してもよい。例えば、二値化部２０５は、入力画像内の各画素の明るさを表す明度を入力画像の各画素のＲＧＢ値から以下の（２）式により算出し、算出した明度を画素値とする明度画像を生成する。そして、明度画像についてエッジ画像を生成し、そのエッジ画像の各画素の画素値が所定の閾値以上であるか否かにより二値画像を生成する。
明度＝ｍａｘ（Ｒ値、Ｇ値、Ｂ値） （２）

または、二値化部２０５は、入力画像内の各画素の鮮やかさを表す彩度を、入力画像の各画素のＲＧＢ値から以下の（３）式により算出し、算出した彩度を画素値とする彩度画像を生成する。そして、彩度画像についてエッジ画像を生成し、そのエッジ画像の各画素の画素値が所定の閾値以上であるか否かにより二値画像を生成する。
彩度＝（ｍａｘ（Ｒ値、Ｇ値、Ｂ値）−ｍｉｎ（Ｒ値、Ｇ値、Ｂ値））／ｍａｘ（Ｒ値、Ｇ値、Ｂ値） （３）

または、二値化部２０５は、入力画像内の各画素の輝度値、明度及び彩度をそれぞれ正規化した値のうちの何れか二つもしくは全ての平均値、又はこれらの重み付き平均値を画素値とする画像についてエッジ画像を生成し、そのエッジ画像の各画素の画素値が所定の閾値以上であるか否かにより二値画像を生成してもよい。

図４に戻って、文字認識部２０６は、二値化部２０５によって生成された二値画像に対して文字認識を行い、認識した各文字のコード情報を第２記憶部２５に記憶し（ステップＳ４０７）、一連のステップを終了する。その後、例えば利用者によって入力部２４を介して入力画像内の文字を表示する指示がなされると、第２中央処理部２６は、第２記憶部２５に記憶した各コード情報に対応する文字を表示部２３に表示させる。なお、入力画像に文字成分が含まれないと判定され、二値化部２０５によって二値画像が生成されなかった場合、文字認識部２０６は文字認識を行わずに一連のステップを終了する。

なお、ステップＳ４０４において、ヒストグラム生成部２０３が各画素の輝度値のヒストグラムを生成する例を示したが、本発明はこれに限定されない。ヒストグラム生成部２０３は、各画素の画素値に基づいてヒストグラムを生成すればよく、例えば各画素のエッジ強度に基づいてヒストグラムを生成してもよい。その場合、ヒストグラム生成部２０３は、領域分割部２０２により分割された各画像領域について、各画素の輝度、明度又は彩度に対して、Ｐｒｅｗｉｔｔフィルタ、Ｓｏｂｅｌフィルタ等のエッジ検出フィルタを適用したエッジ画像を生成し、生成したエッジ画像の各画素の画素値のヒストグラムを生成する。

上述した通り、一般的な原稿では、文字の明るさと背景の明るさはそれぞれ均一であり、利用者が文字と背景を明確に区別できるようにそれぞれの明るさは大きく異なる。そのため、エッジ強度は、文字と背景が隣接する部分で一定の高い値を持ち、他の部分で一定の低い値を持つ。一方、絵、写真等の明るさは、均一でなく、なだらかに変化する傾向にある。そのため、絵、写真等の部分におけるエッジ強度は、文字と背景の境界におけるエッジ強度よりも低く、且つ広い範囲に分布する傾向にある。従って、エッジ強度のヒストグラムでは、輝度値のヒストグラムと同様に、文字成分と背景成分は分布の幅が狭くなる傾向にあり、非文字成分は分布の幅が広くなる傾向にある。そのため、成分判定部２０４は、輝度値のヒストグラムを用いた場合と同様にして、エッジ強度のヒストグラムを用いて、各画像領域に文字成分と非文字成分とがそれぞれ含まれるか否かを判定することができる。

以上詳述したように、図４に示したフローチャートに従って動作することによって、情報処理装置２０は、文字と絵、写真等とが混在した原稿に対しては文字と絵、写真等とを高精度に分離して文字を認識し、絵、写真等を含まない原稿に対しては高速に文字を認識することが可能となった。これにより、文字認識の精度を確保しつつ、高速に文字認識をすることが可能となった。

図１０は、画像処理部の他の例を示す概略構成図である。図１０に示す画像処理部２８は、図１に示す情報処理装置２０において、画像処理部２７の代りに用いることが可能である。図１０に示す画像処理部２８は、図２に示す画像処理部２７と異なり、領域分割部２０２を有さない。

図１１は、図１０に示す画像処理部２８を用いる情報処理装置２０の文字認識処理の動作の例を示すフローチャートである。以下、図１１に示すフローチャートを参照しつつ、文字認識処理の動作の他の例を説明する。このフローチャートは、図１に示す情報処理装置２０において、図４に示すフローチャートの代りに実行することが可能である。なお、以下に説明する動作のフローは、予め第２記憶部２５に記憶されているプログラムに基づき主に第２中央処理部２６により情報処理装置２０の各要素と協同して実行される。

図１１に示すフローチャートでは、図４に示すフローチャートと異なり、情報処理装置２０は、ステップＳ４０３の領域分割処理を実施せず、以降、画像領域毎ではなく、入力画像全体に対して各処理を実施する。つまり、ステップＳ１１０３においてヒストグラム生成部２０３は、入力画像全体に対してヒストグラムを生成する。そして、ステップＳ１１０４において成分判定部２０４は、入力画像全体に対して生成されたヒストグラムに基づいて文字成分と非文字成分とがそれぞれ含まれるか否かを判定する。そして、ステップＳ１１０５において二値化部２０５は、入力画像に文字成分と非文字成分の両方が含まれる場合、入力画像を第１の処理で二値化した二値画像を生成し、入力画像に文字成分が含まれ、且つ非文字成分が含まれない場合、入力画像を第２の処理で二値化した二値画像を生成する。図１１に示すステップＳ１１０１〜Ｓ１１０２、Ｓ１１０６の処理は、図４に示すステップＳ４０１〜Ｓ４０２、Ｓ４０７の処理と同じであるため、説明を省略する。

以上詳述したように、図１１に示すフローチャートに従って動作する場合も、情報処理装置２０は、文字認識の精度を確保しつつ、高速に文字認識をすることが可能となる。

図１２は、画像処理部のさらに他の例を示す概略構成図である。図１２に示す画像処理部２９は、図１に示す情報処理装置２０において、画像処理部２７の代りに用いることが可能である。図１２に示す画像処理部２９は、図２に示す画像処理部２７の各部に加えて、レイアウト解析部２０７を有する。このレイアウト解析部２０７は、図９に示すフローチャートのステップＳ９０５でＹｅｓと判定された場合、即ち入力画像内に第１属性領域が存在せず、且つ第２属性領域と第３属性領域が存在する場合に、入力画像について詳細にレイアウト解析を行う。

レイアウト解析部２０７は、輝度画像を各画素の輝度値に基づいて背景成分とそれ以外の成分とに分離するように二値化し、ラベリング等の手法により背景成分以外の成分の連結成分を抽出する。そして、レイアウト解析部２０７は、各連結成分の外接矩形を求め、互いに重なる外接矩形を重なり矩形として統合する。さらに、レイアウト解析部２０７は、この重なり矩形の大きさのヒストグラムを生成し、極端に大きい矩形（例えば大きい順から１０％）を非文字成分と判定し、他の矩形を文字成分の候補とする。

レイアウト解析部２０７は、文字成分の各候補に対して、横方向又は縦方向に所定距離（例えばその外接矩形の長辺の所定倍）以内にあり、且つ最も近接している他の候補を結合させて行要素とする。なお、他の候補と結合しなかった候補は非文字成分と判定する。

レイアウト解析部２０７は、横方向の行要素が抽出された場合、各横行要素に対して、縦方向に所定距離（例えばその横行要素の縦方向の長さの所定倍）以内にあり、且つ最も近接している横行要素を結合させて段要素とする。一方、縦方向の行要素が抽出された場合、各縦行要素に対して、横方向に所定距離（例えば、その縦行要素の横方向の長さの所定倍）以内にあり、且つ最も近接している縦行要素を結合させて段要素とする。レイアウト解析部２０７は、各段要素を文字成分と判定し、他の行要素と結合しなかった行要素を非文字成分と判定する。

そして、二値化部２０５は、入力画像内に第１属性領域が存在せず、且つ第２属性領域と第３属性領域が存在する場合、レイアウト解析部２０７により文字成分と判定された各段要素に対してのみ、各画素の輝度値に基づいて二値化する。

以上詳述したように、情報処理装置２０は、入力画像において文字成分が非文字成分と離れた位置に含まれる場合に、文字成分をより高精度に抽出することが可能となった。

図１３は、他の実施形態に係る画像処理システム２の概略構成を示す図である。図１３に示す画像処理システム２と、図１に示す画像処理システム１との差異は、画像処理部を備える装置が異なる点である。即ち画像処理システム２では、情報処理装置４０ではなく、画像読取装置３０が画像処理部３６を有する。この画像処理部３６は、情報処理装置２０の画像処理部２７、２８又は２９と同様の機能を有する。

図１３に示す画像処理システム２では、図３、４、１１に示す処理とほぼ同様の処理を実行することができる。以下、図３のフローチャートに示す画像読取処理及び図４、１１のフローチャートに示す文字認識処理についてどのように適応されるかを説明する。画像処理システム２では、ステップＳ３０１の処理及びステップＳ４０２〜Ｓ４０７、Ｓ１１０２〜Ｓ１１０６の処理は、予め第１記憶部３４に記憶されているプログラムに基づき主に第１中央処理部３５により画像読取装置３０の各要素と協働して実行される。

ステップＳ３０１において、画像読取装置３０の画像入力部３１は、撮像対象物を撮影した入力画像を生成し、第１画像メモリ部３２に保存する。文字認識処理は画像読取装置３０で実施されるため、ステップＳ３０２、Ｓ４０１、Ｓ１１０１の入力画像の送受信処理は省略される。

ステップＳ４０２〜Ｓ４０７、Ｓ１１０２〜Ｓ１１０６の処理は、画像読取装置３０の画像処理部３６によって実行される。これらの処理の動作は、画像処理システム１について説明した情報処理装置２０の画像処理部２７〜２９によって実行される場合と同様である。画像読取装置３０の文字認識部２０６は、認識した各文字のコード情報を第１インターフェース部３３を介して情報処理装置４０に送信する。一方、情報処理装置４０の第２中央処理部４６は、受信した各文字のコード情報を第２記憶部４５に記憶する。

このように、画像読取装置３０が画像処理部３６を備えて文字認識処理を実行する場合も、情報処理装置が画像処理部を備えて文字認識処理を実行する場合と同様の効果を得ることができる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、画像読取装置と情報処理装置の機能分担は、図１及び図１３に示す画像処理システムの例に限られず、画像処理部内の各部を含めて画像読取装置及び情報処理装置の各部を画像読取装置と情報処理装置の何れに配置するかは適宜変更可能である。または、画像読取装置と情報処理装置を一つの装置で構成してもよい。

また、図１に示す画像処理システム１において、画像読取装置１０と情報処理装置２０を有線又は無線のネットワークを介して接続する場合、クラウドコンピューティングの形態で画像処理のサービスを提供できるように、ネットワーク上に複数の情報処理装置２０を分散して配置し、各情報処理装置２０が協働して、領域分割処理、二値化処理等を分担するようにしてもよい。これにより、画像処理システム１は、複数の画像読取装置１０が読み取った入力画像について、効率よく領域分割処理及び二値化処理を実施できる。

同様に、図１３に示す画像処理システム２においても、画像読取装置３０の第１インターフェース部３３と、情報処理装置４０の第２インターフェース部４１をネットワークを介して接続してもよい。

１、２ 画像処理システム
１０、３０ 画像読取装置
１１、３１ 画像入力部
１２、３２ 第１画像メモリ部
１３、３３ 第１インターフェース部
１４、３４ 第１記憶部
１５、３５ 第１中央処理部
２０、４０ 情報処理装置
２１、４１ 第２インターフェース部
２２、４２ 第２画像メモリ部
２３、４３ 表示部
２４、４４ 入力部
２５、４５ 第２記憶部
２６、４６ 第２中央処理部
２７、２８、２９、３６ 画像処理部
２０１ 画像変換部
２０２ 領域分割部
２０３ ヒストグラム生成部
２０４ 成分判定部
２０５ 二値化部
２０６ 文字認識部
２０７ レイアウト解析部

Claims (7)

1. 入力画像内の各画素の画素値に基づいてヒストグラムを生成するヒストグラム生成部と、
   前記ヒストグラムに基づいて、前記入力画像に文字成分が含まれるか否かと、前記文字成分及び背景成分以外の非文字成分が含まれるか否かとを判定する成分判定部と、
   前記入力画像に前記文字成分と前記非文字成分の両方が含まれる場合、当該入力画像を各画素のエッジ強度に基づいて二値化する第１の処理で二値画像を生成し、前記入力画像に前記文字成分が含まれ、且つ前記非文字成分が含まれない場合、当該入力画像を各画素の輝度値に基づいて二値化する第２の処理で二値画像を生成する二値化部と、
   前記二値画像に対して文字認識を行う文字認識部と、を有し、
   前記二値化部は、前記入力画像に前記文字成分が含まれている場合に限り、前記二値画像を生成する、
   ことを特徴とする画像処理装置。
2. 前記入力画像を、所定範囲内の輝度値を持つ画素が連結する領域を境界とする画像領域毎に分割する領域分割部をさらに有し、
   前記ヒストグラム生成部は、前記画像領域毎に前記ヒストグラムを生成し、
   前記成分判定部は、前記画像領域毎に、前記文字成分が含まれるか否かと、前記非文字成分が含まれるか否かとを判定し、
   前記二値化部は、前記入力画像に前記文字成分と前記非文字成分の両方が含まれる場合、前記画像領域の少なくとも一つに前記文字成分と前記非文字成分の両方が含まれるときは、前記第１の処理で二値画像を生成し、前記画像領域の何れにも前記文字成分と前記非文字成分の両方が含まれないときは、前記第１の処理に代えて前記文字成分が含まれる画像領域のみを各画素の輝度値に基づいて二値化することにより二値画像を生成する、請求項１に記載の画像処理装置。
3. 前記二値化部は、前記第１の処理において、各画素の少なくとも色成分に基づいて前記エッジ強度を算出する、請求項１又は２に記載の画像処理装置。
4. 前記二値化部は、前記第１の処理として、所定領域毎に二値化閾値を定めて各画素の輝度値を二値化し、前記第２の処理として、全ての画素に共通に二値化閾値を定めて各画素の輝度値を二値化する、請求項１又は２に記載の画像処理装置。
5. 前記ヒストグラム生成部は、各画素のエッジ強度に基づいて前記ヒストグラムを生成する、請求項１〜４の何れか一項に記載の画像処理装置。
6. 入力画像内の各画素の画素値に基づいてヒストグラムを生成するステップと、
   前記ヒストグラムに基づいて、前記入力画像に文字成分が含まれるか否かと、前記文字成分及び背景成分以外の非文字成分が含まれるか否かとを判定するステップと、
   前記入力画像に前記文字成分と前記非文字成分の両方が含まれる場合、当該入力画像を各画素のエッジ強度に基づいて二値化する第１の処理で二値画像を生成し、前記入力画像に前記文字成分が含まれ、且つ前記非文字成分が含まれない場合、当該入力画像を各画素の輝度値に基づいて二値化する第２の処理で二値画像を生成するステップと、
   前記二値画像に対して文字認識を行うステップと、を含み、
   前記二値画像を生成するステップにおいて、前記入力画像に前記文字成分が含まれている場合に限り、前記二値画像を生成する、
   ことを特徴とする文字認識方法。
7. 入力画像内の各画素の画素値に基づいてヒストグラムを生成するステップと、
   前記ヒストグラムに基づいて、前記入力画像に文字成分が含まれるか否かと、前記文字成分及び背景成分以外の非文字成分が含まれるか否かとを判定するステップと、
   前記入力画像に前記文字成分と前記非文字成分の両方が含まれる場合、当該入力画像を各画素のエッジ強度に基づいて二値化する第１の処理で二値画像を生成し、前記入力画像に前記文字成分が含まれ、且つ前記非文字成分が含まれない場合、当該入力画像を各画素の輝度値に基づいて二値化する第２の処理で二値画像を生成するステップと、
   前記二値画像に対して文字認識を行うステップと、をコンピュータに実行させ、
   前記二値画像を生成するステップにおいて、前記入力画像に前記文字成分が含まれている場合に限り、前記二値画像を生成する、
   ことを特徴とするコンピュータプログラム。