JP5624004B2 - ハーフトーンパターンで印刷されたグレーまたは淡色テキストを含む、スキャンされた文書画像を２値化するための方法 - Google Patents

Description

本発明は、スキャンされた文書画像を２値化するための方法および装置に関し、特に、ハーフトーンパターンで印刷されたグレーまたは淡色テキストを含む、スキャンされた文書画像を２値化するための方法および装置に関する。

コンピューターテクノロジーおよびインターネットの発達に伴って、簡易保存、簡易検索や読出し、高速転送および環境配慮等、紙ベースの文書より優れた利点のため、電子文書はますます一般的となってきている。従来、紙ベースの文書が長期間主となっており、長年にわたって大量の紙ベースの文書が生成されてきた。紙ベースの文書は、スキャナーを使用して、電子文書に変換できる。テキストを含む文書に関しては、文字検索やその他の目的のために、スキャンされた文書画像をテキストに変換することは、さらに好ましい。

自動文書分析システムが、スキャンされた文書画像を検索可能な電子文書に変換するために開発されてきた。このようなシステムは、典型的に、２値化要素、分離化要素および光学式文字認識要素（ＯＣＲ）の、３つの主となる構成要素を含む。第１構成要素、２値化要素は、前景（テキスト、写真、線図等）を背景から分離する。２値化要素は、カラーまたはグレースケールの画像を、各画素が０または１の値を有する２値画像に変換する。後続の分離化要素および認識要素は高質な２値化された画像に依存するため、２値化は重要なステップである。良い２値化は、計算負荷を低減でき、後続の分析を容易にできるだけではなく、自動文書分析システムの全体的なパフォーマンスを向上できる。

従来の方法では、２値化は、典型的に、グローバルまたは局所的に実行される。グローバル２値化法は、マルチビット画素値をバイナリ画素値に変換するために、スキャンされた全体画像について算出された１つの閾値を使用する。閾値より大きい画素値は１（または０）に変換され、閾値より小さい画素値は０（または１）に変換される。局所的２値化法は、局所領域の２値化のための閾値として、局所領域から算出され、適応された統計値を使用する。

グローバル２値化法の例は、以下に見ることができる。エヌ オーツ（Ｎ．Ｏｔｓｕ），「グレーレベルヒストグラムからの閾値選択法」（“Ａ Ｔｈｒｅｓｈｏｌｄ Ｓｅｌｅｃｔｉｏｎ Ｍｅｔｈｏｄ ｆｒｏｍ Ｇｒａｙ−Ｌｅｖｅｌ Ｈｉｓｔｏｇｒａｍｓ”），システム、人、サイバネティクスに関するＩＥＥＥ議事録（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｙｓｔｅｍｓ，Ｍａｎ，ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ），Ｖｏｌ．９，Ｎｏ．１，１９７９，ｐｐ．６２−６６（以下、「オーツ」）；エー ローゼンフィールド（Ａ．Ｒｏｓｅｎｆｉｅｌｄ），アール シー スミス（Ｒ．Ｃ．Ｓｍｉｔｈ），「緩和を使用する閾値化」（“Ｔｈｒｅｓｈｏｌｄｉｎｇ ｕｓｉｎｇ Ｒｅｌａｘａｔｉｏｎ”），パターン分析と人口知能に関するＩＥＥＥ議事録（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ），Ｖｏｌ．３，Ｎｏ．５，１９８１，ｐｐ．５９８−６０６；およびブイ エー シャピロ（Ｖ．Ａ．Ｓｈａｐｉｒｏ），ピー ケー ヴェレヴァ（Ｐ．Ｋ．Ｖｅｌｅｖａ），ブイ エス スグレフ（Ｖ．Ｓ．Ｓｇｕｒｅｖ），「画像閾値化のための適応した方法」（“Ａｎ Ａｄａｐｔｉｖｅ ｍｅｔｈｏｄ ｆｏｒ Ｉｍａｇｅ Ｔｈｒｅｓｈｏｌｄｉｎｇ”）、第１１回ＩＡＰＲパターン認識国際会議議事録（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １１ｔｈ ＩＡＰＲ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ），１９９２，ｐｐ．６９６−６９９。局所的２値化法の例は、以下に見ることができる。タブリュ ニブラック（Ｗ．Ｎｉｂｌａｃｋ），「画像処理入門」（“Ａｎ ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｉｍａｇｅ Ｐｒｅｃｅｓｓｉｎｇ”），Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ，Ｅｎｇｌｅｗｏｏｄ Ｃｌｉｆｆｓ，１９８６，ｐｐ．１１５−１１６；ジェイ サウヴォラ（Ｊ．Ｓａｕｖｏｌａ）、エム ピーティカイネン（Ｍ．Ｐｅｉｔｉｋａｉｎｅｎ）、「最適な文書画像２値化」（“Ａｄａｐｔｉｖｅ ｄｏｃｕｍｅｎｔ ｉｍａｇｅ ｂｉｎａｒｉｚａｔｉｏｎ”）、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｖｏｌ．３３，２０００，ｐｐ．２２５−２３６（以下、「サウヴォラ他」）；およびアイ キム（Ｉ．Ｋｉｍ），ディー ジュン（Ｄ．Ｊｕｎｇ），アール パク（Ｒ．Ｐａｒｋ）、水流モデルを使用するトポグラフィー分析に基づく文書画像２値化、（“Ｄｏｃｕｍｅｎｔ ｉｍａｇｅ ｂｉｎａｒｉｚａｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｏｐｏｇｒａｐｈｉｃ ａｎａｌｙｓｉｓ ｕｓｉｎｇ ａ ｗａｔｅｒ ｆｌｏｗ ｍｏｄｅｌ”）、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｖｏｌ．３５，２００２，ｐｐ．２６５−２７７。

したがって、本発明は、関連する技術の制約および短所に起因する１以上の問題を実質的に除去する２値化法に関する。

本発明の目的は、ハーフトーンテキストおよびハーフトーンではないテキストの両方を含む、スキャンされたグレースケール画像から、高質な２値画像を生成することである。

本発明のさらなる特徴および利点は以下の記載に説明され、部分的には当該記載から明らかであり、または、本発明を実施することを通して理解される。本発明の目的およびその他の利点は、添付の図面同様、記載される内容および特許請求の範囲に特に指摘された構成によって理解され、達成されうる。

具体的かつ広義に記載される通り、これらおよび／またはその他の目的を達成するために、本願発明は、紙ベースの文書をスキャンすることによって生成された、グレースケールの文書画像を２値化するためのデータ処理装置に実装される方法を提供する。

前記方法は、（ａ）前記グレースケールの文書画像内のテキスト文字を特定するステップと、（ｂ）前記テキスト文字のトポロジー的分析に基づいて、前記ステップ（ａ）で特定された各前記テキスト文字を、ハーフトーンテキスト文字または非ハーフトーンテキスト文字として分類するステップと、（ｃ）前記ステップ（ｂ）で分類されたハーフトーンテキスト文字のみから取得された画素値特性を使用して、前記ハーフトーンテキスト文字を２値化するステップと、を含み、前記ステップ（ａ）は、前記グレースケールの文書画像の初期２値化を実行して、初期２値画像を生成するステップと、テキスト文字として、前記初期２値画像内の連結された画像要素を抽出するステップと、を含み、前記ステップ（ｂ）は、各前記テキスト文字について、前記ステップ（ａ）において抽出した前記画像要素内のホールの数に応じてオイラー数を算出するステップと、前記テキスト文字の前記オイラー数が予め決められた値より小さい場合、当該テキスト文字を前記ハーフトーンテキスト文字として分類するステップと、前記テキスト文字の前記オイラー数が前記予め決められた値以上の場合、当該テキスト文字を前記非ハーフトーンテキスト文字として分類するステップと、を含む。

前記方法は、（ｄ）前記ステップ（ｂ）後、前記ステップ（ｃ）前に、前記グレースケールの文書画像を、前記ハーフトーンテキスト文字のみを含むハーフトーンテキスト領域と、前記非ハーフトーンテキスト文字を含む非ハーフトーンテキスト領域とに分割するステップをさらに含み、前記ステップ（ｃ）は、各前記ハーフトーンテキスト領域内のみの画素から算出された画素値統計を使用することによって当該ハーフトーンテキスト領域を２値化して、各前記ハーフトーンテキスト領域の２値マップを生成するステップを含む。

前記方法は、（ｅ）前記ステップ（ｄ）後、各前記非ハーフトーンテキスト領域内のみの画素から算出された画素値統計を使用することによって当該非ハーフトーンテキスト領域を２値化して、各前記非ハーフトーンテキスト領域の２値マップを生成するステップをさらに含む。

他の側面では、本発明は、コンピュータープログラムおよびコンピュータープログラム製品を提供する。当該コンピュータープログラム製品は、コンピューター使用可能な非遷移媒体（メモリーまたは記憶装置）を含み、そこに組み込まれた、データ処理装置を制御するためのコンピュータープログラムを有する。当該コンピュータープログラムは、当該データ処理装置が前記方法を実行するように構成されている。

他の側面では、本発明は、ハードコピー文書をスキャンしてグレースケールの文書画像を生成するスキャン部と、前記グレースケールの文書画像を処理して前記グレースケールの文書画像の２値マップを生成するデータ処理装置と、を含むスキャナーを提供する。前記処理は、前記方法ステップを含む。

上述の一般的な記載および以下の詳細な記載は例示的および解説的であり、請求の範囲にある発明についてさらなる説明を付与するものと意図されると解されるべきである。

紙文書内の対応するテキストが黒テキストとして印刷された場合における、テキストのスキャンされた画像を示す拡大図である。 紙文書内の対応するテキストがハーフトーングレーとして印刷された場合における、テキストのスキャンされた画像を示す拡大図である。 暗（黒）色テキストおよび淡（グレー）色テキストの両方を含む文書の１ページの画像を概略的に示す。 本発明の第１の実施形態に係る、ハーフトーンパターンで印刷されたグレーまたは淡色テキストを含む、スキャンされた文書画像を２値化するための方法を概略的に示す。 本発明の第２の実施形態に係る、ハーフトーンパターンで印刷されたグレーまたは淡色テキストを含む、スキャンされた文書画像を２値化するための方法を概略的に示す。 非ハーフトーンテキスト文字およびハーフトーンテキスト文字に対するオイラー数を示す、スキャンされた文書内のテキスト文字の画像である。 本発明の第１の実施形態に係る方法を使用した２値化結果の一部を示す。 従来のグローバル閾値法を使用した２値化結果の一部を示す。 本発明の実施形態に係る２値化法が実装されるデータ処理装置を含むスキャナーを概略的に示す。

本発明の実施形態は、紙ベースの文書をスキャンすることによって得られる文書画像を２値化するための改良された方法を提供する。本開示において、「紙ベースの文書」、「印刷された文書」および「ハードコピー文書」という文言が、区別することなく使用される。これらの文書は、用紙上のみに印刷される必要はなく、透明フィルム等の他の物理的媒体上に印刷されてもよい。

高画質のテキストおよび画像への要請に伴い、印刷された文書は、典型的に、たとえば、しばしば６００ｄｐｉ（ドットパーインチ）またはそれ以上の高解像度でスキャンされる。印刷された文書においては、グレーまたは淡色のテキストまたは画像は、しばしばハーフトーン法を使用して印刷される。たとえば、印刷されたグレー領域は、インクまたはトナーの複数の黒ドットを含み、当該ドットのサイズおよび／または密度は、当該グレー領域のグレースケール値に依存する。同様に、淡色の領域は、色飽和したドットを印刷することによって印刷される。本開示において、ハーフトーン法によって印刷されたテキストは、ハーフトーンテキストと称する。

ハーフトーンテキストを含む印刷された文書が高解像度でスキャンされる場合、特に、スキャンの画素サイズが実質的にハーフトーンドットよりも小さい場合、ハーフトーンドットは、典型的にスキャンされた画像内に見ることができる。図１（ｂ）は、紙文書内の対応するテキストがハーフトーングレーテキストとして印刷された場合における、テキストのスキャンされた画像を示す拡大図である。この図において、ハーフトーントッドは、はっきり見える。さらに、ハーフトーンテキスト内のスキャンされた画素は、様々なグレー画素値を有する。ハーフトーンドット内に位置する画素は、より暗いグレー画素値を有し、隣接するハーフトーンドット間の領域に位置する画素は、より淡いグレーまたは白色の画素値を有する。様々なグレー画素値は、文書をスキャンするために使用されたスキャナーの限定的な感度または精度に由来する。

対照的に、図１（ａ）は、紙文書内の対応するテキストが黒テキストとして印刷された場合における、テキストのスキャンされた画像を示す拡大図である。可視なハーフトーンドットはない。さらに、テキスト領域内の画素値は、黒値または黒値に近い値である。

黒テキストおよびグレーテキストは、しばしば文書の同一ページ内に同時に存在する。図１（ｃ）は、黒テキスト（概略的に太い実線１１によって示されている）およびグレーテキストの両方を含む文書の１ページの画像を概略的に示す。

本開示では、画素値と言う時、「黒値」は黒画素を表す数値を指し、「白値」は白画素を表す数値を指すものとする。多くのシステムにおいては、白画素は画素値２２５を有し、黒画素は画素値０を有する。「グレー値」は、黒値および白値の間の値である。

これらの図面では、黒およびグレーテキストが使用されるが、カラー画像に対しても同じ効果がある。当該カラー画像では、テキストは、色飽和したテキスト（黒テキストと同様）または淡色テキスト（ハーフトーン法を使用した場合における、淡いグレーテキストと同様）として印刷される。以下では黒を例として使用するが、ここに記載される方法は、色を有するテキストにも適用可能である。

印刷された文書が黒テキストおよびハーフトーンテキストの両方を含む場合、従来の２値化法では、しばしばハーフトーンテキストに関しては、不満足な結果となる。上述したように、従来の２値化法は、典型的に、グローバルにまたは局所的に２値化を行う。従来のグローバル２値化法や従来の局所的２値化法のいずれも、ハーフトーンテキストを含むスキャン画像については、満足な結果を生じない。典型的に、ハーフトーンテキストは、文書画像全体のうち小部分のみを占める。上に説明したように、ハーフトーンテキストではない画素値は黒値にずっと近い一方、ハーフトーンパターンの存在のために、ハーフトーンテキストの画素値は、グレー値となる傾向がある。その結果、オーツ文献に記載されるオーツ閾値のようにグローバル閾値法が使用される場合、算出されるグローバル閾値は、暗色テキストの黒画素値に非常に近い傾向がある。そのような閾値を使用して２値化が実行される場合、ハーフトーンテキストは、画素値が閾値に満たないため、しばしば完全にまたは部分的に２値化の結果に残らない。局所的閾値法が使用される場合でさえ、局所ウィンドウ内のテキストの主部分が暗色テキストであれば、ハーフトーンテキストのいくつかは、やはり残らない。ハーフトーンテキストが、より淡いグレーレベルである（すなわち、背景値に近い）場合、状況はより悪化する。ハーフトーンテキストに関する低質な２値化結果は、自動文書分析システムの後続の構成要素、特にＯＣＲ要素に、極度に不利な効果を及ぼす。

図２（ａ）は、本発明の一実施形態に係る、ハーフトーンパターンで印刷されたグレーまたは淡色テキストを含む、スキャンされた文書画像を２値化するための方法を概略的に示す。当該方法は、テキスト文字のトポロジー的特徴分析に基づいて、ハーフトーンテキストを非ハーフトーンテキストから分離し、その後それぞれのこれら閾値を使用して、ハーフトーンテキストおよび非ハーフトーンテキストを２値化する。

最初に、スキャンされた文書画像が、まず２値化される（ステップＳ２１）。このステップは、従来の方法を含む、いかなる適した局所的またはグローバルなテキスト２値化法を使用できる。典型的に、局所的２値化は、画像を複数の小さな重複しないブロックに分割し、各ブロックについて閾値を算出し、閾値を使用してブロックを２値化することを伴う。一実施形態では、サウヴォラ他に記載される方法が、初期２値化を実行するために使用される。初期２値画像は、ステップＳ２１で生成される。

初期２値画像内の連結された画像要素が、その後抽出される（ステップＳ２２）。２値画像では、連結された一画像要素は、同じ画素値（たとえば黒）の画素の連結された一グループである。連結された画像要素を抽出するための方法は、一般的に知られている。いかなる適したアルゴリズムがこのステップで採用されてもよい。このステップで抽出された連結された各画像要素は、潜在的にはテキスト文字である。ステップＳ２１およびＳ２２は、まとめて、スキャンされた文書画像内のテキスト文字を特定するステップとも言える。

その後、連結された各画像要素（テキスト文字）は、トポロジー的特徴の分析に基づいて、ハーフトーンテキスト文字または非ハーフトーン文字として分類される（ステップＳ２３およびＳ２４）。ハーフトーン処理が原因で、ハーフトーンテキストの連結された画像要素は、非ハーフトーンテキストの連結された画像要素よりも多くのホールを含む。ホールとは、連結された画像要素の黒画素によって囲まれた白画素の領域である。より好ましい実施形態では、この特徴は、連結された各画像要素（文字）を分類するために使用される。特定の実施形態では、ハーフトーンテキスト文字および非ハーフトーンテキスト文字を分類するための基準として、オイラー数が使用される。オイラー数（整数）は、画像のトポロジー的な尺度である。これは、以下のように定義される。

ここで、Ｅはオイラー数、Ｃは画像内の連結された画像要素の数、Ｈはホールの数である。テキスト文字のオイラー数（たとえば、英字およびアラビア数字）は、典型的に１，０または−１である。たとえば、図４（ａ）〜図４（ｃ）に示されるように、文字「Ｃ」は、オイラー数１を有する。なぜなら、１つの連結画像要素を有し、ホールを有さないからである。文字「Ａ」は、オイラー数０を有する。なぜなら、１つの連結画像要素を有し、１つのホールを有するからである。数字「８」は、オイラー数−１を有する。なぜなら、１つの連結画像要素を有し、２つのホールを有するからである。ハーフトーンテキストは典型的に多くのホールを含むため、ハーフトーンテキスト文字（数字を含む）のオイラー数は、一般的に−１よりずっと小さい。たとえば、図４（ｄ）のハーフトーン文字「Ｎ」は、オイラー数−４３を有する。このように、オイラー数は、ハーフトーンテキスト検出のための良い尺度となる。

ステップＳ２３において、検出された各テキスト文字（すなわち、連結画像要素）のオイラー数が算出される。オイラー数を算出するために、いかなる適したアルゴリズムが使用されてもよい。ステップＳ２４では、各連結画像要素は、オイラー数に基づいて、ハーフトーンテキスト文字または非ハーフトーンテキスト文字として分類される。一実装では、連結画像要素が−２等の予め決められた値のオイラー数を有する場合、それは、ハーフトーンテキスト文字として分類される。そうでなければ、非ハーフトーンテキスト文字として分類される。

より概略的に、ステップＳ２３は、テキスト文字のトポロジー的特徴を分析するステップであり、ステップＳ２４は、トポロジー的特徴に基づいてテキスト文字を分類するステップである。ステップＳ２３およびＳ２４は、まとめて、トポロジー的分析に基づいて、ハーフトーンテキスト文字または非ハーフトーンテキスト文字としてテキスト文字を分類するステップを構成する。

より具体的には、ステップＳ２３およびＳ２４は、図２（ｂ）に示される判断ループによって実装される。連結画像要素（すなわち、テキスト文字）は、一度に一つずつ処理される。次の連結画像要素について（ステップＳ２３１の「Ｙ」）、オイラー数が算出される（ステップＳ２３２）。その後、当該オイラー数が−２よりも小さいか否かが判断される（ステップＳ２４１）。そうである場合（ステップＳ２４１の「Ｙ」）、テキスト文字は、ハーフトーンテキスト文字として分類される（ステップＳ２４２）。そうでない場合（ステップＳ２４１の「Ｎ」）、テキスト文字は、非ハーフトーンテキスト文字として分類される（ステップＳ２４３）。処理は、その後、次に処理されるべき連結画像要素があるか否かを判断する（ステップＳ２３１）。ある場合（ステップＳ２３１の「Ｙ」）、ステップＳ２３２、Ａ２４１およびＳ２４３が繰り返される。処理されるべき連結画像要素がそれ以上ないと判断される場合（ステップＳ２３１の「Ｎ」）、処理は、次のステップ（すなわち、ステップＳ２５）に続く。

図２（ｂ）は、単なる例示的な実装であることに留意すべきである。他の実装において（図示せず）、連結画像要素を抽出するステップ（ステップＳ２２）は、ループ内に構成してもよい。すなわち、一つの連結画像要素が抽出された後、オイラー数が算出され、ハーフトーンまたは非ハーフトーンテキスト文字として分類される。それから次の連結画像要素が抽出され、処理が繰り返される。この技術に精通する者であれば、その他の適した実装があることを理解できるであろう。

文書画像内に検出されたテキスト文字が、ハーフトーンまたは非ハーフトーンテキストに分類された後、文書画像は、ハーフトーンテキスト文字のみを含むハーフトーンテキスト領域と、非ハーフトーンテキスト文字を含む非ハーフトーンテキスト領域とに分類される（ステップＳ２５）。グラフィクスや写真等のその他の文書要素がスキャンされた文書画像内に存在する場合、非ハーフトーンテキスト領域は、これらをも含む。一つまたは複数のハーフトーンテキスト領域、および一つまたは複数の非ハーフトーンテキスト領域が存在しうる。図１（ｃ）には、異なるテキスト領域が、非ハーフトーンテキスト領域１３およびハーフトーンテキスト領域１４を規定する細い点線によって概略的に示されている。

好ましい実施形態では、分割ステップＳ２５は、非ハーフトーンテキストおよび／またはハーフトーンテキストに、２値モルフォロジー演算を適用することによって達成される。モルフォロジーは、形状に基づいて画像を処理する画像処理演算の大まかな体系の一つである。モルフォロジー演算は、入力画像に構造要素を適用して、同サイズの出力画像を生成する。モルフォロジー演算では、出力画像内の各画素値は、入力画像内の対応する画素とその近傍との比較に基づく。近傍のサイズおよび形状（構造要素）を選択することによって、入力画像内の特定の形状に高感度なモルフォロジー演算を構築することができる。最も基本的なモルフォロジー演算は、膨張および収縮である。好ましい実施形態では、ハーフトーンテキスト領域を生成するために、２値モルフォロジー演算がハーフトーンテキストに適用され、非ハーフトーンテキスト領域を生成するために、同じ２値モルフォロジー演算が非ハーフトーンテキストに適用される。または、ハーフトーンテキスト領域を生成するために、２値モルフォロジー演算がハーフトーンテキストに適用され、画像の残りの領域は、非ハーフトーンテキスト領域として考慮される。好ましい実施形態では、膨張演算で使用される構造要素のパラメーターは、それぞれハーフトーンテキスト文字および非ハーフトーンテキスト文字の幅および高さから予測される。これらは、テキスト文字の平均幅および平均高さの、予め決められた倍数として選択してもよい。

その後、各ハーフトーンテキスト領域および各非ハーフトーンテキスト領域について、画像を２値化して領域の最終２値化の結果（２値マップ）を生成するために、元のスキャン文書画像に局所的閾値またはグローバル閾値法が実行される（ステップＳ２６）。換言すると、各領域は、その領域内のみの画素から取得された画素値特性を使用して２値化される。特に、各ハーフトーンテキスト領域では、その領域内のみのハーフトーンテキストの画素値特性が、ハーフトーンテキストを２値化する閾値を算出するために使用される。

好ましい実装では、オーツ文献に記載された従来の方法が、各ハーフトーンテキスト領域に対して閾値化を実行するために使用される。画像は、ハーフトーンテキスト領域および非ハーフトーンテキスト領域に分割されたので、ハーフトーンテキスト領域に適用された従来の閾値法でさえ、ハーフトーンテキストに対して満足な２値化結果を生ずるであろう。これは、ハーフトーンテキスト領域がハーフトーンテキストのみを含んでおり、そして、従来の閾値法によって算出された閾値は、非ハーフトーンテキストによって影響されないためである。好ましい実装では、各非ハーフトーンテキスト領域は、オーツ文献に記載された従来の閾値法を使用して２値化される。当然、ハーフトーンテキスト領域および非ハーフトーンテキスト領域を２値化するために、その他の閾値法が使用されてもよい。

領域が２値化された後、スキャンされた文書画像の全体の２値マップを生成するために、複数領域の２値マップが結合される（ステップＳ２７）。

図３は、本発明の第２の実施形態に係る、ハーフトーンパターンで印刷されたグレーまたは淡色テキストを含む、スキャンされた文書画像を２値化するための方法を概略的に示す。第２の実施形態において、ステップＳ３１からＳ３４は、図２（ａ）および２（ｂ）に示された第１の実施形態のステップＳ２１からＳ２４と同一である。

ハーフトーンテキスト文字の大部分が分類ステップＳ３４によって特定された後、平均画素値、最小画素値および最大画素値等のハーフトーンテキストの画素値の統計が、予測される（ステップＳ３５）。この目的のために、ハーフトーンテキストの全ての文字が特定される必要がないことに注意すべきである。いくつかのハーフトーン文字を見落としたとしても、予測される画素値の統計には大きな変化を生じない。その後、第１の２値画像を生成するために、ハーフトーンテキストの画素値の統計を使用して、スキャンされた文書画像が２値化される（ステップＳ３６）。好ましい実施形態では、最小画素値と最大画素値との間の画素値を有する画素は、２値のうち１つの値（たとえば、黒）が割り当てられ、その範囲外の画素値を有する画素は、２値のうち他方の値が割り当てられる（たとえば、白）。その結果生じる第１の２値画像は、元のスキャンされた文書のハーフトーンテキストの２値化された画像を含む。第１の２値画像は、ハーフトーンテキストではない、元のスキャンされた文書内の特定のグレー画素に対応する他の画像、とりわけ黒テキスト文字のエッジにおける画素も含む。

その後、スキャンされた文書画像は、第２の２値画像を生成するために再度２値化される（ステップＳ３７）。従来の局所的またはグローバル２値化法等のいかなる適した２値化法が、このステップで使用されてもよい。好ましくは、この２値化ステップの前に、ステップＳ３６で取得されたハーフトーンテキスト文字の画素値を、背景値（たとえば、白）に設定するために、元のスキャンされた文書画像が変更される。その結果、ステップＳ３６で見つけられたハーフトーンテキスト文字は、第２の２値画像内には出現しない。この理由は、ハーフトーンテキストの、ステップＳ３７における非ハーフトーンテキストの閾値算出への影響を最小化するためである。その後、第１および第２の２値画像は、最終的な２値画像を生成するために、（ビット毎のＡＮＤ演算によって）結合される。第１の２値画像は２値化されたハーフトーンテキストを含み、第２の２値画像は２値化された非ハーフトーンテキストを含むので、最終的な２値画像は、ハーフトーンおよび非ハーフトーンテキストの両方にとって満足な２値化結果となりうる。

上述した両方の２値化法（第１および第２実施形態）において、テキスト文字は、ハーフトーンテキスト文字および非ハーフトーンテキスト文字に分類され、そしてその後ハーフトーンテキストは、ハーフトーンテキストのみから取得された画素値特性を使用して２値化されることがわかる。グローバルヒストグラムに基づく閾値法等の従来の方法に比べると、本発明の実施形態に係る２値化法は、ハーフトーンテキストおよび非ハーフトーンテキストの両方を含むスキャンされた文書画像について、より優れた２値化結果を生む。

発明者は、ハーフトーンテキストおよび非ハーフトーンテキストの両方を含む文書画像に、第１実施形態の特定の実装を試験した。図１（ａ）および図１（ｂ）のサンプル画像に対応する２値化結果の部分が、図５（ａ）および図５（ｂ）に示されている。

初期２値化については（ステップＳ２１）、サウヴォラ他に記載される従来の方法が、試験において使用された。特に、スキャンされた文書画像は、６４×６４画素のブロックに分割され、各ブロックの閾値は、次の公式によって算出される。

ここで、Ｔはブロックの算出された閾値、ｍはブロックの平均画素値、Ｓはブロックの画素値の標準偏差、定数ｋは０．２、定数Ｒは１２８である。オイラー数は、ステップＳ２３でトポロジー的特徴として使用され、−２以下のオイラー数を有する連結画像要素は、ステップＳ２４でハーフトーンテキストとして分類された。

ステップＳ２５では、膨張演算が、ハーフトーンテキスト領域を生成するためにハーフトーンテキストに適用され、非ハーフトーンテキスト領域を生成するために非ハーフトーンテキストに適用された。ハーフトーンテキストについて、膨張演算で使用された構造要素の幅および高さは、両方とも、ハーフトーンテキストの平均幅および平均高さの４倍であった。非ハーフトーンテキストについて、構造要素の幅および高さは、両方とも、非ハーフトーンテキストの平均幅および平均高さの２倍であった。

最終２値化ステップＳ２６では、ハーフトーンテキスト領域および非ハーフトーンテキスト領域は、オーツ法を使用して個別に２値化された。

比較のため、発明者は、同じ試験用文書を２値化するために、従来のオーツ法を適用した。図１（ａ）および図１（ｂ）のサンプル画像に対応する２値化の結果の部分が、図６（ａ）および図６（ｂ）に示されている。視覚的な比較から、黒テキストの２値化結果（図５（ａ）および図６（ａ）は両方の技法を使用しても同等であり、ハーフトーンテキストについては上記した本方法を使用した結果（図５（ｂ））は、従来のグローバル閾値法（図６（ｂ））を使用した結果より顕著により良いことが見て取れる。図６（ｂ）では、テキスト文字の連結性が適切に保持されておらず、２値化されたテキスト文字内に多くのホールがあることが見て取れる。図５（ｂ）では、テキスト文字の連結性は顕著により良く保持されており、２値化されたテキスト文字には、はるかに少ないかまたは全くホールがない。

発明者はさらに、２つの２値化結果をＡｄｏｂｅ（登録商標）Ａｃｒｏｂａｔ（登録商標）９ＰｒｏのＯＣＲテキスト認識機能に入力した。グローバル閾値法の２値化結果がＯＣＲ機能に供給された時、ハーフトーンテキスト文字の５７％未満だけが正確に認識された。上記本方法を使用した２値化結果がＯＣＲ機能に供給された時、ハーフトーンテキスト文字の９９％が正確に認識された。これは、より良い２値化結果は、ＯＣＲ要素を含む自動文書分析システムのパフォーマンスを改善できることを示している。

発明者はまた、ハーフトーンテキストよび非ハーフトーンテキストの両方を含む文書画像に、第２実施形態の実装を試験した。この実装は、上述した従来のオーツ法より優れているが、第１実施形態の実装ほど満足のいく結果ではないことを、２値化結果は示している。したがって、発明者は、現在のところ、第１実施形態が本発明を実行する上で最良のモードであると確信している。

上記本方法は、図７に示されるように、プロセッサー、メモリー（たとえばＲＡＭ）、およびプログラムを格納するための記憶装置（たとえばＲＯＭ）を含むデータ処理装置によって実装されうる。データ処理装置は、スタンドアロンのコンピューターであり、または、ハードコピーの文書をスキャンするためのスキャン部も含むスキャナー（多機能プリンター−スキャナー−コピー装置を含む）の一部である（図７参照）。データ処理装置は、メモリーに格納されたコンピュータープログラムを実行するプロセッサーによって本方法を実行する。データ処理装置は、スキャンされたグレースケール画像を入力として取り込み、２値画像を出力として生成する。一側面では、本発明は、データ処理装置によって実行される方法である。他の側面では、本発明は、コンピュータープログラム製品である。当該製品は、コンピューター使用可能な非遷移媒体に実装されている。当該媒体には、データ処理装置を制御するために、コンピューター読み取り可能なプログラムコードが記述されている。その他の側面では、本発明は、コンピューターまたはスキャナー等のデータ処理装置に実装される。特に、本発明は、ハードコピーの文書をスキャンして、グレースケールのスキャンされた画像を生成するためのスキャン部と、スキャンされた文書画像を２値化して２値文書画像を生成するためのデータ処理装置とを含むスキャナーに実装されうる。

本発明の思想および範囲から乖離することなく様々な改変および変形が本発明の２値化方法および装置になされうることは、当業者にとって明らかである。したがって、本発明は、添付された請求の範囲およびそれと同等な範囲内での改変および変形を包含するものと解される。

Claims (22)

1. 紙ベースの文書をスキャンすることによって生成された、グレースケールの文書画像を２値化するためのデータ処理装置に実装される方法であって、
   当該方法は、
   （ａ）前記グレースケールの文書画像内のテキスト文字を特定するステップと、
   （ｂ）前記テキスト文字のトポロジー的分析に基づいて、前記ステップ（ａ）で特定された各前記テキスト文字を、ハーフトーンテキスト文字または非ハーフトーンテキスト文字として分類するステップと、
   （ｃ）前記ステップ（ｂ）で分類されたハーフトーンテキスト文字のみから取得された画素値特性を使用して、前記ハーフトーンテキスト文字を２値化するステップと、
   を含み、
   前記ステップ（ａ）は、
   前記グレースケールの文書画像の初期２値化を実行して、初期２値画像を生成するステップと、
   テキスト文字として、前記初期２値画像内の連結された画像要素を抽出するステップと、
   を含み、
   前記ステップ（ｂ）は、
   各前記テキスト文字について、前記ステップ（ａ）において抽出した前記画像要素内のホールの数に応じてオイラー数を算出するステップと、
   前記テキスト文字の前記オイラー数が予め決められた値より小さい場合、当該テキスト文字を前記ハーフトーンテキスト文字として分類するステップと、
   前記テキスト文字の前記オイラー数が前記予め決められた値以上の場合、当該テキスト文字を前記非ハーフトーンテキスト文字として分類するステップと、
   を含む２値化方法。
2. （ｄ）前記ステップ（ｂ）後、前記ステップ（ｃ）前に、前記グレースケールの文書画像を、前記ハーフトーンテキスト文字のみを含むハーフトーンテキスト領域と、前記非ハーフトーンテキスト文字を含む非ハーフトーンテキスト領域とに分割するステップをさらに含み、
   前記ステップ（ｃ）は、各前記ハーフトーンテキスト領域内のみの画素から算出された画素値統計を使用することによって当該ハーフトーンテキスト領域を２値化して、各前記ハーフトーンテキスト領域の２値マップを生成するステップを含む、請求項１に記載の２値化方法。
3. （ｅ）前記ステップ（ｄ）後、各前記非ハーフトーンテキスト領域内のみの画素から算出された画素値統計を使用することによって当該非ハーフトーンテキスト領域を２値化して、各前記非ハーフトーンテキスト領域の２値マップを生成するステップをさらに含む、請求項２に記載の２値化方法。
4. （ｆ）前記ステップ（ｃ）および（ｅ）で生成された前記ハーフトーンテキスト領域の２値マップと、前記非ハーフトーンテキスト領域の２値マップとを結合して、前記グレースケールの文書画像の２値マップを生成するステップをさらに含む、請求項３に記載の２値化方法。
5. 前記ステップ（ｄ）は、全ての前記非ハーフトーンテキスト文字、または全ての前記ハーフトーンテキスト文字、またはその両方に、２値モルフォロジー演算を適用するステップを含む、請求項２に記載の２値化方法。
6. 前記ステップ（ｃ）は、各前記ハーフトーンテキスト領域に、局所的閾値法を適用するステップを含む、請求項２に記載の２値化法。
7. 前記ステップ（ｅ）は、各前記非ハーフトーンテキスト領域に、局所的閾値法またはグローバル閾値法を適用するステップを含む、請求項３に記載の２値化方法。
8. 前記ステップ（ｃ）は、
   （ｃ１）前記ステップ（ｂ）で分類された前記ハーフトーンテキスト文字の少なくともいくつかから、平均画素値、最小画素値および最大画素値を含む画素値統計を算出するステップと、
   （ｃ２）前記ステップ（ｃ１）で算出された画素値統計を使用することによって前記文書画像を２値化して、第１の２値画像を生成するステップと、
   を含み、
   前記文書画像を２値化して第２の２値画像を生成するステップと、
   ビット毎のＡＮＤ演算により、前記第１および第２の２値画像を結合するステップと、
   をさらに含む請求項１〜７のいずれか一項に記載の２値化方法。
9. データ処理装置を制御するためのコンピュータープログラムであって、
   前記コンピュータープログラムは、前記データ処理装置が、紙ベースの文書をスキャンすることによって生成されたグレースケールの文書画像を２値化するための処理を実行するように構成されており、
   前記処理は、
   （ａ）前記グレースケールの文書画像内のテキスト文字を特定する手順と、
   （ｂ）前記テキスト文字のトポロジー的分析に基づいて、前記手順（ａ）で特定された各前記テキスト文字を、ハーフトーンテキスト文字または非ハーフトーンテキスト文字として分類する手順と、
   （ｃ）前記手順（ｂ）で分類されたハーフトーンテキスト文字のみから取得された画素値特性を使用して、前記ハーフトーンテキスト文字を２値化する手順と、
   を含み、
   前記手順（ａ）は、
   前記グレースケールの文書画像の初期２値化を実行して、初期２値画像を生成する手順と、
   テキスト文字として、前記初期２値画像内の連結された画像要素を抽出する手順と、
   を含み、
   前記手順（ｂ）は、
   各前記テキスト文字について、前記手順（ａ）において抽出した前記画像要素内のホールの数に応じてオイラー数を算出する手順と、
   前記テキスト文字の前記オイラー数が予め決められた値より小さい場合、当該テキスト文字を前記ハーフトーンテキスト文字として分類する手順と、
   前記テキスト文字の前記オイラー数が前記予め決められた値以上の場合、当該テキスト文字を前記非ハーフトーンテキスト文字として分類する手順と、
   を含むコンピュータープログラム。
10. （ｄ）前記手順（ｂ）後、前記手順（ｃ）前に、前記グレースケールの文書画像を、前記ハーフトーンテキスト文字のみを含むハーフトーンテキスト領域と、前記非ハーフトーンテキスト文字を含む非ハーフトーンテキスト領域とに分割する手順をさらに含み、
    前記手順（ｃ）は、各前記ハーフトーンテキスト領域内のみの画素から算出された画素値統計を使用することによって当該ハーフトーンテキスト領域を２値化して、各前記ハーフトーンテキスト領域の２値マップを生成する手順を含む、請求項９に記載のコンピュータープログラム。
11. （ｅ）前記手順（ｄ）後、各前記非ハーフトーンテキスト領域内のみの画素から算出された画素値統計を使用することによって当該非ハーフトーンテキスト領域を２値化して、各前記非ハーフトーンテキスト領域の２値マップを生成する手順をさらに含む、請求項１０に記載のコンピュータープログラム。
12. （ｆ）前記手順（ｃ）および（ｅ）で生成された前記ハーフトーンテキスト領域の２値マップと、前記非ハーフトーンテキスト領域の２値マップとを結合して、前記グレースケールの文書画像の２値マップを生成する手順をさらに含む、請求項１１に記載のコンピュータープログラム。
13. 前記手順（ｄ）は、全ての前記非ハーフトーンテキスト文字、または全ての前記ハーフトーンテキスト文字、またはその両方に、２値モルフォロジー演算を適用する手順を含む、請求項１０に記載のコンピュータープログラム。
14. 前記手順（ｃ）は、各前記ハーフトーンテキスト領域に、局所的閾値法を適用する手順を含む、請求項１０に記載のコンピュータープログラム。
15. 前記手順（ｅ）は、各前記非ハーフトーンテキスト領域に、局所的閾値法またはグローバル閾値法を適用する手順を含む、請求項１１に記載のコンピュータープログラム。
16. 前記手順（ｃ）は、
    （ｃ１）前記手順（ｂ）で分類された前記ハーフトーンテキスト文字の少なくともいくつかから、平均画素値、最小画素値および最大画素値を含む画素値統計を算出する手順と、
    （ｃ２）前記手順（ｃ１）で算出された画素値統計を使用することによって前記文書画像を２値化して、第１の２値画像を生成する手順と、
    を含み、
    前記文書画像を２値化して第２の２値画像を生成する手順と、
    ビット毎のＡＮＤ演算により、前記第１および第２の２値画像を結合する手順と、
    をさらに含む請求項９〜１３のいずれか一項に記載のコンピュータープログラム。
17. ハードコピー文書をスキャンしてグレースケールの文書画像を生成するスキャン部と、
    前記グレースケールの文書画像を処理して前記グレースケールの文書画像の２値マップを生成するデータ処理装置と、
    を含み、
    前記グレースケールの文書画像を処理するステップは、
    （ａ）前記グレースケールの文書画像内のテキスト文字を特定するステップと、
    （ｂ）前記テキスト文字のトポロジー的分析に基づいて、前記ステップ（ａ）で特定された各前記テキスト文字を、ハーフトーンテキスト文字または非ハーフトーンテキスト文字として分類するステップと、
    （ｃ）前記ステップ（ｂ）で分類されたハーフトーンテキスト文字のみから取得された画素値特性を使用して、前記ハーフトーンテキスト文字を２値化するステップと、
    を含み、
    前記ステップ（ａ）は、
    前記グレースケールの文書画像の初期２値化を実行して、初期２値画像を生成するステップと、
    テキスト文字として、前記初期２値画像内の連結された画像要素を抽出するステップと、
    を含み、
    前記ステップ（ｂ）は、
    各前記テキスト文字について、前記ステップ（ａ）において抽出した前記画像要素内のホールの数に応じてオイラー数を算出するステップと、
    前記テキスト文字の前記オイラー数が予め決められた値より小さい場合、当該テキスト文字を前記ハーフトーンテキスト文字として分類するステップと、
    前記テキスト文字の前記オイラー数が前記予め決められた値以上の場合、当該テキスト文字を前記非ハーフトーンテキスト文字として分類するステップと、
    を含むスキャナー。
18. （ｄ）前記ステップ（ｂ）後、前記ステップ（ｃ）前に、前記グレースケールの文書画像を、前記ハーフトーンテキスト文字のみを含むハーフトーンテキスト領域と、前記非ハーフトーンテキスト文字を含む非ハーフトーンテキスト領域とに分割するステップと、
    ここで、前記ステップ（ｃ）は、各前記ハーフトーンテキスト領域内のみの画素から算出された画素値統計を使用することによって当該ハーフトーンテキスト領域を２値化して、各前記ハーフトーンテキスト領域の２値マップを生成するステップを含み、
    （ｅ）前記ステップ（ｄ）後、各前記非ハーフトーンテキスト領域内のみの画素から算出された画素値統計を使用することによって当該非ハーフトーンテキスト領域を２値化して、各前記非ハーフトーンテキスト領域の２値マップを生成するステップと、
    （ｆ）前記ステップ（ｃ）および（ｅ）で生成された前記ハーフトーンテキスト領域の２値マップと、前記非ハーフトーンテキスト領域の２値マップとを結合して、前記グレースケールの文書画像の２値マップを生成するステップと、
    をさらに含む請求項１７に記載のスキャナー。
19. 前記ステップ（ｄ）は、全ての前記非ハーフトーンテキスト文字、または全ての前記ハーフトーンテキスト文字、またはその両方に、２値モルフォロジー演算を適用するステップを含む、請求項１８に記載のスキャナー。
20. 前記ステップ（ｃ）は、各前記ハーフトーンテキスト領域に、局所的閾値法を適用するステップを含む、請求項１７に記載のスキャナー。
21. 前記ステップ（ｅ）は、各前記非ハーフトーンテキスト領域に、局所的閾値法またはグローバル閾値法を適用するステップを含む、請求項１８に記載のスキャナー。
22. 請求項９〜１６のいずれか一項に記載のコンピュータープログラムが格納されたコンピューター読取可能な記録媒体。