JP4498425B2 - デジタル画像の画素を分類する方法およびシステム - Google Patents

Description

本発明は、デジタル画像からのテキストの検出結果を補正するための方法およびシステムに関するものである。

デジタル画像の視覚特性を改善するために行われているデジタル画像処理技術の発展は、デジタル画像における異なる画像領域の正確な識別に依存している。さらに、画像における様々な領域の正確な検出は、多くの圧縮処理において重大な問題である。

そこで、特許文献１には、次のような技術が開示されている。文字は背景に比べて輝度が高いという特徴、文字と背景の境界に鋭いエッジが存在するという特徴を用いて、映像中文字が含まれる領域を文字候補領域画像として切り出し、この文字候補領域画像における輝度分布および色分布（彩度情報）を求める。そして、求められた分布から映像中文字を構成すると推察される特徴を含む領域に対して、輝度および色分布のうちの少なくとも一方の平均および分散を推定する。推定された上記平均および分散に対して、第１の閾値による判定を行ない、この第１の閾値 よりも高い値を有する画素のみを画像から検出し、次に、第１の閾値よりも小さな値の第２の閾値より大きい値の画素を上記で検出された画素の近傍から検出し、 これらの検出された画素の纏まりを上記映像中文字とする。
特開２０００−１８２０５３（２０００年６月３０日公開）

しかしながら、上記技術は、映像中文字を検出する技術であり、上記技術を原稿画像からテキストを抽出する画像処理に適用することを考えた場合、ヒストグラムを用いて、文字候補領域画像における輝度分布および色分布を求めていることから、画素単位ではなく、複数の画素からなる領域単位での識別となり、テキストの形状を抽出するのは困難である。

また、従来、テキスト画素を抽出する技術があるが、テキストでないのにテキスト画素として誤判別したり、テキストであるのに非テキスト画素として検出するミスがある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、既にテキスト／非テキストが判別されたマップにおいて、誤判別または検出ミスを正しく補正するための方法およびシステムを実現することにある。

本発明に係るデジタル画像の画素の分類方法は、上記の課題を解決するために、デジタル画像において第１分類に属する画素の候補を示す第１分類マップを取得する第１ステップと、上記デジタル画像上の第１画素位置に対応する、上記第１分類マップ上の第１画素位置を特定する第２ステップと、上記デジタル画像上の第１画素位置に対応する第１の評価色として、当該デジタル画像上の第１画素位置の近接領域に位置するとともに、上記第１分類に属する画素の色の代表値を算出する第３ステップと、上記第１の評価色と上記デジタル画像上の上記第１画素位置の画素の色との第１色差を算出する第４ステップと、上記第１色差に基づいて、上記第１分類マップ上の第１画素位置の分類を補正する第５ステップと、を含むことを特徴とする。

また、本発明に係るデジタル画像の画素を分類するシステムは、デジタル画像において第１分類に属する画素の候補を示す第１分類マップを取得する第１分類マップ取得部と、上記デジタル画像上の第１画素位置に対応する、上記第１分類マップ上の第１画素位置を特定する第１画素位置特定部と、上記デジタル画像上の第１画素位置に対応する第１の評価色として、当該デジタル画像上の第１画素位置の近接領域に位置するとともに、上記第１分類に属する画素の色の代表値を算出する第１評価色算出部と、上記第１の評価色と上記デジタル画像上の上記第１画素位置の画素の色との第１色差を算出する第１色差算出部と、上記第１色差に基づいて、上記第１分類マップ上の第１画素位置の分類を補正する第１補正部と、を備えることを特徴とする。

ここで、第１分類は、テキストを示す分類、または、非テキストを示す分類である。

また、デジタル画像上の第１画素位置の近接領域とは、例えば、当該第１画素位置の周囲の所定サイズのウィンドウに含まれる領域である。

上記の構成によれば、第１色差は、デジタル画像上の第１画素位置の画素の色と、第１分類に属する画素の色の代表値との差である。そのため、第１色差が小さいと、第１画素位置の画素が第１分類の画素に近いことになる。

そのため、第１色差を用いることで、第１画素位置が第１分類の画素であるのか否かを判断することができる。例えば、第１分類マップ上の第１画素位置の画素が第１分類に属さないとされているのに、第１色差が小さい場合、当該画素の分類が誤っているものと推定され、当該画素が第１分類に属するように、第１分類マップの補正を行うことができる。逆に、第１分類マップ上の第１画素位置の画素が第１分類に属するとされているのに、第１色差が大きい場合、当該画素の分類が誤っているものと推定され、当該画素が第１分類に属さないように、第１分類マップの補正を行うことができる。

これにより、誤判別または検出ミスを正しく補正するための方法およびシステムを実現することができる。

なお、上記第１分類マップと上記デジタル画像とは、同じ解像度であっても、異なる解像度であってもよい。

さらに、本発明のデジタル画像の画素の分類方法は、上記第５ステップにおいて、上記第１色差が第１閾値よりも小さい場合、上記第１分類マップ上の第１画素位置の画素が上記第１分類に属することを示すように、上記第１分類マップを補正してもよい。

また、本発明のデジタル画像の画素を分類するシステムにおいて、上記第１補正部は、上記第１色差が第１閾値よりも小さい場合、上記第１分類マップ上の第１画素位置の画素が上記第１分類に属することを示すように、上記第１分類マップを補正してもよい。

上記の構成によれば、第１色差の大小を第１閾値を用いて簡単に判別することができる。第１分類マップにおいて第１画素位置の画素が第１分類に属しておらず、かつ、第１色差が第１閾値よりも小さい場合とは、本来であれば、第１分類に属する必要があるのに、何等かの影響で誤って、第１分類に属さないと判別されていた場合である。そして、このような場合であっても、上記の構成によれば、第１画素位置の画素が第１分類に属するように第１分類マップを補正することができる。その結果、第１分類マップを信頼度の高いものに容易に補正することができる。

さらに、本発明のデジタル画像の画素の分類方法は、上記デジタル画像上の第１画素位置に対応する第２の評価色として、当該デジタル画像上の第１画素位置の近接領域に位置するとともに、上記第１分類に属さない画素の色の代表値を算出する第６ステップと、上記第２の評価色と上記デジタル画像上の上記第１画素位置の画素の色との第２色差を算出する第７ステップと、上記第２色差に基づいて、上記第１分類マップ上の第１画素位置の分類を補正する第８ステップと、を含んでもよい。

また、本発明のデジタル画像の画素を分類するシステムは、上記デジタル画像上の第１画素位置に対応する第２の評価色として、当該デジタル画像上の第１画素位置の近接領域に位置するとともに、上記第１分類に属さない画素の色の代表値を算出する第２評価色算出部と、上記第２の評価色と上記デジタル画像上の上記第１画素位置の画素の色との第２色差を算出する第２色差算出部と、上記第２色差に基づいて、上記第１分類マップ上の第１画素位置の分類を補正する第２補正部と、を備えていてもよい。

上記の構成によれば、第２色差は、デジタル画像上の第１画素位置の画素の色と、第１分類に属さない画素の色の代表値との差である。そのため、第２色差が小さいと、第１画素位置の画素が第１分類に属さないことを意味する。

そのため、第２色差を用いることで、第１画素位置が第１分類の画素であるのか否かを判断することができる。例えば、第１分類マップ上の第１画素位置の画素が第１分類に属するとされているのに、第２色差が小さい場合、当該画素の分類が誤っているものと推定され、当該画素が第１分類に属さないように、第１分類マップの補正を行うことができる。逆に、第１分類マップ上の第１画素位置の画素が第１分類に属さないとされているのに、第２色差が大きい場合、当該画素の分類が誤っているものと推定され、当該画素が第１分類に属するように、第１分類マップの補正を行うことができる。

これにより、誤判別または検出ミスを正しく補正するための方法およびシステムを実現することができる。

さらに、本発明のデジタル画像の画素の分類方法は、上記第８ステップにおいて、上記第２色差が第２閾値よりも小さい場合、上記第１分類マップ上の第１画素位置の画素が上記第１分類に属さないことを示すように、上記第１分類マップを補正してもよい。

また、本発明のデジタル画像の画素を分類するシステムにおいて、上記第２補正部は、上記第２色差が第２閾値よりも小さい場合、上記第１分類マップ上の第１画素位置の画素が上記第１分類に属さないことを示すように、上記第１分類マップを補正してもよい。

上記の構成によれば、第２色差の大小を第２閾値を用いて簡単に判別することができる。第１分類マップにおいて第１画素位置の画素が第１分類に属しており、かつ、第２色差が第２閾値よりも小さい場合とは、本来であれば、第１分類に属さない必要があるのに、何等かの影響で誤って、第１分類に属すると判別されていた場合である。そして、このような場合であっても、上記の構成によれば、第１画素位置の画素が第１分類に属さないように第１分類マップを補正することができる。その結果、第１分類マップを信頼度の高いものに容易に補正することができる。

なお、上記第１分類に属する画素の色の代表値は、当該画素の色の平均値、当該画素の色の中央値、当該画素の色のトリム平均値、当該画素の色の重み平均値の何れかであってもよい。

また、本発明のデジタル画像の画素の分類方法は、デジタル画像においてテキスト画素の候補を示すテキストマップを取得する第１ステップと、上記デジタル画像上の第１画素位置に対応する、上記テキストマップ上の第１画素位置を特定する第２ステップと、上記デジタル画像上の第１画素位置に対応するテキスト評価色として、当該デジタル画像上の第１画素位置の近接領域に位置するとともに、上記テキストマップにおいてテキスト画素として分類されている画素の色の代表値を算出する第３ステップと、上記テキスト評価色と上記デジタル画像上の上記第１画素位置の画素の色との差分であるテキスト色差を算出する第４ステップと、上記デジタル画像上の第１画素位置に対応する背景評価色として、当該デジタル画像上の第１画素位置の近接領域に位置するとともに、上記テキストマップにおいてテキスト画素として分類されていない画素の色の代表値を算出する第５ステップと、上記背景評価色と上記デジタル画像上の上記第１画素位置の画素の色との背景色差を算出する第６ステップと、上記テキスト色差が第１閾値よりも小さく、かつ、上記テキストマップにおける第１画素位置の画素がテキスト画素として分類されていない場合、テキストマップにおいて、上記第１画素位置の画素をテキスト画素として補正する第７ステップと、上記背景色差が第２閾値よりも小さく、かつ、上記テキストマップにおける第１画素位置の画素がテキスト画素として分類されている場合、テキストマップにおいて、上記第１画素位置の画素を非テキスト画素として補正する第８ステップと、を含む。

テキストマップにおいて第１画素位置の画素がテキスト画素として分類されておらず、かつ、テキスト色差が第１閾値よりも小さい場合とは、本来であれば、テキスト画素として分類されている必要があるのに、何等かの影響で誤って、テキスト画素として分類されていない場合である。そして、このような場合であっても、上記の構成によれば、第１画素位置の画素がテキスト画素として分類するようにテキストマップを補正することができる。その結果、テキストマップを信頼度の高いものに容易に補正することができる。

テキストマップにおいて第１画素位置の画素がテキスト画素として分類されており、かつ、背景色差が第２閾値よりも小さい場合とは、本来であれば、テキスト画素として分類されない必要があるのに、何等かの影響で誤って、テキスト画素として分類されてしまった場合である。そして、このような場合であっても、上記の構成によれば、第１画素位置の画素がテキスト画素として分類されないようにテキストマップを補正することができる。その結果、テキストマップを信頼度の高いものに容易に補正することができる。

さらに、本発明のデジタル画像の画素の分類方法は、上記背景評価色と上記テキスト評価色との差分である背景−テキスト色差を算出し、当該背景−テキスト色差が第３閾値よりも小さい場合に、当該テキスト評価色を破棄してもよい。

背景−テキスト色差が第３閾値よりも小さい場合とは、テキスト評価色と背景評価色とが近いことを意味しており、テキスト評価色が妥当なものではないことを示している。そこで、上記の構成によれば、このようなテキスト評価色を破棄する。具体的には、当該テキスト評価色を無効する。そして、このような破棄されたテキスト評価色を有する画素については、テキスト画素ではないものと判断することができる。

本発明に係るデジタル画像の画素の分類方法は、デジタル画像において第１分類に属する画素の候補を示す第１分類マップを取得する第１ステップと、上記デジタル画像上の第１画素位置に対応する、上記第１分類マップ上の第１画素位置を特定する第２ステップと、上記デジタル画像上の第１画素位置に対応する第１の評価色として、当該デジタル画像上の第１画素位置の近接領域に位置するとともに、上記第１分類に属する画素の色の代表値を算出する第３ステップと、上記第１の評価色と上記デジタル画像上の上記第１画素位置の画素の色との第１色差を算出する第４ステップと、上記第１色差に基づいて、上記第１分類マップ上の第１画素位置の分類を補正する第５ステップと、を含む。

また、本発明に係るデジタル画像の画素を分類するシステムは、デジタル画像において第１分類に属する画素の候補を示す第１分類マップを取得する第１分類マップ取得部と、上記デジタル画像上の第１画素位置に対応する、上記第１分類マップ上の第１画素位置を特定する第１画素位置特定部と、上記デジタル画像上の第１画素位置に対応する第１の評価色として、当該デジタル画像上の第１画素位置の近接領域に位置するとともに、上記第１分類に属する画素の色の代表値を算出する第１評価色算出部と、上記第１の評価色と上記デジタル画像上の上記第１画素位置の画素の色との第１色差を算出する第１色差算出部と、上記第１色差に基づいて、上記第１分類マップ上の第１画素位置の分類を補正する第１補正部と、を備える。

これにより、誤判別または検出ミスを正しく補正するための方法およびシステムを実現することができる。

本発明の実施形態は、図面を参照することでより理解されるであろう。図面では、同じ部材については同じ符号をつけている。

ここで、図に示されるように、本発明の構成は、様々な異なる形態に変形および設計されることができることが容易にわかるであろう。このように、以下に述べる、本発明の方法およびシステムの実施形態についてのより詳細な説明は、本発明の範囲を限定するものではなく、本発明の最良の形態を示したものにすぎない。

本発明の実施形態の構成は、ハードウェア、ファームウェアおよび／またはソフトウェアによって実現されてもよい。ここで述べる実施形態はこれらの形態の１つについてのみ説明するものであり、本発明の範囲内において、各構成をこれらの形態の何れかで実現可能であることは、当業者にとって自明である。

デジタル画像の内容は、当該デジタル画像の圧縮に対して、圧縮率及び圧縮による副作用（compression artifacts：アーチファクト）の点で大きな影響を与えるものである。画像の写真領域は、文字領域用に設計された圧縮アルゴリズムを用いて圧縮された場合、効率的に圧縮されない。同様に、文字画像は、写真領域用に設計され最適化された圧縮アルゴリズムを用いて圧縮された場合、効率的に圧縮されない。画像の特定の種別用に設計された圧縮アルゴリズムを他の種別の画像に用いた場合、圧縮率に悪影響があるだけでなく、伸張後の画像に圧縮による副作用（アーチファクト）が視認可能な状態で表れることがある。

さらに、文字をくっきりさせるために設計された画像強調アルゴリズムを写真画像に適用した場合、写真画像の中に、視認を悪化させるような作用を生じさせることもある。特に、はっきりとしたエッジを含む写真領域に悪影響がある。スムージング処理は、自然画像を強調するものであり、文字領域に対して行われることはほとんどない。

複写機およびスキャナーは、文書画像において、コンテンツに特有な処理および効率的な圧縮を実行するために、テキスト区分を使用する。典型的なコンテンツに特有の処理は、微分フィルタやカラーエンハンスメント（color enhancement）である。典型的なコンテンツに特有の圧縮処理としては、レイヤー圧縮方式（layered compression schemes）が挙げられる。この方式では、文書画像のコンテンツは、高解像度の前景レイヤーと低解像度の背景レイヤーとに区分される。

デジタル画像からテキストを信頼性良くかつ効率的に検出することは、コンテンツの種別に特有の画像強調処理（image enhancement methods）をデジタル画像の適切な領域に適用するために有効である。デジタル画像において特定のコンテンツ種別の領域を検出するとともに、当該特定のコンテンツ種別に対して設計された圧縮アルゴリズムおよび画像強調アルゴリズムを用いることにより、圧縮効率を改善し、圧縮によるアーチファクトを減少させ、画像品質を改善することができる。

コンテンツに基づいた画像領域の意味ラベリング（画像データのコンテンツ（内容）に応じたラベリングなど、意味のあるラベリング）は、文書管理システムおよび画像データベースでも有効である。

テキスト区分アルゴリズムは、画像におけるテキストコンテンツの大部分を識別する。テキスト区分アルゴリズムとしては従来知られているアルゴリズム（例えば、特許文献１に記載の技術）を用いることができる。

しかしながら、従来のテキスト区分アルゴリズムでは、テキストでないのに誤ってテキストとして区別したり（以下、誤判別という）、逆にテキスであるのにテキストとして区別できないこと（以下、検出ミスという）がある。誤判別が生じるケースは、例えば、テキストの周囲の領域を誤ってテキストとして認識する場合や、非テキスト領域がテキストに似た特性（強いエッジなど）を有する場合である。また、検出ミスが生じるケースは、小さい文字の薄く描かれた箇所、低コントラストのテキスト、大きな文字の内部などで起こり得る。

テキストマップにおけるこのような誤った判定による影響は、コンテンツ特有の強調処理によって、さらに増大される。同様に、レイヤー圧縮アプリケーションにとって、テキストであるのにテキストではないと認定された画素は、単一の文字の一部に対して異なるレイヤーが割り当てられることを引き起こす。これにより、トランジションアーチファクト（transition artifacts）が視認されることとなる。

本実施形態は、デジタル画像および当該デジタル画像に対応するテキストマップを用いて、画像からのテキスト検出結果を補正する後処理方法および後処理システムに関するものである。本実施形態は、従来知られているテキスト区分アプリケーションを用いることができる。また、本実施形態は、テキストマップにおいて誤って検出された画素を減らすために、文書画像におけるテキストおよび非テキスト（以下、背景として言及される場合がある）の色を用いる。色は、ＲＧＢ、ｓＲＧＢ、ＣＭＹＫ、ＹＵＶ、ＹＩＱ、ＹＣｂＣｒ、ＹＰｂＰｒ、ＨＳＶ、ＨＳＬ、Ｌａｂ、Ｌ＊ａ＊ｂ＊のような色空間で表現されればよい。ただし、ここで挙げた色空間に限定されるものではない。

（後処理システムの構成）
本実施形態に係る後処理システムの構成について図１を参照しながら説明する。本実施形態に係る後処理システムは、色評価部と、テキストマップ補正部とを備えている。

色評価部１２は、画像における各画素位置について、テキストの色の評価値および背景色の評価値を評価（推定）するものである。なお、色評価部１２は、各画素位置ではなく、画像における所定サイズの領域ごとに色の評価を行ってもよい。本実施形態では、画像データ１０およびテキストマップ１１が、背景色の評価値とテキストの色の評価値とを決定するために使用される。そのため、色評価部１２は、テキストマップ１１を取得する。色評価部１２の詳細な構成については後述する。

テキストマップ１１は、画像データ１０の画素ごと、あるいは、所定サイズの領域ごとに、テキスト画素の有無を示すものである。

テキストマップ１１は、画像データ１０と同じ解像度のバイナリーマップであってもよい。この場合、各画素に対するテキストマップの評価値は、当該画素がテキスト画素である場合に２値のうちの一方である第１の値であり、当該画素がテキスト画素でない場合に他方の第２の値である。なお、テキストマップ１１と画像データ１０とは異なる解像度であってもよい。この場合、テキストマップ１１と画像データ１０との画素の対応付けは、マッピング機能（例えば、最近接画素マッピング）によって決定される。

また、テキストマップ１１が画像データ１０と同じ解像度のマップであり、各画素に対するテキストマップの評価値は、当該画素がテキスト画素である場合に第１の値であり、当該画素がテキスト候補画素でない場合に第１の値以外の複数の値のうちのいずれかであってもよい。ここで、第１の値以外の複数の値のそれぞれは、さらなる画像特徴クラスを示すものであってもよい。なお、テキストマップ１１と画像データ１０とは異なる解像度であってもよい。この場合、テキストマップ１１と画像データ１０との画素の対応付けは、マッピング機能（例えば、最近接画素マッピング）によって決定される。当該マッピング機能により、色評価部１２およびテキストマップ補正部１５は、テキストマップ１１上の画素が、画像データ１０上のどの画素と対応しているかを特定することができる。

さらに、テキストマップ１１が画像データ１０と同じ解像度のマップであり、各画素に対するテキストマップの評価値は、当該画素がテキスト画素であることの信頼性を示す指標であってもよい。なお、テキストマップ１１と画像データ１０とは異なる解像度であってもよい。この場合、テキストマップ１１と画像データ１０との画素の対応付けは、マッピング機能（例えば、最近接画素マッピング）によって決定される。

テキストマップを蓄積し、操作するために、多くのデータ構造およびデータ表現がある。テキストマップの一例として、本明細書ではアレイを説明するが、これに限定されるものではない。

テキストマップ補正部１５は、色評価部１２により評価された背景色の評価値１３およびテキストの色の評価値１４、画像データ１０並びにテキストマップ１１を用いて、テキストマップを補正するものである。そして、テキストマップ補正部１５は、補正後のテキストマップ（補正後テキストマップ）１６を生成する。テキストマップ補正部１５が行う具体的な処理の内容については後述する。

（色評価部の構成）
色評価部１２の詳細な構成について、図２を参照しながら説明する。色評価部１２は、テキスト色評価部２０と、背景色評価部２１と、破棄処理部２３とを含む。

テキスト色評価部２０は、テキストの色の評価値を評価するものである。テキスト色評価部２０は、テキストの色を、画像データ１０における各画素位置に対して評価してもよいし、画像データ１０の領域ごとに評価してもよい。画像データ１０の領域ごとに評価する場合とは、例えば、画像データ１０の画素ブロックごとにテキストの色を評価する場合である。

背景色評価部２１は、背景色の評価値を評価するものである。背景色評価部２１は、背景色の評価値を、画像データ１０における各画素位置に対して推定してもよいし、画像データ１０の領域ごとに推定してもよい。画像データ１０の領域ごとに評価する場合とは、例えば、画像データ１０の画素ブロックごとに背景色を評価する場合である。具体的には、３００ｄｐｉの画像データ１０、テキストマップ１１および４×４のブロックサイズによるブロックに基づいた方法を用いる場合、背景色評価部２１が評価する背景色の評価値の解像度は、７５ｄｐｉであり、メモリおよびコンピュータに要求されるスペックを小さくすることができる。

テキスト色評価部２０および背景色評価部２１は、色の評価値として、色の代表値を算出する処理を行ってもよい。テキスト色評価部２０は、画素位置でのテキストの色の評価値として、当該画素位置を囲む領域（またはウィンドウ）内のテキスト画素の色の代表値を求める。テキスト画素は、テキストマップを用いることで特定される。

また、ブロックに対するテキストの色の評価値を算出する場合、テキスト色評価部２０は、当該評価値として、当該ブロックにおけるテキスト画素の色の代表値を求める。テキスト画素は、テキストマップを用いることで特定される。

背景色評価部２１は、画素位置での背景色の評価値として、当該画素位置を囲む領域内の非テキスト画素の色の代表値を求める。非テキスト画素は、テキストマップを用いることで特定される。

また、ブロックに対する背景色の評価値を算出する場合、背景色評価部２１は、当該評価値として、当該ブロックにおける非テキスト画素の色の代表値を求める。非テキスト画素は、テキストマップを用いることで特定される。

複数の画素の色の代表値を求める具体的な方法としては、平均値、中央値、トリム平均値、重み平均値などを算出すればよい。

なお、ウィンドウまたはブロックがテキストマップにおいてテキスト画素を含んでいない場合、テキスト色評価部２０は、画素またはブロックについてのテキストの色の評価値を無効として設定する。テキスト色評価部２０は、それ以外の画素の評価値を有効として設定する。なお、全ての画素が無効として初期化されていてもよい。また、無効状態を示すために、色の評価値を保有していてもよい。もしくは、有効な評価値の位置を示すために、分離データ構造が維持されてもよい。

テキストマップ１１においてウィンドウまたはブロックがテキスト画素を含まない場合、画素またはブロックに対するテキストの色の評価値は、周囲の評価値に基づいていてもよい。

破棄処理部２３は、テキストの色の評価値および背景色の評価値を破棄するか否かを決定する破棄処理を実行するものである。テキストの色の評価値に対する破棄決定は、図３に従って実行される。

まず、破棄処理部２３は、各画素位置または各ブロックについて、テキストの色の評価値が有効であるか否かを判定する（Ｓ３０）。テキストの色の評価値が有効である場合（Ｓ３０でＹｅｓ）、破棄処理部２３は、当該テキストの色の評価値と、同じ画素位置またはブロックの背景色の評価値とを比較する。ここでは、破棄処理部２３は、背景色の評価値とテキストの色の評価値との距離を算出する（Ｓ３２）。テキストの色および背景色は、距離ｄによって比較される。距離ｄは、例えば、色の評価値（例えば、Ｌａｂ画像データにおけるＣＩＥ ΔＥ）におけるユークリッド距離である。なお、他の方法で測定される距離であってもよい。

次に、破棄処理部２３は、当該距離ｄと閾値とを比較する（Ｓ３４）。テキストの色の評価値が有効であり、かつ、距離ｄが所定の閾値を越える場合（Ｓ３４でＹｅｓ）、テキストの色の評価値はそのまま保持される（Ｓ３８）。それ以外の場合（Ｓ３４でＮｏ）、破棄処理部２３は、当該テキストの色の評価値を破棄する（Ｓ３６）。ここでは、破棄処理部２３は、テキストの色の評価値の破棄として、当該評価値を無効状態に変換する処理を行う。この操作は、テキストの色の評価値が背景色の評価値に非常に似ている位置において、テキストの色の評価値を消去することを意味する。テキストの色の評価値は、最終的により低解像度の評価値を得るために、リニアフィルタ処理またはロバストフィルタ処理が実行され、ダウンサンプリングされてもよい。

このようにして、テキスト色評価部２０および破棄処理部２３は、テキストの色の評価値の有効性を決定する。つまり、テキスト色評価部２０は、ウィンドウまたはブロック内にテキスト画素がない場合に、テキストの色の評価値を無効とする。また、破棄処理部２３は、各画素位置または各ブロックについて、テキストの色の評価値と背景色の評価値との差分（距離）が閾値以下の場合に、当該テキストの色の評価値を無効とする。これら以外については有効とする。

（色評価部の構成の変形形態）
色評価部１２の構成の変形例について図４を参照しながら説明する。色評価部１２は、図２に示したテキスト色評価部２０、背景色評価部２１および破棄処理部２３に加えて、背景色クリーンアップ処理部４０およびテキスト色クリーンアップ処理部４２とを含む。

背景色クリーンアップ処理部４０は、背景色評価部２１が評価した背景色の評価値の除去処理を行う。また、テキスト色クリーンアップ処理部４２は、破棄処理部２３によって処理された評価値を除去処理を行う。背景色クリーンアップ処理部４０およびテキスト色クリーンアップ処理部４２が行う除去処理（クリーンアップ処理）の典型的な例としては、サブサンプリングの方法、ロバストサブサンプリングの方法などが挙げられる。そして、背景色クリーンアップ処理部４０により処理された背景色の評価値１３と、テキスト色クリーンアップ処理部４２により処理されたテキストの色の評価値１４とが、テキストマップの補正処理に用いられる。

（テキストマップ補正部の処理例）
上記のように色評価部１２により背景色とテキストの色とが評価された後に、テキストマップ補正部１５によるテキストマップの補正処理が実行される。以下に、図５から図１２を参照しながら、テキストマップの補正処理の具体例のいくつかを説明する。

（第１の処理例）
テキストマップ補正部１５の第１の処理例について、図５を参照しながら説明する。

まず、テキストマップ補正部１５は、テキストマップにおける各画素において、色評価部１２から出力される背景色の評価値１３のうちの当該画素に対応する評価値と、画像データ１０における当該画素の色との差分（Ｄ_ＢＧ）を算出する（Ｓ５０）。また、テキストマップ補正部１５は、テキストマップにおける各画素において、色評価部１２から出力されるテキストの色の評価値１４のうちの当該画素に対応する評価値と、画像データ１０における当該画素の色との差分（Ｄ_ＴＸＴ）を算出する（Ｓ５５）。

当該２つの差分は、２つの色の距離を測定することで求められる。当該距離を測定する方法としてはいくつか挙げられる。例えば、ＬＣＣ色空間の色差成分を用いた２次元の市街地距離測定方法や、３次元色空間の成分を用いた３次元の市街地距離測定方法や、これらの方法に重み付けを行う方法、ユークリッド距離測定方法などよく知られた方法を用いることができる。市街地距離とは、注目画素に隣接する４近傍の画素をベースに画素間の距離を表すものであり、注目画素の第１近傍にある画素は１単位、第２近傍にある画素（対角の位置の画素）は２単位離れていると表すものである。

なお、テキストマップ１１と画像データ１０とが異なる解像度である場合、テキストマップ上の一つの画素に対応する、画像データ１０上の画素の色は、上記したマッピング機能により対応づけられる画像データ１０の画素の色の平均値などを用いればよい。

そして、テキストマップ補正部１５は、テキストマップにおける全画素について、Ｓ５２、Ｓ５４、Ｓ５７、Ｓ５９の処理を行う。以下では、テキストマップにおける一つの画素についての処理について説明する。なお、当該画素を対象画素という。

次に、テキストマップ補正部１５は、テキストマップにおける誤判別の画素を除去するために、背景色の評価値１３と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＢＧと、除去閾値Ｔ_{ＲＥＭＯＶＥ}とを比較するとともに、対象画素がテキストマップ上でテキスト画素を示しているか判断する（Ｓ５２）。

そして、背景色の評価値と原稿画像の対応する位置の画素値との距離Ｄ_ＢＧが除去閾値Ｔ_{ＲＥＭＯＶＥ}よりも小さく、かつ、対象画素がテキストマップ上でテキスト画素を示している場合（Ｓ５２でＹｅｓ）、テキストマップ補正部１５は、テキストマップにおいて、対象画素を非テキスト画素として再分類する（Ｓ５４）。テキストマップがテキストである画素のみを示している場合、テキストマップ補正部１５は、テキストマップから対象画素を除去することとなる。

一方、テキストマップ補正部１５は、検出ミスのあった画素をテキストマップに追加するために、テキストの色の評価値１４と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＴＸＴと、テキスト色閾値Ｔ_{ＴＥＸＴＣＯＬＯＲ}とを比較するとともに、背景色の評価値１３と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＢＧと、追加閾値Ｔ_ＡＤＤを比較し、さらに、対象画素がテキストマップ上で非テキスト画素を示しているか判断する（Ｓ５７）。

そして、テキストの色と原稿画像の対応する位置の画素値との距離Ｄ_ＴＸＴがテキスト色閾値Ｔ_{ＴＥＸＴＣＯＬＯＲ}よりも小さく、かつ、背景色と原稿画像の対応する位置の画素値との距離Ｄ_ＢＧが追加閾値Ｔ_ＡＤＤよりも大きく、かつ、対象画素がテキストマップ上で非テキスト画素を示している場合（Ｓ５７でＹｅｓ）、テキストマップ補正部１５は、テキストマップにおいて、対象画素をテキスト画素として再分類する（Ｓ５９）。テキストマップがテキストである画素のみを示している場合、テキストマップ補正部１５は、テキストマップに対象画素を追加することとなる。

（第２の処理例）
テキストマップに画素を追加する処理は、テキストの色の評価値の有効性に基づいて行われてもよい。この場合の処理例（第２の処理例）について、図６を参照して説明する。

まず、テキストマップ補正部１５は、テキストマップにおける各画素において、色評価部１２から出力される背景色の評価値１３のうちの当該画素に対応する評価値と、画像データ１０における当該画素の色との差分（Ｄ_ＢＧ）を算出する（Ｓ５０）。また、テキストマップ補正部１５は、テキストマップにおける各画素において、色評価部１２から出力されるテキストの色の評価値１４のうちの当該画素に対応する評価値と、画像データ１０における当該画素の色との（Ｄ_ＴＸＴ）を算出する（Ｓ５５）。また、上述したように、色評価部１２において決定された、テキストの色の評価値の有効性を示す情報を、テキストマップ補正部１５が取得し、テキストマップ補正部は、テキストの色の有効性を判断する（Ｓ６０）。例えば、テキストマップ補正部１５は、テキストマップ上の各画素について、テキストの色の評価値が無効である場合には無効テキスト画素を示す情報ＴＥＸＴ_ＮＵＬＬを取得する。

本処理例においても、２つの色の差分は、当該２つの色の距離を測定することで求められる。当該距離を測定する方法としてはいくつか挙げられる。例えば、ＬＣＣ色空間の色差成分を用いた２次元の市街地距離測定方法や、３次元色空間の成分を用いた３次元の市街地距離測定方法や、これらの方法に重み付けを行う方法、ユークリッド距離測定方法などよく知られた方法を用いることができる。

そして、テキストマップ補正部１５は、テキストマップにおける全画素について、Ｓ５２、Ｓ５４、Ｓ６２、Ｓ６６の処理を行う。以下では、テキストマップにおける一つの画素についての処理について説明する。なお、当該画素を対象画素という。

テキストマップ補正部１５は、テキストマップにおける誤判別の画素を除去するために、背景色の評価値１３と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＢＧと、除去閾値Ｔ_{ＲＥＭＯＶＥ}とを比較するとともに、対象画素がテキストマップ上でテキスト画素を示しているか判断する（Ｓ５２）。

そして、背景色の評価値と原稿画像の対応する位置の画素値との距離Ｄ_ＢＧが除去閾値Ｔ_{ＲＥＭＯＶＥ}よりも小さく、かつ、対象画素がテキストマップ上でテキスト画素を示している場合（Ｓ５２でＹｅｓ）、テキストマップ補正部１５は、テキストマップにおいて、対象画素を非テキスト画素として再分類する（Ｓ５４）。

一方、テキストマップ補正部１５は、検出ミスのあった画素をテキストマップに追加するために、テキストの色の評価値１４と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＴＸＴと、テキスト色閾値Ｔ_{ＴＥＸＴＣＯＬＯＲ}とを比較し、背景色の評価値１３と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＢＧと、追加閾値Ｔ_ＡＤＤを比較するとともに、さらに、テキストの色の評価値が有効であるか判断し、対象画素がテキストマップ上で非テキスト画素を示しているか判断する（Ｓ６２）。

ここで、テキストの色の評価値が有効であるかの判断は、対象画素について色評価部１２から情報ＴＥＸＴ_ＮＵＬＬを取得したか否かで判断する。対象画素について色評価部１２から情報ＴＥＸＴ_ＮＵＬＬを取得していない場合、テキストマップ補正部１５は、対象画素について、テキストの色の評価値が有効であると判断する。

そして、テキストの色と原稿画像の対応する位置の画素値との距離Ｄ_ＴＸＴがテキスト色閾値Ｔ_{ＴＥＸＴＣＯＬＯＲ}よりも小さく、かつ、背景色と原稿画像の対応する位置の画素値との距離Ｄ_ＢＧが追加閾値Ｔ_ＡＤＤよりも大きく、かつ、テキストの色の評価値の有効性が有効であり、かつ、対象画素がテキストマップ上で非テキスト画素を示している場合（Ｓ６２でＹｅｓ）、テキストマップ補正部１５は、テキストマップにおいて、対象画素をテキスト画素として再分類する（Ｓ６６）。

（第３の処理例）
また、テキストマップから画素を除去する処理においても、テキストの色の評価値の有効性に基づいて行われてもよい。この場合の処理例（第３の処理例）について、図７を参照して説明する。

まず、テキストマップ補正部１５は、テキストマップにおける各画素において、色評価部１２から出力される背景色の評価値１３のうちの当該画素に対応する評価値と、画像データ１０における当該画素の色との差分（Ｄ_ＢＧ）を算出する（Ｓ５０）。また、テキストマップ補正部１５は、テキストマップにおける各画素において、色評価部１２から出力されるテキストの色の評価値１４のうちの当該画素に対応する評価値と、画像データ１０における当該画素の色との（Ｄ_ＴＸＴ）を算出する（Ｓ５５）。また、上述したように、色評価部１２において決定された、テキストの色の評価値の有効性を示す情報を、テキストマップ補正部１５が取得し、テキストマップ補正部は、テキストの色の有効性を判断する（Ｓ６０）。例えば、テキストマップ補正部１５は、テキストマップ上の各画素について、テキストの色の評価値が無効である場合には無効テキスト画素を示す情報ＴＥＸＴ_ＮＵＬＬを取得する。

本処理例においても、２つの色の差分は、当該２つの色の距離を測定することで求められる。当該距離を測定する方法としてはいくつか挙げられる。例えば、ＬＣＣ色空間の色差成分を用いた２次元の市街地距離測定方法や、３次元色空間の成分を用いた３次元の市街地距離測定方法や、これらの方法に重み付けを行う方法、ユークリッド距離測定方法などよく知られた方法を用いることができる。

そして、テキストマップ補正部１５は、テキストマップにおける全画素について、Ｓ７０、Ｓ７４、Ｓ６２、Ｓ６６の処理を行う。以下では、テキストマップにおける一つの画素についての処理について説明する。なお、当該画素を対象画素という。

次に、テキストマップ補正部１５は、テキストマップにおける誤判別の画素を除去するために、背景色の評価値１３と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＢＧと、除去閾値Ｔ_{ＲＥＭＯＶＥ}とを比較するとともに、さらに、テキストの色の評価値が無効であるか判断し、対象画素がテキストマップ上でテキスト画素を示しているか判断する（Ｓ７０）。

ここで、テキストの色の評価値が無効であるかの判断は、対象画素について色評価部１２から情報ＴＥＸＴ_ＮＵＬＬを取得したか否かで判断する。対象画素について色評価部１２から情報ＴＥＸＴ_ＮＵＬＬを取得している場合、テキストマップ補正部１５は、対象画素について、テキストの色の評価値が無効であると判断する。

そして、背景色の評価値と原稿画像の対応する位置の画素値との距離Ｄ_ＢＧが除去閾値Ｔ_{ＲＥＭＯＶＥ}よりも小さいか、もしくは、テキストの色の評価値が無効であり、かつ、対象画素がテキストマップ上でテキスト画素を示している場合（Ｓ７０でＹｅｓ）、テキストマップ補正部１５は、テキストマップにおいて、対象画素を非テキスト画素として再分類する（Ｓ７４）。

一方、テキストマップ補正部１５は、検出ミスのあった画素をテキストマップに追加するために、テキストの色の評価値１４と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＴＸＴと、テキスト色閾値Ｔ_{ＴＥＸＴＣＯＬＯＲ}とを比較し、背景色の評価値１３と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＢＧと、追加閾値Ｔ_ＡＤＤを比較するとともに、さらに、テキストの色の評価値が有効であるか判断し、対象画素がテキストマップ上で非テキスト画素を示しているか判断する（Ｓ６２）。

ここで、テキストの色の評価値が有効であるかの判断は、対象画素について色評価部１２から情報ＴＥＸＴ_ＮＵＬＬを取得したか否かで判断する。対象画素について色評価部１２から情報ＴＥＸＴ_ＮＵＬＬを取得していない場合、テキストマップ補正部１５は、対象画素について、テキストの色の評価値が有効であると判断する。

そして、テキストの色と原稿画像の対応する位置の画素値との距離Ｄ_ＴＸＴがテキスト色閾値Ｔ_{ＴＥＸＴＣＯＬＯＲ}よりも小さく、かつ、背景色と原稿画像の対応する位置の画素値との距離Ｄ_ＢＧが追加閾値Ｔ_ＡＤＤよりも大きく、かつ、テキストの色の評価値の有効性が有効であり、かつ、対象画素がテキストマップ上で非テキスト画素を示している場合（Ｓ６２でＹｅｓ）、テキストマップ補正部１５は、テキストマップにおいて、対象画素をテキスト画素として再分類する（Ｓ６６）。

（第４−６の処理例）
また、テキストマップ補正部１５は、テキストマップにおける各画素の現状のテキスト画素／非テキスト画素の状態を明確に確認することなく補正してもよい。テキストマップ補正部１５は、テキストマップの画素の状態を、上述した第１−３の処理例の条件に従って決定し、現在のテキスト画素／非テキスト画素の状態と無関係に設定してもよい。この処理例を第４−６の処理例として以下に説明する。なお、第４−６の処理例は、第１−３の処理例に対応する。

（第４の処理例）
まず、第４の処理例について図８を参照しながら説明する。

テキストマップ補正部１５は、テキストマップにおける各画素において、色評価部１２から出力される背景色の評価値１３のうちの当該画素に対応する評価値と、画像データ１０における当該画素の色との差分（Ｄ_ＢＧ）を算出する（Ｓ５０）。また、テキストマップ補正部１５は、テキストマップにおける各画素において、色評価部１２から出力されるテキストの色の評価値１４のうちの当該画素に対応する評価値と、画像データ１０における当該画素の色との差分（Ｄ_ＴＸＴ）を算出する（Ｓ５５）。

当該２つの差分は、２つの色の距離を測定することで求められる。当該距離を測定する方法としてはいくつか挙げられる。例えば、ＬＣＣ色空間の色差成分を用いた２次元の市街地距離測定方法や、３次元色空間の成分を用いた３次元の市街地距離測定方法や、これらの方法に重み付けを行う方法、ユークリッド距離測定方法などよく知られた方法を用いることができる。

そして、テキストマップ補正部１５は、テキストマップにおける全画素について、Ｓ８２、Ｓ８４、Ｓ８７、Ｓ８９の処理を行う。以下では、テキストマップにおける一つの画素についての処理について説明する。なお、当該画素を対象画素という。

テキストマップ補正部１５は、テキストマップにおける誤判別の画素を除去するために、背景色の評価値１３と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＢＧと、除去閾値Ｔ_{ＲＥＭＯＶＥ}とを比較する（Ｓ８２）。

そして、背景色の評価値と原稿画像の対応する位置の画素値との距離Ｄ_ＢＧが除去閾値Ｔ_{ＲＥＭＯＶＥ}よりも小さい場合（Ｓ８２でＹｅｓ）、テキストマップ補正部１５は、テキストマップにおいて、対象画素を非テキスト画素として設定する（更新する）（Ｓ８４）。

一方、テキストマップ補正部１５は、検出ミスのあった画素をテキストマップに追加するために、テキストの色の評価値１４と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＴＸＴと、テキスト色閾値Ｔ_{ＴＥＸＴＣＯＬＯＲ}とを比較するとともに、背景色の評価値１３と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＢＧと、追加閾値Ｔ_ＡＤＤを比較する（Ｓ８７）。

そして、テキストの色と原稿画像の対応する位置の画素値との距離Ｄ_ＴＸＴがテキスト色閾値Ｔ_{ＴＥＸＴＣＯＬＯＲ}よりも小さく、かつ、背景色と原稿画像の対応する位置の画素値との距離Ｄ_ＢＧが追加閾値Ｔ_ＡＤＤよりも大きい場合（Ｓ８７でＹｅｓ）、テキストマップ補正部１５は、テキストマップにおいて、対象画素をテキスト画素として設定する（Ｓ８９）。

（第５の処理例）
テキストマップに画素を追加する処理は、テキストの色の評価値の有効性に基づいて行われてもよい。この場合の処理例（第５の処理例）について、図９を参照して説明する。

まず、テキストマップ補正部１５は、テキストマップにおける各画素において、色評価部１２から出力される背景色の評価値１３のうちの当該画素に対応する評価値と、画像データ１０における当該画素の色との差分（Ｄ_ＢＧ）を算出する（Ｓ５０）。また、テキストマップ補正部１５は、テキストマップにおける各画素において、色評価部１２から出力されるテキストの色の評価値１４のうちの当該画素に対応する評価値と、画像データ１０における当該画素の色との（Ｄ_ＴＸＴ）を算出する（Ｓ５５）。また、上述したように、色評価部１２において決定された、テキストの色の評価値の有効性を示す情報を、テキストマップ補正部１５が取得し、テキストマップ補正部は、テキストの色の有効性を判断する（Ｓ６０）。例えば、テキストマップ補正部１５は、テキストマップ上の各画素について、テキストの色の評価値が無効である場合には無効テキスト画素を示す情報ＴＥＸＴ_ＮＵＬＬを取得する。

本処理例においても、２つの色の差分は、当該２つの色の距離を測定することで求められる。当該距離を測定する方法としてはいくつか挙げられる。例えば、ＬＣＣ色空間の色差成分を用いた２次元の市街地距離測定方法や、３次元色空間の成分を用いた３次元の市街地距離測定方法や、これらの方法に重み付けを行う方法、ユークリッド距離測定方法などよく知られた方法を用いることができる。

そして、テキストマップ補正部１５は、テキストマップにおける全画素について、Ｓ８２、Ｓ８４、Ｓ９０、Ｓ９４の処理を行う。以下では、テキストマップにおける一つの画素についての処理について説明する。なお、当該画素を対象画素という。

テキストマップ補正部１５は、テキストマップにおける誤判別の画素を除去するために、背景色の評価値１３と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＢＧと、除去閾値Ｔ_{ＲＥＭＯＶＥ}とを比較する（Ｓ８２）。

そして、背景色の評価値と原稿画像の対応する位置の画素値との距離Ｄ_ＢＧが除去閾値Ｔ_{ＲＥＭＯＶＥ}よりも小さい場合（Ｓ８２でＹｅｓ）、テキストマップ補正部１５は、テキストマップにおいて、対象画素を非テキスト画素として設定する（更新する）（Ｓ８４）。

一方、テキストマップ補正部１５は、検出ミスのあった画素をテキストマップに追加するために、テキストの色の評価値１４と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＴＸＴと、テキスト色閾値Ｔ_{ＴＥＸＴＣＯＬＯＲ}とを比較し、背景色の評価値１３と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＢＧと、追加閾値Ｔ_ＡＤＤを比較するとともに、さらに、テキストの色の評価値が有効であるか判断する（Ｓ９０）。

ここで、テキストの色の評価値が有効であるかの判断は、対象画素について色評価部１２から情報ＴＥＸＴ_ＮＵＬＬを取得したか否かで判断する。対象画素について色評価部１２から情報ＴＥＸＴ_ＮＵＬＬを取得していない場合、テキストマップ補正部１５は、対象画素について、テキストの色の評価値が有効であると判断する。

そして、テキストの色と原稿画像の対応する位置の画素値との距離Ｄ_ＴＸＴがテキスト色閾値Ｔ_{ＴＥＸＴＣＯＬＯＲ}よりも小さく、かつ、背景色と原稿画像の対応する位置の画素値との距離Ｄ_ＢＧが追加閾値Ｔ_ＡＤＤよりも大きく、かつ、テキストの色の評価値の有効性が有効である場合（Ｓ９０でＹｅｓ）、テキストマップ補正部１５は、テキストマップにおいて、対象画素をテキスト画素として設定する（Ｓ９４）。

（第６の処理例）
まず、テキストマップ補正部１５は、テキストマップにおける各画素において、色評価部１２から出力される背景色の評価値１３のうちの当該画素に対応する評価値と、画像データ１０における当該画素の色との差分（Ｄ_ＢＧ）を算出する（Ｓ５０）。また、テキストマップ補正部１５は、テキストマップにおける各画素において、色評価部１２から出力されるテキストの色の評価値１４のうちの当該画素に対応する評価値と、画像データ１０における当該画素の色との（Ｄ_ＴＸＴ）を算出する（Ｓ５５）。また、上述したように、色評価部１２において決定された、テキストの色の評価値の有効性を示す情報を、テキストマップ補正部１５が取得し、テキストマップ補正部は、テキストの色の有効性を判断する（Ｓ６０）例えば、テキストマップ補正部１５は、テキストマップ上の各画素について、テキストの色の評価値が無効である場合には無効テキスト画素を示す情報ＴＥＸＴ_ＮＵＬＬを取得する。

本処理例においても、２つの色の差分は、当該２つの色の距離を測定することで求められる。当該距離を測定する方法としてはいくつか挙げられる。例えば、ＬＣＣ色空間の色差成分を用いた２次元の市街地距離測定方法や、３次元色空間の成分を用いた３次元の市街地距離測定方法や、これらの方法に重み付けを行う方法、ユークリッド距離測定方法などよく知られた方法を用いることができる。

そして、テキストマップ補正部１５は、テキストマップにおける全画素について、Ｓ１００、Ｓ１０４、Ｓ９０、Ｓ９４の処理を行う。以下では、テキストマップにおける一つの画素についての処理について説明する。なお、当該画素を対象画素という。

次に、テキストマップ補正部１５は、テキストマップにおける誤判別の画素を除去するために、背景色の評価値１３と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＢＧと、除去閾値Ｔ_{ＲＥＭＯＶＥ}とを比較するとともに、さらに、テキストの色の評価値が無効であるか判断する（Ｓ１００）。

ここで、テキストの色の評価値が無効であるかの判断は、対象画素について色評価部１２から情報ＴＥＸＴ_ＮＵＬＬを取得したか否かで判断する。対象画素について色評価部１２から情報ＴＥＸＴ_ＮＵＬＬを取得している場合、テキストマップ補正部１５は、対象画素について、テキストの色の評価値が無効であると判断する。

そして、背景色の評価値と原稿画像の対応する位置の画素値との距離Ｄ_ＢＧが除去閾値Ｔ_{ＲＥＭＯＶＥ}よりも小さいか、もしくは、テキストの色の評価値が無効である場合（Ｓ１００でＹｅｓ）、テキストマップ補正部１５は、テキストマップにおいて、対象画素を非テキスト画素として設定する（Ｓ１０４）。

一方、テキストマップ補正部１５は、検出ミスのあった画素をテキストマップに追加するために、テキストの色の評価値１４と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＴＸＴと、テキスト色閾値Ｔ_{ＴＥＸＴＣＯＬＯＲ}とを比較し、背景色の評価値１３と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＢＧと、追加閾値Ｔ_ＡＤＤを比較するとともに、さらに、テキストの色の評価値が有効であるか判断する（Ｓ９０）。

ここで、テキストの色の評価値が有効であるかの判断は、対象画素について色評価部１２から情報ＴＥＸＴ_ＮＵＬＬを取得したか否かで判断する。対象画素について色評価部１２から情報ＴＥＸＴ_ＮＵＬＬを取得していない場合、テキストマップ補正部１５は、対象画素について、テキストの色の評価値が有効であると判断する。

そして、テキストの色と原稿画像の対応する位置の画素値との距離Ｄ_ＴＸＴがテキスト色閾値Ｔ_{ＴＥＸＴＣＯＬＯＲ}よりも小さく、かつ、背景色と原稿画像の対応する位置の画素値との距離Ｄ_ＢＧが追加閾値Ｔ_ＡＤＤよりも大きく、かつ、テキストの色の評価値の有効性が有効である場合（Ｓ９０でＹｅｓ）、テキストマップ補正部１５は、テキストマップにおいて、対象画素をテキスト画素として設定する（Ｓ９４）。

（第７の処理例）
また、テキストマップ補正部１５の別の処理例（第７の処理例）について図１１を参照しながら説明する。

まず、テキストマップ補正部１５は、テキストマップ１１を確認し、対象画素がテキスト画素として分類されているかどうかを判断する（Ｓ１１０）。

テキストマップに基づいて対象画素が非テキスト画素である場合（Ｓ１１０でＮｏ）、テキストマップ補正部１５は、テキストマップにおける各画素において、色評価部１２から出力される背景色の評価値１３のうちの当該画素に対応する評価値と、画像データ１０における当該画素の色との差分（Ｄ_ＢＧ）を算出する（Ｓ１３２）。

次に、テキストマップ補正部１５は、テキストマップにおける各画素において、色評価部１２から出力されるテキストの色の評価値１４のうちの当該画素に対応する評価値と、画像データ１０における当該画素の色との（Ｄ_ＴＸＴ）を算出する（Ｓ１３４）。さらに、色評価部１２において決定された、テキストの色の評価値の有効性を示す情報を、テキストマップ補正部１５が取得し、テキストマップ補正部は、テキストの色の有効性を判断する（Ｓ１３６）。

なお、Ｓ１３２、Ｓ１３４、Ｓ１３６の３つの処理は、任意の順番で実行されればよい。

次に、テキストマップ補正部１５は、検出ミスのあった画素をテキストマップに追加するために、テキストの色の評価値１４と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＴＸＴと、テキスト色閾値Ｔ_{ＴＥＸＴＣＯＬＯＲ}とを比較し、背景色の評価値１３と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＢＧと、追加閾値Ｔ_ＡＤＤを比較するとともに、さらに、テキストの色の評価値が有効であるか判断する（Ｓ１３８）。

そして、テキストの色と原稿画像の対応する位置の画素値との距離Ｄ_ＴＸＴがテキスト色閾値Ｔ_{ＴＥＸＴＣＯＬＯＲ}よりも小さく、かつ、背景色と原稿画像の対応する位置の画素値との距離Ｄ_ＢＧが追加閾値Ｔ_ＡＤＤよりも大きく、かつ、テキストの色の評価値の有効性が有効である場合（Ｓ１３８でＹｅｓ）、テキストマップ補正部１５は、テキストマップに、対象画素をテキスト画素として追加する（Ｓ１４０）。

一方、テキストマップに基づいて画素がテキスト画素である場合（Ｓ１１０でＹｅｓ）、テキストマップ補正部１５は、テキストマップにおける各画素において、色評価部１２から出力される背景色の評価値１３のうちの当該画素に対応する評価値と、画像データ１０における当該画素の色との差分（Ｄ_ＢＧ）を算出する（Ｓ１２２）。

次に、色評価部１２において決定された、テキストの色の評価値の有効性を示す情報を、テキストマップ補正部１５が取得し、テキストマップ補正部は、テキストの色の有効性を判断する（Ｓ１２４）。

なお、Ｓ１２２、Ｓ１２４の２つの処理は、任意の順番で実行されればよい。

次に、テキストマップ補正部１５は、テキストマップにおける誤判別の画素を除去するために、背景色の評価値１３と原稿画像の対応する位置の色（画素値）との距離Ｄ_ＢＧと、除去閾値Ｔ_{ＲＥＭＯＶＥ}とを比較するとともに、さらに、テキストの色の評価値が無効であるか判断する（Ｓ１２６）。

そして、背景色の評価値と原稿画像の対応する位置の画素値との距離Ｄ_ＢＧが除去閾値Ｔ_{ＲＥＭＯＶＥ}よりも小さいか、もしくは、テキストの色の評価値が無効である場合（Ｓ１２６でＹｅｓ）、テキストマップ補正部１５は、テキストマップにおいて、対象画素を非テキスト画素として再分類する（Ｓ１２８）。テキストマップがテキストである画素のみを示している場合、テキストマップ補正部１５は、テキストマップから対象画素を除去することとなる。

なお、図１１に示される、Ｓ１２２，１２４，１３２，１３４，１３６の処理は、Ｓ１１０の処理の前に実行されてもよい。

（第８の処理例）
既にテキスト画素として分類されている画素を非テキスト画素としてテキストマップから除去する場合には、背景色基準に基づいて除去された画素（つまり、背景色からの評価値からの距離Ｄ_ＢＧに基づいて除去された画素）に接続する全てのテキスト画素を非テキスト画素として除去するようにしてもよい。すなわち、除去する画素を広げる。言い換えると、画素に対する除去信号を広げる。このような手順を接続基準手順という。この接続基準手順による除去方法は、誤判別のテキスト画素の領域が、背景色基準を使用することにより除去される領域よりも大きい場合に有効である。

本処理例（第８の処理例）では、基準となる接続標準（basic connectivity criterion）（例えば、４ウェイ、８ウェイ接続など）を用いる。また、さらなる色制限（color constraint）を除去信号の拡大に追加することにより、基準となる接続標準を広げてもよい。この条件は、除去信号が誤判別のテキスト画素に接続している正しいテキスト画素にまで広がることを防止することにより、除去信号の拡大幅を小さくしてもよい。例えば、除去する画素の色とそれに接続している画素の色との色差を求め、それがある閾値以上（色制限）であれば、接続していても除去対象としないようにすることで、テキスト画素の誤除去の防止策となる。

テキスト画素の除去の、接続性に基づいた伝達の具体的な処理例について図１２を参照しながら説明する。テキストマップ補正部１５は、テキストマップからテキスト画素を除去することを決定した後、接続標準に基づいた調査のもとに、テキストマップにおいて、当該画素に接続している全ての画素を非テキスト画素として再分類する’（Ｓ１２９）。

なお、上記の各処理例において、各種の閾値は予め定められている。

また、上記の後処理システムは、複写機、複合機、スキャナなどの装置に適用することができる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、図１，２，４に示した各部は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、本発明に係る後処理システムは、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記画像処理のシステムの制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、当該システムに供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、本発明に係る後処理システムを通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、複写機、スキャナ、複合機などの画像処理装置にも適用できる。

本発明の、テキストおよび背景の色の評価値に基づいてテキストマップを補正する後処理システムの構成を示すブロック図である。 図１に示す後処理システムが備える色評価部の構成を示すブロック図である。 テキストの色の評価値と背景色の評価値との距離に基づいて、テキストの色の評価値を破棄する処理の流れを示す図である。 テキスト色クリーンアップ処理部と背景色クリーンアップ処理部とを備える色評価部の構成を示す図である。 テキストマップ補正部の第１の処理例の流れを示す図である。 テキストマップ補正部の第２の処理例の流れを示す図である。 テキストマップ補正部の第３の処理例の流れを示す図である。 テキストマップ補正部の第４の処理例の流れを示す図である。 テキストマップ補正部の第５の処理例の流れを示す図である。 テキストマップ補正部の第６の処理例の流れを示す図である。 テキストマップ補正部の第７の処理例の流れを示す図である。 テキストマップ補正部の第８の処理例の流れを示す図である。

符号の説明

１２ 色評価部（第１分類マップ取得部、第１画素位置特定部）
１５ テキストマップ補正部（第１画素位置特定部、第１色差算出部、第１補正部、第２色差算出部、第２補正部）
２０ テキスト色評価部（第１評価色算出部、第２評価色算出部）
２１ 背景色評価部（第１評価色算出部、第２評価色算出部）
２３ 破棄処理部
４０ 背景色クリーンアップ処理部
４２ テキスト色クリーンアップ処理部

Claims (14)

1. デジタル画像の画素の分類方法であって、
   上記デジタル画像に対してテキスト区分アルゴリズムを適用して予め作成された、上記デジタル画像におけるテキストを示す画素、および非テキストを示す画素のいずれか一方を第１分類に属する画素として示すテキストマップを取得する第１ステップと、
   上記デジタル画像上の第１画素位置に対応する、上記テキストマップ上の第１画素位置を特定する第２ステップと、
   上記デジタル画像上の第１画素位置に対応する第１の評価色として、当該デジタル画像上の第１画素位置の近接領域に位置するとともに、上記第１分類に属する画素の色の代表値を算出する第３ステップと、
   上記第１の評価色と上記デジタル画像上の上記第１画素位置の画素の色との第１色差を算出する第４ステップと、
   上記第１色差が第１閾値よりも小さい場合、上記テキストマップ上の上記第１画素位置の画素が上記第１分類に属することを示すように、上記テキストマップを補正する第５ステップと、
   を含むことを特徴とする画素の分類方法。
2. 上記デジタル画像上の第１画素位置に対応する第２の評価色として、当該デジタル画像上の第１画素位置の近接領域に位置するとともに、上記第１分類に属さない画素の色の代表値を算出する第６ステップと、
   上記第２の評価色と上記デジタル画像上の上記第１画素位置の画素の色との第２色差を算出する第７ステップと、
   上記第２色差が第２閾値よりも小さい場合、上記テキストマップ上の第１画素位置の画素が上記第１分類に属さないことを示すように、上記テキストマップを補正する第８ステップと、
   を含むことを特徴とする請求項１に記載の画素の分類方法。
3. 上記テキストマップと上記デジタル画像とが同じ解像度であることを特徴とする請求項１または２に記載の画素の分類方法。
4. 上記テキストマップと上記デジタル画像とが異なる解像度であることを特徴とする請求項１または２に記載の画素の分類方法。
5. 上記第１分類に属する画素の色の代表値は、当該画素の色の平均値、当該画素の色の中央値、当該画素の色のトリム平均値、当該画素の色の重み平均値の何れかであることを特徴とする請求項１から４の何れか１項に記載の画素の分類方法。
6. デジタル画像の画素を分類するシステムであって、
   上記デジタル画像に対してテキスト区分アルゴリズムを適用して予め作成された、上記デジタル画像におけるテキストを示す画素、および非テキストを示す画素のいずれか一方を第１分類に属する画素として示すテキストマップを取得する第１分類マップ取得部と、
   上記デジタル画像上の第１画素位置に対応する、上記テキストマップ上の第１画素位置を特定する第１画素位置特定部と、
   上記デジタル画像上の第１画素位置に対応する第１の評価色として、当該デジタル画像上の第１画素位置の近接領域に位置するとともに、上記第１分類に属する画素の色の代表値を算出する第１評価色算出部と、
   上記第１の評価色と上記デジタル画像上の上記第１画素位置の画素の色との第１色差を算出する第１色差算出部と、
   上記第１色差が第１閾値よりも小さい場合、上記テキストマップ上の上記第１画素位置の画素が上記第１分類に属することを示すように、上記テキストマップを補正する第１補正部と、
   を備えることを特徴とするシステム。
7. 上記デジタル画像上の第１画素位置に対応する第２の評価色として、当該デジタル画像上の第１画素位置の近接領域に位置するとともに、上記第１分類に属さない画素の色の代表値を算出する第２評価色算出部と、
   上記第２の評価色と上記デジタル画像上の上記第１画素位置の画素の色との第２色差を算出する第２色差算出部と、
   上記第２色差が第２閾値よりも小さい場合、上記テキストマップ上の第１画素位置の画素が上記第１分類に属さないことを示すように、上記テキストマップを補正する第２補正部と、
   を備えることを特徴とする請求項６に記載のシステム。
8. 上記テキストマップと上記デジタル画像とが同じ解像度であることを特徴とする請求項６または７に記載のシステム。
9. 上記テキストマップと上記デジタル画像とが異なる解像度であることを特徴とする請求項６または７に記載のシステム。
10. 上記第１分類に属する画素の色の代表値は、当該画素の色の平均値、当該画素の色の中央値、当該画素の色のトリム平均値、当該画素の色の重み平均値の何れかであることを特徴とする請求項６から９の何れか１項に記載のシステム。
11. デジタル画像の画素の分類方法であって、
    上記デジタル画像に対してテキスト区分アルゴリズムを適用して予め作成された、上記デジタル画像におけるテキストを示す画素を示すテキストマップを取得する第１ステップと、
    上記デジタル画像上の第１画素位置に対応する、上記テキストマップ上の第１画素位置を特定する第２ステップと、
    上記デジタル画像上の第１画素位置に対応するテキスト評価色として、当該デジタル画像上の第１画素位置の近接領域に位置するとともに、上記テキストマップにおいてテキスト画素として分類されている画素の色の代表値を算出する第３ステップと、
    上記テキスト評価色と上記デジタル画像上の上記第１画素位置の画素の色との差分であるテキスト色差を算出する第４ステップと、
    上記デジタル画像上の第１画素位置に対応する背景評価色として、当該デジタル画像上の第１画素位置の近接領域に位置するとともに、上記テキストマップにおいてテキスト画素として分類されていない画素の色の代表値を算出する第５ステップと、
    上記背景評価色と上記デジタル画像上の上記第１画素位置の画素の色との背景色差を算出する第６ステップと、
    上記テキスト色差が第１閾値よりも小さく、かつ、上記テキストマップにおける第１画素位置の画素がテキスト画素として分類されていない場合、テキストマップにおいて、上記第１画素位置の画素をテキスト画素として補正する第７ステップと、
    上記背景色差が第２閾値よりも小さく、かつ、上記テキストマップにおける第１画素位置の画素がテキスト画素として分類されている場合、テキストマップにおいて、上記第１画素位置の画素を非テキスト画素として補正する第８ステップと、
    を含むことを特徴とする画素の分類方法。
12. 上記テキストマップと上記デジタル画像とが同じ解像度であることを特徴とする請求項１１に記載の画素の分類方法。
13. 上記テキストマップと上記デジタル画像とが異なる解像度であることを特徴とする請求項１１に記載の画素の分類方法。
14. 上記背景評価色と上記テキスト評価色との差分である背景−テキスト色差を算出し、当該背景−テキスト色差が第３閾値よりも小さい場合に、上記第１画素位置の画素を非テキスト画素として補正する第９ステップをさらに含むことを特徴とする請求項１１から１３の何れか１項に記載の画素の分類方法。

Images