JP3830350B2 - カラー画像処理方法、カラー画像処理装置、プログラム、及び記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、カラー画像処理方法、装置、プログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体に関し、より詳細には、両面印刷されている文書において裏面の画像が透けて表面の画像の中に混ざって入力される「裏写り」を除去することが可能なカラー画像処理方法、該方法を実施するためのカラー画像処理装置、及び前記方法を実行させるための、又は前記装置の機能を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
図４は、裏写りのあるカラー画像の例を示す図である。カラースキャナ，デジタルカメラ，デジタルカラーコピアなどのカラー画像入力機器の普及により、本，雑誌，カタログ，広告，新聞などの文書画像も、カラーで入力されるのが一般的になってきている。これらの文書では、紙の両面に印刷されていることがしばしばあるので、図４に示すように、裏面の画像が透けて、表面の画像の中に混ざって入力される「裏写り」が生じる。さらに、カラー文書の場合、背景色が一様でなかったり、絵柄、模様、写真が混在していることが多い。このため、デジタル画像処理によって、入力された画像から「裏写り」を除去する問題は、画質向上のために重要でありながら、取り扱いの難しいものとされてきた。
【０００３】
（１）これまでにも、ブックスキャナや両面スキャナなどの特殊な入力機器を中心とした、裏写り除去方法が提案されている。例えば、特開平７−８７２９５号公報、特開平８−２６５５６３号公報、特開平９−２０５５４４号公報、特開平９−２３３３１９号公報、米国特許第５９７３７９２号公報、米国特許第５９３２１３７号公報等が提案されている。
【０００４】
米国特許第５９３２１３７号公報には、画面の画像をスキャンして蓄積することを基本とした裏写り効果を緩和する画像処理方法及び装置が記載されている。本公報に記載の発明は、両面印刷されて少なくとも第１面に第２面からの裏写りがあるような原稿をスキャンして第１面と第２面の画像を蓄積し、第２面画像から第１面への裏写り成分に対応する表現を生成（鏡像変換し、位置合わせする）後、第２面画像の表現の関数として裏写りを第１面から除去して修正する（裏写り係数を使う）ことを特徴としている。さらに、裏写り効果を緩和する画像処理方法として、両面印刷されて第１面に第２面からの裏写りがあるような原稿の第１面、次に第２面をスキャンして第１面と第２面の画像を蓄積し、第２面画像から第１面へ（及び第１面画像から第２面へ）の裏写り成分に対応する表現を生成し（鏡像変換し、位置合わせする）、第２面画像（第１面画像）の表現の関数として裏写りを第１面（第２面）から除去して修正する（裏写り係数を使う）ことを特徴としている。さらに、本公報には、両面印刷されて少なくとも第１面に第２面からの裏写りがあるような原稿をスキャンして第１面と第２面の画像を蓄積するスキャナと、第２面画像から第１面への裏写り成分に対応する表現を生成する画像処理回路（鏡像変換し、位置合わせする）と、第２面画像の表現の関数として裏写りを第１面から除去して修正する画像処理手段（裏写り係数を使う）とを具備し、裏写り効果を緩和した画像の印刷を行う裏写り効果を緩和する文書印刷システムが記載されている。
【０００５】
上述の方法では、まず、入力した紙の両面の画像を正確に位置合わせし、両面の画像を比較することによって、紙の透過係数を推定する。そして、その透過係数を利用して、裏写り成分を表の画像から差し引くことによって、裏写りを除去している。ところが、これらの方式は、両面の画像を入力・蓄積して、かつ、位置合わせが正確にできるような、特殊な入力機器・環境にしか適用できないのが問題である。
【０００６】
（２）さらに、片面の画像情報だけを用いて、画像の濃度の解析や二値化に基づく方式も提案されている。例えば、特開平１１−１８７２６６号公報、特開平１１−４１４６６号公報、「J. Sauvola, T. Seppanen, S. Haapakoski, and M. Pietikainen, "Adaptive document binarization," Proc. 4^th Int. Conf. Document Analysis and Recognition (Ulm, Germany), August 18-20, 1997, pp. 142？146.」、米国特許第５６４６７４４号公報、米国特許第５８３２１３７号公報等が提案されている。しかしながら、複雑な画像になると、濃度や色の分布を用いて、表面の画像と裏写りを判別することは難しくなる。特に、背景とのコントラストが小さい文字、たとえば、白地上の黄色文字などを裏写りとして処理してしまう危険性が生じる。
【０００７】
【発明が解決しようとする課題】
上述のごとく、前記（１）の方式は、両面の画像を入力・蓄積して、かつ、位置合わせが正確にできるような、特殊な入力機器・環境にしか適用できないのが問題である。
【０００８】
また、前記（２）の方式は、複雑な画像になると、濃度や色の分布を用いて、表面の画像と裏写りを判別することは難しくなり、特に、背景とのコントラストが小さい文字、たとえば、白地上の黄色文字などを裏写りとして処理してしまう危険性が生じる。
【０００９】
本発明は、上述のごとき実情に鑑みてなされたものであり、両面印刷されて第１面に第２面からの裏写りがあるようなカラー原稿をスキャンする際、特殊な入力デバイスに依存することなく、汎用性が高く、しかも紙の片面の画像情報だけを用いて、効率的にカラー画像から裏写りを除去することが可能なカラー画像処理方法、装置、プログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することをその目的とする。
【００１０】
【課題を解決するための手段】
本発明は、紙の両面にカラー印刷された原稿をデジタル入力して得られるデジタルカラー画像に対して、エッジ強度検出とカラー閾値処理に基づいて、裏写り成分を除去するよう構成したものである。カラー閾値処理は、検出されたエッジ強度を二値化して得られるエッジ分布において、エッジが存在しない部分に、予め決められる大きさのウィンドウを設定して、局所的にウィンドウ内の画素を２つの色に分類し、輝度の大きい（明るい）色で、ウィンドウ内の画素の色を置換えることを特徴としたものである。さらに、本発明は、裏面の原稿の入力を必要とせずに、表の画像のエッジ強度検出とカラー閾値処理に基づいて、裏写り成分を除去するよう構成したものである。
【００１１】
本発明は、紙の両面にカラー印刷された原稿をデジタル入力して得られるデジタルカラー画像に対して、エッジ強度検出とカラー閾値処理に基づいて、裏写り成分を除去し、結果として得られる裏写り除去画像と原画像のエッジ分布を比較し、裏写り除去画像において、原画像に存在しないエッジを構成する各画素の周囲に矩形領域を設定し、設定した矩形領域に含まれ、かつ、原画像のエッジ強度から得られる二値化後のｏｆｆ画素の領域について、再度カラー閾値処理を適用し、画像を修正することを特徴としたものである。
【００１２】
さらに、本発明は、裏写り除去画像において、原画像に存在しないエッジの周囲について、再度カラー閾値処理を適用し、画像を修正する際に、ウィンドウの大きさを前回の処理よりも小さく設定することを特徴としたものである。
【００１３】
さらに、本発明は、裏写り除去画像と原画像のエッジ分布の比較において、各画素について、裏写り除去画像で計算されたエッジ強度から原画像で計算されたエッジ強度を差し引き、その値が予め決めた閾値以上のものを、裏写り除去画像において、原画像に存在しないエッジと決めることを特徴としたものである。
【００１４】
本発明の各請求項の発明は、以下の特徴を有するものとする。
請求項１の発明は、紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対してエッジを検出し、該検出したエッジの強度の低い部分に対する前記紙の背景色又は前記片面側の背景色画像を推定し、前記原画像において、裏写り成分である前記エッジ強度の低い部分を前記推定した背景色又は背景色画像に置き換えるカラー閾値処理を行うことにより、前記裏写り成分を除去した裏写り除去画像を生成するカラー画像処理方法において、前記裏写り除去画像のエッジを検出し、該検出した裏写り除去画像のエッジと前記原画像のエッジの分布を比較し、前記裏写り除去画像において、前記原画像に存在しないエッジを構成する各画素の周囲に矩形領域を設定し、その矩形に含まれ、かつ、前記原画像のエッジ強度から得られるｏｆｆ画素の領域に対し、予め決められた大きさのウィンドウを設定して、各ウィンドウ内の画素を２つの色に分類し、該２つの色のうち輝度の大きい方の色を背景色と推定し、該推定した背景色で前記ウィンドウ内の画素の色を置き換えることにより、前記原画像を前記背景色画像に置き換える、再度のカラー閾値処理を適用し、修正した裏写り除去画像を生成することを特徴としたものである。
【００１５】
請求項２の発明は、請求項１の発明において、前記裏写り除去画像のエッジと前記原画像のエッジの分布の比較において、各画素について、前記裏写り除去画像で計算されたエッジ強度から前記原画像で計算されたエッジ強度を差し引き、その値が予め決めた閾値以上のものを、前記裏写り除去画像において、前記原画像に存在しないエッジと決めることを特徴としたものである。
【００１６】
請求項３の発明は、請求項１又は２の発明において、前記裏写り除去画像において、前記設定された矩形に含まれ、かつ、前記原画像のエッジ強度から得られるｏｆｆ画素の領域に対して、横（又は縦）方向の各ラインにランを構成し、該横（又は縦）方向のランを用いて前記背景色又は背景色画像を推定し、さらに、該推定した該横（又は縦）方向の背景色又は背景色画像に対して、縦（又は横）方向の各ラインにランを構成し、該縦（又は横）方向のランを用いて背景色又は背景色画像を推定し、前記原画像のエッジ強度から得られるｏｆｆ画素で、かつ、前記矩形領域に属する画素に対応する前記原画像の画素を前記推定した縦（又は横）方向の背景色又は背景色画像の画素で置き換えることを特徴としたものである。
【００１７】
請求項４の発明は、請求項１乃至３のいずれか１の発明において、前記裏写り除去画像のエッジと前記原画像のエッジの分布の比較を、前回の再度のカラー閾値処理が実施された画素に限って行うことを特徴としたものである。
【００１８】
請求項５の発明は、請求項１乃至４のいずれか１の発明において、前記修正した裏写り除去画像を生成する際に、前記ウィンドウの大きさを前回の処理よりも小さく設定することを特徴としたものである。
【００１９】
請求項６の発明は、紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出するエッジ検出手段と、該エッジ検出手段により検出したエッジの強度の低い部分に対する前記紙の背景色又は前記片面側の背景色画像を推定する背景色推定手段と、前記原画像において、裏写り成分である前記エッジ強度の低い部分を前記背景色推定手段で推定した背景色又は背景色画像に置き換える画像置き換え手段とを有し、該画像置き換え手段により前記裏写り成分を除去して裏写り除去画像を生成するカラー画像処理装置において、前記裏写り除去画像のエッジを検出し、該検出した裏写り除去画像のエッジと前記原画像のエッジの分布を比較し、前記原画像に存在しないエッジを決定するエッジ決定手段と、前記裏写り除去画像において、前記原画像に存在しないエッジの周囲について、裏写り除去画像を修正する裏写り除去画像修正手段とを有し、該裏写り除去画像修正手段は、矩形領域設定手段と背景色推定手段と画素置き換え手段とを有し、前記矩形領域設定手段は、前記裏写り除去画像において、前記原画像に存在しないエッジを構成する各画素の周囲に矩形領域を設定し、前記背景色推定手段は、その矩形に含まれ、かつ、前記原画像のエッジ強度から得られるｏｆｆ画素の領域に対し、予め決められた大きさのウィンドウを設定するウィンドウ設定手段と、各ウィンドウ内の画素を２つの色に分類するカラークラスタリング手段とを有し、該２つの色のうち輝度の大きい方の色を背景色と推定し、前記画素置き換え手段は、該背景色推定手段で推定した背景色で前記ウィンドウ内の画素の色を置き換えることを特徴としたものである。
【００２０】
請求項７の発明は、請求項６の発明において、前記エッジ決定手段は、各画素について、前記裏写り除去画像で計算されたエッジ強度から前記原画像で計算されたエッジ強度を差し引き、その値が予め決めた閾値以上のものを、前記裏写り除去画像において、前記原画像に存在しないエッジと決定することを特徴としたものである。
【００２１】
請求項８の発明は、請求項６又は７の発明において、前記裏写り除去画像修正手段は、前記裏写り除去画像において、前記矩形領域設定手段により設定された矩形に含まれる前記原画像のエッジ強度から得られるｏｆｆ画素領域に対して、横方向の各ラインにランを構成する横ラン構成手段と、縦方向の各ラインにランを構成する縦ラン構成手段とを有し、前記背景色推定手段は、前記横ラン構成手段（又は縦ラン構成手段）により構成された該横（又は縦）方向のランを用いて前記背景色又は背景色画像を推定し、さらに、該推定した該横（又は縦）方向の背景色又は背景色画像に対して、前記縦ラン構成手段（又は横ラン構成手段）により構成された縦（又は横）方向のランを用いて背景色又は背景色画像を推定し、前記画素置き換え手段は前記ｏｆｆ画素で、かつ、前記矩形領域に属する画素に対応する前記原画像の画素を前記背景色推定手段で推定した縦（又は横）方向の背景色又は背景色画像の画素で置き換えることを特徴としたものである。
【００２２】
請求項９の発明は、請求項６乃至８のいずれか１の発明において、前記裏写り除去画像のエッジと前記原画像のエッジの分布の比較を、前記裏写り除去画像修正手段による前回の処理が実施された画素に限って行うことを特徴としたものである。
【００２３】
請求項１０の発明は、請求項６乃至９のいずれか１の発明において、前記ウィンドウ設定手段は、前記裏写り除去画像を修正する際に、前記ウィンドウの大きさを前回の処理よりも小さく設定することを特徴としたものである。
【００２４】
請求項１１の発明は、請求項１乃至５のいずれか１に記載のカラー画像処理方法を実行させるための、又は、請求項６乃至１０のいずれか１に記載のカラー画像処理装置の機能を実現させるためのプログラムである。
【００２５】
請求項１２の発明は、請求項１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００２６】
【発明の実施の形態】
実際に裏写り処理が利用される場面としては、デジタルカラーコピアへの組み込み、スキャナ，デジタルカメラのアプリケーション・ソフトウェア、カラー文書画像解析・認識システムにおける前処理のような状況・環境が想定される。このように多様な状況・環境を考慮して、本発明では、次のようなアプローチでカラー画像の裏写り対応の問題を検討した。
【００２７】
（１）裏面の画像情報を使わずに、表の画像だけを用いる方法：
両面の画像を入力し、表の画像から裏面の画像を差し引く方法は、高精度の位置合わせ技術を必要とする。一般に、光学的・機械的要因によって、入力画像には非線形の幾何学的変換が加わっていることが多いため、両面スキャナやブックスキャナ等の特殊入力機器以外では、この方法を用いることは難しい。したがって、裏面の画像情報を使わずに、表面の画像だけを用いる方法を主に探索し、その上で、片面の画像情報だけでは対処できない問題点を裏面の画像情報で補うようにした。
【００２８】
（２）局所的オペレーションによる方法：
実装方法としては、ＰＣやＷＳ上のソフトウェアと、デジタルカラーコピアなどへの組み込みが考えられる。これらの間では、ワーキングメモリ（一時に処理できるライン数）などの制約が大きく異なる。ＰＣやＷＳ上のソフトウェアでは、画像全体の情報をランダムにアクセスできる反面、組み込み装置では、局所的な情報アクセスしか許されないことが通常である。そこで、画像の局所的オペレーションによる方法を主に探索した。
【００２９】
（３）大局的オペレーションによるの処理パラメータの最適設定：
画像処理アルゴリズム／システムには必然的に演算効果を規定するパラメータの設定が付きものである。そのようなパラメータの中には、画像ごとに異なる設定を必要とするものがある。画像全体の情報の利用が可能な場合には、大局的な画像オペレーションによってパラメータを最適設定する方法を取り入れることができる。
【００３０】
上述のごときアプローチによって、特殊な入力デバイスに依存することなく、汎用性が高く、しかも、紙の片面の画像情報だけを用いて、カラー画像から裏写りを除去することが可能になる。
【００３１】
図１は、本発明の一実施形態によるカラー画像処理装置を説明するためのモジュール構成図である。本実施形態において、スキャナ，デジタルカメラ等の画像入力機器１から入力されたカラー画像は、ＲＡＭ６に蓄積される。また、後述する一連の処理は、ＲＯＭ７に蓄積されたプログラムをＣＰＵ５が読み出すことによって実行される。また、処理の途中経過や途中結果は、ＣＲＴ等の表示装置２を通してユーザに提示され、必要な場合には、キーボード３からユーザが処理に必要なパラメータを入力指定する。後述する処理の実行中に作られる中間データ（縮小カラー画像，カラー変換画像，エッジ強度画像，二値エッジ画像，背景色画像，二値エッジ差分画像，裏写り除去画像，修正範囲指定画像等）はＲＡＭ６に蓄積され、必要に応じて、ＣＰＵ５によって読み出し、修正・書き込みが行われる。一連の処理の結果として生成された裏写り除去画像は、ＲＡＭ６から読み出されて、画像印刷機器（プリンタ）４に出力される。
【００３２】
図２は、本発明の一実施形態に係るカラー画像処理方法を説明するためのフロー図である。本発明は、主にデジタルカラー複写機の中の画像処理部に相当する。本発明の処理の前には、通常通り、Ａ／Ｄ変換，濃度補正などの前処理が、後には中間調処理などが行われる。
【００３３】
スキャナ１によってカラー画像が入力されると（ステップＳ１）、まず、その画像を縮小する（ステップＳ２）。原画像を縮小して作られる画像を処理することにより、処理を高速化、ワーキングメモリの量を節約、実装を簡素化する。次に、カラー座標系を変換する（ステップＳ３）。ＲＧＢ空間は成分間の独立性が低いため、エッジ検出の精度やノイズへの頑健性が上がらないことがあるので、座標系を適当なものに変換して、エッジ検出の精度とノイズへの頑健性を向上させる。
【００３４】
続いて、エッジ強度計算を行う（ステップＳ４）。エッジ強度検出を用いることにより、結果的にテキストや線画などのカラー文書の前景部分や、裏写り部分よりも輝度が高い（色が薄い）背景部分を保持することができる。次に、二値化処理を行ってエッジを検出し（ステップＳ５）、エッジ以外の領域に対して、カラー閾値処理を実行する（ステップＳ６）。裏面の画像入力・蓄積をすることをせずに、裏写り部分を修正することができる。カラー閾値処理により、表面と裏写り部分を分別できるとともに、色を具体的に推定できる。除去する裏写り部分の大きさを、設定するウィンドウのサイズにより、明示的に指定することができる。処理が局所的演算によるために、ワーキングメモリの量の節約や実装の簡素化につながる。次に、カラー閾値処理により推定した背景色画像をもとに、裏写り除去画像を合成する（ステップＳ７）。
【００３５】
続いて、裏写り除去画像のエッジ強度を計算し（ステップＳ８）、原画像と裏写り除去画像についてエッジ強度差分画像を生成する（ステップＳ９）。処理結果として作られる画像と原画像を比較して、不適切な処理により画像が劣化している個所を簡単な操作により検出できる。その個所の周囲で処理を再度実行することにより、画像の劣化を防ぎ、処理結果を向上させることができる。次に、エッジ強度差分を二値化処理し（ステップＳ１０）、処理スケール（ウィンドウサイズ）を縮小して、ステップＳ６と同様にカラー閾値処理して背景色画像を推定し（ステップＳ１１）、裏写り除去画像を合成する（ステップＳ１２）。小さいウィンドウサイズを用いた修正カラー閾値処理に関し、除去するべき裏写り部分の大きさは、表面の画像の局所的性質（複雑さなど）に依存するが、複雑な部分ではウィンドウのサイズによって決まる、除去する裏写り部分の大きさを小さくすることにより、表面の画像の劣化を防止することが可能である。なお後述するように、本発明においては原画像に存在しないエッジを構成する各画素の周囲に矩形領域を設定し、その中でこの修正カラー閾値処理を行うようにしている。
【００３６】
続いて、裏写り除去画像と縮小原画像の差分計算により裏写り部分を推定（判定）する（ステップＳ１３）。最後に、元の解像度の原画像での裏写り部分を除去し（ステップＳ１４）、プリンタに画像を出力する（ステップＳ１５）。
【００３７】
次に、本発明によるカラー画像処理方法の特徴を説明する。
（１）カラーエッジ強度の利用：
裏写り部分は、紙を透過してから入力されるため、ローパス・フィルタが作用していることになる。このフィルタの特性は、紙の物理的性質に依存するために、定量的に特定するのは難しいが、表の画像に比べて、裏写り部分のエッジ強度が弱いことを仮定することは自然である。また、高精度のエッジ強度計算のためには、単純にＲＧＢの各成分で計算されたエッジ強度を足しあわせるのではなく、適切なカラー座標系変換とともに、３成分を組み合わせて用いるベクトル法によるエッジ検出「A. Cumani, "Edge detection in multispectral images," Graphical Models and Image Processing, vol. 53, no. 1, pp. 40 - 51, 1991.」、「H.-C. Lee and D.R. Cok, "Detecting boundaries in a vector field," IEEE Trans. Signal Processing, vol. 39, no. 5, pp. 1181 - 1194, 1991.」を活用するのが望ましい。さらに、エッジ強度に適当な閾値処理をすることで、裏写り部分のエッジを除去することが可能である。閾値の選択に当たっては、エッジ強度の分布を統計的に解析して自動的に設定するか、或いは、予め閾値を幾通りか用意しておいて、裏写りの程度や紙質に応じてユーザが設定する。
【００３８】
（２）領域選択的な局所的カラー閾値処理による背景色推定：
裏写り部分の中でも、特に、文字や線などの高周波成分を取り除くことを考える。今、画像内にその中にエッジが存在しないようなウィンドウを設定したとする。このウィンドウの中は、（ａ）裏写りが有るか、無いか、（ｂ）表面画像が単一色から成る領域か、（ｃ）表面画像の色がなだらかに変化している領域か、（ｄ）表面画像の重要なエッジを閾値処理により除去してしまったために複数の異なる色から構成される領域か、という観点により分類できる。
【００３９】
局所的に見ると、裏写り部分は、表の画像よりも輝度が低くなるのが通常である。そこで、ウィンドウの内部を２色に分類し、輝度が高い（明るい）方の色で、そのウィンドウ内部を置換えることにする。さらに、カラークラスタリングは、通常、反復計算を必要とするが、ここでは、画像の四元数表現とモーメント保持原理に基づく、高速カラー閾値化アルゴリズム「S.C. Pei and C.M. Cheng, "Color image processing by using binary quaternion-moment-preserving thresholding technique," IEEE Trans. Image Processing, vol. 8, no. 5, pp. 614 - 628, 1999.」を用いることにより、計算の効率化をはかる。また、処理の「スケール」を決めるために、ウィンドウの最大サイズＳを指定する。この操作によって、ウィンドウ内の領域が上記（ｂ）の性質をもつ場合には、裏写りが除去されることになる。しかし、上記（ｃ）や（ｄ）の性質をもつ領域にこの操作を行った場合、Ｓが大きすぎるときには画像の劣化・歪みが生じる。これへの対処は下記（４）で考慮する。
【００４０】
（３）画像の合成：
エッジ周辺については原画像を、それ以外の部分については上記（２）で推定した背景色を用いることによって、裏写り除去画像を合成する。
【００４１】
（４）多重スケールのエッジ差分解析による裏写り除去画像の修正：
上記（１）のオペレーションから明らかなように、裏写り除去画像に含まれるエッジは、原画像のエッジの部分集合になるはずである。画素ごとにみると、裏写り除去画像でのエッジ強度が、原画像でのそれよりも強いことはありえない。もし、原画像にないエッジが裏写り除去画像にあったとすると、それは、上記（２）の操作において、処理スケール（ウィンドウの最大サイズＳ）が大きすぎたことから生じる副作用である。これを修正するために、偽のエッジの周囲で、より小さいスケールで背景色推定をやり直すことにより、裏写り除去画像を修正する。画像ごとに適切な処理スケールを適応的に決めることが望ましいが、これは実際には難しい。したがって、ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅのストラテジーで、エッジ情報をもとにして、処理結果を原画像と比較しながら、適応的にスケールを決めて行く。
【００４２】
本発明の特徴は、サイズＳのウィンドウを用いた局所的カラー閾値処理にある（詳しいフロー図にて後述する）。このパラメータＳは、除去したい裏写り部分の最大サイズを意味し、大よそＳ×Ｓの矩形内のサイズの裏写り部分を検出する。また、Ｓの値は、画像が複雑な部分と滑らかな部分では異なり、適応的に調整することが必要となる。そこで、本発明では、原画像でのエッジ強度と裏写り除去画像でのエッジ強度を比較することによって、Ｓの値を調整して、局所的カラー閾値を行う処理を取り入れている。
【００４３】
さらに、もう一つの特徴は、縮小した画像（例えば、４×４画素ごとの色の平均値を１画素の色にすることによって、400dpiを100dpiに縮小）を用いることによって、処理を高速化することである。例えば、２ｍｍ程度の大きさの裏写りを除去したい場合には、100dpiへの縮小画像では、Ｓは８画素になる。
【００４４】
図３は、本発明の一実施形態に係るカラー画像処理方法を詳細に説明するためのフロー図で、図３に沿ってアルゴリズムの各部分について詳細に説明する。
まず、ステップＳ３１において、スキャナ等で読み取ったカラー画像の解像度を縮小して、カラー画像Ｉ（ＲＧＢ）を出力する。
【００４５】
（カラー座標変換）
次に、カラー画像Ｉを別のカラー座標系に座標変換し、変換カラー画像Ｉ₀とする（ステップＳ３２）。ＲＧＢ空間は成分間の独立性が低いため、エッジ検出の精度が上がらないことがあるので、カラー座標を、例えば、式（１）のＹＣｂＣｒ、或いは、式（２）の疑似ＫＬカラー座標系に変換する。
【００４６】
【数１】

【００４７】
（エッジ検出）
続いて、変換カラー画像Ｉ₀に対してエッジ検出を行い、エッジ強度画像Ｅ₀を生成する（ステップＳ３３）。カラー画像からのエッジ検出としては、各成分についてＳｏｂｅｌオペレータなどによって計算されたエッジ強度の二乗和の平方根をとるのがもっとも単純な方法である。他に、前述の文献「Edge detection in multispectral images （A. Cumani）」、「Detecting boundaries in a vector field （H.-C. Lee and D.R. Cok）」に挙げられているようなベクトル法によるエッジ検出方法があり、単純な方法よりもノイズに対する頑健性が優れていることが知られている。ベクトル法によるエッジ検出方法では、各成分について計算されたエッジ強度の組み合わせにおいて、単純に二乗和の平方根をとるのではなく、成分間の相関関係も考慮するのが特徴である。具体的には、ｕ（ｘ，ｙ），ｖ（ｘ，ｙ），ｗ（ｘ，ｙ）を色の３成分として、ｐ（式（３）），ｔ（式（４）），ｑ（式（５））で定義すると、画素（ｘ，ｙ）でのエッジ強度は、式（６）で与えられる。
【００４８】
【数２】

【００４９】
図４は裏写りのあるカラー画像の例を示す図で、図５は図４の画像に対するベクトルＳｏｂｅｌオペレータによって生成されたエッジ強度画像Ｅ₀を示す図である。図５においては、強度が大きい画素を黒で表示している。
【００５０】
（エッジ強度の閾値処理及び膨張処理）
続いて、エッジ強度画像Ｅ₀に対して、エッジ強度の閾値処理及び膨張処理をを施し、二値エッジ画像Ｆ₀を生成する（ステップＳ３４）。エッジ強度の閾値処理における閾値は、強度分布を統計的に解析して自動的に設定するか、或いは、予め閾値を幾通りか用意しておいて、裏写りの程度や紙質に応じてユーザが設定する。
【００５１】
図６は、図５においてカラーエッジ強度の二値化処理を施した結果を示す図である。二値エッジ画像Ｆ₀では、エッジ強度が閾値以上の画素がｏｎ、それ以外がｏｆｆになる。また、二値エッジ画像Ｆ₀において、ｏｎの画素に対して、適宜、膨張処理を施す。
【００５２】
（局所的カラー閾値処理による背景色推定）
続いて、二値エッジ画像Ｆ₀がｏｆｆの領域に対する変換カラー画像Ｉ₀の局所的カラー閾値処理を行い、背景色画像Ｂ₀を生成する（ステップＳ３５）。すなわち、二値エッジ画像Ｆ₀上のｏｆｆの画素領域について、局所的に背景色を推定する。さらに、原画像において、二値エッジ画像Ｆ₀がｏｆｆの画素をＢ₀に置換することによって、裏写り除去画像Ｊ₀を生成する（ステップＳ３６）。この局所的カラー閾値による背景色推定の処理をさらに詳細に説明する。
【００５３】
図７及び図８は、サイズＳのウィンドウを用いた局所的カラー閾値処理を詳細に説明するためのフロー図で、図７及び図８に沿って背景色推定処理を説明する。
この局所的カラー閾値処理は、パラメータをウィンドウサイズｓ，画像の幅ｗ，画像の高さｈとして、カラー原画像Ｉ及び二値エッジ画像Ｆを入力し、最終的な出力として背景色画像Ｊを生成する処理である。
【００５４】
まず、上述のパラメータ及び画像Ｉ，Ｆを入力する（ステップＳ５１）。次に画像の高さのカウント値ｈ０を０に設定する（ステップＳ５２）。ステップＳ５３において、ｈ０がｈ０＜ｈを満たしているかを判定し、高さｈ０がｈ以上であれば、後述するステップＳ７２に進む。ｈより小さければステップＳ５４において画像の幅のカウント値ｗ０を０に設定する。ステップＳ５５において、画像の幅ｗとｗ０を比較して、幅ｗ０がｗ以上であればｈ０を１だけインクリメントし（ステップＳ６３）、ステップＳ５３へと戻る。ｗ０がｗより小さければ次のステップＳ５６に進み、高さｈ０，幅ｗ０の二値エッジ画像Ｆ[ｈ０][ｗ０]が１、すなわちエッジをもつかを検出する。エッジが存在すれば、カラー原画像Ｉ[ｈ０][ｗ０]を背景色画像Ｊ[ｈ０][ｗ０]とし（ステップＳ５７）、ｗ０を１だけインクリメントして（ステップＳ５８）、ステップＳ５５に戻る。ステップＳ５６においてエッジが存在しなければ、カラー原画像Ｉから（ｈ０，ｗ０）を開始点として長さｔ＝ｓの横方向のランＲを抽出する（ステップＳ５９）。ただし、Ｆ［ｈ０］［ｊ］＝１（ｗ０＜ｊ＜ｗ０＋ｓ）となる画素がある場合、ｊ０をそのような画素でｊが最小のものとして、長さｔ＝ｊ０−ｗ０のランＲを抽出する。
【００５５】
次に、ランＲを二色に分類して輝度の高い方の色をｂと定義し（ステップＳ６０）、ｊ＝ｗ０，ｗ０＋１，・・・，ｗ０＋ｔ−１に対してＪ［ｈ０］［ｊ］をｂとする（ステップＳ６１）。続いて、ｗ０をｔだけインクリメントし（ステップＳ６２）、ステップＳ５５に戻る。最終的に、ｗ０＜ｗかつｈ０＜ｈを満たす間、この動作が繰り返され、以降、ステップＳ７２に続く。
【００５６】
次に、上述の横方向のランを抽出する方法と同様に、縦方向のランＲを抽出する。実際、ステップＳ５２〜Ｓ５６において縦方向と横方向の操作を入れ替えたステップＳ７２〜Ｓ７６を実行する。ステップＳ７６においてエッジが存在しなければ、背景色画像Ｊから（ｈ０，ｗ０）を開始点として長さｔ＝ｓの縦方向のランＲを抽出する（ステップＳ７９）。ただし、Ｆ［ｉ］［ｗ０］＝１（ｈ０＜ｉ＜ｈ０＋ｓ）となる画素がある場合、ｉ０をそのような画素でｉが最小のものとして、長さｔ＝ｉ０−ｈ０のランＲを抽出する。
【００５７】
次に、ランＲを二色に分類して輝度の高い方の色をｂと定義し（ステップＳ８０）、ｉ＝ｈ０，ｈ０＋１，・・・，ｈ０＋ｔ−１に対してＪ［ｉ］［ｗ０］をｂとする（ステップＳ８１）。続いて、ｈ０をｔだけインクリメントし（ステップＳ８２）、ステップＳ７５に戻る。最終的に、ｈ０＜ｈかつｗ０＜ｗを満たす間、この動作が繰り返され、その後、処理を終了する。以下に、上述のランの構成例を示す。
【００５８】
図９は、背景色を推定するためのランの構成例を示す図で、図９（Ａ）は横方向のランを、図９（Ｂ）は縦方向のランをそれぞれ示す図である。まず、図９（Ａ）に示すように、横方向の各ラインに対して、長さが最大Ｓで、その中に二値エッジ画像のｏｎ画素を含まないようなランを逐次構成する。各ランについて、ランを構成する画素を２つの代表色に分類する。このような「カラークラスタリング」は、通常、反復計算を必要とするが、ここでは、画像の四元数表現とモーメント保持原理に基づく、前述の高速カラー閾値化アルゴリズム（S.C. Pei and C.M. Cheng）を用いる。このアルゴリズムでは、２つの代表色と分類境界が、反復計算をせずに、ｃｌｏｓｅｄ−ｆｏｒｍの解として得られることが特徴である。このようにして計算された２つの代表色のうち、明るい方（輝度が高い）の色を、そのランを構成する各画素の色に設定する。このように横方向のランを用いた背景色推定処理をした画像Ｂ'が選られる。
【００５９】
なお、一般的に裏写り部分（裏写り領域）のエッジは表の画像のエッジよりも弱いので、エッジを閾値処理した結果、裏写り部分は「エッジがない領域」に含まれる。裏写り部分は表の背景色より濃度が低い（暗い色）にあるので、Ｓ×Ｓの領域に対して、「二色化処理（領域内の２つの代表色を計算）」を行い、明るい方の色で、その領域を置換える処理を行う。これにより、大きさがＳ×Ｓ程度以下の裏写り部分が除去される。
【００６０】
ここで、エッジがあるために、Ｓ×Ｓの矩形をその中にエッジが入らない様に配置することは難しい。そこで、上述のごとく、まず、背景色を推定するための横方向のランを構成する（図９（Ａ））。ランの最大の長さはＳで、ランの中に二値エッジ画像のｏｎ画素が入らないように、ランを構成する。各ランにおいて、「二色化処理（領域内の２つの代表色を計算）」に行い、明るい方の色で、その領域を置換える処理を行う。その結果生成された画像に対して、今度は、同様に縦方向のランを構成し、横方向の場合と同様の処理を行う（図９（Ｂ））。
【００６１】
図１０は、局所的カラー閾値処理による背景色推定処理の結果の画像を示す図で、図１０（Ａ）は図４の画像についてＳを２ｍｍにとり、横ランを用いた背景色推定処理をした結果の画像を示す図、図１０（Ｂ）は図１０（Ａ）の背景色画像に対して、さらに縦ランを用いた背景色推定処理をした結果の画像を示す図である。
【００６２】
さらに、図９（Ｂ）に示すように、縦方向のランを構成し、生成された画像Ｂ'に対して、上記のような背景色推定処理を施す。この結果生成される背景色画像Ｂ（図７及び図８におけるフロー図においては、Ｊとして説明してある）の各画素の輝度は、Ｂ'よりも高く（明るく）なる。
【００６３】
このようにして、横方向と縦方向のランに背景色推定処理を施すことにより、背景色画像Ｂ₀が生成される（図３のステップＳ３５）。さらに、原画像において、二値エッジ画像Ｆ₀がｏｆｆの画素をＢ₀に置換することによって、裏写り除去画像Ｊ₀が得られる（ステップＳ３６）。
図１１は、サイズＳを２ｍｍにとったときの図４の画像に対する裏写り除去画像Ｊ₀を示す図である。
【００６４】
（多重スケールのエッジ差分解析による裏写り除去画像の修正）
図３のフローを参照して、引き続き、多重スケールのエッジ差分解析による裏写り除去画像の修正を説明する。ウィンドウサイズＳを縮小（本実施形態ではＳ／２）し（ステップＳ３７）、Ｓ≧１画素かどうかを判定し（ステップＳ３８）、Ｓが１画素よりも小さければ、ステップＳ４３以降の処理に進む。Ｓ≧１であった場合、ここで説明する多重スケールのエッジ差分解析による裏写り除去画像の修正を行う。
【００６５】
ステップＳ３７からＳ４２の反復処理においては、修正処理が必要な範囲を指定するための「修正範囲指定画像」Ｍを用いる。Ｍにおいて、修正処理が行われる画素がｏｎ画素、行われない画素がｏｆｆ画素と呼ぶことにする。Ｍの設定は後述する背景色推定処理（ステップＳ４１）で行われる。初期状態（ステップＳ３６の実行直後）では、すべての画素がｏｎ画素になっている。各画素に対して、裏写り除去画像Ｊ₀に対するエッジを検出する（ステップＳ３９）。
【００６６】
ここでは、Ｍにおいてｏｎ画素である画素についてのみ、エッジ強度を実際に裏写り画像から計算し、それ以外の画素についてはエッジ強度を０に設定する。そこで計算されたエッジ強度Ｅ₁から原画像のエッジ強度Ｅ₀を引くことにより、エッジ差分画像を生成する（ステップＳ４０）。大半の画素では、差分（残差）が０以下の値になる。エッジ差分画像を二値化処理し、二値エッジ差分画像Ｄを生成する。差分が閾値以上の画素がｏｎ、それ以外がｏｆｆになる。
【００６７】
図１２は、図３における、修正範囲指定画像を用いたエッジ強度画像生成処理を詳細に説明するためのフロー図である。
図３のステップＳ３９におけるエッジ強度画像生成処理は、パラメータを画像の幅ｗ，画像の高さｈとして、裏写り除去画像Ｊ及び修正範囲指定画像Ｍを入力し、最終的な出力としてエッジ強度画像Ｅを生成する処理である。
まず、上述のパラメータ及び画像Ｊ，Ｍを入力する（ステップＳ９１）。次に画像の高さのカウント値ｈ０を０に設定する（ステップＳ９２）。ステップＳ９３において、ｈ０がｈ０＜ｈを満たしているかを判定し、高さｈ０がｈ以上であれば処理を終了する。すなわち、ｈ０がｈを越えるまで以下の処理を継続する。ｈ０がｈより小さければステップＳ９４において画像の幅のカウント値ｗ０を０に設定する。ステップＳ９５において、画像の幅ｗとｗ０を比較して、幅ｗ０がｗ以上であればｈ０を１だけインクリメントし（ステップＳ１００）、ステップＳ９３へと戻る。ｗ０がｗより小さければ次のステップＳ９６に進み、高さｈ０，幅ｗ０の修正範囲指定画像Ｍ[ｈ０][ｗ０]がｏｎであるかを判断する。Ｍがｏｎであれば、裏写り除去画像Ｊ［ｈ０］[ｗ０]についてエッジ強度を計算し、エッジ強度画像Ｅ[ｈ０][ｗ０]に代入し（ステップＳ９７）、ｗ０を１だけインクリメントして（ステップＳ９９）、ステップＳ９５に戻る。ステップＳ９６においてＭがｏｆｆであれば、エッジ強度画像Ｅ[ｈ０][ｗ０]に０を代入し（ステップＳ９８）、ステップＳ９９へ進む。
【００６８】
図１３は、サイズＳを２ｍｍにとったときの図１１の画像に対する二値エッジ差分画像Ｄを示す図である。図１３において、図１１における下側の円弧の部分に代表されるように、図１１の裏写り除去画像Ｊ₀に対するエッジ強度Ｅ₁と図５のエッジ強度Ｅ₀の差分を二値化してエッジがないとみなされた所は、エッジとして残っていない。その逆に、エッジとして残っている部分はｏｎ画素として以下の背景色推定処理へ進む。
【００６９】
図３におけるステップＳ３７において半分にした新しいＳの値を用いて、二値エッジ差分画像Ｄでｏｎの画素の周囲に対して、背景色推定処理を実行し、背景色画像Ｂ₁を生成する（ステップＳ４１）。
図１４乃至図１６は、サイズＳのウィンドウを用いた局所的カラー閾値処理を詳細に説明するためのフロー図で、図１７は、図１４乃至図１６の処理を用いて図１３の二値エッジ差分画像から得られる修正範囲指定画像を示す図である。
ここでの局所的カラー閾値処理は、パラメータをウィンドウサイズｓ，画像の幅ｗ，画像の高さｈとして、カラー原画像Ｉ及び二値エッジ画像Ｆを入力し、最終的な出力として背景色画像Ｊ及び修正範囲指定画像Ｍを生成する処理である。
【００７０】
まず、修正処理が必要な範囲を指定するために、修正範囲指定画像Ｍを作成する。ここでは、Ｍについて、すべての画素をｏｆｆ画素に初期設定する。二値エッジ差分画像Ｄの各ｏｎ画素を囲む大きさ（２ａ・ｓ＋１）×（２ａ・ｓ＋１）（ただし、ａは１より大きい定数）の正方形領域内の画素について、Ｍをｏｎ画素に設定していく。
この修正範囲指定画像Ｍの生成処理を図１４に基づいて詳細に説明する。まず、上述のパラメータ及び画像Ｉ，Ｆ，Ｄを入力する（ステップＳ１０１）。次に初期設定を行う。すなわち０≦ｉ＜ｈ，０≦ｊ＜ｗについて修正範囲指定画像Ｍ［ｉ］［ｊ］をｏｆｆとする（ステップＳ１０２）。画像の高さのカウント値ｈ０を０に設定する（ステップＳ１０３）。ステップＳ１０４において、ｈ０がｈ０＜ｈを満たしているかを判定し、高さｈ０がｈ以上であれば図１５のステップＳ１１２へ進む。すなわち、ｈ０がｈを越えるまで以下の修正範囲指定画像作成処理を継続する。ｈ０がｈより小さければステップＳ１０５において画像の幅のカウント値ｗ０を０に設定する。ステップＳ１０６において、画像の幅ｗとｗ０を比較して、幅ｗ０がｗ以上であればｈ０を１だけインクリメントし（ステップＳ１１０）、ステップＳ１０４へと戻る。ｗ０がｗより小さければ次のステップＳ１０７に進み、高さｈ０，幅ｗ０の二値エッジ差分画像Ｄ[ｈ０][ｗ０]がｏｎであるかを判断する。Ｄがｏｎであれば、（ｈ０−ａ・ｓ）≦ｉ≦（ｈ０＋ａ・ｓ）、（ｗ０−ａ・ｓ）≦ｊ≦（ｗ０＋ａ・ｓ）についてＭ［ｉ］［ｊ］をｏｎに設定し（ステップＳ１０８）、ｗ０を１だけインクリメントして（ステップＳ１０９）、ステップＳ１０６に戻る。ステップＳ１０７においてＤがｏｆｆであれば、ステップＳ１０９へ進む。図１３の二値エッジ差分画像から得られる修正範囲指定画像を図１７に示している。
【００７１】
その後、図１５及び図１６に示すように、図７及び図８におけるステップＳ５１〜Ｓ８２と同様な背景色推定処理を行う。ここでの違いは、推定処理を二値エッジ画像がｏｆｆで、かつ、修正範囲指定画像がｏｎであるような画素についてのみ、カラー閾値処理を施すことである。なお、ここで計算された修正範囲指定画像Ｍは、次回の反復処理における、裏写り除去画像Ｊ₀に対するエッジ検出（ステップＳ３９）において、そのまま用いられる。修正範囲指定画像Ｍの利用により、エッジ強度計算とカラー閾値処理の計算回数を減らすことができるので、処理を効率化することができる。次に、裏写り除去画像Ｊ₀において、Ｄがｏｎの画素での近傍の（２ｓ＋１）×（２ｓ＋１）個の画素の色を、新しい背景色画像Ｂ₁での色に置き換える（ステップＳ４２）。
図１８は、図１３の黒画素の周囲に対してこの処理を適用した結果を示す図である。上述の修正処理は、Ｓが１画素未満になるまで、或いはエッジ差分画像の閾値処理の後、画素が残らなくなるまで、再帰的に繰り返す。
【００７２】
この局所的カラー閾値処理を図１５及び図１６に基づいて詳細に説明する。図１４におけるステップＳ１０４でｈ０≧ｈと判断されると、まず、画像の高さのカウント値ｈ０を０に設定する（ステップＳ１１２）。ステップＳ１１３において、ｈ０がｈ０＜ｈを満たしているかを判定し、高さｈ０がｈ以上であれば、後述する図１６のステップＳ１３２に進む。ｈより小さければステップＳ１１４において画像の幅のカウント値ｗ０を０に設定する。ステップＳ１１５において、画像の幅ｗとｗ０を比較して、幅ｗ０がｗ以上であればｈ０を１だけインクリメントし（ステップＳ１２３）、ステップＳ１１３へと戻る。ｗ０がｗより小さければ次のステップＳ１１６に進み、高さｈ０，幅ｗ０の二値エッジ画像Ｆ[ｈ０][ｗ０]がｏｎ、すなわちエッジをもつか、或いは修正範囲指定画像Ｍ[ｈ０][ｗ０]がｏｆｆかを検出する。ステップＳ１１６においてＹＥＳであれば、カラー原画像Ｉ[ｈ０][ｗ０]を背景色画像Ｊ[ｈ０][ｗ０]とし（ステップＳ１１７）、ｗ０を１だけインクリメントして（ステップＳ１１８）、ステップＳ１１５に戻る。ステップＳ１１６においてＮＯであれば、カラー原画像Ｉから（ｈ０，ｗ０）を開始点として長さｔ＝ｓの横方向のランＲを抽出する（ステップＳ１１９）。ただし、Ｆ［ｈ０］［ｊ］＝ｏｎ、或いはＭ［ｈ０］［ｊ］＝ｏｆｆ（ｗ０＜ｊ＜ｗ０＋ｓ）となる画素がある場合、ｊ０をそのような画素でｊが最小のものとして、長さｔ＝ｊ０−ｗ０のランＲを抽出する。
【００７３】
次に、ランＲを二色に分類して輝度の高い方の色をｂと定義し（ステップＳ１２０）、ｊ＝ｗ０，ｗ０＋１，・・・，ｗ０＋ｔ−１に対してＪ［ｈ０］［ｊ］をｂとする（ステップＳ１２１）。続いて、ｗ０をｔだけインクリメントし（ステップＳ１２２）、ステップＳ１１５に戻る。最終的に、ｗ０＜ｗかつｈ０＜ｈを満たす間、この動作が繰り返され、以降、ステップＳ１３２に続く。
【００７４】
次に、上述の横方向のランを抽出する方法と同様に、縦方向のランＲを抽出する。実際、ステップＳ１１２〜Ｓ１１６において縦方向と横方向の操作を入れ替えたステップＳ１３２〜Ｓ１３６を実行する。ステップＳ１３６においてエッジが存在しないか、修正範囲指定画像の範囲内であれば（ＮＯ）、背景色画像Ｊから（ｈ０，ｗ０）を開始点として長さｔ＝ｓの縦方向のランＲを抽出する（ステップＳ１３９）。ただし、Ｆ［ｉ］［ｗ０］＝ｏｎ、或いはＭ［ｉ］［ｗ０］＝ｏｆｆ（ｈ０＜ｉ＜ｈ０＋ｓ）となる画素がある場合、ｉ０をそのような画素でｉが最小のものとして、長さｔ＝ｉ０−ｈ０のランＲを抽出する。逆にステップＳ１３６においてＹＥＳであれば、ｈ０を１だけインクリメントし（ステップＳ１３８）、ステップＳ１３５へ戻る。
【００７５】
次に、ランＲを二色に分類して輝度の高い方の色をｂと定義し（ステップＳ１４０）、ｉ＝ｈ０，ｈ０＋１，・・・，ｈ０＋ｔ−１に対してＪ［ｉ］［ｗ０］をｂとする（ステップＳ１４１）。続いて、ｈ０をｔだけインクリメントし（ステップＳ１４２）、ステップＳ１３５に戻る。最終的に、ｈ０＜ｈかつｗ０＜ｗを満たす間、この動作が繰り返され、その後、処理を終了する。なお、上述のランの構成例は、図９に示してある。
【００７６】
最終的に裏写り除去画像Ｊ₀が生成されると、このカラー座標系を逆変換してＲＧＢに戻し（ステップＳ４３）、裏写り部分の同定を行う（ステップＳ４４）。裏写り部分同定は、裏写り除去画像Ｊ₀と縮小原画像の差分計算によって行う。実際、画素毎に、色の３成分での差分を計算し、差分を輝度に変換、または、ユークリッド距離、Ｌａｂ色空間などの距離を計算する。その距離を閾値処理することにより、裏写り部分を検出する。
【００７７】
最後に、元の解像度の原画像で、裏写り部分と判定された画素を、裏写り除去画像での色に置き換える処理を行う（ステップＳ４５）。この置き換え処理では、縮小画像から得られた裏写り除去画像上での画素の色を、元の解像度の原画像上の対応する領域に割り当てる。例えば、100dpiの縮小画像の１画素は原画像の４×４画素に対応する。
【００７８】
図１９は、図４の画像に対する処理結果を示す図で、図２０は、除去された成分を示すために、図４と図１９の画像の差分をとったものをグレースケールで表示した図である。
【００７９】
以上、本発明によるカラー画像処理方法に関して詳細に説明してきたが、次に本発明によるカラー画像処理装置としての実施形態を説明する。なお、細部はカラー画像処理方法として上述の各実施形態で説明しており省略する。
図２１は、本発明の一実施形態におけるカラー画像処理装置の構成を示す図である。本実施形態のカラー画像処理装置１０は、紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出するエッジ検出手段１１と、エッジ検出手段１１により検出したエッジの強度の低い部分に対する紙の背景色又は片面側の背景色画像を推定する背景色推定手段１２と、原画像において、裏写り成分であるエッジ強度の低い部分を背景色推定手段１２で推定した背景色又は背景色画像に置き換える画像置き換え手段１３とを有し、画像置き換え手段１３により、裏写り成分を除去して裏写り除去画像を生成するようにしている。さらに、エッジ検出手段１１や他のエッジ検出手段により裏写り除去画像のエッジを検出し、検出した裏写り除去画像のエッジと原画像のエッジの分布を比較し、原画像に存在しないエッジを決定するエッジ決定手段１４と、裏写り除去画像において、原画像に存在しないエッジの周囲について、裏写り除去画像を修正する裏写り除去画像修正手段１５とを有するものとする。
【００８０】
裏写り除去画像修正手段１５は、矩形領域設定手段１６と背景色推定手段１７と画素置き換え手段１８とを有するが、当然、矩形領域設定手段１６はエッジ決定手段１４に含むよう構成してもよいし、背景色推定手段１２，１７は共通のものでもよい。さらに、画素置き換え手段１８も画像置き換え手段１３と共通とするか、或いは画像置き換え手段１３に含むように構成してもよい。矩形領域設定手段１６は、裏写り除去画像において、原画像に存在しないエッジを構成する各画素の周囲に矩形領域を設定する。背景色推定手段１７は、その矩形に含まれ、かつ、原画像のエッジ強度から得られるｏｆｆ画素の領域に対し、予め決められた大きさのウィンドウを設定するウィンドウ設定手段１９と、各ウィンドウ内の画素を２つの色に分類するカラークラスタリング手段２０とを有し、その２つの色のうち輝度の大きい方の色を背景色と推定する。画素置き換え手段１８は、背景色推定手段１７で推定した背景色でウィンドウ内の画素の色を置き換える。なお、裏写り除去画像を最初に生成する際に、ウィンドウ設定手段１９及びカラークラスタリング手段２０やそれらと同等の手段を用いてもよい。
【００８１】
さらに、エッジ決定手段１４を、各画素について、裏写り除去画像で計算されたエッジ強度から前記原画像で計算されたエッジ強度を差し引き、その値が予め決めた閾値以上のものを、裏写り除去画像において、原画像に存在しないエッジと決定するような手段としてもよい。
【００８２】
図２２は、本発明の他の実施形態におけるカラー画像処理装置の構成を示す図である。本実施形態におけるカラー画像処理装置１０′は、図２１で示したカラー画像処理装置１０において、裏写り除去画像修正手段１５に、裏写り除去画像において、矩形領域設定手段１６により設定された矩形に含まれる原画像のエッジ強度から得られるｏｆｆ画素領域に対して、横方向の各ラインにランを構成する横ラン構成手段２１と、縦方向の各ラインにランを構成する縦ラン構成手段２２とを有する裏写り除去画像修正手段１５′を備えたものである。背景色推定手段１７′は、横ラン構成手段２１（又は縦ラン構成手段２２）により構成された該横（又は縦）方向のランを用いて背景色又は背景色画像を推定し、さらに、推定した該横（又は縦）方向の背景色又は背景色画像に対して、縦ラン構成手段２２（又は横ラン構成手段２１）により構成された縦（又は横）方向のランを用いて背景色又は背景色画像を推定する。画素置き換え手段１８は、ｏｆｆ画素で、かつ、矩形領域に属する画素に対応する原画像の画素を背景色推定手段１７′で推定した縦（又は横）方向の背景色又は背景色画像の画素で置き換える。なお、裏写り除去画像を最初に生成する際に、横ラン構成手段２１及び縦ラン構成手段２２やそれらと同等の手段を用いてもよい。
【００８３】
さらに、裏写り除去画像のエッジと原画像のエッジの分布の比較を、裏写り除去画像修正手段１５，１５′による前回の処理が実施された画素に限って行うようにしてもよい。また、ウィンドウ設定手段１９は、裏写り除去画像を修正する際に、ウィンドウの大きさを前回の処理よりも小さく設定するようにすればよい。
【００８４】
以上、本発明のカラー画像処理方法及び装置を説明してきたが、本発明の実施形態としては、コンピュータに、これらのカラー画像処理方法を実行させるための、或いはカラー画像処理装置として機能させるためのプログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体としても可能である。
【００８５】
【発明の効果】
本発明によれば、以下の効果がある。
（１）エッジ強度検出を用いることにより、テキストや線画などのカラー文書の前景部分や、裏写り部分よりも輝度が高い（色が薄い）背景部分を保持することができる。
（２）カラー閾値処理により、裏面の画像入力・蓄積をすることをせずに、裏写り部分を修正することができる。さらに、表面と裏写り部分を分別できるとともに、色を具体的に推定できる。除去する裏写り部分の大きさを、設定するウィンドウのサイズにより、明示的に指定することができるとともに、処理が局所的演算によるために、ワーキングメモリの量の節約や実装の簡素化につながる。
【００８６】
（３）原画像と裏写り除去画像についてエッジ差分画像を生成することにより、すなわち、原画像と処理結果として作られる画像を比較して不適切な処理によって画像が劣化している個所を簡単な操作により検出でき、その個所の周囲で処理を再度実行することにより、画像の劣化を防ぎ、処理結果を向上させることができる。
（４）除去するべき裏写り部分の大きさは、表面の画像の局所的性質（複雑さなど）に依存するが、複雑な部分ではウィンドウのサイズによって決まる除去する裏写り部分の大きさを小さくすること（小さいウィンドウサイズを用いた修正カラー閾値処理）により、表面の画像の劣化を防止できる。
【００８７】
（５）成分間の独立性が低く、エッジ検出の精度やノイズへの頑健性が上がらないことがあるＲＧＢ空間のカラー座標系を、適当なものに変換することにより、エッジ検出の精度及びノイズへの頑健性が向上する。
（６）低解像度の画像を作って、それに裏写り除去処理を施し、原画像との比較によって裏写り部分を検出し、検出部分について色を置き換えることにより、すなわち、原画像を縮小して作られる画像を処理することにより、処理を高速化、ワーキングメモリの量を節約、実装を簡素化することが可能である。
（７）特殊な入力機器を必要としないため、汎用の画像入力機器に適用できる。
【００８８】
本発明によれば、上記（１）乃至（７）の効果を得たカラー画像処理方法、装置、プログラム、及び記録媒体において、裏写り除去処理の結果、不適切な処理により画像が劣化した部分を修正する際に、修正処理が必要な範囲を予め絞り込んでから処理を施すことにより、エッジ強度計算とカラー閾値処理の計算回数を減らし、処理を効率化することができる。
【図面の簡単な説明】
【図１】 本発明の一実施形態によるカラー画像処理装置を説明するためのモジュール構成図である。
【図２】 本発明の一実施形態に係るカラー画像処理方法を説明するためのフロー図である。
【図３】 本発明の一実施形態に係るカラー画像処理方法を詳細に説明するためのフロー図である。
【図４】 裏写りのあるカラー画像の例を示す図である。
【図５】 図４の画像に対するベクトルＳｏｂｅｌオペレータによって生成されたエッジ強度画像を示す図である。
【図６】 図５においてカラーエッジ強度の二値化処理を施した結果を示す図である。
【図７】 サイズＳのウィンドウを用いた局所的カラー閾値処理を詳細に説明するためのフロー図である。
【図８】 サイズＳのウィンドウを用いた局所的カラー閾値処理を詳細に説明するためのフロー図である。
【図９】 背景色を推定するためのランの構成例を示す図である。
【図１０】 局所的カラー閾値処理による背景色推定処理の結果の画像を示す図である。
【図１１】 サイズＳを２ｍｍにとったときの図４の画像に対する裏写り除去画像を示す図である。
【図１２】 図３における、修正範囲指定画像を用いたエッジ強度画像生成処理を詳細に説明するためのフロー図である。
【図１３】 サイズＳを２ｍｍにとったときの図１１の画像に対する二値エッジ差分画像を示す図である。
【図１４】 サイズＳのウィンドウを用いた局所的カラー閾値処理を詳細に説明するためのフロー図である。
【図１５】 サイズＳのウィンドウを用いた局所的カラー閾値処理を詳細に説明するためのフロー図である。
【図１６】 サイズＳのウィンドウを用いた局所的カラー閾値処理を詳細に説明するためのフロー図である。
【図１７】 図１４乃至図１６の処理を用いて図１３の二値エッジ差分画像から得られる修正範囲指定画像を示す図である。
【図１８】 図１３の黒画素の周囲に対してこの処理を適用した結果を示す図である。
【図１９】 図４の画像に対する処理結果を示す図である。
【図２０】 除去された成分を示すために、図４と図１９の画像の差分をとったものをグレースケールで表示した図である。
【図２１】 本発明の一実施形態におけるカラー画像処理装置の構成を示す図である。
【図２２】 本発明の他の実施形態におけるカラー画像処理装置の構成を示す図である。
【符号の説明】
１…画像入力機器（スキャナ）、２…表示装置（ＣＲＴ）、３…キーボード、４…画像印刷機器（プリンタ）、５…ＣＰＵ、６…ＲＡＭ、７…ＲＯＭ、１０，１０′…カラー画像処理装置、１１…エッジ検出手段、１２，１７，１７′…背景色推定手段、１３…画像置き換え手段、１４…エッジ決定手段、１５，１５′…裏写り除去画像修正手段、１６…矩形領域設定手段、１８…画素置き換え手段、１９…ウィンドウ設定手段、２０…カラークラスタリング手段、２１…横ラン構成手段、２２…縦ラン構成手段。

Claims (12)

1. 紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対してエッジを検出し、該検出したエッジの強度の低い部分に対する前記紙の背景色又は前記片面側の背景色画像を推定し、前記原画像において、裏写り成分である前記エッジ強度の低い部分を前記推定した背景色又は背景色画像に置き換えるカラー閾値処理を行うことにより、前記裏写り成分を除去した裏写り除去画像を生成するカラー画像処理方法において、
   前記裏写り除去画像のエッジを検出し、該検出した裏写り除去画像のエッジと前記原画像のエッジの分布を比較し、前記裏写り除去画像において、前記原画像に存在しないエッジを構成する各画素の周囲に矩形領域を設定し、その矩形に含まれ、かつ、前記原画像のエッジ強度から得られるｏｆｆ画素の領域に対し、予め決められた大きさのウィンドウを設定して、各ウィンドウ内の画素を２つの色に分類し、該２つの色のうち輝度の大きい方の色を背景色と推定し、該推定した背景色で前記ウィンドウ内の画素の色を置き換えることにより、前記原画像を前記背景色画像に置き換える、再度のカラー閾値処理を適用し、修正した裏写り除去画像を生成することを特徴とするカラー画像処理方法。
2. 請求項１に記載のカラー画像処理方法において、前記裏写り除去画像のエッジと前記原画像のエッジの分布の比較において、各画素について、前記裏写り除去画像で計算されたエッジ強度から前記原画像で計算されたエッジ強度を差し引き、その値が予め決めた閾値以上のものを、前記裏写り除去画像において、前記原画像に存在しないエッジと決めることを特徴とするカラー画像処理方法。
3. 請求項１又は２に記載のカラー画像処理方法において、前記裏写り除去画像において、前記設定された矩形に含まれ、かつ、前記原画像のエッジ強度から得られるｏｆｆ画素の領域に対して、横（又は縦）方向の各ラインにランを構成し、該横（又は縦）方向のランを用いて前記背景色又は背景色画像を推定し、さらに、該推定した該横（又は縦）方向の背景色又は背景色画像に対して、縦（又は横）方向の各ラインにランを構成し、該縦（又は横）方向のランを用いて背景色又は背景色画像を推定し、前記原画像のエッジ強度から得られるｏｆｆ画素で、かつ、前記矩形領域に属する画素に対応する前記原画像の画素を前記推定した縦（又は横）方向の背景色又は背景色画像の画素で置き換えることを特徴とするカラー画像処理方法。
4. 請求項１乃至３のいずれか１に記載のカラー画像処理方法において、前記裏写り除去画像のエッジと前記原画像のエッジの分布の比較を、前回の再度のカラー閾値処理が実施された画素に限って行うことを特徴とするカラー画像処理方法。
5. 請求項１乃至４のいずれか１に記載のカラー画像処理方法において、前記修正した裏写り除去画像を生成する際に、前記ウィンドウの大きさを前回の処理よりも小さく設定することを特徴とするカラー画像処理方法。
6. 紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出するエッジ検出手段と、該エッジ検出手段により検出したエッジの強度の低い部分に対する前記紙の背景色又は前記片面側の背景色画像を推定する背景色推定手段と、前記原画像において、裏写り成分である前記エッジ強度の低い部分を前記背景色推定手段で推定した背景色又は背景色画像に置き換える画像置き換え手段とを有し、該画像置き換え手段により前記裏写り成分を除去して裏写り除去画像を生成するカラー画像処理装置において、
   前記裏写り除去画像のエッジを検出し、該検出した裏写り除去画像のエッジと前記原画像のエッジの分布を比較し、前記原画像に存在しないエッジを決定するエッジ決定手段と、前記裏写り除去画像において、前記原画像に存在しないエッジの周囲について、裏写り除去画像を修正する裏写り除去画像修正手段とを有し、
   該裏写り除去画像修正手段は、矩形領域設定手段と背景色推定手段と画素置き換え手段とを有し、前記矩形領域設定手段は、前記裏写り除去画像において、前記原画像に存在しないエッジを構成する各画素の周囲に矩形領域を設定し、前記背景色推定手段は、その矩形に含まれ、かつ、前記原画像のエッジ強度から得られるｏｆｆ画素の領域に対し、予め決められた大きさのウィンドウを設定するウィンドウ設定手段と、各ウィンドウ内の画素を２つの色に分類するカラークラスタリング手段とを有し、該２つの色のうち輝度の大きい方の色を背景色と推定し、前記画素置き換え手段は、該背景色推定手段で推定した背景色で前記ウィンドウ内の画素の色を置き換えることを特徴とするカラー画像処理装置。
7. 請求項６に記載のカラー画像処理装置において、前記エッジ決定手段は、各画素について、前記裏写り除去画像で計算されたエッジ強度から前記原画像で計算されたエッジ強度を差し引き、その値が予め決めた閾値以上のものを、前記裏写り除去画像において、前記原画像に存在しないエッジと決定することを特徴とするカラー画像処理装置。
8. 請求項６又は７に記載のカラー画像処理装置において、前記裏写り除去画像修正手段は、前記裏写り除去画像において、前記矩形領域設定手段により設定された矩形に含まれる前記原画像のエッジ強度から得られるｏｆｆ画素領域に対して、横方向の各ラインにランを構成する横ラン構成手段と、縦方向の各ラインにランを構成する縦ラン構成手段とを有し、前記背景色推定手段は、前記横ラン構成手段（又は縦ラン構成手段）により構成された該横（又は縦）方向のランを用いて前記背景色又は背景色画像を推定し、さらに、該推定した該横（又は縦）方向の背景色又は背景色画像に対して、前記縦ラン構成手段（又は横ラン構成手段）により構成された縦（又は横）方向のランを用いて背景色又は背景色画像を推定し、前記画素置き換え手段は前記ｏｆｆ画素で、かつ、前記矩形領域に属する画素に対応する前記原画像の画素を前記背景色推定手段で推定した縦（又は横）方向の背景色又は背景色画像の画素で置き換えることを特徴とするカラー画像処理装置。
9. 請求項６乃至８のいずれか１に記載のカラー画像処理装置において、前記裏写り除去画像のエッジと前記原画像のエッジの分布の比較を、前記裏写り除去画像修正手段による前回の処理が実施された画素に限って行うことを特徴とするカラー画像処理装置。
10. 請求項６乃至９のいずれか１に記載のカラー画像処理装置において、前記ウィンドウ設定手段は、前記裏写り除去画像を修正する際に、前記ウィンドウの大きさを前回の処理よりも小さく設定することを特徴とするカラー画像処理装置。
11. 請求項１乃至５のいずれか１に記載のカラー画像処理方法を実行させるための、又は、請求項６乃至１０のいずれか１に記載のカラー画像処理装置の機能を実現させるためのプログラム。
12. 請求項１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images