JP4853653B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関するものである。

従来より、両面に画像がある原稿の画像を読み取った場合や、原稿を重ねて画像を読み取った場合に、読取対象面の画像だけでなく、裏面や他の原稿の画像が透けて読み取られてしまう、いわゆる裏写りが発生している。この裏写りを除去する技術の一つとして、原稿の両面の画像を読み込み、それら両面の画像を参照することで裏写りの除去を行うことも知られている。

片面のみの画像から裏写りを除去する方法としては、いわゆる下地除去処理を行うことにより実現していた。下地除去処理は、ある固定値もしくは検出された下地レベルに従って、読み取った画像に対して階調補正を行うものである。

また別の方法として、例えば特許文献１には、画像中のエッジを検出してエッジ以外の領域に対してカラー閾値処理を行って裏写りを除去することが記載されている。また、例えば特許文献２及び特許文献３には、画像に対して平滑化処理を行った後にエッジ検出を行い、文字や線、枠、絵柄部分以外の領域に対して裏写り除去処理を施すことが記載されている。さらに、例えば特許文献４には、エッジ検出の結果から文字や線、絵柄以外の領域を抽出するとともに、裏写りである可能性が高い画素の検出を行い、これらをもとに裏写り除去処理を施す領域を決定して裏写り除去処理を行うことが記載されている。さらにまた、例えば特許文献５には、裏写り除去処理を行った後の画像について修正の処理を施すことが記載されている。

特開２００１−１６９０８０号公報 特開２００２−２５２７４６号公報 特開２００２−２９０７４８号公報 特開２００２−３００３８２号公報 特開２００２−２５２７６６号公報

本発明は、エッジ領域付近においても正確に裏写りを除去することができる画像処理装置及び画像処理プログラムを提供することを目的とするものである。

本願請求項１に記載の発明は、画像中のエッジを判定するエッジ判定手段と、画像の裏写りしていないもとの色を推定する色推定手段と、エッジを保存しつつ平滑化処理を行う適応平滑化手段と、前記適応平滑化手段で平滑化されたエッジ領域の画像と前記色推定手段で色推定された非エッジ領域の画像を合成する合成手段を有し、前記適応平滑化手段は、前記エッジ判定手段によりエッジと判定された領域について平滑化処理を行い、前記色推定手段は、前記エッジ判定手段により非エッジと判定された領域について、処理対象の画素を含む所定の大きさの領域を注目ブロックとして色空間中の頻度値を求めて色値候補を選出し、該色値候補をもとに得た色を前記裏移りしていないもとの色として推定することを特徴とする画像処理装置である。

本願請求項２に記載の発明は、請求項１に記載の画像処理装置に、さらに、入力画像を縮小する縮小手段を有し、前記エッジ判定手段は、前記縮小手段によって縮小された画像を用いてエッジを判定するものであり、前記色推定手段は、前記縮小手段によって縮小された画像を用いて色の推定を行うことを特徴とする画像処理装置である。

本願請求項３に記載の発明は、請求項１に記載の画像処理装置に、さらに、入力画像を縮小する縮小手段を有し、前記色推定手段は、前記縮小手段によって縮小された画像を用いて色の推定を行うことを特徴とする画像処理装置である。

本願請求項４に記載の発明は、請求項１に記載の画像処理装置に、さらに、入力画像を縮小する第１及び第２の縮小手段を有し、前記エッジ判定手段は、前記第２の縮小手段によって縮小された画像を用いてエッジを判定するものであり、前記色推定手段は、前記第１の縮小手段によって縮小された画像を用いて色の推定を行うことを特徴とする画像処理装置である。

本願請求項５に記載の発明は、コンピュータに、請求項１ないし請求項４のいずれか１項に記載の画像処理装置の機能を実行させることを特徴とする画像処理プログラムである。

本願請求項１に記載の発明によれば、非エッジ領域に対する元の色の推定を行うとともに、エッジ領域についても、エッジが保存されたまま平滑化されることにより裏写りした画像を見えにくくし、エッジ領域付近においても裏写りを除去して画像全体として裏写りを除去することができるという効果がある。

本願請求項２に記載の発明によれば、本願請求項１に記載の発明の効果に加え、処理対象となる入力画像が網点画像を含む場合であっても、網点画像に左右されることなくエッジを検出することができ、また網点画像についても裏写りを除去することができる。

本願請求項３に記載の発明によれば、本願請求項１に記載の発明の効果に加え、処理対象となる入力画像が網点画像を含む場合であっても、裏写りを除去することができる。

本願請求項４に記載の発明によれば、本願請求項１に記載の発明の効果に加え、色の推定とエッジの判定を、それぞれの処理に最適な解像度により行うことができ、処理対象となる入力画像が網点画像を含む場合であっても、裏写りを除去することができる。

本願請求項５に記載の発明によれば、本願請求項１ないし請求項４のいずれか１項に記載の発明の効果を得ることができる。

図１は、本発明の第１の実施の形態を示すブロック図である。図中、１１は縮小部、１２はエッジ判定部、１３は色推定部である。入力画像はどのようなものでもよいが、裏写りを除去するための処理を行うことから、特に裏写りが生じている画像を入力画像とするとよい。裏写りは、上述のように例えば両面に画像が形成された原稿を読み取った場合や、原稿を重ねて画像を読み取った場合に発生することが多く、入力画像としてそのような読取画像であってよい。

縮小部１１は、入力画像に対して縮小処理を施す。縮小方法としてはどのような公知の方法を用いてもよい。縮小率も任意であるが、スクリーン処理された網点画像領域について、網点がつぶれるようにする。

エッジ判定部１２は、縮小部１１で縮小された画像をもとに、画像中のエッジを判定する。エッジの判定方法は任意であり、種々の公知の方法を適用することができる。判定結果は色推定部１３に送られる。

色推定部１３は、画像中に裏写りした画像が含まれている場合に、裏写りしていない、もとの色を推定する。このとき、エッジ判定部１２によるエッジ判定結果に従って行う。この例では、エッジ判定部１２によるエッジ判定結果がエッジを示しているエッジ領域については、入力画像を用いて色の推定を行う。また、エッジ判定部１２によるエッジ判定結果がエッジ以外であることを示している非エッジ領域については、縮小部１１で縮小された画像を用いて、処理対象の画素の色の推定を行う。さらに、色の推定の際の各種の処理パラメータ（設定）を、エッジ領域と非エッジ領域とで異ならせることができる。

図２は、色推定部の一例を示すブロック図、図３は、同じく動作の一例の説明図である。図中、２１は色ヒストグラム算出部、２２は色値候補選出部、２３は推定色決定部、２４はパラメータ入力部である。図１における色推定部１３は、例えば図２に示すような構成により実現することができる。

色ヒストグラム算出部２１は、処理対象の画素を含む所定の大きさの領域を注目ブロックとし、その注目ブロック内のそれぞれの画素の色のヒストグラムを算出する。図３（Ａ）において太線で囲んだ部分を注目ブロックの一例とし、この範囲内の画素の色のヒストグラムを算出する。算出されたヒストグラムは、図３（Ｂ）に示すような、例えば３次元の色空間中の頻度値となる。

色値候補選出部２２は、処理対象の画素の色を置き換える、すなわち裏写りしていない、もとの色の候補（色値候補）を選出する。そのための処理として、まず、処理対象の画素の色に対応する色空間中の位置から一定の部分色空間内のヒストグラムを２次微分し、頻度の凸部の色（頻度が局所最大値となる色）を求める。求められた頻度の凸部の色を色値候補とする。

図３（Ｂ）における黒丸を処理対象の画素の色に対応する位置とし、その黒丸を頂点とする３次元領域（部分色空間）を２次微分の対象としている。図３（Ｃ）には、その２次微分の対象となる３次元領域のみを取り出して示しており、黒丸は２次微分により頻度が凸部となる色を示している。この色が色値候補となる。

推定色決定部２３は、色値候補選出部２２で選出された色値候補から、裏写り前のもとの色と推定される推定色を決定する。決定方法としてはいくつかの方法が考えられる。例えば色値候補のうち、色値候補の頻度値が最大のものや、処理対象の画素の色との色差が小さいもの、明度が高いもの、などを選択することができる。もちろん、これらを組み合わせたり、他の条件により選択することもできる。あるいは、複数の色値候補の中間色を推定色として決定したり、処理対象の画素の色との関係から重み付け演算して決定するなど、様々な方法で推定色を決定することができる。

パラメータ入力部２４は、キーボード等の入力装置から入力されたり、あるいは予め記憶されているパラメータを取得し、色ヒストグラム算出部２１、色値候補選出部２２、推定色決定部２３の各部に設定する。例えばエッジ判定部１２から渡されるエッジ判定結果をもとにパラメータを変更することができる。

図４は、色推定部の動作の一例を示すフローチャートである。なお、図４に示す動作の一例では、処理対象の１画素に対する処理について示している。この処理対象の画素は、入力画像における各画素を順に処理対象の画素として以下の処理を実行することになる。このとき、エッジ判定部１２で非エッジ領域と判定された画素については、処理対象とすべき入力画像の画素の位置に対応する、縮小部１１で縮小された画像の画素を処理対象とし、縮小された画像を用いて以下の処理を実行する。

まずＳ１０１において、処理対象となる画素（注目画素）Ｐの近傍に注目ブロックＷ（Ｐ）を定義する（図３（Ａ））。この注目ブロックＷ（Ｐ）の定義の仕方は任意であるが、例えば、注目画素Ｐを中心としてｎ画素×ｎ画素の正方形（ｎは自然数）とすることができる。図３（Ａ）に示した例では、注目ブロックＷ（Ｐ）が５画素×５画素の正方形である例を示している。もちろん注目ブロックとして含める画素数や形状は任意に設定可能である。

なお、非エッジ領域では縮小部１１で縮小した画像を使用するので、同じ画素数の注目ブロックを用いた場合、エッジ領域で入力画像を用いる場合に比べて、入力画像上では広い範囲を参照することになる。従って、非エッジ領域では広い範囲の画素の色から推定を行うことができ、逆にエッジ領域については狭い範囲の画素の色からの推定を行うことでエッジを保存することができる。もちろん、さらにエッジ領域と非エッジ領域とで注目ブロックの大きさを変更してもよい。このとき、入力画像上での参照範囲として、エッジ領域よりも非エッジ領域の場合の参照範囲の方が広くなるように設定するとよい。この注目ブロックの大きさや形状などは、予め色ヒストグラム算出部２１に設定しておくほか、パラメータ入力部２４が設定してもよい。

続いてＳ１０２において、注目ブロックＷ（Ｐ）内にある画素（図３（Ａ）に示した例では５×５＝２５画素）について、色ヒストグラム算出部２１で色ヒストグラム（すなわち色空間における頻度分布）を算出する。

続いてＳ１０３において、注目画素Ｐの画素値の色空間における位置の近傍に部分色空間を定義する。図３（Ｂ）においては、注目画素Ｐの画素値Ｖ（Ｐ）の色空間における位置を黒丸で示し、当該位置を一つの頂点とする立方体を部分色空間Ｓ（Ｐ）として定義した例を示す。この部分色空間内は、注目画素Ｐの画素値を置き換えるべき色値（換言すれば裏写り前のもとの色値と推定される推定色値）を探索する領域である。部分色空間Ｓ（Ｐ）の位置やサイズ、形状については、固定しておいてもよいし、画像データの特性、あるいは注目画素Ｐの画素値などに基づいて適宜設定してもよい。例えば形状としては直方体や球などであってもよい。ただし、通常、裏写りが起きている画素の画素値は、本来の画像の色と不所望の画像の色との減法混色となるので、このことを考慮して部分色空間Ｓ（Ｐ）の位置を決定するのが好ましい。図３（Ｂ）においては、Ｖ（Ｐ）によりも明度が高い領域に部分色空間Ｓ（Ｐ）が位置している場合が示されている。

また、部分色空間Ｓ（Ｐ）を立方体とする場合、この立方体のサイズ（一辺の長さ）については、例えば、注目画素の画素値に基づき、以下のようにして決定することができる。すなわち、注目画素Ｐの画素値Ｖ（Ｐ）の明度をＢ（Ｐ）、注目画素Ｐのエッジ度をＥ（Ｐ）とすると、一辺の長さＬを以下の式に従って決定する。
Ｌ＝ｆ［Ｂ（Ｐ）］；ｆ［ｘ］はｘの単調増加関数 （１）
Ｌ＝ｇ［Ｅ（Ｐ）］；ｇ［ｘ］はｘの単調減少関数 （２）

例えば、ｆ（ｘ）＝ａ×ｘ⁽ⁿ⁾ である。ここで、ａは正の定数、ｎは１以上の実数である。ｇ（ｘ）は、例えば−ａ×ｘ⁽ⁿ⁾ である。あるいはｇ（ｘ）＝ａ×ｅｘｐ（−ｘⁿ ）のような指数減少関数であってもよい。すなわち、式（１）においては、注目画素が明るいほど、部分色空間Ｓ（Ｐ）のサイズを大きく設定する。部分色空間Ｓ（Ｐ）のサイズを大きくすれば、その中に含まれる画素の数も大きくなる。従って、注目画素の画素値から色値が離れた（すなわち色空間における距離が大きい）画素が候補として選択され得るようにするのである。これは、明度の高い画素ほど、より明度の高い色値に置き換えないと裏写りを完全に除去するのが難しくなるという経験的事実を考慮したものである。

また、式（２）においては注目画素Ｐのエッジ度が低いほど、部分色空間Ｓ（Ｐ）のサイズを大きく設定するのが好ましい。これは、エッジ度が高い（すなわちその画素がエッジ領域およびその付近にある）場合は、注目画素の画素値Ｖ（Ｐ）から色値が大きく離れた画素を候補として選出することがないようにするためである。エッジ部においては、濃度変化が大きく、また裏写り前のもとの色として複数の色が存在する可能性が低くない。そのため、誤った色をもとの色として推定しないように、エッジ部においては部分色空間Ｓ（Ｐ）のサイズを小さくするとよい。また非エッジ領域については広い色範囲から色の推定を行うことができ、裏写りで色が変化している場合でも良好に裏写り前の色を推定することができる。なお、エッジ度はエッジ判定部１２から取得することができる。あるいは、エッジ判定部１２から渡されるエッジ領域か非エッジ領域かの判定結果を用いて、部分色空間Ｓ（Ｐ）のサイズを変更してもよい。

なお、上述の式（１）と式（２）を組み合わせて明度およびエッジ度の両者を考慮し、以下の式に従って一辺の長さＬを算出してもよい。
Ｌ＝ｑ１×ｆ［Ｂ（Ｐ）］＋ｑ２×ｇ［Ｅ（Ｐ）］ （３）
ここで、ｑ１、ｑ２は重み係数である。上述のような部分色空間Ｓ（Ｐ）のサイズや形状の設定は、色値候補選出部２２で行うほか、パラメータ入力部２４で行ってもよい。

続いてＳ１０４において、色値候補選出部２２は、Ｓ１０２で算出した色ヒストグラムから、ピーク位置（すなわち頻度が局所最大値をとる画素値）およびその値（頻度ピーク値）を決定する。ピーク位置は、例えば、３次元色ヒストグラムの微分値および２次微分値を計算することにより決定することができる。そして、ピーク位置のうち部分色空間Ｓ（Ｐ）内に存在する画素値を抽出する。

続いてＳ１０５において、色値候補選出部２２は、抽出した画素値のなかから、所定数（例えば「３」）だけ選出し、これを色値候補とする。選出方法としては、例えば３次元色ヒストグラムの２次微分値の値に基づきピークの鋭さが大きいものから順に選出する。あるいは、頻度ピーク値の大きいものから順に選出する。あるいは、抽出したピーク位置の数が所定数に達しない場合は、抽出して全てのピーク位置の画素値を色値候補として選出してもよい。図３（Ｃ）においては、３つの色値候補Ｃ１（Ｐ）、Ｃ２（Ｐ）およびＣ３（Ｐ）が選出された場合を示している。

続いてＳ１０６において、推定色決定部２３は、色値候補に基づき注目画素Ｐに対する裏写りしていないもとの色を推定する。裏写り前の元の色の推定は、以下の４つの基準の少なくともいずれか１つを採用することにより行うことができる。なお、以下ではｎ＝１，２，・・・，Ｎであって、Ｎは選出された色値候補の総数を表す。
（ア）色値候補Ｃｎ（Ｐ）の頻度値：（具体的には、頻度値が大きい色値候補ほど、もとの色値に近いと判定する）
（イ）注目画素の画素値Ｖ（Ｐ）と色値候補Ｃｎ（Ｐ）の色値の差：（具体的には、注目画素の画素値Ｖ（Ｐ）との色差が小さいほど、もとの色値に近いと判定する）
（ウ）注目画素のエッジ度Ｅ（Ｐ）と色値候補Ｃｎ（Ｐ）の明度との関係：（具体的には、注目画素のエッジ度Ｅ（Ｐ）が小さいほど、より高明度の色値候補がもとの色値に近いと判定する）
（エ）注目画素の画素値Ｖ（Ｐ）のうちの明度値と色値候補Ｃｎ（Ｐ）の明度値との関係：（具体的には、注目画素Ｐの明度が高いほど、より明度の高い色値候補がもとの色値に近いと判定する）
これらの基準のいずれかを用い、もとの色値に最も近いと判定した色値候補Ｃｎ（Ｐ）を推定色として、注目画素の画素値Ｖ（Ｐ）を置換する。例えば基準（ア）を採用する場合、頻度値が最大の色値候補Ｃｎ（Ｐ）により注目画素値の画素値Ｖ（Ｐ）を置換する。

また、上述した４つの基準を組み合わせて推定色を決定してもよい。具体的には、各色値候補Ｃｎ（Ｐ）に対し以下の数式で定義される真色値度Ｄｎ（Ｐ）を各々算出し、その中で最も高い真色値度Ｄ（＝Ｍａｘ｛Ｄ１（Ｐ），Ｄ２（Ｐ），・・・，ＤＮ（Ｐ）｝）を有する色値候補を推定色と決定する。なお、Ｍａｘ（Ｘｎ）（ｎ＝１、２、・・・）は、Ｘ１、Ｘ２、・・・の最大値を表す。真色値度Ｄｎ（Ｐ）は、例えば以下のようにして求めることができる。
Ｄｎ（Ｐ）＝ｗ１×ｆ１［Ｓｎ（Ｐ）／Ｍａｘ（Ｓｎ（Ｐ））］
＋ｗ２×ｇ１［ＡＢＳ（Ｖ（Ｐ）−Ｃｎ（Ｐ））］
＋ｗ３×ｇ２［Ｅ（Ｐ）］×ｆ２［Ｂｎ（Ｐ）］
＋ｗ４×ｆ３［Ｂ（Ｐ）］×ｆ４［Ｂｎ（Ｐ）］ （４）
上記の式において、ｆｉ［Ｘ］（ｉ＝１〜４）はＸの単調増加関数、ｇｊ［Ｘ］（ｊ＝１〜２）はＸの単調減少関数である。また、Ｓｎ（Ｐ）は色値候補Ｃｎ（Ｐ）の頻度値、ｗｍ（ｍ＝１〜４，ｗｍ＞０）はそれぞれ上記基準（１）ないし（４）に対応する重み係数である。さらに、Ｂ（Ｐ）およびＢｎ（Ｐ）は、それぞれ注目画素Ｐの明度および色値候補Ｃｎ（Ｐ）の明度を表す。また、ＡＢＳ（Ｘ）はＸの絶対値を表す。

式（４）から判るように、第１項ないし第４項はそれぞれ上記基準（ア）ないし（エ）からの寄与を表している。なお、各基準に対応する重み係数ｗｍの値は任意であるが、例えば、ｗ１＞ｗ２＞ｗ３＞ｗ４となるように設定するのが好ましい。すなわち、この場合は、色値候補Ｃｎ（Ｐ）から推定色を選ぶに際し、基準（ア）（すなわち色値候補Ｃｎ（Ｐ）の頻度値Ｓｎ（Ｐ））が相対的に最も重視され、基準（エ）（すなわち注目画素の画素値Ｖ（Ｐ）のうちの明度値Ｂ（Ｐ）と色値候補Ｃｎ（Ｐ）の明度値Ｂｎ（Ｐ）との関係）が相対的に最も軽視されることになる。

また、色値候補のうちの一つを選択することにより推定色を決定するのではなく、複数の色値候補の中間色を求めて推定色を決定してもよい。具体的には、注目画素Ｐに対応する真色値ＣＴ（Ｐ）の値を以下の数式に従って算出することができる。
ＣＴ（Ｐ）＝Σ_n=1 ^Nｋｎ・Ｓｎ（Ｐ）・Ｃｎ（Ｐ） （５）
ここで、ｋｎは重み係数であって、例えば、全てのｎ（ｎ＝１，２，・・・，Ｎ）に対しｋｎ＝１／Ｍａｘ｛Ｓｊ（Ｐ）｝である。上記数式から判るように、この例では、計Ｎ個の色値候補の各々につき、その色値にその頻度値を乗じて加算することにより、真色値ＣＴ（Ｐ）を算出する。この真色値を推定色として決定すればよい。この例では、抽出した色値候補の全てを推定色に反映させることができる。

上式の例は、上記基準（ア）を採用したものであるが、これに限らず、上記（イ）ないし（エ）の少なくとも一つを用いて算出した値を推定色と決定することができる。要は、選定した色値候補の情報（明度等の色値およびその色値の頻度値等）に基づいて、裏写り前のもとの色値と推定される色値を一つ決定することができればよい。

このようにして、ある注目画素Ｐについて推定色が決定すると、注目画素を変更して（例えば隣の画素に変更して）同様の処理を行う。このとき、上述のようにエッジ領域については入力画像を用いるが、非エッジ領域については縮小部１１で縮小された画像を用いて行う。入力画像を構成する全画素について推定色が決定すると、この入力画像に対する処理が完了する。

なお、上述の色推定部１３の各部で使用する大きさや形状などのパラメータは、パラメータ入力部２４からユーザが入力することができる。あるいは、パラメータのセットと画像の所定の特性を予めＲＯＭ等の記憶手段に記憶しておき、入力画像の特性に最も適合するパラメータセットを記憶手段から読み出して使用してもよい。特に本発明ではエッジ判定部１２から渡されるエッジ判定結果をもとにパラメータを切り替えるとよい。

また、図４に示した処理の一例では、注目画素ごとに注目ブロックＷを定義し、その注目ブロック内の画素について色ヒストグラムの算出を行ったが、複数の注目画素に対して同一の注目ブロック（従って同一の頻度ヒストグラム）を用いてもよい。例えば、注目ブロックの大きさを１００画素×１００画素の領域とすれば、その中心付近の５×５＝２５個の画素（注目画素群）に対しては、全て当該注目ブロックＷ（およびその注目ブロックＷから算出される色ヒストグラム）を使用する。こうのようにすれば、色ヒストグラム算出処理の回数を減らすことができ、全体の処理速度が向上する。この際、注目ブロックＷのサイズが注目画素群のサイズに対して十分大きければ、算出される色ヒストグラムの誤差は無視できるので、裏写り除去能力を実質的に低下させずに済む。

図２，図３に示した色推定部１３の構成及び図４に示した色推定部１３の動作は一例であって、他の方法により裏写りのない、もとの色を推定するように構成してもよい。

図５は、本発明の第１の実施の形態の第１の変形例を示すブロック図である。図中の符号は図１と同様であり、重複する説明を省略する。この第１の実施の形態における第１の変形例では、エッジ判定部１２は、入力画像からエッジの判定を行う。エッジ判定部１２におけるエッジ判定手法として、網点画像などにおける網点をエッジとして検出しないような手法を用いることによって、このような構成が可能になる。

図６は、本発明の第１の実施の形態の第２の変形例を示すブロック図である。図中、図１と同様の部分には同じ符号を付して、重複する説明を省略する。１４は縮小部である。この第１の実施の形態における第２の変形例では、縮小部１１とは別に、エッジ判定部１２のための縮小部１４を設けた例を示している。

縮小部１４は、エッジ判定部１２においてエッジの判定が良好に行えるように、入力画像に対して縮小処理を行う。縮小部１１とは縮小方式や縮小率を異ならせることができる。なお、縮小部１１では、色推定部１３で非エッジ領域についての色推定に適した縮小処理を行うことができる。

エッジ判定部１２は、縮小部１４で縮小された画像からエッジの判定を行う。エッジの判定に適した縮小画像が渡されるので、良好にエッジの判定を行うことができる。

図７は、本発明の第１の実施の形態の第３の変形例を示すブロック図である。図中の符号は図１と同様であり、重複する説明を省略する。この第１の実施の形態の第３の変形例では、縮小部１１を省略した例を示している。網点領域などが存在しないことがわかっている入力画像については、縮小部１１で縮小せずに構成することが可能である。この場合、エッジ判定部１２は入力画像からエッジの判定を行う。また、色推定部１３はエッジ領域及び非エッジ領域とも入力画像から色の推定を行うことになるが、エッジ判定部１２から出力されるエッジ判定結果に従って色推定の際の設定を変更するように構成するとよい。例えば色推定部１３が図２に示す構成である場合には、エッジ領域については注目ブロックの大きさや部分色空間の大きさなどを小さく設定し、非エッジ領域については逆に注目ブロックの大きさや部分色空間の大きさなどを大きく設定するとよい。

図８は、本発明の第２の実施の形態を示すブロック図である。図中、図１と同様の部分には同じ符号を付して重複する説明を省略する。３１は適応平滑化部、３２は合成部である。この第２の実施の形態では、エッジ領域については適応平滑化部３１による処理を施した画像を適用する例を示している。

適応平滑化部３１は、この例ではエッジ判定部１２によってエッジと判定された領域について、入力画像に対してエッジを保存しつつ平滑化処理を行う。この平滑化処理によってエッジ領域に存在する裏写りした画像を平滑化し、見えにくくする。構成例については後述する。

色推定部１３は、この例ではエッジ判定部１２によって非エッジと判定された領域について、縮小部１１で縮小された画像を用いて色の推定を行う。この色推定部１３の構成は、例えば図２に示した構成を用いることができる。このとき、非エッジ領域に対する色推定の設定により処理を行う。

合成部３２は、適応平滑化部３１から出力されたエッジ領域の平滑化された画像と、色推定部１３で色推定された非エッジ領域の画像とを合成する。色推定部１３がエッジ領域に対する色の推定に支障がある場合でも、エッジ領域については適応平滑化部３１により平滑化処理されて裏写りが見えにくくなった画像を合成するので、全体として裏写りが除去された画像が得られる。

なお、色推定部１３が縮小画像の画素単位で色推定結果を出力する場合には、合成時に解像度を合わせる必要がある。もちろん、色推定部１３が入力画像の画素単位で色推定結果を出力する場合には、解像度変換は不要である。

図８に示した例ではエッジ判定部１２による判定結果に従って適応平滑化部３１あるいは色推定部１３のいずれかを動作させるように構成しているが、例えば適応平滑化部３１及び色推定部１３は入力画像あるいは縮小画像の全面に対して処理を行い、合成部３２においてエッジ判定部１２によるエッジ判定結果を用いていずれかの出力を選択するように構成することもできる。

図９は、適応平滑化部の一例を示すブロック図である。図中、４１は差分絶対値算出部、４２は仮平滑化係数決定部、４３は正規化部、４４は畳み込み演算部である。図８に示した適応平滑化部３１の一例として、図９に示すような構成により実現することができる。

差分絶対値算出部４１は、平滑化処理の対象となる注目画素を中心とする所定の大きさのウインドウ領域を設定し、注目画素の値（Ｖｉとする）とウインドウ領域内の他の画素の値（Ｖｊとする）との差分の絶対値（Ａｊ＝｜Ｖｉ−Ｖｊ｜）をそれぞれ算出する。

仮平滑化係数決定部４２は、ウインドウ領域の各画素に対応する平滑化係数（Ｃｊ）を仮決定する。平滑化係数Ｃｊを仮決定する方法として、ここでは、ある単調減少関数ｆ（）を設定し、Ｃｊ＝ｆ（Ａｊ）により平滑化係数Ｃｊを仮決定することができる。ｆ（）が単調減少関数であることから、エッジのように差分の絶対値が大きい画素については平滑化係数Ｃｊは小さい値となり注目画素への影響を減らすことができ、逆に非エッジ部のように差分の絶対値が小さい画素については平滑化係数Ｃｊを大きい値として平滑化の効果を大きくすることができる。単調減少関数ｆ（）は任意であるが、例えば簡単にはＣｊ＝１−（１／ｍａｘ（Ａｊ））・Ａｊのような線形関数や、２次以上の単調減少関数や指数単調減少関数など、様々な関数を適用可能である。なお、式中のｍａｘ（Ａｊ）はＡｊの最大値である。

正規化部４３は、仮平滑化係数決定部４２で仮に決定された平滑化係数Ｃｊを正規化する。すなわち、ウインドウ領域内の平滑化係数Ｃｊの和が１となるように、演算を行う。具体的には正規化後の平滑化係数をＣｊ’とするとき、Ｃｊ’＝Ｃｊ／ΣＣｊにより求めることができる。この正規化は、一般に平滑化処理が平滑化係数の和を１としたフィルタ処理であることによる。

畳み込み演算部４４は、ウインドウ領域内の各画素値と正規化部４３で得られた正規化された平滑化係数とを用いて、いわゆる畳み込み演算を行う。畳み込み演算は、ウインドウ領域内の各画素値と正規化部４３で得られた正規化された平滑化係数とを乗算した上で総和を演算することにより行われる。すなわち、演算後の注目画素の値をＶｉ’としたとき、Ｖｉ’＝ΣＣｊ’・Ｖｊによって演算することができる。

このように、適応平滑化処理では、画像に応じて平滑化係数を決定し、その際に画素値の差分の絶対値の大きさが大きいほど平滑化係数を小さく設定するので、エッジ領域ではエッジが保存され、非エッジ領域では平坦な領域ほど強く平滑化処理が施されることになる。例えばエッジ付近に、裏写りにより画素値が変動している部分が存在すると、エッジ自体は保存され、裏写りによる画素値の変動は平滑化されるため見えにくくすることができる。

図１０は、本発明の第２の実施の形態の第１の変形例を示すブロック図である。図中の符号は図８と同様であり、重複する説明を省略する。この第２の実施の形態における第１の変形例では、エッジ判定部１２は、入力画像からエッジの判定を行う。エッジ判定部１２におけるエッジ判定手法として、網点画像などにおける網点をエッジとして検出しないような手法を用いることによって、このような構成が可能になる。

図１１は、本発明の第２の実施の形態の第２の変形例を示すブロック図である。図中、図８及び図６と同様の部分には同じ符号を付して、重複する説明を省略する。この第２の実施の形態における第２の変形例では、第１の実施の形態における第２の変形例と同様に、縮小部１１とは別に、エッジ判定部１２のための縮小部１４を設けた例を示している。このような構成によれば、縮小部１１は色推定部１３における色推定に最適な縮小処理を行い、縮小部１４はエッジ判定部１２によるエッジ判定に最適な縮小処理を行うことができる。

なお、図７に示した第１の実施の形態の第３の変形例のように、この第２の実施の形態においても縮小部１１を設けずに構成することも可能である。

図１２は、本発明の第３の実施の形態を示すブロック図である。図中、図１と同様の部分には同じ符号を付して重複する説明を省略する。５１はエッジ強度検出部、５２は補正合成部である。上述の第１，第２の実施の形態では、エッジ判定部１２によってエッジ領域か非エッジ領域かにより処理を切り替える例を示した。この第３の実施の形態では、エッジ強度を検出し、そのエッジ強度に応じて色の推定値の適用度合いを変更する例を示している。

エッジ強度検出部５１は、この例では縮小部１１で縮小された画像から、画像中のエッジ強度を検出する。例えば画像の１次微分や２次微分、あるいはその他の方法を用いることができる。

補正合成部５２は、エッジ強度検出部５１で検出されたエッジ強度に従って、入力画像と色推定部１３で色推定した画像とを合成する。合成の処理の一例としては、入力画像の色と色推定部１３で推定された色との間で、エッジ強度が強ければ入力画像の色あるいはその色に近い色とし、エッジ強度が弱ければ色推定部１３で推定した色あるいはその色に近い色とするような、エッジ強度をパラメータとする関数により合成することができる。

あるいは、色推定部１３から、推定した色と縮小画像の色との差分を出力するように構成し、補正合成部５２では、色推定部１３から出力された差分とエッジ強度から補正量を算出し、入力画像の値に対して補正量を適用して、合成後の値を算出するように構成してもよい。図１３は、補正係数を算出するための関数の一例の説明図である。エッジ強度検出部５１から得られたエッジ強度を用い、例えば図１３に示したような関数により補正係数を求め、その補正係数を色推定部１３から出力された推定した色と縮小画像の色との差分に乗算して補正量を求め、その補正量だけ入力画像を補正するように構成することができる。図１３（Ａ）には線形の関数を示し、また図１３（Ｂ）には、ある一定のエッジ強度以上では補正量を所定値に固定した例を示している。もちろん、補正係数を求める関数は任意であり、この例に限られるものではない。また、補正係数と差分とから補正量を求める演算も任意に設定することができる。

このように、補正合成部５２においてエッジ強度に応じて色推定部１３による推定色を用いて入力画像を補正し、これによって入力画像と色推定後の画像とを合成することにより、エッジ領域と非エッジ領域とで処理を分ける必要がなく、またエッジを残したまま、エッジ強度が弱い裏写り部分を除去した画像が得られる。

図１４は、本発明の第３の実施の形態の第１の変形例を示すブロック図、図１５は、本発明の第３の実施の形態の第２の変形例を示すブロック図である。図中、図１２及び図６と同様の部分には同じ符号を付して、重複する説明を省略する。この第３の実施の形態においても、上述の第１，第２の実施の形態と同様の変形が可能である。図１４に示す第３の実施の形態における第１の変形例では、エッジ強度検出部５１は、入力画像からエッジ強度を検出する。エッジ強度の検出時に、網点画像などにおける網点の影響を受けないようにエッジ強度を検出できれば、このような構成が可能になる。

また図１５に示す第３の実施の形態における第２の変形例では、第１の実施の形態における第２の変形例と同様に、縮小部１１とは別に、エッジ強度検出部５１のための縮小部１４を設けた例を示している。このような構成によれば、縮小部１１は色推定部１３における色推定に最適な縮小処理を行い、縮小部１４はエッジ強度検出部５１によるエッジ強度の検出に最適な縮小処理を行うことができる。

さらに、図７に示した第１の実施の形態の第３の変形例のように、この第３の実施の形態においても縮小部１１を設けずに構成することも可能である。

図１６は、本発明の画像処理装置の機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、６１はプログラム、６２はコンピュータ、７１は光磁気ディスク、７２は光ディスク、７３は磁気ディスク、７４はメモリ、８１はＣＰＵ、８２は内部メモリ、８３は読取部、８４はハードディスク、８５，８６はインタフェース、８７は通信部である。

上述の各実施の形態で説明した本発明の画像処理装置の各部の機能の一部または全部を、コンピュータにより実行可能なプログラム６１によって実現することが可能である。その場合、そのプログラム６１およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶することも可能である。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部８３に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部８３にプログラムの記述内容を伝達できるものである。例えば、光磁気ディスク７１，光ディスク７２（ＣＤやＤＶＤなどを含む）、磁気ディスク７３，メモリ７４（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。

これらの記憶媒体にプログラム６１を格納しておき、例えばコンピュータ６２の読取部８３あるいはインタフェース８５にこれらの記憶媒体を装着することによって、コンピュータからプログラム６１を読み出し、内部メモリ８２またはハードディスク８４に記憶し、ＣＰＵ８１によってプログラム６１を実行することによって、本発明の画像処理装置の機能を実現することができる。あるいは、ネットワークなどを介してプログラム６１をコンピュータ６２に転送し、コンピュータ６２では通信部８７でプログラム６１を受信して内部メモリ８２またはハードディスク８４に記憶し、ＣＰＵ８１によってプログラム６１を実行することによって、本発明の画像傾き検出装置または画像処理装置の機能を実現してもよい。なお、コンピュータ６２には、このほかインタフェース８６を介して様々な装置と接続することができ、例えば情報を表示する表示装置やユーザが情報を入力する入力装置等も接続されている。

もちろん、一部の機能についてハードウェアによって構成することもできるし、すべてをハードウェアで構成してもよい。あるいは、他の構成とともに本発明も含めたプログラムとして構成することも可能である。例えば複写機などの画像読取装置や画像形成装置を含む装置において制御プログラムとともに１つのプログラムとして構成し、画像読取装置で読み取られた裏写りを含む画像から裏写りを除去するように構成することもできる。もちろん、他の用途に適用する場合には、その用途におけるプログラムとの一体化も可能である。

本発明の第１の実施の形態を示すブロック図である。 色推定部の一例を示すブロック図である。 色推定部の動作の一例の説明図である。 色推定部の動作の一例を示すフローチャートである。 本発明の第１の実施の形態の第１の変形例を示すブロック図である。 本発明の第１の実施の形態の第２の変形例を示すブロック図である。 本発明の第１の実施の形態の第３の変形例を示すブロック図である。 本発明の第２の実施の形態を示すブロック図である。 適応平滑化部の一例を示すブロック図である。 本発明の第２の実施の形態の第１の変形例を示すブロック図である。 本発明の第２の実施の形態の第２の変形例を示すブロック図である。 本発明の第３の実施の形態を示すブロック図である。 補正係数を算出するための関数の一例の説明図である。 本発明の第３の実施の形態の第１の変形例を示すブロック図である。 本発明の第３の実施の形態の第２の変形例を示すブロック図である。 本発明の画像処理装置の機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。

符号の説明

１１…縮小部、１２…エッジ判定部、１３…色推定部、１４…縮小部、２１…色ヒストグラム算出部、２２…色値候補選出部、２３…推定色決定部、２４…パラメータ入力部、３１…適応平滑化部、３２…合成部、４１…差分絶対値算出部、４２…仮平滑化係数決定部、４３…正規化部、４４…畳み込み演算部、５１…エッジ強度検出部、５２…補正合成部、６１…プログラム、６２…コンピュータ、７１…光磁気ディスク、７２…光ディスク、７３…磁気ディスク、７４…メモリ、８１…ＣＰＵ、８２…内部メモリ、８３…読取部、８４…ハードディスク、８５，８６…インタフェース、８７…通信部。

Claims (5)

1. 画像中のエッジを判定するエッジ判定手段と、画像の裏写りしていないもとの色を推定する色推定手段と、エッジを保存しつつ平滑化処理を行う適応平滑化手段と、前記適応平滑化手段で平滑化されたエッジ領域の画像と前記色推定手段で色推定された非エッジ領域の画像を合成する合成手段を有し、前記適応平滑化手段は、前記エッジ判定手段によりエッジと判定された領域について平滑化処理を行い、前記色推定手段は、前記エッジ判定手段により非エッジと判定された領域について、処理対象の画素を含む所定の大きさの領域を注目ブロックとして色空間中の頻度値を求めて色値候補を選出し、該色値候補をもとに得た色を前記裏移りしていないもとの色として推定することを特徴とする画像処理装置。
2. さらに、入力画像を縮小する縮小手段を有し、前記エッジ判定手段は、前記縮小手段によって縮小された画像を用いてエッジを判定するものであり、前記色推定手段は、前記縮小手段によって縮小された画像を用いて色の推定を行うことを特徴とする請求項１に記載の画像処理装置。
3. さらに、入力画像を縮小する縮小手段を有し、前記色推定手段は、前記縮小手段によって縮小された画像を用いて色の推定を行うことを特徴とする請求項１に記載の画像処理装置。
4. さらに、入力画像を縮小する第１及び第２の縮小手段を有し、前記エッジ判定手段は、前記第２の縮小手段によって縮小された画像を用いてエッジを判定するものであり、前記色推定手段は、前記第１の縮小手段によって縮小された画像を用いて色の推定を行うことを特徴とする請求項１に記載の画像処理装置。
5. コンピュータに、請求項１ないし請求項４のいずれか１項に記載の画像処理装置の機能を実行させることを特徴とする画像処理プログラム。

Images