JP3877535B2 - カラー画像処理方法、カラー画像処理装置、カラー画像処理プログラム、及び記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、カラー画像処理方法、カラー画像処理装置、カラー画像処理プログラム、及び記録媒体に関し、より詳細には、両面印刷されている文書において第２面の画像が透けて第１面の画像の中に混ざって入力される「裏写り」を除去することが可能なカラー画像処理方法、カラー画像処理装置、及びその方法を実行させるための、又はその装置の機能を実現させるためのカラー画像処理プログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
図３は、裏写りのあるカラー画像の例を示す図である。カラースキャナ、デジタルカメラ、デジタルカラーコピアのカラー画像入力機器の普及により、本，雑誌，カタログ，広告，新聞などの文書画像も、カラー入力されるのが一般的になってきている。これらの文書では、紙の両面に印刷されていることがしばしばあるので、図３に示すように、裏面の画像が透けて、表面の画像の中に混ざって入力される「裏写り」が生じる。さらに、カラー文書の場合、背景色が一様でなかったり、絵柄、模様、写真が混在していることが多い。このため、デジタル画像処理によって、入力された画像から「裏写り」を除去する問題は、画質向上のために重要でありながら、取り扱いの難しいものとされてきた。
【０００３】
デジタル画像処理による裏写り補正方法としては、特開平７−８７２９５号公報、特開平８−２６５５６３号公報、特開平９−２０５５４４号公報、特開平９−２３３３１９号公報、米国特許第５８３２１３７号明細書に記載のように、両面の画像を入力し、２枚の画像を比較することによって裏写り部分を検出して、検出部分の輝度や色を補正する方法が考案されている。
【０００４】
また、片面（第１面）の画像だけを使い、その上でのエッジや輝度の分布を解析して、エッジ強度が弱い部分や輝度の高い部分を補正する方法がある。後者に属するものとして、特開２０００−２２９５６号公報には、入力された画像からエッジを検出し、エッジと低輝度領域以外の画素の輝度を上げることにより裏写りを除去し、補正画像を出力する方法及び装置が記載されている。また、同発明では、入力された画像からエッジを検出し、エッジと低輝度領域で画像を分割し、分割された領域のうちで、領域内の平均輝度が高いところだけ輝度を上げることにより裏写りを除去し、補正画像を出力する方法及び装置が考案されている。さらに、特開平１１−４１２６６号公報には、読み取った画像のヒストグラムから得られた、最大頻度のときの輝度値と最大輝度値との差から裏写りの有無を判断する方法が記載されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、これらの発明をカラー画像に適用した場合、カラー情報から色相や彩度（或いは、飽和度）のような情報を捨てて、輝度（明度）だけを用いて裏写り補正処理を施すことになるため、白地上の黄色文字についても、裏写り補正処理を施してしまったり、互いに色相や彩度は違うが、コントラストが小さいような隣接領域について、エッジが検出されないために、裏写り補正処理により、文字の境界や領域間の境界が惚けるなどの欠損がもたらされ、かえって画質を劣化させてしまうことがある。また、図３の右上の「ＡＢＣＤＥ」と書かれたテキスト領域のように、テキスト領域や写真が薄い色の長方形の枠内に収められている印刷物が多く見受けられる。このような場合、枠の部分のエッジ強度が弱いために、エッジとして検出されずに、裏写り補正処理の結果、枠の形状が歪むことがある。特に、縦線や横線の歪みに人間の知覚が敏感なために、このような歪みは画像の損傷として、非常に気になるものである。
【０００６】
本発明は、上述のごとき実情に鑑みてなされたものであり、両面印刷されて第１面に第２面からの裏写りがあるようなカラー原稿を、紙の第１面の画像だけを入力してスキャンし、カラー画像の裏写りを除去するための補正を行う際に、薄い色の長方形の枠内に収められているテキスト領域や写真も精度よく補正することが可能なカラー画像処理方法、カラー画像処理装置、カラー画像処理プログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することをその目的とする。
【０００７】
【課題を解決するための手段】
本発明に係るカラー画像処理は、紙の両面にカラー印刷された原稿の第１面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出し、テキスト領域や写真を囲む枠を検出し、検出したエッジの強度が低く、且つ、枠として検出されなかった画素に対してのみ、色を補正することにより、裏写り成分を補正した画像を生成することを特徴とする。
【０００８】
本発明に係る他のカラー画像処理は、紙の両面にカラー印刷された原稿の第１面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出し、テキスト領域や写真を囲む枠を検出し、色の各成分の値を二値化し、検出したエッジの強度が低く且つ枠として検出されなかった画素で且つ前記二値化の結果全ての成分について閾値以上となる画素に対してのみ、色を補正することにより、裏写り成分を補正した画像を生成することを特徴とする。
【０００９】
ここで、エッジの検出は、エッジを検出する画像の色の各成分からエッジ強度を計算し、該当各成分のエッジ強度の間の相関関係を考慮して行なう。テキスト領域や写真を囲む枠の検出は、主走査方向、又は、副走査方向のランを用いて行なう。また、二値化の閾値は、各画素の周囲に、予め決められた大きさのウィンドウを設定し、各色成分信号について該ウィンドウ内で計算される統計量に基づいて、設定する。
【００１０】
請求項１の発明は、紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出し、テキスト領域や写真を囲む枠を検出し、裏写り成分を補正した裏写り除去画像を生成するカラー画像処理方法であって、前記検出したエッジの強度が低い画素で、且つ、前記枠として検出されなかった画素に対してのみ、色を補正することにより、裏写り除去画像を生成することを特徴としたものである。
【００１１】
請求項２の発明は、紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出し、テキスト領域や写真を囲む枠を検出し、色の各成分の値を二値化し、裏写り成分を補正した裏写り除去画像を生成するカラー画像処理方法であって、前記検出したエッジの強度が低い画素で且つ前記枠として検出されなかった画素で且つ前記二値化の結果全ての成分についてそれぞれの閾値以上となる画素に対してのみ、色を補正することにより、裏写り除去画像を生成することを特徴としたものである。
【００１２】
請求項３の発明は、請求項２の発明において、前記二値化の閾値は、各画素の周囲に、予め決められた大きさのウィンドウを設定し、各色成分について該ウィンドウ内で計算される統計量に基づいて、設定することを特徴としたものである。
【００１３】
請求項４の発明は、請求項１乃至３のいずれか１の発明において、前記エッジの検出は、エッジを検出する画像の色の各成分からエッジ強度を計算し、該当各成分のエッジ強度の間の相関関係を考慮して行なうことを特徴としたものである。
【００１４】
請求項５の発明は、請求項１乃至４のいずれか１の発明において、前記テキスト領域や写真を囲む枠の検出は、前記計算したエッジ強度に基づいて行なうことを特徴としたものである。
【００１５】
請求項６の発明は、請求項１乃至５のいずれか１の発明において、前記テキスト領域や写真を囲む枠の検出は、主走査方向、又は、副走査方向のランを用いて行なうことを特徴としたものである。
【００１６】
請求項７の発明は、請求項６の発明において、各ランに対して、走査した画素の濃度変化の特徴が所定のパターンと一致した画素群を前記テキスト領域や写真とみなし、そのランの始点と終点の画素又は画素群を、前記枠とすることを特徴としたものである。
【００１７】
請求項８の発明は、請求項６の発明において、各ランに対して、ランの長さが閾値以上であるか、又は、ランに含まれ、前記エッジ検出によって前記片面側の画素と判定された画素の個数が閾値以上である場合に、そのランの始点と終点の画素又は画素群を、前記枠とすることを特徴としたものである。
【００１８】
請求項９の発明は、紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出するエッジ検出手段と、テキスト領域や写真を囲む枠を検出する枠検出手段とを有し、裏写り成分を補正した裏写り除去画像を生成するカラー画像処理装置であって、前記エッジ検出手段により検出したエッジの強度が低い画素で、且つ、前記枠検出手段により枠として検出されなかった画素に対してのみ、色を補正する色補正手段を有し、該色補正手段により、裏写り除去画像を生成することを特徴としたものである。
【００１９】
請求項１０の発明は、紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出するエッジ検出手段と、テキスト領域や写真を囲む枠を検出する枠検出手段と、色の各成分の値を二値化する二値化手段とを有し、裏写り成分を補正した裏写り除去画像を生成するカラー画像処理装置であって、前記エッジ検出手段により検出したエッジの強度が低い画素で且つ前記枠検出手段により枠として検出されなかった画素で且つ前記二値化手段による二値化の結果全ての成分についてそれぞれの閾値以上となる画素に対してのみ、色を補正する色補正手段を有し、該色補正手段により、裏写り除去画像を生成することを特徴としたものである。
【００２０】
請求項１１の発明は、請求項１０の発明において、前記二値化手段は、各画素の周囲に、予め決められた大きさのウィンドウを設定するウィンドウ設定手段と、各色成分について該ウィンドウ内で計算される統計量に基づいて、二値化の閾値を設定する閾値設定手段とを有することを特徴としたものである。
【００２１】
請求項１２の発明は、請求項９乃至１１のいずれか１の発明において、前記エッジ検出手段は、エッジを検出する画像の色の各成分からエッジ強度を計算し、該当各成分のエッジ強度の間の相関関係を考慮してエッジを検出することを特徴としたものである。
【００２２】
請求項１３の発明は、請求項９乃至１２のいずれか１の発明において、前記枠検出手段は、前記エッジ検出手段により計算したエッジ強度に基づいて枠を検出することを特徴としたものである。
【００２３】
請求項１４の発明は、請求項９乃至１３のいずれか１の発明において、前記枠検出手段は、主走査方向、又は、副走査方向のランを用いて枠を検出することを特徴としたものである。
【００２４】
請求項１５の発明は、請求項１４の発明において、前記枠検出手段は、各ランに対して、走査した画素の濃度変化の特徴が所定のパターンと一致した画素群を前記テキスト領域や写真とみなし、そのランの始点と終点の画素又は画素群を、前記枠として検出することを特徴としたものである。
【００２５】
請求項１６の発明は、請求項１４の発明において、前記枠検出手段は、各ランに対して、ランの長さが閾値以上であるか、又は、ランに含まれ、前記エッジ検出によって前記片面側の画素と判定された画素の個数が閾値以上である場合に、そのランの始点と終点の画素又は画素群を、前記枠として検出することを特徴としたものである。
【００２６】
請求項１７の発明は、紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出し、テキスト領域や写真を囲む枠を検出し、裏写り成分を補正した裏写り除去画像を生成するカラー画像処理プログラムであって、前記検出したエッジの強度が低い画素で、且つ、前記枠として検出されなかった画素に対してのみ、色を補正することにより、裏写り除去画像を生成することを特徴としたものである。
【００２７】
請求項１８の発明は、紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出し、テキスト領域や写真を囲む枠を検出し、色の各成分の値を二値化し、裏写り成分を補正した裏写り除去画像を生成するカラー画像処理プログラムであって、前記検出したエッジの強度が低い画素で且つ前記枠として検出されなかった画素、又は、前記二値化の結果、全ての成分についてそれぞれの閾値以上となる画素に対してのみ、色を補正することにより、裏写り除去画像を生成することを特徴としたものである。
【００２８】
請求項１９の発明は、請求項１８の発明において、前記二値化の閾値は、各画素の周囲に、予め決められた大きさのウィンドウを設定し、各色成分について該ウィンドウ内で計算される統計量に基づいて、設定することを特徴としたものである。
【００２９】
請求項２０の発明は、請求項１７乃至１９のいずれか１の発明において、前記エッジの検出は、エッジを検出する画像の色の各成分からエッジ強度を計算し、該当各成分のエッジ強度の間の相関関係を考慮して行なうことを特徴としたものである。
【００３０】
請求項２１の発明は、請求項１７乃至２０のいずれか１の発明において、前記テキスト領域や写真を囲む枠の検出は、前記計算したエッジ強度に基づいて行なうことを特徴としたものである。
【００３１】
請求項２２の発明は、請求項１７乃至２１のいずれか１の発明において、前記テキスト領域や写真を囲む枠の検出は、主走査方向、又は、副走査方向のランを用いて行なうことを特徴としたものである。
【００３２】
請求項２３の発明は、請求項２２の発明において、各ランに対して、走査した画素の濃度変化の特徴が所定のパターンと一致した画素群を前記テキスト領域や写真とみなし、そのランの始点と終点の画素又は画素群を、前記枠とすることを特徴としたものである。
【００３３】
請求項２４の発明は、請求項２２の発明において、各ランに対して、ランの長さが閾値以上であるか、又は、ランに含まれ、前記エッジ検出によって前記片面側の画素と判定された画素の個数が閾値以上である場合に、そのランの始点と終点の画素又は画素群を、前記枠とすることを特徴としたものである。
【００３４】
請求項２５の発明は、請求項１７乃至２４のいずれか１記載のカラー画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００３５】
【発明の実施の形態】
図１は、本発明の一実施形態によるカラー画像処理装置を説明するためのモジュール構成図である。本実施形態において、スキャナ，デジタルカメラ等の画像入力機器１から入力されたカラー画像は、ＲＡＭ６に蓄積される。また、後述する一連の処理は、ＲＯＭ７に蓄積されたプログラムをＣＰＵ５が読み出すことによって、或いは各処理用のハードモジュールの組み合わせによって実行される。また、処理の途中経過や途中結果は、ＣＲＴ等の表示装置２を通してユーザに提示され、必要な場合には、キーボード３からユーザが処理に必要なパラメータを入力指定する。後述する処理の実行中に作られる中間データはＲＡＭ６に蓄積され、必要に応じて、ＣＰＵ５によって読み出し、修正・書き込みが行われる。一連の処理の結果として生成された裏写り補正画像は、ＲＡＭ６から読み出されて、画像印刷機器（プリンタ）４に出力される。
【００３６】
図２は、本発明の一実施形態に係るカラー画像処理方法を説明するためのフロー図である。本発明は、主としてカラーデジタル複写機の中の画像処理に相当する。本発明の処理の前には、通常通り、Ａ／Ｄ変換、濃度補正などの前処理が、後には中間調処理などが行われる。
【００３７】
スキャナ１によってカラー画像が入力されると（ステップＳ１）、まず、その画像に、ノイズ除去のための平滑化などの前処理を行う（ステップＳ２）。次に、前処理を施された入力カラー画像について、エッジ検出を行う（ステップＳ３）。エッジ検出の詳細は後述する。エッジ検出の結果、入力画像は、文字，線などに対応するＯＮ画素と、それ以外のＯＦＦ画素に分類される。ＯＦＦ画素に分類された画素に対して、枠を検出する処理を施し、枠として検出された画素をＯＮ画素にする（ステップＳ４）。枠検出の詳細は後述する。このようにして、ＯＦＦ画素に分類された領域について、裏写り除去処理、すなわち裏写り補正処理を施し（ステップＳ５）、画像をプリンタ等で出力する（ステップＳ６）。ここで、裏写り補正処理は、例えば、特願平１１−３５４４１２号及び特願２０００−２３４３３号明細書に記載の方法などを用いる。
【００３８】
まず、エッジ検出の詳細について説明する。エッジ検出処理では、スキャナから入力されて、前処理を施されたカラー画像を入力とし、このカラー画像のエッジなどに対応するＯＮ画素と、それ以外のＯＦＦ画素に分類した結果を表す二値画像Ｆを出力する。カラー画像からのエッジ検出としては、各成分についてＳｏｂｅｌオペレータなどによって計算されたエッジ強度の二乗和の平方根をとるのがもっとも単純な方法である。他に、文献 H.-C. Lee and D.R. Cok, “Detecting boundaries in a vector field,” IEEE Trans. Signal Processing, vol. 39, no. 5, pp. 1181-1194, 1991 に挙げられているようなベクトル法によるエッジ検出方法があり、単純な方法よりもノイズに対する頑健性が優れていることが知られている。ベクトル法によるエッジ検出方法では、各成分について計算されたエッジ強度の組み合わせにおいて、単純に二乗和の平方根をとるのではなく、成分間の相関関係も考慮するのが特徴である。具体的には、ｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）、ｗ（ｘ，ｙ）を色の３成分として、
【００３９】
【数１】

【００４０】
と定義すると、画素（ｘ，ｙ）でのエッジ強度は、下式で与えられる。
【００４１】
【数２】

【００４２】
図４は、図３の画像に対し、ベクトルＳｏｂｅｌオペレータによって生成されたエッジ強度画像を示す図である。
次に、エッジ強度を閾値処理する。閾値は、強度分布を統計的に解析して自動的に設定するか、或いは、予め閾値を幾通りか用意しておいて、裏写りの程度や紙質に応じてユーザが設定する。エッジ強度が閾値以上の画素がＯＮ、それ以外がＯＦＦになる。また、二値エッジ画像において、ＯＮの画素に対して、適宜、膨張処理を施す。図５に、図４のエッジ強度画像を二値化した二値化エッジ画像を示している。
【００４３】
次に、枠検出の詳細について説明する。
テキスト領域や写真を囲む枠の検出は、計算したエッジ強度に基づいて行なう。また、主走査方向、又は、副走査方向のランを用いて行なう。さらに、各ランに対して、走査した画素の濃度変化の特徴が所定のパターンと一致した画素群を前記テキスト領域や写真とみなし、そのランの始点と終点の画素又は画素群を、枠とするようにする。また、各ランに対して、ランの長さが閾値以上であるか、又は、ランに含まれ、エッジ検出によって片面側の画素と判定された画素の個数が閾値以上である場合に、そのランの始点と終点の画素又は画素群を、枠とするようにしてもよい。
【００４４】
まず、主走査方向の各スキャンラインについて、順次枠検出処理を行って行く。ここでは、処理の単純化のため、Ｇ信号だけを処理する。処理の概略は次のようになる。
【００４５】
まず、左から逐次的に、次のような条件により、ランを構成して行く。
ランの始点：「拡張中のランがない」ＡＮＤ「前景画素ではない」ＡＮＤ｛ｔｈｒ０≦ｇ＜ｔｈｒ１｝
ランの終点：「前景画素ではない」ＡＮＤ｛ｇ＜ｔｈｒ０ ＯＲ ｔｈｒ１≦ｇ｝
ランの拡張条件：「前景画素である」ＯＲ ｔｈｒ０≦ｇ＜ｔｈｒ１
【００４６】
そして、各ランに対して、「ランの長さが閾値ｒｕｎｔｈｒ以上」ＯＲ「ランに含まれる前景画素の個数が閾値ｃｔｈｒ以上」の条件が満たされるとき、その始点と終点を、「前景画素」として保持する。
【００４７】
図６及び図７は、ｉ番目のスキャンラインに対する枠検出処理を詳細に説明するためのフロー図である。
まず、ランが拡張中かどうかを示す変数ｆｌｇを０に初期化し、走査中の画素の位置を示す変数ｊを０、すなわち、ｉ番目のスキャンラインの左端に初期化する（ステップＳ１１）。ｊがスキャンラインの長さｗｉｄｔｈ未満であるかを判断し（ステップＳ１２）、ｗｉｄｔｈ以上であれば、このスキャンラインに対する処理を終了し、ｉ＋１番目のスキャンラインの処理に移る（ステップＳ２１）。ステップＳ１２においてｗｉｄｔｈ未満であれば、以降の処理を続行する。
【００４８】
ｆｉｍｇは各画素について、それが前景画素（ＯＮ）か、そうでないか（ＯＦＦ）を記憶するための２次元配列である。もし、現在着目している画素（ｉ，ｊ）がエッジ検出によって前景画素に分類（ｆｉｍｇ［ｉ］［ｊ］＝ＯＮ）されていれば（ステップＳ１３でＹＥＳ）、前景画素を示す変数ｂｆｌｇを１にし、現在拡張中のラン内の前景画素のカウンタｃｆｌｇを１つ増やす（ステップＳ１４）。前景画素でなければ、ｂｆｌｇを０にする（ステップＳ２２）。
【００４９】
次に、もし、現在着目している画素がスキャンラインの左端（ｊ＝０）又は右端（ｊ＝ｗｉｄｔｈ−１）であれば（ステップＳ１５でＹＥＳ）、現在着目している画素でランの拡張条件が満たされたかどうかを示す変数ｏｎを０にし、ｂｆｌｇも０にし（ステップＳ１６）、ステップＳ１７以降の処理を続行する。画素左端でも右端でもなければ、図７に示すステップＳ３１〜Ｓ３４の処理Ａを行う。
【００５０】
処理Ａにおいては、ｂｆｌｇが０（前景画素でない）であるかを判断し（ステップＳ３１）、０であれば、（ｉ，ｊ）におけるＧ信号の値ｇ［ｉ］［ｊ］をチェックし（ステップＳ３２）、もし、それが２つの閾値ｔｈｒ０とｔｈｒ１の間にあれば、ｏｎを１に（ステップＳ３３）、そうでなければ０にする（ステップＳ３４）。ここで処理Ａは終了し、ステップＳ１６を飛ばしてステップＳ１７以降の処理を続行する。
【００５１】
ステップＳ１７，Ｓ１８，Ｓ２３においてはそれぞれｏｎが１であるか，ｆｌｇが０であるか，ｆｌｇが１であるかを判断する。ｏｎが１で、かつ、ｆｌｇが０であれば、現在着目している画素が前景画素ではなく、拡張中のランがなく、しかも、ランの拡張条件が満たされているので、その画素をランの開始（ｓｔａｒｔ）とし、ｆｌｇを１に、ラン内の前景画素の個数ｃｆｌｇを０に初期化する（ステップＳ１９）。一方、ｏｎが０で、かつ、ｆｌｇが１であれば、現在着目している画素が前景画素ではなく、拡張中のランがあったが、ランの拡張条件が満たされなかったので、その画素をランの終点とし（ステップＳ２４：拡張中のランがない、すなわちｆｌｇを０とする）、ランの長さについての条件「ｊ−ｓｔａｒｔ≧ｒｕｎｔｈｒ」とラン内の前景画素の個数についての条件「ｃｆｌｇ≧ｃｔｈｒ」をチェックして（ステップＳ２５）、どちらかが満たされれば、そのランの始点と終点の画素を前景画素に設定する（ステップＳ２６）。すなわち、ｆｉｍｇ［ｉ］［ｓｔａｒｔ］←ＯＮ，ｆｉｍｇ［ｉ］［ｊ］←ＯＮとする。そしてステップＳ２０にて次の画素に移り（ｊ←ｊ＋１）、ステップＳ１２以降の処理を繰り返す。また、ｏｎ及びｆｌｇが同じ値である場合には（ステップＳ１８でＮＯ，ステップＳ２３でＮＯ）、ステップＳ２０で次の画素に移る。
【００５２】
図８は、枠を検出した結果を説明するための図である。
上述の処理により、図８に示すように、画素群１１₁と１２₁の間及び画素群１１₂と１２₄の間がランの始点と見なされ、その始点の画素（画素群１２₁及び１２₄の最初の画素）が前景画素に設定される。同様に画素群１２₃と１１₂の間及び画素群１２₄と１１₃の間がランの終点と見なされ、その終点の画素（画素群１２₃及び１２₄の最後の画素）が前景画素に設定される。なお、図８においては、エッジ検出の結果、文字や線などに対応するＯＮ画素と分類された画素群を１３（１３₁，１３₂）として、ＯＦＦ画素と分類され枠検出においてランの拡張条件が満たされた画素群を１２（１２₁，１２₂，１２₃，１２₄）として、枠検出においてランの拡張条件が満たされなかった画素群を１１（１１₁，１１₂，１１₃）として、それぞれ示している。ここでは、主走査方向のスキャンラインについての処理を説明したが、この処理は副走査方向のスキャンラインにもそのまま適用できる。
【００５３】
図９は、図３に示すような裏写りのあるカラー画像に枠検出を施した結果、ＯＮ画素に分類された画素を示す図である。さらに、ＯＦＦ画素領域、すなわち図５，図９のいずれでも黒でマークされていない画素、に裏写り補正処理を施すことにより、図１０に示すような、裏写りを除去した画像が得られる。
【００５４】
図１１は、本発明の他の実施形態に係るカラー画像処理方法を説明するためのフロー図である。本発明は、主としてカラーデジタル複写機の中の画像処理に相当する。本発明の処理の前には、通常通り、Ａ／Ｄ変換、濃度補正などの前処理が、後には中間調処理などが行われる。
【００５５】
スキャナ１によってカラー画像が入力されると（ステップＳ４１）、まず、その画像に、ノイズ除去のための平滑化などの前処理を行う（ステップＳ４２）。次に、前処理を施された入力カラー画像について、エッジ検出を行う（ステップＳ４３）。エッジ検出の結果、入力画像は、文字、線などに対応するＯＮ画素と、それ以外のＯＦＦ画素に分類される。ＯＦＦ画素に分類された画素に対して、枠を検出する処理を施し、枠として検出された画素をＯＮ画素にする（ステップＳ４４）。このエッジ検出と枠検出については、前述したものと同じである。
【００５６】
さらに、ＯＦＦ画素に分類された領域において、カラーの各成分について、二値化を行うことによって、入力画像から表面の文字，線，点，絵柄部などを抽出する（ステップＳ４５）。カラー成分二値化の結果、入力画像は、文字，線，点，絵柄部などに対応するＯＮ画素と、それ以外のＯＦＦ画素に分類される。さらに、このうち、ＯＦＦ画素に分類された領域について、すなわち、エッジ検出、枠検出、カラー成分二値化処理のいずれにおいても、ＯＮ画素に分類されなかった画素領域に対して裏写り補正処理を施し（ステップＳ４６）、最終的にプリンタ等にて画像を出力する（ステップＳ４７）。ここで、裏写り補正処理は、例えば、特願平１１−３５４４１２号及び特願２０００−２３４３３号明細書に記載の方法などを用いる。
【００５７】
図１２及び図１３は、図１１のカラー成分二値化処理を詳細に説明するためのフロー図である。
ここでは、スキャナから入力されて、前処理を施されたカラー画像を入力とし、このカラー画像において、文字，線，点，絵柄部などに対応するＯＮ画素と、それ以外のＯＦＦ画素に分類した結果を表す二値画像Ｆを出力する。また、予め指定したパラメータとして、ウィンドウのサイズＷと、Ｒ，Ｇ，Ｂの各成分についての固定閾値τｒ，τｇ，τｂを用いる。
【００５８】
（ｉ，ｊ）をスキャン順の先頭画素とし（ステップＳ５１）、二値画像Ｆ（ｉ，ｊ）を初期化（ｏｆｆ）する（ステップＳ５２）。二値化処理では、各画素（ｉ，ｊ）に対し、まず、Ｒ成分について、文字，線，点抽出のための二値化を行う（ステップＳ５３〜Ｓ５５）。これは、条件Ｒ（ｉ，ｊ）＜Ｔｒ（ｉ，ｊ）をチェックすることにより行われる（ステップＳ５５）。ここで、Ｔｒ（ｉ，ｊ）は閾値で、例えば、画素（ｉ，ｊ）を中心とするのＷ×Ｗのウィンドウ内のＲ成分信号の平均μｒ（ｉ，ｊ）と標準偏差σｒ（ｉ，ｊ）を計算し（ステップＳ５３）、その値により、Ｔｒ（ｉ，ｊ）＝ａ・μｒ（ｉ，ｊ）＋ｂ・σｒ（ｉ，ｊ）で決められる（ステップＳ５４）。ただし、ａとｂは予め指定したパラメータである。また、ｂは、ｃを予め指定したパラメータとして、ｂ＝ｃ・μｒ（ｉ，ｊ）のように決めてもよい。さらに、絵柄部は、固定閾値τｒとμｒ（ｉ，ｊ）についての条件比較μｒ（ｉ，ｊ）＜τｒにより検出される（ステップＳ５５）。
【００５９】
Ｇ成分，Ｂ成分についても、同様に処理する（ステップＳ５６〜Ｓ５８，ステップＳ５９〜６１）。画素（ｉ，ｊ）に対して、６つの条件Ｒ（ｉ，ｊ）＜Ｔｒ（ｉ，ｊ）、μｒ（ｉ，ｊ）＜τｒ、Ｇ（ｉ，ｊ）＜Ｔｇ（ｉ，ｊ）、μｇ（ｉ，ｊ）＜τｇ、Ｂ（ｉ，ｊ）＜Ｔｂ（ｉ，ｊ）、μｂ（ｉ，ｊ）＜τｂのいずれかを満足すればＯＮ画素に（ステップＳ６４）、それ以外の場合はＯＦＦ画素に分類される。上述の処理を全ての画素に対して行い（ステップＳ６２，Ｓ６３）、二値画像Ｆを出力する（ステップＳ６５）。なお、図１２及び図１３で示した例では、Ｒ，Ｇ，Ｂの順番に処理を行っているが、この順番は適宜変えても効果に差はない。
【００６０】
図１４は、図３に示すような裏写りのあるカラー画像にカラー成分二値化処理を施した結果、ＯＮ画素に分類された画素を黒で示した図である。さらに、ＯＦＦ画素領域、すなわち図５，図９，図１４のいずれにおいても黒でマークされていない画素、に裏写り補正処理を施すことにより、図１０に示すような、裏写りを除去した画像が得られる。
【００６１】
以上、本発明によるカラー画像処理方法に関して詳細に説明してきたが、次に本発明によるカラー画像処理装置としての実施形態を説明する。なお、細部はカラー画像処理方法として上述の各実施形態で説明しており省略する。
【００６２】
図１５は、本発明の一実施形態に係るカラー画像処理装置を説明するための図である。
本実施形態に係るカラー画像処理装置２０は、紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出するエッジ検出手段２１と、テキスト領域や写真を囲む枠を検出する枠検出手段２２とを有し、裏写り成分を補正した裏写り除去画像を生成するカラー画像処理装置である。ここでエッジ検出手段２１により検出したエッジの強度が低い画素で、且つ、枠検出手段２２により枠として検出されなかった画素に対してのみ、色を補正する色補正手段２３を有し、色補正手段２３により、裏写り除去画像を生成するようにしている。
【００６３】
エッジ検出手段２１は、エッジを検出する画像の色の各成分からエッジ強度を計算し、該当各成分のエッジ強度の間の相関関係を考慮してエッジを検出するようにすればよい。
枠検出手段２２は、計算したエッジ強度に基づいて枠を検出すればよい。走査方法としては、主走査方向、又は、副走査方向のランを用いて枠を検出するようにするとよい。また、枠検出手段２２は、各ランに対して、走査した画素の濃度変化の特徴が所定のパターンと一致した画素群を前記テキスト領域や写真とみなし、そのランの始点と終点の画素又は画素群を、枠として検出するようにしてもよい。さらに、枠検出手段２２は、各ランに対して、ランの長さが閾値以上であるか、又は、ランに含まれ、エッジ検出によって片面側の画素と判定された画素の個数が閾値以上である場合に、そのランの始点と終点の画素又は画素群を、枠として検出するようにしてもよい。
【００６４】
図１６は、本発明の他の実施形態に係るカラー画像処理装置の構成を説明するための図である。
本発明の他の実施形態に係るカラー画像処理装置２０′は、紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出するエッジ検出手段２１と、テキスト領域や写真を囲む枠を検出する枠検出手段２２と、色の各成分の値を二値化する二値化手段２４とを有し、裏写り成分を補正した裏写り除去画像を生成するカラー画像処理装置である。ここでエッジ検出手段２１により検出したエッジの強度が低い画素で且つ枠検出手段２２により枠として検出されなかった画素で且つ二値化手段２４による二値化の結果、全ての成分についてそれぞれの閾値以上となる画素に対してのみ、色を補正する色補正手段２３′を有し、色補正手段２３′により、裏写り除去画像を生成する。また、二値化手段２４は、各画素の周囲に、予め決められた大きさのウィンドウを設定するウィンドウ設定手段と、各色成分について該ウィンドウ内で計算される統計量に基づいて、二値化の閾値を設定する閾値設定手段とを有するようにしてもよい。
【００６５】
次に、上述の特願平１１−３５４４１２号及び特願２０００−２３４３３号明細書に記載のカラー画像処理方法、カラー画像処理装置、及びそのための記録媒体の発明を簡単に説明する。
このカラー画像処理方法の一実施形態としては、まず、入力カラー画像の解像度を縮小し、カラー座標系を独立性が高いものに変換する。次にエッジを検出し、エッジ以外の領域に対してカラー閾値処理を行って背景色画像を推定し、裏写り除去画像を合成する。原画像と裏写り除去画像のエッジ強度からエッジ差分画像を生成し、不適切な処理により画像が劣化している個所を検出する。原画像に存在しないエッジを構成する各画素の周囲に矩形領域を設定し、その領域内で処理スケール（ウインドウサイズ）を縮小して処理を再度実行する。裏写り除去画像と縮小原画像の差分計算により裏写り部分を同定し、元の解像度の原画像での裏写り部分を除去し、画像を出力する。
【００６６】
以上、本発明のカラー画像処理方法及び装置を説明してきたが、本発明の実施形態としては、図１を用いた説明で触れたように、コンピュータに、これらのカラー画像処理方法を実行させるための、或いはカラー画像処理装置として機能させるためのカラー画像処理プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体としても可能である。
【００６７】
【発明の効果】
本発明によれば、エッジ強度が弱いために、エッジとして検出されずに、裏写り補正処理の結果、形状が歪むことが多い、テキスト領域や写真を囲む薄い色の長方形の枠を抽出することにより、人間の知覚が敏感な縦線や横線の歪みを防ぎながら裏写りを補正することができる。
【００６８】
本発明によれば、エッジ強度検出により、文字や線の境界、背景色が変化する部分を抽出し、抽出されなかった画素にだけ裏写り補正処理を施すことにより、画質劣化を防止しながら裏写りを補正することができる。
【００６９】
本発明によれば、カラー成分の二値化により、色のついた文字、線、点や、絵柄部分などを抽出し、抽出されなかった画素にだけ裏写り補正処理を施すことにより、画質劣化を防止しながら裏写りを補正することができる。
【００７０】
本発明によれば、エッジ強度検出により、文字や線の境界、背景色が変化する部分を抽出し、抽出されなかった画素にだけ裏写り補正処理を施すことにより、画質劣化を防止しながら裏写りを補正することができる。
【図面の簡単な説明】
【図１】 本発明の一実施形態によるカラー画像処理装置を説明するための図である。
【図２】 本発明の一実施形態に係るカラー画像処理方法を説明するためのフロー図である。
【図３】 裏写りのあるカラー画像の例を示す図である。
【図４】 図３の画像に対し、ベクトルＳｏｂｅｌオペレータによって生成されたエッジ強度画像を示す図である。
【図５】 図４のエッジ強度画像を二値化した二値化エッジ画像を示す図である。
【図６】 ｉ番目のスキャンラインに対する枠検出処理を詳細に説明するためのフロー図である。
【図７】 ｉ番目のスキャンラインに対する枠検出処理を詳細に説明するためのフロー図である。
【図８】 枠を検出した結果を説明するための図である。
【図９】 図３に示すような裏写りのあるカラー画像に枠検出を施した結果、ＯＮ画素に分類された画素を示す図である。
【図１０】 裏写り補正処理を施すことにより、裏写りを除去した画像が得られることを示す図である。
【図１１】 本発明の他の実施形態に係るカラー画像処理方法を説明するためのフロー図である。
【図１２】 図１１のカラー成分二値化処理を詳細に説明するためのフロー図である。
【図１３】 図１１のカラー成分二値化処理を詳細に説明するためのフロー図である。
【図１４】 図３に示すような裏写りのあるカラー画像にカラー成分二値化処理を施した結果、ＯＮ画素に分類された画素を黒で示した図である。
【図１５】 本発明の一実施形態に係るカラー画像処理装置を説明するための図である。
【図１６】 本発明の他の実施形態に係るカラー画像処理装置の構成を説明するための図である。
【符号の説明】
１…画像入力機器、２…表示装置、３…キーボード、４…画像印刷機器、５…ＣＰＵ、６…ＲＡＭ、７…ＲＯＭ、２０，２０′…カラー画像処理装置、２１…エッジ検出手段、２２…枠検出手段、２３，２３′…色補正手段、２４…二値化手段。

Claims (25)

1. 紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出し、テキスト領域や写真を囲む枠を検出し、裏写り成分を補正した裏写り除去画像を生成するカラー画像処理方法であって、前記検出したエッジの強度が低い画素で、且つ、前記枠として検出されなかった画素に対してのみ、色を補正することにより、裏写り除去画像を生成することを特徴とするカラー画像処理方法。
2. 紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出し、テキスト領域や写真を囲む枠を検出し、色の各成分の値を二値化し、裏写り成分を補正した裏写り除去画像を生成するカラー画像処理方法であって、前記検出したエッジの強度が低い画素で且つ前記枠として検出されなかった画素で且つ前記二値化の結果全ての成分についてそれぞれの閾値以上となる画素に対してのみ、色を補正することにより、裏写り除去画像を生成することを特徴とするカラー画像処理方法。
3. 前記二値化の閾値は、各画素の周囲に、予め決められた大きさのウィンドウを設定し、各色成分について該ウィンドウ内で計算される統計量に基づいて、設定することを特徴とする請求項２記載のカラー画像処理方法。
4. 前記エッジの検出は、エッジを検出する画像の色の各成分からエッジ強度を計算し、該当各成分のエッジ強度の間の相関関係を考慮して行なうことを特徴とする請求項１乃至３のいずれか１記載のカラー画像処理方法。
5. 前記テキスト領域や写真を囲む枠の検出は、前記計算したエッジ強度に基づいて行なうことを特徴とする請求項１乃至４のいずれか１記載のカラー画像処理方法。
6. 前記テキスト領域や写真を囲む枠の検出は、主走査方向、又は、副走査方向のランを用いて行なうことを特徴とする請求項１乃至５のいずれか１記載のカラー画像処理方法。
7. 各ランに対して、走査した画素の濃度変化の特徴が所定のパターンと一致した画素群を前記テキスト領域や写真とみなし、そのランの始点と終点の画素又は画素群を、前記枠とすることを特徴とする請求項６記載のカラー画像処理方法。
8. 各ランに対して、ランの長さが閾値以上であるか、又は、ランに含まれ、前記エッジ検出によって前記片面側の画素と判定された画素の個数が閾値以上である場合に、そのランの始点と終点の画素又は画素群を、前記枠とすることを特徴とする請求項６記載のカラー画像処理方法。
9. 紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出するエッジ検出手段と、テキスト領域や写真を囲む枠を検出する枠検出手段とを有し、裏写り成分を補正した裏写り除去画像を生成するカラー画像処理装置であって、前記エッジ検出手段により検出したエッジの強度が低い画素で、且つ、前記枠検出手段により枠として検出されなかった画素に対してのみ、色を補正する色補正手段を有し、該色補正手段により、裏写り除去画像を生成することを特徴とするカラー画像処理装置。
10. 紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出するエッジ検出手段と、テキスト領域や写真を囲む枠を検出する枠検出手段と、色の各成分の値を二値化する二値化手段とを有し、裏写り成分を補正した裏写り除去画像を生成するカラー画像処理装置であって、前記エッジ検出手段により検出したエッジの強度が低い画素で且つ前記枠検出手段により枠として検出されなかった画素で且つ前記二値化手段による二値化の結果全ての成分についてそれぞれの閾値以上となる画素に対してのみ、色を補正する色補正手段を有し、該色補正手段により、裏写り除去画像を生成することを特徴とするカラー画像処理装置。
11. 前記二値化手段は、各画素の周囲に、予め決められた大きさのウィンドウを設定するウィンドウ設定手段と、各色成分について該ウィンドウ内で計算される統計量に基づいて、二値化の閾値を設定する閾値設定手段とを有することを特徴とする請求項１０記載のカラー画像処理装置。
12. 前記エッジ検出手段は、エッジを検出する画像の色の各成分からエッジ強度を計算し、該当各成分のエッジ強度の間の相関関係を考慮してエッジを検出することを特徴とする請求項９乃至１１のいずれか１記載のカラー画像処理装置。
13. 前記枠検出手段は、前記エッジ検出手段により計算したエッジ強度に基づいて枠を検出することを特徴とする請求項９乃至１２のいずれか１記載のカラー画像処理装置。
14. 前記枠検出手段は、主走査方向、又は、副走査方向のランを用いて枠を検出することを特徴とする請求項９乃至１３のいずれか１記載のカラー画像処理装置。
15. 前記枠検出手段は、各ランに対して、走査した画素の濃度変化の特徴が所定のパターンと一致した画素群を前記テキスト領域や写真とみなし、そのランの始点と終点の画素又は画素群を、前記枠として検出することを特徴とする請求項１４記載のカラー画像処理装置。
16. 前記枠検出手段は、各ランに対して、ランの長さが閾値以上であるか、又は、ランに含まれ、前記エッジ検出によって前記片面側の画素と判定された画素の個数が閾値以上である場合に、そのランの始点と終点の画素又は画素群を、前記枠として検出することを特徴とする請求項１４記載のカラー画像処理装置。
17. 紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出し、テキスト領域や写真を囲む枠を検出し、裏写り成分を補正した裏写り除去画像を生成するカラー画像処理プログラムであって、前記検出したエッジの強度が低い画素で、且つ、前記枠として検出されなかった画素に対してのみ、色を補正することにより、裏写り除去画像を生成することを特徴とするカラー画像処理プログラム。
18. 紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対して、エッジを検出し、テキスト領域や写真を囲む枠を検出し、色の各成分の値を二値化し、裏写り成分を補正した裏写り除去画像を生成するカラー画像処理プログラムであって、前記検出したエッジの強度が低い画素で且つ前記枠として検出されなかった画素、又は、前記二値化の結果、全ての成分についてそれぞれの閾値以上となる画素に対してのみ、色を補正することにより、裏写り除去画像を生成することを特徴とするカラー画像処理プログラム。
19. 前記二値化の閾値は、各画素の周囲に、予め決められた大きさのウィンドウを設定し、各色成分について該ウィンドウ内で計算される統計量に基づいて、設定することを特徴とする請求項１８記載のカラー画像処理プログラム。
20. 前記エッジの検出は、エッジを検出する画像の色の各成分からエッジ強度を計算し、該当各成分のエッジ強度の間の相関関係を考慮して行なうことを特徴とする請求項１７乃至１９のいずれか１記載のカラー画像処理プログラム。
21. 前記テキスト領域や写真を囲む枠の検出は、前記計算したエッジ強度に基づいて行なうことを特徴とする請求項１７乃至２０のいずれか１記載のカラー画像処理プログラム。
22. 前記テキスト領域や写真を囲む枠の検出は、主走査方向、又は、副走査方向のランを用いて行なうことを特徴とする請求項１７乃至２１のいずれか１記載のカラー画像処理プログラム。
23. 各ランに対して、走査した画素の濃度変化の特徴が所定のパターンと一致した画素群を前記テキスト領域や写真とみなし、そのランの始点と終点の画素又は画素群を、前記枠とすることを特徴とする請求項２２記載のカラー画像処理プログラム。
24. 各ランに対して、ランの長さが閾値以上であるか、又は、ランに含まれ、前記エッジ検出によって前記片面側の画素と判定された画素の個数が閾値以上である場合に、そのランの始点と終点の画素又は画素群を、前記枠とすることを特徴とする請求項２２記載のカラー画像処理プログラム。
25. 請求項１７乃至２４のいずれか１記載のカラー画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images