JP3901837B2 - 画像処理方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理方法および画像処理装置に関し、詳細には、画像の粒状（高周波ノイズ）を抑制しつつ、画像の鮮鋭度を強調する処理方法および装置に関するものである。
【０００２】
【従来の技術】
従来より、写真フイルムやプリントに記録された画像（カラー画像を含む）をＣＣＤ等のセンサーにより光電的に読み取って画像信号を得、これに種々の画像処理を施して、処理済画像をプリントやＣＲＴ等に再生することが行われている。このような画像処理としては、画像に含まれる所定の空間周波数成分に作用させる周波数処理や、画像の濃度などに作用させる階調処理等がある。
【０００３】
さらに周波数処理としては、画像の輪郭のぼけを抑制する鮮鋭度強調処理や、感材の粒状度等に起因するノイズ（粒状）を抑制する平滑化処理等の粒状抑制処理などがある。
【０００４】
鮮鋭度強調処理としては、アンシャープマスキング処理、高域強調フィルター処理、特開平 9-22460号に開示された、画像の高周波数成分を強調しつつ中間周波数成分を抑制する処理等が知られており、また粒状抑制処理としては、メディアンフィルター処理、ヒステリシススムージング処理、反復による雑音除去処理、モルフォロジー演算を利用した粒状抑制処理等が知られている。
【０００５】
ところで、鮮鋭度強調処理によれば、画像のシャープネスは向上する反面、画像の粒状も強調されてざらつき感が残り、一方、粒状抑制処理によれば、画像の粒状は抑制されてざらつき感を低減できる反面、画像の鮮鋭度が低下する、という問題がある。
【０００６】
【発明が解決しようとする課題】
そこで、粒状を抑制しつつ鮮鋭度を強調する画像処理方法が望まれており、従来より粒状抑制と鮮鋭度強調とを同時に実現することを目的とした種々の画像処理方法が提案されている（米国特許第4,812,903 号、特開昭63-26783号、特開平 9-22460号等）ものの、それらのいずれにおいても、効果的に粒状抑制と鮮鋭度強調とを同時に実現することはできていないのが現状である。
【０００７】
例えば、上記特開平9-22460 号に開示された技術は、画像の鮮鋭度に影響を及ぼす高周波数成分を強調しつつ、ざらつき感となる粒状に影響を及ぼす中間周波数成分を抑制する処理により、粒状を抑制しつつ鮮鋭度を強調することとしているが、これは、色の相関情報において粒状部は色の相関度が低く、映像信号（エッジ）部は色の相関度が高いという性質を利用したものである。そしてこの処理は、画像を周波数領域に展開し、中高周波数成分の強度を制御して色相関の低いところは程度を低くすることで粒状抑制を行っている。すなわちこの処理方法では、実画像での隣接画素間のつながりの因子が考慮されないため、画像の場所によっては突然に制御程度が変化し、粒状が抑制されたと捉えにくい面がある。したがって、鮮鋭度強調の効果に比して粒状抑制の効果が小さく、効果面からは粒状抑制鮮鋭度強調処理というよりも、鮮鋭度強調処理に止まるのが実状である。
【０００８】
このため、画像に対する粒状抑制と鮮鋭度強調を効果的に両立することを可能にした画像処理方法、画像処理装置が求められており、しかも、例えばポートレートなどでは必須とされる人物の瞳に写るキャッチライトなどの、本来は抑制されるべきではない画像部分が、粒状抑制処理により抑制されるのを精度よく防止する必要もある。
【０００９】
本発明は上記事情に鑑みなされたものであって、画像に対する粒状抑制と鮮鋭度強調を効果的に両立しつつ、しかも、抑制すべきでない一定の画像部分については粒状抑制処理を施さないようにした画像処理方法および画像処理装置を提供することを目的とするものである。
【００１０】
【課題を解決するための手段】
本発明の画像処理方法は、原画像信号に対して鮮鋭度を強調する処理と粒状を抑制する処理とを各別に施し、原画像信号と粒状抑制後の画像信号との差による閾値処理によってその後の処理内容を変えるものであり、粒状抑制度合いが高過ぎる場合（上記差が閾値より大きい場合）は粒状抑制処理を施さず、一方、粒状抑制度合いが低い場合（上記差が閾値より小さい場合）は少なくとも粒状抑制処理を含む処理を施すものである。
【００１１】
すなわち本発明の画像処理方法は、原画像を構成する画素の値を規定する原画像信号（カラー画像に基づく画像信号も含む）ｆinに所定の処理を施して処理済画像信号を得る画像処理方法において、
前記原画像信号に、粒状を抑制する画像処理および鮮鋭度を強調する画像処理を各別に施し、
前記画素ごとに、前記原画像信号ｆinと前記粒状を抑制する画像処理により取得された粒状抑制処理画像信号ｆ1 との差｜ｆ1 −ｆin｜と、所定の閾値Ｔとを比較し、
前記比較の結果、前記所定の閾値の方が大きい（｜ｆ1 −ｆin｜＜Ｔ）画素については、前記粒状抑制処理画像信号ｆ1 および前記鮮鋭度を強調する画像処理により取得された鮮鋭度強調処理画像信号ｆ2 の画素を対応させた演算処理により前記処理済画像信号ｆout を得、
前記比較の結果、前記所定の閾値の方が小さい（｜ｆ1 −ｆin｜＞Ｔ）画素については、前記原画像信号ｆin、前記原画像信号ｆinを強調処理した強調処理信号ｆin′、または前記鮮鋭度強調処理信号ｆ2 を前記処理済画像信号ｆout とすることを特徴とするものである。
【００１２】
ここで、閾値Ｔと上記差｜ｆ1 −ｆin｜とが等しい（｜ｆ1 −ｆin｜＝Ｔ）画素については、閾値Ｔの方が大きい画素について適用される演算処理を施してもよいし、閾値Ｔの方が小さい画素について適用される演算処理を施してもよいが、前者（閾値Ｔの方が大きい画素について適用される演算処理）を適用するのが望ましい。
【００１３】
また、上記演算処理の内容は、予め設定された複数種類の中から、例えば画像の種類または画素の位置等に応じて選択されたものであってもよいし、外部から処理の都度、入力されたものでもよい。
【００１４】
具体的には、上記演算処理として下記式（１）で定義される演算処理を適用することができる。
【００１５】
【数１】

【００１６】
すなわち粒状抑制処理画像信号ｆ1 と鮮鋭度強調処理画像信号ｆ2 とを重みづけ加算したものを処理済画像信号ｆout とするものである。なおこの演算処理において、画像の種類、画素の位置または原画像信号値との関係等により、重みづけ係数w1、w2の値を画素ごとに変化させてもよいし、共通の重みづけ係数を設定してもよい。
【００１７】
また各重みづけ係数w1、w2は好ましくは 0.2から 0.8までの値、より好ましくは 0.3から 0.7までの値、最も好ましくは 0.4から 0.6までの値を採用するのが望ましい。
【００１８】
上記演算処理としては、下記式（２）で定義される演算処理を適用してもよい。
【００１９】
【数２】

【００２０】
さらにまた、上記粒状を抑制する画像処理としては、メディアンフィルター処理、ヒステリシススムージング処理、反復による雑音除去処理、モルフォロジー（Morphology）演算を利用した粒状抑制処理（平滑化処理）等、上記鮮鋭度を強調する画像処理としては、アンシャープマスキング処理、高域強調フィルター処理、画像信号を低周波数成分、中間周波数成分および高周波数成分に分解し、高周波数成分を強調するとともに中間周波数成分を抑制する強調抑制処理を行い、強調抑制処理後の各周波数成分および低周波数成分を合成する処理（特開平 9-22460号）等をそれぞれ適用することができるが、モルフォロジー演算を利用した粒状抑制（平滑化）処理と画像の高周波数成分を強調しつつ中間周波数成分を抑制したのち合成することによる鮮鋭度強調処理（特開平 9-22460号）との組合せが最適である。
【００２１】
ここでモルフォロジー演算処理とは、モフォロジーまたはモーフォロジーとも称し、一般的にはＮ次元空間における集合論として展開されるが、２次元空間である画像へ適用される場合が多い（特開平8-272961号、同9-248291号、同9-91421 号等）。ここでは、このモルフォロジー演算処理を、濃淡画像を例にして以下に簡単に説明する。
【００２２】
濃淡画像を座標（ｘ，ｙ）の点が濃度値ｆ（ｘ，ｙ）に相当する高さをもつ空間とみなし、この断面に相当する１次元の関数ｆ（ｘ）を考える。モルフォロジー演算処理に用いる構造要素ｇは次式（３）に示すように、原点について対称な対称関数
【００２３】
【数３】

【００２４】
であり、定義域内で値が０で、その定義域Ｇが下記式（４）であるとする。
【００２５】
【数４】

【００２６】
このとき、モルフォロジー演算の基本形は式（５）〜（８）に示すように、非常に簡単な演算となる。
【００２７】
【数５】

【００２８】
すなわち、ダイレーション（dilation）処理は、注目画素を中心とした、±ｍ（構造要素Ｂに応じて決定される値であって、図４中のマスクサイズに相当）の幅の範囲内の最大値を探索する処理であり（同図（Ａ）参照）、一方、イロージョン（erosion ）処理は、注目画素を中心とした、±ｍの幅の範囲内の最小値を探索する処理である（同図（Ｂ）参照）。また、オープニング（opening ）処理はイロージョン処理後にダイレーション処理を行なう処理、すなわち最小値の探索の後に最大値を探索する処理であり、クロージング（closing ）処理は、ダイレーション処理後にイロージョン処理を行なう処理、すなわち最大値の探索の後に最小値を探索する処理に相当する。
【００２９】
つまりオープニング処理は、低濃度側から濃度曲線ｆ（ｘ）を滑らかにし、マスクサイズ２ｍより空間的に狭い範囲で変動する凸状の濃度変動部分（周囲部分よりも濃度が高い部分）を抑制することに相当する（同図（Ｃ）参照）。
【００３０】
一方、クロージング処理は、高濃度側から濃度曲線ｆ（ｘ）を滑らかにし、マスクサイズ２ｍより空間的に狭い範囲で変動する凹状の濃度変動部分（周囲部分よりも濃度が低い部分）を抑制することに相当する（同図（Ｄ）参照）。
【００３１】
ここで、濃度の高いもの程大きな値となる高濃度高信号レベルの信号の場合においては、濃度値ｆ（ｘ）の画像信号値が高輝度高信号レベルの場合に対して大小関係が逆転するため、高濃度高信号レベルの信号に対するダイレーション処理と高輝度高信号レベルに対するイロージョン処理（同図（Ｂ））とは一致し、高濃度高信号レベルの信号に対するイロージョン処理と高輝度高信号レベルに対するダイレーション処理（同図（Ａ））とは一致し、高濃度高信号レベルの信号に対するオープニング処理と高輝度高信号レベルに対するクロージング処理（同図（Ｄ））とは一致し、高濃度高信号レベルの信号に対するクロージング処理と高輝度高信号レベルに対するオープニング処理（同図（Ｃ））とは一致する。
【００３２】
そして、このように原画像を表す画像信号に対して、モルフォロジー演算処理によるオープニング処理若しくはクロージング処理を施すことにより、画像から粒状（画像信号としてのノイズを意味する）を抑制（または除去）することができる（小畑「モルフォロジー」（コロナ社刊）等）。
【００３３】
次に、特開平 9-22460号に開示された、画像の高周波数成分を強調しつつ中間周波数成分を抑制することによる鮮鋭度強調処理について簡単に説明する。
【００３４】
この処理は、画像信号を低周波数成分、中間周波数成分および高周波数成分に分解し、高周波数成分を強調するとともに、中間周波数成分を抑制する強調抑制処理を行い、これらの処理後の各周波数成分および低周波数成分を合成して処理済画像信号を得るものである。
【００３５】
ここで、画像信号の低周波数成分・中間周波数成分・高周波数成分とは、図５に示すように分布される周波数成分のことをいうものであり、中間周波数成分とは、処理後のデータを可視像として再生する際の出力のナイキスト周波数の１／３付近にピークを持って分布する周波数成分をいうものであり、低周波数成分とは、出力のナイキスト周波数が０となる周波数をピークとして分布する成分をいい、高周波数成分とは出力のナイキスト周波数をピークとして分布する成分をいうものであり、さらに、低・中間・高周波数成分の和が各周波数において１となっている成分をいうものである。
【００３６】
また、この処理方法においては、前記分解後、前記高周波数成分および前記中間周波数成分から輝度成分を抽出し、該輝度成分にのみ基づいて前記強調抑制処理および前記合成を行うことが好ましい。
【００３７】
さらに、この処理方法においては、前記所定の画像における特定色領域を抽出し、該特定色領域に対応する前記中間周波数成分をさらに抑制して前記強調抑制処理を行うことが好ましい。
【００３８】
また、この処理方法においては、前記分解後、前記中間周波数成分および／または前記高周波数成分の評価値を求め、該評価値が所定の閾値より小さい画素に対する前記中間周波数成分を該評価値が該所定の閾値より大きい画素に対する前記中間周波数成分よりも大きく抑制して前記強調抑制処理を行うことが好ましい。さらに、この場合は前記評価値が所定の閾値より小さい画素に対する前記高周波数成分を該評価値が該所定の閾値より大きい画素に対する前記高周波数成分よりも小さく強調して前記強調抑制処理を行うことが好ましい。
【００３９】
ここで、評価値とは、後述するようなＲＧＢ３色のうちの２色からなる少なくとも１組の色間における相関値や、画像信号の周波数成分の局所分散などの値のことをいう。
【００４０】
さらに、前記評価値が、前記中間周波数成分および／または前記高周波数成分のＲＧＢ３色のうちの２色からなる少なくとも１組の色間における、相対応する画素についての相関値であることが好ましい。
【００４１】
また、前記評価値をメディアンフィルタによりフィルタリング処理した後、該処理がなされた評価値に基づいて前記所定の閾値に基づいて前記強調抑制処理を行ってもよく、前記中間周波数成分および／または前記高周波数成分と前記評価値とを、ＲＧＢ３色のうちのそれぞれ異なる色に基づいて算出するようにしてもよい。
【００４２】
さらに、前記強調抑制処理の強調および抑制の程度を、前記処理済画像信号を再生する際の再生条件に基づいて予め定められた複数の強調抑制処理条件から選択することにより定めることが好ましい。
【００４３】
ここで、再生条件とは、ネガフイルムあるいはリバーサルフイルム等の原稿種、出力されるプリントのサイズ、またはオペレータが好みの画像処理となるように入力するキー補正等画像が再生される際に影響を受ける条件のことをいう。
【００４４】
なお上記特開平9-22460 号による強調抑制処理における粒状抑制は前述したように、実画像での隣接画素間のつながりの因子は考慮されず、粒状が抑制されたと捉えにくい面があるが、モルフォロジー演算に基づく粒状抑制処理は、粒状の孤立性（粒状は隣接画素との画像信号（濃度）の連続性が低い）という性質を利用した実画像面上での処理であるため、隣接画素間のつながりがよく、粒状の抑制程度を視覚的に捉えやすく、粒状抑制効果が高いものとなる。
【００４５】
また、上記原画像信号ｆinと粒状抑制処理画像信号ｆ1 との差｜ｆ1 −ｆin｜が比較対照とされる所定の閾値Ｔは、原画像が記録されている感材の種類や、ポートレートなどでは必須とされる人物の瞳に写るキャッチライトなどの、本来は粒状抑制されるべきではない画像部分の内容（空間周波数等）などに応じて変動するが、本発明者らの実験および経験上、原画像信号ｆinが採りうる階調数Ｄ（原画像信号が10 bitの階調数を採りうるときは、Ｄ＝２¹⁰＝1024の階調数（信号値としては０〜1023）を有する）の１％から20％の範囲の値α×Ｄ（0.01≦α≦0.20）が望ましく、２％から10％の範囲の値α×Ｄ（0.02≦α≦0.10）がより好ましい。これらの範囲において、上述したキャッチライト等の粒状抑制すべきでない画像部分について粒状抑制処理を施すことなく、粒状抑制と鮮鋭度強調がより効果的に両立された処理済画像を得ることができる。
【００４６】
本発明の画像処理装置は、上記本発明の画像処理方法を実施するための装置であって、原画像を構成する画素の値を規定する原画像信号に所定の処理を施して処理済画像信号を得る画像処理装置において、
前記原画像信号に、粒状を抑制する画像処理を施す粒状抑制処理手段と、
前記原画像信号に、鮮鋭度を強調する画像処理を施す鮮鋭度強調処理手段と、前記画素ごとに、前記原画像信号と前記粒状抑制処理手段による前記粒状を抑制する画像処理により取得された粒状抑制処理画像信号との差と、所定の閾値とを比較する比較手段と、
前記比較手段による前記比較の結果、前記所定の閾値の方が大きい画素については、前記粒状抑制処理画像信号および前記鮮鋭度強調処理手段による前記鮮鋭度を強調する画像処理により取得された鮮鋭度強調処理画像信号の画素を対応させた演算処理を施して前記処理済画像信号を得、前記比較の結果、前記所定の閾値の方が小さい画素については、前記原画像信号、前記原画像信号を強調処理した強調処理信号、または前記鮮鋭度強調処理信号を前記処理済画像信号とする信号処理手段とを備えたことを特徴とするものである。
【００４７】
ここで、信号処理手段による前記演算処理としては下記式（１）または（２）で定義される演算処理を適用するのが望ましい。
【００４８】
【数１】

【００４９】
【数２】

【００５０】
上記粒状抑制処理手段による粒状を抑制する画像処理としては、メディアンフィルター処理、ヒステリシススムージング処理、反復による雑音除去処理、モルフォロジー演算を利用した粒状抑制（平滑化）処理等、鮮鋭度強調処理手段による鮮鋭度を強調する画像処理としては、アンシャープマスキング処理、高域強調フィルター処理、前述した特開平 9-22460号に開示された、画像信号を低周波数成分、中間周波数成分および高周波数成分に分解し、高周波数成分を強調するとともに中間周波数成分を抑制する強調抑制処理を行い、強調抑制処理後の各周波数成分および低周波数成分を合成する処理等をそれぞれ適用することができるが、モルフォロジー演算を利用した粒状抑制処理と、画像の高周波数成分を強調しつつ中間周波数成分を抑制することによる鮮鋭度強調処理（特開平 9-22460号）とを組み合せた構成とするのが最適である。
【００５１】
上記原画像信号ｆinと粒状抑制処理画像信号ｆ1 との差｜ｆ1 −ｆin｜が比較対照とされる所定の閾値Ｔとしては、原画像信号ｆinが採りうる階調数Ｄの１％から20％の範囲の値α×Ｄ（0.01≦α≦0.20）が好ましく、２％から10％の範囲の値α×Ｄ（0.02≦α≦0.10）がより望ましい。
【００５２】
【発明の効果】
本発明の画像処理方法および画像処理装置によれば、画像信号に対して、鮮鋭度を強調する処理と粒状を抑制する処理とを各別に施して、得られた各処理後の画像信号同士を、画素を対応させて演算処理することにより１つの処理済画像信号を得るため、従来の各種の方法または装置に比して、画像に対する粒状抑制と鮮鋭度強調を効果的に両立することができる。しかも、上記演算処理に先だって、原画像信号と粒状抑制処理画像信号との差と、所定の閾値とが比較され、この比較の結果、閾値の方が小さい画素すなわち粒状抑制度合いが高い画素については、上述した粒状抑制処理を含む処理を施さずに、原画像信号、原画像信号を強調した信号または鮮鋭度強調処理画像信号を出力するため、例えば、ポートレートなどでは必須とされる人物の瞳に写るキャッチライトなどの、本来は粒状抑制されるべきではない画像部分が、誤って上述した粒状抑制処理を含む処理により粒状抑制されることがない。
【００５３】
演算処理を上記式（１）に示すものとすれば、粒状を抑制する画像処理により粒状が抑制された画像信号と鮮鋭度を強調する画像処理により鮮鋭度が強調された画像信号とを加重平均することにより、粒状を抑制しつつ鮮鋭度を強調することができる。
【００５４】
また演算処理を上記式（２）に示すものとすれば、粒状抑制処理画像信号と原画像信号との差、および鮮鋭度強調処理画像信号と原画像信号との差により、これらの各差を重みづけ加算した値を処理済画像信号とするため、シャープネスよりも粒状の存在が比較的目立つ濃度平坦部（濃度（または輝度）変化の少ない画像部分）に対応する画素の画像信号は粒状抑制処理の寄与率が大きくなり、粒状よりもシャープネスが比較的目立つエッジ部（濃度（または輝度）変化の急峻な画像部分）に対応する画素の画像信号は鮮鋭度強調処理の寄与率が大きくなるため、画像のエッジ部を鈍らせることなく、粒状を抑制することができる。
【００５５】
粒状を抑制する画像処理としてのモルフォロジー演算を利用した粒状抑制処理と、鮮鋭度を強調する画像処理としての特開平 9-22460号に開示された画像の高周波数成分を強調しつつ中間周波数成分を抑制し処理後の高周波数成分および中間周波数成分並びに低周波数成分を合成することによる鮮鋭度強調処理とを組み合せた構成を採用した場合は、以下の効果がある。
【００５６】
すなわち、特に上記演算処理を式（２）に示すものを適用した場合において、鮮鋭度強調の部分に粒状抑制が全く施されていない場合は、極端に鮮鋭度強調を行うと粒状も強調されて原画像信号との差が、粒状抑制処理画像信号と原画増信号との差よりも結果的に大きくなり、粒状抑制がなされないことになる。このことから式（２）を適用する場合には、鮮鋭度強調処理によってもある程度の粒状抑制の効果を得られる処理である、特開平 9-22460号に開示された鮮鋭度強調処理を適用するのが好ましい。
【００５７】
【発明の実施の形態】
以下、本発明の画像処理方法および画像処理装置の具体的な実施の形態について、図面を用いて説明する。
【００５８】
図１は本発明の画像処理方法の一実施形態の処理フローを示すフローチャート、図２は図１に示した画像処理方法を実施する画像処理装置を示す図である。
【００５９】
図示の画像処理装置は、デジタルスチルカメラにより撮影された、またはカラー写真プリントもしくはカラーフイルムから光電的にスキャナー等で読み取られた、カラー画像を表すＲＧＢの原画像信号Ｒin，Ｇin，Ｂin（いずれも階調数は1024）の入力を受けて、これらのＲＧＢ画像信号Ｒin，Ｇin，Ｂinに対してそれぞれ、粒状を抑制する画像処理を施す粒状抑制処理手段11と、鮮鋭度を強調する画像処理を施す鮮鋭度強調処理手段12と、粒状抑制処理手段11による粒状抑制処理により取得された粒状抑制処理画像信号Ｒ1 ，Ｇ1 ，Ｂ1 と原画像信号Ｒin，Ｇin，Ｂinとの各ＲＧＢ信号ごとの差｜Ｒ1 −Ｒin｜，｜Ｇ1 −Ｇin｜，｜Ｂ1 −Ｂin｜を求め、これらの各差と各ＲＧＢ信号ごとに予め設定された閾値α１・1023，α２・1023，α３・1023とを比較し、この比較結果を出力する比較手段30と、この比較手段30による比較結果に基づいて、所定の演算処理を行う信号処理手段20とを備えた構成である。
【００６０】
ここで、予め設定されて比較手段30に記憶されている各閾値α１・1023，α２・1023，α３・1023は、各原画像信号Ｒin，Ｇin，Ｂinの階調数に対応したものであり、各係数α１，α２，α３は本実施形態においてはいずれも0.04（階調数の４％）とした。なおこれらの係数α１，α２，α３は、同一値を採るものに限るものではなく、原画像信号が表す画像の種類等に応じてＲＧＢ間で相異なる値としてもよく、また、その値も上述した0.04に限るものではないが、一般的にはそれぞれ0.01から0.20の範囲の値を採用するのが好ましく、0.02から0.10の範囲の値を採用するのがより望ましい。
【００６１】
信号処理手段20による上記所定の演算処理の具体的な内容は、以下に示す通りである。すなわち、比較手段30による比較結果が、ＲＧＢのいずれの比較結果においても、閾値の方が大きいか等しい画素については、第１の演算処理である、粒状抑制処理画像信号Ｒ1 ，Ｇ1 ，Ｂ1 および鮮鋭度強調処理手段12による鮮鋭度強調処理により取得された鮮鋭度強調処理画像信号Ｒ2 ，Ｇ2 ，Ｂ2 に基づいて、両処理画像信号の画素を対応させた画素ごとの演算処理結果ｇ（Ｒ1 ，Ｒ2 ），ｇ（Ｇ1 ，Ｇ2 ），ｇ（Ｂ1 ，Ｂ2 ）を処理済画像信号Ｒout ，Ｇout ，Ｂout とする演算処理を施し、一方、ＲＧＢのいずれかの比較結果において、閾値の方が小さい画素については、第２の演算処理である、鮮鋭度強調処理画像信号Ｒ2 ，Ｇ2 ，Ｂ2 を処理済画像信号Ｒout ，Ｇout ，Ｂout とする演算処理を施すものである。
【００６２】
ここで、信号処理手段20による上記第１の演算処理ｇとしては例えば、下記式（１）に示す重みづけ加算処理が適用される。
【００６３】
【数１】

【００６４】
すなわち、ｇ（ｆ1 ，ｆ2 ）＝w1・ｆ1＋w2・ｆ2である。
【００６５】
ここで、重みづけ係数w1、w2の値は、各画素ごとに異なるものとして設定され、例えば原画像信号Ｒin，Ｇin，Ｂinに応じて決定される。
【００６６】
具体的には、シャープネスよりも粒状の存在が比較的目立つ濃度平坦部（濃度（または輝度）変化の少ない画像部分）に対応する画素については、粒状抑制処理画像信号ｆ1 の重みw1が鮮鋭度強調処理画像信号ｆ2 の重みw2より大きく設定され、これとは反対に、粒状よりもシャープネスが比較的目立つエッジ部（濃度（または輝度）変化の急峻な画像部分）に対応する画素については、粒状抑制処理画像信号ｆ1 の重みw1よりも鮮鋭度強調処理画像信号ｆ2 の重みw2の方が大きく設定される。
【００６７】
ここでは、粒状抑制処理手段11による粒状抑制処理としてメディアンフィルター処理、鮮鋭度強調処理手段12による鮮鋭度強調処理としてアンシャープマスキング（ＵＳＭ）処理を適用するものとする。
【００６８】
次に、本実施形態の画像処理装置の作用について、ＲＧＢ信号のうちＲの画像信号Ｒinを例にして説明する。
【００６９】
まず、デジタルスチルカメラ等から、カラー画像を表すＲＧＢの画像信号Ｒin，Ｇin，Ｂinが粒状抑制処理手段11と、鮮鋭度強調処理手段12とにそれぞれ各別に入力される。画像信号Ｒinは上述したように図３（１）に示すような分布を有する信号であり、他の画像信号Ｇin，Ｂinも所定の分布を有している（図示せず）。
【００７０】
原画像信号Ｒinは、比較的大きな濃度変動を有するエッジ部と、濃度変動が少ない濃度平坦部とを表し、これらの濃度分布に高周波のノイズが重畳しており、この高周波ノイズは特に濃度平坦部において、視覚的に目立つものとなる。また、濃度平坦部（例えば人物等の瞳）には、この瞳に映るキャッチライトが存在する。
【００７１】
粒状抑制処理手段11は、入力された原画像信号Ｒin，Ｇin，Ｂinに対して各別に、メディアンフィルター処理を施し、粒状抑制処理画像信号Ｒ1 ，Ｇ1 ，Ｂ1 を算出する。図３（２）は、原画像信号Ｒinに対する粒状抑制処理による粒状抑制処理画像信号Ｒ1 を示す図である。
【００７２】
一方、鮮鋭度強調処理手段12は、入力された原画像信号Ｒin，Ｇin，Ｂinに対して各別に、ＵＳＭ処理を施し、鮮鋭度強調処理画像信号Ｒ2 ，Ｇ2 ，Ｂ2 を算出する。図３（３）は、原画像信号Ｒinに対する鮮鋭度強調処理による鮮鋭度強調処理画像信号Ｒ2 を示す図である。
【００７３】
各図から解されるように、粒状抑制処理画像信号Ｒ1 は、原画像信号Ｒinの粒状が抑制されて平滑化された信号とされ、一方、鮮鋭度強調処理画像信号Ｒ2 は、原画像信号Ｒinのうち、濃度変動部分が強調された信号とされる。
【００７４】
他の粒状抑制処理画像信号Ｇ1 ，Ｂ1 も粒状抑制処理画像信号Ｒ1 と同様に、粒状が抑制されて平滑化された信号とされ、他の鮮鋭度強調処理画像信号Ｇ2 ，Ｂ2 も鮮鋭度強調処理画像信号Ｒ2 と同様に、濃度変動部分が強調された信号とされる。
【００７５】
粒状抑制処理手段11により算出された各粒状抑制処理画像信号Ｒ1 ，Ｇ1 ，Ｂ1 は、原画像信号Ｒ，Ｇ，Ｂとともに、比較手段30に入力される。
【００７６】
比較手段30は、入力された粒状抑制処理画像信号Ｒ1 ，Ｇ1 ，Ｂ1 と原画像信号Ｒin，Ｇin，Ｂinとに基づいて、各ＲＧＢ信号ごとにそれらの差｜Ｒ1 −Ｒin｜，｜Ｇ1 −Ｇin｜，｜Ｂ1 −Ｂin｜を算出する。さらに比較手段30は、算出された各差｜Ｒ1 −Ｒin｜，｜Ｇ1 −Ｇin｜，｜Ｂ1 −Ｂin｜と予め設定された閾値α１・1023（Ｒ信号に対して），α２・1023（Ｇ信号に対して），α３・1023（Ｂ信号に対して）とを各ＲＧＢ信号ごとに比較し、この比較結果を信号処理手段20に出力する。なお、図３（１）に示した粒状部分では上記差の値がこれらの閾値を下回り、キャッチライトの部分では、上記差の値が閾値を上回る。
【００７７】
信号処理手段20は、比較手段30から入力された比較結果に基づいて、上述した第１の演算処理ｇまたは第２の演算処理を施す。
【００７８】
第１の演算処理ｇの場合は、信号処理手段20は、入力された各画像信号について、各色ＲＧＢごとに、画素を対応させて、粒状抑制処理画像信号と鮮鋭度強調処理画像信号とを上記式（１）に従った重みづけ加算処理を行い、ＲＧＢの各色ごとに処理済画像信号を算出する。このとき式（１）中の重みづけ係数w1，w2は前述したように、シャープネスよりも粒状の存在が比較的目立つ濃度平坦部に対応する画素については、粒状抑制処理画像信号の重みw1が鮮鋭度強調処理画像信号の重みw2より大きく設定され、これとは反対に、粒状よりもシャープネスが比較的目立つエッジ部に対応する画素については、粒状抑制処理画像信号の重みw1よりも鮮鋭度強調処理画像信号の重みw2の方が大きく設定される。
【００７９】
図３（４）は、同図（２）に示した粒状抑制処理画像信号Ｒ1 と、同図（３）に示した鮮鋭度強調処理画像信号Ｒ2 とを式（１）に従って重みづけ加算処理して得られた処理済画像信号Ｒout を示す。
【００８０】
図から解されるように、処理済画像信号Ｒout は、原画像信号Ｒin（図３（１））に対して、粒状の存在が比較的目立つ濃度平坦部においては当該粒状が抑制されるとともに、シャープネスが比較的目立つエッジ部においては当該シャープネスの強調が図られるため、効果的に粒状の抑制と鮮鋭度の強調を両立することができる。他の処理済画像信号Ｇout ，Ｂout も処理済画像信号Ｒout と同様に、粒状の抑制と鮮鋭度の強調とが効果的に施された信号とされる。
【００８１】
なお、図３（４）において、破線で示したものは、後述する第２の演算処理により処理される上記キャッチライト部分が、第１の演算処理ｇにより処理された場合の処理後の様子を示すものであり、第２の演算処理により処理された後の様子との比較のために仮定的に表示したものである。
【００８２】
一方、第２の演算処理の場合は、信号処理手段20は、ＲＧＢの各色ごとに鮮鋭度強調処理画像信号を処理済画像信号として出力するため、上記キャッチライトに対応した部分も鮮鋭度強調処理画像信号が処理済画像信号として出力される（図３（５）参照）。
【００８３】
そして画素ごとに上記第１の演算処理または第２の演算処理が施された処理済画像信号が信号処理手段20から出力される（図３（６）参照）。
【００８４】
このように本実施形態の画像処理装置によれば、原画像に存在する粒状を効果的に抑制するとともにシャープネスを効果的に強調することができ、しかも、上記キャッチライトのような一定の画像部分については、比較手段30による閾値処理により、粒状部分と同様の粒状抑制処理が施される（図３（４）に示す破線部分）のを防止して処理後の画像においても精度よく残すことができる。
【００８５】
なお本実施形態の画像処理装置において、信号処理手段20が入力された信号に対して第１の演算処理を施すかまたは第２の演算処理を施すかの切換えについては、図１に示すように、カラー画像信号ＲＧＢごとの比較手段30による比較結果に応じて、ＲＧＢのうちいずれか１つでも閾値の方が小さい画素については、ＲＧＢのいずれも第２の演算処理を施し、ＲＧＢのすべてにおいて閾値の方が大きい画素については、ＲＧＢのいずれも第１の演算処理を施す、とするＲＧＢ一括の切換えであるが、本発明の画像処理方法および画像処理装置はこのように同一の画素についてＲＧＢ間で同一の処理となるように切り換えるものに限るものではなく、同一の画素であっても、Ｒ信号については第１の演算処理、Ｇ信号とＢ信号については第２の演算処理というように、ＲＧＢごとに異なる演算処理に切換え可能とするものも含むものである。
【００８６】
すなわち、信号処理手段20による処理を図６に示すように、比較手段30によるＲＧＢごとの比較結果に応じて、それぞれＲＧＢごとに演算処理を第１の演算処理と第２の演算処理とを切り換える処理とすればよい。このような処理とすることで、同一の画素であっても、ＲＧＢ間で異なる演算処理を施すことができる。
【００８７】
また、本実施形態の画像処理装置は、カラー画像信号を画像処理の対象としたためにＲＧＢごとにそれぞれ粒状抑制処理、鮮鋭度強調処理、閾値処理等するものとしたが、濃淡のみで表示される画像信号を対象とすることもできる。
【００８８】
また、上記画像処理装置は、信号処理手段20による第１の演算処理ｇとして式（１）に示す重みづけ加算処理を適用した実施形態であるが、本発明の画像処理方法および画像処理装置は、式（１）による演算処理のものに限るものではなく、種々の適切な演算処理を適用することができる。
【００８９】
例えば、下記式（２）に示す演算処理を適用することもできる。
【００９０】
【数２】

【００９１】
すなわち、粒状抑制処理画像信号Ｒ1 と原画像信号Ｒinとの差｜Ｒ1 −Ｒin｜および鮮鋭度強調処理画像信号Ｒ2 と原画像信号Ｒinとの差｜Ｒ2 −Ｒin｜により、各差｜Ｒ1 −Ｒin｜、｜Ｒ2 −Ｒin｜を重みづけ加算した値を処理済画像信号Ｒout とする演算処理である。これにより、シャープネスよりも粒状の存在が比較的目立つ濃度平坦部に対応する画素の画像信号は粒状抑制処理の寄与率が大きくなり、粒状よりもシャープネスが比較的目立つエッジ部に対応する画素の画像信号は鮮鋭度強調処理の寄与率が大きくなるため、画像のエッジ部を鈍らせることなく、粒状を抑制することができる。
【００９２】
なお、式（２）に示した演算処理を適用する実施形態においては、モルフォロジー演算を利用した粒状抑制処理と、画像の高周波数成分を強調しつつ中間周波数成分を抑制することによる鮮鋭度強調処理（特開平 9-22460号）とを組み合せた構成とするのが最適である。
【００９３】
本発明の画像処理方法、画像処理装置による処理の対象となる画像信号としては、上述した写真フイルムやプリントに記録された画像を光電的に読み取って得られた画像信号の他、デジタルスチルカメラによって撮影された画像信号も適用することができる。
【００９４】
なお、本発明の画像処理方法、装置は、本出願人による特願平9-56551 号（または欧州特許出願公開第800,114A号）に開示された、所定の感光部材を用いた画像形成方法により形成された画像から得られた画像信号に対しても適用することができ、この画像信号に特有の、銀画像に残留する粒状成分に起因する粒状を抑制するのに特に有効であった。
【００９５】
ここで特願平9-56551 号に開示された画像形成方法とは、感光性ハロゲン化銀粒子を含有し、所定の処理部材と重ね合わせて加熱されることによって露光により記録された潜像に対応した画像を形成する感光部材を使用するものであって、前記感光部材に露光により潜像を記録し、前記感光部材と前記処理部材とを重ね合わせ、前記重ね合わせた感光部材と処理部材とを加熱することにより該感光部材に記録された前記潜像に対応した画像を該感光部材上に形成し、前記画像が形成された感光部材を前記処理部材から剥離し、前記形成された感光部材上の画像をスキャナにより読み取って該画像を表す画像データを得、該画像データに所定の画像処理を施すことにより再生可能なデジタル画像データを作成する方法およびシステムを意味し、上記感光部材は、いわゆる非湿式の処理過程（少量の水を用いることを妨げるものではない）により、記録されている潜像を現し出すことのできる感光部材であり、例えば、支持体上に、少なくとも感光性ハロゲン化銀粒子、バインダー、および画像状に拡散性色素を放出ないし拡散する機能を持つ色材を含み、その感光波長領域が互いに異なり、前記色材の現像処理後における色相も互いに異なる少なくとも３種類の感光層を有する色材含有熱現像感光部材であり、前記処理部材は、前記色材含有熱現像感光部材と重ね合わせて加熱することにより前記色材含有熱現像感光部材上に画像を形成するものであって、支持体上に少なくとも媒染剤を含む層を有する媒染剤含有処理部材であり、前記加熱により前記熱現像感光部材から放出される前記拡散性色素の少なくとも一部を前記色材含有熱現像感光部材から除去することにより、該色材含有熱現像感光部材上に少なくとも３色の色画像を形成することが望ましい。
【００９６】
あるいは、前記感光部材は、支持体上に、少なくとも感光性ハロゲン化銀粒子、バインダー、発色現像主薬、および色素供与性カプラーを含み、その感光波長領域が互いに異なり、前記発色現像主薬の酸化体および前記色素供与性カプラーから形成される色素の色相も互いに異なる少なくとも３種類の感光層を有する熱現像感光部材であり、前記処理部材が、前記熱現像感光部材と重ね合わせて加熱することにより前記熱現像感光部材上に画像を形成する処理部材であり、前記加熱により、前記熱現像感光部材上に少なくとも３色の色画像を形成するようにしてもよい。
【００９７】
さらに、前記感光部材は、透明支持体上に、少なくとも感光性ハロゲン化銀粒子、発色現像主薬、カプラーおよびバインダーを含み、その感光波長領域が互いに異なり、前記発色現像主薬の酸化体および前記カプラーから形成される色素の吸収波長領域も互いに異なる少なくとも３種の感光層を有する感光部材であり、前記処理部材が、支持体上に少なくとも塩基および／または塩基プレカーサーを含む処理層を有する処理部材であり、前記感光部材と前記処理部材を、前記感光部材と処理部材双方のバック層を除く全塗布膜を最大膨潤させるに要する量の０．１から１倍に相当する水の存在下で、前記感光部材の前記感光層と前記処理部材の処理層が向かい合う形となるように重ね合わせて加熱して、前記感光部材上に少なくとも３色の非拡散性色素に基づく画像を形成するようにしてもよい。
【００９８】
（実験例）
以下、下記（１）および（２）の各フイルムを用いて撮影された人物の瞳の中のキャッチライトを例にして、上記閾値Ｔを規定する係数α（上記実施形態におけるα１，α２，α３に相当）について検証した結果を示す。
【００９９】
（１）カラーフイルム「G ACE800（富士写真フイルム）」の−２アンダーで撮影された、 256階調（８bit ）のＧ信号Ｇinにおいて、｜Ｇ1 −Ｇin｜との比較対象となる閾値Ｔを13としたときに、上記キャッチライトが、誤って粒状抑制されるのを防止しつつ、画像に対する粒状抑制と鮮鋭度強調を効果的に両立することができた。このとき、Ｇ信号の階調数（＝ 256）に対する閾値Ｔ（＝13）は、略５％であった。
【０１００】
（２）カラーフイルム「G ACE400（富士写真フイルム）」のノーマルで撮影された、 256階調（８bit ）のＧ信号Ｇinにおいて、｜Ｇ1 −Ｇin｜との比較対象となる閾値Ｔを26としたときに、上記キャッチライトが、誤って粒状抑制されるのを防止しつつ、画像に対する粒状抑制と鮮鋭度強調を効果的に両立することができた。このとき、Ｇ信号の階調数（＝ 256）に対する閾値Ｔ（＝13）は、略10％であった。
【０１０１】
なお、以上の実験は、キャッチライトの中心画素のみをキャッチライトとして処理したものであるが、実際の画像においてはこの中心画素だけではなく、その隣接画素もキャッチライトとして必要に応じて処理する必要があるため、上記実験結果を基にして閾値の値を種々変更して最適な閾値を求め、階調数に対する好ましい係数値αを、0.01（１％）から0.20（20％）の範囲の値、より好ましくは0.02（２％）から0.10（10％）の範囲の値とした。
【図面の簡単な説明】
【図１】本発明の画像処理方法の一実施形態の処理フローを示すフローチャート
【図２】図１に示した画像処理方法を実施する画像処理装置を示す図
【図３】（１）原画像信号Ｒinを示す図、（２）原画像信号Ｒinに基づく粒状抑制処理画像信号Ｒ1 を示す図、（３）原画像信号Ｒinに基づく鮮鋭度強調処理画像信号Ｒ2 を示す図、（４）第１の演算処理結果を示す図、（５）第２の演算処理結果を示す図、（６）最終的な処理済画像信号Ｒout を示す図
【図４】モルフォロジー演算の基本的な作用を説明する図
【図５】低・中間・高周波数成分の分布を表すグラフ
【図６】本発明の画像処理方法の他の実施形態の処理フローを示すフローチャート
【符号の説明】
11 粒状抑制処理手段
12 鮮鋭度強調処理手段
20 信号処理手段
30 比較手段

Claims (6)

1. 原画像を構成する画素の値を規定する原画像信号に所定の処理を施して処理済画像信号を得る画像処理方法において、
   前記原画像信号に、粒状を抑制する画像処理および鮮鋭度を強調する画像処理を各別に施し、
   前記画素ごとに、前記原画像信号と前記粒状を抑制する画像処理により取得された粒状抑制処理画像信号との差と、所定の閾値とを比較し、
   前記比較の結果、前記所定の閾値の方が大きい画素については、前記粒状抑制処理画像信号および前記鮮鋭度を強調する画像処理により取得された鮮鋭度強調処理画像信号の画素を対応させた下記式で定義される演算処理により前記処理済画像信号を得、
   前記比較の結果、前記所定の閾値の方が小さい画素については、前記原画像信号または前記鮮鋭度強調処理信号を前記処理済画像信号とする
   ことを特徴とする画像処理方法。
   

   
2. 前記鮮鋭度を強調する画像処理が、前記画像信号を低周波数成分、中間周波数成分および高周波数成分に分解し、前記高周波数成分を強調するとともに、前記中間周波数成分を抑制する強調抑制処理を行い、該強調抑制処理後の各周波数成分および前記低周波数成分を合成することにより前記鮮鋭度強調処理画像信号を取得する処理であり、前記粒状を抑制する画像処理が、モルフォロジー演算に基づいた平滑化処理であることを特徴とする請求項１記載の画像処理方法。
3. 前記所定の閾値が、前記原画像信号の階調数の１％から 20 ％の範囲の値であることを特徴とする請求項１または２記載の画像処理方法。
4. 原画像を構成する画素の値を規定する原画像信号に所定の処理を施して処理済画像信号を得る画像処理装置において、
   前記原画像信号に、粒状を抑制する画像処理を施す粒状抑制処理手段と、
   前記原画像信号に、鮮鋭度を強調する画像処理を施す鮮鋭度強調処理手段と、
   前記画素ごとに、前記原画像信号と前記粒状抑制処理手段による前記粒状を抑制する画像処理により取得された粒状抑制処理画像信号との差と、所定の閾値とを比較する比較手段と、
   前記比較手段による前記比較の結果、前記所定の閾値の方が大きい画素については、前記粒状抑制処理画像信号および前記鮮鋭度強調処理手段による前記鮮鋭度を強調する画像処理により取得された鮮鋭度強調処理画像信号の画素を対応させた下記式で定義される演算処理を施して前記処理済画像信号を得、前記比較の結果、前記所定の閾値の方が小さい画素については、前記原画像信号または前記鮮鋭度強調処理信号を前記処理済画像信号とする信号処理手段と
   を備えたことを特徴とする画像処理装置。
   

   
5. 前記鮮鋭度強調処理手段による前記鮮鋭度を強調する画像処理が、前記画像信号を低周波数成分、中間周波数成分および高周波数成分に分解し、前記高周波数成分を強調するとともに、前記中間周波数成分を抑制する強調抑制処理を行い、該強調抑制処理後の各周波数成分および前記低周波数成分を合成することにより前記鮮鋭度強調処理画像信号を取得する処理であり、前記粒状抑制処理手段による前記粒状を抑制する画像処理が、モルフォロジー演算に基づいた平滑化処理であることを特徴とする請求項４記載の画像処理装置。
6. 前記所定の閾値が、前記原画像信号の階調数の１％から 20 ％の範囲の値であることを特徴とする請求項４または５記載の画像処理装置。

Images