JP4138345B2 - 画像処理装置および画像出力装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関し、特に携帯電話や携帯型端末装置などの表示領域の比較的小さい装置上に画像を表示する際に好適なシャープネス処理方法に関連する。
【０００２】
【背景技術】
画像表示装置などにおいては、表示される画像に対して、画像の輪郭などを尖鋭化して画像を見やすくする、いわゆるシャープネス処理を施すことが行われる。シャープネス処理により、多少ぼけた元画像を鮮明に表示することができる。また、携帯電話や携帯型端末装置など、比較的表示領域が小さい装置においては、シャープネス処理を多少強めに施すことにより、表示画像の輪郭などが明瞭になり、見やすくなることが知られている。
【０００３】
【発明が解決しようとする課題】
しかし、特定の画像内容や特定色の画像部分については、シャープネス処理をどのように施すのが効果的かということが、ある程度わかっている場合がある。例えば人間の顔の画像などの肌色部分にシャープネスを強くかけ過ぎると、肌の表示画像が不自然な印象を与えることがある。特に、顔の画像中の凹凸のある部分や顔の輪郭の部分などに対してシャープネスを強くかけすぎると、肌色の部分のレベルが飽和して白くなってしまうという不具合が生じる（この現象を以下、「白とび」とも呼ぶ。）。
【０００４】
このような不具合を防止するためには、白とびなどの不具合が生じない程度の強さでシャープネスをかければよいのであるが、その一方で、シャープネス処理の程度を弱くしすぎると、画像によっては尖鋭度が不足し、ぼやけた画像となってしまう。
【０００５】
本発明は、以上の点に鑑みてなされたものであり、シャープネス処理を適度に施すことにより、自然に画像の尖鋭度を向上させることを課題とする。
【０００６】
【課題を解決するための手段】
本発明の画像処理装置は、画像データ中の特定の画素の画素値が特定色と近似する程度を判定する特定色判定手段と、特定色判定手段による判定結果に応じて、シャープネス処理による補正量を修正する補正量修正手段と、前記補正量に応じて、前記画像データに対してシャープネス処理を施し、補正画像データを生成するシャープネス処理手段と、前記特定の画素が、前記特定色の領域の輪郭部から所定の範囲内にあるか否かを判定する輪郭判定手段と、を備え、前記特定色は肌色を含み、前記補正量修正手段は、前記特定色の領域の輪郭部から所定の範囲内にない画素について、前記特定色の領域の輪郭部から所定の範囲内にある画素よりも前記補正量を減少させる。
【０００７】
上記の画像処理装置は画像データに対してシャープネス処理を施して、補正画像データを出力する。シャープネス処理を施すにあたっては、画像データ中の特定の画素の画素値が、例えば肌色などの特定色と近似する程度が判定される。そして、その画素が特定色に近似する程度に応じて、シャープネス処理による補正量を修正する。これにより、画像データに対するシャープネス処理の補正量が、特定色の性質に応じた量に調整される。即ち、画像データ中に肌色の領域が含まれていれば、その領域については肌色の領域に適合した方法でシャープネス処理が施されることになる。よって、画像データ中の画素が特定色に近い場合に、その特定色について適切なシャープネス処理を行い、不自然感のないシャープな画像を得ることが可能となる。また、特定色は肌色を含み、補正量修正手段は、前記特定色の領域の輪郭部から所定の範囲内にない画素について、前記特定色の領域の輪郭部から所定の範囲内にある画素よりも前記補正量を減少させる。
【０００８】
上記の画像処理装置の一態様では、前記特定色判定手段は、前記画素値が特定色に近似するか否かを示す判定結果を出力することができる。よって、画素値が特定色に近似するか否かの２値的な判定により、補正量の修正を単純な方法で行うことができる。
【０００９】
前記特定色は、肌色、空色及び自然緑色の少なくとも１つを含むことができる。肌色についての判定を行うことにより人間の顔の画像などに対して適切なシャープネス処理を行うことができ、空色についての判定を行うことにより画像中の空の部分などに対して適切なシャープネス処理を行うことができる。また、自然緑色の判定を行うことにより、画像中の森林、芝生などの自然の緑色の画像部分に対して適切なシャープネス処理を行うことが可能となる。
【００１０】
上記の画像処理装置の他の一態様では、前記特定色は肌色を含み、前記補正量修正手段は、前記肌色に近似すると判定された部分についての前記補正量を減少させることができる。また、上記の画像処理装置のさらに他の一態様では、前記特定色は肌色を含み、前記補正量修正手段は、前記肌色に近似すると判定された部分について、画素の輝度レベルを増加させる方向への前記補正量を減少させることができる。人間の顔など、肌色の画像領域においては、シャープネス処理を強く行い過ぎると、画素レベルが白側に飽和して不自然な画像となる可能性があるので、肌色領域においてはシャープネス処理の補正量を減少させて、そのような不具合を防止することができる。
【００１１】
上記の画像処理装置のさらに他の一態様では、前記特定色判定手段は、前記画素値が特定色と近似する程度を示す特定色確率を決定し、当該特定色確率を前記判定結果として出力し、前記補正量修正手段は、前記特定色確率に応じた割合で前記補正量を修正する。
【００１２】
この態様によれば、特定の画素が特定色に近似するか否かの２値的な判定結果ではなく、特定色確率により、特定色にどの程度近似しているかを数値的に示す判定結果が得られる。よって、特定色確率に従って、補正量の修正度合いを変えることにより、特定色であるか否かを完全に判定することが難しいような場合でも、特定色に近似する程度に応じてその特定色の性質に適合したシャープネス補正を行うことができる。
【００１３】
上記の画像処理装置のさらに他の一態様では、前記特定の画素が前記特定色の領域の輪郭部から所定の範囲内にあるか否かを判定する輪郭判定手段をさらに備え、前記補正量修正手段は、前記輪郭判定手段の判定結果に応じて、前記補正量の修正割合を変化させる。
【００１４】
この態様によれば、特定の画素が特定色の領域の輪郭部近くにあるか否かに応じて、その画素についてのシャープネス処理の補正量が調整される。よって、例えば肌色領域の輪郭部近くではシャープネス処理を比較的強くかけて顔などの輪郭を強調し、輪郭部に近くない部分ではシャープネス処理を弱くして肌を滑らかに見せるなどの細かな調整が可能となる。
【００１５】
また、本発明の画像出力装置は、上記の画像処理装置と、前記画像データを出力する際の画像サイズを判定する画像サイズ判定手段と、前記画像サイズ判定手段により判定された画像サイズが、所定の画像サイズより小さい場合に、前記画像処理装置により前記元画像データに対してシャープネス処理を実行する制御手段と、前記元画像データ又は前記シャープネス処理により得られた補正画像データを出力する出力手段と、を備える。
【００１６】
上記の画像出力装置によれば、画像データを出力する画像サイズが判定され、出力画像サイズが大きい場合には本発明によるシャープネス処理を行わない。一方、出力画像サイズが小さい場合には、本発明によるシャープネス処理を行うことにより、適度なシャープネス補正が行われ、小さな出力画像においても尖鋭化が施された明瞭な画像を得ることができる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施の形態について説明する。
【００１８】
［装置構成］
図１に、本発明の実施形態にかかる画像処理装置の主要部の概略構成を示す。図１に示すように、本発明の画像処理装置１０は、シャープネス処理部１１と、ドライバ１２と表示部（又はプリント部）１３とを備える。本発明の画像処理装置１０は、好適には携帯電話や携帯型端末装置などの、比較的小型の表示部を備える端末装置に適用される。また、本発明の画像処理装置１０は、カラープリンタなどに適用することも可能であり、その場合にはプリント部１３を備えることになる。
【００１９】
シャープネス処理部１１には、元画像データＳｏが入力される。画像処理装置１０が携帯電話などの場合には、元画像データＳｏは通信路を介して携帯電話により受信された画像データとなる。また、画像処理装置１０がプリンタの場合には、元画像データＳｏはパーソナルコンピュータなどからプリンタに供給される画像データとなる。
【００２０】
シャープネス処理部１１は、入力された元画像データＳｏに対してシャープネス処理を施して補正画像データＳｃを生成し、補正画像データＳｃをドライバ１２へ供給する。ドライバ１２は、補正画像データＳｃに従って表示部（又はプリント部）１３を駆動する。これにより、画像が表示され、又はプリントされる。
【００２１】
図２にシャープネス処理部１１の構成を示す。図２に示すように、シャープネス処理部１１は、補正基準量決定手段１５と、補正量演算手段１６と、シャープネス処理手段１７と、特定色判定手段１８とを備える。シャープネス処理部１１に入力された元画像データＳｏは、補正基準量決定手段１５と、特定色判定手段１８と、シャープネス処理手段１７とに供給される。
【００２２】
補正基準量決定手段１５は、元画像データＳｏを利用して補正基準量を決定する。ここで、補正基準量とは、元画像データＳｏに対して施すべきシャープネス処理の程度を示す量であり、具体的には後述のラプラシアン信号及び差信号を含む概念である。補正基準量演算手段１５は、元画像データＳｏに基づいて補正基準量信号Ｓｒを生成し、これを補正量演算手段１６に供給する。
【００２３】
特定色判定手段１８は、元画像に含まれる特定色の部分を検出する。ここで特定色には、肌色、空色及び自然緑色が含まれる。具体的には、特定色判定手段１８は、元画像データＳｏのＲＧＢ各色の色データを分析し、元画像含まれる特定色の部分を判定する。そして、特定色判定手段１８は、元画像に含まれる特定色の部分を検出すると、判定結果信号Ｓｋを補正量演算手段１６に供給する。なお、後に詳しく説明するが、本発明は、元画像データに含まれる特定色の部分に対しては、その特定色の性質に適合したシャープネス処理を行うものである。
【００２４】
補正量演算手段１６は、補正基準量信号Ｓｒにより示される補正基準量、及び、判定結果信号Ｓｋにより示される特定色の部分の有無に基づいて、シャープネス処理による補正量を算出し、補正量信号Ｓａをシャープネス処理手段１７に供給する。補正量とは、シャープネス処理の対象となる画像データのレベルをシャープネス処理により変化させる量に対応する。即ち、補正量の絶対値が大きい場合は、シャープネス処理により画像データのレベルが大きく変化し、画像の尖鋭度が大きく増加する。一方、補正量の絶対値が小さい場合は、シャープネス処理による画像データのレベル変化は小さく、画像の尖鋭度はそれほど大きくは増加しない。また、補正量の正負は、シャープネス処理により画像データを白色側と黒色側のいずれに変化させるかを示す。
【００２５】
シャープネス処理手段１７は、補正量演算手段１６から供給される信号Ｓａが示す補正量に従って元画像データＳｏのレベルを変化させ、シャープネス処理後の画像データである補正画像データＳｃを生成する。シャープネス処理手段１７は、生成した補正画像データＳｃを図１に示すドライバ１２へ供給する。
【００２６】
［特定色判定処理］
次に、特定色判定手段１８により実行される特定色判定処理について詳しく説明する。本発明は、画像中の特定色部分を検出して、その特定色の性質に適合した手法でシャープネス処理を施す点に特徴を有する。本実施形態においては、特定色として肌色、空色及び自然緑色が判定される。肌色は人間の皮膚の色であり、特に画像中の人間の顔の部分に対して適切なシャープネスを施すために判定される。空色は、主として画像中の空の部分に対して適切なシャープネスを施すために判定される。また、自然緑色は、主として画像中の森林、芝生などの部分に対して適切なシャープネスを施すために判定される。なお、「自然緑色」との表現は、一般的なＲＧＢにおける緑色（Ｇ）と区別するために用いており、自然の森林、芝生、樹木などの画像に対応する緑色という意味で用いている。
【００２７】
図３は、肌色、空色及び自然緑色をＲＧＢ及びＹＭＣ（Ｙ：黄色、Ｍ：マゼンタ、Ｃ：シアン）成分を示す色チャート上に示している。このように、肌色、空色及び自然緑色の各特定色は、それに含まれるＲＧＢ成分の比率により特定することができる。よって、予め各特定色の色成分に基づいて各特定色毎の判定条件を設定しておけば、画像データ中の判定対象となる画素について、上記の判定条件に基づいて特定色判定を行うことができる。そして、各特定色毎に予め決定された処理方法に従ってシャープネス処理を行うことにより、特定色の性質に適合したシャープネス処理を行うことができる。
【００２８】
図４に、各特定色についての判定条件及び処理方法を示す。図４において、「判定条件」の欄は画像データ中のある部分を各特定色と判定するために要求される条件を示しており、画像データ中のある画素又はある領域がこの判定条件を満足する場合には、その画素又はその領域は特定色であると判定される。また、「処理方法」の欄は、各特定色と判定された場合にどのような手法でシャープネス処理を施すかを示す。
【００２９】
以下、図３及び図４を参照して、各特定色の判定条件及び処理方法を説明する。
【００３０】
肌色の部分は、ＲＧＢのうちのＲ成分が相対的に多く、輝度レベルはグレーから白色の領域に属する。よって、（１）輝度レベルが白と黒の中間レベルよりも高いこと、画像データのＲＧＢ成分について、（２）（Ｒ−Ｂ）の値が予め設定されたしきい値ＲＢより大きいこと、及び、（３）（Ｒ−Ｇ）の値が予め設定されたしきい値ＲＧより大きいこと、の３つの条件を満足したときに、その画素又は領域を肌色であると判定する。
【００３１】
肌色は主として人間の顔を対象としており、顔の輪郭、目、鼻などの各部位の部分はシャープネスをかけてくっきりさせる方がよい。一方、それ以外の部分、例えば頬などはあまりシャープネス処理により尖鋭化しない方が肌が滑らかに見えてよい。特に、顔の画像の場合は、シャープネス処理が強すぎると、輝度レベルが白色側に飽和するいわゆる白とびが生じるという問題がある。よって、輪郭部分に対しては通常の補正量でシャープネス処理をかけ、輪郭以外の部分では補正量を減少させる。なお、頬の部分など、輪郭以外の部分は逆にスムージング（平滑化）処理を施して滑らかな画像とすることも可能である。
【００３２】
空色の部分は、ＲＧＢのうちのＢ成分が相対的に多く、輝度レベルはグレーから白色の領域に属する。よって、（１）輝度レベルが白と黒の中間レベルよりも高いこと、画像データのＲＧＢ成分について、（２）（Ｂ−Ｇ）の値が予め設定されたしきい値ＢＧより大きいこと、及び、（３）（Ｂ−Ｒ）の値が予め設定されたしきい値ＢＲより大きいこと、の３つの条件を満足したときに、その画素又は領域を空色であると判定する。
【００３３】
空色は、画像中の空をターゲットとしており、基本的にはシャープネス処理の補正量を抑えて滑らかな画像とした方がよく、この点でスムージング処理を行うことも有効である。但し、空と空以外の領域との境界部分はシャープネス処理により尖鋭化を行って、境界を明確にするのがよい。よって、境界部分は通常の補正量でシャープネス処理を行い、境界以外の部分はシャープネス処理の補正量を小さくする。
【００３４】
自然緑色の部分は、ＲＧＢのうちのＧ成分が相対的に多い。但し、輝度レベルは黒色に近いレベルから白色に近いレベルまで様々であるので、判定に輝度レベルを用いる効果はあまりない。よって、画像データのＲＧＢ成分について、（１）（Ｇ−Ｒ）の値が予め設定されたしきい値ＧＲより大きいこと、及び、（２）（Ｇ−Ｂ）の値が予め設定されたしきい値ＧＢより大きいこと、の２つの条件を満足したときに、その画素又は領域を自然緑色であると判定する。
【００３５】
自然緑色は森林、樹木、山、芝生、野原など様々な画像に対応するものであるが、樹木の枝葉などによる細かな形状を表現した方が、画像としては鮮明でインパクトのあるものとなる。よって、肌色や空色とは異なり、全体的にシャープネス処理を行って画像を尖鋭化することが好ましい。
【００３６】
ここで特定色判定の方法を例をあげて説明したが、中間レベル値は必ずしも白レベルと黒レベルとの中央である必要はなく特定のある値であってもよいし、あるいは特定色の判定をＲＧＢ空間ではなくて、画像データをＬ*a*b*空間などの他の色空間に変換し、ＲＧＢ空間とは別の色空間で判定するという方法もある。本発明は特定色判定手段の具体的な方法の如何を問わず適用可能である。
【００３７】
なお、特定色の判定は、基本的には図４に例示するような判定方法に従って画像データを構成する画素毎に行うが、その画素が輪郭部分や境界部分に位置するか否かの判定は、隣接する画素を考慮して行うことになる。即ち、所定の画素数により規定される判定領域を予め設定し（例えば縦横にそれぞれ１０画素の領域など）、その判定領域内で、対象となる画素が輪郭部分や境界部分に位置するか否かを判定する。輪郭や境界の抽出は、後述するラプラシアンを使用する手法など、既知の各種の輪郭抽出手法を用いることができる。既知の手法で輪郭や境界を抽出し、対象となる画素から所定画素数（例えば３画素）以内に輪郭や境界が位置すれば、その画素は輪郭・境界部分に属すると判定し、その範囲内に輪郭や境界が位置しなければ、その画素は輪郭・境界部分に属しないと判定する。
【００３８】
［補正基準量］
次に、補正基準量について説明する。補正基準量とは、シャープネス処理を施す補正量決定するための基準となる量であり、補正基準量信号Ｓｒはこの基準量を示す信号である。具体的には、補正基準量信号Ｓｒとしては、▲１▼元画像データＳｏのラプラシアン信号、又は、▲２▼元画像データＳｏから生成した差信号のいずれかを使用することができる。
【００３９】
まず、補正基準量信号としてラプラシアン信号を使用する場合について説明する。図６（ａ）は、補正基準量信号としてラプラシアン信号を使用した場合の、元画像データＳｏ、補正基準量信号Ｓｒ、補正量信号Ｓａ及び補正画像データＳｃの波形例を示す。なお、図６（ａ）において各波形の縦軸方向は元画像データの輝度を示し、図中の上方向を白、下方向を黒とする。また、各波形の横軸方向は時間を示す。
【００４０】
ラプラシアン信号は、元画像データＳｏに対してラプラシアンフィルタによるフィルタリングを適用することにより得られる。ラプラシアンフィルタは、画像の空間フィルタリングに使用される微分フィルタの一種であり、数学的には２次微分操作に相当する処理を行うフィルタである。ラプラシアンフィルタの係数例を図６（ｂ）及び図６（ｃ）に示す。ラプラシアンフィルタは、画像中の濃度が急激に変化する輪郭部や高周波成分を強調する機能を有する。図６（ａ）に示すように、ラプラシアン信号は、元画像データＳｏのレベルが増加を始める部分と、増加が終了して一定レベルとなる部分において波形に凹凸を有している。元画像データＳｏの波形が下側に凸である部分ではラプラシアン信号は負となり、元画像データＳｏの波形が上に凸である部分ではラプラシアン信号は正となる。このラプラシアン信号を、補正基準量信号としてシャープネス処理を施す程度を決定することができる。
【００４１】
次に、差信号について説明する。図７は、補正基準量信号として差信号を使用した場合の、元画像データＳｏ、アンシャープデータＳｕ、補正基準信号Ｓｒ、補正量信号Ｓａ及び補正画像データＳｃの波形例を示す。なお、図７において各波形の縦軸方向は元画像データの輝度を示し、図中の上方向を白、下方向を黒とする。また、各波形の横軸方向は時間を示す。差信号は、元画像データＳｏからアンシャープデータＳｕを減算することにより得られ、ラプラシアン信号と同様に画像中の輪郭部分や高周波部分を示す信号である。アンシャープデータＳｕは、元画像データＳｏの所定範囲に対して平均化フィルタを適用することにより生成される。
【００４２】
即ち、図７に示すように、元画像データＳｏを局所平均化することによりアンシャープデータＳｕが得られ、これを元画像データＳｏから減算することにより差信号Ｓｒが得られる。よって、Ｓｒ＝Ｓｏ−Ｓｕとなる。
【００４３】
なお、ラプラシアン信号と差信号はいずれも画像中の輪郭部分や高周波部分を示す信号であり、本発明ではどちらも補正基準量信号として使用することができる。但し、アンシャープ信号の生成方法によって、ラプラシアン信号と差信号とは必ずしも一致しない。
【００４４】
［補正量の決定方法］
次に、補正量演算手段による補正量の決定方法について詳しく説明する。本発明では、まず、補正基準量決定手段１５により得られる補正基準量に基づいて、シャープネス処理で使用される補正量が決定される。そして、特定色判定手段１８により得られる特定色の判定結果に基づいて、その補正量が修正される。即ち、まず補正基準量に基づいて補正量が決定され、かつ、対象となる画像中に特定色が含まれる場合には、前述のようにその特定色に対応する処理方法に従って補正量が修正される。
【００４５】
具体的には、補正量＝Ｆ（Ｓｒ）として補正量を補正基準量の関数として定義し、補正量を補正基準量Ｓｒに応じて決定する。そして、特定色判定結果に応じた修正係数を補正量に乗算することにより、補正量を修正する。即ち、特定色による修正係数をＭとすると、

となる。
【００４６】
特定色による修正係数Ｍは、例えばシャープネス処理を通常通り行う場合はＭ＝１とし、シャープネス処理を通常より強くかける場合はＭを例えば１．０〜１．５の範囲で設定し、シャープネス処理を通常より抑える場合にはＭを例えば０．６〜１．０の範囲で設定する。また、特定色判定手段１８により特定色であると判定されなかった画素又は領域に対しては、修正係数Ｍ＝１とし、補正基準量に基づいて算出された補正量Ｆ（Ｓｒ）をそのまま使用してシャープネス処理がなされる。なお、修正係数Ｍの数値は、図４にの特定色毎の処理方法に例示するように予め決定され、メモリなどに保存されている。
【００４７】
こうして、補正基準量に基づいて決定された補正量を、特定色判定結果に基づいて修正することにより、各特定色に適合したシャープネス処理を行うことができる。
【００４８】
［補正基準量に基づく補正量の決定方法］
次に、補正基準量Ｓｒに基づいて補正量を決定する具体的な方法を、図８乃至１２に例示する補正量決定パターンを参照して説明する。図８乃至１２の各補正量決定パターンにおいて、横軸は補正基準量Ｓｒを示し、縦軸はシャープネス処理の補正量を示す。即ち、図８乃至１２は、それぞれ、補正基準量の変化に対してシャープネスの補正量がどのように変化するかを示すグラフである。
【００４９】
なお、実際に補正基準量に基づいて補正量を決定する方法としては、図８乃至１２に例示するような、補正基準量に対する補正量の変化特性を予めルックアップテーブルなどに記憶しておき、それを参照して補正量を求める方法がある。また、その代わりに、補正基準量に対する補正量の変化特性を規定した関数を予め用意し、その関数を使用して補正基準量から補正量を算出する方法もある。現実にどちらを採用するかは、本発明を適用する装置の要求する処理速度、処理精度などに応じて決定されることになる。
【００５０】
図８（ａ）に補正量決定方法の例１ａを示す。例１ａでは、シャープネス補正量が補正基準量に比例する場合、つまり補正基準量の定数倍を元画像データに加算してシャープネス処理を行う方法を示している。
【００５１】
図８（ｂ）に補正量決定方法の例１ｂを示す。例１ｂでは、基本的に補正量は補正基準量に比例する。しかし、補正基準量が所定値ａより大きい、又は、所定値−ａより小さい場合には、補正基準量が−ａ〜＋ａの範囲内のときに比べて補正量の増加割合を小さくしている。補正基準量の絶対値が大きいということは、その部分は画像のレベルが白色又は黒色側に急激に変化していることを示している。よって、そのような画像レベルが急激に変化する領域においては、補正基準量の増加に伴う補正量の増加割合を幾分抑制する。即ち、輝度の変化の大きい領域ではシャープネス処理による補正量を抑えることとして、シャープネス処理による過度な強調により画像が不自然となることを防止する。これによれば、前述のように、顔の画像の輪郭部がシャープネス処理の過度な強調により白く抜けて表示されることを防止できる。
【００５２】
図８（ｃ）に示す例１ｃは例１ｂの変形であり、補正基準量の絶対値が所定値ｂ未満である場合には補正量をゼロとする、即ちシャープネス補正を行わないこととする方法である。補正基準量は画像データのレベルの急激な変化を示しており、補正基準量が大きい領域では画像データのレベルが大きく変化していることになる。一方、補正基準量が小さい領域では画像データのレベルはそれほど大きく変化しているわけではない。つまり、補正基準量の比較的小さな変化は、画像自体の内容によるレベルの変化ではなく、画像データに加わったノイズに対応するものである場合が多い。このような観点から、補正基準量の絶対値が所定値ｂ未満である場合には、その程度の補正基準量の変化はノイズによるものであるとみなし、シャープネス処理を行わないこととする。画像中のノイズが大きい領域にシャープネスをかけると、そのノイズを強調、増大させてしまって画像がみにくくなる傾向があるので、例１ｃのように所定値ｂ以下の補正基準量の変化をノイズと見なしてシャープネス処理の対象から除外することは、ノイズの比較的多い画像を見やすく表示するために有効である。
【００５３】
図８（ｄ）に示す例１ｄは基本的に例１ｃと同様の考え方に基づき、補正基準量の絶対値が所定値ｃ未満である領域ではシャープネス処理を行わない。但し、例１ｄでは、補正基準量がシャープネス処理を行わない領域からシャープネス処理を行う領域に入るにつれて（即ち、補正基準量が所定値ｃ未満から増加して所定値ｃを超えるのに応じて）、補正量をゼロから少しずつ増加させている。これにより、補正基準量の絶対値が所定値ｃに近い領域でシャープネス処理の適用、不適用が急激に変わることにより画像が不自然になることを防止することができる。
【００５４】
図９に示す例２ａ及び例２ｂは、いずれも補正基準量に対して補正量が比例する関係にあるが、補正基準量が正である領域と負である領域とで補正量の増加割合を異ならせている点に特徴を有する。
【００５５】
なお、補正基準量は、対象となる画素と、その画素の周辺の画素の相対的なレベル差により決まるものであり、対象となる画素自体のレベルとは無関係な量である。補正基準量が正の場合は画素データが上に凸、つまり、その画素が周辺画素に比べて白側に寄っていることを示している。また、補正基準量が負の場合は画素データが下に凸、つまり、その画素が周辺画素に比べて黒側に寄っていることを示している。シャープネス処理では一般的に、補正基準量が正の場合はシャープネス補正量も正側、即ち白側に補正し、補正基準量が負の場合はシャープネス補正量も負側、即ち黒側に補正する。但し、補正基準量が小さい場合にはシャープネス補正をしない場合もある。即ち、補正基準量が正でも白側に補正せず、補正基準量が負でも黒側に補正しない場合もある。
【００５６】
例２ａでは、補正基準量が正である領域（即ち画像データが上に凸、つまり該当画素が周辺画素に比べ白側に寄っており、補正方向としては白方向に補正される領域）の方が、補正基準量が負である領域（即ち画像データが下に凸、つまり該当画素が周辺画素に比べ黒側に寄っており、補正方向としては黒方向に補正される領域）より補正量の増加割合を抑えている。この例は、特に前述の人間の顔の一部が白く抜ける現象を防止するために有効である。人間の肌色の輝度レベルは白色よりにあるので、画像データの白色よりの輝度領域で急激な輝度の変化がある表示画像上の場所では、シャープネスによる強調の程度を押さえ気味にして、肌色領域が白く抜けてしまう不具合を効果的に防止することができる。
【００５７】
一方、例２ｂでは、補正基準量が負である領域の方が、補正基準量が正である領域より補正量の増加割合を抑えている。これは、肌色部分が白く抜けることを防止する発想とは逆であるが、画像データのソース及び／又は画像データの処理方法などに依存して、シャープネス処理の対象となる元画像データが黒色よりの輝度レベルにおいてノイズを含みやすい独特の特性を有するなどの場合には、そのようなノイズを抑制するために有効となる。
【００５８】
図１０に示す例３ａ及び例３ｂは、いずれも補正基準量が所定値ｄを超える場合に補正量の増加割合を抑える方法であり、これも肌色部分の白抜けという不具合を防止するために有効である。なお、例３ａでは、補正基準量が所定値ｄ以下であれば、補正基準量が負でも、補正基準量に対して同じ増加割合で補正量が決定される。これに対し、例３ｂでは、補正基準量が所定値ｅより小さい場合にも補正基準量に対する補正量の増加割合を抑えている。
【００５９】
図１１に示す例４ａ〜例４ｄは、いずれも補正基準量が正である領域の補正量の増加割合を、補正基準量が負である領域よりも小さく設定している。これにより、前述のように肌色の白抜けを防止している。また、いずれも場合も補正基準量の絶対値が所定値ｆ未満である場合には補正量をゼロとしてシャープネス処理を行わないこととし、ノイズの強調を防止している。例４ａでは、補正基準量の絶対値が所定値ｆとなる領域で不連続に補正量が決定される。即ち、補正基準量の絶対値がｆに至るまではシャープネス処理は行わないが、補正基準量の絶対値がｆになると所定の補正量でシャープネス処理が行われることになる。これに対して、例４ｂ及び例４ｃでは、補正基準量の絶対値がｆになると、その後補正量がゼロから徐々に増加していき、シャープネス処理による画像の強調が徐々に行われることになる。なお、例４ｂでは補正基準量の絶対値がｆになった後、補正量が最初は曲線的に、その後直線的に増加するのに対し、例４ｃ及び例４ｄでは補正基準量の絶対値がｆになった後、補正量が最初から直線的に増加する。なお、例４ｃは補正量が傾きの異なる２つの直線に沿って増加する例であり、例４ｄは１つ傾きの直線に沿って増加する例である。
【００６０】
図１２（ａ）に示す例５では、補正基準量の絶対値が小さい場合にはシャープネス処理を行わないこととし、かつ、補正基準量が正方向（白色方向に凸の度合い）及び負方向（黒色方向に凸の度合い）に増加した場合に、シャープネス処理を開始する値を異ならせている。即ち、補正基準量が正方向に増加する場合は、補正基準量が所定値ｇになるまでシャープネス処理を行わないのに対し、補正基準量が負方向に増加する場合は、所定値−ｈ（ｈ＜ｇ）でシャープネス処理を開始する。また、補正基準量が所定値ｊより大きい場合は、補正量は一定値Ｌ１とし、補正基準量が所定値−ｋより小さい場合は、補正量は一定値Ｌ２とする。即ち、補正基準量が所定値を超えた場合は、補正量を一定値に維持して、シャープネス処理による過度の強調を防止する。また、その場合にも、補正基準量が白色方向に増加する場合には、黒色方向に増加する場合よりも小さい値（Ｌ１）に補正量を維持して、肌色部分の白抜けを防止している。
【００６１】
図１２（ｂ）に示す例６では、補正基準量に対して、補正量が段階的に設定されている。この方法によれば、補正基準量に基づく補正量の決定をルックアップテーブルを用いて行う場合には、ルックアップテーブル内に記憶すべきデータ量を低減することができるし、補正基準量に基づく補正量の決定を所定の関数を利用した演算により行う場合には、演算に要する処理負担及び処理時間を軽減することができるという利点を有する。
【００６２】
また、図１２（ｃ）に示すように、シャープネス処理の対象となる画像データの特性に応じて、補正基準量に対する補正量の変化を、予め設計された曲線により規定し、なめらかに補正値を制御することもできる。
【００６３】
［シャープネス処理］
次に、本発明によるシャープネス処理の流れについて説明する。図１３は、本発明のシャープネス処理のフローチャートである。なお、以下の説明では、本発明のシャープネス処理を実行する画像処理装置を携帯電話に適用した場合について説明する。
【００６４】
まず、携帯電話は表示すべき元画像データＳｏを受信し、図１に示すシャープネス処理部１１へ供給する（ステップＳ１）。
【００６５】
シャープネス処理部１１は、供給された元画像データＳｏを図示しない作業メモリなどに一時的に展開する。そして、その元画像データＳｏを使用して補正基準量決定手段１５が補正基準量を決定し、補正基準量信号Ｓｒを生成する（ステップＳ２）。この補正基準量信号Ｓｒは、前述のように図６（ａ）に示すラプラシアン信号である場合と、図７に示す差信号である場合とがある。ラプラシアン信号である場合は、補正基準量決定手段１５は、作業メモリなどに展開された元画像データＳｏに対して例えば図６（ｂ）又は（ｃ）に示すようなラプラシアンフィルタを用いてフィルタリングを行い、ラプラシアン信号を生成して補正基準量信号Ｓｒとする。一方、補正基準量信号Ｓｒが差信号である場合は、補正基準量決定手段１５は所定のアンシャープフィルタを使用して図７に示すアンシャープデータを生成し、元画像データＳｏからアンシャープデータを減算して差信号を生成して補正基準量信号Ｓｒとする。
【００６６】
次に、図１に示す特定色判定手段１８は、図４に例示する各判定条件を使用して、元画像データＳｏ中に含まれる特定色部分を判定し、判定結果信号Ｓｋを生成して補正量演算手段１６へ供給する（ステップＳ３）。
【００６７】
次に、こうして得られた補正基準量信号Ｓｒ及び判定結果信号Ｓｋを利用して、図２に示す補正量演算手段１６が補正量を演算し、補正量信号Ｓａを生成する（ステップＳ４）。具体的には、補正量演算手段１６は、図８乃至図１１に例示した補正量決定パターンのいずれかを使用して補正量Ｆ（Ｓｒ）を算出する。なお、補正量演算手段１６は、補正基準量信号Ｓｒに含まれる各補正基準量毎に、ルックアップテーブルを参照し、又は関数に従って演算を行うことにより補正量Ｆ（Ｓｒ）を算出する。
【００６８】
次に、補正量演算手段１６は、判定結果信号Ｓｋが肌色、空色又は自然緑色のいずれかを示しているかを判定し、いずれかの特定色を示している場合には、その特定色に対応する処理方法（図４参照）に示される修正係数Ｍを補正量Ｆ（Ｓｒ）に乗算することにより、補正量を修正し、修正後の補正量を補正量信号Ｓａとしてシャープネス処理手段１７へ出力する。なお、判定結果信号Ｓｋが、いずれの特定色も検出されなかったことを示している場合には、補正量演算手段１６は修正係数Ｍ＝１とし、補正基準量信号に基づいて算出された補正量をそのまま補正量信号Ｓａとしてシャープネス処理手段１７へ出力する。
【００６９】
シャープネス処理手段１７は、元画像データＳｏに対して、補正量信号Ｓａに基づいてシャープネス処理を行い、補正画像データＳｃを生成する（ステップＳ５）。具体的には、図６（ａ）及び図７に示すように、補正量信号Ｓａを元画像データＳｏに加算することにより補正画像データＳｃを生成する。そして、生成した補正画像データＳｃをドライバ１２に出力する。
【００７０】
ドライバ１２は、受信した補正画像データＳｃを表示部１３に表示する（ステップＳ６）。こうして、本発明によるシャープネス処理が行われ、シャープネス処理により補正された補正画像データＳｃが表示部１３に表示される。なお、ここでは特定色は肌色、空色又は自然緑色の３色として説明したが、そのうちの少なくとも一色でも構わないし、これ以外の色を特定色として設定しても構わない。
【００７１】
［変形例］
上記の説明では、図４に例示する判定条件により、画像データ中に含まれる特定色の領域を検出している。即ち、画像データ中のある領域が、肌色、空色又は自然緑色などの特定色であるか否かの２値の判定を行っている。しかし、実際には特定色であるか否かを正確に判定することが難しい場合も多い。そこで、特定色であるか否かの２値の判定ではなく、特定色である可能性（尤度）を示す特定色確率という概念を導入し、特定色である可能性の大きさに応じてシャープネス処理方法を調整することが有効である。
【００７２】
具体的には、図２に示す特定色判定手段１８は、元画像データＳｏに基づいて、その画像中に含まれる領域が特定色である可能性（尤度）を示す特定色確率を決定し、その値を判定結果信号Ｓｋとして補正量演算手段１６へ供給する。
【００７３】
特定色確率の算出方法の例を図５を参照して説明する。図５は、特定色の１つである肌色についての肌色確率を決定する条件の例を示す。肌色確率の決定は、基本的には図４に示す肌色についての特定色判定条件に類似している。即ち、対象となる画像領域の輝度レベルが図４に示す「輝度レベル＞中間レベル」の条件を満足するかを判定する。そして、満足する場合には、（Ｒ−Ｂ）値及び（Ｒ−Ｇ）値について複数のしきい値を使用して判定を行う。即ち、肌色であるか否かの２値の判定では、しきい値ＲＢ及びしきい値ＲＧのみを使用したが、図５に示す肌色確率の決定方法例では、（Ｒ−Ｂ）値についてはしきい値ＲＢ１〜ＲＢ５を使用し、（Ｒ−Ｇ）値についてはしきい値ＲＧ１〜ＲＧ５を使用して判定処理を行う。ここで、しきい値ＲＢ１〜ＲＢ５は、ＲＢ１がもっとも大きく、ＲＢ５へ向かって値が小さくなるように設定される。（Ｒ−Ｂ）値及び（Ｒ−Ｇ）値については、それぞれある値で最も肌色である確率が高くなり、その値から離れるにつれて肌色である確率が低くなる。図５に示すこの例では、しきい値ＲＢ２、ＲＢ２が最も肌色に近い（Ｒ−Ｂ）値及び（Ｒ−Ｇ）値であるとし、その時の肌色確率を９０％としている。よって、図５において、しきい値レベル１〜５に対応する肌色確率の値から理解されるように、（Ｒ−Ｂ）値及び（Ｒ−Ｇ）値がそれぞれＲＢ２、ＲＧ２の値から離れるにつれて、肌色確率は低下することになる。
【００７４】
特定色判定手段１８は画像データのある領域における（Ｒ−Ｂ）値及び（Ｒ−Ｇ）値を図５に例示する５通りのしきい値レベルと比較し、（Ｒ−Ｂ）値及び（Ｒ−Ｇ）値がしきい値レベル１を満足していれば肌色確率が８０％であると決定し、しきい値レベル１を満足していないが、しきい値レベル２を満足していれば肌色確率が９０％であると決定する。こうして、対象となる画像領域についての肌色確率を決定することができる。また、空色及び自然緑色についても同様に複数のしきい値レベルを設定することにより、空色確率、自然緑色確率などの特定色確率を決定することができる。
【００７５】
そうして特定色判定手段１８により特定色確率が決定されると、補正量演算手段１６は、特定色確率に応じて補正量の修正を行う。具体的には、各特定色確率毎に修正係数Ｍ’を用意し、これを補正基準量に基づいて決定された補正量Ｆ（Ｓｒ）に乗算して補正量Ｓａを決定すればよい。修正係数Ｍ’は、特定色確率に応じて、その画像領域が特定色であると判定された場合の修正量を特定色確率で調整した値とすればよい。例えば、図４に示すように自然緑色であるとの判定がなされた場合の修正係数ＭがＭ＝１．２であるとすると、自然緑色確率が９０％の場合には修正係数Ｍ’＝１．１７、自然緑色確率が８０％である場合はＭ’＝１．１５などというように、完全に自然緑色であると判定された場合（即ち、自然緑色確率が１００％）と比較して、確率の低い分だけ、その特定色固有のシャープネス処理を少なめに行うようにすればよい。
【００７６】
このようにすれば、画像中の画像領域が特定色であるか否かの明確な判定が困難な場合でも、特定色である可能性を考慮して、その特定色固有のシャープネス処理を行うことができる。
【００７７】
［その他の変形など］
また、画像表示装置などによっては、特定色であると判定された画像領域について所定の色補正などを行うものもある。例えば、肌色であると判定された画像領域は、その画像表示装置においてもっとも自然な肌色として表示されるように色データを補正する場合がある。そのような装置では、補正後の色データに対して、本発明によると特定色毎のシャープネス処理を適用すればよい。
【００７８】
また、上記の実施形態では、特定色に対して、その特定色の性質に応じてシャープネス処理の補正量を調整しているが、シャープネス処理の補正量の調整のみでなく、図４に例示するように、スムージング処理などを組み合わせて、より画像を自然に表示などすることが可能である。
【００７９】
［応用例］
次に、本発明のシャープネス処理の応用例を説明する。まず、図１４（ａ）を参照して第１の応用例を説明する。
【００８０】
図１４（ａ）は本発明のシャープネス処理を、ネットワークを通じた画像データの送信に応用した例である。画像送信者であるサーバはネットワークを介してある画像データを受信者Ａと受信者Ｂへ送信する。受信者Ａは画像表示装置として携帯電話を使用し、受信者Ｂは画像表示装置としてパーソナルコンピュータ（ＰＣ）を使用している。ここで、サーバは、各受信者Ａ及びＢが使用している画像表示装置が何であるか（携帯電話であるかＰＣであるか）を、通信信号中に含まれるデータにより把握している。即ち、サーバは受信者Ａとの通信中に、受信者Ａが使用している装置が携帯電話であることを示す機器種別情報を携帯電話から受信しているし、受信者Ｂとの通信中には、受信者Ｂが使用している装置がＰＣであることを示す機器種別情報をＰＣから受信している。
【００８１】
サーバは、受信者Ａから特定の画像データの送信要求を受け取ると、その画像データに対して要求された画像データを送信する。その際、携帯電話の表示領域は一般的に小さいので、送信すべき画像データに対して、本発明によるシャープネス処理を施してから送信する。受信者Ａの携帯電話は、サーバから受信した画像データをそのまま携帯電話の表示部上に表示するので、表示領域が比較的小さい携帯電話の表示部上でもシャープネス処理により画像が効果的に尖鋭化された画像が表示される。
【００８２】
サーバは、受信者Ｂから特定の画像データの送信要求を受け取ると、その画像データに対して要求された画像データを送信する。その際、ＰＣの表示領域は一般的に比較的大きいので、送信すべき画像データに対して、本発明によるシャープネス処理を施さずに送信する。受信者ＢのＰＣは、サーバから受信した画像データをそのまま携帯電話の表示部上に表示するので、表示領域が比較的大きい携帯電話の表示部上には適度なシャープネス処理がなされた画像が表示される。
【００８３】
なお、携帯電話及びＰＣからサーバが受信できる機器種別情報に、携帯電話やＰＣなどの画像表示領域の大きさを示す情報が含まれる場合には、サーバ装置は、その画像表示領域の大きさに応じて、送信すべき画像データに本発明のシャープネス処理を適用するか否かを決定することができる。
【００８４】
次に、図１４（ｂ）を参照して第２の応用例を説明する。第２の応用例は、本発明のシャープネス処理をカラープリンタによる画像のプリント出力に応用したものである。プリンタは外部のＰＣなどからプリント指示及びプリントデータの供給を受ける。プリント指示には、プリントすべき画像データの大きさを示すプリントサイズ情報が含まれている。よって、プリンタはプリントサイズ情報を参照し、所定のプリントサイズよりも大きいプリントを行う場合には本発明によるシャープネス処理を行わずにプリントデータをプリントする。一方、プリント指示に含まれるプリントサイズ情報が所定のプリントサイズよりも小さいプリントサイズを指定している場合には、本発明によるシャープネス処理を適用した後のプリントデータをプリントする。これにより、プリントデータのサイズが小さい場合には、本発明のシャープネス処理により尖鋭化を行った画像データがプリントされるので、プリントサイズが小さい場合でも明瞭な画像をプリントすることができる。
【図面の簡単な説明】
【図１】本発明によるシャープネス処理を行う画像処理装置の主要部の概略構成を示す
【図２】図１に示すシャープネス処理部の構成を示す
【図３】色チャート上における各特定色の特性を示す。
【図４】特定色判定方法の例を示す。
【図５】特定色の１つである肌色についての肌色確率決定条件の例を示す。
【図６】補正基準量信号としてラプラシアン信号を使用する場合の各信号の例、及び、ラプラシアンフィルタフィルタの係数例を示す。
【図７】補正基準量信号として差信号を使用する場合の各信号の例を示す。
【図８】本発明のシャープネス処理により使用する補正量決定パターンの例を示す。
【図９】本発明のシャープネス処理により使用する補正量決定パターンの他の例を示す。
【図１０】本発明のシャープネス処理により使用する補正量決定パターンのさらに他の例を示す。
【図１１】本発明のシャープネス処理により使用する補正量決定パターンのさらに他の例を示す。
【図１２】本発明のシャープネス処理により使用する補正量決定パターンのさらに他の例を示す。
【図１３】本発明のシャープネス処理のフローチャートである。
【図１４】本発明のシャープネス処理の応用例を示す。
【符号の説明】
１０ 画像処理装置
１１ シャープネス処理部
１２ ドライバ
１３ 表示部（プリント部）
１５ 補正基準量決定手段
１６ 補正量演算手段
１７ シャープネス処理手段
１８ 特定色判定手段

Claims (6)

1. 画像データ中の特定の画素の画素値が特定色と近似する程度を判定する特定色判定手段と、
   特定色判定手段による判定結果に応じて、シャープネス処理による補正量を修正する補正量修正手段と、
   前記補正量に応じて、前記画像データに対してシャープネス処理を施し、補正画像データを生成するシャープネス処理手段と、
   前記特定の画素が、前記特定色の領域の輪郭部から所定の範囲内にあるか否かを判定する輪郭判定手段と、を備え、
   前記特定色は肌色を含み、
   前記補正量修正手段は、前記特定色の領域の輪郭部から所定の範囲内にない画素について、前記特定色の領域の輪郭部から所定の範囲内にある画素よりも前記補正量を減少させることを特徴とする画像処理装置。
2. 前記特定色判定手段は、前記画素値が特定色に近似するか否かを示す判定結果を出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記特定色は、空色及び自然緑色の少なくとも１つを含むことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記補正量修正手段は、前記肌色に近似すると判定された部分について、画素の輝度レベルを増加させる方向への前記補正量を減少させることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記特定色判定手段は、前記画素値が特定色と近似する程度を示す特定色確率を決定し、当該特定色確率を前記判定結果として出力し、
   前記補正量修正手段は、前記特定色確率に応じた割合で前記補正量を修正することを特徴とする請求項１に記載の画像処理装置。
6. 請求項１乃至５のいずれか一項に記載の画像処理装置と、
   前記画像データを出力する際の画像サイズを判定する画像サイズ判定手段と、
   前記画像サイズ判定手段により判定された画像サイズが、所定の画像サイズより小さい場合に、前記画像処理装置により前記元画像データに対してシャープネス処理を実行する制御手段と、
   前記元画像データ又は前記シャープネス処理により得られた補正画像データを出力する出力手段と、を備えることを特徴とする画像出力装置。

Images