JP4861667B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、例えば単板式の撮像素子を使用した場合に発生する偽色の低減を図った画像処理装置及び画像処理方法に関する。

ＣＣＤ（Charge Coupled Devices：電荷結合素子）のような単板式の撮像素子を使用した撮像装置においては、そのまま撮像しても淡色の分光感度しか得られない。このため、カラー画像を得るために、一般的には、各画素に対する受光素子の受光面に所定のパターンの色フィルタを設けて撮像されている。

この撮像により得られる画像は、各画像が単一の色成分しか有していないため、色に関しては、色フィルタのパターンに応じたモザイク状の画像となる。よって、モザイク状の画像の各画素に対して、当該画素が有していない他の色成分を周囲の画素を用いて補間することにより全ての画素が全ての色成分を有しているカラー画像を生成する。

また、３板式（３ＣＣＤ）方式では、入射光をプリズムで３原色に分解し、それぞれの光を別のＣＣＤで検知する。このように、被写体（原稿）の色情報をＲ、Ｇ、Ｂの３原色に分けてそれぞれにＣＣＤを割り当てるため、同じ面積を得ようとすると３倍のＣＣＤ素子が必要となり、また、機構が複雑で価格も高くなる。しかし、高感度で解像度も十分高くでき色再現にも優れた画像を得ることができる。

ところで、単板式のカラーカメラにあっては、その構造上、欠落している色成分を予測補間する色補間処理が必要となる。この色補間処理は、注目画素周囲の画素値から推測によりその画素にない色のデータを生成する処理である。したがってエッジ部等の画素値に急激な変化がある部分では、正確な値を算出できないことが多い。このため、エッジ部には本来と異なる色のバランスを持つ画素が発生してこれが偽色となって出現し、画質を低下させる要因の１つとなっている。

そこで、色補間処理に伴うエッジ部に発生する偽色を容易かつ効果的に低減または排除することを目的とした画像処理方法が特許文献１に記載されている。この特許文献１に記載の画像処理方法は、画像データに対して色補間処理を施した後、色補間処理の施された画像データを輝度信号と色差信号とに変換し、色差信号に対して偽色低減処理を実行する。偽色低減処理は、注目画素を含む第一方向に連続したＮ個（但し、Ｎ≧４）の画素を一次元フィルタで選択し、一次元フィルタで選択された各画素の画素値のうち、最大値と最小値の画素値を除いた残りの画素値の平均値又は中間値をその注目画素の画素値として決定する。

すなわち、偽色を発生する画素の画素値は、周辺画素の画素値と比較して色つきの程度が大きいと仮定し、その色つきの割合が大きい画素を排除するために、注目画素を含む一次元方向に連続したＮ個の画素群のうち、最大値と最小値の画素値を排除する。この色つきの割合は、基本的に色差（Ｃ）信号の値の絶対値に比例して大きくなると判断してよいことから、その画素値は色補間処理後の画像データを輝度と色差信号とにＹＣ変換した色差（Ｃ）信号の値から判断するものである。

また、偽色の原因となるトランジェットノイズを除去することを目的とした単板式カラーカメラが特許文献２に記載されている。この特許文献２に記載の単板式カラーカメラは、基礎振動が急激な変化を示すエッジ部を検出し、このエッジ部における色度信号を削除することでで、トランジェントノイズが原因で生じる偽色付き現象を未然に防止している。
特開２００５−１６７９７４号公報 特開昭６０−２５４８９３号公報

ここで、補間処理の際には注目する画素に隣接する画素の信号値のみしか考慮しないことから、画素の信号値が大きく変化する境界（輪郭部）において適切な補間処理を行なうことができず、結果、輪郭部において偽色が発生しやすい。すなわち、画像の信号値が大きく変化する境界、例えば縦縞模様や被写体画像と背景画像との境界などにおいては偽色が発生しやすい。しかしながら、特許文献１に記載の技術においては、偽色を除去するために、ＹＵＶ信号に変換した後に平均化フィルタやメディアンフィルタなどにより、全画素について偽色除去処理を施しており、このような方法では、輪郭部以外の、偽色が生じていない可能性が高い意図しない部分に対しても不要な偽色除去処理を施してしまうこととなる。更に、エッジ部を中心にフィルタ処理した場合であっても、一律に同様の偽色除去処理を施していることから偽色除去の度合いを調整することができず、ある画素における偽色は除去できても他の画素における偽色は十分に除去できない場合が生じる。

また、特許文献２に記載の技術においては、色差信号の絶対値に応じて変調をマスクし、色度信号を削除するか否かにより偽色除去処理をしているため、偽色が生じていない部分の色度信号まで削除してしまう可能性があり、その場合には不自然な画像となってしまうという問題点がある。

本発明にかかる画像処理装置は、カラー画像を輝度信号と色差信号に変換する信号変換部と、前記輝度信号に基づき求めた輪郭強度が第１の閾値以上であって、前記第１の閾値より大きい第２の閾値以下である場合に、前記輪郭強度が大きいほど変調度合いが大きくなるよう前記色差信号を変調する偽色除去処理を実行する偽色除去部と、を有し、前記第２の閾値は、前記色差信号の変調度合いが、機器の設定可能な最大の変調度合いよりも低い変調度合いに対応した輪郭強度の値に設定され、前記偽色除去部は、前記輪郭強度が前記第２の閾値より大きい場合は、前記最大の変調度合いよりも低い固定の変調度合いで前記色差信号を変調するものである。

カラー画像に生じた偽色を除去するための画像処理方法であって、前記カラー画像を輝度信号と色差信号に変換し、注目画素及びその周囲の画素の輝度信号から当該注目画素における輪郭強度を算出し、前記輪郭強度が第１の閾値以上であって、前記第１の閾値より大きい第２の閾値以下である場合に、前記輪郭強度が大きいほど変調度合いが大きくなるよう前記色差信号を変調すると共に、前記第２の閾値は、前記色差信号の変調度合いが、機器の設定可能な最大の変調度合いよりも低い変調度合いに対応した輪郭強度の値に設定され、前記輪郭強度が前記第２の閾値より大きい場合は、前記最大の変調度合いよりも低い固定の変調度合いで前記色差信号を変調するものである。

本発明においては、輝度信号から求まる輪郭強度に応じた変調度合いで色差信号を変調することで、輪郭強度で変調するか否かを決定する場合に比して自然な偽色除去処理を実行することができ、偽色が生じやすい部位について効果的な偽色除去処理を実行することができる。

本発明によれば、平均化フィルタやメディアンフィルタに対して効果的に偽色を除去すると共に偽色除去後においても自然な画像とすることが可能な画像処理装置及び画像処理方法を提供することができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。図１は、本発明の実施の形態にかかる画像処理装置を示す図である。画像処理装置１は、ＣＣＤ１１、色補間処理部１２、ＲＧＢ信号処理部１３、ＲＧＢ−ＹＵＶ変換部１４、ＹＵＶ偽色除去部１５、ＹＵＶ信号処理部１６及びメモリ１７を有する。

色補間処理部１２は、ＣＣＤ１１からの画像信号において、各画素毎に欠落した色情報を近傍の画素から予測補間してＲＧＢ（レッド、グリーン、ブルー）信号を生成する。なお、本実施の形態においては、ＣＣＤ１１は、図示しないレンズにて投影された画像を電気信号(映像信号)に変換させる単板式のイメージセンサ（固体撮像素子）として説明するが、画像処理装置は、三板式（３ＣＣＤ方式）の画像処理装置でもよい。なお、三板式とする場合には色補間処理部は不要となる。

ＣＣＤ１１は、光の強弱を検知するセンサであり、色を識別することはできない。このため、個々のＣＣＤ素子に予め単色のフィルタをかけ、別の色を受け持っている隣り合ういくつかの素子（画素）の信号と総合して色信号を得る。ここで、フィルタには光の３原色（ＲＧＢ)を使用する原色系フィルタの他、その補色(ＣＭＹ：シアン・マゼンタ・イエロ)を使用する補色系フィルタなどがあり、いずれのフィルタを使用してもよいが、ここでは、ＲＧＢ信号を生成するものとして説明する。

ＲＧＢ信号処理部１３は、ＣＣＤ１１の感度ムラによるシェーディング（shading）補正などを行なう。シェーディングは、均一な明るさの物体をレンズとＣＣＤ１１を用いて撮影した場合に、モニタ中心部と辺部とで明るさの違いが生じてしまう現象であり、ＲＧＢ信号処理部１３ではこれを補正する処理等を施す。

ＲＧＢ−ＹＵＢ変換部は、ＲＧＢ信号処理部１３にて信号処理されたＲＧＢ信号をＹ信号（輝度信号、輝度成分）、Ｕ（Ｃｂ）／Ｖ（Ｃｒ）信号（色差信号、色差成分）に変換する。Ｕ信号は、輝度信号と青色（Ｂ）信号との差であり、Ｖ信号は、輝度信号と赤色（Ｒ）信号との差であり、たとえば、下記の変換式によって変換することができる。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｕ＝−０．１６９×Ｒ−０．３３１６×Ｇ＋０．５００×Ｂ
Ｖ＝０．５００×Ｒ−０．４１８６×Ｇ−０．０８１３×Ｂ
ここで、Ｙ、Ｕ、Ｖ、Ｒ、Ｇ、Ｂは、輝度信号、色差信号Ｕ、色差信号Ｖ、Ｒ信号、Ｇ信号、Ｂ信号をそれぞれの信号値（強度）を示す。なお、本実施の形態においては、
０≦Ｙ≦２５５
−１２８≦Ｕ≦１２７
−１２８≦Ｖ≦１２７
の値を取るものとする。

ＹＵＶ偽色除去部１５は、Ｙ、Ｕ、Ｖの各信号に基づき偽色除去処理を実行する。本実施の形態における偽色除去部１５は、注目画素及びその周辺画素の輝度信号Ｙに基づき各注目画素の輪郭強度を算出し、この輪郭強度に応じた変調度合いで、色差信号Ｕ、Ｙの強度に基づき偽色を低減するよう色差信号Ｕ、Ｖを変調する。この偽色除去部１５の詳細については後述する。

輝度信号Ｙ及び偽色除去処理により変調された変調済みのＵ、Ｖ信号の各信号は、ＹＵＶ信号処理部１６へ供給され、このＹＵＶ信号処理部１６にてノイズ除去などの処理が施される。例えば、各画素を平均化フィルタやメディアンフィルタによって処理することでノイズを除去し、ノイズを除去した後、フィルタ処理によってなまってしまった輪郭部分を再度強調させる輪郭強調処理（鮮鋭化）などを行なう。その後、必要に応じて、ＲＧＢ信号に変換してメモリ１７に記録する。

次に、本実施の形態にかかるＹＵＶ偽色除去部１５について詳細に説明する。図２は、ＹＵＶ偽色除去部１５の詳細を示す図である。ＹＵＶ偽色除去部１５は、図２に示すように、輝度信号Ｙから輪郭強度を算出する輪郭強度算出部２１と、輪郭強度から変調係数を算出する変調係数算出部２２と、変調係数に基づき色差信号Ｕ、Ｖを変調して出力するＵＶ変調部２３とを有する。変調係数算出部２２は、変調係数により変調度合いを決定するもので変調度合い決定部として機能する。

本実施の形態においては、先ず輪郭強度が大きい画素ほど偽色が発生しやすいものと推定するため輪郭強度の大きさを求める。そして、この輪郭強度が大きいものほど色差信号の値が小さくなるよう変調することで、輪郭強度に応じた偽色除去処理を行う。輪郭強度に応じて変調度合いを異ならせることで、より自然な変調を実現して偽色を低減又は削除することができる。更に、輪郭強度が大きいものを単に偽色が発生しやすいと推定すると、偽色が発生していない画素の色差信号を小さく変調してしまう可能性がある。そこで、本実施の形態においては、輪郭強度が大きいものであって、かつ色差信号の値が所定の閾値より小さい場合に偽色が発生しやすいものと推定し、色差信号を変調する。次に、各ブロックの処理について詳細に説明する。

輪郭強度算出部２１は、各画素について、そのエッジの強度を求める。図３は、その演算方法の一例を説明する図である。輪郭強度は、例えば、輪郭強度を算出する画素（注目画素）の８近傍画素の輝度信号Ｙを使用し下記の式に示す畳み込み演算により、注目画素の輪郭強度（ｅＦ）を算出する。
ｅＦ＝｜ｂｉｉ×８−｛（ａｉ）＋（ａｉｉ）＋（ａｉｉｉ）＋（ｂｉ）＋（ｂｉｉ）＋（ｂｉｉｉ）＋（ｃｉ）＋（ｃｉｉ）＋（ｃｉｉｉ）｝｜
ただし、０≦ｅＦ≦２５５とし、演算結果が２５５を上回るときは２５５で丸めを行なう。また、ａｉ、ｂｉ、ｃｉなどは各画素の輝度値を示すものとする。
すなわち。輝度値ｂｉｉを有する注目画素の輪郭強度は、注目画素の輝度値ｂｉｉを８倍した値から、その８近傍の画素の輝度値をそれぞれ引いた値として求めることができる。なお、輪郭強度の算出は、上記方法に限らず他の演算式、８近傍画素の一部又はそれ以外の画素の輝度値を使用して求めてもよい。

変調係数算出部２２は、上記輪郭強度ｅＦと、予め設定される変調パラメータ（入力パラメータ：ｔｈ１、ｔｈ２、Ｆｍｉｎ）とを使用して色差信号Ｕ、Ｖを変調するための変調係数ｃＦを算出する。図４は、輪郭強度ｅＦとＵＶ変調係数ｃＦとの関係を示す図である。変調係数ｃＦは、その値が小さいほど色差信号Ｕ、Ｖの値を小さい値に変調するものであって０≦ｃＦ≦１２８の値を取る。変調係数ｃＦは、後述するように、変調度Ｋ＝ｃＦ／１２８に使用され、色差信号Ｕ、Ｖの各値×変調度Ｋとして変調を施すための値である。

先ず、変調係数算出部２２における入力パラメータ（ｅＦ、ｔｈ１、ｔｈ２、Ｆｍｉｎ）、出力パラメータ（ｃＦ）について下記に示す。
入力パラメータ
ｅＦ ：輪郭強度 ０≦ｅＦ≦２５５
ｔｈ１ ：第１のＵＶ変調輪郭強度閾値 ０≦ｔｈ１≦２５４
ｔｈ２ ：第２のＵＶ変調輪郭強度閾値 ｔｈ１＜ｔｈ２≦２５５
Ｆｍｉｎ：ＵＶ変調乗算下限値 ０≦Ｆｍｉｎ＜１２８
出力パラメータ
ｃＦ ：ＵＶ変調係数 ０≦ｃＦ≦１２８
ここで、
輪郭強度ｅＦ＜ｔｈ１ ｃＦ＝１２８
ｔｈ１≦輪郭強度ｅＦ≦ｔｈ２ ｃＦ＝（ｔｈ２−ｅＦ）×（１２８−Ｆｍｉｎ）／（ｔｈ２−ｔｈ１）＋Ｆｍｉｎ・・・（式１）
輪郭強度ｅＦ＞ｔｈ２ ｃＦ＝Ｆｍｉｎ

この変調係数算出部２２は、図４に示すように、輪郭強度ｅＦが第１のＵＶ変調輪郭強度閾値ｔｈ１未満である場合には、変調係数ｃＦ＝１２８とされる。変調係数ｃＦ＝１２８の場合には、上記のように、変調度Ｋ＝ｃＦ／１２８＝１であり、これはすなわち、輪郭強度ｅＦが第１のＵＶ変調輪郭強度閾値ｔｈ１未満である場合には、色差信号Ｕ、Ｖには、色差信号Ｕ、Ｖの値に関わらず変調を施さないことを示す。

また、ｔｈ２は第２のＵＶ変調輪郭強度閾値を示し、輪郭強度ｅＦが第１のＵＶ変調輪郭強度閾値ｔｈ１〜第２のＵＶ変調輪郭強度閾値ｔｈ２の値を取る場合には、上記式１に示すように、輪郭強度ｅＦが大きくなるほどＵＶ変調係数ｃＦが小さくなる値となる。ここで、ＦｍｉｎはＵＶ変調係数ｃＦの最小値（ＵＶ変調乗算下限値）を示す。

そして、輪郭強度ｅＦが第２のＵＶ変調輪郭強度閾値ｔｈ２より大きい場合には、色差信号Ｕ、Ｖに対し、最大の変調を施すため、ＵＶ変調係数ｃＦを最小値であるＵＶ変調乗算下限値Ｆｍｉｎとする。この場合、変調度Ｋ＝Ｆｍｉｎ／１２８＝最小変調度ｋとなる。上記のとおり、０≦Ｆｍｉｎ＜１２８であり、ＵＶ変調乗算下限値Ｆｍｉｎ＝０の場合には、輪郭強度ｅＦが第２のＵＶ変調輪郭強度閾値ｔｈ２より大きいと、色差信号Ｕ、Ｖの値が０に変調されることとなる。

ここで、変調係数算出部２２における入力パラメータ（ｅＦ、ｔｈ１、ｔｈ２、Ｆｍｉｎ）のうち、輪郭強度ｅＦは、輝度信号Ｙから求まるものであるが、その他のパラメータｔｈ１、ｔｈ２、Ｆｍｉｎは設定値となる。このｔｈ１、ｔｈ２、Ｆｍｉｎは、予め、実験結果などに基づき設定しておくことも可能であるが、例えば入力する画像が、風景画像であるか、動体物を撮像したものであるか、その他ポートレート、夜景など、撮像する対象に応じて撮像モードを設定し、この撮像モードに応じて適宜変更するものとしてもよい。又は、ユーザが予め設定されているデフォルト値から適宜調整することができるものとしてもよい。ｔｈ２をｔｈ１に近づけたり、Ｆｍｉｎを小さくすれば図４に示す変調係数のｔｈ１〜ｔｈ２の間の傾きは大きいものとなり、ｔｈ２をｔｈ１から離れた値としたり、Ｆｍｉｎを大きくすれば、上記傾きは小さくなる。すなわち、各パラメータの値を設定変更することで、色差信号を変調する変調度（Ｋ＝ｃＦ／１２８）を大きくしたり、小さくしたりすることができ、例えば偽色が発生しやすい撮像対象又は撮像モードの場合には、変調度を大きくしたり、偽色が発生しにくい撮像対象又は撮像モードの場合には変調度を小さめに設定したりしてもよい。

次に、ＵＶ変調部２３について説明する。ＵＶ変調部２３は、ＵＶ変調係数ｃＦに応じて、色差信号Ｕ、Ｖに変調を施す。ＵＶ変調部２３には、色差信号Ｕ、ＶがＲＧＢ−ＹＵＶ変換部１４から入力され、入力パラメータとして変調係数ｃＦが変調係数算出部２２から入力される。ＵＶ変調部２３は、色差信号Ｕ、Ｖの大きさから変調を施すか否かを決定し、変調係数ｃＦから色差信号Ｕ、Ｖを変調した変調済色差信号Ｕ、Ｖとして出力する。なお、以下の説明においては、ＲＧＢ−ＹＵＶ変換部１４からの変調前の色差信号Ｕ、Ｖを色差信号Ｕ１、Ｖ１とし、ＵＶ変調部２３にて処理済みとして出力される色差信号Ｕ、Ｖ（変調しない場合を含む）を色差信号Ｕ２、Ｖ２ということとする。また、ＵＶ変調閾値ｔｈＵＶは外部から供給されてもよく、予め設定された値であってもよい。また、このＵＶ変調閾値ｔｈＵＶは、変調係数算出部２２における入力パラメータ（ｔｈ１、ｔｈ２、Ｆｍｉｎ）と同様に、固定の設定値としてもよいが、撮像画像又は撮像モードによって適宜可変設定することができるようにしてもよい。

ＵＶ変調部２３の入力パラメータ（ｃＦ、ｔｈＵＶ）及びＵＶ出力（色差信号Ｕ２、Ｖ２）について下記に示す。
入力パラメータ
ｃＦ ：ＵＶ変調係数 ０≦ｃＦ≦２５５
ｔｈＵＶ：ＵＶ変調閾値 ０≦ｔｈＵＶ≦１２８
ＵＶ出力
Ｕ１≧ｔｈＵＶ及びＶ１≧ｔｈＵＶのとき
Ｕ２＝Ｕ１、Ｖ２＝Ｖ１
Ｕ１＜ｔｈＵＶ、又はＶ１＜ｔｈＵＶのとき
Ｕ２＝Ｕ１×（ｃＦ／１２８）、Ｖ２＝Ｖ１×（ｃＦ／１２８）・・・（式２）
ただし、Ｕ２、Ｖ２は、−１２８≦Ｕ２、Ｖ２≦１２７でクリップするものとする。
また、変調度Ｋ＝ｃＦ／１２８、最小変調度ｋ＝Ｆｍｉｎ／１２８である。

ＵＶ変調部２３は、先ず入力される色差信号Ｕ１、Ｖ１の値（Ｕ１、Ｕ２とする）がＵＶ変調閾値ｔｈＵＶ以上であるか否かを判定する。色差信号Ｕ１、Ｖ１の値がＵＶ変調閾値ｔｈＵＶ以上である場合には変調を施さず、そのまま色差信号Ｕ１、Ｖ１を色差信号Ｕ２、Ｖ２として出力する。すなわち、色差信号Ｕ１、Ｖ１が変調閾値ｔｈＵＶより大きい場合には偽色が生じている確率が低いものとして変調を行なわない。このことにより、偽色が生じていない箇所について間違って変調してしまうことを防止する。

色差信号Ｕ１、Ｖ１の各値が閾値ｔｈＵＶ未満の場合には変調係数ｃＦにより変調を行なう。ここで変調係数ｃＦは、所定の輪郭強度であるｔｈ１未満である場合にはｃＦ＝１２８であり、色差信号Ｕ１＝Ｕ２、Ｖ１＝Ｖ２となる。すなわち、色差信号Ｕ１、Ｖ１がｔｈＵＶ未満であっても、輪郭強度ｅＦがｔｈ１以下である場合には、上述と同じく変調を行なわない。そして、輪郭強度ｅＦがｔｈ１より大きい場合には、１２８未満の変調係数ｃＦが供給され、色差信号Ｕ１、Ｖ１を適宜変調し、色差信号Ｕ２、Ｖ２として出力する。

次に、ＹＵＶ偽色除去部の除去方法について更に詳細に説明する。図５は、偽色除去方法を示すフローチャートである。図５に示すように、先ず、輪郭強度算出部２１にて輪郭強度ｅＦを算出する（ステップＳ１）。そして、変調係数算出部２２が輪郭強度ｅＦの大きさを閾値ｔｈ１、ｔｈ２を使用して判定する（ステップＳ２）。そして、輪郭強度ｅＦ≦ｔｈ１と判定した場合には、ＵＶ変調係数ｃＦ＝１２８の固定値とする（ステップＳ３）。また、ｔｈ１＜輪郭強度ｅＦ＜ｔｈ２と判定した場合には、上記式１に従ってＵＶ変調係数ｃＦを算出する（ステップＳ４）。更に、輪郭強度ｅＦ≧ｔｈ２と判定された場合には、ＵＶ変調係数ｃＦ＝Ｆｍｉｎの固定値とする（ステップＳ５）。

次に、ＵＶ変調部２３により、色差信号Ｕ１、Ｖ１の値がＵＶ変調閾値ｔｈＵＶと比較される（ステップＳ６）。ここで、色差信号Ｕ１、Ｖ１の値（Ｕ１、Ｖ１）のいずれもＵＶ変調閾値ｔｈＵＶ以上である場合には、色差信号Ｕ１、Ｖ１をそのまま変調済み色差信号Ｕ２、Ｖ２として出力する（ステップＳ７）。一方、色差信号Ｕ１、Ｖ１の値（Ｕ１、Ｖ１）のいずれか一方がＵＶ変調閾値ｔｈＵＶより小さい場合には、上記式２に従って色差信号Ｕ１、及びＶ１が変調され色差信号Ｕ２、Ｖ２とされる（ステップＳ８）。このステップＳ８の処理においては、色差信号Ｕ１、Ｖ１の値（Ｕ１、Ｖ１）のいずれか一方がＵＶ変調閾値ｔｈＵＶより小さい場合であっても、上記ステップＳ２でＵＶ変調係数ｃＦ＝１２８と設定されている場合（ステップＳ３）には、変調度ｃＦ／１２８＝１であるため、ステップＳ７と同様に、色差信号Ｕ１、Ｖ１がそのまま変調済み色差信号Ｕ２、Ｖ２として出力されることとなる。

本実施の形態においては、注目画素とその近傍画素の輝度信号から注目画素の輪郭強度を求める。そして、この輪郭強度の大きさに応じて変調度合いを決定する変調係数ｃＦを算出し、注目画素の輪郭強度に応じた変調度合いで当該注目画素における色差信号を変調する。すなわち、輪郭強度が大きいものほど大きな変調度合とし、色差信号の絶対値を大きく減少させるよう変調をかけることで、輪郭強度に応じた変調を施す。このことにより、偽色を除去すると共に、輪郭強度が大きい画素の色差信号を削除するのに比して、偽色除去後の画像をより自然なものとすることができる。

特に、２つの閾値ｔｈ１、ｔｈ２により輪郭強度の値に応じてｔｈ１より小、ｔｈ１〜ｔｈ２、ｔｈ２より大、の３つのグループに分け、輪郭強度がｔｈ１より小さいものについては変調を施さず、輪郭強度がｔｈ２より大きいものについては一律最大変調度で変調し、輪郭強度がｔｈ１〜ｔｈ２のものについては、輪郭強度に比例した変調度合いとすると共に、これらの変調度合いを決定する各パラメータを可変設定することで、より撮像対象、撮像モードに応じた偽色除去処理が可能となる。

更に、輪郭強度に拘わらず、色差信号の大きさに応じて変調するか否かを決定する。すなわち、本実施の形態においては、輪郭強度及び色差信号の値が所定の条件を満たす場合にのみ、偽色を低減させるために色差信号を変調する。すなわち、輪郭強度が大きく大きな変調度として偽色除去処理を行なう対象となっている画素についても、色差信号の値が大きい場合には、色差信号を変調せず、偽色を除去する処理を行わないことにより、特に偽色が生じやすい画素にのみ偽色除去処理を施すことができる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述の実施の形態において、色補間処理部１２、ＲＧＢ信号処理部１３、ＲＧＢ−ＹＵＶ変換部１４、ＹＵＶ偽色除去部１５、ＹＵＶ信号処理部１６の各ブロック又はＹＵＶ偽色除去部１５を構成する輪郭強度算出部２１、変調係数算出部２２、ＵＶ変調部２３の任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。

更に、上記各部は携帯電話、携帯ディジタルカメラ、ビデオカメラ等のように一の筐体内に一体的に収納されるものであってもよく、物理的に独立した画像出力部等を有していてもよい。更に、メモリは、内蔵型であっても、取り外し可能なものであってもよい。更にまた、上述の実施の形態においては、単板式の画像処理装置として説明したが、２板式、３板式などその他の形式の画像処理装置であってもよい。

本発明の実施の形態にかかる画像処理装置を示す図である。 本発明の実施の形態にかかる画像処理装置におけるＹＵＶ偽色除去部の詳細を示す図である。 本発明の実施の形態にかかる画像処理装置におけるＹＵＶ偽色除去部において輪郭強度を算出する際の演算方法の一例を説明する図である。 本発明の実施の形態にかかる画像処理装置におけるＹＵＶ偽色除去部において算出される輪郭強度ｅＦとＵＶ変調係数ｃＦとの関係を示す図である。 本発明の実施の形態にかかる画像処理方法を示すフローチャートである。

符号の説明

１ 画像処理装置
１１ ＣＣＤ
１２ 色補間処理部
１３ ＲＧＢ信号処理部
１４ ＲＧＢ−ＹＵＶ変換部
１５ ＹＵＶ偽色除去部
１６ ＹＵＶ信号処理部
１７ メモリ
２１ 輪郭強度算出部
２２ 変調係数算出部
２３ ＵＶ変調部
ｅＦ 輪郭強度
ｃＦ 変調係数
Ｆｍｉｎ 変調乗算下限値
ｔｈ１，ｔｈ２ 変調輪郭強度閾値
ｔｈＵＶ ＵＶ変調閾値

Claims (11)

1. カラー画像を輝度信号と色差信号に変換する信号変換部と、
   前記輝度信号に基づき求めた輪郭強度が第１の閾値以上であって、前記第１の閾値より大きい第２の閾値以下である場合に、前記輪郭強度が大きいほど変調度合いが大きくなるよう前記色差信号を変調する偽色除去処理を実行する偽色除去部と、を有し、
   前記第２の閾値は、前記色差信号の変調度合いが、機器の設定可能な最大の変調度合いよりも低い変調度合いに対応した輪郭強度の値に設定され、
   前記偽色除去部は、前記輪郭強度が前記第２の閾値より大きい場合は、前記最大の変調度合いよりも低い固定の変調度合いで前記色差信号を変調する、画像処理装置。
2. 前記偽色除去部は、前記色差信号の値が所定の閾値未満のものについて前記変調を施すことを特徴とする請求項１記載の画像処理装置。
3. 前記偽色除去部は、前記輝度信号に基づき前記輪郭強度を算出する輪郭強度算出部と、
   前記輪郭強度に基づき前記変調度合いを決定する変調度決定部と、
   前記変調度合いに基づき前記色差信号を変調する色差信号変調部とを有することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記偽色除去部は、前記輪郭強度が前記第２の閾値を超える場合は、最大の変調度合いで前記色差信号を変調することを特徴とする請求項１項記載の画像処理装置。
5. 前記輪郭強度算出部は、前記輪郭強度が第１の閾値ｔｈ１未満であるか、前記第１の閾値ｔｈ１乃至前記第１の閾値ｔｈ１より大きい第２の閾値ｔｈ２であるか、又は前記第２の閾値ｔｈ２より大きいかを判定し、
   前記変調度決定部は、変調最小値ｋ≦変調度Ｋ≦１（０≦ｋ≦Ｋ）となるよう変調度を決定するものであって、前記輪郭強度の判定結果に基づき前記第１の閾値ｔｈ１未満である場合には、変調度Ｋ＝１とし、前記第１の閾値ｔｈ１乃至第２の閾値ｔｈ２である場合には変調最小値ｋ＜変調度Ｋ＜１となる前記輪郭強度に応じた変調度Ｋを決定し、前記第２の閾値ｔｈ２より大きい場合は変調度Ｋ＝変調最小値ｋとし、
   前記色差変調部は、前記色差信号が所定の閾値未満の場合、前記色差信号の値に前記変調度を乗算して変調済み色差信号を算出することを特徴とする請求項３項記載の画像処理装置。
6. 前記所定の閾値の値を可変に設定可能なパラメータ設定部を有することを特徴とする請求項１項記載の画像処理装置。
7. 前記第１の閾値ｔｈ１、前記第２の閾値ｔｈ２、前記変調最小値ｋのいずれか１以上を可変に設定可能なパラメータ設定部を有することを特徴とする請求項５項記載の画像処理装置。
8. カラー画像に生じた偽色を除去するための画像処理方法であって、
   前記カラー画像を輝度信号と色差信号に変換し、
   注目画素及びその周囲の画素の輝度信号から当該注目画素における輪郭強度を算出し、前記輪郭強度が第１の閾値以上であって、前記第１の閾値より大きい第２の閾値以下である場合に、前記輪郭強度が大きいほど変調度合いが大きくなるよう前記色差信号を変調すると共に、
   前記第２の閾値は、前記色差信号の変調度合いが、機器の設定可能な最大の変調度合いよりも低い変調度合いに対応した輪郭強度の値に設定され、
   前記輪郭強度が前記第２の閾値より大きい場合は、前記最大の変調度合いよりも低い固定の変調度合いで前記色差信号を変調する、画像処理方法。
9. 前記注目画素の前記色差信号の値が所定の閾値未満のものについてのみ前記輪郭強度に応じて色差信号を変調することを特徴とする請求項８記載の画像処理方法。
10. 前記輪郭強度に応じて色差信号を変調する際には、
    前記輪郭強度が第１の閾値ｔｈ１未満であるか、前記第１の閾値ｔｈ１乃至前記第１の閾値ｔｈ１より大きい第２の閾値ｔｈ２であるか、又は前記第２の閾値ｔｈ２より大きいかを判定し、
    前記判定結果に応じて変調最小値ｋ≦変調度Ｋ≦１（０≦ｋ＜１）となる変調度Ｋを決定し、前記注目画素の色差信号に前記変調度Ｋを乗算して変調済み色差信号を算出することを特徴とする請求項８又は９記載の画像処理方法。
11. 前記変調済み色差信号を算出する際には、
    前記輪郭強度が前記第１の閾値未満の場合には、前記変調度Ｋを１として前記変調済み色差信号を算出し、前記輪郭強度が前記第１の閾値ｔｈ１乃至前記第２の閾値ｔｈ２の場合には、変調最小値ｋ＜変調度Ｋ＜１として前記変調済み色差信号を算出し、前記輪郭強度が前記第２の閾値ｔｈ２より大きい場合には変調度Ｋを変調最小値ｋとして前記変調済み色差信号を算出することを特徴とする請求項８記載の画像処理方法。

Images