JP4962293B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本発明は、画像処理装置に関し、特にデモザイク処理を行う画像処理装置、および、その処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

デジタルスチルカメラの撮像素子では、２次元に配列された各画素の受光面に色フィルタが配置され、この色フィルタのコーディング仕様として様々なものが提案されている。代表的なものとして赤（Ｒ）、緑（Ｇ）、青（Ｂ）といった原色フィルタを３枚の撮像素子の同空間位相に配置することで高解像度なＲＧＢ信号を得ることができ、高画質を実現可能な３ＣＣＤカメラと呼ばれるものがある。しかし、この３ＣＣＤカメラは３つの撮像素子を用い、入射光をＲＧＢの色ごとに光を分けるプリズムを用いる必要があるため、小型化および低コスト化には向いていない。

一方、１つの撮像素子にＲＧＢの色フィルタをうまく配列することにより、小型でコストの低いデジタルスチルカメラを実現するものもある。１つの撮像素子に複数の色フィルタを配置し、３ＣＣＤに近い性能を実現するものである。例えばベイヤー配列といったものでは奇数行目にＲ画素およびＧ画素を交互に配列し、偶数行目にＧ画素およびＢ画素を交互に配列している。この配列ではＲ画素およびＢ画素に対してＧ画素を多く配列しているため、Ｒ画素およびＧ画素の解像度よりもＧ画素の解像度が高いという特性を有している。Ｇ画素は輝度信号を生成する際に主成分となる色成分であり、人間は輝度に対する解像度が高く、色に対する解像度が低いことをうまく利用した配列といえる。

また、カメラ信号処理において空間的に位相およびサンプリングレートが異なるＲＧＢ信号から輝度信号Ｙや色差信号ＣｒおよびＣｂを単純に生成することは偽信号を作る原因となるため、同じ空間位相のＲＧＢ信号を生成した上で輝度信号Ｙ、色差信号ＣｒおよびＣｂを生成する必要がある。このように、空間的に位相およびサンプリングレートが異なるＲＧＢ信号を、３ＣＣＤ（以下、３板と称する。）のように同空間位相ＲＧＢ信号が存在するかのように補間する処理をデモザイク処理と呼ぶ。このデモザイク処理の際には、解像度や色偽に注意する必要がある。

従来のデモザイク処理では、画像データにおいて色差信号を生成する際、色偽を防止するために、色偽を生じる周波数帯域では色差を抑えるような処理が行われている。例えば、通常補間によるＧ画素の信号を用いて算出した色差信号と、色差信号の絶対値を最小にするＧ画素の信号を用いて算出した色差信号とを混合する構成において、色偽が発生しない周波数帯域では前者を多く混合し、色偽が発生する周波数帯域では後者を多く混合することにより、色偽を防止する画像処理装置が提案されている（例えば、特許文献１参照。）。
特開２００７−０３６７６５号公報（図１６）

上述の従来技術では、画像データにおける周波数帯域を検出する際、バンドパスフィルタが用いられ、このバンドパスフィルタの周波数特性に応じて色差信号の混合が行われていた。しかしながら、撮像装置においては、被写体からの光がレンズを介して集光されるため、レンズのＭＴＦ（Modulation Transfer Function）を考慮する必要がある。ＭＴＦとは、レンズの性能を示す指標の一つであり、コントラストの再現率を像高（画面中心からの距離）毎に示したものである。上述の従来技術では、このレンズのＭＴＦの影響によりバンドパスフィルタを通過する高周波成分の振幅レベルが小さくなって、バンドパスフィルタの本来の周波数特性にずれが生じてしまい、結果として、本来存在すべき周波数帯域の色情報が消えてしまうという問題があった。

本発明はこのような状況に鑑みてなされたものであり、デモザイク処理の際、適切に色偽を防止することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、複数の画素からなる画像データにおいて注目画素の周辺領域における画素値の複数の方向に対する色相対値を色相対値候補として生成する色相対値候補生成手段と、上記色相対値候補を上記複数の方向ごとに加算して当該加算結果が上記複数の方向のうち最小となる方向の上記色相対値候補を上記注目画素の周囲色相対値として生成する周囲色相対値生成手段と、上記注目画素の近傍の画素との間で生成される色相対値のうちで上記周囲色相対値との変化量が最小になる色相対値を注目画素色相対値として生成する注目画素色相対値生成手段とを具備することを特徴とする画像処理装置およびその画像処理方法ならびにその手順をコンピュータに実行させるプログラムである。これにより、色収差による影響をキャンセルするように色相対値を生成させるという作用をもたらす。

また、この第１の側面において、上記周辺領域における直流彩度を上記周囲色相対値の上記周辺領域における合計値により除算したものを上記周囲色相対値の補正ゲインとして当該補正ゲインを上記周囲色相対値に乗算する周囲色相対値補正手段をさらに具備してもよい。これにより、ノイズを有するＤＣ画においても色味の再現性を担保させるという作用をもたらす。この場合において、上記直流彩度は、上記周辺領域における色相対値の平均値として算出することができる。

また、この第１の側面において、上記注目画素の近傍の画素の補間値に基づいて色相対値を通常色相対値として算出する通常色相対値算出手段と、上記通常色相対値の絶対値が上記注目画素色相対値の絶対値よりも小さい場合には上記注目画素色相対値に代えて上記通常色相対値を選択する色相対値選択手段とをさらに具備してもよい。これにより、色収差の影響が小さい場合には解像度を重視した通常色相対値を選択させるという作用をもたらす。

また、この第１の側面において、上記色相対値は、異なる色の画素値の差を示す色差または異なる色の画素値の比を示す色比であってもよい。

また、本発明の第２の側面は、各画素位置においてＲ信号、Ｇ信号またはＢ信号の何れかの画素値を示す画像データにおいて前記各画素位置の全てについてＧ信号の画素値を補間するＧ信号補間手段と、Ｒ信号またはＢ信号の画素位置を注目画素として当該注目画素の周辺領域における画素値の複数の方向に対する色相対値を色相対値候補として生成する色相対値候補生成手段と、前記色相対値候補を前記複数の方向ごとに加算して当該加算結果が前記複数の方向のうち最小となる方向の前記色相対値候補を前記注目画素の周囲色相対値として生成する周囲色相対値生成手段と、前記注目画素の近傍の画素との間で生成される色相対値のうちで前記周囲色相対値との変化量が最小になる色相対値を注目画素色相対値として生成する注目画素色相対値生成手段と、前記注目画素色相対値を前記画素位置の全てについて補間する色相対値補間手段と、前記補間されたＧ信号の画素値と前記補間された前記注目画素色相対値とから前記注目画素における画素値を生成する注目画素値生成手段とを具備することを特徴とする画像処理装置である。これにより、色収差による影響をキャンセルするように色相対値を生成して注目画素における画素値を生成させるという作用をもたらす。

本発明によれば、デモザイク処理の際、適切に色偽を防止することができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における画像処理装置の一例である撮像装置の構成例を示す図である。この撮像装置は、レンズ１１０と、撮像素子１２０と、Ａ／Ｄ（アナログ／デジタル）変換器１３０と、カメラ信号処理部１４０とを備えている。

レンズ１１０は、被写体からの光を撮像素子１２０に合焦させるものである。撮像素子１２０は、レンズ１１０から受光した光を電気信号に変換する光電変換回路である。この撮像素子１２０には、各画素の受光素子毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色フィルタが設けられ、各色成分の光のみが色フィルタを通過して受光素子に入射するようになっている。受光素子に入射した光は、フォトダイオードにより光電変換され、アナログ信号として読み出される。撮像素子１２０は、例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）に代表される電荷転送型固体撮像素子や、ＭＯＳ（Metal Oxide Semiconductor：金属酸化型半導体）に代表されるＸ−Ｙアドレス型固体撮像素子などにより実現される。Ａ／Ｄ変換器１３０は、撮像素子１２０によって光電変換された電気信号をアナログ信号からデジタル信号に変換するものである。このデジタル信号は、カメラ信号処理部１４０に入力される。

カメラ信号処理部１４０は、光学系補正回路１４１と、ＷＢ（ホワイトバランス）回路１４２と、補間処理回路２００と、ガンマ補正回路１４４と、Ｙ信号処理回路１４５と、Ｃ信号処理回路１４６と、ＬＰＦ（ローパスフィルタ）１４７と、間引き処理回路１４８とを備える。

光学系補正回路１４１は、カメラ信号処理部１４０に入力されるデジタル信号（画像信号）に対して黒レベルを合わせるデジタルクランプ、撮像素子１２０の欠陥を補正する欠陥補正、レンズ１１０の周辺光量落ちを補正するシェーディング補正など、撮像素子１２０や光学系の補正を行うものである。

ホワイトバランス回路１４２は、光学系補正回路１４１を経た画像信号に対して、白い被写体に対してＲＧＢの各色が同じレベルになるようにホワイトバランス処理を行うものである。

補間処理回路２００は、それぞれ空間的に位相がずれたＲＧＢ信号から３枚のプレーン（同じ空間位置のＲＧＢ信号）を生成する補間処理を行うものである。この補間処理は、デモザイク処理とも呼ばれる。この補間処理回路２００における補間処理は、本発明の特徴部分であり、その詳細については後述する。

ガンマ補正回路１４４は、同じ空間位置のＲＧＢ信号に対してガンマ補正を施すものである。このガンマ補正は、被写体の色の階調を正しく表現するために、撮像素子１２０および後段の映像再生を行うシステム全体の光電変換特性を１とするように、ホワイトバランス回路１４２から出力されるＲＧＢの各色信号に対してそれぞれ所定のゲインを掛ける処理である。このガンマ補正の施された画像信号は、Ｙ信号処理回路１４５およびＣ信号処理回路１４６に供給される。

Ｙ信号処理回路１４５は、ＲＧＢ信号から輝度信号（Ｙ）を生成するものである。Ｃ信号処理回路１４６は、ＲＧＢ信号から色差信号（ＣｒおよびＣｂ）を生成するものである。Ｙ信号処理回路１４５およびＣ信号処理回路１４６は、例えばＳＤ（Standard Definition）の場合、次式より輝度信号（Ｙ）および色差信号（ＣｒおよびＣｂ）を生成する。但し、この式の係数はおおまかな数値を示すものであり、厳密なものではない。
Ｙ ＝ ０．３Ｒ＋０．６Ｇ＋０．１Ｂ
Ｃｒ＝Ｒ−Ｙ＝ ０．７Ｒ−０．６Ｇ−０．１Ｂ
Ｃｂ＝Ｂ−Ｙ＝−０．３Ｒ−０．６Ｇ＋０．９Ｂ

ローパスフィルタ１４７は、Ｃ信号処理回路１４６によって生成された色差信号について、その通過帯域を制限するフィルタである。このローパスフィルタ１４７は、例えば色差信号（ＣｒおよびＣｂ）の通過帯域をサンプリング周波数ｆｓの１／４まで落として、Ｙ：Ｃｒ：Ｃｂ＝４：２：２とする。間引き処理回路１４８は、色差信号（ＣｒおよびＣｂ）のサンプリングの間引きを行うものである。

ここで、本発明の特徴部分である補間処理回路２００におけるデモザイク処理について説明する。

図２は、本発明の実施の形態のデモザイク処理の対象となる色フィルタ配列の一例を示す図である。この配列は、各画素を市松状に配置しており、水平および垂直方向の各画素ピッチを√２ｄとした場合、各画素が１行毎および１列毎に画素ピッチ√２ｄの１／２ずつずれた、いわゆる斜め画素配列であり、Ｇ信号とＲ信号が交互に配列されたＲＧラインと、Ｇ信号のみが配列されたＧラインと、Ｂ信号とＧ信号が交互に配列されたＧＢラインと、Ｇ信号のみが配列されたＧラインの４行を単位として繰り返し配列されている。これらの画素のサンプリング周波数をｆｓとすると画素ピッチは「１／ｆｓ」となる。

各色信号の構成比は、Ｇ：Ｒ：Ｂ＝６：１：１である。このコーディングでは、輝度依存性が高いＧ信号の比率が高いため、高い解像度を得ることができる一方、低い周波数画像でも色偽が発生するおそれがある。

図３は、本発明の実施の形態の補間処理回路２００の一構成例を示す図である。この補間処理回路２００は、例えば図２のように配列された画素からなるロー（ＲＡＷ）データを入力とし、Ｇ信号の補間処理とＲ信号およびＢ信号の補間処理との２種類の処理フローにより補間処理を行う。すなわち、Ｇ信号は、輝度信号の主成分であるため、解像度を重視した処理で補間される。一方、Ｒ信号およびＢ信号は輝度への影響度が低いとともに、Ｇ信号とのレベル差により色味を作る成分であるため、色偽の抑制を重視して補間される。Ｇ信号の補間処理はＧ補間部２０１により行われ、Ｒ信号およびＢ信号の補間処理は色差生成部２０２、色差補間部２０４および加算部２０６により行われる。

Ｇ補間部２０１は、ローデータのＲ信号およびＢ信号の位置のＧ信号を補間処理するものである。また、図２の市松状の斜め画素配列から水平垂直方向の配列に変換するためには、倍密化処理により、ローデータの画素数に対して２倍の密度のＧ信号が生成される。この倍密化処理の際、各画素間の相関処理が行われることにより、高い解像度特性を有するＧ信号が出力される。

色差生成部２０２は、ローデータのＲ信号およびＢ信号の画素位置に色差信号（Ｒ−ＧおよびＢ−Ｇ）を生成するものである。カメラ信号処理において出力画の色はＲ信号、Ｇ信号およびＢ信号のバランスで決まるため、この色差信号をどのように作るかが、色味を左右し、色偽を防止する上で非常に重要である。

色差補間部２０４は、色差信号（Ｒ−ＧおよびＢ−Ｇ）を補間処理するものである。また、図２の市松状の斜め画素配列から水平垂直方向の配列に変換するためには、倍密化処理により、Ｇ補間部２０１の処理後のＧデータレートと同じだけの色差信号（Ｒ−ＧおよびＢ−Ｇ）が生成される。

加算部２０６は、色差補間部２０４から出力された色差信号（Ｒ−ＧおよびＢ−Ｇ）に対して、Ｇ補間部２０１から出力されたＧ信号を加算することによりＲ信号およびＢ信号を生成するものである。

Ｒ信号およびＢ信号の補間処理を行う際、Ｒ信号およびＢ信号を色差信号（Ｒ−ＧおよびＢ−Ｇ）として処理するのは、Ｒ信号およびＢ信号はサンプリングレートが低いことから、低い周波数画像しか表現できないため、高い周波数成分を持つＧ信号の成分を使って、Ｒ信号およびＢ信号の高周波信号を作るためである。一般に、単板センサーにおいて、ＲＧＢの分光特性はある程度ブロードで、広い周波数帯域にまたがっているため、似たような周波数特性を持っていることが多く、Ｒ信号およびＢ信号の高周波成分をＧ信号で補う手法は非常に有効である。例えば、白黒のエッジなどではＲ信号およびＢ信号だけで補間した場合、エッジ部に色偽が出るおそれがある。しかし、色差補間によりＧ信号の高周波成分をＲ信号およびＢ信号に加えることでエッジ部の色偽を防止することができる。

なお、本発明の実施の形態においては、Ｒ信号およびＢ信号の補間処理を行う際、Ｇ信号に対する差を示す色差信号（Ｒ−ＧおよびＢ−Ｇ）を用いているが、これに代えてＧ信号に対する比を示す色比信号（Ｒ／ＧおよびＢ／Ｇ）を用いてもよい。色比信号を用いて補間処理を行った場合、加算部２０６に代えて色比信号に対してＧ信号を乗算する乗算部が必要になる。本発明では、これら色差信号および色比信号を色相対値と総称する。

図４は、色偽の発生原理を示す図である。上述のように、色偽はＲＧＢのサンプリングレートの違いに起因して発生する。図２の斜め画素配列では、水平方向および垂直方向のそれぞれに対するＲＧＢのサンプリングレート比はＲ：Ｇ：Ｂ＝１：４：１である。図４に示すように、１画素のサンプリングレートを１／ｆｓとしたとき、サンプリング定理より、Ｇ信号は（１／２）・ｆｓまで表現可能であり、Ｒ信号およびＢ信号は（１／８）・ｆｓまで表現可能である。つまり、入力画像の周波数が（１／８）・ｆｓまでの場合はＲＧＢ共に再現可能だが、（１／８）・ｆｓ以上の信号に対してはＲ信号およびＢ信号が折り返し信号（エイリアス）となるため、本来のＲ信号およびＢ信号を再現できない。このように、Ｒ信号およびＢ信号について本来の信号を再現できないことが色偽の発生原因である。

図２の斜め画素配列において、色偽は入力画像の周波数が（１／８）・ｆｓ以上の場合に発生し、特に、Ｒ信号およびＢ信号が直流信号と区別がつかない（１／４）・ｆｓおよび（１／２）・ｆｓにおいて強く発生する。例えば、入力画像の周波数が（３／１６）・ｆｓの場合、Ｒ信号およびＢ信号はサンプリング後、Ｒ信号およびＢ信号のナイキスト周波数（１／８）・ｆｓを軸に折り返り、（１／１６）・ｆｓの周波数と区別がつかなくなる。つまり、（３／１６）・ｆｓの画像を入力して、Ｒ信号およびＢ信号がサンプリングされた後のデータを観察すると（１／１６）・ｆｓの周波数に見えてしまう。したがって、（３／１６）・ｆｓの入力周波数に対してＧ信号が（３／１６）・ｆｓ、Ｒ信号およびＢ信号が（１／１６）・ｆｓとして捕らえられてしまい、ＲＧＢの捕らえられる周波数が異なるため、Ｒ信号およびＢ信号が偽信号を発生し、それが色として見えてしまう。また、（１／４）・ｆｓの入力信号ではＧ信号が（１／４）・ｆｓ、Ｒ信号およびＢ信号が０・ｆｓとなり、捕らえる周波数の比率が最大になるため、色偽がより強く発生する。同様に（１／２）・ｆｓの入力信号でもＧ信号が（１／２）・ｆｓ、Ｒ信号およびＢ信号が０・ｆｓとなり、（１／４）・ｆｓと同様に色偽が強く発生する。

このような色偽を軽減するために、上述の色差補間が用いられる。この色差補間では、Ｇ信号の高周波成分をＲ信号およびＢ信号に転写することにより、Ｒ信号およびＢ信号の高周波信号を生成することができる。したがって、無彩色の被写体のようにＲ信号およびＢ信号がＧ信号と相関がある場合、非常に有効である。但し、Ｒ信号およびＢ信号とＧ信号の相関がない色の高周波信号では色が正しく再現されないという特徴がある。しかし、人間の視覚特性として、色の高周波には鈍感であって色物に色偽が出ても気づき難く、一方、無彩色部に色偽が出ると敏感に分かるという特性を有することから、特に無彩色被写体で色偽を出し難い色差補間は有用である。

色差補間は、人工的に作り出された理想的な被写体については非常に優れた効果を発揮する。しかし、実際のカメラシステムでは図１のようにレンズ１１０を通過した光を撮像素子１２０でサンプリングしている。このときレンズ１１０では、レンズ特性が光の波長によって異なるため、ＲＧＢの信号は必ずしも同じ画素に集光しない。例えば、点光源を撮影した場合、理想的にはＲＧＢは位相０のところにインパルス状に集光するはずであるが、実際にはＲＧＢで異なる広がりを持ってしまう。この現象は一般的に色収差と呼ばれる。この色収差には、ＲＧＢ毎に焦点距離が異なることに起因する軸上色収差と、画面の位置に応じてＲＧＢ結合位置がずれることに起因する倍率色収差とがあり、これらの分離は非常に困難である。

図５は、白黒の縦線部分を撮像した際の画像データの例を示す図である。同図（ａ）において、位置Ａに着目すると、Ｇ信号の画素値は「２４」や「３５」など「３０」付近の値を示している。一方、Ｒ信号の画素値は「５４」や「６８」というように、Ｇ信号と同じレベルとはいえない値を示している。これにより、位置Ａ'のデータが左に１画素シフトしているように見えてしまう。

同様に、同図（ｂ）において、位置Ｂに着目すると、Ｇ信号の画素値は「１３２」や「１３７」など「１３０」付近の値を示している。一方、Ｒ信号の画素値は「１６１」や「１７１」というように、Ｇ信号と同じレベルとはいえない値を示している。この場合、位置Ｂ'のデータが右に１画素シフトしているように見えてしまう。

このように、白黒縦線の被写体を撮影しているにもかかわらず、縦方向にデータを見ると、Ｇ信号とＲ信号とで同じ値を出力していない。つまり、実際の撮影データでは色収差の影響により、正しく白黒を表現できていないことが分かる。ＲＧＢの各信号を全て同じ位相に有する３ＣＣＤカメラに比べ、ＲＧＢのサンプリングレートが異なるセンサーでは補間により色収差の影響を拡大させてしまうという問題がある。この色収差はズーム、絞り、フォーカス、被写体の距離および画面の位置に応じて変化するため、デモザイク処理により色収差の影響が拡大した後では、信号処理により色収差を低減させることは困難である。

そこで、本発明の実施の形態では、デモザイク処理において、色収差の影響を極力間セルしながら色差を生成し、色差補間を行うことにより、色収差と色偽を同時に低減させる。

図６は、本発明の実施の形態における色差生成部２０２の一構成例を示す図である。この色差生成部２０２は、色差候補生成部２１０と、周囲色差生成部２２０と、周囲色差補正部２３０と、変化量最小色差生成部２４０と、通常色差算出部２５０と、色差選択部２６０とを備える。

色差候補生成部２１０は、色差を生成しようとする注目画素の周辺領域における画素値の複数の方向に対する色差を色差候補として生成するものである。この色差候補生成部２１０により生成された色差候補は、信号線２１９を介して、周囲色差生成部２２０、周囲色差補正部２３０および変化量最小色差生成部２４０に供給される。

周囲色差生成部２２０は、色差候補生成部２１０から供給された色差候補に基づいて、注目画素の周囲色差を生成するものである。この周囲色差生成部２２０は、色差候補生成部２１０から供給された色差候補を複数の方向ごとに加算して、その加算結果が複数の方向のうち最小となる方向を選択し、その選択された方向の色差候補を注目画素の周囲色差とする。この周囲色差生成部２２０により生成された周囲色差は、信号線２２９を介して、周囲色差補正部２３０に供給される。

周囲色差補正部２３０は、周囲色差生成部２２０により生成された周囲色差を補正するものである。この周囲色差補正部２３０は、周辺領域における直流彩度を周囲色差の周辺領域における合計値により除算したものを周囲色差の補正ゲインとして算出する。そして、周囲色差補正部２３０は、この補正ゲインを周囲色差に乗算したものを新たな周囲色差とすることにより、周囲色差を補正する。なお、周辺領域における直流彩度とは、周辺領域における色差の総和を複数の方向ごとに求めたものを、さらに複数の方向に対して平均化したものである。この周囲色差補正部２３０により補正された周囲色差は、信号線２３９を介して、変化量最小色差生成部２４０に供給される。なお、ここでは、周囲色差補正部２３０により周囲色差を補正することを想定しているが、補正をすることなく周囲色差を用いるようにしてもよい。

変化量最小色差生成部２４０は、注目画素の近傍の画素との間で生成される色差のうち、周囲色差との変化量が最小になる色差を変化量最小色差として生成するものである。この変化量最小色差生成部２４０により生成された変化量最小色差は、信号線２４９を介して、色差選択部２６０に供給される。

通常色差算出部２５０は、注目画素の近傍の画素の補間値に基づいて色差を通常色差として算出するものである。この通常色差算出部２５０には、図２の斜め画素配列におけるＲ信号およびＢ信号の位置に対して補間されたＧ信号がＧ補間部２０１から供給される。通常色差算出部２５０は、この補間されたＧ信号を利用して、Ｒ信号の位置についてはＲ信号の色差信号（Ｒ−Ｇ）を、Ｂ信号の位置についてはＢ信号の色差信号（Ｂ−Ｇ）を、それぞれ算出する。これらの色差信号は、通常色差として色差選択部２６０に供給される。

色差選択部２６０は、通常色差算出部２５０から供給された通常色差、および、変化量最小色差生成部２４０から供給された変化量最小色差のうち、絶対値が小さい方を注目画素の色差として選択するものである。すなわち、通常色差の絶対値が変化量最小色差の絶対値よりも小さい場合には、色収差の影響が小さいと考えられるため、解像度を重視した通常色差が選択される。一方、変化量最小色差の絶対値が通常色差の絶対値よりも小さい場合には、色収差の影響が大きいと考えられるため、変化量最小色差が選択される。なお、両者の絶対値が等しい場合には、例えば、変化量最小色差を選択することができる。この色差選択部２６０により選択された注目画素の色差は、色差補間部２０４に供給される。なお、ここでは色収差の影響が小さい場合には通常色差を選択することを想定したが、常に変化量最小色差を注目画素の色差として利用してもよい。

図７は、本発明の実施の形態における色差候補の例を示す図である。ここでは、注目画素をＲ信号として、その注目画素を含めた周囲９画素分のＲ信号について色差候補を生成することを想定する。このような局所領域であれば同じ被写体である可能性も高く、画面位置によって異なる倍率色収差の影響もほぼ同様であると考えられる。なお、ここでは、一例としてＲ信号を扱った例について説明するが、Ｂ信号についても同様の処理が行われる。

無彩色な被写体において色収差がある場合には、偽色の原因となってしまうため、同じ方向のＧ信号からそれぞれ色差が生成される。９画素分のＲ信号に対して生成された９つの色差の合計値（色差合計値）が最小になる方向の色差候補が周囲色差生成部２２０において周囲色差として選択される。このとき、図７（ａ）乃至（ｌ）の楕円形により示される１２方向が想定され、これらの中から１つの方向が選択される。なお、以下では１２方向について９画素の色差候補を生成する例について説明するが、これらの方向および画素数については他の組合せを用いることができる。

図７（ａ）乃至（ｈ）の８方向については、各Ｒ信号に隣接する１つのＧ信号の画素値を各Ｒ信号の画素値から減じたものが色差となり、９画素分の合計値が色差合計値となる。図７（ｉ）乃至（ｈ）の４方向については、各Ｒ信号に隣接する２つのＧ信号の画素値の平均値を各Ｒ信号の画素値から減じたものが色差となり、９画素分の合計値が色差合計値となる。なお、９画素分の色差合計値を算出する際には、色差の絶対値の総和を採用してもよく、また、色差の符号を考慮した通常の総和を採用してもよい。

この周囲色差の選択処理は、高周波な被写体に対する局所領域において無彩色に近い色差を選択するような働きがあり、色収差などの影響でエッジ部に色がつく場合も、その色をキャンセルする方向に動作する。また、一様な有彩色の被写体（いわゆるＤＣ画）においては、局所領域でのＧ成分がすべて同じ値であるため、無彩色にはならずに正しい周囲色差を選択することが可能である。

図８は、本発明の実施の形態における周囲色差生成部２２０の一構成例を示す図である。この周囲色差生成部２２０は、色差合計値算出部２２１と、最小方向選択部２２２と、周囲色差選択部２２３とを備えている。

色差合計値算出部２２１は、図７に示した１２方向のそれぞれについて９画素分の色差合計値を算出するものである。これら色差合計値算出部２２１によって算出された色差合計値は、最小方向選択部２２２に供給される。

最小方向選択部２２２は、色差合計値算出部２２１によって算出された１２方向の色差合計値のうちで色差合計値が最小となる方向を選択するものである。この最小方向選択部２２２により選択された方向は周囲色差選択部２２３に供給される。

周囲色差選択部２２３は、最小方向選択部２２２から供給された方向に従って、その方向の９画素分の色差を周囲色差として選択する。この周囲色差選択部２２３により選択された周囲色差は、信号線２２９を介して、周囲色差補正部２３０に供給される。

図９は、本発明の実施の形態における周囲色差補正部２３０の一構成例を示す図である。上述の周囲色差生成部２２０では、色差合計値が最小になるという基準によって１２方向の色差から１つが選択されるが、この基準によれば必然的に色が薄いものが選択されることになる。一様な色物の被写体（色物のＤＣ画）を撮影した場合、ノイズが含まれていると、本来の色味から薄くなる色差が周囲色差として選択されてしまう。すなわち、ノイズがない一様な色物であれば１２方向の色差の値は全て同一になるが、ノイズが含まれている場合にはＧ信号の値が異なるため、色が薄い周囲色差が選択されてしまう。周囲色差は色収差を極力キャンセルする必要もあるが、元の画像信号をきちんと再現する必要もある。このように、一様な被写体にノイズがある場合、周囲色差の色が薄くなってしまうのを防止する処理が色味補正である。そもそも周囲色差を求める際に色が薄くなってしまうのは、周囲色差生成部２２０において色差合計値が最小になる色差を選択しているためである。この周囲色差を本来の値まで戻す処理が色味補正であり、これを実現するのが周囲色差補正部２３０である。この周囲色差補正部２３０は、色差加算部２３１と、平均値算出部２３２と、周囲色差加算部２３３と、補正ゲイン算出部２３４と、乗算部２３５とを備える。

色差加算部２３１は、図７（ｉ）乃至（ｌ）に示した４方向のそれぞれについて９画素分の色差を加算して局所的領域の色を算出するものである。この様子を示したものが図１０である。Ｒ信号を中心として両側の２つのＧ信号の平均値をＲ信号から減じたものがそれぞれの色差になる。図１０（ａ）では右斜め方向、同図（ｂ）では上下方向、同図（ｃ）では左斜め方向、同図（ｄ）では左右方向の近隣の２つのＧ信号が用いられる。これら色差加算部２３１によって算出された局所的領域の色は、平均値算出部２３２に供給される。

平均値算出部２３２は、色差加算部２３１から供給された局所的領域の色の平均値を算出するものである。すなわち、この平均値算出部２３２は、図１０に示した４つの局所的領域の色の総和を「４」で除算した値を直流彩度として出力する。色差加算部２３１および平均値算出部２３２による処理は、色差最小というような非線形な処理を行っていないため、ノイズがあったとしても平均的な色差を選択することになり色を薄くする作用を持たないことになる。この平均値算出部２３２により出力された直流彩度は、補正ゲイン算出部２３４に供給される。

周囲色差加算部２３３は、周囲色差選択部２２３により選択された周囲色差の９画素分の色差を加算するものである。この周囲色差加算部２３３により加算された色差は、周囲色差の合計色差として補正ゲイン算出部２３４に供給される。

補正ゲイン算出部２３４は、平均値算出部２３２から供給された直流彩度を周囲色差加算部２３３から供給された周囲色差の合計色差で除算した値を補正ゲインとして算出するものである。この補正ゲイン算出部２３４により算出された補正ゲインは、乗算部２３５に供給される。なお、補正ゲインは除算により算出されるため、分母の値が小さいときには誤差が大きくなる可能性がある。したがって、補正ゲインには「１．０」乃至「２．０」倍程度の範囲で上下限を設定することが望ましい。

乗算部２３５は、周囲色差選択部２２３により選択された周囲色差の９画素分の色差のそれぞれに対して、補正ゲイン算出部２３４により算出された補正ゲインを乗算するものである。これにより、周囲色差において色収差の影響を極力キャンセルするとともに、ノイズがあるＤＣ画を撮影しても色を薄くさせないものとなる。この乗算部２３５による乗算結果は、それぞれの周囲色差の新たな値として、信号線２３９を介して、変化量最小色差生成部２４０に供給される。

図１１は、本発明の実施の形態における変化量最小色差生成部２４０の一構成例を示す図である。この変化量最小色差生成部２４０は、色差変化量算出部２４１と、最小変化方向選択部２４２と、注目画素色差選択部２４３とを備えている。

色差変化量算出部２４１は、注目画素の近傍の画素との間で生成される色差と周囲色差との変化量を色差変化量として算出するものである。ここで、注目画素の近傍の画素との間で生成される色差は、色差候補生成部２１０によって生成された色差候補のうち注目画素とその近傍の画素との間で生成される色差を用いることができる。例えば、図１２（ａ）乃至（ｌ）の楕円形により示される１２方向のＲ信号およびＧ信号から色差が算出される。また、周囲色差は、周囲色差補正部２３０によって補正された周囲色差を用いることができる。ここでは、人間の視覚特性は画像上の色の変化に対して鈍感である、という性質を利用している。これにより、正しい色差でなくても人間の目には気付き難く、注目画素だけ突出して色を出すようなことをしないため、色偽を出さない自然な色味を出すことが可能になる。この色差変化量算出部２４１によって算出された色差変化量は、最小変化方向選択部２４２に供給される。なお、色差変化量の具体的な算出式については図１３を用いて後述する。

最小変化方向選択部２４２は、色差変化量算出部２４１から供給された１２方向の色差変化量の中で最小になる方向を選択するものである。この選択された方向は注目画素色差選択部２４３に供給される。

注目画素色差選択部２４３は、最小変化方向選択部２４２から供給された方向に従って、注目画素の近傍の画素との間で生成される色差を選択するものである。ここで、注目画素の近傍の画素との間で生成される色差は、色差変化量算出部２４１において用いられた色差と同様に、色差候補生成部２１０によって生成された色差候補のうち注目画素とその近傍の画素との間で生成される色差を用いることができる。

すなわち、変化量最小色差生成部２４０では、注目画素の近傍の画素との間で生成される色差のうちで、周囲色差との変化量が最小になる色差が注目画素の色差として生成されることになる。

図１３は、本発明の実施の形態における色差変化量の算出法の一例を示す図である。図１３（ａ）の中心の画素を注目画素とすると、周辺領域には注目画素を含む９画素の位置に色差信号（Ｒ−Ｇ）が生成される。この色差信号の位置に符号を付したものが図１３（ｂ）である。すなわち、位置ｅが注目画素の位置であり、例えば、図１２（ａ）乃至（ｌ）の楕円形により示される１２方向のＲ信号およびＧ信号から算出された色差が用いられる。また、位置ａ、ｂ、ｃ、ｄ、ｆ、ｇ、ｈおよびｉは、注目画素を除く８画素の周囲色差の位置である。この８画素の周囲色差は、周囲色差補正部２３０によって補正された周囲色差が用いられる。

図１３（ｂ）の符号ａ乃至ｉを用いると、色差変化量は次式により求められる。
色差変化量 ＝ ｜−ａ＋２×ｅ−ｉ｜＋｜−ｂ＋２×ｅ−ｈ｜
＋｜−ｃ＋２×ｅ−ｇ｜＋｜−ｄ＋２×ｅ−ｆ｜

このようにして求められた色差変化量のうち、色差変化量が最小となる色差が注目画素の色差として生成される

次に本発明の実施の形態における画像処理装置の動作について図面を参照して説明する。

図１４は、本発明の実施の形態における画像処理方法の処理手順例を示す流れ図である。

まず、色差候補生成部２１０によって色差候補が生成される（ステップＳ９１０）。この生成された色差候補に基づいて、周囲色差生成部２２０によって注目画素の周囲色差が生成される（ステップＳ９２０）。そして、この周囲色差が周囲色差補正部２３０によって補正される（ステップＳ９３０）。また、変化量最小色差生成部２４０において、注目画素の近傍の画素との間で生成される色差のうち、周囲色差との変化量が最小になる色差が変化量最小色差として生成される（ステップＳ９４０）。

一方、通常色差算出部２５０において、注目画素の近傍の画素の補間値に基づいて通常色差が算出される（ステップＳ９５０）。そして、色差選択部２６０において、通常色差、および、変化量最小色差のうち、絶対値が小さい方が注目画素の色差として選択される（ステップＳ９６０）。

図１５は、本発明の実施の形態における周囲色差生成処理（ステップＳ９２０）の処理手順例を示す流れ図である。

まず、色差合計値算出部２２１において、図７に示した１２方向のそれぞれについて９画素分の色差合計値が算出される（ステップＳ９２１）。また、最小方向選択部２２２において、１２方向の色差合計値のうちで色差合計値が最小となる方向が選択される（ステップＳ９２２）。この選択された方向に従って、周囲色差選択部２２３においてその方向の９画素分の色差が周囲色差として選択される（ステップＳ９２３）。

図１６は、本発明の実施の形態における周囲色差補正処理（ステップＳ９３０）の処理手順例を示す流れ図である。

まず、色差加算部２３１によって、図７（ｉ）乃至（ｌ）に示した４方向のそれぞれについて９画素分の色差が加算される（ステップＳ９３１）。そして、この加算値（局所的領域の色）の４方向の平均値が平均値算出部２３２によって直流彩度として算出される（ステップＳ９３２）。

一方、周囲色差選択部２２３により選択された周囲色差の９画素分の色差が、周囲色差加算部２３３によって加算され、周囲色差の合計色差となる（ステップＳ９３３）。

ステップＳ９３２において算出された直流彩度を、ステップＳ９３３において算出された周囲色差の合計色差により除算した値が、補正ゲイン算出部２３４によって補正ゲインとして算出される（ステップＳ９３４）。そして、周囲色差選択部２２３により選択された周囲色差の９画素分の色差のそれぞれに対して、補正ゲインが乗算部２３５により乗算される（ステップＳ９３５）。これにより、色味補正が行われる。

図１７は、本発明の実施の形態における変化量最小色差生成処理（ステップＳ９４０）の処理手順例を示す流れ図である。

まず、色差変化量算出部２４１において、注目画素の近傍の画素との間で生成される色差と周囲色差との４方向（図１３）による色差変化量が、１２方向（図１２）について算出される（ステップＳ９４１）。そして、最小変化方向選択部２４２において、１２方向の色差変化量の中で色差変化量が最小になる方向が選択される（ステップＳ９４２）。この選択された方向に従って、注目画素の近傍の画素との間で生成される色差が注目画素色差選択部２４３により選択される（ステップＳ９４３）。

このように、本発明の実施の形態によれば、周囲色差生成部２２０において生成された周囲色差との変化量が最小になる色差を、変化量最小色差生成部２４０によって注目画素の色差として生成することにより、色収差と色偽を同時に抑制することができる。

これに対して、周囲色差を用いずに、注目画素の近傍のＧ信号の候補から複数方向の色差候補を作成して、色差が最小のものを選択した場合には、色消しのパワーが強くなり、色味そのものが失われるおそれがある。この点、本発明の形態によれば、周囲色差を考慮することにより、人間の視覚にとって自然な色を再現することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

すなわち、請求項１において、色相対値候補生成手段は例えば色差候補生成部２１０に対応する。また、周囲色相対値生成手段は例えば周囲色差生成部２２０に対応する。また、注目画素色相対値生成手段は例えば変化量最小色差生成部２４０に対応する。

また、請求項２において、周囲色相対値補正手段は例えば周囲色差補正部２３０に対応する。

また、請求項４において、通常色相対値算出手段は例えば通常色差算出部２５０に対応する。また、色相対値選択手段は例えば色差選択部２６０に対応する。

また、請求項７において、Ｇ信号補間手段は例えばＧ補間部２０１に対応する。色相対値候補生成手段は例えば色差候補生成部２１０に対応する。また、周囲色相対値生成手段は例えば周囲色差生成部２２０に対応する。また、注目画素色相対値生成手段は例えば変化量最小色差生成部２４０に対応する。また、色相対値補間手段は例えば色差補間部２０４に対応する。また、注目画素値生成手段は例えば加算部２０６に対応する。

また、請求項８および９において、色相対値候補生成手順は例えばステップＳ９１０に対応する。また、周囲色相対値生成手順は例えばステップＳ９２０に対応する。また、注目画素色相対値生成手順は例えばステップＳ９４０に対応する。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の実施の形態における画像処理装置の一例である撮像装置の構成例を示す図である。 本発明の実施の形態のデモザイク処理の対象となる色フィルタ配列の一例を示す図である。 本発明の実施の形態の補間処理回路２００の一構成例を示す図である。 色偽の発生原理を示す図である。 白黒の縦線部分を撮像した際の画像データの例を示す図である。 本発明の実施の形態における色差生成部２０２の一構成例を示す図である。 本発明の実施の形態における色差候補の例を示す図である。 本発明の実施の形態における周囲色差生成部２２０の一構成例を示す図である。 本発明の実施の形態における周囲色差補正部２３０の一構成例を示す図である。 本発明の実施の形態における補正ゲイン算出のための局所領域の色の例を示す図である。 本発明の実施の形態における変化量最小色差生成部２４０の一構成例を示す図である。 本発明の実施の形態における注目画素の色差の候補の例を示す図である。 本発明の実施の形態における色差変化量の算出法の一例を示す図である。 本発明の実施の形態における画像処理方法の処理手順例を示す流れ図である。 本発明の実施の形態における周囲色差生成処理（ステップＳ９２０）の処理手順例を示す流れ図である。 本発明の実施の形態における周囲色差補正処理（ステップＳ９３０）の処理手順例を示す流れ図である。 本発明の実施の形態における変化量最小色差生成処理（ステップＳ９４０）の処理手順例を示す流れ図である。

符号の説明

１１０ レンズ
１２０ 撮像素子
１３０ Ａ／Ｄ変換器
１４０ カメラ信号処理部
１４１ 光学系補正回路
１４２ ホワイトバランス回路
１４４ ガンマ補正回路
１４５ Ｙ信号処理回路
１４６ Ｃ信号処理回路
１４７ ローパスフィルタ
１４８ 間引き処理回路
２００ 補間処理回路
２０１ Ｇ補間部
２０２ 色差生成部
２０４ 色差補間部
２０６ 加算部
２１０ 色差候補生成部
２２０ 周囲色差生成部
２２１ 色差合計値算出部
２２２ 最小方向選択部
２２３ 周囲色差選択部
２３０ 周囲色差補正部
２３１ 色差加算部
２３２ 平均値算出部
２３３ 周囲色差加算部
２３４ 補正ゲイン算出部
２３５ 乗算部
２４０ 変化量最小色差生成部
２４１ 色差変化量算出部
２４２ 最小変化方向選択部
２４３ 注目画素色差選択部
２５０ 通常色差算出部
２６０ 色差選択部

Claims (9)

1. 複数の画素からなる画像データにおいて注目画素の周辺領域における画素値の複数の方向に対する色相対値を色相対値候補として生成する色相対値候補生成手段と、
   前記色相対値候補を前記複数の方向ごとに加算して当該加算結果が前記複数の方向のうち最小となる方向の前記色相対値候補を前記注目画素の周囲色相対値として生成する周囲色相対値生成手段と、
   前記注目画素の近傍の画素との間で生成される色相対値のうちで前記周囲色相対値との変化量が最小になる色相対値を注目画素色相対値として生成する注目画素色相対値生成手段と
   を具備することを特徴とする画像処理装置。
2. 前記周辺領域における直流彩度を前記周囲色相対値の前記周辺領域における合計値により除算したものを前記周囲色相対値の補正ゲインとして当該補正ゲインを前記周囲色相対値に乗算する周囲色相対値補正手段をさらに具備することを特徴とする請求項１記載の画像処理装置。
3. 前記直流彩度は、前記周辺領域における色相対値の平均値であることを特徴とする請求項２記載の画像処理装置。
4. 前記注目画素の近傍の画素の補間値に基づいて色相対値を通常色相対値として算出する通常色相対値算出手段と、
   前記通常色相対値の絶対値が前記注目画素色相対値の絶対値よりも小さい場合には前記注目画素色相対値に代えて前記通常色相対値を選択する色相対値選択手段と
   をさらに具備することを特徴とする請求項１記載の画像処理装置。
5. 前記色相対値は、異なる色の画素値の差を示す色差であることを特徴とする請求項１記載の画像処理装置。
6. 前記色相対値は、異なる色の画素値の比を示す色比であることを特徴とする請求項１記載の画像処理装置。
7. 各画素位置においてＲ信号、Ｇ信号またはＢ信号の何れかの画素値を示す画像データにおいて前記各画素位置の全てについてＧ信号の画素値を補間するＧ信号補間手段と、
   Ｒ信号またはＢ信号の画素位置を注目画素として当該注目画素の周辺領域における画素値の複数の方向に対する色相対値を色相対値候補として生成する色相対値候補生成手段と、
   前記色相対値候補を前記複数の方向ごとに加算して当該加算結果が前記複数の方向のうち最小となる方向の前記色相対値候補を前記注目画素の周囲色相対値として生成する周囲色相対値生成手段と、
   前記注目画素の近傍の画素との間で生成される色相対値のうちで前記周囲色相対値との変化量が最小になる色相対値を注目画素色相対値として生成する注目画素色相対値生成手段と、
   前記注目画素色相対値を前記画素位置の全てについて補間する色相対値補間手段と、
   前記補間されたＧ信号の画素値と前記補間された前記注目画素色相対値とから前記注目画素における画素値を生成する注目画素値生成手段と
   を具備することを特徴とする画像処理装置。
8. 複数の画素からなる画像データにおいて注目画素の周辺領域における画素値の複数の方向に対する色相対値を色相対値候補として生成する色相対値候補生成手順と、
   前記色相対値候補を前記複数の方向ごとに加算して当該加算結果が前記複数の方向のうち最小となる方向の前記色相対値候補を前記注目画素の周囲色相対値として生成する周囲色相対値生成手順と、
   前記注目画素の近傍の画素との間で生成される色相対値のうちで前記周囲色相対値との変化量が最小になる色相対値を注目画素色相対値として生成する注目画素色相対値生成手順と
   を具備することを特徴とする画像処理方法。
9. 画像処理装置において、
   複数の画素からなる画像データにおいて注目画素の周辺領域における画素値の複数の方向に対する色相対値を色相対値候補として生成する色相対値候補生成手順と、
   前記色相対値候補を前記複数の方向ごとに加算して当該加算結果が前記複数の方向のうち最小となる方向の前記色相対値候補を前記注目画素の周囲色相対値として生成する周囲色相対値生成手順と、
   前記注目画素の近傍の画素との間で生成される色相対値のうちで前記周囲色相対値との変化量が最小になる色相対値を注目画素色相対値として生成する注目画素色相対値生成手順と
   をコンピュータに実行させることを特徴とするプログラム。

Images