JP6282123B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関し、特にカラー画像信号において欠落している色の信号を補間する技術（デモザイキング技術）に関する。

従来、ＣＭＯＳセンサやＣＣＤセンサ等のカラー撮像センサには、所謂、ベイヤー配列のカラーフィルタが用いられている。このカラーフィルタとしては、一般に、レッド、グリーン及びブルーの３原色、または、シアン、マゼンタ及びイエローの３つの補色のフィルタが用いられている。

しかしながら、ベイヤー配列の場合、各画素では１色のカラー信号しか得られないため、各画素において欠落している他の２色のカラー信号をデモザイキング（補間）する処理が行われる。デモザイキングの手法としては、多数の方法が知られており、基本的なデモザイキング法として、バイリニア補間法やバイキュービック補間法が知られている。

これらのバイリニア補間法やバイキュービック補間法では、低周波成分を多く含む画像等では良好な補間結果が得られるが、高周波成分を含む画像では、偽色（色モアレ）と呼ばれる実際の被写体には存在しない色を発生させてしまうという問題がある。この偽色は、被写体像が本来持っているエッジ方向とは異なる方向の画素を用いてデモザイキングすることにより発生する。

そこで、被写体像が本来有しているエッジ方向に沿った画素を用いてデモザイキングする方法が提案されている。例えば、特許文献１には、周囲の画素を使用してエッジ方向を判別し、エッジを跨ぐ補間を行わずにエッジに沿う補間を行う方法が提案されている。また、特許文献１には、方向ごとに補間を行って数種類の補間結果を生成した後、どの方向で補間した結果が適切かを判定し、選択する補間方法が提案されている。ここで、補間方向の適切性の判断に関して、特許文献１は、周辺類似度という補間対象画素を含めた周辺画素からその近辺の均質性を示す評価値を導入し、均質性の高い方向をエッジ方向として判定して選択する補間方法を提案している。

これに対して、特許文献２には、均質性に加えて信号強度を考慮して評価することにより、均質性はあるが好ましくない方向（例えば、低周波成分を含んだ偽色が存在する方向）が選択されることを回避する補間方法が提案されている。

特開２００８−０３５４７０号公報 特開２０１０−２５２２３１号公報

しかしながら、上記特許文献１，２に記載された方法では、カラー撮像センサのノイズ特性が考慮されていないため、ノイズ量が多い画像の場合に、均質性を示す評価値の誤算出による補間ミスが生じるおそれがある。

本発明は、ノイズ量が多いカラー画像信号であっても、デモザイキング処理を高精度に行うことができる技術を提供することを目的とする。

本発明に係る画像処理装置は、被写体の光学像を複数の画素により光電変換して得られるカラーモザイク画像信号に対して前記複数の画素の各画素において欠落している色の信号を前記各画素の周辺の画素の画像信号を用いて補間処理する補間手段を備える画像処理装置であって、前記補間手段は、複数の規定方向の各方向で前記補間処理を行ってカラー画像信号を生成する複数の方向別補間手段と、前記複数の方向別補間手段からそれぞれ出力されるカラー画像信号から得られる色信号の分散度を算出する分散度算出手段と、前記分散度算出手段が算出した前記複数の規定方向の各方向の分散度を用いて前記色信号のノイズ量に基づく重み係数を前記複数の画素ごとに算出するノイズ特性算出手段と、前記ノイズ特性算出手段が算出した重み係数に基づき、前記複数の方向別補間手段からそれぞれ出力されるカラー画像信号の評価値を、前記複数の規定方向の各方向について前記画素ごとに算出する評価手段と、前記評価手段が算出した評価値に基づき、前記複数の方向別補間手段により補間処理されたカラー画像信号を前記画素ごとに選択あるいは加重加算してカラー補間画像データを生成する生成手段とを有することを特徴とする。

本発明では、カラー撮像素子から出力されるアナログ信号であるカラーモザイク画像信号に対するデモザイキング処理において、方向別に補間した補間結果の中からより良好な補間結果の方向を選択する評価基準情報として、均質性に加えてノイズ特性を用いる。これにより、ノイズ量が多い画像であっても、ノイズによって引き起こされ得る均質性を示す評価値の誤算出を低減することができ、より適当な補間結果（補間の方向）を選択することができるようになるため、画質の低下を抑制することができる。

本発明の第１実施形態（及び第２実施形態、第３実施形態）に係る画像処理装置の概略構成を示すブロック図である。 図１の画像処理装置が備えるカラー撮像素子が有する３原色カラーフィルタにおける各色のベイヤー配列の例を示す図である。 図１の画像処理装置が備えるデモザイキング部の概略構成を示すブロック図と、デモザイキング部が有するＨ方向補間部及びＶ方向補間部の概略構成を示すブロック図である。 図３に示すＨ方向補間部及びＶ方向補間部による方向別補間処理を説明するためのベイヤー配列の画素配置構成を示す図である。 図３のデモザイキング部における分散度算出から評価値算出までの処理を示すフローチャートである。 図５のステップＳ５０２において、Ｇ，Ｒ−Ｇ，Ｂ−Ｇ信号のそれぞれのＨ方向の分散度を算出する方法を模式的に示す図である。 図５のステップＳ５１２において評価値を算出する際に用いるローパスフィルタのフィルタ係数の例を示す図である。 図３に示す画像生成部による補間画像生成処理のフローチャートである。 本発明の第２実施形態に係る画像処理装置が備えるデモザイキング部の構成を示すブロック図である。 第２実施形態（及び第３実施形態）に係るデモザイキング部による評価値算出処理のフローチャートである。 図１０のステップＳ１００３における、第２実施形態に係る重み係数の算出処理を説明するための５×５画素領域を示す図及び９×９画素領域を示す図である。 図１０のステップＳ１００３における、第３実施形態に係る重み係数の算出処理に用いられるルックアップテーブルのデータ例を示す図である。 本発明の第４実施形態に係る画像処理装置の概略構成を示すブロック図である。 図１３の画像処理装置が備える事前処理部の概略構成を示すブロック図である。 結像光学系に生じる倍率色収差を説明する図および軸上色収差を説明する図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。ここでは、本発明に係る画像処理装置として、所謂、デジタルカメラを取り上げることとする。但し、本発明はこれに限定されるものではなく、カラー画像を撮像する機能を有する携帯端末（携帯通信端末、モバイル型コンピュータ、携帯型等）や、撮像されたカラー画像を取り込むパーソナルコンピュータ等であってもよい。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る画像処理装置の概略構成を示すブロック図である。画像処理装置は、撮影レンズ１０１、カラー撮像素子１０２、Ａ／Ｄ変換部１０３、ホワイトバランス部１０４、デモザイキング部１０５、マトリクス変換部１０６，ガンマ変換部１０７、色調整部１０８、圧縮部１０９、記録部１１０、制御部１１１及びメモリ１１２を備える。

被写体を反映した光学像（被写体像）は、撮影レンズ１０１を介してカラー撮像素子１０２上に結像され、カラー撮像素子１０２によって光電変換される。カラー撮像素子１０２は、一般的な３原色カラーフィルタを備える単板カラー撮像素子である。例えば、３原色カラーフィルタは、６５０ｎｍ、５５０ｎｍ、４５０ｎｍのそれぞれの近傍に透過主波長帯を持つＲＧＢ（Ｒ：レッド、Ｇ：グリーン、Ｂ：ブルー）の３原色カラーフィルタであり、３原色の各バンドに対応するカラープレーンを生成する。

図２は、３原色カラーフィルタにおける各色のベイヤー配列の例を示す図である。単板カラー撮像素子では、行方向と列方向に複数の画素がマトリクス状に配置されており、カラーフィルタは、複数の画素の各画素に対応するように、画素ごとに空間的に配列される。このような構成の場合、各画素ではそれぞれ単一のカラープレーンの光強度しか得ることができず、そのため、カラー撮像素子１０２からは、カラーモザイク画像信号（各画素から３原色の内の２色が欠落した画像信号）が出力される。Ａ／Ｄ変換部１０３は、カラー撮像素子１０２からアナログ電圧として出力されるカラーモザイク画像信号をカラーデジタル画像信号に変換する。

ホワイトバランス部１０４は、カラーデジタル画像信号に対してホワイトバランス処理を行い、ベイヤー画像データ（図３参照）をデモザイキング部１０５へ出力する。具体的には、ホワイトバランス部１０４は、白くあるべき領域のＲＧＢの信号が同じレベルになるようにＲＧＢの各色にゲインをかける。第１実施形態に係るデモザイキング部であるデモザイキング部１０５は、各画素において欠落しているＲＧＢの３原色の内の２色のカラーモザイク画像信号を補間することによって、全ての画素においてＲＧＢのカラー画像信号を生成する。マトリクス変換部１０６は、デモザイキング部１０５から出力されるカラー画像信号に対してマトリクス変換処理を施す。ガンマ変換部１０７は、マトリクス変換処理が施されたカラー画像信号に対してガンマ補正処理を施す。こうして、基本的なカラー画像信号が生成される。

ガンマ変換部１０７から出力される基本的なカラー画像信号に対して、色調整部１０８は、画像の見栄えを改善するための各種の処理を施す。例えば、色調整部１０８は、ノイズ低減、彩度強調、色相補正、エッジ強調等の処理を行う。圧縮部１０９は、色調整部１０８において色調整されたカラー画像信号をＪＰＥＧ等の方法で圧縮し、記録時のデータサイズを小さくする。圧縮部１０９により圧縮されたデジタル画像データは、記録部１１０によりフラッシュメモリ等の記録媒体（不図示）に記録される。

以上に説明したカラー撮像素子１０２から記録部１１０までの各デバイスの処理動作は、制御部１１１によってバス１１３を介して制御される。つまり、制御部１１１は、画像処理装置の全体的な動作を制御する。制御部１１１は、演算処理装置であるＣＰＵを備える。メモリ１１２は、画像処理装置での各種制御に必要な各種のプログラムやデータを格納しており、また、ＣＰＵが各種のプログラムを実行するために必要なワークエリアを有し、更に、ＣＰＵが演算した各種のデータを一時的に記憶する。

次に、デモザイキング部１０５でのデモザイキング処理について、図３を参照して説明する。図３（ａ）は、デモザイキング部１０５の概略構成を示すブロック図である。デモザイキング部１０５は、方向別補間部としてのＨ方向補間部３０２及びＶ方向補間部３０３を備える。また、デモザイキング部１０５は、Ｈ方向分散度算出部３０４、Ｖ方向分散度算出部３０５、Ｈ方向ノイズ特性算出部３０６、Ｖ方向ノイズ特性算出部３０７、評価値算出部３０８及び画像生成部３０９を備える。

デモザイキング部１０５は、先ず、注目画素に対してその周辺の画素を用いて予め定めた規定方向（Ｈ方向（水平方向）、Ｖ方向（鉛直方向））の各方向で補間を行う。デモザイキング部１０５は、その後、方向選択を行ことにより、各画素について補間処理結果としてＲＧＢの３原色のカラー画像信号を生成する。

具体的には、ホワイトバランス部１０４から出力された各画素のベイヤー画像データ３０１に対し、Ｈ方向補間部３０２及びＶ方向補間部３０３によりそれぞれ、Ｈ方向及びＶ方向での欠落色の画素データが補間される。これにより、各画素のＨ方向及びＶ方向のＲＧＢ画像データが生成される。次に、Ｈ方向分散度算出部３０４及びＶ方向分散度算出部３０５が、各画素のＨ方向及びＶ方向の補間処理後の各画素のＲＧＢ画像データのそれぞれについて、画素ごとに分散度を算出する。更に、Ｈ方向ノイズ特性算出部３０６及びＶ方向ノイズ特性算出部３０７が、ノイズ量に基づいた重み係数を画素ごとに算出する。

そして、評価値算出部３０８が、Ｈ方向とＶ方向のそれぞれについて、算出した重み係数から最終的な評価値を画素ごとに算出する。その後、画像生成部３０９が、Ｈ方向の最終的な評価値とＶ方向の最終的な評価値とを比較し、評価値が小さい方向を選択する。そして、画像生成部３０９は、選択した方向に係る補間処理後のＲＧＢ画像データに基づいて最終的なカラー補間画像データを生成し、デモザイキングデータとしての補間後ＲＧＢ画像データ３１０を出力する。

次に、Ｈ方向補間部３０２及びＶ方向補間部３０３における方向別の補間処理について、図３（ｂ）を参照して説明する。図３（ｂ）は、Ｈ方向補間部３０２及びＶ方向補間部３０３の概略構成を示すブロック図である。Ｈ方向補間部３０２は、Ｈ方向Ｇ補間部３０２ａと、Ｈ方向ＲＢ補間部３０２ｂとを有する。Ｖ方向補間部３０３は、Ｖ方向Ｇ補間部３０３ａと、Ｖ方向ＲＢ補間部３０３ｂとを有する。

Ｈ方向補間部３０２では、先ず、Ｈ方向Ｇ補間部３０２ａが周波数帯域の高いＧ信号（データ）を補間し、続いて、Ｈ方向ＲＢ補間部３０２ｂがＲデータとＢデータを補間する。これにより、Ｈ方向補間部３０２からは、Ｈ方向ＲＧＢ画像データ３０２ｃが出力される。同様に、Ｖ方向補間部３０３では、先ず、Ｖ方向Ｇ補間部３０３ａが周波数帯域の高いＧデータを補間し、続いて、Ｖ方向ＲＢ補間部３０３ｂがＲデータ及びＢデータを補間する。これにより、Ｖ方向補間部３０３からは、Ｖ方向ＲＧＢ画像データ３０３ｃが出力される。

続いて、具体的な補間方法について、図４を参照して説明する。図４は、Ｈ方向補間部３０２及びＶ方向補間部３０３による方向別補間処理を説明するためのベイヤー配列の画素配置構成を示す図である。図４では、ＲＧＢの各画素に対して行番号と列番号を付して各画素を区別しており、例えば、Ｇ２３は、第２行の第３列にあるＧの画素を示しており、Ｒ３５は、第３行の第５列にあるＲの画素を示しており、下記式１乃至式６でも同様の表記を用いている。

Ｇ色を補間する場合、注目画素がＧ色のフィルタに係る画素であれば、下記式１に示すように、その画素のＧデータをそのまま出力する。下記式１では、Ｇ３４，Ｇ４３を例示している。Ｒ色のフィルタに係る画素及びＢ色のフィルタに係る画素についてＧ色を補間する場合は、Ｈ方向について下記式２を用い、Ｖ方向については下記式３を用いて、補間データを算出する。一例として、ここでは、第３行の第３列にはＲ３３の画素があるが、これに対してＧ３３の補間データを算出しており、第４行の第４列にはＢ４４の画素があるが、これに対してＧ４４の補間データを算出している。

Ｒ色を補間する場合、注目画素がＲ色フィルタに係る画素であれば、下記式４に示すように、その画素のＲデータをそのまま出力する。ここでは、Ｒ３３を例示している。Ｇ色のフィルタに係る画素についてＲ色を補間する場合は、下記式５を用いて補間データを算出する。一例として、ここでは、第３行の第４列にはＧ３４の画素があるが、これに対してＲ３４の補間データを算出しており、また、第４行の第３列にはＧ４３の画素があるが、これに対してＲ４３の補間データを算出している。Ｂ色のフィルタに係る画素についてＲ色を補間する場合は、下記式６を用いて補間データを算出し、Ｈ方向とＶ方向とで同じ数式を用いることとする。ここでは、第４行の第４列にはＢ４４の画素があるが、これに対してＲ４４の補間データを算出している。

Ｂ色を補間する場合は、上述のＲ色を補間する場合と同様の手法を用いる。具体的には下記式４乃至式６におけるＲをＢに置き換えた数式を用いればよい。

次に、デモザイキング部１０５による分散度算出から評価値算出までの処理について、説明する。図５は、分散度算出から評価値算出までの処理のフローチャートである。図５のフローチャートに示す各処理は、制御部１１１の制御の下で、Ｈ方向分散度算出部３０４、Ｖ方向分散度算出部３０５、Ｈ方向ノイズ特性算出部３０６、Ｖ方向ノイズ特性算出部３０７及び評価値算出部３０８がそれぞれ、割り当てられた処理を実行することにより実現される。

先ず、ステップＳ５０１では、Ｈ方向分散度算出部３０４が、各画素について欠落した色を補間したＨ方向ＲＧＢ画像データ３０２ｃ（図３（ｂ）参照）を、均等色空間の色信号（値）に変換する。本実施形態では、均質性を表す尺度として色差の分散度を算出するために、Ｇ，Ｒ−Ｇ，Ｂ−Ｇ色空間を使用することとする。但し、Ｇ，Ｒ−Ｇ，Ｂ−Ｇ色空間に代えて、Ｌ^＊ａ^＊ｂ^＊均等色空間を用いてもよい。しかしながら、Ｌ^＊ａ^＊ｂ^＊値への変換処理は計算量が多いため、Ｌ^＊の代わりにＧ信号をそのまま用い、ａ^＊，ｂ^＊の代わりにそれぞれＲ−Ｇ，Ｂ−Ｇを色差信号として用いることで、計算負荷を軽減することができる。

次に、ステップＳ５０２では、Ｈ方向分散度算出部３０４が、Ｇ，Ｒ−Ｇ，Ｂ−Ｇ信号のそれぞれの分散度を算出する。ここでは、注目画素を中心とした３×３領域の画素を用いて算出することとするが、５×５領域や７×７領域でもよく、特に制限はない。

本実施形態では、３×３領域の画素を用いる場合に、注目画素と隣接する８画素の計９画素を用いて分散度を算出するのではなく、図６に模式的に示す方法によって、分散度を算出する。図６は、Ｇ，Ｒ−Ｇ，Ｂ−Ｇ信号のそれぞれのＨ方向の分散度を算出する方法を模式的に示す図である。ｈ１１〜ｈ３３は画素を示しており、Ｈ方向でＧ信号の分散度を算出する場合、ｈ１１〜ｈ１３，ｈ２１〜ｈ２３，ｈ３１〜ｈ３３のそれぞれ３画素を用いて、Ｇ信号の分散度σ_Ｇ１ ^２，σ_Ｇ２ ^２，σ_Ｇ３ ^２を算出する。そして、これらの中で最も大きい値σ_Ｇｈ ^２をＧ信号の分散度とする。Ｒ−Ｇ信号及びＢ−Ｇ信号についても、Ｇ信号の分散度算出と同様の処理を行う。

続いて、ステップＳ５０３では、Ｈ方向ノイズ特性算出部３０６が、Ｇ，Ｒ−Ｇ，Ｂ−Ｇ信号のそれぞれのノイズ量に基づいた重み係数を算出する。本実施形態では、Ｈ方向のＧ，Ｒ−Ｇ，Ｂ−Ｇ信号それぞれに対する重み係数α_ｈ，β_ｈ，γ_ｈを、下記式７乃至式９により算出する。

なお、ステップＳ５０２で算出した所定の色信号についての分散度が大きいということは、その色信号に含まれるノイズ量が多いことを示している。そこで、本実施形態では、下記式７乃至式９に示されるように、分散度が大きい色成分ほど重み係数が小さくなるようにする。これにより、算出した重み係数を用いて次にステップＳ５０４で評価値算出部３０８が評価値を算出する際に、評価値はノイズ量の影響を受け、ノイズ量の大きさを反映したものとなる。

なお、下記式１０乃至式１２は、Ｖ方向ノイズ特性算出部３０７が、後に行われるステップＳ５０８において、Ｈ方向と同様に、Ｇ，Ｒ−Ｇ，Ｂ−Ｇ信号それぞれに対する重み係数α_ｖ、β_ｖ、γ_ｖを算出するために用いる式である。

なお、重み係数α_ｈ，β_ｈ，γ_ｈの算出式は、上記式７乃至式９に限定されるものではなく、例えば、下記式１３乃至式１５を用いてもよい。ここで、下記式１３乃至式１５の「ｍａｘ」は、σ_Ｇｈ ^２，σ_Ｒ−Ｇｈ ^２，σ_Ｂ−Ｇｈ ^２の内の最大値であることを示す。ステップＳ５０８で算出する重み係数α_ｖ，β_ｖ，γ_ｖについても、下記式１３乃至式１５と同様の式を用いることができる。

続いて、ステップＳ５０４では、評価値算出部３０８が、Ｈ方向の評価値としてのＨ方向の分散度σ_ｈ ^２を、上記式７乃至式９から得られた重み係数α_ｈ，β_ｈ，γ_ｈを用いて、下記式１６により算出する。なお、下記式１７は、後に行われるステップＳ５０９において、評価値算出部３０８が上記式１０乃至式１２から得られた重み係数α_ｖ，β_ｖ，γ_ｖを用いてＶ方向の評価値としてのＶ方向の分散度σ_ｖ ^２を算出するために用いる式である。

次に、ステップＳ５０５では、制御部１１１が、Ｈ方向ＲＧＢ画像データ３０２ｃの全画素について、ステップＳ５０１〜Ｓ５０４の処理が終了したか否かを判定する。制御部１１１は、Ｈ方向ＲＧＢ画像データ３０２ｃの全画素についてＨ方向の処理が終了していない場合（Ｓ５０５でＮＯ）、処理をステップＳ５０１へ戻す。

ステップＳ５０６〜Ｓ５１０の処理は、Ｖ方向ＲＧＢ画像データ３０３ｃの全画素について、Ｖ方向分散度算出部３０５、Ｖ方向ノイズ特性算出部３０７及び評価値算出部３０８が、ステップＳ５０１〜Ｓ５０５と同様の処理をＶ方向について行うものである。よって、その詳細な内容の説明は、ステップＳ５０１〜Ｓ５０５の説明と重複するために、省略する。

ステップＳ５０１〜Ｓ５０５の処理とステップＳ５０６〜Ｓ５１０の処理は、どちらが先に行われてもよく、また、パラレルに行われてもよい。ステップＳ５０５の判断とステップＳ５１０の判断の両方が“ＹＥＳ”になると、つまり、ステップＳ５０１〜Ｓ５０５の処理とステップＳ５０６〜Ｓ５１０の処理が終了すると、制御部１１１は、処理をステップＳ５１１へ進める。

ステップＳ５１１では、評価値算出部３０８が、Ｈ方向での分散度による評価値Ｃ_ｖａｒｈとＶ方向での分散度による評価値Ｃ_ｖａｒｖをそれぞれ、下記式１８，式１９により算出する。そして、評価値算出部３０８は、こうして算出した画素ごとの評価値Ｃ_ｖａｒｈ，Ｃ_ｖａｒｖを用いて、評価値の２次元プレーンを生成する。

ところで、最終的な補間値は評価値によって決定されるため、評価値が隣接する画素間で大きく異なると、トーンジャンプ等の画質劣化が生じるおそれがある。そこで、ステップＳ５１２では、評価値算出部３０８が、ステップＳ５１１で生成した評価値プレーンに対してローパスフィルタ（ＬＰＦ）を掛ける。図７は、ステップＳ５１２で用いるローパスフィルタのフィルタ係数の例を示す図である。図７（ａ）に示すようなフィルタ長が３画素の［１，２，１］を用いてもよいし、図７（ｂ）に示すようなフィルタ長が５画素の［１，４，６，４，１］を用いても構わないが、何れにしても、縦横（Ｈ方向とＶ方向）の両方向でフィルタをかけることが望ましい。ステップＳ５１２の終了により、評価値の算出処理は終了となる。

図５のフローチャートの処理にしたがって評価値算出部３０８が評価値を算出すると、次に、画像生成部３０９が、算出された評価値に基づいてＨ方向又はＶ方向のうちの一方を選択する。そして、画像生成部３０９は、選択した方向に係る補間処理後のＲＧＢ画像データに基づいて全画素に対してＲＧＢの色成分の画像データが存在する最終的なＲＧＢ補間画像データを生成し、補間後ＲＧＢ画像データ３１０として出力する。この補間後ＲＧＢ画像データ３１０は、デモザイキングデータである。

図８は、画像生成部３０９による補間画像生成処理のフローチャートである。ステップＳ８０１において、画像生成部３０９は、各画素について、Ｈ方向の補間に対する評価値Ｃ_ｖａｒｈとＶ方向の補間に対する評価値Ｃ_ｖａｒｖを比較し、評価値Ｃ_ｖａｒｈ＜評価値Ｃ_ｖａｒｖであるか否かを判定する。なお、図８では、評価値Ｃ_ｖａｒｈをＣｈと略記し、評価値Ｃｖと略記している。画像生成部３０９は、評価値Ｃ_ｖａｒｈ＜評価値Ｃ_ｖａｒｖである場合（Ｓ８０１でＹＥＳ）、処理をステップＳ８０２へ進め、評価値Ｃ_ｖａｒｈ≧評価値Ｃ_ｖａｒｖである場合（Ｓ８０１でＮＯ）、処理をステップＳ８０３へ進める。

ステップＳ８０２において、画像生成部３０９は、Ｈ方向の補間に係るＲＧＢ補間データを選択し、選択したＲＧＢ補間データを補間後ＲＧＢ画像データ３１０として出力する。また、ステップＳ８０３において、画像生成部３０９は、Ｖ方向の補間に係るＲＧＢ補間データを選択し、選択したＲＧＢ補間データを補間後ＲＧＢ画像データ３１０として出力する。ステップＳ８０２，Ｓ８０３の後、画像生成部３０９は、全ての画素についてステップＳ８０１〜Ｓ８０３の処理を終えたか否かを判定する。画像生成部３０９は、全ての画素についての処理が終了していない場合（Ｓ８０４でＮＯ）、処理をステップＳ８０１へ戻し、全ての画素についての処理が終了した場合（Ｓ８０４でＹＥＳ）、本処理を終了させる。

以上の説明の通り、第１実施形態では、Ｈ方向とＶ方向の方向別に補間を行った結果から実際に使用する方向を選択するための評価値を算出するためのパラメータとして、ノイズ量を考慮した色差の分散度を用いている。そのため、ノイズ量が多い画像であっても、均質性を示す評価値のノイズによる誤算出を低減することができ、より適当な補間結果（補間の方向）を選択することができるようになる。これにより、適切に補間された、画質低下の抑制された補間後ＲＧＢ画像データ３１０を得ることができる。

＜第２実施形態＞
上記第１実施形態では、Ｈ方向（水平方向）とＶ方向（垂直方向）の方向別に補間を行った結果からノイズ特性を算出した。これに対し、第２実施形態では、ホワイトバランス部１０４でホワイトバランス処理を行った後、Ｈ方向とＶ方向での補間前に、ノイズ特性を算出する。

第２実施形態に係る画像処理装置は、第１実施形態に係る画像処理装置が備えるデモザイキング部１０５の構成を変更したデモザイキング部を有しているが、その他の構成ユニット（部）は、第１実施形態に係る画像処理装置が備えるもの（図１参照）と同等である。そのため、第１実施形態と共通する構成ユニット（部）についての説明は省略する。以下の説明では、第２実施形態に係る画像処理装置が備えるデモザイキング部を「デモザイキング部１０５Ａ」と称することとする。

図９は、第２実施形態に係る画像処理装置が備えるデモザイキング部１０５Ａの詳細な構成を示すブロック図である。デモザイキング部１０５Ａは、Ｈ方向補間部３０２、Ｖ方向補間部３０３、Ｈ方向分散度算出部３０４、Ｖ方向分散度算出部３０５、評価値算出部３０８、画像生成部３０９及びノイズ特性算出部９０１を備える。

第１実施形態では、Ｈ方向とＶ方向の方向別に補間した補間結果としてのＧ，Ｒ−Ｇ，Ｂ−Ｇ信号の分散度を用いてノイズ特性を算出した。この場合、欠陥画素を周辺画素情報で補った信号値を評価値の算出に用いているため、ノイズ特性算出に不適切な場合がある。そこで、ノイズ特性算出部９０１は、補間前のデータを用いてノイズ特性の算出を行う。そのために、ベイヤー画像データ３０１は、Ｈ方向補間部３０２とＶ方向補間部３０３に入力されると共に、ノイズ特性算出部９０１へ入力される。なお、Ｈ方向補間部３０２、Ｖ方向補間部３０３、Ｈ方向分散度算出部３０４及びＶ方向分散度算出部３０５における方向別の補間処理と分散度の算出は、第１実施形態と同様に行われるため、ここでの詳細な説明を省略する。

図１０は、第２実施形態での評価値算出処理のフローチャートである。なお、図１０には、Ｈ方向画像に係る評価値算出処理のみを示したが、図１０の処理と同様の処理が、Ｖ方向画像についても行われる。

図５のステップＳ５０１，Ｓ５０２と同様に、ステップＳ１００１，Ｓ１００２では、Ｈ方向分散度算出部３０４が、Ｇ，Ｒ−Ｇ，Ｂ−Ｇ色空間で、Ｇ，Ｒ−Ｇ，Ｂ−Ｇ信号のそれぞれの分散度σ_Ｇｈ ^２，σ_Ｒ−Ｇｈ ^２，σ_Ｂ−Ｇｈ ^２を算出する。

続くステップＳ１００３では、ノイズ特性算出部９０１が、ＧＲＢ信号のそれぞれのノイズ量に基づいた重み係数α，β，γの算出処理を行う。ここで、ノイズを表す尺度としては、第１実施形態と同様に分散度を用いるが、重み係数α，β，γの算出処理では、第１実施形態とは異なる方法で分散度を算出する。即ち、第１実施形態では、色差の分散パラメータとして注目画素を中心とした３×３領域の画素を用いて、Ｈ方向とＶ方向とで別々に分散度を算出した。これに対して第２の実施形態では、水平（Ｈ）、垂直（Ｖ）方向別でなく、２次元範囲で分散度を算出する。図１１（ａ）は、ステップＳ１００３での重み係数α，β，γの算出処理を説明するための５×５画素領域を示す図である。また、図１１（ｂ）は、ステップＳ１００３での重み係数α，β，γの算出処理を説明するための９×９画素領域を示す図である。

重み係数α，β，γの算出処理では、図１１（ａ）に示すように、注目画素（ｘ，ｙ）を中心とした５×５領域の画素を用いる。近傍８画素と注目画素に対してＲ，Ｇｒ（画素配列の一方向においてＲの隣に位置するＧ），Ｇｂ（画素配列の一方向においてＢの隣に位置するＧ）、Ｂ信号のそれぞれの分散度σ^２（ｘ，ｙ）を、下記式２０，式２１により算出する。但し、これに限定されるものではなく、注目画素（ｘ，ｙ）に対して、５×５領域の画素の近傍４画素（（ｘ−２，ｙ），（ｘ＋２，ｙ），（ｘ，ｙ−２），（ｘ，ｙ＋２））を用いてもよい。また、図１１（ｂ）に示すように、９×９領域の各画素（図１１（ｂ）において座標が記入されている画素）を用いてもよい。

次に、ノイズ特性算出部９０１は、重み係数α，β，γを下記式２２乃至式２５により算出する。ここで、σ_Ｒ ^２はＲ信号の分散度、σ_Ｇｒ ^２はＧｒ信号の分散度、σ_Ｇｂ ^２はＧｂ信号の分散度、σ_Ｂ ^２はＢ信号の分散度をそれぞれ表す。ここでも、分散度が大きくなっている色成分の信号、つまり、ノイズ量が多い色成分の信号についての重み係数が小さくなるようにしている。

なお、カラー撮像素子１０２がキズ欠陥画素を有している場合、キズ欠陥画素には実際の被写体像に対応する信号電荷とは異なる信号電荷が蓄積され、画素欠陥を示す画像信号として出力される。キズ欠陥画素が注目画素である場合、分散度の信頼性が低下してしまい、方向選択を誤ることが懸念されることから、この場合には、注目画素を除いた近傍の画素に対して分散度を算出するようにすることが好ましい。

ステップＳ１００４では、評価値算出部３０８が評価値を算出する。その際には、上記式２２乃至式２５によって得られた重み係数α，β，γを用いて、Ｈ方向での分散度σ_ｈ ^２を下記式２６により算出する。ステップＳ１００５以降の処理は、図５を参照して説明したステップＳ５０５〜Ｓ５１２の処理と同じであるため、説明を省略する。

以上の説明の通り、第２実施形態では、第１実施形態のように方向別に補間した補間結果である色差信号の分散度に基づいてノイズ特性を算出するのではなく、補間前の画像データを用いてノイズ特性の算出を行う。そのため、周辺画素情報で欠陥画素を補った信号値ではなく、正常な画素の信号値に対して分散度の算出を行うことができ、これによりノイズ特性の信頼性を向上させることができる。よって、適切に補間された、画質低下の抑制された補間後ＲＧＢ画像データ３１０を得ることができる。

＜第３実施形態＞
第２実施形態では、Ｈ方向とＶ方向の補間前の画素データに対して、分散度を用いてノイズ特性を算出した。これに対し、第３実施形態では、予め記憶されている所定のルックアップテーブルの値を参照してノイズ特性を算出する。

第３実施形態に係る画像処理装置の構成は、第２実施形態に係る画像処理装置の構成と同等であり、デモザイキング部１０５Ａが備えるノイズ特性算出部９０１による重み係数α，β，γの算出方法のみが異なる。よって、第３実施形態での評価値算出処理のフローチャートは、第２実施形態として説明した図１０のフローチャートと同じとなる。

ステップＳ１００１，１００２の処理は、第２実施形態での処理と同じであるため、説明を省略する。第３実施形態でのステップＳ１００３において、ノイズ特性算出部９０１は、ＧＲＢ信号のそれぞれのノイズ量に基づいた重み係数α，β，γの算出処理を行う。ここで、第２実施形態ではノイズを表す尺度として分散度を算出した。これに対して、第３の実施形態では、一面グレーの被写体を撮像して得られるホワイトバランス処理を行った後のデジタル画像データのＲＧＢのそれぞれの分散度に応じたルックアップテーブルからＧＲＢ信号の重み係数α、β、γを算出する。なお、このルックアップテーブルは、予めメモリ１１２に記憶されている。

図１２は、ルックアップテーブルのデータ例を示す図である。図１２に示すルックアップテーブルは、ＩＳＯ感度ごとに重み係数α，β，γの比率をノイズ量に応じて変えるものである。例えば、Ｇ信号のノイズ量に比べてＲ信号のノイズ量が大きい場合には、重み係数αは重み係数βよりも比率が大きくなる。ここではＩＳＯ感度に依存して重み係数α，β，γを算出しているが、ＩＳＯ感度に限られず、信号量やカラー撮像素子１０２が発する熱等に依存して算出するようにしてもよい。

第３実施形態でのステップＳ１００４以降の処理は、第２実施形態でのステップＳ１００４以降の処理と同じであるので、その説明を省略する。

以上の説明の通り、第３実施形態では、第２実施形態のように補間前のデータ後の信号値を用いて分散度に基づいてノイズ特性を算出することなく、予めメモリに記憶されている所定のルックアップテーブルを参照してノイズ特性を算出する。これにより、計算量の多い分散度の計算を行わなくてもよいため、画像処理の高速化を図ることができる。

＜第４実施形態＞
図１３は、第４実施形態に係る画像処理装置の概略構成を示すブロック図である。第４実施形態に係る画像処理装置は、ホワイトバランス部１０４を含む事前処理部１３０１を備える点で、第１実施形態に係る画像処理装置と異なるが、その他の構成ユニット（部）は、第１実施形態に係る画像処理装置が備えるもの（図１参照）と同等である。そのため、第１実施形態と共通する構成ユニット（部）についての説明は省略する。

事前処理部１３０１は、デモザイキング部１０５でデモザイキング処理を行う前に、ホワイトバランス処理を含む所定の事前処理を行う点で、第１乃至第３実施形態と相違する。所定の事前処理は、デモザイキング部１０５での分散度とノイズ特性を算出する際の信頼性を向上させるために行われる。

図１４は、事前処理部１３０１の構成を示すブロック図である。事前処理部１３０１は、ホワイトバランス部１０４と、キズ補正部１４０１と、倍率色収差補正部１４０２とを備える。事前処理部１３０１が備えるホワイトバランス部１０４は、第１実施形態に係る画像処理装置が備えるホワイトバランス部１０４と同じである。

Ａ／Ｄ変換部１０３から出力されるベイヤー画像データ３０１Ａは、キズ補正部１４０１へ入力される。キズ補正部１４０１は、カラー撮像素子１０２がキズ欠陥画素を有している場合の補正処理（キズ補正処理）を行い、この補正処理は次のような意義を有する。

即ち、カラー撮像素子１０２のキズ欠陥画素は、製造過程で発生し、或いは、内部アナログ回路の特性のばらつき等により発生する。カラー撮像素子１０２がキズ欠陥画素を有している場合、キズ欠陥画素には実際の被写体像に対応する信号電荷とは異なる信号電荷が蓄積され、画素欠陥を示す画像信号が出力されることとなる。第２実施形態で述べたように、キズ欠陥画素が注目画素となると、デモザイキング部１０５で算出する分散度やノイズ特性の信頼性が低下してしまい、方向選択を誤ることが懸念される。

そこで、事前処理部１３０１が有するキズ補正部１４０１は、デモザイキング処理に先んじて、キズ補正処理を行う。キズ補正処理の方法としては、例えば、キズ欠陥画素の位置をメモリに予め記録しておき、キズ補正処理時に、キズ画素については直近の同じ色の画素の画素値に置き換える等の各種の方法を用いることができる。

ところで、カラー撮像系では、結像光学系の色収差に起因して、画像上の明るい部分の周囲に、本来存在しない色が色にじみ（色収差）として現れる。この色収差は、横色収差（倍率色収差）と縦色収差（軸上色収差）に大別される。図１５（ａ）は、倍率色収差を説明する図であり、倍率色収差は、波長によって結像位置が像面に沿う方向にずれる現象である。図１５（ｂ）は、軸上色収差を説明する図であり、軸上色収差は、波長によって結像位置が光軸に沿う方向にずれる現象である。

一般的に、倍率色収差のにじみ幅は軸上色収差のにじみ幅よりも著しく小さく、絞り値や焦点距離、被写体距離等の撮影条件にも依るが、極端に細い倍率色収差は、補間方向によって発生の仕方が異なって現れる場合がある。その場合、デモザイキング部１０５の分散度による評価値算出処理において、倍率色収差が悪影響を与えてしまうことが懸念される。そこで、倍率色収差補正部１４０２は、デモザイキング処理に先んじて倍率色収差の補正処理を行う。

倍率色収差の補正処理の方法としては、例えば、ＲＧＢのそれぞれの色プレーンに対して異なる歪曲を加える幾何変換を行う方法等が考えられる。その際の歪曲の度合いは、例えば、レンズ種や絞り値、焦点距離、被写体距離等に応じた倍率色収差補正用のデータを予めメモリ１１２に記録しておき、事前処理時に読み出して補正することができる。また、画像からＧプレーンに対するＲＢのズレを解析して補正する方法等の各種の方法を用いることができる。

第４実施形態では、デモザイキング処理に先んじて、事前処理として、キズ補正処理、ホワイトバランス処理及び倍率色収差の補正処理を行っておく。これにより、デモザイキング部１０５で算出する評価値の信頼性を高め、補間精度を向上させることができる。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

例えば、第１実施形態において、画像生成部３０９は、Ｈ方向補間部３０２とＶ方向補間部３０３にて生成された補間データのいずれかを選択して出力するとした。但し、このような処理に限定されず、Ｈ方向補間部３０２とＶ方向補間部３０３にて生成された補間データを、下記式２７を用いて、重み付けして加算し、出力するようにしてもよい。ここで、“Ｇ_ｈ”はＨ方向補間部３０２による補間データであり、“Ｇ_ｖ”はＶ方向補間部３０３による補間データであり、“Ｇ”は、画像生成部３０９から出力される補間データである。下記式２７では、Ｖ方向（垂直方向）の分散度に対してＨ方向（水平方向）の分散度が小さくなるほど、水平方向の補間データの重み付けが大きくなるようにしている。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１０２ カラー撮像素子
１０３ Ａ／Ｄ変換部
１０５ デモザイキング部
１１１ 制御部
３０２ Ｈ方向補間部
３０３ Ｖ方向補間部
３０４ Ｈ方向分散度算出部
３０５ Ｖ方向分散度算出部
３０６ Ｈ方向ノイズ特性算出部
３０７ Ｖ方向ノイズ特性算出部
３０８ 評価値算出部
３０９ 画像生成部
９０１ ノイズ特性算出部
１３０１ 事前処理部
１４０１ キズ補正部
１４０２ 倍率色収差補正部

Claims (14)

1. 被写体の光学像を複数の画素により光電変換して得られるカラーモザイク画像信号に対して前記複数の画素の各画素において欠落している色の信号を前記各画素の周辺の画素の画像信号を用いて補間処理する補間手段を備える画像処理装置であって、
   前記補間手段は、
   複数の規定方向の各方向で前記補間処理を行ってカラー画像信号を生成する複数の方向別補間手段と、
   前記複数の方向別補間手段からそれぞれ出力されるカラー画像信号から得られる色信号の分散度を算出する分散度算出手段と、
   前記分散度算出手段が算出した前記複数の規定方向の各方向の分散度を用いて前記色信号のノイズ量に基づく重み係数を前記複数の画素の画素ごとに算出するノイズ特性算出手段と、
   前記ノイズ特性算出手段が算出した重み係数に基づき、前記複数の方向別補間手段からそれぞれ出力されるカラー画像信号の評価値を、前記複数の規定方向の各方向について前記画素ごとに算出する評価手段と、
   前記評価手段が算出した評価値に基づき、前記複数の方向別補間手段により補間処理されたカラー画像信号を前記画素ごとに選択あるいは加重加算してカラー補間画像データを生成する生成手段とを有することを特徴とする画像処理装置。
2. 前記ノイズ特性算出手段は、前記分散度算出手段が算出した分散度が大きいほど前記重み係数を小さくすることを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記複数の規定方向のうち前記評価手段が算出した前記評価値の小さい規定方向で前記補間処理がなされた信号を選択することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記ノイズ特性算出手段が算出する前記重み係数は、前記カラーモザイク画像信号に対してホワイトバランス処理を行うことにより得られるベイヤー画像データにおける各色成分のノイズの大きさに基づくことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記ノイズ特性算出手段が算出する前記重み係数は、前記カラーモザイク画像信号または前記補間処理が施された各規定方向のカラー画像信号のノイズの大きさに基づくことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記重み係数をルックアップテーブルとして記憶する記憶手段を備え、
   前記ノイズ特性算出手段は、前記ルックアップテーブルを用いて前記重み係数を算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
7. 前記分散度算出手段は、Ｇ，Ｒ−Ｇ，Ｂ−Ｇ色空間における色差を用いて前記分散度を算出することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記分散度算出手段は、Ｌ^＊ａ^＊ｂ^＊均等色空間における色差信号を用いて前記分散度を算出することを請求項１乃至６のいずれか１項に記載の画像処理装置。
9. 前記生成手段は、前記評価手段により前記複数の規定方向の各方向で前記画素ごと算出した評価値で構成された２次元プレーンを生成し、前記２次元プレーンにローパスフィルタをかけることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記カラーモザイク画像信号に対して前記補間処理を行う前に、前記カラーモザイク画像信号に対して所定の事前処理を行う事前処理手段を備え、
    前記補間手段は、前記事前処理手段により前記所定の事前処理が行われたカラーモザイク画像信号に対して前記補間処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
11. 前記事前処理手段は、前記事前処理として、前記複数の画素に含まれるキズ画素に係るカラー画像信号の補正処理、ホワイトバランス処理および倍率色収差の補正処理の少なくともいずれかを行うことを特徴とする請求項１０に記載の画像処理装置。
12. 被写体の光学像を複数の画素により光電変換して得られるカラーモザイク画像信号に対して前記複数の画素の各画素において欠落している色の信号を前記各画素の周辺の画素の画像信号を用いて補間処理する補間ステップを有する画像処理方法であって、
    前記補間ステップは、
    複数の規定方向の各方向で前記補間処理を行ってカラー画像信号を生成する方向別補間ステップと、
    前記方向別補間ステップで生成されたカラー画像信号から得られる色信号の分散度を算出する分散度算出ステップと、
    前記分散度算出ステップで算出された前記複数の規定方向の各方向の分散度を用いて前記色信号のノイズ量に基づく重み係数を前記複数の画素の画素ごとに算出するノイズ特性算出ステップと、
    前記ノイズ特性算出ステップで算出した重み係数に基づき、前記方向別補間ステップで得られるカラー画像信号の評価値を、前記複数の規定方向の各方向について前記画素ごとに算出する評価ステップと、
    前記評価ステップで算出された評価値に基づき、前記方向別補間ステップにおいて補間処理されたカラー画像信号を前記画素ごとに選択あるいは加重加算してカラー補間画像データを生成する生成ステップと有することを特徴とする画像処理方法。
13. 前記補間ステップを行う前に、前記カラーモザイク画像信号に対する所定の事前処理として、前記複数の画素に含まれるキズ画素に係るカラー画像信号の補正処理、ホワイトバランス処理および倍率色収差の補正処理の少なくともいずれかを行う事前処理ステップを更に有し、
    前記補間ステップは、前記事前処理ステップにより前記所定の事前処理が行われたカラーモザイク画像信号に対して前記補間処理を行うことを特徴とする請求項１２に記載の画像処理方法。
14. 請求項１２又は１３に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。