JP5574615B2 - 画像処理装置、その制御方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置に関し、特に、カラー画像信号において各画素で欠落しているカラー信号を補間するデモザイキングする技術に関する。

従来、カラー撮像センサにおいては、図１９に示されるようなベイヤー配列のカラーフィルタが用いられている。この場合、カラーフィルタとしては、一般に、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの３原色、又はＣｙａｎ、Ｍａｇｅｎｔａ、Ｙｅｌｌｏｗの３つの補色のフィルタが用いられている。

しかし、ベイヤー配列では、各画素において１色のカラー信号しか得られないので、各画素において欠落している他の２色のカラー信号をデモザイキング（補間）する処理が行われる。このデモザイキング法としては、従来、多数の方法が知られており、基本的なデモザイキング法として、バイリニアやバイキュービック補間がある。

バイリニアやバイキュービック補間では、低周波成分を多く含む画像などにおいては良好な補間結果が得られるが、高周波成分を含む画像には偽色（色モアレ）と呼ばれる実際の被写体には存在しない色を発生させてしまう。この偽色は、被写体像が本来持っているエッジ方向とは異なる方向の画素を用いてデモザイキングすることにより発生するものである。

そこで、被写体像が本来有しているエッジ方向に沿った画素を用いてデモザイキングする方法が提案されている。このエッジ方向に沿った画素を用いるデモザイキング法は、２つの方法に大別でき、特許文献１ではエッジ方向を周囲の画素を使用して判別し、エッジを跨ぐような補間をせずエッジに沿うように補間する方法が提案されている。

また、特許文献１では、エッジ方向判別の精度を向上させるために補間対象画素と周囲の画素を用いて彩度を算出し、彩度の小さい方向を適応的に選択する方法を提案している。一方、特許文献２では、まず方向毎に補間を行い数種類の補間結果を生成し、その後どの方向で補間した結果が適切か判定し選択する補間方法が提案されている。

補間方向の適切性の判断においては、特許文献２では周辺類似度という補間対象画素を含めた周辺画素からその近辺の均質性を示す評価値を導入し、均質性の高い方向がエッジの方向として判定して選択する補間方法が提案されている。

特開２００２−３００５９０号公報 特開２００８−０３５４７０号公報

しかしながら、特許文献１の方法では高周波成分を持つグレースケールの被写体における偽色は低減できるが、高周波成分をもつ下地がカラーの被写体では誤判定による補間ミスを起こすことが懸念される。

一方、特許文献２の方法では、均質性の高い低周波成分の偽色を誤って選択してしまう場合がある。

本発明は、このような技術的な背景の下になされたもので、その目的は、カラー画像信号に対するデモザイキング処理を高精度に行えるようにすることにある。

上記目的を達成するため、本発明に係る画像処理装置は、被写体像を反映した光学像を光電変換して生成された各画素に係るカラーモザイク画像信号について、当該各画素において欠落しているカラーの信号を当該各画素の周辺の規定方向の画素に係る画像信号を用いて補間する補間処理を行う補間手段を有し、前記補間手段は、複数の規定方向でそれぞれ前記補間処理を行う方向別補間手段と、前記方向別補間手段により前記補間処理が施された各規定方向のカラー画像信号について、均質性に基づく第１の評価値と、信号強度に基づく第２の評価値を求め、前記第１の評価値と前記第２の評価値に重み係数をかけて第３の評価値を求める評価手段と、前記評価手段による前記第３の評価値に基づいて、補間処理結果として出力するカラー画像信号を生成する生成手段とを有することを特徴とする。

本発明では、カラーモザイク画像信号に対するデモザイキング処理において、方向別に補間した補間結果からより良い補間結果の方向を選択する評価基準情報として、均質性を用いている。

このため、本発明によれば、被写体のエッジを跨いだような補間結果（補間の方向）は選択されず、相関性の高い補間の方向、すなわち被写体のエッジに沿った補間結果（補間の方向）が選択されるようになる。

また、均質性に加えて信号強度を考慮して評価することで、均質性はあるが好ましくない方向、例えば低周波成分を含んだ偽色が存在する方向が選択されることを回避することができる。

本発明の第１、第２の実施の形態に係る撮像装置の概略構成を示すブロック図である。 本発明の第１の実施の形態に係る撮像装置のデモザイオキング部の構成を示すブロック図である。 図２のデモザイキング部のＶ方向補間部、及びＨ方向補間部（方向別補間部）の構成を示すブロック図である。 方向別補間処理を説明するためのベイヤー配列の画素配置構成を示す図である。 本発明の第１の実施の形態におけるデモザイキング処理のための評価値算出処理を示すフローチャートである。 本発明の第１の実施の形態におけるデモザイキング処理のための評価値算出処理の説明するための３×３画素領域を示す図である。 上記のデモザイキング処理のための評価値を算出する際に用いるＬＰＦのフィルタ係数を示す図である。 上記のデモザイキング処理における方向選択・画像生成処理を示すフローチャートである。 本発明の第２の実施の形態におけるデモザイキング部の構成を示すブロック図である。 本発明の第２の実施の形態におけるデモザイキング処理のための評価値算出処理を示すフローチャートである。 本発明の第２の実施の形態におけるデモザイキング処理のための評価値算出処理の説明するための３×３画素領域を示す図である。 本発明の第２の実施の形態におけるデモザイキング処理のための評価値としての分散度の算出処理を説明するための概念図である。 本発明の第３の実施の形態に係る撮像装置の概略構成を示すブロック図である。 本発明の第３の実施の形態におけるデモザイキング処理の事前処理部の構成を示すブロック図である。 倍率色収差の発生原理を説明するための概念図である。 軸上色収差の発生原理を説明するための概念図である。 本発明の第４の実施の形態に係る撮像装置の概略構成を示すブロック図である。 本発明の第４の実施の形態に係る撮像装置のデモザイキング処理を説明するための図である。 ベイヤー配列の画素配置構成を示す図である。

以下、本発明を実施するための形態を、図面に基づいて説明する。

[第１の実施の形態]
図１は、本発明の第１の実施の形態に係る画像処理装置の概略構成を示すブロック図であり、本画像処理装置は、カラー撮像素子１０２で撮像されたベイヤー画像データに対し、偽色を効果的に低減する機能を有している。

すなわち、被写体を反映した光学像（被写体像）は、撮影レンズ１０１を介してカラー撮像素子１０２上に結像されて光電変換される。

カラー撮像素子１０２は、一般的な３原色カラーフィルタを備える単板カラー撮像素子として構成されている。この３原色カラーフィルタは、それぞれ６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つＲ（Ｒｅｄ），Ｇ（Ｇｒｅｅｎ），Ｂ（Ｂｌｕｅ）の３原色カラーフィルタからなり、これら３原色の各バンドに対応するカラープレーンを生成する。

単板カラー撮像素子では、これらカラーフィルタを図１９のように画素毎に空間的に配列し、各画素では各々単一のカラープレーンにおける光強度を得ることしかできない。このため、カラー撮像素子１０２からは、カラーモザイク画像信号、すなわち、各画素において３原色の内の２色が欠落した画像信号が出力される。Ａ／Ｄ変換部１０３は、カラー撮像素子１０２からアナログ電圧として出力されるカラーモザイク画像信号をカラーのデジタル画像データに変換する。

ホワイトバランス部１０４は、ホワイトバランス処理を行う。具体的には、白くあるべき領域のＲ，Ｇ，Ｂが等色になるようにＲ，Ｇ，Ｂの各色にゲインをかける。このホワイトバランス処理をデモザイキング処理を行う前に行っておくことで、デモザイキング部１０５で彩度を算出する際に、色かぶり等により偽色の彩度よりも高い彩度になることを回避し、誤判定を防止することが可能となる。

デモザイキング部１０５は、各画素において欠落している３原色の内の２色のカラーモザイク画像データを補間することによって、全ての画素においてＲ，Ｇ，Ｂのカラー画像データが揃ったカラー画像を生成する。

各画素のカラー画像データは、マトリクス変換部１０６でマトリクス変換処理が施され、ガンマ変換部１０７でガンマ補正処理が施されて、基本的なカラー画像データが生成される。

そして、この基本的なカラー画像データに対して、色調整部１０８で画像の見栄えを改善するための処理が各種の処理が施される。例えば、色調整部１０８は、ノイズ低減、彩度強調、色相補正、エッジ強調といった各種の色調整処理を行う。圧縮部１０９は、色調整されたカラー画像データをＪＰＥＧ等の方法で圧縮し、記録時のデータサイズを小さくする。

これらカラー撮像素子１０２から圧縮部１０９までの各デバイスの処理動作は、制御部１１１により、バス１１３を介して制御される。この制御を行う際、制御部１１１は、メモリ１１２を適宜利用する。圧縮部１０９により圧縮されたデジタル画像データは、制御部１１１の制御の下に記録部１１０によりフラッシュメモリ等の記録媒体に記録される。

次に、デモザイキング部１０５でのデモザイキング処理を図２に基づいて説明する。デモザイキング部１０５では、まず注目画素に対してその周辺の画素を用いて、それぞれの規定方向で補間を行い、その後、方向選択を行うことで、各画素について補間処理結果としてＲ,Ｇ,Ｂの３原色のカラー画像信号を生成する。

具体的には、入力された各画素のベイヤー画像データ２０１に対し、Ｖ方向補間部２０２、Ｈ方向補間部２０３により、それぞれ、Ｖ（垂直）方向、Ｈ（水平）方向で欠落色の画素データを補間することで、各画素のＶ方向及びＨ方向のＲ,Ｇ,Ｂ画像データが生成される。

次に、各画素の垂直方向、水平方向の補間処理後の各画素のＲ,Ｇ,Ｂ画像データについて、それぞれ、均質性算出部２０４、均質性算出部２０６により画素毎に均質性を算出し、強度算出部２０５、強度算出部２０７により画素毎に信号強度を算出する。

そして、評価値算出部２０８により、垂直方向、水平方向別に、画素毎に均質性と信号強度の双方を考慮した最終的な評価値を算出する。方向選択・画像形成部２０９は、垂直方向の最終的な評価値と、水平方向の最終的な評価値を比較し、評価値の高い垂直方向又は水平方向を選択する。そして、方向選択・画像形成部２０９は、選択した方向に係る補間処理後のＲ、Ｇ、Ｂ画像データに基づいて最終的な補間画像データを生成し、補間後ＲＧＢ画像データ２１０、すなわち、デモザイキング・データとして出力する。

次に、Ｖ方向補間部２０２、Ｈ方向補間部２０３における方向別の補間処理を、図３に基づいて説明する。図３に示したように、Ｖ方向補間部２０２は、Ｖ方向Ｇ補間部２０２ａ、Ｖ方向ＲＢ補間部２０２ｂを有し、Ｈ方向補間部２０３は、Ｈ方向Ｇ補間部２０３ａ、Ｈ方向ＲＢ補間部２０３ｂを有している。

Ｖ方向補間部２０２では、Ｖ方向Ｇ補間部２０２ａにより、まず、周波数帯域の高いＧ信号（データ）を補間し、次に、Ｖ方向ＲＢ補間部２０２ｂにより、Ｒ，Ｂデータを補間する。同様に、Ｈ方向補間部２０３では、Ｈ方向Ｇ補間部２０３ａにより、まず、周波数帯域の高いＧデータを補間し、次に、Ｈ方向ＲＢ補間部２０３ｂにより、Ｒ，Ｂデータを補間する。

次に、具体的な補間の方法を図４に基づいて説明する。Ｇ色を補間する場合、注目画素がＧ色のフィルタに係る画素であれば、当該画素のＧデータをそのまま出力する（数式１）。Ｒ色のフィルタに係る画素、及びＢ色のフィルタに係る画素について、Ｇ色を補間する場合は、Ｖ方向においては数式２を、Ｈ方向においては数式３を用いて補間データを算出する。なお、数式１,２，３におけるＧ３３、Ｇ４３，Ｇ４４は、図４に便宜的に示した画素符号に対応している。

Ｒ色を補間する場合は、注目画素がＲ色フィルタに係る画素であれば、当該画素のＲデータをそのまま出力する（数式４）。Ｇ色のフィルタに係る画素について、Ｒ色を補間する場合は、数式５を用いて補間データを算出する。Ｂ色のフィルタに画素について、Ｒ色を補間する場合は、数式６を用いて補間データを算出する。Ｒ色を補間する場合は、Ｖ方向とＨ方向とで同じ数式を用いる。

Ｂ色の補間は、Ｒ色を補間する場合と同様の手法を用いる。具体的には、数式４〜数式６におけるＲをＢに置き換えた数式を用いる。

次に、評価値算出処理を図５のフローチャートに基づいて説明する。

図２の評価値算出部２０８は、各画素について欠落した色を補間した図３のＶ方向ＲＧＢ画像データ２０２ｃを、均質性および信号強度を算出し易いように均等色空間の色信号（値）に変換する（Ｓ５０１）。本実施の形態では、均等色空間として、３次元直交座標を用いるＬ＊ａ＊ｂ＊色空間を使用する。

Ｌ＊ａ＊ｂ＊値に変換する場合、まず、下記の数式７〜数式９を用いて、ＲＧＢ画像データ２０２ｃを物体の三刺激値であるＸＹＺ表色系の値に変換する。そのためには、ＲＧＢ色空間を何らか種類のＲＧＢ色空間に設定する必要があるが、本実施の形態では仮にｓＲＧＢ色空間に設定し、白色点はＤ６５とする。

次に、下記の数式１０により、物体の三刺激値（ＸＹＺ表色系の値）をＬ＊ａ＊ｂ＊値に変換する。

ここで、Ｘｎ，Ｙｎ，Ｚｎは完全拡散反射面の三刺激値であり、Ｙｎ＝１００と規格化する。また、ＣＩＥ ＬＡＢ色空間のＬ＊値（輝度値）、ａ＊値（緑色〜赤色の色度値）、ｂ＊値（青色〜黄色の色度値）には、適用できるＸ，Ｙ，Ｚの値に対して制限がある。しかし、現実には制限外の色が存在するため、その場合は、Ｌ＊，ａ＊，ｂ＊値を次の修正式（数１１）により求める。

なお、数式１１における関数ｆは、下記の数式１２で示される。

関数ｆ（Ｙ／Ｙｎ）、ｆ（Ｚ／Ｚｎ）も、数式１２の関数ｆ（Ｘ／Ｘｎ）と同様の形態の数式となる。

次に、評価値算出部２０８は、均質性を算出する（Ｓ５０２）。均質性を表す尺度として、本実施の形態では分散度を用いる。この分散度は、図６のように注目画素（ｖ２２）を中心とした３×３の画素を用いて算出する。本実施の形態では、３×３の画素を用いるが、例えば５×５、７×７の画素等を用いても良い。また、分散パラメータには、下記の数式１３によって算出される色差の分散パラメータを用いる。

本実施の形態では、色差の分散パラメータとしてΔＥａｂを用いるが、ΔＥ９４、ΔＥ２０００等を用いても構わない。ΔＥ９４、ΔＥ２０００の具体的な算出方法に関しては公知であるため、ここではその説明を省略する。

数式１３によって算出される色差の分散パラメータを用いた場合、分散度σ_ｖ２２ ^２は、
下記の数式１４で求められる。

なお、数式１４におけるｉは、図６に示した画素ｖ１１〜ｖ３３の画素値であり、ｎ＝９（３×３で９画素）となる。

次に、評価値算出部２０８は、信号強度を算出する（Ｓ５０３）。信号強度を表す尺度としては、本実施の形態では彩度を用いる。彩度も分散度の場合と同様に、注目画素を中心とした３×３画素を用いて算出する。この彩度の算出式は、下記の数式１５で示される。

従って、画素ｖ２２における彩度による評価値は、注目画素と隣接する８画素の計９画素の平均とし、

で表わされる。

評価値算出部２０８は、Ｖ画像（図３のＶ方向のＲＧＢ画像データ２０２ｃ）の全画素について、上記のＳ５０１〜Ｓ５０３の処理を全画素について行う。また、評価値算出部２０８は、Ｈ画像（図３のＨ方向のＲＧＢ画像データ２０３ｃ）の全画素について、上記のＳ５０１〜Ｓ５０３の処理と同様の処理を全画素について行う（Ｓ５０４〜Ｓ５０６）。

評価値算出部２０８は、以上の処理が終了すると、最終的な評価値を算出する（Ｓ５０７）。評価値算出部２０８は、最終的な評価値の算出処理においては、まず、分散度による評価値を下記の数式１７により算出する。

ここで、Ｃｖａｒ_ｈ、Ｃｖａｒ_ｖは、分散度による評価値を表す。次に、評価値算出部２０８は、彩度による評価値を下記の数式１８により算出する。

ここで、Ｃｃｈｒｏｍａ_ｈ、Ｃｃｈｒｏｍａ_ｖは、彩度による評価値を表す。そして、評価値算出部２０８は、最終評価値Ｃ_ｈ、Ｃ_ｖを下記の数式１９により算出する。

ここで、αは重み係数であり、分散度と彩度をどのようなバランスで考慮するかを決定するものである。本実施の形態では、α＝０．５とする。

以上の処理により、各画素毎に評価値Ｃ_ｈもしくはＣ_ｖが算出され、結果として評価値の２次元プレーンが生成される（Ｓ５０７）。

ところで、最終的な補間値は評価値によって決定されるため、評価値が隣接する画素間で大きく異なると、トーンジャンプなど画質劣化の要因となる場合がある。

そこで、評価値算出部２０８は、生成した評価値プレーンに対してローパスフィルタ（以下、ＬＰＦと称す）をかける（Ｓ５０８）。このＬＰＦのフィルタ係数に関しては、図７に示すようなフィルタ長が３画素の［１，２，１］を用いても、或いはフィルタ長が５画素の［１，４，６，４，１］を用いても構わないが、何れにしても、縦横の両方向でフィルタをかけることが望ましい。

評価値算出部２０８により評価値が算出されると、方向選択・画像形成部２０９は、評価値を基に垂直、水平の何れかの方向を選択し、選択した方向に係る補間データに対して上記のフィルタ処理を施す。これにより、方向選択・画像形成部２０９は、全画素においてそれぞれＲ,Ｇ，Ｂの色成分の画像データが存在する最終的なＲＧＢ補間画像データを生成して、補間後ＲＧＢ画像データ２１０（デモザイキング・データ）として出力する。

次に、具体的な方向選択・補間画像生成の方法について、図８を用いて説明する。

方向選択・画像形成部２０９は、各画素について、Ｈ方向の補間に対する評価値Ｃ_ｈとＶ方向の補間に対する評価値Ｃ_ｖを比較し、評価値Ｃ_ｈ＜評価値Ｃ_ｖであるか否かを判別する（Ｓ８０１）。その結果、評価値Ｃ_ｈ＜評価値Ｃ_ｖであれば、方向選択・画像形成部２０９は、Ｈ方向の補間に係るＲ，Ｇ、Ｂ補間データを選択し、そのＲ，Ｇ、Ｂ補間データに対して上記のフィルタ処理を施して、補間後ＲＧＢ画像データ２１０として出力する（Ｓ８０２）。

一方、評価値Ｃ_ｈ≧評価値Ｃ_ｖであれば、方向選択・画像形成部２０９は、Ｖ方向の補間に係るＲ，Ｇ、Ｂ補間データを選択し、そのＲ，Ｇ、Ｂ補間データに対して上記のフィルタ処理を施して、補間後ＲＧＢ画像データ２１０として出力する（Ｓ８０３）。

このように、第１の実施の形態では、方向別に補間した補間結果から実際に使用する方向（補間結果）を選択するための評価値を算出するためのパラメータとしての均質性として、色差の分散度を用いている。このため、被写体のエッジを跨いだような補間結果は選択されなくなり、相関性の高い方向、すなわち被写体のエッジに沿った補間結果が選択されるようになる。

また、評価値を算出するためのパラメータとして、均質性に加えて強度としての彩度を用いているので、たとえ均質性が良好であっても好ましくない方向、例えば、低周波成分を含んだ偽色が存在する方向が選択される可能性を低減することができる。

[第２の実施の形態]
第１の実施の形態では、垂直（Ｖ）、水平（Ｈ）の方向別に補間した補間結果から実際に使用する方向（補間結果）を適応的に選択していた。これに対し、第２の実施の形態では、一方向に方向を規定せずに複数の方向で補間を行い、得られた各評価値の割合（方向の割合）に応じて各方向に係る各補間画像を合成する構成としている。

以下、本発明の第２の実施の形態にいついて、詳細に説明する。

第２の実施の形態における撮像装置の信号ユニットの構成は、第１の実施形態において図１を参照して説明したものとほぼ同様であるため、ユニット毎の説明は省略するが、第２の実施形態では、デモザイキング部１０５の構成が第１の実施形態と異なっている。

図９は、第２の実施の形態に係るデモザイキング部１０５の詳細な構成を示すブロック図である。

第１の実施形態では、方向別の補間としてＨ方向、Ｖ方向の２パターンを用意していた。しかし、被写体の形状によっては、これら２方向以外の方向で補間を行う方が好ましい場合がある。

そこで、基本補間部２１１では、複数の方向で補間を行う。この場合の補間の方法としては幾つか考えられるが、本実施の形態では、以下の方法を用いる。

基本補間部２１１においても、Ｖ方向補間部２０２、Ｈ方向補間部２０３と同様に、Ｇの補間を行った後に、Ｒ／Ｂの補間を行う。

図４を用いて説明すると、Ｇの補間は、Ｇ色フィルタに係る画素値（Ｇ値）は数式１に示したように、そのままの値を出力し、Ｒ色フィルタ、及びＧ色フィルタに係る画素位置におけるＧ値は、以下の式で補間する。

基本補間部２１１におけるＲ,Ｂの補間は、数式４〜数式６を用いて算出する。

さらに、Ｈ方向、Ｖ方向での補間に加えて、複数方向、すなわち斜め方向での補間も行う。これにより、斜め方向のエッジに対して自然な補間結果を得ることが可能となる。斜め方向としては、傾きが正のＤＰ方向（Ｄｉａｇｏｎａｌ Ｐｏｓｉｔｉｖｅ）と傾きが負のＤＮ方向（Ｄｉａｇｏｎａｌ Ｎｅｇａｔｉｖｅ）を用意し、それぞれ、ＤＰ方向補間部２１３、ＤＮ方向補間部２１２により、ＤＰ方向、ＤＮ方向での補間を行う。

ＤＰ方向補間部２１３、ＤＮ方向補間部２１２におけるＧ補間は、基本補間部２１１におけるＧ補間結果を流用する。Ｒ補間の方法に関しては、Ｒ画素位置におけるＲ補間値は数式４を、Ｇ画素位置におけるＲ補間値は数式５を用いて算出する。

Ｂ画素位置におけるＲ補間値は、以下の式を用いて算出する。

Ｂ画素位置におけるＢ補間に関しては、Ｒ補間と同様であり、数式４、５、２１のＲをＢに置き換えたものとなる。

ここで、斜め方向の角度について、本実施の形態では水平方向は０°、ＤＰ方向は４５°、ＤＮ方向は１３５°であることを前提として説明したが、これに限るものではなく、例えば、斜め方向をさらに細かく分割して２２．５°の方向補間を追加するなど、任意の斜め方向の角度を用いることができる。

以上の処理を経て、Ｖ方向、Ｈ方向、方向無（基本）、ＤＰ方向、ＤＮ方向の各方向で補間された補間ＲＧＢ画像が得られる。評価値算出部２０８は、これら各補間ＲＧＢ画像に関して評価値を算出する。

図１０は、第２の実施の形態における評価値算出処理を示すフローチャートである。なお、図１０においては、Ｖ画像に係る評価値算出処理だけを示したが、図１０と同様の評価値算出処理がＨ方向、方向無、ＤＰ方向、ＤＮ方向に係る画像についても行われる。

ここで、第１の実施形態では、均質性として色差の分散度を算出するために、Ｌ＊ａ＊ｂ＊均等色空間を用いた。しかしながら、Ｌ＊ａ＊ｂ＊値への変換処理は計算量が多い。このため、第２の実施の形態では、Ｌ＊の代わりにＧ信号をそのまま用い、ａ＊、ｂ＊の代わりにＲ−Ｇを用い、Ｂ−Ｇを色差信号としたＧ，Ｒ−Ｇ，Ｂ−Ｇ色空間で均質性、及び強度を算出している（Ｓ１００１、Ｓ１００２）。

また、Ｓ１００１における均質性算出処理では、均質性を表す尺度としては第１の実施の形態と同様に分散度を用いるが、Ｓ１００２における均質性算出処理では、第１の実施の形態と異なる方法で分散度を算出している。この場合、色差の分散パラメータとしては、第１の実施形態では色差の分散パラメータとしてΔＥａｂを用いていた。これに対し、第２の実施の形態では、Ｇ，Ｒ−Ｇ，Ｂ−Ｇを色差の分散パラメータとして用い、これらの分散パラメータに対してそれぞれ分散度を算出し、それらの中で最も大きい分散度を選択するようにしている。

また、第１の実施の形態では、注目画素とその注目画素に隣接する８画素の計９画素を用いて分散度を算出していた。これに対し、第２の実施の形態では、図１１（ａ）に示すように、Ｈ方向であれば、注目画素とその注目画素にＨ方向で隣接する２画素の計３画素を用いて、ｈ１２、ｈ２２、ｈ３２をそれぞれ注目画素として分散度σ_ｈ１ ^２，σ_ｈ２ ^２，σ_ｈ３ ^２を算出している。同様に、第２の実施の形態では、図１１（ｂ）に示すように、Ｖ方向であれば、注目画素とその注目画素にＶ方向で隣接する２画素の計３画素を用いて、ｖ２１、ｖ２２、ｖ２３をそれぞれ注目画素として分散度σ_ｖ１ ^２，σ_ｖ２ ^２，σ_ｖ３ ^２を算出している。

そして、評価値算出部２０８は、それら分散度σ_ｈ１ ^２，σ_ｈ２ ^２，σ_ｈ３ ^２又はσ_ｖ１ ^２，σ_ｖ２ ^２，σ_ｖ３ ^２の中で最大の分散度を評価値としての分散値とする（図１２参照）。

ＤＰ方向であれば、注目画素とその注目画素の右上、左下に隣接する２画素の計３画素を用いて分散値を求め、ＤＮ方向であれば、注目画素とその注目画素の左上、右下に隣接する２画素の計３画素を用いて分散値を求める。方向無であれば、注目画素とその注目画素に隣接する８画素の計９画素を用いて分散値を求める。

次に、評価値算出部２０８は、強度を算出する（Ｓ１００３）。強度を表す尺度としては第１の実施の形態と同様に彩度を用いるが、第２の実施の形態では、第１の実施の形態と異なる方法で強度を算出する。

すなわち、評価値算出部２０８は、第１の実施の形態では、注目画素と隣接する８画素の計９画素の彩度の平均を強度の評価値としたが、第２の実施形態では、Ｈ方向およびＶ方向については、上記のそれぞれの注目画素の彩度の中で最大値を強度の評価値とする。

評価値算出部２０８は、Ｓ１００１〜Ｓ１００３の処理をＶ画像、Ｈ方向、方向無、ＤＮ方向、及びＤＰ方向に係る画像の全画素について行う。

Ｓ１００１〜Ｓ１００３の処理が終了すると、評価値算出部２０８は、最終的な評価値を算出する（Ｓ１００４）。この場合、評価値算出部２０８は、まず、分散度による評価値を下記の数式２２により算出する。

ここで、Ｃｖａｒ_ｈ、Ｃｖａｒ_ｖ、Ｃｖａｒ_ｂａｓｅ、Ｃｖａｒ_ｄｎＣｖａｒ_ｄｐは分散度による評価値を表す。次に、評価値算出部２０８は、彩度による評価値を下記の数式２３により算出する。

ここで、Ｃｃｈｒｏｍａ_ｈ、Ｃｃｈｒｏｍａ_ｖ、Ｃｃｈｒｏｍａ_ｂａｓｅ、Ｃｃｈｒｏｍａ_ｄｎ、Ｃｃｈｒｏｍａ_ｄｐは彩度による評価値を表す。そして、評価値算出部２０８は、最終的な評価値Ｃ_ｈ、Ｃ_ｖ、Ｃ_ｂａｓｅ、Ｃ_ｄｎ、Ｃ_ｄｐを下記の数式２４により算出する。

ここでαは重み係数であり、分散度と彩度をどのようなバランスで考慮するかを決定するものである。本実施の形態では、α＝０．５とする。

以上の処理により、画素毎に評価値Ｃ_ｈ、Ｃ_ｖ、Ｃ_ｂａｓｅ、Ｃ_ｄｎ、Ｃ_ｄｐが算出され、結果として評価値の２次元プレーンが生成されることになる。また、第１の実施の形態と同様に、評価値算出部２０８は、この評価値プレーンにＬＰＦをかける（Ｓ１００５）。

このようにして評価値算出部２０８により評価値が算出されると、画像生成部２２０は、各評価値の割合に応じて各補間後画像を合成する。合成割合は、下記の数式２５により算出される。

よって、最終的な補間値は、下記の数式２６により求まる。

以上の処理を全画素について行うことで、画像生成部２２０から補間後ＲＧＢ画像データ２１０が出力される。

このように、第２の実施の形態では、第１の実施の形態のように方向別補間した結果から適応的に選択するのではなく、合成割合に応じて最終補間画像を生成している。このため、第２の実施の形態では、隣接する画素において選択される方向が異なっても、隣接する画素で値が大きく異なることがなくなり、目視上自然な画像を得ることができる。

なお、上記の合成においては、合成割合による補間画像生成は正しい方向の補間の割合が他の方向と比較して大きくないと他の方向との合成が却って悪影響を及ぼす場合もある。そこで、第２の実施の形態では、上記のように、分散度及び彩度算出処理において最大値を選択していく方法をとることで、正しい方向の割合を向上させている。

[第３の実施の形態]
図１３に示すように、第３の実施の形態では、事前処理部１１４を設け、デモザイキング部１０５でデモザイキング処理を行う前に、ホワイトバランス処理を含む所定の事前処理を行う点で、第１、第２の実施の形態と相違する。この事前処理は、デモザイキング部１０５で分散度及び彩度を算出する際の信頼性を向上させるために行うものである。

事前処理部１１４は、図１４に示すように、第１の実施の形態と同様のホワイトバランス処理１０４の他に、キズ補正部１４０１、倍率色収差補正部１４０２を有している。

キズ補正部１４０１でのキズ補正処理は、次のような意義を有する。すなわち、撮像素子１０２は、キズ欠陥画素を有している場合がある、このキズ欠陥画素は、製造過程で発生したり、内部アナログ回路の特性のばらつき等により発生するものである。

撮像素子１０２がキズ欠陥画素を有している場合には、このキズ欠陥画素には、実際の被写体像に対応する信号電荷とは異なる信号電荷が蓄積され、キズのような画像信号として出力される。

キズ欠陥画素が注目画素となると、デモザイキング部１０５で算出する分散度及び彩度の信頼性が低下してしまい、方向選択を誤ることが懸念される。

そこで、事前処理部１１４のキズ補正部１４０１は、デモザイキング処理に先んじて、キズ補正処理を行う。このキズ補正処理の方法としては、例えば、キズ欠陥画素の位置をメモリに予め記録しておき、キズ補正処理時に、キズ画素に関しては直近の同じ色の画素に係る画素値に置き換える等の各種の方法を用いることができる。

倍率色収差補正部１４０２は、次のような意義を有する。すなわち、カラー撮像系では、結像光学系の色収差により、画像上で明るい部分の周囲に本来存在しない色が、色にじみ（色収差）として生じる。この色収差は、横色収差（倍率色収差）と縦色収差（軸上色収差）に大別される。このうち、倍率色収差は、図１５に示すように、波長によって結像位置が像面に沿う方向にずれる現象である。また、軸上色収差は、図１６に示すように、波長によって結像位置が光軸に沿う方向にずれる現象である。

一般的に、軸上色収差と比べて倍率色収差のにじみ幅は著しく小さく、絞り値や焦点距離、被写体距離等の撮影条件にもよるが、極端に細い倍率色収差は、補間方向によって発生の仕方が異なって現れる場合がある。

このような場合、デモザイキング部１０５の彩度による評価値算出処理において、倍率色収差が悪影響を与えてしまうことが懸念される。そこで、倍率色収差補正部１４０２は、デモザイキング処理に先んじて、倍率色収差補正処理を行う。

この倍率色収差補正処理の方法としては、例えば、Ｒ、Ｇ、Ｂの各色プレーンに対して、異なる歪曲を加える幾何変換を行う方法等が考えられる。歪曲の度合いに関しては、例えば、予めレンズ種、絞り値、焦点距離、被写体距離等に応じた倍率色収差補正用のデータを、予めメモリに記録しておき、事前処理時に読み出して補正すればよい。その他、画像からＧプレーンに対する、Ｒ，Ｂのズレを解析し補正する方法等の各種の方法を用いることができる。

このように、デモザイキング処理に先んじて、事前処理として、キズ補正処理、ホワイトバランス処理、倍率色収差補正処理を行っておくことで、デモザイキング部１０５で算出する評価値の信頼性を高め、補間精度を向上させることが可能となる。

[第４の実施の形態]
第４の実施の形態は、図１７に示すように、デモザイキング部１０５の次に段に後処理部１１５を追加した点で、図１の第１、第２の実施の形態と相違する。また、第４の実施の形態におけるデモザイキング部１０５の構成は、図１８に示したように、各方向の補間部２０２，２０３，２１１〜２１３に対応して、それぞれ、ホワイトバランス部１０４ａ〜１０４ｅと、倍率色収差補正部１４０２ａ〜１４０２ｅを有している。

第４の実施の形態におけるデモザイキング部１０５は、評価値を算出する前に事前処理として、第３の実施の形態と同様のホワイトバランス処理及び倍率色収差補正処理を行っている。

ただし、第４の実施の形態におけるデモザイキング部１０５は、画像生成部２２０に入力される各方向毎の補間後ＲＧＢ画像データ２１０に対しては、事前処理としてのホワイトバランス処理及び倍率色収差補正処理を行わないようにしている。すなわち、第４の実施の形態では、各方向毎の補間後ＲＧＢ画像データ２１０に対するホワイトバランス処理及び倍率色収差補正処理は、後処理部１１５にて行う。

これにより、一般的に計算量の多いデモザイキング処理をその都度行わなくても済み、画像処理の迅速化を図ることが可能となる。なお、キズ補正処理に関しては、一度処理すれば良いため、デモザイキング処理の前に行っておくのが望ましい。

また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施数形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

１０２…カラー撮像素子
１０４…ホワイトバランス部
１０５…デモザイキング部
１１１…制御部
１１４…事前処理部
２０２…Ｖ方向補間部
２０３…Ｈ方向補間部
２０４，２０６，２１４，２１６，２１８…均質性算出部
２０５，２０７，２１５，２１７，２１９…強度算出部
２０８…評価値算出部
２０９…方向選択・画像生成部
２１１…基本補間部
２１２…ＤＮ方向補間部
２１３…ＤＰ方向補間部
２２０…画像生成部
１４０１…キズ補正部
１４０２…倍率色収差補正部

Claims (14)

1. 被写体像を反映した光学像を光電変換して生成された各画素に係るカラーモザイク画像信号について、当該各画素において欠落しているカラーの信号を当該各画素の周辺の規定方向の画素に係る画像信号を用いて補間する補間処理を行う補間手段を有し、
   前記補間手段は、
   複数の規定方向でそれぞれ前記補間処理を行う方向別補間手段と、
   前記方向別補間手段により前記補間処理が施された各規定方向のカラー画像信号について、均質性に基づく第１の評価値と、信号強度に基づく第２の評価値を求め、前記第１の評価値と前記第２の評価値に重み係数をかけて第３の評価値を求める評価手段と、
   前記評価手段による前記第３の評価値に基づいて、補間処理結果として出力するカラー画像信号を生成する生成手段とを有することを特徴とする画像処理装置。
2. 被写体像を反映した光学像を光電変換して生成された各画素に係るカラーモザイク画像信号について、当該各画素において欠落しているカラーの信号を当該各画素の周辺の規定方向の画素に係る画像信号を用いて補間する補間処理を行う補間手段を有し、
   前記補間手段は、
   複数の規定方向でそれぞれ前記補間処理を行う方向別補間手段と、
   前記方向別補間手段により前記補間処理が施された各規定方向のカラー画像信号を評価する評価手段と、
   前記評価手段による評価の結果に基づいて、補間処理結果として出力するカラー画像信号を生成する生成手段とを有し、
   前記評価手段は、前記補間処理が施された各規定方向のカラー画像信号について、均質性、及び信号強度に関して評価し、
   前記生成手段は、前記評価手段により各規定方向で評価された各画素の評価値で構成された２次元プレーンを生成し、当該２次元プレーンにローパスフィルタをかけることを特徴とする画像処理装置。
3. 前記評価手段は、前記均質性については、分散度を用いて評価することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記評価手段は、前記信号強度については、彩度を用いて評価することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記評価手段は、前記信号強度については、Ｇ信号、Ｒ−Ｇ信号、及びＢ−Ｇ信号を用いて評価することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記評価手段は、前記分散度については、Ｌ＊ａ＊ｂ＊均等色空間における色差を用いて評価することを特徴とする請求項３に記載の画像処理装置。
7. 前記評価手段は、前記分散度については、Ｇ信号、Ｒ−Ｇ信号、及びＢ−Ｇ信号を用いて評価することを特徴とする請求項３に記載の画像処理装置。
8. 前記生成手段は、前記評価手段により各規定方向で評価された各画素の第３の評価値に基づいて、前記補間処理が施された各規定方向のカラー画像信号の合成割合を算出し、当該合成割合で各規定方向のカラー画像信号を合成することにより、補間処理結果として出力するカラー画像信号を生成することを特徴とする請求項１に記載の画像処理装置。
9. 前記生成手段は、前記評価手段により各規定方向で評価された各画素の評価値に基づいて、前記補間処理が施された各規定方向のカラー画像信号の合成割合を算出し、当該合成割合で各規定方向のカラー画像信号を合成することにより、補間処理結果として出力するカラー画像信号を生成することを特徴とする請求項２に記載の画像処理装置。
10. 前記補間手段による前記補間処理を行う前に、キズ画素に係るカラー画像信号の補正処理、ホワイトバランス処理、および倍率色収差補正処理の少なくともいずれかを行う補正手段を有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 被写体像を反映した光学像を光電変換して生成された各画素に係るカラーモザイク画像信号について、当該各画素において欠落しているカラーの信号を当該各画素の周辺の規定方向の画素に係る画像信号を用いて補間する補間処理を行う補間工程を有し、
    前記補間工程は、
    複数の規定方向でそれぞれ前記補間処理を行う方向別補間工程と、
    前記方向別補間工程により前記補間処理が施された各規定方向のカラー画像信号について、均質性に基づく第１の評価値と、信号強度に基づく第２の評価値を求め、前記第１の評価値と前記第２の評価値に重み係数をかけて第３の評価値を求める評価工程と、
    前記評価工程による前記第３の評価値に基づいて、補間処理結果として出力するカラー画像信号を生成する生成工程とを有することを特徴とする画像処理装置の制御方法。
12. 被写体像を反映した光学像を光電変換して生成された各画素に係るカラーモザイク画像信号について、当該各画素において欠落しているカラーの信号を当該各画素の周辺の規定方向の画素に係る画像信号を用いて補間する補間処理を行う補間工程を有し、
    前記補間工程は、
    複数の規定方向でそれぞれ前記補間処理を行う方向別補間工程と、
    前記方向別補間工程により前記補間処理が施された各規定方向のカラー画像信号を評価する評価工程と、
    前記評価工程による評価の結果に基づいて、補間処理結果として出力するカラー画像信号を生成する生成工程とを有し、
    前記評価工程は、前記補間処理が施された各規定方向のカラー画像信号について、均質性、及び信号強度に関して評価し、
    前記生成工程は、前記評価工程において各規定方向で評価された各画素の評価値で構成された２次元プレーンを生成し、当該２次元プレーンにローパスフィルタをかけることを特徴とする画像処理装置の制御方法。
13. 請求項１１に記載の画像処理装置の制御方法をコンピュータが実行するためのプログラム。
14. 請求項１２に記載の画像処理装置の制御方法をコンピュータが実行するためのプログラム。