JP5631769B2 - 画像処理装置 - Google Patents

Description

本発明の実施形態は、画像処理装置に関する。

フルカラー撮像装置の一つであるいわゆる単板式撮像装置は、例えば民生用のデジタルスチルカメラやカメラ付き携帯電話のように、構成の小型化、低価格化が求められる場合に適している。単板式撮像装置は、赤色（Ｒ）用、緑色（Ｇ）用、青色（Ｂ）用のカラーフィルタのいずれかを各光電変換素子上に設け、不足色成分の感度信号を画素位置ごとに算出することにより、一つの二次元撮像素子から複数色の画像信号を得る。不足色成分の感度レベル値は、注目画素及びその周辺画素における既知の感度レベル値を使用する補間処理により生成される（例えば、特許文献１参照）。

従来、不足色成分の感度レベル値の生成において、例えば、画像信号の低域成分と高域成分とを抽出し、加算する手法が採用されている。高域成分の加算により解像度の劣化を抑制させることで、画素補間処理がなされた高い解像度の画像を得ることが可能となる。この補間処理の手法は、ＲＧＢの各色成分の相関性を前提としている。例えば、画像の周縁部分付近等では、レンズの収差やボケの影響により、かかる相関性が成り立たなく場合がある。このような相関性の崩れを伴う補間処理は、ジッパーノイズと称される、被写体には存在しない点線状のノイズを生じさせることがある。

特開２００１−１９７５１２号公報

本発明の一つの実施形態は、画像信号の補間処理により不足色成分の感度レベル値を生成する場合における画質の低下を抑制可能とする画像処理装置を提供することを目的とする。

本発明の一つの実施形態によれば、画像処理装置は、画素補間処理部を有する。画素補間処理部は、撮像により取得された画像信号について、画素ごとの既得色成分の感度レベル値の補間処理を実施し、画素ごとの不足色成分の感度レベル値を生成する。画素補間処理部は、変化量算出手段と、変化量比較手段と、演算手段とを有する。変化量算出手段は、注目画素と周辺画素とにおける既得色成分の感度レベル値の変化量を、注目画素を中心とする方向ごとについて算出する。注目画素は、不足色成分の感度レベル値を生成する対象とする画素である。周辺画素は、注目画素の周辺に位置する画素である。変化量比較手段は、注目画素の不足色成分に応じて予め設定された二方向について、変化量算出手段で算出された変化量を比較する。演算手段は、画像信号の第１の周波域成分と、第１の周波域成分より高い周波数帯域の第２の周波域成分との加算を経て、注目画素の不足色成分の感度レベル値を生成する。演算手段は、二方向のうち、変化量比較手段での比較により変化量が少ないと判断された方向における第２の周波域成分を、第１の周波域成分に加算する。

第１の実施形態にかかる画像処理装置を備えるカメラモジュールの構成を示すブロック図。 図１に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図。 画素補間処理部の概略構成を示すブロック図。 Ｒ画素を注目画素とする場合における、注目画素及び周辺画素の配列を示す図。 Ｇ画素を注目画素とする場合における、注目画素及び周辺画素の配列を示す図。 画素補間処理部の回路構成の例を示すブロック図。 第２の実施形態にかかる画像処理装置が備える画素補間処理部の概略構成を示すブロック図。 画素補間処理部の回路構成の例を示すブロック図。 第３の実施形態にかかる画像処理装置を備えるカメラモジュールの構成を示すブロック図。 画素補間処理部の概略構成を示すブロック図。 パラメータ調整手段におけるパラメータの調整について説明する図。 パラメータ調整手段における高域加算係数の変換について説明する図。

以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態にかかる画像処理装置を備えるカメラモジュールの構成を示すブロック図である。図２は、図１に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図である。

デジタルカメラは、カメラモジュール７０、記憶部７１及び表示部７２を有する。カメラモジュール７０は、撮像レンズ１、イメージセンサ２、アナログデジタル変換器（ＡＤＣ）３及び画像処理装置４を備える。

カメラモジュール７０からの出力画像信号１９は、表示部７２へ、あるいは記憶部７１を経て表示部７２へ入力される。記憶部７１は、カメラモジュール７０により撮影された画像を格納する。表示部７２は、カメラモジュール７０あるいは記憶部７１からの出力信画像号１９に応じて画像を表示する。表示部７２は、例えば、液晶ディスプレイである。表示部７２は、撮影中の画像を、カメラモジュール７０からの出力画像信号１９に応じて表示する。また、表示部７２は、記憶部７１に保存されている画像を、記憶部７１からの出力画像信号１９に応じて表示する。

撮像レンズ１は、被写体からの光を取り込み、イメージセンサ２にて被写体像を結像させる。イメージセンサ２は、撮像レンズ１により取り込まれた光を信号電荷に変換し、被写体像を撮像する。イメージセンサ２は、ＲＧＢの信号値をベイヤー配列に対応する順序で取り込むことにより、アナログ画像信号を生成する。ＡＤＣ３は、イメージセンサ２からの画像信号をアナログ方式からデジタル方式へ変換する。画像処理装置４は、ＡＤＣ３からのデジタル画像信号に対して種々の画像処理を施す。

ラインメモリ１０は、ＡＤＣ３からのデジタル画像信号を一時的に貯える。キズ補正回路１１及びノイズ低減回路１２は、ラインメモリ１０を共用する。キズ補正回路１１は、イメージセンサ２において正常に機能していない画素によるデジタル画像信号の欠損部分（キズ）を補正するためのキズ補正を、ラインメモリ１０からのデジタル画像信号に対して実施する。ノイズ低減回路１２は、ノイズを低減させるためのノイズキャンセル処理を実施する。

デジタルアンプ（ＡＭＰ）係数回路２２は、後述するＡＥ／ＡＷＢ演算回路２１で算出された係数と、被写体像をシェーディング補正するためのシェーディング補正係数Ｓｈとを基にしてデジタルＡＭＰ係数を算出し、キズ補正回路１１及びノイズ低減回路１２での処理を経たデジタル画像信号にデジタルＡＭＰ係数を乗算する。

ラインメモリ２０は、デジタルＡＭＰ係数が乗算されたデジタル画像信号を一時的に貯える。画素補間処理部１３は、ラインメモリ２０からベイヤー配列の順序で伝達されてくるデジタル画像信号について、画素ごとの既得色成分の感度レベル値の補間処理（デモザイク処理）を実施し、画素ごとの不足色成分の感度レベル値を生成する。カラーマトリックス処理部１４は、色再現性を得るためのカラーマトリックス演算処理（色再現性処理）を実施する。

輪郭処理部１５は、イメージセンサ２による撮像条件及び各画素の位置に基づいて算出した補正係数を用いて、輪郭強調処理を実施する。ガンマ補正部１６は、画像の階調を補正するためのガンマ補正を実施する。ＲＧＢ／ＹＵＶ変換部１８は、ＲＧＢの感度信号から輝度（Ｙ）信号及び色差（ＵＶ）信号を生成することにより、画像信号をＲＧＢ形式からＹＵＶ形式（例えば、ＹＵＶ４２２など）へ変換する。ＲＧＢ／ＹＵＶ変換部１８は、ＲＧＢ形式からＹＵＶ形式へ変換された出力画像信号１９を生成する。

エッジ抽出部１７は、ラインメモリ２０からベイヤー配列の順序で伝達されてくるデジタル画像信号についてエッジ抽出を実施し、抽出結果をＲＧＢ／ＹＵＶ変換部１８へ出力する。ＡＥ／ＡＷＢ演算回路２１は、自動露出（auto exposure；ＡＥ）調整、自動ホワイトバランス（auto white balance；ＡＷＢ）調整のための各係数を算出する。

図３は、画素補間処理部の概略構成を示すブロック図である。画素補間処理部１３は、変化量算出手段３１、変化量比較手段３２及び演算手段３３を有する。変化量算出手段３１は、注目画素と周辺画素とにおける既得色成分の感度レベル値の変化量を、注目画素を中心とする方向ごとについて算出する。注目画素は、不足色成分の感度レベル値を生成する対象とする画素である。周辺画素は、注目画素の周辺に位置する画素である。

変化量比較手段３２は、注目画素の不足色成分に応じて予め設定された二方向について、変化量算出手段３１で算出された変化量を比較する。演算手段３３は、画像信号の低域成分と高域成分との加算を経て、注目画素の不足色成分の感度レベル値を生成する。低域成分は、第１の周波域成分である。高域成分は、第１の周波域成分より高い周波数帯域の第２の周波域成分である。

図４は、Ｒ画素を注目画素とする場合における、注目画素及び周辺画素の配列を示す図である。Ｒ画素は、Ｒ光を選択的に透過させるカラーフィルタが設けられた画素であって、Ｒを既得色成分、Ｇ及びＢを不足色成分とする。Ｇ画素は、Ｇ光を選択的に透過させるカラーフィルタが設けられた画素であって、Ｇを既得色成分、Ｒ及びＢを不足色成分とする。Ｂ画素は、Ｂ光を選択的に透過させるカラーフィルタが設けられた画素であって、Ｂを既得色成分、Ｒ及びＧを不足色成分とする。

画素補間処理部１３は、ラインメモリ２０（図１参照）に保持された４ラインと、ラインメモリ２０へ入力される直前の１ラインと、の計５ラインのデータが入力される。水平（Ｈ）方向へ５個、及び垂直（Ｖ）方向へ５個のマトリックス状に配置された画素のうち、中心に位置する画素を注目画素とする。図４に示す例では、Ｒ画素である画素Ｒ５を注目画素とする。周辺画素は、５×５のマトリックスのうち、画素Ｒ５以外の２４個の画素とする。

変化量算出手段３１（図３参照）は、画素Ｒ５を中心とするＨ方向、Ｖ方向、ＤＬ方向及びＤＲ方向の４方向について、既得色成分の感度レベル値の変化量を算出する。図４において、Ｈ方向は左右方向、Ｖ方向は上下方向とする。ＤＬ方向は、Ｈ方向及びＶ方向に対して斜めの方向であって、図４において左上がりの方向とする。ＤＲ方向は、Ｈ方向及びＶ方向に対して斜めの方向であって、図４において右上がりの方向とする。

変化量算出手段３１は、例えば、次に示す式（１）から式（４）により、Ｈ方向の変化量Ｍｈ、Ｖ方向の変化量Ｍｖ、ＤＬ方向の変化量Ｍｄｌ、ＤＲ方向の変化量Ｍｄｒをそれぞれ算出する。
Ｍｈ＝｜２×Ｒ５−Ｒ４−Ｒ６｜＋｜Ｇ６−Ｇ７｜ ・・・（１）
Ｍｖ＝｜２×Ｒ５−Ｒ２−Ｒ８｜＋｜Ｇ４−Ｇ９｜ ・・・（２）
Ｍｄｌ＝｜２×Ｒ５−Ｒ１−Ｒ９｜＋｜Ｂ１−Ｂ４｜ ・・・（３）
Ｍｄｒ＝｜２×Ｒ５−Ｒ３−Ｒ７｜＋｜Ｂ２−Ｂ３｜ ・・・（４）

式（１）から式（４）における「Ｒ５」、「Ｒ２」・・・の項は、それぞれ、図４に示す画素Ｒ５、Ｒ２・・・における既得色成分の感度レベル値をそれぞれ表すものとする。なお、各変化量Ｍｈ、Ｍｖ、Ｍｄｌ、Ｍｄｒを算出する方法は、上記の式（１）から式（４）を使用する場合に限られない。変化量算出手段３１は、いずれの方法により各変化量Ｍｈ、Ｍｖ、Ｍｄｌ、Ｍｄｒを算出するものとしても良い。

画素Ｒ５における不足色成分であるＧ成分の感度レベル値の算出に際し、変化量比較手段３２は、画素Ｒ５を中心としてＧ画素が配列しているＨ方向及びＶ方向について、変化量Ｍｈ、Ｍｖを比較する。変化量比較手段３２が変化量を比較する二方向は、注目画素の既得色成分と、感度レベル値を算出する不足色成分とに応じて予め設定されている。

変化量Ｍｈと変化量Ｍｖとの差分が少ない場合、被写体のうち画素Ｒ５に相当する部分とその周囲は、信号レベルの変動がＨ方向及びＶ方向のいずれも少ない平坦部であるか、あるいは信号レベルの変動がＨ方向及びＶ方向のいずれも大きい高周波領域である可能性が高いこととなる。

変化量Ｍｈと変化量Ｍｖとの差分が、予め設定された差分閾値Ｔｈ１より小さい場合、演算手段３３は、周辺画素のうち、Ｇ成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。演算手段３３は、線形補間の実施において、ローパスフィルタ（ＬＰＦ）を使用する。これにより、画素補間処理部１３は、高域成分を足し込むことによりノイズが強調されてしまうことや、高域成分の正確な抽出が困難になる等の不具合を回避することができる。

ここで、高周波領域とは、ナイキスト周波数付近の帯域とする。高周波領域では、折り返し歪み（aliasing distortion）の発生により、正確な変化量を求められない場合がある。光学ＬＰＦを備える撮像レンズ１を使用する場合、折り返し歪みを低減可能である一方、安価なカメラモジュールの構成の場合、光学ＬＰＦを持たない撮像レンズ１を使用することで、折り返し歪みが発生し易くなる。このため、画素補間処理部１３は、二方向についての変化量の差分との比較対象とする差分閾値Ｔｈ１を、撮像レンズ１の構成に応じて適宜変更することとしても良い。

変化量Ｍｈと変化量Ｍｖとの差分が大きい場合、被写体のうち画素Ｒ５に相当する部分とその周囲に、エッジ部分が存在する可能性が高いこととなる。変化量Ｍｈと変化量Ｍｖとの差分が、予め設定された差分閾値Ｔｈ１より大きい場合、演算手段３３は、二方向のうち、変化量比較手段３２での比較により変化量が少ないと判断された方向における高域成分を、低域成分に加算する。演算手段３３は、周辺画素のうち、Ｇ成分を既得色成分とする同色画素の感度レベル値の線形補間により、低域成分を算出する。

変化量Ｍｈと変化量Ｍｖとの差分が差分閾値Ｔｈ１より大きく、かつ変化量Ｍｖが変化量Ｍｈより大きい場合、演算手段３３は、Ｈ方向における高域成分を、低域成分に加算する。また、変化量Ｍｈと変化量Ｍｖとの差分が差分閾値Ｔｈ１より大きく、かつ変化量Ｍｈが変化量Ｍｖより大きい場合、演算手段３３は、Ｖ方向における高域成分を、低域成分に加算する。

また、画素Ｒ５における不足色成分であるＢ成分の感度レベル値を算出に際しては、変化量比較手段３２は、画素Ｒ５を中心としてＢ画素が配列しているＤＬ方向とＤＲ方向について、変化量Ｍｄｌ、Ｍｄｒを比較する。変化量Ｍｈと変化量Ｍｖとの差分が、予め設定された差分閾値Ｔｈ１より小さい場合、演算手段３３は、周辺画素のうち、Ｂ成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。

変化量Ｍｄｌと変化量Ｍｄｒとの差分が差分閾値Ｔｈ１より大きく、かつ変化量Ｍｄｒが変化量Ｍｄｌより大きい場合、演算手段３３は、ＤＬ方向における高域成分を、低域成分に加算する。また、変化量Ｍｄｌと変化量Ｍｄｒとの差分が差分閾値Ｔｈ１より大きく、かつ変化量Ｍｄｌが変化量Ｍｄｒより大きい場合、演算手段３３は、ＤＲ方向における高域成分を、低域成分に加算する。

ここで、Ｒ画素を注目画素とする場合における不足色成分の感度レベル値の算出の具体例を説明する。変化量Ｍｈ及び変化量Ｍｖの差分が、差分閾値Ｔｈ１以下である場合、演算手段３３は、次に示す式（５）により、Ｇ成分の感度レベル値Ｇａを算出する。
Ｇａ＝（Ｇ４＋Ｇ６＋Ｇ７＋Ｇ９）／４ ・・・（５）

式（５）において、（Ｇ４＋Ｇ６＋Ｇ７＋Ｇ９）／４の項は、Ｈ方向及びＶ方向について画像信号の低域成分を抽出したものに相当する。

変化量Ｍｈ及び変化量Ｍｖの差分が差分閾値Ｔｈ１より大きく、かつ変化量Ｍｖが変化量Ｍｈより大きい場合、演算手段３３は、次に示す式（６）により、Ｇ成分の感度レベル値Ｇｂを算出する。
Ｇｂ＝（Ｇ６＋Ｇ７）／２＋（２×Ｒ５−Ｒ４−Ｒ６）／２×ＡＡ ・・・（６）

式（６）において、（Ｇ６＋Ｇ７）／２の項は、Ｈ方向について画像信号の低域成分を抽出したものに相当する。（２×Ｒ５−Ｒ４−Ｒ６）／２の項は、Ｈ方向について画像信号の高域成分を抽出したものに相当する。なお、高域成分の項に乗算する係数ＡＡは、低域成分に対する高域成分の重み付けを調整するための高域加算係数とする。高域加算係数ＡＡは、適宜調整可能であって、１であっても良いものとする。

変化量Ｍｈ及び変化量Ｍｖの差分が差分閾値Ｔｈ１より大きく、かつ変化量Ｍｈが変化量Ｍｖより大きい場合、演算手段３３は、次に示す式（７）により、Ｇ成分の感度レベル値Ｇｃを算出する。
Ｇｃ＝（Ｇ４＋Ｇ９）／２＋（２×Ｒ５−Ｒ２−Ｒ８）／２×ＡＡ ・・・（７）

式（７）において、（Ｇ４＋Ｇ９）／２の項は、Ｖ方向について画像信号の低域成分を抽出したものに相当する。（２×Ｒ５−Ｒ２−Ｒ８）／２の項は、Ｖ方向について画像信号の高域成分を抽出したものに相当する。

変化量Ｍｄｌ及び変化量Ｍｄｒの差分が、差分閾値Ｔｈ１以下である場合、演算手段３３は、次に示す式（８）により、Ｂ成分の感度レベル値Ｂａを算出する。
Ｂａ＝（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）／４ ・・・（８）

式（８）において、（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）／４の項は、ＤＬ方向及びＤＲ方向について画像信号の低域成分を抽出したものに相当する。

変化量Ｍｄｌ及び変化量Ｍｄｒの差分が差分閾値Ｔｈ１より大きく、かつ変化量Ｍｄｒが変化量Ｍｄｌより大きい場合、演算手段３３は、次に示す式（９）により、Ｂ成分の感度レベル値Ｂｂを算出する。
Ｂｂ＝（Ｂ１＋Ｂ４）／２＋（２×Ｒ５−Ｒ１−Ｒ９）／２×ＡＡ ・・・（９）

式（９）において、（Ｂ１＋Ｂ４）／２の項は、ＤＬ方向について画像信号の低域成分を抽出したものに相当する。（２×Ｒ５−Ｒ１−Ｒ９）／２の項は、ＤＬ方向について画像信号の高域成分を抽出したものに相当する。

変化量Ｍｄｌ及び変化量Ｍｄｒの差分が差分閾値Ｔｈ１より大きく、かつ変化量Ｍｄｌが変化量Ｍｄｒより大きい場合、演算手段３３は、次に示す式（１０）により、Ｂ成分の感度レベル値Ｂｃを算出する。
Ｂｃ＝（Ｂ２＋Ｂ３）／２＋（２×Ｒ５−Ｒ３−Ｒ７）／２×ＡＡ ・・・（１０）

式（１０）において、（Ｂ２＋Ｂ３）／２の項は、ＤＲ方向について画像信号の低域成分を抽出したものに相当する。（２×Ｒ５−Ｒ３−Ｒ７）／２の項は、ＤＲ方向について画像信号の高域成分を抽出したものに相当する。

次に、Ｂ画素を注目画素とする場合について説明する。Ｂ画素における不足色成分であるＧ成分の感度レベル値の算出に際し、変化量比較手段３２は、Ｂ画素を中心としてＧ画素が配列しているＨ方向とＶ方向について、変化量Ｍｈ、Ｍｖを比較する。演算手段３３は、Ｂ画素を注目画素とする場合も、Ｒ画素を注目画素とする場合と同様にして、Ｇ成分の感度レベル値を算出する。

Ｂ画素における不足色成分であるＲ成分の感度レベル値を算出に際しては、変化量比較手段３２は、Ｂ画素を中心としてＲ画素が配列しているＤＬ方向とＤＲ方向について、変化量Ｍｄｌ、Ｍｄｒを比較する。演算手段３３は、Ｂ画素を注目画素とする場合において、Ｒ画素を注目画素とする場合におけるＢ成分の感度レベル値の算出と同様にして、Ｒ成分の感度レベル値を算出する。

次に、Ｇ画素を注目画素とする場合について説明する。図５は、Ｇ画素を注目画素とする場合における、注目画素及び周辺画素の配列を示す図である。図５に示す例では、Ｇ画素である画素Ｇ７を注目画素とする。周辺画素は、５×５のマトリックスのうち、画素Ｇ７以外の２４個の画素とする。

変化量算出手段３１（図３参照）は、画素Ｇ７を中心とするＨ方向及びＶ方向の２方向について、既得色成分の感度レベル値の変化量を算出する。変化量算出手段３１は、例えば、上述の式（１）及び（２）と同様の演算により、Ｈ方向の変化量Ｍｈ、及びＶ方向の変化量Ｍｖを算出する。

画素Ｇ７における不足色成分であるＢ成分の感度レベル値、及びＲ成分の感度レベル値の算出に際し、変化量比較手段３２は、画素Ｇ７を中心としてＲ画素が配列しているＨ方向と、Ｂ画素が配列しているＶ方向とについて、変化量Ｍｈ、Ｍｖを比較する。

変化量Ｍｈと変化量Ｍｖとの差分が、予め設定された差分閾値Ｔｈ１より小さい場合、演算手段３３は、周辺画素のうち、Ｂ成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。また、演算手段３３は、周辺画素のうち、Ｒ成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。演算手段３３は、線形補間の実施において、ローパスフィルタ（ＬＰＦ）を使用する。

変化量Ｍｈと変化量Ｍｖとの差分が、予め設定された差分閾値Ｔｈ１より大きい場合、演算手段３３は、二方向のうち、変化量比較手段３２での比較により変化量が少ないと判断された方向における高域成分を、低域成分に加算する。演算手段３３は、周辺画素のうち、Ｂ成分を既得色成分とする同色画素の感度レベル値の線形補間により、Ｂ成分の低域成分を算出する。また、演算手段３３は、周辺画素のうち、Ｒ成分を既得色成分とする同色画素の感度レベル値の線形補間により、Ｒ成分の低域成分を算出する。

変化量Ｍｈと変化量Ｍｖとの差分が差分閾値Ｔｈ１より大きく、かつ変化量Ｍｖが変化量Ｍｈより大きい場合、演算手段３３は、Ｈ方向における高域成分を、低域成分に加算する。また、変化量Ｍｈと変化量Ｍｖとの差分が差分閾値Ｔｈ１より大きく、かつ変化量Ｍｈが変化量Ｍｖより大きい場合、演算手段３３は、Ｖ方向における高域成分を、低域成分に加算する。

ここで、Ｇ画素を注目画素とする場合における不足色成分の感度レベル値の算出の具体例を説明する。変化量Ｍｈ及び変化量Ｍｖの差分が、差分閾値Ｔｈ１以下である場合、演算手段３３は、次に示す式（１１）により、Ｂ成分の感度レベル値Ｂａを算出する。また、演算手段３３は、次に示す式（１２）により、Ｒ成分の感度レベル値Ｒａを算出する。
Ｂａ＝（Ｂ２＋Ｂ５）／２ ・・・（１１）
Ｒａ＝（Ｒ３＋Ｒ４）／２ ・・・（１２）

式（１１）において、（Ｂ２＋Ｂ５）／２の項は、画像信号の低域成分を抽出したものに相当する。式（１２）において、（Ｒ３＋Ｒ４）／２の項は、画像信号の低域成分を抽出したものに相当する。

変化量Ｍｈ及び変化量Ｍｖの差分が差分閾値Ｔｈ１より大きく、かつ変化量Ｍｖが変化量Ｍｈより大きい場合、演算手段３３は、次に示す式（１３）により、Ｂ成分の感度レベル値Ｂｂを算出する。また、演算手段３３は、次に示す式（１４）により、Ｒ成分の感度レベル値Ｒｂを算出する。
Ｂｂ＝（Ｂ２＋Ｂ５）／２＋（２×Ｇ７−Ｇ６−Ｇ８）／２×ＡＡ ・・・（１３）
Ｒｂ＝（Ｒ３＋Ｒ４）／２＋（２×Ｇ７−Ｇ６−Ｇ８）／２×ＡＡ ・・・（１４）

式（１３）における（Ｂ２＋Ｂ５）／２の項、式（１４）における（Ｒ３＋Ｒ４）／２の項は、それぞれ式（１１）、（１２）と同様、画像信号の低域成分を抽出したものに相当する。式（１３）及び式（１４）において、（２×Ｇ７−Ｇ６−Ｇ８）／２の項は、Ｈ方向について画像信号の高域成分を抽出したものに相当する。

変化量Ｍｈ及び変化量Ｍｖの差分が差分閾値Ｔｈ１より大きく、かつ変化量Ｍｈが変化量Ｍｖより大きい場合、演算手段３３は、次に示す式（１５）により、Ｂ成分の感度レベル値Ｂｃを算出する。また、演算手段３３は、次に示す式（１６）により、Ｒ成分の感度レベル値Ｒｃを算出する。
Ｂｃ＝（Ｂ２＋Ｂ５）／２＋（２×Ｇ７−Ｇ２−Ｇ１２）／２×ＡＡ ・・・（１５）
Ｒｃ＝（Ｒ３＋Ｒ４）／２＋（２×Ｇ７−Ｇ２−Ｇ１２）／２×ＡＡ ・・・（１６）

式（１５）における（Ｂ２＋Ｂ５）／２の項、式（１６）における（Ｒ３＋Ｒ４）／２の項は、それぞれ式（１１）、（１２）と同様、画像信号の低域成分を抽出したものに相当する。式（１５）及び式（１６）における（２×Ｇ７−Ｇ２−Ｇ１２）／２の項は、画像信号の高域成分を抽出したものに相当する。

なお、不足色成分の感度レベル値を算出する方法は、上記の式（５）から（１６）を使用する場合に限られない。演算手段３３は、いずれの方法により不足色成分の感度レベル値を算出するものとしても良い。例えば、演算手段３３は、低域成分に加算する高域成分への、高域加算係数の乗算を省略しても良い。

図６は、画素補間処理部の回路構成の例を示すブロック図である。変化量比較手段３２を構成する比較器（ＣＯＭＰ）４１は、変化量算出手段３１で算出されたＨ方向の変化量ＭｈとＶ方向の変化量Ｍｖとを比較する。Ｍｈ＞Ｍｖが成立する場合、ＣＯＭＰ４１は、例えば「１」を出力する。Ｍｈ＞Ｍｖが成立しない場合、ＣＯＭＰ４１は、例えば「０」を出力する。

比較器（ＣＯＭＰ）４３は、変化量Ｍｈ及び変化量Ｍｖの差分の絶対値（ＡＢＳ）と、予め設定される差分閾値Ｔｈ１とを比較する。ＡＢＳ＞Ｔｈ１が成立する場合、ＣＯＭＰ４３は、例えば「１」を出力する。ＡＢＳ＞Ｔｈ１が成立しない場合、ＣＯＭＰ４３は、例えば「０」を出力する。

ＣＯＭＰ４３からの入力が「０」である場合、演算手段３３は、感度レベル値Ｒａ、Ｇａ、Ｂａを選択し、出力する。ＣＯＭＰ４３からの入力が「１」、かつＣＯＭＰ４１からの入力が「０」である場合、演算手段３３は、感度レベル値Ｒｂ、Ｇｂ、Ｂｂを選択し、出力する。ＣＯＭＰ４３からの入力が「１」、かつＣＯＭＰ４１からの入力が「１」である場合、演算手段３３は、感度レベル値Ｒｃ、Ｇｃ、Ｂｃを選択し、出力する。

変化量比較手段３２を構成する比較器（ＣＯＭＰ）４２は、変化量算出手段３１で算出されたＤＬ方向の変化量ＭｄｌとＤＲ方向の変化量Ｍｄｒとを比較する。Ｍｄｌ＞Ｍｄｒが成立する場合、ＣＯＭＰ４２は、例えば「１」を出力する。Ｍｄｌ＞Ｍｄｒが成立しない場合、ＣＯＭＰ４２は、例えば「０」を出力する。

比較器（ＣＯＭＰ）４４は、変化量Ｍｄｌ及び変化量Ｍｄｒの差分の絶対値（ＡＢＳ）と、予め設定される差分閾値Ｔｈ１とを比較する。ＡＢＳ＞Ｔｈ１が成立する場合、ＣＯＭＰ４４は、例えば「１」を出力する。ＡＢＳ＞Ｔｈ１が成立しない場合、ＣＯＭＰ４４は、例えば「０」を出力する。

ＣＯＭＰ４４からの入力が「０」である場合、演算手段３３は、感度レベル値Ｒａ、Ｂａを選択し、出力する。ＣＯＭＰ４４からの入力が「１」、かつＣＯＭＰ４３からの入力が「０」である場合、演算手段３３は、感度レベル値Ｒｂ、Ｂｂを選択し、出力する。ＣＯＭＰ４４からの入力が「１」、かつＣＯＭＰ４３からの入力が「１」である場合、演算手段３３は、感度レベル値Ｒｃ、Ｂｃを選択し、出力する。

Ｇ成分用セレクタ４５、Ｒ成分用セレクタ４６及びＢ成分用セレクタ４７は、Ｖ／Ｈ同期パルスＰｖ／ｈから注目画素を識別し、注目画素に応じた感度レベル値を選択する。Ｇ成分用セレクタ４５は、注目画素がＧ画素であるときは、注目画素の既得色成分である感度レベル値Ｇ０を選択する。Ｇ成分用セレクタ４５は、注目画素がＲ画素及びＢ画素のいずれかであるときは、演算手段３３で算出された感度レベル値Ｇａ、Ｇｂ、Ｇｃのいずれかを選択する。

Ｒ成分用セレクタ４６は、注目画素がＲ画素であるときは、注目画素の既得色成分である感度レベル値Ｒ０を選択する。Ｒ成分用セレクタ４６は、注目画素がＧ画素及びＢ画素のいずれかであるときは、演算手段３３で算出された感度レベル値Ｒａ、Ｒｂ、Ｒｃのいずれかを選択する。

Ｂ成分用セレクタ４７は、注目画素がＢ画素であるときは、注目画素の既得色成分である感度レベル値Ｂ０を選択する。Ｂ成分用セレクタ４７は、注目画素がＲ画素及びＧ画素のいずれかであるときは、演算手段３３で算出された感度レベル値Ｂａ、Ｂｂ、Ｂｃのいずれかを選択する。画素補間処理部１３は、各セレクタ４５、４６、４７で選択された各感度レベル値を出力する。

本実施形態の画素補間処理部１３は、注目画素を中心とする複数の方向のうち感度レベル値の変化量が少ない方向を、ＲＧＢの各色成分の相関性の崩れが少ない方向として、高域成分の抽出に使用している。画素補間処理部１３は、高域成分の加算により解像度の劣化を抑制させるとともに、感度レベル値の変化量が少ない方向についての高域成分を低域成分との加算に使用することで、相関性の崩れに起因する画質の低下を抑制させることができる。

また、画素補間処理部１３は、二方向における変化量の差分が小さい場合に、低域成分のみによる画素補間を実施することで、高域成分の加算により生じ得るノイズの影響や補間精度の悪化を抑制させることができる。なお、画素補間処理部１３の回路構成は、図６に示すものである場合に限られず、適宜変更しても良い。

（第２の実施形態）
図７は、第２の実施形態にかかる画像処理装置が備える画素補間処理部の概略構成を示すブロック図である。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。画素補間処理部５０は、変化量算出手段３１、変化量比較手段３２、演算手段５１及びコアリング処理手段５２を備える。コアリング処理手段５２は、変化量算出手段３１にて算出された変化量Ｍｈ、Ｍｖ、Ｍｄｌ、Ｍｄｒについて、コアリング処理を実施する。コアリング処理では、信号の絶対値が閾値よりも低い場合に、閾値以下の信号を抑制することで、ノイズ成分を除去する。

コアリング処理手段５２は、変化量Ｍｈ、Ｍｖ、Ｍｄｌ、Ｍｄｒと、予め設定されたコアリング閾値Ｔｈ２とを比較する。変化量Ｍｈ、Ｍｖ、Ｍｄｌ、Ｍｄｒがコアリング閾値Ｔｈ２より小さい場合、コアリング処理手段５２は、変化量Ｍｈ、Ｍｖ、Ｍｄｌ、Ｍｄｒを一律にゼロとする。

ここで、Ｒ画素を注目画素とする場合における不足色成分の感度レベル値の算出の具体例を説明する。注目画素及び周辺画素は、図４に示すように配列しているものとする。Ｇ成分の感度レベル値の算出に際し、コアリング処理後の変化量Ｍｈ及び変化量Ｍｖがいずれもゼロである場合、演算手段５１は、周辺画素のうち、Ｇ成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。具体的には、変化量Ｍｈ及び変化量Ｍｖがいずれもゼロである場合、演算手段５１は、実施形態１にて示した式（５）により、Ｇ成分の感度レベル値Ｇａを算出する。

コアリング処理後の変化量Ｍｈ及び変化量Ｍｖの少なくとも一方がゼロではなく、かつ変化量Ｍｈと変化量Ｍｖとの差分が差分閾値Ｔｈ１より小さい場合、演算手段５１は、Ｈ方向及びＶ方向における高域成分を、低域成分に加算する。

具体的には、変化量Ｍｈ及び変化量Ｍｖの少なくとも一方がゼロではなく、かつ変化量Ｍｈと変化量Ｍｖとの差分が差分閾値Ｔｈ１より小さい場合、演算手段５１は、次に示す式（１７）により、Ｇ成分の感度レベル値Ｇｄを算出する。
Ｇｄ＝（Ｇ４＋Ｇ６＋Ｇ７＋Ｇ９）／４＋（４×Ｒ５−Ｒ２−Ｒ４−Ｒ６−Ｒ８）／４×ＡＡ ・・・（１７）

式（１７）において、（Ｇ４＋Ｇ６＋Ｇ７＋Ｇ９）／４の項は、Ｈ方向及びＶ方向について画像信号の低域成分を抽出したものに相当する。（４×Ｒ５−Ｒ２−Ｒ４−Ｒ６−Ｒ８）／４の項は、Ｈ方向及びＶ方向について画像信号の高域成分を抽出したものに相当する。

変化量Ｍｈ及び変化量Ｍｖの少なくとも一方がゼロではなく、かつ変化量Ｍｈと変化量Ｍｖとの差分が差分閾値Ｔｈ１より大きい場合、演算手段５１は、変化量比較手段３２での比較により変化量が少ないと判断された方向における高域成分を、低域成分に加算する。

変化量Ｍｖが変化量Ｍｈより大きい場合、演算手段５１は、Ｈ方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段５１は、実施形態１にて示した式（６）により、Ｇ成分の感度レベル値Ｇｂを算出する。

変化量Ｍｈが変化量Ｍｖより大きい場合、演算手段５１は、Ｖ方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段５１は、実施形態１にて示した式（７）により、Ｇ成分の感度レベル値Ｇｃを算出する。

また、Ｂ成分の感度レベル値を算出に際しては、コアリング処理後の変化量Ｍｄｌ及び変化量Ｍｄｒがいずれもゼロである場合、演算手段５１は、周辺画素のうち、Ｂ成分を既得色成分とする同色画素の感度レベル値の線形補間を実施する。具体的には、変化量Ｍｄｌ及び変化量Ｍｄｒがいずれもゼロである場合、演算手段５１は、実施形態１にて示した式（８）により、Ｂ成分の感度レベル値Ｂａを算出する。

コアリング処理後の変化量Ｍｄｌ及び変化量Ｍｄｒの少なくとも一方がゼロではなく、かつ変化量Ｍｄｌと変化量Ｍｄｒとの差分が差分閾値Ｔｈ１より小さい場合、演算手段５１は、ＤＬ方向及びＤＲ方向における高域成分を、低域成分に加算する。

具体的には、変化量Ｍｈ及び変化量Ｍｖの少なくとも一方がゼロではなく、かつ変化量Ｍｈと変化量Ｍｖとの差分が差分閾値Ｔｈ１より小さい場合、演算手段５１は、次に示す式（１８）により、Ｂ成分の感度レベル値Ｂｄを算出する。
Ｂｄ＝（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）／４＋（４×Ｒ５−Ｒ１−Ｒ３−Ｒ７−Ｒ９）／４×ＡＡ ・・・（１８）

式（１８）において、（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）／４の項は、ＤＬ方向及びＤＲ方向について画像信号の低域成分を抽出したものに相当する。（４×Ｒ５−Ｒ１−Ｒ３−Ｒ７−Ｒ９）／４の項は、ＤＬ方向及びＤＲ方向について画像信号の高域成分を抽出したものに相当する。

変化量Ｍｄｌ及び変化量Ｍｄｒの少なくとも一方がゼロではなく、かつ変化量Ｍｄｌと変化量Ｍｄｒとの差分が差分閾値Ｔｈ１より大きい場合、演算手段５１は、変化量比較手段３２での比較により変化量が少ないと判断された方向における高域成分を、低域成分に加算する。

変化量Ｍｄｒが変化量Ｍｄｌより大きい場合、演算手段５１は、ＤＬ方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段５１は、実施形態１にて示した式（９）により、Ｂ成分の感度レベル値Ｂｂを算出する。

変化量Ｍｄｌが変化量Ｍｄｒより大きい場合、演算手段５１は、ＤＲ方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段５１は、実施形態１にて示した式（１０）により、Ｂ成分の感度レベル値Ｂｃを算出する。

演算手段５１は、Ｂ画素を注目画素とする場合も、Ｒ画素を注目画素とする場合におけるＢ成分の感度レベル値の算出と同様にして、Ｒ成分の感度レベル値を算出する。

次に、Ｇ画素を注目画素とする場合について説明する。注目画素及び周辺画素は、図５に示すように配列しているものとする。Ｂ成分の感度レベル値、及びＲ成分の感度レベル値の算出に際し、コアリング処理後の変化量Ｍｈ及び変化量Ｍｖがいずれもゼロである場合、演算手段５１は、同色画素の感度レベル値の線形補間を、Ｂ成分及びＲ成分のそれぞれについて実施する。

具体的には、変化量Ｍｈ及び変化量Ｍｖがいずれもゼロである場合、演算手段５１は、実施形態１にて示した式（１１）により、Ｂ成分の感度レベル値Ｂａを算出する。また、演算手段は、実施形態１にて示した式（１２）により、Ｒ成分の感度レベル値Ｒａを算出する。

コアリング処理後の変化量Ｍｈ及び変化量Ｍｖの少なくとも一方がゼロではなく、かつ変化量Ｍｈと変化量Ｍｖとの差分が差分閾値Ｔｈ１より小さい場合、演算手段５１は、Ｈ方向及びＶ方向における高域成分を、低域成分に加算する。

具体的には、変化量Ｍｈ及び変化量Ｍｖの少なくとも一方がゼロではなく、かつ変化量Ｍｈと変化量Ｍｖとの差分が差分閾値Ｔｈ１より小さい場合、演算手段５１は、次に示す式（１９）により、Ｂ成分の感度レベル値Ｂｄを算出する。また、演算手段５１は、次に示す式（２０）により、Ｒ成分の感度レベル値Ｒｄを算出する。
Ｂｄ＝（Ｂ２＋Ｂ５）／２＋（４×Ｇ７−Ｇ２−Ｇ６−Ｇ８−Ｇ１２）／４×ＡＡ ・・・（１９）
Ｒｄ＝（Ｒ３＋Ｒ４）／２＋（４×Ｇ７−Ｇ２−Ｇ６−Ｇ８−Ｇ１２）／４×ＡＡ ・・・（２０）

式（１９）において、（Ｂ２＋Ｂ５）／２の項は、画像信号の低域成分を抽出したものに相当する。式（２０）において、（Ｒ３＋Ｒ４）／２の項は、画像信号の低域成分を抽出したものに相当する。式（１９）及び式（２０）において、（４×Ｇ７−Ｇ２−Ｇ６−Ｇ８−Ｇ１２）／２の項は、Ｈ方向及びＶ方向について画像信号の高域成分を抽出したものに相当する。

変化量Ｍｈ及び変化量Ｍｖの少なくとも一方がゼロではなく、かつ変化量Ｍｈと変化量Ｍｖとの差分が差分閾値Ｔｈ１より大きい場合、演算手段５１は、変化量比較手段３２での比較により変化量が少ないと判断された方向における高域成分を、低域成分に加算する。

変化量Ｍｖが変化量Ｍｈより大きい場合、演算手段５１は、Ｈ方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段５１は、実施形態１にて示した式（１３）により、Ｂ成分の感度レベル値Ｂｂを算出する。また、演算手段５１は、実施形態１にて示した式（１４）により、Ｒ成分の感度レベル値Ｒｂを算出する。

変化量Ｍｈが変化量Ｍｖより大きい場合、演算手段５１は、Ｖ方向における高域成分を、低域成分に加算する。具体的には、この場合、演算手段５１は、実施形態１にて示した式（１５）により、Ｂ成分の感度レベル値Ｂｃを算出する。また、演算手段５１は、実施形態１にて示した式（１６）により、Ｒ成分の感度レベル値Ｒｃを算出する。

図８は、画素補間処理部の回路構成の例を示すブロック図である。ＣＯＭＰ４１は、コアリング処理手段５２におけるコアリング処理を経た変化量Ｍｈ、Ｍｖを比較する。変化量Ｍｈ、Ｍｖがいずれもゼロである場合、ＡＮＤ回路５３は、例えば「１」を出力する。変化量Ｍｈ、Ｍｖの少なくとも一方がゼロではない場合、ＡＮＤ回路５３は、例えば「０」を出力する。

ＣＯＭＰ４２は、コアリング処理手段５２におけるコアリング処理を経た変化量Ｍｄｌ、Ｍｄｒを比較する。変化量Ｍｄｌ、Ｍｄｒがいずれもゼロである場合、ＡＮＤ回路５４は、例えば「１」を出力する。変化量Ｍｄｌ、Ｍｄｒの少なくとも一方がゼロではない場合、ＡＮＤ回路５４は、例えば「０」を出力する。

ＡＮＤ回路５３からの入力が「１」である場合、演算手段５１は、感度レベル値Ｒａ、Ｇａ、Ｂａを選択し、出力する。ＡＮＤ回路５３からの入力が「０」、かつＣＯＭＰ４３からの入力が「０」である場合、演算手段５１は、感度レベル値Ｒｄ、Ｇｄ、Ｂｄを選択し、出力する。

ＡＮＤ回路５３、ＣＯＭＰ４３、ＣＯＭＰ４１からの入力がそれぞれ「０」、「１」、「０」である場合、演算手段５１は、感度レベル値Ｒｂ、Ｇｂ、Ｂｂを選択し、出力する。ＡＮＤ回路５３、ＣＯＭＰ４３、ＣＯＭＰ４１からの入力がそれぞれ「０」、「１」、「１」である場合、演算手段５１は、感度レベル値Ｒｃ、Ｇｃ、Ｂｃを選択し、出力する。

ＡＮＤ回路５４からの入力が「１」である場合、演算手段５１は、感度レベル値Ｒａ、Ｂａを選択し、出力する。ＡＮＤ回路５４からの入力が「０」、かつＣＯＭＰ４４からの入力が「０」である場合、演算手段５１は、感度レベル値Ｒｄ、Ｂｄを選択し、出力する。

ＡＮＤ回路５４、ＣＯＭＰ４４、ＣＯＭＰ４２からの入力がそれぞれ「０」、「１」、「０」である場合、演算手段５１は、感度レベル値Ｒｂ、Ｂｂを選択し、出力する。ＡＮＤ回路５４、ＣＯＭＰ４４、ＣＯＭＰ４２からの入力がそれぞれ「０」、「１」、「１」である場合、演算手段５１は、感度レベル値Ｒｃ、Ｂｃを選択し、出力する。

Ｇ成分用セレクタ４５は、注目画素がＲ画素及びＢ画素のいずれかであるときは、演算手段５１で算出された感度レベル値Ｇａ、Ｇｂ、Ｇｃ、Ｇｄのいずれかを選択する。Ｒ成分用セレクタ４６は、注目画素がＧ画素及びＢ画素のいずれかであるときは、演算手段５１で算出された感度レベル値Ｒａ、Ｒｂ、Ｒｃ、Ｒｄのいずれかを選択する。

Ｂ成分用セレクタ４７は、注目画素がＲ画素及びＧ画素のいずれかであるときは、演算手段５１で算出された感度レベル値Ｂａ、Ｂｂ、Ｂｃ、Ｂｄのいずれかを選択する。画素補間処理部５０は、各セレクタ４５、４６、４７で選択された各感度レベル値を出力する。

本実施形態では、第１の実施形態と同様、解像度の劣化を抑制させるとともに、相関性の崩れに起因する画質の低下を抑制させることができる。また、本実施形態の画素補間処理部５０は、コアリング処理を適用することで、信号レベルの変動が少ない平坦部の判定の容易化を可能としている。コアリング処理の実施により、ノイズ成分と同様、折り返し歪みの影響を効果的に低減させることができる。特に、メッシュ状の被写体に対して、変化量の差分と差分閾値との比較による判定が有効となる。

（第３の実施形態）
図９は、第３の実施形態にかかる画像処理装置を備えるカメラモジュールの構成を示すブロック図である。第１及び第２の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。カメラモジュール７３は、撮像レンズ１、イメージセンサ２、ＡＤＣ３及び画像処理装置５を備える。画像処理装置５に設けられているＡＥ／ＡＷＢ演算回路２１は、ＡＥ調整係数の算出結果が反映された輝度情報６１を生成し、画素補間処理部６０へ出力する。

図１０は、画素補間処理部の概略構成を示すブロック図である。画素補間処理部６０は、変化量算出手段３１、変化量比較手段３２、演算手段５１、コアリング処理手段５２及びパラメータ調整手段６２を有する。パラメータ調整手段６２は、高域加算係数ＡＡ、差分閾値Ｔｈ１、及びコアリング閾値Ｔｈ２の各パラメータを調整する。

図１１は、パラメータ調整手段におけるパラメータの調整について説明する図である。パラメータ調整手段６２は、ＡＥ／ＡＷＢ演算回路２１から入力される撮像時の輝度情報６１に応じて、高域加算係数ＡＡ、差分閾値Ｔｈ１、及びコアリング閾値Ｔｈ２をそれぞれ変換する。

図１２は、パラメータ調整手段における高域加算係数の変換について説明する図である。パラメータ調整手段６２は、輝度情報６１から得られる輝度が低いほど、高域加算係数ＡＡが小さい値となるように、高域加算係数ＡＡを変換する。パラメータ調整手段６２は、高域加算係数ＡＡと輝度とが例えば線形関数の関係にあるものとして、高域加算係数ＡＡを変換する。

パラメータ調整手段６２は、変換により得た高域加算係数ＡＡを演算手段５１へ出力する。パラメータ調整手段６２は、輝度情報６１に応じて高域加算係数ＡＡを調整することで、撮像時の環境が低照度であって画像信号にノイズ成分が生じ易い場合に、高域成分に起因するＳＮ比の悪化を抑制させる。

パラメータ調整手段６２は、輝度情報６１から得られる輝度が低いほど、差分閾値Ｔｈ１が大きい値となるように、差分閾値Ｔｈ１を変換する。また、パラメータ調整手段６２は、輝度情報６１から得られる輝度が低いほど、コアリング閾値Ｔｈ２が大きい値となるように、コアリング閾値Ｔｈ２を変換する。パラメータ調整手段６２は、高域加算係数ＡＡと同様、差分閾値Ｔｈ１及びコアリング閾値Ｔｈ２についても、輝度に対して例えば線形関数の関係にあるものと変換する。

パラメータ調整手段６２は、変換により得た差分閾値Ｔｈ１を、変化量比較手段３２へ出力する。パラメータ調整手段６２は、変換により得たコアリング閾値Ｔｈ２を、コアリング処理手段５２へ出力する。パラメータ調整手段６２は、輝度情報６１に応じて差分閾値Ｔｈ１及びコアリング閾値Ｔｈ２を調整することで、撮像時の環境が低照度である場合に、高域成分に起因するＳＮ比の悪化を抑制させる。

本実施形態では、第１の実施形態と同様、解像度の劣化を抑制させるとともに、相関性の崩れに起因する画質の低下を抑制させることができる。また、本実施形態の画素補間処理部６０は、輝度情報６１に応じたパラメータ調整の適用により、高域成分に起因するＳＮ比の悪化をさらに抑制させることができる。

なお、パラメータ調整手段６２は、高域加算係数ＡＡ、差分閾値Ｔｈ１、及びコアリング閾値Ｔｈ２の全てを調整する場合に限られない。パラメータ調整手段６２は、高域加算係数ＡＡ、差分閾値Ｔｈ１、及びコアリング閾値Ｔｈ２のうちの少なくとも一つを調整するものであれば良い。

第１、第２及び第３の実施形態にかかる画像処理装置は、デジタルカメラ以外の電子機器、例えばカメラ付き携帯電話等に適用しても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

４、５ 画像処理装置、１３、５０、６０ 画素補間処理部、３１ 変化量算出手段、３２ 変化量比較手段、３３、５１ 演算手段、５２ コアリング処理手段、６１ 輝度情報、６２ パラメータ調整手段、７０、７３ カメラモジュール。

Claims (5)

1. 撮像により取得された画像信号について、画素ごとの既得色成分の感度レベル値の補間処理を実施し、前記画素ごとの不足色成分の感度レベル値を生成する画素補間処理部を有し、
   前記画素補間処理部は、
   不足色成分の感度レベル値を生成する対象とする注目画素と、前記注目画素の周辺に位置する周辺画素とにおける既得色成分の感度レベル値の変化量を、前記注目画素を中心とする方向ごとについて算出する変化量算出手段と、
   前記変化量算出手段で算出された前記変化量を比較する変化量比較手段と、
   前記画像信号の第１の周波域成分と、前記第１の周波域成分より高い周波数帯域の第２の周波域成分との加算を経て、前記注目画素の不足色成分の感度レベル値を生成する演算手段と、を有し、
   前記変化量算出手段は、前記画素が配列している二次元方向のうち、第１の方向と、前記第１の方向に垂直な第２の方向と、前記第１の方向及び前記第２の方向に対して斜めの第３の方向と、前記第１の方向及び前記第２の方向に対して斜めかつ前記第３の方向とは傾斜方向を異ならせた第４の方向と、について前記変化量を算出し、
   前記変化量比較手段は、前記第１の方向、前記第２の方向、前記第３の方向及び前記第４の方向のうち、前記注目画素における既得色成分、及び感度レベル値が算出される不足色成分に応じて予め設定された二方向について前記変化量を比較し、
   前記演算手段は、前記二方向のうち、前記変化量比較手段での比較により前記変化量が少ないと判断された方向における前記第２の周波域成分を、前記第１の周波域成分に加算することを特徴とする画像処理装置。
2. 前記二方向についての前記変化量の差分が、予め設定された差分閾値より小さい場合、前記演算手段は、前記周辺画素のうち前記注目画素の不足色成分と同じ色成分を既得色成分とする同色画素の感度レベル値の線形補間を実施することを特徴とする請求項１に記載の画像処理装置。
3. 前記注目画素における既得色成分が赤又は青で、感度レベル値が算出される不足色成分が緑であるとき、及び、前記注目画素における既得色成分が緑で、感度レベル値が算出される不足色成分が赤又は青であるとき、のいずれの場合も、前記二方向は前記第１の方向及び前記第２の方向であって、
   前記注目画素における既得色成分が赤で、感度レベル値が算出される不足色成分が青であるとき、及び、前記注目画素における既得色成分が青で、感度レベル値が算出される不足色成分が赤であるとき、のいずれの場合も、前記二方向は前記第３の方向及び前記第４の方向であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画素補間処理部は、前記変化量算出手段にて算出された前記変化量について、コアリング処理を実施するコアリング処理手段をさらに有し、
   前記変化量比較手段は、前記コアリング処理手段における前記コアリング処理を経た前記変化量を比較することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記演算手段は、前記第１の周波域成分に対する前記第２の周波域成分の重み付けを調整するための高域加算係数を、前記第２の周波域成分に乗算し、
   前記画素補間処理部は、撮像時の輝度情報に応じて前記高域加算係数を調整するパラメータ調整手段をさらに有することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。

Images