JP5248368B2

JP5248368B2 - 画像処理装置

Info

Publication number: JP5248368B2
Application number: JP2009053616A
Authority: JP
Inventors: 史呂志金光; 裕俊相澤; 好日川上; 和浩田淵; 純一細川
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-03-06
Filing date: 2009-03-06
Publication date: 2013-07-31
Anticipated expiration: 2029-03-06
Also published as: TW201127074A; CN101827274B; US8144222B2; US20100225781A1; JP2010212761A; TWI418221B; CN101827274A

Description

本発明は、画像処理装置に関する。

フルカラー撮像装置の一つであるいわゆる単板式撮像装置は、例えば民生用のデジタルスチルカメラ（ＤＳＣ）やカメラ付携帯電話のように、構成の小型化、低価格化が求められる場合に適している。単板式撮像装置は、赤色（Ｒ）用、緑色（Ｇ）用、青色（Ｂ）用のカラーフィルタのいずれかを光電素子上に設け、不足色成分の感度信号を画素位置ごとに算出することにより、一つの二次元撮像素子から複数色の画像信号を得る。不足色成分の感度レベル値は、注目画素の周辺にある画素の感度レベル値を補間することにより生成される。例えば、特許文献１には、三次元空間における幾何学図形を想定し、幾何学図形の線分相似比に基づいて、不足色成分の感度レベル値を生成する技術が提案されている。

例えば、既得色成分がＲ成分であるＲ用画素を注目画素とする場合、注目画素の感度レベル値と、注目画素の周辺にあるＲ用画素の感度レベル値とを頂点とする幾何学図形に相似する幾何学図形を想定し、不足色成分の感度レベル値が求められる。単板式二次元撮像素子の画素配列として従来知られているベイヤー配列の場合、注目画素をＲ用画素とする場合、Ｂ用画素とする場合のいずれも、互いに相似な幾何学図形として四角錘を想定して、不足色成分の感度レベル値を算出することができる。これに対して、注目画素をＧ用画素とする場合、Ｇ用画素の配列がＲ用画素、Ｂ用画素とは異なるため、互いに相似な幾何学図形として三角形を想定して、不足色成分の感度レベル値を算出することとなる。このように、注目画素の既得色成分によって異なる幾何学図形を想定することにより、不足色成分の感度レベル値について演算の精度に差が生じる場合がある。また、幾何学図形として三角形を使用する場合、四角錘を使用する場合に比べて感度レベル値を参照する画素が少ないため、Ｇ光に比べて感度が低いＲ光、Ｂ光を少ないデータ数で補間することになる。このため、画素の出力ばらつきの影響を受け易く、さらに精度を悪化させることとなる。

特開２００１−１９７５１２号公報

本発明は、不足色成分の感度レベル値を高い精度で生成可能とする画像処理装置を提供することを目的とする。

本願発明の一態様によれば、被写体像の撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する画素補間処理部を有し、前記画素補間処理部は、注目画素について感度レベル値が既得されている既得色成分に応じた演算により、前記注目画素における前記不足色成分の感度レベル値を出力する演算手段を備え、各画素を配列させた二次元方向に垂直な高さ方向の軸を、感度レベル値を表す軸として、前記注目画素について既得の感度レベル値と、前記注目画素の近傍に位置する画素であって前記注目画素と既得色成分が同じである複数の第１参照画素について既得の感度レベル値と、を頂点とする幾何学図形である第１の幾何学図形と、前記注目画素の前記既得色成分以外のある色成分を既得色成分とし、前記注目画素の近傍に位置する複数の第２参照画素について既得の感度レベル値を頂点に含む幾何学図形である第２の幾何学図形と、を想定するとして、前記演算手段は、前記第２の幾何学図形が前記第１の幾何学図形に相似する形状となるように、前記注目画素における前記不足色成分の感度レベル値を算出し、前記注目画素の前記既得色成分がいずれの色成分である場合も、前記幾何学図形として同一の図形を使用することを特徴とする画像処理装置が提供される。

本発明によれば、不足色成分の感度レベル値を高い精度で生成できるという効果を奏する。

図１は、第１の実施の形態に係る固体撮像装置のブロック図である。図２は、ベイヤー配列による画素の配置を説明する図である。図３は、Ｒ用画素における不足色成分の感度レベル値を生成する際に参照される画素について説明する図である。図４は、注目画素、第１参照画素、第２参照画素の各感度レベル値の分布の例を示す図である。図５は、参照画素と、二次元方向における四角錘形状の面積比とを説明する図である。図６は、注目画素、第１参照画素、第２参照画素の各感度レベル値の分布の例を示す図である。図７は、幾何学図形として三角形を想定する場合を説明する図である。図８は、Ｇ用画素におけるＢ成分の感度レベル値を生成する手法を説明する図である。図９は、感度レベル値の分布の例を示す図である。図１０は、第２参照画素についての補間感度レベル値の生成について説明する図である。図１１は、第２参照画素について生成した補間感度レベル値の分布の例を示す図である。図１２は、Ｇ用画素におけるＲ成分の感度レベル値を生成する手法を説明する図である。図１３は、第２参照画素についての補間感度レベル値の生成について説明する図である。図１４は、画素補間処理部の構成の一例を示すブロック図である。図１５は、画素補間処理部の動作を説明するフローチャートである。図１６は、Ｇｒ画素を注目画素とする場合の補間感度レベル値の算出について説明する図である。図１７は、Ｇｂ画素を注目画素とする場合の補間感度レベル値の算出について説明する図である。図１８は、画素補間処理部の動作を説明するフローチャートである。図１９は、不足色成分の感度レベル値を生成する演算式の一例を説明する図である。

以下に添付図面を参照して、この発明に係る画像処理装置の最良な実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る固体撮像装置のブロック図である。固体撮像装置は、撮像レンズ１、撮像部２、アナログデジタル変換器（ＡＤＣ）３、及び画像処理装置４を備える。撮像レンズ１は、被写体からの光を取り込む。撮像部２は、被写体からの光を信号電荷に変換することにより、被写体像を撮像する。撮像部２は、赤色、青色、緑色の画素値をベイヤー配列に対応する順序で取り込み、取り込んだアナログ画像信号を、外部から指定された撮像条件に応じたゲインにて順次増幅して出力する。ＡＤＣ３は、撮像部２から出力されるアナログ画像信号をデジタル画像信号に変換する。画像処理装置４は、ＡＤＣ３から出力されたデジタル画像信号に対して、種々の画像処理を施す。

画像処理装置４は、第１のノイズキャンセル処理部１０、レンズシェーディング処理部１１、傷補正処理部１２、第２のノイズキャンセル処理部１３、画素補間処理部１４、ホワイトバランス処理部１５、カラーマトリクス処理部１６、輪郭処理部１７、ガンマ補正部１８、及び出力部１９を備える。

第１のノイズキャンセル処理部１０は、ＡＤＣ３から出力されたデジタル画像信号からショットノイズなど被写体像の信号とは異なる信号を除去する。画像処理装置４の初段でのノイズキャンセル処理により、後段の各部の処理における演算精度を向上させる。第１のノイズキャンセル処理部１０は、回路規模および消費電力を小さく抑えるためにラインメモリを使用しない構成となっており、ベイヤー配列に対応する順序で伝達されてくるデジタル画像信号に対して逐次ノイズキャンセル処理を実行する。従って、第１のノイズキャンセル処理部１０は、デジタル画像信号の画像フレームにおける画素値の一次元の並びに基づいてノイズキャンセル処理を実行する。

レンズシェーディング処理部１１は、第１のノイズキャンセル処理部１０にてノイズキャンセル処理が実行されたデジタル画像信号に対して、対応する画素の位置に応じて個別に決定された補正係数を乗じることにより電気的なシェーディング補正を実行する。傷補正処理部１２は、レンズシェーディング処理部１１にてシェーディング補正が実行されたデジタル画像信号に対して傷補正処理を実行する。傷補正処理は、撮像部２において正常に機能していない画素によるデジタル画像信号の欠損部分（傷）を補正するための処理である。

第２のノイズキャンセル処理部１３は、傷補正処理部１２にて傷補正処理が実行されたデジタル画像信号に対して、再度ノイズキャンセル処理を実行する。第２のノイズキャンセル処理部１３は、ラインメモリを使用する構成となっており、ベイヤー配列に対応する順序で伝達されてくるデジタル画像信号のデータをラインメモリに一時的に貯える。第２のノイズキャンセル処理部１３は、ラインメモリに貯えたデータに対して、二次元フィルタ等の使用により、二次元方向への画素の配列に基づくノイズキャンセル処理を実行する。

画素補間処理部１４は、第２のノイズキャンセル処理部１３にてノイズキャンセル処理が実行され、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理（デモザイク処理）を実行する。画素補間処理部１４は、被写体像の撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する。ホワイトバランス処理部１５は、画素補間処理部１４にてデモザイク処理が実行された後のデジタル画像信号に対してホワイトバランス処理を実行する。

カラーマトリクス処理部１６は、ホワイトバランス処理部１５にてホワイトバランス処理が実行されたデジタル画像信号に対して、色再現性を得るためのカラーマトリクス演算処理（色再現性処理）を実行する。輪郭処理部１７は、カラーマトリクス処理部１６にて色再現性処理が実行されたデジタル画像信号に対して、撮像部２における撮像条件及び各画素の位置に基づいて算出した補正係数を用いて、輪郭強調処理を実行する。

ガンマ補正部１８は、輪郭処理部１７にて輪郭が強調されたデジタル画像信号に対して、ガンマ補正を実行する。出力部１９は、画像処理の実行により得られたデジタル画像信号を外部へ出力する。なお、本実施の形態で説明する画像処理装置４の構成は一例であって、他の処理のための要素の追加や、省略可能な要素を省略するなどの変更を適宜しても良い。

図２は、ベイヤー配列による画素の配置を説明する図である。図２において、「Ｒ」と記したマスは赤色（Ｒ）用画素、「Ｇ」と記したマスは緑色（Ｇ）用画素、「Ｂ」と記したマスは青色（Ｂ）用画素をそれぞれ表すものとする。Ｒ用画素は、Ｒ成分を選択的に透過させるカラーフィルタが設けられた光電素子に対応し、Ｒ成分を既得色成分、Ｇ成分及びＢ成分を不足色成分とする。Ｇ用画素は、Ｇ成分を選択的に透過させるカラーフィルタが設けられた光電素子に対応し、Ｇ成分を既得色成分、Ｒ成分及びＢ成分を不足色成分とする。Ｂ用画素は、Ｂ成分を選択的に透過させるカラーフィルタが設けられた光電素子に対応し、Ｂ成分を既得色成分、Ｒ成分及びＧ成分を不足色成分とする。

各画素は、互いに垂直なＨ方向及びＶ方向を含む二次元方向に並列されているとする。Ｈ方向へＲ用画素及びＧ用画素を交互に配列させた列と、Ｈ方向へＧ用画素及びＢ用画素を交互に並列させた列とは、Ｖ方向について交互に配置されている。Ｇ用画素同士は、Ｈ方向及びＶ方向に対して斜めの方向において隣接している。図２に示す配列に対して、デジタル画像信号は、Ｈ方向の右側に向かって１画素ずつ順次入力され、右端に到達すると、続いてＶ方向における一段下のラインの左端の画素から入力されることとする。

図３は、Ｒ用画素における不足色成分の感度レベル値を生成する際に参照される画素について説明する図である。画素Ｒ０は、不足色成分の感度レベル値を算出する対象である注目画素とする。画素Ｒ０は、Ｒ成分を既得色成分とする。画素Ｒ１〜Ｒ４（画素Ｒ１、画素Ｒ２、画素Ｒ３、画素Ｒ４）は、画素Ｒ０の近傍に位置するＲ用画素である。画素Ｒ２、画素Ｒ０、画素Ｒ４は、Ｇ用画素を介してＨ方向に並列している。画素Ｒ１、画素Ｒ０、画素Ｒ３は、Ｇ用画素を介してＶ方向に並列している。画素Ｒ１〜Ｒ４は、画素Ｒ０と同様にＲ成分を既得色成分とする第１参照画素である。なお、単にＲ０、Ｒ１、Ｒ２、Ｒ３、Ｒ４という場合、それぞれ画素Ｒ０、画素Ｒ１〜Ｒ４におけるＲ成分の感度レベル値を表すものとする。

画素Ｂ１〜Ｂ４（画素Ｂ１、画素Ｂ２、画素Ｂ３、画素Ｂ４）は、画素Ｒ０の近傍に位置するＢ用画素であって、Ｂ成分を既得色成分とする。画素Ｂ１〜Ｂ４は、Ｈ方向及びＶ方向に対して斜めの方向において、画素Ｒ０に隣接している。画素Ｂ１〜Ｂ４は、画素Ｒ０の既得色成分以外の色成分であるＢ成分を既得色成分とする第２参照画素である。なお、単にＢ１、Ｂ２、Ｂ３、Ｂ４という場合、それぞれ画素Ｂ１〜Ｂ４におけるＢ成分の感度レベル値を表すものとする。

図４は、注目画素、第１参照画素、第２参照画素の各感度レベル値の分布の例を示す図である。ここで、各画素を配列させたＨ方向及びＶ方向に垂直な高さ方向をＺ方向とし、Ｚ方向の軸を、感度レベル値を表す軸とする。図３に示す符号と同じ符号を付した丸は、それぞれ各画素について既得されている感度レベル値を表している。黒塗りの丸は、注目画素Ｒ０において不足しているＢ成分の感度レベル値Ｂ０を表している。

Ｈ方向、Ｖ方向、Ｚ方向を含む三次元空間において、Ｒ０、Ｒ１、Ｒ２、Ｒ３、Ｒ４を頂点とする四角錘形状Ａ１を想定する。四角錘形状Ａ１は、第１の幾何学図形である。また、Ｂ１、Ｂ２、Ｂ３、Ｂ４を頂点として含む四角錘形状Ａ２を想定する。四角錘形状Ａ２は、第２の幾何学図形である。画素補間処理部１４は、四角錘形状Ａ２が四角錘形状Ａ１に線形相似な形状となるようなＢ０を算出する。

図５は、図３に示す参照画素と、二次元方向における四角錘形状Ａ１及びＡ２の面積比とを説明する図である。二次元方向においてＲ１〜Ｒ４を結んで得られる四角形の面積に対して、Ｂ１〜Ｂ４を結んで得られる四角形の面積は、２分の１となる。ここで説明する面積比は、画素Ｒ１〜Ｒ４におけるＲ成分のエネルギーと、画素Ｂ１〜Ｂ４におけるＢ成分のエネルギーとの比に相当する。Ｒ０とＲ１〜Ｒ４の補間値との差に対して、Ｂ０とＢ１〜Ｂ４の補間値との差は、２分の１となる。画素補間処理部１４は、かかる関係からＢ０を算出する。

図３に示す画素Ｇ１〜Ｇ４（画素Ｇ１、画素Ｇ２、画素Ｇ３、画素Ｇ４）は、画素Ｒ０の近傍に位置するＧ用画素であって、Ｇ成分を既得色成分とする。画素Ｇ１〜Ｇ４は、Ｈ方向及びＶ方向において、画素Ｒ０に隣接している。画素Ｇ１〜Ｇ４は、画素Ｒ０の既得色成分以外の色成分であるＧ成分を既得色成分とする第２参照画素である。なお、単にＧ１、Ｇ２、Ｇ３、Ｇ４という場合、それぞれ画素Ｇ１〜Ｇ４におけるＧ成分の感度レベル値を表すものとする。

図６は、注目画素、第１参照画素、第２参照画素の各感度レベル値の分布の例を示す図である。黒塗りの丸は、注目画素Ｒ０において不足しているＧ成分の感度レベル値Ｇ０を表している。Ｂ成分の場合と同様に、Ｇ成分についても、Ｇ１、Ｇ２、Ｇ３、Ｇ４を頂点として含む四角錘形状Ａ３を想定する。四角錘形状Ａ３は、第２の幾何学図形である。画素補間処理部１４は、四角錘形状Ａ３が四角錘形状Ａ１に線形相似な形状となるようなＧ０を算出する。

Ｈ方向及びＶ方向の二次元方向においてＲ１〜Ｒ４を結んで得られる四角形の面積に対して、Ｇ１〜Ｇ４を結んで得られる四角形の面積は、４分の１となる。ここで説明する面積比は、画素Ｒ１〜Ｒ４におけるＲ成分のエネルギーと、画素Ｇ１〜Ｇ４におけるＧ成分のエネルギーとの比に相当する。Ｒ０とＲ１〜Ｒ４の補間値との差に対して、Ｇ０とＧ１〜Ｇ４の補間値との差は、４分の１となる。画素補間処理部１４は、かかる関係からＧ０を算出する。

各画素の既得色成分に着目すると、ベイヤー配列の場合、Ｒ用画素とＢ用画素とは、二次元方向のうち斜め方向について交互に並んでおり、Ｈ方向及びＶ方向のいずれもＧ用画素と隣接する点で、配列の態様が共通している。このため、注目画素をＢ用画素とする場合、Ｒ用画素の場合と同様に、幾何学図形として四角錘形状を使用することにより、不足色成分であるＲ成分、Ｇ成分の各感度レベル値を算出できる。これに対して、Ｇ用画素は、二次元方向のうち斜め方向についてＧ用画素同士が隣接しており、配列の態様がＲ用画素、Ｂ用画素のいずれとも異なる。

このため、Ｒ用画素、Ｂ用画素の場合と同様の手法を採用して、Ｇ用画素におけるＲ成分、Ｂ成分の各感度レベル値を算出するには、幾何学図形として四角錘形状以外の形状、例えば図７に示すように、Ｚ方向を含む面内における三角形を想定することとなる。注目画素の既得色成分によって異なる幾何学図形を想定することにより、不足色成分の感度レベル値の演算の精度に差が生じる場合がある。また、幾何学図形として三角形を使用する場合、四角錘を使用する場合に比べて感度レベル値を参照する画素が少ないため、Ｇ光に比べて感度が低いＲ光、Ｂ光を少ないデータ数で補間することになる。このため、画素の出力ばらつきの影響を受け易く、さらに精度を悪化させることとなる。

ここで、本実施の形態により、Ｇ用画素におけるＢ成分の感度レベル値を生成する手法を説明する。図８に示す画素Ｇ１〜Ｇ４は、注目画素である画素Ｇ０の近傍に位置するＧ用画素であって、Ｈ方向及びＶ方向に対して斜めの方向において、画素Ｇ０に隣接している。図９に感度レベル値の分布の例を示すように、Ｇ成分について、Ｇ０〜Ｇ４を頂点とする四角錘Ａ４を想定する。

画素Ｂ１及び画素Ｂ２は、画素Ｇ０を介してＶ方向へ並列している。画素Ｂ３及び画素Ｂ１は、画素Ｇ１を介してＨ方向へ並列している。画素Ｂ４及び画素Ｂ２は、画素Ｇ２を介してＨ方向へ並列している。画素Ｂ２及び画素Ｂ６は、画素Ｇ３を介してＨ方向へ並列している。画素Ｂ１及び画素Ｂ５は、画素Ｇ４を介してＨ方向へ並列している。画素Ｂ１〜Ｂ６は、画素Ｇ０の既得色成分以外の色成分であるＢ成分を既得色成分とする第２参照画素である。

図１０は、第２参照画素についての補間感度レベル値の生成について説明するものである。注目画素の既得色成分が特定色成分であるＧ成分である場合、画素補間処理部１４は、第２参照画素について既得の感度レベル値同士の補間、例えば線形補間により、補間感度レベル値を生成する。ここでは、６つの第２参照画素に対して、Ｂ成分について４つの補間感度レベル値を生成する。画素Ｂ３及び画素Ｂ１については、Ｂ３及びＢ１の補間感度レベル値Ｂ３１を生成する。Ｂ３１の位置は、画素Ｂ３及び画素Ｂ１の間の画素Ｇ１の位置とする。画素Ｂ４及び画素Ｂ２については、Ｂ４及びＢ２の補間感度レベル値Ｂ４２を生成する。Ｂ４２の位置は、画素Ｂ４及び画素Ｂ２の間の画素Ｇ２の位置とする。画素Ｂ２及び画素Ｂ６については、Ｂ２及びＢ６の補間感度レベル値Ｂ２６を生成する。Ｂ２６の位置は、画素Ｂ２及び画素Ｂ６の間の画素Ｇ３の位置とする。画素Ｂ１及び画素Ｂ５については、Ｂ１及びＢ５の補間感度レベル値Ｂ１５を生成する。Ｂ１５の位置は、画素Ｂ１及び画素Ｂ５の間の画素Ｇ４の位置とする。

図１１は、第２参照画素について生成した補間感度レベル値の分布の例を示す図である。黒塗りの丸は、注目画素Ｇ０において不足しているＢ成分の感度レベル値Ｂ０を表している。画素Ｂ１〜Ｂ６については、第２の幾何学図形として、Ｂ３１、Ｂ４２、Ｂ２６、Ｂ１５を頂点に含む四角錘Ａ５を想定する。画素補間処理部１４は、四角錘Ａ５が、四角錘Ａ４に線形相似な形状となるようなＢ０を算出する。

二次元方向においてＧ１〜Ｇ４を結んで得られる四角形の面積と、Ｂ３１、Ｂ４２、Ｂ２６、Ｂ１５を結んで得られる四角形の面積とは、同じとなる。画素Ｇ１〜Ｇ４におけるＧ成分のエネルギーと、画素Ｂ１〜Ｂ６におけるＢ成分のエネルギーとは同じとなる。画素補間処理部１４は、Ｇ０とＧ１〜４の補間値との差、Ｂ０とＢ３１、Ｂ４２、Ｂ２６、Ｂ１５の補間値との差が同じとなる関係から、Ｂ０を算出する。

次に、図１２及び図１３を参照して、画素Ｇ０におけるＲ成分の感度レベル値Ｒ０の生成について説明する。画素Ｒ１及び画素Ｒ２は、画素Ｇ０を介してＨ方向へ並列している。画素Ｒ３及び画素Ｒ１は、画素Ｇ１を介してＶ方向へ並列している。画素Ｒ１及び画素Ｒ５は、画素Ｇ２を介してＶ方向へ並列している。画素Ｒ２及び画素Ｒ６は、画素Ｇ３を介してＶ方向へ並列している。画素Ｒ４及び画素Ｒ２は、画素Ｇ４を介してＶ方向へ並列している。画素Ｒ１〜Ｒ６は、画素Ｇ０の既得色成分以外の色成分であるＲ成分を既得色成分とする第２参照画素である。

Ｒ成分についても、６つの第２参照画素に対して、４つの補間感度レベル値を生成する。画素Ｒ３及び画素Ｒ１については、Ｒ３及びＲ１の補間感度レベル値Ｒ３１を生成する。Ｒ３１の位置は、画素Ｒ３及び画素Ｒ１の間の画素Ｇ１の位置とする。画素Ｒ１及び画素Ｒ５については、Ｒ１及びＲ５の補間感度レベル値Ｒ１５を生成する。Ｒ１５の位置は、画素Ｒ１及び画素Ｒ５の間の画素Ｇ２の位置とする。画素Ｒ２及び画素Ｒ６については、Ｒ２及びＲ６の補間感度レベル値Ｒ２６を生成する。Ｒ２６の位置は、画素Ｒ２及び画素Ｒ６の間の画素Ｇ３の位置とする。画素Ｒ４及び画素Ｒ２については、Ｒ４及びＲ２の補間感度レベル値Ｒ４２を生成する。Ｒ４２の位置は、画素Ｒ４及び画素Ｒ２の間の画素Ｇ４の位置とする。

画素Ｒ１〜Ｒ６については、第２の幾何学図形として、Ｒ３１、Ｒ１５、Ｒ２６、Ｒ４２を頂点に含む四角錘を想定する。画素補間処理部１４は、かかる四角錘が、第１の幾何学図形である四角錘Ａ４に線形相似な形状となるようなＲ０を算出する。画素補間処理部１４は、Ｂ０と同様の演算により、Ｒ０を算出する。このようにして、画素補間処理部１４は、注目画素がいずれの色用画素である場合も、幾何学図形として同一の図形である四角錘を使用する。

図１４は、画素補間処理部１４の構成の一例を示すブロック図である。画素補間処理部１４は、４Ｈのラインメモリ２０、Ｒ用演算手段２１Ｒ、Ｇ用演算手段２１Ｇ、Ｂ用演算手段２１Ｂ、及びセレクタ２２を備える。ラインメモリ２０は、４ライン分のデジタル画像信号を保持する。Ｒ用演算手段２１Ｒは、注目画素がＲ用画素であるときの画素補間処理のための演算手段である。Ｇ用演算手段２１Ｇは、注目画素がＧ用画素であるときの画素補間処理のための演算手段である。Ｂ用演算手段２１Ｂは、注目画素がＢ用画素であるときの画素補間処理のための演算手段である。セレクタ２２は、Ｖ／Ｈカウンタによるカウント値に応じて、Ｒ用演算手段２１Ｒ、Ｇ用演算手段２１Ｇ、Ｂ用演算手段２１Ｂを選択する。

画素補間処理部１４は、ラインメモリ２０に保持する４ラインと、本線の１ラインとの合計５ラインから、Ｈ方向５画素×Ｖ方向５画素の２５画素分の画像信号を取得する。セレクタ２２は、取得された２５画素のうち注目画素とする中心の画素がＲ用画素、Ｇ用画素、Ｂ用画素のいずれであるかを、Ｖ／Ｈカウンタのカウント値により判断する。注目画素がＲ用画素である場合、セレクタ２２は、Ｒ用演算手段２１Ｒによる演算を選択する。注目画素がＧ用画素である場合、セレクタ２２は、Ｇ用演算手段２１Ｇによる演算を選択する。注目画素がＢ用画素である場合、セレクタ２２は、Ｂ用演算手段２１Ｂによる演算を選択する。各色用演算手段２１Ｒ、２１Ｇ、２１Ｂは、取得された２５画素から第１参照画素、第２参照画素を特定し、注目画素における不足色成分の感度レベル値を出力する。

図１５は、画素補間処理部１４の動作を説明するフローチャートである。ステップＳ１では、画素補間処理部１４は、注目画素がＲ用画素であるか否かを判断する。注目画素がＲ用画素である場合（ステップＳ１、Ｙｅｓ）、画素補間処理部１４は、Ｒ用演算手段２１Ｒの演算により、注目画素におけるＧ成分、Ｂ成分の各感度レベル値を生成する。注目画素がＲ用画素ではない場合（ステップＳ１、Ｎｏ）、画素補間処理部１４は、ステップＳ３において、注目画素がＢ用画素であるか否かを判断する。注目画素がＢ用画素である場合（ステップＳ３、Ｙｅｓ）、画素補間処理部１４は、Ｂ用演算手段２１Ｂの演算により、注目画素におけるＲ成分、Ｇ成分の各感度レベル値を生成する。

注目画素がＢ用画素でもない場合（ステップＳ３、Ｎｏ）、画素補間処理部１４は、注目画素がＧであると判断する。画素補間処理部１４は、Ｇ用演算手段２１Ｇの演算により、Ｒ成分についての第２参照画素、Ｇ成分についての第２参照画素のそれぞれについて補間感度レベル値を算出する（ステップＳ５）。次に、画素補間処理部１４は、ステップＳ５で算出された補間感度レベル値を用いて、注目画素におけるＲ成分、Ｂ成分の各感度レベル値を生成する（ステップＳ６）。

Ｒ用演算手段２１Ｒによる演算（ステップＳ２）、Ｂ用演算手段２１Ｂによる演算（ステップＳ４）、Ｇ用演算手段２１Ｇによる演算（ステップＳ６）のいずれかを終えることにより、その注目画素に対する画素補間処理を終了する。画素補間処理部１４は、このような画素補間処理を、全ての画素について実行する。なお、注目画素がいずれの色用画素であるかを判断する手順は任意であって、同時に行うこととしても良い。

以上により、注目画素がいずれの色用画素である場合も、幾何学図形として同一の図形を使用することにより、不足色成分の感度レベル値について、演算の精度の差を低減させることが可能となる。Ｇ用画素を注目画素とする場合に、幾何学図形として四角錘を使用することで、三角形を使用する場合に比べて、不足色成分の感度レベル値を生成するために参照する画素を多くできる。Ｇ光に比べて感度が低いＲ光、Ｂ光の補間に使用するデータ数を多くできることにより、画素の出力ばらつきの影響を低減させることができる。これにより、不足色成分の感度レベル値を高い精度で生成できるという効果を奏する。Ｂ光は、Ｒ光及びＧ光に比べて分光透過率が小さいことから、単板式撮像装置では、Ｂ光のＳ／Ｎ比が悪くなる傾向がある。本実施の形態に係る画像処理装置４は、補間感度レベル値を使用して不足色成分の感度レベル値を生成することにより、最終的に出力されるＲ、Ｇ、Ｂの各画像信号についてＳ／Ｎ比を改善させる効果を得ることもできる。

（第２の実施の形態）
第２の実施の形態は、Ｇ用画素をＧｒ画素とＧｂ画素とに分類し、Ｇｒ画素同士の補間による補間感度レベル値と、Ｇｂ画素同士の補間による補間感度レベル値とを算出することを特徴とする。Ｇｒ画素は、Ｇ用画素のうち、Ｈ方向へＲ用画素を並列させた列に位置する第１緑色用画素とする。Ｇｂ画素は、Ｇ用画素のうち、Ｈ方向へＢ用画素を並列させた列に位置する第２緑色用画素とする。Ｇｒ画素は、Ｈ方向についてＲ用画素に隣接する点で、二次元方向における配列の態様が共通しているＧ用画素である。Ｇｂ画素は、Ｈ方向についてＢ用画素に隣接する点で、二次元方向における配列の態様が共通しているＧ用画素である。

図１６は、Ｇｒ画素を注目画素とする場合の補間感度レベル値の算出について説明する図である。画素Ｇｒ１〜Ｇｒ４（画素Ｇｒ１、画素Ｇｒ２、画素Ｇｒ３、画素Ｇｒ４）は、注目画素である画素Ｇｒ０の近傍に位置するＧｒ画素である。画素Ｇｒ２、画素Ｇｒ０、画素Ｇｒ４は、Ｒ用画素を介してＨ方向に並列している。画素Ｇｒ１、画素Ｇｒ０、画素Ｇｒ３は、Ｂ用画素を介してＶ方向に並列している。画素Ｇｒ０におけるＧ成分の感度レベル値は、Ｇｒ１、Ｇｒ２、Ｇｒ３、Ｇｒ４を用いた補間により生成された補間感度レベル値とする。なお、単にＧｒ１、Ｇｒ２、Ｇｒ３、Ｇｒ４という場合、それぞれ画素Ｇｒ１〜Ｇｒ４におけるＧ成分の感度レベル値を表すものとする。

図１７は、Ｇｂ画素を注目画素とする場合の補間感度レベル値の算出について説明する図である。画素Ｇｂ１〜Ｇｂ４（画素Ｇｂ１、画素Ｇｂ２、画素Ｇｂ３、画素Ｇｂ４）は、注目画素である画素Ｇｂ０の近傍に位置するＧｂ画素である。画素Ｇｂ２、画素Ｇｂ０、画素Ｇｂ４は、Ｂ用画素を介してＨ方向に並列している。画素Ｇｂ１、画素Ｇｂ０、画素Ｇｂ３は、Ｒ用画素を介してＶ方向に並列している。画素Ｇｂ０におけるＧ成分の感度レベル値は、Ｇｂ１、Ｇｂ２、Ｇｂ３、Ｇｂ４を用いた補間により生成された補間感度レベル値とする。なお、単にＧｂ１、Ｇｂ２、Ｇｂ３、Ｇｂ４という場合、それぞれ画素Ｇｂ１〜Ｇｂ４におけるＧ成分の感度レベル値を表すものとする。このように、Ｇ用演算手段２１Ｇ（図１４参照）は、注目画素におけるＧ成分の感度レベル値として、補間感度レベル値を出力する。

図１８は、画素補間処理部１４の動作を説明するフローチャートである。ステップＳ１からステップＳ６は、図１５に示す第１の実施の形態の説明と同様であるため、説明を省略する。本実施の形態では、ステップＳ５におけるＲ用画素、Ｂ用画素の補間感度レベル値の算出と、ステップＳ６におけるＧ用演算手段２１Ｇの演算との間に、ステップＳ７として、Ｇ用画素の補間感度レベル値を算出する。なお、ステップＳ５及びステップＳ７の順序は任意であって、同時に行うこととしても良い。

撮像部３（図１参照）は、Ｇｒ画素とＧｂ画素とのいずれもＧ用のカラーフィルタを使用する。Ｇｒ画素とＧｂ画素とでは、空間的な位置条件が異なることで、撮像部３の光電素子における配線の関係上、実際に集光できる光量に差が生じる場合がある。また、ＣＭＯＳセンサの場合、Ｇｒ画素とＧｂ画素とで混色の影響等に差が生じる場合がある。本実施の形態では、画素補間処理部１４は、Ｇ用画素について、同一の特性である画素同士から補間感度レベル値を生成することにより、感度レベル値について精度の高い演算が可能となる。

（第３の実施の形態）
第３の実施の形態は、Ｇｒ画素同士の補間による補間感度レベル値と、Ｇｂ画素同士の補間による補間感度レベル値とにより、画素Ｇｒ０、画素Ｇｂ０のそれぞれについてＧ成分の感度レベル値を補正することを特徴とする。本実施の形態も、図１６及び図１７を参照して説明する。

Ｇ用演算手段２１Ｇ（図１４参照）は、Ｇｒ１、Ｇｒ２、Ｇｒ３、Ｇｒ４を用いた補間により生成された補間感度レベル値と、Ｇｂ１、Ｇｂ２、Ｇｂ３、Ｇｂ４を用いた補間により生成された補間感度レベル値の所定比を算出する。Ｇ用演算手段２１Ｇは、算出された所定比をパラメータとして、画素Ｇｒ０におけるＧ成分の感度レベル値、画素Ｇｂ０におけるＧ成分の感度レベル値のそれぞれを補正する。

Ｇｒ画素とＧｂ画素とで出力差が生じると、斜め方向についてＧ成分の光量に差が生じることで、色再現性が低下することとなる。本実施の形態により、Ｇｒ画素及びＧｂ画素における特性差を考慮して、Ｇ用画素におけるＧ成分の感度レベル値を補正することにより、感度レベル値について精度の高い演算が可能となる。

図１９は、不足色成分の感度レベル値を生成する演算式の一例を説明する図である。図中上段から順に、注目画素がＲ用画素である場合、Ｂ用画素である場合、Ｇｒ画素である場合、Ｇｂ画素である場合をそれぞれ示している。注目画素がＲ用画素である場合、Ｂ用画素である場合の演算式は、第１の実施の形態における説明によるものである。注目画素がＧｒ画素である場合、Ｇｂ画素である場合の演算式は、第３の実施の形態における説明によるものである。ここでは、補間値として、複数の感度レベル値の和をデータ数で除算した値を使用している。なお、補間の手法は、従来知られているいずれのものを用いても良い。各演算式は、補間の手法に応じて適宜変形しても良い。

４画像処理装置、１４画素補間処理部、２１ＲＲ用演算手段、２１ＧＧ用演算手段、２１ＢＢ用演算手段。

Claims

被写体像の撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する画素補間処理部を有し、
前記画素補間処理部は、注目画素について感度レベル値が既得されている既得色成分に応じた演算により、前記注目画素における前記不足色成分の感度レベル値を出力する演算手段を備え、
各画素を配列させた二次元方向に垂直な高さ方向の軸を、感度レベル値を表す軸として、
前記注目画素について既得の感度レベル値と、前記注目画素の近傍に位置する画素であって前記注目画素と既得色成分が同じである複数の第１参照画素について既得の感度レベル値と、を頂点とする幾何学図形である第１の幾何学図形と、
前記注目画素の前記既得色成分以外のある色成分を既得色成分とし、前記注目画素の近傍に位置する複数の第２参照画素について既得の感度レベル値を頂点に含む幾何学図形である第２の幾何学図形と、を想定するとして、
前記演算手段は、前記第２の幾何学図形が前記第１の幾何学図形に相似する形状となるように、前記注目画素における前記不足色成分の感度レベル値を算出し、
前記注目画素の前記既得色成分がいずれの色成分である場合も、前記幾何学図形として同一の図形を使用し、
前記注目画素の既得色成分が特定色成分である場合、前記演算手段は、前記第２参照画素について既得の感度レベル値同士の補間により補間感度レベル値を生成し、前記第２参照画素同士の間に位置させた前記補間感度レベル値を前記第２の幾何学図形の頂点とすることを特徴とする画像処理装置。
前記注目画素の既得色成分が特定色成分である場合、前記演算手段は、各画素の既得色成分に着目した場合の前記二次元方向における配列の態様が共通している画素について既得の感度レベル値同士の補間により補間感度レベル値を生成し、前記注目画素における前記特定色成分の感度レベル値として、前記補間感度レベル値を出力することを特徴とする請求項１に記載の画像処理装置。
赤色成分を既得色成分とする赤色用画素と、緑色成分を既得色成分とする緑色用画素と、青色成分を既得色成分とする青色用画素と、をベイヤー配列させ、
前記緑色用画素は、前記赤色用画素を並列させた列に位置する前記緑色用画素である第１緑色用画素と、前記青色用画素を並列させた列に位置する前記緑色用画素である第２緑色用画素と、に分類され、
前記演算手段は、前記第１緑色用画素の感度レベル値同士の補間により生成された補間感度レベル値と、前記第２緑色用画素の感度レベル値同士の補間により生成された補間感度レベル値と、により、前記注目画素が前記緑色用画素であるときの感度レベル値を補正することを特徴とする請求項１または２に記載の画像処理装置。
前記演算手段は、
前記複数の第２参照画素の感度レベル値同士の補間値と、
前記注目画素における前記既得色成分の感度レベル値、及び前記複数の第１参照画素の感度レベル値同士の補間値の差分と、
前記第１の幾何学図形及び前記第２の幾何学図形の前記二次元方向における面積比と、に基づいて、前記不足色成分の感度レベル値を算出することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。