JP5139350B2

JP5139350B2 - 画像処理装置、画像処理方法、撮像装置

Info

Publication number: JP5139350B2
Application number: JP2009041109A
Authority: JP
Inventors: 賢造五十川; 直三島; 雅裕馬場; 敏充金子
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-02-24
Filing date: 2009-02-24
Publication date: 2013-02-06
Anticipated expiration: 2029-02-24
Also published as: JP2010199849A

Description

本発明は、画像処理装置、画像処理方法、及び当該画像処理を行う撮像装置に関する。

従来の小型カメラでは、カラー画像を得るためにBayer配列が用いられていた。Bayer配列では原色成分である赤(Ｒ)、青(Ｂ)、緑(Ｇ)の色成分の光を通すカラーフィルタをイメージセンサの前に配置し、１画素ごとに１色の信号を持つＲＡＷデータを得る。その後、欠けた色成分、例えばＲのカラーフィルタが配置された画素の位置におけるＧとＢの原色信号を周囲から算出しカラー画像を得るデモザイク処理が行われていた。

しかし、画素の前にカラーフィルタを配置するとイメージセンサに入射する光の量が減るため、S/Nが低下する。S/Nの低下に対して、複数の原色成分の組み合わせた光を通すカラーフィルタを一部に配し、入射光量を上げる手法がある。複数の原色成分の組み合わせた光を通すカラーフィルタの１つにＲＧＢ全ての光に対して感度を持つ画素(Ｗ画素)がある。出力画像のＲＧＢ信号とＷ画素からの信号とに正の相関を持たせることで偽色を抑える提案がなされている（例えば、特許文献１）。ただし特許文献１の手法は、１通りのカラーフィルタの配置にしか対応できず、カラーフィルタの変更やデジタルズーム等に対応できなかった。

これに対し、デモザイク処理において、注目位置にある画素の撮像データと注目位置の周囲にある複数の画素の撮像データとから、原色の色成分毎に信号値を近似する関数を推定し、注目画素位置における欠落した色成分の信号量を推定する手法が提案されている（例えば、特許文献２）。特許文献２の手法によれば、色ずれを抑え、画素配列の変更やカラーフィルタの変更、デジタルズームにも対応することができる。

しかし、Ｗ画素等の複数の原色成分に感度を持つ画素には多くの光が入射するため、原色成分のみに感度を持つＲＧＢ画素より飽和しやすい。そして、飽和した信号と飽和していない信号の間では相関関係が崩れる。特許文献２の手法は全信号が強い相関を持つことを仮定しているため、信号の飽和により相関関係の崩れたＲＡＷデータに適用すると、本来相関を持たない信号間に不自然な相関を持たせ、画像を乱してしまう。

特開２００２−３６９２１２号公報特開２００９−０１０８４７号公報

本発明は、複数の原色成分の組み合わせた光を通すカラーフィルタを有する撮像装置で得た画像信号に対し、画素配列に柔軟に対応可能なデモザイク処理する技術を提供する。

上記課題を解決するために、画素毎に所定の配列規則に従って、複数の原色成分のうち１の色成分、または前記原色成分の組み合わせで表現される色成分、の信号値を有する入力画像信号の各画素の位置を変数とし、それぞれの前記色成分、の信号値を近似し、かつ下記（ａ）〜（ｃ）を満たす、近似関数を、前記色成分毎に推定する推定部と、（ａ）前記原色成分の近似関数の導関数同士が等しいこと；（ｂ）前記原色成分の組み合わせで表現される色成分の近似関数の導関数は、前記組み合わせに該当する前記原色成分について求める前記近似関数の導関数の和と等しいこと；（ｃ）前記原色成分の組み合わせで表現される色成分の近似関数の定数項は、前記複数の原色成分の近似関数とは独立に定義されること；求められた複数の原色成分の前記近似関数に各画素の出力画像信号での位置を代入することで、画素毎に複数の原色成分の信号値のセットを有する前記出力画像信号の信号値を求める算出部と、を備えたことを特徴とする画像処理装置また当該画像処理装置が画像処理をする方法を提供する。

また、複数の原色成分のうち１の原色成分の色成分の光、または前記原色成分の組み合わせで表現される色成分の光、に感度を有する撮像素子が画素毎に所定の配列規則に従って配置されているイメージセンサを有する撮像部と、前記撮像部が撮像した入力画像信号での各画素の位置を変数とし、それぞれの前記色成分の信号値を近似し、かつ下記（ａ）〜（ｃ）を満たす、近似関数を前記色成分毎に推定する推定部と、（ａ）前記原色成分の近似関数の導関数同士が等しいこと；（ｂ）前記原色成分の組み合わせで表現される色成分の近似関数の導関数は、前記組み合わせに該当する前記原色成分について求める前記近似関数の導関数の和と等しいこと；（ｃ）前記原色成分の組み合わせで表現される色成分の近似関数の定数項は、前記複数の原色成分の近似関数とは独立に定義されること；求められた複数の原色成分の前記近似関数に各画素の出力画像信号での位置を代入することで、画素毎に複数の原色成分の信号値のセットを有する前記出力画像信号の信号値を求める算出部と、を備えたことを特徴とする撮像装置を提供する。

また、画素毎に所定の配列規則に従って、複数の原色成分のうち１の色成分の信号値、または前記原色成分の組み合わせで表現される色成分の信号値を有する入力画像信号から、各画素位置でのそれぞれの前記色成分の信号値を近似し、かつ下記（ａ）〜（ｃ）を満たす近似関数を、前記色成分毎に推定する推定部と、（ａ）前記原色成分の近似関数で表される形状がほぼ等しいこと；（ｂ）前記原色成分の組み合わせで表現される色成分の近似関数は、前記組み合わせに該当する前記原色成分について求める前記近似関数を足し合わせた関数で表される形状とほぼ等しいこと；（ｃ）前記色成分毎の近似関数の定数項は、それぞれ独立に定義されること；求められた複数の原色成分の前記近似関数から、画素毎に複数の原色成分の信号値のセットを有する前記出力画像信号の信号値を求める算出部と、を備えたことを特徴とする画像処理装置を提供する。

本発明によれば、複数の原色成分の組み合わせた光を通すカラーフィルタを有する撮像装置で得た画像信号に対し、画素配列に柔軟に対応可能なデモザイク処理が可能となる。

第１の実施形態の撮像装置の構成を示す図。カラーフィルタを説明する図。第１の実施形態の動作を示すフローチャート。第1の実施形態で用いるイメージセンサの図。第２の実施形態の撮像装置の構成を示すブロック図。第２の実施形態の動作を示すフローチャート。

以下、本発明の実施形態について説明する。ここで、互いに同様の構成には共通の符号を付して、重複する説明は省略する。

多くのデジタルカメラで採用されている単板式カラーCCD・CMOSイメージセンサ等の撮像素子によって撮像されたＲＡＷデータ（以下、入力画像信号と記載）は各画素が単色の色成分の信号値を有している。そのため、各画素に対して、その画素が有しない色成分の情報を周辺画素から導出することで色成分を補完し、フルカラーの画像信号を作り出すデモザイク処理を行う必要がある。以下の各実施形態では、撮像された入力画像信号の各画素に対して、足りない色情報を補完して３原色成分の画素値を有する出力画像信号を求める方法について例示する。以下の各実施形態では、原色成分の組み合わせで表現される色成分がＲＧＢの和であるホワイト（Ｗ）画素（輝度成分）である場合について説明する。しかし、必ずしも原色成分の組み合わせで表現される色成分はホワイト（Ｗ）である必要はなく、マゼンタ(Ｍｇ)、シアン(Ｃｙ)、黄色(Ｙｅ)などの色でも良い。例えばＭｇは原色成分ＲとＢの組み合わせ（和）であってもよい。

［第１の実施形態］
図１は、本実施形態の撮像装置１を示す図である。撮像装置１は、撮像部１００と、撮像部１００が撮像した入力画像信号に対してデモザイク処理し、各画素がＲ，Ｇ，Ｂ成分の全てを有するカラー画像である出力画像信号を出力する画像処理部２００とを有する。

撮像部１００は、被写体からの光を集光するレンズ１０１、画素ごとに集光された光を光電変換して入力画像信号の信号値となる電気信号を生成するイメージセンサ１０２を有する。イメージセンサ１０２は、単色の色成分が各画素位置に所定の配列規則に従って割り当てられたカラーフィルタを備えている。イメージセンサ１０２の各画素から得られる信号値は、当該画素に対応するカラーフィルタに応じた電気信号となっている。たとえば赤（Ｒ）フィルタを持つ画素からは赤成分の信号値が得られるが、他の青（Ｂ）および緑（Ｇ）成分の信号値は得られていない。なお、レンズ１０１に入射する光量を調整する絞り（図示しない）等の制御部を備えていてもよい。

画像処理部２００は、イメージセンサ１０２から得られない色成分の信号値を周辺画素の信号値を用いて補間・生成するためのデモザイク処理をおこなう。具体的には、入力画像信号の近似関数のパラメータを算出するパラメータ算出部２０１と、パラメータ算出部２０１が算出した近似関数を用いて、入力画像信号において各画素が有しなかった色情報を補完する原色信号算出部２０２とを備えている。なお、近似関数とは、各画素の画像信号中での位置を変数とし、それぞれの色成分の信号値を近似する関数を示す。詳細については後述する。

次に、カラーフィルタと入力画像信号が有する色成分との関係を説明する。

図２は、本実施形態で用いるカラーフィルタの色成分の配列規則の例を示す図である。(ｘ，ｙ)はセンサ上での画素位置を示す２次元座標系であり原点は注目画素すなわち注目画素４２５の中心とする。W画素を白抜きで、Ｂ画素を左下がりのストライプで、Ｒ画素をドットで、Ｇ画素を縦のストライプで表示する。Ｂ画素の位置にはＢのカラーフィルタが、Ｒ画素のＲのカラーフィルタが、Ｇ画素の位置にはＧのカラーフィルタが、Ｗ画素の位置には無色のフィルタが配されているので、３原色すべての光を足し合わせた信号値が得られる。Ｂ画素と対応する位置のイメージセンサ１０２の撮像素子からはＢの色成分の信号値が得られる。同様に、Ｒ画素と対応する位置の撮像素子からはＲの色成分の信号値を、Ｇ画素と対応する位置の撮像素子からはＧの色成分の信号値を、Ｗ画素と対応する位置の撮像素子からはＷの色成分の信号値が得られる。なお、Ｗ画素はカラーフィルタを持たず光の３原色(ＲＧＢ：赤・緑・青)成分全てに対して感度を持つ。

画像処理部２００は、画素毎に異なる色成分を有する入力画像信号値を元に、全ての画素がＲ，Ｇ，Ｂ成分を全て有するようにデモザイク処理を施した出力画像信号を生成する。例えば、図２に示すＲ成分の画素位置で撮像された画素を注目画素４２５とする。その場合、注目画素４２５の画素位置（ｘ_４２５，ｙ_４２５）＝（）でのＧ成分、Ｂ成分、Ｗ成分それぞれの信号値の大きさを注目画素４２５の周辺の画素の信号値から推定し、推定されたＢ、Ｇの信号値を含めた３原色（Ｒ、Ｂ、Ｇ）を１セットとする出力画像信号を出力する。

次に、撮像装置１の動作について説明する。

図３は、撮像装置１の動作を示すフローチャートである。なお、図２に示したカラーフィルタの色成分の配置で撮像された例について説明する。

まず、イメージセンサ１０２が撮像して得た入力画像信号を、画像処理部２００に送る（ステップ１）。

次に、パラメータ算出部２０１は、入力画像信号のうち１つの画素を注目画素として設定する（ステップ２）。以後、例えば画素４０１の画素位置は(ｘ_４０１，ｙ_４０１)、画素４０１のカラーフィルタはｃ_４０１、画素４０１から得られた信号値をｓ_４０１というように添字を用いて標記する。

次に、パラメータ算出部２０１は、注目画素を中心としたその周辺の７×７画素（以下、単位を省略）のブロック（以下、処理ブロックと記載）の信号値を用いて各カラーフィルタの色成分に対応する近似関数のパラメータを導出する（ステップ３）。近似関数とは、画素位置（ｘ，ｙ）における信号値を近似する式である。多項式を用いた場合の、各原色それぞれの近似関数を式（１）に示す。

式（１）の3つの近似関数f_R(x,y), f_G(x,y), f_B(x,y)は、導関数がすべて同じである。つまり、変数である位置xまたはyによって、f_R(x,y), f_G(x,y), f_B(x,y)１次微分をした場合のそれぞれの偏導関数が同じ関数となる。つまり、定数項を除いた関数の形状が３つの原色成分の近似関数で同じとなることを示す。この条件は、局所的に見た場合、色相が大きく変化することは少ないという画像の性質に合致している。また、式（１）の近似関数のパラメータβ＝（β_Ｒ，β_Ｇ，β_Ｂ，β_１，β_２，β_３，β_４，β_５）^ｔは、全て実数であり入力画像信号から推定する。

WRGB画素全てから得られる信号値から導出され、Ｗ画素の信号値を近似する近似関数を、式（２）で示す。

ｗ_Ｒ，ｗ_Ｇ，ｗ_ＢはそれぞれＷ画素が原色の信号値Ｒ，Ｇ，Ｂに対応する光の波長に対して持つ分光感度が高いほど大きな値を持つ正の実数である。式（３）のようにf_W(x,y)の定数項をf_R(x,y), f_G(x,y), f_B(x,y)とは独立に定義する。この値は、イメージセンサ１０２の設計データから定めることができる。この定式化によりf_W(x,y)の導関数はf_R(x,y), f_G(x,y), f_B(x,y)の導関数の重み付け和になる。つまり、Ｗの色成分は、Ｒ，Ｇ，Ｂの組み合わせで表現されるため、Ｗの色成分の近似関数の導関数は、組み合わせを表現する原色成分の導関数の和で定義される。また、近似関数のパラメータを有するベクトルを式（３）の様に記す。

このパラメータベクトルの推定値β’は、

とした時、各画素位置における入力画像信号の信号値と、近似関数で推定される値との差の二乗和を最小にするパラメータを示す。つまり、式（５）を満たす値を求める。なお、(x_i,y_i)は処理ブロックに含まれる画素の位置を示し、ｃ_ｉは各画素に付与されたカラーフィルタの色を示し、ｓ_ｉは各画素位置（ｘ_ｉ，ｙ_ｉ）から得られた信号値を示す。

ｗ_ｉは各画素に与える重みであり、正の実数である。具体的な値としてはｗ_ｉ＝１としてもよい。

また、式（６）では、注目画素との距離が離れた画素の重みを相対的に小さくしても良い。σは定数であり、設計段階で画質を評価しながら定めればよい。なお、式（６）のＣは処理ブロック内のエッジの有無及びその方向に応じて式（７）のような行列に切り替えても良い。なお、エッジとは、画像中で信号値の変化が直線的に起こっている領域を指し、例えば被写体の輪郭線に相当するものである。

エッジに沿う方向が縦方向の処理ブロックに対してはＣの代わりにＣ_１を、エッジに沿う方向が横方向の処理ブロックに対してはＣの代わりにＣ_２を用いることで、解像度感を保ちつつＳ／Ｎを向上させることができる。式（６）の形の最小化問題を解くアルゴリズムは、最急降下法・共役勾配法のような反復型のアルゴリズムや、一般化逆行列など多数の手法が開示されている。

次に、原色信号算出部１０３は、得られた近似関数f_R(x,y), f_G(x,y), f_B(x,y)に注目画素の座標を代入して画像各点の原色成分を算出する（ステップ４）。すなわち注目画素の座標(ｘ_４２５,ｙ_４２５)を式（２）の近似関数に(ｘ_４２５,ｙ_４２５)を代入して得られる値f_R(ｘ_４２５,ｙ_４２５), f_G(ｘ_４２５,ｙ_４２５), f_B(ｘ_４２５,ｙ_４２５)を出力画像信号として算出する。

次に、入力画像信号の全ての画素について出力画像信号を算出したか判定する（ステップ５）。

入力画像信号の全ての画素について出力画像信号を算出した場合には（ステップ５，Ｎｏ）、ステップ２に戻り、次の画素を注目画素とする。入力画像信号の全ての画素について出力画像信号を算出した場合には（ステップ５，Ｙｅｓ）、１フレーム分の出力画像信号を出力し、処理を終了する。

本実施形態では、Ｗ画素の色成分の近似関数の定数項をf_R(x,y), f_G(x,y), f_B(x,y)とは独立に定義した。この効果について説明する。

例えばRGBすべての信号に感度を持つW画素の近似関数を、単純にＲＧＢ全ての近似関数の和としてモデル化した場合を考える。そのモデルによるＷ画素の近似関数を式（８）に示す。

W画素は、光に対する感度が高い分、飽和しやすい特徴がある。飽和とは、イメージセンサが物理的に撮像可能な光の信号値を超えた場合をいう。

単純にＲＧＢ全ての近似関数の和としてモデル化してしまうと、Ｗ画素で飽和が生じた場合に画質の劣化が生じてしまう。具体的には、f’_W(x,y)の定数項はf_R(x,y), f_G(x,y), f_B(x,y)の定数項の重み付き和で表される。飽和したＷ画素の信号値にあわせてf_W(x,y)がとる値を小さくするべくf’_W(x,y)の定数項を小さくしようとすると、f_R(x,y), f_G(x,y), f_B(x,y)の値が小さくなってしまう。そうすると、実際に全ての原色成分のセットを撮像時に取得していた場合に得られたであろうRGBの色成分の信号値から外れてしまう結果となっていた。そこで本実施形態では、式（２）のようにf_W(x,y)の定数項をf_R(x,y), f_G(x,y), f_B(x,y)と独立に定義することでf_W(x,y)の変化がf_R(x,y), f_G(x,y), f_B(x,y)に影響を与えにくくした。なお、Ｗ画素とＲ・Ｇ・Ｂ画素との間で近似関数の導関数の関係は維持されているので、偽色を抑える効果は失われていない。

なお、本実施形態の画像処理部１００ではブロック中心の注目画素のカラーフィルタの色がＲである場合について例示したが、Ｇ，Ｂ，Ｗのいずであってもかまわない。式（１）〜式（６）を用いた手法で原色の信号値を算出する点は変わらない。

なお、以下の変更をして実施することも可能である。

原色の信号値を表す近似関数は必ずしも式（１）の形である必要はない。例えば式（１）は２次多項式であるが、その次数は２次以上であっても良い。また、式（１）は任意の関数をマクローリン展開した形であるが、それ以外の形でも良い。例えばフーリエ級数展開を用いれば式（１）は三角関数の重み付け和となる。三角関数以外にもウェーブレット解析に用いられる基底関数を用いてもよい。ただし、複数の基底関数の重み付け和の形にすると式（５）のを満たす解が求めやすい。また、原色の信号値を表す近似関数のパラメータの個数と前記原色成分の組み合わせで表現される色成分の近似関数のパラメータの個数の和が、パラメータ推定に用いる画素数以下であることが望ましい。

処理ブロックの形は必ずしも図４に示すような矩形である必要はない。例えば矩形ブロックの角に相当する４画素を処理ブロックに含めない処理であってもかまわない。

ブロック中心の注目画素以外の原色の信号値を算出してもよい。第1の実施形態では原色信号算出部１０３において、近似関数に注目画素の座標を代入しているが、代入する座標を変えることでブロック内の任意の位置の原色の信号値を算出することが可能である。画素の隙間の座標を代入することで、画素の補間に用いることもできる。

本実施形態の撮像部で用いたイメージセンサ１０２のカラーフィルタの各色成分の配列規則は、図２に示す色成分の配列規則に限定されない。例えば図４のようにＷＲＧＢの各色成分が配置されてもかまわない。

なお、例えば、原色成分の組み合わせで表現される色成分が、Ｗではなくマゼンタ(Ｍｇ)である場合には、マゼンタはＲとＢの和であるため、式（２）においてｗ_Ｒ＝ｗ_Ｂ＝１，ｗ_Ｇ＝０とすることでＷ画素と同様にデモザイク処理をすることができる。

式（５）の解き方は様々な方式を用いることができる。例えば、式（５）は変形すると

とできる。なお、Ｋは重みｗ_ｉの対角行列

である。また、ｓは信号値のベクトル

である。行列Ｗは画素の配置を記述する行列であり、

である。なおδはカラーフィルタの色成分の配列規則によって変化し、

で表される。式（９）の解は行列Ｗの一般化逆行列をＷ^＋として式（１４）で算出できる。

行列Ｗは画素とカラーフィルタの配置に依存するため、周期的な構造を持つイメージセンサでは有限個のパターンしか出現しない。例えば図２に示すイメージセンサの色成分の配列構造を全面に配したしたとしても、中心画素のカラーフィルタに依存した４パターンしか出現しない。また、行列Ｋの値も式（７）の行列Ｃを細かに変える場合であっても有限のパターンに限定できる。その場合、各カラーフィルタに及びＣに応じた行列(ＫＷ)^＋Ｋを事前に算出してメモリに蓄積し、撮像時にはカラーフィルタに応じた行列Ｗをメモリから読み出し式（１４）に応じて畳み込み演算を行うことで、画素毎の一般化逆行列や繰り返し演算のような計算コストの高い処理を削減することが可能である。

［第２の実施形態］
図５は、本実施形態の撮像装置２を示す図である。図１の撮像装置１とは、飽和判定部６０１、パラメータ算出部６０２，６０３をさらに備える点が異なる。

飽和判定部６０１は、信号値が撮像可能な値を超え、飽和しているＷ画素が、注目画素と対応する処理ブロック内にいくつ含まれるかを判定する。判定結果に応じて、注目画素の近似関数の導出をパラメータ算出部２０１、６０２、６０３のいずれでおこなうかを決定する。パラメータ算出部６０２、６０３は、パラメータ算出部２０１とは異なる方法で近似関数の導出をおこなう。

パラメータ算出部６０２は、ＲＧＢ画素つまり原色成分から得られた信号値のみを参照して、式（１）の近似関数ｆ_Ｒ(ｘ，ｙ),ｆ_Ｇ(ｘ，ｙ)，ｆ_Ｂ(ｘ，ｙ)のパラメータを算出する。つまり、式（５）を満たす、以下の式（１５）に示すパラメータを算出する。

なお、式（５）に示すf(x_i,ｙ_i,ｚ_i)は、式（１６）に変更される。

パラメータ算出部６０３は、ＲＧＢＷ画素それぞれの入力画像信号を参照して、式（１）の近似関数ｆ_Ｒ(ｘ，ｙ),ｆ_Ｇ(ｘ，ｙ)，ｆ_Ｂ(ｘ，ｙ)と式（８）の近似関数ｆ’_Ｗ(ｘ，ｙ)のパラメータを算出する。前述の通り、式（８）の近似関数は、原色成分の近似関数の和で定義される関数である。

次に、本実施形態の撮像装置２の動作について説明する。

図６は、本実施形態の撮像装置の動作を示すフローチャートである。

まず、撮像部１００から入力画像信号を取得する（ステップ１１）。本実施形態の撮像部１００のイメージセンサの色成分の配列規則は、第1の実施形態と同様に図４に示すものとする。

次に、入力画像信号中の画素を注目画素として設定する（ステップ１２）。

次に、飽和判定部６０１は処理ブロックに含まれる入力画像信号のＷ画素の中で飽和レベルに達している画素の数（以下、飽和Ｗ画素素数と記載）を数える（ステップ１３）。飽和レベルと判定する方法は、所定の閾値を設けて閾値以上の画素値を有する画素を飽和画素とする。飽和した場合、信号値はクリッピングされて一定の値となる。なお、飽和した信号値が読み出し時に信号値が多少変化する場合もあるため、クリッピングされた場合の一定の値から所定の値を引いた値を閾値とするのが好ましい。

飽和判定部６０１が、数えた飽和Ｗ画素数があらかじめ定めた基準Ｎ１よりも大きいかを判定する(ステップ１４)。

飽和Ｗ画素数がＮ１よりも大きい場合には（ステップ１４，Ｙｅｓ）、パラメータ算出部６０２が原色成分の信号値のみを参照して、式（１）に示す近似関数のパラメータを導出する。

飽和Ｗ画素数がＮ１よりも小さい場合には（ステップ１４，Ｎｏ）、飽和判定部６０１はさらに、飽和Ｗ画素数が０よりも大きいかを判定する（ステップ１６）。なお、ステップ１６における判定基準を０ではなくＮ２（０＜Ｎ２＜Ｎ１）としてもよい。

処理ブロック内に飽和Ｗ画素が無い場合（ステップ１６，Ｙｅｓ）、パラメータ算出部６０３は式（１）（８）の近似関数のパラメータを導出する（ステップ１７）。

処理ブロック内に飽和Ｗ画素がある場合（ステップ１６，Ｎｏ）、パラメータ算出部２０１は、第１の実施形態同様に式（１）（２）の近似関数のパラメータを導出する（ステップ１８）。

原色成分算出部２０２は、ステップ１５、１７、１８で導出した近似関数（１）に注目画素の座標を代入し、出力画像信号を得る（ステップ１９）。

次に、入力画像信号の全ての画素について出力画像信号を算出したか判定する（ステップ２０）。

入力画像信号の全ての画素について出力画像信号を算出した場合には（ステップ２０，Ｎｏ）、ステップ１２に戻り、次の画素を注目画素とする。入力画像信号の全ての画素について出力画像信号を算出した場合には（ステップ２０，Ｙｅｓ）、得られた１フレーム分の出力画像信号を出力し（ステップ２１）処理を終了する。

このように、本実施形態の撮像装置によれば、飽和した画素数に応じて近似関数の導出方法を切り替えることで、より一層高画質なカラー画像を出力できる。

具体的には、処理ブロック内の飽和Ｗ画素数が多い場合にＷ画素の信号値を含めた近似関数の導出を行うと、原色成分の近似関数にずれが生じ、画質が劣化する。本実施形態では、基準よりも飽和Ｗ画素数が多い場合には、Ｗ画素の信号値及び近似関数を含めず原色色成分のみで近似関数を導出するため、飽和に対してロバストになる。

また、処理ブロック内に飽和Ｗ画素が存しない場合には、Ｗ画素の近似関数の定数項に関してもＲＧＢ画素の和であるという条件を加えても、画像の劣化とはならず、より好適な近似関数を導出することが可能となる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、上記の各実施形態の撮像装置の画像処理部は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。実行されるプログラムは、上述した各機能を含むモジュール構成となっている。プログラムはインストール可能な形式又は実行可能な形式のファイルでCD-ROM、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ROM等に予め組み込んで提供してもよい。

１，２・・・撮像装置
１００・・・撮像部
１０１・・・レンズ
１０２・・・イメージセンサ
２００，２１０・・・画像処理部
２０１・・・パラメータ算出部
２０２・・・原色信号算出部
６０１・・・判定部
６０２，６０３・・・パラメータ算出部

Claims

画素毎に所定の配列規則に従って、複数の原色成分のうち１の色成分、または前記原色成分の組み合わせで表現される色成分、の信号値を有する入力画像信号の各画素の位置を変数とし、それぞれの前記色成分、の信号値を近似し、かつ下記（ａ）〜（ｃ）を満たす、近似関数を、前記色成分毎に推定する推定部と、
（ａ）前記原色成分の近似関数の導関数同士が等しいこと；
（ｂ）前記原色成分の組み合わせで表現される色成分の近似関数の導関数は、前記組み合わせに該当する前記原色成分について求める前記近似関数の導関数の和と等しいこと；
（ｃ）前記原色成分の組み合わせで表現される色成分の近似関数の定数項は、前記複数の原色成分の近似関数とは独立に定義されること；
求められた複数の原色成分の前記近似関数に各画素の出力画像信号での位置を代入することで、画素毎に複数の原色成分の信号値のセットを有する前記出力画像信号の信号値を求める算出部と、
を備えたことを特徴とする画像処理装置。
処理対象の注目画素の周辺領域に含まれ、前記原色成分の組み合わせで表現される色成分、の信号値を有する画素のうち、信号値が基準を越えるものの画素数を求める判定部をさらに備え、
前記推定部は、前記信号値が基準を超えるものの数が第１の基準以下であった場合、前記原色成分の組み合わせで表現される色成分の近似関数の定数項を前記複数の原色成分を表現する近似関数の定数項の重み付け和とすること、
を特徴とする請求項１記載の画像処理装置。
前記推定部は、前記信号値が基準を超えるものの数が、前記第１の基準よりも大きな第２の基準以上であった場合、前記原色成分の近似関数のみを導出すること、
を特徴とする請求項２記載の画像処理装置。
前記複数の原色成分を表現する近似関数と、前記原色成分の組み合わせで表現される色成分を表現する近似関数は多項式であることを特徴とする請求項１〜３のいずれか１項記載の画像処理装置。
前記複数の原色成分を表現する近似関数と、前記原色成分の組み合わせで表現される色成分を表現する近似関数は、三角関数の重み付け和であることを特徴とする請求項１〜３のいずれか１項記載の画像処理装置。
画素毎に所定の配列規則に従って、複数の原色成分のうち１の色成分、または前記原色成分の組み合わせで表現される色成分、の信号値を有する入力画像信号の各画素の位置を変数とし、それぞれの前記色成分の信号値を近似し、かつ下記（ａ）〜（ｃ）を満たす近似関数を前記色成分毎に推定するステップと、
（ａ）前記原色成分の近似関数の導関数同士が等しいこと；
（ｂ）前記原色成分の組み合わせで表現される色成分の近似関数の導関数は、前記組み合わせに該当する前記原色成分について求める前記近似関数の導関数の和と等しいこと；
（ｃ）前記原色成分の組み合わせで表現される色成分の近似関数の定数項は、前記複数の原色成分の近似関数とは独立に定義されること；
求められた複数の原色成分の前記近似関数に各画素の出力画像信号での位置を代入することで、画素毎に複数の原色成分の信号値のセットを有する前記出力画像信号の信号値を求めるステップと、
を備えたことを特徴とする画像処理方法。
複数の原色成分のうち１の原色成分の色成分の光、または前記原色成分の組み合わせで表現される色成分の光、に感度を有する撮像素子が画素毎に所定の配列規則に従って配置されているイメージセンサを有する撮像部と、
前記撮像部が撮像した入力画像信号での各画素の位置を変数とし、それぞれの前記色成分の信号値を近似し、かつ下記（ａ）〜（ｃ）を満たす、近似関数を前記色成分毎に推定する推定部と、
（ａ）前記原色成分の近似関数の導関数同士が等しいこと；
（ｂ）前記原色成分の組み合わせで表現される色成分の近似関数の導関数は、前記組み合わせに該当する前記原色成分について求める前記近似関数の導関数の和と等しいこと；
（ｃ）前記原色成分の組み合わせで表現される色成分の近似関数の定数項は、前記複数の原色成分の近似関数とは独立に定義されること；
求められた複数の原色成分の前記近似関数に各画素の出力画像信号での位置を代入することで、画素毎に複数の原色成分の信号値のセットを有する前記出力画像信号の信号値を求める算出部と、
を備えたことを特徴とする撮像装置。
前記撮像部は、前記原色成分の組み合わせで表現される色成分の光であるＷに感度を有する撮像素子を有することを特徴とする請求項７記載の撮像装置。