JP5546166B2 - 撮像装置、信号処理方法、及びプログラム - Google Patents

Description

本発明は、撮像装置、信号処理方法、及びプログラムに関し、撮像装置により取得した多バンドの画像信号に係る信号処理技術に関する。

被写体のスペクトルを記録したスペクトル画像データを取得するために、従来のＲ（赤）、Ｇ（緑）、Ｂ（青）からなる３バンドよりも多いバンド数を有する多バンドカメラ（マルチバンドカメラ）の開発が進んでいる。例えば、特許文献１には、６バンド以上のカラーフィルタを有する多バンドカメラを構成し、被写体のスペクトルデータを取得することが記載されている。

特開２００３−８７８０６号公報

しかしながら、多バンドカメラによって取得したスペクトル画像データはデータ量が大きくなる。例えば、４００ｎｍ〜７００ｎｍの被写体のスペクトルを１０ｎｍ刻みで取得して記録する場合には、３１次元の色情報を扱わなければならず、従来のＲＧＢ３バンドカメラと比較すると１０倍以上のデータ記憶容量が必要となる。また、このようなスペクトル画像を表示可能な表示デバイスは、現状、特殊な表示デバイスに限られている。従来の表示デバイスは、Ｒ、Ｇ、Ｂの３原色によりカラー表示を行うものが多い。このような従来の表示デバイスに表示可能な画像データを生成するためには、膨大な量のスペクトル画像データをＲ、Ｇ、Ｂの画像データに変換する必要がある。そのため、特に多バンドカメラでの撮影結果のプレビューや撮影画像を用いたＡＦ（オートフォーカス）処理等の即時性が要求される処理において、処理時間が増大してしまうという問題があった。

本発明は、このような事情に鑑みてなされたものであり、多バンドカメラにおいて撮影画像を即時に確認できるようにすることを目的とする。

本発明に係る撮像装置は、色の異なる４種以上のカラーフィルタを有する撮像素子が配置された撮像手段と、前記撮像手段から出力される前記４種以上のカラーフィルタに対応する出力信号から３刺激値に対応する３バンドの画像信号を生成する色数削減処理手段と、前記色数削減処理手段により生成された前記３バンドの画像信号に基づいて撮影光源の色温度を推定する色温度推定手段と、前記撮像手段から出力される前記４種以上のカラーフィルタに対応する出力信号のホワイトバランス処理を、前記色温度推定手段により推定された前記色温度に基づき行うホワイトバランス処理手段と、前記色数削減処理手段により生成された前記画像信号に基づいて、前記撮像手段における被写体像の合焦に係る制御を行うオートフォーカス制御手段とを有することを特徴とする。

本発明によれば、色の異なる４種以上のカラーフィルタを有する撮像素子が配置された撮像手段から出力される４種以上のカラーフィルタに対応する出力信号から３バンドの画像信号を生成して表示するので、撮影画像を即時に確認することができる。

本発明の第１の実施形態における撮像装置の構成例を示す図である。 センサ部におけるカラーフィルタの配置を説明するための図である。 カラーフィルタの分光感度特性の一例を示す図である。 第１の実施形態における色数削減処理部での処理例を示す図である。 本発明の第２の実施形態における撮像装置の構成例を示す図である。 色数削減処理部での処理の他の例を示す図である。 色数削減処理部での処理の他の例を示す図である。 本実施形態に係る信号処理を実行可能なコンピュータ機能を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、第１の実施形態に係る撮像装置（例えば、デジタルスチルカメラ）の構成例を示すブロック図である。

図１において、被写体からの光（被写体像）は、フォーカスレンズ１０１によりセンサ部１０３上に合焦するよう調整され、かつアイリス１０２によって光量が調整されてセンサ部１０３に達する。センサ部（撮像部）１０３は、色の異なる４種以上のカラーフィルタを有する撮像素子が配置されている。本実施形態では、例えば図２に示すような６種類のカラーフィルタを素子面上に有する撮像素子が配置されているものとする。

各カラーフィルタに対応する撮像素子の分光感度特性の一例を図３に示す。図３において、３０１は図２におけるカラーフィルタＲ１に対応する撮像素子の分光感度特性に相当し、３０２は図２におけるカラーフィルタＲ２に対応する撮像素子の分光感度特性に相当する。また、３０３は図２におけるカラーフィルタＧ１に対応する撮像素子の分光感度特性に相当し、３０４は図２におけるカラーフィルタＧ２に対応する撮像素子の分光感度特性に相当する。また、３０５は図２におけるカラーフィルタＢ１に対応する撮像素子の分光感度特性に相当し、３０６は図２におけるカラーフィルタＢ２に対応する撮像素子の分光感度特性に相当する。

ここで、今後の説明のため、各カラーフィルタに対応した撮像素子を、以下のような３種のグループに分類する。分光感度特性３０１（Ｒ１）、３０２（Ｒ２）に対応するＲ（赤）のグループ、分光感度特性３０３（Ｇ１）、３０４（Ｇ２）に対応するＧ（緑）のグループ、分光感度特性３０５（Ｂ１）、３０６（Ｂ２）対応するＢ（青）のグループの３つのグループに分類する。これらのグループは、予め設定した３刺激値に対応する３種の異なる基本波長とカラーフィルタに対応した撮像素子の分光感度特性（カラーフィルタの主波長）との差に応じて決定される。例えば、３種の異なる基本波長としてＲＧＢ表色系における等色関数が最大になる波長（Ｒ≒６００ｎｍ、Ｇ≒５４０ｎｍ、Ｂ≒４５０ｎｍ）を設定し、その等色関数が最大になる波長と各撮像素子の分光感度特性が最大になる波長との差によって決定される。例えば、３０１に示す分光感度特性は約６２０ｎｍで最大となり、等色関数のＲが最大になる波長（６００ｎｍ）との差は２０ｎｍ、同様にＧが最大になる波長（５４０ｎｍ）との差は８０ｎｍ、Ｂが最大になる波長（４５０ｎｍ）との差は１７０ｎｍである。したがって、分光感度特性３０１を示すカラーフィルタに対応した撮像素子の場合には、差が最も小さくなるＲのグループに分類される。

なお、本実施形態においては、ＲＧＢ表色系における等色関数が最大となる波長を３刺激値に対応する３種の異なる基本波長として、各撮像素子の分光感度特性が最大となる波長との差に応じて撮像素子を分類したが、これに限るものでない。例えば、ＸＹＺ表色系における等色関数の平均波長を３刺激値に対応する３種の異なる基本波長として、各撮像素子の分光感度特性の平均波長との差によって撮像素子を分類してもよい。

センサ部１０３に達した被写体の光（被写体像）は、センサ部１０３の各素子（以降、画素と称す）で光電変換され、１画素毎に電気信号が読み出される。読み出された電気信号は、ＣＤＳ／ＡＧＣ回路（相関二重サンプリング／ゲイン制御回路）１０４においてサンプリングされて所定の利得で増幅された後、Ａ／Ｄ変換回路（アナログ−デジタル変換回路）１０５でデジタル信号に変換される。Ａ／Ｄ変換されたデジタル信号は、バッファメモリ１０６に書き込まれ、以下に説明する信号処理を行う際に読み出される。

本実施形態において、センサ部１０３から出力され前述した処理が施されてバッファメモリ１０６に格納された画像信号（デジタル信号）は、その後、大きく二つに分岐して信号処理が行われる。一方は、色数削減処理部１１０〜ガンマ処理部１１３等における第１の信号処理である。第１の信号処理では、ユーザが撮影画像を事前に確認するプレビュー画像をＴＦＴ液晶や有機ＥＬ等の表示デバイスであるモニタ部１１８に表示し、かつフォーカスレンズ１０１等を制御する量を決定するために使用する画像信号を生成する。他方は、補間部１０７〜ホワイトバランス処理部１０８等における第２の信号処理である。第２の信号処理では、記録部の１つである記録媒体１２３に記録する高精細な画像信号（高精度の画像信号）を生成する。

まず、プレビュー表示を行うための画像信号を生成する第１の信号処理に関して詳細を説明する。

色数削減処理部１１０は、バッファメモリ１０６に格納されたＲ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２の６チャンネル（６バンド）の画像データから色数を減少させ、モニタ部１１８にて表示可能なＲ、Ｇ、Ｂの３チャンネル（３バンド）の画像データを生成する。このとき、モニタ部１１８にて表示可能な画素数がセンサ部１０３の画素数より少ない場合には、画素の間引き処理を同時に行うことが望ましい。

図４は、色数削減処理部１１０における処理を説明するための図である。図４（Ａ）は、センサ部１０３における画素の配置を示しており、横Ｍ個、縦Ｎ個の画素があるものとする（Ｍ，Ｎは任意の自然数、以下についても同様）。また、図４（Ｂ）、図４（Ｃ）、及び図４（Ｄ）は、色数削減処理部１１０での処理結果に相当するものを示しており、横（Ｍ／２）個、縦（Ｎ／２）個の画素をＲ、Ｇ、Ｂの３プレーンにおいてそれぞれ有する画像データを意味している。なお、本実施形態においては、モニタ部１１８にて表示可能な画素数が、横（Ｍ／２）個、縦（Ｎ／２）個であるものとする。

以下、図４を参照して本実施形態における色数削減処理部１１０における処理を説明する。図４に示す例では、図４（Ａ）における２×２画素を図４（Ｂ）〜図４（Ｄ）における１画素とみなして、色数の削減と画素の間引きを同時に行っている。具体的には、例えば、図４（Ａ）において左上の４画素は、Ｒ１、Ｒ２、Ｇ１、Ｇ２の画素が配置されており、これらの中から同じグループの画素の出力信号（画素値）を加算して、対応するＲ、Ｇ、Ｂの画素値としている。

ここでは、Ｒ＝Ｒ１＋Ｒ２として図４（Ｂ）に示すＲプレーンの左上の画素の画素値とし、Ｇ＝Ｇ１＋Ｇ２として図４（Ｃ）に示すＧプレーンの左上の画素の画素値とする。また、図４（Ａ）において左上の４画素中にＢのグループの画素が含まれていないので、図４（Ｄ）に示すＢプレーンの左上の画素の画素値は求めることができない。このような画素値を求めることができない画素については、補間部１１１での処理によりＲ、Ｇ、Ｂのプレーン毎に周囲の画素値を基に画素値を補間する。

前述のように図４（Ａ）における２×２画素を図４（Ｂ）〜図４（Ｄ）における１画素とみなして、色数削減処理部１１０で色数削減に係る処理を行うと、最終的には図４（Ｂ）〜図４（Ｄ）に示したＲ、Ｇ、Ｂの３プレーンの画像データとなる。Ｒプレーン及びＢプレーンは、市松模様状に画素が存在し、Ｒの画素が存在する位置ではＢの画素が存在せず、逆にＢの画素が存在する位置ではＲの画素が存在しない関係にある。Ｇプレーンは、すべての画素に関し画素値を有する。

このように、各グループの画素の出力信号（画素値）を加算してＲ、Ｇ、Ｂの３プレーン画像を生成することにより、各画素に含まれるノイズが低減される。特に、図３に示した各分光感度特性は、色数を６にしたために従来のＲ、Ｇ、Ｂ３バンドのカラーフィルタからなる分光感度特性より狭帯域になる。そのため、感度不足によりノイズが増大してしまうことが懸念される。それに対して、前述のようにノイズが低減された画像信号を用いて色温度推定部１１５やＡＦ制御部１２０等での処理を行うことで、簡易的に多バンドカメラのプレビューを行うだけでなく、各処理の精度や処理速度を向上させることが可能となる。

図１に戻り、色数削減処理部１１０で得られた画像データは、補間部１１１にて画素補間される。補間部１１１は、図４（Ｂ）に示したＲプレーン、及び図４（Ｄ）に示したＢプレーンにおいて画素値がない画素（画素値を求めることができない画素）に関し、その位置における画素値を周囲の画素の画素値から推定する。例えば、画素値の推定は、隣接する上下左右の画素値の平均値をとることでなされる。ただし、補間処理はこれに限るものではなく、例えばＧプレーンの画像データからエッジ方向を検出し、その方向に沿った画素の重みを大きくした重み付け平均をとることで、より高画質な画素補間を行うことが可能である。補間部１１１での処理により欠落のない完全に同時化されたＲ、Ｇ、Ｂの３プレーンからなる画像データが取得される。

次に、ホワイトバランス処理部（ＷＢ処理部）１１２は、ホワイトバランス処理を行う。ホワイトバランス処理は、あらゆる光源下で撮影しても無彩色の被写体に対してはＲ＝Ｇ＝ＢとなるようＲ、Ｂの画素値を係数倍する処理であり、Ｒ＝αＲ、Ｂ＝βＢで表される。ただし、係数α及びβは、後述する色温度推定部１１５にて予め求められる係数である。

ガンマ処理部（γ）１１３は、ホワイトバランス処理された画像データに対して、モニタ部１１８のガンマ特性をキャンセルするようガンマ変換を行う。具体的には、モニタ部１１８のガンマ特性が２．２で表されるとき、各Ｒ、Ｇ、Ｂの画像データに１／２．２（≒０．４５）を乗ずることでなされる。前述のように色数削減処理部１１０〜ガンマ処理部１１３での信号処理により生成されたプレビュー表示のための画像データは、バッファメモリ１１４に書き込まれる。

表示制御部１１６は、モニタ部１１８に表示する表示用信号の生成及び制御を行う。バッファメモリ１１４に書き込まれた画像データは、表示制御部１１６を介してＤ／Ａ変換回路（デジタル−アナログ変換回路）１１７でアナログ信号に変換され、モニタ部１１８に表示される。

色温度推定部１１５は、バッファメモリ１１４に書き込まれた画像データに基づいて撮影光源の色温度を推定して、ホワイトバランス係数α及びβを決定する。色温度推定部１１５は、例えばＲ、Ｇ、Ｂの各プレーンの画素値の平均をそれぞれＲave、Ｇave、Ｂaveとすると、α＝Ｇave／Ｒave、β＝Ｇave／Ｂaveとして係数α及びβを算出する。ただし、色温度推定部１１５における係数α及びβの算出方法は、これに限るものではない。例えば、画像データの無彩色領域を抽出し、その領域におけるＲ、Ｇ、Ｂの各プレーンの画素値の平均から前述と同様にしてホワイトバランス係数α及びβを求めるなど、様々な構成をとることができる。色温度推定処理に係るアルゴリズムに関しては、既にＲ、Ｇ、Ｂの３プレーンからなる画像に関しては既に様々な提案がなされている。本実施形態においても、Ｒ、Ｇ、Ｂの３プレーンの画像データに色数を削減することにより、既に提案された色温度推定処理のアルゴリズムを適用することが可能となる。

オートフォーカス制御部（ＡＦ制御部）１２０は、被写体の光がセンサ部１０３上に結像するよう被写体像の合焦に係る制御を行い、フォーカスレンズ１０１を駆動する。オートフォーカス制御部１２０での処理では、バッファメモリ１１４に書き込まれたＲ、Ｇ、Ｂの３プレーンからなる画像データのＧプレーンのみの画像データにおいて高周波成分を抽出し、そのエネルギーを求める。具体的には、ハイパスフィルタをＧプレーンの画像データに適用して高周波成分を抽出し、抽出した高周波成分の画像全体の積分値を高周波成分のエネルギーとする。

まず、オートフォーカス制御部１２０は、フォーカスレンズ１０１を所定の駆動量で変化させていき、画像データの高周波成分のエネルギーが最大となるフォーカスレンズ１０１の位置を検出する。次に、検出した位置にフォーカスレンズ１０１が位置するようフォーカスレンズ１０１を制御する。このように画像の高周波成分を抽出してオートフォーカス制御を行う場合には、高周波なノイズの影響を受けやすい。しかし、本実施形態によれば、よりノイズに関し有利なＲ、Ｇ、Ｂの３プレーンの画像を簡易的に生成し、その画像に基づいて被写体像の合焦に係るオートフォーカス制御を行うため、フォーカスの精度や処理速度の向上が期待できる。

また、オートフォーカス制御部１２０は、例えば人物の顔など、特定の被写体の位置を画像データから検出し、その位置における高周波成分のエネルギーが最大になるようフォーカスレンズ１０１の制御量を決定してもよい。このような処理を行う場合であっても、色数削減処理部１１０にてＲ、Ｇ、Ｂの３プレーンの画像を形成することにより、既に知られている多くの被写体検出等の技術を容易に適用することが可能となる。

自動露出制御部（ＡＥ制御部）１１９は、バッファメモリ１１４に書き込まれる画像データが適切な明るさになるようアイリス１０２の開口調整を行う。本実施形態では、例えばバッファメモリ１１４に書き込まれる画像データにおけるＧプレーンの画像データの平均値が所定の値となるように開口調整がなされる。また、自動露出に係る制御方法は、これに限るものでなく、例えば、画像データの中心領域で重みが大きくなるよう加重平均をとり、加重平均値が所定の値となるよう制御してもよい。

次に、記録媒体１２３に記録する高精細な画像信号（高精度の画像信号）を生成する第２の信号処理（高精度画像生成処理）に関して説明する。

本実施形態における撮像装置では、同時化されたＲ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２の６プレーンからなる画像データを記録媒体１２３に記録する。記録媒体１２３に記録された画像データは、後にパーソナルコンピュータ等によって専用アプリケーション等を介してユーザの目的に応じて加工・編集されることを想定している。したがって、６プレーンからなる画像データは、加工することなくモニタやプリンタ等の汎用的なデバイスにより可視化して出力することは困難な画像データである。なお、本実施形態においては、第２の信号処理（高精度画像生成処理）は、ユーザが不図示のシャッターボタンを押した場合にのみ実行されるものとする。

補間部１０７は、バッファメモリ１０６に格納された画像データに対して、Ｒ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２の６プレーンの各々にて補間処理を行う。補間部１０７は、例えば補間の対象となる画素の近傍である縦５画素分、横５画素分の範囲内の各画素値から最適な補間値を決定する。具体的には、図２に示した例において、左上から右に３番目、下に３番目のＲ１の画素を対象画素とした場合、以下のようにして対象画素におけるＲ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２の６プレーンの画素値を求める。対象画素のＲ２の画素値を求めるには、近傍の５×５画素の領域中にＲ２の画素が２つあるので、それらの画素値の平均値を対象画素におけるＲ２の画素値とする。同様に、対象画素のＧ１の画素値を求めるには、近傍領域中にＧ１の画素が６個あるので、それらの画素値の平均値を対象画素におけるＧ１の画素値とする。対象画素のＧ２、Ｂ１、Ｂ２の画素値に関しても、同様にして対象画素における画素値を取得する。

なお、補間部１０７による補間方法は、これに限るものではない。例えば、Ｇ１、Ｇ２の画素を同一のＧとみなしＧの画像データを予め生成して、Ｇの画像データのエッジ情報を検出し、対象画素の近傍領域において重みを適応的に変えた加重平均を行うなど様々な方法を用いることができる。

ホワイトバランス処理部（ＷＢ処理部）１０８は、Ｒ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２の６プレーンからなる画像データについてホワイトバランス処理を行う。ホワイトバランス処理に用いる補正係数は、これらの６プレーンの画像データから算出するようにしてもよいが、本実施形態では、色温度推定部１１５で求めた係数α及びβをそのまま用いることにする。この場合、ホワイトバランス処理後の画像データは、Ｒ１＝α・Ｒ１・Ｒ２ave／Ｒ１ave、Ｒ２＝α・Ｒ２・Ｒ１ave／Ｒ２aveとなる。同様に、Ｂ１＝β・Ｂ１・Ｂ２ave／Ｂ１ave、Ｂ２＝β・Ｂ２・Ｂ１ave／Ｂ２ave、Ｇ１＝Ｇ１・Ｇ２ave／Ｇ１ave、Ｇ２＝Ｇ２・Ｇ１ave／Ｇ２aveとなる。ここで、Ｒ１ave、Ｒ２ave、Ｇ１ave、Ｇ２ave、Ｂ１ave、Ｂ２aveは、各プレーンにおける画素の平均値である。このように、色温度推定部１１５において、Ｒ、Ｇ、Ｂの３プレーンの画像データから既知の高度なアルゴリズムを使用して得たホワイトバランス係数を用いることにより、より簡易的に高精度なホワイトバランス補正を行うことができる。

なお、Ｒ１ave、Ｒ２ave、Ｇ１ave、Ｇ２ave、Ｂ１ave、Ｂ２aveは各プレーンにおける画素の平均値としたが、これに限るものでないことはいうまでもない。例えば、色温度推定部１１５にて無彩色領域を抽出し係数α及びβを決定した場合、その無彩色領域に対応するＲ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２の平均値をＲ１ave、Ｒ２ave、Ｇ１ave、Ｇ２ave、Ｂ１ave、Ｂ２aveとしてもよい。

ホワイトバランス処理部１０８でホワイトバランス補正された画像データは、バッファメモリ１０９に書き込まれる。バッファメモリ１０９に書き込まれた画像は、記録データ生成部１２１で圧縮処理され、撮影日時やバッファメモリ１１４に書き込まれたプレビュー画像に係るタグ情報が付加される。そして、記録処理部１２２を介して、磁気テープ、光ディスクや半導体メモリ等の記録媒体１２３に記録される。

第１の実施形態によれば、Ｒ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２の画素の出力信号（画素値）を３刺激値（Ｒ、Ｇ、Ｂ）に対応させて分類し、各分類における出力信号（画素値）を加算処理することで色数を削減しＲ、Ｇ、Ｂの３バンドの画像信号を生成する。そして、この生成されたＲ、Ｇ、Ｂの３バンドの画像信号を用いて、プレビュー表示やオートフォーカス制御を行う。これにより、撮影画像を容易かつ即時に確認することができるとともに、プレビュー画像の画像表示やオートフォーカス制御に係る各処理の精度や処理速度を向上させることが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図５は、第２の実施形態に係る撮像装置（例えば、デジタルスチルカメラ）の構成例を示すブロック図である。この図５において、図１に示した構成要素に対応する構成要素には同一の符号を付している。以下では、第１の実施形態と異なる点について説明する。

第２の実施形態における撮像装置では、第１の実施形態における補間部１０７と補間部１１１とが共通化され、補間部１０７のみが設けられている。すなわち、補間部１０７での補間処理後に、プレビュー用の画像データを生成する第１の信号処理と、記録媒体１２３に記録する画像データを生成する第２の信号処理（高精度画像生成処理）とに分岐される。

また、第２の実施形態においては、被写体の分光画像情報を記録するため、ＸＹＺＰＱＲと呼ばれる色空間で定義される画像データを生成するものとする。ここで、ＸＹＺはＸＹＺ表色系におけるＸＹＺ値と等価である。ＰＱＲは、ＸＹＺ値から推定した分光情報と、実際の被写体における分光情報との差分をなるべく小さくするために定義された色空間である。

本実施形態では、色数削減処理部１１０にて生成したＲ、Ｇ、Ｂの３プレーンの画像データからホワイトバランス処理部１１２及びＸＹＺ色処理部５０１での処理を行うことで、ＸＹＺの信号を取得する。ここで、色数削減処理部１１０は、既に補間がなされている画像データが供給されるため、Ｒ＝Ｒ１＋Ｒ２、Ｇ＝Ｇ１＋Ｇ２、Ｂ＝Ｂ１＋Ｂ２とすることで同時化されたＲ、Ｇ、Ｂの３プレーンの画像データを取得する。また、ＸＹＺ色処理部５０１は、例えば画素毎に次式のマトリクス演算にてＲＧＢの画像データからＸＹＺの画像データに変換を行う。

但し、a₁₁〜a₃₃はマトリクスの係数であり、予め決められた値である。

色数削減処理部１０１、ホワイトバランス処理部１１２、及びＸＹＺ色処理部５０１にて処理された画像データは、バッファメモリ１１４に書き込まれる。バッファメモリ１１４に書き込まれた画像データは、第１の実施形態と同様にして、モニタ部１１８にプレビュー画像として表示される。また、バッファメモリ１１４に書き込まれた画像データは、第１の実施形態と同様にして、色温度推定部１１５、自動露出制御部１１９、オートフォーカス制御部１２０での処理にて参照される。

一方、ホワイトバランス処理部１０８及びＰＱＲ色処理部５０２での処理を行うことで、ＰＱＲの信号を取得する。すなわち、ホワイトバランス処理部１０８は、補間部１０７にて補間処理され同時化されたＲ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２の６プレーンの画像データに対し、ホワイトバランス補正を第１の実施形態と同様にして行う。ＰＱＲ色処理部５０２は、例えば画素毎に次式のマトリクス演算にて６プレーンの画像データから各画素のＰＱＲ値を算出する。

但し、b₁₁〜b₃₆はマトリクスの係数であり、予め決められた値である。

ホワイトバランス処理部１０８及びＰＱＲ色処理部５０２にて生成された画像データは、バッファメモリ１０９に書き込まれる。バッファメモリ１０９に書き込まれた画像データは、記録データ生成部１２１にてバッファメモリ１１４に書き込まれたＸＹＺ画像データと合成され、記録媒体１２３に記録するＸＹＺＰＱＲの６プレーンの画像データになる。

記録データ選択部５０３は、ＸＹＺＰＱＲの６プレーンの画像データを記録媒体１２３に記録するか、及びＸＹＺのみの３プレーンの画像データを記録媒体１２３に記録するかを、不図示のユーザインタフェース等を用いたユーザからの指示に応じて選択する。このように記録媒体１２３に記録する画像データを選択可能にすることで、ＸＹＺＰＱＲの６プレーンの画像データを必要としないユーザに対しては、ＸＹＺの３プレーンの画像データのみを記録することが可能になる。そのため、ユーザの目的に応じて画像データの記録に要する記録容量を少なくすることができる。また、前述した説明ではＸＹＺの画像データを記録することとしたが、これに限るものではなく、例えばｓＲＧＢやＡｄｏｂｅＲＧＢなど、標準的な色空間で定義されるＲＧＢ値等にＸＹＺ値を変換し、記録するよう構成してもよい。このように構成することで、より汎用的な画像データが獲得できる。

第２の実施形態によれば、ＸＹＺの画像データとＰＱＲの画像データとを別に生成するため、ユーザの目的に応じた画像データを記録することが可能になる。また、ＸＹＺの画像データを、色数削減処理により生成したＲ、Ｇ、Ｂの画像データから算出することにより、人間の視覚特性上、より知覚しやすいＸＹＺの画像データにおけるノイズを減少させることができる。また、第２の実施形態によれば、第１の実施形態と同様に、撮影画像を容易かつ即時に確認することができるとともに、プレビュー表示やオートフォーカス制御に係る各処理の精度や処理速度を向上させることが可能となる。

なお、前述した第１の実施形態において、色数削減処理部１０１での処理は、図４を参照して説明した処理に限るものではなく、センサ部１０３における画素の配列が異なる場合やモニタ部１１８の解像度が異なる場合等、様々な場合について対応できる。また、第１の実施形態においては、色数削減処理部１０１で生成されるＲ、Ｇ、Ｂの３プレーンの画像解像度と、モニタ部１１８の解像度が同じであるものとして説明を行ったが、これに限るものではない。色数削減処理部１０１で生成されるＲ、Ｇ、Ｂの３プレーンの画像データについて、表示制御部１１６で適切な解像度変換を行えば、モニタ部１１８がどのような解像度であってもよいことはいうまでもない。

図６及び図７は、前述した第１の実施形態において説明した処理とは異なる色数削減処理部１０１における処理例を説明するための図である。

図６には、センサ部１０３におけるカラーフィルタの配置が図２に示した例とは異なる場合の例を示している。図６に示す例では、図４に示した例と同様に、図６（Ａ）における２×２画素（４画素）から１画素を形成すると、図６（Ｂ）、図６（Ｃ）、図６（Ｄ）にそれぞれ示すＲ、Ｇ、Ｂの３プレーンの画像データとなる。図６に示す例では、４画素の画素がすべて同じグループであるので、Ｒ＝２・（Ｒ１＋Ｒ２）、Ｇ＝２・（Ｇ１＋Ｇ２）、Ｂ＝２・（Ｂ１＋Ｂ２）として表すことができる。このような場合には、Ｒ、Ｇ、Ｂの３プレーンの画像データにおいて、第１の実施形態で説明したものと比較して２倍の画素数から１画素が形成されるため、Ｓ／Ｎが３ｄＢ程度向上すると期待できる。

また、図７には、色数削減処理部１０１で生成されるＲ、Ｇ、Ｂの３プレーンの画像数が、センサ部１０３における画素数の縦（１／４）、横（１／４）である場合の例を示している。図７に示す例では、図７（Ａ）における４×４画素（１６画素）が図７（Ｂ）、図７（Ｃ）、図７（Ｄ）の１画素になるため、Ｒ、Ｇ、Ｂの各プレーンにおけるすべての画素に対して、各グループの画素が存在する。このような場合には、補間部１１１における処理が必要なくなり、より簡易にプレビュー用の画像データを取得することができる。

また、前述した第１及び第２の実施形態では、色数削減処理部１１０は、Ｒ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２の６種の出力信号を３種に分類して、各分類毎に加算処理することで色数を削減し３プレーンの画像を生成しているが、これに限るものではない。例えば、６種の出力信号から、３刺激値に対応する予め設定した３種の異なる基本波長とカラーフィルタに対応した撮像素子の分光感度特性（カラーフィルタの主波長）との差が最小になる３つの出力信号を選択して３プレーンの画像を生成するようにしても良い。

（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置又はシステム内のコンピュータ（ＣＰＵ又はＭＰＵ）に対し、前記実施形態の機能を実現するためのソフトウェアのプログラムを供給する。そして、そのシステム又は装置のコンピュータに格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、前記ソフトウェアのプログラム自体が前述した実施形態の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムをコンピュータに供給するための手段、例えばかかるプログラムを格納した記録媒体は本発明を構成する。かかるプログラムを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、供給されたプログラムがコンピュータにて稼働しているオペレーティングシステム又は他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムがコンピュータに係る機能拡張ボードや機能拡張ユニットに備わるメモリに格納された後、そのプログラムの指示に基づいてその機能拡張ボード等に備わるＣＰＵ等が実際の処理の一部又は全部を行う。その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

例えば、前述した各実施形態における信号処理は、図８に示すようなコンピュータ機能８００により実行可能であり、そのＣＰＵ８０１により前述した実施形態での動作が実施される。
コンピュータ機能８００は、図８に示すように、ＣＰＵ８０１と、ＲＯＭ８０２と、ＲＡＭ８０３とを備える。また、操作部（ＣＯＮＳ）８０９のコントローラ（ＣＯＮＳＣ）８０５と、ＣＲＴやＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）８１０のディスプレイコントローラ（ＤＩＳＰＣ）８０６とを備える。さらに、ハードディスク（ＨＤ）８１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）８１２のコントローラ（ＤＣＯＮＴ）８０７と、ネットワークインタフェースカード（ＮＩＣ）８０８とを備える。それら機能部８０１、８０２、８０３、８０５、８０６、８０７、８０８は、システムバス８０４を介して互いに通信可能に接続された構成としている。
ＣＰＵ８０１は、ＲＯＭ８０２又はＨＤ８１１に記憶されたソフトウェア、又はＳＴＤ８１２より供給されるソフトウェアを実行することで、システムバス８０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ８０１は、前述したような動作を行うための処理プログラムを、ＲＯＭ８０２、ＨＤ８１１、又はＳＴＤ８１２から読み出して実行することで、前述した実施形態での動作を実現するための制御を行う。ＲＡＭ８０３は、ＣＰＵ８０１の主メモリ又はワークエリア等として機能する。
ＣＯＮＳＣ８０５は、ＣＯＮＳ８０９からの指示入力を制御する。ＤＩＳＰＣ８０６は、ＤＩＳＰ８１０の表示を制御する。ＤＣＯＮＴ８０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び前述した実施形態における動作を実現する処理プログラム等を記憶するＨＤ８１１及びＳＴＤ８１２とのアクセスを制御する。ＮＩＣ８０８はネットワーク８１３上の他の装置と双方向にデータをやりとりする。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

Claims (5)

1. 色の異なる４種以上のカラーフィルタを有する撮像素子が配置された撮像手段と、
   前記撮像手段から出力される前記４種以上のカラーフィルタに対応する出力信号から３刺激値に対応する３バンドの画像信号を生成する色数削減処理手段と、
   前記色数削減処理手段により生成された前記３バンドの画像信号に基づいて撮影光源の色温度を推定する色温度推定手段と、
   前記撮像手段から出力される前記４種以上のカラーフィルタに対応する出力信号のホワイトバランス処理を、前記色温度推定手段により推定された前記色温度に基づき行うホワイトバランス処理手段と、
   前記色数削減処理手段により生成された前記画像信号に基づいて、前記撮像手段における被写体像の合焦に係る制御を行うオートフォーカス制御手段とを有することを特徴とする撮像装置。
2. 前記色数削減処理手段は、予め設定された３種の異なる基本波長と前記カラーフィルタの主波長との差に応じて前記４種以上のカラーフィルタを前記基本波長に対応する３種に分類し、各分類におけるカラーフィルタに対応する出力信号を加算して前記３バンドの画像信号を生成することを特徴とする請求項１記載の撮像装置。
3. 前記色数削減処理手段は、予め設定された３種の異なる基本波長と前記カラーフィルタの主波長との差が最小になる３種のカラーフィルタに対応する出力信号を前記４種以上のカラーフィルタに対応する出力信号から選択して前記３バンドの画像信号を生成することを特徴とする請求項１記載の撮像装置。
4. 色の異なる４種以上のカラーフィルタを有する撮像素子が配置された撮像手段から出力される前記４種以上のカラーフィルタに対応する出力信号から３刺激値に対応する３バンドの画像信号を生成する色数削減処理工程と、
   前記色数削減処理工程で生成された前記３バンドの画像信号に基づいて撮影光源の色温度を推定する色温度推定工程と、
   前記撮像手段から出力される前記４種以上のカラーフィルタに対応する出力信号のホワイトバランス処理を、前記色温度推定工程で推定された前記色温度に基づき行うホワイトバランス処理工程と、
   前記色数削減処理工程で生成された前記画像信号に基づいて、前記撮像手段における被写体像の合焦に係る制御を行うオートフォーカス制御工程とを有することを特徴とする信号処理方法。
5. 色の異なる４種以上のカラーフィルタを有する撮像素子が配置された撮像手段から出力される前記４種以上のカラーフィルタに対応する出力信号から３刺激値に対応する３バンドの画像信号を生成する色数削減処理ステップと、
   前記色数削減処理ステップで生成された前記３バンドの画像信号に基づいて撮影光源の色温度を推定する色温度推定ステップと、
   前記撮像手段から出力される前記４種以上のカラーフィルタに対応する出力信号のホワイトバランス処理を、前記色温度推定ステップで推定された前記色温度に基づき行うホワイトバランス処理ステップと、
   前記色数削減処理ステップで生成された前記画像信号に基づいて、前記撮像手段における被写体像の合焦に係る制御を行うオートフォーカス制御ステップとをコンピュータに実行させるためのプログラム。

Images