JP4983093B2

JP4983093B2 - 撮像装置および方法

Info

Publication number: JP4983093B2
Application number: JP2006135125A
Authority: JP
Inventors: 隆浩永野; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-05-15
Filing date: 2006-05-15
Publication date: 2012-07-25
Anticipated expiration: 2026-05-15
Also published as: EP1858264A3; EP1858264A2; US7880772B2; CN101076126A; US20070268377A1; CN101076126B; KR20070110797A; JP2007306477A

Description

本発明は撮像装置および方法に関し、特に、より正確な色の画像を撮影できるようにした撮像装置および方法に関する。

従来、カラーの画像を撮影するデジタルスチルカメラやデジタルビデオカメラが広く利用されている。

単板の撮像素子を用いてカラーの画像を撮影する場合、撮像素子のそれぞれの光電変換素子に、それぞれ異なる色の光を透過させる複数の種類のカラーフィルタが、図１で示されるベイヤー配列となるように分散配置される。

この場合のカラーフィルタは、光の３原色のうちの、図１においてRで示す赤、図１においてGで示す緑、図１においてBで示す青のいずれかに応じた分光特性とされる。

カラーフィルタは、いわゆる原色系であり、そのほかにも補色系のカラーフィルタが用いられている。補色系のカラーフィルタにおいては、輝度とRとの差、輝度とGとの差、および輝度とBとの差が検出される。

また、従来、Ｇ，Ｅ補間処理部が、Ｇが存在するラインでは、ライン内のＧが存在しない画素位置に、左右に隣接するＧを用いてＧを補間し、Ｅが存在するラインでは、ライン内のＥが存在しない画素位置に、左右に隣接するＥを補間し、全色補間処理部が、輝度信号Ｌおよびモザイク信号Ｍを用いて、注目画素位置にＲ，Ｇ，Ｂ，Ｅの補間値Ｃを算出し、Ｇ＋Ｅ生成処理部が、モザイク信号Ｍに基づいて新たな色成分Ｇ＋Ｅを生成し、全色補間処理部が、Ｇ＋Ｅおよびモザイク信号Ｍに基づいて、注目画素位置にＲ，Ｇ，Ｂ，Ｅの補間値Ｃ’を算出するようにしているものもある（例えば、特許文献１参照）。

特開２００５−１３６７６５号公報

しかしながら、従来の撮像装置において、赤外カットフィルタ、カラーフィルタ、光電変換素子の分光特性と、その後の信号処理とは、個々に検討されていた。そのため、撮像の部分と、信号処理とは、個別に最適化され、トータルでの最適化はなされていない。

その中でも、カラーフィルタの分光特性は、画像の色に関する多くの特性を決める要因となっている。カラーフィルタの分光特性は、例えば、RGBのそれぞれの原色毎に最適化されている。

ところが、カラーフィルタの分光特性は、本来理想とれさる等色関数から大きくずれている。

その原因として次の２つが挙げられる。

第１に、等色関数は、その座標系によって負の感度を含み、負の感度を物理的に実現することはできない。

第２に、カラーフィルタを単板の光電変換素子上に実装しなければならず、単板の光電変換素子上に実装することからくる制約、具体的には、濃度、膜厚限界、耐光性、耐熱性などの特性を満たす色素が限られ、これにより、等色関数により近い分光特性を実現することは非常に困難である。

図２は、RGBのカラーフィルタの分光特性の一例と、RGBの等色関数とを示す図である。図２において、白丸は、Bのカラーフィルタの分光特性を示し、白い三角は、Gのカラーフィルタの分光特性を示し、白い四角は、Rのカラーフィルタの分光特性を示す。

図２において、点線は、Bの等色関数を示し、一点鎖線は、Gの等色関数を示し、二点鎖線は、Rの等色関数を示す。

図２で示されるように、B、G、およびRの等色関数は、負の感度を含む。

Bのカラーフィルタの分光特性と、Bの等色関数とを比較すると、カラーフィルタの分光特性の感度は、400nm乃至550nmの波長帯域全体において、等色関数より大きい。Gのカラーフィルタの分光特性と、Gの等色関数とを比較すると、カラーフィルタの分光特性の感度は、特に、400nm乃至550nmの波長帯域全体において、等色関数より大きい。また、Rのカラーフィルタの分光特性と、Rの等色関数とを比較すると、カラーフィルタの分光特性の感度は、特に、630nm乃至700nmの波長帯域全体において、等色関数より大きい。

負の感度を持っている等色関数と比較すると、実際のカラーフィルタは、物理的な制約から負の感度を実現できないため、必ずその部分でずれが生じることになる。

このような分光特性のカラーフィルタを用いて撮影された画像は、色度図上のR、G、Bを頂点とする三角形の内部に相当する色で表現されることになる。この場合、三角形の外部の領域の色は、三角形の内部に縮退され、撮影された画像の基準となる座標のそれぞれの位置で示される色は、色度図上の座標のそれぞれの位置の色からずれてしまうことになる。このように従来の画像は、誤差を含み、色の再現性に問題が生じている。

本発明は、このような状況に鑑みてなされたものであり、より正確な色を再現する画像を撮像することができるようにするものである。

本発明の一側面の撮像装置は、相互に隣接する光電変換素子のうち、予め決められた位置の光電変換素子の出力の差分として得られる分光感度が、人間の目の色に対する感度を示す等色関数のいずれかを近似する、その光電変換素子がその決められた位置に配置されてなる撮像手段と、前記撮像手段の光電変換素子の出力のホワイトバランスを調整する調整手段と、ホワイトバランスが調整された光電変換素子の出力をカラーの画像の信号に変換する信号処理を前記撮像手段の出力に適用する信号処理手段とを備える。

前記撮像手段に縦横に相互に隣接して配置されている４つの光電変換素子のうちの第１の光電変換素子の出力と第２の光電変換素子の出力との差分として得られる分光感度が、光の３原色の等色関数のうちの、第１の等色関数を近似し、前記４つの光電変換素子のうちの第３の光電変換素子の出力と前記第１の光電変換素子の出力との差分として得られる分光感度が、光の３原色の等色関数のうちの、第２の等色関数を近似し、前記４つの光電変換素子のうちの第４の光電変換素子の出力と前記第１の光電変換素子の出力との差分として得られる分光感度が、光の３原色の等色関数のうちの、第３の等色関数を近似するようにすることができる。

前記撮像手段には、縦横に相互に隣接して配置されている前記第１の光電変換素子と前記第２の光電変換素子と前記第３の光電変換素子と前記第４の光電変換素子とからなる単位が縦または横に並ぶように配置することができる。

前記信号処理手段には、前記第１の光電変換素子毎に、前記第１の光電変換素子に隣接する前記第２の光電変換素子と前記第３の光電変換素子と前記第４の光電変換素子に対して、前記第１の光電変換素子の出力と前記第２の光電変換素子の出力との差分、前記第１の光電変換素子の出力と前記第３の光電変換素子の出力との差分、および前記第１の光電変換素子の出力と前記第４の光電変換素子の出力との差分を算出する第１の算出手段と、画素値を算出しようとするカラーの画像の画素の位置が、前記第１の光電変換素子の位置に対して、前記撮像手段における２つの光電変換素子の距離の半分だけ、左上、左下、右上、または右下にずれた位置のうちのいずれであるかを判定する判定手段と、判定の結果に応じて、カラーの画像の画素の位置に対して前記距離の半分だけずれている前記第１の光電変換素子の出力から算出された差分と、その前記第１の光電変換素子が属する単位に隣接する他の単位に属する他の前記第１の光電変換素子の出力から算出された差分とを加重平均することで、カラーの画像の画素の画素値を算出する第２の算出手段とを設けることができる。

前記撮像手段には、RGBの等色関数のいずれかを近似する分光感度を、差分により出力する光電変換素子を配置することができる。

前記撮像手段には、XYZ表色系の等色関数のいずれかを近似する分光感度を、差分により出力する光電変換素子を配置することができる。

前記信号処理手段には、前記撮像手段における相互に隣接する光電変換素子のうち、予め決められた位置に配置されている光電変換素子の出力の差分をカラーの画像の信号として算出する信号処理を前記撮像手段の出力に適用させることができる。

前記信号処理手段には、予め求められたクラス毎の係数を用いた、クラス分類適応処理である信号処理を前記撮像手段の出力に適用させることができる。

本発明の一側面の撮像方法は、人間の目の色に対する感度を示す等色関数のいずれかを、その出力の差分の分光感度で近似する光電変換素子を、撮像手段の予め決められた位置であって、相互に隣接する位置に配置し、前記撮像手段の光電変換素子の出力のホワイトバランスを調整し、ホワイトバランスが調整された光電変換素子の出力をカラーの画像の信号に変換する信号処理を前記撮像手段の出力に適用するステップを含む。

本発明の一側面においては、人間の目の色に対する感度を示す等色関数のいずれかを、その出力の差分の分光感度で近似する光電変換素子が、撮像手段の予め決められた位置であって、相互に隣接する位置に配置され、前記撮像手段の光電変換素子の出力のホワイトバランスが調整され、ホワイトバランスが調整された光電変換素子の出力をカラーの画像の信号に変換する信号処理が前記撮像手段の出力に適用される。

以上のように、本発明の一側面によれば、カラーの画像を撮像することができる。

また、本発明の一側面によれば、より正確な色を再現する画像を撮像することができる。

図３は、本発明の一実施の形態の撮像装置の構成を示すブロック図である。撮像装置は、センサ部１１、A/D（Analog to Digital）変換部１２、信号処理部１３、および出力部１４から構成される。

センサ部１１は、光学的な像を画像の電気信号に変換する撮像素子の一例であり、例えば、CCD（Charge Coupled Devices）イメージセンサまたはCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどである。センサ部１１には、相互に隣接する光電変換素子のうち、予め決められた位置の光電変換素子の出力の差分として得られる分光感度が、人間の目の色に対する感度を示す等色関数のいずれかを近似する、その光電変換素子がその決められた位置に配置されてなる。言い換えれば、センサ部１１には、人間の目の色に対する感度を示す等色関数のいずれかを、その出力の差分の分光感度で近似する光電変換素子が、予め決められた位置であって、相互に隣接する位置に配置されている。

センサ部１１は、光電変換により得られた画像の信号をA/D変換部１２に供給する。

A/D変換部１２は、センサ部１１から供給された、アナログ信号である画像の信号を、デジタル信号に変換する。A/D変換部１２は、変換により得られたデジタル信号を信号処理部１３に供給する。

信号処理部１３は、A/D変換部１２から供給されたデジタル信号である画像の信号に、各種の信号処理を適用する。例えば、信号処理部１３は、光電変換素子の出力をカラーの画像の信号に変換する信号処理を、センサ部１１の出力である画像の信号に適用する。

信号処理部１３は、信号処理を適用した画像の信号を出力部１４に供給する。出力部１４は、信号処理部１３から供給された画像の信号を、所定の方式で出力する。

図３の撮像装置において、画像を撮像するセンサ部１１から信号処理を行い出力する信号処理部１３および出力部１４までにより、トータルで画像のより正確な、より広い範囲の色の再現が実現される。図３の撮像装置は、分光特性が最適化されたセンサ部１１と、その後の信号処理部１３との２つに大きく分けることができる。

図４は、センサ部１１における分光特性に影響を与える系を説明するブロック図である。

センサ部１１における分光特性に影響を与える系は、赤外カットフィルタ３１、カラーフィルタ３２、およびセンサ分光感度３３で表すことができる。赤外カットフィルタ３１は、赤外線を遮断する。カラーフィルタ３２は、原色のそれぞれに応じた分光特性を備える。センサ分光感度３３は、センサ部１１の光電変換の特性そのものを示す。

センサ部１１への入力光をH（λ）、赤外カットフィルタ３１の分光特性をIR（λ）、カラーフィルタ３２の分光特性をS（λ）、イメージセンサの白黒分光特性をW（λ）とすると、センサ部１１のトータルの感度特性T（λ）は、式（１）で表される。
T（λ）=IR（λ）・S（λ）・W（λ）・・・（１）

センサ部１１の各画素、すなわち光電変換素子から出力される画素値Oは、式（２）で表される。

センサ部１１の式（１）で示されるトータルの感度特性T（λ）を最適化するために、カラーフィルタ３２の分光特性S（λ）と、赤外カットフィルタ３１の分光特性IR（λ）とを変更することを考える。

イメージセンサであるセンサ部１１上に実装可能なフィルタに用いることができる色素の数の限界や負の感度を実現することができないという物理的な制約から、RGBのそれぞれについて個別に最適化する従来の手法では、図２で示したように等色関数から大きくずれた分光特性しか実現することができない。

そこで、次の２つの手法を併用して、その結果実現される分光特性が等色関数により近づくようにカラーフィルタ３２の分光特性S（λ）および赤外カットフィルタ３１の分光特性IR（λ）を調整する。

第１の手法は、多色化である。センサ部１１のカラーフィルタ３２のカラーバリエーションを３色から、より多い数の色に増やすことで、全体として等色関数により近づくようにする。

第２の手法は、差分法である。カラーフィルタ３２のそれぞれの色の特性を等色関数に近づけるのではなく、所定の分光特性の画素、すなわち光電変換素子の出力の差分が、等色関数により近づくようにする。

限られた数の色素を用いて、最終的に得られる分光特性を等色関数に近づける最適化を行う上で、これらの２つの手法は、自由度を増加させる。その結果、同じ条件の基で、RGBの３色のそれぞれで個別に最適化を行う場合に比較して、よりよい色再現性を実現することができるようになる。

また、２つの画素の出力の差分を用いることにより、それぞれの画素の出力が正の感度だけで負の感度を有しない場合でも、差分を用いることにより、負の感度を実現し、負の感度をもつ等色関数により近い分光特性を実現できるようになる。

図５は、センサ部１１の画素の配置の例を示す図である。図５において、四角は、画素を示す。画素S1、画素S2、画素S3、および画素S4は、センサ部１１のそれぞれ１つの画素、すなわち、１つの光電変換素子を示す。

以下、画素S1、画素S2、画素S3、および画素S4の出力を、それぞれ、単に、S1,S2,S3,S4と称する。

図５で示されるセンサ部１１の例において、画素S1、画素S2、画素S3、および画素S4の出力の差分により、所望の３色の分光特性、例えば、RGB表色系のRGBのそれぞれの等色関数が近似される。例えば、式（３）により、R、G、Bが算出される。
R=S4−S2
G=S4−S1
B=S4−S3
・・・（３）

すなわち、例えば、図６で示されるように、S1およびS4が正の値だけであっても、S4−S1を算出することにより、Gとして負の値を実現することができるようになる。

ただし、最終的に算出しようとする画素の周辺の画素S1、画素S2、画素S3、および画素S4の出力が均等であれば、式（３）から正確なR、G、Bが算出されるが、一般的には、素S1、画素S2、画素S3、および画素S4の出力にばらつきがあるので、信号処理部１３により、より正確なR、G、Bを求める必要がある。

次に、赤外カットフィルタ３１およびカラーフィルタ３２の具体的な分光特性について説明する。

図７は、赤外カットフィルタ３１の分光特性IR（λ）の例を示す図である。赤外カットフィルタ３１には、センサ部１１上に実装しなければならないとの制約がなく、例えば、センサ部１１に被写体の光学的な像を結像させる光学系の前後に設けることができるので、赤外カットフィルタ３１の分光特性IR（λ）は、比較的自由に変更することができる。

すなわち、赤外カットフィルタ３１の分光特性IR（λ）は、カラーフィルタ３２に用いる色素群の特性に応じて、変更すれば良い。

図７に示される赤外カットフィルタ３１の分光特性IR（λ）において、440nm以下の短波長側および610nm以上の長波長側で比較的急峻に分光透過率が減衰している。すなわち、445nmにおいて分光透過率は、1.0であり、430nmにおいて分光透過率は、ほぼ0.8であり、425nmにおいて分光透過率は、ほぼ0.6であり、415nmにおいて分光透過率は、ほぼ0.2である。

また、605nmにおいて分光透過率は、1.0であり、625nmにおいて分光透過率は、ほぼ0.8であり、635nmにおいて分光透過率は、ほぼ0.6であり、660nmにおいて分光透過率は、ほぼ0.2である。

次に、図４で示されるセンサ部１１における分光特性に影響を与える系を考慮して、図７で示される分光特性の赤外カットフィルタ３１と、図５で示される４種類の分光特性の画素を配置する場合、７種類の色素を用いて感度特性T（λ）を最適にしたときの、画素S1、画素S2、画素S3、および画素S4の分光特性について説明する。

最終的に目標とする等色関数として、任意の座標系を選択することができるが、例として、sRGB表色系の等色関数を実現する場合について説明する。

図８は、最終的にsRGB表色系の等色関数を実現する場合の、画素S1、画素S2、画素S3、および画素S4の分光特性を示す図である。

図８において、分光特性が相対感度で示され、プラス印（+）は、画素S1の相対感度を示し、バツ印（×）は、画素S2の相対感度を示し、アスタリスク（＊）は、画素S3の相対感度を示し、二重丸（◎）は、画素S4の相対感度を示す。

画素S4の相対感度は、波長によらず、ほぼ一定の約８０とされる。

画素S1の相対感度は、400nm乃至450nmの波長において、ほぼ一定の約９０とされ、450nmから540nmにかけて約９０から１０弱まで下がり、540nmから600nmにかけて１０弱から約８０まで上がり、さらに、600nmから700nmにかけて、約８０から１００まで上がっている。

また、画素S2の相対感度は、400nmから520nmにかけて約７０から９０弱まで上がり、520nmから620nmにかけて９０弱から約２０まで下がり、さらに、620nm乃至680nmの波長において、ほぼ一定の約２０とされ、680nmから700nmにかけて、約２０から約３０まで上がっている。

画素S3の相対感度は、400nmから430nmにかけて約３０から２０弱まで下がり、430nmから520nmにかけて２０弱から約８０まで上がり、さらに、520nm乃至700nmの波長において、ほぼ一定の約８０とされている。

図９は、図７で示される分光特性の赤外カットフィルタ３１と、図８の画素S1、画素S2、画素S3、および画素S4の分光特性とから実現される、RGBのそれぞれの分光特性を示す図である。

図９において、分光特性が相対感度で示され、黒丸は、Bの相対感度を示し、黒い三角は、Gの相対感度を示し、黒い四角は、Rの相対感度を示す。また、図９において、点線は、Bの等色関数を示し、一点鎖線は、Gの等色関数を示し、二点鎖線は、Rの等色関数を示す。

図９で示されるように、sRGB表色系の等色関数により近い分光特性が得られている。

すなわち、図９で示されるRGBの分光特性と、図２で示される従来のRGBの分光特性とを比較すると、図９で示されるRGBの分光特性において、等色関数との差、すなわち、誤差は、より少なくなっていることがわかる。

また、図９で示されるRGBの分光特性において、通常のカラーフィルタでは実現することができない、負の感度が実現されている。

次に、信号処理部１３について、より詳細に説明する。

図１０は、信号処理部１３の構成の例を示すブロック図である。信号処理部１３は、ホワイトバランス調整部７１、生成画素位相判定部７２、RGB抽出部７３、および加重平均部７４から構成される。

ホワイトバランス調整部７１は、センサ部１１の画素の出力のホワイトバランスを調整する。すなわち、ホワイトバランス調整部７１は、画素S1、画素S2、画素S3、および画素S4の出力のホワイトバランスを調整する。ホワイトバランス調整部７１は、ホワイトバランスを調整した、画素の出力を生成画素位相判定部７２およびRGB抽出部７３に供給する。

生成画素位相判定部７２は、生成しようとする画素の総てについて、生成しようとする画素の位相を判定する。すなわち、生成画素位相判定部７２は、画素値を算出しようとするカラーの画像の画素の位置が、画素S4の位置に対して、センサ部１１における２つの画素の距離の半分だけ、左上、左下、右上、または右下にずれた位置のうちのいずれであるかを判定する。

生成しようとする画素の位相とは、画素値を算出しようとするカラーの画像の画素の位置が、画素S4の位置に対して、センサ部１１における２つの画素の距離の半分だけ、左上、左下、右上、または右下にずれた位置のうちのいずれかであることをいう。

図１１は、生成しようとする画素の位相と加重平均の演算とを説明する図である。図１１の上側に、生成画素位置Ａである画素の位相が示されている。生成画素位置Ａである画素の位相において、画素値を算出しようとするカラーの画像の画素の位置は、画素S4の位置に対して、センサ部１１における２つの画素の距離の半分だけ左上にずれた位置である。

図１１の上から２番目に、生成画素位置Ｂである画素の位相が示されている。生成画素位置Ｂである画素の位相において、画素値を算出しようとするカラーの画像の画素の位置は、画素S4の位置に対して、センサ部１１における２つの画素の距離の半分だけ右上にずれた位置である。

図１１の上から３番目に、生成画素位置Ｃである画素の位相が示されている。生成画素位置Ｃである画素の位相において、画素値を算出しようとするカラーの画像の画素の位置は、画素S4の位置に対して、センサ部１１における２つの画素の距離の半分だけ左下にずれた位置である。

図１１の上から４番目に、生成画素位置Ｄである画素の位相が示されている。生成画素位置Ｄである画素の位相において、画素値を算出しようとするカラーの画像の画素の位置は、画素S4の位置に対して、センサ部１１における２つの画素の距離の半分だけ右下にずれた位置である。

言い換えれば、生成画素位相判定部７２は、生成しようとする画素の位相が、生成画素位置Ａであるか、生成画素位置Ｂであるか、生成画素位置Ｃであるか、または生成画素位置Ｄであるかを判定する。

生成画素位相判定部７２は、判定の結果をRGB抽出部７３および加重平均部７４に供給する。

RGB抽出部７３は、ホワイトバランス調整部７１から供給された、ホワイトバランスを調整した画素の出力から、式（３）により、RGBのそれぞれの値を計算する。すなわち、RGB抽出部７３は、R=S4−S2、G=S4−S1、B=S4−S3を計算することにより、R、G、Bを計算する。言い換えれば、RGB抽出部７３は、画素S4毎に、画素S4と隣接する画素S1と画素S2と画素S3に対して、画素S4の出力と画素S1の出力との差分、画素S4の出力と画素S2の出力との差分、および画素S4の出力と画素S3の出力との差分を算出する。

RGB抽出部７３は、RGBのそれぞれの値を加重平均部７４に供給する。

加重平均部７４は、生成画素位相判定部７２における判定の結果に応じて、カラーの画像の画素の位置に対して、センサ部１１の画素の距離の半分だけずれている画素S4の出力から算出された差分と、その画素S4が属する単位に隣接する他の単位に属する他の画素S4の出力から算出された差分とを加重平均することで、カラーの画像の画素の画素値を算出する。ここで、単位は、縦横に相互に隣接して配置されている画素S1と画素S2と画素S3と画素S4とからなる。図１１に示されるように、この単位は、センサ部１１において縦または横に配置される。

例えば、加重平均部７４は、R=(3*R1+R2)/4、B=(3*B1+B2)/4を計算することにより、最終的なRとBとを計算する。

より具体的には、例えば、画素値を算出しようとするカラーの画像の画素の位相が生成画素位置Ａである場合、図１１の上側に示されるように、その画素の位置は、画素S4の左上であるので、画素値を計算しようとする画素が左上にある画素S4の画素値から、その画素S4の左隣の画素S2の画素値を引き算して、R1が算出され、さらにその画素S4に対して２画素上の画素S4の画素値から、２画素上の画素S4の左隣の画素S2の画素値を引き算して、R2が算出され、R=(3*R1+R2)/4により、最終的なRが計算される。

また、画素値を計算しようとする画素が左上にある画素S4の画素値から、その画素S4の上の画素S3の画素値を引き算して、B1が算出され、さらにその画素S4の２画素左の画素S4の画素値から、２画素左の画素S4の上の画素S3の画素値を引き算して、B2が算出され、B=(3*B1+B2)/4により、最終的なBが計算される。

なお、画素値を算出しようとするカラーの画像の画素の位相が生成画素位置Ａである場合、画素値を計算しようとする画素が左上にある画素S4の画素値から、その画素S4の左上の画素S1の画素値を引き算して、Gが算出される。

例えば、画素値を算出しようとするカラーの画像の画素の位相が生成画素位置Ｂである場合、図１１の上から２番目に示されるように、その画素の位置は、画素S4の右上であるので、画素値を計算しようとする画素が右上にある画素S4の画素値から、その画素S4の右隣の画素S2の画素値を引き算して、R1が算出され、さらにその画素S4に対して２画素上の画素S4の画素値から、２画素上の画素S4の右隣の画素S2の画素値を引き算して、R2が算出され、R=(3*R1+R2)/4により、最終的なRが計算される。

また、画素値を計算しようとする画素が右上にある画素S4の画素値から、その画素S4の上の画素S3の画素値を引き算して、B1が算出され、さらにその画素S4の２画素右の画素S4の画素値から、２画素右の画素S4の上の画素S3の画素値を引き算して、B2が算出され、B=(3*B1+B2)/4により、最終的なBが計算される。

なお、画素値を算出しようとするカラーの画像の画素の位相が生成画素位置Ｂである場合、画素値を計算しようとする画素が右上にある画素S4の画素値から、その画素S4の右上の画素S1の画素値を引き算して、Gが算出される。

例えば、画素値を算出しようとするカラーの画像の画素の位相が生成画素位置Ｃである場合、図１１の上から３番目に示されるように、その画素の位置は、画素S4の左下であるので、画素値を計算しようとする画素が左下にある画素S4の画素値から、その画素S4の左隣の画素S2の画素値を引き算して、R1が算出され、さらにその画素S4に対して２画素下の画素S4の画素値から、２画素下の画素S4の左隣の画素S2の画素値を引き算して、R2が算出され、R=(3*R1+R2)/4により、最終的なRが計算される。

また、画素値を計算しようとする画素が左下にある画素S4の画素値から、その画素S4の下の画素S3の画素値を引き算して、B1が算出され、さらにその画素S4の２画素左の画素S4の画素値から、２画素左の画素S4の下の画素S3の画素値を引き算して、B2が算出され、B=(3*B1+B2)/4により、最終的なBが計算される。

なお、画素値を算出しようとするカラーの画像の画素の位相が生成画素位置Ｃである場合、画素値を計算しようとする画素が左下にある画素S4の画素値から、その画素S4の左下の画素S1の画素値を引き算して、Gが算出される。

例えば、画素値を算出しようとするカラーの画像の画素の位相が生成画素位置Ｄである場合、図１１の下側に示されるように、その画素の位置は、画素S4の右下であるので、画素値を計算しようとする画素が右下にある画素S4の画素値から、その画素S4の右隣の画素S2の画素値を引き算して、R1が算出され、さらにその画素S4に対して２画素下の画素S4の画素値から、２画素下の画素S4の右隣の画素S2の画素値を引き算して、R2が算出され、R=(3*R1+R2)/4により、最終的なRが計算される。

また、画素値を計算しようとする画素が右下にある画素S4の画素値から、その画素S4の下の画素S3の画素値を引き算して、B1が算出され、さらにその画素S4の２画素右の画素S4の画素値から、２画素右の画素S4の下の画素S3の画素値を引き算して、B2が算出され、B=(3*B1+B2)/4により、最終的なBが計算される。

なお、画素値を算出しようとするカラーの画像の画素の位相が生成画素位置Ｄである場合、画素値を計算しようとする画素が右下にある画素S4の画素値から、その画素S4の右下の画素S1の画素値を引き算して、Gが算出される。

図１２は、信号処理部１３による信号処理の例を説明するフローチャートである。ステップＳ１１において、ホワイトバランス調整部７１は、センサ部１１の画素S1、画素S2、画素S3、および画素S4の出力のホワイトバランスを調整する。

ステップＳ１２において、生成画素位相判定部７２は、生成しようとする画素を選択する。より正確には、ステップＳ１２において、生成画素位相判定部７２は、生成しようとする画素の位置を決める。

ステップＳ１３において、生成画素位相判定部７２は、生成する画素の位置が、生成画素位置Ａ、生成画素位置Ｂ、生成画素位置Ｃ、または生成画素位置Ｄのいずれであるかを判定する。

ステップＳ１４において、RGB抽出部７３は、周辺画素のRGBを抽出する。例えば、ステップＳ１４において、RGB抽出部７３は、生成しようとする画素の周辺の画素S1、画素S2、画素S3、および画素S4から、RGBを計算する。より詳しく説明すれば、例えば、ステップＳ１４において、RGB抽出部７３は、生成しようとする画素に接する画素S4と、その画素S4に対して２画素上の画素S4、２画素下の画素S4、２画素右の画素S4、および２画素左の画素S4と、それぞれの画素S4に隣接する画素S1、画素S2、および画素S3から、式（３）によりRGBを計算する。

ステップＳ１５において、加重平均部７４は、RとBとに関し加重平均して、最終的なRとBとを算出する。すなわち、ステップＳ１５において、加重平均部７４は、図１１を参照して説明したように、生成しようとする画素の位相の判定の結果に応じて、カラーの画像の画素の位置に対して、センサ部１１の画素の距離の半分だけずれている画素S4の出力から算出された差分と、その画素S4が属する単位に隣接する他の単位に属する他の画素S4の出力から算出された差分とを加重平均することで、カラーの画像の画素の画素値を算出する。

ステップＳ１６において、生成画素位相判定部７２は、全画面の処理を終了したか否かを判定し、全画面の処理を終了していないと判定された場合、ステップＳ１２に戻り、次の生成しようとする画素について、上述した処理を繰り返す。

ステップＳ１６において、全画面の処理を終了したと判定された場合、信号処理により得られたRGBの信号を出力して、処理は終了する。

このように、センサ部１１の画素のそれぞれのばらつきによる画像の色のばらつきをより少なくすることができ、さらに、センサ部１１の画素と、センサ部１１の画素に結像される光学的な像との相対的な位置の関係から生じる画像の色のばらつきをより少なくすることができる。

また、カラーの画像の信号のホワイトバランスを調整するようにしてもよい。

図１３は、信号処理部１３の構成の他の例を示すブロック図である。図１３において、図１０に示す場合と同様の部分には同一の符号を付してあり、その説明は省略する。

図１３に示す信号処理部１３は、生成画素位相判定部７２、RGB抽出部７３、加重平均部７４、およびホワイトバランス調整部９１から構成される。

ホワイトバランス調整部９１は、信号処理により得られたカラーの画像の信号のホワイトバランスを調整する。すなわち、ホワイトバランス調整部９１は、生成画素位相判定部７２、RGB抽出部７３、および加重平均部７４において信号処理されて、加重平均部７４から出力されたRGBの信号のホワイトバランスを調整する。

図１４は、信号処理部１３による信号処理の他の例を説明するフローチャートである。ステップＳ３１乃至ステップＳ３５は、それぞれ、図１２のステップＳ１２乃至ステップＳ１６と同様なので、その説明は省略する。

ステップＳ３６において、ホワイトバランス調整部９１は、ステップＳ３２乃至ステップＳ３５における信号処理により得られたRGBの信号のホワイトバランスを調整して、ホワイトバランスを調整したRGBの信号を出力して、処理は終了する。

このように、信号処理の前または信号処理の後のいずれか一方で、ホワイトバランスを調整することができる。

なお、sRGB表色系の等色関数に限らず、XYZ系の等色関数を実現することもできる。

図１５は、最終的にXYZ系の等色関数を実現する場合の、画素S1、画素S2、画素S3、および画素S4の分光特性を示す図である。

図１５において、分光特性が相対感度で示され、プラス印（+）は、画素S1の相対感度を示し、バツ印（×）は、画素S2の相対感度を示し、アスタリスク（＊）は、画素S3の相対感度を示し、二重丸（◎）は、画素S4の相対感度を示す。

画素S4の相対感度は、波長によらず、一定の１００とされる。

画素S1の相対感度は、400nm乃至450nmの波長において、ほぼ一定の約９０とされ、450nmから550nmにかけて約９０から約１０まで下がり、550nmから600nmにかけて約１０から約３０まで上がり、600nmから640nmにかけてほぼ一定の約３０とされ、さらに、640nmから700nmにかけて、約３０から６０まで上がっている。

また、画素S2の相対感度は、400nmから500nmにかけて約７０から９０強まで上がり、500nmから620nmにかけて９０強から２０弱まで下がり、さらに、620nm乃至680nmの波長において、ほぼ一定の２０弱とされ、680nmから700nmにかけて、２０弱から３０弱まで上がっている。

画素S3の相対感度は、400nmから430nmにかけて約３０から２０弱まで下がり、430nmから550nmにかけて２０弱から約１００まで上がり、さらに、550nmから700nmにかけて、ほぼ一定の約１００とされている。

図１６は、図７で示される分光特性の赤外カットフィルタ３１と、図１５の画素S1、画素S2、画素S3、および画素S4の分光特性とから実現される、XYZのそれぞれの分光特性を示す図である。

図１６において、分光特性が相対感度で示され、黒丸は、Zの相対感度を示し、黒い三角は、Yの相対感度を示し、黒い四角は、Xの相対感度を示す。また、図１６において、点線は、Zの等色関数を示し、一点鎖線は、Yの等色関数を示し、二点鎖線は、Xの等色関数を示す。

図１６で示されるように、XYZ系の等色関数により近い分光特性が得られている。

次に、センサ部１１の画素の差分から得られた分光特性と、最終的に目標とする等色関数とのずれを補正し、いわゆる、単板のイメージセンサで撮影されたRGB画像を、いわゆる、３板のイメージセンサで撮影したRGB画像に相当するRGB画像に作り直す信号処理について説明する。

例えば、信号処理部１３は、予め求められたクラス毎の係数を用いた、クラス分類適応処理である信号処理をセンサ部１１の出力に適用することにより、センサ部１１の画素の差分から得られた分光特性と、最終的に目標とする等色関数とのずれを補正する。

クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。

ここで、クラス分類処理および適応処理について簡単に説明する。

まず、クラス分類処理について説明する。

図５に示すように、ある注目画素に最も近い画素S4と、それに隣接する３つの画素S1、画素S2、および画素S3とにより、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、注目画素に対応する２×２の４画素のブロックは、各画素のレベル分布により、１６（＝（２¹）⁴）パターンに分類することができる。従って、いまの場合、注目画素は、１６のパターンに分類することができる。

ここで、通常、各画素には、８ビット程度が割り当てられる。クラス分類用のブロックが、１２画素で構成されると、（２⁸）¹²という膨大な数のクラスに分類されることになる。

クラス分類用のブロックを構成する画素のビット数を小さくすることで、クラス数は削減される。

次に、適応処理について説明する。

例えば、いま、RGBの画像（以下、適宜、教師画像と称し、また、そのデータを教師データと称する）の画素値ｙの予測値Ｅ［ｙ］を、センサ部１１の画素の出力（以下、適宜、１つの画像に相当するセンサ部１１の画素の出力を生徒画像と称し、また、そのデータを学習データと称する）ｘ₁，ｘ₂，・・・と、所定の予測係数ｗ₁，ｗ₂，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。

Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・
・・・（４）

そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ'を、

で定義すると、次のような観測方程式が成立する。

ＸＷ＝Ｙ'
・・・（５）

そして、この観測方程式に最小自乗法を適用して、RGBの画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、RGBの画像の画素値ｙの集合でなる行列Ｙ、およびRGBの画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、

で定義すると、式（５）から、次のような残差方程式が成立する。

ＸＷ＝Ｙ＋Ｅ
・・・（６）

この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗ_iは、自乗誤差

を最小にすることで求めることができる。

従って、上述の自乗誤差を予測係数ｗ_iで微分したものが０になる場合、即ち、次式を満たす予測係数ｗ_iが、RGBの画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。

そこで、まず、式（６）を、予測係数ｗ_iで微分することにより、次式が成立する。

式（７）および（８）より、式（９）が得られる。

さらに、式（６）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（９）から、次のような正規方程式を得ることができる。

式（１０）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（１０）を解くことで、最適な予測係数ｗを求めることができる。なお、式（１０）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。

以上のようにして、クラスごとに最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（４）により、RGBの画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。

図１７は、予め求められたクラス毎の係数を用いた、クラス分類適応処理である信号処理をセンサ部１１の出力に適用する、信号処理部１３の構成のさらに他の例を示すブロック図である。なお、図１７において、図１０に示す場合と同様の部分には同一の符号を付してあり、その説明は省略する。

図１７に示される信号処理部１３は、ホワイトバランス調整部７１、クラスタップ構築部１０１、クラス分類部１０２、係数蓄積部１０３、予測タップ構築部１０４、および積和演算部１０５から構成される。

ホワイトバランス調整部７１は、ホワイトバランスを調整したセンサ部１１の画素の出力を、クラスタップ構築部１０１および予測タップ構築部１０４に供給する。

クラスタップ構築部１０１は、クラスタップを構築する。すなわち、クラスタップ構築部１０１は、注目画素である生成しようとする画素に応じて、ホワイトバランス調整部７１から供給されたホワイトバランスを調整したセンサ部１１の画素の出力の中から、クラス分類用のブロックを構成するクラスタップとして画素の出力を抽出する。

図１８は、クラスタップの配置の例を示す図である。図１８において、黒丸は、注目画素である生成しようとする画素を示す。図１８に示す例において、注目画素の位置は、センサ部１１における画素S1乃至画素S4の位置に対して、画素S1乃至画素S4の相互の距離の半分だけずれた位置にある。

例えば、クラスタップ構築部１０１は、注目画素を中心として、横に４画素および縦に２画素の範囲に属するか、または注目画素を中心として、横に２画素および縦に４画素の範囲に属する画素S1乃至画素S4の出力を、クラスタップとして抽出することで、クラスタップを構築する。

クラスタップ構築部１０１は、クラスタップをクラス分類部１０２に供給する。

クラス分類部１０２は、クラスタップにより、注目画素をクラス分類する。クラス分類部１０２は、クラスタップに対して、ADRC処理が施されるようになされており、これにより、クラスタップを構成する画素の出力のビット数を小さくすることで、クラス数を削減するようになされている。

図１９は、クラス分類部１０２の構成の例を示すブロック図である。クラス分類部１０２は、DR演算部１２１、DR最大値検出部１２２、およびADRCコード計算部１２３から構成される。

DR演算部１２１は、クラスタップを構成する画素S1の出力、画素S2の出力、画素S3の出力、画素S4の出力のそれぞれについて、ダイナミックレンジDR＝最大値MAX−最小値MINを演算する。すなわち、DR演算部１２１は、クラスタップを構成する３つの画素S1の出力の最大値MAXと最小値MINを検出し、検出した最大値MAXから最小値MINを引き算することにより、画素S1の出力についてのダイナミックレンジDRを算出する。同様に、DR演算部１２１は、クラスタップを構成する３つの画素S2の出力の最大値MAXと最小値MINを検出し、検出した最大値MAXから最小値MINを引き算することにより、画素S2の出力についてのダイナミックレンジDRを算出する。

また、DR演算部１２１は、クラスタップを構成する３つの画素S3の出力の最大値MAXと最小値MINを検出し、検出した最大値MAXから最小値MINを引き算することにより、画素S3の出力についてのダイナミックレンジDRを算出する。さらにまた、DR演算部１２１は、クラスタップを構成する３つの画素S4の出力の最大値MAXと最小値MINを検出し、検出した最大値MAXから最小値MINを引き算することにより、画素S4の出力についてのダイナミックレンジDRを算出する。

DR演算部１２１は、それぞれのダイナミックレンジDRをDR最大値検出部１２２に供給する。

DR最大値検出部１２２は、画素S1の出力についてのダイナミックレンジDR、画素S1の出力についてのダイナミックレンジDR、画素S3の出力についてのダイナミックレンジDR、画素S4の出力についてのダイナミックレンジDRの中から、最大値を検出する。DR最大値検出部１２２は、最大のダイナミックレンジDRをADRCコード計算部１２３に供給する。

ADRCコード計算部１２３は、最大のダイナミックレンジDRに基づいて、クラスタップを構成する画素S1、画素S2、画素S3、画素S4の出力をKビットに再量子化して、ADRCコードを計算する。

即ち、ADRCコード計算部１２３は、クラスタップを構成する画素S1、画素S2、画素S3、画素S4の出力のそれぞれから、最大のダイナミックレンジDRの演算に用いた最小値MINを減算し、その減算値をDR／２^Kで除算する。そして、その結果得られる除算値に対応するコード（ADRCコード）に変換される。具体的には、例えば、K＝２とした場合、除算値が、ダイナミックレンジDRを４（＝２²）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。

クラスタップを構成する画素の出力に割り当てられているビット数より少ないビット数で再量子化を行うADRC処理を施すことにより、上述したように、クラス数を削減することができ、このようなADRC処理が、クラス分類部１０２において行われる。

ADRCコード計算部１２３は、このように得られたADRCコードをクラスコードとして出力する。例えば、ADRCコード計算部１２３は、クラスタップを構成する画素S1、画素S2、画素S3、画素S4の出力から計算されたADRCコードを順に配列してなるクラスコードを出力する。

図１８で示される１２個の画素S1、画素S2、画素S3、画素S4の出力から構成されるクラスタップを基に、クラスタップを構成する画素S1、画素S2、画素S3、画素S4の出力から、それぞれ１ビットのADRCコードが計算される場合、ADRCコード計算部１２３は、注目画素を、２¹²＝４０９６のクラスに分類するクラスコードを出力する。

このように、注目画素の周辺において、色の信号の波形が変化する場合であっても、それに応じた演算でクラスコードが計算されるので、注目画素は、式（３）のRGBに応じたクラスに分類されることになる。

なお、位相によりクラスタップの配列が変化するが、クラスタップを水平に反転させたり、垂直に反転させることにより、図１８に示すクラスタップと同様の取り扱うことができる。

ADRCコード計算部１２３は、注目画素をクラス分類した結果得られたクラスコードを係数蓄積部１０３および予測タップ構築部１０４に供給する。

係数蓄積部１０３は、クラス毎の予測係数ｗを予め蓄積している。係数蓄積部１０３は、クラス分類部１０２からクラスコードが供給されると、そのクラスコードで示されるクラスの予測係数ｗを積和演算部１０５に供給する。

予測タップ構築部１０４は、予測タップを構築する。すなわち、予測タップ構築部１０４は、注目画素である生成しようとする画素に応じて、ホワイトバランス調整部７１から供給されたホワイトバランスを調整したセンサ部１１の画素の出力の中から、式（４）の積和演算に用いるセンサ部１１の画素の出力である予測タップを抽出する。例えば、予測タップ構築部１０４は、クラス分類部１０２から供給されるクラスコードで示されるクラスに応じて、予測タップを構築する。

図２０は、予測タップの配置の例を示す図である。図２０において、黒丸は、注目画素である生成しようとする画素を示す。

例えば、予測タップ構築部１０４は、注目画素を中心として、横に６画素および縦に２画素の範囲に属するか、注目画素を中心として、横に４画素および縦に４画素の範囲に属するか、または注目画素を中心として、横に２画素および縦に６画素の範囲に属する画素S1乃至画素S4の出力を、予測タップとして抽出することで、予測タップを構築する。この場合、２４の、画素S1乃至画素S4の出力からなる予測タップが構築される。

なお、位相により予測タップの配列が変化するが、予測タップを水平に反転させたり、垂直に反転させることにより、図２０に示す予測タップと同様の取り扱うことができる。

予測タップ構築部１０４は、予測タップを積和演算部１０５に供給する。

積和演算部１０５は、予測タップ構築部１０４から供給された予測タップと、係数蓄積部１０３から供給された予測係数ｗとに、式（４）の積和演算を適用することにより、RGBの画像の画素値である、注目画素の画素値を予測する。

次に、図２１のフローチャートを参照して、信号処理部１３による、予め求められたクラス毎の係数を用いたクラス分類適応処理である信号処理を説明する。ステップＳ１０１において、ホワイトバランス調整部７１は、センサ部１１の画素S1、画素S2、画素S3、および画素S4の出力のホワイトバランスを調整する。

ステップＳ１０２において、クラスタップ構築部１０１は、生成しようとする画素である注目画素を選ぶ。ステップＳ１０３において、クラスタップ構築部１０１は、注目画素の周辺のデータを読み出す。すなわち、ステップＳ１０３において、クラスタップ構築部１０１は、注目画素の周辺の画素S1、画素S2、画素S3、および画素S4の出力を読み出す。

ステップＳ１０４において、クラスタップ構築部１０１は、注目画素の生成しようとするコンポーネントを選ぶ。例えば、ステップＳ１０４において、クラスタップ構築部１０１は、RGBのうちの１つを選択する。

ステップＳ１０５において、クラスタップ構築部１０１は、注目画素に応じたクラスタップを構築する。ステップＳ１０６において、クラス分類部１０２は、クラスタップにより注目画素をクラス分類する。ステップＳ１０７において、予測タップ構築部１０４は、注目画素が分類されたクラスに応じた予測タップを構築する。

ステップＳ１０８において、係数蓄積部１０３は、予め蓄積しているクラスごとの予測係数のうち、注目画素が分類されたクラスに応じた予測係数を読み出して、積和演算部１０５に供給する。ステップＳ１０９において、積和演算部１０５は、ステップＳ１０７において構築された予測タップのデータと、ステップＳ１０８において読み出された予測係数ｗとの、式（４）で示される積和演算処理を行う。

ステップＳ１１０において、クラスタップ構築部１０１は、その注目画素のRGBについて処理が終了したか否かを判定し、RGBについて処理が終了していないと判定された場合、ステップＳ１０４に戻り、次のコンポーネントについて、上述した処理を繰り返す。

ステップＳ１１０において、RGBについて処理が終了したと判定された場合、ステップＳ１１１に進み、クラスタップ構築部１０１は、全画面の処理を終了したか否かを判定し、全画面の処理を終了していないと判定された場合、ステップＳ１０２に戻り、次の生成しようとする画素について、上述した処理を繰り返す。

ステップＳ１１１において、全画面の処理を終了したと判定された場合、信号処理により得られたRGBの信号を出力して、処理は終了する。

このように、センサ部１１の画素の差分から得られた分光特性と、最終的に目標とする等色関数とのずれが補正され、さらに正確な色を再現する画像を撮像することができる。

また、クラス分類適応処理により得られたカラーの画像の信号のホワイトバランスを調整するようにしてもよい。

図２２は、信号処理部１３の構成のさらに他の例を示すブロック図である。図２２において、図１７に示す場合と同様の部分には同一の符号を付してあり、その説明は省略する。

図２２に示される信号処理部１３は、クラスタップ構築部１０１、クラス分類部１０２、係数蓄積部１０３、予測タップ構築部１０４、積和演算部１０５、およびホワイトバランス調整部９１から構成される。

図２２のホワイトバランス調整部９１は、クラス分類適応処理により得られたカラーの画像の信号のホワイトバランスを調整する。すなわち、ホワイトバランス調整部９１は、クラスタップ構築部１０１、クラス分類部１０２、係数蓄積部１０３、予測タップ構築部１０４、積和演算部１０５において、クラス分類適応処理である信号処理により生成されたRGBの信号のホワイトバランスを調整する。

図２３は、信号処理部１３によるクラス分類適応処理である信号処理の他の例を説明するフローチャートである。ステップＳ１３１乃至ステップＳ１４０は、それぞれ、図２１のステップＳ１０２乃至ステップＳ１１１と同様なので、その説明は省略する。

ステップＳ１４１において、ホワイトバランス調整部９１は、ステップＳ１３１乃至ステップＳ１４０におけるクラス分類適応処理である信号処理により生成されたRGBの信号のホワイトバランスを調整して、ホワイトバランスを調整したRGBの信号を出力して、処理は終了する。

このように、クラス分類適応処理である信号処理の前または信号処理の後のいずれか一方で、ホワイトバランスを調整することができる。

次に、クラス分類適応処理に用いる、クラスごとの予測係数の生成について説明する。

図２４は、クラス分類適応処理のクラスごとの予測係数の生成に用いる教師画像および生徒画像を撮像する撮像装置を示す図である。図２４の撮像装置は、白黒カメラ２０１およびフィルタホイール２０２からなり、撮影対象２０３を撮像する。

白黒カメラ２０１は、図４に示されるセンサ分光感度３３の白黒分光特性W（λ）に等しい特性を有する。すなわち、白黒カメラ２０１は、赤外カットフィルタ３１およびカラーフィルタ３２を除いたセンサ部１１の光電変換の特性と同じ光電変換特性を有する。

フィルタホイール２０２には、複数のフィルタが設けられ、そのフィルタの何れかを透過した撮影対象２０３の光学的な像が、白黒カメラ２０１に結像されるようにフィルタホイール２０２は構成されている。

白黒カメラ２０１のフレームの撮像の周期と、フィルタホイール２０２のフィルタを透過した撮影対象２０３の光学的な像が、白黒カメラ２０１に結像する周期とが、同期するように、白黒カメラ２０１は、フレームを単位として、被写体を撮像し、フィルタホイール２０２は回転する。すなわち、白黒カメラ２０１は、フィルタホイール２０２の回転の方向に順に設けられているフィルタのそれぞれを、透過した撮影対象２０３の光学的な像を、フレーム毎に撮像する。

より詳細に説明すれば、白黒カメラ２０１は、フィルタホイール２０２の所定の最初の１つのフィルタを透過した撮影対象２０３の光学的な像を、最初のフレームとして撮像し、その最初のフィルタの次に、フィルタホイール２０２の回転の方向に設けられている２番目の１つのフィルタを透過した撮影対象２０３の光学的な像を、２番目のフレームとして撮像する。このような、白黒カメラ２０１の、フィルタホイール２０２の回転の方向に順に設けられているｎ個のフィルタのうちの１つのフィルタを透過した撮影対象２０３の光学的な像を、１つのフレームとして撮像する動作が繰り返され、フィルタホイール２０２に設けられているｎ個のフィルタのそれぞれを透過した撮影対象２０３の光学的な像が、ｎのフレームとして撮像される。

すなわち、白黒カメラ２０１は、フィルタホイール２０２に設けられたフィルタの色毎の画像を撮像することになる。

例えば、XYZ表色系の等色関数により近い分光特性のカラーの画像の信号を得る場合、フィルタホイール２０２のフィルタのうちの、３つのフィルタのそれぞれの分光特性は、XYZ表色系のXの等色関数に等しい分光特性、Yの等色関数に等しい分光特性、Zの等色関数に等しい分光特性とされる。さらに、フィルタホイール２０２のフィルタのうちの、他の４つのフィルタのそれぞれの分光特性は、図８を参照して説明した、画素S1、画素S2、画素S3、および画素S4のそれぞれの分光特性に等しい分光特性とされる。

また、例えば、sRGB表色系の等色関数により近い分光特性のカラーの画像の信号を得る場合、フィルタホイール２０２のフィルタのうちの、３つのフィルタのそれぞれの分光特性は、XYZ表色系のXの等色関数に等しい分光特性、Yの等色関数に等しい分光特性、Zの等色関数に等しい分光特性とされ、一旦、XYZ表色系の等色関数により近い分光特性のカラーの画像が撮像される。その後、XYZ表色系の等色関数により近い分光特性のカラーの画像の信号が、一次変換により、sRGB表色系の等色関数により近い分光特性のカラーの画像の信号に変換される。この場合も、フィルタホイール２０２のフィルタのうちの、他の４つのフィルタのそれぞれの分光特性は、図８を参照して説明した、画素S1、画素S2、画素S3、および画素S4のそれぞれの分光特性に等しい分光特性とされる。

すなわち、フィルタホイール２０２のフィルタのうちの、３つのフィルタのそれぞれの分光特性は、全ての分光特性が正となる任意の表色系における等色関数のいずれかに等しい分光特性とされる。その表色系の等色関数により近い分光特性のカラーの画像が撮像される。そして、負の感度を持つ等色関数により近い分光特性のカラーの画像の信号を得る場合、撮影されたカラーの画像の信号が、一次変換により、負の感度を持つ等色関数により近い分光特性のカラーの画像の信号に変換される。

フィルタホイール２０２のフィルタは、例えば、ガラスフィルタである。ガラスフィルタには、センサ部１１に設けられるカラーフィルタ３２のように、光電変換素子上に実装することからくる制約がないので、ガラスフィルタの分光特性は、比較的自由に決めることができる。例えば、フィルタホイール２０２のフィルタには、濃度、膜厚限界、耐光性、耐熱性などを考慮することなく、所望の分光特性を得るための色素を用いることができる。また、例えば、フィルタホイール２０２の１つのフィルタを、複数のフィルタを重ねて構成することができる。

このように、フィルタホイール２０２を、白黒カメラ２０１と別個に設けることにより、光電変換素子上に実装するカラーフィルタ３２では実現できない、所望の表色系の等色関数により近い分光特性のカラーの画像を撮影することが可能になる。

白黒カメラ２０１は、撮影した、フィルタホイール２０２のフィルタの色毎の画像である生徒画像および教師画像を、クラス分類適応処理のクラスごとの予測係数を生成する画像処理装置に供給する。

なお、図３の撮像装置において最終的に生成する画素の位相に応じて、生徒画像と、生徒画像の画素の位置に対して、画素の位置がずらされた教師画像とを撮像するようにしてもよい。

また、光学LPF（Low Pass Filter）を外して教師画像を撮像するようにしてもよい。

図２５は、白黒カメラ２０１により撮像された生徒画像および教師画像から、クラス分類適応処理のクラスごとの予測係数を生成する画像処理装置の構成の例を示すブロック図である。図２５において、図１７に示す場合と同様の部分には同一の符号を付してあり、その説明は省略する。

クラス分類適応処理のクラスごとの予測係数を生成する画像処理装置は、クラスタップ構築部１０１、クラス分類部１０２、予測タップ構築部１０４、単板データ化部２２１、画素値抽出部２２２、足し込み行列生成部２２３、および係数生成部２２４から構成される。

単板データ化部２２１は、センサ部１１のカラーフィルタの色の数分の生徒画像、すなわち、画素S1、画素S2、画素S3、および画素S4のそれぞれの分光特性に等しい分光特性のフィルタを介して撮像された４つの生徒画像を取得する。単板データ化部２２１は、取得した生徒画像から、センサ部１１から出力されるデータと同様のデータを生成する。すなわち、単板データ化部２２１は、取得した生徒画像から、センサ部１１から出力されるデータの配置と同様の配置のデータを生成する。

より詳細に説明すると、単板データ化部２２１は、センサ部１１における画素S1、画素S2、画素S3、および画素S4の配置に応じて、取得した生徒画像の画素を間引き、重ね合わせることで、センサ部１１から出力されるデータの配置と同様の配置のデータを生成する。例えば、単板データ化部２２１は、画素S1の分光特性に等しい分光特性のフィルタを介して撮像された生徒画像から、図５で示される画素S1の位置の画素を抽出し、生成するデータに対して、図５で示される画素S1の位置に画素を配置する。また、単板データ化部２２１は、画素S2の分光特性に等しい分光特性のフィルタを介して撮像された生徒画像から、図５で示される画素S2の位置の画素を抽出し、生成するデータに対して、図５で示される画素S2の位置に画素を配置する。さらに、単板データ化部２２１は、画素S3の分光特性に等しい分光特性のフィルタを介して撮像された生徒画像から、図５で示される画素S3の位置の画素を抽出し、生成するデータに対して、図５で示される画素S3の位置に画素を配置する。さらにまた、単板データ化部２２１は、画素S4の分光特性に等しい分光特性のフィルタを介して撮像された生徒画像から、図５で示される画素S4の位置の画素を抽出し、生成するデータに対して、図５で示される画素S4の位置に画素を配置する。

このように、単板データ化部２２１は、取得した生徒画像から、センサ部１１から出力されるデータと同様のデータを生成する。

単板データ化部２２１は、生成したデータを、最終的な生徒画像としてクラスタップ構築部１０１および予測タップ構築部１０４に供給する。

予測タップ構築部１０４は、単板データ化部２２１から供給された生徒画像から、注目画素のクラスに応じた予測タップを構築して、その予測タップを足し込み行列生成部２２３に供給する。

画素値抽出部２２２は、教師画像から注目画素に対応する位置の画素の画素値を抽出して、抽出した画素の画素値を足し込み行列生成部２２３に供給する。この場合、選択したコンポーネントに応じた教師画像から画素値が抽出される。

足し込み行列生成部２２３は、クラスごと、およびコンポーネントごとの式（１０）の正規方程式に、予測タップと、注目画素の画素値とを足し込む。

多数の教師画像と、これに対応する生徒画像とについて、それぞれの教師画像の画素に対応する注目画素について、クラスごと、およびコンポーネントごとの式（１０）の正規方程式に、予測タップと、注目画素に対応する位置の教師画像の画素の画素値とが足し込まれる。

足し込み行列生成部２２３は、このように、予測タップと、注目画素に対応する位置の教師画像の画素の画素値とを足し込んだ、クラスごと、およびコンポーネントごとの式（１０）の正規方程式を係数生成部２２４に供給する。

係数生成部２２４は、足し込み行列生成部２２３から供給された、クラスごと、およびコンポーネントごとの式（１０）の正規方程式を、掃き出し法などにより解くことで、クラスごと、およびコンポーネントごとの予測係数を生成する。係数生成部２２４において生成された予測係数は、出力されて、係数蓄積部１０３に蓄積される。

図２６は、クラス分類適応処理のクラスごとの予測係数を生成する処理を説明するフローチャートである。ステップＳ２０１において、単板データ化部２２１および画素値抽出部２２２は、色数分の生徒画像と、これに対応する色数分の教師画像とを選択する。ステップＳ２０２において、単板データ化部２２１は、色数分の生徒画像を、画素位置に応じた単板データ化し、最終的な生徒画像を生成する。

ステップＳ２０３において、クラスタップ構築部１０１は、教師画像の画素に対応する注目する画素である注目画素を選ぶ。ステップＳ２０４において、クラスタップ構築部１０１は、生徒画像から注目画素の周辺のデータを読み出す。

ステップＳ２０５において、クラスタップ構築部１０１は、注目画素の生成しようとするコンポーネントを選ぶ。

ステップＳ２０６において、クラスタップ構築部１０１は、生徒画像から注目画素に応じたクラスタップを構築する。ステップＳ２０７において、クラス分類部１０２は、クラスタップにより注目画素をクラス分類する。ステップＳ２０８において、予測タップ構築部１０４は、生徒画像から、注目画素が分類されたクラスに応じた予測タップを構築する。

ステップＳ２０８において、画素値抽出部２２２は、教師画像から生成画素位置、すなわち、注目画素に対応する位置の教師データ（画素の画素値）を抽出する。この場合、ステップＳ２０５で選択されたコンポーネントに対応する色の教師画像の画素値が抽出されることになる。

ステップＳ２１０において、足し込み行列生成部２２３は、各クラス各コンポーネント毎の足し込み行列を生成する。例えば、ステップＳ２１０において、足し込み行列生成部２２３は、クラスごと、およびコンポーネントごとの式（１０）の正規方程式に、予測タップと、注目画素に対応する位置の教師画像の画素の画素値とを足し込む。

ステップＳ２１１において、クラスタップ構築部１０１は、その注目画素の総てのコンポーネント、すなわちRGBについて処理が終了したか否かを判定し、RGBについて処理が終了していないと判定された場合、ステップＳ２０５に戻り、次のコンポーネントについて、上述した処理を繰り返す。

ステップＳ２１１において、RGBについて処理が終了したと判定された場合、ステップＳ２１２に進み、クラスタップ構築部１０１は、全画面の処理を終了したか否かを判定し、全画面の処理を終了していないと判定された場合、ステップＳ２０３に戻り、次の注目画素について、上述した処理を繰り返す。

ステップＳ２１２において、全画面の処理を終了したと判定された場合、ステップＳ２１３に進み、クラスタップ構築部１０１は、全画像の処理が終了したか否かを判定する。ステップＳ２１３において、全画像の処理が終了していないと判定された場合、ステップＳ２０１に戻り、次の画像について、上述した処理を繰り返す。

ステップＳ２１３において、全画像の処理が終了したと判定された場合、ステップＳ２１４に進み、係数生成部２２４は、最小自乗法により予測係数を生成して、処理は終了する。すなわち、ステップＳ２１４において、係数生成部２２４は、ステップＳ２１０において生成された、各クラス各コンポーネント毎の足し込み行列を解くことにより、クラス毎、コンポーネント毎の予測係数を生成する。

このように、クラス分類適応処理に用いる、クラスごとの予測係数が生成される。

本発明は、単板の撮像素子（光電変換素子）を用いてカラー撮影を行う場合、撮像素子から信号処理までをトータルに考慮した上で、撮像素子と信号処理とを特徴的な構成とすることで、最終的に出力される画像のデータの色再現性の向上と広色域化を実現するものである。

また、複数の撮像素子を用いる場合でも、それぞれの撮像素子において、上述した構成とすることで、同様の効果を得ることができ、全体の特性をさらに向上させることができる。例えば、複数の撮像素子のうちの１つ目の撮像素子には、画素S4と画素S1とが隣接して配置され、複数の撮像素子のうちの２つ目の撮像素子には、画素S4と画素S2とが隣接して配置され、複数の撮像素子のうちの３つ目の撮像素子には、画素S4と画素S3とが隣接して配置される。

以上の発明を適用することにより、従来に比較して色の歪みがより少なく、また、高解像度化を同日に実現した画像のデータを得ることが可能となる。そのため、例えば、ディスプレイやプリンタ等の出力において、従来よりもより人の目で見た画像に近い画像の提示が可能となる。近年、出力デバイスの特性がより広色域化されていく傾向があるので、撮像する際のデータが、より正しく、より広色域で取得できることの価値は、今後、より高まるものと予測される。

また、色域が制限されている出力デバイスにおいても、撮像時に、広色域のデータを得ることができれば、後からその出力デバイスに合わせた適正な補正を適用することで、その出力デバイスの特性において最適な画像が提示される。

さらに、本発明は、コピー機や遠隔医療機器など、例えば、各種のデザインの分野、医療分野など、より忠実な色再現性が望まれる領域においても有用である。

本発明は、デジタルスチルカメラ、デジタルビデオカメラ、撮像機能付き携帯電話機、撮像機能付きPDA、コピー機、遠隔医療機器など、撮像機能を備える機器に適用することができる。

このように、光電変換手段にカラーフィルタを設けるようにした場合には、カラーの画像を撮像することができる。また、人間の目の色に対する感度を示す等色関数のいずれかを、その出力の差分で示される分光感度で近似する画素を、光電変換手段の予め決められた位置であって、相互に隣接する位置に配置し、画素の出力をカラーの画像の信号に変換する信号処理を光電変換手段の出力に適用するようにした場合には、より正確な色を再現する画像を撮像することができる。

人間の目の色に対する感度を示す等色関数のいずれかを、その出力の差分で示される分光感度で近似する画素を、予め決められた位置であって、相互に隣接する位置に配置するようにした場合には、より正確な色を再現する画像を撮像することができる。

図２７は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、およびRAM３０３は、バス３０４により相互に接続されている。

CPU３０１にはまた、バス３０４を介して入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。

入出力インターフェース３０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部３０９を介してプログラムを取得し、記憶部３０８に記憶してもよい。

入出力インターフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部３０８に転送され、記憶される。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２７に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

ベイヤー配列を説明する図である。 RGBのカラーフィルタの分光特性の一例と、RGBの等色関数とを示す図である。本発明の一実施の形態の撮像装置の構成を示すブロック図である。センサ部における分光特性に影響を与える系を説明するブロック図である。センサ部の画素の配置の例を示す図である。差分により実現される分光特性を説明する図である。赤外カットフィルタの分光特性IR（λ）の例を示す図である。画素S1、画素S2、画素S3、および画素S4の分光特性を示す図である。図７で示される分光特性の赤外カットフィルタと、図８の画素S1、画素S2、画素S3、および画素S4の分光特性とから実現される、RGBのそれぞれの分光特性を示す図である。信号処理部の構成の例を示すブロック図である。画素の位相と加重平均の演算とを説明する図である。信号処理部による信号処理の例を説明するフローチャートである。信号処理部の構成の他の例を示すブロック図である。信号処理部による信号処理の他の例を説明するフローチャートである。画素S1、画素S2、画素S3、および画素S4の分光特性を示す図である。図７で示される分光特性の赤外カットフィルタと、図１５の画素S1、画素S2、画素S3、および画素S4の分光特性とから実現される、XYZのそれぞれの分光特性を示す図である。信号処理部の構成のさらに他の例を示すブロック図である。クラスタップの配置の例を示す図である。クラス分類部の構成の例を示すブロック図である。予測タップの配置の例を示す図である。信号処理部によるクラス分類適応処理である信号処理の例を説明するフローチャートである。信号処理部の構成のさらに他の例を示すブロック図である。信号処理部によるクラス分類適応処理である信号処理の他の例を説明するフフローチャートである。教師画像および生徒画像を撮像する撮像装置を示す図である。予測係数を生成する画像処理装置の構成の例を示すブロック図である。予測係数を生成する処理を説明するフローチャートである。パーソナルコンピュータの構成の例を示すブロック図である。

符号の説明

１１センサ部，１３信号処理部，３２カラーフィルタ，７１ホワイトバランス調整部，７２生成画素位相判定部，７３ RGB抽出部，７４加重平均部，９１ホワイトバランス調整部，１０１クラスタップ構築部，１０２クラス分類部，１０３係数蓄積部，１０４予測タップ構築部，１０５積和演算部，１２１ DR演算部，１２２ DR最大値検出部，１２３ ADRCコード計算部，２０１白黒カメラ，２０２フィルタホイール，２２１単板データ化部，２２２画素値抽出部，２２３足し込み行列生成部，２２４係数生成部，３０１ CPU，３０２ ROM，３０３ RAM，３０８記憶部，３１１リムーバブルメディア

Claims

相互に隣接する光電変換素子のうち、予め決められた位置の光電変換素子の出力の差分として得られる分光感度が、人間の目の色に対する感度を示す等色関数のいずれかを近似する、その光電変換素子がその決められた位置に配置されてなる撮像手段と、
前記撮像手段の光電変換素子の出力のホワイトバランスを調整する調整手段と、
ホワイトバランスが調整された光電変換素子の出力をカラーの画像の信号に変換する信号処理を前記撮像手段の出力に適用する信号処理手段と
を備える撮像装置。
前記撮像手段に縦横に相互に隣接して配置されている４つの光電変換素子のうちの第１の光電変換素子の出力と第２の光電変換素子の出力との差分として得られる分光感度が、光の３原色の等色関数のうちの、第１の等色関数を近似し、前記４つの光電変換素子のうちの第３の光電変換素子の出力と前記第１の光電変換素子の出力との差分として得られる分光感度が、光の３原色の等色関数のうちの、第２の等色関数を近似し、前記４つの光電変換素子のうちの第４の光電変換素子の出力と前記第１の光電変換素子の出力との差分として得られる分光感度が、光の３原色の等色関数のうちの、第３の等色関数を近似する
請求項１に記載の撮像装置。
前記撮像手段は、縦横に相互に隣接して配置されている前記第１の光電変換素子と前記第２の光電変換素子と前記第３の光電変換素子と前記第４の光電変換素子とからなる単位が縦または横に並ぶように配置されてなる
請求項２に記載の撮像装置。
前記信号処理手段は、
前記第１の光電変換素子毎に、前記第１の光電変換素子に隣接する前記第２の光電変換素子と前記第３の光電変換素子と前記第４の光電変換素子に対して、前記第１の光電変換素子の出力と前記第２の光電変換素子の出力との差分、前記第１の光電変換素子の出力と前記第３の光電変換素子の出力との差分、および前記第１の光電変換素子の出力と前記第４の光電変換素子の出力との差分を算出する第１の算出手段と、
画素値を算出しようとするカラーの画像の画素の位置が、前記第１の光電変換素子の位置に対して、前記撮像手段における２つの光電変換素子の距離の半分だけ、左上、左下、右上、または右下にずれた位置のうちのいずれであるかを判定する判定手段と、
判定の結果に応じて、カラーの画像の画素の位置に対して前記距離の半分だけずれている前記第１の光電変換素子の出力から算出された差分と、その前記第１の光電変換素子が属する単位に隣接する他の単位に属する他の前記第１の光電変換素子の出力から算出された差分とを加重平均することで、カラーの画像の画素の画素値を算出する第２の算出手段と
を備える請求項３に記載の撮像装置。
前記撮像手段は、RGBの等色関数のいずれかを近似する分光感度を、差分により出力する光電変換素子が配置されてなる
請求項１に記載の撮像装置。
前記撮像手段は、XYZ表色系の等色関数のいずれかを近似する分光感度を、差分により出力する光電変換素子が配置されてなる
請求項１に記載の撮像装置。
前記信号処理手段は、前記撮像手段における相互に隣接する光電変換素子のうち、予め決められた位置に配置されている光電変換素子の出力の差分をカラーの画像の信号として算出する信号処理を前記撮像手段の出力に適用する
請求項１に記載の撮像装置。
前記信号処理手段は、予め求められたクラス毎の係数を用いた、クラス分類適応処理である信号処理を前記撮像手段の出力に適用する
請求項１に記載の撮像装置。
人間の目の色に対する感度を示す等色関数のいずれかを、その出力の差分の分光感度で近似する光電変換素子を、撮像手段の予め決められた位置であって、相互に隣接する位置に配置し、
前記撮像手段の光電変換素子の出力のホワイトバランスを調整し、
ホワイトバランスが調整された光電変換素子の出力をカラーの画像の信号に変換する信号処理を前記撮像手段の出力に適用する
ステップを含む撮像方法。