JP5486737B2 - 撮像装置及び信号量補正方法 - Google Patents

Description

本発明は、撮像素子のカラーフィルタの色配列に起因した信号量のばらつきと複数の画素で特定の回路素子を共有する構造に起因した信号量のばらつきとを簡易な構成で高速且つ精度良く補正することができる撮像装置及び信号量補正方法に関する。

ＣＭＯＳ（Complementary Metal Oxide Semiconductor;相補型金属酸化膜半導体）の撮像素子は、低消費電力であり、デジタルカメラ、携帯電話などの各種の携帯型の撮像装置に用いられている。

また、ＣＭＯＳの撮像素子では、基板上に必要なトランジスタの数を減らす技術として、複数画素で１つのアンプを共有する技術が広く使われている。

特に、ベイヤ配列（ＧＲ／ＢＧ）のカラーフィルタと、２×２画素で１つのアンプを共有した共有構造を有する撮像素子は、ベイヤ配列の繰り返し周期（２×２）とアンプ共有構造の繰り返し周期（２×２）とが同一であるためにマッチングが良く、非常に多く使われている。

特許文献１には、アンプ共有のパターンを考慮し、複数行分の縦筋補正パラメータを使って補正を実施する構成が開示されている。

特許文献２には、縦２×横２画素でアンプを共有することにより省スペースを実現したＣＭＯＳ撮像素子が記載されている。

特許文献３には、各画素の開口が非対称であることにより混色率が画素ごとに異なることに対応するため、混色補正パラメータを注目画素の周囲４画素に別個に持たせた構成が開示されている。

特開２００８−２８８６４９号公報 特開２０００−７８４７４号公報 特開２００７−１４２６９７号公報

撮像素子は、一般に、カラーフィルタの色（例えばＲＧＢ）の違いに起因した感度比が存在するため、撮像画像の画質を劣化させてしまうという問題がある。さらに、同色画素間であっても撮像面内で異なる感度比が分布するため、撮像画像の周辺部の色づきや、固定パターンノイズが現れるという問題もある。そこで、撮像面内を複数の領域に区切り、各領域内で、画素間の感度比の逆数を各画素の信号量（出力値）に掛ければ、カラーフィルタの色に起因した画素間の感度比を補正することができる。

一方で、アンプ共有構造を有するＣＭＯＳ撮像素子では、共有アンプを基準にした画素の相対位置に応じて、同じ領域内の同色の画素間でも信号量に差が生じてしまう。つまり、共有アンプに対する相対位置が異なる画素間では、下地のレイアウトの違い等に因り感度がばらつくため、画像の再現性に悪影響を与えるという問題があった。この問題は、画素サイズの微細化に伴って、より顕在化していた。

そこで、撮像素子のカラーフィルタの色配列に起因した信号量のばらつきと複数の画素で特定の回路素子を共有する構造に起因した信号量のばらつきの両方を補正するため、カラーフィルタの基本配列パターンの繰り返し周期（Ｍ×Ｍ）とアンプ共有構造の繰り返し周期（Ｎ×Ｎ）との最小公倍数に相当する数（ＭＮ×ＭＮ）の補正係数を予め記憶しておき、その中から各画素ごとに適切な補正係数を選択し、その選択した補正係数を各画素の信号量に掛けるようにすることが考えられる。

しかしながらカラーフィルタが２×２のベイヤ配列であってアンプ共有構造も２×２の４画素正方配列である場合には４個の補正係数で済むが、例えばカラーフィルタ配列が３×３配列であったり６×６配列であるような場合には、補正係数の数（ＭＮ×ＭＮ）が膨大になってしまい、補正処理の時間や回路規模が増大してしまう問題がある。

特許文献１に記載の構成では、遮光画素を用いるため、アンプ共有構造の光学的特性のばらつきに起因した画素間の感度比の補正には適用不可である。

特許文献２、３に記載の構成では、カラーフィルタの繰り返しの配置周期とアンプ共有構造の繰り返しの配置周期とが異なると、補正係数が膨大に増えるという問題が生じる。

また、ベイヤ配列では、緑（Ｇ）画素を市松模様（チェッカー盤柄）状に配置し、赤（Ｒ）、青（Ｂ）を線順次に配置しているため、各色の再現帯域を越えた高周波信号の折り返りと各色の位相のずれにより低周波の色付き（色モアレ）が発生するという問題がある。従って、ベイヤ配列以外のカラーフィルタ配列でも精度良く且つ容易に感度比を補正することができる構成が求められている。

本発明はこのような事情に鑑みてなされたもので、撮像素子のカラーフィルタの色配列に起因した信号量のばらつきと複数の画素で特定の回路素子を共有する構造に起因した信号量のばらつきとを簡易な構成で高速且つ精度良く補正することができる撮像装置及び信号量補正方法を提供することを目的とする。

前記目的を達成するために、本発明は、水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、前記撮像素子の各画素の信号量を補正するための情報を記憶する記憶手段と、前記記憶手段に記憶されている情報を用いて前記撮像素子の前記各画素の信号量を補正する補正手段とを備えた撮像装置であって、前記撮像素子の複数の画素は、複数画素単位で特定の回路素子を共有し、前記撮像素子の複数のカラーフィルタは、３色以上の各色のカラーフィルタを混在させた基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期は、前記特定の回路素子及び前記複数画素からなる共有構造パターンの配置の周期と異なり、前記記憶手段は、前記撮像素子の前記複数のカラーフィルタの色にそれぞれ対応する複数の第１の補正係数と、前記撮像素子の特定の回路素子の位置を基準にした前記画素の複数の相対位置にそれぞれ対応する複数の第２の補正係数とを記憶し、前記補正手段は、前記撮像素子の前記複数の画素にそれぞれ注目して各注目画素の信号量を補正するとき、前記記憶手段に記憶されている前記複数の第１の補正係数から前記注目画素上の前記カラーフィルタの色に対応する第１の補正係数を選択して、前記記憶手段に記憶されている前記複数の第２の補正係数から前記注目画素の前記相対位置に対応する第２の補正係数を選択し、選択された第１の補正係数及び第２の補正係数を前記注目画素の信号量に対して演算する撮像装置を提供する。

即ち、撮像素子のカラーフィルタの色に応じた第１の補正係数と、撮像素子の特定の回路素子の位置を基準にした画素の相対位置に応じた第２の補正係数とを記憶手段に記憶させておくだけで、各画素ごとに適切な第１の補正係数及び第２の補正係数の組み合わせが選択されて各画素の信号量に対して演算されるので、撮像素子のカラーフィルタの色配列に起因した信号量のばらつきと複数の画素で特定の回路素子を共有する構造に起因した信号量のばらつきとが、必要最小限の個数の補正係数で高速且つ精度良く補正される。

一実施形態では、前記記憶手段は、前記第１の補正係数及び前記第２の補正係数を含む補正係数であって、前記各画素間の感度比を補正するための感度比補正係数と、前記各画素に隣接した隣接画素上のカラーフィルタの混色を補正するための混色補正係数とを記憶し、前記補正手段は、前記注目画素の信号量に対して前記感度比補正係数及び前記混色補正係数のうち一方の前記第１の補正係数及び前記第２の補正係数を演算し、その演算結果に対して前記感度比補正係数及び前記混色補正係数のうち他方の前記第１の補正係数及び前記第２の補正係数を演算する。即ち、第１段の補正として、各注目画素の信号量に対して感度比補正係数及び混色補正係数のうち一方（例えば感度比補正係数）の第１の補正係数及び第２の補正係数が演算され、第２段の補正として、その演算結果に対して感度比補正係数及び混色補正係数のうち他方（例えば混色補正係数）の前記第１の補正係数及び前記第２の補正係数が演算されるので、画素の信号量が従来より精度良く補正される。

一実施形態では、前記第２の補正係数を計算する補正係数計算手段であって、前記特定の回路素子を基準にした相対位置が異なる画素間の信号量を比較して前記第２の補正係数を計算する補正係数計算手段を備え、前記記憶手段は、前記補正係数計算手段によって計算された前記第２の補正係数を記憶する。即ち、アンプ共有構造要因の感度比の補正係数をカラーフィルタ要因の感度比の補正係数とは分離して求めることができる。

一実施形態では、前記補正係数計算手段は、前記撮像素子によって生成された撮像画像の全部又は一部に基づいて、前記特定の回路素子を基準にした相対位置ごとに、前記複数の共有構造パターンにわたり同色の複数の画素の信号量の平均値を計算し、該平均値を異なる相対位置間で比較することで、前記第２の補正係数を計算する。即ち、感度比の補正係数を、レンズ交換に因る入射角の変化等の撮影環境の変化に容易に追従させることができる。

一実施形態では、前記撮像素子は、前記各基本配列パターン内に白いカラーフィルタを有し、前記補正係数計算手段は、複数の前記基本配列パターンにわたり、前記白いカラーフィルタに対応した各画素の信号量を平均することで前記第２の補正係数を計算する。即ち、白画素の感度が良い特性を利用することで、精度良く補正係数を求めることができる。

また、本発明は、水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子の各画素の信号量を補正する信号量補正方法であって、前記撮像素子の複数の画素は、複数画素単位で特定の回路素子を共有し、前記撮像素子の複数のカラーフィルタは、３色以上の各色のカラーフィルタを混在させた基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期は、前記特定の回路素子及び前記複数画素からなる共有構造パターンの配置の周期と異なり、前記撮像素子の前記複数のカラーフィルタの色にそれぞれ対応する複数の第１の補正係数と、前記撮像素子の特定の回路素子の位置を基準にした前記画素の複数の相対位置にそれぞれ対応する複数の第２の補正係数とを記憶デバイスに予め記憶しておき、前記撮像素子の前記複数の画素にそれぞれ注目して各注目画素の信号量を補正するとき、前記複数の第１の補正係数から前記注目画素上の前記カラーフィルタの色に対応する第１の補正係数を選択して、前記複数の第２の補正係数から前記注目画素の前記相対位置に対応する第２の補正係数を選択し、選択された第１の補正係数及び第２の補正係数を前記注目画素の信号量に対して演算する信号量補正方法を提供する。

本発明によれば、撮像素子のカラーフィルタの色配列に起因した信号量のばらつきと複数の画素で特定の回路素子を共有する構造に起因した信号量のばらつきとを簡易な構成で高速且つ精度良く補正することができる。

第１実施形態における撮像装置の一例の全体構成を示すブロック図 第１実施形態における撮像素子の一例の一部を模式的に示す図 撮像素子のカラーフィルタ配列の一例を示す図 第１実施形態における感度補正処理例の流れを示すフローチャート 第１実施形態における混色補正処理例の流れを示すフローチャート 第２実施形態における撮像素子の一例の一部を模式的に示す図 第２実施形態における撮像装置の一例の全体構成を示すブロック図 第３実施形態における撮像素子の一例の一部を模式的に示す図 第３実施形態における混色補正処理例の流れを示すフローチャート 第４実施形態における撮像素子の一例の一部を模式的に示す図 第４実施形態における撮像装置の一例の全体構成を示すブロック図 第４実施形態における混色補正処理例の流れを示すフローチャート 共有構造パターンの他の例を示す図 第１実施例のカラーフィルタ配列を示す図 第１実施例のカラーフィルタ配列における基本配列パターンの説明に用いる説明図 第２実施例のカラーフィルタ配列を示す図

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

＜第１実施形態＞
図１は、本発明に係る第１実施形態における撮像装置の一例の全体構成を示すブロック図である。ここで撮像装置とは、カメラ単体に限られず、カメラ付き携帯電話、カメラ付きスマートフォン、カメラ付きタブレット型コンピュータ、カメラ付き音楽プレーヤなどの各種の情報機器や電子機器を含みうる。

撮像装置１００は、入射した被写体光を被写体像として結像する撮影レンズ１０と、アイリス１１と、撮影レンズ１０によって結像された被写体像を撮像する撮像素子１２と、撮影レンズ１０から撮像素子１２まで至る被写体光の光路１３を開閉することで撮像素子１２の遮光状態と光照射状態とを切り替えるメカシャッタ１４と、撮像素子１２から出力された撮像信号をメモリ２０に入力する画像入力コントローラ１９と、デジタルの画像信号を一時記憶するメモリ２０と、メモリ２０に一時記憶されたデジタルの画像信号に対して所定のデジタル信号処理を行う画像信号処理回路２２と、デジタルの画像信号に対する圧縮処理及び伸張処理を行う圧縮処理回路２４と、デジタルの画像データの入出力を行うメディアコントローラ２６と、圧縮されたデジタルの画像信号がメディアコントローラ２６の制御により撮像画像として記録される記録メディア２７と、各種の指示が入力される指示入力部２９と、撮影レンズ１０を駆動するモータドライバ３０と、アイリス１１を駆動するモータドライバ３１と、メカシャッタ１４を駆動するモータドライバ３４を備える。

撮像素子１２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子によって構成されている。撮像素子１２のうちの一部である特定の２×２画素分の構造を図２に模式的に示す。この撮像素子１２は、水平方向ｘ及び垂直方向ｙの二次元で配列された光電変換素子からなる複数の画素６２上に、複数のカラーフィルタ６４がそれぞれ配置されて構成されている。また、複数の画素６２は、２×２画素単位で特定の回路素子としてアンプ６６（増幅素子）を共有している。複数のカラーフィルタ６４は、図３に示すように、３色以上（本例ではＲ，Ｇ、Ｂの３色）の各色のカラーフィルタ６４を混在させて配列した３×３画素の基本配列パターンＢＰを、水平方向ｘ及び垂直方向ｙに繰り返し配置したものである。共有構造パターンＣＰは、アンプ６６及びアンプ６６を共有した２×２画素からなる。基本配列パターンＢＰの配列数（３×３）と共有構造パターンＣＰの配列数（２×２）との最小公倍数の配列数は６×６になる。その６×６の拡張パターンに対して図中ＥＰを付した。拡張パターンＥＰでは、カラーフィルタの色と共有アンプ６６からの相対位置との組み合わせは３６通りになる。

撮像素子１２は、撮像領域１２ａから出力されたアナログの画像信号をデジタルの画像信号に変換するＡＤ変換部１８と、撮像領域１２ａの撮像タイミングを生成するタイミングジェネレータ３２を有する。

撮影レンズ１０によって撮像素子１２に結像された被写体像は、撮像素子１２の画素６２を構成している光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、ＣＰＵ５０の指令に従ってタイミングジェネレータ３２から与えられる駆動パルスに基づいて、信号電荷の量に応じた電圧信号（画像信号）として撮像素子１２から順次読み出される。撮像素子１２から読み出される画像信号は、撮像素子１２のカラーフィルタ配列に対応したＲ，Ｇ，Ｂの画像信号である。

撮像素子１２から出力されたデジタルの画像信号は、画像入力コントローラ１９の制御によって、メモリ２０に一時記憶される。この一時記憶されたデジタルの画像信号には、画像信号処理回路２２によって、ホワイトバランス補正、ガンマ補正、輝度信号及び色差信号の生成、輪郭補正、色補正等、各種のデジタル信号処理が施される。このようなデジタル信号処理が施された画像信号は、圧縮処理回路２４によって、ＪＰＥＧ規格等に準拠した圧縮処理が施された後、メディアコントローラ２６によってメモリカード等の記録メディア２７に記録される。

また、撮像装置１００は、撮像素子１２の各画素の信号量を補正するための補正係数を記憶する補正係数記憶部４０と、補正係数記憶部４０に記憶されている補正係数を用いて感度補正を行う感度補正部４２と、補正係数記憶部４０に記憶されている補正係数を用いて混色補正を行う混色補正部４４と、撮像装置１００の各部を制御するＣＰＵ５０を備える。補正係数記憶部４０は、例えば不揮発性メモリによって構成される。感度補正部４２及び混色補正部４４は、例えば演算回路によって構成される。感度補正部４２及び混色補正部４４をＣＰＵ５０に含ませてもよい。

補正係数記憶部４０は、撮像素子１２の複数のカラーフィルタ６４の色にそれぞれ対応する複数の第１の補正係数と、撮像素子１２の共有アンプ６６の位置を基準にした画素６２の複数の相対位置にそれぞれ対応する複数の第２の補正係数とを記憶する。本例では、補正係数記憶部４０は、不揮発性のメモリによって構成されている。本例の補正係数記憶部４０は、複数の第１の補正係数として、撮像素子１２のカラーフィルタ６４の分光特性の異なる種類の数と同数の第１の補正係数を記憶する。また、本例の補正係数記憶部４０は、複数の第２の補正係数として、撮像素子１の共有構造パターンＣＰのひとつに存在する画素の数と同数の第２の補正係数を記憶する。

ＣＰＵ５０は、感度補正部４２及び混色補正部４４を制御することで、撮像素子１２の各画素から出力される信号量の補正を制御する。

［本発明における信号量補正の原理］
次に、本発明における信号量の補正の原理について、説明する。

感度補正部４２及び混色補正部４４は、撮像素子１２の複数の画素６２にそれぞれ注目して各注目画素の信号量を補正するとき、補正係数記憶部４０に記憶されている複数の第１の補正係数から注目画素上のカラーフィルタ６４の色に対応する第１の補正係数を選択して、補正係数記憶部４０に記憶されている複数の第２の補正係数から共有アンプ６６を基準とした注目画素の相対位置に対応する第２の補正係数を選択し、選択された第１の補正係数及び第２の補正係数を注目画素の信号量に対して演算する。従って、撮像素子１２のカラーフィルタ６４の色配列に起因した信号量のばらつきと複数の画素でアンプ６６を共有する構造に起因した信号量のばらつきとが、必要最小限の個数の補正係数で高速且つ精度良く補正される。

また、第１段の信号量補正として、感度補正部４２により、各注目画素の信号量に対して感度比補正係数の第１の補正係数及び第２の補正係数が演算され、第２段の信号量補正として、混色補正部４４により、感度補正部４２の演算結果に対して混色補正係数の第１の補正係数及び第２の補正係数が演算されるので、画素の信号量が従来よりも精度良く補正される。第１段の信号量補正として、混色補正部４４により、各注目画素の信号量に対して混色補正係数の第１の補正係数及び第２の補正係数を演算し、第２段の信号量補正として、感度補正部４２により、混色補正部４４の演算結果に対して感度比補正係数の第１の補正係数及び第２の補正係数を演算するようにしてもよい。

［第１実施形態における信号量補正の一例］
図４は、第１実施形態における感度比補正処理例の流れを示すフローチャートである。本処理は、図１のＣＰＵ５０の制御によりプログラムに従って実行される。ＣＰＵ５０は、感度補正部４２を用い、撮像素子１２の複数の画素にそれぞれ注目して、各画素間の感度比を補正する。

まず、ＣＰＵ５０は、注目画素が補正対象範囲内であるか否かを判定する（ステップＳ２）。補正対象範囲は、任意であるが、例えば実効画素領域である。補正対象範囲内である場合には、ステップＳ４〜Ｓ１２を実行する。

ＣＰＵ５０は、注目画素について、色情報を取得する（ステップＳ４）。本例では、撮像素子１２が、Ｒ、Ｇ、Ｂの３色のカラーフィルタを有しており、注目画素がＲ、Ｇ、Ｂのいずれのカラーフィルタ付きであるかを示す情報を取得する。各画素の色情報は、例えば、メモリ２０に記憶されており、その色情報を取得する。

感度補正部４２は、補正係数記憶部４０に記憶されている複数の第１の感度比補正係数A_r,A_g,A_bのうちで、注目画素上のカラーフィルタの色に対応する補正係数を選択し、A_centerとする（ステップＳ６）。ここで、A_r,A_g,A_bは、カラーフィルタの色に応じた補正係数であって、本例ではそれぞれＲ、Ｇ、Ｂに応じた補正係数である。即ち、補正係数記憶部４０に記憶されているA_r,A_g,A_bのうちで、注目画素に対応したカラーフィルタの色の補正係数を補正係数記憶部４０から取得する。

次に、ＣＰＵ５０は、注目画素について、共有アンプ６６の位置を基準にした相対位置情報を取得する（ステップＳ８）。本例では、ひとつの共有アンプ６６が２×２の４画素（左上、右上、左下、右下）で共有されており、ＣＰＵ５０は、注目画素が共有アンプ６６に対して左上、右上、左下、右下のいずれの位置であるかを示す情報を取得する。相対位置情報は、例えば、各画素と共有アンプ６６との相対位置を示す情報として補正係数記憶部４０に記憶される。

感度補正部４２は、補正係数記憶部４０に記憶されている第２の感度比補正係数B_ul,B_ur,B_ll,B_lrのうちで、注目画素の共有アンプ６６に対する相対位置のものを選択し、B_centerとする（ステップＳ１０）。ここで、B_ul,B_ur,B_ll,B_lrは、共有アンプ６６に対する注目画素の相対位置に応じた補正係数であって、それぞれ注目画素がその注目画素の共有アンプ６６に対して左上画素、右上画素、左下画素、右下画素である場合の感度比補正係数である。

次に、感度補正部４２は、感度比補正を実行する（ステップＳ１２）。本例では、次式を実行する。

X’=X * A_center * B_center
ここで、Xは各画素の感度比補正前の信号量であり、X’は感度比補正後の各画素の信号量であり、「*」は掛け算を示す。即ち、感度補正部４２は、カラーフィルタの色に応じた第１の感度比補正係数A_centerと、共有アンプ６６の位置を基準とした相対位置に応じた第２の感度比補正係数B_centerとを、注目画素の信号量に対して掛け算する。

ＣＰＵ５０は、ステップＳ４〜Ｓ１２を実行後、注目画素が補正対象範囲内の最終画素であるか否かを判定する（ステップＳ１４）。最終画素でない場合にはステップＳ２に戻り、最終画素である場合には本処理を終了する。

また、ＣＰＵ５０は、注目画素が補正対象範囲内でない場合（ステップＳ２でNo）、次画素を注目画素とする（ステップＳ１６）。

図５は、第１実施形態における混色補正処理例の流れを示すフローチャートである。本処理は、図１のＣＰＵ５０の制御によりプログラムに従って実行される。ＣＰＵ５０は、混色補正部４４を用い、撮像素子１２の複数の画素にそれぞれ注目して各注目画素の隣接画素上のカラーフィルタの混色を補正する。

まず、ＣＰＵ５０は、注目画素が補正対象範囲内であるか否かを判定する（ステップＳ２２）。補正対象範囲内である場合には、ＣＰＵ５０は、ステップＳ２４〜Ｓ３４を実行する。

ＣＰＵ５０は、注目画素の上隣り画素（上画素）について、色情報を取得する（ステップＳ２４）。つまり、ＣＰＵ５０は、上画素がＲ、Ｇ、Ｂのいずれのカラーフィルタ付きであるかを示す情報を取得する。各画素の色情報は、例えば、メモリ２０に記憶されており、ＣＰＵ５０は、その色情報を取得する。

混色補正部４４は、補正係数記憶部４０に記憶されている複数の第１の混色補正係数C_r,C_g,C_bのうちで、上画素上のカラーフィルタの色に対応する補正係数を選択し、C_upとする（ステップＳ２６）。ここで、C_r,C_g,C_bは、カラーフィルタの色に応じた補正係数であって、本例ではそれぞれＲ、Ｇ、Ｂに応じた補正係数である。即ち、混色補正部４４は、補正係数記憶部４０に記憶されているC_r,C_g,C_bのうちで、上画素に対応したカラーフィルタの色の補正係数を補正係数記憶部４０から取得する。

次に、混色補正部４４は、注目画素の上隣り画素（上画素）について、共有アンプ６６の位置を基準にした相対位置情報を取得する（ステップＳ２８）。本例では、混色補正部４４は、上画素が共有アンプ６６に対して左上、右上、左下、右下のいずれの位置であるかを示す情報を取得する。

次に、ＣＰＵ５０は、補正係数記憶部４０に記憶されている第２の混色補正係数D_ul,D_ur,D_ll,D_lrのうちで、上画素の共有アンプ６６に対する相対位置（左上、右上、左下、右下）に応じた補正係数を選択し、D_upとする（ステップＳ３０）。ここで、D_ul,D_ur,D_ll,D_lrは、上画素が他の画素と共有している共有アンプ６６（注目画素の共有アンプ６６とは異なる場合がある）を基準とした上画素の相対位置に応じた補正係数であって、それぞれ上画素がその上画素の共有アンプ６６に対して左上画素、右上画素、左下画素、右下画素である場合の混色補正係数である。

ＣＰＵ５０は、注目画素の下画素（下隣り画素）、左画素（左隣り画素）、右画素（右隣り画素）についても、上画素のC_up,D_upと同様に、混色補正係数を選択する（ステップＳ３２）。

ＣＰＵ５０は、下画素の色に応じた補正係数をC_down、下画素の共有アンプ６６に対する位置に応じた補正係数をD_down、左画素の色に応じた補正係数をC_left、左画素の共有アンプ６６に対する位置に応じた補正係数をD_left、右画素の色に応じた補正係数をC_right、下画素の共有アンプ６６に対する位置に応じた補正係数をD_rightとする。

次に、混色補正部４４は、混色補正を実行する（ステップＳ３４）。本例では、次式を実行する。

X”=X’- X_up*C_up*D_up-X_down*C_down*D_down - X_left*C_left*D_left - X_right*C_right*D_right
ここで、X’は感度比補正後の注目画素（自画素）の信号量、X_upは上画素の信号量、X_leftは左画素の信号量、X_rightは右画素の信号量、X”は混色補正後の注目画素（自画素）の信号量、「*」は掛け算を示す。

即ち、混色補正部４４は、感度比補正後の自画素信号量X’から、上画素信号量X_upにその混色補正係数C_up、D_upを乗じて減算し、下画素信号量X_ downにその混色補正係数C_down、D_downを乗じて減算し、左画素信号量X_leftにその混色補正係数C_left、D_leftを乗じて減算し、右画素信号量X_rightにその混色補正係数C_right、D_rightを乗じて減算する。これにより、混色補正部４４は、自画素の信号量から混色成分を除去する。

ＣＰＵ５０は、ステップＳ１４〜Ｓ３４を実行後、注目画素が補正対象範囲内の最終画素であるか否かを判定する（ステップＳ３６）。最終画素でない場合にはステップＳ２２に戻り、最終画素である場合には本処理を終了する。

また、ＣＰＵ５０は、注目画素が補正対象範囲内でない場合（ステップＳ２２でNo）、次画素を注目画素とする（ステップＳ３８）。

尚、図４及び図５を用いて、感度比補正後に混色補正を行う場合を例に説明したが、本発明はこのような場合に特に限定されず、混色補正後に感度比補正を行ってもよい。

＜第２実施形態＞
図６は、第２実施形態における撮像素子１２の一例の一部を示す模式図である。本例の撮像素子１２では、カラーフィルタの基本配列パターンＢＰ（ベイヤ配列）の配列数が２×２であり、共有アンプ６６の共有構造パターンＣＰの配列数が３×３である。よって、カラーフィルタの基本配列パターンＢＰの配列数（３×３）と共有構造パターンＣＰの配列数（２×２）との最小公倍数の配列数は６×６になる。その６×６の拡張パターンに対して図中に符号ＥＰを付した。拡張パターンＥＰでは、カラーフィルタの色と共有アンプ６６からの相対位置との組み合わせは３６通りになり、本発明を用いない場合には３６種類の補正係数を管理する必要がある。

感度比補正は、図４に示した手順と同様に実施することができる。混色補正は、図５に示した手順と同様に実施することができる。

本発明では、カラーフィルタの色に応じた補正係数と、共有アンプ６６を基準にした画素の相対位置に応じた補正係数とを補正係数記憶部４０に記憶して、これらの補正係数を各画素の信号量に演算する。即ち、カラーフィルタの色が３種類（Ｒ、Ｇ、Ｂ）であり、共有アンプ６６からの相対位置が９種類（左上、上、右上、左、中心、右、左下、下、右下）なので、予め記憶すればよい補正係数は、感度比補正のみ行う場合には１２（＝３＋９）種類でよい。第１実施形態と同様に感度比補正及び混色補正を行う場合でも補正係数が少なくても済む。

＜第３実施形態＞
図７は、第３実施形態における撮像装置の一例を示すブロック図である。この撮像装置１００は、アンプ共有構造に起因した感度差を補正するための感度補正係数を計算する感度補正係数計算部４６を備える。他の構成要素は、図１に示した第１実施形態における構成要素と同様であり、説明を省略する。

本例の感度補正係数計算部４６は、共有アンプ６６を基準にした相対位置ごとに、複数の共有構造パターンにわたり同色の複数の画素の信号量の平均値を計算し、計算した平均値を異なる相対位置間で比較することで、アンプ共有構造に起因した感度差を補正するための感度比補正係数（第２の感度比補正係数）を計算する。

図８は、第３実施形態における撮像素子１２の一例の一部を示す模式図であって、複数のＧ画素を、共有アンプ６６を基準にした相対位置でグループ化した様子を示す。図中、共有アンプ６６の左上に位置した画素Ｋ１をＡグループ（左上画素群）、右上に位置した画素Ｋ２をＢグループ（右上画素群）、左下に位置した画素Ｋ３をＣグループ（左下画素群）、右下に位置した画素Ｋ４をＤグループ（右下画素群）としている。

図９は、第３実施形態における補正処理例の流れを示すフローチャートである。本処理は、図１のＣＰＵ５０の制御によりプログラムに従って実行される。

まず、ＣＰＵ５０は、１番目の領域を指定する（ステップＳ４０）。

感度補正係数計算部４６は、指定領域内のＡグループ（左上画素群）、Ｂグループ（右上画素群）、Ｃグループ（左下画素群）及びＤグループ（右下画素群）の各画素群で、それぞれＧ（緑）の信号量を平均し、A_ave, B_ave, C_ave, D_aveとする（ステップＳ４２）。

次に、感度補正係数計算部４６は、Ｂ，Ｃ，Ｄグループのアンプ共有構造に起因した感度比を補正するための補正係数A_ave/B_ave, A_ave/C_ave, A_ave/D_ave を計算する（ステップＳ４４）。即ち、本例では、感度補正係数計算部４６は、Ａグループ（左上画素群）の信号量の平均値を基準の感度として、グループ間の感度比の逆数を、補正係数として計算している。

次に、ＣＰＵ５０は、指定領域は最終領域であるか否かを判定し（ステップＳ４６）、最終領域でなければ（ステップＳ４６でＮｏ）、次の領域を指定領域として（ステップＳ４８）、ステップＳ４２〜４４を繰り返す。

ＣＰＵ５０は、全ての指定領域で感度比の補正係数を求め終わったら、感度比補正を実施する（ステップＳ５０）。この感度比補正は、図４を用いて既に説明した第１実施形態における処理と同じであり、ここではその説明を省略する。図５に示した第１実施形態の混色補正を併せて行ってもよい。

以上では、Ｇ（緑）画素の信号量に基づいて感度比補正係数を求めたが、Ｒ（赤）等の他の色の画素の信号量に基づいて感度比補正係数を求めてもよい。

本実施形態によれば、アンプ共有構造に起因した感度のばらつきを補正するための補正係数（アンプ共有感度比補正係数）を、カラーフィルタに起因した感度のバラつきを補正するための補正係数（混色）から分離して、計算することができる。

また、アンプ共有に起因した感度比補正係数を撮影画像から求めることができる。これにより、予め補正テーブルを準備する必要が無い上に、ズーム動作やレンズ交換等を行って光学条件が変化していても追従可能になる。

＜第４実施形態＞
図１０は、第４実施形態における撮像素子の一例の要部を示す模式図である。本例の撮像素子１２では、アンプ共有構造が２×２配列であり、カラーフィルタの基本配列が３×３配列である。図中、「Ｒ」が赤色、「Ｇ」が緑色、「Ｂ」が青色、「Ｗ」が白色のカラーフィルタ及び画素を示す。つまり、本実施形態の撮像素子１２は、白画素を有する。白画素を用いた撮像素子１２ｗは、白画素を用いない撮像素子１２に比べ感度を高くできるため、輝度ノイズ低減に効果がある。

本例では、共有アンプ６６の共有構造パターンが２×２画素であるため、共有アンプ６６に対する相対位置は４通りある。

図１１は、図１０の撮像素子１２を備えた撮像装置１００の一例のブロック図である。この撮像装置１００は、図７の撮像装置１００と同様に感度補正係数計算部４６を備えるが、その感度補正係数計算部４６内に、メモリ２０に記憶されている撮像画像から白画素の信号量を取得する白画素信号量取得部４６ｗが有る点で図７に示した第３実施形態の撮像装置１００と異なる。以下では、第３実施形態と異なる点のみを説明する。

図１２は、第４実施形態における補正処理例の流れを示すフローチャートである。本処理は、図１１のＣＰＵ５０の制御によりプログラムに従って実行される。

まず、ＣＰＵ５０は、１番目の領域を指定する（ステップＳ６０）。

次に、感度補正係数計算部４６は、メモリ２０に記憶されている撮像画像から白画素の信号量を取得して、指定領域内のＡ〜Ｄグループ（４グループ）の各画素群で、それぞれＷ（白）の信号量を平均し、A_ave,B_ave,C_ave,D_aveとする（ステップＳ６２）。Ａ〜Ｄグループは、それぞれ左上画素群、右上画素群、左下画素群、及び右下画素群である。

次に、感度補正係数計算部４６は、Ｂ〜Ｄグループのアンプ共有構造に起因した感度比の補正係数A_ave/B_ave, A_ave/C_ave, 及びA_ave/D_aveを計算する（ステップＳ６４）。

次に、ＣＰＵ５０は、指定領域が補正対象領域内の最終領域であるか否かを判定し（ステップＳ６６）、最終領域でなければ（ステップＳ６６でＮｏ）、次の領域を指定領域として（ステップＳ６８）、ステップＳ６２〜６４を繰り返す。

ＣＰＵ５０は、全ての指定領域で感度比の補正係数を求め終わったら、感度比補正を実施する（ステップＳ７０）。この感度比補正は、図４を用いて既に説明した第１実施形態における処理と同じであり、ここではその説明を省略する。図５に示した第１実施形態の混色補正を併せて行ってもよい。

白画素は実質的にカラーフィルタが付加されていない画素と等価と考えることができ、アンプ共有構造のみに起因した感度比を発生する。従って、カラーフィルタに起因した感度比とアンプ共有構造に起因した感度比とを精度良く分離することが可能となる。また、白画素は、カラーフィルタが付加された画素よりも感度が高いため、補正係数の精度を確保しやすい。

尚、本発明における「白いカラーフィルタ」は、白色のカラーフィルタである場合や、カラーフィルタが付加されていない場合（カラーフィルタ無しの場合）には、特に限定されない。「白いカラーフィルタ」は、無色のカラーフィルタを含む。可視光に対し略透明（例えば透過率が８０％以上）のフィルタでもよい。

また、上記の例では、白画素が色画素の一つとして用いられた場合を例に説明したが、白画素の数を間引きにより減らすことも可能であり、この場合には計算時間を短縮できる。

＜共有構造パターンのバリエーション＞
以上、第１実施形態〜第４実施形態では、図３、図６等に示したように、同一種類の共有構造パターンＣＰが繰り返し配置された撮像素子１２を例に説明したが、本発明はこのような場合には限定されない。画素の配置パターンが異なる複数種類の共有構造パターンが繰り返し配置された撮像素子１２であってもよい。

図１３は、画素の配置パターンが異なる複数種類（複数組）の共有構造パターンＣＰ１、ＣＰ２が繰り返し配置された撮像素子１２の一例の一部を示す。図１３にて、「Ｒ」、「Ｂ」、「Ｇ」はそれぞれ、カラーフィルタの色が赤、青、緑であることを示す。第１の共有構造パターンＣＰ１は、左上画素Ｒ１１、左中画素Ｇ１２，左下画素Ｒ１３、右上画素Ｇ２１からなる。第２の共有構造パターンＣＰ２は、左上画素Ｂ２２、左中画素Ｇ２３，左下画素Ｂ２４、及び右下画素Ｇ３４からなる。そして、画素の配置パターンが異なる二種類の共有構造パターンＣＰ１、ＣＰ２が水平方向ｘ及び垂直方向ｙに繰り返し配列されている。

感度補正部４２及び混色補正部４４は、複数種類の共有構造パターンＣＰ１、ＣＰ２のそれぞれで、共有アンプ６６を基準とした画素６２の相対位置に応じて信号量の補正を行う。

尚、本発明において、異なる共有構造パターンの種類の数は２組には、限定されない。

［カラーフィルタ配列の各種の実施例］
以下では、カラーフィルタ配列の各種の実施例を詳細に説明する。

（カラーフィルタ配列の第１実施例）
第１実施例のカラーフィルタ配列を図１４に示す。

図１４は、撮像素子１２に設けられているカラーフィルタ６４の配列（以下「カラーフィルタ配列」という）の一例を示している。各画素上には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタのうちのいずれかが配置される。

尚、図１４にて、光電変換素子からなる画素６２はカラーフィルタ６４で隠れており、アンプ６６も本来は同様にカラーフィルタ６４で隠れて見えないが、アンプ６６の共有構造が判別できるようにアンプ６６を透視して描いた。

図１４に示すカラーフィルタ配列は、下記の第１〜第３の特徴を有している。

（第１の特徴）図１４に示すカラーフィルタ配列は、３色（Ｒ，Ｇ，Ｂ）の各色のカラーフィルタ６４を混在させて正方配列（本例では水平方向に６個、垂直方向に６個）配列した基本配列パターンＢＰ（太枠で示したパターン）を、水平方向ｘ及び垂直方向ｙに繰り返し配置したものである。即ち、このカラーフィルタ配列では、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化（補間）処理（デモザイク処理とも言う）等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

（第２の特徴）基本配列パターンＢＰの配置の周期（６×６）は、アンプ６６及び２×２画素からなる共有構造ＣＰの配置の周期（２×２）と比較して、水平方向ｘ及び垂直方向ｙのいずれでも３倍である。基本配列パターンＢＰ内には、アンプ共有構造の２×２画素（共有正方配列パターン）にそれぞれ対応する２×２個のカラーフィルタ６４であって同一色の２×２個のカラーフィルタ６４からなる同色正方配列パターンＧＰが少なくともひとつ含まれている。即ち、基本配列パターンＢＰ内には、アンプ共有構造の２×２画素に水平方向ｘ及び垂直方向ｙの両方で位置が一致する２×２個のカラーフィルタ（同色正方配列パターンＣＰのカラーフィルタ）が含まれている。

このように基本配列パターンＢＰ内には、共有構造の２×２画素に水平方向ｘ及び垂直方向ｙの両方で位置が一致する同色正方配列パターンＧＰのカラーフィルタが含まれているので、アンプ共有構造に起因した感度差を、同色正方配列パターンＧＰに対応した２×２画素の信号量に基づいて、容易に検出することが可能となる。

第３の特徴について説明する。図１４にて、基本配列パターンＢＰは、複数色（Ｒ、Ｇ、Ｂ）の各色に注目したとき、それぞれ基本配列パターンＢＰ内において水平方向ｘ及び垂直方向ｙの各ラインに１つ以上配置されている。例えば、「Ｇ」のカラーフィルタ（以下では単に「Ｇ」という）が、基本配列パターンＢＰ内において、水平方向ではｘ＝０〜５の各ラインに１個以上、垂直方向ｙではｙ＝０〜５の各ラインに１個以上、それぞれ配置されている。同様に、「Ｒ」のカラーフィルタ（以下では単に「Ｒ」という）が、基本配列パターンＢＰ内において、水平方向ｘではｘ＝０〜５の各ラインに１個以上、垂直方向ｙではｙ＝０〜５の各ラインに１個以上、配置されている。同様に、「Ｂ」のカラーフィルタ（以下では単に「Ｂ」という）が、基本配列パターンＢＰ内において、水平方向ｘではｘ＝０〜５の各ラインに１個以上、垂直方向ｙではｙ＝０〜５の各ラインに１個以上、配置されている。このような特徴により、色モワレ（偽色）の発生を抑制することができる。

第４の特徴について説明する。図１４にて、複数のカラーフィルタでは、水平方向ｘ及び垂直方向ｙのそれぞれにおいて、複数色（Ｒ、Ｇ、Ｂ）の各色に注目したとき、同一ライン上に同色のカラーフィルタが２種類以上の配置間隔で配置されているラインが存在する。例えば、ｙ＝０の水平ライン（図中で最も上の水平ライン）で「Ｇ」に注目したとき、座標（０，０）の「Ｇ」と座標（２、０）の「Ｇ」との間隔は２画素分、座標（２，０）の「Ｇ」と座標（３，０）の「Ｇ」との間隔は１画素分である。ｙ＝２、３、５の水平ラインも同様である。ｙ＝１の水平ライン（図中で上から２番目の水平ライン）で「Ｂ」に注目したとき、座標（０，１）の「Ｂ」と座標（２，１）の「Ｂ」との間隔は２画素分、座標（２，１）の「Ｂ」と座標（６，１）の「Ｂ」との間隔は４画素分である。同じｙ＝１の水平ラインで「Ｒ」に注目したとき、座標（３，１）の「Ｒ」と座標（５，１）の「Ｒ」との間隔は２画素分、座標（５，１）の「Ｒ」と座標（９，１）の「Ｒ」との間隔は４画素分である。ｙ＝４の水平ラインも同様である。また、垂直方向のラインを各色ごとに見たときも同様である。このようなラインは、水平方向ｘ及び垂直方向ｙのそれぞれにおいて、少なくとも基本配列パターンＢＰの繰返し周期（水平方向ｘで６、垂直方向で６）以下の間隔で存在する。このような特徴により、周期的なパターンの幾何学的なノイズの発生が抑制される。

第５の特徴について説明する。輝度系画素に対応するＧフィルタは、基本配列パターンＢＰ内において、水平方向、垂直方向、斜め方向（ＮＥ，ＮＷ）の各方向に２以上隣接する部分が含まれるように配置されている。

輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理（デモザイク処理）の再現精度を向上させることができる。

第６の特徴について説明する。図１４にて、同色正方配列パターンＧＰを構成している各カラーフィルタ６４を第ｋの同色フィルタ（ｋはアンプ６６に対する位置を示す１から４の整数）としたとき、第１の同色フィルタ（アンプ６６に対して左上の「Ｇ」）に隣接する複数のカラーフィルタ（０時の方向から時計回りにＢＲＧＧＧＢＲＧ）と、第２の同色フィルタ（アンプ６６に対して右上の「Ｇ」）に隣接する複数のカラーフィルタ（３時の方向から時計回りにＢＲＧＧＧＢＲＧ）と、第３の同色フィルタ（アンプ６６に対して左下の「Ｇ」）に隣接する複数のカラーフィルタ（６時の方向から時計回りにＢＲＧＧＧＢＲＧ）と、第４の同色フィルタ（アンプ６６に対して右下の「Ｇ」）に隣接する複数のカラーフィルタ（９時の方向から時計回りにＢＲＧＧＧＢＲＧ）との間で、色の組み合わせ（ＲＧＢ）及び各色ごとの数（Ｒ２個、Ｇ４個、Ｂ２個）が同一である。本例において、同一の同色正方配列パターン内では、いずれの同色フィルタに注目しても、隣接するカラーフィルタが時計回りにＢＲＧＧＧＢＲＧという順序で配列されている。つまり、いずれの同色フィルタも、同様な色配列で隣接するカラーフィルタに囲まれている。

図１５は、図１４に示した基本配列パターンＢＰを、３×３画素に４分割した状態に関して示している。図１５に示すように基本配列パターンＢＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。Ａ配列及びＢ配列では、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列では、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列され、一方、Ｂ配列では、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、図１４に示した基本配列パターンＢＰは、その基本配列パターンの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図１５に示すように、基本配列パターン内のＡ配列及びＢ配列も、それぞれ中心のＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。更に、図１４に示すように、撮像素子１２のカラーフィルタ配列では、Ｇフィルタが、カラーフィルタ配列の斜め方向（ＮＥ、ＮＷ）の各ライン内に配置されており、高周波領域での同時化処理の再現精度をより向上させることができるという特徴を有している。

（カラーフィルタ配列の第２実施例）
図１６は、撮像素子のカラーフィルタ配列の第２実施例を示す。

図１６に示すように、このカラーフィルタ配列は、７×７画素に対応する正方配列パターンからなる基本配列パターンＢＰ（太枠で示したパターン）を含み、この基本配列パターンＢＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列では、図１４に示した第１実施例のカラーフィルタ配列と同様、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている（第１の特徴）。

また、基本配列パターンＢＰ内には、アンプ共有構造の２×２画素に水平方向ｘ及び垂直方向ｙの両方で位置が一致する２×２個のカラーフィルタ（同色正方配列パターンＧＰのカラーフィルタ）が含まれている（第２の特徴）。

ただし、本実施例の基本配列パターンＢＰは、水平方向ｘ及び垂直方向ｙにそれぞれ奇数個のカラーフィルタを配置したものである。よって、同色Ｇの２×２パターンは、互いに水平方向ｘ及び垂直方向ｙのそれぞれに奇数画素（本例では１画素）分だけ位置をずらして配置されている。

水平方向ｘ及び垂直方向ｙの両方方向で同色の２×２パターン内の４画素をずらして配置してもよい。即ち、同色の２×２パターン内の４画素が（２ｎ，２ｍ），（２ｎ＋１，２ｍ），（２ｎ，２ｍ＋１），（２ｎ＋１，１ｍ＋１）の４種類の位置に来るようにすればよい。言い換えると、２×２の４つの同色カラーフィルタが、アンプ６６に対して異なる４つの位置に来ればよい。

このように複数の同色正方配列パターンＧＰが互いに奇数画素分だけずらして配置されているため、各基本配列パターンＢＰ内に、アンプ６６を共有した共有構造パターン（図２のＣＰ）に整合する同色正方配列パターンＧＰが必ず一つ以上存在するようにすることができる。この同色正方配列パターンＧＰの各画素の信号量を測定することで、アンプ６６に対する画素の位置に起因した特性のばらつきを適切に測定及び補正することができる。

上記実施例では、ＲＧＢの３原色のカラーフィルタと、ＲＧＢＷの４色のカラーフィルタを有する撮像素子について説明したが、本発明は、これに限らず、ＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタを有する撮像素子にも適用できる。

また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタを有する撮像素子にも適用できる。

以上、複数の画素でアンプ（増幅素子）のみを共有した場合を例に説明したが、感度差の原因となる共有構造であれば、他の回路素子の場合でも、本発明を適用できることは、言うまでもない。そのような場合の感度補正も本発明に含まれる。

また、基本配列パターンＢＰが６×６フィルタ、７×７フィルタの場合のみを図示したが、他のフィルタ数（８×８、９×９、・・・）であってもよいことは、言うまでもない。また、基本配列パターンはＮ×Ｎの正方配列となるカラーフィルタ配列に限られず、基本配列パターンがＮ×Ｍの配列のものであっても適用できる。尚、同時化処理（デモザイク処理）、動画撮影時の間引き処理等の画像処理の容易さを考えると、Ｎ及びＭは１０以下であることが望ましい。

本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

１０…撮影レンズ、１２…撮像素子、４０…補正係数記憶部、４２…感度補正部、４４…混色補正部、４６…感度補正係数計算部、５０…ＣＰＵ、６２…画素、６４…カラーフィルタ、６６…アンプ、１００…撮像装置

Claims (13)

1. 水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、前記撮像素子の各画素の信号量を補正するための情報を記憶する記憶手段と、前記記憶手段に記憶されている情報を用いて前記撮像素子の前記各画素の信号量を補正する補正手段とを備えた撮像装置であって、
   前記撮像素子の複数の画素は、複数画素単位で特定の回路素子を共有し、
   前記撮像素子の複数のカラーフィルタは、３色以上の各色のカラーフィルタを混在させた基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期は、前記特定の回路素子及び前記複数画素からなる共有構造パターンの配置の周期と異なり、
   前記記憶手段は、前記撮像素子の前記複数のカラーフィルタの色にそれぞれ対応する複数の第１の補正係数と、前記撮像素子の特定の回路素子の位置を基準にした前記画素の複数の相対位置にそれぞれ対応する複数の第２の補正係数とを記憶し、
   前記補正手段は、前記撮像素子の前記複数の画素にそれぞれ注目して各注目画素の信号量を補正するとき、前記記憶手段に記憶されている前記複数の第１の補正係数から前記注目画素上の前記カラーフィルタの色に対応する第１の補正係数を選択して、前記記憶手段に記憶されている前記複数の第２の補正係数から前記注目画素の前記相対位置に対応する第２の補正係数を選択し、選択された第１の補正係数及び第２の補正係数を前記注目画素の信号量に対して演算する撮像装置。
2. 前記記憶手段は、前記第１の補正係数及び前記第２の補正係数を含む補正係数であって、前記各画素間の感度比を補正するための感度比補正係数と、前記各画素に隣接した隣接画素上のカラーフィルタの混色を補正するための混色補正係数とを記憶し、
   前記補正手段は、前記注目画素の信号量に対して前記感度比補正係数及び前記混色補正係数のうち一方の前記第１の補正係数及び前記第２の補正係数を演算し、その演算結果に対して前記感度比補正係数及び前記混色補正係数のうち他方の前記第１の補正係数及び前記第２の補正係数を演算する請求項１に記載の撮像装置。
3. 前記記憶手段は、前記複数の第１の補正係数として、前記撮像素子の前記カラーフィルタの分光特性の異なる種類の数と同数の第１の補正係数を記憶する請求項１又は２に記載の撮像装置。
4. 前記記憶手段は、前記複数の第２の補正係数として、前記撮像素子の前記共有構造パターンのひとつに存在する画素の数と同数の第２の補正係数を記憶する請求項１から３のいずれか１項に記載の撮像装置。
5. 前記第２の補正係数を計算する補正係数計算手段であって、前記特定の回路素子を基準にした相対位置が異なる画素間の信号量を比較して前記第２の補正係数を計算する補正係数計算手段を備え、
   前記記憶手段は、前記補正係数計算手段によって計算された前記第２の補正係数を記憶する請求項１から４のいずれか１項に記載の撮像装置。
6. 前記補正係数計算手段は、前記撮像素子によって生成された撮像画像の全部又は一部に基づいて、前記特定の回路素子を基準にした相対位置ごとに、前記複数の共有構造パターンにわたり同色の複数の画素の信号量の平均値を計算し、該平均値を異なる相対位置間で比較することで、前記第２の補正係数を計算する請求項５に記載の撮像装置。
7. 前記撮像素子は、前記各基本配列パターン内に白いカラーフィルタを有し、
   前記補正係数計算手段は、複数の前記基本配列パターンにわたり、前記白いカラーフィルタに対応した各画素の信号量を平均することで前記第２の補正係数を計算する請求項６に記載の撮像装置。
8. 前記撮像素子には、前記画素の配置パターンが異なる複数種類の共有構造パターンが繰り返し配置され、
   前記補正手段は、前記複数種類の共有構造パターンのそれぞれで、前記特定の回路素子を基準とした前記画素の相対位置に応じて信号量の補正を行う請求項１から７のいずれか１項に記載の撮像装置。
9. 水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子の各画素の信号量を補正する信号量補正方法であって、
   前記撮像素子の複数の画素は、複数画素単位で特定の回路素子を共有し、
   前記撮像素子の複数のカラーフィルタは、３色以上の各色のカラーフィルタを混在させた基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期は、前記特定の回路素子及び前記複数画素からなる共有構造パターンの配置の周期と異なり、
   前記撮像素子の前記複数のカラーフィルタの色にそれぞれ対応する複数の第１の補正係数と、前記撮像素子の特定の回路素子の位置を基準にした前記画素の複数の相対位置にそれぞれ対応する複数の第２の補正係数とを記憶デバイスに予め記憶しておき、前記撮像素子の前記複数の画素にそれぞれ注目して各注目画素の信号量を補正するとき、前記複数の第１の補正係数から前記注目画素上の前記カラーフィルタの色に対応する第１の補正係数を選択して、前記複数の第２の補正係数から前記注目画素の前記相対位置に対応する第２の補正係数を選択し、選択された第１の補正係数及び第２の補正係数を前記注目画素の信号量に対して演算する信号量補正方法。
10. 前記第１の補正係数及び前記第２の補正係数を含む補正係数であって、前記各画素間の感度比を補正するための感度比補正係数と、前記各画素に隣接した隣接画素上のカラーフィルタの混色を補正するための混色補正係数とを前記記憶デバイスに記憶させ、
    前記注目画素の信号量に対して前記感度比補正係数及び前記混色補正係数のうち一方の前記第１の補正係数及び前記第２の補正係数を演算し、その演算結果に対して前記感度比補正係数及び前記混色補正係数のうち他方の前記第１の補正係数及び前記第２の補正係数を演算する請求項９に記載の信号量補正方法。
11. 前記特定の回路素子を基準にした相対位置が異なる画素間の信号量を比較して前記第２の補正係数を計算し、計算された前記第２の補正係数を前記記憶デバイスに記憶させる請求項９又は１０に記載の信号量補正方法。
12. 前記撮像素子によって生成された撮像画像の全部又は一部に基づいて、前記特定の回路素子を基準にした相対位置ごとに、前記複数の共有構造パターンにわたり同色の複数の画素の信号量の平均値を計算し、該平均値を異なる相対位置間で比較することで、前記第２の補正係数を計算する請求項１１に記載の信号量補正方法。
13. 前記撮像素子は、前記各基本配列パターン内に白いカラーフィルタを有し、
    複数の前記基本配列パターンにわたり、前記白いカラーフィルタに対応した各画素の信号量を平均することで前記第２の補正係数を計算する請求項１２に記載の信号量補正方法。

Images