JP5624226B2 - 撮像装置、撮像装置の制御方法、及び制御プログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法、及び制御プログラムに係り、特に、カラー撮像素子を備えた撮像装置、撮像装置の制御方法、及び制御プログラムに関する。

カラー撮像素子で広く用いられている色配列である原色系ベイヤー配列（例えば特許文献１〜３参照）は、人間の目に敏感で、輝度信号を得るために最も寄与する緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置している。

特開２００２−１３５７９３号公報 特許第３９６０９６５号公報 特開２００４−２６６３６９号公報

ところで、カラー撮像素子を用いた撮影では、隣接する画素から漏れた光の影響により、混色が発生する場合がある。このような場合、隣接する画素から漏れた光の影響による混色率を予め測定しておき、この混色率に基づいて各画素の画素データを補正するのが通常である。

従来のベイヤー配列を採用したカラー撮像素子では、例えば動画用の画像データを生成するために、垂直方向に３画素毎に１ライン分の画像データを読み出す（垂直方向１／３間引き）と共に、水平方向に３画素毎に１画素分の画素データを読み出す（水平方向１／３間引き）場合、間引き読み出しした画像も元の画像と同じベイヤー配列となる。このため、混色補正する対象画素に隣接する画素の色は、間引き前と間引き後で同一となり、間引き後の画像で隣接する画素の画素値をそのまま用いて混色補正すればよい。

しかしながら、ベイヤー配列よりも繰り返しの最小単位である基本配列パターンのサイズが大きい例えば６×６画素の基本配列パターンを有するカラーフィルタを用いた場合において、垂直方向及び水平方向ともに１／２間引きや１／３間引きしたような場合、間引き後の画像が、間引き前の画像の基本配列パターンと異なる配列となる場合がある。この場合、混色補正の対象画素に隣接する画素の色が、間引き前に隣接する画素の色と異なるため、間引き後の画像で隣接する画素の画素値をそのまま用いて混色補正すると混色補正の精度が劣化する、という問題があった。

本発明は上記問題点を解決するためになされたものであり、精度良く混色補正することができる撮像装置、撮像装置の制御方法、及び制御プログラムを提供することを目的とする。

上記課題を解決するため、本発明の撮像装置は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、撮像素子から読み出す画素の配列が撮像素子の全画素の配列を表す第１の配列と異なる第２の配列となるように、第１の方向及び第２の方向の少なくとも一方の方向に設定された周期で配置された画素の画素データを読み出すように撮像素子を駆動する駆動手段と、設定された周期で配置された画素の画素データの各々について混色補正する混色補正手段であって、混色補正の対象画素に第１の配列において隣接する隣接画素と同色の画素であって第１の配列において隣接画素から最短距離の画素の画素データに基づいて、対象画素の画素データを補正する混色補正手段と、を備えたことを特徴とする。

この発明によれば、混色補正の対象画素の第１の配列において隣接する隣接画素と同色の画素であって第１の配列において隣接画素から最短距離の画素の画素データに基づいて、対象画素の画素データを補正するので、精度良く混色補正することができる。

なお、第１のフィルタは、カラーフィルタ内において、第１の方向と、第２の方向と、第１の方向及び第２の方向と交差する第３の方向と、の各ライン内に配置され、第２の色の各色に対応する第２のフィルタは、基本配列パターン内において、第１の方向及び第２の方向の各ライン内に各々１つ以上配置された構成としてもよい。

この発明によれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタを、カラーフィルタ内において、第１の方向〜第３の方向の各ライン内に配置するようにしたため、高周波領域での同時化処理の再現精度を向上させることができる。また、第１の色以外の２色以上の第２の色に対応する第２のフィルタについては、基本配列パターン内において、第１の方向及び第２の方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を低減して高解像度化を図ることができる。

また、カラーフィルタは、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが第１の方向及び第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタである構成としてもよい。

また、カラーフィルタは、第１のフィルタからなる２×２画素に対応する正方配列を含む構成としてもよい。

この発明によれば、２×２画素に対応する正方配列の４画素の各画素間の画素値の差分値に基づいて輝度の相関方向が４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。

また、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）である構成としてもよい。

また、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成されている構成としてもよい。

この発明によれば、第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の４隅に２×２画素のＧ画素が存在することになる。これらの２×２画素のＧ画素の画素値は、４方向の相関方向の判別に使用することができる。

また、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成されていてもよい。

この発明によれば、第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の中心の画素（Ｒ画素又はＢ画素）を挟んで、水平及び垂直方向にそれぞれ隣接するＧ画素が存在することになる。これらのＧ画素（合計８画素）の画素値は、４方向の相関方向の判別に使用することができる。

なお、混色補正手段は、最短距離の画素が複数存在する場合は、これら複数の画素の何れかの画素の画素データに基づいて対象画素の画素データを補正するようにしてもよい。

また、混色補正手段は、最短距離の画素が複数存在する場合は、これら複数の画素の画素データの平均値に基づいて対象画素の画素データを補正するようにしてもよい。

また、周期は、３画素以下の周期とすることが好ましい。

また、周期を切り替える切り替え手段を備えた構成としてもよい。

本発明の撮像装置の制御方法は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置の制御方法であって、撮像素子から読み出す画素の配列が撮像素子の全画素の配列を表す第１の配列と異なる第２の配列となるように、第１の方向及び第２の方向の少なくとも一方の方向に設定された周期で配置された画素の画素データを読み出すように撮像素子を駆動し、設定された周期で配置された画素の画素データの各々について混色補正する混色補正処理であって、混色補正の対象画素に第１の配列において隣接する隣接画素と同色の画素であって第１の配列において隣接画素から最短距離の画素の画素データに基づいて、対象画素の画素データを補正することを特徴とする。

本発明の制御プログラムは、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置を制御するコンピュータに、撮像素子から読み出す画素の配列が撮像素子の全画素の配列を表す第１の配列と異なる第２の配列となるように、第１の方向及び第２の方向の少なくとも一方の方向に設定された周期で配置された画素の画素データのみを読み出すように撮像素子を駆動するステップと、設定された周期で配置された画素の画素データの各々について混色補正する混色補正処理であって、混色補正の対象画素の第１の配列において隣接する隣接画素と同色の、第１の配列において隣接画素から最短距離の画素の画素データに基づいて、対象画素の画素データを補正するステップと、を含む処理を実行させることを特徴とする。

本発明の制御プログラムは、コンピュータに、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、を含む撮像素子から読み出す画素の配列が撮像素子の全画素の配列を表す第１の配列と異なる第２の配列となるように、第１の方向及び前記第２の方向の少なくとも一方の方向に設定された周期で配置された画素の画素データを読み出された画素の画素データの各々について混色補正する混色補正処理であって、混色補正の対象画素に第１の配列において隣接する隣接画素と同色の画素であって第１の配列において隣接画素から最短距離の画素の画素データに基づいて、対象画素の画素データを補正するステップ、を含む処理を実行させることを特徴とする。

本発明によれば、精度良く混色補正することができる、という効果を有する。

第１実施形態に係る撮像装置の概略ブロック図である。 第１実施形態に係るカラーフィルタの構成図である。 第１実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第１実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第１実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。 制御部で実行される処理を示すフローチャートである。 垂直方向及び水平方向ともに１／２間引きで読み出す場合について説明するための図である。 混色補正処理について説明するための図である。 混色補正処理について説明するための図である。 混色補正処理について説明するための図である。 混色補正処理について説明するための図である。 混色補正処理について説明するための図である。 混色補正処理について説明するための図である。 混色補正処理について説明するための図である。 混色補正処理について説明するための図である。 混色補正処理について説明するための図である。 混色補正処理について説明するための図である。 第２実施形態に係るカラーフィルタの構成図である。 第２実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第２実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第２実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。 第２実施形態に係る間引き後の画像について説明するための図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。

以下、図面を参照して本発明の実施形態について説明する。

（第１実施形態）

図１には、本実施形態に係る撮像装置１０の概略ブロック図を示した。撮像装置１０は、光学系１２、撮像素子１４、撮像処理部１６、画像処理部２０、駆動部２２、及び制御部２４を含んで構成されている。

光学系１２は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。

撮像素子１４は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。

図２には、本実施形態に係るカラーフィルタの一部を示した。各画素上には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタのうちのいずれかが配置される。

＜カラーフィルタ配列の特徴＞

第１実施形態のカラーフィルタは、下記の特徴(1)〜(6)を有している。

〔特徴(1)〕

カラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のフィルタが、垂直方向及び水平方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、緑（Ｇ）のフィルタと、赤（Ｒ）及び青（Ｂ）の少なくとも一方の色のフィルタと、が垂直方向及び水平方向に各々配置された基本配列パターンが、繰り返し配置されたものとなっている。

本実施形態に係る図２に示すカラーフィルタは、一例として６×６画素（Ｎ＝Ｍ＝６）に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが垂直方向（第１の方向）及び水平方向（第２の方向）に繰り返し配置されている。即ち、このカラーフィルタは、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化処理（デモザイク処理ともいう。以下同じ）等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

〔特徴(2)〕

図２に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の第１の方向である垂直方向、第２の方向である水平方向、及びカラーフィルタ面内において、第１の方向及び第２の方向と交差する第３の方向、すなわち斜め（ＮＥ，ＮＷ）方向（第３の方向）の各ライン内に配置されている。なお、ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ４５°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり、長辺・短辺の長さに応じてその角度は変わりうる。

輝度系画素に対応するＧフィルタが、カラーフィルタ配列の垂直方向、水平方向、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。

〔特徴(3)〕

図２に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されている。

Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の垂直方向及び水平方向の各ライン内に配置されるため、色モワレ（偽色）の発生を低減することができる。

これにより、偽色の発生を抑制するための光学ローパスフィルターを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルターを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

〔特徴(4)〕

図３は、図２に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、Ａ配列とＢ配列の４隅のＧフィルタは、図４に示すようにＡ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

すなわち、図２に示すカラーフィルタ配列（基本配列パターンＰ）は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。

いま、図５に示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域を抽出した場合、この局所領域内の４隅の２×２画素のＧ画素は、図５に示す配置になっている。

図５に示すように、２×２画素のＧ画素の画素値を、左上から右下の順にＧ１、Ｇ２、Ｇ３、Ｇ４とした場合、これらのＧ画素の画素値の垂直方向の差分絶対値は（｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜）／２、水平方向の差分絶対値は（｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜）／２、右上斜め方向の差分絶対値は｜Ｇ２−Ｇ３｜、左上斜め方向の差分絶対値は｜Ｇ１−Ｇ４｜となる。

これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。

いま、図４又は図５に示すように中央に３×３画素のＡ配列が位置するように、モザイク画像から５×５画素の局所領域を抽出した場合、４隅に２×２画素のＧ画素が配置されることになる。したがって、上記局所領域内のＡ配列の３×３画素を同時化処理の対象画素とした場合、４隅の各方向別の相関絶対値の総和（又は平均値）を求め、各方向別の相関絶対値の総和（又は平均値）のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。判別された相関方向は、同時化処理等を行う際に利用することができる。

〔特徴(5)〕

図２に示すカラーフィルタ配列を構成する基本配列パターンＰは、その基本配列パターンの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図３に示すように、基本配列パターン内のＡ配列及びＢ配列も、それぞれ中心のＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。

撮像処理部１６は、撮像素子１４から出力された撮像信号に対して増幅処理や相関二重サンプリング処理、Ａ／Ｄ変換処理等の予め定めた処理を施し、画像データとして画像処理部２０に出力する。

画像処理部２０は、撮像処理部１６から出力された画像データに対して所謂同時化処理を施す。すなわち、全画素について、対応する色以外の色の画像データを周囲の画素の画素データから補間して、全画素のＲ，Ｇ，Ｂの画像データを生成する。そして、生成したＲ，Ｇ，Ｂの画像データに対して所謂ＹＣ変換処理を施し、輝度データＹ、色差データＣｒ、Ｃｂを生成する。そして、これらの信号を撮影モードに応じたサイズにリサイズするリサイズ処理を行う。

また、画像処理部２０は、詳細は後述するが、各画素について、隣接する画素の画素データに基づいて混色補正処理を実行する。例えば間引き読み出しした場合において、間引き後の画像の色の配列が間引き前の画像の色の配列と異なる場合には、混色補正の対象画素の間引き前の配列（第１の配列）において隣接する隣接画素と同色の、間引き前の配列において隣接画素から最短距離の画素の画素データに基づいて、対象画素の画素データを補正する。これにより、間引き後の画像の色の配列が間引き前の画像の色の配列と異なる場合でも、精度良く混色補正することができる。

駆動部２２は、制御部２４からの指示に応じて撮像素子１４からの撮像信号の読み出し駆動等を行う。

制御部２４は、撮影モード等に応じて駆動部２２及び画像処理部２０等を統括制御する。詳細は後述するが、制御部２４は、駆動部２２に対して、撮影モードに応じた読み出し方法で撮像信号を読み出すように指示したり、画像処理部２０に対して、撮影モードに応じた画像処理を行うよう指示したりする。

撮影モードによっては、撮像素子１４からの撮像信号を間引いて読み出す必要があるため、制御部２４は、指示された撮影モードに応じた間引き方法で間引いて撮像信号を読み出すように駆動部２２に指示する。すなわち、制御部２４は、垂直方向に何画素周期で、水平方向に何画素周期で各画素の画素データを読み出すのかを駆動部２２に指示することにより、間引き方法を切り替えることができる。

撮影モードとしては、静止画を撮影する静止画モードや、撮像した画像を間引いて比較的高解像度のＨＤ（高精細）動画データを生成して図示しないメモリーカード等の記録媒体に記録するＨＤ動画モード、撮影した画像を間引いて比較的低解像度のスルー動画（ライブビュー画像）を図示しない表示部に出力するスルー動画モード（ライブビューモード）等の動画モードがあるが、撮影モードの種類はこれらに限られるものではない。

次に、本実施形態の作用として、制御部２４で実行される処理について、図６に示すフローチャートを参照して説明する。

なお、図６に示す処理は、撮影モードに応じた撮影を実行するように指示された場合に実行される。

まず、ステップ１００では、撮影モードに応じた間引き方法で、すなわち撮影モードに応じて垂直方向及び水平方向に設定された周期の画素の画素データを読み出すように駆動部２２に指示する（本実施形態では、駆動部２２及び制御部２４が、駆動手段に対応する）。本実施形態では、一例として、垂直方向及び水平方向ともに２画素周期で、すなわち１／２間引きで各画素の画素データを読み出す。この場合、間引き後の画像データは、図７に示すような画像となる。すなわち、間引き後の画像の配列は、間引き前の画像の配列と異なる。ここで、間引き後の画像の配列が間引き前の画像の配列と同じ配列を含む場合、すなわち、間引き後の画像が、基本配列パターンＰを繰り返した画像を含む場合でも、間引き後の画像の配列が、間引き前の配列と垂直方向及び水平方向ともに完全に一致しない場合には、両者は異なるものとする。

ステップ１０２では、読み出された画像データに対して混色補正処理を実行すると共に、混色補正処理後の画像データに対して、撮影モードに応じた画像処理（例えば同時化処理、ＹＣ変換処理、リサイズ処理等）を実行するよう画像処理部２０に指示する（本実施形態では、画像処理部２０及び制御部２４が、混色補正手段に対応する）。

混色補正処理は、以下のような処理を各画素に対して実行する。例えば、混色補正の対象画素の画素データをＤａ、対象画素の上側に隣接する画素の画素データをＤ１、対象画素の下側に隣接する画素の画素データをＤ２、対象画素の左側に隣接する画素の画素データをＤ３、対象画素の右側に隣接する画素の画素データをＤ４、対象画素の上側の画素から対象画素が受ける混色率をＫ１、対象画素の下側の画素から対象画素が受ける混色率をＫ２、対象画素の左側の画素から対象画素が受ける混色率をＫ３、対象画素の右側の画素から対象画素が受ける混色率をＫ４として、対象画素の補正後の画素データＤｂを次式で算出する。なお、混色率Ｋ１〜Ｋ４は、上側に隣接する画素からの光の漏れ込み量、下側に隣接する画素からの光の漏れ込み量、左側に隣接する画素からの光の漏れ込み量、右側に隣接する画素からの光の漏れ込み量を測定し、その測定値に基づいて各々算出しておく。

Ｄｂ＝Ｄａ−（Ｄ１×Ｋ１＋Ｄ２×Ｋ２＋Ｄ３×Ｋ３＋Ｄ４×Ｋ４） ・・・（１）

以下、混色補正処理の具体例について説明する。

図８には、６×６画素の基本配列パターンＰを中心に配置したカラーフィルタ配列の一例を示した。同図に示すように、垂直方向及び水平方向に１／２間引きで各画素の画素データを読み出す場合、図中矢印の位置で示す破線枠及び太線枠の画素の画素データを読み出すことになる。

以下では、基本配列パターンＰ内で読み出される太線枠で示したＧ画素Ｇ１〜Ｇ５、Ｂ画素Ｂ６、Ｂ７、Ｒ画素Ｒ８、Ｒ９を混色補正する場合について説明する。

まず、Ｇ画素Ｇ１を混色補正する場合について説明する。図９に示すように、１／２間引きする前の元の画像の配列（第１の配列）において、Ｇ画素Ｇ１の上側に隣接するＧ画素Ｇ１１は、１／２間引きでは読み出されない画素である（図８参照）。そして、１／２間引き後の配列（第２の配列）において、Ｇ画素Ｇ１の上側に隣接する画素はＲ画素Ｒ１１であり（図８参照）、第１の配列において隣接するＧ画素Ｇ１１とは色が異なる。このため、このＲ画素Ｒ１１の画素データをＤ１として上記（１）式により混色補正すると、混色補正の精度が劣化する。

このため、本実施形態では、混色補正の対象画素であるＧ画素Ｇ１の第１の配列において隣接するＧ画素Ｇ１１と同色の、第１の配列においてＧ画素Ｇ１１から最短距離のＧ画素Ｇ１２の画素データを上記（１）式のＤ１とする。

また、Ｇ画素Ｇ１の下側に隣接するＢ画素Ｂ１については、Ｂ画素Ｂ１から最短距離のＢ画素Ｂ１１の画素データを上記（１）式のＤ２とする。

また、Ｇ画素Ｇ１の左側に隣接するＧ画素Ｇ１３については、Ｇ画素Ｇ１１と同様に、Ｇ画素Ｇ１３から最短距離のＧ画素Ｇ１２の画素データを上記（１）式のＤ３とする。

また、Ｇ画素Ｇ１の右側に隣接するＲ画素Ｒ１については、Ｒ画素Ｒ１から最短距離のＲ画素Ｒ１２の画素データを上記（１）式のＤ４とする。

なお、Ｒ画素Ｒ１から最短距離のＲ画素としては、Ｒ画素Ｒ１２だけでなく、Ｒ画素Ｒ１１も存在する。この場合、Ｒ画素Ｒ１１及びＲ画素Ｒ１２の何れかの画素データを上記（１）式のＤ４としてもよいし、Ｒ画素Ｒ１１及びＲ画素Ｒ１２の画素データの平均値を上記（１）式のＤ４としてもよい。平均値を用いた場合、どのような画像に対しても、混色補正の精度が極端に劣化するのを抑えることができる。

次に、Ｇ画素Ｇ２を混色補正する場合について説明する。図１０に示すように、１／２間引きする前の元の画像の配列（第１の配列）において、Ｇ画素Ｇ２の上側に隣接するＧ画素Ｇ２１は、１／２間引きでは読み出されない画素である（図８参照）。そして、１／２間引き後の配列（第２の配列）において、Ｇ画素Ｇ２の上側に隣接する画素はＲ画素Ｒ２１であり（図８参照）、第１の配列において隣接するＧ画素Ｇ２１とは色が異なる。このため、このＲ画素Ｒ２１の画素データをＤ１として上記（１）式により混色補正すると、混色補正の精度が劣化する。

このため、本実施形態では、混色補正の対象画素であるＧ画素Ｇ２の第１の配列において隣接するＧ画素Ｇ２１と同色の、第１の配列においてＧ画素Ｇ２１から最短距離のＧ画素Ｇ２２の画素データを上記（１）式のＤ１とする。

また、Ｇ画素Ｇ２の下側に隣接するＢ画素Ｂ２については、Ｂ画素Ｂ２から最短距離のＢ画素Ｂ２１の画素データを上記（１）式のＤ２とする。

また、Ｇ画素Ｇ２の左側に隣接するＲ画素Ｒ２については、Ｒ画素Ｒ２から最短距離のＲ画素Ｒ２２の画素データを上記（１）式のＤ３とする。

なお、Ｒ画素Ｒ２から最短距離のＲ画素としては、Ｒ画素Ｒ２２だけでなく、Ｒ画素Ｒ２１も存在する。この場合、Ｒ画素Ｒ２１及びＲ画素Ｒ２２の何れかの画素データを上記（１）式のＤ３としてもよいし、Ｒ画素Ｒ２１及びＲ画素Ｒ２２の画素データの平均値を上記（１）式のＤ３としてもよい。

また、Ｇ画素Ｇ２の右側に隣接するＧ画素Ｇ２３については、Ｇ画素Ｇ２１と同様に、Ｇ画素Ｇ２３から最短距離のＧ画素Ｇ２２の画素データを上記（１）式のＤ４とする。

次に、Ｂ画素Ｂ６を混色補正する場合について説明する。図１１に示すように、１／２間引きする前の元の画像の配列（第１の配列）において、Ｂ画素Ｂ６の上側に隣接するＲ画素Ｒ６は、１／２間引きでは読み出されない画素である（図８参照）。そして、１／２間引き後の配列（第２の配列）において、Ｂ画素Ｂ６の上側に隣接する画素はＧ画素Ｇ６であり（図８参照）、第１の配列において隣接するＲ画素Ｒ６とは色が異なる。このため、このＧ画素Ｇ６の画素データをＤ１として上記（１）式により混色補正すると、混色補正の精度が劣化する。

このため、本実施形態では、混色補正の対象画素であるＢ画素Ｂ６の第１の配列において隣接するＲ画素Ｒ６と同色の、第１の配列においてＲ画素Ｒ６から最短距離のＲ画素Ｒ６１、Ｒ６２の画素データの平均値を上記（１）式のＤ１とする。

また、Ｂ画素Ｂ６の下側に隣接するＧ画素Ｇ６１については、Ｇ画素Ｇ６１から最短距離のＧ画素Ｇ６２、Ｇ６３の画素データの平均値を上記（１）式のＤ２とする。

また、Ｂ画素Ｂ６の左側に隣接するＧ画素Ｇ６４については、Ｇ画素Ｇ６４から最短距離のＧ画素Ｇ６５の画素データを上記（１）式のＤ３とする。

また、Ｂ画素Ｂ６の右側に隣接するＧ画素Ｇ６６については、Ｇ画素Ｇ６６から最短距離のＧ画素Ｇ６７の画素データを上記（１）式のＤ４とする。

次に、Ｇ画素Ｇ３を混色補正する場合について説明する。図１２に示すように、１／２間引きする前の元の画像の配列（第１の配列）において、Ｇ画素Ｇ３の上側に隣接するＢ画素Ｂ３は、１／２間引きでは読み出されない画素である（図８参照）。そして、１／２間引き後の配列（第２の配列）において、Ｇ画素Ｇ３の上側に隣接する画素はＧ画素Ｇ３１であり（図８参照）、第１の配列において隣接するＢ画素Ｂ３とは色が異なる。このため、このＧ画素Ｇ３１の画素データをＤ１として上記（１）式により混色補正すると、混色補正の精度が劣化する。

このため、本実施形態では、混色補正の対象画素であるＧ画素Ｇ３の第１の配列において隣接するＢ画素Ｂ３と同色の、第１の配列においてＢ画素Ｂ３から最短距離のＢ画素Ｂ３１の画素データを上記（１）式のＤ１とする。

また、Ｇ画素Ｇ３の下側に隣接するＧ画素Ｇ３２については、Ｇ画素Ｇ３２から最短距離のＧ画素Ｇ３３の画素データを上記（１）式のＤ２とする。

また、Ｇ画素Ｇ３の左側に隣接するＧ画素Ｇ３４については、Ｇ画素Ｇ３２と同様に、Ｇ画素Ｇ３４から最短距離のＧ画素Ｇ３３の画素データを上記（１）式のＤ３とする。

また、Ｇ画素Ｇ３の右側に隣接するＲ画素Ｒ３については、Ｒ画素Ｒ３から最短距離のＲ画素Ｒ３１の画素データを上記（１）式のＤ４とする。

なお、Ｒ画素Ｒ３から最短距離のＲ画素としては、Ｒ画素Ｒ３１だけでなく、Ｒ画素Ｒ３２も存在する。この場合、Ｒ画素Ｒ３１及びＲ画素Ｒ３２の何れかの画素データを上記（１）式のＤ４としてもよいし、Ｒ画素Ｒ３１及びＲ画素Ｒ３２の画素データの平均値を上記（１）式のＤ４としてもよい。

次に、Ｇ画素Ｇ４を混色補正する場合について説明する。図１３に示すように、１／２間引きする前の元の画像の配列（第１の配列）において、Ｇ画素Ｇ４の上側に隣接するＢ画素Ｂ４は、１／２間引きでは読み出されない画素である（図８参照）。そして、１／２間引き後の配列（第２の配列）において、Ｇ画素Ｇ４の上側に隣接する画素はＧ画素Ｇ４１であり（図８参照）、第１の配列において隣接するＢ画素Ｂ４とは色が異なる。このため、このＧ画素Ｇ４１の画素データをＤ１として上記（１）式により混色補正すると、混色補正の精度が劣化する。

このため、本実施形態では、混色補正の対象画素であるＧ画素Ｇ４の第１の配列において隣接するＢ画素Ｂ４と同色の、第１の配列においてＢ画素Ｂ４から最短距離のＢ画素Ｂ４１の画素データを上記（１）式のＤ１とする。

また、Ｇ画素Ｇ４の下側に隣接するＧ画素Ｇ４２については、Ｇ画素Ｇ４２から最短距離のＧ画素Ｇ４３の画素データを上記（１）式のＤ２とする。

また、Ｇ画素Ｇ４の左側に隣接するＲ画素Ｒ４については、Ｒ画素Ｒ４から最短距離のＲ画素Ｒ４１の画素データを上記（１）式のＤ３とする。

なお、Ｒ画素Ｒ４から最短距離のＲ画素としては、Ｒ画素Ｒ４１だけでなく、Ｒ画素Ｒ４２も存在する。この場合、Ｒ画素Ｒ４１及びＲ画素Ｒ４２の何れかの画素データを上記（１）式のＤ３としてもよいし、Ｒ画素Ｒ４１及びＲ画素Ｒ４２の画素データの平均値を上記（１）式のＤ３としてもよい。

また、Ｇ画素Ｇ４の右側に隣接するＧ画素Ｇ４４については、Ｇ画素Ｇ４２と同様に、Ｇ画素Ｇ４４から最短距離のＧ画素Ｇ４３の画素データを上記（１）式のＤ４とする。

次に、Ｂ画素Ｂ７を混色補正する場合について説明する。図１４に示すように、１／２間引きする前の元の画像の配列（第１の配列）において、Ｂ画素Ｂ７の上側に隣接するＧ画素Ｇ７は、１／２間引きでは読み出されない画素である（図８参照）。そして、１／２間引き後の配列（第２の配列）において、Ｂ画素Ｂ７の上側に隣接する画素はＢ画素Ｂ７１であり（図８参照）、第１の配列において隣接するＧ画素Ｇ７とは色が異なる。このため、このＢ画素Ｂ７１の画素データをＤ１として上記（１）式により混色補正すると、混色補正の精度が劣化する。

このため、本実施形態では、混色補正の対象画素であるＢ画素Ｂ７の第１の配列において隣接するＧ画素Ｇ７と同色の、第１の配列においてＧ画素Ｇ７から最短距離のＧ画素Ｇ７１、Ｇ７２の画素データの平均値を上記（１）式のＤ１とする。

また、Ｂ画素Ｂ７の下側に隣接するＲ画素Ｒ７については、Ｒ画素Ｒ７から最短距離のＲ画素Ｒ７１、Ｒ７２の画素データの平均値を上記（１）式のＤ２とする。

また、Ｂ画素Ｂ７の左側に隣接するＧ画素Ｇ７３については、Ｇ画素Ｇ７３から最短距離のＧ画素Ｇ７４の画素データを上記（１）式のＤ３とする。

また、Ｂ画素Ｂ７の右側に隣接するＧ画素Ｇ７５については、Ｇ画素Ｇ７５から最短距離のＧ画素Ｇ７６の画素データを上記（１）式のＤ４とする。

次に、Ｒ画素Ｒ８を混色補正する場合について説明する。図１５に示すように、１／２間引きする前の元の画像の配列（第１の配列）において、Ｒ画素Ｒ８の上側に隣接するＧ画素Ｇ８は、１／２間引きでは読み出されない画素である（図８参照）。そして、１／２間引き後の配列（第２の配列）において、Ｒ画素Ｒ８の上側に隣接する画素はＧ画素Ｇ８１であり（図８参照）、第１の配列において隣接するＧ画素Ｇ８とは色が同一である。このため、第１の配列においてＧ画素Ｇ８から最短距離のＧ画素Ｇ８１の画素データを上記（１）式のＤ１とする。

また、Ｒ画素Ｒ８の下側に隣接するＧ画素Ｇ８２については、Ｇ画素Ｇ８２から最短距離のＧ画素Ｇ８３の画素データを上記（１）式のＤ２とする。

また、Ｒ画素Ｒ８の左側に隣接するＢ画素Ｂ８については、Ｂ画素Ｂ８から最短距離のＢ画素Ｂ８１、Ｂ８２の画素データの平均値を上記（１）式のＤ３とする。

また、Ｒ画素Ｒ８の右側に隣接するＧ画素Ｇ８４については、Ｇ画素Ｇ８４から最短距離のＧ画素Ｇ８５、Ｇ８６の画素データの平均値を上記（１）式のＤ４とする。

次に、Ｒ画素Ｒ９を混色補正する場合について説明する。図１６に示すように、１／２間引きする前の元の画像の配列（第１の配列）において、Ｒ画素Ｒ９の上側に隣接するＧ画素Ｇ９は、１／２間引きでは読み出されない画素である（図８参照）。そして、１／２間引き後の配列（第２の配列）において、Ｒ画素Ｒ９の上側に隣接する画素はＧ画素Ｇ９１であり（図８参照）、第１の配列において隣接するＧ画素Ｇ９とは色が同一である。このため、第１の配列においてＧ画素Ｇ９から最短距離のＧ画素Ｇ９１の画素データを上記（１）式のＤ１とする。

また、Ｒ画素Ｒ９の下側に隣接するＧ画素Ｇ９２については、Ｇ画素Ｇ９２から最短距離のＧ画素Ｇ９３の画素データを上記（１）式のＤ２とする。

また、Ｒ画素Ｒ９の左側に隣接するＧ画素Ｇ９４については、Ｇ画素Ｇ９４から最短距離のＧ画素Ｇ９５、Ｇ９６の画素データの平均値を上記（１）式のＤ３とする。

また、Ｒ画素Ｒ９の右側に隣接するＢ画素Ｂ９については、Ｂ画素Ｂ９から最短距離のＢ画素Ｂ９１、Ｂ９２の画素データの平均値を上記（１）式のＤ４とする。

次に、Ｇ画素Ｇ５を混色補正する場合について説明する。図１７に示すように、１／２間引きする前の元の画像の配列（第１の配列）において、Ｇ画素Ｇ５の上側に隣接するＲ画素Ｒ５は、１／２間引きでは読み出されない画素である（図８参照）。そして、１／２間引き後の配列（第２の配列）において、Ｇ画素Ｇ５の上側に隣接する画素はＢ画素Ｂ５であり、第１の配列において隣接するＲ画素Ｒ５とは色が異なる。このため、このＢ画素Ｂ５の画素データをＤ１として上記（１）式により混色補正すると、混色補正の精度が劣化する。

このため、本実施形態では、混色補正の対象画素であるＧ画素Ｇ５の第１の配列において隣接するＲ画素Ｒ５と同色の、第１の配列においてＲ画素Ｒ５から最短距離のＲ画素Ｒ５１、Ｒ５２の画素データの平均値を上記（１）式のＤ１とする。

また、Ｇ画素Ｇ５の下側に隣接するＲ画素Ｒ５３については、Ｒ画素Ｒ５と同様に、Ｒ画素Ｒ５３から最短距離のＲ画素Ｒ５１、Ｒ５２の画素データの平均値を上記（１）式のＤ２とする。

また、Ｇ画素Ｇ５の左側に隣接するＢ画素Ｂ５１については、Ｂ画素Ｂ５１から最短距離のＢ画素Ｂ５、Ｂ５２の画素データの平均値を上記（１）式のＤ３とする。

また、Ｇ画素Ｇ５の右側に隣接するＢ画素Ｂ５３については、Ｂ画素Ｂ５１と同様に、Ｂ画素Ｂ５３から最短距離のＢ画素Ｂ５、Ｂ５２の画素データの平均値を上記（１）式のＤ４とする。

なお、制御部２４及び画像処理部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＯＭ等を含むコンピュータで構成することができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ＲＯＭに記憶しておき、これをＣＰＵが読み込んで実行することができる。

このように、本実施形態では、混色補正の対象画素の間引き前の配列（第１の配列）において隣接する隣接画素と同色の、間引き前の配列において隣接画素から最短距離の画素の画素データに基づいて、対象画素の画素データを補正する。これにより、間引き後の画像の色の配列が間引き前の画像の色の配列と異なる場合でも、精度良く混色補正することができる。

なお、本実施形態では、垂直方向及び水平方向ともに２画素周期で、すなわち１／２間引きで各画素の画素データを読み出す場合について説明したが、３画素周期以上の周期で各画素の画素データを読み出すようにしてもよい。ただし、３画素を越える周期で各画素の画素データを読み出すと、混色補正の対象画素と混色補正に用いる画素との距離が長くなって混色補正の精度が劣化する場合があるため、３画素以下の周期で各画素の画素データを読み出すようにすることが好ましい。また、読み出す周期は、垂直方向及び水平方向で異なっていてもよい。

（第２実施形態）

次に、本発明の第２実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。

図１８には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、図１８に示すカラーフィルタ配列は、Ｇフィルタが、カラーフィルタ配列の垂直方向及び水平方向の各ライン内に配置されている。

また、図１８に示すカラーフィルタ配列は、Ｒフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されている。

図１９は、図１８に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図１９に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列は、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置されている。一方、Ｂ配列は、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。これらのＡ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

図２０Ａに示すように、第２実施形態のカラーフィルタは、上記Ａ配列とＢ配列とが、水平及び垂直方向に交互に配置されていると捉えることもできる。

いま、図２０Ａに示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の８個のＧ画素は、図２０Ｂに示すように十字形状に配置される。これらのＧ画素を左から右の順にＧ１、Ｇ２、Ｇ３、Ｇ４とし、上から下の順にＧ５、Ｇ６、Ｇ７、Ｇ８とすると、画素Ｇ１Ｇ２、画素Ｇ３Ｇ４が水平方向に隣接し、画素Ｇ５Ｇ６、画素Ｇ７Ｇ８が垂直方向に隣接し、画素Ｇ６Ｇ３、画素Ｇ２Ｇ７が左上斜め方向に隣接し、画素Ｇ６Ｇ２、画素Ｇ３Ｇ７が右上斜め方向に隣接している。

従って、これらの隣接する画素の画素値の差分絶対値を求めることにより、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向のうち、輝度の変化が最も小さい方向（相関の高い相関方向）を、最小画素間隔で判別することができる。

即ち、水平方向の差分絶対値の和は｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜、垂直方向の差分絶対値の和は｜Ｇ５−Ｇ６｜＋｜Ｇ７−Ｇ８｜、右上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ２｜＋｜Ｇ３−Ｇ７｜、左上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ３｜＋｜Ｇ２−Ｇ７｜となる。

これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。尚、判別された相関方向は、同時化処理等を行う際に利用することができる。

また、図１８に示すカラーフィルタを構成する基本配列パターンＰは、その基本配列パターンＰの中心に対して点対称になっている。

図１９に示したように、基本配列パターン内のＡ配列及びＢ配列は、それぞれ中心のＲフィルタ、又はＢフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

また、図１８に示すカラーフィルタ配列を構成する基本配列パターンＰのサイズは、（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）であり、共有画素のサイズ（Ｋ×Ｌ）画素（Ｋ，Ｌ：２以上の整数）よりも大きい。すなわち、Ｎ＞Ｋ，Ｍ＞Ｌを満たす。

このように第２実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(3)〜(5)と同じ特徴を有している。（特徴(2),(3)に関しては、Ｇフィルタ、Ｒフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されているという特徴を有している）。

このようなカラーフィルタの場合、第１実施形態と同様に垂直方向及び水平方向ともに１／２間引きで読み出すと、間引き後の画像は図２１に示すような画像となる。

なお、カラーフィルタ配列は、上記各実施形態で説明したものに限られるものではなく、以下のようなカラーフィルタ配列の撮像素子を有する撮像装置にも、本発明は適用できる。

例えば、上記特徴(1)、(2)、(3)を有するカラーフィルタ配列として、例えば、図２２に示すような基本配列パターンＰが３×３画素のカラーフィルタがある。このカラーフィルタ配列は、３×３画素のうち中心と４隅にＧフィルタが配置され、残りの４画素にＲまたはＢが同数配置された基本配列パターンが繰り返されたものである。また、垂直方向及び水平方向ともに１／２間引きした場合の画像は図２２に示すような画像となる。

また、上記特徴(1)、(2)、(3)を有するカラーフィルタ配列として、図２３に示すような基本配列パターンＰが５×５画素のカラーフィルタ配列がある。このカラーフィルタ配列は、５×５画素のなかの２つの対角線上にＧが配置され、残りの画素位置にＲ、Ｂ画素が５×５画素のなかの水平、及び垂直方向の各ライン内に１つ以上配置されるように配置され、Ｇの数がＲ，Ｂの数より多くなるように設定された基本配列パターンが繰り返されたものである。また、垂直方向及び水平方向ともに１／２間引きした場合の画像は図２３に示すような画像となる。

その他にも、上記特徴(1)、(3)、(4)、(5)を有するカラーフィルタ配列として、図２４に示すように基本配列パターンＰが４×４画素のカラーフィルタ配列がある。このカラーフィルタ配列は、４×４画素のなかの２つの対角線上にＧが配置され、残りの画素位置にＲ、Ｂ画素が４×４画素のなかの水平、及び垂直方向の各ライン内に１つ以上配置されるように配置され、Ｇの数がＲ，Ｂの数より多くなるように設定された基本配列パターンが繰り返されたものである。

また、図２５に示すように基本配列パターンＰが５×５画素のカラーフィルタ配列がある。

また、図２６に示すように、基本配列パターンＰが６×６画素のカラーフィルタ配列がある。このカラーフィルタ配列は、ＧがＲまたはＢの外周に矩形状に配置された第１サブ配列と、Ｇが中央部に配置された第２サブ配列とがそれぞれ２つずつ水平方向、垂直方向に交互に互いに隣接するように配置された基本配列パターンが繰り返されたものである。この配列においては、特徴(3)において、Ｒ及びＢもカラーフィルター配列の斜め（ＮＥ，ＮＷ）方向（第３の方向）の各ライン内に１つ以上配置される特徴も有する。

また、図２７に示すように、基本配列パターンＰが７×７画素のカラーフィルタ配列、図２８に示すように、基本配列パターンＰが８×８画素のカラーフィルタ配列等がある。

なお、同時化処理や動画撮影時の間引き処理等の画像処理の容易さを考慮すると、Ｎ、Ｍは１０以下であることが好ましい。

なお、本発明が適用される基本配列パターンのサイズＮ×Ｍは、好ましくは５×５以上、より好ましくは１０×１０以下が望ましい。基本配列パターンの画素サイズが平方で大きくなり、３色のＲＧＢの画素の配列の自由度が上がると、周辺画素の色配置の組合せが増え、間引き後の画像が間引き前の画像の基本配列パターンと異なる可能性が高まるため本発明は有効である。５×５以上の場合２５画素以上にもなるため本発明の効果が十分得られる。一方、同時化処理、動画撮影時の間引き処理等の画像処理の容易さを考えると、Ｎ，Ｍは１０以下であることが望ましい。

また、上記実施形態では、ＲＧＢの３原色のカラーフィルタを有するカラー撮像素子について説明したが、本発明は、これに限らず、ＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタ、例えば図２９に示すようなカラーフィルタにも適用できる。また、他の色として白色または透明（Ｗ）フィルタを有するカラーフィルタにも本発明を適用できる。例えば図２９のエメラルドに代えてＷフィルタを配置しても良い。この場合、ＷとＧの組み合わせ、又はＷが輝度信号に最も寄与する第１の色となる。

また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタを有するカラー撮像素子にも適用できる。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０ 撮像装置
１２ 光学系
１４ 撮像素子
１６ 撮像処理部
２０ 画像処理部
２２ 駆動部
２４ 制御部
Ｐ 基本配列パターン

Claims (14)

1. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
   前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
   前記撮像素子から読み出す画素の配列が前記撮像素子の全画素の配列を表す第１の配列と異なる第２の配列となるように、前記第１の方向及び前記第２の方向の少なくとも一方の方向に設定された周期で配置された画素の画素データを読み出すように前記撮像素子を駆動する駆動手段と、
   前記設定された周期で配置された画素の画素データの各々について混色補正する混色補正手段であって、混色補正の対象画素に前記第１の配列において隣接する隣接画素と同色の画素であって前記第１の配列において前記隣接画素から最短距離の画素の画素データに基づいて、前記対象画素の画素データを補正する混色補正手段と、
   を備えた撮像装置。
2. 前記第１のフィルタは、前記カラーフィルタ内において、前記第１の方向と、前記第２の方向と、前記第１の方向及び前記第２の方向と交差する第３の方向と、の各ライン内に１つ以上配置され、
   前記第２の色の各色に対応する前記第２のフィルタは、前記基本配列パターン内において、前記第１の方向及び前記第２の方向の各ライン内に各々１つ以上配置された
   請求項１記載の撮像装置。
3. 前記カラーフィルタは、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタである
   請求項１又は請求項２記載の撮像装置。
4. 前記カラーフィルタは、前記第１のフィルタからなる２×２画素に対応する正方配列を含む
   請求項１〜請求項３の何れか１項に記載の撮像装置。
5. 前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）である
   請求項１〜請求項４の何れか１項に記載の撮像装置。
6. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
   前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３ ×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に前記第１の方向及び前記第２の方向に配列されて構成されている
   請求項５記載の撮像装置。
7. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
   前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に前記第１の方向及び前記第２の方向に配列されて構成されている
   請求項５記載の撮像装置。
8. 前記混色補正手段は、前記最短距離の画素が複数存在する場合は、これら複数の画素の何れかの画素の画素データに基づいて前記対象画素の画素データを補正する
   請求項１〜請求項７の何れか１項に記載の撮像装置。
9. 前記混色補正手段は、前記最短距離の画素が複数存在する場合は、これら複数の画素の画素データの平均値に基づいて前記対象画素の画素データを補正する
   請求項１〜請求項７の何れか１項に記載の撮像装置。
10. 前記周期は、３画素以下の周期である
    請求項１〜請求項９の何れか１項に記載の撮像装置。
11. 前記周期を切り替える切り替え手段
    を備えた請求項１〜請求項１０の何れか１項に記載の撮像装置。
12. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
    前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
    を備えた撮像装置の制御方法であって、
    前記撮像素子から読み出す画素の配列が前記撮像素子の全画素の配列を表す第１の配列と異なる第２の配列となるように、前記第１の方向及び前記第２の方向の少なくとも一方の方向に設定された周期で配置された画素の画素データを読み出すように前記撮像素子を駆動し、
    前記設定された周期で配置された画素の画素データの各々について混色補正する混色補正処理であって、混色補正の対象画素に前記第１の配列において隣接する隣接画素と同色の画素であって前記第１の配列において前記隣接画素から最短距離の画素の画素データに基づいて、前記対象画素の画素データを補正する
    撮像装置の制御方法。
13. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
    前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
    を備えた撮像装置を制御するコンピュータに、
    前記撮像素子から読み出す画素の配列が前記撮像素子の全画素の配列を表す第１の配列と異なる第２の配列となるように、前記第１の方向及び前記第２の方向の少なくとも一方の方向に設定された周期で配置された画素の画素データを読み出すように前記撮像素子を駆動するステップと、
    前記設定された周期で配置された画素の画素データの各々について混色補正する混色補正処理であって、混色補正の対象画素に前記第１の配列において隣接する隣接画素と同色の画素であって前記第１の配列において前記隣接画素から最短距離の画素の画素データに基づいて、前記対象画素の画素データを補正するステップと、
    を含む処理を実行させるための制御プログラム。
14. コンピュータに、
    予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、を含む撮像素子から読み出す画素の配列が前記撮像素子の全画素の配列を表す第１の配列と異なる第２の配列となるように、前記第１の方向及び前記第２の方向の少なくとも一方の方向に設定された周期で配置された画素の画素データを読み出された画素の画素データの各々について混色補正する混色補正処理であって、混色補正の対象画素に前記第１の配列において隣接する隣接画素と同色の画素であって前記第１の配列において前記隣接画素から最短距離の画素の画素データに基づいて、前記対象画素の画素データを補正するステップ、
    を含む処理を実行させるための制御プログラム。

Images