JP5624228B2 - 撮像装置、撮像装置の制御方法、及び制御プログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法、及び制御プログラムに係り、特に、カラー撮像素子を備えた撮像装置、撮像装置の制御方法、及び制御プログラムに関する。

カラー撮像素子で広く用いられている色配列である原色系ベイヤー配列（例えば特許文献１〜３参照）は、人間の目に敏感で、輝度信号を得るために最も寄与する緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置している。

特開２００２−１３５７９３号公報 特許第３９６０９６５号公報 特開２００４−２６６３６９号公報

しかしながら、従来のベイヤー配列を採用したカラー撮像素子では、例えば動画用の画像データを生成するために、垂直方向に間引き読み出しする場合、例えば垂直方向に２ｎ（ｎは自然数）ライン毎に１ライン分の画像データを読み出した場合（垂直方向１／２ｎ間引き、偶数間引き）、ＧとＲ又はＧとＢの２色しか含まないライン画像データが読み出されることになり色再現できない。このため、（２ｎ＋１）ライン毎に１ライン分の画像データを読み出す間引き読出し（垂直方向１／（２ｎ＋１）間引き、奇数間引き）が一般的である。また、それ以外の間引き読出しを行う場合においても、色再現を得るために、ＧとＲを含む水平ラインとＧとＢを含む水平ラインを交互に読み出す必要があり、読出し方が非常に制限される。

また、ベイヤー配列では、Ｇ信号は斜め方向で、Ｒ、Ｂ信号は水平、垂直方向の高周波信号を生成する際の再現精度に問題があり、高周波信号に対し色モワレ（偽色）の発生を抑制できないという問題があるが、前述のような間引き読み出しをした場合、元のベイヤー配列と同じカラー配列となるため、同じ問題が生じてしまう。

本発明は上記問題点を解決するためになされたものであり、ベイヤー配列以外の配列のカラーフィルタを備えた撮像素子を用いた場合において、有効な間引き読出しを行うことができる撮像装置、撮像装置の制御方法、及び制御プログラムを提供することを目的とする。

上記課題を解決するため、本発明の撮像装置は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが第１の方向及び第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、複数の画素のうち第１の方向に（Ｎ−ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するライン画像データ生成手段と、ライン画像データに基づいて画像データを生成する画像データ生成手段と、を備えたことを特徴とする。

この発明によれば、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、複数の画素のうち第１の方向に（Ｎ−ｋ）ライン（０＜ｋ＜Ｎ、ｋは自然数）周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成する。すなわち、基本配列パターンの第１の方向の画素数Ｎ未満の周期でライン画像データを生成するので、基本配列パターンの第１の方向の画素数以上の周期でライン画像データを生成する場合と比較して、間引き率が小さくて済み、画質が劣化するのを抑えることができる。

なお、ライン画像データ生成手段は、設定された周期として、第１の方向に（Ｎ−ｋ）ライン周期で撮像素子から画素信号を読み出してライン画像データを生成するようにしてもよい。

この発明によれば、撮像素子から第１の方向に画素信号を間引いて読み出すので、全ライン分の画素信号を読み出してから第１の方向に（Ｎ−ｋ）ライン周期で配列されたライン画像データを抜き出して画像データを生成する場合と比較して、撮像素子から画素信号を読み出す時間を短縮することができる。

また、基本配列パターンは、基本配列パターンの全領域において第１の方向に対して線対称、又は、基本配列パターンの第１の方向における２つの半周期の領域内において第１の方向に対して各々が線対称であり、ライン画像データ生成手段は、設定された周期として、第１の方向に（Ｎ−１）ライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するようにしてもよい。

この発明によれば、間引き後の画像も、間引き前と同様に基本配列パターンを繰り返した画像を含む画像となるため、静止画撮影のように画像データを間引かない場合と画像処理を共通化することができる。

また、ライン画像データ生成手段は、設定された周期として、第１の方向に（Ｎ−ｋ）ライン（０＜ｋ≦Ｎ／２）周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成すると共に、ライン画像データから第１の方向にＮライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成し、第１の方向に（Ｎ−ｋ）ライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データと、ライン画像データから第１の方向にＮライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データと、を同色画素同士で各々画素混合する画素混合手段を備えた構成としてもよい。

この発明によれば、第１の方向に（Ｎ−ｋ）ライン周期で第２の方向に沿って読み出したライン画像データと、ライン画像データから第１の方向にＮライン周期で第２の方向に沿って読み出したライン画像データと、を同色画素同士で各々画素混合するので、画素混合しない場合と比較して、画像のＳ／Ｎ比を向上させることができる。

また、撮像素子は、第１の方向に（Ｎ−ｋ）画素以下の複数の画素を共有画素として、共有画素毎に撮像信号を増幅する増幅手段を含む構成としてもよい。

この発明によれば、第１の方向における共有画素内で複数のライン画像データを読み出すことはないため、各ラインの露光タイミングが大きくずれるのを防ぐことができる。

また、撮像素子から第１の方向に（Ｎ−ｋ）ライン（０＜ｋ＜Ｎ）周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成する第１の生成方法と、撮像素子から第１の方向に（Ｎ＋ｋ）ライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成する第２の生成方法と、を切り替える切り替え手段を備えた構成としてもよい。

この発明によれば、例えば撮影モードに応じて第１の生成方法で生成するか、第２の生成方法で生成するかを切り替えることができるので、撮影モードに応じて画像の解像度やＳ／Ｎ比を適切に制御することができると共に、ＡＷＢ（オートホワイトバランス）制御やＡＥ（自動露出）制御において適切な設定をすることができる。

また、第１のフィルタは、カラーフィルタ面内において、第１の方向と、第２の方向と、第１の方向及び第２の方向と交差する第３の方向と、の各ライン内に１つ以上配置され、第２の色の各色に対応する第２のフィルタは、基本配列パターン内において、第１の方向及び第２の方向の各ライン内に各々１つ以上配置された構成としてもよい。

この発明によれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタを、カラーフィルタ内において、第１の方向〜第３の方向の各ライン内に配置するようにしたため、高周波領域での同時化処理の再現精度を向上させることができる。また、第１の色以外の２色以上の第２の色に対応する第２のフィルタについては、基本配列パターン内において、第１の方向及び第２の方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を低減して高解像度化を図ることができる。

また、カラーフィルタは、第１のフィルタからなる２×２画素に対応する正方配列を含む構成としてもよい。

この発明によれば、２×２画素に対応する正方配列の４画素の各画素間の画素値の差分値に基づいて輝度の相関方向が４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。

また、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）である構成としてもよい。

また、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成されている構成としてもよい。

この発明によれば、第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の４隅に２×２画素のＧ画素が存在することになる。これらの２×２画素のＧ画素の画素値は、４方向の相関方向の判別に使用することができる。

また、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成されていてもよい。

この発明によれば、第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の中心の画素（Ｒ画素又はＢ画素）を挟んで、水平及び垂直方向にそれぞれ隣接するＧ画素が存在することになる。これらのＧ画素（合計８画素）の画素値は、４方向の相関方向の判別に使用することができる。

また、カラーフィルタは、基本配列パターンの中心に対して点対称である構成としてもよい。

この発明によれば、後段の処理回路の回路規模を小さくすることが可能になる。

本発明の撮像装置の制御方法は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが第１の方向及び第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、第１のフィルタと少なくとも１色の第２のフィルタとが第１の方向及び第２の方向に各々配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置の制御方法であって、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、複数の画素のうち第１の方向に（Ｎ−ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成し、ライン画像データに基づいて画像データを生成することを特徴とする。

また、本発明の制御プログラムは、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが第１の方向及び第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、第１のフィルタと少なくとも１色の第２のフィルタとが第１の方向及び第２の方向に各々配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置を制御するコンピュータに、撮像素子から、複数の画素における画素信号を設定された周期で読出すステップと、読み出した画素信号から、複数の画素のうち第１の方向に（Ｎ−ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するステップと、ライン画像データに基づいて画像データを生成するステップと、を含む処理を実行させることを特徴とする。

本発明の制御プログラムは、コンピュータに、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが第１の方向及び第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像素子から、複数の画素における画素信号を設定された周期で読み出された画素信号から、複数の画素のうち第１の方向に（Ｎ−ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するステップと、ライン画像データに基づいて画像データを生成するステップと、を含む処理を実行させることを特徴とする。

本発明によれば、ベイヤー配列以外の配列のカラーフィルタを備えた撮像素子を用いた場合において、有効な間引き読出しを行うことができる、という効果を有する。

第１実施形態に係る撮像装置の概略ブロック図である。 第１実施形態に係るカラーフィルタの構成図である。 第１実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第１実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第１実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。 垂直方向に（Ｎ−１）ライン毎に１ライン分の画像データを読み出した場合の画像について説明するための図である。 垂直方向に線対称のカラーフィルタについて説明するための図である。 垂直方向に線対称のカラーフィルタについて説明するための図である。 垂直方向に線対称のカラーフィルタについて説明するための図である。 制御部で実行される処理を示すフローチャートである。 第２実施形態に係るカラーフィルタの構成図である。 第２実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第２実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第２実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。 第３実施形態に係る画素加算処理について説明するための図である。 第４実施形態に係るＣＭＯＳセンサで構成された撮像素子の概略構成図である。 画素共有の構成を示す構成図である。 各走査ラインの露光等のタイミングについて説明するための図である。 第５実施形態に係る読み出しラインの切り替えについて説明するための図である。 第５実施形態に係る読み出しラインの切り替えについて説明するための図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。

以下、図面を参照して本発明の実施形態について説明する。

（第１実施形態）

図１には、本実施形態に係る撮像装置１０の概略ブロック図を示した。撮像装置１０は、光学系１２、撮像素子１４、撮像処理部１６、画像処理部２０、駆動部２２、及び制御部２４を含んで構成されている。

光学系１２は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。

撮像素子１４は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。

図２には、本実施形態に係るカラーフィルタの一部を示した。各画素上には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタのうちのいずれかが配置される。

＜カラーフィルタ配列の特徴＞

第１実施形態のカラーフィルタは、下記の特徴(1)〜(6)を有している。

〔特徴(1)〕

カラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のフィルタが、垂直方向及び水平方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、緑（Ｇ）のフィルタと、赤（Ｒ）及び青（Ｂ）の少なくとも一方の色のフィルタと、が垂直方向及び水平方向に各々配置された基本配列パターンが、繰り返し配置されたものとなっている。

本実施形態に係る図２に示すカラーフィルタは、一例として６×６画素（Ｎ＝Ｍ＝６）に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが垂直方向（第１の方向）及び水平方向（第２の方向）に繰り返し配置されている。即ち、このカラーフィルタは、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化処理（デモザイク処理ともいう。以下同じ）等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

〔特徴(2)〕

図２に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の第１の方向である垂直方向、第２の方向である水平方向、及びカラーフィルタ面内において、第１の方向及び第２の方向と交差する第３の方向、すなわち斜め（ＮＥ，ＮＷ）方向（第３の方向）の各ライン内に配置されている。なお、ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ４５°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり、長辺・短辺の長さに応じてその角度は変わりうる。

輝度系画素に対応するＧフィルタが、カラーフィルタ配列の垂直方向、水平方向、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。

〔特徴(3)〕

図２に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されている。

Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の垂直方向及び水平方向の各ライン内に配置されるため、色モワレ（偽色）の発生を低減することができる。

これにより、偽色の発生を抑制するための光学ローパスフィルターを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルターを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

〔特徴(4)〕

図３は、図２に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、Ａ配列とＢ配列の４隅のＧフィルタは、図４に示すようにＡ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

すなわち、図２に示すカラーフィルタ配列（基本配列パターンＰ）は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。

いま、図５に示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域を抽出した場合、この局所領域内の４隅の２×２画素のＧ画素は、図５に示す配置になっている。

図５に示すように、２×２画素のＧ画素の画素値を、左上から右下の順にＧ１、Ｇ２、Ｇ３、Ｇ４とした場合、これらのＧ画素の画素値の垂直方向の差分絶対値は（｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜）／２、水平方向の差分絶対値は（｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜）／２、右上斜め方向の差分絶対値は｜Ｇ２−Ｇ３｜、左上斜め方向の差分絶対値は｜Ｇ１−Ｇ４｜となる。

これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。

いま、図４又は図５に示すように中央に３×３画素のＡ配列が位置するように、モザイク画像から５×５画素の局所領域を抽出した場合、４隅に２×２画素のＧ画素が配置されることになる。したがって、上記局所領域内のＡ配列の３×３画素を同時化処理の対象画素とした場合、４隅の各方向別の相関絶対値の総和（又は平均値）を求め、各方向別の相関絶対値の総和（又は平均値）のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。判別された相関方向は、同時化処理等を行う際に利用することができる。

〔特徴(5)〕

図２に示すカラーフィルタ配列を構成する基本配列パターンＰは、その基本配列パターンの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図３に示すように、基本配列パターン内のＡ配列及びＢ配列も、それぞれ中心のＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。

〔特徴(6)〕

図２に示すカラーフィルタ配列を構成する基本配列パターンＰは、撮像素子１４から垂直方向に（Ｎ−１）ライン周期で水平方向に沿ったラインのライン画像データを読み出した場合に、基本配列パターンＰが繰り返された画像となる。すなわち、図２のカラーフィルタの場合、間引き後の画像が基本配列パターンＰを繰り返した画像となる。図２のカラーフィルタの基本配列パターンは６×６画素なので、図６の矢印で示すように、垂直方向において５ライン周期でライン画像データを読み出すことにより（垂直方向１／５間引き）、間引き後の画像が基本配列パターンＰを繰り返した画像となる。

すなわち、基本配列パターンＰの垂直方向のラインを上から１〜６ラインとすると、垂直方向に５ライン周期で読み出す場合の順序は、１、６、５、４、３、２、１、６、５、４、３、２、１・・・の順序となる。このため、間引き後の画像にも、位相はずれるが、基本配列パターンＰが含まれるため、間引き前と同様に基本配列パターンを繰り返した画像を含むこととなる。

このように、垂直方向に（Ｎ−１）ライン周期で水平方向に沿ったラインのライン画像データを読み出した場合に、基本配列パターンＰが繰り返された画像となる条件としては、カラーフィルタ配列の基本配列パターンの全領域において垂直方向に対して線対称、又は、当該基本配列パターンの垂直方向の２つの半周期の領域内において垂直方向に対して各々が線対称である場合である。

例えば、図２に示したカラーフィルタは、基本配列パターンの垂直方向の半周期の領域、すなわち垂直方向における１〜３ラインの領域内においては、２ライン目を中心として垂直方向に線対称であり、垂直方向における４〜６ラインの領域内においては、５ライン目を中心として線対称である。

このようなカラーフィルタの場合、垂直方向に（Ｎ−１）ライン周期でライン画像データを読み出した場合に、位相はずれるが基本配列パターンを繰り返した画像となる。図７には、Ｎ＝６のカラーフィルタの基本配列パターンの垂直方向の２つの半周期の領域内において各々が線対称となる場合のイメージ図を示した。

また、図８には、Ｎ＝６の場合において、３、４ライン目を中心として線対称となる基本配列パターンのイメージ図を、図９には、Ｎ＝５の場合において、３ライン目を中心として線対称となる基本配列パターンのイメージ図を示した。これらの場合も、垂直方向に（Ｎ−１）ライン周期でライン画像データを読み出した場合に、間引き後の画像が基本配列パターンを繰り返した画像を含む画像となる。

また、例えば図２に示す基本配列パターンのように、更に水平方向に対しても線対称、又は、当該基本配列パターンの水平方向の２つの半周期の領域内において水平方向に対して各々が線対称であっても良い。

撮像処理部１６は、撮像素子１４から出力された撮像信号に対して増幅処理や相関二重サンプリング処理、Ａ／Ｄ変換処理等の予め定めた処理を施し、画像データとして画像処理部２０に出力する。

画像処理部２０は、撮像処理部１６から出力された画像データに対して所謂同時化処理を施す。すなわち、全画素について、対応する色以外の色の画像データを周囲の画素の画素データから補間して、全画素のＲ，Ｇ，Ｂの画像データを生成する。そして、生成したＲ，Ｇ，Ｂの画像データに対して所謂ＹＣ変換処理を施し、輝度データＹ、色差データＣｒ、Ｃｂを生成する。そして、これらの信号を撮影モードに応じたサイズにリサイズするリサイズ処理を行う。

駆動部２２は、制御部２４からの指示に応じて撮像素子１４からの撮像信号の読み出し駆動等を行う。

制御部２４は、撮影モード等に応じて駆動部２２及び画像処理部２０等を統括制御する。詳細は後述するが、制御部２４は、駆動部２２に対して、撮影モードに応じた読み出し方法で撮像信号を読み出すように指示したり、画像処理部２０に対して、撮影モードに応じた画像処理を行うよう指示したりする。

撮影モードによっては、撮像素子１４からの撮像信号を間引いて読み出す必要があるため、制御部２４は、指示された撮影モードに応じた間引き方法で間引いて撮像信号を読み出すように駆動部２２に指示する。

撮影モードとしては、静止画を撮影する静止画モードや、撮像した画像を間引いて比較的高解像度のＨＤ（高精細）動画データを生成して図示しないメモリーカード等の記録媒体に記録するＨＤ動画モード、撮影した画像を間引いて比較的低解像度のスルー動画（ライブビュー画像）を図示しない表示部に出力するスルー動画モード（ライブビューモード）等の動画モードがあるが、撮影モードの種類はこれらに限られるものではない。

次に、本実施形態の作用として、制御部２４で実行される処理について、図１０に示すフローチャートを参照して説明する。

なお、図１０に示す処理は、撮影モードに応じた撮影を実行するように指示された場合に実行される。また、以下では、垂直方向において予め定めた周期でライン画像データを読み出す場合、すなわち、垂直方向における予め定めた周期のライン以外のラインを間引いて（除いて）読み出す場合について説明する。また、この場合のライン画像データとは、水平方向に沿って並ぶ画素の画素データの集合である。

まず、ステップ１００では、撮影モードに応じた間引き方法で画像データを読み出すように駆動部２２に指示する。

本実施形態では、撮像素子１４から垂直方向に（Ｎ−ｋ）ライン（０＜ｋ＜Ｎ）周期で水平方向に沿ったラインのライン画像データを読み出すように駆動部２２に指示する。すなわち、基本配列パターンＰの垂直方向の周期以下の周期で水平方向に沿ったラインのライン画像データを読み出すように駆動部２２に指示する（本実施形態では、駆動部２２及び制御部２４が、ライン画像データ生成手段に対応する）。

例えば図２に示すカラーフィルタはＮ＝Ｍ＝６であり、間引き後の画像が基本配列パターンＰを含む画像とするためにｋ＝１とする。従って、垂直方向に５ライン周期で水平方向に沿ったラインのライン画像データのみを読み出すように駆動部２２に指示する。これにより、垂直方向５ライン毎に１ライン分の画像データが読み出され、その画像は、基本配列パターンＰを繰り返した画像を含む画像となる。

ステップ１０２では、間引き読み出しされた画像データに対して、撮影モードに応じた画像処理（例えば同時化処理、ＹＣ変換処理、リサイズ処理等）を実行するよう画像処理部２０に指示する（本実施形態では、画像処理部２０及び制御部２４が、画像データ生成手段に対応する）。

なお、制御部２４及び画像処理部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＯＭ等を含むコンピュータで構成することができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ＲＯＭに記憶しておき、これをＣＰＵが読み込んで実行することができる。

このように、本実施形態では、基本配列パターンＰの垂直方向の画素数未満の周期でライン画像データを読み出すので、基本配列パターンＰの垂直方向の画素数以上の周期でライン画像データを読み出す場合と比較して、間引き率が小さくて済み、画質が劣化するのを抑えることができる。

また、本実施形態に係るカラーフィルタは、Ｇフィルタ、Ｒフィルタ、及びＢフィルタが垂直方向及び水平方向に各々配置されているため、（Ｎ−ｋ）ライン周期で読み出しても、読み出した各ライン画像データにＧフィルタ、Ｒフィルタ、及びＢフィルタが含まれる。

このため、従来のベイヤー配列において１／２間引きした場合のように、読み出したライン画像データがＧとＲ又はＧとＢの２色しか含まないライン画像データが読み出されることはないので、何れのライン画像データを読み出しても色再現が可能となる。また、基本配列パターンのサイズが大きくても低い間引き率で間引くことができる。

また、本実施形態では、垂直方向に（Ｎ−１）ライン周期で読み出すため、間引き後の画像も、間引き前と同様に基本配列パターンを繰り返した画像を含む画像となる。

従って、静止画撮影のように画像データを間引かない場合と画像処理を共通化することができる。

（第２実施形態）

次に、本発明の第２実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。

図１１には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、図１１に示すカラーフィルタ配列は、Ｇフィルタが、カラーフィルタ配列の垂直方向及び水平方向の各ライン内に配置されている。

また、図１１に示すカラーフィルタ配列は、Ｒフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されている。

図１２は、図１１に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図１２に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列は、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置されている。一方、Ｂ配列は、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。これらのＡ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

図１３Ａに示すように、第２実施形態のカラーフィルタは、上記Ａ配列とＢ配列とが、水平及び垂直方向に交互に配置されていると捉えることもできる。

いま、図１３Ａに示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の８個のＧ画素は、図１３Ｂに示すように十字形状に配置される。これらのＧ画素を左から右の順にＧ１、Ｇ２、Ｇ３、Ｇ４とし、上から下の順にＧ５、Ｇ６、Ｇ７、Ｇ８とすると、画素Ｇ１Ｇ２、画素Ｇ３Ｇ４が水平方向に隣接し、画素Ｇ５Ｇ６、画素Ｇ７Ｇ８が垂直方向に隣接し、画素Ｇ６Ｇ３、画素Ｇ２Ｇ７が左上斜め方向に隣接し、画素Ｇ６Ｇ２、画素Ｇ３Ｇ７が右上斜め方向に隣接している。

従って、これらの隣接する画素の画素値の差分絶対値を求めることにより、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向のうち、輝度の変化が最も小さい方向（相関の高い相関方向）を、最小画素間隔で判別することができる。

即ち、水平方向の差分絶対値の和は｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜、垂直方向の差分絶対値の和は｜Ｇ５−Ｇ６｜＋｜Ｇ７−Ｇ８｜、右上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ２｜＋｜Ｇ３−Ｇ７｜、左上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ３｜＋｜Ｇ２−Ｇ７｜となる。

これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。尚、判別された相関方向は、同時化処理等を行う際に利用することができる。

また、図１１に示すカラーフィルタを構成する基本配列パターンＰは、その基本配列パターンＰの中心に対して点対称になっている。

図１２に示したように、基本配列パターン内のＡ配列及びＢ配列は、それぞれ中心のＲフィルタ、又はＢフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

また、図１１に示すカラーフィルタ配列を構成する基本配列パターンＰは、撮像素子１４から垂直方向に（Ｎ−１）ライン周期で水平方向に沿ったラインのライン画像データを読み出した場合に、基本配列パターンＰが繰り返された画像となる。すなわち、図１１に示したカラーフィルタは、基本配列パターンの垂直方向の半周期の領域、すなわち垂直方向における１〜３ラインの領域内においては、２ライン目を中心として垂直方向に線対称であり、垂直方向における４〜６ラインの領域内においては、５ライン目を中心として線対称である。

このように第２実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(3)〜(6)と同じ特徴を有している。

（第３実施形態）

次に、本発明の第３実施形態について説明する。本実施形態では、垂直方向に予め定めた周期でライン画像データを読み出すと共に、読み出したライン画像データと同一配列のライン画像データを読み出して画素混合（例えば画素加算）する場合について説明する。

本実施形態では、制御部２４は、図１０のステップ１００において、撮像素子１４から垂直方向に（Ｎ−ｋ）ライン（０＜ｋ≦Ｎ／２）周期で水平方向に沿ったライン画像データと、当該ライン画像データから垂直方向にＮライン周期で水平方向に沿って読み出したライン画像データと、を読み出すように駆動部２２に指示する。

また、制御部２４は、図１０のステップ１０２において、垂直方向（Ｎ−ｋ）ライン周期で水平方向に沿って読み出したライン画像データと、当該ライン画像データから垂直方向にＮライン周期で水平方向に沿って読み出したライン画像データと、を同色画素同士で各々画素混合する画像処理を実行するように画像処理部２０に指示する。

図１４には、６×６画素の基本配列パターンＰが繰り返し配置されたカラーフィルタにおいて、垂直方向に（Ｎ−２）ライン周期でライン画像データを読み出す、すなわち図１４の実線の矢印で示すように４ライン周期でライン画像データを読み出す（垂直方向１／４間引き）と共に、４ライン周期で読み出したライン画像データから垂直方向にＮライン周期、すなわち図１４の点線の矢印で示すように６ライン周期で読み出したライン画像データを読み出し、これらを同色画素同士で各々画素加算する場合を示した。

図１４に示すように、４ライン周期で読み出したライン画像データの配列は、そのライン画像データから６ライン先のライン画像データの配列と同一である。

このように、４ライン周期で読み出したライン画像データと、このライン画像データから垂直方向に６ライン先の同一配列のライン画像データとを同じ色同士、すなわち水平方向に同一位置の画素同士で画素加算することにより、画素加算しない場合と比較して、画像のＳ／Ｎ比を向上させることができる。

なお、図１４に示すカラーフィルタを用いた場合にｋ＞Ｎ／２とした場合、例えば、ｋ＝４とした場合、２ライン周期でライン画像データを読み出す（垂直方向に１／２間引き）と共に、このライン画像データから６ライン周期でライン画像データを読み出すこととなる。この場合、２ライン周期で読み出したライン画像データとそのライン画像データから６ライン周期で読み出したライン画像データとが、垂直方向において同じ位置となるため好ましくない。従って、画素混合する場合は、ｋ≦Ｎ／２とすることが好ましい。

なお、本実施形態では、同一配列のライン画像データの同色同士の画素値を単純に加算する場合について説明したが、これに限らず、重み付け加算するようにしてもよい。

（第４実施形態）

次に、本発明の第４実施形態について説明する。本実施形態では、撮像素子１４がＣＭＯＳセンサで構成され、複数の画素を共有画素として、共有画素毎に信号を増幅する場合について説明する。

図１５には、ＭＯＳ型（例えばＣＭＯＳ）イメージセンサで構成された撮像素子１４の概略構成を示した。

図１５に示す撮像素子１４は、半導体基板上に形成された画素アレイ３０、垂直駆動走査回路３２、列信号処理回路３４、水平駆動走査回路３６、信号線３８、及びアンプ４０を含んで構成されている。

画素アレイ３０は、垂直方向及び水平方向の二次元状に配列された複数の画素を含んで構成されている。

垂直駆動走査回路３２は、水平方向に沿った走査ライン上の複数の画素をまとめて選択して駆動する。なお、走査ライン上の画素を１つずつ選択して駆動することも可能である。

列信号処理回路３４は、図示しない複数の信号処理回路で構成されている。この信号処理回路は、水平方向の共有画素毎に設けられる。各信号処理回路は、図示しないＡＤＣ（アナログ−デジタル変換）回路を含んで構成されている。このＡＤＣ回路は、各画素からの画素値に応じた撮像信号をデジタル信号に各々変換する。

水平駆動走査回路３６は、列信号処理回路３４に含まれる複数の信号処理回路の各々に接続された図示しないスイッチと、このスイッチをオンオフ制御する図示しない制御回路とで構成されている。このスイッチがオンされることにより、信号処理回路で処理された撮像信号が信号線３８に出力され、この撮像信号がアンプ４０を介して撮像素子１４の外部に出力される。

なお、垂直駆動走査回路３２、列信号処理回路３４、及び水平駆動走査回路３６は、駆動部２２により制御される。

本実施形態では、複数の画素を共有画素として、共有画素毎に信号を増幅する。図１６には、垂直方向及び水平方向に２×２画素の合計４画素を共有画素として、これら４画素を同一のアンプで増幅する場合の構成を示した。

図１６に示すように、画素としてのフォトダイオードＰＤ１〜ＰＤ４のカソードには、各々ＭＯＳトランジスタ等で構成されたスイッチＳＷ１〜ＳＷ４の一端が各々接続されている。そして、スイッチＳＷ１〜ＳＷ４の他端はリセットスイッチＲＳＴ及びアンプＡＰの入力端に接続されており、アンプＡＰの出力端は信号線Ｓに接続されている。信号線Ｓは、列信号処理回路３４の図示しない信号処理回路に接続されている。

スイッチＳＷ１〜ＳＷ４には、垂直駆動走査回路３２から電荷転送制御信号ＶＴ１〜ＶＴ４が各々入力される。垂直駆動走査回路３２は、電荷を読み出したいスイッチをオンすることにより、そのスイッチが接続されたフォトダイオードに蓄積された電荷をアンプＡＰで増幅させて信号線Ｓに出力させる。

本実施形態では、図１６に示すように２×２画素毎に１つのアンプＡＰが接続された構成となっているため、スイッチの数を減らすことができ、高精細化が可能となる。なお、画素共有する画素数は、２×２画素に限らず、３×３画素以上でもよいし、垂直方向に共有する画素数と水平方向に共有する画素数とが異なっていても良い。

また、図１６に示すようにフォトダイオード毎にスイッチが設けられたＭＯＳ型イメージセンサでは、走査ライン上の複数の画素毎、または１画素毎に順次シャッタパルスを印加してフォトダイオードに蓄積された電荷の掃き出しを行なう所謂ローリングシャッタ方式により電荷の掃き出しを行う。

具体的には、１画面内の全画素に対して一斉にリセットを行うのではなく、走査ライン上の複数の画素毎、又は１画素毎に順次リセットを行って露光を開始し、撮像信号の読み出しを実行する。

ローリングシャッタ方式の場合、図１７に示すように、例えば走査ライン毎にリセット、露光、読み出しを繰り返す。

また、複数の画素で１つのアンプを共有することから、共有画素内においては、１つの画素しか読み出すことはできない。従って、垂直方向に画像データを間引いて読み出す場合において、垂直方向における共有画素内で複数のライン画像データを読み出そうとすると、共有画素内において最初に読み出すライン上の画素のリセット、露光、読み出しが終了してから、共有画素内において次に読み出すライン上の画素のリセット、露光、読み出しを行わなければならない。このため、露光タイミングに大きな差が生じ、画像に偽色が生じる等の悪影響を及ぼす。例えば、共有画素を３×３画素として、垂直方向１／２間引きで１ライン目、３ライン目のライン画像データを読み出す場合、１ライン目の画素のリセット、露光、読み出しが終了した後でないと、３ライン目の画素のリセット、露光、読み出しを行うことができない。

従って、画素共有する場合には、垂直方向に（Ｎ−ｋ）画素以下の複数の画素を共有画素として、当該共有画素毎に撮像信号を増幅する構成とすることが好ましい。或いは、垂直方向にＬ画素分画素共有している場合は、垂直方向に間引き読出しする画素周期（Ｎ-ｋ）がＬより大きいように構成することが好ましい。

例えば第１実施形態で説明したように６×６画素の基本配列パターンを繰り返す図２に示すようなカラーフィルタを用いた場合において、ｋ＝１として垂直方向に（Ｎ−１）ライン周期、すなわち５ライン周期で水平方向に沿ったライン画像データを読み出す場合には、垂直方向に（Ｎ−ｋ）＝５画素以下で画素共有することが好ましい。例えば２×２画素で画素共有すれば、垂直方向における共有画素内で複数のライン画像データを読み出すことはないため、各ラインの露光タイミングが大きくずれるのを防ぐことができる。

（第５実施形態）

次に、本発明の第５実施形態について説明する。本実施形態では、撮影モードに応じて読み出すラインを切り替える、すなわち間引き方法を切り替える場合について説明する。

図１８に示した６×６画素の基本配列パターンＰが繰り返されたカラーフィルタの場合、２ライン目、５ライン目、８ライン面、１１ライン目のライン画像データは、ＧよりもＲ、Ｂが多く含まれている。従って、Ｒ、Ｂが多く含まれる被写体を撮影する撮影モードが選択された場合には、制御部２４は、２ライン目を先頭として垂直方向に１／３間引きでライン画像データを読み出すように駆動部２２に指示する。これにより、Ｒ、Ｂが多い被写体を撮影した場合に、解像感を向上させることができる。また、Ｒ、Ｂが極端に少ない被写体を撮影した場合には、画像のＳ／Ｎ比を向上させることができる。

また、図１８に示すように、１ライン目、４ライン目、７ライン面、１０ライン目のライン画像データは、Ｒ、ＢよりもＧが多く含まれている。従って、Ｇが多く含まれる被写体を撮影する撮影モードが選択された場合には、制御部２４は、１ライン目を先頭として垂直方向に１／３間引きでライン画像データを読み出すように駆動部２２に指示する。これにより、Ｇが多い被写体を撮影した場合に、画像のＳ／Ｎ比を向上させることができる。

また、図１８に示すように、２ライン目、４ライン目、７ライン面、１１ライン目のライン画像データは、Ｒ、Ｂ、Ｇの比率が同程度となっている。従って、白黒成分が多く含まれる被写体を撮影する撮影モードが選択された場合には、制御部２４は、２ライン目、４ライン目、７ライン面、１１ライン目・・・の順にライン画像データを読み出すように駆動部２２に指示する。これにより、白黒成分が多い被写体を撮影した場合に、画像のＳ／Ｎ比を向上させることができる。

また、比較的高い解像度が要求されない撮影モードの場合には、制御部２４は、図１９に示すように、垂直方向に（Ｎ＋ｋ）ライン（０＜ｋ＜Ｎ）周期で水平方向に沿ったライン画像データを読み出すように駆動部２２に指示するようにしてもよい。図１９の場合、Ｎ＝６、ｋ＝１であり、垂直方向に７ライン周期でライン画像データを読み出すこととなる。この場合、図１９に示すように、間引き後の画像も基本配列パターンＰを繰り返した画像となる。従って、静止画撮影のように画像データを間引かない場合の画像処理と共通の処理を間引き後の画像データに対して施すことができる。

このように、本実施形態では、撮影モードに応じて読み出すラインを切り替える、すなわち間引き方法を切り替えることができるので、撮影モードに応じて画像の解像度やＳ／Ｎ比を適切に制御することができると共に、ＡＷＢ（オートホワイトバランス）制御やＡＥ（自動露出）制御において適切な設定をすることができる。

また、前述したように、従来のベイヤー配列のカラーフィルタでは、垂直方向に偶数ライン毎に１ライン分の画像データを読み出した場合（例えば垂直方向１／２間引き）、ＧとＲ又はＧとＢの２色しか含まないライン画像データが読み出されることになるため、垂直方向に奇数ライン毎に１ライン分の画像データを読み出すしかない。

これに対し、本実施形態のカラーフィルタでは、垂直方向に偶数ライン毎に１ライン分の画像データを読み出すことも、垂直方向に奇数ライン毎に１ライン分の画像データを読み出すことも可能である。

このように、垂直方向のどのラインの画像データも読み出すことができるので、様々な解像度やフレームレートに対応することができる。例えば、撮影モードに応じて、フレームレートを高くすることを優先したい場合には解像度を低下させ、解像度を高くすることを優先する場合には、フレームレートを低くする等、様々な撮影モードに対応することができる。

また、被写体の動作に応じて読み出すラインを切り替えるようにしてもよい。例えば、撮像装置をパニングしたような場合に、被写体情報（例えばフレーム間情報）を用いたり、あるいはジャイロセンサ等の外部センサを用いて被写体移動量を検出する。

そして、被写体移動量に応じて解像度やフレームレートを設定し、設定した解像度やフレームレートに応じた間引き方法で画像データを読み出す。これにより、被写体の動作の遅れと解像感との最適なバランスを得ることができる。

なお、カラーフィルタ配列は、上記各実施形態で説明したものに限られるものではなく、以下のようなカラーフィルタ配列の撮像素子を有する撮像装置にも、本発明は適用できる。

例えば、上記特徴(1)、(2)、(4)、(5)、(6)を有するカラーフィルタ配列として、例えば、図２０に示すように基本配列パターンＰが３×３画素のカラーフィルタ配列がある。このカラーフィルタ配列は、３×３画素のうち中心と４隅にＧフィルタが配置され、残りの４画素にＲまたはＢが同数配置された基本配列パターンが繰り返されたものである。上記特徴(1)、(2)、(3)、(4)、(5)、(6)を有するカラーフィルタ配列として、図２１に示すように、基本配列パターンＰが５×５画素のカラーフィルタ配列がある。このカラーフィルタ配列は、５×５画素のなかの２つの対角線上にＧが配置され、残りの画素位置にＲ、Ｂ画素が５×５画素のなかの水平、及び垂直方向の各ライン内に１つ以上配置されるように配置され、Ｇの数がＲ，Ｂの数より多くなるように設定された基本配列パターンが繰り返されたものである。これらのカラーフィルタは、特徴(6)を有しているので、図２０、２１に示すように、垂直方向に（Ｎ−１）ライン周期でライン画像データを読み出した場合に、間引き後の画像が基本配列パターンを繰り返した画像を含む画像となる。

また、上記特徴(1)、(3)、(4)、(5)、(6)を有するカラーフィルタ配列として、図２２に示すように基本配列パターンＰが４×４画素のカラーフィルタ配列がある。このカラーフィルタ配列は、４×４画素のなかの２つの対角線上にＧが配置され、残りの画素位置にＲ、Ｂ画素が４×４画素のなかの水平、及び垂直方向の各ライン内に１つ以上配置されるように配置され、Ｇの数がＲ，Ｂの数より多くなるように設定された基本配列パターンが繰り返されたものである。また、上記特徴(1)、(2)、(3)、(6)を有するカラーフィルタ配列として、図２３に示すように、基本配列パターンＰが５×５画素のカラーフィルタ配列がある。また、上記特徴(1)、(2)、(3)を有するカラーフィルタ配列として、図２４に示すように、基本配列パターンＰが６×６画素のカラーフィルタ配列がある。このカラーフィルタ配列は、ＧがＲまたはＢの外周に矩形状に配置された第１サブ配列と、Ｇが中央部に配置された第２サブ配列とがそれぞれ２つずつ水平方向、垂直方向に交互に互いに隣接するように配置された基本配列パターンが繰り返されたものである。この配列においては、特徴(3)において、Ｒ及びＢもカラーフィルター配列の斜め（ＮＥ，ＮＷ）方向（第３の方向）の各ライン内に１つ以上配置される特徴も有する。また、上記特徴(1)、(2)、(3)、(4)、(5)、(6)を有するカラーフィルタ配列として、図２５に示すように、基本配列パターンＰが７×７画素のカラーフィルタ配列、上記特徴(1)、(2)、(3)を有するカラーフィルタ配列として、図２６に示すように、基本配列パターンＰが８×８画素のカラーフィルタ等がある。

なお、同時化処理や動画撮影時の間引き処理等の画像処理の容易さを考慮すると、Ｎ、Ｍは１０以下であることが好ましい。

また、上記実施形態では、ＲＧＢの３原色のカラーフィルタを有するカラー撮像素子について説明したが、本発明は、これに限らず、ＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタ、例えば図２７に示すようなカラーフィルタにも適用できる。また、他の色として白色または透明（Ｗ）フィルタを有するカラーフィルタにも本発明を適用できる。例えば図２７のエメラルドに代えてＷフィルタを配置しても良い。この場合、ＷとＧの組み合わせ、又はＷが輝度信号に最も寄与する第１の色となる。

また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタを有するカラー撮像素子にも適用できる。

また、上記各実施形態では、垂直方向に予め定めた周期で、水平方向に沿ったライン画像データを読み出す場合について説明したが、水平方向に予め定めた周期で、垂直方向に沿ったライン画像データを読み出す場合にも本発明を適用可能である。

また、本実施形態では、撮像素子１４から垂直方向に（Ｎ−ｋ）ライン周期で水平方向に沿ったラインの画素の画素信号を読み出してライン画像データを生成し、これらのライン画像データに基づいて画像データを生成する場合について説明したが、全ライン分の画素の画素信号を読み出して、（Ｎ−ｋ）ライン周期のラインのライン画像データを選択的に使って（その他のラインのライン画像データを使わず又は記憶せず）、画像データを生成するようにしても良い。また、全ライン分の画素の画素信号を読み出してＲＡＭ等のメモリに一時記憶し、（Ｎ−ｋ）ライン周期のラインのライン画像データを選択的に使って画像データを作成するようにしても良い（この形態の場合、撮像処理部１６又は画像処理部２０がライン画像データ生成手段に対応する）。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０ 撮像装置
１２ 光学系
１４ 撮像素子
１６ 撮像処理部
２０ 画像処理部
２２ 駆動部
２４ 制御部
３０ 画素アレイ
３２ 垂直駆動走査回路
３４ 列信号処理回路
３６ 水平駆動走査回路
３８ 信号線
４０ アンプ
ＡＰ アンプ
Ｐ 基本配列パターン
ＰＤ１〜ＰＤ４ フォトダイオード
ＲＳＴ リセットスイッチ
Ｓ 信号線
ＳＷ１〜ＳＷ４ スイッチ

Claims (14)

1. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
   前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
   前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、前記読み出した画素信号から、前記複数の画素のうち第１の方向に（Ｎ−ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するライン画像データ生成手段と、
   前記ライン画像データに基づいて画像データを生成する画像データ生成手段と、
   を備え、
   前記基本配列パターンは、当該基本配列パターンの全領域において前記第１の方向に対して線対称、又は、当該基本配列パターンの前記第１の方向における２つの半周期の領域内において前記第１の方向に対して各々が線対称であり、
   前記ライン画像データ生成手段は、前記設定された周期として、前記第１の方向に（Ｎ−１）ライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成する
   撮像装置。
2. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
   前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
   前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、前記読み出した画素信号から、前記複数の画素のうち第１の方向に（Ｎ−ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するライン画像データ生成手段と、
   前記ライン画像データに基づいて画像データを生成する画像データ生成手段と、
   を備え、
   前記ライン画像データ生成手段は、前記設定された周期として、前記第１の方向に（Ｎ−ｋ）ライン（０＜ｋ≦Ｎ／２）周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成すると共に、当該ライン画像データから前記第１の方向にＮライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成し、
   前記第１の方向に（Ｎ−ｋ）ライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データと、当該ライン画像データから前記第１の方向にＮライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データと、を同色画素同士で各々画素混合する画素混合手段
   を備えた撮像装置。
3. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
   前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
   前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、前記読み出した画素信号から、前記複数の画素のうち第１の方向に（Ｎ−ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するライン画像データ生成手段と、
   前記ライン画像データに基づいて画像データを生成する画像データ生成手段と、
   を備え、
   前記第１のフィルタは、前記カラーフィルタ面内において、前記第１の方向と、前記第２の方向と、前記第１の方向及び前記第２の方向と交差する第３の方向と、の各ライン内に１つ以上配置され、
   前記第２の色の各色に対応する前記第２のフィルタは、前記基本配列パターン内において、前記第１の方向及び前記第２の方向の各ライン内に各々１つ以上配置された
   撮像装置。
4. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
   前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されたカラーフィルタと、
   前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、前記読み出した画素信号から、前記複数の画素のうち第１の方向に（Ｎ−ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するライン画像データ生成手段と、
   前記ライン画像データに基づいて画像データを生成する画像データ生成手段と、
   を備え、
   前記カラーフィルタは、前記第１のフィルタからなる２×２画素に対応する正方配列を含む
   撮像装置。
5. 前記ライン画像データ生成手段は、前記設定された周期として、前記第１の方向に（Ｎ−ｋ）ライン周期で前記撮像素子から前記画素信号を読み出して前記ライン画像データを生成する
   請求項１〜４の何れか１項に記載の撮像装置。
6. 前記撮像素子は、前記第１の方向に（Ｎ−ｋ）画素以下の複数の画素を共有画素として、当該共有画素毎に撮像信号を増幅する増幅手段を含む
   請求項１〜請求項５の何れか１項に記載の撮像装置。
7. 前記第１の方向に（Ｎ−ｋ）ライン（０＜ｋ＜Ｎ）周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成する第１の生成方法と、前記第１の方向に（Ｎ＋ｋ）ライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成する第２の生成方法と、を切り替える切り替え手段
   を備えた請求項１〜請求項６の何れか１項に記載の撮像装置。
8. 前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）である
   請求項１〜請求項７の何れか１項に記載の撮像装置。
9. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
   前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に前記第１の方向及び前記第２の方向に配列されて構成されている
   請求項８記載の撮像装置。
10. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
    前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に前記第１の方向及び前記第２の方向に配列されて構成されている
    請求項８記載の撮像装置。
11. 前記カラーフィルタは、前記基本配列パターンの中心に対して点対称である
    請求項１〜１０の何れか１項に記載の撮像装置。
12. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
    前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されると共に、前記第１のフィルタからなる２×２画素に対応する正方配列を含むカラーフィルタと、
    を備えた撮像装置の制御方法であって、
    前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、
    前記読み出した画素信号から、前記複数の画素のうち第１の方向に（Ｎ−ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成し、
    前記ライン画像データに基づいて画像データを生成する
    撮像装置の制御方法。
13. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
    前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されると共に、前記第１のフィルタからなる２×２画素に対応する正方配列を含むカラーフィルタと、
    を備えた撮像装置を制御するコンピュータに、
    前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出すステップと、
    前記読み出した画素信号から、前記複数の画素のうち第１の方向に（Ｎ−ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するステップと、
    前記ライン画像データに基づいて画像データを生成するステップと、
    を含む処理を実行させるための制御プログラム。
14. コンピュータに、
    予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが前記第１の方向及び前記第２の方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで配置された基本配列パターンが、繰り返し配置されると共に、前記第１のフィルタからなる２×２画素に対応する正方配列を含むカラーフィルタと、を備えた撮像素子から、前記複数の画素における画素信号を設定された周期で読み出された画素信号から、前記複数の画素のうち第１の方向に（Ｎ−ｋ）（０＜ｋ＜Ｎ、ｋは自然数）ライン周期で配列され、かつ前記第２の方向に沿って配列されている画素の画素信号からなるライン画像データを生成するステップと、
    前記ライン画像データに基づいて画像データを生成するステップと、
    を含む処理を実行させるための制御プログラム。