JP5607267B2 - 撮像装置、撮像装置の制御方法、及び制御プログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法、及び制御プログラムに係り、特に、カラー撮像素子を備えた撮像装置、撮像装置の制御方法、及び制御プログラムに関する。

カラー撮像素子で広く用いられている色配列である原色系ベイヤー配列（例えば特許文献１〜３参照）は、人間の目に敏感で、輝度信号を得るために最も寄与する緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置している。

特開２００２−１３５７９３号公報 特許第３９６０９６５号公報 特開２００４−２６６３６９号公報

しかしながら、従来のベイヤー配列を採用したカラー撮像素子では、例えば動画用の画像データを生成するために、垂直方向に間引き読み出しする場合、例えば垂直方向に２ｎ（ｎは自然数）ライン毎に１ライン分の画像データを読み出した場合（垂直方向１／２ｎ間引き、偶数間引き）、ＧとＲ又はＧとＢの２色しか含まないライン画像データが読み出されることになり色再現できない。このため、（２ｎ＋１）ライン毎に１ライン分の画像データを読み出す間引き読出し（垂直方向１／（２ｎ＋１）間引き、奇数間引き）が一般的である。また、それ以外の間引き読出しを行う場合においても、色再現を得るために、ＧとＲを含む水平ラインとＧとＢを含む水平ラインを交互に読み出す必要があり、読出し方が非常に制限される。

また、ベイヤー配列では、Ｇ信号は斜め方向で、Ｒ、Ｂ信号は水平、垂直方向の高周波信号を生成する際の再現精度に問題があり、高周波信号に対し色モワレ（偽色）の発生を抑制できないという問題があるが、前述のような間引き読み出しをした場合、元のベイヤー配列と同じカラー配列となるため、同じ問題が生じてしまう。

本発明は上記問題点を解決するためになされたものであり、ベイヤー配列以外の配列のカラーフィルタを備えた撮像素子を用いた場合において、有効な間引き読出しを行うことができる撮像装置、撮像装置の制御方法、及び制御プログラムを提供することを目的とする。

上記課題を解決するため、本発明の撮像装置は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色の各々に対応する複数の第２のフィルタとを第２の方向に少なくとも一つずつ含む配列ラインであって第２の方向に沿った配列が同じである複数の同一配列ラインと、同一配列ラインとは第２の方向における第１のフィルタ及び第２のフィルタの配列が異なる少なくとも１つの配列ラインと、を含む基本配列パターンが、繰り返し配置されたカラーフィルタと、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、複数の画素のうち基本配列パターン内における同一配列ラインのライン画像データを各々生成するライン画像データ生成手段と、生成した同一配列ラインのライン画像データの同色画素同士を画素加算する画素加算手段と、画素加算したライン画像データに基づいて画像データを生成する画像データ生成手段と、を備えたことを特徴とする。

この発明によれば、カラーフィルタが基本配列パターン内において同一配列のラインを複数含み、生成された同一配列のライン画像データの同色画素同士を画素加算する画素加算処理を実行するので、画像のＳ／Ｎ比を向上させることができる。

なお、ライン画像データ生成手段は、第１の方向に沿った各ライン上において第１の色及び２色以上の第２の色の各々が少なくとも一つ以上含まれるように、第１の色及び２色以上の第２の色の各々の配列が同一配列ラインとは異なるライン画像データを生成するようにしてもよい。

この発明によれば、画素加算後の画像は、第１の方向に沿った各ライン上において第１の色及び２色以上の第２の色の各々が少なくとも一つ以上含まれるので、画素加算後の画像が、第１の方向に沿ったライン上に第１の色のみの画素が配置される場合と比較して、画質を向上させることができる。

また、ライン画像データ生成手段は、第１の方向における位置が同一配列ラインに挟まれる位置のライン画像データを生成するようにしてもよい。

この発明によれば、同一配列ラインのライン画像データを各々生成して画素加算すると共に、第１の方向において同一配列ラインに挟まれる位置のライン画像データを生成するので、画素加算されたライン画像データの第１の方向における重心位置は、同一配列ラインに挟まれる位置のライン画像データと同一となる。そして、画素加算後の画像は、第１の方向に沿った各ライン上において第１の色及び２色以上の第２の色の各々が少なくとも一つ以上含まれるので、画素加算後の画像が、第１の方向に沿ったライン上に第１の色のみの画素が配置される場合と比較して、画質を向上させることができる。

また、ライン画像データ生成手段は、第１の方向に最も近い位置の同一配列ラインのライン画像データを各々生成するようにしてもよい。

この発明によれば、第１の方向に最も近い位置の同一配列ラインのライン画像データを各々生成して画素加算するので、良好な画質の画像が得られる。

また、ライン画像データ生成手段は、撮像素子から複数の画素における画素信号を読み出す設定された周期として、複数の画素のうち基本配列パターン内における同一配列ラインの画素信号を読み出してライン画像データを生成するようにしてもよい。

また、第１のフィルタは、カラーフィルタ内において、第１の方向と、第２の方向と、第１の方向及び第２の方向と交差する第３の方向と、の各ライン内に１つ以上配置され、複数の第２のフィルタの各々は、基本配列パターン内において、第１の方向及び第２の方向の各ライン内に１つ以上配置された構成としてもよい。

この発明によれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタを、カラーフィルタ内において、第１の方向〜第３の方向の各ライン内に配置するようにしたため、高周波領域での同時化処理の再現精度を向上させることができる。また、第１の色以外の２色以上の第２の色に対応する第２のフィルタについては、基本配列パターン内において、第１の方向及び第２の方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を低減して高解像度化を図ることができる。

また、カラーフィルタは、第１のフィルタからなる２×２画素に対応する正方配列を含むようにしてもよい。

この発明によれば、２×２画素に対応する正方配列の４画素の各画素間の画素値の差分値に基づいて輝度の相関方向が４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。

また、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）である構成としてもよい。

また、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３ ×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成してもよい。

この発明によれば、第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の４隅に２×２画素のＧ画素が存在することになる。これらの２×２画素のＧ画素の画素値は、４方向の相関方向の判別に使用することができる。

また、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成してもよい。

この発明によれば、第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の中心の画素（Ｒ画素又はＢ画素）を挟んで、水平及び垂直方向にそれぞれ隣接するＧ画素が存在することになる。これらのＧ画素（合計８画素）の画素値は、４方向の相関方向の判別に使用することができる。

また、カラーフィルタは、基本配列パターンの中心に対して点対称である構成としてもよい。

この発明によれば、後段の処理回路の回路規模を小さくすることが可能になる。

本発明の撮像装置の制御方法は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色の各々に対応する複数の第２のフィルタとを第２の方向に少なくとも一つずつ含む配列ラインであって第２の方向に沿った配列が同じである複数の同一配列ラインと、同一配列ラインとは第２の方向における第１のフィルタ及び第２のフィルタの配列が異なる少なくとも１つの配列ラインと、を含む基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置の制御方法であって、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、複数の画素のうち基本配列パターン内における同一配列ラインのライン画像データを各々生成するライン画像データ生成手段と、生成した同一配列ラインのライン画像データの同色画素同士を画素加算する画素加算手段と、画素加算したライン画像データに基づいて画像データを生成する画像データ生成手段と、を備えたことを特徴とする。

本発明の制御プログラムは、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色の各々に対応する複数の第２のフィルタとを第２の方向に少なくとも一つずつ含む配列ラインであって第２の方向に沿った配列が同じである複数の同一配列ラインと、同一配列ラインとは第２の方向における第１のフィルタ及び第２のフィルタの配列が異なる少なくとも１つの配列ラインと、を含む基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置を制御するコンピュータに、撮像素子から、複数の画素における画素信号を設定された周期で読出すステップと、読み出した画素信号から、複数の画素のうち基本配列パターン内における同一配列ラインのライン画像データを各々生成するステップと、生成した同一配列ラインのライン画像データの同色画素同士を画素加算するステップと、画素加算したライン画像データに基づいて画像データを生成するステップと、を含む処理を実行させることを特徴とする。

本発明の制御プログラムは、コンピュータに、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色の各々に対応する複数の第２のフィルタとを第２の方向に少なくとも一つずつ含む配列ラインであって第２の方向に沿った配列が同じである複数の同一配列ラインと、同一配列ラインとは第２の方向における第１のフィルタ及び第２のフィルタの配列が異なる少なくとも１つの配列ラインと、を含む基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像素子から、複数の画素における画素信号を設定された周期で読み出された画素信号から、複数の画素のうち基本配列パターン内における同一配列ラインのライン画像データを各々生成するステップと、生成した同一配列ラインのライン画像データの同色画素同士を画素加算するステップと、画素加算したライン画像データに基づいて画像データを生成するステップと、を含む処理を実行させることを特徴とする。

本発明によれば、ベイヤー配列以外の配列のカラーフィルタを備えた撮像素子を用いた場合において、有効な間引き読出しを行うことができる、という効果を有する。

第１実施形態に係る撮像装置の概略ブロック図である。 第１実施形態に係るカラーフィルタの構成図である。 第１実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第１実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第１実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。 第１実施形態に係る画素加算処理について説明するための図である。 制御部で実行される処理を示すフローチャートである。 第２実施形態に係る画素加算処理について説明するための図である。 第３実施形態に係る画素加算処理について説明するための図である。 第４実施形態に係るカラーフィルタの構成図である。 第４実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第４実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第４実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。 カラーフィルタの変形例を示す図である。

以下、図面を参照して本発明の実施形態について説明する。

（第１実施形態）

図１には、本実施形態に係る撮像装置１０の概略ブロック図を示した。撮像装置１０は、光学系１２、撮像素子１４、撮像処理部１６、画像処理部２０、駆動部２２、及び制御部２４を含んで構成されている。

光学系１２は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。

撮像素子１４は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。

図２には、本実施形態に係るカラーフィルタの一部を示した。各画素上には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタのうちのいずれかが配置される。

＜カラーフィルタ配列の特徴＞

第１実施形態のカラーフィルタは、下記の特徴(1)〜(6)を有している。

〔特徴(1)〕

カラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のフィルタが、垂直方向及び水平方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、緑（Ｇ）のフィルタと、赤（Ｒ）及び青（Ｂ）の少なくとも一方の色のフィルタと、が垂直方向及び水平方向に各々配置された基本配列パターンが、繰り返し配置されたものとなっている。

本実施形態に係る図２に示すカラーフィルタは、一例として６×６画素（Ｎ＝Ｍ＝６）に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが垂直方向（第１の方向）及び水平方向（第２の方向）に繰り返し配置されている。即ち、このカラーフィルタは、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化処理（デモザイク処理ともいう。以下同じ）等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

〔特徴(2)〕

図２に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の第１の方向である垂直方向、第２の方向である水平方向、及びカラーフィルタ面内において、第１の方向及び第２の方向と交差する第３の方向、すなわち斜め（ＮＥ，ＮＷ）方向（第３の方向）の各ライン内に配置されている。なお、ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ４５°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり、長辺・短辺の長さに応じてその角度は変わりうる。

輝度系画素に対応するＧフィルタが、カラーフィルタ配列の垂直方向、水平方向、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。

〔特徴(3)〕

図２に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されている。

Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の垂直方向及び水平方向の各ライン内に配置されるため、色モワレ（偽色）の発生を低減することができる。

これにより、偽色の発生を抑制するための光学ローパスフィルターを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルターを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

〔特徴(4)〕

図３は、図２に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、Ａ配列とＢ配列の４隅のＧフィルタは、図４に示すようにＡ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

すなわち、図２に示すカラーフィルタ配列（基本配列パターンＰ）は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。

いま、図５に示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域を抽出した場合、この局所領域内の４隅の２×２画素のＧ画素は、図５に示す配置になっている。

図５に示すように、２×２画素のＧ画素の画素値を、左上から右下の順にＧ１、Ｇ２、Ｇ３、Ｇ４とした場合、これらのＧ画素の画素値の垂直方向の差分絶対値は（｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜）／２、水平方向の差分絶対値は（｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜）／２、右上斜め方向の差分絶対値は｜Ｇ２−Ｇ３｜、左上斜め方向の差分絶対値は｜Ｇ１−Ｇ４｜となる。

これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。

いま、図４又は図５に示すように中央に３×３画素のＡ配列が位置するように、モザイク画像から５×５画素の局所領域を抽出した場合、４隅に２×２画素のＧ画素が配置されることになる。したがって、上記局所領域内のＡ配列の３×３画素を同時化処理の対象画素とした場合、４隅の各方向別の相関絶対値の総和（又は平均値）を求め、各方向別の相関絶対値の総和（又は平均値）のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。判別された相関方向は、同時化処理等を行う際に利用することができる。

〔特徴(5)〕

図２に示すカラーフィルタ配列を構成する基本配列パターンＰは、その基本配列パターンの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図３に示すように、基本配列パターン内のＡ配列及びＢ配列も、それぞれ中心のＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。

〔特徴(6)〕

図２に示すカラーフィルタ配列を構成する基本配列パターンＰは、Ｇフィルタ、Ｒフィルタ、Ｂフィルタを少なくとも一つずつ含む同一配列ラインを複数含んでいる。例えば、図６に示すように、垂直方向に１ライン目と３ライン目、４ライン目と６ライン目は同一配列となっている。従って、間引き読み出しする場合には、同一配列のライン画像データを読み出して画素加算することにより、画像のＳ／Ｎ比を向上させることができる。

撮像処理部１６は、撮像素子１４から出力された撮像信号に対して増幅処理や相関二重サンプリング処理、Ａ／Ｄ変換処理等の予め定めた処理を施し、画像データとして画像処理部２０に出力する。

画像処理部２０は、撮像処理部１６から出力された画像データに対して所謂同時化処理を施す。すなわち、全画素について、対応する色以外の色の画像データを周囲の画素の画素データから補間して、全画素のＲ，Ｇ，Ｂの画像データを生成する。そして、生成したＲ，Ｇ，Ｂの画像データに対して所謂ＹＣ変換処理を施し、輝度データＹ、色差データＣｒ、Ｃｂを生成する。そして、これらの信号を撮影モードに応じたサイズにリサイズするリサイズ処理を行う。

駆動部２２は、制御部２４からの指示に応じて撮像素子１４からの撮像信号の読み出し駆動等を行う。

制御部２４は、撮影モード等に応じて駆動部２２及び画像処理部２０等を統括制御する。詳細は後述するが、制御部２４は、駆動部２２に対して、撮影モードに応じた読み出し方法で撮像信号を読み出すように指示したり、画像処理部２０に対して、撮影モードに応じた画像処理を行うよう指示したりする。

撮影モードによっては、撮像素子１４からの撮像信号を間引いて読み出す必要があるため、制御部２４は、指示された撮影モードに応じた間引き方法で間引いて撮像信号を読み出すように駆動部２２に指示する。

撮影モードとしては、静止画を撮影する静止画モードや、撮像した画像を間引いて比較的高解像度のＨＤ（高精細）動画データを生成して図示しないメモリーカード等の記録媒体に記録するＨＤ動画モード、撮影した画像を間引いて比較的低解像度のスルー動画（ライブビュー画像）を図示しない表示部に出力するスルー動画モード（ライブビューモード）等の動画モードがあるが、撮影モードの種類はこれらに限られるものではない。

次に、本実施形態の作用として、制御部２４で実行される処理について、図７に示すフローチャートを参照して説明する。

なお、図７に示す処理は、撮影モードに応じた撮影を実行するように指示された場合に実行される。また、以下では、垂直方向において予め定めた位置のライン画像データを読み出す場合、すなわち、垂直方向における予め定めた位置のライン以外のラインを間引いて（除いて）読み出す場合について説明する。また、この場合のライン画像データとは、水平方向に沿って並ぶ画素の画素データの集合である。

まず、ステップ１００では、撮影モードに応じた間引き方法で画像データを読み出すように駆動部２２に指示する。

本実施形態では、撮像素子１４から基本配列パターンＰ内における同一配列ラインのライン画像データを各々読み出すように駆動部２２に指示する（本実施形態では、駆動部２２及び制御部２４が、ライン画像データ生成手段に対応する）。具体的には、図６に示すように、基本配列パターンＰ内において１ライン目と３ライン目、４ライン目と６ライン目を読み出すように駆動部２２に指示する。これにより、基本配列パターンＰ内において１ライン目と３ライン目、４ライン目と６ライン目のライン画像データが各々読み出される。

ステップ１０２では、読み出された同一配列のライン画像データの同色画素同士を画素加算する画素加算処理を実行すると共に、画素加算処理後の画像データに対して、撮影モードに応じた画像処理（例えば同時化処理（デモザイク処理）、ＹＣ変換処理、リサイズ処理等）を実行するよう画像処理部２０に指示する（本実施形態では、画像処理部２０及び制御部２４が、画素加算手段及び画像データ生成手段に対応する）。

これにより、図６に示すように、１ライン目と３ライン目のライン画像データの同色画素同士が画素加算され、４ライン目と６ライン目のライン画像データの同色画素同士が画素加算される。

なお、制御部２４及び画像処理部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＯＭ等を含むコンピュータで構成することができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ＲＯＭに記憶しておき、これをＣＰＵが読み込んで実行することができる。

このように、本実施形態では、カラーフィルタが基本配列パターンＰ内において同一配列のラインを複数含み、読み出された同一配列のライン画像データの同色画素同士を画素加算する画素加算処理を実行するので、画像のＳ／Ｎ比を向上させることができる。

なお、基本配列パターンＰ内に垂直方向における同一配列ラインが３ライン以上存在する場合には、垂直方向に最も近い位置の同一配列ラインのライン画像データを各々読み出すことが好ましい。これにより、良好な画質の画像が得られる。

また、本実施形態では、同一配列のライン画像データの同色同士の画素値を単純に加算する場合について説明したが、これに限らず、重み付け加算するようにしてもよい。

（第２実施形態）

次に、本発明の第２実施形態について説明する。本実施形態では、垂直方向に沿った各ライン上においてＲ、Ｇ、Ｂの各色が少なくとも一つ以上含まれるように、画素加算する同一配列ラインとは配列の異なるライン画像データを読み出すように撮像素子１４を駆動する場合について説明する。

本実施形態では、制御部２４は、図７のステップ１００において、基本配列パターンＰ内における同一配列ラインのライン画像データを各々読み出すと共に、読み出し後の画像が、垂直方向に沿った各ライン上においてＲ、Ｇ、Ｂの各色が少なくとも一つ以上含まれるように、前記同一配列ラインとは配列の異なるライン画像データを読み出すように駆動部２２に指示する。

具体的には、図８に示すように、同一配列ラインとして１ライン目と３ライン目、同一配列ラインと配列の異なるラインとして５ライン目と８ライン目、同一配列ラインとして１０ライン目と１２ライン目、・・・のライン画像データを読み出すように駆動部２２に指示する。

そして、ステップ１０２では、読み出された同一配列のライン画像データの同色画素同士を画素加算する画素加算処理を実行するように画像処理部２０に指示する。これにより、１ライン目と３ライン目、１０ライン目と１２ライン目が各々画素加算され、画素加算後の画像は、１ライン目と３ライン目を画素加算したライン、５ライン目、８ライン目、１０イン目と１２ライン目を画素加算したライン、・・・の順に配置される。

これにより、図８に示すように、画素加算後の画像は、垂直方向に沿った各ライン上においてＲ、Ｇ、Ｂの各色が少なくとも一つ以上含まれる。このため、図６に示すように、画素加算後の画像が、垂直方向に沿ったライン上にＧのみの画素が配置される場合と比較して、画質を向上させることができる。

（第３実施形態）

次に、本発明の第３実施形態について説明する。本実施形態では、垂直方向における位置が同一配列ラインに挟まれる位置のライン画像データを読み出すように撮像素子１４を駆動する場合について説明する。

本実施形態では、制御部２４は、図７のステップ１００において、基本配列パターンＰ内における同一配列ラインのライン画像データを各々読み出すと共に、垂直方向における位置が同一配列ラインに挟まれる位置のライン画像データを読み出すように駆動部２２に指示する。

具体的には、図９に示すように、基本配列パターンＰ内における同一配列ラインとして１ライン目と３ライン目、１ライン目と３ライン目との間に挟まれた２ライン目、４ライン目と６ライン目、４ライン目と６ライン目との間に挟まれた５ライン目のライン画像データを読み出すように駆動部２２に指示する。

そして、ステップ１０２では、読み出された同一配列のライン画像データの同色画素同士を画素加算する画素加算処理を実行するように画像処理部２０に指示する。これにより、１ライン目と３ライン目、４ライン目と６ライン目が各々画素加算され、画素加算後の画像は、１ライン目と３ライン目を画素加算したライン、２ライン目、４ライン目と６ライン目を画素加算したライン、５ライン目の順に配置される。

このように、同一配列ラインのライン画像データを各々読み出して画素加算すると共に、垂直方向において同一配列ラインに挟まれる位置のライン画像データを読み出すので、画素加算されたライン画像データの垂直方向における重心位置は、同一配列ラインに挟まれる位置のライン画像データと同一となる。そして、図８に示すように、画素加算後の画像は、垂直方向に沿った各ライン上においてＲ、Ｇ、Ｂの各色が少なくとも一つ以上含まれる。このため、図６に示すように、画素加算後の画像が、垂直方向に沿ったライン上にＧのみの画素が配置される場合と比較して、同時化処理（デモザイク処理）の精度を向上させることができ、画質を向上させることができる。

（第４実施形態）

次に、本発明の第４実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。

図１０には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、図１０に示すカラーフィルタ配列は、Ｇフィルタが、カラーフィルタ配列の垂直方向及び水平方向の各ライン内に配置されている。

また、図１０に示すカラーフィルタ配列は、Ｒフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されている。

図１１は、図１０に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図１１に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列は、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置されている。一方、Ｂ配列は、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。これらのＡ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

図１２Ａに示すように、第１実施形態のカラーフィルタは、上記Ａ配列とＢ配列とが、水平及び垂直方向に交互に配置されていると捉えることもできる。

いま、図１２Ａに示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の８個のＧ画素は、図１２Ｂに示すように十字形状に配置される。これらのＧ画素を左から右の順にＧ１、Ｇ２、Ｇ３、Ｇ４とし、上から下の順にＧ５、Ｇ６、Ｇ７、Ｇ８とすると、画素Ｇ１Ｇ２、画素Ｇ３Ｇ４が水平方向に隣接し、画素Ｇ５Ｇ６、画素Ｇ７Ｇ８が垂直方向に隣接し、画素Ｇ６Ｇ３、画素Ｇ２Ｇ７が左上斜め方向に隣接し、画素Ｇ６Ｇ２、画素Ｇ３Ｇ７が右上斜め方向に隣接している。

従って、これらの隣接する画素の画素値の差分絶対値を求めることにより、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向のうち、輝度の変化が最も小さい方向（相関の高い相関方向）を、最小画素間隔で判別することができる。

即ち、水平方向の差分絶対値の和は｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜、垂直方向の差分絶対値の和は｜Ｇ５−Ｇ６｜＋｜Ｇ７−Ｇ８｜、右上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ２｜＋｜Ｇ３−Ｇ７｜、左上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ３｜＋｜Ｇ２−Ｇ７｜となる。

これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。尚、判別された相関方向は、同時化処理等を行う際に利用することができる。

また、図１０に示すカラーフィルタを構成する基本配列パターンＰは、その基本配列パターンＰの中心に対して点対称になっている。

図１１に示したように、基本配列パターン内のＡ配列及びＢ配列は、それぞれ中心のＲフィルタ、又はＢフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

また、図１０に示すカラーフィルタ配列を構成する基本配列パターンＰは、Ｇフィルタ、Ｒフィルタ、Ｂフィルタを少なくとも一つずつ含む同一配列ラインを複数含んでいる。例えば、図１０に示すように、垂直方向に１ライン目と３ライン目、４ライン目と６ライン目は同一配列となっている。従って、間引き読み出しする場合には、同一配列のライン画像データを読み出して画素加算することにより、画像のＳ／Ｎ比を向上させることができる。

このように本実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(3)〜(6)と同じ特徴を有している。

なお、カラーフィルタは、上記各実施形態で説明したものに限られるものではなく、以下のようなカラーフィルタ配列の撮像素子を有する撮像装置にも、本発明は適用できる。

例えば、上記特徴(1)、(2)、(3)、(6)を有するカラーフィルタ配列として、図１３に示すように、基本配列パターンＰが５×５画素のカラーフィルタ配列がある。このカラーフィルタ配列は、５×５画素のなかの２つの対角線上にＧが配置され、残りの画素位置にＲ、Ｂ画素が５×５画素のなかの水平、及び垂直方向の各ライン内に１つ以上配置されるように配置され、Ｇの数がＲ，Ｂの数より多くなるように設定された基本配列パターンが繰り返されたものである。その他にも、図１４に示すように基本配列パターンＰが７×７画素のカラーフィルタ配列等がある。

これらのカラーフィルタは、特徴(6)を有しているので、同一配列のライン画像データを読み出して同色画素同士を画素加算することにより、画像のＳ／Ｎ比を向上させることができる。

なお、同時化処理や動画撮影時の間引き処理等の画像処理の容易さを考慮すると、Ｎ、Ｍは１０以下であることが好ましい。

また、上記実施形態では、ＲＧＢの３原色のカラーフィルタを有するカラー撮像素子について説明したが、本発明は、これに限らず、ＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタ、例えば図１５に示すようなカラーフィルタにも適用できる。また、他の色として白色または透明（Ｗ）フィルタを有するカラーフィルタにも本発明を適用できる。例えば図１５のエメラルドに代えてＷフィルタを配置しても良い。この場合、ＷとＧの組み合わせ、又はＷが輝度信号に最も寄与する第１の色となる。

また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタを有するカラー撮像素子にも適用できる。

また、上記各実施形態では、垂直方向に予め定めた周期で、水平方向に沿ったライン画像データを読み出す場合について説明したが、水平方向に予め定めた周期で、垂直方向に沿ったライン画像データを読み出す場合にも本発明を適用可能である。

また、本実施形態では、撮像素子１４から基本配列パターンＰ内における同一配列ラインのライン画像データを各々読み出してライン画像データを生成し、これらを画素加算する場合について説明したが、全ライン分の画素の画素信号を読み出して、基本配列パターンＰ内における同一配列ラインのライン画像データを選択的に使って（その他のラインのライン画像データを使わず又は記憶せず）、これらを画素加算するようにしても良い。また、全ライン分の画素の画素信号を読み出してＲＡＭ等のメモリに一時記憶し、基本配列パターンＰ内における同一配列ラインのライン画像データを選択的に使って画素加算するようにしても良い（この形態の場合、撮像処理部１６又は画像処理部２０がライン画像データ生成手段に対応する）。

また、本実施形態では、撮像素子１４から基本配列パターンＰ内における同一配列ラインのライン画像データを各々読み出してライン画像データを生成し、これらを画素加算する場合について説明したが、画素加算は撮像素子１４内で行うようにしても良い。特に、撮像素子１４において読み出した直後に画素加算（画素混合）を行うことで動画の処理時間をより短縮することが可能である（この形態の場合、撮像素子１４及び駆動部２２がライン画像データ生成手段及び画素加算手段に対応する）。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０ 撮像装置
１２ 光学系
１４ 撮像素子
１６ 撮像処理部
２０ 画像処理部
２２ 駆動部
２４ 制御部
Ｐ 基本配列パターン

Claims (14)

1. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
   前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色の各々に対応する複数の第２のフィルタとを前記第２の方向に少なくとも一つずつ含む配列ラインであって前記第２の方向に沿った配列が同じである複数の同一配列ラインと、前記同一配列ラインとは前記第２の方向における前記第１のフィルタ及び前記第２のフィルタの配列が異なる少なくとも１つの配列ラインと、を含む基本配列パターンが、繰り返し配置されたカラーフィルタと、
   前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、前記読み出した画素信号から、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインのライン画像データを各々生成するライン画像データ生成手段と、
   生成した前記同一配列ラインのライン画像データの同色画素同士を画素加算する画素加算手段と、
   画素加算した前記ライン画像データに基づいて画像データを生成する画像データ生成手段と、
   を備えた撮像装置。
2. 前記ライン画像データ生成手段は、前記第１の方向に沿った各ライン上において前記第１の色及び前記２色以上の第２の色の各々が少なくとも一つ以上含まれるように、前記第１の色及び前記２色以上の第２の色の各々の配列が前記同一配列ラインとは異なるライン画像データを生成する
   請求項１記載の撮像装置。
3. 前記ライン画像データ生成手段は、前記第１の方向における位置が前記同一配列ラインに挟まれる位置のライン画像データを生成する
   請求項１又は請求項２記載の撮像装置。
4. 前記ライン画像データ生成手段は、前記第１の方向に最も近い位置の同一配列ラインのライン画像データを各々生成する
   請求項１〜請求項３の何れか１項に記載の撮像装置。
5. 前記ライン画像データ生成手段は、前記撮像素子から前記複数の画素における画素信号を読み出す前記設定された周期として、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインの前記画素信号を読み出して前記ライン画像データを生成する
   請求項１〜請求項４の何れか１項に記載の撮像装置。
6. 前記第１のフィルタは、前記カラーフィルタ内において、前記第１の方向と、前記第２の方向と、前記第１の方向及び前記第２の方向と交差する第３の方向と、の各ライン内に１つ以上配置され、
   複数の前記第２のフィルタの各々は、前記基本配列パターン内において、前記第１の方向及び前記第２の方向の各ライン内に１つ以上配置された
   請求項１〜請求項５の何れか１項に記載の撮像装置。
7. 前記カラーフィルタは、前記第１のフィルタからなる２×２画素に対応する正方配列を含む
   請求項１〜請求項６の何れか１項に記載の撮像装置。
8. 前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）である
   請求項１〜請求項７の何れか１項に記載の撮像装置。
9. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
   前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３ ×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に前記第１の方向及び前記第２の方向に配列されて構成されている
   請求項８記載の撮像装置。
10. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
    前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に前記第１の方向及び前記第２の方向に配列されて構成されている
    請求項８記載の撮像装置。
11. 前記カラーフィルタは、前記基本配列パターンの中心に対して点対称である
    請求項１〜１０の何れか１項に記載の撮像装置。
12. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
    前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色の各々に対応する複数の第２のフィルタとを前記第２の方向に少なくとも一つずつ含む配列ラインであって前記第２の方向に沿った配列が同じである複数の同一配列ラインと、前記同一配列ラインとは前記第２の方向における前記第１のフィルタ及び前記第２のフィルタの配列が異なる少なくとも１つの配列ラインと、を含む基本配列パターンが、繰り返し配置されたカラーフィルタと、
    を備えた撮像装置の制御方法であって、
    前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、前記読み出した画素信号から、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインのライン画像データを各々生成するライン画像データ生成手段と、
    生成した前記同一配列ラインのライン画像データの同色画素同士を画素加算する画素加算手段と、
    画素加算した前記ライン画像データに基づいて画像データを生成する画像データ生成手段と、
    を備えた撮像装置の制御方法。
13. 予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
    前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色の各々に対応する複数の第２のフィルタとを前記第２の方向に少なくとも一つずつ含む配列ラインであって前記第２の方向に沿った配列が同じである複数の同一配列ラインと、前記同一配列ラインとは前記第２の方向における前記第１のフィルタ及び前記第２のフィルタの配列が異なる少なくとも１つの配列ラインと、を含む基本配列パターンが、繰り返し配置されたカラーフィルタと、
    を備えた撮像装置を制御するコンピュータに、
    前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出すステップと、
    前記読み出した画素信号から、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインのライン画像データを各々生成するステップと、
    生成した前記同一配列ラインのライン画像データの同色画素同士を画素加算するステップと、
    画素加算した前記ライン画像データに基づいて画像データを生成するステップと、
    を含む処理を実行させるための制御プログラム。
14. コンピュータに、
    予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色の各々に対応する複数の第２のフィルタとを前記第２の方向に少なくとも一つずつ含む配列ラインであって前記第２の方向に沿った配列が同じである複数の同一配列ラインと、前記同一配列ラインとは前記第２の方向における前記第１のフィルタ及び前記第２のフィルタの配列が異なる少なくとも１つの配列ラインと、を含む基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像素子から、前記複数の画素における画素信号を設定された周期で読み出された画素信号から、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインのライン画像データを各々生成するステップと、
    生成した前記同一配列ラインのライン画像データの同色画素同士を画素加算するステップと、
    画素加算した前記ライン画像データに基づいて画像データを生成するステップと、
    を含む処理を実行させるための制御プログラム。

Images