JP5456206B2 - 撮像装置、撮像装置の制御プログラム、及び撮像装置の制御方法 - Google Patents

Description

本発明は、撮像装置、撮像装置の制御プログラム、及び撮像装置の制御方法に係り、特に、カラーフィルタを備えた撮像装置、撮像装置の制御プログラム、及び撮像装置の制御方法に関する。

撮像素子によって撮像された撮像信号に対しては、撮像素子の特性等に起因する画質劣化を改善、補正する処理が行われるのが通常である（例えば特許文献１及び特許文献２参照）。

例えば、異なる色の複数のフィルタが予め定めたパターンで配置されたカラーフィルタを備えた撮像装置で撮像された撮像信号を補正する場合、撮像素子から得られた各画素の色定義ごとにパラメータ（補正データ）を設定して補正する処理が必要となる。

カラーフィルタは予め定められた基本配列パターンが繰り返し配置されて構成されるため、色定義の種類は、基本配列パターンのサイズで規定される。例えば基本配列パターンが従来のベイヤー配列の場合、２×２画素分の最大４種類の補正値があればよい。

特開２００８−２８８６４９号公報 特開２００９−１７７４１８号公報

しかしながら、例えば輝度の相関方向を判別して適正に補正するために、ベイヤー配列よりも大きい配列のカラーフィルタを用いた場合、必要な補正データが増加するため、補正処理の処理負荷が増大する、という問題があった。

本発明は上記問題点を解決するためになされたものであり、基本配列パターンのサイズが大きいカラーフィルタを用いた場合でも補正処理の負荷を減少させることができる撮像装置、撮像装置の制御プログラム、及び撮像装置の制御方法を提供することを目的とする。

上記課題を解決するため、本発明の撮像装置は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色にそれぞれ対応する第２のフィルタとが配列された基本配列パターンが水平及び垂直方向に繰り返して配置され、且つ、前記第１のフィルタが、前記基本配列パターン内において、水平、垂直、及び斜め方向の各方向に２以上隣接する部分が含まれるように配置されたカラーフィルタと、前記撮像素子から出力された画像データを、予め定めた方向に沿ったライン毎のライン画像データに分割する分割手段と、前記基本配列パターンを前記予め定めた方向に沿ったパターンラインに分割した際のパターンライン上の各フィルタに対応した複数の補正データから成るライン補正データをパターンライン毎に記憶した記憶手段と、前記分割手段により分割されたライン画像データに対応するライン補正データを前記記憶手段から読み出して、読み出したライン補正データにより前記ライン画像データを前記パターンライン毎に補正する補正手段と、を備えたことを特徴とする。

この発明によれば、基本配列パターンの予め定めた方向に沿ったパターンライン毎にライン補正データを用意しておき、画像データをライン画像データに分割してライン画像データ毎に補正をするので、基本配列パターンのサイズが大きいカラーフィルタ、すなわち色定義が多いカラーフィルタを用いた場合でも、基本配列パターン毎に補正する場合と比較して、補正処理の負荷を減少させることができる。なお、予め定めた方向は、例えば水平方向、垂直方向、及び斜め方向の何れかとすることができる。
また、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが、前記基本配列パターン内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されるため、各方向に隣接する第１の色の画素の画素値の差分値に基づいて輝度の相関方向が前記４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。これにより、カラー撮像素子から出力されるモザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、上記のようにして最小画素間隔の画素値により判別した輝度の相関方向に応じて、相関方向に存在する他の色の画素の画素値を使用することにより、他の色の画素の画素値を精度よく推定することができ、高周波部の偽色の発生を抑圧することができる。

なお、撮像モードが動画モードの場合、前記撮像素子から予め定めた間引きパターンで間引いてライン画像データを読み出す間引き手段を備え、前記補正手段は、前記間引き手段により読み出されたライン画像データに対応したライン補正データを前記記憶手段から読み出し、読み出したライン補正データにより前記ライン画像データを補正するようにしてもよい。

この発明によれば、撮影モードが動画モードの場合のように画像データが間引き読み出しされる場合、読み出されたライン画像データに対応したライン補正データのみを読み出せば良く、動画モードにおける補正処理の負荷を軽減することができる。

また、前記カラーフィルタは、前記第１のフィルタ及び前記第２の色のそれぞれに対応する第２のフィルタは、それぞれ前記基本配列パターン内に前記カラーフィルタの水平及び垂直方向の各ライン内に１つ以上配置された構成とすることができる。

また、前記基本配列パターンは、Ｎ×Ｎ（Ｎ：４以上の整数）画素に対応する正方配列パターンである構成とすることができる。

また、前記カラーフィルタは、前記第１のフィルタからなる２×２画素に対応する正方配列を含む構成とすることができる。

この発明によれば、２×２画素に対応する正方配列の４画素の各画素間の画素値の差分値に基づいて輝度の相関方向が前記４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。

また、前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）である構成とすることができる。

また、前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に水平及び垂直方向に配列された構成とすることができる。

この発明によれば、前記第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、前記５×５画素の中心の画素（Ｒ画素又はＢ画素）を挟んで、水平及び垂直方向にそれぞれ隣接するＧ画素が存在することになる。これらのＧ画素（合計８画素）の画素値は、４方向の相関方向の判別に使用することができる。

また、前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列された構成とすることができる。

この発明によれば、前記第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、前記５×５画素の４隅に２ ×２画素のＧ画素が存在することになる。これらの２ ×２画素のＧ画素の画素値は、４方向の相関方向の判別に使用することができる。

また、前記カラーフィルタは、前記第２のフィルタのいずれか１色のフィルタを挟んで水平及び垂直方向にそれぞれ前記第１のフィルタが連続配置されている構成とすることができる。

この発明によれば、これらの連続する第１のフィルタに対応する画素の画素値の差分値に基づいて輝度の相関方向が前記４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。

また、前記カラーフィルタは、前記基本配列パターンの中心に対して点対称である構成とすることができる。

この発明によれば、後段の処理回路の回路規模を小さくすることが可能になる。

本発明の撮像装置の制御プログラムは、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色にそれぞれ対応する第２のフィルタとが配列された基本配列パターンが水平及び垂直方向に繰り返して配置され、且つ、前記第１のフィルタが、前記基本配列パターン内において、水平、垂直、及び斜め方向の各方向に２以上隣接する部分が含まれるように配置されたカラーフィルタと、前記基本配列パターンを予め定めた方向に沿ったパターンラインに分割した際のパターンライン上の各フィルタに対応した複数の補正データから成るライン補正データをパターンライン毎に記憶した記憶手段と、を備えた撮像装置を制御するコンピュータを、前記撮像素子から出力された画像データを、前記予め定めた方向に沿ったライン毎のライン画像データに分割する分割手段、及び、前記分割手段により分割されたライン画像データに対応するライン補正データを前記記憶手段から読み出して、読み出したライン補正データにより前記ライン画像データを前記パターンライン毎に補正する補正手段、として機能させることを特徴とする。

本発明によれば、基本配列パターンのサイズが大きいカラーフィルタを用いた場合でも補正処理の負荷が増大するのを防ぐことができる、という効果を有する。

第１実施形態に係る撮像装置の概略ブロック図である。 第１実施形態に係るカラーフィルタの構成図である。 第１実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第１実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 図４ＡのカラーフィルタによるＧ画素の特徴的な配置を示す図である。 縦方向に相関方向があると判別された場合の同時化処理時の画素補間方法を説明するために用いた図である。 左斜め上方向に相関方向があると判別された場合の同時化処理時の画素補間方法を説明するために用いた図である。 撮像装置で実行される処理を示すフローチャートである。 第１実施形態に係る撮像装置によりライン画像データ毎にライン補正データを用いて補正する場合について説明するための図である。 第２実施形態に係る撮像装置の概略ブロック図である。 第２実施形態に係る撮像装置によりライン画像データ毎にライン補正データを用いて補正する場合について説明するための図である。 第３実施形態に係るカラーフィルタの構成図である。 第３実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。 第３実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 第３実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。 第４実施形態に係るカラーフィルタの構成図である。 第５実施形態に係るカラーフィルタの構成図である。 第６実施形態に係るカラーフィルタの構成図である。 第７実施形態に係るカラーフィルタの構成図である。 第７実施形態に係るカラーフィルタの構成図である。

以下、図面を参照して本発明の実施形態について説明する。

（第１実施形態）

図１には、本実施形態に係る撮像装置１０の概略ブロック図を示した。撮像装置１０は、光学系１２、撮像素子１４、データ制御部１６、画像メモリ１８、分割制御部２０、撮像補正処理部２２、及び補正テーブル記憶部２４を含んで構成されている。

光学系１２は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。

撮像素子１４は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。

図２には、本実施形態に係るカラーフィルタの一部を示した。各画素上には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタのうちのいずれかが配置される。

＜カラーフィルタ配列の特徴＞

第１実施形態のカラーフィルタは、下記の特徴(1)、(2)、(3)、及び(4)を有している。

〔特徴(1)〕

図２に示すカラーフィルタは、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタは、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化（補間）処理（デモザイク処理とも言う。）等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合、間引き処理さした縮小画像のカラーフィルタの配列は、間引き処理前のカラーフィルタの配列と同じにすることができ、共通の処理回路を使用することができる。

〔特徴(2)〕

図２に示すカラーフィルタを構成する基本配列パターンＰは、輝度信号を得るために最も寄与する色 (この実施形態では、Ｇの色 )に対応するＧフィルタと、Ｇの色以外の他の色（この実施形態では、Ｒ，Ｂ）に対応するＲフィルタ、Ｂフィルタとが、基本配列パターン内の水平及び垂直方向の各ライン内に１つ以上配置されている。

Ｒ、Ｇ、Ｂフィルタが、それぞれ基本配列パターンＰ内の水平及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。

〔特徴(3)〕

輝度系画素に対応するＧフィルタは、基本配列パターンＰ内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。

図３は、図２に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列は、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置されている。一方、Ｂ配列は、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。これらのＡ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

図４Ａに示すように、第１実施形態のカラーフィルタは、上記Ａ配列とＢ配列とが、水平及び垂直方向に交互に配置されていると捉えることもできる。

いま、図４Ａに示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の８個のＧ画素は、図４Ｂに示すように十字形状に配置される。これらのＧ画素を左から右の順にＧ１、Ｇ２、Ｇ３、Ｇ４とし、上から下の順にＧ５、Ｇ６、Ｇ７、Ｇ８とすると、画素Ｇ１Ｇ２、画素Ｇ２Ｇ３が水平方向に隣接し、画素Ｇ５Ｇ６、画素Ｇ７Ｇ８が垂直方向に隣接し、画素Ｇ６Ｇ３、画素Ｇ２Ｇ７が左上斜め方向に隣接し、画素Ｇ６Ｇ２、画素Ｇ３Ｇ７が右上斜め方向に隣接している。

従って、これらの隣接する画素の画素値の差分絶対値を求めることにより、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向のうち、輝度の変化が最も小さい方向（相関の高い相関方向）を、最小画素間隔で判別することができる。

即ち、水平方向の差分絶対値の和は｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜、水平方向の差分絶対値の和は｜Ｇ５−Ｇ６｜＋｜Ｇ７−Ｇ８｜、右上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ２｜＋｜Ｇ３−Ｇ７｜、左上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ３｜＋｜Ｇ２Ｇ７｜となる。

これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。尚、判別された相関方向は、同時化（補間）処理等を行う際に利用することができる。

＜相関方向を使用した補間方法＞

次に、上記のようにして方向判別された相関方向を利用した補間方法について説明する。

図５に示すように縦方向に相関方向があると判別され、図５に示す太枠内の３×３画素（Ａ配列）の各画素の画素位置における他の色の画素値を補間して求める場合、相関方向の近傍に存在する同じ色の画素の画素値を使用する。

Ｇの画素値を補間する場合、Ｂ２２，Ｂ２４の画素位置におけるＧの画素値Ｇ２２’，Ｇ２４’は、Ｇ２３の画素値を使用し、Ｂ４２，Ｂ４４の画素位置におけるＧの画素値Ｇ４２’，Ｇ４４’は、Ｇ４３の画素値を使用する。一方、Ｒ３３の画素位置におけるＧの画素値Ｇ３３’は、Ｇ３２とＧ３４の画素値の平均値を使用する。

Ｒ、Ｂの画素値を補間する場合、Ｂ２２の画素位置におけるＲの画素値Ｒ２２’は、Ｒ２１の画素値を使用し、Ｇ２３の画素位置におけるＲ，Ｂの画素値Ｒ２３’，Ｂ２３’は、それぞれＲ２１とＲ２５の画素値の平均値、Ｂ２２とＢ２４の画素値の平均値を使用し、Ｂ２２，Ｂ２４の画素位置におけるＲの画素値Ｒ２２’，Ｒ２４’は、それぞれＲ２１，Ｒ２５の画素値を使用する。

Ｇ３２の画素位置におけるＲ，Ｂの画素値Ｒ３２’，Ｂ３２’は、それぞれＲ３３，Ｂ３０の画素値を使用し、Ｒ３３の画素位置におけるＢの画素値Ｂ３３’は、Ｂ３０とＢ３６の画素値の平均値を使用し、Ｇ３４の画素位置におけるＲ，Ｂの画素値Ｒ３４’，Ｂ３４’は、それぞれＲ３３，Ｂ３６の画素値を使用する。

Ｂ４２の画素位置におけるＲの画素値Ｒ４２’は、Ｒ４１の画素値を使用し、Ｇ４３お画素位置におけるＲ，Ｂの画素値Ｒ４３’，Ｂ４３’は、それぞれＲ４１とＲ４５の画素値の平均値、Ｂ４２とＢ４４の画素値の平均値を使用し、Ｂ４４の画素位置におけるＲの画素値Ｒ４４’は、Ｒ４５の画素値を使用する。

Ｂ配列の場合はＲ、Ｂを入れ替えて同様の処理を行うことでＲＧＢの画素値の補間を行う。

以上の処理を３×３画素毎に繰り返すことでＲＧＢの画素値が補間される。

一方、図６に示すように左斜め上方向に相関方向があると判別され、図６に示す太枠内の３×３画素（Ａ配列）の各画素の画素位置における他の色の画素値を補間して求める場合、相関方向の近傍に補間する色の画素が存在する場合には、その画素値を使用し、相関方向に補間する色の画素が存在しない場合には、近傍に存在する補間済みの画素のＲＧＢの画素値の差又は比（色差又は色比）の関係を利用して補間する。

まず、補間方向に補間する色の画素が存在する画素から補間を行う。図６では、Ｂ２２の画素位置におけるＲの画素値Ｒ２２’は、Ｒ２３の画素値を使用し、Ｇ３２の画素位置におけるＲの画素値Ｒ３２’は、Ｒ２１の画素値を使用し、Ｂ４２の画素位置におけるＧの画素値Ｇ４２’は、Ｇ３１とＧ５３の画素値の平均値を使用する。以降、Ｒ２３’、Ｂ３３’、Ｒ４３’、Ｇ２４’、Ｒ３４’、Ｒ４４’も同じように相関方向に存在する補間する色の画素の画素値を使用する。

次に、相関方向に補間する色の画素が存在しない画素の補間の処理方法を説明する。

図６のＢ２２の画素位置におけるＧの画素値Ｇ２２’を補間して求める場合、Ｇ１３と補間した画素値Ｂ１３’、及びＧ３１と補間した画素値Ｂ３１’の色差を用いて補間を行う。具体的には下式の計算により値を算出する。

［数１］
Ｇ２２’＝Ｂ２２＋（Ｇ１３＋Ｇ３１）／２−（Ｂ１３’＋Ｂ３１’）／２

同様に、Ｇ３２の画素位置におけるＢの画素値Ｂ３２’、Ｂ４２の画素位置におけるＲの画素値Ｒ４２’の補間方法は、下式のようになる。

［数２］
Ｂ３２’＝Ｇ３２＋Ｂ３１’−Ｇ３１
Ｒ４２’＝Ｂ４２＋Ｒ３３−Ｂ３３’

同様の処理を行ってＢ３２’、Ｇ３３’、Ｂ４３’、Ｒ２４’、Ｂ３４’、Ｇ４４’の補間を行う。

以上の処理を３×３画素毎に繰り返すことでＲＧＢの画素値が補間される。

尚、Ａ配列、Ｂ配列におけるＲＧＢのカラーフィルタの対称性により、相関方向が横方向と判別された場合、又は右斜め上方向に相関方向があると判別された場合であっても、上述したように縦方向と判別された場合、又は左斜め上方向と判別された場合と同様にしてＲＧＢの画素値を補間して求めることができる。

また、上記［数１］式、［数２］式では、色差を用いて補間を行っているが、色比を用いて補間を行うようにしてもよい。

〔特徴（４）〕

図２に示すカラーフィルタを構成する基本配列パターンＰは、その基本配列パターンＰの中心に対して点対称になっている。

図３に示したように、基本配列パターン内のＡ配列及びＢ配列は、それぞれ中心のＲフィルタ、又はＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。

尚、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図２に示すカラーフィルタを構成することができる基本配列パターンは複数存在するが、第１実施形態では、基本配列パターンが点対称になっている基本配列パターンＰを、便宜上、基本配列パターンという。

尚、後述する他の実施形態のカラーフィルタにおいても、各カラーフィルタに対して複数の基本配列パターンが存在するが、その代表的なものをそのカラーフィルタの基本配列パターンという。

データ制御部１６は、撮像素子１４から出力された画像データを画像メモリ１８に一時記憶させると共に、分割制御部２０からの指示に従って、画像メモリ１８に記憶された画像データを、水平方向に沿ったライン毎の分割したライン画像データに分割し、分割したライン画像データを撮像補正処理部２２に順次出力する。

補正テーブル記憶部２４は、基本配列パターンＰを水平方向に沿ったパターンラインに分割した際のパターンライン上の各フィルタに対応した複数の補正データから成るパターンライン補正データをパターンライン毎に予め記憶している。

図３に示すように、本実施形態に係るカラーフィルタの基本配列パターンＰは、６×６画素に対応しているので、補正テーブル記憶部２４は、第１パターンライン〜第６パターンラインの各々に対応した第１ライン補正データ〜第６ライン補正データから成る補正テーブルを記憶している。カラーフィルタは基本配列パターンＰが繰り返し配置された構成であるので、補正テーブル記憶部２４は、この６×６画素分の補正テーブルを記憶するだけでよい。なお、補正テーブルは、カラーフィルタの配列に起因する画質の劣化を補正するための補正データである。

撮像補正処理部２２は、分割制御部２０からの指示に従って、補正テーブル記憶部２４からライン毎のライン補正データを読み出して、データ制御部１６から出力されたライン画像データを基本配列パターンのパターンライン毎に補正する。すなわち、撮像補正処理部２２は、ライン画像データが（ｎ＋１）ライン（ｎ＝０，１，２，・・・）のライン画像データの場合は、補正テーブル記憶部２４から第１ライン補正データを読み出して補正する。同様に、ライン画像データが（ｎ＋２）ラインのライン画像データの場合は、第２ライン補正データを読み出して補正し、ライン画像データが（ｎ＋３）ラインのライン画像データの場合は、第３ライン補正データを読み出して補正し、ライン画像データが（ｎ＋４）ラインのライン画像データの場合は、第４ライン補正データを読み出して補正し、ライン画像データが（ｎ＋５）ラインのライン画像データの場合は、第５ライン補正データを読み出して補正し、ライン画像データが（ｎ＋６）ラインのライン画像データの場合は、第６ライン補正データを読み出して補正する。

次に、本実施形態の作用として、撮像装置１０で実行される処理について、図７に示すフローチャートを参照して説明する。

まず、ステップ１００では、データ制御部１６が、撮像素子１４から画像データを読み出して画像メモリ１８に順次記憶する。

ステップ１０２では、データ制御部１６が、分割制御部２０からの指示に従って、画像メモリ１８に記憶された画像データを、水平方向に沿ったライン毎のライン画像データに分割し、分割したライン画像データを撮像補正処理部２２に順次出力する。

ステップ１０４では、撮像補正処理部２２が、分割制御部２０からの指示に従って、補正テーブル記憶部２４からライン毎のライン補正データを読み出す。

ステップ１０６では、撮像補正処理部２２が、補正テーブル記憶部２４から読み出したライン補正データに基づいて、データ制御部１６から出力されたライン画像データを基本配列パターンのパターンライン毎に補正する。すなわち、図８に示すように、第１ライン補正データ〜第６ライン補正データの各々に基づいて、（ｎ＋１）〜（ｎ＋６）ライン目のライン画像データが順次補正される。このような処理が、画像データの全てのライン画像データに対して実行されるまで繰り返される。

補正されたライン画像データは、後段の例えば図示しない同時化回路等へ出力される。同時化回路では、前述したように、判別された相関方向に基づいて同時化（補間）処理が実行される。

このように、基本配列パターンの水平方向に沿ったパターンライン毎にライン補正データを用意しておき、画像データをライン画像データに分割してライン画像データ毎に補正をするので、基本配列パターンのサイズが大きいカラーフィルタ、すなわち色定義が多いカラーフィルタを用いた場合でも、基本配列パターン毎に補正する場合と比較して、補正処理の負荷を減少させることができる。なお、本実施形態では、基本配列パターンの水平方向に沿ったパターンライン毎にライン補正データを用意しておき、画像データを水平方向に沿ってライン画像データに分割してライン画像データ毎に補正をする場合について説明したが、これに限らず、例えば、基本配列パターンの垂直方向に沿ったパターンライン毎にライン補正データを用意しておき、画像データを垂直方向に沿ってライン画像データに分割してライン画像データ毎に補正をするようにしてもよい。

また、撮像装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＯＭ等を含むコンピュータを含んだ構成とすることができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ＲＯＭに記憶しておき、これをＣＰＵが読み込んで実行することができる。

（第２実施形態）

次に、本発明の第２実施形態について説明する。本実施形態では、動画モードで撮像した画像を動画処理する場合について説明する。なお、第１実施形態と同一部分には同一符号を伏し、その詳細な説明は省略する。

図９には、本実施形態に係る撮像装置３０を示した。同図に示すように、撮像装置３０は、動画制御部２６及び駆動部２８を備えた点が図１に示した撮像装置１０と異なる。その他の構成は撮像装置１０と同一なので、詳細な説明は省略する。

動画制御部２６は、撮影モードが動画モードの場合に、撮像した画像を間引いて読み出すように駆動部２８に指示すると共に、間引き読み出しされたライン画像データに対応したライン補正データに基づいて補正するよう分割制御部２０に指示する。

駆動部２８では、動画制御部２６で指示された間引き方法により画像データが出力されるように撮像素子１４を制御する。

なお、撮影モードとしては、静止画を撮影する静止画モードや、撮像した画像を間引いて比較的高解像度のＨＤ（高精細）動画データを生成して図示しないメモリーカード等の記録媒体に記録するＨＤ動画モード、撮影した画像を間引いて比較的低解像度のスルー動画を図示しない表示部に出力するスルー動画モード（ライブビューモード）等の動画モードがある。

次に、本実施形態の作用として、撮像装置３０で実行される処理について説明する。

撮影モードが動画モードの場合に撮像装置３０で実行される処理は、図７に示す処理と略同様であるが、ステップ１００では、撮影モードに応じた間引き方法で画像データが読み出される。すなわち、動画制御部２６が駆動部２８に対して撮影モードに応じた間引き方法で画像データが出力されるように撮像素子１４に指示する。これにより、データ制御部１６は、撮影モードに応じて間引かれたライン画像データを読み出して画像メモリ１８に順次記憶する。

ステップ１０２では、データ制御部１６が、分割制御部２０からの指示に従って、画像メモリ１８に記憶された画像データを、水平方向に沿ったライン毎のライン画像データに分割し、分割したライン画像データを撮像補正処理部２２に順次出力する。

ステップ１０４では、撮像補正処理部２２が、分割制御部２０からの指示に従って、補正テーブル記憶部２４から間引き読み出しされたライン補正データを読み出す。

例えば図１０に示すように、間引き読み出しされるラインが（ｎ＋１）ライン、（ｎ＋４）ラインの場合は、これらに対応する第１ライン補正データ及び第４ライン補正データを補正テーブル記憶部２４から読み出す。

ステップ１０６では、撮像補正処理部２２が、補正テーブル記憶部２４から読み出したライン補正データに基づいて、データ制御部１６から出力されたライン画像データを補正する。すなわち、図１０に示すように、第１ライン補正データ及び第４ライン補正データの各々に基づいて、（ｎ＋１）ライン目及び（ｎ＋４）ライン目のライン画像データが順次補正される。このような処理が、間引き読み出しされたライン画像データの全てに対して実行されるまで繰り返される。

このように、本実施形態では、撮影モードが動画モードの場合のように画像データが間引き読み出しされる場合、読み出されたライン画像データに対応したライン補正データのみを読み出せば良く、動画モードにおける補正処理の負荷を軽減することができる。

（第３実施形態）

次に、本発明の第３実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。

図１１には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、このカラーフィルタ配列を構成する基本配列パターンＰは、第１実施形態と同様に、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平及び垂直方向の各ライン内に１つ以上配置されている。

また、輝度系画素に対応するＧフィルタは、カラーフィルタ配列Ｐ内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。

図１２は、図１１に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図１２に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、Ａ配列とＢ配列の４隅のＧフィルタは、図１３に示すようにＡ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

即ち、図１１に示すカラーフィルタ配列（基本配列パターンＰ）は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。

いま、図１３に示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の４隅の２×２画素のＧ画素は、図１４に示す配置になっている。

図１４に示すように、２×２画素のＧ画素の画素値を、左上から右下の順にＧ１、Ｇ２、Ｇ３、Ｇ４とした場合、これらのＧ画素の画素値の垂直方向の差分絶対値は（｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜）／２、水平方向の差分絶対値は（｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜）／２、右上斜め方向の差分絶対値は｜Ｇ２−Ｇ３｜、左上斜め方向の差分絶対値は｜Ｇ１−Ｇ４｜となる。

これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。

いま、図１３又は図１４に示すように中央に３×３画素のＡ配列が位置するように、モザイク画像から５×５画素の局所領域を抽出した場合、４隅に２×２画素のＧ画素が配置されることになる。したがって、上記局所領域内のＡ配列の３×３画素を同時化処理の対象画素とした場合、４隅の各方向別の相関絶対値の総和（又は平均値）を求め、各方向別の相関絶対値の総和（又は平均値）のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。

また、図１１に示すカラーフィルタ配列を構成する基本配列パターンＰは、その基本配列パターンの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図１２に示すように、基本配列パターン内のＡ配列及びＢ配列も、それぞれ中心のＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

このように第３実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(2)、(3)、及び(4)と同じ特徴を有している。

更に、第３実施形態に係るカラーフィルタは、Ｇフィルタが、カラーフィルタ配列の斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されており、高周波領域での同時化処理の再現精度をより向上させることができるという、第１実施形態に係るカラーフィルタにない特徴を有している。

（第４実施形態）

次に、本発明の第４実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。

図１５には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、４×４画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、図１５に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平及び垂直方向の各ライン内に１つ以上配置されている。

更に、輝度系画素に対応するＧフィルタは、基本配列パターン内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。これらの隣接するＧフィルタに対応するＧ画素の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。

また、カラーフィルタ配列を構成する基本配列パターンは、その基本配列パターンの中心に対して点対称になっている。

この第４実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。

（第５実施形態）

次に、本発明の第５実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。

図１６には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、５×５画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、図１６に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平及び垂直方向の各ライン内に１つ以上配置されている。

更に、輝度系画素に対応するＧフィルタは、基本配列パターン内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。これらの隣接するＧフィルタに対応するＧ画素の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。

この第５実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(2)及び(3)と同じ特徴を有している。

（第６実施形態）

次に、本発明の第６実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。

図１７には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、７×７画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラー フィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、図１７に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。

更に、輝度系画素に対応するＧフィルタは、基本配列パターン内において、水平、垂直、及び斜め方向（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。即ち、基本配列パターン内で上下左右に隣接する２×２画素を含むＧ画素のかたまりが４組存在する。これらの隣接するＧフィルタに対応するＧ画素の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。

また、カラーフィルタ配列を構成する基本配列パターンは、その基本配列パターンの中心に対して点対称になっている。

この第６実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。

（第７実施形態）

次に、本発明の第７実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。

図１８には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、８×８画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ） が所定の周期性をもって配列されている。

また、図１８に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。

更に、輝度系画素に対応するＧフィルタは、基本配列パターン内において、水平、垂直、及び斜め方向（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。即ち、基本配列パターン内で上下左右に隣接する２×２画素を含むＧ画素のかたまりが４組存在する。これらの隣接するＧフィルタに対応するＧ画素の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。

また、カラーフィルタ配列を構成する基本配列パターンは、その基本配列パターンの中心に対して点対称になっている。

この第７実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。

なお、上記実施形態では、ＲＧＢの３原色のカラーフィルタを有するカラー撮像素子について説明したが、本発明は、これに限らず、ＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタ、例えば図１９に示すようなカラーフィルタにも適用できる。

以上第３実施形態から第７実施形態の変形例で示される基本配列パターンがＮ×Ｎ（Ｎは４以上の自然数）の正方配列カラーフィルタ配列の撮像素子を有する撮像装置において、第１実施形態のように基本配列パターンの水平方向に沿ったパターンライン毎にライン補正データを用意しておき、画像データをライン画像データに分割してライン画像データ毎に補正をすることで、基本配列パターンのサイズが大きい（Ｎが４以上）カラーフィルタ、すなわち色定義が多いカラーフィルタを用いた場合でも、基本配列パターン毎に補正する場合と比較して、補正処理の負荷を減少させることができる。なお、これに限らず、例えば、基本配列パターンの垂直方向に沿ったパターンライン毎にライン補正データを用意しておき、画像データを垂直方向に沿ってライン画像データに分割してライン画像データ毎に補正をするようにしてもよい。

同様に第２実施形態のように、撮影モードが動画モードの場合のように画像データが間引き読み出しされる場合は、読み出されたライン画像データに対応したライン補正データのみを読み出すようにすることで、動画モードにおける補正処理の負荷を軽減することができる。

また本発明は、基本配列パターンはＮ×Ｎ（Ｎは４以上の自然数）の正方配列となるカラーフィルタ配列に限られず、基本配列パターンがＮ×Ｍ（Ｎ，Ｍはそれぞれ３以上の自然数）の配列のものであっても適用できる。ただし、同時化処理、動画撮影時の間引き処理等の画像処理の容易さを考えると、Ｎ及びＭは１０以下であることが望ましい。

また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタを有するカラー撮像素子にも適用できる。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０ 撮像装置
１２ 光学系
１４ 撮像素子
１６ データ制御部
１８ 画像メモリ
２０ 分割制御部
２２ 撮像補正処理部
２４ 補正テーブル記憶部
２４ 補正テーブル記憶部
２６ 動画制御部
２８ 駆動部
３０ 撮像装置

Claims (12)

1. 水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
   前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色にそれぞれ対応する第２のフィルタとが配列された基本配列パターンが水平及び垂直方向に繰り返して配置され、且つ、前記第１のフィルタが、前記基本配列パターン内において、水平、垂直、及び斜め方向の各方向に２以上隣接する部分が含まれるように配置されたカラーフィルタと、
   前記撮像素子から出力された画像データを、予め定めた方向に沿ったライン毎のライン画像データに分割する分割手段と、
   前記基本配列パターンを前記予め定めた方向に沿ったパターンラインに分割した際のパターンライン上の各フィルタに対応した複数の補正データから成るライン補正データをパターンライン毎に記憶した記憶手段と、
   前記分割手段により分割されたライン画像データに対応するライン補正データを前記記憶手段から読み出して、読み出したライン補正データにより前記ライン画像データを前記パターンライン毎に補正する補正手段と、
   を備えた撮像装置。
2. 撮像モードが動画モードの場合、前記撮像素子から予め定めた間引きパターンで間引いてライン画像データを読み出す間引き手段を備え、前記補正手段は、前記間引き手段により読み出されたライン画像データに対応したライン補正データを前記記憶手段から読み出し、読み出したライン補正データにより前記ライン画像データを補正する
   請求項１記載の撮像装置。
3. 前記第１のフィルタ及び前記第２の色のそれぞれに対応する第２のフィルタは、それぞれ前記基本配列パターン内に前記カラーフィルタの水平及び垂直方向の各ライン内に１つ以上配置された
   請求項１又は請求項２記載の撮像装置。
4. 前記基本配列パターンは、Ｎ×Ｎ（Ｎ：４以上の整数）画素に対応する正方配列パターンである
   請求項１〜３の何れか１項に記載の撮像装置。
5. 前記カラーフィルタは、前記第１のフィルタからなる２×２画素に対応する正方配列を含む
   請求項１〜４の何れか１項に記載の撮像装置。
6. 前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）である
   請求項１〜５の何れか１項に記載の撮像装置。
7. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
   前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に水平及び垂直方向に配列されて構成されている
   請求項６記載の撮像装置。
8. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
   前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている
   請求項６記載の撮像装置。
9. 前記カラーフィルタは、前記第２のフィルタのいずれか１色のフィルタを挟んで水平及び垂直方向にそれぞれ前記第１のフィルタが連続配置されている
   請求項１〜８の何れか１項に記載の撮像装置。
10. 前記カラーフィルタは、前記基本配列パターンの中心に対して点対称である
    請求項１〜９の何れか１項に記載の撮像装置。
11. 水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
    前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色にそれぞれ対応する第２のフィルタとが配列された基本配列パターンが水平及び垂直方向に繰り返して配置され、且つ、前記第１のフィルタが、前記基本配列パターン内において、水平、垂直、及び斜め方向の各方向に２以上隣接する部分が含まれるように配置されたカラーフィルタと、
    前記基本配列パターンを予め定めた方向に沿ったパターンラインに分割した際のパターンライン上の各フィルタに対応した複数の補正データから成るライン補正データをパターンライン毎に記憶した記憶手段と、
    を備えた撮像装置を制御するコンピュータを、
    前記撮像素子から出力された画像データを、前記予め定めた方向に沿ったライン毎のライン画像データに分割する分割手段、及び、
    前記分割手段により分割されたライン画像データに対応するライン補正データを前記記憶手段から読み出して、読み出したライン補正データにより前記ライン画像データを前記パターンライン毎に補正する補正手段、
    として機能させるための撮像装置の制御プログラム。
12. 水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
    前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色にそれぞれ対応する第２のフィルタとが配列された基本配列パターンが水平及び垂直方向に繰り返して配置され、且つ、前記第１のフィルタが、前記基本配列パターン内において、水平、垂直、及び斜め方向の各方向に２以上隣接する部分が含まれるように配置されたカラーフィルタと、
    前記基本配列パターンを予め定めた方向に沿ったパターンラインに分割した際のパターンライン上の各フィルタに対応した複数の補正データから成るライン補正データをパターンライン毎に記憶した記憶手段と、
    を備えた撮像装置の制御方法であって、
    前記撮像素子から出力された画像データを、前記予め定めた方向に沿ったライン毎のライン画像データに分割し、
    前記分割手段により分割されたライン画像データに対応するライン補正データを前記記憶手段から読み出して、読み出したライン補正データにより前記ライン画像データを前記パターンライン毎に補正する
    撮像装置の制御方法。

Images