JP5749409B2 - 撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は撮像装置、画像処理方法及びプログラムに係り、特に異常斜め入射光による混色の影響を補正する技術に関する。

従来より、デジタルカメラにおいて、入射光がレンズやカメラ本体において反射することにより、斜め方向から入射する光（異常斜め入射光）が発生し、本来は存在しない像であるゴーストやフレアが発生することが知られている。又、ゴーストの発生に伴い、異常斜め入射光により混色の影響があることも知られている。

特許文献１では、カラーフィルタ配列がベイヤ配列であるカラー撮像素子において、撮像素子の各画素の出力値のうち予め記憶されている基準パターンに対応する領域内で、隣接するライン間の同色画素（ＧＲ、ＧＢ）（本願説明においてはＧｒ、Ｇｂに相当すると考えられる）の出力値のレベル差から、ゴーストによる色ノイズを検出し、補正により色ノイズを抑制する技術が開示されている。

又、特許文献２では、ゴースト像成分の情報に基づいて生成されたゴースト像成分のシミュレーション画像を原画像から減算することによりゴーストを除去する技術が開示されている。

一方、特許文献３では、混色補正を行う場合に、補正の対象である注目画素の出力値と注目画素に隣接する複数の周囲画素の各出力値との差分と、隣接方向ごとに独立した補正パラメータとを用いて注目画素の信号に対して混色補正を行う技術が開示されている。

特開２００５−３３３２５１号公報 特開２００８−２８９０３４号公報 特開２００７−１４２６９７号公報

しかしながら、特許文献１に開示されている技術では、ゴーストの異常斜め入射光の入射方向の判別をすることができず、入射方向に応じた適切な補正ができないとう問題がある。

又、特許文献２に開示されている技術では、ゴーストを検出する為にシミュレーションを行わなくてはならないという問題がある。

又、特許文献３に開示されている技術では、異常斜め入射光の有無及び入射方向の判別をすることができないという問題がある。

そこで本発明は、異常斜め入射光の入射方向を検出し、異常斜め入射光による混色の影響を軽減する撮像装置及び画像処理方法の提供を目的とする。

上記目的を達成する為に、本発明の一の態様に係る撮像装置は、第１の方向及び当該第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子であって、複数の画素の各々がカラーフィルタと、当該カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有する撮像素子と、画素データに基づいて、撮像素子への異常斜め入射光の入射を検出する異常斜め入射光検出手段と、異常斜め入射光検出手段の検出結果に基づいて、異常斜め入射光が入射されるフォトダイオードを有する画素の画素データを補正する補正手段と、を備える撮像装置であって、複数の画素は、第１の色のカラーフィルタを有する画素と第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第１の第１方向同色隣接画素と、第１の色のカラーフィルタを有する画素と第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第２の第１方向同色隣接画素と、第１の色と異色のカラーフィルタを有する画素と第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第１の第１方向異色隣接画素と、第１の色と異色のカラーフィルタを有する画素と第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第２の第１方向異色隣接画素とを含み、異常斜め入射光検出手段は、第１の第１方向同色隣接画素、第２の第１方向同色隣接画素、第１の第１方向異色隣接画素及び第２の第１方向異色隣接画素の画素データに基づいて、撮像素子へ第１の方向に入射する異常斜め入射光を検出する。

これにより、異常斜め入射光の入射を、画素データに基づいて検出することができ、且つ異常斜め入射光の入射方向を判別することができる。

撮像装置において、好ましくは、複数の画素は、第１の色のカラーフィルタを有する画素と第２の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第１の第２方向同色隣接画素と、第１の色のカラーフィルタを有する画素と第２の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第２の第２方向同色隣接画素と、第１の色と異色のカラーフィルタを有する画素と第２の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第１の第２方向異色隣接画素と、第１の色と異色のカラーフィルタを有する画素と第２の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第２の第２方向異色隣接画素とを含み、異常斜め入射光検出手段は、第１の第２方向同色隣接画素、第２の第２方向同色隣接画素、第１の第２方向異色隣接画素及び第２の第２方向異色隣接画素の画素データに基づいて、撮像素子へ第２の方向に入射する異常斜め入射光を検出する。

これにより、第２の方向に関しても、異常斜め入射光の入射を検出することができ、更に入射方向を検出することができる。

撮像装置において、好ましくは、異常斜め入射光検出手段は、第１の第１方向同色隣接画素の画素データ及び第２の第１方向同色隣接画素の画素データが同じであり、且つ、第１の第１方向異色隣接画素及び第２の第１方向異色隣接画素の画素データが、第１の第１方向同色隣接画素及び第２の第１方向同色隣接画素の画素データと異なる場合に、撮像素子へ第１の方向に入射する異常斜め入射光を検出し、異常斜め入射光検出手段は、第１の第２方向同色隣接画素の画素データ及び第２の第２方向同色隣接画素の画素データが同じであり、且つ、第１の第２方向異色隣接画素及び第２の第２方向異色隣接画素の画素データが、第１の第２方向同色隣接画素及び第２の第２方向同色隣接画素の画素データと異なる場合に、撮像素子へ第２の方向に入射する異常斜め入射光を検出する。

撮像装置において、好ましくは、Ｎが３以上の整数であり、Ｍが３以上の整数である場合、複数の画素は、第１の方向及び第２の方向に関してＮ画素×Ｍ画素の配列を有する基本配列画素群であって、第１の方向及び第２の方向に並置される複数の基本配列画素群を含み、基本配列画素群の各々は、第１の第１方向同色隣接画素、第２の第１方向同色隣接画素、第１の第１方向異色隣接画素、第２の第１方向異色隣接画素、第１の第２方向同色隣接画素、第２の第２方向同色隣接画素、第１の第２方向異色隣接画素、及び第２の第２方向異色隣接画素を含む。

これにより、撮像素子全面において、異常斜め入射光の入射を検出することが可能である。

撮像装置において、好ましくは、複数の画素は、同色のカラーフィルタを有する画素と第１の方向の正方向に隣接し且つ異色のカラーフィルタを有する画素と第１の方向の負方向に隣接する第１の色のカラーフィルタを有する第１の第１色画素及び第２の第１色画素と、同色のカラーフィルタを有する画素と第１の方向の負方向に隣接し且つ異色のカラーフィルタを有する画素と第１の方向の正方向に隣接する第１の色のカラーフィルタを有する第３の第１色画素及び第４の第１色画素と、同色のカラーフィルタを有する画素と第２の方向の正方向に隣接し且つ異色のカラーフィルタを有する画素と第２の方向の負方向に隣接する第１の色のカラーフィルタを有する第５の第１色画素及び第６の第１色画素と、同色のカラーフィルタを有する画素と第２の方向の負方向に隣接し且つ異色のカラーフィルタを有する画素と第２の方向の正方向に隣接する第１の色のカラーフィルタを有する第７の第１色画素及び第８の第１色画素と、を含み、第１の第１方向同色隣接画素、第２の第１方向同色隣接画素、第１の第１方向異色隣接画素及び第２の第１方向異色隣接画素の各々は、第１の第１色画素、第２の第１色画素、第３の第１色画素及び第４の第１色画素のいずれかによって構成され、第１の第２方向同色隣接画素、第２の第２方向同色隣接画素、第１の第２方向異色隣接画素及び第２の第２方向異色隣接画素の各々は、第５の第１色画素、第６の第１色画素、第７の第１色画素及び第８の第１色画素のいずれかによって構成され、異常斜め入射光検出手段は、第１の第１色画素、第２の第１色画素、第３の第１色画素及び第４の第１色画素の画素データに基づいて、撮像素子へ第１の方向に入射する異常斜め入射光が、第１の方向の正方向及び負方向のいずれの方向に入射するかを判定し、異常斜め入射光検出手段は、第５の第１色画素、第６の第１色画素、第７の第１色画素及び第８の第１色画素の画素データに基づいて、撮像素子へ第２の方向に入射する異常斜め入射光が、第２の方向の正方向及び負方向のいずれの方向に入射するかを判定する。

これにより、第１の方向の正方向及び負方向、及び／又は、第２の方向の正方向及び負方向に関して異常斜め入射光の入射を検出することができ、更に、第１の方向の正方向及び負方向、及び／又は、第２の方向の正方向及び負方向に関しての、異常斜め入射光の入射方向を検出することができる。

撮像装置において、好ましくは、補正手段は、異常斜め入射光検出手段により撮像素子へ第１の方向に入射する異常斜め入射光が検出された場合、第１の第１色画素、第２の第１色画素、第３の第１色画素及び第４の第１色画素のうち、同じ画素データを出力する画素の画素データを使って、異常斜め入射光が入射されるフォトダイオードを有する画素の画素データを補正し、補正手段は、異常斜め入射光検出手段により撮像素子へ第２の方向に入射する異常斜め入射光が検出された場合、第５の第１色画素、第６の第１色画素、第７の第１色画素及び第８の第１色画素のうち、同じ画素データを出力する画素の画素データを使って、異常斜め入射光が入射されるフォトダイオードを有する画素の画素データを補正する。

これにより、異常斜め入射光による混色の影響が発生する同一色のフィルタを有する画素の画素データ間のバラツキを、無くすことができる。

撮像装置において、好ましくは、第１の第１方向異色隣接画素に対して第１の方向に隣接配置される第１の色と異色のカラーフィルタを有する画素と、第２の第１方向異色隣接画素に対して第１の方向に隣接配置される第１の色と異色のカラーフィルタを有する画素とは、異なる色のカラーフィルタを有し、第１の第２方向異色隣接画素に対して第２の方向に隣接配置される第１の色と異色のカラーフィルタを有する画素と、第２の第２方向異色隣接画素に対して第２の方向に隣接配置される第１の色と異色のカラーフィルタを有する画素とは、異なる色のカラーフィルタを有する。

これにより、第１の方向から異常斜め入射光の入射があった場合、第１の第１方向異色隣接画素及び第２の第１方向異色隣接画素の各々の、混色の影響が異なるので、異常斜め入射光の入射方向の判別を簡易に行うことができる。

撮像装置において、好ましくは、複数の画素は、第１の方向及び第２の方向に関して２画素×２画素配列された第１の色のカラーフィルタを有する画素によって構成される第１色画素群を含み、第１色画素群を構成する画素は、第１の第１方向同色隣接画素、第２の第１方向同色隣接画素、第１の第１方向異色隣接画素及び第２の第１方向異色隣接画素を構成し、且つ、第１の第２方向同色隣接画素、第２の第２方向同色隣接画素、第１の第２方向異色隣接画素及び第２の第２方向異色隣接画素を構成する。

撮像装置において、好ましくは、複数の画素は、第１の方向及び第２の方向に関して６画素×６画素配列される画素によって構成される複数の基本配列画素群であって、第１の方向及び第２の方向に並置される複数の基本配列画素群を含み、基本配列画素群の各々は、第１の方向及び第２の方向に関して３画素×３画素配列される画素によって構成される二つの第１サブ配列及び二つの第２サブ配列を含み、第１サブ配列は、中央に配置される第１の色のカラーフィルタを有する１画素と、四隅に配置される第１の色のカラーフィルタを有する４画素と、中央に配置される第１の色のカラーフィルタを有する１画素を挟むように第１の方向に配置される第２の色のカラーフィルタを有する２画素と、中央に配置される第１の色のカラーフィルタを有する１画素を挟むように第２の方向に配置される第３の色のカラーフィルタを有する２画素とを有し、第２サブ配列は、中央に配置される第１の色のカラーフィルタを有する１画素と、四隅に配置される第１の色のカラーフィルタを有する４画素と、中央に配置される第１の色のカラーフィルタを有する１画素を挟むように第１の方向に配置される第３の色のカラーフィルタを有する２画素と、中央に配置される第１の色のカラーフィルタを有する１画素を挟むように第２の方向に配置される第２の色のカラーフィルタを有する２画素とを有し、第１サブ配列は、第１の方向及び第２の方向に第２サブ配列と隣接配置され、第１色画素群は、二つの第１サブ配列及び二つの第２サブ配列によって構成される。

撮像装置において、好ましくは、複数の画素は、第１の方向及び第２の方向に関して４画素×４画素配列される画素によって構成される複数の基本配列画素群であって、第１の方向及び第２の方向に並置される複数の基本配列画素群を含み、基本配列画素群の各々は、第１の方向及び第２の方向に関して２画素×２画素配列される画素によって構成される二つの第１サブ配列及び二つの第２サブ配列を含み、第１サブ配列は第１の色のカラーフィルタを有する４画素によって構成され、第２サブ配列は第２の色のカラーフィルタを有する２画素及び第３の色のカラーフィルタを有する２画素によって構成され、第１サブ配列は、第１の方向及び第２の方向に第２サブ配列と隣接配置され、第１色画素群は、第１サブ配列によって構成される。

撮像装置において、好ましくは、複数の画素は、第１の方向及び第２の方向に関して６画素×６画素配列される画素によって構成される複数の基本配列画素群であって、第１の方向及び第２の方向に並置される複数の基本配列画素群を含み、基本配列画素群の各々は、第１の方向及び第２の方向に関して３画素×３画素配列される画素によって構成される二つの第１サブ配列及び二つの第２サブ配列を含み、第１サブ配列は、中央に配置される第２の色のカラーフィルタを有する１画素と、四隅に配置される第３の色のカラーフィルタを有する４画素と、四隅の画素の各々間に配置される第１の色のカラーフィルタを有する４画素とを有し、第２サブ配列は、中央に配置される第３の色のカラーフィルタを有する１画素と、四隅に配置される第２の色のカラーフィルタを有する４画素と、四隅の画素の各々間に配置される第１の色のカラーフィルタを有する４画素とを有し、第１サブ配列は、第１の方向及び第２の方向に第２サブ配列と隣接配置され、第１の方向に隣接する第１サブ配列及び第２サブ配列の第１の色のカラーフィルタを有する画素のうち第１の方向に相互に隣接する第１の色のカラーフィルタを有する画素によって、第１の第１方向同色隣接画素、第２の第１方向同色隣接画素、第１の第１方向異色隣接画素及び第２の第１方向異色隣接画素が構成され、第２の方向に隣接する第１サブ配列及び第２サブ配列の第１の色のカラーフィルタを有する画素のうち第２の方向に相互に隣接する第１の色のカラーフィルタを有する画素によって、第１の第２方向同色隣接画素、第２の第２方向同色隣接画素、第１の第２方向異色隣接画素及び第２の第２方向異色隣接画素が構成される。

撮像装置において、好ましくは、複数の画素は、第１の方向及び第２の方向に関して３画素×３画素配列される画素ブロックであって、四隅に配置される第２の色のカラーフィルタを有する２画素及び第３の色のカラーフィルタを有する２画素と、第１の方向及び第２の方向に関して十字状に配置される第１の色のカラーフィルタを有する５画素によって構成される画素ブロックを含み、異常斜め入射光検出手段は、画素ブロックに含まれる第１の色のカラーフィルタを有する５画素の画素データに基づいて、第１の方向又は第２の方向に撮像素子へ入射する異常斜め入射光を検出する。

撮像装置において、好ましくは、補正手段は、異常斜め入射光検出手段により撮像素子へ第１の方向に入射する異常斜め入射光が検出された場合、第１の色のカラーフィルタを有する画素と第１の方向に隣接配置される第１の色のカラーフィルタを有する画素の画素データを使って、異常斜め入射光が入射されるフォトダイオードを有する画素の画素データを補正し、補正手段は、異常斜め入射光検出手段により撮像素子へ第２の方向に入射する異常斜め入射光が検出された場合、第１の色のカラーフィルタを有する画素と第２の方向に隣接配置される第１の色のカラーフィルタを有する画素の画素データを使って、異常斜め入射光が入射されるフォトダイオードを有する画素の画素データを補正する。

撮像装置において、好ましくは、複数の画素は、第１の方向及び第２の方向に関して４画素×４画素配列される画素によって構成される複数の基本配列画素群であって、第１の方向及び第２の方向に並置される複数の基本配列画素群を含み、基本配列画素群の各々は、第１の方向及び第２の方向に関して２画素×２画素配列される画素によって構成される二つの第１サブ配列及び二つの第２サブ配列を含み、第１サブ配列は第１の色のカラーフィルタを有する３画素及び第２の色のカラーフィルタを有する１画素によって構成され、第２サブ配列は第１の色のカラーフィルタを有する３画素及び第３の色のカラーフィルタを有する１画素によって構成され、第１サブ配列における第２の色のカラーフィルタを有する画素の位置と第２サブ配列における第３の色のカラーフィルタを有する画素の位置とは対応し、第１サブ配列は、第１の方向及び第２の方向に第２サブ配列と隣接配置され、画素ブロックは、基本配列画素群の各々における第２の色のカラーフィルタを有する２画素、第３の色のカラーフィルタを有する２画素及び第１の色のカラーフィルタを有する５画素によって構成される。

撮像装置において、好ましくは、複数の画素は、少なくとも１以上の色のカラーフィルタによって構成される第１色の画素と、第１色以外の少なくとも２以上の色のカラーフィルタによって構成される第２色の画素とを含み、第１色の画素は、輝度信号を得るための寄与率が第２色の画素のカラーフィルタよりも高い色のカラーフィルタを有し、第１の色のカラーフィルタを有する画素は、第１色の画素によって構成される。

撮像装置において、好ましくは、第１色の画素は、緑色、透明、又は白色のカラーフィルタを有する。

上記目的を達成する為に、本発明の一の態様に係る画像処理方法は、カラーフィルタと当該カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有し、第１の方向及び当該第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子への異常斜め光の入射を画素データに基づいて検出する異常斜め入射光検出ステップと、異常斜め入射光検出ステップの検出結果に基づいて、異常斜め入射光が入射されるフォトダイオードを有する画素の画素データを補正する補正ステップと、を備える画像処理方法であって、複数の画素は、第１の色のカラーフィルタを有する画素と第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第１の第１方向同色隣接画素と、第１の色のカラーフィルタを有する画素と第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第２の第１方向同色隣接画素と、第１の色と異色のカラーフィルタを有する画素と第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第１の第１方向異色隣接画素と、第１の色と異色のカラーフィルタを有する画素と第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第２の第１方向異色隣接画素とを含み、異常斜め入射光検出ステップは、第１の第１方向同色隣接画素、第２の第１方向同色隣接画素、第１の第１方向異色隣接画素及び第２の第１方向異色隣接画素の画素データに基づいて、撮像素子へ第１の方向に入射する異常斜め入射光を検出する。

これにより、異常斜め入射光の入射を、画素データに基づいて検出することができ、且つ異常斜め入射光の入射方向を判別することができる。

上記目的を達成する為に、本発明の一の態様に係るプログラムは、カラーフィルタと当該カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有し、第１の方向及び当該第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子への異常斜め光の入射を画素データに基づいて検出する異常斜め入射光検出ステップと、異常斜め入射光検出ステップの検出結果に基づいて、異常斜め入射光が入射されるフォトダイオードを有する画素の画素データを補正する補正ステップと、をコンピュータに実行させるためのプログラムであって、複数の画素は、第１の色のカラーフィルタを有する画素と第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第１の第１方向同色隣接画素と、第１の色のカラーフィルタを有する画素と第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第２の第１方向同色隣接画素と、第１の色と異色のカラーフィルタを有する画素と第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第１の第１方向異色隣接画素と、第１の色と異色のカラーフィルタを有する画素と第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第２の第１方向異色隣接画素とを含み、異常斜め入射光検出ステップは、第１の第１方向同色隣接画素、第２の第１方向同色隣接画素、第１の第１方向異色隣接画素及び第２の第１方向異色隣接画素の画素データに基づいて、撮像素子へ第１の方向に入射する異常斜め入射光を検出する。

これにより、異常斜め入射光の入射を、画素データに基づいて検出することができ、且つ異常斜め入射光の入射方向を判別することができる。

本発明によれば、異常斜め入射光の検出及び入射方向を判定することができ、更に異常斜め入射光による混色の影響を軽減することができる。

異常斜め入射光の発生を説明する図である。 異常斜め入射光による混色の発生を説明する図である。 混色の発生により、画素データのバラツキが発生することを説明する図である。 画素データのバラツキが発生したことにより、ノイズ画像が発生することを説明した図である。 本発明の１つの実施態様である撮像装置の機能ブロック図である。 撮像素子に設けられているカラーフィルタ配列を示す図である。 図６に示されたカラーフィルタ配列の基本配列画素群を第１サブ配列及び第２サブ配列に分割した様子を示す図である。 異常斜め入射光の入射方向を混色補正に活かすことを説明した図である。 異常斜め入射光の入射方向を混色補正に活かすことを説明した図である。 撮像素子に設けられているカラーフィルタの他のカラーフィルタ配列を示す図である。 図１０に示されたカラーフィルタ配列の基本配列画素群を第１サブ配列及び第２サブ配列に分割した様子を示す図である。 撮像素子に設けられているカラーフィルタの他のカラーフィルタ配列を示す図である。 図１２に示されたカラーフィルタ配列の基本配列画素群を第１サブ配列及び第２サブ配列に分割した様子を示す図である。 図１２に示されたカラーフィルタ配列において、異常斜め入射光の入射方向を判別することを説明した図である。 図１２に示されたカラーフィルタ配列において、異常斜め入射光の入射方向を判別することを説明した図である。 撮像素子に設けられているカラーフィルタの他のカラーフィルタ配列を示す図である。 図１６に示されたカラーフィルタ配列の基本配列画素群を第１サブ配列及び第２サブ配列に分割した様子を示す図である。 図１６に示されたカラーフィルタ配列において、異常斜め入射光の入射方向を判別することを説明した図である。 図１６に示されたカラーフィルタ配列において、異常斜め入射光の入射方向を判別することを説明した図である。 撮像素子に設けられているカラーフィルタの他のカラーフィルタ配列を示す図である。 スマートフォンの外観図である。 図２１に示すスマートフォンの構成を示すブロック図である。

以下、添付図面に沿って本発明に係る撮像装置、画像処理方法及びプログラムの実施形態について詳説する。尚、以下の説明では、一例として、第１の方向を水平方向とし、第２の方向を垂直方向として説明をする。

先ず、異常斜め入射光による混色の発生及び混色の発生による同一色のカラーフィルタを有する画素の画素データのバラツキ（誤差）の発生に関して説明する。

図１では、複数のレンズを含む光学系において、ある点光源からの光によって発生する異常斜め入射光を点線で示す。異常斜め入射光が発生する場合、点光源から発生した光は、結像せずにある程度の広がりを持って像面に到着し、ゴーストを形成する。この際に、異常斜め入射光は、像面に対して、角度を持って入射される場合がある。

一般に言われるゴースト像とは、図１に示すように複数のレンズ等を含む光学系において、レンズ表面や撮像素子表面での反射を介して本来の結像光（有効結像光）が通る光路とは異なる光路を通って像面上に到達した光（不要光）により、視覚的に一定の形状が認められるように形成された光学像である。また、フレアとは、強い光が光学系に入射した場合に、同様にレンズ表面や撮像素子表面で反射して像面上に不要光として到達し、視覚的に一定の形状が認められないものであり、これにより画像のコントラストの低下を招いたり、画像で光りがにじんだように現れる。すなわち、異常斜め入射光の発生により、ゴーストやフレアが発生するといえる。

図２は、異常斜め入射光による混色の発生の様子を示した図である。図２における点線は異常斜め入射光を表し、実線は本来の像に対応する入射光である。図２（Ａ）では、（ａ）は緑色（第１の色）のフィルタ（Ｇフィルタ）を有する画素であり、（ｂ）は赤色（第２の色）のフィルタ（Ｒフィルタ）を有する画素であり、（ｃ）はＧフィルタを有する画素である。又、（ａ）で示されたＧフィルタを有する画素、（ｂ）で示されたＲフィルタを有する画素、及び（ｃ）で示されたＧフィルタを有する画素は水平方向又は垂直方向に沿って並んでいる。（ｂ）において、Ｒフィルタを通過した異常斜め入射光は、（ａ）に示されたＧフィルタを有するフォトダイオードに入射される。Ｒフィルタを通過した異常斜め入射光を受光した（ａ）のフォトダイオードが出力する画素データは、異常斜め入射光を受光した分だけ、異常斜め入射光を受光していない画素データと異なる。

本発明では、同じ色のカラーフィルタを有する画素間で、異常斜め入射光を受光した画素の画素データと異常斜め入射光を受光していない画素の画素データとが異なることを、異常斜め入射光による混色の影響を受けていると言う。又、（ｃ）において、Ｇフィルタを通過した異常斜め入射光は、（ｂ）に示されたＲフィルタを有するフォトダイオードに入射される。Ｒフィルタを通過した異常斜め入射光を受光した（ｂ）のフォトダイオードの画素データは、Ｇフィルタを通過した異常斜め入射光を受光した分だけ、異常斜め入射光を受光していない画素データと異なる。ここで、Ｒフィルタを通過した異常斜め入射光を受光した、Ｇフィルタを有する画素の画素データをＲｇと表す。

図２（Ｂ）においても図２（Ａ）同様であり、（ｂ）において、青色（第３の色）のフィルタ（Ｂフィルタ）を通過した異常斜め入射光は、（ａ）に示されたＧフィルタを有するフォトダイオードに入射される。Ｂフィルタを通過した異常斜め入射光を受光した（ａ）のフォトダイオードの画素データは、異常斜め入射光を受光した分だけ、異常斜め入射光を受光していない画素データと異なる。

尚、図２では、画素が水平方向又は垂直方向に隣接して配列されている様子を示している。ここで、隣接して配列される（隣接する）とは、最小画素間隔の四方向のいずれかで接することをいう。最小画素間隔の四方向に位置する画素による混色の影響が、支配的であるので、本発明の説明では、隣接する画素からの混色を主に考慮して説明を行う。しかし、これは隣接する画素以外の画素からの混色を除外する意図ではなく、隣接する画素以外の画素からの混色を考慮してもよい。ここで、隣接する画素以外の画素とは、例えば、混色を受ける画素から、隣接する画素より√２倍離れた位置に配列される画素のことをいう。

図３（Ａ）は、カラーフィルタがベイヤ配列を形成する撮像素子２２で均一な被写体を撮影した場合に撮像素子２２から出力される画素データにおいて、異常斜め入射光による混色が発生した場合を表した図である。尚、図３（Ａ）に示す場合は、異常斜め入射光が図３の左側から又は右側から入射しているものとする。図３（Ａ）において、画素データＧｒは、図２で説明を行った図２（Ａ）（ａ）の画素の画素データに対応する。又、図３（Ａ）において、画素データＧｂは、図２で説明を行った図２（Ｂ）（ａ）の画素の画素データに対応する。

又、画素データＧｇは、Ｇフィルタを通過した異常斜め入射光が、隣接したＧフィルタを有するフォトダイオードに受光された場合に出力される画素データである（図６参照）。

図３（Ｂ）では、カラーフィルタがベイヤ配列を形成する撮像素子２２で均一な被写体を撮影した場合に撮像素子２２から出力される画素データにおいて、異常斜め入射光の入射が無く混色の発生が無い場合の画素データを示している。図３（Ｂ）で示すように、異常斜め入射光の入射が無く混色の発生が無い場合は、Ｇフィルタを有する画素の画素データは、ＧとなりＧフィルタを有する画素間でほぼ同一の値を示す。しかし、図３（Ａ）に示すように、異常斜め入射光による混色が発生すると、Ｇフィルタを有する画素の画素データは、ＧｒやＧｂとなりバラツキ（誤差）を示すようになる。

図４では、図３（Ａ）で説明したカラーフィルタがベイヤ配列を形成する撮像素子２２から出力される画素データをデモザイク処理（補間処理、同時化処理とも言う）した場合の画像ノイズの発生に関して説明している。図３（Ａ）で説明した、カラーフィルタがベイヤ配列を形成する撮像素子２２から出力される画素データをデモザイク処理した場合には、本来の画像（図３（Ｂ）に対応する画像）上には縦線又は横線が存在しないが、混色により画素データにバラツキが生じる為に縦線又は横線が存在すると誤って判断され、格子模様の画像ノイズが画像上に発生する恐れがある。

図４（Ａ）では、図３（Ａ）で説明した、カラーフィルタがベイヤ配列を形成する撮像素子２２から出力される画素データに対し、ＧｒとＧｂとのバラツキのため縦方向に相関があると判定しデモザイク処理を行った場合に、ＧｒとＧｂの縞ができてしまうことを表している。一方、図４（Ｂ）では、カラーフィルタがベイヤ配列を形成する撮像素子２２から出力される画素データに対し、ＧｒとＧｂとのバラツキのため横方向にデモザイク処理を行った場合にもＧｂとＧｒの縞ができてしまうことを表している。更に、図３（Ａ）のような画像データでは、縦方向に相関があるのか、横方向に相関があるのか、相関方向も判別できないため、デモザイク処理により更に画質が劣化する恐れもある。

［撮像装置の実施形態］
図５は本発明に係る撮像装置１０の実施形態を示すブロック図である。

この撮像装置１０は、撮像した画像を内部メモリ（メモリ部２６）、又は外部の記録メディア（図示せず）に記録するデジタルカメラであり、装置全体の動作は、中央処理装置（ＣＰＵ）１２によって統括制御される。

撮像装置１０には、シャッタボタン（シャッタースイッチ）、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ズームボタン、ＢＡＣＫキー等を含む操作部１４が設けられている。この操作部１４からの信号はＣＰＵ１２に入力され、ＣＰＵ１２は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、デバイス制御部１６を介してレンズ部１８、シャッタ２０、撮像素子２２を制御するとともに、撮影動作制御、画像処理制御、画像データの記録／再生制御、表示部２５の表示制御などを行う。

レンズ部１８は、フォーカスレンズ、ズームレンズ、絞り等を含み、レンズ部１８及びシャッタ２０を通過した光束は、撮像素子２２の受光面に結像される。

撮像素子２２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型、ＸＹアドレス型、又はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型のカラーイメージセンサであり、多数の受光素子（フォトダイオード）が２次元配列されている。各受光素子の受光面に結像された被写体像は、その入射光量に応じた信号電圧（又は電荷）に変換される。

＜撮像素子の実施形態＞
図６は、上記撮像素子２２の実施形態を示す図であり、特に撮像素子２２の受光面上に配置されているカラーフィルタ配列に関して示している。又、撮像素子２２は、水平方向及び垂直方向に配列される複数の画素を有し、複数の画素の各々がカラーフィルタと、カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有する。尚、フォトダイオードとは、光を検出して電荷を発生させる光電変換素子のことをいう。

図６に示された撮像素子２２の例では、撮像素子２２は、画素１−１、２−１、３−１、４−１を含んでいる。画素１−１は、Ｇフィルタを有する画素の紙面に向かって右側の水平方向に隣接配置されるＧフィルタを有する画素（第１の第１方向同色隣接画素）である。画素２−１は、Ｇフィルタを有する画素の紙面に向かって右側の水平方向に隣接配置されるＧフィルタを有する画素（第２の第１方向同色隣接画素）である。画素３−１は、Ｂフィルタを有する画素の紙面に向かって右側の水平方向に隣接配置されるＧフィルタを有する画素（第１の第１方向異色隣接画素）である。画素４−１は、Ｒフィルタを有する画素の紙面に向かって右側の水平方向に隣接配置されるＧフィルタを有する画素（第２の第１方向異色隣接画素）である。

又、図６に示された撮像素子２２の例では、撮像素子２２は、画素１−２、２−２、３−２、４−２を含んでいる。画素１−２は、Ｇフィルタを有する画素の紙面に向かって左側の水平方向に隣接配置されるＧフィルタを有する画素（第１の第１方向同色隣接画素）である。画素２−２は、Ｇフィルタを有する画素の紙面に向かって左側の水平方向に隣接配置されるＧフィルタを有する画素（第２の第１方向同色隣接画素）である。画素３−２は、Ｂフィルタを有する画素の紙面に向かって左側の水平方向に隣接配置されるＧフィルタを有する画素（第１の第１方向異色隣接画素）である。画素４−２は、Ｒフィルタを有する画素の紙面に向かって左側の水平方向に隣接配置されるＧフィルタを有する画素（第２の第１方向異色隣接画素）である。

又、図６に示された撮像素子２２の例では、撮像素子２２は、画素１−３、２−３、３−３、４−３を含んでいる。画素１−３は、Ｇフィルタを有する画素の紙面に向かって下側の垂直方向に隣接配置されるＧフィルタを有する画素（第１の第２方向同色隣接画素）である。画素２−３は、Ｇフィルタを有する画素の紙面に向かって下側の垂直方向に隣接配置されるＧフィルタを有する画素（第２の第２方向同色隣接画素）である。画素３−３は、Ｂフィルタを有する画素の紙面に向かって下側の垂直方向に隣接配置されるＧフィルタを有する画素（第１の第２方向異色隣接画素）である。画素４−３は、Ｒフィルタを有する画素の紙面に向かって下側の垂直方向に隣接配置されるＧフィルタを有する画素（第２の第２方向異色隣接画素）である。

又、図６に示された撮像素子２２の例では、撮像素子２２は、画素１−４、２−４、３−４、４−４を含んでいる。画素１−４は、Ｇフィルタを有する画素の紙面に向かって上側の垂直方向に隣接配置されるＧフィルタを有する画素（第１の第２方向同色隣接画素）である。画素２−４は、Ｇフィルタを有する画素の紙面に向かって上側の垂直方向に隣接配置されるＧフィルタを有する画素（第２の第２方向同色隣接画素）である。画素３−４は、Ｂフィルタを有する画素の紙面に向かって上側の垂直方向に隣接配置されるＧフィルタを有する画素（第１の第２方向異色隣接画素）である。画素４−４は、Ｒフィルタを有する画素の紙面に向かって上側の垂直方向に隣接配置されるＧフィルタを有する画素（第２の第２方向異色隣接画素）である。

又、図６に示すように、Ｂフィルタを有する画素の紙面に向かって右側の水平方向に隣接配置されるＧフィルタを有する画素（第１の第１方向異色隣接画素）（図６の符号３−１）及びＲフィルタを有する画素の紙面に向かって右側の水平方向に隣接配置されるＧフィルタを有する画素（第２の第１方向異色隣接画素）（図６の符号４−１）の各々は、互いに異なる色のカラーフィルタを有する画素の紙面に向かって右側の水平方向に隣接配置されている。

又、図６に示すように、Ｂフィルタを有する画素の紙面に向かって左側の水平方向に隣接配置されるＧフィルタを有する画素（第１の第１方向異色隣接画素）（図６の符号３−２）及びＲフィルタを有する画素の紙面に向かって左側の水平方向に隣接配置されるＧフィルタを有する画素（第２の第１方向異色隣接画素）（図６の符号４−２）の各々は、互いに異なる色のカラーフィルタを有する画素の紙面に向かって左側の水平方向に隣接配置されている。

同様に、Ｂフィルタを有する画素の紙面に向かって下側の垂直方向に隣接配置されるＧフィルタを有する画素（第１の第２方向異色隣接画素）（図６の符号３−３）及びＲフィルタを有する画素の紙面に向かって下側の垂直方向に隣接配置されるＧフィルタを有する画素（第２の第２方向異色隣接画素）（図６の符号４−３）の各々は、互いに異なる色のカラーフィルタを有する画素の紙面に向かって下側の垂直方向に隣接配置されている。

同様に、Ｂフィルタを有する画素の紙面に向かって上側の垂直方向に隣接配置されるＧフィルタを有する画素（第１の第２方向異色隣接画素）（図６の符号３−４）及びＲフィルタを有する画素の紙面に向かって上側の垂直方向に隣接配置されるＧフィルタを有する画素（第２の第２方向異色隣接画素）（図６の符号４−４）の各々は、互いに異なる色のカラーフィルタを有する画素の紙面に向かって上側の垂直方向に隣接配置されている。

より具体的に、図６に示された撮像素子２２のカラーフィルタ配列に関して説明する。撮像素子２２のカラーフィルタ配列は、６画素×６画素に対応する正方配列パターンからなる基本配列画素群Ｐ（太枠で示した画素群）を含み、この基本配列画素群Ｐが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されている為、撮像素子２２から読み出されるＲ、Ｇ、Ｂ信号のデモザイク処理等を行う際に、繰り返しパターンに従って処理を行うことができる。

図６に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列画素群Ｐ内の水平方向及び垂直方向の各ライン内に配置されている。これにより、デモザイク処理時に相関方向が水平方向又は垂直方向と判別されると、水平方向又は垂直方向に存在する他の色の画素の画素データを使用して補間することができる為、色モワレ（偽色）の発生を抑圧することができる。又、上記のようにして偽色の発生を抑制することができる為、光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止する為の高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

図７は、図６に示した基本配列画素群Ｐを、３画素×３画素に４分割した状態に関して示している。

図７で示すように、基本配列画素群Ｐの各々は、水平方向及び垂直方向に関して３画素×３画素配列される画素によって構成される二つの第１サブ配列及び二つの第２サブ配列を含む。第１サブ配列は、中央に配置されるＧフィルタを有する１画素と、四隅に配置されるＧフィルタを有する４画素と、中央に配置されるＧフィルタを有する１画素を挟むように水平方向に配置されるＲフィルタを有する２画素と、中央に配置されるＧフィルタを有する１画素を挟むように垂直方向に配置されるＢフィルタを有する２画素とを有する。

第２サブ配列は、中央に配置されるＧフィルタを有する１画素と、四隅に配置されるＧフィルタを有する４画素と、中央に配置されるＧフィルタを有する１画素を挟むように水平方向に配置されるＢフィルタを有する２画素と、中央に配置されるＧフィルタを有する１画素を挟むように垂直方向に配置されるＲフィルタを有する２画素とを有する。

第１サブ配列は、水平方向及び垂直方向に第２のサブ配列と隣接配置され、第１色画素群（Ｇフィルタを有する画素が２画素×２画素に配列された群、正方配列ともいう）は、二つの第１サブ配列及び二つの第２サブ配列によって構成される。

基本配列画素群Ｐは、Ｇフィルタが、水平、垂直、及び斜め方向に２以上隣接する部分を含んでいる。この基本配列画素群Ｐが水平方向及び垂直方向に配列されたカラーフィルタ配列は、Ｇフィルタからなる２画素×２画素に対応する正方配列を含んでいる（図６参照）。

これは、図７に示すように輝度系画素であるＧフィルタが、第１サブ配列又は第２サブ配列における３画素×３画素において４隅と中央に配置され、この３画素×３画素が水平方向、垂直方向に交互に配置されることで２画素×２画素に対応する正方配列のＧフィルタが形成される為である。これらのＧフィルタからなる２画素×２画素の画素データは、水平方向、垂直方向、及び斜め方向の輝度の相関方向の算出（方向判別）に使用することができる。

又、上記Ｇフィルタを有する２画素×２画素のＧフィルタを有する画素群（第１色画素群）は、第１の第１方向同色隣接画素、第２の第１方向同色隣接画素、第１の第１方向異色隣接画素、及び第２の第１方向異色隣接画素を構成し、且つ、第１の第２方向同色隣接画素、第２の第２方向同色隣接画素、第１の第２方向異色隣接画素、及び第２の第２方向異色隣接画素を構成する。

上記構成の撮像素子２２に蓄積された信号電荷は、デバイス制御部１６から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子２２から読み出された電圧信号は、Ａ／Ｄ変換器２４に加えられ、ここで、順次カラーフィルタ配列に対応するデジタルのＲ、Ｇ、Ｂ信号に変換され、一旦、メモリ部２６に保存される。

メモリ部２６は、揮発性メモリであるＳＤＲＡＭや、書き換え可能な不揮発性メモリであるＥＥＰＲＯＭ（記憶手段）等を含み、ＳＤＲＡＭは、ＣＰＵ１２によるプログラムの実行時におけるワークエリアとして、又、撮像され取得されたデジタル画像信号を一時保持する記憶エリアとして使用される。一方、ＥＥＰＲＯＭには、画像処理プログラムを含むカメラ制御プログラム、撮像素子２２の画素の欠陥情報、混色補正を含む画像処理等に使用する各種のパラメータやテーブル等が記憶されている。

画像処理部２８は、メモリ部２６に一旦格納されたデジタルの画像信号に対して、混色補正、ホワイトバランス補正、ガンマ補正処理、デモザイク処理（同時化処理）、ＲＧＢ／ＹＣ変換等の所定の信号処理を行う。尚、本発明の画像処理部２８は更に、異常斜め入射光検出部（異常斜め入射光検出手段）３４及び補正部（補正手段）３６を含む。異常斜め入射光検出部３４と補正部３６に関しては後述する。

画像処理部２８で処理された画像データは、エンコーダ３０において画像表示用のデータにエンコーディングされ、ドライバ３２を介してカメラ背面に設けられている表示部２５に出力される。これにより、被写体像が連続的に表示部２５の表示画面上に表示される。

操作部１４のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ１２は、ＡＦ動作及びＡＥ動作を開始させ、デバイス制御部１６を介してレンズ部１８のフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。

ＣＰＵ１２は、シャッタボタンの半押し時にＡ／Ｄ変換器２４から出力される画像データに基づいて被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値により露出条件（Ｆ値、シャッタ速度）を決定する。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、決定した露出条件により絞り、シャッタ２０及び撮像素子２２での電荷蓄積時間を制御して本撮像が行われる。本撮像時に撮像素子２２から読み出され、Ａ／Ｄ変換器２４によりＡ／Ｄ変換されたＲＧＢのモザイク画像（図６に示したカラーフィルタ配列に対応する画像）の画像データは、メモリ部２６一時的に記憶される。

メモリ部２６に一時的に記憶された画像データは、画像処理部２８により適宜読み出され、ここで、異常斜め入射光検出、混色補正、ホワイトバランス補正、ガンマ補正、デモザイク処理、ＲＧＢ／ＹＣ変換等を含む所定の信号処理が行われる。ＲＧＢ／ＹＣ変換された画像データ（ＹＣデータ）は、所定の圧縮フォーマット（例えば、ＪＰＥＧ方式)に従って圧縮され、圧縮された画像データは、所定の画像ファイル（例えば、Ｅｘｉｆファイル）形式で内部メモリや外部メモリに記録される。

［異常斜め入射光検出］
本発明の撮像装置１０は、画像処理部（画像処理手段）２８内に、異常斜め入射光を検出する異常斜め入射光検出部（異常斜め入射光検出手段）３４を有する。異常斜め入射光検出部３４は、第１の第１方向同色隣接画素、第２の第１方向同色隣接画素、第１の第１方向異色隣接画素及び第２の第１方向異色隣接画素の画素データに基づいて、撮像素子２２へ水平方向に入射する異常斜め入射光を検出する。

図６において、異常斜め入射光検出部３４による水平方向の紙面に向かって左側からの異常斜め入射光の検出を説明する。図６の符号１−１で示されるＧフィルタを有する画素（第１の第１方向同色隣接画素）は、の紙面に向かって左側から異常斜め入射光が入射された場合、の紙面に向かって左側に隣接するＧフィルタを有する画素（図６の符号３−１）からの混色の影響を受ける。そして、図６の符号１−１で示されるＧフィルタを有する画素は、画素データＧｇを出力する。

図６の符号２−１で示されるＧフィルタを有する画素（第２の第１方向同色隣接画素）は、水平方向の紙面に向かって左側から異常斜め入射光が入射された場合、の紙面に向かって左側に隣接するＧフィルタを有する画素（図６の符号４−１）からの混色の影響を受ける。そして、図６の符号２−１で示されるＧフィルタを有する画素は、画素データＧｇを出力する。

図６の符号３−１で示されるＧフィルタを有する画素（第１の第１方向異色隣接画素）は、水平方向の紙面に向かって左側から異常斜め入射光が入射された場合、の紙面に向かって左側に隣接するＢフィルタを有する画素からの混色の影響を受ける。そして、図６の符号３−１で示されるＧフィルタを有する画素は、画素データＧｂを出力する。

図６の符号４−１で示されるＧフィルタを有する画素（第２の第１方向異色隣接画素）は、水平方向の紙面に向かって左側から異常斜め入射光が入射された場合、の紙面に向かって左側に隣接するＲフィルタを有する画素からの混色の影響を受ける。そして、図６の符号４−１で示されるＧフィルタを有する画素は、画素データＧｒを出力する。

そして、異常斜め入射光検出部３４では、上述した、第１の第１方向同色隣接画素（図６の符号１−１）、第２の第１方向同色隣接画素（図６の符号２−１）、第１の第１方向異色隣接画素（図６の符号３−１）、及び第２の第１方向異色隣接画素（図６の符号４−１）の画素データを比較する。

上記したように、第１の第１方向同色隣接画素（図６の符号１−１）と第２の第１方向同色隣接画素（図６の符号２−１）との画素データはＧｇであり同じである。又、第１の第１方向異色隣接画素（図６の符号３−１）と第２の第１方向異色隣接画素（図６の符号４−１）との画素データは、ＧｂとＧｒで異なる。この結果より、異常斜め入射光検出部３４は、水平方向の紙面に向かって左側からの異常斜め入射光があると判断することができる。

尚、画素データＧｇが同じであるとは、第１の第１方向同色隣接画素の画素データ（Ｇｇ）と第２の第１方向同色隣接画素の画素データ（Ｇｇ）との差分値が第１の第１方向同色隣接画素（又は第２の第１方向同色隣接画素）の画素データの２％以内であることをいい、又、撮像対象によっては、１％以内であってもよい。

又、画素データＧｂとＧｒが異なるとは、その差分値の絶対値が第１の第１方向同色隣接画素（又は第２の第１方向同色隣接画素）の画素データの１０％以上であることをいい、又、撮像対象によっては、８％以上であってもよい。

次に、図６において、垂直方向の紙面に向かって上側からの異常斜め入射光検出部３４が行う異常斜め入射光の検出を説明する。図６の符号１−３で示されるＧフィルタを有する画素（第１の第２方向同色隣接画素）は、垂直方向の紙面に向かって上側から異常斜め入射光が入射された場合、隣接するＧフィルタを有する画素（図６の符号３−３）からの混色の影響を受ける。そして、図６の符号１−３で示されるＧフィルタを有する画素は、画素データＧｇを出力する。

図６の符号２−３で示されるＧフィルタを有する画素（第２の第２方向同色隣接画素）は、垂直方向の紙面に向かって上側から異常斜め入射光が入射された場合、隣接するＧフィルタを有する画素（図６の符号４−３）からの混色の影響を受ける。そして、図６の符号２−３で示されるＧフィルタを有する画素は、画素データＧｇを出力する。

図６の符号３−３で示されるＧフィルタを有する画素（第１の第２方向異色隣接画素）は、垂直方向の紙面に向かって上側から異常斜め入射光が入射された場合、上側のＢフィルタを有する画素からの混色の影響を受ける。そして、図６の符号３−３で示されるＧフィルタを有する画素は、画素データＧｂを出力する。

図６の符号４−３で示されるＧフィルタを有する画素（第２の第２方向異色隣接画素）は、垂直方向の紙面に向かって上側から異常斜め入射光が入射された場合、上側のＲフィルタを有する画素からの混色の影響を受ける。そして、図６の符号４−３で示されるＧフィルタを有する画素は、画素データＧｒを出力する。

そして、異常斜め入射光検出部３４では、上述した、第１の第２方向同色隣接画素（図６の符号１−３、第２の第２方向同色隣接画素（図６の符号２−３）、第１の第２方向異色隣接画素（図６の符号３−３）、及び第２の第２方向異色隣接画素（図６の符号４−３）の画素データを比較する。上記したように、第１の第２方向同色隣接画素（図６の符号１−３）と第２の第２方向同色隣接画素（図６の符号２−３）との画素データはＧｇであり同じである。又、第１の第２方向異色隣接画素（図６の符号３−３）と第２の第２方向異色隣接画素（図６の符号４−３）との画素データは、ＧｂとＧｒで異なる。この結果より、異常斜め入射光検出部３４は、垂直方向の紙面に向かって上側からの異常斜め入射光があると判断する。

尚、画素データＧｇが同じであるとは、第１の第２方向同色隣接画素の画素データ（Ｇｇ）と第２の第２方向同色隣接画素の画素データ（Ｇｇ）との差分値が第１の第２方向同色隣接画素（又は第２の第２方向同色隣接画素）の画素データの２％以内であることをいい、又、撮像対象によっては、１％以内であってもよい。

又、画素データＧｂとＧｒが異なるとは、その差分値の絶対値が第１の第２方向同色隣接画素（又は第２の第２方向同色隣接画素）の画素データの１０％以上であることをいい、又、撮像対象によっては、８％以上であってもよい。

尚、水平方向の紙面に向かって右側からの異常斜め入射光検出部３４が行う異常斜め入射光の検出、及び、垂直方向の紙面に向かって下側からの異常斜め入射光検出部３４が行う異常斜め入射光の検出は、上記と同様に行われる。

以上の説明したように、異常斜め入射光検出部３４は、四方向からの異常斜め入射光（水平方向の紙面に向かって左側から入射する異常斜め入射光、水平方向の紙面に向かって右側から入射する異常斜め入射光、垂直方向の紙面に向かって上側から入射する異常斜め入射光、垂直方向の紙面に向かって下側から入射する異常斜め入射光）を検出することができる。言い換えると、異常斜め入射光検出部３４は、異常斜め入射光の検出を行うと、異常斜め入射光の入射方向の判別も行っている。

尚、ここでは、第１の方向の正方向を、水平方向の紙面に向かって左側とし、第１の方向の負方向を、水平方向の紙面に向かって右側として説明している。また、第２の方向の正方向を、垂直方向の紙面に向かって下側とし、第２の方向の負方向を、垂直方向の紙面に向かって上側として説明している。

異常斜め入射光の検出は、上記した、画素データのバラツキがある一定の範囲に発生する場合に検出する。ここでいう一定の範囲とは、一般的なゴースト（異常斜め入射光による本来存在しない像）を検出しうる範囲のことをいう。例えば、６４画素×６４画素の範囲において、上記異常斜め入射光の検出を行ってもよいし、３２画素×３２画素で上記異常斜め入射光の検出を行ってもよい。

［混色補正］
補正部３６は、異常斜め入射光の入射による混色の補正を行う。すなわち、補正部３６は、異常斜め入射光検出部３４により撮像素子２２へ水平方向に入射する異常斜め入射光が検出された場合、画素データＧｇを使用して、画素データＧｂ及び画素データＧｒを補正することができる。

画素データＧｇを使用して画素データＧｂ及び画素データＧｒを補正することにより、混色の影響を最小限に抑えることができる。すなわち、画素データＧｇ、画素データＧｒ、及び画素データＧｂを比較すると、画素データＧｇに対する混色は同色画素からの漏れ込みであり最も混色の影響が少ないので、画素データＧｇを使用して、画素データＧｒ及び画素データＧｂを補正する。

補正部３６は、様々な方法により、画素データＧｇを使用して画素データＧｒ及びＧｂに対して補正を行うことがきる。例えば、補正部３６は、画素データＧｒ及びＧｂを有する画素の画素データを、画素データＧｇに置き換えることにより補正をすることもできる。又、Ｇフィルタ有する画素の画素データを、画素データＧｒと画素データＧｇとの平均値、画素データＧｂと画素データＧｇとの平均値、又は画素データＧｂと画素データＧｒと画素データＧｇとの平均値を使って補正することもできる。

補正部３６は、図８及び図９で説明するように、異常斜め入射光の入射方向を考慮して混色補正を行うこともできる。

図８（Ａ）及び図９（Ａ）には、図６において示した撮像素子２２の一部分を示しており、図８及び図９の水平方向の紙面に向かって右側から異常斜め入射光が入射した場合を示している。図６において示された撮像素子２２においては、図８（Ａ）及び図９（Ａ）のように水平方向の紙面に向かって右側から異常斜め入射光が入射した場合には、Ｇフィルタを有する２画素×２画素の画素群（第１色画素群）がＧｇ、Ｇｇ、Ｇｒ、及びＧｂという画素データを出力する。

図８（Ｂ）から（Ｅ）に示すように、四方の画素データを基にＧフィルタを有する画素の画素データに対して補正を行う場合、補正にＧｒやＧｂといった混色の影響を受けている画素データを使用する為に、補正後の画素データＧｇＣ間で値が異なってしまう場合がある。

以下に補正後の画素データＧｇＣ間で値が異なることを説明する。先ず、図８（Ｂ）で示されるように、第１色画素群の紙面に向かって左上に位置するＧｇを示す画素データに対して、四方（紙面に向かって、左、右、上、下）の画素データの値を使用して混色補正を行い、画素データＧｇＣを得る。この画素データＧｇＣは、混色の影響を受けたＧｒを示す画素データを混色補正に使用しているので、混色の影響を受ける。

次に、図８（Ｃ）で示されるように、第1色画素群の紙面に向かって右上のＧｒを示す画素データに対して、四方の画素データの値を使用して混色補正を行い画素データＧｒＣを得る。次に、図８（Ｄ）で示されるように、第1色画素群の紙面に向かって左下のＧｇを示す画素データに対して、回りの画素データの値を使用して混色補正を行い画素データＧｇＣを得る。この画素データＧｇＣは、混色の影響を受けたＧｂを示す画素データを混色補正に使用しているので、混色の影響を受ける。

次に、図８（Ｅ）で示されるように、第１色画素群の紙面に向かって右下のＧｂを示す画素データに対して、回りの画素データの値を使用して混色補正を行い、画素データＧｂＣを得る。

図８（Ｂ）と図８（Ｄ）では、同じ画素データＧｇに対して混色補正が行われて、画素データＧｇＣが得られる。しかし、図８（Ｂ）と図８（Ｄ）の画素データＧｇＣの各々は、異なる混色の影響を受けているので、図８（Ｂ）と図８（Ｄ）画素データＧｇＣは異なる値を示す。すなわち、図８（Ｂ）の場合は画素データＧｒが、及び、図８（Ｄ）の場合は画素データＧｂが混色の影響を受けており、ＧｒとＧｂとで混色が異なるため、混色補正の結果得られる画素データＧｇＣ間で混色の影響による差異が生じてしまう。

一方、図９に示されたような混色補正では、異常斜め入射光の入射方向を考慮して混色補正を行っている為に、混色補正後に得られる画素データＧｇＣ間で差異は生じない。以下に補正後の画素データＧｇＣ間で値が異なることを説明する。

先ず、図９（Ｂ）で示されるように、第1色画素群の紙面に向かって右上のＧｒを示す画素データに対して、四方の画素データの値を使用して混色補正を行い画素データＧｒＣを得る。尚、ここで、異常斜め入射光の入射方向（右側）への混色補正を強く行ってもよい。

次に、図９（Ｃ）で示されるように、第1色画素群の紙面に向かって右下のＧｂを示す画素データに対して、四方の画素データの値を使用して混色補正を行い、画素データＧｂＣを得る。次に、図９（Ｄ）で示されるように、第1色画素群の紙面に向かって左上のＧｇを示す画素データに対して、四方の画素データの値を使用して混色補正を行い画素データＧｇＣを得る。この際、ＧｒＣを示す画素データを混色補正に使用するが、ＧｒＣは予め混色補正を行っているので、混色補正の影響は取り除かれている。

次に、図９（Ｅ）で示されるように、第1色画素群の紙面に向かって左下のＧｂを示す画素データに対して、回りの画素データの値を使用して混色補正を行い画素データＧｇＣを得る。この際、ＧｂＣを示す画素データを混色補正に使用するが、ＧｂＣは予め混色補正を行っているので、混色補正の影響は取り除かれている。

図９（Ｄ）と図９（Ｅ）では、同じ画素データＧｇに対して混色補正が行われ、得られる画素データのＧｇＣも同じ値を示す。なぜならば、図９（Ｂ）の場合は画素データＧｒが、及び、図９（Ｃ）の場合は画素データＧｂが混色の影響を受けているが、図９（Ｄ）と図９（Ｅ）で混色補正が行われる前に図９（Ｂ）及び図９（Ｃ）で混色補正が行われていることにより混色の影響を取り除いているからである。

このように、異常斜め入射光の入射方向を考慮して、混色補正を行う画素の順番を変えることにより、より精度の高い混色補正を行うことができる。図９の場合では、異常斜め入射光の入射方向に位置する画素から、混色補正を行うことにより、より精度の高い混色補正を行うことができる。

本発明において、様々なカラーフィルタ配列を有する撮像素子２２を使用することができる。以下に、異なるカラーフィルタ配列を有する撮像素子２２を変形例として説明する。

＜撮像素子の他の実施形態（変形例１）＞
図１０は、上記撮像素子２２の他の実施形態を示す図であり、特に撮像素子２２の受光面上に配置されているカラーフィルタ配列に関して示している。

図１０に示すカラーフィルタ配列は、水平方向及び垂直方向に関して６画素×６画素配列される画素によって構成される複数の基本配列画素群Ｐが、水平方向及び垂直方向に並置される。

図１０に示すカラーフィルタ配列は、６画素×６画素に対応する正方配列パターンからなる基本配列画素群Ｐ（太枠で示した画素群）を含み、この基本配列画素群Ｐが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されている為、撮像素子２２から読み出されるＲ、Ｇ、Ｂ信号のデモザイク処理等を行う際に、繰り返しパターンに従って処理を行うことができる。

図１０に示すカラーフィルタ配列を構成する基本配列画素群Ｐは、輝度信号を得る為に最も寄与する色(Ｇの色)に対応するＧフィルタと、Ｇの色以外の他の色（Ｒ及びＢ）に対応するＲフィルタ、Ｂフィルタとが、基本配列画素群Ｐ内の水平及び垂直方向の各ライン内に１つ以上配置されている。

Ｒ、Ｇ、Ｂフィルタが、それぞれ基本配列画素群Ｐ内の水平及び垂直方向の各ライン内に配置される為、色モワレ（偽色）の発生を抑制することができる。これにより、偽色の発生を抑制する為の光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止する為の高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

輝度系画素に対応するＧフィルタは、基本配列画素群Ｐ内において、水平、垂直、及び斜め方向の各方向に２以上隣接する部分が含まれるように配置されている。

基本配列画素群Ｐの各々は、水平方向及び垂直方向に関して３画素×３画素配列される画素によって構成される二つの第１サブ配列及び二つの第２サブ配列を含む。

図１１は、図１０に示した基本配列画素群Ｐを、３画素×３画素に４分割した状態に関して示している。

図１１において、第１サブ配列は、中央に配置されるＲフィルタを有する１画素と、四隅に配置されるＢフィルタを有する４画素と、四隅の画素の各々間に配置されるＧフィルタを有する４画素とを有する。また、図１１において、第２サブ配列は、中央に配置されるＢフィルタを有する１画素と、四隅に配置されるＲフィルタを有する４画素と、四隅の画素の各々間に配置されるＧフィルタを有する４画素とを有する。第１サブ配列は、水平方向及び垂直方向に第２のサブ配列と隣接配置される。

図１１に示すように基本配列画素群Ｐは、実線の枠で囲んだ３画素×３画素の第１サブ配列と、破線の枠で囲んだ３画素×３画素の第２サブ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

第１サブ配列は、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置されている。一方、第２サブ配列は、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。これらの第１サブ配列と第２サブ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

［異常斜め入射光検出］
図１０に示された変形例１の撮像素子２２を有する撮像装置１０の場合、異常斜め入射光検出部３４では以下のように異常斜め入射光の検出及び方向の特定を行う。

図１０に示された変形例１おいて、水平方向の紙面に向かって左側からの異常斜め入射光検出部３４が行う異常斜め入射光の検出を具体的に説明する。図１０の符号１−１で示されるＧフィルタを有する画素は、図１０の紙面に向かって左側にＧフィルタを有する画素（図１０の符号３−１）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向同色隣接画素）である。図１０の符号２−１で示されるＧフィルタを有する画素は、図１０の紙面に向かって左側にＧフィルタを有する画素（図１０の符号４−１）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向同色隣接画素）である。

図１０の符号３−１で示されるＧフィルタを有する画素は、図１０の紙面に向かって左側にＧフィルタとは異色であるＲフィルタを有する画素が隣接配置されており、第１の色と異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向異色隣接画素）である。又、図１０の符号４−１で示されるＧフィルタを有する画素は、図１０の紙面に向かって左側にＧフィルタとは異色であるＢフィルタを有する画素が隣接配置されており、第１の色と異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向異色隣接画素）である。

そして、異常斜め入射光検出部３４では、上述した、第１の第１方向同色隣接画素（図１０の符号１−１）、第２の第１方向同色隣接画素（図１０の符号２−１）、第１の第１方向異色隣接画素（図１０の符号３−１）、及び第２の第１方向異色隣接画素（図１０の符号４−１）の画素データを比較し、第１の第１方向同色隣接画素（図１０の符号１−１）と、第２の第１方向同色隣接画素（図１０の符号２−１）の値が同じであり、且つ第１の第１方向異色隣接画素（図１０の符号３−１）と、第２の第１方向異色隣接画素（図１０の符号４−１）との値が異なる場合には、水平方向の紙面に向かって左側からの異常斜め入射光の存在が検出される。

図１０に示された変形例１おいて、水平方向の紙面に向かって右側からの異常斜め入射光検出部３４が行う異常斜め入射光の検出を具体的に説明する。図１０の符号１−２で示されるＧフィルタを有する画素は、図１０の紙面に向かって右側にＧフィルタを有する画素（図１０の符号３−２）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向同色隣接画素）である。図１０の符号２−２で示されるＧフィルタを有する画素は、図１０の紙面に向かって右側にＧフィルタを有する画素（図１０の符号４−２）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向同色隣接画素）である。

図１０の符号３−２で示されるＧフィルタを有する画素は、図１０の紙面に向かって右側にＧフィルタとは異色であるＲフィルタを有する画素が隣接配置されており、第１の色と異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向異色隣接画素）である。又、図１０の符号４−２で示されるＧフィルタを有する画素は、図１０の紙面に向かって右側にＧフィルタとは異色であるＢフィルタを有する画素が隣接配置されており、第１の色と異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向異色隣接画素）である。

そして、異常斜め入射光検出部３４では、上述した、第１の第１方向同色隣接画素（図１０の符号１−２）、第２の第１方向同色隣接画素（図１０の符号２−２）、第１の第１方向異色隣接画素（図１０の符号３−２）、及び第２の第１方向異色隣接画素（図１０の符号４−２）の画素データを比較し、第１の第１方向同色隣接画素（図１０の符号１−２）、第２の第１方向同色隣接画素（図１０の符号２−２）の値が同じであり、且つ第１の第１方向異色隣接画素（図１０の符号３−２）と、第２の第１方向異色隣接画素（図１０の符号４−２）との値が異なる場合には、水平方向紙面に向かって右側からの異常斜め入射光の存在が検出される。

次に、垂直方向の紙面に向かって上側から入射される異常斜め入射光の検出を行う場合について説明する。図１０に示された変形例１おいて、異常斜め入射光検出部３４は、垂直方向の紙面に向かって上側からの異常斜め入射光の検出を以下のように行う。

図１０の符号１−３で示されるＧフィルタを有する画素は、図１０の紙面に向かって上側にＧフィルタを有する画素（図１０の符号３−３）が隣接配置されており、Ｇフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向同色隣接画素）である。図１０の符号２−３で示されるＧフィルタを有する画素は、図１０の紙面に向かって上側にＧフィルタを有する画素（図１０の符号４−３）が隣接配置されており、Ｇフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向同色隣接画素）である。

図１０の符号３−３で示されるＧフィルタを有する画素は、図１０の紙面に向かって上側にＧフィルタと異色であるＲフィルタを有する画素が隣接配置されており、Ｇフィルタと異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向異色隣接画素）である。又、図１０の符号４−３で示されるＧフィルタを有する画素は、図１０の紙面に向かって上側にＧフィルタと異色であるＢフィルタを有する画素が隣接配置されており、Ｇフィルタと異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向異色隣接画素）である。

そして、異常斜め入射光検出部３４では、上述した、第１の第２方向同色隣接画素（図１０の符号１−３）、第２の第２方向同色隣接画素（図１０の符号２−３）、第１の第２方向異色隣接画素（図１０の符号３−３）、及び第２の第２方向異色隣接画素（図１０の符号４−３）の画素データを比較し、第１の第２方向同色隣接画素（図１０の符号１−３）、第２の第２方向同色隣接画素（図１０の符号２−３）の値が同じであり、且つ第１の第２方向異色隣接画素（図１０の符号３−３）と、第２の第２方向異色隣接画素（図１０の符号４−３）との値が異なる場合には、垂直方向からの異常斜め入射光の存在が検出される。

垂直方向の紙面に向かって下側から入射される異常斜め入射光の検出を行う場合は、以下のように行う。図１０に示された変形例１おいて、異常斜め入射光検出部３４による垂直方向の紙面に向かって下側からの異常斜め入射光の検出を具体的に説明する。

図１０の符号１−４で示されるＧフィルタを有する画素は、図１０の下側にＧフィルタを有する画素（図１０の符号３−４）が隣接配置されており、Ｇフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向同色隣接画素）である。図１０の符号２−４で示されるＧフィルタを有する画素は、図１０の下側にＧフィルタを有する画素（図１０の符号４−４）が隣接配置されており、Ｇフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向同色隣接画素）である。

図１０の符号３−４で示されるＧフィルタを有する画素は、図１０の下側にＧフィルタと異色であるＲフィルタを有する画素が隣接配置されており、Ｇフィルタと異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向異色隣接画素）である。又、図１０の符号４−４で示されるＧフィルタを有する画素は、図１０の下側にＧフィルタと異色であるＢフィルタを有する画素が隣接配置されており、Ｇフィルタと異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向異色隣接画素）である。

そして、異常斜め入射光検出部３４では、上述した、第１の第２方向同色隣接画素（図１０の符号１−４）、第２の第２方向同色隣接画素（図１０の符号２−４）、第１の第２方向異色隣接画素（図１０の符号３−４）、及び第２の第２方向異色隣接画素（図１０の符号４−４）の画素データを比較し、第１の第２方向同色隣接画素（図１０の符号１−４）、第２の第２方向同色隣接画素（図１０の符号２−４）の値が同じであり、且つ第１の第２方向異色隣接画素（図１０の符号３−４）と、第２の第２方向異色隣接画素（図１０の符号４−４）との値が異なる場合には、垂直方向からの異常斜め入射光の存在が検出される。

尚、説明の明瞭化のため、図１０において、符号１−１〜４−１の画素による水平方向の紙面に向かって左側からの異常斜め入射光の検出と、符号１−２〜４−２の画素による水平方向の紙面に向かって右側からの異常斜め入射光の検出と、符号１−３〜４−３の画素による垂直方向からの異常斜め入射光の検出と、符号１−４〜４−４の画素による垂直方向からの異常斜め入射光の検出とを、隣接する異なる基本配列画素群Ｐに配置された画素で検出するように説明した。しかし、同一の基本配列画素群Ｐ内に、符号１−１〜４−１の画素、符号１−２〜４−２の画素、符号１−３〜４−３の画素、及び符号１−４〜４−４の画素に対応する画素から検出するようにしてもよい。

＜撮像素子の他の実施形態（変形例２）＞
図１２は、上記撮像素子２２の他の実施形態（変形例２）を示す図であり、特に撮像素子２２の受光面上に配置されているカラーフィルタ配列に関して示している。

図１２に示された、カラーフィルタ配列は、水平方向及び垂直方向に関して４画素×４画素配列される画素によって構成される複数の基本配列画素群Ｐを有する。又、カラーフィルタ配列は、水平方向及び垂直方向に並置される複数の基本配列画素群Ｐを含み、基本配列画素群Ｐの各々は、水平方向及び垂直方向に関して２画素×２画素配列される画素によって構成される二つの第１サブ配列及び二つの第２サブ配列を含む。

第１サブ配列はＲフィルタを有する２画素及びＢフィルタを有する２画素によって構成され、第２サブ配列はＧフィルタを有する４画素によって構成される。第１サブ配列は、水平方向及び垂直方向に第２のサブ配列と隣接配置され、第１色画素群は、第２サブ配列によって構成される。

具体的には、図１２のカラーフィルタ配列は、４画素×４画素に対応する正方配列パターンからなる基本配列画素群Ｐ（太枠で示した画素群）を含み、この基本配列画素群Ｐが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されている為、撮像素子２２から読み出されるＲ、Ｇ、Ｂ信号のデモザイク処理等を行う際に、繰り返しパターンに従って処理を行うことができる。

図１２に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列画素群Ｐ内の水平方向及び垂直方向の各ライン内に配置されている。

図１３は、図１２に示した基本配列画素群Ｐを、２画素×２画素に４分割した状態を示している。

図１３に示すように基本配列画素群Ｐは、実線の枠で囲んだ２画素×２画素の第１サブ配列と、破線の枠で囲んだ２画素×２画素の第２サブ配列とが、水平、垂直方向に交互に並べられた配列となる。

第１サブ配列は、Ｒフィルタ及びＢフィルタが水平、垂直方向に交互に並べられた配列となっている。又、第１サブ配列は、Ｒフィルタ又はＢフィルタを有する画素が２画素×２画素配列の対角線上に配列されているということもできる。

一方、第２サブ配列は、Ｇフィルタを有する画素が２画素×２画素配列されている。Ｇフィルタを有する画素が２画素×２画素配列は、Ｇフィルタを有する画素の画素群であり、第１の第１方向同色隣接画素、第２の第１方向同色隣接画素、第１の第１方向異色隣接画素、及び第２の第１方向異色隣接画素を構成し、且つ、第１の第２方向同色隣接画素、第２の第２方向同色隣接画素、第１の第２方向異色隣接画素、及び第２の第２方向異色隣接画素を構成する。

［異常斜め入射光検出］
図１２に示された例における、変形例１の撮像素子２２を有する撮像装置１０の異常斜め入射光検出部３４が行う、水平方向の紙面に向かって左側からの異常斜め入射光の検出を具体的に説明する。

図１２の符号１−１で示されるＧフィルタを有する画素は、図１２の紙面に向かって左側にＧフィルタを有する画素（図１２の符号３−１）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向同色隣接画素）である。図１２の符号２−１で示されるＧフィルタを有する画素は、図１２の紙面に向かって左側にＧフィルタを有する画素（図１２の符号４−１）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向同色隣接画素）である。

図１２の符号３−１で示されるＧフィルタを有する画素は、図１２の紙面に向かって左側に異色であるＢフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向異色隣接画素）である。又、図１２の符号４−１で示されるＧフィルタを有する画素は、図１２の紙面に向かって左側に異色であるＲフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向異色隣接画素）である。

そして、異常斜め入射光検出部３４では、上述した、第１の第１方向同色隣接画素（図１２の符号１−１）、第２の第１方向同色隣接画素（図１２の符号２−１）、第１の第１方向異色隣接画素（図１２の符号３−１）、及び第２の第１方向異色隣接画素（図１２の符号４−１）の画素データを比較し、第１の第１方向同色隣接画素（図１２の符号１−１）、第２の第１方向同色隣接画素（図１２の符号２−１）の値が同じであり、且つ第１の第１方向異色隣接画素（図１２の符号３−１）と、第２の第１方向異色隣接画素（図１２の符号４−１）との値が異なる場合には、第１方向からの異常斜め入射光の存在が検出される。

図１２に示された、変形例１の撮像素子２２を有する撮像装置１０の異常斜め入射光検出部３４が行う、水平方向の紙面に向かって右側からの異常斜め入射光の検出を具体的に説明する。

図１２の符号１−２で示されるＧフィルタを有する画素は、図１２の紙面に向かって右側にＧフィルタを有する画素（図１２の符号４−２）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向同色隣接画素）である。図１２の符号２−２で示されるＧフィルタを有する画素は、図１２の紙面に向かって右側にＧフィルタを有する画素（図１２の符号３−２）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向同色隣接画素）である。

図１２の符号３−２で示されるＧフィルタを有する画素は、図１２の紙面に向かって右側に異色であるＢフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向異色隣接画素）である。又、図１２の符号４−２で示されるＧフィルタを有する画素は、図１２の紙面に向かって右側に異色であるＲフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向異色隣接画素）である。

そして、異常斜め入射光検出部３４では、上述した、第１の第１方向同色隣接画素（図１２の符号１−２）、第２の第１方向同色隣接画素（図１２の符号２−２）、第１の第１方向異色隣接画素（図１２の符号３−２）、及び第２の第１方向異色隣接画素（図１２の符号４−２）の画素データを比較し、第１の第１方向同色隣接画素（図１２の符号１−２）、第２の第１方向同色隣接画素（図１２の符号２−２）の値が同じであり、且つ第１の第１方向異色隣接画素（図１２の符号３−２）と、第２の第１方向異色隣接画素（図１２の符号４−２）との値が異なる場合には、第１方向からの異常斜め入射光の存在が検出される。

図１２に示された、変形例１の撮像素子２２を有する撮像装置１０の異常斜め入射光検出部３４が行う、垂直方向の紙面に向かって上側から入射される異常斜め入射光の検出を説明する。

図１２の符号１−３で示されるＧフィルタを有する画素は、図１２の紙面に向かって上側にＧフィルタを有する画素（図１２の符号３−３）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向同色隣接画素）である。図１２の符号２−３で示されるＧフィルタを有する画素は、図１２の紙面に向かって上側にＧフィルタを有する画素（図１２の符号４−３）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向同色隣接画素）である。

図１２の符号３−３で示されるＧフィルタを有する画素は、図１２の紙面に向かって上側に異色であるＲフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向異色隣接画素）である。又、図１２の符号４−３で示されるＧフィルタを有する画素は、図１２の紙面に向かって上側に異色であるＢフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向異色隣接画素）である。

そして、異常斜め入射光検出部３４では、上述した、第１の第２方向同色隣接画素（図１２の符号１−３）、第２の第２方向同色隣接画素（図１２の符号２−３）、第１の第２方向異色隣接画素（図１２の符号３−３）、及び第２の第２方向異色隣接画素（図１２の符号４−３）の画素データを比較し、第１の第２方向同色隣接画素（図１２の符号１−３）、第２の第２方向同色隣接画素（図１２の符号２−３）の値が同じであり、且つ第１の第２方向異色隣接画素（図１２の符号３−３）と、第２の第２方向異色隣接画素（図１２の符号４−３）との値が異なる場合には、垂直方向からの異常斜め入射光の存在が検出される。

図１２に示された、変形例１の撮像素子２２を有する撮像装置１０の異常斜め入射光検出部３４が行う、垂直方向の紙面に向かって下側から入射される異常斜め入射光の検出を説明する。

図１２の符号１−４で示されるＧフィルタを有する画素は、図１２の紙面に向かって下側にＧフィルタを有する画素（図１２の符号３−４）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向同色隣接画素）である。図１２の符号２−４で示されるＧフィルタを有する画素は、図１２の紙面に向かって下側にＧフィルタを有する画素（図１２の符号４−４）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向同色隣接画素）である。

図１２の符号３−４で示されるＧフィルタを有する画素は、図１２の紙面に向かって下側に異色であるＲフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向異色隣接画素）である。又、図１２の符号４−４で示されるＧフィルタを有する画素は、図１２の紙面に向かって下側に異色であるＢフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向異色隣接画素）である。

そして、異常斜め入射光検出部３４では、上述した、第１の第２方向同色隣接画素（図１２の符号１−４）、第２の第２方向同色隣接画素（図１２の符号２−４）、第１の第２方向異色隣接画素（図１２の符号３−４）、及び第２の第２方向異色隣接画素（図１２の符号４−４）の画素データを比較し、第１の第２方向同色隣接画素（図１２の符号１−４）、第２の第２方向同色隣接画素（図１２の符号２−４）の値が同じであり、且つ第１の第２方向異色隣接画素（図１２の符号３−４）と、第２の第２方向異色隣接画素（図１２の符号４−４）との値が異なる場合には、垂直方向からの異常斜め入射光の存在が検出される。

図１４及び図１５では、図１２で示されたカラーフィルタ配列を有する撮像素子２２において、異常斜め入射光が水平方向における正方向又は負方向のいずれの方向に入射するかの判定の仕方が示されている。図１４及び図１５では紙面に向かって右側を正方向、左側を負方向とする。

図１４及び図１５に示された複数の画素は、Ｇフィルタを有する画素と水平方向の正方向に隣接し且つ第１の色と異色のカラーフィルタを有する画素と水平方向の負方向に隣接するＧフィルタを有する第１の第１色画素（図１４の符号３−１）（図１５の符号１−２）及び第２の第１色画素（図１４の符号４−１）（図１５の符号２−２）と、Ｇフィルタを有する画素と水平方向の負方向に隣接し且つ第１の色と異色のカラーフィルタを有する画素と水平方向の正方向に隣接するＧフィルタを有する第３の第１色画素（図１４の符号１−１）（図１５の符号４−２）及び第４の第１色画素（図１４の符号２−１）（図１５の符号３−２）を含む。

図１４では、水平方向の正方向に沿って異常斜め入射光が入射している状態を示す。異常斜め入射光が、水平方向の正方向に沿って撮像素子２２に入射した場合、第３の第１色画素（図１４の符号１−１）、は、隣接するＧフィルタを有する画素（図１４の符号３−１）からの混色があるので、画素データがＧｇとなる。又、第４の第１色画素（図１４の符号２−１）も、隣接するＧフィルタを有する画素（図１４の符号２−１）からの混色があるので、画素データがＧｇとなる。

一方、第１の第１色画素（図１４の符号３−１）は、負方向側で隣接するＢフィルタを有する画素からの混色があるので、画素データがＧｂとなる。又、第２の第１色画素（図１４の符号４−１）は、負方向側で隣接するＲフィルタを有する画素からの混色があるので、画素データがＧｒとなる。

図１４で示すように、第１の第１色画素（図１４の符号３−１）がＧｂ、第２の第１色画素（図１４の符号４−１）がＧｒ、第３の第１色画素（図１４の符号１−１）がＧｇ、及び第４の第１色画素（図１４の符号２−１）がＧｇの出力値が検出された場合に、水平方向の正方向に沿って異常斜め入射光の入射があると判断することができる。更に、第１の画素又は第２の画素の画素データが、Ｇｇである場合に第１の正方向からの異常斜め入射光があると判断することができる。

図１５では、水平方向の負方向に沿って異常斜め入射光が入射している状態を示す。異常斜め入射光が、水平方向の負方向に沿って撮像素子２２に入射した場合、第３の第１色画素（図１５の符号４−２）は、正方向側に隣接するＲフィルタを有する画素からの混色があるので、画素データがＧｒとなる。又、第４の第１色画素（図１５の符号３−２）も、正方向側に隣接するＢフィルタを有する画素からの混色があるので、画素データがＧｂとなる。

一方、第１の第１色画素（図１５の符号１−２）は、正方向側で隣接するＧフィルタを有する画素（図１５の符号４−２）からの混色があるので、画素データがＧｇとなる。又、第２の第１色画素（図１５の符号２−２）は、正方向側で隣接するＧフィルタを有する画素（図１５の符号３−２）からの混色があるので、画素データがＧｇとなる。

図１５で示すように、第１の第１色画素（図１５の符号１−２）がＧｇ、第２の第１色画素（図１５の符号２−２）がＧｇ、第３の第１色画素（図１５の符号４−２）がＧｒ、及び第４の第１色画素（図１５の符号３−２）がＧｂの出力値が検出された場合に、水平方向の負方向に沿って異常斜め入射光の入射があると判断することができる。更に、第１の画素又は第２の画素の画素データが、Ｇｇである場合に水平方向の負方向からの異常斜め入射光があると判断することができる。

更に、異常斜め入射光を検出した場合、第１の第１色画素、第２の第１色画素、第３の第１色画素及び第４の第１色画素のうち、同じ画素データを出力する画素の画素データを使って、異常斜め入射光が入射されるフォトダイオードを有する画素の画素データを補正することができる。

図１４及び図１５は説明の都合上、上記撮像素子２２の他の実施形態（変形例１）での、水平方向に関して、説明を行っている。しかし、上記撮像素子２２の実施形態（図６、図１０、及び図１２に示されたカラーフィルタ配列を有する撮像素子）は、水平方向及び垂直方向に関して、正方向、負方向のいずれから異常斜め入射光の入射光が入射しているかを判別することができる。

＜撮像素子の他の実施形態（変形例３）＞
図１６は、上記撮像素子２２の他の実施形態（変形例３）を示す図であり、特に撮像素子２２の受光面上に配置されているカラーフィルタ配列に関して示している。

図１６で示されたカラーフィルタ配列では、水平方向及び垂直方向に関して４画素×４画素配列される画素によって構成される複数の基本配列画素群Ｐであって、水平方向及び垂直方向に並置される複数の基本配列画素群Ｐを含む。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されている為、撮像素子２２から読み出されるＲ、Ｇ、Ｂ信号のデモザイク処理等を行う際に、繰り返しパターンに従って処理を行うことができる。

図１６に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列画素群Ｐ内の水平方向及び垂直方向の各ライン内に配置されている。

画素ブロックＱ（図１６において点線で図示）は、基本配列画素群Ｐの各々におけるＲフィルタを有する２画素、Ｂフィルタを有する２画素及びＧフィルタを有する５画素によって構成される。

基本配列画素群Ｐの各々は、水平方向及び垂直方向に関して２画素×２画素配列される画素によって構成される二つの第１サブ配列及び二つの第２サブ配列を含む。図１７は、図１６に示した基本配列画素群Ｐを、２画素×２画素に４分割した状態を示している。

図１７で示されるように、第１サブ配列はＧフィルタを有する３画素及びＲフィルタを有する１画素によって構成され、第２サブ配列はＧフィルタを有する３画素及びＢフィルタを有する１画素によって構成される。第１サブ配列におけるＲフィルタを有する画素の位置と第２サブ配列におけるＢフィルタを有する画素の位置とは対応する。第１サブ配列は、水平方向及び垂直方向に第２のサブ配列と隣接配置される。

具体的には、図１７に示すように基本配列画素群Ｐは、実線の枠で囲んだ２画素×２画素の第１サブ配列と、破線の枠で囲んだ２画素×２画素の第２サブ配列とが、水平、垂直方向に交互に並べられた配列となる。

第１サブ配列は、３つのＧフィルタと１つのＲフィルタを有する。又、第２サブ配列は、３つのＧフィルタと１つのＢフィルタを有する。更に、第１サブ配列におけるＲフィルタが配列される位置と、第２サブ配列におけるＢフィルタが配列される位置とは同じである。

［異常斜め入射光検出］
図１６に示された例において、水平方向からの異常斜め入射光検出部３４が行う異常斜め入射光の検出を具体的に説明する。図１６の符号１Ａで示されるＧフィルタを有する画素は、図１６の紙面に向かって左側及び右側にＧフィルタを有する画素が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向同色隣接画素）である。図１６の符号２Ａで示されるＧフィルタを有する画素は、図１６の紙面に向かって左側及び右側にＧフィルタを有する画素が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向同色隣接画素）である。

図１６の符号３Ａで示されるＧフィルタを有する画素は、図１６の紙面に向かって左側にＲフィルタ及び右側にＢフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向異色隣接画素）である。又、図１６の符号４Ａで示されるＧフィルタを有する画素は、図１６の紙面に向かって左側にＢフィルタ及び右側にＲフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向異色隣接画素）である。

そして、異常斜め入射光検出部３４では、上述した、第１の第１方向同色隣接画素（図１６の符号１Ａ）、第２の第１方向同色隣接画素（図１６の符号２Ａ）、第１の第１方向異色隣接画素（図１６の符号３Ａ）、及び第２の第１方向異色隣接画素（図１６の符号４Ａ）の画素データを比較し、第１の第１方向同色隣接画素（図１６の符号１Ａ）、第２の第１方向同色隣接画素（図１６の符号２Ａ）の値が同じであり、且つ第１の第１方向異色隣接画素（図１６の符号３Ａ）と、第２の第１方向異色隣接画素（図１６の符号４Ａ）との値が異なる場合には、水平方向からの異常斜め入射光の存在が検出される。

垂直方向から入射される異常斜め入射光の検出を行う場合は、以下のように行う。

図１６において、異常斜め入射光検出部３４による垂直方向からの異常斜め入射光の検出を具体的に説明する。図１６の符号１Ｂで示されるＧフィルタを有する画素は、図１６の紙面に向かって上側及び下側にＧフィルタを有する画素が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向同色隣接画素）である。図１６の符号２Ｂで示されるＧフィルタを有する画素は、図１６の紙面に向かって上側及び下側にＧフィルタを有する画素が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向同色隣接画素）である。

図１６の符号３Ｂで示されるＧフィルタを有する画素は、図１６の紙面に向かって上側及び下側に異色であるＲフィルタ及びＢフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向異色隣接画素）である。又、図１６の符号４Ｂで示されるＧフィルタを有する画素は、図１６の紙面に向かって上側及び下側に異色であるＢフィルタ及びＲフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向異色隣接画素）である。

そして、異常斜め入射光検出部３４では、上述した、第１の第２方向同色隣接画素（図１６の符号１Ｂ）、第２の第２方向同色隣接画素（図１６の符号２Ｂ）、第１の第２方向異色隣接画素（図１６の符号３Ｂ）、及び第２の第２方向異色隣接画素（図１６の符号４Ｂ）の画素データを比較し、第１の第２方向同色隣接画素（図１６の符号１Ｂ）、第２の第２方向同色隣接画素（図１６の符号２Ｂ）の値が同じであり、且つ第１の第２方向異色隣接画素（図１６の符号３Ｂ）と、第２の第２方向異色隣接画素（図１６の符号４Ｂ）との値が異なる場合には、垂直方向からの異常斜め入射光の存在が検出される。

又、図１６及び図１７に示すように、撮像装置１０の他の実施形態（変形例３）では、Ｇフィルタを有する画素が水平方向に連続して並んでおり、又はＧフィルタを有する画素が垂直方向に連続して並んでいるので、異常斜め入射光の方向をより容易に行うことができる。

更に、異常斜め入射光検出部３４は、画素ブロックＱ（図１６において点線で図示）に含まれるＧフィルタを有する５画素の画素データに基づいて、水平方向又は垂直方向に撮像素子２２へ入射する異常斜め入射光を検出することができる。

図１８では、図１６で示されたカラーフィルタ配列を有する撮像素子２２の、水平方向から異常斜め入射光が入射している場合を示している。又、図１９では、図１６で示されたカラーフィルタ配列を有する撮像素子２２の、垂直方向からの異常斜め入射光が入射している場合を示している。

図１８では、水平方向に、連続して配列されるＧフィルタを有する画素の画素データはＧｇとなる。言い換えると、Ｇｇの値を示す画素データが水平方向に連続して配列されている。この場合には、水平方向からの異常斜め入射光が検出される。

一方、図１９では、垂直方向に、連続して配列されるＧフィルタを有する画素の画素データはＧｇとなる。言い換えると、Ｇｇの値を示す画素データが垂直方向に連続して配列されている。この場合には、垂直方向からの異常斜め入射光が検出される。

又、複数の画素は、少なくともＧフィルタ、Ｒフィルタ、及びＢフィルタを有する画素によって構成さる。又、Ｇフィルタを有する画素が出力する画素データは、輝度信号を得るのに最も寄与する。

又、第１色の画素は、緑色、透明、又は白色のカラーフィルタを有する。透明フィルタ及び白色フィルタは、赤波長域の光、青波長域の光及び緑波長域の光のいずれも透過するフィルタであり、透明フィルタは比較的高い光透過率（例えば７０％以上の光透過率）を有し、白色フィルタは透明フィルタよりも低い光透過率を有する。

又、「第１の方向」及び「第２の方向」は、特に限定されず、相互に垂直（実質的に垂直を含む）を形成する方向であればよい。例えば、撮像装置による撮像時に被写体に対する「水平方向」及び「垂直方向」を「第１の方向」及び「第２の方向」としてもよいし、これらの「水平方向」及び「垂直方向」に対して任意の角度を持つ方向を「第１の方向」及び「第２の方向」としてもよい。したがって、水平方向及び垂直方向に２次元的に配列された複数の画素を４５度回転させた所謂「ハニカム型の配列」で複数の画素が配置される場合には、「水平方向」及び「垂直方向」と４５度を成す方向を「第１の方向」及び「第２の方向」として扱いうる。

撮像素子２２の受光面上に配置されているカラーフィルタ配列は、ここに示した配列以外も、採用することが可能である。例えば、第１の方向及び第２の方向に関してＮ画素×Ｍ画素（Ｎは３以上の整数、Ｍは３以上の整数）の配列群を基本配列画素群とし、基本配列画素群が、第１の方向及び第２の方向に並置されている配列を採用することができる。そして、基本配列画素群の各々は、第１の第１方向同色隣接画素、第２の第１方向同色隣接画素、第１の第１方向異色隣接画素、第２の第１方向異色隣接画素、第１の第２方向同色隣接画素、第２の第２方向同色隣接画素、第１の第２方向異色隣接画素、及び第２の第２方向異色隣接画素を含む配列も採用し得る。例えば、対応する配列として、図２０に示すような３画素×３画素の基本配列画素群Ｐが水平方向（第１の方向）及び垂直方向（第２の方向）に並置されるものが挙げられる。

例えば、図２０の符号１が付された画素は、水平方向の紙面に向かって左側に同色のＧフィルタを有する画素と隣接するように配置されているので、第１の第１方向同色隣接画素である。又、図２０の符号１が付された画素は、垂直方向の紙面に向かって上側に異色のＲフィルタを有する画素と隣接するように配置されているので、第２の第２方向異色隣接画素である。図２０の符号２が付された画素は、水平方向の紙面に向かって左側に同色のＧフィルタを有する画素と隣接するように配置されているので、第２の第１方向同色隣接画素である。又、図２０の符号２が付された画素は、垂直方向の紙面に向かって上側に同色のＧフィルタを有する画素と隣接するように配置されているので、第１の第２方向同色隣接画素である。

図２０の符号３が付された画素は、水平方向の紙面に向かって左側に異色のＢフィルタを有する画素と隣接するように配置されているので、第１の第１方向異色隣接画素である。又、図２０の符号３が付された画素は、垂直方向の紙面に向かって上側に同色のＧフィルタを有する画素と隣接するように配置されているので、第２の第２方向同色隣接画素である。図２０の符号４が付された画素は、水平方向の紙面に向かって左側に異色のＲフィルタを有する画素と隣接するように配置されているので、第２の第１方向異色隣接画素である。又、図２０の符号４が付された画素は、垂直方向の紙面に向かって上側に異色のＢフィルタを有する画素と隣接するように配置されているので、第１の第２方向異色隣接画素である。

尚、基本配列画素群Ｐの大きさとしては、基本配列画素群の画素数が増加するとデモザイク処理等の信号処理が複雑化してしまう。したがって、信号処理の複雑化を防止する観点からは、基本配列画素群のサイズは大きすぎない１０画素×１０画素以下が好ましく、より好ましくは８画素×８画素以下のサイズが好ましい。

＜スマートフォンの構成＞
図２１は、本発明の撮像装置１０の一実施形態であるスマートフォン１０１の外観を示すものである。図２１に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備えている。又、係る筐体１０２は、スピーカ１３１と、マイクロホン１３２、操作部１４０と、カメラ部１４１とを備えている。尚、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２２は、図２１に示すスマートフォン１０１の構成を示すブロック図である。図２２に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。又、スマートフォン１０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１００の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部１２０は、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。

表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図２１に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しており、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。又、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更に又、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザーの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０あるいは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。又、図２１に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２１に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、又ストリーミングデータなどを一時的に記憶するものである。又、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。尚、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続する為のものである。

スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン１０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。係る検出結果は、主制御部１００に出力されるものである。

電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御するものである。又、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行う為に、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

又、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

更に、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動する為のアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成する為のウィンドウを表示する。尚、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付ける為のソフトウェアキーのことをいう。

又、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

又、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子２２を用いて電子撮影するデジタルカメラである。又、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図２１に示すにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、あるいは、複数のカメラ部１４１が搭載されてもよい。尚、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部１４１を同時に使用して撮影することもできる。

又、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力のひとつとして、カメラ部１４１の画像を利用することができる。又、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。更には、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記録したり、入出力部１６０や無線通信部１１０を通じて出力することもできる。

上述のスマートフォン１０１において、画像処理部２８（異常斜め入射光検出部３４及び補正部３６を含む）は、例えば主制御部１００、記憶部１５０等によって適宜実現可能である。

上述した実施形態の機能を実現するように上述した実施形態の構成を動作させるプログラムを記憶媒体に記憶させ、該記憶媒体に記憶されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も上述の実施形態の範疇に含まれる。即ちコンピュータ読み取り可能な記憶媒体も実施例の範囲に含まれる。また、上述のコンピュータプログラムが記憶された記憶媒体はもちろんそのコンピュータプログラム自体も上述の実施形態に含まれる。

かかる記憶媒体としてはたとえばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。

また上述の記憶媒体に記憶されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作し上述の実施形態の動作を実行するものも上述した実施形態の範疇に含まれる。

本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置、１２…ＣＰＵ、１４…操作部、１６…デバイス制御部、１８…レンズ部、２０…シャッタ、２２…撮像素子、２４…Ａ／Ｄ変換器、２５…表示部、２６…メモリ部、２８…画像処理部、３０…エンコーダ、３２…ドライバ、３４…異常斜め入射光検出部、３６…補正部、１０１…スマートフォン、Ｐ…基本配列画素群

Claims (18)

1. 第１の方向及び当該第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子であって、前記複数の画素の各々がカラーフィルタと、当該カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有する撮像素子と、
   前記画素データに基づいて、前記撮像素子への異常斜め入射光の入射を検出する異常斜め入射光検出手段と、
   前記異常斜め入射光検出手段の検出結果に基づいて、前記異常斜め入射光が入射される前記フォトダイオードを有する画素の前記画素データを補正する補正手段と、を備える撮像装置であって、
   前記複数の画素は、第１の色のカラーフィルタを有する画素と前記第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第１の第１方向同色隣接画素と、第１の色のカラーフィルタを有する画素と前記第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第２の第１方向同色隣接画素と、第１の色と異色のカラーフィルタを有する画素と前記第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第１の第１方向異色隣接画素と、第１の色と異色のカラーフィルタを有する画素と前記第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第２の第１方向異色隣接画素とを含み、
   前記異常斜め入射光検出手段は、前記第１の第１方向同色隣接画素、前記第２の第１方向同色隣接画素、前記第１の第１方向異色隣接画素及び前記第２の第１方向異色隣接画素の前記画素データに基づいて、前記撮像素子へ前記第１の方向に入射する異常斜め入射光を検出する撮像装置。
   
2. 前記複数の画素は、第１の色のカラーフィルタを有する画素と前記第２の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第１の第２方向同色隣接画素と、第１の色のカラーフィルタを有する画素と前記第２の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第２の第２方向同色隣接画素と、第１の色と異色のカラーフィルタを有する画素と前記第２の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第１の第２方向異色隣接画素と、第１の色と異色のカラーフィルタを有する画素と前記第２の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第２の第２方向異色隣接画素とを含み、
   前記異常斜め入射光検出手段は、前記第１の第２方向同色隣接画素、前記第２の第２方向同色隣接画素、前記第１の第２方向異色隣接画素及び前記第２の第２方向異色隣接画素の前記画素データに基づいて、前記撮像素子へ前記第２の方向に入射する異常斜め入射光を検出する請求項１記載の撮像装置。
   
3. 前記異常斜め入射光検出手段は、前記第１の第１方向同色隣接画素の前記画素データ及び前記第２の第１方向同色隣接画素の前記画素データが同じであり、且つ、前記第１の第１方向異色隣接画素及び前記第２の第１方向異色隣接画素の前記画素データが、前記第１の第１方向同色隣接画素及び前記第２の第１方向同色隣接画素の前記画素データと異なる場合に、前記撮像素子へ前記第１の方向に入射する異常斜め入射光を検出し、
   前記異常斜め入射光検出手段は、前記第１の第２方向同色隣接画素の前記画素データ及び前記第２の第２方向同色隣接画素の前記画素データが同じであり、且つ、前記第１の第２方向異色隣接画素及び前記第２の第２方向異色隣接画素の前記画素データが、前記第１の第２方向同色隣接画素及び前記第２の第２方向同色隣接画素の前記画素データと異なる場合に、前記撮像素子へ前記第２の方向に入射する異常斜め入射光を検出する請求項２に記載の撮像装置。
   
4. Ｎが３以上の整数であり、Ｍが３以上の整数である場合、前記複数の画素は、前記第１の方向及び前記第２の方向に関してＮ画素×Ｍ画素の配列を有する基本配列画素群であって、前記第１の方向及び前記第２の方向に並置される複数の基本配列画素群を含み、
   前記基本配列画素群の各々は、前記第１の第１方向同色隣接画素、前記第２の第１方向同色隣接画素、前記第１の第１方向異色隣接画素、前記第２の第１方向異色隣接画素、前記第１の第２方向同色隣接画素、前記第２の第２方向同色隣接画素、前記第１の第２方向異色隣接画素、及び前記第２の第２方向異色隣接画素を含む請求項２又は３に記載の撮像装置。
   
5. 前記複数の画素は、同色のカラーフィルタを有する画素と前記第１の方向の正方向に隣接し且つ異色のカラーフィルタを有する画素と前記第１の方向の負方向に隣接する第１の色のカラーフィルタを有する第１の第１色画素及び第２の第１色画素と、同色のカラーフィルタを有する画素と前記第１の方向の負方向に隣接し且つ異色のカラーフィルタを有する画素と前記第１の方向の正方向に隣接する第１の色のカラーフィルタを有する第３の第１色画素及び第４の第１色画素と、同色のカラーフィルタを有する画素と前記第２の方向の正方向に隣接し且つ異色のカラーフィルタを有する画素と前記第２の方向の負方向に隣接する第１の色のカラーフィルタを有する第５の第１色画素及び第６の第１色画素と、同色のカラーフィルタを有する画素と前記第２の方向の負方向に隣接し且つ異色のカラーフィルタを有する画素と前記第２の方向の正方向に隣接する第１の色のカラーフィルタを有する第７の第１色画素及び第８の第１色画素と、を含み、
   前記第１の第１方向同色隣接画素、前記第２の第１方向同色隣接画素、前記第１の第１方向異色隣接画素及び前記第２の第１方向異色隣接画素の各々は、前記第１の第１色画素、前記第２の第１色画素、前記第３の第１色画素及び前記第４の第１色画素のいずれかによって構成され、
   前記第１の第２方向同色隣接画素、前記第２の第２方向同色隣接画素、前記第１の第２方向異色隣接画素及び前記第２の第２方向異色隣接画素の各々は、前記第５の第１色画素、前記第６の第１色画素、前記第７の第１色画素及び前記第８の第１色画素のいずれかによって構成され、
   前記異常斜め入射光検出手段は、前記第１の第１色画素、前記第２の第１色画素、前記第３の第１色画素及び前記第４の第１色画素の前記画素データに基づいて、前記撮像素子へ前記第１の方向に入射する異常斜め入射光が、前記第１の方向の正方向及び負方向のいずれの方向に入射するかを判定し、
   前記異常斜め入射光検出手段は、前記第５の第１色画素、前記第６の第１色画素、前記第７の第１色画素及び前記第８の第１色画素の前記画素データに基づいて、前記撮像素子へ前記第２の方向に入射する異常斜め入射光が、前記第２の方向の正方向及び負方向のいずれの方向に入射するかを判定する請求項２から４のいずれか１項に記載の撮像装置。
   
6. 前記補正手段は、前記異常斜め入射光検出手段により前記撮像素子へ前記第１の方向に入射する異常斜め入射光が検出された場合、前記第１の第１色画素、前記第２の第１色画素、前記第３の第１色画素及び前記第４の第１色画素のうち、同じ画素データを出力する画素の前記画素データを使って、前記異常斜め入射光が入射される前記フォトダイオードを有する画素の前記画素データを補正し、
   前記補正手段は、前記異常斜め入射光検出手段により前記撮像素子へ前記第２の方向に入射する異常斜め入射光が検出された場合、前記第５の第１色画素、前記第６の第１色画素、前記第７の第１色画素及び前記第８の第１色画素のうち、同じ画素データを出力する画素の前記画素データを使って、前記異常斜め入射光が入射される前記フォトダイオードを有する画素の前記画素データを補正する請求項５に記載の撮像装置。
   
7. 前記第１の第１方向異色隣接画素に対して前記第１の方向に隣接配置される前記第１の色と異色のカラーフィルタを有する画素と、前記第２の第１方向異色隣接画素に対して前記第１の方向に隣接配置される前記第１の色と異色のカラーフィルタを有する画素とは、異なる色のカラーフィルタを有し、
   前記第１の第２方向異色隣接画素に対して前記第２の方向に隣接配置される前記第１の色と異色のカラーフィルタを有する画素と、前記第２の第２方向異色隣接画素に対して前記第２の方向に隣接配置される前記第１の色と異色のカラーフィルタを有する画素とは、異なる色のカラーフィルタを有する請求項５又は６に記載の撮像装置。
   
8. 前記複数の画素は、前記第１の方向及び前記第２の方向に関して２画素×２画素配列された第１の色のカラーフィルタを有する画素によって構成される第１色画素群を含み、
   前記第１色画素群を構成する画素は、前記第１の第１方向同色隣接画素、前記第２の第１方向同色隣接画素、前記第１の第１方向異色隣接画素及び前記第２の第１方向異色隣接画素を構成し、且つ、前記第１の第２方向同色隣接画素、前記第２の第２方向同色隣接画素、前記第１の第２方向異色隣接画素及び前記第２の第２方向異色隣接画素を構成する請求項２から７のいずれか１項に記載の撮像装置。
   
9. 前記複数の画素は、前記第１の方向及び前記第２の方向に関して６画素×６画素配列される画素によって構成される複数の基本配列画素群であって、前記第１の方向及び前記第２の方向に並置される複数の基本配列画素群を含み、
   前記基本配列画素群の各々は、前記第１の方向及び前記第２の方向に関して３画素×３画素配列される画素によって構成される二つの第１サブ配列及び二つの第２サブ配列を含み、
   前記第１サブ配列は、中央に配置される第１の色のカラーフィルタを有する１画素と、四隅に配置される第１の色のカラーフィルタを有する４画素と、前記中央に配置される第１の色のカラーフィルタを有する１画素を挟むように前記第１の方向に配置される第２の色のカラーフィルタを有する２画素と、前記中央に配置される第１の色のカラーフィルタを有する１画素を挟むように前記第２の方向に配置される第３の色のカラーフィルタを有する２画素とを有し、
   前記第２サブ配列は、中央に配置される第１の色のカラーフィルタを有する１画素と、四隅に配置される第１の色のカラーフィルタを有する４画素と、前記中央に配置される第１の色のカラーフィルタを有する１画素を挟むように前記第１の方向に配置される第３の色のカラーフィルタを有する２画素と、前記中央に配置される第１の色のカラーフィルタを有する１画素を挟むように前記第２の方向に配置される第２の色のカラーフィルタを有する２画素とを有し、
   前記第１サブ配列は、前記第１の方向及び前記第２の方向に前記第２サブ配列と隣接配置され、
   前記第１色画素群は、前記二つの第１サブ配列及び前記二つの第２サブ配列によって構成される請求項８に記載の撮像装置。
   
10. 前記複数の画素は、前記第１の方向及び前記第２の方向に関して４画素×４画素配列される画素によって構成される複数の基本配列画素群であって、前記第１の方向及び前記第２の方向に並置される複数の基本配列画素群を含み、
    前記基本配列画素群の各々は、前記第１の方向及び前記第２の方向に関して２画素×２画素配列される画素によって構成される二つの第１サブ配列及び二つの第２サブ配列を含み、
    前記第１サブ配列は第１の色のカラーフィルタを有する４画素によって構成され、前記第２サブ配列は第２の色のカラーフィルタを有する２画素及び第３の色のカラーフィルタを有する２画素によって構成され、
    前記第１サブ配列は、前記第１の方向及び前記第２の方向に前記第２サブ配列と隣接配置され、
    前記第１色画素群は、前記第１サブ配列によって構成される請求項８に記載の撮像装置。
    
11. 前記複数の画素は、前記第１の方向及び前記第２の方向に関して６画素×６画素配列される画素によって構成される複数の基本配列画素群であって、前記第１の方向及び前記第２の方向に並置される複数の基本配列画素群を含み、
    前記基本配列画素群の各々は、前記第１の方向及び前記第２の方向に関して３画素×３画素配列される画素によって構成される二つの第１サブ配列及び二つの第２サブ配列を含み、
    前記第１サブ配列は、中央に配置される第２の色のカラーフィルタを有する１画素と、四隅に配置される第３の色のカラーフィルタを有する４画素と、前記四隅の画素の各々間に配置される第１の色のカラーフィルタを有する４画素とを有し、
    前記第２サブ配列は、中央に配置される第３の色のカラーフィルタを有する１画素と、四隅に配置される第２の色のカラーフィルタを有する４画素と、前記四隅の画素の各々間に配置される第１の色のカラーフィルタを有する４画素とを有し、
    前記第１サブ配列は、前記第１の方向及び前記第２の方向に前記第２サブ配列と隣接配置され、
    前記第１の方向に隣接する前記第１サブ配列及び前記第２サブ配列の第１の色のカラーフィルタを有する画素のうち前記第１の方向に相互に隣接する第１の色のカラーフィルタを有する画素によって、前記第１の第１方向同色隣接画素、前記第２の第１方向同色隣接画素、前記第１の第１方向異色隣接画素及び前記第２の第１方向異色隣接画素が構成され、
    前記第２の方向に隣接する前記第１サブ配列及び前記第２サブ配列の第１の色のカラーフィルタを有する画素のうち前記第２の方向に相互に隣接する第１の色のカラーフィルタを有する画素によって、前記第１の第２方向同色隣接画素、前記第２の第２方向同色隣接画素、前記第１の第２方向異色隣接画素及び前記第２の第２方向異色隣接画素が構成される請求項２から７のいずれか１項に記載の撮像装置。
    
12. 前記複数の画素は、前記第１の方向及び前記第２の方向に関して３画素×３画素配列される画素ブロックであって、四隅に配置される第２の色のカラーフィルタを有する２画素及び第３の色のカラーフィルタを有する２画素と、前記第１の方向及び前記第２の方向に関して十字状に配置される第１の色のカラーフィルタを有する５画素によって構成される画素ブロックを含み、
    前記異常斜め入射光検出手段は、前記画素ブロックに含まれる第１の色のカラーフィルタを有する５画素の前記画素データに基づいて、前記第１の方向又は前記第２の方向に前記撮像素子へ入射する異常斜め入射光を検出する請求項２から４のいずれか１項に記載の撮像装置。
    
13. 前記補正手段は、前記異常斜め入射光検出手段により前記撮像素子へ前記第１の方向に入射する異常斜め入射光が検出された場合、第１の色のカラーフィルタを有する画素と前記第１の方向に隣接配置される第１の色のカラーフィルタを有する画素の前記画素データを使って、前記異常斜め入射光が入射される前記フォトダイオードを有する画素の前記画素データを補正し、
    前記補正手段は、前記異常斜め入射光検出手段により前記撮像素子へ前記第２の方向に入射する異常斜め入射光が検出された場合、第１の色のカラーフィルタを有する画素と前記第２の方向に隣接配置される第１の色のカラーフィルタを有する画素の前記画素データを使って、前記異常斜め入射光が入射される前記フォトダイオードを有する画素の前記画素データを補正する請求項１２に記載の撮像装置。
    
14. 前記複数の画素は、前記第１の方向及び前記第２の方向に関して４画素×４画素配列される画素によって構成される複数の基本配列画素群であって、前記第１の方向及び前記第２の方向に並置される複数の基本配列画素群を含み、
    前記基本配列画素群の各々は、前記第１の方向及び前記第２の方向に関して２画素×２画素配列される画素によって構成される二つの第１サブ配列及び二つの第２サブ配列を含み、
    前記第１サブ配列は第１の色のカラーフィルタを有する３画素及び第２の色のカラーフィルタを有する１画素によって構成され、前記第２サブ配列は第１の色のカラーフィルタを有する３画素及び第３の色のカラーフィルタを有する１画素によって構成され、前記第１サブ配列における前記第２の色のカラーフィルタを有する画素の位置と前記第２サブ配列における前記第３の色のカラーフィルタを有する画素の位置とは対応し、
    前記第１サブ配列は、前記第１の方向及び前記第２の方向に前記第２サブ配列と隣接配置され、
    前記画素ブロックは、前記基本配列画素群の各々における第２の色のカラーフィルタを有する２画素、第３の色のカラーフィルタを有する２画素及び第１の色のカラーフィルタを有する５画素によって構成される請求項１２又は１３に記載の撮像装置。
    
15. 前記複数の画素は、少なくとも１以上の色の前記カラーフィルタによって構成される第１色の画素と、前記第１色以外の少なくとも２以上の色の前記カラーフィルタによって構成される第２色の画素とを含み、
    前記第１色の画素は、輝度信号を得るための寄与率が前記第２色の画素の前記カラーフィルタよりも高い色の前記カラーフィルタを有し、
    前記第１の色のカラーフィルタを有する画素は、前記第１色の画素によって構成される請求項１から１４のいずれか１項に記載の撮像装置。
    
16. 前記第１色の画素は、緑色、透明、又は白色のカラーフィルタを有する請求項１５に記載の撮像装置。
    
17. カラーフィルタと当該カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有し、第１の方向及び当該第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子への異常斜め光の入射を前記画素データに基づいて検出する異常斜め入射光検出ステップと、
    前記異常斜め入射光検出ステップの検出結果に基づいて、前記異常斜め入射光が入射される前記フォトダイオードを有する画素の前記画素データを補正する補正ステップと、を備える画像処理方法であって、
    前記複数の画素は、第１の色のカラーフィルタを有する画素と前記第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第１の第１方向同色隣接画素と、第１の色のカラーフィルタを有する画素と前記第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第２の第１方向同色隣接画素と、第１の色と異色のカラーフィルタを有する画素と前記第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第１の第１方向異色隣接画素と、第１の色と異色のカラーフィルタを有する画素と前記第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第２の第１方向異色隣接画素とを含み、
    前記異常斜め入射光検出ステップは、前記第１の第１方向同色隣接画素、前記第２の第１方向同色隣接画素、前記第１の第１方向異色隣接画素及び前記第２の第１方向異色隣接画素の前記画素データに基づいて、前記撮像素子へ前記第１の方向に入射する異常斜め入射光を検出する画像処理方法。
    
18. カラーフィルタと当該カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有し、第１の方向及び当該第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子への異常斜め光の入射を前記画素データに基づいて検出する異常斜め入射光検出ステップと、
    前記異常斜め入射光検出ステップの検出結果に基づいて、前記異常斜め入射光が入射される前記フォトダイオードを有する画素の前記画素データを補正する補正ステップと、をコンピュータに実行させるためのプログラムであって、
    前記複数の画素は、第１の色のカラーフィルタを有する画素と前記第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第１の第１方向同色隣接画素と、第１の色のカラーフィルタを有する画素と前記第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第２の第１方向同色隣接画素と、第１の色と異色のカラーフィルタを有する画素と前記第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第１の第１方向異色隣接画素と、第１の色と異色のカラーフィルタを有する画素と前記第１の方向に隣接配置される第１の色のカラーフィルタを有する画素によって構成される第２の第１方向異色隣接画素とを含み、
    前記異常斜め入射光検出ステップは、前記第１の第１方向同色隣接画素、前記第２の第１方向同色隣接画素、前記第１の第１方向異色隣接画素及び前記第２の第１方向異色隣接画素の前記画素データに基づいて、前記撮像素子へ前記第１の方向に入射する異常斜め入射光を検出するプログラム。

Images