WO2014136570A1

WO2014136570A1 - 撮像装置、画像処理装置、画像処理方法及びプログラム

Info

Publication number: WO2014136570A1
Application number: PCT/JP2014/053817
Authority: WO
Inventors: 智行河合; 林　健吉; 秀和倉橋
Original assignee: 富士フイルム株式会社
Priority date: 2013-03-05
Filing date: 2014-02-18
Publication date: 2014-09-12
Also published as: JP5802858B2; US20150326838A1; CN104995912B; US9363491B2; JPWO2014136570A1; CN104995912A

Abstract

　撮像素子が複雑なカラーフィルタ配列を有する場合であっても、異常斜め入射光の入射の有無及び入射方向を簡便に検出することができる撮像装置、画像処理装置、画像処理方法及びプログラムを提供する。撮像素子を構成する画素は、隣接画素のカラーフィルタパターンが相互に異なる少なくとも４種類の判定用画素を含む。判定用画素の各々に対して隣接する画素のうち少なくとも１つは、第１色のカラーフィルタを有する第１色の画素である。また、判定用画素の各々に対する隣接画素のうち、判定用画素を挟んで第１色の画素と対向する位置に配置される画素は、第１色のカラーフィルタ以外のカラーフィルタを有する。これらの判定用画素の種類毎の画素データの平均値に基づいて、撮像素子に入射する異常斜め入射光が検出される。

Description

撮像装置、画像処理装置、画像処理方法及びプログラム

　本発明は撮像装置、画像処理装置、画像処理方法及びプログラムに係り、特に、異常斜め入射光の検出技術に関する。

　一般に、モザイク状のカラーフィルタ配列を有する単板方式の撮像素子では、隣接画素からの光の漏れ込みによる混色が発生する。混色の影響が大きいＲＧＢの色信号をデジタル信号処理して画像を生成すると画像の色再現性（画質）が低下し、また混色の影響が大きいＲＧＢの色信号からはホワイトバランス（ＷＢ）補正用のＷＢゲインを精度良く算出することが難しい。

　デジタルカメラ等の撮像装置によって被写体像を撮影する際に強い光がレンズに入射すると、撮影レンズやマイクロレンズなどの表面で反射した光がレンズ内部やカメラ内部で複雑に反射し、意図しない角度で進行する光が撮像素子によって受光されることがある。このように、意図していない角度から撮像素子に入射する異常斜め入射光は、いわゆるゴーストやフレア等の現象を起こし、撮影画像の画質を劣化させる。

　とりわけ異常斜め入射光の入射角度が大きい場合には、異常斜め入射光が入射するカラーフィルタが構成する画素と、異常斜め入射光が受光されるフォトダイオードが構成する画素とが対応しない場合がある。異常斜め入射光が通過したカラーフィルタと、実際にこの異常斜め入射光が受光されたフォトダイオードとが完全には対応しない場合、混色現象が生じ、撮影画像の色再現性の劣化を招く。この混色現象は、特に長波長成分（例えば赤色光成分）を含む異常斜め入射光によって、引き起こされ易い。

　混色の影響を軽減する手法として、ゴースト等の発生箇所を検出して、画素間の画素データ出力差（段差）を補正する技術が提案されている。例えば特許文献１は、ベイヤ配列において、所定領域毎にＧｒ／Ｇｂの平均画素値を求め、相対差分値と閾値との比較累積値をカウントし、段差の有無を検出する技術を開示する。

　また特許文献２は、ベイヤ配列において、基準パターンを用いてＭＣＵ単位（８ライン×１６画素）でノイズを検出する技術を開示する。この特許文献２の技術によれば、色ノイズ判定用の基準パターン１００Ｐ（５×５画素）が保持され、この基準パターン１００Ｐとの一致により色ノイズが検出される。

　また特許文献３は、画像領域をブロック単位に分割し、ゴースト検出ブロック位置を特定し、ゴースト補正を行う技術を開示する。

特開２０１２－００９９１９号公報特開２００５－３３３２５１号公報特開２００８－０５４２０６号公報

　従来使用されてきた撮像素子は、比較的シンプルなカラーフィルタ配列を有することが多い。例えば広く使用されているベイヤ配列では、隣接配置される「Ｒ画素及びＧ画素」と「Ｇ画素及びＢ画素」とによって構成される２画素（水平方向）×２画素（垂直方向）の計４画素が水平方向及び垂直方向に繰り返し配置されることでカラーフィルタ配列が構成される。

　このようなシンプルなカラーフィルタ配列を有する撮像素子では、混色現象も比較的単純であるため、比較的簡単な混色補正によって画像データ上で混色の影響を低減することが可能である。

　しかしながら、最近では比較的複雑なカラーフィルタ配列を有する撮像素子も使用され、同色のカラーフィルタを有する画素同士であっても、隣接する画素（カラーフィルタ）の種類が異なる画素が多数存在する場合がある。例えば緑色のカラーフィルタを有する画素（Ｇ画素）は、ベイヤ配列では隣接する画素タイプ（カラーフィルタタイプ）によって２種類に分類されるが、複雑なカラーフィルタ配列では非常に多種類（例えば１０種類以上）に分類される。

　混色の影響は隣接画素の種類によって変動するため、同色のカラーフィルタを有する画素であっても、隣接する画素（カラーフィルタ）の種類に応じた混色補正を行うことが好ましい。

　しかしながら、複雑なカラーフィルタ配列を有する撮像素子では混色現象も複雑化し、本来同一又は近似する画素データを出力する近接同色画素であっても、混色現象によって、隣接画素のカラーフィルタの種類に応じた異なる画素データが近接同色画素から出力される。

　特にゴースト光のように通常光とは異なる入射角の光（異常斜め入射光）が撮像素子に入射すると、隣接画素のカラーフィルタを通過したゴースト光の漏れ込みにより、近接同色画素間で画素データの不自然な相違（同色段差）が発生する。この段差現象は、同色画素であっても隣接画素タイプによる種類が多くなるほど複雑化する。複雑なカラーフィルタ配列を有する撮像素子においてゴースト光の入射により発生した複雑な混色現象は、通常の混色補正では十分には補正することができない。

　このような複雑なカラーフィルタ配列を有する撮像素子から出力される画像データにおいて、ゴースト光等の異常斜め入射光によってもたらされる混色現象の影響を軽減するためには、異常斜め入射光の入射の有無、入射方向等を正確に把握することが大切である。

　本発明は上述の事情に鑑みてなされたものであり、撮像素子が複雑なカラーフィルタ配列を有する場合であっても、異常斜め入射光の入射の有無及び入射方向を簡便に検出することができる技術を提供することを目的とする。

　本発明の一態様は、第１の方向及び第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子であって、複数の画素の各々がカラーフィルタと、カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有する撮像素子と、画素データに基づいて、撮像素子に入射する異常斜め入射光を検出する異常斜め入射光検出手段と、を備える撮像装置であって、複数の画素は、第１の方向の正方向及び負方向に隣接する画素及び第２の方向の正方向及び負方向に隣接する画素のカラーフィルタのパターンが相互に異なる少なくとも４種類の判定用画素を含み、判定用画素の各々に対して第１の方向の正方向及び負方向に隣接する画素及び第２の方向の正方向及び負方向に隣接する画素のうち少なくとも１つは、第１色のカラーフィルタを有する第１色の画素であり、判定用画素の各々に対して第１の方向の正方向及び負方向に隣接する画素及び第２の方向の正方向及び負方向に隣接する画素のうち、判定用画素を挟んで第１色の画素と対向する位置に配置される画素は、第１色のカラーフィルタ以外のカラーフィルタを有し、異常斜め入射光検出手段は、撮像素子内のエリアであって、各種類の判定用画素を複数含むエリア内における判定用画素の種類毎の画素データの平均値に基づいて、撮像素子に入射する異常斜め入射光を検出する撮像装置に関する。

　本態様によれば、撮像素子のエリア内における判定用画素の種類毎の画素データの平均値に基づいて、撮像素子に入射する異常斜め入射光を検出することができる。特に、撮像素子が複雑なカラーフィルタ配列を有していても、上述の条件を満たす判定用画素を含む場合には、撮像素子から出力される画像データに基づいて異常斜め入射光の有無及び入射方向を簡便に検出することが可能である。

　ここでいう「異常斜め入射光」とは、被写体像に関する通常の入射光とは異なる角度で画素（フォトダイオード）に入射する光成分であって、通過するカラーフィルタと受光するフォトダイオードとが同一画素を構成しない光成分を意味する。したがって、所謂ゴーストやフレア等の現象の要因となる光成分が、ここでいう異常斜め入射光に含まれうる。

　「撮像素子内のエリア」は、撮像素子の任意のエリアであり、撮像素子の画素エリアの一部又は全部を「撮像素子内のエリア」に設定しうる。なお、ここでいう「撮像素子内のエリア」は、予め定められた所定エリアであってもよいが、固定エリア・設定済みエリアに限定されるものではなく、予め定められていない可変エリアであってもよい。したがって、例えば、同色段差が目立ち易いコントラストの低い平坦な領域、顔検出された領域、等の領域のように異常斜め入射光の検出を優先的に行う領域がある場合には、優先度に応じて、上記の「撮像素子内のエリア」を可変とする態様も考えうる。

　望ましくは、異常斜め入射光検出手段は、エリア内における判定用画素の種類毎の画素データの平均値に基づいて、撮像素子に入射する異常斜め入射光の入射方向を検出する。

　本態様によれば、判定用画素の画素データに基づいて、異常斜め入射光の入射方向を検出することができる。

　望ましくは、撮像素子に対する異常斜め入射光の入射に関する情報と、エリア内における判定用画素の種類毎の画素データの平均値に基づくデータパターンとを対応づけた判別テーブルを記憶する記憶手段を更に備え、異常斜め入射光検出手段は、判別テーブルを参照して、撮像素子に入射する異常斜め入射光を検出する。

　本態様によれば、判別テーブルを参照して、異常斜め入射光を簡便に検出することができる。

　なお、「エリア内における判定用画素の種類毎の画素データの平均値に基づくデータパターン」とは、判定用画素の種類毎の画素データの平均値自体のデータパターンであってもよいし、そのような平均値から導出される他の基準に基づくデータパターンであってもよい。

　望ましくは、判別テーブルにおける、撮像素子に対する異常斜め入射光の入射に関する情報は、異常斜め入射光の色種類毎に定められており、異常斜め入射光検出手段は、撮像素子のエリア内におけるカラーフィルタの色種類毎の画素データに基づいて、異常斜め入射光の色種類を検知し、検知した異常斜め入射光の色種類に対応する判別テーブルを参照して撮像素子に入射する異常斜め入射光を検出する。

　本態様によれば、検知した異常斜め入射光の色種類に対応する判別テーブルを参照して、検知対象の異常斜め入射光を精度良く検出することができる。

　望ましくは、判別テーブルは、少なくとも４種類の判定用画素の種類毎の画素データの平均値の合計の平均値又は少なくとも４種類の判定用画素の種類毎の画素データの平均値の中央値を基準とした、少なくとも４種類の判定用画素の種類毎の画素データの比率を示すデータパターンと、撮像素子に対する異常斜め入射光の入射に関する情報とを対応づける。

　本態様によれば、判定用画素の種類毎の画素データの比率から簡便且つ正確に異常斜め入射光の入射に関する情報を取得することができ、異常斜め入射光の検出に必要なメモリや回路を簡易なものとすることが可能である。

　望ましくは、判別テーブルは、少なくとも４種類の判定用画素の種類毎の画素データの平均値の大きさに基づく順位と、撮像素子に対する異常斜め入射光の入射に関する情報とを対応づけており、異常斜め入射光検出手段は、エリア内における少なくとも４種類の判定用画素の種類毎の画素データの平均値に基づいて少なくとも４種類の判定用画素に順位を割り当て、判別テーブルを参照して撮像素子に入射する異常斜め入射光を検出する。

　本態様によれば、判定用画素の種類毎の画素データの平均値の大きさに基づく順位から、簡便且つ正確に異常斜め入射光の入射に関する情報を取得することができ、異常斜め入射光の検出に必要なメモリや回路を簡易なものとすることが可能である。

　望ましくは、複数の画素は、少なくとも、第１色種のカラーフィルタを有する画素と、第２色種のカラーフィルタを有する画素と、第３色種のカラーフィルタを有する画素とを含み、異常斜め入射光検出手段は、第１色種のカラーフィルタ、第２色種のカラーフィルタ及び第３色種のカラーフィルタのうち、検知した異常斜め入射光の色種類に対応する色種のカラーフィルタを第１色のカラーフィルタとして、少なくとも４種類の判定用画素を定める。

　本態様によれば、第１色種のカラーフィルタを有する画素、第２色種のカラーフィルタを有する画素及び第３色種のカラーフィルタを有する画素の中から判定用画素を適切に定めることができる。例えば撮像素子の構成画素がＲＧＢ（赤、緑、青）のカラーフィルタを有する場合、赤色異常斜め入射光、緑色異常斜め入射光及び青色異常斜め入射光のうち少なくともいずれかを検出することができる。

　望ましくは、異常斜め入射光検出手段は、撮像素子のエリア内において、第１色種のカラーフィルタを有する画素の画素データの平均値のＸ倍の値（０＜Ｘ≦１）、第２色種のカラーフィルタを有する画素の画素データの平均値のＹ倍の値（０＜Ｙ≦１）及び第３色種のカラーフィルタを有する画素の画素データの平均値のＺ倍の値（０＜Ｚ≦１）のうち、最も大きな値を示す色種のカラーフィルタに対応する色種類の異常斜め入射光が撮像素子に入射すると判定する。

　本態様によれば、Ｘ、Ｙ、Ｚを適宜設定することによって、所望の色種類の異常斜め入射光を優先的に検出することが可能である。

　望ましくは、異常斜め入射光検出手段の検出結果に基づいて、異常斜め入射光が検出されたフォトダイオードを有する画素の画素データを補正する補正手段を更に備える。

　本態様によれば、異常斜め入射光が検出されたフォトダイオードを有する画素の画素データを補正することができ、異常斜め入射光による混色の影響を効果的に取り除くことが可能である。例えば、異常斜め入射光が弱く入射（弱入射）した領域が存在するが、実際に使用されるデバイスの能力等のために、そのような異常斜め入射光が弱入射する領域を検出できない場合（撮影画像上では異常斜め入射光の影響が多少残存する場合）も、本態様の適用範囲に含まれうる。

　補正手段による補正方法は特に限定されず、異常斜め入射光による混色の影響を低減・除去するのに有効な任意の補正手法を採用することが可能である。例えば、異常斜め入射光による混色量を対応の画素データから取り除く補正手法を採用したり、異常斜め入射光によって生じた近接する同色画素間の画素データの相違（画素データ段差）を解消する補正手法を採用したりすることが可能である。

　望ましくは、エリアは、撮像素子の複数の画素のすべてを含む領域である。

　本態様によれば、撮像素子の構成画素のすべてを含む領域が単一の「エリア」として設定される。したがって、判定用画素の種類毎の画素データの平均値を算出する場合に、多数の画素データから画素データ平均値を算出することができるため、異常斜め入射光の検出精度が向上する。

　望ましくは、エリアは、撮像素子を複数の領域に分割した複数の分割領域の各々である。

　本態様によれば、複数の分割領域のうちの個々の領域が「エリア」として設定されるため、限定された領域において異常斜め入射光の検出を行うことができ、異常斜め入射光の影響を受ける画素領域を詳細に特定することができる。

　望ましくは、複数の分割領域は、撮像素子の複数の画素のすべてを含む。

　本態様によれば、撮像素子の構成画素のすべてが分割領域に分配されるため、撮像素子のすべての構成画素に対して異常斜め入射光の検出を精度良く行うことが可能である。

　望ましくは、撮像素子には、複数の第１の分割領域が設定されると共に、第１の分割領域とは異なる分割方式を有する複数の第２の分割領域が設定され、複数の第１の分割領域と複数の第２の分割領域とは、少なくとも部分的に、オーバーラップし、複数の画素は、第１の分割領域のいずれかに分類されると共に第２の分割領域のいずれかに分類される画素を含み、異常斜め入射光検出手段は、第１の分割領域の各々における判定用画素の種類毎の画素データの平均値に基づいて第１の分割領域の各々に入射する異常斜め入射光を検出し、第２の分割領域の各々における判定用画素の種類毎の画素データの平均値に基づいて第２の分割領域の各々に入射する異常斜め入射光を検出し、第１の分割領域の各々に入射する異常斜め入射光の検出結果及び第２の分割領域の各々に入射する異常斜め入射光の検出結果に基づいて、第１の分割領域の各々と第２の分割領域の各々とが重なる領域に入射する異常斜め入射光を検出する。

　本態様によれば、第１の分割領域と第２の分割領域とのオーバーラップ領域において、異常斜め入射光を精度良く検出することができ、異常斜め入射光によるゴースト等の混色が発生しているエリアをより正確に特定することができる。

　望ましくは、第２の分割領域の各々は、２以上の第１の分割領域と重なる。

　本態様によれば、第１の分割領域と第２の分割領域とのオーバーラップ領域は第１の分割領域及び第２の分割領域の個々の領域よりも限定されるため、より具体的なエリアにおいて異常斜め入射光を検出することができる。

　望ましくは、第１の分割領域の各々と第２の分割領域の各々とは、同じ形状及びサイズを有し、第１の方向及び第２の方向のうち少なくとも一方に関し、第１の分割領域の大きさの半分ずれるように、第１の分割領域と第２の分割領域とが設定される。

　本態様によれば、第１の分割領域と第２の分割領域とのオーバーラップ領域を規則的に配置することができ、広範囲にわたって、異常斜め入射光の影響を受ける画素領域を詳細に特定することができる。

　望ましくは、複数の画素は、所定のカラーフィルタ配列パターンを持つ複数の基本配列画素群であって、第１の方向及び第２の方向に並置される複数の基本配列画素群を含み、複数の基本配列画素群の各々は、少なくとも４種類の判定用画素のセットを少なくとも１組以上含む。

　本態様によれば、判定用画素が周期的に配置され、判定用画素の種類毎の画素データの平均値を精度良く算出することができる。特に、各基本配列画素群が判定用画素のセットを複数含む場合には、それらの判定用画素の複数セットを組み合わせることで、異常斜め入射光の検出精度を高めることが可能である。

　望ましくは、少なくとも４種類の判定用画素は、第１の判定用画素、第２の判定用画素、第３の判定用画素及び第４の判定用画素によって構成され、第１の判定用画素は、第１色の画素が第１の方向の正方向に隣接し、第１色のカラーフィルタ以外のカラーフィルタを有する画素が第１の方向の負方向、第２の方向の正方向、及び第２の方向の負方向に隣接し、第２の判定用画素は、第１色の画素が第１の方向の負方向に隣接し、第１色のカラーフィルタ以外のカラーフィルタを有する画素が第１の方向の正方向、第２の方向の正方向、及び第２の方向の負方向に隣接し、第３の判定用画素は、第１色の画素が第２の方向の正方向に隣接し、第１色のカラーフィルタ以外のカラーフィルタを有する画素が第１の方向の正方向、第１の方向の負方向、及び第２の方向の負方向に隣接し、第４の判定用画素は、第１色の画素が第２の方向の負方向に隣接し、第１色のカラーフィルタ以外のカラーフィルタを有する画素が第１の方向の正方向、第１の方向の負方向、及び第２の方向の正方向に隣接する。

　本態様の判定用画素によれば、画素データに基づいて、異常斜め入射光を検出することができる。

　望ましくは、少なくとも４種類の判定用画素は、第１の判定用画素、第２の判定用画素、第３の判定用画素及び第４の判定用画素によって構成され、第１の判定用画素は、第１色の画素が第１の方向の正方向及び第２の方向の正方向に隣接し、第１色のカラーフィルタ以外のカラーフィルタを有する画素が第１の方向の負方向及び第２の方向の負方向に隣接し、第２の判定用画素は、第１色の画素が第１の方向の負方向及び第２の方向の正方向に隣接し、第１色のカラーフィルタ以外のカラーフィルタを有する画素が第１の方向の正方向及び第２の方向の負方向に隣接し、第３の判定用画素は、第１色の画素が第１の方向の正方向及び第２の方向の負方向に隣接し、第１色のカラーフィルタ以外のカラーフィルタを有する画素が第１の方向の負方向及び第２の方向の正方向に隣接し、第４の判定用画素は、第１色の画素が第１の方向の負方向及び第２の方向の負方向に隣接し、第１色のカラーフィルタ以外のカラーフィルタを有する画素が第１の方向の正方向及び第２の方向の正方向に隣接する。

　望ましくは、第１色のカラーフィルタは、赤色フィルタ、透明フィルタ及び白色フィルタのうちのいずれかである。

　本態様によれば、混色現象を引き起こしやすい長波長成分を含む異常斜め入射光を検出することができる。

　望ましくは、基本配列画素群の各々は、第１の方向及び第２の方向に関して３画素×３画素の画素配列を有する２組の第１のサブ配列画素群及び２組の第２のサブ配列画素群を含み、第１のサブ配列画素群は第１の方向及び第２の方向に関して第２のサブ配列画素群と隣接し、第２のサブ配列画素群は第１の方向及び第２の方向に関して第１のサブ配列画素群と隣接し、第１のサブ配列画素群は、中央及び四隅に配置される第２色のカラーフィルタを有する第２色の画素と、中央の画素に対して第１の方向の正方向及び負方向に隣接する位置に配置される第１色の画素と、中央の画素に対して第２の方向の正方向及び負方向に隣接する位置に配置される第３色のカラーフィルタを有する第３色の画素と、を含み、第２のサブ配列画素群は、中央及び四隅に配置される第２色の画素と、中央の画素に対して第２の方向の正方向及び負方向に隣接する位置に配置される第１色の画素と、中央の画素に対して第１の方向の正方向及び負方向に隣接する位置に配置される第３色の画素と、を含み、第１のサブ配列画素群の四隅に配置される画素のうち一方の対角方向に配置される二画素と、第２のサブ配列画素群の四隅に配置される画素のうち他方の対角方向に配置される二画素とによって判定用画素が構成される。

　本態様の複雑なカラーフィルタ配列を撮像素子が有する場合であっても、判定用画素の画素データに基づいて異常斜め入射光を検出することができる。

　本発明の他の態様は、第１の方向及び第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子において、複数の画素の各々がカラーフィルタと、カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有する撮像素子に入射する異常斜め入射光を検出する異常斜め入射光検出手段を備える画像処理装置であって、複数の画素は、第１の方向の正方向及び負方向に隣接する画素及び第２の方向の正方向及び負方向に隣接する画素のカラーフィルタのパターンが相互に異なる少なくとも４種類の判定用画素を含み、判定用画素の各々に対して第１の方向の正方向及び負方向に隣接する画素及び第２の方向の正方向及び負方向に隣接する画素のうち少なくとも１つは、第１色のカラーフィルタを有する第１色の画素であり、判定用画素の各々に対して第１の方向の正方向及び負方向に隣接する画素及び第２の方向の正方向及び負方向に隣接する画素のうち、判定用画素を挟んで第１色の画素と対向する位置に配置される画素は、第１色のカラーフィルタ以外のカラーフィルタを有する画素であり、異常斜め入射光検出手段は、撮像素子内のエリアであって、各種類の判定用画素を複数含むエリア内における判定用画素の種類毎の画素データの平均値に基づいて、撮像素子に入射する異常斜め入射光を検出する画像処理装置に関する。

　本発明の他の態様は、第１の方向及び第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子において、複数の画素の各々がカラーフィルタと、カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有する撮像素子に入射する異常斜め入射光を検出するステップを備える画像処理方法であって、複数の画素は、第１の方向の正方向及び負方向に隣接する画素及び第２の方向の正方向及び負方向に隣接する画素のカラーフィルタのパターンが相互に異なる少なくとも４種類の判定用画素を含み、判定用画素の各々に対して第１の方向の正方向及び負方向に隣接する画素及び第２の方向の正方向及び負方向に隣接する画素のうち少なくとも１つは、第１色のカラーフィルタを有する第１色の画素であり、判定用画素の各々に対して第１の方向の正方向及び負方向に隣接する画素及び第２の方向の正方向及び負方向に隣接する画素のうち、判定用画素を挟んで第１色の画素と対向する位置に配置される画素は、第１色のカラーフィルタ以外のカラーフィルタを有する画素であり、異常斜め入射光を検出するステップでは、撮像素子内のエリアであって、各種類の判定用画素を複数含むエリア内における判定用画素の種類毎の画素データの平均値に基づいて、撮像素子に入射する異常斜め入射光を検出する画像処理方法に関する。

　本発明の他の態様は、第１の方向及び第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子において、複数の画素の各々がカラーフィルタと、カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有する撮像素子に入射する異常斜め入射光を検出する手順をコンピュータに実行させるためのプログラムであって、複数の画素は、第１の方向の正方向及び負方向に隣接する画素及び第２の方向の正方向及び負方向に隣接する画素のカラーフィルタのパターンが相互に異なる少なくとも４種類の判定用画素を含み、判定用画素の各々に対して第１の方向の正方向及び負方向に隣接する画素及び第２の方向の正方向及び負方向に隣接する画素のうち少なくとも１つは、第１色のカラーフィルタを有する第１色の画素であり、判定用画素の各々に対して第１の方向の正方向及び負方向に隣接する画素及び第２の方向の正方向及び負方向に隣接する画素のうち、判定用画素を挟んで第１色の画素と対向する位置に配置される画素は、第１色のカラーフィルタ以外のカラーフィルタを有する画素であり、撮像素子内のエリアであって、各種類の判定用画素を複数含むエリア内における判定用画素の種類毎の画素データの平均値に基づいて、撮像素子に入射する異常斜め入射光を検出する手順をコンピュータに実行させるためのプログラムに関する。

　本発明によれば、撮像素子のエリア内における判定用画素の種類毎の画素データの平均値に基づいて、撮像素子に入射する異常斜め入射光を簡便に検出することができる。

デジタルカメラの一構成例を示すブロック図である。撮像素子のカラーフィルタ（画素）の一例を示す平面図であり、図２（ａ）は基本配列パターンを計４つ並べた状態を示し、図２（ｂ）は基本配列パターンの拡大図である。画像処理回路の機能ブロック図である。異常斜め入射光に起因する混色現象のメカニズムを説明する模式の断面図であり、図４（ａ）はＧ画素、Ｒ画素及びＧ画素の隣接配置例を示し、図４（ｂ）はＧ画素、Ｂ画素及びＧ画素の隣接配置例を示す。図２の撮像素子に異常斜め入射光が入射した場合に、基本配列パターンに含まれるＧ画素から出力される画素データの一例を示すグラフである。混色判定補正部における異常斜め入射光の検出に係る機能構成を示すブロック図である。異常斜め入射光の検出及び混色補正に係るフローチャートの一例を示す。異常斜め入射光の検出手法の基本原理の一例を説明する図であり、図８（ａ）～図８（ｄ）はＧ画素及びＲ画素の各種配置パターンを示す。図８に示される各種配置パターンを持つＧ画素（判定用画素）の画素データ出力と赤色異常斜め入射光との関係を示す表である。図１０（ａ）～（ｄ）は、水平方向の正方向側から負方向側に赤色異常斜め入射光が入射する場合における、判定用画素に対する赤色異常斜め入射光の影響の大きさを示す図である。異常斜め入射光の検出手法の基本原理の他の例を説明する図であり、図１１（ａ）～図１１（ｄ）はＧ画素及びＲ画素の各種の配置パターンを示す。図１１に示される各種配置パターンを持つＧ画素（判定用画素）の画素データ出力と赤色異常斜め入射光との関係を示す表である。Ｇ画素及びＲ画素の配置パターンが強調表示された図２の基本配列パターンの平面図を示す。撮像素子のエリア分割例を示す模式図である。判定用画素の画素データを用いた赤色異常斜め入射光の有無、入射方向及び強度の検出手法の一例を示す図である。判定用画素の画素データを用いた赤色異常斜め入射光の有無、入射方向及び強度の検出手法の他の例を示す図である。判定用画素の画素データを用いた赤色異常斜め入射光の有無、入射方向及び強度の検出手法の他の例を示す図である。異常斜め入射光検出部の機能構成の一例を示すブロック図である。異常斜め入射光の色種類判定の一例を示すフローチャートである。図２の撮像素子に対する異常斜め入射光の検出に使用される判別テーブルの一例を示す図である。異常斜め入射光の色種類判定の他の例を示すフローチャートである。図２２（ａ）～図２２（ｄ）は青色異常斜め入射光の検出に使用される判定用画素の一例を示す図であり、図２２（ｅ）～図２２（ｈ）は緑色異常斜め入射光の検出に使用される判定用画素の一例を示す図である。撮像素子の構成画素を、分割エリアＡ及び分割エリアＢに重畳的に分割する例を示す図であり、図２３（ａ）は分割エリアＡ及び分割エリアＢの適用状態を示す撮像素子の平面図であり、図２３（ｂ）は分割エリアＡのエリア分割例を示し、図２３（ｃ）は分割エリアＢのエリア分割例を示す。図２３（ａ）に示された「Ｃ」部分（エリアＢ１１）の拡大図である。他のカラーフィルタ配列例を示す撮像素子の平面図である。他のカラーフィルタ配列例を示す撮像素子の平面図である。図２７（ａ）～（ｄ）は、他のカラーフィルタ配列例を示す撮像素子の平面図である。図２８（ａ）～（ｄ）は、他のカラーフィルタ配列例を示す撮像素子の平面図である。スマートフォンの外観図である。スマートフォンの構成を示すブロック図である。

　図面を参照して、本発明の実施形態について説明する。

　図１は、デジタルカメラ１０の一構成例を示すブロック図である。本例では、図１に示される構成のうち、レンズユニット１４及びレンズドライバ２６以外の各部がカメラ本体１２に設けられる例について説明するが、必要に応じて各部をレンズユニット１４に設けることも可能である。

　デジタルカメラ（撮像装置）１０は、カメラ本体１２と、カメラ本体１２の前面に交換可能に取り付けられたレンズユニット１４とを備える。

　レンズユニット１４は撮影光学系２０を備え、この撮影光学系２０は、ズームレンズ２１、フォーカスレンズ２２、メカシャッタ２３などを含む。ズームレンズ２１及びフォーカスレンズ２２は、それぞれズーム機構２４及びフォーカス機構２５によって駆動され、撮影光学系２０の光軸Ｏ１に沿って移動する。ズーム機構２４及びフォーカス機構２５は、ギアやモータなどで構成される。

　メカシャッタ２３は、撮像素子２７への被写体光の入射を阻止する閉鎖位置と、被写体光の入射を許容する開放位置との間で移動する可動部（図示省略）を有する。可動部を開放位置／閉鎖位置に移動させることによって、撮影光学系２０から撮像素子２７へと至る光路が開放／遮断される。また、メカシャッタ２３には、撮像素子２７に入射する被写体光の光量をコントロールする絞りが含まれる。メカシャッタ２３、ズーム機構２４及びフォーカス機構２５は、レンズドライバ２６を介してＣＰＵ３０により駆動制御される。

　カメラ本体１２に設けられるＣＰＵ３０は、操作部３６からの制御信号に基づき、メモリ３７から読み出した各種プログラムやデータを逐次実行し、デジタルカメラ１０の各部を統括的に制御する。メモリ３７のＲＡＭ領域は、ＣＰＵ３０が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。

　操作部３６は、ユーザによって操作されるボタン、キー、タッチパネル及びこれらに類するものを含む。例えば、カメラ本体１２に設けられユーザによって操作される電源スイッチ、シャッタボタン、フォーカスモード切替レバー、フォーカスリング、モード切替ボタン、十字選択キー、実行キー、バックボタン等が、操作部３６に含まれうる。

　撮像素子２７は、撮影光学系２０及びメカシャッタ２３を通過した被写体光を、電気的な出力信号に変換して出力する。この撮像素子２７は、多数の画素が水平方向（第１の方向）及びこの水平方向に垂直な垂直方向（第２の方向）に並置された単板方式の画素配列を有し、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の任意の方式を採用可能である。以下では、撮像素子２７を構成する複数の画素がＣＭＯＳによって構成される例について説明する。

　撮像素子２７を構成する各画素は、詳細については後述するが、集光率を向上させるマイクロレンズと、ＲＧＢのカラーフィルタと、マイクロレンズ及びカラーフィルタを透過した光を受光して画素データを出力するフォトダイオード（光電変換素子）とを有する。

　撮像素子ドライバ３１は、ＣＰＵ３０の制御下で撮像素子２７を駆動制御し、撮像素子２７の画素から画像処理回路（画像処理装置）３２に撮像信号（画像データ）を出力させる。

　画像処理回路３２は、受信した撮像信号（画像データ）に対して階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を施して撮影画像データを生成する。画像処理回路３２は、詳細については後述するが、ゴースト光等の異常斜め入射光を検出して補正処理を行う混色判定補正部を有する。

　圧縮伸長処理回路３４は、シャッタボタンがユーザによって押し下げ操作された場合に、メモリ３７のＶＲＡＭ領域に格納された撮影画像データに対し、圧縮処理を施す。なお、ＲＡＷデータ取得モードでは、圧縮伸長処理回路３４による圧縮処理が行われなくてもよい。また圧縮伸長処理回路３４は、メディアインターフェース３３を介してメモリカード３８から得られる圧縮画像データに対し、圧縮伸長処理を施す。メディアインターフェース３３は、メモリカード３８に対する撮影画像データの記録及び読み出しなどを行う。

　表示制御部３５は、撮影モード時に、ＥＶＦ（エレクトリックビューファインダ）３９及び背面ＬＣＤ（背面液晶）４０のうち少なくとも一方に対し、画像処理回路３２により生成されたスルー画像（ライブビュー画像）を表示させる制御を行う。また表示制御部３５は、画像再生モード時に、圧縮伸長処理回路３４で伸長された撮影画像データを背面ＬＣＤ４０（及び／又はＥＶＦ３９）へ出力する。

　デジタルカメラ１０（カメラ本体１２）には、上記以外の他の処理回路等が設けられていてもよく、例えばオートフォーカス用のＡＦ検出回路や自動露光調節用のＡＥ検出回路が設けられる。ＣＰＵ３０は、ＡＦ検出回路の検出結果に基づきレンズドライバ２６及びフォーカス機構２５を介してフォーカスレンズ２２を駆動することでＡＦ処理を実行し、またＡＥ検出回路の検出結果に基づきレンズドライバ２６を介してメカシャッタ２３を駆動することでＡＥ処理を実行する。

　＜カラーフィルタ配列＞
　図２は、撮像素子２７のカラーフィルタ（画素）の一例を示す平面図であり、（ａ）は所定のカラーフィルタ配列パターンを持つ基本配列パターン（基本配列画素群）Ｐを水平方向及び垂直方向に計４つ並べた状態を示し、（ｂ）は１つの基本配列パターンＰの拡大図である。図２において、「Ｒ」はレッド（赤）のフィルタ（第１色種のカラーフィルタ；Ｒ画素）を示し、「Ｇ」（Ｇ１～Ｇ２０を含む）はグリーン（緑）のフィルタ（第２色種のカラーフィルタ；Ｇ画素）を示し、「Ｂ」はブルー（青）のフィルタ（第３色種のカラーフィルタ；Ｂ画素）を示す。

　本例の撮像素子２７のカラーフィルタは、Ｍ×Ｎ（６×６）画素に対応する正方配列パターンからなる基本配列パターンＰを有し、この基本配列パターンＰが水平方向及び垂直方向に繰り返し複数並置されて撮像素子２７の複数画素が構成される。したがって、撮像素子２７から読み出されるＲＧＢのモザイク画像データ（ＲＡＷデータ）の画像処理を行う際には、基本配列パターンＰを基準とした繰り返しパターンに従って処理を行うことができる。

　各基本配列パターンＰは、図２（ｂ）に示す３画素（水平方向）×３画素（垂直方向）の画素配列を有する第１のサブ配列（第１のサブ配列画素群）と、３画素（水平方向）×３画素（垂直方向）の画素配列を有する第２のサブ配列（第２のサブ配列画素群）とが、水平方向及び垂直方向に交互に並べられて、構成されている。したがって、第１のサブ配列は水平方向及び垂直方向に関して第２のサブ配列と隣接し、第２のサブ配列は水平方向及び垂直方向に関して第１のサブ配列と隣接する。

　第１のサブ配列は、中央及び四隅に配置されるＧ画素と、中央のＧ画素に対して水平方向の正方向及び負方向（図２において右左方向）に隣接する位置に配置されるＲ画素と、中央のＧ画素に対して垂直方向の正方向及び負方向（図２において上下方向）に隣接する位置に配置されるＢ画素と、を含む。一方、第２のサブ配列は、中央及び四隅に配置されるＧ画素と、中央のＧ画素に対して垂直方向の正方向及び負方向（図２において上下方向）に隣接する位置に配置されるＲ画素と、中央のＧ画素に対して水平方向の正方向及び負方向（図２において右左方向）に隣接する位置に配置されるＢ画素と、を含む。したがって、第１のサブ配列と第２のサブ配列との間で、ＲフィルタとＢフィルタとの位置関係が逆転しているが、Ｇフィルタの配置は同様になっている。

　第１のサブ配列と第２のサブ配列の四隅のＧフィルタは、第１のサブ配列と第２のサブ配列とが水平方向及び垂直方向に交互に配置されることにより、２画素（水平方向）×２画素（垂直方向）に対応する正方配列のＧフィルタ郡を構成する。すなわち、第１のサブ配列の四隅に配置される画素のうち一方の対角方向に配置される二画素と、第２のサブ配列の四隅に配置される画素のうち他方の対角方向に配置される二画素とによって正方配列のＧ画素郡が構成される。なお、この正方配列のＧ画素群に含まれるＧ画素を、後述の「異常斜め入射光を検出するための判定用画素」として使用することができる。

　このカラーフィルタ配列では、一般に輝度信号を得るために最も寄与する色（本例ではＧ色）に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め左上方向の各ライン内に１以上配置される。このカラーフィルタ配列によれば、輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域でのデモザイク処理の再現精度が向上する。

　なお、例えば単位カラーフィルタ（単位画素）が正方形である場合、斜め右上及び斜め右下方向は水平方向及び垂直方向に対して４５°を成す方向となる。また、単位カラーフィルタが長方形である場合、斜め右上及び斜め右下方向はこの長方形の対角線の方向となり、長方形の長辺及び短辺の長さに応じて、水平方向及び垂直方向に対する斜め右上及び斜め右下方向の角度は変わりうる。

　図２に示すカラーフィルタ配列は、上記Ｇ色以外の２色以上の他の色（本例ではＲ及びＢ）に対応するＲフィルタ及びＢフィルタが、それぞれ基本配列パターンＰの水平方向及び垂直方向の各ライン内に１つ以上配置される。このように、Ｒフィルタ及びＢフィルタがカラーフィルタ配列の水平方向及び垂直方向の各ライン内に配置されることで、偽色（色モワレ）の発生を低減することができ、偽色の発生を抑制するための光学ローパスフィルタを省略することができる。なお、光学ローパスフィルタを配置する場合でも、本例のカラーフィルタ配列を採用するときは、偽色の発生を防止するための高周波数成分をカットする働きの弱いものを用いて、解像度の損失を防いでもよい。

　また、各基本配列パターンＰにおいて、Ｒフィルタ、Ｇフィルタ及びＢフィルタに対応するＲ画素、Ｇ画素及びＢ画素の画素数が、それぞれ８画素、２０画素（図２（ｂ）の「Ｇ１」～「Ｇ２０」参照）及び８画素になっている。すなわち、Ｒ画素、Ｇ画素及びＢ画素の画素数の比率は２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率がＲ画素及びＢ画素の画素数の比率よりも高い。このように、Ｇ画素の画素数とＲ画素及びＢ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ画素及びＢ画素の画素数の比率よりも大きくすることで、同時化処理（デモザイク処理）におけるエイリアシングを抑制することができ、高周波再現性も改善することができる。

　以下、図２に示すカラーフィルタ配列（画素配列）を「Ｘ－Ｔｒａｎｓ（登録商標）」とも呼ぶ。

　＜画像処理＞
　図３は、画像処理回路３２（図１参照）の機能ブロック図である。

　画像処理回路３２は、混色判定補正部４１、ホワイトバランス補正部（ＷＢ補正部）４２、ガンマ補正、デモザイク処理、ＲＧＢ／ＹＣ変換等の信号処理を行う信号処理部４３、ＲＧＢ積算部４４、及びホワイトバランスゲイン算出部（ＷＢゲイン算出部）４５を含む。

　画像処理回路３２にはモザイク画像データ（ＲＡＷデータ：ＲＧＢの色信号）が入力される。画像処理回路３２には撮像素子２７から直接的にモザイク画像データが入力されてもよい。また、撮像素子２７から出力されたモザイク画像データをメモリ（図１のメモリ３７等）に一旦格納し、このメモリから画像処理回路３２にモザイク画像データが入力されてもよい。

　画像処理回路３２に入力されたモザイク画像データは、混色判定補正部４１に入力される。混色判定補正部４１は、入力されたモザイク画像データに基づいて異常斜め入射光の検出を行い、異常斜め入射光によってもたらされる混色現象の影響（画素データ段差）を軽減・解消する画素データ補正を行う。

　混色判定補正部４１によって画素データ補正が行われたモザイク画像の各画素の色信号は、ＷＢ補正部４２及びＲＧＢ積算部４４に入力される。

　ＲＧＢ積算部４４は、１画面を８×８や１６×１６等に分割した分割領域毎に、ＲＧＢの色信号毎の積算平均値を算出し、ＲＧＢ毎の積算平均値の比（Ｒ／Ｇ、Ｂ／Ｇ）からなる色情報を算出する。例えば、１画面を８×８の６４の分割領域に分割する場合、ＲＧＢ積算部４４は６４個の色情報（Ｒ／Ｇ、Ｂ／Ｇ）を算出する。

　ＷＢゲイン算出部４５は、ＲＧＢ積算部４４から入力される分割領域毎の色情報（Ｒ／Ｇ、Ｂ／Ｇ）に基づいてＷＢゲインを算出する。具体的には、ＷＢゲイン算出部４５は、６４個の分割領域の各々に関する色情報の、Ｒ／Ｇ、Ｂ／Ｇ軸座標の色空間上の分布の重心位置を算出し、その重心位置が示す色情報から環境光の色温度を推定する。なお、色温度の替わりに、その重心位置が示す色情報を有する光源種、例えば、青空、日陰、晴れ、蛍光灯（昼光色、昼白色、白色、温白色）、タングステン、低タングステン等を求めることで撮影時の光源種を推定してもよいし（特開２００７－５３４９９参照）、また、推定した光源種から色温度を推定してもよい。

　ＷＢゲイン算出部４５には、予め環境光の色温度又は光源種に対応して、適正なホワイトバランス補正を行うためのＲＧＢ毎又はＲＢ毎のＷＢゲインが用意（記憶保持）されている。ＷＢゲイン算出部４５は、推定した環境光の色温度又は光源種に基づいて対応するＲＧＢ毎又はＲＢ毎のＷＢゲインを読み出し、この読み出したＷＢゲインをＷＢ補正部４２に出力する。

　ＷＢ補正部４２は、混色判定補正部４１から入力されるＲ、Ｇ、Ｂの色信号の各々に対して、ＷＢゲイン算出部４５から入力される色毎のＷＢゲインを掛け合わせることにより、ホワイトバランス補正を行う。

　ＷＢ補正部４２から出力されたＲ、Ｇ、Ｂの色信号は、信号処理部４３に入力される。信号処理部４３は、ガンマ補正、撮像素子２７のカラーフィルタ配列に伴うＲ、Ｇ、Ｂの色信号の空間的なズレを補間してＲ、Ｇ、Ｂの色信号を同時式に変換する同時化処理（デモザイク処理）、及び、デモザイク処理されたＲ、Ｇ、Ｂの色信号を輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂに変換するＲＧＢ／ＹＣ変換等の信号処理を行い、信号処理された輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂを出力する。なお、ＲＡＷデータ出力モードがユーザによって選択されている場合には、上述のデモザイク処理及びＲＧＢ／ＹＣ変換処理をスキップして、画像処理回路３２からＲＡＷデータ（モザイク画像データ）が出力されるようにしてもよい。

　画像処理回路３２から出力される輝度データＹ及び色差データＣｒ、Ｃｂは、圧縮処理された後、内部メモリ（メモリ３７）や外部メモリ（メモリカード３８）に記録される。

　＜異常斜め入射光に起因する混色現象＞
　図４は、異常斜め入射光（ゴースト光等）に起因する混色現象のメカニズムを説明する模式の断面図であり、（ａ）はＧ画素、Ｒ画素及びＧ画素の隣接配置例を示し、（ｂ）はＧ画素、Ｂ画素及びＧ画素の隣接配置例を示す。

　本例の撮像素子２７を構成する複数の画素５０は、緑色のカラーフィルタによって構成されるＧ（緑）画素５０Ｇと、赤のカラーフィルタによって構成されるＲ（赤）画素５０Ｒと、青のカラーフィルタによって構成されるＢ（青）画素（第３色の画素）５０Ｂとを含む。Ｇ画素５０Ｇは、輝度信号を得るための寄与率がＲ画素５０Ｒ及びＢ画素５０Ｂよりも高く、例えば以下の式によって輝度データ（輝度信号）Ｙを得ることが可能である。
Ｙ（輝度データ）＝（０．３×Ｒ画素データ＋０．６×Ｇ画素データ＋０．１×Ｂ画素データ）

　Ｇ画素５０Ｇ、Ｒ画素５０Ｒ及びＢ画素５０Ｂの各々は、被写体光の進行方向に関して順次設けられたマイクロレンズ５１、カラーフィルタ５２及びフォトダイオード５３を含み、フォトダイオード５３の受光量に応じた画素データを出力する。被写体光を構成する通常光５６は、マイクロレンズ５１によって集光され、カラーフィルタ５２を通過してフォトダイオード５３に入射する。通常光５６が通過するカラーフィルタ５２と、この通常光５６が受光されるフォトダイオード５３とは概ね対応する。

　一方、異常斜め入射光５７は通常光５６とは異なる角度で各画素に進入し、ある画素のカラーフィルタ５２を通過した異常斜め入射光５７は、隣接画素のフォトダイオード５３によって受光される。このように、異常斜め入射光５７が通過するカラーフィルタ５２と、この異常斜め入射光５７が受光されるフォトダイオード５３とが完全には対応せず、異常斜め入射光５７を受光するフォトダイオード５３は、通常光５６だけではなく異常斜め入射光５７の受光量に応じた画素データを出力する。したがって、異常斜め入射光５７を受光したフォトダイオード５３からの出力画素データは、異常斜め入射光５７を受光しないフォトダイオード５３からの出力画素データよりも増大するため、同色画素間で画素データに段差が生じる。

　図５は、図２の撮像素子２７に異常斜め入射光が入射した場合に、基本配列パターンＰに含まれるＧ画素（Ｇ１～Ｇ２０）から出力される画素データの一例を示すグラフである。基本配列パターンＰ内に含まれるＧ画素は、非常に近接して配置されるため、本来であれば同値又は近似値の画素データを出力することが多いが、異常斜め入射光が入射する場合には、同色画素間（図５に示すＧ１～Ｇ２０間）で出力画素データに差（画素データ段差）が生じる。

　これは、同色画素であっても、隣接画素の色種類によって、異常斜め入射光の受光量が異なることに起因する。すなわち、隣接画素を構成するカラーフィルタが異常斜め入射光を透過するほど異常斜め入射光の受光量は増えるため、同色画素であっても、隣接画素の種類（パターン）によって出力画素データに差が生じる。したがって、異常斜め入射光の入射の有無及び入射方向を的確に特定し、異常斜め入射光による混色の影響を受けている画素を適切に特定することで、適正な混色補正及び正確な画素データの取得が可能となる。

　図６は、図３の混色判定補正部４１における異常斜め入射光の検出に係る機能構成を示すブロック図である。

　混色判定補正部４１は、異常斜め入射光を検出する異常斜め入射光検出部（異常斜め入射光検出手段）６１と、入射光検出部６１の検出結果に基づいてモザイク画像データを補正する異常斜め入射光補正部（補正手段）６３とを有する。異常斜め入射光検出部６１には、異常斜め入射光の検出に使用する各種データが記憶保存される記憶部（記憶手段）６５が設けられている。

　異常斜め入射光検出部６１は、混色判定補正部４１に入力されるモザイク画像データ（ＲＡＷデータ）に基づいて、撮像素子２７に入射する異常斜め入射光を検出する。本例の異常斜め入射光検出部６１は、モザイク画像データに基づいて後述の判定用画素の画素データ（出力値）を解析し、異常斜め入射光の入射の有無、入射方向及び強度を検出する。

　異常斜め入射光補正部６３は、異常斜め入射光検出部６１の検出結果に基づいて、異常斜め入射光が検出されたエリア内のフォトダイオード５３を有する画素５０の画素データを補正する。すなわち、異常斜め入射光補正部６３は、異常斜め入射光検出部６１によって検出判定された異常斜め入射光の入射方向に基づいて、撮像素子２７の複数画素５０のうち異常斜め入射光５７が検出されたフォトダイオード５３を有する画素５０を判別し、その判別した画素５０の画素データを修正する。なお、異常斜め入射光検出部６１によって異常斜め入射光が検出されなかった場合には、異常斜め入射光補正部６３における補正処理はスキップされる。

　異常斜め入射光補正部６３における画素データの具体的な修正手法は特に限定されず、任意の手法によって、異常斜め入射光５７が入射する画素（補正対象画素）の画素データを補正することが可能である。例えば、補正対象画素及びその周辺画素（例えば、補正対象画素を含む基本配列パターンＰの大きさ範囲に含まれる画素）であって、補正対象画素と同色の画素の画素データから導出される代表値に、補正対象画素の画素データを置換等することで画素データ補正を行うことが可能である。代表値は、補正対象画素及び周辺画素の画素データの平均値又は加重平均値であってもよいし、補正対象画素及び周辺画素の画素データの中央値又は最頻値であってもよい。あるいは、代表値は、補正対象画素と同色の画素であって、基本配列パターンＰ内で異常斜め入射光の影響が最も小さい画素の画素データとしてもよい。

　また、異常斜め入射光補正部６３は、所定のフィルタを補正対象画素に適用することで、異常斜め入射光５７が入射する画素（補正対象画素）の画素データを補正することも可能である。入射光補正部６３で使用可能な所定のフィルタは特に限定されず、例えば、補正対象画素及びその周辺の同色画素の画素データの段差を抑制するフィルタ（メディアンフィルタ等）が採用される。

　図７は、異常斜め入射光の検出及び混色補正に係るフローチャートの一例を示す。

　図７に示される画像処理方法では、まず、撮像素子２７のエリア内における異常斜め入射光の有無、入射方向及び強度が検出される（図７のＳ１：異常斜め入射光検出ステップ）。異常斜め入射光の入射が検出された場合（Ｓ２のＹ）、検出判定された異常斜め入射光の入射方向に基づいて、このエリア内の複数画素のうち異常斜め入射光が検出されたフォトダイオード５３を有する画素５０が判別され、その判別された画素５０の画素データが補正される（Ｓ３）。一方、異常斜め入射光が検出されなかった場合（Ｓ２のＮ）、異常斜め入射光補正部６３における補正処理はスキップされる。

　異常斜め入射光検出部６１及び異常斜め入射光補正部６３における異常斜め入射光の具体的な検出手法及び混色補正手法は、撮像素子２７の各色の画素配列（カラーフィルタ配列）に応じて決まる。以下、撮像素子２７におけるカラーフィルタの配列例と関連づけて、異常斜め入射光の検出の具体的手法について説明する。

　＜異常斜め入射光の検出＞
　図８は、異常斜め入射光の検出手法の基本原理の一例を説明する図であり、（ａ）～（ｄ）はＧ画素及びＲ画素の各種配置パターンを示す。図８において、Ｇ１～Ｇ４はそれぞれＧ画素を表し、ＲはＲ画素を表し、ＡはＲ画素以外の画素（図２に示す画素配列ではＧ画素又はＢ画素）を表す。

　本例では、Ｇフィルタ（第２色のカラーフィルタ）を有するＧ画素（第２色の画素）を判定用画素として使用し、Ｒ画素（第１色の画素）のＲフィルタ（第１色のカラーフィルタ）を通過した異常斜め入射光（赤色異常斜め入射光）の入射の有無を検出するケースについて説明する。なお、Ｒフィルタ以外のカラーフィルタを通過した異常斜め入射光がＧ画素以外によって受光されるケースも、同様のメカニズムを有する。

　撮像素子２７は、水平方向の正方向及び負方向に隣接する画素及び垂直方向の正方向及び負方向に隣接する画素のカラーフィルタのパターンが相互に異なる少なくとも４種類の判定用画素（同色画素）Ｇ１～Ｇ４を有する。判定用画素Ｇ１～Ｇ４の各々に対し、水平方向の正方向及び負方向に隣接する画素及び垂直方向の正方向及び負方向に隣接する画素のうち少なくとも１つは、Ｒフィルタを有する。

　図８に示す例では、「Ｒ画素が垂直方向の正方向に隣接し、Ｒフィルタ以外のカラーフィルタを有する画素が水平方向の正方向、水平方向の負方向、及び垂直方向の負方向に隣接する画素Ｇ１（第３の判定用画素）」、「Ｒ画素が水平方向の正方向に隣接し、Ｒフィルタ以外のカラーフィルタを有する画素が水平方向の負方向、垂直方向の正方向、及び垂直方向の負方向に隣接する画素Ｇ２（第１の判定用画素）」、「Ｒ画素が垂直方向の負方向に隣接し、Ｒフィルタ以外のカラーフィルタを有する画素が水平方向の正方向、水平方向の負方向、及び垂直方向の正方向に隣接する画素Ｇ３（第４の判定用画素）」及び「Ｒ画素が水平方向の負方向に隣接し、Ｒフィルタ以外のカラーフィルタを有する画素が水平方向の正方向、垂直方向の正方向、及び垂直方向の負方向に隣接する画素Ｇ４（第２の判定用画素）」が判定用画素として使用される。

　なお、判定用画素Ｇ１～Ｇ４の各々に対して水平方向の正方向及び負方向に隣接する画素及び垂直方向の正方向及び負方向に隣接する画素のうち、判定用画素Ｇ１～Ｇ４を挟んでＲ画素と対向する位置に配置される画素は、Ｒフィルタ以外のカラーフィルタを有する。

　これらの判定用画素Ｇ１～Ｇ４が近接配置（例えば基本配列パターンＰ内に配置）されている場合、異常斜め入射光の有無によって、判定用画素Ｇ１～Ｇ４の出力値特性が変動する。すなわち、判定用画素Ｇ１～Ｇ４に異常斜め入射光が入射しない場合、判定用画素Ｇ１～Ｇ４の画素データ（出力値）は同一値又は近似値となる可能性が高い。しかしながら、判定用画素Ｇ１～Ｇ４に赤色異常斜め入射光が入射する場合、赤色異常斜め入射光の入射方向に応じて、判定用画素Ｇ１～Ｇ４の画素データが変動する。

　例えば、垂直方向の正方向側から負方向側に向かう赤色異常斜め入射光が存在する場合、判定用画素Ｇ１（図８（ａ）参照）の画素データが他の判定用画素Ｇ２～Ｇ４の画素データよりも大きくなる（図９参照）。同様に、水平方向の正方向側から負方向側に向かう赤色異常斜め入射光が存在する場合には判定用画素Ｇ２（図８（ｂ）参照）の画素データが他よりも相対的に大きくなり、垂直方向の負方向側から正方向側に向かう赤色異常斜め入射光が存在する場合には判定用画素Ｇ３（図８（ｃ）参照）の画素データが他よりも相対的に大きくなり、水平方向の負方向側から正方向側に向かう赤色異常斜め入射光が存在する場合には判定用画素Ｇ４（図８（ｄ）参照）の画素データが他よりも相対的に大きくなる。

　異常斜め入射光検出部６１は、図９に示すように、判定用画素Ｇ１～Ｇ４の画素データの大小関係から、異常斜め入射光の有無、入射方向及び強度を検知することが可能である。以下、異常斜め入射光の有無、入射方向及び強度を、「異常斜め入射光の状態」という場合がある。

　なお、上述の図９（及び後述の図１２）には、判定用画素Ｇ１～Ｇ４の画素データの相対的な大小関係のみが表されているが、判定用画素Ｇ１～Ｇ４の画素データの具体的な大小関係は、異常斜め入射光の入射側に隣接する画素の色種類によって影響される。

　図１０は、水平方向の正方向側から負方向側に赤色異常斜め入射光が入射する場合における、判定用画素Ｇ１～Ｇ４に対する赤色異常斜め入射光の影響の大きさを示す図である。図１０（ａ）～（ｄ）の各図の下部における矢印に表された「大」「中」「小」は、そのような赤色異常斜め入射光の影響の大きさを示す。

　カラーフィルタ特性として、Ｂフィルタ及びＧフィルタは、赤色光を完全には遮断することができず、実際には赤色光の一部を通過させてしまう。特にＧフィルタは、Ｒフィルタよりも赤色光の透過率が低いが、Ｂフィルタよりも赤色光の透過率が高い。したがって、水平方向の正方向側から負方向側に赤色異常斜め入射光が入射する場合、「水平方向の正方向にＲ画素が隣接する判定用画素Ｇ２（図１０（ｂ）参照）」が最も影響を受け、その次に「水平方向の正方向にＧ画素が隣接する判定用画素Ｇ１（図１０（ａ）参照）及びＧ４画素（図１０（ｄ）参照）」が影響を大きく受け、「水平方向の正方向にＢ画素が隣接する判定用画素Ｇ３（図１０（ｃ）参照）」が最も小さい影響を受ける。

　なお、被写体像の画像データにおいて、基本配列パターンＰ内の判定用画素Ｇ１～Ｇ４間で画素データ差が本来的に存在する場合（例えば、被写体像に各種の模様やエッジ（画像境界部）が存在する場合）、異常斜め入射光が存在しなくても、値が大きく異なる画素データが判定用画素Ｇ１～Ｇ４から出力される。しかしながら、撮像素子２７のエリア（例えば、基本配列パターンＰを百個程度以上含むエリア）内に含まれる「判定用画素Ｇ１～Ｇ４の種類毎の画素データ（各種判定用画素データ）」の平均値は、異常斜め入射光が存在しなければ、被写体像によらず全体の同色画素（Ｇ画素）の平均値に収束して、統計的に相互に近似値となる。一方、異常斜め入射光が入射するエリアでは、全体の同色画素の平均値に対して、異常斜め入射光の影響分が段差として測定される。

　したがって、このような判定用画素Ｇ１～Ｇ４の出力値特性に鑑みて、異常斜め入射光検出部６１は、撮像素子２７のエリア内における判定用画素Ｇ１～Ｇ４の種類毎の画素データの平均値に基づいて、撮像素子２７に入射する異常斜め入射光の状態を検出する。

　図１１は、異常斜め入射光の検出手法の基本原理の他の例を説明する図であり、（ａ）～（ｄ）はＧ画素及びＲ画素の各種の配置パターンを示す。図１１において、Ｇ１～Ｇ４はそれぞれＧ画素を表し、ＲはＲ画素を表し、ＡはＲ画素以外の画素を表す。

　本例の判定用画素Ｇ１～Ｇ４の各々は、水平方向の正方向及び負方向に隣接する画素及び垂直方向の正方向及び負方向に隣接する画素のうちの２つがＲフィルタを有する。すなわち、「Ｒ画素が水平方向の正方向及び垂直方向の正方向に隣接し、Ｒフィルタ以外のカラーフィルタを有する画素が水平方向の負方向及び垂直方向の負方向に隣接する画素Ｇ１（第１の判定用画素）」、「Ｒ画素が水平方向の負方向及び垂直方向の正方向に隣接し、Ｒフィルタ以外のカラーフィルタを有する画素が水平方向の正方向及び垂直方向の負方向に隣接する画素Ｇ２（第２の判定用画素）」、「Ｒ画素が水平方向の正方向及び垂直方向の負方向に隣接し、Ｒフィルタ以外のカラーフィルタを有する画素が水平方向の負方向及び垂直方向の正方向に隣接する画素Ｇ３（第３の判定用画素）」及び「Ｒ画素が水平方向の負方向及び垂直方向の負方向に隣接し、Ｒフィルタ以外のカラーフィルタを有する画素が水平方向の正方向及び垂直方向の正方向に隣接する画素Ｇ４（第４の判定用画素）」を判定用画素として使用することも可能である。

　図１１に示される判定用画素Ｇ１～Ｇ４に対し、垂直方向の正方向側から負方向側に向かう赤色異常斜め入射光が存在する場合、判定用画素Ｇ１（図１１（ａ）参照）及び判定用画素Ｇ２（図１１（ｂ）参照）の画素データは、他の判定用画素Ｇ３～Ｇ４の画素データよりも大きくなる（図１２参照）。同様に、水平方向の正方向側から負方向側に向かう赤色異常斜め入射光が存在する場合には判定用画素Ｇ１（図１１（ａ）参照）及び判定用画素Ｇ３（図１１（ｃ）参照）の画素データが他よりも相対的に大きくなり、垂直方向の負方向側から正方向側に向かう赤色異常斜め入射光が存在する場合には判定用画素Ｇ３（図１１（ｃ）参照）及び判定用画素Ｇ４（図１１（ｄ）参照）の画素データが他よりも相対的に大きくなり、水平方向の負方向側から正方向側に向かう赤色異常斜め入射光が存在する場合には判定用画素Ｇ２（図１１（ｂ）参照）及び判定用画素Ｇ４（図１１（ｄ）参照）の画素データが他よりも相対的に大きくなる。

　このように、複数のＲ画素（検出対象の異常斜め入射光の色種に対応する画素）が隣接する判定用画素Ｇ１～Ｇ４であっても、判定用画素Ｇ１～Ｇ４の画素データの関係から、異常斜め入射光の状態を検知することが可能である。

　次に、図２の撮像素子２７（Ｘ－Ｔｒａｎｓ配列）に対する異常斜め入射光の検出手法の具体例について説明する。なお、本例においても、赤色異常斜め入射光の入射の有無を検出するケースを一例として説明する。

　図１３は、Ｇ画素及びＲ画素の配置パターンが強調表示された図２の基本配列パターンＰの平面図を示す。

　本例の撮像素子２７に含まれるＧ画素５０Ｇは、水平方向の正方向及び負方向に隣接する画素及び垂直方向の正方向及び負方向に隣接する画素のカラーフィルタのパターンが相互に異なる１０種類のＧ画素（Ｇ１～Ｇ１０）を含む。

　図１３において、Ｇ１画素は垂直方向の正方向にＲ画素が隣接配置され、Ｇ２画素は水平方向の正方向にＲ画素が隣接配置され、Ｇ３画素は垂直方向の負方向にＲ画素が隣接配置され、Ｇ４画素は水平方向の負方向にＲ画素が隣接配置される。また、Ｇ５画素は水平方向の負方向にＲ画素が隣接配置され、Ｇ６画素は垂直方向の正方向にＲ画素が隣接配置され、Ｇ７画素は水平方向の正方向にＲ画素が隣接配置され、Ｇ８画素は垂直方向の負方向にＲ画素が隣接配置される。「Ｇ１画素とＧ６画素」、「Ｇ２画素とＧ７画素」、「Ｇ３画素とＧ８画素」及び「Ｇ４画素とＧ５画素」は、Ｒ画素の隣接配置に関して共通するが、Ｒ画素以外の隣接画素のカラーフィルタの配置パターンが相互に異なる。

　また、本例のＧ画素の種類には、これらのＧ１画素～Ｇ８画素以外に、「水平方向の正負両方向にＲ画素が隣接すると共に、垂直方向の正負両方向にＢ画素が隣接するＧ９画素」及び「水平方向の正負両方向にＢ画素が隣接すると共に、垂直方向の正負両方向にＲ画素が隣接するＧ１０画素」が含まれる。

　上述のように、判定用画素の条件として、「水平方向の正方向及び負方向に隣接する画素及び垂直方向の正方向及び負方向に隣接する画素のカラーフィルタのパターンが相互に異なること」、「水平方向の正方向及び負方向に隣接する画素及び垂直方向の正方向及び負方向に隣接する画素のうち少なくとも１つは、Ｒのカラーフィルタ（検出対象の異常斜め入射光の色種に対応するカラーフィルタ）を有すること」及び「判定用画素の各々に対して水平方向の正方向及び負方向に隣接する画素及び垂直方向の正方向及び負方向に隣接する画素のうち、判定用画素を挟んでＲ画素と対向する位置に配置される画素は、Ｒのカラーフィルタ以外のカラーフィルタを有すること」が挙げられる。図１３に示すＧ１画素～Ｇ４画素は、これらの条件を満たすため、本例の判定用画素として好適に使用される。

　なお、例えばＧ５画素～Ｇ８画素も上記条件を満たすので、Ｇ１画素～Ｇ４画素の代わりに、あるいはＧ１画素～Ｇ４画素と組み合わせて、判定用画素として使用することが可能である。すなわち、本例の撮像素子２７の基本配列パターンＰの各々は、判定用画素のセットを２組含み、「Ｇ１画素～Ｇ４画素」だけではなく「Ｇ５画素～Ｇ８画素」も判定用画素として使用することができる。したがって、「Ｇ１画素～Ｇ４画素」の判定用画素のセットによる異常斜め入射光の状態の検出結果と「Ｇ５画素～Ｇ８画素」の判定用画素のセットによる異常斜め入射光の状態の検出結果とを組み合わせることによって、検出精度を向上させることも可能である。

　また、図１３に示すＢ１画素～Ｂ４画素も上記条件を満たすので、Ｇ１画素～Ｇ８画素の代わりに、あるいはＧ１画素～Ｇ８画素と組み合わせて、判定用画素として使用することが可能である。赤色異常斜め入射光以外の色種の異常斜め入射光の検出についても同様であり、またＧ画素以外の画素を判定用画素として使用することも可能である。例えば、図１３に示されるＲ１画素～Ｒ４画素は、Ｂ画素に対して上記条件を満たすので、青色異常斜め入射光の検出のための判定用画素として使用することが可能である。

　異常斜め入射光検出部６１は、図１３に示すこれらのＧ画素のうちＧ１画素～Ｇ４画素を判定用画素として使用し、撮像素子２７のエリア内におけるＧ１画素～Ｇ４画素の種類毎の画素データの平均値に基づいて、撮像素子２７のエリアにおける異常斜め入射光の状態を検出する。

　図１４は、撮像素子２７のエリア分割例を示す模式図である。図１４では、撮像素子２７が「水平方向に５分割」及び「垂直方向に５分割」（計２５分割）されている。例えば、撮像素子２７の画素数が４９００画素（水平方向）×３２６５画素（垂直方向）の場合、図１４に示される分割エリア（エリア００～エリア４４）の各々は、９８０画素（水平方向）×６５３画素（垂直画素）の画素数によって構成される。

　異常斜め入射光検出部６１は、これらのエリア毎に、エリア内に含まれるＧ１画素の画素データ（出力値）の平均値、Ｇ２画素の画素データの平均値、Ｇ３画素の画素データの平均値及びＧ４画素の画素データの平均値を算出し、これらの平均値の大小関係に基づいて各エリアにおける赤色異常斜め入射光の状態を検出することができる（図８及び図９参照）。このように、図１４に示す例によれば、ゴースト光等の異常斜め入射光による混色発生箇所を２５分割の精度で特定できる。

　次に、異常斜め入射光検出部６１における異常斜め入射光の検出手法の具体例について説明する。

　＜異常斜め入射光の検出例１＞
　図１５は、判定用画素Ｇ１～Ｇ４の画素データを用いた赤色異常斜め入射光の状態の検出手法の一例を示す図である。図１５において、横軸は判定用画素Ｇ１～Ｇ４を示し、縦軸は判定用画素Ｇ１～Ｇ４の画素データ平均値に対する比率を示す。図１５の縦軸に関し、撮像素子２７のエリアにおけるすべての判定用画素Ｇ１～Ｇ４の画素データの平均値が「画素データ平均値」に設定されており、縦軸の「１」は判定用画素の種類毎の画素データの平均値が画素データ平均値と同じであることを示す。

　図１５に示す例では、判定用画素Ｇ１及びＧ３の種類毎の画素データの平均値が画素データ平均値と同じであり、判定用画素Ｇ２の種類毎の画素データの平均値が画素データ平均値よりも大きく、判定用画素Ｇ４の種類毎の画素データの平均値が画素データ平均値よりも小さい。したがって、赤色異常斜め入射光がこのエリアに入射し、このエリア内における判定用画素Ｇ１～Ｇ４の画素データが図１５に示す例の場合には、このエリアには「水平方向の正方向側から負方向側」に向かって赤色異常斜め入射光が入射すると判定することができる（図８及び図９参照）。

　このように本例によれば、エリア内における判定用画素の画素データ値に基づいて、とりわけ「すべての判定用画素の画素データ値の平均値」に対する「種類毎の判定用画素の画素データ値の平均値」の比率に基づいて、異常斜め入射光の状態を検出することができる。

　なお、異常斜め入射光検出部６１は、記憶部６５（図６参照）に記憶されている判別テーブルを参照して、これらの平均値から撮像素子２７に入射する異常斜め入射光を検出することが可能である。例えば、判別テーブルにおいて「判定用画素の種類毎の画素データの平均値（比率等）のデータパターン」と「異常斜め入射光の有無、入射方向及び強度（異常斜め入射光の状態）」とを対応づけておく。そして、異常斜め入射光検出部６１は、この判別テーブルに照らして、実際に取得される「判定用画素の種類毎の画素データの平均値のデータパターン」から「異常斜め入射光の状態」を取得することができる。判別テーブルに対する「判定用画素の種類毎の画素データの平均値」の照合は必ずしも厳密に行われる必要はなく、判別テーブルに規定される「判定用画素の種類毎の画素データの平均値」のパターンと類似したパターンであれば、判別テーブルに規定される対応の「異常斜め入射光の状態」が取得されるようにしてもよい。

　＜異常斜め入射光の検出例２＞
　図１６は、判定用画素Ｇ１～Ｇ４の画素データを用いた赤色異常斜め入射光の状態の検出手法の他の例を示す図である。図１６において、横軸は判定用画素Ｇ１～Ｇ４を示し、縦軸は判定用画素Ｇ１～Ｇ４の画素データ値（左側縦軸）及び画素データ指標（右側縦軸）を示す。

　「判定用画素－画素データ値」の関係に関し、図１６には、撮像素子２７のエリア内におけるＧ１画素～Ｇ４画素の種類毎の画素データの平均値が「画素データ値」として示されている。

　また「判定用画素－画素データ指標」の関係に関し、図１６では、撮像素子２７のエリア内におけるＧ１画素～Ｇ４画素の種類毎の画素データの平均値の大きさに応じて、「０」、「１」及び「２」のいずれかが画素データ指標として、判定用画素の各々に割り当てられている。例えば、画素データの平均値が大きい場合には「２」が割り当てられ、画素データの平均値が小さい場合には「０」が割り当てられ、画素データの平均値が両者の中間の場合には「１」が割り当てられる。なお、画素データ指標は任意の範囲の数値を用いることができ、「０」～「２」の範囲の数値だけではなく、例えば「－２」～「＋２」（－２、－１、０、＋１、＋２）を画素データ指標として用いることも可能である。

　これらの画素データ指標の割り当ては任意の手法で行うことができる。例えば、「撮像素子２７のエリアにおけるすべての判定用画素Ｇ１～Ｇ４の画素データの平均値（判定用画素の種類毎の画素データの平均値の合計の平均値）」に対してこの平均値の±５％の範囲内に「エリア内における判定用画素の種類毎の画素データの平均値」がある場合には「１」を割り当てて、「エリア内における判定用画素の種類毎の画素データの平均値」がこの範囲よりも大きい場合には「２」を割り当てて、「エリア内における判定用画素の種類毎の画素データの平均値」がこの範囲よりも小さい場合には「０」を割り当てるようにしてもよい。また、上述の「エリア内における判定用画素の種類毎の画素データの平均値の合計の平均値」の代わりに、「エリア内における判定用画素の種類毎の画素データの平均値の中央値」を基準に、各判定用画素に対して画素データ指標を割り当ててもよい。

　図１６に示す例では、判定用画素Ｇ１、Ｇ３、Ｇ４には「０」の画素データ指標が割り当てられ、判定用画素Ｇ２には「２」の画素データ指標が割り当てられている。

　そして、異常斜め入射光検出部６１は、判別テーブルを参照して、撮像素子２７に入射する異常斜め入射光を検出する。この判別テーブルは、記憶部６５（図６参照）に記憶され、異常斜め入射光検出部６１によって記憶部６５から読み出される。判別テーブルでは、撮像素子２７に対する異常斜め入射光の入射に関する情報と、エリア内における判定用画素Ｇ１～Ｇ４の種類毎の画素データの平均値に基づくパターンとが対応づけられている。より具体的には、「判定用画素Ｇ１～Ｇ４の種類毎の画素データの平均値の合計の平均値」を基準とした「判定用画素Ｇ１～Ｇ４の種類毎の画素データの比率を示す画素データ指標」のデータパターンと、「エリアに対する異常斜め入射光の入射の有無、入射方向及び強度」とが判別テーブルにおいて対応づけられている。なお、本例の判別テーブルの具体例については後述する（図２０参照）。

　異常斜め入射光検出部６１は、撮像素子２７のエリア毎に、「判定用画素Ｇ１～Ｇ４の種類毎の画素データの平均値」及び「判定用画素Ｇ１～Ｇ４の種類毎の画素データの平均値の合計の平均値」を算出し、この算出結果から判定用画素Ｇ１～Ｇ４の画素データ指標を算出する。そして、異常斜め入射光検出部６１は、このようにして算出した画素データ指標のデータパターンを、記憶部６５から読み出した判別テーブルと照らし合わせて、該当する異常斜め入射光の入射に関する情報（異常斜め入射光の有無、入射方向及び強度）を取得する。

　＜異常斜め入射光の検出例３＞
　図１７は、判定用画素Ｇ１～Ｇ４の画素データを用いた赤色異常斜め入射光の状態の検出手法の他の例を示す図である。図１７において、横軸は判定用画素Ｇ１～Ｇ４を示し、縦軸は判定用画素Ｇ１～Ｇ４の画素データ値（左側縦軸）及び画素データ順位（右側縦軸）を示す。

　「判定用画素－画素データ値」の関係に関し、図１７には、撮像素子２７のエリア内におけるＧ１画素～Ｇ４画素の種類毎の画素データの平均値が「画素データ値」として示されている。

　また「判定用画素－画素データ順位」の関係に関し、図１７では、撮像素子２７のエリア内における判定用画素の種類毎の画素データの平均値の大きさに基づく順位が各判定用画素に割り当てられている。

　図１７に示す例では、判定用画素Ｇ２に「１」の画素データ順位が割り当てられ、判定用画素Ｇ１及びＧ３に「２」の画素データ順位が割り当てられ、判定用画素Ｇ４に「３」の画素データ順位が割り当てられている。

　本例の異常斜め入射光検出部６１は、記憶部６５（図６参照）に記憶されている判別テーブルを参照して、撮像素子２７に入射する異常斜め入射光を検出する。この判別テーブルでは、判定用画素の種類毎の画素データの平均値の大きさに基づく順位と、撮像素子２７に対する異常斜め入射光の入射に関する情報とが対応づけられている。

　異常斜め入射光検出部６１は、撮像素子２７のエリア毎に、「判定用画素Ｇ１～Ｇ４の種類毎の画素データの平均値」を算出し、この算出値の大きさに基づいて判定用画素Ｇ１～Ｇ４に順位（画素データ順位）を割り当てる。このとき、異常斜め入射光検出部６１は、「判定用画素Ｇ１～Ｇ４の種類毎の画素データの平均値」をその大きさに応じてソートした後に、画素データ順位の割り当てを行ってもよい。そして、異常斜め入射光検出部６１は、算出した画素データ順位のデータパターンを、記憶部６５から読み出した判別テーブルと照らし合わせて、該当する異常斜め入射光の入射に関する情報（異常斜め入射光の有無、入射方向及び強度）を取得する。

　次に、異常斜め入射光検出部６１の機能構成について説明する。

　図１８は、異常斜め入射光検出部６１の機能構成の一例を示すブロック図である。異常斜め入射光検出部６１は、画素データ値算出部６６と、画素データパターン算出部６７と、異常斜め入射光判定部６８とを有する。

　画素データ値算出部６６は、入力されるモザイク画像データ（ＲＡＷデータ）から、異常斜め入射光の検出に使用する判定用画素を決定し、決定した判定用画素の種類毎の画素データの平均値を、撮像素子２７の分割エリア（図１４参照）毎に算出する。

　画素データパターン算出部６７は、判定用画素の種類毎の画素データのデータパターンを撮像素子２７の分割エリア毎に算出する。例えば、上述の「異常斜め入射光の検出例１（図１５参照）」を採用する場合には、「判定用画素の画素データ値の平均値に対する比率」が画素データパターン算出部６７において算出取得される。また、上述の「異常斜め入射光の検出例２（図１６参照）」を採用する場合には、「判定用画素－画素データ指標」の関係が画素データパターン算出部６７において算出取得される。また、上述の「異常斜め入射光の検出例３（図１７参照）」を採用する場合には、「判定用画素－画素データ順位」の関係が画素データパターン算出部６７において算出取得される。

　異常斜め入射光判定部６８は、記憶部６５に記憶される判別テーブルを参照して、画素データパターン算出部６７で算出された「判定用画素の種類毎の画素データのデータパターン」から、撮像素子２７に入射する異常斜め入射光を検出する。例えば、上述の「異常斜め入射光の検出例１（図１５参照）」を採用する場合、「判定用画素の画素データ値の平均値に対する比率」と異常斜め入射光の状態の情報とが判別テーブルに規定される。異常斜め入射光判定部６８は、画素データパターン算出部６７で算出取得された「判定用画素の画素データ値の平均値に対する比率」を判別テーブルと照らし合わせて、異常斜め入射光の状態の情報を取得する。また、上述の「異常斜め入射光の検出例２（図１６参照）」を採用する場合、「判定用画素－画素データ指標」の関係と異常斜め入射光の状態の情報とが判別テーブルに規定されており、異常斜め入射光判定部６８は、画素データパターン算出部６７で算出取得された「判定用画素－画素データ指標」の関係を判別テーブルと照らし合わせて、異常斜め入射光の状態の情報を取得する。また、上述の「異常斜め入射光の検出例３（図１７参照）」を採用する場合、「判定用画素－画素データ順位」の関係と異常斜め入射光の状態の情報とが判別テーブルに規定されており、異常斜め入射光判定部６８は、画素データパターン算出部６７で算出取得された「判定用画素－画素データ順位」の関係を判別テーブルと照らし合わせて、異常斜め入射光の状態の情報を取得する。

　このように、判定用画素Ｇ１～Ｇ４の画素データの出力パターンと異常斜め入射光の状態を規定する判別テーブルを用いることで、簡便且つ容易に異常斜め入射光の検出を行うことができる。

　＜異常斜め入射光の色種類判定＞
　上述の例では、主として「隣接Ｒ画素のＲフィルタを通過した赤色異常斜め入射光」について説明したが、赤（Ｒ）色以外の色に対応する波長を持つ異常斜め入射光に対しても、上述の異常斜め入射光の検出手法は応用可能である。

　図１９は、異常斜め入射光の色種類判定の一例を示すフローチャートである。本例では、赤色（Ｒ）異常斜め入射光及び緑色（Ｇ）異常斜め入射光のうちいずれの異常斜め入射光が撮像素子２７のエリアに入射しているかを、異常斜め入射光検出部６１（画素データ値算出部６６）が判別する例について説明するが、他色の異常斜め入射光（例えば青色（Ｂ）異常斜め入射光）に対しても同様に判別することが可能である。

　まず、撮像素子２７のエリア毎に、エリア内のＲ画素、Ｇ画素及びＢ画素のそれぞれの画素データ（ホワイトバランス補正前の画素データ）の合計値が画素データ値算出部６６において算出される（図１９のＳ１１）。

　そして、エリア内の「Ｒ画素の画素データの合計値」と「Ｇ画素の画素データの合計値」との大小が画素データ値算出部６６において判別される（Ｓ１２）。Ｒ画素の画素データの合計値がＧ画素の画素データの合計値よりも大きい場合（Ｓ１２のＹ）、このエリアには赤色異常斜め入射光が入射している可能性があると判別し、Ｒ異常斜め入射光用の判別テーブルが採用される（Ｓ１３）。一方、Ｒ画素の画素データの合計値がＧ画素の画素データの合計値よりも大きくない場合（Ｓ１２のＮ）、このエリアには緑色異常斜め入射光が入射している可能性があると判別し、Ｇ異常斜め入射光用の判別テーブルが採用される（Ｓ１４）。

　画素データ値算出部６６は、判別した異常斜め入射光の色種類に応じた判定用画素を決定する。そして、異常斜め入射光判定部６８は、採用された判別テーブルを記憶部６５から読み出して、異常斜め入射光の状態を検出する。

　判別テーブルでは、エリア内における「判定用画素の種類毎の画素データの平均値に基づくデータパターン」と対応づけられる「撮像素子に対する異常斜め入射光の入射に関する情報」が、異常斜め入射光の色種類毎に定められている。例えば、本例のように異常斜め入射光として「赤色異常斜め入射光」及び「緑色異常斜め入射光」が想定される場合、赤色異常斜め入射光用の「エリア内における判定用画素の種類毎の画素データの平均値に基づくデータパターン」に関する判別テーブル及び緑色異常斜め入射光用の「エリア内における判定用画素の種類毎の画素データの平均値に基づくデータパターン」に関する判別テーブルの両者が記憶部６５に記憶される。

　図２０は、図２の撮像素子２７（Ｘ－Ｔｒａｎｓ配列）に対する異常斜め入射光の検出に使用される判別テーブルの一例を示す図である。図２０には、赤色異常斜め入射光用の「エリア内における判定用画素の種類毎の画素データの平均値に基づくパターン」に関する判別テーブル（図２０の「Ｒ判別テーブル」参照）と、緑色異常斜め入射光用の「エリア内における判定用画素の種類毎の画素データの平均値に基づくパターン」に関する判別テーブル（図２０の「Ｇ判別テーブル」参照）とが組み合わされて示されている。

　図２０において、「ＰＡＴ００」～「ＰＡＴ２８」は、それぞれ判定用画素の代表的な出力パターン例を示し、「ＰＡＴ００」～「ＰＡＴ２８」以外の出力パターンの場合は、「異常斜め入射光無し」と判定される。また、図２０の「Ｇ１」～「Ｇ８」は、図１３に示されるＧ画素に対応する。また、図２０にはＧ１画素～Ｇ８画素の出力データが画素データ指標で表され（図１６参照）、「０」（エリア内における平均画素データが小）、「１」（エリア内における平均画素データが中）及び「２」（エリア内における平均画素データが大）の画素データ指標が用いられている。図２０の「－」は、対応の異常斜め入射光の検出のための判定結果としての使用が難しい場合を示す。判定結果が「－」の場合は、異常斜め入射光の入射無し（「ゴーストなし」）のときと同様の処理が行われるため、異常斜め入射光の入射無し（「ゴーストなし」）と判定するようにしてもよい。

　図２０では異常斜め入射光の入射を簡易的に「ゴースト」と表記し、通常よりも強度の強い異常斜め入射光の入射に関しては「強ゴースト」と表記する。図２０における「上下」は「垂直方向の正方向側及び負方向側」を意味し、「右左」は「水平方向の正方向側及び負方向側」を意味する。例えば「上からゴースト」とは「垂直方向の正方向側から負方向側に向かう異常斜め入射光が入射すること」を意味し、「右からゴースト」とは「水平方向の正方向側から負方向側に向かう異常斜め入射光が入射すること」を意味する。

　図２０の結果において、例えば赤色異常斜め入射光の入射方向が水平方向又は垂直方向（「上」「下」「左」「右」）の場合、判定用画素の「対角斜め方向に隣接する画素」からの影響は小さく画素データ指標に対する影響は小さい（画素データ指標＝０）が、水平方向及び垂直方向（上下左右）に隣接するＲ画素からの影響は非常に大きい（画素データ指標＝２）。また、この場合、水平方向及び垂直方向（上下左右）に隣接するＧ画素からの影響も大きい（画素データ指標＝１）が、隣接するＢ画素からの影響は小さい（画素データ指標＝０）。

　図２０の結果において、赤色異常斜め入射光の入射方向が水平方向及び垂直方向に対して斜め（以下、単に「入射方向が斜め」という場合がある。具体的には、図２０の「右上」、「右下」、「左上」、「左下」を示す。）の場合、判定用画素の「対角斜め方向に隣接する画素」からの影響は小さく画素データ指標に対する影響は小さい（画素データ指標＝０）が、水平方向及び垂直方向（上下左右）に隣接するＧ画素からの影響は中くらいであり、水平方向及び垂直方向（上下左右）に隣接するＲ画素からの影響は大きい。また、赤色異常斜め入射光の入射方向が斜めの場合、その入射方向に関し、水平方向及び垂直方向（上下左右）において２画素隣接しているＧ画素からの影響は、水平方向及び垂直方向（上下左右）に１画素隣接しているＲ画素からの影響と同程度である。したがって、例えば赤色異常斜め入射光が右上から入射した場合、判定用画素のうち、「垂直方向の正方向側（上側）にＲ画素と隣接し、且つ、水平方向の正方向側（右側）にＧ画素と隣接するＧ１画素」が赤色異常斜め入射光による混色の影響を最も受け（画素データ指標＝２）、「水平方向の正方向側（右側）にＲ画素と隣接する（ただし、垂直方向の正方向側（上側）においてＲ画素及びＧ画素とは隣接しない）Ｇ２画素」及び「垂直方向の正方向側（上側）と水平方向の正方向側（左側）にＧ画素と隣接するＧ４画素」が赤色異常斜め入射光による混色の影響を同程度受け（画素データ指標＝１）、「垂直方向の正方向側（上側）にＧ画素と隣接する（ただし、水平方向の正方向側（右側）においてＲ画素及びＧ画素とは隣接しない）Ｇ３画素」が赤色異常斜め入射光による混色の影響が最も小さい（画素データ指標＝０）。このため、例えば図２０の「ＰＡＴ０９」で示されるパターンが検出された場合は、赤色異常斜め入射光（ゴースト等）が右上から入射したと判定することができる。

　図２０の結果において、緑色異常斜め入射光の入射方向が斜め（図２０の「右上」、「右下」、「左上」、「左下」）の場合、判定用画素の「対角斜め方向に隣接する画素」からの影響は小さく画素データ指標に対する影響は小さい（画素データ指標＝０）が、水平方向及び垂直方向（上下左右）に隣接するＧ画素からの影響は中～大である。

　なお、「Ｇ１画素～Ｇ４画素」の判定用画素のセット及び「Ｇ５画素～Ｇ８画素」の判定用画素のセットのうちの少なくともいずれか一方のセットの出力パターンから、異常斜め入射光の状態を検出することができる。

　異常斜め入射光検出部６１（画素データ値算出部６６、画素データパターン算出部６７、異常斜め入射光判定部６８）は、撮像素子のエリア内におけるカラーフィルタの色種類毎の画素データに基づいて異常斜め入射光の色種類を決定し、決定した異常斜め入射光の色種類に対応する判別テーブル（図２０）を参照し、撮像素子２７に対する異常斜め入射光の状態を検出する。

　上述の図１９に示す例では２種類の異常斜め入射光（赤色異常斜め入射光及び緑色異常斜め入射光）から対応の異常斜め入射光の種類を特定する例について説明したが、３種類以上の異常斜め入射光から対応の異常斜め入射光の種類を特定することも可能である。

　図２１は、異常斜め入射光の色種類判定の他の例を示すフローチャートである。本例では、赤色異常斜め入射光、緑色異常斜め入射光及び青色異常斜め入射光の中から対応の異常斜め入射光の種類を画素データ値算出部６６において特定する例について説明する。

　まず、撮像素子２７のエリア毎に、エリア内のＲ画素、Ｇ画素及びＢ画素のそれぞれの画素データ（ホワイトバランス補正前の画素データ）の合計値が画素データ値算出部６６において算出される（図２１のＳ２１）。

　そして、エリア内の「Ｒ画素の画素データの合計値」と「Ｇ画素の画素データの合計値」との大小が画素データ値算出部６６において判別される（Ｓ２２）。Ｒ画素の画素データの合計値がＧ画素の画素データの合計値よりも大きい場合（Ｓ２２のＹ）、エリア内の「Ｒ画素の画素データの合計値」と「Ｂ画素の画素データの合計値」との大小が画素データ値算出部６６において判別される（Ｓ２３）。Ｒ画素の画素データの合計値がＢ画素の画素データの合計値よりも大きくない場合（Ｓ２３のＮ）、このエリアには青色異常斜め入射光が入射している可能性があると判別し、青色異常斜め入射光用の判別テーブルが採用される（Ｓ２５）。一方、Ｒ画素の画素データの合計値がＢ画素の画素データの合計値よりも大きい場合（Ｓ２３のＹ）、このエリアには赤色異常斜め入射光が入射している可能性があると判別し、赤異常斜め入射光用の判別テーブルが採用される（Ｓ２６）。

　Ｒ画素の画素データの合計値がＧ画素の画素データの合計値よりも大きくない場合（Ｓ２２のＮ）、エリア内の「Ｇ画素の画素データの合計値」と「Ｂ画素の画素データの合計値」との大小が画素データ値算出部６６において判別される（Ｓ２４）。Ｇ画素の画素データの合計値がＢ画素の画素データの合計値よりも大きい場合（Ｓ２４のＹ）、このエリアには緑色異常斜め入射光が入射している可能性があると判別し、緑色異常斜め入射光用の判別テーブルが採用される（Ｓ２７）。一方、Ｇ画素の画素データの合計値がＢ画素の画素データの合計値よりも大きくない場合（Ｓ２４のＮ）、このエリアには青色異常斜め入射光が入射している可能性があると判別し、青色異常斜め入射光用の判別テーブルが採用される（Ｓ２８）。

　このようにして、３種類以上の異常斜め入射光の中から対応の異常斜め入射光の種類を特定することができる。異常斜め入射光の色種類は特に限定されないが、異常斜め入射光による混色現象は、通過するカラーフィルタと受光するフォトダイオードとが相互に対応しないことに起因する。したがって、異常斜め入射光の色種類としては、撮像素子２７で採用されるカラーフィルタの色に応じた複数色の異常斜め入射光の入射可能性を判別することが好ましい。ただし、長波長成分ほどフォトダイオード（シリコン）に深く進入して混色現象として現れ易い。このため、撮像素子２７で採用されるカラーフィルタのうち長波長側の波長成分を通過させるカラーフィルタに対応する色の異常斜め入射光の入射可能性を判別することで、混色現象をより抑制しやすくなる。例えば、撮像素子２７がＲＧＢフィルタによって構成される場合には、Ｒ（赤）に対応する異常斜め入射光の入射可能性を判別することで、混色現象をより抑制しやすくなる。

　なお、上述の例では、「エリア内におけるＲ画素の画素データの合計値」、「エリア内におけるＧ画素の画素データの合計値」及び「エリア内におけるＢ画素の画素データの合計値」の比較のみによって、異常斜め入射光の色種類が決められているが、他の条件を付加してもよい。

　例えば、図１９に示す例（２種類の色種類から異常斜め入射光の色種類を特定する例）において、「エリア内における一方の色種類（例えばＲ）に係る画素の画素データの合計値」が「エリア内における他方の色種類（例えばＧ）に係る画素の画素データの合計値」のｘ倍（但し、０＜ｘ≦１、例えばｘ＝０．６）の値以上であった場合に、上記の一方の色種類（Ｒ）に対応する異常斜め入射光（例えば赤色異常斜め入射光）がそのエリアに入射している可能性があると、異常斜め入射光検出部６１（画素データ値算出部６６）は判定することも可能である。

　また、図２１に示す例（３種類の色種類から異常斜め入射光の色種類を特定する例）において、異常斜め入射光検出部６１（画素データ値算出部６６）は、撮像素子２７のエリア内において、Ｒ画素の画素データの平均値のＸ倍の値（０＜Ｘ≦１）、Ｇ画素データの平均値のＹ倍の値（０＜Ｙ≦１）及びＢ画素の画素データの平均値のＺ倍の値（０＜Ｚ≦１）のうち、最も大きな値を示す色種のカラーフィルタに対応する色種類の異常斜め入射光が撮像素子に入射すると判定することが可能である。

　これらの「ｘ」、「Ｘ」、「Ｙ」及び「Ｚ」の値は、適宜定めうるが、検出対象とする異常斜め入射光の色種類の優先度に応じて決定してもよい。長波長側の光成分ほど混色を引き起こしやすく同色画素間の画素データ段差を招き易い。このため、例えば、長波長側の色種を持つ異常斜め入射光が優先的に検出されるように、「ｘ」、「Ｘ」、「Ｙ」及び「Ｚ」の値が定められてもよい。

　なお、入射光検出部６１（画素データ値算出部６６）は、撮像素子２７が有するカラーフィルタの色種のうち、入射可能性があると判定検知した異常斜め入射光の色種に対応する色種のカラーフィルタが、判定用画素の隣接画素のカラーフィルタとなるように、上述の判定用画素を選定する。

　以上説明したように、本実施形態によれば、判定用画素の画素データから簡便にゴースト光等の異常斜め入射光を検出することができ、そのような異常斜め入射光によって劣化した画質を回復する補正処理（混色補正処理）を効果的に行うことが可能である。

　特に、撮像素子２７が上述のＸ－Ｔｒａｎｓ配列（図２及び図１３参照）を有する場合には、同一の判定用画素Ｇ１～Ｇ４を用いて、赤色異常斜め入射光、緑色異常斜め入射光及び青色異常斜め入射光の各々を検出することが可能である。

　図２２（ａ）～（ｄ）に示すように、Ｇ１画素～Ｇ４画素は、「水平方向の正方向及び負方向に隣接する画素及び垂直方向の正方向及び負方向に隣接する画素のカラーフィルタのパターンが相互に異なること」、「水平方向の正方向及び負方向に隣接する画素及び垂直方向の正方向及び負方向に隣接する画素のうち少なくとも１つは、Ｂのカラーフィルタ（検出対象の異常斜め入射光に対応するカラーフィルタ）を有すること」及び「判定用画素の各々に対して水平方向の正方向及び負方向に隣接する画素及び垂直方向の正方向及び負方向に隣接する画素のうち、判定用画素を挟んでＢ画素と対向する位置に配置される画素は、Ｂフィルタ以外のカラーフィルタを有すること」の条件を満たす。したがって、Ｇ１画素～Ｇ４画素を判定用画素として使用し、青色異常斜め入射光の状態を検出することが可能である。

　また、図２２（ｅ）～（ｈ）に示すように、Ｇ１画素～Ｇ４画素は、「水平方向の正方向及び負方向に隣接する画素及び垂直方向の正方向及び負方向に隣接する画素のカラーフィルタのパターンが相互に異なること」、「水平方向の正方向及び負方向に隣接する画素及び垂直方向の正方向及び負方向に隣接する画素のうち少なくとも１つは、Ｇのカラーフィルタ（検出対象の異常斜め入射光に対応するカラーフィルタ）を有すること」及び「判定用画素の各々に対して水平方向の正方向及び負方向に隣接する画素及び垂直方向の正方向及び負方向に隣接する画素のうち、判定用画素を挟んでＧ画素と対向する位置に配置される画素は、Ｇフィルタ以外のカラーフィルタを有すること」の条件を満たす。したがって、Ｇ１画素～Ｇ４画素を判定用画素として使用し、緑色異常斜め入射光の状態を検出することが可能である。

　＜分割エリアの変形例＞
　上述の実施形態では、図１４に示す複数の分割領域（２５エリア）の各々が、異常斜め入射光の検出対象のエリアとして設定される。この分割領域の配置は、必ずしも２５エリアに限定されるものではなく、２５よりも多いエリアや２５よりも少ないエリアに撮像素子２７の構成画素を分割するようにしてもよい。また、撮像素子２７の画素５０のすべてを含む領域を異常斜め入射光の検出対象の１つのエリア（単一エリア）として設定してもよい。撮像素子２７の構成画素を複数のエリアに分割する場合、各エリアの面積は、すべての分割エリアで同じであってもよいし、異なっていてもよい。

　上述の実施形態では、図１４に示される複数の分割領域が撮像素子２７のすべての画素を含む例が示されているが、撮像素子２７の一部の画素のみが異常斜め入射光の検出対象のエリアに含まれるようにしてもよい。

　撮像素子２７の分割領域の形は、図１４に示される例（四角形の分割領域）に限定されるものではなく、例えば、三角形や六角形、八角形の多角形等、任意の形の分割領域を設定することが可能である。

　撮像素子２７に対して、複数の分割領域を重畳的に適用してもよい。図２３は、撮像素子２７の構成画素を、分割エリアＡ（第１の分割領域）及び分割エリアＢ（第２の分割領域）に重畳的に分割する例を示す図である。図２３（ａ）は、分割エリアＡ及び分割エリアＢの適用状態を示す撮像素子２７の平面図であり、（ｂ）は分割エリアＡのエリア分割例を示し、（ｃ）は分割エリアＢのエリア分割例を示す。

　図２３（ａ）に示す撮像素子２７には、複数の分割エリアＡが設定されると共に、分割エリアＡとは異なる分割方式を有する複数の分割エリアＢが設定され、分割エリアＡと分割エリアＢとは少なくとも部分的にオーバーラップ（重複）する。分割エリアＡは、図１４に示すエリア分割例と同じ分割方式を有し、撮像素子２７の構成画素が「水平方向に５分割」及び「垂直方向に５分割」（計２５分割）されている（図２３（ｂ）の「エリアＡ００」～「エリアＡ４４」参照）。一方、分割エリアＢは、「水平方向に４分割」及び「垂直方向に４分割」（計１６分割）のエリアを有し（図２３（ｃ）の「エリアＢ００」～「エリアＢ３３」参照）、分割エリアＢの個々のエリアは、分割エリアＡの個々のエリアと同じ形状及びサイズを有する。

　これらの分割エリアＡ及び分割エリアＢは、中心が同じ位置となるようにオーバーラップし、分割エリアＡの中心（図２３（ｂ）の「エリアＡ２２」の中心）と分割エリアＢの中心（図２３（ｃ）の「エリアＢ１１」、「エリアＢ１２」、「エリアＢ２１」及び「エリアＢ２２」の境界の中心）とが重なる。したがって、水平方向及び垂直方向のうち少なくとも一方（本例では両方）に関し、分割エリアＡ及び分割エリアＢの個々のエリアの大きさの半分だけずれるように、分割エリアＡと分割エリアＢとが設定される。これにより、分割エリアＢの個々のエリアは、分割エリアＡの２以上の領域と重なる。具体的には、分割エリアＢの個々のエリアは、分割エリアＡの４つのエリアと部分的にオーバーラップする。

　例えば、分割エリアＢのエリアＢ１１は、分割エリアＡのエリアＡ１１、エリアＡ１２、エリアＡ２１及びエリアＡ２２とオーバーラップする（図２３（ａ）の「Ｃ」及び図２４参照）。このように、撮像素子２７は、分割エリアＡのいずれかの領域に分類されると共に分割エリアＢのいずれかの領域に分類される画素を含むこととなる。例えば、分割エリアＢのエリアＢ１１に分類される画素は、分割エリアＡのエリアＡ１１、エリアＡ１２、エリアＡ２１及びエリアＡ２２のいずれかに分類される。

　異常斜め入射光検出部６１は、分割エリアＡの各領域における「判定用画素の種類毎の画素データの平均値」に基づいて、分割エリアＡの各領域に入射する異常斜め入射光を検出する。また、異常斜め入射光検出部６１は、分割エリアＢの各領域における「判定用画素の種類毎の画素データの平均値」に基づいて、分割エリアＢの各領域に入射する異常斜め入射光を検出する。そして、異常斜め入射光検出部６１は、分割エリアＡの各領域に入射する異常斜め入射光の検出結果及び分割エリアＢの各領域に入射する異常斜め入射光の検出結果に基づいて、分割エリアＡの各領域と分割エリアＢの各領域とが重なる領域に入射する異常斜め入射光を検出する。

　例えば、エリアＡ１１及びエリアＢ１１において同方向に入射する異常斜め入射光が検出される一方で、エリアＡ１２、エリアＡ２１及びエリアＡ２２において異常斜め入射光が検出されない場合、エリアＢ１１のうちエリアＡ１１と重複する領域でのみ異常斜め入射光による混色現象が生じていると判定することができる（図２４の「Ｄ」参照）。同様に、エリアＡ００とエリアＢ００で弱異常斜め入射光（比較的弱い異常斜め入射光）の入射が検出される一方で、エリアＡ１０、エリアＡ１１、エリアＡ０１で異常斜め入射光が検出されない場合、エリアＢ００のうちエリアＡ００との重複領域でのみ、異常斜め入射光による混色現象が生じていると判定することができる。このように撮像素子２７の構成画素に対して複数の分割エリアを重畳的に適用することで、異常斜め入射光による混色発生エリアをより限定的に特定することが可能となる。

　撮像素子２７に対して複数の分割領域を重畳的に適用することで、異常斜め入射光による混色の影響を受ける領域を効果的に限定することができ、異常斜め入射光の検出精度が向上する。

　＜カラーフィルタの変形例＞
　上述の各実施形態では、撮像素子２７がＸ－Ｔｒａｎｓ配列（図２及び図１３参照）のカラーフィルタ配列を有する例について説明したが、撮像素子２７は他のカラーフィルタ配列を有していてもよい。

　図２５は、他のカラーフィルタ配列例を示す撮像素子２７の平面図である。本例では、４画素（水平方向）×４画素（垂直方向）によって基本配列パターンＰが形成される。各基本配列パターンＰでは、垂直方向の正方向から順に、「Ｇ画素、Ｇ画素、Ｇ画素、Ｇ画素」が水平方向に並置される行と、「Ｇ画素、Ｂ画素、Ｇ画素、Ｒ画素」が水平方向に並置される行と、「Ｇ画素、Ｇ画素、Ｇ画素、Ｇ画素」が水平方向に並置される行と、「Ｇ画素、Ｒ画素、Ｇ画素、Ｂ画素」が水平方向に並置される行とが、配置されている。この基本配列パターンＰにおいても、上述の判定用画素の条件を満たす少なくとも４種類の同色画素（図２５に示す例ではＧ画素）が含まれる。このため、これらの同色画素を判定用画素として使用することで、異常斜め入射光を精度良く検出することが可能である。図２５には、赤色異常斜め入射光の検出に使用可能な判定用画素Ｇ１～Ｇ４の一例が図示されているが、上述の判定用画素の条件を満たす他の画素が存在するため、そのような他の画素を判定用画素として使用してもよい。

　図２６は、他のカラーフィルタ配列例を示す撮像素子２７の平面図である。本例では、３画素（水平方向）×３画素（垂直方向）によって基本配列パターンＰが形成される。各基本配列パターンＰでは、垂直方向の正方向から順に、「Ｒ画素、Ｂ画素、Ｇ画素」が水平方向に並置される行と、「Ｂ画素、Ｒ画素、Ｇ画素」が水平方向に並置される行と、「Ｇ画素、Ｇ画素、Ｇ画素」が水平方向に並置される行とが、配置されている。この基本配列パターンＰにおいても、上述の判定用画素の条件を満たす少なくとも４種類の同色画素（図２６に示す例ではＧ画素）が含まれる。このため、これらの同色画素を判定用画素として使用することで、異常斜め入射光を検出することが可能である。図２６には、赤色異常斜め入射光を検出する際に使用可能な判定用画素Ｇ１～Ｇ４の一例が図示されている。

　図２７は他のカラーフィルタ配列例を示す撮像素子２７の平面図であり、（ａ）は４つの基本配列パターンＰが配列された状態を示し、（ｂ）は赤色異常斜め入射光を検出する際に使用可能な判定用画素Ｇ１～Ｇ４の一例を示し、（ｃ）は緑色異常斜め入射光を検出する際に使用可能な判定用画素Ｇ１～Ｇ４の一例を示し、（ｄ）は青色異常斜め入射光を検出する際に使用可能な判定用画素Ｇ１～Ｇ４の一例を示す。本例では、４画素（水平方向）×４画素（垂直方向）によって基本配列パターンＰが形成される。各基本配列パターンＰでは、垂直方向の正方向から順に、「Ｒ画素、Ｂ画素、Ｇ画素、Ｇ画素」が水平方向に並置される行と、「Ｂ画素、Ｒ画素、Ｇ画素、Ｇ画素」が水平方向に並置される行と、「Ｇ画素、Ｇ画素、Ｂ画素、Ｒ画素」が水平方向に並置される行と、「Ｇ画素、Ｇ画素、Ｒ画素、Ｂ画素」が水平方向に並置される行とが、配置されている。この基本配列パターンＰにおいても、上述の判定用画素の条件を満たす少なくとも４種類の同色画素が含まれる。このため、これらの同色画素を判定用画素として使用することで、異常斜め入射光を検出することが可能である。特に、本例のカラーフィルタ配列では、同一の画素（Ｇ１画素～Ｇ４画素）を、「赤色異常斜め入射光検出用の判定画素」（図２７（ｂ）参照）、「緑色異常斜め入射光検出用の判定画素」（図２７（ｃ）参照）及び「青色異常斜め入射光検出用の判定画素」（図２７（ｄ）参照）として使用することが可能である。なお、図２７に図示されるＧ１～Ｇ４以外にも、上述の判定用画素の条件を満たす他の画素が存在するため、そのような他の画素を判定用画素として使用してもよい。

　図２８は他のカラーフィルタ配列例を示す撮像素子２７の平面図であり、（ａ）は４つの基本配列パターンＰが配列された状態を示し、（ｂ）は赤色異常斜め入射光を検出する際に使用可能な判定用画素Ｇ１～Ｇ４の一例を示し、（ｃ）は緑色異常斜め入射光を検出する際に使用可能な判定用画素Ｒ１～Ｒ４の一例を示し、（ｄ）は青色異常斜め入射光を検出する際に使用可能な判定用画素Ｇ１～Ｇ４の一例を示す。本例では、５画素（水平方向）×５画素（垂直方向）によって基本配列パターンＰが形成される。各基本配列パターンＰでは、垂直方向の正方向から順に、「Ｇ画素、Ｂ画素、Ｒ画素、Ｂ画素、Ｇ画素」が水平方向に並置される行と、「Ｒ画素、Ｇ画素、Ｂ画素、Ｇ画素、Ｒ画素」が水平方向に並置される行と、「Ｂ画素、Ｒ画素、Ｇ画素、Ｒ画素、Ｂ画素」が水平方向に並置される行と、「Ｒ画素、Ｇ画素、Ｂ画素、Ｇ画素、Ｒ画素」が水平方向に並置される行と、「Ｇ画素、Ｂ画素、Ｒ画素、Ｂ画素、Ｇ画素」が水平方向に並置される行とが、配置されている。この基本配列パターンＰにおいても、上述の判定用画素の条件を満たす少なくとも４種類の同色画素（図２８に示す例ではＧ画素／Ｒ画素）が含まれる。このため、これらの同色画素を判定用画素として使用することで、異常斜め入射光を検出することが可能である。なお、図２８に図示されるＧ１～Ｇ４及びＲ１～Ｒ４以外にも、上述の判定用画素の条件を満たす他の画素が存在するため、そのような他の画素を判定用画素として使用してもよい。

　＜他の変形例＞
　上述の各実施形態では、主として「異常斜め入射光の入射によってもたらされる混色」の検出及び補正について説明したが、混色判定補正部４１（図３参照）は、「異常斜め入射光とは無関係の混色」の補正を行ってもよい。すなわち、ＣＭＯＳ等の撮像素子２７では、隣接画素の配色パターンや画素共有アンプ等の下地構造によって、異常斜め入射光の入射の有無とは無関係に、隣接画素の画素データ出力の影響を受けることがある。このような「異常斜め入射光とは無関係な、隣接画素からの混色」の影響を低減・解消する画素データ補正が行われてもよい。このような混色補正として、例えば、隣接画素の配色パターンや下地構造に基づく「隣接画素からの混色率」を予め求めておき、実際に隣接画素から出力される画素データとこの「隣接画素からの混色率」との積和から混色量を算出し、この混色量を補正対象画素の画素データから減算することで、補正対象画素の本来の画素データを取得することが可能である。

　カラーフィルタ配列（撮像素子の画素配列）の配列方向は特に限定されず、水平方向及び垂直方向に対して任意の角度を持つ方向であってもよい。例えば、水平方向及び垂直方向に２次元的に配列された複数の画素（カラーフィルタ）を４５度回転させた所謂「ハニカム型の配列」であってもよい。また、ＲＧＢ以外の色のカラーフィルタが用いられてもよく、例えば、赤波長域の光、青波長域の光及び緑波長域の光のいずれも透過するフィルタであって、これらの波長域において比較的高い光透過率（例えば７０％以上の光透過率）を有する透明フィルタや透明フィルタよりも低い透過率を有する所謂白色フィルタをカラーフィルタとして使用してもよい。この場合、赤色フィルタ、透明フィルタ及び白色フィルタのうちのいずれかを、異常斜め入射光に対応する色のカラーフィルタ（第１色のカラーフィルタ）としてもよい。また、青色フィルタ及び緑色フィルタのうちのいずれかを異常斜め入射光に対応する色のカラーフィルタとしてもよい。撮像素子２７は赤、緑、青、透明及び白色以外の色のカラーフィルタを有する画素を含んでいてもよい。

　なお、上述のデジタルカメラ１０は例示であり、他の構成に対しても本発明を適用することが可能である。各機能構成は、任意のハードウェア、ソフトウェア、あるいは両者の組み合わせによって適宜実現可能である。したがって、例えば、上述の各装置及び処理部（異常斜め入射光検出部６１、異常斜め入射光補正部６３等）における処理手順をコンピュータに実行させるプログラムに対しても本発明を適用することができる。

　上述の各実施形態では、画像処理回路３２（混色判定補正部４１等）がデジタルカメラ１０に設けられる態様について説明したが、コンピュータ等の他の装置に画像処理回路３２（混色判定補正部４１等）が設けられてもよい。

　例えば、コンピュータにおいて画像データを加工する際に、コンピュータに設けられる画像処理部によって上述の異常斜め入射光の検出及び混色補正が行われてもよい。サーバが画像処理部（混色判定補正部）を備える場合には、例えば、デジタルカメラやコンピュータからサーバに画像データが送信され、サーバの画像処理部においてこの画像データに対して上述の異常斜め入射光の検出及び混色補正が行われ、混色補正後の画像データが送信元に送信・提供されるようにしてもよい。

　本発明が適用される態様はデジタルカメラ、コンピュータ及びサーバに限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。このようなモバイル機器類としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

　＜スマートフォンの構成＞
　図２９は、本発明の撮像装置の一実施形態であるスマートフォン１０１の外観を示すものである。図２９に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備えている。筐体１０２は、スピーカ１３１と、マイクロホン１３２、操作部１４０と、カメラ部１４１とを備えている。筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とがそれぞれ独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

　図３０は、図２９に示すスマートフォン１０１の構成を示すブロック図である。図３０に示すように、スマートフォン１０１は主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。スマートフォン１０１は主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

　無線通信部１１０は、主制御部１００の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行う。無線通信部１１０は、無線通信を使用して、例えば、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

　表示入力部１２０は、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する。表示入力部１２０は、例えばタッチパネルである。

　表示入力部１２０の表示パネル１２１は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）等を表示デバイスとして用いることで構成される。表示入力部１２０の操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。操作パネル１２２をユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。主制御部１００は、入力された検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

　本実施形態のスマートフォン１０１においては、操作パネル１２２は表示パネル１２１を完全に覆うように配置され、これら操作パネル１２２と操作パネル１２１とが一体となって表示入力部１２０を構成している。この場合、操作パネル１２２は、表示パネル１２１の外側の領域についても、ユーザ操作を検出する機能を備えるようにしてもよい。すなわち、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、表示パネル１２１に重ならないそれ以外の外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

　表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いし、両者を一致させなくてもよい。表示領域の大きさと表示パネル１２１の大きさとは、必ずしも一致させる必要はない。操作パネル１２２は、外縁部分と、それ以外の内側部分との２つの感応領域を備えていてもよい。外縁部分の幅は、筐体１０２の大きさ等に応じて適宜設計される。操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられる。

　通話部１３０は、スピーカ１３１やマイクロホン１３２を備える。マイクロホン１３２を通じて入力されたユーザの音声は、主制御部１００において処理可能な音声データに変換される。スピーカ１３１は、無線通信部１１０又は外部入出力部１６０により受信された音声データを、復号して出力するものである。例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

　操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２９に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載される。操作部１４０は、例えば、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

　記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、ダウンロードしたコンテンツデータ等を記憶する。また、記憶部１５０は、ストリーミングデータなどを一時的に記憶する。記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。内部記憶部１５１と外部記憶部１５２とは、例えば、フラッシュメモリタイプ（ｆｌａｓｈ　ｍｅｍｏｒｙ　ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ　ｄｉｓｋ　ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ　ｃａｒｄ　ｍｉｃｒｏ　ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の格納媒体を用いて実現される。

　外部入出力部１６０は、スマートフォン１０１に連結される外部機器とのインターフェースの役割を果たすものであり、スマートフォン１０１と他の外部機器とを通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続する。

　スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ　ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホン等がある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにしてもよい。

　ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合は、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。モーションセンサ部１８０による検出結果は、主制御部１００に出力される。

　電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部にバッテリ（図示しない）に蓄えられる電力を供給する。

　主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御する。主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。

　アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能等が挙げられる。

　主制御部１００は、受信データやダウンロードしたストリーミングデータ等の画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

　主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

　表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示したりする。スクロールバーとは、表示パネル１２１の表示領域に収まりきらない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　操作検出制御の実行により主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じたアイコンに対する操作やウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。

　操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、表示パネル１２１に重ならないそれ以外の外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせたりして、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部１４１は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。カメラ部１４１によって撮像されて得た画像データは、主制御部１００により、例えばＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）等の圧縮した画像データに変換されて記憶部１５０に記録されたり、入出力部１６０や無線通信部１１０を通じて出力されたりする。図２９に示すように、本実施形態のスマートフォン１０１においては、カメラ部１４１は表示入力部１２０と同じ面に一つ搭載されているが、これに限らず、カメラ部１４１は表示入力部１２０の背面に搭載されてもよいし、複数のカメラ部１４１が搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独で撮影したり、複数のカメラ部１４１を同時に使用して撮影したりすることもできる。

　カメラ部１４１は、スマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することに利用したり、操作パネル１２２の操作入力の一つとしてカメラ部１４１の画像を利用したりすることができる。ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。更には、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。カメラ部１４１からの画像は、アプリケーションソフトウェア内で利用できる。

　カメラ部１４１を用いて得られた静止画又は動画の画像データに、ＧＰＳ受信部１７０により取得した位置情報や、マイクロホン１３２により取得した音声情報（主制御部１００等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等等を付加することもできる。また、位置情報や音声情報、姿勢情報等が付加された静止画又は動画の画像データを、記憶部１５０に記録したり、入出力部１６０や無線通信部１１０を通じて出力したりすることもできる。

　上述のスマートフォン１０１において、図３の画像処理回路３２は、例えば主制御部１００、記憶部１５０等によって適宜実現可能である。

１０…デジタルカメラ
１２…カメラ本体
１４…レンズユニット
２０…撮影光学系
２１…ズームレンズ
２２…フォーカスレンズ
２３…メカシャッタ
２４…ズーム機構
２５…フォーカス機構
２６…レンズドライバ
２７…撮像素子
３０…ＣＰＵ
３１…撮像素子ドライバ
３２…画像処理回路
３３…メディアインターフェース
３４…圧縮伸長処理回路
３５…表示制御部
３６…操作部
３７…メモリ
３８…メモリカード
３９…ＥＶＦ
４０…背面ＬＣＤ
４１…混色判定補正部
４２…ＷＢ補正部
４３…信号処理部
４４…ＲＧＢ積算部
４５…ＷＢゲイン算出部
５０…画素
５０Ｂ…Ｂ画素
５０Ｇ…Ｇ画素
５０Ｒ…Ｒ画素
５１…マイクロレンズ
５２…カラーフィルタ
５３…フォトダイオード
５６…通常光
５７…異常斜め入射光
６１…入射光検出部
６３…入射光補正部
６５…記憶部
６６…画素データ値算出部
６７…画素データパターン算出部
６８…異常斜め入射光判定部
１００…主制御部
１０１…スマートフォン
１０２…筐体
１１０…無線通信部
１２０…表示入力部
１２１…表示パネル
１２２…操作パネル
１３０…通話部
１３１…スピーカ
１３２…マイクロホン
１４０…操作部
１４１…カメラ部
１５０…記憶部
１５１…内部記憶部
１５２…外部記憶部
１６０…外部入出力部
１７０…ＧＰＳ受信部
１８０…モーションセンサ部

Claims

　第１の方向及び当該第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子であって、前記複数の画素の各々がカラーフィルタと、当該カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有する撮像素子と、
　前記画素データに基づいて、前記撮像素子に入射する異常斜め入射光を検出する異常斜め入射光検出手段と、
　を備える撮像装置であって、
　前記複数の画素は、前記第１の方向の正方向及び負方向に隣接する画素及び前記第２の方向の正方向及び負方向に隣接する画素のカラーフィルタのパターンが相互に異なる少なくとも４種類の判定用画素を含み、
　前記判定用画素の各々に対して前記第１の方向の正方向及び負方向に隣接する画素及び前記第２の方向の正方向及び負方向に隣接する画素のうち少なくとも１つは、第１色のカラーフィルタを有する第１色の画素であり、
　前記判定用画素の各々に対して前記第１の方向の正方向及び負方向に隣接する画素及び前記第２の方向の正方向及び負方向に隣接する画素のうち、前記判定用画素を挟んで前記第１色の画素と対向する位置に配置される画素は、前記第１色のカラーフィルタ以外のカラーフィルタを有し、
　前記異常斜め入射光検出手段は、前記撮像素子内のエリアであって、各種類の前記判定用画素を複数含むエリア内における前記判定用画素の種類毎の前記画素データの平均値に基づいて、前記撮像素子に入射する異常斜め入射光を検出する撮像装置。
　前記異常斜め入射光検出手段は、前記エリア内における前記判定用画素の種類毎の前記画素データの平均値に基づいて、前記撮像素子に入射する異常斜め入射光の入射方向を検出する請求項１に記載の撮像装置。
　前記撮像素子に対する前記異常斜め入射光の入射に関する情報と、前記エリア内における前記判定用画素の種類毎の前記画素データの平均値に基づくデータパターンとを対応づけた判別テーブルを記憶する記憶手段を更に備え、
　前記異常斜め入射光検出手段は、前記判別テーブルを参照して、前記撮像素子に入射する異常斜め入射光を検出する請求項１又は２に記載の撮像装置。
　前記判別テーブルにおける、前記撮像素子に対する前記異常斜め入射光の入射に関する前記情報は、前記異常斜め入射光の色種類毎に定められており、
　前記異常斜め入射光検出手段は、前記撮像素子の前記エリア内におけるカラーフィルタの色種類毎の前記画素データに基づいて、前記異常斜め入射光の色種類を検知し、検知した前記異常斜め入射光の色種類に対応する前記判別テーブルを参照して前記撮像素子に入射する異常斜め入射光を検出する請求項３に記載の撮像装置。
　前記判別テーブルは、前記少なくとも４種類の判定用画素の種類毎の前記画素データである各種判定用画素データの平均値の合計の平均値又は前記各種判定用画素データの平均値の中央値を基準とした、前記各種判定用画素データの比率を示すデータパターンと、前記撮像素子に対する前記異常斜め入射光の入射に関する前記情報とを対応づける請求項３又は４に記載の撮像装置。
　前記判別テーブルは、前記各種画素データの平均値の大きさに基づく順位と、前記撮像素子に対する前記異常斜め入射光の入射に関する前記情報とを対応づけており、
　前記異常斜め入射光検出手段は、前記エリア内における前記各種画素データの平均値に基づいて前記少なくとも４種類の判定用画素に順位を割り当て、前記判別テーブルを参照して前記撮像素子に入射する異常斜め入射光を検出する請求項３から５のいずれか１項に記載の撮像装置。
　前記複数の画素は、少なくとも、第１色種のカラーフィルタを有する第１色種画素と、第２色種のカラーフィルタを有する第２色種画素と、第３色種のカラーフィルタを有する第３色種画素とを含み、
　前記異常斜め入射光検出手段は、前記第１色種のカラーフィルタ、前記第２色種のカラーフィルタ及び前記第３色種のカラーフィルタのうち、検知した前記異常斜め入射光の色種類に対応する色種のカラーフィルタを前記第１色のカラーフィルタとして、前記少なくとも４種類の判定用画素を定める請求項４に記載の撮像装置。
　前記異常斜め入射光検出手段は、前記撮像素子の前記エリア内において、０＜Ｘ≦１とした場合に第１色種画素の前記画素データの平均値のＸ倍の値、０＜Ｙ≦１とした場合に第２色種画素の前記画素データの平均値のＹ倍の値及び０＜Ｚ≦１とした場合に第３色種画素の前記画素データの平均値のＺ倍の値のうち、最も大きな値を示す色種のカラーフィルタに対応する色種類の前記異常斜め入射光が前記撮像素子に入射すると判定する請求項７に記載の撮像装置。
　前記異常斜め入射光検出手段の検出結果に基づいて、前記異常斜め入射光が検出された前記フォトダイオードを有する画素の前記画素データを補正する補正手段を更に備える請求項１から８のいずれか１項に記載の撮像装置。
　前記エリアは、前記撮像素子の前記複数の画素のすべてを含む領域である請求項１から９のいずれか１項に記載の撮像装置。
　前記エリアは、前記撮像素子を複数の領域に分割した複数の分割領域の各々である請求項１から９のいずれか１項に記載の撮像装置。
　前記複数の分割領域は、前記撮像素子の前記複数の画素のすべてを含む請求項１１に記載の撮像装置。
　前記撮像素子には、複数の第１の分割領域が設定されると共に、当該第１の分割領域とは異なる分割方式を有する複数の第２の分割領域が設定され、
　前記複数の第１の分割領域と前記複数の第２の分割領域とは、少なくとも部分的に、オーバーラップし、
　前記複数の画素は、前記第１の分割領域のいずれかに分類されると共に前記第２の分割領域のいずれかに分類される画素を含み、
　前記異常斜め入射光検出手段は、前記第１の分割領域の各々における前記判定用画素の種類毎の前記画素データの平均値に基づいて前記第１の分割領域の各々に入射する異常斜め入射光を検出し、前記第２の分割領域の各々における前記判定用画素の種類毎の前記画素データの平均値に基づいて前記第２の分割領域の各々に入射する異常斜め入射光を検出し、前記第１の分割領域の各々に入射する異常斜め入射光の検出結果及び前記第２の分割領域の各々に入射する異常斜め入射光の検出結果に基づいて、前記第１の分割領域の各々と前記第２の分割領域の各々とが重なる領域に入射する異常斜め入射光を検出する請求項１から９のいずれか１項に記載の撮像装置。
　前記第２の分割領域の各々は、２以上の前記第１の分割領域と重なる請求項１３に記載の撮像装置。
　前記第１の分割領域の各々と前記第２の分割領域の各々とは、同じ形状及びサイズを有し、
　前記第１の方向及び前記第２の方向のうち少なくとも一方に関し、前記第１の分割領域の大きさの半分ずれるように、前記第１の分割領域と前記第２の分割領域とが設定される請求項１３又は請求項１４に記載の撮像装置。
　前記複数の画素は、カラーフィルタ配列パターンを持つ複数の基本配列画素群であって、第１の方向及び第２の方向に並置される複数の基本配列画素群を含み、
　前記複数の基本配列画素群の各々は、前記少なくとも４種類の判定用画素のセットを少なくとも１組以上含む請求項１から１５のいずれか１項に記載の撮像装置。
　前記少なくとも４種類の判定用画素は、第１の判定用画素、第２の判定用画素、第３の判定用画素及び第４の判定用画素によって構成され、
　前記第１の判定用画素は、前記第１色の画素が前記第１の方向の正方向に隣接し、前記第１色のカラーフィルタ以外のカラーフィルタを有する画素が前記第１の方向の負方向、前記第２の方向の正方向、及び前記第２の方向の負方向に隣接し、
　前記第２の判定用画素は、前記第１色の画素が前記第１の方向の負方向に隣接し、前記第１色のカラーフィルタ以外のカラーフィルタを有する画素が前記第１の方向の正方向、前記第２の方向の正方向、及び前記第２の方向の負方向に隣接し、
　前記第３の判定用画素は、前記第１色の画素が前記第２の方向の正方向に隣接し、前記第１色のカラーフィルタ以外のカラーフィルタを有する画素が前記第１の方向の正方向、前記第１の方向の負方向、及び前記第２の方向の負方向に隣接し、
　前記第４の判定用画素は、前記第１色の画素が前記第２の方向の負方向に隣接し、前記第１色のカラーフィルタ以外のカラーフィルタを有する画素が前記第１の方向の正方向、前記第１の方向の負方向、及び前記第２の方向の正方向に隣接する請求項１から１６のいずれか１項に記載の撮像装置。
　前記少なくとも４種類の判定用画素は、第１の判定用画素、第２の判定用画素、第３の判定用画素及び第４の判定用画素によって構成され、
　前記第１の判定用画素は、前記第１色の画素が前記第１の方向の正方向及び前記第２の方向の正方向に隣接し、前記第１色のカラーフィルタ以外のカラーフィルタを有する画素が前記第１の方向の負方向及び前記第２の方向の負方向に隣接し、
　前記第２の判定用画素は、前記第１色の画素が前記第１の方向の負方向及び前記第２の方向の正方向に隣接し、前記第１色のカラーフィルタ以外のカラーフィルタを有する画素が前記第１の方向の正方向及び前記第２の方向の負方向に隣接し、
　前記第３の判定用画素は、前記第１色の画素が前記第１の方向の正方向及び前記第２の方向の負方向に隣接し、前記第１色のカラーフィルタ以外のカラーフィルタを有する画素が前記第１の方向の負方向及び前記第２の方向の正方向に隣接し、
　前記第４の判定用画素は、前記第１色の画素が前記第１の方向の負方向及び前記第２の方向の負方向に隣接し、前記第１色のカラーフィルタ以外のカラーフィルタを有する画素が前記第１の方向の正方向及び前記第２の方向の正方向に隣接する請求項１から１６のいずれか１項に記載の撮像装置。
　前記第１色のカラーフィルタは、赤色フィルタ、透明フィルタ及び白色フィルタのうちのいずれかである請求項１から１８のいずれか１項に記載の撮像装置。
　前記基本配列画素群の各々は、前記第１の方向及び前記第２の方向に関して３画素×３画素の画素配列を有する２組の第１のサブ配列画素群及び２組の第２のサブ配列画素群を含み、
　第１のサブ配列画素群は前記第１の方向及び前記第２の方向に関して第２のサブ配列画素群と隣接し、第２のサブ配列画素群は前記第１の方向及び前記第２の方向に関して第１のサブ配列画素群と隣接し、
　第１のサブ配列画素群は、中央及び四隅に配置される第２色のカラーフィルタを有する第２色の画素と、中央の画素に対して前記第１の方向の正方向及び負方向に隣接する位置に配置される前記第１色の画素と、中央の画素に対して前記第２の方向の正方向及び負方向に隣接する位置に配置される第３色のカラーフィルタを有する第３色の画素と、を含み、
　第２のサブ配列画素群は、中央及び四隅に配置される前記第２色の画素と、中央の画素に対して前記第２の方向の正方向及び負方向に隣接する位置に配置される前記第１色の画素と、中央の画素に対して前記第１の方向の正方向及び負方向に隣接する位置に配置される前記第３色の画素と、を含み、
　第１のサブ配列画素群の四隅に配置される画素のうち一方の対角方向に配置される二画素と、第２のサブ配列画素群の四隅に配置される画素のうち他方の対角方向に配置される二画素とによって前記判定用画素が構成される請求項１６に記載の撮像装置。
　第１の方向及び当該第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子において、前記複数の画素の各々がカラーフィルタと、当該カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有する撮像素子に入射する異常斜め入射光を検出する異常斜め入射光検出手段を備える画像処理装置であって、
　前記複数の画素は、前記第１の方向の正方向及び負方向に隣接する画素及び前記第２の方向の正方向及び負方向に隣接する画素のカラーフィルタのパターンが相互に異なる少なくとも４種類の判定用画素を含み、
　前記判定用画素の各々に対して前記第１の方向の正方向及び負方向に隣接する画素及び前記第２の方向の正方向及び負方向に隣接する画素のうち少なくとも１つは、第１色のカラーフィルタを有する第１色の画素であり、
　前記判定用画素の各々に対して前記第１の方向の正方向及び負方向に隣接する画素及び前記第２の方向の正方向及び負方向に隣接する画素のうち、前記判定用画素を挟んで前記第１色の画素と対向する位置に配置される画素は、前記第１色のカラーフィルタ以外のカラーフィルタを有する画素であり、
　前記異常斜め入射光検出手段は、前記撮像素子内のエリアであって、各種類の前記判定用画素を複数含むエリア内における前記判定用画素の種類毎の前記画素データの平均値に基づいて、前記撮像素子に入射する異常斜め入射光を検出する画像処理装置。
　第１の方向及び当該第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子において、前記複数の画素の各々がカラーフィルタと、当該カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有する撮像素子に入射する異常斜め入射光を検出するステップを備える画像処理方法であって、
　前記複数の画素は、前記第１の方向の正方向及び負方向に隣接する画素及び前記第２の方向の正方向及び負方向に隣接する画素のカラーフィルタのパターンが相互に異なる少なくとも４種類の判定用画素を含み、
　前記判定用画素の各々に対して前記第１の方向の正方向及び負方向に隣接する画素及び前記第２の方向の正方向及び負方向に隣接する画素のうち少なくとも１つは、第１色のカラーフィルタを有する第１色の画素であり、
　前記判定用画素の各々に対して前記第１の方向の正方向及び負方向に隣接する画素及び前記第２の方向の正方向及び負方向に隣接する画素のうち、前記判定用画素を挟んで前記第１色の画素と対向する位置に配置される画素は、前記第１色のカラーフィルタ以外のカラーフィルタを有する画素であり、
　前記異常斜め入射光を検出するステップでは、前記撮像素子内のエリアであって、各種類の前記判定用画素を複数含むエリア内における前記判定用画素の種類毎の前記画素データの平均値に基づいて、前記撮像素子に入射する異常斜め入射光を検出する画像処理方法。
　第１の方向及び当該第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子において、前記複数の画素の各々がカラーフィルタと、当該カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有する撮像素子に入射する異常斜め入射光を検出する手順をコンピュータに実行させるためのプログラムであって、
　前記複数の画素は、前記第１の方向の正方向及び負方向に隣接する画素及び前記第２の方向の正方向及び負方向に隣接する画素のカラーフィルタのパターンが相互に異なる少なくとも４種類の判定用画素を含み、
　前記判定用画素の各々に対して前記第１の方向の正方向及び負方向に隣接する画素及び前記第２の方向の正方向及び負方向に隣接する画素のうち少なくとも１つは、第１色のカラーフィルタを有する第１色の画素であり、
　前記判定用画素の各々に対して前記第１の方向の正方向及び負方向に隣接する画素及び前記第２の方向の正方向及び負方向に隣接する画素のうち、前記判定用画素を挟んで前記第１色の画素と対向する位置に配置される画素は、前記第１色のカラーフィルタ以外のカラーフィルタを有する画素であり、
　前記撮像素子内のエリアであって、各種類の前記判定用画素を複数含むエリア内における前記判定用画素の種類毎の前記画素データの平均値に基づいて、前記撮像素子に入射する異常斜め入射光を検出する手順をコンピュータに実行させるためのプログラム。