WO2014087808A1

WO2014087808A1 - 画像処理装置、画像処理方法及びプログラム、並びに記録媒体

Info

Publication number: WO2014087808A1
Application number: PCT/JP2013/080411
Authority: WO
Inventors: 林　健吉
Original assignee: 富士フイルム株式会社
Priority date: 2012-12-07
Filing date: 2013-11-11
Publication date: 2014-06-12
Also published as: CN104838646B; JP5778873B2; US9369686B2; JPWO2014087808A1; CN104838646A; US20150271461A1

Abstract

　本発明に係る画像処理装置、画像処理方法及びプログラム、並びに記録媒体では、異常斜め入射光（ゴースト光）が入射する画素の画素データに対しては同色画素間の画素データの段差を低減し、また異常斜め入射光が入射していない画素の画素データに対しては画素特性に起因する混色を補正し、高品質な画像データを得る。モザイク状の画像データ（ＲＧＢ画像）が混色判定補正部に入力されると、混色補正判定部によって画像データ（画素データ）が取得され、画像データにおけるゴースト光等の異常斜め入射光の有無が混色補正判定部によって判定される。画像データに異常斜め入射光の入射があると判定された場合、混色補正Ｂが行われ、Ｇ画素間の画素データの段差が解消される。一方、画像データに異常斜め入射光の入射がないと判定された場合、混色補正Ａが行われ、撮像素子固有の画素特性に応じた混色が補正される。

Description

画像処理装置、画像処理方法及びプログラム、並びに記録媒体

　本発明は画像処理装置、画像処理方法及びプログラム、並びに記録媒体に係り、特に、異常斜め入射光の有無に応じた混色補正を行う技術に関する。

　一般に、モザイク状のカラーフィルタ配列を有する単板方式の撮像素子では、隣接画素からの光の漏れ込みによる混色が発生する。混色の影響が大きいＲＧＢの色信号をデジタル信号処理して画像を生成すると画像の色再現性（画質）が低下し、また混色の影響が大きいＲＧＢの色信号からはホワイトバランス（ＷＢ）補正用のＷＢゲインを精度良く算出することが難しい。

　また、デジタルカメラ等の撮像装置によって被写体像を撮影する際に強い光がレンズに入射すると、撮影レンズやマクロレンズの表面で反射した光がレンズ内部やカメラ内部で複雑に反射し、意図しない角度で進行する光が撮像素子によって受光されることがある。このように、意図していない角度から撮像素子に入射する異常斜め入射光は、いわゆるゴーストやフレア等の現象を起こし、撮影画像の画質を劣化させる。

　とりわけ異常斜め入射光の角度が大きい場合には、異常斜め入射光の少なくとも一部が、通過するカラーフィルタと隣接する画素のフォトダイオードに入射してしまう。このように、異常斜め入射光が通過したカラーフィルタと実際に受光されるフォトダイオードとが完全に対応しない場合、この異常斜め入射光によりいわゆる混色現象が大きく引き起こされ、撮影画像の色再現性の劣化を招く。

　混色の影響を軽減する手法として、例えば特許文献１は、ゴーストに伴う色ノイズの発生を抑制する撮像装置を開示する。この撮像装置では、ＲＡＷデータを用いてゴーストに伴う色ノイズの発生が検出され、色ノイズの発生が検出された画素データの輝度レベル値が補正される。

　また特許文献２は、各画素に対する混色補正処理の精度を向上させる撮像装置を開示する。この撮像装置では、補正対象画素に周辺画素から混入する信号成分に関する特性を示す混色特性情報が記憶され、画素配列における補正対象画素の位置と混色特性情報とに応じて補正係数が求められて、補正対象画素から読み出された信号の補正が行われる。

特開２００５－３３３２５１号公報特開２０１０－１３０５８３号公報

　従来使用されてきた撮像素子は、比較的シンプルなカラーフィルタ配列を有することが多い。例えば広く使用されているベイヤ配列では、隣接配置される「Ｒ画素及びＧ画素」と「Ｇ画素及びＢ画素」とによって構成される２画素（水平方向）×２画素（垂直方向）の計４画素が水平方向及び垂直方向に繰り返し配置されることでカラーフィルタ配列が構成される。

　このようなシンプルなカラーフィルタ配列を有する撮像素子では、混色現象も比較的単純であるため、比較的簡単な混色補正によって画像データ上で混色の影響を低減することが可能である。

　しかしながら、最近では比較的複雑なカラーフィルタ配列を有する撮像素子も使用されるようになってきており、同色のカラーフィルタを有する画素同士であっても、隣接する画素（カラーフィルタ）の種類が異なる画素が複数存在する場合がある。例えば緑色のカラーフィルタを有する画素（Ｇ画素）は、ベイヤ配列では隣接する画素タイプ（カラーフィルタタイプ）によって２種類に分類されるが、複雑なカラーフィルタ配列では非常に多種類（例えば１０種類以上）に分類される。

　混色の影響は隣接画素の種類によって変動するため、同色のカラーフィルタを有する画素であっても、隣接する画素（カラーフィルタ）の種類に対応した混色補正を行うことが好ましい。

　しかしながら、複雑なカラーフィルタ配列を有する撮像素子では混色現象も複雑化し、本来同一又は近似する画素データを出力する近接同色画素であっても、混色現象によって、隣接画素のカラーフィルタの種類に応じた異なる画素データが近接同色画素から出力されることがある。

　特にゴースト光のように通常光とは異なる入射角の光（異常斜め入射光）が撮像素子に入射すると、隣接画素のカラーフィルタを通過したゴースト光の漏れ込みにより、近接同色画素間で画素データの不自然な相違（同色段差）が発生してしまう。この段差現象は、同色画素であっても隣接画素タイプに応じた種類が多くなるほど複雑化する。複雑なカラーフィルタ配列を有する撮像素子においてゴースト光の入射により発生した複雑な混色現象は、通常の混色補正では十分には補正することができないこともある。とりわけカラーフィルタ配列に関して「３画素（水平方向）×３画素（垂直方向）」以上の画素数によって構成される基本配列パターンを有する撮像素子から出力される画像データでは、通常の混色補正では対応しきれない場合もある。

　このように、ゴースト光のような異常斜め入射光が撮像素子に入射する場合、近接同色画素から出力される「隣接する画素タイプに応じた異なる画素データ」に基づく段差現象が顕著に生じることがあるため、そのような段差を可能な限り取り除くことが好ましい。特に、複雑なカラーフィルタ配列を有する撮像素子にゴースト光が入射した状態で得られた画像データにおいて、ゴースト光に起因する「同色画素間での画素データの段差」を効果的に取り除くことが望まれている。

　一方、ゴースト光が撮像素子に入射しない場合であっても、撮像素子の画素特性（マイクロレンズ、カラーフィルタ、フォトダイオード、配線等の配置、サイズ、物性値等に基づく特性）に基づき、隣接画素からの光の漏れ込みが生じて混色現象が生じる。したがって、ゴースト光が撮像素子に入射しない場合には、そのような撮像素子の画素特性に最適化された混色補正により、隣接画素からの光の漏れ込みによる混色を低減することが望まれている。

　本発明は上述の事情に鑑みてなされたものであり、ゴースト光等の異常斜め入射光が入射する画素の画素データに対してはこの異常斜め入射光に起因する同色画素間の画素データの段差を低減し、また異常斜め入射光が入射していない画素の画素データに対しては画素特性に起因する混色を補正することで、高品質な画像データを得る技術を提供することを目的とする。

　本発明の一態様は、カラーフィルタ及びフォトダイオードを含み受光量に応じた画素データを出力する複数の画素を有する撮像素子より出力される画像データから、異常斜め入射光の有無を検出する異常斜め入射光検出手段と、補正対象画素の隣接画素の画素データに基づいて、補正対象画素の画素データに第１の混色補正を行う第１の混色補正手段と、補正対象画素の周辺画素の画素データに基づいて、補正対象画素の画素データに第２の混色補正を行う第２の混色補正手段と、異常斜め入射光検出手段の検出結果に応じて、第１の混色補正手段及び第２の混色補正手段のうちいずれによって画像データの補正を行うか判定する混色補正判定手段と、を備え、混色補正判定手段は、異常斜め入射光検出手段によって異常斜め入射光が検出されない場合には第１の混色補正手段によって補正対象画素の画素データの補正を行い、異常斜め入射光検出手段によって異常斜め入射光が検出される場合には第２の混色補正手段によって補正対象画素の画素データの補正を行う判定をする画像処理装置に関する。

　本態様によれば、異常斜め入射光が検出されない場合には補正対象画素の画素データに対して補正対象画素の隣接画素の画素データに基づく第１の混色補正が行われ、異常斜め入射光が検出される場合には補正対象画素の周辺画素の画素データに基づく第２の混色補正が行われる。

　したがって、特に配列マトリクスサイズが大きい撮像素子に対しても本態様を応用することが可能であり、異常斜め入射光（ゴースト光等）の隣接画素への漏れ込みの影響によって発生する同色画素の段差を解決して、異常斜め入射光による画質劣化を抑制することができる。

　ここでいう「補正対象画素の隣接画素」とは補正対象画素に対して隣り合う画素であり、例えば補正対象画素のカラーフィルタと隣接するカラーフィルタを有する画素が「補正対象画素の隣接画素」となり得る。例えば、補正対象画素を囲む８画素（第１の方向と、第２の方向と、第１の方向及び第２の方向に対して角度を持った方向とに関して補正対象画素に隣り合う画素）や、第１の方向及び第２の方向で補正対象画素と隣接する４画素を、「補正対象画素の隣接画素」とすることができる。また「補正対象画素の周辺画素」とは補正対象画素から所定範囲に含まれる画素であり、補正対象画素に対して隣接していてもよいし、隣接していなくてもよい。したがって「補正対象画素の周辺画素」は「補正対象画素の隣接画素」を含みうる概念である。また、「補正対象画素の周辺画素」の基準となる補正対象画素からの範囲は、第２の混色補正の具体的な内容に応じて適宜定めうる。

　第１の混色補正では、補正対象画素の隣接画素の全部又は一部の画素データに基づいて、補正対象画素の画素データを補正可能であり、第２の混色補正では、補正対象画素の周辺画素の全部又は一部の画素データに基づいて、補正対象画素の画素データを補正可能である。

　異常斜め入射光が入射しない場合の混色は、主として隣接画素からの光の漏れ込みによるものであるため、補正対象画素の隣接画素の画素データに基づいて有効に補正しうる。一方、ゴースト光等の異常斜め入射光は、撮像素子内である大きさを持った範囲（複数画素）に入射するため、異常斜め入射光に起因する混色の影響は、補正対象画素の周辺画素の画素データを総合的に勘案した混色補正によって効果的に低減しうる。

　なお、ここでいう「異常斜め入射光」とは、被写体像を構成する通常光とは異なる想定外の光要素のことであり、通過するカラーフィルタとフォトダイオードとが同一画素に含まれない光要素のことである。この異常斜め入射光として、例えば、ゴーストやフレア等の現象をもたらす光要素が含まれうる。一般に、ゴーストは、レンズ表面や撮像素子表面での反射を介して本来の結像光（有効結像光）の光路とは異なる光路を通って像面上に到達した光（不要光）によって、視覚的に一定の形状が認められる光学像を形成する現象である。また、フレアは、強い光が光学系に入射した場合に、入射光の一部がレンズ表面や撮像素子表面で反射して像面上に不要光として到達し、視覚的に一定の形状が認められない画像異常をもたらし、生成画像においてコントラストの低下や光の滲み等を生じさせる現象である。

　また、「第１の方向」及び「第２の方向」は、特に限定されず、相互に垂直（実質的に垂直を含む）を形成する方向であればよい。例えば、撮像装置による撮像時における被写体に対する「水平方向」及び「垂直方向」を「第１の方向」及び「第２の方向」としてもよいし、これらの「水平方向」及び「垂直方向」に対して任意の角度を持つ方向を「第１の方向」及び「第２の方向」としてもよい。したがって、水平方向及び垂直方向に２次元的に配列された複数の画素を４５度回転させた所謂「ハニカム型の配列」で複数の画素が配置される場合には、「水平方向」及び「垂直方向」と４５度を成す方向を「第１の方向」及び「第２の方向」として扱いうる。

　望ましくは、第２の混色補正手段は、補正対象画素と同色のカラーフィルタを有する４以上の画素を周辺画素として、補正対象画素の画素データの第２の混色補正を行う。

　この場合、第２の混色補正では、補正対象画素と同色のカラーフィルタを有する画素の画素データが使用され且つ４以上の画素の画素データが使用されるため、高精度な混色補正を行うことが可能である。

　望ましくは、周辺画素は、周辺画素に対し隣接する画素のカラーフィルタの種類（隣接画素配置タイプ）が相互に異なる画素によって構成される。

　この場合、隣接する画素のカラーフィルタの種類が相互に異なる周辺画素の画素データに基づいて第２の混色補正が行われ、異常斜め入射光に起因する様々なタイプの混色に対して柔軟に対応することが可能である。

　望ましくは、撮像素子の複数の画素は、Ｍ画素×Ｎ画素（ただし、Ｍは３以上の整数、Ｎは３以上の整数）の基本配列パターンであって第１の方向及び第１の方向に垂直な第２の方向に複数並べられた基本配列パターンを有し、周辺画素は、補正対象画素を含むＭ画素×Ｎ画素の範囲に含まれる画素であって補正対象画素と同色のカラーフィルタを有する画素である。

　この場合、基本配列パターン単位で第２の混色補正を行うことができ、高精度な混色補正を効率良く行うことができる。

　望ましくは、撮像素子の複数の画素は、Ｍ画素×Ｎ画素（ただし、Ｍは３以上の整数、Ｎは３以上の整数）の基本配列パターンであって第１の方向及び第１の方向に垂直な第２の方向に複数並べられた基本配列パターンを有し、周辺画素は、補正対象画素を含むＭ画素×Ｎ画素の範囲よりも大きな範囲に含まれる画素であって補正対象画素と同色のカラーフィルタを有する画素である。

　この場合、基本配列パターンよりも大きな範囲に含まれる画素の画素データに基づいて第２の混色補正を行うことができ、多くの画素データに基づいて高精度な混色補正を行うことができる。

　望ましくは、第２の混色補正手段は、補正対象画素及び周辺画素の画素データから導出される代表値に基づいて、補正対象画素の画素データの第２の混色補正を行う。

　この場合、補正対象画素及び周辺画素の画素データから導出される代表値に基づいて、第２の混色補正処理を簡単化することができる。

　望ましくは、代表値は、補正対象画素及び周辺画素の画素データの平均値又は加重平均値である。

　望ましくは、代表値は、補正対象画素及び周辺画素の画素データの中央値又は最頻値である。

　これらの補正対象画素及び周辺画素の画素データの「平均値」、「加重平均値」、「中央値」及び「最頻値」のうちのいずれかを「代表値」とすることで、第２の混色補正を簡単化して、同色画素間の画素データの段差を効果的に解消することが可能である。

　望ましくは、複数の画素は、少なくとも１以上の色を含む第１色のカラーフィルタによって構成される第１色の画素と、第１色以外の少なくとも２以上の色を含む第２色のカラーフィルタによって構成される第２色の画素とを含み、第１色の画素は、輝度信号を得るための寄与率が第２色の画素のカラーフィルタよりも高い色のカラーフィルタを有し、補正対象画素は、第１色の画素である。

　輝度は画質を左右する大きな要因であるが、本態様のように、輝度信号を得るための寄与率が高い第１色の画素を補正対象画素とすることで、得られる画像の品質を効果的に改善することができる。

　望ましくは、第１色の画素は、緑色、透明または白色のカラーフィルタを有する。

　この場合、他色よりも輝度信号を得るための寄与率が高い緑色、透明又は白色のカラーフィルタを有する画素を補正対象画素とするため、得られる画像の品質を効果的に改善することができる。

　なお、透明のカラーフィルタ及び白色のカラーフィルタは、赤波長域の光、青波長域の光及び緑波長域の光のいずれも透過するフィルタであり、透明のカラーフィルタは比較的高い光透過率（例えば７０％以上の光透過率）を有し、白色のカラーフィルタは透明のカラーフィルタよりも低い光透過率を有する。

　撮像素子の複数の画素は、Ｍ画素×Ｎ画素（ただし、Ｍは３以上の整数、Ｎは３以上の整数）の基本配列パターンであって第１の方向及び第１の方向に垂直な第２の方向に複数並べられた基本配列パターンを有し、基本配列パターンは、隣接画素のカラーフィルタの種類が相互に異なる第１色の画素を少なくとも５つ含んでいてもよい。

　本態様のように、特に、隣接画素のカラーフィルタの種類が相互に異なる第１色の画素を基本配列パターンが５以上含む場合に、カラーフィルタ配列が複雑化し、本発明に係る混色補正の有効性が高い。

　例えばベイヤー配列のＧ（緑）画素は、隣接画素配置タイプに応じた種類が２種類であり、混色による同色Ｇ画素間の段差（同色段差）が１パターンのため、混色補正が容易である。一方、Ｍ画素×Ｎ画素の基本配列パターンにおいて、隣接画素のカラーフィルタの種類が相互に異なる第１色の画素を５つ以上（例えばＧ１～Ｇ５）含む複雑なカラーフィルタ配列では、同色画素間の段差が複雑になり、画質劣化に大きな影響を与える。本態様によれば、基本配列パターンが隣接画素のカラーフィルタの種類が相互に異なる第１色の画素を少なくとも５つ含み、複雑なカラーフィルタ配列に対しても、第１の混色補正及び第２の混色補正を効果的に行って、画質劣化を抑えることができる。

　本発明の他の態様は、カラーフィルタ及びフォトダイオードを含み受光量に応じた画素データを出力する複数の画素を有する撮像素子より出力される画像データから、異常斜め入射光の有無を検出するステップと、補正対象画素の隣接画素の画素データに基づいて、補正対象画素の画素データの第１の混色補正を行うステップと、補正対象画素の周辺画素の画素データに基づいて、補正対象画素の画素データの第２の混色補正を行うステップと、異常斜め入射光検出手段の検出結果に応じて、第１の混色補正及び第２の混色補正のうちいずれによって画像データの補正を行うか判定するステップと、を備え、画像データの補正を行うか判定するステップでは、異常斜め入射光の有無を検出するステップにおいて異常斜め入射光が検出されない場合には第１の混色補正によって補正対象画素の画素データの補正を行い、異常斜め入射光の有無を検出するステップにおいて異常斜め入射光が検出される場合には第２の混色補正によって補正対象画素の画素データの補正を行う判定をする画像処理方法に関する。

　本発明の他の態様は、カラーフィルタ及びフォトダイオードを含み受光量に応じた画素データを出力する複数の画素を有する撮像素子より出力される画像データから、異常斜め入射光の有無を検出する手順と、補正対象画素の隣接画素の画素データに基づいて、補正対象画素の画素データの第１の混色補正を行う手順と、補正対象画素の周辺画素の画素データに基づいて、補正対象画素の画素データの第２の混色補正を行う手順と、異常斜め入射光検出手段の検出結果に応じて、第１の混色補正及び第２の混色補正のうちいずれによって画像データの補正を行うか判定する手順とをコンピュータに実行させるためのプログラムであって、画像データの補正を行うか判定する手順では、異常斜め入射光の有無を検出する手順において異常斜め入射光が検出されない場合には第１の混色補正によって補正対象画素の画素データの補正を行い、異常斜め入射光の有無を検出する手順において異常斜め入射光が検出される場合には第２の混色補正によって補正対象画素の画素データの補正を行う判定をするプログラムに関する。

　本発明の他の態様は、カラーフィルタ及びフォトダイオードを含み受光量に応じた画素データを出力する複数の画素を有する撮像素子より出力される画像データから、異常斜め入射光の有無を検出する手順と、補正対象画素の隣接画素の画素データに基づいて、補正対象画素の画素データの第１の混色補正を行う手順と、補正対象画素の周辺画素の画素データに基づいて、補正対象画素の画素データの第２の混色補正を行う手順と、異常斜め入射光検出手段の検出結果に応じて、第１の混色補正及び第２の混色補正のうちいずれによって画像データの補正を行うか判定する手順と、をコンピュータに実行させるためのプログラムのコンピュータ読み取り可能なコードが記録された非一時的記録媒体であって、画像データの補正を行うか判定する手順では、異常斜め入射光の有無を検出する手順において異常斜め入射光が検出されない場合には第１の混色補正によって補正対象画素の画素データの補正を行い、異常斜め入射光の有無を検出する手順において異常斜め入射光が検出される場合には第２の混色補正によって補正対象画素の画素データの補正を行う判定をする、記録媒体に関する。

　本発明によれば、異常斜め入射光が検出されない場合には補正対象画素の画素データに対して補正対象画素の隣接画素の画素データに基づく第１の混色補正が行われ、異常斜め入射光が検出される場合には補正対象画素の周辺画素の画素データに基づく第２の混色補正が行われる。

　したがって、ゴースト光等の異常斜め入射光が入射する画素の画素データに対しては、この異常斜め入射光に起因する同色画素間の画素データの段差を低減するように、補正対象画素の周辺画素の画素データに基づく第２の混色補正を行うことができる。一方、異常斜め入射光が入射していない画素の画素データに対しては、画素特性に起因する混色の影響を低減するように、補正対象画素の隣接画素の画素データに基づく第１の混色補正を行うことができる。

　このように本発明によれば、混色要因に応じた柔軟な混色補正処理によって高品質な画像データを得ることができ、簡単な混色補正では補正しきれない「異常斜め入射光に起因する同色画素間の画素データの段差」を有効に抑えることができる。

図１は、デジタルカメラの一構成例を示すブロック図である。図２Ａは、カラー撮像素子のカラーフィルタ（画素）の基本配列パターン例を示す平面図であり、水平方向及び垂直方向に基本配列パターンＰを４つ並べた状態を示す。図２Ｂは、カラー撮像素子のカラーフィルタ（画素）の基本配列パターン例を示す平面図であり、１つの基本配列パターンＰの拡大図である。図３は、画像処理回路の機能ブロック図である。図４Ａは、異常斜め入射光（ゴースト光等）に起因する混色現象のメカニズムを説明する断面図であり、Ｇ画素、Ｒ画素及びＧ画素の隣接配置例を示す。図４Ｂは、異常斜め入射光（ゴースト光等）に起因する混色現象のメカニズムを説明する断面図であり、Ｇ画素、Ｂ画素及びＧ画素の隣接配置例を示す。図５は、混色判定補正部の機能ブロック図である。図６は、図２のカラーフィルタ配列におけるＧ画素の種類を示す図である。図７は、混色判定補正部による混色補正のフローを示すフローチャートである。図８は、第２実施形態に係るカラー撮像素子のカラーフィルタ配列（画素配列）を示す図である。図９は、カラーフィルタ配列の基本配列パターンの他の例を示す図である。図１０は、カラーフィルタ配列の基本配列パターンの他の例を示す図である。図１１は、カラーフィルタ配列の基本配列パターンの他の例を示す図である。図１２は、カラーフィルタ配列の基本配列パターンの他の例を示す図である。図１３Ａは、カラーフィルタ配列の基本配列パターンの他の例を示す図である。図１３Ｂは、カラーフィルタ配列の基本配列パターンの他の例を示す図である。図１４は、カラーフィルタの分光感度を示す図である。図１５は、２×２の４画素が１つのアンプを共有している撮像素子の一例を示す図である。図１６は、混色率を示す補正テーブルの一例を示す図表である。図１７は、モザイク画像の８×８の分割領域を示す図である。図１８は、第１の混色補正部の内部構成の一例を示すブロック図である。図１９は、混色補正Ａの一例の流れを示すフローチャートである。図２０は、撮像素子に設けられているカラーフィルタ配列を示す図である。図２１Ａは、異常斜め入射光の入射方向を混色補正に活かすことを説明した図である。図２１Ｂは、異常斜め入射光の入射方向を混色補正に活かすことを説明した図である。図２１Ｃは、異常斜め入射光の入射方向を混色補正に活かすことを説明した図である。図２１Ｄは、異常斜め入射光の入射方向を混色補正に活かすことを説明した図である。図２１Ｅは、異常斜め入射光の入射方向を混色補正に活かすことを説明した図である。図２２Ａは、異常斜め入射光の入射方向を混色補正に活かすことを説明した図である。図２２Ｂは、異常斜め入射光の入射方向を混色補正に活かすことを説明した図である。図２２Ｃは、異常斜め入射光の入射方向を混色補正に活かすことを説明した図である。図２２Ｄは、異常斜め入射光の入射方向を混色補正に活かすことを説明した図である。図２２Ｅは、異常斜め入射光の入射方向を混色補正に活かすことを説明した図である。図２３は、他のカラーフィルタ配列を示す図である。図２４は、図２３に示されたカラーフィルタ配列の基本配列画素群を第１サブ配列及び第２サブ配列に分割した様子を示す図である。図２５は、他のカラーフィルタ配列を示す図である。図２６は、図２５に示されたカラーフィルタ配列の基本配列画素群を第１サブ配列及び第２サブ配列に分割した様子を示す図である。図２７は、図２５に示されたカラーフィルタ配列において、異常斜め入射光の入射方向を判別することを説明した図である。図２８は、図２５に示されたカラーフィルタ配列において、異常斜め入射光の入射方向を判別することを説明した図である。図２９は、他のカラーフィルタ配列を示す図である。図３０は、図２９に示されたカラーフィルタ配列の基本配列画素群を第１サブ配列及び第２サブ配列に分割した様子を示す図である。図３１は、図２９に示されたカラーフィルタ配列において、異常斜め入射光の入射方向を判別することを説明した図である。図３２は、図２９に示されたカラーフィルタ配列において、異常斜め入射光の入射方向を判別することを説明した図である。図３３は、カラー撮像素子の画素配列の一変形例を示す図である。図３４は、スマートフォンの外観図である。図３５は、スマートフォンの構成を示すブロック図である。

　図面を参照して、本発明の実施形態について説明する。まず、本発明の一適用例であるデジタルカメラ（撮像装置）の基本構成について説明し、その後、混色補正の手法について説明する。

　図１は、デジタルカメラ１０の一構成例を示すブロック図である。なお本例では、図１に示される構成のうち、レンズユニット１４以外の各部がカメラ本体１２に設けられる例について説明するが、必要に応じて各部をレンズユニット１４に設けることも可能である。

　デジタルカメラ（撮像装置）１０は、カメラ本体１２と、カメラ本体１２の前面に交換可能に取り付けられたレンズユニット１４とを備える。

　レンズユニット１４は、ズームレンズ２１及びフォーカスレンズ２２を含む撮影光学系２０、メカシャッタ２３などを備える。ズームレンズ２１及びフォーカスレンズ２２は、それぞれズーム機構２４及びフォーカス機構２５によって駆動され、撮影光学系２０の光軸Ｏ１に沿って前後移動される。ズーム機構２４及びフォーカス機構２５は、ギアやモータなどで構成される。

　メカシャッタ２３は、カラー撮像素子２７への被写体光の入射を阻止する閉鎖位置と、被写体光の入射を許容する開放位置との間で移動する可動部（図示省略）を有する。可動部を開放位置／閉鎖位置に移動させることによって、撮影光学系２０からカラー撮像素子２７へと至る光路が開放／遮断される。また、メカシャッタ２３には、カラー撮像素子２７に入射する被写体光の光量をコントロールする絞りが含まれる。メカシャッタ２３、ズーム機構２４及びフォーカス機構２５は、レンズドライバ２６を介してＣＰＵ３０により駆動制御される。

　カメラ本体１２に設けられるＣＰＵ３０は、操作部３６からの制御信号に基づき、メモリ３７から読み出した各種プログラムやデータを逐次実行し、デジタルカメラ１０の各部を統括的に制御する。メモリ３７のＲＡＭ領域は、ＣＰＵ３０が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。

　操作部３６は、ユーザによって操作されるボタン、キー、タッチパネル及びこれらに類するものを含む。例えば、カメラ本体１２に設けられユーザによって操作される電源スイッチ、シャッタボタン、フォーカスモード切替レバー、フォーカスリング、モード切替ボタン、十字選択キー、実行キー、バックボタン等が、操作部３６に含まれうる。

　カラー撮像素子２７は、撮影光学系２０及びメカシャッタ２３を通過した被写体光を、電気的な出力信号に変換して出力する。このカラー撮像素子２７は、多数の画素が水平方向（第１の方向）及びこの水平方向に垂直な垂直方向（第２の方向）に並置された単板方式の画素配列を有し、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の任意の方式を採用可能である。以下では、カラー撮像素子２７を構成する複数の画素がＣＭＯＳによって構成される例について説明する。

　カラー撮像素子２７を構成する各画素は、詳細については後述するが、集光率を向上させるマイクロレンズと、ＲＧＢ等のカラーフィルタと、マイクロレンズ及びカラーフィルタを透過した光を受光して画素データを出力するフォトダイオード（光電変換素子）とを有する。

　撮像素子ドライバ３１は、ＣＰＵ３０の制御下でカラー撮像素子２７を駆動制御し、カラー撮像素子２７の画素から画像処理回路３２に撮像信号（画像データ）を出力させる。

　画像処理回路３２（画像処理装置）は、カラー撮像素子２７から出力される撮像信号（画像データ）に対して階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を施して撮影画像データを生成する。特に本例の画像処理回路３２は、詳細については後述するが、隣接画素間で生じる混色を補正する混色判定補正部を有する。

　圧縮伸長処理回路３４は、シャッタボタンがユーザによって押し下げ操作されたときに、メモリ３７のＶＲＡＭ領域に格納された撮影画像データに対し、圧縮処理を施す。なお、ＲＡＷデータ取得モードでは、圧縮伸長処理回路３４による圧縮処理が行われないようにすることも可能である。また圧縮伸長処理回路３４は、メディアインターフェース３３を介してメモリカード３８から得られる圧縮画像データに対し、圧縮伸長処理を施す。メディアインターフェース３３は、メモリカード３８に対する撮影画像データの記録及び読み出しなどを行う。

　表示制御部３５は、撮影モード時には、ＥＶＦ（エレクトリックビューファインダ）３９及び背面ＬＣＤ（背面液晶）４０のうち少なくとも一方に対し、画像処理回路３２により生成されたスルー画像（ライブビュー画像）を表示させる制御を行う。また表示制御部３５は、画像再生モード時には、圧縮伸長処理回路３４で伸長された撮影画像データを背面ＬＣＤ４０（及び／又はＥＶＦ３９）へ出力する。

　デジタルカメラ１０（カメラ本体１２）には、上記以外の他の処理回路等が設けられていてもよく、例えばオートフォーカス用のＡＦ検出回路や自動露光調節用のＡＥ検出回路が設けられる。ＣＰＵ３０は、ＡＦ検出回路の検出結果に基づきレンズドライバ２６及びフォーカス機構２５を介してフォーカスレンズ２２を駆動することでＡＦ処理を実行し、またＡＥ検出回路の検出結果に基づきレンズドライバ２６を介してメカシャッタ２３を駆動することでＡＥ処理を実行する。

　＜カラーフィルタ配列＞
　図２Ａ、２Ｂは、カラー撮像素子２７のカラーフィルタ（画素）の基本配列パターン例を示す平面図であり、図２Ａは水平方向及び垂直方向に基本配列パターンＰを計４つ並べた状態を示し、図２Ｂは１つの基本配列パターンＰの拡大図である。なお図２Ａ、２Ｂにおいて、「Ｒ」はレッド（赤）のフィルタ（Ｒ画素）を示し、「Ｇ」はグリーン（緑）のフィルタ（Ｇ画素）を示し、「Ｂ」はブルー（青）のフィルタ（Ｂ画素）を示す。

　本例のカラー撮像素子２７のカラーフィルタは、Ｍ×Ｎ（６×６）画素に対応する正方配列パターンからなる基本配列パターンＰを有し、この基本配列パターンＰが水平方向及び垂直方向に繰り返し複数並べられてカラー撮像素子２７の複数画素が構成される。したがって、カラー撮像素子２７から読み出されるＲＧＢのＲＡＷデータ（モザイク画像）の画像処理等を行う際には、基本配列パターンＰを基準とした繰り返しパターンに従って処理を行うことができる。

　各基本配列パターンＰは、図２Ｂに示す３画素（水平方向）×３画素（垂直方向）の第１のサブ配列と、３画素（水平方向）×３画素（垂直方向）の第２のサブ配列とが、水平方向及び垂直方向に交互に並べられて、構成されている。

　第１のサブ配列及び第２のサブ配列では、それぞれＧフィルタが四隅と中央に配置されており、両対角線上にＧフィルタが配置されている。第１のサブ配列では、Ｒフィルタが中央のＧフィルタを挟んで水平方向に設けられ、Ｂフィルタが中央のＧフィルタを挟んで垂直方向に設けられている。一方、第２のサブ配列では、Ｂフィルタが中央のＧフィルタを挟んで水平方向に設けられ、Ｒフィルタが中央のＧフィルタを挟んで垂直方向に設けられている。したがって、第１のサブ配列と第２のサブ配列との間で、ＲフィルタとＢフィルタとの位置関係が逆転しているが、Ｇフィルタの配置は同様になっている。

　また、第１のサブ配列と第２のサブ配列の四隅のＧフィルタは、第１のサブ配列と第２のサブ配列とが水平方向及び垂直方向に交互に配置されることにより、２画素（水平方向）×２画素（垂直方向）に対応する正方配列のＧフィルタ群を構成する。

　このカラーフィルタ配列では、図２Ａからも明らかなように、一般に輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め左上方向の各ライン内に１以上配置される。このカラーフィルタ配列によれば、輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ、ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域でのデモザイク処理（同時化処理）の再現精度を向上させることができる。なおデモザイク処理またはデモザイキング処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう（以下、本明細書で同じ）。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。

　なお、例えば単位カラーフィルタ（単位画素）が正方形を有する場合、斜め右上及び斜め右下方向は水平方向及び垂直方向に対して４５°を成す方向となる。また、単位カラーフィルタが長方形を有する場合、斜め右上及び斜め右下方向はこの長方形の対角線の方向となり、長方形の長辺及び短辺の長さに応じて、水平方向及び垂直方向に対する斜め右上及び斜め右下方向の角度は変わりうる。

　図２Ａ、２Ｂに示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（本例では、赤（Ｒ）及び青（Ｂ））に対応するＲフィルタ及びＢフィルタが、それぞれ基本配列パターンＰの水平方向及び垂直方向の各ライン内に１つ以上配置される。このように、Ｒフィルタ及びＢフィルタがカラーフィルタ配列の水平方向及び垂直方向の各ライン内に配置されることで、偽色（色モワレ）の発生を低減することができ、偽色の発生を抑制するための光学ローパスフィルタを省略することができる。なお、光学ローパスフィルタを配置する場合でも、本例のカラーフィルタ配列を採用する場合には、偽色の発生を防止するための高周波数成分をカットする働きの弱いものを用いて、解像度を損なわないようにすることができる。

　また、この基本配列パターンＰでは、Ｒフィルタ、Ｇフィルタ及びＢフィルタに対応するＲ画素、Ｇ画素及びＢ画素の画素数が、それぞれ８画素、２０画素及び８画素になっている。すなわち、Ｒ画素、Ｇ画素及びＢ画素の画素数の比率は２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率がＲ画素及びＢ画素の画素数の比率よりも高い。このように、Ｇ画素の画素数とＲ画素及びＢ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ画素及びＢ画素の画素数の比率よりも大きくすることで、デモザイク処理（同時化処理）におけるエリアシングを抑制することができ、高周波再現性も改善することができる。

　以下、図２Ａ、２Ｂに示すカラーフィルタ配列（画素配列）を「Ｘ－Ｔｒａｎｓ（登録商標）」とも呼ぶ。

　＜画像処理＞
　図３は、画像処理回路３２（画像処理装置；図１参照）の機能ブロック図である。

　画像処理回路３２は、主として混色判定補正部４１、ホワイトバランス補正部（ＷＢ補正部）４２、ガンマ補正、デモザイク処理、ＲＧＢ／ＹＣ変換等の信号処理を行う信号処理部４３、ＲＧＢ積算部４４、及びホワイトバランスゲイン算出部（ＷＢゲイン算出部）４５から構成されている。

　画像処理回路３２には、ＲＡＷデータ（モザイク画像：ＲＧＢの色信号）が入力される。このとき、カラー撮像素子２７から出力されたＲＡＷデータが直接的に画像処理回路３２に入力されてもよいし、カラー撮像素子２７から出力されたＲＡＷデータをメモリ（図１のメモリ３７等）に一旦格納し、このメモリから画像処理回路３２にＲＡＷデータが入力されてもよい。

　ＲＡＷデータのＲＧＢの色信号は、点順次で混色判定補正部４１に入力される。混色判定補正部４１は、点順次で入力される混色補正の対象画素の色信号に含まれる隣接画素からの混色成分を除去する。なお、混色判定補正部４１における混色補正処理の詳細については後述する。

　混色判定補正部４１により混色成分が除去されたモザイク画像の各画素の色信号は、ＷＢ補正部４２及びＲＧＢ積算部４４に入力される。

　ＲＧＢ積算部４４は、１画面を８×８や１６×１６等に分割した分割領域毎に、ＲＧＢの色信号毎の積算平均値を算出し、ＲＧＢ毎の積算平均値の比（Ｒ／Ｇ、Ｂ／Ｇ）からなる色情報を算出する。例えば、１画面を８×８の６４の分割領域に分割する場合、ＲＧＢ積算部４４は６４個の色情報（Ｒ／Ｇ、Ｂ／Ｇ）を算出する。

　ＷＢゲイン算出部４５は、ＲＧＢ積算部４４から入力される分割領域毎の色情報（Ｒ／Ｇ、Ｂ／Ｇ）に基づいてＷＢゲインを算出する。具体的には、６４個の分割領域の各々に関する色情報の、Ｒ／Ｇ、Ｂ／Ｇ軸座標の色空間上の分布の重心位置を算出し、その重心位置が示す色情報から環境光の色温度を推定する。なお、色温度の代わりに、その重心位置が示す色情報を有する光源種、例えば、青空、日陰、晴れ、蛍光灯（昼光色、昼白色、白色、温白色）、タングステン、低タングステン等を求めることで撮影時の光源種を推定してもよいし（特開２００７－５３４９９参照）、また、推定した光源種から色温度を推定してもよい。

　ＷＢゲイン算出部４５には、予め環境光の色温度又は光源種に対応して、適正なホワイトバランス補正を行うためのＲＧＢ毎又はＲＢ毎のＷＢゲインが用意（記憶保持）されており、ＷＢゲイン算出部４５は、推定した環境光の色温度又は光源種に基づいて対応するＲＧＢ毎又はＲＢ毎のＷＢゲインを読み出し、この読み出したＷＢゲインをＷＢ補正部４２に出力する。

　ＷＢ補正部４２は、混色判定補正部４１から入力されるＲ、Ｇ、Ｂの色信号の各々に対して、ＷＢゲイン算出部４５から入力される色毎のＷＢゲインを掛け合わせることにより、ホワイトバランス補正を行う。

　ＷＢ補正部４２から出力されたＲ、Ｇ、Ｂの色信号は、信号処理部４３に入力される。信号処理部４３は、ガンマ補正、カラー撮像素子２７のカラーフィルタ配列に伴うＲ、Ｇ、Ｂの色信号の空間的なズレを補間してＲ、Ｇ、Ｂの色信号を同時式に変換するデモザイク処理（同時化処理）、同時化されたＲ、Ｇ、Ｂの色信号を輝度信号Ｙ及び色差信号　Ｃｒ、Ｃｂに変換するＲＧＢ／ＹＣ変換等の信号処理を行い、信号処理された輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂを出力する。

　画像処理回路３２から出力された輝度データＹ及び色差データＣｒ、Ｃｂは、圧縮処理された後、内部メモリ（メモリ３７）や外部メモリ（メモリカード３８）に記録される。

　＜混色現象＞
　図４Ａ，４Ｂは、異常斜め入射光（ゴースト光等）に起因する混色現象のメカニズムを説明する断面図であり、図４ＡはＧ画素、Ｒ画素及びＧ画素の隣接配置例を示し、図４ＢはＧ画素、Ｂ画素及びＧ画素の隣接配置例を示す。

　本例のカラー撮像素子２７を構成する複数の画素５０は、緑色（第１色）のカラーフィルタによって構成されるＧ（緑）画素（第１色の画素）５０Ｇと、赤のカラーフィルタによって構成されるＲ（赤）画素５０Ｒ及び青のカラーフィルタによって構成されるＢ（青）画素（第２色の画素）５０Ｂとを含む。Ｇ画素５０Ｇは、輝度信号を得るための寄与率がＲ画素５０Ｒ及びＢ画素５０Ｂよりも高く、例えばＹ（輝度）＝（０．３×Ｒ画素データ＋０．６×Ｇ画素データ＋０．１×Ｂ画素データ）によって輝度データ（輝度信号）を得ることが可能である。

　Ｇ画素５０Ｇ、Ｒ画素５０Ｒ及びＢ画素５０Ｂの各々は、被写体光の進行方向に関して順次設けられたマイクロレンズ５１、カラーフィルタ５２及びフォトダイオード５３を含み、フォトダイオード５３の受光量に応じた画素データを出力する。被写体光を構成する通常光５６は、マイクロレンズ５１によって集光され、カラーフィルタ５２を通過してフォトダイオード５３に入射し、通常は、通常光５６が通過するカラーフィルタ５２と受光されるフォトダイオード５３とは対応する。

　一方、異常斜め入射光５７は通常光５６とは異なる角度で各画素に進入し、ある画素のカラーフィルタ５２を通過した異常斜め入射光５７は、隣接画素のフォトダイオード５３によって受光される。このように、異常斜め入射光５７が通過するカラーフィルタ５２と受光されるフォトダイオード５３とは対応せず、異常斜め入射光５７を受光するフォトダイオード５３は、通常光５６だけではなく異常斜め入射光５７の受光量に応じた画素データを出力する。したがって、異常斜め入射光５７を受光したフォトダイオード５３からの出力画素データは、異常斜め入射光５７を受光しないフォトダイオード５３からの出力画素データよりも増大するため、同色画素間の画素データに段差が生じる。

　また、カラー撮像素子２７に異常斜め入射光５７が入射せずに通常光５６のみが入射する場合であっても、画素特性（マイクロレンズ、カラーフィルタ、フォトダイオード、配線等の配置、サイズ、物性値等に基づく特性）に応じて、通常光５６の一部が隣接画素に漏れ込んで混色現象を引き起こす。

　以下では、異常斜め入射光５７が入射する画素から出力される画素データに対しては、同色画素間の画素データに段差が生じないようにする混色補正が行われ、異常斜め入射光５７が入射しない画素から出力される画素データに対しては、画素特性に応じた混色を低減する混色補正が行われる例について説明する。

　なお、以下の例では、カラー撮像素子２７を構成するＲ画素５０Ｒ、Ｇ画素５０Ｇ及びＢ画素５０Ｂのうち、輝度信号を得るための寄与率が最も高いＧ画素（第１色の画素）５０Ｇを、混色補正の補正対象画素とする。

　＜第１実施形態＞
　図５は、混色判定補正部４１（図３参照）の機能ブロック図である。

　混色判定補正部４１は、混色補正判定部６１と、混色補正判定部６１に接続される第１の混色補正部（第１の混色補正手段）６２及び第２の混色補正部（第２の混色補正手段）６３とを含む。

　混色補正判定部６１は、異常斜め入射光検出部（異常斜め入射光検出手段）として働き、カラー撮像素子２７より出力される画像データから、異常斜め入射光（ゴースト光等）の入射の有無を検出する。なお、混色補正判定部６１による異常斜め入射光の入射の有無の具体的な検出手法は特に限定されず、その一例については後述する。

　また、混色補正判定部６１は、混色補正判定部（混色補正判定手段）として働き、異常斜め入射光の有無の検出結果に応じて、第１の混色補正手段及び第２の混色補正手段のうちいずれによって画像データ（画素データ）の混色補正を行うかを判定する。具体的には、混色補正判定部６１は、異常斜め入射光の入射が検出されない画素の画素データに対し、第１の混色補正部６２によって補正対象画素の画素データの混色補正を行う判定をして、画像データ（画素データ）を第１の混色補正部６２に送る。一方、混色補正判定部６１は、異常斜め入射光の入射が検出される画素（Ｇ画素）の画素データに対し、第２の混色補正部６３によって補正対象画素の画素データの補正を行う判定をして、画像データ（画素データ）を第２の混色補正部６３に送る。

　なお、図５の例では、異常斜め入射光検出部及び混色補正判定部の機能を混色補正判定部６１が担っているが、別個に設けられる回路等によって異常斜め入射光検出部及び混色補正判定部を実現することも可能である。

　第１の混色補正部６２は、補正対象画素の隣接画素の画素データに基づいて、補正対象画素の画素データの混色補正Ａ（第１の混色補正）を行う。

　第１の混色補正部６２における混色補正アルゴリズムとしては、任意のアルゴリズムを採用することができる。例えば、第１の混色補正部６２は、補正対象画素に対する上下左右（水平方向及び垂直方向）の隣接画素からの混色量を算出し、この算出した隣接画素からの混色量を補正対象画素の画素データ（元データ）から減算することで、混色補正Ａを行うことも可能である。混色量の算出は、任意の算出手法を採用可能であり、例えば、隣接画素の画素データと混色率との積算（隣接画素データ値×混色率）によって混色量の算出が行われる。混色率は、種々の混色要因に基づいて適宜決定することができ、例えば（１）自画素（補正対象画素）の画素共有上の位置、（２）上下左右の混色補正方向、及び（３）混色補正に使用する画素の色、の各々に関して補正パターンを持つことができる。この補正パターン（方法）を補正対象画素の位置毎に個別に設定することで、混色補正Ａの精度を向上させることができる。

　このように、第１の混色補正部６２による混色補正Ａの具体的な手法は特に限定されず、その一例については後述する。

　第２の混色補正部６３は、補正対象画素の周辺画素の画素データに基づいて、補正対象画素の画素データの混色補正Ｂ（第２の混色補正）を行う。

　第２の混色補正部６３は、補正対象画素（Ｇ画素）と同色のカラーフィルタを有する４以上の画素（Ｇ画素）を周辺画素として、補正対象画素の画素データの混色補正Ｂを行う。具体的には、第２の混色補正部６３は、補正対象画素及び周辺画素の画素データから導出される代表値に基づいて、補正対象画素の画素データの混色補正Ｂを行う。

　代表値は、補正対象画素及び周辺画素の画素データの平均値又は加重平均値であってもよいし、補正対象画素及び周辺画素の画素データの中央値又は最頻値であってもよい。以下では、補正対象画素及び周辺画素の画素データの平均値に基づいて、補正対象画素の画素データの混色補正Ｂを行う例について説明する。

　本例の混色補正Ｂにおいて、補正対象画素（Ｇ画素）の周辺画素は、補正対象画素を中心（中央部）に含む６画素（水平方向）×６画素（垂直方向）の範囲に含まれる画素であって、補正対象画素と同色（緑）のカラーフィルタを有する画素（Ｇ画素）である。

　例えば本例のカラー撮像素子２７のカラーフィルタ配列では、図６に示すように、６画素（水平方向）×６画素（垂直方向）の基本配列パターンＰにおいて、Ｇ画素は隣接画素配置タイプによって１０種類に分類される（Ｇ１～Ｇ１０）。

　第２の混色補正部６３は、これらのＧ画素（Ｇ１～Ｇ１０）の画素データの積算値（総和）から求められる平均値に基づいて混色補正Ｂを行うため、補正対象画素を中心とした混色補正ＢのカーネルサイズＫ（基本配列パターンサイズ）内のＧ画素値の積算値を求める。本例の混色補正ＢのカーネルサイズＫは、基本配列パターンＰのサイズと同じ６画素（水平方向）×６画素（垂直方向）である。したがって、第２の混色補正部６３は、このカーネルサイズＫの領域内に含まれる１０種類のＧ画素Ｇ１～Ｇ１０の積算値を算出し、その積算値から代表値（本例では平均値）を算出し、算出した代表値によってカーネルサイズＫ内の補正対象画素（Ｇ画素）の画素データを置換することで、混色補正Ｂを行う。これにより、Ｇ画素間の画素データの段差が解消される。

　なお、第２の混色補正部６３による混色補正Ｂの具体的な手法は特に限定されず、その一例については後述する。

　上述の混色補正Ａ及び混色補正Ｂが行われた混色補正後の画像データ（モザイク状の画像データ）は、後段のＷＢ補正部４２及びＲＧＢ積算部４４に送られる（図３参照）。一面の画像を構成する画像データ中の一部の画素データが異常斜め入射光の影響を受けている場合には、第１の混色補正部６２による混色補正Ａが施された画素データと第２の混色補正部６３による混色補正Ｂが施された画素データとが混色判定補正部４１において合成され、合成後の画像データが混色補正後の画像データ（モザイク状の画像データ）として後段の各処理部に送られる。なお、混色補正Ｂ後の画素データに対して混色補正Ａが行われてもよく、第２の混色補正部６３から第１の混色補正部６２に混色補正Ｂ後の画像データ（画素データ）が送られるようにしてもよい。

　図７は、混色判定補正部４１による混色補正のフローを示すフローチャートである。

　モザイク状の画像データ（ＲＧＢ画像）が混色判定補正部４１に入力されると、混色補正判定部６１によって画像データ（画素データ）が取得され（図７のＳ２）、画像データにおけるゴースト光等の異常斜め入射光の有無が混色補正判定部６１によって判定される（Ｓ４）。

　画像データに異常斜め入射光の入射があると判定された場合（Ｓ４のＹｅｓ）、第２の混色補正部６３において混色補正Ｂが行われ（Ｓ６）、Ｇ画素間の画素データの段差が解消される。一方、画像データに異常斜め入射光の入射がないと判定された場合（Ｓ４のＮｏ）、第１の混色補正部６２において混色補正Ａが行われ（Ｓ８）、撮像素子固有の画素特性に応じた混色が補正される。

　したがって、上述の異常斜め入射光がゴースト光の場合、ゴースト発生の有無が検出され、ゴーストが発生していないときは通常の隣接画素を使用した混色補正（混色補正Ａ）が選択され、ゴーストが発生しているときは補正対象画素及びその周辺画素（Ｇ画素）の画素データの積算値を使用した混色補正（混色補正Ｂ）が選択されるように、混色判定補正部４１が第１の混色補正部６２及び第２の混色補正部６３の画像処理制御（混色補正処理制御）を行う。

　以上説明したように、本実施形態によれば、図２Ａ，２Ｂ及び図６に示すＸ－Ｔｒａｎｓカラーフィルタ配列のように、基本配列パターンＰの配列マトリクスサイズが大きく、隣接するカラーフィルタの種類が多いカラー撮像素子２７から得られる画像（画像データ）のゴーストによる画質劣化を効果的に低減することができる。

　特に、第２の混色補正部６３による混色補正Ｂにおける混色量の算出を、補正対象画素の隣接画素の画素データの代わりにカーネルサイズＫ内の同色画素（Ｇ画素）の画素データに基づいて行うことで、入射光（撮影画像光）に近い情報に基づいて、異常斜め入射光によってもたらされる混色・同色段差を補正し、ゴーストの影響を排除することができる。

　＜第２実施形態＞
　図８は、第２実施形態に係るカラー撮像素子２７のカラーフィルタ配列（画素配列）を示す図である。

　上述の第１実施形態と同一又は類似の要素には、同一の符号を付し、その詳細な説明は省略する。

　本実施形態のカラー撮像素子２７を構成する複数の画素は、３画素（水平方向）×３画素（垂直方向）の基本配列パターンＰを含み、この基本配列パターンＰが水平方向及び垂直方向に複数並べられている。

　基本配列パターンＰは、十字状に配置された５つのＧ画素と、四隅のうちの一方の対角位置に配置される２つのＲ画素と、四隅のうちの他方の対角位置に配置される２つのＢ画素とによって構成される。したがって、図８に示すように、カラー撮像素子２７を構成するＧ画素は、隣接画素のカラーフィルタのタイプに応じて５種類（Ｇ１～Ｇ５）に分類される。

　本実施形態の第２の混色補正部６３（図５参照）は、補正対象画素を含む３画素（水平方向）×３画素（垂直方向）の範囲よりも大きな範囲に含まれる画素であって、補正対象画素（Ｇ画素）と同色のカラーフィルタを有する画素を、混色補正Ｂに使用する周辺画素に設定する。図８に示す例では、基本配列パターンＰの画素サイズ（３画素（水平方向）×３画素（垂直方向））よりも大きな６画素（水平方向）×６画素（垂直方向）が混色補正ＢのカーネルサイズＫとされ、混色補正対象画素５０ＡをカーネルサイズＫの中央部（中心）に配置した場合のカーネルサイズＫに含まれるＧ画素が混色補正Ｂに使用される周辺画素として設定される。

　第２の混色補正部６３は、このカーネルサイズＫに含まれるＧ画素の画素データの代表値に基づいて、第１実施形態と同様にして、補正対象画素の画素データの混色補正Ｂを行う。

　なお、混色補正ＢのカーネルサイズＫは、基本配列パターンＰのサイズよりも大きければよく、本例のように水平方向及び垂直方向の各々に関して基本配列パターンＰの２倍程度の画素数（総画素数に関して４倍程度の画素数）を持つ範囲を、混色補正ＢのカーネルサイズＫに設定することができる。

　基本配列パターンＰの繰り返しによってカラー撮像素子２７の複数画素が構成される場合、カラー撮像素子２７の全体に関する「隣接画素のカラーフィルタのタイプに応じて決められる同色画素の種類」は、基本配列パターンＰに含まれる画素に関して定められる「隣接画素のカラーフィルタのタイプに応じて決められる同色画素の種類」と基本的には同じになる。したがって、複雑なカラーフィルタ配列を有することで混色現象が複雑になる場合であっても、混色補正Ｂのカーネルサイズを水平方向及び垂直方向の各々に関して基本配列パターンＰの２倍程度の画素数（総画素数に関して４倍程度の画素数）とすることで、混色補正Ｂのカーネルサイズには同種の同色画素が４つ以上含まれることとなる。したがって、そのような多くの画素データを用いることで、同色画素間の画素データの段差を解消するための混色補正Ｂを精度良く行うことが可能である。

　以上説明したように、本実施形態によれば、補正対象画素の周辺に配置された多くの同色画素（Ｇ画素）の画素データに基づいて混色補正Ｂが行われるため、より高精度な混色補正Ｂによって、同色画素間における画素データの段差の発生を抑制することができる。

　＜他のカラーフィルタ配列＞
　上述の混色判定補正部４１による混色補正フロー（異常斜め入射光の検出、混色補正Ａ及び混色補正Ｂ）の適用は、図２及び図６に示すカラーフィルタ配列（Ｘ－Ｔｒａｎｓ）や図８に示すカラーフィルタ配列を有するカラー撮像素子２７から出力される画像データ（ＲＡＷデータ等）に限定されず、他のカラーフィルタ配列を有するカラー撮像素子２７から出力される画像データに対しても上述の混色補正フローを適用することが可能である。

　この場合、隣接画素のカラーフィルタの種類が相互に異なる同色画素（Ｇ画素：第１色の画素）を少なくとも５つ含む基本配列パターンＰによって構成されるカラーフィルタ配列（画素配列）に対して上述の混色補正を適用することで、「異常斜め入射光に起因する同色画素間の画素データの段差」及び「画素特性に起因する混色」を効果的に低減することができる。

　図９は、カラーフィルタ配列の基本配列パターンの他の例を示す図である。本例の基本配列パターンＰは６画素（水平方向）×６画素（垂直方向）の画素構成を有し、一方の対角線上に配置された２つの第１のサブ配列及び他方の対角線上に配置された２つの第２のサブ配列によって各基本配列パターンＰは構成されている。第１のサブ配列は、四隅に配置された４つのＲ画素と、中央に配置された１つのＢ画素と、Ｒ画素間に配置された４つのＧ画素とによって構成されている。第２のサブ配列は、四隅に配置された４つのＢ画素と、中央に配置された１つのＲ画素と、Ｂ画素間に配置された４つのＧ画素とによって構成されている。本例のカラーフィルタ配列のＧ画素は、隣接画素のカラーフィルタのタイプによって８種類に分類される（Ｇ１～Ｇ８）。

　また、図１０に示されるカラーフィルタ配列の基本配列パターンＰは５画素（水平方向）×５画素（垂直方向）の画素構成を有し、「Ｇ画素、Ｂ画素、Ｒ画素、Ｂ画素、Ｇ画素」が隣接配置される行と、「Ｒ画素、Ｇ画素、Ｂ画素、Ｇ画素、Ｒ画素」が隣接配置される行と、「Ｂ画素、Ｒ画素、Ｇ画素、Ｒ画素、Ｂ画素」が隣接配置される行と、「Ｒ画素、Ｇ画素、Ｂ画素、Ｇ画素、Ｒ画素」が隣接配置される行と、「Ｇ画素、Ｂ画素、Ｒ画素、Ｂ画素、Ｇ画素」が隣接配置される行とが垂直方向に隣接配置される。本例のカラーフィルタ配列のＧ画素は、隣接画素のカラーフィルタのタイプによって９種類に分類される（Ｇ１～Ｇ９）。

　また、図１１に示されるカラーフィルタ配列の基本配列パターンＰは３画素（水平方向）×３画素（垂直方向）の画素構成を有し、「Ｒ画素、Ｂ画素、Ｇ画素」が隣接配置される行と、「Ｂ画素、Ｒ画素、Ｇ画素」が隣接配置される行と、「Ｇ画素、Ｇ画素、Ｇ画素」が隣接配置される行とが、垂直方向に隣接配置される。本例のカラーフィルタ配列のＧ画素は、隣接画素のカラーフィルタのタイプによって５種類に分類される（Ｇ１～Ｇ５）。

　また、図１２に示されるカラーフィルタ配列の基本配列パターンＰは３画素（水平方向）×３画素（垂直方向）の画素構成を有し、対角線上にＸ字状に配置される５つのＧ画素と、中央のＧ画素の上下（垂直方向）に隣接配置される２つのＢ画素と、中央のＧ画素の左右（水平方向）に隣接配置される２つのＲ画素とによって構成される。本例のカラーフィルタ配列のＧ画素は、隣接画素のカラーフィルタのタイプによって５種類に分類される（Ｇ１～Ｇ５）。

　また、図１３Ａに示されるカラーフィルタ配列はベイヤ配列であり、基本配列パターンＰは２画素（水平方向）×２画素（垂直方向）の画素構成を有し、「Ｇ画素、Ｂ画素」が隣接配置される行と、「Ｒ画素、Ｇ画素」が隣接配置される行とが、垂直方向に隣接配置される。本例のカラーフィルタ配列のＧ画素は、隣接画素のカラーフィルタのタイプによって２種類に分類される（Ｇ１～Ｇ２）。

　また、図１３Ｂに示されるカラーフィルタ配列の基本配列パターンＰは４画素（水平方向）×４画素（垂直方向）の画素構成を有し、一方の対角線上に配置された２つの第１のサブ配列及び他方の対角線上に配置された２つの第２のサブ配列によって各基本配列パターンＰは構成されている。第１のサブ配列は、一方の対角線上に配置された２つのＲ画素と、他方の対角線上に配置された２つのＧ画素とによって構成されている。第２のサブ配列は、一方の対角線上に配置された２つのＢ画素と、他方の対角線上に配置された２つのＧ画素とによって構成されている。本例のカラーフィルタ配列のＧ画素は、隣接画素のカラーフィルタのタイプによって２種類に分類される（Ｇ１～Ｇ２）。

　上述の図９～図１３に示される各カラーフィルタ配列を有するカラー撮像素子２７から出力される画像データ（画素データ）に対しても、上述の混色判定補正部４１による混色補正フロー（異常斜め入射光の検出、混色補正Ａ及び混色補正Ｂ）を適用することで、「異常斜め入射光に起因する同色画素間の画素データの段差」及び「画素特性に起因する混色」を効果的に低減することができる。また特に、基本配列パターンＰに含まれる同色画素（Ｇ画素）の全てが隣接画素のカラーフィルタの種類が相互に異なる画素によって構成される場合（例えば図１０～図１３参照）、第２の混色補正部６３による混色補正ＢのカーネルサイズＫを基本配列パターンＰの構成画素数と同じにすることで、混色補正Ｂで使用する周辺画素を、隣接画素のカラーフィルタの種類が相互に異なる画素によって構成することが可能である。

　＜他の変形例＞
　その他にも、カラー撮像素子２７のカラーフィルタ配列の基本配列パターンＰの画素サイズは特に限定されず、任意のＭ画素（水平方向）×Ｎ画素（垂直方向）（ただし、Ｍは３以上の整数、Ｎは３以上の整数）の画素によって基本配列パターンＰを構成することが可能である。

　また、上述の実施形態ではＲＧＢのカラーフィルタによってカラー撮像素子２７の複数画素が構成される例について説明したが、ＲＧＢに加えて、又はＲＧＢの一部又は全部に代えて、他の色のカラーフィルタが含まれていてもよい。例えば、カラー撮像素子２７を構成する複数の画素が、ＲＧＢ画素に加えてＷ画素（透明画素、白色画素）を含んでいてもよい。このＷ画素のカラーフィルタが、カラー撮像素子２７に含まれる他のカラーフィルタよりも、輝度信号Ｙを得るための寄与率が高い場合（例えば、Ｙ＝０．５Ｗ＋０．５（０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ））には、このＷ画素を上述の混色補正の補正対象画素としてもよい。図１４は、Ｒカラーフィルタ、Ｇカラーフィルタ、Ｂカラーフィルタ及びＷ（透明）カラーフィルタの分光感度の一例を示す図であり、横軸は光の波長を示し、縦軸は感度（光透過率）を示す。

　なお、透明画素及び白色画素は、両者共に可視光波長域の全域において比較的高い光透過率を有するカラーフィルタを有するが、透明画素のカラーフィルタ（透明フィルタ）は白色画素のカラーフィルタ（白色フィルタ）よりも高い光透過率を有する。

　＜混色補正Ａ＞
　次に、第１の混色補正部６２による、「異常斜め入射光（ゴースト光等）が検出されない場合の混色補正Ａ」の一例について説明する。本例では、カラー撮像素子２７が、Ｘ－Ｔｒａｎｓ配列（図２Ａ，２Ｂ及び図６参照）の基本配列パターンＰによって構成されるカラーフィルタ配列を有する場合について説明する。

　図２Ａ，２Ｂに示したカラーフィルタ配列内の２画素（水平方向）×２画素（垂直方向）の４つのＧフィルタのうちの右上のＧフィルタに対応するＧ画素（混色補正の対象画素）と、この対象画素（自画素）に隣接する上下左右の隣接画素（上画素（Ｂ画素）、下画素（Ｇ画素）、左画素（Ｇ画素）、右画素（Ｒ画素））に注目した場合、その対象画素を基準にした上下左右の各方位方向の隣接画素の色は、それぞれＢ、Ｇ、Ｇ、及びＲとなっている。

　図２Ａ，２Ｂに示す６画素×６画素の基本配列パターンＰのうちの、３画素×３画素の第１のサブ配列の９画素及び第２のサブ配列の９画素は、いずれの画素を対象画素にした場合でも、その対象画素の上下左右に隣接する４つの画素の色の組合せは異なるものとなる。

　対象画素の４つの隣接画素の色は、ＲＧＢの３色のいずれの色も取り得るため、４つの隣接画素の色の組合せ（重複順列）は、３^４＝８１通り存在する。なお、この実施形態のカラーフィルタ配列の場合、４つの隣接画素の組合せは、第１のサブ配列及び第２のサブ配列の１８画素に対応する１８通り存在する。

　基本配列パターンＰの画素サイズが大きくなり、３色のＲＧＢの画素の配列の自由度が上がると、隣接する隣接画素の色配置の組合せが増える。また、ＲＧＢの３色以外に、エメラルドやイエローの画素が存在する場合には、更に色配置の組合せが増えることになる。

　４つの隣接画素別の混色率を１セットにして、隣接画素の色の組合せ毎に混色率を記憶しても良い。しかし、上下左右の４方向の他に、斜め方向（左上、右上、左下、右下）の隣接画素の色も考慮すると、色配置の組合せの数は更に増え、混色率のデータ量が増大する。

　また、この実施形態のカラー撮像素子２７は、ＣＭＯＳ型の撮像素子であり、図１５に示すようにＣＭＯＳの下地に画素共有アンプＡが埋め込まれており、Ｋ×Ｌ（２×２）画素が１つのアンプＡを共有している。このカラー撮像素子２７の素子構造により、アンプＡに対する画素（自画素）の位置１～４（アンプＡに対して左上、右上、左下、右下の位置）により出力レベルに差が生じる。

　メモリ部（メモリ３７）は、図１６に示す補正テーブルを記憶している。この補正テーブルには、隣接画素の３つの色（ＲＧＢ）を第１パラメータＰ１とし、アンプＡを共有している２×２画素のうちの自画素の位置（図１５上の位置１～４）を第２パラメータＰ２とし、これらのパラメータＰ１、Ｐ２の組合せに対応する混色率Ａ１～Ａ１２の合計１２個の混色率が、パラメータＰ１、Ｐ２に関連づけて記憶されている。メモリ部への補正テーブルの保存は、予め製品出荷前の検査時に上記パラメータの組合せに対応する混色率を求め、製品別に保存することが好ましい。

　また、モザイク画像の中央部と周辺部とでは、カラー撮像素子２７の各画素へ被写体光の入射角が異なるため混色率が異なる。そこで、図１７に示すようにモザイク画像の全領域を、例えば、８×８の分割領域に分割し、分割領域［０］［０］～［７］［７］毎に、図１６に示した補正テーブルをメモリ部に記憶させる。以下、６４（＝８×８）の分割領域のうちのいずれかを特定するパラメータを第３パラメータＰ３という。

　図１８は、第１の混色補正部６２の内部構成の実施形態を示すブロック図である。

　第１の混色補正部６２は、主として遅延処理部６７と、減算器６９と、乗算器７０と、加算器７１と、パラメータ取得部（パラメータ取得手段）７２と、混色率設定部７３とから構成されている。

　図１８において、カラー撮像素子２７を介して取得したモザイク画像（ＲＧＢの色信号）は、点順次で遅延処理部６７に加えられる。遅延処理部６７は、１Ｈ（水平ライン）のラインメモリ６８ａ～６８ｃを有し、点順次で入力するＲＧＢの色信号は、１画素の処理を行うインターバルで順次ラインメモリ６８ａ～６８ｃ内をシフトさせられる。ラインメモリ６８ｂの斜線で示した位置の色信号を、混色補正の対象画素の色信号とすると、ラインメモリ６８ａ、６８ｃ上の同じ位置の色信号は、それぞれ上画素、下画素の色信号となり、ラインメモリ６８ｂの斜線で示した位置の左右の位置の色信号は、それぞれ左画素、右画素の色信号となる。

　このようにして遅延処理部６７は、点順次で入力するＲＧＢの色信号を適宜遅延させ、混色補正の対象画素と、その対象画素の上下左右の隣接画素（上画素、下画素、左画素、右画素）とを同時に出力する。遅延処理部６７から出力される対象画素の色信号は、減算器６９に加えられ、上画素、下画素、左画素、及び右画素の色信号は、それぞれ乗算器７０に加えられる。

　パラメータ取得部７２には、遅延処理部６７から出力される、モザイク画像内における対象画素の位置（ｘ、ｙ）を示す情報が加えられており、パラメータ取得部７２は、対象画素の位置（ｘ、ｙ）を示す情報に基づいて第１～第３パラメータＰ１～Ｐ３を取得する。なお、対象画素の位置（ｘ、ｙ）を示す情報は、モザイク画像の画素毎に信号処理を指示するＣＰＵ３０又は画像処理回路３２（混色補正判定部６１等）から取得することができる。

　モザイク画像内における対象画素の位置（ｘ、ｙ）が特定されると、対象画素（自画素）の位置（図１５上の位置１～４）を示す第２パラメータＰ２と、自画素が属する分割領域（図１７参照）を示す第３パラメータＰ３とを決定することができる。また、モザイク画像内における対象画素の位置（ｘ、ｙ）が特定されると、対象画素の隣接画素（上画素、下画素、左画素、及び右画素）の色を決定することができる。即ち、隣接画素の色を示す第１パラメータＰ１を決定することができる。パラメータ取得部７２は、上記のようにしてモザイク画像内における対象画素の位置（ｘ、ｙ）の情報に基づいて第１～第３パラメータＰ１～Ｐ３を決定し、混色率設定部７３に出力する。

　混色率設定部７３は、パラメータ取得部７２から入力する第１～第３パラメータＰ１～Ｐ３に基づいて、メモリ３７から対応する４つの混色率Ａ～Ｄを読み出し、これらの混色率Ａ～Ｄをそれぞれ乗算器７０の他の入力に加える。即ち、混色率設定部７３は、第３パラメータＰ３に基づいて対象画素が属する分割領域に対応する補正テーブルを選択し、選択した補正テーブルから第１、第２パラメータＰ１、Ｐ２に基づいて、隣接画素の方位方向別の４つの混色率Ａ～Ｄ（図１６のＡ１～Ａ１２参照）を読み出す。

　乗算器７０は、それぞれ入力する上画素、下画素、左画素、及び右画素の色信号と混色率Ａ～Ｄとを乗算し、乗算値を加算器７１に出力する。加算器７１は、入力する４つの乗算値を加算し、加算値を減算器６９の他の入力に加える。この加算値は、混色補正の対象画素の色信号に含まれる混色成分に対応する。

　減算器６９の一方の入力には、混色補正の対象画素の色信号が加えられており、減算器６９は、対象画素の色信号から加算器７１から入力する加算値（混色成分）を減算し、混色成分が除去（混色補正）された対象画素の色信号を出力する。

　上記減算器６９、乗算器７０、及び加算器７１による計算を数式で示すと、次式で表すことができる。

　［数式１］　
　補正後の色信号＝補正前の色信号－（上画素×混色率Ａ＋下画素×混色率Ｂ＋左画素×混色率Ｃ＋右画素×混色率Ｄ）
　上記のようにして第１の混色補正部６２により混色補正された色信号は、後段のＷＢ補正部４２及びＲＧＢ積算部４４に出力される（図３参照）。

　図１９は、混色補正に係る画像処理の一例を示すフローチャートである。

　第１の混色補正部６２は、まず、混色補正開始前に混色補正の対象画素の位置（ｘ、ｙ）を、初期値（０、０）に設定する（ステップＳ１０）。

　続いて、対象画素（ｘ、ｙ）の色信号（画素値）と、対象画素（ｘ、ｙ）の上下左右の隣接画素の色信号（画素値）を取得する（ステップＳ１２）。

　パラメータ取得部７２は、対象画素の位置（ｘ、ｙ）に基づいて、前述したように第１～第３パラメータＰ１～Ｐ３を取得する（ステップＳ１４）。

　混色率設定部７３は、パラメータ取得部７２により取得された第１～第３パラメータＰ１～Ｐ３に基づいてメモリ部から対応する混色率Ａ～Ｄを読み出す（ステップＳ１６）。

　次に、ステップＳ１２で取得した対象画素の画素値及び隣接画素の画素値と、ステップＳ１６で読み出した混色率Ａ～Ｄとに基づいて、［数式１］で示した演算処理を行い、対象画素の画素値から混色成分を除去する混色補正を行う（ステップＳ１８）。

　続いて、全ての対象画素の混色補正が終了したか否かを判別し（ステップＳ２０）、終了していない場合（Ｓ２０のＮｏ）には、ステップＳ２２に遷移させる。

　ステップＳ２２では、対象画素の位置（ｘ、ｙ）を１画素移動させ、また、対象画素の位置（ｘ、ｙ）が水平方向の左端に達した場合には、水平方向の右端に戻すとともに、垂直方向に１画素移動させてステップＳ１２に遷移させ、上記ステップＳ１２からステップＳ２０の処理を繰り返し実行させる。

　一方、ステップＳ２０において、全ての対象画素の混色補正が終了したと判別されると（Ｓ２０のＹｅｓ）、本混色補正の処理を終了する。

　本発明は、図２Ａ，２Ｂに示したカラーフィルタ配列のモザイク画像に限らず、種々のカラーフィルタ配列のモザイク画像に対して適用することができる。この場合、混色補正のハードウエアを変更することなく上述の混色補正を適用することができる。

　また、画素共有アンプが埋め込まれていない撮像素子から取得されるモザイク画像に対しては、アンプに対する自画素の位置を示す第３パラメータＰ３は不要になり、モザイク画像の中央部と周辺部とで混色率の変化が少ない場合には、分割領域毎に混色率の補正テーブルを持たなくてもよい。

　一方、補正対象画素に対する隣接画素の位置、すなわち、補正対象画素の上下左右方向及び斜め方向（左上、右上、左下、右下）の各々に関して補正のパラメータを設定するようにしても良い。このように補正対象画素に対する隣接画素の位置ごとに補正パラメータを設定することで、より高精度の混色補正が可能となる。

　＜異常斜め入射光の検出及び混色補正Ｂ＞
　次に、混色補正判定部６１及び第２の混色補正部６３による「異常斜め入射光（ゴースト光等）の検出及び異常斜め入射光が検出された場合の混色補正Ｂ」の一例について説明する。

　画像処理回路３２の混色判定補正部４１は、異常斜め入射光を検出する異常斜め入射光検出部として働く混色補正判定部６１を有する。混色補正判定部６１は、第１の第１方向同色隣接画素、第２の第１方向同色隣接画素、第１の第１方向異色隣接画素及び第２の第１方向異色隣接画素の画素データに基づいて、カラー撮像素子２７へ水平方向に入射する異常斜め入射光を検出することができる。

　図２０において、混色補正判定部６１による水平方向の紙面に向かって左側からの異常斜め入射光の検出を説明する。図２０の符号１－１で示されるＧフィルタを有する画素（第１の第１方向同色隣接画素）は、紙面に向かって左側から水平方向に異常斜め入射光が入射された場合、紙面に向かって左側に隣接するＧフィルタを有する画素（図２０の符号３－１）からの混色の影響を受ける。そして、図２０の符号１－１で示されるＧフィルタを有する画素は、画素データＧｇを出力する。

　図２０の符号２－１で示されるＧフィルタを有する画素（第２の第１方向同色隣接画素）は、紙面に向かって左側から水平方向に異常斜め入射光が入射された場合、紙面に向かって左側に隣接するＧフィルタを有する画素（図２０の符号４－１）からの混色の影響を受ける。そして、図２０の符号２－１で示されるＧフィルタを有する画素は、画素データＧｇを出力する。

　図２０の符号３－１で示されるＧフィルタを有する画素（第１の第１方向異色隣接画素）は、紙面に向かって左側から水平方向に異常斜め入射光が入射された場合、紙面に向かって左側に隣接するＢフィルタを有する画素からの混色の影響を受ける。そして、図２０の符号３－１で示されるＧフィルタを有する画素は、画素データＧｂを出力する。

　図２０の符号４－１で示されるＧフィルタを有する画素（第２の第１方向異色隣接画素）は、紙面に向かって左側から水平方向に異常斜め入射光が入射された場合、紙面に向かって左側に隣接するＲフィルタを有する画素からの混色の影響を受ける。そして、図２０の符号４－１で示されるＧフィルタを有する画素は、画素データＧｒを出力する。

　そして、混色補正判定部６１では、上述した、第１の第１方向同色隣接画素（図２０の符号１－１、第２の第１方向同色隣接画素（図２０の符号２－１）、第１の第１方向異色隣接画素（図２０の符号３－１）、及び第２の第１方向異色隣接画素（図２０の符号４－１）の画素データを比較する。

　上記したように、第１の第１方向同色隣接画素（図２０の符号１－１）と第２の第１方向同色隣接画素（図２０の符号２－１）との画素データはＧｇであり同じである。又、第１の第１方向異色隣接画素（図２０の符号３－１）と第２の第１方向異色隣接画素（図２０の符号４－１）との画素データは、ＧｂとＧｒで異なる。この結果より、混色補正判定部６１は、紙面に向かって左側から水平方向に異常斜め入射光があると判断することができる。

　なお、画素データＧｇが同じであるとは、第１の第１方向同色隣接画素の画素データ（Ｇｇ）と第２の第１方向同色隣接画素の画素データ（Ｇｇ）との差分値が第１の第１方向同色隣接画素（又は第２の第１方向同色隣接画素）の画素データの２％以内であることをいい、撮像対象によっては１％以内であってもよい。

　また、画素データＧｂとＧｒが異なるとは、その差分値の絶対値が第１の第１方向同色隣接画素（又は第２の第１方向同色隣接画素）の画素データの１０％以上であることをいい、撮像対象によっては８％以上であってもよい。

　次に、図２０において、垂直方向の紙面に向かって上側からの混色補正判定部６１が行う異常斜め入射光の検出を説明する。図２０の符号１－３で示されるＧフィルタを有する画素（第１の第２方向同色隣接画素）は、紙面に向かって上側から垂直方向に異常斜め入射光が入射された場合、隣接するＧフィルタを有する画素（図２０の符号３－３）からの混色の影響を受ける。そして、図２０の符号１－３で示されるＧフィルタを有する画素は、画素データＧｇを出力する。

　図２０の符号２－３で示されるＧフィルタを有する画素（第２の第２方向同色隣接画素）は、紙面に向かって上側から垂直方向に異常斜め入射光が入射された場合、隣接するＧフィルタを有する画素（図２０の符号４－３）からの混色の影響を受ける。そして、図２０の符号２－３で示されるＧフィルタを有する画素は、画素データＧｇを出力する。

　図２０の符号３－３で示されるＧフィルタを有する画素（第１の第２方向異色隣接画素）は、紙面に向かって上側から垂直方向に異常斜め入射光が入射された場合、上側のＢフィルタを有する画素からの混色の影響を受ける。そして、図２０の符号３－３で示されるＧフィルタを有する画素は、画素データＧｂを出力する。

　図２０の符号４－３で示されるＧフィルタを有する画素（第２の第２方向異色隣接画素）は、垂直方向の紙面に向かって上側から異常斜め入射光が入射された場合、上側のＲフィルタを有する画素からの混色の影響を受ける。そして、図２０の符号４－３で示されるＧフィルタを有する画素は、画素データＧｒを出力する。

　そして、混色補正判定部６１では、上述した、第１の第２方向同色隣接画素（図２０の符号１－３、第２の第２方向同色隣接画素（図２０の符号２－３）、第１の第２方向異色隣接画素（図２０の符号３－３）、及び第２の第２方向異色隣接画素（図２０の符号４－３）の画素データを比較する。上記したように、第１の第２方向同色隣接画素（図２０の符号１－３）と第２の第２方向同色隣接画素（図２０の符号２－３）との画素データはＧｇであり同じである。又、第１の第２方向異色隣接画素（図２０の符号３－３）と第２の第２方向異色隣接画素（図２０の符号４－３）との画素データは、ＧｂとＧｒで異なる。この結果より、混色補正判定部６１は、紙面に向かって上側から垂直方向に異常斜め入射光があると判断する。

　なお、画素データＧｇが同じであるとは、第１の第２方向同色隣接画素の画素データ（Ｇｇ）と第２の第２方向同色隣接画素の画素データ（Ｇｇ）との差分値が第１の第２方向同色隣接画素（又は第２の第２方向同色隣接画素）の画素データの２％以内であることをいい、撮像対象によっては１％以内であってもよい。

　また、画素データＧｂとＧｒが異なるとは、その差分値の絶対値が第１の第２方向同色隣接画素（又は第２の第２方向同色隣接画素）の画素データの１０％以上であることをいい、撮像対象によっては８％以上であってもよい。

　尚、混色補正判定部６１が行う「紙面に向かって右側から水平方向に入射する異常斜め入射光の検出」及び「紙面に向かって下側から垂直方向に入射する異常斜め入射光の検出」は、上記と同様に行われる。

　以上説明したように、混色補正判定部６１は、四方向からの異常斜め入射光（紙面に向かって左側から水平方向に入射する異常斜め入射光、紙面に向かって右側から水平方向に入射する異常斜め入射光、紙面に向かって上側から垂直方向に入射する異常斜め入射光、紙面に向かって下側から垂直方向に入射する異常斜め入射光）を検出することができる。言い換えると、混色補正判定部６１は、異常斜め入射光の検出を行うと、異常斜め入射光の入射方向の判別も行っている。

　尚、ここでは、紙面に向かって左側から右側に向かう水平方向を第１の方向の正方向とし、紙面に向かって右側から左側に向かう水平方向を第１の方向の負方向として説明している。また、紙面に向かって下側から上側に向かう垂直方向を第２の方向の正方向とし、紙面に向かって上側から下側に向かう垂直方向を第２の方向の負方向として説明している。

　なお、異常斜め入射光の検出は、上記のように、画素データのバラツキがある一定の範囲に発生する場合に検出する。ここでいう一定の範囲とは、一般的なゴースト（異常斜め入射光による本来存在しない像）を検出しうる範囲のことをいう。例えば、６４画素×６４画素の範囲において、上記異常斜め入射光の検出を行ってもよいし、３２画素×３２画素で上記異常斜め入射光の検出を行ってもよい。

　［混色補正］
　第２の混色補正部６３では、異常斜め入射光の入射による混色の補正を行うことができる。すなわち、第２の混色補正部６３は、異常斜め入射光検出手段によりカラー撮像素子２７へ水平方向に入射する異常斜め入射光が検出された場合、画素データＧｇを使用して、画素データＧｂ及び画素データＧｒを補正することができる。

　画素データＧｇを使用して画素データＧｂ及び画素データＧｒを補正することにより、混色の影響を最小限に抑えることができる。すなわち、画素データＧｇ、画素データＧｒ、及び画素データＧｂを比較すると、画素データＧｇに対する混色は同色画素からの漏れ込みであり最も混色の影響が少ないので、画素データＧｇを使用して、画素データＧｒ及び画素データＧｂを補正することが望ましい。

　第２の混色補正部６３は、様々な方法により、画素データＧｇを使用して画素データＧｒ及びＧｂに対して補正を行うことがきる。例えば、第２の混色補正部６３は、画素データＧｒ及びＧｂを有する画素の画素データを、画素データＧｇに置き換えることにより補正をすることもできる。また、Ｇフィルタ有する画素の画素データを、画素データＧｒと画素データＧｇとの平均値、画素データＧｂと画素データＧｇとの平均値、又は画素データＧｂと画素データＧｒと画素データＧｇとの平均値に補正することもできる。

　第２の混色補正部６３は、図２１Ａ～２１Ｅ及び図２２Ａ～２２Ｅで説明するように、異常斜め入射光の入射方向を考慮して混色補正を行うこともできる。

　図２１Ａ及び図２２Ａには、図２０において示したカラー撮像素子２７の一部分を示しており、図２１Ａ～２１Ｅ及び図２２Ａ～２２Ｅの紙面に向かって右側から水平方向に異常斜め入射光が入射した場合を示している。図２０において示されたカラー撮像素子２７においては、図２１Ａ及び図２２Ａのように紙面に向かって右側から水平方向に異常斜め入射光が入射した場合には、Ｇフィルタを有する２画素×２画素の画素群（第１色画素群）がＧｇ、Ｇｇ、Ｇｒ、及びＧｂという画素データを出力する。

　図２１Ｂ～２１Ｅに示すように、Ｇフィルタを有する画素の画素データに対して四方の画素データを基に補正を行う場合、補正にＧｒやＧｂといった混色の影響を受けている画素データを使用する為、補正後の画素データＧｇＣ間で値が異なってしまう場合がある。

　以下に補正後の画素データＧｇＣ間で値が異なることを説明する。先ず、図２１Ｂで示されるように、第１画素群の紙面に向かって左上に位置するＧｇを示す画素データに対して、四方（紙面に向かって、左、右、上、下）の画素データの値を使用して混色補正を行い、画素データＧｇＣを得る。この画素データＧｇＣは、混色の影響を受けたＧｒを示す画素データを混色補正に使用しているので、混色の影響を受ける。

　次に、図２１Ｃで示されるように、第１画素群の紙面に向かって右上のＧｒを示す画素データに対して、四方の画素データの値を使用して混色補正を行い画素データＧｒＣを得る。次に、図２１Ｄで示されるように、第１画素群の紙面に向かって左下のＧｇを示す画素データに対して、回りの画素データの値を使用して混色補正を行い画素データＧｇＣを得る。この画素データＧｇＣは、混色の影響を受けたＧｂを示す画素データを混色補正に使用しているので、混色の影響を受ける。

　次に、図２１Ｅで示されるように、第１画素群の紙面に向かって右下のＧｂを示す画素データに対して、回りの画素データの値を使用して混色補正を行い、画素データＧｂＣを得る。

　図２１Ｂと図２１Ｄでは、同じ画素データＧｇに対して混色補正が行われて、画素データＧｇＣが得られる。しかし、図２１Ｂと図２１Ｄの画素データＧｇＣの各々は、異なる混色の影響を受けているので、図２１Ｂと図２１Ｄ画素データＧｇＣは異なる値を示す。すなわち、図２１Ｂの場合は画素データＧｒが、及び、図２１Ｄの場合は画素データＧｂが混色の影響を受けており、ＧｒとＧｂとで混色が異なるため、混色補正の結果得られる画素データＧｇＣ間で混色の影響による差異が生じてしまう。

　一方、図２２Ａ～２２Ｅに示されたような混色補正では、異常斜め入射光の入射方向を考慮して混色補正を行っている為に、混色補正後に得られる画素データＧｇＣ間で差異は生じない。以下に補正後の画素データＧｇＣ間で値が異なることを説明する。

　先ず、図２２Ｂで示されるように、第１画素群の紙面に向かって右上のＧｒを示す画素データに対して、四方の画素データの値を使用して混色補正を行い画素データＧｒＣを得る。尚、ここで、異常斜め入射光の入射方向（右側）への混色補正を強く行ってもよい。

　次に、図２２Ｃで示されるように、第１画素群の紙面に向かって右下のＧｂを示す画素データに対して、四方の画素データの値を使用して混色補正を行い、画素データＧｂＣを得る。次に、図２２Ｄで示されるように、第１画素群の紙面に向かって左上のＧｇを示す画素データに対して、四方の画素データの値を使用して混色補正を行い画素データＧｇＣを得る。この際、ＧｒＣを示す画素データを混色補正に使用するが、ＧｒＣは予め混色補正を行っているので、混色補正の影響は取り除かれている。

　次に、図２２Ｅで示されるように、第１画素群の紙面に向かって左下のＧｇを示す画素データに対して、回りの画素データの値を使用して混色補正を行い画素データＧｇＣを得る。この際、ＧｂＣを示す画素データを混色補正に使用するが、ＧｂＣは予め混色補正を行っているので、混色補正の影響は取り除かれている。

　図２２Ｄと図２２Ｅでは、同じ画素データＧｇに対して混色補正が行われ、得られる画素データのＧｇＣも同じ値を示す。なぜならば、図２２Ｂの場合は画素データＧｒが混色の影響を受け、図２２Ｃの場合は画素データＧｂが混色の影響を受けているが、図２２Ｄと図２２Ｅで混色補正が行われる前に図２２Ｂ及び図２２Ｃで混色補正が行われていることにより混色の影響を取り除いているからである。

　このように、異常斜め入射光の入射方向を考慮して、混色補正を行う画素の順番を変えることにより、より精度の高い混色補正を行うことができる。図２２の場合では、異常斜め入射光の入射方向に位置する画素から、混色補正を行うことにより、より精度の高い混色補正を行うことができる。

　本発明において、様々なカラーフィルタ配列を有するカラー撮像素子２７を使用することができる。以下に、異なるカラーフィルタ配列を有するカラー撮像素子２７を変形例として説明する。

　＜撮像素子の他の実施形態（変形例１）＞
　図２３は、上記カラー撮像素子２７の他の実施形態を示す図であり、特にカラー撮像素子２７の受光面上に配置されているカラーフィルタ配列に関して示している。

　図２３に示すカラーフィルタ配列は、水平方向及び垂直方向に関して６画素×６画素配列される画素によって構成される複数の基本配列画素群が、水平方向及び垂直方向に並置される複数の基本配列画素群を含む。

　図２３に示すカラーフィルタ配列は、６画素×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示した画素群）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒフィルタ、Ｇフィルタ、Ｂフィルタが周期性をもって配列されている。

　このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが周期性をもって配列されているため、カラー撮像素子２７から読み出されるＲ、Ｇ、Ｂ信号のデモザイク処理等を行う際に、繰り返しパターンに従って処理を行うことができる。

　図２３に示すカラーフィルタ配列を構成する基本配列パターンＰは、輝度信号を得るために最も寄与する色（Ｇの色）に対応するＧフィルタと、Ｇの色以外の他の色（Ｒ及びＢ）に対応するＲフィルタ、Ｂフィルタとが、基本配列パターンＰ内の水平及び垂直方向の各ライン内に１つ以上配置されている。

　Ｒ、Ｇ、Ｂフィルタが、それぞれ基本配列パターンＰ内の水平及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

　輝度系画素に対応するＧフィルタは、基本配列パターンＰ内において、水平、垂直、及び斜め方向の各方向に２以上隣接する部分が含まれるように配置されている。

　基本配列パターンＰの各々は、水平方向及び垂直方向に関して３画素×３画素配列される画素のカラーフィルタによって構成される二つの第１のサブ配列及び二つの第２サブ配列を含む。

　図２４は、図２３に示した基本配列パターンＰを、３画素×３画素に４分割した状態に関して示している。

　図２４において、第１のサブ配列は、中央に配置されるＲフィルタを有する１画素と、四隅に配置されるＢフィルタを有する４画素と、四隅の画素の各々間に配置されるＧフィルタを有する４画素とを有し、第２サブ配列は、中央に配置されるＢフィルタを有する１画素と、四隅に配置されるＲフィルタを有する４画素と、四隅の画素の各々間に配置されるＧフィルタを有する４画素とを有し、第１のサブ配列は、水平方向及び垂直方向に第２のサブ配列と隣接配置される。

　図２４に示すように基本配列パターンＰは、実線の枠で囲んだ３画素×３画素の第１のサブ配列と、破線の枠で囲んだ３画素×３画素の第２のサブ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

　第１のサブ配列は、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置されている。一方、第２のサブ配列は、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。これらの第１のサブ配列と第２のサブ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

　［異常斜め入射光検出］
　上記変形例１のカラー撮像素子２７を有するデジタルカメラ１０の場合、混色補正判定部６１では以下のように異常斜め入射光の検出及び方向の特定を行う。

　図２３に示された変形例１おいて、水平方向の紙面に向かって左側からの混色補正判定部６１が行う異常斜め入射光の検出を具体的に説明する。図２３の符号１－１で示されるＧフィルタを有する画素は、図２３の紙面に向かって左側にＧフィルタを有する画素（図２３の符号３－１）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向同色隣接画素）である。図２３の符号２－１で示されるＧフィルタを有する画素は、図２３の紙面に向かって左側にＧフィルタを有する画素（図２３の符号４－１）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向同色隣接画素）である。

　図２３の符号３－１で示されるＧフィルタを有する画素は、図２３の紙面に向かって左側にＧフィルタとは異色であるＲフィルタを有する画素が隣接配置されており、第１の色と異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向異色隣接画素）である。又、図２３の符号４－１で示されるＧフィルタを有する画素は、図２３の紙面に向かって左側にＧフィルタとは異色であるＢフィルタを有する画素が隣接配置されており、第１の色と異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向異色隣接画素）である。

　そして、混色補正判定部６１では、上述した、第１の第１方向同色隣接画素（図２３の符号１－１）、第２の第１方向同色隣接画素（図２３の符号２－１）、第１の第１方向異色隣接画素（図２３の符号３－１）、及び第２の第１方向異色隣接画素（図２３の符号４－１）の画素データを比較し、第１の第１方向同色隣接画素（図２３の符号１－１）と、第２の第１方向同色隣接画素（図２３の符号２－１）の値が同じであり、且つ第１の第１方向異色隣接画素（図２３の符号３－１）と、第２の第１方向異色隣接画素（図２３の符号４－１）との値が異なる場合には、紙面に向かって左側から水平方向に進行する異常斜め入射光の存在が検出される。

　図２３に示された変形例１おいて、水平方向の紙面に向かって右側からの混色補正判定部６１が行う異常斜め入射光の検出を具体的に説明する。図２３の符号１－２で示されるＧフィルタを有する画素は、図２３の紙面に向かって右側にＧフィルタを有する画素（図２３の符号３－２）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向同色隣接画素）である。図２３の符号２－２で示されるＧフィルタを有する画素は、図２３の紙面に向かって右側にＧフィルタを有する画素（図２３の符号４－２）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向同色隣接画素）である。

　図２３の符号３－２で示されるＧフィルタを有する画素は、図２３の紙面に向かって右側にＧフィルタとは異色であるＲフィルタを有する画素が隣接配置されており、第１の色と異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向異色隣接画素）である。又、図２３の符号４－２で示されるＧフィルタを有する画素は、図２３の紙面に向かって右側にＧフィルタとは異色であるＢフィルタを有する画素が隣接配置されており、第１の色と異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向異色隣接画素）である。

　そして、混色補正判定部６１では、上述した、第１の第１方向同色隣接画素（図２３の符号１－２）、第２の第１方向同色隣接画素（図２３の符号２－２）、第１の第１方向異色隣接画素（図２３の符号３－２）、及び第２の第１方向異色隣接画素（図２３の符号４－２）の画素データを比較し、第１の第１方向同色隣接画素（図２３の符号１－２）、第２の第１方向同色隣接画素（図２３の符号２－２）の値が同じであり、且つ第１の第１方向異色隣接画素（図２３の符号３－２）と、第２の第１方向異色隣接画素（図２３の符号４－２）との値が異なる場合には、紙面に向かって右側から水平方向に進行する異常斜め入射光の存在が検出される。

　次に、垂直方向の紙面に向かって上側から入射される異常斜め入射光の検出を行う場合について説明する。図２３に示された変形例１おいて、垂直方向の紙面に向かって上側からの混色補正判定部６１が行う異常斜め入射光の検出は以下のように行う。

　図２３の符号１－３で示されるＧフィルタを有する画素は、図２３の紙面に向かって上側にＧフィルタを有する画素（図２３の符号３－３）が隣接配置されており、Ｇフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向同色隣接画素）である。図２３の符号２－３で示されるＧフィルタを有する画素は、図２３の紙面に向かって上側にＧフィルタを有する画素（図２３の符号４－３）が隣接配置されており、Ｇフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向同色隣接画素）である。

　図２３の符号３－３で示されるＧフィルタを有する画素は、図２３の紙面に向かって上側にＧフィルタと異色であるＲフィルタを有する画素が隣接配置されており、Ｇフィルタと異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向異色隣接画素）である。又、図２３の符号４－３で示されるＧフィルタを有する画素は、図２３の紙面に向かって上側にＧフィルタと異色であるＢフィルタを有する画素が隣接配置されており、Ｇフィルタと異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向異色隣接画素）である。

　そして、混色補正判定部６１では、上述した、第１の第２方向同色隣接画素（図２３の符号１－３）、第２の第２方向同色隣接画素（図２３の符号２－３）、第１の第２方向異色隣接画素（図２３の符号３－３）、及び第２の第２方向異色隣接画素（図２３の符号４－３）の画素データを比較し、第１の第２方向同色隣接画素（図２３の符号１－３）、第２の第２方向同色隣接画素（図２３の符号２－３）の値が同じであり、且つ第１の第２方向異色隣接画素（図２３の符号３－３）と、第２の第２方向異色隣接画素（図２３の符号４－３）との値が異なる場合には、垂直方向からの異常斜め入射光の存在が検出される。

　紙面に向かって下側から垂直方向に入射される異常斜め入射光の検出を行う場合は、以下のように行う。図２３に示された変形例１おいて、垂直方向の紙面に向かって下側からの混色補正判定部６１が行う異常斜め入射光の検出を具体的に説明する。

　図２３の符号１－４で示されるＧフィルタを有する画素は、図２３の下側にＧフィルタを有する画素（図２３の符号３－４）が隣接配置されており、Ｇフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向同色隣接画素）である。図２３の符号２－４で示されるＧフィルタを有する画素は、図２３の下側にＧフィルタを有する画素（図２３の符号４－４）が隣接配置されており、Ｇフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向同色隣接画素）である。

　図２３の符号３－４で示されるＧフィルタを有する画素は、図２３の下側にＧフィルタと異色であるＲフィルタを有する画素が隣接配置されており、Ｇフィルタと異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向異色隣接画素）である。又、図２３の符号４－４で示されるＧフィルタを有する画素は、図２３の下側にＧフィルタと異色であるＢフィルタを有する画素が隣接配置されており、Ｇフィルタと異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向異色隣接画素）である。

　そして、混色補正判定部６１では、上述した、第１の第２方向同色隣接画素（図２３の符号１－４）、第２の第２方向同色隣接画素（図２３の符号２－４）、第１の第２方向異色隣接画素（図２３の符号３－４）、及び第２の第２方向異色隣接画素（図２３の符号４－４）の画素データを比較し、第１の第２方向同色隣接画素（図２３の符号１－４）、第２の第２方向同色隣接画素（図２３の符号２－４）の値が同じであり、且つ第１の第２方向異色隣接画素（図２３の符号３－４）と、第２の第２方向異色隣接画素（図２３の符号４－４）との値が異なる場合には、垂直方向からの異常斜め入射光の存在が検出される。

　尚、説明の明瞭化のため、図２３において、符号１－１～４－１の画素による水平方向の紙面に向かって左側からの異常斜め入射光の検出と、符号１－２～４－２の画素による水平方向の紙面に向かって右側からの異常斜め入射光の検出と、符号１－３～４－３の画素による垂直方向からの異常斜め入射光の検出と、符号１－４～４－４の画素による垂直方向からの異常斜め入射光の検出とを、隣接する異なる基本配列画素群Ｐに配置された画素で検出するように説明した。しかし、同一の基本配列画素群Ｐ内に、符号１－１～４－１の画素、符号１－２～４－２の画素、符号１－３～４－３の画素、及び符号１－４～４－４の画素に対応する画素から検出するようにしてもよい。

　＜撮像素子の他の実施形態（変形例２）＞
　図２５は、上記カラー撮像素子２７の他の実施形態（変形例２）を示す図であり、特にカラー撮像素子２７の受光面上に配置されているカラーフィルタ配列に関して示している。

　図２５に示された、カラーフィルタ配列は、水平方向及び垂直方向に関して４画素×４画素配列される画素によって構成される複数の基本配列画素群を有する。また、カラーフィルタ配列は、水平方向及び垂直方向に並置される複数の基本配列画素群を含み、基本配列画素群の各々は、水平方向及び垂直方向に関して２画素×２画素配列される画素によって構成される二つの第１のサブ配列及び二つの第２のサブ配列を含む。

　第１のサブ配列はＧフィルタを有する４画素によって構成され、第２のサブ配列はＲフィルタを有する２画素及びＢフィルタを有する２画素によって構成され、第１のサブ配列は、水平方向及び垂直方向に第２のサブ配列と隣接配置され、第１色画素群は、第１のサブ配列によって構成される。

　具体的には、図２５のカラーフィルタ配列は、４画素×４画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示した画素群）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒフィルタ、Ｇフィルタ、Ｂフィルタが周期性をもって配列されている。

　図２５に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターンＰ内の水平方向及び垂直方向の各ライン内に配置されている。

　図２６は、図２５に示した基本配列パターンＰを、２画素×２画素に４分割した状態を示している。

　図２６に示すように基本配列パターンＰは、実線の枠で囲んだ２画素×２画素の第１のサブ配列と、破線の枠で囲んだ２画素×２画素の第２のサブ配列とが、水平、垂直方向に交互に並べられた配列となる。

　第１のサブ配列は、Ｒフィルタ及びＢフィルタが水平、垂直方向に交互に並べられた配列となっている。また、第１のサブ配列は、Ｒフィルタ又はＢフィルタが２画素×２画素配列の対角線上に配列されているということもできる。

　一方、第２サブ配列は、Ｇフィルタを有する画素が２画素×２画素配列されている。Ｇフィルタを有する画素が２画素×２画素配列は、Ｇフィルタを有する画素の画素群であり、第１の第１方向同色隣接画素、第２の第１方向同色隣接画素、第１の第１方向異色隣接画素、及び第２の第１方向異色隣接画素を構成し、且つ、第１の第２方向同色隣接画素、第２の第２方向同色隣接画素、第１の第２方向異色隣接画素、及び第２の第２方向異色隣接画素を構成する。

　［異常斜め入射光検出］
　図２５に示された例における、変形例２のカラー撮像素子２７を有するデジタルカメラ１０の混色補正判定部６１が行う、水平方向の紙面に向かって左側からの異常斜め入射光の検出を具体的に説明する。

　図２５の符号１－１で示されるＧフィルタを有する画素は、図２５の紙面に向かって左側にＧフィルタを有する画素（図２５の符号３－１）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向同色隣接画素）である。図２５の符号２－１で示されるＧフィルタを有する画素は、図２５の紙面に向かって左側にＧフィルタを有する画素（図２５の符号４－１）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向同色隣接画素）である。

　図２５の符号３－１で示されるＧフィルタを有する画素は、図２５の紙面に向かって左側に異色であるＢフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向異色隣接画素）である。又、図２５の符号４－１で示されるＧフィルタを有する画素は、図２５の紙面に向かって左側に異色であるＲフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向異色隣接画素）である。

　そして、混色補正判定部６１では、上述した、第１の第１方向同色隣接画素（図２５の符号１－１）、第２の第１方向同色隣接画素（図２５の符号２－１）、第１の第１方向異色隣接画素（図２５の符号３－１）、及び第２の第１方向異色隣接画素（図２５の符号４－１）の画素データを比較し、第１の第１方向同色隣接画素（図２５の符号１－１）、第２の第１方向同色隣接画素（図２５の符号２－１）の値が同じであり、且つ第１の第１方向異色隣接画素（図２５の符号３－１）と、第２の第１方向異色隣接画素（図２５の符号４－１）との値が異なる場合には、第１方向からの異常斜め入射光の存在が検出される。

　図２５に示された、変形例２のカラー撮像素子２７を有するデジタルカメラ１０の混色補正判定部６１が行う、水平方向の紙面に向かって右側からの異常斜め入射光の検出を具体的に説明する。

　図２５の符号１－２で示されるＧフィルタを有する画素は、図２５の紙面に向かって右側にＧフィルタを有する画素（図２５の符号４－２）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向同色隣接画素）である。図２５の符号２－２で示されるＧフィルタを有する画素は、図２５の紙面に向かって右側にＧフィルタを有する画素（図２５の符号３－２）が隣接配置されており、同色のカラーフルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向同色隣接画素）である。

　図２５の符号３－２で示されるＧフィルタを有する画素は、図２５の紙面に向かって右側に異色であるＢフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向異色隣接画素）である。又、図２５の符号４－２で示されるＧフィルタを有する画素は、図２５の紙面に向かって右側に異色であるＲフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向異色隣接画素）である。

　そして、混色補正判定部６１では、上述した、第１の第１方向同色隣接画素（図２５の符号１－２）、第２の第１方向同色隣接画素（図２５の符号２－２）、第１の第１方向異色隣接画素（図２５の符号３－２）、及び第２の第１方向異色隣接画素（図２５の符号４－２）の画素データを比較し、第１の第１方向同色隣接画素（図２５の符号１－２）、第２の第１方向同色隣接画素（図２５の符号２－２）の値が同じであり、且つ第１の第１方向異色隣接画素（図２５の符号３－２）と、第２の第１方向異色隣接画素（図２５の符号４－２）との値が異なる場合には、紙面に向かって右側から水平方向へ進行する異常斜め入射光の存在が検出される。

　図２５に示された、変形例２のカラー撮像素子２７を有するデジタルカメラ１０の混色補正判定部６１が行う、垂直方向の紙面に向かって上側から入射される異常斜め入射光の検出を説明する。

　図２５の符号１－３で示されるＧフィルタを有する画素は、図２５の紙面に向かって上側にＧフィルタを有する画素（図２５の符号３－３）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向同色隣接画素）である。図２５の符号２－３で示されるＧフィルタを有する画素は、図２５の紙面に向かって上側にＧフィルタを有する画素（図２５の符号４－３）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向同色隣接画素）である。

　図２５の符号３－３で示されるＧフィルタを有する画素は、図２５の紙面に向かって上側に異色であるＲフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向異色隣接画素）である。又、図２５の符号４－３で示されるＧフィルタを有する画素は、図２５の紙面に向かって上側に異色であるＢフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向異色隣接画素）である。

　そして、混色補正判定部６１では、上述した、第１の第２方向同色隣接画素（図２５の符号１－３）、第２の第２方向同色隣接画素（図２５の符号２－３）、第１の第２方向異色隣接画素（図２５の符号３－３）、及び第２の第２方向異色隣接画素（図２５の符号４－３）の画素データを比較し、第１の第２方向同色隣接画素（図２５の符号１－３）、第２の第２方向同色隣接画素（図２５の符号２－３）の値が同じであり、且つ第１の第２方向異色隣接画素（図２５の符号３－３）と、第２の第２方向異色隣接画素（図２５の符号４－３）との値が異なる場合には、垂直方向からの異常斜め入射光の存在が検出される。

　図２５に示された、変形例２のカラー撮像素子２７を有するデジタルカメラ１０の混色補正判定部６１が行う、紙面に向かって下側から垂直方向に入射される異常斜め入射光の検出を説明する。

　図２５の符号１－４で示されるＧフィルタを有する画素は、図２５の紙面に向かって下側にＧフィルタを有する画素（図２５の符号３－４）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向同色隣接画素）である。図２５の符号２－４で示されるＧフィルタを有する画素は、図２５の紙面に向かって下側にＧフィルタを有する画素（図２５の符号４－４）が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向同色隣接画素）である。

　図２５の符号３－４で示されるＧフィルタを有する画素は、図２５の紙面に向かって下側に異色であるＲフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向異色隣接画素）である。又、図２５の符号４－４で示されるＧフィルタを有する画素は、図２５の紙面に向かって下側に異色であるＢフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向異色隣接画素）である。

　そして、混色補正判定部６１では、上述した、第１の第２方向同色隣接画素（図２５の符号１－４）、第２の第２方向同色隣接画素（図２５の符号２－４）、第１の第２方向異色隣接画素（図２５の符号３－４）、及び第２の第２方向異色隣接画素（図２５の符号４－４）の画素データを比較し、第１の第２方向同色隣接画素（図２５の符号１－４）、第２の第２方向同色隣接画素（図２５の符号２－４）の値が同じであり、且つ第１の第２方向異色隣接画素（図２５の符号３－４）と、第２の第２方向異色隣接画素（図２５の符号４－４）との値が異なる場合には、垂直方向からの異常斜め入射光の存在が検出される。

　図２７及び図２８では、図２５で示されたカラーフィルタ配列を有するカラー撮像素子２７において、異常斜め入射光が水平方向における正方向又は負方向のいずれの方向に入射するかの判定の仕方が示されている。図２７及び図２８では紙面に向かって右側を正方向、左側を負方向とする。

　図２７及び図２８に示された複数の画素は、Ｇフィルタを有する画素と水平方向の正方向に隣接し且つ第１の色と異色のカラーフィルタを有する画素と水平方向の負方向に隣接するＧフィルタを有する第１の第１色画素（図２７の符号３－１）（図２８の符号１－２）及び第２の第１色画素（図２７の符号４－１）（図２８の符号２－２）と、Ｇフィルタを有する画素と水平方向の負方向に隣接し且つ第１の色と異色のカラーフィルタを有する画素と水平方向の正方向に隣接するＧフィルタを有する第３の第１色画素（図２７の符号１－１）（図２８の符号４－２）及び第４の第１色画素（図２７の符号２－１）（図２８の符号３－２）を含む。

　図２７では、水平方向の正方向に沿って異常斜め入射光が入射している状態を示す。異常斜め入射光が、水平方向の正方向に沿ってカラー撮像素子２７に入射した場合、第３の第１色画素（図２７の符号１－１）、は、隣接するＧフィルタを有する画素（図２７の符号３－１）からの混色があるので、画素データがＧｇとなる。又、第４の第１色画素（図２７の符号２－１）も、隣接するＧフィルタを有する画素（図２７の符号２－１）からの混色があるので、画素データがＧｇとなる。

　一方、第１の第１色画素（図２７の符号３－１）は、負方向側で隣接するＢフィルタを有する画素からの混色があるので、画素データがＧｂとなる。又、第２の第１色画素（図２７の符号４－１）は、負方向側で隣接するＲフィルタを有する画素からの混色があるので、画素データがＧｒとなる。

　図２７で示すように、第１の第１色画素（図２７の符号３－１）がＧｂ、第２の第１色画素（図２７の符号４－１）がＧｒ、第３の第１色画素（図２７の符号１－１）がＧｇ、及び第４の第１色画素（図２７の符号２－１）がＧｇの出力値が検出された場合に、水平方向の正方向に沿って異常斜め入射光の入射があると判断することができる。更に、第１の画素又は第２の画素の画素データが、Ｇｇである場合に第１の正方向からの異常斜め入射光があると判断することができる。

　図２８では、水平方向の負方向に沿って異常斜め入射光が入射している状態を示す。異常斜め入射光が、水平方向の負方向に沿ってカラー撮像素子２７に入射した場合、第３の第１色画素（図２８の符号４－２）は、正方向側に隣接するＲフィルタを有する画素からの混色があるので、画素データがＧｒとなる。又、第４の第１色画素（図２８の符号３－２）も、正方向側に隣接するＢフィルタを有する画素からの混色があるので、画素データがＧｂとなる。

　一方、第１の第１色画素（図２８の符号１－２）は、正方向側で隣接するＧフィルタを有する画素（図２８の符号４－２）からの混色があるので、画素データがＧｇとなる。又、第２の第１色画素（図２８の符号２－２）は、正方向側で隣接するＧフィルタを有する画素（図２８の符号３－２）からの混色があるので、画素データがＧｇとなる。

　図２８で示すように、第１の第１色画素（図２８の符号１－２）がＧｇ、第２の第１色画素（図２８の符号２－２）がＧｇ、第３の第１色画素（図２８の符号４－２）がＧｒ、及び第４の第１色画素（図２８の符号３－２）がＧｂの出力値が検出された場合に、水平方向の負方向に沿って異常斜め入射光の入射があると判断することができる。更に、第１の画素又は第２の画素の画素データが、Ｇｇである場合に水平方向の負方向からの異常斜め入射光があると判断することができる。

　さらに、異常斜め入射光を検出した場合、第１の第１色画素、第２の第１色画素、第３の第１色画素及び第４の第１色画素のうち、同じ画素データを出力する画素の画素データを使って、異常斜め入射光が入射されるフォトダイオードを有する画素の画素データを補正することができる。

　図２７及び図２８は説明の都合上、上記カラー撮像素子２７の他の実施形態（変形例１）での、水平方向に関して、説明を行っている。しかし、上記カラー撮像素子２７の実施形態（図２０、図２３、及び図２５に示されたカラーフィルタ配列を有する撮像素子）は、水平方向及び垂直方向に関して、正方向、負方向のいずれから異常斜め入射光の入射光が入射しているかを判別することができる。

　＜撮像素子の他の実施形態（変形例３）＞
　図２９は、上記カラー撮像素子２７の他の実施形態（変形例３）を示す図であり、特にカラー撮像素子２７の受光面上に配置されているカラーフィルタ配列に関して示している。

　図２９で示されたカラーフィルタ配列では、水平方向及び垂直方向に関して４画素×４画素配列される画素のカラーフィルタによって構成される複数の基本配列パターンＰであって、水平方向及び垂直方向に並置される複数の基本配列パターンＰを含む。

　図２９に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターンＰ内の水平方向及び垂直方向の各ライン内に配置されている。

　画素ブロックＱ（図２９において点線で図示）は、基本配列パターンＰの画素群の各々におけるＲフィルタを有する２画素、Ｂフィルタを有する２画素及びＧフィルタを有する５画素によって構成される。

　基本配列パターンＰの各々は、水平方向及び垂直方向に関して２画素×２画素配列される画素のカラーフィルタによって構成される二つの第１のサブ配列及び二つの第２のサブ配列を含む。

　図３０は、図２９に示した基本配列パターンＰを、２画素×２画素に４分割した状態を示している。

　図３０で示されるように、第１のサブ配列はＧフィルタを有する３画素及びＲフィルタを有する１画素によって構成され、第２のサブ配列はＧフィルタを有する３画素及びＢフィルタを有する１画素によって構成され、第１のサブ配列におけるＲフィルタを有する画素の位置と第２のサブ配列におけるＢフィルタを有する画素の位置とは対応し、第１のサブ配列は、水平方向及び垂直方向に第２のサブ配列と隣接配置される。

　具体的には、図３０に示すように基本配列パターンＰは、実線の枠で囲んだ２画素×２画素の第１のサブ配列と、破線の枠で囲んだ２画素×２画素の第２のサブ配列とが、水平、垂直方向に交互に並べられた配列となる。

　第１のサブ配列は、３つのＧフィルタと１つのＲフィルタを有する。また、第２のサブ配列は、３つのＧフィルタと１つのＢフィルタを有する。さらに、第１のサブ配列におけるＲフィルタが配列される位置と、第２のサブ配列におけるＢフィルタが配列される位置とは同じである。

　［異常斜め入射光検出］
　図２９に示された例において、水平方向からの混色補正判定部６１が行う異常斜め入射光の検出を具体的に説明する。図２９の符号１Ａで示されるＧフィルタを有する画素は、図２９の紙面に向かって左側及び右側にＧフィルタを有する画素が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向同色隣接画素）である。図２９の符号２Ａで示されるＧフィルタを有する画素は、図２９の紙面に向かって左側及び右側にＧフィルタを有する画素が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向同色隣接画素）である。

　図２９の符号３Ａで示されるＧフィルタを有する画素は、図２９の紙面に向かって左側にＲフィルタ及び右側にＢフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第１方向異色隣接画素）である。又、図２９の符号４Ａで示されるＧフィルタを有する画素は、図２９の紙面に向かって左側にＢフィルタ及び右側にＲフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第１方向異色隣接画素）である。

　そして、混色補正判定部６１では、上述した、第１の第１方向同色隣接画素（図２９の符号１Ａ）、第２の第１方向同色隣接画素（図２９の符号２Ａ）、第１の第１方向異色隣接画素（図２９の符号３Ａ）、及び第２の第１方向異色隣接画素（図２９の符号４Ａ）の画素データを比較し、第１の第１方向同色隣接画素（図２９の符号１Ａ）、第２の第１方向同色隣接画素（図２９の符号２Ａ）の値が同じであり、且つ第１の第１方向異色隣接画素（図２９の符号３Ａ）と、第２の第１方向異色隣接画素（図２９の符号４Ａ）との値が異なる場合には、水平方向からの異常斜め入射光の存在が検出される。

　垂直方向から入射される異常斜め入射光の検出を行う場合は、以下のように行う。

　図２９において、垂直方向からの混色補正判定部６１が行う異常斜め入射光の検出を具体的に説明する。図２９の符号１Ｂで示されるＧフィルタを有する画素は、図２９の紙面に向かって上側及び下側にＧフィルタを有する画素が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第１の第２方向同色隣接画素）である。図２９の符号２Ｂで示されるＧフィルタを有する画素は、図２９の紙面に向かって上側及び下側にＧフィルタを有する画素が隣接配置されており、同色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素（第２の第２方向同色隣接画素）である。

　図２９の符号３Ｂで示されるＧフィルタを有する画素は、図２９の紙面に向かって上側及び下側に異色であるＲフィルタ及びＢフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素であるので、第１の第２方向異色隣接画素とすることができる。又、図２９の符号４Ｂで示されるＧフィルタを有する画素は、図２９の紙面に向かって上側及び下側に異色であるＢフィルタ及びＲフィルタを有する画素が隣接配置されており、異色のカラーフィルタを有する画素が隣接配置されるＧフィルタを有する画素であるので、第２の第２方向異色隣接画素とすることができる。

　そして、混色補正判定部６１では、上述した、第１の第２方向同色隣接画素（図２９の符号１Ｂ）、第２の第２方向同色隣接画素（図２９の符号２Ｂ）、第１の第２方向異色隣接画素（図２９の符号３Ｂ）、及び第２の第２方向異色隣接画素（図２９の符号４Ｂ）の画素データを比較し、第１の第２方向同色隣接画素（図２９の符号１Ｂ）、第２の第２方向同色隣接画素（図２９の符号２Ｂ）の値が同じであり、且つ第１の第２方向異色隣接画素（図２９の符号３Ｂ）と、第２の第２方向異色隣接画素（図２９の符号４Ｂ）との値が異なる場合には、垂直方向からの異常斜め入射光の存在が検出される。

　また、図３１及び図３２に示すように、デジタルカメラ１０の他の実施形態（変形例３）では、Ｇフィルタを有する画素が水平方向に連続して並んでおり、又はＧフィルタを有する画素が垂直方向に連続して並んでいるので、異常斜め入射光の方向をより容易に行うことができる。

　さらに、混色補正判定部６１は、画素ブロック（図２９において点線で図示）に含まれるＧフィルタを有する５画素の画素データに基づいて、水平方向又は垂直方向にカラー撮像素子２７へ入射する異常斜め入射光を検出することができる。

　図３１では、図２９で示されたカラーフィルタ配列を有するカラー撮像素子２７の、水平方向から異常斜め入射光が入射している場合を示している。また、図３２では、図２９で示されたカラーフィルタ配列を有するカラー撮像素子２７の、垂直方向からの異常斜め入射光が入射している場合を示している。

　図３１では、水平方向に、連続して配列されるＧフィルタを有する画素の画素データはＧｇとなる。言い換えると、Ｇｇの値を示す画素データが水平方向に連続して配列されている。この場合には、水平方向からの異常斜め入射光が検出される。

　一方、図３２では、垂直方向に、連続して配列されるＧフィルタを有する画素の画素データはＧｇとなる。言い換えると、Ｇｇの値を示す画素データが垂直方向に連続して配列されている。この場合には、垂直方向からの異常斜め入射光が検出される。

　また、複数の画素は、少なくともＧフィルタ、Ｒフィルタ、及びＢフィルタを有する画素によって構成される。また、Ｇフィルタを有する画素が出力する画素データは、輝度信号を得るのに最も寄与する。

　また、第１色の画素は、緑色、透明、又は白色のカラーフィルタを有する。透明フィルタ及び白色フィルタは、赤波長域の光、青波長域の光及び緑波長域の光のいずれも透過するフィルタであり、透明フィルタは比較的高い光透過率（例えば７０％以上の光透過率）を有し、白色フィルタは透明フィルタよりも低い光透過率を有する。

　カラー撮像素子２７の受光面上に配置されているカラーフィルタ配列は、ここに示した配列以外も、採用することが可能である。例えば、第１の方向及び第２の方向に関してＮ画素×Ｍ画素（Ｎは３以上の整数、Ｍは３以上の整数）の配列群を基本配列画素群とし、基本配列画素群が、第１の方向及び第２の方向に並置されている配列を採用することができる。そして、基本配列画素群の各々は、第１の第１方向同色隣接画素、第２の第１方向同色隣接画素、第１の第１方向異色隣接画素、第２の第１方向異色隣接画素、第１の第２方向同色隣接画素、第２の第２方向同色隣接画素、第１の第２方向異色隣接画素、及び第２の第２方向異色隣接画素を含む配列も採用し得る。

　また、カラー撮像素子２７の画素配列は特に限定されない。例えば、第１の方向（例えば水平方向）及び第２の方向（例えば垂直方向）に関してＮ画素×Ｍ画素（Ｎは３以上の整数、Ｍは３以上の整数）の配列群を基本配列パターンとし、この基本配列パターンが第１の方向及び第２の方向に並置されている配列を、カラー撮像素子２７の画素配列として採用することができる。一例として、図３３に示すような３画素×３画素の配列群（水平方向に並置される「Ｇ画素、Ｇ画素、Ｒ画素」の行、「Ｇ画素、Ｇ画素、Ｂ画素」の行及び「Ｂ画素、Ｒ画素、Ｇ画素」の行が垂直方向に並置される配列群）を基本配列パターンＰとして採用するケースが考えられる。なお、基本配列パターンの大きさに関し、基本配列パターンの画素数が増加するとデモザイク処理等の信号処理が複雑化してしまう。したがって、信号処理の複雑化を防止する観点からは、基本配列パターンのサイズは大きすぎない１０画素×１０画素（水平方向×垂直方向）以下のサイズが好ましく、より好ましくは８画素×８画素（水平方向×垂直方向）以下のサイズが好ましい。

　上記実施形態ではデジタルカメラ１０について説明したが、撮像装置（画像処理装置）の構成はこれに限定されない。本発明を適用可能な他の撮像装置としては、例えば、内蔵型又は外付け型のＰＣ用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。また、上述の各処理ステップ（手順）をコンピュータに実行させるプログラム（ソフトウエア）に対しても、本発明を適用することが可能である。

　本発明の撮像装置（画像処理装置）の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

　＜スマートフォンの構成＞
　図３４は、本発明の撮像装置（画像処理装置）の一実施形態であるスマートフォン１０１の外観を示すものである。図３４に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備えている。また、斯かる筐体１０２は、スピーカ１３１と、マイクロホン１３２、操作部１４０と、カメラ部１４１とを備えている。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

　図３５は、図３４に示すスマートフォン１０１の構成を示すブロック図である。図３５に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

　無線通信部１１０は、主制御部１００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。斯かる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

　表示入力部１２０は、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。

　表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。斯かるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

　図３４に示すように、本発明の撮像装置（画像処理装置）の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。斯かる配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

　なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

　通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザーの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０あるいは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図３４に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

　操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図３４に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

　記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。なお、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ　ｍｅｍｏｒｙ　ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ　ｄｉｓｋ　ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ　ｃａｒｄ　ｍｉｃｒｏ　ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

　外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

　スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ　ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにすることができる。

　ＧＰＳ受信部１７０は、主制御部１００の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示にしたがって、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。斯かる検出結果は、主制御部１００に出力されるものである。

　電源部１９０は、主制御部１００の指示にしたがって、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

　主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン１０１の各部を統括して制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

　アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアにしたがって主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

　また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、斯かる復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

　更に、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

　表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

　更に、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部１４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図３４に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、あるいは、複数のカメラ部１４１が搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部１４１を同時に使用して撮影することもできる。

　また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力のひとつとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。更には、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

　その他、静止画又は動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することもできる。

　上述のスマートフォン１０１において、図１の画像処理回路３２は、例えば主制御部１００、記憶部１５０等によって適宜実現可能である。

　１０…デジタルカメラ、１２…カメラ本体、１４…レンズユニット、２０…撮影光学系、２１…ズームレンズ、２２…フォーカスレンズ、２３…メカシャッタ、２４…ズーム機構、２５…フォーカス機構、２６…レンズドライバ、２７…カラー撮像素子、３０…ＣＰＵ、３１…撮像素子ドライバ、３２…画像処理回路、３３…メディアインターフェース、３４…圧縮伸長処理回路、３５…表示制御部、３６…操作部、３７…メモリ、３８…メモリカード、４０…背面ＬＣＤ、４１…混色判定補正部、４２…ＷＢ補正部、４３…信号処理部、４４…ＲＧＢ積算部、４５…ＷＢゲイン算出部、５０…画素、５１…マイクロレンズ、５２…カラーフィルタ、５３…フォトダイオード、５６…通常光、５７…異常斜め入射光、６１…混色補正判定部、６２…第１の混色補正部、６３…第２の混色補正部、６７…遅延処理部、６９…減算器、７０…乗算器、７１…加算器、７２…パラメータ取得部、７３…混色率設定部、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部

Claims

　カラーフィルタ及びフォトダイオードを含み受光量に応じた画素データを出力する複数の画素を有する撮像素子より出力される画像データから、異常斜め入射光の有無を検出する異常斜め入射光検出手段と、
　補正対象画素の隣接画素の前記画素データに基づいて、前記補正対象画素の前記画素データに第１の混色補正を行う第１の混色補正手段と、
　補正対象画素の周辺画素の前記画素データに基づいて、前記補正対象画素の前記画素データに第２の混色補正を行う第２の混色補正手段と、
　前記異常斜め入射光検出手段の検出結果に応じて、前記第１の混色補正手段及び前記第２の混色補正手段のうちいずれによって前記画像データの補正を行うか判定する混色補正判定手段と、を備え、
　前記混色補正判定手段は、前記異常斜め入射光検出手段によって異常斜め入射光が検出されない場合には前記第１の混色補正手段によって前記補正対象画素の前記画素データの補正を行い、前記異常斜め入射光検出手段によって異常斜め入射光が検出される場合には前記第２の混色補正手段によって前記補正対象画素の前記画素データの補正を行う判定をする画像処理装置。
　前記第２の混色補正手段は、前記補正対象画素と同色のカラーフィルタを有する４以上の画素を前記周辺画素として、前記補正対象画素の前記画素データに前記第２の混色補正を行う請求項１に記載の画像処理装置。
　前記周辺画素は、前記周辺画素に対し隣接する画素の前記カラーフィルタの種類が相互に異なる画素によって構成される請求項１又は２に記載の画像処理装置。
　前記撮像素子の前記複数の画素は、Ｍ画素×Ｎ画素（ただし、Ｍは３以上の整数、Ｎは３以上の整数）の基本配列パターンであって第１の方向及び当該第１の方向に垂直な第２の方向に複数並べられた基本配列パターンを有し、
　前記周辺画素は、前記補正対象画素を含むＭ画素×Ｎ画素の範囲に含まれる画素であって前記補正対象画素と同色の前記カラーフィルタを有する画素である請求項１から３のいずれか１項に記載の画像処理装置。
　前記撮像素子の前記複数の画素は、Ｍ画素×Ｎ画素（ただし、Ｍは３以上の整数、Ｎは３以上の整数）の基本配列パターンであって第１の方向及び当該第１の方向に垂直な第２の方向に複数並べられた基本配列パターンを有し、
　前記周辺画素は、前記補正対象画素を含むＭ画素×Ｎ画素の範囲よりも大きな範囲に含まれる画素であって前記補正対象画素と同色の前記カラーフィルタを有する画素である請求項１から３のいずれか１項に記載の画像処理装置。
　前記第２の混色補正手段は、前記補正対象画素及び前記周辺画素の前記画素データから導出される代表値に基づいて、前記補正対象画素の前記画素データの前記第２の混色補正を行う請求項１から５のいずれか１項に記載の画像処理装置。
　前記代表値は、前記補正対象画素及び前記周辺画素の前記画素データの平均値又は加重平均値である請求項６に記載の画像処理装置。
　前記代表値は、前記補正対象画素及び前記周辺画素の前記画素データの中央値又は最頻値である請求項６に記載の画像処理装置。
　前記複数の画素は、少なくとも１以上の色を含む第１色の前記カラーフィルタによって構成される第１色の画素と、前記第１色以外の少なくとも２以上の色を含む第２色の前記カラーフィルタによって構成される第２色の画素とを含み、
　前記第１色の画素は、輝度信号を得るための寄与率が前記第２色の画素の前記カラーフィルタよりも高い色の前記カラーフィルタを有し、
　前記補正対象画素は、前記第１色の画素である請求項１から８のいずれか１項に記載の画像処理装置。
　前記第１色の画素は、緑色、透明または白色のカラーフィルタを有する請求項９に記載の画像処理装置。
　前記撮像素子の前記複数の画素は、Ｍ画素×Ｎ画素（ただし、Ｍは３以上の整数、Ｎは３以上の整数）の基本配列パターンであって第１の方向及び当該第１の方向に垂直な第２の方向に複数並べられた基本配列パターンを有し、
　前記基本配列パターンは、隣接画素のカラーフィルタの種類が相互に異なる前記第１色の画素を少なくとも５つ含む請求項９又は１０に記載の画像処理装置。
　カラーフィルタ及びフォトダイオードを含み受光量に応じた画素データを出力する複数の画素を有する撮像素子より出力される画像データから、異常斜め入射光の有無を検出するステップと、
　補正対象画素の隣接画素の前記画素データに基づいて、前記補正対象画素の前記画素データの第１の混色補正を行うステップと、
　補正対象画素の周辺画素の前記画素データに基づいて、前記補正対象画素の前記画素データの第２の混色補正を行うステップと、
　前記異常斜め入射光検出手段の検出結果に応じて、前記第１の混色補正及び前記第２の混色補正のうちいずれによって前記画像データの補正を行うか判定するステップと、を備え、
　前記画像データの補正を行うか判定する前記ステップでは、異常斜め入射光の有無を検出する前記ステップにおいて異常斜め入射光が検出されない場合には前記第１の混色補正によって前記補正対象画素の前記画素データの補正を行い、異常斜め入射光の有無を検出する前記ステップにおいて異常斜め入射光が検出される場合には前記第２の混色補正によって前記補正対象画素の前記画素データの補正を行う判定をする画像処理方法。
　カラーフィルタ及びフォトダイオードを含み受光量に応じた画素データを出力する複数の画素を有する撮像素子より出力される画像データから、異常斜め入射光の有無を検出する手順と、
　補正対象画素の隣接画素の前記画素データに基づいて、前記補正対象画素の前記画素データの第１の混色補正を行う手順と、
　補正対象画素の周辺画素の前記画素データに基づいて、前記補正対象画素の前記画素データの第２の混色補正を行う手順と、
　前記異常斜め入射光検出手段の検出結果に応じて、前記第１の混色補正及び前記第２の混色補正のうちいずれによって前記画像データの補正を行うか判定する手順と、をコンピュータに実行させるためのプログラムであって、
　前記画像データの補正を行うか判定する前記手順では、異常斜め入射光の有無を検出する前記手順において異常斜め入射光が検出されない場合には前記第１の混色補正によって前記補正対象画素の前記画素データの補正を行い、異常斜め入射光の有無を検出する前記手順において異常斜め入射光が検出される場合には前記第２の混色補正によって前記補正対象画素の前記画素データの補正を行う判定をするプログラム。
　カラーフィルタ及びフォトダイオードを含み受光量に応じた画素データを出力する複数の画素を有する撮像素子より出力される画像データから、異常斜め入射光の有無を検出する手順と、
　補正対象画素の隣接画素の前記画素データに基づいて、前記補正対象画素の前記画素データの第１の混色補正を行う手順と、
　補正対象画素の周辺画素の前記画素データに基づいて、前記補正対象画素の前記画素データの第２の混色補正を行う手順と、
　前記異常斜め入射光検出手段の検出結果に応じて、前記第１の混色補正及び前記第２の混色補正のうちいずれによって前記画像データの補正を行うか判定する手順と、をコンピュータに実行させるためのプログラムのコンピュータ読み取り可能なコードが記録された記録媒体であって、
　前記画像データの補正を行うか判定する前記手順では、異常斜め入射光の有無を検出する前記手順において異常斜め入射光が検出されない場合には前記第１の混色補正によって前記補正対象画素の前記画素データの補正を行い、異常斜め入射光の有無を検出する前記手順において異常斜め入射光が検出される場合には前記第２の混色補正によって前記補正対象画素の前記画素データの補正を行う判定をする、記録媒体。