JPWO2013001790A1 - フレア判定装置、撮像装置及びフレア判定プログラム - Google Patents

Abstract

本発明のフレア判定装置は、画像が入力される画像入力部と、画像を光源種に応じたホワイトバランス処理用のゲイン値に基づいて設定される補正係数を用いて補正する画像補正部と、画像補正部によって補正された画像から、所定の色成分の範囲に含まれる領域を検出する領域検出部と、領域検出部により検出される領域にフレアが発生しているか否かを判定する判定部と、を備えたことを特徴とする。

Description

本発明は、フレア判定装置、撮像装置及びフレア判定プログラムに関する。

従来、複数の撮像用画素を二次元状に配列した受光面の一部に焦点検出用の複数の画素を配列した撮像素子が知られている（特許文献１）。複数の撮像用画素は、複数の色成分の各々に対応する分光特性を有し、また、焦点検出用の画素（焦点検出用画素）は、複数の撮像用画素とは異なる分光特性を有する。複数の撮像用画素からは、画像を生成するための信号が読み出されて撮像用画素の画素値が決められ、また焦点検出用画素からは焦点検出のための信号が読み出されて焦点検出用画素の画素値が決められる。画素補間をする時には、撮像用画素の画素値のうち欠落する色成分の画素値を補間するとともに、焦点検出用画素の位置に対応する撮像用画素値を補間する。

特許文献１に記載の発明では、焦点検出用画素に対する補間処理を行うために、焦点検出用画素の近傍にある撮像用画素の画素値を用いて焦点検出用画素の補間画素値を生成し、前記近傍の撮像用画素が焦点検出用画素と同じ分光特性を有した場合の画素値である評価画素値を算出し、前記焦点検出用画素の画素値と前記評価画素値とを用いて画像の高周波成分を算出し、前記補間画素値に前記高周波成分を付加して焦点検出用画素の位置に対応する撮像用画素の画素値を算出している。

特開２００９−３０３１９４号公報

一般的に撮像装置においては、撮像素子の受光部周辺の画素間で配線領域からの反射光でフレアが生じると、受光部周辺でマイクロレンズ間の入射光が隣接画素へ漏れ込むクロストークにより混色が発生する。このような現象が起きると、焦点検出用画素のみならず、その周辺の画素も影響を受け、前述した画素補間により混色を受けた焦点検出用画素、及びその周りの画素が見た目に違和感を与える補間残りとなって現れる。このフレアの発生を予め検出できれば、上述した画素補間に係る処理を適切に行うことが可能となるが、光源種が異なることで、フレアに起因する混色となる色成分の範囲が異なることから、フレアを適切に検出することが難しいという問題がある。

本発明は、かかる点に鑑みてなされたものであり、撮影時の光源種が異なる場合であっても、発生するフレアを適切に検出することができるようにしたフレア判定装置、撮像装置及びフレア判定プログラムを提供することを目的とする。

本発明を例示するフレア判定装置の一態様は、画像が入力される画像入力部と、前記画像を、光源種に応じたホワイトバランス処理用のゲイン値に基づいて設定される補正係数を用いて補正する画像補正部と、前記画像補正部によって補正された画像から、所定の色成分の範囲に含まれる領域を検出する領域検出部と、前記領域検出部により検出される前記領域にフレアが発生しているか否かを判定する判定部と、を備えたことを特徴とする。

また、前記画像入力部によって入力された前記画像の色空間を変換する際に用いる第１色空間変換用マトリクスを、光源種に応じたホワイトバランス処理用のゲイン値から設定される補正係数を用いて補正することで、第２色空間変換用マトリクスを求めるマトリクス決定部を、更に備え、前記画像補正部は、前記第２色空間変換用マトリクスを用いて前記画像の色空間を変換し、前記領域検出部は、前記色空間を変換した前記画像から、前記所定の色成分の範囲に含まれる領域を検出するものである。

また、前記第２色空間変換用マトリクスは、前記フレアに起因した混色が発生する領域に含まれる画素の画素値を、前記所定の色成分の範囲に含まれる画素値に変換するものである。

また、前記画像に含まれる画素のうち、輝度値が予め設定された閾値を越える画素の領域を抽出する高輝度領域抽出部を備え、前記領域検出部は、前記高輝度領域抽出部により抽出された領域に対して、前記第２色空間変換用マトリクスを用いた色空間の変換を実行するものである。

この場合、前記画像に含まれる各画素の輝度値のそれぞれを用いて生成したヒストグラムに基づいて、前記閾値を求める閾値算出部を備えることが好ましい。

また、前記高輝度領域抽出部は、前記画像に含まれる各画素のうち、前記輝度値が飽和していない画素の中から、前記閾値を越える画素の領域を抽出するものである。

また、前記領域検出部は、前記画像に含まれる画素のうち、画素値が飽和していない画素を除いた領域から、前記所定の色成分の範囲に含まれる領域を検出するものである。

また、前記判定部は、前記所定の色成分の範囲に含まれる画素の領域の総面積、空間分散値／前記総面積、又は輝度成分のエッジ量の平均値の少なくとも２つからなる評価値を用いて、前記領域に前記フレアが発生しているか否かを判定することが好ましい。

また、前記判定部は、前記所定の色成分の範囲に含まれる画素の領域の総面積、空間分散値／前記総面積、及び輝度成分の平均エッジ量からなる評価値を用いて、前記領域に前記フレアが発生しているか否かを判定することが好ましい。

また、前記所定の色成分の範囲はマゼンタ色となる色成分の範囲であることが好ましい。

また、本発明のフレア判定装置は、画像が入力される画像入力部と、光源種に応じたホワイトバランス処理用のゲイン値から設定される補正係数を用いて、前記画像を補正する画像補正部と、前記画像補正部により補正された前記画像を用いて、所定の色成分の範囲に含まれる領域を検出する領域検出部と、前記領域検出部により検出された前記領域に関わる情報から求まる複数種類の評価値を判定することで、フレアが発生しているか否かを検出する判定部と、を備えたことを特徴とする。

また、本発明の撮像装置は、上述したフレア判定装置と、被写体光を受光し、前記画像の元になる画像信号を出力する撮像素子と、前記画像信号に対して、前記ホワイトバランス処理を含む画像処理を行う画像処理部と、を備えることを特徴とする。

ここで、前記フレア判定装置に入力される画像は、前記ホワイトバランス処理におけるゲイン値を設定する際に用いる評価用画像からなることが好ましい。

また、前記撮像素子は、撮像用画素及び焦点検出用画素を備えており、前記フレア判定装置における判定結果に基づいた処理内容の補間処理を、前記撮像用画素の画素値及び前記焦点検出用画素の画素値に対して実行する補間処理部をさらに備えていることがこのましい。

また、本発明の記憶媒体は、画像を入力する画像入力工程と、前記画像を、光源種に応じたホワイトバランス処理用のゲイン値に基づいて設定される補正係数を用いて補正する補正工程と、前記補正部によって補正された画像から、所定の色成分の範囲に含まれる領域を検出する領域検出工程と、前記領域検出部により検出される前記領域にフレアが発生しているか否かを判定する判定工程と、をコンピュータに実行させることが可能なフレア判定プログラムが記憶された、コンピュータ読み取り可能記憶媒体である。

本発明によれば、撮影時の光源種が異なる場合であっても、発生するフレアを適切に検出することができる。

本発明の電子カメラの電気的構成を示す機能ブロック図である。 撮像用画素及びＡＦ画素の配置例を示す図である。 ＡＦ画素が配置された領域を中心とした画像データの一部を示す図である。 ノイズ判定部及びフレア判定部を備えたＡＦ画素補間部を示す図である。 フレア判定部を示す図である。 ＡＦ画素補間部の作用を説明するフローチャートである。 フレア判定部の作用を説明するフローチャートである。 （ａ）ＡＷＢ評価用データから求めたヒストグラム、（ｂ）求めたヒストグラムと高輝度画素を抽出する際に用いる閾値との関係を示す図である。 Ｙデータに基づくＹ画像と、矩形抽出される対象領域との関係を示す図である。 変数ａと、Ｓｂ／Ｓｔ値との関係を示すグラフである。 （ａ）数式９に基づく色成分の範囲、（ｂ）数式１０及び数式１１に基づく色成分の範囲を示す図である。 第２画素補間処理の流れを示すフローチャートである。 本実施形態の効果が発揮される画像構造の一例を表す図である。 第３画素補間処理の流れを示すフローチャートである。

図１に示すように、本発明を適用した電子カメラ１０は、ＣＰＵ１１を備えている。ＣＰＵ１１には、不揮発性メモリ１２、及びワークメモリ１３が接続されており、不揮発性メモリ１２には、ＣＰＵ１１が種々の制御を行う際に参照される制御プログラムなどが格納されている。さらに、不揮発性メモリ１２には、詳しくは後述する撮像素子１７のＡＦ画素の位置座標を示すデータ、予め求めておいた画像処理プログラムに用いる各種閾値や加重係数等のデータ、及び各種判定用テーブル等を記憶する。

ＣＰＵ１１は、不揮発性メモリ１２に格納されている制御プログラムに従い、ワークメモリ１３を一時記憶作業領域として利用して各部の制御を行い、電子カメラ１０を構成する各部（回路）機能を作動させる。

撮影レンズ１４から入射する被写体光は、絞り１５、シャッタ１６を介してＣＣＤやＣＭＯＳ等の撮像素子１７の受光面に結像する。撮像素子駆動回路１８は、ＣＰＵ１１からの制御信号に基づいて撮像素子１７を駆動させる。撮像素子１７は、ベイヤー配列型単板撮像素子になっており、前面には原色透過フィルタ１９が取り付けられている。

原色透過フィルタ１９は、撮像素子１７の総画素数Ｎに対して、例えば、Ｇ（緑色）の解像度がＮ／２、Ｒ（赤色）及びＢ（青色）の解像度がＮ／４となる原色ベイヤー配列になっている。

撮像素子１７の受光面に結像した被写体像は、アナログの画像信号に変換される。画像信号は、ＡＦＥ（Analog Front End）回路を構成するＣＤＳ２１、及びＡＭＰ２２に順に出力し、ＡＦＥ回路で所定のアナログ処理が施され、その後、Ａ／Ｄ（Analog/Digital変換器）２３においてデジタルの画像データに変換されて画像処理部２５に送られる。

画像処理部２５は、分離回路、ホワイトバランス処理回路、画素補間（デモザイキング）回路、マトリクス処理回路、非線形変換（γ補正）処理回路、及び輪郭強調処理回路等を備え、デジタルの画像データに対して、ホワイトバランス、画素補間、マトリクス、非線形変換（γ補正）、及び輪郭強調等の処理を施す。分離回路は、詳しくは後述する撮像用画素から出力される信号と、焦点検出用画素から出力される信号とを分離する。画素補間回路は、１画素当たり１色のベイヤー配列信号を、１画素当たり３色からなる通常のカラー画像信号に変換する。

画像処理部２５から出力される３色の画像データは、バス２６を通じてＳＤＲＡＭ２７に格納される。ＳＤＲＡＭ２７に格納した画像データは、ＣＰＵ１１の制御により読み出されて表示制御部２８に送られる。表示制御部２８は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部２９にスルー画像として出力する。

また、シャッタレリーズに応答して取得した画像データは、ＳＤＲＡＭ２７から読み出した後に圧縮伸長処理部３０に送られ、ここで圧縮処理が施されてからメディアコントローラ３１を介して記録媒体であるメモリカード３２に記録される。

ＣＰＵ１１には、レリーズボタン３３や電源スイッチ（不図示）が接続されているとともに、撮像素子１７の温度を検出する温度検出部３４から温度情報が入力される。この情報は、画像処理部２５に送られ、詳しくは後述するノイズを判定する時に利用される。

ＡＷＢ／ＡＥ／ＡＦ検出部３５は、焦点検出用画素（ＡＦ画素）の信号に基づいて瞳分割型位相差検出方式によりデフォーカス量、及びデフォーカスの方向を検出する。ＣＰＵ１１は、ＡＷＢ／ＡＥ／ＡＦ検出部３５で得られるデフォーカス量、及びデフォーカスの方向に基づいてドライバ３６を制御して合焦モータ３７を駆動してフォーカスレンズを光軸方向で進退させて焦点調整を行う。

また、ＡＷＢ／ＡＥ／ＡＦ検出部３５は、撮像用画素の信号に基づいて算出される測光輝度値（Ｂｖ）と、撮影者がＩＳＯ感度設定部３８で設定したＩＳＯ感度値（Ｓｖ）とから光値（Ｌｖ＝Ｓｖ＋Ｂｖ）を算出する。そして、ＡＷＢ／ＡＥ／ＡＦ検出部３５は、露出値（Ｅｖ＝Ａｖ＋Ｔｖ）が求めた光値Ｌｖになるように、絞り値とシャッタ速度とを決定する。この決定に基づいて、ＣＰＵ１１は、絞り駆動部３９を駆動させ、求めた絞り値となるように絞り１５の絞り径を調整する。これに併せて、ＣＰＵ１１は、シャッタ駆動部４０を駆動させ、求めたシャッタ速度、シャッタ１６が開放されるように、シャッタ１６の開閉動作を実行する。

ＡＷＢ／ＡＥ／ＡＦ検出部３５は、オートホワイトバランス調整時に、ＳＤＲＡＭ２７に取り込んだ１画面の画像データから間引き読み出しを行い、例えば２４×１６のＡＷＢ評価用データを生成する。そして、ＡＷＢ／ＡＥ／ＡＦ検出部３５は、生成したＡＷＢ評価用データを用いて光源種判別を行い、判別された光源種に適したホワイトバランス調整値に従って各色チャンネルの信号に補正をかける。

撮像素子１７は、その受光面上にある複数の撮像用画素の各々に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかの原色透過フィルタ１９がベイヤー配列型に設けられ、その上にマイクロレンズアレイが設けられたＣＣＤやＣＭＯＳの半導体イメージセンサ等を適宜選択して用いる。さらに、本実施形態の撮像素子１７は、受光面上の一部の領域に、水平走査方向に一次元的に配置された複数のＡＦ画素４１を有する。それらのＡＦ画素４１には、原色透過フィルタ１９が設置されていない。また、ＡＦ画素４１は、撮影レンズ１４の光学系の瞳の左側又は右側を通過する光束を受光する２種類存在する。撮像素子１７は、撮像用画素群、及びＡＦ画素群からの画素信号を個別に読み出しすることができる。

図２に示すように、ＡＦ画素４１は、セル中心（マイクロレンズの中心）から一方に偏ったセンサ開口部４１ａ，４１ｂを持ち、その偏りの方向に沿って１次元状に並べられている。センサ開口部４１ａ，４１ｂは、偏りが互いに逆方向であり、その偏りの距離は同一である。センサ開口部４１ａを有するＡＦ画素４１は、ＲＧＢ原色ベイヤー配列中のＧ画素の代わりに置かれ、また、センサ開口部４１ｂを有するＡＦ画素４１は、ＲＧＢ原色ベイヤー配列中のＢ画素の代わりに置かれている。このようなセンサ開口部４１ａ，４１ｂをもつＡＦ画素４１によって瞳分割位相差ＡＦ方式を実現する。つまり、射出瞳を通る光束の中で撮影レンズ１４の光軸に対して対称な位置にある２つの部分光束を、センサ開口部４１ａをもつＡＦ画素４１とセンサ開口部４１ｂをもつＡＦ画素４１でそれぞれ受光すれば、２つの画素４１から出力された信号の位相差によりフォーカスずれの方向(フォーカシングレンズの移動方向)と、フォーカスずれの量(フォーカシングレンズの移動量)が分かる。これにより速やかなフォーカス合わせが可能になる。

したがって、本実施形態におけるＡＦ画素４１の各々は、白色光の輝度に応じた左側又は右側の瞳分割された検出信号を出力する。図３は、撮像素子１７によって撮像された画像データのうち、ＡＦ画素４１が配置された領域を中心とした画像データの一部を示す。それぞれのセルが１つの画素を表す。各セルの先頭の記号Ｒ、Ｇ及びＢは、各原色透過フィルタ１９を有する撮像用画素を示す。一方、記号Ｘ及びＹは、左側又は右側からの光束に感度を有するＡＦ画素を示し、それらが交互に水平走査方向に一次元的に配列されている。これらの記号に続く２桁の番号は画素の位置を示す。

画素補間部は、撮像用画素の画素値を用いてＡＦ画素４１の画素値を補間するＡＦ画素補間部４５と、ＡＦ画素の画素値を補間した後に、ベイヤー配列からＲＧＢへの線形補間法による色補間を行う画素補間部とを備える。

図４に示すように、ＡＦ画素補間部４５は、ノイズ判定部４６、及びフレア判定部４７を備え、これら判定に基づいて異なるＡＦ画素補間処理を行う。ノイズ判定部４６は、撮影時の撮影条件に基づいてノイズが多く発生する条件かを判定する。撮影条件は、撮像素子１７の温度、ＩＳＯ感度、及びシャッタ速度等になっている。撮像素子１７の温度情報は、ＣＰＵ１１から得られる。また、温度情報とともに、撮影時に設定されているＩＳＯ感度やシャッタ速度の情報もＣＰＵ１１から得られる。

ノイズ判定部４６は、撮像素子１７の温度、ＩＳＯ感度、及びシャッタ速度の情報に基づいてノイズが多いか少ないかを判定する。なお、撮像素子１７を実装するメイン基板に温度検出部を設け、メイン基板の温度、又は撮像素子１７の周囲の温度を、撮像素子１７の温度の代わりに利用してもよい。さらに、ノイズ判定に利用する情報としては、撮像素子１７の温度、ＩＳＯ感度及びシャッタ速度との３つの情報に限らず、このうちのいずれか一つ、又は２つの情報としてもよい。

ノイズが多いとノイズ判定部４６が判定する場合には、ＡＦ画素の画素値を用いず、その周囲の撮像用画素の画素値を用いて、例えば単純平均補間を行う第１画素補間処理を行う。ノイズが少ないと判定する場合には、フレア判定部４７でフレア判定を行い、フレアが発生しているか否かに応じて、前記第１画素補間処理とは異なる第２、又は第３の画素補間処理を行う。

フレア判定部４７は、ヒストグラム生成部５１、閾値算出部５２、対象領域抽出部５３、マトリクス決定部５４、マゼンタ領域決定部５５、評価値判定部５６を備えている。このフレア判定部４７は、ＡＷＢ評価用データ（ＹＲＧＢデータ）の他、ホワイトバランス用のゲイン値をＣＰＵ１１から取得する。なお、このＡＷＢ評価用データとしては、２４×１６画素のＹＲＧＢデータが用いられる。
図５に示すように、ヒストグラム生成部５１は、ＡＷＢ評価用データのうちＹデータを用いて、ヒストグラムを生成する。閾値算出部５２は、ヒストグラム生成部５１によって生成されたヒストグラムから、高輝度となる領域（高輝度領域）を抽出する際に用いる閾値（高輝度判定用閾値）を算出する。対象領域抽出部５３は、Ｙデータと高輝度判定用閾値とを用いて、高輝度となる矩形の領域を対象領域として抽出する。マトリクス決定部５４は、ＡＷＢ評価用データのＲＧＢデータをＣｒＣｂデータに変換する際に用いるマトリクスを決定する。マゼンタ領域検出部５５は、対象領域抽出部５３により抽出された対象領域に含まれるマゼンタが存在する領域（マゼンタ領域）を検出する。この検出の際に、マゼンタ領域検出部５５は、マゼンタ領域の総面積、Ｙ成分の総エッジ量などを算出する。評価値判定部５６は、マゼンタ領域の総面積、分散値／マゼンタ領域の総面積、Ｙ成分の平均エッジ量を求め、求めた値を各々閾値判定してフレアが発生しているか否かを判定する。

ＡＦ画素補間部４５は、フレアが生じていないと判定する場合には、ＡＦ画素の画素値及び撮像用画素の画素値を用いて、ＡＦ画素の画素値を補間する第２画素補間処理を実行する。この第２画素補間処理は、ＡＦ画素の画素値（ホワイト（Ｗ）成分）から撮像用画素の画素値を元に加重和で予測することで、そのＡＦ画素の画素値を補間する。

ＡＦ画素補間部４５は、フレアが生じていると判定する場合には、第３画素補間処理を実行する。第３画素補間処理は、ＡＦ画素の周囲の撮像用画素の画素値を重み係数により補正し、補正した撮像用画素の画素値を平滑化する処理を複数回（本実施形態では２回）実行する。詳細は後述するが、２回目の補正を行う際には、重み付け係数を「０」にする。つまり、２回目の処理においては、ＡＦ画素の周囲の撮像用画素の画素値を重み係数により補正する処理は行わずに、撮像用画素の画素値を平滑化する処理のみが実行される。この複数回の処理の後、ＡＦ画素の画素値（ホワイト（Ｗ）成分）から補正された撮像用画素の画素値を元に加重和で予測することで、そのＡＦ画素の画素値を補間する第２画素補間処理を実行する。これにより、ＡＦ画素の周囲の撮像用画素に対してフレアにおける混色の影響を抑制することができる。よって、第２画素補間処理を行うに当たって、ＡＦ画素を撮像用画素として生成した画素値にも混色の影響が抑制される。

次に、ＡＦ画素補間部４５の作用について図６を参照しながら説明する。なお、本実施形態において、撮像用画素の各々に設置される原色透過フィルタ１９がベイヤー配列のパターンであることから、図３に示す記号ＸのＡＦ画素の位置には緑色（Ｇ）の撮像用画素の画素値が補間され、記号ＹのＡＦ画素の画素位置には青色（Ｂ）の撮像用画素の画素値が補間される。以下の説明では、Ｙ４４の青色の撮像用画素の画素値とＸ４５の緑色の撮像用画素の画素値とをそれぞれ補間する場合について説明する。他のＡＦ画素における撮像用画素の画素値を補間する手順も同様である。

［ノイズ判定］
ＣＰＵ１１は、Ａ／Ｄ２３から送られてくる画像データをノイズ判定部４６に送る。また、ＣＰＵ１１は、撮影時の撮像素子１７の温度、ＩＳＯ感度、及びシャッタ速度の情報をノイズ判定部４６に送る。こうして、ＣＰＵ１１は、ノイズ判定部４６を制御して、ノイズ判定部４６で画像データに対してノイズが多いか少ないかを判定する（Ｓ−１）。

ノイズ判定部４６の判定は、ノイズ判定用テーブルを参照して実行される。ノイズ判定用テーブルは、撮像素子１７の温度範囲毎に複数用意されており、これらは不揮発性メモリ１２に予め記憶されている。ＣＰＵ１１は、画像データを取得した時の撮像素子１７の温度に対応するノイズ判定用テーブルをノイズ判定部４６に送る。

ノイズ用判定テーブルとしては、例えば撮像素子１７の温度がＴ１未満の時には［表１］に記載のテーブルを、またＴ１以上Ｔ２未満の範囲の時には［表２］に記載のテーブルを選択する。各テーブルには、シャッタ速度（Ｐ）とＩＳＯ感度（Ｑ）とで決めるノイズの予測結果が予め行った実験に基づいて決められている。

ノイズが多いと判定する場合（Ｓ−２でＹｅｓの場合）、ＡＦ画素の画素値を用いず、その周囲の撮像用画素の画素値を用いて第１画素補間処理を行う（Ｓ−３）。

［フレア判定］
ＣＰＵ１１は、ノイズが少ないとノイズ判定部４６が判定した場合（Ｓ−２でＮｏの場合）、フレア判定部４７を制御して、フレア判定部４７でフレアが生じているかを判定する（Ｓ−４）。

ＡＦ画素補間部４５は、フレア判定部４７でフレアが発生しないと判定する場合（Ｓ−５でＮｏの場合）、第２画素補間処理（Ｓ−６）を、また、フレアが発生すると判定する場合（Ｓ−５でＹｅｓの場合）、第３画素補間処理（Ｓ−７）を択一的に実行する。なお、これら判定で実行される第１画素補間処理、第２画素補間処理及び第３画素補間処理については、後述する。

以下、フレア判定について、図７のフローチャートに基づいて説明する。

（ヒストグラムの生成）
ＡＦ画素補間部４５は、ＣＰＵ１１から出力されたＡＷＢ評価用データのＹデータを用いて、ヒストグラムを生成する（Ｓ−１１）。ここで、Ｙデータが１６ビットデータである場合には、ＡＦ画素補間部４５は、Ｙデータを１６ビットデータから８ビットデータに変換し、ヒストグラムを生成する。図８（ａ）は、Ｙデータを用いたヒストグラムの一例である。

（ヒストグラムを用いて高輝度判定用閾値を算出）
ＡＦ画素補間部４５は、生成されたヒストグラムを用いて、後述するマゼンタ領域を検出する際に使用する領域（対象領域）を抽出する際に用いる閾値（高輝度判定用閾値）Ｔｈ＿ｈｉｇｈを算出する（Ｓ−１２）。ＡＦ画素補間部４５は、図８（ｂ）に示すように、Ｙデータと、画素値が飽和しているかを判定する閾値（飽和判定用閾値）Ｔｈ１とを用いて、飽和していない画素値を特定する。この飽和判定用閾値Ｔｈ１は、ヒストグラムが８ビットデータを用いて生成されていることから、８ビットデータにて設けられることが好ましいが、１６ビットデータの場合には８ビットデータに変換した値を用いればよい。

この特定の後、ＡＦ画素補間部４５は、ヒストグラムのうち、閾値Ｔｈ１以下の画素値及び画素数を乗算した値を、画素値の高い方から順に加算していく。そして、加算して行く過程で、［数１］を満足したときの画素値を高輝度判定用閾値Ｔｈ＿ｈｉｇｈとする。

［数１］
ヒストグラムの加算値（画素値×画素数）＞（２５６−Ｔｈ２）×全画素数

なお、Ｔｈ２は、高輝度成分となる割合を示す閾値である。また、全画素数は、２４×１６画素のＹデータを用いていることから、２４×１６（＝３８４）画素となる。

ＡＦ画素補間部４５は、求めた高輝度判定用閾値Ｔｈ＿ｈｉｇｈを８ビットデータから１６ビットデータに変換する。

（高輝度判定用閾値を用いてマゼンタ領域を検出する際に用いる領域（対象領域）を矩形抽出）
ＡＦ画素補間部４５は、１６ビットに変換された高輝度判定用閾値Ｔｈ＿ｈｉｇｈと、ＡＷＢ評価用のＹデータを用いて、対象領域を矩形抽出する（Ｓ−１３）。ＡＦ画素補間部４５は、図９に示すように、Ｙデータに基づく画像（Ｙ画像）６０の各画素のうち、水平走査方向に１画素ずつ画素をずらしていき、目的の画素の画素値と、目的の画素の１つ前の画素の画素値との双方が高輝度判定用閾値Ｔｈ＿ｈｉｇｈ以上の画素値となる画素を検出する。ＡＦ画素補間部４５は、水平走査方向の１ラインに対する処理が終わると、垂直走査方向に１画素ずらし、同様の処理を実行する。これにより、ＡＦ画素補間部４５は、Ｙデータの全ての画素に対して、目的の画素の画素値と、目的の画素の１つ前の画素の画素値との双方が高輝度判定用閾値Ｔｈ＿ｈｉｇｈ以上の画素値となる画素を検出する。図９においては、符号６１に示す領域が検出される画素の領域となる。ＡＦ画素補間部４５は、検出された領域（符号６１）のうち、１画素分小さい矩形の領域（符号６２）を対象領域として抽出する。これは、検出された画素の領域を、そのまま対象領域として抽出すると、後述する隣り合う４方向のＹ成分のエッジ量の全体差分和を求める際に、低輝度画素の画素値が使用されてしまうことを防止している。ＡＦ画素補間部４５は、抽出した対象領域の四隅に位置する画素の位置データを矩形抽出される対象領域の位置情報として生成する。

ここで、ＡＦ画素補間部４５は、Ｙデータの全ての画素に対して上述した処理を行っているが、これに限定される必要はなく、上述した飽和判定用閾値Ｔｈ１未満の輝度値となる画素に対して上述した処理を実行することも可能である。

（マトリクスの算出）
ＡＦ画素補間部４５は、ＡＷＢ評価用データのＲＧＢデータをＣｒＣｂデータに変換する際のマトリクスを算出する（Ｓ−１４）。

撮像時に発生するフレアに起因する混色は、画像中にマゼンタ色として現れることが知られている。このマゼンタ色になる原因としては、ホワイトバランス処理に用いられるＲ，Ｇ，Ｂゲイン値を、各画素の各色成分の画素値にそれぞれに乗算したときに、Ｒ色成分及びＢ色成分の値がＧ色成分の値よりも大きくなってしまうことが挙げられる。

ここで、光源の種類を変えて同一被写体を撮影した場合、ホワイトバランス処理にて用いるＲ，Ｇ，Ｂゲイン値は、光源の種類に対応した値を使用している。このため、同一色の被写体を撮影した場合であっても、光源の種類によって、その出力値が大きく変動する。この出力値の変動により、フレアを確実に検出することが難しくなる。

そのため、本発明においては、ＲＧＢデータをＣｒＣｂデータに変換する際に用いる色空間変換用マトリクスに対して、ホワイトバランス処理で用いるゲイン値を利用して求まる補正係数のマトリクスを乗算して、新たな色空間変換用マトリクスを算出する。そして、新たに求めた色空間用マトリクスを用いて、ＲＧＢデータをＣｒＣｂデータに変換する。

ここで、Ｒ色成分に対する新たなゲイン値を、ホワイトバランス用のＲゲイン値と基準値（５１２×２）とを重み係数を用いた加重和によって設定する場合を［数２］にて表す。

［数２］
α_Ｒ＝ａ×Ｒｇａｉｎ＋（１−ａ）×５１２×２

基準値（５１２×２）は、光源の種類が変化しても、Ｒｇａｉｎの値がＧｇａｉｎのおよそ２倍であるということを考慮して設定される値である。

ここで、晴天下での撮影と室内撮影とのそれぞれにおいて、ａの値を変化させたときに得られるＳｂ／Ｓｔ値について考慮する。Ｓｂはクラス（晴天下での撮影及び室内撮影）間の分散であり、Ｓｔは全てのサンプルにおける分散である。なお、このＳｂ／Ｓｔ値はその値が小さいほど、クラス間（晴天下での撮影及び室内撮影間）の距離が小さく、異なる光源間の出力値の変動が小さいことを示す。ここで、図１０に示すように、ａの値を変動させると、ａ＝０．５の場合が最もＳｂ／Ｓｔ値が小さくなることがわかる。

これを考慮すると、Ｒ色成分、Ｇ色成分、Ｂ色成分の信号値がそれぞれＬＳＢ＝５１２となる場合、補正したＲゲイン値α_Ｒ、Ｇゲイン値α_Ｇ、Ｂゲイン値α_Ｂは、それぞれ［数３］で表される。なお、Ｒｇａｉｎ，Ｇｇａｉｎ，Ｂｇａｉｎは、それぞれ、ホワイトバランス処理用の各色成分のゲイン値である。

［数３］
α_Ｒ＝０．５×Ｒｇａｉｎ＋５１２
α_Ｇ＝Ｇｇａｉｎ＝５１２
α_Ｂ＝０．５×Ｂｇａｉｎ＋５１２

また、Ｒ色成分、Ｂ色成分の信号値がＬＳＢ＝２５６、Ｇ色成分の信号値がＬＳＢ＝５１２となる場合、補正したＲゲイン値α_Ｒ、Ｇゲイン値α_Ｇ、Ｂゲイン値α_Ｂは、それぞれ［数４］となる。

［数４］
α_Ｒ＝Ｒｇａｉｎ＋５１２
α_Ｇ＝Ｇｇａｉｎ＝５１２
α_Ｂ＝Ｂｇａｉｎ＋５１２

このα_Ｒ，α_Ｇ，α_Ｂを用いて、ＲＧＢデータをＣｒＣｂデータに変換する。ここで、一般的なＲＧＢ→ＹＣｒＣｂ変換は、［数５］で表される。

上述したように、本発明においては、色空間の変換時において補正したＲゲイン値α_Ｒ、Ｇゲイン値α_Ｇ、Ｂゲイン値α_Ｂを乗算する。そこで、ＲＧＢからＣｒＣｂへの色空間の変換時に用いる式は、［数６］となる。

つまり、ＲＧＢデータからＣｒＣｂデータを求める際に用いるマトリクスＣは、［数５］及び［数６］から、［数７］となる。

なお、マトリクスの各値は、［数８］のように、整数化した値を用いてもよい。

［数８］
Ｃ_００＝（５０×α_Ｒ）／１００
Ｃ_０１＝（−４２×α_Ｇ）／１００
Ｃ_０２＝（―８×α_Ｂ）／１００
Ｃ_１０＝（−１７×α_Ｒ）／１００
Ｃ_１１＝（−３３×α_Ｇ）／１００
Ｃ_１２＝（５０×α_Ｂ）／１００

（ＲＧＢデータをＣｒＣｂデータへと変換）
ＡＦ画素補間部４５は、求めたマトリクスを用いて、抽出された対象領域に含まれる画素のＲＧＢデータをＣｒＣｂデータに変換する（Ｓ−１５）。ＡＦ画素補間部４５は、対象領域の位置情報を参照して、対象領域に含まれる画素のＲＧＢデータを［数６］及び［数７］を用いてＣｒＣｂデータにマトリクス変換する。

なお、ＡＷＢ評価用データがＹＲＧＢデータではなく、ＹＣｒＣｂデータの場合には、上述した色空間の変換処理は実行する必要はない。この場合、Ｃｒ値、Ｃｂ値に対して、ホワイトバランス処理で使用される各色ゲイン値を補正した値を用いて、Ｃｒ値、Ｃｂ値を補正すればよい。

また、抽出された対象領域に含まれる画素のＲＧＢデータをＣｒＣｂデータに変換する場合について説明しているが、ＲＧＢデータ全体をＣｒＣｂデータに変換することも可能である。

（対象領域に含まれるマゼンタ領域の検出）
ＡＦ画素補間部４５は、ＣｒＣｂデータに変換された各画素の画素値が、［数９］〜［数１１］を満足するか否かを判定する（Ｓ−１６）。

［数９］
Ｃｒ＜Ｔｈ３×Ｃｂ ａｎｄ Ｃｒ＞（Ｔｈ４／２５６）×Ｃｂ

［数１０］
Ｃｂ＞Ｔｈ５ ｏｒ Ｃｒ＞Ｔｈ５

［数１１］
Ｒ＜Ｔｈ１ ａｎｄ Ｇ＜Ｔｈ１ ａｎｄ Ｂ＜Ｔｈ１

ここで、［数９］は、対象領域に含まれる画素の画素値（Ｃｒ，Ｃｂ）が、マゼンタ色の色域となるか否かを判定するための条件式である。図１１（ａ）に示すように、色度図において、斜線で示す範囲が、［数９］で示される範囲である。また、［数１０］は、画素の画素値（Ｃｒ，Ｃｂ）が、所定の強度の値を有しているか否かを判定するための条件式である。ここで、Ｃｒ値、Ｃｂ値のそれぞれが「０」、又は０に近い値をとる場合には、マゼンタ色の強度が弱い。そこで、Ｃｒ値、Ｃｂ値のいずれかの値が所定値（ここでは、閾値Ｔｈ５）を越える値となる場合について考慮すればよい。そこで、［数１０］及び［数１１］から求められる範囲（図１１（ｂ）中ハッチングで示す範囲）をマゼンタ色の色域とし、この色域に、高輝度領域に含まれる画素の画素値が含まれるか否かを判定する。さらに、［数１１］は、対象領域に含まれる画素のＲ，Ｇ，Ｂ色成分の画素値が、飽和しているか否かを判定するための条件式である。

ＡＦ画素補間部４５は、対象領域に含まれる画素のうち、上述した［数９］〜［数１１］を満足する画素を抽出する。この際に、ＡＦ画素補間部４５は、隣り合う４方向のＹ成分のエッジ量の絶対差分和ＳＡＤを［数１２］を用いて求める。

ＡＦ画素補間部４５は、［数１２］で求めたＹ成分のエッジ量の絶対差分和ＳＡＤを該エッジ量のノーマライズファクタ値（＝４）で除算することでＹ成分のエッジ量の平均値を求める。ＡＦ画素補間部４５は、Ｙ成分のエッジ量の平均値が閾値Ｔｈ６以下であるか判定する。ここで、ＡＦ画素補間部４５は、Ｙ成分のエッジ量の平均値を算出した後、閾値Ｔｈ６と比較しているが、これに限定される必要はなく、Ｙ成分のエッジ量と閾値とを比較してもよい。

ＡＦ画素補間部４５は、［数９］〜［数１１］を満足し、且つＹ成分のエッジ量の平均値が閾値Ｔｈ６以下となる画素が特定される毎に、特定された画素の数を加算する。また、ＡＦ画素補間部４５は、求めたＹ成分のエッジ量の絶対差分和ＳＡＤを加算することで総エッジ量ｅｄｇｅ＿ｓｕｍを算出し、また、Ｙ成分のエッジ量の平均値を求める際に使用したノーマライズファクタ値ｅｄｇｅ＿ｃｏｕｎｔを加算する。

さらに、ＡＦ画素補間部４５は、特定された画素のｘ座標、ｘ座標を二乗した値（ｘ座標の二乗値）、ｙ座標、及びｙ座標を二乗した値（ｙ座標の二乗値）をそれぞれ加算する。以下、ｘ座標を加算した値をｘ座標加算値ａｖｅ＿ｘ、ｘ座標の二乗値を加算した値をｘ座標二乗加算値ｓｑｒ＿ｘ、ｙ座標を加算した値をｙ座標加算値ａｖｅ＿ｙ、ｙ座標の二乗値を加算した値をｙ座標二乗加算値ｓｑｒ＿ｙと称して説明する。

（評価値判定）
ＡＦ画素補間部４５は、以下に説明する第１から第３評価値を求め、これら評価値を判定する（Ｓ−１７）。ＡＦ画素補間部４５は、これら評価値を各々判定することで、フレアが発生しているか否かが判定される。

第１評価値は［マゼンタ領域の総面積］であり、これはマゼンタ領域として特定された画素の総数が対応する。ＡＦ画素補間部４５は、第１の評価値が閾値Ｔｈ７を超過するか（第１評価値＞閾値Ｔｈ７であるか）を判定する。

第２評価値は、［分散値／マゼンタ領域の総面積］である。一般に、分散値は、［数１３］により求められる。

［数１３］にて表される分散値を、空間分散値（空間モーメント）に対応する式として置き換えると、［数１４］となる。

この式を用いて、ＡＦ画素補間部４５は、分散値／マゼンタ領域の総面積を［数１５］を用いて算出する。

ＡＦ画素補間部４５は、［数１５］にて求めた［分散値／マゼンタ領域の総面積］を第２評価値とし、この第２評価値が閾値Ｔｈ８未満となるか（第２評価値＜閾値Ｔｈ８であるか）を判定する。なお、第２評価値＜閾値Ｔｈ８としているが、これに限定する必要はなく、第２評価値＜閾値Ｔｈ８／３２としてもよい。この場合、３２は第２評価値に対して割り振られるノーマライズファクタ値である。

第３の評価値は、［Ｙ成分のエッジ量の平均値］である。ＡＦ画素補間部４５は、Ｙ成分のエッジ量の平均値を［数１６］を用いて算出する。

［数１６］
Ｙｅｄｇｅ＝ｅｄｇｅ＿ｓｕｍ／ｅｄｇｅ＿ｃｏｕｎｔ

ＡＦ画素補間部４５は、［数１６］にて求めた［Ｙ成分のエッジ量の平均値］を第３評価値とし、この第３評価値が閾値ＴＨ９未満となるか（第３評価値＜閾値Ｔｈ９であるか）を判定する。

そして、ＡＦ画素補間部４５は、［第１評価値＞閾値Ｔｈ７］、［第２評価値＜閾値Ｔｈ８］、［第３評価値＜閾値Ｔｈ９］の条件を全て満足している場合にフレアが発生していると判定する。一方、ＡＦ画素補間部４５は、これら条件のいずれかが満足していない場合には、フレアが発生していないと判定する。

なお、評価値判定において、［マゼンタ領域の総面積］を第１評価値、［分散値／マゼンタ領域の総面積］を第２評価値、［Ｙ成分のエッジ量の平均値］を第３評価値とし、それぞれの評価値を用いた評価値判定をしているが、これに限定される必要はなく、［マゼンタ領域の総面積］、［分散値／マゼンタ領域の総面積］、［Ｙ成分のエッジ量の平均値］の少なくとも２つを評価値として、評価値判定を行うことも可能である。

このように、フレア判定においては、ＡＷＢ評価用データのＹデータを用いて高輝度領域を抽出し、この高輝度領域にマゼンタ領域があるか否かを判定する。このマゼンタ領域があるかの判定を行う際に用いるデータは、色空間変換用マトリクスの各成分のそれぞれに、ホワイトバランス処理で用いるゲイン値を利用して求まる補正係数を乗算することで得られたマトリクスを用いた色空間変換処理が行われたデータである。ここで、生成されるマトリクスを用いて色空間変換処理を行うことで、フレアの発生により画像中に生じる混色となる領域の画素の画素値がマゼンタ色の範囲に含まれる。

そして、求めた高輝度領域にマゼンタ領域がある場合には、［マゼンタ領域の総面積］、［分散値／マゼンタ領域の総面積］、［Ｙ成分のエッジ量の平均値］を求め、これら求めた値を閾値判定することで、フレア判定を行う。つまり、高輝度部分のマゼンタ色として集中して出現する領域で、且つエッジが立っていない領域は、フレアに起因した混色が発生した領域として判断され、仮にマゼンタ色となる領域があっても、第１〜第３評価値に対する上記条件を全て満足できない場合には、フレアではなく、被写体の持つ色であると判定することができる。これにより、フレアが発生しているか否かを適切に判定することが可能となる。

なお、本実施形態においては、ＡＷＢ評価用データとしてＹＲＧＢデータを用いているが、これに限定される必要はなく、例えば、ＹＣｒＣｂデータを用いてもよい。この場合、ホワイトバランス処理にて用いる各色ゲイン値を用いて補正係数を求め、この補正係数を入力されるＹＣｒＣｂデータに対して乗算する。そして、補正係数が乗算されたＹＣｒＣｂデータを用いてフレア判定部による各処理を行えばよい。

以下、ＡＦ画素補間部４５によるノイズ判定及びフレア判定の結果に基づいて実行される第１画素補間処理、第２画素補間処理、第３画素補間処理のそれぞれについて説明する。

［第１画素補間処理］
第１画素補間処理としては、例えばＡＦ画素の周囲に位置する撮像用画素の画素値を平均補間して求める。具体的には、図３において、Ｂ画素の代わりに置かれたＡＦ画素Ｙ４２の画素値は［数１７］に記載の式から、また、ＡＦ画素Ｙ４４の画素値は［数１８］に記載の式から、さらに、ＡＦ画素Ｙ４６の画素値は［数１９］に記載の式からそれぞれ求める。

［数１７］
Ｙ４２＝（Ｂ２２＋Ｂ６２）／２

［数１８］
Ｙ４４＝（Ｂ２４＋Ｂ６４）／２

［数１９］
Ｙ４６＝（Ｂ２６＋Ｂ６６）／２

また、Ｇ画素の代わりに置かれたＡＦ画素Ｘ４３の画素値は［数２０］に記載の式から、また、ＡＦ画素Ｘ４５の画素値は、［数２１］に記載の式からそれぞれ求める。

［数２０］
Ｘ４３＝（Ｇ３２＋Ｇ３４＋Ｇ５２＋Ｇ５４）／４

［数２１］
Ｘ４５＝（Ｇ３４＋Ｇ３６＋Ｇ５４＋Ｇ５６）／４

このように、ノイズが多い場合には、ＡＦ画素の画素値を用いないで、その周辺の画素値のみからＡＦ画素の画素値を予測するため、予測するＡＦ画素の画素値がバラツキ、想定以上の補間をしてしまい、偽色とよばれる実際には存在しない色が発生することや、偽構造とよばれる存在しない構造が発生することを極力抑えることができる。なお、ＡＦ画素の画素値を撮像用画素の画素値に補間した画像データは、画像処理部２５でベイヤー配列からＲＧＢへの線形補間法による色補間が行われ、ＲＧＢ毎の画像データとしてＳＤＲＡＭ２７に格納される。

［第２画素補間処理］
ＡＦ画素の周辺の撮像用画素の画素値を用いて、画素値の変化率である変動値が最小となる方向を求める。そして、変動の最も小さい方向にある撮像用画素の画素値を用いてＡＦ画素の画素値を補間する。

（最小となる変動値の方向を算出）
ＡＦ画素補間部４５は、Ｘ４５及びＹ４４のＡＦ画素に対する補間を行うために、Ｘ４５及びＹ４４の周辺の撮像用画素の画素値を用いて４方向の画素値の変化率である方向変動Ｈ１〜Ｈ４の値を［数２２］〜［数２５］を用いてそれぞれ求める（Ｓ−２１）。なお、本実施形態における４方向とは、水平走査方向、垂直走査方向、水平走査方向に対して４５度及び１３５度方向である。

［数２２］
水平走査方向の方向変動Ｈ１＝
２×（｜Ｇ３４−Ｇ３６｜＋｜Ｇ５４−Ｇ５６｜）＋｜Ｒ３３−Ｒ３５｜＋｜Ｒ５３−Ｒ５５｜＋｜Ｂ２４−Ｂ２６｜＋｜Ｂ６４−Ｂ６６｜

［数２３］
垂直走査方向の方向変動Ｈ２＝
２×（｜Ｇ３４−Ｇ５４｜＋｜Ｇ３６−Ｇ５６｜）＋｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜

［数２４］
水平走査方向に対して４５度の方向変動Ｈ３＝
２×（｜Ｇ２７−Ｇ３６｜＋｜Ｇ５４−Ｇ６３｜）＋｜Ｒ３５−Ｒ５３｜＋｜Ｒ３７−Ｒ５５｜＋｜Ｂ２６−Ｂ６２｜＋｜Ｂ２８−Ｂ６４｜

［数２５］
水平走査方向に対して１３５度の方向変動Ｈ４＝
２×（｜Ｇ２３−Ｇ３４｜＋｜Ｇ５６−Ｇ６７｜）＋｜Ｒ３３−Ｒ５５｜＋｜Ｒ３５−Ｒ５７｜＋｜Ｂ２２−Ｂ６６｜＋｜Ｂ２４−Ｂ６８｜

（最小変動値の方向に応じた周辺の撮像用画素の画素値を用いてＡＦ画素の画素値を補間）
ＡＦ画素補間部４５は、ステップ（Ｓ−２１）で求めた方向変動Ｈ１〜Ｈ４のうち最も小さい値の方向変動の方向を選択し、その方向にある撮像用画素の画素値を用いて、ＡＦ画素Ｘ４５の位置でのＧの撮像用画素の画素値Ｇ_Ｘ４５及びＡＦ画素Ｙ４４の位置でのＢの撮像用画素の画素値Ｂ_Ｙ４４を［数２６］〜［数２９］のうちの選択した方向に対応する式を用いて求める（Ｓ−２２）。これにより、変動の小さい方向にある撮像用画素の画素値を用いることにより、より正確にＸ４５及びＹ４４等のＡＦ画素に対する補間を行うことが可能となる。

［数２６］
方向変動Ｈ１が最小の場合
Ｂ_Ｙ４４＝（Ｂ２４＋Ｂ６４）／２
Ｇ_Ｘ４５＝（Ｇ３４＋Ｇ３６＋Ｇ５４＋Ｇ５６）／４

［数２７］
方向変動Ｈ２が最小の場合
Ｂ_Ｙ４４＝（Ｂ２４＋Ｂ６４）／２
Ｇ_Ｘ４５＝（Ｇ２５＋Ｇ６５）／２

［数２８］
方向変動Ｈ３が最小の場合
Ｂ_Ｙ４４＝（Ｂ２６＋Ｂ６２）／２
Ｇ_Ｘ４５＝（Ｇ３６＋Ｇ５４）／２

［数２９］
方向変動Ｈ４が最小の場合
Ｂ_Ｙ４４＝（Ｂ２２＋Ｂ６６）／２
Ｇ_Ｘ４５＝（Ｇ３４＋Ｇ５６）／２

ＡＦ画素補間部４５は、ＡＦ画素の配列方向である水平走査方向において、ＡＦ画素の画素値の方向変動Ｈ５を、例えば、ＡＦ画素のＹ４４及びＸ４５の白色光の画素値Ｗ４４及びＷ４５と、［数３０］とを用いて算出する。

［数３０］
Ｈ５＝｜Ｗ４４−Ｗ４５｜

ＡＦ画素補間部４５は、その方向変動Ｈ５の値が閾値Ｔｈ１０を越えるか否かを判定する（Ｓ−２３）。方向変動Ｈ５が閾値Ｔｈ１０を超える値の場合（ＹＥＳ側）、ＡＦ画素補間部４５は、ステップ（Ｓ−２２）で求めたＢ_Ｙ４４及びＧ_Ｘ４５の補間した値をＹ４４及びＸ４５における撮像用画素の画素値とし、画像データを更新する。画像処理部２５は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス２６を介してＳＤＲＡＭ２７に記録する（Ｓ−２４）。

一方、方向変動Ｈ５が閾値Ｔｈ１０以下となる場合（ＮＯ側）、画像処理部２５は、（Ｓ−２５）へ移行する。なお、閾値Ｔｈ１０は、例えば、１２ビット画像を処理する場合、５１２程度の値にすれば良い。

ＡＦ画素補間部４５は、ステップ（Ｓ−２１）で求めた方向変動Ｈ２が閾値Ｔｈ１１を越えるか否かを判定する（Ｓ−２４）。方向変動Ｈ２が閾値Ｔｈ１１を超える値の場合（ＹＥＳ側）、ＡＦ画素補間部４５は、ステップ（Ｓ−２２）で求めたＢ_Ｙ４４及びＧ_Ｘ４５の補間した値をＹ４４及びＸ４５における撮像用画素の画素値とし、画像データを更新する。画像処理部２５は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス２６を介してＳＤＲＡＭ２７に格納する（Ｓ−２４）。

一方、方向変動Ｈ２が閾値Ｔｈ１１以下となる場合（ＮＯ側）、画像処理部２５は、（Ｓ−２６）へ移行する。なお、閾値Ｔｈ１１は、例えば、１２ビット画像を処理する場合、６４程度の値にすれば良い。

その後、ＡＦ画素補間部４５は、右側からの光束に感度を有するＹ４４等のＡＦ画素における白色光の平均画素値＜Ｗ４４＞等を、近傍にある色成分Ｒ、Ｇ及びＢの撮像用画素の画素値を用いて算出する（Ｓ−２６）。具体的には、ステップ（Ｓ−２１）において、例えば、画像処理部２５が方向変動Ｈ２を最小であると判定した場合、Ｂの撮像用画素の画素値は［数２７］に記載の式にあるＢ２４とＢ６４とを用いる。一方、Ｒ及びＧの画素値については、Ｂの撮像用画素Ｂ２４とＢ６４との位置におけるＲ及びＧの画素値を、［数３１］に記載の４つの式を用いて補間計算する。

［数３１］
(1)Ｒ_Ｂ２４＝（Ｒ１３＋Ｒ１５＋Ｒ３３＋Ｒ３５）／４
(2)Ｇ_Ｂ２４＝（Ｇ１４＋Ｇ２３＋Ｇ２５＋Ｇ３４）／４
(3)Ｒ_Ｂ６４＝（Ｒ５３＋Ｒ５５＋Ｒ７３＋Ｒ７５）／４
(4)Ｇ_Ｂ６４＝（Ｇ５４＋Ｇ６３＋Ｇ６５＋Ｇ７４）／４

そして、ＡＦ画素補間部４５は、撮像用画素Ｂ２４及びＢ６４の位置における白色光の画素値Ｗ２４及びＷ６４を、ＣＰＵ１１から転送されてきたＲ、Ｇ及びＢの加重係数ＷＲ、ＷＧ及びＷＢを用いて、［数３２］に記載の式の加重和によって算出する。なお、加重係数ＷＲ、ＷＧ及びＷＢの求め方については後述する。

［数３２］
Ｗ２４＝ＷＲ×Ｒ_Ｂ２４＋ＷＧ×Ｇ_Ｂ２４＋ＷＢ×Ｂ２４
Ｗ６４＝ＷＲ×Ｒ_Ｂ６４＋ＷＧ×Ｇ_Ｂ６４＋ＷＢ×Ｂ６４
そして、画像処理部２５は、Ｙ４４における白色光の平均画素値＜Ｗ４４＞＝（Ｗ２４＋Ｗ６４）／２を算出する。

ＡＦ画素補間部４５は、左側からの光束に感度を有するＸ４５等のＡＦ画素における白色光の平均画素値＜Ｗ４５＞等を、ステップ（Ｓ−２６）の場合と同様に、近傍にある色成分Ｒ、Ｇ及びＢの撮像用画素の画素値を用いて算出する（Ｓ−２７）。ステップ（Ｓ−２１）において、画像処理部２５が方向変動Ｈ２を最小であると判定した場合、Ｇの撮像用画素の画素値は、［数２７］に記載の式にあるＧ２５とＧ６５とを用いる。一方、Ｒ及びＢの画素値については、Ｇの撮像用画素Ｇ２５とＧ６５との位置におけるＲ及びＢの画素値を［数３３］に記載の４つの式を用いて補間計算する。

［数３３］
(1)Ｒ_Ｇ２５＝（Ｒ１５＋Ｒ３５）／２
(2)Ｂ_Ｇ２５＝（Ｂ２４＋Ｂ２６）／２
(3)Ｒ_Ｇ６５＝（Ｒ５５＋Ｒ７５）／２
(4)Ｂ_Ｇ６５＝（Ｂ６４＋Ｂ６６）／２

そして、ＡＦ画素補間部４５は、撮像用画素Ｇ２５及びＧ６５の位置における白色光の画素値Ｗ２５及びＷ６５を、［数３４］に記載の式の加重和によって算出する。

［数３４］
Ｗ２５＝ＷＲ×Ｒ_Ｇ２５＋ＷＧ×Ｇ２５＋ＷＢ×Ｂ_Ｇ２５
Ｗ６５＝ＷＲ×Ｒ_Ｇ６４＋ＷＧ×Ｇ２５＋ＷＢ×Ｂ_Ｇ６５
そして、画像処理部２５は、Ｘ４５における白色光の平均画素値＜Ｗ４５＞＝（Ｗ２５＋Ｗ６５）／２を算出する。

ＡＦ画素補間部４５は、撮像素子１７の各ＡＦ画素における白色光の画素値の高周波成分を、（Ｓ−２６）及び（Ｓ−２７）において求めた白色光の平均画素値を用いて求める（Ｓ−２８）。ＡＦ画素補間部４５は、撮像素子１７の各ＡＦ画素の画素値から、各ＡＦ画素の画素位置における白色光の平均画素値を最初に求める。つまり、各ＡＦ画素の画素値は、左側又は右側からの光束を瞳分割した値である。したがって、各ＡＦ画素の位置における白色光の画素値を得るためには、左側及び右側からの光束の画素値を互いに加算する必要がある。そこで、本実施形態のＡＦ画素補間部４５は、各ＡＦ画素の画素値及び隣接するＡＦ画素の画素値を用いて、例えば、ＡＦ画素Ｙ４４やＸ４５の位置における白色光の平均画素値を［数３５］に記載の式を用いて算出する。

［数３５］
＜Ｗ４４＞’＝Ｗ４４＋（Ｗ４３＋Ｗ４５）／２
＜Ｗ４５＞’＝Ｗ４５＋（Ｗ４４＋Ｗ４６）／２

なお、ステップ（Ｓ−２７）で説明した［数３５］において、ＡＦ画素の配列方向に隣接するＡＦ画素の画素値を用いて、各ＡＦ画素の位置における白色光の画素値を算出するので、配列方向に強い変動がある場合には、高周波成分の計算が不正確になり、白色光の画素値の配列方向の解像力が失われるおそれがある。そこで、前述したステップ（Ｓ−２３）では、配列方向に強い変動がある場合に、高周波成分の付加を中止するようにしている。

その後、ＡＦ画素補間部４５は、［数３６］に記載の式から、Ｙ４４及びＸ４５の位置における白色光の高周波成分ＨＦ_Ｙ４４及びＨＦ_Ｘ４５を求める。

［数３６］
ＨＦ_Ｙ４４＝＜Ｗ４４＞’−＜Ｗ４４＞
ＨＦ_Ｘ４５＝＜Ｗ４５＞’−＜Ｗ４５＞

ＡＦ画素補間部４５は、ステップ（Ｓ−２８）で求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦがその白色光の画素値に占める割合が、閾値Ｔｈ１３（本実施形態では、例えば、１０％程度）より小さいか否かを判定する（Ｓ−２９）。閾値Ｔｈ１３より高周波成分ＨＦが小さい場合（ＹＥＳ側）、ＡＦ画素補間部４５は、ステップＳ２６で求めたＢ_Ｙ４４及びＧ_Ｘ４５の補間した値をＹ４４及びＸ４５における撮像用画素の画素値とし、画像データを更新する。画像処理部２５は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス２６を介してＳＤＲＡＭ２７に格納する（Ｓ−２４）。

一方、高周波成分ＨＦが閾値Ｔｈ１３以上の場合（ＮＯ側）、ＡＦ画素補間部４５は、ステップ（Ｓ−３０）へ移行する。なお、閾値Ｔｈ１３の値についての説明は、後の加重係数ＷＲ、ＷＧ及びＷＢの説明とともに行う。

ＡＦ画素補間部４５は、Ｙ４４やＸ４５の近傍における各色成分Ｒ、Ｇ又はＢの撮像用画素の画素値の色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを算出する（Ｓ−３０）。ここで、色変動ＶＧｒ及びＶＧｂは、Ｒ又はＢの撮像用画素の位置におけるＧの色変動を示す。ＡＦ画素補間部４５は、［数３７］に記載の２つの式に基づいて、色変動ＶＲとＶＧｒとを求める。

［数３７］
(1)ＶＲ＝｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｒ３７−Ｒ５７｜
(2)ＶＧｒ＝｜（Ｇ３２＋Ｇ３４）／２−（Ｇ５２＋Ｇ５４）／２｜＋｜（Ｇ３４＋Ｇ３６）／２−（Ｇ５４＋Ｇ５６）／２｜＋｜（Ｇ３６＋Ｇ３８）／２−（Ｇ５６＋Ｇ５８）／２｜

なお、本実施形態のＡＦ画素補間部４５は、Ｒの撮像用画素の位置Ｒ３３、Ｒ３５、Ｒ３７、Ｒ５３、Ｒ５５及びＲ５７におけるＧの画素値の平均値を求めてからＶＧｒの値を計算する。

一方、ＡＦ画素補間部４５は、［数３８］に記載の２つの式に基づいて、色変動ＶＢとＶＧｂとを求める。

［数３８］
(1)ＶＢ＝｜Ｂ２２−Ｂ６２｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
(2)ＶＧｂ＝｜（Ｇ２１＋Ｇ２３）／２−（Ｇ６１＋Ｇ６３）／２｜＋｜（Ｇ２３＋Ｇ２５）／２−（Ｇ６３＋Ｇ６５）／２｜＋｜（Ｇ２５＋Ｇ２７）／２−（Ｇ６５＋Ｇ６７）／２｜

なお、本実施形態のＡＦ画素補間部４５は、Ｂの撮像用画素の位置Ｂ２２、Ｂ２４、Ｂ２６、Ｂ６２、Ｂ６４及びＢ６６におけるＧの画素値の平均値を求めてからＶＧｂの値を計算する。

ＡＦ画素補間部４５は、ステップ（Ｓ−３０）で算出した色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを用いて、色成分Ｇ及びＢの白色光に対する色変動率Ｋ_ＷＧ及びＫ_ＷＢを算出する（Ｓ−３１）。まず、ＡＦ画素補間部４５は、色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂから［数３９］に記載の３つの式から色変動ＶＲ２、ＶＧ２及びＶＢ２を求める。

［数３９］
(1)ＶＲ２＝（ＶＲ＋α）×（ＶＧｂ＋α）
(2)ＶＢ２＝（ＶＢ＋α）×（ＶＧｒ＋α）
(3)ＶＧ２＝（ＶＧｂ＋α）×（ＶＧｒ＋α）

ここで、αは、色変動率の値を安定させるための適当な定数であり、例えば、１２ビット画像を処理する場合には、α＝２５６程度の値にすれば良い。

そして、画像処理部２５は、色変動ＶＲ２、ＶＧ２及びＶＢ２を用いて、［数４０］に記載の式により白色光における色変動ＶＷを算出する。

［数４０］
ＶＷ＝ＶＲ２＋ＶＧ２＋ＶＢ２

よって、ＡＦ画素補間部４５は、色変動率Ｋ_ＷＧ及びＫ_ＷＢを［数４１］から算出する。

［数４１］
Ｋ_ＷＧ＝ＶＧ２／ＶＷ
Ｋ_ＷＢ＝ＶＢ２／ＶＷ

ＡＦ画素補間部４５は、ステップ（Ｓ−２８）において求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦと、ステップ（Ｓ−３１）で算出した色変動率Ｋ_ＷＧ及びＫ_ＷＢとを用いて、各ＡＦ画素の位置における色成分Ｇ及びＢの画素値の高周波成分を［数４２］に記載の式から算出する（Ｓ−３２）。

［数４２］
ＨＦＢ_Ｙ４４＝ＨＦ_Ｙ４４×Ｋ_ＷＢ
ＨＦＧ_Ｘ４５＝ＨＦ_Ｘ４５×Ｋ_ＷＧ

ＡＦ画素補間部４５は、ステップ（Ｓ−３２）で求めた各ＡＦ画素における各色成分の高周波成分を、ステップ（Ｓ−２２）で補間して求めた撮像用画素の画素値に付加する（Ｓ−３３）。ＣＰＵ１１は、例えば、［数４３］に記載の式に基づいて、Ｙ４４及びＸ４５の撮像用画素値Ｂ’及びＧ’をそれぞれ算出する。

［数４３］
Ｂ’_Ｙ４４＝Ｂ_Ｙ４４＋ＨＦＢ_Ｙ４４
Ｇ’_Ｘ４５＝Ｇ_Ｘ４５＋ＨＦＧ_Ｘ４５

ＡＦ画素補間部４５は、Ｙ４４やＸ４５等のＡＦ画素の位置において補間して求めたＢ’_Ｙ４４及びＧ’_Ｘ４５等の画素値を、それぞれの位置における撮像用画素の画素値として、画像データを更新する。画像処理部２５は、更新した画像データに対して１画素当たり３色の画像データに変換してＳＤＲＡＭ２７に格納する（Ｓ−２４）。

なお、ＡＦ画素の配列方向に変動はなくても、各色成分の撮像用画素の分光特性の加重和とＡＦ画素の分光特性とのズレ等に起因して、白色光の画素値の高周波成分が若干の誤差を持つ。垂直走査方向（ＡＦ画素の配列方向に交わる方向）に画像の大きな変動がない場合には、高周波成分を付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じる恐れがある。そこで、ステップ（Ｓ−２５）では、そのような場合、高周波成分の付加を抑制する。また、算出された高周波成分が充分小さい場合には、それを付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じるおそれがある。このため、（Ｓ−２５）では、そのような場合に高周波成分の付加を抑制するようにしている。

次に、加重係数ＷＲ、ＷＧ及びＷＢの求め方について、閾値Ｔｈ１３とともに説明する。そうした加重係数や閾値を求めるにあたり、製品に組み込まれる撮像素子１７又はその撮像素子１７と同じ性能を持つ撮像素子を用意する。その撮像素子１７にほぼ一様な照度の照明を、波長帯域を様々に変えて照射し、それぞれの波長帯域についての撮像画像データを取得する。そして、各波長帯域の撮像画像データｎについて、［数３５］に記載の式のように瞳分割の異なるＡＦ画素の画素値を加算することにより白色光の画素値Ｗｎを算出する。同時に、ＡＦ画素の近傍にある各色成分の撮像用画素の画素値Ｒｎ、Ｇｎ、Ｂｎについても抽出する。

そして、未知の加重係数ＷＲ、ＷＧ及びＷＢの関数として二乗誤差Ｅを［数４４］のように定義する。

［数４４］
Ｅ＝Σｎ（ＷＲ×Ｒｎ＋ＷＧ×Ｇｎ＋ＷＢ×Ｂｎ−Ｗｎ）^２

そして、Ｅを最小とする加重係数ＷＲ、ＷＧ及びＷＢを求める（ＥをＷＲ、ＷＧ又はＷＢでそれぞれ偏微分した値を０にする加重係数ＷＲ、ＷＧ及びＷＢを求める）。このようにして、加重係数ＷＲ、ＷＧ及びＷＢを求めることにより、ＡＦ画素の分光特性を各色成分Ｒ、Ｇ及びＢの撮像用画素の分光特性の加重和によって表される加重係数が求められる。このように求めた加重係数ＷＲ、ＷＧ及びＷＢを電子カメラ１０の不揮発性メモリ１２に記録する。

さらに、求めた加重係数ＷＲ、ＷＧ及びＷＢにもとづいて各撮像画像データｎについて誤差率Ｋｎを［数４５］に記載の式で求める。

［数４５］
Ｋｎ＝｜ＷＲ×Ｒｎ＋ＷＧ×Ｇｎ＋ＷＢ×Ｂｎ−Ｗｎ｜／Ｗｎ
そして、Ｋｎの最大値を求め、閾値Ｔｈ１３として不揮発性メモリ１２に記録する。

図１３は、本実施形態の効果が発揮される画像構造の一例を表す。図１３は凸構造（明るい線あるいは点）を含む縦５画素の画像構造を縦断した図であり、横軸は垂直走査方向（ｙ座標）であり縦軸は光量または画素値である。そして、凸構造がちょうど水平走査方向に配列されたＡＦ画素列上にある。

図１３の○印は、Ｇの撮像用画素で撮像された画素値である。ただし、ＡＦ画素の位置にはＧの撮像用画素が存在しないので、その位置でのＧの画素値は得られない。従って、丁度ＡＦ画素の位置に凸構造がある場合には、ＡＦ画素の近傍のＧの撮像用画素の画素値からだけでは、図１３の凸構造を再現できない。実際、（Ｓ−２２）において、ＡＦ画素の近傍のＧの撮像用画素の画素値を用いてＡＦ画素の位置で補間して求めたＧの画素値（図１３の●印）は、凸構造を再現していない。

一方、ＡＦ画素の位置では、白色光の画素値が得られる。ただし、通常の画素は瞳の全領域を通過する光を受光するのに対し、ＡＦ画素は瞳の右側あるいは左側を通過する光のみを受光するので、瞳分割の異なる隣接するＡＦ画素を加算することにより通常の（瞳の全領域を通過した光の）白色光の画素値が算出される（［数３５］）。

また、ＡＦ画素の近傍のＧの撮像用画素の位置に、他の色成分Ｒ及びＢを補間生成して、色成分Ｒ、Ｇ及びＢの加重和を求めることにより、多くの場合には充分な精度で白色光の画素値を求めることができる（［数３２］及び［数３４］）。

図１３の□印は、そのようにして求めた白色光の画素値の分布である。多くの場合、白色光の画素値の高周波成分と、色成分Ｇの画素値の高周波成分とは比例するので、白色光の画素値から算出した高周波成分は、Ｇの画素値の凸構造成分の情報を持つ。よって、白色光の画素値の高周波成分に基づいてＧの画素値の高周波成分を求め、その値を●印のデータに加えることにより、☆印のＧの画素値が得られ、凸構造を再現する（［数４２］）。

［第３画素補間処理］
ＡＦ画素補間部４５は、ノイズ判定部４６での判定結果によりノイズが少なく、かつフレア判定部４７でのフレアが発生し易いと判断する場合、第３画素補間処理を選択して実行する。

第３画素補間処理は、ＡＦ画素の周囲の撮像用画素の画素値を重み係数により補正し、補正した撮像用画素の画素値を平滑化する処理を、撮像用画素の画素値に対する重み係数を変えて２回行った後、上述した第２画素補間処理を実行する処理である。以下、図３のＡＦ画素Ｘ４３及びＡＦ画素Ｙ４４の２列に対する第３画素補間処理について説明する。

（ＡＦ画素列の周囲の撮像用画素の画素値を重み係数により補正）
ＡＦ画素補間部４５は、図１４に示すように、ＡＦ画素列の周囲に配置された撮像用画素の画素値が、閾値ＭＡＸ＿ＲＡＷ以上となるか否かを判定し、その判定結果に基づいて、設定された重み係数を用いて補正する（Ｓ−４１）。ここで、閾値ＭＡＸ＿ＲＡＷは、画素値が飽和しているか否かを判定するための閾値である。

ＡＦ画素補間部４５は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となる場合には、撮像用画素の画素値に対して補正は行わない。一方、ＡＦ画素補間部４５は、撮像用画素の画素値が、閾値ＭＡＸ＿ＲＡＷ未満となる場合には、重み係数を用いた加重和の値を元の画素値から減算することで撮像用画素の画素値を補正する。

ＡＦ画素補間部４５は、Ｒ色成分の撮像用画素の画素値を［数４６］〜［数４９］を用いて補正する。

［数４６］
Ｒ１３’＝Ｒ１３−（Ｒ３Ｕ＿０×Ｒ３３＋Ｒ３Ｕ＿１×Ｇ３４＋Ｒ３Ｕ＿２×Ｂ２４）

［数４７］
Ｒ３３’＝Ｒ３３−（Ｒ１Ｕ＿０×Ｒ３３＋Ｒ１Ｕ＿１×Ｇ３４＋Ｒ１Ｕ＿２×Ｂ２４）

［数４８］
Ｒ５３’＝Ｒ５３−（Ｒ１Ｓ＿０×Ｒ５３＋Ｒ１Ｓ＿１×Ｇ５４＋Ｒ１Ｓ＿２×Ｂ６４）

［数４９］
Ｒ７３’＝Ｒ７３−（Ｒ３Ｓ＿０×Ｒ５３＋Ｒ３Ｓ＿１×Ｇ５４＋Ｒ３Ｓ＿２×Ｂ６４）

ここで、Ｒ１Ｕ＿０，Ｒ１Ｕ＿１，Ｒ１Ｕ＿２，Ｒ１Ｓ＿０，Ｒ１Ｓ＿１，Ｒ１Ｓ＿２，Ｒ３Ｕ＿０，Ｒ３Ｕ＿１，Ｒ３Ｕ＿２，Ｒ３Ｓ＿０，Ｒ３Ｓ＿１，Ｒ３Ｓ＿２は、重み係数である。なお、重み係数中、文字Ｓは、ＡＦ画素よりも上方に位置することを示し、文字Ｕは、ＡＦ画素よりも下方に位置することを示している。

ＡＦ画素補間部４５は、Ｇ色成分の撮像用画素の画素値を［数５０］〜［数５５］を用いて補正する。

［数５０］
Ｇ１４’＝Ｇ１４−（Ｇ３Ｕ＿０×Ｒ３３＋Ｇ３Ｕ＿１×Ｇ３４＋Ｇ３Ｕ＿２×Ｂ２４

［数５１］
Ｇ２３’＝Ｇ２３−（Ｇ２Ｕ＿０×Ｒ３３＋Ｇ２Ｕ＿１×Ｇ３４＋Ｇ２Ｕ＿２×Ｂ２４）

［数５２］
Ｇ３４’＝Ｇ３４−（Ｇ１Ｕ＿０×Ｒ３３＋Ｇ１Ｕ＿１×Ｇ３４＋Ｇ１Ｕ＿２×Ｂ２４）

［数５３］
Ｇ５４’＝Ｇ５４−（Ｇ１Ｓ＿０×Ｒ５３＋Ｇ１Ｓ＿１×Ｇ５４＋Ｇ１Ｓ＿２×Ｂ６４）

［数５４］
Ｇ６３’＝Ｇ６３−（Ｇ２Ｓ＿０×Ｒ５３＋Ｇ２Ｓ＿１×Ｇ５４＋Ｇ２Ｓ＿２×Ｂ６４）

［数５５］
Ｇ７４’＝Ｇ７４−（Ｇ３Ｓ＿０×Ｒ５３＋Ｇ３Ｓ＿１×Ｇ５４＋Ｇ３Ｓ＿２×Ｂ６４）

ここで、Ｇ１Ｕ＿０，Ｇ１Ｕ＿１，Ｇ１Ｕ＿２，Ｇ１Ｓ＿０，Ｇ１Ｓ＿１，Ｇ１Ｓ＿２，Ｇ２Ｕ＿０，Ｇ２Ｕ＿１，Ｇ２Ｕ＿２，Ｇ２Ｓ＿０，Ｇ２Ｓ＿１，Ｇ２Ｓ＿２，Ｇ３Ｕ＿０，Ｇ３Ｕ＿１，Ｇ３Ｕ＿２，Ｇ３Ｓ＿０，Ｇ３Ｓ＿１，Ｇ３Ｓ＿２は、重み係数である。
また、ＡＦ画素補間部４５は、Ｂ色成分の撮像用画素の画素値を、［数５６］，［数５７］を用いて補正する。

［数５６］
Ｂ２４’＝Ｂ２４−（Ｂ２Ｕ＿０×Ｒ３３＋Ｂ２Ｕ＿１×Ｇ３４＋Ｂ２Ｕ＿２×Ｂ２４）

［数５７］
Ｂ６４’＝Ｂ６４−（Ｂ２Ｓ＿０×Ｒ５３＋Ｂ２Ｓ＿１×Ｇ５４＋Ｂ２Ｓ＿２×Ｂ６４）

ここで、Ｂ２Ｕ＿０，Ｂ２Ｕ＿１，Ｂ２Ｕ＿２，Ｂ２Ｓ＿０，Ｂ２Ｓ＿１，Ｂ２Ｓ＿２は重み係数である。

（隣接するＡＦ画素の画素値を用いたクリップ量の算出）
ＡＦ画素補間部４５は、隣接するＡＦ画素の画素値Ｘ４３，Ｙ４４を読み出し、［数５８］を用いてクリップ量Ｔｈ＿ＬＰＦを求める（Ｓ−４２）。

［数５８］
Ｔｈ＿ＬＰＦ＝（Ｘ４３＋Ｙ４４）×Ｋ＿Ｔｈ＿ＬＰＦ

ここで、Ｋ＿Ｔｈ＿ＬＰＦは係数であり、「１２７」程度の値が適用される。この係数Ｋ＿Ｔｈ＿ＬＰＦは、その値が大きいほど平滑化処理の効果が高くなる。

（色成分毎の予測誤差を算出）
ＡＦ画素補間部４５は、［数５９］、［数６０］を用いて、同一列に配置された同一の色成分となる撮像用画素のうち、ＡＦ画素４１から遠い位置にある撮像用画素（遠位撮像用画素）の画素値と、ＡＦ画素４１から近い位置にある撮像用画素（近位撮像用画素）の画素値との差分を予測誤差として算出する（Ｓ−４３）。

［数５９］
ｄｅｌｔａＲＵ＝Ｒ１３’−Ｒ３３’
ｄｅｌｔａＲＳ＝Ｒ７３’−Ｒ５３’

［数６０］
ｄｅｌｔａＧＵ＝Ｇ１４’−Ｇ３４’
ｄｅｌｔａＧＳ＝Ｇ７４’−Ｇ５４’

（予測誤差がクリップ範囲から越えているか否かを判定）
ＡＦ画素補間部４５は、［数５９］、［数６０］により求めた予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳの各値が、［数５８］にて求めたクリップ量に基づいたクリップ範囲（−Ｔｈ＿ＬＰＦ〜Ｔｈ＿ＬＰＦ）に含まれている否かを判定する（Ｓ−４４）。

（クリップ処理）
ＡＦ画素補間部４５は、予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳのうち、クリップ範囲から外れている予測誤差に対して、クリップ処理を行う（Ｓ−４５）。ここで、クリップ処理とは、クリップ範囲から外れている予測誤差の値をクリップ範囲に含まれるようにクリッピングすることである。

（近位撮像用画素の画素値に予測誤差を加算）
ＡＦ画素補間部４５は、［数６１］により、予測誤差を各列の近位撮像用画素の画素値に加算する（Ｓ−４６）。ここで、予測誤差は、［数５９］，［数６０］により求めた値、又は、クリッピングされた値である。

［数６１］
Ｒ３３”＝Ｒ３３’＋ｄｅｌｔａＲＵ
Ｒ５３”＝Ｒ５３’＋ｄｅｌｔａＲＳ
Ｇ３４”＝Ｇ３４’＋ｄｅｌｔａＧＵ
Ｇ５４”＝Ｇ５４’＋ｄｅｌｔａＧＳ

これにより、ＡＦ画素列の周囲の撮像用画素の画素値である、遠位撮像用画素の画素値及び近位撮像用画素の画素値がそれぞれ補正され、さらに、予測誤差を用いた平滑化処理により近位撮像用画素の画素値が補正される。

（補正した撮像用画素の画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４５は、重み係数により補正された遠位撮像用画素の画素値と、予測誤差により補正された近位撮像用画素の画素値とを、ＳＤＲＡＭ２７に記憶する（Ｓ−４７）。

１回目の処理が完了すると、２回目の処理が実行される。

（ＡＦ画素列の周囲の撮像用画素の画素値を重み係数により補正）
ＡＦ画素補間部４５は、１回目の処理により補正された撮像用画素の画素値を用いて、これら撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となるか否かを判定する。この判定結果に基づいて、設定された重み係数を用いて補正する（Ｓ−４８）。ここで、閾値ＭＡＸ＿ＲＡＷは、画素値が飽和しているか否かを判定するための閾値であり、１回目の処理（Ｓ−４１）と同一の値が用いられる。

ＡＦ画素補間部４５は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となる場合に、撮像用画素の画素値に対して補正は行わない。ＡＦ画素補間部４５は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ未満となる場合に、上述した［数４６］〜［数５７］における全ての重み係数を０に変えて補正する。つまり、この処理を行った場合、ＡＦ画素列の周囲に配置された撮像用画素の画素値は、元の画素値のままである。

（隣接するＡＦ画素の画素値を用いたクリップ量の算出）
ＡＦ画素補間部４５は、隣接するＡＦ画素の画素値Ｘ４３，Ｙ４４を読み出し、上述した［数５８］を用いてクリップ量Ｔｈ＿ＬＰＦを求める（Ｓ−４９）。ここで、Ｋ＿Ｔｈ＿ＬＰＦの値は１回目の処理と同一の値が用いられる。

（色成分毎の予測誤差を算出）
ＡＦ画素補間部４５は、上述した［数５９］、［数６０］を用いて、同一列に配置された同一の色成分となる撮像用画素のうち、遠位撮像用画素の画素値と、近位撮像用画素の画素値との差分を予測誤差として算出する（Ｓ−５０）。

（予測誤差がクリップ範囲から越えているか否かを判定）
ＡＦ画素補間部４５は、上述した［数５９］、［数６０］により求めた予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳの各値が、［数５８］にて求めたクリップ量に基づいたクリップ範囲（−Ｔｈ＿ＬＰＦ〜Ｔｈ＿ＬＰＦ）に含まれている否かを判定する（Ｓ−５１）。

（クリップ処理）
ＡＦ画素補間部４５は、予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳのうち、クリップ範囲から外れている予測誤差に対して、クリップ処理を行う（Ｓ−５２）。

（近位撮像用画素の画素値に予測誤差を加算）
ＡＦ画素補間部４５は、上述した［数６１］を用いて、各列の近位撮像用画素の画素値に加算する（Ｓ−５３）。
これにより、２回目の処理においては、近位撮像用画素の画素値が予測誤差を用いて、さらに補正される。

（補正した撮像用画素の画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４５は、重み係数により補正された遠位撮像用画素の画素値と、予測誤差により補正された近位撮像用画素の画素値とを、ＳＤＲＡＭ２７に記憶する（Ｓ−５４）。

このように、第３画素補間処理においては、上述した補正処理が２回繰り返し実行される。この補正処理が２回繰り返し実行された後、第２画素補間処理が実行される。

（第２画素補間処理）
ＡＦ画素補間部４５は、ＳＤＲＡＭ２７に記憶した撮像用画素の画素値を用いて、上述した第２画素補間処理を実行する（Ｓ−５５）。これにより、ＡＦ画素に対応する撮像用画素の画素値が算出される。つまり、ＡＦ画素の画素値が補間される。

（補間したＡＦ画素の画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４５は、第２画素補間処理（Ｓ−５５）により補間したＡＦ画素の画素値をＳＤＲＡＭ２７に記憶する。

この第３画素補間処理においては、補正処理を繰り返し２回実行することで、ＡＦ画素列の近傍の撮像用画素の画素値に対する平滑化処理を効果的に行っている。この平滑化処理を効果的に行うことで、ＡＦ画素に隣接する撮像用画素にて発生するフレアによる混色の影響を低減させることができる。また、混色の影響を低減した撮像用画素の画素値を用いてＡＦ画素に対する補間処理を行うので、ＡＦ画素においても、発生するフレアによる混色の影響が低減した画素値が得られる。つまり、フレアの影響を低減した画像を得ることができる。

なお、本実施形態では、ＡＦ画素の配列方向を水平走査方向としたが、本発明はこれに限定されず、ＡＦ画素は垂直走査方向又はその他の方向に配列されていても良い。

なお、本実施形態では、ＡＦ画素の各々は左側又は右側からの光束を瞳分割する焦点検出画素としたが、本発明はこれに限定されず、ＡＦ画素の各々は左側及び右側からの光束を瞳分割する画素を有する焦点検出画素でも良い。

なお、本実施形態では電子カメラについて説明しているが、これに限定される必要はなく、電子カメラにて取得された画像を取り込んで画像処理を行う画像処理装置に対しても、図６，図７，図１２及び図１４のフローチャートにおける処理を実行させることができる。また、この他に、図６，図７，図１２及び図１４のフローチャートのフローチャートにおける処理をコンピュータで実現するためのプログラムに対しても適用可能である。なお、このプログラムは、メモリカード、光学ディスク、磁気ディスクなどのコンピュータにて読み取り可能な記憶媒体に記憶されていることが好ましい。

Claims (15)

1. 画像が入力される画像入力部と、
   前記画像を、光源種に応じたホワイトバランス処理用のゲイン値に基づいて設定される補正係数を用いて補正する画像補正部と、
   前記画像補正部によって補正された画像から、所定の色成分の範囲に含まれる領域を検出する領域検出部と、
   前記領域検出部により検出される前記領域にフレアが発生しているか否かを判定する判定部と、
   を備えたことを特徴とするフレア判定装置。
2. 請求項１に記載のフレア判定装置において、
   前記画像入力部によって入力された前記画像の色空間を変換する際に用いる第１色空間変換用マトリクスを、光源種に応じたホワイトバランス処理用のゲイン値から設定される補正係数を用いて補正することで、第２色空間変換用マトリクスを求めるマトリクス決定部を、更に備え、
   前記画像補正部は、前記第２色空間変換用マトリクスを用いて前記画像の色空間を変換し、
   前記領域検出部は、前記色空間を変換した前記画像から、前記所定の色成分の範囲に含まれる領域を検出することを特徴とするフレア判定装置。
3. 請求項２に記載のフレア判定装置において、
   前記第２色空間変換用マトリクスは、前記フレアに起因した混色が発生する領域に含まれる画素の画素値を、前記所定の色成分の範囲に含まれる画素値に変換することを特徴とするフレア判定装置。
4. 請求項２に記載のフレア判定装置において、
   前記画像に含まれる画素のうち、輝度値が予め設定された閾値を越える画素の領域を抽出する高輝度領域抽出部を備え、
   前記領域検出部は、前記高輝度領域抽出部により抽出された領域に対して、前記第２色空間変換用マトリクスを用いた色空間の変換を実行することを特徴とするフレア判定装置。
5. 請求項４に記載のフレア判定装置において、
   前記画像に含まれる各画素の輝度値のそれぞれを用いて生成したヒストグラムに基づいて、前記閾値を求める閾値算出部を備えていることを特徴とするフレア判定装置。
6. 請求項４に記載のフレア判定装置において、
   前記高輝度領域抽出部は、前記画像に含まれる各画素のうち、前記輝度値が飽和していない画素の中から、前記閾値を越える画素の領域を抽出することを特徴とするフレア判定装置。
7. 請求項１に記載のフレア判定装置において、
   前記領域検出部は、前記画像に含まれる画素のうち、画素値が飽和していない画素を除いた領域から、前記所定の色成分の範囲に含まれる領域を検出することを特徴とするフレア判定装置。
8. 請求項１に記載のフレア判定装置において、
   前記判定部は、前記所定の色成分の範囲に含まれる画素の領域の総面積、空間分散値／前記総面積、又は輝度成分のエッジ量の平均値の少なくとも２つからなる評価値を用いて、前記領域に前記フレアが発生しているか否かを判定することを特徴とするフレア判定装置。
9. 請求項１に記載のフレア判定装置において、
   前記判定部は、前記所定の色成分の範囲に含まれる画素の領域の総面積、空間分散値／前記総面積、及び輝度成分の平均エッジ量からなる評価値を用いて、前記領域に前記フレアが発生しているか否かを判定することを特徴とするフレア判定装置。
10. 請求項１に記載のフレア判定装置において、
    前記所定の色成分の範囲はマゼンタ色となる色成分の範囲であることを特徴とするフレア判定装置。
11. 画像が入力される画像入力部と、
    光源種に応じたホワイトバランス処理用のゲイン値から設定される補正係数を用いて、前記画像を補正する画像補正部と、
    前記画像補正部により補正された前記画像を用いて、所定の色成分の範囲に含まれる領域を検出する領域検出部と、
    前記領域検出部により検出された前記領域に関わる情報から求まる複数種類の評価値を判定することで、フレアが発生しているか否かを検出する判定部と、
    を備えたことを特徴とするフレア判定装置。
12. 請求項１に記載のフレア判定装置と、
    被写体光を受光し、前記画像の元になる画像信号を出力する撮像素子と、
    前記画像信号に対して、前記ホワイトバランス処理を含む画像処理を行う画像処理部と、
    を備えることを特徴とする撮像装置。
13. 請求項１２に記載の撮像装置において、
    前記フレア判定装置に入力される画像は、前記ホワイトバランス処理におけるゲイン値を設定する際に用いる評価用画像からなることを特徴とする撮像装置。
14. 請求項１２に記載の撮像装置において、
    前記撮像素子は、撮像用画素及び焦点検出用画素を備えており、
    前記フレア判定装置における判定結果に基づいた処理内容の補間処理を、前記撮像用画素の画素値及び前記焦点検出用画素の画素値に対して実行する補間処理部をさらに備えていることを特徴とする撮像装置。
15. 画像を入力する画像入力工程と、
    前記画像を、光源種に応じたホワイトバランス処理用のゲイン値に基づいて設定される補正係数を用いて補正する画像補正工程と、
    前記画像補正工程によって補正された画像から、所定の色成分の範囲に含まれる領域を検出する領域検出工程と、
    前記領域検出工程により検出される前記領域にフレアが発生しているか否かを判定する判定工程と、
    をコンピュータに実行させることが可能なフレア判定プログラムが記憶された、コンピュータ読み取り可能な記憶媒体。

Images