JP5412945B2 - 撮像素子、画像処理装置、撮像装置及び画像処理プログラム - Google Patents

Description

本発明は、撮像素子、画像処理装置、撮像装置及び画像処理プログラムに関する。

受光面の一部の領域に焦点検出用の画素が配置され、撮像画素による撮像した被写体像の画像信号を出力すると同時に、焦点検出画素による被写体像の合焦状態を検出する検出信号を出力する撮像素子が知られている（例えば、特許文献１）。

特許文献１では、焦点検出画素の位置における撮像用の画素値を補間するために、焦点検出画素の近傍にある撮像画素の画素値を単純平均して求める技術が開示されている。

特開２０００−３０５０１０号公報

しかしながら、従来技術である特許文献１の単純平均による補間方法では、補間すべき焦点検出画素の近傍領域において、被写体の輪郭や細線構造等の構造がある場合、それらの構造を消失したり偽色や偽構造が生じたり、画像の画質が劣化してしまうという問題があった。

上記従来技術が有する問題に鑑み、本発明の目的は、焦点検出画素の位置に輪郭や細線構造等がある場合であっても高精度に撮像用の画素値を補間できる技術を提供することにある。

本発明を例示する撮像素子の一態様は、異なる分光感度特性を有するカラーフィルタを有する複数の撮像用画素と、各カラーフィルタを有する撮像用画素の分光感度特性と各カラーフィルタに応じた加重係数との加重和によって近似される分光感度特性を有し、撮像用画素とともに配置される焦点検出用画素と、を備え、焦点検出用画素の分光感度特性と加重和との近似誤差の大きさが所定の範囲内であることを、分光感度特性の評価項目の少なくとも１つとして、撮影用画素及び焦点検出用画素の分光感度特性が設計される。

本発明を例示する撮像素子の別態様は、異なる分光感度特性を有するカラーフィルタを有する複数の撮像用画素と、各カラーフィルタを有する撮像用画素の分光感度特性と各カラーフィルタに応じた加重係数との加重和によって近似される分光感度特性を有し、撮像用画素とともに配置される焦点検出用画素と、を備え、焦点検出用画素は、焦点検出用画素の分光感度特性と加重和との近似誤差を抑制するカラーフィルタをさらに有し、焦点検出用画素の分光感度特性と加重和との近似誤差の大きさが所定の範囲内であることを、分光感度特性の評価項目の少なくとも１つとして、撮影用画素及び焦点検出用画素の分光感度特性が設計される。

また、所定の範囲内は、近似誤差の大きさの絶対値が、波長４００ｎｍから６７０ｎｍの範囲において、焦点検出用画素の分光感度特性の１０％未満であっても良い。

本発明の画像処理装置は、本発明の撮像素子によって撮像された画像に対して、焦点検出用画素における補間画素値を、焦点検出用画素近傍の撮像用画素の画素値を用いて生成する画素補間部と、近傍の撮像用画素が焦点検出用画素と同じ分光特性を有した場合の画素値である評価画素値を算出する近傍画素推定部と、焦点検出用画素の画素値と評価画素値とを用いて画像の高周波成分を算出する高周波成分算出部と、補間画素値に高周波成分を付加して焦点検出用画素の撮像用の画素値を算出する高周波成分付加部と、を備える。

本発明の撮像装置は、本発明の撮像素子と、本発明の画像処理装置と、を備える。

本発明の画像処理プログラムは、コンピュータを、本発明の画像処理装置として機能させる。

本発明によれば、焦点検出用画素の位置に輪郭や細線構造等がある場合であっても高精度に撮像用の画素値を補間できる。

本発明の一の実施形態に係る電子カメラ１０の構成を示すブロック図 撮像素子のセルの配置を示す図 本実施形態の電子カメラ１０での画像処理のフローチャート 凸構造を含む縦５画素の画像構造を縦断した図 微細な色構造を有する画像の画像構造を縦断した図

図１は、本発明の一の実施形態に係る電子カメラ１０の構成図である。

電子カメラ１０は、撮像レンズ１、撮像素子２、Ａ／Ｄ変換部３、バッファメモリ４、ＣＰＵ５、カードインタフェース（カードＩ／Ｆ）６、操作部材８、記憶部９、表示部１１及び画像処理部１２から構成される。バッファメモリ４、ＣＰＵ５、カードＩ／Ｆ６、操作部材８、記憶部９、表示部１１及び画像処理部１２は、バス１３を介して情報伝達可能に接続されている。なお、図１は電子カメラ１０の主要部分のみを示す。例えば、図１において、ＣＰＵ５の指令に従って、撮像素子２及びＡ／Ｄ変換部３に撮影指示のタイミングパルスを発するタイミングジェネレータ等は省略されている。

撮像レンズ１は、複数の光学レンズにより構成され、被写体像を撮像素子２の受光面に結像する。

撮像素子２は、その受光面上にある複数の撮像画素の各々に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかの原色透過フィルタ（カラーフィルタ）がベイヤ配列型に設けられたＣＣＤやＣＭＯＳの半導体イメージセンサ等を適宜選択して用いる。さらに、本実施形態の撮像素子２は、受光面上の一部の領域に、水平走査方向に一次元的に配置された複数の焦点検出画素（ＡＦ画素）を有する。それらのＡＦ画素は、撮像画素のカラーフィルタは設置されておらず、且つ撮像レンズ１の光学系の瞳の左側又は右側を通過する光束を受光する２種類存在する。したがって、本実施形態におけるＡＦ画素の各々は、白色光の輝度に応じた左側又は右側の瞳分割された検出信号を出力する。

さらに、本実施形態の撮像素子２におけるＡＦ画素の分光感度特性は、各カラーフィルタの撮像画素の分光感度特性と後述する加重係数とを用いて、算出される加重和に近似的に一致するように設計されている。

図２は、撮像素子２によって撮像された画像データのうち、ＡＦ画素が配置された領域を中心とした画像データの一部を示す。それぞれのセルが１つの画素を表す。各セルの先頭の記号Ｒ、Ｇ及びＢは、各カラーフィルタを有する撮像画素を示す。一方、記号Ｘ及びＹは、左側又は右側からの光束に感度を有するＡＦ画素を示し、それらが交互に水平走査方向に一次元的に配列されている。これらの記号に続く２桁の番号は画素の位置を示す。

この撮像素子２は、ＣＰＵ５の指令を受けてタイミングジェネレータ（不図示）が発するタイミングパルスに基づいて動作し、前方に設けられた撮像レンズ１によって結像される被写体像を取得する。撮像素子２から出力された画像信号は、Ａ／Ｄ変換部３にてデジタル信号に変換される。デジタルの画像信号は、フレームメモリ（不図示）に一時的に記録された後、バッファメモリ４に記録される。なお、バッファメモリ４には、半導体メモリのうち、任意の不揮発性メモリを適宜選択して用いることができる。

ＣＰＵ５は、ユーザによる操作部材８の電源釦操作によって電子カメラ１０の電源が入れられると、記憶部９に記憶されている制御プログラムや画像処理プログラムを読み込み、電子カメラ１０を初期化する。ＣＰＵ５は、操作部材８を介してユーザからの指示を受け付けると、制御プログラムに基づいて、タイミングジェネレータ（不図示）に被写体の撮像指令を出力したり、画像処理部１２に撮像した画像の画像処理をさせたり、カードメモリ７への記録や表示部１１への表示等の制御を行う。ＣＰＵ５には、一般的なコンピュータのＣＰＵが使用できる。

カードＩ／Ｆ６には、カードメモリ７が脱着可能に装着される。バッファメモリ４に記録されている画像は、ＣＰＵ５の指示に基づいて画像処理部１２で画像処理された後、ＪＰＥＧ形式やＹＵＶ形式等のファイルとしてカードメモリ７に記録される。

操作部材８は、ユーザによる部材操作の内容に応じた操作信号をＣＰＵ５に出力する。操作部材８には、例えば、電源釦、撮影モード等のモード設定釦及びレリーズ釦等の操作部材を有する。なお、操作部材８は、後述する表示部１１の前面に設けられるタッチパネル式の釦であっても良い。

記憶部９は、電子カメラ１０が撮像した画像データを記録したり、ＣＰＵ５が電子カメラ１０を制御するための制御プログラムや画像処理部１２に行わせる画像処理プログラム等の各種プログラム等を記憶する。さらに、記憶部９は、撮像素子２のＡＦ画素の位置情報のデータ、予め求めておいた画像処理プログラムに用いる各種閾値や加算係数等のデータをも記憶する。記憶部９に記憶されるプログラムやデータは、バス１３を介して、ＣＰＵ５から適宜参照することができる。記憶部９は、一般的なハードディスク装置や光磁気ディスク装置等の記憶装置を適宜選択して用いることができる。

表示部１１は、スルー画や撮影した画像又はモード設定画面等を表示する。表示部１１には、液晶モニタ等を適宜選択して用いることができる。

画像処理部１２は、ＣＰＵ５の画像処理に指示に基づいて、輪郭強調処理やホワイトバランス補正等の画像処理とともに、ＡＦ画素の画素位置における撮像画素値の補間計算を行うディジタルフロントエンド回路である。

次に、本実施形態に係る電子カメラ１０について、図３のフローチャートを参照しながら説明する。

ユーザにより操作部材８の電源釦が押されると、ＣＰＵ５は、電子カメラ１０の記憶部９に記憶されている制御プログラム及び画像処理プログラムを読み込み、電子カメラ１０を初期化する。ＣＰＵ５は、ユーザからの被写体の撮像指示が出されるまで待機する。ユーザによって操作部材８のレリーズ釦が押されると、ＣＰＵ５は、撮像指示が出されたと判断して、ステップＳ１０〜ステップＳ２３の処理を行う。なお、本実施形態において、撮像画素の各々に設置されるカラーフィルタがベイヤ配列のパターンであることから、記号ＸのＡＦ画素の位置には緑色（Ｇ）の撮像画素値が補間され、記号ＹのＡＦ画素の画素位置には青色（Ｂ）の撮像画素値が補間される。以下の説明では、Ｙ４４の青色の撮像画素値とＸ４５の緑色の撮像画素値とをそれぞれ補間する場合について説明する。他のＡＦ画素における撮像画素値を補間する手順も同様である。

ステップＳ１０：ＣＰＵ５は、タイミングジェネレータ（不図示）に対して撮像指令を出す。タイミングジェネレータ（不図示）は、タイミングパルスを撮像素子２に発し、撮像素子２は撮像レンズ１によって結像される被写体を撮像する。撮像した画像データは、Ａ／Ｄ変換部３を介して、バッファメモリ４に記録される。

ステップＳ１１：ＣＰＵ５は、ステップＳ１０で撮影された画像データをバッファメモリ４から読み込むとともに、ＡＦ画素の位置情報のデータ、後述する閾値及び加算係数を記憶部９から読み込む。ＣＰＵ５は、それらの画像データ、ＡＦ画素の位置情報、閾値及び加算係数をバス１３を介して画像処理部１２へ転送し、画像処理部１２に対して、輪郭強調処理やホワイトバランス補正等の画像処理とともに、ＡＦ画素の位置における撮像画素値を補間計算で求める。画像処理部１２は、Ｘ４５及びＹ４４のＡＦ画素での撮像画素値を補間するために、Ｘ４５及びＹ４４の周辺の撮像画素の画素値を用いて４方向の画素値の変化率である方向変動Ｈ１〜Ｈ４の値を、次式（１）〜（４）を用いてそれぞれ求める。なお、本実施形態における４方向とは、水平走査方向、垂直走査方向、水平走査方向に対して４５度及び１３５度方向である。
水平走査方向の方向変動Ｈ１＝
２×（｜Ｇ３４−Ｇ３６｜＋｜Ｇ５４−Ｇ５６｜）＋｜Ｒ３３−Ｒ３５｜＋｜Ｒ５３−Ｒ５５｜＋｜Ｂ２４−Ｂ２６｜＋｜Ｂ６４−Ｂ６６｜ …（１）
垂直走査方向の方向変動Ｈ２＝
２×（｜Ｇ３４−Ｇ５４｜＋｜Ｇ３６−Ｇ５６｜）＋｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜ …（２）
水平走査方向に対して４５度の方向変動Ｈ３＝
２×（｜Ｇ２７−Ｇ３６｜＋｜Ｇ５４−Ｇ６３｜）＋｜Ｒ３５−Ｒ５３｜＋｜Ｒ３７−Ｒ５５｜＋｜Ｂ２６−Ｂ６２｜＋｜Ｂ２８−Ｂ６４｜ …（３）
水平走査方向に対して１３５度の方向変動Ｈ４＝
２×（｜Ｇ２３−Ｇ３４｜＋｜Ｇ５６−Ｇ６７｜）＋｜Ｒ３３−Ｒ５５｜＋｜Ｒ３５−Ｒ５７｜＋｜Ｂ２２−Ｂ６６｜＋｜Ｂ２４−Ｂ６８｜ …（４）
ステップＳ１２：画像処理部１２は、ステップＳ１１で求めた方向変動Ｈ１〜Ｈ４のうち最も小さい値の方向変動の方向を選択し、その方向にある撮像画素の画素値を用いて、ＡＦ画素Ｘ４５の位置でのＧの撮像画素値Ｇ_Ｘ４５及びＡＦ画素Ｙ４４の位置でのＢの撮像画素値Ｂ_Ｙ４４を、次式（５）〜（８）のうち選択した方向に対応する式を用いて求める。これにより、変動の小さい方向にある撮像画素の画素値を用いることにより、より正確にＸ４５及びＹ４４等のＡＦ画素の位置での撮像画素値を補間することが可能となる。
方向変動Ｈ１が最小の場合
Ｂ_Ｙ４４＝（Ｂ２４＋Ｂ６４）／２ …（５）
Ｇ_Ｘ４５＝（Ｇ３４＋Ｇ３６＋Ｇ５４＋Ｇ５６）／４
方向変動Ｈ２が最小の場合
Ｂ_Ｙ４４＝（Ｂ２４＋Ｂ６４）／２ …（６）
Ｇ_Ｘ４５＝（Ｇ２５＋Ｇ６５）／２
方向変動Ｈ３が最小の場合
Ｂ_Ｙ４４＝（Ｂ２６＋Ｂ６２）／２ …（７）
Ｇ_Ｘ４５＝（Ｇ３６＋Ｇ５４）／２
方向変動Ｈ４が最小の場合
Ｂ_Ｙ４４＝（Ｂ２２＋Ｂ６６）／２ …（８）
Ｇ_Ｘ４５＝（Ｇ３４＋Ｇ５６）／２
ステップＳ１３：画像処理部１２は、ＡＦ画素の配列方向である水平走査方向において、ＡＦ画素の画素値の方向変動Ｈ５を、例えば、ＡＦ画素のＹ４４及びＸ４５の白色光の画素値Ｗ４４及びＷ４５と次式（９）とを用いて算出する。
Ｈ５＝｜Ｗ４４−Ｗ４５｜ …（９）
画像処理部１２は、その方向変動Ｈ５の値が閾値ｔｈ１より大きいか否かを判定する。閾値ｔｈ１より方向変動Ｈ５が大きい場合（ＹＥＳ側）、画像処理部１２は、ステップＳ１２で求めたＢ_Ｙ４４及びＧ_Ｘ４５の補間した値をＹ４４及びＸ４５における撮像画素値とし、画像データを更新する。画像処理部１２は、更新した画像データをバス１３を介してバッファメモリ４に記録し、ステップＳ２３へ移行する。一方、方向変動Ｈ５が閾値ｔｈ１以下の場合（ＮＯ側）、画像処理部１２は、ステップＳ１４へ移行する。なお、閾値ｔｈ１は、例えば、１２ビット画像を処理する場合、５１２程度の値にすれば良い。

ステップＳ１４：画像処理部１２は、ステップＳ１１で求めた方向変動Ｈ２の値が、閾値ｔｈ２より小さいか否かを判定する。閾値ｔｈ２よりＨ２が小さい場合（ＹＥＳ側）、画像処理部１２は、ステップＳ１２で求めたＢ_Ｙ４４及びＧ_Ｘ４５の補間した値をＹ４４及びＸ４５における撮像画素値とし、画像データを更新する。画像処理部１２は、更新した画像データをバス１３を介してバッファメモリ４に記録し、ステップＳ２３へ移行する。一方、方向変動Ｈ２が閾値ｔｈ２以下の場合（ＮＯ側）、画像処理部１２は、ステップＳ１５へ移行する。なお、閾値ｔｈ２は、例えば、１２ビット画像を処理する場合、６４程度の値にすれば良い。

ステップＳ１５：画像処理部１２は、右側からの光束に感度を有するＹ４４等のＡＦ画素における白色光の平均画素値＜Ｗ４４＞等を、近傍にあるカラーフィルタＲ、Ｇ及びＢの撮像画素の画素値を用いて算出する。具体的には、ステップＳ１２において、例えば、画像処理部１２が方向変動Ｈ２を最小であると判定した場合、Ｂの撮像画素の画素値は式（６）にあるＢ２４とＢ６４とを用いる。一方、Ｒ及びＧの画素値については、Ｂの撮像画素Ｂ２４とＢ６４との位置におけるＲ及びＧの画素値を次式（１０）の４式を用いて補間計算する。
Ｒ_Ｂ２４＝（Ｒ１３＋Ｒ１５＋Ｒ３３＋Ｒ３５）／４ …（１０）
Ｇ_Ｂ２４＝（Ｇ１４＋Ｇ２３＋Ｇ２５＋Ｇ３４）／４
Ｒ_Ｂ６４＝（Ｒ５３＋Ｒ５５＋Ｒ７３＋Ｒ７５）／４
Ｇ_Ｂ６４＝（Ｇ５４＋Ｇ６３＋Ｇ６５＋Ｇ７４）／４
そして、画像処理部１２は、撮像画素Ｂ２４及びＢ６４の位置における白色光の画素値Ｗ２４及びＷ６４を、ＣＰＵ５から転送されてきたＲ、Ｇ及びＧの加重係数ＷＲ、ＷＧ及びＷＢを用いて、式（１１）の加重和によって算出する。なお、加重係数ＷＲ、ＷＧ及びＷＢの求め方については後述する。
Ｗ２４＝ＷＲ×Ｒ_Ｂ２４＋ＷＧ×Ｇ_Ｂ２４＋ＷＢ×Ｂ２４ …（１１）
Ｗ６４＝ＷＲ×Ｒ_Ｂ６４＋ＷＧ×Ｇ_Ｂ６４＋ＷＢ×Ｂ６４
そして、画像処理部１２は、Ｙ４４における白色光の平均画素値＜Ｗ４４＞＝（Ｗ２４＋Ｗ６４）／２を算出する。

ステップＳ１６：画像処理部１２は、左側からの光束に感度を有するＸ４５等のＡＦ画素における白色光の平均画素値＜Ｗ４５＞等を、ステップＳ１５の場合と同様に、近傍にあるカラーフィルタＲ、Ｇ及びＢの撮像画素の画素値を用いて算出する。ステップＳ１２において、画像処理部１２が方向変動Ｈ２を最小であると判定した場合、Ｇの撮像画素の画素値は式（６）にあるＧ２５とＧ６５とを用いる。一方、Ｒ及びＢの画素値については、Ｇの撮像画素Ｇ２５とＧ６５との位置におけるＲ及びＢの画素値を次式（１２）の４式を用いて補間計算する。
Ｒ_Ｇ２５＝（Ｒ１５＋Ｒ３５）／２ …（１２）
Ｂ_Ｇ２５＝（Ｂ２４＋Ｂ２６）／２
Ｒ_Ｇ６５＝（Ｒ５５＋Ｒ７５）／２
Ｂ_Ｇ６５＝（Ｂ６４＋Ｇ６６）／２
そして、画像処理部１２は、撮像画素Ｇ２５及びＧ６５の位置における白色光の画素値Ｗ２５及びＷ６５を、式（１３）の加重和によって算出する。
Ｗ２５＝ＷＲ×Ｒ_Ｇ２５＋ＷＧ×Ｇ２５＋ＷＢ×Ｂ_Ｇ２５ …（１３）
Ｗ６５＝ＷＲ×Ｒ_Ｇ６４＋ＷＧ×Ｇ２５＋ＷＢ×Ｂ_Ｇ６５
そして、画像処理部１２は、Ｘ４５における白色光の平均画素値＜Ｗ４５＞＝（Ｗ２５＋Ｗ６５）／２を算出する。

ステップＳ１７：画像処理部１２は、撮像素子２の各ＡＦ画素における白色光の画素値の高周波成分を、ステップＳ１５及びステップＳ１６において求めた白色光の平均画素値を用いて求める。画像処理部１２は、撮像素子２の各ＡＦ画素の画素値から、各ＡＦ画素の画素位置における白色光の平均画素値を最初に求める。つまり、各ＡＦ画素の画素値は、左側又は右側からの光束を瞳分割した値である。したがって、各ＡＦ画素の位置における白色光の画素値を得るためには、左側及び右側からの光束の画素値を互いに加算する必要がある。そこで、本実施形態の画像処理部１２は、各ＡＦ画素の画素値及び隣接するＡＦ画素の画素値を用いて、例えば、ＡＦ画素Ｙ４４やＸ４５の位置における白色光の平均画素値を次式（１４）のように算出する。
＜Ｗ４４＞’＝Ｗ４４＋（Ｗ４３＋Ｗ４５）／２ …（１４）
＜Ｗ４５＞’＝Ｗ４５＋（Ｗ４４＋Ｗ４６）／２
そして、画像処理部１２は、次式（１５）から、Ｙ４４及びＸ４５の位置における白色光の高周波成分ＨＦ_Ｙ４４及びＨＦ_Ｘ４５を求める。
ＨＦ_Ｙ４４＝＜Ｗ４４＞’−＜Ｗ４４＞ …（１５）
ＨＦ_Ｘ４５＝＜Ｗ４５＞’−＜Ｗ４５＞
ステップＳ１８：画像処理部１２は、ステップＳ１７で求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦがその白色光の画素値に占める割合が、閾値ｔｈ３（本実施形態では、例えば、１０％程度）より小さいか否かを判定する。閾値ｔｈ３より高周波成分ＨＦが小さい場合（ＹＥＳ側）、画像処理部１２は、ステップＳ１２で求めたＢ_Ｙ４４及びＧ_Ｘ４５の補間した値をＹ４４及びＸ４５における撮像画素値とし、画像データを更新する。画像処理部１２は、更新した画像データをバス１３介してバッファメモリ４に記録し、ステップＳ２３へ移行する。一方、高周波成分ＨＦが閾値ｔｈ３以上の場合（ＮＯ側）、画像処理部１２は、ステップＳ１９へ移行する。なお、閾値ｔｈ３の値についての説明は、後の加算係数ＷＲ、ＷＧ及びＷＢの説明とともに行う。

ステップＳ１９：画像処理部１２は、Ｙ４４やＸ４５の近傍における各カラーフィルタＲ、Ｇ又はＢの撮像画素の画素値の色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを算出する。ここで、色変動ＶＧｒ及びＶＧｂは、Ｒ又はＢの撮像画素の位置におけるＧの色変動を示す。画像処理部１２は、次式（１６）の２式に基づいて、色変動ＶＲとＶＧｒとを求める。
ＶＲ ＝｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｒ３７−Ｒ５７｜
ＶＧｒ＝｜（Ｇ３２＋Ｇ３４）／２−（Ｇ５２＋Ｇ５４）／２｜＋｜（Ｇ３４＋Ｇ３６）／２−（Ｇ５４＋Ｇ５６）／２｜＋｜（Ｇ３６＋Ｇ３８）／２−（Ｇ５６＋Ｇ５８）／２｜ …（１６）
なお、本実施形態の画像処理部１２は、Ｒの撮像画素の位置Ｒ３３、Ｒ３５、Ｒ３７、Ｒ５３、Ｒ５５及びＲ５７におけるＧの画素値の平均値を求めてからＶＧｒの値を計算する。

一方、画像処理部１２は、次式（１７）の２式に基づいて、色変動ＶＢとＶＧｂとを求める。
ＶＢ ＝｜Ｂ２２−Ｂ６２｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
ＶＧｂ＝｜（Ｇ２１＋Ｇ２３）／２−（Ｇ６１＋Ｇ６３）／２｜＋｜（Ｇ２３＋Ｇ２５）／２−（Ｇ６３＋Ｇ６３）／２｜＋｜（Ｇ２５＋Ｇ２７）／２−（Ｇ６５＋Ｇ６７）／２｜ …（１７）
なお、本実施形態の画像処理部１２は、Ｂの撮像画素の位置Ｂ２２、Ｂ２４、Ｂ２６、Ｂ６２、Ｂ６４及びＢ６６におけるＧの画素値の平均値を求めてからＶＧｂの値を計算する。

ステップＳ２０：画像処理部１２は、ステップＳ１９で算出した色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを用いて、カラーフィルタＧ及びＢの白色光に対する色変動率Ｋ_ＷＧ及びＫ_ＷＢを算出する。まず、画像処理部１２は、色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂから次式（１８）の色変動ＶＲ２、ＶＧ２及びＶＢ２を求める。
ＶＲ２＝（ＶＲ＋α）×（ＶＧｂ＋α） …（１８）
ＶＢ２＝（ＶＢ＋α）×（ＶＧｒ＋α）
ＶＧ２＝（ＶＧｂ＋α）×（ＶＧｒ＋α）
ここで、αは、色変動率の値を安定させるための適当な定数であり、例えば、１２ビット画像を処理する場合には、α＝２５６程度の値にすれば良い。

そして、画像処理部１２は、色変動ＶＲ２、ＶＧ２及びＶＢ２を用いて、次式（１９）の白色光における色変動ＶＷを算出する。
ＶＷ＝ＶＲ２＋ＶＧ２＋ＶＢ２ …（１９）
よって、画像処理部１２は、色変動率Ｋ_ＷＧ及びＫ_ＷＢを次式（２０）から算出する。
Ｋ_ＷＢ＝ＶＧ２／ＶＷ …（２０）
Ｋ_ＷＢ＝ＶＢ２／ＶＷ
ステップＳ２１：画像処理部１２は、ステップＳ１７において求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦと、ステップＳ２０で算出した色変動率Ｋ_ＷＧ及びＫ_ＷＢとを用いて、各ＡＦ画素の位置におけるカラーフィルタＧ及びＢの画素値の高周波成分を次式（２１）から算出する。
ＨＦＢ_Ｙ４４＝ＨＦ_Ｙ４４×Ｋ_ＷＢ …（２１）
ＨＦＧ_Ｘ４５＝ＨＦ_Ｘ４５×Ｋ_ＷＧ
ステップＳ２２：画像処理部１２は、ステップＳ２１で求めた各ＡＦ画素における各カラーフィルタの高周波成分を、ステップＳ１２で補間して求めた撮像画素値に付加する。ＣＰＵ５は、例えば、次式（２２）に基づいて、Ｙ４４及びＸ４５の撮像画素値Ｂ’及びＧ’をそれぞれ算出する。
Ｂ’_Ｙ４４＝Ｂ_Ｙ４４＋ＨＦ_Ｙ４４ …（２２）
Ｇ’_Ｘ４５＝Ｇ_Ｘ４５＋ＨＦ_Ｘ４５
画像処理部１２は、Ｙ４４やＸ４５等のＡＦ画素の位置において補間して求めたＢ’_Ｙ４４及びＧ’_Ｘ４５等の画素値を、それぞれの位置における撮像画素値として、画像データを更新する。画像処理部１２は、更新した画像データをバス１３を介してバッファメモリ４に記録する。

ステップＳ２３：ＣＰＵ５は、バッファメモリ４にある画像データをＪＰＥＧ形式やＹＵＶ形式等のファイルにして、バス１３とカードＩ／Ｆ６とを介して、カードメモリ７に記録して、一連の作業を終了する。

次に、加重係数ＷＲ、ＷＧ及びＷＢの求め方について、閾値ｔｈ３とともに説明する。

そうした加算係数や閾値を求めるにあたり、製品に組み込まれる撮像素子２又はその撮像素子２と同じ性能を持つ撮像素子を用意する。その撮像素子２にほぼ一様な照度の照明を波長帯域を様々に変えて照射し、それぞれの波長帯域についての撮像画像データを取得する。そして、各波長帯域の撮像画像データｎについて、式（１４）のように瞳分割の異なるＡＦ画素の画素値を加算することにより白色光の画素値Ｗｎを算出する。同時に、ＡＦ画素の近傍にある各カラーフィルタの撮像画素の画素値Ｒｎ、Ｇｎ、Ｂｎについても抽出する。

そして、未知の加重係数ＷＲ、ＷＧ及びＷＢの関数として二乗誤差Ｅを次のように定義する。
Ｅ＝Σ_ｎ（ＷＲ×Ｒｎ＋ＷＧ×Ｇｎ＋ＷＢ×Ｂｎ−Ｗｎ）^２
そして、Ｅを最小とする加重係数ＷＲ、ＷＧ及びＷＢを求める（ＥをＷＲ、ＷＧ又はＷＢでそれぞれ偏微分した値を０にする加重係数ＷＲ、ＷＧ及びＷＢを求める）。このようにして、加重係数ＷＲ、ＷＧ及びＷＢを求めることにより、ＡＦ画素の分光感度特性を各カラーフィルタＲ、Ｇ及びＢの撮像画素の分光感度特性の加重和によって表される加重係数が求められる。このように求めた加重係数ＷＲ、ＷＧ及びＷＢを電子カメラ１０の記憶部９に記録する。

さらに、求めた加重係数ＷＲ、ＷＧ及びＷＢにもとづいて各撮像画像データｎについて誤差率Ｋｎを次の式で求める。
Ｋｎ＝｜ＷＲ×Ｒｎ＋ＷＧ×Ｇｎ＋ＷＢ×Ｂｎ−Ｗｎ｜／Ｗｎ
Ｋｎの最大値を求め、閾値ｔｈ３として電子カメラ１０の記憶部９に記録する。

次に、本実施形態の撮像素子２におけるＡＦ画素の分光感度特性が、各カラーフィルタの撮像画素の分光感度特性と加重係数とを用いて、算出される加重和に近似的に一致するように、撮像画素及びＡＦ画素の分光感度特性を設計する方法について説明する。

まず、色再現性やノイズ特性等を考慮して公知の方法により、撮像画素及びＡＦ画素の分光感度特性を設計する。即ち、カラーフィルタの厚さや素材の種類や濃度を様々に変更しながら、複数種類の撮像画素及びＡＦ画素の分光感度特性を求める。そのようにして求めた複数種類の撮像画素及びＡＦ画素の分光感度特性を用いて、ＡＦ画素の分光感度特性と各カラーフィルタの撮像画素の分光感度特性の加重和との近似誤差を表す評価値を算出する。そして、その複数種類の撮像画素及びＡＦ画素の分光感度特性のうち、上記評価値が所定値以内に抑制できているものを選択する。或いは、色再現性やノイズ特性等及び評価値を総合的に評価して、最適な撮像画素及びＡＦ画素の分光感度特性を選択しても良い。

近似誤差である評価値としては、例えば、二乗誤差Ｅの最小値や誤差率Ｋｎの最大値等を用いれば良い。或いは、人間の視感度が高い波長４００ｎｍから６７０ｎｍの帯域における、ＡＦ画素の分光感度特性に対する、各カラーフィルタの撮像画素の分光感度特性の加重和の誤差率の最大値を評価値としても良い。例えば、その評価値の絶対値を１０％未満に抑制すれば、あらゆる照明条件について、各カラーフィルタの撮像画素の加重和は、充分な精度で（ＡＦ画素の出力に相当する）白色光の画素値に一致する。

なお、ＡＦ画素の上に薄いカラーフィルタを配置することにより、評価値を抑制しても良い。

なお、近似誤差を評価するにあたり、実際に撮像素子を作成せずにシミュレーション計算によって、撮像画素及びＡＦ画素の分光感度特性を予測し、その予測された分光感度特性に基づいて近似誤差を評価しても良い。

図４は、本実施形態の効果が発揮される画像構造の一例を表す。図４は凸構造（明るい線あるいは点）を含む縦５画素の画像構造を縦断した図であり、横軸は垂直走査方向（ｙ座標）であり縦軸は光量または画素値である。そして、凸構造がちょうど水平走査方向に配列されたＡＦ画素列上にある。

図４の○印は、Ｇの撮像画素で撮像された画素値である。ただし、ＡＦ画素の位置にはＧの撮像画素が存在しないので、その位置でのＧの画素値は得られない。従って、丁度ＡＦ画素の位置に凸構造がある場合には、ＡＦ画素の近傍のＧの撮像画素の画素値からだけでは、図４の凸構造を再現できない。実際、ステップＳ１２において、ＡＦ画素の近傍のＧの撮像画素の画素値を用いてＡＦ画素の位置で補間して求めたＧの画素値（図４の●印）は、凸構造を再現していない。

一方、ＡＦ画素の位置では、白色光の画素値が得られる。ただし、通常の画素は瞳の全領域を通過する光を受光するのに対し、ＡＦ画素は瞳の右側あるいは左側を通過する光のみを受光するので、瞳分割の異なる隣接するＡＦ画素を加算することにより通常の（瞳の全領域を通過した光の）白色光の画素値が算出される（式（１４））。

また、本発明の撮像素子は、ＡＦ画素の分光感度特性が各カラーフィルタの撮像画素の分光感度特性の加重和に近似的に一致するように設計されているので、ＡＦ画素の近傍のＧの撮像画素の位置に、他のカラーフィルタＲ及びＧを補間生成して、カラーフィルタＲ、Ｇ及びＢの加重和を求めることにより、充分な精度で（ＡＦ画素の出力に相当する）白色光の画素値を求めることができる（式（１１）及び式（１３））。

図４の□印は、そのようにして求めた白色光の画素値の分布である。多くの場合白色光の画素値の高周波成分とカラーフィルタＧの画素値の高周波成分とは比例するので、白色光の画素値から算出した高周波成分はＧの画素値の凸構造成分の情報を持つ。よって、白色光の画素値の高周波成分に基づいてＧの画素値の高周波成分を求め、その値を●印のデータに加えることにより、☆印のＧの画素値が得られ、凸構造を再現する（式（２１））。

なお、図５は、微細な色構造を持つ画像についても、本実施形態によって適切に色構造が再現されることを表す例である。この色構造では、ＡＦ画素が配列されている位置にちょうど黄色い線があり、その周囲は白色である。黄色い線なので、ＡＦ画素が配列される位置ではカラーフィルタＢの画素値は小さくなり、カラーフィルタＲ及びＧの画素値はほぼ一様である。○印はＧの撮像画素の画素値であり、△印はＢの撮像画素の画素値である。そして、●印は、ステップＳ１２の処理でＧの画素値から補間生成された画素値であり、▲印は、ステップＳ１２の処理でＢの画素値から補間生成された画素値である。図５が示すように、●印及び▲印は、凹み構造を持たない。一方、□印はステップＳ１５又はステップＳ１６で求めた白色光の画素値であり、その分布は凹み構造を示す。したがって、上述のように、ＡＦ画素列の位置において、Ｂの画素値は小さい値にならないといけないことから、▲印の画素値が誤りである。

そこで、図３のステップＳ１９及びステップＳ２０において、ＡＦ画素の近傍の各カラーフィルタＲ、Ｇ及びＢの撮像画素の画素値のばらつきを求め、各カラーフィルタが変動する比率である色変動率を算出する。多くの場合、色構造は広がりを持つことから、ＡＦ画素の近傍で求めた色変動率をＡＦ画素の位置における色変動率とすることには問題ない。ただし、カラーフィルタＲ、Ｇ及びＢの撮像画素の位置が異なるので、単にＲとＧとＢとについての画素値のばらつきをそれぞれ算出して比較するだけでは、画像構造が位置によって異なることに起因する影響を大きく受ける。そこで、ＲとＧの変動を比較する際には、Ｒの撮像画素の画素値のばらつき（ＶＲ）に対して、Ｒの撮像画素の位置に補間したＧの画素値のばらつき（ＶＧｒ）を比較することにより、位置に起因する影響を抑制している（式（１６））。すなわち、
Ｒの画素値の変動（ＶＲ２）：Ｇの画素値の変動（ＶＧ２）＝ ＶＲ：ＶＧｒ
である。同様に、
Ｂの画素値の変動（ＶＢ２）：Ｇの画素値の変動（ＶＧ２） ＝ ＶＢ：ＶＧｂ
であり、それらの関係をまとめたのが式（１８）である。白色光の画素値の変動（ＶＷ）を、式（１９）と見積もれば、白色光の画素値の変動（ＶＷ）に対するＢの画素値の色変動率Ｋ_ＷＢ及びＧの画素値の色変動率Ｋ_ＷＧは、式（２０）から算出できる。そして、ステップＳ２１では、それらの色変動率Ｋ_ＷＢとＫ_ＷＧとに基づいて、白色光の画素値の高周波成分ＨＦを調整することにより、Ｇの画素値の高周波成分ＨＦＧ及びＢの画素値の高周波成分ＨＦＢを算出することができる。

図５の画像の場合には、白色光の画素値に対するＢの画素値の色変動率Ｋ_ＷＢは１に近い値となり、▲印の画素値を補間して求めたＢの画素値に高周波成分ＨＦＢを付加した画素値（図５の☆印）は、凹み構造を正しく再現する。一方、白色光の画素値に対するＧの画素値の色変動率Ｋ_ＷＧは０に近い値となり、●印の画素値を補間して求めたＢの画素値には、高周波成分ＨＦＧはほとんど付加されないので、凹構造とはならず一定の値の構造のままである。

なお、ステップＳ１７の式（１４）において、ＡＦ画素の配列方向に隣接するＡＦ画素の画素値を用いて、各ＡＦ画素の位置における白色光の画素値を算出するので、白色光の画素値の配列方向の解像力が失われる。したがって、配列方向に強い変動がある場合には、高周波成分の計算が不正確になるが、ステップＳ１３では、そのような場合には高周波成分の付加を中止する。

また、ＡＦ画素の配列方向に変動はなくても、各カラーフィルタの撮像画素の分光感度特性の加重和とＡＦ画素の分光感度特性とのズレ等に起因して、白色光の画素値の高周波成分が若干の誤差を持つ。垂直走査方向（ＡＦ画素の配列方向に交わる方向）に画像の大きな変動がない場合には、高周波成分を付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じる恐れがある。そこで、ステップＳ１４では、そのような場合には高周波成分の付加を抑制する。また、算出された高周波成分が充分小さい場合にはそれを付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じる恐れがあるため、ステップＳ１８ではそのような場合には高周波成分の付加を抑制する。

ステップＳ１７の式（１４）で、瞳分割の異なるＡＦ画素の画素値の和を求めることにより、通常の（瞳の全領域を通過した光の）白色光の画素値を算出している。ただし、ＡＦ画素値の和を通常の白色光の画素値とみなせるのは、ＡＦ画素が瞳を厳密に半分ずつに分割している場合である。

一方、ＡＦ画素の設計しだいでは上記とは異なる場合もある。例えば、ＡＦ画素が瞳の中間付近を受光せず、瞳の全領域の右側の３割程度の光と左側の３割程度の光とをそれぞれのＡＦ画素で受光するように設計する場合もある。このタイプのＡＦ画素によると像の位相差が大きくなるので、（Ｆ値が所定値以下である場合には）高いＡＦ精度を実現できる。

上記ＡＦ画素を採用した場合、式（１４）で算出されるＡＦ画素の画素値の和は通常の白色光の画素値に比例した値になるが、その比例関係は撮影光学系の条件（Ｆ値、ＰＯ値、ＡＦ画素位置など）に応じて異なる。

そこで、撮影光学条件を取得して、それに応じてＡＦ画素の画素値の和を調整することにより、ＡＦ画素位置における通常の白色光の画素値を求めても良い。

或いは、ＡＦ画素近傍における白色成分を推定するための加重係数である、ＷＲ、ＷＧ及びＷＢを調整することにより、ＡＦ画素近傍における白色成分の推定値がＡＦ画素の画素値の和に相当するように調整しても良い。この方法によると、ＡＦ画素の画素値の和と通常の白色光の画素値との比例関係が入射光の波長に若干依存することに対応できる。

或いは、上記２つのタイプの調整を組み合わせても良い。

なお、ＡＦ画素が瞳を半分ずつに分割するように設計した場合であっても、ＡＦ画素の構造上の制限や製造誤差により、厳密にはそれが実現されない場合があるが、上記調整はそのような場合にも有効である。

なお、ＡＦ画素値が飽和している場合、ＡＦ画素値に基づいて推定された白色成分は実際よりも小さな値になるので、式（１５）で算出される高周波成分は実際よりも小さな値になる。その場合、特に負の高周波成分を補間値に加算すると、偽の画像構造が生成されてしまう場合がある。そこで、ＡＦ画素値が飽和して高周波成分が負である場合には、高周波成分の加算を抑制することが望ましい。

なお、ＡＦ画素の近傍の撮像画素値が飽和している場合、その画素値に基づいて推定された近傍の白色成分は実際よりも小さな値になるので、式（１５）で算出される高周波成分は実際よりも大きな値になる。その場合、特に正の高周波成分を補間値に加算すると、偽の画像構造が生成されてしまう場合がある。そこで、ＡＦ画素の近傍の撮像画素値が飽和して高周波成分が正である場合には、高周波成分の加算を抑制することが望ましい。

なお、本実施形態では、ＡＦ画素の配列方向を水平走査方向としたが、本発明はこれに限定されず、ＡＦ画素は垂直走査方向又はその他の方向に配列されていても良い。

なお、本実施形態では、ＡＦ画素の各々は左側又は右側からの光束を瞳分割する焦点検出画素としたが、本発明はこれに限定されず、ＡＦ画素の各々は左側及び右側からの光束を瞳分割する画素を有する焦点検出画素でも良い。

なお、本発明に係る画像処理装置における処理をコンピュータで実現するためのプログラムに対しても適用可能である。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されてはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１ 撮像レンズ、２ 撮像素子、３ Ａ／Ｄ変換部、４ バッファメモリ、５ ＣＰＵ、６ カードＩ／Ｆ、７ カードメモリ、８ 操作部材、９ 記憶部、１０ 電子カメラ、１１ 表示部、１２ 画像処理部、１３ バス

Claims (6)

1. 異なる分光感度特性を有するカラーフィルタを有する複数の撮像用画素と、
   前記各カラーフィルタを有する撮像用画素の分光感度特性と前記各カラーフィルタに応じた加重係数との加重和によって近似される分光感度特性を有し、前記撮像用画素とともに配置される焦点検出用画素と、を備え、
   前記焦点検出用画素の分光感度特性と前記加重和との近似誤差の大きさが所定の範囲内であることを、分光感度特性の評価項目の少なくとも１つとして、前記撮影用画素及び前記焦点検出用画素の分光感度特性が設計される
   ことを特徴とする撮像素子。
2. 異なる分光感度特性を有するカラーフィルタを有する複数の撮像用画素と、
   前記各カラーフィルタを有する撮像用画素の分光感度特性と前記各カラーフィルタに応じた加重係数との加重和によって近似される分光感度特性を有し、前記撮像用画素とともに配置される焦点検出用画素と、を備え、
   前記焦点検出用画素は、前記焦点検出用画素の分光感度特性と前記加重和との近似誤差を抑制するカラーフィルタをさらに有し、
   前記焦点検出用画素の分光感度特性と前記加重和との近似誤差の大きさが所定の範囲内であることを、分光感度特性の評価項目の少なくとも１つとして、前記撮影用画素及び前記焦点検出用画素の分光感度特性が設計される
   ことを特徴とする撮像素子。
3. 請求項１又は請求項２に記載の撮像素子において、
   前記所定の範囲内は、前記近似誤差の大きさの絶対値が、波長４００ｎｍから６７０ｎｍの範囲において、前記焦点検出用画素の分光感度特性の１０％未満であることを特徴とする撮像素子。
4. 請求項１ないし請求項３のいずれか１項に記載の撮像素子によって撮像された画像に対して、前記焦点検出用画素における補間画素値を、前記焦点検出用画素近傍の前記撮像用画素の画素値を用いて生成する画素補間部と、
   前記近傍の撮像用画素が前記焦点検出用画素と同じ分光特性を有した場合の画素値である評価画素値を算出する近傍画素推定部と、
   前記焦点検出用画素の画素値と前記評価画素値とを用いて前記画像の高周波成分を算出する高周波成分算出部と、
   前記補間画素値に前記高周波成分を付加して前記焦点検出用画素の撮像用の画素値を算出する高周波成分付加部と、
   を備えることを特徴とする画像処理装置。
5. 請求項１ないし請求項３のいずれか１項に記載の撮像素子と、
   請求項４に記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
6. コンピュータを、請求項４に記載の画像処理装置として機能させるための画像処理プログラム。

Images