JP6124720B2 - 撮像装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、一部の画素を位相差方式の焦点検出素子として利用して焦点状態を検出する撮像素子の画素出力を処理する撮像装置、画像処理方法及び画像処理プログラムに関する。

撮像素子の一部の画素を焦点検出素子として利用して焦点状態を検出する撮像装置に関する提案が例えば特許文献１においてなされている。特許文献１は、撮像素子の一部の画素を焦点検出画素に設定し、撮影レンズの光軸中心に対して対称な異なる瞳領域を通過した被写体光束を複数の焦点検出画素に結像させ、この被写体光束の間の位相差を検出することによって撮影レンズの焦点状態を検出している。

ここで、焦点検出画素の一部の領域は遮光されている。したがって、焦点検出画素の画素出力は、通常の画素よりも減光された画素出力になる。この焦点検出画素における減光量は、焦点検出画素に関する光学特性によって変化することが知られている。そこで、特許文献２は、焦点検出画素の画素出力をゲイン調整によって補正したり、焦点検出画素の周辺の画素の画素出力を用いて補正したりしている。

特許第３５９２１４７号公報 特開２０１０−６２６４０号公報

特許文献２におけるゲイン調整量は、焦点検出画素における光量の低下量に応じて設定される。ここで、焦点検出画素における光量の低下は、焦点検出画素に形成された遮光膜の面積の他、遮光膜の位置、焦点検出画素に入射する光の角度、像高によっても異なるものである。これらの影響がないようにゲイン調整量を補正係数として求めるための手法として焦点検出画素と通常の画素の画素出力を比較する手法が考えられる。ただし、この手法で精度よくゲイン調整量を求めるためには、焦点検出画素と通常の画素との間に相関があることが望ましい。焦点検出画素と通常の画素との間に相関がない場合、補正係数を正確に求めることができない場合がある。

本発明は、前記の事情に鑑みてなされたもので、焦点検出画素を有する撮像素子からの画素出力を処理する撮像装置において、正確に焦点検出画素に対する補正係数を求めて補正を行うことが可能な撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、撮像画素の一部の位置に焦点検出を行うための開口位置が異なる焦点検出画素が配置された撮像素子により撮像して撮像データを出力する撮像部と、前記撮像データのうち前記焦点検出画素から出力される画素データを補正係数により補正する画像処理部とを具備する撮像装置において、前記画像処理部は、前記撮像素子上に像を形成するための撮影光学系の光学条件と前記開口位置に基づいて前記補正係数の範囲を補正範囲として決定する補正範囲決定部と、前記焦点検出画素の周辺に位置する画素の画素出力に基づいて前記補正係数を算出する補正係数算出部と、前記補正係数と前記補正範囲とに基づいて前記焦点検出画素の画素データを補正する画素補正部とを具備することを特徴とする。

前記の目的を達成するために、本発明の第２の態様の画像処理方法は、撮像画素の一部の位置に焦点検出を行うための開口位置が異なる焦点検出画素が配置された撮像素子により撮像された撮像データにおける前記焦点検出画素から出力される画素出力を補正係数により補正する画像処理方法において、前記撮像素子上に像を形成するための撮影光学系の光学条件と前記開口位置に基づいて前記補正係数の範囲を補正範囲として決定し、前記焦点検出画素の周辺に位置する画素の出力値に基づいて前記補正係数を算出し、前記補正係数と前記補正範囲とに基づいて前記焦点検出画素の画素データを補正することを特徴とする。

前記の目的を達成するために、本発明の第３の態様の画像処理プログラムは、撮像画素の一部の位置に焦点検出を行うための開口位置が異なる焦点検出画素が配置された撮像素子により撮像された撮像データにおける前記焦点検出画素から出力される画素出力を補正係数により補正するための機能をコンピュータに実現させるための画像処理プログラムにおいて、前記撮像素子上に像を形成するための撮影光学系の光学条件と前記開口位置に基づいて前記補正係数の範囲を補正範囲として決定する機能と、前記焦点検出画素の周辺に位置する画素の出力値に基づいて前記補正係数を算出する機能と、前記補正係数と前記補正範囲とに基づいて前記焦点検出画素の画素データを補正する機能とをコンピュータに実現させる。

本発明によれば、焦点検出画素を有する撮像素子からの画素出力を処理する撮像装置において、正確に焦点検出画素に対する補正係数を求めて補正を行うことが可能な撮像装置、画像処理方法及び画像処理プログラムを提供することができる。

本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。 撮像素子の画素配列の例を示した図である。 画像処理部の詳細な構成を示す図である。 静止画撮影動作の処理を示すフローチャートである。 補正範囲について説明するための図である。 補正係数の算出手法の例を説明するための図である。 動画撮影動作の処理を示すフローチャートである。 光学条件が時間的に変化する場合の補正範囲の調整の例を示した図である。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ（以下、単にカメラと言う）の構成を示すブロック図である。ここで、図１において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。また、図１のカメラは、レンズ交換式のカメラを例示している。ただし、本実施形態のカメラは、必ずしもレンズ交換式のカメラでなくてもよい。

図１に示すカメラ１は、交換式レンズ１００と、カメラ本体２００とを有している。交換式レンズ１００は、カメラ本体２００に着脱自在に構成されている。交換式レンズ１００はカメラ本体２００に装着されることにより、カメラ本体２００の制御に従って動作する。

交換式レンズ１００は、撮影レンズ１０１と、絞り１０３と、駆動部１０５と、ＣＰＵ（Central Processing Unit）１０７と、ＲＯＭ１０９と、インターフェース（Ｉ/Ｆ）１１１とを有している。

撮影レンズ１０１は、被写体３００からの像を撮像素子２０７に形成するための撮影光学系である。撮影レンズ１０１は、合焦位置を調節するためのフォーカスレンズを有していてもよく、またズームレンズとして構成されていてもよい。絞り１０３は、撮影レンズ１０１の光軸上に配置され、その口径が可変に構成されている。絞り１０３は、撮影レンズ１０１を通過した被写体３００からの光束の量を制限する。駆動部１０５は、ＣＰＵ１０７からの制御信号に基づいて撮影レンズ１０１の駆動や絞り１０３の駆動を行う。

ＣＰＵ１０７は、カメラ本体２００のＣＰＵ２１５の制御に従って駆動部１０５の制御等を行う。ＲＯＭ１０９は、撮影レンズ１０１の光学情報を記憶している。ＣＰＵ１０７は、必要に応じてＲＯＭ１０９から撮影レンズ１０１の光学情報を読み出し、読み出した光学情報をＩ/Ｆ１１１を介してカメラ本体２００のＣＰＵ２１５に伝送する。ここで、ＲＯＭ１０９に記憶される撮影レンズ１０１の光学情報は、例えば撮影レンズ１０１の種別を示す情報や撮影レンズ１０１の歪曲収差情報である。

カメラ本体２００は、メカシャッタ２０１と、駆動部２０３と、操作部２０５と、撮像素子２０７と、撮像制御回路２０９と、アナログ処理部２１１と、アナログデジタル（ＡＤ）変換部２１３と、ＣＰＵ２１５と、画像処理部２１７と、焦点検出回路２１９と、画像圧縮展開部２２１と、表示部２２３と、バス２２５と、ＤＲＡＭ（Dynamic Random Access Memory）２２７と、ＲＯＭ（Read Only Memory）２２９と、記録媒体２３１とを有する。

メカシャッタ２０１は、開閉自在に構成されている。メカシャッタ２０１は、撮像素子２０７への被写体３００からの被写体光束の入射時間（撮像素子２０７の露光時間）を調節する。メカシャッタ２０１としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用され得る。駆動部２０３は、ＣＰＵ２１５からの制御信号に基づいて及びメカシャッタ２０１の開閉制御を行う。

操作部２０５は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦といった各種の操作釦及びタッチパネル等の各種の操作部材を含む。この操作部２０５は、各種の操作部材の操作状態を検知し、検知結果を示す信号をＣＰＵ２１５に出力する。ここで、本実施形態の操作部２０５により、カメラ１の撮影モードを選択することが可能である。すなわち、ユーザは、操作部２０５を操作することにより、カメラ１の撮影モードを静止画撮影モードと動画撮影モードの何れかから選択することができる。静止画撮影モードは、静止画像を撮影するための撮影モードであり、動画撮影モードは、動画像を撮影するための撮影モードである。

撮像素子２０７は、撮影レンズ１０１の光軸上であって、メカシャッタ２０１の後方で、かつ撮影レンズ１０１によって被写体光束が結像される位置に配置されている。撮像素子２０７は、画素を構成するフォトダイオードが二次元的に配置されて構成されている。ここで、本実施形態における撮像素子２０７は、記録や表示のための画像を取得するための撮像画素と焦点検出をするための焦点検出画素とを有する。

撮像素子２０７を構成するフォトダイオードは、受光量に応じた電荷を生成する。フォトダイオードで発生した電荷は、各フォトダイオードに接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷が画像信号として読み出される。本実施形態における撮像素子２０７は、複数の異なる電荷の読み出し方式を有している。撮像素子２０７に蓄積された電荷は、撮像制御回路２０９からの制御信号に従って読み出される。

また、画素を構成するフォトダイオードの前面には、例えばベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有している。

撮像制御回路２０９は、ＣＰＵ２１５からの制御信号に従って撮像素子２０７の読み出し方式を設定し、設定した読み出し方式に従って撮像素子２０７からの画像信号の読み出しを制御する。撮像素子２０７からの画素出力（画素データ）の読み出し方式は、カメラ１の動作状態に応じて設定されるものである。例えば、撮像素子２０７からの画素データの読み出しにリアルタイム性が求められる場合（例えばライブビュー表示時や動画記録時）には、画素データの読み出しを高速に行えるよう、複数の同色画素からの画素データを混合して読み出すか、特定の画素の画素データを間引いて読み出す。一方、リアルタイム性よりも画質が求められる場合（例えば静止画像の記録時）には、混合読み出しや間引き読み出しをせずに全画素の画素データを読み出すことで解像力を維持する。

アナログ処理部２１１は、撮像制御回路２０９の制御に従って撮像素子２０７から読み出された画像信号に対してアナログ処理を施す。このアナログ処理は、相関二重サンプリング処理やゲイン調整処理等が含まれる。

撮像素子２０７、撮像制御回路２０９、アナログ処理部２１１とともに撮像部として機能するＡＤ変換部２１３は、アナログデジタル変換器であり、アナログ処理部２１１でアナログ処理された画像信号を、デジタル形式の画像信号（画素データ）に変換する。以下、本明細書においては、複数の画素データの集まりを撮像データと記す。

ＣＰＵ２１５は、ＲＯＭ２２９に記憶されているプログラムに従ってカメラ１の全体制御を行う。また、ＣＰＵ２１５は、Ｉ/Ｆ１１１を介して交換式レンズ１００のＣＰＵ１０７と通信自在に接続され、ＣＰＵ１０７に制御信号を入力して交換式レンズ１００の制御をする。

画像処理部２１７は、撮像データに対して各種の画像処理を施して画像データを生成する。例えば画像処理部２１７は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部２１７は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。さらに、画像処理部２１７は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。このような画像処理部２１７の詳しい構成については後で詳しく説明する。

焦点検出回路２１９は、焦点検出画素からの画素データを取得し、取得した画素データに基づき、公知の位相差方式を用いて撮影レンズ１０１の合焦位置に対するデフォーカス方向及びデフォーカス量を算出する。

画像圧縮展開部２２１は、画像データの記録時には、画像処理部２１７で画像処理された画像データ（静止画像データ又は動画像データ）を圧縮する。また、画像圧縮展開部２２１は、画像データの再生時には、圧縮された画像データを展開する。

表示部２２３は、例えば液晶ディスプレイや有機ＥＬディスプレイといった表示部であって、例えばカメラ１の背面に配置される。この表示部２２３は、表示用画像データに従って画像を表示する。表示部２２３は、ライブビュー表示や記録済み画像の表示等に使用される。

バス２２５は、ＡＤ変換部２１３、ＣＰＵ２１５、画像処理部２１７、焦点検出回路２１９、ＤＲＡＭ２２７、ＲＯＭ２２９、記録媒体２３１に接続され、これらのブロックで発生した各種のデータを転送するための転送路として機能する。

ＤＲＡＭ２２７は、電気的に書き換え可能なメモリであり、前述した撮像データ（画素データ）、記録用画像データ、表示用画像データ、ＣＰＵ２１５における処理データといった各種データを一時的に記憶する。なお、一時記憶用としてＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が用いられてもよい。ＲＯＭ２２９は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ２２９は、ＣＰＵ２１５で使用されるプログラム、カメラ１の調整値等の各種データを記憶している。ここで、本実施形態におけるＲＯＭ２２９は、画像処理部２１７における画素補正処理に用いられる補正範囲の情報を記憶している。補正範囲の情報については後で詳しく説明する。記録媒体２３１は、カメラ１に内蔵されるか又は装填されるように構成されており、記録用画像データを所定の形式の画像ファイルとして記録する。

図２を用いて撮像素子２０７の構成について説明する。図２は、撮像素子２０７の画素配列の例を示した図である。また、図２の右側には、一部の画素を拡大して示している。図２は、ベイヤ配列の例であるが、カラーフィルタの配列はベイヤ配列に限るものではなく、種々の配列が適用され得る。

前述したように、ベイヤ配列の撮像素子２０７は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置された画素行と、Ｇ（Ｇｂ）画素とＢ画素が交互に配置された画素行とを有している。言い換えれば、右側の拡大図で示すＧｒ画素と、Ｒ画素、Ｇｂ画素、Ｂ画素の４画素の組が水平及び垂直方向に繰り返して配置されている。

本実施形態においては、一部の撮像画素２０７ａの位置に焦点検出画素２０７ｂを配置する。焦点検出画素は、例えば左右の何れかの領域を遮光膜によって遮光した画素である。図２の例では、左半面を遮光した焦点検出画素（以下、右開口焦点検出画素と言う）の行と、右半面を遮光した焦点検出画素（以下、左開口焦点検出画素と言う）の行とを垂直方向に沿って近接するように配置している。

高画素数の撮像素子の場合には個々の画素の面積が小さくなるので、近接して配置される画素にはほぼ同じ像が結像すると考えることができる。したがって、図２に示すようにして焦点検出画素を配置することにより、図２のＡ行の焦点検出画素とＢ行の焦点検出画素の対で位相差を検出することができる。また、Ｃ行の焦点検出画素とＤ行の焦点検出画素の対でも位相差を検出することができる。

ここで、図２の例では、焦点検出画素中の遮光する領域を、左右何れかの領域としている。この場合、水平位相差を検出することが可能である。これに対し、遮光する領域を上下何れかの領域としたり、斜め方向の領域としたりすることで、垂直位相差や斜め方向の位相差を検出することも可能である。また、ある程度の面積を有していれば遮光面積も画素領域の１/２でなくともよい。さらに、図２では焦点検出画素をＧ画素に配置しているが、Ｇ画素以外の、Ｒ画素、Ｂ画素の何れかに配置するようにしてもよい。また、図２の例は、焦点検出画素の一部領域を遮光することによって瞳分割をする例を示しているが、焦点検出画素は、撮影レンズ１０１の異なる瞳領域を通過した対をなす被写体光束のうちの一方を選択的に受光できればよい。このため、一部領域を遮光する構成とせず、例えば瞳分割用のマイクロレンズによって瞳分割をするようにしてもよい。さらに、図２は、水平方向に沿って４画素周期で焦点検出画素を配置した例を示している。焦点検出画素を配置する周期は特定の周期に限定されるものではない。

ここで、焦点検出画素の一部の領域は遮光されているので、光量の低下が発生する。この光量の低下は、焦点検出画素に形成された遮光膜の面積の他、遮光膜の位置、焦点検出画素に入射する光の角度、像高によっても異なるものである。このような光量の低下が画像処理部２１７において補正される。

図３は、画像処理部２１７の詳細な構成を示す図である。図３では、画像処理部２１７以外のブロックについては図示を省略している。画像処理部２１７は、ホワイトバランス（ＷＢ）補正処理部２１７１と、補正範囲決定部２１７２と、補正係数算出部２１７３と、画素補正部２１７４と、同時化処理部２１７５と、色再現処理部２１７６と、輝度特性変換部２１７７と、エッジ強調処理部２１７８と、ノイズ低減（ＮＲ）処理部２１７９と、歪補正部２１８０とを有している。

ＷＢ補正処理部２１７１は、撮像データの各色成分を所定のゲイン量で増幅することにより、画像の色バランスを補正するホワイトバランス補正処理を行う。

補正範囲決定部２１７２は、画素補正部２１７４において焦点検出画素の画素出力を補正するために適用される補正係数の範囲を補正範囲として決定する。補正係数算出部２１７３は、焦点検出画素の画素出力を補正するための補正係数を算出する。補正係数は、例えば焦点検出画素の座標（像高）と撮像画素の画素出力を基準とした焦点検出画素の画素出力とを対応付けた関数に基づいて算出される。画素補正部２１７４は、補正係数算出部２１７３で算出された補正係数に従って焦点検出画素の画素出力を補正する。補正範囲決定部２１７２、補正係数算出部２１７３及び画素補正部２１７４の詳細については後で説明する。

同時化処理部２１７５は、例えばベイヤ配列に対応して撮像素子２０７を介して出力される撮像データ等の、１つの画素が１つの色成分に対応している撮像データを、１つの画素が複数の色成分に対応している画像データに変換する。色再現処理部２１７６は、画像データの色再現を適切なものとするための各種の処理を行う。この処理としては、例えばカラーマトリクス演算処理がある。カラーマトリクス演算処理は、画像データに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色再現処理部２１７６は、彩度・色相の補正を行う。輝度特性変換部２１７７は、画像データの輝度特性（ガンマ特性）を、表示や記録に適するように変換する。エッジ強調処理部２１７８は、画像データからバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じ、この結果をもとの画像データに加算することによって、画像データにおけるエッジ（輪郭）成分を強調する。ＮＲ処理部２１７９は、コアリング処理等を用いて、画像データにおけるノイズ成分を除去する。歪補正部２１８０は、画像データにおける歪曲収差を補正する。例えば、歪補正部２１８０は、歪曲収差を補正するための所定の関数に従って歪補正前の画像データの座標変換を行うことにより、画像データにおける歪曲収差を補正する。

以下、本実施形態の撮像装置の動作を説明する。図４は、撮像装置による静止画撮影時の画素補正動作の処理を示すフローチャートである。ユーザによって静止画撮影実行の指示がされると、ＣＰＵ２１５は、静止画撮影のための撮像素子２０７による撮像（露光）を実行させる（ステップＳ１０１）。撮像により得られた画像信号は、予め設定された読み出し方式に従って撮像素子２０７から読み出される。この読み出された画像信号は、アナログ処理部２１１でアナログ処理され、ＡＤ変換部２１３においてデジタル化された後、撮像データとしてＤＲＡＭ２２７に一時記憶される。撮像の後、ＣＰＵ２１５は、画像処理部２１７による画像処理を実行させる。このとき、画像処理部２１７のＷＢ補正処理部２１７１は、ＤＲＡＭ２２７から撮像データを読み出してホワイトバランス補正処理を施す（ステップＳ１０２）。

続いて、補正範囲決定部２１７２は、光学情報を取得する（ステップＳ１０３）。光学情報の取得後、補正範囲決定部２１７２は、補正範囲を設定する（ステップＳ１０４）。図５は、補正範囲の例を示す図である。補正範囲は、交換レンズ１００の光学条件の変化によって変化し得る補正係数の最大値と最小値である。詳細は後で説明するが、本実施形態における補正係数は、焦点検出画素の画素出力と通常の撮像画素の画素出力との比（すなわち焦点検出画素における光量の低下量）である。この画素出力の比は、焦点検出画素に形成された遮光膜の面積の他、遮光膜の位置、焦点検出画素に入射する光の角度、像高によっても異なるものである。そして、焦点検出画素に入射する光の角度は、光学条件（焦点距離、フォーカス位置、絞り値等）に応じて変化し得る。本実施形態では、交換レンズ１００毎の光学条件の最大値及び最小値のそれぞれに対応した補正係数を補正範囲としてＲＯＭ２２９に記憶させておく。これにより、後で説明するようにして算出された補正係数の信頼性を判定することが可能である。また、算出された補正係数の信頼性が低いと判定されたときには、補正係数を補正範囲内の値に調整することにより、画素補正処理における補正誤差を低減することが可能である。ここで、補正範囲は、図５に示すように右開口焦点検出画素に対応したものと左開口焦点検出画素に対応したものとの両方が記憶される。これは、右開口焦点検出画素と左開口焦点検出画素とで像高に対する補正係数の変化量が異なるためである。また、光学条件の最大値、最小値のそれぞれに対応する補正係数（補正範囲）を記憶させるメモリは、必ずしもカメラ側におけるＲＯＭに限らず、交換式レンズ１００の内部のＲＯＭ１０９に記憶させてもよい。そして、交換式レンズ１００との通信により光学条件の最大値、最小値のそれぞれに対応する補正係数（補正範囲）を取得してもよい。

補正範囲を設定した後、補正範囲決定部２１７２は、光学条件を取得する（ステップＳ１０５）。ここでの光学条件とは、撮影動作時の焦点距離、フォーカス位置、絞り値等の撮影時に変化し得る光学情報である。続いて、補正範囲決定部２１７２は、光学条件を取得できたか否かを判定する（ステップＳ１０６）。ステップＳ１０６において光学条件が取得できなかったと判定した場合に、補正範囲決定部２１７２は、処理をステップＳ１０８に移行させる。ステップＳ１０６において光学条件が取得できたと判定した場合に、補正範囲決定部２１７２は、光学条件に応じて補正範囲を調整する（ステップＳ１０７）。この調整は、例えば補正係数の最大値Max及び補正係数の最小値Minからそれぞれの光学条件に応じた係数を加減算することで行われる。例えば、ステップＳ１０４で設定される補正範囲が以下のように表されるとする。
補正範囲＝Ａ＋Ｂ＋Ｃ
絞り値に応じた補正範囲 ：Ａ
焦点距離に応じた補正範囲 ：Ｂ
フォーカス位置に応じた補正範囲：Ｃ
ここで、例えば焦点距離が取得できた場合には、その値に応じて焦点距離の補正範囲Ｂを狭める。例えば、予め定められた補正範囲の調整量をΔＢとすると、調整後の補正範囲をＢ＝Ｂ−ΔＢとする。このような補正範囲の調整により、結果として全体の補正範囲も狭くなる。

続いて、補正係数算出部２１７３は、補正係数を算出する（ステップＳ１０８）。以下、図６を参照して画素関数の算出手法の例を説明する。通常、焦点検出画素は、焦点検出の必要のある領域である、図６（ａ）においてハッチングを施した領域（以下、アイランド領域と言う）に配置される。ここで、画素関数の算出手法を説明するに当たり、右開口焦点検出画素と左開口焦点検出画素とは、アイランド領域におけるＧｒ画素の位置にｎ個ずつ配置されているものとする。また、図６（ａ）に示すように、撮像素子２０７の水平像高をｘ軸と定義し、さらに焦点検出画素（アイランド領域）の水平像高方向における開始ｘ座標をstart_xと定義する。

補正係数を算出するに際し、補正係数算出部２１７３は、焦点検出画素に隣接している２つの撮像画素Ｂの画素出力の比Dif_Bを算出する。例えば、図６（ｂ）に示す右開口焦点検出画素Ｇｒ２の場合、矢印１で示す、撮像画素Ｂ２の画素出力Ｂ２と撮像画素Ｂ３との画素出力Ｂ３との比が算出される。したがって、Dif_Bは、以下の（式１）で与えられる。
Dif_B＝B2/B3 （式１）
続いて、補正係数算出部２１７３は、焦点検出画素と同色かつ近傍の２つの撮像画素Ｇｂの画素出力の比Dif_Gを算出する。例えば、右開口焦点検出画素Ｇｒ２の場合、矢印２で示す、撮像画素Ｇｂ２の画素出力Ｇｂ２と撮像画素Ｇｂ３の画素出力Ｇｂ３との比が算出される。したがって、Dif_Gは、以下の（式２）で与えられる。
Dif_G＝Gb2/Gb3 （式２）
続いて、補正係数算出部２１７３は、焦点検出画素の画素出力と焦点検出画素と同色でかつ位相差の検出方向と直交する方向の近傍の撮像画素Ｇｒの画素出力との比を算出する。例えば、右開口焦点検出画素Ｇｒ２の場合、矢印３で示す、右開口焦点検出画素Ｇｒ２の画素出力Ｇｒ２と撮像画素Ｇｒ１の画素出力Ｇｒ１との比が算出される。また、左開口焦点検出画素Ｇｒ３の場合、矢印４で示す、左開口焦点検出画素Ｇｒ３の画素出力Ｇｒ３と撮像画素Ｇｒ１の画素出力Ｇｒ１との比が算出される。ここで、図６（ｂ）の例における撮像画素Ｇｒ１は、アイランド外の画素である。アイランド内の全てのＧｒ画素が焦点検出画素でなければ、アイランド内の撮像画素Ｇｒの画素出力との比が算出されてもよい。続いて、補正係数算出部２１７３は、焦点検出画素と同色でかつ位相差の検出方向と直交する方向の近傍の撮像画素Ｇｒの画素出力とこの撮像画素Ｇｒの近傍の２つの撮像画素Ｇｂの画素出力の差との比を算出する。例えば、右開口焦点検出画素Ｇｒ２の場合、矢印５で示す、撮像画素Ｇｒ１の画素出力と撮像画素Ｇｂ１及び撮像画素Ｇｂ２の画素出力の差との比が算出される。続いて、補正係数算出部２１７３は、絵柄変化を考慮した焦点検出画素とその近傍の撮像画素との画素出力の比Dif_pRiを算出する。Dif_pRiは、以下の（式３）で与えられる。
Dif_pRi=(Gr2/Gr1)-(Gb1-Gb2)/Gr1 （式３）
（式３）の第一項が焦点検出画素とその近傍の撮像画素との画素出力の比を示し、第２項が絵柄変化の影響度合いを示している。

補正係数算出部２１７３は、Dif_B及びDif_Gを用いて重み係数Wを算出する。重み係数Wは、Dif_B及びDif_Gのそれぞれが１に近いほど１に近づく係数であって例えば以下の（式４）にようにガウス関数を用いて算出される。重み係数Wは、必ずしもガウス関数を用いて算出される必要はない。

ここで、（式４）のσは、標準偏差であって例えば設計時に任意に設定される。例えば、σ＝0.1とした場合、0.1を標準偏差としたガウス関数となる。

各焦点検出画素についてのDif_pRiと重み係数Wとを算出した後、補正係数算出部２１７３は、重み係数Wと各焦点検出画素のDif_pRiとを用いて補正係数の近似関数を算出する。ここでは、例として近似関数を１次関数y＝ax＋bの形で表すものとする。ここで、ｘは、水平座標であり、yは撮像画素の画素出力を基準とした焦点検出画素の画素出力（すなわち補正係数）である。また、１次近似関数の傾きａ及び切片ｂは、例えば最小二乗法により、以下の（式５）で示すようにして与えられる。

ここで、（式５）のａ、ｂの括弧内の値である０は、これらによって示される傾き及び切片が右開口焦点検出画素に関するものであることを示す。左開口焦点検出画素については、（式５）のａ、ｂの括弧内の値を１とし、さらに、（式５）で示した各値を左開口焦点検出画素に関する値に置き換える。すなわち、（式３）の第一項を左開口焦点検出画素に対応した比であるＧｒ３/Ｇｒ１に置き換える。

ここで、図４の説明に戻る。補正係数が算出された後、画素補正部２１７４は、算出された補正係数が補正範囲外であるか否かを判定する（ステップＳ１０９）。ステップＳ１０９において補正係数が補正範囲内であると判定した場合に、画素補正部２１７４は、処理をステップＳ１１０に移行させる。この場合には、算出された補正係数がそのまま利用される。ステップＳ１０９において補正係数が補正範囲外であると判定した場合に、画素補正部２１７４は、補正係数を調整する（ステップＳ１１０）。この調整は、例えば像高毎に算出される補正係数のそれぞれを補正範囲の中で最も近い値にクリップする又は補正範囲の中央値に合わせることにより行われる。

続いて、画素補正部２１７４は、焦点検出画素の画素出力を補正する（ステップＳ１１１）。画素出力の補正は、各焦点検出画素の画素出力に、各焦点検出画素の水平像高に応じた補正係数の逆数を乗じるゲイン補正によって行われる。このような画素出力の補正により、各焦点検出画素の画素出力における光量低下が補正される。画素補正の後、画像処理部２１７は、画素補正処理以後の画像処理を実行する（ステップＳ１１２）。画像処理の終了後、ＣＰＵ２１５は、画像処理によって得られた画像データを画像圧縮展開部２２１によって圧縮した後、圧縮により得られた記録用画像データに基づいて画像ファイルを作成し、作成した画像ファイルを記録媒体２３１に記録する（ステップＳ１１３）。その後、ＣＰＵ２１５は、図４の処理を終了させる。
なお、図４においては、画素補正（ステップＳ１１１）を行う前のステップＳ１０２にてＷＢ補正を行っているが、その代わりに画素補正を行った後のステップＳ１１２のその他の画像処理の中でＷＢ補正を実行してもよい。画素補正の後でＷＢ補正を行うことにより、画素補正の結果が反映された画像データを使用してＷＢ補正を行うので、より高精度なＷＢ補正を行うことができる。また、本実施形態においては、焦点検出画素がＧ画素に配置されているが、焦点検出画素がＲ又はＢ画素に配置されている場合であっても同様に適用することが可能である。この場合に、画素補正の後でＷＢ補正を行った方が、画素補正の前にＷＢ補正を行う場合よりもＷＢゲインの算出精度がより向上するので、より高精度なＷＢ補正が可能となる効果がある。

図７は、撮像装置による動画撮影時の処理を示すフローチャートである。図７に示す処理は、ＣＰＵ２１５と画像処理部２１７とによって実行される。また、図７に示すフローチャートの処理は、ライブビュー動作時にも適用される。ユーザによって動画撮影実行の指示がされると、補正範囲決定部２１７２は、光学情報を取得する（ステップＳ２０１）。光学情報の取得後、補正範囲決定部２１７２は、補正範囲を設定する（ステップＳ２０２）。補正範囲の設定手法は、静止画撮影時と同様でよい。ただし、補正範囲の値は静止画撮影用と動画撮影用とで異なっていてもよい。補正範囲の設定後、ＣＰＵ２１５は、動画撮影の終了が指示されたか否かを判定する（ステップＳ２０３）。ステップＳ２０３において動画撮影の終了が指示されたと判定した場合に、ＣＰＵ２１５は、図７の処理を終了させる。

ステップＳ２０３において動画撮影の終了の指示がされていないと判定した場合に、ＣＰＵ２１５は、動画撮影のための撮像素子２０７による撮像（露光）を実行させる（ステップＳ２０４）。静止画撮影時と同様、撮像により得られた画像信号は、撮像データとしてＤＲＡＭ２２７に一時記憶される。撮像の後、ＣＰＵ２１５は、画像処理部２１７による画像処理を実行させる。このとき、画像処理部２１７のＷＢ補正処理部２１７１は、ＤＲＡＭ２２７から撮像データを読み出してホワイトバランス補正処理を施す（ステップＳ２０５）。

続いて、補正範囲決定部２１７２は、本フレームの光学条件を取得する（ステップＳ２０６）。その後、補正範囲決定部２１７２は、本フレームの光学条件を取得できたか否かを判定する（ステップＳ２０７）。ステップＳ２０７において本フレームの光学条件が取得できたと判定した場合に、補正範囲決定部２１７２は、処理をステップＳ２１０に移行させる。

ステップＳ２０７において本フレームの光学条件が取得できなかったと判定した場合に、補正範囲決定部２１７２は、本フレームの光学条件を推測できるか否かを判定する（ステップＳ２０８）。光学条件は、例えば過去の複数フレームにおける光学条件の変化から推測される。したがって、ステップＳ２０８においては、本フレームの光学条件を推測するのに必要な情報が得られているか否か、すなわち過去の複数フレームにおいて信頼できる光学条件が得られているか否かが判定される。光学条件の信頼性は、例えば光学条件の変化の程度から判定される。光学条件が短時間に大きく変化している場合には、信頼性が低いと判定される。

ステップＳ２０８において光学条件が推測できると判定した場合に、補正範囲決定部２１７２は、過去の複数フレームの光学条件を用いて本フレームの光学条件を推測する（ステップＳ２０９）。例えば、過去の複数フレームの焦点距離の変化量が一定であれば、本フレームにおいても同じ変化量だけ焦点距離が変化したと考えて本フレームの焦点距離が算出される。

光学条件が取得できた又は推測できた場合に、補正範囲決定部２１７２は、取得又は推測できた光学条件に応じて補正範囲を調整する（ステップＳ２１０）。この調整は、基本的には静止画撮影のときと同様でよい。ただし、動画撮影の場合には光学条件が時間的に変化し得るので、この時間的な光学条件の変化に従って補正範囲の調整が行われる。
図８は、光学条件が時間的に変化する場合の補正範囲の調整の例を示した図である。図８の（１）の期間は、全ての光学条件が取得及び推測されなかった期間である。この場合には、本フレームにおける光学条件が分からないので、補正範囲の調整が行われない、すなわち交換レンズ１００に対応した最大の補正範囲が適用される。例えば、前述と同様、最大の補正範囲がＡ＋Ｂ＋Ｃで表されるとすると、この補正範囲がそのまま画素補正処理の際に適用される。
（２）の期間は、全ての光学条件が取得された期間である。光学条件が取得された場合には取得された光学条件に応じた最適の補正範囲となるように調整が行われる。例えば、前述と同様、最大の補正範囲がＡ＋Ｂ＋Ｃで表されるとすると、調整後の補正範囲は、（Ａ−ΔＡ）＋（Ｂ−ΔＢ）＋（Ｃ−ΔＣ）となる。ここで、（２）の期間においては補正範囲の幅を０にしてもよい。この場合には撮像データから求められた補正係数の値によらずに、必ず予め定められた補正係数が画素補正処理に用いられることになる。
（３）の期間は、複数の光学条件のうちで取得も推測もできていない光学条件がある期間である。（３）の期間は、例えば、焦点距離のみが取得できなかったような期間が該当する。このような期間では、取得できていない光学条件の影響が分からない。したがって、取得できている光学条件と取得できていない光学条件との組み合わせから最大の補正範囲が適用される。すなわち、取得できている光学条件に対応した調整量は光学条件に応じたものとされ、取得できていない光学条件に対応した調整量はゼロとされる。前述と同様、最大の補正範囲がＡ＋Ｂ＋Ｃで表されるものとし、光学条件として焦点距離が取得できなかったとすると、調整後の補正範囲は、（Ａ−ΔＡ）＋Ｂ＋（Ｃ−ΔＣ）となる。（１）との比較からも明らかなように、（３）の期間であっても光学条件が全く取得できていない（１）の期間よりは補正範囲が狭くなる。これによって画素補正処理の際の補正誤差が低減される。
（４）の期間は、複数の光学条件のうちで取得はできていないが推測できたものがある期間である。この場合は（３）の期間よりは取得できている情報が多いので、（３）の期間よりも補正範囲を狭くすることができる。ここで、図８では、（２）の期間と（４）の期間とでは補正範囲が異なっている。これは、推測により得られた光学条件に対応した調整量を取得された光学条件に対応した調整量よりも小さくしているためである。推測された光学条件の信頼性に応じて調整量を変化させてもよい。

続いて、補正係数算出部２１７３は、補正係数を算出する（ステップＳ２１１）。補正係数は、静止画撮影時と同様にして算出される。補正係数が算出された後、画素補正部２１７４は、算出された補正係数が補正範囲外であるか否かを判定する（ステップＳ２１２）。ステップＳ２１２において補正係数が補正範囲内であると判定した場合に、画素補正部２１７４は、処理をステップＳ２１４に移行させる。この場合には、算出された補正係数がそのまま利用される。ステップＳ２１２において補正係数が補正範囲外であると判定した場合に、画素補正部２１７４は、補正係数を調整する（ステップＳ２１３）。補正係数の調整は、静止画撮影時と同様に行われる。

続いて、画素補正部２１７４は、焦点検出画素の画素出力を補正する（ステップＳ２１４）。画素出力の補正は、静止画撮影時と同様に行われる。画素補正処理以後の画像処理を実行する（ステップＳ２１５）。画像処理の終了後、ＣＰＵ２１５は、画像処理によって得られた画像データを画像圧縮展開部２２１によって圧縮した後、圧縮により得られた記録用画像データに基づいて画像ファイルを作成し、作成した画像ファイルを記録媒体２３１に記録する（ステップＳ２１６）。なお、一旦、画像ファイルが記録された後は、動画撮影が終了されるまで記録用画像データが画像ファイルに追記される。画像ファイルの記録又は記録用画像データの追記後、補正範囲決定部２１７２は、本フレームの光学条件を保存しておく（ステップＳ２１７）。その後、ＣＰＵ２１５は、図７の処理を終了させる。ステップＳ２１７で保存された光学条件は、次回以降のフレームにおける光学条件の推測等に用いられる。
なお、図７においては、画素補正（ステップＳ２１４）を行う前のステップＳ２０５にてＷＢ補正を行っているが、その代わりに画素補正を行った後のステップＳ２１５のその他の画像処理の中でＷＢ補正を実行してもよい。画素補正の後でＷＢ補正を行うことにより、画素補正の結果が反映された画像データを使用してＷＢ補正を行うので、より高精度なＷＢ補正を行うことができる。また、本実施形態においては、焦点検出画素がＧ画素に配置されているが、焦点検出画素がＲ又はＢ画素に配置されている場合であっても同様に適用することが可能である。この場合に、画素補正の後でＷＢ補正を行った方が、画素補正の前にＷＢ補正を行う場合よりもＷＢゲインの算出精度がより向上するので、より高精度なＷＢ補正が可能となる効果がある。

以上説明したように本実施形態によれば、撮像データから焦点検出画素の画素出力を補正するための補正係数が算出される際に光学条件に応じた補正範囲が設定される。これにより、撮像画素の画素出力と焦点検出画素の画素出力との間の相関が小さく、撮像データから算出される補正係数の信頼性が低いと判定されるような状況では、光学条件に応じた補正係数となるように補正係数が調整される。したがって、画素補正処理の際の補正誤差が低減される。

また、動画撮影時やライブビュー時には光学条件の変化に従って補正範囲を調整することにより、それぞれのフレームにおいて最適な補正範囲で画素補正処理を行うことができる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、ＣＰＵ２１５に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ２１５は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００…交換式レンズ、１０１…撮影レンズ、１０３…絞り、１０５…駆動部、１０７…ＣＰＵ、１０９…ＲＯＭ、１１１…インターフェース（Ｉ/Ｆ）、２００…カメラ本体、２０１…メカシャッタ、２０３…駆動部、２０５…操作部、２０７…撮像素子、２０９…撮像制御回路、２１１…アナログ処理部、２１３…アナログデジタル（ＡＤ）変換部、２１５…ＣＰＵ、２１７…画像処理部、２１９…焦点検出回路、２２１…画像圧縮展開部、２２３…表示部、２２５…バス、２２７…ＤＲＡＭ、２２９…ＲＯＭ、２３１…記録媒体、２１７１…ホワイトバランス（ＷＢ）補正処理部、２１７２…補正範囲決定部、２１７３…補正係数算出部、２１７４…画素補正部、２１７５…同時化処理部、２１７６…色再現処理部、２１７７…輝度特性変換部、２１７８…エッジ強調処理部、２１７９…ノイズ低減（ＮＲ）処理部、２１８０…歪補正部

Claims (7)

1. 撮像画素の一部の位置に焦点検出を行うための開口位置が異なる焦点検出画素が配置された撮像素子により撮像して撮像データを出力する撮像部と、前記撮像データのうち前記焦点検出画素から出力される画素データを補正係数により補正する画像処理部とを具備する撮像装置において、
   前記画像処理部は、
   前記撮像素子上に像を形成するための撮影光学系の光学条件と前記開口位置に基づいて前記補正係数の範囲を補正範囲として決定する補正範囲決定部と、
   前記焦点検出画素の周辺に位置する画素の画素出力に基づいて前記補正係数を算出する補正係数算出部と、
   前記補正係数と前記補正範囲とに基づいて前記焦点検出画素の画素データを補正する画素補正部と、
   を具備することを特徴とする撮像装置。
2. 前記画素補正部は、前記補正係数が前記補正範囲を超える場合に、前記補正係数を前記補正範囲内に調整することを特徴とする請求項１に記載の撮像装置。
3. 前記補正範囲決定部は、前記光学条件が取得できている場合には取得した前記光学条件に基づいて前記補正範囲を決定することを特徴とする請求項１に記載の撮像装置。
4. 前記補正範囲決定部は、前記光学条件が取得できていない場合に前記光学条件を推測し、該推測した光学条件に基づいて前記補正範囲を決定することを特徴とする請求項１に記載の撮像装置。
5. 補正範囲決定部は、複数フレームの前記光学条件に基づいて前記補正範囲を決定することを特徴とする請求項３又は４に記載の撮像装置。
6. 撮像画素の一部の位置に焦点検出を行うための開口位置が異なる焦点検出画素が配置された撮像素子により撮像された撮像データにおける前記焦点検出画素から出力される画素出力を補正係数により補正する画像処理方法において、
   前記撮像素子上に像を形成するための撮影光学系の光学条件と前記開口位置に基づいて前記補正係数の範囲を補正範囲として決定し、
   前記焦点検出画素の周辺に位置する画素の出力値に基づいて前記補正係数を算出し、
   前記補正係数と前記補正範囲とに基づいて前記焦点検出画素の画素データを補正する、
   ことを特徴とする画像処理方法。
7. 撮像画素の一部の位置に焦点検出を行うための開口位置が異なる焦点検出画素が配置された撮像素子により撮像された撮像データにおける前記焦点検出画素から出力される画素出力を補正係数により補正するための機能をコンピュータに実現させるための画像処理プログラムにおいて、
   前記撮像素子上に像を形成するための撮影光学系の光学条件と前記開口位置に基づいて前記補正係数の範囲を補正範囲として決定する機能と、
   前記焦点検出画素の周辺に位置する画素の出力値に基づいて前記補正係数を算出する機能と、
   前記補正係数と前記補正範囲とに基づいて前記焦点検出画素の画素データを補正する機能と、
   をコンピュータに実現させるための画像処理プログラム。

Images