JP6270400B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、一部の画素を位相差方式の焦点検出素子として利用して焦点状態を検出する撮像素子の画素出力を処理する画像処理装置、画像処理方法及び画像処理プログラムに関する。

撮像素子の一部の画素を焦点検出素子として利用して焦点状態を検出する撮像装置に関する提案が例えば特許文献１においてなされている。特許文献１は、撮像素子の一部の画素を位相差検出画素に設定し、撮影レンズの光軸中心に対して対称な異なる瞳領域を通過した被写体光束を複数の位相差検出画素に結像させ、この被写体光束の間の位相差を検出することによって撮影レンズの焦点状態を検出している。

ここで、位相差検出画素は、撮影レンズの異なる瞳領域を通過した被写体光束の一方を受光できるように例えば一部の領域が遮光されている。このため、位相差検出画素は、そのままでは画像として使用できない欠損画素となる。したがって、従来、位相差検出画素の画素出力を、ゲイン調整したり、周辺の画素を用いて補間したりすることにより、記録や表示に利用可能としている。

特許第３５９２１４７号公報

ところで、位相差検出画素に入射する光の量は、入射する光の角度、位相差検出画素に形成された遮光膜の位置の他、像高によっても異なる。さらに、位相差検出画素に入射する光の角度は、撮影レンズ等の光学系の製造ばらつきや撮像素子の前面に配置されるマイクロレンズの製造ばらつきによっても異なる。ゲイン調整の精度を高めるためには、位相差検出画素毎の光量の低下量を正しく検出し、検出した低下量に応じてゲイン調整量を設定することが望ましい。

本発明は、前記の事情に鑑みてなされたもので、位相差検出画素を有する撮像素子からの画素出力を処理する撮像装置において、位相差検出画素による画質の低下をより抑えることが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の画像処理装置は、撮像画素及び位相差検出画素を有する撮像素子からの画素出力を処理する画像処理装置であって、複数の前記画素出力を混合する画素混合部と、前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記撮像及び前記位相差検出画素の出力が混合された画素出力による画質劣化がないように、前記混合された画素出力をゲイン補正するゲイン補正部を有する画像処理部とを具備することを特徴とする。

前記の目的を達成するために、本発明の第２の態様の画像処理方法は、撮像画素及び位相差検出画素を有する撮像素子からの画素出力を処理する画像処理方法であって、複数の前記画素出力を混合し、前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記撮像画素の出力及び前記位相差検出画素の出力が混合された画素出力による画質劣化がないように画素出力をゲイン補正することを特徴とする。

前記の目的を達成するために、本発明の第３の態様の画像処理プログラムは、撮像画素及び位相差検出画素を有する撮像素子からの画素出力を処理する画像処理プログラムであって、複数の前記画素出力を混合する機能と、前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記撮像画素の出力及び前記位相差検出画素の出力が混合された画素出力による画質劣化がないように画素出力をゲイン補正する機能とをコンピュータに実現させる。

本発明によれば、位相差検出画素を有する撮像素子からの画素出力を処理する撮像装置において、位相差検出画素による画質の低下をより抑えることが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。 撮像素子の画素配列の例を示した図である。 画像処理部の詳細な構成を示す図である。 図４（ａ）はゲイン量推定部の構成を示す図であり、図４（ｂ）はゲイン補正部の構成を示す図である。 位相ずれについて説明するための図である。 撮像装置による動画記録処理を示すフローチャートである。 図７（ａ）は２×２画素混合読み出し前の画素配置を示した図であり、図７（ｂ）は２×２画素混合読み出し後の画素配置を示した図である。 図８（ａ）は３×３画素混合読み出し前の画素配置を示した図であり、図８（ｂ）は３×３画素混合読み出し後の画素配置を示した図である。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ（以下、単にカメラと言う）の構成を示すブロック図である。ここで、図１において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。

図１に示すカメラ１は、撮影レンズ１１と、絞り１３と、メカシャッタ１５と、駆動部１７と、操作部１９と、撮像素子２１と、撮像制御回路２３と、Ａ−ＡＭＰ２５と、アナログデジタル変換部（ＡＤＣ）２７と、ＣＰＵ２９と、画像処理部３１と、焦点検出回路３３と、ビデオエンコーダ３５と、表示部３７と、バス３９と、ＤＲＡＭ（Dynamic Random Access Memory）４１と、ＲＯＭ（Read Only Memory）４３と、記録媒体４５とを有する。

撮影レンズ１１は、被写体１００からの像を撮像素子２１に形成するための撮影光学系である。撮影レンズ１１は、合焦位置を調節するためのフォーカスレンズを有しており、またズームレンズとして構成されていてもよい。絞り１３は、撮影レンズ１１の光軸上に配置され、その口径が可変に構成されている。絞り１３は、撮影レンズ１１を通過した被写体１００からの光束の量を制限する。メカシャッタ１５は、開閉自在に構成されている。メカシャッタ１５は、撮像素子２１への被写体１００からの被写体光束の入射時間（撮像素子２１の露光時間）を調節する。メカシャッタ１５としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用され得る。駆動部１７は、ＣＰＵ２９からの制御信号に基づいて、撮影レンズ１１、絞り１３及びメカシャッタ１５の駆動の制御を行う。

操作部１９は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦といった各種の操作釦及びタッチパネル等の各種の操作部材を含む。この操作部１９は、各種の操作部材の操作状態を検知し、検知結果を示す信号をＣＰＵ２９に出力する。ここで、本実施形態の操作部１９により、カメラ１の撮影モードを選択することが可能である。すなわち、ユーザは、操作部１９を操作することにより、カメラ１の撮影モードを静止画撮影モードと動画撮影モードの何れかから選択することができる。静止画撮影モードは、静止画像を撮影するための撮影モードであり、動画撮影モードは、動画像を撮影するための撮影モードである。

撮像素子２１は、撮影レンズ１１の光軸上であって、メカシャッタ１５の後方で、かつ、撮影レンズ１１によって被写体光束が結像される位置に配置されている。撮像素子２１は、画素を構成するフォトダイオードが二次元的に配置されて構成されている。ここで、本実施形態における撮像素子２１は、記録や表示のための画像を取得するための撮像画素と焦点検出をするための位相差検出画素とを有する。

撮像素子２１を構成するフォトダイオードは、受光量に応じた電荷を生成する。フォトダイオードで発生した電荷は、各フォトダイオードに接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷が画像信号として読み出される。本実施形態における撮像素子２１は、複数の異なる電荷の読み出し方式を有している。撮像素子２１に蓄積された電荷は、撮像制御回路２３からの制御信号に従って読み出される。

また、画素を構成するフォトダイオードの前面には、例えばベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有している。

画素混合部として機能する撮像制御回路２３は、ＣＰＵ２９からの制御信号に従って撮像素子２１の駆動モードを設定し、設定した駆動モードに応じた読み出し方式に従って撮像素子２１からの画像信号の読み出しを行う。例えば、ライブビュー表示時や動画記録時といった撮像素子２１からの画素データの読み出しにリアルタイム性が求められるような駆動モードの場合には、画素データの読み出しを高速に行えるよう、複数の同色画素からの画素データを混合して読み出すか、特定の画素の画素データを間引いて読み出す。一方、例えば静止画像の記録時のようなリアルタイム性よりも画質が求められる駆動モードの場合には、混合読み出しや間引き読み出しをせずに全画素の画素データを読み出すことで解像力を維持する。

Ａ−ＡＭＰ２５は、撮像制御回路２３の制御に従って撮像素子２１から読み出された画像信号を増幅する。撮像素子２１、撮像制御回路２３、Ａ−ＡＭＰ２５とともに撮像部として機能するＡＤＣ２７は、Ａ−ＡＭＰ２５から出力された画像信号を、デジタル形式の画像信号（画素データ）に変換する。以下、本明細書においては、複数の画素データの集まりを撮像データと記す。

ＣＰＵ２９は、ＲＯＭ４３に記憶されているプログラムに従ってカメラ１の全体制御を行う。画像処理部３１は、撮像データに対して各種の画像処理を施して画像データを生成する。例えば画像処理部３１は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部３１は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。さらに、画像処理部３１は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。このような画像処理部３１の構成については後で詳しく説明する。

焦点検出回路３３は、位相差検出画素からの画素データを取得し、取得した画素データに基づき、公知の位相差方式を用いて撮影レンズ１１の合焦位置に対するデフォーカス方向及びデフォーカス量を算出する。

ビデオエンコーダ３５は、画像処理部３１で生成された表示用画像データを映像データに変換し、この映像データを表示部３７に入力して表示部３７に画像を表示させる。

表示部３７は、例えば液晶ディスプレイや有機ＥＬディスプレイといった表示部であって、例えばカメラ１の背面に配置される。この表示部３７は、ビデオエンコーダ３５の動作に従って画像を表示する。表示部３７は、ライブビュー表示や記録済み画像の表示等に使用される。

バス３９は、ＡＤＣ２７、ＣＰＵ２９、画像処理部３１、焦点検出回路３３、ＤＲＡＭ４１、ＲＯＭ４３、記録媒体４５に接続され、これらのブロックで発生した各種のデータを転送するための転送路として機能する。

ＤＲＡＭ４１は、電気的に書き換え可能なメモリであり、前述した撮像データ（画素データ）、記録用画像データ、表示用画像データ、ＣＰＵ２９における処理データといった各種データを一時的に記憶する。なお、一時記憶用としてＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が用いられてもよい。ＲＯＭ４３は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ４３は、ＣＰＵ２９で使用されるプログラム、カメラ１の調整値等の各種データを記憶している。記録媒体４５は、カメラ１に内蔵されるか又は装填されるように構成されており、記録用画像データを所定の形式の画像ファイルとして記録する。

図２を用いて撮像素子２１の構成について説明する。図２は、撮像素子２１の画素配列の例を示した図である。図２は、ベイヤ配列の例であるが、カラーフィルタの配列はベイヤ配列に限るものではなく、種々の配列が適用され得る。

前述したように、ベイヤ配列の撮像素子２１は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置された画素行と、Ｇ（Ｇｂ）画素とＢ画素が交互に配置された画素行とを有している。言い換えれば、右側の拡大図で示すＧｒ画素と、Ｒ画素、Ｇｂ画素、Ｂ画素の４画素の組が水平及び垂直方向に繰り返して配置されている。

本実施形態においては、一部の撮像画素２１ａの位置に位相差検出画素２１ｂを配置する。位相差検出画素は、例えば左右の何れかの領域を遮光膜によって遮光した画素である。図２の例では、左半面を遮光した位相差検出画素（以下、右開口位相差検出画素と言う）の行と、右半面を遮光した位相差検出画素（以下、左開口位相差検出画素と言う）の行とを垂直方向に沿って近接するように配置している。

高画素数の撮像素子の場合には個々の画素の面積が小さくなるので、近接して配置される画素にはほぼ同じ像が結像すると考えることができる。したがって、図２に示すようにして位相差検出画素を配置することにより、図２のＡ行の位相差検出画素とＢ行の位相差検出画素の対で位相差を検出することができる。また、Ｃ行の位相差検出画素とＤ行の位相差検出画素の対でも位相差を検出することができる。

ここで、図２の例では、位相差検出画素中の遮光する領域を、左右何れかの領域としている。この場合、水平位相差を検出することが可能である。これに対し、遮光する領域を上下何れかの領域としたり、斜め方向の領域としたりすることで、垂直位相差や斜め方向の位相差を検出することも可能である。また、ある程度の面積を有していれば遮光面積も画素領域の１/２でなくともよい。さらに、図２では位相差検出画素をＧ画素に配置しているが、Ｇ画素以外の、Ｒ画素、Ｂ画素の何れかに配置するようにしてもよい。また、図２の例は、位相差検出画素の一部領域を遮光することによって瞳分割をする例を示しているが、位相差検出画素は、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束のうちの一方を選択的に受光できればよい。このため、一部領域を遮光する構成とせず、例えば瞳分割用のマイクロレンズによって瞳分割をするようにしてもよい。さらに、図２は、水平方向に沿って４画素周期で位相差検出画素を配置した例を示している。位相差検出画素を配置する周期は特定の周期に限定されるものではない。

ここで、位相差検出画素の一部の領域は遮光されているので、光量の低下が発生する。この光量の低下は、位相差検出画素に形成された遮光膜の面積の他、遮光膜の位置、位相差検出画素に入射する光の角度、像高によっても異なるものである。このような光量の低下が画像処理部３１において補正される。

図３は、画像処理部３１の詳細な構成を示す図である。図３では、画像処理部３１以外のブロックについては図示を省略している。図３に示すように、画像処理部３１は、ホワイトバランス（ＷＢ）補正処理部３１１と、ゲイン量推定部３１２と、ゲイン補正部３１３と、補間判断処理部３１４と、補間処理部３１５と、同時化処理部３１６と、輝度特性変換部３１７と、エッジ強調処理部３１８と、ノイズ低減（ＮＲ）処理部３１９と、色再現処理部３２０とを有している。

ＷＢ補正処理部３１１は、撮像データの各色成分を所定のゲイン量で増幅することにより、画像の色バランスを補正するホワイトバランス補正処理を行う。

ゲイン量推定部３１２は、ゲイン補正部３１３において位相差検出画素の画素出力を補正するためのゲイン量を推定する。このゲイン量は、撮像画素に対する位相差検出画素の光量低下量に応じて推定される。位相差検出画素の光量低下量は、位相差検出画素の画素出力と位相差検出画素の近傍の撮像画素の画素出力との比率に基づいて算出される。ゲイン補正部３１３は、ゲイン量推定部３１２で推定されたゲイン量に従って位相差検出画素の画素出力を補正する。

補間判断処理部３１４は、ゲイン補正部３１３でゲイン補正された位相差検出画素の画素出力の適用割合を判断する。適用割合とは、例えばゲイン補正がされた位相差検出画素の画素出力と位相差検出画素の周辺の撮像画素の画素出力との重み付け加算の際の重み付け係数である。ここで、周辺の撮像画素とは、例えば位相差検出画素の周辺の同色（ベイヤ配列の場合には同一成分）の４個の撮像画素のことである。勿論、周辺の撮像画素の画素数は、４画素に限られない。また、適用割合は、例えば位相差検出画素の周辺の撮像画素の画素出力のばらつき（標準偏差）に従って判断される。

補間処理部３１５は、補間判断処理部３１４で判断された適用割合に従ってゲイン補正部３１３でゲイン補正された位相差検出画素の画素出力とその周辺の撮像画素の画素出力とを重み付け加算する補間処理を行う。

同時化処理部３１６は、例えばベイヤ配列に対応して撮像素子２１を介して出力される撮像データ等の、１つの画素が１つの色成分に対応している撮像データを、１つの画素が複数の色成分に対応している画像データに変換する。輝度特性変換部３１７は、画像データの輝度特性（ガンマ特性）を、表示や記録に適するように変換する。エッジ強調処理部３１８は、画像データからバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じ、この結果をもとの画像データに加算することによって、画像データにおけるエッジ（輪郭）成分を強調する。ＮＲ処理部３１９は、コアリング処理等を用いて、画像データにおけるノイズ成分を除去する。色再現処理部３２０は、画像データの色再現を適切なものとするための各種の処理を行う。この処理としては、例えばカラーマトリクス演算処理がある。カラーマトリクス演算処理は、画像データに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色再現処理部３２０は、彩度・色相の補正を行う。

図４（ａ）は、ゲイン量推定部３１２の構成を示す図である。ゲイン推定部３１２は、比率計算処理部３１２１と、遮光率算出処理部３１２２とを有している。

比率計算処理部３１２１は、位相差検出画素の画素出力とその周辺の撮像画素の画素出力との比率を計算することにより、各位相差検出画素の画素出力をゲイン補正するための遮光量を算出する。遮光率算出処理部３１２２は、撮像制御回路２３による読み出しモード及び撮像素子２１における位相差検出画素の配置に応じた開口向きの異なる位相差検出画素の画素出力の混入数に従って、位相差検出画素の開口向き毎の遮光率（又は採光率）を算出する。遮光率の算出の詳細については後で説明する。

図４（ｂ）は、ゲイン補正部３１３の構成を示す図である。ゲイン補正部３１３は、補正量換算処理部３１３１と、ゲイン乗算処理部３１３２とを有している。補正量換算処理部３１３１は、遮光率算出処理部３１２２で算出された位相差検出画素の開口向き毎の遮光率に従って位相差検出画素の画素出力を補正するためのゲイン補正量を算出する。ゲイン補正量の算出の詳細については後で説明する。ゲイン乗算処理部３１３２は、位相差検出画素の画素出力に補正量換算処理部３１３１で算出されたゲイン補正量を乗じることによって位相差検出画素の画素出力を補正する。

次に、位相差検出画素を有する撮像素子において生じる位相差ずれについて図５を参照して説明する。ここで、図５（ａ）は、撮像画素２１ａにおける像の結像状態を示す。また、図５（ｂ）は、位相差検出画素２１ｂにおける像の結像状態を示す。

説明を簡単にするために被写体が点光源であり、撮影レンズ１１が合焦状態であるとすると、被写体から出射され、撮影レンズ１１の光軸中心に対して対称な異なる瞳領域を通過した対をなす被写体光束は撮像素子２１上の同一の位置に結像される。このことは、撮像画素２１ａに形成される被写体像のピーク位置と位相差検出画素２１ｂに形成される被写体像のピーク位置とが一致することを意味している。ここで、撮像画素２１ａについては、図５（ａ）に示すように、異なる瞳領域を通過した対をなす被写体光束の両方が入射する。したがって、撮像画素２１ａについては、光量の低下がない。一方、位相差検出画素２１ｂについては、図５（ｂ）に示すように、対をなす被写体光束の一方のみが撮像素子２１に入射する。したがって、位相差検出画素２１ｂについては、光量の低下が生じる。

一方、撮影レンズ１１が非合焦状態であるとき、被写体から出射され、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束は、撮像素子２１上の異なる位置に結像する。すなわち、これらの対をなす被写体光束によって形成される被写体像の間には位相差が生じる。この位相差を右開口位相差検出画素と左開口位相差検出画素とのそれぞれで検出される被写体像の相関関係から検出することにより、撮影レンズ１１のデフォーカス量及びデフォーカス方向が検出される。ここで、撮像画素２１ａについては、図５（ａ）に示すように、異なる瞳領域を通過した被写体光束の両方が入射する。したがって、撮像画素２１ａについては、光量の低下は生じないものの異なる位置に入射する被写体光束によってぼけが生じる。一方、位相差検出画素２１ｂについては、図５（ｂ）に示すように、対をなす被写体光束の一方のみが撮像素子２１に入射する。この場合、撮像画素２１ａのようなぼけは生じないものの、ピーク位置が、撮影レンズ１１が合焦状態である場合のピーク位置からずれることになる。本実施形態においては、このようなピーク位置がずれる現象を位相ずれと言うことにする。動画撮影時やライブビュー表示時に位相ずれが発生すると、位相ずれの影響がモアレとして画像として現れる。このようなモアレの影響を画像処理部３１において補正する。

以下、本実施形態の撮像装置の動作を説明する。図６は、撮像装置による動画記録処理を示すフローチャートである。図６に示すフローチャートの処理は、ＲＯＭ４３に記憶されているプログラムに基づいてＣＰＵ２９によって実行される。また、図６に示す処理は、静止画記録処理やライブビュー表示処理に対しても適用可能である。

図６のフローチャートの処理が開始されると、ＣＰＵ２９は、撮像素子２１による撮像（露光）を実行させる（ステップ１０１）。撮像により得られた画像信号は、予め設定された駆動モードに応じた読み出し方式に従って撮像素子２１から読み出される。この読み出された画像信号は、Ａ−ＡＭＰ２５で増幅され、ＡＤＣ２７においてデジタル化された後、撮像データとしてＤＲＡＭ４１に一時記憶される。

次に、ＣＰＵ２９は、焦点検出処理を行う（ステップＳ１０２）。ここでは、ＣＰＵ２９は、焦点検出回路３３に焦点検出処理を実行させる。焦点検出処理の実行指示を受けて、焦点検出回路３３は、ＤＲＡＭ４１に一時記憶された撮像データの中から、位相差検出画素に対応した画素データを読み出し、この画素データを用いて公知の位相差法によって撮影レンズ１１のデフォーカス方向及びデフォーカス量を算出する。次に、ＣＰＵ２９は、焦点検出回路３３により検出された撮影レンズ１１のデフォーカス方向及びデフォーカス量に基づいて駆動部１７を制御し、撮影レンズ１１を合焦させる。

焦点検出処理の後、ＣＰＵ２９は、画像処理部３１による画像処理を実行させる。これを受けて画像処理部３１は、撮像データ中の画素の走査を行って画素データを選択する（ステップＳ１０３）。画素の走査は、例えば撮像データの左上端から右下端に向かうようにして行われる。

画素データの選択後、画像処理部３１のＷＢ補正処理部３１１は、画素データに対してホワイトバランス補正処理を施す（ステップＳ１０４）。ここで、ホワイトバランス補正処理は、ループ処理の外で行われてもよい。続いて、ゲイン量推定部３１２の比率計算処理部３１２１は、比率計算処理を行う（ステップＳ１０５）。比率計算処理においては、現在の比率計算処理の対象となる位相差検出画素（画素混合が行われている場合には位相差検出画素の画素出力を含む画素）の画素出力とこの位相差検出画素の周辺の同色の撮像画素（画素混合が行われている場合には位相差検出画素の画素出力を含まない画素）の画素出力との比が算出される。例えば、撮像画素の画素出力をＮとし、位相差検出画素（例えば右開口位相差検出画素）の画素出力をｒとしたとき、画素出力の比Ｄｉｆ＿ｐｉは、以下の（式１）に従って算出される。
Ｄｉｆ＿ｐｉ＝ｒ/Ｎ （式１）

比率計算処理の後、ゲイン量推定部３１２の遮光率算出処理部３１２２は、遮光率算出処理を行う（ステップＳ１０６）。以下、遮光率算出処理について説明する。撮像素子２１の読み出し方式として、例えば混合読み出し又は間引き読み出しが用いられた場合には、読み出し後の画素出力に位相差検出画素の画素出力が混入される可能性がある。位相差検出画素の画素出力が混入される場合、撮像画素の画素出力だけで画素混合が行われた場合に比べて画素出力が低下する。本実施形態における遮光率算出処理においては、撮像素子２１における位相差検出画素の配置及び読み出し方式に応じて画素混合後の各画素の遮光率が算出される。遮光率は、混合の後の各画素を位相差検出画素と見たときの遮光率（画素出力の低下量）であって、混合された画素出力毎の開口向き毎の位相差検出画素の画素出力の混入数に応じて算出される。開口向き毎の位相差検出画素の画素出力の混入数は、撮像素子２１における位相差検出画素の配置のされ方と撮像素子２１からの画素出力の混合方式（すなわち読み出し方式）とによって決定される。以下、具体的に説明する。

図７（ａ）は、２×２画素混合読み出し前の画素配置を示した図である。また、図７（ｂ）は、２×２画素混合読み出し後の画素配置を示した図である。図７（ａ）及び図７（ｂ）の上側及び左側に付された数字は、画素の座標を示す。以下の説明では、数字が付されたＲ画素を含む水平・垂直の２画素は、同一の座標であるとして説明する。また、図７（ａ）に示すｒは左半面が遮光された位相差検出画素（右開口位相差検出画素）であることを示し、図７（ａ）に示すｌは右半面が遮光された位相差検出画素（左開口位相差検出画素）であることを示す。また、図７（ｂ）のｒは、右開口位相差検出画素の画素出力が混入されている画素であることを示し、図７（ｂ）のｌは、左開口位相差検出画素の画素出力が混入されている画素であることを示し、図７（ｂ）のＮは、ｒ、ｌと同色の画素であって位相差検出画素の画素出力が混入されていない画素であることを示す。

図７（ａ）で示したような画素配置に対して２×２画素混合読み出しが行われる場合、水平・垂直２画素ずつの同色の画素出力が混合される。混合の手法としては、例えば加算平均、積算、重み付け加算平均の何れかが考えられる。例えば、図７（ａ）に示す座標（１，１）、座標（１，２）、座標（２，１）、座標（２，２）の４個のＲ画素の画素出力が混合されることにより、図７（ｂ）の座標（１，１）のＲ画素の画素出力が得られる。Ｒ画素以外の他の色も同様にして混合が行われる。ここで、図７（ａ）に示すように、位相差検出画素がＧ（Ｇｂ）画素の位置に配置されているとすると、各座標のＧｂ画素を混合した際に、混合後の画素出力に位相差検出画素の画素出力が混入される場合がある。例えば、図７（ａ）の太枠内の画素出力が混合された場合には、位相差検出画素の画素出力が混入される。図７（ｂ）から分かるように、２×２画素混合読み出しの場合には、混合後の各Ｇｂ位置の画素出力には、１個ずつ位相差検出画素の画素出力が混入される。このような位相差検出画素の画素出力が混入された画素は、混合読み出し後も位相差検出画素として利用できる。

図８（ａ）は、３×３画素混合読み出し前の画素出力を示した図である。また、図８（ｂ）は、３×３画素混合読み出し後の画素出力を示した図である。図８（ａ）で示したような画素配置に対して３×３画素混合読み出しが行われる場合、水平・垂直３画素ずつの同色の画素データが混合される。例えば、図８（ａ）に示す座標（２，１）、座標（２，２）、座標（２，３）、座標（３，１）、（３，２）、（３，３）、（４，１）、（４，２）、（４，３）の９個のＲ画素の画素出力が混合されることにより、図８（ｂ）の座標（１，１）のＲ画素の画素出力が得られる。Ｒ画素以外の他の色も同様にして混合が行われる。なお、図８（ａ）及び図８（ｂ）で示した例では１行目の画素出力については混合に用いられてないが、１行目の画素出力が混合に用いられてもよい。ここで、図７の例と同様、位相差検出画素がＧ（Ｇｂ）画素の位置に配置されているとすると、各座標のＧｂ画素を混合した際に、混合後の画素出力に位相差検出画素の画素出力が混入される場合がある。例えば、図８（ａ）の太枠内の画素出力を混合した場合に位相差検出画素の画素出力が混入される。図８（ｂ）から分かるように、３×３画素混合読み出しの場合には、位置によって位相差検出画素の画素出力の混入数が異なる。さらに、位置によっては右開口位相差検出画素の画素出力と左開口位相差検出画素の画素出力の両方が混入される場合がある。

位相差検出画素の混入数が１個である画素については、ステップＳ１０５で計算された比率が遮光率として用いられる。例えば、２×２画素混合読み出しの場合、位相差検出画素の画素出力が混入される場合には、必ず１個の位相検出画素の画素出力が混入される。したがって、位相差検出画素の画素出力が混入されるすべての画素についてステップＳ１０５で計算された比率を遮光率として利用することができる。例えば、図７（ｂ）の画素ｒ１の遮光率は、画素ｒ１の画素出力をｒ１とし、画素ｒ１の周辺の同色画素Ｎの画素出力をＮとしたとき、以下の（式２）に従って算出される。画素ｌ１についても同様にして遮光率を算出することができる。さらに、３×３画素混合読み出しの場合、画素ｒ１と画素ｌ１については（式１）と同様に遮光率を算出することができる。
画素ｒ１の遮光率＝ｒ１／Ｎ （式２）

一方、位相差検出画素の混入数が２個以上である画素については、混合後の画素の画素出力に開口向きの異なる位相差検出画素の画素出力が混入されているか否かに応じて異なる演算に従って遮光率が算出される。
まず、混合後の画素の画素出力に開口向きの異なる位相差検出画素の画素出力が混入されていない画素である画素ｒ２、ｌ２については、（式２）と同様にして２個分の位相差検出画素の画素出力が混入された状態の遮光率が計算された後で、位相差検出画素の混入数が１個だったとしたときの遮光率に換算する計算が行われる。例えば、図８（ｂ）の画素ｌ２の混合に用いられた個々の位相差検出画素ｌの遮光率は、画素ｌ２の画素出力をｌ２とし、画素ｌ２の周辺の同色画素Ｎ１の画素出力をＮ１としたとき、以下のように算出される。画素ｒ２についても同様にして遮光率を算出することができる。

（式２）から画素ｌ２の遮光率は、以下の（式３）で示すように算出される。
画素ｌ２の遮光率＝ｌ２／Ｎ１ （式３）
ここで、（１−遮光率）で計算される値を採光率と定義すると、画素ｌ２の採光率は、
以下の（式４）で示すように算出される。
画素ｌ２の採光率＝１−画素ｌ２の遮光率 （式４）
光束の入射のし難さを示す遮光率に対し、採光率は光束の入射のし易さを示す。ところで、（式４）は２個の位相差検出画素が混入された状態の採光率である。これから位相差検出画素の混入数が１個だったとしたときの採光率は、２個の位相差検出画素が混入された状態の採光率の平均値として算出される。したがって、１個の画素ｌの採光率は、以下の（式５）で示すように算出される。
画素ｌの採光率＝画素ｌ２の採光率／２ （式５）
したがって、前述の採光率の定義から、１個の画素ｌの遮光率は、以下の（式６）で示すように算出される。
画素ｌの遮光率＝１−画素ｌの採光率 （式６）

次に、混合後の画素の画素出力に開口向きの異なる位相差検出画素の画素出力が混入されている画素である画素ｒ１ｌ１、ｒ１ｌ２、ｒ２ｌ２、ｒ２ｌ１についても、（式２）と同様にして２個分の位相差検出画素の画素出力が混入された状態の遮光率が計算された後で、位相差検出画素の混入数が１個だったとしたときの遮光率に換算する計算が行われる。ただし、右開口位相差検出画素と左開口位相差検出画素とでは別々に遮光率が計算される。右開口位相差検出画素と左開口位相差検出画素とで別々に遮光率を計算するためには、遮光率に関する連立方程式を立てる。例えば、図８（ｂ）の画素ｒ２ｌ１及び画素ｒ１ｌ２の混合に用いられた位相差検出画素ｒの遮光率及び位相差検出画素ｌの遮光率は、画素ｒ２ｌ１の画素出力をｒ２ｌ１とし、画素ｒ１ｌ２の画素出力をｒ１ｌ２とし、画素ｒ２ｌ１及び画素ｒ１ｌ２の周辺の同色画素Ｎ３の画素出力をＮ３としたとき、以下のように算出される。他の画素についても同様にして遮光率を算出することができる。
（式２）から画素ｒ２ｌ１及び画素ｒ１ｌ２の遮光率は、それぞれ以下の（式７）で示すように算出される。
画素ｒ２ｌ１の遮光率＝ｒ２ｌ１／Ｎ３
画素ｒ１ｌ２の遮光率＝ｒ１ｌ２／Ｎ３ （式７）
ここで、画素ｒ２ｌ１の遮光率は２個の画素ｒの遮光率と１個の画素ｌの遮光率の和であり、画素ｒ１ｌ２の遮光率は１個の画素ｒの遮光率と２個の画素ｌの遮光率の和であると考えることができる。したがって、以下の（式８）で示す連立方程式が成り立つ。

（式８）の連立方程式の解は（式９）のようになる。（式９）に（式７）の結果を代入することで位相差検出画素ｒの遮光率及び位相差検出画素ｌの遮光率が得られる。

ここで、本実施形態では、２×２画素混合読み出しと３×３画素混合読み出しの場合の遮光率の算出処理を示したが、他の読み出しであっても同様の考え方に従って遮光率が算出される。ただし、遮光率算出処理を行うのに先立って、混合された画素出力毎の開口向き毎の位相差検出画素の画素出力の混入数が既知であるものとする。位相差検出画素の画素出力の混入数が未知である場合には、撮像素子２１における位相差検出画素の配置や読み出し方式から位相差検出画素の画素出力の混入数を算出する必要がある。

また、前述したように、右開口位相差検出画素の画素出力と左開口位相差検出画素の画素出力とが混入されている画素については、連立方程式を解く等の複雑な処理が必要とされる。したがって、計算負荷の低減のため、右開口位相差検出画素の画素出力と左開口位相差検出画素の画素出力とが混入されている画素については、遮光率算出に用いなくてもよい。この場合、右開口位相差検出画素の画素出力と左開口位相差検出画素の画素出力とが混入されていない画素のみを用いて、ゲイン量推定を行う。

ここで、図６の説明に戻る。遮光率算出処理野後、画像処理部３１は、ループ処理の終了判定として、画素の走査が終了したか否かを判定する（ステップＳ１０７）。画素の走査が終了していないと画像処理部３１において判定された場合には、ループ処理が継続される。一方、画素の走査が終了したと画像処理部３１において判定された場合には、ループ処理が終了される。ループ処理の終了後、ゲイン補正部３１３の補正量換算処理部３１３１は、補正量換算処理を行う（ステップＳ１０８）。補正量換算処理は、遮光率算出処理によって算出された１個の画素ｒ及び画素ｌの遮光率を用いてゲイン補正量を算出する処理である。以下、補正量換算処理について説明する。

位相差検出画素の混入数が１個である画素については、ステップＳ１０５で計算された比率が遮光率として用いられる。一方、位相差検出画素の混入数が２個以上である画素の遮光率は、例えば混合に用いられた画素の遮光率の相加平均値である。ただし、撮像画素の採光率は１であるとする。この場合、例えば画素ｌ２の遮光率は、以下の（式１０）で示すようにして算出される。また、画素ｒ２ｌ１の遮光率は、以下の（式１１）で示すようにして算出される。
補正量換算処理の後、ゲイン補正部３１３のゲイン乗算処理部３１３２は、ゲイン補正処理を行う（ステップＳ１０９）。ゲイン補正処理においては、ステップＳ１０８の補正量換算処理で得られた遮光率から求められるゲイン補正量を位相差検出画素の画素出力に乗じる処理が行われる。これにより、位相差検出画素の画素出力が混入された画素における光量低下が補正される。したがって、画質劣化が補正される。

ゲイン補正処理の後、補間判断処理部３１４は、ゲイン補正部３１３でゲイン補正された位相差検出画素の画素出力の適用割合を判断する（ステップＳ１１０）。前述したように、適用割合は、例えばゲイン補正がされた位相差検出画素（画素素混合が行われている場合には位相差検出画素の画素出力を含む画素）の画素出力と位相差検出画素の周辺の撮像画素（画素混合が行われている場合には位相差検出画素の画素出力を含まない画素）の画素出力との重み付け加算の際の重み付け係数である。なお、右開口位相差検出画素の画素出力と左開口位相差検出画素の画素出力とが混入されている画素であってゲイン補正が行われなかった画素については、周辺画素を用いた補間画素の適用割合が１になる。補間判断処理部３１４による判断の後、補間処理部３１５は、補間判断処理部３１４で判断された適用割合に従ってゲイン補正部３１３でゲイン補正された位相差検出画素（画素混合が行われている場合には位相差検出画素の画素出力を含む画素）の画素出力とその周辺の撮像画素（画素混合が行われている場合には位相差検出画素の画素出力を含まない画素）の画素出力とを重み付け加算する補間処理を行う（ステップＳ１１１）。

補間処理の後、画像処理部３１は、補間処理以後の画像処理を実行する（ステップＳ１１２）。画像処理の終了後、ＣＰＵ２９は、画像処理の結果としてＤＲＡＭ４１に一時記憶された画像データを記録媒体４５に記録する（ステップＳ１１３）。次に、ＣＰＵ２９は、動画記録を停止させるか否かを判定する（ステップＳ１１４）。ここでは、ＣＰＵ２９は、操作部１９のレリーズ釦の操作状態を判定する。すなわち、レリーズ釦が再び押された場合に、ＣＰＵ２９は、動画記録を停止させると判定する。

ステップＳ１１４において、動画記録を停止させないと判定した場合に、ＣＰＵ２９は、処理をステップＳ１０１に戻し、動画記録を続行する。一方、ステップＳ１１４において、動画記録を停止させると判定した場合に、ＣＰＵ２９は、図６の処理を終了させる。

以上説明したように本実施形態においては、撮像素子２１における位相差検出画素の配置や読み出し方式に応じた混合後の画素の組毎の位相差検出画素の画素出力の混入数に応じて混合後の各画素についてのゲイン補正量を算出している。これにより、位相差検出画素の配置や読み出し方式によらずに位相差検出画素による画質の低下をより抑えることが可能である。

ここで、本実施形態で例示した遮光率の計算の手法は、一例である。遮光率は、四則演算を適宜組み合わせることによって計算され得る。

また、本実施形態では、混合後の画素出力における位相差検出画素の画素出力の混入数に従って遮光率を算出する例が示されているが、逆に撮像画素の画素出力の混入数から遮光率が算出されてもよい。撮像画素の画素出力の混入数は、（混合に用いられた画素の組の総画素数）−（混入された位相差検出画素の画素数）であるので、この関係から前述の各式を用いて遮光率を算出できる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、ＣＰＵ２９に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ２９は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１１…撮影レンズ、１３…絞り、１５…メカシャッタ、１７…駆動部、１９…操作部、２１…撮像素子、２３…撮像制御回路、３１…画像処理部、３３…焦点検出回路、３５…ビデオエンコーダ、３７…表示部、３９…バス、４１…ＤＲＡＭ、４３…ＲＯＭ、４５…記録媒体、３１１…ホワイトバランス（ＷＢ）補正処理部、３１２…ゲイン量推定部、３１３…ゲイン補正部、３１４…補間判断処理部、３１５…補間処理部、３１６…同時化処理部、３１７…輝度特性変換部、３１８…エッジ強調処理部、３１９…ノイズ低減（ＮＲ）処理部、３２０…色再現処理部、３１２１…比率計算処理部３１２１、３１２２…遮光率算出処理部、３１３１…補正量換算処理部、３１３２…ゲイン乗算処理部

Claims (11)

1. 撮像画素及び位相差検出画素を有する撮像素子からの画素出力を処理する画像処理装置であって、
   複数の前記画素出力を混合する画素混合部と、
   前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記撮像画素及び前記位相差検出画素の出力が混合された画素出力による画質劣化がないように、前記混合された画素出力をゲイン補正するゲイン補正部を有する画像処理部と、
   を具備することを特徴とする画像処理装置。
2. 前記画像処理部は、前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記位相差検出画素による画質劣化がないように前記ゲイン補正部における前記ゲイン補正の際のゲイン補正量を推定するゲイン推定部を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記位相差検出画素の開口向き毎の画素出力の混入数の情報及び前記撮像画素の画素出力の混入数の情報は、前記位相差検出画素の配置周期と前記画素混合部による前記画素出力の混合手法とによって定まることを特徴とする請求項１に記載の画像処理装置。
4. 前記画素出力の混合手法は、前記画素出力の表示形態又は記録形態によって定まることを特徴とする請求項３に記載の画像処理装置。
5. 前記ゲイン推定部は、前記混合された画素出力の中に開口向きの異なる前記位相差検出画素の画素出力を含む画素出力がある場合には、該開口向きの異なる前記位相差検出画素の画素出力を用いずに前記ゲイン補正量を推定することを特徴とする請求項２に記載の画像処理装置。
6. 前記ゲイン推定部は、前記混合された画素出力の中に開口向きの異なる前記位相差検出画素の画素出力を含む画素出力がある場合には、連立方程式を用いて開口向きの異なる前記位相差検出画素毎の遮光率を求めてから前記ゲイン補正量を推定することを特徴とする請求項２に記載の画像処理装置。
7. 前記ゲイン推定部は、前記混合された画素出力の中に開口向きの異なる前記位相差検出画素の画素出力を含む画素出力がある場合には、四則演算を用いて開口向きの異なる前記位相差検出画素毎の遮光率を求めてから前記ゲイン補正量を推定することを特徴とする請求項２に記載の画像処理装置。
8. 撮像画素及び位相差検出画素を有する撮像素子からの画素出力を処理する画像処理方法であって、
   複数の前記画素出力を混合し、
   前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記撮像画素の出力及び前記位相差検出画素の出力が混合された画素出力による画質劣化がないように画素出力をゲイン補正する、
   ことを特徴とする画像処理方法。
9. 前記画素出力の補正の際に、前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記撮像画素の出力及び前記位相差検出画素の出力が混合された画素出力による画質劣化がないように前記ゲイン補正の際のゲイン補正量を推定することを特徴とする請求項８に記載の画像処理方法。
10. 撮像画素及び位相差検出画素を有する撮像素子からの画素出力を処理する画像処理プログラムであって、
    複数の前記画素出力を混合する機能と、
    前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記撮像画素の出力及び前記位相差検出画素の出力が混合された画素出力による画質劣化がないように画素出力をゲイン補正する機能と、
    をコンピュータに実現させるための画像処理プログラム。
11. 前記画素出力の補正の際に、前記混合された画素出力毎の前記位相差検出画素の開口向き毎の画素出力の混入数及び前記撮像画素の画素出力の混入数の何れか１つ以上の情報を用いて、前記撮像画素の出力及び前記位相差検出画素の出力が混合された画素出力による画質劣化がないように前記ゲイン補正の際のゲイン補正量を推定する機能をさらにコンピュータに実現させるための請求項１０に記載の画像処理プログラム。