JP5622975B1 - 撮像装置及び画像補正方法並びに画像処理装置及び画像処理方法 - Google Patents

Abstract

光軸位置推定処理部(312)は、位相差検出画素の画素出力と撮像画素の画素出力とから撮像素子(21)の撮像面上における撮影レンズ(11)の光軸位置を推定する。光軸位置推定処理部(312)は、位相差検出画素の画素出力と撮像画素の画素出力とから、位相差検出画素の画素出力と像高との関係を示す関係式を算出する関係式算出部(3121)と、位相差の検出方向に並べられた対をなす位相差検出画素のそれぞれについて算出された複数の関係式の交点を撮影レンズ(11)の光軸位置として算出する交点算出部(3122)とを有する。

Description

本発明は、一部の画素を位相差方式の位相差検出用素子として利用して焦点状態を検出する撮像素子の画素出力を処理する撮像装置及びそれを用いた画像補正方法並びに画像処理装置及び画像処理方法に関する。

撮像素子の一部の画素を位相差検出用素子として利用して焦点状態を検出する撮像装置に関する提案が例えば日本国特許第３５９２１４７号公報においてなされている。日本国特許第３５９２１４７号公報は、撮像素子の一部の画素を位相差検出画素に設定し、撮影レンズの光軸中心に対して対称な異なる瞳領域を通過した被写体光束を複数の位相差検出画素に結像させ、この被写体光束の間の位相差を検出することによって撮影レンズの焦点状態を検出している。

ここで、位相差検出画素は、撮影レンズの異なる瞳領域を通過した被写体光束の一方を受光できるように例えば一部の領域が遮光されている。このため、位相差検出画素は、そのままでは画像として使用できない欠損画素となる。したがって、日本国特開２０１０−０６２６４０号公報に開示された撮像装置は、位相差検出画素の画素出力を、ゲイン調整したり、周辺の画素を用いて補間したりすることにより、記録や表示に利用可能としている。

日本国特許第３５９２１４７号公報 日本国特開２０１０−０６２６４０号公報

ところで、位相差検出画素に入射する光の量は、入射する光の角度、位相差検出画素に形成された遮光膜の位置の他、像高によっても異なる。さらに、位相差検出画素に入射する光の角度は、撮影レンズ等の光学系の製造ばらつきや撮像素子の前面に配置されるマイクロレンズの製造ばらつきによっても異なる。ゲイン調整の精度を高めるためには、位相差検出画素毎の光量の低下量を正しく検出し、検出した低下量に応じてゲイン調整量を設定することが望ましい。

本発明は、前記の事情に鑑みてなされたもので、位相差検出画素を有する撮像素子からの画素出力を処理する撮像装置において、位相差検出画素による画質の低下をより抑えることが可能な撮像装置及びそれを用いた画像補正方法並びに画像処理装置及び画像処理方法を提供することを目的とする。

本発明の第１の態様の撮像装置は、撮像画素の一部に焦点検出をするための位相差検出画素が設けられた撮像素子と、前記位相差検出画素の画素出力と前記撮像画素の画素出力とから前記撮像素子の撮像面上に被写体の像を形成するための光学系の光軸位置を推定する光軸位置推定処理部と、前記位相差検出画素の画素出力を補正する画素補正部とを具備し、前記光軸位置推定処理部は、前記位相差検出画素の画素出力と該位相差検出画素の近傍の撮像画素の画素出力とから、前記位相差検出画素の画素出力と像高との関係を算出する関係算出部と、位相差の検出方向に並べられた対をなす前記位相差検出画素のそれぞれについて算出された前記関係から光軸位置を算出する光軸位置算出部とを有し、前記画素補正部は、前記関係に従ってそれぞれの位相差検出画素の画素出力を補正する。

本発明の第２の態様の画像補正方法は、撮像画素の一部に焦点検出をするための位相差検出画素が設けられた撮像素子の前記位相差検出画素の画素出力と該位相差検出画素の近傍の撮像画素の画素出力とから、前記位相差検出画素の画素出力と像高との関係を算出することと、位相差の検出方向に並べられた対をなす前記位相差検出画素のそれぞれについて算出された前記関係から光学系の光軸位置を算出することと、算出された前記光軸位置を記憶部に記憶することと、前記記憶部に記憶された前記光軸位置の情報により、前記撮像画素と前記位相差検出画素からの画素出力における前記光学系の光学特性の影響を補正することとを具備する。

本発明によれば、位相差検出画素を有する撮像素子からの画素出力を処理する撮像装置において、位相差検出画素による画質の低下をより抑えることが可能な撮像装置及びそれを用いた画像補正方法並びに画像処理装置及び画像処理方法を提供することができる。

図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。 図２は、画像処理部の詳細な構成を示す図である。 図３は、光軸位置推定処理部の詳細な構成を示す図である。 図４は、撮像素子の画素配列を示した図である。 図５Ａは、撮像画素における像の結像状態を示す図である。 図５Ｂは、位相差検出画素における像の結像状態を示す図である。 撮像装置による動画記録動作の処理を示すフローチャートである。 図７Ａは、レベル変化検出処理、周波数変化検出処理、絵柄変化検出処理について説明するための第１の図である。 図７Ｂは、レベル変化検出処理、周波数変化検出処理、絵柄変化検出処理について説明するための第２の図である。 図８Ａは、位相差検出画素の画素出力と像高との関係を示す第１の図である。 図８Ｂは、位相差検出画素の画素出力と像高との関係を示す第２の図である。 変形例２の関係式算出処理について説明するための図である。 調整時に光軸位置を推定する場合のフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ（以下、単にカメラと言う）の構成を示すブロック図である。ここで、図１において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。

図１に示すカメラ１は、撮影レンズ１１と、絞り１３と、メカシャッタ１５と、駆動部１７と、操作部１９と、撮像素子２１と、撮像制御回路２３と、Ａ−ＡＭＰ２５と、アナログデジタル変換器（ＡＤＣ）２７と、ＣＰＵ（Central Processing Unit）２９と、画像処理部３１と、焦点検出回路３３と、ビデオエンコーダ３５と、表示部３７と、バス３９と、ＤＲＡＭ（Dynamic Random Access Memory）４１と、ＲＯＭ（Read Only Memory）４３と、記録媒体４５とを有する。

撮影レンズ１１は、被写体１００からの像を撮像素子２１に形成するための単一又は複数のレンズから構成された光学系である。撮影レンズ１１は、単焦点レンズでもズームレンズでも良い。

絞り１３は、撮影レンズ１１の光軸上に配置され、その口径が可変に構成されている。絞り１３は、撮影レンズ１１を通過した被写体１００からの光束の量を制限する。メカシャッタ１５は、絞り１３の後方に配置され、開閉自在に構成されている。メカシャッタ１５は、その開放時間を調節することにより、撮像素子２１への被写体１００からの被写体光束の入射時間（撮像素子２１の露光時間）を調節する。メカシャッタ１５としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用され得る。駆動部１７は、ＣＰＵ２９からの制御信号に基づいて、撮影レンズ１１の焦点調節、絞り１３の開口径制御、及びメカシャッタ１５の開閉制御を行う。

操作部１９は、電源釦、レリーズ釦、再生釦、メニュー釦といった各種の操作釦及びタッチパネル等の各種の操作部材を含む。操作部１９は、各種の操作部材の操作状態を検知し、検知結果を示す信号をＣＰＵ２９に出力する。本実施形態の操作部１９により、カメラ１の撮影モードを選択することが可能である。ユーザは、操作部１９に含まれる操作部材としての撮影モードダイヤルを操作することにより、カメラ１の撮影モードを静止画撮影モードと動画撮影モードの何れかから選択することができる。静止画撮影モードは、静止画像を撮影するための撮影モードであり、動画撮影モードは、動画像を撮影するための撮影モードである。ここではダイヤルで選択する例を示しているが、例えばメニュー画面上で例えばタッチパネルを操作して撮影モードを選択できるようにしても良い。

撮像素子２１は、撮影レンズ１１の光軸上であって、メカシャッタ１５の後方で、かつ、撮影レンズ１１によって被写体光束が結像される位置に配置されている。撮像素子２１は、画素を構成するフォトダイオードが二次元的に配置されて構成されている。撮像素子２１を構成するフォトダイオードは、受光量に応じた電荷を生成する。フォトダイオードで発生した電荷は、各フォトダイオードに接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷が画像信号として読み出される。また、画素を構成するフォトダイオードの前面には、例えばベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有している。本実施形態における撮像素子２１は、複数の異なる電荷の読み出し方式を有している。撮像素子２１に蓄積された電荷は、撮像制御回路２３からの制御信号に従って読み出される。本実施形態における撮像素子２１は、記録や表示のための画像を取得するための撮像画素と焦点検出をするための位相差検出画素とを有する。位相差検出画素として用いる画素は、他の画素と異なり、一部の領域を遮光する。撮像素子２１の詳細については後で詳しく説明する。

撮像制御回路２３は、ＣＰＵ２９からの制御信号に従って、撮像素子２１の読み出し方式を設定し、設定した読み出し方式に従って撮像素子２１からの画像信号の読み出しを制御する。撮像素子２１からの画素データの読み出し方式は、カメラ１の動作状態に応じて設定される。例えば、撮像素子２１からの画素データの読み出しにリアルタイム性が求められる場合（例えばライブビュー表示時や動画記録時）には、画素データの読み出しを高速に行えるよう、複数の同色画素からの画素データを混合して読み出すか、特定の画素の画素データを間引いて読み出す。一方、リアルタイム性よりも画質が求められる場合（例えば静止画像の記録時）には、混合読み出しや間引き読み出しをせずに全画素の画素データを読み出すことで解像力を維持する。

Ａ−ＡＭＰ２５は、撮像素子２１から出力された画像信号のアナログゲイン調整を行う。ＡＤＣ２７は、アナログデジタル変換器であり、Ａ−ＡＭＰ２５によってアナログゲイン調整された画像信号を、デジタル形式の画像信号（画素データ）に変換する。以下、本明細書においては、複数の画素データの集まりを撮像データと記す。

ＣＰＵ２９は、後述するＲＯＭ４３に記憶されているプログラムに従って、カメラ１の全体制御を行う。

画像処理部３１は、撮像データに対して各種の画像処理を施して画像データを生成する。例えば画像処理部３１は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部３１は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。さらに、画像処理部３１は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。このような画像処理部３１の詳しい構成については後で詳しく説明する。

焦点検出回路３３は、位相差検出画素からの画素データを取得し、取得した画素データに基づき、公知の位相差方式を用いて撮影レンズ１１の合焦位置に対するデフォーカス方向及びデフォーカス量を算出する。

ビデオエンコーダ３５は、画像処理部３１によって生成されＤＲＡＭ４１に一時記憶された表示用画像データを読み出し、読み出した表示用画像データを表示部３７に出力する。

表示部３７は、例えば液晶ディスプレイや有機ＥＬディスプレイといった表示部であって、例えばカメラ１の背面等に配置される。この表示部３７は、ビデオエンコーダ３５から入力されてきた表示用画像データに従って画像を表示する。表示部３７は、ライブビュー表示や記録済み画像の表示等に使用される。

バス３９は、ＡＤＣ２７、ＣＰＵ２９、画像処理部３１、焦点検出回路３３、ビデオエンコーダ３５、ＤＲＡＭ４１、ＲＯＭ４３、記録媒体４５に接続され、これらのブロックで発生した各種のデータが転送される。

ＤＲＡＭ４１は、電気的に書き換え可能なメモリであり、前述した撮像データ（画素データ）、記録用画像データ、表示用画像データ、ＣＰＵ２９における処理データといった各種データを一時的に記憶する。なお、一時記憶用としては、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）を用いても良い。

記憶部の一例として機能するＲＯＭ４３は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ４３は、ＣＰＵ２９で使用するプログラム、カメラ１の調整値等の各種データを記憶している。

記録媒体４５は、カメラ１に内蔵又は装填自在に構成されており、記録用画像データを所定の形式の画像ファイルとして記録する。

図２は、画像処理部３１の詳細な構成を示す図である。図２では、画像処理部３１以外のブロックについては図示を省略している。

画像処理部３１は、ホワイトバランス（ＷＢ）補正処理部３１１と、光軸位置推定処理部３１２と、画素補正部３１３と、同時化処理部３１４と、輝度特性変換部３１５と、エッジ強調処理部３１６と、ノイズ低減（ＮＲ）処理部３１７と、色再現処理部３１８と、歪補正部３１９と、色収差補正部３２０とを有している。この他、図示を省略しているが、画像処理部３１は、圧縮伸張処理部等も有している。

ＷＢ補正処理部３１１は、撮像データの各色成分を所定のゲイン量で増幅することにより、画像の色バランスを補正する。

光軸位置推定処理部３１２は、撮像データにおける撮像画素の画素出力と位相差検出画素の画素出力とから、撮像素子２１の撮像面上における撮影レンズ１１の光軸の位置（像高の基準位置）を推定する。画素補正部３１３は、光軸位置推定処理部３１２の推定結果に従って、位相差検出画素の画素出力を補正する。光軸位置推定処理部３１２及び画素補正部３１３の詳細については後で説明する。

同時化処理部３１４は、例えばベイヤ配列に対応して撮像素子２１を介して出力される撮像データ等の、１つの画素が１つの色成分に対応している撮像データを、１つの画素が複数の色成分に対応している画像データに変換する。

輝度特性変換部３１５は、同時化処理部３１４で生成された画像データの輝度特性を、表示や記録に適するように変換する。

エッジ強調処理部３１６は、画像データからバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じ、この結果をもとの画像データに加算することによって、画像データにおけるエッジ（輪郭）成分を強調する。

ＮＲ処理部３１７は、コアリング処理等を用いて、画像データにおけるノイズ成分を除去する。

色再現処理部３１８は、画像の色再現を適切なものとするための各種の処理を行う。この処理としては、例えばカラーマトリクス演算処理がある。このカラーマトリクス演算処理は、画像データに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色再現処理部３１８は、彩度・色相の補正を行う。

歪補正部３１９は、画像データにおける歪曲収差を補正する。例えば、歪補正部３１９は、歪曲収差を補正するための所定の関数に従って歪補正前の画像データの座標変換を行うことにより、画像データにおける歪曲収差を補正する。歪補正部３１９は、光軸位置推定処理部３１２において推定された光軸の位置が中心となるような座標変換関数を算出する。

歪補正部３１９とともに光学特性補正部の一例として機能する色収差補正部３２０は、画像データにおける色収差を補正する。例えば、色収差補正部３２０は、色収差を補正するための所定の関数に従って色収差補正前のＲ、Ｇ、Ｂの画像データのそれぞれの位置を一致させるような座標変換を行うことにより、画像データにおける色収差を補正する。色収差補正部３２０は、光軸位置推定処理部３１２において推定された光軸の位置がそれぞれの画像データの中心となるようにＲ、Ｇ、Ｂの画像データの位置合わせをする。

図３は、光軸位置推定処理部３１２の詳細な構成を示す図である。光軸位置推定処理部３１２は、関係式算出部３１２１と、交点算出部３１２２とを有している。

関係式算出部３１２１は、位相差検出画素の画素出力と像高との関係を示す関係式を算出する。この関係式算出部３１２１は、レベル変化検出部３１２１ａと、周波数変化検出部３１２１ｂと、絵柄変化検出部３１２１ｃと、算出部３１２１ｄとを有している。

レベル変化検出部３１２１ａは、位相差検出画素とその近傍の撮像画素との間の画素出力の変化（画素データの値の比又は画素データの値の差）を検出する。周波数変化検出部３１２１ｂは、各位相差検出画素に対して、各位相差検出画素の位相差検出の方向と異なる方向に位置する複数の撮像画素の画素出力の変化を検出する。絵柄変化検出部３１２１ｃは、レベル変化を検出した位相差検出画素とその近傍の撮像画素とのそれぞれの近傍に位置する撮像画素間の画素出力の変化を検出する。算出部３１２１ｄは、レベル変化検出部３１２１ａの検出結果、周波数変化検出部３１２１ｂの検出結果、絵柄変化検出部３１２１ｃの検出結果を用いて位相差検出画素の画素出力と像高との関係を示す関係式を算出する。これらのレベル変化検出部３１２１ａ、周波数変化検出部３１２１ｂ、絵柄変化検出部３１２１ｃ、算出部３１２１ｄについては後で詳しく説明する。

交点算出部３１２２は、２種類の位相差検出画素のそれぞれについて関係式算出部３１２１で算出された関係式の交点を、撮影レンズ１１の光軸の位置として算出する。

図４を用いて、撮像素子２１の構成について説明する。図４は、撮像素子２１の画素配列を示した図である。また、図４の右側には、一部の画素を拡大して示している。図４は、ベイヤ配列の例であるが、カラーフィルタの配列はベイヤ配列に限るものではなく、種々の配列が適用され得る。

前述したように、ベイヤ配列の撮像素子２１は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有している。言い換えれば、ベイヤ配列の撮像素子２１は、右側の拡大図で示すＧｒ画素と、Ｒ画素、Ｇｂ画素、Ｂ画素の４画素の組が水平及び垂直方向に繰り返して配置されている。

本実施形態においては、一部の撮像画素２１ａの位置に位相差検出画素２１ｂを配置する。位相差検出画素は、例えば左右の何れかの領域を遮光膜によって遮光した画素である。図４の例では、左半面を遮光した位相差検出画素（以下、右開口位相差検出画素と言う）の行と、右半面を遮光した位相差検出画素（以下、左開口位相差検出画素と言う）の行とを垂直方向に沿って近接するように配置している。

高画素数の撮像素子の場合には個々の画素の面積が小さくなるので、近接して配置される画素にはほぼ同じ像が結像すると考えることができる。したがって、図４に示すようにして位相差検出画素を配置することにより、図４のＡ行の位相差検出画素とＢ行の位相差検出画素の対で位相差を検出することができる。また、Ｃ行の位相差検出画素とＤ行の位相差検出画素の対でも位相差を検出することができる。

図４の例では、位相差検出画素中の遮光する領域を、左右何れかの領域としている。この場合、水平位相差を検出することが可能である。これに対し、遮光する領域を上下何れかの領域としたり、斜め方向の領域としたりすることで、垂直位相差や斜め方向の位相差を検出することも可能である。また、ある程度の面積を有していれば遮光面積も画素領域の１/２でなくとも良い。さらに、図４では位相差検出画素をＧ画素に配置しているが、Ｇ画素以外の、Ｒ画素、Ｂ画素の何れかに配置するようにしても良い。

また、図４の例は、位相差検出画素の一部領域を遮光することによって瞳分割をする例を示しているが、位相差検出画素は、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束のうちの一方を選択的に受光できれば良い。このため、一部領域を遮光する構成とせず、例えば瞳分割用のマイクロレンズによって瞳分割をするようにしても良い。

図４に示したような撮像素子を用いた位相差法による焦点検出の原理について図５Ａ及び図５Ｂを参照して説明する。ここで、図５Ａは、撮像画素２１ａにおける像の結像状態を示す。また、図５Ｂは、位相差検出画素２１ｂにおける像の結像状態を示す。

被写体が点光源であるとすると、撮影レンズ１１が合焦状態であるとき、被写体から出射され、撮影レンズ１１の光軸中心に対して対称な異なる瞳領域を通過した対をなす被写体光束は撮像素子２１上の同一の位置に結像する。一方、撮影レンズ１１が非合焦状態であるとき、被写体から出射され、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束は、撮像素子２１上の異なる位置に結像する。言い換えれば、これらの対をなす被写体光束によって形成される像の間には位相差が生じる。この位相差を、右開口位相差検出画素と左開口位相差検出画素とでそれぞれ検出される像の相関関係から検出することにより、撮影レンズ１１のデフォーカス量及びデフォーカス方向を検出する。

位相差検出画素２１ｂは、一部の領域が遮光されているので、光量の低下が発生する。この光量の低下は、位相差検出画素２１ｂに形成された遮光膜の面積の他、遮光膜の位置、位相差検出画素２１ｂに入射する光の角度、像高によっても異なるものである。このような光量の低下を後述の画素出力補正処理によって補正する。

以下、本実施形態の撮像装置の具体的な動作を説明する。図６は、撮像装置による動画記録（動画撮影）動作の処理を示すフローチャートである。動画記録動作は、例えば動画撮影モード中にレリーズ釦が押された場合に開始される。また、図６に示すフローチャートの処理は、ＲＯＭ４３に記憶されているプログラムに従って、ＣＰＵ２９が実行する。なお、図６は、動画記録動作を示しているが、本実施形態に係る画像処理方法は、静止画記録動作に対しても適用可能である。

図６のフローチャートの動作が開始されると、ＣＰＵ２９は、撮像データの取り込みを開始する（ステップＳ１０１）。ここでは、ＣＰＵ２９は、撮像制御回路２３に現在の動作モードに応じた設定データを入力する。この設定データに従って撮像制御回路２３は、撮像素子２１からの画素データの読み出しを制御する。撮像制御回路２３に読み出し方式が設定されると、撮像制御回路２３に設定された読み出し方式に従って、撮像素子２１から画素混合又は画素間引きされた状態の画像信号が読み出される。撮像素子２１から読み出された画像信号は、ＡＤＣ２７においてデジタル化された後、撮像データとしてＤＲＡＭ４１に一時記憶される。

次に、ＣＰＵ２９は、位相差検出画素の画素出力（位相信号）を補正する（ステップＳ１０２）。この位相信号補正処理においては、前フレームにおいて実行された関係式算出処理の結果を利用して位相差検出画素の画素出力を補正する。この補正は、後述のステップＳ１０９における画素出力補正処理と同様に行われる。その詳細については、後で説明する。

次に、ＣＰＵ２９は、焦点検出処理を行う（ステップＳ１０３）。ここでは、ＣＰＵ２９は、焦点検出回路３３に焦点検出処理を実行させる。焦点検出処理の実行指示を受けて、焦点検出回路３３は、ＤＲＡＭ４１に一時記憶された撮像データの中から、位相差検出画素に対応した画素データを読み出し、この画素データを位相信号として用いて公知の位相差法によって撮影レンズ１１のデフォーカス方向及びデフォーカス量を算出する。次に、ＣＰＵ２９は、焦点検出回路３３により検出された撮影レンズ１１のデフォーカス方向及びデフォーカス量に基づいて駆動部１７を制御し、撮影レンズ１１を合焦させる。

次に、ＣＰＵ２９は、撮像データを画像処理部３１に入力する。これを受けて光軸位置推定処理部３１２は、光軸位置の推定処理をする。この処理として、光軸位置推定処理部３１２のレベル変化検出部３１２１ａは、撮像データに対してレベル変化検出処理を実行する（ステップＳ１０４）。図２に示す画像処理部３１の場合、実際には、レベル変化検出処理に先立って、ＷＢ補正処理部３１１によるＷＢ補正処理が行われるが、図６では図示を省略している。なお、ＷＢ補正処理は、後述の画素出力補正処理の後に行うようにしても良い。

位相差検出画素は、一部の領域が遮光されているので、前述したような光量の低下が発生する。レベル変化検出処理は、位相差検出画素の画素出力とその近傍の同色の撮像画素の画素出力の変化（画素データの値の比又は差）を検出することにより、位相差検出画素における光量の低下量（レベル変化）を検出する処理である。本実施形態においては、位相差検出画素の近傍の同色の撮像画素のうち、位相差の検出方向と異なる方向の撮像画素との画素データの値の比又は差を検出する。

例えば、図７Ａに示すようにして、撮像素子２１の水平方向に沿って位相差検出画素が配置される場合のレベル変化検出処理について説明する。位相差検出画素２１ｂは、図７Ａのハッチングを施した領域（以下、アイランド領域と言う）に配置される。各アイランド領域には、右開口位相差検出画素と左開口位相差検出画素との対がｎ個配置される。以下の説明においては、右開口位相差検出画素と左開口位相差検出画素とは、図４と同様に、Ｇｒ画素に配置されているものとする。また、図７Ａに示すように、撮像素子２１の水平方向をｘ軸と定義する。各アイランド領域における位相差検出画素の水平方向の開始ｘ座標をstart_xと定義する。start_xは、右開口位相差検出画素のものと左開口位相差検出画素ものとがそれぞれ定義される。

図７Ｂは、図７Ａのアイランド領域内の画素の拡大図である。例えば、図７Ｂに示す画素のうち、右開口位相差検出画素Ｇｒ２及び左開口位相差検出画素Ｇｒ３に対してレベル変化検出処理を実行するとする。このとき、右開口位相差検出画素Ｇｒ２及び左開口位相差検出画素Ｇｒ３による位相差検出方向である水平方向と異なる方向、即ち右開口位相差検出画素Ｇｒ２及び左開口位相差検出画素Ｇｒ３に対して垂直方向の近傍の同色の撮像画素との画素データの値の比又は差を検出する。したがって、右開口位相差検出画素Ｇｒ２については、図７Ｂの矢印３で示す、右開口位相差検出画素Ｇｒ２と同列の近傍の撮像画素Ｇｒ１との画素出力の比を検出する。左開口位相差検出画素Ｇｒ３については、図７Ｂの矢印４で示す、左開口位相差検出画素Ｇｒ３と同列の近傍の撮像画素Ｇｒ１との画素データの値の比又は差を検出する。

このようなレベル変化検出処理により、各位相差検出画素に形成された遮光膜の面積、遮光膜の位置、位相差検出画素に入射する光の角度、像高の影響を考慮した撮像画素に対する位相差検出画素の光量の低下量を検出することが可能である。ただし、レベル変化検出処理で検出される光量の低下量は、像（絵柄）自体の変化による光量の低下量も含んでいる可能性がある。これは、位相差検出画素の近傍の撮像画素であっても、必ずしも同じ像が結像しているとは限らないためである。したがって、レベル変化検出処理としては、位相差検出画素に対してなるべく近くの同色の撮像画素との間のレベル変化を検出することが望ましい。

また、前述の例では、位相差検出画素と同列の撮像画素との間のレベル変化を検出している。これは、撮影レンズ１１の光軸ずれ等の特性により生じる位相差検出画素への光の入射角度の違いに伴う、像高に対するレベル変化の傾向を見るためである。

レベル変化検出処理の後、周波数変化検出部３１２１ｂは、周波数変化検出処理を実行する（ステップＳ１０５）。周波数変化検出処理は、位相差検出画素の近傍の空間周波数の変化の傾向を検出する処理である。ここで、本実施形態においては、位相差の検出方向と異なる方向の空間周波数の変化の傾向を検出する。

周波数変化検出処理の具体的な処理としては、位相差検出画素の周囲の画素のうち、位相検出方向に沿った空間周波数が同じになる複数の画素の画素データの値の比又は差を検出する。図７Ｂの例の場合、位相差検出画素に対して垂直方向同列の画素は、位相差の検出方向である水平方向の空間周波数が同じになる。したがって、右開口位相差検出画素Ｇｒ２については、図７Ｂの矢印１で示す、位相差検出画素Ｇｒ２を挟むようにして配置される撮像画素Ｂ２と撮像画素Ｂ３との画素データの値の比又は差を検出する。また、左開口位相差検出画素Ｇｒ３については図示していないが、位相差検出画素Ｇｒ３を挟むようにして配置される撮像画素Ｂ３と撮像画素Ｂ４との画素データの値の比又は差を検出する。

このような周波数変化検出処理により、位相差検出画素の周辺の垂直方向の空間周波数の変化を検出することが可能である。

ここで、ベイヤ配列の場合、位相差検出画素を挟むように垂直方向に隣接して配置される２つの画素は、位相差検出画素とは異なる色の同色の撮像画素となる。しかしながら、これらの２つの画素は、必ずしも隣接している必要はなく、離れていても良い。また、位相差検出画素を挟むようにして対向するように配置されていれば、位相差検出画素からの距離が異なっていても良い。勿論、位相差検出画素からの距離が等しくても良い。

また、垂直位相差を検出する位相差検出画素の場合には、垂直方向ではなく、水平方向に隣接する２つの画素の画素出力の比を検出する。

周波数変化検出処理の後、絵柄変化検出部３１２１ｃは、絵柄変化検出処理を実行する（ステップＳ１０６）。

絵柄変化検出処理の具体的な処理としては、レベル変化検出処理に用いられた位相差検出画素と撮像画素のそれぞれの近傍の同色画素間の画素データの値の比又は差を検出する。図７Ｂの例の場合、右開口位相差検出画素Ｇｒ２については、図７Ｂの矢印２で示す、右開口位相差検出画素Ｇｒ２の近傍の撮像画素Ｇｂ３と撮像画素Ｇｒ１の近傍の撮像画素Ｇｂ１との画素データの値の比又は差を検出する。また、左開口位相差検出画素Ｇｒ３については、左開口位相差検出画素Ｇｒ３の近傍の撮像画素Ｇｂ４と撮像画素Ｇｒ１の近傍の撮像画素Ｇｂ１との画素データの値の比又は差を検出する。

このような絵柄変化検出処理では、レベル変化検出処理に用いられた位相差検出画素と撮像画素の近傍の撮像画素の画素出力の変化を検出している。これらのレベル変化検出処理に用いられた位相差検出画素と撮像画素の近傍の撮像画素であれば、ほぼ同じ像が結像されていると考えることができる。この場合、近傍の撮像画素間の画素出力の変化は、ほぼ像（絵柄）の変化によるものであると考えることが可能である。実際には、レベル変化検出処理に用いられた位相差検出画素と撮像画素の近傍の撮像画素であるので、空間周波数が高い場合には、誤差が生じる可能性がある。そこで、前述の周波数変化検出処理の検出結果から、絵柄変化検出処理の信頼性を判断する。

ここで、図７Ｂの例では、絵柄変化検出処理において画素出力の比を検出する２つの撮像画素を位相差検出画素と同色の画素としている。しかしながら、これらの２つの撮像画素は、必ずしも位相差検出画素と同色である必要はない。ただし、これらの２つの撮像画素の色は同色であることが望ましい。また、画素出力の比を検出する２つの撮像画素とそれぞれの近傍の位相差検出画素との距離は等しいことが望ましいが、多少であれば距離が異なっていても良い。

また、垂直位相差を検出する位相差検出画素の場合には、絵柄変化検出処理として、垂直方向ではなく、水平方向に隣接する複数の画素の画素出力の比を検出する。

絵柄変化検出処理の後、算出部３１２１ｄは、レベル変化検出処理の検出の結果を補正するための重み係数Wをアイランド領域毎に算出する（ステップＳ１０７）。

以下、重み係数Wの算出手法の一例ついて説明する。なお、この例では、右開口位相差検出画素についての重み係数Wを算出する例について説明する。一例の重み係数Wは、周波数変化検出処理の結果として得られる位相差検出画素の垂直方向同列の２つの同色の撮像画素の画素データの値の比が１に近いほど、１に近づく係数である。このような重み係数Wは、例えば以下の（式１）にようにガウス関数を用いて算出することが可能である。ここで、（式１）で示す重み係数Wは、同一のアイランド領域内の右開口位相差検出画素に対しては同一の値を適用することが可能である。

ここで、（式１）のσは、標準偏差であって例えば設計時に任意に設定される。例えば、σ＝0.1とした場合、重み係数Wは、0.1を標準偏差としたガウス関数となる。（式１）のDif_Bは、周波数変化検出処理の結果として得られる位相差検出画素に対して垂直方向同列の２つの同色の撮像画素の画素データの値の比である。例えば、撮像画素Ｂ２の画素データの値をＢ２、撮像画素Ｂ３の画素データの値をＢ３とすると、周波数変化検出処理の結果Dif_Bは、以下の（式２）で与えられる。
Dif_B＝B2/B3 （式２）
前述の例では、重み係数Wを、ガウス関数を用いて算出しているが、垂直方向同列の２つの同色の撮像画素の画素データの値の比が１に近いほど１に近づく係数を算出できるような手法であれば必ずしもガウス関数を用いて算出する必要はない。

重み係数Wを算出した後、算出部３１２１ｄは、位相差検出画素の画素出力と像高との関係式を算出する（ステップＳ１０８）。

以下、関係式の算出手法の一例を説明する。この例では、位相差検出画素の画素出力と像高との関係を１次式で近似することとする。例えば、水平座標xの位置にある位相差検出画素の撮像画素に対するレベル変化量をyとすると、レベル変化量を表す１次式は、y＝ax＋bの形で表すことが可能である。また、このような１次式の傾きａ及び切片ｂは、例えば最小二乗法により、以下の（式３）で示すようにして与えられる。

ここで、（式３）のDif_pRi(i＝start_x, start_x+1, …, n-1)は、レベル変化検出処理の結果と絵柄変化検出処理の結果から得られる、水平座標ｘに配置された右開口位相差検出画素とその近傍の撮像画素との画素データの値の比である。Dif_pRiは、以下の（式４）で与えられる。
Dif_pRi＝1−{(Gr1/Gr2)−Dif_G} （式４）
（式４）のDif_Gは、絵柄変化検出処理の結果として得られるレベル変化検出処理に用いられた画素の近傍の２つの撮像画素間の画素データの値の比である。例えば、右開口位相差検出画素Ｇｒ２の例を示すと、Dif_Gは、以下の（式５）で与えられる。
Dif_G＝1−Gb1/Gb3 （式５）
（式４）において、撮像画素Ｇｒ１の画素データの値をＧｒ１、位相差検出画素Ｇｒ２の画素データの値をＧｒ２としている。（式４）は、レベル変化検出処理によって得られたレベル変化量から絵柄変化検出処理によって得られたレベル変化量を差し引いたものである。したがって、（式４）で示すレベル変化量は、位相差検出画素に入射する光の角度、像高の影響を考慮した撮像画素に対する位相差検出画素の光量の低下量となる。

また、（式３）のａ、ｂの括弧内の値０は、これらによって示される傾き及び切片が右開口位相差検出画素に関するものであることを示す。一方、左開口位相差検出画素については、（式３）のａ、ｂの括弧内の値を１とし、さらに、（式３）〜（式５）で示した各値を左開口位相差検出画素に関する値に置き換える。

なお、前述の例では、レベル変化量と水平座標ｘとの関係を、１次式で近似しているが、高次式で近似しても良い。また、近似の手法も最小二乗法に限らず、ラグランジュ補間、スプライン補間等を用いても良い。

関係式が算出された後、画素補正部３１３は、各位相差検出画素の画素出力を補正する（ステップＳ１０９）。例えば、レベル変化検出処理、周波数変化検出処理、及び絵柄変化検出処理で、画素出力の変化として画素データの値の比を検出した場合、（式３）で示すｙも画素データの値の比で表されるものとなる。したがって、画素出力の補正は、位相差検出画素の水平座標ｘに応じたｙをその位相差検出画素の画素データに乗じるゲイン調整をすれば良い。一方、レベル変化検出処理、周波数変化検出処理、及び絵柄変化検出処理で、画素出力の変化として画素データの値の差を検出した場合、（式３）で示すｙも画素データの値の差で表されるものとなる。したがって、画素出力の補正は、位相差検出画素の水平座標ｘに応じたｙをその位相差検出画素の画素データにオフセットさせるゲイン調整をすれば良い。

前述したように、ステップＳ１０２の補正もステップＳ１０９と同様の補正を行う。ただし、ステップＳ１０２においては、１フレーム前の関係式算出処理で算出された関係式を用いて補正を行う。

画素補正処理の後、交点算出部３１２２は、右開口位相差検出画素について算出した関係式と左開口位相差検出画素について算出した関係式との交点（cross_x,cross_y）を算出する（ステップＳ１１０）。

図８Ａ及び図８Ｂは、像高と位相差検出画素の画素出力との関係を示した図である。図８Ａは、撮影レンズ１１の光軸が撮像面上に設定された像高の基準位置（例えば撮像面の中心位置）と一致している理想状態の場合の関係を示している。また、図８Ｂは、撮影レンズ１１の光軸が撮像面上に設定された像高の基準位置（例えば撮像面の中心位置）からずれている場合の関係を示している。（式３）は、１次式で近似をしているが、実際には、位相差検出画素の画素出力は、像高に対して非線形に変化する。

図８Ａに示すように、理想状態では、右開口位相差検出画素の画素出力と左開口位相差検出画素との画素出力とは、像高の基準位置に対して線対称に変化する。そして、像高の基準位置において、右開口位相差検出画素の画素出力と左開口位相差検出画素との画素出力が一致する。

これに対し、撮影レンズ１１の光軸にずれがある場合、図８Ｂに示すように、像高に対する右開口位相差検出画素の画素出力及び左開口位相差検出画素の画素出力が理想状態の場合に対して変化する。また、右開口位相差検出画素の画素出力と左開口位相差検出画素の画素出力とが一致する像高も、基準の増高からずれる。右開口位相差検出画素の画素出力と左開口位相差検出画素の画素出力とが一致する像高は、右開口位相差検出画素について算出した関係式と左開口位相差検出画素について算出した関係式との交点（cross_x,cross_y）に対応する。したがって、この交点を求めることにより、理想状態からずれた後の撮影レンズ１１の撮像面上での光軸位置を推定することが可能である。

交点（cross_x,cross_y）は、位相差検出方向に並べられた対をなす位相差検出画素、例えば位相差検出方向が水平方向である場合には右開口位相差検出画素と左開口位相差検出画素のそれぞれについて算出した関係式を用いた２元１次連立方程式を解くことによって求めることが可能である。この連立方程式の解は、以下の（式６）で表される。

交点の座標が算出された後、画像処理部３１は、撮像データに対する画像処理を行う（ステップＳ１１１）。ここでは、画像処理部３１は、ステップＳ１０９の画素出力補正処理の結果として得られた撮像データに対する画像処理（同時化処理から色再現処理まで）を実行する。画像処理に用いる処理パラメータは記録用のものを用いる。記録用の処理パラメータは、例えばＲＯＭ４３に予め記憶されているものである。

次に、歪補正部３１９は、画像処理により得られた画像データに対して歪補正処理を行う（ステップＳ１１２）。ここでは、歪補正部３１９は、ステップＳ１１０で算出された交点の位置が補正後の画像データの中心となるように歪補正用の座標変換を行う。

次に、色収差補正部３２０は、画像処理により得られた画像データに対して色収差歪補正処理を行う（ステップＳ１１３）。ここで、色収差補正部３２０は、ステップＳ１１０で算出された交点の位置が補正後の画像データの中心となるようにＲ、Ｇ、Ｂの画像データの位置合わせをする。

次に、ＣＰＵ２９は、色収差補正処理の結果としてＤＲＡＭ４１に一時記憶された画像データを記録媒体４５に記録する（ステップＳ１１４）。次に、ＣＰＵ２９は、動画記録を停止させるか否かを判定する（ステップＳ１１５）。ここでは、ＣＰＵ２９は、操作部１９のレリーズ釦の操作状態を判定する。即ち、レリーズ釦が再び押された場合に、ＣＰＵ２９は、動画記録を停止させると判定する。

ステップＳ１１５において、動画記録を停止させないと判定した場合に、ＣＰＵ２９は、処理をステップＳ１０１に戻し、動画記録を続行する。一方、ステップＳ１１５において、動画記録を停止させると判定した場合に、ＣＰＵ２９は、図６の処理を終了させる。

以上説明したように、本実施形態においては、位相差検出画素とその近傍の撮像画素との画素出力の変化を実際に検出し、この検出結果に従って算出される位相差検出画素の画素出力と像高との関係を示す関係式より、撮影レンズ１１の撮像面上における光軸位置を推定することができる。これにより、撮影レンズ１１の製造ばらつき等に起因する光軸ずれが生じていたとしても適切に歪補正処理や色収差補正を行うことが可能である。

また、本実施形態では、位相差検出画素の画素出力と像高との関係を示す関係式より、各位相差検出画素のゲイン調整量を算出して画素出力補正処理を行うようにしている。これにより、各位相差検出画素に形成された遮光膜の面積、遮光膜の位置、位相差検出画素に入射する光の角度、像高の影響を考慮した位相差検出画素の画素出力の補正を行うことが可能である。また、本実施形態では、歪補正処理や色収差補正の前に画素出力補正処理を行うようにしている。歪補正処理や色収差補正のような座標変換を伴う処理の前に画素出力補正処理を行うことにより、画素出力補正処理の精度を向上させることが可能である。さらに、焦点検出処理に先立って、位相差検出画素の画素出力と像高との関係を示す関係式より、各位相差検出画素の画素出力を補正するようにしている。これにより、撮影レンズ１１の光軸ずれが生じていたとしても焦点検出の精度が低下することがない。

また、本実施形態においては、単純に位相差検出画素とその近傍の撮像画素との画素出力の変化を検出するだけでなく、それぞれの画素の近傍の撮像画素間の画素出力の変化を検出し、その結果に応じてゲイン調整量を補正している。これにより、位相差検出画素と撮像画素とで異なる像が結像した場合の誤差をも補正することが可能である。

さらに、本実施形態においては、位相差検出画素の周辺の空間周波数の変化を考慮して絵柄変化検出処理の結果を補正している。これにより、さらにゲイン調整の精度を高めることが可能である。ここで、周波数変化検出処理は、絵柄変化検出処理の信頼性を高めるためには必要ではあるが、周波数変化検出処理を省略しても良い。

［変形例１］
以下、前述した実施形態の変形例について説明する。前述した実施形態は、交点算出部３１２２で算出された交点（撮像面上での実際の撮影レンズ１１の光軸の位置）の使用例として、歪補正処理と色収差補正処理とを例示している。本実施形態の技術は、歪補正処理や色収差補正処理の他の各種の光学特性の補正処理に対して適用できる。例えば、本実施形態の技術は、シェーディング補正処理にも適用され得る。シェーディング補正処理とは、撮影レンズ１１の特性に起因して生ずる画像の周辺部の光量落ちを補正する処理である。シェーディング補正処理においても、交点算出部３１２２で算出された交点を中心としてゲイン補正を行うことにより、適切な補正を行うことが可能である。

［変形例２］
前述した例では、重み係数Wをガウス関数としているが、この他に例えば閾値を用いた近似により求めることができる。また、レベル変化量を表す１次式を最小二乗法ではなく、折れ点近似によって求めることもできる。変形例２は、このような他の手法によって重み係数Wとレベル変化量を表す１次式の傾きa及び切片bとを求める例である。

この変形例においては、図９で示すように１つのアイランド領域内にm点（図では折れ点１，２，３の３点）の折れ点を決めた上で前述と同様のレベル変化検出処理、周波数変化検出処理、及び絵柄変化検出処理を行う。この場合、重み係数Wを以下の（式７）のようにして、Dif_GとDif_Bの平均値を閾値で場合分けすることで求めることができる。なお、（式７）は、位相差の検出方向が水平方向の例である。

（式７）のDif_Gは、絵柄変化検出処理の結果として得られるレベル変化検出処理に用いられた画素の近傍の２つの撮像画素間の画素データの値の比の絶対値である。例えば、前述の右開口位相差検出画素Ｇｒ２が折れ点の１つであったとすると、Dif_Gは、以下の（式８）で与えられる。
Dif_G＝abs(1−Gb1/Gb3) （式８）
（式７）のDif_Bは、周波数変化検出処理の結果として得られる位相差検出画素に対して垂直方向同列の２つの同色の撮像画素の画素データの値の比の絶対値である。例えば、撮像画素Ｂ２の画素データの値をＢ２、撮像画素Ｂ３の画素データの値をＢ３とすると、Dif_Bは、以下の（式９）で与えられる。
Dif_B＝abs(1-B2/B3) （式９）
また、レベル変化量を表す１次式y＝ax＋bの傾きａ及び切片ｂは、以下の（式１０）で示すようにして与えられる。

ここで、（式１０）に示すa_m及びb_m(m=1,2)は、それぞれ、折れ点mから折れ点m+1までのレベル変化量を示す１次式の傾き及び切片であることを示している。また、P_m(m=1,2)は、以下の（式１１）で与えられる。

ここで、（式１１）のDif_pRi(i＝start_x, start_x+1, …, n-1)は、レベル変化検出処理の結果と絵柄変化検出処理の結果から得られる、水平座標ｘに配置された位相差検出画素とその近傍の撮像画素との画素データの値の比である。Dif_pRiは、以下の（式１２）で与えられる。

Dif_pRi＝1−{(Gr1/Gr2)−Dif_G} （式１２）
また、前述の例では、各アイランド領域における位相差検出画素の水平方向の開始ｘ座標をstart_xと定義しているが、変形例においては各折れ点のｘ座標をstart_xと定義し、折れ点間にｎ個の画素が配列されるものとする。

以上の（式７）〜（式１２）で示したのと同様の計算を左開口位相差検出画素についても行い、右開口位相差検出画素について（式１１）に示すようにして算出した関係式と左開口位相差検出画素について（式１１）に示すようにして算出した関係式との交点が、交点（cross_x,cross_y）となる。

［変形例３］
前述した各例は、動画撮影中に光軸位置を推定しているが、カメラ１の調整時に予め光軸位置を推定しておいても良い。図１０は、調整時に光軸位置を推定する場合のフローチャートである。図１０の処理は、カメラ１に撮影レンズ１１が装着され、調整のためにカメラ１が起動された場合に行われる。図１０のステップＳ２０１〜Ｓ２０８の処理は、図６のステップＳ１０１、Ｓ１０３〜Ｓ１０８、Ｓ１０９と同一である。したがって、説明を省略する。ステップＳ２０８において、交点（cross_x,cross_y）が算出された後、ＣＰＵ２９は、算出された交点（cross_x,cross_y）の情報を、撮像面上での撮影レンズ１１の光軸の位置情報としてＲＯＭ４３に記憶させる（ステップＳ２０９）。撮影レンズ１１が着脱自在に構成されている場合には、撮影レンズ１１内のＲＯＭに交点の情報を記録しても良い。

この変形例３では、光軸の位置をカメラ１の調整時に予め推定しておくことにより、撮影時にはこの推定値を使用して歪補正処理等の処理を行うことが可能である。即ち、図６のステップＳ１１０の処理を省略できる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。前述の各動作フローチャートについては、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、ＣＰＵ２９に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ２９は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１…デジタルカメラ（カメラ）、１１…撮影レンズ、１３…絞り、１５…メカシャッタ、１７…駆動部、１９…操作部、２１…撮像素子、２３…撮像制御回路、２５…Ａ−ＡＭＰ、２７…アナログデジタル変換器（ＡＤＣ）、２９…ＣＰＵ、３１…画像処理部、３３…焦点検出回路、３５…ビデオエンコーダ、３７…表示部、３９…バス、４１…ＤＲＡＭ、４３…ＲＯＭ、４５…記録媒体、３１１…ホワイトバランス（ＷＢ）補正処理部、３１２…光軸位置推定処理部、３１３…画素補正部、３１４…同時化処理部、３１５…輝度特性変換部、３１６…エッジ強調処理部、３１７…ノイズ低減（ＮＲ）処理部、３１８…色再現処理部、３１９…歪補正部、３２０…色収差補正部、３１２１…関係式算出部、３１２１ａ…レベル変化検出部、３１２１ｂ…周波数変化検出部、３１２１ｃ…絵柄変化検出部、３１２１ｄ…算出部、３１２２…交点算出部

Claims (10)

1. 撮像画素の一部に焦点検出をするための位相差検出画素が設けられた撮像素子と、
   前記位相差検出画素の画素出力と前記撮像画素の画素出力とから前記撮像素子の撮像面上に被写体の像を形成するための光学系の光軸位置を推定する光軸位置推定処理部と、
   前記位相差検出画素の画素出力を補正する画素補正部と、
   を具備し、
   前記光軸位置推定処理部は、
   前記位相差検出画素の画素出力と該位相差検出画素の近傍の撮像画素の画素出力とから、前記位相差検出画素の画素出力と像高との関係を算出する関係算出部と、
   位相差の検出方向に並べられた対をなす前記位相差検出画素のそれぞれについて算出された前記関係から光軸位置を算出する光軸位置算出部と、
   を有し、
   前記画素補正部は、前記関係に従ってそれぞれの位相差検出画素の画素出力を補正する撮像装置。
2. 前記対をなす位相差検出画素は、開口の位置が異なっており、
   前記関係算出部は、前記位相差検出画素の開口の位置毎に前記関係を算出する請求項１に記載の撮像装置。
3. 前記関係算出部は、前記位相差検出画素と該位相差検出画素の近傍の撮像画素との画素出力の比又は画素出力の差から前記関係を算出する請求項１に記載の撮像装置。
4. 前記関係算出部は、
   前記位相差検出画素の画素出力と該位相差検出画素と同色で且つ前記位相差検出画素による前記位相差の検出方向とは異なる方向に位置する前記撮像画素の画素出力との変化を検出するレベル変化検出部と、
   前記位相差の検出方向と異なる方向に位置して前記位相差検出画素と異なる色の複数の撮像画素間の画素出力の変化を検出する周波数変化検出部と、
   前記レベル変化検出部が画素出力の変化を検出した位相差検出画素と撮像画素とのそれぞれの近傍に位置する撮像画素の間の画素出力の変化から絵柄の変化を検出する絵柄変化検出部と、
   を有する請求項１に記載の撮像装置。
5. 前記撮像画素と前記位相差検出画素からの画素出力は、前記光軸位置算出部で算出された光軸位置に従って前記光学系の光学特性の影響が補正され、
   前記画素補正部は、前記光学特性の影響の補正の前に前記画素出力の補正を行う請求項１に記載の撮像装置。
6. 撮像画素の一部に焦点検出をするための位相差検出画素が設けられた撮像素子と、
   前記位相差検出画素の画素出力と前記撮像画素の画素出力とから前記撮像素子の撮像面上に被写体の像を形成するための光学系の光軸位置を推定する光軸位置推定処理部と、
   前記撮像画素と前記位相差検出画素からの画素出力を補正する画素補正部と、
   を具備し、
   前記光軸位置推定処理部は、
   前記位相差検出画素の画素出力と該位相差検出画素の近傍の撮像画素の画素出力とから、前記位相差検出画素の画素出力と像高との関係を算出する関係算出部と、
   位相差の検出方向に並べられた対をなす前記位相差検出画素のそれぞれについて算出された前記関係から光軸位置を算出する光軸位置算出部と、
   前記画素補正部は、前記光軸位置算出部で算出された光軸位置に従って前記撮像画素と前記位相差検出画素からの画素出力における前記光学系の光学特性の影響を補正することを有する撮像装置。
7. 前記光軸位置算出部で算出された光軸位置の情報を記憶する記憶部をさらに具備する請求項１に記載の撮像装置。
8. 撮像画素の一部に焦点検出をするための位相差検出画素が設けられた撮像素子の前記位相差検出画素の画素出力と該位相差検出画素の近傍の撮像画素の画素出力とから、前記位相差検出画素の画素出力と像高との関係を算出することと、
   位相差の検出方向に並べられた対をなす前記位相差検出画素のそれぞれについて算出された前記関係から光学系の光軸位置を算出することと、
   算出された前記光軸位置を記憶部に記憶することと、
   前記記憶部に記憶された前記光軸位置の情報により、前記撮像画素と前記位相差検出画素からの画素出力における前記光学系の光学特性の影響を補正することと、
   を具備する画像補正方法。
9. 瞳を分割することにより得られた像の間の位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理する画像処理装置であって、
   前記位相差検出画素の画素出力と該位相差検出画素と同色で且つ前記位相差検出画素による前記位相差の検出方向とは異なる方向に位置する前記撮像画素の画素出力との変化を検出する第１の画素出力変化検出部と、
   前記第１の画素出力変化検出部が画素出力の変化を検出するのに用いた位相差検出画素と撮像画素とのそれぞれの近傍に位置する複数の撮像画素の間の画素出力の変化を検出する第２の画素出力変化検出部と、
   前記第１の画素出力変化検出部及び第２の画素出力変化検出部の結果から、それぞれの前記位相差検出画素の画素出力を補正する画素補正部と、
   を具備する画像処理装置。
10. 位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理するための画像処理方法であって、
    前記位相差検出画素の画素出力と該位相差検出画素と同色で且つ前記位相差検出画素による前記位相差の検出方向とは異なる方向に位置する前記撮像画素の画素出力との変化を第１の画素出力変化検出部が検出することと、
    前記第１の画素出力変化検出部が画素出力の変化を検出するのに用いた位相差検出画素と撮像画素とのそれぞれの近傍に位置する複数の撮像画素の間の画素出力の変化を第２の画素出力変化検出部が検出することと、
    前記第１の画素出力変化検出部及び第２の画素出力変化検出部の結果から、それぞれの前記位相差検出画素の画素出力を画素補正部が補正することと、
    を具備する画像処理方法。

Images