JP5762002B2 - 撮像装置 - Google Patents

Description

本発明は、オートフォーカス機能を有する撮像装置に関する。

従来カメラに用いられる焦点検出方式には、コンパクトカメラやビデオカメラ等に用いられているコントラスト検出方式、一眼レフカメラ用いられている瞳分割方式等がある。コントラスト検出方式は、撮影レンズを駆動しながらイメージセンサで撮像された画像のコントラストの変化を検出して焦点検出を行うものである。しかしながら、コントラスト検出による焦点検出方式は、撮影レンズを動かしながらイメージセンサにて撮像された画像のコントラストを検出してその変化量から焦点状態を検出している。そのため、たとえば合焦状態から大きく離れた状態においては焦点検出に時間がかかるという欠点がある。さらに、動いている被写体に対しては焦点検出ができないという欠点がある。また、瞳分割方式の焦点検出方式は、撮影レンズの異なる瞳領域を透過した光束により生成された二つの像の相関をとることにより、撮影レンズの焦点状態を検出するものである。

近年、一眼レフカメラでも動画撮影を行うようになり、ＡＦスピードの向上が望まれている。そこで、従来コントラストＡＦを用いていたデジタルカメラでは、ＡＦスピードを向上させるためにマイクロレンズと光電変換部の相対位置を偏位させた画素を２次元的に配置した、撮像素子を兼ねた固体撮像装置が特許文献１に開示されている。特許文献１の固体撮像装置では、通常の画像を撮影するときは、マイクロレンズと光電変換部の相対偏位方向が異なる画素を加算することにより、画像を生成している。一方、撮影レンズの焦点位置を算出する時は、マイクロレンズと光電変換部の相対偏位方向が異なる画素列で生成される一対の像信号を用いて、相関演算を行うことにより撮影レンズの焦点位置を算出している。また焦点位置を算出する際に用いる像を形成する光束に撮影レンズによるケラレが発生している場合、撮影レンズによるケラレによって像信号の非対称性（像の一致度の低下）が生じてしまう。そこで、特許文献２では撮像装置に格納された特定の像修正フィルタを口径比、射出瞳位置、デフォーカス量によって変形し像修正フィルタを像信号に適用した後、焦点位置を算出する技術が開示されている。

このように焦点検出用画素を含む撮像素子を用いて静止画を取得する場合に、焦点検出用画素の位置に相当する画素データが欠損する。焦点検出用画素で得られた信号を静止画用の画像信号としてそのまま用いると、焦点検出用画素の受光角度特性が通常の撮像用画素の受光角度特性とは異なるために、焦点検出用画素からの信号とその周辺の画素からの信号との連続性が失われ、良好な画像を取得できない。このような問題を解決するため、特許文献３では焦点検出用画素からの信号に相当する像信号に、欠損レベルに応じて周辺画素の像信号を用いた補間処理、または欠損画素データのオフセット補正処理、ゲイン補正処理を行う技術が開示されている。

特開平４−２６７２１１号公報 特開平５−１２７０７４号公報 特開２００７−１２４０５６号公報

しかしながら、上記の従来例では、合焦領域の画像補正は良好に行うことは出来るが、補正対象画素の周辺画素データを用いるため、デフォーカス時における画像補正は異なる画素での補正となり良好な画像を生成することが出来ないという問題があった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、所定の焦点検出用画素において撮影レンズがデフォーカス状態であっても良好な画像補正処理を実現できるようにすることである。

本発明に係わる撮像装置は、被写体像を結像させる撮影レンズの射出瞳の第１の領域を通過した光束を受光する第１の画素群と、前記撮影レンズの射出瞳の第１の領域とは異なる第２の領域を通過した光束を受光する第２の画素群と、前記撮影レンズの射出瞳の全領域を通過した光束を受光する第３の画素群とを有する撮像手段と、前記第１の画素群から得られる第１の像信号と前記第２の画素群から得られる第２の像信号を用いて前記撮影レンズの焦点ずれ量を算出する焦点検出手段と、前記撮像手段の第１の画素群および第２の画素群から得られる第１の像信号および第２の像信号を前記第３の画素群から得られる第３の像信号と等価になるように補正し、補正された第１の補正像信号および第２の補正像信号と前記第３の像信号とを用いて撮影画像を生成する画像生成手段と、を有し、前記画像生成手段は、前記焦点検出手段によって前記第１の像信号および前記第２の像信号を用いて算出された焦点ずれ量に基づいて前記第１の像信号および前記第２の像信号を補正し、前記第１の補正像信号および前記第２の補正像信号を得ることを特徴とする。

本発明によれば、所定の焦点検出用画素において撮影レンズがデフォーカス状態であっても撮像素子に配置された焦点検出用画素を良好に補正した画像を取得することが可能となる。

撮像装置の構成図。 撮像用画素の構造図。 焦点検出用画素の構造図。 瞳分割概念図。 焦点検出用画素の瞳強度分布概念図。 撮像素子中央の焦点検出用画素の瞳強度概念図。 撮像素子駆動回路図。 図７の素子から得られる像信号を示す図。 像信号の非対称性を補正する方法を説明する概念図。 撮像用画素で得られるデフォーカス時と合焦時の像信号を示す図。 焦点検出用画素で得られるデフォーカス時と合焦時の像信号を示す図。 画像生成時における焦点検出用画素補正の概念図。 一連の撮影動作のフロー図。 絞り値、デフォーカス量、画素位置から決まる画素が焦点検出用画素である場合の補正フロー図。 絞り値、デフォーカス量、画素位置から決まる画素が焦点検出用画素でない場合の補正フロー図。

（第１の実施形態）
本発明の第１の実施形態について、図１〜図１４を参照して以下に説明する。

（焦点検出装置の構成）
図１は本実施形態に係わる焦点検出装置を有する撮像装置の構成を示す図である。図１において、１０１は撮影レンズ（結像光学系）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。１０３は撮影レンズの第２レンズ群である。そして絞り兼用シャッタ１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。１０５は撮影レンズの第３レンズ群で、光軸方向の進退により、焦点ずれ量の調節を行なう。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣ−ＭＯＳセンサとその周辺回路で構成された撮像素子である。撮像素子１０７には、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上にベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。１１１はズームアクチュエータで、不図示のカム筒を回動することで、第１レンズ群１０１ないし第３レンズ群１０５を光軸方向に進退駆動し、変倍操作を行なう。１１２は絞りシャッタアクチュエータで、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点ずれ量の調節を行なう。１１５は撮影時の被写体照明用の電子フラッシュで、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光部で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。１２１はＣＰＵで、焦点検出装置本体の種々の制御を司る。ＣＰＵ１２１は演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有し、ＲＯＭに記憶された所定のプログラムに基づいて、焦点検出装置が有する各種回路を駆動し、焦点検出、撮影、画像処理、記録等の一連の動作を実行する。さらに、ＣＰＵ１２１は本発明における画像生成手段を兼ねている。

１２２は電子フラッシュ制御回路で、撮影動作に同期して電子フラッシュ１１５を点灯制御する。１２３は補助光駆動回路で、焦点検出動作に同期して、ＡＦ補助光部１１６を点灯制御する。１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点ずれ量の調節を行なう。１２８は絞りシャッタ駆動回路で、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。１３１はＬＣＤ等の表示器で、焦点検出装置の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、撮影済み画像を記録する。

（撮像用画素の構造）
図２は、撮像用画素の構造を説明する図である。撮像用画素は、本実施形態では第３の画素群と呼ぶこともある。図２は、撮像用画素の一部分を拡大した平面図と断面図を示している。本実施形態においては、２行×２列の４画素のうち、対角２画素にＧ（緑）の分光感度を有する撮像用画素（Ｇ画素）を配置する。そして、他の２画素にＲ（赤）とＢ（青）の分光感度を有する撮像用画素（Ｒ画素、Ｂ画素）を各１個配置する。つまり、本実施形態ではベイヤー配列を採用した例を示す。そして、ベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。図２（ａ）は撮像素子中央に位置する２行×２列の撮像用画素の平面図である。ベイヤー配列では対角方向にＧ画素が、他の２画素にＲ画素とＢ画素が配置される。そしてこの２行×２列の構造が繰り返し配置される。図２（ａ）の断面Ａ−Ａを図２（ｂ）に示す。ＭＬは各撮像用画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（赤）のカラーフィルタ、ＣＦＧはＧ（緑）のカラーフィルタである。ＰＤはＣ−ＭＯＳセンサの光電変換部を模式的に示したもの、ＣＬはＣ−ＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影レンズを模式的に示したものである。ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影レンズＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影レンズＴＬの射出瞳ＥＰ（瞳領域ともいう）と光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、図２（ｂ）ではＲ画素の入射光束について説明したが、Ｇ画素及びＢ画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素の受光可能な領域は大径となり、被写体からの光束を効率よく取り込んで画像信号（第３の像信号）のＳ／Ｎを向上させている。

（焦点検出用画素の構造）
図３は、焦点検出用画素の構造を説明する図である。焦点検出用画素は、本実施形態においては、第１の画素群及び第２の画素群と呼ぶ場合もある。図３は、撮影レンズＴＬの図３（ｂ）中ｘ方向に瞳分割を行なうための焦点検出用画素の一部分を拡大した平面図と断面図を示している。図３（ａ）は、撮像素子中央に位置する焦点検出用画素を含む２行×２列の焦点検出用画素の平面図である。画像信号を得る場合、人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認められやすい。そのため、Ｇ画素は輝度情報の主成分をなす。一方でＲ画素もしくはＢ画素は、色情報を取得する撮像用画素であるが、人間は色情報には鈍感であるため、色情報を取得するＲ画素もしくはＢ画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、２行×２列の撮像用画素のうち、Ｇ画素は撮像用画素として残してＲ画素とＢ画素に相当する位置に、ある割合で焦点検出用画素を配列している。これを図３（ａ）においてＳＨＡ及びＳＨＢで示す。図３（ａ）の断面Ｂ−Ｂを図３（ｂ）に示す。マイクロレンズＭＬと、光電変換部ＰＤは図２（ｂ）に示した撮像用画素と同一構造である。また、撮像素子で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対してｘ方向に偏倚している。具体的には、焦点検出用画素ＳＨＡの開口部ＯＰＨＡは−ｘ方向に偏倚しているため、図３（ｂ）の撮影レンズＴＬの紙面左側の射出瞳ＥＰＨＡ（第１の領域）を通過した光束を受光する。同様に、画素ＳＨＢの開口部ＯＰＨＢは＋ｘ方向に偏倚しているため、図３（ｂ）の撮影レンズＴＬの紙面右側の射出瞳ＥＰＨＢ（第２の領域）を通過した光束を受光する。ここで、焦点検出用画素ＳＨＡをｘ方向に規則的に配列し、これらの焦点検出用画素群ＳＨＡで取得した第１の像信号を像信号Ａ（第１の像信号）とする。また、焦点検出用画素ＳＨＢもｘ方向に規則的に配列し、これらの焦点検出用画素群ＳＨＢで取得した第２の像信号を像信号Ｂ（第２の像信号）とする。すると、像信号Ａと像信号Ｂの相対的な像ずれ量から撮影レンズのデフォーカス量が算出できる。これに基づいて、撮影レンズの焦点ずれ量を調節する。

（撮像素子の瞳分割状況の概念）
図４は、本実施形態における撮像素子による撮影レンズの瞳分割状況を概念的に説明する図である。ＴＬは撮影レンズ、１０７は撮像素子、ＯＢＪは被写体、ＩＭＧは被写体像である。撮像用画素は図２の撮像素子の撮像用画素の平面図と断面図で説明したように、撮影レンズの射出瞳全域ＥＰを通過した光束を受光する。一方、焦点検出用画素は図３（ａ）のｘ方向に瞳分割を行なうための焦点検出用画素の平面図と断面図で説明したように、瞳分割機能を有している。具体的には、図３（ａ）の画素ＳＨＡは＋ｘ方向の側の瞳を通過した光束、すなわち図４の瞳領域ＥＰＨＡを通過した光束を受光する。また、図３（ａ）の画素ＳＨＢは−ｘ方向の側の瞳を通過した光束、すなわち図４の瞳領域ＥＰＨＢを通過した光束を受光する。そして、焦点検出用画素を、撮像素子１０７の全領域に渡って分布させることで、撮像領域全域で焦点検出を可能とさせている。なおここでは、焦点検出用画素の受光角度特性がｘ方向に非対称性を有することによってｘ方向に輝度分布を有した被写体に対応した構成について説明したが、同様の構成をｙ方向にも展開することでｙ方向に輝度分布を有した被写体にも対応した構成をとることが可能である。

（センサの受光強度分布）
撮像素子を構成する画素が受光可能な光強度分布を受光強度分布と呼ぶ。図５は焦点検出用画素の受光強度分布とその受光強度分布から得られる射影をとったものを表した図である。図５（ａ）は焦点検出用画素ＳＨＡ、図５（ｂ）は焦点検出用画素ＳＨＢの特性を示している。図５のｘ軸、ｙ軸は図４のｘ軸、ｙ軸に対応している。図５では、色が濃くなるほど受光強度が高いことを示している。図３（ｂ）では説明をしやすくするため、焦点検出用画素ＳＨＡの射出瞳をＥＰＨＡ、焦点検出用画素ＳＨＢの射出瞳をＥＰＨＢと、それぞれ分離して表した。しかし、図５に示すように、実際には、図３（ｂ）で示した開口部ＯＰＨＡ及び開口部ＯＰＨＢの開口部による回折の影響でぼけて広がり、焦点検出用画素ＳＨＡと焦点検出用画素ＳＨＢの受光領域は一部領域の重なる部分がある。図５（ｃ）は図５（ａ）と図５（ｂ）の受光強度分布についてｙ方向に射影をとったものである。図５（ｃ）で図５（ａ）の射影を表したものがＦＡ、図５（ｂ）の射影を表したものがＦＢである。横軸は図５（ａ）、（ｂ）のｘ軸に対応し、縦軸は線像分布関数の強度を表している。原点Ｏが撮影レンズの光軸位置に対応している。このようにＦＡ、ＦＢはそれぞれｘ軸方向の重心位置を中心としてｘ軸方向に略対称形となっている。

（ケラレが生じた場合の瞳強度分布と線像分布関数）
次に、撮影レンズを組み合わせたときを考える。撮像素子を構成する画素が想定する瞳面で受光可能な光強度分布を、瞳強度分布と呼ぶ。図６は図５の受光強度分布に対して、撮影レンズによるケラレが生じた場合の受光強度分布、つまり瞳強度分布とその瞳強度分布から得られる線像分布関数を表した図である。図６（ａ）は焦点検出用画素ＳＨＡ、図６（ｂ）は焦点検出用画素ＳＨＢの撮影レンズによるケラレがある場合の瞳強度分布の特性を示している。そして、図５で示した焦点検出用画素ＳＨＡ、ＳＨＢの瞳強度分布のうち、Ａｒｅａ１で表した形状の内側のみが焦点検出用画素ＳＨＡ、ＳＨＢで受光される領域となる。図６（ｃ）は撮影レンズによるケラレが生じた場合の線像分布関数を表した図である。図６（ｃ）は図５（ｃ）と同様に図６（ａ）と図６（ｂ）の瞳強度分布についてｙ方向に射影をとったものである。横軸は図５（ａ）、（ｂ）のｘ軸に対応し、縦軸は線像分関数の強度を表している。原点Ｏが撮影レンズの光軸位置に対応している。ここで、ある点光源が光学系の射出瞳を通過し結像面上に形成する点像の強度分布、いわゆる点像分布関数は、光学系が無収差の場合、射出瞳形状が結像面上に縮小投影されていると考えられる。そして、線像分布関数は、点像分布関数の射影であるので、瞳強度分布の射影を線像分布関数としている。図６（ｃ）に示すように、撮像素子中央の焦点検出用画素では、線像分布関数ＬＳＦＡとＬＳＦＢは、光軸に対して略対称（像の形状が略一致）となる。また、線像分布関数ＬＳＦＡとＬＳＦＢは、それぞれのｘ軸方向の重心位置を中心として、ｘ軸方向に略対称形となっている。

（撮像素子１０７と撮像素子駆動回路１２４の焦点検出のための構成）
図７は、図１における撮像素子１０７と撮像素子駆動回路１２４の焦点検出構成を概略的に示す図である。なお図７では、分かりやすく説明するためにＡ／Ｄ変換部を省略している。撮像素子１０７は、図３で説明した焦点検出用画素９０１ａと焦点検出用画素９０１ｂとで構成される焦点検出用画素９０１を複数有する。焦点検出用画素９０１ａが焦点検出用画素ＳＨＡに、焦点検出用画素９０１ｂが焦点検出用画素ＳＨＢにそれぞれ対応する。また、撮像素子１０７は撮影レンズで結像された被写体像を光電変換するための撮像用画素を複数含む。撮像素子駆動回路１２４は、合成部９０２と、連結部９０３とを含む。また、撮像素子駆動回路１２４は複数の焦点検出用画素９０１を含むように、撮像素子１０７の撮像面にセクション（領域）ＣＳＴを複数割り当てる。そして、撮像素子駆動回路１２４はセクションＣＳＴの大きさ、配置、数等を適宜変更することができる。合成部９０２は、撮像素子１０７に割り当てられた複数のセクションＣＳＴの各々において、焦点検出用画素９０１ａからの出力信号を合成して１画素の第１の合成信号を得る処理を行なう。合成部９０２はまた、各セクションＣＳＴにおいて、焦点検出用画素９０１ｂからの出力信号を合成して１画素の第２の合成信号を得る処理を行なう。連結部９０３は、複数のセクションＣＳＴにおいて、第１の合成信号である各焦点検出用画素を連結して第１の連結信号を得る処理と、第２の合成信号を連結して第２の連結信号を得る処理とを行なう。このように、焦点検出用画素９０１ａ及び９０１ｂのそれぞれに対して、セクション数の焦点検出用画素が連結された連結信号が得られる。ＣＰＵ１２１で第１の連結信号及び第２の連結信号に基づいて、撮影レンズのデフォーカス量を演算する。このように、セクション内に配置された同一の瞳分割方向における焦点検出用画素の出力信号を合成するため、焦点検出用画素９０１の１つ１つの輝度は小さい場合であっても、被写体の輝度分布を十分に検出することが可能となる。

（撮像素子１０７より出力される像信号）
図８は、図７の焦点検出用画素９０１、合成部９０２、連結部９０３により形成され、ＣＰＵ１２１へ送られる対の像信号を示す。図８において、横軸は連結された信号の画素の並び方向を示し、縦軸は信号の強度である。像信号４３０ａは焦点検出用画素９０１ａで、像信号４３０ｂは焦点検出用画素９０１ｂでそれぞれ形成される信号である。そして、撮影レンズの焦点位置がデフォーカス状態であるため、像信号４３０ａは左側に、像信号４３０ｂは右側にずれた状態となっている。この像信号４３０ａ、４３０ｂの像ずれ量を相関演算によって算出することにより、撮影レンズの焦点ずれ量を知ることができる。ここで、本実施形態の焦点検出では、図６で説明した通り、撮影レンズによるケラレによって線像分布関数が重心に対して非対称となるので、焦点検出用画素で得られる像信号Ａと像信号Ｂにも非対称性が生じてしまう。言い換えると、像の一致度が低下してしまう。位相差方式の焦点検出においては、像の一致度の低下（非対称性）が生じている場合、焦点ずれ量を正確に算出することができない。そこで、本実施形態では、焦点検出時は得られた像信号の非対称性を補正することで、この問題を解決する。

（像信号の非対称性）
以下、像信号に非対称性が生じる理由と、非対称性の補正について詳細に説明する。

いま被写体の光量分布をｆ（ｘ，ｙ）、像信号の光量分布をｇ（ｘ，ｙ）としたとき、

の関係（たたみこみ積分；convolution）が成立する。ここでｈ（ａ，ｂ）は被写体が画像形成システムにおいて劣化する状態を表す伝達関数で、点像分布関数（point spread function）と呼ばれる。従って、焦点検出に用いる１対の像信号を知るには、点像分布関数を知る必要がある。ここで、像ずれ方式の焦点検出においては、１対の像信号の１次元方向に注目し、その焦点ずれ量を算出する。このため、２次元の点像分布関数の代わりに１次元の関数である線像分布関数（line spread function）により、焦点検出に関する画像システムを評価することができる。そこで、被写体の光量分布をｆ（ｘ）、像信号の光量分布をｇ（ｘ）と置き換えると、上記式（１）は線像分布関数Ｌ（ａ）を用いて以下のように書き換えられる。

また、点像分布関数と線像分布関数の関係は、以下の式（３）で表すことができる。

前述したとおり、ある点光源が光学系の射出瞳を通過し結像面上に形成する点像の強度分布、いわゆる点像分布関数は、光学系が無収差の場合、射出瞳形状が結像面上に縮小投影されていると考えられる。したがって、点像分布関数ｈ（ａ，ｂ）は、瞳強度分布で置き換えることができる。さらに、式（３）より、線像分布関数は瞳強度分布の射影と考えることができる。よって、図５、６では瞳強度分布の射影を線像分布関数として説明してきた。したがって、式（２）より、本実施形態の被写体像には、図６で説明した非対称な線像分布関数ＬＳＦＡ’、ＬＳＦＢ’がそれぞれ畳み込まれているため、対の像信号にも非対称性が生じている。前述したように相関演算に使用する対の像信号に非対称性が生じている場合は、焦点位置の算出精度も低下する。焦点位置の算出精度を向上させるためには、対の像信号の非対称性を補正し、像の一致度を上げることが有効である。

（像信号の非対称性を補正する方法）
次に、焦点検出時の像信号の非対称性を補正する方法について説明する。ここで、図７の焦点検出用画素９０１ａで得られる像信号を像信号ＩｍｇＡ、焦点検出用画素９０１ｂで得られる像信号を像信号ＩｍｇＢと呼ぶ。前述したように、像信号ＩｍｇＡと像信号ＩｍｇＢの非対称性は、非対称な線像分布関数ＬＳＦＡ’’、ＬＳＦＢ’’が畳み込み積分されることによって生じる。

図９は像信号の非対称性を解消するための像修正フィルタ処理を説明する概念図である。図９の各図において、横軸は画素並び方向を示し、縦軸は像信号の強度を表している。図９（ａ）は被写体の光量分布をＯｂｊで表しており、図９（ｂ）と図９（ｃ）は焦点検出用画素ＳＨＡ及び焦点検出用画素ＳＨＢの線像分布関数をＬＳＦＡ’’、ＬＳＦＢ’’で表したものである。図９（ｄ）、図９（ｅ）は像信号ＩｍｇＡ、像信号ＩｍｇＢを表しており、それぞれ被写体の光量分布Ｏｂｊに線像分布関数ＬＳＦＡ’’、線像分布関数ＬＳＦＢ’’を畳み込み積分したときこのような形状となる。図９（ｆ）は像信号ＩｍｇＡの像修正フィルタであるＦｉｌＡを表している。図９（ｇ）は像信号ＩｍｇＢの像修正フィルタであるＦｉｌＢを表している。図９（h）は像信号ＩｍｇＡに像修正フィルタＦｉｌＡを畳み込み積分して得られた修正像信号ＲｅＩｍｇＡである。、図９（i）は像信号ＩｍｇBに像修正フィルタＦｉｌＢを畳み込み積分して得られた修正像信号ＲｅＩｍｇＢである。図９（ｈ）、図９（i）に示すように、各修正像は同形状となる。

修正像が同形状になる原理について説明する。像信号ＩｍｇＡは前述した式（２）により得られる。得られた像信号ＩｍｇＡに像修正フィルタＦｉｌＡを畳み込み積分して得られる修正像ＲｅＩｍｇＡをｋ（ｘ）とすると、ｋ（ｘ）は以下のように求められる。

修正像ＲｅＩｍｇＢについても同様に計算すると

が得られる。上式（４）、（５）より、得られたＲｅＩｍｇＡとＲｅＩｍｇＢは等しくなり、ＲｅＩｍｇＡとＲｅＩｍｇＢを用いて相関演算を行なうことで、焦点ずれ量を算出することが可能となる。

（焦点検出用画素補正）
次に、焦点検出用画素の像信号から撮影画像を生成する。従来、図３のＳＨＡやＳＨＢのような焦点検出用画素は画像生成時にはそのまま像信号を用いることは出来ない。そこで、本実施形態では算出した焦点ずれ量を用いることで焦点検出用画素の補正を行い良好な撮影画像を得ている。

まず、撮像用画素と焦点検出用画素の合焦時、デフォーカス時の像信号の違いについて説明する。図１０は画面中央部における図２のＲ画素もしくはＧ画素の合焦時、デフォーカス時の線像について説明した図である。Ｅ１１（i）は合焦時の信号出力、Ｅ１２（i）はデフォーカス時の線像である。合焦時の像信号がＥ１１（i）のように得られたとするとデフォーカス時の撮像用画素出力はＥ１２（i）のように得られる。ここでＥ１１（i）とＥ１２（i）の積算光量は等しくなるため、以下が成り立つ。

図１１は画面中央部における図３のＳＨＡ画素もしくはＳＨＢ画素の合焦時、デフォーカス時の線像について説明した図である。Ｅ２１（i）は合焦時の像信号、Ｅ２２（i）はデフォーカス時の線像である。焦点検出用画素ＳＨＡもしくはＳＨＢは撮像用画素とは違い開口の一部を遮光しているため、図１０のＥ１１（i）よりも像信号は小さくなる。合焦時の信号出力がＥ２１（i）のように得られたとするとデフォーカス時の像信号はＥ２２（i）のように得られる。また図９と同様に、Ｅ２１（i）とＥ２２（i）の積算光量は等しくなる。しかし、図１０とは異なりデフォーカス時には像信号がボケて広がるだけではない。１画素で考えてみると、図３の焦点検出用画素ＳＨＡもしくはＳＨＢは、開口部が光軸からそれぞれ左右にずれている。そのため、デフォーカス時には開口側がよりボケて広がり、得られる像信号は画素方向にδだけずれてしまう。このように、撮像用画素と焦点検出用画素は開口部の違いから、像信号のボケ方が異なる。そこで本実施形態では焦点ずれ量から決まるこのずれ量δを用いて、補正に最適な画素を推定する。そして、得られた像信号にゲインをかけて補正することで撮像用画素の信号と等価な良好な画像（第１の補正像信号、第２の補正像信号）を生成する。

図１２は焦点検出用画素の補正について説明した図である。ＬＳＦ（ｉ，δ）はずれ量がδとなるデフォーカス時における撮像用画素の線像、ＬＳＦ’（ｉ，δ）はずれ量がδとなるデフォーカス時における焦点検出用画素の線像である。ＬＳＦ’（ａ、δ）はｉ＝ａ番目の焦点検出用画素における線像、ＬＳＦ’（ａ＋δ，δ）はｉ＝ａ＋δ番目の焦点検出用画素における線像、ＬＳＦ（ａ，δ）はｉ＝ａ番目の撮像用画素における線像である。また、Ｅ２２（ａ＋δ）はｉ＝ａ＋δ番目における焦点検出用画素の像信号、Ｅ３（ａ）はｉ＝ａ番目における焦点検出用画素の補正後の像信号である。

まず、公知の相関演算により求まる焦点ずれ量から焦点検出用画素によるずれ量δを算出する。このずれ量δをもとに補正に用いるゲインＧを算出し、ゲインＧをかける像信号を取得する。まずはゲインＧを求める。このゲインＧは画素位置ｉと焦点ずれ量によるずれ量δで表すことができる。ゲインＧを式で表すと式（７）のように表すことが出来る。

ここで、線像ＬＳＦ（ｉ，δ）、ＬＳＦ’（ｉ，δ）はずれ量δを用いてシミュレーションから算出された値、もしくはデータテーブルとして保持していた値である。次にずれ量δから得られる像信号Ｅ２２（ａ＋δ）を取得する。そして、このゲインＧ（ｉ，δ）、Ｅ２２（ａ＋δ）をかけることで画像生成用信号Ｅ３（ａ）を算出する。

本発明の第１の実施形態では、像高ｘ＝０の画面中央部における焦点検出用画素の補正について説明した。画面周辺部に関しても同様に考えることが出来る。

（画像生成処理の演算フロー）
次に第１の実施形態の画像生成フローについて図１３、図１４のフロー図を用いて説明する。なお、図１３、図１４のフローにおける動作はＣＰＵ１２１によって実行される。

まず、メインルーチンである撮影フロー図１３について説明する。ステップＳ１では、撮影レンズによるケラレ状態を知るためのレンズ情報を取得する。ステップＳ２では、ＳＷ１が押されたことを検知する。ここでＳＷ１とはシャッターレリーズボタンの前段のことである。ＳＷ１が押されることによって、ステップＳ３の焦点検出を行う。ステップＳ３では、ダーク補正やシェーディング補正、そして本実施形態のように撮像素子上に焦点検出用画素が配置されている焦点検出において発生する補正を行う。本実施形態のような焦点検出では、焦点検出に用いる像信号に非対称性が発生する。そのため、上記で説明した非対称性を軽減させるような補正を行う。これら種々の補正を行った後、焦点検出を行って焦点ずれ量を算出する。

ステップＳ４では、ステップＳ３で算出した焦点ずれ量を元に主被写体が合焦となるように撮影レンズを駆動させる。ステップＳ５では、ＳＷ２が押されたことを検知する。ここでＳＷ２とはシャッターレリーズボタンの後段のことである。ステップＳ６では、ＳＷ２が押されることによって、ミラーアップし、撮像素子１０７によって受光し、画像を取得する。ステップＳ７では、欠陥画素や画像生成時の焦点検出用画素の補正を行い、画像を生成する。ステップＳ８では、ステップＳ７で補正された画像を取得し、フラッシュメモリ１３３に保存する。以上のようにして、撮影フローが終了する。

次に、ステップＳ７の補正画像生成のサブルーチンについて図１４を用いて説明する。ステップＳ１０１では、図１３の撮影フローのステップＳ６で取得した画像から補正対象画素情報を取得する。この補正対象画素情報として、補正対象画素の像高（ｘ，ｙ）、焦点ずれ量からきまるずれ量δ、画素番号ｉが含まれる。ステップＳ１０２では、ステップＳ１０１で取得した補正対象画素が焦点検出用画素であるかを判定する。補正対象画素が焦点検出用画素であればステップＳ１０４へ進み、焦点ずれ量や画素位置情報から補正する。補正対象画素が欠陥撮像用画素であればステップＳ１０３へ進み補正を行う。ステップＳ１０３は、ステップＳ１０２で補正対象画素が欠陥撮像用画素であると判定された場合の処理である。欠陥撮像用画素の補正は公知の補正処理で行う。例えば、周囲の画素から補間する、もしくはゲイン補正処理、オフセット補正処理などである。

ステップＳ１０４は、ステップＳ１０２で補正対象画素が焦点検出用画素であると判定された場合の処理である。図１３の撮影フローのステップＳ３から焦点検出用画素の画像補正で必要となる焦点ずれ量を取得する。ステップＳ１０５では、図１３の撮影フローのステップＳ１で取得した絞り値とステップＳ１０４で取得した焦点ずれ量、ステップＳ１０１で取得した補正対象画素位置情報を用いて画素位置ずれ量δを算出する。ステップＳ１０６では、画像生成時における焦点検出用画素の補正を行い、画像を生成する。ステップＳ１０５で算出した画素位置ずれ量δから、補正に用いる画素出力を取得する。そして、取得した画素出力に対して、図１３の撮影フローのステップＳ１で取得した絞り値とステップＳ１０４で取得した焦点ずれ量、ステップＳ１０１で取得した補正対象画素情報と図１３のステップＳ１で得られるレンズ情報から決まるゲインＧを用いてゲイン補正処理を行う。

ステップＳ１０７では、補正対象画素すべてについて補正演算が終了していればステップＳ１０８へと進み画像を生成し、補正演算が終了していなければ、ステップＳ１０２に戻り一連の画像補正処理を行う。ステップＳ１０８では、ステップＳ１０７までの補正処理が行われた後の像信号と撮像用画素の像信号を用いて補正画像を生成する。以上のようにして、一連の補正画像生成フローが終了し図１２の撮影フローのステップＳ８へと戻る。

以上のように第１の実施形態によれば、焦点ずれ量、像高、画素番号、絞り値などを用いて画像補正を行い、良好な補正画像を取得することができる。なお、第１の実施形態では相関演算に像ずれ方式を用いたが、他の方法を用いたとしても同様の結果が得られる。

（第２の実施形態）
第２の実施形態は、第１の実施形態の変形例である。

（画素位置ずれ量δに応じた処理）
第１の実施形態では、焦点ずれ量、像高、画素番号、絞り値から算出した画素位置ずれ量δを用いて取得した画素が焦点検出用画素である場合について説明した。しかし、取得した画素が常に焦点検出用画素であるとは限らない。そこで、取得した画素が焦点検出用画素でない場合、その画素位置における画素出力を周囲の焦点検出用画素から補間で求めて画像生成を行うというのが第２の実施形態の特徴である。そこで、第２の実施形態について図１５を用いて説明する。なお、図１５のフローにおける動作はＣＰＵ１２１によって実行される。また、第２の実施形態の撮像装置の焦点検出及び撮影工程は、第１の実施形態と同じであるため、説明を省略する。

図１５は本実施形態の第２の実施形態に関する図である。図１５は図１４のフローにさらに画素位置ずれ量δから取得した画素が焦点検出用画素であるか否かの判定を加えたフローである。

ステップＳ２０１からステップＳ２０５のステップについては第１の実施形態の説明で用いた図１４と同じであるため、説明を省略する。ステップＳ２０６は、ステップＳ２０５で算出された画素位置ずれ量δから補正に用いる位置の画素出力を取得し、その画素が焦点検出用画素か否かを判定する。取得した画素が焦点検出用画素であった場合、ステップＳ２０８へ進み図１４のステップ１０６と同様な処理を行う。取得した画素が焦点検出用画素でない場合、ステップＳ２０７へ進み、補正用の画素出力を算出する。ステップＳ２０７は、ステップＳ２０６で算出された位置の画素が焦点検出用画素でない場合に行われる。まず画素位置ずれ量δから補正に用いる画素位置近傍にある焦点検出用画素数点の位置情報と出力情報を取得する。そして、これらの情報から線形補間やバイキュービック補間などの公知の補間処理を用いて、補正に用いる画素位置における画素出力を求める。

ステップＳ２０８では図１３のステップＳ１０６と同様に画像生成時における焦点検出用画素の補正を行う。ステップＳ２０６で画素位置ずれ量δから補正に用いる位置の画素が焦点検出用画素であると判定された場合はその焦点検出用画素出力を取得する。ステップＳ２０６で焦点検出用画素でないと判定された場合は、ステップＳ２０７で算出した画素出力を用いる。そして取得した画素出力に対して、図１３の撮影フローのステップＳ１で取得した絞り値とステップＳ１０４で取得した焦点ずれ量、ステップＳ１０１で取得した補正対象画素情報と図１３のステップＳ１で得られるレンズ情報から決まるゲインＧを用いてゲイン補正処理を行う。

ステップＳ２０９では、補正対象画素すべてについて補正演算が終了していればステップＳ２１０へと進み画像を生成し、補正演算が終了していなければ、ステップＳ２０２に戻り一連の画像補正処理を行う。ステップＳ２１０では、ステップＳ２０９までの補正処理が行われた後の像信号と撮像用画素の像信号を用いて補正画像を生成する。以上のようにして、一連の補正画像生成フローが終了し図１３の撮影フローのステップＳ８へと戻る。

以上のように第２の実施形態によれば、焦点ずれ量、像高、画素番号、絞り値などを用いて画像補正を行い、良好な補正画像を取得することができる。なお、第２の実施形態では相関演算に像ずれ方式を用いたが、他の方法を用いたとしても同様の結果が得られる。

Claims (3)

1. 被写体像を結像させる撮影レンズの射出瞳の第１の領域を通過した光束を受光する第１の画素群と、前記撮影レンズの射出瞳の第１の領域とは異なる第２の領域を通過した光束を受光する第２の画素群と、前記撮影レンズの射出瞳の全領域を通過した光束を受光する第３の画素群とを有する撮像手段と、
   前記第１の画素群から得られる第１の像信号と前記第２の画素群から得られる第２の像信号を用いて前記撮影レンズの焦点ずれ量を算出する焦点検出手段と、
   前記撮像手段の第１の画素群および第２の画素群から得られる第１の像信号および第２の像信号を前記第３の画素群から得られる第３の像信号と等価になるように補正し、補正された第１の補正像信号および第２の補正像信号と前記第３の像信号とを用いて撮影画像を生成する画像生成手段と、を有し、
   前記画像生成手段は、前記焦点検出手段によって前記第１の像信号および前記第２の像信号を用いて算出された焦点ずれ量に基づいて前記第１の像信号および前記第２の像信号を補正し、前記第１の補正像信号および前記第２の補正像信号を得ることを特徴とする撮像装置。
2. 前記画像生成手段は、補正を行う前記第１の像信号もしくは前記第２の像信号に対して、前記焦点検出手段によって算出された焦点ずれ量と、前記第１の像信号もしくは第２の像信号の出力とに基づいて補正を行い、前記第１の補正像信号および前記第２の補正像信号を得ることを特徴とする請求項１に記載の撮像装置。
3. 前記画像生成手段は、補正に使用する前記焦点検出手段によって算出された焦点ずれ量から得られる像信号が、前記第１の像信号および前記第２の像信号のいずれでもない場合には、前記第１の補正像信号および前記第２の補正像信号を、前記第１の像信号および前記第２の像信号から算出することを特徴とする請求項１または２に記載の撮像装置。