JP6714434B2 - 撮像装置およびその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は撮像装置およびその制御方法に関する。

デジタルカメラや、カメラ付の携帯電話、ゲーム機、パーソナルコンピュータ等、撮像機能を有する電子機器では、オートフォーカス（自動焦点検出）機能が搭載されているのが一般的である。

特許文献１では、１つの画素に対して、１つのマイクロレンズに対して複数に分割された光電変換部が配置されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を透過した光を受光するように構成され、瞳分割を行っている。こういった分割された光電変換部を有する画素（焦点検出画素）から出力されたそれぞれの焦点検出信号から相関量を算出し、相関量から像ずれ量を求めることで、位相差方式の焦点検出を行うことができる。また、特許文献１では、分割された光電変換部から出力された焦点検出信号を画素毎に加算することにより撮像信号を生成することが開示されている。

また、特許文献２には、得られた対の信号に対して、デジタルフィルタ処理、絶対値処理を行った後に、重心間隔を算出し、重心間隔を用いた焦点調節方法が開示されている。この方法によれば、対の信号に倍率差があり、形状が異なる場合でも、高精度にデフォーカス状態を検出することができる。

特開２０１４−６３１４２号公報 特開平８−１０６０４２号公報

しかしながら、特許文献２に記載されている撮像装置における焦点調節では以下のような課題がある。特許文献２に記載の撮像装置における焦点調節では、得られた対の信号に対してデジタルフィルタ処理、絶対値処理を行った後に重心間隔を算出するため、焦点の誤検出をしてしまう場合があった。図１２を用いて、誤検出となる原因について説明する。図１２（ａ）は、撮影範囲１０００の中に、被写体としての黒い部分と白い部分を有するチャートが配置されており、その略中心に焦点検出領域４００が配置されている状態を示している。焦点検出領域４００に対応する撮像素子上の領域から得られた信号を用いて重心間隔を取得する。

図１２（ｂ）は、図１２（ａ）に示す被写体がデフォーカス状態の場合に取得される対の信号（４０１，４０２）を示した図である。デフォーカスにより被写体信号の輝度分布の形状が変わり、中央部の線のコントラストが低下している。また、デフォーカス状態のため、周囲の黒部のエッジが焦点検出領域内に両側から侵入している。図１２（ｃ）は、図１２（ｂ）の信号に対して、デジタルフィルタ処理、絶対値処理を施した状態を示す図である。処理後に大きく振幅が残る部分は、周囲の黒部１００１のエッジ部分で、絶対値処理により、焦点検出領域の両側に大きな振幅が残る。ここで、重心間隔を算出すると、図１２（ｃ）のＣＧが略重心間隔となる。一方で、デフォーカス状態を示す正しい対の信号のずれ量はｄｅｆであり、誤検出となっている。

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像面に配置された画素を用いて位相差方式の焦点検出を行う場合に、被写体のパターンやデフォーカス状態によらず、高精度な焦点検出を実現することである。

本発明に係わる撮像装置は、撮影光学系の異なる射出瞳領域を通過した光をそれぞれ受光する受光素子と、前記受光素子から得られる、前記異なる射出瞳領域の１つに対応する第１の像信号と、前記異なる射出瞳領域の他の１つに対応する第２の像信号に基づいて焦点検出を行う焦点検出手段と、を備え、前記焦点検出手段は、前記第１の像信号について高域成分を抽出した信号の正の部分の信号と、前記第２の像信号について高域成分を抽出した信号の正の部分の信号の位相差を示す第１のデフォーカス情報と、前記第１の像信号について高域成分を抽出した信号の負の部分の信号と、前記第２の像信号について高域成分を抽出した信号の負の部分の信号の位相差を示す第２のデフォーカス情報とを算出し、前記第１のデフォーカス情報と前記第２のデフォーカス情報とに基づいて焦点検出を行うことを特徴とする。

本発明によれば、撮像面に配置された画素を用いて位相差方式の焦点検出を行う場合に、被写体のパターンやデフォーカス状態によらず、高精度な焦点検出を実現することが可能となる。

本発明の一実施形態に係わる撮像装置の概略構成図。 撮像素子の画素配列の概略図。 撮像素子の画素の概略平面図と概略断面図。 画素構造と瞳分割の概略説明図。 撮像素子と瞳分割の概略説明図。 デフォーカス量と像ずれ量との関係の概略説明図。 撮影範囲内の焦点検出領域の例を示す図。 デジタルカメラの焦点調節動作を説明するためのフローチャート。 焦点検出用信号の生成処理を説明するためのフローチャート。 焦点検出信号の生成過程を説明する図。 デフォーカス量の算出処理を説明するためのフローチャート。 特許文献２における課題を説明する図。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。

●全体構成
（撮像装置の構成の説明−レンズユニット）
図１は、一実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図である。本実施形態のデジタルカメラはレンズ交換式一眼レフカメラであり、レンズユニット１００とカメラ本体１２０とを有する。レンズユニット１００は図中中央の点線で示されるマウントＭを介して、カメラ本体１２０に装着される。

レンズユニット１００は、第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ群１０４（以下、単に「フォーカスレンズ」という）を有する撮影光学系と、駆動／制御系とを有する。このようにレンズユニット１００は、被写体の光学像を結像させる撮影レンズである。

第１レンズ群１０１はレンズユニット１００の先端に配置され、光軸に沿う方向（矢印ＯＡで示す方向）に移動可能に保持される。絞り１０２は、撮影時の光量を調節する機能のほか、静止画撮影時には露出時間を制御するメカニカルシャッタとしても機能する。絞り１０２及び第２レンズ群１０３は一体で光軸に沿う方向（ＯＡ方向）に移動可能であり、第１レンズ群１０１と連動して移動することによりズーム機能を実現する。フォーカスレンズ１０４も光軸に沿う方向（ＯＡ方向）に移動可能であり、位置に応じてレンズユニット１００が合焦する被写体距離（合焦距離）が変化する。フォーカスレンズ１０４の光軸に沿う方向（ＯＡ方向）における位置を制御することにより、レンズユニット１００の合焦距離を調節する焦点調節が実現される。

駆動／制御系は、ズームアクチュエータ１１１、絞りシャッタアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ１１７、レンズメモリ１１８を備える。

ズーム駆動回路１１４は、ズームアクチュエータ１１１を用いて第１レンズ群１０１や第３レンズ群１０３を光軸に沿う方向（ＯＡ方向）に駆動し、レンズユニット１００の撮影光学系の画角を制御する。絞りシャッタ駆動回路１１５は、絞りシャッタアクチュエータ１１２を用いて絞り１０２を駆動し、絞り１０２の開口径や開閉動作を制御する。フォーカス駆動回路１１６はフォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４を光軸に沿う方向（ＯＡ方向）に駆動し、レンズユニット１００の撮影光学系の合焦距離を制御する。また、フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３内のエンコーダにより、フォーカスレンズ１０４の現在位置を検出する。

レンズＭＰＵ（プロセッサ）１１７は、レンズユニット１００における全ての演算、制御を行い、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６を制御する。また、レンズＭＰＵ１１７は、マウントＭを通じてカメラＭＰＵ１２５と接続され、コマンドやデータを通信する。例えばレンズＭＰＵ１１７はフォーカスレンズ１０４の位置を検出し、カメラＭＰＵ１２５からの要求に応じてレンズ位置情報をカメラＭＰＵ１２５に通知する。このレンズ位置情報は、フォーカスレンズ１０４の光軸に沿う方向における位置、光学系が移動していない状態の射出瞳の光軸に沿う方向における位置および直径、射出瞳の光束を制限するレンズ枠の光軸に沿う方向における位置および直径などの情報を含む。また、レンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に応じて、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６を制御する。レンズメモリ１１８は自動焦点検出に必要な光学情報が予め記憶されている。カメラＭＰＵ１２５は例えば内蔵する不揮発性メモリやレンズメモリ１１８に記憶されているプログラムを実行することで、レンズユニット１００の動作を制御する。

（撮像装置の構成の説明−カメラ本体）
カメラ本体１２０は、光学ローパスフィルタ１２１および撮像素子１２２を有する撮影光学系と、駆動／制御系とを有する。レンズユニット１００の第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ１０４、カメラ本体１２０の光学ローパスフィルタ１２１は撮影光学系を構成する。

光学ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減するための光学部材である。撮像素子１２２はＣＭＯＳイメージセンサと周辺回路で構成され、横方向ｍ画素、縦方向ｎ画素（ｎ，ｍは２以上の整数）が配置されている。本実施形態の撮像素子１２２は、瞳分割機能を有し、画像データを用いた位相差ＡＦ（位相差オートフォーカス）が可能である。画像処理回路１２４は、撮像素子１２２が出力する画像データから、位相差ＡＦ用のデータと、表示、記録、およびコントラストＡＦ（ＴＶＡＦ）用の画像データを生成する。なお、撮像素子１２２の詳しい構成については後述する。

駆動／制御系は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示器１２６、操作スイッチ群１２７、メモリ１２８、撮像面位相差焦点検出部１２９、ＴＶＡＦ焦点検出部１３０を有する。

撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してカメラＭＰＵ１２５に送信する。画像処理回路１２４は、撮像素子１２２が取得した画像データに対し、例えばγ変換、ホワイトバランス調整処理、色補間処理、圧縮符号化処理など、デジタルカメラで行われる一般的な画像処理を行う。また、画像処理回路１２４は位相差ＡＦ用の信号も生成する。

カメラＭＰＵ（プロセッサ）１２５は、カメラ本体１２０における全ての演算、制御を行う。具体的には、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作スイッチ群１２７、メモリ１２８、撮像面位相差焦点検出部１２９、ＴＶＡＦ焦点検出部１３０を制御する。カメラＭＰＵ１２５はマウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７とコマンドやデータを通信する。カメラＭＰＵ１２５はレンズＭＰＵ１１７に対し、レンズ位置の取得要求、所定の駆動量での絞り、フォーカスレンズ、ズームの駆動要求、レンズユニット１００に固有の光学情報の取得要求などを発行する。カメラＭＰＵ１２５には、カメラ動作を制御するプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ、諸パラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。

表示器１２６はＬＣＤなどから構成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。メモリ１２８は、着脱可能なフラッシュメモリで、撮影済み画像を記録する。

撮像面位相差焦点検出部１２９は、画像処理回路１２４により得られる焦点検出用データを用いて位相差検出方式で焦点検出処理を行う。より具体的には、画像処理回路１２４が、撮影光学系の一対の瞳領域を通過する光束で形成される一対の像データを焦点検出用データとして生成し、撮像面位相差焦点検出部１２９はこの一対の像データのずれ量に基づいて焦点ずれ量を検出する。このように、本実施形態の撮像面位相差焦点検出部１２９は、専用のＡＦセンサを用いず、撮像素子１２２の出力に基づいて位相差ＡＦ（撮像面位相差ＡＦ）を行う。撮像面位相差焦点検出部１２９の動作については後に詳細に説明する。

ＴＶＡＦ焦点検出部１３０は、画像処理回路１２４が生成するＴＶＡＦ用評価値（画像データのコントラスト情報）に基づいてコントラスト検出方式の焦点検出処理を行う。コントラスト検出方式の焦点検出処理は、フォーカスレンズ１０４を移動させて評価値がピークとなるフォーカスレンズ位置を合焦位置として検出する処理である。

このように、本実施形態のデジタルカメラは位相差ＡＦとＴＶＡＦの両方を実行可能であり、状況に応じて選択的に使用したり、組み合わせて使用したりすることができる。

●撮像素子
次に、図２は、本実施形態における撮像素子１２２の画素の配列の概略を示す図である。図２では、本実施形態の２次元ＣＭＯＳセンサー（撮像素子）の画素（撮像画素）の配列を４列×４行の範囲で示すとともに、１つの画素（受光素子）に２個配列された光電変換素子の配列を８列×４行の範囲で示している。

画素群２００は２行×２列の画素からなり、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は２列×１行に配列された光電変換部２０１，２０２により構成されている。以下では、この光電変換部２０１，２０２を便宜的に第１焦点検出画素２０１、第２焦点検出画素２０２とも呼ぶことにする。

図２に示した撮像素子１２２では、４列×４行の画素（８列×４行の焦点検出画素）を面上に多数配置し、撮像画像（焦点検出信号）の取得を可能としている。本実施形態では、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、焦点検出画素の列方向周期ＰＡＦが２μｍ、焦点検出画素数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素の撮像素子として説明を行う。

図２に示した撮像素子１２２の１つの画素２００Ｇを、撮像素子１２２の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図を図３（ｂ）に示す。図３に示すように、本実施形態の画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮＨ個（２個）、ｙ方向にＮＶ個（１個）の光電変換部２０１，２０２が配置されている。光電変換部２０１，２０２を、ここではそれぞれ、第１焦点検出画素２０１、第２焦点検出画素２０２とも呼ぶ。光電変換部２０１及び２０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしても良い。

各画素には、マイクロレンズ３０５と、光電変換部２０１，２０２との間に、カラーフィルタ３０６が形成される。また、必要に応じて、各光電変換部毎にカラーフィルタの分光透過率を変えても良いし、カラーフィルタを省略しても良い。

図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光されたのち、光電変換部２０１，２０２で受光される。光電変換部２０１，２０２では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積され、一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子１２２の外部へ排出される。光電変換部２０１，２０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換されて出力される。

図３に示した本実施形態の画素構造と瞳分割（射出瞳領域の分割）との対応関係を図４を参照して説明する。図４は、図３（ａ）に示した本実施形態の画素構造のａ−ａ断面を＋ｙ側から見た断面図と撮影光学系の射出瞳面を示す図である。なお、図４では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。

第１瞳部分領域５０１は、重心が−ｘ方向に偏心している第１焦点検出画素２０１の受光面と、マイクロレンズ３０５によって概ね共役関係になっており、第１焦点検出画素２０１で受光可能な瞳領域を表している。第１焦点検出画素２０１に対応する第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心している。

また、第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している第２焦点検出画素２０２の受光面と、マイクロレンズ３０５によって概ね共役関係になっており、第２焦点検出画素２０２で受光可能な瞳領域を表している。第２焦点検出画素２０２に対応する第２瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心している。

また、瞳領域５００は、第１焦点検出画素２０１と第２焦点検出画素２０２を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。

図５は、本実施形態の撮像素子１２２と瞳分割との対応関係を示した概略図である。第１瞳部分領域５０１と第２瞳部分領域５０２をそれぞれ通過した一対の光束は、撮像素子１２２の各画素にそれぞれ異なる角度で入射し、２×１に配列された第１焦点検出画素２０１と第２焦点検出画素２０２で受光される。本実施形態は、１つの画素に２つの光電変換部（第１焦点検出画素２０１と第２焦点検出画素２０２）を配置することにより瞳領域を水平方向に２つに瞳分割する例である。必要に応じて、垂直方向に瞳分割を行ってもよい。

なお、上述した例では第１焦点検出画素２０１と第２焦点検出画素２０２から構成された撮像画素が複数配列されているが、本発明はこれに限られるものではない。必要に応じて、撮像画素と、第１焦点検出画素、第２焦点検出画素を個別の画素構成とし、撮像画素配列の一部に、第１焦点検出画素と第２焦点検出画素を部分的に配置する構成としてもよい。

本実施形態では、撮像素子１２２の各画素の第１焦点検出画素２０１の受光信号を撮像素子上で縦２列、横２行について加算した後、集めて第１焦点検出信号を生成する。同様に、各画素の第２焦点検出画素２０２の受光信号を撮像素子上で縦２列、横２行について加算した後、集めて第２焦点検出信号を生成して焦点検出を行う。縦２列、横２行の信号を加算することにより、ＲとＧとＢのカラーフィルタの画素から得られた信号を１対２対１の割合で加算することになり、分光の偏りの少ない輝度信号として扱うことができる。また、撮像素子１２２の各画素毎に、第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像信号）を生成する。
●デフォーカス量と像ずれ量の関係
以下、撮影光学系のデフォーカス量と、本実施形態の撮像素子１２２により取得される第１焦点検出信号と第２焦点検出信号の像ずれ量との関係について説明する。図６は、撮影光学系のデフォーカス量と第１焦点検出信号と第２焦点検出信号間の像ずれ量の関係を示す概略図である。撮像面８００に本実施形態の撮像素子１２２が配置され、図４、図５を参照して説明したように、撮影光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。

デフォーカス量ｄは、被写体像の結像位置から撮像面までの距離を大きさ｜ｄ｜とし、被写体像の結像位置が撮像面より被写体側にある前ピン状態を負符号（ｄ＜０）、被写体像の結像位置が撮像面より被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体像の結像位置が撮像面（合焦位置）にある合焦状態はｄ＝０である。図６は、被写体８０１が合焦状態（ｄ＝０）である例を示しており、被写体８０２は前ピン状態（ｄ＜０）である例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子１２２に配列された各画素を構成する第１焦点検出画素２０１（第２焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。よって、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。

このように、第１焦点検出信号と第２焦点検出信号、もしくは、第１焦点検出信号と第２焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する。

●焦点検出
本実施形態では、第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の関係性を用いて、位相差方式の焦点検出を行う。詳細は、後述する。

[焦点検出領域］
まず、第１焦点検出信号と第２焦点検出信号を取得する撮像素子１２２上の領域である焦点検出領域について説明する。図７は、撮像素子１２２の有効画素領域１０００における焦点検出領域Ａと、焦点検出時に表示器１２６に表示される焦点検出領域を示す指標Ｉを重ねて示した図である。本実施形態では、焦点検出領域は行方向に３つ、列方向に３つの、計９個設定している。行方向にｎ番目、列方向にｍ番目の焦点検出領域をＡ（ｎ，ｍ）と表し、この領域内の第１焦点検出画素２０１と第２焦点検出画素２０２の信号を用いて、後述する焦点検出を行う。また、同様に行方向にｎ番目、列方向にｍ番目の焦点検出領域を示す指標をＩ（ｎ，ｍ）と表す。

なお、本実施形態では、行方向に３つ、列方向に３つの焦点検出領域を設定した例を示している。しかしながら、上述した撮像素子１２２のように有効画素領域１０００のどの画素からも第１焦点検出信号及び第２焦点検出信号が得られる撮像素子においては、焦点検出領域の数、位置、サイズを自由に設定できる。例えば、撮影者の指定した領域を中心に、所定の範囲を焦点検出領域として設定してもよい。

[焦点検出]
次に、カメラ本体１２０における焦点調節動作について、図８に示すフローチャートを用いて説明する。なお、図８に示す処理は、ライブビュー表示時（表示用動画撮影時）もしくは動画記録時（記録用動画撮影時）において実施される処理である。

Ｓ５０１でカメラＭＰＵ１２５は、操作スイッチ群１２７などの操作により、焦点検出開始指示が入力されたか否かを判別し、入力されていると判別された場合に処理をＳ５０２へ進め、入力されていると判別されなければ待機する。なお、カメラＭＰＵ１２５は、焦点検出開始指示の入力に限らず、ライブビュー表示や動画記録の開始をトリガとして処理をＳ５０２に進めてもよい。

Ｓ５０２でカメラＭＰＵ１２５は、レンズユニット１００のＦ値、レンズ枠情報、フォーカスレンズ位置、ピント補正量、最大デフォーカス量などの各種レンズ情報を、マウントＭを介してレンズＭＰＵ１１７から取得する。

Ｓ５０３でカメラＭＰＵ１２５は、逐次読み出されているフレーム画像データの、焦点検出領域内の画素データから、ＡＦ用の像信号である第１の焦点検出信号（Ａ像）と第２の焦点検出信号（Ｂ像）を生成するように画像処理回路１２４に指示する。ＡＦ用の像信号は撮像面位相差焦点検出部１２９へ送られ、本実施形態では、複数種類の対の信号を生成するが、詳細は後述する。

Ｓ５０４で撮像面位相差焦点検出部１２９は、Ａ像とＢ像の対の像信号に対して公知の相関演算などを適用して像のずれ量を算出し、デフォーカス量に変換する。また、検出されたデフォーカス量の信頼性なども判定し、複数得られるデフォーカス量の結果を選択する。この処理の詳細は、後述する。撮像面位相差焦点検出部１２９は、デフォーカス量をカメラＭＰＵ１２５に出力する。

Ｓ５０５でカメラＭＰＵ１２５は、Ｓ５０４で撮像面位相差焦点検出部１２９から得られたデフォーカス量に基づき、レンズユニット１００のフォーカスレンズ１０４のレンズ駆動量を算出する。この際に、焦点検出結果が得られていない場合には、レンズを停止するか、サーチ駆動モードに移行し、所定量のレンズ駆動を行うためのレンズ駆動量を算出する。

Ｓ５０６でカメラＭＰＵ１２５は、マウントＭを介して、レンズ駆動量および駆動方向の情報をレンズユニット１００のフォーカス駆動回路１１６に送信する。フォーカス駆動回路１１６は、受信したレンズ駆動量と駆動方向の情報に基づいて、フォーカスレンズ１０４を駆動する。これにより、レンズユニット１００の焦点調節が行われる。なお、図８の動作は次フレーム以降の動画データが読み出された際にも継続的に実施されてよい。

次に、図８のＳ５０３で、画像処理回路１２４が行う信号生成処理について、図９に示すフローチャートを用いて説明する。

まず、Ｓ５０３１で、焦点検出信号の補正処理を行う。撮像面位相差焦点検出部１２９に送られてきたＡＦ用の像信号である第１の焦点検出信号（Ａ像）と第２の焦点検出信号（Ｂ像）に対して、ビネッティングの影響による光量の差の補正や固定パターンノイズなどの補正を行う。補正後の信号を、一度ＲＡＭ１２５ｂに保持する。

次に、Ｓ５０３２において、Ｓ５０３１で補正された第１の焦点検出信号をＲＡＭ１２５ｂから読出し、第３の焦点検出信号と第４の焦点検出信号を生成する。続いて、Ｓ５０３３において、Ｓ５０３１で補正された第２の焦点検出信号をＲＡＭ１２５ｂから読出し、第５の焦点検出信号と第６の焦点検出信号を生成する。

第３から第６の焦点検出信号の生成方法について、図１０を用いて説明する。図１０（ａ）は、被写体の模様と対応する焦点演出領域を示す図である。撮影範囲１０００の中に、被写体としての黒い部分と白い部分を有するチャートが配置されており、その略中心に焦点検出領域４００が配置されている。

図１０（ｂ）は、図１０（ａ）に示される被写体に対して、デフォーカス状態で得られる第１の焦点検出信号４０１及び第２の焦点検出信号４０２の例を示している。横軸に撮像素子上の画素位置を示す画素番号、縦軸に輝度に対応する信号出力を示している。図１０（ｂ）では、デフォーカス状態であるため、第１の焦点検出信号４０１と第２の焦点検出信号４０２は、左右に位置がずれている。デフォーカスにより、被写体中央部の黒い細線１は、コントラストが低下している。また、被写体の周囲の黒部２が、デフォーカスにより焦点検出領域内に侵入している。デフォーカス状態のため、第１の焦点検出信号４０１と第２の焦点検出信号４０２では、被写体の周囲の黒部の侵入度合いが異なる。

図１０（ｃ）は、デジタルフィルタ処理を行った後の第１の焦点検出信号４０３と第２の焦点検出信号４０４を示している。デジタルフィルタ処理では、高域信号（高域成分）を抽出するため、微分フィルタなどを用いる。その結果、図１０（ｃ）に示すように、信号に正負の成分が生じる。

図１０（ｄ）は、図１０（ｃ）に示した第１の焦点検出信号４０３から第３の焦点検出信号４０５、第２の焦点検出信号４０４から、第５の焦点検出信号４０６を抽出した結果を示す図である。第３の焦点検出信号４０５は、第１の焦点検出信号４０３の正の部分のみ値を有する信号で、負の部分は０となっている。同様に第５の焦点検出信号４０６は、第２の焦点検出信号４０４の正の部分のみ値を有する信号で、負の部分は０となっている。

図１０（ｅ）は、図１０（ｃ）に示した第１の焦点検出信号４０３から第４の焦点検出信号４０７、第２の焦点検出信号４０４から、第６の焦点検出信号４０８を抽出した結果を示す図である。第４の焦点検出信号４０７は、第１の焦点検出信号４０３の負の部分のみ値を有する信号で、第１の焦点検出信号４０３で負の部分に対して絶対値処理を行い、第１の焦点検出信号４０３で正の部分は０となっている。同様に、第６の焦点検出信号４０８は、第２の焦点検出信号４０４の負の部分のみ値を有する信号で、第２の焦点検出信号４０４で負の部分に対して絶対値処理を行い、第２の焦点検出信号４０４で正の部分は０となっている。

図１０に示したように、Ｓ５０３２で第１の焦点検出信号から第３の焦点検出信号と第４の焦点検出信号を抽出し、Ｓ５０３３で第２の焦点検出信号から第５の焦点検出信号と第６の焦点検出信号を抽出し終えると、焦点検出用信号生成のサブルーチンを終了する。そして、Ｓ５０４に進む。

次に、図８のＳ５０４で撮像面位相差焦点検出部１２９が行うデフォーカス量の算出処理について、図１１に示すフローチャートを用いてさらに説明する。

Ｓ５０４１で、撮像面位相差焦点検出部１２９は、第１の焦点検出信号と第２の焦点検出信号の相関演算を行う。相関演算を行う際に、視野内データの値とシフトデータの値の設定を行う。視野内データの値とは、相関演算を行う際の窓の大きさに相当し、焦点検出を行う領域の広さを意味する。視野内データの値を大きくすると、より信頼性の高い相関演算結果が得られるが、距離の異なる被写体が同じ焦点検出領域内に存在する、いわゆる遠近競合が発生する頻度が高まる。そのため、被写体の大きさや撮影光学系の焦点距離などの情報をもとに、適切な大きさの焦点検出領域に相当する視野内データの値に設定する。シフトデータの値は、Ａ像とＢ像の位置関係をずらしながら相関量を評価する際の最大ずらし量に相当する。Ａ像とＢ像の位置関係のずらし量を大きくすると、より大きなデフォーカス状態の被写体の焦点検出を行うことができる。一方で、Ａ像とＢ像の位置関係のずらし量を大きくすることは、演算量増加につながり、焦点検出演算の時間が長くかかってしまう。そのため、シフトデータの値は、検出したいデフォーカス量と精度に鑑みて、適切に設定する。

第１の相関演算に用いる相関量ＣＯＲ１（ｈ）は、例えば下記の式（１）で算出することができる。

…（１）
式（１）において、Ｗ1は、視野内データの値に相当し、ｈmaxが、シフトデータの値に相当する。撮像面位相差焦点検出部１２９は各シフト量ｈについての相関量ＣＯＲ１（ｈ）を求めた後、Ａ像とＢ像の相関が最も高くなるシフト量ｈ、すなわち、相関量ＣＯＲ１が最小となるシフト量ｈの値を求める。なお、相関量ＣＯＲ１（ｈ）の算出時におけるシフト量ｈは整数とするが、相関量ＣＯＲ１（ｈ）が最小となるシフト量ｈを求める場合には、デフォーカス量の精度を向上させるため、適宜補間処理を行いサブピクセル単位の値（実数値）を求める。

本実施形態では、相関量ＣＯＲ１の差分値の符号が変化するシフト量ｄｈを、相関量ＣＯＲ１（ｈ）が最小となるシフト量ｈとして算出する。

まず、撮像面位相差焦点検出部１２９は、相関量の差分値ＤＣＯＲ１を以下の式（２）に従って算出する。

ＤＣＯＲ１（ｈ）＝ＣＯＲ１（ｈ）−ＣＯＲ１（ｈ−１） …（２）
そして、撮像面位相差焦点検出部１２９は、相関量の差分値ＤＣＯＲ１を用いて、差分値の符号が変化するシフト量ｄｈ1を求める。差分値の符号が変化する直前のｈの値をｈ1、符号が変化した直後のｈの値をｈ2（ｈ２＝ｈ１＋１）とすると、撮像面位相差焦点検出部１２９はシフト量ｄｈ1を、以下の式（３）に従って算出する。

ｄｈ1＝ｈ1＋|ＤＣＯＲ１（ｈ1）|／|ＤＣＯＲ１（ｈ1）−ＤＣＯＲ１（ｈ2）|
…（３）
以上のようにして相関演算手段としての撮像面位相差焦点検出部１２９は、Ａ像とＢ像の相関が最大となるシフト量ｄｈ1をサブピクセル単位で算出し、Ｓ５０４１の処理を終える。なお、２つの１次元像信号の位相差を算出する方法は、ここで説明したものに限らず、公知の任意の方法を用いることができる。

次に、Ｓ５０４２で、撮像面位相差焦点検出部１２９は、第３から第６の焦点検出信号を用いた重心間隔の算出を行う。第３の焦点検出信号の重心は、第３の焦点検出信号をＡ３（ｋ）（１≦ｋ≦Ｐ）、第３の焦点検出信号の重心位置をＣＧ３とした場合に、下記の式（４）で算出される。

…（４）
同様に、第４の焦点検出信号の重心位置ＣＧ４、第５の焦点検出信号の重心位置ＣＧ５、第６の焦点検出信号の重心位置ＣＧ６を算出する。さらに、第３の焦点検出信号と第５の焦点検出信号の重心間隔を第１のデフォーカス情報として算出する。第１のデフォーカス情報をＣＧ＿ｄｅｆ１とすると、この値は下記の式（５）で算出される。

ＣＧ＿ｄｅｆ１＝ＣＧ３−ＣＧ５ …（５）
同様にして、第２のデフォーカス情報ＣＧ＿ｄｅｆ２を第４の焦点検出信号と第５の焦点検出信号の重心間隔を、下記の式（６）で算出する。

ＣＧ＿ｄｅｆ２＝ＣＧ４−ＣＧ６ …（６）
図１０（ｄ）、図１０（ｅ）に、第３から第６の焦点検出信号の重心位置（ＣＧ３，ＣＧ４，ＣＧ５，ＣＧ６）と重心間隔ＣＧ＿ｄｅｆ１とＣＧ＿ｄｅｆ２を示している。重心間隔ＣＧ＿ｄｅｆ１とＣＧ＿ｄｅｆ２は、いずれも中心部のコントラストの低い黒い細線部の信号ずれ量からもわかるとおり、正しいデフォーカス量を示している。

本実施形態においては、第１の焦点検出信号と第２の焦点検出信号から、デジタルフィルタにより高域成分を抽出した後、信号を正負に区別して抽出した。そのため、焦点検出領域の端近傍で、デフォーカスにより第１の焦点検出信号と第２の焦点検出信号で異なる量の黒部の境界が侵入していても、正しくデフォーカス状態を検出することができる。また、第１の焦点検出信号と第２の焦点検出信号において、異なる黒部の境界に重心が存在する確率を下げ、誤ったデフォーカス状態の検出を防ぐことができる。

Ｓ５０４２で、重心間隔の算出を終えると、Ｓ５０４３では、相関演算の信頼性評価を行う。信頼性評価を行う際に用いる値は、例えば、シフト量ｄｈ1を求める際のＣＯＲ１（ｇ）の極小値の大きさや、シフト量ｄｈ1近傍のＤＣＯＲ１（ｇ）の大きさを用いればよい。ＣＯＲ１（ｇ）の極小値は、小さければ小さいほど、第１の焦点検出信号と第２の焦点検出信号の一致度が高いことを示し、得られる相関演算結果の信頼性が高くなる。また、ＤＣＯＲ２（ｇ）の大きさが大きければ大きいほど、シフトを行う際に相関量の変化が大きいことを示し、精度よくサブピクセル演算を行えることを示す。

Ｓ５０４３で、信頼性があると判定されると、Ｓ５０４５に進み、相関演算結果に対して、所定の敏感度を用いて演算を行い、デフォーカス量を算出する。一方で、Ｓ５０４３で、信頼性が低いと判定されるとＳ５０４４に進み、重心間隔の信頼性評価を行う。信頼性評価の方法は、重心を算出する際の信号の総和や算出された重心の位置を用いる。信号の総和が小さい場合は、得られる重心の算出結果の精度が低い可能性があるため、信頼性が低いと判定する。また、算出された重心の位置が焦点検出領域の端から所定値以内、つまり、算出された重心の位置が焦点検出領域の端に近い場合には、対の信号に含まれる信号に大きな差がある可能性があるため、信頼性が低いと判定する。例えば、大きいデフォーカス状態で、一方の焦点検出信号に含まれる被写体の境界部が、もう一方の焦点検出信号に含まれない場合などに、信頼性が低いと判定することを可能とする。

Ｓ５０４４で、重心間隔の信頼性が高いと判定されると、Ｓ５０４６に進み、重心間隔の結果に対して、所定の敏感度を用いて演算を行い、デフォーカス量を算出する。この際に、算出された２つの重心間隔（第１のデフォーカス情報、第２のデフォーカス情報）のうち、一方のみが信頼性が高い場合には、一方のみを用いて、デフォーカス量を算出する。両方の重心間隔の信頼性が高い場合には、平均値、または加重平均値を用いて、デフォーカス量の算出を行う。

Ｓ５０４４で、重心間隔の信頼性が低いと判定されると、Ｓ５０４７に進み、合焦不能と判定して、このルーチンを終了する。

本実施形態では、２つの重心間隔の平均値を用いるように説明したが、代表値の算出方法はこれに限らない。例えば、各々の重心間隔を算出するために用いた焦点検出信号の総和の比率に応じて、重み付けした重心間隔を用いてもよい。これにより、より信号成分の多い重心間隔を優先して用いることができるため、高精度な重心間隔の検出が可能となる。

以上のような処理を行うことで、射出瞳の異なる領域からの出射光を受光する複数の光電変換部の出力信号を用いて焦点検出を行う場合に、焦点検出するべき被写体のパターンやデフォーカス状態によらず、高精度な焦点検出、焦点調節を実現することができる。

（変形例）
上述の実施形態では、相関演算結果の信頼性が低い場合に、重心間隔を用いるように説明したが、重心間隔の用い方はこれに限らない。重心間隔は、相関演算結果に比較して、焦点検出精度は劣るが、比較的大きいデフォーカス量を検出できる利点がある。この特性を利用して、相関演算結果から得られるデフォーカス量の大きさによって、重心間隔を利用するようにしてもよい。例えば、相関演算結果から閾値以上のデフォーカス量が検出された場合や、相関演算結果が算出不能となった場合に、重心間隔を用いることが考えられる。

また、相関演算結果は、縞模様のような繰り返しパターンの被写体で誤検出を起こしてしまうが、重心間隔は、このような場合でも精度よく検出を行うことができる。そのため、相関演算結果と重心間隔の演算結果が、概ね近くなるような相関演算結果を採用することで、相関演算結果の信頼性を高めることができる。例えば、相関演算時に算出される相関量の極小値を選択する際に、重心間隔の結果を参照して選択を行うことが考えられる。また、仮に相関演算結果として小さいデフォーカス量が検出されたにもかかわらず、重心間間隔からは大きいデフォーカス状態が検出された場合には、相関演算結果の信頼性が低いと判定し、重心間隔から得られるデフォーカス量を用いて焦点調節を行えばよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：レンズユニット、１０１：第１レンズ群、１０２：絞り、１０３：第２レンズ群、１０４：フォーカスレンズ群、１２０：カメラ本体、１２１：光学ローパスフィルタ、１２２：撮像素子

Claims (14)

1. 撮影光学系の異なる射出瞳領域を通過した光をそれぞれ受光する受光素子と、
   前記受光素子から得られる、前記異なる射出瞳領域の１つに対応する第１の像信号と、前記異なる射出瞳領域の他の１つに対応する第２の像信号に基づいて焦点検出を行う焦点検出手段と、を備え、
   前記焦点検出手段は、前記第１の像信号について高域成分を抽出した信号の正の部分の信号と、前記第２の像信号について高域成分を抽出した信号の正の部分の信号の位相差を示す第１のデフォーカス情報と、前記第１の像信号について高域成分を抽出した信号の負の部分の信号と、前記第２の像信号について高域成分を抽出した信号の負の部分の信号の位相差を示す第２のデフォーカス情報とを算出し、前記第１のデフォーカス情報と前記第２のデフォーカス情報とに基づいて焦点検出を行うことを特徴とする撮像装置。
2. 前記焦点検出手段は、前記第１のデフォーカス情報と前記第２のデフォーカス情報を平均して得られるデフォーカス情報を用いて焦点検出を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記焦点検出手段は、前記第１のデフォーカス情報と前記第２のデフォーカス情報を加重平均して得られるデフォーカス情報を用いて焦点検出を行うことを特徴とする請求項１に記載の撮像装置。
4. 前記焦点検出手段は、前記第１のデフォーカス情報を算出した信号の総和と、前記第２のデフォーカス情報を算出した信号の総和の比率に応じて、前記第１のデフォーカス情報と前記第２のデフォーカス情報を加重平均して前記デフォーカス情報を算出することを特徴とする請求項３に記載の撮像装置。
5. 前記第１のデフォーカス情報と前記第２のデフォーカス情報は、前記第１の像信号の重心と前記第２の像信号の重心の間隔の情報であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第１の像信号について高域成分を抽出した信号の重心の位置と前記第２の像信号について高域成分を抽出した信号の重心の位置の両方が焦点検出領域の端から所定値以内の範囲にある場合には、前記焦点検出手段は、前記第１のデフォーカス情報と前記第２のデフォーカス情報を用いずに、焦点検出を行うことを特徴とする請求項５に記載の撮像装置。
7. 前記第１のデフォーカス情報と前記第２のデフォーカス情報を算出した信号の総和が所定の量よりも少ない場合には、前記焦点検出手段は、前記第１のデフォーカス情報と前記第２のデフォーカス情報を用いずに、焦点検出を行うことを特徴とする請求項５に記載の撮像装置。
8. 前記焦点検出手段は、前記第１の像信号と前記第２の像信号について高域成分を抽出して得られた前記第１の像信号と前記第２の像信号の位相差が所定の値より大きい場合に、前記第１のデフォーカス情報と前記第２のデフォーカス情報を用いて焦点検出を行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記焦点検出手段は、前記第１のデフォーカス情報と前記第２のデフォーカス情報を、前記位相差の検出結果の信頼性を判定するために用いることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記焦点検出手段は、前記第１の像信号と前記第２の像信号について高域成分を抽出せずに得られた前記第１の像信号と前記第２の像信号のデフォーカス量が所定の値より大きい場合に、前記第１のデフォーカス情報と前記第２のデフォーカス情報の重心間隔を用いて焦点検出を行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
11. 前記受光素子は、撮像素子上に形成されており、１つのマイクロレンズに対して複数の光電変換部が配置されて構成されていることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 撮影光学系の異なる射出瞳領域を通過した光をそれぞれ受光する受光素子を有する撮像装置を制御する方法であって、
    前記受光素子から得られる、前記異なる射出瞳領域の１つに対応する第１の像信号と、前記異なる射出瞳領域の他の１つに対応する第２の像信号に基づいて焦点検出を行う焦点検出工程を有し、
    前記焦点検出工程では、前記第１の像信号について高域成分を抽出した信号の正の部分の信号と、前記第２の像信号について高域成分を抽出した信号の正の部分の信号の位相差を示す第１のデフォーカス情報と、前記第１の像信号について高域成分を抽出した信号の負の部分の信号と、前記第２の像信号について高域成分を抽出した信号の負の部分の信号の位相差を示す第２のデフォーカス情報とを算出し、前記第１のデフォーカス情報と前記第２のデフォーカス情報とに基づいて焦点検出を行うことを特徴とする撮像装置の制御方法。
13. 請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
14. 請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images