JP7271316B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置における焦点検出技術に関するものである。

撮像装置の自動焦点検出（ＡＦ）方式として、コントラストＡＦ方式と位相差ＡＦ方式が知られている。コントラストＡＦ方式も位相差ＡＦ方式もビデオカメラやデジタルスチルカメラで多く用いられるＡＦ方式であり、撮像素子が焦点検出用センサーとして用いられるものが存在する。このような焦点検出は、通常、撮像画像の部分領域に対して実行される。

特許文献１では、光学系による像の歪みが生じている場合に、歪みが補正された表示画像に対して検出、もしくはユーザから指定される主被写体の画面上の位置に対して、歪み補正と逆の処理を適用する。これにより、表示画像のフォーカス枠の位置と撮像画像の合焦制御領域の位置のずれを低減させる手法が提案されている。

特許第４７３２３０３号

しかしながら、上述の特許文献１に開示された従来技術では、複数配置されるフォーカス枠をどのように設定するかについては考慮されていなかった。よって、フォーカス枠の多枠化、広範囲化が進む昨今においては、演算量が膨大になり、処理が煩雑となる状況があった。

そこで、本発明は、撮像画像に歪みが生じた場合であっても精度良く焦点検出することが可能な撮像装置を提供することを目的とする。

本発明の技術的特徴として、光学系により結像された被写体像を画像信号に変換する撮像手段と、
前記画像信号から得られる補正前の画像データに反映された前記光学系による光学歪み
を補正し、補正画像データを出力する歪み補正手段と、
前記補正画像データに基づいて、前記光学系の合焦状態を検出するためのフォーカス枠
の領域を設定する設定手段と、
前記設定手段の設定に応じて、前記補正前の画像データに対するフォーカス枠の枠数、
及び配置を指定する指定手段と、
前記指定手段により指定された領域の画像信号に基づいて前記光学系の合焦状態を検出
する焦点検出手段とを有し、
前記指定手段は、前記設定手段で設定されたフォーカス枠の領域から、２点の基準座標
を選択する基準座標選択手段を更に有し、前記基準座標選択手段により選択された座標に
対応した前記補正前の画像データの座標と、前記枠数に応じて前記フォーカス枠の配置間
隔を決定し、
前記基準座標選択手段は、前記補正画像データにおいて前記設定手段により設定されたフォーカス枠の配置領域の中から、前記光学系による光学歪みが大きいフォーカス枠と前記光学歪みが小さいフォーカス枠の配置領域から前記２点の基準座標を選択することを特徴とする。

本発明によれば、撮像画像に歪みが生じた場合であっても精度良く焦点検出することが可能な撮像装置を提供することができる。

第１の実施形態に係る撮像装置の一例としてのデジタルカメラ１００の主要部の構成を示すブロック図である。 光学歪みの代表例である糸巻き型歪みとたる型歪みを示す図である。 たる型歪みの補正方法の一例を説明する図である。 第１の実施形態のデジタルカメラ１００の各部の動作タイミングを説明するためのタイミングチャートである。 第２の実施形態に係る撮像装置の一例としてのデジタルカメラ１１０の主要部の構成を示すブロック図である。 光学系の歪みが無視できる程度である場合の表示画像とフォーカス枠との例を示す図である。 光学系の歪みが無視できない程度である場合の撮像画像中の顔領域と、表示用画像の顔領域とのずれを説明する図である。 図６及び図７の状態における合焦評価値の違いを説明する図である。 第２の実施形態のデジタルカメラ１１０におけるフォーカス枠の設定動作を説明する図である。 光学系の歪みが無視できない程度である場合の表示画像と基準点との例を示す図である。 光学系の歪みが無視できない程度である場合の撮像画像中の基準点との関係を示す図である。 光学系の歪みが無視できない程度である場合の撮像画像中の基準点、及び合焦制御領域の配置の関係を示す図である。 光学系の歪みが無視できない程度である場合の表示画像と基準点、及び顔領域との例を示す図である。 光学系の歪みが無視できない程度である場合の撮像画像中の基準点、及び合焦制御領域の配置の関係を示す図である。 光学系の歪みが無視できない程度である場合の表示画像とユーザ指定のフォーカス枠の中心位置、及び基準点との例を示す図である。 光学系の歪みが無視できない程度である場合の撮像画像中の基準点、及び合焦制御領域の配置の関係を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

＜課題＞
撮像装置において、例えば、ディスプレイに表示するために逐次撮影している画像から被写体の顔領域を選択し、顔領域に対して合焦制御を行う場合を考える。この場合、撮像装置の光学系での歪みが殆どない場合には、撮像画像に歪み補正することなく表示画像として用いることができる。

従って、撮像画像から検出された顔領域を示す枠の位置と、表示画像中の顔領域との対応は適正である。なお、合焦制御を行う領域をユーザに報知するために表示される枠をフォーカス枠、実際の合焦制御に用いられる、フォーカス枠に対応した撮像画像中の領域を合焦制御領域（画像信号の領域）と呼ぶ。

図６は、ディスプレイに表示される画像とフォーカス枠の例を示す図である。光学系の歪みが無視できる程度である場合は表示画像と撮像画像はほぼ一致しており、フォーカス枠との関係も、同図となる。なお、図面において、図６の画像中に示されるグリッドは、全画面に表示される可能性のある多点のフォーカス枠の配置を示す線であり、合焦前に全ての枠が表示されているわけでは無い。

このような場合、フォーカス枠１１１と、表示画像中の顔領域は対応した位置に表示されることはもちろん、表示画像の元となっている撮像画像中の顔領域ともよく対応している。これは、撮像画像から表示画像を生成する際に歪み補正を行っていないことから当然の結果である。

フォーカス枠１１１と撮像画像の顔領域との対応が適正であるため、合焦制御領域内の合焦制御では、被写体の顔の位置における合焦するための評価値を取得することが可能である。図８（ａ）が、この状態を表しているものとする。

一方、図７に示すように、光学系の特性により、撮像画像に歪みが生じたとする。図７では、表示画像の範囲枠の変形からたる型歪みが生じていることが分かる。このように一見して判別できるような歪みを有する画像を表示することは好ましくないため、表示画像の生成時に歪み補正が行われる。そして、歪み補正された表示画像に基づいて顔検出処理や、ユーザによるファーカス枠の位置の指定が行われる。その結果、撮像画像に歪みが生じた場合も、図６と同等の表示がなされ、見かけ上は区別が付かない。しかし、見かけ上フォーカス枠１１１が示す領域と、合焦制御領域との関係は、撮像画像に歪みがない場合と異なったものとなる。

つまり、歪み補正後の表示画像における顔領域に対応したフォーカス枠１１１は、歪みを有する撮像画像における顔領域の位置から、歪みに応じた量だけずれることになる。

この結果、フォーカス枠１１１に対応した撮像画像中の領域を用いて合焦制御の評価値を求めると、顔とは異なる被写体に合焦するように制御してしまう場合がある。例えば、図７に示す例では、撮像画像中の、フォーカス枠１１１に対応する領域内に、背景の木のように高コントラストの被写体が含まれる。また、被写体の像高が高い場合には、図７のように実際に表示画像としては使用されない領域が含まれる場合があり、極端な例ではレンズに対応したイメージサークル外を合焦制御領域として設定してしまう可能性もある。同図においては、顔領域ではなく、背景の木に焦点が合うように制御してしまう。図８（ｂ）は、焦点制御領域中に含まれる顔以外の画像の影響によって顔とは異なる距離の評価値が高くなった合焦評価値の例を示す。

上記は顔領域や、ユーザから指定された位置という限定された領域に対して、歪みの影響を説明するためのものである。近年、オートフォーカスの技術では移動被写体にピントを合わせ続けるサーボＡＦや、画面のほぼ全域からユーザの撮影したい被写体を自動で検出しピントを合わせる技術が向上している。これに伴い、画面上で広範囲に、かつ多数のフォーカス枠を同時に処理していくことが求められている。これは、歪みの大きなレンズにおいても同様であり、広範囲に複数配置されるフォーカス枠においても、歪みによるずれを最小限に抑えることで、正確なオートフォーカスを実現することが可能となる。しかしながら、フォーカス枠の多枠化、広範囲化が進むと、演算量が膨大になり、処理が煩雑となる状況があった。

（第１の実施形態）
＜撮像装置の構成＞
本実施形態では、撮像装置の一例として、レンズとカメラ本体が一体となったコンパクトタイプのデジタルカメラにおいて、本発明を適用した場合を示す。

図１は、撮像装置の主要部の構成を示すブロック図である。

図１において、光学系２は１枚又は複数枚のレンズで構成され、被写体像を結像する。光学系２は、自動焦点制御に用いるフォーカスレンズも備えている。被写体像の光学歪みは、被写体からの光線が光学系２を通過する過程で、光学系２を構成するレンズの収差によって生じる。光学系２はレンズ情報として画角や絞り等の情報を他の構成要素からの要求に応じて供給可能である。

モータ４は光学系２のフォーカスレンズを移動させる。撮像素子１０は例えば数千万画素程度の画素数を有する光電変換素子であり、ＣＣＤセンサーやＣＭＯＳセンサーなどが一般に用いられる。光学系２が結像した被写体像を撮像素子１０により画素単位の電気信号（画像信号）に変換する。なお、撮像素子１０には通常カラーフィルターや光学ローパスフィルタ等の周辺部品が設けられるが、本発明とは直接関係ないため説明を省略する。

撮像素子１０から読み出されたアナログ画像信号は、Ａ／Ｄ変換器１２によりデジタル画像データに変換される。

フレームバッファ１４は、ＤＲＡＭやＤＲＡＭの読み書きを制御するメモリコントローラなどで構成される。フレームバッファ１４は、Ａ／Ｄ変換器１２からの画像データや、後述する現像処理部１６からの現像済み画像データを一時的に蓄えるために用いられる。

現像処理部１６は、Ａ／Ｄ変換器１２からのデジタル画像データやフレームバッファ１４で保持されたデジタル画像データに対して現像処理を行う。具体的には、例えばデジタルカメラで一般的に用いられるＪＰＥＧ形式の画像データファイルを生成する前段階のＹＵＶデータを生成する。処理結果は撮像画像データとしてフレームバッファ１４に記憶する。

歪み補正部１８は、光学系２を構成するレンズの収差によって被写体像及び撮像画像データに生じる光学歪みを補正し、歪みの無い被写体像を表す画像データ（補正画像データ）を出力する。本実施形態において、歪み補正部１８は、フレームバッファ１４に記憶された画像データに対し、読み出し方法を調整することにより画像データに反映された光学歪みを補正する。

顔検出部２０は、歪み補正部１８が出力する補正画像データに対して顔検出処理を行い、被写体中に含まれる人間の顔の領域（顔領域）を検出する。顔検出部２０における顔検出結果は、顔領域情報（例えば顔領域の位置情報）として表示制御部２２及び基準座標指定部２５へ供給され、その後逆歪み補正部２６へ供給される。表示制御部２２は、顔検出部２０からの顔領域情報に基づき、補正画像データにおける顔領域を示すフォーカス枠を決定し、フォーカス枠の表示データを生成する。フォーカス枠は、例えば顔領域に外接する方形状の枠である。そして、表示制御部２２は、表示部２３に対し、フレームバッファ１４からの画像データもしくは歪み補正部１８からの補正画像データと、フォーカス枠との合成画像データを表示させる。なお、本実施形態においては説明及び理解を容易にするため、常に補正画像データを表示するものとする。

なお、顔検出部２０が検出する顔領域は必ずしも顔全体を含む必要はなく、顔の一部領域であっても良い。なお、一部領域である場合には、少なくとも眼の領域を含むことが好ましい。

表示部２３は、例えばＬＣＤであり、デジタルカメラ１００の各種設定を行うためのユーザインタフェースを表示したり、撮影した画像を再生表示したり、ライブビュー表示用ディスプレイとして機能したりする。なお、表示部２３はテレビジョン受像機やディスプレイモニタの様な外部装置であっても良い。

基準座標指定部２５は、顔検出２０からの顔検出領域に基づき、顔検出位置周辺に配置する複数のフォーカス枠の配置間隔を決定するための、歪み補正前後の画像で対応づけを行なう座標を指定する。基準座標の指定方法の詳細は後述する。

逆歪み補正部２６は、基準座標指定部２５からの基準座標に基づき、補正画像データにおける顔領域周辺の複数のフォーカス枠の位置に対応する、歪み補正前の撮像画像データ中のフォーカス枠の位置を求める。求めたフォーカス位置の情報は、焦点検出領域指定部２８へ出力する。具体的には逆歪み補正部２６は、基準座標指定部２５が出力した基準座標に対し、歪み補正部１８と逆の処理を適用することで、歪み補正前の撮像画像データ中の対応座標を求める。

焦点検出領域指定部２８は、逆歪み補正部２６からの基準座標の情報、及び一度に演算するフォーカス枠の枠数に基づき、撮像画像データ中の、合焦制御に用いるフォーカス枠の配置を決定する。具体的には、焦点検出領域指定部２８は、現像処理部１６が出力するＹＵＶ形式の画像データに対し、逆歪み補正部２６からの顔領域周辺に配置するフォーカス枠の枠間隔及び領域を合焦制御領域として指定する。そして、焦点検出領域指定部２８は、指定した合焦制御領域に関する情報（例えば、合焦制御領域の位置、配置間隔、大きさを表す情報）をフォーカス用評価値取得部３０へ出力する。

フォーカス用評価値取得部３０は、焦点検出領域指定部２８から供給される合焦制御領域に関する情報に基づいて、現像処理部１６から合焦制御領域に対応する輝度（Ｙ）成分データを取得する。そして、この輝度成分データから光学系の合焦状態を示すフォーカス用評価値を算出する。フォーカス用評価値は、合焦制御部３２へ供給される。フォーカス用評価値取得部３０と合焦制御部３２をあわせて焦点検出部と称する。

合焦制御部３２は、フォーカス用評価値取得部３０からの評価値を受けて、フォーカスモータ駆動部３４を制御し、評価値が最大となる位置を探索する。フォーカスモータ駆動部３４は、合焦制御部３２からの指示によってモータ４を制御し、光学系２に含まれるフォーカスレンズを移動させる。

＜歪み補正部の動作＞
次に、本実施形態における歪み補正部１８の動作について説明する。

光学レンズには収差があるため、光学レンズを介して結像される被写体像には光学歪みが発生する。撮像素子は光学系２が結像する被写体像をそのまま画像信号に変換するため、画像信号も被写体像が有する光学歪みの影響を受ける。代表的な光学歪みには、図２（ａ）に示すような「糸まき型歪み」や図２（ｂ）に示すような「たる型歪み」がある。図２は、点線で示した範囲の被写体の像が、光学歪みにより実線の形状で結像されていることを示す。

被写体像の光学歪みは、例えば、被写体像をデジタルデータ化し、歪みに応じて画素データを再配置することで補正することが可能である。

例えば、図３のように、たる型歪みが生じた画像を補正する場合を考える。図３においては、Ａ～Ｄ点が歪みによりａ～ｄ点に結像した状態を示している。この場合、実線で示される歪んだ被写体像は、Ａ／Ｄ変換器１２によりデジタル画像データに変換され、フレームバッファ１４に一時記憶される。

歪み補正部１８は、補正後の画像を生成する際、予め記憶された変換前／変換後の座標関係（アドレス）を示すデータに基づいて、Ａ点の画素としてａ点の画素を読み出す。同様に、Ｂ点の画素としてｂ点の画素を、Ｃ点の画素としてｃ点の画素を、Ｄ点の画素としてｄ点の画素をそれぞれ読み出す。これにより、歪みを補正した画像を生成することができる。なお、歪みによりＡ－Ｂ間の画素数と実際のａ－ｂ間の画素数とが異なる場合、補間や間引きなどにより画素数を合わせることができる。ここで、前述の座標関係を示すデータは、像高／フォーカス位置／ズーム位置に応じたデータである。本実施形態では、撮像装置の一例として、レンズとカメラ本体が一体となったコンパクトタイプのデジタルカメラにおいて、本発明を適用した場合を説明してきた。しかしながら、本発明は、レンズ交換式一眼レフカメラであり、レンズユニットとカメラ本体とを有する構成であってもよい。レンズユニットはマウントＭを介して、カメラ本体に装着される。レンズ交換式一眼レフカメラの構成をとる場合には、レンズユニット側に前述の座標関係を示すデータを記憶させておき、カメラ本体に装着されたときに、データを通信し、カメラ本体に記憶させて、焦点検出の際に用いるようにする。

＜顔検出部の動作＞
次に、顔検出部２０の動作について説明する。

本実施形態において、人物の顔領域の検出には、公知の顔検出技術を利用できる。具体的には、非特許文献（Ｍ．Ａ．Ｔｕｒｋ ａｎｄ Ａ．Ｐ．Ｐｅｎｔｌａｎｄ，“Ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｅｉｇｅｎｆａｃｅｓ”）に記載されるような、主成分分析による固有顔（ｅｉｇｅｎｆａｃｅ）を用いた方法がある。また、特許文献（特開平９－２５１５３４号公報）に記載されるような、目、鼻、口等の特徴点を利用した方法を利用可能である。これらの方法は、入力画像と複数の標準パターンとのパターンマッチング結果に基づき、入力画像中に人物の顔が含まれているかどうかを判定するものである。

本実施形態では、顔検出部２０に予め人物の顔の標準パターンを保持させておく。そして、顔検出部２０は、フレームバッファ１４のＤＲＡＭに保存されている撮像画像データ又は、歪み補正部１８が出力する補正画像データと、標準パターンとの間でパターンマッチングを行い、人物の顔が含まれるか否かを判定する。人物の顔と判定される領域（顔領域）が検出された場合、顔検出部２０は個々の顔領域についての情報を表示制御部２２及び焦点検出領域指定部２８へ出力する。この、顔領域についての情報は、表示制御部２２及び焦点検出領域指定部２８が顔領域を特定可能な任意の情報であってよいが、例えば顔領域に外接する最小の方形を規定する座標値などであってよい。

＜逆歪み補正部の動作＞
次に、逆歪み補正部２６の動作について説明する。

逆歪み補正部２６は、歪み補正部１８で行う光学系２の歪み補正と逆の処理を行う。例えば、図３における点線が歪み補正後の画像とすると、実線で示される歪み補正前の画像への変換（逆変換）を行う処理に相当する。従って、Ａ～Ｄ点はそれぞれａ～ｄ点に変換される。

ただし、歪み補正部１８が原則として撮像画像データ全体に対して補正処理を行うのに対し、逆歪み補正部２６は、補正画像データのうち基準座標指定部２６からの座標情報に対応する点のみに対して補正処理を行えばよい点で異なる。従って、処理負荷は小さく、複数の顔領域があっても短時間で補正処理を行うことができる。

逆歪み補正部２６は、歪み補正部１８がどのような補正を行ったかの情報（座標関係を示す情報）を記憶しておき、その情報を用いて逆変換を行ってもよい。また、光学系２の歪み特性（座標ではなく、どのような歪みが発生するかを示す情報）を予め記憶しておき、撮影条件に対応する歪み特性を用いてもよい。

このようにして逆歪み補正部２６は、補正前の撮像画像データにおける、顔検出部２０からの顔領域情報の位置に対応した基準座標指定部２５の座標情報を求め、その位置や大きさを特定可能な顔領域情報を焦点検出領域指定部２８へ出力する。

＜合焦制御領域の配置間隔の設定＞
一般に、ユーザが意図した被写体に対して合焦制御が行われているかを確認する手段として、ライブビュー表示用ディスプレイに表示される合焦表示と被写体の位置関係から判断する。そのため、ライブビュー表示用ディスプレイ上に複数表示されるフォーカス枠の位置と合焦制御を行なう撮像画像上の合焦制御領域は常にずれが最小限に抑えられている。それとともに、表示のリアルタイム性を維持することで、ユーザの意図に沿った撮影結果を提供できる可能性が高くなる。

表示上のフォーカス枠の位置と撮像画像上の合焦制御領域のずれを解消するには、合焦制御にも歪み補正後の画像データを使用することが考えられるが、以下の点から望ましくない。１つは、歪み補正を行うと、合焦制御の評価値を求める上で重要な高周波数成分が失われ、合焦精度が低下することである。この点については、従来技術において、フォーカス枠に対して歪み補正と逆の処理を適用することで、表示画像のフォーカス枠の位置と撮像画像の合焦制御領域の位置のずれを低減させることを可能としている。

しかし、課題として説明したように、フォーカス枠の多枠化、広範囲化を行なう上では、演算量が膨大になり、処理が煩雑となることから、処理遅延につながり、表示のリアルタイム性を維持するうえで、障害となり得る。

そのため、本発明では、連続的、かつ格子状に配置されるフォーカス枠を対象に、合焦制御領域の配置間隔を比較的軽い処理のもと適切に設定する。これにより、フォーカス枠と合焦制御領域のずれの低減と表示のリアルタイム性を両立させ、ユーザの意図に沿った合焦制御、及び表示を実現する。具体的には、表示画像上でユーザにより設定、もしくはカメラが自動的に判断したフォーカス枠の位置とフォーカス枠数、及び各フォーカス枠の位置における歪曲量を元に、合焦制御領域の配置間隔を適切に設定することで領域のずれを低減することを考える。表示画像上で設定される複数のフォーカス枠の配置領域の中から、合焦制御領域の配置間隔を決めるための基準点を２点選択する。基準点の選択方法としては、表示画面上の配置領域で歪曲量の最も大きい点、及び最も小さい点など特徴的な２点を選択する。２点の基準座標の選択方法は、これに限らず主被写体の中心座標が含まれる枠や、配置領域の中心枠、歪曲によるずれ方向が正負それぞれ逆方向に最大となる点など、フォーカス枠の配置領域の中での特徴的な点であれば適用可能である。次に、２点の基準点における歪曲量を元に、歪み補正処理と逆の処理を行うことで、歪み補正前の画像データにおける座標を求める。歪み補正処理と逆の処理については、前述したとおりである。図１０は、表示画像の一例であり、全画面に複数のフォーカス枠が設定された状態を示した図である。同図において、フォーカス枠１００１は歪曲量が最大となる点、１００２は歪曲量が最小となる点として、基準点に設定したフォーカス枠を示している。これに対して、図１１は、歪み補正前の撮像画像を示しており、合焦制御領域１１０１、１１０２は、図１０の基準点１００１、１００２に対する歪み補正処理と逆の処理を施すことで求められる撮像画像上の点を示した図である。図１２は、図１１における撮像画像上に変換された基準点と、ユーザによる設定、もしくはカメラが自動的に設定した枠数を元に、合焦制御領域を等間隔に配置した図である。同図では２点の基準点で、表示画像と撮像画像における被写体像に対するずれが無いものとしており、２点の座標と２点間にある枠数の関係から等間隔となるように合焦制御領域の配置間隔を決定している。そのため、基準となる２点と像高が異なる合焦制御領域においては、フォーカス枠と合焦制御領域のずれが発生してしまう。しかし、画面全体での平均的なずれ量が低減するとともに、表示画像としては使用されない領域に合焦制御領域を設定しないよう、制御することが可能となる。図１０～図１２では全画面に対して合焦制御領域が配置されている場合を記載してきたが、顔検出結果を使用して複数のフォーカス枠を配置する場合においても、同様の手法により対応が可能である。

図１３は顔検出部２０において、顔が検出された際の合焦制御領域の配置方法について記載する。前述したような主被写体が決定していない状態で、全面で焦点状態を検出する場合と異なり、顔等の主被写体が決定している場合には、基準点の設定方法を変更する。このような場合には、主被写体の中心と撮像画像に対する合焦制御領域の中心が合っていることが望ましく、表示画像に対するフォーカス枠、及び撮像画像に対する合焦制御領域がともに検出された顔の位置に合うように基準点として設定する。図１３は、表示画像上で検出された顔位置を中心として、周囲含めた５×５枠のフォーカス枠を設定する図を示している。同図において、１３０１、及び１３０２は基準点を示しており、１３０１はフォーカス枠の配置領域内で歪曲量が最も大きい点、１３０２は検出された顔位置を含むフォーカス枠である。これに対して、図１４は、歪み補正前の撮像画像を示しており、合焦制御領域１４０１、１４０２は、図１３の基準点１３０１、１３０２に対する歪み補正処理と逆の処理を施すことで求められる撮像画像上の点を示した図である。図１４は、図１３における撮像画面上に変換された基準点と顔検出時に予め定めている枠数を元に、合焦制御領域を等間隔に配置した図である。図１４で配置された合焦制御領域で配置された。

ここで、歪み補正後の画像データに対する顔検出処理は、フォーカス枠を表示するために行われる処理であるため、顔検出処理の負荷は増加しない。また、逆歪み補正は基準座標のみに対して行えばよいため、複数枠の配置を決定する上でも処理負荷は小さく、高速な処理が可能であり、顔領域の動きが大きくても十分な追従性をもって合焦制御を行うことができる。

上述してきた手法により、簡易的に合焦制御領域の配置間隔を決定することで、フォーカス枠と合焦制御領域のずれの低減と表示のリアルタイム性を両立させ、ユーザの意図に沿った合焦制御、及び表示を実現する。

＜動作タイミング＞
図４は、デジタルカメラ１００の各部の動作タイミングを説明するためのタイミングチャートである。

図４（ａ）は、Ａ／Ｄ変換器１２が出力するデジタル画像データであり、表示部２３をライブビュー表示用ディスプレイとして機能させるため、３０ｆｐｓ（約３３ｍＳｅｃ間隔）のフレームレートを有する。図４（ｂ）は、Ａ／Ｄ変換器１２の出力するデジタル画像データを現像処理部１６で現像した結果（撮像画像データ）が出力されるタイミングを示す。撮像画像データは、現像処理に要する時間だけデジタル画像データよりも遅れて出力されている。上述のように、撮像画像データはフレームバッファ１４へ一時記憶される。

図４（ｃ）は、撮像画像データをフレームバッファ１４に蓄えてから、歪み補正部１８による歪み補正処理が行われるタイミングを示す。図４（ｃ）に示すように、撮像画像データは、フレームバッファ１４にある程度（ここでは画像の約半分程度）蓄積された時点から歪み補正部１８が読み出しを開始し、歪み補正データを生成する。

図４（ｄ）は、歪み補正部１８の出力、すなわち顔検出部２０の入力タイミングを示す。歪み補正処理自体は処理負荷が大きく、補正完了までの時間はかかるが、入力から出力開始までの時間差はほとんど無い。

図４（ｅ）は、顔検出部２０の出力タイミングを、図４（ｆ）は基準座標選択部２５の出力タイミングを、図４（ｇ）は、逆歪み補正部２６の出力タイミングをそれぞれ示す。

図４に示すように、１フレーム目の画像データに対する逆歪み補正部２６の出力が完了するのは、３フレーム目の画像データが出力され始める程度のタイミングである。フォーカス用評価値取得部３０では、焦点検出領域指定部２８から供給される合焦制御領域の元となった逆歪み補正部２６の出力タイミングにあった画像データを用いて評価値取得を行う。従って、図４の例では、フレームバッファ１４は少なくも３フレーム分の画像データを一時記憶する容量を有する必要がある。

このように、合焦制御用の評価値を取得開始する前に数フレームの遅延が生じるが、各フレームの画像に対して合焦制御領域を指定することが可能であり、動きの大きい被写体であっても十分追従して合焦制御することが可能である。

以上説明したように、本実施形態によれば、合焦制御に用いるフォーカス枠の配置を、歪み補正後の画像データから検出、もしくは指定された領域の中から、基準となる２点の座標に対して逆歪み補正して、フォーカス枠の枠数を考慮して決定する。これにより、被写体像に光学歪みがある場合であっても、簡易的に合焦制御領域の配置間隔を決定することで、フォーカス枠と合焦制御領域のずれの低減と表示のリアルタイム性を両立させ、ユーザの意図に沿った合焦制御、及び表示を実現する。

（第２の実施形態）
＜撮像装置の構成＞
図５は、本発明の第２の実施形態に係る撮像装置の一例としてのデジタルカメラ１１０の機能構成例を示すブロック図である。

図５において、図１と同じ構成には同じ参照数字を付してその説明を省略する。本実施形態のデジタルカメラ１１０は、図１の顔検出部２０の変わりに合焦領域指定部２１が、また新たに操作部３５が設けられている。

第１の実施形態におけるデジタルカメラ１００は、フォーカス枠を顔領域に基づいてカメラ側が自動で設定するものであった。これに対し、本実施形態のデジタルカメラ１１０は、フォーカス枠をユーザが指定可能である点で異なる。

上述のように、光学歪みにより、表示されるフォーカス枠が示す領域と合焦制御に用いられる画像データ中の領域とのずれが生じる問題は、顔領域に基づいてフォーカス枠を決定する場合に限らず存在する。そして、本発明は、ユーザがフォーカス枠を指定するデジタルカメラに対しても適用可能である。

本実施形態のデジタルカメラ１１０において、操作部３５はユーザがデジタルカメラ１１０に指示を入力するために設けられ、スイッチ、ボタン、ダイヤル、タッチパネル、ジョイスティック等の入力デバイスを備える。

＜フォーカス枠の設定動作＞
図９は、本実施形態のデジタルカメラ１１０におけるフォーカス枠の設定動作を説明する図である。

方向キー７２及び設定ボタン７３は、操作部３５に含まれる。ユーザは、表示画面中のフォーカス枠７１を方向キー７２を操作することで所望の位置に移動させ、設定ボタン７３を押下することで、フォーカス枠７１の位置を指定可能である。なお、ここではフォーカス枠７１の表示上の枠数としては１点の場合を例として説明したが、フォーカス枠７１のカメラ内部での演算枠数や各枠の大きさについてもある程度の範囲内で設定可能としてもよい。

＜合焦制御領域の配置間隔の設定＞
操作部３５の操作は合焦領域指定部２１へ入力され、設定ボタン７３が押下された時点におけるフォーカス枠の位置及び設定されたフォーカス枠の枠数に関する情報が基準座標指定部２５へ入力される。その後、２つの基準座標は逆歪み補正部２６へ入力される。

図１５、１６はユーザが指示したフォーカス枠の中心位置、及び５×５のフォーカス枠数で表示される配置領域を示す図である。ここで、１５０１、１５０２は歪曲量が最大の点と、逆方向に歪んでいる歪曲量が最大の点を基準点と設定し、図１６のように撮像画像上に合焦制御領域を配置している。

逆歪み補正部２６は、第１の実施形態と同様にして、歪み補正前の撮像画像データにおける、フォーカス枠７１の対応領域を求め、対応領域の情報を焦点検出領域指定部２８へ与える。その後も、第１の実施形態と同様に処理が行われ、合焦制御領域に対して合焦制御が行われる。

このように、本実施形態によれば、光学歪みの有無にかかわらず、操作部を通じてユーザが補正画像データに対して指定したフォーカス枠の位置、枠数に従って、簡易的に合焦制御領域の配置間隔を決定する。これにより、フォーカス枠と合焦制御領域のずれの低減と表示のリアルタイム性を両立させ、ユーザの意図に沿った合焦制御、及び表示を実現することが可能となる。

（その他の実施形態）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、上述した各実施形態においては、本発明をレンズが着脱可能なデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明は、撮像素子が付随したあらゆるデバイスに適用してもよい。レンズ交換できないタイプのデジタルカメラや、ビデオカメラに対しても適用可能である。また、携帯電話端末や携帯型の画像ビューワ、カメラを備えるテレビ、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなど、画像を撮像可能な装置であれば、本発明は適用可能である。

また、上述の実施形態では、被写体のコントラスト情報に基づいて焦点検出を行うコントラストＡＦを例に説明した。しかしながら、ＡＦ方式はこれに限らない。例えば、撮像光学系の異なる瞳領域を通過した光束を光電変換して、一対の焦点検出用信号を出力することが可能な複数の画素を有する撮像素子を用いた撮像面位相差ＡＦにも適用できる。また、１つのマイクロレンズに対して複数の光電変換素子を有し、当該マイクロレンズが二次元状に配列されている撮像素子を用いた撮像面位相差ＡＦにも適用できる。その他にも、ＤＦＤ（Ｄｅｐｔｈ－Ｆｒｏｍ－Ｄｅｆｏｃｕｓ）形式の焦点検出に適用してもよい。

なお、光学歪みの大きい場所で顔領域が検出された場合（第１の実施形態）や、フォーカス枠が指定された場合（第２の実施形態）、最終的に逆歪み補正部２６で逆補正して求まる撮像画像データにおける対応領域は大きく歪むことになる。そして、歪みの大きな領域での合焦制御の精度は、歪みの少ない領域での合焦制御の精度よりも低くなる。そのため、例えば複数の顔領域が検出されたり、複数のフォーカス枠が指定されたりして複数の合焦制御領域に対して合焦制御を行う場合、歪みの大きな合焦制御領域は優先度を低下させたり、場合によっては使用しないようにすることも可能である。逆にいうと、歪みが小さい合焦制御領域ほど優先度を上げて使用するようにする。

光学歪みは画角が大きいほど（広角であるほど）大きく、また、像の周辺に近いほど大きくなることが知られている。従って、例えば光学系２の画角が所定の画角以上であり、かつ顔領域の検出位置（或いは指定されたフォーカス枠の位置）が予め定めた範囲よりも周縁であれば、その顔領域は歪みが大きいと判断することができる。

具体的には、例えば逆歪み補正部２６が光学系２の画角をレンズ情報として取得する。そして、判定手段としての逆歪み補正部２６は、画角の大きさと、顔検出部２０からの顔領域情報（第１の実施形態）や合焦領域指定部２１からのフォーカス枠の位置情報（第２の実施形態）により、これら領域が光学歪みの大きな領域にあるか否かを判定する。そして、歪みが大きい領域にあると判定される場合には、逆補正処理自体を行わないことも可能である。あるいは、得られた領域情報に対し、歪みが大きいことを示すフラグ等を付与して焦点検出領域指定部２８へ出力する。焦点検出領域指定部２８は、歪みが大きい領域に対しては合焦制御領域として指定しない、または、歪みが小さい領域よりも低い優先度又は重み付けを付与する。フォーカス用評価値取得部３０は、合焦制御領域の各々について評価値を求め、重み付けをして合焦制御部３２へ出力する。

歪みの少ない合焦制御領域に重み付けして合焦制御を行うことで、合焦精度を向上させることができる。また、歪みの大きな合焦制御領域を用いない場合には、合焦制御の処理負荷を軽減することもできる。

１００ カメラ
２ 撮影レンズ
４ モータ
３４ レンズコントローラ
１０ 撮像素子
１２ Ａ／Ｄ変換部
１４ フレームバッファ
１６ 現像処理部
１８ 歪み補正部
２０ 顔検出部
２２ 表示制御部
２３ 表示部
２５ 基準座標指定部
２６ 逆歪み補正部
２８ 焦点検出領域指定部
３０ フォーカス用評価値取得部
３２ 合焦制御部

Claims (8)

1. 光学系により結像された被写体像を画像信号に変換する撮像手段と、
   前記画像信号から得られる補正前の画像データに反映された前記光学系による光学歪み
   を補正し、補正画像データを出力する歪み補正手段と、
   前記補正画像データに基づいて、前記光学系の合焦状態を検出するためのフォーカス枠
   の領域を設定する設定手段と、
   前記設定手段の設定に応じて、前記補正前の画像データに対するフォーカス枠の枠数、
   及び配置を指定する指定手段と、
   前記指定手段により指定された領域の画像信号に基づいて前記光学系の合焦状態を検出
   する焦点検出手段とを有し、
   前記指定手段は、前記設定手段で設定されたフォーカス枠の領域から、２点の基準座標
   を選択する基準座標選択手段を更に有し、前記基準座標選択手段により選択された座標に
   対応した前記補正前の画像データの座標と、前記枠数に応じて前記フォーカス枠の配置間
   隔を決定し、
   前記基準座標選択手段は、前記補正画像データにおいて前記設定手段により設定されたフォーカス枠の配置領域の中から、前記光学系による光学歪みが大きいフォーカス枠と前記光学歪みが小さいフォーカス枠の配置領域から前記２点の基準座標を選択することを特徴とする撮像装置。
2. 光学系により結像された被写体像を画像信号に変換する撮像手段と、
   前記画像信号から得られる補正前の画像データに反映された前記光学系による光学歪み
   を補正し、補正画像データを出力する歪み補正手段と、
   前記補正画像データに基づいて、前記光学系の合焦状態を検出するためのフォーカス枠
   の領域を設定する設定手段と、
   前記設定手段の設定に応じて、前記補正前の画像データに対するフォーカス枠の枠数、
   及び配置を指定する指定手段と、
   前記指定手段により指定された領域の画像信号に基づいて前記光学系の合焦状態を検出
   する焦点検出手段とを有し、
   前記指定手段は、前記設定手段で設定されたフォーカス枠の領域から、２点の基準座標
   を選択する基準座標選択手段を更に有し、前記基準座標選択手段により選択された座標に
   対応した前記補正前の画像データの座標と、前記枠数に応じて前記フォーカス枠の配置間
   隔を決定し、
   前記基準座標選択手段は、前記補正画像データにおいて前記設定手段により設定されたフォーカス枠の配置領域の中から、前記光学系による光学歪みが大きいフォーカス枠と前記設定されたフォーカス枠の領域の中心位置を前記２点の基準座標として選択することを特徴とする撮像装置。
3. 光学系により結像された被写体像を画像信号に変換する撮像手段と、
   前記画像信号から得られる補正前の画像データに反映された前記光学系による光学歪み
   を補正し、補正画像データを出力する歪み補正手段と、
   前記補正画像データに基づいて、前記光学系の合焦状態を検出するためのフォーカス枠
   の領域を設定する設定手段と、
   前記設定手段の設定に応じて、前記補正前の画像データに対するフォーカス枠の枠数、
   及び配置を指定する指定手段と、
   前記指定手段により指定された領域の画像信号に基づいて前記光学系の合焦状態を検出
   する焦点検出手段とを有し、
   前記指定手段は、前記設定手段で設定されたフォーカス枠の領域から、２点の基準座標
   を選択する基準座標選択手段を更に有し、前記基準座標選択手段により選択された座標に
   対応した前記補正前の画像データの座標と、前記枠数に応じて前記フォーカス枠の配置間
   隔を決定し、
   前記焦点検出手段は、複数の前記フォーカス枠が設定された場合、当該複数のフォーカ
   ス枠のうち前記光学系による光学歪みが小さい位置に設定されたフォーカス枠に対応する
   領域の画像信号を優先して用いて前記光学系の合焦状態を検出することを特徴とする撮像装置。
4. 前記設定手段は、顔領域情報に基づいて前記フォーカス枠を設定することを特徴とする
   請求項１乃至３の何れか一項に記載の撮像装置。
5. ユーザが前記撮像装置に指示を入力するための操作手段をさらに有し、
   前記設定手段は、前記操作手段に入力された指示に基づいて前記フォーカス枠の領域を設定することを特徴とする請求項１乃至４の何れか一項に記載の撮像装置。
6. 光学系により結像された被写体像を画像信号に変換する撮像手段を有する撮像装置の制
   御方法であって、
   前記画像信号から得られる補正前の画像データに反映された前記光学系による光学歪み
   を補正し、補正画像データを出力する歪み補正工程と、
   前記補正画像データに基づいて、前記光学系の合焦状態を検出するためのフォーカス枠
   の領域を設定する設定工程と、
   前記設定工程の設定に応じて、前記補正前の画像データに対するフォーカス枠の枠数、
   及び配置を指定する指定工程と、
   前記指定工程により指定された領域の画像信号に基づいて前記光学系の合焦状態を検出
   する焦点検出工程とを有し、
   前記指定工程は、前記設定工程で設定されたフォーカス枠の領域から、２点の基準座標
   を選択する基準座標選択工程を更に有し、前記基準座標選択工程により選択された座標に
   対応した前記補正前の画像データの座標と、前記枠数に応じて前記フォーカス枠の配置間
   隔を決定し、
   前記基準座標選択工程は、前記補正画像データにおいて前記設定工程により設定されたフォーカス枠の配置領域の中から、前記光学系による光学歪みが大きいフォーカス枠と前記光学歪みが小さいフォーカス枠の配置領域から前記２点の基準座標を選択することを特徴とする撮像装置の制御方法。
7. 光学系により結像された被写体像を画像信号に変換する撮像手段を有する撮像装置の制
   御方法であって、
   前記画像信号から得られる補正前の画像データに反映された前記光学系による光学歪み
   を補正し、補正画像データを出力する歪み補正工程と、
   前記補正画像データに基づいて、前記光学系の合焦状態を検出するためのフォーカス枠
   の領域を設定する設定工程と、
   前記設定工程の設定に応じて、前記補正前の画像データに対するフォーカス枠の枠数、
   及び配置を指定する指定工程と、
   前記指定工程により指定された領域の画像信号に基づいて前記光学系の合焦状態を検出
   する焦点検出工程とを有し、
   前記指定工程は、前記設定工程で設定されたフォーカス枠の領域から、２点の基準座標
   を選択する基準座標選択工程を更に有し、前記基準座標選択工程により選択された座標に
   対応した前記補正前の画像データの座標と、前記枠数に応じて前記フォーカス枠の配置間
   隔を決定し、
   前記基準座標選択工程は、前記補正画像データにおいて前記設定工程により設定されたフォーカス枠の配置領域の中から、前記光学系による光学歪みが大きいフォーカス枠と前記設定されたフォーカス枠の領域の中心位置を前記２点の基準座標として選択することを特徴とする撮像装置の制御方法。
8. 光学系により結像された被写体像を画像信号に変換する撮像手段を有する撮像装置の制
   御方法であって、
   前記画像信号から得られる補正前の画像データに反映された前記光学系による光学歪み
   を補正し、補正画像データを出力する歪み補正工程と、
   前記補正画像データに基づいて、前記光学系の合焦状態を検出するためのフォーカス枠
   の領域を設定する設定工程と、
   前記設定工程の設定に応じて、前記補正前の画像データに対するフォーカス枠の枠数、
   及び配置を指定する指定工程と、
   前記指定工程により指定された領域の画像信号に基づいて前記光学系の合焦状態を検出
   する焦点検出工程とを有し、
   前記指定工程は、前記設定工程で設定されたフォーカス枠の領域から、２点の基準座標
   を選択する基準座標選択工程を更に有し、前記基準座標選択工程により選択された座標に
   対応した前記補正前の画像データの座標と、前記枠数に応じて前記フォーカス枠の配置間
   隔を決定し、
   前記焦点検出工程は、複数の前記フォーカス枠が設定された場合、当該複数のフォーカス枠のうち前記光学系による光学歪みが小さい位置に設定されたフォーカス枠に対応する領域の画像信号を優先して用いて前記光学系の合焦状態を検出することを特徴とする撮像装置の制御方法。

Images