JP7686814B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は焦点調節機構を持つ撮像装置に関するものである。

従来から、デジタルカメラなどの撮像装置は利用者の利便性のために自動焦点調節（以下ＡＦ）機能を備えている。また、近年は画像解析により顔を検知する機能を備えている機種が一般的である。そして動く物体や人をＡＦ追従するために、ＡＦさせるフォーカス位置を過去の履歴から予測する動体予測制御を備える機種もある。

このような機種で、たとえば遠くから近づいてくる人を撮影する場合、最初は被写体が小さく顔検知が働かないため、胴体領域にＡＦしたとする。徐々に近づいてくるため先ほどの動体予測も働かせながらＡＦを行う。その後、さらに近づいてくると、画像の中での人の面積が増え、顔検知が働く。一般的に顔にピントがあった写真が求められるため、ＡＦ対象とする領域を、胴体から顔に乗り移らせる。

特開２００７－１７８４８０号公報

しかしながら、ＡＦ対象を胴体から顔に乗り移らせた場合、胴体に比べて顔は小さい被写体であるため、ＡＦに位相差検知方式を用いると、顔と背景との遠近競合が起き、焦点検出結果が顔より後ろ寄りとなる場合があった。この場合、せっかく胴体でピントが合っていたのに、顔に乗り移ったとたんに後ピンとなり、顔にピントが合わないことになる。

さらに動体予測を行っていた場合には、実際には人が一定の速度で近づいているにもかかわらず、焦点検出結果としては急に反転し、次の動体予測結果はさらに後ピンになる。このように過応答の動作になって、さらにひどいピンボケとなる場合があった。

特許文献１ではその対策として、信頼性で乗り移り判断を行う方法を挙げている。しかし信頼性で遠近競合を高い精度で検知するのは難しい。利用者の要求としても顔にＡＦしたいところである。

本発明の技術的特徴として、撮影光学系を通過した光束から撮像信号を取得する撮像素子と、前記撮像素子からの出力により得られた画像から被写体を検知する第１の検知手段と、前記撮像素子からの出力により得られた画像から前記被写体の一部分を検知する第２の検知手段と、前記被写体及び前記被写体の一部分の焦点状態を検出する焦点検出手段と、前記焦点検出手段により検出された被写体及び被写体の一部分の焦点検出結果の履歴を保存する履歴手段と、を有する撮像装置であって、前記焦点検出手段により、前記第１の検知手段により検知された被写体の焦点状態を検出している際に、前記履歴手段に保存された前記第１の検知手段により検知された被写体の焦点検出結果の分散が一定以上である場合、前記第１の検知手段により検知された被写体にピント合わせを行い、前記履歴手段に保存された前記第１の検知手段により検知された被写体の焦点検出結果の分散が一定以上でない場合、前記第２の検知手段により検知された被写体の一部分にピント合わせを行う。

本発明に依れば、安定したピント追従をすることができる。

レンズ交換式カメラシステムのブロック図である。 撮像面位相差ＡＦにおける画素配列図である。 焦点調節動作のフローチャート図である。 焦点検出処理のフローチャート図である。 焦点検出処理における焦点検出領域の説明図である。 焦点検出処理における像信号の説明図である。 焦点検出処理におけるシフト量と相関量の関係の説明図である。 焦点検出処理におけるシフト量と相関変化量の関係の説明図である。 焦点調節動作における予測処理のフローチャートである。 焦点調節動作における選択処理のフローチャートである。 焦点調節動作における選択処理の実例を示す図である。 焦点調節動作における選択処理の実例を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

（第１の実施形態）（顔の大きさで胴から顔へ乗り移り判断し、履歴をリセット）
＜撮像装置の構成＞
本実施形態では、レンズユニットと撮像装置が着脱可能となったレンズ交換式の撮像装置において、本発明を適用した場合の例を示す。

図１は、撮像装置の主要部の構成を示すブロック図である。

図１に示すように、交換可能なレンズユニット１０に着脱可能な撮像装置２０は、レンズユニット１０を含めたカメラシステム全体の動作を統括するカメラ制御部２１２を中心に構成される。撮像装置の制御は、カメラ制御部２１２の内部のＲＯＭ、ＲＡＭ（不図示）に格納された制御プログラム及び制御に必要な各種データに基づき実行される。

また、レンズユニット１０は、レンズ全体の動作を統括制御するレンズ制御部１０６を有し、レンズ制御部１０６と、カメラ制御部２１２とは、レンズマウントに設けられた端子を通じて相互に通信可能である。

まず、レンズユニット１０の構成について説明する。固定レンズ１０１、絞り１０２、フォーカスレンズ１０３は撮影光学系を構成する。絞り１０２は、絞り駆動部１０４によって駆動され、後述する撮像素子２０１への入射光量を制御する。フォーカスレンズ１０３はフォーカスレンズ駆動部１０５によって駆動され、フォーカスレンズ１０３の位置に応じて撮像光学系の合焦距離が変化する。絞り駆動部１０４、フォーカスレンズ駆動部１０５はレンズ制御部１０６によって制御され、絞り１０２の開口量や、フォーカスレンズ１０３の位置を決定する。

レンズ操作部１０７は、ＡＦ／ＭＦモードの切り替え、ＭＦによるフォーカスレンズの位置調整、フォーカスレンズの動作範囲設定、手ブレ補正モードの設定など、ユーザがレンズユニット１０の動作に関する設定を行うための入力デバイス群である。レンズ操作部１０７が操作された場合、レンズ制御部１０６が操作に応じた制御を行う。

レンズ制御部１０６は、後述するカメラ制御部２１２から受信した制御命令や制御情報に応じて絞り駆動部１０４やフォーカスレンズ駆動部１０５を制御し、また、レンズ制御情報をカメラ制御部２１２に送信する。

次に、撮像装置２０の構成について説明する。撮像装置２０はレンズユニット１０の撮影光学系を通過した光束から撮像信号を取得できるように構成されている。

撮像素子２０１はＣＣＤやＣＭＯＳセンサにより構成される。レンズユニット１０の撮影光学系から入射した光束は撮像素子２０１の受光面上に結像し、撮像素子２０１に配列された画素に設けられたフォトダイオードにより、入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラ制御部２１２の指令に従ってタイミングジェネレータ２１４が出力する駆動パルスより、信号電荷に応じた電圧信号として撮像素子２０１から順次読み出される。

本実施形態で用いられる撮像素子２０１の各画素は、２つ（一対）のフォトダイオードＡ、Ｂとこれら一対のフォトダイオードＡ、Ｂに対して設けられた１つのマイクロレンズとより構成されている。各画素は、入射する光をマイクロレンズで分割して一対のフォトダイオードＡ、Ｂ上に一対の光学像を形成し、該一対のフォトダイオードＡ、Ｂから後述するＡＦ用信号に用いられる一対の画素信号（Ａ信号およびＢ信号）を出力する。また、一対のフォトダイオードＡ、Ｂの出力を加算することで、撮像用信号（Ａ＋Ｂ信号）を得ることができる。

複数の画素から出力された複数のＡ信号はＡ信号同士、複数のＢ信号はＢ信号同士でそれぞれ合成する。これにより、撮像面位相差検出方式によるＡＦ（以下、撮像面位相差ＡＦという）に用いられるＡＦ用信号（言い換えれば、焦点検出用信号）としての一対の像信号が得られる。後述するＡＦ信号処理部２０４は、該一対の像信号に対する相関演算を行って、これら一対の像信号のずれ量である位相差（以下、像ずれ量という）を算出し、さらに該像ずれ量から撮影光学系のデフォーカス量（およびデフォーカス方向）を算出する。このデフォーカス量とデフォーカス方向は焦点検出結果であり、焦点状態を示す。

図２（ａ）には撮像面位相差ＡＦに対応していない画素構成を、図２（ｂ）は撮像面位相差ＡＦに対応した画素構成を示している。いずれの図においても、ベイヤー配列が用いられており、Ｒは赤のカラーフィルタを、Ｂは青のカラーフィルタを、Ｇｒ、Ｇｂは緑のカラーフィルタを示している。撮像面位相差ＡＦに対応する図２（ｂ）に示す画素構成では、図２（ａ）に示した撮像面位相差ＡＦに非対応の画素構成における１画素（実線で囲んで示す）に相当する画素内に、図の水平方向に２分割された２つのフォトダイオードＡ、Ｂが設けられている。なお、図２（ｂ）に示した画素の分割方法は例に過ぎず、図の垂直方向に分割したり、水平および垂直方向に２分割ずつ（計４分割）したりしてもよい。また、同じ撮像素子内において互いに異なる分割方法で分割された複数種類の画素が含まれてもよい。

ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は、撮像素子２０１から読み出されたＡＦ用信号および撮像用信号に対して、リセットノイズを除去するための相関二重サンプリング、ゲイン調節およびＡＤ変換を行う。該コンバータ２０２は、これらの処理を行った撮像用信号およびＡＦ用信号をそれぞれ、画像入力コントローラ２０３およびＡＦ信号処理部２０４に出力する。

画像入力コントローラ２０３は、コンバータ２０２から出力された撮像用信号をバス２１を介してＳＤＲＡＭ２０９に画像信号として格納する。ＳＤＲＡＭ２０９に格納された画像信号は、バス２１を介して表示制御部２０５によって読み出され、表示部２０６に表示される。また、画像信号の記録を行う録画モードでは、ＳＤＲＡＭ２０９に格納された画像信号は記録媒体制御部２０７によって半導体メモリ等の記録媒体２０８に記録される。

ＲＯＭ２１０には、カメラ制御部２１２が実行する制御プログラムや処理プログラムおよびこれらの実行に必要な各種データ等が格納されている。フラッシュＲＯＭ２１１には、ユーザにより設定されたカメラ２０の動作に関する各種設定情報等が格納されている。

カメラ制御部２１２内の被写体検出部２１２１は、画像入力コントローラ２０３から入力された撮像用信号を基に特定の被写体を検出して、撮像用信号内での特定の被写体の位置を決定する。また、画像入力コントローラ２０３から連続的に撮像信号を入力し、検出した特定の被写体が移動した場合には移動先の位置を判断し、特定の被写体の位置を追従する。特定の被写体とは、例えば人被写体や、動物、自動車などの乗り物、カメラ操作部２１３でユーザによって撮像画面内で指定された位置に存在する被写体などが一例である。更に器官検出部２１２２は、被写体検出部２１２１で検出された被写体において、人の顔や、乗り物に乗っている人の顔などを検出して、撮像用信号内での特定の位置を決定する。後述するように、検出した特定の被写体の位置や大きさに関する情報は、主にＡＦを行う領域の設定の為に用いる。

焦点検出装置としてのＡＦ信号処理部２０４は、コンバータ２０２から出力されたＡＦ用信号である一対の像信号に対して相関演算を行い、これら一対の像信号の像ずれ量や信頼性を算出する。信頼性は、後述する二像一致度と相関変化量の急峻度を用いて算出される。また、ＡＦ信号処理部２０４は、撮像画面内で焦点検出およびＡＦを行う領域である焦点検出領域の位置および大きさの設定を行う。ＡＦ信号処理部２０４は、焦点検出領域で算出した像ずれ量（検出量）および信頼性の情報をカメラ制御部２１２に出力する。なお、ＡＦ信号処理部２０４が行う処理の詳細については後述する。

カメラ制御部２１２内のＡＦ制御部２１２３は、換算したデフォーカス量に基づいて焦点位置を移動させるようにレンズ制御部１０６に指示を行う。さらにＡＦ制御部２１２３は、将来の像面位置を予測部２１２４を用いて予測し、フォーカスレンズ１０３が予測した像面位置に来るために必要なレンズ駆動量を算出し、レンズ制御部１０６に指示を行う。

記憶部２１２５は、撮影時刻とでフォーカス量から算出した被写体像面位置をメモリ回路２１５に記憶させる。

選択部２１２６は、予測部２１２４によって算出された、被写体検出部２１２１によって検出された人領域のデフォーカス量に基づく像面速度と、器官検出部２１２２によって検出された顔領域のデフォーカス量に基づく像面速度との比較をする。そして、被写体検出部２１２１と器官検出部２１２２のどちらの像面予測位置に向けてフォーカスレンズを駆動するかを選択する。

カメラ制御部２１２は、撮像装置２０内の各部と情報をやり取りしながらこれらを制御する。また、カメラ制御部２１２は、ユーザ操作に基づくカメラ操作部２１３からの入力に応じて、電源のＯＮ／ＯＦＦ、各種設定の変更、撮像処理、ＡＦ処理、記録画像の再生処理等、ユーザ操作に対応する様々な処理を実行する。さらに、カメラ制御部２１２は、レンズユニット１０（レンズ制御部１０６）に対する制御命令や撮像装置２０の情報をレンズ制御部１０６に送信したり、レンズユニット１０の情報をレンズ制御部１０６から取得したりする。カメラ制御部２１２は、マイクロコンピュータにより構成され、ＲＯＭ２１０に記憶されたコンピュータプログラムを実行することで、交換レンズ１０を含むカメラシステム全体の制御を司る。

カメラ制御部２１２は、ＡＦ信号処理部２０４にて算出された焦点検出領域での像ずれ量を用いてデフォーカス量を算出し、該デフォーカス量に基づいてレンズ制御部１０６を通じてフォーカスレンズ１０３の駆動を制御する。

＜焦点調節動作の手順＞
以下、撮像装置２０で行われる処理について説明する。カメラ制御部２１２は、コンピュータプログラムである撮像処理プログラムに従って以下の処理を行う。

図３は撮像装置２０の撮影処理、特にＡＦ制御部２１２３で行われる焦点調節動作の手順を示すフローチャートである。Ｓはステップを意味する。

初めに、カメラ制御部２１２は、カメラ設定やカメラ操作部２１３からの入力に応じて焦点調節動作を実行するかを判断する（Ｓ３０１）。

焦点調節動作を実行すると判断すると、Ｓ３０２において、焦点検出処理を行う。なお、焦点検出処理の詳細については、図４を用いて後述する。

Ｓ３０３では、撮影前予測処理を行う。撮影前予測処理では、後述するように撮影開始スイッチがオン状態であれば、Ｓ３０２の焦点検出処理における位相差検出時から撮像素子２０１による撮影時までの被写体の像面位置を予測部２１２４によって予測する。また、撮影開始スイッチがオフ状態であれば、次の位相差検出時までの被写体の像面位置を予測部２１２４によって予測する。なお、予測方法の詳細については図９を用いて後述する。

Ｓ３０４では、Ｓ３０３で算出された像面速度を用いて、被写体検出部２１２１によって検出された人領域の像面位置と、器官検出部２１２２によって検出された顔領域の像面位置の、どちらに合焦するようにフォーカスレンズ１０３を動かすかを選択する。なお、選択方法の詳細については図１０を用いて後述する。

Ｓ３０５で、Ｓ３０３で予測し、Ｓ３０４で選択した被写体像面位置に合焦するように、フォーカスレンズ１０３を動かすために必要なレンズ駆動量を算出し、レンズ制御部１０６に伝える。

次にＳ３０６で、撮影開始スイッチの状態を判定し、スイッチオン状態であれば、Ｓ３０７の撮影に移行して、スイッチオフ状態であればＳ３１０に移行する。

Ｓ３０７で、撮像素子２０１により撮影された画像をメモリ回路２１５に記憶する。Ｓ３０８において、次の位相差検出時の被写体の像面位置を予測部２１２４によって予測し、Ｓ３０９で、Ｓ３０８で予測した像面位置に合焦するようにフォーカスレンズ１０３を動かすために必要なレンズ駆動量を算出し、レンズ制御部１０６に伝える。

Ｓ３１０で撮影準備スイッチオフ判定を行い、スイッチオフ状態であれば処理を終了し、スイッチオン状態であればＳ３０２に戻って、上記処理を繰り返す。

＜焦点検出処理＞
図４のフローチャートで、Ｓ３０２で行われる焦点検出処理の動作の一例を説明する。

初めに、ＡＦ信号処理部２０４は、撮像素子２０１における焦点検出領域に含まれる複数の画素からＡＦ用信号としての一対の像信号を取得する（Ｓ４０１）。図５（ａ）は、撮像素子２０１の画素アレイ５０１上での焦点検出領域５０２の例を示している。焦点検出領域５０２の両側のシフト領域５０３は、相関演算に必要な領域である。このため、焦点検出領域５０２とシフト領域５０３とを合わせた領域５０４が相関演算に必要な画素領域である。図中のｐ、ｑ、ｓ、ｔはそれぞれ、水平方向（ｘ軸方向）での座標を表し、ｐとｑはそれぞれ画素領域５０４の始点と終点のｘ座標を、ｓとｔはそれぞれ焦点検出領域５０２の始点と終点のｘ座標を示している。また、図６は、図５（ａ）に示した焦点検出領域５０２に含まれる複数の画素から取得したＡＦ用の一対の像信号の例を示している。実線６０１が一方の像信号Ａであり、破線６０２が他方の像信号Ｂである。図６（ａ）はシフト前の像信号Ａ、Ｂを示し、図６（ｂ）、（ｃ）はそれぞれ、像信号Ａ、Ｂを図６（ａ）の状態からプラス方向およびマイナス方向にシフトした状態を示している。

次に、ＡＦ信号処理部２０４は、取得した一対の像信号を１画素（１ビット）ずつ相対的にシフトさせながらこれら一対の像信号の相関量を算出する（Ｓ４０２）。焦点検出領域内に設けた複数の画素ライン（以下、走査ラインという）のそれぞれにおいて、図６（ｂ）、（ｃ）のように像信号Ａ６０１、Ｂ６０２の両方を矢印の方向に１ビットずつシフトしていく。これにより一対の像信号Ａ６０１、Ｂ６０２の相関量を算出し、それぞれの相関量を加算平均することで１つの相関量として算出する。ここでは、相関量算出にあたって一対の像信号を１画素ずつ相対的にシフトさせる構成としたが、たとえば２画素ずつ相対的にシフトさせる等、より多くの画素単位でシフトさせる構成でも構わない。また、各走査ラインの相関量を加算平均することで１つの相関量を算出したが、たとえば各走査ラインの一対の像信号に対して加算平均を行い、その後、加算平均した一対の像信号に対して相関量の算出を行う構成でも構わない。シフト量をｉとし、最小シフト量をｐ－ｓとし、最大シフト量をｑ－ｔとし、ｘを焦点検出領域５０２の開始座標とし、ｙを焦点検出領域５０２の終了座標とするとき、相関量ＣＯＲは以下の式（１）によって算出することができる。

図７（ａ）に、シフト量と相関量ＣＯＲとの関係の例を示す。横軸はシフト量、縦軸は相関量ＣＯＲである。シフト量とともに変化する相関量７０１における極値付近７０２、７０３のうち、より小さい相関量に対応するシフト量において一対の像信号Ａ、Ｂの一致度が最も高くなる。

続いて、ＡＦ信号処理部２０４は、Ｓ４０２で算出した相関量から相関変化量を算出する（Ｓ４０３）。図７（ａ）に示した相関量７０１の波形における１シフトおきの相関量の差を相関変化量として算出し、シフト量をｉ、最小シフト量をｐ－ｓ、最大シフト量をｑ－ｔとすると、相関変化量ΔＣＯＲは以下の式（２）によって算出することができる。

次に、ＡＦ信号処理部２０４は、Ｓ４０３で算出した相関変化量を用いて像ずれ量を算出する（Ｓ４０４）。図８（ａ）は、シフト量と相関変化量ΔＣＯＲとの関係の例を示しており、横軸はシフト量、縦軸は相関変化量ΔＣＯＲを表している。シフト量とともに変化する相関変化量８０１は、８０２、８０３の部分でプラスからマイナスになる。相関変化量が０となる状態をゼロクロスと呼び、一対の像信号Ａ、Ｂの一致度が最も高くなる。したがって、ゼロクロスを与えるシフト量が像ずれ量となる。図８（ｂ）に図８（ａ）中の８０２で示した部分を拡大して示す。８０４は相関変化量８０１の一部分である。ゼロクロスを与えるシフト量（ｋ－１＋α）は、整数部分β（＝ｋ－１）と小数部分αとに分けられる。小数部分αは、図中の三角形ＡＢＣと三角形ＡＤＥとの相似の関係から、以下の式（３）によって算出することができる。

また整数部分βは、図８（ｂ）から以下の式（４）によって算出することができる。
（式４）
β＝ｋ－１ （４）

すなわち、αとβの和から像ずれ量ＰＲＤを算出することができる。図８（ａ）に示したように相関変化量ΔＣＯＲのゼロクロスが複数存在する場合は、その付近での相関変化量ΔＣＯＲの変化の急峻性がより大きい方を第１のゼロクロスとする。この急峻性はＡＦの行い易さを示す指標であり、値が大きいほど精度良いＡＦを行い易い点であることを示す。急峻性ｍａｘｄｅｒは、以下の式（５）によって算出することができる。

本実施形態では、相関変化量のゼロクロスが複数存在する場合は、その急峻性によって第１のゼロクロスを決定し、この第１のゼロクロスを与えるシフト量を像ずれ量とする。

次に、ＡＦ信号処理部２０４は、Ｓ４０４で算出された焦点検出領域の像ずれ量を用いて該焦点検出領域のデフォーカス量を算出する（Ｓ４０５）。そして、Ｓ４０６において、得られた焦点検出情報をメモリ回路２１５に記憶する。ここでは、各焦点検出領域のデフォーカス量と、像信号Ａ、像信号Ｂの撮影時刻、像面速度を記憶する。

＜撮影前予測＞
図９を用いて、Ｓ３０３で予測部２１２４により行われる、過去複数回の像面位置とその撮影時刻の変化から、将来の像面位置を予測するための撮影前予測について説明する。

まず、Ｓ９０１において、被写体検出部２１２１で検出された領域において、ＡＦ信号処理部２０４によって検出した位相差からデフォーカス量を算出する。そして、次のＳ９０２にて、算出したデフォーカス量に対応する像面位置とその撮影時刻の算出を行う。一般的に、撮像素子２０１から像信号が得られるまでにある程度の電荷の蓄積時間を必要とする。そのため、蓄積開始時刻と終了時刻の中点を撮影時刻として、フォーカスレンズ１０３の相対的な繰り出し量にこのデフォーカス量を加えることによって、被写体の像面位置を算出する。そして、像面位置と撮影時刻の組のデータを、次のＳ９０３にてメモリ回路２１５に格納する。格納するメモリのデータ構造はキューとなっており、予め定められたデータの個数までは順に格納するがそれ以降のデータは、最も古いデータの上に最新のデータを上書きする。その後、Ｓ９０４へ進み、メモリ回路２１５に格納されたデータ数が統計演算可能かどうかを判定する。この判定の結果、統計演算に必要なデータ数が十分であればＳ９０５へ進み、統計演算による予測式を決定する。Ｓ９０５における統計演算による予測式の決定は、式（６）に示すような予測関数ｆ（ｔ）において、重回帰分析によって各係数α、β、γを統計的に決定する。また、式（６）におけるｎは複数の代表的な動体予測撮影シーンのサンプルに対して予測を行ったとき、その予測誤差が最小となるｎの値を求めている。
（式６）
ｆ（ｔ）＝α＋βｔ＋γｔｎ （６）

Ｓ９０５で予測式を決定した後はＳ９０６に進み、予め決められた将来時刻の像面位置を予測し、フォーカスレンズ１０３がその像面位置に合焦するために必要なレンズ駆動量を算出する。一方、Ｓ９０４においてデータ数が十分でないと判定した場合、Ｓ９０７に進み、統計演算によらず算出したデフォーカス量によってレンズ駆動量を算出する。上記処理を器官検出部２１２２で検出された領域においても行う。

＜合焦する領域の選択処理の必要性、概要＞
図１１を用いて、Ｓ３０４で行われる選択処理の必要性、概要について説明する。

図１１（ａ）１１０１が被写体の人物を表している。この人物にピントを合わせるときに、図５（ａ）の焦点検出領域５０２に相当するものが、１１１１と１１１２である。

基本的に人物写真は顔にピントを合わせるべきである。顔と体では距離が違う場合があり、また同じ距離であっても空間周波数やコントラストの違いにより焦点検出結果が変わることがある。そこで１１１１は顔を認識して顔の座標にピントを合わせようとしているが、顔検出の精度や被写体の動きなどによりぴったり顔に合うとは限らない。１１１１のように顔からはみ出していると、背景の画像に相関量を引っ張られ、デフォーカスが後ろ寄りになる、遠近競合という状態になる。このとき１１１２のように人物の胴体にピントをと、顔より胴体の方が大きいので、顔と胴体の距離の差はあるものの、遠近競合はおきにくく、より正確なピント合わせが可能になる。

図１１（ｂ）（ｃ）（ｄ）はそれぞれ人物にピントを合わせる様子を表している。（ｂ）、（ｃ）、（ｄ）の順に被写体がカメラに向かって近づいてきている。図１１（ｅ）はその時の顔と胴体のデフォーカス量を示す。図１１（ｂ）の１１２１が顔の焦点検出領域を表しそのデフォーカス量をｄｅｆ１ｂとする。図１１（ｂ）の１１２２が胴の焦点検出領域を表しそのデフォーカス量をｄｅｆ２ｂとする。図１１（ｃ）の１１３１が顔の焦点検出領域を表しそのデフォーカス量をｄｅｆ１ｃとする。図１１（ｃ）の１１３２が胴の焦点検出領域を表しそのデフォーカス量をｄｅｆ２ｃとする。図１１（ｄ）の１１４１が顔の焦点検出領域を表しそのデフォーカス量をｄｅｆ１ｄとする。図１１（ｄ）の１１４２が胴の焦点検出領域を表しそのデフォーカス量をｄｅｆ２ｄとする。先の例のようにすべて顔にピントとしたら、ｄｅｆ１ｂ、ｄｅｆ１ｃ、ｄｅｆ１ｄを順に採用することになる。しかし先の通りｄｅｆ１ｂの焦点検出領域は顔をはみ出しているので遠近競合している可能性がある。

胴体にピントを合わせるとしたらｄｅｆ２ｂ、ｄｅｆ２ｃ、ｄｅｆ２ｄを順に採用することになる。その場合は先の通り遠近競合は起きにくいものの図１１（ｄ）位の距離になると顔と胴体の距離差が無視できない量になる。そこで、所定の条件として被写体の顔の大きさを見て、ｄｅｆ２ｂ、ｄｅｆ２ｃ→ｄｅｆ１ｄと途中で胴体から顔に乗り移る制御が考えられる。

図１１（ｆ）が図１１（ｄ）の各デフォーカスをグラフにプロットしたものである。縦軸がデフォーカス量を表し、横軸が時間を表す。被写体は徐々に近づいてきており点線１１５１で示す。またここでは各顔のデフォーカスは少しずつ遠近競合している例を表している。

ここで先のように被写体の顔の大きさを見て、ｄｅｆ２ｂ、ｄｅｆ２ｃ→ｄｅｆ１ｄと途中で胴体から顔に乗り移る制御を行う場合で、ｄｅｆ１ｄも被写体の動きなどにより遠近競合していたとする。すると、図９で説明した通りデフォーカスの予測制御を行っており、近づく動きに急ブレーキがかかったように測定され、１１５２の曲線を予測することになる。もしずっと一定量遠近競合していたとして、予測制御を行わなかったとすると１１６２くらいの誤差で済んでいたところを、予測制御によって１１６１の位置を予測してしまい、予測を行わない焦点検出結果より、さらにピントを大外しすることになる。そこで仮に（ｄ）の時点で胴体から顔に乗り移る際には、（ｂ）（ｃ）の過去の像面位置と撮影時刻のデータを消去すれば、過去の履歴を無くすことによって過応答と呼ばれる現象の頻度を押さえることができる。

＜合焦する領域の選択処理＞
図１０を用いて、Ｓ３０４で行われる選択処理の具体的なフローを説明する。

Ｓ１００１で器官検出部２１２２によって検出された顔の大きさを取得する。Ｓ１００２で顔の大きさが一定以上か判定する。一定以下であればＡＦを行う被写体は被写体検出領域のままＳ１００３へ、一定以上であれば顔検出領域に移す（Ｓ１００４）。Ｓ１００３では被写体検出領域の像面位置へフォーカスレンズ駆動することを選択し、処理を終了する。Ｓ１００４では顔検出領域の像面位置へフォーカスレンズを駆動することを選択する。Ｓ１００５で、前回選択した領域は被写体検出領域であり、今回はＳ１００４で顔検出領域を選択し、結果として体全体／胴体から顔に乗り移ったのであればＳ１００６へ、そうでなければ処理を終了する。Ｓ１００６では、Ｓ９０３でメモリ回路２１５に格納した、過去の像面位置と撮影時刻の組のデータを消去して、処理を終了する。

なお、ここでは本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

以上のように、本発明の第１の実施形態によれば、被写体検出領域で検出する人全体／胴体から顔検出領域へ乗り移る際に、顔の大きさを見て小さい顔に乗り移りにくくすることによって、小さい顔と背景による遠近競合の頻度を減らすことができる。

また、被写体検出領域で検出する人全体／胴体から顔検出領域へ乗り移ったあとに、過去の像面位置と撮影時刻のデータの履歴を消去することによって、乗り移った後の過応答の頻度を減らすことができる。

（第２の実施形態）（履歴の分散／急加減速から胴から顔への乗り移り判定）
以下説明するシーケンス、処理フローを除いては、第１の実施形態と同一の構成・制御を行うものとする。

前述の説明では、図１０を用いて、Ｓ３０４で行われる選択処理の具体的なフローを説明した。このときＳ１００２で顔の大きさが一定以上か判定した。しかしながら、これを過去の履歴、たとえば所定の条件として、図１１（ｅ）のｄｅｆ２ｂ，ｄｅｆ２ｃ，ｄｅｆ２ｄ・・・の分散が大きいようであれば、今不規則な運動をしている最中なので予測や頭部への乗り移りに適当でないと判断してもよい。

また所定の条件として、図１１（ｅ）のｄｅｆ２ｂ，ｄｅｆ２ｃ，ｄｅｆ２ｄ・・・の後の方、最新の状態で急加速、急減速しているように判断できる場合も同様に、予測や頭部への乗り移りに適当でないと判断してもよい。

また、ｄｅｆ２ｂ，ｄｅｆ２ｃ，ｄｅｆ２ｄ・・・という胴体のデフォーカス履歴から以上の分散や急加減速を判断したが、履歴の最後を頭部に乗り移り後のデフォーカスを加えて判断してもよい。具体的には、ｄｅｆ２ｂ、ｄｅｆ２ｃ、ｄｅｆ１ｄとなる。

以上のように、本発明の第２の実施形態によれば、被写体検出領域で検出する人全体／胴体から顔検出領域へ乗り移る際に、過去の履歴を見て顔に乗り移るか判断することによって、小さい顔と背景による遠近競合の頻度を減らすことができる。

（第３の実施形態）（乗り移り後ＤＥＦＭＡＰ履歴をさかのぼり顔位置の狭領域で予測）
以下説明するシーケンス、処理フローを除いては、第１の実施形態または第２の実施形態と同一の構成・制御を行うものとする。

図１２を用いて、第３の実施形態のＳ３０４で行われる選択処理の必要性、概要について説明する。

図１１（ａ）で１１１１，１１１２の２枠の焦点検出領域について例を示した。本実施形態では図１２（ａ）のように方眼状に複数の焦点検出領域を持つものとする。１つ１つはそれぞれ焦点検出領域５０２を表すものとする。そして図中３１個の焦点検出領域について、Ｓ９０３で各焦点検出領域のデフォーカス情報と時刻を同時に保存するものとする。さらに図５（ａ）の焦点検出領域５０２を狭くした、図５（ｂ）の焦点検出領域５０２による、狭領域のデフォーカス情報を持ってもよい。横方向に狭くすることによって遠近競合しにくくなるが、代わりに大デフォーカス能力が落ちる。図１２（ｂ）が上記３１個の焦点検出領域のそれぞれのデフォーカス情報を標準の焦点検出領域と狭領域の焦点検出領域のそれぞれ、過去の履歴のデフォーカス情報を持った例である。１２０１の位置が焦点検出領域１、１２０２の位置が顔の中心である焦点検出領域１６、１２０３の位置が胴体の中心である焦点検出領域２９にあたる。

この状態で図１０のＳ３０４で行われる選択処理を行う。被写体がカメラに向かって接近している場合で、まだ顔が小さいときＳ１００３が選択された場合は、胴体の標準の焦点検出領域のデフォーカス履歴を使って予測を行う。点線１２１２の焦点検出領域２９の標準の焦点検出領域の履歴を使う。被写体が近づいて顔の大きさが大きくなったときＳ１００４が選択された場合は、顔の狭領域の焦点検出領域のデフォーカス履歴を使って予測を行う。点線１２１１の焦点検出領域１６の狭領域の焦点検出領域の履歴を使う。この場合Ｓ１００６の履歴情報のクリアは行わない。

本実施形態では過去の履歴のメモリ保存量は増えるが、Ｓ１００６のように過去の履歴のクリアを行わず、過去にさかのぼって顔の場所のデフォーカス履歴を用い、かつ、顔のような小さい被写体向けの狭枠のデフォーカス情報を用いる。これにより遠近競合が起こりにくい。

以上のように、第３の実施形態によれば、被写体検出領域で検出する人全体／胴体から顔検出領域へ乗り移ったあとに、過去にさかのぼって顔の場所のデフォーカス履歴を用いる。また、顔のような小さい被写体向けの狭領域の焦点検出領域のデフォーカス情報を用いる。このため、遠近競合の頻度を減らすことができる。

（その他の実施形態）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、上述した各実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明は、撮像素子が付随したあらゆるデバイスに適用してもよい。すなわち携帯電話端末や携帯型の画像ビューワ、カメラを備えるテレビ、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなど、画像を撮像可能な装置であれば、本発明は適用可能である。

また、上述の実施例では、レンズ鏡筒と撮像装置が一体となったレンズ鏡筒括りつけの撮像装置を説明したが、レンズ交換式の撮像装置であってもよい。レンズ交換式の撮像装置は、交換可能なレンズユニット（レンズ鏡筒）とカメラ本体（撮像装置）とを備えて構成される。レンズユニット全体の動作を統括制御するレンズ制御部と、レンズユニットを含めたカメラシステム全体の動作を統括するカメラ制御部とは、レンズマウントに設けられた端子を通じて相互に通信可能な構成とする。

１０ レンズユニット
１０３ フォーカスレンズ
１０５ フォーカスレンズ駆動部
１０６ レンズ制御部
２０ 撮像装置
２０１ 撮像素子
２０４ ＡＦ信号処理部
２０５ 表示制御部
２０６ 表示部
２０７ 記録媒体制御部
２０８ 記録媒体
２１２ カメラ制御部
２１２１ 被写体検出部
２１２２ 器官検出部
２１２３ ＡＦ制御部
２１３ カメラ操作部

Claims (8)

1. 撮影光学系を通過した光束から撮像信号を取得する撮像素子と、
   前記撮像素子からの出力により得られた画像から被写体を検知する第１の検知手段と、
   前記撮像素子からの出力により得られた画像から前記被写体の一部分を検知する第２の検知手段と、
   前記被写体及び前記被写体の一部分の焦点状態を検出する焦点検出手段と、
   前記焦点検出手段により検出された被写体及び被写体の一部分の焦点検出結果の履歴を保存する履歴手段と、を有する撮像装置であって、
   前記焦点検出手段により、前記第１の検知手段により検知された被写体の焦点状態を検出している際に、前記履歴手段に保存された前記第１の検知手段により検知された被写体の焦点検出結果の分散が一定以上である場合、前記第１の検知手段により検知された被写体にピント合わせを行い、前記履歴手段に保存された前記第１の検知手段により検知された被写体の焦点検出結果の分散が一定以上でない場合、前記第２の検知手段により検知された被写体の一部分にピント合わせを行うことを特徴とする撮像装置。
2. 撮影光学系を通過した光束から撮像信号を取得する撮像素子と、
   前記撮像素子からの出力により得られた画像から被写体を検知する第１の検知手段と、
   前記撮像素子からの出力により得られた画像から前記被写体の一部分を検知する第２の検知手段と、
   前記被写体及び前記被写体の一部分の焦点状態を検出する焦点検出手段と、
   前記焦点検出手段により検出された被写体及び被写体の一部分の焦点検出結果の履歴を保存する履歴手段と、を有する撮像装置であって、
   前記焦点検出手段により、前記第１の検知手段により検知された被写体の焦点状態を検出している際に、前記履歴手段に保存された前記第１の検知手段により検知された被写体の焦点検出結果から前記第１の検知手段により検知された被写体が急加速していると判定された場合、又は、前記第１の検知手段により検知された被写体が急減速していると判定された場合、前記第１の検知手段により検知された被写体にピント合わせを行い、前記履歴手段に保存された前記第１の検知手段により検知された被写体の焦点検出結果から前記第１の検知手段により検知された被写体が急加速も急減速もしていないと判定された場合、前記第２の検知手段により検知された被写体の一部分にピント合わせを行うことを特徴とする撮像装置。
3. 前記第１の検知手段により検知される被写体は体全体又は胴体であり、前記第２の検知手段により検知される被写体の一部分は顔であることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第２の検知手段により検知された被写体の一部分にピント合わせを行う場合に、前記履歴手段に保存された焦点検出結果を消去することを特徴とする請求項１又は２に記載の撮像装置。
5. 前記第２の検知手段は、前記第１の検知手段により検知された被写体において、前記被写体の一部分を検知することを特徴とする請求項１又は２に記載の撮像装置。
6. 撮影光学系を通過した光束から撮像信号を取得する撮像素子を有する撮像装置の制御方法であって、
   前記撮像素子からの出力により得られた画像から被写体を検知する第１の検知工程と、
   前記撮像素子からの出力により得られた画像から前記被写体の一部分を検知する第２の検知工程と、
   前記被写体及び前記被写体の一部分の焦点状態を検出する焦点検出工程と、
   前記焦点検出工程により検出された被写体及び被写体の一部分の焦点検出結果の履歴を保存する履歴工程と、
   前記焦点検出工程により、前記第１の検知工程により検知された被写体の焦点状態を検出している際に、前記履歴工程において保存された前記第１の検知工程により検知された被写体の焦点検出結果の分散が一定以上である場合、前記第１の検知工程により検知された被写体にピント合わせを行い、前記履歴工程において保存された前記第１の検知工程により検知された被写体の焦点検出結果の分散が一定以上でない場合、前記第２の検知工程により検知された被写体の一部分にピント合わせを行うピント合わせ工程と、を有することを特徴とする撮像装置の制御方法。
7. 撮影光学系を通過した光束から撮像信号を取得する撮像素子を有する撮像装置の制御方法であって、
   前記撮像素子からの出力により得られた画像から被写体を検知する第１の検知工程と、
   前記撮像素子からの出力により得られた画像から前記被写体の一部分を検知する第２の検知工程と、
   前記被写体及び前記被写体の一部分の焦点状態を検出する焦点検出工程と、
   前記焦点検出工程により検出された被写体及び被写体の一部分の焦点検出結果の履歴を保存する履歴工程と、
   前記焦点検出工程により、前記第１の検知工程により検知された被写体の焦点状態を検出している際に、前記履歴工程において保存された前記第１の検知工程により検知された被写体の焦点検出結果から前記第１の検知工程により検知された被写体が急加速していると判定された場合、又は、前記第１の検知工程により検知された被写体が急減速していると判定された場合、前記第１の検知工程により検知された被写体にピント合わせを行い、前記履歴工程において保存された前記第１の検知工程により検知された被写体の焦点検出結果から前記第１の検知工程により検知された被写体が急加速も急減速もしていないと判定された場合、前記第２の検知工程により検知された被写体の一部分にピント合わせを行うピント合わせ工程と、を有することを特徴とする撮像装置の制御方法。
8. 請求項６又は７に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。

Images