JP5188071B2 - 焦点調節装置、撮像装置及び、焦点調節方法 - Google Patents

Description

本発明は、焦点調節装置、撮像装置及び、焦点調節方法に関しており、特に電子スチルカメラ及びビデオ等に利用されるオートフォーカスに関する。

従来より、デジタルカメラに代表される撮像装置において、人物の顔や動体などを検出する被写体検出機能を利用したオートフォーカス（ＡＦ）方法が知られている。このＡＦ方法では、まず撮像した画像から主被写体を検出し、検出した主被写体に合焦するように合焦制御を行う。

このＡＦ方法において、主被写体が検出できた場合には、検出した主被写体位置に焦点検出領域を設定することで、主被写体に合焦するように合焦制御を行う。しかしながら、主被写体を検出できなかった場合には、画面中央など主被写体が存在しそうな領域を想定して焦点検出領域を設定する方法が考えられる。

このＡＦ方法を用いて、コンティニュアスＡＦや動画記録中ＡＦなどのように設定された焦点検出領域で常にピントを合わせ続けようとする場合、主被写体が検出できたりできなかったりする場合がある。すると、主被写体領域と画面中央領域とで焦点検出領域が頻繁に入れ替わることになる。ここで、画面の中央領域に主被写体が存在していないと、図８ａ）と図８ｂ）に示すように、主被写体と、背景にある被写体とでピントが行き来し、画面がちらつき、煩わしくなるという問題が生じる。この問題を解決するためには、主被写体を検出できなかった場合でも前回検出した主被写体位置に焦点検出領域を設定するなどの対策をとらなければならない。

上記問題を解決しようとするこれまでの主被写体検出手段として、視線検出の出力の信頼性に応じて、視線検出により選択された領域の大きさを変えるという視線検出機能付きカメラが提案されている。（特許文献１参照）これは、視線検出の出力の信頼性が低い場合には、焦点検出領域を大きくすることで、主被写体が焦点検出領域内に入るように設定するというものである。

また、主被写体が検出できないときに焦点検出領域を大きくするという主被写体検出手段も提案されている。（特許文献２参照）
また、動体検出手段を用いた自動焦点制御装置として、予め区分け設定された複数のＡＦエリア毎に時間の異なる画像フレーム間でＡＦ評価値の差分を算出する装置が提案されている。この差分演算により、動きのある被写体を含むＡＦエリアを抽出し、そのＡＦエリアを合焦対象エリアとして合焦動作を行うことができる。（特許文献３参照）
特開平６−３０８３７３号公報 特開２００４−１３８９７０号公報 特開２０００−１８８７１３号公報

しかし、特許文献１や特許文献２は、主被写体が検出できない（又は、主被写体検出の信頼性が低い）場合に焦点検出領域を大きくするだけという方法である。この方法では、焦点検出領域を画面全体に広げるなどをしない限り、主被写体が確実に焦点検出領域内に入るように設定することはできない。また、焦点検出領域を単に大きくしてしまうと、焦点検出領域内の背景の割合が大きくなってしまい、背景にピントが抜けてしまうという問題も生じる場合がある。

また、特許文献３のような動体検出手段を用いると、主被写体が動体だった場合においては常に主被写体を検出して焦点検出領域を設定することができる。しかし、画面全体に複数の焦点検出領域を設定しなければならないため、焦点検出領域の数だけ演算時間がかかってしまう。よって、必要のない焦点検出領域の分だけ無駄に時間がかかってしまう。また、主被写体が動かない場合には検出することができない。

本出願に係る発明の目的は、無駄に焦点検出領域を設定することなく主被写体にピントを合わせ続けることが可能な焦点調節装置、撮像装置及び、焦点調節方法を提供することにある。

上述のような課題を解決するために、本発明の技術的特徴としては、撮像画像から合焦すべき被写体像を検出する検出手段により合焦すべき被写体像の検出ができ検出結果に基づいて第１の焦点検出領域が設定された後に当該検出ができなくなった場合、撮像光学系の合焦状態を検出する際の焦点検出領域を設定する設定手段により前記第１の焦点検出領域の他に前記前記第１の焦点検出領域と隣接する周辺領域に第２の焦点検出領域を設定し、当該設定された第１、第２の焦点検出領域における信号出力の少なくとも一方に基づいて前記撮像光学系を移動させて焦点調節を行うことを特徴とする。

主被写体が検出できなくなっても、主被写体に自動合焦をし続けることができ、さらに、無駄に焦点検出領域を設定する必要がないため、無駄な演算時間を低減できる。

以下、図面を参照しながら本発明の一実施形態を説明する。

＜装置の説明＞
図１は本発明の実施形態に係る撮像装置である電子カメラの構成を示すブロック図である。１０１はズーム機構を含む撮影レンズ、１０２は光量を制御する絞り及びシャッターである。また、１０３はＡＥ処理部、１０４は後述する撮像素子上に焦点をあわせる焦点調節のためのフォーカスレンズである。撮影レンズ１０１、絞り及びシャッター１０２、フォーカスレンズ１０４を撮像光学系ともいう。また、１０５はＡＦ処理部、１０６はストロボ、１０７はＥＦ処理部である。また、１０８は被写体からの反射光を電気信号（信号出力）に変換し撮像画像を出力する受光手段又は光電変換手段としての撮像素子である。また、１０９は撮像素子１０８の出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に行う非線形増幅回路を含むＡ／Ｄ変換部である。また、１１０は画像処理部、１１１はＷＢ処理部、１１２はフォーマット変換部である。また、１１３は高速な内蔵メモリ（例えばランダムアクセスメモリなど、以下ＤＲＡＭと記す）、１１４はメモリーカードなどの記録媒体とそのインターフェースからなる画像記録部である。また、１１５は撮影シーケンスなどシステムを制御するシステム制御部、１１６は画像表示用メモリ（以下ＶＲＡＭと記す）である。また、１１７は画像表示や、操作補助のための表示やカメラ状態の表示の他、撮影の際には撮影画面と焦点検出領域に対応する指標を表示する操作表示部である。また、１１８はカメラを外部から操作するための操作部である。また、１１９は顔検出モードをＯＮまたはＯＦＦに切り替える等の設定を行う撮影モードスイッチである。また、１２０はシステムに電源を投入するためのメインスイッチ、１２１はＡＦやＡＥ等の撮影スタンバイ動作を行うためのスイッチ（以下ＳＷ１と記す）、１２２はＳＷ１の操作後、撮影を行う撮影スイッチ（以下ＳＷ２と記す）である。１２３は動画撮影を開始または終了する動画スイッチ（以下動画ＳＷと記す）である。１２４は前記１１０で処理された画像信号を用いて被写体像としての顔検出を行い、検出した一つ又は複数の顔情報（位置・大きさ・信頼度）及び顔情報により決定された優先順位を前記システム制御部に送る顔検出モジュールである。なお、顔の検出方法は、本発明の主眼点ではないため詳細な説明は省略する。

前記１１３のＤＲＡＭは一時的な画像記憶手段としての高速バッファとして、あるいは画像の圧縮伸張における作業用メモリなどに使用される。前記１１８の操作部は、例えば次のようなものが含まれる。電子カメラの撮影機能や画像再生時の設定などの各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切換えスイッチ、などである。

＜装置の動作フロー＞
以下、本発明の一実施形態の動作について図２を参照しながら詳述する。図２は電子カメラの動作を表すフローチャートである。

まず、ステップＳ２０１でメインスイッチ１２０を検出し、ＯＮであればステップＳ２０２へ進む。ここでメインスイッチ１２０の機能はシステムに電源を投入することである。メインスイッチ１２０がＯＦＦであればＳ２０１を繰り返す。ステップＳ２０２では画像記録部１１４の残容量を調べ、残容量が０であればステップＳ２０３へ進み、そうでなければステップＳ２０４へ進む。ステップＳ２０３では画像記録部１１４の残容量が０であることを警告してステップＳ２０１に戻る。警告は操作表示部１１７に表示するか又は図示しない音声出力部から警告音を出すか、又はその両方をおこなってもよい。

ステップＳ２０４ではＡＦモードが、顔検出モードであるかどうかを調べ、顔検出モードであればステップＳ２０５へと進む。顔検出モードでなければステップＳ２０８へと進む。ステップＳ２０５では顔検出モジュール１２４において顔検出処理を実行して、顔情報及び顔の優先順位を取得し、ステップＳ２０６へと進む。ステップＳ２０６では、ステップＳ２０５での顔検出処理において、顔検出されたかどうかを調べ、顔検出されていればステップＳ２０７へと進み、顔検出されていなければステップＳ２０８へと進む。このとき、撮像素子１０８にて得られた撮像画像を基に生成した画像を逐次表示しいている。この状態では、ＶＲＡＭ１１６に逐次書き込まれた画像を操作表示部１１７により逐次表示することにより、操作表示部１１７が電子的なファインダとして機能する。ステップＳ２０７では、操作表示部１１７において、検出した顔の中で優先順位が最大Ｚ個までの顔位置に枠を表示して、ステップＳ２０８へと進む。

ステップＳ２０８では、動画ＳＷ１２３を検出し、ＯＮであればステップＳ２０９へと進み、ＯＮでなければステップＳ２１３へと進む。ステップＳ２０９では、動画記録を開始してステップＳ２１０へと進む。ステップＳ２１０では、後述する図３のフローチャートに従ってＣｏｎｔｉｎｕｏｕｓＡＦを行う。ステップＳ２１１では、動画ＳＷ１２３を検出し、ＯＮであればステップＳ２１２へと進み、ＯＮでなければステップＳ２１０へと進む。また、ステップＳ２１１では、画像記録部１１４の残容量を調べ、残容量が０であればステップＳ２１２へと進み、残容量が０でなければステップＳ２１０へと進む。ステップＳ２１２では、動画記録を終了してステップＳ２０１に戻る。

ステップＳ２１３では、ＡＦモードがＣｏｎｔｉｎｕｏｕｓＡＦモードであるかＳｉｎｇｌｅＡＦモードであるかを調べ、ＣｏｎｔｉｎｕｏｕｓＡＦモードであればステップＳ２１４へ、ＳｉｎｇｌｅＡＦモードであればステップＳ２１５へ進む。ステップＳ２１４では後述する図３のフローチャートに従ってＣｏｎｔｉｎｕｏｕｓＡＦを行う。

ステップＳ２１５ではＳＷ１の状態を調べ、ＯＮであればステップＳ２１６へ進み、そうでなければステップＳ２０１に戻る。ステップＳ２１６ではＡＥ処理部１０３で画像処理部１１０の出力からＡＥ処理を行う。

ステップＳ２１７では後述する図６のフローチャートに従ってＡＦ動作を行う。ステップＳ２１８はＳＷ２の状態を調べ、ＯＮであればステップＳ２１９へ、そうでなければステップＳ２２０へ進む。ステップＳ２１９では後述する図７のフローチャートに従って撮影動作を行う。ステップＳ２２０ではＳＷ１の状態を調べ、ＯＮでなければステップＳ２０１へ戻り、ＯＮであればステップＳ２１８へ戻ってＳＷ２がＯＮされるかＳＷ１がＯＦＦされるまでフォーカスをロックする。

＜ＣｏｎｔｉｎｕｏｕｓＡＦのサブルーチン＞
以下、図２のフローチャートにおけるステップＳ２１０及びステップＳ２１４のＣｏｎｔｉｎｕｏｕｓＡＦのサブルーチンについて、図３のフローチャートを参照しながら説明する。

まずステップＳ３０１では、後述する図４のフローチャートに従って、焦点検出領域（以下ＡＦ枠と記す）を設定して、ステップＳ３０２へと進む。ステップＳ３０２では、焦点評価値（ＡＦ評価値ともいう）を取得する。ステップＳ３０３では、顔が検出されたかどうかを調べ、顔が検出されていればステップＳ３０５へと進む。また、顔が検出されていなければステップＳ３０４へと進む。ステップＳ３０４では、後述する図４のフローチャート内で使用する、基準評価値（基準値）を取得するかどうかを判断する「基準取得フラグ」がＴＲＵＥであるかどうかを調べる。ＴＲＵＥであればステップＳ３０５へと進み、ＦＡＬＳＥであればステップＳ３０６へと進む。ステップＳ３０５では、「焦点評価値」を「基準評価値」としてシステム制御部１１５に内蔵される図示しない演算メモリに記憶する。また、基準取得フラグをＦＡＬＳＥとする。

ステップＳ３０６では、ピーク検出フラグがＴＲＵＥであるかどうかを調べ、ＴＲＵＥであればステップＳ３２３へ進み、ＦＡＬＳＥであればステップＳ３０７へ進む。ステップＳ３０７では、フォーカスレンズ１０４の現在位置を取得する。ステップＳ３０８では、焦点評価値の取得及びフォーカスレンズ１０４の現在位置の取得をカウントするための取得カウンタに１を加える。この取得カウンタは、初期化動作（図示略）において予め０に設定されているものとする。ステップＳ３０９では、取得カウンタの値が１かどうかを調べ、取得カウンタの値が１ならば、ステップＳ３１２へ進み、取得カウンタの値が１でなければステップＳ３１０へ進む。

ステップＳ３１０では、「今回の焦点評価値」が「前回の焦点評価値」よりも大きいかどうかを調べる。「今回の焦点評価値」が「前回の焦点評価値」よりも大きければステップＳ３１１へ進み、そうでなければステップＳ３１８へ進む。

ステップＳ３１１では、「今回の焦点評価値」が「前回の焦点評価値」よりも増加したことをカウントする増加カウンタに１を加える。この増加カウンタは、初期化動作（図示略）において予め０に設定されているものとする。

ステップＳ３１２では、「今回の焦点評価値」を焦点評価値の最大値としてシステム制御部１１５に内蔵される図示しない演算メモリに記憶する。ステップＳ３１３では、フォーカスレンズ１０４の現在の位置を焦点評価値のピーク位置としてシステム制御部１１５に内蔵される図示しない演算メモリに記憶する。ステップＳ３１４では、「今回の焦点評価値」を「前回の焦点評価値」としてシステム制御部１１５に内蔵される図示しない演算メモリに記憶する。ステップＳ３１５では、フォーカスレンズ１０４の現在位置が焦点検出範囲の端にあるかどうかを調べる。フォーカスレンズ１０４の現在位置が焦点検出範囲の端にあれば、ステップＳ３１６へ進み、そうでなければステップＳ３１７へ進む。ステップＳ３１６では、フォーカスレンズ１０４の移動方向を反転する。ステップＳ３１７では、フォーカスレンズ１０４を所定量移動する。

ステップＳ３１８では、「焦点評価値の最大値−今回の焦点評価値」が所定量より大きいかどうかを調べる。「焦点評価値の最大値−今回の焦点評価値」が所定量より大きければステップＳ３１９へ進み、そうでなければステップＳ３１４へ進む。ステップＳ３１９では、増加カウンタが０より大きいかどうかを調べ、０より小さければステップＳ３１４へと進み、０より大きければステップＳ３２０へと進む。ここで、前回までの焦点評価値が増加し続けたあと、「焦点評価値の最大値−今回の焦点評価値」が所定量より大きいこと、即ち最大値から所定量減少していれば、その最大値をピントのピーク位置での値とみなす。ステップＳ３２０では、フォーカスレンズ１０４を前記ステップＳ３０７で記憶した焦点評価値が最大値となったピーク位置へ移動させる。ステップＳ３２１では、ピーク検出フラグをＴＲＵＥとする。ステップＳ３２２では、取得カウンタを０とする。

ステップＳ３２３では、ピークを検出してフォーカスを停止していることを示す「フォーカス停止フラグ」をＴＲＵＥにしてステップＳ３２４へと進む。ステップＳ３２４では、今回の焦点評価値が焦点評価値の最大値に対して所定割合以上変動したかどうかを調べ、所定割合以上の大きな変動をしていればステップＳ３２６へ進み、小さな変動であればステップＳ３２５へ進む。ステップＳ３２５ではフォーカスレンズ１０４の位置をそのまま保持する。ステップＳ３２６では、焦点評価値が最大となるフォーカスレンズ位置を再び求め直すため、ピーク検出フラグをＦＡＬＳＥ、フォーカス停止フラグをＦＡＬＳＥとし、焦点評価値の最大値およびピーク位置をリセットする。ステップＳ３２７では、増加カウンタをリセットしてサブルーチンを終える。

以上のようにして、ＣｏｎｔｉｎｕｏｕｓＡＦ動作ではＡＦ枠内において、常に合焦状態となるようにフォーカスレンズを駆動する。

＜ＡＦ枠設定のサブルーチン＞
以下、図３のフローチャートにおけるステップＳ３０１のＣｏｎｔｉｎｕｏｕｓＡＦ枠設定のサブルーチンについて、図４のフローチャート及び図５の説明図を参照しながら説明する。図４は図３のフローチャートにおけるＣｏｎｔｉｎｕｏｕｓＡＦ枠設定（ステップ３０１）のサブルーチンのフローチャートである。また、図５は図４のフローチャート内でのＡＦ枠設定のしかたを説明する図である。

まずステップＳ４０１では、顔検出されたかどうかを調べ、顔検出されていればステップＳ４０２へと進み、顔検出されていなければステップＳ４０４へと進む。ステップＳ４０２では、図５ａ）に示すように、最新の顔検出処理結果において優先順位が最上位である顔（以下、主顔と記す）の位置に一つのＡＦ枠を主被写体に対応するＡＦ枠として設定してステップＳ４０３へと進む。ここで、画像内のＡＦ枠の中心は、検出した主顔の中心でも、両目の中心でもどちらでもよく、垂直方向及び水平方向の大きさＷＩＤは検出した主顔の大きさに基づいて決定する。ステップＳ４０３では、顔検出されたことを示す「顔検出フラグ」をＴＲＵＥとする。そして、後述する「顔追尾フラグ」をＦＡＬＳＥとする。そして、顔の検出ができない状態となってからの焦点評価値の取得回数をカウントする「顔ＮＧカウンタ」をクリアして図３のステップＳ３０２へと進む。このとき、撮像素子１０８にて得られた撮像画像を基に生成された画像に、検出された顔領域を示す表示を重畳表示することにより、撮影者に合焦すべき主被写体として何が検出されているかを示すことができる。ここでいう顔領域を示す表示とは、検出された顔領域の大きさに沿って、この顔領域を囲む方形領域の座標を対象となる主被写体の位置を示す識別領域として表示したものである。このときの顔領域の識別処理としては、例えば、一対の目（両目）、鼻、口、および、顔の輪郭を検出し、これらの相対位置より人物の顔領域を決定する手法が考えられる。なお、顔領域を囲む領域は方形に限定されるものではなく、楕円などの他の形状や、検出された顔の輪郭に沿う形状であっても構わない。なお、上述した顔領域を示す表示はＡＦ枠に応じた表示となっており指標となり得るものである。

これにより、顔検出されている期間は、常に主被写体である主顔位置にＡＦ枠を設定してＣｏｎｔｉｎｕｏｕｓＡＦを行うので、主顔にピントを合わせ続けることができる。

ステップＳ４０４では、顔検出フラグがＴＲＵＥかどうかを調べ、顔検出フラグがＴＲＵＥであれば、ステップＳ４０６へと進み、顔検出フラグがＦＡＬＳＥであれば、ステップＳ４０５へと進む。ステップＳ４０５では、画面の中央にＡＦ枠を設定し、顔検出フラグをＦＡＬＳＥとして図３のステップＳ３０２へと進む。

これにより、顔が検出されない場合、または、顔の位置が推定できない場合は、主被写体が存在しそうな中央位置にＡＦ枠を設定する。また、これと共に撮像素子１０８にて得られた撮像画像を基に生成された画像に重畳表示する領域表示をＡＦ枠に対応する領域の表示に切り換える。

ステップＳ４０６では、フォーカス停止フラグがＴＲＵＥとなっているかどうかを調べ、ＴＲＵＥであればステップＳ４２２へと進み、ＦＡＬＳＥであればステップＳ４０７へと進む。

以下ステップＳ４０７からステップＳ４２１の処理は、「顔移動を検出する動作」と、顔移動検出後に基準評価値と略同等な焦点評価値を示すＡＦ枠を顔の移動先ＡＦ枠と判定する「顔追尾動作」に関するものである。これは顔検出がＮＧとなった場合の処理である。最近の顔検出結果より設定したＡＦ枠の焦点評価値と、図３のステップＳ３０４にて顔検出ＯＫの状態あるいは基準取得フラグＴＲＵＥで再取得した顔移動検出のための基準評価値とを比較し、追尾を行う。なお、この顔追尾動作にあるときに顔追尾フラグがＴＲＵＥとなる。

ステップＳ４０７では、顔追尾フラグがＴＲＵＥとなっているかどうかを調べ、顔追尾フラグがＴＲＵＥであればステップＳ４１０へと進み、ＦＡＬＳＥであればステップＳ４０８へと進む。ステップＳ４０８では、前回設定したＡＦ枠位置、つまり最近の顔検出結果より設定したＡＦ枠を基準としてＮ×Ｍ個の多枠を設定してステップＳ４０９へと進む。例えばＮ＝３、Ｍ＝３の場合は、図５ｂ）に示すように３×３の９つのＡＦ枠を設定する。なお、後述するステップＳ４１１における焦点評価値の変化判定対象となるＡＦ枠は、前回設定したＡＦ枠位置に設定されたＡＦ枠とする。ステップＳ４０９では顔追尾フラグをＴＲＵＥとする。この顔追尾フラグがＴＲＵＥの状態では、Ｎ×Ｍ個の多枠が設定される。しかし、操作表示部１１７表示される撮像素子１０８にて得られた撮像画像を基に生成された画像には、この多枠にそれぞれ対応する領域ではなく、基準としたＡＦ枠に対応する領域が重畳表示される。この表示により、撮影者にカメラがどこにピントを合わせようとしているのかを示すことができる。

ステップＳ４１０では後述するステップＳ４１２でカウントされる焦点評価値の変化カウンタが所定値であるか調べ、変化カウンタが所定値であればステップＳ４１４へ進み、そうでなければステップＳ４１１へ進む。ステップＳ４１１では、焦点評価値が基準評価値に対して評価値変化閾値として設定される所定割合以上変化しているか調べ、所定割合以上変化していればステップＳ４１２へ進み、そうでなければステップＳ４１３へ進む。ステップＳ４１２では、焦点評価値が基準評価値に対して所定割合以上連続して何回変化したかをカウントする「変化カウンタ」に１を加える。ステップＳ４１３では、所定割合以上の変化がないため、変化カウンタをクリアする。

これにより、例えば図５ｂ）から図５ｃ）のように主被写体が変化したときに、前回設定したＡＦ枠位置に設定されたＡＦ枠の焦点評価値が変化することとなり、主被写体である主顔が移動したと判断することができる。

以下ステップＳ４１４からステップＳ４２１の処理は、ステップＳ４１０とステップＳ４１１による基準評価値に対する焦点評価値の変化とその連続変化回数により顔が移動したと判断した場合の動作に関する。さらに、設定されている複数のＡＦ枠から基準評価値と略同等な焦点評価値を示すＡＦ枠を顔の移動先ＡＦ枠と判定する動作に関するものである。

ステップＳ４１４では、現在のフォーカスレンズ位置を中心に微小な範囲をスキャンする。つまり、フォーカスレンズを移動させながら画像を取得して合焦状態である焦点評価値を取得する。ステップＳ４１５では、スキャンで取得した焦点評価値において所定値以上のピーク値の有無により複数の設定されているＡＦ枠ごとに合焦判定を行う。ステップＳ４１６では、複数のＡＦ枠の合焦判定結果において合焦であったＡＦ枠があるか調べ、合焦したＡＦ枠があればステップＳ４１７へ進み、そうでなければステップＳ４０５へ進む。ステップＳ４１７では、各ＡＦ枠においてスキャンで得られた焦点評価値のピーク値のうち、基準評価値に対する変化割合が最も小さいＡＦ枠を、最も顔らしいＡＦ枠と判断して選択する。ステップＳ４１８では、選択されたＡＦ枠の焦点評価値が基準評価値に対して顔評価値判定閾値として設定される所定割合以内の変化量であるか調べ、所定割合以内の変化量であればステップＳ４１９へ進み、そうでなければステップＳ４０５へ進む。ステップＳ４１９では、選択されたＡＦ枠位置を基準としてステップＳ４０８と同様にＮ×Ｍ個のＡＦ枠を再設定する。ステップＳ４２０では基準取得フラグをＴＲＵＥとし、ステップＳ４２１では変化カウンタをクリアする。

これにより、例えば、図５ｂ）から図５ｃ）のように主被写体の位置が変化したときに、顔の移動と移動先の枠を判断して、図５ｄ）のようにＡＦ枠を再設定することができる。この動作により顔が検出されなくなった後でも、顔位置にＡＦ枠を設定し続けることができ、顔にピントを合わせ続けることができる。また、複数の枠を画面全体に敷きつめる必要はなく、顔の周辺のみでよいため、無駄な演算時間をかけなくてすむ。

ステップＳ４２２では、ＡＦ枠の設定をそのまま維持してステップＳ４２３へと進む。ステップＳ４２３では顔の検出ができない状態となってからの焦点評価値の取得回数をカウントする顔ＮＧカウンタに１を加えてステップＳ４２４へと進む。ステップＳ４２４では顔ＮＧカウンタが所定値以上であるか調べ、所定値以上であれば主被写体が画面内にいなくなったと判断し、ステップＳ４０５へ進み画面中央にＡＦ枠を設定する。

これにより、顔が検出された後に所定回数以上、顔が検出されなくなった場合には、画面内から顔がなくなったと判断して、顔追尾をやめることができる。なお、図２におけるステップＳ２１０の動画記録中のＣｏｎｔｉｎｕｏｕｓＡＦ動作とステップＳ２１４の静止画撮影前のＣｏｎｔｉｎｕｏｕｓＡＦ動作では、図４のステップＳ４１０における変化カウンタ閾値を変えてもよい。また、ステップＳ４１１における評価値変化閾値、ステップＳ４１８における顔評価値判定閾値、ステップＳ４２４における顔ＮＧカウンタ閾値を変えてもよい。

＜ＡＦ動作のサブルーチン＞
以下、図６のフローチャートを参照しながら図２のフローチャートにおけるＳ２１７のＡＦ動作のサブルーチンを説明する。

まず、Ｓ６０１においてＣｏｎｔｉｎｕｏｕｓＡＦ動作中であるか調べ、ＣｏｎｔｉｎｕｏｕｓＡＦ動作中であればステップＳ６０２へ進み、そうでなければステップＳ６０４へ進む。ステップＳ６０２では、図３に示すＣｏｎｔｉｎｕｏｕｓＡＦにおいてピーク検出フラグがＴＲＵＥであるか調べ、ＴＲＵＥであればステップＳ６０３へ進み、そうでなければステップＳ６０４へ進む。ステップＳ６０３では、ＣｏｎｔｉｎｕｏｕｓＡＦ動作により合焦に近い状態と考えられるため、現在のフォーカスレンズ位置を中心とした焦点検出範囲全域よりも狭い範囲をスキャンするよう制御する。一方、ステップＳ６０４では焦点検出範囲全域をスキャンするよう制御する。

ステップＳ６０５ではＡＦ処理部１０５の中のＡＦ評価値演算部により、スキャンで取得した焦点評価値において所定値以上のピーク値の有無により合焦判定を行う。ステップＳ６０６では、ステップＳ６０５の合焦判定結果が合焦であったか調べ、合焦であればステップＳ６０７へ進み、そうでなければステップＳ６０８へ進む。Ｓ６０７ではＡＦ処理部１０５の中の合焦位置決定部により抽出された前記所定値以上のピーク値を示したときのフォーカスレンズ１０４の位置、すなわち合焦位置に、フォーカスレンズ１０４を移動するよう制御する。また、操作表示部１１７に合焦した焦点検出領域を表示するよう制御する。ステップＳ６０８では狭い範囲のスキャンのみ実施の場合には再度全域のスキャンを行うため、焦点検出範囲全域をスキャン済であるか調べ、全域スキャン済であればステップＳ６０９へ進み、そうでなければステップＳ６０４へ進む。ステップＳ６０９では、所定値以上のピーク値が求まらなかった場合であり、非合焦時であるため、定点と呼ばれる予め設定された位置へフォーカスレンズ１０４を移動する。

＜撮影のサブルーチン＞
以下、図７のフローチャートを参照しながら図２のフローチャートにおけるＳ２１９の撮影のサブルーチンを説明する。

まず、ステップＳ７０１では被写体輝度を測定する。ステップＳ７０２ではステップＳ７０１で測定した被写体輝度に応じて撮像素子１０８への露光を行う。上記露光により撮像素子面上に結像された像は光電変換されてアナログ信号となる。そして、アナログ信号はステップＳ７０３にてＡ／Ｄ変換器１０９へと送られ、撮像素子１０８の出力ノイズ除去や非線形処理などの前処理の後にデジタル信号に変換される。そして画像処理部１１０により、ステップＳ７０４でＡ／Ｄ変換器１０９からの出力信号を適正な出力画像信号とされる。そして、ステップＳ７０５で出力画像信号に対してＪＰＥＧフォーマット等への画像フォーマット変換が行われ、Ｓ７０６で記録部１１４へ転送され記憶される。

なお、上述では撮影者の意図する主被写体を人物として記述し、焦点検出のための領域を顔検出された領域としたが、これに限るものではない。例えば、背景から被写体像を切り出して主被写体そして検出し、その被写体位置に対応する領域を焦点検出領域として設定してもよい。

また、図４のステップＳ４２４において、所定回数以上、顔検出に失敗して複数の焦点検出領域の設定を繰り返した場合には、顔追従を停止して、画面の中央に焦点検出領域を設定する構成とした。しかしながら、これに限らず、予め決められた時間が経過しても顔検出に失敗した場合に顔追従を停止して、画面の中央に焦点検出領域を設定するようにしてもよい。

また、図４のステップＳ４０８では、前回設定したＡＦ枠位置を基準としてＮ×Ｍ個の多枠を設定する構成とした。しかしながら、前回設定したＡＦ枠位置がＮ×Ｍ個の多枠を設定できないほど端側の位置に存在する場合には、Ｎ×Ｍ個のよりもＡＦ枠の数を減らして枠設定するように構成してもよい。

また、上述では撮像画像に基づいて被写体の顔を検出して、検出された顔領域を基に主被写体を決定し主被写体に対応する焦点検出領域を設定し、その焦点検出領域における撮像画像を基に焦点評価値を演算して焦点調節を行う構成とした。しかしながら、これに限定されるものではない。例えば、顔検出した領域に対応する位相差検出センサの焦点検出領域においてフォーカスレンズのデフォーカス量を検出して、焦点調節を行う構成としてもよい。この場合にも、主被写体の顔が検出できなくなった場合には、以前に顔検出できたときの主被写体位置とその周辺に対応する位相差検出センサの焦点検出領域においてフォーカスレンズのデフォーカス量をそれぞれ検出する。そして、その結果をもとに焦点調節を行う。これにより、無駄に焦点検出領域を設定することなく主被写体にピントを合わせ続けることができる。

また、上述では、顔検出がＮＧとなった場合には、最近の顔検出ができていたときのＡＦ枠を基準としてＮ×Ｍ個の多枠を設定する構成とした。しかしながら、多枠でなくても、顔検出ができていたときのＡＦ枠とは異なるＡＦ枠を、顔検出ができていたときのＡＦ枠と共に設定して、その位置に対応する焦点検出領域における検出結果を基に焦点調節を行うよう構成してもよい。

また、この顔追尾フラグがＴＲＵＥの状態では、操作表示部１１７表示される画像には、この多枠にそれぞれ対応する領域ではなく、基準としたＡＦ枠に対応する領域が重畳表示される構成とした。しかしながら、多枠にそれぞれ対応する領域を重畳表示してもよいし、追尾中は領域の表示をしないように構成してもよい。

以上説明したように、本実施形態では、主被写体が検出できなくなっても、検出ができたときの主被写体位置に主焦点検出領域を設定して合焦制御を行う。そして、主焦点検出領域を基準として、できるだけ少なく複数の焦点検出領域を設定する。そして、各焦点検出領域の焦点評価値より主被写体の移動及び移動先を判断し、移動先に基づいて主焦点検出領域及び複数の焦点検出領域を再設定することを繰り返す。これにより、無駄に焦点検出領域を設定することなく主被写体にピントを合わせ続けることができる。

本発明を適用した電子カメラの構成を示すブロック図である。 本発明を適用した電子カメラの動作を表すフローチャート図である。 図２におけるＣｏｎｔｉｎｕｏｕｓＡＦ動作のサブルーチンのフローチャート図である。 図３におけるＣｏｎｔｉｎｕｏｕｓＡＦ動作中のＡＦ枠設定のサブルーチンのフローチャート図である。 図４においてＣｏｎｔｉｎｕｏｕｓＡＦ動作中のＡＦ枠設定のしかたを説明する図である。 図２におけるＡＦ動作のサブルーチンのフローチャート図である。 図２における撮影動作のサブルーチンのフローチャート図である 従来におけるＡＦ枠の設定の問題点を説明する図である。

符号の説明

１０１ 撮影レンズ
１０２ 絞り及びシャッター
１０３ ＡＥ処理部
１０４ フォーカスレンズ
１０５ ＡＦ処理部
１０６ ストロボ
１０７ ＥＦ処理部
１０８ 撮像素子
１０９ Ａ／Ｄ変換部
１１０ 画像処理部
１１１ ＷＢ処理部
１１２ フォーマット変換部
１１３ ＤＲＡＭ
１１４ 画像記録部
１１５ システム制御部
１１６ ＶＲＡＭ
１１７ 操作表示部
１１８ 操作部
１１９ 撮影モードスイッチ
１２０ メインスイッチ
１２１ 撮影スタンバイスイッチ
１２２ 撮影スイッチ
１２３ 動画スイッチ
１２４ 顔検出モジュール

Claims (7)

1. 撮像画像から合焦すべき被写体像を検出する検出手段と、
   撮像光学系の合焦状態を検出する際の焦点検出領域を設定する設定手段と、
   前記焦点検出領域における信号出力に基づいて前記撮像光学系を移動させて焦点調節を行う焦点調節手段とを有する焦点調節装置であって、
   前記検出手段による合焦すべき被写体像の検出ができ検出結果に基づいて第１の焦点検出領域が設定された後に当該検出ができなくなった場合、前記設定手段は前記第１の焦点検出領域の他に前記第１の焦点検出領域と隣接する周辺領域に第２の焦点検出領域を設定し、前記焦点調節手段は当該設定された第１、第２の焦点検出領域における信号出力の少なくとも一方に基づいて前記撮像光学系を移動させることを特徴とする焦点調節装置。
2. 前記焦点検出領域に指標を表示する表示手段を更に有し、当該表示手段は、前記検出手段による合焦すべき被写体像の検出ができた後に当該検出ができなくなった場合においても、前記指標を表示することを特徴とする請求項１に記載の焦点調節装置。
3. 前記検出手段は、前記合焦すべき被写体像の顔の位置、大きさ、信頼度の少なくともいずれかを検出することを特徴とする請求項１又は請求項２に記載の焦点調節装置。
4. 前記第１、第２の焦点検出領域は、領域の大きさが等しいことを特徴とする請求項１乃至請求項３のいずれか１項に記載の焦点調節装置。
5. 前記第２の焦点検出領域は、複数設定されることを特徴とする請求項１乃至４のいずれか１項に記載の焦点調節装置。
6. 前記撮像光学系により光電変換された被写体像を光電変換して撮像画像を出力する撮像手段と、
   前記撮像手段を用いて得られた前記撮像画像を記録媒体に記録するよう制御する記録手段と、
   請求項１乃至５のいずれか１項に記載の焦点調節装置とを有することを特徴とする撮像装置。
7. 撮像画像から合焦すべき被写体像を検出する検出手段と、撮像光学系の合焦状態を検出する際の焦点検出領域を設定する設定手段と、前記焦点検出領域における信号出力に基づいて前記撮像光学系を移動させて焦点調節を行う焦点調節手段とを有する焦点調節装置の焦点調節方法であって、
   前記検出手段による合焦すべき被写体像の検出ができ検出結果に基づいて第１の焦点検出領域が設定された後に当該検出ができなくなった場合、前記設定手段により前記第１の焦点検出領域の他に前記第１の焦点検出領域と隣接する周辺領域に第２の焦点検出領域を設定し、前記焦点調節手段により当該設定された第１、第２の焦点検出領域における信号出力の少なくとも一方に基づいて前記撮像光学系を移動させることを特徴とする焦点調節方法。

Images