JP5783696B2 - 撮像装置、オートズーム方法、及び、プログラム - Google Patents

Description

本発明は、オートズーム機能を有する撮像装置に関する。

従来から、カメラを任意の被写体に向けると、その被写体距離に応じて予めカメラに設定された像倍率となるように自動的にズーミングを行う、いわゆるオートズーム機能を備えたカメラが知られている。特許文献１には、表示画面上における顔画像の面積を算出し、この顔面積を基準顔面積と比較して、常に同じ大きさの顔画像を撮影する方法が開示されている。

また特許文献２には、撮像画像の中から形状解析等の手法によって人物の顔を自動的に検出する撮像装置が開示されている。この撮像装置では、人物の顔が検出されると、画面上でその旨を表示するとともに検出された人物の顔に対して焦点検出エリアを表示し、この焦点検出エリアに対して焦点調節動作を行う。このような撮像装置によれば、撮像画像全体から人物の顔を検出することで、画面内の人物の位置又は範囲に関わらず、人物の顔に対して焦点調節動作を行うことができる。

特開平０６−１５３０４７号公報 特開２００３−１０７３３５号公報

しかしながら、例えば、顔検出機能を用いて検出された顔に対してオートズーム機能を実行する撮像装置において、移動している顔に対してオートズーム機能を有効にした場合、撮影画面内から消失してしまう可能性が考えられる。撮影者のカメラワークで中央に配置することは可能だが、顔が撮影画面内を移動する速度が速い場合、すぐに画面から消失してしまう頻度が多くなる。このように、オートズーム機能を有効にしても、撮影画面内からすぐに消失してしまう場合、ズーム動作の実行、非実行を繰り返してしまったり、顔が撮影画面内から消失してしまっているのにズーム動作を行ってしまったりしてしまう。そして、記録された映像を撮影者が鑑賞した場合に、違和感のあるズーム動作をしてしまって、不快に感じてしまう可能性がある。

そこで本発明は、オートズーム動作の安定性を向上させた撮像装置を提供する。

本発明の一側面としての撮像装置は、ズームレンズを含む撮像光学系により形成された被写体像を光電変換して像信号を出力する撮像素子と、前記撮像素子から出力された前記像信号に基づいて主被写体を検出する被写体検出手段と、前記ズームレンズを駆動して変倍動作を行い、前記主被写体が画面上で一定の大きさになるようにオートズーム制御を行うズーム制御手段と、前記オートズーム制御の中で、前記主被写体の所定割合が前記画面の所定領域内に存在しないと判定された場合に前記オートズーム制御を停止させる制御手段とを有する。

また、上記オートズーム制御を実行するためのオートズーム方法及びプログラムも本発明の他の一側面を構成する。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、オートズーム動作の安定性を向上させた撮像装置を提供することができる。

本実施例における撮像装置の概略構成を示すブロック図である。 第１実施形態におけるオートズーム制御の手順を示すフローチャートである。 第１実施形態における移動監視処理の手順を示すフローチャートである。 第１実施形態において、所定時間後の画角における顔位置を示すイメージ図である。 第１実施形態における他の移動監視処理の手順を示すフローチャートである。 第２実施形態におけるオートズーム制御の手順を示すフローチャートである。 第２実施形態における移動監視処理の手順を示すフローチャートである。 第２実施形態において、所定時間後の画角における顔の存在判別のイメージ図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、本発明の実施例における撮像装置について説明する。図１は、本実施例の撮像装置（ビデオカメラ）の概略構成を示すブロック図である。なお、撮像装置として本実施例ではビデオカメラについて説明するが、これに限定されるものではなく、本実施例はデジタルスチルカメラ等の他の撮像装置にも適用可能である。

図１において、ビデオカメラ１００は、光軸方向に、第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４、及びフォーカスコンペンセータレンズ１０５が順次配置され、これらによって撮像光学系が構成される。変倍レンズ１０２は、光軸方向に移動して変倍を行うズームレンズである。フォーカスコンペンセータレンズ（以下、フォーカスレンズ）１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたレンズである。そして、フォーカスレンズ１０５の背部には、撮像素子１０６が配置されている。撮像素子１０６は、ＣＣＤセンサやＣＭＯＳセンサにより構成される光電変換素子であり、結像された光学像を電気信号に変換してＣＤＳ／ＡＧＣ回路１０７に出力する。このように撮像素子１０６は、変倍レンズ１０２を含む撮像光学系により形成された被写体像を光電変換して像信号を出力する。ＣＤＳ／ＡＧＣ回路１０７は、撮像素子１０６の出力をサンプリングしてゲイン調整する。

ビデオカメラ１００は、カメラ信号処理回路１０８、モニタ部１０９、ズーム駆動源１１０、フォーカシング駆動源１１１、ＡＦゲート１１２、ＡＦ信号処理回路１１３、カメラ／ＡＦマイクロコンピュータ１１４、及び、記録部１１５を備える。カメラ信号処理回路１０８は、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を施して映像信号を生成する。モニタ部１０９は、ＬＣＤ等により構成されるモニタ（画面）であり、カメラ信号処理回路１０８から出力された映像信号を撮像画像として表示する。記録部１１５は、カメラ信号処理回路１０８から出力された映像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。

ＡＦゲート１１２は、ＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち焦点調節に用いられる領域の信号のみをＡＦ信号処理回路１１３に通過させる。ＡＦ信号処理回路１１３は、ＡＦゲート１１２を通過した信号から高周波成分、輝度差成分等を抽出してＡＦ評価値信号を生成し、生成したＡＦ評価値信号をカメラ／ＡＦマイクロコンピュータ１１４（以下、単に「コンピュータ」という。）に出力する。輝度差成分は、例えば、ＡＦゲート１１２を通過した信号の輝度レベルの最大値と最小値の差分である。また、ＡＦ評価値信号は、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度を表す。鮮鋭度は撮像光学系の焦点状態によって変化するため、ＡＦ評価値信号は撮像光学系の焦点状態を表す信号となる。

制御部としてのコンピュータ１１４は、ビデオカメラ１００全体を制御する。コンピュータ１１４は、例えば、ズーム制御やフォーカス制御などを行う。ズーム制御は、ズーム駆動源１１０を制御して変倍レンズ１０２を駆動させる。コンピュータ１１４及びズーム駆動源１１０は、変倍レンズ１０２を駆動して変倍動作を行い、主被写体が画面上で一定の大きさになるようにオートズーム制御を行うズーム制御手段を構成する。

フォーカス制御は、フォーカシング駆動源１１１を制御してフォーカスレンズ１０５を駆動させる。ズーム駆動源１１０及びフォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ、ボイスコイルモータ等のアクチュエータにより構成される。ここで、コンピュータ１１４によるフォーカス制御には、公知のＴＶ−ＡＦ方式（以下、単に「ＴＶ−ＡＦ」という。）による制御を用いることができる。また、オートズーム制御動作実行時も、ＴＶ−ＡＦ方式により、変倍レンズ１０２及びフォーカスレンズ１０５を制御しながら、公知のズーム制御時のピント合わせを行う。さらに、ズームレンズ位置検出装置１２０及びフォーカスレンズ位置検出装置１２１が設けられており、それぞれ、変倍レンズ１０２及びフォーカスレンズ１０５の光軸方向の位置を検出する。そして、ズームレンズ位置検出装置１２０によりズームレンズ位置を検出しながらズーム制御を行い、フォーカスレンズ位置検出装置１２１によりフォーカスレンズ位置を検出しながらフォーカス制御を行う。さらに、ズームレンズ位置（焦点距離）及びズーム倍率は、コンピュータ１１４の内部又は外部に設けられた不揮発性メモリ等の記憶手段（不図示）に記憶される。

さらに、ビデオカメラ１００は、顔検出処理回路１１６、顔検出モード切替部１１７、選択指示部１１８、及び、オートズームモード切替部１１９を備えている。被写体検出手段としての顔検出処理回路１１６は、カメラ信号処理回路１０８から出力された映像信号に対して公知の顔認識処理を施す。そして、撮影画面内の主被写体（顔領域）を検出し、被写体位置情報を含む検出結果をコンピュータ１１４に送信する。被写体位置情報とは、撮影画面内での被写体領域の位置に関する情報である。このように、顔検出処理回路１１６は、撮像素子１０６から出力された像信号に基づいて主被写体を検出する。

コンピュータ１１４は、受信した検出結果に基づき、撮影画面内の顔領域を含む位置に対して焦点検出に用いられる領域を追加するため、ＡＦゲート１１２へ情報を送信する。公知の顔認識処理としては、例えば、映像信号に対応した画像データで表される各画素の階調色から肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔領域を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔領域を検出する方法がある。本実施例における顔認識処理は、上述の方法に限定されるものではなく、公知のいずれの方法でもよい。また、コンピュータ１１４は、顔検出処理回路１１６で認識された顔領域を撮影者に通知するために、顔領域の位置、サイズ等の情報をカメラ信号処理回路１０８へ送信し、これらの情報に対応した枠表示を映像信号に重畳させてモニタ部１０９に表示させる。

顔検出モード切替部１１７は、顔検出処理による制御（顔検出制御）の有効／無効を切り替える機能を有する。顔検出制御が有効の場合、コンピュータ１１４は、ＡＦ制御等について顔検出処理の結果に応じた制御を行う。選択指示部１１８は、顔検出制御において、撮影者が特定の被写体に固定しようとする場合に、特定の顔を撮影者が選択指示する機能を有する。撮影者は十字キーやタッチパネル等の操作部材を用いて特定の顔を選択、指示することで、コンピュータ１１４は、選択、指示された顔に対して、ＡＦ制御等を行う（以下、「主顔選択」という）。オートズームモード切替部１１９は、オートズーム機能の有効／無効を切り替える機能を有する。オートズーム機能が有効の場合、コンピュータ１１４は、顔検出処理の結果に応じてズーム駆動源１１０を制御することによって、検出された顔が常に一定の大きさとなるようにズーム制御を行う。
［第１実施形態］
次に、図２を参照して、本発明の第１実施形態におけるオートズーム制御について説明する。図２は、本実施形態におけるオートズーム制御の手順を示すフローチャートである。図２のフローで示される顔検出制御の処理は、コンピュータ１１４内のメモリに格納されたプログラムに従って実行される。

まずステップＳ２０１において、コンピュータ１１４によりオートズーム制御が開始される。なお、本フローの処理は、例えば、１フィールド画像を生成するための撮像素子１０６からの撮像信号の読み出し周期にて繰り返し実行される。次にステップＳ２０２において、顔検出処理回路１１６からオートズーム制御の対象となる顔の画面上の位置、及び、大きさを取得する。そして、ステップＳ２０３において、現在のズーム位置を取得する。

ステップＳ２０４では、ステップＳ２０２で取得した顔の大きさについて、前回取得した顔の大きさと比較し、顔の大きさが所定のしきい値サイズ以上変化したか否かを判定する。顔の大きさが所定のしきい値サイズ以上変化している場合、オートズーム制御の対象となる顔が動いていると判断し、後述するステップＳ２０５の移動監視処理へ移行する。なお、ステップＳ２０５の移動監視処理の詳細については後述する。一方、顔の大きさが所定のしきい値サイズ以上変化していない場合、ステップＳ２０９へ移行する。

ステップＳ２０５における移動監視処理の後、ステップＳ２０６にてズーム動作禁止フラグがセットされているか否かを判断する。ズーム動作禁止フラグがセットされていない場合には、ステップ２０７へ移行する。一方、ズーム動作禁止フラグがセットされている場合には、ステップＳ２０９へ移行する。ここで、ズーム動作禁止フラグがセットされている場合には、新たに目標ズーム位置を設定してズーム動作を実行することにより、オートズーム制御の対象となる顔が撮影画角内から消失している、又は、消失する可能性が高いと判断された状態である。これにより、オートズーム制御の対象となる顔が移動している等ですぐに撮影画角から消失してしまう場合に、ズーム動作を不用意に大きく行うことを防ぐことができる。すなわち、オートズーム制御の対象となる顔が撮影画角から消失しているにも関わらずオートズーム動作を実行することによる不安定な動作を軽減し、撮影者にとって違和感のある制御を軽減することが可能となる。

ステップＳ２０９への移行は、ステップＳ２０４において取得した顔の大きさが前回取得した顔の大きさと変化がない、又は、ステップＳ２０５の移動監視処理においてズーム動作禁止フラグがセットされている状態であることを示す。このため、新たな目標ズーム位置は設定されず目標ズーム位置は更新されない。ただし、前回設定された目標ズーム位置へズーム位置が到達していないと判断される場合には、目標ズーム位置までズーム動作を実行する。そのため、ステップＳ２０９では、目標ズーム位置にズーム位置が到達しているか否かを判定し、ステップＳ２０３で取得された現在のズーム位置が目標ズーム位置に到達していない場合には、ステップＳ２０７へ移行する。一方、現在のズーム位置が目標ズーム位置に到達している場合には、ステップＳ２１０へ移行する。

ステップＳ２０７では、設定されている目標ズーム位置へズームを駆動させる。一方、ステップＳ２１０では、ズーム動作を行わないようにズーム駆動を停止させる。そして、ステップＳ２０８において、オートズーム制御の対象となっている顔の位置、及び、大きさの履歴、さらに現在のズーム位置又はズーム倍率に関する情報を、揮発性メモリ等から構成される記憶手段（不図示）に保存する。

次に、図３を参照して、本実施形態のオートズーム制御における移動監視処理について説明する。図３は、本実施形態における移動監視処理（ステップＳ２０５）の手順を示すフローチャートである。まずステップＳ３０１で移動監視処理が開始されると、ステップＳ３０２において、取得した現在の顔の大きさ及び現在のズーム位置に基づいて、次に移動させるズーム位置を仮算出する。例えば、前回の顔の大きさと現在の顔の大きさを比較し、顔の大きさが例えば１．５倍の大きさに変化していた場合、現在のズーム倍率が３倍であれば、ズーム倍率が２倍となるズーム位置を移動位置として仮算出する。ここで、予め記憶手段にズーム位置（焦点距離）又はズーム倍率との関係を示すズーム倍率テーブルデータを記憶しておくことにより、ズーム倍率が３倍や２倍等になるズーム位置を容易に算出することができる。そして、ステップＳ３０３において、変倍レンズ１０２を上記の移動位置へ移動させる際の変倍レンズ１０２の駆動スピードを設定する。変倍レンズ１０２の駆動スピードは、オートズーム制御を実行している際には、変倍レンズ１０２を移動させるのに撮影者が違和感のない所定の固定駆動スピードでよい。

次にステップＳ３０４において、ステップＳ３０２で得られたズーム位置（ズームレンズの位置）とステップＳ３０３で設定した変倍レンズ１０２の駆動スピード（ズーム速度）に基づいて、所定時間後の画角を算出する。画角の算出は、算出手段（コンピュータ１１４）の画角算出部により行われる。ここで、所定時間後とは、顔検出処理回路１１６の検出周期と同等でよく、例えば、顔検出処理回路１１６の検出周期が１フレーム単位であれば、所定時間は１／３０秒となる。また、所定時間後の画角の算出の方法は、例えば、まず前述の所定時間とステップＳ３０３で設定した変倍レンズ１０２の駆動スピードから所定時間後の変倍レンズ１０２の移動量Ｌ１を算出する。そして、現在のズーム位置から移動量Ｌ１だけ移動した際のズーム位置Ｐ２を算出し、前記ズーム倍率テーブルデータより所定時間後のズーム倍率Ｚ２を導く。これにより、所定時間後の画角が現在の画角に対してどのような画角サイズになるのかを算出することができる。例えば、現在のズーム倍率が４倍で、所定時間後のズーム倍率Ｚ２が２倍である場合、所定時間後の画角は現在の画角に対して、約２倍の画角サイズになる。

次にステップＳ３０５において、ステップＳ２０８で履歴しているオートズーム制御の対象となる顔の位置及び大きさ、さらにはズーム位置から、ステップＳ３０４で算出した所定時間後の画角における顔の位置及び大きさを算出する。すなわち、算出手段としてのコンピュータ１１４は、画面上での主被写体の位置及び大きさを監視し、所定時間後の主被写体の位置及び大きさを算出する。ここでは、まず、ステップＳ２０８で記憶されたるオートズーム制御の対象である顔の位置及び大きさの履歴、及び、ズーム位置に関する情報を用いて、所定時間後の画角における顔の位置及び大きさを算出する。この算出は、算出手段の被写体位置算出部により行われる。例えば、履歴されているオートズーム制御の対象となっている顔の位置、サイズ、及び、ズーム位置で前回の顔のＸ座標位置Ｘ（ｔ）、Ｙ座標位置Ｙ（ｔ）、顔のサイズＦ（ｔ）、ズーム位置をズーム倍率でＺ（ｔ）倍の位置であるとする。また、今回の顔のＸ座標位置Ｘ（ｔ＋１）、Ｙ座標位置Ｙ（ｔ＋１）、顔のサイズＦ（ｔ＋１）、ズーム位置をズーム倍率でＺ（ｔ＋１）倍の位置であるとする。そして、所定時間後の画角がズーム倍率でＺ（ｔ＋２）倍のズーム位置であるとする。なお、Ｘ座標位置及びＹ座標位置は、画面中心を基準とする。この場合、所定時間後の画角であるズーム倍率Ｚ（ｔ＋２）倍のズーム位置に移動した際の前回の顔のＸ座標位置Ｘ１（ｔ）、Ｙ座標位置Ｙ１（ｔ）、顔のサイズＦ１（ｔ）はそれぞれ、以下の式（１−１）、（１−２）、（１−３）のように表される。

Ｘ１（ｔ）＝Ｘ（ｔ）×Ｚ（ｔ＋２）／Ｚ（ｔ） … （１−１）
Ｙ１（ｔ）＝Ｙ（ｔ）×Ｚ（ｔ＋２）／Ｚ（ｔ） … （１−２）
Ｆ１（ｔ）＝Ｆ（ｔ）×Ｚ（ｔ＋２）／Ｚ（ｔ） … （１−３）
また、所定時間後の画角であるズーム倍率Ｚ（ｔ＋２）倍のズーム位置に移動した際の前回の顔のＸ座標位置Ｘ１（ｔ＋１）、Ｙ座標位置Ｙ１（ｔ＋１）、顔のサイズＦ１（ｔ＋１）はそれぞれ、以下の式（２−１）、（２−２）、（２−３）のように表される。

Ｘ１（ｔ＋１）＝Ｘ（ｔ＋１）×Ｚ（ｔ＋２）／Ｚ（ｔ＋１） … （２−１）
Ｙ１（ｔ＋１）＝Ｙ（ｔ＋１）×Ｚ（ｔ＋２）／Ｚ（ｔ＋１） … （２−２）
Ｆ１（ｔ＋１）＝Ｆ（ｔ＋１）×Ｚ（ｔ＋２）／Ｚ（ｔ＋１） … （２−３）
上記のとおり算出された顔のＸ座標位置Ｘ１（ｔ）、Ｘ１（ｔ＋１）の移動量（変位量）から、所定時間後の画角における顔のＸ座標位置Ｘ（ｔ＋２）は、以下の式（３−１）のように表される。

Ｘ（ｔ＋２）＝Ｘ１（ｔ＋１）＋（Ｘ１（ｔ＋１）−Ｘ１（ｔ）） … （３−１）
同様に、顔のＹ座標位置Ｙ１（ｔ）、Ｙ１（ｔ＋１）の移動量（変位量）から、所定時間後の画角における顔のＹ座標位置Ｙ（ｔ＋２）は、以下の式（３−２）のように表される。

Ｙ（ｔ＋２）＝Ｙ１（ｔ＋１）＋（Ｙ１（ｔ＋１）−Ｙ１（ｔ）） … （３−２）
また、顔のサイズＦ１（ｔ）、Ｆ１（ｔ＋１）の変位量から、所定時間後の画角における顔のサイズＦ（ｔ＋２）は、以下の式（３−３）のように表される。

Ｆ（ｔ＋２）＝Ｆ１（ｔ＋１）＋（Ｆ１（ｔ＋１）−Ｆ１（ｔ）） … （３−３）
図４は、上記のように算出された所定時間後の画角における位置のイメージ図である。ここで、オートズーム制御の対象である被写体が、図４（Ａ）中に示される矢印のように移動したとする。４０１は前回と今回の画角、４０２は前回の被写体、４０３は今回の被写体である。これに対し、図４（Ｂ）は、所定時間後の画角を基準とした顔の位置及び大きさ（被写体）を示している。４０４は所定時間後の画角、４０５は所定時間後の画角を基準とした前回の被写体、４０６は所定時間後の画角を基準とした今回の被写体、４０７は所定時間後の画角を基準とした所定時間後の被写体（予測）である。４０８は所定時間後の画角に対する前回と今回の画角である。なお、図４に示されるイメージ図では、所定時間後の画角が前回と今回の画角の約１．５倍であると仮定している。

次にステップＳ３０６では、ステップＳ３０５で予測して算出された顔の位置及び大きさが所定時間後の画角において、オートズーム制御の対象となる顔が存在するか否かを判定する。すなわち、判定手段としてのコンピュータ１１４は、算出手段（画角算出部と被写体位置算出部）の算出結果に基づいて、所定時間後の主被写体の所定割合が画面の所定領域内に存在するか否かを判定する。具体的には、図４（Ｂ）において、所定時間後の画角４０４内に所定時間後の画角における被写体が少なくとも所定の面積割合（所定割合）だけ含まれるか否かが判定される。例えば、所定時間後の画角における顔位置及び大きさの被写体面積の３／４倍の面積が所定時間後の画角４０４内に含まれるか否かが判定される。図４（Ｂ）において、所定時間後の画角４０４における被写体４０２、４０３は、画角４０４内に含まれているため顔が存在すると判定される。一方、所定時間後の画角４０４における被写体４０７に関しては、所定時間後の画角４０４内に被写体４０７の所定の面積割合（例えば３／４の面積）が画角４０４内に含まれていない。この場合、顔が存在しないと判定される。

ステップＳ３０６において、所定時間後の画角内にオートズーム制御の対象となる顔が存在する場合には、ステップＳ３０７へ移行する。一方、オートズーム制御の対象となる顔が存在しない場合には、ステップＳ３０８へ移行する。ステップＳ３０７では、顔が存在する可能性が高いため、ステップＳ３０２で仮算出したズーム位置を目標ズーム位置として設定する。一方ステップＳ３０８では、顔が存在する可能性が低いため、ズーム動作禁止フラグをセットする。すなわち、停止手段としてのコンピュータ１１４は、主被写体の所定割合が画面の所定領域内に存在しないと判定された場合にオートズーム制御を停止させる（禁止する）。このように、コンピュータ１１４は、画面上での主被写体の変化量が所定値より大きい場合にオートズーム制御を停止させる制御手段である。ズーム動作禁止フラグがセットされると、コンピュータ１１４は、新たに目標ズーム位置を設定せず、オートズーム制御における目標ズーム位置を更新しない。

また本実施形態では、所定時間後の画角４０４の内側に判別画角を設定し、判別画角内に顔位置及び大きさの被写体４０６（又は、被写体４０７）が存在するか否かを判定してもよい。また判別画角は、顔の位置の変化量（移動量）に応じて可変にすることができる。図５は、この場合の移動監視処理（ステップＳ２０５１）の手順を示すフローチャートである。図５において、ステップＳ５０１〜Ｓ５０５、Ｓ５０７、及び、Ｓ５０８は、図３のステップＳ３０１〜Ｓ３０５、Ｓ３０７、及び、Ｓ３０８と同様であるため、それらの説明については省略する。

図５のステップＳ５１０において、算出手段の移動量算出部は、被写体位置算出部により算出された顔の位置の履歴から顔の移動量を算出する。すなわち、ステップＳ５０５で算出された所定時間後の画角におけるオートズーム制御の対象となる顔の位置に基づいて、所定時間後の画角における顔の移動量を算出する。次にステップＳ５１１において、顔の移動量から所定時間後の画角の内側に判別画角（所定領域）を設定する。そしてステップＳ５１２にて、判定手段は、顔の所定割合がその判別画角内に存在するか否かを判定する。例えば、顔の移動量が所定の第１移動量よりも小さい場合には、判別画角を所定時間後の画角と同等にする。一方、顔の移動量が所定の第１移動量よりも大きい場合には、判別画角として、所定時間後の画角よりも内側に小さい領域を設定する。このように、判定手段は、移動量算出部により算出された主被写体の移動量が大きいほど画面の所定領域が小さくなるように、所定領域の大きさを変更する。

所定時間後の画角において顔の位置が画角の端に存在すると、次回のオートズーム制御では有効な動作が困難となる可能性がある。また、顔の位置の変化量が大きい場合、次回のオートズーム制御では画面から消失する可能性もある。このため、顔の位置や顔の位置の変化に応じて、所定時間後の画角５０４の内側に判別画角を設定し、その判別画角に存在するか否かを判別する。この結果、次回の制御周期で判別する前に、オートズーム制御の実行を継続するか否かを判別することができ、より確実にオートズーム制御の対象となる顔が存在するか否かを判別が可能となる。このため、不用意なズーム動作を軽減でき、撮影者の違和感を軽減することが可能となる。

常に顔の大きさを一定にして撮影できるオートズーム機能を有する撮像装置において、オートズーム制御の対象となる顔が動きの速い被写体であり、又は、移動している被写体である場合には、撮影画角から消失してしまう可能性がある。このとき、不用意にズーム動作を実行すると、撮影画面からオートズーム制御の対象となる顔が存在しないのにも関わらずズーム動作が行われ、撮影者に違和感や不快感を与える場合がある。また、画面内に対象となる顔を配置して、ズーム動作をしては対象となる顔が消失するという動作を繰り返し、安定した制御ができず、撮影映像の品位が劣化する場合がある。このため本実施形態では、オートズーム制御の対象となる顔の履歴を用いて、顔の大きさが変化した場合、オートズーム動作によって変化する撮影画角内に対象となる顔が存在するか否かを判定する。そして、顔が存在する場合にはオートズーム動作の実行を継続し、顔が存在しない場合にはオートズーム動作の実行を禁止する。これにより、オートズーム制御の安定感が向上し、撮影者の違和感や不快感を軽減することが可能となる。
［第２実施形態］
次に、図６を参照して、本発明の第２実施形態におけるオートズーム制御（追尾制御）について説明する。図６は、本実施形態におけるオートズーム制御の手順を示すフローチャートである。図６のフローで示される顔検出制御の処理は、第１実施形態と同様に、コンピュータ１１４内のメモリに格納されたプログラムに従って実行される。なお図６において、ステップＳ６０１、Ｓ６０３〜Ｓ６１０は、図２のステップＳ２０１、Ｓ２０３〜Ｓ２１０とそれぞれ同様であるため、これらの説明は省略する。

本実施形態は、図２及び図３を参照して説明した第１実施形態のオートズーム制御の際に、顔検出処理回路１１６で顔検出ができなかった場合に、追尾制御を実行するビデオカメラ（撮像装置）に関する。なお、追尾制御は、コンピュータ１１４により実行され、公知の処理が適用される。例えば、テンプレートマッチングの手法があり、追尾対象の画像領域（本実施例ではオートズーム制御の対象となる顔で、最後に顔検出された領域）を切り出した部分画像を基準画像（テンプレート画像）として登録する。そして、基準画像内の輝度や色情報を特徴量とし、画像内で基準画像の特徴量と最も相関度が高い領域を推定し、特定の被写体（本実施例ではオートズーム制御の対象となる顔）を追尾する。

まず、図６のステップＳ６２０において、顔検出処理回路１１６によりオートズーム制御の対象となる顔が検出できたか否かが判定される。ステップＳ６２０にて顔が検出された場合にはステップＳ６２１へ移行し、顔検出処理回路１１６からオートズーム制御の対象となる顔の画面上の位置及び大きさを取得する。ステップＳ６２１では、顔検出処理回路１１６に含まれる第１被写体検出回路が、特定の画面から被写体（顔）を検出する。一方、顔が検出できなかった場合にはステップＳ６２２へ移行する。ステップＳ６２２では、オートズーム制御の対象となる顔を追尾対象として、追尾制御を実行しているか否かを判定する。追尾制御を実行していない場合には、オートズーム制御を実行しない。一方、追尾制御を実行している場合にはステップＳ６２３へ移行し、追尾対象領域における顔の位置及び大きさを取得する。ステップＳ６２３では、顔検出処理回路１１６に含まれる第２被写体検出回路が、時系列に連続した複数の画面から被写体（顔）を検出する。ステップＳ６０３以降は、図２を参照して説明した第１実施形態と同様の処理が行われる。

次に、図７を参照して、本実施形態における移動監視処理（ステップＳ６０５）について詳細に説明する。図７は、本実施形態における移動監視処理の手順を示すフローチャートである。図７において、ステップＳ７０１〜Ｓ７０５、Ｓ７０７、及び、Ｓ７０８は、図３のステップＳ３０１〜Ｓ３０５、Ｓ３０７、及び、Ｓ３０８と同様であるため、これらの説明は省略する。

移動監視処理が開始されると、図３を参照して説明した第１実施形態と同様の処理（ステップＳ７０２〜Ｓ７０５）が行われる。そしてステップＳ７３１において、オートズーム制御の対象となる顔を追尾対象として、追尾制御を実行しているか否かを判定する。追尾制御を実行していない場合にはステップＳ７３２へ移行し、所定時間後の画角の内側に所定時間後の画角に対して所定の第１割合だけ小さい領域を判別画角（所定領域）として設定する。一方、追尾制御を実行している場合にはステップＳ７３３へ移行し、所定時間後の画角の内側に所定時間後の画角に対して所定の第２割合だけ小さい領域を判別画角（所定領域）として設定する。次にステップＳ７３４において、ステップＳ７０５で算出された所定時間後の顔の位置及び大きさに基づき、所定時間後の画角における上記判別画角（所定領域）に対して、オートズーム制御の対象となる顔が存在するか否かを判定する。そして、判別画角にオートズーム制御の対象となる顔が存在するか否かを判定した結果に応じて、第１実施形態と同様の処理（ステップＳ７０７、Ｓ７０８）を行う。

ここで、第２割合だけ小さい領域は、第１割合だけ小さい領域よりも小さい。すなわち判定手段は、顔が第２被写体検出回路により検出された場合には、第１被写体検出回路により検出された場合と比較して、画面の所定領域（判定画角）が小さくなるように、この所定領域の大きさを変更する。第１割合だけ小さい領域は、所定時間後の画角全体の領域であってもよい。図８は、所定時間後の画角における顔の存在判別のイメージ図である。図８（Ａ）は、所定時間後の画角の内側に所定時間後の画角に対して第１割合だけ小さい領域を第１判別画角８０４（例えば１５／１６倍の領域）とした場合を示す。また図８（Ｂ）は、所定時間後の画角の内側に所定時間後の画角に対して第２割合だけ小さい領域を第２判別画角８０６（例えば３／４倍の領域）とした場合を示す。ここで、８０２と８０７は同じ位置、同じ大きさであり、８０３と８０８は同じ位置、同じ大きさを示している。

図８（Ａ）の場合、所定時間後の画角８０１における顔位置及びサイズの予測位置８０２は、第１判別画角８０４内に含まれているため、顔が存在すると判定される。一方、所定時間後の画角８０１における顔位置及びサイズの予測位置８０３は、第１判別画角８０４内に所定の面積割合（例えば３／４の面積）が第１判別画角８０４内に含まれていないため、顔が存在しないと判定される。一方、図８（Ｂ）の場合、所定時間後の画角８０５における顔位置及びサイズの予測位置８０７は、第２判別画角８０６内に含まれているため、顔が存在すると判定される。一方、所定時間後の画角８０５における顔位置及びサイズの予測位置８０８は、第２判別画角８０６内に所定の面積割合（例えば３／４の面積）が第２判別画角８０６内に含まれていないため、顔が存在しないと判定される。

このように本実施形態では、オートズーム制御の対象となる顔が顔検出の結果から得られた情報か、又は、追尾制御の実行結果から得られた情報かにより、オートズーム制御の対象となる顔が所定時間後の画角内に存在するか否かを判定する判別画角を変更する。追尾制御を実行する場合、顔検出の結果よりもオートズーム制御の対象となる顔の位置及び大きさの情報の信頼度が低下する。すなわち追尾制御では、画面内でマッチングの相関性が高い位置を追尾対象領域と判定するため、背景に類似した被写体が存在した場合背景に誤追尾する可能性がある。また、顔が様々な角度に向いたりして動く場合、マッチングの相関性が正確に把握できず、常に顔の大きさと同等であるとは限らない。このため、オートズーム制御を安定して実行することができず、撮影映像の品位が劣化するおそれがある。そこで本実施形態では、追尾制御を実行している際には、判別画角を顔検出により顔情報を得た場合に比べて狭く設定する。これにより、オートズーム制御の実行を制限し、オートズーム制御の安定性が向上し、撮影者の違和感や不快感を軽減することが可能となる。

なお、第１実施形態と第２実施形態を組み合わせて構成することもできる。このとき、第１実施形態において顔の位置の移動量から所定時間後に顔が存在するか否かを判別するため、第２実施形態における第１判別画角を用いてもよい。さらに、顔検出できたか否か、又は、追尾制御を行っているか否かに応じて、第２判別画角を用いてもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上述の各実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接又は有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置（撮像装置）に供給し、そのプログラムを実行する場合も本発明に含まれる。従って、本発明の機能処理をコンピュータで実現するために、このコンピュータに供給、インストールされるプログラムコード自体、すなわち、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。なお、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリが用いられる。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続されたクライアントコンピュータがコンピュータプログラムをダウンロードしてインストールする方法も用いられる。

１０２ 変倍レンズ
１０６ 撮像素子
１１０ ズーム駆動源
１１４ カメラ／ＡＦマイクロコンピュータ
１１６ 顔検出処理回路

Claims (7)

1. ズームレンズを含む撮像光学系により形成された被写体像を光電変換して像信号を出力する撮像素子と、
   前記撮像素子から出力された前記像信号に基づいて主被写体を検出する被写体検出手段と、
   前記ズームレンズを駆動して変倍動作を行い、前記主被写体が画面上で一定の大きさになるようにオートズーム制御を行うズーム制御手段と、
   前記オートズーム制御の中で、前記主被写体の所定割合が前記画面の所定領域内に存在しないと判定された場合に前記オートズーム制御を停止させる制御手段と、を有することを特徴とする撮像装置。
2. 前記制御手段は、
   前記画面上での前記主被写体の位置及び大きさを監視し、所定時間後の該主被写体の位置及び大きさを算出する算出手段と、
   前記算出手段の算出結果に基づいて、前記所定時間後の主被写体が前記画面の所定領域内に存在するか否かを判定する判定手段と、
   前記画面上での前記主被写体の大きさの変化量が所定値より大きく、所定時間後に前記主被写体が前記画面の所定領域内に存在しないと判定された場合に前記オートズーム制御を停止させる停止手段と、を有することを特徴とする請求項１に記載の撮像装置。
3. 前記被写体検出手段により検出された前記主被写体の位置及び大きさの履歴と前記ズームレンズの位置に関する情報を記憶する記憶手段を更に有し、
   前記算出手段は、
   前記ズームレンズの位置とズーム速度に基づいて前記所定時間後の画角を算出する画角算出部と、
   前記記憶手段に記憶された前記情報から前記画角算出部で算出された前記所定時間後の画角における前記主被写体の位置及び大きさを算出する被写体位置算出部と、を有し、
   前記判定手段は、前記画角算出部と前記被写体位置算出部の算出結果に基づいて、前記画面の所定領域内に前記主被写体が存在するか否かを判定することを特徴とする請求項２に記載の撮像装置。
4. 前記算出手段は、前記被写体位置算出部により算出された前記主被写体の位置の履歴から該主被写体の移動量を算出する移動量算出部を有し、
   前記判定手段は、前記移動量算出部により算出された前記主被写体の移動量が大きいほど前記画面の所定領域が小さくなるように、該所定領域の大きさを変更することを特徴とする請求項３に記載の撮像装置。
5. 前記被写体検出手段は、
   特定の画面から前記主被写体を検出する第１被写体検出手段と、時系列に連続した複数の画面から該主被写体を検出する第２被写体検出手段と、を有し、
   前記判定手段は、前記主被写体が前記第２被写体検出手段により検出された場合には、前記第１被写体検出手段により検出された場合と比較して、前記画面の所定領域が小さくなるように、該所定領域の大きさを変更することを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. ズームレンズを含む撮像光学系により形成された被写体像を光電変換して像信号を出力し、
   前記像信号に基づいて主被写体を検出し、
   前記ズームレンズを駆動して変倍動作を行い、前記主被写体が画面上で一定の大きさになるようにオートズーム制御を行い、
   前記オートズーム制御の中で、前記主被写体の所定割合が前記画面の所定領域内に存在しないと判定された場合に前記オートズーム制御を停止させる、ことを特徴とするオートズーム方法。
7. 被写体像を光電変換して出力された像信号に基づいて主被写体を検出し、該主被写体が画面上で一定の大きさになるようにオートズーム制御を行う撮像装置に実行させるプログラムであって、
   前記オートズーム制御の中で、前記主被写体の所定割合が前記画面の所定領域内に存在しないと判定された場合に前記オートズーム制御を停止させる、ことを特徴とするプログラム。

Images