JP5383361B2 - 撮像装置及びその制御方法、並びにプログラム - Google Patents

Description

本発明は、被写体を追尾することが可能な撮像装置及びその制御方法、並びにプログラムに関するものである。

従来、画像の情報を用いて被写体を追尾する方法として、輝度信号を用いた方法と色信号を用いた方法が知られている。輝度信号を用いた方法には、連続するフレームに対して、画像の特徴的な部分における輝度信号の画素同士の差の絶対値和が最小になる位置から動きベクトルを検出するというものなどがある。色信号を用いた方法には、画像の特徴的な部分の色を特徴量として記憶し、その色が画像のどの領域に存在するかを検出していくというものなどがある。

輝度信号を用いた方法では検出精度が高い反面、被写体を見失った際には再検出が困難であり、色信号を用いた方法では被写体の再検出は容易だが、検出精度が低いという特徴がある。

そこで、輝度信号、色信号の両者を用いた方法として、特許文献１では、次のような被写体追尾装置が開示されている。即ち、輝度信号を用いて別フレームの画像信号からの被写体の検出を行い、輝度信号では被写体を見失ったと判断した際には色信号で再検出する。このとき、被写体を見失ったことは画像信号から判定する。色信号を用いて被写体が再検出されたら再度輝度信号を用いて追尾を行う。

特開平８−２３７５３６号公報

上述の特許文献１に開示された従来技術では、被写体を見失ったことを画像信号から判定しており、被写体を見失った際に色信号を用いる構成になっている。しかしながら、画像のノイズが多くなったり、ブレが発生しやすくなるような、輝度信号による追尾性能が低下するような撮影条件において、画像信号から必ず正確に被写体を見失ったと判定できるとは限らない。そのため、そのような場合には誤った位置を追尾をしてしまう可能性があった。

本発明は上記従来の問題点に鑑み、撮影条件によらず被写体を正確に追尾することができる撮像装置及びその制御方法、並びにプログラムを提供することである。

上記目的を達成するために、本発明の撮像装置は、被写体像を撮影する撮像手段と、前記撮像手段から出力される画像の輝度信号に基づき、被写体を追尾する第１の追尾手段と、前記撮像手段から出力される画像の色信号に基づき、前記被写体を追尾する第２の追尾手段とを備え、前記撮像手段による撮影時の露光時間が所定の時間よりも短い場合には前記第１の追尾手段に、前記露光時間が前記所定の時間よりも短くない場合には前記第２の追尾手段に、前記被写体を追尾させることを特徴とする。

本発明によれば、撮影条件によらず被写体を正確に追尾することが可能になる。

撮像装置の一実施の形態であるデジタルカメラのシステム構成を示すブロック図である。 デジタルカメラ１００を起動してからの動作を示すフローチャートである。 第１の実施の形態における追尾処理を示すフローチャートである。 第２の実施の形態における追尾処理を示すフローチャートである。 第３の実施の形態における追尾処理を示すフローチャートである。

以下、本発明の実施の形態について、図面を参照しながら説明する。

［第１の実施の形態］
＜デジタルカメラの構成＞
図１は、本発明の撮像装置の一実施の形態であるデジタルカメラのシステム構成を示すブロック図である。

デジタルカメラ１００は、被写体像を結像させるためのレンズ１０を備えている。また、レンズ駆動回路４２によりレンズ位置を撮影光軸に沿って前後に動かすことで焦点を調節したり、画角を調節することも可能である。さらに、ブレ量検知回路４４で測定したカメラのブレ量を基に、手ブレ補正回路４０によってレンズを駆動し、手ブレをキャンセルする方向に光軸を変化させることで光学的な手ブレ補正を行う構成とすることも可能である。ブレ量検知回路４４には、ジャイロセンサーが含まれている。レンズ１０を通過した光は絞り１４によりその光量が調節される。

システム制御回路６０は、絞り制御情報を絞り駆動回路２６に伝達することで、絞り１４の開き量を制御する。システム制御回路６０は、これらの絞り１４と絞り駆動回路２６を用い、被写体輝度が高い場合は絞りを絞って光量を落とすように制御し、被写体輝度が低い場合は絞りを開放にして光を多く取り込むように制御する。

また、システム制御回路６０は、メカニカルシャッタの制御情報をメカニカルシャッタ駆動回路２８に伝達することで、メカニカルシャッタ１２を制御する。静止画撮影時の露光時間は、メカニカルシャッタ１２の開閉時間により決定され、この時間はシステム制御回路６０が時間を判断し、メカニカルシャッタ駆動回路２８に指示を出す。

レンズ１０、メカニカルシャッタ１２、及び絞り１４を通過した光は、ＣＣＤやＣＭＯＳイメージセンサから成る撮像素子１６で受光される。システム制御回路６０は、撮像素子制御信号をＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）２４に伝達することで、撮像素子１６を制御する。ＴＧ２４は、システム制御回路６０から受信した制御情報を基に撮像素子１６を駆動する。撮像素子１６は素子への露光と、露光した信号の読み出し作業を周期的に行っており、この作業はＴＧ２４からの駆動信号を基準に行われる。

撮像素子１６で露光した信号のうち、特定のラインや特定の領域のみを読み出してくることが可能である。これは、ＴＧ２４から出力される読み出し制御パルスにより読み出し方式を変更することで実現できる。システム制御回路６０は状況に応じて最適な読み出し方式を決定し、ＴＧ２４に指示する。

例えば、静止画撮影時は高解像度が要求されるため撮像素子１６の全画素の信号を読み出し、電子ファインダ時や動画撮影時は３０ｆｐｓ／６０ｆｐｓなどの高いフレームレートが要求されるため特定のラインだけ間引いて読み出す、といった使い分けを行う。

また、ＴＧ２４は、撮像素子１６の露光時間を制御することが可能である。任意のタイミングで、素子がチャージした電荷を開放するように、ＴＧ２４から撮像素子１６へ駆動信号を出すことでこれを可能としている。

撮像素子１６から読み出された画像信号は、ＣＤＳ回路（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｅｒ）１８を通過する。ＣＤＳ回路１８は相関二重サンプリング方式により画像信号のノイズ成分を除去することを主な役割とする。その後、画像信号は、ＰＧＡ回路（Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｉｎ Ａｍｐｌｉｆｉｅｒ）２０により、画像信号レベルを減衰／増幅することができる。システム制御回路６０は、増幅レベルをＰＧＡ２０に伝達することで増幅量を制御する。

通常、撮像素子１６の露出を適正にするには、絞り１４で撮像素子１６への露光量を適切に設定すると共に、シャッタにより露光時間を適切に設定することで実現される。しかし、ＰＧＡ２０で画像信号を減衰／増幅することで、擬似的に画像信号の露出を変える役割を担うことができる。これは、絞りやシャッタ速度と並ぶ撮影時の露出条件の一つとして、感度という概念でユーザに機能提供することが可能である。

画像信号は、Ａ／Ｄ変換回路（Ａｎａｌｏｇ／デジタル Ｃｏｎｖｅｒｔｅｒ）２２によってアナログ信号からデジタル信号へ変換される。Ａ／Ｄ変換回路２２でデジタル化された画像データは画像処理回路５０へ入力される。画像処理回路５０は複数のブロックから構成され、様々な機能を実現している。

撮像素子１６は、カラーフィルタを通して各画素ごとに特定の色成分を抽出するのが一般的である。Ａ／Ｄ変換回路２２からの画像データは撮像素子１６の画素及びカラーフィルタ配置に対応したデータ形式になっている。

画像処理回路５０は、画像信号から色信号を排除し、輝度信号のみを抜き出す機能を備えている。さらに、画像処理回路５０は、撮像素子１６から読み出された信号の周波数成分のみを抜き出す機能を備え、自動ピント合わせ制御（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）時に使用することができる。また、画像処理回路５０は、Ａ／Ｄ変換回路２２によりデジタル化された画像データのレベルの増減、画像の色効果などを操作する機能を備え、撮影画像の画質を調節するという役割も担っている。

Ａ／Ｄ変換回路２２でデジタル化された画像データは画像処理回路５０へ入力されると同時に、一時記憶メモリ３０に記憶することができる。一旦、一時記憶メモリ３０に記憶した画像データは再度読み出すことができ、システム制御回路６０から画像データを参照したり、読み出した画像データを画像処理回路５０に入力することが可能である。さらに、画像処理回路５０で画像処理した画像データを一時記憶メモリ３０に書き戻したり、システム制御回路６０から任意のデータを書き込むことも可能である。

ＬＣＤなどの画像表示装置１０８に画像データを出力する場合、画像処理回路５０で画像処理を行った画像データをＶＲＡＭ３４上に展開しておき、それをＤ／Ａ変換回路３６によってアナログ信号に変換して画像表示装置１０８の画面に表示する。

画像処理回路５０は、水平及び垂直方向のバンドパスフィルタにより、画像データからエッジ成分を検出する機能も備えている。検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳を抽出し、顔を検出することができる。また、画像処理回路５０で画像処理した後、一時記憶メモリ３０及びＶＲＡＭ３４に書き込まれる画像データは、輝度信号Ｙと、色信号としての色差信号ＵＶからなり、それらの信号から演算により被写体を追尾するための特徴量が抽出される。

画像表示装置１０８には、画像だけでなく任意の情報を単独で、もしくは画像と共に画面に表示することが可能である。カメラの状態表示や、ユーザが選択或いはカメラが決定したシャッタ速度や絞り値、感度情報などの文字情報や、画像処理回路５０で測定した輝度分布のようなグラフも表示可能である。このような情報を表示することで、ユーザインターフェースを実現している。また、画像表示装置１０８には、画像記憶媒体８２に記憶されている画像データを表示することも可能である。画像データが圧縮されている場合、圧縮伸張ブロック３２で伸張し、ＶＲＡＭ３４にデータを展開する。このデータをＤ／Ａ変換回路３４でアナログ信号に変換して出力する。

＜カメラの全体的な動作＞
次に、デジタルカメラ１００の起動後の動作について説明する。

図２は、デジタルカメラ１００を起動してからの動作を示すフローチャートである。

カメラ１００の電源投入スイッチ１０２ が押下された後、システム制御回路６０は撮影に必要な各種デバイスの初期化を行う（ステップＳ１０１）。レンズ１０を含む鏡筒の繰り出し処理を行い、画像処理回路５０などの初期化、起動も行う。

次に、システム制御回路６０は、撮像素子１６から読み出された画像信号について被写界輝度の測定を行う（ステップＳ１０２）。続いて、被写界輝度に応じてライブ画像（動画像）用の絞り、露光時間、ゲインなどの露出制御値を求め、その値に制御する（ステップＳ１０３）。これらの処理は、レリーズボタン（図示省略）を浅く押下する場合のＳＷ１動作がなされたと判定される（ステップＳ１１５）まで繰り返し行われるため、被写界の輝度変化に応じてライブ画像の露出は適正に制御され続ける。なお、レリーズボタンは一つの操作部材であるが、ボタンを浅く押下する場合（ＳＷ１動作）と深く押下する場合（ＳＷ２動作）の２段階の押下操作が行われるようになっている。自動露出制御や自動ピント制御を行うカメラの場合、レリーズボタンを浅く押すことで撮影準備として自動露出制御とピント制御が行われ、深く押すことで静止画撮影を行う操作が実現可能である。

ステップＳ１０３の後、システム制御回路６０は、撮像素子１６の露光時間が所定時間よりも短かったら（ステップＳ１０４）、ライブビューのフレームレートを例えば３０ＦＰＳというような基準フレームレートに設定する（ステップＳ１０５）。一方、撮像素子１６の露光時間が所定時間よりも長かったら（ステップＳ１０４）、フレームレートを基準フレームレートよりも低いレートに設定する（ステップＳ１０６）。そのため、被写界が暗い場合にも撮像素子１６の露光時間を長くし明るい画像データが取得できるため、ライブ画像表示のフレームレートが低くなる代わりに、被写界を明るく表示可能となり、フレーミングを適切に行うことができる。

続いて、ステップＳ１０５又はステップＳ１０６において設定されたフレームレートでライブ画像表示が行われる（ステップＳ１０７）。ライブ画像表示が開始されると、デジタルカメラ１００は撮影待機状態となり、ユーザは画像表示装置１０８を電子ビューファインダとして被写界のリアルタイム画像を視認しながらフレーミングできる。

ライブ画像表示された後、システム制御回路６０は既に被写体が検出済みで追尾中であるかを判定する（ステップＳ１０８）。被写体が検出されておらず追尾中でなかったなら、画像処理回路５０において被写体の検出を行う（ステップＳ１０９）。被写体の検出処理としては、例えば撮像素子１６から読み出された画像データを用いた顔検出や動体検出などが挙げられる。また、タッチパネルや操作部７０等の入力手段により指定されたものを被写体として検出するようにすることもできる。

被写体が検出された場合、被写体の追尾を開始するために、まず被写体領域として被写体枠を設定し位置とサイズを一時記憶メモリ３０に記憶する（ステップＳ１０９）。これは、検出した被写体を含む被写体周辺の画像データを用いて被写体の追尾を行うのに必要な情報を抽出するためである。また、画像表示装置１０８にライブ画像表示に重ねて被写体枠を表示することで、検出した被写体をユーザが認識できるようにすることができる。

次に、被写体を追尾するための特徴量として、被写体枠内の色情報を抽出し、一時記憶メモリ３０に記憶する（ステップＳ１０９）。具体的には、被写体枠内の画像データを一時記憶メモリ３０又はＶＲＡＭ３４から読み出し、色差信号Ｕ及びＶの平均値を被写体枠内の色情報として記憶する。ここでは、色情報として色差信号Ｕ及びＶの平均値を用いる例で説明をしているが、色情報として色差信号Ｕ及びＶのヒストグラムや色相、彩度を算出し用いるようにしてもよい。

続いて、被写体の追尾を開始する（ステップＳ１１２）。被写体の追尾が開始されると、デジタルカメラ１００は被写体追尾状態となり、毎フレーム繰り返し追尾処理を行い被写体枠が更新される。そのため、被写体が動いていても、被写体の露出が適正になるように制御し続けることや、被写体にピントを合わせ続けることが可能となる。

前記ステップＳ１０８において被写体が検出済みで追尾中であると判定されるか、ステップＳ１１２において被写体の追尾が開始された後、システム制御回路６０は、ステップＳ１１３の処理を実行する。即ち、ステップＳ１１３では、ブレ量検知回路４４で測定したカメラ１００のブレ量を取得し、一時記憶メモリ３０に記憶する。取得されたブレ量は続く追尾処理において使用される。

次に、被写体枠を更新するため、追尾処理を行う（ステップＳ１１４）。本実施の形態のデジタルカメラ１００では、撮影条件によらず被写体を正確に追尾するために、追尾処理において、露出条件やフレームレート、ブレ量に応じて追尾の方法を切り替えるが、詳細は後述する。

前記ステップＳ１０９において被写体の検出ができなかった場合、又はステップＳ１１４における追尾処理が完了した後、システム制御回路６０は、ＳＷ１の押下があるかどうかを検出する（ステップＳ１１５）。ＳＷ１押下を検出した場合、システム制御回路６０は、レリーズボタンにより露出とピントを合わせる撮影準備動作を開始したと判断して、自動露出制御及び自動ピント合わせ制御を行う（ステップＳ１１６）。

ＳＷ１動作の完了後、ＳＷ２の押下があるか、或いはＳＷ１ボタンがＯＦＦされて撮影を中断するかを検出し（ステップＳ１１７）、ＳＷ２押下を検出した場合、静止画撮影を行う（ステップＳ１１８）。

前記ステップＳ１１５においてＳＷ１押下が検出されなかったか、前記ステップＳ１１７においてＳＷ１ボタンがＯＦＦされたか、前記ステップＳ１１８における静止画撮影が完了した場合には、前記ステップＳ１０２へ戻る。つまり、ステップＳ１０２から再度処理を繰り返し行い、デジタルカメラ１００は撮影待機状態に戻る。

＜第１の実施の形態における追尾処理＞
以下、図３を参照して、第１の実施の形態における追尾処理（図２のステップＳ１１４）の詳細について説明する。

図３は、第１の実施の形態における追尾処理を示すフローチャートである。

追尾処理が開始されると、システム制御回路６０は、図２のステップＳ１０３において設定された撮像素子１６の露光時間が所定時間よりも長いかどうかを判定する（ステップＳ２０１）。撮像素子１６の露光時間が所定時間よりも短い場合には、ステップＳ３０１以降へ進んで輝度情報を用いた追尾を行う。一方、撮像素子１６の露光時間が所定時間よりも長い場合には、ステップＳ４０１以降へ進んで色情報を用いた追尾を行う。

輝度情報を用いた追尾では、システム制御回路６０は、一時記憶メモリ３０又はＶＲＡＭ３４に記憶されている１フレーム前の画像データと現在のフレームの画像データを読み出す。そして、一時記憶メモリ３０に記憶されている被写体枠内における輝度信号Ｙの差分の積分値が最小になる位置を検出し、移動量を被写体の動きベクトルとして抽出する（ステップＳ３０１）。次にステップＳ３０１において抽出された動きベクトルを用いて被写体枠位置を更新し（ステップＳ３０２）、輝度情報を用いた追尾の制御を終了する。

一方、色情報を用いた追尾では、システム制御回路６０は、まず一時記憶メモリ３０又はＶＲＡＭ３４に記憶されている現在のフレームの画像データを読み出す。そして、ｎ×ｍのブロックに分割し各ブロックの色差信号Ｕ及びＶの平均値をそのブロックの色情報として抽出する（ステップＳ４０１）。続いて、図２のステップＳ１０３において抽出され、一時記憶メモリ３０に記憶された被写体枠内の色情報を読み出し、各ブロックの色情報と比較を行い、被写体ブロックをサーチする（ステップＳ４０２）。最後に、ステップＳ４０２において検出された被写体ブロックの位置へ被写体枠位置を更新し（ステップＳ４０３）、色情報を用いた追尾の制御を終了する。

このように、露光時間が長く画像にブレが発生しやすい時には、精度の落ちる輝度情報を用いた追尾ではなく、色情報を用いて追尾するため、露光時間によらず被写体を正確に追尾することが可能となる。

なお、上記の説明では、撮像素子１６の露光時間により追尾方法を切り替えたが、別の条件に応じて追尾方法を切り替えるようにすることもできる。

例えば、撮像素子１６の露光時間の代わりに、ＰＧＡ２０のゲインが所定よりも大きいかどうかを判定し、ＰＧＡ２０のゲインが所定よりも小さい場合には、輝度情報を用いて追尾を行う。一方、ＰＧＡ２０のゲインが所定よりも大きい場合には、色情報を用いて追尾を行う。

また、他の方法では、撮像素子１６の露光時間の代わりに、図２のステップＳ１０５又はステップＳ１０６において設定されたフレームレートが所定よりも高いかどうかを判定する。フレームレートが所定よりも高い場合には、輝度情報を用いて追尾を行い、フレームレートが所定よりも低い場合には、色情報を用いて追尾を行う。

また、他の方法では、撮像素子１６の露光時間の代わりに、図２のステップＳ１１３において取得されたブレ量が所定よりも大きいかどうかを判定する。ブレ量が所定よりも小さい場合には、輝度情報を用いて追尾を行い、ブレ量が所定よりも大きい場合には、色情報を用いて追尾を行う。

これらの方法によれば、次のような利点がある。即ち、露光時間が長い時と同様に、ゲインが大きくノイズが増える時や、フレームレートが低くブレが発生しやすい時、またカメラがブレている時にも輝度情報を用いた追尾の精度は低下する。そのような場合に、精度の落ちる輝度情報を用いた追尾ではなく、色情報を用いて追尾するため、ゲインやフレームレート、ブレ量といった撮影条件によらず被写体を正確に追尾することが可能となる。

＜第１の実施の形態に係る利点＞
第１の実施の形態によれば、露出条件やフレームレート、ブレ量に応じて、輝度情報を用いて追尾する方法（第１の追尾手段）と色情報を用いて追尾する方法（第２の追尾手段）とを切り替えることで、撮影条件によらず被写体を正確に追尾することが可能となる。

［第２の実施の形態］
第２の実施の形態では、輝度情報及び色情報の両方を用いて追尾する方法と色情報を用いて追尾する方法とを切り替えるようにしたものである。

カメラの構成は、図１に示したものと同様であり、デジタルカメラ１００の起動後の動作も、図２を用いて第１の実施の形態で説明したものと同じである。以下、第１の実施の形態と異なる追尾処理について説明する。

＜第２の実施の形態における追尾処理＞
図４は、第２の実施の形態における追尾処理を示すフローチャートであり、図２のステップＳ１１４における追尾処理の詳細を示している。

追尾処理が開始されると、システム制御回路６０は、図２のステップＳ１０３において設定された撮像素子１６の露光時間が所定時間よりも長いかどうかを判定する（ステップＳ５０１）。撮像素子１６の露光時間が所定時間よりも短い場合には、ステップＳ６０１以降へ進んで輝度情報と色情報の両方を用いて追尾を行う。一方、撮像素子１６の露光時間が所定時間よりも長い場合には、第１の実施の形態で説明したステップＳ４０１以降の色情報を用いて追尾を行う。

輝度情報と色情報の両方を用いた追尾では、システム制御回路６０は、まず一時記憶メモリ３０又はＶＲＡＭ３４に記憶されている現在のフレームの画像データを読み出す。そして、ｎ×ｍのブロックに分割し各ブロックの色差信号Ｕ及びＶの平均値をそのブロックの色情報として抽出する（ステップＳ６０１）。

次に図２のステップＳ１０３において抽出され、一時記憶メモリ３０に記憶された被写体枠内の色情報を読み出し、各ブロックの色情報と比較を行い、被写体ブロックをサーチする（ステップＳ６０２）。続いて、ステップＳ６０２において検出された被写体ブロックの位置で続く輝度情報を用いた追尾を行うために、輝度差分を求める対象となる現在のフレームに対する被写体枠位置を設定する（ステップＳ６０３）。

その後、システム制御回路６０は、一時記憶メモリ３０又はＶＲＡＭ３４に記憶されている１フレーム前の画像データと現在のフレームの画像データを読み出す。そして、１フレーム前の被写体枠内と現在のフレームのステップＳ６０３において設定された被写体枠内における輝度信号Ｙの差分の積分値が最小になる位置を検出し、移動量を被写体の動きベクトルとして抽出する（ステップＳ６０４）。

最後に、ステップＳ６０４において抽出された動きベクトルを用いて被写体枠位置を更新し（ステップＳ６０５）、輝度情報を用いた追尾の制御を終了する。

第２の実施の形態においても、露光時間が長く画像にブレが発生しやすい時には、精度の落ちる輝度情報を用いた追尾ではなく、色情報を用いて追尾するため、露光時間によらず被写体を正確に追尾することが可能となる。

なお、上記の説明では、撮像素子１６の露光時間により追尾方法を切り替える例についてのみ説明したが、以下のように、ゲイン、フレームレート、ブレ量に応じて追尾方法を切り替えるようにすることもできる。

即ち、ＰＧＡ２０のゲインが所定よりも小さい場合には、輝度情報と色情報を用いて追尾を行い（ステップＳ６０１〜ステップＳ６０５）、ＰＧＡ２０のゲインが所定よりも大きい場合には色情報を用いて追尾を行う（ステップＳ４０１〜ステップＳ４０３）。

また、図２のステップＳ１０５又はステップＳ１０６において設定されたフレームレートが所定よりも高い場合には、上記のように、輝度情報と色情報を用いて追尾を行い、フレームレートが所定よりも低い場合には、色情報を用いて追尾を行う。

また、図２のステップＳ１１３において取得されたブレ量が所定よりも小さい場合には、上記のように、輝度情報と色情報を用いて追尾を行い、ブレ量が所定よりも大きい場合には、色情報を用いて追尾を行う。

＜第２の実施の形態に係る利点＞
第２の実施の形態によれば、露出条件やフレームレート、ブレ量に応じて、輝度情報及び色情報の両方を用いて追尾する方法と色情報を用いて追尾する方法とを切り替えるようにした。このようにしても、ゲインやフレームレート、ブレ量といった撮影条件によらず被写体を正確に追尾することが可能となる。

［第３の実施の形態］
第３の実施の形態では、輝度情報による動きベクトルと色情報による動きベクトルの重みを切り替えて追尾するようにしたものである。

カメラの構成は、図１に示したものと同様であり、デジタルカメラ１００の起動後の動作も、図２を用いて第１の実施の形態で説明したものと同じである。以下、第１の実施の形態と異なる追尾処理について説明する。

＜第３の実施の形態における追尾処理＞
図５は、第３の実施の形態における追尾処理を示すフローチャートであり、図２のステップＳ１１４における追尾処理の詳細を示している。

追尾処理が開始されると、システム制御回路６０は、まずステップＳ８０１からステップＳ８０５までにおいて動きベクトル抽出処理を行う。動きベクトル抽出処理では、輝度情報による動きベクトルと色情報による動きベクトルの２種類の動きベクトルを抽出する。

システム制御回路６０は、動きベクトル抽出処理を実行すべく、まず一時記憶メモリ３０又はＶＲＡＭ３４に記憶されている現在のフレームの画像データを読み出す。そして、ｎ×ｍのブロックに分割し各ブロックの色差信号Ｕ及びＶの平均値をそのブロックの色情報として抽出する（ステップＳ８０１）。次に、図２のステップＳ１０３において抽出され、一時記憶メモリ３０に記憶された被写体枠内の色情報を読み出し、各ブロックの色情報と比較を行い、被写体ブロックをサーチする（ステップＳ８０２）。

続いて、ステップＳ８０２において検出された被写体ブロックの位置を一時記憶メモリ３０に記憶する（ステップＳ８０３）。ここで、一時記憶メモリ３０に記憶した現在のフレームでの被写体ブロック位置は、次のフレームの処理時に一つ前のフレームとの差分から動きベクトルを抽出するために使用される。

そして、ステップＳ８０２において検出された被写体ブロックの位置と一時記憶メモリ３０に記憶されている一つ前のフレームでの被写体ブロック位置との差分から色情報による動きベクトルを抽出する（ステップＳ８０４）。

最後に、システム制御回路６０は、一時記憶メモリ３０又はＶＲＡＭ３４に記憶されている１フレーム前の画像データと現在のフレームの画像データを読み出す。そして、一時記憶メモリ３０に記憶されている被写体枠内における輝度信号Ｙの差分の積分値が最小になる位置を検出し、移動量を輝度情報による被写体の動きベクトルとして抽出し、動きベクトル抽出処理を終了する（ステップＳ８０５）。

こうして動きベクトルを抽出したら、続いてシステム制御回路６０は、図２のステップＳ１０３において設定された撮像素子１６の露光時間が所定時間よりも長いかどうかを判定する（ステップＳ７０２）。撮像素子１６の露光時間が所定時間よりも短い場合には、輝度情報による動きベクトルの方が色情報による動きベクトルよりも追尾に寄与するように重み付けして動きベクトルを算出し、被写体枠位置を更新する（ステップＳ７０３）。例えば、輝度情報による動きベクトル２に対して、色情報による動きベクトルが１になるように加重平均をとり動きベクトルを算出する。

一方、撮像素子１６の露光時間が所定時間よりも長い場合には、輝度情報による動きベクトルよりも色情報による動きベクトルの方が追尾に寄与するように重み付けして動きベクトルを算出し、被写体枠位置を更新する（ステップＳ７０４）。例えば、輝度情報による動きベクトル１に対して、色情報による動きベクトルが２になるように加重平均をとり動きベクトルを算出する。被写体枠位置を更新したら追尾の制御を終了する。

このように、露光時間が長く画像にブレが発生しやすい時には、精度の落ちる輝度情報よりも色情報の重みが大きくなるようにして追尾するため、露光時間によらず被写体を正確に追尾することが可能となる。

なお、上記の説明では、撮像素子１６の露光時間により追尾方法を切り替える例についてのみ説明したが、以下のように、ゲイン、フレームレート、ブレ量に応じて追尾方法を切り替えるようにすることもできる。

即ち、ＰＧＡ２０のゲインが所定よりも小さい場合には、色情報よりも輝度情報の重みが大きくなるようにして追尾を行う（ステップＳ７０３）。一方、ＰＧＡ２０のゲインが所定よりも大きい場合には、輝度情報よりも色情報の重みが大きくなるようにして追尾を行う（ステップＳ７０４）。

また、図２のステップＳ１０５又はステップＳ１０６において設定されたフレームレートが所定よりも高い場合には、上記のように、色情報よりも輝度情報の重みが大きくなるようにして追尾を行う。一方、フレームレートが所定よりも低い場合には、輝度情報よりも色情報の重みが大きくなるようにして追尾を行う。

また、図２のステップＳ１１３において取得されたブレ量が所定よりも小さい場合には、上記のように、色情報よりも輝度情報の重みが大きくなるようにして追尾を行う。ブレ量が所定よりも大きい場合には、輝度情報よりも色情報の重みが大きくなるようにして追尾を行う。

＜第３の実施の形態に係る利点＞
本実施の形態では、露出条件やフレームレート、ブレ量に応じて輝度情報による動きベクトルと色情報による動きベクトルの重みを切り替えて追尾する。これにより、第１及び第２の実施の形態と同様に、ゲインやフレームレート、ブレ量といった撮影条件によらず被写体を正確に追尾することが可能となる。

［他の実施の形態］
本発明の実施の形態は、ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ（ＣＰＵ，プロセッサ）にて実行することでも実現できる。

１６ 撮像素子
２０ ＰＧＡ
３０ 一時記憶メモリ
３４ ＶＲＡＭ
４４ ブレ量検知回路
５０ 画像処理回路
６０ システム制御回路
１０８ 画像表示装置

Claims (17)

1. 被写体像を撮影する撮像手段と、
   前記撮像手段から出力される画像の輝度信号に基づき、被写体を追尾する第１の追尾手段と、
   前記撮像手段から出力される画像の色信号に基づき、前記被写体を追尾する第２の追尾手段とを備え、
   前記撮像手段による撮影時の露光時間が所定の時間よりも短い場合には前記第１の追尾手段に、前記露光時間が前記所定の時間よりも短くない場合には前記第２の追尾手段に、前記被写体を追尾させることを特徴とする撮像装置。
2. 被写体像を撮影する撮像手段と、
   前記撮像手段から出力される画像の輝度信号に基づき、被写体を追尾する第１の追尾手段と、
   前記撮像手段から出力される画像の色信号に基づき、前記被写体を追尾する第２の追尾手段とを備え、
   前記撮像手段による撮影時の感度が所定の値よりも小さい場合には前記第１の追尾手段に、前記感度が前記所定の値よりも小さくない場合には前記第２の追尾手段に、前記被写体を追尾させることを特徴とする撮像装置。
3. 被写体像を撮影する撮像手段と、
   前記撮像手段から出力される画像の輝度信号に基づき、被写体を追尾する第１の追尾手段と、
   前記撮像手段から出力される画像の色信号に基づき、前記被写体を追尾する第２の追尾手段とを備え、
   前記撮像手段による撮影時のフレームレートが所定の値よりも高い場合には前記第１の追尾手段に、前記フレームレートが前記所定の値よりも高くない場合には前記第２の追尾手段に、前記被写体を追尾させることを特徴とする撮像装置。
4. 被写体像を撮影する撮像手段と、
   前記撮像手段から出力される画像の輝度信号に基づき、被写体を追尾する第１の追尾手段と、
   前記撮像手段から出力される画像の色信号に基づき、前記被写体を追尾する第２の追尾手段とを備え、
   前記撮像手段による撮影時のブレ量が所定の値よりも小さい場合には前記第１の追尾手段に、前記ブレ量が前記所定の値よりも小さくない場合には前記第２の追尾手段に、前記被写体を追尾させることを特徴とする撮像装置。
5. 被写体像を撮影する撮像手段と、
   前記撮像手段から出力される画像に基づき、被写体を追尾する第１の追尾手段と、
   前記撮像手段から出力される画像に基づき、前記被写体を追尾する第２の追尾手段とを備え、
   前記第１の追尾手段は、前記第２の追尾手段よりも前記画像の輝度信号の重みを大きくして前記被写体を追尾し、前記第２の追尾手段は、前記第１の追尾手段よりも前記画像の色信号の重みを大きくして前記被写体を追尾するものであって、
   前記撮像手段による撮影時の露光時間が所定の時間よりも短い場合には前記第１の追尾手段に、前記露光時間が前記所定の時間よりも短くない場合には前記第２の追尾手段に、前記被写体を追尾させることを特徴とする撮像装置。
6. 被写体像を撮影する撮像手段と、
   前記撮像手段から出力される画像に基づき、被写体を追尾する第１の追尾手段と、
   前記撮像手段から出力される画像に基づき、前記被写体を追尾する第２の追尾手段とを備え、
   前記第１の追尾手段は、前記第２の追尾手段よりも前記画像の輝度信号の重みを大きくして前記被写体を追尾し、前記第２の追尾手段は、前記第１の追尾手段よりも前記画像の色信号の重みを大きくして前記被写体を追尾するものであって、
   前記撮像手段による撮影時の感度が所定の値よりも小さい場合には前記第１の追尾手段に、前記感度が前記所定の値よりも小さくない場合には前記第２の追尾手段に、前記被写体を追尾させることを特徴とする撮像装置。
7. 被写体像を撮影する撮像手段と、
   前記撮像手段から出力される画像に基づき、被写体を追尾する第１の追尾手段と、
   前記撮像手段から出力される画像に基づき、前記被写体を追尾する第２の追尾手段とを備え、
   前記第１の追尾手段は、前記第２の追尾手段よりも前記画像の輝度信号の重みを大きくして前記被写体を追尾し、前記第２の追尾手段は、前記第１の追尾手段よりも前記画像の色信号の重みを大きくして前記被写体を追尾するものであって、
   前記撮像手段による撮影時のフレームレートが所定の値よりも高い場合には前記第１の追尾手段に、前記フレームレートが前記所定の値よりも高くない場合には前記第２の追尾手段に、前記被写体を追尾させることを特徴とする撮像装置。
8. 被写体像を撮影する撮像手段と、
   前記撮像手段から出力される画像に基づき、被写体を追尾する第１の追尾手段と、
   前記撮像手段から出力される画像に基づき、前記被写体を追尾する第２の追尾手段とを備え、
   前記第１の追尾手段は、前記第２の追尾手段よりも前記画像の輝度信号の重みを大きくして前記被写体を追尾し、前記第２の追尾手段は、前記第１の追尾手段よりも前記画像の色信号の重みを大きくして前記被写体を追尾するものであって、
   前記撮像手段による撮影時のブレ量が所定の値よりも小さい場合には前記第１の追尾手段に、前記ブレ量が前記所定の値よりも小さくない場合には前記第２の追尾手段に、前記被写体を追尾させることを特徴とする撮像装置。
9. 被写体像を撮影する撮像手段を有する撮像装置の制御方法であって、
   前記撮像手段から出力される画像の輝度信号に基づき、被写体を追尾する第１の追尾工程と、
   前記撮像手段から出力される画像の色信号に基づき、前記被写体を追尾する第２の追尾工程とを有し、
   前記撮像手段による撮影時の露光時間が所定の時間よりも短い場合には前記第１の追尾工程で、前記露光時間が前記所定の時間よりも短くない場合には前記第２の追尾工程で、前記被写体を追尾させることを特徴とする撮像装置の制御方法。
10. 被写体像を撮影する撮像手段を有する撮像装置の制御方法であって、
    前記撮像手段から出力される画像の輝度信号に基づき、被写体を追尾する第１の追尾工程と、
    前記撮像手段から出力される画像の色信号に基づき、前記被写体を追尾する第２の追尾工程とを備え、
    前記撮像手段による撮影時の感度が所定の値よりも小さい場合には前記第１の追尾工程で、前記感度が前記所定の値よりも小さくない場合には前記第２の追尾工程で、前記被写体を追尾させることを特徴とする撮像装置の制御方法。
11. 被写体像を撮影する撮像手段を有する撮像装置の制御方法であって、
    前記撮像手段から出力される画像の輝度信号に基づき、被写体を追尾する第１の追尾工程と、
    前記撮像手段から出力される画像の色信号に基づき、前記被写体を追尾する第２の追尾工程とを備え、
    前記撮像手段による撮影時のフレームレートが所定の値よりも高い場合には前記第１の追尾工程で、前記フレームレートが前記所定の値よりも高くない場合には前記第２の追尾工程で、前記被写体を追尾させることを特徴とする撮像装置の制御方法。
12. 被写体像を撮影する撮像手段を有する撮像装置の制御方法であって、
    前記撮像手段から出力される画像の輝度信号に基づき、被写体を追尾する第１の追尾工程と、
    前記撮像手段から出力される画像の色信号に基づき、前記被写体を追尾する第２の追尾工程とを備え、
    前記撮像手段による撮影時のブレ量が所定の値よりも小さい場合には前記第１の追尾工程で、前記ブレ量が前記所定の値よりも小さくない場合には前記第２の追尾工程で、前記被写体を追尾させることを特徴とする撮像装置の制御方法。
13. 被写体像を撮影する撮像手段を有する撮像装置の制御方法であって、
    前記撮像手段から出力される画像に基づき、被写体を追尾する第１の追尾工程と、
    前記撮像手段から出力される画像に基づき、前記被写体を追尾する第２の追尾工程とを備え、
    前記第１の追尾工程は、前記第２の追尾工程よりも前記画像の輝度信号の重みを大きくして前記被写体を追尾し、前記第２の追尾工程は、前記第１の追尾工程よりも前記画像の色信号の重みを大きくして前記被写体を追尾するものであって、
    前記撮像手段による撮影時の露光時間が所定の時間よりも短い場合には前記第１の追尾工程で、前記露光時間が前記所定の時間よりも短くない場合には前記第２の追尾工程で、前記被写体を追尾させることを特徴とする撮像装置の制御方法。
14. 被写体像を撮影する撮像手段を有する撮像装置の制御方法であって、
    前記撮像手段から出力される画像に基づき、被写体を追尾する第１の追尾工程と、
    前記撮像手段から出力される画像に基づき、前記被写体を追尾する第２の追尾工程とを備え、
    前記第１の追尾工程は、前記第２の追尾工程よりも前記画像の輝度信号の重みを大きくして前記被写体を追尾し、前記第２の追尾工程は、前記第１の追尾工程よりも前記画像の色信号の重みを大きくして前記被写体を追尾するものであって、
    前記撮像手段による撮影時の感度が所定の値よりも小さい場合には前記第１の追尾工程で、前記感度が前記所定の値よりも小さくない場合には前記第２の追尾工程で、前記被写体を追尾させることを特徴とする撮像装置の制御方法。
15. 被写体像を撮影する撮像手段を有する撮像装置の制御方法であって、
    前記撮像手段から出力される画像に基づき、被写体を追尾する第１の追尾工程と、
    前記撮像手段から出力される画像に基づき、前記被写体を追尾する第２の追尾工程とを備え、
    前記第１の追尾工程は、前記第２の追尾工程よりも前記画像の輝度信号の重みを大きくして前記被写体を追尾し、前記第２の追尾工程は、前記第１の追尾工程よりも前記画像の色信号の重みを大きくして前記被写体を追尾するものであって、
    前記撮像手段による撮影時のフレームレートが所定の値よりも高い場合には前記第１の追尾工程で、前記フレームレートが前記所定の値よりも高くない場合には前記第２の追尾工程で、前記被写体を追尾させることを特徴とする撮像装置の制御方法。
16. 被写体像を撮影する撮像手段を有する撮像装置の制御方法であって、
    前記撮像手段から出力される画像に基づき、被写体を追尾する第１の追尾工程と、
    前記撮像手段から出力される画像に基づき、前記被写体を追尾する第２の追尾工程とを備え、
    前記第１の追尾工程は、前記第２の追尾工程よりも前記画像の輝度信号の重みを大きくして前記被写体を追尾し、前記第２の追尾工程は、前記第１の追尾工程よりも前記画像の色信号の重みを大きくして前記被写体を追尾するものであって、
    前記撮像手段による撮影時のブレ量が所定の値よりも小さい場合には前記第１の追尾工程で、前記ブレ量が前記所定の値よりも小さくない場合には前記第２の追尾工程で、前記被写体を追尾させることを特徴とする撮像装置の制御方法。
17. 請求項９乃至１６いずれか１項に記載の撮像装置の制御方法を撮像装置のコンピュータに実行させるためのプログラム。