JP5965653B2 - 追尾装置及び追尾方法 - Google Patents

Description

本発明は、被写体を追尾する追尾装置及び追尾方法に関する。

一般に、動体を撮影する際や動画像を撮影する際に、特定の被写体に追従するように自動合焦制御（ＡＦ）や自動露光制御（ＡＥ）を行う技術が知られている。このような特定の被写体に追従するために追尾処理が用いられている。追尾処理には、輝度情報を利用するもの、色情報を利用するもの、顔検出を利用するもの等、種々のものがある。例えば特許文献１には、被写体の色情報に基づいて、被写体を追尾する技術が開示されている。例えば色情報に基づいて被写体を追尾する場合、追尾対象として設定された領域の色と類似する色が画像の中で探索される。

特許第２６０５００４号公報

追尾対象である追尾被写体を色情報に基づいて追尾する際に、追尾被写体の周辺に追尾被写体と類似する色を有する非追尾被写体が出現すると、追尾対象が追尾被写体から非追尾被写体に移行し、非追尾被写体の追尾が開始され、追尾被写体が見失われる恐れがある。

そこで本発明は、追尾被写体の周辺に追尾被写体の色と類似の色を有する被写体が存在しても、追尾被写体の追尾を継続できる追尾装置及び追尾方法を提供することを目的とする。

前記目的を果たすため、本発明の一態様によれば、追尾装置は、画像を取得する画像取得部と、前記画像のうち一部の領域を追尾領域に設定し、この追尾領域の色を追尾色に設定する追尾領域設定部と、前記画像において所定の位置関係を有する少なくとも３つの領域を比較領域に設定する比較領域設定部と、前記比較領域のうち前記追尾色に最も類似する色を有する前記比較領域を更新領域として選択する類似色検出部と、前記更新領域に基づいて前記追尾領域を再設定する追尾領域更新を前記追尾領域設定部に実行させる追尾領域更新部と、前記追尾領域の移動速度を決定する色取得位置決定部とを具備し、前記比較領域設定部は、前記色取得位置決定部が決定した前記追尾領域の前記移動速度に応じて、前記比較領域の数、前記追尾領域と前記比較領域との距離、前記追尾領域及び前記比較領域を結ぶ線と前記画像の任意の軸とが成す角、並びに、前記追尾領域の面積のうち少なくとも１つを変更することを特徴とする。

前記目的を果たすため、本発明の別の一態様によれば、追尾装置は、画像を取得する画像取得部と、前記画像のうち一部の領域を追尾領域に設定し、この追尾領域の色を追尾色に設定する追尾領域設定部と、前記画像において所定の位置関係を有する少なくとも３つの領域を比較領域に設定する比較領域設定部と、前記比較領域のうち前記追尾色に最も類似する色を有する前記比較領域を更新領域として選択する類似色検出部と、前記更新領域に基づいて前記追尾領域を再設定する追尾領域更新を前記追尾領域設定部に実行させる追尾領域更新部とを具備し、前記比較領域の色と前記追尾色との差異が所定の値以下であるとき、前記追尾領域更新部が前記追尾領域更新を行うフレームレートは高められることを特徴とする。

前記目的を果たすため、本発明の一態様によれば、追尾方法は、画像を取得することと、前記画像のうち一部の領域を追尾領域に設定し、この追尾領域の色を追尾色に設定することと、前記画像において所定の位置関係を有する少なくとも３つの領域を比較領域に設定することと、前記比較領域のうち前記追尾色に最も類似する色を有する前記比較領域を更新領域として選択することと、前記更新領域に基づいて前記追尾領域を再設定することと、前記追尾領域の移動速度を決定することとを具備し、前記比較領域を設定することは、前記追尾領域の前記移動速度に応じて、前記比較領域の数、前記追尾領域と前記比較領域との距離、前記追尾領域及び前記比較領域を結ぶ線と前記画像の任意の軸とが成す角、並びに、前記追尾領域の面積のうち少なくとも１つを変更することを含むことを特徴とする。

前記目的を果たすため、本発明の別の一態様によれば、追尾方法は、画像を取得することと、前記画像のうち一部の領域を追尾領域に設定し、この追尾領域の色を追尾色に設定することと、前記画像において所定の位置関係を有する少なくとも３つの領域を比較領域に設定することと、前記比較領域のうち前記追尾色に最も類似する色を有する前記比較領域を更新領域として選択することと、前記更新領域に基づいて前記追尾領域を再設定することとを具備し、前記比較領域の色と前記追尾色との差異が所定の値以下であるとき、前記追尾領域の再設定を行うフレームレートは高められることを特徴とする。

本発明によれば、追尾被写体の周辺に追尾被写体の色と類似の色を有する被写体が存在しても、追尾被写体の追尾を継続できる追尾装置及び追尾方法を提供できる。

本発明の一実施形態に係る追尾装置を備えた撮像装置の構成の一例を示す図。 顔検出処理について説明するための図。 一実施形態に係る撮像装置の撮影動作の一例を示すフローチャート。 第１の実施形態に係る追尾方法としての追尾処理の一例を示すフローチャート。 第１の実施形態に係る色情報取得位置判断処理の一例を示すフローチャート。 第１の実施形態に係る色情報取得位置判断処理によって得られる色情報取得位置の一例について説明するための図。 第１の実施形態に係る最類似色判断処理の一例を示すフローチャート。 第１の実施形態に係る最類似色判断処理による最類似色の取得を説明するための図。 従来の色追尾技術の一例について説明するための図。 従来の色追尾技術において生じ得る不都合を説明するための図。 第１の実施形態に係る色情報取得位置判断処理によって得られる色情報取得位置の一例について説明するための図。 第２の実施形態に係る追尾処理の一例を示すフローチャート。 第３の実施形態に係る追尾処理の一例を示すフローチャート。 第４の実施形態に係る色情報取得位置判断処理の一例を示すフローチャート。 第４の実施形態に係る色情報取得位置判断処理によって得られる色情報取得位置の一例について説明するための図。 第５の実施形態に係る最類似色判断処理の一例を示すフローチャート。

［第１の実施形態］
本発明の第１の実施形態について図面を参照して説明する。図１は、本実施形態に係る追尾装置を備えた撮像装置の構成の一例を示す図である。図１に示す撮像装置１００は、撮影光学系１０２と、焦点調整機構１０４と、絞り１０６と、絞り駆動機構１０８と、シャッタ１１０と、シャッタ駆動機構１１２と、撮像素子１１４と、撮像素子インターフェイス（ＩＦ）回路１１６と、ＲＡＭ１１８と、表示素子１２０と、表示素子駆動回路１２２と、タッチパネル１２４と、タッチパネル駆動回路１２６と、記録メディア１２８と、システムコントローラ１３０と、操作部１３２と、ＲＯＭ１３４とを有している。

撮影光学系１０２は、図示しない被写体からの光束Ｆを、撮像素子１１４の受光面上に集光するための光学系である。この撮影光学系１０２は、フォーカスレンズ等の複数のレンズを有している。また、撮影光学系１０２は、ズーム機構を有していてもよい。焦点調整機構１０４は、モータ及びその駆動回路等を有している。この焦点調整機構１０４は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮影光学系１０２内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動させる。

絞り１０６は、開閉自在に構成され、撮影光学系１０２を介して撮像素子１１４に入射する光束Ｆの量を調整する。絞り駆動機構１０８は、絞り１０６を駆動するための駆動機構を有している。この絞り駆動機構１０８は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、絞り１０６を駆動させる。

シャッタ１１０は、撮像素子１１４の受光面を遮光状態又は露光状態とするように構成されている。このシャッタ１１０により、撮像素子１１４の露光時間が調整される。シャッタ駆動機構１１２は、シャッタ１１０を駆動させるための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、シャッタ１１０を駆動させる。

撮像素子１１４は、撮影光学系１０２を介して集光された被写体からの光束Ｆが結像される受光面を有している。撮像素子１１４の受光面は、複数の画素が２次元状に配置されて構成されており、また、受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子１１４は、受光面に結像された光束Ｆに対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換する。ここで、撮像素子１１４としては、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列としては、ベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子１１４の構成が特定の構成に限定されるものではない。したがって、種々の構成の撮像素子が用いられ得る。

撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４を駆動させる。また、撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４で得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６は、アナログ処理した画像信号をデジタル信号（以下、画像データという）に変換する。

表示素子１２０は、例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー用の画像及び記録メディア１２８に記録された画像等の各種の画像を表示する。表示素子駆動回路１２２は、システムコントローラ１３０のＣＰＵ１３０１から入力された画像データに基づいて表示素子１２０を駆動させ、表示素子１２０に画像を表示させる。

タッチパネル１２４は、表示素子１２０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路１２６は、タッチパネル１２４を駆動するとともに、タッチパネル１２４からの接触検出信号をシステムコントローラ１３０のＣＰＵ１３０１に出力する。ＣＰＵ１３０１は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。

記録メディア１２８は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。画像ファイルは、画像データに所定のヘッダを付与して構成されるファイルである。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等が、タグデータとして記録される。

システムコントローラ１３０は、撮像装置１００の動作を制御するための制御回路として、ＣＰＵ１３０１と、ＡＦ制御回路１３０２と、ＡＥ制御回路１３０３と、画像処理回路１３０４と、焦点距離取得回路１３０５と、追尾処理回路１３０６と、顔検出回路１３０７と、メモリ制御回路１３０８とを有している。

ＣＰＵ１３０１は、焦点調整機構１０４、絞り駆動機構１０８、シャッタ駆動機構１１２、表示素子駆動回路１２２、タッチパネル駆動回路１２６等のシステムコントローラ１３０の外部の各ブロック、及びシステムコントローラ１３０の内部の各制御回路の動作を制御する。

ＡＦ制御回路１３０２は、コントラストＡＦ処理を制御する。具体的には、ＡＦ制御回路１３０２は、撮像素子ＩＦ回路１１６で得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ用の合焦評価値を取得する。ＣＰＵ１３０１は、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御してフォーカスレンズを合焦状態とする。

ＡＥ制御回路１３０３は、ＡＥ動作を制御する。具体的には、ＡＥ制御回路１３０３は、撮像素子ＩＦ回路１１６で得られた画像データを用いて被写体輝度を算出する。ＣＰＵ１３０１は、この被写体輝度に従って、露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）、撮像素子感度やＩＳＯ感度等を算出する。

画像処理回路１３０４は、画像データに対する各種の画像処理を行う。この画像処理としては、色補正処理、ガンマ（γ）補正処理、圧縮処理等が含まれる。また、画像処理回路１３０４は、圧縮されている画像データに対する伸張処理も施す。

焦点距離取得回路１３０５は、撮影光学系１０２がズーム機構を有する場合に設けられる。焦点距離取得回路１３０５は、撮影光学系１０２からその焦点距離を取得する。追尾処理回路１３０６は、後に詳述する本実施形態に係る追尾処理を実行する。追尾処理回路１３０６は、画像取得部１３０６１と、追尾領域設定部１３０６２と、色取得位置決定部１３０６３と、類似色検出部１３０６４と、追尾領域更新部１３０６５と、信頼性判定部１３０６６と、追尾色重心検索部１３０６７とを有する。画像取得部１３０６１は、例えば後述のＲＡＭ１１８から追尾対象である追尾被写体を含む画像を、追尾処理回路１３０６に取り込む。追尾領域設定部１３０６２は、（Ｎ−１）フレーム目の画像において追尾被写体に追尾領域を設定する。色取得位置決定部１３０６３は、追尾領域の位置を基準として複数の色取得位置を決定する。類似色検出部１３０６４は、（Ｎ−１）フレーム目の画像における追尾領域の色である追尾色と、Ｎフレーム目の画像における色取得位置の各色とを比較し、最も色が類似している色取得位置を最類似色位置として選択する。追尾領域更新部１３０６５は、追尾領域設定部１３０６２に、最類似色位置に基づく位置をＮフレーム目の画像における追尾領域に再設定させる。信頼性判定部１３０６６は、追尾領域更新部１３０６５による追尾領域の更新についての信頼性を判定する。これが繰り返されて追尾被写体の追尾が行われる。また、追尾色重心検索部１３０６７は、従来の色追尾技術である追尾色重心検索を行う。すなわち、追尾色重心検索部１３０６７は、例えば前のフレームの追尾領域の位置に基づいて決定されたサーチエリア内をラスタースキャンし、追尾色と同じ色情報を有する領域を検索し、その重心位置を決定する。

顔検出回路１３０７は、画像データにおける被写体（人物）の顔を検出する。ここで、顔検出処理について簡単に説明する。顔検出処理においては、各フレームで得られる画像データと、図２（ａ）に示すような顔パーツ４０２、４０４、４０６との相関量を求める。顔パーツ４０２は、人物の鼻部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０４は、人物の目部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０６は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと顔パーツ４０２、４０４、４０６との相関量は、図２（ｂ）に示すような、人物の顔を示す所定の配置となったときに最大となる。このとき、顔パーツ４０２、４０４、４０６を含む領域４０８に顔が存在しているとする。なお、顔パーツ４０２、４０４、４０６は予め設定した検索顔の大きさに応じて、大きさを変えても良い。ここで、図２（ｂ）では、顔領域を矩形領域としているが、円形領域としても良い。メモリ制御回路１３０８は、ＣＰＵ１３０１等が、ＲＡＭ１１８、記録メディア１２８、ＲＯＭ１３４にアクセスするための制御を行うインターフェイスである。

操作部１３２は、ユーザによって操作される各種の操作部材である。操作部１３２としては、例えば、レリーズボタン、動画ボタン、モードダイヤル、選択キー、電源ボタン等が含まれる。レリーズボタンは、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチとを有している。１ｓｔレリーズスイッチは、ユーザがレリーズボタンを半押しするとオンするスイッチである。１ｓｔレリーズスイッチがオンすることにより、ＡＦ処理等の撮影準備動作が行われる。また、２ｎｄレリーズスイッチは、ユーザがレリーズボタンを全押しするとオンするスイッチである。２ｎｄレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。動画ボタンは、動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画ボタンが押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画ボタンが押されると、動画撮影処理が終了される。

モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、静止画撮影モードと動画撮影モードを選択できる。静止画撮影モードは、静止画像を撮影するための撮影設定である。また、動画撮影モードは、動画像を撮影するための撮影設定である。選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。電源ボタンは、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源ボタンが操作されると、撮像装置１００が起動して動作可能な状態となる。撮像装置が起動している間に電源ボタンが操作されると、撮像装置１００が省電力待機状態となる。

ＲＯＭ１３４は、ＣＰＵ１３０１が種々の処理を実行するためのプログラムコードを記憶している。また、ＲＯＭ１３４は、撮影光学系１０２、絞り１０６、及び撮像素子１１４等の動作に必要な制御パラメータ、並びに画像処理回路１３０４での画像処理に必要な制御パラメータ等の、各種の制御パラメータを記憶している。さらに、ＲＯＭ１３４は、顔検出回路１３０７における顔検出に用いられる顔パーツのデータや追尾枠を表示するためのデータ等も記憶している。

ＲＡＭ１１８は、例えばＳＤＲＡＭであり、ワークエリア、追尾画像エリア、追尾色ログエリア及び追尾データログエリアを記憶エリアとして有している。ワークエリアは、撮像素子ＩＦ回路１１６で得られた画像データ等の、撮像装置１００の各部で発生したデータを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾画像エリアは、追尾画像データを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾画像データは、追尾処理における追尾被写体を含む画像のデータである。追尾処理においては、この追尾画像データが用いられる。追尾色ログエリアは、追尾処理において、追尾領域の色情報である追尾色を一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾処理においては、追尾色ログエリアに記憶された追尾色と、色取得位置の色とが比較されて最類似色位置が選定される。追尾データログエリアは、追尾データログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾データログは、追尾処理の結果として得られた追尾位置を記録したログである。

次に、本実施形態に係る撮像装置の動作について説明する。撮像装置１００の撮影動作を示すフローチャートを図３に示す。ＣＰＵ１３０１は、ＲＯＭ１３４から必要なプログラムコードを読み込んで図３の動作を制御する。

ＣＰＵ１３０１は、ステップＳ１００において現在の撮像装置１００の撮影設定が静止画撮影モードであるか否かを判定する。前述のとおり、撮影設定は、モードダイヤルによって設定される。ステップＳ１００において撮影設定が静止画撮影モードであると判定された場合、ＣＰＵ１３０１は、ステップＳ１０２においてライブビュー動作を開始させる。このライブビュー動作において、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を開放した後、撮像素子ＩＦ回路１１６を制御して撮像素子１１４に撮像を開始させる。その後、ＣＰＵ１３０１は、撮像素子１１４による撮像の結果としてＲＡＭ１１８のワークエリアに記憶された画像データを画像処理回路１３０４に入力する。画像処理回路１３０４は、入力された画像データに対してライブビュー表示用の画像処理を施す。続いて、ＣＰＵ１３０１は、ライブビュー表示用の画像処理が施された画像データを表示素子駆動回路１２２に入力し、表示素子１２０に画像を表示させる。このような表示動作が繰り返し実行されることで、表示素子１２０に被写体の画像が動画表示される。ユーザは、この動画表示によって被写体を観察することが可能である。

ＣＰＵ１３０１は、ステップＳ１０４において１ｓｔレリーズスイッチがオンされたか否かを判定する。ステップＳ１０４において１ｓｔレリーズスイッチがオンされたと判定されるまで、ＣＰＵ１３０１は、ライブビュー動作を継続する。

ステップＳ１０４において１ｓｔレリーズスイッチがオンされたと判定された場合、ＣＰＵ１３０１は、ステップＳ１０６においてレリーズＡＦ処理を行う。レリーズＡＦ処理において、ＣＰＵ１３０１は、スキャン駆動によってフォーカスレンズを合焦位置まで駆動させる。スキャン駆動において、ＣＰＵ１３０１は、焦点調整機構１０４を制御してフォーカスレンズを所定のスキャン範囲内で一方向に駆動させつつ、ＡＦ制御回路１３０２に合焦評価値を順次算出させる。ＣＰＵ１３０１は、合焦評価値に基づいて合焦を評価する。ＣＰＵ１３０１は、合焦評価値が最大となるレンズ位置において、フォーカスレンズの駆動を停止させる。このようなスキャン駆動は、ＡＦ前のフォーカスレンズの位置と合焦位置との差が大きい場合に行われる。

ＣＰＵ１３０１は、ステップＳ１０８において追尾領域を設定し、表示素子駆動回路１２２を制御して表示素子１２０に追尾枠を表示させる。ここで、例えば、レリーズＡＦで合焦した被写体が追尾被写体として設定され得る。また、顔検出回路１３０７によって顔が検出された場合、その顔が追尾被写体として設定され得る。さらに、タッチパネル１２４により表示素子１２０の画面上に表示された被写体が指定された場合、その被写体が追尾被写体として設定され得る。追尾被写体のうちこれら設定された追尾する領域を追尾領域と称することにする。この追尾領域は１画素でもよいし、複数画素でもよい。追尾領域を１画素など比較的狭い領域とする場合に、本実施形態は特に効果を奏する。また、ＣＰＵ１３０１は、追尾領域を含み、追尾領域の色情報との差異が所定の閾値以下である色情報を有する矩形領域を探索し、この領域を同色領域として設定する。

ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して表示素子１２０に追尾領域を表す追尾枠を表示させる。追尾枠は、追尾領域を重心とする四角形の枠でもよいし、同色領域を表す枠でもよい。すなわち、追尾枠は表示素子１２０の画面上の追尾対象の位置に表示される。なお、追尾領域及び同色領域は、ＲＡＭ１１８の追尾データログエリアに記録される。また、追尾領域の色情報は追尾色ログエリアに記録される。

ステップＳ１１０において、追尾処理が実行される。この追尾処理は、主に追尾処理回路１３０６によって実行される。この追尾処理の詳細については後述する。ＣＰＵ１３０１は、ステップＳ１１２において追尾位置の被写体に合焦するようにＡＦ処理を行うとともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。追尾処理後のＡＦ処理においてＣＰＵ１３０１は、スキャン駆動又はウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。ウォブリング駆動において、ＣＰＵ１３０１は、フォーカスレンズを駆動したときにＡＦ制御回路１３０２で算出された合焦評価値が、前回のレンズ位置での合焦評価値に対して増加したか否かを判定する。ＣＰＵ１３０１は、合焦評価値が増加したと判定された場合には前回と同方向にフォーカスレンズを微小駆動させ、合焦評価値が減少した場合には前回と逆方向にフォーカスレンズを微小駆動させる。このような動作を高速で繰り返してフォーカスレンズを徐々に合焦位置まで駆動させる。ＡＥ処理においてＣＰＵ１３０１は、ＡＥ制御回路１３０３で算出された追尾位置の被写体の輝度を予め定められた適正な量（適正露光量）とする、本露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）を算出する。

ＣＰＵ１３０１は、ステップＳ１１４において２ｎｄレリーズスイッチがオンされたか否かを判定する。２ｎｄレリーズスイッチがオンされていないと判定された場合、処理はステップＳ１１０に戻る。このように、２ｎｄレリーズスイッチがオンされるまで、追尾処理とＡＦ・ＡＥ処理とが継続される。

ステップＳ１１４において２ｎｄレリーズスイッチがオンされたと判定された場合、ＣＰＵ１３０１は、ステップＳ１１６において表示素子駆動回路１２２を制御して、追尾枠を非表示とする。ＣＰＵ１３０１は、ステップＳ１１８において静止画像データを記録メディア１２８に記録する処理を行う。すなわち、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を閉じさせ、絞り駆動機構１０８を制御して絞り１０６を先に算出した絞り値まで絞り込ませる。続いて、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を先に算出した開放時間だけ開放させつつ、撮像素子１１４に撮像（露光）を行わせる。その後、ＣＰＵ１３０１は、撮像素子１１４を介して得られた静止画像データを画像処理回路１３０４に処理させる。ＣＰＵ１３０１は、画像処理回路１３０４において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、生成した静止画像ファイルを記録メディア１２８に記録する。ＣＰＵ１３０１は、ステップＳ１２０においてステップＳ１１０の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した静止画像ファイルに追記する。その後に、ＣＰＵ１３０１は、図３に示す動作を終了させる。

ステップＳ１００において撮影設定が動画撮影モードであると判定された場合、ＣＰＵ１３０１は、ステップＳ１２２において、ライブビュー動作を開始させる。ＣＰＵ１３０１は、ステップＳ１２４において動画ボタンがオンされたか否かを判定する。ステップＳ１２４において、動画ボタンがオンされたと判定されるまで、ＣＰＵ１３０１はライブビュー動作を継続する。

ステップＳ１２４において動画ボタンがオンされたと判定された場合、ＣＰＵ１３０１は、ステップＳ１２６において追尾領域を設定し、表示素子駆動回路１２２を制御して表示素子１２０に追尾枠を表示させる。ステップＳ１２８において後に詳述する追尾処理が実行される。ＣＰＵ１３０１は、ステップＳ１３０において、追尾位置の被写体に合焦するようにＡＦ処理を行うともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。ステップＳ１３０におけるＡＦ処理おいて、フォーカスレンズは、ウォブリング駆動によって合焦位置まで駆動される。

ＣＰＵ１３０１は、ステップＳ１３２において動画像データを記録メディア１２８に記録する処理を行う。すなわち、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して絞り１０６をＡＥ処理において算出した絞り値まで絞り込ませ、ＡＥ処理において算出したシャッタ速度値に対応した時間だけ撮像素子１１４に撮像（露光）を実行させる。露光の終了後、ＣＰＵ１３０１は、動画像ファイルを生成して記録メディア１２８に記録する。また、ＣＰＵ１３０１は、撮像素子１１４を介して得られた動画像データを画像処理回路１３０４において処理し、画像処理回路１３０４において処理された動画像データを動画像ファイルに記録する。

ＣＰＵ１３０１は、ステップＳ１３４においてステップＳ１２８の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した動画像ファイルに同時記録する。ＣＰＵ１３０１は、ステップＳ１３６において動画ボタンがオフにされたか否かを判定する。動画ボタンがオフにされていないと判定された場合、処理はステップＳ１２８に戻る。このように、動画撮影モード時では、動画ボタンがオフされるまで追尾処理と動画像データの記録が継続される。

ステップＳ１３６において動画ボタンがオフされたと判定された場合、ＣＰＵ１３０１は、ステップＳ１３８において表示素子駆動回路１２２を制御して、追尾枠を非表示とする。その後、ＣＰＵ１３０１は、図３に示す動作を終了させる。

本実施形態に係る追尾処理について図４を参照して説明する。ＣＰＵ１３０１は、ステップＳ２００において撮像素子ＩＦ回路１１６を制御して撮像素子１１４に撮像を実行させる。ＣＰＵ１３０１は、ステップＳ２０２において、撮像素子１１４によって撮像された画像のデータを、撮像素子ＩＦ回路１１６を介してＲＡＭ１１８に取り込む。ＲＡＭ１１８に取り込まれた画像のデータは、追尾処理回路１３０６内の画像取得部１３０６１により、必要に応じて追尾処理回路１３０６に取り込まれる。

追尾処理回路１３０６内の色取得位置決定部１３０６３は、ステップＳ２０４において色情報取得位置判断処理を実行する。この色情報取得位置判断処理について図５に示すフローチャートを参照して説明する。本実施形態では、色情報取得位置判断処理において、５つの色取得位置が設定される。

追尾領域設定部１３０６２は、ステップＳ３００においてＸ方向の補正倍率（補正倍率（Ｘ方向））を決定する。補正倍率（Ｘ方向）は、下記式（１）により算出される。
補正倍率（Ｘ方向）＝同色領域幅（Ｘ方向）／第１の定数 （１）
ここで、同色領域幅（Ｘ方向）は、同色領域のＸ方向の長さを表す。同色領域とは、ステップＳ１０８の説明において述べたとおり、追尾領域と同じ色情報を有する領域を探索した結果得られる矩形領域である。また、第１の定数は所定の定数である。

色取得位置決定部１３０６３は、ステップＳ３０２において、Ｙ方向の補正倍率（補正倍率（Ｙ方向））を決定する。補正倍率（Ｙ方向）は、下記式（２）により算出される。
補正倍率（Ｙ方向）＝同色領域幅（Ｙ方向）／第２の定数 （２）
ここで、同色領域幅（Ｙ方向）は、同色領域のＹ方向の長さを表す。また、第２の定数は所定の定数である。第２の定数は、第１の定数と同じ値でもよいし、異なる値でもよい。

色取得位置決定部１３０６３は、ステップＳ３０４において、複数設定する追尾位置のＸ方向の間隔（間隔（Ｘ方向））を決定する。ここで、間隔（Ｘ方向）は、下記式（３）により算出される。
間隔（Ｘ方向）＝第１の基準間隔×補正倍率（Ｘ方向） （３）
ここで、第１の基準間隔は所定の間隔である。

色取得位置決定部１３０６３は、ステップＳ３０６において、複数設定する追尾位置のＹ方向の間隔（間隔（Ｙ方向））を決定する。ここで、間隔（Ｙ方向）は、下記式（４）により算出される。
間隔（Ｙ方向）＝第２の基準間隔×補正倍率（Ｙ方向） （４）
ここで、第２の基準間隔は所定の間隔であり、第１の基準間隔と同じ値でもよいし、異なる値でもよい。

色取得位置決定部１３０６３は、ステップＳ３０８において、色取得位置（中央）を決定する。ここで、色取得位置（中央）のＸ座標ｘ及びＹ座標ｙは、下記式（５）及び（６）により得られる。
ｘ＝追尾位置（Ｘ方向） （５）
ｙ＝追尾位置（Ｙ方向） （６）
ここで、追尾位置（Ｘ方向）は、現在の追尾領域の重心の位置である追尾位置のＸ座標である。また、追尾位置（Ｙ方向）は現在の追尾位置のＹ座標である。

色取得位置決定部１３０６３は、ステップＳ３１０において、色取得位置（右）を決定する。ここで、色取得位置（右）のＸ座標ｘ及びＹ座標ｙは、下記式（７）及び（８）により得られる。
ｘ＝追尾位置（Ｘ方向）＋間隔（Ｘ方向） （７）
ｙ＝追尾位置（Ｙ方向） （８）
色取得位置決定部１３０６３は、ステップＳ３１２において、色取得位置（左）を決定する。ここで、色取得位置（左）のＸ座標ｘ及びＹ座標ｙは、下記式（９）及び（１０）により得られる。
ｘ＝追尾位置（Ｘ方向）−間隔（Ｘ方向） （９）
ｙ＝追尾位置（Ｙ方向） （１０）
色取得位置決定部１３０６３は、ステップＳ３１４において、色取得位置（上）を決定する。ここで、色取得位置（上）のＸ座標ｘ及びＹ座標ｙは、下記式（１１）及び（１２）により得られる。
ｘ＝追尾位置（Ｘ方向） （１１）
ｙ＝追尾位置（Ｙ方向）−間隔（Ｙ方向） （１２）
色取得位置決定部１３０６３は、ステップＳ３１６において、色取得位置（下）を決定する。ここで、色取得位置（下）のＸ座標ｘ及びＹ座標ｙは、下記式（１３）及び（１４）により得られる。
ｘ＝追尾位置（Ｘ方向） （１３）
ｙ＝追尾位置（Ｙ方向）＋間隔（Ｙ方向） （１４）
ステップＳ３１６の後、処理は、色取得位置（中央）、色取得位置（右）、色取得位置（左）、色取得位置（上）及び色取得位置（下）を戻り値として、図４を参照して説明している追尾処理に戻る。

以上説明した色情報取得位置判断処理によれば、図６に示すような色取得位置が得られる。すなわち、図６において、自動車が追尾被写体３１０であり、その中に追尾領域３２０が設定されている。追尾領域３２０と同じ色の矩形領域が同色領域３３０として設定されている。ここで、色情報取得位置判断処理によって、追尾領域３２０の重心位置が色取得位置（中央）３５０Ｃに設定される。また、追尾領域３２０の右側に色取得位置（右）３５０Ｒが、追尾領域３２０の左側に色取得位置（左）３５０Ｌが、追尾領域３２０の上側に色取得位置（上）３５０Ｔが、追尾領域３２０の下側に色取得位置（下）３５０Ｂが、それぞれ設定される。

図４に戻り、追尾処理について説明を続ける。追尾処理回路１３０６は、ステップＳ２０６において、色情報取得位置判断処理で決定された色取得位置（中央）３５０Ｃ、色取得位置（右）３５０Ｒ、色取得位置（左）３５０Ｌ、色取得位置（上）３５０Ｔ及び色取得位置（下）３５０Ｂのそれぞれの位置における色情報を取得する。追尾処理回路１３０６内の類似色検出部１３０６４は、ステップＳ２０８において、最類似色判断処理を実行する。

最類似色判断処理について図７に示すフローチャートを参照して説明する。類似色検出部１３０６４は、ステップＳ４００において、色取得位置（中央）３５０Ｃ、色取得位置（右）３５０Ｒ、色取得位置（左）３５０Ｌ、色取得位置（上）３５０Ｔ及び色取得位置（下）３５０Ｂのうち、その色情報が最も追尾色の色情報と類似している位置を選択する。この位置を最類似色位置と称する。なお、各色取得位置の色情報として、各色取得位置の１画素の色情報が用いられてもよいし、各色取得位置を中心とする複数画素の色情報が用いられてもよい。

類似色検出部１３０６４は、ステップＳ４０２において追尾色の色情報と最類似色位置の色情報との差異が所定の閾値未満であるか否かを判定する。所定の閾値未満であれば、類似色検出部１３０６４は、ステップＳ４０４において、戻り値に最類似色位置有りという情報と選択された最類似色位置の情報とを設定し、処理は図４を参照して説明している処理に戻る。一方、ステップＳ４０２の判定において所定の閾値以上であると判定された場合、類似色検出部１３０６４は、ステップＳ４０６において、戻り値に最類似色位置無しという情報を設定し、処理は図４を参照して説明している処理に戻る。追尾色の色情報と最類似色位置の色情報との差異を評価することで、追尾の精度が向上する。

例えば図８のように、追尾被写体３１０である自動車が左に移動している場合を考える。この場合、色取得位置（中央）３５０Ｃ、色取得位置（右）３５０Ｒ、色取得位置（左）３５０Ｌ、色取得位置（上）３５０Ｔ及び色取得位置（下）３５０Ｂのうち、追尾色と類似している位置は、色取得位置（左）３５０Ｌであると選択される。ここで、追尾色の色情報と色取得位置（左）３５０Ｌの色情報との差異が所定の閾値未満であれば、戻り値に最類似色位置有りという情報とこの最類似色位置は色取得位置（左）３５０Ｌであるという情報とが設定される。

図４に戻り、追尾処理について説明を続ける。追尾処理回路１３０６内の追尾領域更新部１３０６５は、ステップＳ２１０において最類似色位置が有るか否かを判定する。最類似色位置が無いと判定されたされた場合、追尾領域更新部１３０６５は、ステップＳ２１２において追尾領域を更新しない。その後、処理はステップＳ２１６に移る。一方、ステップＳ２１０の判定において最類似色位置があると判定されたされた場合、追尾領域更新部１３０６５は、ステップＳ２１４において追尾領域設定部１３０６２に、追尾領域を最類似色判断処理で選択された最類似色位置に更新させる。なお、追尾領域は、最類似色位置を示す１画素である点としてよいし、その点を重心とする幅を有する領域としてもよい。その後、処理はステップＳ２１６に移る。

追尾処理回路１３０６内の信頼性判定部１３０６６は、ステップＳ２１６において追尾領域の信頼性を判断する。例えば信頼性判定部１３０６６は、参照画像データの彩度から信頼性を判断する。具体的には、追尾領域の彩度及び輝度が所定値以上である場合、信頼性があると判断される。これらの信頼性を判定するための閾値は適宜設定され得る。

追尾処理回路１３０６は、ステップＳ２１８において最終的な追尾領域を、ＲＡＭ１１８の追尾データログエリアに記録する。また、追尾処理回路１３０６は、次回の追尾処理においては用いる同色領域も合わせて取得し、ＲＡＭ１１８の追尾データログエリアに記録する。また、追尾処理回路１３０６は、追尾領域の色情報を追尾色ログエリアに記録する。ただし、ステップＳ２１６の信頼性判断において、信頼性がないと判断された場合には、追尾位置等を記録しないようにしてもよい。信頼性の判断結果を用いることで、追尾精度が向上する。

ＣＰＵ１３０１は、ステップＳ２２０において表示素子駆動回路１２２を制御して、追尾枠の表示位置をステップＳ２１８で記憶させた追尾位置に対応した位置に更新する。すなわち、表示素子１２０に表示される追尾枠は更新され、ユーザは追尾位置を表示素子１２０上で確認しながら、撮像装置１００の操作を行うことができる。その後、ＣＰＵ１３０１は、図４の追尾処理を終了し、処理は図３を参照して説明した処理に戻る。

本実施形態によれば、５つの色取得位置のうち追尾領域と最も類似した色を有する位置に次のフレームにおける追尾領域が更新される。このようにして、色の類似度に基づいて、追尾領域が更新され、追尾被写体が追尾されることになる。

このように、例えば画像取得部１３０６１は、画像を取得する画像取得部として機能する。例えば追尾領域設定部１３０６２は、画像のうち一部の領域を追尾領域に設定し、この追尾領域の色を追尾色に設定する追尾領域設定部として機能する。例えば色取得位置決定部１３０６３は、画像において所定の位置関係を有する少なくとも３つの領域を比較領域に設定する比較領域設定部として機能する。例えば類似色検出部１３０６４は、比較領域のうち前記追尾色に最も類似する色を有する比較領域を更新領域として選択する類似色検出部として機能する。例えば追尾領域更新部１３０６５は、更新領域に基づいて追尾領域を再設定する追尾領域更新を追尾領域設定部に実行させる追尾領域更新部として機能する。例えば信頼性判定部１３０６６は、類似色検出部が決定した前記更新領域の信頼性を判定する信頼性判定部として機能する。例えば焦点距離取得回路１３０５は、画像を撮像する際に用いられた光学系の焦点距離を取得する焦点距離取得部として機能する。例えば表示素子１２０は、追尾領域を表示する追尾領域告知部として機能する。

従来知られている色追尾技術と本実施形態に係る色追尾技術とを比較する。従来の色追尾技術について図９を参照して説明する。図９（ａ）に示すように、追尾被写体４１０に追尾領域４２０が設定されているものとする。ここで、追尾領域４２０内の色情報は取得されている。次のフレーム、すなわち、図９（ｂ）に示すように追尾被写体４１０が移動したフレームにおいて、前のフレームの追尾領域４２０の位置に基づいて決定されたサーチエリア４５０内が例えばラスタースキャンされ、前のフレームの追尾領域４２０と同じ色情報を有する領域が検索される。そして、図９（ｃ）に示すように同じ色情報を有する領域の例えば重心領域が新たな追尾領域４２０として更新される。

図９を参照して説明したような従来の色追尾技術を用いると、次のような不具合が生じる恐れがある。例えば図１０（ａ）から図１０（ｂ）まで、追尾被写体４１０内の追尾領域４２０が所望の通りに追尾されていたとする。ここで図１０（ｃ）に示すように、追尾領域４２０と類似した色を有する物体４８０が追尾被写体に近づき、サーチエリア４５０内に入ったとき、追尾領域４２０が図１０（ｃ）に示すように物体４８０の部分に更新される恐れがある。この場合、これ以降追尾被写体４１０は見失われて物体４８０が追尾される恐れがある。

これに対して、本実施形態では追尾色と最も類似する色を有する色取得位置が選択される。したがって、本実施形態に係る色追尾では色分解能が非常に高いと言える。このため、追尾被写体が見失われる可能性は従来技術に比べて極めて低い。本実施形態では、追尾領域は追尾被写体内において変位するが、色情報取得位置判断処理において同色領域の大きさに応じて色取得位置が適当に決定されているので、追尾領域は追尾被写体内に収まるように制御されている。例えば、図１１に示すように、図８に示した場合よりも追尾被写体３１０である自動車が画像の大きな範囲を占めているとき、同色領域は大きくなる。このとき、色取得位置３５０の間隔は、図８に示した場合よりも広くなる。その結果、追尾被写体４１０は適切に追尾される。

本実施形態によれば、ＣＰＵ１３０１によって行われる演算は、追尾色と数か所の色取得位置の色とを比較し最類似色位置を選択する演算であり、図９を参照して説明した従来技術のようにスキャンによる検索の演算を必要としない。したがって、従来技術に比べて本実施形態では、行われる演算量が格段に少ない。したがって、本実施形態によれば高速な処理が実現され得る。さらに、この高速化によって、フレーム間の追尾被写体の移動量は小さくなる。このことは、本実施形態に係る色追尾の原理において、追尾精度を向上させる。

なお、本実施形態では色取得位置を５点としたが、面を形成する３点以上であれば色取得位置は何点でもよい。また、必ずしも色取得位置のうちの１点が元の追尾領域と一致していなくてもよい。ただし、本実施形態のような５点が設定されると、追尾被写体がどのように移動してもよく追尾され得る。

色情報取得位置判断処理において、撮影光学系１０２の焦点距離を考慮してもよい。例えば、ＣＰＵ１３０１は、焦点距離取得回路１３０５によって取得された焦点距離に基づいて、焦点距離係数を算出する。ＣＰＵ１３０１は、図５を参照して説明した色情報取得位置判断処理のステップＳ３０４及びステップＳ３０６における間隔の算出において、例えば下記式（１５）及び（１６）のようにこの焦点距離係数を考慮することができる。
間隔（Ｘ方向）＝第１の基準間隔×補正倍率（Ｘ方向）×焦点距離係数 （１５）
間隔（Ｙ方向）＝第２の基準間隔×補正倍率（Ｙ方向）×焦点距離係数 （１６）
なお、この場合、補正倍率は用いられなくてもよい。ただし、上式（１５）及び（１６）のように補正倍率も焦点距離係数も考慮されている方がより精度が高くなる。

このように焦点距離係数が考慮されることによって、焦点距離が長いときは間隔が大きくされ、焦点距離が短いときは間隔が小さくされる。その結果、図１１を参照して行った説明と同様に、例えばズームアップされて追尾被写体が画像内で大きな範囲を占めているとき、ズームアウトされて追尾被写体が画像内で小さな範囲を占めている場合に比べて、色取得位置の間隔は大きくなる。その結果、本実施形態に係る色追尾の精度が向上する。なお、焦点距離に応じて、色取得追加位置の数、面積、配置等が変化するように構成されてもよい。

また、本実施形態では図５を参照して説明した色情報取得位置判断処理において色取得位置が算出されているが、色取得位置の位置関係を表す情報がポイントテンプレートとしてＲＯＭ１３４に予め記憶されており、色取得位置決定部１３０６３が色情報取得位置判断処理においてこのテンプレートの配置を決定するように構成されてもよい。また、色取得位置の位置関係が互いに異なるテンプレートが複数用意されており、色情報取得位置判断処理において同色領域等の条件に基づいてテンプレートが選択され、このテンプレートの配置が決定されるように構成されてもよい。また、撮影光学系１０２の焦点距離に応じてテンプレートが選択されるように構成されてもよい。テンプレートを用いることによって、処理量が削減され、高速な処理が実現される。また、テンプレートが用いられると、最類似色以外に、類似度比率や色分布パターン等が利用され得る。

このように、例えばＲＯＭ１３４は、少なくも３つの比較領域の所定の位置関係をポイントテンプレートとして記憶するテンプレート記憶部として機能し、例えば色取得位置決定部１３０６３は、画像において追尾領域の位置に基づいて前記ポイントテンプレートの位置を設定するテンプレート設定部として機能する。

［第２の実施形態］
第２の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態では、第１の実施形態において最類似色位置が無いと判定されたとき、すなわち、例えば第１の実施形態による色追尾で追尾領域が追尾被写体から外れてしまったとき、スキャンによって追尾領域を検索する従来技術が用いられる。

本実施形態に係る追尾処理を示すフローチャートを図１２に示す。この図に示すように、ステップＳ５００乃至ステップＳ５０８は、図４を参照して説明した第１の実施形態のステップＳ２００乃至ステップＳ２０８とそれぞれ同じである。すなわち、ＣＰＵ１３０１は、ステップＳ５００において撮像素子ＩＦ回路１１６を制御して撮像素子１１４に撮像を実行させ、ステップＳ５０２において撮像素子１１４によって撮像された画像のデータを撮像素子ＩＦ回路１１６を介してＲＡＭ１１８に取り込む。追尾処理回路１３０６は、ステップＳ５０４において色情報取得位置判断処理を実行し、ステップＳ５０６において、色情報取得位置判断処理で決定された色取得位置のそれぞれの位置における色情報を取得し、ステップＳ５０８において、最類似色判断処理を実行する。

続いて、追尾処理回路１３０６内の追尾領域更新部１３０６５は、ステップＳ５１０において最類似色位置が有るか否かを判定する。最類似色位置が有ると判定されたされた場合、追尾領域更新部１３０６５は、ステップＳ５１２において最類似色位置を追尾領域に決定する。その後、処理はステップＳ５２２に移る。一方、ステップＳ５１０において最類似色位置が無いと判定されたされた場合、追尾処理回路１３０６内の追尾色重心検索部１３０６７は、ステップＳ５１４において追尾色重心検索を行う。ここで、追尾色重心検索とは、例えば図９を参照して説明した従来技術を用いた色追尾である。このように、例えば追尾色重心検索部１３０６７は、画像を走査して追尾色に類似する類似領域を検索し、この類似領域の重心位置を決定する類似領域検索部として機能する。

追尾領域更新部１３０６５は、ステップＳ５１６において追尾色重心があるか否かを判定する。追尾色重心があると判定された場合、追尾領域更新部１３０６５は、ステップＳ５１８において色重心に基づいて追尾領域に決定する。その後、処理はステップＳ５２２に移る。ステップＳ５１６において追尾色重心がないと判定された場合、追尾領域更新部１３０６５は、ステップＳ５２０において追尾領域を更新せず、処理はステップＳ５２２に移る。

ステップＳ５２２乃至ステップＳ５２２６は、図４を参照して説明した第１の実施形態のステップ２１６乃至２２０と同様である。すなわち、信頼性判定部１３０６６は、ステップＳ５２２において追尾領域の信頼性を判断する。追尾処理回路１３０６は、ステップＳ５２４において最終的な追尾領域を、ＲＡＭ１１８の追尾データログエリアに記録する。また、次回の追尾処理においては用いる同色領域も合わせて取得し、ＲＡＭ１１８の追尾データログエリアに記録する。ＣＰＵ１３０１は、ステップＳ５２６において表示素子駆動回路１２２を制御して、追尾枠の表示位置をステップＳ５２４で記憶させた追尾位置に対応した位置に更新する。その後、ＣＰＵ１３０１は、図１２の追尾処理を終了し、処理は図３を参照して説明した処理に戻る。その他の処理は、第１の実施形態の場合と同様である。

本実施形態によれば、第１の実施形態において追尾被写体が見失われた際も、従来の技術を用いて、広い領域を探索して追尾被写体が見つけ出され得る。本実施形態によれば、第１の実施形態よりもさらに精度よく追尾被写体が追尾され得る。

［第３の実施形態］
第３の実施形態について説明する。ここでは、第２の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態では、第２の実施形態において最類似色位置があると判定されたときはフレームレートが高くされ、最類似色が無いと判定され、追尾色重心を用いるときはフレームレートが低くされる。

本実施形態に係る追尾処理の一例を表すフローチャートを図１３に示す。ステップＳ６００乃至ステップＳ６１２の処理は、図１２を参照して説明した第２の実施形態に係るステップＳ５００乃至ステップＳ５１２の処理と同様である。すなわち、ＣＰＵ１３０１は、ステップＳ６００において撮像素子ＩＦ回路１１６を制御して撮像素子１１４に撮像を実行させ、ステップＳ６０２において撮像素子１１４によって撮像された画像のデータを撮像素子ＩＦ回路１１６を介してＲＡＭ１１８に取り込む。追尾処理回路１３０６は、ステップＳ６０４において色情報取得位置判断処理を実行し、ステップＳ６０６において色情報取得位置判断処理で決定された色取得位置のそれぞれの位置における色情報を取得し、ステップＳ６０８において最類似色判断処理を実行する。追尾処理回路１３０６は、ステップＳ６１０において最類似色位置が有るか否かを判定する。最類似色位置が有ると判定されたされた場合、追尾処理回路１３０６は、ステップＳ６１２において最類似色位置を追尾領域に決定する。

その後、追尾処理回路１３０６は、ステップＳ６１４においてフレームレートを高フレームレートに変更するようにＣＰＵ１３０１に指示を出力する。ここで高フレームレートとは、例えば６０乃至１２０ｆｐｓ等である。その後、処理は、ステップＳ６２６に移る。

また、ステップＳ６１６乃至ステップＳ６２０の処理は、図１２を参照して説明した第２の実施形態に係るステップＳ５１４乃至ステップＳ５１８の処理と同様である。すなわち、ステップＳ６１０において最類似色位置が無いと判定されたされた場合、追尾処理回路１３０６は、ステップＳ６１６において追尾色重心検索を行い、ステップＳ６１８において追尾色重心があるか否かを判定する。追尾色重心があると判定された場合、追尾処理回路１３０６は、ステップＳ６２０において色重心を追尾領域に決定する。

その後、追尾処理回路１３０６は、ステップＳ６２２においてフレームレートを低フレームレートに変更するようにＣＰＵ１３０１に指示を出力する。ここで低フレームレートとは、例えば１５乃至３０ｆｐｓ等である。その後、処理は、ステップＳ６２６に移る。

また、ステップＳ６２４乃至ステップＳ６３０の処理は、図１２を参照して説明した第２の実施形態に係るステップＳ５２０乃至ステップＳ５２６の処理と同様である。すなわち、ステップＳ６１８において追尾色重心がないと判定された場合、追尾処理回路１３０６は、ステップＳ５６２４において追尾領域を更新せず、処理はステップＳ６２６に移る。追尾処理回路１３０６は、ステップＳ６２６において追尾領域の信頼性を判断する。追尾処理回路１３０６は、ステップＳ６２８において最終的な追尾領域を、ＲＡＭ１１８の追尾ログエリアに記録する。また、次回の追尾処理においては用いる同色領域も合わせて取得し、ＲＡＭ１１８の追尾ログエリアに記録する。ＣＰＵ１３０１は、ステップＳ６３０において表示素子駆動回路１２２を制御して、追尾枠の表示位置をステップＳ６２８で記憶させた追尾位置に対応した位置に更新する。その後、ＣＰＵ１３０１は、図１３の追尾処理を終了し、処理は図３を参照して説明した処理に戻る。その他の処理は、第２の実施形態の場合と同様である。

上述のとおり、追尾色重心検索を行う従来技術に比べ、最類似色位置を用いる本発明に係る技術では、処理速度が非常に早い。したがって、本実施形態ではこの処理速度に合わせてフレームレートを変更している。本実施形態によれば、処理に必要かつ十分な時間が確保され、全体として処理速度を速めることができる。最類似色位置に基づく追尾領域の決定を高フレームレートで実行することで、フレーム間の画像の差が小さくなるので、最類似色位置に基づく色追尾の精度は向上する。

上記の６０乃至１２０ｆｐｓや１５乃至３０ｆｐｓ等はもちろん一例である。また、これらフレームレートは、表示素子１２０が画像を表示するフレームレート、記録メディア１２８に画像を記録するフレームレート、又は画像を撮影する際に用いられたオートフォーカス、自動露出若しくはオートホワイトバランスのフレームレートに応じて変更されてもよい。オートフォーカス等のフレームレートに応じて変更されることで、必要な追尾のフレームレートが確保される。

［第４の実施形態］
第４の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態では、第１の実施形態における色情報取得位置判断処理が異なる。

本実施形態に係る色情報取得位置判断処理の一例を示すフローチャートを図１４に示す。この図に示すように、ステップＳ７０１乃至ステップＳ７１６は、図５を参照して説明した第１の実施形態におけるステップＳ３００乃至ステップＳ３１６と同様である。すなわち、色取得位置決定部１３０６３は、ステップＳ７００において補正倍率（Ｘ方向）を算出し、ステップＳ７０２において補正倍率（Ｙ方向）を算出し、ステップＳ７０４において間隔（Ｘ方向）を算出し、ステップＳ７０６において間隔（Ｙ方向）を算出する。次に色取得位置決定部１３０６３は、ステップＳ７０８において色取得位置（中央）を算出し、ステップＳ７１０において色取得位置（右）を算出し、ステップＳ７１２において色取得位置（左）を算出し、ステップＳ７１４において色取得位置（上）を算出し、ステップＳ７１６において色取得位置（下）を算出する。

色取得位置決定部１３０６３は、ステップＳ７１８において積算値（Ｘ方向）を算出する。ここで積算値（Ｘ方向）は、過去の複数のフレームにおける追尾領域の動きベクトルのＸ方向の積算値である。ここで上記のフレーム数は所定の値である。色取得位置決定部１３０６３は、ステップＳ７２０において積算値（Ｘ方向）が所定の閾値より大きいか否かを判定する。積算値（Ｘ方向）が所定の閾値以下であると判定された場合、処理はステップＳ７２６に移る。

ステップＳ７２０において所定の閾値よりも大きいと判定された場合、色取得位置決定部１３０６３は、ステップＳ７２２において色取得追加位置（右）のＸ座標ｘとＹ座標ｙをそれぞれ下記式（１７）及び（１８）に基づいて決定する。
ｘ＝追尾位置（Ｘ方向）＋間隔（Ｘ方向）×２ （１７）
ｙ＝追尾位置（Ｙ方向） （１８）
続いて、色取得位置決定部１３０６３は、ステップＳ７２４において色取得追加位置（左）のＸ座標ｘとＹ座標ｙをそれぞれ下記式（１９）及び（２０）に基づいて決定する。
ｘ＝追尾位置（Ｘ方向）−間隔（Ｘ方向）×２ （１９）
ｙ＝追尾位置（Ｙ方向） （２０）

色取得位置決定部１３０６３は、ステップＳ７２６において積算値（Ｙ方向）を算出する。ここで積算値（Ｙ方向）は、過去の複数のフレームにおける追尾領域の動きベクトルのＹ方向の積算値である。ここでフレーム数は所定の値である。ＣＰＵ１３０１は、ステップＳ７２０において積算値（Ｙ方向）が所定の閾値より大きいか否かを判定する。積算値（Ｙ方向）が所定の閾値以下であると判定された場合、処理は図４を参照して説明した追尾処理に戻る。

ステップＳ７２８において所定の閾値よりも大きいと判定された場合、色取得位置決定部１３０６３は、ステップＳ７３０において色取得追加位置（上）のＸ座標ｘとＹ座標ｙをそれぞれ下記式（２１）及び（２２）に基づいて決定する。
ｘ＝追尾位置（Ｘ方向） （２１）
ｙ＝追尾位置（Ｙ方向）−間隔（Ｙ方向）×２ （２２）
続いて、色取得位置決定部１３０６３は、ステップＳ７３２において色取得追加位置（下）のＸ座標ｘとＹ座標ｙをそれぞれ下記式（２３）及び（２４）に基づいて決定する。
ｘ＝追尾位置（Ｘ方向） （２３）
ｙ＝追尾位置（Ｙ方向）＋間隔（Ｘ方向）×２ （２４）
その後、処理は図４を参照して説明した追尾処理に戻る。

追尾処理に戻る際の戻り値は、色取得位置（中央）、色取得位置（右）、色取得位置（左）、色取得位置（上）及び色取得位置（下）、並びに、追加された色取得追加位置（右）及び色取得追加位置（左）、及び／又は、色取得追加位置（上）及び色取得追加位置（下）である。その他の処理は、第１の実施形態と同様である。

本実施形態では、ステップＳ７２０の判定で所定の閾値よりも大きいと判定された場合、すなわち、追尾領域のＸ方向の速度が所定の値より大きいとき、色取得追加位置が左右に設定される。同様に、ステップＳ７２８の判定で所定の閾値よりも大きいと判定された場合、すなわち、追尾領域のＹ方向の速度が所定の値より大きいとき、色取得追加位置が上下に設定される。すなわち、例えば図１５に示すように、追尾被写体３１０が左に所定の速度より早く動いているとき、色取得位置（中央）３５０Ｃ、色取得位置（右）３５０Ｒ、色取得位置（左）３５０Ｌ、色取得位置（上）３５０Ｔ及び色取得位置（下）３５０Ｂに加えて、色取得追加位置（左）３６０Ｌと画像の領域から外れているため図示されていない色取得追加位置（右）が設定される。したがって、本実施形態では、図７を参照して説明した最類似色判断処理では、これら７点のうち最も追尾色に類似する色を有する位置が最類似位置として選択される。

本実施形態によれば、追尾被写体の速度が速いとき、追尾被写体が色取得位置から外れて、その結果、追尾被写体を追尾されなくなることを防止することができる。

なお、本実施形態では、色取得追加位置は、上下及び／又は左右に１つずつ追加されているが、追尾被写体の速度に応じて複数個ずつ追加されるように構成されてもよい。また、追尾被写体の移動方向に応じて、移動する方向にのみ色取得追加位置を追加するように構成されてもよい。また、追尾被写体の速度に応じて色取得位置の間隔を変更するように構成されてもよい。また、追尾被写体の速度に応じて色の比較に用いられる領域の面積が変更されるように構成されてもよい。

また、追尾領域の動きベクトルに基づいて色取得位置の配置を、上下左右でなく斜めに配置されるように構成されてもよい。例えば、回転角度θを下記式（２５）により決定される。
θ＝ｔａｎ^−１（積算値（Ｙ方向）／積算値（Ｘ方向）） （２５）
そして回転角度θを用いて、色取得位置のＸ座標ｘ´及びＹ座標ｙ´をそれぞれ下記式（２６）及び（２７）のように求められ得る。
ｘ´＝ｘ×ｃｏｓθ−ｙ×ｓｉｎθ （２６）
ｙ´＝ｘ×ｓｉｎθ＋ｙ×ｃｏｓθ （２７）
ここで、ｘ及びｙは、それぞれ上記式（７）乃至（１４）で求まる値である。

このように、色取得位置を追尾被写体の移動方向に合わせて斜めに配置することによっても、追尾被写体が色取得位置から外れて、その結果、追尾被写体を追尾されなくなることが防止され得る。なお、第４の実施形態及び上述したその変形例は、第２の実施形態又は第３の実施形態と組み合わせて用いられてもよいことはもちろんである。

また、色取得位置の決定にポイントテンプレートを用いる場合、種々のポイントテンプレートが予め用意され、追尾被写体の移動速度に応じてそれらのうちから適当なポイントテンプレートが選択されるように構成されてもよい。

［第５の実施形態］
第５の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態は、第１の実施形態と比較して、図７を参照して説明した最類似判断処理が異なる。本実施形態に係る最類似色判断処理を図１６に示すフローチャートを参照して説明する。

類似色検出部１３０６４は、ステップＳ８００において、色取得位置（中央）、色取得位置（右）、色取得位置（左）、色取得位置（上）及び色取得位置（下）のうち、その色が最も追尾色と類似している最類似色位置を選択する。類似色検出部１３０６４は、ステップＳ８０２において追尾色の色情報と最類似色位置の色情報との差異が所定の閾値未満であるか否かを判定する。

ステップＳ８０２の判定において所定の閾値未満であると判定された場合、類似色検出部１３０６４は、ステップＳ８０４において、色取得位置（中央）の色と最類似位置の色との差異が所定の閾値より大きいか否かを判定する。この判定において所定の閾値より大きいと判定された場合、類似色検出部１３０６４は、ステップＳ８０６において戻り値に最類似色位置有りという情報とこの最類似色位置の情報とを設定し、処理は図４を参照して説明した追尾処理に戻る。

一方、ステップＳ８０４の判定において所定の閾値以下と判定された場合、類似色検出部１３０６４は、ステップＳ８０８において追尾色の色情報と最類似色位置の色情報との差異が所定の閾値未満であるか否かを判定する。この判定において所定の閾値未満であると判定された場合、類似色検出部１３０６４は、ステップＳ８１０において戻り値に、最類似色位置有りという情報とこの最類似色位置の情報として色取得位置（中央）の位置とを設定し、処理は図４を参照して説明した追尾処理に戻る。ステップＳ８０８の判定において所定の閾値以上であると判定された場合、処理はステップＳ８０６に移る。

ステップＳ８０２の判定において所定の閾値以上であると判定された場合、類似色検出部１３０６４は、ステップＳ８１２において、戻り値に最類似色位置無しという情報を設定し、処理は図４を参照して説明した追尾処理に戻る。その他の処理は、第１の実施形態と同様である。

本実施形態によれば、追尾色に最も類似した色を有する色取得位置と色取得位置（中央）との色が近いとき、追尾領域として、追尾色に最も類似した色を有する色取得位置よりも色取得位置（中央）が優先的に採用される。すなわち、本実施形態では、複数の色取得位置のうち前の追尾領域と一致する中央の色取得位置の重み付けが高い。

前述のとおり本発明に係る色追尾技術では、色分解能が高い。このため、追尾領域の位置が必要以上に細かく更新されがちである。これに対して本実施形態によれば、追尾領域の不要な更新がある程度抑制され、安定した追尾が実現される。なお、第５の実施形態は、第２乃至第４の実施形態と組み合わせて用いられてもよいことはもちろんである。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても、発明が解決しようとする課題の欄で述べられた課題が解決でき、かつ、発明の効果が得られる場合には、この構成要素が削除された構成も発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００…撮像装置、１０２…撮影光学系、１０４…焦点調整機構、１０６…絞り、１０８…絞り駆動機構、１１０…シャッタ、１１２…シャッタ駆動機構、１１４…撮像素子、１１６…撮像素子インターフェイス（ＩＦ）回路、１１８…ＲＡＭ、１２０…表示素子、１２２…表示素子駆動回路、１２４…タッチパネル、１２６…タッチパネル駆動回路、１２８…記録メディア、１３０…システムコントローラ、１３２…操作部、１３４…ＲＯＭ、１３０１…ＣＰＵ、１３０２…ＡＦ制御回路、１３０３…ＡＥ制御回路、１３０４…画像処理回路、１３０５…焦点距離取得回路、１３０６…追尾処理回路、１３０６１…画像取得部、１３０６２…追尾領域設定部、１３０６３…色取得位置決定部、１３０６４…類似色検出部、１３０６５…追尾領域更新部、１３０６６…信頼性判定部、１３０６７…追尾色重心検索部、１３０７…顔検出回路、１３０８…メモリ制御回路。

Claims (14)

1. 画像を取得する画像取得部と、
   前記画像のうち一部の領域を追尾領域に設定し、この追尾領域の色を追尾色に設定する追尾領域設定部と、
   前記画像において所定の位置関係を有する少なくとも３つの領域を比較領域に設定する比較領域設定部と、
   前記比較領域のうち前記追尾色に最も類似する色を有する前記比較領域を更新領域として選択する類似色検出部と、
   前記更新領域に基づいて前記追尾領域を再設定する追尾領域更新を前記追尾領域設定部に実行させる追尾領域更新部と、
   前記追尾領域の移動速度を決定する色取得位置決定部と
   を具備し、
   前記比較領域設定部は、前記色取得位置決定部が決定した前記追尾領域の前記移動速度に応じて、前記比較領域の数、前記追尾領域と前記比較領域との距離、前記追尾領域及び前記比較領域を結ぶ線と前記画像の任意の軸とが成す角、並びに、前記追尾領域の面積のうち少なくとも１つを変更する
   ことを特徴とする追尾装置。
2. 画像を取得する画像取得部と、
   前記画像のうち一部の領域を追尾領域に設定し、この追尾領域の色を追尾色に設定する追尾領域設定部と、
   前記画像において所定の位置関係を有する少なくとも３つの領域を比較領域に設定する比較領域設定部と、
   前記比較領域のうち前記追尾色に最も類似する色を有する前記比較領域を更新領域として選択する類似色検出部と、
   前記更新領域に基づいて前記追尾領域を再設定する追尾領域更新を前記追尾領域設定部に実行させる追尾領域更新部と
   を具備し、
   前記比較領域の色と前記追尾色との差異が所定の値以下であるとき、前記追尾領域更新部が前記追尾領域更新を行うフレームレートは高められる
   ことを特徴とする追尾装置。
3. 前記画像を撮像する際に用いられた光学系の焦点距離を取得する焦点距離取得部を更に具備し、
   前記比較領域設定部は、前記焦点距離に応じて、前記比較領域の数、前記追尾領域と前記比較領域との距離、前記追尾領域及び前記比較領域を結ぶ線と前記画像の横軸とが成す角、並びに、前記追尾領域の面積のうち少なくとも１つを変更する、
   ことを特徴とする請求項１又は２に記載の追尾装置。
4. 前記比較領域のうちの１つと前記追尾領域とは一致し、
   前記類似色検出部は、前記比較領域の色と前記追尾色との類似度に応じて、前記比較領域のうち前記追尾領域と一致する前記比較領域とそれ以外の前記比較領域とで重み付けを変更して前記更新領域を決定する、
   ことを特徴とする請求項１乃至３のうち何れか１項に記載の追尾装置。
5. 前記追尾領域更新部が前記追尾領域更新を行うフレームレートは、前記画像を表示するフレームレート、前記画像を記録するフレームレート、並びに、前記画像を撮像する際に用いられたオートフォーカス、自動露出、及びオートホワイトバランスのフレームレートのうち少なくとも何れか１つに応じて変更されることを特徴とする請求項１乃至４のうち何れか１項に記載の追尾装置。
6. 前記追尾領域を表示する追尾領域告知部を更に具備することを特徴とする請求項１乃至５のうち何れか１項に記載の追尾装置。
7. 前記類似色検出部が決定した前記更新領域の信頼性を判定する信頼性判定部を更に具備することを特徴とする請求項１乃至６のうち何れか１項に記載の追尾装置。
8. 前記類似色検出部は、前記比較領域の色と前記追尾色との差異が所定の値以上であるとき、前記更新領域を決定せず、
   前記類似色検出部が前記更新領域を決定しないとき、前記追尾領域更新部は、前記追尾領域更新を前記追尾領域設定部に実行させない、
   ことを特徴とする請求項１乃至７のうち何れか１項に記載の追尾装置。
9. 前記画像を走査して前記追尾色に類似する類似領域を検索し、この類似領域の重心位置を決定する類似領域検索部を更に具備し、
   前記比較領域の色と前記追尾色との差異が所定の値以上であるとき、
   前記類似領域検索部は、前記重心位置を決定し、
   前記追尾領域更新部は、前記追尾領域設定部に前記重心位置に基づいて前記追尾領域を再設定させる、
   ことを特徴とする請求項１乃至８のうち何れか１項に記載の追尾装置。
10. 前記比較領域設定部は、前記追尾領域を含み前記追尾色に類似する色を有する領域の大きさに応じて前記比較領域の前記位置関係を決定することを特徴とする請求項１乃至９のうち何れか１項に記載の追尾装置。
11. 前記比較領域設定部は、前記追尾領域の移動方向に応じて、前記追尾領域及び前記比較領域を結ぶ線と前記画像の任意の軸とが成す角を変更することを特徴とする請求項１乃至１０のうち何れか１項に記載の追尾装置。
12. 前記比較領域は、前記追尾領域と一致する位置と、この追尾領域の上下左右の４か所の位置とを含む少なくとも５つの領域であることを特徴とする請求項１乃至１０のうち何れか１項に記載の追尾装置。
13. 画像を取得することと、
    前記画像のうち一部の領域を追尾領域に設定し、この追尾領域の色を追尾色に設定することと、
    前記画像において所定の位置関係を有する少なくとも３つの領域を比較領域に設定することと、
    前記比較領域のうち前記追尾色に最も類似する色を有する前記比較領域を更新領域として選択することと、
    前記更新領域に基づいて前記追尾領域を再設定することと、
    前記追尾領域の移動速度を決定することと
    を具備し、
    前記比較領域を設定することは、前記追尾領域の前記移動速度に応じて、前記比較領域の数、前記追尾領域と前記比較領域との距離、前記追尾領域及び前記比較領域を結ぶ線と前記画像の任意の軸とが成す角、並びに、前記追尾領域の面積のうち少なくとも１つを変更することを含む
    ことを特徴とする追尾方法。
14. 画像を取得することと、
    前記画像のうち一部の領域を追尾領域に設定し、この追尾領域の色を追尾色に設定することと、
    前記画像において所定の位置関係を有する少なくとも３つの領域を比較領域に設定することと、
    前記比較領域のうち前記追尾色に最も類似する色を有する前記比較領域を更新領域として選択することと、
    前記更新領域に基づいて前記追尾領域を再設定することと
    を具備し、
    前記比較領域の色と前記追尾色との差異が所定の値以下であるとき、前記追尾領域の再設定を行うフレームレートは高められる
    ことを特徴とする追尾方法。

Images