JP5978639B2 - 画像処理装置、画像処理方法、プログラム、及び記録媒体 - Google Patents

Description

本開示は、画像処理装置、画像処理方法、プログラム、及び記録媒体に関する。

特許文献１には、撮像画像から人物の顔領域を検出し、顔領域を追尾する技術が開示されている。特許文献１に開示された技術は、顔領域を追尾することで、人物を追尾することができる。

特開２００４−２８３９５９号公報

しかし、特許文献１に開示された技術では、顔領域を検出することができない場合に、人物の追尾が途切れてしまっていた。このため、人物の追尾をより確実に行うことができる技術が望まれていた。

本開示のある観点によれば、撮像画像中の顔領域に基づいて被写体の部分領域を検出し、前記部分領域を追尾する追尾部を備える、画像処理装置が提供される。

本開示のある観点によれば、撮像画像中の顔領域に基づいて被写体の部分領域を検出し、前記部分領域を追尾することを含む、画像処理方法が提供される。

本開示のある観点によれば、コンピュータに、撮像画像中の顔領域に基づいて被写体の部分領域を検出し、前記部分領域を追尾する追尾機能を実現させる、プログラムが提供される。

本開示によれば、撮像画像中の顔領域に基づいて、被写体の部分領域を検出する。したがって、本開示によれば、顔領域を検出することができない場合であっても、部分領域を追尾することができる。

以上説明したように本開示によれば、人物の追尾をより確実に行うことができる。

本開示の実施形態に係る画像処理装置の構成を示すブロック図である。 画像処理装置による処理の手順をしめすフローチャートである。 画像処理装置による処理の手順をしめすフローチャートである。 画像処理装置による処理の手順をしめすフローチャートである。 画像処理装置による処理の手順をしめすフローチャートである。 画像処理装置による処理の手順をしめすフローチャートである。 画像処理装置により設定される体領域の例を示す説明図である。 画像処理装置により設定される体領域の例を示す説明図である。 画像処理装置により設定される体領域の例を示す説明図である。 新たに検出された顔領域と追尾対象の体領域との位置関係を判定する様子を示す説明図である。 追尾対象が顔領域から体領域に移行する様子を示す説明図である。 追尾対象が体領域から顔領域に移行する様子を示す説明図である。 画像処理装置による追尾処理の効果を説明するための説明図である。 画像処理装置による追尾処理の効果を説明するための説明図である。 画像処理装置による追尾処理の効果を説明するための説明図である。 画像処理装置による追尾処理の効果を説明するための説明図である。 本実施形態の変形例を説明するための説明図である。 本実施形態の変形例を説明するための説明図である。 人物の追尾が途切れた場合に行われる処理を説明するための説明図である。 本実施形態の変形例を説明するための説明図である。 本実施形態の変形例を説明するための説明図である。 本実施形態の変形例を説明するための説明図である。 本実施形態の変形例を説明するための説明図である。 本実施形態の変形例を説明するための説明図である。 本実施形態の変形例を説明するための説明図である。 本実施形態の効果を説明するための説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行なうものとする。
１．背景技術の検討
２．画像処理装置の構成
３．画像処理装置による処理の手順
４．画像処理装置による効果
５．各種変形例
６．まとめ

＜１．背景技術の検討＞
本発明者は、撮像画像中の人物を追尾する背景技術を検討することで、本実施形態に係る画像処理装置に想到するに至った。そこで、まず背景技術について検討する。

特許文献１には、撮像画像から人物の顔領域を検出し、顔領域を追尾する技術が開示されている。なお、特許文献１では、顔検出と肌色領域の検出を併用することで、追尾の精度の向上を図っている。一方、人物（被写体）の部分領域（人物の各部分のうち、顔以外の部分が描かれた領域）を撮像画像から抽出し、体領域を追尾する技術も提案されている。ここで、本実施形態では、部分領域は、人体の顔以外のあらゆる領域（たとえば、胴体が描かれた領域、手が描かれた領域等）であってもよい。本実施形態では、部分領域を体領域とも称する。これらの技術では、顔領域または体領域を追尾することで、人物を追尾することができる。これらの技術では、人物を追尾することで、人物の状態を認識することができるので、人物の状態に応じた各種パラメータ（例えば、撮像装置のフォーカス、明るさ等）の設定が可能になる。

しかし、これらの技術は各々独立しており、両者を併用した技術は何ら知られていなかった。また、顔領域を追尾する技術は、例えば人物が撮像レンズに対して背を向けた場合や、撮像レンズから遠くはなれている場合には、顔領域を検出することができなかった。そして、顔領域を追尾する技術では、人物が検出されない場合に、人物の追尾が途切れてしまっていた。

また、体領域を追尾する技術は、照度変化や人物の体勢の変化といった環境変化に弱かった。即ち、体領域を追尾する技術は、環境変化に対するロバスト性が低かった。したがって、体領域を追尾する技術では、環境の変化によって体領域の追尾、即ち人物の追尾が途切れる場合や、追尾の精度が落ちる場合があった。

これに対し、本実施形態に係る画像処理装置は、顔領域の追尾と体領域の追尾とを併用し、かつ、これらを適切に切り替えることで、人物の追尾をより確実に行なうことができる。以下、詳細に説明する。なお、本実施形態の画像処理装置１は、人物を含む各種の生体（人物、犬、猫等）を追尾することができる。勿論、画像処理装置１は、人物のみを追尾してもよいし、人物以外の動物のみを追尾してもよい。

＜２．画像処理装置の構成＞
次に、図１に基づいて、画像処理装置１の構成について説明する。画像処理装置１は、レンズ１０と、撮像部２０と、生体追尾部（追尾部）３０と、表示部４０と、外部ＩＦ（インタフェース）５０とを備える。なお、画像処理装置１は、レンズ、撮像素子、ＣＰＵ、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ディスプレイ、コネクタ等のハードウェア構成を有する。ＲＯＭには、画像処理装置１に撮像部２０と、生体追尾部３０と、表示部４０とを実現させるためのプログラムが記録されている。ＣＰＵは、ＲＯＭに記録されたプログラムを読みだして実行する。したがって、これらのハードウェア構成により、レンズ１０と、撮像部２０と、生体追尾部３０と、表示部４０と、外部ＩＦ（インタフェース）５０とが実現される。

画像処理装置１は、レンズ１０及び撮像部２０を備えるので、撮像装置（例えばデジタルスチルカメラ）となっている。勿論、画像処理装置１は、レンズ１０及び撮像部２０を有していなくてもよい。この場合、画像処理装置１は、外部から撮像画像を取得し、この撮像画像に基づいて、人物を追尾する。また、画像処理装置１による処理に必要なプログラムは画像処理装置１内部のＲＯＭに記録されるが、外部記録媒体に記録されていてもよい。この場合、画像処理装置１は、例えば、外部記録媒体から上記のプログラムを読み出して実行することとなる。プログラムは、ネットワーク経由で提供されるものであってもよい。

撮像部２０は撮像素子を有しており、レンズ１０を介して外光を取り込み、撮像素子に照射することで、撮像画像を生成する。なお、図７に示すように、撮像画像にはｘｙ軸が設定されている。撮像画像の水平方向に延びる軸がｘ軸、垂直方向に延びる軸がｙ軸となる。撮像部２０は、撮像画像を生体追尾部３０に出力する。撮像部２０は、静止画及び動画の撮像を行うことができる。撮像部２０は、動画を撮像する場合、動画の各フレームとなる撮像画像を所定時間毎に生成し、生体追尾部３０に出力する。なお、以下の説明において、撮像画像は、特に説明がない限り、現フレームの撮像画像であるものとする。

生体追尾部３０は、画像メモリ３１と、顔検出部３２と、顔照合部３３と、体追尾部３４と、追尾対象決定部３５と、体領域検出部３６と、特徴量抽出部３７と、表示制御部３８とを備える。画像メモリ３１は、撮像部２０から与えられた撮像画像を記憶する。また、画像メモリ３１は、顔領域の特徴量と顔領域の識別情報とが関連付けられた顔領域リストを記憶する。ここで、顔領域の特徴量としては、顔領域の各パーツ（目、鼻、口等）の位置、形状、顔領域の輪郭等が挙げられる。

顔検出部３２は、撮像画像から生体の顔領域を検出する顔検出処理を行う。顔照合部３３は、現フレームの顔領域と顔領域リスト中の顔領域とを照合する顔照合処理を行う。さらに、顔照合部３３は、追尾対象の顔領域、即ち追尾顔領域を追尾する顔追尾処理も行なう。体追尾部３４は、体領域検出部３６により設定された体領域を追尾する。即ち、体追尾部３４は、体追尾処理を行なう。追尾対象決定部３５は、顔領域及び体領域の少なくとも一方を追尾対象として決定する。体領域検出部３６は、顔領域に対して所定の位置関係にある領域を追尾対象の体領域、即ち追尾体領域として設定する。特徴量抽出部３７は、追尾体領域から特徴量を抽出する。表示制御部３８は、撮像画像等を表示部４０に表示する。これらの構成による具体的な処理については後述する。表示部４０は、表示制御部３８による制御により撮像画像等を表示する。外部ＩＦ５０は画像処理装置１と外部の機器とを接続するためのインタフェースである。

＜３．画像処理装置による処理の手順＞
つぎに、画像処理装置１による処理の手順を図２〜図６に示すフローチャートに沿って説明する。

［全体処理］
まず、全体処理を図２に示すフローチャートに沿って説明する。ステップＳ１０において、顔検出部３２は顔検出処理を行なう。具体的には、顔検出部３２は、画像メモリ３１から撮像画像を取得し、撮像画像から顔領域を検出する。また、顔検出部３２は、撮像画像中の顔領域に顔枠を重畳する。顔検出部３２は、顔枠が重畳された撮像画像、即ち顔枠重畳画像を顔照合部３３に出力する。

なお、本実施形態では、顔領域が上下逆さまになっている場合や、後ろ向きになっている場合には、検出の対象外とする。なお、顔領域が上下逆さまになっている場合にも検出の対象としてもよい。また、顔領域が後ろ向きになっている場合には、後述するように、顔領域の位置が推定されるようにしてもよい。

ここで、顔領域が上下逆さまになる場合とは、例えば、後述する第１の基準軸とｙ軸とのなす角度が−１８０度以上−１３５度未満となる場合、または、＋１３５度より大きく＋１８０度以下となる場合である（ステップＳ１９０参照）。

一方、顔領域が後ろ向きになっている場合とは、例えば、後述する第２の基準軸と光軸とのなす角度が−１８０度以上−１３５度未満となる場合、または、＋１３５度より大きく＋１８０度以下となる場合である（ステップＳ２４０参照）。

ステップＳ２０において、顔照合部３３は、顔照合処理及び顔追尾処理を行なう。具体的には、顔照合部３３は、顔追尾枠重畳画像中の顔領域から特徴量を抽出し、抽出した特徴量と顔領域リスト中の特徴量とを照合することで、顔枠重畳画像中の顔領域と顔領域リスト中の識別情報とを関連付ける。また、顔照合部３３は、顔領域リストに登録されていない新規顔領域、即ち前フレーム（現フレームの１つ前のフレーム）で検出されていない顔領域が顔枠重畳画像中に存在する場合には、新規顔領域に対応する顔枠を新規顔枠に変更する。なお、顔照合部３３は、前フレームでも検出された顔領域を通常顔領域として扱う。

次いで、顔照合部３３は、ユーザによる顔領域の指定操作があったか否かを判定する。顔照合部３３は、ユーザによる顔領域の指定操作があったと判定した場合には、ユーザが指定した顔領域を追尾顔領域として設定し、追尾顔領域に関連付けられた識別情報を画像メモリ３１に記憶する。ついで、顔照合部３３は、追尾顔領域に顔追尾枠を重畳する。顔照合部３３は、追尾顔領域を発見した旨の第１の顔発見情報を生成し、追尾対象決定部３５に出力する。さらに、顔照合部３３は、顔追尾枠が重畳された顔枠重畳画像、即ち顔追尾枠重畳画像を生成し、体領域検出部３６及び表示制御部３８に出力する。なお、顔追尾枠以外の顔枠は消去されてもよい。

一方、顔照合部３３は、すでに追尾顔領域が設定されている場合には、追尾顔領域に関連付けられた識別情報（即ち、追尾対象識別情報）を画像メモリ３１から取得し、追尾対象識別情報と同じ識別情報を有する顔領域を顔枠重畳画像から探索する。顔照合部３３は、追尾対象識別情報と同じ識別情報を有する顔領域を発見した場合には、その顔領域を追尾顔領域とし、追尾顔領域に顔追尾枠を重畳する。顔照合部３３は、追尾顔領域を発見した旨の第１の顔発見情報を生成し、追尾対象決定部３５に出力する。さらに、顔照合部３３は、顔追尾枠が重畳された顔枠重畳画像、即ち顔追尾枠重畳画像を生成し、体領域検出部３６及び表示制御部３８に出力する。

一方、顔照合部３３は、追尾対象識別情報と同じ識別情報を有する顔領域を顔枠重畳画像から発見することができなかった場合には、追尾顔領域を発見できなかった旨の第２の顔発見情報を生成し、追尾対象決定部３５に出力する。さらに、顔照合部３３は、顔枠重畳画像を追尾対象決定部３５及び表示制御部３８に出力する。

次いで、顔照合部３３は、前フレームで追尾対象決定部３５から顔領域追尾継続情報が与えられたか否か（即ち、追尾対象が顔領域であるか否か）を判定する。顔照合部３３は、前フレームで追尾対象決定部３５から顔領域追尾継続情報が与えられたと判定した場合には、以下の顔追尾処理を行った後、ステップＳ３０に進む。一方、顔照合部３３は、前フレームで追尾対象決定部３５から顔領域追尾継続情報が与えられないと判定した場合には、ステップＳ３０に進む。以上が顔照合処理の内容である。

即ち、顔照合部３３は、前フレームの追尾顔領域の近傍から現フレームの顔領域を探索する。顔照合部３３は、前フレームの追尾顔領域の近傍から現フレームの顔領域を発見した場合には、発見された顔領域を追尾顔領域と判定し、追尾顔領域に顔追尾枠を重畳する。そして、顔照合部３３は、前フレームの追尾顔領域の近傍から現フレームの顔領域を発見したことを示す第１の顔追尾結果情報を追尾対象決定部３５に出力する。さらに、顔照合部３３は、顔追尾枠重畳画像を体領域検出部３６及び表示制御部３８に出力する。

一方、顔照合部３３は、前フレームの追尾顔領域の近傍から現フレームの顔領域を発見することができなかった場合には、顔追尾が行えなかったことを示す第２の顔追尾結果情報を追尾対象決定部３５に出力する。

なお、顔検出部３２及び顔照合部３３は、追尾対象が顔領域であるか否かに関わらず、上述したステップＳ１０及びＳ２０の処理を行なう。

ステップＳ３０において、体追尾部３４は、追尾対象決定部３５から起動指示情報が与えられたか否かを判定する。体追尾部３４は、追尾対象決定部３５から起動指示情報が与えられた場合には、ステップＳ４０に進み、与えられない場合には、ステップＳ５０に進む。

ステップＳ４０において、体追尾部３４は、画像メモリ３１から撮像画像を取得する。次いで、体追尾部３４は、特徴量抽出部３７から与えられた特徴量情報に基づいて、体追尾処理を行なう。

具体的には、体追尾部３４は、追尾体領域を撮像画像から探索する。体追尾部３４は、追尾体領域を撮像画像から発見することができた場合には、追尾体領域の一部に体追尾枠を重畳する。次いで、体追尾部３４は、追尾体領域を発見することができた旨の第１の体追尾結果情報と、体追尾枠が重畳された撮像画像、即ち体追尾枠重畳画像とを追尾対象決定部３５に出力する。さらに、体追尾部３４は、体追尾枠重畳画像を表示制御部３８に出力する。体追尾枠は、顔追尾枠と異なる態様（例えば、色、大きさ、形状）で描かれる。

一方、体追尾部３４は、追尾体領域を撮像画像から発見することができなかった場合には、追尾体領域を発見することができなかった旨の第２の体追尾結果情報を追尾対象決定部３５に出力する。

ステップＳ５０において、追尾対象決定部３５は、図３に示す追尾対象決定処理を行なう。追尾対象決定処理は、概略的には、顔領域及び体領域のうち少なくとも一方を追尾対象として決定する処理である。追尾対象決定部３５は、顔領域を追尾対象として決定した場合には、その旨の顔領域追尾継続情報を顔照合部３３に出力する。顔照合部３３は、顔領域追尾継続情報が与えられた場合には、次フレームで上述した顔追尾処理を継続して行なう。一方、追尾対象決定部３５は、体領域を追尾対象として決定した場合には、後述するステップＳ１００において、起動指示情報を体追尾部３４に出力する。なお、追尾対象決定部３５は、顔領域を追尾対象として決定し、かつ、顔領域の信頼度が所定値以下となる場合にも、起動指示情報を体追尾部３４に出力する。即ち、本実施形態では、顔領域及び体領域が並行して追尾される場合がある。

ステップＳ６０において、追尾対象決定部３５は、追尾対象が顔領域であるか否かを判定する。追尾対象決定部３５は、追尾対象が顔領域であると判定した場合には、ステップＳ７０に進み、追尾対象が体領域であると判定した場合には、ステップＳ１００に進む。

ステップＳ７０において、追尾対象決定部３５は、体領域の検出を指示する旨の体領域検出指示情報を体領域検出部３６に出力する。体領域検出部３６は、体領域検出指示情報が与えられた場合に、図４に示す体領域検出処理を行なう。体領域検出処理は、概略的には、顔領域と所定の位置関係にある領域を検索体領域として検出する処理である。ここで、所定の位置関係とは、概略的には、顔領域と体領域とが顔領域の首部分で連結される位置関係を意味する。この顔領域及び体領域は、同一の被写体（生体）を構成すると推測される。また、体領域は、生体の各部分のうち、顔以外の任意の部分を示す。体領域検出部３６は、体領域に関する体領域情報を特徴量抽出部３７に出力する。

ステップＳ８０において、特徴量抽出部３７は、体領域情報に基づいて、体領域の特徴量を体領域から抽出する。ここで、体領域の特徴量としては、体の色（服の色）等が挙げられる。特徴量抽出部３７はは、体領域の特徴量に関する特徴量情報を生成し、体追尾部３４に出力する。体追尾部３４は、特徴量情報に基づいて、次フレームで体追尾処理を行なう。

ステップＳ９０において、顔照合部３３は、顔登録処理を行なう。具体的には、顔照合部３３は、新規顔領域の特徴量及び新規顔領域に対応する識別情報を顔領域リストに登録する。

ステップＳ１００において、追尾対象決定部３５は、次回の追尾対象判定処理を行なう。次回の追尾対象判定処理は、概略的には、次フレームで体追尾処理を行うか否かを決定する処理である。その後、画像処理装置１は処理を終了する。

［追尾対象決定処理］
次に、図３に基づいて、追尾対象決定処理の手順について説明する。ステップＳ１１０において、追尾対象決定部３５は、照合処理で追尾顔領域が発見されたか否かを判定する。具体的には、追尾対象決定部３５は、顔照合部３３から第１の顔発見情報が与えられたか否かを判定する。追尾対象決定部３５は、第１の顔発見情報が与えられたと判定した場合には、ステップＳ１２０に進み、第１の顔発見情報ではなく第２の顔発見情報が与えられたと判定した場合には、ステップＳ１３０に進む。

ステップＳ１２０において、追尾対象決定部３５は、追尾対象を顔領域に決定する。即ち、追尾対象決定部３５は、照合処理によって追尾顔領域と同じ顔領域が発見された場合には、追尾対象を顔領域に決定する。その後、追尾対象決定部３５は、追尾対象決定処理を終了する。

ステップＳ１３０において、追尾対象決定部３５は、顔照合部３３が顔追尾中であり、かつ追尾顔領域を検出することができたか否かを判定する。具体的には、追尾対象決定部３５は、顔照合部３３から第１の顔追尾結果情報が与えられたか否かを判定する。追尾対象決定部３５は、顔照合部３３から第１の顔追尾結果情報が与えられたと判定した場合には、ステップＳ１２０に進み、顔照合部３３から第１の顔追尾結果情報ではなく第２の顔追尾結果情報が与えられたと判定した場合には、ステップＳ１４０に進む。したがって、追尾対象決定部３５は、顔追尾処理によって追尾顔領域と同じ顔領域が発見された場合にも、追尾対象を顔領域に決定する。

ステップＳ１４０において、追尾対象決定部３５は、体追尾処理が成功したか否かを判定する。具体的には、追尾対象決定部３５は、体追尾部３４から第１の体追尾結果情報が与えられたか否かを判定する。追尾対象決定部３５は、体追尾部３４から第１の体追尾結果情報が与えられたと判定した場合には、ステップＳ１５０に進み、体追尾部３４から第１の体追尾結果情報ではなく第２の体追尾結果情報が与えられたと判定した場合には、ステップＳ１８０に進む。

ステップＳ１５０において、追尾対象決定部３５は、結びつき判定処理を行う。結びつき判定処理は、概略的には、新規顔領域と追尾体領域とを結びつける処理である。追尾対象決定部３５は、新規顔領域と追尾体領域とが上述した所定の位置関係にある、即ち同一の被写体を構成すると推定される場合には、これらを結びつける。

ステップＳ１６０において、追尾対象決定部３５は、新規顔領域と追尾体領域とが結びついたか否かを判定し、これらが結びついたと判定した場合には、ステップＳ１２０に進み、これらが結びつかないと判定した場合には、ステップＳ１７０に進む。したがって、追尾対象決定部３５は、現フレームの照合処理及び顔追尾処理で新規顔領域が発見されない場合であっても、新規顔領域が追尾体領域に結びつく場合には、追尾対象を顔領域に設定する。

ステップＳ１７０において、追尾対象決定部３５は、追尾対象を体領域に設定する。したがって、追尾対象決定部３５は、現フレームの照合処理及び顔追尾処理で新規顔領域が発見されず、かつ、新規顔領域が追尾体領域に結びつかない場合に、追尾対象を体領域に設定する。その後、追尾対象決定部３５は、追尾対象決定処理を終了する。

ステップＳ１８０において、追尾対象決定部３５は、追尾を終了する旨の決定を行なう。追尾顔領域及び追尾体領域のいずれも発見されないからである。その後、追尾対象決定部３５は、追尾対象決定処理を終了する。

［体領域検出処理］
次に、図４に基づいて、体領域検出処理の手順について説明する。ステップＳ１９０において、体領域検出部３６は、追尾顔領域のロール方向の向きが正面であるか否かを判定する。ここで、ロール方向は、撮像画像上での回転方向である。具体的には、体領域検出部３６は、まず、顔領域の首部分が延びる方向に平行な第１の基準軸を設定する。そして、体領域検出部３６は、第１の基準軸を、追尾顔領域内の各パーツ（目、鼻、口等）の位置に基づいて調整する。例えば、体領域検出部３６は、両目を結ぶ直線と第１の基準軸とが直交しない場合、これらが直交するように、第１の基準軸を回転させる。第１の基準軸は、目から首に向かう方向が正方向となる。

次いで、体領域検出部３６は、第１の基準軸とｙ軸とがなす角度を検出する。体領域検出部３６は、これらの軸がなす角度が−４５度より大きく＋４５度より小さい場合に、追尾顔領域のロール方向が正面方向であると判定する。なお、体領域検出部３６による判定の基準となる角度については、ここで示される値に限られない。以下同様である。第１の基準軸とｙ軸とのなす角度は、被写体が直立した際に０度となり、左回り方向を正方向とする。図７（ａ）に追尾顔領域のロール方向が正面方向である例を示す。この例では、顔追尾枠重畳画像１００に追尾顔領域２１０及び顔追尾枠３００が描かれており、第１の基準軸とｙ軸とのなす角度はほぼ０度となっている。

体領域検出部３６は、追尾顔領域のロール方向が正面方向であると判定した場合には、ステップＳ２００に進み、追尾顔領域のロール方向が正面方向以外であると判定した場合には、ステップＳ２１０に進む。

ステップＳ２００において、体領域検出部３６は、追尾顔領域の首部分に隣接し、かつ、第１の基準軸正方向に長く延びる（第１の基準軸正方向の長さがこの軸に垂直な方向の長さよりも長い）領域を追尾体領域として検出（設定）する。例えば、体領域検出部３６は、図７（ａ）に示す例では、追尾顔領域２１０の下方向に縦長の領域４００を設定し、これを追尾体領域とする。

次いで、体領域検出部３６は、追尾体領域の形状を追尾顔領域の大きさ、世代情報、及び性別情報に基づいて調整する。ここで、世代情報は、例えば赤ん坊、子供、大人の区分である。例えば、体領域検出部３６は、追尾顔領域が大きいほど、追尾体領域を大きくする。追尾顔領域が大きいほど、被写体の年齢が高く、追尾体領域も大きいと推定されるからである。また、体領域検出部３６は、追尾顔領域に対する追尾体領域の大きさの比を、追尾顔領域が示す世代が若いほど小さくする。赤ん坊や子供は、頭の大きさに対して体が小さいからである。また、体領域検出部３６は、男性の体領域よりも女性の体領域の方が小さくなるように体領域を調整する。その後、体領域検出部３６は、ステップＳ２４０に進む。

ステップＳ２１０において、体領域検出部３６は、追尾顔領域のロール方向の向きが左傾きであるか否かを判定する。体領域検出部３６は、追尾顔領域のロール方向の向きが左傾きであると判定した場合には、ステップＳ２２０に進み、追尾顔領域のロール方向の向きが右傾きであると判定した場合には、ステップＳ２３０に進む。

体領域検出部３６は、第１の基準軸とｙ軸とがなす角度が＋４５度以上＋１３５度以下である場合に、追尾顔領域のロール方向の向きが左傾きであると判定する。図７（ｂ）に追尾顔領域のロール方向の向きが左傾きである例を示す。この例では、顔追尾枠重畳画像１００に追尾顔領域２１０及び顔追尾枠３００が描かれており、第１の基準軸とｙ軸とのなす角度はほぼ９０度となっている。

一方、体領域検出部３６は、第１の基準軸とｙ軸とがなす角度が−１３５度以上−４５度以下である場合に、追尾顔領域のロール方向の向きが右傾きであると判定する。追尾顔領域のロール方向の向きが右傾きである例を図７（ｃ）に示す。この例では、顔追尾枠重畳画像１００に追尾顔領域２１０及び顔追尾枠３００が描かれており、第１の基準軸とｙ軸とのなす角度はほぼ−９０度となっている。

ステップＳ２２０において、体領域検出部３６は、追尾顔領域の首部分に隣接し、かつ、第１の基準軸正方向に長く延びる領域を追尾体領域として検出（設定）する。例えば、体領域検出部３６は、図７（ｂ）に示す例では、追尾顔領域２１０の右方向に横長の領域４００を設定し、これを追尾体領域とする。次いで、体領域検出部３６は、追尾顔領域の形状を追尾顔領域の大きさ、世代情報、及び性別情報に基づいて調整する。その後、体領域検出部３６は、ステップＳ２４０に進む。

ステップＳ２３０において、体領域検出部３６は、追尾顔領域の首部分に隣接し、かつ、第１の基準軸正方向に長く延びる領域を追尾体領域として検出（設定）する。図７（ｃ）に示す例では、体領域検出部３６は、追尾顔領域２１０の左方向に横長の領域４００を設定し、これを追尾体領域とする。次いで、体領域検出部３６は、追尾顔領域の形状を追尾顔領域の大きさ、世代情報、及び性別情報に基づいて調整する。その後、体領域検出部３６は、ステップＳ２４０に進む。

ステップＳ２４０において、体領域検出部３６は、追尾顔領域のヨー方向の向きが正面であるか否かを判定する。ここで、ヨー方向は、第１の基準軸に垂直な平面（即ち、ヨー方向基準面）上での回転方向である。具体的には、体領域検出部３６は、まず、被写体の視線をヨー方向基準面に投影した軸を第２の基準軸として設定する。第２の基準軸は、被写体からレンズ１０に向かう方向が正方向となる。そして、体領域検出部３６は、第２の基準軸を、追尾顔領域内の各パーツ（目、鼻、口等）の位置に基づいて調整する。例えば、体領域検出部３６は、口の中央点をヨー方向基準面に投影した投影点を第２の基準軸が通らない場合、第２の基準軸が投影点を通るように、第２の基準軸の位置を調整する。

次いで、体領域検出部３６は、第２の基準軸と光軸とがなす角度を検出する。体領域検出部３６は、これらの軸がなす角度が−１０度より大きく＋１０度より小さい場合に、追尾顔領域のヨー方向の向きが正面であると判定する。ここで、光軸は、被写体からレンズ１０に向かう方向を正方向とする。第２の基準軸と光軸とのなす角度は、被写体がレンズ１０側に向いており、かつ、第２の基準軸が光軸に並行となる場合０度となり、ヨー方向基準面上で左回り方向を正方向とする。図８（ａ）に追尾顔領域のヨー方向の向きが正面である例を示す。この例では、顔追尾枠重畳画像１００に追尾顔領域２１０及び顔追尾枠３００が描かれており、第２の基準軸と光軸とのなす角度はほぼ０度となっている。

体領域検出部３６は、追尾顔領域のヨー方向の向きが正面であると判定した場合には、ステップＳ３１０に進み、追尾顔領域のヨー方向の向きが正面以外であると判定した場合には、ステップＳ２５０に進む。

ステップＳ２５０において、体領域検出部３６は、追尾顔領域のヨー方向の向きが左向きであるか否かを判定する。体領域検出部３６は、第２の基準軸と光軸とがなす角度が−１３５度以上−１０度以下である場合に、追尾顔領域のヨー方向の向きが左向きであると判定する。図８（ｂ）、（ｃ）に追尾顔領域のヨー方向の向きが左向きである例を示す。図８（ｂ）に示す例では、顔追尾枠重畳画像１００に追尾顔領域２１０及び顔追尾枠３００が描かれており、第２の基準軸と光軸とのなす角度は−３０度程度となっている。図８（ｃ）に示す例では、顔追尾枠重畳画像１００に追尾顔領域２１０及び顔追尾枠３００が描かれており、第２の基準軸と光軸とのなす角度は−９０度程度となっている。

一方、体領域検出部３６は、第２の基準軸と光軸とがなす角度が＋１０度以上＋１３５度以下である場合に、追尾顔領域のヨー方向の向きが右向きであると判定する。図８（ｄ）、（ｅ）に追尾顔領域のヨー方向の向きが右向きである例を示す。図８（ｄ）に示す例では、顔追尾枠重畳画像１００に追尾顔領域２１０及び顔追尾枠３００が描かれており、第２の基準軸と光軸とのなす角度は＋３０度程度となっている。図８（ｅ）に示す例では、顔追尾枠重畳画像１００に追尾顔領域２１０及び顔追尾枠３００が描かれており、第２の基準軸と光軸とのなす角度は＋９０度程度となっている。

体領域検出部３６は、追尾顔領域のヨー方向の向きが左向きであると判定した場合には、ステップＳ２６０に進み、追尾顔領域のヨー方向の向きが右向きであると判定した場合には、ステップＳ２９０に進む。

ステップＳ２６０において、体領域検出部３６は、第２の基準軸と光軸とのなす角度が−４５度以上−１０度以下であるか否かを判定する。即ち、体領域検出部３６は、追尾顔領域のヨー方向への回転が僅かであるか否かを判定する。体領域検出部３６は、第２の基準軸と光軸とのなす角度が−４５度以上−１０度以下である（即ち、追尾顔領域のヨー方向への回転が僅かである）と判定した場合には、ステップＳ２７０に進む。一方、体領域検出部３６は、第２の基準軸と光軸とのなす角度が−４５度より小さい（即ち、ヨー方向への回転が大きい）と判定した場合には、ステップＳ２８０に進む。

ステップＳ２７０において、体領域検出部３６は、第２の基準軸の回転方向と反対方向に少し追尾体領域を移動させる。例えば、体領域検出部３６は、第２の基準軸の回転方向と反対方向に顔追尾枠３００の幅（ｘ軸方向の長さ）の１／４程度だけ追尾体領域を移動させる。例えば、図８（ｂ）に示す例では、追尾顔領域２１０は撮像画像中左方向に回転しているので、体領域検出部３６は、右方向に顔追尾枠３００の幅の１／４程度だけ追尾体領域４００を移動させる。その後、体領域検出部３６は、ステップＳ３２０に進む。

ステップＳ２８０において、体領域検出部３６は、第２の基準軸の回転方向と反対方向に大きく追尾体領域を移動させる。例えば、体領域検出部３６は、第２の基準軸の回転方向と反対方向に顔追尾枠３００の幅の１／２程度だけ追尾体領域を移動させる。例えば、図８（ｃ）に示す例では、追尾顔領域２１０は撮像画像中左方向に回転しているので、体領域検出部３６は、右方向に顔追尾枠３００の幅の１／２程度だけ追尾体領域４００を移動させる。その後、体領域検出部３６は、ステップＳ３２０に進む。

ステップＳ２９０において、体領域検出部３６は、第２の基準軸と光軸とのなす角度が＋１０度以上＋４５度以下であるか否かを判定する。即ち、体領域検出部３６は、追尾顔領域のヨー方向への回転が僅かであるか否かを判定する。体領域検出部３６は、第２の基準軸と光軸とのなす角度が＋１０度以上＋４５度以下であると判定した場合には、ステップＳ３００に進む。一方、体領域検出部３６は、第２の基準軸と光軸とのなす角度が＋４５度より大きい（即ち、ヨー方向への回転が大きい）と判定した場合には、ステップＳ３１０に進む。

ステップＳ３００において、体領域検出部３６は、第２の基準軸の回転方向と反対方向に少し追尾体領域を移動させる。例えば、体領域検出部３６は、第２の基準軸の回転方向と反対方向に顔追尾枠３００の幅（ｘ軸方向の長さ）の１／４程度だけ追尾体領域を移動させる。例えば、図８（ｄ）に示す例では、追尾顔領域２１０は撮像画像中右方向に回転しているので、体領域検出部３６は、左方向に顔追尾枠３００の幅の１／４程度だけ追尾体領域４００を移動させる。その後、体領域検出部３６は、ステップＳ３２０に進む。

ステップＳ３１０において、体領域検出部３６は、第２の基準軸の回転方向と反対方向に大きく追尾体領域を移動させる。例えば、体領域検出部３６は、第２の基準軸の回転方向と反対方向に顔追尾枠３００の幅の１／２程度だけ追尾体領域を移動させる。例えば、図８（ｅ）に示す例では、追尾顔領域２１０は撮像画像中右方向に回転しているので、体領域検出部３６は、左方向に顔追尾枠３００の幅の１／２程度だけ追尾体領域４００を移動させる。その後、体領域検出部３６は、ステップＳ３２０に進む。

ステップＳ３２０において、体領域検出部３６は、追尾顔領域のピッチ方向（首の長さ方向）の向き及び回転角度に基づいて追尾体領域を調整する。ここで、ピッチ方向は、第１の基準軸及び光軸を含む平面（即ち、ピッチ方向基準面）上での回転方向である。具体的には、体領域検出部３６は、まず、被写体の視線をピッチ方向基準面に投影した軸を第３の基準軸として設定する。第３の基準軸は、被写体からレンズ１０に向かう方向が正方向となる。そして、体領域検出部３６は、第３の基準軸を、追尾顔領域内の各パーツ（目、鼻、口等）の位置に基づいて調整する。例えば、体領域検出部３６は、鼻と口の中心点とを通る直線をピッチ方向基準面に投影した投影直線と第３の基準軸とが直交しない場合には、これらが直交するように、第３の基準軸を回転させる。

次いで、体領域検出部３６は、第３の基準軸と光軸とがなす角度、即ち追尾顔領域のピッチ方向への回転角度を検出する。ここで、追尾顔領域のピッチ方向への回転角度は、被写体がレンズ１０側に向いており、かつ、第３の基準軸と光軸とが平行となる際に０度となり、ピッチ方向基準面上で左回り方向を正方向とする。追尾顔領域のピッチ方向への回転角度は、概略的には、被写体が顔を体に近づけた際に負の値となり、被写体が顔を体から遠ざけた際に正の値となる。体領域検出部３６は、追尾顔領域のピッチ方向への回転角度が正の値となる場合、回転角度の絶対値が大きいほど追尾体領域を第１の基準軸正方向に大きくする。一方、体領域検出部３６は、追尾顔領域のピッチ方向への回転角度が負の値となる場合、回転角度の絶対値が大きいほど追尾体領域を第１の基準軸正方向に小さくする。

次いで、体領域検出部３６は、追尾体領域のうち、撮像画像外にはみ出した領域を切り取る。ここで、追尾体領域の一部が撮像画像外にはみ出す場合としては、例えば、追尾顔領域が撮像画像の端部に配置されている場合、追尾顔領域が非常に大きい場合等が挙げられる。図９（ａ）に追尾体領域の一部が撮像画像の外にはみ出す例を示す。図９（ａ）に示す例では、顔追尾枠重畳画像１００に追尾顔領域２１０及び顔追尾枠３００が描かれており、追尾体領域４００の一部が顔追尾枠重畳画像１００の下方にはみ出している。

ステップＳ３３０において、体領域検出部３６は、追尾体領域が追尾顔領域に対して一定以上の大きさを有するか否かを判定する。体領域検出部３６は、追尾体領域が追尾顔領域に対して一定以上の大きさを有すると判定した場合には、体領域検出処理を終了し、追尾体領域が追尾顔領域に対して一定未満の大きさしか有しないと判定した場合には、ステップＳ３３５に進む。

ステップＳ３３５において、体領域検出部３６は、追尾体領域を追尾顔領域方向に拡張する。追尾体領域が追尾顔領域方向に拡張される例を図９（ｂ）に示す。図９（ｂ）に示すように、ステップＳ３３５の処理が行われた場合、追尾体領域の一部は追尾顔領域に重畳される。なお、拡張される領域の大きさは、ステップＳ３２０で切り取られた領域と略同じであればよい。その後、体領域検出部３６は、体領域検出処理を終了する。

なお、体領域検出部３６は、追尾顔領域の周辺領域の動き情報（動きベクトル）、撮像画像以外の情報（例えば、赤外線情報、距離情報、サーモグラフ情報等）を併用することで、追尾体領域を検出してもよい。例えば、体領域検出部３６は、追尾顔領域と同じ動きをする領域を追尾体領域として検出してもよい。さらに、体領域検出部３６は、追尾顔領域と同じ温度を有する領域を追尾体領域として検出してもよい。さらに、体領域検出部３６は、レンズ１０からの距離が追尾顔領域と同じである領域を追尾体領域として検出してもよい。

［結びつき判定処理］
次に、図５に基づいて、ステップＳ１５０に示す結びつき判定処理について説明する。ステップＳ３４０において、追尾対象決定部３５は、顔照合部３３から与えられた顔枠重畳画像と、体追尾部３４から与えられた体追尾枠重畳画像とを合成することで、結びつき判定用画像を生成する。顔照合部３３が新規顔領域を発見した場合、この結びつき判定用画像には、新規顔領域及び新規顔枠が含まれる。また、結びつき判定用画像には、体追尾枠が含まれる。次いで、追尾対象決定部３５は、体追尾枠の重心を算出する。体追尾枠の重心は、例えば体追尾枠の中心点となる。

ステップＳ３５０において、追尾対象決定部３５は、新規顔領域のロール方向の向きが正面であるか否かを判定する。具体的な処理内容はステップＳ１９０と同様である。追尾対象決定部３５は、新規顔領域のロール方向が正面方向であると判定した場合には、ステップＳ３６０に進み、新規顔領域のロール方向が正面方向以外であると判定した場合には、ステップＳ３７０に進む。

ステップＳ３６０において、体領域検出部３６は、新規顔領域の首部分に隣接し、かつ、第１の基準軸正方向に長く延びる領域を検索領域として設定する。なお、体領域検出部３６は、第１の基準軸に直交する方向にも検索領域を広げる。図１０（ａ）に検索領域の例を示す。この例では、結びつき判定用画像１１０に新規顔領域２２０及び新規顔枠３１０が描かれており、新規顔領域のロール方向の向きが正面となっている。また、追尾対象決定部３５は、新規顔領域２２０の下方向に縦長の検索領域４４０を設定する。

次いで、追尾対象決定部３５は、追尾顔領域の形状を追尾顔領域の大きさ、世代情報、及び性別情報に基づいて調整する。具体的な処理内容は上述したステップＳ２００と同様である。

ステップＳ３７０において、追尾対象決定部３５は、追尾顔領域のロール方向の向きが左傾きであるか否かを判定する。具体的な処理内容はステップＳ２１０と同様である。追尾対象決定部３５は、追尾顔領域のロール方向の向きが左傾きであると判定した場合には、ステップＳ３８０に進み、追尾顔領域のロール方向の向きが右傾きであると判定した場合には、ステップＳ３９０に進む。

ステップＳ３８０において、追尾対象決定部３５は、追尾顔領域の首部分に隣接し、かつ、第１の基準軸正方向に長く延びる領域を検索領域として設定する。なお、体領域検出部３６は、第１の基準軸に直交する方向にも検索領域を広げる。図１０（ｂ）に検索領域の例を示す。この例では、結びつき判定用画像１１０に新規顔領域２２０及び新規顔枠３１０が描かれており、新規顔領域のロール方向の向きが左傾きとなっている。また、追尾対象決定部３５は、新規顔領域２２０の右方向に横長の検索領域４４０を設定する。次いで、追尾対象決定部３５は、新規顔領域の形状を新規顔領域の大きさ、世代情報、及び性別情報に基づいて調整する。その後、追尾対象決定部３５は、ステップＳ４００に進む。

ステップＳ３９０において、追尾対象決定部３５は、新規顔領域の首部分に隣接し、かつ、第１の基準軸正方向に長く延びる領域を検索領域として設定する。なお、体領域検出部３６は、第１の基準軸に直交する方向にも検索領域を広げる。また、ステップＳ３９０の処理が行われる場合、新規顔領域のロール方向の向きは右傾きとなっている。図１０（ｃ）に検索領域の例を示す。この例では、結びつき判定用画像１１０に新規顔領域２２０及び新規顔枠３１０が描かれており、新規顔領域のロール方向の向きが右傾きとなっている。また、追尾対象決定部３５は、新規顔領域２２０の左方向に横長の検索領域４４０を設定する。次いで、体領域検出部３６は、新規顔領域の形状を新規顔領域の大きさ、世代情報、及び性別情報に基づいて調整する。その後、体領域検出部３６は、ステップＳ４００に進む。

ステップＳ４００において、追尾対象決定部３５は、新規顔領域のヨー方向の向きが正面であるか否かを判定する。具体的な処理内容はステップＳ２４０と同様である。追尾対象決定部３５は、新規顔領域のヨー方向の向きが正面であると判定した場合には、ステップＳ４８０に進み、新規顔領域のヨー方向の向きが正面以外であると判定した場合には、ステップＳ４１０に進む。

ステップＳ４１０において、追尾対象決定部３５は、新規顔領域のヨー方向が左向きであるか否かを判定する。具体的な処理内容はステップＳ２５０と同様である。追尾対象決定部３５は、新規顔領域のヨー方向の向きが左向きであると判定した場合には、ステップＳ４２０に進み、新規顔領域のヨー方向の向きが右向きであると判定した場合には、ステップＳ４５０に進む。

ステップＳ４２０において、追尾対象決定部３５は、新規顔領域のヨー方向への回転が僅かであるか否かを判定する。具体的な処理内容はステップＳ２６０と同様である。追尾対象決定部３５は、新規顔領域のヨー方向への回転が僅かであると判定した場合には、ステップＳ４３０に進む。一方、追尾対象決定部３５は、ヨー方向への回転が大きいと判定した場合には、ステップＳ４４０に進む。

ステップＳ４３０において、追尾対象決定部３５は、第２の基準軸の回転方向と反対方向に少し検索領域を移動させる。具体的な処理内容は、ステップＳ２７０と同様である。その後、追尾対象決定部３５は、ステップＳ４８０に進む。

ステップＳ４４０において、追尾対象決定部３５は、第２の基準軸の回転方向と反対方向に大きく検索領域を移動させる。具体的な処理内容は、ステップＳ２８０と同様である。その後、追尾対象決定部３５は、ステップＳ４８０に進む。

ステップＳ４５０において、追尾対象決定部３５は、新規顔領域のヨー方向への回転が僅かであるか否かを判定する。具体的な処理内容はステップＳ２９０と同様である。追尾対象決定部３５は、新規顔領域のヨー方向への回転が僅かであると判定した場合には、ステップＳ４６０に進む。一方、追尾対象決定部３５は、ヨー方向への回転が大きいと判定した場合には、ステップＳ４７０に進む。

ステップＳ４６０において、追尾対象決定部３５は、第２の基準軸の回転方向と反対方向に少し検索領域を移動させる。具体的な処理内容はステップＳ３００と同様である。その後、追尾対象決定部３５は、ステップＳ４８０に進む。

ステップＳ４７０において、追尾対象決定部３５は、第２の基準軸の回転方向と反対方向に大きく検索領域を移動させる。具体的な処理内容はステップＳ３１０と同様である。その後、追尾対象決定部３５は、ステップＳ４８０に進む。

ステップＳ４８０において、追尾対象決定部３５は、検索領域内に体追尾枠の重心が存在するか否かを判定する。図１０（ａ）に、検索領域内に体追尾枠の重心が存在する例を示す。図１０（ａ）に示す例では、結びつき判定用画像１１０に体追尾枠４２０及び重心４３０が重畳されており、重心４３０が検索領域４４０内に存在する。同様に、図１０（ｄ）に、検索領域外に体追尾枠の重心が存在する例を示す。図１０（ｄ）に示す例では、結びつき判定用画像１１０に体追尾枠４２０及び重心４３０が重畳されており、重心４３０が検索領域４４０外に存在する。

追尾対象決定部３５は、検索領域内に体追尾枠の重心が存在すると判定した場合には、ステップＳ４９０に進み、検索領域外に体追尾枠の重心が存在すると判定した場合には、ステップＳ５００に進む。

ステップＳ４９０において、追尾対象決定部３５は、新規顔領域と追尾体領域とが上述した所定の位置関係にあると判定し、これらを結びつける。その後、追尾対象決定部３５は、結びつき判定処理を終了する。一方、ステップＳ５００において、追尾対象決定部３５は、新規顔領域と追尾体領域とが所定の位置関係にないと判定し、これらを結びつけない。その後、追尾対象決定部３５は、結びつき判定処理を終了する。

なお、追尾対象決定部３５は、新規顔領域の周辺領域の動き情報（動きベクトル）、撮像画像以外の情報（例えば、赤外線情報、距離情報、サーモグラフ情報等）を併用することで、検索領域を設定してもよい。具体的な処理内容は、体領域検出処理と同様である。

［次回の追尾対象判定処理］
次に、図６に基づいて、次回の追尾対象判定処理について説明する。ステップＳ５１０において、追尾対象決定部３５は、体領域が追尾対象となっているか否かを判定する。なお、追尾対象は、図３に示す追尾対象決定処理により決定される。追尾対象決定部３５は、体領域が追尾対象となっている場合には、ステップＳ５２０に進み、顔領域が追尾対象となっている場合には、ステップＳ５３０に進む。

ステップＳ５２０において、追尾対象決定部３５は、体追尾部３４を起動する。具体的には、追尾対象決定部３５は、起動指示情報を体追尾部３４に起動する。これにより、次フレームから体追尾処理が開始される。その後、追尾対象決定部３５は、次回の追尾対象判定処理を終了する。

ステップＳ５３０において、追尾対象決定部３５は、追尾顔領域の信頼度が所定値以下であるか否かを判定する。追尾対象決定部３５は、追尾顔領域の信頼度が所定値以下であると判定した場合には、ステップＳ５２０に進み、追尾顔領域の信頼度が所定値を超えると判定した場合には、ステップＳ５４０に進む。したがって、追尾対象決定部３５は、追尾対象が顔領域である場合であっても、顔領域の信頼度が低い場合には、顔追尾と体追尾とを並行して行う。追尾顔領域の信頼度は、追尾顔領域のヨー方向の回転角度の絶対値が大きくなるほど小さくなる。ステップＳ５４０において、追尾対象決定部３５は、体追尾部３４を起動しない。その後、追尾対象決定部３５は、次回の追尾対象判定処理を終了する。

このように、生体追尾部３０は、原則として追尾対象を顔領域とする。即ち、生体追尾部３０は、現フレームの照合処理で追尾顔領域が発見された場合には、追尾対象を顔領域とする。さらに、生体追尾部３０は、現フレームの顔追尾処理で追尾顔領域が発見された場合にも、追尾対象を顔領域とする。さらに、生体追尾部３０は、追尾対象が体領域となっていても、新規顔領域と追尾体領域とが結びつく場合には、追尾対象を顔領域に変更する。

ただし、生体追尾部３０は、現フレームで追尾顔領域が発見されず、かつ、新規顔領域が追尾体領域に結びつかなかった場合、追尾対象を体領域とする。そして、生体追尾部３０は、追尾対象が体領域となる場合、または、追尾顔領域の信頼度が低い場合には、次フレームで体追尾処理を開始する。即ち、生体追尾部３０は、現フレームで発見された追尾顔領域の信頼度が低い場合には、次フレームでは顔追尾処理と体追尾処理とを並行して行う。生体追尾部３０が原則として追尾対象を顔領域とする理由としては、例えば、顔追尾処理の方が体追尾処理よりも環境の変化に対するロバスト性が大きいことが挙げられる。

また、生体追尾部３０は、顔追尾処理中は、常に追尾体領域を検出する。これにより、生体追尾部３０は、常に最新の（即ち、現在の環境に応じた）追尾体領域を認識することができる。

［表示制御部による処理］
次に、表示制御部３８が表示部４０に表示する画像の例を説明する。表示制御部３８は、各構成から与えられた画像を合成することで表示用画像１２０を生成し、これを表示部４０に表示する。図１１（ａ）〜（ｄ）、図１２（ａ）〜（ｄ）は表示用画像１２０の例である。表示制御部３８は、現フレームでの追尾対象が顔領域となっている場合、例えば図１１（ａ）に示す表示用画像１２０を表示部４０に表示する。

この表示用画像１２０には、人物画像２００、追尾顔領域２１０、及び顔追尾枠３００が描かれている。人物画像２００はレンズ１０に対し正面を向いている。なお、体領域検出部３６は、表示制御部３８による処理と平行して、追尾体領域４００を検出する。

その後、人物画像２００のヨー方向が変化すると、追尾顔領域２１０の信頼度が低下する。しかし、追尾顔領域２１０の信頼度が高い場合には、追尾対象は顔領域のままであり、かつ、体追尾部３４は起動しない。したがって、表示制御部３８は、図１１（ｂ）に示すように、図１１（ａ）と同様の表示用画像１２０を表示する。

その後、追尾顔領域２１０の信頼度が所定値以下となった場合には、追尾対象は顔領域のままであるが、体追尾部３４が起動する。この場合、表示制御部３８には、顔追尾枠重畳画像及び体追尾枠重畳画像が与えられる。そこで、表示制御部３８は、図１１（ｃ）に示すように、これらの画像を合成したものを表示用画像１２０として表示部４０に表示する。表示用画像１２０には、顔追尾枠３００及び体追尾枠４２０が両方描かれる。

その後、追尾顔領域が検出されなくなると、表示制御部３８には、顔枠重畳画像及び体追尾枠重畳画像が与えられる。そこで、表示制御部３８は、図１１（ｄ）に示すように、これらの画像を合成したものを表示用画像１２０として表示部４０に表示する。ただし、顔領域が検出されていないので、表示用画像１２０には顔領域が描かれない。なお、この場合であっても、顔検出部３２及び顔照合部３３は起動しつづけている。

新規顔領域が検出されない状態では、表示制御部３８は、同様の画像を表示する（図１１（ｅ）〜図１２（ａ）、（ｂ）参照）。これにより、ユーザは、現在の追尾対象を容易に把握できると共に、追尾対象が切り替わるタイミングも容易に把握することができる。

その後、新規顔領域が発見されると、顔枠重畳画像には、新規顔枠が含まれる。この場合、表示制御部３８は、図１２（ｃ）に示す表示用画像１２０を表示部４０に表示する。この表示用画像１２０には、新規顔領域２２０及び新規顔枠３１０が描かれる。一方、追尾対象決定部３５は、表示制御部３８による処理と並行して、結びつき判定処理を行なう。図１２（ｃ）に示す例では、新規顔領域２２０と体追尾枠４２０とが所定の位置関係にあるので、新規顔領域２２０が追尾顔領域２１０とされ、新規顔枠３１０が顔追尾枠３００とされる。さらに、体追尾部３４が停止する。したがって、表示制御部３８は、次フレームでは、図１２（ｄ）に示す表示用画像１２０を表示する。この表示用画像１２０には、追尾顔領域２１０及び顔追尾枠３００が描かれる。

＜４．画像処理装置による効果＞
次に、画像処理装置１による効果の例について、いくつか説明する。図１３（ａ）〜（ｃ）は、表示部４０に表示される表示用画像１２０の一例を示す。これらの表示用画像１２０には、人物画像２００及び犬画像５００が描かれる。また、犬画像５００の体領域に体追尾枠６００が重畳されている。即ち、犬画像５００が追尾対象となっている。一方、人物画像２００の顔領域は、通常顔領域２３０、即ち前フレームでも検出された顔領域となっている。したがって、通常顔領域２３０には、顔枠３２０が重畳されている。即ち、物体追尾部３４が追尾対象である犬画像５００を追尾する一方で、顔検出部３２及び顔照合部３３は、顔検出処理及び顔照合処理を継続して行なう。したがって、撮像部２０は、犬画像５００の追尾中であっても、表示用画像１２０に基づいて、人物画像２００の顔領域に応じたホワイトバランス調整を行うことができる。また、撮像部２０は、表示用画像１２０に基づいて、犬画像５００にフォーカスを合わせ、かつ、露光を顔領域に適切な値に調整することができる。

図１３（ａ）に示すように、人物画像２００と犬画像５００とが離れている場合、これらは当然に結びつかない。しかし、図１３（ｂ）に示すように、両者が近づくと、顔領域２３０と追尾体領域との位置関係が所定の位置関係となる場合がある。しかし、結びつき判定処理の対象となるのは、新規顔領域に限られる。したがって、図１３（ｃ）に示すように、これらは結びつかず、結果として、顔領域２３０が追尾対象とされることはない。このように、画像処理装置１は、追尾対象が異なる被写体に移行してしまうことを防止することができる。

同様に、図１４（ａ）〜（ｂ）は表示用画像１２０の一例である。図１４（ａ）に示すように、表示用画像１２０には、人物画像２００、２００ａ〜２００ｃが描かれている。これらの人物画像のうち、人物画像２００の顔領域が追尾対象となっている。したがって、人物画像２００の顔領域が追尾顔領域２１０となっている。一方、他の人物画像２００ａ〜２００ｃの顔領域は通常顔領域となっており、それぞれ顔枠３２０ａ〜３２０ｃが重畳されている。

その後、図１４（ｂ）に示すように、人物画像２００の顔領域が検出されなくなると、追尾対象が人物画像２００の体領域に移行する。即ち、人物画像２００の体領域に追尾体枠４２０が重畳される。一方、この例では、人物画像２００ａ〜２００ｃの顔領域が検出されているので、これらの顔領域に顔枠３２０ａ〜３２０ｃが重畳される。したがって、撮像部２０は、人物画像２００の顔領域が検出されなくなった場合であっても、表示用画像１２０に基づいて、人物画像２００の顔領域に応じたホワイトバランス調整を行うことができる。さらに、撮像部２０は、表示用画像１２０に基づいて、露光を顔領域に適切な値に調整することができる。

同様に、図１５（ａ）〜（ｄ）は表示用画像１２０の一例である。これらの表示用画像１２０には、人物画像２００及び犬画像５００が描かれる。また、人物画像２００の顔領域が追尾顔領域２１０となっており、追尾顔領域２１０に顔追尾枠３００が重畳されている。したがって、追尾顔領域２１０は顔領域リストに登録されている。

図１５（ａ）に示すように、追尾顔領域２１０と犬画像５００とが所定の位置関係にある場合、犬画像５００が追尾体領域４００として検出される場合がある。したがって、図１５（ｂ）に示すように、人物が画像処理装置１の撮像範囲の外に移動すると、犬画像５００が追尾体領域とされ、犬画像５００に体追尾枠４２０が重畳される場合がある。

その後、あるフレームで人物画像２００が表示用画像１２０内に戻ると、図１５（ｃ）に示すように、人物画像２００の顔領域は新規顔領域２２０とされる。さらに、新規顔領域２２０に新規顔枠３１０が重畳される。なお、この例では、新規顔領域２２０と犬画像５００とは離れているので、これらは結び付けられない。しかし、新規顔領域２２０は、すでに顔領域リストに登録されているので、顔照合処理において、新規顔領域２２０は追尾顔領域２１０とされ、追尾顔領域２１０に顔追尾枠３００が重畳される。したがって、図１５（ｄ）に示すように、追尾対象は、人物画像２００の顔領域に復帰する。このように、画像処理装置１は、あるタイミングで追尾対象が異なる被写体に移行してしまっても、追尾対象を元の被写体に戻すことができる。

同様に、図１６（ａ）〜（ｄ）は表示用画像１２０の一例である。これらの表示用画像１２０には、人物画像２００が描かれる。図１６（ａ）に示す表示用画像１２０では、人物画像２００が追尾されている。しかし、顔領域が検出されないので、体領域が追尾対象とされている。したがって、人物画像２００の体領域に体追尾枠４２０が重畳されている。

その後、人物が画像処理装置１に近づく（矢印Ａ１方向に移動する）と、図１６（ｂ）に示すように、人物画像２００の顔領域が検出される。これにより、追尾対象が顔領域に変更される。即ち、人物画像２００の顔領域が追尾顔領域２１０とされ、追尾顔領域２１０に顔追尾枠３００が重畳される。さらに、追尾顔領域２１０が顔領域リストに登録される。

その後、人物が画像処理装置１の撮像範囲の外に移動する（矢印Ａ２方向に移動する）
と、図１６（ｃ）に示すように、人物画像２００が表示用画像１２０から消失（フレームアウト）し、追尾も途切れる。

その後、人物が画像処理装置１の撮像範囲の外から矢印Ａ３方向に移動して、画像処理装置１の撮像範囲内に入ると、まず、照合処理において、人物画像２００の顔領域が新規顔領域とされる。さらに、人物画像２００の顔領域はすでに顔領域リストに登録されているので、新規顔領域が追尾顔領域２１０とされ、追尾顔領域２１０に顔追尾枠３００が重畳される。したがって、図１６（ｄ）に示すように、追尾対象は、人物画像２００の顔領域に復帰する。このように、画像処理装置１は、あるタイミングで追尾対象がフレームアウトしてしまっても、追尾対象が撮像範囲内に復帰した際に、直ちにその追尾対象を追尾することができる。

なお、人物画像の体領域のみを追尾する技術では、人物の顔領域を登録しておくことができない。したがって、この技術では、追尾対象が一旦フレームアウトしてしまうと、追尾対象が撮像範囲内に復帰しても、やはり体領域を追尾することしかできない。そして、体領域の追尾は環境の変化に対するロバスト性が低い。したがって、人物画像の体領域のみを追尾する技術では、一旦追尾対象がフレームアウトしてしまうと、追尾を復帰させることができない場合が多かった。これに対し、画像処理装置１は、あるタイミングで追尾対象がフレームアウトしてしまっても、追尾対象が撮像範囲内に復帰した際に、直ちにその追尾対象を追尾することができる。

＜５．各種変形例＞
次に、画像処理装置１が行う処理の各種変形例を説明する。
［第１の変形例］
上述したように、追尾対象決定部３５は、新規顔領域が発見され、かつ、新規顔領域と追尾体領域とが所定の位置関係にある場合には、新規顔領域を追尾顔領域とする。しかし、追尾対象決定部３５は、新規顔領域が発見され、かつ、新規顔領域と追尾体領域とが所定の位置関係にある場合であっても、体領域の追尾を継続してもよい。

第１の変形例による処理の例を図１７（ａ）〜（ｄ）に基づいて説明する。図１７（ａ）〜（ｄ）は、第１の変形例において表示部４０に表示される表示用画像１２０の例を示す。図１７（ａ）〜（ｃ）は図１２（ａ）〜（ｃ）と同様である。即ち、追尾対象決定部３５は、新規顔領域が発見されるまでは、上述した追尾対象決定処理を行なう。

しかし、追尾対象決定部３５は、図１７（ｃ）に示すように、新規顔領域２２０が発見され、かつ、新規顔領域２２０と追尾体領域とが所定の位置関係にある場合であっても、新規顔領域２２０を追尾顔領域とはしない。具体的には、追尾対象決定部３５は、結びつき判定処理を行わない。したがって、次フレームにおいて、顔照合部３３は、前フレームの新規顔領域２２０を通常顔領域２３０とし、通常顔領域２３０に顔枠３２０を重畳する。したがって、表示制御部３８は、図１７（ｄ）に示すように、通常顔領域２３０、顔枠３２０、及び体追尾枠４２０が描かれた表示用画像１２０を表示する。

第１の変形例によれば、画像処理装置１は、動物、乗り物、人物の体領域といった顔領域以外の部分を正確かつ継続して追尾することができる。なお、画像処理装置１が新規顔領域への結びつき判定処理を行うか否かは、ユーザによる設定により可能であるものとする。これにより、画像処理装置１は、様々なユーザのニーズに応えることができる。

［第２の変形例］
次に、第２の変形例について説明する。第２の変形例では、顔照合部３３は、ユーザによる入力操作などにより、いずれかの顔領域をスマイル追尾顔領域に設定する。そして、顔照合部３３は、スマイル追尾顔領域にスマイル顔追尾枠を重畳する。顔照合部３３は、スマイル追尾顔領域が笑顔となった場合には、その旨を撮像部２０に通知し、撮像部２０は、当該通知を受け取った際に撮像を行なう。なお、スマイル顔追尾枠は、顔追尾枠と異なる態様で表示されるのが好ましい。

さらに、体領域検出部３６は、スマイル追尾顔領域と所定の位置関係にある領域をスマイル追尾体領域として検出する。そして、体追尾部３４は、スマイル追尾体領域にスマイル体追尾枠を重畳する。また、追尾対象決定部３５は、スマイル追尾体領域が新規顔領域と所定の位置関係にある場合、新規顔領域をスマイル追尾顔領域とする。なお、追尾対象決定部３５は、検索領域を広げることで、顔領域に追尾対象を変更しやすくしてもよい。

第２の変形例による処理の例を、図１８（ａ）〜（ｂ）に基づいて説明する。図１８（ａ）〜（ｂ）は第２の変形例において表示部４０に表示される表示用画像１２０の一例である。図１８（ａ）に示すように、表示用画像１２０には、人物画像２００、２００ａ〜２００ｃが描かれている。これらの人物画像のうち、人物画像２００の顔領域がスマイル追尾顔領域２４０となっており、スマイル追尾顔領域２４０にスマイル追尾枠３５０が重畳されている。一方、他の人物画像２００ａ〜２００ｃの顔領域は通常顔領域となっており、それぞれ顔枠３２０ａ〜３２０ｃが重畳されている。

その後、図１８（ｂ）に示すように、人物画像２００の顔領域が検出されなくなると、追尾対象が人物画像２００の体領域に移行する。ここで、人物画像２００の体領域はスマイル追尾体領域とされ、スマイル追尾体領域にスマイル体追尾枠４５０が重畳される。その後、人物画像２００の顔領域が再度発見された場合には、その顔領域、即ち新規顔領域がスマイル追尾顔領域２４０とされ、スマイル追尾顔領域２４０にスマイル追尾枠３５０が重畳される。

これにより、画像処理装置１は、ある顔領域がスマイル追尾顔領域として設定された後は、仮にその顔領域が検出されなくなっても、他の顔領域がスマイル追尾顔領域として設定されることを防止することができる。このため、画像処理装置１は、ユーザが指定した顔領域以外の顔領域が笑顔になっても、撮像を行わないようにすることができる。

なお、顔領域のみを追尾する技術では、一旦スマイル追尾顔領域が検出されなくなると、図１９に示すように、他の顔領域がスマイル追尾顔領域とされ、これらの顔領域にスマイル対象顔枠３５０ａ〜３５０ｃが表示されてしまう。したがって、この技術では、ユーザが指定した顔領域以外の顔領域が笑顔になった際に、撮像を行ってしまう場合がある。

［第３の変形例］
次に、第３の変形例を説明する。上述したように、表示制御部３８は、追尾顔領域の信頼度が低い場合、顔追尾枠及び体追尾枠を両方表示する。しかし、第３の変形例では、表示制御部３８は、追尾顔領域の信頼度が低い場合であっても、顔追尾枠のみを表示する。この場合、追尾顔領域が発見されなくなった場合、顔追尾枠が直ちに（１フレームで）体追尾枠に移行する。勿論、ハンチングを防止するために、一定の期間は顔追尾枠を継続して表示するようにしてもよい。

第３の変形例による処理の例を、図２０（ａ）〜（ｂ）に基づいて説明する。図２０（ａ）〜（ｂ）は第３の変形例において表示部４０に表示される表示用画像１２０の一例である。図２０（ａ）に示す表示用画像１２０は、図１１（ｃ）に示す表示用画像１２０と同様に、追尾顔領域２１０の信頼度が低い場合に表示される画像である。一方、図２０（ｂ）は図１１（ｄ）と同様に、追尾顔領域が検出されなくなった場合に表示される画像である。図２０（ａ）に示すように、第３の変形例では、追尾顔領域２１０の信頼度が低くなっても、体追尾枠４２０は表示されない。第３の変形例であっても、ユーザは、追尾対象を正確に把握することができる。

［第４の変形例］
次に、第４の変形例を説明する。上述したように、表示制御部３８は、追尾顔領域の信頼度が低い場合、顔追尾枠及び体追尾枠を両方表示する。しかし、第４の変形例では、表示制御部３８は、追尾顔領域の信頼度が低い場合、表示用画像１２０中の顔追尾枠を遷移枠に変更する一方、体追尾枠を表示しない。そして、表示制御部３８は、この遷移枠を１フレーム毎に少しずつ体追尾枠の位置まで移動させる。そして、表示制御部３８は、遷移枠の位置が体追尾枠の位置に一致した場合、遷移枠を体追尾枠に変更する。第４の変形例によれば、ハンチングがより確実に防止される一方、ユーザは、追尾対象を正確に把握することができる。

第４の変形例による処理の例を、図２１（ａ）〜（ｃ）に基づいて説明する。図２１（ａ）〜（ｃ）は第４の変形例において表示部４０に表示される表示用画像１２０の一例である。図２１（ａ）に示す表示用画像１２０は、図１１（ｃ）に示す表示用画像１２０と同様に、追尾顔領域２１０の信頼度が低い場合に表示される画像である。一方、図２１（ｂ）、（ｃ）は図１１（ｄ）と同様に、追尾顔領域が検出されなくなった場合に表示される画像である。第４の変形例では、追尾顔領域２１０の信頼度が低くなった場合、表示制御部３８は、顔追尾枠３００を遷移枠７００に変更する。そして、表示制御部３８は、図２１（ｂ）、（ｃ）に示すように、遷移枠７００を１フレーム毎に少しずつ体追尾枠の位置まで移動させる。

［第５の変形例］
次に、第５の変形例について説明する。第５の変形例では、体追尾部３４は、追尾体領域に顔追尾枠を重畳する。したがって、表示制御部３８は、追尾対象が体領域となる場合であっても、顔追尾枠が重畳された追尾体領域を表示する。

第５の変形例による処理の例を、図２２に基づいて説明する。図２２は、図１４（ｂ）と同様の状況を示している。ただし、第５の変形例では、人物画像２００の追尾体領域に顔追尾枠３００が重畳されている。この場合であっても、ユーザは、追尾対象を正確に把握することができる。

［第６の変形例］
次に、第６の変形例について説明する。第６の変形例では、顔検出部３２は、追尾対象が体領域となる場合に、追尾体領域と所定の位置関係にある領域を顔推定領域として検出する。そして、顔照合部３３は、顔推定領域に顔推定枠を重畳させる。一方、体追尾部３４は、追尾体領域に体追尾枠を重畳しない。したがって、表示制御部３８は、追尾対象が体領域となる場合であっても、顔推定枠が重畳された顔推定領域を表示する。なお、顔推定枠は顔追尾枠と同様の態様（例えば、色、形状）で表示されても良く、他の態様で表示されてもよい。

第６の変形例による処理の例を、図２３に基づいて説明する。図２３は、図１４（ｂ）と同様の状況を示している。ただし、第６の変形例では、人物画像２００の顔推定領域に顔推定枠３６０が重畳されている。この場合であっても、ユーザは、追尾対象を正確に把握することができる。

［第７の変形例］
次に、第７の変形例について説明する。第７の変形例では、体追尾部３４は、追尾体領域の全体に人体枠を重畳する。なお、体追尾部３４は、追尾対象が顔領域となる場合であっても、この人体枠を追尾体領域に重畳しても良い。

第７の変形例による処理の例を、図２４に基づいて説明する。図２４は、図１４（ｂ）と同様の状況を示している。ただし、第７の変形例では、人物画像２００の追尾体領域の全体に人体枠３７０が重畳されている。

［第８の変形例］
次に、第８の変形例について説明する。第８の変形例は、第６の変形例において、体追尾部３４が追尾体領域に体追尾枠を重畳するものである。

第８の変形例による処理の例を、図２５に基づいて説明する。図２５は、図１４（ｂ）と同様の状況を示している。ただし、第８の変形例では、人物画像２００の顔推定領域に顔推定枠３６０が重畳され、追尾体領域に体追尾枠４２０が重畳されている。この場合であっても、ユーザは、追尾対象を正確に把握することができる。

＜６．まとめ＞
このように、画像処理装置１は、追尾対象を顔領域と体領域との間で適切に切り替えることができる。これにより、顔領域が上下左右に頻繁に動き、顔検出が安定しない場合や、環境（例えば照度）が頻繁に変化する場合であっても、画像処理装置１は、追尾対象をより正確かつ継続して追尾することができる。したがって、画像処理装置１は、追尾対象の向きやサイズの変化、照度などの環境の変化にも強い被写体追尾が可能となる。また、画像処理装置１は、追尾対象を認識できなくなることによる追尾終了の回数を減らすことができるので、ユーザによる追尾対象の再登録の手間を大幅に低減することができる。

例えば、図２６（ａ）〜（ｄ）に示す例では、表示用画像１２０に人物画像２００として子供が描かれている。子供は頻繁に動くので、顔検出が安定しない。また、これらの画像は、照度が頻繁に変化する環境（例えば砂浜）で撮像されたものである。

画像処理装置１は、図２６（ａ）に示すように、人物画像２００の顔領域を検出することができた場合には、顔領域を追尾顔領域２１０とし、追尾顔領域２１０に顔追尾枠３００を重畳する。一方、画像処理装置１は、追尾顔領域２１０と所定の位置関係にある領域を追尾体領域として検出する。即ち、画像処理装置１は、顔領域の追尾中であっても、最新の追尾体領域を認識する。

したがって、図２６（ｂ）に示すように、画像処理装置１は、人物画像２００の顔領域を発見することができなくなった場合であっても、追尾対象を直ちに体領域に変更し、追尾体領域に体追尾枠４２０を重畳させることができる。

その後、図２６（ｃ）に示すように、画像処理装置１は、人物画像２００の顔領域を再度発見した場合には、その顔領域を新規顔領域とする。そして、画像処理装置１は、新規顔領域が追尾体領域と所定の位置関係にあるので、新規顔領域を追尾顔領域２１０とし、追尾顔領域２１０に顔追尾枠３００を重畳する。次いで、一方、画像処理装置１は、追尾顔領域２１０と所定の位置関係にある領域を追尾体領域として検出する。即ち、画像処理装置１は、顔領域の追尾中であっても、最新の追尾体領域を認識する。

したがって、図２６（ｄ）に示すように、画像処理装置１は、人物画像２００の顔領域を発見することができなくなった場合であっても、追尾対象を直ちに体領域に変更し、追尾体領域に体追尾枠４２０を重畳させることができる。

以上により、本実施形態では、画像処理装置１は、撮像画像中の顔領域に対して所定の位置関係にある領域を体領域として検出し、体領域を追尾する。したがって、画像処理装置１は、顔領域を検出することができない場合であっても、体領域を追尾することができるので、人物の追尾をより確実に行うことができる。

さらに、画像処理装置１は、顔領域の特性に基づいて、体領域を検出するので、体領域をより正確に検出することができる。

さらに、顔領域の特性には、顔領域の向き、顔領域の大きさ、顔領域内の各パーツの位置、世代情報、及び性別情報のうち、少なくとも１つが含まれるので、画像処理装置１は、体領域をより正確に検出することができる。

さらに、顔領域の向きには、顔領域のロール方向、ヨー方向、及びピッチ方向のうち、少なくとも１つが含まれるので、画像処理装置１は、体領域をより正確に検出することができる。

さらに、画像処理装置１は、撮像画像から顔領域を検出し、顔領域及び体領域のうち、少なくとも一方を追尾対象として決定し、追尾対象を追尾するので、顔領域を検出することができない場合出会っても、体領域を追尾することができる。

さらに、画像処理装置１は、顔領域が過去のフレーム、具体的には前フレームで検出されている場合には、顔領域を追尾対象として決定する。したがって、画像処理装置１は、顔領域が前フレームで検出されている場合、即ち顔追尾が可能な場合には、顔追尾を継続して行なうことができる。

さらに、画像処理装置１は、顔領域が検出され、かつ、過去のフレーム、即ち前フレームで追尾されている場合には、顔領域を追尾対象として決定する。したがって、画像処理装置１は、顔領域が前フレームで追尾されている場合、即ち顔追尾が可能な場合には、顔追尾を継続して行なうことができる。

さらに、画像処理装置１は、顔領域の追尾中に顔領域の信頼度が所定値以下になった場合に、体領域の追尾を開始するので、人体をより正確かつ確実に追尾することができる。

さらに、画像処理装置１は、体領域の追尾中に顔領域を検出し、顔領域と体領域とが所定の位置関係にある場合に、顔領域を追尾対象として決定する。したがって、画像処理装置１は、体領域と同一の被写体を構成する顔領域が発見された場合に、直ちに顔追尾を再開することができる。

さらに、画像処理装置１は、顔領域が過去のフレーム、即ち前フレームで検出されておらず、かつ、顔領域と体領域とが所定の位置関係にある場合に、顔領域を追尾対象として決定する。したがって、画像処理装置１は、体領域と顔領域とが別々の被写体を構成する場合には、これらの位置関係が仮に所定の位置関係になったとしても、追尾対象を顔領域に移行しないようにすることができる。

さらに、画像処理装置１は、撮像画像と、追尾対象を示す追尾枠（顔追尾枠または体追尾枠）とを表示部４０に表示し、追尾対象を変更する場合に、顔追尾枠及び体追尾枠を両方表示する。したがって、ユーザは、追尾対象をより正確に把握することができる。

さらに、画像処理装置１は、追尾枠を追尾対象の種類に応じた態様で表示する。即ち、画像処理装置１は、追尾対象が顔領域となる場合には、顔領域に顔追尾枠を重畳し、追尾対象が体領域となる場合には、体領域に体追尾枠を重畳する。したがって、ユーザは、追尾対象の種類をより正確に把握することができる。

さらに、画像処理装置１は、撮像画像と、追尾枠とを表示部４０に表示し、追尾対象を変更する場合に、追尾枠を変更前の追尾対象から変更後の追尾対象まで遷移させるので、ハンチングを防止することができる。したがって、ユーザは、追尾対象をより正確に把握することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像画像中の顔領域に基づいて被写体の部分領域を検出し、前記部分領域を追尾する追尾部を備える、画像処理装置。
（２）
前記部分領域は前記顔領域に対して所定の位置関係にある、前記（１）記載の画像処理装置。
（３）
前記追尾部は、前記撮像画像から前記顔領域を検出し、前記顔領域及び前記部分領域のうち、少なくとも一方を追尾対象として決定し、前記追尾対象を追尾する、前記（２）記載の画像処理装置。
（４）
前記追尾部は、前記追尾対象を前記顔領域及び前記部分領域の間で切り替える、前記（３）記載の画像処理装置。
（５）
前記追尾部は、前記顔領域を検出する毎に、前記顔領域を顔領域リストに登録し、現フレームの前記顔領域が前記顔領域リストに登録された顔領域に一致する場合には、前記顔領域を追尾対象として決定する、前記（４）記載の画像処理装置。
（６）
前記追尾部は、現フレームの前記顔領域が過去のフレームで追尾されている顔領域に一致する場合には、前記顔領域を追尾対象として決定する、前記（４）記載の画像処理装置。
（７）
前記追尾部は、前記顔領域の追尾中に前記顔領域の信頼度が所定値以下になった場合に、前記部分領域の追尾を開始する、前記（４）〜（６）の何れか１項に記載の画像処理装置。
（８）
前記追尾部は、前記部分領域の追尾中に前記顔領域を検出し、前記顔領域と前記部分領域とが前記所定の位置関係にある場合に、前記顔領域を追尾対象として決定する、前記（４）〜（７）の何れか１項に記載の画像処理装置。
（９）
前記追尾部は、前記顔領域が過去のフレームで検出されておらず、かつ、前記顔領域と前記部分領域とが前記所定の位置関係にある場合に、前記顔領域を追尾対象として決定する、前記（８）記載の画像処理装置。
（１０）
前記追尾部は、前記撮像画像と、前記追尾対象を示す追尾対象報知画像とを表示部に表示し、前記追尾対象を変更する場合に、前記追尾対象報知画像を変更前の追尾対象と変更後の追尾対象との両方に表示する、前記（４）〜（９）の何れか１項に記載の画像処理装置。
（１１）
前記追尾部は、前記撮像画像を表示部に表示し、前記追尾対象を示す追尾対象報知画像を前記追尾対象の種類に応じた態様で前記表示部に表示する、前記（４）〜（１０）の何れか１項に記載の画像処理装置。
（１２）
前記追尾部は、前記撮像画像と、前記追尾対象を示す追尾対象報知画像とを表示部に表示し、前記追尾対象を変更する場合に、前記追尾対象報知画像を変更前の追尾対象から変更後の追尾対象まで遷移させる、前記（４）〜（９）の何れか１項に記載の画像処理装置。
（１３）
前記追尾部は、前記顔領域の特性に基づいて、前記部分領域を検出する、前記（１）〜（１２）の何れか１項に記載の画像処理装置。
（１４）
前記顔領域の特性には、前記顔領域の向き、前記顔領域の大きさ、前記顔領域の動き、顔領域内の各パーツの位置、世代情報、及び性別情報のうち、少なくとも１つが含まれる、前記（１３）記載の画像処理装置。
（１５）
前記顔領域の向きには、前記顔領域のロール方向、ヨー方向、及びピッチ方向のうち、少なくとも１つが含まれる、前記（１４）記載の画像処理装置。
（１６）
撮像画像中の顔領域に基づいて被写体の部分領域を検出し、前記部分領域を追尾することを含む、画像処理方法。
（１７）
コンピュータに、
撮像画像中の顔領域に基づいて被写体の部分領域を検出し、前記部分領域を追尾する追尾機能を実現させる、プログラム。

１ 画像処理装置
１０ レンズ
２０ 撮像部
３０ 生体追尾部
３１ 画像メモリ
３２ 顔検出部
３３ 顔照合部
３４ 体追尾部
３５ 追尾対象決定部
３６ 体領域検出部
３７ 特徴量抽出部
３８ 表示制御部
４０ 表示部
５０ 外部インタフェース

Claims (13)

1. 撮像画像中の顔領域に基づいて被写体の部分領域を検出し、前記顔領域及び前記部分領域のうち少なくとも一方を追尾する追尾部を備え、
   前記追尾部は、追尾対象を前記顔領域及び前記部分領域の間で切り替え、
   前記部分領域の追尾中に前記顔領域を検出し、前記顔領域が過去のフレームで検出されておらず、かつ、前記顔領域と前記部分領域とが所定の位置関係にある場合に、前記顔領域を追尾対象として決定する、画像処理装置。
2. 前記部分領域は前記顔領域に対して所定の位置関係にある、請求項１記載の画像処理装置。
3. 前記追尾部は、前記顔領域を検出する毎に、前記顔領域を顔領域リストに登録し、現フレームの前記顔領域が前記顔領域リストに登録された顔領域に一致する場合には、前記顔領域を追尾対象として決定する、請求項１または２に記載の画像処理装置。
4. 前記追尾部は、現フレームの前記顔領域が過去のフレームで追尾されている顔領域に一致する場合には、前記顔領域を追尾対象として決定する、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記追尾部は、前記顔領域の追尾中に前記顔領域の信頼度が所定値以下になった場合に、前記部分領域の追尾を開始する、請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記追尾部は、前記撮像画像と、前記追尾対象を示す追尾対象報知画像とを表示部に表示し、前記追尾対象を変更する場合に、前記追尾対象報知画像を変更前の追尾対象と変更後の追尾対象との両方に表示する、請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記追尾部は、前記撮像画像を表示部に表示し、前記追尾対象を示す追尾対象報知画像を前記追尾対象の種類に応じた態様で前記表示部に表示する、請求項１〜６の何れか１項に記載の画像処理装置。
8. 前記追尾部は、前記撮像画像と、前記追尾対象を示す追尾対象報知画像とを表示部に表示し、前記追尾対象を変更する場合に、前記追尾対象報知画像を変更前の追尾対象から変更後の追尾対象まで遷移させる、請求項１〜５の何れか１項に記載の画像処理装置。
9. 前記追尾部は、前記顔領域の特性に基づいて、前記部分領域を検出する、請求項１〜８の何れか１項に記載の画像処理装置。
10. 前記顔領域の特性には、前記顔領域の向き、前記顔領域の大きさ、前記顔領域の動き、顔領域内の各パーツの位置、世代情報、及び性別情報のうち、少なくとも１つが含まれる、請求項９記載の画像処理装置。
11. 前記顔領域の向きには、前記顔領域のロール方向、ヨー方向、及びピッチ方向のうち、少なくとも１つが含まれる、請求項１０記載の画像処理装置。
12. 撮像画像中の顔領域に基づいて被写体の部分領域を検出し、前記顔領域及び前記部分領域のうち少なくとも一方を追尾することを含み、
    追尾対象を前記顔領域及び前記部分領域の間で切り替え、
    前記部分領域の追尾中に前記顔領域を検出し、前記顔領域が過去のフレームで検出されておらず、かつ、前記顔領域と前記部分領域とが所定の位置関係にある場合に、前記顔領域を追尾対象として決定する、画像処理方法。
13. コンピュータに、
    撮像画像中の顔領域に基づいて被写体の部分領域を検出し、前記顔領域及び前記部分領域のうち少なくとも一方を追尾する追尾機能を実現させ、
    前記追尾機能は、追尾対象を前記顔領域及び前記部分領域の間で切り替え、
    前記部分領域の追尾中に前記顔領域を検出し、前記顔領域が過去のフレームで検出されておらず、かつ、前記顔領域と前記部分領域とが所定の位置関係にある場合に、前記顔領域を追尾対象として決定する、プログラム。

Images