JP5743501B2 - 物体追尾装置、物体追尾方法、及び物体追尾プログラム - Google Patents

Description

本発明は、カメラなどの撮像装置に用いられ、被写体などの物体を追尾する物体追尾装置、物体追尾方法、及び物体追尾プログラムに関し、特に、オートフォーカス及び露出補正などの自動化機能等において用いられる物体追尾装置、物体追尾方法、及び物体追尾プログラムに関する。

一般に、カメラなどの撮像装置においては、被写体などの物体（以下、単に被写体と呼ぶ）を追尾するための物体追尾装置（以下、被写体追尾装置とも呼ぶ）が用いられている。この被写体追尾装置では、動画像における被写体像を追尾する際、被写体像の特徴量に応じて被写体像を追尾している。

例えば、現フレームよりも時間的に前のフレーム（前フレーム）において被写体像が存在する（結像した）基準領域からその特徴量を算出する。そして、現フレーム上の所定の探索領域においてその任意の位置から算出した特徴量と最も近似する領域を探索する。続いて、この探索結果に基づいて現フレームにおける基準領域を求めるようにしている。

さらに、被写体の追尾を行うに当たって、基準領域をフレーム毎に移動させて被写体の追尾を行い、かつ被写体の変形及び回転などに対応するため、基準領域の位置及びサイズを補正することが行われている。

特許文献１においては、被写体の大きさが変化した際、基準領域を補正するようにしており、例えば、光学系のズーム倍率が変更されると、ズーム倍率の変化量に応じて、基準領域を拡大又は縮小して基準領域の特徴を検索して基準領域を補正するようにしている。

また、特許文献２においては、動きベクトルの誤検出に応じて基準領域を補正するようにしている。例えば、基準領域の外側に複数の補助領域を設定して、各領域において動きベクトルを検出して、基準領域で検出された動きベクトルに対して、ほぼ等しい動きベクトルが検出された補助領域を選択する。そして、選択された補助領域の方向に基準領域を相対的に移動して基準領域の補正を行う。

特開２００９−２２５２３６号公報 特開平５−３０４０６号公報

ところが、特許文献１においては、ズーム動作を行わない場合に、例えば、被写体がカメラ側に接近してその大きさが変化した場合には、基準領域を補正することができないという課題がある。その結果、精度よく追尾対象である被写体の追尾を行うことができない。

また、特許文献２では、動きベクトルの誤検出を防止するようにしているもの、被写体の回転又は大きさの変化などによって、被写体の形状が変化すると、所望の補正をおこなうことができないという課題がある。その結果、精度よく追尾対象である被写体の追尾を行うことができない。

従って、本発明の目的は、追尾対象である被写体などの物体の状態（形状）が変化した場合においても、精度よく被写体の追尾を行うことができる物体追尾装置、物体追尾方法、及び物体追尾プログラムを提供するにある。

上記の目的を達成するため、本発明による物体追尾装置は、複数フレーム画像を有する画像信号を受けて、当該画像信号において特定の物体を追尾する物体追尾装置において、現フレーム画像よりも前の前フレーム画像において前記物体が結像する領域を示す基準領域に予め設定された数の小領域を設定する小領域設定手段と、前記現フレーム画像と前記前フレーム画像とを用いて、前記小領域の各々に対応する複数の動きベクトルを検出する動きベクトル検出手段と、前記複数の動きベクトルのｘ成分およびｙ成分の少なくともいずれか一方の符号の組合せに応じて前記物体の回転の方向を判断し、当該回転の方向に応じて前記物体の変化を判断して形状変化情報を得る形状変化判断手段と、前記形状変化情報に応じて前記基準領域の位置及びサイズを補正して、現フレーム画像における基準領域を設定する領域補正手段とを備えることを特徴とする。

本発明による物体追尾方法は、複数フレーム画像を有する画像信号を受けて、当該画像信号において特定の物体を追尾する物体追尾装置において用いられる物体追尾方法において、現フレーム画像よりも前の前フレーム画像において前記物体が結像する領域を示す基準領域に予め設定された数の小領域を設定する小領域設定ステップと、前記現フレーム画像と前記前フレーム画像とを用いて、前記小領域の各々に対応する複数の動きベクトルを検出する動きベクトル検出ステップと、前記複数の動きベクトルのｘ成分およびｙ成分の少なくともいずれか一方の符号の組合せに応じて前記物体の回転の方向を判断し、当該回転の方向に応じて前記物体の変化を判断して形状変化情報を得る形状変化判断ステップと、前記形状変化情報に応じて前記基準領域の位置及びサイズを補正して、現フレーム画像における基準領域を設定する領域補正ステップとを備えることを特徴とする。

本発明による物体追尾プログラムは、複数フレーム画像を有する画像信号を受けて、当該画像信号において特定の物体を追尾する物体追尾装置において用いられる物体追尾プログラムにおいて、前記物体追尾装置が備えるコンピュータに、現フレーム画像よりも前の前フレーム画像において前記物体が結像する領域を示す基準領域に予め設定された数の小領域を設定する小領域設定ステップと、前記現フレーム画像と前記前フレーム画像とを用いて、前記小領域の各々に対応する複数の動きベクトルを検出する動きベクトル検出ステップと、前記複数の動きベクトルのｘ成分およびｙ成分の少なくともいずれか一方の符号の組合せに応じて前記物体の回転の方向を判断し、当該回転の方向に応じて前記物体の変化を判断して形状変化情報を得る形状変化判断ステップと、前記形状変化情報に応じて前記基準領域の位置及びサイズを補正して、現フレーム画像における基準領域を設定する領域補正ステップとを実行させることを特徴とする。

本発明によれば、追尾対象である被写体などの物体の状態が変化した場合においても、精度よく物体の追尾を行うことができるという効果がある。

本発明の実施の形態による物体追尾装置の一例を示すブロック図である。 図１に示す物体追尾装置の動作を説明するためのフローチャートである。 図１に示す追尾部における基準領域の設定を説明するための図である。 図１に示す追尾部において行われる第１の探索領域の設定を説明するための図である。 図１に示す追尾部においてＮフレーム画像における近似領域の座標の取得を説明するための図であり、（ａ）は（Ｎ−１）フレーム画像を示す図、（ｂ）はＮフレーム画像を示す図である。 図２に示す形状変化検出・補正処理を説明するためフローチャートである。 図１に示す小領域設定部で行われる小領域分割を説明するための図であり、（ａ）は（Ｎ−１）フレーム画像において基準領域を縦分割した例を示す図、（ｂ）は（ａ）に対応するＮフレーム画像を示す図、（ｃ）は（Ｎ−１）フレーム画像において基準領域を横分割した例を示す図、（ｄ）は（ｃ）に対応するＮフレーム画像を示す図である。 図７において説明した小領域における動きベクトルの一例を示す図である。 被写体の回転方向の一例を示す図であり、（ａ）はヨー（Ｙａｗ）方向を示す図、（ｂ）はピッチ（Ｐｉｔｃｈ）方向を示す図、（ｃ）はロール（Ｒｏｌｌ）方向を示す図である。 図１に示す形状変化判断部による形状変化の判断を説明するための図であり、（ａ）は縦方向に分割した小領域において被写体がＰｉｔｃｈ方向に回転している場合の動きベクトルを示す図、（ｂ）は横方向に分割した小領域において被写体がＰｉｔｃｈ方向に回転している場合の動きベクトルを示す図、（ｃ）は縦方向に分割した小領域において被写体がＹａｗ方向に回転している場合の動きベクトルを示す図、（ｄ）は横方向に分割した小領域において被写体がＹａｗ方向に回転している場合の動きベクトルを示す図、（ｅ）は縦方向に分割した小領域において被写体の大きさが変化している場合の動きベクトルを示す図、（ｆ）は横方向に分割した小領域において被写体の大きさが変化している場合の動きベクトルを示す図、（ｇ）は縦方向に分割した小領域の２つにおいて被写体がＲｏｌｌ方向に回転している場合の動きベクトルを示す図、（ｇ）は横方向に分割した小領域の２つにおいて被写体がＲｏｌｌ方向に回転している場合の動きベクトルを示す図である。 図１に示す領域補正部で行われるＰｉｔｃｈ補正処理を説明するためのフローチャートである。 図６に示すＰｉｔｃｈ補正処理を行う際の動きベクトルを示す図であり、（ａ）は２つの動きベクトルの符合が同一（正）である場合を示す図、（ｂ）は（ａ）に示す動きベクトルと異なる２つの動きベクトルの符号が同一（負）である場合を示す図、（ｃ）は４つの動きベクトルの符合が同一（正）である場合を示す図、（ｄ）は４つの動きベクトルの符合が同一（負）である場合を示す図、（ｅ）は２つの動きベクトルの符合が同一（正）で、残りの動きベクトルが異なる符号（負）ある場合を示す図、（ｆ）は（ｅ）と逆の状態を示す図である。 図１に示す領域補正部で行われるＹａｗ補正処理を説明するためのフローチャートである。 図１に示す領域補正部で行われるＳｉｚｅ補正処理を説明するためのフローチャートである。 図１に示す領域補正部で行われるＲｏｌｌ補正処理を説明するためのフローチャートである。

以下、本発明の実施の形態による物体追尾装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による物体追尾装置の一例を示すブロック図である。

図１を参照して、図示の物体追尾装置（以下、被写体追尾装置と呼ぶ）は、例えば、デジタルカメラなどの撮像装置に用いられる。そして、被写体追尾装置は、動画像において追尾対象である被写体を追尾する。

被写体追尾装置は、画像入力部１０１、追尾部１０２、基準領域記憶部１０３、小領域設定部１０４、動きベクトル検出部１０５、形状変化判断部１０６、領域補正部１０７、及び領域更新部１０８を有している。画像入力部１０１は、例えば、デジタルカメラによる撮影の結果得られた動画像データを画像信号として入力するためのものである。

追尾部１０２、小領域設定部１０４、動きベクトル検出部１０５、形状変化判断部１０６、領域補正部１０７、及び領域更新部１０８は、例えば、デジタルカメラに備えられたマイクロプロセッサ（図示せず）が備える機能である。つまり、マイクロプロセッサ上で実行される物体追尾プログラム（被写体追尾プログラム）によって追尾部１０２、小領域設定部１０４、動きベクトル検出部１０５、形状変化判断部１０６、領域補正部１０７、及び領域更新部１０８が実現される。なお、基準領域記憶部１０３は、例えば、デジタルカメラに備えられたメモリである。

基準領域記憶部（基準領域記憶手段）１０３には、（Ｎ−１）フレーム（Ｎは１以上の整数）において（つまり、前フレーム画像において）、特定の被写体（物体）の追尾を行う際に基準となる基準領域を示す位置情報と画像データとが記憶される。追尾部（追尾手段）１０２には、画像入力部１０１から画像信号が与えられる。追尾部１０２は、基準領域記憶部１０３を参照して、（Ｎ−１）フレームにおいて基準領域に結像されている主要被写体について、続くＮフレーム（つまり、現フレーム画像）で結像されている位置を探索して当該基準領域と最も近似する領域である近似領域を求める。

小領域設定部（小領域設定手段）１０４は、基準領域記憶部１０３を参照して、（Ｎ−１）フレーム上の基準領域（つまり、物体領域）に所定の（予め設定された）数の小領域を設定する。動きベクトル検出部１０５は複数の小領域の各々についてその動きベクトルを検出する。形状変化判断部（形状変化判断手段）１０６は動きベクトルに基づいて追尾対象となる主要被写体の形状の変化を判断して、形状変化情報を得る。

領域補正部（領域補正手段）１０７は形状変化判断部１０６の判断結果に基づいて、追尾部１０２によって求められた近似領域の位置及びサイズを補正して、補正被写体領域（つまり、補正基準領域、補正物体領域ともいう）を得る。そして、領域更新部（領域更新手段）１０８は、領域補正部１０７によって補正された近似領域（補正近似領域）を現フレーム上の基準領域として更新する。

図２は、図１に示す物体追尾装置の動作を説明するためのフローチャートである。

図１及び図２を参照して、いま、デジタルカメラにおいて、タッチパネルを有する表示部（図示せず）に表示された画面上において、ユーザが追尾したい被写体をタッチすると、被写体追尾装置は当該タッチされた被写体を追尾対象被写体として追尾を開始する。

追尾を開始すると、追尾部１０２はＮ＝１として、画像入力部１０１から初期フレーム画像データを取得する（ステップＳ２０１）。続いて、追尾部１０２は初期フレーム画像において追尾対象となる被写体上に、追尾を行う際に基準となる領域を基準領域として設定する（ステップＳ２０２）。

この基準領域は予め設定された範囲でもよく、ユーザが選択した位置から、画像解析等によって追尾し易いようにその範囲を可変とするようにしてもよい。また、デジタルカメラに備えられた顔検出機能によって検出された顔領域に対して自動的に基準領域を設定するようにしてもよい。

図３は、図１に示す追尾部１０２における基準領域の設定を説明するための図である。

図３に示すように、初期フレーム４００において、追尾対象である被写体像（単に被写体とも呼ぶ）４０１に対して、基準領域４０２の位置は左上座標４０３（Ｘ’ｓ，Ｙ’ｓ）と右下座標４０４（Ｘ’ｅ，Ｙ’ｅ）とによって表される。以下、基準領域の位置を表す際に必要な左上座標及び右下座標を座標データと呼ぶ。

再び、図１及び図２を参照して、追尾部１０２は、初期フレームにおける座標データに基づいて、基準領域の画像をＮフレームの画像から切り出して、基準領域画像とする（ステップＳ２０３）。

続いて、追尾部１０２は、Ｎフレームにおける基準領域画像及び座標データを基準領域記憶部１０３（メモリ）に保存する（ステップＳ２０４）。これら基準領域画像及び座標データは、次のフレーム画像において追尾対象である被写体を探索するための基準として用いられる。そして、追尾部１０２は、Ｎ＝Ｎ＋１として次のフレーム画像に移る処理を行う（ステップＳ２０５）。

続いて、追尾部１０２は、画像入力部１０１から現フレーム画像となるＮフレーム画像を取得する（ステップＳ２０６）。そして、追尾部１０２はメモリから基準領域画像及び座標データを読み込む（ステップＳ２０７）。そして、追尾部１０２は、現フレーム画像において追尾対象である被写体を探索する領域を探索領域として設定する（ステップＳ２０８）。ここでは、この探索領域を第１の探索領域と呼ぶ。

図４は、図１に示す追尾部１０２において行われる第１の探索領域の設定を説明するための図である。

図４に示すように、Ｎフレーム画像４００ａにおいて、第１の探索領域４０５の中心となる領域４０６の位置は、座標データと等しい左上座標４０７（Ｘ’ｓ，Ｙ’ｓ）及び右下座標４０８（Ｘ’ｅ，Ｙ’ｅ）によって表される。ここでは、Ｎフレーム画像４００ａにおいて第１の探索領域４０５の中心となる領域を中心領域と呼ぶ。

中心領域４０６の位置を基準として、Ｎフレーム画像の第１の探索領域４０５は、第１の探索基準値であるＳ＿Ｘ及びＳ＿Ｙに応じて左上座標４０９（Ｘ’ｓ−Ｓ＿Ｘ，Ｙ’ｓ−Ｓ＿Ｙ）及び右下座標４１０（Ｘ’ｅ＋Ｓ＿Ｘ，Ｙ’ｅ＋Ｓ＿Ｙ）によって設定される。

図１及び図２に戻って、追尾部１０２はＮフレーム画像で設定された第１の探索領域４０５において、メモリに保存した基準領域に最も近似する特徴量を有する領域を探索して、当該領域を示す動きベクトルを検出する（ステップＳ２０９）。なお、特徴量として画素値又はヒストグラムなどを用いるようにしてもよい。

続いて、追尾部１０２は基準領域の座標データに、動きベクトルの成分を加算して、基準領域に最も近似する特徴量を有する領域の位置（座標）を取得する（ステップＳ２１０）。ここでは、基準領域に最も近似する特徴量を有する領域を近似領域と呼ぶ。

図５は、図１に示す追尾部１０２においてＮフレーム画像における近似領域の座標の取得を説明するための図である。そして、図５（ａ）は（Ｎ−１）フレーム画像を示す図であり、図５（ｂ）はＮフレーム画像を示す図である。

図５（ａ）に示すように、（Ｎ−１）フレーム画像５００における基準領域５０１の位置（座標）は左上座標５０２（Ｘ’ｓ，Ｙ’ｓ）及び右下座標５０３（Ｘ’ｅ，Ｙ’ｅ）によって表される。同様に、図５（ｂ）に示すように、Ｎフレーム画像５００ａにおける中心領域５０４の位置（座標）も、左上座標５０５（Ｘ’ｓ，Ｙ’ｓ）及び右下座標５０６（Ｘ’ｅ，Ｙ’ｅ）によって表される。

中心領域５０４の位置を表す左上座標５０５（Ｘ’ｓ，Ｙ’ｓ）及び右下座標５０６（Ｘ’ｅ，Ｙ’ｅ）に対して、下記の式（１）によって検出された動きベクトル５１０の成分

を加算する。これによって、Ｎフレーム画像５００ａにおける近似領域５０７の位置は、左上座標５０８（Ｘｓｔ，Ｙｓｔ）及び右下座標５０９（Ｘｅｔ，Ｙｅｔ）によって表される。

（Ｘｓｔ，Ｙｓｔ）＝（Ｘ’ｓ＋ｖｘ，Ｙ’ｓ＋ｖｙ）
（Ｘｅｔ，Ｙｅｔ）＝（Ｘ’ｅ＋ｖｘ，Ｙ’ｅ＋ｖｙ） （１）
続いて、被写体追尾装置では、後述するようにして、近似領域についてその形状変化を検出して補正処理を行い（ステップＳ２１１）、補正後の近似領域の位置を基準領域の新たな座標データとして取得する（ステップＳ２１２）。そして、被写体追尾装置は、Ｎフレーム画像において追尾を終了するか否かについて判定する（ステップＳ２１３）。追尾を終了しない場合（ステップＳ２１３において、ＮＯ）、被写体追尾装置は、ステップＳ２０１に戻って、次のフレームについて追尾処理を行う。なお、追尾を終了すると判定すると（ステップＳ２１３において、ＹＥＳ）、被写体追尾装置は被写体の追尾を終了する。

続いて、図２に示すステップＳ２１１における処理について詳細に説明する。

図６は図２に示す形状変化検出・補正処理を説明するためフローチャートである。

図１及び図６を参照して、小領域設定部１０４は基準領域記憶部（メモリ）１０３から基準領域を読み出して、この基準領域を複数の小領域に分割する（ステップＳ３０１）。ここでは、小領域設定部１０４は、例えば、基準領域を縦分割して２つの小領域とする。なお、小領域設定部１０４は基準領域を横分割して２つの小領域とするようにしてもよい。

続いて、動きベクトル検出部１０５は、小領域設定部１０４で設定された小領域において動きベクトル検出を行うために、近似領域を中心に探索する領域を設定する。以下、この探索領域を第２の探索領域と呼ぶ。

図７は、図１に示す小領域設定部１０４で行われる小領域分割を説明するための図である。そして、図７（ａ）は（Ｎ−１）フレーム画像において基準領域を縦分割した例を示す図であり、図７（ｂ）は図７（ａ）に対応するＮフレーム画像を示す図である。また、図７（ｃ）は（Ｎ−１）フレーム画像において基準領域を横分割した例を示す図であり、図７（ｄ）は図７（ｃ）に対応するＮフレーム画像を示す図である。

図７（ａ）に示すように、（Ｎ−１）フレーム画像７００において、基準領域６０１の位置は、開始座標６０２（Ｘ’ｓ，Ｙ’ｓ）及び終点座標６０３（Ｘ’ｅ，Ｙ’ｅ）によって表される。基準領域６０１は縦方向に２分割されて、２つの小領域とされる（ここでは、小領域は符号”Ａ”及び”Ｂ”で示されている）。各小領域”Ａ”及び”Ｂ”の水平幅はＷ／２であり、その垂直幅はＨである。つまり、２つの小領域”Ａ”及び”Ｂ”の面積は互いに等しい。

図７（ｂ）に示すように、Ｎフレーム画像７０１において、近似領域６０４の位置は、開始座標６０８（Ｘｓｔ，Ｙｓｔ）及び終点座標６０９（Ｘｅｔ，Ｙｅｔ）によって表される。そして、第２の探索領域６０５の位置は、近似領域６０４を中心として、第２の探索基準値であるＳ’＿Ｘ、Ｓ’＿Ｙに基づいて左上座標６０６（Ｘｓｔ−Ｓ’＿Ｘ，Ｙｓｔ−Ｓ’＿Ｙ）及び右下座標６０７（Ｘｅｔ＋Ｓ’＿Ｘ，Ｙｅｔ＋Ｓ’＿Ｙ）で設定される。

図示の例では、第２の探索基準値であるＳ’＿Ｘ及びＳ’＿Ｙとして、式（２）で示すように、それぞれ第１の探索基準値Ｓ＿Ｘ及びＳ＿Ｙが用いられる。

Ｓ’_Ｘ＝Ｓ_Ｘ
Ｓ’_Ｙ＝Ｓ_Ｙ （２）
同様にして、図７（ｃ）に示すように、（Ｎ−１）フレーム画像７００において、基準領域６０１は横方向に２分割されて、２つの小領域とされる（ここでは、小領域は符号”Ｃ”及び”Ｄ”で示されている）。各小領域”Ｃ”及び”Ｄ”の水平幅はＷであり、その垂直幅はＨ／２である。つまり、２つの小領域”Ｃ”及び”Ｄ”の面積は互いに等しい。

図７（ｄ）に示すように、Ｎフレーム画像７０１において、第２の探索領域６０５の位置は、近似領域６０４を中心として、第２の探索基準値であるＳ’＿Ｘ、Ｓ’＿Ｙに基づいて左上座標６０６（Ｘｓｔ−Ｓ’＿Ｘ，Ｙｓｔ−Ｓ’＿Ｙ）及び右下座標６０７（Ｘｅｔ＋Ｓ’＿Ｘ，Ｙｅｔ＋Ｓ’＿Ｙ）で設定される。

上述のようにして、動きベクトル検出部１０５は、第２の探索領域６０５に関して、基準領域６０１を縦分割して得られた小領域”Ａ”及び”Ｂ”に最も近似する特徴量を有する位置を指し示す動きベクトルを検出する（ステップＳ３０３）。さらに、動きベクトル検出部１０５は、第２の探索領域６０５に関して、基準領域６０１横分割して得られた小領域”Ｃ”及び”Ｄ”に最も近似する特徴量を有する位置を指し示す動きベクトルを検出する。

ここで、小領域”Ａ”〜”Ｄ”における動きベクトルの検出について説明する。

ここで、小領域”Ａ”〜”Ｄ”で検出した動きベクトル

のｘ成分及びｙ成分を式（３）に示す。

図８は、図７において説明した小領域”Ａ”〜”Ｄ”における動きベクトルの一例を示す図である。ここでは、動きベクトル

の方向を示す場合、図８に示すように、小領域”Ａ”〜”Ｄ”毎に検出した動きベクトル”Ａ”〜”Ｄ”で示すものとする。

続いて、形状変化判断部１０６は、小領域”Ａ”〜”Ｄ”で検出された動きベクトル”Ａ”〜”Ｄ”の成分に応じて、被写体がいずれの方向に回転したか又はその大きさが変化しているかについて判断する。そして、当該判断結果に応じて、領域補正部１０７は近似領域を補正するための補正処理を行う。

図示の例では、形状変化判断部１０６は、式（４）に示す符号関数を用いて、上記の判断を実行する。

図９は、被写体９０１の回転方向の一例を示す図である。そして、図９（ａ）はヨー（Ｙａｗ）方向を示す図であり、図９（ｂ）はピッチ（Ｐｉｔｃｈ）方向を示す図である。また、図９（ｃ）はロール（Ｒｏｌｌ）方向を示す図である。

ここでは、図９（ａ）に示すように、被写体９０１の横方向の回転をＹａｗ方向とする。また、図９（ｂ）に示すように、被写体９０１の縦方向の回転をＰｉｔｃｈ方向とする。さらに、図９（ｃ）に示すように、被写体９０１の斜め方向の回転をＲｏｌｌ方向とする。

図１０は、図１に示す形状変化判断部１０６による形状変化の判断を説明するための図である。そして、図１０（ａ）は縦方向に分割した小領域において被写体がＰｉｔｃｈ方向に回転している場合の動きベクトルを示す図であり、図１０（ｂ）は横方向に分割した小領域において被写体がＰｉｔｃｈ方向に回転している場合の動きベクトルを示す図である。また、図１０（ｃ）は縦方向に分割した小領域において被写体がＹａｗ方向に回転している場合の動きベクトルを示す図であり、図１０（ｄ）は横方向に分割した小領域において被写体がＹａｗ方向に回転している場合の動きベクトルを示す図である。図１０（ｅ）は縦方向に分割した小領域において被写体の大きさが変化している場合の動きベクトルを示す図であり、図１０（ｆ）は横方向に分割した小領域において被写体の大きさが変化している場合の動きベクトルを示す図である。図１０（ｇ）は縦方向に分割した小領域の２つにおいて被写体がＲｏｌｌ方向に回転している場合の動きベクトルを示す図であり、図１０（ｇ）は横方向に分割した小領域の２つにおいて被写体がＲｏｌｌ方向に回転している場合の動きベクトルを示す図である。

図１０も参照して、形状変化判断部１０６は、小領域”Ａ”及び”Ｂ”において２つの動きベクトル”Ａ”及び”Ｂ”のｙ成分の符号が一致し、かつｙ成分の符号がゼロでないか否かについて判定する（ステップＳ３０４）。動きベクトル”Ａ”及び”Ｂ”のｙ成分の符号が一致しないか、あるいはｙ成分の符号がゼロであると（ステップＳ３０４において、ＮＯ）、形状変化判断部１０６は小領域”Ｃ”及び”Ｄ”において２つの動きベクトル”Ｃ”及び”Ｄ”のｙ成分の符号が一致し、かつｙ成分の符号がゼロでないか否かについて判定する（ステップＳ３０５）。

図１０（ａ）に示すように、動きベクトル”Ａ”及び”Ｂ”のｙ成分の符号が一致し、かつｙ成分の符号がゼロでないと判定すると（ステップＳ３０４において、ＹＥＳ）、形状変化判断部１０６は被写体がＰｉｔｃｈ方向に回転していると仮判断する。これによって、領域補正部１０７は、被写体がＰｉｔｃｈ方向に回転していると仮判断された近似領域について、後述するように、Ｐｉｔｃｈ補正処理を行う（ステップＳ３０６）。

同様に、図１０（ｂ）に示すように、動きベクトル”Ｃ”及び”Ｄ”のｙ成分の符号が一致し、かつｙ成分の符号がゼロでないと判定すると（ステップＳ３０５において、ＹＥＳ）、形状変化判断部１０６は被写体がＰｉｔｃｈ方向に回転していると仮判断する。これによって、領域補正部１０７がステップＳ３０６の処理を行う。

ステップＳ３０５において、動きベクトル”Ｃ”及び”Ｄ”のｙ成分の符号が一致しないか、あるいはｙ成分の符号がゼロであると（ステップＳ３０５において、ＮＯ）、形状変化判断部１０６は小領域”Ａ”及び”Ｂ”において２つの動きベクトル”Ａ”及び”Ｂ”のｘ成分の符号が一致し、かつｘ成分の符号がゼロでないか否かについて判定する（ステップＳ３０７）。なお、ステップＳ３０６の処理が終了すると、ステップＳ３０７に進む。

動きベクトル”Ａ”及び”Ｂ”のｘ成分の符号が一致しないか、あるいはｘ成分の符号がゼロであると（ステップＳ３０７において、ＮＯ）、形状変化判断部１０６は小領域”Ｃ”及び”Ｄ”において２つの動きベクトル”Ｃ”及び”Ｄ”のｘ成分の符号が一致し、かつｘ成分の符号がゼロでないか否かについて判定する（ステップＳ３０８）。

図１０（ｃ）に示すように、動きベクトル”Ａ”及び”Ｂ”のｘ成分の符号が一致し、かつｘ成分の符号がゼロでないと判定すると（ステップＳ３０７において、ＹＥＳ）、形状変化判断部１０６は被写体がＹａｗ方向に回転していると仮判断する。これによって、領域補正部１０７は、被写体がＹａｗ方向に回転していると仮判断された近似領域について、後述するように、Ｙａｗ補正処理を行う（ステップＳ３０９）。

同様に、図１０（ｄ）に示すように、動きベクトル”Ｃ”及び”Ｄ”のｘ成分の符号が一致し、かつｘ成分の符号がゼロでないと判定すると（ステップＳ３０８において、ＹＥＳ）、形状変化判断部１０６は被写体がＹａｗ方向に回転していると仮判断する。これによって、領域補正部１０７がステップＳ３０９の処理を行う。

ステップＳ３０８において、動きベクトル”Ｃ”及び”Ｄ”のｘ成分の符号が一致しないか、あるいはｘ成分の符号がゼロであると（ステップＳ３０８において、ＮＯ）、形状変化判断部１０６は小領域”Ａ”及び”Ｂ”において２つの動きベクトル”Ａ”及び”Ｂ”のｘ成分の符号が不一致であり、かつｘ成分の符号がゼロでないかについて判定する（ステップＳ３１０）。なお、ステップＳ３０９の処理が終了すると、ステップＳ３１０に進む。

動きベクトル”Ａ”及び”Ｂ”のｘ成分の符号が一致するか又はｘ成分の符号がゼロであると（ステップＳ３１０において、ＮＯ）、形状変化判断部１０６は小領域”Ｃ”及び”Ｄ”において２つの動きベクトル”Ｃ”及び”Ｄ”のｙ成分の符号が不一致であり、かつｙ成分の符号がゼロでないかについて判定する（ステップＳ３１１）。

図１０（ｅ）に示すように、動きベクトル”Ａ”及び”Ｂ”のｘ成分の符号が不一致であり、かつｘ成分の符号がゼロでないと判定すると（ステップＳ３１０において、ＹＥＳ）、形状変化判断部１０６は、被写体の大きさが変化していると仮判断する。これによって、領域補正部１０７は、被写体の大きさが変化していると仮判断された近似領域について、後述するように、サイズ（Ｓｉｚｅ）補正処理を行う（ステップＳ３１２）。

同様に、図１０（ｆ）に示すように、動きベクトル”Ｃ”及び”Ｄ”のｙ成分の符号が不一致であり、かつｙ成分の符号がゼロでないと判定すると（ステップＳ３１１において、ＹＥＳ）、形状変化判断部１０６は、被写体の大きさが変化していると仮判断する。これによって、領域補正部１０７がステップＳ３１２の処理を行う。

続いて、動きベクトル”Ｃ”及び”Ｄ”のｙ成分の符号が一致するか又はｙ成分の符号がゼロであると（ステップＳ３１１において、ＮＯ）、形状変化判断部１０６は小領域”Ａ”及び”Ｂ”において２つの動きベクトル”Ａ”及び”Ｂ”について、そのｘ成分がゼロであり、かつｙ成分の符号が不一致であるか、そして、ｙ成分の符号がゼロでないかについて判定する（ステップＳ３１３）。なお、ステップＳ３１２の処理が終了すると、ステップＳ３１３に進む。

動きベクトル”Ａ”及び”Ｂ”について、そのｘ成分がゼロでないか、ｙ成分の符号が一致するか、又はｙ成分の符号がゼロであると判定すると（ステップＳ３１３において、ＮＯ）、形状変化判断部１０６は、形状変化判断部１０６は小領域”Ｃ”及び”Ｄ”において２つの動きベクトル”Ｃ”及び”Ｄ”について、そのｙ成分がゼロであり、かつｘ成分の符号が不一致であるか、そして、ｘ成分の符号がゼロでないかについて判定する（ステップＳ３１４）。

図１０（ｇ）に示すように、動きベクトル”Ａ”及び”Ｂ”について、そのｘ成分がゼロであり、かつｙ成分の符号が不一致であって、そして、ｙ成分の符号がゼロでない判定すると（ステップＳ３１３において、ＹＥＳ）、形状変化判断部１０６は、被写体がＲｏｌｌ方向に回転していると仮判断する。これによって、領域補正部１０７は、被写体の大きさが変化していると仮判断された近似領域について、後述するように、Ｒｏｌｌ補正処理を行う（ステップＳ３１５）。

同様に、図１０（ｈ）に示すように、動きベクトル”Ｃ”及び”Ｄ”について、そのｙ成分がゼロであり、かつｘ成分の符号が不一致であって、そして、ｘ成分の符号がゼロでないと判定すると（ステップＳ３１４において、ＹＥＳ）、形状変化判断部１０６は、被写体がＲｏｌｌ方向に回転していると仮判断する。これによって、領域補正部１０７は、ステップＳ３１５の処理を行う。

動きベクトル”Ｃ”及び”Ｄ”について、そのｙ成分がゼロでないか、ｘ成分の符号が一致するか、又はｘ成分の符号がゼロであると判定すると（ステップＳ３１４において、ＮＯ）、形状変化検出及び補正処理が終了する。なお、ステップＳ３１５の処理が終了すると、形状変化検出及び補正処理は終了する。

なお、ステップＳ３１３では動きベクトル”Ａ”及び”Ｂ”のｘ成分がゼロであるか否かを判定条件に含め、ステップＳ３１４では動きベクトル”Ｃ”及び”Ｄ”のｙ成分がゼロであるか否かを判定条件に含めていたが、これに限られるものではない。被写体のＲｏｌｌ方向の回転における中心位置が、基準領域の中心位置からずれていることも考えられるため、ゼロであるかを判定条件に含める代わりに、基準領域に比較して小さめに設定された閾値以下であるか否かを判定条件に含めるようにしても構わない。

図１１は、図１に示す領域補正部１０７で行われるＰｉｔｃｈ補正処理を説明するためのフローチャートである。

図１及び図１１を参照して、前述のように、このＰｉｔｃｈ補正処理は小領域”Ａ”〜”Ｄ”において動きベクトル”Ａ”〜”Ｄ”のｙ成分の符号に応じて行われる。

図１２は、図６に示すＰｉｔｃｈ補正処理を行う際の動きベクトルを示す図である。そして、図１２（ａ）は２つの動きベクトル”Ｃ”及び”Ｄ”の符合が同一（正）である場合を示す図であり、図１２（ｂ）は図１２（ａ）に示す動きベクトルと異なる２つの動きベクトル”Ａ”及び”Ｂ”の符号が同一（負）である場合を示す図である。また、図１２（ｃ）は４つの動きベクトル”Ａ”〜”Ｄ”の符合が同一（正）である場合を示す図であり、図１２（ｄ）は４つの動きベクトル”Ａ”〜”Ｄ”の符合が同一（負）である場合を示す図である。さらに、図１２（ｅ）は２つの動きベクトル”Ｃ”及び”Ｄ”の符合が同一（正）で、残りの動きベクトル”Ａ”及び”Ｂ”が異なる符号（負）ある場合を示す図であり、図１２（ｆ）は図１２（ｅ）と逆の状態を示す図である。

図１２も参照して、Ｐｉｔｃｈ補正処理を開始すると、領域補正部１０７は、動きベクトル”Ａ”及び”Ｂ”のｙ成分（Ａｙ及びＢｙ）の符号が同一でかつ動きベクトル”Ｃ”及び”Ｄ”のｙ成分（Ｃｙ及びＤｙ）の符号が同一であり、かつこれらのｙ成分の符号がゼロでないか否かについて判定する（ステップＳ９０１）。

動きベクトル”Ａ”及び”Ｂ”のｙ成分の符号が同一でかつ動きベクトル”Ｃ”及び”Ｄ”のｙ成分の符号が同一であり、かつこれらのｙ成分の符号がゼロでないと判定すると（ステップＳ９０１において、ＹＥＳ）、領域補正部１０７は、動きベクトル”Ａ”及び”Ｃ”のｙ成分（Ａｙ及びＣｙ）の符号が同一であるか否かについて判定する（ステップＳ９０２）。図１２（ｃ）〜（ｆ）に示す状態が”Ａ”及び”Ｂ”のｙ成分の符号が同一でかつ動きベクトル”Ｃ”及び”Ｄ”のｙ成分の符号が同一であり、かつこれらのｙ成分の符号がゼロでない状態である。

動きベクトル”Ａ”及び”Ｃ”のｙ成分の符号が同一でないと判定すると（ステップＳ９０２において、ＮＯ）、領域補正部１０７は、例えば、図１２（ｅ）又（ｆ）に示す状態であるとして、被写体がＰｉｔｃｈ方向に回転していないと判断する。そして、領域補正部１０７はＰｉｔｃｈ補正処理を終了する。

一方、動きベクトル”Ａ”及び”Ｃ”のｙ成分の符号が同一であると判定すると（ステップＳ９０２において、ＹＥＳ）、領域補正部１０７は、例えば、図１２（ｃ）又（ｄ）に示す状態であるとして、被写体がＰｉｔｃｈ方向に回転していると判断する。

被写体がＰｉｔｃｈ方向に回転していると判断すると、領域補正部１０７は、動きベクトル”Ａ”〜”Ｄ”のｙ成分（Ａｙ〜Ｄｙ）を用いて近似領域の座標を補正するための補正量（第１の補正量）ｈｙを決定する処理を行う。ここでは、領域補正部１０７はＡｙ及びＢｙの平均値とＣｙ及びＤｙの平均値とを求めて、これら平均値の絶対値を比較して、絶対値が大きい方の値を選択する（ステップＳ９０３）。

続いて、領域補正部１０７は、動きベクトル”Ａ”のｙ成分（Ａｙ）が正方向であるか否かについて判定する（ステップＳ９０４）。つまり、領域補正部１０７は補正量の符号を決定することになる。

ステップＳ９０１において、動きベクトル”Ａ”及び”Ｂ”のｙ成分の符号が同一でない、動きベクトル”Ｃ”及び”Ｄ”のｙ成分の符号が同一でない、あるいはいずれかのｙ成分の符号がゼロであると判定すると（ステップＳ９０１において、ＮＯ）、領域補正部１０７は、動きベクトル”Ａ”及び”Ｂ”の符号が同一かつゼロでないか否かを判定する（ステップＳ９０５）。

動きベクトル”Ａ”及び”Ｂ”のｙ成分（Ａｙ及びＢｙ）の符号が同一でない、あるいはｙ成分の符号がゼロであると判定すると（ステップＳ９０５において、ＮＯ）、つまり、動きベクトル”Ｃ”及び”Ｄ”のｙ成分（Ｃｙ及びＤｙ）の符号のみが同一かつゼロでないと（図１３（ａ）参照）、領域補正部１０７は、Ｐｉｔｃｈ補正量ＨＹ＝（Ｃｙ＋Ｄｙ）／２とする（ステップＳ９０６）。

動きベクトル”Ａ”及び”Ｂ”のｙ成分（Ａｙ及びＢｙ）の符号が同一であると判定すると（ステップＳ９０５において、ＹＥＳ）、つまり、動きベクトル”Ａ”及び”Ｂ”のｙ成分（Ａｙ及びＢｙ）の符号のみが同一であると（図１３（ｂ）参照）、領域補正部１０７は、Ｐｉｔｃｈ補正量ＨＹ＝（Ａｙ＋Ｂｙ）／２とする（ステップＳ９０７）。

前述のステップＳ９０４において、動きベクトル”Ａ”のｙ成分（Ａｙ）が正方向であると判定する（ステップＳ９０４において、ＹＥＳ）、領域補正部１０７はＰｉｔｃｈ補正量ＨＹ＝ｈｙとする（ステップＳ９０８）。

一方、動きベクトル”Ａ”のｙ成分（Ａｙ）が正方向でないと判定する（ステップＳ９０４において、ＮＯ）、領域補正部１０７はＰｉｔｃｈ補正量ＨＹ＝−ｈｙとする（ステップＳ９０９）。

続いて、領域補正部１０７は、ステップＳ９０６〜Ｓ９１０のいずれかによって決定したＰｉｔｃｈ補正量ＨＹによって近似領域の座標を補正する。

いま、補正後の近似領域の左上座標を（Ｘｓ，Ｙｓ）、右下座標を（Ｘｅ，Ｙｅ）とすると、Ｐｉｔｃｈ補正量はＨＹ、近似領域は左上座標（Ｘｓｔ，Ｙｓｔ）及び右下座標（Ｘｅｔ，Ｙｅｔ）で表されるので、補正後の近似領域の位置は式（５）で表される。

（Ｘｓ，Ｙｓ）＝（Ｘｓｔ，Ｙｓｔ＋ＨＹ）
（Ｘｅ，Ｙｅ）＝（Ｘｅｔ，Ｙｅｔ＋ＨＹ） （５）
このようにして、領域補正部１０７は式（５）によって近似領域の座標を補正して（ステップＳ９１０）、Ｐｉｔｃｈ補正処理を終了する。

図１３は、図１に示す領域補正部１０７で行われるＹａｗ補正処理を説明するためのフローチャートである。

図１及び図１３を参照して、Ｙａｗ補正処理は小領域”Ａ”〜”Ｄ”において動きベクトル”Ａ”〜”Ｄ”のｘ成分の符号に応じて行われる。Ｙａｗ補正処理を開始すると、領域補正部１０７は、動きベクトル”Ａ”及び”Ｂ”のｘ成分（Ａｘ及びＢｘ）の符号が同一でかつ動きベクトル”Ｃ”及び”Ｄ”のｘ成分（Ｃｘ及びＤｘ）の符号が同一であり、かつこれらのｘ成分の符号がゼロでないか否かについて判定する（ステップＳ１００１）。

Ａｘ及びＢｘの符号が同一でかつＣｘ及びＤｘの符号が同一であり、かつこれらのｘ成分の符号がゼロでないと判定すると（ステップＳ１００１において、ＹＥＳ）、領域補正部１０７は、Ａｘ及びＣｘの符号が同一であるか否かについて判定する（ステップＳ１００２）。Ａｘ及びＣｘの符号が同一でないと判定すると（ステップＳ１００２において、ＮＯ）、領域補正部１０７は、被写体がＹａｗ方向に回転していないと判断する。そして、領域補正部１０７はＹａｗ補正処理を終了する。

一方、Ａｘ及びＣｘの符号が同一であると判定すると（ステップＳ１００２において、ＹＥＳ）、領域補正部１０７は、被写体がＹａｗ方向に回転していると判断する。被写体がＹａｗ方向に回転していると判断すると、領域補正部１０７は、Ａｙ〜Ｄｙを用いて近似領域の座標を補正するための補正量（第２の補正量）ｈｘを決定する処理を行う。ここでは、領域補正部１０７はＡｘ及びＢｘの平均値とＣｘ及びＤｘの平均値とを求めて、これら平均値の絶対値を比較して、絶対値が大きい方の値を選択する（ステップＳ１００３）。そして、領域補正部１０７は、Ａｘが正方向であるか否かについて判定する（ステップＳ１００４）。

ステップＳ１００１において、Ａｘ及びＢｘの符号が同一でない、Ｃｘ及びＤｘの符号が同一でない、あるいはいずれかの符号がゼロであると判定すると（ステップＳ１００１において、ＮＯ）、領域補正部１０７は、Ａｘ及びＢｘの符号が同一かつゼロでないか否かを判定する（ステップＳ１００５）。

Ａｘ及びＢｘの符号が同一でない、あるいはゼロであると判定すると（ステップＳ１００５において、ＮＯ）、領域補正部１０７は、Ｙａｗ補正量ＨＸ＝（Ｃｘ＋Ｄｘ）／２とする（ステップＳ１００６）。Ａｘ及びＢｘの符号が同一であると判定すると（ステップＳ１００５において、ＹＥＳ）、領域補正部１０７は、Ｙａｗ補正量ＨＸ＝（Ａｘ＋Ｂｘ）／２とする（ステップＳ１００７）。

前述のステップＳ１００４において、Ａｘが正方向であると判定する（ステップＳ１００４において、ＹＥＳ）、領域補正部１０７はＹａｗ補正量ＨＸ＝ｈｘとする（ステップＳ１００８）。一方、Ａｘが正方向でないと判定する（ステップＳ１００４において、ＮＯ）、領域補正部１０７はＹａｗ補正量ＨＹ＝−ｈｘとする（ステップＳ１００９）。

続いて、領域補正部１０７は、近似領域の座標を補正して、（Ｘｓ，Ｙｓ）＝（Ｘｓｔ＋ＨＸ）、（Ｘｅ，Ｙｅ）＝（Ｘｅｔ＋ＨＸ，Ｙｅ）とする（ステップＳ１０１０）。そして、領域補正部１０７はＹａｗ補正処理を終了する。

図１４は、図１に示す領域補正部１０７で行われるＳｉｚｅ補正処理を説明するためのフローチャートである。

図１及び図１４を参照して、Ｓｉｚｅ補正処理を開始すると、領域補正部１０７は、Ａｘ及びＢｘの符号が同一でなく、かつゼロでないか否かを判定する（ステップＳ１１０１）。Ａｘ及びＢｘの符号が同一でなく、かつゼロでないと判定すると（ステップＳ１１０１において、ＹＥＳ）、領域補正部１０７は、近似領域のｘ座標を補正する際に必要な２つの補正量（第３の補正量）ＨＸｓ及びＨＸｅを決定する。ここでは、ＨＸｓ＝Ａｘ、ＨＸｅ＝Ｂｘとする（ステップＳ１１０２）。

Ａｘ及びＢｘの符号が同一であるか又はいずれかがゼロであると判定すると（ステップＳ１１０１において、ＮＯ）、領域補正部１０７は、Ｃｙ及びＤｙの符号が同一でなく、かつゼロでないかについて判定する（ステップＳ１１０３）。なお、ステップＳ１１０２の処理が終了すると、ステップＳ１１０３に進む。

Ｃｙ及びＤｙの符号が同一でなく、かつゼロでないと判定すると（ステップＳ１１０３において、ＹＥＳ）、領域補正部１０７は近似領域のｙ座標を補正する際に必要な２つの補正量（第４の補正量）ＨＹｓ及びＨＹｅを決定する。ここでは、ＨＹｓ＝Ｃｙ、ＨＹｅ＝Ｄｙとする（ステップＳ１１０４）。ステップＳ１１０４の処理が終了すると、後述するステップＳ１１０５に進む。

Ｃｙ及びＤｙの符号が同一であるか又はいずれかがゼロであると判定すると（ステップＳ１１０３において、ＮＯ）、補正量がＨＸｓ及びＨＸｅとＨＹｓ及びＨＹｅ、近似領域が左上座標（Ｘｓｔ，Ｙｓｔ）及び右下座標（Ｘｅｔ，Ｙｅｔ）で表されるので、領域補正部１０７は補正後の近似領域の座標を式（６）で示すようにする（ステップＳ１１０５）。なお、ステップＳ１１０１及びＳ１１０３においてＮＯの場合には、ＨＸｓ及びＨＸｅとＨＹｓ及びＨＹｅは全てゼロである。そして、領域補正部１０７はＳｉｚｅ補正処理を終了する。

（Ｘｓ，Ｙｓ）＝（Ｘｓｔ＋ＨＸｓ，Ｙｓｔ＋ＨＹｓ）
（Ｘｅ，Ｙｅ）＝（Ｘｅｔ＋ＨＸｅ，Ｙｅｔ＋ＨＹｅ） （６）
図１５は、図１に示す領域補正部１０７で行われるＲｏｌｌ補正処理を説明するためのフローチャートである。

図１及び図１５を参照して、Ｒｏｌｌ補正処理を開始すると、領域補正部１０７は、Ａｙ及びＢｙの符号が同一でなく、かつゼロでないか否かを判定する（ステップＳ１２０１）。Ａｙ及びＢｙの符号が同一でなく、かつゼロでないと判定すると（ステップＳ１２０１において、ＹＥＳ）、領域補正部１０７は、近似領域のｙ座標を補正する際に必要な補正量（第５の補正量）ＨＹを決定する。ここでは、ＨＹ＝Ａｙ＋Ｂｙとする（ステップＳ１２０２）。

Ａｙ及びＢｙの符号が同一であるか又はいずれかがゼロであると判定すると（ステップＳ１２０１において、ＮＯ）、領域補正部１０７は、Ｃｘ及びＤｘの符号が同一でなく、かつゼロでないかについて判定する（ステップＳ１２０３）。なお、ステップＳ１２０２の処理が終了すると、ステップＳ１２０３に進む。

Ｃｘ及びＤｘの符号が同一でなく、かつゼロでないと判定すると（ステップＳ１２０３において、ＹＥＳ）、領域補正部１０７は、近似領域のｘ座標を補正する際に必要な補正量（第６の補正量）ＨＸを決定する。ここでは、ＨＸ＝Ｃｘ＋Ｄｘとする（ステップＳ１２０４）。ステップＳ１２０４の処理が終了すると、後述するステップＳ１２０５に進む。

Ｃｘ及びＤｘの符号が同一であるか又はいずれかがゼロであると判定すると（ステップＳ１２０３において、ＮＯ）、補正量がＨＸ及びＨＹ、近似領域が左上座標（Ｘｓｔ，Ｙｓｔ）及び右下座標（Ｘｅｔ，Ｙｅｔ）で表されるので、領域補正部１０７は補正後の近似領域の座標を式（７）で示すようにする（ステップＳ１２０５）。なお、ステップＳ１２０１及びＳ１２０３においてＮＯの場合には、ＨＸ及びＨＹは全てゼロである。そして、領域補正部１０７はＲｏｌｌ補正処理を終了する。

（Ｘｓ，Ｙｓ）＝（Ｘｓｔ＋ＨＸ，Ｙｓｔ＋ＨＹ）
（Ｘｅ，Ｙｅ）＝（Ｘｅｔ＋ＨＸ，Ｙｅｔ＋ＨＹ） （７）
このようにして、領域補正部１０７において、Ｐｉｔｃｈ補正、Ｙａｗ補正、Ｓｉｚｅ補正、及びＲｏｌｌ補正が行われた後、図１に示す領域更新部１０８は補正後の近似領域を追尾部１０２にフィードバックして、近似領域の更新を行う。

以上のように、本実施の形態によれば、追尾対象である被写体の形状が変化した場合においても、精度よく被写体の追尾を行うことができる。つまり、被写体の回転及び大きさの変化に対処することができる結果、精度よく被写体の追尾を行うことができる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を物体追尾方法として、この物体追尾方法を、物体追尾装置に実行させるようにすればよい。また、上述の実施の形態の機能を有する物体追尾プログラムを、物体追尾装置が備えるコンピュータに実行させるようにしてもよい。

この際、物体追尾方法及び物体追尾プログラムは、少なくとも小領域設定ステップ、動きベクトル検出ステップ、形状変化判断ステップ、領域補正ステップ、及び追尾ステップを有することになる。なお、物体追尾プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 画像入力部
１０２ 追尾部
１０３ 基準領域記憶部
１０４ 小領域設定部
１０５ 動きベクトル検出部
１０６ 形状変化判断部
１０７ 領域補正部
１０８ 領域更新部

Claims (10)

1. 複数フレーム画像を有する画像信号を受けて、当該画像信号において特定の物体を追尾する物体追尾装置において、
   現フレーム画像よりも前の前フレーム画像において前記物体が結像する領域を示す基準領域に予め設定された数の小領域を設定する小領域設定手段と、
   前記現フレーム画像と前記前フレーム画像とを用いて、前記小領域の各々に対応する複数の動きベクトルを検出する動きベクトル検出手段と、
   前記複数の動きベクトルのｘ成分およびｙ成分の少なくともいずれか一方の符号の組合せに応じて前記物体の回転の方向を判断し、当該回転の方向に応じて前記物体の変化を判断して形状変化情報を得る形状変化判断手段と、
   前記形状変化情報に応じて前記基準領域の位置及びサイズを補正して、現フレーム画像における基準領域を設定する領域補正手段とを備えることを特徴とする物体追尾装置。
2. 前記前フレーム画像における前記基準領域の位置情報及びその画像データを記憶する基準領域記憶手段を有することを特徴とする請求項１記載の物体追尾装置。
3. 前記領域補正手段は、前記動きベクトルのｘ成分及びｙ成分の値に応じて前記現フレーム画像における前記基準領域の位置及びサイズを補正することを特徴とする請求項１又は２記載の物体追尾装置。
4. 前記小領域設定手段は、前記基準領域に対して、横方向に並ぶ第１の小領域と第２の小領域、および縦方向に並ぶ第３の小領域と第４の小領域を設定することを特徴とする請求項１乃至３のいずれか１項に記載の物体追尾装置。
5. 前記形状変化判断手段が前記物体がＰｉｔｃｈ方向に回転すると判断する条件の一つとして、前記第１の小領域の動きベクトルのｙ成分の符号と前記第２の小領域の動きベクトルのｙ成分の符号が等しいか、又は前記第３の小領域の動きベクトルのｙ成分の符号と前記第４の小領域の動きベクトルのｙ成分の符号が等しいことを含むことを特徴とする請求項４に記載の物体追尾装置。
6. 前記形状変化判断手段が前記物体がＹａｗ方向に回転すると判断する条件の一つとして、前記第１の小領域の動きベクトルのｘ成分の符号と前記第２の小領域の動きベクトルのｘ成分の符号が等しいか、又は前記第３の小領域の動きベクトルのｘ成分の符号と前記第４の小領域の動きベクトルのｘ成分の符号が等しいことを含むことを特徴とする請求項４又は５に記載の物体追尾装置。
7. 前記形状変化判断手段が前記物体がＲｏｌｌ方向に回転すると判断する条件の一つとして、前記第１の小領域の動きベクトルのｙ成分の符号と前記第２の小領域の動きベクトルのｙ成分の符号が等しくないか、又は前記第３の小領域の動きベクトルのｘ成分の符号と前記第４の小領域の動きベクトルのｘ成分の符号が等しくないことを含むことを特徴とする請求項４乃至６のいずれか１項に記載の物体追尾装置。
8. 前記形状変化判断手段が前記物体のサイズが変化すると判断する条件の一つとして、前記第１の小領域の動きベクトルのｘ成分の符号と前記第２の小領域の動きベクトルのｘ成分の符号が等しくないか、又は前記第３の小領域の動きベクトルのｙ成分の符号と前記第４の小領域の動きベクトルのｙ成分の符号が等しくないことを含むことを特徴とする請求項４乃至７のいずれか１項に記載の物体追尾装置。
9. 複数フレーム画像を有する画像信号を受けて、当該画像信号において特定の物体を追尾する物体追尾装置において用いられる物体追尾方法において、
   現フレーム画像よりも前の前フレーム画像において前記物体が結像する領域を示す基準領域に予め設定された数の小領域を設定する小領域設定ステップと、
   前記現フレーム画像と前記前フレーム画像とを用いて、前記小領域の各々に対応する複数の動きベクトルを検出する動きベクトル検出ステップと、
   前記複数の動きベクトルのｘ成分およびｙ成分の少なくともいずれか一方の符号の組合せに応じて前記物体の回転の方向を判断し、当該回転の方向に応じて前記物体の変化を判断して形状変化情報を得る形状変化判断ステップと、
   前記形状変化情報に応じて前記基準領域の位置及びサイズを補正して、現フレーム画像における基準領域を設定する領域補正ステップとを備えることを特徴とする物体追尾方法。
10. 複数フレーム画像を有する画像信号を受けて、当該画像信号において特定の物体を追尾する物体追尾装置において用いられる物体追尾プログラムにおいて、
    前記物体追尾装置が備えるコンピュータに、
    現フレーム画像よりも前の前フレーム画像において前記物体が結像する領域を示す基準領域に予め設定された数の小領域を設定する小領域設定ステップと、
    前記現フレーム画像と前記前フレーム画像とを用いて、前記小領域の各々に対応する複数の動きベクトルを検出する動きベクトル検出ステップと、
    前記複数の動きベクトルのｘ成分およびｙ成分の少なくともいずれか一方の符号の組合せに応じて前記物体の回転の方向を判断し、当該回転の方向に応じて前記物体の変化を判断して形状変化情報を得る形状変化判断ステップと、
    前記形状変化情報に応じて前記基準領域の位置及びサイズを補正して、現フレーム画像における基準領域を設定する領域補正ステップとを実行させることを特徴とする物体追尾プログラム。

Images