JP3934279B2 - 移動領域追跡方法及び装置及び記録媒体 - Google Patents
移動領域追跡方法及び装置及び記録媒体 Download PDFInfo
- Publication number
- JP3934279B2 JP3934279B2 JP15318399A JP15318399A JP3934279B2 JP 3934279 B2 JP3934279 B2 JP 3934279B2 JP 15318399 A JP15318399 A JP 15318399A JP 15318399 A JP15318399 A JP 15318399A JP 3934279 B2 JP3934279 B2 JP 3934279B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- area
- tracking
- overlap
- search range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像から特定の特徴を有する領域が複数あり、それぞれを追跡する際に、各領域が互いに重なり合う場合がある時でも、正しく追跡を行うための移動領域追跡方法及び装置及び記録媒体に関するものである。
【０００２】
２次元の配列で各要素に値を持つ形式の情報を画像と定義する。連続的に入力される画像から、特定の特徴を有する画像領域を抽出し、その領域を連続的に追跡することは、移動を伴う領域の各時刻での位置や形状を得るために重要である。
【０００３】
例えば、カメラから入力される画像を対象とすれば、３次元中に移動する物体を追跡できる。領域を追跡するには、何らかの運動モデルに基づき領域の動きを予測し、予測された位置の周囲から物体特徴を有する領域を抽出し、得られた領域（群）から、追跡領域に相当する領域を対応づけ、さらに次の追跡のために運動モデルを更新する必要がある。
【０００４】
このとき、追跡している領域が、他の類似した領域と重なるならば、領域どうしの区別ができないので、追跡での対応付けが困難となる。そのため、運動モデルの正常な更新ができず、領域の動き予測を誤り、結果として追跡が不可能になることがある。重なり状態が数回繰り返せば、正しい運動モデルの推定が行えず、追跡は困難である。
【０００５】
そこで、発明者らは、追跡中に他の領域との重なりを検知し、重なり中は領域の検索範囲を大きくし、領域周辺の広い範囲から物体領域を抽出することで重なっていた領域が再び離れることに備え、離反時に隠蔽中の運動モデルの変化に影響されず、安定した領域追跡を可能にする手法を発案したものである。
【０００６】
本発明は、複数の移動物体をとらえる必要のある通行者監視や侵入者監視など、特定の特徴を有する対象の位置や移動軌跡を必要とする多くの監視システムに利用できるほか、手話やジェスチャ認識での各部位の追跡などにも利用できるものである。
【０００７】
【従来の技術】
従来の方法では、初期状態の物体領域位置を初期画面中で既知、あるいは何らかの簡単な手法により取得し、次からは、カメラから連続的に入力される画像中から、初期位置を参考に対象領域を次の手順で追跡する。
【０００８】
まず、カメラから連続的に入力される画像から、特定の物体に相当する特徴を有する画像領域を抽出する。次に、何らかの運動モデルに基づき領域の動きを予測し、予測された位置に最も距離が近い領域を追跡領域として対応付ける。そして、次の追跡のための運動モデルを更新する。
【０００９】
例えば、今川和幸、呂山、猪木誠二、松尾英明「顔によるオクルージョンを考慮した手話動画像からの実時間掌追跡」電子情報通信学会、技術研究報告PRMU９７−１０４〜１１０，pp．１５−２２の人の掌および顔を色情報に基づいて追跡する手法によると、最初は掌と顔が重ならないように配置し、あらかじめ定めた掌と顔の色分布のモデルを用いて、初期画面から掌と顔を含む領域を得る。得られた領域の大きさと位置により初期の掌と顔の領域を決定する。以降は、次の処理を繰り返し、各領域を追跡する。
【００１０】
まず、現時刻の撮影画像と、前時刻の画像と現時刻の画像との差分画像の２つについて、前述の色モデルを用いて掌と顔の候補領域を得る（前者の画像の領域を static blobとし、後者の画像からの領域を motion blobとする）。次に、static blob で最も大きいものを顔領域とする。これは、顔の動きモデルとして、位置固定したことに相当する。掌領域は、次の手順で得る。
【００１１】
掌の位置と速度を状態量とするカルマン（Kalman）フィルタにより掌の移動位置を予測し、顔を除く static blobと、 motion blobの中で、予測位置からの距離が一定値以内にある最も近いblobを掌領域として対応付ける。対応が求まれば、次回の動き予測のために、得られたblobの中心位置を観測位置として掌の運動パラメータをカルマンフィルタに基づいて更新する。このようなblobが存在しない時は、掌は顔と重なっていると判断し、前回の位置を観測位置として動きパラメータを更新していた。
【００１２】
【発明が解決しようとする課題】
前記従来のものには、次のような課題があった。
【００１３】
▲１▼まず、画像全体から画像特徴に基づいて領域を抽出すると時間がかかるものであった。例えば、色分布のモデルを用いて領域を抽出するには、画像の各画素に対して、色を表す３要素（例えばＲＧＢ）がモデルで示された範囲に入っているかの判断をする必要がある。画像の大きさをＭ×Ｎとすると３×Ｍ×Ｎの時間を要することになる。そのため、高速な処理を行うには、特別な機器が必要なものであった。
【００１４】
▲２▼次に、複数の領域（物体）が重なり１つの領域として観測されそれぞれの領域が区別できない時に、重なった領域が重なり中に運動パターン（運動パラメータ）を大きく変化させると、それを観測できないので、領域が離反したときに予測した運動パラメータと大きく異なり追跡を失敗するという問題があった。これは、重なり領域に属す全ての領域の運動パラメータの更新を、それぞれの領域の真の中心位置（あるいは重心位置）でなく、重なり合う領域の和集合の中心位置（あるいは重心位置）を観測位置として代表させて行うために、重なり領域内での運動の変化を正しくモデル化できず、結果として離反した時に予測運動パラメータとの差異が非常に大きくなるためである。
【００１５】
▲３▼この問題は、重なり合う領域間の大きさの違いが大きい時には、それら領域が重なりの前後で運動パラメータに変化がなくとも、同様に生じていた。なぜなら、領域の一部が重なった時から離れるまで、小さい方の領域の真の中心位置（重心位置）と、重なり合う領域の和集合で示す領域の中心位置（重心位置）は大きく異なるため誤った運動パラメータの推定を行うことになるからである。
【００１６】
本発明は、このような従来の課題を解決し、領域探索範囲を追跡中の各々の領域の近傍の一定の範囲のみに限定し、複数の領域（物体）が重なった時には、通常より大きな領域探索範囲を設け、処理時間を大幅に減らし、領域の動きの変化に影響されず安定に領域を追跡することを目的とする。
【００１７】
【課題を解決するための手段】
図１は本発明の移動領域追跡手法の概略説明図である。図１中、４は領域追跡部、５は重なり判定部である。
【００１８】
本発明は前記従来の課題を解決するため次のように構成した。
（１）：カメラから連続して入力される画像から特定の特徴を有する領域を追跡する移動領域追跡方法において、前時刻からの領域位置による領域の運動モデルから移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行い、他の類似領域との重なりにより、前記探索範囲を大きくし、前記重なりの解消により前記探索範囲を小さくする。
【００２０】
（２）：前記（１）の移動領域追跡方法において、前記探索範囲を追跡する領域の予測位置の不確かさに応じた大きさとする。
【００２１】
（３）：前記（１）又は（２）の移動領域追跡方法において、前記領域の予測位置の周囲の解像度を下げて、前記探索範囲を可変する。
【００２２】
（４）：カメラから連続して入力される画像から特定の特徴を有する領域を追跡する移動領域追跡装置において、前時刻からの領域位置による領域の運動モデルから移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行う領域追跡部４と、他の領域との重なりを判定する重なり判定部５とを備え、前記領域追跡部４は、重なり判定部５で判定した他の類似領域との重なりにより、前記探索範囲を大きくし、前記重なりの解消により前記探索範囲を小さくする。
【００２３】
（５）：カメラから連続して入力される画像から特定の特徴を有する領域の前時刻からの領域位置による運動モデルから領域の移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行う領域探索手順と、他の領域との重なりを判定する重なり判定手順と、他の類似領域との重なりにより、前記探索範囲を大きくし、前記重なりの解消により前記探索範囲を小さくする手順とを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体とする。
【００２４】
（作用）
前記構成に基づく作用を説明する。
【００２５】
特定の特徴を有する領域の運動モデルから移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行い、他の類似領域との重なりに応じて前記探索範囲を可変する。このため、領域探索範囲を一定の範囲のみに限定して処理時間を大幅に減らし、安定に領域を追跡することができる。
【００２６】
また、前記他の類似領域との重なりにより、前記探索範囲を大きくし、前記重なりの解消により前記探索範囲を小さくする。このため、領域探索範囲を一定の範囲のみに限定し、複数の領域（物体）が重なった時には、通常より大きな探索範囲とし、処理時間を大幅に減らし、領域の動きの変化に影響されず安定に領域を追跡することができる。
【００２７】
さらに、前記探索範囲を追跡する領域の予測位置の不確かさに応じた大きさとする。このため、探索範囲を必要最小限とすることができる。
【００２８】
また、前記領域の予測位置の周囲の解像度を下げて、前記探索範囲を可変する。このため、探索領域の大きさは一定にしても、広範囲の領域を探索することができる。
【００２９】
さらに、領域追跡部４で特定の特徴を有する領域の運動モデルから移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行い、重なり判定部５で他の領域との重なりの判定を行い、前記領域追跡部４で、重なり判定部５で判定した他の類似領域との重なりに応じて前記探索範囲を可変する。このため、領域探索範囲を一定の範囲のみに限定して処理時間を大幅に減らし、安定に領域を追跡することができる。
【００３０】
また、特定の特徴を有する領域の運動モデルから領域の移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行う領域探索手順と、他の領域との重なりを判定する重なり判定手順と、他の類似領域との重なりに応じて前記探索範囲を可変する手順とを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体とする。このため、この記録媒体のプログラムをコンピュータにインストールすることで、処理時間を大幅に減らし、安定に領域を追跡することができる移動領域追跡装置を容易に提供することができる。
【００３１】
【発明の実施の形態】（１）：追跡方式の概要の説明
▲１▼：処理時間の短縮について
画像全体から画像特徴に基づいて領域を抽出すると時間が係る問題に対しては、画像全体を処理するのではなく、追跡中の各々の領域の近傍の一定の範囲のみに処理領域を限定することで、処理時間を大幅に減らすことができる。具体的には、追跡の対象となる各領域を独立に追跡し、追跡中の各々の領域について、運動パラメータにより予測される移動予測位置を中心とする一定の範囲のみを処理領域とするものである。
【００３２】
▲２▼：重なった領域が離反したときの追跡の失敗について
（移動領域追跡手法の説明）
図１は移動領域追跡手法の概略説明図である。図１において、移動領域追跡手法には、領域追跡部４と重なり判定部５が設けてある。領域追跡部４は、複数の領域追跡部（１）、（２）・・・（ｎ）からなる。各領域追跡部（１）、（２）・・・（ｎ）は、それぞれ１つの追跡対象を追跡する。また、追跡で得られた領域の位置／形状／大きさの情報を重なり判定部へ送る。
【００３３】
重なり判定部５では、各領域追跡部（１）、（２）・・・（ｎ）から得られた領域の位置関係を元に重なりの有無を求める。もし重なりがあれば、重なったそれぞれの領域に重なりの発生を返す。重なったと判断された領域については、重なりが分離するときに領域の区別を行うための一つの情報とするために、重なり前の運動パラメータを記録しておく。
【００３４】
（追跡処理の流れの説明）
追跡の手順は、領域追跡部４では、運動モデルにより領域の移動先を予測し、その予測された位置を中心にある一定範囲を探索して対象の特徴を持つ領域を抽出し、得られた領域（群）から、最も類似度が高い領域を対応付けることとなる。
【００３５】
「探索範囲の決定」では追跡領域が重なるか否かで次のようにする。
・重なり判定部５で重ならないと判定されている領域については、固定の大きさ、あるいは追跡領域の位置の不確かさ、あるいはその両方に基づいた大きさを探索範囲とする。
【００３６】
・一方、重なり判定部５で重なりがあると判定されている場合には、通常より大きな領域探索範囲を設けて、重なり領域の周囲を監視し、重なりが分離する領域がないかを調べる。重なり時に、探索領域により重なり領域以外に新たな領域が得られた場合は、領域が分離したとする。このような分離する領域があれば、領域の形状／大きさ／重なり前の運動パラメータのいずれか、あるいは一部、あるいは全部を参考に、どの領域が分離したかを決定する。分離した以降は、通常の重ならない場合の追跡に戻る。
【００３７】
図２は領域追跡処理の流れの説明図である。以下、図２の処理Ｓ１〜処理Ｓ５に従って説明する。
【００３８】
Ｓ１：領域追跡部４は、追跡領域の運動モデル（ＭＭｉ）、運動パラメータ（ＭＰｉ）等により追跡領域の移動後の位置を予測し、処理Ｓ２に移る。
【００３９】
Ｓ２：領域追跡部４は、重なりの有無（ＯＶＦｉ）、重なっている領域の位置／形状（ＯＶＰｉ／ＯＶＳｉ）により探索範囲を算出し、処理Ｓ３に移る。
【００４０】
Ｓ３：領域追跡部４は、算出した探索範囲から追跡領域に類似した特徴を持つ画像領域（領域の特徴モデル（ＲＦｉ））の抽出を行い、処理Ｓ４に移る。
【００４１】
Ｓ４：領域追跡部４は、追跡領域の移動後の領域に対応する領域の決定を行い、処理Ｓ５に移る。
【００４２】
Ｓ５：領域追跡部４は、運動パラメータの更新（前回との差を調べる等により）してこの処理を終了する。
【００４３】
（領域追跡状況の説明）
図３は領域追跡状況の説明図であり、図３（ａ）は時刻ｔの説明、図３（ｂ）は時刻ｔ＋１の説明、図３（ｃ）は時刻ｔ＋２の説明、図３（ｄ）は時刻ｔ＋３の説明である。
【００４４】
・図３（ａ）において、破線の楕円で示す前時刻の領域位置（ｉ）から運動モデルにより現時刻ｔの領域位置（矢印の位置）を予測し、その周辺に破線の正方形で示す領域探索領域（範囲）を設けて、その探索範囲より追跡領域と類似した領域ｉ（塗りつぶした楕円）を抽出し、その領域ｉを現時刻での追跡領域として得ている。そして、追跡領域ｉの重心点（黒丸）を観測位置として運動パラメータを更新する。なお、大きな破線の楕円は他の領域ｊであり、その矢印位置は動き予測位置を示している。
【００４５】
・上記図３（ａ）の操作を繰り返すと、図３（ｂ）において、時刻ｔ＋１で追跡領域ｉが他の領域ｊと重なった。このとき、観測位置は重なり領域全体の重心として得られるため、追跡領域の運動パラメータが真の領域のものとずれることになる。
【００４６】
・図３（ｃ）において、追跡領域ｉが他の領域ｊと重なったことを重なり判定部５で検出し、重なり時には領域探索領域を大きく設けたものである。このため、前時刻の領域位置（ｉ）からの運動予測（矢印の位置）が誤っていても、領域探索範囲内に分離した領域ｉが得られ、分離の前後で運動が大きく変化する場合についても対象を見失うことなく、安定した追跡が可能となる。
【００４７】
・図３（ｄ）において、追跡領域ｉが他の領域ｊと分離した後は、通常の重ならない場合の追跡（拡大前の探索領域）に戻ることになる。
【００４８】
（重なり時の探索領域の説明）
重なり時に大きくする探索領域は、次のようにすることができる。
【００４９】
・領域が重なる時は、重ならない時の探索範囲に対して一定の割合（×ｋ、ｋ＞１）だけ探索領域を大きくする。
【００５０】
・領域が重なった場合は、重なった物体（領域）の大きさに、一定の大きさを付加（加算）した探索領域とする。
【００５１】
・領域が重なった場合は、重なった物体（領域）の大きさに、元の追跡領域の一定の割合（×ｋ、ｋ＞１）の大きさを付加した探索領域とする。
【００５２】
・領域が重なった場合は、重なった物体（領域）の大きさに、追跡対象の不確かさに応じた大きさを付加あるいは乗じて探索領域を大きくする。
【００５３】
・探索範囲を広げる代わりに、予測位置の周囲の解像度を下げて探索することで、探索領域の大きさは一定に、広範囲の領域を探索する。
【００５４】
（２）：移動領域追跡装置の説明
図４は移動領域追跡装置の構成図である。図４において、移動領域追跡装置には、テレビカメラ１、アナログデジタル変換器（Ａ／Ｄ変換器）２、フレームメモリ３、領域追跡部４、重なり判定部５、出力部６が設けてある。
【００５５】
テレビカメラ１は、移動物体を撮影する撮像装置である。Ａ／Ｄ変換器２は、テレビカメラ１からの映像信号をデジタル画像に変換するものである。フレームメモリ３は、デジタル画像を蓄積するものである。領域追跡部４は、対象領域を追跡するものである。重なり判定部５は、領域間の重なりを判断するものである。出力部６は、追跡領域の位置および形状を出力するものである。
【００５６】
テレビカメラ１より一定間隔毎に撮像され、デジタル画像がフレームメモリに蓄積される。追跡する対象領域の最初の位置は、任意の時点のデジタル画像について、人手もしくは自動的（説明省略）に与えられるものとする。そして、追跡対象は１つあるいはそれ以上の個数設定されているとする。以降は、対象領域（群）は、領域追跡部４により自動的に追跡される。なお、この領域追跡部４は、追跡したい領域の数だけ用意される。
【００５７】
（３）：領域追跡部の処理の説明
図５は領域追跡部の処理の説明図であり、図５（ａ）は、領域追跡部の処理の説明、図５（ｂ）は重なり処理の説明である。
【００５８】
図５（ａ）において、まず、領域追跡部４の領域追跡処理（Ｓ１１）により 対象領域が追跡される。この追跡により得られた対象領域の位置Ｐｉおよび形状ＰＳｉを、重なり判定部５に送る。
【００５９】
重なり判定部５では、他の領域との位置関係から領域の重なりの有無ＯＶｉを求め、各領域に重なりの結果を返す。
【００６０】
領域追跡部４は、領域の重なりの有無ＯＶｉにより重なり処理を行う（Ｓ１２）。
【００６１】
図５（ｂ）において、領域追跡部４の重なり処理は、重なり発生か否かの判断（Ｓ２１）と前時刻で重なっていたか否かの判断（Ｓ２２）を行い、重なりが発生し、しかも、前時刻では重なりのない状況、つまり最初の重なりの発生なら、重なりの分離に備えて領域の大きさＡｉ、および運動パラメータＭＰｉの保存を行う（Ｓ２３）。それ以外の時は何もしない（処理終了）。
【００６２】
（４）：領域追跡処理の具体的な説明
領域追跡処理の手順は図２で説明したが、以下、ある領域Ｒｉの追跡過程を図６により説明する。図６は領域Ｒｉの追跡過程の説明図であり、図６において、領域の移動後の位置の予測では、前時刻ｔ−１での領域の位置Ｐｉ（ｔ−１）から、追跡対象領域Ｒｉの運動モデルＭＭｉと運動パラメータＭＰｉを用いて、現時刻ｔでの領域の位置Ｐｐｒｅｄ（ｔ）を予測する。運動モデルについては言及しないが、例えば等速運動モデルを用いれば、運動パラメータは領域の位置Ｐｉ（ｔ）と速度ｖｉ（ｔ）となり、予測位置はＰｏ＝Ｐｉ（ｔ−１）として、Ｐｐｒｅｄ（ｔ）＝ｖｉ（ｔ）＋Ｐｏとなる。
【００６３】
・時間的に変化する運動パラメータを予測し、それに応じた次時刻の予測位置を算出するために、カルマンフィルタを用いることもできる。そのシステム式は、ｘｘｉ（ｔ）を時刻ｔでの状態ベクトル、ｚｉ（ｔ）を時刻ｔでの観測ベクトル、Ｆｉをシステム行列、Ｇｉをシステムノイズ行列、Ｈｉを観測行列、ｗｉをシステムノイズ、ｖｉを観測ノイズ、Ｓｘｉを状態量ｘｘｉの共分散行列、ＲＲｉを観測の共分散行列とすると、時刻ｔでの状態ベクトルｘｘｉ（ｔ）と時刻ｔでの観測ベクトルｚｉ（ｔ）は以下で表される。
【００６４】
ｘｘｉ（ｔ）＝Ｆｉ×ｘｘｉ（ｔ−１）＋Ｇｉ×ｗｉ
ｚｉ（ｔ）＝Ｈｉ×ｘｘｉ（ｔ−１）＋ｖｉ
ここで、例えば等速運動を表すには、ｘｘｉ（ｔ）＝（ｘ，ｙ，ｖｘ，ｖｙ）
（ｘ，ｙは画像での位置、ｖｘ，ｖｙはｘ方向およびｙ方向の速度）とすれば、システム行列Ｆｉ、システムノイズ行列Ｇｉ、観測行列Ｈｉは次のようになる。
【００６５】
【数１】
【００６６】
ｖ、ｗはシステムに依存するノイズ量である。ここで、時刻ｔ−１での状態ベクトルをｘｘｉ（ｔ−１）とすると、上式により領域の予測位置はｚｉ（ｔ）で与えられる。
【００６７】
・次に、予測位置を中心に領域探索範囲Ｓｉ（ｔ）を設定する。領域探索範囲は、重なりの有無ＯＶｉにより異なる。重なりが無い時には、追跡領域の位置の不確かさＳｐｉ（ｔ）を引数とする関数Ｓｉ（ｔ）＝Ｆｓ（Ｓｐｉ（ｔ））を用いて決定する。Ｆｓ（ ）は例えば、Ｆｓ（ｘ）＝ａ１×ｘ＋ｂ１で表され、特にａ１＝０の時は固定の大きさ、ｂ１＝０の時は追跡領域の位置の不確かさに基づいた探索範囲となる。カルマンフィルタを用いない時はａ１＝０とする。追跡領域の位置の不確かさＳｐｉ（ｔ）は、状態共分散行列Ｓｘｉの中で位置に関する部分を切り出した部分共分散行列ＳＳから求めた最大固有値となる。上記の例では、Ｓｘｉの各要素をｓij（ｉ＝１〜４、ｊ＝１〜４）とすると、次のようになる。
【００６８】
【数２】
【００６９】
また、探索範囲の形状の決定は自由で、例えばＦｓ（ ）の大きさを１辺とする正方形でもよい（長方形、円、楕円等でもよい）。
【００７０】
一方、重なりがある場合には、探索範囲を領域どうしが重ならない場合に比べてｋ倍（ｋ＞１）の領域とする。具体的には、１辺の大きさをｋ倍、あるいは半径をｋ倍とする。
【００７１】
・次に、領域探索範囲Ｓｉ（ｔ）内から、領域の特徴モデルＲＦｉを用いて追跡対象に相当する特徴を有する抽出領域（群）Ｅｊを得る。領域の特徴モデルについては限定しない。例えば、色情報を用いるなら、色を表す３つの要素（例えばＲＧＢ）の値にそれぞれ区間を設けて、規定区間内に３要素値が入れば領域として抽出する。このような区間を用いる他にも、色情報をベクトルと考え（色ベクトルＣｉ）、事前に抽出対象の色分布について、色ベクトルが属する多次元空間での平均色ベクトルＣｍｉと分散行列Ｓｃｉを求めておき、入力された色ベクトルＣｊを、その平均色ベクトルと分散行列により求めた次のマララノビス距離Ｌｃｉが閾値よりも小さい部分を残すことによっても得られる。
【００７２】
Ｌｃｉ＝（Ｃｊ−Ｃｍｉ）T ×Ｓｃｉ-1×（Ｃｊ−Ｃｍｉ）
このような特徴モデルにより得られた画素単位の集合から連接領域を求めて、ある一定値以上の面積を有する領域を残すことで、抽出領域群Ｅｊを得る。なお、できるだけ大きな領域を得るために、連接領域を求める前に、膨張処理を加えてもよい。また、色情報の他にも輝度値や距離情報など様々な特徴でも同様に実現することができる。
【００７３】
・これら抽出領域群Ｅｊの中で最も追跡領域に類似した領域を対応付けることで、領域の追跡を行う。重なりなしと判定されている領域、または重なりありと判定されていても抽出領域が１つの場合については、領域の類似度には、抽出領域の中心（重心）位置Ｃｊと領域予測位置Ｐｐｒｅｄ（ｔ）との距離や、抽出領域群Ｅｊの面積と追跡領域Ｒｉの面積の差、の一方あるいは両方を用い、それらが小さいほど類似度が高いとする。また、重なりありと判定されて、抽出領域が２つ以上存在する場合には、重なっていた領域が分離したと考えられるので、重なり開始時に保存した物体面積との差が小さい方と対応付ける。なお、重なり前の運動パラメータの差の小さいものを対応付けることも可能である。
【００７４】
対応が求まると、運動パラメータＭＰｉ（ｔ）を更新する。更新方法は規定しないが、例として、単純な等速運動モデルならば、Ｖｉ（ｔ＋１）＝Ｃｊ−Ｐｉ（ｔ−１）、Ｐｉ（ｔ）＝Ｃｊとなる。また、カルマンフィルタを用いる時は、対応する領域の中心位置をｚｚｉ（ｔ）＝（ｘ，ｙ）とすると、状態ベクトルｘｘｉ（ｔ）は、次のように推定される。
【００７５】
Ｓｃ＝Ｆｉ×Ｓｘｉ（ｔ−１）×ＦｉT
Ｋ＝Ｓｃ×ＨｉT ×（Ｈｉ×Ｓｃ×ＨｉT ＋ＲＲｉ）-1
として、
ｘｘｉ（ｔ）＝Ｆｉ×ｘｘｉ（ｔ−１）＋Ｇｉ×ｗｉ＋Ｋ×（ｚｚｉ（ｔ）−（Ｈｉ×ｘｘｉ（ｔ−１）＋ｖｉ））
（なお、Ｔは転置を表し、−１は逆変換を表す）
このとき、上記状態ベクトルｘｘｉ（ｔ）から時刻ｔでの位置と速度の成分を抽出し、領域位置Ｒｉ（ｔ）＝（ｘｘ〔０〕，ｘｘ〔１〕）、運動パラメータ（移動速度）Ｖｉ（ｔ）＝（ｘｘ〔２〕，ｘｘ〔３〕）を得る。このとき、状態ベクトルの共分散行列Ｓｘｉ（ｔ）は以下のように更新される。
【００７６】
Ｓｘｉ（ｔ）＝（Ｉ−Ｋ×Ｈｉ）×Ｓｃ×（Ｉ−Ｋ×Ｈｉ）-1＋Ｋｉ×ＲＲｉ×ＫｉT
この推定された状態共分散行列Ｓｘｉ（ｔ）は、時刻ｔ＋１での領域探索範囲Ｓｉ（ｔ＋１）の算出に用いる。
【００７７】
・重なり判定部５での処理手順は、全ての追跡領域の組み合わせ（ＲｉとＲｊ）について、追跡領域の位置と形状を元に２つの領域を画像座標において重ね合わせて、領域間に重なりがある場合には、重なりありと判定する。両領域に重なりがなければ、両領域とも重なりなしと判定する。
【００７８】
重なりありの場合は、重なり合う領域の大きさの違いを調べ、大きさに顕著な違い（例えば倍程度）がある場合には、大きい方の領域は通常の重なっていない状態での追跡とし、小さい方を重なり有りとする。また、領域間の大きさがほぼ同じ時には、それら領域全てを重なり有りとする。そして、判定結果を各領域（Ｒｉ、Ｒｊ）の領域追跡部４に返す。
【００７９】
図７は重なり判定部の処理の流れの説明図である。以下、図７の処理Ｓ３１〜処理Ｓ４４に従って説明する。
【００８０】
Ｓ３１：重なり判定部５は、ｉ＝１として、処理Ｓ３２に移る。
Ｓ３２：重なり判定部５は、領域Ｒｉの情報を得て、処理Ｓ３３に移る。
【００８１】
Ｓ３３：重なり判定部５は、ｊ＝ｉ＋１として、処理Ｓ３４に移る。
Ｓ３４：重なり判定部５は、領域Ｒｊの情報を得て、処理Ｓ３５に移る。
【００８２】
Ｓ３５：重なり判定部５は、領域Ｒｉと領域Ｒｊが重なっているかどうか判定する。この判定で領域Ｒｉと領域Ｒｊが重なっていれば処理Ｓ３６に移り、重なっていない場合は処理Ｓ３９に移る。
【００８３】
Ｓ３６：重なり判定部５は、領域Ｒｉと領域Ｒｊの大きさの差は大きいかどうか判定する。この判定で大きさの差が大きい場合は処理Ｓ３７に移り、差が大きくない場合は処理Ｓ３８に移る。
【００８４】
Ｓ３７：重なり判定部５は、大きい領域の方は重なっていないとし、小さい領域の方を重なっているとし、処理Ｓ４０に移る。
【００８５】
Ｓ３８：重なり判定部５は、処理Ｓ３６の判定で領域Ｒｉと領域Ｒｊの大きさの差が大きくない場合、領域Ｒｉと領域Ｒｊの両方とも重なっているとし、処理Ｓ４０に移る。
【００８６】
Ｓ３９：重なり判定部５は、処理Ｓ３５の判断で領域Ｒｉと領域Ｒｊが重なっていない場合、領域Ｒｉと領域Ｒｊの両方とも重なっていないとし、処理Ｓ４０に移る。
【００８７】
Ｓ４０：重なり判定部５は、領域Ｒｉと領域Ｒｊの領域追跡部４に重なり情報を返し、処理Ｓ４１に移る。
Ｓ４１：重なり判定部５は、ｊ＝ｊ＋１として、処理Ｓ４２に移る。
【００８８】
Ｓ４２：重なり判定部５は、ｊの値が最大領域数以下かどうか判断する。この判断でｊの値が最大領域数以下の場合は処理Ｓ３４に戻り、もし最大領域数以下でない場合は処理Ｓ４３に移る。
【００８９】
Ｓ４３：重なり判定部５は、ｉ＝ｉ＋１として、処理Ｓ４４に移る。
Ｓ４４：重なり判定部５は、ｉの値が最大領域数以下かどうか判断する。この判断でｉの値が最大領域数以下の場合は処理Ｓ３２に戻り、もし最大領域数以下でない場合はこの処理を終了する。
【００９０】
（５）：他の重なっている時の領域探索範囲の説明
・前記（４）の領域追跡処理の具体的において、領域Ｒｉの追跡で、領域が重なっているときの領域探索範囲Ｓｉ（ｔ）の設定方式を、追跡領域Ｒｉの周囲に、一定の大きさを付加（加算）して膨張させた領域を探索範囲とする方法に替えたもの。
【００９１】
・前記（４）の領域追跡処理の具体的において、領域Ｒｉの追跡で、領域が重なっているときの領域探索範囲Ｓｉ（ｔ）の設定方式を、追跡領域Ｒｉの周囲に、重なり前の領域の大きさＡｉから何らかの関数Ｆｓ２（Ａｉ）で定まる大きさを加えて膨張させた領域を探索範囲とする方法に替えたもの。関数Ｆｓ２（ ）の例として、Ｆｓ２（ｘ）＝ａ２×ｘ＋ｂ２（ａ２、ｂ２は定数）など。
【００９２】
・前記（４）の領域追跡処理の具体的において、領域Ｒｉの追跡で、領域が重なっているときの領域探索範囲Ｓｉ（ｔ）の設定方式を、追跡領域Ｒｉの周囲に、追跡領域の位置の不確かさＳｐｉ（ｔ）から何らかの関数Ｆｓ３（Ｓｐｉ）で定まる大きさを加えて膨張させた領域を探索範囲とする方法に替えたもの。関数Ｆｓ３（ ）の例として、Ｆｓ３（ｘ）＝ａ３×ｘ＋ｂ３（ａ３、ｂ３は定数）など。
【００９３】
（６）：重なっている時に解像度を下げる場合の説明
前記（４）（５）で説明したように探索範囲を実際に広げる代わりに、予測位置の周囲の解像度を下げて探索することで、探索領域の実際の大きさは一定にしながら、広範囲の領域を探索することができる。
【００９４】
解像度を下げる方式は複数あるが、例えば、解像度を下げた画像の画素値を、解像度の低い画像の座標系から、対応する元の解像度での座標系へ座標変換したときに、変換された座標（一般には実数値で表される）に最も近い整数値で表せる座標の画素値としたもの。
【００９５】
（具体的な解像度の変換方式の説明）
・図８は解像度変換方式の説明図であり、図８（ａ）は元の解像度での探索範囲の説明、図８（ｂ）は低解像度での探索範囲の説明である。図８（ａ）において、元の解像度の座標系ｏ−ｘｙ（ｏは画像の左上）で、探索範囲の中心位置をｑ（ｑｘ，ｑｙ）、幅および高さをｗｗ、ｈｈとする。元の解像度での探索範囲の大きさに対する低解像度での探索範囲の大きさは１／ｍとする。図８（ｂ）において、低解像度での座標系Ｏ−ＸＹ（Ｏは低解像度での探索範囲の左上）で、探索範囲の中心位置をＱ（Ｑｘ，Ｑｙ）、幅および高さをｗｗ／ｍ、ｈｈ／ｍとする。
【００９６】
この時、低解像度での座標Ｐ（Ｘ，Ｙ）から元の解像度での座標ｐ（ｘ，ｙ）は、ｘ座標、ｙ座標それぞれの座標変換関数をｈｘ（Ｘ）、ｈｙ（Ｙ）とすると、ｈｘ、ｈｙはそれぞれ次のように表せる。
【００９７】
ｈｘ（Ｘ）＝（Ｘ−Ｑｘ）×ｍ＋ｑｘ
ｈｙ（Ｙ）＝（Ｙ−Ｑｙ）×ｍ＋ｑｙ
ここで、演算子［ｘ］を「ｘを越えない最大の整数を返す」と定義する。元の解像度での任意の位置の画素値をｇ（ｘ，ｙ）、低解像度での任意の位置の画素値をＧ（Ｘ，Ｙ）とするとき、本解像度変換方式は、次のようになる。
【００９８】
Ｇ（Ｘ，Ｙ）＝ｇ（［ｈｘ（Ｘ）］，［ｈｙ（Ｙ）］）
この変換を低解像度での探索範囲内の各位置で行うことで、低解像度での探索範囲画像が得られる。
【００９９】
・上記解像度を下げる方式を次の方式とすることもできる。解像度を下げた画像の画素値を、解像度の低い画像の座標系から、対応する元の解像度での座標系へ座標変換したときに、周囲の４つの画素値を用いて線形補間（bilinear）した値としたもの。
【０１００】
具体的には、以下の通り、低解像度の探索範囲内の点Ｐ（ＰＸ，ＰＹ）に対する元の解像度での画素の位置ｐ（ｐｘ，ｐｙ）は、
ｐｘ＝ｈｘ（ＰＸ）
ｐｙ＝ｈｙ（ＰＹ）
で与えられる。このとき、低解像度での任意の画素値Ｇ（ＰＸ，ＰＹ）を以下の式により線形補間して求める。
【０１０１】
Ｇ（ＰＸ，ＰＹ）＝［（ｐｘ−［ｐｘ］）×（（ｐｙ−［ｐｙ］）×ｇ（［ｐｘ］，［ｐｙ］）＋（［ｐｙ］＋１−ｐｙ）×ｇ（［ｐｘ］，［ｐｙ］＋１））＋（［ｐｘ］＋１−ｐｘ）×（（ｐｙ−［ｐｙ］）×ｇ（［ｐｘ］＋１，［ｐｙ］）＋（［ｐｙ］＋１−ｐｙ）×ｇ（［ｐｘ］＋１，［ｐｙ］＋１））］
この変換を低解像度での探索範囲内の各位置で行うことで、低解像度での探索範囲画像が得られる。
【０１０２】
・また、前記解像度を下げる方式を次の方式とすることもできる。解像度を下げた画像の画素値を、解像度の低い画像の座標系から、対応する元の解像度での座標系へ座標変換したときに、周囲の１６の画素値を用いてｓｉｎｃ（シンク）補間した値としたもの。
【０１０３】
具体的には、以下の通り、低解像度の探索範囲内の点Ｐ（ＰＸ，ＰＹ）に対する元の解像度での画素の位置ｐ（ｐｘ，ｐｙ）は、
ｐｘ＝ｈｘ（ＰＸ）
ｐｙ＝ｈｙ（ＰＹ）
で与えられる。位置ｐ（ｐｘ，ｐｙ）は、一般には実数値で与えられる。ここで、
ｐｐｘ＝［ｐｘ］
ｐｐｙ＝［ｐｙ］
とおき、（ｐｐｘ、ｐｐｙ）の周囲の座標を以下のように定義する。
【０１０４】
ｐｐｘ（１）＝ｐｐｘ−１、ｐｐｘ（２）＝ｐｐｘ、ｐｐｘ（３）＝ｐｐｘ＋１、ｐｐｘ（４）＝ｐｐｘ＋２
ｐｐｙ（１）＝ｐｐｙ−１、ｐｐｙ（２）＝ｐｐｙ、ｐｐｙ（３）＝ｐｐｙ＋１、ｐｐｙ（４）＝ｐｐｙ＋２
ｘとｙ方向の４点ずつ、つまり１６点で定義される位置について、重み係数ＷＷ（ｉ，ｊ）を以下のように定義する。
【０１０５】
ｉ＝１〜４、ｊ＝１〜４の１６点について
ＷＷ（ｉ，ｊ）＝ｓｉｎ（ｓｑｒｔ（（ｐｘ−ｐｐｘ（ｉ））2 ＋（ｐｙ−ｐｐｙ（ｊ））2 ））／ｓｑｒｔ（（ｐｘ−ｐｐｘ（ｉ））2 ＋（ｐｙ−ｐｐｙ（ｊ））2 ）
このとき、低解像度での任意の画素値Ｇ（ＰＸ，ＰＹ）を以下の式により補間して求める。
【０１０６】
【数３】
【０１０７】
この変換を低解像度での探索範囲内の各位置で行うことで、低解像度での探索範囲画像が得られる。
【０１０８】
・さらに、前記解像度を下げる方式を次の方式とすることもできる。解像度を下げた画像の画素値を、解像度の低い画像の座標系から、対応する元の解像度での座標系へ座標変換したときに、周囲の１６の画素値を用いてｃｕｂｉｃ（キュービック：３次元）補間した値としたもの。
【０１０９】
具体的には、次の通り、低解像度の探索範囲内の点Ｐ（ＰＸ，ＰＹ）に対する元の解像度での画素の位置ｐ（ｐｘ，ｐｙ）は、
ｐｘ＝ｈｘ（ＰＸ）
ｐｙ＝ｈｙ（ＰＹ）
で与えられる。位置ｐ（ｐｘ，ｐｙ）は、一般には実数値で与えられる。ここで、
ｐｐｘ＝［ｐｘ］
ｐｐｙ＝［ｐｙ］
とおき、（ｐｐｘ、ｐｐｙ）の周囲の座標を以下のように定義する。
【０１１０】
ｐｐｘ（１）＝ｐｐｘ−１、ｐｐｘ（２）＝ｐｐｘ、ｐｐｘ（３）＝ｐｐｘ＋１、ｐｐｘ（４）＝ｐｐｘ＋２
ｐｐｙ（１）＝ｐｐｙ−１、ｐｐｙ（２）＝ｐｐｙ、ｐｐｙ（３）＝ｐｐｙ＋１、ｐｐｙ（４）＝ｐｐｙ＋２
ｘとｙ方向の４点ずつ、つまり１６点で定義される位置について、重み係数ＷＷ（ｉ，ｊ）を以下のように定義する。
【０１１１】
ｉ＝１〜４、ｊ＝１〜４の１６点について
このとき、低解像度での任意の画素値Ｇ（ＰＸ，ＰＹ）を以下の式により補間して求める。
【０１１２】
【数４】
【０１１３】
この変換を低解像度での探索範囲内の各位置で行うことで、低解像度での探索範囲画像が得られる。
【０１１４】
以上実施の形態で説明したように、画像全体から追跡領域に類似した特徴を有する領域を抽出するのではなく、追跡中の各々の領域の近傍の一定の範囲のみに処理領域を限定することで、処理時間を大幅に減らすことができる。
【０１１５】
また、複数の領域（物体）が重なり１つの領域として観測され、それぞれの領域が区別できない時でも、重なり状態を判断して、重なり時には通常より大きな領域探索範囲を設けて、重なり領域の周囲の広い部分を監視することで、重なった領域が重なり中に運動パターン（運動パラメータ）を変化させても、その変化に影響されることなく、安定に領域を追跡する事ができる。
【０１１６】
（６）：プログラムのインストールの説明
領域追跡部、重なり判定部は、プログラムで構成でき、主制御部（ＣＰＵ）が実行するものであり、主記憶に格納されているものである。このプログラムは、一般的な、コンピュータで処理されるものである。このコンピュータは、主制御部、主記憶、ファイル装置、表示装置、キーボード等の入力手段である入力装置などのハードウェアで構成されている。
【０１１７】
このコンピュータに、本発明のプログラムをインストールする。このインストールは、フロッピィ、光磁気ディスク等の可搬型の記録（記憶）媒体に、これらのプログラムを記憶させておき、コンピュータが備えている記録媒体に対して、アクセスするためのドライブ装置を介して、或いは、ＬＡＮ等のネットワークを介して、コンピュータに設けられたファイル装置にインストールされる。そして、このファイル装置から処理に必要なプログラムステップを主記憶に読み出し、主制御部が実行するものである。
【０１１８】
【発明の効果】
以上説明したように、本発明によれば次のような効果がある。
（１）：特定の特徴を有する領域の運動モデルから移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行い、他の類似領域との重なりに応じて前記探索範囲を可変するため、領域探索範囲を一定の範囲のみに限定して処理時間を大幅に減らし、安定に領域を追跡することができる。
【０１１９】
（２）：他の類似領域との重なりにより、前記探索範囲を大きくし、前記重なりの解消により前記探索範囲を小さくするため、処理時間を大幅に減らし、領域の動きの変化に影響されず安定に領域を追跡することができる。
【０１２０】
（３）：探索範囲を追跡する領域の予測位置の不確かさに応じた大きさとするため、探索範囲を必要最小限とすることができる。
【０１２１】
（４）：領域の予測位置の周囲の解像度を下げて、前記探索範囲を可変するため、探索領域の大きさは一定にしても、広範囲の領域を探索することができる。
【０１２２】
（５）：領域追跡部で特定の特徴を有する領域の運動モデルから移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行い、重なり判定部で他の領域との重なりの判定を行い、前記領域追跡部で他の類似領域との重なりに応じて前記探索範囲を可変するため、領域探索範囲を一定の範囲のみに限定して処理時間を大幅に減らし、安定に領域を追跡することができる。
【０１２３】
（６）：特定の特徴を有する領域の運動モデルから領域の移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行う領域探索手順と、他の領域との重なりを判定する重なり判定手順と、他の類似領域との重なりに応じて前記探索範囲を可変する手順とを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体とするため、この記録媒体のプログラムをコンピュータにインストールすることで、処理時間を大幅に減らし、安定に領域を追跡することができる移動領域追跡装置を容易に提供することができる。
【図面の簡単な説明】
【図１】本発明の移動領域追跡手法の概略説明図である。
【図２】実施の形態における領域追跡処理の流れの説明図である。
【図３】実施の形態における領域追跡状況の説明図である。
【図４】実施の形態における移動領域追跡装置の構成図である。
【図５】実施の形態における領域追跡部の処理の説明図である。
【図６】実施の形態における領域Ｒｉの追跡過程の説明図である。
【図７】実施の形態における重なり判定部の処理の流れの説明図である。
【図８】実施の形態における解像度変換方式の説明図である。
【符号の説明】
４ 領域追跡部
５ 重なり判定部
【発明の属する技術分野】
本発明は、画像から特定の特徴を有する領域が複数あり、それぞれを追跡する際に、各領域が互いに重なり合う場合がある時でも、正しく追跡を行うための移動領域追跡方法及び装置及び記録媒体に関するものである。
【０００２】
２次元の配列で各要素に値を持つ形式の情報を画像と定義する。連続的に入力される画像から、特定の特徴を有する画像領域を抽出し、その領域を連続的に追跡することは、移動を伴う領域の各時刻での位置や形状を得るために重要である。
【０００３】
例えば、カメラから入力される画像を対象とすれば、３次元中に移動する物体を追跡できる。領域を追跡するには、何らかの運動モデルに基づき領域の動きを予測し、予測された位置の周囲から物体特徴を有する領域を抽出し、得られた領域（群）から、追跡領域に相当する領域を対応づけ、さらに次の追跡のために運動モデルを更新する必要がある。
【０００４】
このとき、追跡している領域が、他の類似した領域と重なるならば、領域どうしの区別ができないので、追跡での対応付けが困難となる。そのため、運動モデルの正常な更新ができず、領域の動き予測を誤り、結果として追跡が不可能になることがある。重なり状態が数回繰り返せば、正しい運動モデルの推定が行えず、追跡は困難である。
【０００５】
そこで、発明者らは、追跡中に他の領域との重なりを検知し、重なり中は領域の検索範囲を大きくし、領域周辺の広い範囲から物体領域を抽出することで重なっていた領域が再び離れることに備え、離反時に隠蔽中の運動モデルの変化に影響されず、安定した領域追跡を可能にする手法を発案したものである。
【０００６】
本発明は、複数の移動物体をとらえる必要のある通行者監視や侵入者監視など、特定の特徴を有する対象の位置や移動軌跡を必要とする多くの監視システムに利用できるほか、手話やジェスチャ認識での各部位の追跡などにも利用できるものである。
【０００７】
【従来の技術】
従来の方法では、初期状態の物体領域位置を初期画面中で既知、あるいは何らかの簡単な手法により取得し、次からは、カメラから連続的に入力される画像中から、初期位置を参考に対象領域を次の手順で追跡する。
【０００８】
まず、カメラから連続的に入力される画像から、特定の物体に相当する特徴を有する画像領域を抽出する。次に、何らかの運動モデルに基づき領域の動きを予測し、予測された位置に最も距離が近い領域を追跡領域として対応付ける。そして、次の追跡のための運動モデルを更新する。
【０００９】
例えば、今川和幸、呂山、猪木誠二、松尾英明「顔によるオクルージョンを考慮した手話動画像からの実時間掌追跡」電子情報通信学会、技術研究報告PRMU９７−１０４〜１１０，pp．１５−２２の人の掌および顔を色情報に基づいて追跡する手法によると、最初は掌と顔が重ならないように配置し、あらかじめ定めた掌と顔の色分布のモデルを用いて、初期画面から掌と顔を含む領域を得る。得られた領域の大きさと位置により初期の掌と顔の領域を決定する。以降は、次の処理を繰り返し、各領域を追跡する。
【００１０】
まず、現時刻の撮影画像と、前時刻の画像と現時刻の画像との差分画像の２つについて、前述の色モデルを用いて掌と顔の候補領域を得る（前者の画像の領域を static blobとし、後者の画像からの領域を motion blobとする）。次に、static blob で最も大きいものを顔領域とする。これは、顔の動きモデルとして、位置固定したことに相当する。掌領域は、次の手順で得る。
【００１１】
掌の位置と速度を状態量とするカルマン（Kalman）フィルタにより掌の移動位置を予測し、顔を除く static blobと、 motion blobの中で、予測位置からの距離が一定値以内にある最も近いblobを掌領域として対応付ける。対応が求まれば、次回の動き予測のために、得られたblobの中心位置を観測位置として掌の運動パラメータをカルマンフィルタに基づいて更新する。このようなblobが存在しない時は、掌は顔と重なっていると判断し、前回の位置を観測位置として動きパラメータを更新していた。
【００１２】
【発明が解決しようとする課題】
前記従来のものには、次のような課題があった。
【００１３】
▲１▼まず、画像全体から画像特徴に基づいて領域を抽出すると時間がかかるものであった。例えば、色分布のモデルを用いて領域を抽出するには、画像の各画素に対して、色を表す３要素（例えばＲＧＢ）がモデルで示された範囲に入っているかの判断をする必要がある。画像の大きさをＭ×Ｎとすると３×Ｍ×Ｎの時間を要することになる。そのため、高速な処理を行うには、特別な機器が必要なものであった。
【００１４】
▲２▼次に、複数の領域（物体）が重なり１つの領域として観測されそれぞれの領域が区別できない時に、重なった領域が重なり中に運動パターン（運動パラメータ）を大きく変化させると、それを観測できないので、領域が離反したときに予測した運動パラメータと大きく異なり追跡を失敗するという問題があった。これは、重なり領域に属す全ての領域の運動パラメータの更新を、それぞれの領域の真の中心位置（あるいは重心位置）でなく、重なり合う領域の和集合の中心位置（あるいは重心位置）を観測位置として代表させて行うために、重なり領域内での運動の変化を正しくモデル化できず、結果として離反した時に予測運動パラメータとの差異が非常に大きくなるためである。
【００１５】
▲３▼この問題は、重なり合う領域間の大きさの違いが大きい時には、それら領域が重なりの前後で運動パラメータに変化がなくとも、同様に生じていた。なぜなら、領域の一部が重なった時から離れるまで、小さい方の領域の真の中心位置（重心位置）と、重なり合う領域の和集合で示す領域の中心位置（重心位置）は大きく異なるため誤った運動パラメータの推定を行うことになるからである。
【００１６】
本発明は、このような従来の課題を解決し、領域探索範囲を追跡中の各々の領域の近傍の一定の範囲のみに限定し、複数の領域（物体）が重なった時には、通常より大きな領域探索範囲を設け、処理時間を大幅に減らし、領域の動きの変化に影響されず安定に領域を追跡することを目的とする。
【００１７】
【課題を解決するための手段】
図１は本発明の移動領域追跡手法の概略説明図である。図１中、４は領域追跡部、５は重なり判定部である。
【００１８】
本発明は前記従来の課題を解決するため次のように構成した。
（１）：カメラから連続して入力される画像から特定の特徴を有する領域を追跡する移動領域追跡方法において、前時刻からの領域位置による領域の運動モデルから移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行い、他の類似領域との重なりにより、前記探索範囲を大きくし、前記重なりの解消により前記探索範囲を小さくする。
【００２０】
（２）：前記（１）の移動領域追跡方法において、前記探索範囲を追跡する領域の予測位置の不確かさに応じた大きさとする。
【００２１】
（３）：前記（１）又は（２）の移動領域追跡方法において、前記領域の予測位置の周囲の解像度を下げて、前記探索範囲を可変する。
【００２２】
（４）：カメラから連続して入力される画像から特定の特徴を有する領域を追跡する移動領域追跡装置において、前時刻からの領域位置による領域の運動モデルから移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行う領域追跡部４と、他の領域との重なりを判定する重なり判定部５とを備え、前記領域追跡部４は、重なり判定部５で判定した他の類似領域との重なりにより、前記探索範囲を大きくし、前記重なりの解消により前記探索範囲を小さくする。
【００２３】
（５）：カメラから連続して入力される画像から特定の特徴を有する領域の前時刻からの領域位置による運動モデルから領域の移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行う領域探索手順と、他の領域との重なりを判定する重なり判定手順と、他の類似領域との重なりにより、前記探索範囲を大きくし、前記重なりの解消により前記探索範囲を小さくする手順とを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体とする。
【００２４】
（作用）
前記構成に基づく作用を説明する。
【００２５】
特定の特徴を有する領域の運動モデルから移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行い、他の類似領域との重なりに応じて前記探索範囲を可変する。このため、領域探索範囲を一定の範囲のみに限定して処理時間を大幅に減らし、安定に領域を追跡することができる。
【００２６】
また、前記他の類似領域との重なりにより、前記探索範囲を大きくし、前記重なりの解消により前記探索範囲を小さくする。このため、領域探索範囲を一定の範囲のみに限定し、複数の領域（物体）が重なった時には、通常より大きな探索範囲とし、処理時間を大幅に減らし、領域の動きの変化に影響されず安定に領域を追跡することができる。
【００２７】
さらに、前記探索範囲を追跡する領域の予測位置の不確かさに応じた大きさとする。このため、探索範囲を必要最小限とすることができる。
【００２８】
また、前記領域の予測位置の周囲の解像度を下げて、前記探索範囲を可変する。このため、探索領域の大きさは一定にしても、広範囲の領域を探索することができる。
【００２９】
さらに、領域追跡部４で特定の特徴を有する領域の運動モデルから移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行い、重なり判定部５で他の領域との重なりの判定を行い、前記領域追跡部４で、重なり判定部５で判定した他の類似領域との重なりに応じて前記探索範囲を可変する。このため、領域探索範囲を一定の範囲のみに限定して処理時間を大幅に減らし、安定に領域を追跡することができる。
【００３０】
また、特定の特徴を有する領域の運動モデルから領域の移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行う領域探索手順と、他の領域との重なりを判定する重なり判定手順と、他の類似領域との重なりに応じて前記探索範囲を可変する手順とを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体とする。このため、この記録媒体のプログラムをコンピュータにインストールすることで、処理時間を大幅に減らし、安定に領域を追跡することができる移動領域追跡装置を容易に提供することができる。
【００３１】
【発明の実施の形態】（１）：追跡方式の概要の説明
▲１▼：処理時間の短縮について
画像全体から画像特徴に基づいて領域を抽出すると時間が係る問題に対しては、画像全体を処理するのではなく、追跡中の各々の領域の近傍の一定の範囲のみに処理領域を限定することで、処理時間を大幅に減らすことができる。具体的には、追跡の対象となる各領域を独立に追跡し、追跡中の各々の領域について、運動パラメータにより予測される移動予測位置を中心とする一定の範囲のみを処理領域とするものである。
【００３２】
▲２▼：重なった領域が離反したときの追跡の失敗について
（移動領域追跡手法の説明）
図１は移動領域追跡手法の概略説明図である。図１において、移動領域追跡手法には、領域追跡部４と重なり判定部５が設けてある。領域追跡部４は、複数の領域追跡部（１）、（２）・・・（ｎ）からなる。各領域追跡部（１）、（２）・・・（ｎ）は、それぞれ１つの追跡対象を追跡する。また、追跡で得られた領域の位置／形状／大きさの情報を重なり判定部へ送る。
【００３３】
重なり判定部５では、各領域追跡部（１）、（２）・・・（ｎ）から得られた領域の位置関係を元に重なりの有無を求める。もし重なりがあれば、重なったそれぞれの領域に重なりの発生を返す。重なったと判断された領域については、重なりが分離するときに領域の区別を行うための一つの情報とするために、重なり前の運動パラメータを記録しておく。
【００３４】
（追跡処理の流れの説明）
追跡の手順は、領域追跡部４では、運動モデルにより領域の移動先を予測し、その予測された位置を中心にある一定範囲を探索して対象の特徴を持つ領域を抽出し、得られた領域（群）から、最も類似度が高い領域を対応付けることとなる。
【００３５】
「探索範囲の決定」では追跡領域が重なるか否かで次のようにする。
・重なり判定部５で重ならないと判定されている領域については、固定の大きさ、あるいは追跡領域の位置の不確かさ、あるいはその両方に基づいた大きさを探索範囲とする。
【００３６】
・一方、重なり判定部５で重なりがあると判定されている場合には、通常より大きな領域探索範囲を設けて、重なり領域の周囲を監視し、重なりが分離する領域がないかを調べる。重なり時に、探索領域により重なり領域以外に新たな領域が得られた場合は、領域が分離したとする。このような分離する領域があれば、領域の形状／大きさ／重なり前の運動パラメータのいずれか、あるいは一部、あるいは全部を参考に、どの領域が分離したかを決定する。分離した以降は、通常の重ならない場合の追跡に戻る。
【００３７】
図２は領域追跡処理の流れの説明図である。以下、図２の処理Ｓ１〜処理Ｓ５に従って説明する。
【００３８】
Ｓ１：領域追跡部４は、追跡領域の運動モデル（ＭＭｉ）、運動パラメータ（ＭＰｉ）等により追跡領域の移動後の位置を予測し、処理Ｓ２に移る。
【００３９】
Ｓ２：領域追跡部４は、重なりの有無（ＯＶＦｉ）、重なっている領域の位置／形状（ＯＶＰｉ／ＯＶＳｉ）により探索範囲を算出し、処理Ｓ３に移る。
【００４０】
Ｓ３：領域追跡部４は、算出した探索範囲から追跡領域に類似した特徴を持つ画像領域（領域の特徴モデル（ＲＦｉ））の抽出を行い、処理Ｓ４に移る。
【００４１】
Ｓ４：領域追跡部４は、追跡領域の移動後の領域に対応する領域の決定を行い、処理Ｓ５に移る。
【００４２】
Ｓ５：領域追跡部４は、運動パラメータの更新（前回との差を調べる等により）してこの処理を終了する。
【００４３】
（領域追跡状況の説明）
図３は領域追跡状況の説明図であり、図３（ａ）は時刻ｔの説明、図３（ｂ）は時刻ｔ＋１の説明、図３（ｃ）は時刻ｔ＋２の説明、図３（ｄ）は時刻ｔ＋３の説明である。
【００４４】
・図３（ａ）において、破線の楕円で示す前時刻の領域位置（ｉ）から運動モデルにより現時刻ｔの領域位置（矢印の位置）を予測し、その周辺に破線の正方形で示す領域探索領域（範囲）を設けて、その探索範囲より追跡領域と類似した領域ｉ（塗りつぶした楕円）を抽出し、その領域ｉを現時刻での追跡領域として得ている。そして、追跡領域ｉの重心点（黒丸）を観測位置として運動パラメータを更新する。なお、大きな破線の楕円は他の領域ｊであり、その矢印位置は動き予測位置を示している。
【００４５】
・上記図３（ａ）の操作を繰り返すと、図３（ｂ）において、時刻ｔ＋１で追跡領域ｉが他の領域ｊと重なった。このとき、観測位置は重なり領域全体の重心として得られるため、追跡領域の運動パラメータが真の領域のものとずれることになる。
【００４６】
・図３（ｃ）において、追跡領域ｉが他の領域ｊと重なったことを重なり判定部５で検出し、重なり時には領域探索領域を大きく設けたものである。このため、前時刻の領域位置（ｉ）からの運動予測（矢印の位置）が誤っていても、領域探索範囲内に分離した領域ｉが得られ、分離の前後で運動が大きく変化する場合についても対象を見失うことなく、安定した追跡が可能となる。
【００４７】
・図３（ｄ）において、追跡領域ｉが他の領域ｊと分離した後は、通常の重ならない場合の追跡（拡大前の探索領域）に戻ることになる。
【００４８】
（重なり時の探索領域の説明）
重なり時に大きくする探索領域は、次のようにすることができる。
【００４９】
・領域が重なる時は、重ならない時の探索範囲に対して一定の割合（×ｋ、ｋ＞１）だけ探索領域を大きくする。
【００５０】
・領域が重なった場合は、重なった物体（領域）の大きさに、一定の大きさを付加（加算）した探索領域とする。
【００５１】
・領域が重なった場合は、重なった物体（領域）の大きさに、元の追跡領域の一定の割合（×ｋ、ｋ＞１）の大きさを付加した探索領域とする。
【００５２】
・領域が重なった場合は、重なった物体（領域）の大きさに、追跡対象の不確かさに応じた大きさを付加あるいは乗じて探索領域を大きくする。
【００５３】
・探索範囲を広げる代わりに、予測位置の周囲の解像度を下げて探索することで、探索領域の大きさは一定に、広範囲の領域を探索する。
【００５４】
（２）：移動領域追跡装置の説明
図４は移動領域追跡装置の構成図である。図４において、移動領域追跡装置には、テレビカメラ１、アナログデジタル変換器（Ａ／Ｄ変換器）２、フレームメモリ３、領域追跡部４、重なり判定部５、出力部６が設けてある。
【００５５】
テレビカメラ１は、移動物体を撮影する撮像装置である。Ａ／Ｄ変換器２は、テレビカメラ１からの映像信号をデジタル画像に変換するものである。フレームメモリ３は、デジタル画像を蓄積するものである。領域追跡部４は、対象領域を追跡するものである。重なり判定部５は、領域間の重なりを判断するものである。出力部６は、追跡領域の位置および形状を出力するものである。
【００５６】
テレビカメラ１より一定間隔毎に撮像され、デジタル画像がフレームメモリに蓄積される。追跡する対象領域の最初の位置は、任意の時点のデジタル画像について、人手もしくは自動的（説明省略）に与えられるものとする。そして、追跡対象は１つあるいはそれ以上の個数設定されているとする。以降は、対象領域（群）は、領域追跡部４により自動的に追跡される。なお、この領域追跡部４は、追跡したい領域の数だけ用意される。
【００５７】
（３）：領域追跡部の処理の説明
図５は領域追跡部の処理の説明図であり、図５（ａ）は、領域追跡部の処理の説明、図５（ｂ）は重なり処理の説明である。
【００５８】
図５（ａ）において、まず、領域追跡部４の領域追跡処理（Ｓ１１）により 対象領域が追跡される。この追跡により得られた対象領域の位置Ｐｉおよび形状ＰＳｉを、重なり判定部５に送る。
【００５９】
重なり判定部５では、他の領域との位置関係から領域の重なりの有無ＯＶｉを求め、各領域に重なりの結果を返す。
【００６０】
領域追跡部４は、領域の重なりの有無ＯＶｉにより重なり処理を行う（Ｓ１２）。
【００６１】
図５（ｂ）において、領域追跡部４の重なり処理は、重なり発生か否かの判断（Ｓ２１）と前時刻で重なっていたか否かの判断（Ｓ２２）を行い、重なりが発生し、しかも、前時刻では重なりのない状況、つまり最初の重なりの発生なら、重なりの分離に備えて領域の大きさＡｉ、および運動パラメータＭＰｉの保存を行う（Ｓ２３）。それ以外の時は何もしない（処理終了）。
【００６２】
（４）：領域追跡処理の具体的な説明
領域追跡処理の手順は図２で説明したが、以下、ある領域Ｒｉの追跡過程を図６により説明する。図６は領域Ｒｉの追跡過程の説明図であり、図６において、領域の移動後の位置の予測では、前時刻ｔ−１での領域の位置Ｐｉ（ｔ−１）から、追跡対象領域Ｒｉの運動モデルＭＭｉと運動パラメータＭＰｉを用いて、現時刻ｔでの領域の位置Ｐｐｒｅｄ（ｔ）を予測する。運動モデルについては言及しないが、例えば等速運動モデルを用いれば、運動パラメータは領域の位置Ｐｉ（ｔ）と速度ｖｉ（ｔ）となり、予測位置はＰｏ＝Ｐｉ（ｔ−１）として、Ｐｐｒｅｄ（ｔ）＝ｖｉ（ｔ）＋Ｐｏとなる。
【００６３】
・時間的に変化する運動パラメータを予測し、それに応じた次時刻の予測位置を算出するために、カルマンフィルタを用いることもできる。そのシステム式は、ｘｘｉ（ｔ）を時刻ｔでの状態ベクトル、ｚｉ（ｔ）を時刻ｔでの観測ベクトル、Ｆｉをシステム行列、Ｇｉをシステムノイズ行列、Ｈｉを観測行列、ｗｉをシステムノイズ、ｖｉを観測ノイズ、Ｓｘｉを状態量ｘｘｉの共分散行列、ＲＲｉを観測の共分散行列とすると、時刻ｔでの状態ベクトルｘｘｉ（ｔ）と時刻ｔでの観測ベクトルｚｉ（ｔ）は以下で表される。
【００６４】
ｘｘｉ（ｔ）＝Ｆｉ×ｘｘｉ（ｔ−１）＋Ｇｉ×ｗｉ
ｚｉ（ｔ）＝Ｈｉ×ｘｘｉ（ｔ−１）＋ｖｉ
ここで、例えば等速運動を表すには、ｘｘｉ（ｔ）＝（ｘ，ｙ，ｖｘ，ｖｙ）
（ｘ，ｙは画像での位置、ｖｘ，ｖｙはｘ方向およびｙ方向の速度）とすれば、システム行列Ｆｉ、システムノイズ行列Ｇｉ、観測行列Ｈｉは次のようになる。
【００６５】
【数１】
ｖ、ｗはシステムに依存するノイズ量である。ここで、時刻ｔ−１での状態ベクトルをｘｘｉ（ｔ−１）とすると、上式により領域の予測位置はｚｉ（ｔ）で与えられる。
【００６７】
・次に、予測位置を中心に領域探索範囲Ｓｉ（ｔ）を設定する。領域探索範囲は、重なりの有無ＯＶｉにより異なる。重なりが無い時には、追跡領域の位置の不確かさＳｐｉ（ｔ）を引数とする関数Ｓｉ（ｔ）＝Ｆｓ（Ｓｐｉ（ｔ））を用いて決定する。Ｆｓ（ ）は例えば、Ｆｓ（ｘ）＝ａ１×ｘ＋ｂ１で表され、特にａ１＝０の時は固定の大きさ、ｂ１＝０の時は追跡領域の位置の不確かさに基づいた探索範囲となる。カルマンフィルタを用いない時はａ１＝０とする。追跡領域の位置の不確かさＳｐｉ（ｔ）は、状態共分散行列Ｓｘｉの中で位置に関する部分を切り出した部分共分散行列ＳＳから求めた最大固有値となる。上記の例では、Ｓｘｉの各要素をｓij（ｉ＝１〜４、ｊ＝１〜４）とすると、次のようになる。
【００６８】
【数２】
また、探索範囲の形状の決定は自由で、例えばＦｓ（ ）の大きさを１辺とする正方形でもよい（長方形、円、楕円等でもよい）。
【００７０】
一方、重なりがある場合には、探索範囲を領域どうしが重ならない場合に比べてｋ倍（ｋ＞１）の領域とする。具体的には、１辺の大きさをｋ倍、あるいは半径をｋ倍とする。
【００７１】
・次に、領域探索範囲Ｓｉ（ｔ）内から、領域の特徴モデルＲＦｉを用いて追跡対象に相当する特徴を有する抽出領域（群）Ｅｊを得る。領域の特徴モデルについては限定しない。例えば、色情報を用いるなら、色を表す３つの要素（例えばＲＧＢ）の値にそれぞれ区間を設けて、規定区間内に３要素値が入れば領域として抽出する。このような区間を用いる他にも、色情報をベクトルと考え（色ベクトルＣｉ）、事前に抽出対象の色分布について、色ベクトルが属する多次元空間での平均色ベクトルＣｍｉと分散行列Ｓｃｉを求めておき、入力された色ベクトルＣｊを、その平均色ベクトルと分散行列により求めた次のマララノビス距離Ｌｃｉが閾値よりも小さい部分を残すことによっても得られる。
【００７２】
Ｌｃｉ＝（Ｃｊ−Ｃｍｉ）T ×Ｓｃｉ-1×（Ｃｊ−Ｃｍｉ）
このような特徴モデルにより得られた画素単位の集合から連接領域を求めて、ある一定値以上の面積を有する領域を残すことで、抽出領域群Ｅｊを得る。なお、できるだけ大きな領域を得るために、連接領域を求める前に、膨張処理を加えてもよい。また、色情報の他にも輝度値や距離情報など様々な特徴でも同様に実現することができる。
【００７３】
・これら抽出領域群Ｅｊの中で最も追跡領域に類似した領域を対応付けることで、領域の追跡を行う。重なりなしと判定されている領域、または重なりありと判定されていても抽出領域が１つの場合については、領域の類似度には、抽出領域の中心（重心）位置Ｃｊと領域予測位置Ｐｐｒｅｄ（ｔ）との距離や、抽出領域群Ｅｊの面積と追跡領域Ｒｉの面積の差、の一方あるいは両方を用い、それらが小さいほど類似度が高いとする。また、重なりありと判定されて、抽出領域が２つ以上存在する場合には、重なっていた領域が分離したと考えられるので、重なり開始時に保存した物体面積との差が小さい方と対応付ける。なお、重なり前の運動パラメータの差の小さいものを対応付けることも可能である。
【００７４】
対応が求まると、運動パラメータＭＰｉ（ｔ）を更新する。更新方法は規定しないが、例として、単純な等速運動モデルならば、Ｖｉ（ｔ＋１）＝Ｃｊ−Ｐｉ（ｔ−１）、Ｐｉ（ｔ）＝Ｃｊとなる。また、カルマンフィルタを用いる時は、対応する領域の中心位置をｚｚｉ（ｔ）＝（ｘ，ｙ）とすると、状態ベクトルｘｘｉ（ｔ）は、次のように推定される。
【００７５】
Ｓｃ＝Ｆｉ×Ｓｘｉ（ｔ−１）×ＦｉT
Ｋ＝Ｓｃ×ＨｉT ×（Ｈｉ×Ｓｃ×ＨｉT ＋ＲＲｉ）-1
として、
ｘｘｉ（ｔ）＝Ｆｉ×ｘｘｉ（ｔ−１）＋Ｇｉ×ｗｉ＋Ｋ×（ｚｚｉ（ｔ）−（Ｈｉ×ｘｘｉ（ｔ−１）＋ｖｉ））
（なお、Ｔは転置を表し、−１は逆変換を表す）
このとき、上記状態ベクトルｘｘｉ（ｔ）から時刻ｔでの位置と速度の成分を抽出し、領域位置Ｒｉ（ｔ）＝（ｘｘ〔０〕，ｘｘ〔１〕）、運動パラメータ（移動速度）Ｖｉ（ｔ）＝（ｘｘ〔２〕，ｘｘ〔３〕）を得る。このとき、状態ベクトルの共分散行列Ｓｘｉ（ｔ）は以下のように更新される。
【００７６】
Ｓｘｉ（ｔ）＝（Ｉ−Ｋ×Ｈｉ）×Ｓｃ×（Ｉ−Ｋ×Ｈｉ）-1＋Ｋｉ×ＲＲｉ×ＫｉT
この推定された状態共分散行列Ｓｘｉ（ｔ）は、時刻ｔ＋１での領域探索範囲Ｓｉ（ｔ＋１）の算出に用いる。
【００７７】
・重なり判定部５での処理手順は、全ての追跡領域の組み合わせ（ＲｉとＲｊ）について、追跡領域の位置と形状を元に２つの領域を画像座標において重ね合わせて、領域間に重なりがある場合には、重なりありと判定する。両領域に重なりがなければ、両領域とも重なりなしと判定する。
【００７８】
重なりありの場合は、重なり合う領域の大きさの違いを調べ、大きさに顕著な違い（例えば倍程度）がある場合には、大きい方の領域は通常の重なっていない状態での追跡とし、小さい方を重なり有りとする。また、領域間の大きさがほぼ同じ時には、それら領域全てを重なり有りとする。そして、判定結果を各領域（Ｒｉ、Ｒｊ）の領域追跡部４に返す。
【００７９】
図７は重なり判定部の処理の流れの説明図である。以下、図７の処理Ｓ３１〜処理Ｓ４４に従って説明する。
【００８０】
Ｓ３１：重なり判定部５は、ｉ＝１として、処理Ｓ３２に移る。
Ｓ３２：重なり判定部５は、領域Ｒｉの情報を得て、処理Ｓ３３に移る。
【００８１】
Ｓ３３：重なり判定部５は、ｊ＝ｉ＋１として、処理Ｓ３４に移る。
Ｓ３４：重なり判定部５は、領域Ｒｊの情報を得て、処理Ｓ３５に移る。
【００８２】
Ｓ３５：重なり判定部５は、領域Ｒｉと領域Ｒｊが重なっているかどうか判定する。この判定で領域Ｒｉと領域Ｒｊが重なっていれば処理Ｓ３６に移り、重なっていない場合は処理Ｓ３９に移る。
【００８３】
Ｓ３６：重なり判定部５は、領域Ｒｉと領域Ｒｊの大きさの差は大きいかどうか判定する。この判定で大きさの差が大きい場合は処理Ｓ３７に移り、差が大きくない場合は処理Ｓ３８に移る。
【００８４】
Ｓ３７：重なり判定部５は、大きい領域の方は重なっていないとし、小さい領域の方を重なっているとし、処理Ｓ４０に移る。
【００８５】
Ｓ３８：重なり判定部５は、処理Ｓ３６の判定で領域Ｒｉと領域Ｒｊの大きさの差が大きくない場合、領域Ｒｉと領域Ｒｊの両方とも重なっているとし、処理Ｓ４０に移る。
【００８６】
Ｓ３９：重なり判定部５は、処理Ｓ３５の判断で領域Ｒｉと領域Ｒｊが重なっていない場合、領域Ｒｉと領域Ｒｊの両方とも重なっていないとし、処理Ｓ４０に移る。
【００８７】
Ｓ４０：重なり判定部５は、領域Ｒｉと領域Ｒｊの領域追跡部４に重なり情報を返し、処理Ｓ４１に移る。
Ｓ４１：重なり判定部５は、ｊ＝ｊ＋１として、処理Ｓ４２に移る。
【００８８】
Ｓ４２：重なり判定部５は、ｊの値が最大領域数以下かどうか判断する。この判断でｊの値が最大領域数以下の場合は処理Ｓ３４に戻り、もし最大領域数以下でない場合は処理Ｓ４３に移る。
【００８９】
Ｓ４３：重なり判定部５は、ｉ＝ｉ＋１として、処理Ｓ４４に移る。
Ｓ４４：重なり判定部５は、ｉの値が最大領域数以下かどうか判断する。この判断でｉの値が最大領域数以下の場合は処理Ｓ３２に戻り、もし最大領域数以下でない場合はこの処理を終了する。
【００９０】
（５）：他の重なっている時の領域探索範囲の説明
・前記（４）の領域追跡処理の具体的において、領域Ｒｉの追跡で、領域が重なっているときの領域探索範囲Ｓｉ（ｔ）の設定方式を、追跡領域Ｒｉの周囲に、一定の大きさを付加（加算）して膨張させた領域を探索範囲とする方法に替えたもの。
【００９１】
・前記（４）の領域追跡処理の具体的において、領域Ｒｉの追跡で、領域が重なっているときの領域探索範囲Ｓｉ（ｔ）の設定方式を、追跡領域Ｒｉの周囲に、重なり前の領域の大きさＡｉから何らかの関数Ｆｓ２（Ａｉ）で定まる大きさを加えて膨張させた領域を探索範囲とする方法に替えたもの。関数Ｆｓ２（ ）の例として、Ｆｓ２（ｘ）＝ａ２×ｘ＋ｂ２（ａ２、ｂ２は定数）など。
【００９２】
・前記（４）の領域追跡処理の具体的において、領域Ｒｉの追跡で、領域が重なっているときの領域探索範囲Ｓｉ（ｔ）の設定方式を、追跡領域Ｒｉの周囲に、追跡領域の位置の不確かさＳｐｉ（ｔ）から何らかの関数Ｆｓ３（Ｓｐｉ）で定まる大きさを加えて膨張させた領域を探索範囲とする方法に替えたもの。関数Ｆｓ３（ ）の例として、Ｆｓ３（ｘ）＝ａ３×ｘ＋ｂ３（ａ３、ｂ３は定数）など。
【００９３】
（６）：重なっている時に解像度を下げる場合の説明
前記（４）（５）で説明したように探索範囲を実際に広げる代わりに、予測位置の周囲の解像度を下げて探索することで、探索領域の実際の大きさは一定にしながら、広範囲の領域を探索することができる。
【００９４】
解像度を下げる方式は複数あるが、例えば、解像度を下げた画像の画素値を、解像度の低い画像の座標系から、対応する元の解像度での座標系へ座標変換したときに、変換された座標（一般には実数値で表される）に最も近い整数値で表せる座標の画素値としたもの。
【００９５】
（具体的な解像度の変換方式の説明）
・図８は解像度変換方式の説明図であり、図８（ａ）は元の解像度での探索範囲の説明、図８（ｂ）は低解像度での探索範囲の説明である。図８（ａ）において、元の解像度の座標系ｏ−ｘｙ（ｏは画像の左上）で、探索範囲の中心位置をｑ（ｑｘ，ｑｙ）、幅および高さをｗｗ、ｈｈとする。元の解像度での探索範囲の大きさに対する低解像度での探索範囲の大きさは１／ｍとする。図８（ｂ）において、低解像度での座標系Ｏ−ＸＹ（Ｏは低解像度での探索範囲の左上）で、探索範囲の中心位置をＱ（Ｑｘ，Ｑｙ）、幅および高さをｗｗ／ｍ、ｈｈ／ｍとする。
【００９６】
この時、低解像度での座標Ｐ（Ｘ，Ｙ）から元の解像度での座標ｐ（ｘ，ｙ）は、ｘ座標、ｙ座標それぞれの座標変換関数をｈｘ（Ｘ）、ｈｙ（Ｙ）とすると、ｈｘ、ｈｙはそれぞれ次のように表せる。
【００９７】
ｈｘ（Ｘ）＝（Ｘ−Ｑｘ）×ｍ＋ｑｘ
ｈｙ（Ｙ）＝（Ｙ−Ｑｙ）×ｍ＋ｑｙ
ここで、演算子［ｘ］を「ｘを越えない最大の整数を返す」と定義する。元の解像度での任意の位置の画素値をｇ（ｘ，ｙ）、低解像度での任意の位置の画素値をＧ（Ｘ，Ｙ）とするとき、本解像度変換方式は、次のようになる。
【００９８】
Ｇ（Ｘ，Ｙ）＝ｇ（［ｈｘ（Ｘ）］，［ｈｙ（Ｙ）］）
この変換を低解像度での探索範囲内の各位置で行うことで、低解像度での探索範囲画像が得られる。
【００９９】
・上記解像度を下げる方式を次の方式とすることもできる。解像度を下げた画像の画素値を、解像度の低い画像の座標系から、対応する元の解像度での座標系へ座標変換したときに、周囲の４つの画素値を用いて線形補間（bilinear）した値としたもの。
【０１００】
具体的には、以下の通り、低解像度の探索範囲内の点Ｐ（ＰＸ，ＰＹ）に対する元の解像度での画素の位置ｐ（ｐｘ，ｐｙ）は、
ｐｘ＝ｈｘ（ＰＸ）
ｐｙ＝ｈｙ（ＰＹ）
で与えられる。このとき、低解像度での任意の画素値Ｇ（ＰＸ，ＰＹ）を以下の式により線形補間して求める。
【０１０１】
Ｇ（ＰＸ，ＰＹ）＝［（ｐｘ−［ｐｘ］）×（（ｐｙ−［ｐｙ］）×ｇ（［ｐｘ］，［ｐｙ］）＋（［ｐｙ］＋１−ｐｙ）×ｇ（［ｐｘ］，［ｐｙ］＋１））＋（［ｐｘ］＋１−ｐｘ）×（（ｐｙ−［ｐｙ］）×ｇ（［ｐｘ］＋１，［ｐｙ］）＋（［ｐｙ］＋１−ｐｙ）×ｇ（［ｐｘ］＋１，［ｐｙ］＋１））］
この変換を低解像度での探索範囲内の各位置で行うことで、低解像度での探索範囲画像が得られる。
【０１０２】
・また、前記解像度を下げる方式を次の方式とすることもできる。解像度を下げた画像の画素値を、解像度の低い画像の座標系から、対応する元の解像度での座標系へ座標変換したときに、周囲の１６の画素値を用いてｓｉｎｃ（シンク）補間した値としたもの。
【０１０３】
具体的には、以下の通り、低解像度の探索範囲内の点Ｐ（ＰＸ，ＰＹ）に対する元の解像度での画素の位置ｐ（ｐｘ，ｐｙ）は、
ｐｘ＝ｈｘ（ＰＸ）
ｐｙ＝ｈｙ（ＰＹ）
で与えられる。位置ｐ（ｐｘ，ｐｙ）は、一般には実数値で与えられる。ここで、
ｐｐｘ＝［ｐｘ］
ｐｐｙ＝［ｐｙ］
とおき、（ｐｐｘ、ｐｐｙ）の周囲の座標を以下のように定義する。
【０１０４】
ｐｐｘ（１）＝ｐｐｘ−１、ｐｐｘ（２）＝ｐｐｘ、ｐｐｘ（３）＝ｐｐｘ＋１、ｐｐｘ（４）＝ｐｐｘ＋２
ｐｐｙ（１）＝ｐｐｙ−１、ｐｐｙ（２）＝ｐｐｙ、ｐｐｙ（３）＝ｐｐｙ＋１、ｐｐｙ（４）＝ｐｐｙ＋２
ｘとｙ方向の４点ずつ、つまり１６点で定義される位置について、重み係数ＷＷ（ｉ，ｊ）を以下のように定義する。
【０１０５】
ｉ＝１〜４、ｊ＝１〜４の１６点について
ＷＷ（ｉ，ｊ）＝ｓｉｎ（ｓｑｒｔ（（ｐｘ−ｐｐｘ（ｉ））2 ＋（ｐｙ−ｐｐｙ（ｊ））2 ））／ｓｑｒｔ（（ｐｘ−ｐｐｘ（ｉ））2 ＋（ｐｙ−ｐｐｙ（ｊ））2 ）
このとき、低解像度での任意の画素値Ｇ（ＰＸ，ＰＹ）を以下の式により補間して求める。
【０１０６】
【数３】
この変換を低解像度での探索範囲内の各位置で行うことで、低解像度での探索範囲画像が得られる。
【０１０８】
・さらに、前記解像度を下げる方式を次の方式とすることもできる。解像度を下げた画像の画素値を、解像度の低い画像の座標系から、対応する元の解像度での座標系へ座標変換したときに、周囲の１６の画素値を用いてｃｕｂｉｃ（キュービック：３次元）補間した値としたもの。
【０１０９】
具体的には、次の通り、低解像度の探索範囲内の点Ｐ（ＰＸ，ＰＹ）に対する元の解像度での画素の位置ｐ（ｐｘ，ｐｙ）は、
ｐｘ＝ｈｘ（ＰＸ）
ｐｙ＝ｈｙ（ＰＹ）
で与えられる。位置ｐ（ｐｘ，ｐｙ）は、一般には実数値で与えられる。ここで、
ｐｐｘ＝［ｐｘ］
ｐｐｙ＝［ｐｙ］
とおき、（ｐｐｘ、ｐｐｙ）の周囲の座標を以下のように定義する。
【０１１０】
ｐｐｘ（１）＝ｐｐｘ−１、ｐｐｘ（２）＝ｐｐｘ、ｐｐｘ（３）＝ｐｐｘ＋１、ｐｐｘ（４）＝ｐｐｘ＋２
ｐｐｙ（１）＝ｐｐｙ−１、ｐｐｙ（２）＝ｐｐｙ、ｐｐｙ（３）＝ｐｐｙ＋１、ｐｐｙ（４）＝ｐｐｙ＋２
ｘとｙ方向の４点ずつ、つまり１６点で定義される位置について、重み係数ＷＷ（ｉ，ｊ）を以下のように定義する。
【０１１１】
ｉ＝１〜４、ｊ＝１〜４の１６点について
【０１１２】
【数４】
この変換を低解像度での探索範囲内の各位置で行うことで、低解像度での探索範囲画像が得られる。
【０１１４】
以上実施の形態で説明したように、画像全体から追跡領域に類似した特徴を有する領域を抽出するのではなく、追跡中の各々の領域の近傍の一定の範囲のみに処理領域を限定することで、処理時間を大幅に減らすことができる。
【０１１５】
また、複数の領域（物体）が重なり１つの領域として観測され、それぞれの領域が区別できない時でも、重なり状態を判断して、重なり時には通常より大きな領域探索範囲を設けて、重なり領域の周囲の広い部分を監視することで、重なった領域が重なり中に運動パターン（運動パラメータ）を変化させても、その変化に影響されることなく、安定に領域を追跡する事ができる。
【０１１６】
（６）：プログラムのインストールの説明
領域追跡部、重なり判定部は、プログラムで構成でき、主制御部（ＣＰＵ）が実行するものであり、主記憶に格納されているものである。このプログラムは、一般的な、コンピュータで処理されるものである。このコンピュータは、主制御部、主記憶、ファイル装置、表示装置、キーボード等の入力手段である入力装置などのハードウェアで構成されている。
【０１１７】
このコンピュータに、本発明のプログラムをインストールする。このインストールは、フロッピィ、光磁気ディスク等の可搬型の記録（記憶）媒体に、これらのプログラムを記憶させておき、コンピュータが備えている記録媒体に対して、アクセスするためのドライブ装置を介して、或いは、ＬＡＮ等のネットワークを介して、コンピュータに設けられたファイル装置にインストールされる。そして、このファイル装置から処理に必要なプログラムステップを主記憶に読み出し、主制御部が実行するものである。
【０１１８】
【発明の効果】
以上説明したように、本発明によれば次のような効果がある。
（１）：特定の特徴を有する領域の運動モデルから移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行い、他の類似領域との重なりに応じて前記探索範囲を可変するため、領域探索範囲を一定の範囲のみに限定して処理時間を大幅に減らし、安定に領域を追跡することができる。
【０１１９】
（２）：他の類似領域との重なりにより、前記探索範囲を大きくし、前記重なりの解消により前記探索範囲を小さくするため、処理時間を大幅に減らし、領域の動きの変化に影響されず安定に領域を追跡することができる。
【０１２０】
（３）：探索範囲を追跡する領域の予測位置の不確かさに応じた大きさとするため、探索範囲を必要最小限とすることができる。
【０１２１】
（４）：領域の予測位置の周囲の解像度を下げて、前記探索範囲を可変するため、探索領域の大きさは一定にしても、広範囲の領域を探索することができる。
【０１２２】
（５）：領域追跡部で特定の特徴を有する領域の運動モデルから移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行い、重なり判定部で他の領域との重なりの判定を行い、前記領域追跡部で他の類似領域との重なりに応じて前記探索範囲を可変するため、領域探索範囲を一定の範囲のみに限定して処理時間を大幅に減らし、安定に領域を追跡することができる。
【０１２３】
（６）：特定の特徴を有する領域の運動モデルから領域の移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行う領域探索手順と、他の領域との重なりを判定する重なり判定手順と、他の類似領域との重なりに応じて前記探索範囲を可変する手順とを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体とするため、この記録媒体のプログラムをコンピュータにインストールすることで、処理時間を大幅に減らし、安定に領域を追跡することができる移動領域追跡装置を容易に提供することができる。
【図面の簡単な説明】
【図１】本発明の移動領域追跡手法の概略説明図である。
【図２】実施の形態における領域追跡処理の流れの説明図である。
【図３】実施の形態における領域追跡状況の説明図である。
【図４】実施の形態における移動領域追跡装置の構成図である。
【図５】実施の形態における領域追跡部の処理の説明図である。
【図６】実施の形態における領域Ｒｉの追跡過程の説明図である。
【図７】実施の形態における重なり判定部の処理の流れの説明図である。
【図８】実施の形態における解像度変換方式の説明図である。
【符号の説明】
４ 領域追跡部
５ 重なり判定部
Claims (5)
- カメラから連続して入力される画像から特定の特徴を有する領域を追跡する移動領域追跡方法において、
前時刻からの領域位置による領域の運動モデルから移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行い、
他の類似領域との重なりにより、前記探索範囲を大きくし、前記重なりの解消により前記探索範囲を小さくすることを特徴とした移動領域追跡方法。 - 前記探索範囲を追跡する領域の予測位置の不確かさに応じた大きさとすることを特徴とした請求項１記載の移動領域追跡方法。
- 前記領域の予測位置の周囲の解像度を下げて、前記探索範囲を可変することを特徴とする請求項１又は２記載の移動領域追跡方法。
- カメラから連続して入力される画像から特定の特徴を有する領域を追跡する移動領域追跡装置において、
前時刻からの領域位置による領域の運動モデルから移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行う領域追跡部と、
他の領域との重なりを判定する重なり判定部とを備え、
前記領域追跡部は、重なり判定部で判定した他の類似領域との重なりにより、前記探索範囲を大きくし、前記重なりの解消により前記探索範囲を小さくすることを特徴とした移動領域追跡装置。 - カメラから連続して入力される画像から特定の特徴を有する領域の前時刻からの領域位置による運動モデルから領域の移動位置を予測し、該予測した移動位置の周囲のある範囲を探索範囲として領域の探索を行う領域探索手順と、
他の領域との重なりを判定する重なり判定手順と、
他の類似領域との重なりにより、前記探索範囲を大きくし、前記重なりの解消により前記探索範囲を小さくする手順と
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15318399A JP3934279B2 (ja) | 1999-06-01 | 1999-06-01 | 移動領域追跡方法及び装置及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15318399A JP3934279B2 (ja) | 1999-06-01 | 1999-06-01 | 移動領域追跡方法及び装置及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000348180A JP2000348180A (ja) | 2000-12-15 |
| JP3934279B2 true JP3934279B2 (ja) | 2007-06-20 |
Family
ID=15556869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15318399A Expired - Fee Related JP3934279B2 (ja) | 1999-06-01 | 1999-06-01 | 移動領域追跡方法及び装置及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3934279B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101924933A (zh) * | 2009-04-10 | 2010-12-22 | 特克特朗尼克国际销售有限责任公司 | 跟踪视频帧序列中感兴趣区域的方法 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005331603A (ja) * | 2004-05-18 | 2005-12-02 | Sony Corp | 画像処理装置およびその方法 |
| JP2008107925A (ja) * | 2006-10-23 | 2008-05-08 | Sharp Corp | 物体検出処理回路および画像処理システム、電子情報機器 |
| JP5024116B2 (ja) * | 2007-05-02 | 2012-09-12 | 株式会社ニコン | 被写体追跡プログラム、および被写体追跡装置 |
| US8253564B2 (en) * | 2009-02-19 | 2012-08-28 | Panasonic Corporation | Predicting a future location of a moving object observed by a surveillance device |
| JP2010197467A (ja) * | 2009-02-23 | 2010-09-09 | Casio Computer Co Ltd | 撮影装置、及びプログラム |
| CN102867311B (zh) * | 2011-07-07 | 2015-11-25 | 株式会社理光 | 目标跟踪方法和目标跟踪设备 |
| JP6550881B2 (ja) * | 2014-07-14 | 2019-07-31 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
| CN105761245B (zh) * | 2016-01-29 | 2018-03-06 | 速感科技（北京）有限公司 | 一种基于视觉特征点的自动跟踪方法及装置 |
| US11348245B2 (en) * | 2019-06-21 | 2022-05-31 | Micron Technology, Inc. | Adapted scanning window in image frame of sensor for object detection |
-
1999
- 1999-06-01 JP JP15318399A patent/JP3934279B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101924933A (zh) * | 2009-04-10 | 2010-12-22 | 特克特朗尼克国际销售有限责任公司 | 跟踪视频帧序列中感兴趣区域的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000348180A (ja) | 2000-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4643766B1 (ja) | 移動体検出装置及び移動体検出方法 | |
| CN109670474B (zh) | 一种基于视频的人体姿态估计方法、装置及设备 | |
| CN101960490B (zh) | 图像处理方法和图像处理设备 | |
| JP6641163B2 (ja) | オブジェクト追跡装置及びそのプログラム | |
| JP4542207B1 (ja) | 移動体検出方法および移動体検出装置 | |
| JP4456181B1 (ja) | 移動体検出方法及び移動体検出装置 | |
| JP6184271B2 (ja) | 撮像管理装置、撮像管理システムの制御方法およびプログラム | |
| JP4181473B2 (ja) | 映像オブジェクト軌跡合成装置、その方法及びそのプログラム | |
| US20220254157A1 (en) | Video 2D Multi-Person Pose Estimation Using Multi-Frame Refinement and Optimization | |
| CN110428448A (zh) | 目标检测跟踪方法、装置、设备及存储介质 | |
| EP3010229B1 (en) | Video surveillance system, video surveillance device | |
| JP3934279B2 (ja) | 移動領域追跡方法及び装置及び記録媒体 | |
| KR101062225B1 (ko) | 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템 | |
| CN110533694A (zh) | 图像处理方法、装置、终端及存储介质 | |
| CN112465855B (zh) | 客流统计方法、装置、存储介质及设备 | |
| JP2010140425A (ja) | 画像処理システム | |
| JP2010028594A (ja) | 移動物体監視装置 | |
| CN111524086A (zh) | 运动物体检测装置、运动物体检测方法、存储介质 | |
| JP2004348303A (ja) | 物体検出装置及びプログラム | |
| JP4283532B2 (ja) | 画像認識装置および方法 | |
| KR102614895B1 (ko) | 동적 카메라 영상 내의 객체를 실시간 추적하는 시스템 및 방법 | |
| JP2012084056A (ja) | 物体検出装置 | |
| JPH11225310A (ja) | 映像静止画表示方法及び装置並びに映像静止画表示プログラム格納記録媒体 | |
| WO2022049820A1 (ja) | 骨格検出システム | |
| JP2012226403A (ja) | 画像領域追跡装置、画像領域追跡方法、および、コンピュータ・プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040324 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070313 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070315 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100330 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120330 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140330 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |