JP6384167B2 - 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、動画像に含まれる移動体を追跡、あるいは照合する技術分野に関する。特に、本発明は、背景変動の大きな混雑環境において、例えば、監視カメラや車載カメラ等により撮像された動画像に含まれる人物などの移動体の追跡技術に関する。

近年、画像処理技術は、情報化社会が進む中で様々な分野において活用されている。例えば、特許文献１は、画像処理技術を用いて道路上の交通量を監視する画像追跡装置について開示する。この画像追跡装置は、テンプレートとして設定した画像をブロックに分割する。そして、画像追跡装置は、分割したブロック毎に、照合の対象である照合画像を走査することにより、当該ブロックとそのブロックに対応する領域（対応領域）との相関値を求める。画像追跡装置は、求めた相関値のうち、良い相関値を示すブロックのみを、テンプレートと走査領域との間の相関値として出力する。このように、特許文献１には、追跡対象周辺の背景が変化した場合や前景の障害物によって追跡対象が隠れた場合であっても、頑健な照合を可能とする手法が提案されている。

また、特許文献２は、画像における移動物体の追跡方法及び装置に関する技術を開示する。この追跡装置は、より少ない時系列に撮像された動画像を用いて移動体を追跡することができる。

特開２０００−２５９８３８号公報 特開２００４−２０７７８６号公報

ところで、画像処理技術には、例えば、動画像に含まれる人物や車などといった特定の移動体を追跡する技術が存在する。この技術は、当該動画像を構成する画像（画像フレーム）に含まれる移動体を表す領域を指定する（以下、本願では、「テンプレート」と称する）。そして、当該技術は、時系列な複数の画像によって構成される動画像において、当該画像と異なる別の時刻に取得された画像から同一の物体（移動体）が映る領域を照合する。しかしながら、当該技術では、テンプレート内部の画像と、照合画像とにおいて追跡対象の領域を表す画像（以下、「追跡対象画像」と称する）の変化に対して、ロバスト性を担保しつつ、正しい領域を照合することが課題とされている。

特許文献１には、追跡対象周辺の背景が変化した場合や前景に障害物を含むような追跡対象が隠れた場合であっても、頑健に照合する手法が開示されている。しかしながら、当該手法は、背景や追跡対象の隠れた部分を除いた追跡対象画像の形状や明るさなどを変化させないことを前提としている。そのため、例えば、歩行者のように姿勢を絶えず変化させながら移動するような非剛体（移動体）を照合する場合に、当該手法では、非剛体を表す動画像に対して正しく照合（あるいは追跡）を行うことが困難である。また、特許文献２に開示された技術では、同様に、この問題を解決することができない。

本発明は、歩行者のような絶えず変形を伴う非剛体を含む動画像において背景変化や非剛体の隠れ（オクルージョン）が生じた場合であっても、その動画像を頑健に照合可能な移動体追跡システム等を提供することを主たる目的とする。

上記の課題を達成すべく、本発明の一態様に係る移動体追跡装置は、以下の構成を備えることを特徴とする。

即ち、本発明の一態様に係る移動体追跡装置は、
照合又は追跡対象である移動体を表す第１の画像領域と、照合すべき興味領域を表す第２の画像領域とをそれぞれ部分領域に分割する分割手段と、
前記第１及び第２の画像領域間において部分領域同士の相関を求める相関演算手段と、
前記求めた部分領域同士の相関のうち、該部分領域同士の組合せに対し与えられた重要度に従い特定の部分領域同士の組合せを選定し、その選定した特定の部分領域同士の相関を統合することによって、前記第１及び第２の画像領域間の相関を求める統合相関演算手段とを備える。

また、同目的を達成すべく、本発明の一態様に係る移動体追跡方法は、以下の構成を備えることを特徴とする。

即ち、本発明の一態様に係る移動体追跡方法は、
電子制御装置によって、
照合又は追跡対象である移動体を表す第１の画像領域と、照合すべき興味領域を表す第２の画像領域とをそれぞれ部分領域に分割し、
前記第１及び第２の画像領域間において部分領域同士の相関を求め、
前記求めた部分領域同士の相関のうち、該部分領域同士の組合せに対し与えられた重要度に従い特定の部分領域同士の組合せを選定し、その選定した特定の部分領域同士の相関を統合することによって、前記第１及び第２の画像領域間の相関を求める。

なお、同目的は、上記の各構成を有する移動体追跡装置及び移動体追跡方法を、コンピュータによって実現するコンピュータ・プログラム、及びそのコンピュータ・プログラムが格納されている、読み取り可能な記憶媒体によっても達成される。

本発明によれば、歩行者のような絶えず変形を伴う非剛体を含む動画像において背景変化や非剛体のオクルージョンが生じた場合であっても、その動画像を頑健に照合可能な移動体追跡システム等を提供することができる。

本発明の第１の実施形態における移動体追跡システムの構成例を模式的に示すブロック図である。 本発明の第１の実施形態における移動体追跡システムの構成例を示すブロック図である。 第１の実施形態の具体例における移動体追跡システムの各機能部における動作を示す図である。 第１の実施形態の具体例における移動体追跡システムの機能部のうち、クラスタ間相関演算部と統合相関演算部との動作を示す図である。 第１の実施形態の具体例における移動体追跡システムの機能部が行う処理の流れを示す概念図である。 第１の実施形態の具体例におけるクラスタ間相関演算部が行う相関演算の対象となる組を絞り込む処理を加える場合の詳細な動作を模式的に示すフローチャートである。 第１の実施形態の具体例におけるクラスタ間相関演算部が行う代表クラスタの組を用いて相関演算を行う場合の詳細な動作を模式的に示すフローチャートである。

以下、本発明の実施形態について図面を参照して詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における移動体追跡システム１の構成例を模式的に示すブロック図である。図１を参照すると、移動体追跡システム１は、画像出力装置２０と、電子制御装置１０と、端末装置３０と、を備える。移動体追跡システム１は、撮影画像に基づいて検出対象である移動体の動きを追跡するシステムである。

以下の説明において、移動体は、例えば、歩行者、先行車両等である。

画像出力装置２０は、少なくとも画像情報を、電子制御装置１０に対して出力する装置である。図１に示す画像出力装置２０は、例えば、カメラデバイスを模している。このカメラデバイスは、リアルタイムで画像を撮像する装置（以下、本願では、「撮像装置」と称する）である。また、カメラデバイスは、撮影対象の画像を連続的に取得する。撮像装置には、例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ）形式やＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ Ｌｉｎｅ）形式を出力するビデオカメラ等を用いることができる。

なお、画像出力装置２０は、記憶媒体に保存された画像情報を読み出してＮＴＳＣ出力やＰＡＬ出力、その他電子制御装置１０が読み取ることのできる画像形式に変換して出力するような画像キャプチャ装置でもよい。この場合の画像出力装置２０は、電子制御装置１０のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１内部において動作するソフトウェアプログラムとして実現することもできる。また、画像出力装置２０は、固定カメラに限定されず、移動カメラでもよい。本実施形態を例に説明する本発明は、例えば、パンチルトカメラを用いた監視システム、車載カメラによるドライバー支援、移動ロボットの環境認識、等の幅広い用途に応用が可能である。

端末装置３０は、電子制御装置１０を操作し、電子制御装置１０の内部状態や出力をモニタリングするユーザインターフェースとして動作する。端末装置３０は、入力画像や、認識領域、登録されている認識対象のリストをユーザに示すシンボル等を提示するディスプレイ等である。また、端末装置３０は、画像認識の開始及び終了、認識対象の指定、ディスプレイに提示する提示情報の選択等、電子制御装置１０への指令を入力する入力デバイス（例えば、スイッチボード、キーボード、マウス、タッチパネル等）である。

なお、説明の便宜上、移動体追跡システム１は、端末装置３０を有する構成を例に説明するが、本実施形態を例に説明する本発明は、前述した構成には限定されない。移動体追跡システム１は、端末装置３０を有さない構成において本発明を実現することも可能である（以下の実施形態においても同様）。

この他に、端末装置３０は、移動体追跡システム１が得た情報を入力として利用する装置（不図示）を接続することができる。当該装置の機能は、電子制御装置１０のＣＰＵ１１内部において動作するソフトウェアプログラムとして実現することもできる。

電子制御装置１０は、画像中の移動体を認識する情報処理を行うコンピュータである。電子制御装置１０は、画像出力装置２０から送られる画像情報に応じて、所定のプログラムに基づき、画像中に含まれる認識対象とした特定のカテゴリに属する移動体（例えば、歩行者、先行車両等）を表す領域を特定する情報処理を行う。

電子制御装置１０は、中央演算装置（ＣＰＵ）１１と、記憶装置（Ｍｅｍ：Ｍｅｍｏｒｙ）１２と、記憶装置（ＤＢ：ｄａｔａｂａｓｅ）１３と、インターフェース（Ｉｎｔｅｒｆａｃｅ：Ｉ／Ｆ）１４と、インターフェース１５と、を有する。図１において、説明の便宜上、記憶装置（Ｍｅｍ）１２と記憶装置（ＤＢ）１３とは、分けて記載している。しかしながら、これらは、一つの記憶デバイスとして実現してもよい。

インターフェース１４は、中央演算装置１１、記憶装置（Ｍｅｍ）１２及び記憶装置（ＤＢ）１３と、画像出力装置２０との間において情報の授受を仲介する装置である。図１において、一例として、インターフェース１４は、画像出力装置２０と中央演算装置１１とが接続されている。しかしながら、インターフェース１４は、記憶装置（Ｍｅｍ）１２及び記憶装置（ＤＢ）１３と直接接続されてもよい。

インターフェース１５は、電子制御装置１０の内部で行なわれた情報処理の結果を外部に接続した端末装置３０に引き渡す場合、あるいは端末装置３０から入力される電子制御装置１０への指令入力を受け取る場合に情報の仲介装置としての役割を果たす。

記憶装置（Ｍｅｍ）１２は、一時的なデータを記憶する装置である。記憶装置（Ｍｅｍ）１２は、中央演算装置１１と電気的に接続されている。

記憶装置（ＤＢ）１３は、主にデータベース（ＤＢ）を記憶する装置である。記憶装置（ＤＢ）１３は、中央演算装置１１と電気的に接続されている。なお、説明の便宜上、図１において、記憶装置（Ｍｅｍ）１２及び記憶装置（ＤＢ）１３は、電子制御装置１０に内蔵された構成を例に説明する。しかしながら本発明に係る実施形態は、係る構成に限定されない。これらの装置は、外部の記憶装置でもよい。

中央演算装置１１は、情報処理を行う装置である。中央演算装置１１は、インターフェース１４、インターフェース１５、記憶装置（Ｍｅｍ）１２、及び記憶装置（ＤＢ）１３と電気的に接続されている。中央演算装置１１は、画像出力装置２０からインターフェース１４を介して入力された画像情報に基づいて、記憶装置（Ｍｅｍ）１２及び記憶装置（ＤＢ）１３に記憶された情報を参照しながら、対象となる移動体等の画像領域を照合、あるいは追跡する情報処理を行う。なお、以下の説明では、説明の便宜上、当該画像領域の照合を「画像照合」と称し、そして、当該画像領域の追跡を「画像追跡」と称する。

ここでは、より具体的に、画像照合（画像追跡）について説明する。以下の説明では、前提として、照合又は追跡の対象（照合対象又は追跡対象）を表す画像を含む参照画像（テンプレート画像、第１の画像領域）が与えられることとする。画像照合（画像追跡）は、当該テンプレート画像と異なる別のシーンの画像（テスト画像）において照合又は追跡対象を表す領域を推定することである。なお、参照画像とテスト画像とは、例えば、動画像のような時系列に連続する画像である。

また、係るテンプレート画像は、元の画像から照合又は追跡対象を中心とする最小の矩形領域を切り出した部分画像を表す領域などとして定義することができる。

なお、以下の説明では、テンプレート画像とテスト画像とにおいて時系列的な連続性を前提としない場合は、単に、画像照合、あるいは画像検索と呼ばれる。そして、過去に取得したテンプレート画像と、それより後の（つまり、近傍の）時刻に取得した画像との照合を時系列的に繰り返す場合に、ここでは、画像追跡とする。

以下の説明では、上述した画像照合、および画像追跡のどちらの応用でも有効なテンプレート画像（第１の画像領域）とテスト画像に含まれる興味領域（第２の画像領域）との照合方法について扱う。

また、本実施の形態においては認識対象として主に歩行者が例となる。ただし、本発明は認識対象を歩行者に限定するものではない。本発明は、形状の変化を伴いながら移動する移動体の追跡において有効な手法を提供する。

なお、以下の説明では、テスト画像に含まれる興味領域を、ＲＯＩ（Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）画像と称する（以下、各実施形態においても同様）。

図２は、本発明の第１の実施形態における移動体追跡システム１の構成例を示すブロック図である。

電子制御装置１０は、中央演算装置１１においてソフトウェアプログラムを実行することで、図２にブロックで示す各部の機能を実現する。電子制御装置１０において実現される各部の機能は、個々の装置、又は機能部もしくは電子回路として実現されてもよい。また、当該装置内に供給されるソフトウェアプログラムは、読み書き可能な記憶装置（Ｍｅｍ）１２及び記憶装置（ＤＢ）１３等の記憶デバイスに格納すればよい。

また、前記の場合において、当該電子制御装置１０内へのソフトウェアプログラムの供給方法は、現在では一般的な手順を採用することができる。例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の各種記憶媒体を介して当該装置内にインストールする方法や、インターネット等の通信回線を介して外部よりダウンロードする方法等である。そして、このような場合において、本発明は、係るソフトウェアプログラムを構成するコード、或いはそのコードが格納された記憶媒体によって構成されると捉えることができる。

図２を参照すると、電子制御装置１０は、クラスタ抽出部（分割部）１０１と、クラスタ間相関演算部１０２と、統合相関演算部１０３と、を有する。

これら機能部は、全体で機能することによりテンプレート画像とＲＯＩ画像との間の相関値（類似度、又は一致度と言い換えてもよい）を演算する。また、システム全体では、テスト画像に含まれる１つ以上のＲＯＩ画像に対して当該相関値演算を適用する。そして、システム全体としては、もっとも高い相関値を持つ位置を照合領域として決定する等、最終的な照合領域の判断に用いることができる。これらの機能はそれぞれ概略つぎのように動作する。

クラスタ抽出部１０１は、テンプレート画像、およびテスト画像において選択されたＲＯＩ画像のそれぞれの画像領域に対して、部分領域に分割する領域分割を実行する。

クラスタリングの手段は、例えば、既存のＫ平均法（ｋ−ｍｅａｎｓ）、階層的クラスタリング及びＧｒａｐｈ−ｃｕｔ等の手段を用いてもよい。

クラスタリングは、一般に、データ内部の要素（一つのデータ、若しくは全体のサブセットになるグループ）同士の距離（または類似度）を定義する。次に、クラスタリングは、距離が近い（または類似度が高い）要素を同一のグループとする。その一方で、クラスタリングは、距離が遠い（または類似度が低い）要素を別のグループとするようなグループ分けを実行することが知られている。

Ｋ平均法は、分割数を示すＫ個分の重心を初期値として与えた後に、各要素を最近傍の重心に関連付ける。そして、Ｋ平均法は、各重心を関連付けられた要素の平均値で更新する。Ｋ平均法は、これら手続きを重心の変動が収束するまで続ける。これにより、Ｋ平均法は、Ｋ個のクラスタに要素をグループ分けすることができる。

階層的クラスタリングは、距離の近いグループから順に同一のグループにまとめる手続きを、最終的に全ての要素が一つのグループに統合されるまで続けることによりグループ分類の樹形図を作成する手法である。

Ｇｒａｐｈ−ｃｕｔ系統の諸手法では、分割する境界選択の問題を、エネルギを最小化する最小化問題として解く。

クラスタリングに用いる要素同士の距離（あるいは類似度）の定義は、画像に含まれる座標距離（ユークリッド距離、画素距離）、輝度や色の近さ、時系列画像間のピクセル同士の対応である動きベクトル（オプティカルフローなど）の類似性、等の特徴の類似性（あるいは非類似性）を用いることができる。より具体的に、一例として、クラスタ抽出部１０１は、テンプレート画像、およびＲＯＩ画像においてピクセル間の動きを表すフローベクトルの類似性を含む基準に基づいて、テンプレート画像及びＲＯＩ画像を、部分領域に分割する構成を採用してもよい。

また、上述した手段だけでなく、クラスタの抽出には、既存の画像セグメンテーション手法を用いることができる。例えば、当該手法としては、オプティカルフローによる動きベクトルを長期的に連結することにより求めた軌道を用いて、軌道の差分と画像に含まれる幾何学的な距離とからピクセル同士の距離を定義し、人物と背景などの領域分離を実現する。

クラスタ間相関演算部１０２は、前記クラスタ抽出部１０１において取得されたクラスタ毎に、テンプレート画像から得たクラスタとＲＯＩ画像から得たクラスタとの間の相関値を演算する。

ここでは、分割要素について説明する。以下の説明では、テンプレート画像、ＲＯＩ画像の全体領域をそれぞれＡ、およびＢとする。以下の説明では、テンプレート画像の全体領域をテンプレート領域（Ａ）と称し、ＲＯＩ画像の全体領域をＲＯＩ領域（Ｂ）と称する。そして、領域ＡがＭ個に分割され、領域ＢがＮ個に分割された場合に、それぞれの分割要素は次のように定義することができる。即ち、
Ａ＝｛Ａ_１，Ａ₂，・・・，Ａ_Ｍ｜Ｍ≧１｝ ・・・・・（１）、
Ｂ＝｛Ｂ_１，Ｂ₂，・・・，Ｂ_Ｎ｜Ｎ≧１｝ ・・・・・（２）。

クラスタ間相関演算部１０２では、テンプレート画像の領域ＡとＲＯＩ画像の領域Ｂとの任意のクラスタ要素（以下、単に、「クラスタ」、「要素」とも記す）の組合せ（Ａ_ｉ，Ｂ_ｊ）の相関値Ｒ（Ａ_ｉ，Ｂ_ｊ）の演算を行う。

なお、一般に（Ａ_ｉ，Ｂ_ｊ）の領域形状は、完全には一致しない。そのため、相関演算は、互いの領域形状の違いに非依存な特徴を取り出した特徴ベクトルの比較によって行う。

ここで、特徴ベクトルには、例えば、各領域内部における画素の色や勾配方向などの種類別の割合を計算した正規化ヒストグラムを用いることができる。また、特徴ベクトル同士の相関には、Ｂｈａｔｔａｃｈａｒｙｙａ係数などのベクトル類似度の指標、正規化相関、ユークリッド距離及びチェビチェフ距離などの各種距離指標を用いることができる。

ここで、正規化相関値Ｃｏｒｒ（値域：［−１，＋１］）や距離Ｄｉｓｔ（値域：［０，＋∞］）は、例えば、次式のように０から１の値を取る類似度Ｒに変換することで、指標を統一することができる。

Ｒ（Ａ_ｉ，Ｂ_ｊ）＝ｅｘｐ［−Ｄｉｓｔ（Ａ_ｉ，Ｂ_ｊ）］ ・・・・・（３）、
Ｒ（Ａ_ｉ，Ｂ_ｊ）＝２＊Ｃｏｒｒ（Ａ_ｉ，Ｂ_ｊ）−１．０ ・・・・・（４）、
ここで、ｅｘｐは、自然対数である。また、＊は、積算である。

なお、相関を求める要素の組合せ（Ａ_ｉ，Ｂ_ｊ）は、全要素の組合せにおいて総当たりで相関を求めることが可能なように選択してもよい。他方、当該選択は、要素の組合せ条件を絞り込むことで、計算コストを抑えることもできる。

以下の説明では、一例として、幾何学的な類似性（幾何学的類似性）に基づく組合せの絞込みの手法について説明する。

係る組合せの絞込みには、下記手法が考えられる。即ち、
（１）領域Ａ、Ｂを重ねたときに互いに重なりをもつ要素同士のみを選択する領域の重なりの有無による絞込み、
（２）または領域Ａ、Ｂの相対的な重なりの面積比率が閾値を超える要素に絞る重なり率による絞込み及び
（３）要素同士の面積の比が閾値を超えないもののみに絞る面積比による絞込み。

これらは、クラスタ間の幾何学的な類似性の評価に基づく組合せの絞込みの条件を表す例である。この幾何学的な類似性は、上述した重なり率、面積比、あるいはそれらの組合せ等によって定義することができる。即ち、幾何学的類似性は、重なり率及び面積比の少なくとも何れかによって定義することができる。

領域の重なり率は、例えば、次式（５）によって定義できる。また、面積比は、例えば、次式（６）によって定義できる。ただし、式（５）及び（６）に示すａｒｅａ（Ｘ）は、領域Ｘの面積を表すものとする。
・・・・・（５）、
・・・・・（６）。

重なり率と面積比とを用いた幾何学的類似性は、例えば、次式（７）によって定義できる。ただし、式（７）に示すαは、面積比に対する重みである。＊は、積算である。

（幾何学的類似性）ａｆｆ_ｇ（Ａ_ｉ，Ｂ_ｊ）＝（１−α）＊（重なり率）＋α＊（面積比）
・・・・・（７）

このように、クラスタ間相関演算部１０２は、上述したａｆｆ_ｇ（Ａ_ｉ，Ｂ_ｊ）のようなクラスタ間の類似性評価値が閾値を超える組合せにあらかじめ絞り込むことによって、クラスタ間における相関の演算コストを低減することができる。即ち、クラスタ間相関演算部１０２は、幾何学的類似性の評価に基づいて、部分領域同士の組合せを選定することによって、当該演算コストを低減することができる。なお、当該組合せを絞り込む処理は、図６に示すフローチャートを参照して詳細に後述する。

また、クラスタ間相関演算部１０２は、照合対象がテンプレート画像、およびＲＯＩ画像の中央または略中央に位置する前景領域であるという仮定に基づき、各画像の中心と各クラスタの中心との間の距離に反比例する重みを相関値に与えることで、中心に位置するクラスタ同士の相関を重視するように構成することもできる。なお、以下の説明では、説明の便宜上、中央または略中央を、単に、「中央」と記す。

より具体的に、例えば、より低演算量で相関の演算を行うことを目的として、以下の説明では、照合対象がテンプレート画像、およびＲＯＩ画像の中央に位置する前景領域であると仮定した場合について説明する。まず、クラスタ抽出部１０１は、クラスタ分割を行う。次に、クラスタ間相関演算部１０２は、分割したクラスタのうち、最も中心に近いクラスタのみを選択して相関を演算することができる。

この場合の相関値は、統合相関演算部１０３を介さずにこの時点で一つに定まる。そのため、統合相関演算部１０３では、クラスタ間相関演算部１０２で得た相関値を、テンプレート画像とＲＯＩ画像との２画像間の相関値として採用する。

また、相関を演算するクラスタの選択基準となる各画像の中心とクラスタの中心との間の距離は、クラスタの中心座標と画像中心との単純なユークリッド距離を用いることができる。この他に、当該選択基準には、クラスタの面積が閾値以上のものに限定する条件を付加するようにしてもよい。もしくは当該選択基準は、それら中心間の距離の大きさに正の相関があり、且つクラスタの領域面積の大きさに負の相関のあるような指標を定義し、それらを最小とするクラスタを選定するようにしてもよい。

このようなクラスタの選択に関わるエネルギ（クラスタ選択エネルギ）Ｅ_{ｃｌｕｓｔｅｒ}（ｉ）は、一例として、下記のように定義することができる。
・・・・・（８）

式（８）において、各パラメータは、以下の通り、
・ｉ：クラスタのインデックス、
・ｄ（ｉ）：クラスタとテンプレート画像、もしくはＲＯＩ画像との中心間の画像上の距離、
・ａｒｅａ（ｉ）：クラスタ面積及び
・ｋ：距離に対する面積の重み係数、である。

このように、クラスタ間相関演算部１０２は、例えば、代表となるクラスタ（代表クラスタ）を１つに絞らず、上記エネルギの小さい順に複数のクラスタを選定することもできる。

統合相関演算部１０３は、クラスタ間相関演算部１０２おいて取得された各クラスタ間の相関値を用いて、テンプレート画像全体とＲＯＩ画像全体との間の相関値を決定する。

前記取得された各クラスタ間の相関値は、各クラスタの組合せの全体に対する寄与率や相関の値、画像に含まれる位置関係等で決まる重要度によって取捨選択され、且つ重み付けて統合される。

例えば、統合相関演算部１０３は、クラスタ間相関演算部１０２において取得されたクラスタ間の相関Ｒ_ｉｊ＝Ｒ（Ａ_ｉ，ｂ_ｊ）のうち、テンプレート画像側の各要素（ｉ）に対して最大の相関値をとるＲＯＩ画像側の要素との特定のクラスタ同士（部分領域）の組合せＲ（ｉ，ｊ）を選択する。統合相関演算部１０３は、選択した組合せの相関値に基づき求めたテンプレート画像側の全要素に対する平均値（最大クラスタ間の相関平均）を、各クラスタ全体の相関値Ｒ_ａｌｌとして次式（９）のように定義することができる。
・・・・・（９）

これは、相関値の大きさを基準に、クラスタ要素の重複した組合せの値を一つずつに絞り、選択後の各クラスタの組に対する相関値は同一の重みとした、最も単純に統合相関を演算する方法である。

統合相関演算は、平均値の代わりに、クラスタ要素の重複を除いた後の各クラスタの組合せ毎の重要度に応じた重み付け平均を取ってもよい。その場合に、相関値Ｒ_ａｌｌは、例えば、次式（１０）に示す「重み付け最大クラスタ間の相関平均」として定義することができる。
・・・・・（１０）

ここで、クラスタ間の組（ｉ，ｊ）の重みｗ_ｉｊは、例えば、テンプレート領域（Ａ）における要素（ｉ）の面積比Ｗ_ｉｊとして式（１１）などによって定義することができる。このとき、式（１２）に示す関係が成立している。
・・・・・（１１）、
・・・・・（１２）。

あるいは、係る重みｗ_ｉｊは、演算に用いる他のクラスタの組全体の総和面積に対するクラスタの組（ｉ，ｊ）の面積比Ｗ_ｉｊとして式（１３）に示すように定義する。
・・・・・（１３）
ただし、Ｃ＝｛（Ａ_ｋ，Ｂ_ｌ）｝は、前記組合せの重複や、後述の閾値処理などを経て演算に用いるように選定された２画像間におけるクラスタの組合せの集合である。

上述した統合相関演算では、クラスタ間の相関が閾値を超えない要素の組の値を除外することができる。

例えば、相関値Ｒ_ａｌｌは、ある要素（ｉ）に対応する最大相関値（ｍａｘ_{ｊ∈（１，Ｎ）}（Ｒ_ｉｊ））が閾値ＴＨ_ｃｒを下回るとき０、それ以外では１をとる関数Ｋ_ｉｊを用いて、次式（１４）に示す「重み付け最大クラスタ間の相関平均＋外れ値除外」として定義することができる。
・・・・・（１４）

ただし、全てのクラスタ間の相関が閾値以下になるような場合には、係る関数Ｋ_ｉｊは、例外として０にしなければならない。一般に、ほとんどのクラスタ間の相関の組が閾値以下になるような場合に、そのＲＯＩ画像とテンプレート画像とは、照合すべきではない。

よって、閾値を下回る要素の割合が閾値を下回る場合には、相関値Ｒ_ａｌｌの値は、０とすることが望ましい。例えば、相関値Ｒ_ａｌｌの値は、閾値ＴＨ_ｃｒを超えるクラスタの組の比率（以下の式（１５）に示す有効クラスタ率）が閾値ＴＨ_ａｃｌを下回る場合に、０とする。
・・・・・（１５）

この場合、有効なクラスタ率は、０から１の値をとる。そのため、閾値ＴＨ_ａｃｌは、０から１の任意の値を設定すればよい。設定の目安として、閾値ＴＨ_ａｃｌは、テンプレート画像における領域内部の認識対象を表す画像領域が占める比率を基準に、それより低い比率を設定すればよい。

このように本実施の形態に係る移動体追跡システム１によれば、歩行者のような絶えず変形を伴う非剛体を含む動画像において背景変化や非剛体のオクルージョンが生じた場合であっても、その動画像を頑健に照合することができる。即ち、移動体追跡システム１によれば、背景の変化に加え、照合の対象（追跡対象）である非剛体の見かけの形状変化に頑健な照合が可能となる。その理由は、以下に述べる通りである。

移動体追跡システム１は、画像領域の照合を行う際、その領域を不定形の小領域に分割する。そして、移動体追跡システム１は、分割した小領域単位で（クラスタ間）相関値を求め、それらの結果を統合して全体の領域同士の（統合）相関値を求めることができるからである。即ち、移動体追跡システム１は、クラスタ毎に求められた相関値を取捨選択することによって、全体の相関値を求めることができるからである。

また、移動体追跡システム１は、低いクラスタ間の相関値しか得られない、および変化した背景領域に相当する領域の相関結果を、統合相関値を求める際に反映させない。即ち、移動体追跡システム１は、非剛体の形状変化に影響されることなく、テンプレート画像とＲＯＩ画像とから非剛体の特徴を抽出及び照合した結果を得ることができる。これにより、移動体追跡システム１は、背景変化によるテンプレート領域と正しい対応領域との間における相関値の低下を抑制することができるためである。また、移動体追跡システム１は、小領域同士の相関演算を固定された格子領域単位ではなく入力画像の特徴に基づいてクラスタリングされた小領域（クラスタ）で行うことにより、対象の形状変化に対し柔軟に小領域を定義することができるためである。

（具体例）
次に、上述した本発明の第１の実施形態に係る移動体追跡システム１を基本とする具体例について説明する。以下の説明においては、本具体例に係る特徴的な部分を中心に説明する。その際、上述した各実施形態と同様な構成については、同一の参照番号を付すことにより、重複する説明は省略する。

本発明の具体例における移動体追跡システム１について、図２乃至図７を参照して説明する。説明の便宜上、一例として、以下の説明では、移動体追跡システム１が画像領域を照合する際の動作について説明する。

図３は、第１の実施形態の具体例における移動体追跡システム１の各機能部における動作を示す図である。

図３を参照すると、クラスタ抽出部１０１は、時刻（ｔ−１）に取得された入力画像のテンプレート画像、および時刻（ｔ）に取得されたテスト画像（以下、「照合画像」とも記す）に含まれるＲＯＩ画像をそれぞれクラスタの集合に領域分割する。

なお、追跡の場合には、クラスタ抽出部１０１は、時刻（ｔ）に取得された追跡結果領域、および時刻（ｔ＋１）に取得されたテスト画像に含まれるＲＯＩ画像をそれぞれクラスタの集合に領域分割する。

次に、クラスタ間相関演算部１０２は、抽出されたテンプレート領域のクラスタの集合（Ａ）、およびＲＯＩ領域のクラスタの集合（Ｂ）のそれぞれの組合せにおいて相関値Ｒ（Ａ_ｉ，Ｂ_ｊ）を演算する。

統合相関演算部１０３は、各クラスタの組合せに対し、それぞれ相関値を最大化する特定のクラスタの組合わせパタンを選択する。統合相関演算部１０３は、選択したパタンの相関値のうち、閾値以下の相関値を棄却する閾値処理を経て、残った相関値を重み付け平均等により統合する。統合相関演算部１０３は、統合により得た値を２画像間の統合相関値として採用する。

図４は、第１の実施形態の具体例における移動体追跡システム１の機能部のうち、クラスタ間相関演算部１０２と統合相関演算部１０３との動作を示す図である。

図４に示す紙面左側の図は、求められた各クラスタ間の相関値のうち、そのクラスタ毎に最大値となるクラスタの組合せが選択された態様を概念的に例示する図である。また、図４に示す紙面右側の図は、閾値処理により、相関の低いクラスタの組合せを排除した態様を概念的に例示する図である。

この例では、クラスタ間相関演算部１０２は、全クラスタ間の組合せに対し相関値を求める。そして、クラスタ間相関演算部１０２は、求めた各クラスタ間の相関値のうち、クラスタ毎に最大の相関値のみを残す。クラスタ間相関演算部１０２は、残された相関値のうち、あらかじめ設定された閾値（例えば、ここでは０．４）を超える相関値のみを残す。即ち、クラスタ間相関演算部１０２は、閾値処理により、相関の低いクラスタの組を排除する。

統合相関演算部１０３は、クラスタ間相関演算部１０２によって残されたクラスタの組合せの相関値に基づく統計値（平均値など）を元に統合相関値を演算する。即ち、残った相関値は、それぞれのクラスタの組合せに与えられた重みに応じて平均化する等の統合相関値の演算に用いられる。

この例では、選択されたクラスタの組の集合をＣと定義する。
Ｃ＝｛（Ａ_１，Ｂ_１），（Ａ_３，Ｂ_３），（Ａ_４，Ｂ_５），（Ａ_５，Ｂ_１）｝
・・・・・（１６）

また、ここでは、Ｃに含まれる各クラスタの組（Ａ_ｉ，Ｂ_ｊ）の全体に対する次式（１７）に示す面積比Ｗ_ｉｊを重みとする重み付け平均によって統合相関値Ｒ_ａｌｌを求める例を式（１８）に示している。
・・・・・（１７）、
・・・・・（１８）。

このように、移動体追跡システム１は、選択的に求めたクラスタ間の相関値を統合した相関値（統合相関値Ｒ_ａｌｌ）によってテンプレート画像に対する照合画像上のＲＯＩ画像の類似性の評価を行う。これにより、移動体追跡システム１は、対象である非剛体の形状変化や背景が変化した場合であっても、正しい領域が頑健に高い相関値をとることができる。その結果、移動体追跡システム１では、正しい領域照合、あるいは画像追跡が行われることが期待できる。

（動作）
本発明の具体例に係る移動体追跡システム１の動作について図面を参照して詳細に説明する。

図５は、第１の実施形態の具体例における移動体追跡システム１の機能部が行う処理の流れを示す概念図である。

図５を参照すると、まず、クラスタ抽出部１０１は、認識の対象を含む移動体画像（入力画像）から抽出されたテンプレート領域（Ａ）と、照合の対象となるテスト画像から抽出されたＲＯＩ領域（Ｂ）とを入力として、それぞれの領域を小領域（クラスタ）に分割する（Ｓｔｅｐ１）。

次に、クラスタ間相関演算部１０２は、分割されたテンプレート領域（Ａ）と、ＲＯＩ領域（Ｂ）との小領域の組合せ毎に、相関値を演算する（Ｓｔｅｐ２）。

最後に、統合相関演算部１０３は、Ｓｔｅｐ２において演算されたクラスタ間の相関を集計して、テンプレート領域（Ａ）と、ＲＯＩ領域（Ｂ）との相関値の最終結果を演算する（Ｓｔｅｐ３）。

以上が、第１の実施形態の具体例に係る移動体追跡システム１における動作の概略である。

次に、以下の説明では、図５のＳｔｅｐ２に示す動作に、さらに、相関演算を行う組を絞り込む処理を加える場合の動作について説明する。

図６は、前記Ｓｔｅｐ２において、相関演算を行う組を絞り込む処理を加える場合の詳細な動作の一例を模式的に示すフローチャートである。

図６を参照すると、まず、クラスタ間相関演算部１０２は、テンプレート領域（Ａ）と、ＲＯＩ領域（Ｂ）とから要素（小領域）の組合せを選択する（Ｓｔｅｐ２０１）。クラスタ間相関演算部１０２は、選択した要素の組に対して、幾何学的類似性の評価を行う（Ｓｔｅｐ２０２）。その結果、クラスタ間相関演算部１０２は、その値が閾値を超えるかどうかを判定する（Ｓｔｅｐ２０３）。

クラスタ間相関演算部１０２は、当該値が閾値を超えないと判別した場合に、処理をＳｔｅｐ２０５に進める（Ｓｔｅｐ２０３において「ＮＯ」）。即ち、クラスタ間相関演算部１０２は、Ｓｔｅｐ２０４をスキップする。

一方で、クラスタ間相関演算部１０２は、当該値が閾値を超えると判別した場合には、処理をＳｔｅｐ２０４に進める（Ｓｔｅｐ２０３において「ＹＥＳ」）。クラスタ間相関演算部１０２は、クラスタ間の相関を演算する（Ｓｔｅｐ２０４）。

最後に、クラスタ間相関演算部１０２は、全要素の組合せについて選択が行われたかどうか判定する。クラスタ間相関演算部１０２は、全要素の組合せについて選択が終了したと判別した場合に、処理を終了する（Ｓｔｅｐ２０５において「ＹＥＳ」）。一方で、クラスタ間相関演算部１０２は、全要素の組合せについて選択が終了していないと判別した場合には、処理をＳｔｅｐ２０１に戻す（Ｓｔｅｐ２０５において「ＮＯ」）。即ち、クラスタ間相関演算部１０２は、未選択の要素の組に対してＳｔｅｐ２０１から順に処理を実行する。

次に、以下の説明では、図５のＳｔｅｐ２に示す動作に、各画像（入力画像及びテスト画像）の中心からの距離と面積の大きさとによって一つの代表クラスタを選択し、その代表クラスタの組のみを用いて相関演算を行う場合の動作について説明する。

図７は、前記Ｓｔｅｐ２の内部において、選択された代表クラスタの組のみを用いて相関演算を行う場合の詳細な動作の一例を模式的に示すフローチャートである。

図７を参照すると、クラスタ間相関演算部１０２は、分割されたテンプレート領域（Ａ）、およびＲＯＩ領域（Ｂ）のそれぞれにおいて、全クラスタの選択エネルギを演算する（Ｓｔｅｐ２０１Ａ）。次に、クラスタ間相関演算部１０２は、それぞれ最小のエネルギをとるクラスタを選択する（Ｓｔｅｐ２０２Ａ）。クラスタ間相関演算部１０２は、選択したそれらのクラスタ同士の相関を演算する（Ｓｔｅｐ２０３Ａ）。

上記のような構成を採用することにより、移動体追跡システム１は、背景の変化や対象形状の変化に頑健な画像領域の照合が可能となる。

以上、実施形態及び具体例を参照して本発明を説明してきたが、本発明は上記実施形態及び具体例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１ 移動体追跡システム
１０ 電子制御装置
１１ 中央演算装置
１２ 記憶装置（Ｍｅｍ）
１３ 記憶装置（ＤＢ）
１４ インターフェース
１５ インターフェース
２０ 画像出力装置
３０ 端末装置
１０１ クラスタ抽出部
１０２ クラスタ間相関演算部
１０３ 統合相関演算部

Claims (9)

1. 照合又は追跡対象である移動体を表す第１の画像領域と、照合すべき興味領域を表す第２の画像領域とをそれぞれ部分領域に分割する分割手段と、
   前記第１及び第２の画像領域間において部分領域同士の相関を求める際に、前記第１及び第２の画像領域のそれぞれの部分領域の集合に対し、前記部分領域同士の重なり率及び重なりの面積比の少なくとも何れかの幾何学的類似性の評価に基づいて、前記部分領域同士の組合せを選定すると共に、該選定された部分領域同士の組合せの相関を求める相関演算手段と、
   前記求めた部分領域同士の組合せの相関のうち、該部分領域同士の組合せに対し与えられた重要度に従い特定の部分領域同士の組合せを選定し、その選定した特定の部分領域同士の相関を統合することによって、前記第１及び第２の画像領域間の相関を求める統合相関演算手段と、
   を備えることを特徴とする移動体追跡装置。
2. 照合又は追跡対象である移動体を表す第１の画像領域と、照合すべき興味領域を表す第２の画像領域とをそれぞれ部分領域に分割する分割手段と、
   前記第１及び第２の画像領域間において部分領域同士の相関を求める際に、前記部分領域の中心と、その部分領域に分割された前記第１又は第２の画像領域の中心との間の距離に反比例する重みに基づき前記相関の値を求め、該相関値が閾値を超えた前記部分領域同士の組合せの相関を求める相関演算手段と、
   前記求めた部分領域同士の組合せの相関のうち、該部分領域同士の組合せに対し与えられた重要度に従い特定の部分領域同士の組合せを選定し、その選定した特定の部分領域同士の相関を統合することによって、前記第１及び第２の画像領域間の相関を求める統合相関演算手段と、
   を備えることを特徴とする移動体追跡装置。
3. 照合又は追跡対象である移動体を表す第１の画像領域と、照合すべき興味領域を表す第２の画像領域とをそれぞれ部分領域に分割する分割手段と、
   前記第１及び第２の画像領域間において部分領域同士の相関を求める際に、前記第１及び第２の画像領域のそれぞれの部分領域の集合に対し、前記部分領域の中心と、その部分領域に分割された前記第１又は第２の画像領域の中心との間の距離の大きさに正の相関があり、且つ前記部分領域の面積の大きさに負の相関があるエネルギ関数を定義し、該エネルギ関数に基づき求められた値が最も小さい値をとる前記部分領域同士の一つの組合せ、もしくは前記値が小さい順となるように前記部分領域同士の複数の組合せを選定すると共に、該選定された部分領域同士の組合せの相関を求める相関演算手段と、
   前記求めた部分領域同士の組合せの相関のうち、該部分領域同士の組合せに対し与えられた重要度に従い特定の部分領域同士の組合せを選定し、その選定した特定の部分領域同士の相関を統合することによって、前記第１及び第２の画像領域間の相関を求める統合相関演算手段と、
   を備えることを特徴とする移動体追跡装置。
4. 前記統合相関演算手段は、
   前記相関演算手段によって求めた前記画像領域同士の組合せにおける前記相関の集合のうち、前記相関の値が閾値を超える前記特定の画像領域同士の組合せを選定することを特徴とする請求項１乃至請求項３の何れかに記載の移動体追跡装置。
5. 照合又は追跡対象である移動体を表す第１の画像領域と、照合すべき興味領域を表す第２の画像領域とをそれぞれ部分領域に分割する分割手段と、
   前記第１及び第２の画像領域間において部分領域同士の相関を求める際に、前記第１及び第２の画像領域のそれぞれの部分領域の集合に対し、前記部分領域同士の重なり率及び重なりの面積比の少なくとも何れかの幾何学的類似性の評価に基づいて、前記部分領域同士の組合せを選定すると共に、該選定された部分領域同士の組合せの相関を求める相関演算手段と、
   前記求めた部分領域同士の組合せの相関のうち、該部分領域同士の組合せに対し与えられた重要度に従い特定の部分領域同士の組合せを選定し、その選定した特定の部分領域同士の相関を統合することによって、前記第１及び第２の画像領域間の相関を求める統合相関演算手段と、
   を備え、
   前記統合相関演算手段は、
   前記相関を求める際に用いた前記部分領域同士の組合せに対する前記特定の部分領域の組合せの面積比率によって決まる重みに応じて、前記選定した特定の画像領域同士の相関を統合する
   ことを特徴とする移動体追跡装置。
6. 照合又は追跡対象である移動体を表す第１の画像領域と、照合すべき興味領域を表す第２の画像領域とをそれぞれ部分領域に分割する分割手段と、
   前記第１及び第２の画像領域間において部分領域同士の相関を求める際に、前記第１及び第２の画像領域のそれぞれの部分領域の集合に対し、前記部分領域同士の重なり率及び重なりの面積比の少なくとも何れかの幾何学的類似性の評価に基づいて、前記部分領域同士の組合せを選定すると共に、該選定された部分領域同士の組合せの相関を求める相関演算手段と、
   前記求めた部分領域同士の組合せの相関のうち、該部分領域同士の組合せに対し与えられた重要度に従い特定の部分領域同士の組合せを選定し、その選定した特定の部分領域同士の相関を統合することによって、前記第１及び第２の画像領域間の相関を求める統合相関演算手段と、
   を備え、
   前記統合相関演算手段は、
   全ての前記選定した特定の部分領域の組合せの総和面積に対する前記特定の部分領域の組合せの面積比率によって決まる重みに応じて、前記選定した特定の画像領域同士の相関を統合する
   ことを特徴とする移動体追跡装置。
7. 照合又は追跡対象である移動体を表す第１の画像領域と、照合すべき興味領域を表す第２の画像領域とをそれぞれ部分領域に分割する分割手段と、
   前記第１及び第２の画像領域間において部分領域同士の相関を求める際に、前記第１及び第２の画像領域のそれぞれの部分領域の集合に対し、前記部分領域同士の重なり率及び重なりの面積比の少なくとも何れかの幾何学的類似性の評価に基づいて、前記部分領域同士の組合せを選定すると共に、該選定された部分領域同士の組合せの相関を求める相関演算手段と、
   前記求めた部分領域同士の組合せの相関のうち、該部分領域同士の組合せに対し与えられた重要度に従い特定の部分領域同士の組合せを選定し、その選定した特定の部分領域同士の相関を統合することによって、前記第１及び第２の画像領域間の相関を求める統合相関演算手段と、
   を備え、
   前記分割手段は、
   前記第１及び第２の画像領域においてピクセル間の動きを表すフローベクトルの類似性を含む基準に基づき前記第１及び第２の画像領域を部分領域に分割する
   ことを特徴とする移動体追跡装置。
8. 電子制御装置によって、
   照合又は追跡対象である移動体を表す第１の画像領域と、照合すべき興味領域を表す第２の画像領域とをそれぞれ部分領域に分割し、
   前記第１及び第２の画像領域間において部分領域同士の相関を求める際に、前記第１及び第２の画像領域のそれぞれの部分領域の集合に対し、前記部分領域同士の重なり率及び重なりの面積比の少なくとも何れかの幾何学的類似性の評価に基づいて、前記部分領域同士の組合せを選定すると共に、該選定された部分領域同士の組合せの相関を求め、
   前記求めた部分領域同士の組合せの相関のうち、該部分領域同士の組合せに対し与えられた重要度に従い特定の部分領域同士の組合せを選定し、その選定した特定の部分領域同士の相関を統合することによって、前記第１及び第２の画像領域間の相関を求める、
   ことを特徴とする移動体追跡方法。
9. 照合又は追跡対象である移動体を表す第１の画像領域と、照合すべき興味領域を表す第２の画像領域とをそれぞれ部分領域に分割する機能と、
   前記第１及び第２の画像領域間において部分領域同士の相関を求める際に、前記第１及び第２の画像領域のそれぞれの部分領域の集合に対し、前記部分領域同士の重なり率及び重なりの面積比の少なくとも何れかの幾何学的類似性の評価に基づいて、前記部分領域同士の組合せを選定すると共に、該選定された部分領域同士の組合せの相関を求める機能と、
   前記求めた部分領域同士の組合せの相関のうち、該部分領域同士の組合せに対し与えられた重要度に従い特定の部分領域同士の組合せを選定し、その選定した特定の部分領域同士の相関を統合することによって、前記第１及び第２の画像領域間の相関を求める機能と、を
   コンピュータに実現させることを特徴とするコンピュータ・プログラム。