JP6546057B2 - 複数のカメラ間での人物の追跡装置、追跡方法及びプログラム - Google Patents

Description

本発明は、複数のカメラ間での人物の追跡技術に関する。

監視用途や、店舗内における来客やスタッフの行動を理解するために、カメラで撮影した動画像を用いて、移動する人物の実空間位置を追跡することが提案されている。なお、この様な用途には全方位カメラの様な広い範囲を撮影可能なカメラが使用される。しかしながら、全方位カメラであっても１台で室内の全領域を撮影することができないため、通常は、複数のカメラを設置して人物の実空間位置の追跡を行う。

複数のカメラを使用する場合、カメラ間において人物の同一性を判定する必要がある。つまり、あるカメラの撮影範囲内にいた人物が他のカメラの撮影範囲内に移動した場合においても、当該人物が同一人であると判定して追跡を行う必要がある。このため非特許文献１は、２次元画像空間の人物領域と、図３に示す人物の円柱モデルを２次元画像空間に投影した領域に基づき、人物の３次元実空間内の位置を判定し、３次元実空間内で人物を追跡する構成を開示している。

Ｏｓａｗａ，Ｔａｔｓｕｙａ， ｅｔ ａｌ．"Ｈｕｍａｎ ｔｒａｃｋｉｎｇ ｂｙ ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒｉｎｇ ｕｓｉｎｇ ｆｕｌｌ ３ｄ ｍｏｄｅｌ ｏｆ ｂｏｔｈ ｔａｒｇｅｔ ａｎｄ ｅｎｖｉｒｏｎｍｅｎｔ"，ＩＥＥＥ １８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＣＰＲ ２００６)，ｖｏｌ．２，ｐｐ．２５−２８，２００６年

しかしながら、カメラ間における人物の同一性をより精度良く判定して追跡を行うことが求められている。

本発明は、カメラ間における人物の同一性を精度良く判定して人物の追跡を行う追跡装置、追跡方法及びプログラムを提供するものである。

本発明の一側面によると、複数のカメラのそれぞれが撮影する動画像により人物を追跡する追跡装置は、前記複数のカメラのそれぞれが撮影する動画像内の人物を検出する検出手段と、前記検出手段が検出した人物の実空間位置及び向きを算出する算出手段と、前記複数のカメラの内の第１カメラと第２カメラの撮影範囲の重複領域において、前記第１カメラにより検出された人物と前記第２カメラにより検出された人物の異同を判定する判定手段と、を備えており、前記判定手段は、前記第１カメラにより前記重複領域において検出された第１人物の実空間位置に人型モデルを前記第１人物の向きと同じ向きに向けて設置したときの、前記第２のカメラが撮影する画像空間内における前記人型モデルの輪郭を求め、前記第２のカメラにより前記重複領域において検出された第２人物の前記画像空間内における輪郭と前記人型モデルの輪郭との類似度に基づき、前記第２カメラにより前記重複領域において検出された第２人物の内、前記第１人物と同じ人物を判定することを特徴とする。

カメラ間における人物の同一性を精度良く判定して人物の追跡を行うことができる。

一実施形態による追跡装置の構成図。 一実施形態によるカメラの設置状態を示す図。 一実施形態による人物の円柱モデルを示す図。 一実施形態による人物の円柱モデルを２次元画像空間に投影した状態を示す図。 一実施形態による通常処理部における処理のフローチャート。 一実施形態による人物モデルを示す図。 一実施形態による人物モデルを２次元画像空間に投影した状態を示す図。 一実施形態による人物モデルを２次元画像空間に投影した状態を示す図。

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。

＜第一実施形態＞
図１は、本実施形態による追跡装置の構成図である。追跡装置は、複数のカメラ１−１及び１−２が撮影する動画データに基づき人物の追跡を行う。なお、図１においては図の簡略化のため、カメラ１−１及びカメラ１−２の２つのみを表示している。また、以下の説明においてカメラ１−１及びカメラ１−２を区別する必要がない場合には纏めてカメラ１として記述する。他の構成要素についても同様とする。カメラ１は、例えば、広角な範囲の動画を撮影する全方位カメラであり、人物を追跡すべき追跡範囲の総てをカバーする様に複数のカメラ１は設置される。図２は、カメラ１の設置状態の一例を示している。図２に示す様に、カメラ１−１及びカメラ１−２は、垂直下向きをその撮影範囲の中心とする様に天井等に固定される。なお、本実施形態において、隣接して設置される２つのカメラ１の撮影範囲に重複領域を設ける。なお、重複領域内の少なくとも一部の領域においては、両カメラ１により人物の頭から足元までが撮影される様に、重複領域を設定する。なお、設置される総てのカメラ１に対しては、事前にキャリブレーションを行っておき、各カメラ１の内部パラメータおよび外部パラメータは既知であるものとする。

図１に戻り、追跡装置は、各カメラ１に対応する人物検出部２を有する。人物検出部２は、対応するカメラ１から受け取る動画像データの各フレームの人物領域を検出する。人物領域の検出には、背景差分による前景検出技術と、円柱モデルを使用したモデルマップとを使用することができる。

具体的には、人物検出部２は、対応するカメラ１の撮影範囲の背景画像を示す画像データを保持している。そして、人物検出部２は、対応するカメラ１からの動画像データが示す各フレームの画像と、背景画像との差分により人物領域を含む前景領域を抽出する。さらに、前景領域から人物領域を抽出するため、図３に示す人物の円柱モデルを使用する。具体的には、対応するカメラ１の撮影範囲内における３次元実空間の各位置に円柱モデルを設置したと仮定した場合に、対応するカメラ１が撮影する２次元画像空間内において円柱モデルがどの様な形状となるかを、対応するカメラ１の内部パラメータ及び外部パラメータに基づき計算する。図４は、円柱モデルを３次元実空間内の各位置に設置した場合における、当該円柱モデルの２次元画像空間内における形状を示している。なお、円柱モデルを設置したと仮定する３次元実空間の位置とその数は、計算量と位置検出の精度に基づき予め決定しておく。

人物検出部２は、背景差分により検出した前景領域と、円柱モデルの２次元画像空間への投影領域それぞれの重複領域を求め、この重複領域の当該前景領域に対する重複率を求める。ここで、最も高い重複率でも、その値が所定値以下である場合、当該前景領域は人物領域ではないと判定する。一方、最も高い重複率が当該所定値より大きい場合、当該前景領域を人物領域と判定する。

図１に戻り、追跡装置は、各人物検出部２に対応する情報算出部３を有する。情報算出部３は、あるフレームにおいて対応する人物検出部２が検出した人物領域に対応する人物の３次元実空間位置とその向きを判定する。具体的には、まず、対応する人物検出部２が検出した人物領域との重複率が最も高かった円柱モデルの３次元実空間の位置を、当該人物の３次元実空間位置と判定する。また、情報算出部３は、人物領域の動きベクトルを算出する。具体的には、人物領域の複数の特徴点を求め、連続する２つのフレームの対応する特徴点の差から、特徴点毎の動きベクトルを算出する。そして、１つの人物領域の各動きベクトルの平均ベクトルを当該人物領域に対応する人物の移動方向かつ向きとする。或いは、時間的に連続する少なくとも２つのフレームの同じ人物に対応する人物領域の位置の差から当該人物領域の動きベクトルを算出しても良い。なお、２つのフレームの人物領域の人物の対応関係は、以下に説明する通常処理部４が判定するため、その情報を使用する。なお、本実施形態において人物の向きとは、人物の胸部に対して垂直な方向とする。

情報管理部４は、各情報算出部３から各人物の位置と、その向きとを示す情報を受け取る。情報管理部４の通常処理部４は、まず、各カメラ１が撮影した撮影範囲毎に図５の処理を行う。図５の処理は、カメラ１によりあるフレームにおいて検出された人物と、当該カメラ１により１つ前のフレームにおいて検出された人物との異同を判定する処理である。なお、１つ前のフレームにおいて検出された人物についての情報はデータベース部（ＤＢ）４１に登録されている。まず、通常処理部４２は、Ｓ１０で、情報算出部３があるフレームにおいて検出した人物と、ＤＢ４１に登録されている、当該情報算出部３に対応するカメラ１の撮影範囲内の各人物との３次元実空間における距離を求める。そして、通常処理部４２は、Ｓ１１で、情報算出部３があるフレームにおいて検出した人物それぞれについて、ＤＢ４１に登録されている総ての人物との距離を第１閾値と比較する。ここで、情報算出部３があるフレームにおいて検出したある人物と、ＤＢ４１に登録されている各人物との距離の総てが第１閾値以上であると、通常処理部４２は、情報算出部３が当該フレームにおいて検出した当該ある人物が新規人物であると判定する。この場合、通常処理部４２は、Ｓ１３で、当該人物に新規の識別子（ＩＤ）を付与し、付与したＩＤを、当該人物の位置及び向きと関連付けてＤＢ４１に登録する。なお、この場合、向きについては検出されないため、向きについては"不明"を示す値を登録しておく。一方、情報算出部３があるフレームにおいて検出したある人物と、ＤＢ４１に登録されている各人物との距離に第１閾値未満のものがあると、通常処理部４２は、Ｓ１２で、当該人物が、ＤＢ４１に登録された人物の内、距離の最も近い人物と同一であると判定し、ＤＢ４１に登録されている人物の位置及び向きを当該フレームで検出した値に更新する。

この様に、ＤＢ４１は、カメラ１それぞれに対して、その撮影範囲内にいる人物の位置及び向きと、そのＩＤを管理している。

その後、重複領域処理部４３は、各カメラ１の撮影範囲の重複領域において検出されている人物についての処理を行う。以下では、カメラ１−１とカメラ１−２の重複領域においてそれぞれのカメラ１が２人の人物を検出している場合について説明する。ここで、カメラ１−１が検出している２人の人物を、それぞれ、人物１Ａ及び１Ｂとし、カメラ１−２が検出している２人の人物を人物２Ｘ及び２Ｙとする。

まず、人物１Ａの位置と、人物２Ｘ及び２Ｙの距離を第２閾値と比較する。各距離が共に第２閾値以上であると、人物１Ａは、カメラ１−２により撮影されていないとする。これは、カメラ１−１とカメラ１−２の重複領域の端部に人物１Ａがいることにより、カメラ１−２では人物１Ａの一部のみが撮影されており、よって、カメラ１−２が撮影した動画から人物を検出する人物検出部２−２では、人物１Ａが人物として検出されなかった場合に対する処理である。

一方、人物１Ａの位置と、人物２Ｘ及び人物２Ｙとの距離の１つの距離が第２閾値未満である場合、例えば、人物１Ａと人物２Ｘとの距離が第２閾値未満であるが、人物１Ａと人物２Ｙとの距離が第２閾値以上であると、人物１Ａと人物２Ｘは同一であると判定する。この場合、重複領域処理部４３は、人物１Ａと人物２Ｘの３次元実空間位置の例えば中間位置を人物１Ａ（＝人物２Ｘ）の３次元実空間位置とする。また、付与している識別子を統一する。例えば、カメラ１−１では以前から人物１Ａを撮影しており、カメラ１−２で人物２Ｘが新規に検出された場合、図５のＳ１３の処理で人物２Ｘに付与したＩＤを削除し、代わりに、人物１Ａに付与したＩＤを人物２Ｘに与える様にＤＢ４１を更新する。また、人物１Ａ（＝人物２Ｘ）の向きは、人物１Ａの向きと人物２Ｘの向きの中間の向きとする。なお、人物２Ｘの向きが不明である場合には、人物１Ａの向きをそのまま使用する。なお、カメラ１−２では、重複領域において３人以上の人物が検出されている場合、１つの距離が第２閾値未満であり、他の総ての距離が第２閾値以上であると、第２閾値未満の距離となる人物を人物１Ａと同一であると判定する。

一方、人物１Ａと人物２Ｘとの距離と、人物１Ａと人物２Ｙとの距離とのそれぞれが第２閾値未満であると、重複領域処理部４３は、３次元人型モデルにより人物１Ａが、人物２Ｘと人物２Ｙのどちらと同一であるかを判定する。図６は、３次元人型モデルの一例を示している。なお、３次元人型モデルを示すデータは、予め重複領域処理部４３に保持させておく。図６に示す様に、３次元人型モデルは、人物の顔、胴体、手及び足を含む、人型の３次元のモデルデータである。

まず、重複領域処理部４３は、人物１Ａの３次元実空間位置に３次元人型モデルを、その向きを、人物１Ａの向きに合わせて設置したと仮定した場合において、カメラ１−２が取得する２次元画像空間内での３次元人型モデルの輪郭（領域）を、カメラ１−２の外部パラメータ及び内部パラメータより求める。そして、カメラ１−２が取得する２次元画像空間内における人物２Ｘ及び２Ｙの輪郭（領域）との類似度を求める。そして、重複領域処理部４３は、人物２Ｘ及び２Ｙの内の類似度が大きい方を、人物１Ａと同一であると判定する。類似度の判定には、３次元人型モデルの領域と、人物２Ｘ及び２Ｙの領域の重複度を使用することができる。或いは、輪郭をベクトルとして表現しそのベクトルの類似度で算出することができる。さらには、「Ｖｅｌｔｋａｍｐ， Ｒｅｍｃｏ Ｃ．"Ｓｈａｐｅ ｍａｔｃｈｉｎｇ：Ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅｓ ａｎｄ ａｌｇｏｒｉｔｈｍｓ．"ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｈａｐｅ Ｍｏｄｅｌｉｎｇ ａｎd Ａｐｐｌｉｃａｔｉｏｎｓ （ＳＭＩ２００１），ｐｐ．１８８−１９７，２００１年」に記載の方法を使用することもできる。

なお、カメラ１−１で検出された人物が新規であり、その方向が判定できない場合には、カメラ１−２で検出された人物の３次元実空間位置に対して３次元人型モデルを設置したと仮定して同様の処理を行うことができる。或いは、当該フレームでの処理をスキップし、次のフレームにおいてカメラ１−１で検出された人物の向きが確定してからカメラ間での人物の対応関係の判定を行っても良い。

重複領域処理部４３は、人物１Ａと同一であると判定した人物２Ｘ又は２ＹのＩＤを統一する様に、ＤＢ４１を更新する。例えば、人物１Ａと人物２Ｘが同一であると判定すると、カメラ１−１が撮影している人物１Ａと、カメラ１−２が撮影している人物２ＸのＩＤが同一となる様にＤＢ４１を更新する。さらには、人物１Ａ及び人物２Ｘの位置を、カメラ１−１が撮影した画像から判定した３次元実空間位置と、カメラ１−２が撮影した画像から判定した３次元実空間位置の例えば中間位置としてＤＢ４１を更新する。さらには、人物１Ａ及び人物２Ｘの向きを、カメラ１−１が撮影した画像から判定した向きと、カメラ１−２が撮影した画像から判定した向きの例えば中間の向きとしてＤＢ４１を更新する。

なお、重複領域において３人以上の人物が検出されている場合、距離が閾値未満である人物それぞれに対する類似度を判定し、類似度が最も大きい人物が同一であると判定する。以上の処理は、カメラ１−１が撮影した画像内のカメラ１−２との重複領域内において検出された人物に対して順に行う。このとき、重複領域内において検出された人物の内、既に２つのカメラでの同一性が判定された人物については除外する。重複領域処理部４３は、以上の処理を各カメラ１の重複領域毎に行うことで、カメラ間における人物の同一性を判定する。

図７及び図８は、３次元人型モデルを同じ位置に立たせた場合であってもその向きにより、カメラ１−２が取得する２次元画像空間内での３次元人型モデルの輪郭が異なる事を示している。本実施形態では、３次元人型モデルを使用し、この３次元人型モデルの２次元画像空間内における輪郭を算出するに当たり、その向きをも考慮する。したがって、重複領域に複数の人物が存在する場合において、カメラ間における人物の対応関係を精度良く判定することができる。

なお、本発明による追跡装置は、コンピュータを上記追跡装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

１：カメラ、２：人物検出部、３：情報算出部、４２：通常処理部、４３：重複領域算出部

Claims (10)

1. 複数のカメラのそれぞれが撮影する動画像により人物を追跡する追跡装置であって、
   前記複数のカメラのそれぞれが撮影する動画像内の人物を検出する検出手段と、
   前記検出手段が検出した人物の実空間位置及び向きを算出する算出手段と、
   前記複数のカメラの内の第１カメラと第２カメラの撮影範囲の重複領域において、前記第１カメラにより検出された人物と前記第２カメラにより検出された人物の異同を判定する判定手段と、
   を備えており、
   前記判定手段は、前記第１カメラにより前記重複領域において検出された第１人物の実空間位置に人型モデルを前記第１人物の向きと同じ向きに向けて設置したときの、前記第２カメラが撮影する画像空間内における前記人型モデルの輪郭を求め、前記第２カメラにより前記重複領域において検出された第２人物の前記画像空間内における輪郭と、前記人型モデルの輪郭との類似度に基づき、前記第２カメラにより前記重複領域において検出された第２人物の内、前記第１人物と同じ人物を判定することを特徴とする追跡装置。
2. 前記判定手段は、前記第１カメラにより前記重複領域において検出された第１人物の実空間位置と、前記第２カメラにより前記重複領域において検出された第２人物それぞれの実空間位置との距離を求めて閾値と比較し、
   前記閾値未満の距離が１つの場合、前記閾値未満の距離に対応する第２人物が前記第１人物と同じ人物であると判定し、
   前記閾値未満の距離が複数ある場合、前記閾値未満の距離に対応する第２人物それぞれの前記画像空間内における輪郭と前記人型モデルの輪郭との類似度に基づき、前記閾値未満の距離に対応する第２人物の中から前記第１人物と同じ人物を判定することを特徴とする請求項１に記載の追跡装置。
3. 前記判定手段は、前記閾値未満の距離がない場合、前記第２人物の中には前記第１人物と同じ人物がいないと判定することを特徴とする請求項２に記載の追跡装置。
4. 前記検出手段は、前記複数のカメラそれぞれの背景画像を保持しており、前記複数のカメラのそれぞれが撮影する動画像と対応する背景画像との差分により前景領域を検出し、
   前記検出手段は、カメラの撮影範囲内の実空間位置に人物の円柱モデルを設置した場合に当該カメラが撮影する画像の画像空間内での前記円柱モデルの領域を、当該カメラの撮影範囲内の複数の実空間位置それぞれについて求め、当該カメラにより検出された前景領域と求めた各領域との重複率に所定値より大きいものがあると、当該前景領域を人物として検出することを特徴とする請求項１から３のいずれか１項に記載の追跡装置。
5. 前記算出手段は、人物であると検出した前景領域との重複率が最も高い領域に対応する、前記円柱モデルの実空間位置を当該人物の実空間位置とすることを特徴とする請求項４に記載の追跡装置。
6. 前記算出手段は、同じカメラが撮影した連続する第１フレーム及び第２フレームにおいて人物であると検出した前景領域の１つ以上の特徴点を判定し、前記第１フレームの前記１つ以上の特徴点と前記第２フレームの前記１つ以上の特徴点との差から、前記１つ以上の特徴点それぞれの動きベクトルを算出し、算出した動きベクトルの平均ベクトルから当該人物の向きを算出することを特徴とする請求項４又は５に記載の追跡装置。
7. 前記算出手段は、同じカメラが撮影した連続する第１フレーム及び第２フレームにおいて検出された人物それぞれの実空間位置の差に基づき前記第１フレーム及び前記第２フレームで検出された人物の異同を判定することを特徴とする請求項１から６のいずれか１項に記載の追跡装置。
8. 前記算出手段は、同じカメラが撮影した連続する第１フレーム及び第２フレームにおける同じ人物の実空間位置の差に基づき当該人物の向きを判定することを特徴とする請求項７に記載の追跡装置。
9. 複数のカメラのそれぞれが撮影する動画像により人物を追跡する追跡装置における追跡方法であって、
   前記複数のカメラのそれぞれが撮影する動画像内の人物を検出する検出ステップと、
   前記検出ステップにおいて検出した人物の実空間位置及び向きを算出する算出ステップと、
   前記複数のカメラの内の第１カメラと第２カメラの撮影範囲の重複領域において、前記第１カメラにより検出された人物と前記第２カメラにより検出された人物の異同を判定する判定ステップと、
   を含み、
   前記判定ステップは、
   前記第１カメラにより前記重複領域において検出された第１人物の実空間位置に人型モデルを前記第１人物の向きと同じ向きに向けて設置したときの、前記第２カメラが撮影する画像空間内における前記人型モデルの輪郭を求めるステップと、
   前記第２カメラにより前記重複領域において検出された第２人物の前記画像空間内における輪郭と前記人型モデルの輪郭との類似度に基づき、前記第２カメラにより前記重複領域において検出された第２人物の内、前記第１人物と同じ人物を判定するステップと、
   を含むことを特徴とする追跡方法。
10. 請求項１から８のいずれか１項に記載の追跡装置としてコンピュータを機能させることを特徴とするプログラム。