JP5012589B2 - 画像情報を用いた人物追跡システム - Google Patents
画像情報を用いた人物追跡システム Download PDFInfo
- Publication number
- JP5012589B2 JP5012589B2 JP2008059303A JP2008059303A JP5012589B2 JP 5012589 B2 JP5012589 B2 JP 5012589B2 JP 2008059303 A JP2008059303 A JP 2008059303A JP 2008059303 A JP2008059303 A JP 2008059303A JP 5012589 B2 JP5012589 B2 JP 5012589B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- obstacle
- tracking target
- tracking
- target person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Alarm Systems (AREA)
Description
そして、監視員は、表示手段上に表示された映像中の特定の移動体を追跡対象人物として指定することにより、その追跡対象人物の監視追跡を行うことが可能である。例えば、特許文献1の図19に示されるように、任意の映像ウィンドウ内の移動体を追跡対象人物としてポインティングデバイスにより選択すると、メインウィンドウには、移動経路が表示され、また、その経路上で追跡対象人物が通過したカメラが強調表示される。
図1から図10は、この発明の実施の形態1に関するもので、図1は画像情報を用いた人物追跡システムの全体構成の概略を示すブロック図、図2は入力画像の全体を示す概略図、図3は特徴データベースの構造を示す図、図4は図2の画像が入力された状態における追跡対象追跡データベースの構造を示す図、図5は図2の画像が入力された状態における障害物追跡データベースの構造を示す図、図6は図2の画像が入力された状態における相対位置関係データベースの構造を示す図、図7は行動パターンデータベースの構造を示す図、図8は画像情報を用いた人物追跡システムの全体構成の詳細を示すブロック図、図9は画像情報を用いた人物追跡システムの処理の流れを示すアクティビティ図、図10は画像情報を用いた人物追跡システムの動作の概略を示す図である。
図において1は、例えば、監視対象空間に設置された監視カメラからの画像情報の入力を受けて、追跡対象人物を含む周辺環境を認識した上で追跡対象人物の視野内の障害物及び障害人物を認識する周辺環境認識部であり、この周辺環境認識部1において人物及び障害物を認識する際には、特徴データベース2に格納された特徴データが用いられる。前記周辺環境認識部1において認識された追跡対象人物に関する情報は追跡対象追跡データベース3に、前記周辺環境認識部1において認識された障害物に関する情報は障害物追跡データベース4に、それぞれ時系列で格納される。
そして、相対位置関係保存部5は、前記追跡対象追跡データベース3及び前記障害物追跡データベース4に格納されている情報を用いて、追跡対象人物と障害物との相対位置関係を算出し、前記相対位置関係保存部5において算出された追跡対象人物と障害物との相対位置関係は、相対位置関係データベース6に時系列で格納される。
行動パターンデータベース7には、障害物との相対位置関係に対応した人間の行動をパターン化したデータが格納されており、移動位置推定部8は、この前記行動パターンデータベース7と前記相対位置関係データベース6とに格納されている情報から追跡対象人物の行動を推定し、この推定に基づき移動位置を推定する。
すなわち、まず、前記移動位置推定部8は、前記相対位置関係データベース6に格納されている追跡対象人物と障害物との相対位置関係に対応する行動パターンデータを、この行動パターンデータベース7から取り出して、追跡対象人物の行動を推定する。そして、前記移動位置推定部8はこの推定された追跡対象人物の行動に基づき、前記追跡対象追跡データベース3に格納された情報を基にして追跡対象人物の移動位置を推定する。
まず、人物追跡を開始する前に、追跡対象人物10を決定し、この追跡対象人物10に係る特徴データを追跡対象人物情報として、また、想定される障害物11aの特徴データを障害物情報として、それぞれ前記特徴データベース2に格納しておく。ここで、前記追跡対象人物情報は、例えば、前記追跡対象人物10を識別するためのID、前記追跡対象人物10の肌の色、服装の色、体型、身長及び髪の各項目から構成されており、前記障害物情報は、例えば、前記障害物11aを識別するためのID、前記障害物11aの種別、色、形状及びサイズ(幅、厚み、高さの各寸法)の各項目から構成されている(図3)。
次に、前記入力画像全体9のうち取得する範囲を指定して前記周辺環境認識部1を起動する。前記周辺環境認識部1は、前記入力画像全体9のうち指定された範囲を取り込んだ後、前記特徴データベース2に格納された前記追跡人物情報を用いて前記追跡対象人物10を認識して、その位置及び移動方向を算出する。そして、算出された前記追跡対象人物10の位置及び移動方向から追跡対象人物の視野10aを決定した後、例えば、追跡対象のID、現在位置、移動方向、移動速度及び時刻の各項目から構成される情報を時系列で前記追跡対象追跡データベース3へと格納する(図4)。なお、現在位置については例えば格子状の二次元座標上で指定する方法が考えられる。
前記移動位置推定部8は、前記相対位置関係データベース6に格納された前記追跡対象人物10と前記障害物11a及び前記障害人物11bとの相対位置関係、特に相対距離情報を用いて、前記行動パターンデータベース7に格納された行動パターンを読み出し、前記追跡対象人物10がとり得る行動パターンを抽出した後、前記追跡対象人物10の移動方向、前記追跡対象人物10並びに前記障害物11a及び前記障害人物11bの全体的な配置やその時系列の変化に基づく相互作用を考慮して最も妥当な行動パターンを選定する。なお、前記行動パターンデータベース7には、例えば、行動パターンのID、相互作用対象種別、距離、移動方向及び行動の各項目からなる行動パターンに関する情報が格納されている(図7)。
その後、前記移動位置推定部8は、前記追跡対象追跡データベース3から前記追跡対象人物10の現在位置、移動方向及び移動速度に関する情報を取得して、先程選定した行動パターンを考慮しつつ、前記追跡対象人物10の移動位置を推定する。
ここで推定された前記追跡対象人物10の移動位置情報は、前記周辺環境認識部1へとフィードバックされることで、前記周辺環境認識部1による前記追跡対象人物10の認識に利用される。
そして、以上説明した動作を繰り返し実行することで、前記追跡対象人物10と前記障害物11a及び前記障害人物11bとの相対位置関係と相互作用とを考慮しながら人物追跡を実行する。
この図8において、1aは監視員が前記追跡対象人物10を指定するための追跡対象人物指定部であり、画像入力部1bに入力された画像情報上において前記追跡対象人物10を指定する機能を有する。前記画像入力部1bに入力された画像情報は、画像切出部1cにおいて指定された範囲の画像に切り出され、特徴抽出部1dへと出力される。
この特徴抽出部1dにおいては、前記画像切出部1cで切り出された画像情報から前記特徴データベース2に格納された特徴データに相当する特徴が抽出され、ここで抽出された特徴は、特徴照合手段である照合部1eにおいて前記特徴データベース2に格納された特徴データと照合される。ここで、前記照合部1e内の人物照合部1fにおいては、特に、前記特徴データベース2に格納された追跡対象人物情報について照合が行われ、前記照合部1e内の障害物照合部1gにおいては、特に、前記特徴データベース2に格納された障害物情報について照合が行われる。
前記人物照合部1fにおいて照合された前記追跡対象人物10に関する情報は、追跡対象現在位置認識部1hへと出力され、この追跡対象現在位置認識部1hにおいては前記追跡対象人物10に関する情報や既に前記追跡対象追跡データベース3に格納されている時系列データを用いて前記追跡対象人物10の現在位置が算出、認識される。そしてここで認識された前記追跡対象人物10の位置情報は、前記追跡対象追跡データベース3へと時系列データとして格納される。
そして、追跡対象移動方向推定部1jは、前記追跡対象現在位置認識部1hの認識結果と既に前記追跡対象追跡データベース3に格納されている時系列データとから前記追跡対象人物10の移動方向を推定するとともに、その推定結果を前記追跡対象追跡データベース3に時系列データとして格納する。
前記追跡対象移動方向推定部1jにおいて推定された前記追跡対象人物10の移動方向に関する情報は視野推定部1kへと出力される。この視野推定部1kは、前記追跡対象人物10が前記追跡対象移動方向推定部1jにおいて推定された移動方向を向いていると仮定して前記追跡対象人物の視野10aを推定し、前記画像切出部1cに対して画像の切り出し範囲をここで推定された前記追跡対象人物の視野10aの範囲とするように指定する。
そして、障害物移動方向推定部1nは、前記障害物現在位置認識部1mの認識結果と既に前記障害物追跡データベース4に格納されている時系列データとから前記障害物11a及び前記障害人物11bの移動方向を推定するとともに、その推定結果を前記障害物追跡データベース4に時系列データとして格納する(前記障害物11aのように移動速度が0であるものは、移動方向を例えば「停止」として扱う。)。
前記周辺環境認識部1は、以上の、前記追跡対象人物指定部1a、前記画像入力部1b、前記画像切出部1c、前記特徴抽出部1d、前記照合部1e、前記人物照合部1f、前記障害物照合部1g、前記追跡対象現在位置認識部1h、前記追跡対象移動方向推定部1j、前記視野推定部1k、前記障害物現在位置認識部1m及び前記障害物移動方向推定部1nとから構成されている。
前記移動位置推定部8は、対象人物行動推定部8a、対象人物行動選択部8b及び対象人物移動位置推定部8cとから構成されている。
前記対象人物行動推定部8aは、前記相対位置関係データベース6に格納された前記追跡対象人物10と前記障害物11a及び前記障害人物11bとの相対位置関係、特に相対距離情報を用いて、前記行動パターンデータベース7に格納された行動パターンを読み出し、前記追跡対象人物10がとり得る行動パターンを抽出する。
前記対象人物行動選択部8bは、前記対象人物行動推定部8aにより抽出された前記追跡対象人物10がとり得る行動パターンと、前記相対位置関係データベース6に格納されたすべての相対位置関係データを用いて、前記追跡対象人物10並びに前記障害物11a及び前記障害人物11bの移動方向、全体的な配置やその時系列の変化に基づく相互作用を考慮して最も妥当な行動パターンを選定する。
前記対象人物移動位置推定部8cは、前記対象人物行動選択部8bの選択した前記追跡対象人物10の行動パターンと、前記追跡対象追跡データベース3から取得した前記追跡対象人物10の現在位置、移動方向及び移動速度に関する情報とを基にして、次の時点の前記追跡対象人物10の位置を推定するとともに、この推定された次の時点における前記追跡対象人物10の位置を前記画像入力部1bに対して画像入力位置情報として指定する。
まず、監視員は前記追跡対象人物指定部1aを用いて、前記入力画像全体9上でアクションA1において前記追跡対象人物10の指定を行うとともに、アクションA2において前記追跡対象人物10の位置の指定を行う。これらアクションA1及びアクションA2の後、アクションA3において、前記画像入力部1bはアクションA1及びアクションA2での指定を受けて指定された位置の画像情報を入力する。
次に、アクションA4において、前記画像切出部1cはアクションA3で前記画像入力部1bが入力した画像から特徴抽出対象とする前記入力画像全体9を切り出す。なお、ここで、後述するアクションA21で既に前記追跡対象人物10の移動位置が推定されている場合には、この推定移動位置周辺の画像が切り出される。
そして、アクションA5において、特徴抽出部1dがアクションA4で切り出された画像情報から前記特徴データベース2に格納された前記追跡対象人物10に係る特徴データに相当する特徴を抽出した後、アクションA6において、前記照合部1e内の人物照合部1fは前記特徴データベース2に格納された追跡対象人物情報について照合を行う。
続くアクションA7で、前記追跡対象現在位置認識部1hがアクションA6における前記追跡対象人物10の照合結果と既に前記追跡対象追跡データベース3に格納されている時系列データとを用いて前記追跡対象人物10の現在位置を認識した後、アクションA8において、前記追跡対象移動方向推定部1jは、アクションA7における認識結果と既に前記追跡対象追跡データベース3に格納されている時系列データとから前記追跡対象人物10の移動方向を推定し、アクションA9において、前記追跡対象現在位置認識部1h及び前記追跡対象移動方向推定部1jは、アクションA7及びアクションA8の結果を前記追跡対象追跡データベース3へと格納する。
アクションA9が完了すると、アクションA10において、前記視野推定部1kにより前記追跡対象人物10がアクションA8で推定された移動方向を向いていると仮定して前記追跡対象人物の視野10aが推定される。
続くアクションA14で、前記障害物現在位置認識部1mがアクションA13における前記障害物11a及び前記障害人物11bの照合結果と既に前記追跡対象追跡データベース3に格納されている時系列データとを用いて前記障害物11a及び前記障害人物11bの現在位置を認識した後、アクションA15において、前記障害物移動方向推定部1nは、アクションA14における認識結果と既に前記追跡対象追跡データベース3に格納されている時系列データとから前記障害物11a及び前記障害人物11bの移動方向を推定し、アクションA16において、前記障害物現在位置認識部1m及び前記障害物移動方向推定部1nは、アクションA14及びアクションA15の結果を前記追跡対象追跡データベース3へと格納する。
続くアクションA21では、前記対象人物移動位置推定部8cにより、前記対象人物行動選択部8bの選択した前記追跡対象人物10の行動パターンと、前記追跡対象追跡データベース3から取得した前記追跡対象人物10の現在位置、移動方向及び移動速度に関する情報とを基にして、次の時点の前記追跡対象人物10の位置が推定され、この後のアクションA2において、前記対象人物移動位置推定部8cは、アクションA21で推定された次の時点における前記追跡対象人物10の位置を前記画像入力部1bに対して画像入力位置情報として指定する。
1a 追跡対象人物指定部
1b 画像入力部
1c 画像切出部
1d 特徴抽出部
1e 照合部
1f 人物照合部
1g 障害物照合部
1h 追跡対象現在位置認識部
1j 追跡対象移動方向推定部
1k 視野推定部
1m 障害物現在位置認識部
1n 障害物移動方向推定部
2 特徴データベース
3 追跡対象追跡データベース
4 障害物追跡データベース
5 相対位置関係保存部
5a 相対位置関係算出部
6 相対位置関係データベース
7 行動パターンデータベース
8 移動位置推定部
8a 対象人物行動推定部
8b 対象人物行動選択部
8c 対象人物移動位置推定部
9 入力画像全体
10 追跡対象人物
10a 追跡対象人物の視野
11a 障害物
11b 障害人物
12 移動方向及び移動速度
Claims (4)
- 監視対象空間が撮影された画像情報を用いた人物追跡システムにおいて、
追跡対象人物並びに前記追跡対象人物の視野内の障害物及び障害人物を認識する周辺環境認識部と、
前記追跡対象人物と前記障害物及び前記障害人物との時系列の相対位置関係を連続的に算出、保存する相対位置関係保存部と、
前記追跡対象人物と前記障害物及び前記障害人物との相対位置関係から、前記追跡対象人物の移動位置を推定する移動位置推定部と、を備えたことを特徴とする画像情報を用いた人物追跡システム。 - 前記周辺環境認識部は、
予め前記追跡対象人物並びに前記障害物及び前記障害人物に係る特徴データが格納された特徴データベースの前記特徴データを用いて、前記画像情報内の前記追跡対象人物並びに前記障害物及び前記障害人物を照合する特徴照合手段と、
前記追跡対象人物の現在位置を認識する追跡対象現在位置認識手段と、
前記追跡対象人物の移動方向を推定する追跡対象移動方向推定手段と、
前記追跡対象現在位置認識手段により認識された前記追跡対象人物の現在位置と前記追跡対象移動方向推定手段により推定された前記追跡対象人物の移動方向とから、前記追跡対象人物の視野を推定する視野推定手段と、
前記視野推定手段により推定された前記追跡対象人物の視野内の前記障害物及び前記障害人物の現在位置を認識する障害物現在位置認識手段と、
前記視野推定手段により推定された前記追跡対象人物の視野内の前記障害物及び前記障害人物の移動方向を推定する障害物移動方向推定手段と、を備えたことを特徴とする請求項1に記載の画像情報を用いた人物追跡システム。 - 前記相対位置関係保存部は、前記追跡対象人物の現在位置及び移動方向と前記障害物及び前記障害人物の現在位置及び移動方向とから、前記追跡対象人物と前記障害物及び前記障害人物との相対位置関係を算出する相対位置関係算出手段を備えたことを特徴とする請求項1又は請求項2のいずれかに記載の画像情報を用いた人物追跡システム。
- 前記移動位置推定部は、
予め障害物との相対位置関係に対応した人間の行動をパターン化した行動パターンデータが格納された行動パターンデータベースの前記行動パターンデータを読み出し、前記追跡対象人物がとり得る行動パターンを抽出する対象人物行動推定手段と、
前記対象人物行動推定手段により抽出された前記追跡対象人物がとり得る行動パターンと、前記追跡対象人物と前記障害物及び前記障害人物との相対位置関係とから、最も妥当な行動パターンを選定する対象人物行動選択手段と、
前記対象人物行動選択部の選択した前記追跡対象人物の行動パターンと、前記追跡対象人物の現在位置と移動方向と移動速度とから、前記追跡対象人物の移動位置を推定する対象人物移動位置推定手段と、を備えたことを特徴とする請求項1から請求項3のいずれかに記載の画像情報を用いた人物追跡システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008059303A JP5012589B2 (ja) | 2008-03-10 | 2008-03-10 | 画像情報を用いた人物追跡システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008059303A JP5012589B2 (ja) | 2008-03-10 | 2008-03-10 | 画像情報を用いた人物追跡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009217448A JP2009217448A (ja) | 2009-09-24 |
JP5012589B2 true JP5012589B2 (ja) | 2012-08-29 |
Family
ID=41189243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008059303A Expired - Fee Related JP5012589B2 (ja) | 2008-03-10 | 2008-03-10 | 画像情報を用いた人物追跡システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5012589B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5563796B2 (ja) * | 2009-09-25 | 2014-07-30 | トヨタ自動車株式会社 | 歩行者移動推定装置及び方法 |
JP5473750B2 (ja) * | 2010-04-23 | 2014-04-16 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
KR101268102B1 (ko) * | 2011-07-21 | 2013-05-29 | 인하대학교 산학협력단 | 비디오 감시 시스템 및 방법 |
JP7017025B2 (ja) * | 2017-03-08 | 2022-02-08 | 日本電気株式会社 | 自律移動ロボット、自律移動ロボットの制御方法および制御プログラム |
JP6991922B2 (ja) * | 2018-05-21 | 2022-01-13 | 株式会社東芝 | 画像センサ、識別方法、制御システムおよびプログラム |
JP7285536B2 (ja) * | 2018-12-28 | 2023-06-02 | 国立大学法人佐賀大学 | 分類器生成装置、対象者推定装置及びそれらのプログラム、並びに対象者推定システム |
WO2021140916A1 (ja) * | 2020-01-07 | 2021-07-15 | ソニーグループ株式会社 | 移動体、情報処理装置、情報処理方法、及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2749727B2 (ja) * | 1991-03-08 | 1998-05-13 | 三菱電機株式会社 | 経路予測装置 |
JP3197633B2 (ja) * | 1992-11-30 | 2001-08-13 | 松下電器産業株式会社 | 移動体の自動追尾装置 |
JPH06180749A (ja) * | 1992-12-14 | 1994-06-28 | Toyota Motor Corp | 路上物体監視装置 |
JP4759988B2 (ja) * | 2004-11-17 | 2011-08-31 | 株式会社日立製作所 | 複数カメラを用いた監視システム |
JP4609076B2 (ja) * | 2005-01-20 | 2011-01-12 | トヨタ自動車株式会社 | 移動物体検出装置及び移動物体検出方法 |
-
2008
- 2008-03-10 JP JP2008059303A patent/JP5012589B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009217448A (ja) | 2009-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5012589B2 (ja) | 画像情報を用いた人物追跡システム | |
JP6570786B2 (ja) | 動作学習装置、技能判別装置および技能判別システム | |
JP4991595B2 (ja) | パーティクルフィルタを使用する追跡システム | |
JP5077164B2 (ja) | 追跡装置及び追跡方法 | |
JP4951498B2 (ja) | 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体 | |
JP5355446B2 (ja) | 移動物体追跡システムおよび移動物体追跡方法 | |
US20210329175A1 (en) | Image processing system, image processing method, and program | |
JP2009510541A (ja) | オブジェクト追跡方法及びオブジェクト追跡装置 | |
Bertoni et al. | Perceiving humans: from monocular 3d localization to social distancing | |
WO2014045843A1 (ja) | 画像処理システム、画像処理方法及びプログラム | |
JPWO2014050432A1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
Li et al. | Robust multiperson detection and tracking for mobile service and social robots | |
JP2012191354A (ja) | 情報処理装置、情報処理方法及びプログラム | |
US9396538B2 (en) | Image processing system, image processing method, and program | |
US20150139505A1 (en) | Method and apparatus for predicting human motion in virtual environment | |
JP2010123019A (ja) | 動作認識装置及び方法 | |
JP2011186576A (ja) | 動作認識装置 | |
US9710708B1 (en) | Method and apparatus for autonomously recognizing at least one object in an image | |
EP3555804A1 (en) | System and method of video content filtering | |
JP2021502646A (ja) | 人体認識方法、機器及び記憶媒体 | |
CN111814665A (zh) | 基于宠物情绪识别的陪护方法、装置、服务器及存储介质 | |
JP7450754B2 (ja) | 画像解析から得られたフィンガープリントを用いた、画像フレーム全体に亘る脆弱な道路利用者の追跡 | |
EP3246793A1 (en) | Virtual reality display | |
JP7088108B2 (ja) | 追跡方法、追跡装置、及びプログラム | |
JP7491462B2 (ja) | 因果相互作用検出装置、制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120313 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120521 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |