JP5682563B2 - 移動体軌跡識別システム、移動体軌跡識別方法および移動体軌跡識別プログラム - Google Patents

移動体軌跡識別システム、移動体軌跡識別方法および移動体軌跡識別プログラム Download PDF

Info

Publication number
JP5682563B2
JP5682563B2 JP2011527661A JP2011527661A JP5682563B2 JP 5682563 B2 JP5682563 B2 JP 5682563B2 JP 2011527661 A JP2011527661 A JP 2011527661A JP 2011527661 A JP2011527661 A JP 2011527661A JP 5682563 B2 JP5682563 B2 JP 5682563B2
Authority
JP
Japan
Prior art keywords
trajectory
identification information
likelihood
hypothesis
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011527661A
Other languages
English (en)
Other versions
JPWO2011021588A1 (ja
Inventor
有紀江 森口
有紀江 森口
小西 勇介
勇介 小西
裕一 仁野
裕一 仁野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2011527661A priority Critical patent/JP5682563B2/ja
Publication of JPWO2011021588A1 publication Critical patent/JPWO2011021588A1/ja
Application granted granted Critical
Publication of JP5682563B2 publication Critical patent/JP5682563B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Burglar Alarm Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、移動体の識別情報を判別しながら移動体の位置を追跡し、認識された軌跡がどの移動体の軌跡かを判定する移動体軌跡識別システムに関する。また、本発明は移動体軌跡識別方法及び移動体軌跡識別プログラムに関する。
本願は、日本国に出願された特願2009−191358号(2009年8月20日出願)及び特願2009−280926号(2009年12月10日出願)に基づき優先権を主張し、その内容をここに援用する。
一般に、人物や物などの移動体に対する追跡は、移動体の位置情報と識別情報とを対応付けることにより実現される。即ち、移動体の位置情報と識別情報との対応付けにより、移動体を一意に識別して追跡することができる。また、移動体追跡について種々の技術が開発されている(例えば、特許文献1、特許文献2参照)。
特許文献1は人物追跡装置を開示しており、センサ(可視カメラ)で関し領域内の人物を撮影し、そのセンサから出力された映像信号に基づいて人物の特徴情報を抽出する。この人物追跡装置は、人物の識別情報と特徴情報とを関連付けて学習するものであり、新たに抽出した特徴情報と学習結果から人物のIDを特定する。また、人物追跡装置は特定した人物のIDとその人物の軌跡情報を追跡情報として出力する。人物の追跡を途中で失敗した場合、人物追跡装置は追跡再開した人物の特徴情報と学習結果から再度その人物のIDを特定する。即ち、人物の追跡が途切れた場合、人物追跡装置は追跡再開した時点で抽出した特徴情報から再度人物のIDを特定するものである。
特許文献2は、所定の空間を撮影する監視カメラを具備する移動体追跡システムを開示している。この移動体追跡システムは監視カメラの出力に基づいて移動体を識別して位置情報を得るものであり、当該位置情報と各移動体に固有の第1識別情報とを対応付けて管理する。また、移動体追跡システムは各移動体に固有の第2識別情報を読み取って各移動体を識別し、位置情報と第2識別情報とを対応付けて管理する。移動体追跡システムは位置情報と第3の識別情報とを対応付けて管理する位置管理テーブルを具備する。更に、移動体追跡システムは、同時期に所定の誤差範囲内で認識された移動体について、第2識別情報と第3識別情報とを対応付けて管理する位置推定テーブルを具備している。移動体追跡システムは位置管理テーブル及び位置推定テーブルを参照して移動体を追跡する。即ち、移動体追跡システムは複数のセンサにより得られる検知情報を統合して移動体を追跡する。
特開2008−299742号公報(段落0006、0008〜0013参照) 特開2005−31955号公報(段落0008、0009参照)
一般に、カメラは移動体を追跡できるが、移動体の識別まで行なわないため、カメラだけではどの移動体を追跡しているのかを把握できない。また、RFID(Radio Frequency IDentification)リーダなどの個体識別装置を監視区域の各所に配置することにより、どの移動体が個体識別装置付近を追加したか把握することができるものの、個体識別装置から離れた場所にいる移動体の軌跡まで把握することはできない。
特許文献1に開示された人物追跡装置ではカメラと人物特徴情報の抽出とを組合せており、一方、特許文献2に開示された移動体追跡システムではカメラと複数のセンサを組み合わせて移動体の追跡を実現している。
複数の移動体が同じ場所で近接(或いは、重複)する場合、特定の移動体の追跡が途切れてしまう。人物追跡装置や移動体追跡システムでは、特徴情報を抽出できた場合やセンサで識別情報を抽出できた場合に移動体の追跡を実現できる。しかし、追跡の途切れが頻発すると、新たに取得し直した特徴情報や識別情報に基づいて追跡を再開するため、移動体の追跡精度が低くなってしまう。即ち、移動体の追跡が途切れた後に、新たに取得した少ない情報量に基づいて移動体の追跡を再開するため、認識している軌跡がどの移動体の軌跡であるのかを精度良く判定できない。
また、カメラの画角内で移動体の位置や大きさが一定条件を満たす場合や、センサが無線タグを検出できる領域内に移動体が存在している場合のような限定的な状況でのみ特徴情報や識別情報を検出することができるため、頻繁に検出できるわけではない。そのため、追跡途切れが頻発する場合には、移動体の識別情報に対応付けられない軌跡が多くなってしまう。また、追跡対象ではない物体を検出する場合、その物体の軌跡はノイズとなる。このようなノイズは、識別情報に対応付けられない軌跡の増加要因となる。
本発明は、上記の事情を鑑みてなされたものであり、識別情報に基づいて軌跡がどの移動体のものであるかを判定することができる移動体軌跡識別システムを提供することを目的とする。また、本発明は移動体軌跡識別方法及び移動体軌跡識別プログラムも提供する。
本発明に係る移動体軌跡識別システムは、過去一定時間に検出された移動体の軌跡の組み合わせである軌跡連結候補を生成する軌跡連結候補生成部と、過去一定時間に検出された移動体の識別情報を軌跡連結候補と組み合わせて軌跡連結候補・識別情報ペアの集合を生成し、その軌跡連結候補・識別情報ペアの集合で所定条件を満たすものを仮説として生成する仮説生成部と、個々の仮説を選択し、選択した仮説に属する軌跡連結候補・識別情報ペアにおいて、その軌跡連結候補が表す軌跡における、識別情報の検出時刻での位置座標毎に、追跡領域内の各位置に対して設定されている識別情報検出の確からしさを表す値を取得し、取得した値に基づいて軌跡連結候補・識別情報ペア毎に識別情報尤度を計算し、軌跡連結候補・識別情報ペア毎に識別情報尤度を統合することにより、選択した仮説に関する識別情報尤度を算出し、各仮説の識別情報尤度に基づいて最尤仮説を推定する尤度計算部を具備する。
本発明に係る移動体軌跡識別方法及びその移動体軌跡識別方法をコンピュータに実行させる移動体軌跡識別プログラムでは、過去一定時間に検出された移動体の軌跡の組み合わせである軌跡連結候補を生成し、過去一定時間に検出された移動体の識別情報を軌跡連結候補と組み合わせて軌跡連結候補・識別情報ペアの集合を生成し、その軌跡連結候補・識別情報ペアの集合で所定条件を満たすものを仮説として生成し、個々の仮説を選択し、選択した仮説に属する軌跡連結候補・識別情報ペアにおいて、その軌跡連結候補が表す軌跡における、識別情報の検出時刻での位置座標毎に、追跡領域内の各位置に対して設定されている識別情報検出の確からしさを表す値を取得し、取得した値に基づいて軌跡連結候補・識別情報ペア毎に識別情報尤度を計算し、軌跡連結候補・識別情報ペア毎に識別情報尤度を統合することにより、選択した仮説に関する識別情報尤度を算出し、仮説の識別情報尤度に基づいて最尤仮説を推定する。
上記において、追跡領域内の位置座標に応じた移動体の識別情報の検出確率を予め定義した確率マップを参照してもよい。また、移動体の軌跡と識別情報が対応付けられる尤もらしさである軌跡・識別情報尤度を参照してもよい。或いは、移動体の属性情報や移動情報を参照してもよい。軌跡連結候補・識別情報ペアにおける軌跡連結候補に含まれる軌跡が連結する尤もらしさである軌跡連結尤度に基づいて最尤仮説を推定してもよい。ここで、閾値以上の軌跡連結尤度に対応した軌跡連結候補を選別して仮説群を生成してもよい。更に、追跡領域内における障害物の場所と、その障害物を移動体が通過する際の移動時間を環境情報として用いたり、追跡領域内の通過可能な経路に沿う移動体の移動時間を表す環境情報を用いてもよい。この場合、軌跡連結候補における軌跡の消失検出時刻から次に軌跡の出現検出時刻までの実移動時間を計算するとともに、環境情報に基づいて移動体の移動時間を推定する。推定移動時間が実移動時間より大きくなる軌跡連結候補は、仮説生成対象の軌跡連結候補群から除外される。
上記のように、複数のパラメータを組み合わせて最尤仮説を推定し、以って、移動体の軌跡が途切れている場合であっても、軌跡の消失部分を高精度に推定することができる。即ち、追跡している移動体の軌跡の途切れが頻発する場合であっても、高精度に移動体の軌跡を連結することができ、以って、追跡性能を大幅に向上せしめることができる。
本発明の実施例1に係る移動体軌跡識別システムを示すブロック図である。 移動体軌跡識別システムにおける移動体軌跡識別装置の構成を示すブロック図である。 移動体軌跡識別装置における尤度計算部の構成を示すブロック図である。 移動体軌跡識別装置の動作を示すフローチャートである。 移動体軌跡識別装置の動作を示すフローチャートである。 追跡領域における各時刻の移動体の軌跡の検出例を示す図である。 追跡領域を複数のセルにグリッド分割し、2台の識別情報検出装置2a、2bによる識別情報確率マップを設定した様子を示す図である。 識別情報検出装置2aの識別情報確率マップを示す図である。 識別情報検出装置2bの識別情報確率マップを示す図である。 識別情報検出装置番号、識別情報、及びその検出時刻の対応関係を示すテーブルである。 追跡領域において、識別情報検出装置2aから得た確率値に基づく軌跡1、軌跡3の推定手順を示す図である。 追跡領域において、識別情報検出装置2bから得た確率値に基づく軌跡1、軌跡3の推定手順を示す図である。 追跡領域において、識別情報検出装置2aから得た確率値に基づく軌跡2、軌跡4の推定手順を示す図である。 追跡領域において、識別情報検出装置2bから得た確率値に基づく軌跡2、軌跡4の推定手順を示す図である。 本発明の実施例2に係る移動体軌跡識別システムにおける移動体軌跡識別装置の構成を示すブロック図である。 移動体軌跡識別装置における尤度計算部の構成を示すブロック図である。 実施例2に係る移動体軌跡識別装置の動作を示すフローチャートである。 実施例2に係る移動体軌跡識別装置の動作を示すフローチャートである。 本発明の実施例3に係る移動体軌跡識別システムにおける移動体軌跡識別装置の構成を示すブロック図である。 移動体軌跡識別装置における尤度計算部の構成を示すブロック図である。 実施例3に係る移動体軌跡識別装置の動作を示すフローチャートである。 実施例3に係る移動体軌跡識別装置の動作を示すフローチャートである。 実施例3における尤度統合の効果を説明するための図である。 本発明の実施例4に係る移動体軌跡識別システムにおける移動体軌跡識別装置の構成を示すブロック図である。 移動体軌跡識別装置における尤度計算部の構成を示すブロック図である。 実施例4に係る移動体軌跡識別装置の動作を示すフローチャートである。 実施例4に係る移動体軌跡識別装置の動作を示すフローチャートである。 本発明の実施例5に係る移動体軌跡識別システムにおける移動体軌跡識別装置の構成を示すブロック図である。 移動体軌跡識別装置における尤度計算部の構成を示すブロック図である。 実施例5に係る移動体軌跡識別装置の動作を示すフローチャートである。 実施例5に係る移動体軌跡識別装置の動作を示すフローチャートである。 本発明の実施例6に係る移動体軌跡識別システムにおける移動体軌跡識別装置の構成を示すブロック図である。 移動体軌跡識別装置における尤度計算部の構成を示すブロック図である。 実施例6に係る移動体軌跡識別装置の動作を示すフローチャートである。 実施例6に係る移動体軌跡識別装置の動作を示すフローチャートである。 本発明の実施例7に係る移動体軌跡識別システムにおける移動体軌跡識別装置の構成を示すブロック図である。 実施例7において、障害物マップの環境情報による軌跡連結候補の棄却判定処理を模式的に示した図である。 軌跡が途切れた軌跡連結候補において、軌跡消失時刻と次の軌跡発生時刻の間の移動体の実移動時間と、軌跡消失位置座標と次の軌跡発生位置座標から算出した推定移動時間とを比較して示す図である。 実施例7において、経路グラフの環境情報による軌跡連結候補の棄却判定処理を模式的に示す図である。 実施例7に係る移動体軌跡識別装置の動作を示すフローチャートである。 本発明の移動体軌跡識別システムの最小構成を示すブロック図である。
本発明の実施例について添付図面を参照して説明する。図面中、対応する部分には同一の符号を付し、重複説明を割愛するものとする。
図1は、本発明の実施例1に係る移動体軌跡識別システムを示すブロック図である。この移動体軌跡識別システムは、位置情報検出装置1、識別情報検出装置2、移動体軌跡識別装置3、及び識別結果出力装置4を具備する。移動体軌跡識別システムは、予め定められた追跡領域50内の移動体の軌跡がどの移動体の軌跡であるかを識別する。即ち、移動体Pがどこに存在しているのかを認識することができる。
移動体Pは、追跡領域50内を自由に移動する。また、移動体Pが追跡領域50の外側に移動してもよい。尚、移動体の種類は特に限定されるものではなく、人間、動物、或いは物でもよい。
位置情報検出装置1は、追跡領域50内における移動体の位置を検出する。以下の説明では、追跡領域50内の位置を2次元座標で検出するものとする。位置情報検出装置1は、追跡領域50内における移動体の2次元位置座標(以下、単に「位置座標」という)とその検出時刻、並びに軌跡IDを一組にして移動体軌跡識別情報3へ出力する。尚、検出した位置座標を位置情報と称してもよい。
軌跡IDは識別情報を構成するものであり、連続して検出に成功した移動体の位置情報に対して同一の移動体の位置情報であることを判別するために割り当てられる。即ち、同一の軌跡IDが割り当てられた位置座標群は、同一の移動体の軌跡を表す。但し、ある時刻において移動体の位置検出に失敗した場合、それまでに検出していた移動体の軌跡は途切れることとなる。そのため、移動体の一検出に失敗した後、再度、移動体の位置検出に成功した場合、当該移動体に対して新しい軌跡IDが割り振られることとなる。実施例1では、軌跡IDを番号形式(即ち、軌跡番号)で表すが、軌跡IDを番号以外の形式で表すようにしてもよい。
位置情報検出装置1は、追跡領域50内での移動体の位置座標を検出し、検出時刻の特定並びに軌跡番号の割当を行なうことができる装置であればよい。例えば、位置情報検出装置1はカメラ、床圧力センサ、GPS(Global Positioning System)などにより実現することができる。
位置情報検出装置1は、追跡領域50全体を死角なく検出できるように設置されることが望ましいが、部分的に検出不可となる死角が生じてもよい。何故なら、移動体軌跡識別装置3が断片化している軌跡を連結し、その軌跡がどの移動体の軌跡であるかを識別することが可能だからである。
識別情報検出装置2は、追跡領域50内における移動体の識別情報を取得する。但し、追跡領域50内に移動体が存在しても、識別情報検出装置2が識別情報を必ず検出できるとは限らず、実際に移動体の識別情報を検出できる確率は追跡領域50内における移動体の2次元位置座標によりことなる。例えば、識別情報検出装置2に近接した位置に存在する移動体の識別情報の検出確率は高く、一方、識別情報検出装置2から離間した位置に存在する移動体の識別情報の検出確率は低い。
図1に示す移動体軌跡識別システムでは、1台の識別情報検出装置2を用いているが、追跡領域50全体を網羅すべく複数台の識別情報検出装置2を設置してもよい。識別情報検出装置2には、それを一意に特定するための識別情報検出装置IDが予め割り当てられている。識別情報検出装置IDは、どの識別情報検出装置2が識別情報を検出したのかを判別するために用いられる。実施例1では、識別情報検出装置IDを番号形式(即ち、識別情報検出装置番号)で表しているが、番号以外の形式で表すようにしてもよい。
識別情報検出装置2は、検出した識別情報とその検出時刻、及びその識別情報検出装置番号を一組にして移動体軌跡識別装置3へ出力する。識別装置検出装置2が移動体の識別情報の検出を試みたが検出できなかった場合、識別情報を「なし」として、その時刻及び識別情報検出装置番号を移動体軌跡識別装置3へ出力する。或いは、識別情報検出装置2が移動体軌跡識別装置3に対して識別情報を出力しないことにより、移動体軌跡識別装置3がその時刻に識別情報が検出されなかったと判定するようにしてもよい。
識別情報検出装置2は、識別情報を検出し、かつ、その検出時刻及び識別情報検出装置番号を特定できる装置であればよい。例えば、移動体にアクティブRFIDタグを添付し、それを識別情報として用いる場合、識別情報検出装置2としてRFIDリーダを採用することができる。移動体が人物である場合、人物の顔、指紋、静脈などを識別情報とし、そのような識別情報の読取り装置を識別情報検出装置2として採用することができる。また、顔認証装置やRFIDリーダのように、異なる検出対象について識別情報を検出する装置を併用してもよい。
複数の識別情報検出装置2を設置して追跡領域50を網羅する場合、各識別情報検出装置2の検出領域が互いに重複するように設置してもよい。或いは、検出領域が互いに重複しないように設置してもよい。
位置情報検出装置1による位置座標検出と、識別情報検出装置2による識別情報検出とは同期させる必要がある。即ち、同じ時刻に、位置情報検出装置1が移動体の位置座標を検出し、識別装置検出装置2が識別情報を検出する。位置情報検出装置1と識別情報検出装置2が夫々非同期に位置座標と識別情報を検出する場合には、移動体軌跡識別装置3が位置座標と識別情報を一定時間バッファリングしておき、一定時間毎にバッファに蓄積された位置座標と識別情報を使用するようにしてもよい。また、位置情報検出装置1と識別情報検出装置2との間で時刻同期がとられていない場合には、移動体軌跡識別装置3が同時に入力した位置座標と識別情報に対して同じ検出時刻を設定するようにしてもよい。
移動体軌跡識別装置3は、位置情報検出装置1から送出される位置情報と、識別情報検出装置2から送出される識別情報とを用いて、移動体軌跡がどの移動体の軌跡であるかを判定する。位置情報検出装置1による追跡が途切れた場合には、移動体軌跡が断片的に検出される。この場合、移動体軌跡識別情報3は軌跡番号に応じた移動体軌跡の組合せを軌跡連結候補として設定し、尤も可能性が高い識別情報と軌跡連結候補の組合せを判定する。このため、軌跡連結候補は断片化している移動体軌跡を連結したものであると言える。
図2は、移動体軌跡識別装置3の構成を示すブロック図である。移動体軌跡識別装置3は、位置情報検出装置1、識別情報検出装置2及び識別結果出力装置4と接続される。移動体軌跡識別装置3は、断片化した移動体軌跡の連結処理を行なう軌跡連結候補生成部31、軌跡連結候補と識別情報の組の集合を仮説として生成する仮説生成部32、仮説の尤度を計算し、尤度の最も高い仮説を特定する尤度計算部33、及びマップ記憶部37を具備する。ここで、1つの仮説を特定することで軌跡連結候補と識別情報の組の集合が定まる。これは、検出された移動体軌跡と追跡領域50内の移動体Pとの相関関係が定まったことを意味する。
軌跡連結候補生成部31は、位置情報検出装置1から位置情報(即ち、位置座標)とその検出時刻、並びに軌跡番号との組が入力される。同一の軌跡番号が割り当てられた位置座標であって、現時刻から過去に一定時間遡った時刻との間の時間帯に検出された位置座標の集合が1つの移動体軌跡を表す。軌跡連結候補生成部31は、個々の移動体軌跡の組合せを生成し、各組合せを軌跡連結候補として仮説生成部32に出力する。
軌跡連結候補生成部31は、軌跡の数がN個の場合、1個の軌跡を含む軌跡連結候補からN個の軌跡を含む軌跡連結候補までの全てを生成する。例えば、3つの軌跡が得られた場合、軌跡連結候補生成部31は1個の軌跡を含む軌跡連結候補として「軌跡1」、「軌跡2」、「軌跡3」を生成する。また、2個の軌跡を含む軌跡連結候補として「軌跡1、軌跡2」、「軌跡1、軌跡3」、「軌跡2、軌跡3」を生成する。更に、3個の軌跡を含む軌跡連結候補として「軌跡1、軌跡2、軌跡3」を生成する。このように、3個の軌跡について、軌跡連結候補生成部31は7個の軌跡連結候補を生成する。尚、軌跡連結候補生成部31は同一の軌跡を組み合わせて軌跡連結候補を生成しない。このため、軌跡連結候補において軌跡番号の重複は生じない。
また、同時刻に位置座標が検出された複数の軌跡が軌跡連結候補に含まれる場合も生じる。例えば、「軌跡1、軌跡2」という軌跡連結候補において、軌跡1の位置座標と軌跡2の位置座標が同時刻に検出される場合、軌跡連結候補生成部31は同時刻に検出された位置座標の重心点を算出する。例えば、軌跡1の座標Aと軌跡2の座標Bが同時刻に検出された場合、軌跡連結候補生成部31は座標A、Bの重心点(即ち、2つの座標の中点)を計算する。同時刻に検出された他の座標の組に関しても同様の計算を行なう。後述の識別情報尤度を計算する際にも座標を参照するが、同時刻に検出された座標が複数ある場合には、軌跡連結候補生成部31は複数の座標の重心点を計算して参照する。
仮説生成部32は、識別情報検出装置2から識別情報とその検出時刻、及び識別情報検出装置番号を入力し、それらの対応関係を保持する。また、仮説生成部32は軌跡連結候補と識別情報の組合せを全て生成し、これを仮説として尤度計算部33に出力する。
次に、仮説の生成手順について詳細に述べる。先ず、仮説生成部32は、軌跡連結候補生成部31から入力した軌跡連結候補と、現時刻から過去に一定時間遡った時刻との間の時間帯に識別情報検出装置2により検出された識別情報に基づいて、軌跡連結候補と識別情報との全ての組合せを生成する。
位置情報検出装置1及び識別情報検出装置2において軌跡および識別情報の過検出や検出漏れが発生する可能性を考慮すると、実際には対応する相手が存在しない軌跡や識別情報が検出される事態も想定される。ここで、軌跡の過検出とは、追跡対象以外の物体の軌跡を誤って検出することを意味する。即ち、識別情報の過検出とは、RFIDタグを有する移動体が追跡領域外に存在しているにも拘らず、電波干渉の影響で追跡領域内に設置しているRFIDリーダが当該識別情報を検出してしまう場合や、移動体である人物が生体認証(顔認証)を利用した識別情報検出装置2の前を通過した際に、識別情報を誤って検出してしまう場合を意味する。また、軌跡の検出漏れとは、位置情報検出装置1の死角となる場所を移動している移動体の軌跡を検出できない場合を意味する。識別情報の検出漏れとは、RFIDタグを有する移動体がRFIDリーダの検知範囲内に存在しているにも拘らず、電波干渉の影響で受信電波が弱まり識別情報が検出されない場合や、移動体である人物が生体認証(顔認証)を利用した識別情報検出装置2の前を通過した際に、理想的な顔の向きや大きさの画像を取得できず、識別情報を検出できなかった場合を意味する。このような不具合に対応するため、仮説生成部32は全ての軌跡連結候補及び識別情報について、対応する相手(即ち、対応する軌跡連結候補や識別情報)が存在しない状態を示す情報との組も生成する。尚、対応する相手が存在しないことを表す情報を「unknown」という文字列で表現する。例えば、軌跡連結候補生成部31が軌跡連結候補T1、T2、・・・、Tnを生成し、かつ、識別情報検出装置2が識別情報ID1、ID2、・・・、IDmを検出した場合、仮説生成部32は(T1,unknown)、(T2, unknown)、・・・、(Tn,unknown)という組や、(unknown,ID1)、(unknown,ID2)、・・・、(unknown,IDm)という組も生成して、前記の軌跡連結候補と識別情報との組に追加する。
尚、軌跡連結候補と識別情報との組を「軌跡連結候補・識別情報ペア」と記す。また、「unknown」を含む組も軌跡連結候補・識別情報ペアに該当する。
仮説生成部32は、所定の条件を満たす軌跡連結候補・識別情報ペアの集合を選択して仮説として設定する。尚、所定の条件を満たす軌跡連結候補・識別情報ペアの集合は複数存在し得る。このため、仮説生成部32は所定の条件を満たす軌跡連結候補・識別情報ペアの集合を全て抽出し、個々の集合を夫々の仮説として設定する。
軌跡連結候補・識別情報ペアの集合を仮説として設定するための所定の条件として以下の3つの条件が挙げられる。
第1の条件は、仮説に属する軌跡連結候補・識別情報ペアの間で軌跡の重複及び識別情報の重複が生じないことである。例えば、4つの軌跡k1、k2、k3、k4について識別情報ID1、ID2が検出されている場合、[{(k1,k2),ID1},{(k1,k3,k4)、ID2}]という集合では、軌跡k1が重複しているので、第1の条件を満たさない。[{(k1,k2),ID1},{(k3,k4)、ID1}]という集合では、識別情報ID1が重複しているので第1の条件を満たさない。一方、[{(k1,k2),ID1},{(k3,k4)、ID2}]という集合では、軌跡及び識別情報のいずれも重複していないので、第1の条件を満たす。ここで、(k1,k2)は軌跡連結候補を表し、{(k1,k2)、ID1}は軌跡連結候補・識別情報ペアを表す。また、仮説において1つの移動体の軌跡は、1つの軌跡連結候補に纏められることを前提とする。仮説は、各軌跡がどの移動体の軌跡であるかを決定するために用いる候補であり、軌跡や識別情報の重複を含む仮説は適切な候補とは言えないため、第1の条件を設けた。
但し、識別情報として用いられる「unknown」の重複については許可する。即ち、識別情報において「unknown」が重複していても、そのことによって直ちに第1の条件が満たされないと判断される訳ではない。
第2の条件は、軌跡番号で識別される個々の軌跡が全て軌跡連結候補・識別情報ペアに属する軌跡連結候補に含まれていることである。上記のように軌跡k1乃至k1及び識別情報ID1、ID2が検出されている場合、[{(k1,k2),ID1}]という集合では、軌跡連結候補・識別情報ペアにおいて軌跡k1、k2しか含まれておらず、k3、k4は含まれていない。従って、第2の条件を満たしていない。一方、[{(k1,k2),ID1},{(k3,k4)、ID2}]という集合では、軌跡連結候補・識別情報ペアにおいて全ての軌跡k1乃至k4が含まれているので、第2の条件を満たしている。
第3の条件は、軌跡連結候補・識別情報ペアの集合の中に、少なくとも1つ、識別情報が「unknown」でない軌跡連結候補・識別情報ペアを含むことである。上記のように、軌跡k1乃至k1及び識別情報ID1、ID2が検出されている場合、[{(k1,k2),unknown},{(k3,k4)、unknown}]という集合に含まれる2つの軌跡連結候補・識別情報ペアにおいて識別情報が「unknown」であるため、第3の条件を満たさない。一方、[{(k1,k2),ID1},{(k3,k4)、unknown}]という集合には、識別情報が「unknown」でない軌跡連結候補・識別情報ペアが含まれているので、第3の条件を満たす。
仮説生成部32は、第1の条件乃至第3の条件を満たす軌跡連結候補・識別情報ペアの集合を全て仮説として選択する。例えば、識別情報としてID1、ID2が検出されている場合、1つの軌跡連結候補・識別情報ペアがID1を含み、他の軌跡連結候補・識別情報ペアが識別情報として「unknown」を含む集合も仮説として成立する。同様に、1つの軌跡連結候補・識別情報ペアがID2を含み、他の軌跡連結候補・識別情報ペアが識別情報として「unknown」を含む集合も仮説として成立する。更に、1つの軌跡連結候補・識別情報ペアがID1を含み、他の軌跡連結候補・識別情報ペアがID2を含み、更に他の軌跡連結候補・識別情報ペアが識別情報として「unknown」を含む集合も仮説として成立する。識別情報が「unknown」ではない軌跡連結候補・識別情報ペアのみからなる集合も仮説として成立する。仮説生成部32は、第1の条件乃至第3の条件を満たす全ての集合を仮説として選択して網羅することができる。
マップ記憶部37は、識別情報尤度マップを記憶する。尚、識別情報尤度マップについては後述する。
実施例1において、尤度計算部33は仮説毎に2種類の尤度を計算する。第1の尤度は、仮説に属する軌跡連結候補・識別情報ペアにおける軌跡連結候補に含まれる軌跡の連結の尤もらしさである。第1の尤度を軌跡連結尤度と記す。第2の尤度は、軌跡連結候補・識別情報ペアにおける軌跡連結候補が表す起動について識別情報が検出される尤もらしさである。第2の尤度を識別情報尤度、或いは識別情報検出尤度と記す。軌跡連結候補が表す軌跡をSとし、識別情報をOとすると、識別情報尤度は条件付き確率P(OiS)として表される。
尚、識別情報尤度は軌跡連結候補・識別情報ペア毎に算出され、仮説に属する軌跡連結候補・識別情報ペアの識別情報尤度を統合した結果が当該仮説の識別情報尤度となる。
図3は、実施例1における尤度計算部の構成を示すブロック図である。尤度計算部33は、尤度計算制御部330、軌跡連結尤度計算部331、及び識別情報尤度計算部332を具備する。尤度計算制御部330は、尤度の計算が行なわれていない仮説を軌跡連結尤度計算部331及び識別情報尤度計算部332へ出力する。軌跡連結尤度計算部331は、仮説に属する軌跡連結候補・識別情報ペア毎に軌跡連結候補の軌跡連結尤度を計算する。識別情報尤度計算部332は、仮説毎に軌跡連結候補・識別情報ペアにおける識別情報尤度を計算する。また、識別情報尤度計算部332は、2種類の尤度(即ち、軌跡連結尤度及び識別情報尤度)の計算結果を統合した結果を仮説の尤度とし、尤度が尤も高い仮説を示す最尤推定結果を識別結果出力装置4へ送出する。
次に、軌跡連結尤度計算部331による軌跡連結候補の計算について説明する。説明を簡単にするため、軌跡連結候補が2つの軌跡の組み合わせである場合の計算について説明する。
ここで、軌跡連結候補の組み合わせにおいて、同時刻に重複して検出された軌跡を組み合わせる場合と、異なる時刻に独立に検出された軌跡を組み合わせる場合がある。
先ず、同時刻に重複して検出された軌跡を組み合わせた軌跡連結候補に対する軌跡連結尤度の計算について説明する。軌跡連結尤度計算部331は、各軌跡において同時刻に検出された座標間のユークリッド距離を計算し、ユークリッド距離が短いほど軌跡連結尤度が高く、ユークリッド距離が長いほど軌跡連結尤度が低くなるように軌跡連結尤度を決定すればよい。同時刻に軌跡が検出されているということは、同時刻に検出された座標の組が複数存在する可能性が高いことを示唆している。具体的には、軌跡連結尤度計算部331は同時刻に検出された座標同士のユークリッド距離をその座標の組毎に計算し、その平均値を計算する。座標の組毎に計算されるユークリッド距離の平均値が小さいほど軌跡連結尤度が高く、当該平均値が大きいほど軌跡連結尤度が低くなるように軌跡連結尤度を決定する。ここでは、座標間のユークリッド距離の平均値を用いて軌跡連結尤度を決定するようにしたが、平均値の代わりに分散値を用いてもよい。2つの軌跡間で座標の同時検出の開始時刻及び終了時刻が完全に一致していない場合には、2つの軌跡の座標が同時に検出されている時間帯について上記の処理を行なう。
軌跡連結尤度計算部331は、各軌跡の移動ベクトルを算出し、その移動ベクトルのコサイン類似度を軌跡連結尤度として計算するようにしてもよい。各軌跡の移動ベクトルは、2つの軌跡において座標の同時検出を開始する際の座標を始点とし、座標の同時検出を終了する際の座標を終点とするベクトルである。ここで、軌跡連結尤度計算部331は移動ベクトルV1、V2について数式1に従って計算を行なうことにより、コサイン類似度cosθを計算して、軌跡連結尤度を決定する。
Figure 0005682563
数式1において、<V1,V2>は移動ベクトルV1、V2の内積を意味し、‖V1‖は移動ベクトルV1のノルムを意味し、‖V2‖は移動ベクトルV2のノルムを意味する。
尚、尤度計算部33において軌跡連結尤度の閾値を予め定めておき、その閾値未満の軌跡連結尤度について、以降、処理対象から除外するようにしてもよい。
次に、異なる時刻に独立して検出された軌跡を組み合わせた軌跡連結候補に対する軌跡連結尤度の計算について説明する。ここで、軌跡連結尤度計算部331は先に生じた軌跡の消失時の時刻及び位置座標と、後に生じた軌跡の出現時の時刻及び位置座標に基づき、移動体の移動速度を計算する。軌跡連結尤度計算部331は、予め移動体の移動モデルとして設定していた移動速度と実際に計算した移動速度との誤差が小さいほど軌跡連結尤度が高く、当該誤差が大きいほど軌跡連結尤度が低くなるように軌跡連結尤度を計算する。
また、移動体が途中で停留する場合を考慮して、計算した移動速度から予め設定した移動モデルの移動速度を減算した誤差が負値となる場合には、軌跡連結尤度が下がりにくく、当該誤差が正値になる場合には軌跡連結尤度が下がりやすくなるように異なる尤度関数を定めてもよい。具体的には、予め追跡の途切れが発生時における移動速度のデータを収集しておき、収集した移動速度データと移動モデルの移動速度との誤差が正値となる集合と、負値となる集合とに分け、夫々の集合毎に誤差の平均値と分散値を算出する。正の誤差の集合に対して複製を生成し、符号を負に変換した集合を元の集合に加えることにより平均をゼロとする。一方、負の誤差の集合に対して複製を生成し、符号を正に変換した集合を元の集合に加えて平均をゼロとする。各集合に含まれる誤差の分布は正規分布になると仮定し、正の誤差の集合の平均をμsとし、分散をσsとする。同様に、負の誤差の集合の平均をμmとし、分散をσmとする。この場合、確率密度関数は数式2により定義される。
Figure 0005682563
軌跡連結尤度計算部331は、計算誤差(即ち、計算した移動速度から移動モデルについて予め設定した移動速度を減算した値)を変数xとして数式2に代入し、軌跡連結尤度を計算する。
また、異なる時刻に独立して検出した軌跡を組み合わせた軌跡連結候補についても軌跡連結尤度の閾値を予め定めておき、その閾値未満の軌跡連結尤度は、以降、処理対象から除外する。
上記の処理は、軌跡連結候補が2つの軌跡の組み合わせである関するものであるが、軌跡連結候補が3つ以上の軌跡の組み合わせである場合については、軌跡連結尤度計算部331は以下の手順に従って軌跡連結尤度を計算する。
先ず、軌跡連結尤度計算部331は軌跡連結候補に含まれる各軌跡について、その消失時刻が早いほうから順序づける。
次に、軌跡連結尤度計算部331は順番が隣り合う2つの軌跡の夫々について、軌跡連結尤度を計算する。即ち、軌跡連結尤度計算部331は軌跡消失時刻の順番が1番目及び2番目の軌跡について、軌跡連結尤度を計算する。同様に、軌跡消失時刻の順番が2番目及び3番目の軌跡について軌跡連結尤度を計算し、軌跡消失時刻の順番が3番目及び4番目の軌跡について軌跡連結尤度を計算する。尚、順番が隣り合う2つの軌跡に係る軌跡連結尤度の計算については前述の方法を用いるものとする。
上記のように、順番が隣り合う軌跡の組について軌跡連結尤度を計算した後、軌跡連結尤度計算部331は計算結果の軌跡連結尤度を積算し、その積算回数の累乗根を算出する。この計算結果を3つ以上の軌跡の組み合わせに係る軌跡連結尤度とする。尚、累乗根の計算は、軌跡連結尤度に対する正規化処理となる。
軌跡連結尤度計算部331は、1つの軌跡しか含まれていない軌跡連結候補の軌跡連結尤度を定数(例えば、「1」)とする。
識別情報尤度計算部332は、仮説生成部32で生成した各仮説について識別情報尤度を計算する。
識別情報尤度計算部332は、予め識別情報検出装置2毎に定められた識別情報確率マップを参照して識別情報尤度を計算する。識別情報確率マップとは、追跡領域50をグリッド分割し、分割した各セル内において識別情報が識別情報検出装置2により検出される確率を0〜1の間の数値で定義したマップである。
このように、識別情報の検知領域をその領域内外の2値で定義するのではなく、追跡領域50全域について識別情報が検出される確率分布を定義することにより、移動体が追跡領域50のどこに位置していても、その位置における識別情報の検出確率を取得することができる。そして、識別情報尤度計算部332は軌跡連結候補・識別情報ペアにおける識別情報尤度を計算する。識別情報尤度計算部332は、現時点から過去一定期間内で検出された識別情報の検出確率を識別情報確率マップにて参照して識別情報尤度を計算するので、現時点で検出されたしだけに依存せずに、軌跡と識別情報との対応関係の判定を行なうことができる。例えば、現時点における識別情報の検出確率が低くても、移動体が過去に検出確率の高い場所を通過していたならば、高い精度で軌跡と識別情報との対応関係を判定できる。
識別情報尤度計算部332は、1つの仮説に対して以下の手順で識別情報尤度を計算する。
先ず、識別情報尤度計算部332は仮説に含まれる軌跡連結候補・識別情報ペアを夫々抽出する。そして、識別情報尤度計算部332は軌跡連結候補・識別情報ペア毎に識別情報尤度を計算して積算する。各仮説に含まれる軌跡連結候補・識別情報ペアの数は一定ではなく、識別情報尤度が算出されない軌跡連結候補・識別情報ペアも存在する。そのため、識別情報尤度計算部332は軌跡連結候補・識別情報ペア毎に計算した識別情報尤度の積算結果を正規化する。
個々の軌跡連結候補・識別情報ペアについて識別情報尤度を計算する場合、識別情報尤度計算部332は着目している軌跡連結候補・識別情報ペアの識別情報が検出された検出時刻、及び識別情報を検出した識別情報検出装置2の識別情報検出装置番号を参照する。更に、識別情報尤度計算部332は識別情報検出装置番号に対応する識別情報確率マップを選択する。識別情報検出装置番号毎の識別情報確率マップは、マップ記憶部37に予め記憶される。尚、識別情報尤度計算部332は識別情報及びその検出時刻、当該識別情報を検出した識別情報検出装置2の識別情報検出装置番号との対応関係を仮説生成部32から取得する。
識別情報尤度計算部332は、移動体の位置座標、その検出時刻、及び軌跡番号との対応関係を軌跡連結候補生成部31から提供される。軌跡連結候補に含まれる異なる軌跡の位置座標が同時刻に検出されている場合には、その重心点の座標も軌跡連結候補生成部31から提供される。識別情報尤度計算部332は、識別情報の検出時刻における軌跡連結候補の位置座標を参照し、当該位置座標が識別情報確率マップのどのセルに該当するかを判定し、以って、該当するセルに定義されている識別情報尤度を取得する。尚、軌跡連結候補に含まれる軌跡の位置座標が同時刻に検出され、その重心点が算出されている場合には、識別情報尤度計算部332はその重心点の座標に対応するセルを特定し、当該セルに定義されている識別情報尤度を取得する。
識別情報尤度計算部332は、全ての識別情報検知時刻において得られる識別情報尤度を積算する。この積算結果が、着目している軌跡連結候補・識別情報ペアの識別情報尤度となる。
尚、識別情報尤度計算部332は識別情報尤度を計算できない軌跡連結候補・識別情報ペアについては識別情報尤度を計算しない。即ち、識別情報又は軌跡連結候補が「unknown」となっている軌跡連結候補・識別情報ペアについては識別情報尤度を計算しない。
識別情報尤度計算部332は、仮説に属する軌跡連結候補・識別情報ペア毎に識別情報尤度を計算して積算し、正規化することによりその仮説全体の識別情報尤度を求める。軌跡連結候補・識別情報ペア毎の識別情報尤度はいずれも識別情報確率マップで規定された確率値の積に相当するため、軌跡連結候補・識別情報ペア毎の識別情報尤度の積算結果も確率値の積に相当する。従って、識別情報確率マップで規定された確率値の何個分の積を計算しているのかを特定し、軌跡連結候補・識別情報ペア毎の識別情報尤度の積算結果に対して、確率値の個数の累乗根をとることにより正規化を行なう。この正規化により、仮説に属する軌跡連結候補・識別情報ペアの個数が異なっていても、仮説同士で識別情報尤度を適切に比較することができる。
識別情報尤度計算部332は、上記の手順を繰り返すことにより全ての仮説について識別情報尤度を計算する。
また、識別情報尤度計算部332は仮説毎に軌跡連結尤度及び識別情報尤度を統合し、以って、仮説全体の尤度を計算する。尤も高い尤度を有する仮説が、軌跡と識別情報との関係を最適に表していると言える。識別情報尤度計算部332は、最も高い尤度を有する仮説を選択して、識別結果出力装置4に出力する。
識別結果出力装置4は、識別情報尤度計算部332から送出された仮説(即ち、最尤推定結果)に基づいて、軌跡と移動体との対応関係を提示する。仮説に属している個々の軌跡連結候補・識別情報ペアが軌跡と識別情報との対応関係を表しているので、仮説内の軌跡連結候補・識別情報ペアに基づいてどの軌跡がどの移動体に対応するかを判定して提示する。このとき、現時刻の位置座標若しくは過去一定時間の軌跡も同時に提示する。識別結果出力装置4は、例えば、表示装置により構成される。即ち、識別結果出力装置4は、ディスプレイを具備し、当該ディスプレイに軌跡と移動体の対応関係を表示する。尚、識別結果出力装置4の出力態様は表示態様に限定されるものではなく、印刷出力などの他の出力態様であってもよい。
軌跡連結候補生成部31、仮説生成部32、及び尤度計算部33(即ち、尤度計算制御部330、軌跡連結尤度計算部331、及び識別情報尤度計算部332)は、例えば、移動体軌跡識別プログラムに従って動作するコンピュータのCPUにより実現される。即ち、コンピュータのプログラム記憶装置(図示省略)が移動体軌跡識別プログラムを記憶し、CPUが移動体軌跡識別プログラムを読み込み、当該プログラムに従って軌跡連結候補生成部31、仮説生成部32、及び尤度計算部33の各機能を実現する。尚、軌跡連結候補生成部31、仮説生成部32、及び尤度計算部33を夫々別個のハードウェアで実現するようにしてもよい。また、尤度計算制御部330、軌跡連結尤度計算部331、及び識別情報尤度計算部332についても別個のハードウェアで実現するようにしてもよい。
次に、移動体軌跡識別装置3の動作について図4及び図5に示すフローチャート並びに図6乃至図14に示す具体例を参照して詳細に説明する。
図6は、追跡領域50内を移動する移動体A及び移動体Bについて時刻t1〜t9における位置及び軌跡番号を示す。ここでは、移動体Aの軌跡が軌跡1及び軌跡3に相当し、移動体Bの軌跡が軌跡2及び軌跡4に相当するものとする。また、移動体Aのみの識別情報が検出可能であり、移動体Bの識別情報の登録を行なっておらず、対応する識別情報が存在しないものとする。
図7は、追跡領域に設置した識別情報検出装置2a及び識別情報検出装置2bの位置、並びに識別情報確率マップを定義するためのグリッド分割を示しており、左下角を原点(0,0)とし、任意の位置座標をp(x,y)で表すものとする。また、識別情報確率マップ上の任意のセルの座標をc(a,b)で表すものとする。セルの分割数は任意に設定してよいが、図7では、a方向に0〜8、b方向に0〜4の範囲に設定している。即ち、識別情報検出装置2a、2bは夫々セル座標c(0,4)、c(8,0)に配置されている。
図7に示す識別情報確率マップの各セルにおいて、各識別情報検出装置の検出特性に従って0〜1の範囲の確率値を定義する。ここでは、2台の識別情報検出装置2a、2bの夫々について各セルにおける識別情報の検出確率値を設定する。図8は、識別情報検出装置2aの識別情報確率マップを示し、図9は識別情報検出装置2bの識別情報確率マップを示す。
仮説生成部32は、識別情報検出装置2a、2bから識別情報、その検出時刻、及び識別情報検出装置番号を入力し、その対応関係を保持する。図10は、この対応関係を格納するテーブルを示す。このテーブルは、各時刻毎に、どの識別情報検出装置番号の識別情報検出装置がその識別情報を検出したのかを格納する。ここでは、時刻t1〜t9における識別情報検出装置毎の識別情報の検出の有無が示される。例えば、識別情報検出装置2aが時刻t1、t2において識別情報ID1を検出し、一方、識別情報検出装置2bが時刻t8、t9において識別情報ID1を検出している。図10のテーブルにおいて空欄は、識別情報検出装置2a、2bにより識別情報が検出されなかったことを表している。
図11、図12、図13、及び図14は追跡領域の識別情報確率マップ上での識別情報の検出確率値の取得手順を説明する図である。
次に、移動体軌跡識別装置3の動作について具体的に説明する。
先ず、軌跡連結候補生成部31は、位置情報検出装置1から軌跡番号、検出時刻、及び位置座標の組を取得する(ステップS1)。図6に示すように複数の座標を時刻順に検出した場合、位置情報検出装置1は軌跡番号、検出時刻、及び位置座標の組として、例えば時刻t1について、{1,t1,p(30,80)}と{2,t1,p(25,10)}の組を移動体軌跡識別装置3の軌跡連結候補生成部31に出力する。時刻t1以降の時刻t2、t3、・・・についても軌跡番号、検出時刻、及び位置座標の組が軌跡連結候補生成部31に提供される。
軌跡連結候補生成部31は、現時刻(即ち、情報入力した最新の時刻)から過去一定時間における位置情報検出装置1から出力された位置情報を保持する。軌跡連結候補生成部31は、ステップS1で最新の軌跡番号、検出時刻、及び位置座標の組を入力すると、最新の位置情報として追加記憶し、一番古い位置情報を削除することで、位置情報の履歴の更新を行なう(ステップS2)。例えば、軌跡連結候補生成部31が、時刻t1〜tn−1に関して、軌跡番号、検出時刻、及び位置座標の組を保持している状態で、時刻tnに関する軌跡番号、検出時刻、及び位置座標の組を取得すると、時刻tnにおける位置情報を新たに記憶し、一方、時刻t1に関する軌跡番号、検出時刻、及び位置座標の組を廃棄する。
軌跡連結候補生成部31が取得した現時刻から過去に一定時間遡った期間内の位置情報において、同一の軌跡番号と組になる位置座標の集合が1つの軌跡を現す。ステップS2の後、軌跡連結候補生成部31は軌跡番号をキーとして位置情報を組み合わせることにより軌跡連結候補を生成して仮説生成部32へ出力する(ステップS3)。例えば、図6に示す軌跡1乃至軌跡4が検出された場合、軌跡連結候補生成部31は軌跡連結候補1=(軌跡1、軌跡3)、軌跡連結候補2=(軌跡2、軌跡4)、軌跡連結候補3=(軌跡1、軌跡4)、・・・を生成する。軌跡の数がN個である場合、軌跡連結候補生成部31は1個の軌跡を含む軌跡連結候補からN個の軌跡を含む軌跡連結候補までの全てを生成する。即ち、軌跡連結候補生成部31は上記のように2つの軌跡を含む軌跡連結候補だけでなく、(軌跡1)、(軌跡2)、・・・のように1つの軌跡を含む軌跡連結候補や、(軌跡1、軌跡2、軌跡3)、(軌跡1、軌跡2、軌跡4)、・・・のように3つの軌跡を含む軌跡連結候補や、(軌跡1、軌跡2、軌跡3、軌跡4)のように4つの軌跡を含む軌跡連結候補を生成する。また、同時刻に検出された軌跡を組み合わせた軌跡連結候補も生成する。
軌跡連結候補生成部31は、生成した軌跡連結候補において異なる軌跡の一座標が同時刻に検出されている場合には、その重心点の位置座標も計算する。
また、軌跡連結候補生成部31は過去一定時間における軌跡番号、検出時刻、及び位置座標の組(即ち、ステップS2の更新処理で得られる軌跡番号、検出時刻、及び位置座標の組)を自身で記憶するだけでなく、尤度計算部33に出力する。異なる軌跡の位置座標であって同時刻に検出された位置情報の重心点を計算している場合には、その重心点も尤度計算部33に出力する。軌跡連結候補生成部31は、これらの情報を仮説生成部32を介して尤度計算部33に出力する。
仮説生成部32は、識別情報検出装置2から検出時刻、識別情報、及び識別情報検出装置番号の組を取得する(ステップS4)。即ち、識別情報検出装置2は移動体の識別情報を検出すると、その関連情報とともに仮説生成部32に提供する。仮説生成部32は、検出時刻、識別情報、及び識別情報検出装置番号の対応関係を図10に示すテーブルに保持する。
仮説生成部32は、現時刻(即ち、最新の情報を入力した時刻)から過去一定時間において識別情報検出装置2から取得した識別情報を保持する。仮説生成部32は、最新の検出時刻における識別情報及び識別情報検出装置番号を取得すると、それらを図10に示すテーブルの追加登録し、一番古い識別情報を削除する(ステップS5)。例えば、仮説生成部32が時刻t1〜tn−1における検出時刻、識別情報、及び識別情報検出装置番号の組を保持している場合、最新の時刻tnにおける検出時刻、識別情報、及び識別情報検出装置番号の組を取得すると、その時刻tnに関して取得した識別情報を図10に示すテーブルに登録し、一方、時刻t1に関する識別情報を破棄する。
仮説生成部32は、更新後のテーブル内容を自身で記憶するだけでなく、尤度計算部33に出力する。
また、仮説生成部32はステップS5で更新したテーブルに格納されている識別情報と、ステップS3軌跡連結候補生成部31から入力された軌跡連結候補を用いて、両者の組、即ち軌跡連結候補・識別情報ペアを生成する(ステップS6)。図6及び図10に示す例では、仮説生成部32は{(軌跡1,軌跡3),ID1}、{(軌跡2,軌跡4),ID1}、・・・の軌跡連結候補・識別情報ペアを生成する。ここでは、軌跡連結候補に2つの軌跡を含むものとしたが、軌跡連結候補に含まれる軌跡の数は2に限定されない。また、仮説生成部32は、ステップS6において、対応する相手が存在しないことを示す「unknown」を含む軌跡連結候補・識別情報ペアも生成する。従って、{(軌跡1,軌跡3),unknown}、{(軌跡2,軌跡4),unknown}、{(軌跡1,軌跡4),unknown}などの軌跡連結候補・識別情報ペアも生成する。
ステップS6の後、仮説生成部32は第1の条件乃至第3の条件を満足する軌跡連結候補・識別情報ペアの集合を全て生成する(ステップS7)。尚、1つの軌跡連結候補・識別情報ペアの集合が1つの仮説を構成する。仮説生成部32は、仮説群を尤度計算部33に出力する。
尤度計算部33の尤度計算制御部330は、ステップS7で生成された仮説群のうち、尤度の計算が未だ行われていない仮説があるか否かを判定する(ステップS8)。尤度の計算処理(具体的には、ステップS9乃至ステップS11)が未だ行なわれていない仮設がある場合(即ち、ステップS8の判定結果「Yes」)、尤度計算制御部330は尤度未計算の仮説のうちの1つを軌跡連結尤度計算部331及び識別情報尤度計算部332に出力する。
軌跡連結尤度計算部331は、尤度未計算の仮説を入力すると、その仮説に属する軌跡連結候補・識別情報ペア毎に軌道連結尤度を計算する(ステップS9)。
図6に示す軌跡1と軌跡3の軌跡連結尤度を計算する場合、軌跡1の消失時刻t4と軌跡3の出現時刻t6、並びに軌跡1の消失位置座標p(90,60)と軌跡3の出現位置座標p(130,55)に基づき、軌跡1の消失から軌跡3の出現までの移動速度を計算する。この移動速度と予め定義した移動速度との誤差を計算し、当該誤差をパラメータとする尤度関数から軌跡連結尤度を取得する。尚、軌跡連結尤度の計算方法はこの方法に限定されるものではなく、他の方法であってもよい。
また、同時刻に検出された軌跡の軌跡連結尤度の計算方法や、3つ以上の軌跡を含む軌跡連結尤度の計算方法については既に説明しているので、ここではその詳細説明を省略する。尚、ステップS9の計算において、軌跡連結尤度計算部331は軌跡連結候補生成部331から提供される過去一定時間における位置情報、検出時刻、及び軌跡番号の組を参照すればよい。
ステップS9において、軌跡連結尤度計算部331は仮説に属する軌跡連結候補・識別情報ペア毎に軌道連結尤度を計算するので、仮説に属する軌跡連結候補・識別情報ペアの数に相当する軌跡連結尤度が算出される。
識別情報尤度計算部332は、尤度未計算の仮説を入力すると、その仮説の識別情報尤度を計算する(ステップS10)。ステップS10において、識別情報尤度計算部332は仮説に属する軌跡連結候補・識別情報ペア毎の識別情報尤度を計算して積算した結果を正規化し、その正規化値を識別情報尤度とする。但し、識別情報尤度計算部332は軌跡連結候補又は識別情報が「unknown」である軌跡連結候補・識別情報ペアについては識別情報尤度を計算せず、それ以外の軌跡連結候補・識別情報ペアについて算出した識別情報尤度のみを積算して正規化する。
[{(軌跡1,軌跡3),ID1},{(軌跡2,軌跡4),unknown}]を例にとり、識別情報尤度計算部332が仮説の識別情報尤度を計算する処理について説明する。ここでは、図10に示すような識別情報、検出時刻、識別情報検出装置番号の関係が得られているものとする。識別情報尤度計算部332は、仮説から軌跡連結候補・識別情報ペアを抽出し、「unknown」を含まない軌跡連結候補・識別情報ペアに対して以下の処理を行なう。
先ず、識別情報尤度計算部332は軌跡連結候補・識別情報ペアから識別情報を抽出する。例えば、識別情報尤度計算部332は{(軌跡1,軌跡3),ID1}からID1を抽出する。次に、識別情報尤度計算部332は抽出した識別情報の検出確率を識別情報確率マップから読み取る。図10に示すように、識別情報ID1は時刻t1、t2において識別情報検出装置2aにより検出されていることが分かる。従って、時刻t1、t2については、識別情報尤度計算部332は識別情報検出装置2aの識別情報確率マップ(図8参照)から確率値を読み取る。図11に示すように、軌跡連結候補(軌跡1,軌跡3)について、移動体は時刻t1、t2でセルc(1,4)、c(2,3)に存在する。即ち、識別情報尤度計算部332は、時刻t1の確率値として、図8に示す識別情報確率マップからセルc(1,4)の値「0.8」を読み取る。時刻t2の確率値として、セルc(2,3)の値「0.5」を読み取る。この処理の実行に当り、識別情報尤度計算部332は軌跡連結候補生成部31から提供される過去一定時間における位置情報、検出時刻、軌跡番号の組や、仮説生成部32から提供されるテーブル(即ち、ステップS5の更新処理後のテーブル)を参照すればよい。
図10を参照すると、識別情報ID1は時刻t8、t9において識別情報検出装置2bにより検出されていることが分かる。時刻t8、t9に関しては、識別情報尤度計算部332は識別情報検出装置2bの識別情報確率マップ(図9参照)から確率値を読み取る。図12に示すように、移動体は時刻t8、t9でセルc(7,1)、c(7,0)に存在する。従って、識別情報尤度計算部332は時刻t8における確率値として、図9に示す識別情報確率マップからセルc(7,1)の値「0.7」を読み取る。また、時刻t9における確率値として、セルc(7,0)の値「0.8」を読み取る。
このように、識別情報尤度計算部332は識別情報が検出された各時刻における移動体の検出確率を、軌跡連結候補に応じた位置情報と識別情報検出装置番号に応じた識別情報確率マップに基づいて特定する。尚、識別情報が検出されなかった時刻や、移動体が追跡領域外に存在することにより位置特定できない時刻については、移動体の検出確率を特定する必要はない。
識別情報尤度計算部332は、軌跡連結候補に応じた位置情報と識別情報検出装置番号に応じた識別情報確率マップに基づいて特定した、各時刻における移動体の検出確率を積算して、処理対象としている軌跡連結候補・識別情報ペアの識別情報尤度とする。{(軌跡1,軌跡3),ID1}については、上記の確率値0.8、0.5、0.7、及び0.8を積算する。即ち、0.8×0.5×0.7×0.8=0.224を{(軌跡1,軌跡3),ID1}の識別情報尤度として算出する。また、識別情報尤度計算部332は積算に用いた確率値の個数を軌跡連結候補・識別情報ペア毎に累積し、その累積結果をMとする。
前記の仮説[{(軌跡1,軌跡3),ID1},{(軌跡2,軌跡4),unknown}]において、{(軌跡2,軌跡4),unknown}では識別情報が「unknown」となっており、軌跡連結候補と識別情報とが対応付けされていない。従って、識別情報尤度計算部332は{(軌跡2,軌跡4),unknown}については識別情報尤度を計算しない。
識別情報尤度計算部332は、仮説内の軌跡連結候補・識別情報ペア毎に求めた確率値の積算を正規化し、その正規化値を当該仮説の識別情報尤度とする。上記の仮説では、{(軌跡1,軌跡3),ID1}について識別情報尤度「0.224」を算出したので、これを正規化すればよい。正規化は、軌跡連結候補・識別情報ペア毎の識別情報尤度の積算結果のM乗根を求めればよい。ここで、Mは軌跡連結候補・識別情報ペアの識別情報尤度の計算に用いた確率値の累積数(即ち、総数)である。{(軌跡1,軌跡3),ID1}の識別情報尤度「0.224」算出には4個の確率値を用いたので、識別情報尤度計算部332は「0.224」の4乗根を求める正規化を行い、その正規化結果を仮説[{(軌跡1,軌跡3),ID1},{(軌跡2,軌跡4),unknown}]全体の識別情報尤度とする。
次に、図6及び図10を参照して他の仮説[{(軌跡1),ID1},{(軌跡2,軌跡3,軌跡4),unknown}]の識別情報尤度に対する正規化について説明する。{(軌跡1),ID1}について、時刻t1、t2における軌跡1上の座標から2つの確率値が得られる。一方、{(軌跡2,軌跡3,軌跡4),unknown}については、識別情報尤度を計算しない。即ち、識別情報尤度計算部332は{(軌跡1),ID1}の識別情報尤度を計算した後、その2乗根を求める正規化を行う。また、別の仮説[{(軌跡1),unknown},{(軌跡2,軌跡3,軌跡4),ID1}]において、「unknown」を含む{(軌跡1),unknown}については識別情報尤度を計算しない。一方、{(軌跡2,軌跡3,軌跡4),ID1}について、時刻t1、t2における軌跡2上の座標から2つの確率値が得られる。時刻t8においては、軌跡3及び軌跡4の中点の座標について1つの確率値が得られる。時刻t9においては、軌跡4及び軌跡4の中点の座標について1つの確率値が得られる。即ち、合計4個の確率値が得られる。従って、識別情報尤度計算部332は{(軌跡2,軌跡3,軌跡4),ID1}の識別情報尤度を計算した後、その4乗根を求める正規化を行なう。
次に、仮説[{(軌跡1,軌跡3),unknown},{(軌跡2,軌跡4),ID1}]に対する識別情報尤度の計算処理について説明する。ここで、{(軌跡1,軌跡3),unknown}には「unknown」が含まれるため、識別情報尤度を計算しない。一方、{(軌跡2,軌跡4),ID1}について、識別情報尤度計算部332は識別情報ID1を抽出する。識別情報ID1は、時刻t1、t2で識別情報検出装置2aにより検出されている(図10参照)。時刻t1、t2について、識別情報尤度計算部332は識別情報検出装置2aの識別情報確率マップ(図8参照)から確率値を読み取る。図13に示すように、軌跡連結候補(軌跡2,軌跡4)について、移動体は時刻t1、t2でセルc(1,0)、c(1,1)に存在する。従って、識別情報尤度計算部332は時刻t1での確率値として図8に示す識別情報確率マップからセルc(1,0)の値「0.1」を読み取る。また、時刻t2での確率値として、セルc(1,1)の値「0.3」を読み取る。
また、識別情報ID1は、時刻t8、t9で識別情報検出装置2bにより検出されている(図10参照)。時刻t8、t9について、識別情報尤度計算部332は識別情報検出装置2bの識別情報確率マップ(図9参照)から確率値を読み取る。一方、軌跡連結候補(軌跡2,軌跡4)について、図14に示すように、移動体は時刻t8、t9でセルc(7,1)、c(7,0)に存在する。従って、識別情報尤度計算部332は時刻t8での確率値として、図9に示す識別情報確率マップからセルc(7,1)の値「0.7」を読み取る。また、時刻t9での確率値として、セルc(7,0)の値「0.8」を読み取る。
識別情報尤度計算部332は、{(軌跡2,軌跡4),ID1}について特定した確率値0.1、0.3、0.7、及び0.8の積算を識別情報尤度とする。即ち、{(軌跡2,軌跡4),ID1}の識別情報尤度は、0.1×0.3×0.7×0.8=0.0168となる。この計算に用いた確率値の個数は4個である。また、「unknown」を含む{(軌跡1,軌跡3),unknown}については識別情報尤度を計算しないので、識別情報尤度計算部332は0.0168の4乗根を求める正規化を行なう。この正規化結果が、仮説[{(軌跡1,軌跡3),unknown},{(軌跡2,軌跡4),ID1}]の識別情報尤度となる。
ステップS10にて仮説の識別情報尤度を計算した後、識別情報尤度計算部332はステップS9で計算した軌跡連結尤度(即ち、仮説内の軌跡連結候補・識別情報ペア毎の軌跡連結尤度)と、ステップS10で計算した識別情報尤度とを統合する(ステップS11)。ここでは、識別情報尤度計算部332は軌跡連結尤度と識別情報尤度を積算して尤度統合を行なう。即ち、軌跡連結尤度と識別情報尤度の積算結果が尤度統合結果となる。この場合、識別情報尤度計算部332は軌跡連結尤度と識別情報尤度との間で重み付けを行なってもよい。例えば、軌跡連結尤度と識別情報尤度の夫々に重み係数を乗じてから両者の積算を行なってもよい。識別情報尤度計算部332は、尤度統合結果と仮説の組を記憶する。例えば、[{(軌跡1,軌跡3),ID1},{(軌跡2,軌跡4),unknown}]の尤度統合結果をXとすると、<[{(軌跡1,軌跡3),ID1},{(軌跡2,軌跡4),unknown}],X>という組を記憶する。
ステップS9では、仮説に属する軌跡連結候補・識別情報ペアの数に相当する数の軌跡連結尤度が得られる。ここで、軌跡連結尤度計算部331が計算した複数の軌跡連結尤度をステップS9で統合してもよい。即ち、軌跡連結尤度計算部331は複数の軌跡連結尤度の積算を行なう。ステップS11では、軌跡連結尤度の積算結果と識別情報尤度を積算する。即ち、軌跡連結尤度の積算処理はステップS9で行っても、ステップS11にて識別情報尤度との統合時にまとめて行なってもよい。いずれの場合も、ステップS11で最終的に得られる尤度統合結果は同じである。
ステップS11の後、尤度計算部33はステップS8乃至ステップS11のループを繰り返し実行する。ステップS8において、尤度未計算の仮説が存在しないと判定された場合(即ち、ステップS8の判定結果「No」)、識別情報尤度計算部332は軌跡連結尤度と識別情報尤度の統合結果が最大となる仮設を特定する(ステップS12)。即ち、識別情報尤度計算部332はステップS11で記憶した仮説と尤度統合結果の組を参照して、尤度統合結果が最大となる仮設を特定する。識別情報尤度計算部332は、最尤の仮説を識別結果出力装置4に出力する。
識別結果出力装置4は、ステップS12で特定された最尤仮説を入力すると、当該最尤仮説に属する軌跡連結候補・識別情報ペアに基づいて、どの軌跡がどの移動体の軌跡であるかを判定する。例えば、軌跡と移動体との関係を表示する(ステップS13)。その際、識別結果出力装置4は移動体の位置又は軌跡を具体的に表示するようにしてもよい。
実施例1の動作を纏めると、軌跡連結候補生成部31が過去一定時間に検出した軌跡を連結した軌跡連結候補を生成し、仮説生成部32が軌跡連結候補と識別情報の組の集合である仮説を生成する。また、尤度計算部33は、個々の仮説について、同時刻に検出された位置情報と識別情報の組を参照し、過去一定時間分の位置情報と識別情報に基づく検出位置との類似性を尤度として計算する。同時刻において検出された位置情報と識別情報の組は、過去一定時間に検出した多くの移動体の同一性を示す情報であるといえる。これにより、移動体の存在が認識されている位置のみに依存しないで移動体の識別及び追跡が可能となり、追跡の途切れが生じても、軌跡と識別情報との対応関係をロバストに推定することができる。即ち、どの移動体がどの軌跡に対応するのかをロバストに推定することができる。
特許文献1、2に記載された技術では、移動体の追跡の途切れが頻発した場合、新たに取得し直した特徴量や識別情報に基づいて追跡を再開するため、追跡が途切れた後に新たに取得した少ない情報に基づいて移動体と軌跡との対応付けを再開することとなる。そのため、高精度の移動体追跡を期待できなかった。これに対して、実施例1では、移動体追跡が途切れた場合でも、断片化された軌跡を連結した軌跡連結候補を生成し、過去一定時間分の情報(即ち、ステップS2にて得られる情報、及び図10に示す情報)に基づいて軌跡と識別情報との対応関係を推定する。このように、実施例1では、現時刻で認識されている情報だけでなく、過去一定時間遡った時間帯における情報を利用するので、軌跡と識別情報との対応関係を高精度で推定することができる。
次に、移動体追跡の途切れが生じた場合に、その途切れ発生以前の情報を用いずに追跡再開後の情報だけを用いる従来の移動体軌跡識別方法と、実施例1に係る移動体軌跡識別方法とを比較する。
従来の移動体軌跡識別方法では、図1乃至図14に示すように、時刻t4〜t6で追跡の途切れが生じると、その後検出される軌跡3、軌跡4については、時刻t8で新たに識別情報を検出するまで軌跡と識別情報との対応付けを行なうことができない。また、図11乃至図14において、軌跡3、軌跡4は時刻t8、t9において夫々同一セルに位置する。この場合、時刻t8で検出した識別情報を軌跡3、軌跡4のいずれに対応付けるのかを判別することが困難となる。
これに対して、実施例1に係る移動体軌跡識別方法では、時刻t1〜t9において検出した情報を使用して軌跡を連結し、かつ、過去一定時間内の検出時刻での識別情報の検出確率に基づいて識別情報尤度を計算し、最尤仮説を推定することができる。
次に、実施例1の変形例について説明する。ここでは、ステップS11において、識別情報尤度計算部332が軌跡連結尤度と識別情報尤度の統合結果を計算し、その尤度統合結果と仮説との組を記憶する。また、ステップS12において、識別情報尤度計算部332は尤度統合結果の最も高い仮説を最尤仮説として推定する。このように、軌跡連結尤度と識別情報尤度の統合結果と求めるのではなく、識別情報尤度だけから仮説を特定してもよい。この変形例では、尤度計算部33は軌跡連結尤度計算部331を具備する必要がなく、軌跡連結尤度の計算(ステップS9)も行なわない。また、軌跡連結尤度を計算しないので、軌跡連結尤度と識別情報尤度との統合(ステップS11)も行なう必要はない。この変形例では、尤度未計算の仮説が存在すると判定され(即ち、ステップS8の判定結果「Yes」)、識別情報尤度計算部332がステップS10で仮説の識別情報尤度を計算したときに、その仮説と識別情報尤度との組を記憶しておけばよい。そして、ステップS12において、識別情報尤度計算部332は識別情報尤度が最も大きい仮説を特定すればよい。その他の処理は、実施例1と同様である。
但し、軌跡連結尤度と識別情報尤度の統合結果に基づいて最尤仮説を推定した方が、軌跡と識別情報との対応関係の推定精度が高くなるので、好ましい。
図15は、本発明の実施例2に係る移動体軌跡識別システムを示すブロック図である。ここで、実施例1の構成要素(図2参照)と同一の構成要素には同一の符号を付し、その詳細説明を省略する。実施例2に係る移動体軌跡識別システムは、位置情報検出装置1、識別情報検出装置2、移動体軌跡識別装置3a、及び識別結果出力装置4を具備する。移動体軌跡識別装置3aは、軌跡連結候補生成部31、仮説生成部32、及びマップ記憶部37を具備する。また、移動体軌跡識別装置3aは、尤度計算部33a、及び軌跡連結尤度計算部331aを具備する。
軌跡連結尤度計算部331aは、軌跡連結候補生成部31が生成した軌跡連結候補毎に、軌跡連結尤度を計算する。軌跡連結尤度計算部331aが実行する軌跡連結尤度の計算方法は、実施例1における軌跡連結尤度計算部331と同様である。即ち、実施例2の軌跡連結尤度計算部331aは軌跡連結候補に同時刻に検出された軌跡が含まれる場合、及び異なる時刻に検出された軌跡が含まれる場合について計算処理を行なう。また、実施例2の軌跡連結尤度計算部331aは軌跡連結候補に含まれる軌跡の数が2つの場合、及び3つ以上の場合について計算処理を行なう。更に、実施例2の軌跡連結尤度計算部331aは軌跡連結候補に軌跡が1つしか含まれていない場合に、当該軌跡連結候補の軌跡連結尤度を定数(例えば、「1」)に設定する。
また、軌跡連結尤度計算部331aは計算した軌跡連結尤度が閾値以上である軌跡連結候補のみを仮説生成部32に出力する。従って、軌跡連結尤度が閾値未満である軌跡連結候補は処理対象から除外される。ここで、軌跡連結尤度の閾値は予め定められる。また、軌跡連結尤度計算部331aは軌跡連結尤度が閾値を超えている軌跡連結候補のみを仮説生成部32に出力してもよい。
仮説生成部32は、軌跡連結尤度計算部331aから入力した軌跡連結候補を用いて仮説を生成する。仮説生成部32の他の処理については、実施例1と同様である。
実施例2の尤度計算部33aは、仮説生成部32により生成された仮説毎に識別情報尤度を計算し、識別情報尤度が最も高い仮説を識別結果出力装置4へ送出する。図16は、尤度計算部33aの構成を示すブロック図である。ここで、実施例1の尤度計算部33(図3参照)と同一の構成要素には同一の符号を付している。尤度計算部33aは、尤度計算制御部330及び識別情報尤度計算部332より構成されており、実施例1で用いた軌跡連結尤度計算部331は含まない。即ち、実施例2の尤度計算部33aは、軌跡連結尤度を計算しない点で、実施例1の尤度計算部33と異なる。
実施例2の尤度計算部33aにおいて、尤度計算制御部330は識別情報尤度未計算の仮説を識別情報尤度計算部332に出力する。
識別装置尤度計算部332は、実施例1と同様に、仮説毎に軌跡連結候補・識別情報ペアに対する識別情報尤度を計算する。但し、実施例2では、識別情報尤度計算部332は識別情報尤度が最も高い仮説を識別結果出力装置4に出力する。実施例2では、識別情報尤度計算部332は軌跡連結候補と識別情報尤度の統合結果ではなく、識別情報尤度に基づいて識別結果出力装置4に送出すべき仮説を判定する。
軌跡連結候補生成部31、軌跡連結尤度計算部331a、仮説生成部32、及び尤度計算部33a(尤度計算制御部330及び識別情報尤度計算部332を含む)は、例えば、移動体軌跡識別プログラムに従って動作するコンピュータのCPUにより実現される。即ち、コンピュータのプログラム記憶装置(不図示)が移動体軌跡識別プログラムを記憶し、CPUが当該プログラムを読み込み、以って、軌跡連結候補生成部31、軌跡連結尤度計算部331a、仮説生成部32、及び尤度計算部33aの機能を実現する。或いは、軌跡連結候補生成部31、軌跡連結尤度計算部331a、仮説生成部32、及び尤度計算部33aを夫々別個のハードウェアで実現してもよい。また、尤度計算制御部330及び識別情報尤度計算部332についても別個のハードウェアで実現してもよい。
次に、実施例2に係る移動体軌跡識別システムにおける移動体軌跡識別装置3aの動作について説明する。
図17及び図18は、実施例2の移動体軌跡識別装置3aの処理を示すフローチャートである。先ず、軌跡連結候補生成部31は位置情報検出装置2から軌跡番号、検出時刻、及び位置座標の組を取得する(ステップS21)。
軌跡連結尤度生成部31は、ステップS21で最新の位置情報、検出時刻、及び軌跡番号の組を入力すると、それを追加記録し、一番古位置情報を削除することで位置情報の履歴の更新を行なう(ステップS22)。この結果、軌跡連結候補生成部31は現時刻から過去一定時間における複数の位置情報を保持する。実施例2におけるステップS21、S22の動作は実施例1と同様である。
次に、軌跡連結候補生成部31は保持している軌跡番号を組み合わせることにより、軌跡連結候補を生成して軌跡連結尤度生成部331aに出力する(ステップS23)。軌跡連結候補において、互いに異なる軌跡の位置座標が同時刻に検出されている場合、軌跡連結候補生成部31はその重心点の位置座標を計算する。実施例2における軌跡連結候補や重心点の位置座標の計算処理は、実施例1におけるステップS3と同様である。
軌跡連結候補生成部31は、過去一定時間における位置情報、検出時刻、及び軌跡番号の組(即ち、ステップS22の更新処理で得られている位置情報、検出時刻、及び軌跡番号の組)を自身で記憶するだけでなく、軌跡連結尤度計算部331a及び尤度計算部33aに出力する。異なる軌跡の位置座標について同時刻に検出された位置座標の重心点を計算した場合、その重心点も尤度計算部33に出力する。尤度計算部33への情報入力は、軌跡連結尤度計算部331a及び仮説生成部32を介して行なってもよい。
軌跡連結尤度計算部331aは、ステップS23で入力した軌跡連結候補毎に、軌跡連結尤度を計算する(ステップS24)。実施例2において個々の軌跡連結候補について軌跡連結尤度を計算する処理は、実施例1に係る軌跡連結尤度計算部331の軌跡連結尤度の計算処理と同様です。ステップS24において、軌跡連結尤度計算部331aは軌跡連結尤度と予め定められた閾値を比較し、軌跡連結尤度が閾値以上である軌跡連結候補のみを仮説生成部32に送出する。
仮説生成部32は、識別情報検出装置2から検出時刻、識別情報、及び識別情報検出装置番号の組を取得する(ステップS25)。仮説生成部32は、検出時刻、識別情報、及び識別情報検出装置番号の対応関係を図10に示すテーブルに追加登録し、一番古い識別情報を削除する(ステップS26)。仮説生成部32は、更新後のテーブルコンテンツを自身で記憶するだけでなく、尤度計算部33aに出力する。尚、実施例2におけるステップS25、S26は実施例1のステップS4、S5(図4参照)と同様である。
仮説生成部32は、ステップS26で更新されたテーブルに格納されている識別情報と、ステップS24で軌跡連結尤度計算部331aから入力した軌跡連結候補を用いて、軌跡連結候補・識別情報ペアを全ての組み合わせについて生成する(ステップS27)。実施例2におけるステップS27は、軌跡連結尤度計算部331aから入力した軌跡連結候補を用いる以外は、実施例1のステップS6と同様である。
次に、仮説生成部32は、前記第1の条件乃至第3の条件を満足する軌跡連結候補・識別情報ペアの集合(即ち、仮説)を全て生成する(ステップS28)。実施例2におけるステップS28は、実施例1のステップS7と同様である。仮説生成部32は、生成した仮説群を尤度計算部33aに出力する。
尤度計算部33aの尤度計算制御部330は、ステップS28で入力した仮説群のうち、尤度実計算(即ち、ステップS30未実行)の仮説が存在するか否かを判定する(ステップS29)。尤度未計算の仮説が存在する場合(即ち、ステップS29の判定結果「Yes」)、尤度計算制御部330は尤度未計算の仮説の1つを識別情報尤度計算部332に送出する。
識別情報尤度計算部332は、入力した仮説の識別情報尤度を計算する(ステップS30)。実施例2における仮説の識別情報尤度の計算処理は実施例1と同様である。即ち、識別情報尤度計算部332は仮説に属する軌跡連結候補・識別情報ペア毎の識別情報尤度を計算し、各軌跡連結候補・識別情報ペアの識別情報尤度を積算して正規化した値を仮説の識別情報尤度とする。実施例2では、ステップS30において、識別情報尤度計算部332は仮説と識別情報尤度を対応付けて記憶する。
ステップS30の後、尤度計算部33aはステップS29、S30を繰り返し実行する。ステップS29において尤度未計算の仮説が存在しないと判定された場合(即ち、ステップS29の判定結果「No」)、識別情報尤度計算部332は識別情報尤度が最大となる仮設を最尤仮説として推定する(ステップS31)。識別情報尤度計算部332は、最尤仮説を識別結果出力装置4に送出する。
識別結果出力装置4は、ステップS31にて最尤仮説を入力すると、その最尤仮説に属する軌跡連結候補・識別情報ペアに基づき、どの軌跡がどの移動体の軌跡であるかを決定して出力する(ステップS32)。ここで、識別結果出力装置4は移動体の位置或いは軌跡を具体的に表示してもよい。尚、実施例2のステップS32は実施例1のステップS13(図5参照)と同様である。
実施例2においても、実施例1と同様に、軌跡と識別情報との対応関係をロバストに推定することができる。
実施例2では、軌跡連結尤度計算部331aが軌跡連結候補の軌跡連結尤度を計算し、軌跡連結尤度が閾値未満となっている軌跡連結候補を仮説生成部32に出力しないことにより、その軌跡連結候補が仮説生成に使用されないよう予め除去する。従って、仮説生成部32において軌跡連結候補・識別情報ペアを生成する処理(ステップS27)及び仮説を生成する処理(ステップS28)の仕事量を低減できる。その結果、軌跡と識別情報との対応付けを高速に行なうことができる。即ち、どの軌跡がどの移動体の軌跡であるかを高速に判定することができる。
図19は、本発明の実施例3に係る移動体軌跡識別システムを示すブロック図である。ここで、実施例1と同一の構成要素には同一の符号を付して、その詳細説明を省略する。実施例3に係る移動体軌跡識別システムは、位置情報検出装置1、識別情報検出装置2、移動体軌跡識別装置3b、及び識別結果出力装置4を具備する。実施例3に係る移動体軌跡識別装置3bは、軌跡連結候補生成部31、仮説生成部32、及びマップ記憶部37を具備する。また、移動体軌跡識別装置3bは、尤度計算部33b及び尤度記憶部34を具備する。
尤度記憶部34は、追跡している軌跡の軌跡番号及び識別情報の組毎に、軌跡と識別情報とが対応付けられる確率(以下、「軌跡・識別情報対応確率」と称す)を記憶する。尤度記憶部34は、軌跡番号及び識別情報の組毎に軌跡・識別情報対応確率を記憶する。軌跡・識別情報対応確率は尤度計算部33bにより計算されて、尤度記憶部34に記憶される。
尤度計算部33bは、仮説毎に軌跡連結尤度及び識別情報尤度を計算して統合する。また、尤度計算部33bは軌跡連結尤度及び識別情報尤度の統合値が最大の仮説を最尤仮説として推定して、識別結果出力装置4に送出する。
尤度計算部33bは、仮説に属する軌跡連結候補・識別情報ペアについて識別情報尤度を計算する場合、実施例1と同様に識別情報尤度を計算して、尤度記憶部34に記憶された軌跡・識別情報対応確率と統合し、その統合値を軌跡連結候補・識別情報ペアの識別情報尤度とする。具体的には、尤度計算部33bは軌跡連結候補・識別情報ペアの軌跡連結候補に対する最新の軌跡(軌跡番号)及び識別情報の組について尤度記憶部34に記憶されている軌跡・識別情報対応確率を読み出して、上記の統合処理に供する。尤度計算部33は、軌跡連結候補・識別情報ペアの識別情報尤度を積算して正規化することにより、仮説の識別情報尤度を算出する。
尤度計算部33bは、個々の仮説内の軌跡連結候補・識別情報ペア毎の識別情報尤度に基づいて軌跡・識別情報対応確率を求めて尤度記憶部34に記憶する。具体的には、軌跡連結候補・識別情報ペアの識別情報(αとする)と、その軌跡連結候補における最新の軌跡(軌跡番号β)との組に対応付けて識別情報尤度(Qとする)を軌跡・識別情報対応確率として尤度記憶部34に記憶する。このことは、軌跡番号βの軌跡と識別情報αの移動体とが対応付けられる確率がQであることを意味する。このように、尤度記憶部34に記憶された軌跡・識別情報対応確率は、次回、尤度計算部33bが仮説に属する軌跡連結候補・識別情報ペアの識別情報尤度を計算する際に読み出される。
図20は、実施例3に係る尤度計算部33bの構成を示すブロック図である。尤度計算部33bは、尤度計算制御部330、軌跡連結尤度計算部331、及び識別情報尤度計算部332bを具備する。実施例3における尤度計算制御部330及び軌跡連結尤度計算部331は、実施例1と同様であるため、その説明を省略する。
識別情報尤度計算部332bは、個々の仮説の識別情報尤度を計算する。識別情報尤度計算部332bは、仮説に属する軌跡連結候補・識別情報ペア毎の識別情報尤度を計算する場合、先ず、実施例1と同様の計算方法により識別情報尤度を仮計算する。便宜上、この識別情報尤度を仮識別情報尤度と記す。識別情報尤度計算部332bは、着目している軌跡連結候補・識別情報ペアにおける識別情報と最新の軌跡の組について軌跡・識別情報対応確率を尤度記憶部34から読み込む。例えば、{(軌跡1,軌跡2),ID1}において軌跡2が最新の軌跡を現している場合、「軌跡2、ID1」について軌跡・識別情報対応確率を尤度記憶部34から読み込む。識別情報尤度計算部332bは、仮識別情報尤度と軌跡・識別情報対応確率の統合結果を着目している軌跡連結候補・識別情報ペアの識別情報尤度とする。
識別情報尤度計算部332bは、以下に記す仮識別情報尤度と軌跡・識別情報対応確率の統合処理を行なう。即ち、識別情報尤度計算部332bは、仮識別情報尤度と軌跡・識別情報対応確率を積算し、その積算結果を軌跡連結候補・識別情報ペアの識別情報尤度とする。或いは、識別情報尤度計算部332bは仮識別情報尤度と軌跡・識別情報対応確率に重み係数を乗じて積算し、その積船結果を軌跡連結候補・識別情報ペアの識別情報尤度とする。或いは、識別情報尤度計算部332bは仮識別情報尤度と軌跡・識別情報対応確率に重み係数を乗じて加算し、その加算結果を軌跡連結候補・識別情報ペアの識別情報尤度とする。
識別情報尤度計算部332bは、軌跡連結候補・識別情報ペア毎の識別情報尤度を積算して正規化することにより、仮説全体の識別情報尤度を算出し、識別情報尤度と統合する。実施例3における上記の処理は実施例1と同様である。識別情報尤度計算部332bは、統合値が最も高い仮説を最尤仮説として推定し、識別結果出力装置4に送出する。
識別情報尤度計算部332bは、全仮説について軌跡連結尤度と識別情報尤度の統合値を計算して最尤仮説を推定した後、個々の仮説に属する軌跡連結候補・識別情報ペアから軌跡・識別情報対応確率を求め、尤度記憶部34に記憶する。
実施例3において、軌跡連結候補生成部31、仮説生成部32、及び尤度計算部33b(尤度計算制御部330、軌跡連結尤度計算部331、識別情報尤度計算部332b含む)は、例えば、移動体軌跡識別プログラムに従って動作するコンピュータのCPUによって実現される。この場合、コンピュータのプログラム記憶部(不図示)が移動体軌跡識別プログラムを記憶し、CPUが当該プログラムを読み込み、以って、軌跡連結候補生成部31、仮説生成部32、及び尤度計算部33bの機能を実現する。或いは、軌跡連結候補生成部31、仮説生成部32、及び尤度計算部33bを別個のハードウェアで実現してもよい。同様に、尤度計算制御部330、軌跡連結尤度計算部331、及び識別情報尤度計算部332bについても、別個のハードウェアで実現してもよい。
次に、実施例3に係る移動体軌跡識別装置3bの動作について説明する。
図21及び図22は、実施例3に係る移動体軌跡識別装置3bの処理を示すフローチャートである。ここで、実施例1の移動体軌跡識別装置3と同様の処理については、図4及び図5に示すフローチャートと同一の符号を付し、その説明を省略する。図21のステップS1乃至ステップS7により仮説群を生成する処理は、図4のステップS1乃至ステップS7と同様である。但し、ステップS7において、実施例1において述べた第1の条件乃至第3の条件を全て満たす仮説を生成してもよい。何故なら、第3の条件を満たさない仮説では識別装置尤度を計算しないため仮説の尤度を計算できないが、実施例3では尤度記憶部34に記憶されている軌跡・識別情報対応確率を参照することにより、仮説の尤度を算出できるからである。
仮説生成部32は、生成した全ての仮説を尤度計算部33bに出力する。尤度計算部33bの尤度計算制御部330は、入力した仮説群のうち、尤度未計算の仮説が存在するか否かを判定する(ステップS8)。尤度未計算の仮説(即ち、ステップS9乃至ステップS11が実行されていない仮設)が存在する場合(即ち、ステップS8の判定結果「Yes」)、尤度計算制御部330は尤度未計算の仮説のうちの1つを軌跡連結尤度計算部331及び識別情報尤度計算部332bに出力する。
軌跡連結尤度計算部331は、尤度未計算の仮説を入力すると、当該仮説に属する軌跡連結候補・識別情報ペア毎に軌跡連結尤度を計算する(ステップS9)。実施例3におけるステップS8、S9は実施例1のステップS9と同様である。
識別情報尤度計算部332bは、尤度未計算の仮説に属する軌跡連結候補・識別情報ペア毎に、仮識別情報尤度を計算する(ステップS10a)。実施例3において、軌跡連結候補・識別情報ペア毎に仮識別情報尤度を計算する方法は、実施例1のステップS10(図5参照)において軌跡連結候補・識別情報ペア毎に識別情報尤度を計算する方法と同様である。実施例3では、ステップS10aの計算結果に対して更に演算を行なったものを、軌跡連結候補・識別情報ペアの識別情報尤度とするので、ステップS10aで算出する値を「仮識別情報尤度」と称する。
次に、識別情報尤度計算部332bは、軌跡連結候補・識別情報ペア毎に尤度記憶部34から軌跡・識別情報対応確率を読み込む。この軌跡・識別情報対応確率は、軌跡連結候補・識別情報ペアにおける最新の軌跡の軌跡番号及び識別情報の組に対応付けて記憶されている確率値である。そして、軌跡連結候補・識別情報ペア毎に、ステップS10aで計算した仮識別情報尤度と軌跡・識別情報対応確率を統合する(ステップS10b)。この統合方法については既に説明しているので、ここでは省略する。この統合結果が軌跡連結候補・識別情報ペア毎の識別情報尤度である。
ステップS10bにおいて、識別情報尤度計算部332bは軌跡連結候補・識別情報ペア毎の識別情報尤度を積算して正規化し、以って、仮説全体の識別情報尤度を算出する。実施例3における上記の計算処理は、実施例1と同様である。
次に、識別情報尤度計算部332はステップS9で計算した軌跡連結候補・識別情報ペア毎の軌跡連結尤度と、ステップS10bで計算した仮説の識別情報尤度を統合する(ステップS11)。実施例3における上記の統合方法は、実施例1と同様である。ここで、実施例1で説明したように、ステップS9で仮説の軌跡連結候補・識別情報ペア毎の軌跡連結尤度を積算し、ステップS11ではその積算結果と識別情報尤度とを統合してもよい。
ステップS11において、識別情報尤度計算部332bは尤度の統合結果と仮説との組を記憶する。
ステップS11の後、尤度計算部33bはステップS8乃至ステップS11を繰り返し実行する。ステップS8において、尤度未計算の仮説が存在しないと判定された場合(即ち、ステップS8の判定結果「No」)、識別情報尤度計算部332bは全仮説内の軌跡連結候補・識別情報ペアに基づいて今回の尤度計算処理(ステップS8乃至ステップS11のループ)の結果を反映した軌跡・識別情報対応確率を尤度記憶部34に記憶する(ステップS11b)。識別情報尤度計算部332bは、軌跡連結候補・識別情報ペアにおける識別情報と、その軌跡連結候補における最新の軌跡の組に対応付けテレビジョン受像機、当該軌跡連結候補・識別情報ペアの識別情報尤度を軌跡・識別情報対応確率として尤度記憶部34に記憶する。但し、最新の軌跡及び識別情報の組が共通する軌跡連結候補・識別情報ペアが複数の仮説に含まれている場合を考慮する必要がある。例えば、或る仮説に{(軌跡1,軌跡4),ID1}が含まれ、別の仮説に{(軌跡2,軌跡4),ID1}が含まれ、さらに別の仮説に{(軌跡3,軌跡4),ID1}が含まれており、軌跡4が最新の軌跡である場合を想定する。この3つの軌跡連結候補・識別情報ペアはいずれも最新の軌跡及び識別情報の組が「軌跡4、ID1」となる。このように、最新の軌跡及び識別情報の組が共通する軌跡連結候補・識別情報ペアが複数存在する場合、その複数の軌跡連結候補・識別情報ペアについて計算された識別情報尤度を加算して、その加算結果を最新の軌跡及び識別情報に関する軌跡・識別情報対応確率として記憶してもよい。
更に、識別情報尤度計算部332bは軌跡毎に軌跡・識別情報対応確率の総和が「1」となるように、軌跡・識別情報対応確率の正規化を行い、その正規化の結果を尤度記憶部34に記憶してもよい。例えば、2つの識別情報ID1、IDについて、軌跡4及びID1の組の識別情報尤度をXとし、軌跡4及びID2の組の識別情報尤度をYとする。このとき、X、Yをそのまま軌跡・識別情報対応確率とするのではなく、軌跡4及びID1の組の軌跡・識別情報対応確率と、軌跡4及びID2の組の軌跡・識別情報対応確率との和が「1」となるように、X、Yを正規化する。ここで、正規化した軌跡・識別情報対応確率をそれぞれx、yとすると、識別情報尤度計算部332bは以下の計算を行なう。
Figure 0005682563
Figure 0005682563
即ち、識別情報尤度計算部332bは正規化前の個々の識別情報尤度X、Yに対して、その総和の逆数「1/(X+Y)」を乗じることにより正規化を行なう。
ステップS11bでは、軌跡・識別情報対応確率を尤度記憶部34に記憶する処理のみを行なってもよい。或いは、軌跡・識別情報対応確率を尤度記憶部34に記憶する処理を行なうとともに、尤度記憶部34に記憶されている軌跡・識別情報対応確率のうち、軌跡連結候補・識別情報ペアの軌跡連結候補における最新の軌跡に関係しない軌跡・識別情報対応確率を尤度記憶部34から削除する処理を行なってもよい。
ステップS11bにおいて、尤度記憶部34に記憶された軌跡・識別情報対応確率は、次に、ステップS8乃至ステップS11のループを実行する際に用いられる。
ステップS11bの後、識別情報尤度計算部332bはステップS11で計算した尤度統合値が最大となる最尤仮説を推定して、識別結果出力装置4に送出する(ステップS12)。識別結果出力装置4は、最尤仮説に基づいて、どの軌跡がどの移動体の軌跡であるかを判断して出力する(ステップS13)。尚、実施例3におけるステップS12、S13は実施例1と同様である。
実施例3は、実施例1と同様の効果が得られる。更に、実施例3では現時刻から遡って過去一定時間の情報だけでなく、その前の時間も考慮して尤度を計算しているので、軌跡と識別情報の対応関係を更に高い精度で推定することができる。図23は、実施例3の効果を説明する模式図である。ここで、時刻uにおいて仮説毎に尤度を計算する処理(即ち、ステップS8乃至ステップS11のループ)を行なうときには、時刻uから過去へ一定時間遡った時間帯Uにおけるデータを用いる。ステップS8乃至ステップS11のループを仮説毎に実行して得られた軌跡・識別情報対応確率は時間帯U(厳密には、更にその前の時間)のデータを反映している。そして、時刻vにおいて仮説毎に尤度を計算する処理を行なうときには、時刻vから過去へ一定時間遡った時間帯Vにおけるデータを用いる。更に、時刻uで算出された軌跡・識別情報対応確率も加味して、ステップS11の尤度統合結果を算出する。この尤度統合結果には、時間帯Vのデータだけでなく、それ以前の時間帯Uのデータも反映されている。実施例3では、このようにより過去の情報も加味して仮説毎の尤度を計算するため、軌跡と識別情報との対応関係をより高い精度で判断することができる。
図24は、本発明の実施例4に係る移動体軌跡識別システムを示すブロック図である。ここで、実施例1の構成要素と同一の構成要素には同一の符号を付し、その説明を省略する。実施例4に係る移動体軌跡識別システムは、位置情報検出装置1、識別情報検出装置2、移動体軌跡識別装置3c、及び識別結果出力装置4を具備する。実施例4に係る移動体軌跡識別装置3は、情報履歴変化判定部35、軌跡連結候補生成部31c、仮説生成部32c、尤度計算部33c、及びマップ記憶部37を具備する。
情報履歴変化判定部35は、位置情報検出装置1から軌跡番号、検出時間、及び位置座標の組を取得するとともに、識別情報検出装置2から検出時刻、識別情報、及び識別情報検出装置番号の組を取得する。情報履歴変化判定部35は、現時刻から過去一定時間において位置情報検出装置1から取得した位置座標、検出時刻、及び軌跡番号を保持する。また、情報履歴変化判定部35は現時刻から過去一定時間において識別情報検出装置2から取得した識別情報、検出時刻、及び識別情報検出装置番号の対応関係を保持する。その際、図10に示すテーブル形式で保持する。
上記のように、情報履歴変化判定部35は位置情報検出装置1及び識別情報検出装置2から取得した位置情報/識別情報のうち、過去一定時間分を保持するので、最新の時刻の位置情報/識別情報を取得すると、最も古い時刻の位置情報/識別情報を削除することにより、保持情報を更新する。例えば、位置情報検出装置1から最新の位置情報、検出時刻、及び軌跡番号を取得すると、それらを記憶するとともに、最も古い時刻の位置情報を削除する。同様に、識別情報検出装置2から最新の識別情報、検出時刻、及び識別情報検出装置番号を取得すると、図10に示すテーブルに追加登録するとともに、最も古い時刻の識別情報を当該テーブルから削除する。情報履歴変化判定部35による更新処理は、実施例1において軌跡連結候補生成部31のステップS1、S2、及び仮説生成部32のステップS4、S5と同様である。
情報履歴変化判定部35は、保持している位置情報/識別情報を尤度計算部33cに出力する。即ち、尤度計算部33cは検出時刻、位置座標、及び軌跡番号の組や図10のテーブルコンテンツ(即ち、更新後の識別情報)を入力する。
情報履歴変化判定部35は、位置情報検出装置1及び識別情報検出装置2から新たに位置情報/識別情報を取得して更新を行なった場合、更新前後において軌跡番号及び識別情報に変化があるか否かを判定する。軌跡番号及び識別情報のどちらにも変化がない場合には、仮説を生成し直しても前回と同じ仮説が得られることとなる。この場合、情報履歴変化判定部35は尤度計算部33cに対して前回の尤度計算に用いた仮説に基づき最尤仮説を推定するよう命令する。この場合、軌跡連結候補生成部31c及び仮説生成部32cへの情報入力は行わない。
尚、前回と同一の仮説を用いても、更新後に位置座標が変化したり、識別情報に対応付けられている識別情報検出装置番号が変化することにより、前回と同一の最尤仮説が推定されるとは限らない。
また、軌跡番号又は識別情報に変化がある場合、仮説自体も変化する。例えば、軌跡番号の追加や廃棄が発生すると、軌跡連結候補も変化し、生成される仮説群も異なる。識別情報に追加や廃棄が発生した場合も同様である。実施例4に係る情報履歴変化判定部35は、軌跡番号又は識別情報に変化が生じた場合、更新後の位置座標、検出時刻、及び軌跡番号の組を軌跡連結候補生成部31cに提供するとともに、識別情報、検出時刻、及び識別情報検出装置番号の対応関係を示すテーブルコンテンツを仮説生成部32cに提供する。
軌跡連結候補生成部31cは、情報履歴変化判定部35から供給される位置情報/識別情報に基づいて軌跡連結候補を生成する。生成した軌跡連結候補において互いに異なる軌跡の位置座標が同時刻に検出されている場合には、軌跡連結候補生成部31cはその重心点の位置座標も計算する。そして、軌跡連結候補生成部31cは軌跡連結候補を仮説生成部32cに出力する。尚、重心点の位置座標を計算した場合には、その位置座標も仮説生成部32cに出力する。実施例4における上記の処理は、実施例1の軌跡連結候補生成部31と同様である。
仮説生成部32cは、軌跡連結候補生成部31cから入力した軌跡連結候補と、情報履歴変化判定部35から入力した更新後のテーブルコンテンツに基づいて、全ての仮説を生成して、尤度計算部33cに出力する。
尚、実施例4に係る軌跡連結候補生成部31c及び仮説生成部32cは、過去一定時間分の位置情報/識別情報を保持するように更新を行なわない点で、実施例1に係る軌跡連結候補生成部31及び仮説生成部32と異なる。
尤度計算部33cは、情報履歴変化判定部35から前回の尤度計算に用いた仮説群に基づいて最尤仮説を推定する命令を受けると、その仮説毎に軌跡連結尤度及び識別情報尤度を計算し、その統合値を算出する。尤度計算部33cは、軌跡連結候補及び識別情報尤度の統合値が最も高い仮説を最尤仮説として推定し、識別結果出力装置4へ送出する。
尤度計算部33cは、仮説生成部32cから仮説群を入力すると、その仮説毎に軌跡連結尤度及び識別情報尤度を計算し、その統合値を算出する。尤度計算部33cは、軌跡連結尤度及び識別情報尤度の統合値が最も高い仮説を最尤仮説として推定し、識別結果出力装置4へ送出する。
尤度計算部33cは、情報履歴変化判定部35から検出時刻、位置座標、及び軌跡番号の組と、更新後のテーブルコンテンツ(図10参照)を入力する。尤度計算部33cは、軌跡連結尤度及び識別情報尤度を計算する場合には、情報履歴変化判定部35による更新後の情報を用いる。
図25は、実施例4に係る尤度計算部33cの構成を示すブロック図である。尤度計算部33cは、尤度計算制御部330、軌跡連結尤度計算部331、識別情報尤度計算部332c、及び仮説記憶部333を具備する。仮説記憶部333は、既に最尤仮説を推定済みの仮説群を記憶するメモリなどである。
実施例4における尤度計算制御部330、軌跡連結尤度計算部331、及び識別情報尤度計算部332cは、実施例1における尤度計算制御部330、軌跡連結尤度計算部331、及び識別情報尤度計算部332と同様の処理を行なう。ここで、情報履歴変化判定部35が前回の仮説群から最尤仮説を推定する命令を発した場合、尤度計算制御部330、軌跡連結尤度計算部331、及び識別情報尤度計算部332cは仮説記憶部333に記憶された仮説群を処理対象とする。一方、仮説生成部32cから仮説群を入力した場合には、その仮説群を処理対象とする。
識別情報尤度計算部332cは、前回の仮説群から最尤仮説説を推定する命令を受け、かつ、その仮説群に含まれる軌跡連結候補において、同時刻に検出されている互いに異なる位置座標であって、重心点が計算されていない位置座標がある場合には、その重心点の座標を計算する。
情報履歴変化判定部35、軌跡連結候補生成部31c、仮説生成部32c、及び尤度計算部33c(尤度計算制御部330、軌跡連結尤度計算部331、識別情報尤度計算部332c、及び仮説記憶部333を含む)は、例えば、移動体軌跡識別プログラムに従って動作するコンピュータのCPUにより実現される。この場合、コンピュータのプログラム記憶部(不図示)が移動体軌跡識別プログラムを記憶し、CPUが当該プログラムを読み込み、以って、情報履歴変化判定部35、軌跡連結候補生成部31c、仮説生成部32c、及び尤度計算部33cの機能を実現する。或いは、情報履歴変化判定部35、軌跡連結候補生成部31c、仮説生成部32c、及び尤度計算部33cを別個のハードウェアで構成してもよい。同様に、尤度計算制御部330、軌跡連結尤度計算部331、識別情報尤度計算部332c、及び仮説記憶部333も別個のハードウェアで構成してもよい。尚、仮説記憶部333は尤度計算部33cの外部に配置してもよい。
次に、実施例4に係る移動体軌跡識別装置3cの動作について説明する。
図26及び図27は、実施例4に係る移動体軌跡識別装置3cの処理を示すフローチャートである。ここで、実施例1と同様の処理(図4及び図5参照)には同一の符号を付し、その説明を省略する。
情報履歴変化判定部35は、位置情報検出装置1から軌跡番号、検出時刻、及び位置情報の組を取得する(ステップS41)。情報履歴変化判定部35は、最新の位置情報、検出時刻、及び軌跡番号の組を入力して追加記憶し、一番古い位置情報を削除することで位置情報履歴の更新を行なう(ステップS42)。実施例4におけるステップS41、S42は実施例1におけるステップS1、S2と同様である。但し、実施例4では、情報履歴変化判定部35がステップS42において更新後の位置情報、検出時刻、及び軌跡番号の組を尤度計算部33cに出力する。
情報履歴変化判定部35は、識別情報検出装置2から識別情報の検出時刻、識別情報、及び識別情報検出装置番号の組を取得する(ステップS43)。情報履歴変化判定部35は、最新の検出時刻、識別情報、及び識別情報検出装置番号の組を取得して図10に示すテーブルに追加登録し、一番古い識別情報を削除する(ステップS44)。実施例4におけるステップS43、S44は実施例1におけるステップS4、S5と同様である。但し、情報履歴変化判定部35はステップS44において更新後のテーブルコンテンツを尤度計算部33cに出力する。
情報履歴変化判定部35は、ステップS42における更新前後で軌跡番号の変化が生じたか否か、及びステップS44における更新後でテーブルに登録された識別情報に変化が生じたか否かを判定する(ステップS45)。ここで、軌跡番号/識別情報の変化は、当該軌跡番号/識別情報の追加や廃棄により発生する。
ステップS45において、軌跡番号又は識別情報の少なくともいずれか一方に変化が生じた場合には(即ち、判定結果「Yes」)、情報履歴変化判定部35は更新後の位置情報、検出時刻、及び軌跡番号の組を軌跡連結候補生成部31cに出力し、かつ、更新後のテーブルコンテンツ(検出時刻、識別情報、及び識別情報検出装置番号の関係を示す)を仮説生成部32cに出力する。
軌跡連結候補生成部31cは、位置情報、検出時刻、軌跡番号の組に基づいて軌跡連結候補を全て生成して、仮説生成部32cに出力する(ステップS3)。また、生成した軌跡連結候補に互いに異なる軌跡の位置座標が同時刻に検出されている場合には、軌跡連結候補生成部31cはその重心点の位置座標も計算して尤度計算部33cに出力する。
仮説生成部32cは、情報履歴変化判定部35から入力した更新後のテーブルに格納されている識別情報と、ステップS3で軌跡連結候補生成部31cから入力した軌跡連結候補を用いて、軌跡連結候補・識別情報ペアを全通り生成する(ステップS6)。次に、仮説生成部32cは実施例1で説明した第1の条件乃至第3の条件を満足する仮説を全て生成する(ステップS7)。仮説生成部32cは、ステップS7で生成した仮説群を尤度計算部33cに出力する。実施例4におけるステップS3、S6、S7は実施例1と同様である。
仮説生成部32cが仮説群を生成した場合には、尤度計算部33cはその仮説群を処理対象にして、実施例1と同様のステップS8乃至ステップS12を実行する。詳述すると、尤度計算制御部330はステップS7で入力した仮説群のうり、尤度未計算の仮説が存在するか否か判定する(ステップS8)。尤度未計算の仮説が存在する場合には(即ち、ステップS8の判定結果「Yes」)、尤度計算制御部330は尤度未計算の仮説の1つを軌跡連結尤度計算部331及び識別情報尤度計算部332cに出力する。
軌跡連結尤度計算部331は、入力仮説に属する軌跡連結候補・識別情報ペア毎に軌跡連結尤度を計算する(ステップS9)。ここで、軌跡連結尤度の計算に用いる位置座標及び検出時刻は更新後の位置座標、検出時刻、及び軌跡番号の組として情報履歴変化判定部35から提供されている。
識別情報尤度計算部332cは、入力仮説について識別情報尤度を計算する(ステップS10)。ここで、位置座標及び検出時刻が情報履歴変化判定部35から提供されている。また、識別情報、検出時刻、及び識別情報検出装置番号の対応関係を示す更新後のテーブルコンテンツも情報履歴変化判定部35から提供されている。従って、実施例4に係る識別情報尤度計算部332cはこれらの位置情報及び識別情報を用いて、実施例1と同様に、仮説の識別情報尤度を計算することができる。
次に、識別情報尤度計算部332cはステップS9で計算した仮説の軌跡連結尤度と、ステップS10で計算した仮説の識別情報尤度とを統合し、その統合結果と仮説とを対応付けて記憶する(ステップS11)。ステップS11の後、ステップS8乃至ステップS11のループを繰り返す。
尤度未計算の仮説がなくなると、識別情報尤度計算部332cはステップ11で計算した軌跡連結尤度と識別情報尤度の統合値が最大となる仮説を最尤仮説として推定して、識別結果出力装置4に出力する(ステップS12)。但し、実施例4に係る識別情報尤度計算部332cは軌跡連結尤度と識別情報尤度の統合結果と対応付けられた全仮説(即ち、仮説生成部32cが生成した仮説群)を仮説記憶部333に記憶して、その記憶内容を更新する。
ステップS45において、軌跡番号及び識別情報のいずれにも変化が生じない場合(即ち、判定結果「No」)、情報履歴変化判定部35は尤度計算部33cに対して、前回の尤度計算に用いた仮説(即ち、仮説記憶部333に記憶されている仮説群)に基づいて最尤仮説を推定するよう命令する。尤度計算制御部330は、この命令に応じて、仮説記憶部333に記憶されている仮説群を取得する(ステップS46)。尤度計算部33cは、その仮説群を対象にして実施例1と同様にステップS8乃至ステップS12を実行する。先ず、尤度計算制御部330は仮説記憶部333から読み込んだ仮説群のうち、尤度未計算の仮説が存在するか否かを判定する(ステップS8)。尤度未計算の仮説が存在する場合には(即ち、ステップS8の判定結果「Yes」)、尤度計算制御部330は尤度未計算の仮説の1つを軌跡連結尤度計算部331及び識別情報尤度計算部332cに出力する。
軌跡連結尤度計算部331は、入力仮説に属する軌跡連結候補・識別情報ペア毎に軌道連結尤度を計算する(ステップS9)。ここで、軌跡連結尤度の計算に用いる位置座標及び検出時刻は、更新後の位置座標、検出時刻、及び軌跡番号の組として情報履歴変化判定部35から提供されている。
識別情報尤度計算部332cは、入力仮説について識別情報尤度を計算する(ステップS10)。既に説明したように、情報履歴変化判定部35から更新後の識別情報が提供されているので、実施例1と同様に、仮説の識別情報尤度を計算することができる。但し、新たに追加登録された検出時刻について、互いに異なる軌跡の位置座標であって、同時刻に検出された位置座標が存在する場合には、その重心点の座標は未計算であるため、識別情報尤度計算部332cはその重心点の位置座標を計算して識別情報尤度の計算に供する。
次に、識別情報尤度計算部332cはステップS9で計算した軌跡連結尤度と、ステップS10de計算した識別情報尤度とを統合し、統合結果と仮説とを対応付けて記憶する(ステップS11)。ステップS11の後、ステップS8乃至ステップS11のループを繰り返す。尤度未計算の仮説がなくなった場合、識別情報尤度計算部332cは、ステップS11で計算した軌跡連結尤度と識別情報尤度の統合値が最大となる仮説を最尤仮説として推定し、識別結果出力装置4に送出する(ステップS12)。このステップS11、S12は、仮説生成部32cが新たに仮説群を生成した場合と同様である。但し、仮説記憶部333に記憶された仮説群を処理対象とした場合には、識別情報尤度計算部332cは仮説記憶部333の記憶内容を更新しない。
識別結果出力装置4は、ステップS12で推定された最尤仮説に属する軌跡連結候補・識別情報ペアに基づき、どの軌跡がどの移動体の軌跡であるかを判定して出力する(ステップS13)。このとき、識別結果出力装置4は移動体の位置又は軌跡を具体的に表示してもよい。実施例4におけるステップS13は、実施例1と同様である。
実施例4では、位置座標や位置座標/識別情報の検出時刻が変化しても、軌跡番号や識別情報が変化しない場合には、前回の尤度計算に用いた仮説群に基づいて最尤仮説を推定する。ここで、軌跡番号や識別情報に変化がなければ、前回と同じ軌跡連結候補及び仮説が算出されることとなる。即ち、仮説生成部32cにより同じ仮説群を再度生成するような重複処理を排除し、以って、軌跡と識別情報の対応付け判定における計算量を少なくする。
実施例4において、位置情報検出装置1及び識別情報検出装置2からの入力をトリガとするのではなく、外部からの命令をトリガとして移動体軌跡識別装置3cがステップS41以降の処理を開始するようにしてもよい。この場合、前回の最尤仮説の推定後、位置情報検出装置1及び識別情報検出装置2から新たな入力がなければ、ステップS42、S44において情報更新が行なわれないこととなる。このため、軌跡番号及び識別情報は変化することはない(即ち、ステップS45の判定結果「No」)。これにより、フローはステップS46に進むこととなるが、前回の最尤仮説の推定後、位置情報検出装置1及び識別情報検出装置2からの入力がなければ、前回と同じ最尤仮説が推定されることとなる。従って、前回の最尤仮説の推定後、位置情報検出装置1及び識別情報検出装置2から入力がない場合であって、移動体軌跡識別装置3cに処理開始命令がなされた場合には、移動体軌跡識別装置3cは前回推定した最尤仮説をそのまま識別結果出力装置4に送出してもよい。
また、実施例3及び実施例4においても、実施例1の変形例と同様に、尤度計算部33b、33cに軌跡連結尤度計算部331を具備せず、軌跡連結尤度を計算しないようにしてもよい。この場合、識別情報尤度計算部332b、332cは軌跡連結尤度と識別情報尤度を統合することなく、識別情報尤度のが最大の仮説を最尤仮説として推定する。
実施例4において、尤度計算部33cが軌跡連結尤度計算部331を具備せず、軌跡連結尤度を計算しない場合には、情報履歴変化判定部35はステップS45において識別情報に変化が生じたか否かを判定し、変化があれば(ステップS45の判定結果「Yes」)、フローはステップS3に移行し、一方、変化があれば(ステップS45の判定結果「No」)、フローはステップS46に移行する。
また、実施例3及び実施例4において、尤度計算部33b、33cに軌跡連結尤度計算部331を具備せず、実施例2と同様に、移動体軌跡識別装置3b、3cに軌跡連結尤度計算部331aを具備してもよい。この場合、識別情報尤度計算部332b、332cは軌跡連結尤度と識別情報尤度を統合することなく、識別情報尤度が最も高い仮説を最尤仮説として推定する。この構成によれば、実施例2と同様の効果が得られる。更に、実施例4と実施例3を組み合わせてもよい。
図28は、本発明の実施例5に係る移動体軌跡識別システムを示すブロック図である。ここで、実施例1と同一の構成要素には同一の符号を付し、その説明を省略する。実施例5に係る移動体軌跡識別システムは、位置情報検出装置1、識別情報検出装置2、移動体軌跡識別装置3d、識別結果出力装置4、及び属性情報検出装置5を具備する。実施例5に係る移動体軌跡識別装置3dは、軌跡連結候補生成部31、仮説生成部32d、尤度計算部33d、及びマップ記憶部37を具備する。
実施例5に係る移動体軌跡識別システムにおいて、属性情報検出装置5の台数は1台に限定されず、複数台の属性情報検出装置5を具備してもよい。ここで、属性情報検出装置5を一意に特定するための属性情報検出装置IDが予め割り当てられている。実施例5の説明では、属性情報検出装置IDを番号で表すものとし、属性情報検出装置番号と記す。
属性情報検出装置5は、追跡領域50(図1参照)内における移動体の属性情報を取得する。属性情報は、移動体の属性や特徴を表しており、例えば、移動体の色、形状、大きさ、重さ、温度等を用いることができる。移動体が人物である場合、当該人物の性別や年齢を属性情報として用いてもよい。属性情報は、移動体の属性を表していればよく、移動体を撮像した画像から判定可能な情報(例えば、色、形状等)であってもよい。或いは、移動体を撮像することなく、センサや計測器により検出可能な情報(例えば、体重等)であってもよい。
属性情報検出装置5は、追跡領域50内の移動体の属性情報を検出し、その検出時刻及び位置座標を特定できる装置であればよい。例えば、属性情報検出装置5はカメラ、圧力センサ、温度センサ、サーモグラフィにより実現される。
属性情報検出装置5を複数台設置する場合、各属性情報検出装置5の検出領域が互いに重複するように設置してもよい。或いは、検出領域が互いに重複しないように設置してもよい。また、カメラや圧力センサのように、種別が異なる複数の属性情報検出装置5を併用してもよい。
移動体が存在する場合に属性情報検出装置5がその属性情報を必ず検出するとは限らず、属性情報が検出されるか否かは属性情報検出装置5の設置状況により異なる。例えば、属性情報検出装置5を追跡領域内に設置した場合、当該属性情報検出装置5に近い場所に移動体が存在するとその属性情報を検出しやすいが、属性情報検出装置5から離間した場所に移動体が存在すると属性情報を検出されにくくなる。
属性情報検出装置5は、検出した移動体の属性情報、その属性情報の種別を一意に表す属性情報種別、属性情報の検出時刻、位置座標、及び属性情報検出装置番号を移動体軌跡識別装置3dに出力する。属性情報検出装置5は、移動体の属性情報の検出を試みて、検出できなかった場合には、属性情報、属性情報種別、及び位置座標を「なし」として、検出時刻及び属性情報検出装置番号とともに移動体軌跡識別装置3dに出力するようにしてもよい。或いは、属性情報検出装置5が移動体軌跡識別装置3dに属性情報を何も入力しないことで、移動体軌跡識別装置3dに対してその時刻において属性情報が何も検出されなかったと判定してもよい。
属性情報検出装置5の検出領域が狭く、その設置場所の位置座標と属性情報検出時の移動体の位置座標を同一と見做せる場合には、属性情報検出装置5はその設置場所の位置座標を移動体の位置座標として、移動体軌跡識別装置3dに送出する。この属性情報検出装置5の一例として圧力センサが挙げられる。この場合、属性情報検出装置5は追跡領域50内における自身の設置位置の位置座標を予め保持しておけばよい。
属性情報検出装置5がカメラ等を利用して撮像した画像から属性情報を判定する場合、撮像される画像の範囲は広く、その設置位置と移動体を撮像して属性情報を抽出した時刻における移動体の位置とは必ずしも一致しない。この場合、属性情報検出装置5は撮像した画像における任意の位置を追跡領域50の位置座標に変換する変換表を予め記憶し、当該変換表に従い、画像内における移動体の位置を追跡領域50内の位置座標に変換してもよい。この変換表の代わりに、撮像した画像における任意の位置座標を追跡領域50内の位置座標に変換する変換式を予め設定しておき、画像内における移動体の位置をその変換式に代入して追跡領域50内の位置座標に変換してもよい。
このように、属性情報検出時における移動体の位置座標は、属性情報検出装置5の種別(即ち、属性情報種別)に応じた方法で求める。
位置情報検出装置1による位置情報、識別装置検出装置2による識別装置、及び属性情報検出装置5による属性情報は、同期させる必要がある。換言すれば、同一時刻において、位置情報検出装置1が移動体の位置情報を検出し、識別情報検出装置2が識別情報を検出し、属性情報検出装置5が属性情報を検出する。位置情報検出装置1、識別情報検出装置2、及び属性情報検出装置5が非同期に位置情報、識別情報、及び属性情報を検出する場合、移動体軌跡識別装置3dは位置情報、識別情報、及び属性情報を一定時間バッファリングしておき、一定時間毎にバッファに蓄積されている位置情報、識別情報、及び属性情報を読み出すようにしてもよい。或いは、位置情報検出装置1、識別情報検出装置3、及び属性情報検出装置5の間で時刻同期がとれていない場合には、移動体軌跡識別装置3dが同時に入力した位置情報、識別情報、及び属性情報に対して同一の検出時刻を適用するようにしてもよい。
実施例1と同様に、実施例5に係る仮説生成部32dは軌跡連結候補生成部31から軌跡連結候補を入力するとともに、識別情報検出装置2から識別情報を入力する。また、仮説生成部32dは属性情報検出装置5から属性情報、属性情報種別、検出時刻、位置座標、及び属性情報検出装置番号を入力し、それらの対応関係を保持する。
仮説生成部32dは、軌跡連結候補生成部31による軌跡連結候補、識別情報検出装置2による識別情報、及び属性情報検出装置5による属性情報に基づいて、仮説を全て生成し、その仮説群を尤度計算部33dに出力する。
次に、実施例5における仮説の生成手順について詳細に説明する。先ず、仮説生成部32dは軌跡連結候補生成部31から入力した軌跡連結候補と、現時刻から過去一定時間遡った時刻までの時間帯に属性情報検出装置5により検出された属性情報を用いて、軌跡連結候補と属性情報の組を生成する。以下、属性情報付き軌跡連結候補と記す。
仮説生成部32dは、以下の手順に従って属性情報を対応付ける軌跡連結候補を選択して、属性情報付き軌跡連結候補を生成する。仮説生成部32dは、属性情報検出装置5から入力した属性情報のうちの1つを選択し、その検出時刻における軌跡連結候補の位置座標と選択した属性情報の位置座標との間のユークリッド距離を全ての軌跡連結候補と選択した属性情報の組毎に算出する。仮説生成部32dは、軌跡連結候補と属性情報の組のうち、ユークリッド距離が最短となる組を特定し、その組における軌跡連結候補と属性情報とを対応付けて記憶する。この処理を、入力した全ての属性情報に対して1回実施する。尚、軌跡連結候補において軌跡が途切れており、選択した属性情報の検出時刻における位置座標を軌跡連結候補から直接得られない場合には、仮説生成部32dは軌跡連結候補に含まれている軌跡の消失位置座標及び消失時刻、並びに出現位置座標及び出現時刻に基づいて、途切れている軌跡を補間して属性情報の検出時刻における位置座標を求め、以って、属性情報の位置座標とのユークリッド距離を算出する。また、軌跡連結候補が属性情報の検出時刻に検出された複数の軌跡を含んでおり、その検出時刻における移動体の位置座標が複数ある場合には、その重心点と属性情報の位置座標のとのユークリッド距離を算出する。
上記の処理の結果、属性情報が対応付けられていない軌跡連結候補が存在しても構わない。また、複数の属性情報が対応付けられている軌跡連結候補が存在しても構わない。例えば、軌跡連結候補生成部31が軌跡連結候補T1、T2、・・・、Tnを生成し、属性情報検出装置5が属性情報A1、A2、・・・、Amを検出する。ここで、軌跡連結候補に対応付けられる属性情報が存在しないことを「属性なし」という文字列で表すものとする。この場合、仮説生成部32dは、例えば、(T1,A1)、(T2,A2)、・・・、(Tn,Am)という組や、(T1,属性なし)、(T2,A1)、(T3,A2,A3)、・・・、(Tn,Am−2,Am−1,Am)という組を生成し、属性情報付き軌跡連結候補として保持する。
仮説生成部32dは、入力された全ての属性情報を必ずいずれかの軌跡連結候補に対応付けるようにして、属性情報付き軌跡連結候補を生成するようにしてもよい。また、仮説生成部32dは属性情報の位置座標とのユークリッド距離が最も小さいと判定された軌跡連結候補について、そのユークリッド距離が予め定められた閾値を超える場合には、その属性情報をいずれの軌跡連結候補と対応付けしないと決定してもよい。
仮説生成部32dは、上記の手順に従って生成した属性情報付き軌跡連結候補と、現時刻から過去一定時刻遡った時刻までの時間帯に識別情報検出装置2により検出された識別情報を用いて、属性情報付き軌跡連結候補と識別情報との組を全通り生成する。仮説生成部32dは、属性情報付き軌跡連結候補に着目して、それを単なる軌跡連結候補と見做し、実施例1における軌跡連結候補・識別情報ペアの生成方法と同様方法で属性情報付き軌跡連結候補と識別情報の組を全通り生成すればよい。以下、これを属性情報付き軌跡連結候補・識別情報ペアと記す。
また、実施例5に係る仮説生成部32dは実施例1と同様に、第1の条件乃至第3の条件を満足する属性情報付き軌跡連結候補・識別情報ペアの集合を全て抽出し、個々の集合を仮説とする。
尤度計算部33dは、仮説生成部32dにより生成された仮説毎に、軌跡連結尤度、識別情報尤度、及び属性情報尤度を計算して、それらを統合する。そして、軌跡連結尤度、識別情報尤度、及び属性情報尤度の統合値が最も大きい仮説を最尤仮説として推定して、識別結果出力装置4に送出する。
属性情報尤度とは、仮説に含まれる属性情報付き軌跡連結候補において、軌跡連結候補に対応付けられている個々の属性情報が同一の移動体の属性を表している尤もらしさである。例えば、軌跡連結候補に対応付けられている属性情報が服装の色を表している場合、属性情報尤度として服装の色の類似度を示すようにしてもよい。或いは、属性情報種別に応じて、服装の色以外の要素、例えば、慎重の類似度、体重の類似度、年齢の類似度、性別の類似度を示すものとしてもよい。
図29は、実施例5に係る尤度計算部33dの構成を示すブロック図である。尤度計算部33dは、尤度計算制御部330d、軌跡連結尤度計算部331、識別情報尤度計算部332、及び属性情報尤度計算部334を具備する。ここで、軌跡連結尤度計算部331及び識別情報尤度計算部332は実施例1と同様であるため、その説明を省略する。
尤度計算制御部330dは、尤度未計算の仮説を軌跡連結尤度計算部331、識別情報尤度計算部332、及び属性情報尤度計算部334に出力する。
属性情報尤度計算部334は、仮説生成部32dにより生成された仮説を入力して、当該仮説について属性情報尤度を計算する。属性情報尤度計算部334は、個々の仮説の属性情報尤度を計算する場合、仮説に含まれる個々の軌跡連結候補毎に属性情報尤度を計算し、同じ仮説に属する軌跡連結候補毎に計算した属性情報尤度を積算して正規化し、当該仮説の属性情報尤度とする。
属性情報尤度計算部334は、属性情報種別毎に属性情報尤度の計算方法を予め設定しており、個々の仮説に含まれる属性情報の種別に応じて、最適な属性情報尤度の計算方法を判別する。そして、属性情報尤度計算部334は属性情報種別に応じた計算方法で属性情報尤度を計算する。
また、仮説に含まれる属性情報付き軌跡連結候補において、軌跡連結候補に1種類の属性情報が対応付けられてもよいし、複数種類の属性情報が対応付けられてもよい。
次に、属性情報尤度計算部334が属性情報付き軌跡連結候補について属性情報尤度を計算する処理について説明する。説明を簡単にするため、軌跡連結候補に2つの属性情報が対応付けられており、その属性情報種別が同一である場合の計算処理について説明する。
また、属性情報がヒストグラムで表されており、各ヒストグラムにおけるビン(Bin)の数を「m」とする。2つの属性情報(ヒストグラム)をh1、h2とし、各ヒストグラムにおけるi番目のビンにおける頻度をh1(i)、h2(i)とする。このようなヒストグラムで表すことができる属性情報種別として服装の色を挙げることができる。服装の色は、色空間ヒストグラムで表すことができる。具体的には、属性情報検出装置5が移動体を撮像した画像に含まれるピクセル数を色の種類毎にカウントしたヒストグラムを作成し、そのヒストグラムを属性情報とする。属性情報をヒストグラムで表す場合、属性情報尤度計算部334は、数式4に従いBhattacharyya距離Dを計算し、Bhattacharyya距離Dが短いほど属性情報尤度が高く、Bhattacharyya距離Dが長いほど属性情報尤度が低くなるように属性情報尤度を決定する。
Figure 0005682563
上記の例では、ヒストグラムで表された属性情報尤度をBhattacharyya距離に基づいて決定したが、他の方法で属性情報尤度を計算するようにしてもよい。
属性情報種別が性別等で移動体を分類し、その属性情報として分類に応じた数値又は文字列を設定する場合について考察する。例えば、移動体が男性であれば属性情報を「0」とし、移動体が女性であれば属性情報を「1」とする。或いは、「0」や「1」などの数値の代わりに、「male」や「female」などの文字列を用いてもよい。このような属性情報種別に関して、軌跡連結候補に対応付けられる属性情報の組み合わせに応じた属性情報尤度を定義して、属性情報尤度計算部334に保持する。このとき、属性情報が同じ組み合わせについては属性情報尤度を高くし、属性情報が異なる組合せでは属性情報尤度を低くするよう定義する。例えば、軌跡連結候補に対応付けられる属性情報が「男性・男性」又は「女性・女性」であれば、属性情報は同一の移動体に関するものである尤度が高いので、その属性情報尤度を高く定義する。一方、軌跡連結候補に対応付けられる属性情報が「男性・女性」である場合の属性情報尤度は低く定義する。属性情報尤度計算部334は、このように定義された属性情報を保持しておき、軌跡連結候補に対応付けられる属性情報のパターンに応じた属性情報尤度を読み取ればよい。
また、属性情報尤度が移動体の特徴を数値化したものである場合について考察する。その属性情報種別として、例えば、身長、体重、年齢等を挙げることができる。この場合、属性情報尤度計算部334は軌跡連結候補の属性情報尤度として対応付けられている2つの数値の分散を計算する。属性情報尤度計算部334は、分散値が小さいほど属性情報尤度が高く、分散値が大きいほど属性情報尤度が低くなるような関数(以下、「尤度関数」と称する)を予め保持する。属性情報尤度計算部334は、計算した分散値を尤度関数に入力して属性情報尤度を算出する。ここでは、分散を用いて属性情報尤度を算出したが、他の方法で属性情報尤度を算出してもよい。
上記においては、属性情報種別が同一である2つの属性情報が軌跡連結候補に対応付けられている場合について説明した。属性情報種別が同一である3つ以上の識別情報が軌跡連結候補に対応付けられている場合には、以下の手順により軌跡連結候補に関する属性情報尤度を算出する。
先ず、属性情報尤度計算部334は軌跡連結候補に対応付けられている属性情報を検出時刻の早い順に順序付ける。次に、属性情報尤度計算部334は順番が隣り合う属性情報について属性情報尤度を計算する。例えば、1番目及び2番目の属性情報について尤度を計算し、同様に、2番目及び3番目の属性情報について尤度を計算し、更に、3番目及び4番目の属性情報について尤度を計算する。以降、属性情報尤度を順次計算する。このとき、順番が隣り合う2つの属性情報についての尤度計算は、軌跡連結候補に2つの属性情報が対応付けられている前記の計算方法により計算できる。
属性情報尤度計算部334は、順番が隣り合う属性情報の各組に対して尤度を計算した後、その属性情報尤度を積算し、かつ、積算した属性情報尤度の個数の累乗根を計算する。この累乗根の計算により、属性情報付き軌跡連結候補に関する属性情報の正規化を行なう。
上記の属性情報尤度を積算する処理において、元の属性情報に対応する属性情報検出装置番号に応じて、各属性情報尤度に対して重み付けを行なってから積算を行なってもよい。これは、属性情報検出装置5の特性を考慮した措置であり、例えば、移動体(ここでは、人物)の顔を正面から捉えることができる属性情報検出装置5では、性別や年齢などの属性情報を高精度に検出できる。一方、人物の顔を斜め方向からしか捉えることができない属性情報検出装置5では、検出される属性情報に誤差が含まれる可能性がある。このように、属性情報検出装置毎の検出精度を反映して、各属性情報尤度に対して重み付けを行なってから積算を行なう。また、属性情報検出装置5に応じた重み付けを行なわない場合には、その属性情報検出装置番号を出力する必要はない。
次に、軌跡連結候補に複数の属性情報種別の属性情報が対応付けられている場合の属性情報尤度の計算方法について説明する。この場合、属性情報尤度計算部334は以下の手順により軌跡連結候補に関する属性情報尤度を計算する。
先ず、属性情報尤度計算部334は軌跡連結候補に対応付けられている属性情報を検出時刻の早い順に順序付ける。そして、属性情報尤度計算部334は属性情報を分類し、属性情報種別毎に属性情報尤度を計算する。1種類の属性情報種別に関して属性情報尤度を計算する場合、属性情報尤度計算部334は着目している属性情報種別に関して順番が近接する属性情報同士の組み合わせを生成し、組合せ毎に属性情報尤度を計算する。ここで、順序が近接する属性情報同士とは、着目している属性情報種別の属性情報同士の順位が近接していることであり、両者の間に同一の種別に係る別の属性情報が存在しないことを意味する。尚、同一の種別に係る属性情報同士の間に、他の種別に係る別の属性情報が存在してもよい。また、順位が近接する同一の種別に係る属性情報同士の組み合わせに対する属性情報尤度の計算は、軌跡連結候補に同一の種別に係る2つの属性情報が対応付けられている場合の計算と同様に行なえる。属性情報尤度計算部334は、同一の種別に係る順位が近接する属性情報同士の組合せ毎に属性情報尤度を計算した後、当該属性情報尤度を積算し、かつ、積算した属性情報尤度の個数の累乗根を算出する正規化を行なう。このようにして、着目している属性情報種別に関する属性情報尤度の計算を行なう。また、属性情報尤度計算部334は他の属性情報種別についても同様に属性情報尤度を計算する。
上記のように属性情報種別毎に属性情報尤度を計算した後、属性情報尤度計算部334は属性情報尤度を積算し、その積算に供した属性情報尤度の個数の累乗根を算出する正規化を行なう。これにより、軌跡連結候補に複数の属性情報種別の属性情報が対応付けられている場合における、属性情報付き軌跡連結候補に関する属性情報尤度を計算する。また、属性情報種別毎に計算した属性情報尤度を積算する際、属性情報尤度にその種別に応じた重み係数を乗じて、積算してもよい。属性情報尤度に重み係数を乗じることにより、属性情報種別毎の信頼性の優劣を属性情報尤度に反映することができる。例えば、人物の性別の検出は高精度で行なえるが、服装の色の検出には誤差が含まれる場合、性別により求めた属性情報尤度に大きな重み係数を乗じ、色について求めた属性情報尤度に小さな重み係数を乗ずればよい。
次に、軌跡連結候補に複数の属性情報種別の属性情報が対応付けられている場合の、属性情報尤度の計算例について説明する。ここでは、軌跡連結候補に5つの属性情報が対応付けられているものとする。検出時刻の早い順に1番目、3番目、及び4番目の属性情報の属性情報種別が「色」であり、2番目及び5番目の属性情報の属性情報種別が「性別」であるものとする。この場合、属性情報尤度計算部334は1番目と3番目の属性情報の組、及び3番目と4番目の属性情報の組について属性情報尤度を計算する。これにより、2つの属性情報尤度が得られるので、属性情報尤度計算部334はそれらを積算し、かつ、2乗根を計算すればよい。これにより、属性情報種別「色」に関する属性情報尤度が算出される。次に、属性情報種別「性別」に関する属性情報尤度は、2番目及び5番目の属性情報から計算する。その後、属性情報尤度計算部334は「色」に関する属性情報尤度と「性別」に関する属性情報尤度とを積算し、2乗根を算出する。これにより、5つの属性情報が対応付けられた軌跡連結候補に関する属性情報尤度が算出される。
また、軌跡連結候補に属性情報が対応付けられていない場合、或いは、1つの属性情報が対応付けられている場合には、属性情報尤度計算部334はその軌跡連結候補の属性情報尤度を定数(例えば、「1」)とする。
前述のように、属性情報尤度計算部334は同じ仮説に属する軌跡連結候補毎に計算した属性情報尤度を積算して正規化し、以って、当該仮説の属性情報尤度を算出する。この正規化では、同じ仮説に属する軌跡連結候補の個数の累乗根を計算する。
属性情報尤度計算部334は仮説毎に軌跡連結尤度、識別情報尤度、及び属性情報尤度を統合する。この統合処理は、軌跡連結尤度、識別情報尤度、及び属性情報尤度を積算することにより行なう。また、属性情報尤度計算部334は統合処理を行なう際、軌跡連結尤度、識別情報尤度、及び属性情報尤度に対して重み付けを行なって積算してもよい。
軌跡連結候補生成部31、仮説生成部32d、及び尤度計算部33d(尤度計算制御部330d、軌跡連結尤度計算部331、識別情報尤度計算部332、及び属性情報尤度計算部334を含む)は、例えば、移動体軌跡識別プログラムに従って動作するコンピュータのCPUにより実現される。この場合、コンピュータのプログラム記憶装置(不図示)が移動体軌跡識別プログラムを記憶し、CPUが当該プログラムを読み込み、軌跡連結候補生成部31、仮説生成部32d、及び尤度計算部33dの機能を実現する。また、軌跡連結候補生成部31、仮説生成部32d、及び尤度計算部33dが別個のハードウェアで実現してもよい。同様に、尤度計算制御部330d、軌跡連結尤度計算部331、識別情報尤度計算部332、及び属性情報尤度計算部334についても別個のハードウェアで実現してもよい。
次に、実施例5に係る移動体軌跡識別装置3dの動作について説明する。
図30及び図31は、実施例5に係る移動体軌跡識別装置3dの処理を示すフローチャートである。ここで、実施例1と同一のステップ(図4及び図5参照)には同一の符号を付し、その説明を省略する。図30において、取得した識別情報を保持するテーブルを更新するまでの処理(即ち、ステップS1乃至ステップS5)は、実施例1(図4参照)と同様である。
仮説生成部32dは、属性情報検出装置5から検出時刻、属性情報、属性情報種別、位置座標、及び属性情報検出装置番号の組を取得する(ステップS51)。属性情報検出装置5は移動体について属性情報を検出すると、仮説生成部32dに出力する。仮説生成部32dは、検出時刻、属性情報、属性情報種別、位置座標、及び属性情報検出装置番号の対応関係をテーブルに保持する。
仮説生成部32dは、現時刻(即ち、最新の属性情報を取得した時刻)から過去一定時間における属性情報検出装置5から取得した属性情報を保持する。仮説生成部32dは、最新の属性情報について、その検出時刻、属性情報、属性情報種別、位置座標、及び属性情報検出装置番号の組を取得すると、その組をテー物に追加登録し、一番古い属性情報を削除する(ステップS52)。例えば、仮説生成部32dが時刻t1〜tn−1までに関して、検出時刻、属性情報、属性情報種別、位置座標、及び属性情報検出装置番号の対応関係を保持しているものとする。その後、最新の時刻tnに関して検出時刻、属性情報、属性情報種別、位置座標、及び属性情報検出装置番号の組を取得した場合、仮説生成部32dはその時刻tnにおいて取得した属性情報をテーブルに格納し、一方、時刻t1において取得した属性情報をテーブルから破棄する。
尚、仮説生成部32dは、更新後のテーブルを自身で記憶するだけでなく、尤度計算部33dに出力する。
仮説生成部32dは、ステップS52で更新したテーブルに格納されている属性情報と、ステップS3で軌跡連結候補生成部31から入力した軌跡連結候補を用いて、軌跡連結候補と属性情報の組(即ち、属性情報付き軌跡連結候補)を生成する(ステップS53)。具体的には、仮説生成部32dは入力した属性情報から1つの属性情報を選択し、その検出時刻における軌跡連結候補の位置座標と選択した属性情報の位置座標とのユークリッド距離を、全ての軌跡連結候補と選択した属性情報の組毎に計算する。仮説生成部32dは、ユークリッド距離が最短となる軌跡連結候補と属性情報の組を特定し、それを属性情報付き軌跡連結候補として記憶する。仮説生成部32dは、この処理をステップS51で取得した全ての属性情報に対して1回ずつ実施する。前述のように、軌跡が途切れた軌跡連結候補について、仮説生成部32dは途切れている軌跡を補間して、軌跡連結候補の位置座標を特定し、属性情報の位置座標とのユークリッド距離を計算する。また、軌跡連結候補が属性情報の検出時刻において複数の軌跡を含んでおり、複数の位置座標が検出された場合、それらの重心点と属性情報の位置座標とのユークリッド距離を計算する。
ステップS53において、1つの軌跡連結候補に1つの属性情報が対応付けられるとは限らず、1つの軌跡連結候補に2つ以上の属性情報が対応付けられてもよい。或いは、属性情報が全く対応付けられていない軌跡連結候補が存在してもよい。
仮説生成部32dは、ステップS5で更新したテーブルに格納されている識別情報と、ステップS53で生成した属性情報付き軌跡連結候補とを用いて、属性情報付き軌跡連結候補と識別情報との組(以下、「属性情報付き軌跡連結候補・識別情報ペア」と称する)を全通り生成する(ステップS6d)。ここで、仮説生成部32dは、属性情報付き軌跡連結候補における軌跡連結候補のみに着目して、実施例1におけるステップS6(図4参照)と同様の方法で属性情報付き軌跡連結候補・識別情報ペアを全通り生成すればよい。
続いて、仮説生成部32dは属性情報付き軌跡連結候補・識別情報ペアの集合として仮説を生成する(ステップS7d)。ステップS7dにおいて、仮説生成部32dは属性情報付き軌跡連結候補・識別情報ペアにおける軌跡連結候補及び識別情報に着目して、実施例1と同様に第1の条件乃至第3の条件を満足する属性情報付き軌跡連結候補・識別情報ペアの集合を全て抽出し、個々の集合を仮説とする。仮説生成部32dは、生成した仮説群を尤度計算部33dに出力する。
ステップS7dの後、尤度計算部33dは図31に示すステップS8以降の処理を行なう。ここで、尤度未計算の仮説の有無を判定し、軌跡連結尤度及び識別情報尤度を計算する処理(即ち、ステップS8乃至ステップS10のループ)は、実施例1と同様である。但し、尤度計算制御部330dは、ステップS8において尤度の計算処理(具体的には、ステップS9乃至ステップS11d)が未実行の仮説が存在すると判定した場合(即ち、ステップS8の判定結果「Yes」)、尤度未計算の仮説の1つを軌跡連結尤度計算部331、識別情報尤度計算部332、及び属性情報尤度計算部334に出力する。尚、軌跡連結尤度及び識別情報尤度の計算(即ち、ステップS9、S10)については実施例1と同様であるため、その説明を省略する。
属性情報尤度計算部334は、入力した仮説について属性情報尤度を計算する(ステップS54)。ステップS54において、属性情報尤度計算部334は仮説に含まれる個々の軌跡連結候補について属性情報尤度を計算し、同じ仮説に属する軌跡連結候補毎に属性情報尤度を積算して正規化し、以って、属性情報尤度を算出する。尚、属性情報尤度の計算に用いる属性情報は、更新後(即ち、ステップS52の後)の検出時刻、属性情報、及び属性情報種別の組として仮説生成部32から提供される。
ステップS54において属性情報尤度を計算した後、属性情報尤度計算部334はステップS9で計算した仮説の軌跡連結尤度と、ステップS10で計算した仮説の識別情報尤度と、ステップS54で計算した属性情報尤度とを統合し、その統合結果と仮説とを対応付けて記憶する(ステップS11d)。ステップS11dでは、ステップS9、S10、S54で計算した軌跡連結尤度、識別情報尤度、及び属性情報尤度を積算することにより統合する。統合処理の際、属性情報尤度計算部334は軌跡連結尤度、識別情報尤度、及び属性情報尤度に対して重み付けを行なってもよい。
ステップS11dの後、尤度計算部33dはステップS8乃至ステップS11dのループを繰り返す。ステップS8において尤度未計算の仮説が存在しないと判定された場合(即ち、ステップS8の判定結果「No」)、属性情報計算部334は軌跡連結尤度、識別情報尤度、及び属性情報尤度の統合値が最大となる仮説を最尤仮説として推定する(ステップS12d)。属性情報尤度計算部334は、推定した最尤仮説を識別結果出力装置4に送出する。
識別結果出力装置4は、ステップS12dで推定された最尤仮説を入力すると、その最尤仮説に属している属性情報付き軌跡連結候補・識別情報ペアを参照して、どの軌跡がどの移動体の軌跡であるかを判定する(ステップS13)。このとき、識別結果出力装置4は移動体の位置又は軌跡を具体的に表示してもよい。尚、ステップS13は実施例1と同様である。
実施例5では、属性情報検出装置5が移動体の特徴を属性情報として検出し、移動体軌跡識別装置3dが軌跡連結尤度及び識別情報尤度に加えて属性情報尤度を仮説の尤度計算に利用する。複数の移動体が類似する経路を共に移動する場合には、複数の軌跡連結候補・識別情報ペアにおいて軌跡連結尤度及び識別情報尤度の計算結果が略同一となり、仮設の尤度に差が生じない場合も想定される。実施例5は属性情報尤度も仮説の尤度計算に利用しているため、複数の移動体が類似の経路を移動する場合であっても、移動体の特徴に差異があれば、仮説の尤度に差が生じるため、どの軌跡がどの移動体の軌跡であるかを推定することができる。即ち、尤度の統合処理(ステップS11d)において属性情報尤度も統合し、その統合結果に従って最尤仮説を推定するため、どの軌跡がどの移動体の軌跡であるかを高精度で推定することができる。
実施例1の変形例と同様に、実施例5において尤度計算部33dに軌跡連結尤度計算部331を具備せず、軌跡連結尤度を計算しないものとしてもよい。この場合、属性情報尤度計算部334は識別情報尤度と属性情報尤度のみを統合し、その統合値の最も高い仮説を最尤仮説として推定する。
また、実施例2と同様に、実施例5において尤度計算部33dに軌跡連結尤度計算部331を具備せず、移動体軌跡識別装置3dが軌跡連結尤度計算部331aを具備するようにしてもよい。この場合、属性情報尤度計算部334は識別情報尤度と属性情報尤度のみを統合し、その統合値が最も高い仮説を最尤仮説とし推定する。この構成により、実施例5において実施例2と同様の効果が得られる。
更に、実施例5又はその変形例と実施例3を組み合わせてもよい。或いは、実施例5又はその変形例と実施例4を組み合わせてもよい。更に、実施例5又その変形例と、実施例4及び実施例3を組み合わせてもよい。
図32は、本発明の実施例6に係る移動体軌跡識別システムを示すブロック図である。ここで、実施例1と同一の構成要素には同一の符号を付し、その説明を省略する。実施例6に係る移動体軌跡識別システムは、位置情報検出装置1、識別情報検出装置2、移動体軌跡識別装置3e、識別結果出力装置4、及び移動情報検出装置6を具備する。移動体軌跡識別装置3eは、軌跡連結尤度生成部31、仮説生成部32e、尤度計算部33e、及びマップ記憶部37を具備する。
移動体軌跡識別システムが具備する移動情報検出装置6の台数は1台に限定されず、複数台の移動情報検出装置6を具備してもよい。各移動情報検出装置6を一意に特定するため、移動情報検出装置IDが予め割り当てられている。尚、移動情報検出装置IDは番号で表すものとし、移動情報検出装置番号と記す。
移動情報検出装置6は、追跡領域50内における移動体の移動情報を取得する。移動情報とは、追跡対象である移動体の移動状況を示す情報であり、例えば、移動速度、移動方向等を意味する。
移動情報検出装置6は、追跡領域50内の移動体の移動情報を検出し、その検出時刻を特定できる装置であればよく、例えば、カメラ、レーザレンジファインダ、加速度センサなどにより実現される。移動情報検出装置6を追跡領域50内に設置してもよい。或いは、移動情報を検出可能なセンサを搭載した携帯端末を移動体自身が携帯するようにしてもよい。
移動体軌跡識別システムに移動情報検出装置6を複数台設置する場合、移動情報検出装置6の検出領域が互いに重複するよう設置してもよい。或いは、移動情報検出装置6の検出領域が互いに重複しないように設置してもよい。また、カメラと加速度センサにように、種類の異なる複数の移動情報検出装置6を併用してもよい。
移動体が存在する場合に移動情報検出装置6がその移動情報を必ず検出可能とは限らず、移動情報が検出されるかどうかは、移動情報検出装置6の設置状況により異なる。例えば、移動情報検出装置6を追跡領域内に設置する場合、移動体が移動情報検出装置6に近い場所に存在しているとその移動情報は検出されやすいが、移動体が移動情報検出装置6から離れた場所に存在すると、その移動情報は検出されにくい。また、加速度センサなどの移動情報検出装置6を搭載した携帯端末を移動体自身が携帯する場合、即ち、移動情報検出装置6が移動体に付随して存在する場合、移動情報検出装置6は移動体の移動情報を常時検出することができる。
また、移動情報検出装置6の種類によっては、必ずしも、移動情報を検出した位置座標が検出されない場合も想定される。例えば、移動情報検出装置6が携帯端末に搭載された加速度センサであり、「静止」、「歩行」、「走行」などの移動体の移動状態を検出する場合や、移動体(人物)の「歩数」を検出する場合には、移動情報検出装置6は移動情報を検出した位置座標までは検出しない。この場合、移動情報検出装置6は移動情報を検出した位置座標を「なし」と定める。以下の説明では、移動情報の位置座標が検出されない場合、その位置座標を「なし」という文字列で表すものとする。尚、この位置座標を他の文字列で表してもよい。移動情報の位置座標の検出可能な場合には、移動情報検出装置6は移動体の移動情報を検出するとともに、移動情報検出時における移動体の位置座標を検出する。位置座標として具体的な値が検出されている移動情報を「位置座標付き移動情報」と記す。
移動情報検出装置6は、検出した移動情報と、その種別を一意に表す移動情報種別と、移動情報の検出時刻と、移動情報の位置座標と、移動情報検出装置番号とを移動体軌跡識別情報3eに送出する。移動情報検出装置6が位置座標を検出できない場合、移動情報の位置座標は「なし」となる。また、移動情報検出装置6は、移動情報の検出を試みたものの検出できなかった場合、移動情報及び移動情報種別を「なし」として、その時刻及び移動情報検出装置番号とともに移動体軌跡識別情報3eに送出してもよい。或いは、移動情報検出装置6が移動体軌跡識別情報3eに移動情報を送出しないことで、移動体軌跡識別情報3eがその時刻に移動情報が何も検出されなかったと判定してもよい。
移動情報検出装置6の検出領域が狭く、その設置位置の位置座標と、移動情報検出時における移動体の位置座標とを同一と見做せる場合には、移動情報検出装置6の位置座標を移動体軌跡識別情報3eに送出する。この場合、移動情報検出装置6は追跡領域50内における自身の設置位置の位置座標を予め保持しておけばよい。
また、移動情報検出装置6がカメラを利用して撮像した画像から移動情報を検出する場合、撮像された画像の範囲は広いため、移動情報検出装置6の設置位置と画像から移動情報を抽出した時刻における移動体の位置座標とは必ずしも一致しない。この場合、移動情報検出装置6は撮像した画像における任意の位置を追跡領域50内の位置座標に変換する変換表を予め記憶し、その変換表により画像内における移動体の位置座標を追跡領域50内の位置座標に変換してもよい。また、変換表の代わりに、撮像した画像における任意の位置座標を追跡領域50内の位置座標に変換する変換式を保持し、画像内の移動体の位置座標をその変換式に代入して、追跡領域50内の位置座標に変換してもよい。
このように、移動情報検出時における移動体の位置座標は、移動情報検出装置6の種類(換言すれば、移動情報種別)に応じた方法で求めればよい。
位置情報検出装置1による位置情報と、識別情報検出装置2による識別装置と、移動情報検出装置6による移動情報とは同期させる必要がある。即ち、同一時刻に位置情報検出装置1が移動体の位置情報を検出し、識別情報検出装置2が移動体の識別情報を検出し、移動情報検出装置6が移動情報を検出する。位置情報検出装置1、識別情報検出装置2、移動情報検出装置6が非同期に位置情報、識別情報、及び移動情報を検出する場合には、移動体軌跡識別装置3eは位置情報、識別装置、及び移動情報を一定時間バッファリングしておき、一定時間毎にバッファに蓄積された位置情報、識別装置、及び移動情報を使用するようにしてもよい。位置情報検出装置1、識別装置検出装置2、移動情報検出装置6との間で時刻同期が取れていない場合には、移動体軌跡識別装置3eは同時に入力された位置情報、識別装置、及び移動情報に対して同じ検出時刻を設定してもよい。
実施例6に係る仮説生成部32eは、実施例1と同様に、軌跡連結候補生成部31から軌跡連結候補を入力し、識別装置検出装置2から識別情報を入力する。これに加えて、仮説生成部32eは移動情報検出装置6から移動情報、移動情報種別、検出時刻、位置座標、及び移動情報検出装置番号を入力して、それらの対応関係を保持する。
また、仮説生成部32eは軌跡連結候補生成部31から入力した軌跡連結候補、識別情報検出装置2から入力した識別情報、及び移動情報検出装置6から入力した移動情報に基づいて、仮説を全て生成し、生成した仮説群を尤度計算部33eに出力する。
次に、実施例6における仮説の生成手順について説明する。
先ず、仮説生成部32eは軌跡連結候補生成部31から入力した軌跡連結候補と、現時刻から過去一定時間遡った時刻までの時間帯に移動情報検出装置6により検出された移動情報を用いて、軌跡連結候補と移動情報の組(即ち、移動情報付き軌跡連結候補)を生成する。
仮説生成部32eは、以下の手順に従って移動情報を対応付ける軌跡連結候補を選択し、移動情報付き軌跡連結候補を生成する。
先ず、仮説生成部32eは移動情報検出装置6から入力した移動情報のうち、位置座標を有する移動情報を軌跡連結候補と対応付ける。仮説生成部32eは、移動情報検出装置6から入力した移動情報から位置座標を有する移動情報のみを選別し、その中から1つの移動情報を選択する。そして、仮説生成部32eは選択した移動情報の検出時刻における軌跡連結候補の位置座標と選択した移動情報の位置座標とのユークリッド距離を全ての軌跡連結候補と選択した移動情報の組について計算する。次に、仮説生成部32eはユークリッド距離が最短となる軌跡連結候補と移動情報の組を特定して記憶する。この処理を移動情報検出装置6から入力した全ての移動情報に対して1回ずつ実施する。この処理によって移動情報が対応付けられた軌跡連結候補を「仮の移動情報付き軌跡連結候補」と記す。
軌跡が途切れた軌跡連結候補について、選択した移動情報の検出時刻における位置座標を直接得ることができない場合には、仮説生成部32eは途切れた軌跡を補間して、移動情報の検出時刻における軌跡連結候補の位置座標を特定し、移動情報の位置座標とのユークリッド距離を計算すればよい。また、軌跡連結候補が移動情報の検出時刻において複数の軌跡を含んでおり、その検出時刻における移動体の位置座標が複数ある場合には、その重心点と移動情報の位置座標とのユークリッド距離を計算すればよい。この処理は、実施例5において属性情報付き軌跡連結候補を生成する処理と同様である。
次に、仮説生成部32eは移動情報検出装置6から入力した移動情報のうち、位置座標「なし」とされている残りの移動情報と、仮の移動情報付き軌跡連結候補とを対応付ける。ここで、仮説生成部32eは移動情報検出装置6から入力した移動情報のうち、位置座標「なし」となっている移動情報のみを選別し、その選別した移動情報と仮の移動情報付き軌跡連結候補との組を全通り生成する。即ち、位置座標「なし」の移動情報と、仮の移動情報付き軌跡連結候補との組が正式な「移動情報付き軌跡連結候補」となる。この処理は、軌跡連結候補に対応付けられる移動情報として、位置座標「なし」の移動情報を追加することを意味する。
尚、移動情報検出装置6から入力した移動体の中に、位置座標「なし」の移動情報が存在しなければ、仮の移動情報付き軌跡連結候補が正式な「移動情報付き軌跡連結候補」として定められる。
上記処理の結果、1つの移動情報が対応付けられている軌跡連結候補が存在してもよく、また、複数の移動情報が対応付けられている軌跡連結候補が存在してもよい。更に、位置座標「なし」の移動情報が存在しない場合には、移動情報が対応付けられていない軌跡連結候補が存在してもよい。例えば、軌跡連結候補T1、T2、・・・、Tnが生成され、位置座標を有する移動情報M1、M2、・・・、Mmが検出され、位置座標「なし」の移動情報が存在しないものとする。ここで、軌跡連結候補に対応付ける移動情報が存在しないことを「移動情報なし」という文字列で表現するものとする。この場合、仮説生成部32eは、(T1,M1)、(T2,M2)、・・・、(Tn,Mm)という組や(T1,移動情報なし)、(T2,M1)、(T3,M2,M3)、・・・、(Tn,Mm−2,Mm−1,Mm)という組(即ち、仮の移動情報付き軌跡連結候補)を生成する。ここでは、「位置座標なし」となっている移動情報が存在しないので、仮の移動情報付き軌跡連結候補を正式な移動情報付き軌跡連結候補として保持する。
仮説生成部32eは、入力した全ての移動情報を必ずいずれかの軌跡連結候補に対応付けるようにして、移動情報付き軌跡連結候補を生成するようにしてもよい。また、仮説生成部32eは仮の移動情報付き軌跡連結候補を生成する際に、移動情報の位置座標とのユークリッド距離が最短であると判定された軌跡連結候補に関して、そのユークリッド距離が予め定められた閾値を超える場合には、その移動情報をいずれの軌跡連結候補にも対応付けないと決定してもよい。
仮説生成部32eは、上記の手順に従って生成した移動情報付き軌跡連結候補と、現時刻から過去一定時間遡った時刻までの時間帯に識別情報検出装置2により検出された識別情報とを用いて、移動情報付き軌跡連結候補と識別情報との組を全通り生成する。仮説生成部32eは、移動情報付き軌跡連結候補における軌跡連結候補のみに着目して、実施例1における軌跡連結候補・識別情報ペアの生成処理と同様の処理で、移動情報付き軌跡連結候補と識別情報との組を全通り生成すればよい。以下、移動情報付き軌跡連結候補と識別情報との組を、移動情報付き軌跡連結候補・識別情報ペアと記す。
仮説生成部32eは、実施例1と同様に、第1の条件乃至第3の条件を満足する移動情報付き軌跡連結候補・識別情報ペアの集合を全て抽出し、個々の集合を仮説と定める。
尤度計算部33eは、仮説生成部32eにより生成された仮説毎に、軌跡連結尤度、識別情報尤度、及び移動情報尤度を計算して統合する。その統合値が最も大きい仮説を最尤仮説として推定して、識別結果出力装置4に送出する。
移動情報尤度とは、仮説に含まれる移動情報付き軌跡連結候補において、軌跡連結候補に対応付けられる移動情報と、その軌跡連結候補から導出される移動体の移動状況とが同一の移動体を表している尤もらしさを意味する。例えば、移動情報から得られる移動体の速度と、軌跡連結候補から得られる移動体の速度との類似度により移動情報尤度を表すものとしてもよい。或いは、移動情報から得られる移動体の移動方向と、軌跡連結候補から得られる移動体の移動方向との類似度により移動情報尤度を表すものとしてもよい。
図33は、実施例6に係る尤度計算部33eの構成を示すブロック図である。尤度計算部33eは、尤度計算制御部330e、軌跡連結尤度計算部331、識別情報尤度計算部332、及び移動情報尤度計算部335を具備する。ここで、軌跡連結尤度計算部331及び識別情報尤度計算部332は実施例1と同様であるため、その説明を省略する。
尤度計算制御部330eは、尤度未計算の仮説を軌跡連結尤度計算部331、識別情報尤度計算部332、及び移動情報尤度計算部335に出力する。
移動情報尤度計算部335は、仮説生成部32eにより生成された仮説を入力し、各仮説について移動情報尤度を計算する。移動情報尤度計算部335は、個々の移動情報尤度を計算する場合、仮説に含まれる個々の軌跡連結候補毎に移動情報尤度を計算し、同じ仮説に属する軌跡連結候補毎に計算した移動情報尤度を積算して正規化し、以って、仮説の移動情報尤度を算出する。
移動情報尤度計算部335は、移動情報種別毎の尤度計算方法を予め保持しており、ここの仮説に含まれる移動情報の種別に基づいて移動情報尤度の計算方法を判別する。そして、移動情報尤度計算部335は移動情報種別に応じた計算方法で移動情報尤度を計算する。
仮説に含まれる移動情報付き軌跡連結候補において、軌跡連結候補に1種類の移動情報種別が対応付けられてもよいし、或いは、複数種類の移動情報種別が対応付けられてもよい。
次に、移動情報尤度計算部335が移動情報付き軌跡連結候補に関して移動情報尤度を計算する処理について説明する。説明を簡単にするため、1つの軌跡連結候補に対して1つの移動情報が対応付けられている場合について説明する。
移動情報種別が移動方向ベクトルの場合、移動情報尤度計算部335は軌跡連結候補に対応付けられている移動情報を参照する。ここでは、移動情報は移動体の移動方向を表すベクトルV1を示すものとする。また、移動情報尤度計算部335は軌跡連結候補に基づき、移動情報の検出時刻における移動体の移動方向を表すベクトルV2を計算する。移動情報尤度計算部335は、例えば、移動情報の検出時刻の前後の移動体の位置座標に基づいてベクトルV2を計算すればよい。移動情報尤度計算部335は、2つのベクトルV1、V2のコサイン類似度を計算して、移動情報尤度とする。このとき、移動情報尤度計算部335は2つのベクトルV1、V2を用いて数式1に従い計算を行なうことにより、コサイン類似度「cosθ」を算出する。
上記の例では、コサイン類似度を計算して移動方向ベクトルの類似度を計算して移動情報尤度としたが、他の計算方法で移動方向ベクトルの類似度を計算してもよい。
移動情報種別が移動体の速度である場合、移動情報尤度計算部335は軌跡連結候補に移動情報として対応付けられている速度を参照する。速度を表す移動情報は、移動速度を表す数値であってもよい。或いは、速度を表す移動情報は静止状態であることを意味する「静止」、歩行速度を意味する「歩行」、歩行より速い速度を意味する「走行」などの文字列としてもよい。このように数値又は文字列で表させる移動情報は、移動情報検出装置6から出力される。移動情報尤度計算部335は、例えば、移動情報の検出時刻の前後の時間、及びその時間における移動体の位置座標を軌跡連結候補から抽出して、移動体の速度を算出する。移動情報が速度数値を表す場合、移動情報尤度計算部335は移動情報から得た速度と軌跡連結候補から算出した速度との差を計算する。この速度差が小さいほど移動情報尤度が高くなり、速度差が大きいほど移動情報尤度が低くなるような尤度関数を予め定義して、移動情報尤度計算部335に保持する。移動情報尤度計算部335は、移動情報から得た速度と軌跡連結候補から計算した速度との差を、その尤度関数に代入して、移動情報尤度を算出する。
移動情報が「静止」、「歩行」、「走行」などの文字列により速度区分を表している場合、移動情報尤度計算部335は以下の手順で移動情報尤度を決定する。
先ず、移動情報尤度計算部335は軌跡連結候補から計算した速度をいずれかの速度区分に分類する。各速度区分における速度範囲は予め設定される。移動情報尤度計算部335は、移動情報が示す速度区分と、軌跡連結候補から計算した速度に基づいて判断した速度区分との組み合わせに基づき、移動情報尤度を決定する。この場合、速度区分の組み合せ毎に移動情報尤度を予め定義して、移動情報尤度計算部335に保持する。即ち、[静止、静止]、[静止、歩行]、[静止、走行]、[歩行、歩行]、[歩行、走行]、[走行、走行]のような移動情報の速度区分と、軌跡連結候補から計算した速度区分の組み合わせの全通りについて、移動情報尤度を予め定義して、移動情報尤度計算部335に保持する。このとき、速度区分の内容が近似するほど移動情報尤度を高く設定し、速度区分の内容が異なるほど移動情報尤度を低く設定する。例えば、[静止、静止]、[歩行、歩行]、[走行、走行]などの同一速度区分の組み合わせでは、移動情報尤度を高く設定し、[静止、走行]のように速度が大きく異なる場合には、移動情報尤度を低く設定する。また、[静止、歩行]や[歩行、走行]のように速度区分が同一ではないが、[静止、走行]ほどの違いはない組み合わせについては、中程度の移動情報尤度を定義すればよい。そして、移動情報尤度計算部335は移動情報が示す速度区分と軌跡連結候補から計算した速度区分との組み合わせに対応する移動情報尤度を予め定義した移動情報尤度の中から選択する。
上記の例は、軌跡連結候補に1つの移動情報が対応付けられている場合についての説明である。軌跡連結候補に2つ以上の移動情報が対応付けられている場合、移動情報尤度計算部335は以下の手順により軌跡連結候補に関する移動情報尤度を計算する。最初に、軌跡連結候補に同一種別の2つの移動情報が対応付けられている場合について説明する。
移動情報尤度計算部335は、移動情報付き軌跡連結候補において軌跡連結候補に対応付けられている移動情報を検出時刻の早い順に順序付ける。移動情報尤度計算部335は、検出時刻の早い順に、移動情報と軌跡連結候補とに基づいて移動情報尤度を計算する。個々の移動情報と軌跡連結候補とに基づく移動情報尤度の計算処理は、軌跡連結候補に1つの移動情報が対応付けられている場合の計算処理と同様である。
移動情報尤度計算部335は、全ての移動情報について軌跡連結候補を用いて移動情報尤度を計算した後、その移動情報尤度を積算し、かつ、積算した移動情報尤度の個数に係る累乗根を求める正規化を行い、以って、移動情報付き軌跡連結候補の移動情報尤度を算出する。
上記の移動情報尤度の積算処理において、個々の移動情報尤度を算出する元の移動情報に対応する移動情報検出装置番号に応じて、各移動情報に対して重み付けを行なって積算するようにしてもよい。即ち、高い検出精度の移動情報検出装置から入力した移動情報に基づいて計算した移動情報尤度に対して大きな重みを与え、一方、低い検出精度の移動情報検出装置から入力した移動情報に基づいて計算した移動情報尤度に対して小さな重みを与えた後、移動情報尤度の積算を行なってもよい。尚、移動情報検出装置番号に応じた重み付けを行なわない場合には、移動情報検出装置6は移動情報検出装置番号を出力しなくてもよい。
次に、2つ以上の種別の移動情報が軌跡連結候補に対応付けられている場合、移動情報尤度計算部335は移動情報種別毎に移動情報尤度を計算する。1つ1つの移動情報種別について移動情報尤度を計算する処理は、同一種別の移動情報が対応付けられている軌跡連結候補に対する計算処理と同様である。移動情報種別毎に移動情報尤度を計算した後、移動情報尤度計算部335はその移動情報尤度を積算し、積算した移動情報尤度の個数の累乗根を求める正規化を行なう。これにより、2つ以上の種別の移動情報が対応付けられた軌跡連結候補よりなる移動情報付き軌跡連結候補について移動情報尤度を計算することができる。また、移動情報種別毎に計算した移動情報尤度を積算する際、各移動情報尤度に対して移動情報種別に応じた重み係数を乗じて、移動情報尤度を積算するようにしてもよい。
尚、軌跡連結候補に移動情報が対応付けられていない場合、移動情報尤度計算部335はその軌跡連結候補の移動情報尤度を定数(例えば、「1」)とする。
前述のように、移動情報尤度計算部335は同じ仮説に属する軌跡連結候補毎に計算した移動情報尤度を積算して正規化した値を、その仮説の移動情報尤度とする。この正規化では、同じ仮説に属する軌跡連結候補の個数の累乗根を計算する。
移動情報尤度計算部335は、仮説毎に軌跡連結尤度、識別情報尤度、及び移動情報尤度を統合する。この統合処理は、軌跡連結尤度、識別情報尤度、及び移動情報尤度を積算することにより行なう。この統合処理の際、移動情報尤度計算部335は軌跡連結尤度、識別情報尤度、及び移動情報尤度に対して重み付けを行なって積算してもよい。
軌跡連結候補生成部31、仮説生成部32e、尤度計算部33e(尤度計算制御部330e、軌跡連結尤度計算部331、識別情報尤度計算部332、及び移動情報尤度計算部335を含む)は、例えば、移動体軌跡識別プログラムに従って動作するコンピュータのCPUにより実現される。この場合、コンピュータのプログラム記憶装置(不図示)が移動体軌跡識別プログラムを記憶し、CPUがそのプログラムを読み込み、当該プログラムに従って軌跡連結候補生成部31、仮説生成部32e、及び尤度計算部33eの機能を実現する。或いは、軌跡連結候補生成部31、仮説生成部32e、及び尤度計算部33eを別個のハードウェアで校正してもよい。また、尤度計算制御部330e、軌跡連結尤度計算部331、識別情報尤度計算部332、及び移動情報尤度計算部335を別個のハードウェアで構成してもよい。
次に、実施例6に係る移動体軌跡識別装置3eの動作について説明する。
図34及び図35は、実施例6に係る移動体軌跡識別装置3eの処理を示すフローチャートである。ここで、実施例1と同一のステップには同一の符号を付し、その説明を省略する。また、図34において識別装置を保持するテーブルを更新するまでの処理(即ち、ステップS1乃至ステップS5)は、実施例1と同様である。
仮説生成部32eは、移動情報検出装置6から検出時刻、移動情報、移動情報種別、位置座標、及び移動情報検出装置番号の組を取得する(ステップS61)。移動情報検出装置6は、移動体の移動情報を検出して仮説生成部32eに出力する。仮説生成部32eは、検出時刻、移動情報、移動情報種別、位置座標、及び移動情報検出装置番号の対応関係をテーブルに保持する。
仮説生成部32eは、現時刻(即ち、入力した移動情報の最新の検出時刻)から過去一定時間における移動情報検出装置6から取得した移動情報を保持する。仮説生成部32eは、最新の検出時刻、移動情報、移動情報種別、位置座標、及び移動情報検出装置番号の組を取得してテーブルに追加登録し、一番古い移動情報を削除する(ステップS62)。例えば、仮説生成部32eが時刻t1〜tn−1について検出時刻、移動情報、移動情報種別、位置座標、及び移動情報検出装置番号の対応関係を保持しているものとする。ここで、最新の時刻tnについて検出時刻、移動情報、移動情報種別、位置座標、移動情報検出装置番号の組を取得すると、仮説生成部32eは最新時刻tnに関して取得した移動情報をテーブルに格納し、一番古い時刻t1の移動情報をテーブルから廃棄する。
また、仮説生成部32eは、更新後のテーブルを自身で記憶するだけでなく、尤度計算部33eに出力する。
更に、仮説生成部32eはステップS62で更新したテーブルに格納されている移動情報と、ステップS3で軌跡連結候補生成部31から入力した軌跡連結候補とを用いて、仮の移動情報付き軌跡連結候補(即ち、軌跡連結候補と位置座標を有する移動情報との組)を生成する(ステップS63)。具体的には、仮説生成部32eは入力した移動情報から位置座標を有する移動情報のみを選別し、その中から位置座標を有する移動情報を1つ選択する。そして、仮説生成部32eはその検出時刻における軌跡連結候補と選択した移動情報の位置座標とのユークリッド距離を、全ての軌跡連結候補と選択した移動情報の組について計算する。仮説生成部32eは、ユークリッド距離が最短となる軌跡連結候補と移動情報の組を特定して、仮の移動情報付き軌跡連結候補とする。この処理を、位置座標を有する全ての移動情報に対して1回実施する。前述のように、軌跡が途切れている軌跡連結候補の場合、仮説生成部32eは途切れている軌跡を補間して当該軌跡連結候補について位置座標を特定し、以って、移動情報の位置座標とのユークリッド距離を計算する。また、移動情報の検出時刻において検出された複数の軌跡が軌跡連結候補に含まれており、複数の位置座標が存在する場合、その重心点と移動情報の位置座標とのユークリッド距離を算出する。
尚、ステップS63において1つの軌跡連結候補に位置座標を有する移動情報が1つだけ対応付けられているとは限らず、1つの軌跡連結候補に位置座標を有する移動情報が2つ以上対応付けられていてもよい。また、位置座標を有する移動情報と対応付けられていない軌跡連結候補が存在してもよい。
続いて、仮説生成部32eは位置座標「なし」とされた移動情報(即ち、ステップS63で選別されなかった移動情報)と、仮の移動情報付き軌跡連結候補とを対応付ける(ステップS64)。ステップS64において、仮説生成部32eは位置座標「なし」となっている移動情報と、個々の仮の移動情報付き軌跡連結候補との組を全通り生成して、正式な「移動情報付き軌跡連結候補」とする。尚、位置座標「なし」とされている移動情報が存在しなければ、仮説生成部32eは仮の移動情報付き軌跡連結候補を正式な移動情報付き軌跡連結候補とする。
仮説生成部32eは、ステップS5で更新したテーブルに格納されている識別情報と、ステップS64で生成した移動情報付き軌跡連結候補とを用いて、移動情報付き軌跡連結候補・識別情報ペアを全通り生成する(ステップS6e)。仮説生成部32eは、移動情報付き軌跡連結候補における軌跡連結候補のみに着目して、実施例1のステップS6と同様に、移動情報付き軌跡連結候補・識別情報ペアを全通り生成すればよい。
続いて、仮説生成部32eは移動情報付き軌跡連結候補・識別情報ペアの集合として仮説を生成する(ステップS7e)。ステップS7eにおいて、仮説生成部32eは移動情報付き軌跡連結候補・識別情報ペアにおける軌跡連結候補及び識別情報に着目して、実施例1と同様に第1の条件乃至第3の条件を満足する移動情報付き軌跡連結候補・識別情報ペアの集合を全て抽出し、個々の集合を仮説とする。仮説生成部32eは、生成した仮説群を尤度計算部33eに出力する。
ステップS7eの後、尤度計算部33eが図35に示すステップS8以降の処理を行なう。尤度未計算の仮説の有無を判定して、軌跡連結尤度及び識別情報尤度を計算するまでの処理(即ち、ステップS8乃至ステップS10)は、実施例1と同様である。但し、尤度計算制御部330eはステップS8において尤度未計算の仮説(即ち、ステップS9乃至ステップS11eの処理が実行されていない仮説)が存在すると判定した場合(ステップS8の判定結果「Yes」)、尤度未計算の仮説の1つを軌跡連結尤度計算部331、識別情報尤度計算部332、及び移動情報尤度計算部335に出力する。ここで、軌跡連結尤度及び識別情報尤度の計算(ステップS9、S10)については実施例1と同様であるため、その説明を省略する。
移動情報尤度計算部335は、入力仮説について移動情報尤度を計算する(ステップS65)。ステップS65において、移動情報尤度計算部335は仮説に含まれる個々の軌跡連結候補について移動情報尤度を計算し、同じ仮説に属する軌跡連結候補毎に移動情報尤度を積算して正規化し、以って、その仮説の移動情報尤度を算出する。移動情報尤度の計算に用いる移動情報は、更新後(即ち、ステップS62の後)の検出時刻、移動情報、移動情報種別の組として仮説生成部33eから提供される。
ステップS65で移動情報尤度を計算した後、移動情報尤度計算部335はステップS9で計算した仮説の軌跡連結尤度と、ステップS10で計算した仮説の識別情報尤度と、ステップS65で計算した移動情報尤度とを統合し、その統合結果と仮説とを対応付けて記憶する(ステップS11e)。ステップS11eでは、ステップS9、S10、S65で計算した軌跡連結尤度、識別情報尤度、及び移動情報尤度を積算して統合する。統合処理の際、移動情報尤度計算部335は軌跡連結尤度、識別情報尤度、及び移動情報尤度に対して重み付けを行なってもよい。
ステップS11eの後、尤度計算部33eはステップS8乃至ステップS11eのループを繰り返す。ステップS8で尤度未計算の仮説が存在しないと判定された場合(ステップS8の判定結果「No」)、移動情報尤度計算部335は軌跡連結尤度、識別情報尤度、及び移動情報尤度の統合結果が最大となる仮説を最尤仮説として推定する(ステップS12e)。移動情報尤度計算部335は、推定した最尤仮説を識別結果出力装置4に送出する。
識別結果出力装置4は、ステップS12eで推定した最尤仮説を入力すると、その最尤仮説に属している移動情報付き軌跡連結候補・識別情報ペアに基づき、どの軌跡がどの移動体の軌跡であるかを判断する(ステップS13)。識別結果出力装置4は、移動体の位置座標又は軌跡を具体的に表示してもよい。尚、ステップS13は実施例1と同様である。
実施例6において、移動情報検出装置6が移動体の移動情報を検出し、移動体軌跡識別装置3eが軌跡連結尤度及び識別情報尤度に加えて移動体軌跡尤度を仮説の尤度計算に利用する。軌跡連結尤度や識別情報尤度だけでは仮説の尤度に優劣がつかず、どの軌跡がどの移動体の軌跡であるかを正確に推定できない場合でも、移動体の移動状況に差があれば、移動情報を用いることにより仮説の尤度に差が生じ、以って、どの軌跡がどの移動体の軌跡であるかを正確に推定することができる。即ち、ステップS11eにおいて移動情報尤度を統合し、その統合結果を用いて最尤仮説を推定するので、どの軌跡がどの移動体の軌跡であるかを高精度で推定することができる。
実施例6に対して実施例1の変形例を適用し、尤度計算部33dが軌跡連結尤度計算部331を具備せず、軌跡連結尤度を計算しない構成としてもよい。この場合、移動情報尤度計算部335は識別情報尤度と移動情報尤度のみを統合し、その統合値が最も高い仮説を最尤仮説として推定すればよい。
また、実施例6において、尤度計算部33eが軌跡連結尤度計算部331を具備せず、実施例2と同様に、移動体軌跡識別装置3eが軌跡連結尤度計算部331aを具備する構成としてもよい。この場合、軌跡連結尤度計算部335は識別情報尤度と移動情報尤度のみを統合し、その統合値の最も高い仮説を最尤仮説として推定する。この構成により、実施例2と同様の効果を得ることができる。
また、実施例6と実施例5を組み合わせて、尤度計算部33eが軌跡連結尤度計算部331、識別情報尤度計算部332、及び移動情報尤度計算部335に加えて属性情報尤度計算部334(図29参照)を具備するようにしてもよい。この場合、移動体軌跡識別システムは属性情報検出装置5も具備する。ここでは、尤度の統合処理として、軌跡連結尤度、識別情報尤度、移動情報尤度、及び属性情報尤度を統合し、その統合結果に基づいて最尤仮説を推定する。
更に、実施例6又はその変形例と実施例3を組み合わせた構成、或いは、実施例6又はその変形例と実施例4を組み合わせた構成としてもよい。或いは、実施例又はその変形例と、実施例4及び実施例3とを組み合わせた構成としてもよい。
図36は、本発明の実施例7に係る移動体軌跡識別システムを示すブロック図である。ここで、実施例1と同一の構成要素には同一の符号を付し、その説明を省略する。実施例7に係る移動体軌跡識別システムは、位置情報検出装置1、識別情報検出装置2、移動体軌跡識別装置3f、及び識別結果出力装置4を具備する。実施例7に係る移動体軌跡識別装置3fは、軌跡連結候補生成部31、仮説生成部32f、尤度計算部33、マップ記憶部37、及び環境情報記憶部38を具備する。
環境情報記憶部38は、追跡領域50内に存在する障害物の場所と、障害物が存在する場所を移動体が通過する際の移動時間の指標とを、環境情報として記憶する。以下の説明では、障害物の場所と、その場所を移動体が通過する際の移動時間の指標とを環境情報とするが、他の要素を環境情報としてもよい。他の環境情報例については後述する。また、以下の説明では障害物が存在する場所を移動体が通過する際の移動時間の指標を「コスト」と称す。
仮説生成部32fは、実施例1と同様に、軌跡連結候補生成部31から軌跡連結候補を入力するとともに、識別情報検出装置2から識別情報を入力する。これに加えて、仮説生成部32fは環境情報記憶部38から環境情報を読み込む。
仮説生成部32fは、軌跡の途切れが生じている軌跡連結候補について、その軌跡の消失時刻及び軌跡の発生時刻に基づいて、軌跡連結候補において軌跡が途切れている間の移動体の移動時間を計算する。以下、この移動時間を実移動時間と記す。また、仮説生成部32fは実移動時間における移動体の移動距離を計算し、環境情報に基づいて、その移動距離を移動体が移動する時間を推定する。以下、この推定値を推定移動時間と記す。推定移動時間が実移動時間よりも大きければ、軌跡連結候補を仮説生成に用いる軌跡連結候補群から棄却する。即ち、仮説生成部32fは、推定移動時間が実移動時間よりも小さい軌跡連結候補、並びに軌跡の途切れが生じていない軌跡連結候補を用いて仮説を生成する。
次に、環境情報の具体例について、実移動時間及び推定移動時間を計算して軌跡連結候補を棄却するか否かを判定する処理について説明する。図37は、環境情報を模式的に示した図である。ここでは、追跡領域50を複数の領域に分割し、分割した領域毎に定めたコストを環境情報として環境情報記憶部38に記憶する。以下、分割された個々の領域をセルと称す。具体的には、追跡領域を18×9=162個のセルに分割している。ここで、障害物が存在していない領域(図37では白色で示すセル)のコストを「0」とする。障害物の存在により移動体が通過するのに時間のかかるセルほど、そのコストを高い値に設定する。図37に示す追跡領域では、領域61、62に障害物が存在している。障害物が存在する中央の領域61のセルではコストを「3.0」に設定し、障害物が存在する領域の外縁の領域62のセルではコストを「0.5」に設定している。また、コストが「0」でないセルには障害物が存在することを意味する。このように設定した環境情報を障害物マップと記す。
仮説生成部32fは、軌跡連結候補における軌跡の消失時刻から、次の軌跡の発生時刻までの時間を実移動時間として計算する。
また、仮説生成部32fは、例えば、軌跡連結候補における軌跡消失の位置座標と、次の軌跡発生の位置座標との間を直線で内挿する。仮説生成部32fは、内挿した直線上の位置座標であって、実移動時間(換言すれば、軌跡が途切れている時間)における検出時刻(即ち、位置情報及び識別情報の検出時刻)での位置座標を計算する。仮説生成部32fは、各位置座標に該当するセルのコストの総和を計算する。
仮説生成部32fは、軌跡連結候補における軌跡の消失位置から、次の軌跡の発生位置までの距離を計算し、その距離を軌跡が途切れている間の移動体の移動距離と見做す。仮説生成部32fは、軌跡が途切れている間の移動体の移動距離を、移動体の移動速度の上限値で除算し、その除算結果にコストの総和を加算し、その加算結果を推定移動時間とする。尚、移動体の移動速度の上限値は予め定めるものとし、仮設生成部32fに保持しておく。
仮説生成部32fは、軌跡の途切れている軌跡連結候補に対して、上記の処理を行なう。そして、推定移動時間が実移動時間よりも大きくなっている軌跡連結候補を仮説生成に用いる軌跡連結候補から除外する。
次に、実移動時間及び推定移動時間の具体的な計算方法について説明する。図38に示す軌跡a、bを含む軌跡連結候補に着目する。軌跡aの消失時刻がt1であり、軌跡bの発生時刻がt6であるとする。ここで、時刻t1の方が時刻t6よりも早い時刻である。また、軌跡aの消失位置座標が(Xa,Ya)であり、軌跡bの発生位置座標が(Xb,Yb)であるとする。
先ず、仮説生成部32fは軌跡が途切れている実移動時間、t6−t1を計算する。
次に、仮説生成部32fは軌跡aの消失位置座標(Xa,Xb)から軌跡bの発生位置座標(Xb,Yb)の間に直線を内挿し、その直線上の位置座標であり、かつ、実移動時間内における検出時刻t2乃至t5での位置座標を計算する。尚、時刻t2、t3、t4、t5における位置に該当するセルのコストは、「0」、「0.5」、「3.0」、「0.5」であるため、内挿した区間におけるコストの総和は「0+0.5+3.0+0.5=4.0」となる。
仮説生成部32fは、軌跡が途切れている間の移動体の移動距離Lを数式5により計算する。
Figure 0005682563
仮説生成部32fは、推定移動時間Tmを数式6により計算する。
Figure 0005682563
数式6において、Lは数式5で計算した移動距離であり、Vmaxは移動体の移動速度の上限値として予め設定した値である。また、Cは内挿した空間におけるコストの総和であり、図38では「4.0」となる。
仮説生成部32fは、数式6で計算した推定移動時間Tmが実移動時間t6−t1よりも大きければ、軌跡a、bを含む軌跡連結候補を棄却する。
障害物マップでは、障害物が存在するため、移動体が通過する際に時間がかかるセルほど、コストが高い値に設定されている。図38におけるコストは、軌跡a、b間に内挿される経路に障害物が存在する場合に、その経路を通過する際の移動時間を長くするように補正する役割を持っている。
棄却せずに残した軌跡連結候補については、途切れた軌跡間に直線が内挿されており、その内挿部分における検出時刻(図38では、時刻t2〜t5)において位置座標が計算されている。仮説生成部32fは、棄却せずに残した軌跡連結候補を用いて軌跡連結候補・識別情報ペアを生成して、仮説を生成する。尚、軌跡連結候補・識別情報ペアや仮説の生成処理は実施例1と同様である。
以上の説明では、環境情報記憶部38が障害物の場所と、障害物が存在する場所を移動体が通過する際の移動時間の指標(コスト)とを環境情報として記憶するものとした。環境情報記憶部38が、追跡領域内の通過可能な経路における移動体の移動時間を環境情報として記憶してもよい。以下、このような環境情報を用いた仮説生成部32fの処理(即ち、軌跡連結候補の棄却判定処理)について説明する。
追跡領域内の通過可能な経路における移動体の移動時間を環境情報として用いる場合、仮説生成部32fは軌跡の途切れを含む軌跡連結候補について、軌跡の消失時刻及び次の軌跡の発生時刻から、軌跡が途切れている間の移動体の実移動時間を計算する。仮説生成部32fは、環境情報を参照して、軌跡連結候補における軌跡の消失位置近傍から次の軌跡の発生位置近傍までの通過可能な経路における推定移動時間を算出する。環境情報に基づいて算出した推定移動時間が実移動時間よりも大きい場合、仮説生成部32fは着目している軌跡連結候補を棄却する。
図39は、追跡領域における通過可能な経路における移動体の移動時間に設定した環境情報を模式的に示す。この環境情報では、追跡領域内で移動体の障害となる障害物Obが存在しない領域に複数のノードnを設定している。ノードnは、任意の分解能で与えられる追跡領域内で移動体が存在可能な位置座標を表すポイントである。また、ノードn同士を繋ぐエッジであって、障害物Obと交わらない条件を満たすエッジeが設定される。このエッジeは、直線として設定されている。図39では、9個のノードnを設定しており、ノード識別番号「1」乃至「9」が割り当てられている。また、エッジeとしてノード1、2を結ぶエッジeや、ノード2、5を結ぶエッジeのように、障害物Obと交わらないエッジが設定される。ここで、ノード4、5を結ぶエッジや、ノード5、6を結ぶエッジは障害物Obと交わるので設定されていない。また、個々のエッジeに対して、そのエッジに沿って移動体が移動する場合の移動時間が設定されている。尚、エッジ毎に設定した移動時間をコストと称する。図39では、各エッジeの近傍にコストを列記している。例えば、ノード1、4間のエッジeに沿って移動体が移動する場合の移動時間(コスト)は「1」に設定されている。また、ノード1、2間のエッジeに沿って移動体が移動する移動時間(コスト)は「1.5」に設定されている。このようなノードnの位置及びエッジeのコストを、移動体が通過可能な経路における移動時間を表す環境情報として予め設定して、環境情報記憶部38に記憶する。この環境情報は、エッジにコストを対応付けた経路グラフであるといえる。
仮説生成部32fは、軌跡連結候補における軌跡の消失位置近傍から次の軌跡の発生位置近傍までをエッジにより内挿し、内挿したエッジのコストの総和を軌跡の消失位置近傍から次の軌跡の発生位置近傍までの推定移動時間として計算する。その推定移動時間(内挿したエッジのコストの総和)が実移動時間よりも大きければ、仮説生成部32fは着目している軌跡連結候補を棄却する。
次に、軌跡間の経路としてエッジを内挿する処理について説明する。ここでは、図39に示すように軌跡a、b間の経路を内挿する場合について説明する。但し、軌跡aの方が出現時刻が早く、軌跡aの消失後に軌跡bの発生が検出されるものとする。
仮説生成部32fは、軌跡aの消失位置座標と各ノードとの距離を計算し、軌跡aの消失位置座標に最も近いノードを選択する。同様に、仮説生成部32fは次に発生した軌跡bの発生位置座標と各ノードとの距離を計算し、軌跡bの発生位置座標に最も近いノードを選択する。図39において、仮説生成部32fは軌跡aの消失位置座標に最も近いノード4を選択するとともに、軌跡bの発生位置座標に最も近いノード5を選択する。
次に、仮説生成部32fは選択した2つのノード4、5間を結ぶグラフ上の経路を探索し、その探索した経路に含まれる各エッジに対応するコストの総和を計算する。そして、仮説生成部32fは探索経路に含まれるエッジのコスト総和(即ち、推定移動時間)が実移動時間(即ち、軌跡aの消失検出時刻と軌跡bの発生検出時刻との間の時間)よりも大きければ、着目している軌跡連結候補を棄却する。
選択した2つのノード4、5間を結ぶグラフ上の経路が複数存在する場合、両者を結ぶ経路毎に内挿されるエッジの組合せが異なる。この場合、仮説生成部32fは、2つのノード4、5間の各経路(即ち、内挿するエッジの組み合せ)を異なる軌跡連結候補として扱い、その軌跡連結候補毎に内挿したエッジのコスト総和と、実移動時間とを比較する。そして、内挿したエッジのコスト総和が実移動時間より大きくなっている軌跡連結候補は棄却し、一方、内挿したエッジのコスト総和が実移動時間以下となっている軌跡連結候補は軌跡連結候補・識別情報ペア及び仮説の生成処理に用いる。
図39では、2つのノード4、5間の経路として、例えば、ノード4(R)1(R)2(R)5という「第1経路」、ノード4(R)7(R)8(R)5という「第2経路」、及びノード4(R)1(R)2(R)3(R)6(R)9(R)8(R)5という「第3経路」が想定される。この他の経路も存在するが、ここでは、第1経路乃至第3経路について考察する。第1経路上のコスト総和は、「1+1.5+1=3.5」であり、第2経路のコスト総和も「3.5」となる。また、第3経路のコスト総和は「8.5」となる。
実移動時間(即ち、軌跡aの消失検出時刻から軌跡bの発生検出時刻までの時間)が3.5未満の場合、第1経路乃至第3経路のいずれを内挿してもコスト総和は実移動時間より大きくなるので、仮説生成部32fは軌跡a、bを含む軌跡連結候補を棄却する。
実移動時間が3.5以上8.5未満の場合、第1経路及び第2経路のコスト総和は実移動時間以下であるので、仮説生成部32fは軌跡a、bに第1経路を内挿した軌跡連結候補と、軌跡a、b間に第2経路を内挿した軌跡連結候補とを軌跡連結候補・識別情報ペア及び仮説の生成に採用する。このとき、仮説生成部32fは、軌跡aの消失検出時刻から軌跡bの発生検出時刻までの実移動時間内に発生する種々の検出時刻(即ち、位置情報の検出時刻及び識別情報の検出時刻)における経路上の位置座標を計算する。尚、第3経路のコスト総和は実移動時間よりも大きいので、軌跡a、b間に第3経路を内挿した軌跡連結候補を棄却される。
図39に示すように、経路グラフの閉回路で構成される場合、任意の2つのノード間を結ぶ経路は多数存在する。この場合、内挿する経路のコストに上限を定めておき、各経路のコスト総和が上限を超える場合には、軌跡間の内挿処理に用いないこととする。
上記のように、仮説生成部32fは環境情報として障害物マップ(図37参照)を用いるか、或いは、環境情報として経路グラフ(図39参照)を用いて軌跡連結候補の検索/棄却を行なう。このため、仮説生成部32fは、いずれかの環境情報を用いて軌跡連結候補を棄却するか否かを判定すればよいが、両方の環境情報を用いて軌跡連結候補の棄却判定を行なってもよい。或いは、仮説生成部32fは障害物マップや経路グラフとは異なる態様の環境情報を用いて、軌跡連結候補の棄却判定を行なってもよい。
尚、軌跡連結候補生成部31、仮説生成部32f、及び尤度計算部33は、例えば、移動体軌跡識別プログラムに従って動作するコンピュータのCPUにより実現される。この場合、コンピュータのプログラム記憶部(不図示)が移動体軌跡識別プログラムを記憶し、CPUが当該プログラムを読み込み、軌跡連結候補生成部31、仮説生成部32f、及び尤度計算部33の機能を実現する。
次に、実施例7に係る移動体軌跡識別装置3fの動作について説明する。
図40は、実施例7に係る移動体軌跡識別装置3fの処理を示すフローチャートである。ここで、実施例1と同一のステップには同一の符号を付し、その説明を省略する。
図40において、識別情報を保持するテーブルを更新するまでの処理(即ち、ステップS1乃至ステップS5)は、実施例1と同様である。
ステップS5の後、仮説生成部32fは環境情報記憶部38から環境情報を読み込み、軌跡の途切れが生じている軌跡連結候補について、軌跡連結候補・識別情報ペア及び仮説を生成するか否かを判定する(ステップS71)。即ち、仮説生成部32fは軌跡の途切れが生じている軌跡連結候補を仮説生成に用いるか否かを判定する。ステップS71の詳細については、前述した通りである。
ステップS71の後、仮説生成部32fは棄却せずに残った軌跡連結候補を用いて軌跡連結候補・識別情報ペアを生成する(ステップS6)。実施例7における軌跡連結候補・識別情報ペアの生成方法は、実施例1と同様である。続いて、仮説生成部32fは、軌跡連結候補・識別情報ペアを用いて仮説群を生成する(ステップS7)。実施例7における仮説群生成方法も実施例1と同様である。
仮説生成後の処理手順は、実施例1の図5に示すステップS8以降の処理と同様であるため、その説明を省略する。
実施例7は、環境情報記憶部38に記憶した環境情報を用いることにより、軌跡連結候補の内挿処理を正確に実行することができる。その結果、識別情報尤度を計算する際に内挿部分の位置座標を正確に特定することができるため、より正確に識別情報尤度を計算することができる。また、2つの軌跡間に内挿される経路が障害物と重複するような軌跡連結候補は棄却されて、仮説生成に使用しないので、仮説生成部32fにより生成される仮説の総数を低減することができ、以って、尤度計算処理が高速化される。
次に、実施例7の変形例について説明する。即ち、実施例7に対して実施例1の変形例を適用し、尤度計算部33が軌跡連結尤度計算部331を具備せず、軌跡連結尤度を計算しない構成としてもよい。この場合、識別情報尤度計算部332は識別情報尤度が最も高い仮説を最尤仮説として推定する。
また、実施例7において、尤度計算部33が軌跡連結尤度計算部331を具備せず、実施例2と同様に、移動体軌跡識別装置3fが軌跡連結尤度計算部331aを具備する構成としてもよい。この場合、識別情報尤度計算部332は識別情報尤度が最も高い仮説を最尤仮説として推定する。この構成によれば、実施例2と同様の効果が得られる。
また、実施例7と実施例5を組み合わせて、尤度計算部33が尤度計算制御部330、軌跡連結尤度計算部331、及び識別情報尤度計算部332に加えて、属性情報尤度計算部334を具備してもよい。この場合、移動体軌跡識別システムは、属性情報検出装置5も具備する。
また、実施例7と実施例6を組み合わせて、尤度計算部33が尤度計算制御部330、軌跡連結尤度計算部331、及び識別情報尤度計算部332に加えて、移動情報尤度計算部335を具備してもよい。この場合、移動体軌跡識別システムは、移動情報検出装置6も具備する。
更に、実施例7又はその変形例と実施例3を組み合わせた構成や、実施例7とその変形例と実施例4を組み合わせた構成としてもよい。また、実施例7とその変形例と、実施例4及び実施例3を組み合わせた構成としてもよい。
次に、本発明の最小構成について説明する。図41は、本発明の移動体軌跡識別システムの最小構成を示すブロック図である。図41の移動体軌跡識別システムは、軌跡連結候補生成部91、仮説生成部92、及び尤度計算部93を具備する。
軌跡連結候補生成部91(軌跡連結候補生成部31、31cに相当)は、過去一定時間に検出された軌跡の組み合わせである軌跡連結候補を生成する。
仮説生成部92(仮説生成部32、32cに相当)は、軌跡連結候補生成部91により生成された軌跡連結候補と、過去一定時間に検出された識別情報とを組み合わせて、軌跡連結候補・識別情報ペアの集合を生成し、所定の条件(前述の第1条件乃至第3条件に相当)を満たす軌跡連結候補・識別情報ペアの集合である仮説を生成する。
尤度計算部93(尤度計算部33、33a、33b、33cに相当)は、個々の仮説を選択し、選択した仮説に属する軌跡連結候補・識別情報ペア毎に、その軌跡連結候補が表す軌跡についてその識別情報が検出される尤もらしさである識別情報尤度を計算する。その後、識別情報尤度を統合することにより、選択した仮説について識別情報尤度を計算し、それに基づいて、最尤仮説を推定する。
上記の最小構成によれば、過去一定時間に検出された軌跡連結候補や識別情報を用いるので、移動体の追跡の途切れが頻発に発生する場合でも、検出される軌跡がどの移動体の軌跡であるのかを高精度に判別することができる。
本発明の実施例1乃至実施例7及び変形例を纏めると以下の構成の移動体軌跡識別システムとなる。
(1)過去一定時間に検出された軌跡の組み合わせである軌跡連結候補を生成する軌跡連結候補生成部(31、31c)と、軌跡連結候補生成部で生成された軌跡連結候補と、過去一定時間に検出された移動体の識別情報とを組み合わせた軌跡連結候補・識別情報ペアの集合であって、所定の条件(第1の条件乃至第3の条件)を満たす集合である仮説を生成する仮説生成部(32、32c)と、個々の仮説を選択し、選択した仮説に属する軌跡連結候補・識別情報ペア毎に、その軌跡連結候補が表す軌跡についてその識別情報が検出される尤もらしさである識別情報尤度を計算し、軌跡連結候補・識別情報ペア毎に識別情報尤度を統合することによって、選択した仮説に対する識別情報尤度を算出し、それに基づいて最尤仮説を推定する尤度計算部(33、33a、33b、33c)を具備する移動体軌跡識別システム。
(2)移動体軌跡識別システムは、移動体の追跡領域内の各位置に応じた識別情報の検出確率を定義した確率マップを記憶するマップ記憶部(37)を更に具備する。ここで、尤度計算部は個々の仮説を選択する尤度計算制御部(330)と、選択された仮説に属する軌跡連結候補・識別情報ペアにおける識別情報の検出時刻毎に、移動体の位置を軌跡連結候補が示す軌跡から特定し、その位置における検出確率を確率マップから特定し、当該検出確率を用いて軌跡連結候補・識別情報ペアに対する識別情報尤度を計算し、その識別情報尤度を統合することにより、選択した仮説の識別情報尤度を算出する識別情報尤度計算部(332、332b、332c)と、仮説の識別情報尤度に基づいて最尤仮説を推定する最尤推定部(即ち、識別情報尤度計算部332、332b、332c、又は属性情報尤度計算部334、又は移動情報尤度計算部335)を具備する。
(3)移動体軌跡識別システムは、軌跡と識別情報とが対応付けられる尤もらしさである軌跡・識別情報対応尤度を記憶する尤度記憶部(34)を更に具備する。識別情報尤度計算部(332b)が最尤仮説を推定した後、その最尤仮説とともに仮説生成部により生成された全仮説に属する軌跡連結候補・識別情報ペアにおける軌跡連結候補に含まれる最新の軌跡と識別情報との組に対する軌跡・識別情報対応尤度を導出し、その軌跡・識別情報対応尤度を尤度記憶部に記憶させる。軌跡連結候補・識別情報ペアについて識別情報尤度を計算する際、最新の軌跡と識別情報との組に対応した軌跡・識別情報対応尤度と、識別情報の検出時刻毎に特定した検出確率に基づいて、軌跡連結候補・識別情報ペアに対する識別情報尤度を計算する。
上記の構成では、軌跡・識別情報対応尤度により過去一定時間より以前の識別情報も識別情報尤度の計算に反映させることができるので、軌跡と識別情報との対応付けの精度をより高めることができる。
(4)移動体軌跡識別システムは、最尤仮説とともに仮説生成部により生成された全仮説を記憶する仮説記憶部(333)と、過去一定時間に検出された識別情報に変化があるか否かを判定する情報履歴変化判定部(35)を更に具備する。ここで、情報履歴変化判定部が取得情報に変化があると判定した場合、軌跡連結候補生成部が軌跡連結候補を生成し、仮説生成部(32c)が仮説群を生成し、個々の仮説を選択する。一方、情報履歴変化判定部が取得情報に変化なしと判定した場合、仮説記憶部に記憶された仮説群から個々の仮説を選択する。また、情報履歴変化判定部が取得情報に変化ありと判定した場合に仮説生成部が生成した仮説群から最尤仮説を推定し、その最尤仮説とともに全仮説を仮説記憶部に記憶する。
上記の構成では、仮説生成部が過去に生成した仮説群と同じ仮説群を繰り返して生成するような場合に、同一仮説群の重複生成を行わないので、軌跡と識別情報との対応付けにおける計算量を低減することができる。
(5)移動体軌跡識別システムにおいて、仮説生成部が過去一定時間に検出された移動体の属性情報を軌跡連結候補に対応付け、属性情報が対応付けられた軌跡連結候補と、過去一定時間に検出された識別情報とを組み合わせた軌跡連結候補・識別情報ペアの集合であって、所定の条件を満たす集合である仮説群を生成する。尤度計算部は、仮説群から選択された個々の仮説に属する軌跡連結候補・識別情報ペアの軌跡連結候補毎に、当該軌跡連結候補に対応付けられている個々の属性情報が同一の移動体を表している尤もらしさである属性情報尤度を計算し、軌跡連結候補・識別情報ペア毎に属性情報尤度を統合することにより、選択した個々の仮説に対する属性情報尤度を算出する属性情報尤度計算部(334)を具備する。また、最尤推定部が仮説の識別情報尤度及び属性情報尤度に基づいて、最尤仮説を推定する。
(6)移動体軌跡識別システムにおいて、仮説生成部が過去一定時間に検出された移動体の移動情報を対応付けた軌跡連結候補と、過去一定時間に検出された識別情報とを組み合わせた軌跡連結候補・識別情報ペアの集合であって、所定の条件を満たす集合である仮説群を生成する。尤度計算部は、仮説群から選択された個々の仮説に属する軌跡連結候補・識別情報ペアの軌跡連結候補毎に、当該軌跡連結候補に対応付けられている移動情報と、その軌跡連結候補から導出される移動情報とが同一の移動体に対するものである尤もらしさを表す移動情報尤度を計算し、軌跡連結候補・識別情報ペア毎に移動情報尤度を統合し、以って、選択した仮説に関する移動情報尤度を算出する移動情報尤度計算部(335)を具備する。また、最尤推定部は仮説の識別情報尤度及び移動情報尤度に基づいて、最尤仮説を推定する。
(7)尤度計算部は、仮説生成部が生成した仮説群から選択した個々の仮説に属する軌跡連結候補・識別情報ペアの軌跡連結候補毎に、当該軌跡連結候補に含まれる軌跡が連結する尤もらしさを示す軌跡連結尤度を計算する軌跡連結尤度計算部(331)を具備する。また、最尤推定部は仮説の識別情報尤度及び軌跡連結尤度に基づいて、最尤仮説を推定する。
上記の構成によれば、識別情報尤度だけでなく軌跡連結尤度も考慮して最尤仮説を推定するので、軌跡と識別情報との対応付けの精度をより高めることができる。
(8)軌跡連結尤度計算部は、軌跡を規定する移動体について検出した位置座標と、その検出時刻に基づいて軌跡連結尤度を計算する。
(9)軌跡連結尤度計算部(331a)は、軌跡連結候補生成部が生成した軌跡連結候補毎に、当該軌跡連結候補に含まれている軌跡が連結する尤もらしさである軌跡連結尤度を計算し、軌跡連結尤度が閾値以上となっている軌跡連結候補を選別する。仮説生成部は、選別された軌跡連結候補を用いて仮説を生成する。
上記の構成によれば、仮説生成部が生成する仮説の総数を少なくできるので、軌跡と識別情報との対応付けを高速に行うことができる。
(10)移動体軌跡識別システムは、移動体の追跡領域内に存在する障害物の場所と、障害物が存在する場所を移動体が通過する際の移動時間の指標とを環境情報として記憶する環境情報記憶部(338)を具備する。ここで、仮説生成部は軌跡連結候補における軌跡の消失検出時刻から次の軌跡の出現検出時刻までの実移動時間を計算するとともに、環境情報に基づいて軌跡が消滅してから次の軌跡が出現するまでの間における移動体の移動時間を推定する。推定移動時間が実移動時間よりも大きい軌跡連結候補を仮説生成に用いる軌跡連結候補から除外する。
(11)環境情報記憶部は、追跡領域内を移動体が通過可能な経路における移動時間を示す環境情報を記憶する。ここで、仮説生成部は軌跡連結候補について、軌跡の消失検出時刻から次の軌跡の出現検出時刻までの実移動時間を計算するとともに、環境情報に基づいて軌跡が消失してから次の軌跡が出現するまでの移動体の移動時間を推定する。推定移動時間が実移動時間より大きい軌跡連結候補を仮説生成に用いる軌跡連結候補から除外する。
最後に、本発明は上記の実施例や変形例に限定されるものではなく、添付した特許請求の範囲に規定される発明の範囲内に包含される全ての移動体軌跡識別技術を包含するものである。
本発明は、追跡領域内に検出された軌跡がどの移動体の軌跡であるかを識別する移動体軌跡識別技術に適用されるものである。
例えば、オフィスや工場で勤務する人物の位置と各人物固有の社員番号とを対応付けて追跡することにより、人物毎のセキュリティ権限に応じて立ち入り可能なエリアであるか否かを判別し、不審者が立入り禁止エリアに入った際のアラート機能を実現するなどの、セキュリティ技術として適用可能である。
また、ショッピングセンター内で買い物をする人物の位置と各人物固有の会員番号とを対応付けて追跡することにより、買い物客の動向を計測するなどのマーケティング技術にも適用可能である。
1 位置情報検出装置
2 識別情報検出装置
3 移動体軌跡識別装置
4 識別結果出力装置
5 属性情報検出装置
6 移動情報検出装置
31 軌跡連結候補生成部
32 仮説生成部
33 尤度計算部
34 尤度記憶部
37 マップ記憶部
38 環境情報記憶部
50 追跡領域
91 軌跡連結候補生成部
92 仮説生成部
93 尤度計算部
330 尤度計算制御部
331 軌跡連結尤度計算部
332 識別装置尤度計算部
333 仮説記憶部
334 属性情報尤度計算部
335 移動情報尤度計算部

Claims (33)

  1. 過去一定時間に検出された移動体の軌跡の組み合わせである軌跡連結候補を生成する軌跡連結候補生成部と、
    過去一定時間に検出された移動体の識別情報を軌跡連結候補と組み合わせて軌跡連結候補・識別情報ペアの集合を生成し、その軌跡連結候補・識別情報ペアの集合で所定条件を満たすものを仮説として生成する仮説生成部と、
    個々の仮説を選択し、選択した仮説に属する軌跡連結候補・識別情報ペアにおいて、その軌跡連結候補が表す軌跡における、識別情報の検出時刻での位置座標毎に、追跡領域内の各位置に対して設定されている識別情報検出の確からしさを表す値を取得し、取得した値に基づいて軌跡連結候補・識別情報ペア毎に識別情報尤度を計算し、軌跡連結候補・識別情報ペア毎に識別情報尤度を統合することにより、選択した仮説に関する識別情報尤度を算出し、仮説の識別情報尤度に基づいて最尤仮説を推定する尤度計算部を具備する移動体軌跡識別システム。
  2. 追跡領域内の位置座標に応じた移動体の識別情報の検出確率を予め定義した確率マップを記憶するマップ記憶部を更に具備し、
    前記尤度計算部は、
    選択された仮説に属する軌跡連結候補・識別情報ペアにおける識別情報の検出時刻毎に、移動体の位置を軌跡連結候補が示す軌跡上に特定し、その位置で移動体が検出される確率値を確率マップから読み取り、その確率値に基づいて識別情報尤度を計算し、更に、軌跡連結候補・識別情報ペア毎に識別情報尤度を統合することにより、選択した仮説に関する識別情報尤度を算出する識別情報尤度計算部と、
    仮説の識別情報尤度に基づいて最尤仮説を推定する最尤推定部を具備する請求項1記載の移動体軌跡識別システム。
  3. 移動体の軌跡と識別情報とが対応付けられる尤もらしさである軌跡・識別情報尤度を記憶する尤度記憶部を更に具備し、
    前記識別情報尤度計算部は、最尤仮説とともに仮説生成部により生成された全ての仮説に属する軌跡連結候補・識別情報ペアにおいて、その軌跡連結候補に含まれる最新の軌跡と識別情報との組に応じた軌跡・識別情報対応尤度を導出して尤度記憶部に記憶し、
    軌跡連結候補・識別情報ペアにおいて、軌跡連結候補に含まれる最新の軌跡と識別情報との組に応じた軌跡・識別情報対応尤度と、識別情報の検出時刻毎に確率マップから読み出した確率値に基づいて、軌跡連結候補・識別情報ペアに関する識別情報尤度を算出するようにした請求項2記載の移動体軌跡識別システム。
  4. 最尤仮説とともに仮説生成部に生成された全仮説を記憶する仮説記憶部と、
    過去一定時間に検出された識別情報に変化があるか否かを判定する情報履歴変化判定部を更に具備し、
    前記軌跡連結候補生成部は、情報履歴変化判定部により識別情報に変化ありと判定された場合に軌跡連結候補を生成し、
    仮説生成部は、情報履歴変化判定部により識別情報に変化ありと判定された場合に仮説群を生成し、
    情報履歴変化判定部により識別情報に変化ありと判定された場合、仮説生成部が生成した仮説群から個々の仮説を選択し、一方、情報履歴変化判定部により識別情報に変化なしと判定された場合には、仮説記憶部に記憶された仮説群から個々の仮説を選択し
    軌跡連結候補生成部は、情報履歴変化判定部により識別情報に変化ありと判定された場合に仮説生成部が生成した仮説群から最尤仮説を推定したとき、その最尤仮説とともに仮説生成部により生成された全仮説を仮説記憶部に記憶するようにした請求項2記載の移動体軌跡識別システム。
  5. 前記仮説生成部は、過去一定時間に検出された移動体の属性情報を軌跡連結候補に対応付けるとともに、その属性情報が対応付けられた軌跡連結候補に移動体の識別情報を組み合わせて軌跡連結候補・識別情報ペアの集合を生成し、所定条件を満たす軌跡連結候補・識別情報ペアの集合を仮説として生成し、
    前記尤度計算部は、選択された仮説に属する軌跡連結候補・識別情報ペアにおいて軌跡連結候補に対応付けられている属性情報が同一の移動体を表す尤もらしさである属性情報尤度を計算し、軌跡連結候補・識別情報ペア毎の属性情報尤度を統合することにより、選択した仮説に関する属性情報を算出する属性情報尤度計算部を具備し、
    最尤推定部は、仮説の識別情報尤度及び属性情報尤度に基づいて最尤仮説を推定するようにした請求項2記載の移動体軌跡識別システム。
  6. 前記仮説生成部は、過去一定時間に検出された移動体の移動情報を軌跡連結候補に対応付けるとともに、その移動情報が対応付けられた軌跡連結候補に移動体の識別情報を組み合わせて軌跡連結候補・識別情報ペアの集合を生成し、所定条件を満たす軌跡連結候補・識別情報ペアの集合を仮説として生成し、
    前記尤度計算部は、選択された仮説に属する軌跡連結候補・識別情報ペアにおいて軌跡連結候補に対応付けられている移動情報が同一の移動体を表す尤もらしさである移動情報尤度を計算し、軌跡連結候補・識別情報ペア毎の移動情報尤度を統合することにより、選択した仮説に関する移動情報尤度を算出する移動情報尤度計算部を具備し、
    最尤推定部は、仮説の識別情報尤度及び移動情報尤度に基づいて最尤仮説を推定するようにした請求項2記載の移動体軌跡識別システム。
  7. 前記尤度計算部は、選択された仮説に属する軌跡連結候補・識別情報ペアにおける軌跡連結候補に含まれている軌跡が連結する尤もらしさである軌跡連結尤度を計算する軌跡連結尤度を更に具備し、
    最尤推定部は、仮説の識別情報尤度及び軌跡連結尤度に基づいて最尤仮説を推定するようにした請求項2記載の移動体軌跡識別システム。
  8. 前記軌跡連結尤度は、軌跡を規定する移動体の位置座標とその検出時刻に基づいて軌跡連結尤度を計算するようにした請求項7記載の移動体軌跡識別システム。
  9. 前記軌跡連結候補生成部は、生成した軌跡連結候補に含まれている軌跡が連結する尤もらしさである軌跡連結尤度を計算し、その軌跡連結尤度が閾値以上となっている軌跡連結候補を選別し、
    前記仮説生成部は、選別された軌跡連結候補を用いて仮説群を生成するようにした請求項1記載の移動体軌跡識別システム。
  10. 追跡領域内に存在する障害物の場所と、その障害物を移動体が通過する際の移動時間とを環境情報として記憶する環境情報記憶部を更に具備し、
    前記仮説生成部は、軌跡連結候補における軌跡の消失検出時刻から次の軌跡の出現検出時刻までの実移動時間を計算するとともに、軌跡の消失から次の軌跡の出現までの間に移動体が移動した時間を環境情報に基づいて推定し、その推定移動時間が実移動時間よりも大きくなる軌跡連結候補を仮説生成に用いる軌跡連結候補群から除外するようにした請求項1記載の移動体軌跡識別システム。
  11. 追跡領域内で移動体が通過可能な経路に沿う移動時間を環境情報として記憶する環境情報記憶部を更に具備し、
    前記仮説生成部は、軌跡連結候補における軌跡の消失検出時刻から次の軌跡の出現検出時刻までの実移動時間を計算するとともに、軌跡の消失から次の軌跡の検出までの間に移動体が移動した時間を環境情報に基づいて推定し、その推定移動時間が実移動時間よりも大きくなる軌跡連結候補を仮説生成に用いる軌跡連結候補群から除外するようにした請求項1記載の移動体軌跡識別システム。
  12. 過去一定時間に検出された移動体の軌跡の組み合わせである軌跡連結候補を生成し、
    過去一定時間に検出された移動体の識別情報を軌跡連結候補と組み合わせて軌跡連結候補・識別情報ペアの集合を生成し、その軌跡連結候補・識別情報ペアの集合で所定条件を満たすものを仮説として生成し、
    個々の仮説を選択し、選択した仮説に属する軌跡連結候補・識別情報ペアにおいて、その軌跡連結候補が表す軌跡における、識別情報の検出時刻での位置座標毎に、追跡領域内の各位置に対して設定されている識別情報検出の確からしさを表す値を取得し、取得した値に基づいて軌跡連結候補・識別情報ペア毎に識別情報尤度を計算し、軌跡連結候補・識別情報ペア毎に識別情報尤度を統合することにより、選択した仮説に関する識別情報尤度を算出し、各仮説の識別情報尤度に基づいて最尤仮説を推定する移動体軌跡識別方法。
  13. 追跡領域内の位置座標に応じた移動体の識別情報の検出確率を予め定義した確率マップを記憶し、
    選択された仮説に属する軌跡連結候補・識別情報ペアにおける識別情報の検出時刻毎に、移動体の位置を軌跡連結候補が示す軌跡上に特定し、その位置で移動体が検出される確率値を確率マップから読み取り、その確率値に基づいて識別情報尤度を計算し、更に、軌跡連結候補・識別情報ペア毎に識別情報尤度を統合することにより、選択した仮説に関する識別情報尤度を算出し、
    仮説の識別情報尤度に基づいて最尤仮説を推定する請求項12記載の移動体軌跡識別方法。
  14. 移動体の軌跡と識別情報とが対応付けられる尤もらしさである軌跡・識別情報尤度を記憶し、
    最尤仮説とともに生成された全ての仮説に属する軌跡連結候補・識別情報ペアにおいて、その軌跡連結候補に含まれる最新の軌跡と識別情報との組に応じた軌跡・識別情報対応尤度を導出し、
    軌跡連結候補・識別情報ペアにおいて、軌跡連結候補に含まれる最新の軌跡と識別情報との組に応じた軌跡・識別情報対応尤度と、識別情報の検出時刻毎に確率マップから読み出した確率値に基づいて、軌跡連結候補・識別情報ペアに関する識別情報尤度を算出するようにした請求項13記載の移動体軌跡識別方法。
  15. 最尤仮説とともに仮説生成部に生成された全仮説を記憶し、
    過去一定時間に検出された識別情報に変化があるか否かを判定し、
    識別情報に変化ありと判定された場合に軌跡連結候補を生成して仮説群を生成し、
    識別情報に変化ありと判定された場合に生成された仮説群から個々の仮説を選択し、一方、識別情報に変化なしと判定された場合には記憶された仮説群から個々の仮説を選択し識別情報に変化ありと判定された場合に生成された仮説群から最尤仮説を推定したとき、その最尤仮説とともに生成された全仮説を記憶するようにした請求項13記載の移動体軌跡識別方法。
  16. 過去一定時間に検出された移動体の属性情報を軌跡連結候補に対応付けるとともに、その属性情報が対応付けられた軌跡連結候補に移動体の識別情報を組み合わせて軌跡連結候補・識別情報ペアの集合を生成し、所定条件を満たす軌跡連結候補・識別情報ペアの集合を仮説として生成し、
    選択された仮説に属する軌跡連結候補・識別情報ペアにおいて軌跡連結候補に対応付けられている属性情報が同一の移動体を表す尤もらしさである属性情報尤度を計算し、軌跡連結候補・識別情報ペア毎の属性情報尤度を統合することにより、選択した仮説に関する属性情報を算出し、
    仮説の識別情報尤度及び属性情報尤度に基づいて最尤仮説を推定するようにした請求項13記載の移動体軌跡識別方法。
  17. 過去一定時間に検出された移動体の移動情報を軌跡連結候補に対応付けるとともに、その移動情報が対応付けられた軌跡連結候補に移動体の識別情報を組み合わせて軌跡連結候補・識別情報ペアの集合を生成し、所定条件を満たす軌跡連結候補・識別情報ペアの集合を仮説として生成し、
    選択された仮説に属する軌跡連結候補・識別情報ペアにおいて軌跡連結候補に対応付けられている移動情報が同一の移動体を表す尤もらしさである移動情報尤度を計算し、軌跡連結候補・識別情報ペア毎の移動情報尤度を統合することにより、選択した仮説に関する移動情報尤度を算出し、
    仮説の識別情報尤度及び移動情報尤度に基づいて最尤仮説を推定するようにした請求項13記載の移動体軌跡識別方法。
  18. 選択された仮説に属する軌跡連結候補・識別情報ペアにおける軌跡連結候補に含まれている軌跡が連結する尤もらしさである軌跡連結尤度を計算し、
    仮説の識別情報尤度及び軌跡連結尤度に基づいて最尤仮説を推定するようにした請求項13記載の移動体軌跡識別方法。
  19. 軌跡を規定する移動体の位置座標とその検出時刻に基づいて軌跡連結尤度を計算するようにした請求項18記載の移動体軌跡識別方法。
  20. 軌跡連結候補に含まれている軌跡が連結する尤もらしさである軌跡連結尤度を計算し、その軌跡連結尤度が閾値以上となっている軌跡連結候補を選別し、
    選別された軌跡連結候補を用いて仮説群を生成するようにした請求項12記載の移動体軌跡識別方法。
  21. 追跡領域内に存在する障害物の場所と、その障害物を移動体が通過する際の移動時間とを環境情報として記憶し、
    軌跡連結候補における軌跡の消失検出時刻から次の軌跡の出現検出時刻までの実移動時間を計算するとともに、軌跡の消失から次の軌跡の出現までの間に移動体が移動した時間を環境情報に基づいて推定し、その推定移動時間が実移動時間よりも大きくなる軌跡連結候補を仮説生成に用いる軌跡連結候補群から除外するようにした請求項12記載の移動体軌跡識別方法。
  22. 追跡領域内で移動体が通過可能な経路に沿う移動時間を環境情報として記憶し、
    軌跡連結候補における軌跡の消失検出時刻から次の軌跡の出現検出時刻までの実移動時間を計算するとともに、軌跡の消失から次の軌跡の検出までの間に移動体が移動した時間を環境情報に基づいて推定し、その推定移動時間が実移動時間よりも大きくなる軌跡連結候補を仮説生成に用いる軌跡連結候補群から除外するようにした請求項12記載の移動体軌跡識別方法。
  23. コンピュータに読み込まれて実行される移動体軌跡識別プログラムであって、
    過去一定時間に検出された移動体の軌跡の組み合わせである軌跡連結候補を生成し、
    過去一定時間に検出された移動体の識別情報を軌跡連結候補と組み合わせて軌跡連結候補・識別情報ペアの集合を生成し、その軌跡連結候補・識別情報ペアの集合で所定条件を満たすものを仮説として生成し、
    個々の仮説を選択し、選択した仮説に属する軌跡連結候補・識別情報ペアにおいて、その軌跡連結候補が表す軌跡における、識別情報の検出時刻での位置座標毎に、追跡領域内の各位置に対して設定されている識別情報検出の確からしさを表す値を取得し、取得した値に基づいて軌跡連結候補・識別情報ペア毎に識別情報尤度を計算し、軌跡連結候補・識別情報ペア毎に識別情報尤度を統合することにより、選択した仮説に関する識別情報尤度を算出し、各仮説の識別情報尤度に基づいて最尤仮説を推定するようにした移動体軌跡識別プログラム。
  24. 追跡領域内の位置座標に応じた移動体の識別情報の検出確率を予め定義した確率マップを記憶し、
    選択された仮説に属する軌跡連結候補・識別情報ペアにおける識別情報の検出時刻毎に、移動体の位置を軌跡連結候補が示す軌跡上に特定し、その位置で移動体が検出される確率値を確率マップから読み取り、その確率値に基づいて識別情報尤度を計算し、更に、軌跡連結候補・識別情報ペア毎に識別情報尤度を統合することにより、選択した仮説に関する識別情報尤度を算出し、
    仮説の識別情報尤度に基づいて最尤仮説を推定する請求項23記載の移動体軌跡識別プログラム。
  25. 移動体の軌跡と識別情報とが対応付けられる尤もらしさである軌跡・識別情報尤度を記憶し、
    最尤仮説とともに生成された全ての仮説に属する軌跡連結候補・識別情報ペアにおいて、その軌跡連結候補に含まれる最新の軌跡と識別情報との組に応じた軌跡・識別情報対応尤度を導出し、
    軌跡連結候補・識別情報ペアにおいて、軌跡連結候補に含まれる最新の軌跡と識別情報との組に応じた軌跡・識別情報対応尤度と、識別情報の検出時刻毎に確率マップから読み出した確率値に基づいて、軌跡連結候補・識別情報ペアに関する識別情報尤度を算出するようにした請求項24記載の移動体軌跡識別プログラム。
  26. 最尤仮説とともに仮説生成部に生成された全仮説を記憶し、
    過去一定時間に検出された識別情報に変化があるか否かを判定し、
    識別情報に変化ありと判定された場合に軌跡連結候補を生成して仮説群を生成し、
    識別情報に変化ありと判定された場合に生成された仮説群から個々の仮説を選択し、一方、識別情報に変化なしと判定された場合には記憶された仮説群から個々の仮説を選択し識別情報に変化ありと判定された場合に生成された仮説群から最尤仮説を推定したとき、その最尤仮説とともに生成された全仮説を記憶するようにした請求項24記載の移動体軌跡識別プログラム。
  27. 過去一定時間に検出された移動体の属性情報を軌跡連結候補に対応付けるとともに、その属性情報が対応付けられた軌跡連結候補に移動体の識別情報を組み合わせて軌跡連結候補・識別情報ペアの集合を生成し、所定条件を満たす軌跡連結候補・識別情報ペアの集合を仮説として生成し、
    選択された仮説に属する軌跡連結候補・識別情報ペアにおいて軌跡連結候補に対応付けられている属性情報が同一の移動体を表す尤もらしさである属性情報尤度を計算し、軌跡連結候補・識別情報ペア毎の属性情報尤度を統合することにより、選択した仮説に関する属性情報を算出し、
    仮説の識別情報尤度及び属性情報尤度に基づいて最尤仮説を推定するようにした請求項24記載の移動体軌跡識別プログラム。
  28. 過去一定時間に検出された移動体の移動情報を軌跡連結候補に対応付けるとともに、その移動情報が対応付けられた軌跡連結候補に移動体の識別情報を組み合わせて軌跡連結候補・識別情報ペアの集合を生成し、所定条件を満たす軌跡連結候補・識別情報ペアの集合を仮説として生成し、
    選択された仮説に属する軌跡連結候補・識別情報ペアにおいて軌跡連結候補に対応付けられている移動情報が同一の移動体を表す尤もらしさである移動情報尤度を計算し、軌跡連結候補・識別情報ペア毎の移動情報尤度を統合することにより、選択した仮説に関する移動情報尤度を算出し、
    仮説の識別情報尤度及び移動情報尤度に基づいて最尤仮説を推定するようにした請求項24記載の移動体軌跡識別プログラム。
  29. 選択された仮説に属する軌跡連結候補・識別情報ペアにおける軌跡連結候補に含まれている軌跡が連結する尤もらしさである軌跡連結尤度を計算し、
    仮説の識別情報尤度及び軌跡連結尤度に基づいて最尤仮説を推定するようにした請求項24記載の移動体軌跡識別プログラム。
  30. 軌跡を規定する移動体の位置座標とその検出時刻に基づいて軌跡連結尤度を計算するようにした請求項29記載の移動体軌跡識別プログラム。
  31. 軌跡連結候補に含まれている軌跡が連結する尤もらしさである軌跡連結尤度を計算し、その軌跡連結尤度が閾値以上となっている軌跡連結候補を選別し、
    選別された軌跡連結候補を用いて仮説群を生成するようにした請求項23記載の移動体軌跡識別プログラム。
  32. 追跡領域内に存在する障害物の場所と、その障害物を移動体が通過する際の移動時間とを環境情報として記憶し、
    軌跡連結候補における軌跡の消失検出時刻から次の軌跡の出現検出時刻までの実移動時間を計算するとともに、軌跡の消失から次の軌跡の出現までの間に移動体が移動した時間を環境情報に基づいて推定し、その推定移動時間が実移動時間よりも大きくなる軌跡連結候補を仮説生成に用いる軌跡連結候補群から除外するようにした請求項23記載の移動体軌跡識別プログラム。
  33. 追跡領域内で移動体が通過可能な経路に沿う移動時間を環境情報として記憶し、
    軌跡連結候補における軌跡の消失検出時刻から次の軌跡の出現検出時刻までの実移動時間を計算するとともに、軌跡の消失から次の軌跡の検出までの間に移動体が移動した時間を環境情報に基づいて推定し、その推定移動時間が実移動時間よりも大きくなる軌跡連結候補を仮説生成に用いる軌跡連結候補群から除外するようにした請求項23記載の移動体軌跡識別プログラム。
JP2011527661A 2009-08-20 2010-08-13 移動体軌跡識別システム、移動体軌跡識別方法および移動体軌跡識別プログラム Active JP5682563B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011527661A JP5682563B2 (ja) 2009-08-20 2010-08-13 移動体軌跡識別システム、移動体軌跡識別方法および移動体軌跡識別プログラム

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2009191358 2009-08-20
JP2009191358 2009-08-20
JP2009280926 2009-12-10
JP2009280926 2009-12-10
JP2011527661A JP5682563B2 (ja) 2009-08-20 2010-08-13 移動体軌跡識別システム、移動体軌跡識別方法および移動体軌跡識別プログラム
PCT/JP2010/063770 WO2011021588A1 (ja) 2009-08-20 2010-08-13 移動体軌跡識別システム

Publications (2)

Publication Number Publication Date
JPWO2011021588A1 JPWO2011021588A1 (ja) 2013-01-24
JP5682563B2 true JP5682563B2 (ja) 2015-03-11

Family

ID=43607043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011527661A Active JP5682563B2 (ja) 2009-08-20 2010-08-13 移動体軌跡識別システム、移動体軌跡識別方法および移動体軌跡識別プログラム

Country Status (3)

Country Link
US (1) US8989438B2 (ja)
JP (1) JP5682563B2 (ja)
WO (1) WO2011021588A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210074961A (ko) * 2019-12-12 2021-06-22 (주)위즈베이스 드론 촬영 영상을 이용하여 도로 교통 정보를 분석하는 방법 및 이를 이용한 장치

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011021588A1 (ja) * 2009-08-20 2011-02-24 日本電気株式会社 移動体軌跡識別システム
WO2012132285A1 (ja) * 2011-03-25 2012-10-04 日本電気株式会社 移動体属性推定システム、移動体属性推定方法およびプログラム
JP5919665B2 (ja) * 2011-07-19 2016-05-18 日本電気株式会社 情報処理装置、物体追跡方法および情報処理プログラム
KR20140024930A (ko) * 2011-07-26 2014-03-03 도요타 지도샤(주) 차량 특정 시스템 및 차량 특정 장치
JP2013073360A (ja) * 2011-09-27 2013-04-22 Denso Corp 隊列走行装置
JP5906379B2 (ja) * 2011-09-29 2016-04-20 パナソニックIpマネジメント株式会社 移動体位置推定装置、移動体位置推定方法、及び、移動体位置推定プログラム
JP6070689B2 (ja) 2012-02-29 2017-02-01 日本電気株式会社 動線情報生成システム、動線情報生成方法および動線情報生成プログラム
JP2013192154A (ja) * 2012-03-15 2013-09-26 Omron Corp 監視装置、信頼度算出プログラム、および信頼度算出方法
JP5944271B2 (ja) * 2012-08-29 2016-07-05 株式会社東芝 地上移動体経路導出装置
US9292936B2 (en) * 2013-01-09 2016-03-22 Omiimii Ltd. Method and apparatus for determining location
JP6433149B2 (ja) 2013-07-30 2018-12-05 キヤノン株式会社 姿勢推定装置、姿勢推定方法およびプログラム
JP6206804B2 (ja) * 2013-09-27 2017-10-04 パナソニックIpマネジメント株式会社 移動体追跡装置、移動体追跡システムおよび移動体追跡方法
US10152864B2 (en) * 2014-02-28 2018-12-11 Tyco Fire & Security Gmbh Distributed rules engines for robust sensor networks
US10026015B2 (en) * 2014-04-01 2018-07-17 Case Western Reserve University Imaging control to facilitate tracking objects and/or perform real-time intervention
CN104036139B (zh) * 2014-06-12 2017-07-07 中国科学院软件研究所 一种移动对象轨迹监测方法
WO2016139906A1 (ja) * 2015-03-04 2016-09-09 パナソニックIpマネジメント株式会社 人物追跡方法および人物追跡装置
WO2016151950A1 (ja) 2015-03-20 2016-09-29 日本電気株式会社 監視システム、監視方法および監視プログラム
JP6681682B2 (ja) * 2015-08-19 2020-04-15 株式会社日立製作所 移動体計測システム及び移動体計測方法
JP6678512B2 (ja) * 2016-05-17 2020-04-08 株式会社日立製作所 センサ設置位置支援装置
US10060753B2 (en) * 2016-08-17 2018-08-28 Apple Inc. On-demand shortcut computation for routing
US10018476B2 (en) 2016-08-17 2018-07-10 Apple Inc. Live traffic routing
JP6741079B2 (ja) * 2016-11-21 2020-08-19 日本電気株式会社 動線合成装置、動線合成方法およびプログラム
US10969230B2 (en) 2017-04-13 2021-04-06 Micware Co., Ltd. Information processing device and recording medium
EP3493102B1 (en) * 2017-11-30 2020-04-29 Axis AB A method and system for tracking a plurality of objects in a sequence of images
JP6347533B1 (ja) * 2018-02-16 2018-06-27 タメコ株式会社 位置特定方法、位置特定装置およびプログラム
JP7212455B2 (ja) * 2018-03-23 2023-01-25 株式会社Ihi 監視装置及び監視方法
WO2019180917A1 (ja) * 2018-03-23 2019-09-26 日本電気株式会社 オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム
US11395096B2 (en) 2018-06-04 2022-07-19 Nec Corporation Information sharing device, information sharing method, and recording medium
JP2020102135A (ja) * 2018-12-25 2020-07-02 清水建設株式会社 追跡システム、追跡処理方法、及びプログラム
JP7164040B2 (ja) * 2019-06-25 2022-11-01 日本電気株式会社 軌跡連結装置、軌跡連結方法、及び、プログラム
US11555910B2 (en) * 2019-08-02 2023-01-17 Motional Ad Llc Merge-split techniques for sensor data filtering
JP2020057424A (ja) * 2019-12-20 2020-04-09 株式会社東芝 移動物体追跡装置、方法及びプログラム
JP7405657B2 (ja) * 2020-03-17 2023-12-26 本田技研工業株式会社 移動体監視システム、及び移動体監視方法
JP7050114B2 (ja) * 2020-05-19 2022-04-07 株式会社 ミックウェア サーバ、及び情報処理方法
CN113706574B (zh) * 2020-05-20 2024-01-02 杭州海康威视数字技术股份有限公司 一种移动轨迹确定方法、装置、电子设备及存储介质
JP7359306B2 (ja) * 2020-06-01 2023-10-11 日本電気株式会社 追跡装置、追跡システム、追跡方法、およびプログラム
US20210391908A1 (en) * 2020-06-10 2021-12-16 Peking University Method, system, computer device, and storage medium for non-contact determination of a sensing boundary
EP3937065B1 (en) * 2020-07-07 2022-05-11 Axis AB Method and device for counting a number of moving objects that cross at least one predefined curve in a scene
JP7437296B2 (ja) * 2020-12-18 2024-02-22 株式会社Soken 運転支援システム、運転支援装置及び運転支援方法
KR102576587B1 (ko) * 2022-09-16 2023-09-11 주식회사 노타 다중 카메라를 이용한 이동체 궤적 생성 방법 및 장치

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003139856A (ja) * 2001-10-31 2003-05-14 Hitachi Ltd 目標統合検出装置
JP2005250692A (ja) * 2004-03-02 2005-09-15 Softopia Japan Foundation 物体の同定方法、移動体同定方法、物体同定プログラム、移動体同定プログラム、物体同定プログラム記録媒体、移動体同定プログラム記録媒体
JP2006352626A (ja) * 2005-06-17 2006-12-28 Nippon Telegr & Teleph Corp <Ntt> 移動軌跡分析装置およびプログラム
JP2007087150A (ja) * 2005-09-22 2007-04-05 Matsushita Electric Ind Co Ltd 画像再生方法、画像再生機、画像再生プログラム
WO2007102405A1 (ja) * 2006-03-01 2007-09-13 Toyota Jidosha Kabushiki Kaisha 自車進路決定方法および自車進路決定装置
JP2007240295A (ja) * 2006-03-08 2007-09-20 Advanced Telecommunication Research Institute International 位置推定装置、位置推定方法及び位置推定プログラム
US20080031492A1 (en) * 2006-07-10 2008-02-07 Fondazione Bruno Kessler Method and apparatus for tracking a number of objects or object parts in image sequences
JP2008122093A (ja) * 2006-11-08 2008-05-29 Mitsubishi Electric Corp 多目標追尾装置
JP2008535041A (ja) * 2005-02-04 2008-08-28 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 映像フレーム内におけるスプリアス領域の識別
JP2009151359A (ja) * 2007-12-18 2009-07-09 Nippon Telegr & Teleph Corp <Ntt> 動物体追跡装置、動物体追跡方法及び動物体追跡プログラム並びに動物体追跡プログラムを記録した記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058205B2 (en) * 2001-12-07 2006-06-06 Xerox Corporation Robust, on-line, view-based appearance models for visual motion analysis and visual tracking
US6954544B2 (en) * 2002-05-23 2005-10-11 Xerox Corporation Visual motion analysis method for detecting arbitrary numbers of moving objects in image sequences
JP4450306B2 (ja) 2003-07-11 2010-04-14 Kddi株式会社 移動体追跡システム
JP2008299742A (ja) 2007-06-01 2008-12-11 Mitsubishi Electric Corp 人物追跡装置
US8374388B2 (en) * 2007-12-28 2013-02-12 Rustam Stolkin Real-time tracking of non-rigid objects in image sequences for which the background may be changing
WO2011021588A1 (ja) * 2009-08-20 2011-02-24 日本電気株式会社 移動体軌跡識別システム
US8970701B2 (en) * 2011-10-21 2015-03-03 Mesa Engineering, Inc. System and method for predicting vehicle location

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003139856A (ja) * 2001-10-31 2003-05-14 Hitachi Ltd 目標統合検出装置
JP2005250692A (ja) * 2004-03-02 2005-09-15 Softopia Japan Foundation 物体の同定方法、移動体同定方法、物体同定プログラム、移動体同定プログラム、物体同定プログラム記録媒体、移動体同定プログラム記録媒体
JP2008535041A (ja) * 2005-02-04 2008-08-28 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 映像フレーム内におけるスプリアス領域の識別
JP2006352626A (ja) * 2005-06-17 2006-12-28 Nippon Telegr & Teleph Corp <Ntt> 移動軌跡分析装置およびプログラム
JP2007087150A (ja) * 2005-09-22 2007-04-05 Matsushita Electric Ind Co Ltd 画像再生方法、画像再生機、画像再生プログラム
WO2007102405A1 (ja) * 2006-03-01 2007-09-13 Toyota Jidosha Kabushiki Kaisha 自車進路決定方法および自車進路決定装置
JP2007240295A (ja) * 2006-03-08 2007-09-20 Advanced Telecommunication Research Institute International 位置推定装置、位置推定方法及び位置推定プログラム
US20080031492A1 (en) * 2006-07-10 2008-02-07 Fondazione Bruno Kessler Method and apparatus for tracking a number of objects or object parts in image sequences
JP2008122093A (ja) * 2006-11-08 2008-05-29 Mitsubishi Electric Corp 多目標追尾装置
JP2009151359A (ja) * 2007-12-18 2009-07-09 Nippon Telegr & Teleph Corp <Ntt> 動物体追跡装置、動物体追跡方法及び動物体追跡プログラム並びに動物体追跡プログラムを記録した記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210074961A (ko) * 2019-12-12 2021-06-22 (주)위즈베이스 드론 촬영 영상을 이용하여 도로 교통 정보를 분석하는 방법 및 이를 이용한 장치
KR102307217B1 (ko) * 2019-12-12 2021-09-30 (주)위즈베이스 드론 촬영 영상을 이용하여 도로 교통 정보를 분석하는 방법 및 이를 이용한 장치

Also Published As

Publication number Publication date
US8989438B2 (en) 2015-03-24
JPWO2011021588A1 (ja) 2013-01-24
US20120148102A1 (en) 2012-06-14
WO2011021588A1 (ja) 2011-02-24

Similar Documents

Publication Publication Date Title
JP5682563B2 (ja) 移動体軌跡識別システム、移動体軌跡識別方法および移動体軌跡識別プログラム
US10895454B2 (en) Movement line information generation system, movement line information generation method and movement line information generation program
JP5807635B2 (ja) 動線検出システム、動線検出方法および動線検出プログラム
KR100886557B1 (ko) 적응형 학습에 기반한 얼굴 인식 시스템 및 방법
WO2011102416A1 (ja) 移動物体追跡システムおよび移動物体追跡方法
Xia et al. Robust unsupervised factory activity recognition with body-worn accelerometer using temporal structure of multiple sensor data motifs
Kaâniche et al. Recognizing gestures by learning local motion signatures of HOG descriptors
JP2011170711A (ja) 移動物体追跡システムおよび移動物体追跡方法
Li et al. Robust multiperson detection and tracking for mobile service and social robots
JP2016081355A (ja) 異常検知方法、異常検知装置、及びプログラム
JP2022078967A (ja) 室内測位および追跡のための深層スマートフォンセンサ融合
EP3053129A1 (en) Marker based activity transition models
Ogris et al. Continuous activity recognition in a maintenance scenario: combining motion sensors and ultrasonic hands tracking
JP2020091664A (ja) 人物を追跡する映像解析装置、プログラム及び方法
CN112381853A (zh) 用于利用无线信号和图像来进行人员检测、跟踪和标识的装置和方法
US20200012866A1 (en) System and method of video content filtering
JP2013117792A (ja) 情報処理方法、情報処理装置、および記憶媒体
Tan et al. Implicit multimodal crowdsourcing for joint RF and geomagnetic fingerprinting
US10614436B1 (en) Association of mobile device to retail transaction
CN113988228A (zh) 一种基于rfid和视觉融合的室内监控方法及系统
JP2019194758A (ja) 情報処理装置、情報処理方法、およびプログラム
CN107665495B (zh) 对象跟踪方法及对象跟踪装置
Tsintotas et al. Online Appearance-Based Place Recognition and Mapping: Their Role in Autonomous Navigation
Meena et al. Hybrid neural network architecture for multi-label object recognition using feature fusion
WO2023282033A1 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140826

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141229

R150 Certificate of patent or registration of utility model

Ref document number: 5682563

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150