JP4607797B2

JP4607797B2 - 行動判別装置、方法およびプログラム

Info

Publication number: JP4607797B2
Application number: JP2006059923A
Authority: JP
Inventors: 嶋伊知郎豊; 崎直樹今; 原良平折; 林英樹小; 磯貴史小
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-03-06
Filing date: 2006-03-06
Publication date: 2011-01-05
Anticipated expiration: 2026-03-06
Also published as: JP2007241445A; US7650318B2; US20070244630A1

Description

本発明は、行動判別装置、方法およびプログラムに関する。

人間の実空間における行動判別技術は、重要な研究開発の対象であり様々なモデルが提案されている。

行動判別技術の応用範囲は多様であり、例としては介護施設等における見守り技術や、各種施設における不審者発見技術、また小売店舗における顧客行動分析技術が挙げられる。一方、近年の画像処理・RFID（Radio Frequency Identification）・各種センサーに代表されるユビキタスデバイスの発展により、行動判別に用いられるデータは種類・量ともに増大の傾向にあり、それらを用いた手法も提案されている。
特開平8-329247公報特開2004-191095公報特開2004-298285公報

上述の行動判別手法は、行動判別のためのデータ収集に際して比較的新しいデバイスを用いるが、それらはまだ開発途上のものが多く商品化に至っていない。またそれらのデバイスは、物理的制約から設置が不可能である場合や、採算面での問題から試用が敬遠される場合もある。

本発明は、行動判別のためのデータ収集をより簡易に行うとともに、取得した収集データを用いて適正な行動判別を行うことを可能にした行動判別装置、方法およびプログラムを提供する。

本発明の一態様としての行動判別装置は、
観測領域における人物の位置を所定時間間隔で保持した軌跡データから、
前記人物が停止している時間の長さの合計を表す停止時間、
前記人物が停止している位置間の回数を表す停止回数、
前記人物が歩行している時間の長さの合計を表す歩行時間、
前記人物が走行している時間の長さの合計を表す走行時間、
前記人物が所定角度以上の方向転換を行った回数を表す方向転換回数、
前記人物が歩行方向を変更する際の角度の変化量を合計した角度変化量和、
前記人物が歩行方向を変更する際の角度の変化量の絶対値を合計した角度変化量絶対値和、
前記観測領域を分割した各分割エリアにおいて前記人物が停止した停止開始位置の重心を表した重心集合ベクトル、
前記人物が停止する直前の速度の平均をとった停止直前平均速度、
のうちＬ（Ｌは１以上の整数）個の基本行動量を抽出する基本行動抽出部と、
抽出した前記Ｌ個の基本行動量と、判別アルゴリズムとから前記人物の行動を判別する行動判別部と、
を備え、
前記L個の基本行動量は、前記停止回数、前記角度変化量和、前記角度変化量絶対値和、前記重心集合ベクトル、および前記停止直前平均速度のうちの少なくとも１つを含むことを特徴とする。

本発明の一態様としての行動判別方法は、
観測領域における人物の位置を所定時間間隔で保持した軌跡データから、
前記人物が停止している時間の長さの合計を表す停止時間、
前記人物が停止している位置間の回数を表す停止回数、
前記人物が歩行している時間の長さの合計を表す歩行時間、
前記人物が走行している時間の長さの合計を表す走行時間、
前記人物が所定角度以上の方向転換を行った回数を表す方向転換回数、
前記人物が歩行方向を変更する際の角度の変化量を合計した角度変化量和、
前記人物が歩行方向を変更する際の角度の変化量の絶対値を合計した角度変化量絶対値和、
前記観測領域を分割した各分割エリアにおいて前記人物が停止した停止開始位置の重心を表した重心集合ベクトル、
前記人物が停止する直前の速度の平均をとった停止直前平均速度、
のうちＬ（Ｌは１以上の整数）個の基本行動量を抽出し、
抽出した前記Ｌ個の基本行動量と、判別アルゴリズムとから前記人物の行動を判別し、
前記L個の基本行動量は、前記停止回数、前記角度変化量和、前記角度変化量絶対値和、前記重心集合ベクトル、および前記停止直前平均速度のうちの少なくとも１つを含むことを特徴とする。

本発明の一態様としての行動判別プログラムは、
観測領域における人物の位置を所定時間間隔で保持した軌跡データから、
前記人物が停止している時間の長さの合計を表す停止時間、
前記人物が停止している位置間の回数を表す停止回数、
前記人物が歩行している時間の長さの合計を表す歩行時間、
前記人物が走行している時間の長さの合計を表す走行時間、
前記人物が所定角度以上の方向転換を行った回数を表す方向転換回数、
前記人物が歩行方向を変更する際の角度の変化量を合計した角度変化量和、
前記人物が歩行方向を変更する際の角度の変化量の絶対値を合計した角度変化量絶対値和、
前記観測領域を分割した各分割エリアにおいて前記人物が停止した停止開始位置の重心を表した重心集合ベクトル、
前記人物が停止する直前の速度の平均をとった停止直前平均速度、
のうちＬ（Ｌは１以上の整数）個の基本行動量を抽出するステップと、
抽出した前記Ｌ個の基本行動量と、判別アルゴリズムとから前記人物の行動を判別するステップとをコンピュータに実行させ、
前記L個の基本行動量は、前記停止回数、前記角度変化量和、前記角度変化量絶対値和、前記重心集合ベクトル、および前記停止直前平均速度のうちの少なくとも１つを含むことを特徴とする。

本発明により、行動判別のためのデータ収集をより簡易に行うことができ、またこれにより取得した収集データを用いて適正な行動判別を行うことができる。

図１は、本発明の一実施の形態に従った行動判別装置の全体構成を概略的に示すブロック図である。この行動判別装置は、軌跡抽出部１１、基本行動抽出部１２、対応行動入力部１３、基本行動量データベース１４、軌跡抽出部２１、基本行動抽出部２２、類似度計算部２３、行動判別部２４、結果格納データベース２５、結果表示部２６を備える。軌跡抽出部１１、基本行動抽出部１２、軌跡抽出部２１、基本行動抽出部２２、類似度計算部２３、行動判別部２４による機能を実現する命令コードが記述されたプログラムをコンピュータに実行させてもよい。以下、図１の行動判別装置について詳細に説明する。

まず軌跡抽出部１１、基本行動抽出部１２、対応行動入力部１３、基本行動量データベース１４について説明する。

軌跡抽出部１１は歩行体の軌跡データを取得する。ここでは歩行体は歩行者とするが、動物であってもよい。軌跡抽出部１１の一例としてデジタルビデオカメラ（撮像装置）を用いることが可能である。軌跡抽出部１１によって取得された歩行者軌跡データの一例を後述する図５の左側に示す。番号１〜１０の各行がそれぞれ１つのビデオフレームに対応する。Ｘ座標およびＹ座標は観測領域（後述する図１５参照）における歩行者の位置を示す。歩行者の位置がフレーム間隔（所定時間間隔）で保持されている。軌跡抽出部１１は、歩行者を撮像する部分と、撮像データ（複数のフレーム画像）から歩行者の軌跡を抽出する部分とに分離されてもよい。撮像データから歩行者の軌跡を抽出するには既知の種々の画像処理技術を用いればよい。

軌跡抽出部１１によって抽出された軌跡データは基本行動抽出部１２に入力される。基本行動抽出部１２は、入力された軌跡データをもとに、図２に挙げた９つの基本行動量、すなわち停止時間ST,停止回数SE,歩行時間WT,走行時間RT,方向転換回数CE,角度変化量和Q,角度変化量絶対値和QA,重心集合ベクトルG,停止直前平均速度BSを計算する。これらの基本行動量により歩行者軌跡の基本行動量ベクトル（ST, SE, WT, RT, CE, Q, QA, G, BS）が定まる。特に角度変化量和Q,角度変化量絶対値和QA,重心集合ベクトルG,停止直前平均速度BSは本実施の形態における大きな特徴の１つである。上記９つの基本特徴量の１つ以上を利用することで適正な行動判別が可能となる。各基本行動量の詳細については後述する。

対応行動入力部１３は、基本行動量ベクトルに対してラベルをつける。例としては、ある行動Aを行っている人物を軌跡抽出部１１により撮影して当該人物の軌跡データを抽出する。抽出した軌跡データから基本行動抽出部１２により基本行動量ベクトルを計算し、この基本行動量ベクトルに対し対応行動入力部１３を用いて行動Aのラベルをつける。行動Aの内容は、撮影内容から本装置の利用者が判断してもよいし、本人に対するインタビューにより取得してもよい。他の行動についての基本行動量ベクトルに対しても、同様にしてラベル付けを行う。ラベルとしては例えば、迷っているなどそのときの心の状況などをあげることができる。

基本行動量データベース１４は、対応行動入力部１３によってラベル付けされた基本行動量ベクトルを保存する。

次に、軌跡抽出部２１、基本行動抽出部２２、類似度計算部２３、行動判別部２４、結果格納データベース２５、結果表示部２６について説明する。

軌跡抽出部２１、基本行動抽出部２２は、軌跡抽出部１１および基本行動抽出部１２と同一の機能を有する。一部説明が重複するが軌跡抽出部２１、基本行動抽出部２２について説明する。

軌跡抽出部２１も、軌跡抽出部１１と同様、歩行者軌跡データを取得する。軌跡抽出部２１の一例としてデジタルビデオカメラを用いることが可能である。軌跡抽出部２１は、行動判別を行う対象となる歩行者の軌跡データを取得する。

軌跡抽出部２１によって抽出された軌跡データは基本行動抽出部２２に入力される。基本行動抽出部２２は、入力された軌跡データをもとに、９つの基本行動量、すなわち停止時間ST,停止回数SE,歩行時間WT,走行時間RT,方向転換回数CE,角度変化量和Q,角度変化量絶対値和QA,重心集合ベクトルG,停止直前平均速度BSを計算し、これらの基本行動量によって歩行者軌跡の基本行動量ベクトル（ST, SE, WT, RT, CE, Q, QA, G, BS）を得る。基本行動抽出部２２は、取得した基本行動量ベクトルを類似度計算部２３に渡す。

類似度計算部２３は、基本行動抽出部２２から渡された入力軌跡の基本行動量ベクトルと、基本行動量データベース１４に蓄えられている全ての基本行動量ベクトルとの類似度を計算する。類似度の尺度としては様々なものが考えられるが、一例としては両ベクトル間のユークリッド距離がある。

行動判別部２４は、入力軌跡の基本行動量ベクトルに最も類似した基本行動量ベクトルを基本行動量データベース１４から選択し、選択した基本行動量ベクトルに付されているラベルを入力軌跡の行動として採用する（第１の判別アルゴリズム）。行動判別の方法としては、以上のほか決定木などの分類規則を用いてもよい。すなわち、基本行動量データベース１４を用いて基本行動量から行動内容を推測する分類規則を作成しておき、この決定木に入力軌跡の基本行動量ベクトルを入力して行動内容を判別してもよい（第２の判別アルゴリズム）。判別結果の活用方法に関しては別途述べる。

結果格納データベース２５は、行動判別部２４による判別結果を格納する。判別結果としては、例えば「商品探索中」「迷走中」「売り場Ｚで店員と商談中」などがある。判別結果のほかに、軌跡データ、入力軌跡の基本行動量ベクトルなどを格納してもよい。

結果表示部２６は、軌跡抽出部２１によって抽出された軌跡データ、基本行動抽出部２２によって抽出された基本行動量ベクトル、行動判別部２４によって判別された歩行者の行動内容を表示する。

図３は、基本行動抽出部２２、１２の詳細構成を示すブロック図である。基本行動抽出部２２、１２は4つのモジュール、すなわちデータ前処理部３１、基本行動列計算部３２、第１基本行動量計算部３３、第２基本行動量計算部３４に分かれる。

図４はデータ前処理部３１による処理の流れを説明するフローチャートである。

データ前処理部３１には、軌跡データが入力される。軌跡データは2次元実数座標系における点列であり、点列における各点は、各点に対応する時点における歩行者の位置に相当する。図５の左側に軌跡データの一例が示される。軌跡データは、X={x₁,x₂,…x_N-1,x_N}として表すことができる。ただしx_i=(x_i ^(x),x_i ^(y))である。図５の例では、x₁=(x₁ ^(x),x₁ ^(y))=(1.0,1.0)、x₂=(x₂ ^(x),x₂ ^(y))=(2.0,3.2)である。

S11において、データ前処理部３１は、上記軌跡データから、図５の右側に示すように、方向ベクトル列V={v₁,v₂,…v_N-2,v_N-1}を求める。Vの各要素は、軌跡データにおける各時点の座標間で定義される方向ベクトルであり、軌跡データの各時点の座標をxiとするとv_i=x_i+1-x_iで計算される。図５の例では、i=1の場合、v₁=x₂-x₁=(2.0-3.2)-(1.0,1.0)=(1.0,2.2)となる。

S12では、データ前処理部３１は、方向ベクトル列Vを用いて、ノルム列D={d₁,d₂,…d_N-2,d_N-1}を計算する。ノルム列Dの計算例を図６に示す。ノルム列Dの計算では、方向ベクトル列の各要素の「長さ」をノルム列Dの各要素として求める。すなわち、方向ベクトル列Vのi番目の要素をv_i=(a_i,b_i)とすると、ノルム列Dのi番目の要素は、

で計算される。図６の例では、i=1の場合、d₁=(1²+2.2²)^1/2=2.417である。

図７は、基本行動列計算部３２による処理の流れを示すフローチャートである。

S21において、ノルム列Dを用いて、停止行動列S={s₁,s₂,…s_N-2,s_N-1}の計算を行う。停止行動列Sの計算例を図８に示す。停止行動列は0または1の列であり、要素s_iの添え字iは、該当するフレーム間にあたる。直感的には歩行者が停止（歩行も走行もしていない）しているフレーム間は、停止行動列の値は1となり、停止していないフレーム間は0となる。

停止行動列Sにおける各要素の値の判別は、閾値Th_stop&walkと、任意に与えるフレーム数Fとに基づいて行われる。閾値Th_stop&walkは、事前に別途収集した停止及び歩行の軌跡データから、両者の速度に正規分布を仮定して推定した値である。停止時間列Sの要素s_iは、ノルム列の対応する要素diを含む連続したF個の要素がいずれもTh_stop&walk を下回る場合に、1となる。図８には閾値Th_stop&walk=3、フレーム数F=2の例が示される。例えばi=4では、d₄=2.546は３より小さく、またd₄の前のd₃=2.759も３より小さい。すなわち連続する２（=F）個のノルム列の要素がいずれも３より小さい。よって、d₄=1となる。また、i=1では、d₁=2.417は３より小さく、またd₁の後のd₂=2.147も３より小さい。すなわち連続する２個のノルム列の要素がいずれも３より小さい。よって、d₁=1となる。

S22では、ノルム列Dと停止行動列Sとを用いて、歩行行動列W={w₁,w₂,…w_N-2,w_N-1}の計算を行う。歩行行動列Wの計算例を図９に示す。

歩行行動列Wの計算は閾値Th_walk&run （さらなる閾値）に基づいて行われる。閾値Th_walk&run は、事前に別途収集した歩行及び走行の軌跡データから、両者に正規分布を仮定して計算した値である。停止行動列Sの要素s_i=1である場合、時点iでは既に歩行者の行動が定まっているものとして判断し（歩行していないと判断し）自動的にw_i=0とする。停止行動列Sの要素s_i=0である場合は、ノルム列Dの要素d_iがTh_walk&run 以下ならば歩行者が歩いていると判断してw_i=1とし、Th_walk&runを超えるならば歩いていないと判断して（走っていると判断して）w_i=0とする。例えば、s₁〜s₄はいずれも1であるため、w1〜w4は自動的に0とする。一方、i=5の場合、s₅=0であり、またd₅=3.007(≦4.0)であるため、w₅=1となる。i=7の場合、s₇=0であり、またd₇=5.385(>4.0)であるため、w₇=0となる。

S23では、停止行動列Sと歩行行動列Wとを用いて、走行行動列R={r₁,r₂,…r_N-2,r_N-1}の計算を行う。走行行動列Rの計算例を図１０に示す。

走行行動列Rの各要素は、停止行動列Sおよび歩行行動列Wにおいてs_i=0かつw_i=0であれば、歩行者は走っていると判断し、r_i=1とする。すなわち、停止行動列Sの要素s_i=0であり、ノルム列Dの要素d_iがTh_walk&run （さらなる閾値）より大きいならば歩行者が走行していると判断してr_i=1とする。一方、s_i=1あるいはw_i=1の場合は、歩行者は走っていないと判断し、r_i=0とする。例えばi=7,8では、w_i,s_iのいずれも0であるためr₇,r₈=1とし、i=1〜6,9では、w_i,s_iの少なくともいずれかが1であるため、r₁〜r₆,r₉=0とする。

S24では、方向ベクトル列Vを用いて、方向転換列C={c₁,c₂,…c_N-2}の計算を行う。方向転換列Cの計算例を図１１に示す。

方向転換列Cにおける各要素c_iは、方向ベクトル列Vにおける隣接する要素の成す角度により決定され、v_iとv_i+1のなす角が所定角度（ここではπ/2とする）以上の場合は、歩行者が方向転換を行ったと判断して1とし、それ未満の場合は0とする。具体的に、判別方法としては内積の正負判別で行う。つまり、v_i=(a_i,b_i), v_i+1=(a_i+1,b_i+1)とすると、a_ia_i+1+b_ib_i+1が、０以下ならばc_i =1、それ以外はc_i =0である。

図１２は第１基本行動量計算部３３による処理の流れを示すフローチャートである。

S31では、停止行動列Sを用いて、停止時間STを計算する。停止時間STは、停止行動列Sの和を計算し、それにフレーム間隔時間Tを乗ずることで得られる。つまり、停止時間STは、歩行者が停止している時間の長さの合計を表す。

S32では、停止行動列Sを用いて、停止回数SEを計算する。停止回数SEは停止行動列S中の、値が1である要素の連続系列の出現回数として得られる。例えば停止行動列S={0000011000000111111110000001111110000}の場合、値が１である要素の連続系列の個数は3であるため、SE=3となる。つまり、停止回数SEは、歩行者が停止した回数を表す。

S33では、歩行行動列Wを用いて、歩行時間WTを計算する。歩行時間WTは、歩行行動列Wの和を計算し、それにフレーム間隔時間Tを乗ずることで得られる。つまり、歩行時間WTは、歩行者が歩行している時間の長さの合計を表す。

S34では、走行行動列Rを用いて、走行時間RTを計算する。走行時間RTは走行行動列Rの和を計算し、それにフレーム間隔時間Tを乗ずることで得られる。つまり歩行時間RTは、歩行者が走行している時間の長さの合計を表す。

S35では、方向転換列Cを用いて、方向転換回数CEを計算する。方向転換回数CEは、方向転換列CEの和を計算することで得られる。つまり、方向転換回数CEは、歩行者が所定角度以上の方向転換を行った回数を表す。より詳細には、なす度が所定角度以上である隣接する方向ベクトル同士の回数が方向転換回数に相当する。

図１３は第２基本行動量計算部３４による処理の流れを示すフローチャートである。

S41では、方向ベクトル列Vを用いて角度変化量列P={p₁,p₂,…p_N-2}を計算する。角度変化量列Pの各要素p_iの値は方向ベクトル列Vの要素v_i,v_i+1のなす角の弧度法値であり、−π以上π以下の範囲の値である。直感的には歩行者が右折していれば正の値、左折していれば負の値である。

S42では、角度変化量列Pを用いて、角度変化量和Qを計算する。角度変化量和Qは角度変化量列Pの総和を計算することで得られる。この値の特徴として左右に同じだけ回転した場合、Qの値は打ち消しあって0になる。つまり、角度変化量和は、歩行者が歩行方向を変更する際の角度の変化量を合計したものである。

S43では、角度変化量列Pを用いて、角度変化量絶対値和QAを計算する。角度変化量絶対値和QAは、角度変化量列Pの角要素p_iの絶対値|p_i|の総和を計算することで得られる。つまり、角度変化量絶対値和QAは、歩行者が歩行方向を変更する際の角度の変化量の絶対値を合計したものである。

S44では、停止行動列Sを用いて、停止位置集合SPを計算する。停止位置集合SPの計算例を図１４に示す。停止位置集合SPは、停止行動の開始位置の集合である。詳細には、停止位置集合SPの各要素sp_iは、停止行動列Sに含まれる1の連続系列の各々の開始位置である。図１４の例では、停止行動列Sにおいて、１の連続系列が３つ示され、各連続系列の開始位置は、6,14,28であるため、停止位置集合はSP={6,14,28…}となる。つまり停止行動の開始位置は、連続して停止している複数の位置間の先頭の位置に相当する。

S45では、停止位置集合SPと軌跡データXとを用いて、重心集合ベクトルGを計算する。重心集合ベクトルGの計算例を説明するため図１５を示す。

観測領域１００を任意に与えたN個の領域に分割する。本例ではN=4の例が示される。また、本例では各分割領域が方形となるように分割を行っているが分割方法はこれに限定されない。各領域i(本例ではi=1〜4)ごとに、停止位置集合SPと軌跡データXとに基づき、停止位置の重心g_iを計算する。停止位置の存在しない領域の重心は0ベクトルとする。重心集合ベクトルGは各領域の重心を用いてG={g₁,g₂,…,g_N}と表される。つまり、重心集合ベクトルGは、観測領域を分割した各分割エリアについて、歩行体が停止を開始した位置の重心を表したものである。

S46では、ノルム列Dと、停止位置集合SPと、与えられた任意の整数Kとを用いて、停止直前平均速度BSを計算する。停止位置集合SPに示される停止位置の各々について、該停止位置からK時点前までのノルム列の平均を計算することにより個別停止直前平均速度を得る。次に全ての停止位置について計算した個別停止直前平均速度の平均を求め、これを停止直前平均速度BSとする。つまり、停止直前平均速度BSは、歩行体が各停止位置で停止する直前の速度の平均を表す。

以上によって、基本行動抽出部２２、１２は、図２に示した基本行動量ベクトルPV=(ST、SE、WT、RT、CE、Q、QA、G、BS)を得る。本実施形態では第１基本行動量計算部３３と第２基本行動量計算部３４とをそれぞれ別に設けたが、これらを一体とし、一体化された計算部において図１２および図１３の処理を行ってもよい。

図１６は結果表示部２６の画面イメージを示す。

画面下部には入力軌跡（軌跡データX）が表示される。表示される軌跡は、例えば、停止・歩行・走行の状態に各々対応した線種または色などで表示されてもよい。本例では、歩行が実線で、走行が破線で表示されているとする。

一方、画面上部には入力軌跡から得られた基本行動量ベクトルPVと、判別結果の行動（基本行動量データベース１４から選択された基本行動量ベクトルに付されたラベル、もしくはこのラベルによって表される行動内容）を表示する。表示される判別結果の行動は、例えば画面下部に表示された入力軌跡全体から判断された１つの行動である。

以上に説明した本実施形態を用いることにより、例えば小売店舗の収益性改善を図ることができる。具体的には、基本行動量データベース内に「迷走中」や「店員と商談中」等の判別対象行動（ラベル）を基本行動量ベクトルに関連づけて格納しておく。買物客の入力軌跡から取得した基本行動量ベクトルを基本行動データベース内の各基本行動量ベクトルと比較することによって買物客の行動を判別する。そして、判別の結果を示すデータを結果格納データベースに格納する。結果格納データベースに蓄積された結果を分析することにより、「迷う人が多いので、レイアウトをわかりやすくする。」や「この売場では、ほとんどの買物客は商談していない。商品いれかえの必要有り」等の店舗改善施策を得ることができる。

また、本実施形態は防犯にも利用することが可能である。具体的には、基本行動量データベースに、不審行動を示すラベルを付した基本行動量ベクトルを格納することにより、不審行動の行動判別も可能であり、それによって不審者を検出することも可能である。

また、本実施形態のように軌跡抽出部としてビデオカメラを用いることで、既存の防犯カメラ等のインフラを活用でき、少ないコストでの本実施形態の導入が可能である。

本発明の一実施の形態に従った行動判別装置の全体構成を概略的に示すブロック図。９つの基本行動量を示す図。基本行動抽出部の詳細構成を示すブロック図。データ前処理部による処理の流れを説明するフローチャート。方向ベクトル列の計算例を示す図。ノルム列の計算例を示す図。基本行動列計算部による処理の流れを示すフローチャート。停止行動列の計算例を示す図。歩行行動列の計算例を示す図。走行行動列の計算例を示す図。方向転換列の計算例を示す図。第１基本行動量計算部による処理の流れを示すフローチャート。第２基本行動量計算部による処理の流れを示すフローチャート。停止位置集合の計算例を示す図。重心集合ベクトルの計算例を説明する図。結果表示部の画面イメージを示す図。

符号の説明

１１軌跡抽出部
１２基本行動抽出部
１３対応行動入力部
１４基本行動量データベース
２１軌跡抽出部
２２基本行動抽出部
２３類似度計算部
２４行動判別部
２５結果格納データベース
２６結果表示部
３１データ前処理部
３２基本行動列計算部
３３第１基本行動量計算部
３４第２基本行動計算部

Claims

観測領域における人物の位置を所定時間間隔で保持した軌跡データから、
前記人物が停止している時間の長さの合計を表す停止時間、
前記人物が停止している位置間の回数を表す停止回数、
前記人物が歩行している時間の長さの合計を表す歩行時間、
前記人物が走行している時間の長さの合計を表す走行時間、
前記人物が所定角度以上の方向転換を行った回数を表す方向転換回数、
前記人物が歩行方向を変更する際の角度の変化量を合計した角度変化量和、
前記人物が歩行方向を変更する際の角度の変化量の絶対値を合計した角度変化量絶対値和、
前記観測領域を分割した各分割エリアにおいて前記人物が停止した停止開始位置の重心を表した重心集合ベクトル、
前記人物が停止する直前の速度の平均をとった停止直前平均速度、
のうちＬ（Ｌは１以上の整数）個の基本行動量を抽出する基本行動抽出部と、
抽出した前記Ｌ個の基本行動量と、判別アルゴリズムとから前記人物の行動を判別する行動判別部と、
を備え、
前記L個の基本行動量は、前記停止回数、前記角度変化量和、前記角度変化量絶対値和、前記重心集合ベクトル、および前記停止直前平均速度のうちの少なくとも１つを含むことを特徴とする行動判別装置。
前記L個の基本行動量は、前記停止時間を含み、
前記基本行動抽出部は、
前記軌跡データから各隣接する位置間の距離を計算し、
計算した位置間の距離が閾値より小さい位置間を、前記人物が停止している位置間として検出し、
検出した位置間の回数に前記所定時間間隔を乗ずることにより前記停止時間を計算することを特徴とする請求項１に記載の行動判別装置。
前記L個の基本行動量は前記停止回数を含み、
前記基本行動抽出部は、
前記軌跡データから各隣接する位置間の距離を計算し、
計算した位置間の距離が閾値より小さい位置間を、前記人物が停止している位置間として検出し、
検出した位置間の回数を前記停止回数とすることを特徴とする請求項１または２に記載の行動判別装置。
前記L個の基本行動量は前記歩行時間を含み、
前記基本行動抽出部は、
前記軌跡データから各隣接する位置間の距離を計算し、
計算した位置間の距離が、前記閾値以上であり、かつさらなる閾値以下の位置間を前記人物が歩行している位置間として検出し、
検出した位置間の回数に前記所定時間間隔を乗じることにより前記歩行時間を計算することを特徴とする請求項１〜３のいずれか一項に記載の行動判別装置。
前記L個の基本行動量は前記走行時間を含み、
前記基本行動抽出部は、
前記軌跡データから各隣接する位置間の距離を計算し、
計算した位置間の距離が、前記さらなる閾値より大きい位置間を、前記人物が走行している位置間として検出し、
検出した位置間の回数に前記所定時間間隔を乗じることにより前記走行時間を計算することを特徴とする請求項１〜４のいずれか一項に記載の行動判別装置。
前記L個の基本行動量は前記方向転換回数を含み、
前記基本行動抽出部は、
前記軌跡データから各隣接する位置間の方向ベクトルを計算し、
隣接する方向ベクトル同士がなす角度をそれぞれ計算し、
計算した角度が前記所定角度以上である方向ベクトル同士の回数を前記方向転換回数とすることを特徴とする請求項１〜５に記載の行動判別装置。
前記L個の基本行動量は前記角度変化量和を含み、
前記基本行動抽出部は、
前記軌跡データから各隣接する位置間の方向ベクトルを計算し、
隣接する方向ベクトル同士がなす角度をそれぞれ計算し、
計算した各角度を合計することにより前記角度変化量和を計算することを特徴とする請求項１〜６のいずれか一項に記載の行動判別装置。
前記L個の基本行動量は前記角度変化量絶対値和を含み、
前記基本行動抽出部は、
前記軌跡データから各隣接する位置間の方向ベクトルを計算し、
隣接する方向ベクトル同士がなす角度をそれぞれ計算し、
計算した各角度の絶対値を合計することにより前記角度変化量絶対値和を計算することを特徴とする請求項１〜７のいずれか一項に記載の行動判別装置。
前記L個の基本行動量は前記重心集合ベクトルを含み、
前記基本行動抽出部は、
前記軌跡データから各隣接する位置間の距離を計算し、
計算した位置間の距離が閾値より小さい位置間を、前記人物が停止している位置間として検出し、
連続して停止している位置間の集合の先頭の位置を前記停止開始位置として計算し、
前記各分割領域における停止開始位置からそれぞれの重心を計算することを特徴とする請求項１〜８のいずれか一項に記載の行動判別装置。
前記L個の基本行動量は前記停止直前平均速度を含み、
前記基本行動抽出部は、
前記軌跡データから各隣接する位置間の距離を計算し、
計算した位置間の距離が閾値より小さい位置間を、前記人物が停止している位置間として検出し、
連続して停止している位置間の集合の先頭の位置を前記停止開始位置として計算し、
各前記停止開始位置から所定個数前の位置までの範囲において、各隣接する位置間の距離の平均を計算し、
各前記停止開始位置について計算した前記距離の平均を平均することにより前記停止直前平均速度を計算することを特徴とする請求項１〜９のいずれか一項に記載の行動判別装置。
Ｌ個の基本行動量からなる組と、行動内容を表す情報とを対応づけたデータを複数格納する基本行動量データベースをさらに備え、
前記行動判別部は、前記判別アルゴリズムとして、前記基本行動抽出部によって抽出されたＬ個の基本行動量と類似条件を満たす前記基本行動量の組を前記基本行動量データベースから検出し、検出した組に対応づけられた行動内容を前記人物の行動として決定することを特徴とする請求項１〜１０のいずれか一項に記載の行動判別装置。
前記軌跡データと、抽出された前記Ｌ個の基本行動量と、決定された前記人物の行動内容を表す情報とを表示する表示部をさらに備えたことを特徴とする請求項１〜１１のいずれか一項に記載の行動判別装置。
前記観測領域を歩行する人物を撮像した複数のフレーム画像から人物の軌跡データを抽出する軌跡抽出部をさらに備えたことを特徴とする請求項１〜１２のいずれか一項に記載の行動判別装置。
観測領域における人物の位置を所定時間間隔で保持した軌跡データから、
前記人物が停止している時間の長さの合計を表す停止時間、
前記人物が停止している位置間の回数を表す停止回数、
前記人物が歩行している時間の長さの合計を表す歩行時間、
前記人物が走行している時間の長さの合計を表す走行時間、
前記人物が所定角度以上の方向転換を行った回数を表す方向転換回数、
前記人物が歩行方向を変更する際の角度の変化量を合計した角度変化量和、
前記人物が歩行方向を変更する際の角度の変化量の絶対値を合計した角度変化量絶対値和、
前記観測領域を分割した各分割エリアにおいて前記人物が停止した停止開始位置の重心を表した重心集合ベクトル、
前記人物が停止する直前の速度の平均をとった停止直前平均速度、
のうちＬ（Ｌは１以上の整数）個の基本行動量を抽出し、
抽出した前記Ｌ個の基本行動量と、判別アルゴリズムとから前記人物の行動を判別し、
前記L個の基本行動量は、前記停止回数、前記角度変化量和、前記角度変化量絶対値和、前記重心集合ベクトル、および前記停止直前平均速度のうちの少なくとも１つを含むことを特徴とする、行動判別方法。
観測領域における人物の位置を所定時間間隔で保持した軌跡データから、
前記人物が停止している時間の長さの合計を表す停止時間、
前記人物が停止している位置間の回数を表す停止回数、
前記人物が歩行している時間の長さの合計を表す歩行時間、
前記人物が走行している時間の長さの合計を表す走行時間、
前記人物が所定角度以上の方向転換を行った回数を表す方向転換回数、
前記人物が歩行方向を変更する際の角度の変化量を合計した角度変化量和、
前記人物が歩行方向を変更する際の角度の変化量の絶対値を合計した角度変化量絶対値和、
前記観測領域を分割した各分割エリアにおいて前記人物が停止した停止開始位置の重心を表した重心集合ベクトル、
前記人物が停止する直前の速度の平均をとった停止直前平均速度、
のうちＬ（Ｌは１以上の整数）個の基本行動量を抽出するステップと、
抽出した前記Ｌ個の基本行動量と、判別アルゴリズムとから前記人物の行動を判別するステップとをコンピュータに実行させ、
前記L個の基本行動量は、前記停止回数、前記角度変化量和、前記角度変化量絶対値和、前記重心集合ベクトル、および前記停止直前平均速度のうちの少なくとも１つを含むことを特徴とする行動判別プログラム。