JP4701348B2 - 行動識別システム - Google Patents

Description

この発明は、行動識別システムに関し、特にたとえばユーザの行動態様を識別する、行動識別システムに関する。

従来のこの種のシステムの一例が、特許文献１に開示されている。この従来技術によれば、ユーザに装着された赤外線タグの点灯状態は、ロケーションサーバによって制御される。赤外線タグから発光された赤外線は、複数の赤外線カメラによって撮影される。赤外線タグの位置は、撮影された複数の赤外線画像に基づいてビデオサーバによって検出される。ロケーションサーバは、検出された赤外線タグの位置を統合してユーザの位置を特定する。これによって、ユーザの位置を高精度かつ安定的に特定することができる。
特開２００３−３２９７６２号公報［G01S 5/16, H04N 5/225］

しかし、従来技術では、複数の赤外線カメラを準備する必要があり、構成が複雑化するという問題がある。また、従来技術はユーザの位置を特定するに留まり、ユーザの行動を識別することはできない。
それゆえに、この発明の主たる目的は、簡単な構成でユーザの行動態様を識別することができる、行動識別システムを提供することである。

この発明の他の目的は、ユーザの通過方向を検知することができる、行動識別システムを提供することである。

請求項１の発明に従う行動識別システム(10)は、任意に行動するユーザによって保持され、赤外線信号である固定パターン信号を周期的に送出する送信手段(14)、固定物の互いに異なる位置に設けられ、サイズおよび位置の少なくとも一方が互いに異なる複数の検知エリアにそれぞれ注目して前記送信手段から送出された固定パターン信号を検知する複数の検知手段(12a，12b)、複数の検知手段の各々について、固定パターン信号の所定の時間期間内に検知された回数である受信頻度を計測して、受信頻度の経時変化を表す受信頻度関数を作成する作成手段(S9)、作成手段によって作成された複数の受信頻度関数の特徴を検出する検出手段(S13)、および検出手段によって検出された特徴を予め準備された分類モデルに適用してユーザの行動態様を識別する識別実行手段(S15)を備える。
請求項２の発明に従う行動識別システム(10)は、ユーザによって保持され、赤外線信号である固定パターン信号を周期的に送出する送信手段(14)、固定物の互いに異なる位置に設けられ、サイズおよび位置の少なくとも一方が互いに異なる複数の検知エリアにそれぞれ注目して送信手段から送出された固定パターン信号を検知する複数の検知手段(12a，12b)、複数の検知手段の各々について、固定パターン信号の所定の時間期間内に検知された回数である受信頻度を計測して、受信頻度の経時変化を表す受信頻度関数を作成する作成手段(S9)、作成手段によって作成された複数の受信頻度関数の特徴を検出する検出手段(S13)、および検出手段によって検出された特徴を予め準備された分類モデルに適用して、歩いて固定物を通過する行動態様、走って固定物を通過する行動態様、固定物を通過せずに横切る行動態様、固定物に近づくが立ち止まって元の位置に戻る行動態様、および車椅子を押しながら固定物を通過する行動態様の少なくとも１つを含むユーザの行動態様を識別する識別実行手段(S15)を備える。
請求項３の発明に従う行動識別システム(10)は、ユーザによって保持され、赤外線信号である固定パターン信号を周期的に送出する送信手段(14)、固定物の互いに異なる位置に設けられ、サイズおよび位置の少なくとも一方が互いに異なる複数の検知エリアにそれぞれ注目して送信手段から送出された固定パターン信号を検知する複数の検知手段(12a，12b)、複数の検知手段の各々について、固定パターン信号の所定の時間期間内に検知された回数である受信頻度を計測して、受信頻度の経時変化を表す受信頻度関数を作成する作成手段(S9)、作成手段によって作成された複数の受信頻度関数の特徴を検出する検出手段(S13)、検出手段によって検出された特徴を予め準備された分類モデルに適用してユーザの行動態様を識別する識別実行手段(S15)、および作成手段によって作成された受信頻度関数に基づいて前記ユーザの移動方向を特定する特定手段(S11)を備え、検出手段は特定手段によって特定された移動方向を参照して特徴検出処理を実行する。

固定パターン信号を送出する送信手段は、任意に行動するユーザによって保持される。一方、複数の検知手段は、サイズおよび位置の少なくとも一方が互いに異なる複数の検知エリアにそれぞれ注目して送信手段から送出された固定パターン信号を検知する。作成手段は、複数の検知手段の各々について、固定パターン信号の受信頻度の経時変化を示す受信頻度関数を作成する。ユーザの行動態様は、作成手段によって作成された複数の受信頻度関数に基づいて、検出手段および識別実行手段によって識別される。

複数の検知手段によってそれぞれ注目される複数の検知エリアは、サイズおよび位置の少なくとも一方に関して互いに異なる。このため、作成手段によって作成される複数の受信頻度関数は、ユーザの行動に依存し、かつ互いに相違する。ユーザの行動態様は、このような受信頻度関数に基づいて識別される。つまり、簡単な構成での行動識別が可能となる。

請求項４の発明に従う行動識別システムは、請求項１または２に従属し、作成手段によって作成された受信頻度関数に基づいてユーザの移動方向を特定する特定手段(S11)をさらに備え、検出手段は特定手段によって特定された移動方向を参照して特徴検出処理を実行する。
請求項５の発明に従う行動識別システムは、請求項１ないし４のいずれかに従属し、分類モデルは決定木である。

この発明によれば、複数の検知手段によってそれぞれ注目される複数の検知エリアは、サイズおよび位置の少なくとも一方に関して互いに異なる。このため、作成手段によって作成される複数の受信頻度関数は、ユーザの行動に依存し、かつ互いに相違する。ユーザの行動態様は、このような受信頻度関数に基づいて識別される。つまり、簡単な構成での行動識別が可能となる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例の行動識別システム１０は、ゲートＧＴの上部に設置される赤外線受信機（以下、単に「受信機」という）１２と、ユーザＨの後頭部に装着される赤外線送信機（以下、単に「送信機」という）１４とを含む。
受信機１２は、２つの受光モジュール１２ａおよび１２ｂと本体１２ｃとによって構成される。受光モジュール１２ａはゲートＧＴの入口側の側面に設けられ、受光モジュール１２ｂはゲートＧＴの出口側の側面に設けられる。受光モジュール１２ａおよび１２ｂはそれぞれ、図７に示す検知エリアＳａおよびＳｂを有する。検知エリアＳａおよびＳｂは、サイズおよび位置の少なくとも一方について、互いに相違する。受光モジュール１２ａおよび１２ｂはそれぞれ、検知エリアＳａおよびＳｂに注目して送信機１４から送信される赤外線信号を検知し、“０”または“１”の検知信号を出力する。

送信機１４から送信される赤外線信号は、８ビットの固定パターン（ＩＤ）を有する。この結果、検知信号もまた８ビットの固定パターンを示す。ＩＤの発信周波数は、受光モジュール１２ａおよび１２ｂの受信頻度がユーザＨの行動によって十分相違するように、５０Ｈｚとされる。また、図示しないバッテリとしてＣＲ２０３２が使用される。この周波数でのバッテリの駆動時間は平均すると約２４時間である。この駆動時間は、ユーザＨの１日の行動を追跡するにあたり、十分である。送信機１４はユーザＨによって装着されることから、ユーザＨの行動に影響を及ぼさないよう、外形寸法２４ｍｍ×３２ｍｍ×９．５ｍｍと小型化される。
受信機１２の本体１２ｃは、図２に示すように構成される。受光モジュール１２ａおよび１２ｂの各々から出力された検知信号は、ＣＰＵ１２ｆに与えられる。ＣＰＵ１２ｆは、与えられた２つの検知信号をそれぞれデコードして２つのＩＤを検出する。検出されたＩＤは、タイムスタンプとともに図３に示すテーブル１２ｔに登録される。こうして、時系列データが作成される。

ＣＰＵ１２ｆは、ＩＤの受信頻度を示す２つの受信頻度関数をテーブル１２ｔの時系列データに基づいて作成し、作成された２つの受信頻度関数からユーザＨの通過方向を検出する。ＣＰＵ１２ｆはまた、検出された通過方向を参照して２つの受信頻度関数の特徴を抽出し、抽出された特徴をメモリ１２ｇに記憶された決定木（Decision Tree）のような分類モデルに入力する。この結果、ユーザＨの行動が識別される。識別結果は、無線ＬＡＮ１２ｈによって図示しないサーバに送信される。
受信頻度関数は、詳しくは以下に示す要領で作成される。なお、後述する数式では、受光モジュール１２ａに対応するパラメータに“Ａ”を割り当て、受光モジュール１２ｂに対応するパラメータに“Ｂ”を割り当てる。

図４（Ａ）を参照して、ウィンドウＷの幅をＴｗ秒とし、ウィンドウＷの１回のずらし幅をΔＴｗとすると、Ｒ∈｛Ａ，Ｂ｝による単位時間あたりのＩＤ受信頻度を表す受信頻度関数ｈ_R,ｉｄ（ｔ），(Ｒ＝｛Ａ，Ｂ｝)は、数１および数２によって表される。

数１に示す関数ｆ（ｔ,Ｒ,ｉｄ）によれば、時刻ｔで受信したｉｄの受光モジュールがＲであれば演算結果は“１”を示し、そうでなければ演算結果は“０”を示す。時刻ｔを中点時刻とする時間帯Ｔｗにわたって関数ｆ（ｔ,Ｒ,ｉｄ）を積分すると、受信頻度関数ｈ_R,ｉｄ（ｔ），(Ｒ＝｛Ａ，Ｂ｝)が求められる。この結果、図４（Ａ）に示す受光モジュール出力については、図４（Ｂ）に示す受信頻度関数が得られる。
なお、離散化データに対しては、数２に代えて数３が適用される。

以下、特定のＩＤについてのみ述べる場合、もしくはＩＤが文脈から明らかな場合については、“ｉｄ”の記述を省略する。受光モジュール１２ａに対応する受信頻度関数はｈ_A（ｔ）と表され、受光モジュール１２ｂに対応する受信頻度関数はｈ_B（ｔ）と表される。

受信頻度関数ｈ_A（ｔ）およびｈ_B（ｔ）が図５に示すように描かれることを前提として、ユーザＨの通過方向は、次の要領で検出される。

まず、受信頻度関数ｈ_A（ｔ）およびｈ_B（ｔ）の各々が“０”より大きい値を持つ時間帯が、数４によって定義される。

受信頻度関数ｈ_A（ｔ）が“０”よりも大きい値を示す時間帯は、先頭時刻ｔ_Aｓｔａｒｔおよび末尾時刻ｔ_Aｅｎｄによって規定される。受信頻度関数ｈ_B（ｔ）が“０”よりも大きい値を示す時間帯は、先頭時刻ｔ_Bｓｔａｒｔおよび末尾時刻ｔ_Bｅｎｄによって規定される。さらに、先頭時刻ｔ_Aｓｔａｒｔおよびｔ_Bｓｔａｒｔのうちより早い時刻はＴｓｔａｒｔと定義され、末尾時刻ｔ_Aｅｎｄおよびｔ_Bｅｎｄのうちより遅い時刻はＴｅｎｄと定義される。

ユーザＨが接近する側の受光モジュールが先に反応し、通過後の受光モジュールが遅れて反応することから、ユーザＨの通過方向は、上述の時刻ＴｓｔａｒｔおよびＴｅｎｄに基づいて特定される。先に反応する受光モジュールを“通過前受光モジュール”とし、遅れて反応する受光モジュールを“通過後受光モジュール”とすると、Ｔｓｔａｒｔに対応する受信頻度関数のＩＤを出力した受光モジュールが通過前受光モジュールとして特定され、Ｔｅｎｄに対応する受信頻度関数のＩＤを出力した受光モジュールが通過後受光モジュールとして特定される。これによって、ユーザＨの通過方向を検出することができる。

通過方向が検出されると、受信頻度関数ｈ_A（ｔ）およびｈ_B（ｔ）の特徴が以下の要領で抽出される。
まず、受信頻度関数ｈ_A（ｔ）およびｈ_B（ｔ）のいずれか一方が“０”よりも大きい値を有する時間帯Ｔｔｏｔが、数５によって求められる。

次に、受信頻度関数ｈ_R（ｔ），(Ｒ＝｛Ａ，Ｂ｝)が、Ｔｓｔａｒｔが時刻０ となるように変換される。変数された受信頻度関数はｈ_R（τ）,（τ＝ｔ−Ｔｓｔａｒｔ）と表される。受信頻度関数ｈ_R（τ）の単位時間あたりの積算値Φ_Rは数６によって求められ、この積算値Φ_Rを正規化した値φ_Rは数７によって求められる。

受信頻度関数ｈ_R（τ）の時間重心Ｔｇ_R，Ｒ＝｛Ａ，Ｂ｝は、数８によって求められる。また、時間重心の時間差ΔＴｇは、数９によって求められる。

数９において、Ｔｇ＿ａｔｆｅｒ は通過後受光モジュールに対応する受信頻度関数の時間重心であり、Ｔｇ＿ｂｅｆｏｒｅは 通過前受光モジュールに対応する受信頻度関数の時間重心である。正規化された時間差δＴｇは、数１０によって求められる。

メモリ１４ｇに記憶された決定木は、図６に示すように構成される。上述の要領で求められた特徴Ｔｔｏｔ，φａｆｔｅｒ，φｂｅｆｏｒｅ，Ｔｇ＿ａｔｆｅｒ，Ｔｇ＿ｂｅｆｏｒｅ，ΔＴｇおよびδＴｇは、この決定木に入力される。この結果、ユーザＨの行動が“ｗａｌｋ”，“ｒｕｎ”，“ｔｈｒｏｕｇｈ”，“ｔｕｒｎ”および“ｗｈｅｅｌｃｈａｉｒ”のいずれかであるかが識別される。なお、φａｆｔｅｒは通過後受光モジュールに対応する受信頻度関数の正規化積算値であり、φｂｅｆｏｒｅは通過前受光モジュールに対応する受信頻度関数の正規化積算値である。

ユーザＨが図７に示す行動Iをとった場合、受信頻度関数は図８（Ａ）に示すように変化する。このとき、ユーザＨの行動態様は“ｗａｌｋ”と識別される。ユーザＨが図７に示す行動IIをとった場合、受信頻度関数は図８（Ｂ）に示すように変化する。このとき、ユーザＨの行動態様は“ｒｕｎ”と識別される。ユーザＨが図７に示す行動IIIをとった場合、受信頻度関数は図８（Ｃ）に示すように変化する。このとき、ユーザＨの行動態様は“ｔｈｒｏｕｇｈ”と識別される。
ユーザＨが図７に示す行動IVをとった場合、受信頻度関数は図８（Ｄ）に示すように変化する。このとき、ユーザＨの行動態様は“ｔｕｒｎ”と識別される。ユーザＨが図７に示す行動Vをとった場合、受信頻度関数は図８（Ｅ）に示すように変化する。このとき、ユーザＨの行動態様は“ｗｈｅｅｌｃｈａｉｒ”と識別される。

行動I，IIおよびVについては、受光モジュール１２ａに対応する受信頻度関数の値が、受光モジュール１２ｂに対応する受信頻度関数の値よりも小さい。これは、送信機１４がユーザＨの後頭部に装着され、ユーザＨの前方と後方とで赤外線信号の検知精度が異なるからである。これによって、受信頻度関数に明確な相違が現れ、行動識別の精度が上昇する。

なお、上述の決定木は、ユーザＨに事前の訓練行動を行わせて時系列データを取得し、かつこの時系列データに基づく受信頻度関数から抽出された特徴に行動ラベルを割り当てることで作成される。
図２に示すＣＰＵ１２ｆは、詳しくは図９に示すフロー図に従う処理を実行する。まずステップＳ１でタイムスタンプを含む複数の設定を初期化する。ステップＳ３では受光モジュール１２ａまたは１２ｂによって赤外線信号を受信したか否かを判別し、ＹＥＳであればステップＳ５以降の処理を実行する。

ステップＳ５では、受信した赤外線信号つまり検知信号をデコードしてＩＤを検出し、検出されたＩＤをタイムスタンプとともにテーブル１２ｔに書き込む。こうして、時系列データが作成される。作成された時系列データは、ステップＳ７でＩＤ毎にソートされる。

ステップＳ９では、ソートされた時系列データに基づいて上述の数１および数２に従う演算を実行し、２つの受信頻度関数を求める。ステップＳ１１では上述の数４を利用してユーザＨの通過方向を検出し、ステップＳ１３では上述の数５〜数１０に従う演算を実行して受信頻度関数の特徴を抽出する。
ステップＳ１５では抽出された特徴を決定木に入力してユーザの行動を識別し、ステップＳ１７では識別結果を無線ＬＡＮ１２ｈを通してサーバに送信する。ステップＳ１９では終了指示が発行されたか否かを判別し、ＮＯであればステップＳ３に戻る一方、ＹＥＳであれば処理を終了する。

以上の説明から分かるように、固定パターン（ＩＤ）を有する赤外線信号を送出する送信機１４は、任意に行動するユーザＨの後頭部に装着される。一方、受光モジュール１２ａおよび１２ｂは、サイズおよび位置の少なくとも一方が互いに異なる２つの検知エリアＳａおよびＳｂにそれぞれ注目して、送信機１４から送出された赤外線信号を検知する。ＣＰＵ１２ｆは、受光モジュール１２ａおよび１２ｂの各々による検知信号の単位時間毎の受信頻度を示す受信頻度関数を作成する(S9)。ユーザＨの行動態様は、作成された２つ受信頻度関数の特徴を決定木のような分類モデルに適用することで識別される(S15)。

受光モジュール１２ａおよび１２ｂによってそれぞれ注目される２つの検知エリアＳａおよびＳｂは、サイズおよび位置の少なくとも一方に関して互いに異なる。このため、ＣＰＵ１２ｆによって作成される２つの受信頻度関数は、ユーザＨの行動に依存し、かつ互いに相違する。ユーザＨの行動態様または通過方向は、このような受信頻度関数に基づいて識別または検知される。つまり、簡単な構成での行動識別または通過方向検知が可能となる。

なお、この実施例では、２つの受光モジュールによって赤外線信号を受信するようにしているが、受光モジュールの数は３つ以上であってもよい。また、この実施例では、赤外線信号を用いているが、無線である限り、これに限られるものではない。さらに、この実施例では、行動態様の分類モデルとして決定木を用いているが、これに代えてｋ−ＮＮ(Nearest Neighbor)法，ＳＶＭ(Support Vector Machine)法，ＤＰ(Dynamic Programming)法，ＨＭＭ(Hidden Markov Model)法を適用してもよい。

また、この実施例では、ユーザＨの行動態様を“ｗａｌｋ”，“ｒｕｎ”，“ｔｈｒｏｕｇｈ”，“ｔｕｒｎ”および“ｗｈｅｅｌｃｈａｉｒ”の中から特定するようにしているが、この他に“立ち止まり”や“スキップ”、車いす以外の車輌も考えられる。さらに、この実施例では、ユーザの後頭部に送信機を装着するようにしているが、装着位置は後頭部に限られない。また、この実施例では、ゲートに受信機を設けるようにしているが、受信機は、十字路やＴ字路の上部、天井などに設けるようにしてもよい。

この発明の一実施例を示す図解図である。 図１実施例に適用される赤外線送信機の本体の構成の一例を示すブロック図である。 図２実施例に適用されるテーブルの一例を示す図解図である。 （Ａ）は受光モジュールから出力される赤外線信号の変化の一例を示す波形図であり、（Ｂ）は（Ａ）に示す赤外線信号に基づいて求められた受信頻度関数の一例を示す波形図である。 受信頻度関数の他の一例を示すグラフである。 決定木の構成の一例を示す図解図である。 ユーザの行動の一例を示す図解図である。 （Ａ）は行動Iに対応する受信頻度関数の一例を示すグラフであり、（Ｂ）は行動IIに対応する受信頻度関数の一例を示すグラフであり、（Ｃ）は行動IIIに対応する受信頻度関数の一例を示すグラフであり、（Ｄ）は行動IVに対応する受信頻度関数の一例を示すグラフであり、（Ｅ）は行動Vに対応する受信頻度関数の一例を示すグラフである。 ＣＰＵの動作一例を示すフロー図である。

符号の説明

１０ …行動識別システム
１２ …赤外線受信機
１４ …赤外線送信機
１２ａ，１２ｂ …受光モジュール
１２ｆ …ＣＰＵ
１２ｈ …無線ＬＡＮ

Claims (5)

1. ユーザによって保持され、赤外線信号である固定パターン信号を周期的に送出する送信手段、
   固定物の互いに異なる位置に設けられ、サイズおよび位置の少なくとも一方が互いに異なる複数の検知エリアにそれぞれ注目して前記送信手段から送出された固定パターン信号を検知する複数の検知手段、
   前記複数の検知手段の各々について、前記固定パターン信号の所定の時間期間内に検知された回数である受信頻度を計測して、前記受信頻度の経時変化を表す受信頻度関数を作成する作成手段、
   前記作成手段によって作成された複数の受信頻度関数の特徴を検出する検出手段、および
   前記検出手段によって検出された特徴を予め準備された分類モデルに適用して前記ユーザの行動態様を識別する識別実行手段を備える、行動識別システム。
2. ユーザによって保持され、赤外線信号である固定パターン信号を周期的に送出する送信手段、
   固定物の互いに異なる位置に設けられ、サイズおよび位置の少なくとも一方が互いに異なる複数の検知エリアにそれぞれ注目して前記送信手段から送出された固定パターン信号を検知する複数の検知手段、
   前記複数の検知手段の各々について、前記固定パターン信号の所定の時間期間内に検知された回数である受信頻度を計測して、前記受信頻度の経時変化を表す受信頻度関数を作成する作成手段、
   前記作成手段によって作成された複数の受信頻度関数の特徴を検出する検出手段、および
   前記検出手段によって検出された特徴を予め準備された分類モデルに適用して、歩いて前記固定物を通過する行動態様、走って前記固定物を通過する行動態様、前記固定物を通過せずに横切る行動態様、前記固定物に近づくが立ち止まって元の位置に戻る行動態様、および車椅子を押しながら前記固定物を通過する行動態様の少なくとも１つを含む前記ユーザの行動態様を識別する識別実行手段を備える、行動識別システム。
3. ユーザによって保持され、赤外線信号である固定パターン信号を周期的に送出する送信手段、
   固定物の互いに異なる位置に設けられ、サイズおよび位置の少なくとも一方が互いに異なる複数の検知エリアにそれぞれ注目して前記送信手段から送出された固定パターン信号を検知する複数の検知手段、
   前記複数の検知手段の各々について、前記固定パターン信号の所定の時間期間内に検知された回数である受信頻度を計測して、前記受信頻度の経時変化を表す受信頻度関数を作成する作成手段、
   前記作成手段によって作成された複数の受信頻度関数の特徴を検出する検出手段、
   前記検出手段によって検出された特徴を予め準備された分類モデルに適用して前記ユーザの行動態様を識別する識別実行手段、および
   前記作成手段によって作成された受信頻度関数に基づいて前記ユーザの移動方向を特定する特定手段を備え、
   前記検出手段は前記特定手段によって特定された移動方向を参照して特徴検出処理を実行する、行動識別システム。
4. 前記作成手段によって作成された受信頻度関数に基づいて前記ユーザの移動方向を特定する特定手段をさらに備え、
   前記検出手段は前記特定手段によって特定された移動方向を参照して特徴検出処理を実行する、請求項１または２記載の行動識別システム。
5. 前記分類モデルは決定木である、請求項１ないし４のいずれかに記載の行動識別システム。

Images