JP6120404B2 - 移動体行動分析・予測装置 - Google Patents

Description

本発明は、移動体行動分析・予測装置に関し、特に、カメラによって撮影された映像から移動体の動線および振る舞いなどの行動を分析し、移動体の続く行動を予測できる移動体行動分析・予測装置に関する。

小売店や量販店などでは顧客の動きや振る舞いなどから商品に対する関心度を推定でき、この推定に基づいて顧客が関心を示す商品を推薦できる。これは、店員の目視・判断により可能であるが、店舗内に設置されたカメラによって撮影された映像から顧客の動線や振る舞いなどの行動を観測すれば、顧客の商品に対する関心度を客観的に推定でき、これにより、顧客が関心を示す商品を適切かつ効率的に推薦できる。また、カメラによって撮影された映像から顧客の動線や振る舞いなどの行動を分析し、顧客の続く動線レベルおよび関心度レベルでの行動をオンラインで予測することも、顧客が関心を示す商品を効率的に推薦したり、商品の陳列やレイアウトを設定したりする上で有効である。

特許文献１には、現場を複数の地理的現場に分割した上で、各地理的現場において物体の活動を検出して活動分布を識別し、時間帯にわたる活動分布に基づいて時間的活動セグメントを識別し、時間的活動セグメントに基づいて観察パターンを識別する方法が開示されている。

特許文献２には、群衆の活動エリアおよび活動エリアにおける群衆の行動履歴に基づいて、エリア間の移動頻度モデルを推定する行動予測装置が開示されている。

特許文献３には、人物画像を認識し、その仮想重心点の瞬間移動速度と移動時間を計測して、商品に関する関心度情報を出力する商品関心度計測装置が開示されている。

特開２００９−１３４６８８号公報 特開２００６−２２１３２９号公報 特開２０１０−９４４４号公報

特許文献１に開示されている方法は、センサなどを用いて小売場面の顧客などの活動パターンといった低レベルの活動を可視化するものであり、顧客の関心度などといった高レベルの活動を可視化するものでない。また、これは、顧客の今までに観測された動線や関心度から顧客の続く動線や関心を予測するものでもない。

特許文献２に開示されている行動予測装置は、無線タグシステムの活用などによって顧客の行動を店舗内の移動履歴として観測するものであり、これも顧客の関心度などといった高レベルの行動を観測するものでない。また、これも、顧客の今までに観測された動線や関心度から顧客の続く動線や関心を予測するものでもない。

特許文献３に開示された商品関心度計測装置は、人物画像の仮想重心点の瞬間移動速度と移動時間から滞在時間を求め、この滞在時間に基づく関心度を登録するだけであり、これも、顧客の今までに観測された動線や関心度から顧客の続く動線や関心を予測するものでない。

本発明の目的は、カメラによって取得された映像から顧客などの移動体の動線および関心度を観測し、移動体の続く行動を予測できる移動体行動分析・予測装置を提供することにある。

上記課題を解決するため、本発明は、カメラによって撮影された映像から移動体の行動を分析し、予測する移動体行動分析・予測装置であって、カメラによって撮影された映像中に出現する移動体を検出する移動体検出手段と、前記移動体検出手段により検出された移動体に識別子を付与する識別子付与手段と、前記識別子付与手段により識別子が付与された移動体を追跡し、その位置を動線として取得する追跡手段と、予め設定された関心度観測エリアに移動体が滞留するときの移動体の行動を観測し、その行動から該移動体の関心度データを推定する関心度データ推定手段と、前記追跡手段により取得された移動体の位置の動線データおよび関心度データ推定手段により推定された関心度データを、前記識別子付与手段により付与された識別子とともに記録する記録手段と、観測中の移動体の動線データと前記記録手段に記録済みの移動体の動線データとの類似度から、観測中の移動体の続く動線レベルでの行動を予測する動線予測手段と、観測中の移動体の関心度データと前記記録手段に記録済みの移動体の関心度データとの類似度から、観測中の移動体の関心度レベルでの行動を予測する関心度予測手段を備える点に第１の特徴がある。

また、本発明は、前記動線予測手段が、観測中の移動体の動線データと記録済みの移動体の動線データとの類似度として、任意にサンプリングした動線上の位置における距離の絶対値差分を算出する点に第２の特徴がある。

また、本発明は、前記関心度データ推定手段が、前記追跡手段により追跡された移動体の顔領域の注視方向を推定し、前記記録手段は、前記関心度データ推定手段により推定された注視方向を関心度データとして記録し、前記関心度予測手段は、観測中の移動体の関心度データと前記記録手段に記録済みの移動体の関心度データの類似度を算出し、該類似度が大である記録済みの移動体の関心度データから、観測中の移動体の続く関心度レベルでの行動を予測する点に第３の特徴がある。

また、本発明は、前記関心度データ推定手段が、カメラによって撮影された映像中の移動体の大きさを測定する測定手段と、前記測定手段により測定された移動体の大きさと一般的な移動体の大きさに対する頭部の相対的な大きさの関係から、前記移動体検出手段により検出された移動体における頭部を検出する頭部検出手段と、前記頭部検出手段により検出された頭部における顔領域を抽出し、頭部と顔領域の相対面積から顔領域の注視方向を推定する注視方向推定手段を備える点に第４の特徴がある。

また、本発明は、前記関心度データ推定手段が、移動体の動作アクティビティを推定する推定手段を備え、
前記記録手段は、前記関心度データ推定手段により推定された移動体の動作アクティビティを関心度データとして記録し、
前記関心度予測手段は、観測中の移動体の関心度データと記録済みの移動体の関心度データの類似度を算出し、該類似度から観測中の移動体の続く関心度レベルでの行動を予測する点に第５の特徴がある。

また、本発明は、前記関心度データ推定手段が、移動体の動作アクティビティを推定するため、前記追跡手段により追跡された移動体の腕あるいは上半身の動きの動きベクトルを算出する動きベクトル算出手段と、前記追跡手段により追跡された移動体の大きさで正規化された動きベクトルを算出する正規化動きベクトル算出手段と、前記正規化動きベクトル算出手段により算出された動きベクトルを所定閾値と比較することにより移動体の動作アクティビティの１動作単位を推定する動作単位推定手段と、前記動作単位推定手段により検出された１動作単位の反復回数または時間間隔の少なくとも一方を算出する算出手段を備える点に第６の特徴がある。

また、本発明は、動線データと関心度データが、別々の行動プロファイルとして階層化されて記録され、前記関心度予測手段は、動線データについて類似度と関心度データについての類似度を別々に算出する点に第７の特徴がある。

本発明では、小売店や量販店などの店舗内の顧客監視エリアのカメラ映像から観測中の顧客の動線を観測し、それから動線レベルでの続く行動を予測し、また、顧客の動作アクティビティを観測し、それから関心度レベルでの続く行動を予測するので、顧客の動線および関心度に応じた商品を推薦できる。また、観測中の顧客の動線や関心度を、それに類似した動線や関心度を持つ記録済み顧客の行動からリアルタイムで予測できるので、観測中の顧客の移動先エリアや商品を適切に推薦できる。さらに、顧客の動線や関心度から商品の陳列やレイアウトを適切に設定することもできるようになる。

本発明に係る移動体行動分析・予測装置の一実施形態を示すブロック図である。 時間経過(横軸)と顧客の動きベクトルの大きさ(縦軸)の関係の一例を示す図である。 顧客の行動の一例を模式的に示す図である。 時刻と顧客の行動の関係を示す図である。 動線レベルおよび関心度レベルでの顧客の行動を予測する処理の一例を示すフローチャートである。 3台のカメラによるカメラ映像によって広いエリアをカバーする場合の例を模式的に示す図である。

以下、図面を参照して本発明を説明する。以下では、小売店や量販店などの店舗内に設置された単一のカメラによって撮影された映像(以下、カメラ映像と称する。) から単一の顧客の動線および関心度を観測し、顧客の続く動線レベルおよび関心度レベルでの行動を予測する場合について説明する。

図１は、本発明に係る移動体行動分析・予測装置の一実施形態を示すブロック図である。本実施形態の移動体行動分析・予測装置は、移動体検出部11、移動体識別子付与部12、移動体追跡部13、動線データ記録部14、店舗内行動プロファイル蓄積部15、関心度データ推定部16、関心度データ記録部17、動線データ類似度算出部18、移動体動線予測部19、関心度データ類似度算出部20、移動体関心度予測部21および移動体行動予測部22を備える。これらの各部は、プロセッサの一部としてソフトウエアで構成でき、ハードウエアでも構成できる。

移動体検出部11は、カメラ映像を入力とし、カメラ撮影区域内に入ってきた顧客を顧客オブジェクトとして検出する。カメラは、例えば、店舗内の天井付近の壁面に斜め下方に向けて設置される。ここでは単一のカメラを想定しているので、カメラ撮影区域は、店舗内での顧客行動観測エリア(顧客監視エリア) 全体である。顧客オブジェクトは、例えば、カメラ映像における変化部分を背景差分法などで抽出すれば検出できる。なお、店員オブジェクトは、制服の色などの画像特徴や、店舗内の滞在時間や動線データなどの行動特徴により顧客オブジェクトと区別できる。

カメラ撮影区域内に入ってきた顧客は、移動体検出部11により顧客オブジェクトとして検出される。移動体識別子付与部12は、移動体検出部11により検出された顧客オブジェクトに識別子を付与する。

移動体追跡部13は、移動体検出部11により検出された顧客オブジェクトを連続的に観測して追跡する。これにより、時間経過に伴う顧客の位置から、顧客オブジェクトの動線データが得られる。動線データにおける顧客の位置は、足先などとすればよく、その位置は、カメラ映像における2次元座標位置でもよいし、顧客行動観測エリアにおける2次元座標位置でもよい。移動体の追跡の手法は既知であり、ここでの追跡の手法は、どのようなものでもよい。

動線データ記録部14は、移動体追跡部13により得られた顧客オブジェクトの動線データを店舗内行動プロファイル蓄積部15の店舗内行動プロファイルに記録する。動線データは、連続的に記録してもよいし、所定タイミング間隔で記録してもよい。

動線データは、顧客の位置の他に、顧客識別子(顧客オブジェクトに付与された識別子)と時刻を含む。

店舗内行動プロファイル蓄積部15の店舗内行動プロファイルは、第1および第2階層からなり、顧客オブジェクトの動線データは、その第1階層に記録される。ここに記録された動線データは、顧客が顧客行動観測エリア内をどのような動線で辿ったかを表す。なお、店舗内行動プロファイルの第2階層には、後述する関心度データが記録される。

関心度データ推定部16は、関心度観測エリア内に顧客が滞留するときの顧客の行動を観測し、その行動から顧客の関心度データを推定する。関心度観測エリアは、顧客行動観測エリア内で商品が陳列などされていて顧客が滞留することが予測される区域に事前に設定される。顧客の行動は、顧客オブジェクトを分析することにより観測される。

顧客の関心度データは、例えば、顧客が商品などを注視したときの注視方向である。顧客の注視方向は、顧客が関心度観測エリア内に入り、そこに滞留している継続時間において観測される。その注視方向は、その方向に陳列されている商品などに対する顧客の関心を表すので、例えば、関心度観測エリア内において顧客が継続的あるいは繰り返し注視する方向を、顧客に対する関心度データとすることができる。なお、関心度観測エリア内での顧客の注視方向と陳列されている商品などとの関係は、事前に分かっているものとする。

顧客の注視方向を推定するには、まず、顧客を含む画像から顧客オブジェクトの大きさ(身長)を推定し、その上で顧客の頭部の大きさを推定する。頭部の大きさは、顧客オブジェクトの大きさと一般的な人物の身長に対する頭部の相対的な大きさの関係から推定できる。次に、推定された頭部の大きさで、顧客オブジェクトから頭部画像を抽出し、さらに、頭部画像から顔領域を検出する。顔領域は、頭部画像から肌色部分を抽出することで検出できる。続いて、頭部に対する顔領域の相対的面積を算出し、この相対的面積および頭部における顔領域の位置から顧客の顔の向きを推定する。顧客の顔の向きは、例えば、45度ずつの8分割の方向として推定すればよい。このような手法によれば、テクスチャや形状などから顧客オブジェクトの頭部や顔領域を良好に識別できない場合でもそれらを良好に識別し、顔の向きを推定できる。

例えば、頭部の大きさ(面積)がFであり、顔領域の大きさ(面積)がF/2の場合、顧客の顔は、カメラの光軸方向に対して垂直の方向を向いていると推定できる。また、顧客の顔が左右どちら向きであるかは、顔領域(肌色領域)が頭部の左右どちら側にあるかで分かる。

関心度データの他の例は、腕や上半身の動きなど、顧客の動作アクティビティ(振る舞い)である。例えば、顧客が陳列棚から商品を取り出して戻すなどといった動作アクティビティの反復回数や商品を取り出して戻すまでの時間間隔は、その商品に対する顧客の関心度を表すので、それを関心度データとすることができる。また、商品を覗き込むといった上半身の動きも、その商品に対する顧客の関心度を表すので、それを関心度データとすることができる。

顧客の動作アクティビティの反復回数は、顧客が関心度観測エリアに入り、そこに滞留している継続時間内での1動作単位の動作アクティビティの反復回数として求められる。また、顧客が陳列棚から商品を取り出して戻すまでの時間間隔は、動作アクティビティの1動作単位に要した時間として求められる。なお、動作アクティビティの1動作単位は、例えば、顧客の腕や上半身の動きベクトルの大きさから求めることができる。具体的には、顧客オブジェクトの腕や上半身の動きベクトルをフレームごとに算出し、顧客オブジェクトの大きさ(身長)で正規化し、その動きベクトルの大きさと所定閾値を比較することで1動作単位を求めることができる。なお、顧客オブジェクトにおける動作アクティビティには、MPEG-7で規定されているMotion Activity Descriptorなどを利用できる。

図２は、時間経過(横軸) Tと顧客の腕の動作アクティビティの大きさ(縦軸) MAの関係の一例を示す図である。ここで、Dは、関心度観測エリアでの顧客の滞留時間を示し、M(1),M(2),・・・,M(N)は、正規化された腕の動作アクティビティの大きさと所定閾値の比較により求められる顧客の１単位動作を示す。

関心度データ推定部16は、以上のようにして推定された顧客の注視方向、動作アクティビティの反復回数や動作時間間隔を適宜組み合わせて関心度データとする。

関心度データ記録部17は、関心度データ推定部16により推定された関心度データを店舗内行動プロファイル蓄積部15の店舗内行動プロファイルに記録する。ここでは、関心度観測エリア内で逐次観測された顧客の注視方向を連続的に記録してもよいし、その最頻値だけを記録してもよい。また、動作アクティビティの反復回数や動作時間間隔はそのまま記録すればよい。

関心度データは、店舗内行動プロファイル部15の店舗内行動プロファイルの第1階層の動線データとともに、第2階層に記録される。店舗内行動プロファイルの第2階層に記録された関心度データは、顧客が関心を示した商品などを表す。

以上のように、移動体検出部11と移動体識別子付与部12と移動体追跡部13により顧客の動線を観測し、これを動線データとして店舗内行動プロファイルの第1階層に記録し、さらに、関心度データ推定部16により推定された顧客の注視方向や動作アクティビティなどの関心度を関心度データとして店舗内行動プロファイルの第2階層に記録する。なお、カメラ映像から顔領域が検出されない場合、顧客の注視方向の関心度データは記録されない。また、遮蔽物などにより顧客の動作アクティビティを推定できない場合、その関心度データは記録されない。

図３は、顧客C1の行動の一例を模式的に示す図であり、図４は、時刻T(T1, T2, T3)と顧客C1の行動の関係を示す図である。

図３および図４に示すように顧客C1が行動した場合、すなわち、顧客C1は、時刻T1で顧客行動観測エリア内の位置A1であり、時刻T2,T3でそれぞれ位置A2, A3(位置A3は関心度観測エリアL1内の位置とする)であり、位置A3で継続時間Dだけ滞留し、その間における注視方向、動作反復回数、動作時間間隔がそれぞれ、G, P, Iである場合、店舗内行動プロファイル蓄積部15の店舗内行動プロファイルの第1階層および第2階層には、以下の動線データ、関心度データが記録される。顧客C1が顧客行動観測エリアから出て行けば、その動線データおよび関心度データは、記録済み顧客の動線データおよび関心度データとなる。
〈第1階層〉(動線データ)
顧客識別子C1、時刻T1、顧客行動観測エリア内での顧客の位置A1
顧客識別子C1、時刻T2、顧客行動観測エリア内での顧客の位置A2
顧客識別子C1、時刻T3、顧客行動観測エリア内での顧客の位置A3
・・・
〈第2階層〉(関心度データ)
顧客識別子C1、開始時刻T3、継続時間D、観測エリアL1、注視方向G、動作反復回数P、動作時間間隔I
・・・

ここで、第1階層(動線データ)における顧客C1の位置A1, A2, A3は、時刻T1, T2, T3において顧客が位置する顧客行動観測エリア内の位置を示す。店舗内行動プロファイルの第1階層に記録された動線データは、時刻とともに顧客が辿った動線を表す。

また、第2階層(関心度データ)における関心度観測エリアL1は、顧客行動観測エリア内に事前に設定されたエリアであり、そこでは商品が陳列などされて顧客が滞留することが予測されている。店舗内行動プロファイルの第2階層に記録された関心度データは、顧客の商品などに対する関心度を表す。

本実施形態の移動体行動分析・予測装置は、さらに、観測中の顧客の動線データや関心度データと記録済み顧客の動線データや関心度データの類似度から、観測中の顧客の続く動線や商品などに対する関心度を予測する。本発明の移動体行動分析・予測装置は、このような予測を行う点にも特徴がある。

観測中の顧客の続く動線レベルでの行動は、図１の構成では、動線データ類似度算出部18と移動体動線予測部19により予測され、観測中の顧客の続く関心レベルでの行動は、関心度データ類似度算出部20と移動体関心度予測部21により予測される。移動体行動予測部22は、予測された動線レベルでの行動を出力し、さらに、予測された関心度レベルでの行動を出力する。以下、観測中の顧客の続く動線レベルおよび関心度レベルでの行動の予測について説明する。

動線データ類似度算出部18は、観測中の顧客の今までの行動に従って動線データ記録部14から連続的あるいは所定タイミング間隔で出力される動線データと店舗内行動プロファイル蓄積部15の店舗内行動プロファイルの第1階層への記録が完了している顧客の動線データ(以下、記録済み顧客の動線データと称する。) の動線間の類似度を、データ間距離などから算出する。記録済み動線データは、顧客行動観測エリアに入り、出ていった顧客の動線を観測することにより取得されたものである。なお、動線データを今までの動線のどこまで遡って類似度を算出するかは、顧客の現在位置や移動距離などに応じて適宜設定することができる。

観測中の顧客の動線Toに対する記録済み顧客の動線Trの類似度を算出する場合、例えば、Toの始端および終端にTrの近い部分をそれぞれ対応させた上で、任意にサンプリングした動線上の位置での離間距離の絶対値を加算すればよい。これにより算出された値が小さいほど類似度が大と言える。なお、記録済み顧客の動線の動線データを、個々の顧客の動線データではなく、途中経路などに応じてグループ分けし、それを代表する動線データを用いて類似度を算出すれば、類似度の演算量を低減できる。この手法は、関心度データの類似度の算出でも利用できる。

移動体動線予測部19は、観測中の顧客の続く動線レベルでの行動を予測する。例えば、店舗内行動プロファイル蓄積部15における店舗内行動プロファイルの第1階層の記録済み顧客の動線データの内、動線データ類似度算出部18により算出された類似度が所定の閾値TH1より大きい動線データから、観測中の顧客の続く動線レベルでの行動を予測する。ここでは、観測中の顧客の今までの動線が記録済み顧客の動線に類似していれば、続く動線も類似すると予測する。続く動線が記録済み顧客の動線のどこまで類似するとするかは、店舗の種別、商品の種別や陳列レイアウト、顧客の移動速度などに応じて適宜設定すればよい。

なお、類似度が所定の閾値TH1より大きい記録済み顧客の動線データが複数ある場合、それらの動線データの全てから個々に予測された全ての動線を予測結果としてもよく、それらの動線の内から最大の類似度を示す動線データに対する1つの動線を選択して予測結果としてもよい。また、動線データ類似度算出部18で算出された類似度が最大の記録済み顧客の動線データだけから観測中の顧客の動線レベルでの行動を予測するようにしてもよい。

関心度データ類似度算出部20は、観測中の顧客の行動に従って関心度記録部17から逐次的に送出される関心度データと店舗内行動プロファイル蓄積部15における店舗内行動プロファイルの第2階層の記録済み顧客の関心度データの類似度を算出する。

関心度データの類似度は、顧客の注視方向や動作アクティビティなど、顧客の行動から得られる関心度データを任意に組み合わせ、それらのデータ間距離などから算出できる。関心度データの組み合わせは、例えば、店舗の種別ごとに特定して事前に設定することができ、例えば、下記(1)〜(4)に示す関心度データの組み合わせで関心度データの類似度を算出できる。

なお、関心度データの類似度を、関心度データの類似度の履歴から算出するのは、現時点の関心度データだけでなく、今までの関心度データが商品に対する顧客の関心を示すものとして有効と考えられるからである。ここで、履歴をどこまで遡って類似度を算出するかは、店舗の種別、商品の種別や陳列レイアウト、関心度観測エリアの位置などに応じて適宜設定すればよい。
(1)顧客が、継続時間Dで、関心度観測エリアLに滞留していた場合：関心度観測エリアLと継続時間Dの組み合わせの類似度の履歴
(2)顧客が、継続時間Dで、関心度観測エリアLに滞留し、注視方向Gの場合：関心度観測エリアLと注視方向Gと継続時間Dの組み合わせの類似度の履歴
(3)顧客が、継続時間Dで、関心度観測エリアLに滞留し、動作アクティビティの反復回数Pの場合：関心度観測エリアLと動作アクティビティの反復回数Pと継続時間Dの組み合わせの類似度の履歴
(4)顧客が、継続時間Dで、関心度観測エリアLに滞留し、動作アクティビティの動作時間間隔Iの場合：関心度観測エリアLと動作アクティビティの動作時間間隔Iと継続時間Dの組み合わせの類似度の履歴

ここで、関心度観測エリアLに滞留する継続時間Dの類似度は、例えば、関心度観測エリアL内の各位置に対して任意の重み付けを行い(例えば、商品などに近い位置の重みを大きくする)、関心度観測エリアL内の顧客の各滞留位置における重みと継続時間の積を算出し、その積を関心度観測エリアL内で積算して滞留位置データとし、観測中の顧客の滞留位置データSoと記録済み顧客の滞留位置データSrの差分として算出できる。これにより算出された値が小さいほど類似度が大と言える。

また、注視方向Gの類似度は、例えば、関心度観測エリアL内の各位置に対して任意の重み付けを行い、関心度観測エリアL内の顧客の各滞留位置における重みと滞留継続時間の積を算出して注視方向ごと(例えば、45度ずつ8分割)に積算し、各注視方向に対する積算値をヒストグラム化して注視対象データとし、観測中の顧客の注視対象データGoと記録済み顧客の注視対象データGrのヒストグラム間距離として算出できる。これにより算出された値が小さいほど類似度が大と言える。

また、動作アクティビティの反復回数Pの類似度は、例えば、関心度観測エリアL内の継続時間Dの間で反復された動作回数を求めて反復動作データとし、観測中の顧客の反復動作データPoと記録済み顧客の反復動作データPrの差分として算出できる。これにより算出された値が小さいほど類似度が大と言える。

また、動作アクティビティの動作時間間隔Iの類似度は、例えば、関心度観測エリアL内の継続時間Dの間で反復された動作の動作時間間隔を求めて反復動作データとし、観測中の顧客の反復動作データの動作時間間隔Ioと記録済み顧客の反復動作データの動作時間間隔Irの差分として算出できる。これにより算出された値が小さいほど類似度が大と言える。

移動体関心度予測部21は、観測中の顧客の続く関心度レベルでの行動を予測する。例えば、店舗内行動プロファイル蓄積部15の店舗内行動プロファイルの第2階層に記録されている記録済み顧客の関心度データの内、関心度データ類似度算出部20により算出された類似度が所定の閾値TH2(ただし、TH1≠TH2)より大きい関心度データから、観測中の顧客の続く関心度レベルでの行動を予測する。ここでも、観測中の顧客の今までの関心度データが記録済み顧客の関心度データに類似していれば、続く関心度も類似すると予測する。すなわち、関心度データが類似している顧客についての続く関心度データから観測中の顧客の関心度レベルでの行動を予測する。顧客の関心度レベルでの行動は、例えば、商品の種別やメーカなどとして出力することができ、これは、関心度データ推定部16により推定された顧客の注視方向などの関心度データから知ることができる。

なお、類似度が所定の閾値TH2より大きい記録済み顧客の関心度データが複数ある場合、それらの関心度データの全てから個々に予測される各関心を予測結果としてもよく、それらの関心の内から最大の類似度を示す関心度データに対する1つの関心を選択して予測結果としてもよい。また、関心度データ類似度算出部20で算出された類似度が最大の記録済み顧客の関心度データだけから観測中の顧客の関心度レベルでの行動を予測するようにしてもよい。

移動体予測行動出力部22は、移動体動線予測部19および移動体関心予測部21での予測結果により観測中の顧客の続く行動を出力する。すなわち、移動体動線予測部19での予測結果により観測中の顧客の続く動線レベルでの行動を出力し、移動体関心度予測部21の予測結果により観測中の顧客の続く関心度レベルでの行動を出力し、店員の携帯端末などに表示する。動線レベルでの行動は、例えば、店舗内での動線として表示すればよく、関心度レベルでの行動は、商品の種別やメーカなどの商品情報として表示すればよい。

動線レベルで予測された動線上に、関心度レベルで予測された顧客の行動に関する商品などが陳列されているとは限らないが、店員は、顧客に対して移動先エリアや関心を持つ商品を推薦できる。また、顧客の行動から観測された動線や関心度、予測された動線や関心の結果から店舗内の商品の陳列やレイアウトなどを適切に設定できる。なお、動線レベルで予測された動線上の関心度観測エリアに限って関心度データの類似度を算出して顧客の行動を予測すれば、顧客の動線レベルで行動と関心度レベルでの行動を結びつけることができる。

図５は、動線レベルおよび関心度レベルでの顧客の行動を予測する処理の一例を示すフローチャートである。図５において、まず、観測中の顧客の動線データおよび関心度データを入力する。この動線データおよび関心度データは、動線データ記録部14および関心度データ記録部17（図１）から与えられる。次に、S51では、店舗内行動プロファイル蓄積部15の店舗内行動プロファイルの第1階層および第2階層に記録済み顧客の動線データおよび関心度データを検索し、S52では、入力された動線データと店舗内行動プロファイルの第1階層から検索された動線データの類似度を計算し、この類似度が閾値TH1より高いか否かを判定する。S52で、類似度が閾値TH1より高いと判定されれば、S53で、記録済み顧客の動線データから観測中の顧客の続く動線レベルでの行動を予測する。その後、S54に進む。しかし、S52で、類似度が閾値TH1より高いと判定されなければ、そのままS54に進む。S52, S53の処理は、動線データ類似度算出部18および移動体動線予測部19（図１）により行われる。

次に、S54では、入力された関心度データと店舗内行動プロファイルの第2階層から検索された関心度データの類似度を計算し、この類似度が、閾値TH2より高いか否かを判定する。S54で、類似度が閾値TH2より高いと判定されれば、S55で、記録済み顧客の関心度データから観測中の顧客の続く関心度レベルでの行動を予測する。そして、予測処理を終了する。しかし、S55で、類似度が閾値TH2より高いと判定されなければ、そのまま予測処理を終了する。S54, S55の処理は、関心度データ類似度算出部20および移動体関心度予測部21（図１）により行われる

以上のように、店舗内行動プロファイルの第１階層の動線データとの類似度を算出し、類似度が閾値TH1より高い場合には、移動体動線予測部18において顧客の続く動線レベルでの行動を予測し、さらに、店舗内行動プロファイルの第2階層の関心度データの類似度を算出し、類似度が閾値TH2より高い場合には、移動体関心度予測部21において顧客の続く関心度レベルでの行動を予測する。このように、店舗内行動プロファイルを第１階層の動線データと第2階層の関心度データに分け、それぞれでの類似度を求めて観測中の顧客の続く行動を予測することにより、行動予測の際の検索性を高めることができ、また、動線レベルと関心度レベルとで別々に顧客の行動を予測することができる。

図５では、動線データの類似度が閾値TH1以下の場合、動線レベルでの行動予測を行わないが、動線データの類似度が閾値TH1以下の場合でも類似度が最も高い動線データあるいは類似度が高い順から選択した所定数の動線データから顧客の続く動線レベルでの行動を予測してもよい。同様に、関心度データの類似度が閾値TH2以下の場合でも、類似度が最も高い関心度データあるいは類似度が高い順から選択した所定数の関心度データから顧客の続く関心度レベルでの行動を予測してもよい。また、動線データの類似度が閾値TH1以下の場合、関心度レベルでの顧客の続く行動を予測しないで、予測処理を終了するようにしてもよい。

以上実施形態について説明したが、本発明は、上記実施形態に限定されない。例えば、上記実施形態では、店舗内に設置された単一のカメラによるカメラ映像を用いるものとしたが、より広いエリアや陳列棚や柱などで顧客の行動が隠蔽される部分を含むエリアを対象とする場合には、複数台のカメラによるカメラ映像を組み合わせて用いればよい。

図６は、3台のカメラによるカメラ映像によってエリア(1),(2),(3)を含む広いエリアをカバーする場合の例を模式的に示す図である。ここで、例えば、観測中の顧客が観測エリアL1に到達したとすると、該顧客のそれまでの動線および関心度が観測され、続く動線や関心が記録済み顧客の動線データおよび関心度データから予測される。この予測結果により、観測中の顧客に対して適切な動線や商品が推薦できる。なお、図示省略しているが、エリア(2), (3)にも関心度観測エリアが設定される。ここでは、エリア(1), (2), (3)間に隙間がないので、そのまま顧客を連続的に追跡できるが、各顧客を色やテクスチャなどの画像特徴から区別できる場合には、エリア間に隙間があっても、また、エリアが異なるフロアであっても、顧客を追跡し、その行動を予測できる。

また、上記実施形態では、単一の顧客を想定したが、顧客は複数でもよく、その場合には、各顧客に別々の識別子を付与し、別々に追跡すればよい。また、顧客が複数の場合には、顧客ごとに店舗内行動プロファイルを作成してもよいし、時間やエリアごとに店舗内行動プロファイルを作成してもよい。

また、上記実施形態では、店舗内行動プロファイル蓄積部15の店舗内行動プロファイルが第1階層および第2階層からなるものとしたが、店舗内行動プロファイルは、任意の階層数に拡張してもよい。例えば、関心度観測エリア、注視方向、動作反復回数、動作時間間隔などをそれぞれ個別の階層として店舗内行動プロファイルを構成してもよい。

また、関心度データ推定部16で推定された関心度データの全てについての類似度を求め、その内の特定の関心度データ、例えば顧客の注視方向の類似度が所定閾値を超えた場合や類似度が所定閾値を超える関心度データが所定個数以上の場合などに、関心度レベルでの予測処理に進むようにしてもよい。

本発明によれば、顧客の動線や関心度に応じた行動をオンラインで予測できるので、小売店や量販店などにおいて顧客に適合する商品を推薦できる。また、その予測を、店舗内の商品の陳列やレイアウトなどの設定に生かすことができる。なお、商品の推薦は、予測された顧客の行動から、該顧客に対し店員が直接的に行ってもよいし、タブレット端末などの小型のデジタルサイネージなどを用いて間接的に行ってもよい。

11・・・移動体検出部、12・・・移動体識別子付与部、13・・・移動体追跡部、14・・・動線データ記録部、15・・・店舗内行動プロファイル蓄積部、16・・・関心度データ推定部、17・・・関心度データ記録部、18・・・動線データ類似度算出部、19・・・移動体動線予測部、20・・・関心度データ類似度算出部、21・・・移動体関心度予測部、22・・・移動体行動予測部

Claims (7)

1. カメラによって撮影された映像から移動体の行動を分析し、予測する移動体行動分析・予測装置であって、
   カメラによって撮影された映像中に出現する移動体を検出する移動体検出手段と、
   前記移動体検出手段により検出された移動体に識別子を付与する識別子付与手段と、
   前記識別子付与手段により識別子が付与された移動体を追跡し、その位置を動線として取得する追跡手段と、
   予め設定された関心度観測エリアに移動体が滞留するときの移動体の行動を観測し、その行動から該移動体の関心度データを推定する関心度データ推定手段と、
   前記追跡手段により取得された移動体の位置の動線データおよび関心度データ推定手段により推定された関心度データを、前記識別子付与手段により付与された識別子とともに記録する記録手段と、
   観測中の移動体の動線データと前記記録手段に記録済みの移動体の動線データとの類似度から、観測中の移動体の続く動線レベルでの行動を予測する動線予測手段と、
   観測中の移動体の関心度データと前記記録手段に記録済みの移動体の関心度データとの類似度から、観測中の移動体の関心度レベルでの行動を予測する関心度予測手段を備えることを特徴とする移動体行動分析・予測装置。
2. 前記動線予測手段は、観測中の移動体の動線データと記録済みの移動体の動線データとの類似度として、任意にサンプリングした動線上の位置における距離の絶対値差分を算出することを特徴とする請求項１に記載の移動体行動分析・予測装置。
3. 前記関心度データ推定手段は、前記追跡手段により追跡された移動体の顔領域の注視方向を推定し、
   前記記録手段は、前記関心度データ推定手段により推定された注視方向を関心度データとして記録し、
   前記関心度予測手段は、観測中の移動体の関心度データと前記記録手段に記録済みの移動体の関心度データの類似度を算出し、該類似度が大である記録済みの移動体の関心度データから、観測中の移動体の続く関心度レベルでの行動を予測することを特徴とする請求項１または２に記載の移動体行動分析・予測装置。
4. 前記関心度データ推定手段は、
   カメラによって撮影された映像中の移動体の大きさを測定する測定手段と、
   前記測定手段により測定された移動体の大きさと一般的な移動体の大きさに対する頭部の相対的な大きさの関係から、前記移動体検出手段により検出された移動体における頭部を検出する頭部検出手段と、
   前記頭部検出手段により検出された頭部における顔領域を抽出し、頭部と顔領域の相対面積から顔領域の注視方向を推定する注視方向推定手段を備えることを特徴とする請求項３に記載の移動体行動分析・予測装置。
5. 前記関心度データ推定手段は、移動体の動作アクティビティを推定する推定手段を備え、
   前記記録手段は、前記関心度データ推定手段により推定された移動体の動作アクティビティを関心度データとして記録し、
   前記関心度予測手段は、観測中の移動体の関心度データと記録済みの移動体の関心度データの類似度を算出し、該類似度から観測中の移動体の続く関心度レベルでの行動を予測することを特徴とする請求項１ないし４のいずれか１つに記載の移動体行動分析・予測装置。
6. 前記関心度データ推定手段は、移動体の動作アクティビティを推定するため、
   前記追跡手段により追跡された移動体の腕あるいは上半身の動きの動きベクトルを算出する動きベクトル算出手段と、
   前記追跡手段により追跡された移動体の大きさで正規化された動きベクトルを算出する正規化動きベクトル算出手段と、
   前記正規化動きベクトル算出手段により算出された動きベクトルを所定閾値と比較することにより移動体の動作アクティビティの１動作単位を推定する動作単位推定手段と、
   前記動作単位推定手段により検出された１動作単位の反復回数または時間間隔の少なくとも一方を算出する算出手段を備えることを特徴とする請求項５に記載の移動体行動分析・予測装置。
7. 動線データと関心度データは、別々の行動プロファイルとして階層化されて記録され、前記関心度予測手段は、動線データについて類似度と関心度データについての類似度を別々に算出することを特徴とする請求項１ないし６のいずれか１つに記載の移動体行動分析・予測装置。