JP6926895B2 - 情報処理装置、情報処理システムおよびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システムおよびプログラムに関する。

特許文献１には、入力音声をスペクトルまたはケプストラムなどの特徴ベクトルの時系列に変換し、類似度をもとに音声認識を行う方法が開示されている。

特許文献２には、入力音声信号のスペクトル、または特徴パラメータと音声認識辞書との複合類似度を計算して、入力音声信号を認識する音声パターンマッチング方式が開示されている。

特許文献３には、複数のセンサノードが装着された物体の状態を推定する装置であって、センサデータから変化が起こっている区間を抽出して、抽出した区間のセンサデータの変化から、物体の事象であるイベントを特定する事物決定装置が開示されている。

特許文献４には、複数の物体の各々に装着されたセンサノードから受信したセンサデータから、各物体が使用された時間範囲であるアクティビティを検出し、アクティビティが検出された複数の物体について使用状況の類似度を表す指標を計算する装置が開示されている。

特許文献５には、データ記憶部から取得したデータ間の類似度を学習し、学習した類似度を用いてラベル付きデータからラベルなしデータにラベルを伝播するようにした携帯端末が開示されている。

特許文献６には、各々の身体の同じ部位に装着したセンサの加速度データ間の相互相関を計算することにより、複数の人間が同期した行動を行っているシンクロ行動を検出する検出方法が開示されている。

特公平０７−０４３５９８号公報 特公平０７−０９２６７８号公報 特許第４８２９０８１号公報 特許第４９９５７５０号公報 特許第５０１８１２０号公報 特許第５９２１９７３号公報

複数のユーザの腕に加速度センサ、ジャイロセンサ等のセンサを装着して、各ユーザの行動分析を行う場合がある。例えば、コンビニエンスストア等の店舗の複数の店員のそれぞれの腕にセンサを装着して、品出し作業、レジ作業等の各種作業の作業量の割合や店員間の分担割合等を分析する場合がある。

このような行動分析を行うためには、どのような作業の場合にはどのようなセンサデータとなるかを、作業の種類を判定するための装置に事前に学習させておく必要がある。

そのため、それぞれの作業に使用される物体にもセンサを装着して、物体が使用中であると判定された場合に、その物体のセンサデータとユーザのセンサデータとを比較して、どのユーザがその物体を使用中であるかを判定して、その物体を使用中であると判定されたユーザのセンサデータを、その物体を使用した作業を行っている場合の学習データとしてラベル付けして収集するようなことが行われる。

しかし、測定対象の人物が複数存在する場合、ある物体が使用中であると判定された場合でも、その物体を使用している使用者を特定できない場合がある。例えば、複数の人物が同じような作業を行っているような場合、物体に装着したセンサからのセンサデータと各人物に装着したセンサのセンサデータとを比較しても、どの人物がその物体を使用しているのか判定が困難な場合がある。

本発明の目的は、物体に装着した検出手段の動作情報と人体に装着した検出手段の動作情報との間の相関度合いからではその物体を使用している使用者を特定することができない場合でも、その物体を使用している使用者を特定することを可能とする情報処理装置、情報処理システムおよびプログラムを提供することである。

［情報処理装置］
請求項１に係る本発明は、少なくとも１つ以上の物体の動作を検出することにより得られた物体の動作情報と、複数の人物の動作をそれぞれ検出することにより得られた複数の人物の動作情報と、前記物体および複数の人物の位置を検出することにより得られた位置情報を取得する取得手段と、
前記取得手段により取得された物体の動作情報と、複数の人物の動作情報とのそれぞれの相関度合いから、使用中であると判定された物体の使用者を特定する際に、使用中であると判定された物体の使用者である可能性が高い人物が複数存在する場合、前記取得手段により取得された位置情報を用いて、当該物体の位置により近い人物を、当該物体の使用者であると特定する特定手段とを備えた情報処理装置である。

請求項２に係る本発明は、前記特定手段が、予め設定されている領域内にいる人物を当該物体の使用者であると特定する請求項１記載の情報処理装置である。

請求項３に係る本発明は、前記特定手段が、予め設定さている領域内にいない人物は当該物体の使用者であるとは特定しない請求項１の情報処理装置である。

請求項４に係る本発明は、少なくとも１つ以上の物体の動作を検出することにより得られた物体の動作情報と、複数の人物の一方の腕に装着された検出手段により複数の人物の動作をそれぞれ検出することにより得られた複数の人物の動作情報とを取得する取得手段と、
前記検出手段を通常装着する腕とは反対側の腕に装着した状態で、物体を使用した場合に取得された各人物の動作情報を格納する格納手段と、
前記取得手段により取得された物体の動作情報と、前記取得手段により取得された複数の人物のそれぞれの動作情報との相関度合いから、使用中であると判定された物体の使用者を特定する際に、使用中であると判定された物体の使用者を特定できない場合、前記取得手段により取得された物体の動作情報と、前記格納手段に格納されている各人物の動作情報との相関度合いから、使用中であると判定された物体の使用者を特定する特定手段とを備えた情報処理装置である。

請求項５に係る本発明は、前記取得手段が、前記物体および複数の人物の位置を検出することにより得られた位置情報を取得し、
前記特定手段は、使用中であると判定された物体の使用者である可能性が高い人物が複数存在する場合、前記取得手段により取得された位置情報を用いて、当該物体の位置により近い人物を、当該物体の使用者であると特定する請求項４記載の情報処理装置である。

請求項６に係る本発明は、前記特定手段が、複数の人物のそれぞれの行動予定情報から、使用中であると判定された物体の使用者を特定する請求項１から５のいずれか記載の情報処理装置である。

請求項７に係る本発明は、前記複数の人物が作業を行っている領域が、物品の販売を行うための店舗であり、前記複数の人物が当該店舗の店員であり
前記取得手段は、前記物体および複数の人物の位置に加えて利用客の位置情報を取得し、
前記特定手段は、前記取得手段により取得された利用客の位置情報を用いて、使用中であると判定された物体の使用者を特定する請求項１から６のいずれか記載の情報処理装置である。

請求項８に係る本発明は、前記特定手段が、他の店員の行動が特定できた場合、行動を特定できた店員以外の店員を、使用中であると判定された物体の使用者として特定する請求項７記載の情報処理装置である。

請求項９に係る本発明は、前記特定手段が、時刻情報から店舗内の混雑状態を推定し、推定された店舗内の混雑状態から、店員が行っている可能性が低い作業を判定することにより、使用中であると判定された物体の使用者を特定する請求項７記載の情報処理装置である。

請求項１０に係る本発明は、前記特定手段が、会計時の際の売上情報が取得されている時刻にはレジ作業が行われている可能性が高いと判定して、使用中であると判定された物体の使用者として特定する請求項７記載の情報処理装置である。

請求項１１に係る本発明は、前記取得手段により取得される物体の動作情報および複数の人物の動作情報を検出するための検出手段が加速度センサであり、
前記特定手段は、前記加速度センサにより検出された物体の加速度データと、複数の人物のそれぞれの加速度データとの相関度合いから、使用中であると判定された物体の使用者を特定する請求項１から１０のいずれか記載の情報処理装置である。

請求項１２に係る本発明は、前記特定手段が、前記加速度センサにより検出された物体の加速度データの周波数スペクトルと、前記加速度センサにより検出された複数の人物のそれぞれの加速度データの周波数スペクトルとの類似度から、使用中であると判定された物体の使用者を特定する請求項１１記載の情報処理装置である。

［情報処理システム］
請求項１３に係る本発明は、少なくとも１つ以上の物体の動作を検出する第１の検出手段と、
複数の人物の動作をそれぞれ検出する複数の第２の検出手段と、
前記物体および複数の人物の位置を検出する第３の検出手段と、
前記第１の検出手段により検出された物体の動作情報と、前記複数の第２の検出手段により検出された複数の人物のそれぞれの動作情報との相関度合いから、使用中であると判定された物体の使用者を特定する際に、使用中であると判定された物体の使用者である可能性が高い人物が複数存在する場合、前記第３の検出手段により検出された位置情報を用いて、当該物体の位置により近い人物を、当該物体の使用者であると特定する特定手段とを備えた情報処理システムである。

請求項１４に係る本発明は、少なくとも１つ以上の物体の動作を検出する第１の検出手段と、
複数の人物の一方の腕に装着され、当該人物の動作をそれぞれ検出する複数の第２の検出手段と、
前記第２の検出手段を通常装着する腕とは反対側の腕に装着した状態で、物体を使用した場合に取得された各人物の動作情報を格納する格納手段と、
前記第１の検出手段により検出された物体の動作情報と、前記複数の第２の検出手段により検出された複数の人物のそれぞれの動作情報との相関度合いから、使用中であると判定された物体の使用者を特定する際に、使用中であると判定された物体の使用者を特定できない場合、前記第１の検出手段により検出された物体の動作情報と、前記格納手段に格納されている各人物の動作情報との相関度合いから、使用中であると判定された物体の使用者を特定する特定手段とを備えた情報処理システムである。

[プログラム]
請求項１５に係る本発明は、少なくとも１つ以上の物体の動作を検出する第１の検出ステップと、
複数の人物の動作をそれぞれ検出する第２の検出ステップと、
前記物体および複数の人物の位置を検出する第３の検出ステップと、
前記第１の検出ステップにおいて検出された物体の動作情報と、前記第２の検出ステップにおいて検出された複数の人物のそれぞれの動作情報との相関度合いから、使用中であると判定された物体の使用者を特定する際に、使用中であると判定された物体の使用者である可能性が高い人物が複数存在する場合、前記第３の検出ステップにおいて検出された位置情報を用いて、当該物体の位置により近い人物を、当該物体の使用者であると特定する特定ステップとをコンピュータに実行させるためのプログラムである。

請求項１６に係る本発明は、少なくとも１つ以上の物体の動作を検出する第１の検出ステップと、
複数の人物の一方の腕に装着された複数の検出手段により、当該人物の動作をそれぞれ検出する複数の第２の検出ステップと、
前記第１の検出ステップにおいて検出された物体の動作情報と、前記第２の検出ステップにおいて検出された複数の人物のそれぞれの動作情報との相関度合いから、使用中であると判定された物体の使用者を特定する特定する際に、使用中であると判定された物体の使用者を特定できない場合、前記第１の検出ステップにおいて検出された物体の動作情報と、前記検出手段を通常装着する腕とは反対側の腕に装着した状態で物体を使用した場合に取得された各人物の動作情報を格納する格納手段に格納されている各人物の動作情報との相関度合いから、使用中であると判定された物体の使用者を特定する特定ステップとをコンピュータに実行させるためのプログラムである。

請求項１に係る本発明によれば、物体に装着した検出手段の動作情報と人体に装着した検出手段の動作情報との間の相関度合いからではその物体を使用している使用者を特定することができない場合でも、その物体を使用している使用者を特定することが可能な情報処理装置を提供することである。

請求項２に係る本発明によれば、使用中であると判定された物体の使用者をより高い精度で特定することが可能な情報処理装置を提供することである。

請求項３に係る本発明によれば、使用中であると判定された物体の使用者をより高い精度で特定することが可能な情報処理装置を提供することである。

請求項４に係る本発明によれば、ある人物が検出手段を装着していない腕により物体を使用していることにより、物体に装着した検出手段の動作情報と人体に装着した検出手段の動作情報との間の相関度合いからではその物体を使用している使用者を特定することができない場合でも、その物体を使用している使用者を特定することが可能な情報処理装置を提供することである。

請求項５に係る本発明によれば、使用中であると判定された物体の使用者をより高い精度で特定することが可能な情報処理装置を提供することである。

請求項６に係る本発明によれば、使用中であると判定された物体の使用者をより高い精度で特定することが可能な情報処理装置を提供することである。

請求項７に係る本発明によれば、使用中であると判定された物体の使用者である店員をより高い精度で特定することが可能な情報処理装置を提供することである。

請求項８に係る本発明によれば、使用中であると判定された物体の使用者である店員をより高い精度で特定することが可能な情報処理装置を提供することである。

請求項９に係る本発明によれば、使用中であると判定された物体の使用者である店員をより高い精度で特定することが可能な情報処理装置を提供することである。

請求項１０に係る本発明によれば、使用中であると判定された物体の使用者である店員をより高い精度で特定することが可能な情報処理装置を提供することである。

請求項１１に係る本発明によれば、物体に装着した加速度センサの加速度データと人体に装着した加速度センサの加速度データとの間の相関度合いからではその物体を使用している使用者を特定することができない場合でも、その物体を使用している使用者を特定することが可能な情報処理装置を提供することである。

請求項１２に係る本発明によれば、物体に装着した加速度センサの加速度データと人体に装着した加速度センサの加速度データとの間の相関度合いを、より高い精度で判定することが可能な情報処理装置を提供することである。

請求項１３に係る本発明によれば、物体に装着した検出手段の動作情報と人体に装着した検出手段の動作情報との間の相関度合いからではその物体を使用している使用者を特定することができない場合でも、その物体を使用している使用者を特定することが可能な情報処理システムを提供することである。

請求項１４に係る本発明によれば、ある人物が検出手段を装着していない腕により物体を使用していることにより、物体に装着した検出手段の動作情報と人体に装着した検出手段の動作情報との間の相関度合いからではその物体を使用している使用者を特定することができない場合でも、その物体を使用している使用者を特定することが可能な情報処理システムを提供することである。

請求項１５に係る本発明によれば、物体に装着した検出手段の動作情報と人体に装着した検出手段の動作情報との間の相関度合いからではその物体を使用している使用者を特定することができない場合でも、その物体を使用している使用者を特定することが可能なプログラムを提供することである。

請求項１６に係る本発明によれば、ある人物が検出手段を装着していない腕により物体を使用していることにより、物体に装着した検出手段の動作情報と人体に装着した検出手段の動作情報との間の相関度合いからではその物体を使用している使用者を特定することができない場合でも、その物体を使用している使用者を特定することが可能なプログラムを提供することである。

本発明の一実施形態の行動分析システムのシステム構成を示す図である。 ウェアラブルセンサ２０を腕に装着した状態を示す図である。 バーコードリーダ５１に固定型センサ１０を装着した場合の様子を示す図である。 発注端末５２に固定型センサ１０を装着した場合の様子を示す図である。 商品カゴ５３に固定型センサ１０を装着した場合の様子を示す図である。 掃除機５４に固定型センサ１０を装着した場合の様子を示す図である。 本発明の一実施形態における行動分析サーバ６０のハードウェア構成を示すブロック図である。 本発明の一実施形態における行動分析サーバ６０の機能構成を示すブロック図である。 本発明の一実施形態における行動分析サーバ６０における学習データ取得の際の動作を説明するためのフローチャートである。 物体センサデータおよび人物センサデータの一例を示す図である。 物体センサデータとのの相関度合いの大きな人物センサデータが複数存在する場合の一例を示す図である。 バーコードリーダ５１との距離がより短い店員を、バーコードリーダ５１の使用者であると特定する場合の様子を示す図である。 バーコードリーダ５１との距離だけでなく、店員（ユーザ１、２）の現在位置が予め設定されている領域内であるか否かに基づいて、バーコードリーダ５１の使用者を特定する場合の様子を示した図である。 他の外部情報を用いて各店員の作業種類を絞りこんで最終的に物体の使用者を特定するような場合の特定方法の具体例を説明するための図である。 行動分類モデルによる具体的な推定例を示す図である。 行動分類モデルを利用して、稼働中である物体の使用者を特定する方法の具体例を説明するための図である。 ウェアラブルセンサ２０を右腕に装着した店員が、左手でバーコードリーダ５１を使用した場合の様子を示す図である。 ウェアラブルセンサ２０を右腕に装着した店員が、左手で発注端末５２を使用した場合の様子を示す図である。 図１７、図１８に示したような場合に物体の使用者を特定する方法を、図１９を参照して説明する。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

図１は本発明の一実施形態の行動分析システムの構成を示す図である。

本発明の一実施形態の行動分析システムは、図１に示されるように、コンビニエンスストア等の店舗内において店員の腕に装着される複数のウェアラブルセンサ２０と、バーコードリーダ等の各種物体にそれぞれ装着される複数の固定型センサ１０と、移動端末装置３０と、行動分析サーバ（情報処理端末）６０とから構成されている。

そして、移動端末装置３０と行動分析サーバ６０とは、例えば、無線ＬＮＡターミナル４０、インターネット５０を経由して相互に接続されている。なお、移動端末装置３０と行動分析サーバ６０とは、移動電話回線網を介して接続されていても良い。

本実施形態の行動分析システムは、店舗内の各店員のそれぞれの腕に加速度センサ、ジャイロセンサ等のウェアラブルセンサ２０を装着して、各店員の行動分析を行うためのシステムである。具体的には、本実施形態の行動分析システムは、各店員が行っている商品スキャン作業（レジ作業）、品出し作業、ゴミ出し作業等の各種作業の作業量の割合や店員間の分担割合等を分析するためのシステムである。このようにウェアラブルセンサ２０は、複数の人物の動作をそれぞれ検出する検出手段である。

なお、このような行動分析を行う対象は、店舗内の店員に限定されるものではなく、ある特定の領域内で複数の人物がそれぞれ作業を行うような場合に、それぞれの人物の行動分析を行う場合に広く適用可能である。

本実施形態では、ウェアラブルセンサ２０が３次元加速度センサであり、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向のそれぞれの加速度データをセンサデータ（動作情報）として検出する場合を用いて説明する。

ウェアラブルセンサ２０を腕に装着した状態を図２に示す。図２では、ウェアラブルセンサ２０が行動分析の対象となっている人物の右腕に装着される様子が示されている。

そして、このような行動分析を行う際には、どのような作業の場合にはどのようなセンサデータとなるかを予め取得して記憶しておき、各店員に装着されたウェアラブルセンサ２０からのセンサデータと比較することにより、各店員がどのような作業を行っているかを判定する。そのため、どのような作業の場合にはどのようなセンサデータとなるかを判定するための学習データを予め取得しておく必要がある。

そのため、それぞれの作業に使用される物体に固定型センサ１０をそれぞれ装着して、物体が使用中であると判定された場合に、その物体のセンサデータと店員の人物センサデータとを比較して、どの店員がその物体を使用中であるかを判定して、その物体を使用中であると判定された店員の人物センサデータを、その物体を使用した作業を行っている場合のセンサデータとしてラベル付けして収集するようなことが行われる。

つまり、固定型センサ１０も、上記で説明したウェアラブルセンサ２０と同様に、少なくとも１つ以上の物体の動作を検出する検出手段である。なお、本実施形態では、固定型センサ１０が３次元加速度センサであり、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向のそれぞれの加速度データをセンサデータ（動作情報）として検出する場合を用いて説明する。

このような各種物体に固定型センサ１０が装着される様子の具体例を図３〜図６を参照して説明する。

例えば、レジ作業の際に商品のバーコードを読み取るバーコードリーダ５１に固定型センサ１０を装着した場合の様子を図３に示す。このバーコードリーダ５１の使用者として特定された店員の人物センサデータは、商品スキャン作業（レジ作業）中のセンサデータとして収集される。

また、商品の発注処理を行うための発注端末５２に固定型センサ１０を装着した場合の様子を図４に示す。この発注端末５２の使用者として特定された店員の人物センサデータは、発注作業中のセンサデータとして収集される。

同様に、商品の品出し作業を行う際に使用される商品カゴ５３に固定型センサ１０を装着した場合の様子を図５に示す。この商品カゴ５３の使用者として特定された店員の人物センサデータは、品出し作業中のセンサデータとして収集される。

また、掃除機５４に固定型センサ１０を装着した場合の様子を図６に示す。この掃除機５４の使用者として特定された店員の人物センサデータは、掃除中のセンサデータとして収集される。

なお、コンビニエンスストア等の店舗内の店員に装着されたウェアラブルセンサ２０により検出された人物センサデータや、店舗内の各種物体（道具）に装着された固定型センサ１０により検出された物体センサデータは、移動端末装置３０経由にて行動分析サーバ６０に蓄積される。

さらに、図１には示していないが、店舗内の複数の箇所にビーコン信号を送信するビーコン送信機が設置されており、固定型センサ１０やウェアラブルセンサ２０は、このビーコン信号を受信して、それぞれのビーコン信号の受信強度の情報を位置情報として移動端末装置３０経由にて行動分析サーバ６０に送信する。なお、物体や人物の店舗内の位置の特定処理は、行動分析サーバ６０で行う場合のほか、移動端末装置３０内で行う場合や、位置検出のための別装置により行われるようにすることも可能である。このようなビーコン送信機等は、店舗内における物体や店員の位置を検出する検出手段として機能する。

行動分析サーバ６０は、上述した人物センサデータや物体センサデータに加えて、物体および複数の店員の位置を検出することにより得られた位置情報を取得して蓄積する。

そして、行動分析サーバ６０は、蓄積した物体センサデータと人物センサデータとを比較することにより、どの店員がどの物体を使用して作業を行っているかを特定して、そのセンサデータに作業の種類名を自動的にラベル付けする。

以下においては、本実施形態の行動分析システムにおいて、このような学習データを効率的に取得するための取得方法の詳細について説明する。

先ず、本実施形態の画行動分析システムにおける行動分析サーバ６０のハードウェア構成を図７に示す。

行動分析サーバ６０は、図７に示されるように、ＣＰＵ１１、メモリ１２、ハードディスクドライブ（ＨＤＤ）等の記憶装置１３、インターネット５０を介して外部の装置等との間でデータの送信及び受信を行う通信インタフェース（ＩＦ）１４、タッチパネル又は液晶ディスプレイ並びにキーボードを含むユーザインタフェース（ＵＩ）装置１５を有する。これらの構成要素は、制御バス１６を介して互いに接続されている。

ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、行動分析サーバ６０の動作を制御する。なお、本実施形態では、ＣＰＵ１１は、メモリ１２または記憶装置１３内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをＣＤ−ＲＯＭ等の記憶媒体に格納してＣＰＵ１１に提供することも可能である。

図８は、上記の制御プログラムが実行されることにより実現され行動分析サーバ６０の機能構成を示すブロック図である。

本実施形態の行動分析サーバ６０は、図８に示されるように、通信部３１と、データ取得部３２と、データ格納部３３と、特定部３４と、相関演算部３５と、ラベル付与部３６とを備えている。

通信部３１は、移動端末装置３０との間でデータの送受信を行う。

データ取得部３２は、通信部３１が移動端末装置３０から受信したデータから、固定型センサ１０により検出された物体センサデータと、ウェアラブルセンサ２０により複数の店員のそれぞれから検出された人物センサデータと、物体および複数の店員の位置を検出することにより得られた位置情報を取得する。

データ格納部３３は、データ取得部３２により取得された物体センサデータ、人物センサデータおよび物体や人物の店舗内の位置を示す位置情報を格納する。

相関演算部３５は、データ取得部３２により取得された物体センサデータと、複数の店員の人物センサデータとのそれぞれの相関度合いを演算する。具体的には、相関演算部３５は、使用中であると判定された区間の物体センサデータと、その区間に対応した複数の店員の人物センサデータとのそれぞれの相関度合いを演算する。

その際に、相関演算部３５は、３軸（Ｘ軸、Ｙ軸、Ｚ軸）の人物センサデータと、３軸の物体センサデータとの間で３×３＝９通りの相関度合いを演算して、その物体を使用している使用者を特定する。

なお、この相関度合いを演算する際には、センサデータの波形間の相関値を相関スコアとして算出して比較するだけでなく、センサデータの周波数スペクトル解析を行って得られた周波数スペクトルどうしを比較することにより得られる波形の類似度を波形類似度スコアとして算出して比較する。

つまり、相関スコアでは、波形の全体的な形状の類似度のみが評価されるため、センサデータの波形形状が偶然似たような形状となった場合には大きな値となってしまう可能性がある。しかし、周波数スペクトルを算出して比較することにより、波形の全体的な形状だけでなく振動数等の波形の性質までを含めた比較が可能となり、より精度の高い相関度合いを算出することができる。

特定部３４は、データ取得部３２により取得された物体センサデータと、複数の店員の人物センサデータとのそれぞれの相関度合いから、使用中であると判定された物体の使用者を特定する。特定部３４は、その使用者の特定の際に、使用中であると判定された物体の使用者である可能性が高い人物が複数存在する場合、データ取得部３２により取得された位置情報を用いて、その物体の位置により近い店員を、その物体の使用者であると特定する。

なお、本実施形態では、データ取得部３２により取得される物体の動作情報および複数の店員の動作情報を検出するための検出手段が加速度センサであるため、特定部３４は、この加速度センサにより検出された物体の加速度データと、複数の人物のそれぞれの加速度データとの相関度合いから、使用中であると判定された物体の使用者を特定する。

なお、上記で説明したように、相関演算部３５が物体センサデータや人物センサデータの周波数スペクトルを演算して、波形類似度スコアを用いて相関度合いを演算する場合には、特定部３４は、加速度センサにより検出された物体の加速度データの周波数スペクトルと、加速度センサにより検出された複数の人物のそれぞれの加速度データの周波数スペクトルとの類似度から、使用中であると判定された物体の使用者を特定する。

さらに、特定部３４は、上記の位置情報を用いて、予め設定されている領域内にいる店員をその物体の使用者であると特定し、予め設定さている領域内にいない店員はその物体の使用者であるとは特定しないようにしても良い。

ラベル付与部３６は、特定部３４により使用者として特定された店員の人物センサデータを、その物体を使用した作業を行っている場合のセンサデータとしてラベル付けを行う。

なお、特定部３４は、複数の店員のそれぞれのスケジュールデータ（行動予定情報）から、使用中であると判定された物体の使用者を特定するようにしても良い。

また、本実施形態のように、複数の人物が作業を行っている領域が物品の販売を行うための店舗であり、複数の人物が店舗の店員であるような場合、データ取得部３２により、物体および複数の人物の位置に加えて店舗内の利用客の位置情報を取得するようにしても良い。

この場合、特定部３４は、データ取得部３２により取得された利用客の位置情報を用いて、使用中であると判定された物体の使用者を特定することができる。

なお、店舗内の利用客のそれぞれの位置情報を検出する方法としては、例えば、全方位カメラや、店舗内の利用客の位置、動き等を認識することが可能なモーションキャプチャ機能を備えたカメラ等の撮像装置を店舗内に設けるような方法を用いることが可能である。

また、特定部３４は、他の店員の行動が特定できた場合、行動を特定できた店員以外の店員を、使用中であると判定された物体の使用者として特定するようにしても良い。

また、特定部３４は、時刻情報から店舗内の混雑状態を推定し、推定された店舗内の混雑状態から、店員が行っている可能性が低い作業を判定することにより、使用中であると判定された物体の使用者を特定するようにしても良い。

また、特定部３４、会計時の際のＰＯＳ（Point Of Sales）情報（売上情報）が取得されている時刻にはレジ作業が行われている可能性が高いと判定して、使用中であると判定された物体の使用者として特定するようなことも可能である。

次に、本実施形態の行動分析システムの動作を図面を参照して詳細に説明する。

本実施形態の行動分析サーバ６０において、蓄積された物体センサデータや人物センサデータから学習データを取得する際の動作を図９のフローチャートを参照して説明する。

先ず、特定部３４は、ある物体の物体センサデータをデータ格納部３３から取得すると(ステップＳ１０１)、その物体の稼働期間を特定する（ステップＳ１０２）。

このような物体センサデータおよび人物センサデータの一例を図１０に示す。図１０では、３軸の加速度センサデータである物体センサデータから、その物体の稼働期間が特定される様子が示されている。

そして、特定部３４は、特定した稼働期間に対応する複数の店員（人物）の人物センサデータをデータ格納部３３から取得する（ステップＳ１０３）。

そして、特定部３４は、取得した複数の人物センサデータと、稼働期間中の物体センサデータとの相関度合いを、相関演算部３５により算出させる。

例えば、図１０では、物体センサデータの稼働期間の波形と、ユーザ２の人物センサデータの波形との相関度合いが高いと判定されたものとして説明する。この場合には、特定部３４は、その物体の使用者は、ユーザ２であると特定する（ステップＳ１０４）。

最後に、ラベル付与部３６は、使用者であると特定されたユーザ２の、物体の稼働期間と判定された期間のセンサデータに、その物体を使用した作業、例えば、「商品スキャン作業」、「品出し作業」等の名称をラベル付けする（ステップＳ１０５）。

このようにしてラベル付けされたセンサデータを、学習データとして各ラベル名称毎に収集することにより、ある作業を行う際のセンサデータの波形形状がどのような形状であるかを推定するための学習に利用することができる。

なお、図１０では、稼働期間の物体センサデータと相関度合いが多い人物センサデータが１つのみの場合であったため、その物体の使用者を特定することができた。しかし、図１１に示すように、物体センサデータとのの相関度合いの大きな人物センサデータが複数存在する場合、その物体の使用者を一意に特定することが難しい場合がある。つまり、ある物体の稼働中に、似たような動作を行っている店員が複数いる場合、その物体の使用者を特定することが難しい。

例えば、図１１では、物体センサデータの稼働期間における波形と、ユーザ１、２のそれぞれの人物センサデータの波形との相関度合いが大きいと判定された場合が示されている。

このような場合、特定部３４は、その物体の使用者が、ユーザ１なのかユーザ２なのかを特定することができない。

このような場合、特定部３４は、その物体と各店員（ユーザ１、２）との距離や、各店員の現在位置に基づいて、その物体の使用者を特定する。

例えば、稼働中であると判定された物体がバーコードリーダ５１である場合の具体例について、図１２、図１３を参照して説明する。

図１２、図１３では、店舗内にビーコン送信機７１〜７４が４か所に設置されており、このビーコン送信機７１〜７４から送信されるビーコン信号を利用して、バーコードリーダ５１、ユーザ１、２等の位置が検出されているものとして説明する。

図１２は、バーコードリーダ５１との距離がより短い店員を、バーコードリーダ５１の使用者であると特定する場合の様子を示した図である。

図１２では、バーコードリーダ５１とユーザ１との距離ｄ１が、バーコードリーダ５１とユーザとの距離ｄ２よりも短いため、よりバーコードリーダ５１に近いユーザ１を使用者として特定する場合が示されている。

図１３は、バーコードリーダ５１との距離だけでなく、店員（ユーザ１、２）の現在位置が予め設定されている領域内であるか否かに基づいて、バーコードリーダ５１の使用者を特定する場合の様子を示した図である。

図１３では、ユーザ１が、予め設定されている領域であるレジエリア内に位置していることにより、レジエリア内にいないユーザ２よりも、バーコードリーダ５１を使用している可能性が高いと判定して、ユーザ１を使用者として特定する場合が示されている。

なお、距離を用いた特定と予め設定されている領域内にいるか否かによる特定とを組み合わせて、先ずは距離を用いて使用者を特定し、稼働中の物体との距離が同程度の場合には、予め設定されている領域内にいるか否かによる特定を行うようにしても良い。

なお、図１２、図１３に示した具体例以外にも、例えば、店舗外に店員がいる場合にはゴミ出し作業である可能性が高いというように、ある場所にいることにより特定の作業を行っている可能性が高い場合、このような特定方法を用いることができる。逆に、特定部３４は、予め設定さている領域内にいない店員はその物体の使用者ではないと判定することもできる。

なお、予めセンサデータの波形形状が近似する作業どうしを対応付けておき、稼働中の物体のセンサデータと類似度あいの大きな人物センサデータが複数存在した場合、位置情報を含む他の外部情報を用いて各店員の作業種類を絞りこんで最終的に物体の使用者を特定するようなことも可能である。

このような場合の特定方法の具体例を図１４を参照して説明する。例えば、商品スキャン作業のセンサデータとの相関度合いが大きな他の作業として、品出し作業、フェイスアップ作業、・・・、拭き掃除等が存在するものとして説明する。なお、フェイスアップ作業とは、陳列棚の前面に積まれた商品の顔（フェイス）を整えたり、陳列棚の奥の商品を前に並べ直す作業を意味する。

そして、様々な外部情報としては、店員の位置情報、利用者の位置情報、他の店員の行動情報、各店員のワークスケジュール、店舗内の混雑状況、ＰＯＳ情報等が用いられる。そして、このような外部情報を用いて、各店員の行動（作業）を推定するために行動分類モデルが用いられる。

このような行動分類モデルによる具体的な推定例を図１５に示す。

例えば、店員の位置情報を用いた行動分類モデルでは、商品スキャン作業はレジエリア付近、ゴミ出し作業は店舗外でお紺われるというように、店員の位置に基づく行動の推定が行われる。

また、利用客の位置情報を用いた行動分類モデルでは、レジ前に利用客がいる場合には、いずれかの店員が商品スキャン作業中の可能性が高いというように、利用客の位置に基づく行動の推定が行われる。

また、他の店員の行動情報を用いた行動分類モデルでは、１人しかできない作業を他の店員が行っている場合、その作業を行っている可能性は低いというように、他の店員の行動に基づく行動の推定が行われる。

また、各店員のワークスケジュール（行動予定情報）を用いた行動分類モデルでは、ユーザ１は９時から１０時の間はレジ作業担当であるとか、ユーザ２は、１０時から１２時までは品出し作業を行う予定であるというように、ワークスケジュールに基づく行動の推定が行われる。

また、店舗内の混雑状況を用いた行動分類モデルでは、お昼時間帯はお弁当の棚の前は混在しているはずなので、品出し作業をしている可能性は低いというような行動の推定が行われる。

また、ＰＯＳ情報を用いた行動分類モデルでは、ＰＯＳ情報が入力された時刻の前後の時間帯は商品スキャン作業が行われていた可能性が高いというように、ＰＳＯ情報を利用した行動の推定が行われる。

そして、このような行動分類モデルを利用して、稼働中である物体の使用者を特定する方法の具体例を図１６を参照して説明する。

例えば、図１６では、バーコードリーダ５１の使用者である可能性が高い店員が、ユーザ１およびユーザ２の２名であった場合を用いて説明する。

このような場合、上述した行動分類モデルにより、ユーザ１、２のそれぞれの行動確率を推定した場合、ユーザ１は、品出し作業の確率が０．８（８０％）、フェイスアップ作業の確率が０．２、拭き掃除の確率が０．４であり、ユーザ２は、品出し作業の確率が０．１、フェイスアップ作業の確率が０．３、拭き掃除の確率が０．２であったものとする。

この場合、行動分類モデルでは、ユーザ２の行動を推定することはできないが、ユーザ１は品出し作業を行っている可能性が高いと推定される。

そのため、特定部３４は、ユーザ１は品出し作業を行っていると判定し、バーコードリーダ５１を用いた商品スキャン作業を行っているのはユーザ２であるといように消去法により、物体の使用者を特定する。

なお、上記ではセンサデータ間の類似度度合いが大きい店員が複数存在する場合について説明したが、ある物体が稼働中であるにもかかわらず、その物体のセンサデータとの類似度あいが大きな店員が存在しない場合もある。

このような場合の一例として、店員がウェアラブルセンサ２０を装着した腕とは、反対側の腕で物体を使用している場合がある。

具体的には、図１７に示すように、ウェアラブルセンサ２０を右腕に装着した店員が、左手でバーコードリーダ５１を使用した場合が挙げられる。また、図１８に示すように、ウェアラブルセンサ２０を右腕に装着した店員が、左手で発注端末５２を使用した場合が挙げられる。

このような場合に物体の使用者を特定する方法を、図１９を参照して説明する。

先ず、データ取得部３２が、複数の店員の一方の腕、例えば右腕に装着されたウェアラブルセンサ２０により検出された人物センサデータを取得する場合、ウェアラブルセンサ２０を通常装着する腕とは反対側の腕、例えば左腕にウェアラブルセンサ２０を装着した状態で物体を使用した場合に取得された人物センサデータをデータ格納部３３に格納しておく。

そして、特定部３４は、データ取得部３２により取得された物体センサデータと、データ取得部３２により取得された複数の店員のそれぞれの人物センサデータとの相関度合いから、使用中であると判定された物体の使用者を特定する際に、使用中であると判定された物体の使用者を特定できない場合、データ取得部３２により取得された物体の物体センサデータと、データ格納部３３に格納されている各店員（ユーザ１〜Ｎ）の左腕のセンサデータとの相関度合いから、使用中であると判定された物体の使用者を特定する。

なお、このような場合でも、特定部３４は、使用中であると判定された物体の使用者である可能性が高い店員が複数存在する場合、データ取得部３２により取得された位置情報を用いて、稼働中である物体の位置により近い人物を、その物体の使用者であると特定するようにしても良い。

[変形例]
上記実施形態では、行動分析サーバ６０により行動分析を行う場合を用いて説明したが、本発明はこれに限定されるものではなく、パーソナルコンピュータ、携帯電話機、タブレット装置、スマートフォン等の各種情報処理装置により行動分析を行う場合でも同様に本発明を適用することができるものである。

１０ 固定型センサ
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 通信インタフェース（ＩＦ）
１５ ユーザインタフェース（ＵＩ）装置
１６ 制御バス
２０ ウェアラブルセンサ
３０ 移動端末装置
３１ 通信部
３２ データ取得部
３３ データ格納部
３４ 特定部
３５ 相関演算部
３６ ラベル付与部
４０ 無線ＬＡＮターミナル
５０ インターネット
５１ バーコードリーダ
５２ 発注端末
５３ 商品カゴ
５４ 掃除機
６０ 行動分析サーバ
７１〜７４ ビーコン送信機

Claims (16)

1. 少なくとも１つ以上の物体の動作を検出することにより得られた物体の動作情報と、複数の人物の動作をそれぞれ検出することにより得られた複数の人物の動作情報と、前記物体および複数の人物の位置を検出することにより得られた位置情報を取得する取得手段と、
   前記取得手段により取得された物体の動作情報と、複数の人物の動作情報とのそれぞれの相関度合いから、使用中であると判定された物体の使用者を特定する際に、使用中であると判定された物体の使用者である可能性が高い人物が複数存在する場合、前記取得手段により取得された位置情報を用いて、当該物体の位置により近い人物を、当該物体の使用者であると特定する特定手段と、
   を備えた情報処理装置。
2. 前記特定手段は、予め設定されている領域内にいる人物を当該物体の使用者であると特定する請求項１記載の情報処理装置。
3. 前記特定手段は、予め設定さている領域内にいない人物は当該物体の使用者であるとは特定しない請求項１の情報処理装置。
4. 少なくとも１つ以上の物体の動作を検出することにより得られた物体の動作情報と、複数の人物の一方の腕に装着された検出手段により複数の人物の動作をそれぞれ検出することにより得られた複数の人物の動作情報とを取得する取得手段と、
   前記検出手段を通常装着する腕とは反対側の腕に装着した状態で、物体を使用した場合に取得された各人物の動作情報を格納する格納手段と、
   前記取得手段により取得された物体の動作情報と、前記取得手段により取得された複数の人物のそれぞれの動作情報との相関度合いから、使用中であると判定された物体の使用者を特定する際に、使用中であると判定された物体の使用者を特定できない場合、前記取得手段により取得された物体の動作情報と、前記格納手段に格納されている各人物の動作情報との相関度合いから、使用中であると判定された物体の使用者を特定する特定手段と、
   を備えた情報処理装置。
5. 前記取得手段は、前記物体および複数の人物の位置を検出することにより得られた位置情報を取得し、
   前記特定手段は、使用中であると判定された物体の使用者である可能性が高い人物が複数存在する場合、前記取得手段により取得された位置情報を用いて、当該物体の位置により近い人物を、当該物体の使用者であると特定する請求項４記載の情報処理装置。
6. 前記特定手段は、複数の人物のそれぞれの行動予定情報から、使用中であると判定された物体の使用者を特定する請求項１から５のいずれか記載の情報処理装置。
7. 前記複数の人物が作業を行っている領域が、物品の販売を行うための店舗であり、前記複数の人物が当該店舗の店員であり
   前記取得手段は、前記物体および複数の人物の位置に加えて利用客の位置情報を取得し、
   前記特定手段は、前記取得手段により取得された利用客の位置情報を用いて、使用中であると判定された物体の使用者を特定する請求項１から６のいずれか記載の情報処理装置。
8. 前記特定手段は、他の店員の行動が特定できた場合、行動を特定できた店員以外の店員を、使用中であると判定された物体の使用者として特定する請求項７記載の情報処理装置。
9. 前記特定手段は、時刻情報から店舗内の混雑状態を推定し、推定された店舗内の混雑状態から、店員が行っている可能性が低い作業を判定することにより、使用中であると判定された物体の使用者を特定する請求項７記載の情報処理装置。
10. 前記特定手段は、会計時の際の売上情報が取得されている時刻にはレジ作業が行われている可能性が高いと判定して、使用中であると判定された物体の使用者として特定する請求項７記載の情報処理装置。
11. 前記取得手段により取得される物体の動作情報および複数の人物の動作情報を検出するための検出手段が加速度センサであり、
    前記特定手段は、前記加速度センサにより検出された物体の加速度データと、複数の人物のそれぞれの加速度データとの相関度合いから、使用中であると判定された物体の使用者を特定する請求項１から１０のいずれか記載の情報処理装置。
12. 前記特定手段は、前記加速度センサにより検出された物体の加速度データの周波数スペクトルと、前記加速度センサにより検出された複数の人物のそれぞれの加速度データの周波数スペクトルとの類似度から、使用中であると判定された物体の使用者を特定する請求項１１記載の情報処理装置。
13. 少なくとも１つ以上の物体の動作を検出する第１の検出手段と、
    複数の人物の動作をそれぞれ検出する複数の第２の検出手段と、
    前記物体および複数の人物の位置を検出する第３の検出手段と、
    前記第１の検出手段により検出された物体の動作情報と、前記複数の第２の検出手段により検出された複数の人物のそれぞれの動作情報との相関度合いから、使用中であると判定された物体の使用者を特定する際に、使用中であると判定された物体の使用者である可能性が高い人物が複数存在する場合、前記第３の検出手段により検出された位置情報を用いて、当該物体の位置により近い人物を、当該物体の使用者であると特定する特定手段と、
    を備えた情報処理システム。
14. 少なくとも１つ以上の物体の動作を検出する第１の検出手段と、
    複数の人物の一方の腕に装着され、当該人物の動作をそれぞれ検出する複数の第２の検出手段と、
    前記第２の検出手段を通常装着する腕とは反対側の腕に装着した状態で、物体を使用した場合に取得された各人物の動作情報を格納する格納手段と、
    前記第１の検出手段により検出された物体の動作情報と、前記複数の第２の検出手段により検出された複数の人物のそれぞれの動作情報との相関度合いから、使用中であると判定された物体の使用者を特定する際に、使用中であると判定された物体の使用者を特定できない場合、前記第１の検出手段により検出された物体の動作情報と、前記格納手段に格納されている各人物の動作情報との相関度合いから、使用中であると判定された物体の使用者を特定する特定手段と、
    を備えた情報処理システム。
15. 少なくとも１つ以上の物体の動作を検出する第１の検出ステップと、
    複数の人物の動作をそれぞれ検出する第２の検出ステップと、
    前記物体および複数の人物の位置を検出する第３の検出ステップと、
    前記第１の検出ステップにおいて検出された物体の動作情報と、前記第２の検出ステップにおいて検出された複数の人物のそれぞれの動作情報との相関度合いから、使用中であると判定された物体の使用者を特定する際に、使用中であると判定された物体の使用者である可能性が高い人物が複数存在する場合、前記第３の検出ステップにおいて検出された位置情報を用いて、当該物体の位置により近い人物を、当該物体の使用者であると特定する特定ステップと、
    をコンピュータに実行させるためのプログラム。
16. 少なくとも１つ以上の物体の動作を検出する第１の検出ステップと、
    複数の人物の一方の腕に装着された複数の検出手段により、当該人物の動作をそれぞれ検出する複数の第２の検出ステップと、
    前記第１の検出ステップにおいて検出された物体の動作情報と、前記第２の検出ステップにおいて検出された複数の人物のそれぞれの動作情報との相関度合いから、使用中であると判定された物体の使用者を特定する特定する際に、使用中であると判定された物体の使用者を特定できない場合、前記第１の検出ステップにおいて検出された物体の動作情報と、前記検出手段を通常装着する腕とは反対側の腕に装着した状態で物体を使用した場合に取得された各人物の動作情報を格納する格納手段に格納されている各人物の動作情報との相関度合いから、使用中であると判定された物体の使用者を特定する特定ステップと、
    をコンピュータに実行させるためのプログラム。

Images