JPWO2017163879A1 - 行動分析装置、行動分析システム、行動分析方法及びプログラム - Google Patents

行動分析装置、行動分析システム、行動分析方法及びプログラム Download PDF

Info

Publication number
JPWO2017163879A1
JPWO2017163879A1 JP2018507198A JP2018507198A JPWO2017163879A1 JP WO2017163879 A1 JPWO2017163879 A1 JP WO2017163879A1 JP 2018507198 A JP2018507198 A JP 2018507198A JP 2018507198 A JP2018507198 A JP 2018507198A JP WO2017163879 A1 JPWO2017163879 A1 JP WO2017163879A1
Authority
JP
Japan
Prior art keywords
shelf
information
unit
approach
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018507198A
Other languages
English (en)
Other versions
JP6665927B2 (ja
Inventor
準 小林
準 小林
志傑 斎藤
志傑 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2017163879A1 publication Critical patent/JPWO2017163879A1/ja
Application granted granted Critical
Publication of JP6665927B2 publication Critical patent/JP6665927B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data

Abstract

行動分析装置が、複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得部と、前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する検出部と、前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析部と、を備える。

Description

本発明は、行動分析装置、行動分析システム、行動分析方法及びプログラムに関する。
顧客の購買特性を把握する等の目的で店舗における顧客の行動分析を行う場合がある。例えば、特許文献1には、商品に対する顧客の接触の有無、接触した商品を購入したか否か等の情報を取得することが記載されている。
特開2011−253344号公報
商品が欠品した場合、欠品が顧客の行動に影響を与える可能性がある。従って、行動分析の精度を高めるために、商品の欠品状況を行動分析に反映させることが好ましい。
これに対し、特許文献1には、商品の陳列位置や特売札の有無等の情報を行動分析に用いることが記載されているものの、商品の欠品状況を行動分析に反映させることは示されていない。
本発明は、上述の課題を解決することのできる行動分析装置、行動分析システム、行動分析方法及びプログラムを提供することを目的としている。
本発明の第1の態様によれば、行動分析装置は、複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得部と、前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する検出部と、前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析部と、を備える。
本発明の第2の態様によれば、行動分析システムは、複数の商品が陳列された棚への人物の接近を検出するセンサと、前記複数の商品が陳列された前記棚への人物の接近の有無を示す接近情報を取得する接近情報取得部と、前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する検出部と、前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析部と、を備える。
本発明の第3の態様によれば、行動分析システムは、行動分析装置と出力装置とを備え、前記行動分析装置は、複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得部と、前記接近情報に基づいて、前記人物の行動分析を行う分析部と、前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する検出部と、を備え、前記出力装置は、前記行動分析装置から取得した前記欠品情報と前記行動分析装置の分析結果とに基づいて出力情報を生成する出力生成部を備える。
本発明の第4の態様によれば、行動分析方法は、複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得ステップと、前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する欠品検出ステップと、前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析ステップと、を含む。
本発明の第5の態様によれば、プログラムは、コンピュータに、複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得ステップと、前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する欠品検出ステップと、前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析ステップと、を実行させるためのプログラムである。
この発明によれば、商品の欠品状況を行動分析に反映させることができる。
本発明の一実施形態に係る行動分析システムの機能構成を示す概略ブロック図である。 同実施形態で、棚を横から見た場合の棚前行動計測用センサ及び棚状況撮影装置の配置例を示す説明図である。 同実施形態で、棚を前から見た場合の棚前行動計測用センサの配置例を示す説明図である。 同実施形態に係る表示部による顧客行動指標値の表示例を示す説明図である。 同実施形態に係る記憶部が記憶する対応付け後情報のデータ構造の例を示す説明図である。 同実施形態に係る記憶部が記憶する欠品期間情報のデータ構造の例を示す説明図である。 同実施形態に係る行動分析装置が対応付け後情報を生成する処理手順の例を示すフローチャートである。 同実施形態に係る行動分析装置が欠品期間情報を生成する処理手順の例を示すフローチャートである。 同実施形態に係る行動分析装置が接近情報を分類して顧客行動指標値を算出する処理手順の例を示すフローチャートである。 同実施形態に係る行動分析システムが、人物の行動分析を行った後に欠品情報を加味した処理を行う場合の機能構成の例を示す概略ブロック図である。 本発明に係る行動分析装置の最小構成を示す説明図である。 本発明に係る行動分析システムの最小構成を示す説明図である。
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の一実施形態に係る行動分析システムの機能構成を示す概略ブロック図である。同図に示すように、行動分析システム1は、棚前行動計測用センサ110と、棚状況撮影装置120と、行動分析装置200とを備える。行動分析装置200は、通信部210と、表示部220と、操作入力部230と、記憶部280と、制御部290とを備える。制御部290は、接近情報取得部291と、対応付け部292と、検出部293と、補正部294と、分類部295と、分析部296とを備える。
行動分析システム1は、棚前における人物の行動を分析する。具体的には、行動分析システム1は、棚前における人物の行動を示す指標値を取得する。行動分析システム1のユーザは、この指標値を参照して人物の棚前行動を把握することができる。ここでいう棚前は、商品陳列棚の前(特に、前面付近)であり、ここでいう棚前行動は、人物が商品陳列棚の前で行う行動である。以下では商品陳列棚を単に棚と称する。行動分析システム1のユーザを単にユーザと称する。
以下では、行動分析システム1が分析対象とする人物を顧客とも称する。すなわち、行動分析システムは、店舗を訪れた顧客の行動分析を行う。
棚前行動計測用センサ110は、棚前行動を検出するために設けられたセンサである。棚前行動計測用センサ110として、例えば棚の前面の上方から下方に向けて設けられた距離センサを用いることができる。顧客が棚に手を伸ばした場合に、棚前行動計測用センサ110が棚前における顧客の手の水平方向の位置及び垂直方向の位置を検出する。行動分析装置200は、棚前行動計測用センサ110により検出された位置に基づいて、顧客が手を伸ばした商品を推定することができる。
棚状況撮影装置120は、棚の前方に設けられて動画像又は静止画像を撮影するカメラを備え、連続的に或いは所定時間間隔毎に、棚前の様子及び棚の様子を撮影する。
棚状況撮影装置120が撮影する画像により、行動分析装置200は、顧客が棚前に立ち寄ってから棚前を立ち去るまでのタイミングを検出することができる。これにより、行動分析装置200は、顧客が棚前に立ち寄ってから立ち去るまでの期間に行われた棚への手伸ばしを、同一顧客による一連の手伸ばしとして検出することができる。
また、行動分析装置200は、顧客が棚へ手を伸ばした前後の画像を比較することで、顧客が商品を手に取ったこと、及び、顧客が手に取った商品を棚に戻したことを検出することができる。
図2及び図3を参照して棚前行動計測用センサ110及び棚状況撮影装置120の配置の例について説明する。
図2は、棚を横から見た場合の棚前行動計測用センサ110及び棚状況撮影装置120の配置例を示す説明図である。同図の例で棚前行動計測用センサ110は、棚910の全面の上方の天井930から下方に向けて設置されている。棚910は複数段の棚であり、それぞれの段に商品920が置かれている。顧客が棚910に手を伸ばした際、棚前行動計測用センサ110が棚前行動計測用センサ110自らと手との距離を測定する。測定された距離を用いることで、行動分析装置200は、顧客が棚910の何段目に手を伸ばしたかを判定することができる。
棚状況撮影装置120のカメラは、棚910の前方の天井930から棚910を撮影する位置及び向きに設置されている。例えば、棚状況撮影装置120が1台のカメラを備え、当該カメラを棚910の前面全体を撮影できる位置及び向きに設置する。あるいは、1台のカメラで棚910の前面全体を撮影できない場合は、棚状況撮影装置120が複数台のカメラを備えるようにしてもよい。
図3は、棚を前から見た場合の棚前行動計測用センサ110の配置例を示す説明図である。同図の例で棚前行動計測用センサ110は、棚910の幅方向に沿って天井930に複数配置されている。顧客が棚910に手を伸ばした際、行動分析装置200は、手を検出した棚前行動計測用センサ110を特定することで棚910の水平方向における手の位置を判定することができる。
但し、棚前行動計測用センサ110は、顧客が棚910に手を伸ばした際に棚910の鉛直方向における手の位置、及び、棚910の水平方向における手の位置を検出可能であればよい。例えば、棚前行動計測用センサ110として1セットの3次元カメラが棚910の前面の上方に設置されて棚の前面を鉛直方向に撮像するようにしてもよい。
棚前行動計測用センサ110の設置位置は、棚910の上方に限らない。例えば、棚前行動計測用センサ110が棚910の側方に設置されて棚910の前面を横向きにセンシングするようにしてもよい。
行動分析装置200は、棚前行動計測用センサ110からのセンシングデータに基づいて棚前行動を分析する。
具体的には、図2及び図3を参照して説明したように、顧客が棚910に手を伸ばした際、行動分析装置200は、棚前行動計測用センサ110からのセンシングデータに基づいて、棚910の鉛直方向における手の位置、及び、棚910の水平方向における手の位置を検出する。また、行動分析装置200は、棚910における商品920の配置を予め記憶しており、顧客の手の位置基づいて顧客が手を伸ばした商品920を推定する。行動分析装置200は、顧客が商品920に手を伸ばした回数を商品920毎に計数するなど、棚前行動の分析を行って分析結果を表示する。
行動分析装置200は、棚状況撮影装置120が撮影した画像に基づいて棚910における商品920の欠品を検出する。行動分析装置200は、検出した商品920の欠品状況を棚前行動の分析に反映させる。例えば、行動分析装置200は、顧客が所定の商品920を手に取らなかった回数(例えば、他の商品920を手に取った回数)を計数する際、当該商品920が欠品している期間を計数対象から除外する。これにより、行動分析装置200は、当該商品920に魅力がないために顧客が当該商品920を手に取らかなったといった誤った印象をユーザに与える可能性を低減させた分析結果を得ることができる。
行動分析装置200は、例えばコンピュータを用いて構成される。
通信部210は、他機器との通信を行う。通信部210は棚前行動計測用センサ110からセンシングデータを受信する。また、通信部210は、棚状況撮影装置120が撮影した画像を画像データにて受信する。
表示部220は、例えば液晶パネル又はLED(Light-Emitting Diode)パネル等の表示画面を有し、表示部220の制御に従って各種画像を表示する。表示部220は、商品に顧客が手を伸ばした回数の計数結果などの顧客行動指標値を表示する。ここでいう顧客行動指標値は、顧客の行動に関して分析部296が算出した指標値である。
例えば、表示部220は、顧客行動指標値を棚910の画像に重ねて表示する。
図4は、表示部220による顧客行動指標値の表示例を示す説明図である。同図の例で、表示部220は、商品920が並べられた棚910の像を領域A11に表示している。表示部220は、商品の像に顧客が当該商品に手を伸ばした回数に応じた色を付して表示している。表示部220は、顧客が商品に手を伸ばした回数と色との対応付けを示す凡例を領域A12に表示している。これにより、表示部220は、顧客が商品に手を伸ばした回数をヒートマップ風に示している。ここでいうヒートマップとは、行列の各要素の値を色で示す表示方法である。
図4の例では、領域A21に示されている商品が一時的に欠品しており、表示部220は、当該商品が欠品している期間中における顧客の各商品への手伸ばし回数を表示している。
顧客が商品に手を伸ばした回数は顧客行動指標値の例に該当する。表示部220は、棚910の画像における商品920の像の位置に、当該商品の像に付した色にて顧客行動指標値を表示している。
但し、表示部220が顧客行動指標値を表示する方法は、商品の像に色を付す方法に限らず、顧客行動指標値をユーザに提示できる方法であればよい。例えば、表示部220が、顧客行動指標値をグラフに表示するようにしてもよい。
操作入力部230は、例えばキーボード及びマウスなどの入力デバイスを備え、ユーザ操作を受ける。例えば操作入力部230は、表示部220が表示している商品920をマウスクリックするユーザ操作にて、当該商品の指定を受ける。また、操作入力部230は、例えば指定された商品が欠品している期間中における顧客の各商品への手伸ばし回数など、顧客行動指標値を算出する条件を指示するユーザ操作を受ける。
記憶部280は、各種情報を記憶する。記憶部280は、棚前行動計測用センサ110により得られるセンシングデータ、又は、制御部290が当該センシングデータを加工したデータを記憶する。例えば、記憶部280は、顧客が手を伸ばした商品920を示す商品識別情報と、棚前行動計測用センサ110が当該顧客の手を検出した時刻とを対応付けた情報を記憶する。以下では、商品識別情報とセンシング時刻を示す時刻情報とを対応付けた情報を対応付け後情報と称する。対応付け後情報は、対応付け部292が生成して記憶部280に記憶させる。
記憶部280は、対応付け後情報にて、顧客が手を伸ばした商品920を示す商品識別情報と、棚前行動計測用センサ110が当該顧客の手を検出した時刻とを対応付けた情報を、顧客が棚前に立ち寄ってから棚前を立ち去るまでの期間について同一顧客による一連の手伸ばしの情報として記憶する。
ここでいう商品識別情報は、棚910に置かれた商品920を商品毎に識別する情報である。なお、本実施形態では、同一の仕様の商品(例えば、同一の名前の商品)を同一の商品とみなす。商品識別情報として商品名など予め定められた情報を用いるようにしてもよいし、行動分析システム1専用の識別情報を定めておくようにしてもよい。
図5は、記憶部280が記憶する対応付け後情報のデータ構造の例を示す説明図である。同図に示すように、記憶部280は、グループ番号と、センシング時刻と、商品識別情報とを対応付けて記憶する。
なお、グループ番号と、センシング時刻と、商品識別情報とを対応付けた情報の1組分と全体とを区別する場合、これらを対応付けた情報の1組分を、対応付け後情報の1行分と称する。一方、これらを対応付けた情報の全体を、対応付け後情報全体と称する。
図5の例で、商品識別情報は、棚前行動計測用センサ110によるセンシングデータに基づいて特定された、顧客が手を伸ばした商品920を示す。
センシング時刻は、棚前行動計測用センサ110が当該センシングデータに示される物体の検出を行った時刻を示す。例えば、センシング時刻として通信部210がセンシングデータを受信した時刻を用いるようにしてもよい。
グループ番号は、顧客が棚前に立ち寄ってから棚前を立ち去るまでに検出された一連の手伸ばしを1つのグループに纏めるための情報として用いられる。行動分析装置200は、棚状況撮影装置の撮影画像に基づいて、顧客が棚前に立ち寄ってから棚前を立ち去るまでのタイミングを検出し、この期間に棚前行動計測用センサ110が送信したセンシングデータに基づく情報(センシング時刻と商品識別情報との組み合わせ)に同一のグループ番号を付す。これにより、同一の顧客が棚910に複数回手を伸ばしたことを検出することができる。
但し、記憶部280が記憶する情報は、図5の例に示すセンシング時刻と商品識別情報とを対応付けた情報に限らない。例えば、記憶部280が、棚前行動計測用センサ110によるセンシングデータとセンシング時刻を示す時刻情報とを対応付けて記憶するようにしてもよい。あるいは、記憶部280が、棚前行動計測用センサ110によるセンシングデータを棚910における垂直方向の位置及び水平方向の位置に変換した情報を座標値の形式で記憶するようにしてもよい。
記憶部280は、商品920のいずれかが欠品した場合の欠品開始時刻及び欠品終了時刻を示す欠品期間情報を記憶する。
図6は、記憶部280が記憶する欠品期間情報のデータ構造の例を示す説明図である。同図に示すように、記憶部280は、商品識別情報と、欠品開始時刻と、欠品終了時刻とを対応付けて記憶する。
欠品期間情報における商品識別情報は、欠品した商品を示す。
欠品開始時刻は、商品識別情報が示す商品が欠品となった時刻を示す。例えば、顧客が同一商品の最後の1個を手に取った後、棚前から立ち去った時刻を欠品開始時刻とすることができる。
欠品終了時刻は、商品識別情報が示す商品の欠品が終了した時刻を示す。例えば、店員が該当商品を棚910に補充した時刻を欠品終了時刻とすることができる。
欠品期間情報は、検出部293によって生成される。具体的には、検出部293は、欠品を検出した際に商品識別情報と欠品開始時刻とを欠品期間情報に書き込む。検出部293は、欠品の終了を検出した際に、欠品終了時刻を欠品期間情報の該当欄に書き込む。
なお、商品識別情報と、欠品開始時刻と、欠品終了時刻とを対応付けた情報の1組分と全体とを区別する場合、これらを対応付けた情報の1組分を、欠品期間情報の1行分と称する。一方、これらを対応付けた情報の全体を、欠品期間情報全体と称する。
記憶部280は、棚状況撮影装置120が撮影した画像を、撮影時刻と対応付けて時系列に記憶する。
記憶部280は、行動分析装置200が備える記憶デバイスを用いて実現される。行動分析装置200が備える記憶デバイスは、行動分析装置200が内蔵する記憶デバイスであってもよいし、行動分析装置200に外付けされた記憶デバイスであってもよい。
制御部290は、行動分析装置200の各部を制御して各種機能を実行する。制御部290は、例えば行動分析装置200が備えるCPU(Central Processing Unit、中央処理装置)が、記憶部280からプログラムを読み出して実行することで実現される。
接近情報取得部291は、接近情報を取得する。ここでいう接近情報は、棚910への人物の接近の有無及び接近があった場合の棚910における位置を時刻毎に示す情報である。
具体的には、棚前行動計測用センサ110が物体(特に、顧客の手)を検出すると、接近情報取得部291は、センシングデータを棚910の前面における座標値に変換する。
例えば、棚910の水平方向について、棚前行動計測用センサ110毎に、当該棚前行動計測用センサ110が物体を検出する位置を示す情報を、記憶部280が予め記憶しておく。接近情報取得部291は、物体を検出した棚前行動計測用センサ110に応じて、当該棚前行動計測用センサ110が物体を検出する位置の情報を記憶部280から読み出す。
また、接近情報取得部291は、棚前行動計測用センサ110が検出した物体と棚前行動計測用センサ110自らとの距離をセンシングデータから読み取る。接近情報取得部291は読み取った距離を棚910の鉛直方向の位置に換算する。
接近情報取得部291は、センシング時刻を示す時刻情報としてセンシングデータの受信時刻情報を当該座標値と対応付けることで、接近情報を生成する。この接近情報の存在は、棚前行動計測用センサ110が物体を検出したことを示す。
棚前行動計測用センサ110が物体を検出した場合、を顧客の体の少なくとも一部(特に顧客の手)が棚910に接近したものとみなす。この点で、接近情報は、当該情報の有無にて棚910への顧客の体の少なくとも一部の接近の有無を示す。接近情報は、顧客の体の少なくとも一部の接近の有無及び接近があった場合の棚910における位置を座標値にて示す。座標が示す位置は、顧客の体の少なくとも一部が接近した棚910における位置である。
対応付け部292は、接近情報取得部291が生成した接近情報を、当該接近情報が示す位置に応じていずれかの商品920と対応付ける。例えば、記憶部280が、接近情報取得部291がセンシングデータから検出する位置情報を、商品920のいずれかに対応付ける情報を予め記憶しておく。さらに、記憶部280は、棚910に置かれた商品920毎に、当該商品920の棚910における位置を棚910の水平方向及び鉛直方向の二次元座標値にて予め記憶しておく。対応付け部292は、接近情報取得部291が生成した接近情報が示す座標値に対応付けられている商品920を記憶部280から読み出すことで、接近情報を商品920に対応付ける。
対応付け部292は、対応付けた商品920を識別する商品識別情報とセンシング時刻を示す時刻情報とを対応付けた情報を生成して記憶部280に記憶させる。上記のように、対応付け部292が生成する、商品識別情報とセンシング時刻を示す時刻情報とを対応付けた情報を対応付け後情報と称する。対応付け後情報は、接近情報に対応付けられた商品を示す情報の例に該当する。
検出部293は、棚910に陳列されている商品の位置および欠品を欠品情報として検出する。具体的には、検出部293は、顧客が棚前に立ち寄る前に棚状況撮影装置120が撮影した画像と、顧客が棚前から立ち去った後に棚状況撮影装置120が撮影した画像との差分画像を算出する。差分画像にて、商品が無くなった領域が新たに生じたことを検出した場合、検出部293は、欠品と判定する。
欠品と判定した場合、検出部293は、棚910の画像における欠品を検出した位置を、棚910の位置に換算する。そして、検出部293は、記憶部280が予め記憶している棚910における商品920の配置情報を参照して、該当位置に置かれていた商品を特定する。
あるいは、検出部293が、欠品前の画像を解析することで、欠品した商品を特定するようにしてもよい。例えば、検出部293は、欠品を検出した領域に映っている商品の像を、記憶部280が記憶している各商品の像とパタンマッチングすることで、欠品した商品を特定する。
すなわち、検出部293は、棚910において欠品している商品920の有無を判定し、欠品している商品920を特定し、商品920の欠品と欠品している商品920の位置とを示す欠品情報を生成する。
補正部294は、接近位置に対応する商品が欠品していると判断される場合に、接近位置に隣接した位置に人物の手が接近したものと補正する。
具体的には、補正部294は、棚910に人物が接近した位置を接近情報から読み出す。補正部294は、検出部293が欠品と判定した商品の位置情報を取得する。例えば、検出部293が、欠品を検出した商品の棚910の画像中における位置を検出し、検出した位置を棚910における位置に換算して補正部294に通知するようにしてもよい。あるいは、記憶部280が、棚910における各商品920の配置を予め記憶しておき、検出部293が欠品と判定した商品の位置を、補正部294が記憶部280から読み出すようにしてもよい。
補正部294は、棚910に人物が接近した位置と、棚910における欠品の位置とが一致するか否かを判定する。両者が一致すると判定した場合、補正部294は、棚910に人物が接近した位置を補正する。
顧客は一般的には商品920を手に取るため、あるいは、商品920に触れるために棚910に手を伸ばすと考えられる。そうすると、顧客は通常、商品が欠品している位置には手を伸ばさないと考えられる。これに反して、商品が欠品している位置への手伸ばしを接近情報取得部291が検出した場合、その原因として、棚前行動計測用センサ110の測定精度により、顧客が欠品している商品の隣の商品に手を伸ばしたのを欠品している商品の位置への手伸ばしとして検出したことが考えられる。そこで、補正部294は、欠品している商品の位置への手伸ばしを、欠品している商品の隣の商品の位置への手伸ばしに補正する。これにより、行動分析装置200は、顧客が手を伸ばした商品920をより高精度に検出できる。
分類部295は、検出部293が検出した欠品の状況毎に接近情報を分類する。具体的には、検出部293がいずれかの商品920の欠品を検出した場合、分類部295は、接近情報をその時刻(センシング時刻)に応じて、当該商品920欠品中と、当該商品920ありのとき(欠品前、及び、補充後)とに分類する。
分析部296は、接近情報および欠品情報に基づいて、人物の行動分析を行う。具体的には、分析部296は、分類部295が分類した接近情報を用いて顧客の行動に関する指標値を算出する。
さらに、分析部296は、少なくとも特定の商品が欠品していないことを検出部293が検出したときの接近情報に基づいて、当該商品に対する顧客の行動に関する指標値を算出する。これにより、分析部296は、該当商品が欠品している場合に、顧客がその商品を手に取らなかったという情報をノイズとして無視する。行動分析システム1が、この指標値をユーザに提示することで、該当商品に魅力がなかったというふうにユーザが誤認識する可能性を低減させることができる。
分析部296は、少なくともいずれかの商品が欠品していることを検出部293が検出したときの接近情報に基づいて、顧客の行動に関する指標値を算出する。
行動分析システム1が、この指標値をユーザに提示することで、ユーザは、他の商品が欠品しているから顧客が仕方なくその商品を手に取ったといった状況を推測することができる。
また、行動分析システム1が、この指標値をユーザに提示することで、ユーザは、人気商品が無くなった場合の顧客の棚前行動の情報を得ることができる。例えば、ユーザは、顧客が棚前で立ち止まらずに帰ってしまうといった行動を把握することができる。
図7〜図9を参照して、行動分析システム1の動作について説明する。
図7は、行動分析装置200が対応付け後情報を生成する処理手順の例を示すフローチャートである。行動分析装置200は、行動分析装置200自らの電源を接続(ON)されて動作状態になると、同図の処理を開始する。
図7の処理で、接近情報取得部291は、棚前への顧客の立ち寄りを検出したか否かを判定する(ステップS101)。具体的には、接近情報取得部291は、棚状況撮影装置120が撮影した画像に、棚前に今までいなかった顧客がいることを検出した場合に、棚前への顧客の立ち寄りを検出したと判定する。棚状況撮影装置120が撮影した画像に複数の顧客が映っている場合、接近情報取得部291が複数の顧客のそれぞれについて当該顧客の立ち寄りを検出したか否かを判定するようにしてもよい。
棚前への顧客の立ち寄りを検出していないと判定した場合(ステップS101:NO)、接近情報取得部291はステップS101へ戻る。すなわち、行動分析装置200は、棚前への顧客の立ち寄りを待ち受ける。
ステップS101で棚前への顧客の立ち寄りを検出したと判定した場合(ステップS101:YES)、接近情報取得部291は、当該顧客の立ち寄りに対するグループ番号を決定する(ステップS102)。例えば、グループ番号の初期値を0としておき、棚前への顧客の立ち寄りを検出する毎に、接近情報取得部291がグループ番号に1を加算するようにしてもよい。
接近情報取得部291は、棚前からの顧客の立ち去りを検出したか否かを判定する(ステップS103)。具体的には、接近情報取得部291は、棚状況撮影装置120が撮影した画像で、棚前に今までいた顧客がいなくなっていることを検出した場合に、棚前からの顧客の立ち去りを検出したと判定する。棚状況撮影装置120が撮影した画像に複数の顧客が映っていた場合、接近情報取得部291が複数の顧客のそれぞれについて当該顧客の立ち去りを検出したか否かを判定するようにしてもよい。
棚前からの顧客の立ち寄りを検出したと判定した場合(ステップS103:YES)、接近情報取得部291はステップS101へ戻る。
ステップS103で棚前からの顧客の立ち寄りを検出していないと判定した場合(ステップS103:NO)、接近情報取得部291は、棚前行動計測用センサ110からのセンシングデータを取得したか否かを判定する(ステップS104)。具体的には、接近情報取得部291は、通信部210がセンシングデータを受信したか否かを判定する。
センシングデータを取得していないと判定した場合(ステップS104:NO)、接近情報取得部291はステップS104へ戻る。すなわち、行動分析装置200は、棚前行動計測用センサ110からのセンシングデータを待ち受ける。
ステップS104でセンシングデータを取得したと判定した場合(ステップS104:YES)、接近情報取得部291は、接近情報を生成する(ステップS105)。具体的には、接近情報取得部291は、通信部210が受信したセンシングデータを棚910の前面における二次元座標値に換算し、得られた二次元座標値に基づいて接近情報を生成する。
対応付け部292は、ステップS105で得られた二次元座標値に基づいて対応付け後情報を生成する(ステップS106)。具体的には、対応付け部292は、ステップS102で決定したグループ番号と、センシング時刻と、二次元座標値から得られた商品識別情報とを結合した情報を、図6のデータ構造の例のように1行分の対応付け後情報として生成する。
対応付け部292は、ステップS106で得られた対応付け後情報(1行分の情報)を記憶部280に記憶させる(ステップS107)。
対応付け部292は、ステップS107の後、ステップS103へ戻る。
図8は、行動分析装置200が欠品期間情報を生成する処理手順の例を示すフローチャートである。行動分析装置200は、行動分析装置200自らの電源を接続(ON)されて動作状態になると、同図の処理を開始する。
図8の処理で、検出部293は、棚前からの顧客の立ち去りを検出したか否かを判定する(ステップS201)。具体的には、検出部293は、棚状況撮影装置120が直近に撮影した画像と、棚状況撮影装置120が所定時間前(例えば30秒前)に撮影した画像とを比較する。所定時間前に映っていた顧客が直近の画像に映っていないことを検出した場合、検出部293は、棚前からの顧客の立ち去りを検出したと判定する。
棚前からの顧客の立ち去りを検出していないと判定した場合(ステップS201:NO)、検出部293はステップS201へ戻る。
棚前からの顧客の立ち去りを検出したと判定した場合(ステップS201:YES)、検出部293は、棚前に顧客が立ち寄る前と、棚前から顧客が立ち去った後との差分画像を取得する(ステップS202)。この場合、検出部293は、棚前から顧客が立ち去った後の画像を、ステップS201の直近の画像にて取得している。検出部293は、記憶部280が記憶している棚状況撮影装置120の撮影画像を時系列に遡って(すなわち、現在から過去の順に)参照して、棚前に顧客が立ち寄る前の画像を取得する。検出部293は、棚前に顧客が立ち寄る前の画像と、棚前から顧客が立ち去った後の画像との差分画像を算出する。
検出部293は、ステップS202で得られた差分画像を解析して、いずれかの商品920の欠品開始を検出したか否か判定する(ステップS203)。具体的には、検出部293は、差分画像が示す差分の領域について、過去の画像で映っていた商品が直近の画像で映っていないことを検出した場合、検出部293は、欠品開始を検出したと判定する。
欠品開始を検出したと判定した場合(ステップS203:YES)、検出部293は、欠品開始と判定した商品を示す商品識別情報を取得する(ステップS204)。具体的には、検出部293は、上述したように欠品を検出した位置に基づいて欠品した商品を特定し、該当商品を示す商品識別情報を取得する。あるいは、検出部293は、上述したように、欠品を検出した商品の像に基づいてパタンマッチングにて欠品した商品を特定し、該当商品を示す商品識別情報を取得するようにしてもよい。
検出部293は、欠品開始情報を登録する(ステップS205)。ここでいう欠品開始情報は、欠品期間情報における商品識別情報と欠品開始時刻との組み合わせである。具体的には、検出部293は、欠品期間情報の1行分を新たに生成して、欠品開始を検出した商品の識別情報と欠品開始時刻(例えば、ステップS201で取得した、棚状況撮影装置120の直近の画像の撮影時刻)とを書き込む。ステップS205では、検出部293は、新たに生成した欠品期間情報の1行分における欠品終了時刻を空欄としておく。
検出部293は、ステップS202で得られた差分画像を解析して、いずれかの商品920の欠品終了を検出したか否か判定する(ステップS206)。具体的には、検出部293は、差分画像が示す差分の領域について、過去の画像で映っていなかった商品が直近の画像で映っていることを検出した場合、検出部293は、欠品終了を検出したと判定する。
欠品終了を検出したと判定した場合(ステップS206:YES)、検出部293は、欠品終了と判定した商品を示す商品識別情報を取得する(ステップS207)。具体的には、検出部293は、欠品終了を検出した位置に基づいて欠品終了の商品を特定し、該当商品を示す商品識別情報を取得する。あるいは、検出部293が、欠品終了を検出した商品の像に基づいてパタンマッチングにて欠品終了の商品を特定し、該当商品を示す商品識別情報を取得するようにしてもよい。
検出部293は、欠品終了情報を登録する(ステップS208)。ここでいう欠品終了情報は、欠品期間情報における欠品終了時刻である。具体的には、検出部293は、欠品期間情報で、商品識別情報がステップS207で取得された商品識別情報に該当し、欠品終了時刻が空欄になっている行を検出する。検出部293は、検出した行の欠品終了時刻の欄に、欠品終了時刻(例えば、ステップS201で取得した、棚状況撮影装置120の直近の画像の撮影時刻)を書き込む。
検出部293は、ステップS208の後、ステップS201へ戻る。
検出部293は、ステップS203で欠品開始を検出していないと判定した場合(ステップS203:NO)、ステップS205へ進む。
検出部293は、ステップS206で欠品終了を検出していないと判定した場合(ステップS206:NO)、ステップS201へ戻る。
但し、検出部293が欠品を検出する方法は、図8を参照して説明した方法に限らない。例えば、行動分析システム1が、棚910の前方から棚910に向かって距離を測定する距離センサが棚910の前面全体にわたって配置された距離センサアレイを備えるようにしてもよい。距離センサアレイに含まれる距離センサのいずれかが、棚910の奥まで物がないことを検出した場合、検出部293は、該当位置に置かれていた商品920が欠品したと判定する。
あるいは、陳列数分の商品920が購入されたことをPOS(Point Of Sale)にて計数した場合、検出部293が、当該商品920が欠品したと判定するようにしてもよい。
図9は、行動分析装置200が接近情報を分類して顧客行動指標値を算出する処理手順の例を示すフローチャートである。行動分析装置200は、顧客行動指標値を算出するよう指示するユーザ操作を受けると、同図の処理を行う。
図9の処理にて、分類部295は、接近情報を分類する分類条件を示す情報を取得する(ステップS301)。例えば、分類部295は、顧客行動指標値を算出するよう指示するユーザ操作に含まれる分類条件を読み出す。
分類部295は、顧客行動指標値算出の対象とする期間を示す期間情報を取得する(ステップS302)。例えば、分類部295は、顧客行動指標値を算出するよう指示するユーザ操作に含まれる期間情報を読み出す。期間の指示が無い場合、分類部295が、記憶部280が記憶している全ての接近情報を対象とするようにしてもよい。
制御部290は、ステップS302で得られた期間に該当する接近情報の各々に対して処理を行うループL11を開始する(ステップS303)。以下では、ループL11で処理対象となっている接近情報を対象接近情報と称する。
ループL11の処理で、分類部295は、対象接近情報がステップS301で得られた分類条件に該当するか否かを判定する(ステップS304)。例えば、ある商品が欠品となっている期間を除外することが分類条件となっている場合、分類部295は、記憶部280が記憶している欠品期間情報から該当期間を読み出す。この場合、読み出した期間に該当しないことが条件なので、分類部295は、接近情報が示す時刻が欠品の期間外であると判定した場合に、ステップS304での条件(ステップS301で得られた分類条件)に該当すると判断する。
分類部295が分類条件に該当すると判定した場合(ステップS304:YES)、分析部296が、対象接近情報の集計を行う(ステップS305)。顧客の手伸ばし回数を商品毎に計数するよう指示されている場合、分析部296は、対象接近情報が示す商品への手伸ばし回数を1回加算する。
制御部290は、ループL11の終端処理を行う(ステップS306)。具体的には、制御部290は、ループL11で処理対象となる接近情報の全てに対して処理を完了したか否かを判定する。未処理の接近情報が残っていると判定した場合、制御部290は、ステップS303に戻り、未処理の接近情報に対して引き続きループL11の処理を行う。制御部290は、ループL11で処理対象となる接近情報の全てに対して処理を完了したと判定した場合、ループL11を終了する。
制御部290がステップS306でループL11を終了した場合、分析部296は、接近情報の集計結果を表示部220に表示させる(ステップS307)。制御部290は、ステップS307の後、図9の処理を終了する。
ステップS304で、分類部295が分類条件に該当しないと判定した場合(ステップS304:NO)、制御部290はステップS306へ進む。
以上のように、接近情報取得部291は、商品920が陳列された棚910への人物の接近の有無を示す接近情報を取得する。検出部293は、棚910に陳列されている商品の位置及び欠品を欠品情報として検出する。分析部296は、接近情報および欠品情報に基づいて、人物の行動分析を行う。
これにより、行動分析システム1では、商品の欠品状況を棚前における顧客の行動分析に反映させることができる。行動分析システム1によれば、この点で、より高精度な行動分析を行うことができる。
接近情報は、棚における人物の手が接近した位置を示す接近位置の情報を含む。分析部296は、接近位置に対応する商品の欠品情報に基づいて、人物の行動分析を行う。
これにより、行動分析システム1は、人物が手を伸ばした商品と欠品との関係を分析することができ、この点で、より詳細な分析を行うことができる。
補正部294は、接近位置に対応する商品が欠品していると判断される場合に、接近位置に隣接した位置に人物の手が接近したものと補正する。分析部296は、補正部294による補正に基づいて人物の行動分析を行う。
このように、補正部294が人物の位置(特に、手の位置)を補正することで、行動分析システム1では、より高精度な行動分析を行うことができる。
分析部296は、接近位置に対応する商品が欠品していると判断される場合に、接近情報を無視する。
これにより、行動分析システム1では、分析対象商品が欠品しているときのデータをノイズとして除去することができる。行動分析システム1によればこの点で、より高精度な行動分析を行うことができる。
分析部296は、少なくともいずれかの商品が欠品していることを検出部293が検出したときの接近情報に基づいて、人物の行動分析を行う。
これにより、行動分析システム1では、商品が欠品しているときの顧客の行動を分析することができる。例えば、ユーザは行動分析システム1を用いることで、ある商品が欠品しているときの代替品や、人気商品が欠品している場合に顧客がその棚に近づくか否かを把握することができる。
行動分析システムが、人物の行動分析を行った後に欠品情報を加味した処理を行うようにしてもよい。
図10は、人物の行動分析を行った後に欠品情報を加味した処理を行う場合の行動分析システムの機能構成の例を示す概略ブロック図である。同図に示すように、行動分析システム2は、棚前行動計測用センサ110と、棚状況撮影装置120と、行動分析装置310と、出力装置320とを備える。行動分析装置310は、第一通信部311と、表示部220と、操作入力部230と、第一記憶部312と、第一制御部313とを備える。第一制御部313は、接近情報取得部291と、対応付け部292と、分析部314と、検出部315とを備える。
出力装置320は、第二通信部321と、第二記憶部322と、第二制御部323とを備える。第二制御部323は、出力生成部324を備える。
図10の構成で、棚前行動計測用センサ110と、棚状況撮影装置120と、表示部220と、操作入力部230と、接近情報取得部291と、対応付け部292との機能は、図1の構成の場合と同様であり、図1の場合と同一の符号を付して説明を省略する。
行動分析装置310は、欠品の検出(検出部293の処理)の結果を行動分析に反映させる処理を行わない点で、図1の行動分析装置200と異なる。図10の構成では、出力装置320が欠品の検出結果を行動分析に反映させる処理を行うためである。
行動分析と、欠品の検出とを別々に行うことに伴って、行動分析装置310では、人物の手の位置の補正(補正部294の処理)、及び、接近情報の分類(分類部295の処理)も行わない。それ以外は、行動分析装置310は、図1の行動分析装置200と同様である。
第一通信部311は、他機器と通信を行う。特に、第一通信部311は、棚前行動計測用センサ110と通信を行って、センサデータを受信する。第一通信部311は、棚状況撮影装置120と通信を行って、撮影データを受信する。第一通信部311は、出力装置320と通信を行って、行動分析装置310での行動分析結果を送信する。
第一記憶部312は、図1の記憶部280と同様、各種データを記憶する。
第一制御部313は、図1の制御部290と同様、行動分析装置310の各部を制御して各種処理を実行する。
分析部314は、接近情報に基づいて、人物の行動分析を行う。分析部314は、対応付け部292が生成した対応付け後情報を用いて、例えば、ある商品を手に取った人物が更に手に取った商品を検出するなどの分析を行う。
検出部315は、図1の検出部293と同様、棚に陳列されている商品の位置および欠品を欠品情報として検出する。
出力装置320は、行動分析装置310による分析結果を、商品の欠品状況に基づいて編集する。具体的には、出力装置320は、行動分析装置310による分析結果から、分析対象の商品が欠品していた期間の情報をノイズとして削除する。
第二通信部321は、他機器と通信を行う。特に、第二通信部321は、行動分析装置310と通信を行って、行動分析装置310による行動分析結果、及び、欠品の検出結果を受信する。また、第二通信部321は、出力装置320の出力(出力装置320が編集済みの行動分析結果)を他機器へ送信する。
第二記憶部322は、各種データを記憶する。
第二制御部323は、出力装置320の各部を制御して各種処理を実行する。
出力生成部324は、行動分析装置310による分析結果から、分析対象の商品が欠品していた期間の情報をノイズとして削除する。出力生成部324は、分析結果からノイズを削除して得られる出力情報を生成する。
このように、行動分析システム2では、棚前における人物(顧客)の行動分析結果から、分析対象の商品が欠品していた期間の情報をノイズとして削除する。行動分析システム2によれば、この点で、より高精度な行動分析を行うことができる。
次に、図11及び図12を参照して、本発明の最小構成について説明する。
図11は、本発明に係る行動分析装置の最小構成を示す説明図である。同図に示す行動分析装置10は、接近情報取得部11と、検出部12と、分析部13とを備える。
かかる構成にて、接近情報取得部11は、商品が陳列された棚への人物の接近の有無を示す接近情報を取得する。検出部12は、棚に陳列されている商品の位置および欠品を欠品情報として検出する。分析部13は、前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う。
これにより、行動分析装置10では、商品の欠品状況を棚前における顧客の行動分析に反映させることができる。行動分析装置10によればこの点で、より高精度な行動分析を行うことができる。
図12は、本発明に係る行動分析システムの最小構成を示す説明図である。同図に示す行動分析システム20は、棚前行動計測用センサ21と、接近情報取得部22と、検出部23と、分析部24とを備える。
係る構成にて、棚前行動計測用センサ21は、商品が陳列された棚への人物の接近を検出する。接近情報取得部22は、商品が陳列された棚への人物の接近の有無を示す接近情報を棚前行動計測用センサのセンシングデータに基づいて取得する。検出部23は、棚に陳列されている商品の位置および欠品を欠品情報として検出する。分析部24は、接近情報および欠品情報に基づいて、人物の行動分析を行う。
これにより、行動分析システム20では、商品の欠品状況を棚前における顧客の行動分析に反映させることができる。行動分析システム20によればこの点で、より高精度な行動分析を行うことができる。
制御部290、接近情報取得部11、検出部12、分析部13、接近情報取得部22、検出部23、及び、分析部24の機能の全部または一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本願は、2016年3月23日に、日本に出願された特願2016−059300号に基づき優先権を主張し、その内容をここに援用する。
本発明は、商品の欠品状況を行動分析に反映させることが不可欠な用途に適用できる。
1、2、20 行動分析システム
10、200、310 行動分析装置
11、22、291 接近情報取得部
12、23、293、315 検出部
13、24、296、314 分析部
21、110 棚前行動計測用センサ
120 棚状況撮影装置
210 通信部
220 表示部
230 操作入力部
280 記憶部
290 制御部
292 対応付け部
294 補正部
295 分類部
311 第一通信部
312 第一記憶部
313 第一制御部
320 出力装置
321 第二通信部
322 第二記憶部
323 第二制御部
324 出力生成部

Claims (9)

  1. 複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得部と、
    前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する検出部と、
    前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析部と、
    を備える行動分析装置。
  2. 前記接近情報は、前記棚における前記人物の手が接近した位置を示す接近位置の情報を含み、
    前記分析部は、前記接近位置に対応する前記商品の前記欠品情報に基づいて、前記人物の行動分析を行う
    請求項1に記載の行動分析装置。
  3. 前記接近位置に対応する前記商品が欠品していると判断される場合に、前記接近位置に隣接した位置に前記人物の手が接近したものと前記接近情報を補正する補正部を備え、
    前記分析部は、前記補正部により補正された前記接近情報に基づいて前記人物の行動分析を行う
    請求項2に記載の行動分析装置。
  4. 前記分析部は、前記接近位置に対応する前記商品が欠品していると判断される場合に、前記接近情報を無視する
    請求項2に記載の行動分析装置。
  5. 前記分析部は、少なくともいずれかの商品が欠品していることを前記検出部が検出したときの前記接近情報に基づいて、前記人物の行動分析を行う、請求項1から4のいずれか一項に記載の行動分析装置。
  6. 複数の商品が陳列された棚への人物の接近を検出するセンサと、
    前記複数の商品が陳列された前記棚への人物の接近の有無を示す接近情報を取得する接近情報取得部と、
    前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する検出部と、
    前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析部と、
    を備える行動分析システム。
  7. 行動分析装置と出力装置とを備え、
    前記行動分析装置は、
    複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得部と、
    前記接近情報に基づいて、前記人物の行動分析を行う分析部と、
    前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する検出部と、
    を備え、
    前記出力装置は、
    前記行動分析装置から取得した前記欠品情報と前記行動分析装置の分析結果とに基づいて出力情報を生成する出力生成部を備える
    行動分析システム。
  8. 複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得ステップと、
    前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する欠品検出ステップと、
    前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析ステップと、
    を含む行動分析方法。
  9. コンピュータに、
    複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得ステップと、
    前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する欠品検出ステップと、
    前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析ステップと、
    を実行させるためのプログラム。
JP2018507198A 2016-03-23 2017-03-08 行動分析装置、行動分析システム、行動分析方法及びプログラム Active JP6665927B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016059300 2016-03-23
JP2016059300 2016-03-23
PCT/JP2017/009246 WO2017163879A1 (ja) 2016-03-23 2017-03-08 行動分析装置、行動分析システム、行動分析方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017163879A1 true JPWO2017163879A1 (ja) 2018-12-20
JP6665927B2 JP6665927B2 (ja) 2020-03-13

Family

ID=59900155

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018507198A Active JP6665927B2 (ja) 2016-03-23 2017-03-08 行動分析装置、行動分析システム、行動分析方法及びプログラム

Country Status (3)

Country Link
US (1) US11461733B2 (ja)
JP (1) JP6665927B2 (ja)
WO (1) WO2017163879A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10831431B2 (en) 2017-04-18 2020-11-10 Anthony, Inc. Shelving display
US11087273B1 (en) * 2017-12-14 2021-08-10 Amazon Technologies, Inc. Item recognition system using reference images
JP7250443B2 (ja) * 2018-06-19 2023-04-03 東芝テック株式会社 画像処理装置
JP2022508808A (ja) * 2018-10-20 2022-01-19 ザ・ノーダム・グループ・エルエルシー ニューラル自動販売機
JP6847137B2 (ja) * 2019-01-18 2021-03-24 株式会社パン・パシフィック・インターナショナルホールディングス 情報処理装置、棚管理システム、情報処理方法、及びプログラム
CN112136148A (zh) * 2019-04-09 2020-12-25 乐天株式会社 结算处理系统,结算处理装置以及结算处理方法
CN110245580B (zh) * 2019-05-24 2022-09-23 北京百度网讯科技有限公司 一种检测图像的方法、装置、设备和计算机存储介质
US11896144B1 (en) * 2020-12-03 2024-02-13 Amazon Technologies, Inc. Determining inventory levels using rotatable counting devices and visual imagery

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020178085A1 (en) * 2001-05-15 2002-11-28 Herb Sorensen Purchase selection behavior analysis system and method
JP2004348681A (ja) * 2003-05-26 2004-12-09 Nec System Technologies Ltd 顧客購買行動分析システム
JP2006309280A (ja) * 2005-04-26 2006-11-09 Hitachi Software Eng Co Ltd 非接触icタグを利用した店舗内顧客購買行動分析システム
JP2009126660A (ja) * 2007-11-27 2009-06-11 Toshiba Tec Corp 物品管理システム及び情報処理装置
JP2011253344A (ja) * 2010-06-02 2011-12-15 Midee Co Ltd 購買行動分析装置、購買行動分析方法、およびプログラム
JP2015041194A (ja) * 2013-08-21 2015-03-02 株式会社Nttドコモ ユーザ観察システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007041597A2 (en) * 2005-10-03 2007-04-12 Teletech Holdings, Inc. Virtual retail assistant
US20150066566A1 (en) * 2013-08-30 2015-03-05 International Business Machines Corporation Balancing supply and demand using demand-shaping actions
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
US20150206188A1 (en) * 2014-01-17 2015-07-23 Panasonic Intellectual Property Corporation Of America Item presentation method, and information display method
US9796093B2 (en) * 2014-10-24 2017-10-24 Fellow, Inc. Customer service robot and related systems and methods
JP2022508808A (ja) * 2018-10-20 2022-01-19 ザ・ノーダム・グループ・エルエルシー ニューラル自動販売機
US20220051179A1 (en) * 2020-08-12 2022-02-17 Carnegie Mellon University System and method for identifying products in a shelf management system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020178085A1 (en) * 2001-05-15 2002-11-28 Herb Sorensen Purchase selection behavior analysis system and method
JP2004348681A (ja) * 2003-05-26 2004-12-09 Nec System Technologies Ltd 顧客購買行動分析システム
JP2006309280A (ja) * 2005-04-26 2006-11-09 Hitachi Software Eng Co Ltd 非接触icタグを利用した店舗内顧客購買行動分析システム
JP2009126660A (ja) * 2007-11-27 2009-06-11 Toshiba Tec Corp 物品管理システム及び情報処理装置
JP2011253344A (ja) * 2010-06-02 2011-12-15 Midee Co Ltd 購買行動分析装置、購買行動分析方法、およびプログラム
JP2015041194A (ja) * 2013-08-21 2015-03-02 株式会社Nttドコモ ユーザ観察システム

Also Published As

Publication number Publication date
JP6665927B2 (ja) 2020-03-13
US20190050792A1 (en) 2019-02-14
US11461733B2 (en) 2022-10-04
WO2017163879A1 (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
WO2017163879A1 (ja) 行動分析装置、行動分析システム、行動分析方法及びプログラム
US20230301447A1 (en) Image display device, image display system, image display method, and program
JP7294504B2 (ja) 物体種類特定装置、物体種類特定方法及び物体種類特定プログラム
US9913578B2 (en) Eye gaze detecting device and eye gaze detection method
JP6194777B2 (ja) 動作判定方法、動作判定装置および動作判定プログラム
JP7251569B2 (ja) 店舗装置、店舗管理方法、プログラム
TWI793719B (zh) 店鋪裝置、店鋪系統、店鋪管理方法及程式
CN110889317A (zh) 操作辅助装置
JP7081310B2 (ja) 行動分析装置、行動分析システム、行動分析方法、プログラムおよび記録媒体
US20220122125A1 (en) Information processing device, information processing system, display control method, and recording medium
US20170278112A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
US20230094892A1 (en) Computer-readable recording medium, estimation method, and estimation device
KR20210155492A (ko) 3d 카메라를 이용한 한우 체중 측정 방법 및 장치
CN114080643A (zh) 用于执行基于图像的食物量估计的装置和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200203

R150 Certificate of patent or registration of utility model

Ref document number: 6665927

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150