JP6662141B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP6662141B2
JP6662141B2 JP2016061558A JP2016061558A JP6662141B2 JP 6662141 B2 JP6662141 B2 JP 6662141B2 JP 2016061558 A JP2016061558 A JP 2016061558A JP 2016061558 A JP2016061558 A JP 2016061558A JP 6662141 B2 JP6662141 B2 JP 6662141B2
Authority
JP
Japan
Prior art keywords
customer
product
time
gondola
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016061558A
Other languages
English (en)
Other versions
JP2017174271A (ja
Inventor
大輔 池田
大輔 池田
昌嗣 外池
昌嗣 外池
新宮 淳
淳 新宮
祐介 宇野
祐介 宇野
佑介 山浦
佑介 山浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2016061558A priority Critical patent/JP6662141B2/ja
Priority to US15/217,654 priority patent/US20170278112A1/en
Publication of JP2017174271A publication Critical patent/JP2017174271A/ja
Application granted granted Critical
Publication of JP6662141B2 publication Critical patent/JP6662141B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、情報処理装置及びプログラムに関する。
店舗を運営する企業等においては、店舗内における人の行動を解析して、商品の陳列棚の配置や、各陳列棚に陳列する商品を決定することが行われている。特許文献1には、ビデオカメラによって撮像された映像から、店内における人の動きの軌跡や、人の属性情報(例えば年齢、性別、子連れ)を検出し、店内における各ゾーンでの売上金額と照らし合わせることで、店内のレイアウトを評価する技術が記載されている。
特開平8−242987号公報
本発明の目的は、店舗に置かれた商品陳列部と、商品陳列部に陳列されている商品とを関連付けたデータを、人手を介さなくとも生成できるようにすることである。
本発明の請求項1に係る情報処理装置は、商品が陳列される商品陳列部が置かれた店舗において、客毎に、少なくとも前記商品陳列部の位置で当該客がした動作を検出する検出部と、前記動作が検出された客の位置と、当該動作が検出された時刻である第1時刻とを取得する第1取得部と、客毎に、前記店舗で購入された商品と、当該商品が購入された時刻である第2時刻とを取得する第2取得部と、検出された前記動作が決められた動作である場合、当該動作が検出された客の位置にある前記商品陳列部と、前記第1時刻と決められた関係を有する前記第2時刻に購入された前記商品とを関連付けたデータを生成する生成部とを備える。
本発明の請求項2に係る情報処理装置は、請求項1に係る構成において、前記検出部は、前記店舗の会計所で客がした動作を更に検出し、前記第1取得部は、前記会計所で前記動作が検出された時刻である第3時刻を更に取得し、前記生成部は、前記第3時刻と前記第2時刻との関係に基づいて、一の客が前記決められた動作をした位置にある前記商品陳列部と、当該一の客により購入された前記商品とを関連付けることを特徴とする。
本発明の請求項3に係る情報処理装置は、請求項1又は請求項2に係る構成において、前記生成部は、2以上の客について前記決められた動作が検出された位置にある前記商品陳列部と、当該2以上の客により共通して購入された前記商品とを関連付けることを特徴とする。
本発明の請求項4に係る情報処理装置は、請求項1から請求項3のいずれか1項に係る構成において、前記決められた動作は、客が前記商品陳列部に陳列された商品を手に取る動作、又は当該手に取った商品を持って移動する動作を含むことを特徴とする。
本発明の請求項5に係る情報処理装置は、請求項1から請求項4のいずれか1項に係る構成において、前記決められた動作は、客の顔の向き、及び前記商品陳列部の位置に滞在した時間によって特定される動作を含むことを特徴とする。
本発明の請求項6に係る情報処理装置は、請求項1から請求項5のいずれか1項に係る構成において、前記決められた動作は、客が前記商品陳列部に視線を向けた時間によって特定される動作を含むことを特徴とする。
本発明の請求項7に係る情報処理装置は、請求項1から請求項3のいずれか1項に係る構成において、前記決められた動作は、客と前記商品陳列部との距離によって特定される動作を含むことを特徴とする。
本発明の請求項8に係るプログラムは、コンピュータに、商品が陳列される商品陳列部が置かれた店舗において、客毎に、少なくとも前記商品陳列部の位置で当該客がした動作を検出するステップと、前記動作が検出された客の位置と、当該動作が検出された時刻である第1時刻とを取得するステップと、客毎に、前記店舗で購入された商品と、当該商品が購入された時刻である第2時刻とを取得するステップと、検出された前記動作が決められた動作である場合、当該動作が検出された客の位置にある前記商品陳列部と、前記第1時刻と決められた関係を有する前記第2時刻に購入された前記商品とを関連付けたデータを生成するステップとを実行させるためのプログラムである。
請求項1,8に係る発明によれば、店舗に置かれた商品陳列部と、商品陳列部に陳列されている商品とを関連付けたデータを、人手を介さなくとも生成できる。
請求項2に係る発明によれば、店舗の会計所に客が居た時刻と、商品が購入された時刻との関係に基づいて、商品陳列部と、商品陳列部に陳列されている商品とを関連付けることができる。
請求項3に係る発明によれば、一の客の動作に基づいて商品陳列部と商品陳列部に配置された商品とを関連付けることができない場合でも、商品陳列部と、商品陳列部に陳列されている商品とを関連付けることができる。
請求項4に係る発明によれば、客が商品を購入するときに実際にする動作に基づいて、商品陳列部と、商品陳列部に陳列されている商品とを関連付けることができる。
請求項5に係る発明によれば、客が商品を購入するときに自然にする動作に基づいて、商品陳列部と、商品陳列部に陳列されている商品とを関連付けることができる。
請求項6に係る発明によれば、客が商品を購入するときに自然にする動作に基づいて、商品陳列部と、商品陳列部に陳列されている商品とを関連付けることができる。
請求項7に係る発明によれば、客と商品陳列部との距離に基づかない場合に比べて、商品陳列部と、商品陳列部に陳列されている商品とをより正確に関連付けることができる。
本発明の第1実施形態に係る情報処理システムの概要の説明図。 同実施形態に係る情報処理装置の構成を示すブロック図。 同実施形態に係る検出データ記憶部に記憶されるデータの構成を示す図。 同実施形態に係る行動データ記憶部に記憶されるデータの構成を示す図。 同実施形態に係る購入データ記憶部に記憶されるデータの構成を示す図。 同実施形態に係る陳列部データ記憶部に記憶されるデータの構成を示す図。 同実施形態に係る商品陳列データ記憶部に記憶されるデータの構成を示す図。 同実施形態に係る情報処理装置が実行する処理を示すフローチャート。 同実施形態に係るステップS9の処理の具体例を示す図。 同実施形態に係る情報処理装置で生成される商品陳列データの構成を示す図。 店舗における客の行動の一例を示す図。 本発明の第2実施形態に係るステップS9の処理の具体例を示す図。
図1は、本発明の第1実施形態に係る情報処理システム1の概要を説明する図である。図1は、コンビニエンスストアやスーパーマーケット、デパート等で例示される店舗500の屋内を、平面的に見た図である。店舗500には、商品が陳列される商品陳列部の一例であるゴンドラ510が置かれている。ゴンドラ510は、商品が陳列される棚である。ここでは、ゴンドラ510として、計8つのゴンドラ510A〜510Hが置かれている。店舗500の出入口520から店内に入った客(例えば客H1,H2)は、ゴンドラ510に陳列された商品の中から、自身が購入したい商品を手に取る。
なお、ゴンドラ510の数は、7個以下又は9個以上であってもよいし、その形状や寸法、位置は特に問わない。
店舗500における会計所には、店員ASによって操作される店舗端末300が配置されている。店舗端末300は、ここではPOS(Point Of Sale)レジスタと呼ばれるコンピュータ装置である。店舗500の客は、手に取った商品を会計所に持って行き、会計を行う。店舗端末300は、店舗500で販売されている商品が客によって購入される際に、会計のための処理、商品の購入実績を記載したレシート(領収書)の発行、購入実績の情報を含むデータ(以下「購入データ」)の生成等を行う。
店舗500には、店内を上方から撮像する撮像装置100が設置されている。撮像装置100は、ここでは、店舗500の店内の全体を撮像するものとする。必要に応じて、撮像装置100は複数台設置されてもよい。ゴンドラ510A〜510Hの各々には、客の動線の方向を撮像する撮像装置200が設けられている。撮像装置100,200は、動画像を撮像するカメラである。
情報処理システム1は、複数のゴンドラ510(510A〜510H)の各々と、各ゴンドラ510に陳列された商品とを関連付けたデータである商品陳列データを、人手を介さないで生成するためのシステムである。情報処理システム1の情報処理装置2は、撮像装置100,200の撮像画像に基づいて、商品陳列データを生成する処理を行う。
図2は、本実施形態の情報処理装置2の構成を示すブロック図である。情報処理装置2は、制御部10と、インタフェース20と、操作部30と、表示部40と、通信部50と、検出データ記憶部61と、行動データ記憶部62と、購入データ記憶部63と、陳列部データ記憶部64と、商品陳列データ記憶部65とを備える。
制御部10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)を有するプロセッサや、ASIC(Application Specific Integrated Circuit)で例示される画像処理回路を備える。CPUは、ROMに記憶されたプログラムをRAMに読み出して実行することにより、情報処理装置2の各部を制御する。画像処理回路は、CPUによって制御され、制御部10で実行される各種の画像処理に用いられる。
インタフェース20は、撮像装置100,200の各々と接続するインタフェースである。撮像装置100,200は、撮像し、撮像により得た撮像画像を、インタフェース20に出力する。操作部30は、例えばタッチセンサ又は物理キーを備え、ユーザにより行われた操作を受け付ける。表示部40は、例えば液晶ディスプレイを備え、表示面に画像を表示する。通信部50は、例えばモデムを備え、インターネット等の通信回線に接続して通信を行う。
検出データ記憶部61と、行動データ記憶部62と、購入データ記憶部63と、陳列部データ記憶部64と、商品陳列データ記憶部65とは、1又は複数の記憶装置(例えばハードディスク装置)によって構成される。
図3Aは、検出データ記憶部61に記憶されるデータの構成を示す図である。図3Aに示すように、検出データ記憶部61は、レコード毎に、検出時刻と、客IDと、客位置と、動作とを対応付けた検出データを記憶する。検出時刻は、本実施形態では、時、分、秒の情報ほか、年月日の情報を含む。客IDは、店舗500の客を一意に識別する識別情報である。図1に示す客H1には、客ID「U001」が、客H2には、客ID「U002」が割り当てられているものとする。客位置は、客IDが示す客の位置を示すデータである。客位置は、ここでは、(Ai、Bi)(ただし、iは自然数)の形式で表される。ここでは、客位置は、撮像画像の座標系で表される。動作は、客IDが示す客がした動作を示すデータである。図3Aには、客がその場に停止したことを示す「停止」、ゴンドラ510から商品を手に取ったことを示す「商品を掴む」、及びゴンドラ510の商品を手に取っていないが、ゴンドラ510を注視したことを示す「ゴンドラを注視」が示されている。検出時刻は、本発明の第1時刻又は第3時刻の一例で、客の動作が検出された時刻である。
図3Bは、行動データ記憶部62に記憶されるデータの構成を示す図である。図3Bに示すように、行動データ記憶部62は、レコード毎に、検出時刻と、客IDと、客位置と、動作とを対応付けた行動データを記憶する。検出時刻、客ID、及び動作は、検出データ記憶部61に記憶された同名のデータと同じである。客位置は、検出データ記憶部61に記憶された客位置の座標系を変換したものである。行動データ記憶部62の客位置は、ここでは、(Xi、Yi)(iは自然数)の形式で表される。この客位置は、図1に示すXY座標系で表される。XY座標系は、店舗500における水平面上の位置を表す直交座標系である。このように、検出データ記憶部61には、客毎に、各検出時刻における客の位置、及びその客がした動作の情報が記録される。
図3Cは、購入データ記憶部63に記憶されるデータの構成を示す図である。図3Cに示すように、購入データ記憶部63は、レコード毎に、購入時刻と、レシートIDと、商品と、カテゴリとを対応付けた購入データを記憶する。購入時刻は、本実施形態では、時、分、秒の情報ほか、年月日の情報も含む。レシートIDは、店舗端末300により発行されたレシートを一意に識別する識別情報である。商品は、購入された商品である。カテゴリは、その商品の分類を示す。図3Cに示すように、商品「クリームパン」や「メロンパン」は、「パン類」のカテゴリに属し、商品「スポーツドリンク」は、「飲料類」のカテゴリに属する。レシートIDが共通する1又は複数の購入データは、1の客による商品の購入実績を示す。購入データ記憶部63には、客毎に、客による商品の購入実績に関する情報が記録される。購入時刻は、本発明の第2時刻の一例で、客により商品が購入された時刻である。
図3Dは、陳列部データ記憶部64に記憶されるデータの構成を示す図である。図3Dに示すように、陳列部データ記憶部64は、レコード毎に、ゴンドラIDと、ゴンドラ位置と、横幅と、縦幅とを対応付けた陳列部データを記憶する。
ゴンドラIDは、ゴンドラ510を一意に識別する識別情報である。ゴンドラ510A〜510Hの各々のゴンドラIDを、順に「G001」〜「G008」と表す。ゴンドラ位置は、XY座標系を用いて表され、ここでは店舗500を平面的に見た場合のゴンドラ510の左上隅点の位置を示す。例えば、ゴンドラ510Aの位置(XA,YA)は、図1の点Pの位置を示す。横幅、及び縦幅は、ゴンドラ510の横幅、及び縦幅である。ここでは、ゴンドラ510のY軸方向における長さを横幅、X軸方向における長さを縦幅とする。ゴンドラ510A〜510Hの各々においては、全てが、横幅「L1」で、縦幅「L2」であるものとする。このように、陳列部データ記憶部64には、ゴンドラ510毎に、ゴンドラ510の位置及び大きさを特定する情報が記録される。
なお、陳列部データ記憶部64の陳列部データは、例えば操作部30の操作により、事前に情報処理装置2に入力される。
図3Eは、商品陳列データ記憶部65に記憶されるデータの構成を示す図である。図3Eに示すように、商品陳列データ記憶部65は、レコード毎に、ゴンドラIDと、カテゴリと、横幅と、縦幅とを対応付けた陳列部データを記憶する。ゴンドラID、横幅、及び縦幅は、陳列部データは、陳列部データ記憶部64に記憶された同名のデータと同じである。カテゴリは、ゴンドラIDが示すゴンドラ510に陳列された商品が属するカテゴリを示す。図3Eでは、商品陳列データ記憶部65の各欄がブランクとなっている。商品陳列データが生成されると、その商品陳列データが商品陳列データ記憶部65に記録される。
図2に戻り、制御部10は、検出部11と、座標変換部12と、第1取得部13と、第2取得部14と、生成部15と、出力部16とに相当する機能を実現する。
検出部11は、店舗500の客毎に、当該客がした動作を検出する。検出部11は、撮像装置100,200からインタフェース20を介して取得した撮像画像を解析して、客がした動作を検出する。検出部11は、検出した動作に基づいて、検出データ記憶部61に検出データを記録する。例えば、検出部11は、客が同じ位置に決められた時間停止した場合は、動作として「停止」を検出する。
更に、検出部11は、客が商品の購入時にする動作(以下「購入時動作」という。)として、ゴンドラ510の商品を手に取った動作、商品を持って移動した動作、及びゴンドラ510の商品を注視する動作を検出する。ゴンドラ510の商品を注視する動作については、客の顔の向き、及びゴンドラ510の位置に滞在した時間、又は客が同じゴンドラ510に視線を向けた時間の累積時間に基づいて、検出される。客の顔がゴンドラ510を向き、且つ決められた時間以上同じ位置に客が滞在した場合、そのゴンドラ510の商品を客が注視しているとみなす。また、同じゴンドラ510に対して客の視線が向けられた状態が、決められた時間以上継続した場合も、そのゴンドラ510の商品を客が注視しているとみなす。また、ゴンドラ510の商品を手に取った動作、商品を持って移動した動作、及びゴンドラ510の商品を注視する動作の検出において、客とそのゴンドラ510との距離が決められた距離以下であることを条件としてもよい。これにより、購入時動作の検出の精度は向上する。
更に本実施形態では、検出部11は、客が会計所に移動し、且つその場に停止した動作を、会計に係る購入時動作として検出する。
座標変換部12は、検出データ記憶部61から検出データを取得して、客位置の座標変換を行い、変換後のデータを行動データとして、行動データ記憶部62に記録する。購入時動作のうち、ゴンドラ510の商品を手に取った動作、商品を持って移動した動作、及びゴンドラ510の商品を注視する動作がされた時刻は本発明の第1時刻の一例、会計に係る購入時動作がされた時刻は本発明の第3時刻の一例である。
第1取得部13は、行動データ記憶部62から行動データを取得する。第2取得部14は、購入データ記憶部63から購入データを取得する。
生成部15は、第1取得部13により取得された行動データと、第2取得部14により取得された購入データとに基づいて、ゴンドラ510と、そのゴンドラ510に陳列されている商品とを関連付けた商品陳列データを生成する。生成部15は、購入時動作が検出された客位置にあるゴンドラ510と、その購入時動作の検出時刻と決められた関係を有する購入時刻に購入された商品とを関連付ける。この決められた関係は、例えば、検出時刻が購入時刻よりも前であり、且つ検出時刻と購入時刻とが決められた時間範囲内で一致する関係である。また、決められた関係は、会計に係る購入時動作の検出時刻と、購入時刻とが決められた時間範囲内で一致することを含んでいてもよい。
なお、生成部15は、客位置にあるゴンドラ510を、撮像画像から認識した客位置と、陳列部データ記憶部64に記録された陳列部データとに基づいて特定する。生成部15は、例えば、客位置から最も近いゴンドラ510、更には客の顔又は視線が向けられているゴンドラ510を、客位置にあるゴンドラと特定する。
以下、商品陳列データにおいて、ゴンドラ510と商品のカテゴリとが関連付けられる場合を説明するが、これは、ゴンドラ510と当該カテゴリに属する商品とが関連付けられていることに等しい。
図4は、情報処理装置2が実行する処理を示すフローチャートである。
制御部10は、撮像装置100,200からの撮像画像を、インタフェース20を介して取得する(ステップS1)。次に、制御部10は、ステップS1で取得した撮像画像から客の動作を検出し(ステップS2)、検出データを、検出データ記憶部61に記録する(ステップS3)。制御部10は、撮像画像から認識した客の各々に客IDを付与して追跡することで、客毎に、検出データを記録する。
次に、制御部10は、検出データ記憶部61に記憶された検出データを取得して、客位置の座標変換を行い(ステップS4)、行動データを行動データ記憶部62に記録する(ステップS5)。次に、制御部10は、商品陳列データを生成するかどうかを判定する(ステップS6)。制御部10は、ステップS6で「NO」で判断した場合は、ステップS1の処理に戻る。例えば、制御部10は、行動データ記憶部62に更に行動データが蓄積されてからこの生成を行う場合は、ステップS1に戻る。そして、制御部10は、ステップS1〜S6(ステップS6で「NO」)を繰り返し実行する。
ステップS6で「YES」と判断した場合、制御部10は、行動データ記憶部62から行動データを取得する(ステップS7)。ここでは、図3(B)に示す行動データが取得されたものとする。次に、制御部10は、購入データ記憶部63から購入データを取得する(ステップS8)。ここでは、図3(C)に示す購入データが取得されたものとする。
次に、制御部10は、商品陳列データを生成する(ステップS9)。
図5は、ステップS9の処理の具体例を示す図である。第1に、制御部10は、購入データのレシートIDを、行動データの客IDと関連付ける。店舗500においては、店舗端末300が設置された会計所で会計が行われるので、商品を購入しようとする客は、必ず、その会計所に移動する。会計所の位置は、XY座標系で(Xn,Yn)であるものとする。更に、その客が会計所に居たことが検出される検出時刻と、レシートが発行された時刻、即ち商品の購入時刻とは、決められた時間範囲内で一致する。更にいえば、この検出時刻と購入時刻とは同じ又はかなり近い時刻を示すと考えられる。レシートID「R001」を含む購入データでは、購入時刻が「2016/2/1 13:03:20」である。よって、制御部10は、購入時刻が「2016/2/1 13:03:20」である購入データのレシートID「R001」と、検出時刻が「2016/2/1 13:03:10」である行動データに含まれる客ID「U001」とを関連付ける。また、制御部10は、購入時刻が「2016/2/1 13:04:50」である購入データのレシートID「R002」と、検出時刻が「2016/2/1 13:04:47」である行動データに含まれる客ID「U002」とを関連付ける。
なお、購入時刻と決められた時間範囲内で一致する検出時刻が複数ある場合、制御部10は、購入時刻に最も近い検出時刻に基づいて、レシートIDと客IDとを関連付ければよい。
第2に、制御部10は、客IDと、その客IDが示す客が購入した商品とを関連付ける。図5に示すように、客ID「U001」の客H1は、会計所に居たことが検出された検出時刻よりも前の決められた時間範囲内に、位置データ(X2,Y2)の位置で、商品を掴む動作をしたことが検出されている。この場合、客位置(X2,Y2)にあるゴンドラ510(ここでは、ゴンドラ510Gとする。)から、客H1が商品を手に取ったと考えられる。客H1が、それ以外のゴンドラ510に位置で購入時動作をしていないとすると、客H1は、ゴンドラ510Gから、レシートID「R001」を含む購入データに含まれる商品「クリームパン」、及び「メロンパン」を手に取ったと推定される。よって、制御部10は、ゴンドラID「G007」と、「クリームパン」及び「メロンパン」が属するカテゴリ「パン類」とを関連付ける。
客ID「U002」の客H2は、会計所に居たことが検出された検出時刻よりも前の決められた時間範囲内に、客位置(X4,Y4)で商品を注視する動作をしたことが検出されている。この場合、客位置(X4,Y4)にあるゴンドラ510(ここでは、ゴンドラ510Aとする。)から、客H2が商品を手に取ったと考えられる。客H2が、それ以外のゴンドラ510に位置で購入時動作をしていないとすると、客H2は、ゴンドラ510Aから、レシートID「R002」を含む購入データに含まれる商品「清涼飲料水」を手に取ったと推定される。よって、制御部10は、ゴンドラID「G001」と、「清涼飲料水」が属するカテゴリ「飲料類」とを関連付ける。
図5で説明した、ゴンドラ510と商品との関連付けの方法は、あくまで一例である。例えば、制御部10は、会計に係る購入時動作によらないで、ゴンドラ510と商品とを関連付けてもよい。この場合、制御部10は、一のレシートIDを含む購入データを特定すると、当該レシートIDと、当該購入データの購入時刻よりも前の決められた時間範囲内に含まれる検出時刻に基づいて、レシートIDと客IDとを関連付ける。例えば、制御部10は、購入時刻と最も近い検出時刻に基づいて、レシートIDと客IDとを関連付ける。そして、制御部10は、当該客IDの客が購入時動作をした位置にあるゴンドラ510と、当該レシートIDを含む購入データに含まれる商品のカテゴリとを関連付ける。
以上の方法で商品陳列データを生成すると、制御部10は、生成した商品陳列データを出力する(ステップS10)。ここでは、制御部10は、商品陳列データを、商品陳列データ記憶部65に出力することで、これを記憶させる。ステップS10の処理により、商品陳列データ記憶部65は、図6に示す状態となる。商品陳列データを出力は、通信部50を介した送信による出力、表示部40への表示による出力、又は印刷による出力等であってもよい。
ここでは、ゴンドラ510A,510Gについて商品のカテゴリが関連付けられたが、以上の処理を繰り返していくことで、ゴンドラ510〜A〜510Gの各々と商品のカテゴリとが関連付けられる。
以上説明した第1実施形態の情報処理装置2によれば、店舗500に配置されたゴンドラ510と、ゴンドラ510に配置された商品とを関連付けた商品陳列データが、人手を介さなくとも生成される。
[第2実施形態]
図7に示すように、客H1が、ゴンドラ510Aの位置と、ゴンドラ510Gの位置との2箇所で購入時動作をし、また、客H2が、ゴンドラ510Aの位置と、ゴンドラ510Fの位置との2箇所で、購入時動作をした場合を考える。この場合、制御部10が取得する購入データは、図8の購入データ記憶部63に示すとおりになる。この場合、一の客(一のレシートID)の購入データと、一の客の行動データとを照らし合わせても、ゴンドラ510と、陳列されている商品との関係を一意に特定することは不可能である。レシートID「R001」と、客ID「U001」とを関連付けたとしても、ゴンドラ510A,510Gの一方に「パン類」、他方に「飲料類」が陳列されていることは特定されるが、どちらに「パン類」、どちらに「飲料類」が陳列されているかが不明だからである。同じく、レシートID「R002」と、客ID「U002」とを関連付けたとしても、ゴンドラ510A,510Fの一方に「飲料類」、他方に「菓子類」が陳列されていることは特定されるが、どちらに「飲料類」、どちらに「菓子類」が陳列されているかが不明である。
そこで、制御部10(生成部15)は、購入時動作が検出された2以上の客の位置にあるゴンドラ510と、当該2以上の客により共通して購入された商品とを関連付ける。購入データ記憶部63が図8に示す状態の場合、カテゴリ「飲料類」が対応付けられたレシートIDの数は、「R001」と「R002」との計2つである。一方、行動データ記憶部62において、ゴンドラ510Aの位置(X4,Y4)で購入時動作をした客の客IDの数は、「U001」と「U002」との2つで、ゴンドラ510Gの位置(X2,Y2)で購入時動作をした客の客IDの数、及びゴンドラ510Fの位置(X5,Y5)で購入時動作をした客の客IDの数は、それぞれ1つである。これにより、カテゴリ「飲料類」に属する商品を購入した2人の客は、いずれもが、ゴンドラ510Aの位置で購入時動作をしたことが特定される。よって、カテゴリ「飲料類」に属する商品が、ゴンドラ510Aに陳列されていることが確定する。したがって、制御部10は、ゴンドラID「G001」と、「清涼飲料水」が属するカテゴリ「飲料類」とを関連付ける。この関連付けにより、カテゴリ「パン類」に属する商品がゴンドラ510Gに陳列されていることも確定する。よって、制御部10は、ゴンドラID「G007」と、「パン類」とを関連付ける。また、カテゴリ「菓子類」に属する商品がゴンドラ510Fに陳列されていることも確定する。よって、制御部10は、ゴンドラID「G006」と、「菓子類」とを関連付ける。
一の客が3以上のゴンドラ510の位置で購入時動作をした場合も、制御部10(生成部15)は、購入時動作が検出された3以上の客の位置にあるゴンドラ510と、当該3以上の客により共通して購入された商品とを関連付ければよい。その場合の処理は、図8の説明から容易に類推可能である。
以上説明した第2実施形態の情報処理装置2により、店内における一の行動に基づいて、商品陳列部に配置された商品を特定できない場合でも、店舗500に配置されたゴンドラ510と、ゴンドラ510に配置された商品との関連付けが行われる。
[変形例]
本発明は、上述した実施形態と異なる形態で実施してもよい。また、以下に示す変形例は、各々を組み合わせてもよい。
制御部10は、客がした動作を逐次検出して、検出データ、及び行動データを記録するのではなく、購入時動作が検出されたことを契機に、検出データや行動データを記録してもよい。
制御部10は、ゴンドラ510と商品のカテゴリとを関連付けることに代えて又は組み合わせて、ゴンドラ510と商品(商品名)とを関連付けてもよい。この場合であっても、各ゴンドラ510に陳列されている商品を特定する商品陳列データが生成される。
人の動作の検出は、撮像画像の認識を伴う検出方法に限られない。例えば、客がとったジェスチャを認識する装置(例えば3Dセンサ)が、撮像装置に代えて又は組み合わせて用いられてもよい。
情報処理装置2のハードウェア構成や機能構成は、上述した実施形態で説明した構成に限られない。
上述した実施形態で説明した情報処理システムの構成や動作の一部を省略してもよい。例えば、座標変換に係る構成や動作が省略されてもよい。
上述した実施形態の情報処理装置2の制御部10が実現する各機能は、1又は複数のハードウェア回路により実現されてもよいし、1又は複数のプログラムを演算装置が実行することにより実現されてよいし、これらの組み合わせにより実現されてもよい。また、制御部10の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体(磁気テープ、磁気ディスク(HDD(Hard Disk Drive)、FD(Flexible Disk))等)、光記録媒体(光ディスク等)、光磁気記録媒体、半導体メモリ等のコンピュータ読取可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、コンピュータが行う情報処理方法として把握し得る。
1…情報処理システム、2…情報処理装置、10…制御部、11…検出部、12…座標変換部、13…第1取得部、14…第2取得部、15…生成部、16…出力部、20…インタフェース、30…操作部、40…表示部、50…通信部、61…検出データ記憶部、62…行動データ記憶部、63…購入データ記憶部、64…陳列部データ記憶部、65…商品陳列データ記憶部、100,200…撮像装置、300…店舗端末、500…店舗、510,510A〜510H…ゴンドラ。

Claims (8)

  1. 商品が陳列される商品陳列部が置かれた店舗において、客毎に、少なくとも前記商品陳列部の位置で当該客がした動作を検出する検出部と、
    前記動作が検出された客の位置と、当該動作が検出された時刻である第1時刻とを取得する第1取得部と、
    客毎に、前記店舗で購入された商品と、当該商品が購入された時刻である第2時刻とを取得する第2取得部と、
    検出された前記動作が決められた動作である場合、当該動作が検出された客の位置にある前記商品陳列部と、前記第1時刻と決められた関係を有する前記第2時刻に購入された前記商品とを関連付けたデータを生成する生成部と
    を備える情報処理装置。
  2. 前記検出部は、
    前記店舗の会計所で客がした動作を更に検出し、
    前記第1取得部は、
    前記会計所で前記動作が検出された時刻である第3時刻を更に取得し、
    前記生成部は、
    前記第3時刻と前記第2時刻との関係に基づいて、一の客が前記決められた動作をした位置にある前記商品陳列部と、当該一の客により購入された前記商品とを関連付ける
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記生成部は、
    2以上の客について前記決められた動作が検出された位置にある前記商品陳列部と、当該2以上の客により共通して購入された前記商品とを関連付ける
    ことを特徴とする請求項1又は請求項2に記載の情報処理装置。
  4. 前記決められた動作は、客が前記商品陳列部に陳列された商品を手に取る動作、又は当該手に取った商品を持って移動する動作を含む
    ことを特徴とする請求項1から請求項3のいずれか1項に記載の情報処理装置。
  5. 前記決められた動作は、客の顔の向き、及び前記商品陳列部の位置に滞在した時間によって特定される動作を含む
    ことを特徴とする請求項1から請求項4のいずれか1項に記載の情報処理装置。
  6. 前記決められた動作は、客が前記商品陳列部に視線を向けた時間によって特定される動作を含む
    ことを特徴とする請求項1から請求項5のいずれか1項に記載の情報処理装置。
  7. 前記決められた動作は、客と前記商品陳列部との距離によって特定される動作を含む
    ことを特徴とする請求項1から請求項6のいずれか1項に記載の情報処理装置。
  8. コンピュータに、
    商品が陳列される商品陳列部が置かれた店舗において、客毎に、少なくとも前記商品陳列部の位置で当該客がした動作を検出するステップと、
    前記動作が検出された客の位置と、当該動作が検出された時刻である第1時刻とを取得するステップと、
    客毎に、前記店舗で購入された商品と、当該商品が購入された時刻である第2時刻とを取得するステップと、
    検出された前記動作が決められた動作である場合、当該動作が検出された客の位置にある前記商品陳列部と、前記第1時刻と決められた関係を有する前記第2時刻に購入された前記商品とを関連付けたデータを生成するステップと
    を実行させるためのプログラム。
JP2016061558A 2016-03-25 2016-03-25 情報処理装置及びプログラム Active JP6662141B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016061558A JP6662141B2 (ja) 2016-03-25 2016-03-25 情報処理装置及びプログラム
US15/217,654 US20170278112A1 (en) 2016-03-25 2016-07-22 Information processing apparatus, information processing method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016061558A JP6662141B2 (ja) 2016-03-25 2016-03-25 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2017174271A JP2017174271A (ja) 2017-09-28
JP6662141B2 true JP6662141B2 (ja) 2020-03-11

Family

ID=59898067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016061558A Active JP6662141B2 (ja) 2016-03-25 2016-03-25 情報処理装置及びプログラム

Country Status (2)

Country Link
US (1) US20170278112A1 (ja)
JP (1) JP6662141B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022142075A (ja) * 2021-03-16 2022-09-30 サトーホールディングス株式会社 表示システム、制御装置、及び制御プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175597A (ja) * 1997-12-10 1999-07-02 Hitachi Ltd 商品選択行動情報算出方法及びその実施システム
JP4191718B2 (ja) * 2005-10-24 2008-12-03 株式会社TanaーX 商品陳列棚システム及び購買行動分析プログラム
JP4972491B2 (ja) * 2007-08-20 2012-07-11 株式会社構造計画研究所 顧客動作判定システム
JP2009187482A (ja) * 2008-02-08 2009-08-20 Nippon Sogo System Kk 棚割再現方法、棚割再現プログラム、棚割評価方法、棚割評価プログラム及び記録媒体
JP2010277256A (ja) * 2009-05-27 2010-12-09 Nec Corp 販売促進システム及び販売促進処理方法
JP2013238973A (ja) * 2012-05-14 2013-11-28 Nec Corp 購買情報管理システム、商品移動検出装置および購買情報管理方法
CN105518755A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 安全系统、安全方法和非暂时性计算机可读介质
US20160203499A1 (en) * 2013-09-06 2016-07-14 Nec Corporation Customer behavior analysis system, customer behavior analysis method, non-transitory computer readable medium, and shelf system
JP5967553B2 (ja) * 2014-06-16 2016-08-10 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 店舗内又は店舗間における顧客の購買行動を推定する方法、並びに、そのコンピュータ・システム及びコンピュータ・プログラム
US20160321679A1 (en) * 2015-04-30 2016-11-03 International Business Machines Corporation Device and membership identity matching
TWI587231B (zh) * 2015-10-14 2017-06-11 財團法人工業技術研究院 商品推播方法與系統
JP2017117384A (ja) * 2015-12-25 2017-06-29 東芝テック株式会社 情報処理装置

Also Published As

Publication number Publication date
US20170278112A1 (en) 2017-09-28
JP2017174271A (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
WO2017085771A1 (ja) 精算支援システム、精算支援プログラム、及び精算支援方法
JP5666772B2 (ja) 情報提供装置、情報提供方法及びプログラム
WO2015033577A1 (ja) 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム
JP6707940B2 (ja) 情報処理装置及びプログラム
EP2226758A1 (en) Relationship analysis method, relationship analysis program, and relationship analysis apparatus
JP5238933B2 (ja) 客層付販売情報生成システム
JP2011253344A (ja) 購買行動分析装置、購買行動分析方法、およびプログラム
JP7384516B2 (ja) 情報処理装置、商品推薦方法、プログラム、及びシステム
JP2017033401A (ja) 顧客情報収集装置、顧客情報収集システムおよび顧客情報収集方法
JP6648508B2 (ja) 購買行動分析プログラム、購買行動分析方法、及び購買行動分析装置
JP6145850B2 (ja) 人物行動分析装置、人物行動分析システムおよび人物行動分析方法
JP2012088878A (ja) 顧客優待管理システム
JP2017102846A (ja) 接客対応評価装置及び接客対応評価方法
JP2017117384A (ja) 情報処理装置
TWM560634U (zh) 具影像識別及結合多媒體購物之展示系統
WO2019124176A1 (ja) 販売分析装置、販売管理システム、販売分析方法、及びプログラム記録媒体
JP6565639B2 (ja) 情報表示プログラム、情報表示方法、及び情報表示装置
JP2007087208A (ja) 顧客動向収集システム、顧客動向収集方法および顧客動向収集プログラム
JP5428356B2 (ja) 顧客分析システム、顧客データ収集装置、顧客分析装置、顧客分析方法、及びプログラム
CN107833403A (zh) 商品登记装置及商品登记方法、终端设备
JP6662141B2 (ja) 情報処理装置及びプログラム
JPH11175597A (ja) 商品選択行動情報算出方法及びその実施システム
US20200202553A1 (en) Information processing apparatus
JP2024091181A (ja) 情報処理プログラム、情報処理方法および情報処理装置
JP2017102564A (ja) 表示制御プログラム、表示制御方法、及び表示制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200127

R150 Certificate of patent or registration of utility model

Ref document number: 6662141

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350