JP6662141B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置及びプログラムに関する。

店舗を運営する企業等においては、店舗内における人の行動を解析して、商品の陳列棚の配置や、各陳列棚に陳列する商品を決定することが行われている。特許文献１には、ビデオカメラによって撮像された映像から、店内における人の動きの軌跡や、人の属性情報（例えば年齢、性別、子連れ）を検出し、店内における各ゾーンでの売上金額と照らし合わせることで、店内のレイアウトを評価する技術が記載されている。

特開平８−２４２９８７号公報

本発明の目的は、店舗に置かれた商品陳列部と、商品陳列部に陳列されている商品とを関連付けたデータを、人手を介さなくとも生成できるようにすることである。

本発明の請求項１に係る情報処理装置は、商品が陳列される商品陳列部が置かれた店舗において、客毎に、少なくとも前記商品陳列部の位置で当該客がした動作を検出する検出部と、前記動作が検出された客の位置と、当該動作が検出された時刻である第１時刻とを取得する第１取得部と、客毎に、前記店舗で購入された商品と、当該商品が購入された時刻である第２時刻とを取得する第２取得部と、検出された前記動作が決められた動作である場合、当該動作が検出された客の位置にある前記商品陳列部と、前記第１時刻と決められた関係を有する前記第２時刻に購入された前記商品とを関連付けたデータを生成する生成部とを備える。

本発明の請求項２に係る情報処理装置は、請求項１に係る構成において、前記検出部は、前記店舗の会計所で客がした動作を更に検出し、前記第１取得部は、前記会計所で前記動作が検出された時刻である第３時刻を更に取得し、前記生成部は、前記第３時刻と前記第２時刻との関係に基づいて、一の客が前記決められた動作をした位置にある前記商品陳列部と、当該一の客により購入された前記商品とを関連付けることを特徴とする。

本発明の請求項３に係る情報処理装置は、請求項１又は請求項２に係る構成において、前記生成部は、２以上の客について前記決められた動作が検出された位置にある前記商品陳列部と、当該２以上の客により共通して購入された前記商品とを関連付けることを特徴とする。

本発明の請求項４に係る情報処理装置は、請求項１から請求項３のいずれか１項に係る構成において、前記決められた動作は、客が前記商品陳列部に陳列された商品を手に取る動作、又は当該手に取った商品を持って移動する動作を含むことを特徴とする。

本発明の請求項５に係る情報処理装置は、請求項１から請求項４のいずれか１項に係る構成において、前記決められた動作は、客の顔の向き、及び前記商品陳列部の位置に滞在した時間によって特定される動作を含むことを特徴とする。

本発明の請求項６に係る情報処理装置は、請求項１から請求項５のいずれか１項に係る構成において、前記決められた動作は、客が前記商品陳列部に視線を向けた時間によって特定される動作を含むことを特徴とする。

本発明の請求項７に係る情報処理装置は、請求項１から請求項３のいずれか１項に係る構成において、前記決められた動作は、客と前記商品陳列部との距離によって特定される動作を含むことを特徴とする。

本発明の請求項８に係るプログラムは、コンピュータに、商品が陳列される商品陳列部が置かれた店舗において、客毎に、少なくとも前記商品陳列部の位置で当該客がした動作を検出するステップと、前記動作が検出された客の位置と、当該動作が検出された時刻である第１時刻とを取得するステップと、客毎に、前記店舗で購入された商品と、当該商品が購入された時刻である第２時刻とを取得するステップと、検出された前記動作が決められた動作である場合、当該動作が検出された客の位置にある前記商品陳列部と、前記第１時刻と決められた関係を有する前記第２時刻に購入された前記商品とを関連付けたデータを生成するステップとを実行させるためのプログラムである。

請求項１，８に係る発明によれば、店舗に置かれた商品陳列部と、商品陳列部に陳列されている商品とを関連付けたデータを、人手を介さなくとも生成できる。
請求項２に係る発明によれば、店舗の会計所に客が居た時刻と、商品が購入された時刻との関係に基づいて、商品陳列部と、商品陳列部に陳列されている商品とを関連付けることができる。
請求項３に係る発明によれば、一の客の動作に基づいて商品陳列部と商品陳列部に配置された商品とを関連付けることができない場合でも、商品陳列部と、商品陳列部に陳列されている商品とを関連付けることができる。
請求項４に係る発明によれば、客が商品を購入するときに実際にする動作に基づいて、商品陳列部と、商品陳列部に陳列されている商品とを関連付けることができる。
請求項５に係る発明によれば、客が商品を購入するときに自然にする動作に基づいて、商品陳列部と、商品陳列部に陳列されている商品とを関連付けることができる。
請求項６に係る発明によれば、客が商品を購入するときに自然にする動作に基づいて、商品陳列部と、商品陳列部に陳列されている商品とを関連付けることができる。
請求項７に係る発明によれば、客と商品陳列部との距離に基づかない場合に比べて、商品陳列部と、商品陳列部に陳列されている商品とをより正確に関連付けることができる。

本発明の第１実施形態に係る情報処理システムの概要の説明図。 同実施形態に係る情報処理装置の構成を示すブロック図。 同実施形態に係る検出データ記憶部に記憶されるデータの構成を示す図。 同実施形態に係る行動データ記憶部に記憶されるデータの構成を示す図。 同実施形態に係る購入データ記憶部に記憶されるデータの構成を示す図。 同実施形態に係る陳列部データ記憶部に記憶されるデータの構成を示す図。 同実施形態に係る商品陳列データ記憶部に記憶されるデータの構成を示す図。 同実施形態に係る情報処理装置が実行する処理を示すフローチャート。 同実施形態に係るステップＳ９の処理の具体例を示す図。 同実施形態に係る情報処理装置で生成される商品陳列データの構成を示す図。 店舗における客の行動の一例を示す図。 本発明の第２実施形態に係るステップＳ９の処理の具体例を示す図。

図１は、本発明の第１実施形態に係る情報処理システム１の概要を説明する図である。図１は、コンビニエンスストアやスーパーマーケット、デパート等で例示される店舗５００の屋内を、平面的に見た図である。店舗５００には、商品が陳列される商品陳列部の一例であるゴンドラ５１０が置かれている。ゴンドラ５１０は、商品が陳列される棚である。ここでは、ゴンドラ５１０として、計８つのゴンドラ５１０Ａ〜５１０Ｈが置かれている。店舗５００の出入口５２０から店内に入った客（例えば客Ｈ１，Ｈ２）は、ゴンドラ５１０に陳列された商品の中から、自身が購入したい商品を手に取る。
なお、ゴンドラ５１０の数は、７個以下又は９個以上であってもよいし、その形状や寸法、位置は特に問わない。

店舗５００における会計所には、店員ＡＳによって操作される店舗端末３００が配置されている。店舗端末３００は、ここではＰＯＳ（Point Of Sale）レジスタと呼ばれるコンピュータ装置である。店舗５００の客は、手に取った商品を会計所に持って行き、会計を行う。店舗端末３００は、店舗５００で販売されている商品が客によって購入される際に、会計のための処理、商品の購入実績を記載したレシート（領収書）の発行、購入実績の情報を含むデータ（以下「購入データ」）の生成等を行う。

店舗５００には、店内を上方から撮像する撮像装置１００が設置されている。撮像装置１００は、ここでは、店舗５００の店内の全体を撮像するものとする。必要に応じて、撮像装置１００は複数台設置されてもよい。ゴンドラ５１０Ａ〜５１０Ｈの各々には、客の動線の方向を撮像する撮像装置２００が設けられている。撮像装置１００，２００は、動画像を撮像するカメラである。

情報処理システム１は、複数のゴンドラ５１０（５１０Ａ〜５１０Ｈ）の各々と、各ゴンドラ５１０に陳列された商品とを関連付けたデータである商品陳列データを、人手を介さないで生成するためのシステムである。情報処理システム１の情報処理装置２は、撮像装置１００，２００の撮像画像に基づいて、商品陳列データを生成する処理を行う。

図２は、本実施形態の情報処理装置２の構成を示すブロック図である。情報処理装置２は、制御部１０と、インタフェース２０と、操作部３０と、表示部４０と、通信部５０と、検出データ記憶部６１と、行動データ記憶部６２と、購入データ記憶部６３と、陳列部データ記憶部６４と、商品陳列データ記憶部６５とを備える。
制御部１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）を有するプロセッサや、ＡＳＩＣ（Application Specific Integrated Circuit）で例示される画像処理回路を備える。ＣＰＵは、ＲＯＭに記憶されたプログラムをＲＡＭに読み出して実行することにより、情報処理装置２の各部を制御する。画像処理回路は、ＣＰＵによって制御され、制御部１０で実行される各種の画像処理に用いられる。

インタフェース２０は、撮像装置１００，２００の各々と接続するインタフェースである。撮像装置１００，２００は、撮像し、撮像により得た撮像画像を、インタフェース２０に出力する。操作部３０は、例えばタッチセンサ又は物理キーを備え、ユーザにより行われた操作を受け付ける。表示部４０は、例えば液晶ディスプレイを備え、表示面に画像を表示する。通信部５０は、例えばモデムを備え、インターネット等の通信回線に接続して通信を行う。

検出データ記憶部６１と、行動データ記憶部６２と、購入データ記憶部６３と、陳列部データ記憶部６４と、商品陳列データ記憶部６５とは、１又は複数の記憶装置（例えばハードディスク装置）によって構成される。

図３Ａは、検出データ記憶部６１に記憶されるデータの構成を示す図である。図３Ａに示すように、検出データ記憶部６１は、レコード毎に、検出時刻と、客ＩＤと、客位置と、動作とを対応付けた検出データを記憶する。検出時刻は、本実施形態では、時、分、秒の情報ほか、年月日の情報を含む。客ＩＤは、店舗５００の客を一意に識別する識別情報である。図１に示す客Ｈ１には、客ＩＤ「Ｕ００１」が、客Ｈ２には、客ＩＤ「Ｕ００２」が割り当てられているものとする。客位置は、客ＩＤが示す客の位置を示すデータである。客位置は、ここでは、（Ａｉ、Ｂｉ）（ただし、ｉは自然数）の形式で表される。ここでは、客位置は、撮像画像の座標系で表される。動作は、客ＩＤが示す客がした動作を示すデータである。図３Ａには、客がその場に停止したことを示す「停止」、ゴンドラ５１０から商品を手に取ったことを示す「商品を掴む」、及びゴンドラ５１０の商品を手に取っていないが、ゴンドラ５１０を注視したことを示す「ゴンドラを注視」が示されている。検出時刻は、本発明の第１時刻又は第３時刻の一例で、客の動作が検出された時刻である。

図３Ｂは、行動データ記憶部６２に記憶されるデータの構成を示す図である。図３Ｂに示すように、行動データ記憶部６２は、レコード毎に、検出時刻と、客ＩＤと、客位置と、動作とを対応付けた行動データを記憶する。検出時刻、客ＩＤ、及び動作は、検出データ記憶部６１に記憶された同名のデータと同じである。客位置は、検出データ記憶部６１に記憶された客位置の座標系を変換したものである。行動データ記憶部６２の客位置は、ここでは、（Ｘｉ、Ｙｉ）（ｉは自然数）の形式で表される。この客位置は、図１に示すＸＹ座標系で表される。ＸＹ座標系は、店舗５００における水平面上の位置を表す直交座標系である。このように、検出データ記憶部６１には、客毎に、各検出時刻における客の位置、及びその客がした動作の情報が記録される。

図３Ｃは、購入データ記憶部６３に記憶されるデータの構成を示す図である。図３Ｃに示すように、購入データ記憶部６３は、レコード毎に、購入時刻と、レシートＩＤと、商品と、カテゴリとを対応付けた購入データを記憶する。購入時刻は、本実施形態では、時、分、秒の情報ほか、年月日の情報も含む。レシートＩＤは、店舗端末３００により発行されたレシートを一意に識別する識別情報である。商品は、購入された商品である。カテゴリは、その商品の分類を示す。図３Ｃに示すように、商品「クリームパン」や「メロンパン」は、「パン類」のカテゴリに属し、商品「スポーツドリンク」は、「飲料類」のカテゴリに属する。レシートＩＤが共通する１又は複数の購入データは、１の客による商品の購入実績を示す。購入データ記憶部６３には、客毎に、客による商品の購入実績に関する情報が記録される。購入時刻は、本発明の第２時刻の一例で、客により商品が購入された時刻である。

図３Ｄは、陳列部データ記憶部６４に記憶されるデータの構成を示す図である。図３Ｄに示すように、陳列部データ記憶部６４は、レコード毎に、ゴンドラＩＤと、ゴンドラ位置と、横幅と、縦幅とを対応付けた陳列部データを記憶する。
ゴンドラＩＤは、ゴンドラ５１０を一意に識別する識別情報である。ゴンドラ５１０Ａ〜５１０Ｈの各々のゴンドラＩＤを、順に「Ｇ００１」〜「Ｇ００８」と表す。ゴンドラ位置は、ＸＹ座標系を用いて表され、ここでは店舗５００を平面的に見た場合のゴンドラ５１０の左上隅点の位置を示す。例えば、ゴンドラ５１０Ａの位置（ＸＡ，ＹＡ）は、図１の点Ｐの位置を示す。横幅、及び縦幅は、ゴンドラ５１０の横幅、及び縦幅である。ここでは、ゴンドラ５１０のＹ軸方向における長さを横幅、Ｘ軸方向における長さを縦幅とする。ゴンドラ５１０Ａ〜５１０Ｈの各々においては、全てが、横幅「Ｌ１」で、縦幅「Ｌ２」であるものとする。このように、陳列部データ記憶部６４には、ゴンドラ５１０毎に、ゴンドラ５１０の位置及び大きさを特定する情報が記録される。
なお、陳列部データ記憶部６４の陳列部データは、例えば操作部３０の操作により、事前に情報処理装置２に入力される。

図３Ｅは、商品陳列データ記憶部６５に記憶されるデータの構成を示す図である。図３Ｅに示すように、商品陳列データ記憶部６５は、レコード毎に、ゴンドラＩＤと、カテゴリと、横幅と、縦幅とを対応付けた陳列部データを記憶する。ゴンドラＩＤ、横幅、及び縦幅は、陳列部データは、陳列部データ記憶部６４に記憶された同名のデータと同じである。カテゴリは、ゴンドラＩＤが示すゴンドラ５１０に陳列された商品が属するカテゴリを示す。図３Ｅでは、商品陳列データ記憶部６５の各欄がブランクとなっている。商品陳列データが生成されると、その商品陳列データが商品陳列データ記憶部６５に記録される。

図２に戻り、制御部１０は、検出部１１と、座標変換部１２と、第１取得部１３と、第２取得部１４と、生成部１５と、出力部１６とに相当する機能を実現する。
検出部１１は、店舗５００の客毎に、当該客がした動作を検出する。検出部１１は、撮像装置１００，２００からインタフェース２０を介して取得した撮像画像を解析して、客がした動作を検出する。検出部１１は、検出した動作に基づいて、検出データ記憶部６１に検出データを記録する。例えば、検出部１１は、客が同じ位置に決められた時間停止した場合は、動作として「停止」を検出する。

更に、検出部１１は、客が商品の購入時にする動作（以下「購入時動作」という。）として、ゴンドラ５１０の商品を手に取った動作、商品を持って移動した動作、及びゴンドラ５１０の商品を注視する動作を検出する。ゴンドラ５１０の商品を注視する動作については、客の顔の向き、及びゴンドラ５１０の位置に滞在した時間、又は客が同じゴンドラ５１０に視線を向けた時間の累積時間に基づいて、検出される。客の顔がゴンドラ５１０を向き、且つ決められた時間以上同じ位置に客が滞在した場合、そのゴンドラ５１０の商品を客が注視しているとみなす。また、同じゴンドラ５１０に対して客の視線が向けられた状態が、決められた時間以上継続した場合も、そのゴンドラ５１０の商品を客が注視しているとみなす。また、ゴンドラ５１０の商品を手に取った動作、商品を持って移動した動作、及びゴンドラ５１０の商品を注視する動作の検出において、客とそのゴンドラ５１０との距離が決められた距離以下であることを条件としてもよい。これにより、購入時動作の検出の精度は向上する。

更に本実施形態では、検出部１１は、客が会計所に移動し、且つその場に停止した動作を、会計に係る購入時動作として検出する。

座標変換部１２は、検出データ記憶部６１から検出データを取得して、客位置の座標変換を行い、変換後のデータを行動データとして、行動データ記憶部６２に記録する。購入時動作のうち、ゴンドラ５１０の商品を手に取った動作、商品を持って移動した動作、及びゴンドラ５１０の商品を注視する動作がされた時刻は本発明の第１時刻の一例、会計に係る購入時動作がされた時刻は本発明の第３時刻の一例である。

第１取得部１３は、行動データ記憶部６２から行動データを取得する。第２取得部１４は、購入データ記憶部６３から購入データを取得する。

生成部１５は、第１取得部１３により取得された行動データと、第２取得部１４により取得された購入データとに基づいて、ゴンドラ５１０と、そのゴンドラ５１０に陳列されている商品とを関連付けた商品陳列データを生成する。生成部１５は、購入時動作が検出された客位置にあるゴンドラ５１０と、その購入時動作の検出時刻と決められた関係を有する購入時刻に購入された商品とを関連付ける。この決められた関係は、例えば、検出時刻が購入時刻よりも前であり、且つ検出時刻と購入時刻とが決められた時間範囲内で一致する関係である。また、決められた関係は、会計に係る購入時動作の検出時刻と、購入時刻とが決められた時間範囲内で一致することを含んでいてもよい。

なお、生成部１５は、客位置にあるゴンドラ５１０を、撮像画像から認識した客位置と、陳列部データ記憶部６４に記録された陳列部データとに基づいて特定する。生成部１５は、例えば、客位置から最も近いゴンドラ５１０、更には客の顔又は視線が向けられているゴンドラ５１０を、客位置にあるゴンドラと特定する。
以下、商品陳列データにおいて、ゴンドラ５１０と商品のカテゴリとが関連付けられる場合を説明するが、これは、ゴンドラ５１０と当該カテゴリに属する商品とが関連付けられていることに等しい。

図４は、情報処理装置２が実行する処理を示すフローチャートである。
制御部１０は、撮像装置１００，２００からの撮像画像を、インタフェース２０を介して取得する（ステップＳ１）。次に、制御部１０は、ステップＳ１で取得した撮像画像から客の動作を検出し（ステップＳ２）、検出データを、検出データ記憶部６１に記録する（ステップＳ３）。制御部１０は、撮像画像から認識した客の各々に客ＩＤを付与して追跡することで、客毎に、検出データを記録する。

次に、制御部１０は、検出データ記憶部６１に記憶された検出データを取得して、客位置の座標変換を行い（ステップＳ４）、行動データを行動データ記憶部６２に記録する（ステップＳ５）。次に、制御部１０は、商品陳列データを生成するかどうかを判定する（ステップＳ６）。制御部１０は、ステップＳ６で「ＮＯ」で判断した場合は、ステップＳ１の処理に戻る。例えば、制御部１０は、行動データ記憶部６２に更に行動データが蓄積されてからこの生成を行う場合は、ステップＳ１に戻る。そして、制御部１０は、ステップＳ１〜Ｓ６（ステップＳ６で「ＮＯ」）を繰り返し実行する。

ステップＳ６で「ＹＥＳ」と判断した場合、制御部１０は、行動データ記憶部６２から行動データを取得する（ステップＳ７）。ここでは、図３（Ｂ）に示す行動データが取得されたものとする。次に、制御部１０は、購入データ記憶部６３から購入データを取得する（ステップＳ８）。ここでは、図３（Ｃ）に示す購入データが取得されたものとする。

次に、制御部１０は、商品陳列データを生成する（ステップＳ９）。
図５は、ステップＳ９の処理の具体例を示す図である。第１に、制御部１０は、購入データのレシートＩＤを、行動データの客ＩＤと関連付ける。店舗５００においては、店舗端末３００が設置された会計所で会計が行われるので、商品を購入しようとする客は、必ず、その会計所に移動する。会計所の位置は、ＸＹ座標系で（Ｘｎ，Ｙｎ）であるものとする。更に、その客が会計所に居たことが検出される検出時刻と、レシートが発行された時刻、即ち商品の購入時刻とは、決められた時間範囲内で一致する。更にいえば、この検出時刻と購入時刻とは同じ又はかなり近い時刻を示すと考えられる。レシートＩＤ「Ｒ００１」を含む購入データでは、購入時刻が「２０１６／２／１ １３：０３：２０」である。よって、制御部１０は、購入時刻が「２０１６／２／１ １３：０３：２０」である購入データのレシートＩＤ「Ｒ００１」と、検出時刻が「２０１６／２／１ １３：０３：１０」である行動データに含まれる客ＩＤ「Ｕ００１」とを関連付ける。また、制御部１０は、購入時刻が「２０１６／２／１ １３：０４：５０」である購入データのレシートＩＤ「Ｒ００２」と、検出時刻が「２０１６／２／１ １３：０４：４７」である行動データに含まれる客ＩＤ「Ｕ００２」とを関連付ける。
なお、購入時刻と決められた時間範囲内で一致する検出時刻が複数ある場合、制御部１０は、購入時刻に最も近い検出時刻に基づいて、レシートＩＤと客ＩＤとを関連付ければよい。

第２に、制御部１０は、客ＩＤと、その客ＩＤが示す客が購入した商品とを関連付ける。図５に示すように、客ＩＤ「Ｕ００１」の客Ｈ１は、会計所に居たことが検出された検出時刻よりも前の決められた時間範囲内に、位置データ（Ｘ２，Ｙ２）の位置で、商品を掴む動作をしたことが検出されている。この場合、客位置（Ｘ２，Ｙ２）にあるゴンドラ５１０（ここでは、ゴンドラ５１０Ｇとする。）から、客Ｈ１が商品を手に取ったと考えられる。客Ｈ１が、それ以外のゴンドラ５１０に位置で購入時動作をしていないとすると、客Ｈ１は、ゴンドラ５１０Ｇから、レシートＩＤ「Ｒ００１」を含む購入データに含まれる商品「クリームパン」、及び「メロンパン」を手に取ったと推定される。よって、制御部１０は、ゴンドラＩＤ「Ｇ００７」と、「クリームパン」及び「メロンパン」が属するカテゴリ「パン類」とを関連付ける。

客ＩＤ「Ｕ００２」の客Ｈ２は、会計所に居たことが検出された検出時刻よりも前の決められた時間範囲内に、客位置（Ｘ４，Ｙ４）で商品を注視する動作をしたことが検出されている。この場合、客位置（Ｘ４，Ｙ４）にあるゴンドラ５１０（ここでは、ゴンドラ５１０Ａとする。）から、客Ｈ２が商品を手に取ったと考えられる。客Ｈ２が、それ以外のゴンドラ５１０に位置で購入時動作をしていないとすると、客Ｈ２は、ゴンドラ５１０Ａから、レシートＩＤ「Ｒ００２」を含む購入データに含まれる商品「清涼飲料水」を手に取ったと推定される。よって、制御部１０は、ゴンドラＩＤ「Ｇ００１」と、「清涼飲料水」が属するカテゴリ「飲料類」とを関連付ける。

図５で説明した、ゴンドラ５１０と商品との関連付けの方法は、あくまで一例である。例えば、制御部１０は、会計に係る購入時動作によらないで、ゴンドラ５１０と商品とを関連付けてもよい。この場合、制御部１０は、一のレシートＩＤを含む購入データを特定すると、当該レシートＩＤと、当該購入データの購入時刻よりも前の決められた時間範囲内に含まれる検出時刻に基づいて、レシートＩＤと客ＩＤとを関連付ける。例えば、制御部１０は、購入時刻と最も近い検出時刻に基づいて、レシートＩＤと客ＩＤとを関連付ける。そして、制御部１０は、当該客ＩＤの客が購入時動作をした位置にあるゴンドラ５１０と、当該レシートＩＤを含む購入データに含まれる商品のカテゴリとを関連付ける。

以上の方法で商品陳列データを生成すると、制御部１０は、生成した商品陳列データを出力する（ステップＳ１０）。ここでは、制御部１０は、商品陳列データを、商品陳列データ記憶部６５に出力することで、これを記憶させる。ステップＳ１０の処理により、商品陳列データ記憶部６５は、図６に示す状態となる。商品陳列データを出力は、通信部５０を介した送信による出力、表示部４０への表示による出力、又は印刷による出力等であってもよい。
ここでは、ゴンドラ５１０Ａ，５１０Ｇについて商品のカテゴリが関連付けられたが、以上の処理を繰り返していくことで、ゴンドラ５１０〜Ａ〜５１０Ｇの各々と商品のカテゴリとが関連付けられる。

以上説明した第１実施形態の情報処理装置２によれば、店舗５００に配置されたゴンドラ５１０と、ゴンドラ５１０に配置された商品とを関連付けた商品陳列データが、人手を介さなくとも生成される。

［第２実施形態］
図７に示すように、客Ｈ１が、ゴンドラ５１０Ａの位置と、ゴンドラ５１０Ｇの位置との２箇所で購入時動作をし、また、客Ｈ２が、ゴンドラ５１０Ａの位置と、ゴンドラ５１０Ｆの位置との２箇所で、購入時動作をした場合を考える。この場合、制御部１０が取得する購入データは、図８の購入データ記憶部６３に示すとおりになる。この場合、一の客（一のレシートＩＤ）の購入データと、一の客の行動データとを照らし合わせても、ゴンドラ５１０と、陳列されている商品との関係を一意に特定することは不可能である。レシートＩＤ「Ｒ００１」と、客ＩＤ「Ｕ００１」とを関連付けたとしても、ゴンドラ５１０Ａ，５１０Ｇの一方に「パン類」、他方に「飲料類」が陳列されていることは特定されるが、どちらに「パン類」、どちらに「飲料類」が陳列されているかが不明だからである。同じく、レシートＩＤ「Ｒ００２」と、客ＩＤ「Ｕ００２」とを関連付けたとしても、ゴンドラ５１０Ａ，５１０Ｆの一方に「飲料類」、他方に「菓子類」が陳列されていることは特定されるが、どちらに「飲料類」、どちらに「菓子類」が陳列されているかが不明である。

そこで、制御部１０（生成部１５）は、購入時動作が検出された２以上の客の位置にあるゴンドラ５１０と、当該２以上の客により共通して購入された商品とを関連付ける。購入データ記憶部６３が図８に示す状態の場合、カテゴリ「飲料類」が対応付けられたレシートＩＤの数は、「Ｒ００１」と「Ｒ００２」との計２つである。一方、行動データ記憶部６２において、ゴンドラ５１０Ａの位置（Ｘ４，Ｙ４）で購入時動作をした客の客ＩＤの数は、「Ｕ００１」と「Ｕ００２」との２つで、ゴンドラ５１０Ｇの位置（Ｘ２，Ｙ２）で購入時動作をした客の客ＩＤの数、及びゴンドラ５１０Ｆの位置（Ｘ５，Ｙ５）で購入時動作をした客の客ＩＤの数は、それぞれ１つである。これにより、カテゴリ「飲料類」に属する商品を購入した２人の客は、いずれもが、ゴンドラ５１０Ａの位置で購入時動作をしたことが特定される。よって、カテゴリ「飲料類」に属する商品が、ゴンドラ５１０Ａに陳列されていることが確定する。したがって、制御部１０は、ゴンドラＩＤ「Ｇ００１」と、「清涼飲料水」が属するカテゴリ「飲料類」とを関連付ける。この関連付けにより、カテゴリ「パン類」に属する商品がゴンドラ５１０Ｇに陳列されていることも確定する。よって、制御部１０は、ゴンドラＩＤ「Ｇ００７」と、「パン類」とを関連付ける。また、カテゴリ「菓子類」に属する商品がゴンドラ５１０Ｆに陳列されていることも確定する。よって、制御部１０は、ゴンドラＩＤ「Ｇ００６」と、「菓子類」とを関連付ける。

一の客が３以上のゴンドラ５１０の位置で購入時動作をした場合も、制御部１０（生成部１５）は、購入時動作が検出された３以上の客の位置にあるゴンドラ５１０と、当該３以上の客により共通して購入された商品とを関連付ければよい。その場合の処理は、図８の説明から容易に類推可能である。

以上説明した第２実施形態の情報処理装置２により、店内における一の行動に基づいて、商品陳列部に配置された商品を特定できない場合でも、店舗５００に配置されたゴンドラ５１０と、ゴンドラ５１０に配置された商品との関連付けが行われる。

［変形例］
本発明は、上述した実施形態と異なる形態で実施してもよい。また、以下に示す変形例は、各々を組み合わせてもよい。
制御部１０は、客がした動作を逐次検出して、検出データ、及び行動データを記録するのではなく、購入時動作が検出されたことを契機に、検出データや行動データを記録してもよい。
制御部１０は、ゴンドラ５１０と商品のカテゴリとを関連付けることに代えて又は組み合わせて、ゴンドラ５１０と商品（商品名）とを関連付けてもよい。この場合であっても、各ゴンドラ５１０に陳列されている商品を特定する商品陳列データが生成される。

人の動作の検出は、撮像画像の認識を伴う検出方法に限られない。例えば、客がとったジェスチャを認識する装置（例えば３Ｄセンサ）が、撮像装置に代えて又は組み合わせて用いられてもよい。
情報処理装置２のハードウェア構成や機能構成は、上述した実施形態で説明した構成に限られない。
上述した実施形態で説明した情報処理システムの構成や動作の一部を省略してもよい。例えば、座標変換に係る構成や動作が省略されてもよい。

上述した実施形態の情報処理装置２の制御部１０が実現する各機能は、１又は複数のハードウェア回路により実現されてもよいし、１又は複数のプログラムを演算装置が実行することにより実現されてよいし、これらの組み合わせにより実現されてもよい。また、制御部１０の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））等）、光記録媒体（光ディスク等）、光磁気記録媒体、半導体メモリ等のコンピュータ読取可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、コンピュータが行う情報処理方法として把握し得る。

１…情報処理システム、２…情報処理装置、１０…制御部、１１…検出部、１２…座標変換部、１３…第１取得部、１４…第２取得部、１５…生成部、１６…出力部、２０…インタフェース、３０…操作部、４０…表示部、５０…通信部、６１…検出データ記憶部、６２…行動データ記憶部、６３…購入データ記憶部、６４…陳列部データ記憶部、６５…商品陳列データ記憶部、１００，２００…撮像装置、３００…店舗端末、５００…店舗、５１０，５１０Ａ〜５１０Ｈ…ゴンドラ。

Claims (8)

1. 商品が陳列される商品陳列部が置かれた店舗において、客毎に、少なくとも前記商品陳列部の位置で当該客がした動作を検出する検出部と、
   前記動作が検出された客の位置と、当該動作が検出された時刻である第１時刻とを取得する第１取得部と、
   客毎に、前記店舗で購入された商品と、当該商品が購入された時刻である第２時刻とを取得する第２取得部と、
   検出された前記動作が決められた動作である場合、当該動作が検出された客の位置にある前記商品陳列部と、前記第１時刻と決められた関係を有する前記第２時刻に購入された前記商品とを関連付けたデータを生成する生成部と
   を備える情報処理装置。
2. 前記検出部は、
   前記店舗の会計所で客がした動作を更に検出し、
   前記第１取得部は、
   前記会計所で前記動作が検出された時刻である第３時刻を更に取得し、
   前記生成部は、
   前記第３時刻と前記第２時刻との関係に基づいて、一の客が前記決められた動作をした位置にある前記商品陳列部と、当該一の客により購入された前記商品とを関連付ける
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記生成部は、
   ２以上の客について前記決められた動作が検出された位置にある前記商品陳列部と、当該２以上の客により共通して購入された前記商品とを関連付ける
   ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
4. 前記決められた動作は、客が前記商品陳列部に陳列された商品を手に取る動作、又は当該手に取った商品を持って移動する動作を含む
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の情報処理装置。
5. 前記決められた動作は、客の顔の向き、及び前記商品陳列部の位置に滞在した時間によって特定される動作を含む
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の情報処理装置。
6. 前記決められた動作は、客が前記商品陳列部に視線を向けた時間によって特定される動作を含む
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の情報処理装置。
7. 前記決められた動作は、客と前記商品陳列部との距離によって特定される動作を含む
   ことを特徴とする請求項１から請求項６のいずれか１項に記載の情報処理装置。
8. コンピュータに、
   商品が陳列される商品陳列部が置かれた店舗において、客毎に、少なくとも前記商品陳列部の位置で当該客がした動作を検出するステップと、
   前記動作が検出された客の位置と、当該動作が検出された時刻である第１時刻とを取得するステップと、
   客毎に、前記店舗で購入された商品と、当該商品が購入された時刻である第２時刻とを取得するステップと、
   検出された前記動作が決められた動作である場合、当該動作が検出された客の位置にある前記商品陳列部と、前記第１時刻と決められた関係を有する前記第２時刻に購入された前記商品とを関連付けたデータを生成するステップと
   を実行させるためのプログラム。

Images