JP6565639B2 - 情報表示プログラム、情報表示方法、及び情報表示装置 - Google Patents

Description

本件は、情報表示プログラム、情報表示方法、及び情報表示装置に関する。

店内の顧客の行動を分析する技術として、購買客と非購買客別の店内行動に関する統計量を算出可能な技術が知られている（例えば特許文献１参照）。

国際公開第２０１５／０２５４９０号

ところで、弁当類やパン類といった商品種別に沿った顧客の移動のパターンと移動の中で立ち寄った売り場の商品種別に属する各商品についての詳細を小売店や製造業者が把握できれば、仮に顧客が商品を購買しなくても、小売店の販売戦略や製造業者の商品開発には大きな利点がある。

そこで、１つの側面では、商品種別に沿った購買者の移動のパターンと移動の中で立ち寄った売り場の商品種別に属する各商品についての詳細を把握できる情報表示プログラム、情報表示方法、及び情報表示装置を提供することを目的とする。

本明細書に開示の情報表示プログラムは、コンピュータに、店舗における複数の購買者それぞれの動作情報を取得し、前記動作情報に基づいて特定される、前記店舗における購買者の移動のパターンを、該移動の中で購買者が立ち寄った売り場の商品の種別を選択可能に表示部に表示し、表示された前記パターンに含まれる商品の種別からいずれかの商品の種別が選択されると、選択された前記商品の種別に含まれる商品について、選択された前記商品の種別を含む移動のパターンで立ち寄った場合の購買者の注目の度合い、および／もしくは注目度と売上個数の関係を前記表示部に表示する、処理を実行させることを特徴とする情報表示プログラムである。

本明細書に開示の情報表示方法は、コンピュータが、店舗における複数の購買者それぞれの動作情報を取得し、前記動作情報に基づいて特定される、前記店舗における購買者の移動のパターンを、該移動の中で購買者が立ち寄った売り場の商品の種別を選択可能に表示部に表示し、表示された前記パターンに含まれる商品の種別からいずれかの商品の種別が選択されると、選択された前記商品の種別に含まれる商品について、選択された前記商品の種別を含む移動のパターンで立ち寄った場合の購買者の注目の度合い、および／もしくは注目度と売上個数の関係を前記表示部に表示する、処理を実行することを特徴とする情報表示方法である。

本明細書に開示の情報表示装置は、店舗における複数の購買者それぞれの動作情報を取得する情報取得部と、前記動作情報に基づいて特定される、前記店舗における購買者の移動のパターンを、該移動の中で購買者が立ち寄った売り場の商品の種別を選択可能に表示部に表示し、表示された前記パターンに含まれる商品の種別からいずれかの商品の種別が選択されると、選択された前記商品の種別に含まれる商品について、選択された前記商品の種別を含む移動のパターンで立ち寄った場合の購買者の注目の度合い、および／もしくは注目度と売上個数の関係を前記表示部に表示する情報表示部と、を有することを特徴とする情報表示装置である。

本明細書に開示の情報表示プログラム、情報表示方法、及び情報表示装置によれば、商品種別に沿った購買者の移動のパターンと移動の中で立ち寄った売り場の商品種別に属する各商品についての詳細を把握することができる。

図１は、購買行動分析システムの一例である。 図２は、陳列棚の一例を説明するための図である。 図３は、情報表示装置のハードウェア構成の一例である。 図４は、情報表示装置の機能ブロック図の一例である。 図５は、情報表示装置が実行する情報処理の一例を示すフローチャートである。 図６は、教師データ生成処理の一例を示すフローチャートである。 図７は、教師データを生成する様子の一例を説明するための図である。 図８は、教師データを生成する様子の一例を説明するための図である。 図９は、動線座標データの一例である。 図１０は、ＰＯＳ情報を紐付けた動線座標データの一例である。 図１１は、動線座標データの加工例を説明するための図である。 図１２は、視線座標データの加工例を説明するための図である。 図１３は、加工後動線データと加工後視線データの紐付けを説明するための図である。 図１４は、動作判定処理の一例を示すフローチャートである。 図１５は、動作判定の一例を説明するための図である。 図１６は、棚前行動の一例を説明するための図である。 図１７は、第２の行動データの一例である。 図１８は、行動レシート形式で出力した画面表示の一例である。 図１９は、商品比較マップ形式で出力した画面表示の一例である。 図２０は、アクセス分析形式で出力した画面表示の一例である。 図２１は、ヒートマップの一例である。 図２２は、注目度と売上個数の関係を示すグラフの一例である。

以下、本件を実施するための形態について図面を参照して説明する。

図１は、購買行動分析システムＳの一例である。図２は、陳列棚１０の一例を説明するための図である。図１に示すように、購買行動分析システムＳは、無線センサーカメラ１００−１，１００−２，１００−３、受信機１００−４、視線センサー１２０−１，１２０−２，・・・・、及び情報表示装置２００を構成要素として含んでいる。情報表示装置２００は、受信機１００−４、視線センサー１２０−１，１２０−２，・・・・、入力装置７１０、及び表示装置７２０と接続されている。尚、本実施形態では、図１に示すように、コンビニエンスストアを小売店の一例として説明するが、コンビニエンスストアに特に限定されず、例えばドラッグストアなどであってもよい。

ここで、図１に示すように、コンビニエンスストアの店舗内における通行可能な通路は予め複数の領域に区分けされている。例えば弁当類が配置される陳列棚１０の前の領域にはエリアＩＤ「Ａ」が割り当てられている。同様に、レジ前に最も近い領域にはエリアＩＤ「Ｃ」が割り当てられ、出入口に接する領域にはエリアＩＤ「Ｇ」が割り当てられている。その他の領域についても同様である。

以下、購買行動分析システムＳの各構成要素について具体的に説明する。

無線センサーカメラ１００−１，１００−２，１００−３は、店舗の天井や壁面の高所などに設置されている。図１では、３台の無線センサーカメラ１００−１，１００−２，１００−３が設置されているが、コンビニエンスストアの規模によってその台数を増減してもよい。無線センサーカメラ１００−１，１００−２，１００−３は、それぞれ自己の撮像領域内を撮像する。例えば無線センサーカメラ１００−１はエリアＩＤ「Ｃ」が割り当てられた領域内を撮像する。無線センサーカメラ１００−２はエリアＩＤ「Ａ」、「Ｂ」、「Ｋ」がそれぞれ割り当てられた領域内を撮像する。無線センサーカメラ１００−３はエリアＩＤ「Ｇ」、「Ｐ」がそれぞれ割り当てられた領域の一部、エリアＩＤ「Ｑ」、「Ｒ」が割り当てられた領域内を撮像する。

無線センサーカメラ１００−１，１００−２，１００−３はいずれも、撮像した画像、具体的にはカラーの動画像（以下、単に動画という。）を無線により送信する。無線センサーカメラ１００−１，１００−２，１００−３が動画を送信すると、受信機１００−４は動画を受信して情報表示装置２００に格納する。

また、無線センサーカメラ１００−１，１００−２，１００−３は撮像領域内に顧客が入るとその顧客に割り当てる識別情報（以下、動線ＩＤという。）を生成し、その動線ＩＤに撮像した動画に基づいて得られる位置情報、顧客の顔の向き及び撮像した時刻を関連付ける。さらに、無線センサーカメラ１００−１，１００−２，１００−３は、撮像した動画に基づいて、顧客の年代及び性別といった属性を判断し、動線ＩＤに属性を関連付ける。無線センサーカメラ１００−１，１００−２，１００−３は位置情報、顧客の顔の向き、撮像した時刻及び属性を関連付けた動線ＩＤを動線座標データとして受信機１００−４に送信する。これにより、受信機１００−４は入店した顧客の属性と店舗内での動線を得る。すなわち、図１において、出入口から入店した顧客がエリアＩＤ「Ｇ」、「Ａ」、「Ｂ」、「Ａ」、「Ｃ」、「Ｇ」の順に各領域を移動し、出入口から退店した動線を受信機１００−４は得る。

視線センサー１２０−１，１２０−２，・・・は、店舗に設置された陳列棚１０に取り付けられる。例えば視線センサー１２０−１は弁当類が配置される陳列棚１０に取り付けられ、視線センサー１２０−２はパン類が配置される陳列棚１０に取り付けられる。その他の視線センサーについても同様である。ここで、図２を参照してより具体的に説明すると、例えば視線センサー１２０−１は陳列棚１０の棚板１１に取り付けられる。尚、図２では、棚板１１の１つに視線センサー１２０−１が取り付けられているが、２つ以上の棚板１１のそれぞれに視線センサー１２０−１が取り付けられていてもよい。

視線センサー１２０−１，１２０−２，・・・はそれぞれ、赤外線などを利用して、陳列棚１０の前に立つ顧客の視線を検出する。より詳しくは、視線センサー１２０−１は検出領域内に顧客の頭部が入るとその顧客に割り当てる識別情報（以下、視線ＩＤという。）を生成する。次に、例えば図２に示すように、顧客の視線Ｖが複数の商品（具体的には弁当やおにぎりなど）間を移動すると、視線センサー１２０−１は移動の軌跡に応じた視線の位置情報を検出する。そして、視線センサー１２０−１は生成した視線ＩＤに検出した位置情報、及び検出した時刻を関連付ける。視線センサー１２０−１は位置情報及び検出した時刻を関連付けた視線ＩＤを視線座標データとして保持する。視線センサー１２０−２も同様である。

情報表示装置２００は、受信機１００−４から動線座標データを取得する。また、情報表示装置２００は、視線センサー１２０−１，１２０−２，・・・がそれぞれ保持する視線座標データを取得する。さらに、情報表示装置２００は、Point Of Sales（ＰＯＳ）集約システム２０からＰＯＳ情報を取得する。詳細は後述するが、ＰＯＳ情報は例えば商品の購入時刻、商品名、購入個数、購入金額などを含んでいる。情報表示装置２００は、取得した動線座標データ、視線座標データ及びＰＯＳ情報を互いに関連付け、各種の情報処理を実行して、顧客の行動を表す行動データを生成する。情報表示装置２００は行動データを生成すると、生成した行動データを利用して、後述する行動レシート、商品比較マップ、アクセス分析など、利用者が確認できる情報に可視化して、表示装置７２０の表示部７２１に表示する。尚、情報表示装置２００、入力装置７１０、及び表示装置７２０は、Personal Computer（ＰＣ）といった端末装置の構成要素に含まれる。以下、情報表示装置２００の詳細について説明する。

次に、図３を参照して、情報表示装置２００のハードウェア構成について説明する。尚、図１に示す情報表示装置２００、入力装置７１０及び表示装置７２０と同様の構成には同一符号を付している。

図３は、情報表示装置２００のハードウェア構成の一例である。図３に示すように、情報表示装置２００は、少なくともCentral Processing Unit（ＣＰＵ）２００Ａ、Random Access Memory（ＲＡＭ）２００Ｂ、Read Only Memory（ＲＯＭ）２００Ｃ及び入出力端子２００Ｄを含んでいる。情報表示装置２００は、必要に応じて、Hard Disk Drive（ＨＤＤ）２００Ｅ、入力Ｉ／Ｆ（インタフェース）２００Ｆ、出力Ｉ／Ｆ２００Ｇ、入出力Ｉ／Ｆ２００Ｈ、ドライブ装置２００Ｉの少なくとも１つを含んでいてもよい。ＣＰＵ２００Ａ、・・・、ドライブ装置２００Ｉは、内部バス２００Ｊによって互いに接続されている。少なくともＣＰＵ２００ＡとＲＡＭ２００Ｂとが協働することによってコンピュータが実現される。

入力Ｉ／Ｆ２００Ｆには、入力装置７１０が接続される。入力装置７１０としては、例えばキーボードやマウスなどがある。
出力Ｉ／Ｆ２００Ｇには、表示装置７２０が接続される。表示装置７２０としては、例えば液晶ディスプレイがある。
入出力Ｉ／Ｆ２００Ｈには、半導体メモリ７３０や視線センサー１２０−１，１２０−２，・・・が接続される。半導体メモリ７３０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ２００Ｈは、半導体メモリ７３０に記憶されたプログラムやデータを読み取る。
入力Ｉ／Ｆ２００Ｆ及び入出力Ｉ／Ｆ２００Ｈは、例えばＵＳＢポートを備えている。出力Ｉ／Ｆ２００Ｇは、例えばディスプレイポートを備えている。

ドライブ装置２００Ｉには、可搬型記録媒体７４０が挿入される。可搬型記録媒体７４０としては、例えばCompact Disc（ＣＤ）−ＲＯＭ、Digital Versatile Disc（ＤＶＤ）といったリムーバブルディスクがある。ドライブ装置２００Ｉは、可搬型記録媒体７４０に記録されたプログラムやデータを読み込む。
入出力端子２００Ｄには、受信機１００−４が接続される。

上述したＲＡＭ２００Ｂには、ＲＯＭ２００ＣやＨＤＤ２００Ｅに記憶されたプログラムがＣＰＵ２００Ａによって格納される。ＲＡＭ２００Ｂには、可搬型記録媒体７４０に記録されたプログラムがＣＰＵ２００Ａによって格納される。格納されたプログラムをＣＰＵ２００Ａが実行することにより、後述する各種の機能が実現され、また、後述する各種の動作が実行される。尚、プログラムは後述するフローチャートに応じたものとすればよい。

次に、図４を参照して、情報表示装置２００の各機能について説明する。

図４は、情報表示装置２００の機能ブロック図の一例である。図４に示すように、情報表示装置２００は動画記憶部２０１、店内エリア記憶部２０２、商品配置記憶部２０３、情報取得部２０４、情報処理部２０５、及び行動データ記憶部２０６を含んでいる。

動画記憶部２０１は動画を記憶する。上述したように、動画記憶部２０１には受信機１００−４が受信した動画が格納される。動画は無線センサーカメラ１００−１，１００−２，１００−３から無線ネットワークＮＷを介して受信機１００−４に送信される。
店内エリア記憶部２０２は店内エリアマスタデータを記憶する。後に図１１を用いて説明するが、店内エリアマスタデータは、上述した各領域を識別するエリアＩＤ、各領域の名称であるエリア名、各領域を特定する左上及び右下の各位置情報、その領域内で顧客が向ける顔の方向を含んでいる。

商品配置記憶部２０３は商品配置マスタデータを記憶する。後に図１２を用いて説明するが、商品配置マスタデータは、陳列棚１０を複数の領域に区分けした場合における各領域を特定する左上及び右下の各位置情報、及び各領域に配置される商品の名称を上述したエリアＩＤと関連付けて含んでいる。

情報取得部２０４は、受信機１００−４から店舗における購買者の動線座標データを取得する。購買者は購買予定者であって、実際に購買した者と購買には至らなかった者の双方が含まれる。また、情報取得部２０４は、視線センサー１００−１，１００−２，・・・がそれぞれ保持する視線座標データを取得する。さらに、情報取得部２０４は、ＰＯＳ集約システム２０からＰＯＳ情報を取得する。情報取得部２０４は取得した動線座標データ、視線座標データ及びＰＯＳ情報を情報処理部２０５に出力する。

情報処理部２０５は、動線座標データ、視線座標データ及びＰＯＳ情報を取得すると、動画記憶部２０１に記憶された動画、店内エリア記憶部２０２に記憶された店内エリアマスタデータ、及び商品配置記憶部２０３に記憶された商品配置マスタデータをそれぞれ抽出する。そして、情報処理部２０５は、動線座標データ、視線座標データ、ＰＯＳ情報、動画、店内エリアマスタデータ、商品配置マスタデータを利用して各種の情報処理（データ処理）を実行する。例えば、情報処理部２０５は、店内エリアマスタデータ及び商品配置マスタデータを利用して、動線座標データ、視線座標データ及びＰＯＳ情報を互いに紐付け（関連付け）て、第１の行動データを生成する。その後、情報処理部２０５は、第１の行動データに対し陳列棚１０の前で行った行動の時間を計測したり回数を計測したりした棚前行動を紐付け、第２の行動データとして行動データ記憶部２０６に格納する。これにより、行動データ記憶部２０６は顧客の店舗内の行動を表す第２の行動データを記憶する。

また、情報処理部２０５は、行動データ記憶部２０６に記憶された第２の行動データを抽出し、利用者が確認できる情報に可視化して、表示装置７２０の表示部７２１に表示する。例えば、情報処理部２０５は、複数の商品のいずれかの商品の選択（例えば購入）を受け付けた場合、第２の行動データに基づいて商品配置マスタデータ及び店内エリアマスタデータから決定される商品の分類情報（例えば弁当類、パン類など）を参照し、選択されたいずれかの商品と同一の分類の他の商品に対する、購買者の動作を示す指標と注目した度合いを示す指標とをレーダーチャート形式で表示部７２１に表示する。

次に、図５から図１７を参照して、情報表示装置２００の動作について説明する。

図５は、情報表示装置２００が実行する情報処理の一例を示すフローチャートである。図６は、教師データ生成処理の一例を示すフローチャートである。図７及び図８は、教師データを生成する様子の一例を説明するための図である。

まず、図５に示すように、情報処理部２０５は教師データ生成処理を実行する（ステップＳ１０１）。より詳しくは、図６に示すように、情報処理部２０５は撮像画像から背景画像を削除する（ステップＳ２０１）。撮像画像は予め用意される。撮像画像は、図７（ａ）に示すように、人物Ｍを含む特定の撮像領域内を撮像した静止画像（以下、静止画という。）である。人物Ｍは顧客であってもよいし顧客以外であってもよい。図７（ａ）では、人物Ｍが商品を手に取る動作を表している。また、図７（ｂ）に示すように、人物Ｍを含まない同じ特定の撮像領域内を撮像した静止画も背景画像として用意される。尚、本実施形態では、撮像画像及び背景画像はいずれも無線センサーカメラ１００−２によって撮像された画像である。

情報処理部２０５は、このように事前に用意された撮像画像から背景画像を削除する。これにより、図７（ｃ）に示すように、撮像画像から背景画像が削除された差分画像が生成される。差分画像では人物Ｍが残存する。ステップＳ２０１の処理が完了すると、次いで、情報処理部２０５は差分画像をモノクロ化する（ステップＳ２０２）。モノクロ化は例えばグレースケール化などとも呼ばれる。これにより、図８（ａ）に示すように、差分画像に含まれた人物Ｍはグレー色と黒色の少なくとも一方を含む画像領域に置き換えられる。尚、図８（ａ）ではハッチングでグレー色を示しており、ハッチングの太さにより濃淡の相違を表現している。これにより、人物Ｍの動作を表しつつ、人物Ｍを特定できない形式に変換される。したがって、人物Ｍのプライバシーが保護される。

ステップＳ２０２の処理が完了すると、次いで、情報処理部２０５はモノクロ化された差分画像をＣＳＶファイルに変換する（ステップＳ２０３）。より詳しくは、図８（ｂ）に示すように、情報処理部２０５モノクロ化された差分画像を上から順に走査し、図８（ｃ）に示すように、白色を表す部分を「０」に、グレー色から黒色を表す部分を「０より大きく１以下の実数」に置き換えたＣＳＶファイル３０を生成する。これにより、モノクロ化された差分画像は、商品を手に取る動作を表すＣＳＶファイル３０に変換される。ステップＳ２０３の処理が完了すると、次いで、情報処理部２０５はＣＳＶファイル３０に意味づけを行う（ステップＳ２０４）。具体的には、利用者が入力装置７１０を操作してＣＳＶファイル３０に対する動作内容を入力すると、情報処理部２０５は入力された動作内容に基づいて、図８（ｄ）に示すように、「０以上１以下の実数」が特定の順序で並んだこのＣＳＶファイル３０が動作「手に取る」を表していることを意味づける。

ステップＳ２０４の処理が完了すると、情報処理部２０５はDeep Learning（深層学習、以下、単にＤＬという。）を実行する（ステップＳ２０５）。具体的には、予め用意された意味づけされていない多数の撮像画像を、既に説明した手法によりＣＳＶファイル（不図示）に変換しておき、これらのＣＳＶファイルを既に意味づけされたＣＳＶファイル３０と対比して、多数のＣＳＶファイルのそれぞれに対し意味づけを行う。したがって、意味づけされていない多数のＣＳＶファイルの中に動作「手に取る」とはわずかに異なる動作が含まれている場合、意味づけされていない多数のＣＳＶファイルとＣＳＶファイル３０とを対比した結果、完全には一致しなくても情報処理部２０５はわずかに異なる動作を動作「手に取る」と意味づける。逆に、意味づけされていない多数のＣＳＶファイルの中に動作「手に取る」とは大きく異なる動作が含まれている場合、多数のＣＳＶファイルとＣＳＶファイル３０とを対比した場合、両者が大きく異なるため情報処理部２０５はその動作に対し動作「手に取る」を意味づけない。

したがって、図７及び図８では、動作「手に取る」を一例として説明したが、同様の処理により、動作「見る」、動作「かごに入れる」などを意味づけた数パターンのＣＳＶファイルも生成し、ＤＬを実行すれば、動作「手に取る」が意味づけられなかった残りの撮像画像のＣＳＶファイルに対しても動作「見る」や動作「かごに入れる」などが意味づけられる。これにより、動作が多種多様に渡る撮像画像のＣＳＶファイルに対し、予め定めた数パターンの動作が意味づけされる。動作が意味づけされたＣＳＶファイルは教師データと呼ばれる。

図５に戻り、ステップＳ１０１の処理が完了すると、次いで、情報取得部２０４は動線座標データと視線座標データを取得する（ステップＳ１０２）。ステップＳ１０２の処理が完了すると、次いで、情報取得部２０４はＰＯＳ情報があるか否かを判断する（ステップＳ１０３）。より詳しくは、情報取得部２０４はＰＯＳ集約システム２０にアクセスし、ＰＯＳ集約システム２０にＰＯＳ情報が格納されているか否かを判断する。情報取得部２０４はＰＯＳ集約システム２０にＰＯＳ情報があると判断した場合（ステップＳ１０３：ＹＥＳ）、情報取得部２０４はＰＯＳ情報を取得し、情報処理部２０５が動線座標データにＰＯＳ情報を紐付ける（ステップＳ１０４）。一方、情報取得部２０４はＰＯＳ集約システム２０にＰＯＳ情報がないと判断した場合（ステップＳ１０３：ＮＯ）、ステップＳ１０４の処理をスキップする。さらに、ステップＳ１０３又はＳ１０４の処理が完了すると、動線座標データと視線座標データを紐付けて、第１の行動データを生成する（ステップＳ１０５）。

ここで、図９から図１３を参照して、動線座標データにＰＯＳ情報を紐付けるまでの処理を具体的に説明する。図９は、動線座標データの一例である。図１０は、ＰＯＳ情報を紐付けた動線座標データの一例である。図１１は、動線座標データの加工例を説明するための図である。図１２は、視線座標データの加工例を説明するための図である。図１３は、加工後動線データと加工後視線データの紐付けを説明するための図である。図９に示す動線座標データは、図１を参照して説明した顧客の動線を表している。情報取得部２０４は例えば図９に示す動線座標データを取得する。

情報処理部２０５は情報取得部２０４が取得した動線座標データを加工する。具体的には、まず、情報処理部２０５はＰＯＳ情報に記録された購入時刻を基準に購入時刻前後の一定期間の動線座標データを抽出する。例えば、図１０に示すように、購入時刻が１０時１１分０２秒である場合、図９に示す動線座標データから購入時刻の６２秒前の動線座標データから購入時刻の３秒後までの動線座標データを抽出する。一定期間は設計などに応じて予め定めればよい。これにより、図９に示す動線座標データの中から１０時１０分００秒から１０時１１分０５秒までの動線座標データに絞り込まれる。情報処理部２０５は、このように絞り込まれた動線座標データの中から、位置座標がＰＯＳ集約システム２０の前の領域、すなわち、エリアＩＤ「Ｃ」が割り当てられた領域（図１参照）の動線座標データに対し、ＰＯＳ情報を紐付ける。したがって、図１０に示すように、１０時１０分０７秒から１０時１１分０５秒までの動線座標データにＰＯＳ情報が紐付けられる。

その後、図１１に示すように、情報処理部２０５は、店内エリアマスタデータを利用して、ＰＯＳ情報を紐付けた動線座標データを加工する。具体的には、情報処理部２０５はＰＯＳ情報を紐付けた動線座標データの位置座標Ｘ，Ｙ及び顔の向きと店内エリアマスタデータに登録された位置座標及び顔の向きとをマッチングし、何時から何時まで顧客がどのエリアに滞在していたかを表す加工後動線データを生成する。尚、図１１において、ＰＯＳ情報を紐付けた動線座標データにおけるＰＯＳ情報の一部は省略されて示されている。情報処理部２０５は生成した加工後動線データを後述する動作判定処理で利用するため、一時的に保持する。

一方、図１２に示すように、情報処理部２０５は、商品配置マスタデータを利用して、視線座標データを加工する。具体的には、情報処理部２０５は視線座標データの位置座標Ｘ，Ｙと商品配置マスタデータに登録された位置座標とをマッチングし、顧客がどのエリアでいつからどの商品に注目していたかを表す加工後視線データを生成する。

そして、図１３に示すように、情報処理部２０５は、加工後動線座標データと加工後視線座標データを紐付けて、行動データを生成する。具体的には、情報処理部２０５は加工後動線座標データのエリアＩＤと加工後視線座標データのエリアＩＤをマッチングするとともに、加工後動線座標データの開始時刻及び終了時刻と加工後視線座標データの時刻とをマッチングして、第１の行動データを生成する。これにより、顧客が滞在した領域、滞在した時刻、その領域で注目した商品と、実際に購買した商品など表す第１の行動データが生成される。

図５に戻り、ステップＳ１０５の処理が完了すると、次いで、情報処理部２０５は動作判定処理を実行する（ステップＳ１０６）。より詳しくは、図１４に示すように、情報処理部２０５は動画を静止画に変換する（ステップＳ３０１）。動画は動画記憶部２０１に記憶されているため、情報処理部２０５は動画記憶部２０１から動画を抽出する。ここで、上述したように、情報処理部２０５は加工後動線データを保持している。したがって、図１５に示すように、情報処理部２０５は陳列棚１０の前の領域（例えば、エリアＩＤ「Ａ」の領域）で一定時間（例えば２秒）以上滞留している動線ＩＤの時間帯を特定し、特定した時間帯の動画を動画記憶部２０１から動画を抽出する。そして、情報処理部２０５は抽出した動画を１秒単位の静止画に変換する。これにより、抽出した動画から複数の静止画が生成される。

ステップＳ３０１の処理が完了すると、次いで、情報処理部２０５は静止画から背景画像を削除し（ステップＳ３０２）、背景画像を削除した静止画をモノクロ化する（ステップＳ３０３）。ステップＳ３０３の処理が完了すると、次いで、情報処理部２０５はモノクロ化された静止画をＣＳＶファイルに変換する（ステップＳ３０４）。ステップＳ３０４の処理が完了すると、次いで、情報処理部２０５はＤＬを実行する（ステップＳ３０５）。ステップＳ３０５の処理で実行されるＤＬは動作判定であり、ステップＳ１０１の処理で生成された教師データを利用して行われる。すなわち、ステップＳ３０４の処理によるＣＳＶファイルには、まだ意味づけが行われていない。

一方、ステップＳ１０１の処理で生成された教師データは意味づけが行われたＣＳＶファイルである。したがって、情報処理部２０５が教師データを利用してＤＬを実行することで、まだ意味づけが行われていないＣＳＶファイルに対し意味づけが行われる。これにより、図１５に示すように、各静止画に意味づけが行われる。すなわち、時刻１０時１０分００秒の静止画は、動作判定の結果、動作「見る」が意味づけされ、時刻１０時１０分０１秒及び０２秒の静止画は、動作判定の結果、動作「手に取る」が意味づけされる。

さらに、図１６に示すように、情報処理部２０５は、動作判定の対象となった加工後動線データの一部に、動作判定された画像判定結果を紐付け、ディシジョンスピードと注目時間を計測し、手に取った回数と注目回数を計数する。ディシジョンスピードは動作「見る」を開始してから動作「手に取る」を開始するまでの時間である。したがって、本実施形態では、図１６に示すように、情報処理部２０５はディシジョンスピードを２秒と計測する。また、情報処理部２０５は動作「見る」に対応する注目時間を１秒と計測する。一方、情報処理部２０５は、画像判定結果における動作判定に登録された内容を確認し、同じ動作が連続していれば１つの動作として計数し、同じ動作が不連続であればそれぞれを１つの動作として計数する。したがって、本実施形態では、図１６に示すように、情報処理部２０５は手に取った回数を１回と計数する。また、情報処理部２０５は動作「見る」に対応する注目回数を１回と計測する。

情報処理部２０５は計測及び計数を終えると、図１６に示すように、陳列棚１０の前での行動である棚前行動、すなわち、ディシジョンスピード、注目時間、手に取った回数、及び注目時間を加工後動線データに紐付ける。さらに、情報処理部２０５はステップＳ１０５の処理で生成した行動データに棚前行動を紐付ける。情報処理部２０５は、棚前行動が紐付けられた加工後動線データ（図１６参照）の動線ＩＤ、エリアＩＤ、開始時刻と第１の行動データ（図１３参照）の動線ＩＤ、エリアＩＤ、時刻をマッチングし、マッチングした行動データに棚前行動を紐付けて行動データ記憶部１０６に格納する。これにより、図１７に示すように、行動データ記憶部１０６は、棚前行動が紐付けられた第２の行動データを記憶する。尚、第２の行動データは一例であって、後述する出力形式の全てを表すものではない。

図５に戻り、ステップＳ１０６の処理が完了すると、情報処理部２０５は可視化して表示部７２１に表示する（ステップＳ１０７）。すなわち、情報処理部２０５は行動データ記憶部２０６から第２の行動データを抽出し、利用者（例えば小売店や製造業者の担当者など）が顧客行動を把握し易い種々の出力形式に変換して表示部７２１に表示する。

以下、図１８から図２２を参照して、種々の出力形式の具体例を説明する。

図１８は、行動レシート形式で出力した画面表示の一例である。図１８に示すように、情報処理部２０５は表示部７２１に行動レシートを表示する。行動レシートは店舗内を移動して種々の動作を行った顧客の行動を表した出力結果である。行動レシートには、行動データの内容が時系列に従って表示される。例えば、実際に商品「焼肉弁当」を購買していれば、購買を表す旨の表示である購入、購入金額「５８０円」及びディシジョンスピード「２秒」が表示される。また、購買には至らなかった商品「クリームパン」や「おにぎり」であれば、注目したにすぎない商品である旨が表示される。設計により注目時間や注目回数を表示させてもよい。

尚、注目した商品について行動データは購入金額を保有していないため、例えば商品配置マスタデータに各商品の単価を予め紐付けておき、商品配置マスタデータの各商品に紐付けられた単価を表示するようにすればよい。行動レシート形式の画面表示により、利用者はある商品を購入する際に比較した別の商品に対する動作と該商品に対する注目度合いを把握することができる。

図１９は、商品比較マップ形式で出力した画面表示の一例である。図１９に示すように、情報処理部２０５は表示部７２１に商品比較マップを表示する。商品比較マップは複数の商品の中から選択されて購入された商品と同一の分類の他の商品に対する、購買者の動作を示す指標と注目した度合いを示す指標とを動作毎にレーダーチャート形式で表した出力結果である。

例えば、実際に商品「焼肉弁当」を購買していれば、レーダーチャート上に購入商品「焼肉弁当」が表示されるとともに、商品「焼肉弁当」が属する分類「弁当類」の中で比較された他の商品の商品名とその商品に対する比較度合又は比較時間が表示される。具体的には、顧客が商品「焼肉弁当」を購買する際に他の商品「鶏唐弁当」を比較していれば、見る動作に対応する注目が２秒又は２回であったことを示し、手に取る動作が５秒又は５回であったことを示す。尚、比較度合又は比較時間のどちらの形式で表示させるかは設計に応じて決定すればよく、例えば表示形式を選択するための選択ボタンを商品比較マップのいずれかの領域に設けてもよい。

商品比較マップ形式の画面表示により、利用者はある商品を購入する際に比較した別の商品に対する動作と該商品に対する注目度合いを把握することができる。例えば注目を表す面積が小さい、すなわち視線は種々の商品に向けられるものの１つの商品を注目している時間が短く、手に取る動作を表す面積が小さい、すなわち手に取る動作の時間が短ければ、商品の購入を決定するまでが時間が速かったと判断することができる。すなわち、顧客は目的を持って店舗に入店し、目的の商品を発見し、購買するに至ったと分析することができる。

図２０は、アクセス分析形式で出力した画面表示の一例である。図２１は、ヒートマップの一例である。図２２は、注目度と売上個数の関係を示すグラフの一例である。図２０から図２２に示すように、情報処理部２０５は表示部７２１にアクセス分析、ヒートマップ及びグラフをそれぞれ表示する。アクセス分析は、図２０に示すように、第２の行動データに基づいて特定される、店舗における購買者の移動のパターンを、該移動の中で購買者が立ち寄った売り場の商品の種別（例えば弁当類や雑誌類など）を選択可能に表示した樹形図（ツリー図）である。これにより、顧客にとって目的意識や注目度の高い商品種別を把握することができる。図２０では、例えば入店した顧客が１００人いた場合、はじめに商品の種別「弁当類」に５０人が向かい、消費の種別「雑誌類」に２０人が向かったことなどを表している。情報処理部２０５は選択された時間帯、性別及び年代のアクセス分析を表示する。

表示されたパターンに含まれる商品の種別からいずれかの商品の種別が選択されると、情報処理部２０５は、選択された商品の種別に含まれる商品について、選択された商品の種別を含む移動パターンで立ち寄った場合の詳細情報を表示する。詳細情報としては、例えば図２１に示すヒートマップや図２２に示すグラフなどがある。例えば、図２０に示すように、ポインタＰｔにより２番目に訪れた領域に対応する商品の種別「弁当類」を選択すると、情報処理部２０５は、図２１に示すヒートマップＨＭを表示する。

ヒートマップＨＭは、陳列棚１０の各領域内の位置と対応付けて位置に対する購買者としての顧客の注目の度合いを示している。また、ヒートマップＨＭには、複数の商品それぞれに対する購買者の動作の度合いに応じて表示サイズが決定される図形または文字が、ヒートマップＨＭにおける複数の商品それぞれに対応する位置に重畳されている。ヒートマップＨＭに、複数の商品それぞれに対する購買者の動作の度合いに応じて表示サイズが決定される図形及び購買者の動作の度合いに関わらずに予め表示サイズが決定された文字が、ヒートマップＨＭにおける複数の商品それぞれに対応する位置に重畳されていてもよい。本実施形態では図形の一例として円を利用している。ヒートマップＨＭが表示された表示領域とは異なる表示領域には、上述した移動のパターンが表示される。したがって、本実施形態では、入店して雑誌類が配置されたエリアＩＤ「Ｑ」又は「Ｒ」の領域に滞在した後、弁当類が配置されたエリアＩＤ「Ａ」の領域に来た顧客の移動のパターンが示されており、このようなパターンで弁当類の領域に来た顧客の注目の度合いがヒートマップＨＭにより示されている。

例えば購入商品「焼肉弁当」に対する注目度は他の商品「鶏唐弁当」などより高いことがヒートマップＨＭにより示され、購入商品に対して手に取る動作を行った回数も他の商品などよりも多かったことが円ＣＲの大きさにより示されている。ヒートマップ形式の画面表示により、利用者はある商品を購入する際に比較した別の商品に対する動作と該商品に対する注目度合いを把握することができる。

ここで、ヒートマップＨＭが表示された表示領域及び移動のパターンが表示された表示領域とは異なる表示領域に設けられた画面切替ボタンＢｔがポインタＰｔにより押下されると、情報処理部２０５は図２２に示すグラフを表示する。このように、注目度と売上個数のグラフが表示されることで、利用者は注目度と売上個数の相関を分析することができる。図２２に示すグラフ部分の表示領域とは異なる表示領域に設けられた画面切替ボタンＢｔ´がポインタＰｔにより押下されると、情報処理部２０５は再びヒートマップを表示する。

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば上述した実施形態では無線センサーカメラ１２０−１，１２０−２，１２０−３を利用したが、通信形式は無線に限定されず、有線であってもよい。また、情報表示装置２００、入力装置７１０及び表示装置７２０を含む端末装置は据置型（デスクトップタイプ）を一例として説明したが、ノート型であってもよい。さらに、動作判定の精度を向上させるために、モノクロ化を実行した直後に、ノイズを除去する処理を含めてもよい。

なお、以上の説明に関して更に以下の付記を開示する。
（付記１）コンピュータに、店舗における複数の購買者それぞれの動作情報を取得し、前記動作情報に基づいて特定される、前記店舗における購買者の移動のパターンを、該移動の中で購買者が立ち寄った売り場の商品の種別を選択可能に表示部に表示し、表示された前記パターンに含まれる商品の種別からいずれかの商品の種別が選択されると、選択された前記商品の種別に含まれる商品について、選択された前記商品の種別を含む移動のパターンで立ち寄った場合の詳細情報を前記表示部に表示する、処理を実行させることを特徴とする情報表示プログラム。
（付記２）前記移動のパターンを表示する処理は、樹形図形式で表示することを特徴とする付記１に記載の情報表示プログラム。
（付記３）前記移動のパターンを表示する処理は、前記購買者が前記店舗に入店した時間帯毎に前記移動のパターンを前記表示部に表示することを特徴とする付記１又は２に記載の情報表示プログラム。
（付記４）前記移動のパターンを表示する処理は、前記購買者の属性毎に前記移動のパターンを前記表示部に表示することを特徴とする付記１から３のいずれか１項に記載の情報表示プログラム。
（付記５）前記店舗に陳列された商品に対する前記購買者の視線情報を取得する処理を含み、前記詳細情報を表示する処理は、取得した前記視線情報に基づいて特定される前記商品に対する前記購買者の注目の度合いを該商品と関連付けて表示することを特徴とする付記１から４のいずれか１項に記載の情報表示プログラム。
（付記６）コンピュータが、店舗における複数の購買者それぞれの動作情報を取得し、前記動作情報に基づいて特定される、前記店舗における購買者の移動のパターンを、該移動の中で購買者が立ち寄った売り場の商品の種別を選択可能に表示部に表示し、表示された前記パターンに含まれる商品の種別からいずれかの商品の種別が選択されると、選択された前記商品の種別に含まれる商品について、選択された前記商品の種別を含む移動のパターンで立ち寄った場合の詳細情報を前記表示部に表示する、処理を実行することを特徴とする情報表示方法。
（付記７）店舗における複数の購買者それぞれの動作情報を取得する情報取得部と、前記動作情報に基づいて特定される、前記店舗における購買者の移動のパターンを、該移動の中で購買者が立ち寄った売り場の商品の種別を選択可能に表示部に表示し、表示された前記パターンに含まれる商品の種別からいずれかの商品の種別が選択されると、選択された前記商品の種別に含まれる商品について、選択された前記商品の種別を含む移動のパターンで立ち寄った場合の詳細情報を前記表示部に表示する情報表示部と、を有することを特徴とする情報表示装置。
（付記８）前記情報表示部は、樹形図形式で表示することを特徴とする付記７に記載の情報表示装置。
（付記９）前記情報表示部は、前記購買者が前記店舗に入店した時間帯毎に前記移動のパターンを前記表示部に表示することを特徴とする付記７又は８に記載の情報表示装置。
（付記１０）前記情報表示部は、前記購買者の属性毎に前記移動のパターンを前記表示部に表示することを特徴とする付記７から９のいずれか１項に記載の情報表示装置。
（付記１１）前記情報取得部は、店舗に陳列された商品に対する前記購買者の視線情報を取得し、前記情報表示部は、取得した前記視線情報に基づいて特定される前記商品に対する前記購買者の注目の度合いを該商品と関連付けて表示することを特徴とする付記７から１０のいずれか１項に記載の情報表示装置。

Ｓ 購買行動分析システム
１００−１，１００−２，１００−３ 無線センサーカメラ
１００−４ 受信機
１２０−１，１２０−２ 視線センサー
２００ 情報表示装置
２０１ 動画記憶部
２０２ 店内エリア記憶部
２０３ 商品配置記憶部
２０４ 情報取得部
２０５ 情報処理部
２０６ 行動データ記憶部
７１０ 入力装置
７２０ 表示装置
７２１ 表示部

Claims (7)

1. コンピュータに、
   店舗における複数の購買者それぞれの動作情報を取得し、
   前記動作情報に基づいて特定される、前記店舗における購買者の移動のパターンを、該移動の中で購買者が立ち寄った売り場の商品の種別を選択可能に表示部に表示し、
   表示された前記パターンに含まれる商品の種別からいずれかの商品の種別が選択されると、選択された前記商品の種別に含まれる商品について、選択された前記商品の種別を含む移動のパターンで立ち寄った場合の購買者の注目の度合い、および／もしくは注目度と売上個数の関係を前記表示部に表示する、
   処理を実行させることを特徴とする情報表示プログラム。
2. 前記移動のパターンを表示する処理は、樹形図形式で表示することを特徴とする請求項１に記載の情報表示プログラム。
3. 前記移動のパターンを表示する処理は、前記購買者が前記店舗に入店した時間帯毎に前記移動のパターンを前記表示部に表示することを特徴とする請求項１又は２に記載の情報表示プログラム。
4. 前記移動のパターンを表示する処理は、前記購買者の属性毎に前記移動のパターンを前記表示部に表示することを特徴とする請求項１から３のいずれか１項に記載の情報表示プログラム。
5. 前記店舗に陳列された商品に対する前記購買者の視線情報を取得する処理を含み、
   前記度合い、および／もしくは前記関係を表示する処理は、取得した前記視線情報に基づいて特定される前記商品に対する前記購買者の注目の度合いを該商品と関連付けて表示することを特徴とする請求項１から４のいずれか１項に記載の情報表示プログラム。
6. コンピュータが、
   店舗における複数の購買者それぞれの動作情報を取得し、
   前記動作情報に基づいて特定される、前記店舗における購買者の移動のパターンを、該移動の中で購買者が立ち寄った売り場の商品の種別を選択可能に表示部に表示し、
   表示された前記パターンに含まれる商品の種別からいずれかの商品の種別が選択されると、選択された前記商品の種別に含まれる商品について、選択された前記商品の種別を含む移動のパターンで立ち寄った場合の購買者の注目の度合い、および／もしくは注目度と売上個数の関係を前記表示部に表示する、
   処理を実行することを特徴とする情報表示方法。
7. 店舗における複数の購買者それぞれの動作情報を取得する情報取得部と、
   前記動作情報に基づいて特定される、前記店舗における購買者の移動のパターンを、該移動の中で購買者が立ち寄った売り場の商品の種別を選択可能に表示部に表示し、表示された前記パターンに含まれる商品の種別からいずれかの商品の種別が選択されると、選択された前記商品の種別に含まれる商品について、選択された前記商品の種別を含む移動のパターンで立ち寄った場合の購買者の注目の度合い、および／もしくは注目度と売上個数の関係を前記表示部に表示する情報表示部と、
   を有することを特徴とする情報表示装置。

Images