JP4717934B2 - 関係分析方法、関係分析プログラム、および、関係分析装置 - Google Patents

関係分析方法、関係分析プログラム、および、関係分析装置 Download PDF

Info

Publication number
JP4717934B2
JP4717934B2 JP2009048808A JP2009048808A JP4717934B2 JP 4717934 B2 JP4717934 B2 JP 4717934B2 JP 2009048808 A JP2009048808 A JP 2009048808A JP 2009048808 A JP2009048808 A JP 2009048808A JP 4717934 B2 JP4717934 B2 JP 4717934B2
Authority
JP
Japan
Prior art keywords
product
data
section
line
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009048808A
Other languages
English (en)
Other versions
JP2010204882A (ja
Inventor
千春 佐山
茂男 柚山
浩司 渡邊
牧  秀行
鈴木  康広
Original Assignee
日本たばこ産業株式会社
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本たばこ産業株式会社, 株式会社日立製作所 filed Critical 日本たばこ産業株式会社
Priority to JP2009048808A priority Critical patent/JP4717934B2/ja
Publication of JP2010204882A publication Critical patent/JP2010204882A/ja
Application granted granted Critical
Publication of JP4717934B2 publication Critical patent/JP4717934B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object or an image, setting a parameter value or selecting a range
    • G06F3/04842Selection of a displayed object
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce, e.g. shopping or e-commerce
    • G06Q30/02Marketing, e.g. market research and analysis, surveying, promotions, advertising, buyer profiling, customer management or rewards; Price estimation or determination

Description

本発明は、関係分析方法、関係分析プログラム、および、関係分析装置に関する。

ユーザは商品などの対象物を見ることによって商品を認知し、その商品の購入を検討する。よって、ユーザの視線情報は、ユーザの興味を示す情報として有効な情報である。よって、ユーザの視線情報を収集する手法が、提案されている。

例えば、特許文献1には、商品ごとにその商品の展示位置を内包するような区画を設定し、その区画に入ったユーザの視線を検知することで、そのユーザのその商品に対する注目度を計測する手法が提案されている。
一方、非特許文献1には、視線検知における検知誤差の存在が示唆される。例えば、被験者によっては視線方向(角度)の推定誤差が、約9度発生してしまうことが示唆されている。

特開2007−286995号公報

「顔特徴点追跡による単眼視線推定」映像情報メディア学会誌vol,61,No.12,pp.1750-1755(2007)

従来のPOS(Point of sale)では、ユーザが購入した段階での購入履歴などのデータを、マーケティングに活用する。しかし、ユーザが実際に購入するまでには、商品の認知から他商品との比較検討などの購入までのプロセスが存在する。よって、この購入までのプロセスのデータをマーケティングリサーチとして収集することができれば、さらなる商品の販売促進に活用することができる。

しかし、非特許文献1に示すように、従来の視線検知処理では精度が悪いため、その視線検知処理をもとにしたマーケティングは困難である。例えば、特許文献1に記載された視線検知処理では、カメラで撮影したユーザの顔画像から画像処理により視線を認識するため、カメラの撮影環境(ユーザの移動に伴うブレや、照明の陰影など)に大きく影響され、充分な精度を得ることができなかった。
その結果、ユーザが実際に見ていたものとは異なる商品を検知してしまい、その誤った検知結果に基づいて分析を行うと、間違った分析結果が得られてしまう。

そこで、本発明は、前記した問題を解決し、低精度な視線検知処理の影響を抑制しつつ、高精度のマーケティング分析結果を得ることを、主な目的とする。

前記課題を解決するために、本発明は、商品への視線データと、その商品への購入に関する行動データとの関係を分析する関係分析装置による関係分析方法であって、
前記関係分析装置が、記憶部と、視線検知部と、注視度算出部と、行動処理部と、分析処理部とを含めて構成され、
前記記憶部には、商品陳列部に配置された各商品の位置情報を基に、視線が向けられる商品を識別するための区画定義データが記憶され、その区画定義データが、商品ごとに、その商品を内包する1つの基本区画と、その基本区画と少なくとも一部が交差する拡張区画と、を対応づけて構成され、
前記視線検知部が、前記商品陳列部に配置された各商品への前記視線データを検知し、
前記注視度算出部が、前記視線検知部が検知した前記視線データの位置情報と、前記区画定義データで定義される各区画の位置情報とを区画ごとに照合することにより、区画ごとの注視度を計算し、区画に対応する商品ごとに、前記区画ごとの注視度を集計して商品ごとの注視度データを計算して前記記憶部に記憶し、
前記行動処理部が、前記商品陳列部に配置された各商品に対する前記行動データの入力を受け付けて、前記記憶部に記憶し、
前記分析処理部が、前記記憶部に記憶された前記商品ごとの注視度データと、前記商品ごとの行動データとを結合し、両方のデータ間の相関を計算して出力することを特徴とする。
その他の手段は、後記する。

本発明によれば、低精度な視線検知処理の影響を抑制しつつ、高精度のマーケティング分析結果を得ることができる。

本発明の一実施形態に関する視線分析装置を示す構成図である。 本発明の一実施形態に関する視線分析装置を自動販売機として構成する旨を示す構成図である。 本発明の一実施形態に関する視線分析装置を販売所に配置する旨を示す構成図である。 本発明の一実施形態に関する視線分析装置のハードウェア構成を示す構成図である。 本発明の一実施形態に関する商品陳列部の一例を示す説明図である。 本発明の一実施形態に関する視線検知データ記憶部の一例を示す説明図である。 本発明の一実施形態に関する区画定義データ記憶部の一例を示す説明図である。 本発明の一実施形態に関する区画定義データ記憶部における多重の区画定義を示す説明図である。 本発明の一実施形態に関する区画定義データ記憶部のデータ構造を示す説明図である。 本発明の一実施形態に関する視線検知データ記憶部の一例を示す説明図である。 本発明の一実施形態に関する注視度算出部の処理を示すフローチャートである。 本発明の一実施形態に関する注視度算出部の処理の詳細を示す説明図である。 本発明の一実施形態に関する分析結果記憶部の一例を示す説明図である。 本発明の一実施形態に関する分析結果記憶部の一例を示す説明図である。

以下、本発明が適用されるデータベースシステムの一実施形態について、図面を参照しながら説明する。

図1は、視線分析装置1(関係分析装置)を示す構成図である。
視線分析装置1は、視線処理部10と、行動処理部20と、分析処理部30とを含めて構成される。
なお、視線分析装置1の台数は、図1に例示する1台ずつに限定されず、それぞれ任意の台数としてもよい。例えば、100台の視線分析装置1が、ネットワークを介して接続されるとともに、各視線分析装置1が収集するデータ(注視度データ記憶部15のデータなど)が、ネットワークを介して互いに共有されるようにしてもよい。
視線処理部10は、視線検知部11と、視線検知データ記憶部12と、区画定義データ記憶部13と、商品陳列部13bと、商品陳列データ記憶部13cと、注視度算出部14と、注視度データ記憶部15と、を含めて構成される。
行動処理部20は、行動データ入力部21と、行動データ記憶部22と、を含めて構成される。
分析処理部30は、結合パラメータ入力部31と、データ結合部32と、関係分析部33と、分析結果記憶部34と、分析結果出力部35と、を含めて構成される。

視線検知部11は、商品陳列部13bを見ているユーザの視線の位置を検知する。
視線検知データ記憶部12は、視線検知部11による視線の検知結果を格納する。
区画定義データ記憶部13は、商品陳列部13bの商品配置を元にした区画の定義を格納する。
商品陳列部13bは、ユーザの購入対象である商品を1つ以上陳列する。
商品陳列データ記憶部13cは、商品陳列部13bの商品配置の位置情報を格納する。
注視度算出部14は、視線検知データ記憶部12および区画定義データ記憶部13のデータをもとに、商品陳列部13bの各商品に対してユーザが注視している(視線を向ける)度合い(注視度)を算出する。
注視度データ記憶部15は、注視度算出部14の計算結果である注視度を格納する。

行動データ入力部21は、商品陳列部13bの商品に対するユーザ(購入者)の行動(購入操作など)の入力を受け付ける。
行動データ記憶部22は、行動データ入力部21から入力されたユーザの行動を記憶する。

結合パラメータ入力部31は、データ結合部32による結合処理に参照される各パラメータの入力を受け付ける。
データ結合部32は、ユーザの注視度(注視度データ記憶部15)と、ユーザの行動(行動データ記憶部22)とを結合する。
関係分析部33は、データ結合部32の結合結果を基に、ユーザの注視度と行動との関係を分析する。
分析結果記憶部34は、関係分析部33による分析結果を記憶する。
分析結果出力部35は、分析結果記憶部34のデータをユーザ(分析者)に出力する。

図2は、視線分析装置1を自動販売機2として構成するときの構成図である。
自動販売機2は、図1の視線処理部10および行動処理部20を一台の筐体に収容する。分析処理部30を有する分析所装置3は、自動販売機2とは別の場所に設置されている。なお、自動販売機2および分析所装置3の台数は、図2に例示する1台ずつに限定されず、それぞれ任意の台数としてもよい。例えば、100台の自動販売機2と、1台の分析所装置3とが、ネットワークを介して接続される。
自動販売機2は、自動販売機2で商品の購入を検討するために立ち止まるユーザごとに、セッションを認識する。そして、視線検知部11の視線検知結果と、行動データ入力部21の購入履歴とは、同一時刻に立ち止まる同一人物に対しては同じセッションIDが割り当てられる。
つまり、セッションとは、あるユーザの1回の商品購入における、見始めから見終わりまでの連続する時間帯を指す。なお、あるセッションと別のセッションとを区切る手法は、例えば、自動販売機2の前にいる人物の撮影画像認識処理や、自動販売機2の入力された操作ごとにセッションを区切る処理や、自動販売機2の手前に発射され続ける赤外線による認識処理などがある。

図3は、視線分析装置1の各構成要素(視線処理部10、行動処理部20、および、分析処理部30)を分散させて販売所に配置するときの構成図である。
販売所は、商品陳列棚と商品会計レジとが、互いに離れた位置に設置されている。そして、商品陳列棚には視線処理部10の構成を有する端末が配置され、商品会計レジには行動処理部20の構成を有する端末が配置されている。
この場合、図2の自動販売機2と異なり、視線処理部10の商品陳列部13bの商品を見たユーザと、行動処理部20で商品の決済を実施するユーザとの対応付けが困難である。よって、視線検知部11の視線検知結果と、行動データ入力部21の購入履歴とは、セッションとしては対応づけられない。
分析所装置3は、ネットワーク9を介して、各視線処理部10および各行動処理部20から処理結果を収集する。

図4は、視線分析装置1を1つの筐体に含まれる装置として構成したときのハードウェア構成を示す構成図である。視線分析装置1は、CPU91と、RAM92と、ハードディスク装置93と、通信装置94と、表示装置95と、キーボード96と、マウス97と、プリンタ98と、を含めて構成されるコンピュータである。
CPU91は、RAM92に読み込まれた各プログラムを実行することで、視線分析装置1の各構成要素を制御する。
RAM92は、各処理部(視線処理部10、行動処理部20、分析処理部30)を実行するためのプログラムを格納する。なお、図5で後記するように、視線処理部10の視線検知部11には、ユーザの顔画像を撮影するためのカメラが接続されている。
ハードディスク装置93は、CPU91の処理に必要な各処理部のデータを格納する。
通信装置94は、ネットワーク9を介して、他装置(例えば、図示しないユーザ端末など)との通信を行うためのインタフェースである。
表示装置95は、ユーザにデータを表示して提供する。
キーボード96は、ユーザから文字入力を受け付ける。
マウス97は、ユーザから操作入力を受け付ける。
プリンタ98は、ユーザにデータを印刷して提供する。

図5は、商品陳列部13bの一例を示す説明図である。

商品陳列部13bには、商品が1つ以上(図では4つ)展示されている。なお、商品陳列は、実商品だけでなく、その商品の立体的なモックアップや、平面的なポスター広告など、ある商品を別の商品と区別するための情報が把握できれば、任意のものとして構成することができる。
ユーザ(購入者)は、斜視投影面(例えば、自動販売機2における商品ケース)を介して、陳列されている商品を見ている。以下、本願明細書では、通常直線情報として表現される人間の視線を、その直線に対する斜視投影面上の商品の投影像における交点として、点情報で表現する(以下、視線点と表記する)。

視線検知部11は、商品陳列部13bを見ているユーザの視線の位置を検知するため、例えば、ユーザ(購入者)の顔を正面から撮影しやすいように配置されたカメラとして構成される。特許文献1の手法では、このカメラで撮影されたユーザの顔写真から、顔パーツ(目、鼻など)を切り出すとともに、その切り出した目の位置および方向を認識して、ユーザの視線を計算する。よって、視線検知部11は、例えば、この特許文献1で示される顔写真の画像認識処理により、ユーザの視線を検知する。

一方、視線検知部11は、特許文献1の手法だけに限定されず、認識率を向上させる他の技術を用いてもよい。例えば、購入者が特定の人間であることが事前にわかるときには、その人間に特化したキャリブレーション(事前設定)を実施したり、購入者の頭にヘッドセットをつけて認識補助データを収集したりしてもよい。

図6は、視線検知データ記憶部12の一例を示す説明図である。
視線検知部11の検知結果として記憶される視線検知データ記憶部12は、図6(a)で示されるように、各時刻での視線(黒点)を時系列に接続したデータである。視線検知部11は、区画定義データ記憶部13に事前に登録されている区画に対して、購入者の視線が区画に入ったとき、その商品を見ているとみなす。図6(a)では、同じ区画に対して、2回の視線移動(区画に入ってから区画を出るまで)があったことを示す。
そして、図6(b)は、図6(a)の視線検知データ記憶部12のデータ内容を、表形式で視線分析装置1に格納されている旨を示す。視線検知データ記憶部12は、視線分析装置1が設置される「販売所ID」と、視線分析装置1が認識したユーザの「セッションID」と、視線検知部11の検知した「日時」と、その日時における視線の点データ位置(X座標,Y座標)とを対応づけて管理する。
例えば、図6(b)におけるセッションID「100467893」のレコード(上から7つ分)は、図6(a)における区画の左上から進入する視線移動に該当する。
同様に、図6(b)におけるセッションID「100467894」のレコード(下から2つ分)は、図6(a)における区画の右下から進入する視線移動に該当する。

図7は、区画定義データ記憶部13の一例を示す説明図である。
区画定義データ記憶部13は、商品ごとの区画を定義するデータを記憶する。なお、図7では、区画はすべて矩形として説明するが、矩形だけに限定されず、円形や楕円形などの任意の形状を用いてもよい。

図7(a)は、商品を内包する基本区画を示す。基本区画は、異なる商品の区画同士が重ならないように定義される。さらに、基本区画と基本区画の間に隙間が空く場合もあったり、同じ商品の基本区画が複数個飛び地で存在したりしてもよい。
商品A〜Eでは、1つの区画(点線の矩形で示す)が1つの商品を内包している。
商品Fでは、1つの区画が3つの商品を内包している。
商品Gでは、1つの区画が2つの商品を内包している。

図7(b)は、基本区画を拡張(派生)して作成される拡張区画のうち、基本区画を内包する外部区画を示す。商品Bの基本区画から、商品Bの外部区画が定義される。外部区画は、内包する商品の位置から外側に定義されるため、他の商品の基本区画や外部区画と重なることもある。
なお、外部区画を定義することにより、商品Bを見ているにもかかわらず、視線検知部11の検知誤差により、商品Bの基本区画からはみ出した場合でも、その視線の位置が外部区画内に収まることが期待されるので、多少の検知誤差を許容することができる。

図7(c)は、基本区画を拡張(派生)して作成される拡張区画のうち、基本区画に内包される内部区画を示す。商品Bの基本区画から、商品Bの内部区画が定義される。なお、内部区画は、基本区画内の一部の領域であればどの位置に定義してもよいため、商品の位置に内部区画が収まらなくてもよい。
なお、内部区画を定義することにより、商品Bを見ているときに、視線検知部11の検知結果が正常に商品Bの基本区画内に収まったときには、その視線の位置がさらに内部区画内に収まることが期待されるので、商品Bを見ているときに正しくその旨が検知されやすくなる。

図8は、区画定義データ記憶部13における多重の区画定義を示す説明図である。多重の区画定義とは、1つの基本区画に対して、複数の拡張区画を定義する形態である。
図8(a)では、1つの基本区画に対して、2つの外部区画を定義する。第1外部区画は、基本区画を内包する外部区画である。第2外部区画は、第1外部区画を内包する外部区画である。
図8(b)では、1つの基本区画に対して、1つの外部区画および1つの内部区画を定義する。

図9は、区画定義データ記憶部13のデータ構造を示す説明図である。図9の左側に区画の展開図を示し、右側にその展開図を作成するためのデータ構造について、XMLツリー形式のテキストを示す。
図9(a)では、商品Aに対して、1つの矩形(a1)から構成される1つの区画(A)を定義している。
図9(b)では、商品Aに対して、2つの矩形(a1,a2)からそれぞれ構成される2つの区画(A1,A2)を定義している。
図9(c)では、商品Bに対して、2つの矩形(b1,b2)からそれぞれ構成される1つの区画(B)を定義している。

図10は、視線検知データ記憶部12の一例を示す説明図である。図の左側が商品陳列部13b上に視線検知データ記憶部12の視線点を示したものであり、図の右側がさらに区画定義データ記憶部13の区画を示したものである。この図10では、ユーザが商品Eを見ているとする。

まず、図10(a)では、視線検知部11として高精度なセンサを用いた検知結果を示す。ユーザが実際に見ているとおり、視線点が商品Eの近辺に集中するので、その各視線点は、商品Eの基本区画にほぼ収まる。

一方、図10(b)では、視線検知部11として低精度なセンサを用いた検知結果を示す。誤差の影響により、ユーザが実際に見ている視線の位置とは異なった位置に視線点が分散されてしまっているので、その各視線点は、商品Eの基本区画には収まらないものが多い。このような誤差の発生要因は、例えば、人物が静止せずに動いているため、顔モデルのパーツ(目など)が正しく認識されないことや、照明の影響で陰影ができてしまい、顔領域をうまく切り出せないことなどが挙げられる。

表1は、視線分析装置1を自動販売機2として構成するときの各データの詳細を示す。図2で前記したように、自動販売機2では、商品の閲覧者と購入者とが同一人物として対応付け可能なので、その人物に対してセッションIDを発行することができる。

表1の注視度データ記憶部15は、自動販売機2が設置される「販売所ID」と、ユーザである「セッションID」と、ユーザが見た商品陳列部13bの「注視度商品ID」と、その商品についての「注視度」とを対応づけて管理する。

表1の行動データ記憶部22は、注視度データ記憶部15で前記した販売所IDと、前記したセッションIDと、ユーザが購入した「購入商品ID」と、を対応づけて管理する。なお、商品を見ただけで購入しないユーザも存在するが、そのときには、「購入商品ID」は「なし」に設定される。なお、ここではユーザの行動の一例として、「購入」を例示したが、他にもユーザが商品に働きかける一連の行動(商品選択操作、商品検索操作、商品注文操作など)を行動データとして記憶してもよい。

表1の分析結果記憶部34は、注視度データ記憶部15と行動データ記憶部22とをデータ結合部32が結合処理(SQLのjoin演算)した結果を格納するものである。分析結果記憶部34は、販売所IDと、セッションIDと、注視度商品IDと、注視度と、購入商品IDと、購入フラグと、を対応づけて管理する。販売所IDおよびセッションIDの組み合わせは、結合キーを示す。
注視度商品IDおよび注視度は、注視度データ記憶部15から抽出されるデータであり、購入商品IDは、行動データ記憶部22から抽出されるデータである。
購入フラグは、結合処理後に計算されるフラグであり、同一レコード内の注視度商品IDと購入商品IDとが一致するときには「1(購入)」を設定し、一致しないときには「0(未購入)」を設定する。この購入フラグは、ユーザの視線と行動との相関を示すパラメータである。

表2は、視線分析装置1を販売所に配置するときの各データの詳細を示す。図3で前記したように、販売所の店頭販売では、商品の閲覧者と購入者とが同一人物として対応付け困難なので、個々のユーザのセッションを識別する代わりに、単位時間(例えば1日)あたりの統計情報を扱う。つまり、表1の結合キー列である「販売所ID&セッションID」が、表2では「販売所ID&日時」に置き換わっている。

表2の注視度データ記憶部15は、表1の注視度データ記憶部15と比較すると、セッションIDが日時(統計情報の単位時間)に置き換わっており、注視度がその日時における各ユーザの注視度の合計値(平均値でもよい)に置き換わっている。

表2の行動データ記憶部22は、表1の行動データ記憶部22と比較すると、セッションIDが日時(統計情報の単位時間)に置き換わっており、購入商品IDが示す商品についての「日時」における各ユーザの購入履歴の合計値を示す「販売数」列が追加されている。

表2の分析結果記憶部34は、表1の分析結果記憶部34と比較すると、セッションIDが日時(統計情報の単位時間)に置き換わっており、前記した表2の各列が結合結果として分析結果記憶部34に存在する。
なお、表2の分析結果記憶部34は、結合キー列が「販売所&日時」であるが、基本的に、注視度データ記憶部15の「日時」と行動データ記憶部22の「日時」とが一致するレコードを結合する。しかし、結合処理において、注視度データ記憶部15の「日時」に「スライド幅の日時」を加算した日時と、行動データ記憶部22の「日時」とが一致するレコードを結合してもよい。「スライド幅の日時」を設けることにより、ユーザの商品認知(商品を見る)から商品購入の意志決定(購入という行動)までのユーザの検討期間におけるタイムラグを考慮した分析が可能になる。
そのため、結合パラメータ入力部31は、あらかじめ入力された「スライド幅の日時」をハードディスク装置93に保持するとともに、データ結合部32の結合処理時に提供する。

図11は、注視度算出部14の処理を示すフローチャートである。なお、1つの商品に対して複数の区画(1つの基本区画と1つ以上の拡張区画)が設定されている。よって、注視度算出部14は、1つの商品に設定された複数の区画それぞれの注視度を求めた後、それらの区画ごとの注視度の集計値(例えば、加重平均演算値)を、1つの商品の注視度として求める。以下、注視度算出部14の処理の詳細を説明する。

S101において、視線検知データ記憶部12(図6)から販売所IDとセッションIDとを読み込み、その読み込んだデータに対応する視線検知データ(日時、X座標、Y座標)を読み込む。
S102において、区画定義データ記憶部13(図7)から、S101で読み込んだ販売所IDに対応する区画定義データを読み込む。
S103において、S102で読み込んだ区画定義データの商品IDを順に選択するループを開始する。
S104において、S103で選択した商品IDに対応する区画を順に選択するループを開始する。

S105において、S103からのループで選択した商品IDの、S104からのループで選択した区画の注視度を計算する。つまり、同じ商品であっても、その基本区画、外部区画、内部区画の注視度は別々に算出する。なお、S105の計算方法は、例えば、以下の(1)〜(3)のいずれかの計算により実現される。

計算方法(1)は、視線が区画内に滞在している時間に基づいた方法である。視線が区画に入ってから、そのあと最初に区画から出るまでの時間を注視度とする(出入りが複数回ある場合はその総和)。ただし、入ってから出るまでの時間が、所定のしきい値を下回る場合は、総和から除外することで、視線が区画を一瞬だけ通過するような場合は、注視からは除外する。

計算方法(2)は、前記した計算方法(1)において、入ってから出るまでの時間が所定のしきい値を下回る場合を総和から除外した結果、全ての商品の注視度が0になってしまった場合、しきい値を下げて再計算する方法である。

計算方法(3)は、視線が区画内を移動する速さに基づいた方法である。区画内における視線移動速度の平均値が低い(つまり、視線移動がゆっくりである)ほど、注視度を高得点とする。

S106において、S104からのループを終了する。
S107において、S105でそれぞれ求めた区画の注視度の集計値(加重和や加重平均値など)を、S103で選択した商品IDの注視度とする。注視度の集計値は、各区画の注視度に対して、その区画に応じた重みを乗じた値の総和である。
区間ごとに設定されたそれぞれの重みは、記憶手段に格納されている。
区画に応じた重みは、例えば、商品展示の中心になるほど高得点の重みが定義される(つまり、重み値が高い順に、内部区画>基本区画>外部区画となる)。一方、区画に応じた重みは、商品展示の中心になるほど高得点とする代わりに、任意の重みを設定することとしてもよい。
S108において、S103からのループを終了する。

S109において、S107で求めた各商品の注視度を、注視度の合計値が1になるように正規化する。具体的には、商品ごとの注視度を、全商品の注視度の総和で割り算した結果(商)を、正規化した商品ごとの注視度とする。なお、ユーザの視線滞在時間(割り算の分母値)について、全区画の時間総和を1とした時の各区画の時間比を、各商品の注視度として求めてもよいし、ユーザの視線滞在時間はその区画にも属していない(例えば、ユーザが自分の財布を見ている)時間帯を加算した時間比としてもよい。

図12は、図11で示した注視度算出部14の処理(特にS107)を示す説明図である。
図12(a)では、S103において「商品E」が選択されているときの、S107の計算処理を示す。商品Eには2つの区画が設定されているので、その区画ごとの注視度計算処理(S105)が2回実行される(S105の計算結果がそれぞれ「0.2」「1.0」)。そして、S107において、2つの計算結果が平均演算として1つの値「0.6」に集計されている。
図12(b),(c)も同様にして、集計値「0.2」「0.1」が求まる。ここで、図12に示した3つの集計値を比較すると、図12(a)が示す商品Eの集計値が最高点「0.6」であり、図10(b)で示したように、低精度のセンサにより視線点が基本区画に収まっていない場合でも、外部区画が基本区画を補うことにより、正しい認識結果(商品E)が得られる。

図13は、分析結果記憶部34の一例を示す説明図である。
図13(a)では、自動販売機2の構成(図2,表1参照)における関係分析部33の分析結果を示す。グラフの1つの点が1つのセッションに対応する。図13(a)のグラフは、横軸が商品ごとの注視度で、縦軸がその商品の購入フラグを示す。そして、注視度と購入フラグとの相関係数「0.57」とその相関グラフ(右上がりの直線)が併せて表示される。なお、このグラフは、縦軸と横軸とが同じ商品である例を示したが、互いに異なる商品としてもよい。

この分析結果を参照することにより、注視度が低い(あまり見られていない)商品は、あまり買われない(購入フラグが0)という相関関係が把握できる。
このように、関係分析部33が出力する視線と商品購入との関係をマーケティングリサーチとして知ることで、商品ラインナップの決定、棚割り、仕入計画、売上予測などの商品販売活動(マーケティング)に役立てることができる。

図13(b)では、店頭販売の構成(図3,表2参照)における分析結果を示す。図13(a)と異なりセッションを抽出できないので、図13(b)のグラフにおける1つの点は、日時ごとの1つの統計値(販売数)を示す。

図14は、分析結果記憶部34の一例を示す説明図である。この図では、視線検知部11の計算精度が、関係分析部33の関係分析の精度に影響を与えることを説明する。
図14(a)では、図10(a)に示したように、視線検知部11として高精度なセンサを使用した例を示す。この相関係数「0.57」を正解値として、以下説明する。

図14(b)では、図10(b)に示したように、視線検知部11として低精度なセンサを使用し、かつ、基本区画だけで視線検知処理を実行した例を示す。本来は商品Aを見ている場合でも、誤差の影響により注視度が低くなってしまった結果、相関係数も図14(a)の正解値「0.57」から大きく離れた「0.33」になってしまっている。

図14(c)では、図10(b)に示したように、視線検知部11として低精度なセンサを使用し、かつ、基本区画だけでなく拡張区画も用いた例を示す。基本区画に収まらない誤差を拡張区画が吸収するため、相関係数も図14(a)の正解値「0.57」に近い「0.48」になり、相関計算の精度が図14(b)よりも改善される。

表3は、注視度データ記憶部15の計算結果(商品ごとの注視度)を比較するための表である。表3の各列の(a)〜(c)は、図14の(a)〜(c)に対応する。
高精度センサを用いた正解値(a)に対して、低精度センサを用いた計算値(b)は大きくかけ離れている(特に商品E)。しかし、同じ低精度センサを用いた場合でも、拡張区画を用いることにより、計算値(d)は改善される。

以上説明した本実施形態によれば、視線分析装置1が、視線検知部11の検知結果である視線データをもとに、注視度算出部14が商品ごとの注視度を計算する。この計算時に、区画定義データ記憶部13の基本区画だけでなく、基本区画から派生した拡張区画を用いることにより、視線検知部11の検知精度が低い場合でも、高精度の注視度を計算することができる。
よって、分析処理部30は、計算された高精度のユーザの注視度および行動処理部20によるユーザの行動データを入力パラメータとして、注視度と行動との関係を分析することができるので、高精度の分析結果を出力することができる。
以上説明した本実施形態の視線分析装置1は、図1〜図4に示した台数や構成に限定されず、適宜構成要素を増減してもよい。

1 視線分析装置
2 自動販売機
3 分析所装置
9 ネットワーク
10 視線処理部
11 視線検知部
12 視線検知データ記憶部
13 区画定義データ記憶部
13b 商品陳列部
13c 商品陳列データ記憶部
14 注視度算出部
15 注視度データ記憶部
20 行動処理部
21 行動データ入力部
22 行動データ記憶部
30 分析処理部
31 結合パラメータ入力部
32 データ結合部
33 関係分析部
34 分析結果記憶部
35 分析結果出力部
91 CPU
92 RAM
93 ハードディスク装置
94 通信装置
95 表示装置
96 キーボード
97 マウス
98 プリンタ

Claims (10)

  1. 商品への視線データと、その商品への購入に関する行動データとの関係を分析する関係分析装置による関係分析方法であって、
    前記関係分析装置は、記憶部と、視線検知部と、注視度算出部と、行動処理部と、分析処理部とを含めて構成され、
    前記記憶部には、商品陳列部に配置された各商品の位置情報を基に、視線が向けられる商品を識別するための区画定義データが記憶され、その区画定義データは、商品ごとに、その商品を内包する1つの基本区画と、その基本区画と少なくとも一部が交差する拡張区画と、を対応づけて構成され、
    前記視線検知部は、前記商品陳列部に配置された各商品への前記視線データを検知し、
    前記注視度算出部は、前記視線検知部が検知した前記視線データの位置情報と、前記区画定義データで定義される各区画の位置情報とを区画ごとに照合することにより、区画ごとの注視度を計算し、区画に対応する商品ごとに、前記区画ごとの注視度を集計して商品ごとの注視度データを計算して前記記憶部に記憶し、
    前記行動処理部は、前記商品陳列部に配置された各商品に対する前記行動データの入力を受け付けて、前記記憶部に記憶し、
    前記分析処理部は、前記記憶部に記憶された前記商品ごとの注視度データと、前記商品ごとの行動データとを結合し、両方のデータ間の相関を計算して出力することを特徴とする
    関係分析方法。
  2. 前記視線検知部は、前記視線データを検知するときに、前記商品陳列部に設置されているカメラが撮影するユーザの顔画像から、目のパーツを検知することで、前記視線データを検知することを特徴とする
    請求項1に記載の関係分析方法。
  3. 前記分析処理部は、注視度データと前記行動データとを結合するときに、両データの日時が同じデータを互いに結合することを特徴とする
    請求項1または請求項2に記載の関係分析方法。
  4. 前記分析処理部は、注視度データと前記行動データとを結合するときに、所定日時の注視度データと、所定日時に所定のスライド幅となる日時を加算した日時における前記行動データとを、互いに結合することを特徴とする
    請求項1または請求項2に記載の関係分析方法。
  5. 前記関係分析装置は、前記商品陳列部に配置された各商品の購入手段を有する自動販売機として構成され、
    前記行動処理部は、各商品に対する前記行動データとして、各商品の購入履歴データの入力を受け付けることを特徴とする
    請求項1または請求項2に記載の関係分析方法。
  6. 前記分析処理部は、注視度データと前記行動データとを結合するときに、所定日時において自動販売機の前に存在する所定ユーザについて、所定ユーザの注視度データと、所定ユーザの前記行動データとを、互いに結合することを特徴とする
    請求項5に記載の関係分析方法。
  7. 前記関係分析装置は、前記区画定義データの前記拡張区画として、所定商品の前記基本区画を内包する外部区画、および、所定商品の前記基本区画に内包される内部区画のうちの少なくとも1つの区画を前記記憶部に記憶することを特徴とする
    請求項1ないし請求項6のいずれか1項に記載の関係分析方法。
  8. 前記関係分析装置は、前記区画定義データにおける所定の商品に対応づけられている複数の区画について、区間ごとにそれぞれ重みを対応づけて前記記憶部に記憶し、
    前記注視度算出部は、前記区画ごとの注視度を集計して前記商品ごとの注視度データを計算するときに、前記区画ごとの注視度に対して前記記憶部に記憶されている重みを乗算する重み付け加算処理により、前記商品ごとの注視度データを計算すること特徴とする
    請求項1ないし請求項7のいずれか1項に記載の関係分析方法。
  9. 請求項1ないし請求項8のいずれか1項に記載の関係分析方法を、コンピュータである前記関係分析装置に実行させるための関係分析プログラム。
  10. 商品への視線データと、その商品への購入に関する行動データとの関係を分析する関係分析装置であって、
    前記関係分析装置は、記憶部と、視線検知部と、注視度算出部と、行動処理部と、分析処理部とを含めて構成され、
    前記記憶部には、商品陳列部に配置された各商品の位置情報を基に、視線が向けられる商品を識別するための区画定義データが記憶され、その区画定義データは、商品ごとに、その商品を内包する1つの基本区画と、その基本区画と少なくとも一部が交差する拡張区画と、を対応づけて構成され、
    前記視線検知部は、前記商品陳列部に配置された各商品への前記視線データを検知し、
    前記注視度算出部は、前記視線検知部が検知した前記視線データの位置情報と、前記区画定義データで定義される各区画の位置情報とを区画ごとに照合することにより、区画ごとの注視度を計算し、区画に対応する商品ごとに、前記区画ごとの注視度を集計して商品ごとの注視度データを計算して前記記憶部に記憶し、
    前記行動処理部は、前記商品陳列部に配置された各商品に対する前記行動データの入力を受け付けて、前記記憶部に記憶し、
    前記分析処理部は、前記記憶部に記憶された前記商品ごとの注視度データと、前記商品ごとの行動データとを結合して、両方のデータ間の相関を計算して出力することを特徴とする
    関係分析装置。
JP2009048808A 2009-03-03 2009-03-03 関係分析方法、関係分析プログラム、および、関係分析装置 Expired - Fee Related JP4717934B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009048808A JP4717934B2 (ja) 2009-03-03 2009-03-03 関係分析方法、関係分析プログラム、および、関係分析装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2009048808A JP4717934B2 (ja) 2009-03-03 2009-03-03 関係分析方法、関係分析プログラム、および、関係分析装置
KR1020100017236A KR20100099657A (ko) 2009-03-03 2010-02-25 관계 분석 방법, 관계 분석 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 및 관계 분석 장치
CN 201010124242 CN101826154A (zh) 2009-03-03 2010-02-25 关系分析方法、关系分析程序、以及关系分析装置
EP20100250357 EP2226758A1 (en) 2009-03-03 2010-02-26 Relationship analysis method, relationship analysis program, and relationship analysis apparatus
US12/713,455 US20100262281A1 (en) 2009-03-03 2010-02-26 Relationship analysis method, relationship analysis program, and relationship analysis apparatus

Publications (2)

Publication Number Publication Date
JP2010204882A JP2010204882A (ja) 2010-09-16
JP4717934B2 true JP4717934B2 (ja) 2011-07-06

Family

ID=42111482

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009048808A Expired - Fee Related JP4717934B2 (ja) 2009-03-03 2009-03-03 関係分析方法、関係分析プログラム、および、関係分析装置

Country Status (5)

Country Link
US (1) US20100262281A1 (ja)
EP (1) EP2226758A1 (ja)
JP (1) JP4717934B2 (ja)
KR (1) KR20100099657A (ja)
CN (1) CN101826154A (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5027637B2 (ja) * 2007-12-19 2012-09-19 日本たばこ産業株式会社 マーケティングデータ分析方法、マーケティングデータ分析システム、データ分析サーバ装置およびプログラム
WO2012161349A1 (ja) * 2011-05-24 2012-11-29 九州日本電気ソフトウェア株式会社 情報処理装置、その制御方法、制御プログラム、情報処理システム、及び情報処理方法
DK2587341T3 (en) * 2011-10-27 2017-04-03 Tobii Ab Power management in an eye tracking system
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
JP2015064513A (ja) * 2013-09-26 2015-04-09 カシオ計算機株式会社 表示装置、コンテンツ表示方法及びプログラム
WO2015100335A1 (en) * 2013-12-23 2015-07-02 Eyelock, Inc. Methods and apparatus for power-efficient iris recognition
JP6621197B2 (ja) * 2014-10-22 2019-12-18 株式会社きもちラボ 行動・気持ち推定システム、及び、行動・気持ち推定装置
CN106327680B (zh) * 2015-06-19 2019-05-31 昆达电脑科技(昆山)有限公司 自动贩卖机
EP3174001A1 (en) 2015-11-27 2017-05-31 Fujitsu Limited Gaze tracking system and gaze tracking method
WO2017153354A1 (de) * 2016-03-07 2017-09-14 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und vorrichtung zum bewerten von blickabbildungen
JP6160736B2 (ja) * 2016-04-20 2017-07-12 株式会社ニコン 情報処理装置
CN106384082B (zh) * 2016-08-30 2019-09-03 西安小光子网络科技有限公司 一种基于光标签的用户热点获取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195907A (ja) * 1997-09-22 1999-04-09 Alps Electric Co Ltd 遠隔入力装置
JP2007249722A (ja) * 2006-03-17 2007-09-27 Hitachi Ltd 物体検知装置
JP2009042956A (ja) * 2007-08-08 2009-02-26 Hitachi Ltd 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5331544A (en) * 1992-04-23 1994-07-19 A. C. Nielsen Company Market research method and system for collecting retail store and shopper market research data
US20050190970A1 (en) * 2004-02-27 2005-09-01 Research In Motion Limited Text input system for a mobile electronic device and methods thereof
JP4037378B2 (ja) * 2004-03-26 2008-01-23 シャープ株式会社 情報処理装置、画像出力装置、情報処理プログラムおよび記録媒体
JP4876687B2 (ja) * 2006-04-19 2012-02-15 株式会社日立製作所 注目度計測装置及び注目度計測システム
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
US20100127013A1 (en) * 2008-11-26 2010-05-27 Butler Jon F Dvd kiosks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195907A (ja) * 1997-09-22 1999-04-09 Alps Electric Co Ltd 遠隔入力装置
JP2007249722A (ja) * 2006-03-17 2007-09-27 Hitachi Ltd 物体検知装置
JP2009042956A (ja) * 2007-08-08 2009-02-26 Hitachi Ltd 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム

Also Published As

Publication number Publication date
EP2226758A1 (en) 2010-09-08
US20100262281A1 (en) 2010-10-14
CN101826154A (zh) 2010-09-08
JP2010204882A (ja) 2010-09-16
KR20100099657A (ko) 2010-09-13

Similar Documents

Publication Publication Date Title
US9269157B2 (en) Methods for extracting objects from digital images and for performing color change on the object
US9607212B2 (en) Time-in store estimation using facial recognition
US10043068B1 (en) Body modeling and garment fitting using an electronic device
US9298989B2 (en) Method and apparatus for recognizing actions
US10127438B1 (en) Predicting inventory events using semantic diffing
CN104919794B (zh) 用于从主从式相机跟踪系统提取元数据的方法和系统
US20150317620A1 (en) Digital point-of-sale analyzer
US10290031B2 (en) Method and system for automated retail checkout using context recognition
US20160203499A1 (en) Customer behavior analysis system, customer behavior analysis method, non-transitory computer readable medium, and shelf system
JP4125634B2 (ja) 顧客情報収集管理方法及びそのシステム
US7752077B2 (en) Method and system for automated comparison of items
JP5650499B2 (ja) 商品に対する消費者の購買嗜好を収集するためのコンピュータにより実施される方法
KR102093198B1 (ko) 시선 인식을 이용한 사용자 인터페이스 방법 및 장치
US8010402B1 (en) Method for augmenting transaction data with visually extracted demographics of people using computer vision
US8254633B1 (en) Method and system for finding correspondence between face camera views and behavior camera views
US8189926B2 (en) Method and system for automatically analyzing categories in a physical space based on the visual characterization of people
JP4273359B2 (ja) 年齢推定システム及び年齢推定方法
JP4621716B2 (ja) 人物行動分析装置,方法及びプログラム
US20160189286A1 (en) Methods and Devices for Smart Shopping
KR20130095727A (ko) 비디오 내 객체들의 시맨틱 파싱
US20140270370A1 (en) Person recognition apparatus and person recognition method
US9443144B2 (en) Methods and systems for measuring group behavior
JP4865811B2 (ja) 視聴傾向管理装置、システム及びプログラム
CN103038769B (zh) 用于将内容导引到社交网络引擎用户的系统和方法
US20140214484A1 (en) Customer category analysis device, customer category analysis system and customer category analysis method

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110330

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees