JP4338147B2

JP4338147B2 - 商品関心度計測装置

Info

Publication number: JP4338147B2
Application number: JP2007201846A
Authority: JP
Inventors: 聡二郎森田; 覚渋谷; 一朗大川; 透小野
Original assignee: 技研トラステム株式会社
Priority date: 2007-08-02
Filing date: 2007-08-02
Publication date: 2009-10-07
Anticipated expiration: 2027-08-02
Also published as: JP2009037459A

Description

本発明は、展示商品、たとえばマネキンやショーケースなどに展示された商品に対する買い物客個々の関心度を計測し、これを小計する装置、すなわち、商品関心度計測装置に関するものであり、展示された個々の商品に対する買い物客個々の関心度を定量化して集計することができるものである。

従来、陳列棚やショーケースに展示された商品に対する買い物客の関心の有無、その関心の高さの程度を計って、その結果を営業に生かすことが必要であり、陳列棚やショーケース近傍での買い物客の挙動（行動）を、直接、間接に目視で観察し、その関心度の高さを観察者が判断しているのが実情である。この観察者による判断では、客観性に乏しく、評価結果、あるいは集計データの内容の画一化が困難であり、したがって、複数の商品展示箇所での関心度のデータを共通にすることが困難であり、また、同データを共有することが困難である。

個々の買い物客の関心度についての評価が客観化されれば、複数の商品展示箇所での関心度のデータを共通化することができ、またデータを共有することができるので、その利用価値が高く、利用性が高くなる。したがって、商品に対する買い物客の関心度を客観的に評価し、その評価結果が定量化されることが求められる。
特許第３８００２５７号公報特許第３４０６５８７号公報特許第３３９０４２６号公報特表２００５−５０１３４８号公報特開２００６−８５３６６号公報

以上のことから、商品などに対する買い物客の関心度を、高信頼度で合理的、客観的に計測できる計測装置の実現が求められる。
また、買い物客個々の関心度についての定量的な計測データ、およびその分布を的確に把握することが、個々の商品に対する買い物客の関心の強さの如何を詳細に分析する上で有効である。

そこで、個々の商品に対する買い物客の関心度の計測精度を高めて、関心度の集計結果に対する信頼性を高くするとともに、特定の商品に対する買い物客個々の関心度の高さ、その分布及びこれらの経時変化を定量的に把握できるようにすることが、この発明の課題である。

上記課題を解決するための手段は、商品を配置する領域を一つのカメラで上方から常時撮像している撮像画像に基づいて、当該商品に対する買い物客個々の関心度を計測して当該計測値を多段階に判別し、登録し、これを加工して商品関心度情報を出力する商品関心度計測装置について、次の（イ）〜（ト）によるものである。
（イ）上記撮像画像上で個々の人を認識し、当該人の仮想重心点の移動を追跡し、上記商品の至近距離の範囲内として設定された商品関心計測領域内での当該仮想重心点の滞在時間を計測する画像処理装置を有すること、
（ロ）上記画像処理装置からの上記滞在時間により、判別基準に基づいて、上記商品に対する買い物客個々の関心度を数段階に判別する関心度合い判別装置を有すること、
（ハ）上記関心度合い判別装置による関心度合い別データを登録する関心度合い別データ記憶装置を有すること、
（ニ）上記関心度合い別データ記憶装置に登録された関心度合い別データを読み出し、これを加工するデータ加工処理装置を有すること、
（ホ）上記データ加工処理装置からの関心度情報を出力する出力装置を有すること、
（ヘ）上記画像処理装置は、上記撮像画像において人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像をベクトル焦点法による上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段を有し、また、上記仮想重心点が上記商品関心計測領域の境界を当該計測領域の外から内側へ横切ったときに計時が開始され、内側から外側に横切ったときに計時が停止される滞在時間計測手段を有する画像処理装置であること、
（ト）操作手段により、上記画像処理装置に対して上記撮像画像上に上記商品関心計測領域の境界が設定され、また、上記関心度判別装置に対して上記関心度の判別基準が設定されるようになっていること、
（チ）上記関心度合い判別装置における判別基準は、上記滞在時間と比較する時間基準であり、関心度が高いほど長くなるように上記時間基準が多段階に設定された判別基準であること。

なお、上記「商品の至近距離の範囲内として設定された商品関心計測領域」は、人が当該商品の情報を収集する行為を行うときに当該商品に接近する距離の範囲であり、関心度計測対象の形状、大きさ等に応じて設定される。
また、「買い物客個々の関心度」は、展示された商品に対して関心を有すると推定され買い物客の関心度（関心の強さ）を意味し、これを多段階のレベルに判別するための判別基準は商品の種類、大きさなどに応じて設定される。

以上の手段によれば、展示された商品に対して特別の関心を示したと推定される買い物客を特定し、この買い物客個々の関心度を、商品の観察に費やしたと推定される時間の長さにより（時間基準）、また、展示品の前で一旦停止したか（速度基準）等の所定の判断基準に基づいて評価して、この評価結果（関心度合い）を関心度の高さの段階別に集計して計測データとするから、収集された関心度合い別データが客観化され、かつ定量化される。
したがって、この関心度合いの集計結果に対する信頼性が高く、また、この関心度合い別データを加工し、これを定量的に出力することができる。
そして、上記のとおりの商品関心計測領域の境界や関心度の多段階判別基準は、操作手段により、関心度計測対象の種類、大きさ等に応じて適宜容易に設定される。
それゆえ、特定の商品に対する買い物客個々の関心度の程度、その分布及びこれらの経時変化を、客観的で高精度な関心度のデータにより定量的に把握することができる。

本発明によれば、個々の商品に対する買い物客個々の関心度の計測精度を高め、計測された関心度の段階別の関心度合いの集計結果に対する信頼性を高くするとともに、個々の商品に対する関心度合い、その分布及びこれらの経時変化を定量的に把握することができる。

以下に、本発明の実施の形態について図面を参照しながら説明する。
（実施の形態１）
本実施の形態１は、商品関心度計測装置の単純な適用例として、マネキンディスプレイに対する商品関心度を計測する場合を一例として説明する。

図１は、デパート等の店内Ｓに衣料品（商品）をマネキンＭに着せてこれを通路Ｔに面して展示したマネキンディスプレイを行っている場所を、一つのカメラ（撮像装置）９によって上方から常時撮像している撮像画像１を示している。そして、実施の形態１の商品関心度計測装置２は、当該マネキンＭに着せた商品の衣料品に対してこの通路Ｔを通行する買い物客がどの程度の関心度を示すかを計測するものである。

なお、図１中、Ａは、撮像画像１内に設定される関心計測領域（商品関心計測領域と同じ）であり、ｈは、上記通路Ｔを通行する買い物客の人物画像であり、Ｇは、人物画像ｈの仮想重心点であり、Ｒ１は、この人物画像ｈが関心計測領域Ａ内に一定時間（例えば、１０秒間）以上滞在していたときの人の挙動を示す移動軌跡であり、Ｒ２は、人物画像ｈが関心計測領域Ａ内に上記一定時間以上も滞在していなかったときの人の挙動を示す移動軌跡である。

図２は、商品関心度計測装置２の構成図を示し、この商品関心度計測装置２は、カメラ９、操作手段７、画像処理装置３、関心度合い判別装置４、関心度合い別データ記憶装置５、データ加工処理装置６、出力装置８によって構成される。

カメラ９は、例えば、１台のＣＣＤカメラ等であり、上方から商品と商品近傍の床面が見える角度で天井や壁面に設置されて商品の展示場所を上方から常時撮像し、その撮像画像１を連続的に画像処理装置３に送る。カメラ９を床面が映る角度に設置することで、人物画像ｈの移動軌跡Ｒを表示したときにその進路を把握しやすい情報が得られる。天井が低い場合などは、人物画像ｈの移動軌跡Ｒの範囲が狭まるため、この場合は、広角レンズを装着したカメラ９を使用してその撮影範囲を広げるのがよい。

操作手段７は、例えば、キーボード、マウス等の入力装置で構成され、この操作手段７によって、画像処理装置３に対してカメラ９で撮像する撮像画像１上に関心計測領域Ａが設定される。また、この操作手段７は、関心度合い判別装置４に対して関心度の判別基準を設定したり、データ加工処理装置６に対して所定のデータ加工を実行させて出力装置８に出力させる指示をしたりする。

上記関心計測領域Ａは、実空間の商品の外周部から当該商品の至近距離の範囲内の領域であって、上記撮像画像１上にその境界が設定される。商品の至近距離の範囲内とは、人が商品をのぞき込み、又は商品に触れ、あるいは、商品のにおいを嗅ぐなどの５感によって、商品からの情報を収集する行為を行うときに、当該商品に接近する程度の至近距離の範囲内である。例えば、上記マネキンＭに着せて衣料品を展示している場合は、衣類の特定の部分を凝視したり、生地に触れて確かめる等のときに接近する至近距離であり、例えば、マネキンＭの外周部から５０ｃｍ〜６０ｃｍ以内の範囲内である。また、食料品の場合は、食料品の鮮度を目視で確かめようとして接近し、あるいは商品表示等を確かめようとして接近する至近距離であり、例えば、展示棚の縁から３０ｃｍ程度以内の範囲内である。さらに、電化製品の場合は、電化製品を目視で確かめようとして接近し、あるいは触れて操作等しようとして接近する至近距離であり、例えば、展示棚の縁から３０ｃｍ程度以内の範囲内である。

画像処理装置３は、上記撮像画像１上で個々の人を認識し、当該人物の仮想重心点Ｇの移動を追跡し、上記関心計測領域Ａでの当該仮想重心点Ｇの挙動を分析するものである。この画像処理装置３は、人認識手段３１、滞在時間計測手段３２により構成される。

人認識手段３１は、上記撮像画像１において等間隔に配置する処理点ごとにその処理点を中心点とする円の円周上での各ピクセル値に対し基本波フーリエ変換を実行し、得られた位相より処理点ごとに人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像の仮想重心点Ｇを捉えるとともに、当該仮想重心点Ｇを経時的に追跡するいわゆるベクトル焦点法による画像処理技術（特許第３４０６５８７号、特許第３３９０４２６号）を備える手段である。

上記ベクトル焦点法の画像処理としては、まず、図５に示すように、撮像画像１内の物体像Ｂと背景像Ｗとの濃度差を利用して、撮像画像１上で等間隔に配置した各処理点Ｐについてその処理点Ｐを中心点とする円１１の円周上での各画素ｄ１〜ｄ１２のピクセル値に対し、下記式（１）に示す基本波フーリエ変換を実行していく（円形フーリエ法）。なお、基本波とは、上記処理点Ｐを中心点とする円周の１周期分の長さとなる正弦波および余弦波を意味する。

（式（１）中、ＳＶは画素のピクセル値にフーリエ変換の正弦波を積和した積和値、ＣＶは画素のピクセル値にフーリエ変換の余弦波を積和した積和値、ＡＴＡＮはアークタンジェント、ｓｉｔａはフーリエ変換で得られる位相値を示す。）

このフーリエ変換で得られる位相が、円周内に存在する画像の濃淡方向を示し、その中心点の処理点Ｐの画素における画像の濃淡方向となる。すなわち、この濃淡方向は、２次元の撮像画像１での物体Ｂとその周囲の背景Ｗとの境界、すなわち物体Ｂの輪郭部に対する法線ベクトルとして認識される。

例えば、図６（ａ）に示すように円１１が物体Ｂにかかった状態のとき、所定の基準位置から反時計方向に回転させて円形にフーリエ変換を実行し、正弦波および余弦波に円周上の各画素のピクセル値を積算すると、図６（ｂ）に示すように、９０度付近で波形のピークが現れる。その結果、上記の円形フーリエ法で得られた位相がちょうど物体Ｂの輪郭部に対する法線方向を示すものとなる。なお、図６（ｂ）において、ｓｉｎは正弦波、ｃｏｓは余弦波、ｓ・ｐは正弦波とピクセル値とを積算した波形、ｃ・ｐは余弦波とピクセル値とを積算した波形を示している。

但し、上記の円周内には物体像Ｂの輪郭部が入っておらず、円周内の画像がほとんど均一な濃度分布のところを除くため、下記式（２）に示す、前記ＳＶおよび前記ＣＶの二乗和の平方根の値（ｐｏｗ）が一定値以下のときはこの処理点Ｐには濃淡が無いとして扱う。

そして、人物画像ｈの抽出を行うには、図７（ａ）に示すように、まず、撮像画像１上の任意の配置点Ｑを基準に標準人型像ｏを配置し、上記円形フーリエ法により標準人型像ｏの輪郭部における法線ベクトル群ｂを求め、配置点Ｑから法線ベクトル群ｂまでの位置情報と法線ベクトル群ｂの角度情報を、当該配置点Ｑの標準データとして記憶する。

次に、図７（ｂ）に示すように、監視時に移動する人物画像ｈが映された撮像画像１に対して上記円形フーリエ法により人物画像ｈの輪郭部における法線ベクトル群ｂ’を求め、上記標準データに基づいてこれら法線ベクトル群ｂ’から上記配置点Ｑに相当する複数の正解点を求め、これら正解点が集まった所謂ベクトル焦点Ｇが一定値以上であれば、その人物画像ｈは人であると認識する。このベクトル焦点Ｇが、上記人の仮想重心点Ｇとなり、この重心点Ｇをカメラ９から送られてくる撮像画像１毎に追跡して行く。

なお、本実施の形態１では、上記仮想重心点Ｇは、好ましくは、人物画像ｈの前部（前身ごろ）、あるいは頭部中心等に配置される。これにより、人物画像ｈの関心計測領域Ａ内への進入、退出を確実に捉えることができ、関心度計測の信頼性を向上することができる。

以上のベクトル焦点法による画像処理技術によれば、カメラ９から送られてくる撮像画像１を連続的に処理し、処理毎に人物画像ｈをベクトル焦点という仮想重心点Ｇで規定することができ、この仮想重心点Ｇの移動を追跡することができ、さらに、この追跡により仮想重心点Ｇの瞬間移動速度を計測することができるという特性を備えている。

従って、上記人認識手段３１によれば、撮像画像１に現われる個々の人物を一人ひとり認識することができ、例えば、肩を組んでいる２人について、その個々人をそれぞれ一人ひとりに区別して認識し、それぞれの仮想重心点Ｇを認識することができる。そして、人認識手段３１は、当該人物画像ｈの仮想重心点Ｇの移動を、人物画像ｈの仮想重心点Ｇが境界を横切って撮像画像１内に現われてから、境界を横切って撮像画像１外に消えるまで追跡線（移動軌跡）を描いて追跡し、記録する。

滞在時間計測手段３２は、人認識手段３１で特定する人物画像ｈの仮想重心点Ｇが関心計測領域Ａの境界を横切ってその内側に進入してから、境界を横切って関心計測領域Ａ外へ退出するまでの時間、すなわち滞在時間を計測し、これを記録する。
そして、人認識手段３１で特定する人物画像ｈの仮想重心点Ｇが関心計測領域Ａの境界を横切ってその外へ出た時点、あるいは撮像画像１外に消えた時点で、上記の人認識手段３１、滞在時間計測手段３２でそれぞれ記録した情報が関心度合い判別装置４に出力される。

関心度合い判別装置４は、上記画像処理装置３から入力される滞在時間により、判別基準に基づいて、上記商品に対する買い物客個々の関心度合いを数段階に評価し、当該関心度合いを段階別に判別するものである。関心度合い判別装置４は、関心度合い判別手段４１、関心度合いパラメータ４２により構成される。

関心度合いパラメータ４２には、上記判別基準が登録されている。この判別基準は、関心度を数段階のレベルに区別するためのものであり、各段階のレベルに応じた基準値が設定される。そして、この判別基準は、上記滞在時間と対比するための時間基準とする。この時間基準は、図８のテーブルに示すように、例えば、関心度を低い順に４段階で評価するときは、レベル０が０秒〜９秒、レベル１が１０秒〜２９秒、レベル２が３０秒〜５９秒、レベル３が６０秒以上等のように設定される。

なお、展示された商品の種類、大きさなどにより、関心を示す人物（買い物客）の商品に対する近づき加減、注視時間の程度が異なるから、判別基準をどのように設定するかは、対象とする商品の種類、大きさ、展示環境の如何などに応じて、買い物客の挙動を勘案して適宜決められるべきことである。

そして、関心度合い判別手段４１は、画像処理装置３から入力された滞在時間を、上記関心度合いパラメータ４２に設定された上記判別基準と対比して、個々の人物の関心度を数段階のレベルのいずれかに分ける。

関心度合い別データ記憶装置５は、上記関心度合い判別装置４による関心度合い別データを登録するものである。この関心度合い別データ記憶装置５は、例えば、図９に示すように、日時及び時刻毎に、関心度、人数、総関心時間別の表形式のデータ構造にすることができる。そして、関心度合い別データ記憶装置５には、上記関心度合い判別装置４で判別された関心度合いに対応する図９の表中の関心度の該当レベルに、人数を１加算し、総関心時間に滞在時間を加算して、それぞれ累計値として記憶される。

データ加工処理装置６は、上記関心度合い別データ記憶装置５に登録された関心度合い別データを読み出し、これを加工するものである。このデータ加工処理装置６によって、上記関心度合い別データ記憶装置５に記憶しているデータが、出力装置８で出力するための所定の出力形式に加工される。例えば、特定の時間帯別の集計、あるいは１日単位の集計、表作成、グラフ作成がこれに当たる。

出力装置８は、上記データ加工処理装置６からの関心度情報を出力するものである。この出力装置８は、例えば、モニター、プリンター等で構成され、この出力装置８によって上記データ加工処理装置６で所定の出力形式に加工された商品関心度計測結果が出力される。例えば、この出力装置８は、図１０に示すような表、及びグラフとして出力される。

次に、この実施の形態１の商品関心度計測装置２によって、図１に示すマネキンディスプレイに対する商品関心度を計測する動作を説明する。
まず、操作手段７によって、画像処理装置３に対してカメラ９で撮像する撮像画像１上に関心計測領域Ａの境界を設定すると共に、関心度合い判別装置４に対して関心度の判別基準を設定する。関心計測領域Ａとしては、図１に示すように、マネキンＭの外周部からこのマネキンＭに着せた商品に接触しうる至近距離（５０ｃｍ）の範囲内で、買い物客が接近可能なマネキンＭ前方の一定範囲が上記関心計測範囲となるように扇状に撮像画像１上に設定される。判別基準としては、時間基準が設定され、例えば、図８のテーブルに示すように４段階に設定され、レベル０には０秒〜９秒、レベル１には１０秒〜２９秒、レベル２には３０秒〜５９秒、レベル３には６０秒以上の時間基準がそれぞれ設定される。
以上の設定が完了すると、マネキンディスプレイに対する買い物客個々の当該商品に対する関心度が次のようにして計測され、その度合い（レベル）が次のように判別される。

図３に示す画像処理装置３の動作の流れ図を参照して、カメラ９から撮像画像１が画像処理装置３に連続的に入力されると（Ｓ１）、画像処理装置３では、撮像画像１内の人認識を行い、人の存在が認識されると、その人を仮想重心点Ｇで捉え（Ｓ２）、連続的に入力される撮像画像１上で当該仮想重心点Ｇを経時的に追跡する（Ｓ３）。なお、この人認識には、上述のとおりベクトル焦点法による画像処理技術が用いられる（図５〜図７を参照）。
そして、この仮想重心点Ｇが関心計測領域Ａの境界を横切ってその内側に進入すると計時が開始され、仮想重心点Ｇが当該関心計測領域Ａの境界を横切ってその外側に出るまでの時間、すなわち当該関心領域Ａでの滞在時間ｔを計測する（Ｓ４）。これにより、実空間の人が商品を展示するマネキンＭに接近し、当該商品の至近距離の範囲で商品に関心を示したと推定される時間が計測される。
次いで、仮想重心点Ｇが関心計測領域Ａの境界を横切ってその外側に出た時点、すなわち、実空間の人（買い物客）が商品を展示するマネキンＭの至近距離の範囲から去った時点で、画像処理装置３は、計測した滞在時間を関心度合い判別装置４に出力する（Ｓ５）。

すると、この関心度合い判別装置４では、画像処理装置３から入力された滞在時間を判別基準としての時間基準と対比して、関心度のレベル（関心度合い）の判別を行う。すなわち、図４に示す関心度合い判別装置４の動作の流れ図を参照して、画像処理装置３から滞在時間ｔが入力されると（Ｓ１０）、この滞在時間ｔは、レベル０（０秒〜９秒）か、レベル１（１０秒〜２９秒）か、レベル２（３０秒〜５９秒）か、あるいはこれらに該当しないレベル３（６０秒以上）かが判別される（Ｓ１１〜Ｓ１３）。そして、関心度合い判別装置４は、関心度合い別データ記憶装置５に対して、判別された関心度合いの人数を１加算し、総関心時間にその滞在時間ｔを加算して、それぞれ累計値として記憶させる（Ｓ１４〜Ｓ１７）。なお、関心度合い別データ記憶装置５は、上記滞在時間ｔが計測された日時及び時刻に分けて記憶する。

以上の動作によってカメラ９から順次送られてくる撮像画像１を連続的に処理して関心度合いの計測が行われ、記録される。この関心度合い計測は、通常、マネキンディスプレイを行っている店舗の開店時間内に実施される。
そして、この関心度合い別データ記憶装置５に登録された関心度合い別データは、操作手段７を操作してデータ加工処理装置６によって所定の出力形式に加工され、出力装置８によって、図８に示すような表、グラフの形式で出力される。

以上のように、本実施の形態１による商品関心度計測装置２によれば、展示された商品に対して特別の関心を示したと推定される買い物客を特定し、この買い物客が商品の観察に費やしたと推定される時間（滞在時間ｔ）を計測し、この滞在時間ｔの長さにより当該買い物客の関心度のレベル（関心度合い）を評価して判別し、この評価結果を関心度合いの段階別に集計して計測データとするから、収集された関心度合い別データが客観化され、かつ定量化される。
すなわち、商品に対する買い物客の関心の有無だけでなく、関心度のレベルを高精度で多段階に判別するから、当該商品への関心度合いを数値によって容易かつ定量的に感知することができる。
したがって、この関心度合いの集計結果に対する信頼性が高く、また、この関心度合い別のデータを種々の関心情報に加工し、これを出力することができる。
それゆえ、個々の商品に対する買い物客全体の関心度合い（買い物客全体の関心の強さのレバル）を高い精度で客観的、定量的に把握することができ、さらにその分布及びこれらの経時変化を客観的、定量的に把握することができる。

なお、上記関心度が特に高いと判別された買い物客が特定されるので、その画像を記録しておいてこれを後日の情報として利用するようにすることもできる。
また、関心度合いデータをどのように加工してどのような形態で表示するかは、商品の種類、客層などに応じて適宜工夫、選択されるべきことであり、関心度合い別の分布、径時変化、時刻別データなどの他に、関心度合い別割合で表示すること、あるいは、全買い物客数に対する割合で表示すること等は、全体の関心度合いの程度を分析し、把握する上で有効である。

（実施の形態２）
実施の形態２の商品関心度計測装置２は、上記実施の形態１を全て含み、以下の点で相違するものである。
すなわち、この実施の形態２では、上記画像処理装置３に、仮想重心点Ｇの関心計測領域Ａ内での瞬間移動速度を計測する速度計測手段を設け、そして、上記関心度合い判別装置４は、関心度合いパラメータ４２に判別基準として上記瞬間移動速度と比較する速度基準を設け、この速度基準を遅い移動速度以下に設定し、上記瞬間移動速度がこの速度基準に当たるときに限り上記滞在時間の長短によって関心度を評価するように構成するものである。

上記速度計測手段は、人認識手段３１で特定する人物画像の仮想重心点Ｇが関心計測領域の計測領域内に位置している間の所定時間ごとの瞬間移動速度を計測し記録し、同仮想重心点Ｇの移動停止（ないしはほとんど停止）の有無を検知することができる。
また、関心度合いパラメータ４２の上記速度基準は、仮想重心点Ｇの平均移動速度ではなくて瞬間移動速度に対する基準であり、商品に対して特に注意を注いでいると推定されるときの移動速度以下、例えば、０．５ｍ／秒以下を規定する。

この実施の形態２によれば、仮想重心点Ｇで現す人の瞬間移動速度が速度基準に当るとき（基準速度以下であるとき）に限り、関心計測領域Ａ、すなわち、商品の至近距離の範囲内に滞在していた滞在時間の長短によって関心度のレベルが判別され、記録される。これにより、他の歩行者の回避行動等のためにたまたま当該商品に接近してしまった等の、商品に対する関心行動とは無関係の行動の人（すなわち関心なしの人）を的確に排除することができる。したがって、この実施の形態２による関心度合いの集計結果の精度、信頼性は一層高い。

なお、上記速度基準を２以上（例えば、０．５ｍ／秒〜０．１ｍ／秒と、０．１ｍ／秒以下）の多段階に規定してもよく、これによって、人の瞬間移動速度と滞在時間との組合せで、買い物客の関心度をより詳細に判別し分析することができる。

なお、本発明は、上記実施の形態のみに限定されず、各種の設計変更を施すことが可能である。
例えば、操作手段７、画像処理装置３、関心度合い判別装置４、関心度合い別データ記憶装置５、データ加工処理装置６、出力装置８は、それぞれ独立の専用ユニットで構成されてもよいし、また、これらの全部又は一部が一台のパーソナルコンピュータ等の汎用コンピュータによって構成されてもよい。
複数の商品を隣接して展示してあって、それぞれの商品についての関心度を計測する場合、上記関心計測領域Ａを個々の商品ごとに複数設定し、個々の商品ごとに関心度を計測するようにしてもよい。
関心計測領域Ａは、商品や商品を展示するマネキンＭ、陳列棚等の外形状に合わせて円形、四角形、多角形などの各種の形状に設定することができる。
買い物客個々の関心度合い（関心度の強さ）を、滞在時間、又は滞在時間と移動速度の組み合わせに基づいて判別するほか、これに加えて、これら以外の他のデータ、例えば、買い物客の行動に関するデータ（進路方向等）をも考慮して判別することも可能である。

は、実施の形態１において、商品を展示するマネキンディスプレイの場所を上方から撮像した撮像画像を示す模式図である。は、実施の形態１による商品関心度計測装置の構成を示すブロック図である。は、実施の形態１による商品関心度計測装置の画像処理装置の動作を示す流れ図である。は、実施の形態１による商品関心度計測装置の関心度合い判別装置の動作を示す流れ図である。は、人認識の画像処理に際して用いられる円形フーリエ法を説明するための模式図である。は、円形フーリエ法を実行することで画像の濃淡方向が示されることを説明するための図であり、同図（ａ）は人物画像の輪郭部に円形状に基本波フーリエ変換を実行する様子を示し、同図（ｂ）はその基本波フーリエ変換を実行したときの波形グラフを示す。は、人認識の画像処理に際して用いられるベクトル焦点法を説明するための模式図であり、同図（ａ）は画像上に標準人型像を配置したときの様子を示し、同図（ｂ）は画像上に識別対象の人が映されているときの様子を示す。は、実施の形態１の商品関心度計測装置における関心度合い判別装置の関心度合いパラメータを示す表である。は、実施の形態１の商品関心度計測装置における関心度合い別データ記憶装置の関心度合い記憶データを示す表である。は、実施の形態１の商品関心度計測装置における出力装置の出力結果を示す表及びグラフである。

１：撮像画像
２：商品関心度計測装置
３：画像処理装置
４：関心度合い判別装置
５：関心度合い別データ記憶装置
６：データ加工処理装置
７：操作手段
８：出力装置
９：カメラ（撮像装置）
３１：人認識手段
３２：滞在時間計測手段
４１：関心度合い判別手段
４２：関心度合いパラメータ
Ａ：関心計測領域
ｈ：人物画像
Ｍ：マネキン

Claims

商品を配置する領域を一つのカメラで上方から常時撮像している撮像画像に基づいて、当該商品に対する買い物客個々の関心度を計測して当該計測値を多段階に判別し、これを登録し、加工して商品関心度情報を出力する商品関心度計測装置であって、
上記撮像画像上で個々の人を認識し、当該人の仮想重心点の移動を追跡し、上記商品の至近距離の範囲内として設定された商品関心計測領域内での当該仮想重心点の滞在時間を計測する画像処理装置を有し、
上記画像処理装置からの上記滞在時間により、判別基準に基づいて、上記商品に対する買い物客個々の関心度を数段階に判別する関心度合い判別装置を有し、
上記関心度合い判別装置による関心度合い別データを登録する関心度合い別データ記憶装置を有し、
上記関心度合い別データ記憶装置に登録された関心度合い別データを読み出し、これを加工するデータ加工処理装置を有し、
上記データ加工処理装置からの関心度情報を出力する出力装置を有し、
上記画像処理装置は、上記撮像画像において人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像をベクトル焦点法による上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段を有し、また、上記仮想重心点が上記商品関心計測領域の境界を当該計測領域の外から内側へ横切ったときに計時が開始され、内側から外側に横切ったときに計時が停止される滞在時間計測手段を有する画像処理装置であり、
操作手段により、上記画像処理装置に対して上記撮像画像上に上記商品関心計測領域の境界が設定され、また、上記関心度合い判別装置に対して上記関心度の判別基準が設定されており、
上記関心度合い判別装置における判別基準が、上記滞在時間と比較する時間基準であり、関心度が高いほど長くなるように上記時間基準が多段階に設定された判別基準であることを特徴とする商品関心度計測装置。