JP4972491B2 - 顧客動作判定システム - Google Patents

Description

本発明は顧客動作分析装置（手段）、顧客動作判定システム及び顧客購買行動分析システムに関し、詳しくは、小売り店舗内の顧客の購買動作を判断すると共に、それらの情報を分析して売り上げ増進施策の基礎データを作成するシステムに関する。

小売店舗においては、顧客の購買行動を把握し顧客の好みに合致した商品をタイムリーに提供することが、売り上げ増進に繋がるものであり、顧客にとっても店内を長時間探し回ることなく欲しい商品を容易に入手できることが、購買意欲をそそり、またショッピングを楽しいものにする。
従来から、小売店舗経営者や運営者は、あらゆる手立てを尽くして顧客の購買心理を把握しようと懸命であるが、現在のところ、商店主等の長年の経験に基づく勘や、日頃の顧客購買行動の観察に頼るところが大であり、一種のノウハウともなっている。即ち、現状においては、店舗の前や店内通路に調査員を配置し、目測や手入力カウンタによる来店者計数や、店内を巡回しながら顧客滞留数が多い商品種別を把握したり、アンケート等により顧客の嗜好を調査して収集した情報を、後刻、表計算ツール等で整理・集計した上で傾向を分析している。そのため、集計に多くの時間と手間を要すると共に、集計したデータを分析して結果を出すまでにも多くの時間を要するため、タイムリーな対応ができないといった問題がある。

一方、このような顧客の購買行動情報を、先進の技術を駆使して収集し、購買実績の向上に役立てようとの試みがなされている。例えば、特許文献１には、店舗内の画像情報から顧客の位置情報を算出して顧客移動情報を収集し、商品に取り付けられた受発信装置から商品の位置情報を算出して、商品移動情報を収集して、顧客移動情報と商品移動情報、及び購買した商品情報に基づいて、特定の顧客が店舗に入ってから出るまでの商品選択行動を収集する手段が開示されている。
また、特許文献２には、商品に固体識別用のＩＣチップを取り付け、顧客が商品を手に取ったか否かの情報と、顧客の移動情報、顧客の滞留時間に関する情報を併せて取得することによって、顧客が商品を手にしたが結局購入しなかった商品を特定して分析する発明が開示されている。
更に特許文献３には、商品にＩＣチップ（ＩＣタグ）を取り付けるとともに、店内各所に配置した非接触型のＩＣチップ読み取り装置により、接近したＩＣタグの保有情報を読み取って、その結果を店内の情報端末装置で収集する技術が開示されている。
あるいは、特許文献４には、顧客側にＩＣチップ（ＩＣタグ）を取り付け、顧客の店舗内の移動経路及び立ち寄った売り場での滞留時間を調査して、顧客が興味を示した商品を推定する手段が提案されている。
特開平１１−１７５５９７号公報 特開２００４−３４８６８１公報 特開２００６−３１８１９１公報 特開２００６−１８５２９３公報

しかしながら、以上説明したような従来の方法やシステムでは、夫々次のような問題点や、不満足な点が指摘されている。
特許文献１では、商品に取り付けられた受発信装置から商品の位置情報を算出して商品移動情報を収集し、顧客移動情報と商品移動情報、及び購買した商品情報に基づいて、特定の顧客が店舗に入ってから出るまでの商品選択行動を収集する手段が開示されている。しかし、この手段では商品に受発信装置を取り付ける必要があり、そのためのコストアップと手間がかかる上、特定の顧客の情報しか収集できず、真に役に立つ情報の収集とは言い難い。
特許文献２記載の手段も、顧客の移動情報と滞留時間を検出するために、各顧客特有のＩＣカードを携帯する必要があって、ＩＣカードを所持しない顧客に対する情報収集は不可能であり、限られた範囲での顧客購買行動分析手段に留まるものであった。
特許文献３においても、ＩＣチップ（ＩＣタグ）を取り付けるとともに、店内各所に配置した非接触型のＩＣチップ読み取り装置により、接近したＩＣタグの保有情報を読み取って、その結果を店内の情報端末装置で収集するものであるので、商品にＩＣタグを付加する必要があって、そのための備品費用や作業工数によるコストアップが回避できない。
特許文献４記載の発明においても、結局、顧客側にＩＣチップ（ＩＣタグ）を取り付け、顧客の店舗内の移動経路及び立ち寄った売り場での滞留時間を調査して、顧客が興味を示した商品を推定するものであるので、各顧客に無線（非接触）ＩＣタグを取り付ける必要があり、ＩＣタグを取り付けていない顧客についての調査が不可能であった。

本発明は、かかる課題に鑑みてなされたものであり、ＩＣタグ等を使用することなく、小売店舗内における顧客の行動を収納棚近傍に設置したカメラで撮影した画像を分析することにより、不特定多数の顧客の購買行動を正確に且つ自動的にデータベースとして蓄積可能な顧客動作分析装置を提供することを目的としている。
また、他の目的は、顧客動作分析装置により分析された動作情報に基づいて、入店者数、夫々の商品棚近傍を通過した顧客数、棚前滞留数、棚又は商品に接触した顧客数、等の詳細なデータを収集することが可能な顧客動作判定システムを提供することである。
また、他の目的は、顧客動作判定システムにより一定期間蓄積した顧客情報等に基づいて、販売促進に有用な商品配置や店舗内レイアウト等の販売促進支援情報を作成する購買行動情報分析システムを提供することである。

本発明はかかる課題を解決するために、請求項１は、収納棚の周辺に位置する顧客による棚上収納物に対するアクセス状況を判定する顧客動作判定システムであって、前記収納棚、及び前記顧客を撮影する撮像手段と、前記撮像手段により撮影された映像に基づいて、少なくとも前記顧客が前記収納棚の前方に滞留した時間、及び／又は、前記収納棚内に前記顧客の身体の一部を進入させたことを検出して、特定棚上収納物に対する顧客のアクセスの有無を判断する顧客動作分析手段と、を備え、前記顧客動作分析手段は、撮像中の前記収納棚を各棚の段ごとに複数に区分した棚検出領域を設定し、何れかの棚検出領域内に前記顧客の身体の一部が進入した場合、その中で最も上段の棚に着目し、該棚に前記顧客の身体の一部が所定時間以上連続して存在したとき、該棚にアクセスしたと見做すことを特徴とする。
本発明をシステムとして構成する場合、顧客を撮影する撮像手段と、動体を検出してその動体が収納棚に滞留した時間、及び／又は動体の一部が収納棚に進入したことを検出して、特定棚上収納物に対する顧客のアクセスの有無を判断する顧客動作分析手段と、が最低限必要である。これにより、最小限の構成により、従来のようにＩＣチップやＩＣタグを商品に添付する手間や費用を要することなく、顧客の販売行動情報を収集することができる。
また、本発明のアルゴリズムは、一定時間過去の状態を保持し、その中で最も上の棚に着目し、一定時間以上その段が連続すればその棚にアクセスしたと見做す。これにより、棚の段数の検出が容易に、且つ確実に検出することができる。

請求項２は、前記顧客動作分析手段は、撮像中の前記収納棚前方部に所定範囲の顧客検出領域を設定し、該顧客検出領域内に前記顧客が一定時間以上滞留したことをもって当該棚上収納物にアクセスしたと判断することを特徴とする。
顧客が特定の収納物に対して興味を示す行動として、その収納物が収納されている棚の前に滞留した時間が長いほど興味が大きいと判断することができる。従って、収納物を手に持たなくとも、棚上収納物にアクセスしたと判断することができる。これにより、商品の種類や顧客対象等に応じて、滞留と判断する時間を任意に設定することができる。
請求項３は、前記顧客動作分析手段は、撮像中の前記収納棚を横方向に複数に区分した横方向検出領域を設定し、何れかの横方向検出領域内に前記顧客の身体の一部が進入した場合、当該横方向検出領域内の収納物にアクセスしたと判断することを特徴とする。
各収納棚には、予めどのような収納物が収納するかが決められている。また、各収納棚を横方向に区分して、各領域ごとに収納物を決めて収納しておく。これにより、顧客が身体の一部を区分領域に進入させると、その区分からどのような収納物にアクセスしたかを判断することができるので、より詳細に収納物に対する顧客のアクセス情報を収集することができる。

請求項４は、前記収納棚が複数配置され、且つ、前記映像が収納棚毎に又は複数の収納棚を一括して上方から撮影されたものであって、前記顧客動作分析手段が、前記撮像手段によって撮影された映像に基づいて前記収納棚毎に前記顧客のアクセスの有無を判断する機能を備え、特定の収納棚上に前記顧客の身体の一部が進入した場合、当該収納棚上の特定の収納物にアクセスしたものと判断することを特徴とする。
店舗の状況に応じて、複数の棚を一括して、又は個別に撮影して、顧客動作を検出するように構成しても良い。従って、より注目度が高い棚には個別にカメラを設置するように柔軟な対応が可能となる。

請求項５は、前記顧客動作分析手段は、撮像中の前記収納棚を横方向に複数に区分した横方向棚検出領域を設定し、何れかの横方向棚検出領域内に前記顧客の身体の一部が進入した場合、右又は左の棚にアクセスしたと見做すことを特徴とする。
本発明のアルゴリズムは、例えば、横方向に１〜３まで分割した場合、１に進入した場合は左、２に進入した場合は中央、３に進入した場合は右にアクセスしたと見做す。しかし、場合によっては、同時に複数のフィールドが反応する場合があるため、その際は、条件として最も右（又は左）に進入したフィールドを採用する。これにより、若干計算コストは高くなるが、比較的精度を高くすることができる。
請求項６は、前記顧客動作分析手段は、撮像中の前記収納棚全体を第１の検出領域と設定し、該第１の検出領域内を複数の第２の検出領域として設定し、前記第１の検出領域に前記顧客の身体の一部が進入した場合、前記各第２の検出領域に前記顧客の身体の一部が進入した時間を積算し、前記第１の検出領域から前記顧客の身体の一部が取り除かれたときに、前記積算時間が最大の第２の検出領域にアクセスしたと見做すことを特徴とする。
本発明のアルゴリズムは、棚全体を包含するフィールドＡを設置し、検出したい部分ごとにフィールドＢを設置する。そして、フィールドＡがＯＮの状態の間、各フィールドＢ毎のＯＮ状態の時間を積算しておき、フィールドＡがＯＦＦの時点で積算時間が最大のフィールドＢをアクセスした棚と見做す。これにより、アルゴリズムを簡易に構成することができる。

請求項７は、撮像中の棚前方通路にあって、前記顧客の通過方向と交差する位置にカウンタラインを設定し、該カウンタラインを横切った顧客を通過人数として計数することを特徴とする。
複数の収納棚との間には、顧客が通過するための通路が形成されている。従って、注目度が高い収納棚が存在する通路には、顧客が多く通過することになる。そこで本発明では、各通路に顧客が通過したか否かを検出するカウンタラインを設け、このカウンタラインを横切った顧客を通過人数として計数する。これにより、通路ごとの顧客の動向を分析することができる。
請求項８は、前記顧客動作分析手段は、前記顧客に関する撮像画面データを構成するピクセルのクラスタを検出するクラスタ検知手段と、該クラスタ検知手段により検知されたクラスタに基づいて、顧客画像周囲の外郭線を生成する顧客外郭線生成手段と、顧客外郭線を追跡するために、それ以前の画像フレームにおいて生成された顧客外郭線と現在の画像フレームにおける顧客外郭線とを比較して、当該顧客の動向又は身体の動きを判定する動体判定手段を備えたことを特徴とする。
クラスタ検知手段は、まず、背景と想定される映像を作成して、背景の色を決定する。次に、背景色と現在のフレームをピクセル（画素）単位で比較して、動体（顧客）がいればクラスタ（動体周囲に群がる輪郭）が出現する。また、顧客外郭線生成手段は、クラスタから外郭線を生成し、クラスタを囲む閉じた線を作成する。複数のクラスタが近接している場合は統合する。また、動体判定手段は、外郭線を追跡することにより、連続する外郭線か新たに出現した外郭線かを判定する。そして、各外郭線に識別のためのＩＤを付与する。これにより、背景の状況に応じた外郭線が生成され、画像処理を容易に行うことができる。

本発明によれば、撮影された画像から動体として検出した場合に、その動体を顧客と見做して、動体が収納棚に滞留した時間、及び／又は、収納棚内部に動体の一部が進入したことを検出して特定棚上収容物に対するアクセスがあったものと判断するので、従来のようにＩＣチップやＩＣタグを商品に貼付する手間や費用を要することなく、顧客の販売行動情報を収集することができる。
また、システムとして、顧客を撮影する撮像手段と、動体を検出してその動体が収納棚に滞留した時間、及び／又は動体の一部が収納棚に進入したことを検出して、特定棚上収納物に対する顧客のアクセスの有無を判断する顧客動作分析手段と、を備えるので、最小限の構成により、従来のようにＩＣチップやＩＣタグを商品に添付する手間や費用を要することなく、顧客の販売行動情報を収集することができる。
また、納物を手に持たなくとも、所定の時間滞留した場合は、棚上収納物にアクセスしたと判断するので、商品の種類や顧客対象等に応じて、滞留と判断する時間を任意に設定することができる。

また、顧客が身体の一部を区分領域に進入させると、その区分からどのような収納物にアクセスしたかを判断することができるので、より詳細に収納物に対する顧客のアクセス情報を収集することができる。
また、店舗の状況に応じて、複数の棚を一括して、又は個別に撮影して、顧客動作を検出するように構成するので、より注目度が高い棚には個別にカメラを設置するように柔軟な対応が可能となる。
また、一定時間過去の状態を保持し、その中で最も上の棚に着目し、一定時間以上その段が連続すればその棚にアクセスしたと見做すので、棚の段数の検出が容易に、且つ確実に検出することができる。
また、撮像中の収納棚を横方向に複数に区分した横方向棚検出領域を設定し、何れかの横方向棚検出領域内に顧客の身体の一部が進入した場合、右又は左の棚にアクセスしたと見做すので、若干計算コストは高くなるが、比較的精度を高くすることができる。

また、棚全体を包含するフィールドＡを設置し、検出したい部分ごとにフィールドＢを設置して、フィールドＡがＯＮの状態の間、各フィールドＢ毎のＯＮ状態の時間を積算しておき、フィールドＡがＯＦＦの時点で積算時間が最大のフィールドＢをアクセスした棚と見做すので、アルゴリズムを簡易に構成することができる。
また、各通路に顧客が通過したか否かを検出するカウンタラインを設け、このカウンタラインを横切った顧客を通過人数として計数するので、通路ごとの顧客の動向を分析することができる。
また、顧客動作分析手段は、背景の状況に応じた外郭線が生成されるので、画像処理を容易に行うことができる。
また、顧客購買行動分析システムによれば、小規模小売店舗や個人商店について、経済的に販売促進に役立つ情報を提供することができる。
また、収納棚上部のから撮影した映像と棚を横方向から撮影した映像を取得し、これらの映像を合成することにより、顧客が何段目の棚のどの位置にアクセスしたかを認識することができるので、商品や棚の注目度に応じて、より詳細に顧客接触情報を必要とする場合は、横方向撮影カメラを使用する等、システムとしての選択肢が多様になり、店舗の事情に対応したシステム構築が可能となる。

以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
本発明の詳細説明を行う前に、商品展示態様や顧客の購買行動について整理する。先ず、小売店舗や様々な店舗では、陳列棚に商品を配置し、消費者（顧客）がその商品棚から欲しいもの、あるいは興味があるものを取り出して購買する。一般に、商品棚には様々な商品、種類、メーカ等が異なる品が陳列され、特に量販店では、商品は膨大な数量に及ぶ場合が多い。
一方、顧客の購買行動は幾種類かに分類することができる。例えば、購買品が明確に決まっているが、展示棚が分からず探し求めて店内を歩き回る場合（目的商品探索行動）、実際に購買の決心はついていないが、購買の可能性をもって商品棚や商品に接触する場合（商品吟味行動）、目的商品はなく単に興味本位で商品を見て回る場合（ウインドウショッピング）等が考えられる。
また、商品の前で比較的長時間留まっている場合は、当該商品に興味を示していることが明らかであり、目的商品探索行動又は商品吟味行動の可能性があるが、結局、その商品を購入しなかったときは（購買の有無はＰＯＳによって確認可能）、価格が気に入らなかったか、あるいはデザインや色が気に入らなかった等々の何等かの理由が考えられる。

一般小売り店舗では、顧客の注意を最も集めやすい場所を「ゴールデンゾーン」と称し、この領域に売れ筋商品を配置することが売り上げ増進に繋がる。「ゴールデンゾーン」は、顧客の目の高さの棚位置や、店舗のレイアウト上、最も顧客が通過する可能性が高い場所等の幾つかの条件が重なる領域である場合が多い。しかし「ゴールデンゾーン」に陳列すべき商品は、主婦や非勤労者が多い昼間、あるいは、勤労者が増える夕刻から夜間にかけてのように、一日の時間帯によっても、更には、曜日、月、季節、によっても異なり、非常に複雑であって一概に把握できないのが現状である。
このように種々複雑な顧客の購買行動を詳細に、且つ、正確に把握できれば、時間や季節等に応じてゴールデンゾーンに陳列すべき商品の分析も可能であり、更には、商品吟味行動や単なるウインドウショッピング中の顧客の購買を促して、購買に至らしめるような施策ができれば、更なる売り上げ増進に繋がる。

本発明では上述したような顧客の購買行動を自動的に判断し、店舗への入店者数、夫々の商品棚の前（以下「棚前」と云う）通路を通過した顧客数、棚前滞留数、棚又は商品に接触した顧客数、等の詳細なデータを収集することが可能な顧客動作分析装置（手段）、また、このような情報を分析して商品の配置変更や店内のレイアウト変更等の施策策定の支援を行うシステムを提供すること、更には、販売促進施策実行の結果、顧客の購買行動がどのように変化したか、あるいは、売り上げがどのように変化したかを正確に把握して、更なる、売り上げ増進のための施策の構築を行うための基礎データを導き出すことが可能な顧客動作判定システムを提供する。
更に、上述した顧客動作分析装置（手段）及び顧客動作判定システムを、全国的な規模で実施する場合、あるいはチエーン店や小規模店舗等にも利用可能なように幾つかの店舗においてシステムを共用する場合に好適な顧客購買分析システムを提供することも目的の一つである。
先ず、本発明において基本となる顧客動作判定装置（手段）について説明する。これは顧客の動きを撮影した映像から、顧客の移動、滞留、商品載置棚や商品へ接触の有無を判断するもので、その精度如何によって構築するシステムの目的達成度が大きく左右される。

図１は、本発明に係る顧客動作判定システム１００を、店舗内に設置した場合の一例を示す全体概要図である。
図１において、第一の破線ブロック１は、本発明に基づいて構成した顧客動作分析装置（顧客動作分析手段）であって、以下詳細に説明する機能を実行するコンピュータ２と、必要に応じて上記コンピュータ２、あるいは後述の店舗内のビデオカメラからの映像等を表示する表示器３と、上記映像デーや分析結果等の各種のデータを記憶しておくメモリ装置４と、コンピュータ２に種々の命令や指示を入力する操作部（キーボード）５と、表示器のカーソルを移動し、又は位置を指定して指示を入力するポインタ（マウス）６と、分析対象の映像等を記録したカセットを再生するビデオデッキ７を備えている。なお、顧客動作分析装置の説明においては必ずしも必要ではないが、８は通信用モデム、９は通信回線を介して接続されるインターネット等の公衆通信回線である。

また、第二の破線ブロック１０は、小売店舗の一角を模したもので、そのフロアには複数の収納棚の一部として１１乃至１３が並べられ、それらの上部天井に、夫々の収納棚の前面部を主たる撮影範囲として配置したビデオカメラ（撮像手段）１４−１乃至１４−３が固定されている。そして、一般の店舗と同様に上記収納棚１１乃至１３の各収納棚内には、夫々商品（収納物）１５が載置されて、顧客が自由に手に取ったり、買い物カートに取り出したりできるようになっている。
なお、この例では、収納棚１１乃至１３は、多段の場合を示しているが、必ずしもこれに限定する必要はなく、傾斜した階段状のスペースに商品を並べたものであってもよく、一段の平面、斜面棚であっても構わない。要するに、後述するように、顧客の行動を判別する上で必要な仮想ラインを設定できればよい。尚、ビデオデッキ７は他の店舗等の映像を再生して、本顧客動作分析装置により画像解析して顧客動作を分析することもできるように備えたものであり、特に必要なものではない。
このような構成において、上記顧客動作分析装置１のコンピュータ２は、後述するように店舗の天井に配置した各ビデオカメラ１４からの映像を取り込んで、収納棚１１乃至１３の近傍を通過し、立ち止まり（滞留し）、収納棚上に展示された商品を手に取ったり、買い物カートに移動したり、あるいは商品を手に取ることなく眺めたり等々の顧客の映像を分析して、顧客の棚前動作が、通過、滞留、商品接触動作の何れであるかを判断し、更に、それらの情報を顧客購買動作情報として分類し、商品毎や収納棚毎に分析してメモリ装置４に記録する。

ところで、このような顧客の動作は、人間が目で見て判断するのは容易であるが、動画像からそれらを正確に判断することは容易ではないことが知られており、従来から種々の手段や方法が試みられてはいるが、未だ満足できるものは提案されていないのが現状である。特に顧客等の動作を正確に判断することは解決困難な課題である。
同一出願人は、顧客の購買動作を判断する上で好適な画像分析装置及び画像分析方法を構築したので、この画像分析手段を適用した顧客動作分析装置について説明するが、本発明の実施に際しては必ずしも、この方法に限る必要はなく、従来から知られている各種の動体画像分析手段を用いて本発明の顧客動作分析手段、顧客動作判定システム及び顧客の購買行動情報分析システムを構築してもよいことは云うまでもない。

図２は、図１のビデオカメラ１４によって撮影された画像の一例を示したものである。画像中で（画面中で）顧客を動体として検出し、この動体が監視対象の収納棚の前面で滞留するのか、通過するのか、更には、収納棚に載置した商品を手に取るのか等を判断するために、図２（ａ）に示すように、棚の前の所定領域を顧客検出領域２１として設定する。つまり、図２（ａ）に示すように、顧客検出領域２１に顧客２２がどの程度の時間留まったかを検出して、当該収納棚（正確には、その棚に展示された商品）に興味を持ったか否かに関する情報を検出する。
更に、図２（ｃ）に示すように、顧客検出領域２１内に滞留中の顧客２２が、腕を伸ばして、何れかの棚に手を差し入れた（顧客の身体の一部が棚内に進入した）ことを検出する。即ち、図２（ｃ）に示すように、棚１１〜１３の各棚段２３−４（この例では最上段を２３−１、最下段を２３−４としている）の前縁ライン位置を画像上で認識し、顧客の手が、どの棚の前縁ラインを横切っているかを検出することによって、顧客が差し込んだ棚の段を特定できる。図２（ｃ）の例では、下から２段目の棚２３−３上に手を差し入れている（接触している）ことが分かる。顧客の腕が棚内に進入したことは、画像上で顧客の腕を動体として識別することによって可能である。
また、ここでの説明は省略するが、各棚段の所要部にカメラを設置し、棚を横方向から撮影することにより、具体的に、どの製品（収納物）を手に取ったかを検出することもできる。全ての棚にカメラを設置することが費用等の観点から困難である場合は、特に注目すべき商品棚にカメラを設置することもできる。

図３は、本発明に係る顧客動作分析装置１における、顧客動作判定処理の一例を示すフローチャートである。
図３において、先ず、店舗内１０に配置したビデオカメラ１４から通信線を介して送られる画像信号（例えば図２）を取り込んで、ＨＤＤ等のメモリに保存する（Ｓ１）。この画像信号は、ビデオデッキに装着されたカセットに基づいて再生される画像（ビデオカメラ１４で撮影された店舗内映像）であってもよい。
次に、検出精度を向上させるために、取り込んでキャプチャした映像（画面表示している動画や静止画を、デジタルデータとして保存しているもの）に対して各種前処理を行う（Ｓ２）。例えば、ノイズ除去のために、メディアンフィルタ処理、ガウシャンフィルタ処理、ローパスフィルタ処理、あるいは外光や照明灯による影が処理に影響与える可能性がある場合は、影消去処理等を行う。
次に、動体検出によって顧客の存在を検出するために、画像中の動体を構成するピクセル（ｐｉｘｅｌ：画素）のクラスタを検出し、クラスタ周囲を外郭線により囲み、この外郭線の追跡を実行する（詳細は図７により説明する）（Ｓ３）。

次に顧客が図２（ｂ）に示すように顧客検出領域２１に入ったかを判断する。この判断は、顧客２２の全てが入った場合に限らず、顧客２２の一部が入った場合でも顧客検出領域２１に入ったと判断しても構わない。ステップＳ５において顧客が顧客検出領域２１に入ると（Ｓ５、Ｙｅｓ）、棚前領域滞留時間のカウントを開始する（Ｓ６）。棚前滞留と判断する閾値をどの程度の時間に設置するかは、適宜対象商品等に応じて設定可能であるが、単なる通過か、あるいは若干興味を示したかを検出する場合は、数段階の閾値を設け、夫々に該当する人数を係数することもできる。
この例では２段階の例を示している。その間に、図２（ｃ）を用いて説明したように、顧客が棚に接触したか否かを検出し、顧客が商品棚に手を差し入れたことを検出した場合は（Ｓ７、Ｙｅｓ）、その旨を情報としてカウントする（Ｓ１２）。Ｓ１２の後は、次のＳ８の棚前滞留時間の計測に移行して（破線のルート）、更に滞留時間データを検出しても良いが、Ｓ１１に移行して次の顧客検出を行っても良い。
上記ステップＳ７において、棚接触が検出されなかった場合は（Ｓ７、Ｎｏ）、棚前滞留時間が閾値を越えたか否かを判断し（Ｓ８）、閾値に満たない時間で、棚前領域２１を離れた場合は、短時間滞留として係数し（Ｓ１３）、検出終了か否かの判断（Ｓ１１）を経て、次の処理に移るか、処理を終了する。

また、上記処理Ｓ８において、棚前滞留時間が閾値を越えた場合は（Ｓ８、Ｙｅｓ）、棚前領域２１から離れるまでの間、上記Ｓ７乃至Ｓ９のフローを繰り返し、顧客が他の棚や他の商品を手に取る場合は、夫々について検出してデータを収集する（Ｓ７乃至Ｓ９）。そして、棚前領域２１から離れたことを検出した場合は（Ｓ９、Ｙｅｓ）、閾値を越えた長時間滞留としてデータを保存するか、あるいは、それまで滞留した時間を検出してデータに付加し（Ｓ１０）、処理が終了したか否かの判断を経て、次の処理に移る。
なお、上記処理において、顧客の動作を検出する際に、画像データから動体を構成するピクセル（ｐｉｘｅｌ：画素）のクラスタを検出して、クラスタ周囲を外郭線により囲み、この外郭線の追跡を実行するが、動体、即ち顧客が、どの方向に移動したか、あるいは同一位置に留まっているかの判断は、それ以前のフレーム画像データにおける上記外郭線の位置との比較によって行う。つまり、少なくとも一つ前のフレーム画像データから作成した外郭線形状をシステムに保存しておき、その形状とのパターンマッチングで一致したものを、そのときの顧客として判断し、当該顧客の位置が画面上の何処にあるかを判断材料とする。

図４は、本発明の棚計測アルゴリズムを説明する模式図である。図４（ａ）は、図４（ｂ）の上下段の棚を検出するときのメモリ内のアクセス状態を模式化した図であり、図４（ｂ）は棚を上下段に分割してフィールド番号を付加した図であり、縦軸に時間（Ｔ）、横軸に棚番号（１〜６）を表している。
図４（ｃ）は棚を横方向に分割してフィールド番号を付加した図である。図２で説明したとおり、顧客２２が棚前領域２１に進入して手を棚１１に入れると、時間（Ｔ１：Ａ点）で棚１がＯＮ（メモリにデータが記憶された状態）となり、順次時間（Ｔ２）で棚１、２がＯＮとなり、時間（Ｔ４：Ｂ点）で棚１〜５がＯＮとなる。ここで、顧客２２が図４（ｂ）の棚５の商品を取り出そうとすると、時間（Ｔ４）から（Ｔ６）まで棚１〜５がＯＮとなる。そして時間（Ｔ７：Ｃ点）から棚１〜４、１〜３、１〜２、棚１（Ｄ点）となり、手を棚から抜いて顧客２２が棚前領域２１の外に出る。

このように、本発明の棚計測アルゴリズムは、一定時間過去の状態を保持し、その中で最も上の棚に着目し、一定時間以上（本実施形態ではＴ４〜Ｔ６）その段が連続すればその棚（本実施形態では棚５）にアクセスしたと見做す。但し、図４（ａ）の下段に記載の通り、棚４がＯＮの時間（Ｔ６）がアクセスが途絶えても前の状態が継続していると見做す。このようなアルゴリズムは、図４（ｃ）のように棚を横方向に分割しても同様に適応できる。即ち、横方向に分割するフィールドを設置し（分割数は適宜）、例えば、横方向に１〜３まで分割した場合、１に進入した場合は左、２に進入した場合は中央、３に進入した場合は右にアクセスしたと見做す。
しかし、場合によっては、同時に複数のフィールドが反応する場合があるため、その際は、条件として最も右（又は左）に進入したフィールドを採用する。このアルゴリズムは若干計算コストは高くなるが、比較的精度は高いのが特徴である。また、図４（ｂ）と図４（ｃ）を合成することにより、棚をマトリックス状に分割して更に細かく位置を特定することが可能となる。

図５は、本発明の他の棚計測アルゴリズムを説明する模式図である。このアルゴリズムは、棚全体を包含するフィールドＡを設置し、検出したい部分ごとにフィールドＢを設置する。そして、フィールドＡがＯＮ（メモリにデータが記憶された状態）の状態の間、各フィールドＢ毎のＯＮ状態の時間を積算しておき、フィールドＡがＯＦＦ（メモリからデータが消去された状態）の時点で積算時間が最大のフィールドＢをアクセスした棚と見做す。
しかし、アルゴリズムは簡易であるが、連続してアクセスした場合の検出ができず、同時に多数の計測ができないといった欠点もあるが、使用目的により選択すればよい。

図６は、本発明に係るカウンタラインの一例を示す図であって、（ａ）は店舗を上方から見た場合のカメラと棚との位置関係を表す図、（ｂ）はカメラｂの映像から通路に設けたカウンタラインを表す図である。店舗内の顧客の行動を示す情報は、棚前に滞留した時間や棚に接触したか否かの情報だけでは不足である。即ち、店舗全体の顧客の行動パターンや、入店者数を把握することも重要である。
そこで、図６（ａ）のように、入口５３全体を撮影するカメラａを設置し、顧客の１日の出入りを撮影し、その画像に仮想のカウンタラインを設けてそのカウンタラインを横切った顧客を計数することにより、自動的に入店者数を計数することができる。また、各棚によって挟まれた通路５１、５２に夫々カメラｂ、ｃを設置し、通路５１、５２を通過する顧客の数を計数することもできる。
例えば、図６（ｂ）のように、カメラｂにより撮影した画像に仮想のカウンタライン５３を設け、このカウンタライン５３を横切った顧客を自動的に計数して、どの通路に多くの顧客が通過したかを判断することができる。尚、図ではカメラｂ、ｃを通路の一方の側のみに設置したが、両方の側に設置しても良いし、通路の長さにより複数のカメラを設置しても構わない。

図７は、本発明の実施に好適な動体判定手段を説明するフローチャートである。先ず、動体の属するピクセルのクラスタを検出する（符号３０：クラスタ検知手段）ために、数十フレーム前の映像から、背景と想定される映像を作成する（Ｓ２１）。
次に、ピクセル毎に、評価するフレームの輝度変化（グレースケール）のヒストグラムを作成し（Ｓ２２）、このヒストグラムから背景の輝度を決定する（Ｓ２３）。次に、Ｓ２１で作成した背景と、現在のフレームをピクセル単位で比較し（Ｓ２４）、動体であればクラスタ（動体周囲に群在する輪郭、フォアグラウンドピクセル）が出現して（Ｓ２５、Ｙｅｓ）、動体として検出する（Ｓ２６）。
次に、クラスタから外郭線を生成する（Ｓ２７）（符号３１：顧客外郭線生成手段）。即ち、動体を囲むような閉じた線を作成して、いくつかのクラスタが接近している場合は、一つの閉じた線に統合し、外郭線を追跡するために（符号３２：動体判定手段）、前のフレームで生成された外郭線と現在のフレームで生成された外郭線から、連続する外郭線であるのか、新たに出現した外郭線であるかを判断する（Ｓ２８）。
そして、外郭線に、他の外郭線と識別するためにＩＤを付与する（Ｓ２９）。
即ち、ここに示す動体判定手段は、動体（顧客）に関する画像データを構成するピクセルのクラスタを検出するクラスタ検知手段と、このクラスタ検知手段により検知されたクラスタ周囲の外郭線（顧客外郭線）を生成する外郭線生成手段（顧客外郭線生成手段）と、外郭線を追跡するために前のフレームで生成された前の外郭線と現在のフレームにおいて生成された現在の外郭線とを比較して、現在の外郭線が前の外郭線と連続する外郭線であるか、あるいは新たな外郭線であるかを判断する判定手段と、この判定手段により判断された外郭線に、処理用のＩＤを付与するＩＤ付与手段と、を備えている。

なお、上述した処理において、背景が変動する場合は、その都度背景画像に対する処理が必要であるが、本発明のように、店舗内の収納棚、及びその周辺を分析対象とする場合は、顧客等の動体以外は固定的な画像である場合が多いので、処理の最初に背景画像処理を行って、そのデータを保存して利用することも可能であり、処理量が大幅に少なくなり、動体（顧客動作）判断処理を迅速に行うことができる。もし、カメラでの撮影の際に、ズーム機能によって、対象を拡大する場合や、広角撮影によって広範囲で撮影する場合を含むときであっても、一度作成した背景画像データを、ズーム倍率や、広角度合いに合わせて補正することによって、適宜使用することもできる。
もし例えば、背景画像中に屋外風景等の変化する可能性のある画像を含む場合は、図７のＳ２１、Ｓ２３において、先ず、背景と想定される映像を作成し、その背景の色を決定する処理が意味を持つ。例えば、雨に濡れた屋外風景は、光の吸収が大きくなって全体的に黒っぽく写り、乾燥すれば白っぽく見えるので、その変化を加味した処理を行うことになる。

なお、画像処理手段によって顧客の動きを判断する方法は、この例に限らず、数フレームの画面データの差分を抽出することによって、特定部分の動きベクトルを求めるような既存の手段を用いてもよいが、上述した方法によれば従来の手段より大幅に、優れた判断結果が得られることが確認されている。店舗内の棚前や通路画像は、顧客等の動体が存在しない場合は、静止画像であるので、画像データが変動することはない。そこで、動体（顧客）検出に際して、変化のない画素データについては固定的なデータとして取り扱えば、大幅に処理を高速化できる。即ち、数フレーム間の画像データの差分を抽出することによって、動体部分の識別が可能となる。
以上説明した実施例においては、収納棚と顧客を撮影するカメラを、図１に示すように天井等の高所に設置したが、本発明ではこの例に限ることなく、種々変形が可能である。
例えば、店舗の四隅等の、できるだけ多くの収納棚を視認できる位置にカメラを備え、少ないカメラで店舗内の収納棚をできるだけ多く監視することも経済的にシステムを構築する上で有用であろう。なお、この場合、顧客の動作検出精度が低下する可能性もあるが、例えば、顧客が特定の注目すべき収納棚に近づいたことを検出したとき、その部分をズーミングして拡大撮影に切換えた上で、顧客動作検出処理を行うようにすれば、精度を向上させることもできる。

また、棚の横方向位置をも識別するように、カメラで撮影した画像の棚を横方向に区分する仮想的な仕切りラインを設定し、上方からの映像分析によって、顧客の腕が、どの仕切り区分に接触したかを検出するように構成することも可能であり、夫々に収納した商品について、より細かく顧客の反応情報を収集することができる。
更に、棚に収納している収納物（商品）の形状の情報を保存しておき、映像に映る商品の形状をパターン認識して、その商品が何であるかを検出し、データに付加することもできる。
また、上記実施例では、顧客の男女区別を行わなかったが、男女別を識別できる情報を映像データから読み取って、それらのデータを付加することも可能であろう。例えば、顧客の服装の特徴や、洋服の色、頭髪の様子、顧客の全体的な姿の画像から、男女の識別を行うことも不可能ではない。比較的正確に特徴を把握できて男女の識別確度が高い場合にのみその識別データを付加し、曖昧な対象に付いては未確定として取り扱うこともデータ処理の上から有効である。

更に、映像による情報収集に留まることなく。他の検出手段を併用することによって、更に正確に、且つ、詳細に情報を収集することも可能である。
例えば、超音波による収納物の形状検出、赤外線センサによる人体検出、更には、注目度の高い特定の収納棚や商品には、従来のようにＩＣタグ等の非接触センサを併用することによって、正確な顧客購買行動の調査が可能である。
本発明は、上述した顧客動作分析装置や顧客動作判定システムに留まらず、顧客購買行動を分析して、商品の配置変更や店内のレイアウト変更等の施策構築や、それらの実施後の効果確認等、マーケティング支援ツールとして利用することもできる。
更に、上述した顧客動作分析装置（手段）及び顧客動作判定システムを、全国的なチエーン店で実施する場合、あるいは個人経営等の小規模店舗にも利用可能なように、店舗にはカメラや信号送受信用のモデム、簡単なモニタ装置のみを備え、カメラが撮影する顧客画像信号を通信手段によって、顧客動作分析装置が備えられた顧客購買分析センタに送信して分析処理を行うこともできる。
顧客購買分析センタでは、比較的高度な高速処理装置を備えており、上述した各処理をリアルタイムで分析処理するとともに、その結果を、依頼主の店舗に返送し、あるいは時間をかけて分析処理した後、結果を依頼先の店舗に通信回線を用いて伝送し、又は、ビデオテープ等の形式で郵送する。この際、単に顧客動作検出結果のみならず、顧客の購買動向を分析して、どのような商品配置がよいかの判断を加味したアドバイスを提供することもできる。

図８は、比較的高度な顧客動作分析手段を備えた顧客購買分析センタに、上述したように店舗内に配置したビデオカメラの映像を複数の店舗から伝送し、顧客動作分析のサービスや、それらに基づいた売り上げ増進施策等のアドバイスを提供するサービスを行うシステム（顧客購買行動分析システム）１５０の例である。
即ち、図８において、１０は、図１に示したものと同様な店舗内設備であって、上下に複数の棚段を備えた商品収納棚の一部として１１乃至１３を備え、その周辺に位置する顧客の行動を撮影するためのビデオカメラ１４を備えている。
そして、この例では図１と異なり、各店舗に、顧客動作分析装置１を配置する代わりに、通信回線を介してカメラの映像信号を送信するためのモデム４０と、簡単なモニタ装置４１を備え、カメラの映像信号を、比較的高度な顧客動作分析手段を備えた顧客購買分析センタ４２に送信する。この顧客購買分析センタ４２には、多数の店舗夫々から送信されてくる顧客を撮影した画像について、個別に顧客動作の分析を行うとともに、メモリ装置（メモリ手段）４に蓄積する。

更に、分析用サーバ４３を備え、各店舗に関する顧客情報を分析して、販売促進に役に立つ棚の配列や店舗のレイアウト等のアドバイス情報を作成する。なお、アドバイス情報の作成は、別途、販売促進アドバイス用のプログラムを構築すれば良い。あるいは、長年蓄積した販売促進上のノウハウに依存する部分が多い場合は、顧客動作分析情報のみを送ってもらい、具体的な検討は店舗経営者が行うものであってもよい。
このように、上記顧客購買分析センタ４２は、収納棚及び前記顧客を撮影した映像情報を複数の店舗から通信手段を介して受取る手段と、この受取った映像情報に基づいて各顧客が収納棚の前方に滞留した時間、及び／又は収納棚内に前記顧客の身体の一部を進入させたことを検出して、特定棚上収納物に対する顧客のアクセスの有無を判断する顧客動作分析手段と、顧客動作分析手段によって分析した顧客動作分析情報を、店舗別に蓄積するメモリ手段と、蓄積した顧客動作分析情報に基づいて、棚上収納物に対する顧客の関心度を示すアクセス頻度情報を算出する手段と、蓄積した店舗の顧客動作分析情報、又は／及び算出した棚上収納物に対する顧客のアクセス頻度情報を、各店舗に通信回線を介して送信する手段を備えたものである。

このような顧客購買行動分析システムによれば、上述した小規模小売店舗や個人商店について、経済的に販売促進に役立つ情報を提供することができる。従って、システム利用をリース契約に基づいて提供し、又は利用契約に基づいて一定期間毎に顧客分析サービスを提供することが可能である。
また、全国規模のチエーン店等では、全国の店舗情報を通信回線（インターネット、ＩＳＤＮ、衛星回線等を含む）により一カ所、又は数カ所の顧客購買分析センタに集めて、全国規模のデータ集計を行うこともできる。この方法によれば、各地の店舗の何れかで顧客が興味を示した製品を、全国的に展開して、販売促進に役立てることもできる。

図９は、本発明の顧客動作分析装置、顧客動作判定システム、顧客購買行動分析システムにおけるデータ集計機能によって作成した分析データの一例を示す図であり、（ａ）は時間毎の顧客の収納棚へのアクセス数を示すグラフ、（ｂ）はその出力結果を示す図である。
このように計測結果をグラフのように目で見える形にすれば、顧客の動向を推測することが可能であり、特に小売店経営者等の長年の経験をも加味すれば、販売促進のための次なる施策のアイデアを引き出す上で有用な資料となる。思いついたアイデアに基づいて、棚や商品のレイアウト変更を行った場合、同様のデータを収集すれば、レイアウト変更前後の顧客動向の変化を、容易に知ることができるので、それらの施策の効果を確認する上でも有用である。
本発明によれば、収納棚近傍に位置する動体を検出するものであるから、当然に、盗難防止や不審者侵入検出手段としても利用することができる。即ち、店舗が閉店した後、夜間は顧客が存在するはずはないので、そのような状況で動体を検出した場合は、不審者侵入と判断して警報を発生し、あるいは警備会社に通報するように構成することも可能である。その際、店舗に設置するカメラは、暗闇や僅かな明かりの中で動体検出できるように、赤外線カメラとして機能するものであってもよい。

あるいは、本発明による顧客動作分析装置、顧客動作判定システム、及び顧客購買行動情報分析システムの各機能を、コンピュータが制御可能なＯＳに従ってプログラミングすることにより、そのＯＳを備えたコンピュータであれば同じ処理方法により制御することができ、このようなプログラムをコンピュータが読み取り可能な形式で記録媒体に記録すれば、記録媒体を持ち運ぶことにより何処でもプログラムを稼動することができる。
また、プログラムを格納する記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよく、また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。

本発明に係る顧客動作判定システムの一例を示すブロック図である。 本発明において使用する処理画面の一例を示す図であって、（ａ）は棚情報から撮影した画像におけるカウンタライン、カウンタゾーンの図、（ｂ）はカウンタゾーンに位置する顧客の映像を表す図、（ｃ）は顧客が棚の何れかに手を進入させた状態を示す図である。 本発明に係る顧客動作判定アルゴリズムの例を示すフローチャートである。 （ａ）は（ｂ）の上下段の棚を検出するときのメモリ内のアクセス状態を模式化した図、（ｂ）は棚を上下段に分割してフィールド番号を付加した図、（ｃ）は棚を横方向に分割してフィールド番号を付加した図である。 本発明の他の棚計測アルゴリズムを説明する模式図である。 本発明に係るカウンタラインの一例を示す図であって、（ａ）は店舗を上方から見た場合のカメラと棚との位置関係を表す図、（ｂ）はカメラｂの映像から通路に設けたカウンタラインを表す図である。 （ａ）（ｂ）は本発明において使用する動体検出処理の一例を示すフローチャートである。 本発明の他の実施例を示すブロック図である。 本発明において作成したデータの一例を示す図で、（ａ）は時間毎の顧客の収納棚へのアクセス数を示す図、（ｂ）はその出力結果を示す図である。

符号の説明

１ 顧客動作分析装置、２ コンピュータ、３ 表示器、４ メモリ装置、５ 操作部、６ ポインタ（マウス）、７ ビデオデッキ、８ モデム、９ 通信回線、１０ 店舗（の一部）、１１乃至１３ 収納棚、１４―１、１４−２、１４−３ （ビデオ）カメラ、１５ 商品（収納物）、２０ カウンタライン、２１ 顧客検出領域（カウンタゾーン）、２２ 動体（顧客）、２３―１乃至２３−４ 棚前縁、４２ 顧客購買分析センタ

Claims (8)

1. 収納棚の周辺に位置する顧客による棚上収納物に対するアクセス状況を判定する顧客動作判定システムであって、
   前記収納棚、及び前記顧客を撮影する撮像手段と、
   前記撮像手段により撮影された映像に基づいて、少なくとも前記顧客が前記収納棚の前方に滞留した時間、及び／又は、前記収納棚内に前記顧客の身体の一部を進入させたことを検出して、特定棚上収納物に対する顧客のアクセスの有無を判断する顧客動作分析手段と、を備え、
   前記顧客動作分析手段は、撮像中の前記収納棚を各棚の段ごとに複数に区分した棚検出領域を設定し、何れかの棚検出領域内に前記顧客の身体の一部が進入した場合、その中で最も上段の棚に着目し、該棚に前記顧客の身体の一部が所定時間以上連続して存在したとき、該棚にアクセスしたと見做すことを特徴とする顧客動作判定システム。
2. 前記顧客動作分析手段は、撮像中の前記収納棚前方部に所定範囲の顧客検出領域を設定し、該顧客検出領域内に前記顧客が一定時間以上滞留したことをもって当該棚上収納物にアクセスしたと判断することを特徴とする請求項１に記載の顧客動作判定システム。
3. 前記顧客動作分析手段は、撮像中の前記収納棚を横方向に複数に区分した横方向検出領域を設定し、何れかの横方向検出領域内に前記顧客の身体の一部が進入した場合、当該横方向検出領域内の収納物にアクセスしたと判断することを特徴とする請求項１又は２に記載の顧客動作判定システム。
4. 前記収納棚が複数配置され、且つ、前記映像が収納棚毎に又は複数の収納棚を一括して上方から撮影されたものであって、前記顧客動作分析手段が、前記撮像手段によって撮影された映像に基づいて前記収納棚毎に前記顧客のアクセスの有無を判断する機能を備え、特定の収納棚上に前記顧客の身体の一部が進入した場合、当該収納棚上の特定の収納物にアクセスしたものと判断することを特徴とする請求項１乃至３の何れか一項に記載の顧客動作判定システム。
5. 前記顧客動作分析手段は、撮像中の前記収納棚を横方向に複数に区分した横方向棚検出領域を設定し、何れかの横方向棚検出領域内に前記顧客の身体の一部が進入した場合、右又は左の棚にアクセスしたと見做すことを特徴とする請求項１乃至４の何れか一項に記載の顧客動作判定システム。
6. 前記顧客動作分析手段は、撮像中の前記収納棚全体を第１の検出領域と設定し、該第１の検出領域内を複数の第２の検出領域として設定し、前記第１の検出領域に前記顧客の身体の一部が進入した場合、前記各第２の検出領域に前記顧客の身体の一部が進入した時間を積算し、前記第１の検出領域から前記顧客の身体の一部が取り除かれたときに、前記積算時間が最大の第２の検出領域にアクセスしたと見做すことを特徴とする請求項１乃至５の何れか一項に記載の顧客動作判定システム。
7. 撮像中の棚前方通路にあって、前記顧客の通過方向と交差する位置にカウンタラインを設定し、該カウンタラインを横切った顧客を通過人数として計数することを特徴とする請求項２又は３又は５に記載の顧客動作判定システム。
8. 前記顧客動作分析手段は、前記顧客に関する撮像画面データを構成するピクセルのクラスタを検出するクラスタ検知手段と、該クラスタ検知手段により検知されたクラスタに基づいて、顧客画像周囲の外郭線を生成する顧客外郭線生成手段と、顧客外郭線を追跡するために、それ以前の画像フレームにおいて生成された顧客外郭線と現在の画像フレームにおける顧客外郭線とを比較して、当該顧客の動向又は身体の動きを判定する動体判定手段を備えたことを特徴とする請求項１乃至７の何れか一項に記載の顧客動作判定システム。

Images