JP6605822B2 - 顧客情報システム及びプログラム - Google Patents

Description

本発明は、顧客情報システム及びプログラムに関する。

来店客の行動履歴を個々の来店客毎に把握するとともに、来店客の性別年齢等を推定して、特定の性や年齢層に特有の行動履歴を把握する動線管理システムが知られている。（例えば、特許文献１参照。）。また、物品販売店舗において、店舗内監視カメラ及び店舗内陳列商品取付けＩＣタグにより顧客及び商品を特定して、マーケティング分析及び優良顧客来店検知を行うシステムが知られている（例えば、特許文献２参照。）。
特許文献１ 特開２０１０−５５５９４号公報
特許文献２ 特開２００８−２５７４８８号公報

商品を購買する可能性が低い状況にある顧客の情報を、店舗側に効果的に提供することができないという課題があった。

第１の態様においては、顧客情報システムは、第１の店舗に設けられた第１の撮像装置によって撮像された顧客の画像から特定された顧客の状況を示す情報を取得する状況取得部と、顧客が第１の店舗で商品を購買しなかった場合の顧客の状況である第１状況を示す情報を、顧客を識別する情報に対応づけて格納する状況情報格納部と、顧客が訪れている店舗内で撮像された顧客の画像から特定された顧客の現在の状況が、顧客に対応づけて状況情報格納部に格納されている情報が示す第１状況に類似している場合に、顧客に関する情報を、顧客が訪れている店舗に提供する顧客情報提供部とを備える。

状況情報格納部は、顧客が第１の店舗で商品を購買した場合の顧客の状況である第２状況を示す情報を、顧客を識別する情報に対応づけて格納し、顧客情報提供部は、顧客の現在の状況が第１状況に類似している場合に、第２状況を示す情報を、顧客が訪れている店舗に提供してよい。

顧客情報提供部は、顧客の現在の状況が第１状況に類似している場合に、第１状況を示す情報及び第２状況を示す情報を、顧客が訪れている店舗に提供してよい。

顧客の状況を示す情報は、顧客の表情を示す情報、顧客に同伴者がいるか否かを示す情報、顧客の動作を示す情報、及び顧客が見た商品の情報のうちの少なくとも１つの情報を含んでよい。

状況取得部は、第１の撮像装置によって撮像された顧客の画像から抽出された顔画像及び顧客の状況を示す情報を取得し、状況情報格納部は、顧客の顔画像に対応づけて、第１状況を示す情報を格納し、顧客情報システムは、新たに撮像された顧客の顔画像を取得して、新たに撮像された顧客の顔画像に適合する顔画像に対応づけて状況情報格納部に格納されている第１状況を示す情報を抽出する状況情報抽出部とを更に備えてよい。

顧客情報システムは、状況取得部と、状況情報格納部と、状況情報抽出部とを有するサーバを備え、第１の撮像装置によって撮像された顧客の画像から、顧客の顔画像を抽出する第１顔画像抽出部と、第１の撮像装置によって撮像された顧客の画像を解析して、顧客の状況を特定する第１状況特定部と、顔画像抽出部が抽出した顔画像及び第１状況特定部が特定した顧客の状況を示す情報を、サーバに送信する第１顧客状況情報送信部とを有する第１店舗側装置を更に備えてよい。

第１の店舗とは異なる第２の店舗に設けられた第２の撮像装置によって新たに撮像された顧客の画像から、新たに撮像された顧客の顔画像を抽出する第２顔画像抽出部と、第２の撮像装置によって撮像された顧客の画像を解析して、顧客の状況を特定する第２状況特定部と、第２顔画像抽出部が抽出した顔画像及び第２状況特定部が特定した顧客の状況を示す情報をサーバに送信する第２顧客状況情報送信部とを有する第２店舗側装置を更に備え、顧客情報提供部は、第２顧客状況情報送信部から受信した顧客の状態を示す情報が、状況情報抽出部が抽出した第１状況を示す情報に類似している場合に、顧客に関する情報を、第２店舗側装置に送信してよい。

第１の撮像装置によって撮像された顧客の画像を解析して、顧客が着目した商品である着目商品を特定する着目商品特定部を更に備え、状況情報格納部は、顧客が第１の店舗で着目商品を購買しなかった場合に、着目商品の販売場所で撮像された顧客の画像から特定された顧客の状況を示す情報を、第１状況を示す情報として格納してよい。

顧客が購買した商品を特定する購買商品特定部を更に備え、状況情報格納部は、顧客が購買した商品の販売場所で撮像された顧客の画像から特定された顧客の状況を示す情報を、第２状況を示す情報として格納してよい。

第２の態様においては、プログラムは、コンピュータを、上記の顧客情報システムとして機能させる。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

一実施形態における顧客情報システム１０の全体構成を概略的に示す。 カメラシステム２２ａ、店舗側サーバ１２０ａ、及び顧客情報サーバ１４０のブロック構成を概略的に示す。 店舗２０ａと顧客情報サーバ１４０との間の通信シーケンスの一例を示す。 店舗２０ｂと顧客情報サーバ１４０との間の通信シーケンスの一例を示す。 情報格納部２０２に格納される状況情報をテーブル形式で示す。 情報格納部２０２に格納される共有情報をテーブル形式で示す。 情報格納部２０２に格納される購買情報をテーブル形式で示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態における顧客情報システム１０の全体構成を概略的に示す。顧客情報システム１０は、顧客情報サーバ１４０と、クレジットカード情報サーバ１５０と、店舗側サーバ１２０ａ及び店舗側サーバ１２０ｂと、店員端末１８０ａ及び店員端末１８０ｂと、カメラシステム２１ａ、及びカメラシステム２２ａ及びカメラシステム２３ａと、カメラシステム２１ｂ、カメラシステム２２ｂ及びカメラシステム２３ｂと、顧客端末１７０ａ及び顧客端末１７０ｂと、通信回線１６０とを備える。

顧客１９０ａ及び顧客１９０ｂは、店舗２０を訪れている顧客である。顧客１９０ａ及び顧客１９０ｂは、取引によって店舗２０ａ又は店舗２０ｂで商品を購買する。顧客１９０ａは顧客端末１７０ａの所有者であり、顧客１９０ｂは顧客端末１７０ｂの所有者である。また、顧客１９０ａ及び顧客１９０ｂは、クレジットカード情報サーバ１５０が発行するクレジットカードの所有者である。なお、顧客１９０ａ及び顧客１９０ｂを、顧客１９０と総称する場合がある。また、顧客端末１７０ａ及び顧客端末１７０ｂを、顧客端末１７０と総称する場合がある。なお、商品とは、有形の財だけでなく、無形の財を含む概念である。無形の財とは、サービス、コンテンツ、権利等を含む。

店舗２０ａ及び店舗２０ｂは、顧客情報サーバ１４０が発行するクレジットカードの加盟店である。店舗側サーバ１２０ａ、カメラシステム２１ａ、カメラシステム２２ａ及びカメラシステム２３ａ、店員端末１８０ａ、及び電子看板１３０ａは、店舗２０ａによって管理される。店舗側サーバ１２０ｂ、カメラシステム２１ｂ、カメラシステム２２ｂ及びカメラシステム２３ｂ、店員端末１８０ｂ、及び電子看板１３０ｂは、店舗２０ｂによって管理される。なお、店舗２０ａ及び店舗２０ｂを、店舗２０と総称する場合がある。また、店舗側サーバ１２０ａ及び店舗側サーバ１２０ｂを、店舗側サーバ１２０と総称する場合がある。また、店員端末１８０ａ及び店員端末１８０ｂを、店員端末１８０と総称する場合がある。

顧客情報サーバ１４０、店舗側サーバ１２０及びクレジットカード情報サーバ１５０は、通信回線１６０によって互いに通信する。顧客端末１７０ａ及び顧客端末１７０ｂは、通信回線１６０によって店舗側サーバ１２０と通信する。通信回線１６０は、専用回線、公衆回線、データ通信回線等の通信回線を含む。通信回線１６０に接続された機器および通信回線１６０は、一部がインターネット等のコンピュータネットワークを形成してよい。店員端末１８０ａ及び店舗側サーバ１２０ａは、例えば店舗２０ａ内の無線通信ネットワークによって互いに通信する。また、電子看板１３０ａ及び店舗側サーバ１２０ａは、店舗２０ａ内の無線通信ネットワークによって互いに通信する。店員端末１８０ｂ及び店舗側サーバ１２０ｂは、例えば店舗２０ｂ内の無線通信ネットワークによって互いに通信する。また、電子看板１３０ｂ及び店舗側サーバ１２０ｂは、店舗２０ｂ内の無線通信ネットワークによって互いに通信する。

店舗２０ａにおいて、カメラシステム２１ａは店舗２０ａの出入口に設けられる。カメラシステム２２ａは商品棚の近傍に設けらる。例えば、カメラシステム２２ａは、商品棚に置かれた商品を見ている顧客の顔及び動作を撮像できる位置に設けられる。カメラシステム２３ａは、会計端末１８２ａの近傍に設けられる。例えば、カメラシステム２３ａは、会計端末１８２ａの近傍で会計している顧客の顔及び動作を撮像できる位置に設けられる。なお、店舗２０ｂの店舗側サーバ１２０ｂ、カメラシステム２１ｂ、カメラシステム２２ｂ、カメラシステム２３ｂ、店員端末１８０ｂ、電子看板１３０ｂ、及び会計端末１８２ｂの構成は、それぞれ店舗側サーバ１２０ａ、カメラシステム２１ａ、カメラシステム２２ａ、カメラシステム２３ａ、店員端末１８０ａ、電子看板１３０ａ、及び会計端末１８２ａの機能と略同一である。

会計端末１８２は、店舗２０に設けられる。会計端末１８２は、例えば販売時点情報管理端末としての機能を持つ。会計端末１８２は、顧客１９０との間の商品の取引時に、クレジットカードからカードの識別情報を読み取る機能を有する。会計端末１８２でクレジット決済を行う場合、会計端末１８２はクレジットカード情報サーバ１５０と通信する。

店舗２０ａにおいて、カメラシステム２１ａ、カメラシステム２２ａ及びカメラシステム２３ａはそれぞれ、撮像した画像から人物の顔画像を抽出する。また、カメラシステム２１ａ、カメラシステム２２ａ及びカメラシステム２３ａはそれぞれ、撮像した画像から人物の動作を特定する。カメラシステム２１ａ、カメラシステム２２ａ及びカメラシステム２３ａは、抽出した顔画像のデータ及び特定した人物の動作の情報を、店舗側サーバ１２０ａに送信する。なお、分かり易く説明することを目的として、カメラシステム２１ａ、カメラシステム２２ａ及びカメラシステム２３ａを、「カメラシステム」と総称する場合がある。

店舗側サーバ１２０ａは、カメラシステムから受信した顧客の動作情報から、顧客が着目した着目商品や、顧客の状況を特定する。顧客の状況とは、顧客の同伴者の有無、同伴者の数、店員１８８ａと話をしているか、着目商品を試用しているか、どのような商品を見ていたか、商品を見ていた時間等を含む。店舗側サーバ１２０ａは、カメラシステムから抽出した顔画像と、着目商品の識別情報及び顧客の状況の情報を含む情報を、顧客情報サーバ１４０に送信する。顧客情報サーバ１４０は、店舗側サーバ１２０ａから受信した状況情報を格納して蓄積する。

また、店舗側サーバ１２０ａは、カメラシステム２３ａで得られた情報及び会計端末１８２ａからの購買情報に基づいて、会計をしている顧客が購買した商品を特定する。店舗側サーバ１２０ａは、顧客の顔画像と、購買した商品の識別情報とを含む購買情報を、顧客情報サーバ１４０に送信する。顧客情報サーバ１４０は、購買情報を受信すると、購買した商品に対応づけて格納されている顧客の状況情報を、顧客が商品を購買した場合の状況情報として更新する。なお、この顧客の状況情報を、「購買時の状況情報」と呼ぶ場合がある。

また、店舗側サーバ１２０ａは、カメラシステム２１ａで得られた画像から、出入口から退店した顧客を検出すると、カメラシステム２１ａで得られた画像と会計端末１８２ａからの購買情報とに基づいて、顧客が着目したものの購買に至らなかった着目商品を特定する。店舗側サーバ１２０ａは、顧客の顔画像と、顧客が購買しなかった着目商品の識別情報と、退店した旨の情報とを、顧客情報サーバ１４０に送信する。顧客情報サーバ１４０は、退店情報を受信すると、着目商品に対応づけられた顧客の状況情報を、商品を購買しなかった場合の顧客の状況情報として更新する。なお、この顧客の状況を示す情報を、「非購買時の状況情報」と呼ぶ場合がある。

次に、店舗側サーバ１２０ｂが、顧客情報サーバ１４０から情報を取得する場合の動作を説明する。店舗側サーバ１２０ｂは、出入口から入店しようとする顧客の顔画像をカメラシステム２１ｂで取得した場合、取得した顔画像を顧客情報サーバ１４０に送信して、当該顧客が他の店舗で購買しなかった商品の識別情報を、顧客情報サーバ１４０に要求する。顧客情報サーバ１４０は、受信した顔画像に基づいて、当該顧客が購入しなかった着目商品の識別情報を特定して、店舗側サーバ１２０ｂに送信する。店舗側サーバ１２０ａｂは、顧客情報サーバ１４０から受信した識別情報で識別される商品の情報を、電子看板１３０ｂに表示させる。例えば、顧客情報サーバ１４０は、店舗２０ｂ内における当該商品の販売場所の情報を、電子看板１３０ｂに表示させる。

また、店舗側サーバ１２０ｂは、商品の販売場所で顧客１９０ｂを検出した場合、顧客１９０ｂの顔画像と、顧客１９０ｂの現在の状況情報とを含む顧客関連情報要求を、顧客情報サーバ１４０に送信する。

このとき、顧客情報サーバ１４０は、顧客情報サーバ１４０に格納されている非購買時の状況情報の中に、顧客１９０ｂの現在の状況情報と類似している状況情報が存在する場合には、顧客１９０ｂに関連する情報を、顧客１９０ｂに対する販促を行うための情報として、店舗側サーバ１２０ｂに送信する。例えば、店舗側サーバ１２０ｂは、顧客１９０ｂの過去の非購買時の状況情報を、店舗側サーバ１２０ｂに送信する。店舗側サーバ１２０ｂは、店舗側サーバ１２０ｂから受信した情報を店員端末１８０ｂに送信して、店員端末１８０ｂに表示させる。これにより、店員１８８ｂは、店員端末１８０ｂに表示された内容に注意して顧客１９０ｂに話しかける等することで、顧客１９０ｂが商品を購入するように誘導することができる。

なお、本実施形態を説明する場合、分かり易く説明することを目的として、店舗２０ａにて取得した状況情報等を顧客情報サーバ１４０に送信して、店舗２０ｂにて顧客情報サーバ１４０から当該状況情報等を取得する場合を取り上げて説明する場合がある。しかし、店舗側サーバ１２０ａ及び店舗側サーバ１２０ｂは互いに同様の機能を有している。そのため、店舗２０ｂにて取得した状況情報等を顧客情報サーバ１４０に送信して、店舗２０ａにて顧客情報サーバ１４０から当該状況情報等を取得する場合もある。また、店舗２０ａにて取得した状況情報等を顧客情報サーバ１４０に送信して、店舗２０ａにて顧客情報サーバ１４０から当該状況情報等を取得する場合もあるし、店舗２０ｂにて取得した状況情報等を顧客情報サーバ１４０に送信して、店舗２０ｂにて顧客情報サーバ１４０から当該状況情報等を取得する場合もある。

以上に顧客情報システム１０の概要を説明したとおり、顧客情報システム１０によれば、顧客１９０が商品に着目したものの実際には購買行動に至らなかった場合の顧客１９０の状況を、各店舗２０から収集して格納することができる。そして、顧客１９０の現在の状況が、過去の購買行動に至らなかった状況と類似している場合に、顧客１９０ａに関する情報を店舗２０に通知することができる。そのため、顧客１９０の購買行動を効果的に促進することができる場合がある。

なお、会計端末１８２は、クレジットカード情報サーバ１５０に売上情報を送信する場合に、会計場所に対応づけられたカメラシステム２３で撮像した顧客１９０の顔画像を、売上情報と共にクレジットカード情報サーバ１５０に送信する。そして、クレジットカード情報サーバ１５０は、顔画像の情報に対応づけてクレジットカード会員の会員情報を管理する。例えば、クレジットカード情報サーバ１５０は、商品の購買情報を顔画像の情報に対応づけて管理する。

また、クレジットカード情報サーバ１５０は、顧客情報サーバ１４０に顔画像を送信して、顧客情報サーバ１４０に格納されている会員の状況情報を要求する。そして、クレジットカード情報サーバ１５０は、会員の状況情報を解析して、会員に販促情報を送信する。例えば、一人で来店した場合は商品を購買する確率が低く、一人以上同伴で来店した場合に商品を購買する確率が高い会員には、家族同伴で来店してクレジットカード決済で商品を購買すると特典を与える等の販促情報を送信してよい。また、クレジットカード情報サーバ１５０は、店舗２０での会員の現在の状況が非購買時の状況に類似している場合、商品の割引情報を、会員宛にリアルタイムに送信してよい。これにより、店舗２０における購買時及び非購買時の状況情報の少なくとも一方に基づいて、会員の購買行動を効果的に促進することができる場合がある。

図２は、カメラシステム２２ａ、店舗側サーバ１２０ａ及び顧客情報サーバ１４０のブロック構成を概略的に示す。カメラシステム２２ａは、撮像部２５４ａ、動作特定部２５２ａ及び顔画像抽出部２５０ａを有する。店舗側サーバ１２０ａは、状況特定部２４０ａ、着目商品特定部２４２ａ、情報送信部２３０ａ、情報受信部２２０ａ、顧客情報送信部２６０ａ、及び、購買商品特定部２４４ａを有する。

撮像部２５４ａは、画像を撮像する。画像とは、動画、静止画を含む概念である。顔画像抽出部２５０ａは、撮像部２５４ａによって撮像された顧客の画像から、顧客１９０の顔画像を抽出する。動作特定部２５２ａは、撮像部２５４ａによって撮像された顧客の画像から、顧客の動作を特定する。動作特定部２５２ａは、顧客の画像から、顧客の手、足、頭、口の位置や動きを特定する。

状況特定部２４０ａは、撮像部２５４ａによって撮像された顧客の画像を解析して、顧客の状況を特定する。顧客の状況とは、顧客の表情、顧客に同伴者がいるか否か、顧客の動作、及び顧客が見た商品の少なくとも１つを含む。

一例として、状況特定部２４０ａは、顔画像抽出部２５０ａが抽出した顔画像に基づいて、顧客の表情を特定する。また、状況特定部２４０ａは、顔画像抽出部２５０ａが抽出した顔画像に基づいて、顧客が同伴者の有無又は同伴者の数を特定する。状況特定部２４０ａは、顔画像抽出部２５０ａによって複数の顔が互いに近傍の位置から抽出された場合に、同伴者が存在すると判断する。状況特定部２４０ａは、特定の顔の周囲の予め定められた範囲内から抽出された顔の数を、同伴者の数として特定してよい。また、状況特定部２４０ａは、動作特定部２５２ａが特定した顧客の手、足、頭の位置や動きに基づいて、顧客が商品を手にとって見ているか否か等を判断する。また、状況特定部２４０ａは、動作特定部２５２ａが特定した顧客の手、足、頭、口の位置や動きに基づいて、顧客が他人と相談しているか否か、店員の説明を聞いているか否か等を判断する。

情報送信部２３０ａは、顔画像抽出部２５０ａが抽出した顔画像、及び、状況特定部２４０ａが特定した顧客の状況を示す情報である状況情報を、顧客情報サーバ１４０に送信する。情報送信部２３０ａは、撮像部２５４ａによって撮像された顧客の画像から抽出された顔画像、及び、顧客の状況情報を顧客情報サーバ１４０に送信する。

着目商品特定部２４２ａは、撮像部２５４ａによって撮像された顧客の画像を解析して、顧客が着目した商品である着目商品を特定する。例えば、着目商品特定部２４２ａは、顔画像抽出部２５０ａが抽出した顔画像に基づいて顧客の視線方向を特定して、顧客の視線方向の先にある商品を、着目商品と判断する。着目商品特定部２４２ａは、顧客が予め定められた閾値より長い時間にわたって特定の商品に視線が向いていると判断した場合に、当該商品を着目商品と判断してよい。情報送信部２３０ａは、着目商品特定部２４２ａが特定した着目商品を示す情報を、顔画像及び状況情報と共に顧客情報サーバ１４０に送信する。これにより、店舗側サーバ１２０ａは、顧客が着目した商品を見ているときの表情等の状況情報を、顧客情報サーバ１４０に送信することができる。なお、着目商品を示す情報とは、着目商品の種類であってよい。また、情報送信部２３０ａは更に、現在の時刻を顧客情報サーバ１４０に送信してよい。

購買商品特定部２４４ａは、顧客が購買した商品を特定する。例えば、会計端末１８２から取引される商品の情報を取得することによって、顧客が購買した商品を特定する。情報送信部２３０ａは、購買商品特定部２４４ａが特定した商品を示す情報を、顧客が購買した商品の情報として、顧客の顔画像に対応づけて顧客情報サーバ１４０に送信する。

顧客情報サーバ１４０は、情報格納部２０２、格納制御部２０８、情報取得部２００、情報提供部２１０、状況情報抽出部２０４及び状況比較部２０６を有する。

情報取得部２００は、撮像部２５４ａによって撮像された顧客の画像から特定された顧客の状況を示す情報を取得する。具体的には、情報取得部２００は、撮像部２５４ａによって撮像された顧客の画像から抽出された顔画像及び顧客の状況を示す情報を取得する。より具体的には、情報取得部２００は、情報送信部２３０ａから送信された状況情報及び顔画像を、通信回線１６０を通じて受信する。

情報取得部２００が取得した情報は、格納制御部２０８に供給される。格納制御部２０８は、情報取得部２００が取得した情報を、情報格納部２０２に格納する。格納制御部２０８は、情報取得部２００が取得した情報を、情報格納部２０２内の状況情報４００又は購買情報６００に格納する。なお、情報格納部２０２が格納する共有情報５００については、後述する。

情報格納部２０２は、情報取得部２００が取得した状況情報を格納する。具体的には、情報格納部２０２は、顧客が店舗２０ａで商品を購買しなかった場合の顧客の状況である非購買時の状況情報を、顧客の顔画像に対応づけて格納する。特に、情報格納部２０２は、顧客が店舗２０ａで着目商品を購買しなかった場合の顧客の状況情報を、顧客の顔画像に対応づけて格納する。より具体的には、情報格納部２０２は、顧客が店舗２０ａで着目商品を購買しなかった場合に、着目商品の販売場所で撮像された顧客の画像から特定された顧客の状況を示す情報を、非購買時の状況情報として格納する。

また、情報格納部２０２は、顧客が店舗２０ａで商品を購買した場合の顧客の状況である購買時の状況情報を、顧客の顔画像に対応づけて格納する。具体的には、情報格納部２０２は、顧客が購買した商品の販売場所で撮像された顧客の画像から特定された顧客の状況を示す情報を、購買時の状況情報として格納する。なお、顔画像は、顧客を識別する情報の一例である。また、情報取得部２００が、顧客が購買した商品を示す情報を店舗側サーバ１２０ａから受信した場合、格納制御部２０８は、顧客が購買した商品の情報及び顧客の顔画像を対応づけて、情報格納部２０２の購買情報６００に格納してよい。これにより、情報格納部２０２は、顧客が購買した商品の履歴を、顔画像に対応づけて格納できる。

以上に説明したように、情報格納部２０２は、非購買時の状況情報及び購買時の状況情報を、顧客を識別する情報に対応づけて格納する。なお、格納制御部２０８は、情報取得部２００から供給された非購買時の状況情報及び購買時の状況情報を、状況情報４００の一部として情報格納部２０２に格納させる。後述するように、格納制御部２０８は、商品を購買したか否かを示す購買状況情報に対応づけて状況情報を情報格納部２０２に格納させる。これにより、情報格納部２０２は、非購買時の状況情報と購買時の状況情報とを識別可能に格納する。

次に、店舗２０ａにおいてカメラシステム２２ａによって顧客が新たに撮像された場合の動作を説明する。顔画像抽出部２５０ａは、撮像部２５４ａによって新たに撮像された顧客の画像から、新たに撮像された顧客の顔画像を抽出する。状況特定部２４０ａは、撮像部２５４ａによって新たに撮像された顧客の画像を解析して、当該顧客の状況を特定する。そして、情報送信部２３０ａは、顔画像抽出部２５０ａが抽出した顔画像及び状況特定部２４０ａが特定した顧客の状況を示す情報を、顧客情報サーバ１４０に送信する。例えば、情報送信部２３０ａは、新たに撮像された顧客が特定の商品に着目していると判断した場合に、当該顧客の状況情報及び顔画像を顧客情報サーバ１４０に送信して、当該顧客に関する情報を顧客情報サーバ１４０に要求する。

情報取得部２００は、新たに撮像された顧客の状況情報及び顔画像を店舗側サーバ１２０ａから受信すると、当該顔画像を状況情報抽出部２０４に提供する。また、情報取得部２００は、新たに撮像された顧客の状況情報を、状況比較部２０６に供給する。

状況情報抽出部２０４は、新たに撮像された顧客の顔画像を取得して、新たに撮像された顧客の顔画像に適合する顔画像に対応づけて情報格納部２０２に格納されている非購買時の状況情報を抽出する。状況比較部２０６は、状況情報抽出部２０４によって抽出された状況情報と、情報取得部２００から取得した状況情報とを比較して、類似しているか否かを判断する。情報提供部２１０は、状況比較部２０６によって状況情報が類似していると判断された場合に、新たに撮像された顧客に関する情報を、店舗側サーバ１２０ａに送信する。このように、情報提供部２１０は、情報送信部２３０ａから受信した顧客の状態情報が、状況情報抽出部２０４が抽出した非購買時の状況情報に類似している場合に、新たに撮像された顧客に関する情報を、店舗側サーバ１２０ａに送信する。

なお、新たに撮像された顧客に関する情報とは、購買時の状況情報であってよい。また、新たに撮像された顧客に関する情報とは、非購買時の状況情報であってよい。また、新たに撮像された顧客に関する情報とは、非購買時の状況情報及び購買時の状況情報であってよい。また、新たに撮像された顧客に関する情報とは、購買情報６００に含まれる、当該顧客が過去に購入した商品の情報であってよい。

情報受信部２２０は、顧客情報サーバ１４０から送信された顧客に関する情報を受信すると、受信した顧客に関する情報を顧客情報送信部２６０に供給する。顧客情報送信部２６０は、供給された顧客に関する情報を、店員端末１８０へ送信する。店員端末１８０は、顧客情報送信部２６０から受信した情報を表示して、店員１８８に提示する。そのため、店員１８８は、店員端末１８０に表示された顧客に関する情報に基づいて、適切に接客できる。

以上に説明したように、情報提供部２１０によれば、顧客が訪れている店舗内で撮像された顧客の画像から特定された顧客の現在の状況が、顧客に対応づけて情報格納部２０２に格納されている情報が示す非購買時の状況に類似している場合に、顧客に関する情報を、顧客が訪れている店舗に提供することができる。

なお、カメラシステム２１ａ、カメラシステム２３ａ、カメラシステム２１ｂ、カメラシステム２２ｂ及びカメラシステム２３ｂは、カメラシステム２２ａと略同一の機能及び構成を有する。また、店舗側サーバ１２０ｂは、店舗側サーバ１２０ａと略同一の機能及び構成を有する。そのため、それらの詳細については説明を省略する。なお、本実施形態では、店舗側サーバ１２０ｂが有する構成要素を参照する場合に、店舗側サーバ１２０ａにおける対応する構成要素の符号の末尾「ａ」に代えて「ｂ」を適用する場合がある。

図３Ａは、店舗２０ａと顧客情報サーバ１４０との間の通信シーケンスの一例を示す。

カメラシステム２１ａは、撮像した画像から抽出した顔画像と、撮像した画像から特定した動作情報とを、店舗側サーバ１２０ａに送信する（Ｓ３０２）。店舗側サーバ１２０ａにおいて、状況特定部２４０ａは、カメラシステム２１ａから受信した情報に基づいて、顧客が入店したことを特定すると、情報送信部２３０ａは、カメラシステム２１ａから受信した顔画像と、顧客が入店した旨を示す状況情報とを、顧客情報サーバ１４０に送信する（Ｓ３０４）。顧客情報サーバ１４０において、情報取得部２００が店舗側サーバ１２０ａから受信した顔画像及び状況情報を、情報格納部２０２に格納する（Ｓ３０６）。

続いて、商品の販売場所を撮像するカメラシステム２２ａが、撮像した画像から抽出した顔画像と、撮像した画像から特定した動作情報とを、店舗側サーバ１２０ａに送信する（Ｓ３０８）。店舗側サーバ１２０ａにおいて、状況特定部２４０ａは、カメラシステム２２ａから受信した情報に基づいて、カメラシステム２２ａの撮像エリア内の商品を特定して、情報送信部２３０ａは、カメラシステム２２ａから受信した顔画像と、顧客が商品に対してとった行動等を示す状況情報とを、顧客情報サーバ１４０に送信する（Ｓ３１０）。顧客情報サーバ１４０において、情報取得部２００が店舗側サーバ１２０ａから受信した顔画像及び状況情報を、情報格納部２０２の状況情報４００に含めて格納する（Ｓ３１２）。

その後、会計場所に設けられたカメラシステム２３ａは、撮像した画像から抽出した顔画像と、撮像した画像から特定した動作情報とを、店舗側サーバ１２０ａに送信する（Ｓ３１４）。店舗側サーバ１２０ａにおいて、状況特定部２４０が、カメラシステム２３ａから受信した情報に基づいて顧客が購買している状況を特定すると、情報送信部２３０ａは、カメラシステム２３ａから受信した顔画像と、顧客が購買した商品及び顧客が商品を購買した旨を示す状況情報とを、顧客情報サーバ１４０に送信する（Ｓ３１６）。このとき、購買商品特定部２４４は、会計端末１８２から取得した情報に基づいて、顧客が購買した商品を特定する。

顧客情報サーバ１４０において、情報取得部２００が店舗側サーバ１２０ａから受信した顔画像及び状況情報を、情報格納部２０２の状況情報４００に含めて格納する（Ｓ３１８）。また、格納制御部２０８は、Ｓ３１６で受信した顔画像に適合する顔画像に対応づけて格納している状況情報に、商品の購買に至った旨を示す購買状況情報を対応づける（Ｓ３２０）。これにより、Ｓ３１２で格納した状況情報は、購買時の状況情報として、情報格納部２０２に格納される。

また、カメラシステム２２ａは、撮像した画像から抽出した顔画像と、撮像した画像から特定した動作情報とを、店舗側サーバ１２０ａに送信する（Ｓ３２２）。店舗側サーバ１２０ａにおいて、状況特定部２４０ａは、カメラシステム２２ａから受信した情報に基づいて、カメラシステム２２ａの撮像エリア内の商品を特定して、カメラシステム２２ａから受信した顔画像と、顧客が商品に対してとった行動等を示す状況情報とを、顧客情報サーバ１４０に送信する（Ｓ３２４）。顧客情報サーバ１４０において、情報取得部２００が店舗側サーバ１２０ａから受信した顔画像及び状況情報を、情報格納部２０２の状況情報４００に含めて格納する（Ｓ３２６）。

その後、出入口に設けられたカメラシステム２１ａは、撮像した画像から抽出した顔画像と、撮像した画像から特定した動作情報とを、店舗側サーバ１２０ａに送信する（Ｓ３２８）。店舗側サーバ１２０ａにおいて、状況特定部２４０ａは、カメラシステム２１ａから受信した情報に基づいて、顧客が退店したことを特定すると、情報送信部２３０ａは、カメラシステム２１ａから受信した顔画像と、顧客が退店した旨を示す状況情報とを、顧客情報サーバ１４０に送信する（Ｓ３３０）。顧客情報サーバ１４０において、情報取得部２００が店舗側サーバ１２０ａから受信した顔画像及び状況情報を、情報格納部２０２の状況情報４００に含めて格納する（Ｓ３３２）。また、格納制御部２０８は、Ｓ３２８で受信した顔画像に適合する顔画像に対応づけて格納している状況情報に、商品を購買しなかった旨を示す購買状況情報を対応づける（Ｓ３３４）。これにより、Ｓ３２４で格納された状況情報は、非購買時の状況情報として情報格納部２０２に格納される。

図３Ｂは、店舗２０ｂと顧客情報サーバ１４０との間の通信シーケンスの一例を示す。ここでは、店舗２０ｂにおいて、販売場所を撮像エリアに含むカメラシステム２２ｂで顔情報が抽出された場合の動作について説明する。

カメラシステム２２ｂは、撮像した画像から抽出した顔画像と、撮像した画像から特定した動作情報とを、店舗側サーバ１２０ｂに送信する（Ｓ３４２）。店舗側サーバ１２０ｂにおいて、カメラシステム２２ｂから受信した顔画像と、状況特定部２４０ｂが特定した顧客の現在の状況情報とを、顧客情報サーバ１４０に送信して、販促用の顧客関連情報を要求する（Ｓ３４４）。具体的には、購買時の状況情報及び非購買時の状況情報を、顧客情報サーバ１４０に要求する。

顧客情報サーバ１４０において、状況情報抽出部２０４は、情報取得部２００が店舗側サーバ１２０ｂから受信した顔画像に対応づけられた購買時の状況情報及び非購買時の状況情報を抽出する（Ｓ３４６）。

そして、状況比較部２０６は、Ｓ３２４で店舗側サーバ１２０ｂから受信した現在の状況情報と、Ｓ３４６で抽出した非購買時の状況情報とを比較する（Ｓ３４８）。Ｓ３４６で抽出した非購買時の状況情報の中に、比較結果が類似する状況情報がある場合、情報提供部２１０は、Ｓ３４６で抽出した購買時の状況情報及び非購買時の状況情報を、販促用の顧客関連情報として店舗側サーバ１２０ｂに送信する（Ｓ３５０）。なお、比較結果が類似する非購買時の状況情報がない場合は、情報提供部２１０は、現在の状況が非購買時の状況ではない旨を、店舗側サーバ１２０ｂに送信する。

店舗側サーバ１２０ｂは、顧客情報サーバ１４０から購買時の状況情報及び非購買時の状況情報を受信すると、カメラシステム２２ｂの撮像エリア内の商品を特定する情報と、受信した購買時の状況情報及び非購買時の状況情報とを、店員端末１８０ｂに送信する（Ｓ３５２）。店員端末１８０ｂは、購買時の状況情報及び非購買時の状況情報を、商品情報とともに表示する。そのため、店員１８８ｂは、購買時の状況情報を参考にして、どのように接客したらよいかを判断できる。また、店員１８８ｂは、非購買時の状況情報を参考にして、どのような接客がよくないかを判断できる。

図４は、情報格納部２０２に格納される状況情報４００をテーブル形式で示す。状況情報４００は、顔画像情報と、日時情報、店舗情報、対象商品情報、動作情報、同伴者情報、表情情報、及び、購買状況情報を含む。

顔画像情報には、顧客情報サーバ１４０から受信した顔画像の情報が格納される。顔画像の情報とは、画像データそのものであってよい。なお、状況情報４００の各レコードの顔画像情報には、店舗側サーバ１２０から受信したそれぞれの顔画像の情報が格納されてよい。顔画像の一致度に基づいて同一顧客のレコードと判断されたレコードについては、顧客を代表する１つ又は複数の代表画像の情報を、顔画像情報に格納してよい。

日時情報には、店舗側サーバ１２０から状況情報に含めて送信された日時情報が格納されてよい。また、日時情報には、顧客情報サーバ１４０で状況情報を受信したときの日時情報が格納されてよい。店舗情報には、店舗２０の識別情報が格納される。対象商品情報には、商品の種類を識別する情報が格納される。動作情報には、顧客がとった動作を示す情報が格納される。例えば、入店したこと、店員の説明を聞いたか否か、同伴者と相談していたか否か、手に取って見たか否か、退店したこと等を示す情報が格納される。同伴者情報には、同伴者の人数を示す情報が格納される。表情情報には、顧客の表情を識別する情報が格納される。表情には、一例として笑顔、普通顔、真剣顔、怒り顔等が含まれる。

購買状況情報は、後に購買に至ったか否かを示す情報が格納される。図において、○は購買に至ったことを示し、×は購買に至らなかったことを示す。図において、「店員の説明を聞く」、「同伴者が１人」かつ「表情が笑顔」の組み合わせの状況は、顔情報１の顔画像で特定される顧客１９０の「非購買時の状況」に該当する。一方、「手に取って見る」、「同伴者が０人」かつ「表情が普通顔」の状況は、顔情報１の顔画像で特定される顧客１９０の「購買時の状況」に該当する。このような顧客１９０に対しては、詳しい商品説明をせずに、例えば店員１８８が「是非手に取って見てください」というような声をかければよいことが分かる。

なお、状況比較部２０６が状況の類似度を算出する場合、状況比較部２０６は、例えば動作が一致しているという条件、同伴者数が一致しているという条件、及び、表情が一致しているという条件の３つの条件がそれぞれ満たされるか否かを判断する。状況比較部２０６は、満たされた条件の数を、類似度として算出する。そして状況比較部２０６は、算出した類似度が予め定められた閾値を超える場合に、状況が類似していると判断する。なお、状況比較部２０６は、満たされた条件の数を算出する場合に、条件毎に重み付けをして算出してよい。

図５は、情報格納部２０２に格納される共有情報５００をテーブル形式で示す。共有情報５００は、提供元店舗情報、種類情報、所在地情報、提供先店舗情報を含む。

提供元店舗情報は、状況情報を提供する提供元の店舗を特定する情報である。種類情報は、提供元店舗の種類を特定する情報である。所在地情報は、提供元店舗の所在地を特定する情報である。提供先店舗情報は、状況情報の提供先の店舗を特定する情報である。

図示される共有情報５００は、「○○電器 新宿西口店」から提供された状況情報は、「○○電器 吉祥寺店」及び「○○電器 秋葉原店」に提供できることを示す。一方、「○○電器 吉祥寺店」が提供した状況情報は、「○○電器 秋葉原店」に提供でき、「○○電器 秋葉原店」が提供した状況情報は、「○○電器 吉祥寺店」に提供できることを示す。

状況情報抽出部２０４は、状況情報４００から特定の状況情報を抽出する場合に、状況情報４００の店舗情報で特定される店舗及び共有情報５００に基づいて、状況情報４００から抽出できる状況情報の提供元の店舗に対して制限を課す。例えば、状況情報抽出部２０４は、共有情報５００の「提供元店舗情報」で定められた店舗のうち、顧客関連情報の要求を送信した店舗２０が提供先店舗情報に含まれる店舗を、状況情報４００から抽出できる状況情報の提供元の店舗として決定してよい。

なお、状況情報抽出部２０４は、種類情報及び所在地情報に基づいて、状況情報４００から抽出できる状況情報の提供元の店舗を決定してよい。例えば、状況情報抽出部２０４は、共有情報５００の「種類情報」で特定された種類とは異なる種類の店舗を、状況情報４００から抽出できる状況情報の提供元の店舗として決定してよい。また、状況特定部２４０は、共有情報５００の「所在地情報」で特定された所在地から予め定められた距離以上離れた場所にある店舗を、状況情報４００から抽出できる状況情報の提供元の店舗として決定してよい。これにより、競合が少ない店舗間で状況情報を柔軟に提供し合うことが可能になる。

図６は、情報格納部２０２に格納される購買情報６００をテーブル形式で示す。購買情報６００は、顔画像情報、クレジットカード番号、日時情報、店舗情報、商品情報、及び、金額情報を含む。購買情報は、顔画像情報に対応づけて格納される。

クレジットカード番号は、商品の決済に使用したクレジットカードのカード番号である。商品情報は、購買した商品の種類を示す情報である。金額情報は、決済で支払う支払金額である。

なお、顧客情報サーバ１４０は、購買情報６００に含まれる特定の顧客１９０の購買情報を、店舗側サーバ１２０ａに送信してよい。例えば、店舗側サーバ１２０は、カメラシステム２２の撮像画像から抽出された顔画像を顧客情報サーバ１４０に送信して、顧客情報サーバ１４０に購買情報を要求してよい。顧客情報サーバ１４０は購買情報を要求されると、受信した顔画像に適合する顔画像に対応づけて購買情報６００に格納されている情報を、店舗側サーバ１２０に送信してよい。

店舗側サーバ１２０は、受信した情報に基づいて、販促情報を生成して店員端末１８０に送信してよい。例えば、店舗側サーバ１２０は、顧客１９０が購買した商品に関連する商品を示す情報を、販促情報として店員端末１８０に送信して表示させてよい。これにより、店員１８８は、店員端末１８０に表示された商品を参考にして、顧客１９０に商品を勧めることができる。

上記の説明において、顧客情報サーバ１４０の動作として説明した処理の少なくとも一部は、プロセッサがプログラムに従ってコンピュータが有する各ハードウェア（例えば、ハードディスク、メモリ等）を制御することにより実現できる。このように、顧客情報サーバ１４０の処理の少なくとも一部は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、ハードディスク、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現できる。すなわち、顧客情報サーバ１４０の処理を、いわゆるコンピュータによって実現することができる。コンピュータは、上述した処理の実行を制御するプログラムを読み込み、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータは、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムを読み込むことができる。また、当該プログラムは通信回線を通じてコンピュータに供給され、コンピュータは、通信回線を通じて供給されたプログラムを読み込んでよい。同様に、店舗側サーバ１２０の処理を、いわゆるコンピュータによって実現することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 顧客情報システム
２０ 店舗
２１、２２、２３ カメラシステム
１２０ 店舗側サーバ
１３０ 電子看板
１４０ 顧客情報サーバ
１５０ クレジットカード情報サーバ
１６０ 通信回線
１７０ 顧客端末
１８０ 店員端末
１８２ 会計端末
１８８ 店員
１９０ 顧客
２００ 情報取得部
２０２ 情報格納部
２０４ 状況情報抽出部
２０６ 状況比較部
２０８ 格納制御部
２１０ 情報提供部
２２０ 情報受信部
２３０ 情報送信部
２４０ 状況特定部
２４２ 着目商品特定部
２４４ 購買商品特定部
２５０ 顔画像抽出部
２５２ 動作特定部
２５４ 撮像部
２６０ 顧客情報送信部
４００ 状況情報
５００ 共有情報
６００ 購買情報

Claims (9)

1. 第１の店舗に設けられた第１の撮像装置によって撮像された顧客の画像から特定された前記顧客の状況を示す情報を取得する状況取得部と、
   前記顧客が前記第１の店舗で商品を購買しなかった場合の前記顧客の状況である第１状況を示す情報を、前記顧客を識別する情報に対応づけて格納する状況情報格納部と、
   前記顧客が訪れている店舗内で撮像された前記顧客の画像から特定された前記顧客の現在の状況が、前記顧客に対応づけて前記状況情報格納部に格納されている情報が示す前記第１状況に類似している場合に、前記顧客に関する情報を、前記顧客が訪れている店舗に提供する顧客情報提供部と
   を備え、
   前記顧客の状況を示す情報は、前記顧客の表情を示す情報、及び、前記顧客に同伴者がいるか否かを示す情報のうちの少なくとも１つの情報を含む
   顧客情報システム。
2. 前記状況情報格納部は、前記顧客が前記第１の店舗で商品を購買した場合の前記顧客の状況である第２状況を示す情報を、前記顧客を識別する情報に対応づけて格納し、
   前記顧客情報提供部は、前記顧客の現在の状況が前記第１状況に類似している場合に、前記第２状況を示す情報を、前記顧客が訪れている店舗に提供する
   請求項１に記載の顧客情報システム。
3. 前記顧客情報提供部は、前記顧客の現在の状況が前記第１状況に類似している場合に、前記第１状況を示す情報及び前記第２状況を示す情報を、前記顧客が訪れている店舗に提供する
   請求項２に記載の顧客情報システム。
4. 前記状況取得部は、前記第１の撮像装置によって撮像された前記顧客の画像から抽出された顔画像及び前記顧客の状況を示す情報を取得し、
   前記状況情報格納部は、前記顧客の顔画像に対応づけて、前記第１状況を示す情報を格納し、
   前記顧客情報システムは、
   新たに撮像された顧客の顔画像を取得して、前記新たに撮像された顧客の顔画像に適合する顔画像に対応づけて前記状況情報格納部に格納されている前記第１状況を示す情報を抽出する状況情報抽出部
   を更に備える請求項１から３のいずれか１項に記載の顧客情報システム。
5. 前記顧客情報システムは、
   前記状況取得部と、
   前記状況情報格納部と、
   前記状況情報抽出部と
   を有するサーバ
   を備え、
   前記第１の撮像装置によって撮像された顧客の画像から、前記顧客の顔画像を抽出する第１顔画像抽出部と、
   前記第１の撮像装置によって撮像された顧客の画像を解析して、前記顧客の状況を特定する第１状況特定部と、
   前記第１顔画像抽出部が抽出した前記顔画像及び前記第１状況特定部が特定した前記顧客の状況を示す情報を、前記サーバに送信する第１顧客状況情報送信部と
   を有する第１店舗側装置
   を更に備える請求項４に記載の顧客情報システム。
6. 前記第１の店舗とは異なる第２の店舗に設けられた第２の撮像装置によって新たに撮像された顧客の画像から、前記新たに撮像された顧客の顔画像を抽出する第２顔画像抽出部と、
   前記第２の撮像装置によって撮像された前記顧客の画像を解析して、前記顧客の状況を特定する第２状況特定部と、
   前記第２顔画像抽出部が抽出した顔画像及び前記第２状況特定部が特定した前記顧客の状況を示す情報を前記サーバに送信する第２顧客状況情報送信部と
   を有する第２店舗側装置
   を更に備え、
   前記顧客情報提供部は、前記第２顧客状況情報送信部から受信した前記顧客の状態を示す情報が、前記状況情報抽出部が抽出した前記第１状況を示す情報に類似している場合に、前記顧客に関する情報を、前記第２店舗側装置に送信する
   請求項５に記載の顧客情報システム。
7. 前記第１の撮像装置によって撮像された顧客の画像を解析して、前記顧客が着目した商品である着目商品を特定する着目商品特定部
   を更に備え、
   前記状況情報格納部は、前記顧客が前記第１の店舗で前記着目商品を購買しなかった場合に、前記着目商品の販売場所で撮像された前記顧客の画像から特定された前記顧客の状況を示す情報を、前記第１状況を示す情報として格納する
   請求項１から６のいずれか１項に記載の顧客情報システム。
8. 前記顧客が購買した商品を特定する購買商品特定部
   を更に備え、
   前記状況情報格納部は、前記顧客が購買した商品の販売場所で撮像された前記顧客の画像から特定された前記顧客の状況を示す情報を、前記第２状況を示す情報として格納する
   請求項２又は３に記載の顧客情報システム。
9. コンピュータを、請求項１から８のいずれか１項に記載の顧客情報システムとして機能させるためのプログラム。

Images