JP7418173B2 - 顧客モニタリングシステム、及び顧客モニタリング方法 - Google Patents

Description

本発明の実施形態は、顧客モニタリングシステム、及び顧客モニタリング方法に関する。

従来、スーパーマーケット等の店舗では、店員は、顧客が商品を探していると思われる場合や、顧客が体調不良であると思われる場合や、顧客が万引き等を行う不審者の可能性が高い思われる場合等に、顧客に声をかけて適切な処置を行うことが求められている。

しかしながら、店員は、このような顧客対応業務以外にも、商品棚に商品を並べる等の業務がある。そのため、その都度、顧客対応業務を行うのは煩雑である。そこで、顧客対応における店員の負担を軽減する技術が求められている。

本発明が解決しようとする課題は、顧客対応における店員の負担を軽減することができる顧客モニタリングシステム、及び顧客モニタリング方法を提供することである。

実施形態の顧客モニタリングシステムは、顧客が使用する携帯端末と、当該携帯端末から情報を受信する情報処理装置とを有する。前記情報処理装置は、第１受信手段と、判定手段と、第１送信手段と、を備える。前記第１受信手段は、顧客の顔画像と、当該顧客が店舗にいる位置を示す位置情報と、当該顧客による商品の収集状況を示す状況情報とを前記携帯端末から受信する。前記判定手段は、特定の状態にある人物の顔画像の特徴を示す照合用顔画像パターンと、前記人物における店舗の移動パターンの特徴を示す照合用移動パターンと、前記人物による商品の収集状況の特徴を示す照合用状況パターンとに対して、前記第１受信手段が受信した前記顔画像、前記位置情報、及び前記状況情報を照合することで、前記顧客が特定の状態にあるか判定する。前記第１送信手段は、前記判定手段により前記顧客が商品を探していると判定された場合に、案内確認要求を送信する。前記携帯端末は、撮像制御手段と、測位手段と、登録手段と、第２送信手段と、第２受信手段と、表示制御手段と、を備える。前記撮像制御手段は、自装置を操作する顧客の前記顔画像を撮像する。前記測位手段は、前記顧客が使用する自装置の位置を測位する。前記登録手段は、販売対象の商品を登録する。前記第２送信手段は、前記撮像制御手段により撮像された前記顔画像と、前記測位手段に測位された前記位置情報と、前記登録手段により登録された商品の収集状況を示す前記状況情報とを送信する。前記第２受信手段は、前記案内確認要求を受信する。前記表示制御手段は、前記第２受信手段により前記案内確認要求が受信された場合に、探している商品があるか否かを問い合わせる画像を表示部に表示する。

図１は、本実施形態に係る顧客モニタリングシステムの一例を示す説明図である。 図２は、カートＰＯＳの外観の一例を示す斜視図である。 図３は、管理サーバのハードウェアの構成の一例を示すブロック図である。 図４は、商品マスタのデータ構成の一例を示す図である。 図５は、照会情報テーブルのデータ構成の一例を示す図である。 図６は、顧客端末のハードウェアの構成の一例を示すブロック図である。 図７は、店員端末のハードウェアの構成の一例を示すブロック図である。 図８は、顧客モニタリングシステムの各装置が有する特徴的な機能構成を示すブロック図である。 図９は、本実施形態の管理サーバが実行する案内処理の一例を示すフローチャートである。 図１０は、本実施形態の管理サーバが実行する通知処理の一例を示すフローチャートである。

以下、添付図面を参照して、情報処理装置、プログラム、及び報知方法の実施形態を詳細に説明する。なお、以下に説明する実施形態は、情報処理装置、プログラム、及び報知方法の一実施形態であって、その構成や仕様等を限定するものではない。本実施形態の情報処理装置、プログラム、及び報知方法は、スーパーマーケット等の店舗において顧客端末を管理する管理サーバへの適用例である。

図１は、本実施形態に係る顧客モニタリングシステム１の一例を示す説明図である。顧客モニタリングシステム１は、顧客の状態を観測して、顧客の状態に応じた報知を実行するシステムである。顧客モニタリングシステム１は、管理サーバ１０と、複数の顧客端末２０と、複数の店員端末３０とを備える。管理サーバ１０と、複数の顧客端末２０と、複数の店員端末３０とは、ネットワークを介して、通信可能に接続されている。

管理サーバ１０は、顧客モニタリングシステム１を管理する情報処理装置である。例えば、管理サーバ１０は、サーバ装置やパーソナルコンピュータである。なお、管理サーバ１０は、一台の情報処理装置に限らず、複数のサーバ装置により構成されていてもよい。

管理サーバ１０は、顧客の行動を観測した観測結果であるモニタリング情報を顧客端末２０から受信する。また、管理サーバ１０は、モニタリング情報に基づいて顧客の状態を判定する。そして、管理サーバ１０は、顧客の判定結果に応じて報知する。例えば、管理サーバ１０は、顧客の判定結果に応じた情報を送信することで、顧客端末２０や、店員端末３０に画像や音声を出力させる。

顧客端末２０は、顧客が使用する端末である。例えば、顧客端末２０は、スマートフォンや、タブレット端末等の携帯端末である。また、顧客端末２０は、カートＰＯＳ（Point of Sales）２１に取り付けられた端末であってもよい。

ここで、図２は、カートＰＯＳ２１の外観の一例を示す斜視図である。カートＰＯＳ２１は、ショッピングカート２２に顧客端末２０が取り付けられた装置である。顧客端末２０は、商品に付されているバーコード等のコードシンボルを読み取ることで販売対象の商品を登録する。さらに、顧客端末２０は、登録した商品の会計である会計処理を実行する。顧客端末２０が取り付けられたカートＰＯＳ２１の場合、顧客は、顧客端末２０に商品に付されているコードシンボルを読み取らせることで商品登録を行いながら商品を収集することができる。なお、本実施形態では、会計処理を実行可能な顧客端末２０を例に説明するが、顧客端末２０は、会計処理を実行できなくてもよい。

また、顧客端末２０は、顧客の状態を観測する。そして、顧客端末２０は、顧客の状態を観測したモニタリング情報を管理サーバ１０に送信する。モニタリング情報は、例えば、顧客の顔を撮像した顔画像や、顧客の音声の録音した音声情報や、顧客が店舗にいる位置を示す位置情報等である。

ここで、顧客モニタリングシステム１が設けられた店舗には、ＢＬＥ（Bluetooth（登録商標） Low Energy）を利用してビーコンを送信するビーコン端末が各地点に複数設置されている。顧客端末２０は、ビーコンを受信することで自己の位置を測位することができる。なお、本実施形態では、顧客端末２０は、ＢＬＥビーコンを利用して自己位置を測位する場を例に説明する。しかしながら、顧客端末２０は、ＢＬＥ以外の通信規格を利用したビーコンを受信してもよい。また、顧客端末２０は、ＧＰＳ（Global Positioning System）により自己位置を測位してもよいし、他の方法により自己位置を測位してもよい。

また、顧客端末２０は、管理サーバ１０から情報を受信した場合に報知する。例えば、顧客端末２０は、顧客が商品を探していると管理サーバ１０が判定した場合に、管理サーバ１０から受信した情報を出力することで、探している商品の有無について報知する。これに対して、顧客が探している商品を入力した場合に、顧客端末２０は、入力された商品が配置された位置を示す画面等を表示する。

店員端末３０は、店員が使用する端末である。例えば、店員端末３０は、スマートフォンや、タブレット端末等の携帯端末である。例えば、顧客端末２０は、管理サーバ１０から送信された情報に基づいて、体調不良の顧客がいると判定したことや、万引き等を行う不審者の可能性が高い顧客がいると判定したことを店員に報知する。

なお、顧客モニタリングシステム１には、図１に示す装置以外の装置を備えていてもよい。例えば、顧客モニタリングシステム１は、店舗に設置された監視カメラやセンサ等を備えていてもよい。例えば、監視カメラは、顧客の画像を撮像することで顧客のモニタリング情報を収集する。そして、監視カメラは、顧客の画像をモニタリング情報として管理サーバ１０に送信する。

次に、顧客モニタリングシステム１が備える各種装置のハードウェア構成について説明する。

図３は、管理サーバ１０のハードウェアの構成の一例を示すブロック図である。管理サーバ１０は、制御部１０１と、記憶部１０２と、通信インタフェース１０３と、表示部１０４と、操作部１０５とを備える。これら各部は、データバスやアドレスバス等のシステムバス１０６を介して相互に接続している。

制御部１０１は、管理サーバ１０の全体の動作を制御し、管理サーバ１０が有する各種の機能を実現するコンピュータである。制御部１０１は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを備える。ＣＰＵは、管理サーバ１０の動作を統括的に制御する。ＲＯＭは、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭは、各種プログラムや各種データを一時的に記憶する記憶媒体である。そして、ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ又は記憶部１０２等に格納されたプログラムを実行する。

記憶部１０２は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの記憶装置である。記憶部１０２は、制御プログラム１０７、モニタリング情報テーブル１０８、商品マスタ１０９、照会情報テーブル１１０を記憶する。

制御プログラム１０７は、オペレーティングシステムや、管理サーバ１０が備えている機能を発揮させるためのプログラムである。制御プログラム１０７には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。

モニタリング情報テーブル１０８は、顧客端末２０から送信された顧客の状態を記憶する情報テーブルである。モニタリング情報テーブル１０８は、顧客コードと、モニタリング情報と、商品登録情報とを関連付けて記憶している。顧客コードは、顧客を識別可能な識別情報である。モニタリング情報は、顧客の状態を検出することで得られる情報である。例えば、モニタリング情報には、顧客の顔画像や、顧客の音声情報や、顧客の位置情報等である。商品登録情報は、商品登録における顧客の状態を示す情報である。すなわち、商品登録情報は、顧客による商品の収集状況を示す状況情報である。例えば、商品登録情報は、商品登録された商品の数を示す情報である。なお、商品登録情報は、商品の数に限らず、商品登録された商品の属性であってもよいし、その他の情報であってもよい。

商品マスタ１０９は、商品に関する各種情報を記憶する。ここで、図４は、商品マスタ１０９のデータ構成の一例を示す図である。商品マスタ１０９は、商品コードと、名称と、価格と、税区分と、商品区分と、商品位置情報とを関連付けて記憶している。商品コードは、商品を識別可能な識別情報である。名称は、商品の名称である。価格は、商品の売価である。税区分は、商品に対する消費税の区分である。商品区分は、商品が属する分類の区分である。商品位置情報は、店舗の商品売り場で商品が配置されている位置を示す情報である。商品位置情報には、エリアと、棚番号とを示す情報が含まれる。エリアは、店舗の商品売り場で商品が配置されているエリアを示す情報である。棚番号は、商品が配置されているエリアにおいて商品が配置された棚の番号を示す情報である。

照会情報テーブル１１０は、顧客の状態の判定において、顧客の状態の照会用の情報を記憶した情報テーブルである。ここで、図５は、照会情報テーブル１１０のデータ構成の一例を示す図である。照会情報テーブル１１０は、状態コードと、名称と、顔画像パターンと、音声パターンと、顧客移動パターンと、商品登録状況パターンとを関連付けて記憶する。状態コードは、顧客の状態のそれぞれを識別可能な識別情報である。名称は、顧客の状態のそれぞれ名称である。顔画像パターンは、特定の状態にある人物の顔画像の特徴を示す情報である。すなわち、顔画像パターンは、照合用顔画像パターンである。音声パターンは、特定の状態にある人物が発する音声の特徴を示す情報である。移動パターンは、特定の状態にある人物における店舗内の移動経路の特徴を示す情報である。すなわち、移動パターンは、照合用移動パターンである。商品登録状況パターンは、特定の状態にある人物による商品の収集状況の特徴を示す情報である。すなわち、商品登録状況パターンは、照合用状況パターンである。例えば、商品登録状況パターンは、顧客が該当する状態である時の商品登録された商品の数である。

ここで、照会情報テーブル１１０には、顧客の状態として、商品探索、万引き、又は体調不良が登録されている。商品探索は、顧客が特定の商品を探している状態である。万引きは、顧客が商品の代金を支払わずに持ち去ろうとしている状態である。なお、本実施形態では、挙動不審な不審者の一例として万引きを行うとしている顧客について説明する。しかし、不審者は、万引きに限らず、他の行為を行うとしている顧客であってもよい。この場合、照会情報テーブル１１０には、該当する顧客の状態が登録されている。体調不良は、顧客の体調が悪い状態である。

例えば、商品探索の場合、照会情報テーブル１１０の顔画像には、顧客の視線が棚の様々な箇所に向けられることが登録される。また、音声情報には、「何処に有るのかな」等の商品を探している時に発話する語句が登録される。また、顧客移動パターンには、顧客が所定の領域内を行ったり来たりすること等が登録される。また、商品登録状況パターンには、商品登録数を示す閾値が登録される。

例えば、万引きの場合、照会情報テーブル１１０の顔画像には、顧客の視線が通路の様々な箇所に向けられることが登録される。また、音声情報には、言葉を発しないことが登録される。また、顧客移動パターンには、顧客が所定の領域内を行ったり来たりすること等が登録される。また、商品登録状況パターンには、商品登録数を示す閾値が登録される。

例えば、体調不良の場合、照会情報テーブル１１０の顔画像には、顧客の顔色が悪いことが登録される。また、音声情報には、言葉を発しないことが登録される。また、顧客移動パターンには、所定期間内に顧客が移動しないことが登録される。また、商品登録状況パターンには、商品登録数を示す閾値が登録される。

通信インタフェース１０３は、ネットワークを介して、他の装置と通信するためのインタフェースである。例えば、通信インタフェース１０３は、顧客端末２０及び店員端末３０と通信するためのインタフェースである。

表示部１０４は、例えば液晶ディスプレイ等の表示装置である。操作部１０５は、例えばキーボードやマウス等の入力装置である。

図６は、顧客端末２０のハードウェアの構成の一例を示すブロック図である。顧客端末２０は、制御部２０１と、記憶部２０２と、通信インタフェース２０３と、近距離無線通信インタフェース２０４と、撮像部２０５と、タッチパネルディスプレイ２０６と、マイク２０７と、スピーカ２０８とを備える。これら各部は、データバスやアドレスバス等のシステムバス２０９を介して相互に接続している。

制御部２０１は、顧客端末２０の全体の動作を制御し、顧客端末２０が有する各種の機能を実現するコンピュータである。制御部２０１は、ＣＰＵと、ＲＯＭと、ＲＡＭとを備える。ＣＰＵは、顧客端末２０の動作を統括的に制御する。ＲＯＭは、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭは、各種プログラムや各種データを一時的に記憶する記憶媒体である。そして、ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ又は記憶部２０２等に格納されたプログラムを実行する。

記憶部２０２は、フラッシュメモリなどの記憶装置である。記憶部２０２は、制御プログラム２１０を記憶する。制御プログラム２１０は、オペレーティングシステムや、顧客端末２０が備えている機能を発揮させるためのプログラムである。制御プログラム２１０には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。

通信インタフェース２０３は、ネットワークを介して、他の装置と通信するためのインタフェースである。例えば、通信インタフェース２０３は、管理サーバ１０と通信するためのインタフェースである。

近距離無線通信インタフェース２０４は、近距離無線を実行するためのインタフェースである。例えば、近距離無線通信インタフェース２０４は、ＢＬＥ等の近距離無線通信によりビーコン端末からビーコンを受信する。

撮像部２０５は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary MOS）等の撮像素子を有するイメージセンサである。撮像部２０５は、顧客端末２０を操作する操作者側に向けられている。よって、撮像部２０５は、顧客端末２０を操作する顧客の顔画像を撮像することができる。

タッチパネルディスプレイ２０６は、画面上の操作（タッチ）された箇所を検知するセンサを備えた表示装置である。

マイク２０７は、操作者が発した音声を集音する集音装置である。これにより、マイク２０７は、顧客端末２０を操作する顧客が発した音声を集音する。

スピーカ２０８は、音声を発する装置である。

図７は、店員端末３０のハードウェアの構成の一例を示すブロック図である。店員端末３０は、制御部３０１と、記憶部３０２と、通信インタフェース３０３と、タッチパネルディスプレイ３０４と、スピーカ３０５とを備える。これら各部は、データバスやアドレスバス等のシステムバス３０６を介して相互に接続している。

制御部３０１は、店員端末３０の全体の動作を制御し、店員端末３０が有する各種の機能を実現するコンピュータである。制御部３０１は、ＣＰＵと、ＲＯＭと、ＲＡＭとを備える。ＣＰＵは、店員端末３０の動作を統括的に制御する。ＲＯＭは、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭは、各種プログラムや各種データを一時的に記憶する記憶媒体である。そして、ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ又は記憶部３０２等に格納されたプログラムを実行する。

記憶部３０２は、フラッシュメモリなどの記憶装置である。記憶部３０２は、制御プログラム３０７を記憶する。制御プログラム３０７は、オペレーティングシステムや、店員端末３０が備えている機能を発揮させるためのプログラムである。制御プログラム３０７には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。

通信インタフェース３０３は、ネットワークを介して、他の装置と通信するためのインタフェースである。例えば、通信インタフェース３０３は、管理サーバ１０と通信するためのインタフェースである。

タッチパネルディスプレイ３０４は、画面上の操作（タッチ）された箇所を検知するセンサを備えた表示装置である。

スピーカ３０５は、音声を発する装置である。

次に、顧客モニタリングシステム１の各装置が有する特徴的な機能について説明する。ここで、図８は、顧客モニタリングシステム１の各装置が有する特徴的な機能構成を示すブロック図である。

顧客端末２０の制御部２０１は、記憶部２０２に記憶された制御プログラム２１０をＲＡＭに展開し、制御プログラム２１０に従って動作することで、各機能部をＲＡＭに生成する。具体的には、顧客端末２０の制御部２０１は、機能部として、通信制御部２００１、商品登録部２００２、会計処理部２００３、音声記録部２００４、位置測定部２００５、撮像制御部２００６、及び案内制御部２００７を備える。

通信制御部２００１は、通信インタフェース２０３を制御して、管理サーバ１０との通信を実行する。

商品登録部２００２は、販売対象の商品を登録する商品登録処理を実行する。例えば、商品登録部２００２は、撮像部２０５がコードシンボルを撮像した場合に、撮像した画像に含まれているコードシンボルをデコードすることで商品コードを取得する。また、商品登録部２００２は、取得した商品コードにより特定される商品を登録する。そして、商品登録部２００２は、顧客による商品の収集状況を示す商品登録情報を管理サーバ１０に向けて通信制御部２００１に送信させる。なお、商品登録部２００２は、商品コードの読み取りに限らず、操作入力により特定された商品を登録してもよい。

会計処理部２００３は、商品登録部２００２が商品登録した商品の会計処理を制御する。例えば、会計処理部２００３は、商品登録部２００２が販売登録した商品の合計価格を算出する。そして、会計処理部２００３は、クレジットカード等を用いた会計処理を実行する。

音声記録部２００４は、マイク２０７が集音した操作者の音声を記憶部２０２等に記憶させる。そして、音声記録部２００４は、記憶部２０２等に記憶した操作者の音声である音声情報をモニタリング情報として通信制御部２００１に送信させる。

位置測定部２００５は、自装置の位置を測位して、自装置を所持する顧客が店舗にいる位置を示す位置情報を生成する。更に詳しくは、位置測定部２００５は、近距離無線通信インタフェース２０４が受信したビーコンに基づいて、自装置の位置を測位する。なお、位置測定部２００５は、何れの測位方法により自己位置を測位してもよい。例えば、位置測定部２００５は、最も近い位置にあるビーコン端末が送信したビーコンに含まれるＩＤ（Identification）と、各ビーコン端末が設置された位置とを比較することで自己位置を測位する。または、顧客端末２０は、各ビーコン端末から受信したビーコンの電波強度と、各ビーコン端末が設置された位置とを比較して、三点測量等により自己位置を測位する。また、顧客端末２０は、これ以外の方法により自己位置を測位してもよい。そして、位置測定部２００５は、顧客が店舗にいる位置を示す位置情報をモニタリング情報として通信制御部２００１に送信させる。

撮像制御部２００６は、顧客端末２０を操作する顧客の顔を撮像する。そして、撮像制御部２００６は、顧客の顔を撮像した画像情報をモニタリング情報として通信制御部２００１に送信させる。

案内制御部２００７は、顧客が探している商品まで顧客を案内する案内処理を制御する。更に詳しくは、顧客端末２０が送信したモニタリング情報に基づいて、管理サーバ１０は、顧客端末２０を操作する顧客が商品を探しているか否かを判定する。顧客端末２０を操作する顧客が商品を探していると判定した場合に、管理サーバ１０は、案内確認要求を送信する。

案内制御部２００７は、通信制御部２００１が案内確認要求を受信した場合に、探している商品があるか否かを顧客に問い合わせる。例えば、案内制御部２００７は、探している商品があるか否かを問い合わせる音声をスピーカ２０８に出力させたり、探している商品があるか否かを問い合わせる画像をタッチパネルディスプレイ２０６に出力させたりすることで顧客に問い合わせる。

また、案内制御部２００７は、顧客が商品を探している場合に、探している商品を示す情報の入力を要求する。例えば、案内制御部２００７は、探している商品を示す商品情報として、商品コードや、商品名称等の入力を要求する。そして、案内制御部２００７は、探している商品を示す情報が入力された場合に、入力された商品情報を通信制御部２００１に送信させる。

案内制御部２００７は、商品情報の応答として商品案内情報を通信制御部２００１が受信した場合に、商品情報が示す商品の配置位置について案内する。例えば、商品情報が示す商品の在庫が無い場合、商品案内情報には、在庫が無いことが示されている。一方、商品情報が示す商品の在庫が有る場合、商品案内情報には、商品位置情報が含まれている。商品位置情報には、商品が配置されたエリアと、エリアにおいて商品が配置された棚を特定可能な棚番号とが含まれている。

そこで、案内制御部２００７は、商品案内情報に在庫が無いことが示されている場合、入力された商品情報により特定される商品が無いことを案内する。すなわち、案内制御部２００７は、商品が無いこと示す音声をスピーカ２０８に出力させる。また、案内制御部２００７は、商品が無いこと示す画面をタッチパネルディスプレイ２０６に表示させる。

一方、案内制御部２００７は、商品案内情報に商品が配置されたエリアと棚番号とが含まれている場合、商品が配置されている位置へ案内する情報を出力する。例えば、案内制御部２００７は、エリアと棚番号とを示す音声をスピーカ２０８に出力させる。また、案内制御部２００７は、エリアと棚番号とを示す画面をタッチパネルディスプレイ２０６に表示させる。または、案内制御部２００７は、エリアと棚番号とにより特定される位置を店舗の地図上に表示させる。または、案内制御部２００７は、現在位置から、エリアと棚番号とにより特定される位置まで案内するナビゲーションを実行する。このようにして、案内制御部２００７は、案内処理を実行する。

管理サーバ１０の制御部１０１は、記憶部１０２に記憶された制御プログラム１０７をＲＡＭに展開し、制御プログラム１０７に従って動作することで、各機能部をＲＡＭに生成する。具体的には、管理サーバ１０の制御部１０１は、機能部として、通信制御部１００１、顧客状態判定部１００２、及び報知管理部１００３を備える。

通信制御部１００１は、入力手段の一例である。通信制御部１００１は、通信インタフェース１０３を制御して、顧客端末２０及び店員端末３０との通信を実行する。例えば、通信制御部１００１は、顧客の顔画像と、顧客が店舗にいる位置を示す位置情報と、顧客による商品の収集状況を示す商品登録情報とを受信する。これにより、通信制御部１００１は、これら情報の入力を受け付ける。なお、通信制御部１００１は、顔画像、位置情報、及び商品登録情報をまとめて一つの情報として受信してもよいし、それぞれ個別に受信してもよい。

顧客状態判定部１００２は、判定手段の一例である。顧客状態判定部１００２は、照会情報テーブル１１０に対して、通信制御部１００１が受信した顔画像、複数の位置情報により示される顧客の移動パターン、及び商品登録情報を照合することで、顧客が特定の状態にあるか判定する。更に詳しくは、顧客状態判定部１００２は、通信制御部１００１がモニタリング情報を受信した場合に、送信元の顧客端末２０を示す顧客端末コードに関連付けてモニタリング情報をモニタリング情報テーブル１０８に記憶させる。

また、顧客状態判定部１００２は、モニタリング情報テーブル１０８の顧客端末コードごとのモニタリング情報が示す顧客の状態を、照会情報テーブル１１０に照会することで、顧客の状態を判定する。例えば、顧客状態判定部１００２は、顧客の状態が、商品探索、万引き、又は体調不良の何れかに該当するかを判定する。なお、顧客状態判定部１００２は、顔画像、位置情報、及び商品登録情報に限らず、音声情報を含めて顧客の状態を判定してもよい。さらに、顧客状態判定部１００２は、これら以上の情報を含めて顧客の状態を判定してもよい。

商品探索の場合、顧客状態判定部１００２は、商品探索条件を満たすか否かを判定する。更に詳しくは、顧客状態判定部１００２は、モニタリング情報テーブル１０８のモニタリング情報の顔画像に基づいて顧客の視線が棚の様々な箇所に向けられているか否かを判定する。また、顧客状態判定部１００２は、モニタリング情報テーブル１０８のモニタリング情報の位置情報に基づいて顧客が所定の領域内を行ったり来たりしているか否かを判定する。また、顧客状態判定部１００２は、モニタリング情報テーブル１０８の商品登録情報に基づいて商品登録数が閾値以上である否かを判定する。そして、これらの条件が満たされる場合に、顧客状態判定部１００２は、顧客は商品を探している可能性が高い判定する。

また、万引きの場合や、体調不良の場合には、顧客状態判定部１００２は、注意顧客条件を満たすか否かを判定する。更に詳しくは、万引きの場合、顧客状態判定部１００２は、モニタリング情報テーブル１０８のモニタリング情報の顔画像に基づいて顧客の視線が通路の様々な箇所に向けられているか否かを判定する。また、顧客状態判定部１００２は、モニタリング情報テーブル１０８のモニタリング情報の位置情報に基づいて顧客が所定の領域内を行ったり来たりしているか否かを判定する。また、顧客状態判定部１００２は、モニタリング情報テーブル１０８の商品登録情報に基づいて商品登録数が閾値未満である否かを判定する。そして、これらの条件が満たされる場合に、顧客状態判定部１００２は、顧客は万引き等を行う不審者の可能性が高いと判定する。

体調不良の場合、顧客状態判定部１００２は、モニタリング情報テーブル１０８のモニタリング情報の顔画像に基づいて顔色が悪いか否かを判定する。また、顧客状態判定部１００２は、モニタリング情報テーブル１０８のモニタリング情報の位置情報に基づいて所定期間内に顧客が移動していないか否かを判定する。また、顧客状態判定部１００２は、モニタリング情報テーブル１０８の商品登録情報に基づいて商品登録数が閾値未満である否かを判定する。そして、これらの条件が満たされる場合に、顧客状態判定部１００２は、顧客が体調不良であると判定する。

報知管理部１００３は、報知手段の一例である。報知管理部１００３は、顧客状態判定部１００２が特定の状態にあると判定した場合に、報知する。例えば、報知管理部１００３は、顧客端末２０における案内処理を管理する。更に詳しくは、報知管理部１００３は、顧客が商品を探している状態にあると顧客状態判定部１００２が判定した場合に、探している商品の有無を顧客に報知する。すなわち、報知管理部１００３は、顧客が商品を探している可能性が高いと顧客状態判定部１００２が判定した場合に、判定対象にしたモニタリング情報に関連付けられている顧客端末コードをモニタリング情報テーブル１０８から抽出する。また、報知管理部１００３は、抽出した顧客端末コードの顧客端末２０に向けて、案内確認要求を通信制御部１００１に送信させる。これにより、報知管理部１００３は、顧客端末２０を介して、探している商品の有無を顧客に報知する。

案内確認要求の応答として、通信制御部１００１は、顧客が探している商品が有る場合に、探している商品を示す商品情報を受信する。この場合に、報知管理部１００３は、各商品が配置された位置を記憶した商品マスタ１０９に基づいて、商品情報により特定される商品が配置された位置を、商品を探している顧客に報知する。報知管理部１００３は、案内確認要求の応答として商品情報を受信した場合に、受信した商品情報により特定される商品の商品位置情報を商品マスタ１０９から抽出する。そして、報知管理部１００３は、商品情報を送信した顧客端末２０に向けて、抽出した商品位置情報を通信制御部１００１に送信させる。これにより、報知管理部１００３は、顧客端末２０を介して、商品を探している顧客に報知する。

また、報知管理部１００３は、顧客が万引き等を行う不審者の可能性が高いと顧客状態判定部１００２が判定した場合に、顧客の顔画像と、顧客が店舗にいる位置を示す位置情報とを事前に定められ店員端末３０に送信する。更に詳しくは、報知管理部１００３は、顧客が万引き等を行う不審者の可能性が高いと顧客状態判定部１００２が判定した場合に、判定対象にしたモニタリング情報のうち、最新の位置情報、及び顔画像を抽出する。そして、報知管理部１００３は、店員端末３０に向けて、抽出した位置情報、及び顔画像を含む万引き報知情報を通信制御部１００１に送信させる。これにより、報知管理部１００３は、店員端末３０を介して、万引き等を行う不審者の可能性が高い顧客がいることを報知する。

また、報知管理部１００３は、顧客が万引き等を行う不審者の可能性が高いと顧客状態判定部１００２が判定した場合に、顧客の顔画像と、が店舗にいる位置を示す位置情報とを事前に定められ端末に送信する。更に詳しくは、報知管理部１００３は、顧客が体調不良の可能性が高いと顧客状態判定部１００２が判定した場合に、判定対象にしたモニタリング情報のうち、最新の位置情報、及び顔画像を抽出する。そして、報知管理部１００３は、店員端末３０に向けて、抽出した位置情報、及び顔画像を含む体調不良報知情報を通信制御部１００１に送信させる。これにより、報知管理部１００３は、店員端末３０を介して、体調が悪い可能性が高い顧客がいることを報知する。

店員端末３０の制御部３０１は、記憶部３０２に記憶された制御プログラム３０７をＲＡＭに展開し、制御プログラム３０７に従って動作することで、各機能部をＲＡＭに生成する。具体的には、店員端末３０の制御部３０１は、機能部として、通信制御部３００１、及び報知制御部３００２を備える。

通信制御部３００１は、通信インタフェース３０３を制御して、管理サーバ１０との通信を実行する。

報知制御部３００２は、万引き報知情報、又は体調不良報知情報を通信制御部３００１が受信した場合に、報知する。更に詳しくは、報知制御部３００２は、通信制御部３００１が万引き報知情報を受信した場合に、万引き報知情報に基づいて、万引きを行う不審者の可能性が高い顧客がいることを報知する。例えば、報知制御部３００２は、万引き報知情報に含まれる位置情報にいる顧客であって、顔画像の顧客が万引きを行う不審者の可能性が高いことをタッチパネルディスプレイ３０４に表示することで報知する。

また、報知制御部３００２は、通信制御部３００１が体調不良報知情報を受信した場合に、体調不良報知情報に基づいて、体調不良の可能性が高い顧客がいることを報知する。例えば、報知制御部３００２は、体調不良報知情報に含まれる位置情報にいる顧客であって、顔画像の顧客が体調不良の可能性が高いことをタッチパネルディスプレイ３０４に表示することで報知する。

次に、管理サーバ１０が実行する案内処理について説明する。ここで、図９は、本実施形態の管理サーバ１０が実行する案内処理の一例を示すフローチャートである。

報知管理部１００３は、案内処理を開始するトリガを検出する（ステップＳ１）。例えば、報知管理部１００３は、カートＰＯＳ２１に取り付けられた顧客端末２０の場合、カートＰＯＳ２１が移動させられたことをトリガとして検出する。また、報知管理部１００３は、顧客端末２０が店舗の外部から持ち込まれた場合、顧客端末２０を検出したことをトリガとして検出する。

報知管理部１００３は、初期化処理を実行する（ステップＳ２）。例えば、報知管理部１００３は、モニタリング情報の周期的な送信を顧客端末２０に要求する。これにより、顧客端末２０は、モニタリング情報を周期的に管理サーバ１０に送信する。よって、顧客状態判定部１００２は、モニタリング情報をモニタリング情報テーブル１０８に蓄積することができる。

通信制御部１００１は、会計処理の完了を示す会計完了情報を受信したか否かを判定する（ステップＳ３）。会計処理の完了を示す会計完了情報を受信していないことを条件に（ステップＳ３；Ｎｏ）、報知管理部１００３は、モニタリング情報テーブル１０８と、照会情報テーブル１１０とに基づいて、商品探索条件を満たしているか否かを判定する（ステップＳ４）。すなわち、報知管理部１００３は、顧客が商品を探しているか否かを判定する。顧客が商品を探していない場合に（ステップＳ４；Ｎｏ）、管理サーバ１０は、ステップＳ３に移行する。

顧客が商品を探している場合に（ステップＳ４；Ｙｅｓ）、報知管理部１００３は、案内確認要求を通信制御部１００１に送信させる（ステップＳ５）。この時、報知管理部１００３は、モニタリング情報テーブル１０８において商品探索条件を満たした顧客端末コードの顧客端末２０に向けて送信させる。

通信制御部１００１は、案内確認要求の応答として、顧客が探している商品を示す商品情報を受信する（ステップＳ６）。

報知管理部１００３は、受信した商品情報の商品の在庫があるか否かを判定する（ステップＳ７）。商品の在庫が有る場合に（ステップＳ７；Ｙｅｓ）、報知管理部１００３は、商品情報が示す商品の配置位置を案内する（ステップＳ８）。すなわち、報知管理部１００３は、商品情報が示す商品の配置位置を示す商品位置情報を商品マスタ１０９から抽出する。そして、報知管理部１００３は、抽出した商品位置情報を配置位置として通信制御部１００１に送信させる。

報知管理部１００３は、顧客端末２０から送信される顧客端末２０の位置情報が示す位置に基づいて、商品の配置位置に顧客端末２０が到着したか否かを判定する（ステップＳ９）。商品の配置位置に顧客端末２０が到着していない場合に（ステップＳ９；Ｎｏ）、報知管理部１００３は、商品が配置された位置への案内を継続する。

商品の配置位置に顧客端末２０が到着した場合に（ステップＳ９；Ｙｅｓ）、報知管理部１００３は、商品が配置された位置への案内を終了する。そして、管理サーバ１０は、ステップＳ３に移行する。

ステップＳ７において商品の在庫が無い場合に（ステップＳ７；Ｎｏ）、報知管理部１００３は、指定された商品が無いことを報知する（ステップＳ１０）。すなわち、報知管理部１００３は、商品情報が示す商品の在庫が無いことを示す情報を通信制御部１００１に送信させる。そして、管理サーバ１０は、ステップＳ３に移行する。

ステップＳ３において会計処理の完了を示す会計完了情報を受信した場合に（ステップＳ３；Ｙｅｓ）、管理サーバ１０は、案内処理を終了する。

次に、管理サーバ１０が実行する通知処理について説明する。ここで、図１０は、本実施形態の管理サーバ１０が実行する通知処理の一例を示すフローチャートである。

報知管理部１００３は、通知処理を開始するトリガを検出する（ステップＳ２１）。例えば、報知管理部１００３は、カートＰＯＳ２１に取り付けられた顧客端末２０の場合、カートＰＯＳ２１が移動させられたことをトリガとして検出する。また、報知管理部１００３は、顧客端末２０が店舗の外部から持ち込まれた場合、顧客端末２０を検出したことをトリガとして検出する。

報知管理部１００３は、初期化処理を実行する（ステップＳ２２）。例えば、報知管理部１００３は、モニタリング情報の周期的な送信を顧客端末２０に要求する。これにより、顧客端末２０は、モニタリング情報を周期的に管理サーバ１０に送信する。よって、顧客状態判定部１００２は、モニタリング情報をモニタリング情報テーブル１０８に蓄積することができる。

報知管理部１００３は、顧客端末２０が店舗から退出されたことを検出したか否かを判定する（ステップＳ２３）。例えば、報知管理部１００３は、位置情報に基づいて顧客端末２０が店舗の出口にいると判定した場合や、所定期間内に位置情報を受信しない場合に、顧客端末２０が店舗から退出されたと判定する。

店舗からの退出を検出しない場合に（ステップＳ２３；Ｎｏ）、報知管理部１００３は、万引き等を行う不審者の可能性や、体調不良の可能性が高い顧客であるか否かの判定基準である注意顧客条件が満たされたか否かを判定する（ステップＳ２４）。

注意顧客条件を満たしていない場合に（ステップＳ２４；Ｎｏ）、報知管理部１００３は、ステップＳ２３に移行する。注意顧客条件を満たした場合に（ステップＳ２４；Ｙｅｓ）、報知管理部１００３は、万引き等を行う不審者の可能性や、体調不良の可能性が高い顧客がいることを報知する（ステップＳ２５）。すなわち、報知管理部１００３は、モニタリング情報テーブル１０８における最新の顔画像及び位置情報を店員端末３０に送信する。これにより、店員は、何れの顧客が注意顧客条件を満たす顧客であるかを識別することができる。

通信制御部１００１は、店員端末３０から報知解除を受信したか否かを判定する（ステップＳ２６）。すなわち、通信制御部１００１は、注意顧客に対して適切な対応を行ったことの通知を受信したか否かを判定する。

報知解除を受信していない場合に（ステップＳ２６；Ｎｏ）、管理サーバ１０は、ステップＳ２６において報知状態を継続する。報知解除を受信した場合に（ステップＳ２６；Ｙｅｓ）、報知管理部１００３は、ステップＳ２３に移行して報知状態を解除する。

店舗からの退出を検出した場合に（ステップＳ２３；Ｙｅｓ）、管理サーバ１０は、通知処理を終了する。

以上のように、本実施形態に係る管理サーバ１０は、顧客端末２０から顧客をモニタリングした情報として、顧客の顔画像、顧客がいる位置を示す位置情報、及び、顧客の商品登録状況を示す状況情報を受信する。また、管理サーバ１０は、照合用の情報を有する照会情報テーブル１１０に対して、受信した各種情報を照合することで、顧客の状態を判定する。そして、管理サーバ１０は、顧客の状態に応じて、報知する。例えば、管理サーバ１０は、顧客が商品を探している状態の場合には、顧客端末２０を介して探していることを問い合わせる。これにより、店員は、顧客対応を行う必要が無くなる。また、管理サーバ１０は、顧客が万引きを行う不審者の可能性が高いと判定した場合や、顧客が体調不良である可能性が高いと判定した場合には、店員端末３０に報知する。これにより、店員は、事前に状態を把握することができる。よって、本実施形態に係る管理サーバ１０は、顧客対応における店員の負担を軽減することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、上記実施形態では、不審者の一例として万引きを行う顧客について説明した。しかしながら、不審者は、万引きを行おうとしている顧客に限らず、他の行為を行うとしていている顧客であってもよい。この場合においても、管理サーバ１０は、該当する行為を行っている顧客を不審者と判定する。そして、管理サーバ１０は、不審者と判定した場合に、不審者に該当する顧客の顔画像と、不審者に該当する顧客がいる位置を示す位置情報とを店員端末３０に送信することで報知する。

また、上記実施形態では、情報処理装置を管理サーバ１０に適用した場合を例に説明した。しかしながら、管理サーバ１０が備える機能の全部又は一部は、顧客端末２０又は店員端末３０が備えていてもよい。すなわち、通信制御部１００１、顧客状態判定部１００２、及び報知管理部１００３は、顧客端末２０又は店員端末３０が備えていてもよい。または、管理サーバ１０、顧客端末２０、及び店員端末３０で協働することで機能を実現してもよい。

上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１ 顧客モニタリングシステム
１０ 管理サーバ
２０ 顧客端末
３０ 店員端末
１０８ モニタリング情報テーブル
１０９ 商品マスタ
１１０ 照会情報テーブル
２０４ 近距離無線通信インタフェース
２０５ 撮像部
２０６、３０４ タッチパネルディスプレイ
２０７ マイク
２０８、３０５ スピーカ
１００１、２００１、３００１ 通信制御部
１００２ 顧客状態判定部
１００３ 報知管理部
２００２ 商品登録部
２００３ 会計処理部
２００４ 音声記録部
２００５ 位置測定部
２００６ 撮像制御部
２００７ 案内制御部
３００２ 報知制御部

特開２０１９－０３２７７８号公報

Claims (6)

1. 顧客が使用する携帯端末と、当該携帯端末から情報を受信する情報処理装置とを有する顧客モニタリングシステムであって、
   前記情報処理装置は、
   顧客の顔画像と、当該顧客が店舗にいる位置を示す位置情報と、当該顧客による商品の収集状況を示す状況情報とを前記携帯端末から受信する第１受信手段と、
   特定の状態にある人物の顔画像の特徴を示す照合用顔画像パターンと、前記人物における店舗の移動パターンの特徴を示す照合用移動パターンと、前記人物による商品の収集状況の特徴を示す照合用状況パターンとに対して、前記第１受信手段が受信した前記顔画像、前記位置情報、及び前記状況情報を照合することで、前記顧客が特定の状態にあるか判定する判定手段と、
   前記判定手段により前記顧客が商品を探していると判定された場合に、案内確認要求を送信する第１送信手段と、
   を備え、
   前記携帯端末は、
   自装置を操作する顧客の前記顔画像を撮像する撮像制御手段と、
   前記顧客が使用する自装置の位置を測位する測位手段と、
   販売対象の商品を登録する登録手段と、
   前記撮像制御手段により撮像された前記顔画像と、前記測位手段に測位された前記位置情報と、前記登録手段により登録された商品の収集状況を示す前記状況情報とを送信する第２送信手段と、
   前記案内確認要求を受信する第２受信手段と、
   前記第２受信手段により前記案内確認要求が受信された場合に、探している商品があるか否かを問い合わせる画像を表示部に表示する表示制御手段と、
   を備える、顧客モニタリングシステム。
2. 前記携帯端末は、顧客が商品を探している場合に、探している商品を示す商品情報の入力を受け付ける入力手段を更に備え、
   前記第２送信手段は、前記商品情報を送信する、
   請求項１に記載の顧客モニタリングシステム。
3. 前記第１受信手段は、前記商品情報を受信し、
   前記第１送信手段は、各商品が配置された位置を記憶した記憶部に基づいて、前記商品情報により特定される商品が配置された位置を、当該商品を探している前記顧客が使用する前記携帯端末に送信する、
   請求項２に記載の顧客モニタリングシステム。
4. 前記第１送信手段は、前記顧客は不審者であると前記判定手段により判定された場合に、当該顧客の前記顔画像と、当該顧客が店舗にいる位置を示す前記位置情報とを事前に定められ端末に送信する、
   請求項１に記載の顧客モニタリングシステム。
5. 前記第１送信手段は、前記顧客は体調不良であると前記判定手段により判定された場合に、当該顧客の前記顔画像と、当該顧客が店舗にいる位置を示す前記位置情報とを事前に定められ端末に送信する、
   請求項１に記載の顧客モニタリングシステム。
6. 顧客が使用する携帯端末と、当該携帯端末から情報を受信する情報処理装置とが実行する顧客モニタリング方法であって、
   前記情報処理装置が、
   顧客の顔画像と、当該顧客が店舗にいる位置を示す位置情報と、当該顧客による商品の収集状況を示す状況情報とを前記携帯端末から受信する第１受信ステップと、
   特定の状態にある人物の顔画像の特徴を示す照合用顔画像パターンと、前記人物における店舗の移動パターンの特徴を示す照合用移動パターンと、前記人物による商品の収集状況の特徴を示す照合用状況パターンとに対して、前記第１受信ステップで受信した前記顔画像、前記位置情報、及び前記状況情報を照合することで、前記顧客が特定の状態にあるか判定する判定ステップと、
   前記判定ステップで前記顧客が商品を探していると判定された場合に、案内確認要求を送信する第１送信ステップと、
   を実行し、
   前記携帯端末が、
   自装置を操作する顧客の前記顔画像を撮像する撮像制御ステップと、
   前記顧客が使用する自装置の位置を測位する測位ステップと、
   販売対象の商品を登録する登録ステップと、
   前記撮像制御ステップで撮像された前記顔画像と、前記測位ステップで測位された前記位置情報と、前記登録ステップで登録された商品の収集状況を示す前記状況情報とを送信する第２送信ステップと、
   前記案内確認要求を受信する第２受信ステップと、
   前記第２受信ステップで前記案内確認要求が受信された場合に、探している商品があるか否かを問い合わせる画像を表示部に表示する表示制御ステップと、
   が実行する、顧客モニタリング方法。

Images