JP7401638B2 - 情報提供装置及びその制御プログラム - Google Patents

Description

本発明の実施形態は、情報提供装置及びコンピュータを当該情報提供装置として機能させるための制御プログラムに関する。

商品売場にいる客に対し、その売場に関連した情報を提供することで、客の購買行動を支援するシステムが提案されている。従来のこの種のシステムの多くは、売場を移動する客をリアルタイムで追跡し、客が所定の売場に来ると、その客が使用する端末に、その売場に関連した情報を提供する、というものである。そして客を追跡する方法としては、ＧＰＳ（Global Positioning System）、ビーコン等の無線測位技術を利用した方法が知られている。

しかしながら、ＧＰＳを採用した場合には、屋内での適用が難しく、適用できたとしても測位精度が悪いという問題がある。ビーコンを採用した場合にも、測位精度を高めるためには店舗内に高密度でビーコン用の通信デバイスを配置する必要がある。このように、人物の行動を追跡しようとすると、解決しなければならない様々な問題が生じ得る。

特許第３９３１５４１号公報 特開２０１０－００９５６６号公報 特開２０１２－１８５５７６号公報

本発明の実施形態が解決しようとする課題は、人物の行動を追跡することなく、その人物が使用する端末を介してその人物が居る場所に関連した情報を提供できる情報提供装置を提供しようとするものである。

一実施形態において、情報提供装置は、人物特定手段と、場所特定手段と、端末特定手段と、提供手段と、を備える。人物特定手段は、購買者に提供すべき情報がある複数の拠点にそれぞれ設置された撮影手段で撮影された画像から、その画像に顔が映し出されている人物を特定する。場所特定手段は、人物特定手段により人物が特定された画像を撮影した撮影手段が設置されている拠点を、人物がいる場所として特定する。端末特定手段は、人物特定手段により特定された人物が使用する端末を特定する。提供手段は、端末特定手段により特定された端末に、場所特定手段により人物がいる場所として特定された拠点と関連付けて、当該拠点に来た購買者に対して提供される情報を記憶する記憶装置に記憶されている情報を提供する。

一実施形態の情報提供装置が適用された店舗に構築される店舗システムの全体構成図。 カメラレコードのデータ構成を示す模式図。 購買者レコードのデータ構成を示す模式図。 提供情報レコードのデータ構成を示す模式図。 情報端末の要部回路構成を示すブロック図。 情報端末を備えたカートの一例を示す斜視図。 画像処理サーバの要部回路構成を示すブロック図。 撮影データのフォーマットを示す模式図。 画像処理サーバのプロセッサが制御プログラムに従って実行する情報処理の要部手順を示す流れ図。 購買者サーバのプロセッサが制御プログラムに従って実行する情報処理の要部手順を示す流れ図。 図１０に示される入店カメラ処理の手順を具体的に示す流れ図。 図１０に示されるカートカメラ処理の手順を具体的に示す流れ図。 図１０に示される拠点カメラ処理の手順を具体的に示す流れ図。 図１０に示される会計カメラ処理の手順を具体的に示す流れ図。 第１の実施形態において、提供サーバのプロセッサが制御プログラムに従って実行する情報処理の要部手順を示す流れ図。 第２の実施形態において、提供サーバのプロセッサが制御プログラムに従って実行する情報処理の要部手順を示す流れ図。

以下、人物の行動を追跡することなく、その人物が使用する端末を介してその人物が居る場所に関連した情報を提供できる情報提供装置の実施形態について、図面を用いて説明する。

因みに本実施形態は、スーパーマーケット等の小売店において、ショッピングカートを利用して買物を行う人物に対し、そのショッピングカートに備えられた情報端末を介して、その人物が居る売場に関連した情報を提供する、というものである。なお、以下の説明では、買物を行う人物を購買者と称する。ショッピングカートは、カートと称する。

［第１の実施形態］
図１は、本実施形態の情報提供装置が適用された店舗に構築される店舗システム１の全体構成図である。店舗システム１は、情報端末１０、アクセスポイント２０、会計機３０、カメラインターフェース４０、店舗サーバ５０、画像処理サーバ６０、購買者サーバ７０及び提供サーバ８０を含む。また店舗システム１は、ネットワーク２を含む。ネットワーク２は、アクセスポイント２０、会計機３０、カメラインターフェース４０、店舗サーバ５０、画像処理サーバ６０、購買者サーバ７０及び提供サーバ８０を通信自在に接続する。ネットワーク２は、例えばＬＡＮ（Local Area Network）である。

情報端末１０は、購買者が買上商品の登録に係るデータの入力をセルフで行うことを可能とした機器である。情報端末１０は、カートＳＣ毎に設けられている。カートＳＣは、そのカートＳＣのユーザである購買者の買上商品を搬送する移動体の一例である。

情報端末１０は、無線ユニットを備えている。情報端末１０は、アクセスポイント２０と無線通信を行う。アクセスポイント２０は、ネットワーク２に繋がる各機器、例えば会計機３０、店舗サーバ５０、画像処理サーバ６０、購買者サーバ７０又は提供サーバ８０と、情報端末１０との通信を中継する。アクセスポイント２０は、図１では１台のみ示しているが、店舗の規模等により２台以上あってもよい。

情報端末１０は、撮影手段の一つであるカメラＣＡ１を備えている。カメラＣＡ１は、情報端末１０が設けられたカートＳＣを操作する購買者の顔画像を撮影するためのものである。ここに、カメラＣＡ１は、移動体撮影手段として機能する。以下では、カメラＣＡ１をカートカメラＣＡ１と称する。

会計機３０は、買上商品の会計を店員若しくは客が行うことを可能とした機器である。会計機３０は、周知のセルフ式ＰＯＳ端末である。会計機３０は、周知の対面式ＰＯＳ端末であってもよい。会計機３０の台数は、特に制限されない。

カメラインターフェース４０は、カートカメラＣＡ１とは別の撮影手段として備えられたカメラで撮影された画像データを取り込む。カメラには、入店カメラＣＡ２、拠点カメラＣＡ３、及び、会計カメラＣＡ４がある。

入店カメラＣＡ２は、店舗内に入る購買者の顔画像を撮影するためのものである。入店カメラＣＡ２は、購買者の顔画像を撮影可能な位置に設置される。入店カメラＣＡ２は、入口の数だけある。

拠点カメラＣＡ３は、売場の拠点に来た購買者の顔画像を撮影するためのものである。拠点とは、購買者に提供すべき情報がある場所である。例えば特売品が陳列された商品棚の前に来た購買者に対し、その特売品に関する情報を提供する場合、その特売品が陳列された商品棚の前の床面が拠点となる。例えば推奨するレシピの食材となる商品が陳列された商品棚の前に来た購買者に対し、そのレシピを紹介する情報を提供する場合、その食材となる商品が陳列された商品棚の前の床面が拠点となる。拠点カメラＣＡ３は、拠点に来た購買者の顔画像を撮影可能な位置に設置される。拠点カメラＣＡ３は、拠点の数だけある。

会計カメラＣＡ４は、会計機３０で会計を行う購買者の顔画像を撮影するためのものである。会計カメラＣＡ４は、会計を行う購買者の顔画像を撮影可能な位置に設置される。会計カメラＣＡ４は、会計機３０の台数だけある。

店舗サーバ５０は、店舗業務を支援するのに特化したコンピュータ装置である。店舗サーバ５０は、商品データベース、売上データベース等を備える。これらのデータベースは、店舗サーバ５０に内蔵された記憶装置にあってもよいし、店舗サーバ５０に外付けされた記憶装置にあってもよい。商品データベースは、店舗で販売される商品毎に商品データを記述した商品レコードの集合体である。商品データは、商品コード、価格、商品名等を含む。商品コードは、商品の識別コードである。売上データベースは、商品、部門、時間帯、日付、週、月等の項目毎に売上データを記述した売上レコードの集合体である。売上データは、売上点数、売上金額等を含む。

画像処理サーバ６０は、撮影手段、すなわちカートカメラＣＡ１、入店カメラＣＡ２、拠点カメラＣＡ３及び会計カメラＣＡ４で撮影された画像を処理するのに特化したコンピュータ装置である。画像処理サーバ６０は、カメラデータベース９１を備える。カメラデータベース９１は、画像処理サーバ６０に内蔵された記憶装置にあってもよいし、画像処理サーバ６０に外付けされた記憶装置にあってもよい。カメラデータベース９１は、画像処理サーバ６０と通信可能な他のサーバの記憶装置にあってもよい。カメラデータベース９１は、各カメラＣＡ１，ＣＡ２，ＣＡ３，ＣＡ４の個々に対して作成されるカメラレコード９１Ｒの集合体である。

図２は、カメラレコード９１Ｒのデータ構成を示す模式図である。図示するようにカメラレコード９１Ｒは、カメラＩＤ、カメラ区分及びカメラデータを含む。カメラＩＤは、各カメラＣＡ１，ＣＡ２，ＣＡ３，ＣＡ４を個々に識別するためにカメラ毎に設定された一意のコードである。各カメラＣＡ１，ＣＡ２，ＣＡ３，ＣＡ４は、自機に設定されたカメラＩＤを記憶しており、撮影した画像データを出力する際、カメラＩＤとともに画像データを出力するようになっている。

カメラ区分は、カメラＩＤで識別されるカメラの種類を示す情報である。すなわちカメラ区分は、当該カメラがカートカメラＣＡ１なのか、入店カメラＣＡ２なのか、拠点カメラＣＡ３なのか、会計カメラＣＡ４なのかを区分するための情報である。

カメラデータは、店内座標又はカート番号である。カートカメラＣＡ１に対するカメラレコード９１Ｒの場合、カメラデータはカート番号となる。カート番号は、当該カートカメラＣＡ１を設けた情報端末１０が備えられたカートＳＣの識別番号である。したがってカート番号は、そのカート番号で識別されるカートＳＣに備えられた情報端末１０を特定するための情報となる。入店カメラＣＡ２、拠点カメラＣＡ３及び会計カメラＣＡ４に対するカメラレコード９１Ｒの場合には、カメラデータは店内座標となる。店内座標は、当該カメラによって撮影される店内の位置を特定するための情報である。店内座標は、店舗の床面をＸ－Ｙ平面と見立て、任意の位置を原点（Ｘ，Ｙ）＝（０，０）とし、その原点からの差分をＸ座標とＹ座標とで表したものである。

図１の説明に戻る。
購買者サーバ７０は、購買者の情報管理に特化したコンピュータ装置である。購買者サーバ７０は、購買者データベース９２を備える。購買者データベース９２は、購買者サーバ７０に内蔵された記憶装置にあってもよいし、購買者サーバ７０に外付けされた記憶装置にあってもよい。購買者データベース９２は、購買者サーバ７０と通信可能な他のサーバの記憶装置にあってもよい。購買者データベース９２は、購買者に係る情報が記述された購買者レコード９２Ｒの集合体である。

図３は、購買者レコード９２Ｒのデータ構成を示す模式図である。図示するように購買者レコード９２Ｒは、購買者ＩＤ、顔画像、購買者属性、入店時刻、位置情報、カート番号及び会計フラグを含む。購買者ＩＤは、購買者を個々に識別するために購買者毎に割り当てられた一意のコードである。顔画像は、購買者の顔を撮影した画像である。顔画像は、基本的には、入店カメラＣＡ２によって撮影された画像から抽出されて、購買者レコード９２Ｒに記述される。顔画像は、カートカメラＣＡ１又は拠点カメラＣＡ３によって撮影された画像から抽出されて、購買者レコード９２Ｒに記述される場合もある。

購買者属性は、購買者の性別及び年代等の属性を表す情報である。入店時刻は、購買者が入店した時刻である。位置情報は、購買者が居る店舗内の位置を特定する店内座標とその時点の時刻である。カート番号は、購買者が使用するカートＳＣの識別番号である。会計フラグＦは、購買者が会計を行ったか否かを識別するための１ビットデータである。本実施形態では、会計を行う前のときの会計フラグＦを“０”とし、会計を行った後の会計フラグＦを“１”とする。

図１の説明に戻る。
提供サーバ８０は、拠点に来た購買者に対して提供する情報の管理に特化したコンピュータ装置である。提供サーバ８０は、提供情報データベース９３を備える。提供情報データベース９３は、提供サーバ８０に内蔵された記憶装置にあってもよいし、提供サーバ８０に外付けされた記憶装置にあってもよい。提供情報データベース９３は、提供サーバ８０と通信可能な他のサーバの記憶装置にあってもよい。提供情報データベース９３は、購買者に提供する情報が記述された提供情報レコード９３Ｒの集合体である。

図４は、提供情報レコード９３Ｒのデータ構成を示す模式図である。図示するように提供情報レコード９３Ｒは、拠点座標、購買者属性及び表示データを含む。拠点座標は、当該提供情報レコード９３Ｒで管理される情報を提供する拠点となる店内の位置を特定するための情報である。拠点座標は、拠点カメラＣＡ３のカメラＩＤを含むカメラレコード９１Ｒに設定されている店内座標と一致する。購買者属性は、当該提供情報レコード９３Ｒで管理される情報を提供する購買者の属性である。

表示データは、当該提供情報レコード９３Ｒの拠点座標で特定される拠点に来た購買者のうち、購買者属性と一致する属性を有する購買者に対して提供される情報の一例である。本実施形態では、購買者が使用するカートＳＣに備えられた情報端末１０の表示デバイスに情報を表示することで、購買者に対して情報を提供する。したがって表示データは、例えばテキストデータである。表示データは、静止画又は動画の画像データであってもよい。因みに、情報端末１０にスピーカが設けられている場合には、表示データとともに、あるいは表示データの代わりに音声データを適用してもよい。

図５は、情報端末１０の要部回路構成を示すブロック図である。情報端末１０は、プロセッサ１１、メインメモリ１２、補助記憶デバイス１３、無線ユニット１４、タッチパネル１５、スキャナ１６、リーダ１７、カメラＣＡ１及びシステム伝送路１８を備える。システム伝送路１８は、アドレスバス、データバス、制御信号線等を含む。情報端末１０は、システム伝送路１８に、プロセッサ１１、メインメモリ１２、補助記憶デバイス１３、無線ユニット１４、タッチパネル１５、スキャナ１６、リーダ１７、カメラＣＡ３を接続する。情報端末１０では、プロセッサ１１、メインメモリ１２及び補助記憶デバイス１３と、これらを接続するシステム伝送路１８とによってコンピュータが構成される。

プロセッサ１１は、上記コンピュータの中枢部分に相当する。プロセッサ１１は、オペレーティングシステム又はアプリケーションプログラムに従って、情報端末１０としての各種の機能を実現するべく各部を制御する。プロセッサ１１は、例えばＣＰＵ（Central Processing Unit）である。

メインメモリ１２は、上記コンピュータの主記憶部分に相当する。メインメモリ１２は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ１２は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。メインメモリ１２は、プロセッサ１１が各部を制御するための処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ１２は、揮発性のメモリ領域を、プロセッサ１１によってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばＲＯＭ（Read Only Memory）である。揮発性のメモリ領域は、例えばＲＡＭ（Random Access Memory）である。

補助記憶デバイス１３は、上記コンピュータの補助記憶部分に相当する。例えばＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disc Drive）、あるいはＳＳＤ（Solid State Drive）等が補助記憶デバイス１３となり得る。補助記憶デバイス１３は、プロセッサ１１が各種の処理を行う上で使用するデータ、あるいはプロセッサ１１での処理によって作成されたデータ等を保存する。補助記憶デバイス１３は、上記のアプリケーションプログラムを記憶する場合もある。補助記憶デバイス１３は、当該情報端末１０が備えられたカートＳＣの識別番号、すなわちカート番号を記憶する。

無線ユニット１４は、アクセスポイント２０との間で無線通信プロトコルに従いデータの無線通信を行う。

タッチパネル１５は、情報端末１０の入力デバイスと表示デバイスとを兼ね備えた機器である。タッチパネル１５は、表示された画像に対するタッチ位置を検出し、そのタッチ位置情報をプロセッサ１１に出力する。

スキャナ１６は、商品に付されたバーコード、二次元データコード等のコードシンボルを読み取る。商品には、その商品コードを表すコードシンボルが付されている。スキャナ１６は、読み取ったコードシンボルのデータをプロセッサ１１に出力する。スキャナ１６は、レーザ光の走査によりコードシンボルを読み取るタイプであってもよいし、撮像デバイスで撮像した画像からコードシンボルを読み取るタイプであってもよい。

リーダ１７は、記録媒体に記録されたデータを読み取り、読み取ったデータをプロセッサ１１に出力する。リーダ１７は、記録媒体が磁気カードの場合は磁気カードリーダであり、接触式ＩＣカードの場合にはＩＣカードリーダである。非接触式ＩＣカード又はスマートフォン等のようにＲＦＩＤ（Radio Frequency Identification）を使用した記録媒体の場合には、ＲＦＩＤリーダがリーダ１７として使用される。

以上のような回路構成要素を備えた情報端末１０において、プロセッサ１１、メインメモリ１２、補助記憶デバイス１３、無線ユニット１４及びタッチパネル１５は、タブレット端末ＴＭによって構成されている。そしてこのタブレット端末ＴＭに、スキャナ１６、リーダ１７及びカメラＣＡ１を電気的に接続することで、情報端末１０が構成されている。

図６は、情報端末１０を備えたカートＳＣの一例を示す斜視図である。カートＳＣは、移動用のキャスタ部Ｃ１と、ハンドルフレーム部Ｃ２と、籠受部Ｃ３とを備えている。キャスタ部Ｃ１は、床面上を円滑に移動させるための４輪の車輪Ｃ１１を有している。またキャスタ部Ｃ１は、籠ＳＢに入らないような大きな荷物を置くための受け部Ｃ１２を備えている。ハンドルフレーム部Ｃ２は、キャスタ部Ｃ１の後輪側に立設された一対の縦フレームＣ２１，Ｃ２１と、これら縦フレームＣ２１，Ｃ２１の上端を連結するハンドルバーＣ２２と、を含む。籠受部Ｃ３は、ハンドルフレーム部Ｃ２の中途部位から前方にある。カートＳＣは、籠受部Ｃ３に、店備え付けの籠ＳＢを載置することができる。籠ＳＢは、商品を収容するためのものである。

スキャナ１６は、ハンドルバーＣ２２の中途部にある。スキャナ１６は、手前側に読取窓が位置するようにハンドルバーＣ２２に取り付けられている。手前側は、ハンドルバーＣ２２を持ってカートＳＣを押す客が立つ側である。

一方の縦フレームＣ２１に、ポールＣ４が取り付けられている。ポールＣ４は、その先端がハンドルバーＣ２２よりも上方に位置している。タブレット端末ＴＭは、タッチパネル１５の画面を手前にしてポールＣ４の先端部に取り付けられている。リーダ１７は、カードスリットが手前側に位置するようにタブレット端末ＴＭに取り付けられている。図５においては、リーダ１７を磁気カードリーダとしている。カメラＣＡ１は、ハンドルバーＣ２２を握る客の顔を含む画像を撮影するように、ポールＣ４の中途部に取り付けられている。

バッテリＢＴは、ハンドルフレーム部Ｃ２の下端側に、縦フレームＣ２１，Ｃ２１に亘って取り付けられている。バッテリＢＴは、タブレット端末ＴＭ、スキャナ１６、リーダ１７及びカメラＣＡ１の駆動電源となる。

図７は、画像処理サーバ６０の要部回路構成を示すブロック図である。画像処理サーバ６０は、プロセッサ６１、メインメモリ６２、補助記憶デバイス６３、時計６４、通信インターフェース６５及びシステム伝送路６６を備える。システム伝送路６６は、アドレスバス、データバス、制御信号線等を含む。画像処理サーバ６０は、システム伝送路６６に、プロセッサ６１、メインメモリ６２、補助記憶デバイス６３、時計６４及び通信インターフェース６５を直接または信号入出力回路を介して接続する。画像処理サーバ６０は、プロセッサ６１、メインメモリ６２及び補助記憶デバイス６３と、これらを接続するシステム伝送路６６とによってコンピュータを構成する。

プロセッサ６１は、上記コンピュータの中枢部分に相当する。プロセッサ６１は、オペレーティングシステムやアプリケーションプログラムに従って、画像処理サーバ６０としての各種の機能を実現するべく各部を制御する。プロセッサ６１は、例えばＣＰＵである。

メインメモリ６２は、上記コンピュータの主記憶部分に相当する。メインメモリ６２は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ６２は、不揮発性のメモリ領域ではオペレーティングシステムやアプリケーションプログラムを記憶する。またメインメモリ６２は、プロセッサ６１が各部を制御するための処理を実行する上で必要なデータを不揮発性または揮発性のメモリ領域で記憶する場合もある。メインメモリ６２は、揮発性のメモリ領域を、プロセッサ６１によってデータが適宜書き換えられるワークエリアとして使用する。メインメモリ６２において、不揮発性のメモリ領域は例えばＲＯＭであり、揮発性のメモリ領域は例えばＲＡＭである。

補助記憶デバイス６３は、上記コンピュータの補助記憶部分に相当する。例えばＥＥＰＲＯＭ、ＨＤＤ、あるいはＳＳＤ等が補助記憶デバイス６３として使用される。補助記憶デバイス６３は、プロセッサ６１が各種の処理を行う上で使用するデータや、プロセッサ６１での処理によって生成されたデータを保存する。補助記憶デバイス６３は、上記のアプリケーションプログラムを記憶する場合もある。

時計６４は、画像処理サーバ６０の時刻情報源として機能する。プロセッサ６１は、時計６４によって計時される時刻情報を基に、現在の日付及び時刻を計時する。

通信インターフェース６５は、ネットワーク２を介して接続される各部との間で通信プロトコルに従いデータの送信及び受信を行う。

購買者サーバ７０及び提供サーバ８０についても、要部回路構成は画像処理サーバ６０と同一となる。そこで以下では、購買者サーバ７０の構成要素をプロセッサ７１、メインメモリ７２、補助記憶デバイス７３、時計７４、通信インターフェース７５及びシステム伝送路７６として表す。また提供サーバ８０の構成要素をプロセッサ８１、メインメモリ８２、補助記憶デバイス８３、時計８４、通信インターフェース８５及びシステム伝送路８６として表す。

図８は、画像処理サーバ６０から購買者サーバ７０に出力される撮影データＤ１のフォーマットを示す模式図である。図９は、画像処理サーバ６０のプロセッサ６１が制御プログラムに従って実行する情報処理の要部手順を示す流れ図である。図１０乃至図１４は、購買者サーバ７０のプロセッサ７１が制御プログラムに従って実行する情報処理の要部手順を示す流れ図である。図１５は、提供サーバ８０のプロセッサ８１が制御プログラムに従って実行する情報処理の要部手順を示す流れ図である。以下、各図を用いて、店舗システム１の主要な動作について説明する。なお、以下に説明する動作は一例である。同様な結果が得られるのであれば、その処理手順は適宜変更して実施することができる。

初めに、入店カメラＣＡ２、拠点カメラＣＡ３及び会計カメラＣＡ４は、開店時刻から閉店時刻までの間、一定の周期で撮影動作を繰り返し、撮影された画像データを自機のカメラＩＤとともにカメラインターフェース４０へと出力している。カメラインターフェース４０へと出力されたカメラＩＤと画像データは、ネットワーク２を介して画像処理サーバ６０に送り込まれる。カートカメラＣＡ１は、情報端末１０に対してユーザのログインがあると起動し、一定の周期で撮影動作を繰り返す。撮影動作は、情報端末１０がログアウトするまで継続される。カートカメラＣＡ１で撮影された画像データは、プロセッサ１１の制御により自機のカメラＩＤとともに無線ユニット１４を介して無線送信され、アクセスポイント２０で受信される。アクセスポイント２０で受信されたカメラＩＤと画像データは、ネットワーク２を介して画像処理サーバ６０に送り込まれる。

ここで、画像処理サーバ６０の動作について、図９を用いて説明する。
画像処理サーバ６０のプロセッサ６１は、Ａｃｔ１として画像データを待ち受けている。ネットワーク２を介して画像データが送り込まれてくると、プロセッサ６１は、Ａｃｔ１においてＹＥＳと判定し、Ａｃｔ２へと進む。プロセッサ６１は、Ａｃｔ２として時計６４で計時されている日時を撮影時刻として取得する。またプロセッサ６１は、Ａｃｔ３として画像データを解析して人物の顔画像を抽出する。

プロセッサ６１は、Ａｃｔ４として人物の顔を一定以上の認識率で認識可能な顔画像を抽出できたか否かを確認する。顔画像を１つも抽出できなかった場合、プロセッサ６１は、Ａｃｔ４においてＮＯと判定し、Ａｃｔ５へと進む。プロセッサ６１は、Ａｃｔ５として画像データを破棄する。以上で、プロセッサ６１は、Ａｃｔ１において受信した画像データに対する処理を終了する。

顔画像を抽出できた場合、プロセッサ６１は、Ａｃｔ４においてＹＥＳと判定し、Ａｃｔ６へと進む。プロセッサ６１は、Ａｃｔ６として画像データとともに受信したカメラＩＤを取得する。プロセッサ６１は、Ａｃｔ７としてカメラＩＤを検索データとしてカメラデータベース９１を検索する。そしてプロセッサ６１は、Ａｃｔ８として検索データをカメラＩＤとして含むカメラレコード９１Ｒを読込み、そのカメラレコード９１Ｒからカメラ区分を取得する。

プロセッサ６１は、Ａｃｔ９としてカメラ区分がカートカメラＣＡ１を示すものか否かを確認する。カメラ区分がカートカメラＣＡ１を示すものの場合、プロセッサ６１は、Ａｃｔ９においてＹＥＳと判定し、Ａｃｔ１０へと進む。プロセッサ６１は、Ａｃｔ１０としてカメラレコード９１Ｒのカメラデータをカート番号として取得する。

カメラ区分がカートカメラＣＡ１を示すものでなかった場合、すなわちカメラ区分が入店カメラＣＡ２、拠点カメラＣＡ３又は会計カメラＣＡ４を示すものであった場合、プロセッサ６１は、Ａｃｔ９においてＮＯと判定し、Ａｃｔ１１へと進む。プロセッサ６１は、Ａｃｔ１１としてカメラレコード９１Ｒのカメラデータを店内座標として取得する。

Ａｃｔ１０またはＡｃｔ１１の処理を終えると、プロセッサ６１は、Ａｃｔ１２として、図８に示すフォーマットの撮影データＤ１を生成する。すなわちプロセッサ６１は、Ａｃｔ６おいて取得したカメラＩＤと、Ａｃｔ８において取得したカメラ区分と、Ａｃｔ２において取得した撮影時刻と、Ａｃｔ１０またはＡｃｔ１１において取得したカート番号又は店内座標と、Ａｃｔ３において抽出した顔画像とで撮影データＤ１を生成する。プロセッサ６１は、Ａｃｔ１３として撮影データＤ１を購買者サーバ７０へと出力するように通信インターフェース６５を制御する。この制御により、通信インターフェース６５からネットワーク２を介して購買者サーバ７０へと撮影データＤ１が送信される。

撮影データＤ１の出力を制御したプロセッサ６１は、Ａｃｔ１４として別の顔画像を抽出しているか否かを確認する。Ａｃｔ１において受信した画像データから複数の顔画像を抽出し得た場合、プロセッサ６１は、Ａｃｔ１４においてＹＥＳと判定し、Ａｃｔ１２へと戻る。すなわちプロセッサ６１は、直前に生成した撮影データＤ１と顔画像だけが異なる撮影データＤ１を生成し、購買者サーバ７０へと出力するように通信インターフェース６５を制御する。このように、画像データから複数の顔画像を抽出し得た場合には、プロセッサ６１は、その顔画像の数だけ撮影データＤ１を生成して、購買者サーバ７０へと出力するように通信インターフェース６５を制御する。

画像データから抽出し得た顔画像の数だけの撮影データＤ１を出力し終えたならば、プロセッサ６１は、その画像データに対する処理を終了する。

次に、購買者サーバ７０の動作について、図１０乃至図１４を用いて説明する。
購買者サーバ７０のプロセッサ７１は、図１０のＡｃｔ２１として撮影データＤ１を待ち受けている。ネットワーク２を介して撮影データＤ１を受信すると、プロセッサ７１は、Ａｃｔ２１においてＹＥＳと判定し、Ａｃｔ２２へと進む。プロセッサ７１は、Ａｃｔ２２としてその撮影データＤ１からカメラ区分を取得する。そしてプロセッサ７１は、Ａｃｔ２３としてカメラ区分が入店カメラＣＡ２を示すものであるか否かを確認する。カメラ区分が入店カメラＣＡ２を示すものである場合、プロセッサ７１は、Ａｃｔ２３においてＹＥＳと判定し、Ａｃｔ２４へと進む。プロセッサ７１は、Ａｃｔ２４として入店カメラ処理を実行する。

図１１は、入店カメラ処理の手順を具体的に示す流れ図である。前述したように、入店カメラＣＡ２は、店舗内に入る購買者の顔画像を撮影するものである。したがって、入店カメラＣＡ２で撮影された画像から生成された撮影データＤ１に含まれる顔画像は、店舗内に入った購買者の顔画像である。

入店カメラ処理に入ると、プロセッサ７１は、Ａｃｔ３１としてその撮影データＤ１から顔画像を取得する。そしてプロセッサ７１は、Ａｃｔ３２としてその顔画像を検索データとして購買者データベース９２を検索する。プロセッサ７１は、Ａｃｔ３３として検索データとしての顔画像と、会計フラグが“１”にセットされていない購買者レコード９２Ｒの顔画像とを順次比較する。そしてプロセッサ７１は、検索データとしての顔画像の人物と同一人物であると認定可能な類似度の顔画像を記憶した購買者レコード９２Ｒを探す。プロセッサ７１は、該当する購買者レコード９２Ｒを検出した場合、Ａｃｔ３３においてＹＥＳと判定し、入店カメラ処理を終了する。

該当する購買者レコード９２Ｒを検出できなかった場合には、プロセッサ７１は、Ａｃｔ３３においてＮＯと判定し、Ａｃｔ３４へと進む。プロセッサ７１は、Ａｃｔ３４として新規の購買者ＩＤを生成する。またプロセッサ７１は、Ａｃｔ３５として撮影データＤ１に含まれる顔画像から購買者の性別、年代等の属性を判別する。またプロセッサ７１は、Ａｃｔ３６して撮影データＤ１の撮影時刻を入店時刻として取得する。またプロセッサ７１は、Ａｃｔ３７として撮影データＤ１の撮影時刻と店内座標とから位置情報を生成する。

しかしてプロセッサ７１は、Ａｃｔ３８として、Ａｃｔ３４乃至Ａｃｔ３７の処理で得た購買者ＩＤ、購買者属性、入店時刻及び位置情報と、撮影データＤ１に含まれる顔画像とから購買者レコード９２Ｒを作成する。この購買者レコードにおいては、カート番号は記述されていない。また、会計フラグは“０”にリセットとされている。プロセッサ７１は、Ａｃｔ３９としてその購買者レコード９２Ｒを購買者データベース９２に保存する。

このように、店舗の入口から購買者が入店すると、その購買者の顔画像が入店カメラＣＡ２で撮影される。入店カメラＣＡ２で購買者の顔画像が撮影されると、その購買者固有の購買者ＩＤが設定された購買者レコード９２Ｒが生成され、購買者データベース９２に保存される。ただし、購買者レコード９２Ｒが作成された購買者が一旦店を出て再度入店した場合には、図１１のＡｃｔ３３の処理においてＹＥＳと判定されるので、同一購買者の購買者レコードが重複して作成される虞はない。

図１０の説明に戻る。
プロセッサ７１は、入店カメラ処理を終了すると、Ａｃｔ２１において受信した撮影データＤ１に対する処理を終了する。

撮影データＤ１から取得したカメラ区分が入店カメラＣＡ２を示すものでない場合、プロセッサ７１は、Ａｃｔ２３においてＮＯと判定し、Ａｃｔ２５へと進む。プロセッサ７１は、Ａｃｔ２５としてカメラ区分がカートカメラＣＡ１を示すものであるか否かを確認する。カメラ区分がカートカメラＣＡ１を示すものである場合、プロセッサ７１は、Ａｃｔ２５においてＹＥＳと判定し、Ａｃｔ２６へと進む。プロセッサ７１は、Ａｃｔ２６としてカートカメラ処理を実行する。

図１２は、カートカメラ処理の手順を具体的に示す流れ図である。前述したように、カートカメラＣＡ１は、カートＳＣを操作する購買者の顔画像を撮影するものである。したがって、カートカメラＣＡ１で撮影された画像から生成された撮影データＤ１に含まれる顔画像は、カートＳＣを操作して買物を行っている購買者の顔画像である。

カートカメラ処理に入ると、プロセッサ７１は、Ａｃｔ４１としてその撮影データＤ１から顔画像を取得する。そしてプロセッサ７１は、Ａｃｔ４２としてその顔画像を検索データとして購買者データベース９２を検索する。プロセッサ７１は、Ａｃｔ４３として検索データとしての顔画像と、会計フラグが“１”にセットされていない購買者レコード９２Ｒの顔画像とを順次比較する。そしてプロセッサ７１は、検索データとしての顔画像の人物と同一人物であると認定可能な類似度の顔画像を記憶した購買者レコード９２Ｒを探す。プロセッサ７１は、該当する購買者レコード９２Ｒを検出した場合、Ａｃｔ４３においてＹＥＳと判定し、Ａｃｔ４４へと進む。プロセッサ７１は、Ａｃｔ４４として該当する購買者レコード９２Ｒを更新対象の購買者レコード９２Ｒとして購買者データベース９２から読み込む。

プロセッサ７１は、Ａｃｔ４５としてその購買者レコード９２Ｒにカート番号が設定されているか否かを確認する。カート番号が設定されている場合、プロセッサ７１は、Ａｃｔ４５においてＹＥＳと判定し、Ａｃｔ４６へと進む。プロセッサ７１は、Ａｃｔ４６として購買者レコード９２Ｒに設定されているカート番号が撮影データＤ１に含まれているカート番号と一致するか否かを確認する。両カート番号が一致する場合、プロセッサ７１は、Ａｃｔ４６においてＹＥＳと判定し、カートカメラ処理を終了する。

更新対象の購買者レコード９２Ｒにカート番号が設定されていない場合には、プロセッサ７１は、Ａｃｔ４５においてＮＯと判定し、Ａｃｔ４７へと進む。また購買者レコード９２Ｒに設定されているカート番号が撮影データＤ１に含まれているカート番号と一致しない場合にも、プロセッサ７１は、Ａｃｔ４６においてＮＯと判定し、Ａｃｔ４７へと進む。

プロセッサ７１は、Ａｃｔ４７として撮影データＤ１に含まれているカート番号を取得する。そしてプロセッサ７１は、Ａｃｔ４８として、更新対象の購買者レコード９２Ｒに、Ａｃｔ４７において取得したカート番号を記述した後、その購買者レコード９２Ｒを購買者データベース９２に上書き保存する。以上でプロセッサ７１は、カートカメラ処理を終了する。

このように、購買者がカートＳＣを操作すると、その購買者の顔画像がカートカメラＣＡ１によって撮影される。カートカメラＣＡ１で購買者の顔画像が撮影されると、その購買者固有の購買者ＩＤが設定された購買者レコード９２Ｒに、当該購買者が操作するカートＳＣのカート番号が記述される。

なお、購買者レコード９２Ｒに当該購買者が操作するカートＳＣのカート番号が既に記述されていた場合には、図１２のＡｃｔ４６の処理においてＹＥＳと判定されるので、Ａｃｔ４７及びＡｃｔ４８の処理が実行されることはない。ただし、購買者が別のカートＳＣを操作し始めた場合には、図１２のＡｃｔ４６の処理においてＮＯと判定されるので、Ａｃｔ４７及びＡｃｔ４８の処理が実行される。したがって、購買者レコード９２Ｒには、当該購買者レコード９２Ｒの購買者ＩＤで特定される購買者が操作している最新のカートＳＣのカート番号が記述される。

ところで、Ａｃｔ４３において検索データとしての顔画像の人物と同一人物であると認定可能な類似度の顔画像を記憶した購買者レコード９２Ｒを検出できなかった場合、プロセッサ７１は、図１１に示した入店カメラ処理のＡｃｔ３４の処理へと済む。そしてプロセッサ７１は、Ａｃｔ３４乃至Ａｃｔ３９の処理を前述したのと同様に実行する。このとき、Ａｃｔ３７として撮影時刻のみから位置情報を生成し、Ａｃｔ３８として購買者レコード９２Ｒにカート番号も記述する。

したがって、入店カメラＣＡ２では撮影されなかった購買者については、カートＳＣを操作することで、当該購買者固有の購買者ＩＤが設定された購買者レコード９２Ｒが生成され、購買者データベース９２に保存されることとなる。

図１０の説明に戻る。
プロセッサ７１は、カートカメラ処理を終了すると、Ａｃｔ２１において受信した撮影データＤ１に対する処理を終了する。

撮影データＤ１から取得したカメラ区分が入店カメラＣＡ２又はカートカメラＣＡ１を示すものでない場合、プロセッサ７１は、Ａｃｔ２５においてＮＯと判定し、Ａｃｔ２７へと進む。プロセッサ７１は、Ａｃｔ２７としてカメラ区分が拠点カメラＣＡ３を示すものであるか否かを確認する。カメラ区分が拠点カメラＣＡ３を示すものである場合、プロセッサ７１は、Ａｃｔ２７においてＹＥＳと判定し、Ａｃｔ２８へと進む。プロセッサ７１は、Ａｃｔ２８として拠点カメラ処理を実行する。

図１３は、拠点カメラ処理の手順を具体的に示す流れ図である。前述したように、拠点カメラＣＡ３は、売場の拠点に来た購買者の顔画像を撮影するためのものである。したがって、拠点カメラＣＡ３で撮影された画像から生成された撮影データＤ１に含まれる顔画像は、売場の拠点に来た購買者の顔画像である。

拠点カメラ処理に入ると、プロセッサ７１は、Ａｃｔ５１としてその撮影データＤ１から顔画像を取得する。そしてプロセッサ７１は、Ａｃｔ５２としてその顔画像を検索データとして購買者データベース９２を検索する。プロセッサ７１は、Ａｃｔ５３として検索データとしての顔画像と、会計フラグが“１”にセットされていない購買者レコード９２Ｒの顔画像とを順次比較する。そしてプロセッサ７１は、検索データとしての顔画像の人物と同一人物であると認定可能な類似度の顔画像を記憶した購買者レコード９２Ｒを探す。プロセッサ７１は、該当する購買者レコード９２Ｒを検出した場合、Ａｃｔ５３においてＹＥＳと判定し、Ａｃｔ５４へと進む。プロセッサ７１は、Ａｃｔ５４として該当する購買者レコード９２Ｒを更新対象の購買者レコード９２Ｒとして購買者データベース９２から読み込む。

プロセッサ７１は、Ａｃｔ５５として撮影データＤ１に含まれる撮影時刻と店内座標とから位置情報を生成する。そしてプロセッサ７１は、Ａｃｔ５６として、更新対象の購買者レコード９２Ｒに、Ａｃｔ５５において生成した位置情報を記述した後、その購買者レコード９２Ｒを購買者データベース９２に上書き保存する。このとき、購買者レコード９２Ｒに既に位置情報が記述されている場合には、その位置情報に代えて、Ａｃｔ５５で生成された位置情報が記述される。

プロセッサ７１は、Ａｃｔ５７として更新対象であった購買者レコード９２Ｒにカート番号が記述されているか否かを確認する。カート番号が記述されていない場合、プロセッサ７１は、Ａｃｔ５７においてＮＯと判定し、拠点カメラ処理を終了する。

更新対象であった購買者レコード９２Ｒにカート番号が記述されている場合には、プロセッサ７１は、Ａｃｔ５７においてＹＥＳと判定し、Ａｃｔ５８へと進む。プロセッサ７１は、Ａｃｔ５８として提供サーバ８０宛に提供コマンドを送信するように通信インターフェース７５を制御する。この制御により、通信インターフェース７５は、ネットワーク２を介して提供サーバ８０に提供コマンドを送信する。提供コマンドには、更新対象であった購買者レコード９２Ｒに記述されている位置情報、購買者属性及びカート番号の各データが含まれる。以上で、プロセッサ７１は、拠点カメラ処理を終了する。

このように購買者が拠点となる位置に移動すると、その拠点に設けられた拠点カメラＣＡ３によって購買者の顔画像が撮影される。拠点カメラＣＡ３で購買者の顔画像が撮影されると、その購買者固有の購買者ＩＤが設定された購買者レコード９２Ｒに、当該拠点カメラＣＡ３に対する店内座標と現在日時とを関連付けた位置情報が記述される。そして、その位置情報とともに当該購買者レコード９２Ｒに記述されている購買者属性及びカート番号を含む提供コマンドが提供サーバ８０へと送信される。

ところで、Ａｃｔ５３において検索データとしての顔画像の人物と同一人物であると認定可能な類似度の顔画像を記憶した購買者レコード９２Ｒを検出できなかった場合、プロセッサ７１は、図１１に示した入店カメラ処理のＡｃｔ３４の処理へと済む。そしてプロセッサ７１は、Ａｃｔ３４乃至Ａｃｔ３９の処理を前述したのと同様に実行する。

したがって、入店カメラＣＡ２あるいはカートカメラＣＡ１では撮影されなかった購買者については、店舗内の拠点に移動することで、当該購買者固有の購買者ＩＤが設定された購買者レコード９２Ｒが生成され、購買者データベース９２に保存されることとなる。

図１０の説明に戻る。
プロセッサ７１は、拠点カメラ処理を終了すると、Ａｃｔ２１において受信した撮影データＤ１に対する処理を終了する。

撮影データＤ１から取得したカメラ区分が入店カメラＣＡ２、カートカメラＣＡ１又は拠点カメラＣＡ３を示すものでない場合、プロセッサ７１は、Ａｃｔ２７においてＮＯと判定し、Ａｃｔ２９へと進む。プロセッサ７１は、Ａｃｔ２９として会計カメラ処理を実行する。

図１４は、会計カメラ処理の手順を具体的に示す流れ図である。前述したように、会計カメラＣＡ４は、会計機３０で会計を行う購買者の顔画像を撮影するためのものである。したがって、会計カメラＣＡ４で撮影された画像から生成された撮影データＤ１に含まれる顔画像は、会計機３０で会計を行っている購買者の顔画像である。

会計カメラ処理に入ると、プロセッサ７１は、Ａｃｔ６１としてその撮影データＤ１から顔画像を取得する。そしてプロセッサ７１は、Ａｃｔ６２としてその顔画像を検索データとして購買者データベース９２を検索する。プロセッサ７１は、Ａｃｔ６３として検索データとしての顔画像と、会計フラグが“１”にセットされていない購買者レコード９２Ｒの顔画像とを順次比較する。そしてプロセッサ７１は、検索データとしての顔画像の人物と同一人物であると認定可能な類似度の顔画像を記憶した購買者レコード９２Ｒを探す。プロセッサ７１は、該当する購買者レコード９２Ｒを検出した場合、Ａｃｔ６３においてＹＥＳと判定し、Ａｃｔ６４へと進む。プロセッサ７１は、Ａｃｔ６４として該当する購買者レコード９２Ｒを更新対象の購買者レコードとして購買者データベース９２から読み込む。

プロセッサ７１は、Ａｃｔ６５として購買者レコード９２Ｒの会計フラグを“１”にセットする。そしてプロセッサ７１は、Ａｃｔ６６として、更新対象の購買者レコード９２Ｒを購買者データベース９２に上書き保存する。以上で、プロセッサ７１は、会計カメラ処理を終了する。

このように会計カメラＣＡ４で購買者が撮影されると、その購買者固有の購買者ＩＤが設定された購買者レコード９２Ｒの会計フラグＦが“０”から“１”に更新される。したがって、以後、当該購買者レコード９２Ｒは、前述したカートカメラ処理、拠点カメラ処理及び会計カメラ処理において、検索対象外となる。

なお、Ａｃｔ６３において検索データとしての顔画像の人物と同一人物であると認定可能な類似度の顔画像を記憶した購買者レコード９２Ｒを検出できなかった場合、プロセッサ７１は、会計カメラ処理を終了する。

図１０の説明に戻る。
プロセッサ７１は、会計カメラ処理を終了すると、Ａｃｔ２１において受信した撮影データＤ１に対する処理を終了する。

次に、提供サーバ８０の動作について、図１５を用いて説明する。
提供サーバ８０のプロセッサ８１は、通信インターフェース８５を介して提供コマンドを受信すると、図１５の流れ図に示す手順の情報処理を開始する。すなわちプロセッサ８１は、Ａｃｔ７１として提供コマンドに含まれている位置情報の店内座標を取得する。また、プロセッサ８１は、Ａｃｔ７２としてその提供コマンドに含まれている購買者属性を取得する。さらにプロセッサ８１は、Ａｃｔ７３としてその提供コマンドに含まれているカート番号を取得する。

プロセッサ８１は、Ａｃｔ７４として提供コマンドから取得した店内座標と購買者属性とを検索データとして提供情報データベース９３を検索する。プロセッサ８１は、Ａｃｔ７５として検索データとしての店内座標を拠点座標として含み、且つ購買者属性が一致する提供情報レコード９３Ｒの有無を判定する。該当する提供情報レコード９３Ｒが提供情報データベース９３に保存されていない場合、プロセッサ８１は、Ａｃｔ７５においてＮＯと判定し、この処理を終了する。

該当する提供情報レコード９３Ｒが提供情報データベース９３に保存されていた場合には、プロセッサ８１は、Ａｃｔ７５においてＹＥＳと判定し、Ａｃｔ７６へと進む。プロセッサ８１は、Ａｃｔ７６として該当する提供情報レコード９３Ｒから表示データを読み込む。そしてプロセッサ８１は、Ａｃｔ７７としてその表示データを、Ａｃｔ７３の処理で取得したカート番号で識別される情報端末１０宛に送信するように通信インターフェース８５を制御する。この制御により、通信インターフェース８５は、カート番号と表示データとを含む通信データを送信する。この通信データは、ネットワーク２を介してアクセスポイント２０に送られ、アクセスポイント２０から無線送信される。以上で、プロセッサ８１は、提供コマンドを受信したときの処理を終了する。

さて、アクセスポイント２０から無線送信された通信データは、情報端末１０で受信される。無線ユニット１４を介して通信データを受信した情報端末１０のプロセッサ１１は、その通信データに含まれるカート番号が、補助記憶デバイス１３で記憶しているカート番号と一致するか否かを確認する。そして一致しない場合、プロセッサ１１は、その通信データを破棄する。カート番号が一致する場合には、プロセッサ１１は、その通信データに含まれる表示データを、タッチパネル１５に表示させる。

このように、購買者が拠点となる位置に移動した場合、その拠点に対して設定された購買者に提供すべき情報の中に当該購買者の属性を対象とした情報の有無が判別される。そして当該購買者の属性を対象とした情報がある場合には、当該購買者が操作するカートＳＣに備えられた情報端末１０のタッチパネル１５にその情報が表示される。

例えば、特売品が陳列された商品棚の前に購買者が来ると、その購買者の性別又は年代であれば購買意欲が高まると推定される特売品を紹介する画像が表示される。例えば推奨するレシピの食材となる商品が陳列された商品棚の前に購買者に来ると、その購買者の性別又は年代であれば食欲が高まると推定されるレシピを紹介する画像が表示される。

逆を言えば、特売品が陳列された商品棚の前に購買者が来ても、その購買者の性別又は年代では購買意欲が高まると推定される特売品がない場合には、画像は表示されない。同様に、推奨するレシピの食材となる商品が陳列された商品棚の前に購買者に来ても、その購買者の性別又は年代では食欲が高まると推定されるレシピがない場合には、画像が表示されない。

ここに、購買者サーバ７０は、プロセッサ７１を主体とするコンピュータが、図１１のＡｃｔ３４乃至Ａｃｔ３９の処理を実行することにより、入店カメラＣＡ２、カートカメラＣＡ１又は拠点カメラＣＡ３で撮影された画像から、その画像に顔が映し出されている購買者を特定する人物特定手段として機能する。

また、購買者サーバ７０は、プロセッサ７１を主体とするコンピュータが、図１１のＡｃｔ３５の処理を実行することにより、購買者の性別、年代等の属性を判定する属性判定手段として機能する。

また、購買者サーバ７０は、プロセッサ７１を主体とするコンピュータが、図１２のＡｃｔ４１乃至Ａｃｔ４８の処理を実行することにより、カートカメラＣＡ１で撮影された画像から、カートＳＣを操作する購買者の顔画像と当該カートＳＣに備えられた情報端末１０とを関連付ける関連付け手段として機能する。

一方、提供サーバ８０は、プロセッサ８１を主体とするコンピュータが、図１５のＡｃｔ７１の処理を実行することにより、購買者の顔を映し出した拠点カメラＣＡ３の情報から場所を特定する場所特定手段として機能する。

また、提供サーバ８０は、プロセッサ８１を主体とするコンピュータが、図１５のＡｃｔ７３の処理を実行することにより、購買者が使用する情報端末１０を特定する端末特定手段として機能する。具体的には提供サーバ８０は、人物特定手段で特定された購買者の顔画像と関連付けられた情報端末１０を特定する。

また、提供サーバ８０は、プロセッサ８１を主体とするコンピュータが、図１５のＡｃｔ７４乃至Ａｃｔ７７の処理を実行することにより、情報端末１０に場所に応じた情報を提供する提供手段を構成する。さらに提供サーバ８０は、プロセッサ８１を主体とするコンピュータが、Ａｃｔ７２の処理も含めてＡｃｔ７４乃至Ａｃｔ７７の処理を実行することにより、購買者の属性と場所とに応じた情報を提供する提供手段として機能する。

したがって本実施形態においては、購買者データベース９２を管理する購買者サーバ７０と、提供情報データベース９３を管理する提供サーバ８０とによって、情報提供装置が構成されている。情報提供装置は、カメラデータベース９１を管理する画像処理サーバ６０を含めて構成してもよい。情報提供装置は、複数のサーバではなく、１つのサーバによって構成することも可能である。

以上の説明から明らかなように、本実施形態によれば、購買者の行動を追跡することなく、その購買者が使用する情報端末１０を介してその購買者が居る場所に関連した情報を提供することができる。したがって、購買者の行動を追跡する必要がないので、ＧＰＳ、ビーコン等の無線測位技術の利用を排除することができる。

その上、本実施形態によれば、購買者の性別、年代等の属性に係る情報を選択的に提供できるので、購買者の購買意欲を一層高めたり、その購買者が納得できる情報を的確に提供したりすることができる。

また、情報の提供は、購買者が使用するカートＳＣに備えられた情報端末１０から行われるので、例えば購買者が情報を得るためにスマートフォン等の端末を操作する必要はない。したがって、購買者の負担なく適切な情報を提供できる効果を奏する。

［第２の実施形態］
第１の実施形態では、購買者を一人とみなし、その購買者が拠点に移動すると、その拠点に係る情報を当該購買者に提供する場合を例示した。しかし、購買者には、子供連れ、夫婦、友人同士等のようにグループで来店する購買者も含まれる。そこで、グループで来店した購買者についても、そのグループの中の誰かが拠点に移動した際には、その拠点に係る情報を、そのグループが使用しているカートＳＣの情報端末１０に表示するようにした第２の実施形態について、図１６を用いて説明する。

図１６は、提供サーバ８０のプロセッサ８１が通信インターフェース８５を介して提供コマンドを受信したことによって実行する情報処理の要部手順を示す流れ図である。この手順は、第１の実施形態では、図１５の流れ図によって示したものである。そこで、第１の実施形態と共通する手順には、図１５と同一の符号を付し、詳しい説明は省略する。また、第１の実施形態において図１乃至図１４を用いて説明した内容は、第２の実施形態でも共通である。したがって、図１乃至図１４はそのまま使用し、その説明は省略する。

提供サーバ８０のプロセッサ８１は、通信インターフェース８５を介して提供コマンドを受信すると、図１６の流れ図に示す手順の情報処理を開始する。すなわちプロセッサ８１は、Ａｃｔ７１乃至Ａｃｔ７３として、提供コマンドから位置情報の店内座標と、購買者属性と、カート番号とを取得する。

次いでプロセッサ８１は、Ａｃｔ８１としてカート番号の問合せコマンドを購買者サーバ７０に出力するように、通信インターフェース８５を制御する。この制御により、通信インターフェース８５は、ネットワーク２を介して購買者サーバ７０宛にカート番号の問合せコマンドを送信する。この問合せコマンドには、提供コマンドから取得したカート番号が含まれる。

問合せコマンドを受信した購買者サーバ７０のプロセッサ７１は、その問合せコマンドに含まれるカート番号を検索データとして購買者データベース９２を検索する。そしてプロセッサ７１は、会計フラグが“１”にセットされていない購買者レコード９２Ｒのなかから、検索データであるカート番号を含む購買者レコード９２Ｒを全て抽出する。プロセッサ７１は、購買者データベース９２から抽出した購買者レコード９２Ｒを、提供サーバ８０に送信するように通信インターフェース７５を制御する。この制御により、通信インターフェース７５は、ネットワーク２を介して提供サーバ８０宛に、購買者データベース９２から抽出した購買者レコード９２Ｒを送信する。

第１の実施形態で説明したように、カートカメラＣＡ１で撮影された画像から購買者の顔画像が取得されると、その購買者の購買者ＩＤが設定された購買者レコード９２Ｒに当該カートカメラＣＡ１が備えられたカートＳＣのカート番号が記述される。購買者がグループの場合、大抵は１台のカートＳＣをグループのメンバーで共有する。このため、カートカメラＣＡ１によってグループ内の複数のメンバーが撮影される可能性が高い。１つのカートカメラＣＡ１によって複数のメンバーが撮影されると、各メンバーの購買者レコード９２Ｒに同じカート番号が記述されることとなる。その結果、提供サーバ８０からのカート番号の問い合わせに対し、複数の購買者レコード９２Ｒが購買者サーバ７０から送信されることとなる。

そこで、提供サーバ８０のプロセッサ８１は、Ａｃｔ８１においてカート番号問い合わせを行った後、Ａｃｔ８２として複数の購買者レコード９２Ｒを受信したか否かを確認する。複数の購買者レコード９２Ｒを受信した場合には、プロセッサ８１は、Ａｃｔ８２においてＹＥＳと判定し、Ａｃｔ８３へと進む。プロセッサ８１は、Ａｃｔ８３としてその複数の購買者レコード９２Ｒから購買者属性を収集する。そしてプロセッサ８１は、Ａｃｔ８４としてその複数の購買者属性からグループ属性を推定する。

例えば、２つの購買者属性のうち１つが男性であり、別の１つが女性であって、年代が近い場合、夫婦又はカップルと推定する。例えば２つの購買者属性が同性であり、年代も近い場合には、友人同士と推定する。例えば、３つの購買者属性のうち１つが男性、別の１つが女性であって、年代が近く、残りの１つの購買者属性の年代が子供の場合、家族連れと推定する。

グループ属性を推定したならば、プロセッサ８１は、Ａｃｔ８５として提供コマンドから取得した店内座標と、Ａｃｔ８４の処理で取得したグループ属性とを検索データとして、提供情報データベース９３を検索する。提供情報データベース９３には、購買者属性の代わりにグループ属性を記述した提供情報レコード９３Ｒが含まれている。プロセッサ８１は、Ａｃｔ８６として検索データとしての店内座標を拠点座標として含み、且つグループ属性が一致する提供情報レコード９３Ｒの有無を判定する。該当する提供情報レコード９３Ｒが提供情報データベース９３に保存されていない場合、プロセッサ８１は、Ａｃｔ８６においてＮＯと判定し、この処理を終了する。

該当する提供情報レコード９３Ｒが提供情報データベース９３に保存されていた場合には、プロセッサ８１は、Ａｃｔ８６においてＹＥＳと判定し、Ａｃｔ８７へと進む。プロセッサ８１は、Ａｃｔ８７として該当する提供情報レコード９３Ｒから表示データを読み込む。そしてプロセッサ８１は、Ａｃｔ８８としてその表示データを、Ａｃｔ７３の処理で取得したカート番号で識別される情報端末１０宛に送信するように通信インターフェース８５を制御する。この制御により、通信インターフェース８５は、カート番号と表示データとを含む通信データを送信する。この通信データは、ネットワーク２を介してアクセスポイント２０に送られ、アクセスポイント２０から無線送信される。

なお、カート番号の問い合わせを行った結果、受信した購買者レコード９２Ｒが１つだけであった場合には、プロセッサ８１は、Ａｃｔ８２においてＮＯと判定し、Ａｃｔ８５へと進む。そしてプロセッサ８１は、Ａｃｔ８５乃至Ａｃｔ８８として、第１の実施形態で説明したＡｃｔ７４乃至Ａｃｔ７７の処理と同様の処理を実行する。
以上で、プロセッサ８１は、提供コマンドを受信したときの処理を終了する。

ここに、提供サーバ８０は、プロセッサ８１を主体とするコンピュータが、図１５のＡｃｔ８１乃至Ａｃｔ８４の処理を実行することにより、関連付け手段で同じ情報端末１０に複数の購買者の顔画像が関連付けられた場合、その複数の購買者の属性からグループ構成を推定する推定手段として機能する。

このように構成された第２の実施形態によれば、購買者がグループの場合、そのグループの中の誰かが拠点に移動した際には、その拠点に係る情報を、そのグループが使用しているカートＳＣの情報端末１０に表示させることができる。その場合において、例えばグループが家族連れであった場合には、家族連れに適した情報を表示させることができる。例えばグループがカップルであった場合には、カップルに適した情報を表示させることができる。

ところで、購買者レコード９２Ｒの会計フラグは、その購買者レコード９２Ｒで特定される購買者が会計カメラＣＡ４によって撮影されないと“１”にセットされない。その一方で、購買者がグループの場合、会計は一人で行い、他のメンバーは会計機３０に近づかない場合がある。このような場合、会計機３０に近づかなかったメンバーの購買者レコード９２Ｒは、会計が済んでも会計フラグが“１”にセットされない。

そこで、例えば入店時刻から一定時間が経過し、既に会計が済んでいると推定される購買者の購買者レコード９２Ｒについては、自動的に会計フラグを“１”にセットする。このような構成を採用することにより、会計が済んでいる購買者の購買者レコード９２Ｒが検索対象となることを防ぐことができる。

なお、この点に関しては、会計カメラＣＡ４と同等のカメラを店舗の出入口に設ける。そして、この出入口のカメラで顔画像が撮影された購買者に対する購買者レコード９２Ｒの会計フラグを“１”にセットしてもよい。こうすることにより、購買者が店を出ることによって、その購買者に対する購買者レコード９２Ｒの会計フラグが“１”にセットされるので、効果的である。

以上、人物の行動を追跡することなく、その人物が使用する端末を介してその人物が居る場所に関連した情報を提供できる情報提供装置の実施形態について説明したが、かかる実施形態はこれに限定されるものではない。

前記実施形態では、購買者が使用する端末を、カートＳＣに備えられた情報端末１０とした。端末は、情報端末１０に限定されるものではない。例えば、購買者の顔画像とともにその購買者が使用するスマートフォン等の通信端末の識別情報を予め登録しておく。そして提供サーバ８０は、拠点カメラＣＡ３で撮影された顔画像に対して登録されている識別情報を取得し、その識別情報で識別される通信端末に、拠点に応じた情報を提供してもよい。この場合、カートカメラＣＡ１及び入店カメラＣＡ２は省略することができる。

例えば第２の実施形態では、推定手段としての機能を提供サーバ８０が有するものとした。推定手段は、購買者サーバ７０が有してもよい。その場合、購買者サーバ７０は、購買者データベース９２から複数の購買者レコード９２Ｒを検出した場合に、各購買者レコードの購買者属性からグループ属性を推定する。そして購買者サーバ７０は、そのグループ属性を提供サーバ８０に通知すればよい。

前記実施形態では、画像処理サーバ６０、購買者サーバ７０、提供サーバ８０に対し、制御プログラムがメインメモリまたは補助記憶デバイスに予め記憶されているものとして説明した。この点に関しては、制御プログラムが記憶されていない状態で、各サーバが譲渡されてもよい。その場合、各サーバがそれぞれ備える書き込み可能な記憶デバイスに、このサーバとは個別に譲渡された制御プログラムがユーザなどの操作に応じて書き込まれる。制御プログラムの譲渡は、リムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録媒体は、ＣＤ－ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］撮影手段で撮影された画像から、その画像に顔が映し出されている人物を特定する人物特定手段と、前記人物の顔を映し出した前記撮影手段の情報から場所を特定する場所特定手段と、前記人物が使用する端末を特定する端末特定手段と、前記端末に前記場所に応じた情報を提供する提供手段と、を具備する情報提供装置。
［２］前記人物の属性を判定する属性判定手段、をさらに具備し、前記提供手段は、前記人物の属性と前記場所とに応じた情報を提供する、付記［１］記載の情報提供装置。 ［３］前記撮影手段は、端末を備えた移動体を操作する人物を撮影する移動体撮影手段、を含み、前記移動体撮影手段で撮影された画像から、前記移動体を操作する人物の顔画像と当該移動体に備えられた前記端末とを関連付ける関連付け手段、をさらに具備し、前記端末特定手段は、前記人物特定手段で特定された前記人物の顔画像と関連付けられた端末を特定する、付記［１］又は［２］記載の情報提供装置。
［４］前記撮影手段は、端末を備えた移動体を操作する人物を撮影する移動体撮影手段、を含み、前記移動体撮影手段で撮影された画像から、前記移動体を操作する人物の顔画像と当該移動体に備えられた前記端末とを関連付ける関連付け手段と、前記人物の属性を判定する属性判定手段と、前記関連付け手段で同じ前記端末に複数の人物の顔画像が関連付けられた場合、その複数の人物の属性からグループ構成を推定する推定手段と、をさらに具備し、前記提供手段は、前記グループ構成と前記場所とに応じた情報を提供する付記［１］記載の情報提供装置。
［５］前記端末特定手段は、前記人物特定手段で特定された前記人物の顔画像と関連付けられた端末を特定する、付記［４］記載の情報提供装置。
［６］情報提供装置のコンピュータを、撮影手段で撮影された画像から、その画像に顔が映し出されている人物を特定する人物特定手段、前記人物の顔を映し出した前記撮影手段の情報から場所を特定する場所特定手段、前記人物が使用する端末を特定する端末特定手段、及び、前記端末に前記場所に応じた情報を提供する提供手段、として機能させるための制御プログラム。

１…店舗システム、２…ネットワーク、１０…情報端末、２０…アクセスポイント、３０…会計機、４０…カメラインターフェース、５０…店舗サーバ、６０…画像処理サーバ、７０…購買者サーバ、８０…提供サーバ、９１…カメラデータベース、９２…購買者データベース、９３…提供情報データベース、ＣＡ１…カートカメラ、ＣＡ２…入店カメラ、ＣＡ３…拠点カメラ、ＣＡ４…会計カメラ、ＳＣ…ショッピングカート。

Claims (6)

1. 購買者に提供すべき情報がある複数の拠点にそれぞれ設置された撮影手段で撮影された画像から、その画像に顔が映し出されている人物を特定する人物特定手段と、
   前記人物特定手段により人物が特定された画像を撮影した前記撮影手段が設置されている拠点を、前記人物がいる場所として特定する場所特定手段と、
   前記人物特定手段により特定された人物が使用する端末を特定する端末特定手段と、
   前記端末特定手段により特定された前記端末に、前記場所特定手段により前記人物がいる場所として特定された拠点と関連付けて、当該拠点に来た購買者に対して提供される情報を記憶する記憶装置に記憶されている前記情報を提供する提供手段と、
   を具備する情報提供装置。
2. 前記記憶装置は、前記購買者に対して提供される情報を、当該情報を提供すべき人物の属性と関連付けて記憶しており、
   前記人物特定手段により特定された人物の属性を判定する属性判定手段、
   をさらに具備し、
   前記提供手段は、前記場所特定手段により前記人物がいる場所として特定された拠点と関連付けて前記記憶装置に記憶されている情報で、前記属性判定手段により判定された前記人物の属性と関連付けられている前記情報を前記端末に提供する、請求項１記載の情報提供装置。
3. 端末を備えた移動体を操作する人物を撮影する移動体撮影手段と、
   前記移動体撮影手段で撮影された画像から、前記移動体を操作する人物の顔画像と当該移動体に備えられた前記端末とを関連付ける関連付け手段と、
   をさらに具備し、
   前記端末特定手段は、前記人物特定手段で特定された前記人物の顔画像と関連付けられた端末を特定する、請求項１又は２記載の情報提供装置。
4. 端末を備えた移動体を操作する人物を撮影する移動体撮影手段と、
   前記移動体撮影手段で撮影された画像から、前記移動体を操作する人物の顔画像と当該移動体に備えられた前記端末とを関連付ける関連付け手段と、
   前記人物の属性を判定する属性判定手段と、
   前記関連付け手段で同じ前記端末に複数の人物の顔画像が関連付けられた場合、その複数の人物の属性からグループ構成を推定する推定手段と、
   をさらに具備し、
   前記記憶装置は、前記購買者に対して提供される情報を、当該情報を提供すべきグループ構成と関連付けて記憶しており、
   前記提供手段は、前記場所特定手段により前記人物がいる場所として特定された拠点と関連付けて前記記憶装置に記憶されている情報で、前記推定手段により推定された前記グループ構成と関連付けられている情報を前記端末に提供する、請求項１記載の情報提供装置。
5. 前記端末特定手段は、前記人物特定手段で特定された前記人物の顔画像と関連付けられた端末を特定する、請求項４記載の情報提供装置。
6. 情報提供装置のコンピュータを、
   購買者に提供すべき情報がある複数の拠点にそれぞれ設置された撮影手段で撮影された画像から、その画像に顔が映し出されている人物を特定する人物特定手段、
   前記人物特定手段により人物が特定された画像を撮影した前記撮影手段が設置されている拠点を、前記人物がいる場所として特定する場所特定手段、
   前記人物特定手段により特定された人物が使用する端末を特定する端末特定手段、及び、
   前記端末特定手段により特定された前記端末に、前記場所特定手段により前記人物がいる場所として特定された拠点と関連付けて、当該拠点に来た購買者に対して提供される情報を記憶する記憶装置に記憶されている前記情報を提供する提供手段、
   として機能させるための制御プログラム。