JP7368982B2 - 販売管理システム及び販売管理方法 - Google Patents

Description

本発明の実施形態は、販売管理システム及び販売管理方法に関する。

店舗に陳列された商品を、客が店員の関与なしに販売可能とする販売管理システムは種々考案されている。

一例として販売管理システムでは、カメラにより店内を撮影した画像等から、店内に陳列されている商品を客が取ったことを検出する。当該販売管理システムは、客が取ったとして検出された商品を、その客の購買商品として登録する。

このような販売管理システムでは、例えば陳列されている商品の前に立った二人の客がほぼ同時に商品に手を伸ばし、そのうちの一人が商品を取った場合、どちらの客が商品を取ったのかを判別することが困難となる場合がある。

特開２０１８－５５７００号公報

本発明の実施形態が解決しようとする課題は、商品を取った客を正しく特定することができる販売管理システム及び販売管理方法を提供しようとするものである。

一実施形態において、販売管理システムは、検出手段と、第１の認識手段と、第２の認識手段と、特定手段と、登録手段とを備える。検出手段は、陳列されている商品と対峙する購買者を検出する。第１の認識手段は、特定手段により特定された購買者の対峙している商品を取り出す行動及びその取出し方向を認識する。第２の認識手段は、陳列されている商品の移動及びその商品の移動方向を認識する。特定手段は、第１の認識手段で購買者の商品を取り出す行動及びその取出し方向を認識しかつ第２の認識手段で商品の移動及びその移動方向を認識した場合において、取出し方向が移動方向と一致した場合、第２の認識手段で移動が認識された商品を第１の認識手段で商品を取り出す行動が認識された購買者の購買商品として特定する。登録手段は、特定手段で特定された購買者の購買商品を登録する。

販売管理システムの一実施形態の概略構成を示す模式図。 販売管理システムの構成要素の１つである入口ゲート装置のハードウェア構成を示すブロック図。 販売管理システムの構成要素の１つである人物追跡装置のハードウェア構成を示すブロック図。 販売管理システムの構成要素の１つである行動監視装置のハードウェア構成を示すブロック図。 販売管理システムの構成要素の１つである商品監視装置のハードウェア構成を示すブロック図。 行動監視装置及び商品監視装置が適用された商品棚を正面側から見た模式図。 行動監視装置及び商品監視装置が適用された商品棚を一方の側面側から見た模式図。 商品棚に設けられる重量センサの特性を説明するためのグラフ。 販売管理システムの構成要素の１つである統合認識装置のハードウェア構成を示すブロック図。 販売管理システムの構成要素の１つである販売管理装置のハードウェア構成を示すブロック図。 販売管理装置において作成される購買リストのデータ構造を示す模式図。 入口ゲート装置における制御部の要部制御手順を示す流れ図。 人物追跡装置における制御部の要部制御手順を示す流れ図。 行動監視装置における制御部の要部制御手順を示す流れ図。 商品監視装置における制御部の要部制御手順を示す流れ図。 統合認識装置における制御部の要部制御手順を示す流れ図。 販売管理装置における制御部の要部制御手順を示す流れ図。 販売管理装置における制御部の要部制御手順を示す流れ図。 販売管理装置における制御部の要部制御手順を示す流れ図。 販売管理装置における制御部の要部制御手順を示す流れ図。 販売管理装置における制御部の要部制御手順を示す流れ図。 販売管理装置における制御部の要部制御手順を示す流れ図。

以下、商品を取った客を正しく特定することができる販売管理システム及び販売管理方法の実施形態について、図面を用いて説明する。
なお、この実施形態では、店員の関与無しに購買を可能にした店舗を対象とする。

図１は、上記店舗に構築された販売管理システム１００の概略構成図である。販売管理システム１００は、入口ゲート装置１０、人物追跡装置２０、行動監視装置３０、商品監視装置４０、統合認識装置５０及び販売管理装置６０を含む。そして販売管理システム１００は、上述した入口ゲート装置１０、人物追跡装置２０、行動監視装置３０、商品監視装置４０、統合認識装置５０及び販売管理装置６０を、それぞれ双方向通信自在に通信ネットワーク７０で接続している。通信ネットワーク７０は、例えばＬＡＮ（Local Area Network）である。ＬＡＮは、有線ＬＡＮであってもよいし、無線ＬＡＮであってもよい。

入口ゲート装置１０は、客である購買者が入店するための手続きを受け付けるチェックイン機能と、購買者の入店を可能とする開状態と客の入店を阻止する閉状態とを選択的に形成するゲート機能と、を有した装置である。販売管理システム１００は、入口ゲート装置１０を１つだけ備えていてもよいし、複数備えていてもよい。

図２は、入口ゲート装置１０のハードウェア構成を示すブロック図である。入口ゲート装置１０は、受付部１１、開閉部１２、時計部１３、通信部１４、記憶部１５及び制御部１６を備える。入口ゲート装置１０が、この他のハードウェア構成を備えていてもよいことは言うまでもない。

受付部１１は、購買者によるチェックインを受け付けるために、店舗の入口に設置された機器である。購買者は、店舗を初めて利用する際には前もって会員登録を行う。会員登録を行うことによって、購買者に対して一意の会員ＩＤが発行される。会員ＩＤは、例えば購買者が所有するスマートフォン等の情報端末に設定される。そして、情報端末において専用のアプリケーションプログラムが起動すると、会員ＩＤを表すバーコード又は二次元コードが情報端末のディスプレイに表示される。この場合、ディスプレイに表示されたバーコード又は二次元コードをスキャニングするためのスキャナが受付部１１となり得る。情報端末から会員ＩＤを表す信号がＲＦＩＤ（Radio Frequency Identification）と呼ばれる技術を利用した近距離無線通信によって発信されてもよい。この場合には、近距離無線通信に対応したアンテナが受付部１１となり得る。会員ＩＤは、ＩＣカード又は磁気カード等に記録されて購買者に発行されてもよい。この場合、ＩＣカード又は磁気カード等のカードリーダが受付部１１となり得る。

開閉部１２は、店舗の入口に設けられたゲートの開閉を切り替える機器である。ゲートが閉状態にあるとき、入店は阻止される。ゲートが開状態にあるとき、入店は許可される。開閉部１２は、平時はゲートを閉状態とする。受付部１１でのチェックインが承認されると、開閉部１２は、ゲートを一時的に開状態とする。開閉部１２は、ゲートを通過した人物を検出するためのセンサを有している。

時計部１３は、日時を計時する。入口ゲート装置１０においては、時計部１３によって計時されている日時が購買者の入店日時として管理される。

通信部１４は、通信ネットワーク７０に接続される。通信部１４は、所定の通信プロトコルに従い、通信ネットワーク７０を介して人物追跡装置２０、行動監視装置３０、商品監視装置４０、統合認識装置５０及び販売管理装置６０とデータ通信を行う。

記憶部１５は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。記憶部１５は、不揮発性のメモリ領域において、入口ゲート装置１０としての動作を制御するための制御プログラムを記憶する。記憶部１５は、揮発性のメモリ領域において、入口ゲート装置１０として動作する上で必要なデータを記憶する。不揮発性のメモリ領域は、例えばＲＯＭ（Read Only Memory）である。揮発性のメモリ領域は、例えばＲＡＭ（Random Access Memory）である。

制御部１６は、上記制御プログラムに従い受付部１１、開閉部１２、時計部１３及び通信部１４をそれぞれ制御することで、入口ゲート装置１０としての機能を実現させるためのものである。制御部１６は、プロセッサを主体に構成される。プロセッサは、例えばＣＰＵ（Central Processing Unit）である。入口ゲート装置１０においては、制御部１６と記憶部１５とによってコンピュータが構成される。

人物追跡装置２０は、入口ゲートから入店した人物である購買者が出口から退店するまでの店舗内における動線をリアルタイムに追跡するための装置である。

図３は、人物追跡装置２０のハードウェア構成を示すブロック図である。人物追跡装置２０は、検出部２１、追跡部２２、時計部２３、通信部２４、記憶部２５及び制御部２６を備える。人物追跡装置２０が、この他のハードウェア構成を備えていてもよいことは言うまでもない。

検出部２１は、店舗内に配置された複数のセンサによって、入店している複数の購買者の位置をそれぞれ検出するものである。センサは、例えば店舗の天井にそれぞれ取り付けられている。センサは、例えば店舗内の客通路に沿って設けられていてもよい。センサとしては、光学カメラ、赤外線カメラ、ＴＯＦ（Time of Flight）カメラ、ステレオカメラ等の周知のカメラセンサを用いることができる。また、電波でＩＤを発信するビーコン端末を店舗内の各所に配置し、購買者が所持するスマートフォンと組み合わせて購買者の位置を検出してもよい。

追跡部２２は、検出部２１によって検出された各購買者の位置情報を基に、購買者毎に店舗内の動線を追跡するものである。追跡部２２は、例えば入口ゲート装置１０にてチェックインが承認された購買者毎に、その購買者の位置情報と検出日時とを含む追跡データを時系列で蓄積することによって、各購買者の動線を追跡する。

時計部２３は、日時を計時する。人物追跡装置２０においては、時計部２３によって計時されている日時が購買者の検出日時として管理される。

通信部２４は、通信ネットワーク７０に接続される。通信部２４は、所定の通信プロトコルに従い、通信ネットワーク７０を介して入口ゲート装置１０、行動監視装置３０、商品監視装置４０、統合認識装置５０及び販売管理装置６０とデータ通信を行う。

記憶部２５は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。記憶部２５は、不揮発性のメモリ領域において、人物追跡装置２０としての動作を制御するための制御プログラムを記憶する。記憶部２５は、揮発性のメモリ領域において、人物追跡装置２０として動作する上で必要なデータを記憶する。不揮発性のメモリ領域は、例えばＲＯＭである。揮発性のメモリ領域は、例えばＲＡＭである。

制御部２６は、上記制御プログラムに従い、検出部２１、追跡部２２、時計部２３、通信部２４をそれぞれ制御することで、人物追跡装置２０としての機能を実現させるためのものである。制御部２６は、プロセッサを主体に構成される。プロセッサは、例えばＣＰＵである。人物追跡装置２０においては、制御部２６と記憶部２５とによってコンピュータが構成される。

行動監視装置３０は、陳列されている商品に対峙する購買者の行動を監視するための装置である。行動監視装置３０は、商品が陳列されている場所、例えば商品棚の前に立ったことで監視対象となった購買者が、陳列されている商品を把持して取り出すという行動の有無を監視する。そして、そのような行動があった場合、行動監視装置３０は、商品の取出し方向を特定する。販売管理システム１００は、典型的には１つの商品棚に対して１つの行動監視装置３０を配置している。販売管理システム１００は、複数の商品棚に対して１つの行動監視装置３０を配置してもよい。店舗内の全ての商品棚に関して、購買者がその商品棚から商品を取り出すという行動の有無を監視し、行動があった場合には商品の取出し方向を特定することが可能であるならば、行動監視装置３０の数は限定されるものではない。

図４は、行動監視装置３０のハードウェア構成を示すブロック図である。行動監視装置３０は、購買者検出部３１、行動判定部３２、取出し方向特定部３３、時計部３４、通信部３５、記憶部３６及び制御部３７を備える。行動監視装置３０が、この他のハードウェア構成を備えていてもよいことは言うまでもない。

購買者検出部３１は、店舗内、主に商品棚の近傍に配置されたセンサによって、陳列されている商品に対峙する購買者（人物）を検出するものである。購買者検出部３１は、商品棚の手前の床面に想定した所定幅の区画を監視対象領域とする。購買者検出部３１は、この監視対象領域内において購買者を検出する。購買者検出部３１は、監視対象領域内に居る複数の購買者を同時に検出することができる。センサとしては、光学カメラ、赤外線カメラ、ＴＯＦカメラ、ステレオカメラ等の周知のカメラセンサを用いることができる。センサは、人物追跡装置２０の検出部２１を構成するために必要なセンサと共用してもよい。

行動判定部３２は、購買者検出部３１によって検出された購買者の行動を判定するものである。行動判定部３２は、購買者が監視対象領域から移動したか否かを判定する。行動判定部３２は、購買者が陳列されている商品を把持して取り出すという行動をとったか否かを判定する。行動判定部３２は、購買者検出部３１で複数の購買者が検出された場合、各々の購買者の行動を判定する。行動判定部３２は、購買者検出部３１で用いられているセンサを利用することで、行動の有無を判定することができる。行動判定部３２は、他のセンサを用いて行動の有無を判定してもよい。

取出し方向特定部３３は、行動判定部３２によって陳列されている商品を把持して取り出す行動が検出された場合に、商品の取出し方向を特定するものである。取出し方向特定部３３は、例えば購買者検出部３１で用いられるセンサを利用することで、取出し方向を特定することができる。取出し方向特定部３３は、他のセンサを用いて取出し方向を特定してもよい。

時計部３４は、日時を計時する。行動監視装置３０においては、時計部３４によって計時されている日時が、商品を把持して取り出す行動の検出日時として管理される。

通信部３５は、通信ネットワーク７０に接続される。通信部３５は、所定の通信プロトコルに従い、通信ネットワーク７０を介して入口ゲート装置１０、人物追跡装置２０、商品監視装置４０、統合認識装置５０及び販売管理装置６０とデータ通信を行う。

記憶部３６は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。記憶部３６は、不揮発性のメモリ領域において、行動監視装置３０としての動作を制御するための制御プログラムを記憶する。記憶部３６は、揮発性のメモリ領域において、行動監視装置３０として動作する上で必要なデータを記憶する。不揮発性のメモリ領域は、例えばＲＯＭである。揮発性のメモリ領域は、例えばＲＡＭである。

制御部３７は、上記制御プログラムに従い、購買者検出部３１、行動判定部３２、取出し方向特定部３３、時計部３４、通信部３５をそれぞれ制御して、行動監視装置３０としての機能を実現させるためのものである。制御部３７は、プロセッサを主体に構成される。プロセッサは、例えばＣＰＵである。行動監視装置３０においては、制御部３７と記憶部３６とによってコンピュータが構成される。

商品監視装置４０は、陳列されている商品の移動を監視するための装置である。商品監視装置４０は、商品棚から持ち上げられた商品を特定し、さらにその商品が商品棚から持ち出されたときの移動方向を特定する。販売管理システム１００は、典型的には１つの商品棚に対して１つの商品監視装置４０を配置している。販売管理システム１００は、複数の商品棚に対して１つの商品監視装置４０を配置してもよい。店舗内の全ての商品棚に関して、その商品棚から取り出された商品の特定とその商品の移動方向とを特定できるのであれば、商品監視装置４０の数は限定されるものではない。

図５は、商品監視装置４０のハードウェア構成を示すブロック図である。商品監視装置４０は、移動監視部４１、商品特定部４２、移動方向特定部４３、時計部４４、通信部４５、記憶部４６及び制御部４７を備える。商品監視装置４０が、この他のハードウェア構成を備えていてもよいことは言うまでもない。

移動監視部４１は、商品棚若しくはその近傍に配置されたセンサによって陳列されている商品を監視し、商品の移動を検出するものである。センサとしては、光学カメラ、赤外線カメラ、ＴＯＦカメラ、ステレオカメラ等の周知のカメラセンサを用いることができる。あるいはカメラセンサと、重量センサ又は測距センサとを組み合わせて、商品を監視し、移動を検出してもよい。

商品特定部４２は、移動監視部４１によって移動が検出された商品とその数とを特定するものである。商品特定部４２は、例えば移動監視部４１で用いられるセンサを利用することで、移動した商品を特定することができる。商品特定部４２は、他のセンサを用いて移動する商品を特定してもよい。

移動方向特定部４３は、移動監視部４１によって移動が検出された商品の移動方向を特定するものである。移動方向特定部４３は、例えば移動監視部４１で用いられるセンサを利用することで、移動方向を特定することができる。移動方向特定部４３は、他のセンサを用いて移動方向を特定してもよい。

時計部４４は、日時を計時する。商品監視装置４０においては、時計部４４によって計時されている日時が、商品の移動を検出した日時として管理される。

通信部４５は、通信ネットワーク７０に接続される。通信部４５は、所定の通信プロトコルに従い、通信ネットワーク７０を介して入口ゲート装置１０、人物追跡装置２０、行動監視装置３０、統合認識装置５０及び販売管理装置６０とデータ通信を行う。

記憶部４６は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。記憶部４６は、不揮発性のメモリ領域において、商品監視装置４０としての動作を制御するための制御プログラムを記憶する。記憶部４６は、揮発性のメモリ領域において、商品監視装置４０として動作する上で必要なデータを記憶する。不揮発性のメモリ領域は、例えばＲＯＭである。揮発性のメモリ領域は、例えばＲＡＭである。

制御部４７は、上記制御プログラムに従い、移動監視部４１、商品特定部４２、移動方向特定部４３、時計部４４、通信部４５をそれぞれ制御して、商品監視装置４０としての機能を実現させるためのものである。制御部４７は、プロセッサを主体に構成される。プロセッサは、例えばＣＰＵである。商品監視装置４０においては、制御部４７と記憶部４６とによってコンピュータが構成される。

ここで、行動監視装置３０及び商品監視装置４０が適用された商品棚８０の一例について、図６乃至図８を用いて説明する。
図６は、商品棚８０を正面側から見た模式図であり、図７は、商品棚８０を一方の側面側から見た模式図である。図６及び図７では、底板８１と天板８２との間を２つの棚板８３で仕切った３段構成の商品棚８０を例示している。そして各段は、左右及び中央の３つの区画に分けられており、１つの区画に１種類の商品が陳列される運用となっている。

各区画の商品が陳列される面には、それぞれ重量センサ８４が配置されている。重量センサ８４は、その区画に陳列された商品の総重量を計測するものである。また、各段には、カメラセンサ８５が取り付けられている。カメラセンサ８５は、例えば光学カメラ又は赤外線カメラであり、各段にそれぞれ陳列されている商品を監視するためのものである。商品を監視できるのであれば、カメラセンサの取り付け位置は特に限定されない。また、図６では、各段に対して１つのカメラセンサ８５を配置した例を示しているが、カメラセンサ８５の数も特に限定されるものではない。例えば各段の区画毎にカメラセンサ８５を配置してもよい。

商品棚８０に対して商品を出し入れする側を手前側と称する。本実施形態では、図６及び図７に示すように、手前側の床面のうち、商品棚８０の縁から幅Ｈの区画を監視対象領域ＡＲ１としている。そして、監視対象領域ＡＲ１に位置する購買者ＣＡ１を検出するためのカメラセンサ９１を、商品棚８０の上方、例えば天井ＣＥ１に取り付けている。望ましくは、カメラセンサ９１は、購買者ＣＡ１を斜め上方から撮像できる位置に取り付けている。カメラセンサ９１は、その撮影領域ＡＲ２内に購買者ＣＡ１の例えば頭部が映り込むことによって、監視対象領域ＡＲＩに購買者ＣＡ１が居ることを検出する。カメラセンサ９１は、例えば撮影領域ＡＲ２内に二つの頭部が映り込んだ場合、監視対象領域ＡＲＩに二人の購買者ＣＡ１が居ることを検出する。カメラセンサ９１は、ＴＯＦカメラ、ステレオカメラ又は２Ｄカメラである。カメラセンサ９１としてＴＯＦカメラ、ステレオカメラ又は２Ｄカメラを用いることによって、監視対象領域ＡＲ１に位置する購買者ＣＡ１の骨格を推定し、骨格の動きから購買者ＣＡ１の行動を検知することができる。具体的には、購買者ＣＡ１が商品棚８０に向けて腕部を伸ばすという行動、あるいは商品棚８０から腕部を引っ込めるという行動を検知することができる。さらには、腕部が商品棚の手前側から商品棚に向けてどの方向で延ばされたか、逆にどの方向に戻されたかということまでも検知することができる。なお、手前側とは、商品棚８０に対して商品を出し入れする側である。

また本実施形態では、図７に示すように、商品棚８０の手前側をスクリーン状の行動監視領域ＡＲ３としている。行動監視領域ＡＲ３は、図６示すように、商品棚８０の手前側の面を覆うように形成されている。そして、行動監視領域ＡＲ３に対する購買者の行動を検知するためのカメラセンサ９２を、例えば天井ＣＥ１に取り付けている。カメラセンサ９２は、ＴＯＦカメラ又はステレオカメラである。カメラセンサ９２は、行動監視領域ＡＲ３に進入又は離脱した腕を検知する。

ここに、カメラセンサ９１は、行動監視装置３０の購買者検出部３１を構成するためのセンサである。カメラセンサ９１及びカメラセンサ９２は、行動監視装置３０の行動判定部３２及び取出し方向特定部３３を構成するためのセンサである。すなわち、カメラセンサ９１とカメラセンサ９２とから取得した情報を合わせることによって商品が取り出された方向をより正確に検知することが可能となる。カメラセンサ８５は、商品監視装置４０の移動監視部４１及び移動方向特定部４３を構成するためのセンサである。重量センサ８４は、商品監視装置４０の移動監視部４１及び商品特定部４２を構成するためのセンサである。

重量センサ８４は、前述したように、当該重量センサ８４が配置された区画に陳列されている商品の総重量を計測するものであり、その区画に陳列される商品は１種類である。したがって、例えば１品当たりの重量いわゆる単位重量がＷ０の商品ＡＡＡが陳列されている区画の重量センサ８４において、計測重量がＷ２からＷ１に減少した場合、その減少した重量ΔＷ（Ｗ２－Ｗ１）を単位重量Ｗ０で除算した商が、その区画から取り除かれた商品ＡＡＡの数となる。このように、移動監視部４１は、重量センサ８４での計測重量が減少したことによって、陳列されている商品の移動を認識でき、商品特定部４２は、計測重量が商品１点当たりの重量の整数倍だけ減少したことによって、移動した商品の種類と個数とを特定することができる。

ただし、移動監視部４１で商品の移動が検出されるタイミングと、商品特定部４２によって商品が特定されるタイミングとにはずれが生じる。また、重量センサ８４の特性により、実際に商品の移動が開始されてから商品の移動が検出されるまでには遅延が生じる。

図８は、重量センサ８４の特性を説明するためのグラフである。図８において、縦軸は重量センサ８４による計測重量を示し、横軸は時間の経過を示している。時点ｔ０においては、重量センサ８４は、重量Ｗ２を計測している。その後の時点ｔ１において、当該重量センサ８４が配置されている区画の商品が持ち上げられた、すなわち商品の移動が開始されたと仮定する。この場合、重量センサ８４の計測重量は、一定の遅延時間Δｔが経過した時点ｔ２になって減少を始める。したがって移動監視部４１は、この時点ｔ２において、商品の移動を検出することができる。そしてその後、計測重量がＷ１まで減少したことを検出した時点ｔ３において、商品特定部４２は、移動した商品の種類とその個数とを特定することができる。このように、移動監視部４１において商品の移動が検出される時点ｔ２と、商品特定部４２において移動した商品とその個数とが特定される時点ｔ３とにはずれが生じている。また、実際に商品の移動が開始された時点ｔ１と移動監視部４１において商品の移動が検出される時点ｔ２との間にもずれが生じている。

統合認識装置５０は、行動監視装置３０によって特定された購買者と商品監視装置４０によって特定された商品とを関連付けるための装置である。

図９は、統合認識装置５０のハードウェア構成を示すブロック図である。統合認識装置５０は、商品監視取得部５１、行動監視取得部５２、照合部５３、購買特定部５４、通信部５５、記憶部５６及び制御部５７を備える。統合認識装置５０が、この他のハードウェア構成を備えていてもよいことは言うまでもない。

商品監視取得部５１は、商品監視装置４０から取出し商品情報を取得するものである。取出し商品情報については後述する。

行動監視取得部５２は、商品監視取得部５１で商品監視装置４０から取出し商品情報を取得した場合に、その商品監視装置４０によって監視されている商品棚の手前に居る購買者の行動を監視する行動監視装置３０から購買者取出し情報を取得するものである。購買者取出し情報については後述する。

照合部５３は、商品監視取得部５１で取得した取出し商品情報と行動監視取得部５２で取得した購買者取出し情報とを照合するものである。

購買特定部５４は、照合部５３による照合結果を基に、商品を購入した購買者、及び、購買者が購入した商品を特定するものである。

通信部５５は、通信ネットワーク７０に接続される。通信部５５は、所定の通信プロトコルに従い、通信ネットワーク７０を介して入口ゲート装置１０、人物追跡装置２０、行動監視装置３０、商品監視装置４０及び販売管理装置６０とデータ通信を行う。

記憶部５６は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。記憶部５６は、不揮発性のメモリ領域において、統合認識装置５０としての動作を制御するための制御プログラムを記憶する。記憶部５６は、揮発性のメモリ領域において、統合認識装置５０として動作する上で必要なデータを記憶する。不揮発性のメモリ領域は、例えばＲＯＭである。揮発性のメモリ領域は、例えばＲＡＭである。

制御部５７は、上記制御プログラムに従い、行動監視取得部５２、商品監視取得部５１、照合部５３、購買特定部５４、通信部５５をそれぞれ制御して、統合認識装置５０としての機能を実現させるためのものである。制御部５７は、プロセッサを主体に構成される。プロセッサは、例えばＣＰＵである。統合認識装置５０においては、上記制御部５７と記憶部５６とによってコンピュータが構成される。

販売管理装置６０は、購買者によって購入された商品のリストを作成し、そのリストを基に購買者との会計を処理するものである。以下では、この種のリストを購買リストと称する。

図１０は、販売管理装置６０のハードウェア構成を示すブロック図である。販売管理装置６０は、商品情報保存部６１、会員情報保存部６２、購買リスト作成部６３、購買リスト更新部６４、会計処理部６５、通信部６６、記憶部６７及び制御部６８を備える。販売管理装置６０が、この他のハードウェア構成を備えていてもよいことは言うまでもない。

商品情報保存部６１は、店舗で販売される各商品の商品ＩＤ、商品名、価格等の商品情報を保存するものである。商品ＩＤは、各商品を個々に識別するために商品毎に設定された一意の識別コードである。

会員情報保存部６２は、会員登録を行った購買者の会員ＩＤ、有効期限、拒否フラグ、支払い口座等の会員情報を保存するものである。拒否フラグは、有効期限切れあるいは不正利用等によって入店ができない会員に対してセットされる１ビットデータである。支払口座は、購買者によって指定された金融機関の預貯金口座に関する情報である。

因みに、商品情報保存部６１及び会員情報保存部６２は、ＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disk Drive）、あるいはＳＳＤ（Solid State Drive）等の記憶装置に形成される。

購買リスト作成部６３は、購買者によって購入された商品の商品ＩＤと購買数とを蓄積するための購買リスト６００（図１１を参照）を作成するものである。購買リスト６００は、例えば記憶部６７の揮発性メモリ領域に形成される。

図１１は、購買リスト６００のデータ構造を示す模式図である。図１１に示すように、購買リスト６００は、会員ＩＤに関連付けて、入店時刻Ｔ０及び第１ＩＤと、複数の商品ＩＤと購買数との対データと、を記憶するための領域を有する。なお、入店時刻Ｔ０及び第１ＩＤについては、後述する動作説明の中で明らかにする。

購買リスト更新部６４は、購買リスト作成部６３によって作成された購買リスト６００を更新するものである。

会計処理部６５は、購買リスト６００に記憶されたデータを基に、会計処理を実行するものである。

通信部６６は、通信ネットワーク７０に接続される。通信部６６は、所定の通信プロトコルに従い、通信ネットワーク７０を介して入口ゲート装置１０、人物追跡装置２０、行動監視装置３０、商品監視装置４０及び統合認識装置５０とデータ通信を行う。

記憶部６７は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。記憶部６７は、不揮発性のメモリ領域において、販売管理装置６０としての動作を制御するための制御プログラムを記憶する。記憶部６７は、揮発性のメモリ領域において、販売管理装置６０として動作する上で必要なデータを記憶する。不揮発性のメモリ領域は、例えばＲＯＭである。揮発性のメモリ領域は、例えばＲＡＭである。

制御部６８は、上記制御プログラムに従い、商品情報保存部６１、会員情報保存部６２、購買リスト作成部６３、購買リスト更新部６４、会計処理部６５、通信部６６をそれぞれ制御して、販売管理装置６０としての機能を実現させるためのものである。制御部６８は、プロセッサを主体に構成される。プロセッサは、例えばＣＰＵである。販売管理装置６０においては、上記制御部６８と記憶部６７とによってコンピュータが構成される。

以上で、販売管理システム１００のハードウェア構成の説明を終了する。なお、上述したように、入口ゲート装置１０、人物追跡装置２０、行動監視装置３０及び商品監視装置４０には、時計部１３，２３，３４及び４４が設けられている。これらの時計部１３，２３，３４及び４４は同期されている。あるいは、これらの時計部１３，２３，３４，４４を共通の外部時計とし、この外部時計を入口ゲート装置１０、人物追跡装置２０、行動監視装置３０及び商品監視装置４０の制御部１６，２６，３７，４７がそれぞれ参照するようにしてもよい。

図１２は、入口ゲート装置１０における制御部１６の要部制御手順を示す流れ図である。図１３は、人物追跡装置２０における制御部２６の要部制御手順を示す流れ図である。図１４は、行動監視装置３０における制御部３７の要部制御手順を示す流れ図である。図１５は、商品監視装置４０における制御部４７の要部制御手順を示す流れ図である。図１６は、統合認識装置５０における制御部５７の要部制御手順を示す流れ図である。図１７乃至図２２は、販売管理装置６０における制御部６８の要部制御手順を示す流れ図である。以下、これらの図を用いて、販売管理システム１００の動作について説明する。この動作説明により、本実施形態の販売管理方法が明らかになろう。なお、以下に説明する動作の手順及びその内容は一例である。同様な結果が得られるのであれば、その手順及び内容は限定されるものではない。

はじめに、入口ゲート装置１０の制御部１６は、図１２のＡＣＴ１０１として会員ＩＤの入力を待ち受けている。購買者が店舗の入口で受付部１１に対してチェックイン操作を行うと、その購買者の会員ＩＤが入力されるので、制御部１６は、ＡＣＴ１０１においてＹＥＳと判定し、ＡＣＴ１０２へと進む。制御部１６は、販売管理装置６０に対して会員通知を行うように、通信部１４を制御する。この制御により、通信部１４は、通信ネットワーク７０を介して販売管理装置６０に宛てて会員通知コマンドを送信する。会員通知コマンドには、チェックイン操作によって入力された会員ＩＤが含まれている。

販売管理装置６０の制御部６８は、図１７のＡＣＴ６０１として通知コマンドを待ち受けている。通信部６６を介して通知コマンドを受信すると、制御部６８は、ＡＣＴ６０１においてＹＥＳと判定し、ＡＣＴ６０２へと進む。制御部６８は、ＡＣＴ６０２として受信したコマンドが会員通知コマンドであるか否かを確認する。この場合、会員通知コマンドを受信したので、制御部６８は、ＡＣＴ６０２においてＹＥＳと判定し、図１８のＡＣＴ６１１へと進む。

制御部６８は、ＡＣＴ６１１として会員通知コマンドから会員ＩＤを取得する。会員ＩＤを取得できたならば、制御部６８は、ＡＣＴ６１２としてその会員ＩＤで会員情報保存部６２を検索し、当該会員ＩＤに関連付けられた会員情報を取得する。制御部６８は、ＡＣＴ６１３として入店を許可するか否かを判定する。例えば会員情報保存部６２から会員情報を取得できない場合、制御部６８は、入店拒否と判定する。あるいは会員情報を取得できたが、拒否フラグがセットされていた場合、制御部６８は、入店拒否と判定する。制御部６８は、拒否フラグがセットされていない会員情報を取得できた場合には、入店許可と判定する。

制御部６８は、入店許可の場合、ＡＣＴ６１３においてＹＥＳと判定し、ＡＣＴ６１４へと進む。制御部６８は、ＡＣＴ６１４として許可応答を返信するように通信部６６を制御する。これに対し、入店拒否の場合には、制御部６８は、ＡＣＴ６１３においてＮＯと判定し、ＡＣＴ６１５へと進む。制御部６８は、ＡＣＴ６１５として拒否応答を返信するように通信部６６を制御する。これらの制御により、通信部６６は、通信ネットワーク７０を介して入口ゲート装置１０に宛てて許可応答コマンド又は拒否応答コマンドを送信する。以上で、制御部６８は、会員通知コマンドの受信処理を終了する。

図１２の説明に戻る。
会員通知コマンドの送信を制御した入口ゲート装置１０の制御部１６は、ＡＣＴ１０３として販売管理装置６０からの応答コマンドを待ち受ける。ここで、拒否応答コマンドを受信した場合には、制御部１６は、ＡＣＴ１０３においてＮＯと判定し、ＡＣＴ１０４へと進む。制御部１６は、ＡＣＴ１０４として入店不可を報知するように受付部１１を制御する。この制御により、受付部１１においては、チェックインを行った購買者に対して入店不可であることを表示または音声によって報知する。以上で、制御部１６は、図１２の流れ図に示す手順の情報処理を終了する。

一方、制御部１６は、ＡＣＴ１０３において許可応答コマンドを受信した場合にはＹＥＳと判定し、ＡＣＴ１０５へと進む。制御部１６は、ＡＣＴ１０５としてゲートを開放するように開閉部１２を制御する。この制御により、開閉部１２はゲートを開放する。ゲートが開放することにより、チェックインを行った購買者は入店が可能となる。購買者がゲートを通過すると、開閉部１２のセンサが入店を検知し、入店検知信号が制御部１６へと出力される。

ゲートの開放を制御した制御部１６は、ＡＣＴ１０６として入店検知信号を待ち受ける。入店検知信号が入力されると、制御部１６は、ＡＣＴ１０６においてＹＥＳと判定し、ＡＣＴ１０７へと進む。制御部１６は、ＡＣＴ１０７としてゲートを閉塞するように開閉部１２を制御する。この制御により、開閉部１２はゲートが閉塞される。ゲートが閉塞されることにより次の購買者の入店が阻止される。

ゲートの閉塞を制御した制御部１６は、ＡＣＴ１０８として時計部１３で計時されている時刻を入店時刻Ｔ０として取得する。制御部１６は、ＡＣＴ１０９として販売管理装置６０に対して入店通知を行うように、通信部１４を制御する。また制御部１６は、ＡＣＴ１１０として人物追跡装置２０に対して追跡開始を指令するように通信部１４を制御する。これらの制御により、通信部１４は、通信ネットワーク７０を介して販売管理装置６０に宛てて入店通知コマンドを送信する。入店通知コマンドには、チェックイン操作によって受付部１１に入力された会員ＩＤと入店時刻Ｔ０とが含まれている。また通信部１４は、通信ネットワーク７０を介して人物追跡装置２０に対して追跡開始コマンドを送信する。追跡監視コマンドには、入店時刻Ｔ０が含まれている。

販売管理装置６０の制御部６８は、図１７のＡＣＴ６０１において通知コマンドを受信したことを検知し、ＡＣＴ６０２においてその通知コマンドが会員通知コマンドでないことを確認するとＮＯと判定し、ＡＣＴ６０３へと進む。制御部６８は、ＡＣＴ６０３としてその通知コマンドが入店通知コマンドであるか否かを確認する。この場合、入店通知コマンドを受信したので、制御部６８は、ＡＣＴ６０３においてＹＥＳと判定し、図１９のＡＣＴ６２１へと進む。

制御部６８は、ＡＣＴ６２１として入店通知コマンドから会員ＩＤと入店時刻Ｔ０を取得する。また、制御部６８は、ＡＣＴ６２２として購買リスト作成部６３を制御して、記憶部６７に購買リスト６００を作成する。そして制御部６８は、ＡＣＴ６２３として購買リスト更新部６４を制御して、購買リスト６００に入店通知コマンドから取得した会員ＩＤと入店時刻Ｔ０とを登録する。以上で、制御部６８は、入店通知コマンドの受信処理を終了する。

一方、人物追跡装置２０の制御部２６は、図１３に示すように、ＡＣＴ２０１として追跡開始コマンドを待ち受けている。そして制御部２６は、通信部２４を介して追跡開始コマンドを受信すると、ＡＣＴ２０１においてＹＥＳと判定し、ＡＣＴ２０２へと進む。制御部２６は、ＡＣＴ２０２として検出部２１によって検出されている各購買者の位置情報から、入口ゲートを通過した人物を、新たにチェックインが承認された購買者として補足する。そして制御部２６は、ＡＣＴ２０３として時計部２３で計時されている時刻をその購買者の補足時刻Ｔ１として取得する。また制御部２６は、ＡＣＴ２０４としてその購買者に対して一意の第１ＩＤを付与する。

このように制御部２６は、チェックインが承認されて入店した購買者を捕捉し、その購買者に対して一意の第１ＩＤを付与したならば、ＡＣＴ２０５として販売管理装置６０に対して追跡通知を行うように、通信部１４を制御する。この制御により、通信部１４は、通信ネットワーク７０を介して販売管理装置６０に宛てて追跡通知コマンドを送信する。追跡通知コマンドには、チェックインが承認された購買者に対する補足時刻Ｔ１と第１ＩＤとが含まれている。

販売管理装置６０の制御部６８は、図１７のＡＣＴ６０１において通知コマンドを受信したことを検知し、ＡＣＴ６０３においてその通知コマンドが入店通知コマンドでないことを確認するとＮＯと判定し、ＡＣＴ６０４へと進む。制御部６８は、ＡＣＴ６０４としてその通知コマンドが追跡通知コマンドであるか否かを確認する。この場合、追跡通知コマンドを受信したので、制御部６８は、ＡＣＴ６０４においてＹＥＳと判定し、図２０のＡＣＴ６３１へと進む。

制御部６８は、ＡＣＴ６３１として追跡通知コマンドから第１ＩＤと補足時刻Ｔ１を取得する。制御部６８は、ＡＣＴ６３２として記憶部６７に形成されている各購買リストの入店時刻Ｔ０を参照する。そして制御部６８は、ＡＣＴ６３３として補足時刻Ｔ１に最も近い入店時刻Ｔ０が登録されている購買リスト６００を選択する。制御部６８は、ＡＣＴ６３４として購買リスト更新部６４を制御して、選択した購買リスト６００に追跡通知コマンドから取得した第１ＩＤを登録する。以上で、制御部６８は、追跡通知コマンドの受信処理を終了する。

図１３の説明に戻る。
追跡通知を行った人物追跡装置２０の制御部２６は、ＡＣＴ２０６として追跡部２２に対してその購買者に対する追跡処理を開始するように指令する。この指令により、追跡部２２では、購買者の第１ＩＤに関連付けて位置情報と検出日時とを含む追跡データが蓄積される。なお、このような追跡処理については周知の処理であるので、ここでの詳細な説明は省略する。

制御部２６は、ＡＣＴ２０７として追跡中の購買者が退店するのを待ち受ける。例えば入口とは別に出口が設けられている場合、購買者が出口を通過したことが追跡部２２によって確認されると、制御部２６は、退店したと判定する。例えば入口と出口とが共通の出入口であった場合、購買者が出入口のゲートを通過したことが追跡部２２によって確認されると、制御部２６は退店したと判定する。

購買者が退店したことを検知すると、制御部２６は、ＡＣＴ２０７においてＹＥＳと判定し、ＡＣＴ２０８へと進む。制御部２６は、ＡＣＴ２０８として販売管理装置６０に対して会計通知を行うように、通信部２４を制御する。この制御により、通信部２４は、通信ネットワーク７０を介して販売管理装置６０に宛てて会計通知コマンドを送信する。会計通知コマンドには、退店が検出された購買者に対して付与されている第１ＩＤが含まれている。なお、会計通知コマンドを受信した販売管理装置６０の制御部６８の動作については後述する。また、会計通知を行った制御部２６のその後の動作についても後述する。

行動監視装置３０の制御部３７は、図１４のＡＣＴ３０１として、購買者検出部３１により購買者ＣＡ１が検出されるのを待ち受けている。購買者ＣＡ１が検出されると、制御部３７は、ＡＣＴ３０１においてＹＥＳと判定し、ＡＣＴ３０２へと進む。制御部３７は、ＡＣＴ３０２として購買者ＣＡ１に対して一意の第２ＩＤを付与する。そして制御部３７は、ＡＣＴ３０３として購買者ＣＡ１に対する行動監視を開始するように行動判定部３２及び取出し方向特定部３３を制御する。この制御により、行動判定部３２及び取出し方向特定部３３では購買者ＣＡ１の行動が監視される。

制御部３７は、ＡＣＴ３０４として購買者ＣＡ１が監視対象領域ＡＲ１の外に移動したと購買者検出部３１で判定されたか否かを確認する。購買者ＣＡ１が監視対象領域ＡＲ１内に居る場合、制御部３７は、ＡＣＴ３０４においてＮＯと判定し、ＡＣＴ３０５へと進む。制御部３７は、ＡＣＴ３０５として購買者ＣＡ１が陳列されている商品を把持して取り出すという行動をとったと行動判定部３２で判定されたか否かを確認する。購買者ＣＡ１がそのような行動をとっていない場合、制御部３７は、ＡＣＴ３０５においてＮＯと判定し、ＡＣＴ３０４へと戻る。ここに制御部３７は、ＡＣＴ３０４又はＡＣＴ３０５において、購買者ＣＡ１が監視対象領域ＡＲ１の外に移動するか、購買者ＣＡ１が陳列されている商品を把持して取り出すという行動をとるのを待ち受ける。

ＡＣＴ３０４又はＡＣＴ３０５の待ち受け状態において、購買者ＣＡ１が陳列されている商品を把持して取り出すという行動をとった場合、制御部３７は、ＡＣＴ３０５においてＹＥＳと判定し、ＡＣＴ３０６へと進む。制御部３７は、ＡＣＴ３０６として時計部３４で計時されている時刻を実行時刻Ｔｘとして取得する。また制御部３７は、ＡＣＴ３０７として取出し方向特定部３３で特定された商品の取出し方向Ｄｘを取得する。さらに制御部３７は、ＡＣＴ３０８として購買者検出部３１により検出されている購買者ＣＡ１の位置情報Ｑ１を取得する。かくして制御部３７は、ＡＣＴ３０９として第２ＩＤ、実行時刻Ｔｘ、取出し方向Ｄｘ及び位置情報Ｑ１を含む購買者取出し情報を作成し、記憶部３６に書き込む。その後、制御部３７は、ＡＣＴ３０４又はＡＣＴ３０５の待ち受け状態に戻る。

ＡＣＴ３０４又はＡＣＴ３０５の待ち受け状態において、購買者ＣＡ１が監視対象領域ＡＲ１の外に移動した場合には、制御部３７は、ＡＣＴ３０４においてＹＥＳと判定し、ＡＣＴ３１０へと進む。制御部３７は、ＡＣＴ３１０として第２ＩＤを付与した購買者ＣＡ１の行動監視を終了するように、行動判定部３２及び取出し方向特定部３３を制御する。以上で、制御部３７は、図１４の流れ図に示す手順の情報処理を終了する。

商品監視装置４０の制御部４７は、図１５のＡＣＴ４０１において、移動監視部４１により商品の取り上げが検出されるのを待ち受けている。例えば重量センサ８４による計測重量が減少したことで商品の取り上げが検出されたことを確認すると（図８の時点ｔ２）、制御部４７は、ＡＣＴ４０２として商品特定部４２によりその商品が特定されるのを待ち受ける。そして計測重量が商品の単位重量の整数倍だけ減少したために商品が特定されると（図８の時点ｔ３）、制御部４７は、ＡＣＴ４０３としてその商品の商品ＩＤと購買数とを取得する。例えば、重量センサ８４とその重量センサ８４が配置されている区画に陳列されている商品の商品ＩＤとを対応付けたデータテーブルを記憶部４６で記憶しており、制御部４７は、このデータテーブルから該当する重量センサに対応した商品ＩＤを取得する。また制御部４７は、重量センサ８４による計測重量の減少分ΔＷ（Ｗ２－Ｗ１）を、商品ＩＤで識別される商品の単位重量Ｗ０で除算し、その商を購買数として取得する。

商品ＩＤと購買数とを取得したならば、制御部４７は、ＡＣＴ４０４として移動監視部４１及び移動方向特定部４３による商品移動の監視処理を開始させる。そして制御部４７は、ＡＣＴ４０５として監視対象の商品が元の場所へ戻されたか否かを確認する。例えば、重量センサ８４の計測重量が変動前の状態に戻った場合、監視対象の商品が元の場所へ戻されたと判定される。監視対象の商品が元の場所へ戻されていない場合、制御部４７は、ＡＣＴ４０５においてＮＯと判定し、ＡＣＴ４０６へと進む。制御部４７は、ＡＣＴ４０６として監視対象の商品が購買者によって取り出されたか否かを確認する。商品が取り出されていない場合、制御部４７は、ＡＣＴ４０６においてＮＯと判定し、ＡＣＴ４０７へと戻る。ここに制御部４７は、ＡＣＴ４０５又はＡＣＴ４０６において、取り上げられた監視対象の商品が元の場所へ戻されるか、購買者によって取り出されるのを待ち受ける。

ＡＣＴ４０５又はＡＣＴ４０６の待ち受け状態において、監視対象の商品が元の場所へ戻された場合、制御部４７は、ＡＣＴ４０５においてＹＥＳと判定し、ＡＣＴ４０７へと進む。制御部４７は、ＡＣＴ４０７として移動監視部４１及び移動方向特定部４３による商品移動の監視処理を終了させる。以上で、制御部４７は、図１５の流れ図に示す手順の情報処理を終了する。

ＡＣＴ４０５又はＡＣＴ４０６の待ち受け状態において、監視対象の商品が購買者によって取り出された場合、制御部４７は、ＡＣＴ４０６においてＹＥＳと判定し、ＡＣＴ４０８へと進む。制御部４７は、ＡＣＴ４０８として時計部４４で計時されている時刻を商品の取出し時刻Ｔｙとして取得する。また制御部４７は、ＡＣＴ４０９として移動方向特定部４３によって特定されている移動方向Ｄｙを取得する。かくして制御部４７は、ＡＣＴ４１０として商品ＩＤ、購買数、取出し時刻Ｔｙ及び移動方向Ｄｙを含む取出し商品情報を作成し、記憶部４６に書き込む。

その後、制御部４７は、ＡＣＴ４１１としてその取り出された商品が元の場所に戻されたか否かを確認する。元の場所に戻されていない場合、制御部４７は、ＡＣＴ４１１においてＮＯと判定し、ＡＣＴ４１２へと進む。制御部４７は、ＡＣＴ４１２として取出し商品情報を作成してから一定時間、例えば１０秒が経過したか否かを確認する。一定時間が経過していない場合、制御部４７は、ＡＣＴ４１２においてＮＯと判定し、ＡＣＴ４１１へと戻る。ここに制御部４７は、ＡＣＴ４１１又はＡＣＴ４１２として購買者によって取り出された商品が元に戻されたか一定時間が経過するのを待ち受ける。

ＡＣＴ４１１又はＡＣＴ４１２の待ち受け状態において、購買者によって取り出された商品が元に戻された場合、制御部４７は、ＡＣＴ４１１においてＹＥＳと判定し、ＡＣＴ４１３へと進む。制御部４７は、ＡＣＴ４１３として記憶部４６に書き込んだ取出し商品情報を破棄する。以上で、制御部４７は、図１５の流れ図に示す手順の情報処理を終了する。

商品が元に戻されることなく一定時間が経過した場合には、制御部４７は、ＡＣＴ４１２においてＹＥＳと判定し、ＡＣＴ４１４へと進む。制御部４７は、ＡＣＴ４１４として統合認識装置５０に対して取出し通知を行うように、通信部４５を制御する。この制御により、通信部４５は、通信ネットワーク７０を介して統合認識装置５０に宛てて取出し通知コマンドを送信する。取出し通知コマンドには、記憶部４６で記憶した取出し商品情報が含まれている。

統合認識装置５０の制御部５７は、図１６のＡＣＴ５０１として取出し通知を待ち受けている。商品監視装置４０から送信された取出し通知コマンドを通信部５５で受信すると、制御部５７は、ＡＣＴ５０１においてＹＥＳと判定し、ＡＣＴ５０２へと進む。制御部５７は、ＡＣＴ５０２として取出し通知コマンドから取出し商品情報、つまりは商品ＩＤ、購買数、取出し時刻Ｔｙ及び移動方向Ｄｙを取得する。そして制御部５７は、取出し商品情報を記憶部５６で記憶する。

制御部５７は、ＡＣＴ５０３として取出し通知コマンド送信元の商品監視装置４０が監視している商品が陳列されている商品棚の手前側に居る購買者の行動を監視するための行動監視装置３０から、例えば実行時刻Ｔｘが新しい順に購買者取出し情報、つまりは第２ＩＤ、実行時刻Ｔｘ、取出し方向Ｄｘ及び位置情報Ｑ１を取得する。そして制御部５７は、ＡＣＴ５０４として時刻条件と方向条件とがそれぞれ合致する購買者取出し情報を選択する。具体的には制御部５７は、取出し商品情報の取出し時刻Ｔｙと購買者取出し情報の実行時刻Ｔｘの時間差を算出する。この時間差が許容範囲内であれば、制御部５７は、取出し時刻Ｔｙと実行時刻Ｔｘとは合致していると判定する。同様に、制御部５７は、取出し商品情報の移動方向Ｄｙと購買者取出し情報の取出し方向Ｄｘの角度偏差を算出する。この角度偏差が許容範囲内であれば、制御部５７は、移動方向Ｄｙと取出し方向Ｄｘとが合致していると判定する。

こうして制御部５７は、時刻条件と方向条件とがそれぞれ合致する購買者取出し情報を選択したならば、ＡＣＴ５０５としてその購買者取出し情報から位置情報Ｑ１を取得する。そして制御部５７は、ＡＣＴ５０６として人物追跡装置２０で記憶されている各購買者の追跡データを検索する。制御部５７は、ＡＣＴ５０７として購買者取出し情報の実行時刻Ｔｙに位置情報Ｑ１の場所に居る購買者を特定する。

購買者が特定されると、制御部５７は、ＡＣＴ５０８としてその購買者の第１ＩＤを人物追跡装置２０から取得する。また制御部５７は、ＡＣＴ５０９として取出し商品情報から商品ＩＤと購買数とを取得する。しかして制御部５７は、ＡＣＴ５１０として販売管理装置６０に対して購買通知を行うように、通信部１４を制御する。この制御により、通信部５５は、通信ネットワーク７０を介して販売管理装置６０に宛てて購買通知コマンドを送信する。購買通知コマンドには、第１ＩＤと商品ＩＤと購買数とが含まれている。以上で、制御部５７は、図１６の流れ図に示す手順の情報処理を終了する。

販売管理装置６０の制御部６８は、図１７のＡＣＴ６０１において通知コマンドを受信したことを検知し、ＡＣＴ６０４においてその通知コマンドが追跡通知コマンドでないことを確認するとＮＯと判定し、ＡＣＴ６０５へと進む。制御部６８は、ＡＣＴ６０５としてその通知コマンドが購買通知コマンドであるか否かを確認する。この場合、購買通知コマンドを受信したので、制御部６８は、ＡＣＴ６０５においてＹＥＳと判定し、図２１のＡＣＴ６４１へと進む。

制御部６８は、ＡＣＴ６４１として購買通知コマンドから第１ＩＤと商品ＩＤと購買数とを取得する。そして制御部６８は、ＡＣＴ６４２としてその第１ＩＤが登録された購買リスト６００を選択する。制御部６８は、ＡＣＴ６４３としてその購買リスト６００に商品ＩＤと購買数とを登録する。以上で、制御部６８は、購買通知コマンドの受信処理を終了する。

一方、販売管理装置６０の制御部６８は、図１７のＡＣＴ６０１において通知コマンドを受信したことを検知し、ＡＣＴ６０５においてその通知コマンドが購買通知コマンドでないことを確認するとＮＯと判定し、ＡＣＴ６０６へと進む。制御部６８は、ＡＣＴ６０６としてその通知コマンドが会計通知コマンドであるか否かを確認する。会計通知コマンドを受信した場合、制御部６８は、ＡＣＴ６０６においてＹＥＳと判定し、図２２のＡＣＴ６５１へと進む。

前述したように、人物追跡装置２０から販売管理装置６０へと出力される会計通知コマンドには、第１ＩＤが含まれている。制御部６８は、ＡＣＴ６５１として会計通知コマンドから第１ＩＤを取得する。そして制御部６８は、ＡＣＴ６５２としてその第１ＩＤが登録された購買リスト６００を選択する。制御部６８は、ＡＣＴ６５３としてその購買リスト６００から会員ＩＤを登録する。

制御部６８は、ＡＣＴ６５４として会員ＩＤで会員情報保存部６２を検索する。そして制御部６８は、当該会員ＩＤとは関連付けて記憶されている支払口座の情報を取得する。制御部６８は、ＡＣＴ６５５として購買リスト６００に登録されている商品ＩＤで商品情報保存部６１に保存されている商品情報を検索して、商品ＩＤ毎に価格を取得する。そして制御部６８は価格と購買数とから会計金額を算出する。

制御部６８は、ＡＣＴ６５６として会計金額を支払口座から引き落とすための会計処理を実行する。なお、この会計処理において、制御部６８は、電子レシートを作成し、購買者のスマートフォン等に対してダウンロード可能とする。

会計処理が終了すると、制御部６８は、ＡＣＴ６５７として人物追跡装置２０に対して会計終了を通知するように通信部６６を制御する。この制御により、通信部６６から通信ネットワーク７０を介して人物追跡装置２０へと会計終了コマンドが送信される。会計終了コマンドには、会計処理が実行された購買リスト６００に登録されていた第１ＩＤが含まれている。以上で、制御部６８は、会計通知コマンドの受信処理を終了する。

図１３の説明に戻る。
ＡＣＴ２０８において会計通知コマンドの送信を制御した人物追跡装置２０の制御部２６は、ＡＣＴ２０９として会計終了コマンドを待ち受ける。通信部２４を介して会計終了コマンドを受信したことを検知すると、制御部２６は、ＡＣＴ２０９においてＹＥＳと判定し、ＡＣＴ２１０と進む。制御部２６は、ＡＣＴ２１０としてその会計終了コマンドから第１ＩＤを取得する。制御部２６は、ＡＣＴ２１１としてその第１ＩＤを付与して追跡していた購買者に対する追跡データの蓄積を終了する。以上で、制御部２６は、図１３の流れ図に示す手順の情報処理を終了する。

以上の説明から明らかなように、販売管理システム１００において、行動監視装置３０の制御部３７は、検出手段を構成する。すなわち制御部３７は、購買者検出部３１を制御して、図１４のＡＣＴ３０１及びＡＣＴ３０２の処理を実行することにより、陳列されている商品と対峙する購買者を検出する。また、同制御部３７は、第１の認識手段を構成する。すなわち制御部３７は、行動判定部３２及び取出し方向特定部３３を制御して、図１４のＡＣＴ３０３乃至ＡＣＴ３１０の処理を実行することにより、購買者の対峙している商品を取り出す行動及びその取出し方向を認識する。

商品監視装置４０の制御部４７は、第２の認識手段を構成する。すなわち制御部４７は、移動監視部４１、商品特定部４２及び移動方向特定部４３を制御して、図１５のＡＣＴ４０１乃至ＡＣＴ４１４の処理を実行することにより、陳列されている商品の移動及びその商品の移動方向を認識する。

統合認識装置５０の制御部５７は、特定手段を構成する。すなわち制御部５７は、商品監視取得部５１、行動監視取得部５２、照合部５３及び購買特定部５４を制御して、図１６のＡＣＴ５０１乃至ＡＣＴ５１０の処理を実行することにより、購買者による商品の取出し方向と、商品の移動方向とを照合する。そして、取出し方向が移動方向と一致した場合、制御部５７は、移動が認識された商品を購買者の購買商品として特定する。

販売管理装置６０の制御部６８は、登録手段を構成する。すなわち制御部６８は、購買リスト更新部６４を制御して、図２１のＡＣＴ６４１乃至ＡＣＴ６４３の処理を実行することにより、特定された購買者の購買商品を購買リスト６００に登録する。

詳しくは、行動監視装置３０の制御部３７は、第１時刻取得手段を構成する。すなわち制御部３７は、図１４のＡＣＴ３０６の処理を実行することにより、第１の認識手段で商品を取り出す行動が認識された第１時刻である実行時刻Ｔｘを取得する。商品監視装置４０の制御部４７は、第２時刻取得手段を構成する。すなわち制御部３７は、図１５のＡＣＴ４０８の処理を実行することにより、第２の認識手段で商品の移動が認識された第２時刻である取出し時刻Ｔｙを取得する。しかして統合認識装置５０の制御部５７は、特定手段として、取出し時刻Ｔｙに移動が認識された商品の移動方向が、当該取出し時刻Ｔｙと合致する範囲内の実行時刻Ｔｘに認識された取り出す行為の取出し方向と合致する場合に、購買者の購買商品を特定する。

より詳しくは、入口ゲート装置１０の制御部１６は、識別手段を構成する。すなわち制御部１６は、受付部１１、開閉部１２を制御して図１２のＡＣＴ１０１乃至１１０の処理を実行することにより、購買者を識別する。人物追跡装置２０の制御部２６は、追跡手段を構成する。すなわち制御部２６は、検出部２１及び追跡部２２を制御して図１３のＡＣＴ２０１乃至ＡＣＴ２１０の処理を実行することにより、購買者を追跡する。統合認識装置５０の制御部５７は、購買特定部５４を制御してＡＣＴ５０５乃至ＡＣＴ５０７の処理を実行することにより、購買者特定手段を構成する。すなわち制御部５７は、識別手段により識別された購買者を追跡手段で追跡した結果を基に、検出手段により検出された購買者を特定する。しかして販売管理装置６０の制御部６８は、登録手段として、購買者特定手段により特定された購買者毎に作成された購買リストに購買商品を登録する。

以上のような構成により、例えば、図６に示す商品８０の監視対象領域ＡＲ１に２名の購買者ＣＡ１，ＣＡ２が左右に分かれて立ち、各々が２段目の中央の区画に陳列されている商品ＡＡＡに手を伸ばしたが、商品棚８０に向かって左側に立つ購買者ＣＡ１は商品ＡＡＡを取らずに手を引っ込め、右側に立つ購買者ＣＡ２は商品ＡＡＡを取ってから手を引っ込めたと仮定する。この場合、行動監視装置３０においては、購買者ＣＡ１及び購買者ＣＡ２に対して商品を取り出す行動及びその取出し方向が認識される。一方、商品監視装置４０においては、商品ＡＡＡの移動及びその移動方向が認識される。このとき、商品ＡＡＡの移動方向は購買者ＣＡ２に対する取出し方向と一致するので、統合認識装置５０においては、商品ＡＡＡの購買者として購買者ＣＡ２が特定される。

また、購買者ＣＡ２の後ろにいた別の購買者ＣＡ３が、購買者ＣＡ２が商品ＡＡＡを取り出すとほぼ同時に別の区画から商品ＢＢＢを取り出した場合を想定する。この場合、行動監視装置３０においては、購買者ＣＡ２及び購買者ＣＡ３に対して商品を取り出す行動及びその取出し方向が認識される。一方、商品監視装置４０においては、商品ＡＡＡ及び商品ＢＢＢの移動及びその移動方向が認識される。このとき、商品ＡＡＡの移動方向は購買者ＣＡ２に対する取出し方向と一致するので、統合認識装置５０においては、商品ＡＡＡの購買者として購買者ＣＡ２が特定される。また、商品ＢＢＢの移動方向は購買者ＣＡ３に対する取出し方向と一致するので、統合認識装置５０においては、商品ＢＢＢの購買者として購買者ＣＡ３が特定される。

一方、購買者ＣＡ１が商品ＡＡＡを取り出した後に、購買者ＣＡ３が商品ＡＡＡと同じ区画から商品ＣＣＣを取り出した場合を想定する。この場合は、商品ＡＡＡ及び商品ＣＣＣの移動方向は、購買者ＣＡ２及び購買者ＣＡ３に対する取出し方向とほぼ一致する。しかし、購買者ＣＡ２よる商品ＡＡＡを取り出す行動が認識された実行時刻Ｔｘ１と、購買者ＣＡ３による商品ＣＣＣを取り出す行動が認識された実行時刻Ｔｘ２とには時間差ΔＴｘがある。同様に、商品ＡＡＡの取出しが認識された取出し時刻Ｔｙ１と、商品ＣＣＣの取出しが認識された取出し時刻Ｔｙ２とにも時間差ΔＴｙがある。そして、実行時刻Ｔｘ１と取出し時刻Ｔｙ１とは合致していると認定され、実行時刻Ｔｘ２と取出し時刻Ｔｙ２とは合致していると認定される。したがって、統合認識装置５０においては、商品ＡＡＡの購買者として購買者ＣＡ２が特定される。また、統合認識装置５０においては、商品ＣＣＣの購買者として購買者ＣＡ３が特定される。

このように、販売管理システム１００によれば、商品を取った客を正しく特定することができる。

ところで、商品監視装置４０における移動監視部４１及び商品特定部４２のセンサの１つとして重量センサ８４を用いた場合、商品棚８０から取り出された商品の種類だけでなく商品の数も特定することができる。したがって、販売管理装置６０においては、購買商品として特定された商品の識別コードである商品ＩＤとともに購買数も登録することができる。

なお、必ずしも重量センサを用いなくてもよい。例えば、カメラセンサによって撮影された画像を分析して、商品棚８０から取り出された商品の数を求めてもよい。また、購買者が商品棚８０から取り出す商品の数を１個に限定することにより、商品の数を求める必要はなくなる。

また、統合認識装置５０の制御部５７は、図１６のＡＣＴ５０４において、取出時刻Ｔｙに移動が認識された商品の移動方向が、当該取出し時刻Ｔｙと合致する範囲内の実行時刻Ｔｘに認識された取り出す行為の取出し方向と合致する場合に、購買者の購買商品を特定する。ここで、行動監視装置３０の行動判定部３２及び取出し方向特定部３３が購買者の行動を判定するまでには、実際の行動よりも遅延を生じる。同様に、商品監視装置４０の移動監視部４１、商品特定部４２及び移動方向特定部４３が商品の移動を判定するまでは、実際の移動よりも遅延を生じる。統合認識装置５０の制御部５７においては、これらの遅延を考慮して合致するか否かを判定することにより、より信頼性を高い結果を得ることができる。

以上、商品を取った客を正しく特定することができる販売管理システム及び販売管理方法の実施形態について説明したが、かかる実施形態はこれに限定されるものではない。
例えば前記実施形態では、会計金額を支払口座から引き落とすことで会計処理を行う場合を例示した。会計処理はこれら限定されるものではない。例えば周知のクレジットカード決済、バーコード、二次元コード等を利用したコード決済等により会計処理を行ってもよい。
前記実施形態では、購買者ＣＡ２が商品棚８０から商品を取り出す場合を例示した。この点に関しては、商品監視装置４０の移動監視部４１、商品特定部４２及び移動方向特定部４３によって、購買者が一旦取り出した商品を商品棚８０へ戻すという行動を検知することも可能である。そこで、商品が商品棚８０に戻された場合には、統合認識装置５０の商品監視取得部５１、行動監視取得部５２、照合部５３及び購買特定部５４によって、商品と購買者とを特定し、販売管理装置６０へと通知する。この通知を受けて、販売管理装置６０の制御部６８は、当該購買者の購買リスト６００から当該商品のデータを削除する。こうすることにより、購買者による会計前の返品にも対処できるようになる。
この他、各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…入口ゲート装置、２０…人物追跡装置、３０…行動監視装置、４０…商品監視装置、５０…統合認識装置、６０…販売管理装置、７０…通信ネットワーク、１００…販売管理システム。

Claims (5)

1. 陳列されている商品と対峙する購買者を検出する検出手段と、
   前記検出手段により検出された購買者の前記対峙している商品を取り出す行動及びその取出し方向を認識する第１の認識手段と、
   前記陳列されている商品の移動及びその商品の移動方向を認識する第２の認識手段と、
   前記第１の認識手段で前記購買者の前記商品を取り出す行動及びその取出し方向を認識しかつ前記第２の認識手段で前記商品の移動及びその移動方向を認識した場合において、前記取出し方向が前記移動方向と一致した場合、前記第２の認識手段で移動が認識された商品を前記第１の認識手段で商品を取り出す行動が認識された購買者の購買商品として特定する特定手段と、
   前記特定手段により特定された購買者の購買商品を登録する登録手段と、
   を具備する販売管理システム。
2. 前記第１の認識手段で前記商品を取り出す行動が認識された第１時刻を取得する第１時刻取得手段と、
   前記第２の認識手段で前記商品の移動が認識された第２時刻を取得する第２時刻取得手段と、
   をさらに具備し、
   前記特定手段は、前記第２時刻に移動が認識された商品の移動方向が、当該第２時刻と合致する範囲内の前記第１時刻に認識された取り出す行為の取出し方向と合致する場合に、前記第２の認識手段で移動が認識された商品を前記第１の認識手段で商品を取り出す行為が認識された購買者の購買商品として特定する、請求項１記載の販売管理システム。
3. 購買者を識別する識別手段と、
   前記購買者を追跡する追跡手段と、
   前記識別手段により識別された購買者を前記追跡手段で追跡した結果を基に、前記検出手段により検出された購買者を特定する購買者特定手段と、
   をさらに具備し、
   前記登録手段は、前記購買者特定手段により特定された購買者毎に購買商品を登録する、請求項１又は２記載の販売管理システム。
4. 前記陳列されている商品の重量を計量する計量手段、
   をさらに具備し、
   前記第２の認識手段は、前記計量手段により計量されている重量が前記陳列されている商品の単位重量の整数倍だけ減少すると、その整数を移動した商品の数としてさらに認識する、請求項１項記載の販売管理システム。
5. 陳列されている商品の販売を管理するシステムによって実行される方法であって、
   特定手段が、前記陳列されている商品と対峙する購買者を検出し、
   第１の認識手段が、前記検出された購買者の前記対峙している商品を取り出す行動及びその取出し方向を認識し、
   第２の認識手段が、前記陳列されている商品の移動及びその移動方向を認識し、
   前記購買者の前記商品を取り出す行動及びその取出し方向が認識されかつ前記商品の移動及びその移動方向が認識された場合において、前記取出し方向が前記移動方向と一致した場合、特定手段が、前記移動が認識された商品を、前記商品を取り出す行動が認識された購買者の購買商品として特定し、
   登録手段が、その特定された購買者の購買商品を登録する、販売管理方法。