JP6601890B1 - 商品購入支援システム、商品購入支援装置及びｐｏｓ端末装置 - Google Patents

Abstract

【課題】商品の販売における会計処理を効率化することができると共に、顧客が商品を購入する際の利便性を向上させることが可能な商品購入支援システム、商品購入支援装置及びＰＯＳ端末装置を提供すること。【解決手段】本発明の商品購入支援システム１００は、深度カメラ１２及び第１の表示装置１３を備える商品購入支援装置１０と、商品の会計処理を実行するＰＯＳ端末装置２０とを含む。商品購入支援装置１０は、顧客が商品を選択する商品選択動作を検出すると、顧客が選択した商品を特定して、当該商品に関する商品情報を生成し、これを第１の表示装置１３に表示する。また、商品購入支援装置１０は、商品情報をＰＯＳ端末装置２０に出力する。【選択図】図１

Description

本発明は、商品購入支援システム、商品購入支援装置及びＰＯＳ端末装置に関し、特に、顧客による商品の購入を支援する商品購入支援システム、商品購入支援装置及びＰＯＳ端末装置に関する。

従来、様々な店舗においてショーケース（陳列棚）に商品を陳列して販売する形態が採用されている。このような形態の店舗では一般に、顧客が購入を希望する商品を店員に口頭で注文するため、利便性が低く会計処理に要する時間が増大するという問題があった。

この点に関し、特許文献１が開示するショーケース一体型レジスタは、顧客が商品の陳列位置に対応した商品キーを操作して商品及び数量を指定すると、商品や当該商品の数量、商品単価等を、ショーケースの背面に設置された表示器や、ショーケースの上面の一角に設置された金額表示器に表示する。そして、店員が顧客に購入内容を口頭で確認し、問題が無い場合にキーボードの確認キーを押下することで取引処理を実行する。これにより、店員が商品や数量をレジスタに入力する手間を省き、店員の作業性を向上させることを意図している。

特開平５−２４２３６０号公報

しかしながら、特許文献１が開示するショーケース一体型レジスタは、顧客が商品を購入する際に、商品の陳列位置に対応した個別の商品キーを操作して、商品や当該商品の数量を指示しなければならず、また、顧客が既に選択した商品や当該商品の数量を確認することができないため、利便性が低いという問題があった。

本発明の目的は、上述した課題を鑑み、商品の販売における会計処理を効率化することができると共に、顧客が商品を購入する際の利便性を向上させることが可能な商品購入支援システム、商品購入支援装置及びＰＯＳ端末装置を提供することにある。

本発明の商品購入支援システムは、商品の陳列棚に設置され又は前記陳列棚の近傍に設置された深度カメラと、前記商品に関する情報が表示される第１の表示装置を備える商品購入支援装置と、前記商品の会計処理を実行するＰＯＳ端末装置とを含み、前記商品購入支援装置は、前記深度カメラが出力した撮影画像及び３次元座標情報に基づいて顧客の動作を検出する動作検出部と、前記第１の表示装置を制御する表示制御部と、前記ＰＯＳ端末装置とデータ通信を行う通信部とを備え、前記動作検出部は、顧客が商品を選択する商品選択動作を検出すると、前記顧客が選択した商品を特定して、前記顧客が選択した商品に関する商品情報を生成し、前記表示制御部は、前記商品情報を前記第１の表示装置に表示し、前記通信部は、前記商品情報を前記ＰＯＳ端末装置に出力する。

本発明により、商品の販売における会計処理を効率化することができると共に、顧客が商品を購入する際の利便性を向上させることが可能な商品購入支援システム、商品購入支援装置及びＰＯＳ端末装置を提供することができる。

本発明の第１の実施形態に係る商品購入支援システムの構成を示すブロック図である。 本発明の第１の実施形態に係る商品購入支援システムを概略的に示す斜視図である。 本発明の第１の実施形態に係る商品購入支援装置の制御部の機能を示すブロック図である。 第１の実施形態に係る商品購入支援システムが有する主要な構成要素を示すブロック図である。 本発明の第１の実施形態に係る商品購入支援システムを概略的に示す立面図及び平面図である。 深度カメラが出力した撮影画像の一例を示す図である。 本発明の第１の実施形態に係る商品購入支援装置が実行する処理を示すフローチャートである。 本発明の第１の実施形態に係る商品購入支援装置が実行する処理を示すフローチャートである。 本発明の第１の実施形態に係る商品購入支援装置が実行する処理を示すフローチャートである。 顧客情報管理テーブルの一例を示す図である。 商品位置情報テーブルの一例を示す図である。 商品情報テーブル及び類似商品情報テーブルの一例を示す図である。 第１の表示装置に表示される画像の一例を示す図である。 第２の表示装置に表示されるＧＵＩ画面の一例を示す図である。 第２の表示装置に表示されるＧＵＩ画面の別の例を示す図である。 本発明の第２の実施形態に係る商品購入支援システムの構成を示すブロック図である。 本発明の第３の実施形態に係る商品購入支援システムの構成を示すブロック図である。

＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る商品購入支援システム１００の構成を示すブロック図である。商品購入支援システム１００は、商品購入支援装置１０と、ＰＯＳ（Point-Of-Sale）端末装置２０とを含む。商品購入支援装置１０及びＰＯＳ端末装置２０は、通信ケーブル３０を介して、相互にデータ通信を行うことができる。なお、商品購入支援装置１０及びＰＯＳ端末装置は、電波を介して相互にデータ通信を行ってもよい。

商品購入支援装置１０は、顧客による商品の購入を支援するための装置であり、制御部１１と、深度カメラ１２と、第１の表示装置１３と、第２の表示装置１４と、通信部１５とを備える。制御部１１、深度カメラ１２、第１の表示装置１３、第２の表示装置１４及び通信部１５は、通信ケーブル４０を介して相互にデータ通信を行うことができる。

制御部１１は、深度カメラ１２、第１の表示装置１３、第２の表示装置１４及び通信部１５を制御して、商品購入支援装置１０の機能を実現する装置である。制御部１１が有する機能については、図３を参照して後述する。

深度カメラ１２は、撮影対象の領域を撮影して撮影画像を生成すると共に、撮影対象の領域に含まれる物体の３次元座標情報を生成し、当該撮影画像及び３次元座標情報を出力する装置である。深度カメラ１２は、所定のタイミングで撮影処理を実行し、撮影画像毎に３次元座標情報を生成する。深度カメラ１２は、通信ケーブル４０を介して、当該撮影画像及び３次元座標情報を制御部１１に提供する。

第１の表示装置１３は、顧客が選択した商品に関する情報（以下、「購入候補商品情報」とする。）を含む種々の画像データを表示する装置である。本実施形態では、第１の表示装置１３は、１つの表示装置によって構成されるが、他の実施形態では、複数の表示装置によって構成してもよい。

第２の表示装置１４は、タッチパネル等の接触検知式の表示装置であり、顧客からの指示を受付け可能な装置である。第２の表示装置１４は、購入候補商品情報を含む種々のＧＵＩ画面を表示する。

通信部１５は、ＰＯＳ端末装置２０との間でデータ通信を行う装置である。通信部１５は、顧客が購入を確定した商品に関する情報をＰＯＳ端末装置２０に送信する。なお、図１に示す実施形態では、制御部１１及び通信部１５は、個別の装置として構成されているが、通信部１５を制御部１１に組み込んでもよい。

ＰＯＳ端末装置２０は、商品の会計処理を実行する装置である。ＰＯＳ端末装置２０は、商品購入支援装置１０から受信した情報を用いて、顧客が選択した商品の会計処理を実行する。

図２は、本発明の第１の実施形態に係る商品購入支援システム１００を示す概略図である。商品購入支援システム１００は、商品の陳列棚２００及びカウンター３００と共に使用される。図２に示すように、深度カメラ１２を原点とする３次元座標空間において、商品の陳列棚２００の幅方向をｘ軸、高さ方向をｙ軸、奥行き方向をｚ軸とする。図２に示す実施形態では、第１の表示装置１３が陳列棚２００の上部に設置され、深度カメラ１２が第１の表示装置１３の上部に設置される。第２の表示装置１４及びＰＯＳ端末装置２０は、カウンター３００の上面に設置される。なお、第１の表示装置１３は、陳列棚２００の内部や近傍、陳列棚２００から離れた位置に設置することもできる。また、深度カメラ１２は、陳列棚２００の内部や上部、側部、陳列棚２００の近傍に設置することもできる。

図２に示すように、陳列棚２００及びカウンター３００の手前側の領域は、複数のエリアに分割される。本実施形態では、エリア１〜４及び会計エリアの５つのエリアに分割される。商品を購入する顧客は、エリア１から会計エリアに向かって移動しながら、陳列棚２００に展示されている商品を選択する動作（以下、「商品選択動作」とする。）を行い、購入を希望する商品を選択することができる。なお、陳列棚２００及びカウンター３００の手前側の領域は、陳列棚２００及びカウンター３００の大きさに応じて任意の数に分割することができる。

図３は、本発明の第１の実施形態に係る商品購入支援装置１０の制御部１１が有する機能を示すブロック図である。制御部１１は、演算装置であるＣＰＵ（Central Processing Unit）（図示せず）と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）で構成される記憶装置１２０とを備える。ＣＰＵは、ＲＯＭに保存された本発明のプログラムをＲＡＭに展開して実行する。本発明のプログラムには、プログラムモジュールである動作検出部１１１、特徴データ生成部１１２、テーブル処理部１１３及び表示制御部１１４が含まれる。

動作検出部１１１は、深度カメラ１２が出力した撮影画像及び３次元座標情報に基づき、エリア１〜４及び会計エリアで構成される監視エリア内の顧客の動作を検出するプログラムモジュールである。監視エリアは、図５に示すように、深度カメラ１２を原点とする３次元座標空間における位置座標（ｘ，ｙ，ｚ）＝（−３〜２，０〜５，３〜７）で規定することができる。動作検出部１１１は、３次元座標情報に基づいて解析対象の撮影画像を特定し、当該撮影画像を解析して、（１）監視エリア内に顧客が居るか否か、（２）監視エリア内の顧客が商品選択動作を行ったか否か、（３）監視エリア内の顧客が移動したか否か判断する。

本実施形態では、商品選択動作として、顧客が商品を指差す動作を採用する。商品選択動作の検出範囲は、図５に示すように、位置座標（ｘ，ｙ，ｚ）＝（−２〜２，１〜３，３〜４）で規定される範囲とすることができる。また、商品選択動作の検出範囲は、商品毎に細分化される。動作検出部１１１は、３次元座標情報に基づいて商品選択動作の検出範囲内の撮影画像を特定し、当該撮影画像を解析する。動作検出部１１１は、商品選択動作を検出すると、当該顧客が選択した商品を特定して、当該商品に関する商品情報を生成する。

特徴データ生成部１１２は、深度カメラ１２が出力した撮影画像及び３次元座標情報
基づいて、監視エリア内の顧客の特徴データを生成するプログラムモジュールである。顧客の特徴データとして、例えば、上衣や下衣の色、性別、眼鏡の有無、腕時計の有無等の顧客を識別可能な情報を採用することができる。特徴データ生成部１１２は、３次元座標情報に基づいて、図６に示すような監視エリア内の撮影画像を特定し、当該撮影画像を解析して、エリア毎に顧客の特徴データを生成する。

テーブル処理部１１３は、記憶装置１２０に保存された顧客情報管理テーブル１２１、商品位置情報テーブル１２２、商品情報テーブル１２３及び類似商品情報テーブル１２４を処理するプログラムモジュールである。

顧客情報管理テーブル１２１は、図１０に示すように、顧客情報である顧客ＩＤ、特徴データ、顧客が存在するエリア（以下、「存在エリア」とする。）の識別情報及び購入候補商品情報が登録されるデータテーブルである。図１０に示す顧客情報管理テーブル１２１０には、エリア１に存在する顧客（顧客ＩＤ：Ｇ０００１）が商品Ａを選択した場合の情報が登録されている。顧客情報管理テーブル１２１１には、この顧客がエリア２に移動した後、商品Ｂを選択し、かつ、別の顧客（顧客ＩＤ：Ｇ０００２）がエリア１で商品Ｅを選択した場合の情報が登録されている。なお、本実施形態では、商品数のデフォルト値を１とする。

商品位置情報テーブル１２２は、図１１に示すように、エリア識別情報と、商品名と、商品選択動作の検出範囲が関連付けて登録されるデータテーブルである。商品情報テーブル１２３は、図１２に示すように、商品名と、商品コードと、商品画像の識別情報とが関連付けて登録されるデータテーブルである。類似商品情報テーブル１２４は、図１２に示すように、商品名と、当該商品に類似する類似商品名と、類似商品の商品コードと、類似商品の画像の識別情報とが関連付けて登録されるデータテーブルである。

表示制御部１１４は、第１の表示装置１３及び第２の表示装置１４の画面表示を制御するプログラムモジュールである。表示制御部１１４は、図５に示すエリア１〜４に対応する第１の表示装置１３の画面領域１３１〜１３４毎に、図１３に示すような画像４００〜４０２を表示する。画像４００は、第１の表示装置１３の各画像領域の初期画面を構成する画像である。画像４０１は、顧客が商品Ａを選択した場合に表示される画像である。画像４０２は、商品Ａを選択した顧客がさらに商品Ｆを選択した場合に表示される画像である。なお、商品名に加えて、顧客が選択した商品の個数や商品の画像を画像４００〜４０２に表示してもよい。

また、表示制御部１１４は、図１４に示すようなＧＵＩ画面５００〜５０２を第２の表示装置１４に表示する。ＧＵＩ画面５００は、顧客が会計エリアに移動したときに第２の表示装置１４に表示される第１のＧＵＩ画面であり、当該顧客の購入候補商品情報が表示される。ＧＵＩ画面５０１は、当該顧客がＧＵＩ画面５００の「いいえ」ボタンを選択した場合に表示される第２のＧＵＩ画面である。ＧＵＩ画面５０２は、当該顧客が、購入を希望しない商品として商品Ａを選択した場合に表示される第３のＧＵＩ画面である。ＧＵＩ画面５０２には、購入を希望しない商品として商品Ａの類似の商品の名称「商品Ａ’」が表示されると共に、商品Ａ及び商品Ａ’それぞれについて、取消ボタン及び確定ボタンが表示される。なお、商品名に加えて、商品の画像をＧＵＩ画面５００〜５０２に表示してもよい。

図１５は、第２の表示装置１４に表示される第１のＧＵＩ画面の別の例を示す。ＧＵＩ画面６００には、商品情報として、顧客が選択した商品の名称及び個数が表示されると共に、商品の個数を指定可能なテンキーが表示される。なお、これらに加えて、商品の画像をＧＵＩ画面６００に表示してもよい。

記憶装置１２０には、顧客情報管理テーブル１２１、商品位置情報テーブル１２２、商品情報テーブル１２３、類似商品情報テーブル１２４、商品の画像データ、第１の表示装置１３及び第２の表示装置１４の表示画面を構成する画像データ、並びに深度カメラ１２が出力した撮影画像及び３次元座標情報が保存される。制御部１１は、深度カメラ１２から撮影画像及び３次元座標情報を受信すると、これらを記憶装置１２０に保存する。記憶装置１２０には、少なくとも顧客の動作を検出可能な数の撮影画像及び３次元座標情報が保存される。

図４は、第１の実施形態に係る商品購入支援システム１００が有する主要な構成要素を示すブロック図である。商品購入支援システム１００は、商品購入支援装置１０と、ＰＯＳ端末装置２０とを含む。商品購入支援装置１０は、主要な構成要素として、動作検出部１１１及び表示制御部１１４を有する制御部１１と、深度カメラ１２と、第１の表示装置１３と、通信部１５とを備える。

図７、図８及び図９は、本発明の第１の実施形態に係る商品購入支援装置１０が実行する処理を示すフローチャートである。図７に示す処理は、処理が開始されると、ステップＳ１０１で制御部１１の動作検出部１１１が、記憶装置１２０から撮影画像及び３次元座標情報を取得し、当該撮影画像及び３次元座標情報に基づいて、監視エリア内に顧客が居るか否か判断する。具体的には、動作検出部１１１は、３次元座標情報に基づいて監視エリア内の撮影画像を特定し、当該撮影画像と、人物を表すテンプレート画像とを用いてパターンマッチングを行い、撮影画像内の顧客を検出する。そして、動作検出部１１１は、撮影画像内の顧客の位置座標が、既知の位置座標によって規定される監視エリアに含まれるか否か判断する。動作検出部１１１は、撮影画像内の顧客の位置座標が監視エリアに含まれる場合は、監視エリア内に顧客が居ると判断し、撮影画像内の顧客の位置座標が監視エリアに含まれない場合は、監視エリア内に顧客が居ないと判断できる。

監視エリア内に顧客が居ない場合（ＮＯ）、ステップＳ１０１の処理が再び実行される。一方、監視エリア内に顧客が居る場合（ＹＥＳ）、ステップＳ１０２に処理が進む。ステップＳ１０２では、特徴データ生成部１１２が、ステップＳ１０１で動作検出部１１１が取得した撮影画像及び３次元座標情報に基づいて、監視エリア内の顧客の特徴データを生成する。ステップＳ１０３では、動作検出部１１１は、監視エリア内に新規顧客が居るか否か判断する。具体的には、動作検出部１１１は、顧客情報管理テーブル１２１を参照し、ステップＳ１０２で生成した特徴データを有する顧客の情報が登録されているか否か判断する。特徴データが生成された全ての顧客の情報が登録されている場合、動作検出部１１１は、監視エリア内に新規顧客が居ないと判断し、特徴データが生成された顧客の少なくとも一人の情報が登録されていない場合、監視エリア内に新規顧客が居ると判断できる。

監視エリア内に新規顧客が居ない場合（ＮＯ）、ステップＳ１０５に処理が進む。一方、監視エリア内に新規顧客が居る場合（ＹＥＳ）、ステップＳ１０４に処理が進む。ステップＳ１０４では、テーブル処理部１１３が、当該新規顧客の顧客ＩＤを作成し、当該顧客の顧客ＩＤ、特徴データ及び存在エリアの識別情報を顧客情報管理テーブル１２１に登録する。

ステップＳ１０５では、動作検出部１１１は、記憶装置１２０から撮影画像及び３次元座標情報を取得し、当該撮影画像及び３次元座標情報に基づいて、顧客が商品選択動作を行ったか否か判断する。具体的には、動作検出部１１１は、３次元座標情報に基づいて動作検出範囲内の撮影画像を特定し、当該撮影画像と、人の手を表すテンプレート画像とを用いてパターンマッチングを行い、撮影画像内の顧客の手を検出する。そして、動作検出部１１１は、商品位置情報テーブル１２２を参照し、検出した顧客の手の位置座標が、商品選択動作の検出範囲のいずれかに含まれるか否か判断することにより、顧客が商品選択動作を行ったか否か判断することができる。顧客が商品選択動作を行ったか否かの判断は、エリア１からエリア４に存在するすべての顧客について行う。なお、顧客の手以外の他の物体を用いて、顧客が商品選択動作を行ったか否か判断してもよい。

顧客が商品選択動作を行っていない場合（ＮＯ）、ステップＳ１０９に処理が進む。一方、顧客が商品選択動作を行った場合（ＹＥＳ）、ステップＳ１０６に処理が進む。ステップＳ１０６では、動作検出部１１１は、当該顧客が選択した商品を特定し、当該商品の購入候補商品情報を生成する。具体的には、動作検出部１１１は、商品位置情報テーブル１２２を参照し、当該顧客の商品選択動作の位置座標が含まれる商品選択動作の検出範囲を特定し、当該商品選択動作の検出範囲に関連する商品名を特定する。そして、動作検出部１１１は、商品情報テーブル１２３を参照し、当該商品名に関連する商品コード及び画像データの識別情報を特定し、商品名、商品コード、当該商品数及び画像データの識別情報を購入候補商品情報とする。

ステップＳ１０７では、テーブル処理部１１３は、これらの購入候補商品情報を顧客情報管理テーブル１２１に登録する。ステップＳ１０８では、表示制御部１１４が、当該顧客の存在エリアに対応する第１の表示装置１３の画面領域に、当該顧客に関連する購入候補商品情報を含む画像を表示する。具体的には、エリア１〜４が、それぞれ第１の表示装置１３の画面領域１３１〜１３４と対応しており、画面領域１３１〜１３４のうち当該顧客の存在エリアに対応する画面領域に当該顧客に関連する購入候補商品情報を含む画像が表示される。

ステップＳ１０９では、動作検出部１１１は、記憶装置１２０から撮影画像及び３次元座標情報を取得し、当該撮影画像及び３次元座標情報に基づいて、監視エリア内の顧客が存在エリアから移動したか否か判断する。具体的には、動作検出部１１１は、３次元座標情報に基づいて動作検出範囲内の撮影画像を特定し、当該撮影画像と、人物を表すテンプレート画像とを用いてパターンマッチングを行い、撮影画像内の顧客を検出する。そして、動作検出部１１１は、撮影画像内の顧客の位置座標が、既知の位置座標で規定される当該顧客の存在エリアに含まれるか否か判断することにより、監視エリア内の顧客が存在エリアから移動したか否か判断できる。

顧客が存在エリアから移動していない場合（ＮＯ）、ステップＳ１０１に処理が戻る。一方、顧客が存在エリアから移動した場合（ＹＥＳ）、図８に示すステップＳ１１０に処理が進む。ステップＳ１１０では、動作検出部１１１は、監視エリア内の顧客が監視エリア外に移動したか否か判断する。具体的には、動作検出部１１１は、ステップＳ１０９で検出した撮影画像内の顧客の位置座標が、既知の位置座標で規定される監視エリアに含まれるか否か判断する。撮影画像内の顧客の位置座標が監視エリアに含まれない場合、動作検出部１１１は、顧客が監視エリア外に移動したと判断し、撮影画像内の顧客の位置座標が監視エリアに含まれる場合、顧客が監視エリア外に移動していないと判断できる。

顧客が監視エリア外に移動した場合（ＹＥＳ）、ステップＳ１１１に処理が分岐する。ステップＳ１１１では、テーブル処理部１１３は、監視エリア外に移動した顧客に関する情報（顧客ＩＤ、特徴データ、存在エリアの識別情報及び購入候補商品情報）を顧客情報管理テーブル１２１から削除し、ステップＳ１０１に処理が戻る。

ステップＳ１１０において顧客が監視エリア外に移動していないと判断した場合（ＮＯ）、ステップＳ１１２に処理が分岐する。ステップＳ１１２では、テーブル処理部１１３は、顧客情報管理テーブル１２１において、エリアを移動した顧客の存在エリアの識別情報を、移動先の存在エリアの識別情報に変更する。ステップＳ１１３では、テーブル処理部１１３は、顧客情報管理テーブル１２１を参照し、当該顧客が会計エリアに移動したか否か判断する。具体的には、テーブル処理部１１３は、顧客情報管理テーブル１２１に登録されている当該顧客の存在エリアの識別情報が会計エリアの識別情報である場合、当該顧客が会計エリアに移動したと判断し、当該顧客の存在エリアの識別情報が会計エリアの識別情報でない場合は、当該顧客が会計エリアに移動していないと判断できる。

当該顧客が会計エリアに移動していない場合（ＮＯ）、ステップＳ１１５に処理が分岐する。ステップＳ１１５では、表示制御部１１４は、当該顧客の移動先のエリアに対応する第１の表示装置１３の画面領域の画像と、移動前のエリアに対応する第１の表示装置１３の画面領域の画像を変更する。具体的には、表示制御部１１４は、当該顧客の移動前のエリアに対応する第１の表示装置１３の画面領域に表示されていた画像を、移動先のエリアに対応する第１の表示装置１３の画面領域に表示すると共に、移動前のエリアに他の顧客が移動してきていない場合、すなわち、移動前のエリアに顧客が存在しない場合は、移動前のエリアに対応する第１の表示装置１３の画面領域に、図１３に示すような初期画像を表示する。移動前のエリアに他の顧客が移動してきていた場合は、同様にして当該顧客に対応する画像を表示する。これらの処理を、エリア１からエリア４において、顧客の移動があったエリアに関して行う。表示制御部１１４が、これらの画面領域に表示されている画像を変更すると、ステップＳ１０１に処理が戻る。

ステップＳ１１３において当該顧客が会計エリアに移動したと判断した場合（ＹＥＳ）、ステップＳ１１４に処理が分岐する。ステップＳ１１４では、図９に示す商品情報送信処理を起動して、ステップＳ１０１に処理が戻る。図９に示す商品情報送信処理は、マルチタスク処理で実行する。以下、図９に示す商品情報送信処理について説明する。ステップＳ１１６では、表示制御部１１４は、顧客情報管理テーブル１２１から会計エリアに居る顧客の購入候補商品情報を取得し、当該購入候補商品情報を含む第１のＧＵＩ画面を第２の表示装置１４に表示する。ステップＳ１１７では、表示制御部１１４は、ユーザが第１のＧＵＩ画面のボタンを選択したか否か判断する。具体的には、表示制御部１１４は、第２の表示装置１４からボタンが選択された旨の情報を受信したか否か判断する。表示制御部１１４は、ボタンが選択された旨の情報を受信した場合、当該ボタンが選択されたと判断し、ボタンが選択された旨の情報を受信していない場合は、当該ボタンが選択されていないと判断できる。ボタンが選択された旨の情報には、ユーザが選択したボタンの識別情報が付加されている。

第１のＧＵＩ画面のボタンが選択されていない場合（ＮＯ）、ステップＳ１１７の処理が再び実行される。一方、第１のＧＵＩ画面のボタンが選択された場合（ＹＥＳ）、ステップＳ１１８に処理が進む。ステップＳ１１８では、表示制御部１１４は、第２の表示装置１４から受信したボタンの識別情報に基づき、「はい」ボタン及び「いいえ」ボタンのいずれが選択されたか判断する。「はい」ボタンが選択された場合、ステップＳ１１９に処理が分岐する。ステップＳ１１９では、表示制御部１１４は、顧客情報管理テーブル１２１から会計エリアに居る顧客の購入候補商品情報を取得し、通信部１５を介して当該購入候補商品情報を、顧客が購入を確定した商品情報としてＰＯＳ端末装置２０に送信し、商品情報送信処理を終了する。

一方、ステップＳ１１８において「いいえ」ボタンが選択されたと判断した場合、ステップＳ１２０に処理が分岐する。ステップＳ１２０では、表示制御部１１４は、第２のＧＵＩ画面を第２の表示装置１４に表示する。ステップＳ１２１では、表示制御部１１４は、ユーザが第２のＧＵＩ画面内の購入候補商品情報を選択したか否か判断する。具体的には、表示制御部１１４は、第２の表示装置１４から購入候補商品情報が選択された旨の情報を受信したか否か判断する。表示制御部１１４は、購入候補商品情報が選択された旨の情報を受信した場合、ユーザが購入候補商品情報を選択したと判断し、購入候補商品情報が選択された旨の情報を受信していない場合は、ユーザが購入候補商品情報を選択していないと判断できる。第２のＧＵＩ画面内の購入候補商品情報が選択されていない場合（ＮＯ）、ステップＳ１２１の処理が再び実行される。一方、第２のＧＵＩ画面内の購入候補商品情報が選択された場合（ＹＥＳ）、ステップＳ１２２に処理が進む。

ステップＳ１２２では、表示制御部１１４は、類似商品情報テーブル１２４を参照し、第３のＧＵＩ画面を第２の表示装置１４に表示する。ステップＳ１２３では、表示制御部１１４は、ユーザが第３のＧＵＩ画面内の取り消しボタン及び確定ボタンを選択したか否か判断する。具体的には、表示制御部１１４は、第２の表示装置１４から取り消しボタン及び確定ボタンが選択された旨の情報を受信したか否か判断する。表示制御部１１４は、取り消しボタン及び確定ボタンが選択された旨の情報を受信した場合、ユーザが第３のＧＵＩ画面内の取り消しボタン及び確定ボタンを選択したと判断し、取り消しボタン及び確定ボタンが選択された旨の情報を受信していない場合、ユーザが第３のＧＵＩ画面内の取り消しボタン及び確定ボタンを選択していないと判断できる。取り消しボタン及び確定ボタンが選択された旨の情報には、取消対象の商品の識別情報と、確定された商品の識別情報が付加されている。

取り消しボタン及び確定ボタンが選択されていない場合（ＮＯ）、ステップＳ１２３の処理が再び実行される。一方、取り消しボタン及び確定ボタンが選択された場合（ＹＥＳ）、ステップＳ１２４に処理が進む。ステップＳ１２４では、テーブル処理部１１３が、第２の表示装置１４から受信した取消対象の商品の識別情報及び確定された商品の識別情報に基づき、顧客情報管理テーブル１２１を更新し、ステップＳ１１６に処理が戻る。

第１の実施形態では、以下の効果を奏する。すなわち、商品購入支援装置１０が、商品選択動作の検出範囲内の撮影画像を解析して、所定の商品選択動作を検出し、当該顧客が選択した商品を特定する。そして、商品購入支援装置１０は、購入候補商品情報を生成して、ＰＯＳ端末装置２０に送信する。このため、店員は、顧客が購入を希望する商品を口頭で確認する必要がないため、会計処理を効率化することができる。また、顧客は所定の商品選択動作を行うだけで商品を選択できるため、商品を購入する際の顧客の利便性を向上させることができる。

また、商品購入支援装置１０は、顧客の存在エリアに対応する第１の表示装置１３の画面領域に、当該顧客に関連する購入候補商品情報を含む画像を表示する。このため、顧客は、自身が位置する存在エリアに対応した表示画面を確認することで、自身が選択した商品を容易に把握することができ、商品を購入する際の顧客の利便性を向上させることができる。また、複数の顧客が商品購入支援システム１００を利用する場合でも、各顧客が、自身の選択した商品を確認できるため、商品を購入する際の顧客の利便性を向上させることができる。

さらに、商品購入支援装置１０は、会計エリアに居る顧客の購入候補商品情報を含むＧＵＩ画面を第２の表示装置１４に表示する。このため、顧客は、購入を希望する商品を店員に口頭で伝えることなく、自身が選択した商品の購入候補商品情報が表示されている画面を用いて、商品の購入を確定することができ、商品を購入する際の顧客の利便性を向上させることができる。

＜第２の実施形態＞
図１６は、本発明の第２の実施形態に係る商品購入支援システム７００の構成を示すブロック図である。商品購入支援システム７００は、ＰＯＳ端末装置２０と、深度カメラ１２と、第１の表示装置１３と、第２の表示装置１４とを含む。ＰＯＳ端末装置２０は、第１の実施形態の商品購入支援装置１０が有する制御部１１を備えており、通信ケーブル３０を介して、深度カメラ１２、第１の表示装置１３及び第２の表示装置１４とデータ通信を行うことができる。第２の実施形態では、ＰＯＳ端末装置２０が、第１の実施形態の商品購入支援装置１０の機能を実現するため、第１の実施形態に比べ、店舗に設置すべき装置の数を低減できると共に、省スペース化を図ることができる。

＜第３の実施形態＞
図１７は、本発明の第３の実施形態に係る商品購入支援システム８００の構成を示すブロック図である。商品購入支援システム８００は、ＰＯＳ端末装置２０と、深度カメラ１２と、第１の表示装置１３とを含む。ＰＯＳ端末装置２０は、第１の実施形態の商品購入支援装置１０が有する制御部１１及び第２の表示装置１４と、第３の表示装置１６とを備えており、通信ケーブル３０を介して、深度カメラ１２及び第１の表示装置１３とデータ通信を行うことができる。第２の表示装置１４は、顧客用の表示装置であり、第３の表示装置１６は、店員用の表示装置である。制御部１１は、第２の表示装置１４及び第３の表示装置１６のそれぞれに購入候補商品情報を表示する。第３の実施形態では、ＰＯＳ端末装置２０が、第１の実施形態の商品購入支援装置１０の機能を実現すると共に、第２の表示装置１４を備えているため、第１の実施形態及び第２の実施形態に比べ、店舗に設置すべき装置の数を低減できると共に、省スペース化を図ることができる。

＜その他の実施形態＞
他の実施形態では、動作検出部１１１は、動作検出範囲内の撮影画像を解析して、同一の商品に対する商品選択動作の回数を計数し、当該商品選択動作の回数に基づいて、顧客が指定した商品の数を示す情報を、商品情報の１つとして生成することができる。これにより、顧客が商品の数量を容易に指定することができ、商品を購入する際の顧客の利便性を向上させることができる。

また、他の実施形態では、動作検出部１１１は、動作検出範囲内の撮影画像を解析して、商品を選択する際に使用された顧客の指の本数を特定し、顧客の指の本数に基づいて、顧客が指定した商品の数を示す情報を、商品情報の１つとして生成することができる。これにより、顧客が商品の数量を容易に指定することができ、商品を購入する際の顧客の利便性を向上させることができる。

さらに、他の実施形態では、エリア１〜４の各エリアにおいて、顧客が複数（例えば２人）存在する場合は、各顧客について商品選択動作の有無を判断し、各エリアに対応する表示装置の画面を分割して各顧客に関する情報を表示することができる。

上述した実施形態では、制御部１１が備えるＣＰＵが、プログラムモジュールである動作検出部１１１、特徴データ生成部１１２、テーブル処理部１１３及び表示制御部１１４をＲＡＭに展開して実行するが、他の実施形態では、これらのプログラムモジュールを論理回路に実装して、上述した処理を実行してもよい。

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

本発明は上述した実施形態に限られたものではなく、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。

１０ 商品購入支援装置
１１ 制御部
１２ 深度カメラ
１３ 第１の表示装置
１４ 第２の表示装置
１５ 通信部
２０ ＰＯＳ端末装置
３０，４０ 通信ケーブル
１００ 商品購入支援システム
２００ 陳列棚
３００ カウンター

Claims (9)

1. 商品の陳列棚に設置され又は前記陳列棚の近傍に設置され、撮影対象領域の撮影画像及び該撮影画像に含まれる物体の３次元座標情報を生成する深度カメラと、商品に関する情報が表示される第１の表示装置を備える商品購入支援装置と、
   商品の会計処理を実行するＰＯＳ（Point-Of-Sale）端末装置とを含み、
   前記商品購入支援装置は、
   前記深度カメラが出力した前記撮影画像及び前記３次元座標情報に基づいて顧客の動作を検出する動作検出部と、
   前記第１の表示装置を制御する表示制御部と、
   前記ＰＯＳ端末装置とデータ通信を行う通信部とを備え、
   前記動作検出部は、前記３次元座標情報に基づいて、前記顧客が商品を選択する商品選択動作の検出範囲内の前記撮影画像を特定し、特定された前記撮影画像内の前記顧客の位置座標から前記顧客が選択した商品を特定して、前記顧客が選択した商品に関する商品情報を生成し、
   前記表示制御部は、前記商品情報を前記第１の表示装置に表示し、
   前記通信部は、前記商品情報を前記ＰＯＳ端末装置に出力する、
   商品購入支援システム。
2. 前記商品購入支援装置は、前記顧客からの指示を受付け可能な第２の表示装置をさらに備え、
   前記表示制御部は、前記商品情報を前記第２の表示装置に表示し、
   前記顧客が前記第２の表示装置を用いて商品の購入を指示すると、前記通信部は、前記商品情報を前記ＰＯＳ端末装置に出力する、請求項１に記載の商品購入支援システム。
3. 前記表示制御部は、複数の顧客のそれぞれの位置に対応した前記第１の表示装置の個別の画面領域に、前記複数の顧客の前記商品情報をそれぞれ表示する、請求項１又は２に記載の商品購入支援システム。
4. 前記動作検出部は、前記商品情報の１つとして、同一の商品に対する前記商品選択動作の回数に基づき、前記顧客が指定した商品の数を示す情報を生成する、請求項１〜３のいずれか１項に記載の商品購入支援システム。
5. 前記動作検出部は、前記商品情報の１つとして、商品を選択する際に使用された前記顧客の指の本数に基づき、前記顧客が指定した商品の数を示す情報を生成する、請求項１〜３のいずれか１項に記載の商品購入支援システム。
6. 商品の陳列棚に設置され又は前記陳列棚の近傍に設置され、撮影対象領域の撮影画像及び該撮影画像に含まれる物体の３次元座標情報を生成する深度カメラと、
   商品に関する情報が表示される表示装置と、
   前記深度カメラが出力した前記撮影画像及び前記３次元座標情報に基づいて顧客の動作を検出する動作検出部と、
   前記表示装置を制御する表示制御部と、
   外部装置とデータ通信を行う通信部とを備え、
   前記動作検出部は、前記３次元座標情報に基づいて、前記顧客が商品を選択する商品選択動作の検出範囲内の前記撮影画像を特定し、特定された前記撮影画像内の前記顧客の位置座標から前記顧客が選択した商品を特定して、前記顧客が選択した商品に関する商品情報を生成し、
   前記表示制御部は、前記商品情報を前記表示装置に表示し、
   前記通信部は、前記商品情報を前記外部装置に出力する、
   商品購入支援装置。
7. 商品の陳列棚に設置され又は前記陳列棚の近傍に設置された深度カメラが出力した、撮影対象領域の撮影画像及び該撮影画像に含まれる物体の３次元座標情報に基づいて顧客の動作を検出する動作検出部と、
   商品に関する情報が表示される第１の表示装置と、顧客からの指示を受付け可能な第２の表示装置を制御する表示制御部と、
   商品の会計処理を実行する会計処理部とを備え、
   前記動作検出部は、前記３次元座標情報に基づいて、前記顧客が商品を選択する商品選択動作の検出範囲内の前記撮影画像を特定し、特定された前記撮影画像内の前記顧客の位置座標から前記顧客が選択した商品を特定して、前記顧客が選択した商品に関する商品情報を生成し、
   前記表示制御部は、前記第１の表示装置及び前記第２の表示装置に前記商品情報を表示し、
   前記会計処理部は、前記商品情報に基づき、商品の会計処理を実行する、
   ＰＯＳ端末装置。
8. 前記第２の表示装置は、外部装置であることを特徴とする、請求項７に記載のＰＯＳ端末装置。
9. 前記ＰＯＳ端末装置は、前記第２の表示装置と、第３の表示装置とを備えており、
   前記表示制御部は、前記商品情報を前記第３の表示装置に表示する、請求項７に記載のＰＯＳ端末装置。

Images