JP7028305B2 - 店舗装置、店舗システム、店舗管理方法、プログラム - Google Patents

Description

本発明は、店舗装置、店舗システム、店舗管理方法、プログラムに関する。

店舗において来店者が購入を希望する商品の自動決済を管理する技術が求められている。特許文献１には関連する技術として無人店舗に関する技術が開示されている。

特開平１１－２５３３７号公報

上述のような商品の自動決済を行う店舗においては来店者等の人物は手に取った商品を袋やカゴに入れて店舗内を歩き回る。自動決済が行われるため店舗に備わるコンピュータサーバ装置は来店者ごとに来店者が手に取った商品を、店舗内の各種センサから得られた情報に基づいて検出し、管理する。来店者は取得した商品の一覧をコンピュータサーバ装置と通信する携帯端末で表示させることも可能となる。しかしながら、コンピュータサーバ装置が管理する自身が手に取った商品などの情報を確認することができない。

そこでこの発明は、上述の課題を解決することのできる店舗装置、店舗システム、店舗管理方法、プログラムを提供することを目的としている。

本発明の第１の態様によれば、店舗装置は、複数の表示装置のうち、前記表示装置に設けられたタッチセンサがタッチを検知した場合に、当該タッチセンサが設けられた前記表示装置を、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置として特定する表示装置特定部と、特定された前記表示装置の前記タッチセンサが前記タッチを検知した場合、当該表示装置に前記販売管理情報を表示するタイミングであると判定する表示タイミング判定部と、前記表示するタイミングから所定時間後に前記販売管理情報の表示を消去することを前記表示装置に指示する表示制御部と、を備える。
また店舗装置は、人物のモーションをセンシングするモーションセンサから得られた情報に基づいて、表示装置に表示を要求するジェスチャを検出し、複数の表示装置のうち、前記ジェスチャによって前記表示が要求された前記表示装置を、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置として特定する表示装置特定部と、前記モーションセンサから得られた情報に基づいて前記表示装置に表示を要求するジェスチャを検出した場合に、前記ジェスチャによって前記表示が要求された前記特定された前記表示装置に前記販売管理情報を表示するタイミングであると判定する表示タイミング判定部と、前記表示するタイミングから所定時間後に前記販売管理情報の表示を消去することを前記表示装置に指示する表示制御部と、を備える。

本発明の第２の態様によれば、店舗管理システムは、複数の表示装置のうち、前記表示装置に設けられたタッチセンサがタッチを検知した場合に、当該タッチセンサが設けられた前記表示装置を、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置として特定し、前記特定した前記表示装置の前記タッチセンサが前記タッチを検知した場合、当該表示装置に前記販売管理情報を表示するタイミングであると判定し、前記表示するタイミングから所定時間後に前記販売管理情報の表示を消去することを前記表示装置に指示する店舗装置、を備える。
また店舗管理システムは、人物のモーションをセンシングするモーションセンサから得られた情報に基づいて、表示装置に表示を要求するジェスチャを検出し、複数の表示装置のうち、前記ジェスチャによって前記表示が要求された前記表示装置を、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置を特定し、前記モーションセンサから得られた情報に基づいて前記表示装置に表示を要求するジェスチャを検出した場合に、前記ジェスチャによって前記表示が要求された前記特定された前記表示装置に前記販売管理情報を表示するタイミングであると判定し、前記表示するタイミングから所定時間後に前記販売管理情報の表示を消去することを前記表示装置に指示する店舗装置、を備える。

本発明の第３の態様によれば、店舗管理方法は、複数の表示装置のうち、前記表示装置に設けられたタッチセンサがタッチを検知した場合に、当該タッチセンサが設けられた前記表示装置を、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置として特定し、特定された前記表示装置の前記タッチセンサが前記タッチを検知した場合、当該表示装置に前記販売管理情報を表示するタイミングであると判定し、前記表示するタイミングから所定時間後に前記販売管理情報の表示を消去することを前記表示装置に指示する。
また店舗管理方法は、人物のモーションをセンシングするモーションセンサから得られた情報に基づいて、表示装置に表示を要求するジェスチャを検出し、複数の表示装置のうち、前記ジェスチャによって前記表示が要求された前記表示装置を、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置として特定し、前記モーションセンサから得られた情報に基づいて前記表示装置に表示を要求するジェスチャを検出した場合に、前記ジェスチャによって前記表示が要求された前記特定された前記表示装置に前記販売管理情報を表示するタイミングであると判定し、前記表示するタイミングから所定時間後に前記販売管理情報の表示を消去することを前記表示装置に指示する。

本発明の第４の態様によれば、プログラムは、店舗装置のコンピュータに、複数の表示装置のうち、前記表示装置に設けられたタッチセンサがタッチを検知した場合に、当該タッチセンサが設けられた前記表示装置を、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置として特定し、特定された前記表示装置の前記タッチセンサが前記タッチを検知した場合、当該表示装置に前記販売管理情報を表示するタイミングであると判定し、前記表示するタイミングから所定時間後に前記販売管理情報の表示を消去することを前記表示装置に指示する、処理を実行させる。
またプログラムは、店舗装置のコンピュータに、人物のモーションをセンシングするモーションセンサから得られた情報に基づいて、表示装置に表示を要求するジェスチャを検出し、複数の表示装置のうち、前記ジェスチャによって前記表示が要求された前記表示装置を、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置として特定し、前記モーションセンサから得られた情報に基づいて前記表示装置に表示を要求するジェスチャを検出した場合に、前記ジェスチャによって前記表示が要求された前記特定された前記表示装置に前記販売管理情報を表示するタイミングであると判定し、前記表示するタイミングから所定時間後に前記販売管理情報の表示を消去することを前記表示装置に指示する、処理を実行させる。

本発明によれば、店舗に来店した人物は自身が手に取った商品名の一覧を少なくとも含む販売管理情報を店舗内の各表示装置で閲覧しながら商品購入を行うことができる。

本発明の一実施形態による店舗システムの概略図である。 本発明の一実施形態による商品棚と商品棚から商品を取得する利用者の様子を示す図である。 本発明の一実施形態による店舗装置のハードウェア構成図である。 本発明の一実施形態による店舗装置の機能ブロック図である。 本発明の一実施形態による店舗装置の処理フローを示す第一の図である。 本発明の一実施形態による店舗装置の処理フローを示す第二の図である。 本発明の一実施形態による店舗装置の最小構成を示す図である。

以下、本発明の一実施形態による店舗装置を図面を参照して説明する。
図１は同実施形態による店舗装置を備えた店舗システムの概略図である。
店舗装置１は店舗２０内に設けられた各装置と通信接続される。店舗２０には例えば入退ゲート２が設けられる。また店舗２０内には商品棚２１が複数設けられる。各商品棚２１には商品が並べられている。さらに店舗２０内には一例として商品棚２１それぞれに対応する表示装置２２が設けられる。表示装置２２は商品棚２１とは関係なく店舗内に設けられていてよい。表示装置２２は一例としてはタブレット端末等のタッチパネルを備えたコンピュータである。商品棚２１には商品棚の前に位置する人物の顔を撮影する第一カメラ３が設けられている。その他にも商品検知センサ６等のセンシング装置が店舗２０内に設けられるが以下に詳細を記載する。

本実施形態による店舗システム１００で管理される店舗２０は利用者が入退ゲート２を通って入店または退店する構造となっている。店舗２０には店員は常駐していなくてよい。店舗２０には店員が常駐していてもよい。利用者は商品棚２１から商品を手に取り、入退ゲート２を通って退店する。利用者が入退ゲート２を通って退店するまでの間、店内に設けられた何れかの撮影装置やモーションセンサなどのセンシング装置が、利用者の特徴情報や位置情報、その利用者が取得した商品の識別情報や位置等を判定するためのセンシング情報を取得し、店舗装置１へ送信する。店舗装置１は受信したそれらのセンシング情報を用いて、自動的に決済処理を行う。

図２は商品棚と商品棚から商品を取得する利用者の様子を示す図である。
商品棚２１それぞれに複数個の第一カメラ３が設けられてよい。また商品棚２１の上方にはユーザのモーションをセンシングするモーションセンサ４が設けられてよい。また商品棚２１には店舗２０の利用者が手に取った商品や、商品棚２１に返却した商品の画像を撮影する第二カメラ５が商品棚２１に上方に設けられてよい。当該第二カメラ５は、人物顔を撮影して人物を認識するカメラとは別の、商品を認識するカメラとして設けられてよい。
なお第一カメラ３や第二カメラ５は、商品棚２１に設けられていなくてもよい。第一カメラ３や第二カメラ５は、天井や床など、顔画像や利用者が手に取った商品や商品棚２１に返却した商品の画像撮影ができる位置であれば、どこに設けられていてもよい。

図３は店舗装置のハードウェア構成図である。
店舗装置１は、図３で示すようにＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、インタフェース１０５、通信モジュール１０６の各ハードウェア構成を一例として備える。ＨＤＤ１０４は、ＳＳＤ（Solid State Drive）であってもよい。

図４は店舗装置の機能ブロック図である。
店舗装置１のＣＰＵ１０１は記憶部に予め記録される店舗管理プログラムを読み出して実行する。これにより店舗装置１には制御部１１、第一位置情報取得部１２、第二位置情報取得部１３、行為検出部１４、人物特定部１５、表示装置特定部１６、表示タイミング判定部１７、販売管理部１８、表示制御部１９の各機能が少なくとも備わる。

図４に示すように店舗装置１はデータベース１０と接続されている。店舗装置１は第一通信ネットワーク８を介して入退ゲート２、第一カメラ３、モーションセンサ４、第二カメラ５、商品検知センサ６、表示装置２２、ゲート装置２３などの店舗２０内に備わる各センシング装置と通信接続されている。第一通信ネットワーク８は例えば店舗装置１と店舗２０内の各センシング装置とを繋ぐ専用の通信ネットワークである。店舗装置１はまた店舗２０の利用者が携帯する端末７と第二通信ネットワーク９を介して接続される。第二通信ネットワーク９は携帯電話網やインターネットである。店舗装置１は店舗内に備わるコンピュータサーバ装置であってもよいし、店舗２０とは遠隔に離れたコンピュータデータセンター等に設置されているコンピュータサーバ装置であってもよい。

本実施形態による上述の店舗装置１の各機能により、店舗装置１は表示装置２２の近傍に位置する利用者の中から処理対象人物を特定する。すなわち、店舗装置１は、複数の表示装置２２のいずれかから所定の範囲内に位置する利用者を、処理対象人物として特定する。そして、店舗装置１は、店舗内に複数設けられた表示装置２２のうち店舗２０内で検出された処理対象人物が当該店舗２０内で取得した商品を示す販売管理情報を表示する表示装置２２を特定する。また店舗装置１は特定された表示装置２２のうち販売管理情報を表示するタイミングを判定する。また店舗装置１は、判定したタイミングにおいて、特定した表示装置２２に販売管理情報を送信して、当該販売管理情報が表示装置２２に表示されるよう制御する。また店舗装置１は、処理対象人物の所定の動作に基づいて、販売管理情報を表示した表示装置２２に当該販売管理情報の消去指示を行う。

このような店舗装置１の処理によりユーザは自身が手に取った商品や、カゴや袋に入れた商品を示す販売管理情報を店舗２０内に設置されている表示装置２２において確認することができる。

店舗装置１は、商品に近づく利用者などの商品接近人物の生体の特徴情報の位置を示す第一位置情報を第一カメラ３から得た画像に基づいて取得する。生体の特徴情報は、例えば顔の特徴情報や、眼の虹彩の特徴情報などであってよい。商品接近人物は来店者などの利用者であってもよいし、店舗２０を管理する管理者であってもよい。また店舗装置１は、商品接近人物のうち商品に腕を伸ばした対象人物の位置を示す第二位置情報を、モーションセンサ４から得たセンシング情報に基づいて検出する。

店舗装置１は商品に対する移動行為を検出する。例えば店舗装置１は商品を撮影する第二カメラ５からの画像や、商品検知センサ６から得た情報に基づいて商品に対する移動行為を検出する。商品の移動行為とは商品を手に取った行為、商品を商品棚２１に返却した行為などである。店舗装置１は、移動行為が行われた商品のＩＤや位置、第一位置情報と第二位置情報との位置関係に基づいて商品に対する移動行為を行った処理対象人物の生体の特徴情報を特定する。店舗装置１は、その特徴情報に対応する人物のＩＤを取得する。店舗装置１は、特定した対象人物のＩＤに対応する販売管理情報等に対して、移動行為が行われた商品の識別情報を割り当てる等の管理を行う。

店舗装置１の商品に対する移動行為の検出処理について説明する。
店舗２０の利用者は入退ゲート２を通過する際、ゲート装置２３に顔を向ける。ゲート装置２３は撮影機能を有しており利用者の顔を撮影する。ゲート装置２３は利用者の顔が写る画像を店舗装置１へ送信する。販売管理部１８はゲート装置２３から得られた画像から顔の特徴情報を生成する。販売管理部１８はデータベース１０に記録されている利用者一覧に含まれる特徴情報と、ゲート装置２３から得られた特徴情報とが一致するか否かを判定する。販売管理部１８はゲート装置２３から取得した特徴情報が、データベース１０に記録されている何れかの特徴情報と一致する場合にはゲート装置２３へ一致したことを示す信号を送信する。ゲート装置２３は特徴情報の一致を検知してゲートを開く制御を行う。

なお販売管理部１８はデータベース１０に記録されている利用者一覧に含まれる特徴情報の中に、ゲート装置２３から得られた特徴情報が存在しない場合には、新たにそのゲート装置２３から得られた特徴情報をデータベース１０に記録してゲート装置２３に対してゲート開を示す指示を出力してもよい。この場合、ゲート装置２３は利用者に対してクレジットカード番号や暗証番号などの情報の入力を促し、それらの情報を取得した後にゲートを開く制御を行うようにしてもよい。販売管理部１８は、データベース１０に記録される販売管理テーブルに利用者の特徴情報に紐づく利用者ＩＤを書き込む。これにより販売管理部１８は利用者が店舗２０内で商品を購入する準備を行うことができる。なお販売管理テーブルは利用者ＩＤ、利用者が手に取った商品のＩＤ、商品の個数などの情報を対応付けて記憶するデータテーブルである。利用者が店舗２０に入店した時点においては、販売管理テーブルには利用者ＩＤに紐づいて商品ＩＤ等の商品情報は記憶されていない。

利用者が店舗内で商品を手に取りカゴ等にいれる際、第一カメラ３は商品棚２１の前に位置している利用者等の人物を商品棚２１側から撮影し、その撮影した画像や動画像を店舗装置１へ出力する。モーションセンサ４は一例として天井などの商品棚２１の上方から下方の利用者をセンシングし、そのセンシングにより得た情報を店舗装置１へ出力する。
モーションセンサ４がセンシングして出力する情報は、例えば赤外線により得られた各物体の位置までの距離を、画像に変換した距離画像などであってよい。

商品検知センサ６は例えば商品棚２１に陳列した商品ごとに設置されている。商品検知センサ６は、具体的には商品の下に敷かれたシート状の形状をしており当該シート形状に設定された各位置の商品の重量による圧力を検出する圧力センサや、当該重量そのものを検出する重量センサなどであってよい。商品検知センサ６は例えば利用者が商品を手に取った場合には、その商品検知センサ６のセンサＩＤと商品棚２１におけるその商品の店舗内の座標とを含む商品取得信号を店舗装置１へ出力する。店舗装置１は、取得した情報のそれぞれに紐づく店舗内３次元座標と時刻の対応関係と、商品検知センサ６から受信した商品検知センサ６のセンサＩＤに紐づけて記憶する商品ＩＤや店舗内３次元座標と時刻の対応関係とに基づいて人物ＩＤを特定する。取得した情報は、第一カメラ３から得た画像に基づく人物の特徴情報、モーションセンサ４から得た画像に基づく人物の骨格情報、第二カメラ５から得た画像に基づく商品ＩＤなどの商品情報である。
店舗装置１は、特定した人物ＩＤと、第二カメラ５が撮影した画像から特定された商品ＩＤとを紐づけて、データベース１０の販売管理テーブルに記録する。

商品検知センサ６は、商品が商品棚２１に戻された場合には、その商品検知センサ６のセンサＩＤや商品棚２１におけるその商品の店舗内の座標などを含む商品返品行為情報を店舗装置１へ出力する。店舗装置１は、データベース１０に記録されている対応する利用者のＩＤと商品ＩＤとの紐づけを解除する処理を行う。具体的に、店舗装置１は、その商品返品行為情報が示す商品検知センサ６のセンサＩＤに紐づけて記憶する商品ＩＤや座標、また処理対象人物の特徴情報や骨格情報に基づいて、対応する利用者の人物ＩＤと商品ＩＤとの紐づけを解除する処理を行う。

店舗装置１は商品検知センサ６から得た情報の代わりに、第二カメラ５から得た画像に基づいて、利用者が手に取った商品の識別情報と商品棚２１におけるその商品の店舗内の座標とを検出してもよい。また店舗装置１は第二カメラ５から得た画像に基づいて、商品棚２１に戻された商品の識別情報と商品棚２１におけるその商品の店舗内の座標とを検出してもよい。つまり、店舗装置１は商品検知センサ６と第二カメラ５から得た画像の少なくとも一方に基づいて、商品に対する移動行為を検出すればよい。移動行為とは利用者による商品棚２１から商品を取得する行為、または商品の商品棚２１へ戻す行為を示す。

このような処理により、店舗装置１は利用者がどの商品を手に取って、どの商品を商品棚２１に戻したかの情報を解析、記憶することができる。また利用者は退店時に入退ゲート２を通過する。この時、ゲート装置２３は退店する利用者の顔を撮影する。ゲート装置２３は利用者の顔が写る画像と退店フラグとを含む退店情報を店舗装置１へ送信する。販売管理部１８はゲート装置２３から得られた画像から顔の特徴情報を生成する。販売管理部１８はデータベース１０に記録されている利用者一覧に含まれる特徴情報と、ゲート装置２３から得られた特徴情報とが一致するか否かを判定する。販売管理部１８はゲート装置２３から取得した特徴情報がデータベース１０に記録されている何れかの特徴情報と一致する場合には、ゲート装置２３へ一致したことを示す信号を送信する。これによりゲート装置２３は入退ゲート２のゲートを開ける制御を行う。

また販売管理部１８は退店する利用者の特徴情報に基づいて利用者のＩＤをデータベース１０から読み取る。販売管理部１８はこの利用者のＩＤに基づいて、販売管理テーブルに記録されている販売管理情報に含まれる当該利用者のＩＤと、商品のＩＤとの関係を特定する。そして、販売管理部１８は、退店する利用者の購入商品を自動で検出することができる。店舗装置１はデータベース１０内の販売管理テーブルに記録されている利用者のＩＤと、商品のＩＤとを含む販売管理情報と、利用者のＩＤに基づいてデータベース１０から取得した決済用のクレジットカード番号などを用いて決済処理を自動で行う。利用者の店舗２０への入店から退店までの店舗２０内の各装置の上記処理や店舗装置１の上記処理は一例である。他の処理によって、利用者が購入した商品を検出する処理が行われるようにしてもよい。

上述のように店舗装置１は利用者が商品棚２１から商品を取得する行為や、利用者が商品を商品棚２１へ戻す行為を検出するものであるが、どの人物がどの商品を取得したかの認識精度を高める必要がある。例えば商品棚２１の前に複数の人物が位置しており、そのうちの一人の人物が特定の商品を手に取った場合、どの人物がどの商品を取得したのかを精度良く認識しなければ、店舗装置１は自動で商品の購入処理を進めることはできない。
以下、どの人物がどの商品を取得したかの認識精度を高めるための技術について詳細に説明する。店舗装置１は店員などの商品を購入する目的で来店した人物以外の人物がどの商品を取得したかを判定するものであってもよい。そして店舗装置１はこのように認識された人物が購入しようとする商品の一覧を示す販売管理情報を、店舗２０内に設置された表示装置２２へ表示する制御を行う。これにより自身の携帯端末を保有しない利用者に対して、その利用者が手に取って購入しようとする商品の情報や金額などを通知することができる。

図５は店舗装置における処理フローを示す第一の図である。
店舗装置１の第一位置情報取得部１２は、複数の第一カメラ３それぞれから一例として１秒間に数枚～数十枚程度の画像を取得する。複数の第一カメラ３は、各商品棚２１において棚前に位置する人物が撮影できるように設置される。第一位置情報取得部１２はそれら取得した画像に写る人物の生体の特徴情報を検出する（ステップＳ１０１）。生体情報は顔の特徴情報や眼の虹彩の特徴情報などであってよい。第一位置情報取得部１２は、画像中から生体の特徴情報を取得できた場合、その特徴情報が検出できた空間座標を算出する。例えば第一位置情報取得部１２に対して、予め画角や撮影方向に基づく３次元撮影空間領域が決定されているとする。
第一位置情報取得部１２は、各第一カメラ３についての３次元撮影空間領域をデータベース１０から取得する。第一位置情報取得部１２は、その取得した３次元撮影空間領域と、画像において出現した特徴情報の画像内座標と、特徴情報の大きさ等に基づいて、所定の算出式によって特徴情報が出現する３次元撮影空間領域における３次元座標を算出する。また第一位置情報取得部１２は、３次元撮影空間領域における座標から店舗空間領域を示す座標への変換式を用いて、特徴情報が出現する店舗空間領域内での３次元座標を算出する（ステップＳ１０２）。
第一位置情報取得部１２は、画像中から生体の特徴情報を取得できた場合、その画像を送信した第一カメラ３のＩＤと、検出時刻と、生体の特徴情報と、その特徴情報が出現した店舗空間領域内の３次元座標と、を対応付けて第一人物候補テーブルに記録する（ステップＳ１０３）。第一位置情報取得部１２は画像の取得する度に第一人物候補テーブルの情報を更新する。

第二位置情報取得部１３は、複数のモーションセンサ４から一例として１秒間に数枚～数十枚程度の距離画像を取得する。複数のモーションセンサ４は、各商品棚２１の上方の天井等に設けられ棚前に位置する人物を上方から下方に向けて撮影できるように設置される。第二位置情報取得部１３はそれら取得した距離画像に写る人物の画像を解析し、画像中における頭部位置、人物が伸ばした腕の軸などの骨格情報を検出する（ステップＳ１０４）。骨格情報には、例えば距離画像において解析して得られた腕の軸の直線を示すベクトル、座標、手先端の座標などが含まれてよい。なお骨格情報には少なくとも上方から見た頭や腕や手先端の座標内の位置を特定するための座標やベクトル、腕の軸を表す式などが含まれる。
第二位置情報取得部１３は、画像中から腕の軸および手先端を含む骨格情報を取得できた場合、その骨格情報を示す腕や手先端の空間座標を算出する。第一位置情報取得部１２と同様に、第二位置情報取得部１３は予め画角や撮影方向に基づく３次元撮影空間領域を記憶している。第二位置情報取得部１３は各モーションセンサ４についての３次元撮影空間領域をデータベース１０から取得する。第二位置情報取得部１３は、その取得した３次元撮影空間領域と、画像において出現した骨格情報の画像内座標と、モーションセンサ４からの距離等に基づいて、所定の算出式によって骨格情報が出現する３次元撮影空間領域における３次元座標を算出する。また第二位置情報取得部１３は、３次元撮影空間領域における座標から店舗空間領域を示す座標への変換式を用いて、骨格情報が出現する店舗空間領域内での３次元座標を算出する（ステップＳ１０５）。
第二位置情報取得部１３は、画像中から骨格情報を取得できた場合、その画像を送信したモーションセンサ４のＩＤと、検出時刻と、骨格情報と、その骨格情報が出現した店舗空間領域内の３次元座標と、を対応付けて第二人物候補テーブルに記録する（ステップＳ１０６）。第二位置情報取得部１３は距離画像の取得する度に第二人物候補テーブルの情報を更新する。

商品検知センサ６は一例としては商品の重量や、当該重量による圧力を検知する。商品検知センサ６は、その重量や圧力の増減等に基づいて、重量や圧力の減少が閾値以上である場合には、減少を示すフラグとセンサＩＤと商品の配置位置（商品棚ＩＤや配置段番号など）と行為検出時刻とを含む商品取得行為情報を店舗装置１へ出力する。また商品検知センサ６は重量や圧力の増減等に基づいて、重量や圧力の増加が閾値以上である場合には、増加を示すフラグとセンサＩＤと商品の配置位置と行為検出時刻とを含む商品返却行為情報を店舗装置１へ出力する。
店舗装置１の行為検出部１４は商品検知センサ６から商品取得行為情報や商品返却行為情報を取得する（ステップＳ１０７）。行為検出部１４は商品取得行為情報に基づいて、商品取得行為情報に含まれるセンサＩＤに紐づいて記憶している商品ＩＤを取得する。これにより、行為検出部１４は、その商品ＩＤの商品が配置位置で示される商品棚２１から取得されたことを検知する。また行為検出部１４は商品返却行為情報に基づいて、商品取得行為情報に含まれるセンサＩＤに紐づいて記憶している商品ＩＤを取得する。これにより、行為検出部１４は、その商品ＩＤの商品が配置位置で示される商品棚２１に戻されたことを検知する。行為検出部１４は商品取得行為情報または商品返却行為情報に含まれるセンサＩＤに対応する商品ＩＤ、配置位置、行為検出時刻を人物特定部１５へ出力する。

人物特定部１５は行為検出部１４から移動行為が行われた商品ＩＤ、配置位置、行為検出時刻を取得すると、次の判定処理を行う。すなわち、人物特定部１５は、配置位置が示す店舗空間領域における３次元座標に所定距離以内となる近い座標を含み、行為検出時刻と所定時間差以内の検出時刻に紐づく骨格情報が、第二人物候補テーブルに記録されているか否かを判定する。人物特定部１５は、移動行為が行われた商品の３次元座標に所定距離以内となる近い座標を含み、行為検出時刻と所定時間差以内の検出時刻に紐づく骨格情報が第二人物候補テーブルに記録されている場合、その骨格情報を取得する（ステップＳ１０８）。
例えば骨格情報には手の先端の３次元座標が含まれている。人物特定部１５は商品の３次元座標と手の先端の３次元座標がほぼ同時刻に接近している場合には、その手の先端の３次元座標を含む骨格情報を、商品を手に取った人物の骨格情報と推定してその骨格情報を取得する。したがって人物特定部１５は移動行為が行われた商品の３次元座標に基づいて、上述のように取得した骨格情報に含まれる頭部の３次元座標とその骨格情報の検出時刻とを取得する（ステップＳ１０９）。
人物特定部１５はその頭部の３次元座標から所定距離以内の３次元座標に紐づくと共に、検出時刻が所定時間差以内の顔の特徴情報を第一人物候補テーブルから取得する（ステップＳ１１０）。店舗装置１は、予め顔の特徴情報と人物のＩＤとを紐づけて予めデータベース１０内の人物特徴テーブルに記憶していることとする。人物特定部１５はその記憶情報に基づいて、骨格情報から取得した顔の特徴情報を用いて人物のＩＤを検出する（ステップＳ１１１）。

上述の処理によれば店舗装置１は、商品棚２１の商品を取得した人物の腕や手のモーションによる位置や移動行為が行われた商品の位置を検出する。また、店舗装置１は、人物の腕や手のモーションによる位置や商品の位置の対応関係に基づいて、どの商品がどの人物に取得されたか、またどの商品がどの人物により返却されたかを判定している。このような処理により従来と比較して精度良くどの商品がどの人物により取得されたか、またどの商品がどの人物から返却されたかを判定することができる。

上述のステップＳ１０７で示す商品取得行為情報や商品返却行為情報を取得する処理において、店舗装置１は、第二カメラ５から得た画像に基づいて、商品取得行為と商品返却行為の何れの移動行為が行われたのかを判定してもよい。例えば行為検出部１４は第二カメラ５それぞれから一例として１秒間に数枚～数十枚程度の画像を取得する。第二カメラ５は、各商品棚２１の範囲に画角を合わせて当該棚に置かれている商品を撮影する。
行為検出部１４は商品棚２１に置かれている商品それぞれの画像データに基づいて、それら画像に写る商品それぞれの前後の移動量や商品の有無をパターンマッチング等や移動解析を行って順次検出し、移動した商品を特定する。また行為検出部１４は例えば前後に受信した画像間で商品棚２１に配置されていた商品が無くなっている場合には商品が取得されたと判定する。一方、行為検出部１４は前後に受信した画像間で商品棚２１に配置されていなかった商品が配置されている場合には商品が商品棚２１に戻されたと判定する。

そして行為検出部１４は商品が取得されたと判定した場合、その商品のＩＤと商品の配置位置を含む商品取得行為情報を生成する。商品のＩＤは、データベース１０等に商品の画像データに紐づいて記録されているＩＤであってよい。また商品の配置位置は、第二カメラ５が撮影する画像内の座標に基づいて算出された店舗空間領域における３次元座標であってよい。行為検出部１４は商品が商品棚２１に戻されたと判定した場合、その商品のＩＤと商品の配置位置を含む商品返却行為情報を生成する。行為検出部１４は商品取得行為情報または商品返却行為情報に含まれる商品のＩＤや配置位置を人物特定部１５へ出力する。以降の人物特定部１５による処理は、上述した商品検知センサ６から得た移動行為が行われた商品の座標を用いて行う人物の特定処理と同様の処理であってよい。

なお図２で示すように商品を撮影する第二カメラ５は商品棚２１に複数設置され、行為検出部１４はそれぞれの第二カメラ５で撮影された画像に基づいて移動行為が行われた商品を判定してよい。第二カメラ５は商品棚２１だけでなく、天井や床に設置されていてもよい。複数の第二カメラ５が別々方向から移動行為が行われた商品を撮影し複数の画像を解析することで商品の認識精度を高めることができる。この場合、行為検出部１４は移動行為が行われた商品を異なる方向から撮影した各画像を、複数の第二カメラ５から順次取得する。行為検出部１４は複数の第二カメラ５から取得した各画像に写る商品をパターンマッチングにより検出する。また行為検出部１４は、その商品の３次元座標を、撮影方向、画角、商品の大きさなどの情報を算出式に代入して画像に写る商品の３次元座標を算出する。行為検出部１４は、同じ商品棚２１を撮影する複数の第二カメラ５それぞれから取得した各画像に写る同じ商品を、同じ時刻に検出した場合、それらが一つの商品であることを認識する。そして、行為検出部１４はそれら複数の画像から一つの商品の移動行為を認識する。なおデータベース１０には各商品の異なる複数の角度から見た場合の特徴情報や画像情報が記録されている。行為検出部１４はこのようなデータベース１０に記録されている商品の特徴情報や画像情報を用いて、新たに第二カメラ５で撮影された画像に写る商品を認識する。

人物特定部１５はステップＳ１１１において商品に移動行為を行った人物のＩＤを検出すると、販売管理情報を販売管理部１８へ出力する。販売管理情報は、その人物のＩＤと、移動行為を示す情報である商品取得行為情報または商品返却行為情報とを含む。販売管理部１８は販売管理情報から人物のＩＤと、商品取得行為情報または商品返却行為情報を取得する。販売管理部１８は商品取得行為情報または商品返却行為情報のうち、商品取得行為情報を取得したか否かを判定する（ステップＳ１１２）。販売管理部１８は販売管理情報に商品取得行為情報が含まれる場合には（Ｓ１１２のＹＥＳ）、購入処理を行う（ステップＳ１１３）。すなわち、販売管理部１８は、人物ＩＤに紐づいてデータベース１０の販売管理テーブルに記録される商品情報に、商品取得行為情報に含まれる商品ＩＤを１つ加える購入処理を行う。これにより人物ＩＤで示される人物が商品を購入したことがデータベース１０に記録される。
一方、販売管理部１８は販売管理情報に商品返却行為情報が含まれる場合には（Ｓ１１２のＮＯ）、返却処理を行う（ステップＳ１１４）。すなわち、販売管理部１８は、人物ＩＤに紐づいてデータベース１０の販売管理テーブルに記録される商品情報の中から、商品返却行為情報に含まれる商品ＩＤを１つ削除する返却処理を行う。これにより人物ＩＤで示される人物が商品を購入対象から外したことがデータベース１０に記録される。

なお販売管理部１８は人物ＩＤ、及び、販売管理テーブルの更新を行ったことを示す販売管理情報変更通知を表示制御部１９に出力する。表示制御部１９は販売管理情報変更通知を受け取ると、その通知に基づいて、当該人物ＩＤに紐づいてデータベース１０の人物管理テーブルに記録される端末７の端末ＩＤを取得する。表示制御部１９は端末ＩＤに基づいて、端末７へ送信する販売管理情報を生成する（ステップＳ１１５）。販売管理情報は一例としては人物ＩＤ、その人物ＩＤで特定される人物が手に取って購入商品とし判定された商品の名前、ＩＤ等の一覧、各商品の個数、各商品の単価、購入商品として判定された全商品の合計金額、とを含む情報であってよい。
表示制御部１９は生成された販売管理情報を端末ＩＤに基づいて端末７へ送信する（ステップＳ１１６）。端末ＩＤは端末７のネットワーク上のアドレスや、端末７で記憶する専用アプリケーションプログラムに割り当てられたＩＤなどであってよい。端末７は販売管理情報を受信し画面に出力する。これによりステップＳ１１１で検出された人物の保持する端末７に販売管理情報が表示され、その人物は自分が店舗内で購入しようとしている商品の一覧や合計金額を把握することができる。
店舗装置１の制御部１１は処理を終了するか否かを判定する（ステップＳ１１７）。制御部１１は処理を終了しない場合には（ステップＳ１１７のＮＯ）、ステップＳ１０１からの処理を繰り返す。店舗装置１の各処理部は、上述の処理を店舗に備えられた各センサから得た情報に基づいて、各人物について並行に処理を行う。

上述の処理において店舗装置１の販売管理部１８は、人物特定部１５の特定した人物のＩＤに対応する販売管理情報に、その人物により移動行為が行われた商品のＩＤを割り当てる処理をしている。しかしながら、販売管理部１８はその商品が購入されようとしていることを示す販売管理情報として記憶する代わりに、その商品に対して人物が興味を抱いたことを示す商品価値管理情報として、他のデータテールブルにその商品ＩＤの情報を記録するようにしてもよい。
また上述の処理において店舗装置１の販売管理部１８は、人物特定部１５の特定した人物のＩＤに対応する販売管理情報に、その人物により商品棚２１に返却される移動行為が行われた商品のＩＤを割り当てる処理をしている。しかしながら、販売管理部１８はその商品が返却されたことを示す販売管理情報として記憶する代わりに、商品に対して人物が興味を抱いたが購入するまでに至らなかったことを示す商品価値管理情報として、他のデータテールブルにその商品ＩＤの情報を記録するようにしてもよい。

なお上述の店舗装置１の処理は商品棚２１の前に人物が一人だけ位置しており、その人物が商品を取得する場合や商品を商品棚２１に返却する場合の人物の特定と、移動行為が行われた商品の特定を行っている。しかしながら店舗装置１は商品棚２１の前に人物が複数人いた場合にも同様の処理によって、どの人物がどの商品に移動行為を行ったかを判定するようにしてもよい。この場合、第二位置情報取得部１３は、各モーションセンサ４から取得した距離画像を用いて、各距離画像に写る人物の骨格情報を人物ごとに精度良く検出する必要がある。第二位置情報取得部１３は距離画像に写る人物の人数に基づいて、それぞれの人物の骨格情報の検出処理を行うこととなるため、距離画像に写る人物の人数が多い程、第二位置情報取得部１３の処理負荷が重くなる。しかしながら店舗装置１の短時間あたりの処理能力が大きい場合、短時間で距離画像に写る人物の骨格情報を検出することができる。このように店舗装置１の短時間あたりの処理能力を大きくすることにより、人物の特徴情報の検出や、商品の移動行為の検出を短時間で行うことができる。

上述の処理において、表示制御部１９は生成された販売管理情報に含まれる人物ＩＤと商品ＩＤとに基づいて、宣伝動画像の画像データを特定してもよい。表示制御部１９は、販売管理情報に含まれる人物ＩＤと商品ＩＤとに基づいて、その商品やその商品の関連商品についての１つまたは複数の宣伝動画像をデータベース１０に記録される複数の宣伝動画像の中から画像データを特定する。そして表示制御部１９は、その特定した１つまたは複数の宣伝動画像の画像データを取得する。
表示制御部１９はこの画像データを、人物ＩＤで特定される端末ＩＤの端末７や、店舗２０内に設置され人物ＩＤで示される人物が位置する近傍の商品棚２１に設置されたモニタに出力する制御を行うようにしてもよい。

図６は店舗装置における処理フローを示す第二の図である。
上述の処理によって店舗内において利用者が手に取った商品ＩＤなど情報が販売管理情報として蓄積されていく。利用者は店舗２０内に設置されている表示装置２２にその販売管理情報を表示させることができる。例えば具体的には、表示装置特定部１６は第一カメラ３から画像を順次取得する（ステップＳ２０１）。表示装置特定部１６は、第一カメラ３のＩＤに紐づいて記録される商品棚２１のＩＤをデータベース１０から取得する。表示装置特定部１６はその商品棚２１のＩＤに紐づいて記録されている表示装置２２の３次元座標をデータベース１０から取得する（ステップＳ２０２）。
表示装置特定部１６は第一カメラ３から得た画像に写る利用者の特徴情報が位置する座標に基づいて、その特徴情報が出現する店舗内３次元空間における３次元座標を算出する（ステップＳ２０３）。例えば表示装置特定部１６は画像に写る利用者の両目の間隔の長さに基づいて、第一カメラ３からの利用者までの距離を推定する。表示装置特定部１６は、推定した距離と画像内の目の位置と、第一カメラ３の撮影方向と画角とを座標算出式に代入して、その結果、店舗内における利用者の３次元座標を算出する。

表示装置特定部１６は、第一カメラ３から得た画像に写る一人または複数人の利用者の特徴情報が示す３次元座標のうち、第一カメラ３に対応する表示装置２２の３次元座標に最も近い利用者の３次元座標を特定する（ステップＳ２０４）。表示装置特定部１６は、その特定した利用者の３次元座標と、第一カメラ３に対応する表示装置２２の３次元座標との距離が閾値以下になったかどうかを判定する（ステップＳ２０５）。表示装置特定部１６は利用者の特徴情報が示す３次元座標と、第一カメラ３に対応する表示装置２の３次元座標との距離が閾値以下になった場合には（ステップＳ２０５のＹＥＳ）、その表示装置２２を、特定した利用者の販売管理情報を表示する候補として特定する（ステップＳ２０６）。表示装置特定部１６は候補として特定した表示装置２２のＩＤと、その表示装置２２との距離が閾値以下となった特徴情報に対応する利用者のＩＤとを、表示タイミング判定部１７へ出力する。これにより利用者の販売管理情報を表示する表示装置を特定することができる。

表示装置特定部１６は、モーションセンサ４から得た距離画像を用いて利用者の店舗内における３次元座標を特定し、利用者に近い表示装置２２を特定するようにしてもよい。具体的には距離画像から骨格情報を抽出し、第一カメラ３から得られた利用者の特徴情報の座標に対応する位置の骨格情報の座標と、表示装置２２の座標とを比較する。表示装置特定部１６は骨格情報の座標と表示装置２２の座標とが閾値以下となる骨格情報と表示装置２２とを特定する。表示装置特定部１６は、その骨格情報に対応する特徴情報の利用者のＩＤと、その表示装置２２のＩＤとを表示タイミング判定部１７へ出力する。

表示タイミング判定部１７は、表示装置特定部１６から得た表示装置２２のＩＤに販売管理情報を表示するタイミングを判定する（ステップＳ２０７）。具体的には表示タイミング判定部１７は、表示装置特定部１６から表示装置ＩＤと利用者ＩＤの組を取得したタイミングで、その利用者ＩＤが示す利用者の販売管理情報を、その表示装置ＩＤが示す表示装置２２に表示すると判定してもよい。この場合、表示タイミング判定部１７は、表示装置特定部１６から取得した表示装置ＩＤと利用者ＩＤとを直ちに表示制御部１９へ出力する。
表示制御部１９は、利用者ＩＤに基づいてデータベースの販売管理テーブルからその利用者ＩＤが示す利用者の販売管理情報を読み出す。表示制御部１９は表示タイミング判定部１７から取得した表示装置ＩＤが示す表示装置へ、その販売管理情報を送信する（ステップＳ２０８）。表示装置２２は販売管理情報を受信して画面に出力する。

表示装置２２は、タッチパネル等のタッチセンサを備える。表示装置２２は、利用者がタッチパネルをタッチしたことに基づいてそのタッチ行為を検知し、タッチされたことを示す情報と表示装置ＩＤとを含むタッチ信号を店舗装置１へ送信する。店舗装置１の表示タイミング判定部１７は、このタッチ信号を検出し、表示装置特定部１６が特定した表示装置ＩＤとタッチ信号に含まれる表示装置ＩＤが一致するか否かを判定する。表示タイミング判定部１７はそれら表示装置ＩＤが一致する場合、その表示装置ＩＤと、表示装置特定部１６から取得した情報のうち一致した表示装置ＩＤと組みを成す利用者ＩＤとを、表示制御部１９へ出力する。表示制御部１９は、利用者ＩＤに基づいて、データベースの販売管理テーブルからその利用者ＩＤが示す利用者の販売管理情報を読み出す。表示制御部１９は表示タイミング判定部１７から取得した表示装置ＩＤが示す表示装置へ、その販売管理情報を送信する。表示装置２２は販売管理情報を受信して画面に出力する。

表示タイミング判定部１７はモーションセンサ４から得た距離画像に基づいて骨格情報を上記と同様に取得し、その骨格情報を用いて販売管理情報の表示タイミングを判定してもよい。例えば表示タイミング判定部１７は骨格情報が示す腕の軸が示す情報や手先端の位置の動きを検出する。表示タイミング判定部１７は腕の軸が、表示装置特定部１６から得た表示装置ＩＤの表示装置２２に伸びていることを検出する。そして表示タイミング判定部１７は腕の軸が伸びている方向に位置する表示装置２２の表示装置ＩＤと、その方向の腕を伸ばした利用者のＩＤとを表示制御部１９へ出力する。表示制御部１９は利用者ＩＤに基づいて、データベースの販売管理テーブルから、その利用者ＩＤが示す利用者の販売管理情報を読み出す。表示制御部１９は、表示タイミング判定部１７から取得した表示装置ＩＤが示す表示装置へ、その販売管理情報を送信する。表示装置２２は販売管理情報を受信して画面に出力する。

上記処理の代わりに表示装置特定部１６が、利用者のモーションセンサ４から得られた情報に基づいて表示装置２２に表示を要求するジェスチャを検出し、そのジェスチャにより表示が要求された表示装置２２に販売管理情報を表示すると判定してよい。ジェスチャは、例えば利用者が視線を表示装置２２に向けるジェスチャである。そして、表示タイミング判定部１７は、モーションセンサ４や第一カメラ３から得られた画像情報に基づいて表示装置２２に表示を要求するジェスチャ（視線を向けるなどのジェスチャ）を検出した場合に、そのジェスチャにより表示が要求された表示装置２２に販売管理情報を表示させるタイミングであると判定するようにしてもよい。

以上の処理によれば店舗装置１は利用者の販売管理情報を、その利用者の近傍に設置されている表示装置２２に表示することができる。これにより自身の携帯端末などを所持していない利用者も、店舗内に設置されている表示装置２２に写る自身の取得した商品の一覧や商品の金額、それら商品の合計金額を確認することができる。また上述の処理によれば、第一カメラ３が取得した画像に複数の利用者が撮影されている場合であっても、最も表示装置２２に近い利用者を候補として特定して、その利用者の販売管理情報を表示することができる。

また上述の処理によれば利用者が移動して対面する商品棚２１が変わる度に、店舗装置１はその利用者の販売管理情報を、対面する商品棚２１に設けられている表示装置２２に順次移動させて表示することができる。

上述の処理において店舗装置１は、表示装置２２との距離が所定以下となる利用者の販売管理情報を表示装置２２に出力している。ただし、店舗装置１は、複数の利用者が画像に写る場合には、複数の利用者のうち最も表示装置２２との距離の近い利用者の販売管理情報を出力するようにしてもよい。この場合、表示装置特定部１６が、第一カメラ３やモーションセンサ４から得られた画像内の座標と、表示装置２２の座標とに基づいて、それら第一カメラ３やモーションセンサ４に対応する表示装置２２に最も近い利用者を算出する。このように、表示装置特定部１６は、複数の表示装置２２のいずれかから所定範囲内に位置する人物のうち、表示装置２２に最も近い人物を特定する。
または店舗装置１は、商品棚２１に最も近い利用者を判定して、その利用者の販売管理情報を特定した表示装置２２に出力するようにしてもよい。この場合も同様に、表示装置特定部１６が、第一カメラ３やモーションセンサ４から得られた画像内の座標と、商品棚２１の座標とに基づいて、それら第一カメラ３やモーションセンサ４に対応する商品棚２１に最も近い利用者を算出する。このように、表示装置特定部１６は、複数の表示装置２２のいずれかから所定範囲内に位置する人物のうち、表示装置２２が設けられた商品棚２１に最も近い人物を特定する。

表示制御部１９は販売管理情報の他に、その販売管理情報が示す商品に基づいて他の関連商品を推定し、その関連商品の宣伝情報や配置されている商品棚２１の店舗内位置を示す地図情報を表示装置２２に出力するようにしてもよい。例えば表示制御部１９はデータベース１０に各商品ＩＤと、その商品関連する関連商品を示す関連商品ＩＤとを記憶している。ある商品に関連する関連商品は、過去の購買情報に基づいて統計手法を用いて推定されたある商品に関連する商品であってよい。この推定は店舗装置１が行ってもよいし、他の通信接続された統計処理装置が行っていてもよい。

表示制御部１９は、表示装置２２に出力した販売管理情報の表示を販売管理情報の表示の要求から所定時間後に消去することを、その表示装置２２に指示してもよい。または表示タイミング判定部１７が、第一カメラ３から得られた画像やモーションセンサ４から得られた距離画像に写る利用者の表示装置２２や商品棚２１からの距離を継続して判定し、その距離が離れた場合に販売管理情報の表示の消去を表示制御部１９に指示する。
表示制御部１９からの指示に基づいて表示装置２２の表示を消去する制御が行われてもよい。表示制御部１９は、第一カメラ３から得られた画像やモーションセンサ４から得られた距離画像に写る利用者の視線が、表示装置２２から外れたことを検出して、その場合に表示装置２２の表示を消去する制御してもよい。

表示装置２２は、表示した販売管理情報の変更操作を受け付けることができてよい。例えば利用者が自身の販売管理情報が表示装置２２に表示され確認した際、自身が手に取ってカゴ等にいれた商品やその数量と、販売管理情報が示す商品やその数量とが異なる場合を例示する。この場合、表示装置２２に商品の変更や、数量の変更を入力することができる。または、利用者は、手に取っていない商品が販売管理情報に含まれる場合には、その商品を販売管理情報から削除する指示を表示装置２２に入力する。表示装置２２は入力された変更指示に基づいて変更要求を生成し店舗装置１へ出力する。店舗装置１の販売管理部１８は、変更要求に基づいてデータベース１０の販売管理テーブルに記録される販売管理情報を変更してもよい。
例えば、変更要求が数量変更を示す場合には、変更要求には商品ＩＤと新たな商品数が格納される。または変更要求が商品変更を示す場合には、変更要求には誤っている商品ＩＤと、正しい商品ＩＤが格納されている。販売管理部１８はこれら変更要求と、販売管理情報が一致するように販売管理情報を変更する。販売管理部１８は販売管理情報を変更する場合、変更要求を行った利用者のＩＤと変更要求の内容とをデータベース１０に格納し、その変更要求が正しいかどうかを解析するようにしてもよい。店舗装置１は変更要求が不正である場合には、利用者のＩＤを不正利用者情報としてデータベース１０に記録するようにしてもよい。

販売管理部１８上述の変更要求を許可するために、表示装置２２に変更要求を指示した利用者が、販売管理情報に対応する利用者であるか否かを第一カメラ３やモーションセンサ４から得た画像に基づいて確認するようにしてもよい。例えば、店舗装置１は、それら画像から得られた表示装置２２を操作する利用者の特徴情報が、販売管理情報に対応する利用者の特徴情報と一致する場合に、変更要求に基づく販売管理情報の変更を許可する。店舗装置１は他の処理によって販売管理情報の変更要求を許可するようにしてもよい。

表示制御部１９は、表示装置２２に表示する販売管理情報のうち所定の商品についての情報のみを出力するよう制御してもよい。例えば表示制御部１９はある商品棚２１に設けられた表示装置２２に表示する販売管理情報については、その商品棚２１がある所定エリアで管理された商品の情報だけを表示装置２２に表示するよう制御してもよい。

店舗２０に設置された各商品棚２１は、例えば図２で示すように、ある商品棚２１の商品取り出し方向の面の位置が、隣接する商品棚２１の商品取り出し方向の面の位置とずれるように配置される。このように商品棚２１を配置することにより、利用者の特徴情報を撮影する第一カメラ３や、利用者が手に取った商品を撮影する第二カメラ５から得た画像に基づいて、どの利用者がどの商品を手に取ったかを判定する際に、各画像に写る商品棚２１との利用者との関係が明確となる。これにより、その判定の難易度を低下させることができる。例えばある商品棚２１の端に位置する利用者が、その商品棚２１の隣りに位置する商品棚２１の商品を手に取るような場合に、画像に基づいて、利用者が対面する商品棚２１とは異なる隣りの商品棚２１の商品を取得したことを判定する処理労力を軽減することができる。

図７は店舗装置の最小構成を示す図である。
店舗装置１は少なくとも、表示装置特定部１６、表示タイミング判定部１７を備えればよい。
表示装置特定部１６は、店舗２０内に複数設けられた表示装置２２のうち、店舗２０内で検出された処理対象人物が当該店舗２０内で取得した商品を示す販売管理情報を表示する表示装置２２を特定する。
表示タイミング判定部１７は、特定された表示装置のうち販売管理情報を表示するタイミングを判定する。

上述の各装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限らない。

（付記１）
複数の表示装置のうち、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置を特定する表示装置特定部と、
特定された前記表示装置に前記販売管理情報を表示するタイミングを判定する表示タイミング判定部と、
を備える店舗装置。

（付記２）
前記複数の表示装置のいずれかから所定範囲内に位置する人物を、前記処理対象人物として特定する人物特定部と、
を備える付記１に記載の店舗装置。

（付記３）
前記人物特定部は、前記所定範囲内に位置する人物のうち、前記表示装置に最も近い人物を前記処理対象人物として特定する付記２に記載の店舗装置。

（付記４）
前記人物特定部は、前記所定範囲内に位置する人物のうち、前記表示装置が設けられた商品棚に最も近い人物を前記処理対象人物として特定する付記２に記載の店舗装置。

（付記５）
前記人物特定部は、撮影装置によって撮影された一人または複数人の前記人物が写る画像から得られた当該人物の特徴情報に基づいて、前記処理対象人物を特定する
付記２乃至付記４の何れか一つに記載の店舗装置。

（付記６）
前記表示装置特定部は、前記表示装置に設けられたタッチセンサがタッチを検知した場合に、当該タッチセンサが設けられた前記表示装置を、前記販売管理情報を表示する前記表示装置として特定し、
前記表示タイミング判定部は、前記タッチセンサが前記タッチを検知した場合に当該タッチセンサが設けられた前記表示装置に前記販売管理情報を表示させるタイミングであると判定する
付記１から付記５の何れか一つに記載の店舗装置。

（付記７）
前記表示装置特定部は、人物のモーションをセンシングするモーションセンサから得られた情報に基づいて、前記表示装置に表示を要求するジェスチャを検出し、前記ジェスチャによって前記表示が要求された前記表示装置を、前記販売管理情報を表示する前記表示装置として特定し、
前記表示タイミング判定部は、前記モーションセンサから得られた情報に基づいて前記表示装置に表示を要求するジェスチャを検出した場合に、前記ジェスチャによって前記表示が要求された前記表示装置に前記販売管理情報を表示させるタイミングであると判定する
付記１から付記５の何れか一つに記載の店舗装置。

（付記８）
前記販売管理情報を前記表示装置に送信して当該販売管理情報を表示するよう制御するとともに、前記処理対象人物の所定の動作に基づいて前記販売管理情報を表示した前記表示装置に当該販売管理情報の消去指示を行う表示制御部と、
を備える付記１から付記７の何れか一つに記載の店舗装置。

（付記９）
前記表示装置に表示した前記販売管理情報が示す前記商品と当該商品の数量との変更を当該表示装置から取得して前記販売管理情報を変更する販売管理部と、
を備えることを特徴とする付記１から付記８の何れか一つに記載の店舗装置。

（付記１０）
複数の表示装置のうち、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置を特定し、前記特定した前記表示装置に前記販売管理情報を表示するタイミングを判定する店舗装置、
を備える店舗システム。

（付記１１）
複数の表示装置のうち、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置を特定し、
特定された前記表示装置に前記販売管理情報を表示するタイミングを判定する
店舗管理方法。

（付記１２）
店舗装置のコンピュータに、
複数の表示装置のうち、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置を特定し、
特定された前記表示装置に前記販売管理情報を表示するタイミングを判定する、
処理を実行させるプログラム。

この出願は、２０１７年８月２５日に日本出願された特願２０１７－１６２６１０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明によれば、店舗に来店した人物は自身が手に取った商品名の一覧を少なくとも含む販売管理情報を店舗内の各表示装置で閲覧しながら商品購入を行うことができる。

１・・・店舗装置
２・・・入退ゲート
３・・・第一カメラ
４・・・モーションセンサ
５・・・第二カメラ
６・・・商品検知センサ
７・・・端末
１０・・・データベース
１１・・・制御部
１２・・・第一位置情報取得部
１３・・・第二位置情報取得部
１４・・・行為検出部
１５・・・人物特定部
１６・・・表示装置特定部
１７・・・表示タイミング判定部
１８・・・販売管理部
１９・・・表示制御部
２０・・・店舗
２１・・・商品棚
２２・・・表示装置
２３・・・ゲート装置

Claims (12)

1. 複数の表示装置のうち、前記表示装置に設けられたタッチセンサがタッチを検知した場合に、当該タッチセンサが設けられた前記表示装置を、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置として特定する表示装置特定部と、
   特定された前記表示装置の前記タッチセンサが前記タッチを検知した場合、当該表示装置に前記販売管理情報を表示するタイミングであると判定する表示タイミング判定部と、
   前記表示するタイミングから所定時間後に前記販売管理情報の表示を消去することを前記表示装置に指示する表示制御部と、
   を備える店舗装置。
2. 人物のモーションをセンシングするモーションセンサから得られた情報に基づいて、表示装置に表示を要求するジェスチャを検出し、複数の表示装置のうち、前記ジェスチャによって前記表示が要求された前記表示装置を、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置として特定する表示装置特定部と、
   前記モーションセンサから得られた情報に基づいて前記表示装置に表示を要求するジェスチャを検出した場合に、前記ジェスチャによって前記表示が要求された前記特定された前記表示装置に前記販売管理情報を表示するタイミングであると判定する表示タイミング判定部と、
   前記表示するタイミングから所定時間後に前記販売管理情報の表示を消去することを前記表示装置に指示する表示制御部と、
   を備える店舗装置。
3. 前記複数の表示装置のいずれかから所定範囲内に位置する人物を、前記処理対象人物として特定する人物特定部と、
   を備える請求項１または請求項２に記載の店舗装置。
4. 前記人物特定部は、前記所定範囲内に位置する人物のうち、前記表示装置に最も近い人物を前記処理対象人物として特定する請求項３に記載の店舗装置。
5. 前記人物特定部は、前記所定範囲内に位置する人物のうち、前記表示装置が設けられた商品棚に最も近い人物を前記処理対象人物として特定する請求項３に記載の店舗装置。
6. 前記人物特定部は、撮影装置によって撮影された一人または複数人の前記人物が写る画像から得られた当該人物の特徴情報に基づいて、前記処理対象人物を特定する
   請求項３乃至請求項５の何れか一項に記載の店舗装置。
7. 複数の表示装置のうち、前記表示装置に設けられたタッチセンサがタッチを検知した場合に、当該タッチセンサが設けられた前記表示装置を、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置として特定し、前記特定した前記表示装置の前記タッチセンサが前記タッチを検知した場合、当該表示装置に前記販売管理情報を表示するタイミングであると判定し、前記表示するタイミングから所定時間後に前記販売管理情報の表示を消去することを前記表示装置に指示する店舗装置、
   を備える店舗システム。
8. 人物のモーションをセンシングするモーションセンサから得られた情報に基づいて、表示装置に表示を要求するジェスチャを検出し、複数の表示装置のうち、前記ジェスチャによって前記表示が要求された前記表示装置を、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置を特定し、前記モーションセンサから得られた情報に基づいて前記表示装置に表示を要求するジェスチャを検出した場合に、前記ジェスチャによって前記表示が要求された前記特定された前記表示装置に前記販売管理情報を表示するタイミングであると判定し、前記表示するタイミングから所定時間後に前記販売管理情報の表示を消去することを前記表示装置に指示する店舗装置、
   を備える店舗システム。
9. 複数の表示装置のうち、前記表示装置に設けられたタッチセンサがタッチを検知した場合に、当該タッチセンサが設けられた前記表示装置を、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置として特定し、
   特定された前記表示装置の前記タッチセンサが前記タッチを検知した場合、当該表示装置に前記販売管理情報を表示するタイミングであると判定し、
   前記表示するタイミングから所定時間後に前記販売管理情報の表示を消去することを前記表示装置に指示する
   店舗管理方法。
10. 人物のモーションをセンシングするモーションセンサから得られた情報に基づいて、表示装置に表示を要求するジェスチャを検出し、複数の表示装置のうち、前記ジェスチャによって前記表示が要求された前記表示装置を、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置として特定し、
    前記モーションセンサから得られた情報に基づいて前記表示装置に表示を要求するジェスチャを検出した場合に、前記ジェスチャによって前記表示が要求された前記特定された前記表示装置に前記販売管理情報を表示するタイミングであると判定し、
    前記表示するタイミングから所定時間後に前記販売管理情報の表示を消去することを前記表示装置に指示する
    店舗管理方法。
11. 店舗装置のコンピュータに、
    複数の表示装置のうち、前記表示装置に設けられたタッチセンサがタッチを検知した場合に、当該タッチセンサが設けられた前記表示装置を、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置として特定し、
    特定された前記表示装置の前記タッチセンサが前記タッチを検知した場合、当該表示装置に前記販売管理情報を表示するタイミングであると判定し、
    前記表示するタイミングから所定時間後に前記販売管理情報の表示を消去することを前記表示装置に指示する、
    処理を実行させるプログラム。
12. 店舗装置のコンピュータに、
    人物のモーションをセンシングするモーションセンサから得られた情報に基づいて、表示装置に表示を要求するジェスチャを検出し、複数の表示装置のうち、前記ジェスチャによって前記表示が要求された前記表示装置を、店舗内で検出された処理対象人物が当該店舗内で取得した商品を示す販売管理情報を表示する表示装置として特定し、
    前記モーションセンサから得られた情報に基づいて前記表示装置に表示を要求するジェスチャを検出した場合に、前記ジェスチャによって前記表示が要求された前記特定された前記表示装置に前記販売管理情報を表示するタイミングであると判定し、
    前記表示するタイミングから所定時間後に前記販売管理情報の表示を消去することを前記表示装置に指示する、
    処理を実行させるプログラム。

Images