JP7031034B2 - 商品データ処理装置、商品データ処理システム、及び商品データ処理プログラム - Google Patents

Description

本発明の実施形態は、商品データ処理装置、商品データ処理システム、及び商品データ処理プログラムに関する。

例えば小売店などの店舗において、購入される商品の情報を入力する商品データ処理装置が実用化されている。また、商品データ処理装置には、利用者自身の操作によって購入する商品の情報を入力するものがある。しかしながら、利用者自身の操作で商品の情報を入力する商品データ処理装置では、利用者が商品の情報を入力せずに未登録の商品が精算用のカゴに投入される可能性がある。商品データ処理装置に商品の情報が入力されていない商品は、未決済のままで店舗から持ち出される可能性があるという課題がある。

特開２００５－１２２４２０号公報

本発明は、入力されていない商品を検出することができる商品データ処理装置、商品データ処理システム、及び商品データ処理プログラムを提供することを目的とする。

実施形態に係る商品データ処理装置は、商品を識別する商品識別情報を取得する第一取得手段と、利用者が商品を投入する容器を含む画像又は動画像を取得する第二取得手段と、出力手段とを具備する。前記出力手段は、前記第一取得手段により前記商品識別情報を取得した場合、利用者が購入する商品の一覧を示す商品取得情報に商品を入力し、前記第二取得手段により取得した前記容器の画像又は動画像に基づいて、前記商品取得情報に入力されていない商品が前記容器に投入された場合、前記商品取得情報に入力されていない商品が前記容器に投入されたことを示す情報を出力する。

図１は、一実施形態に係る商品データ処理システムの構成の例について説明する為の図である。 図２は、一実施形態に係る商品データ処理装置の構成の例について説明する為の図である。 図３は、一実施形態に係る店舗サーバの構成の例について説明する為の図である。 図４は、一実施形態に係る携帯端末の構成の例について説明する為の図である。 図５は、一実施形態に係る商品データ処理装置の動作の例について説明する為の図である。 図６は、一実施形態に係る店舗サーバの動作の例について説明する為の図である。 図７は、一実施形態に係る携帯端末に表示される画面の例について説明する為の図である。

以下、一実施形態に係る商品データ処理装置、商品データ処理システム、及び商品データ処理プログラムについて図面を参照して説明する。
図１は、一実施形態に係る商品データ処理システム１の構成例を示す説明図である。商品データ処理システム１は、小売店などの店舗において、利用者が料金を支払う商品の情報を入力し、入力した情報に基づき、料金の決済を行うシステムである。商品データ処理システム１は、商品データ処理装置２、携帯端末３、及び店舗サーバ（サーバ装置）４などを備える。また、商品データ処理システム１は、店舗内に設置され、商品データ処理装置２、携帯端末３、及び店舗サーバ４の間における無線通信を中継するアクセスポイント５を備える。即ち、商品データ処理システム１の商品データ処理装置２、携帯端末３、及び店舗サーバ４は、アクセスポイント５を介して通信可能に構成されている。

まず商品データ処理装置２の構成について説明する。
商品データ処理装置２は、商品を識別するための情報（商品識別情報）を入力し、商品の一覧である商品取得情報を生成する商品情報取得処理を行う。商品データ処理装置２は、例えば利用者が商品をカゴ（容器）６に投入する際に、利用者が商品データ処理装置２に商品情報を入力する所謂セルフ式ＰＯＳ端末である。具体的には、商品データ処理装置２は、カゴ６、またはカゴ６が搭載されたカートに取り付け可能なカートＰＯＳ端末である。商品データ処理装置２は、商品取得情報を店舗サーバ４に送信する。

図２は、商品データ処理装置２の構成の例について説明する為の図である。商品データ処理装置２は、第１の通信インタフェース１１、第２の通信インタフェース１２、制御部１３、及びタッチパネル１４を備える。

第１の通信インタフェース１１は、商品データ処理装置２以外の他の機器と通信する為のインタフェースである。第１の通信インタフェース１１は、無線通信により、アクセスポイント５を介して、携帯端末３及び店舗サーバ４と通信する為の回路を備える。第１の通信インタフェース１１は、制御部１３の制御に基づいて、携帯端末３及び店舗サーバ４などと通信する。

第２の通信インタフェース１２は、商品データ処理装置２以外の他の機器と通信する為のインタフェースである。第２の通信インタフェース１２は、スキャナ１５及びカメラ１６と通信する為の回路を備える。第２の通信インタフェース１２は、制御部１３の制御に基づいて、スキャナ１５及びカメラ１６などと通信する。第２の通信インタフェース１２は、利用者が商品を投入するカゴ６の画像をカメラ１６から取得し、商品を識別する為の商品識別情報をスキャナ１５から取得する。取得する画像は、カゴ６の開口部分やカゴ６の中が撮像されることが好ましい。また、カゴ６全体を撮像する必要はない。なお、ここで請求項に記載の容器をカゴ６と定義したが、カートの載置部でもよい。容器とは読取った商品を置く又は収納する場所の総称である。第２の通信インタフェース１２は、有線によりスキャナ１５及びカメラ１６と通信する構成であってもよいし、無線通信によりスキャナ１５及びカメラ１６と通信する構成であってもよい。

スキャナ１５は、商品を識別する為の商品識別情報を読み取る装置である。例えば、スキャナ１５は、商品に例えば印刷などによって付与されたコード（例えばバーコード、二次元コード、または他のコードなど）を読み取る。スキャナ１５は、読み取ったコードを復号し、商品識別情報を取得する。スキャナ１５は、取得した商品識別情報を、商品データ処理装置２に送信する。

カメラ１６は、レンズと、レンズにより結像された光を画像に変換する撮像素子とを備える。カメラ１６のレンズは、利用者が商品を投入するカゴ６内を撮影することができるように画角が調整されている。カメラ１６は、カゴ６内を撮像することにより生成した画像（カゴ画像）を、商品データ処理装置２に送信する。カメラ１６は、周期的にカゴ画像を取得し、逐次商品データ処理装置２に送信する構成であってもよい。また、カメラ１６は、カゴ６が写った動画像を取得し、商品データ処理装置２に送信する構成であってもよい。

即ち、第２の通信インタフェース１２は、商品を識別する商品識別情報を取得する第一取得手段、及び利用者が商品を投入するカゴ６（容器）を含む画像又は動画像を取得する第二取得手段として機能する。

制御部１３は、種々の処理を実行する処理部である。制御部１３は、プロセッサ１７及びメモリ１８を備える。

プロセッサ１７は、演算処理を実行する演算素子である。プロセッサ１７は、例えばＣＰＵとして構成される。プロセッサ１７は、メモリ１８に記憶されているプログラムに基づいて種々の処理を行う。

メモリ１８は、プログラム及びデータを記憶する記憶装置である。メモリ１８は、例えば、読み出し専用の不揮発性メモリであるＲＯＭ、データを一時的に記憶するＲＡＭ、及びデータを記憶するストレージのいずれか、または複数を備える。

タッチパネル１４は、画面の表示と、操作に基づく操作信号の生成とを行う装置である。タッチパネル１４は、ディスプレイ１９及びタッチセンサ２０を備える。

ディスプレイ１９は、制御部１３または図示されないグラフィックコントローラから供給される表示用のデータ（画面データ）に基づいて画面を表示する。

タッチセンサ２０は、ディスプレイ１９に表示された画面上において商品データ処理装置２を操作するオペレータがタッチした位置を示す操作信号を生成する。

次に、携帯端末３の構成について説明する。
携帯端末３は、店舗の店員が所持する端末である。携帯端末３は、店舗サーバ４から供給される情報に基づき、店員に種々の情報を報知する。また、携帯端末３は、操作に基づいて種々の情報を店舗サーバ４に供給する。

図３は、携帯端末３の構成の例について説明する為の図である。携帯端末３は、通信インタフェース３１、制御部３２、及びタッチパネル３３を備える。

通信インタフェース３１は、携帯端末３以外の他の機器と通信する為のインタフェースである。通信インタフェース３１は、無線通信により、アクセスポイント５を介して、商品データ処理装置２及び店舗サーバ４と通信する為の回路を備える。通信インタフェース３１は、制御部３２の制御に基づいて、商品データ処理装置２及び店舗サーバ４などと通信する。

制御部３２は、種々の処理を実行する処理部である。制御部３２は、プロセッサ３４及びメモリ３５を備える。

プロセッサ３４は、演算処理を実行する演算素子である。プロセッサ３４は、例えばＣＰＵとして構成される。プロセッサ３４は、メモリ３５に記憶されているプログラムに基づいて種々の処理を行う。

メモリ３５は、プログラム及びデータを記憶する記憶装置である。メモリ３５は、例えば、読み出し専用の不揮発性メモリであるＲＯＭ、データを一時的に記憶するＲＡＭ、及びデータを記憶するストレージのいずれか、または複数を備える。

タッチパネル３３は、画面の表示と、操作に基づく操作信号の生成とを行う装置である。タッチパネル３３は、ディスプレイ３６及びタッチセンサ３７を備える。

ディスプレイ３６は、制御部３２または図示されないグラフィックコントローラから供給される表示用のデータ（画面データ）に基づいて画面を表示する。

タッチセンサ３７は、ディスプレイ３６に表示された画面上において商品データ処理装置２を操作するオペレータがタッチした位置を示す操作信号を生成する。

次に、店舗サーバ４の構成について説明する。
店舗サーバ４は、店舗ごとに設けられ、商品データ処理装置２から送信された商品取得情報に基づいて、会計処理を行う装置である。また、店舗サーバ４は、携帯端末３に種々の情報を供給することにより、店員に種々の情報を提供する情報提供処理を行う。

図４は、店舗サーバ４の構成の例について説明する為の図である。店舗サーバ４は、通信インタフェース４１、及び制御部４２を備える。

通信インタフェース４１は、店舗サーバ４以外の他の機器と通信する為のインタフェースである。通信インタフェース４１は、無線通信により、アクセスポイント５を介して、商品データ処理装置２及び携帯端末３と通信する為の回路を備える。なお、通信インタフェース４１は、有線通信によりアクセスポイント５に接続されていてもよい。通信インタフェース４１は、制御部４２の制御に基づいて、商品データ処理装置２及び携帯端末３などと通信する。

制御部４２は、種々の処理を実行する処理部である。制御部４２は、プロセッサ４３及びメモリ４４を備える。

プロセッサ４３は、演算処理を実行する演算素子である。プロセッサ４３は、例えばＣＰＵとして構成される。プロセッサ４３は、メモリ４４に記憶されているプログラムに基づいて種々の処理を行う。

メモリ４４は、プログラム及びデータを記憶する記憶装置である。メモリ４４は、例えば、読み出し専用の不揮発性メモリであるＲＯＭ、データを一時的に記憶するＲＡＭ、及びデータを記憶するストレージのいずれか、または複数を備える。

店舗サーバ４のメモリ４４は、商品識別情報と、商品に関する情報（商品情報）とが対応付けられた商品データベースを有する。商品情報は、例えば、商品毎の名前、価格、及びカテゴリなどを示す情報である。

また、店舗サーバ４のメモリ４４は、利用者を識別するための情報（利用者識別情報）と、決済用情報とが対応付けられた利用者データベースを有する。決済用情報は、会計処理において、決済が必要な商品の料金（決済額）の決済に用いられる情報である。決済用情報は、バリュー情報、クレジット情報、及び口座情報のいずれかまたは複数を備える。

バリュー情報は、決済に利用可能な金額（残額）を示す情報である。バリュー情報は、利用者が現金またはクレジットなどにより支払を行うことによりチャージ（加算）される。バリュー情報は、決済が行われる場合、決済額が残額から減算される。残額が決済額未満である場合、決済の結果がＮＧとなる。なお、バリュー情報の残額に代用可能なポイントが決済用情報としてアカウントにさらに対応付けられていてもよい。

クレジット情報は、クレジットカードに関する情報である。決済が行われる場合、クレジット情報に基づき、決済額をクレジットカード会社に請求する為の請求情報がクレジットカード会社のサーバに送信される。これに対し、クレジットカード会社のサーバからは、承認と非承認とのいずれかのレスポンスが返る。

口座情報は、決済に利用可能な銀行口座を示す情報である。決済が行われる場合、口座情報に基づき、決済額を銀行口座から引き落とす為の請求情報が銀行のサーバに送信される。これに対し、銀行のサーバからは、承認と非承認とのいずれかのレスポンスが返る。

また、利用者データベースは、さらに、個人情報、及び通知先情報などを有する構成であってもよい。

個人情報は、利用者識別情報に対応する利用者に関する情報である。個人情報は、例えば、氏名、性別、生年月日、及び住所などである。

通知先情報は、会計処理の結果、及び種々の情報を通知する通知先を示す情報である。通知先情報は、例えばメールアドレス、電話番号、及びアプリケーションにおける識別情報のいずれかまたは複数である。会計処理の利用結果は、利用者が購入した商品の一覧、及び決済額などを含む情報である。

また、店舗サーバ４のメモリ４４は、店舗内のマップを予め記憶する。

次に、商品データ処理装置２において実行される商品情報取得処理について説明する。
商品データ処理装置２の制御部１３は、プロセッサ１７がメモリ１８に記憶されているプログラムを実行することにより、商品情報取得処理を実行する。制御部１３は、商品情報取得処理を実行している間、カメラ１６から定期的にカゴ画像を取得し、取得したカゴ画像に基づいて、カゴ６に商品が投入されたか否かを判断する監視状態で動作する。制御部１３は、監視状態で動作している際に、商品がカゴ６に投入されたことを検出した場合、警告画面をタッチパネル１４のディスプレイ１９に表示させるとともに、警報を出力する。制御部１３は、例えば店舗サーバ４に警報を送信する。

図５は、商品データ処理装置２における商品情報取得処理について説明するための説明図である。

まず、商品データ処理装置２の制御部１３は、利用者の認識を行う（ＡＣＴ１１）。例えば、制御部１３は、利用者から利用者識別情報を取得し、店舗サーバ４に送信する。店舗サーバ４は、利用者データベースを参照し、受信した利用者識別情報に対応する利用者を検索し、検索結果を商品データ処理装置２に送信する。これにより、商品データ処理装置２の制御部１３は、商品データ処理装置２を操作している利用者を特定する。

利用者識別情報は、例えば、タッチパネル１４により利用者に入力させたＩＤ及びパスワードなどの情報である。また、例えば、利用者識別情報は、利用者が所持するＩＤカードに印刷されたコード、またはスマートフォンなどの携帯端末に表示されたコードが、スキャナ１５またはカメラ１６によって読み取られたものであってもよい。また、例えば、利用者識別情報は、カメラ１６によって取得した利用者の顔画像、または他の図示されない装置により取得された利用者の生体情報であってもよい。

制御部１３は、第２の通信インタフェース１２に接続されたカメラ１６からカゴ画像を取得する（ＡＣＴ１２）。

制御部１３は、商品情報が入力されたか否か判断する（ＡＣＴ１３）。例えば、制御部１３は、第２の通信インタフェース１２に接続されたスキャナ１５から商品識別情報を取得した場合、スキャナ１５から取得した商品識別情報を店舗サーバ４に送信する。店舗サーバ４は、商品データベースを参照し、受信した商品識別情報に対応する商品情報を検索し、検索した商品情報を商品データ処理装置２に送信する。これにより、商品データ処理装置２の制御部１３は、受信した商品情報が示す商品を商品取得情報の商品一覧に追加する。即ち、制御部１３は、利用者がスキャナ１５に読み取らせた商品を認識し、商品取得情報に商品を入力する。さらに、制御部１３は、商品取得情報に基づき、商品の一覧及び合計金額（決済額）などをタッチパネル１４のディスプレイ１９に表示させてもよい。

制御部１３は、商品が入力されたと判断した場合（ＡＣＴ１３、ＹＥＳ）、カゴ６への商品の投入を許可する（ＡＣＴ１４）。即ち、制御部１３は、利用者がスキャナ１５に読み取らせた商品の入力を行った場合、上記の監視状態を解除する。例えば、制御部１３は、カゴ６に商品が投入されたか否かを検出しないように制御することによって、上記の監視状態を解除する。また、例えば、制御部１３は、カゴ６に商品が投入されたことを検出しても警告画面の表示及び警報の送信等を行わないように制御することによって、上記の監視状態を解除する構成であってもよい。

制御部１３は、上記の監視状態を解除し、カゴ６への商品の投入を許可してから予め設定された所定時間が経過したか否か判断する（ＡＣＴ１５）。制御部１３は、監視状態を解除してからの経過時間が上記の所定時間に達するまでＡＣＴ１５で示す判断を繰り返し実行する。

制御部１３は、監視状態を解除してからの経過時間が上記の所定時間に達したと判断した場合（ＡＣＴ１５、ＹＥＳ）、再度監視状態に移行し、カゴ６への商品の投入を不許可にし（ＡＣＴ１６）、ＡＣＴ１２の処理に移行する。

制御部１３は、ＡＣＴ１３で、商品が入力されていないと判断した場合（ＡＣＴ１３、ＮＯ）、カゴ６に商品が投入されたか否か判断する（ＡＣＴ１７）。例えば、制御部１３は、カメラ１６から定期的にカゴ画像を取得し、カゴ画像が変化した場合、カゴ６に商品が投入されたと判断する。即ち、制御部１３は、カメラ１６からカゴ画像（第１のカゴ画像）を取得した場合、過去にカメラ１６から取得したカゴ画像（第２のカゴ画像）と第１のカゴ画像とを比較し、変化があるか否かに基づいて、カゴ６に商品が投入されたか否か判断する。具体的には、制御部１３は、第１のカゴ画像と第２のカゴ画像との類似度を算出し、算出された類似度が予め設定された閾値未満である場合に、カゴ６に商品が投入されたと判断する。

また、カゴ６に商品が投入される場合、カメラ１６の画角の外から画角内に商品が進入する。そこで、制御部１３は、カゴ６に商品が無い場合のカゴ画像とカメラ１６から取得したカゴ画像とを比較することによって、商品が写った領域を抽出し、商品が写った領域がカゴ画像の縁に亘って形成されている場合に、カゴ６に商品が投入されたと判断する構成であってもよい。

また、制御部１３は、カメラ１６から動画像を取得し、取得した動画像において物体の動きを抽出し、商品がカゴ６に投入されたことが推定される動きが検出された場合に、カゴ６に商品が投入されたと判断する構成であってもよい。

制御部１３は、カゴ６に商品が投入されたと判断した場合（ＡＣＴ１７、ＹＥＳ）、警告画面をタッチパネル１４のディスプレイ１９に表示させる（ＡＣＴ１８）。警告画面は、例えば、カゴ６に投入した商品の商品データ処理装置２への入力を促す表示を含む。また、警告画面は、例えば、近くの店員、レジ、または窓口などに向かうことを促す表示を含むものであってもよい。

制御部１３は、警報を店舗サーバ４に送信し（ＡＣＴ１９）、処理を終了する。また、制御部１３は、警報を店舗サーバ４に送信してから商品情報取得処理を終了せずに、警告画面を表示させたまま維持する構成であってもよい。また、制御部１３は、警告画面を表示させてから予め設定された所定時間が経過した場合に警報を店舗サーバ４に送信する構成であってもよい。

警報は、入力が行われずに商品がカゴ６に投入されたことを示す情報である。即ち、警報は、商品取得情報に入力されていない商品が容器に投入されたことを示す情報である。即ち、制御部１３は、商品識別情報を取得し、利用者が購入する商品の一覧を示す商品取得情報に商品を入力するとともに、カゴ画像に基づいて、商品取得情報に入力されていない商品がカゴ６に投入されたか否か判断する。さらに、制御部１３は、商品取得情報に入力されていない商品がカゴ６に投入されたと判断した場合に、商品取得情報に入力されていない商品がカゴ６に投入されたことを示す情報（警報）を出力する出力手段として機能する。

また、制御部１３は、商品データ処理装置２の識別情報を警報に付加してもよい。さらに、制御部１３は、商品データ処理装置２の現在位置を示す情報を警報に付加してもよい。例えば、制御部１３は、最も近いアクセスポイント５の識別情報を商品データ処理装置２の現在位置を示す情報として警報に付加してもよい。また、例えば、制御部１３は、商品取得情報を警報に付加してもよい。また、例えば、制御部１３は、検証用画像を生成し、生成した検証用画像を警報に付加してもよい。

検証用画像は、商品の入力が行われずに商品がカゴ６に投入されたことが検出されたタイミングの前後のタイミングにおいてカメラ１６から取得したカゴ画像である。例えば、制御部１３は、上記の第１のカゴ画像及び第２のカゴ画像のセットを検証用画像として警報に付加する。また、例えば、制御部１３は、入力が行われずに商品がカゴ６に投入されたことが検出されたタイミングを含む動画像を検証用画像として警報に付加する構成であってもよい。

制御部１３は、ＡＣＴ１７で、カゴ６に商品が投入されていないと判断した場合（ＡＣＴ１７、ＮＯ）、会計を行うか否か判断する（ＡＣＴ２０）。例えば、制御部１３は、タッチパネル１４において、会計を行うことを商品データ処理装置２に指示する操作が入力された場合、会計を行うと判断する。また、例えば、制御部１３は、第１の通信インタフェース１１を介して、会計を行うことを商品データ処理装置２に指示するコマンドが入力された場合、会計を行うと判断する。例えば、制御部１３は、店舗の売り場と出入口との間に設けられた図示されないゲート装置から定期的に送信されるコマンドを受信した場合、会計を行うと判断する。

制御部１３は、会計を行わないと判断した場合（ＡＣＴ２０、ＮＯ）、ＡＣＴ１２の処理に移行する。また、制御部１３は、会計を行うと判断した場合（ＡＣＴ２０、ＹＥＳ）、商品取得情報及びＡＣＴ１１で取得した利用者識別情報とを店舗サーバ４に送信し（ＡＣＴ２１）、処理を終了する。

次に、店舗サーバ４において実行される会計処理の例について説明する。
店舗サーバ４の制御部４２は、商品データ処理装置２から商品取得情報及び利用者識別情報を取得した場合、決済額の請求と、商品の在庫の変更とを行う会計処理を実行する。

制御部４２は、商品データ処理装置２から利用者識別情報を取得した場合、利用者データベースを参照し、取得した利用者識別情報に対応付けられた決済用情報を取得する。

また、制御部４２は、商品データ処理装置２から商品取得情報を取得した場合、取得した商品取得情報に基づき決済額を決定する。即ち、制御部４２は、商品取得情報に入力された商品の価格の合計に基づき決済額を算出する。

また、制御部４２は、取得した決済用情報が示す決済方法により、決済額の請求を行う。制御部４２は、決済用情報が口座情報である場合、決済額を口座から引き落とす為の処理を行い、決済用情報がクレジット情報である場合、料金をクレジットカード会社に請求する為の処理を行い、決済用情報がバリュー情報である場合、料金をバリュー情報の残額から引き落とす為の処理を行う。

また、決済用情報が複数登録されている場合、制御部４２は、利用者の商品データ処理装置２に対する操作に基づいて、支払方法を変更してもよい。この場合、商品データ処理装置２は、利用者の操作に基づき支払方法を指定する情報を商品取得情報及び利用者識別情報とともに店舗サーバ４に送信する。店舗サーバ４の制御部４２は、指定された支払方法で、決済額の請求を行う。

次に、店舗サーバ４において実行される情報提供処理の例について説明する。ここでは、店舗サーバ４が商品データ処理装置２から警報を受信した場合の情報提供処理について説明する。

上記したように、商品データ処理装置２は、監視状態である間にカゴ６に商品が投入された場合、店舗サーバ４に警報を送信する。この警報に、商品データ処理装置２の識別情報、商品データ処理装置２の現在位置を示す情報（位置情報）、商品取得情報、及び検証用画像が付加されているものと仮定して説明する。

店舗サーバ４の制御部４２は、商品データ処理装置２から警報を受信する（ＡＣＴ３１）。店舗サーバ４の制御部４２は、商品データ処理装置２から警報を受信すると、プロセッサ４３がメモリ４４に記憶されているプログラムを実行することにより、情報提供処理を実行する。

まず、制御部４２は、警報を送信した商品データ処理装置２の識別情報を取得する（ＡＣＴ３２）。

次に、制御部４２は、警報を送信した商品データ処理装置２の現在位置を取得する（ＡＣＴ３３）。例えば、制御部４２は、警報に含まれる位置情報を商品データ処理装置２の現在位置として認識する。

次に、制御部４２は、警報を送信した商品データ処理装置２の商品取得情報を取得する（ＡＣＴ３４）。これにより、制御部４２は、警報を送信した時点で商品データ処理装置２に入力された商品の一覧を認識する。

次に、制御部４２は、警報を送信した商品データ処理装置２が取得した検証用画像を取得する（ＡＣＴ３５）。例えば、制御部４２は、警報に付加された検証用画像を取得する。またさらに、制御部４２は、店舗内に設置され、ＡＣＴ３３で認識した商品データ処理装置２の現在位置の近傍を写す図示されないカメラ（例えば監視カメラ）から、警報が送信されたタイミング前後の静止画または動画像を取得する構成であってもよい。

次に、制御部４２は、携帯端末３に表示させる確認用画面を生成する（ＡＣＴ３６）。例えば、制御部４２は、商品データ処理装置２の識別情報、商品データ処理装置２の現在位置、商品データ処理装置２に入力された商品の一覧、及び検証用画像を用いて図７に示す確認用画面５１を生成する。

図７は、確認用画面５１の例について説明する為の説明図である。確認用画面５１は、商品が入力されずにカゴ６に投入されたことを店員に報知し、確認を促すための画面である。確認用画面５１は、マップ表示５２、位置表示５３、連絡表示５４、商品一覧５５、及び検証用画像５６などを含む。

マップ表示５２は、棚及び出入口などを示す店舗の地図である。制御部４２は、メモリ４４に記憶されているマップを用いてマップ表示５２を生成する。

位置表示５３は、マップ表示５２上において、警報を送信した商品データ処理装置２の現在位置を示す表示である。制御部４２は、マップ表示５２上の、ＡＣＴ３３で認識した商品データ処理装置２の現在位置に対応する位置に、マーカーまたはアイコンなどを位置表示５３として表示させる。

連絡表示５４は、店員に伝えるメッセージを示す表示である。図７の例では、商品データ処理装置２の識別情報と、その商品データ処理装置２に対応したカゴ６内の商品の確認を行うことを促す表示とが連絡表示５４に含まれている。制御部１３は、ＡＣＴ３２で認識した商品データ処理装置２の識別情報と、予め設定されたメッセージとを用いて連絡表示５４を生成する。

商品一覧５５は、警報を送信した商品データ処理装置２に入力された商品の一覧を示す表示である。制御部１３は、ＡＣＴ３４で認識した商品取得情報に基づいて、商品一覧５５を生成する。制御部１３は、商品毎の名前、価格、及びカテゴリなどを商品一覧５５として表示させる。

検証用画像５６は、商品データ処理装置２が警報を送信した際のカゴ６内の状況を店員に認識させる為の画像である。制御部４２は、例えば、商品データ処理装置２が警報を送信する前のカゴ画像である第１のカゴ画像５７と、商品データ処理装置２が警報を送信した後のカゴ画像である第２のカゴ画像５８とを検証用画像５６として表示させる。また、制御部４２は、商品データ処理装置２が警報を送信する前後のタイミングに亘って撮影された動画像を検証用画像５６として表示させる構成であってもよい。

制御部４２は、確認用画面５１を送信する携帯端末３を決定する（ＡＣＴ３７）。例えば、制御部４２は、定期的に店員が所持する携帯端末３と通信を行うことにより、店舗内に存在する各携帯端末３の現在位置を逐次認識する。制御部４２は、ＡＣＴ３３で認識した商品データ処理装置２の現在位置に近い携帯端末３を、確認用画面５１を送信する携帯端末３として決定する。なお、制御部４２は、如何なる方法により各携帯端末３の現在位置を認識する構成であってもよい。

制御部４２は、決定した携帯端末３に確認用画面５１を送信し（ＡＣＴ３８）、処理を終了する。

携帯端末３の制御部３２は、店舗サーバ４から確認用画面５１を受信した場合、確認用画面５１をタッチパネル３３のディスプレイ３６に表示させる。これにより、確認用画面５１を携帯端末３を所持する店員に確認させることができる。この結果、店員は、利用者に商品データ処理装置２への商品の入力を促すことができる。

また、制御部３２は、確認用画面５１と共に、商品データ処理装置２の警告画面の表示を解除させる為の解除ボタンを表示させてもよい。この解除ボタンが選択された場合、制御部３２は、商品データ処理装置２の識別情報と解除要求とを店舗サーバ４に送信する。店舗サーバ４の制御部４２は、受信した識別情報の商品データ処理装置２に対して、警告画面の表示を解除を指示する信号を送信する。この構成によると、正しく商品が入力されたことを店員が確認した場合、店員が解除ボタンを選択することによって、商品データ処理装置２の警告画面の表示を解除することができる。

上記したように、商品データ処理装置２は、スキャナ１５から商品識別情報を取得した場合、利用者が購入する商品の一覧を示す商品取得情報に商品を入力する。商品データ処理装置２は、商品が入力された場合、監視状態を解除する。商品データ処理装置２は、監視状態である時に、カメラ１６から取得したカゴ画像に基づいて、カゴ６に商品が投入されたか否かを判断する。これにより、商品データ処理装置２は、入力された商品のカゴ６への投入を許可し、入力されていない商品のカゴ６への投入を検出することができる。

また、商品データ処理装置２は、利用者が商品を入力せずにカゴ６に投入することを検出した場合、店舗サーバ４に警報を送信する。店舗サーバ４は、商品データ処理装置２から警報を受信した場合、利用者が商品を入力せずにカゴ６に投入したことを店舗内の店員が所持する携帯端末３に通知する。これにより、決済が行われずに商品が店舗から持ち出されることを防ぐことができる。

また、商品データ処理装置２は、利用者が商品を入力せずにカゴ６に投入することを検出したタイミングにおけるカゴ画像を店舗サーバ４に送信する。店舗サーバ４は、携帯端末３に通知する確認用画面に、カゴ画像を表示させる。これにより、警報が送信された時点でのカゴ６の状況を携帯端末３を所持する店員に確認させることができる。

また、店舗サーバ４は、商品データ処理装置２の現在位置を推定し、確認用画面に商品データ処理装置２の現在位置を表示させる。これにより、警報を送信した商品データ処理装置２の位置を携帯端末３を所持する店員に確認させることができる。

なお、上記の実施形態では、商品データ処理装置２は、カゴ６、またはカゴ６が搭載されたカートに取り付け可能なカートＰＯＳ端末であると説明したが、この構成に限定されない。なお、商品データ処理装置２は、商品データ処理システム１に対応した商品データ処理装置用のプログラムを記憶したメモリと、このプログラムを実行するプロセッサと、アクセスポイント５を介して店舗サーバ４と通信する通信インタフェースと、画像を取得する手段とを備える構成であれば、如何なる構成であってもよい。即ち、商品データ処理装置２は、利用者が所持するスマートフォンなどの携帯端末であってもよい。

また、カメラ１６は、商品データ処理装置２に接続されたカメラではなく、店舗内に設けられた監視カメラなどであってもよい。また、スキャナ１５及びカメラ１６は、商品データ処理装置２に設けられていてもよい。

また、商品データ処理装置２は、カメラ１６から取得したカゴ画像に基づいてカゴ６に商品が投入されたか否かを判断する構成であると説明したがこの構成に限定されない。商品データ処理装置２は、カゴ６の重量を逐次測定し、測定結果に基づいてカゴ６に商品が投入されたか否か判断する構成であってもよい。また、商品データ処理装置２は、他の如何なる方法によって、カゴ６に商品が投入されたか否かを判断する構成であってもよい。

また、商品データ処理装置２は、商品識別情報を受信した場合に商品識別情報を店舗サーバ４に送信することにより商品情報を取得する構成であると説明したが、この構成に限定されない。商品データ処理装置２は、商品識別情報と、商品情報とが対応付けられた商品データベースをメモリ１８に予め記憶する構成であってもよい。この場合、商品データ処理装置２は、商品データベースを参照することにより、商品識別情報に対応する商品情報を取得することができる。商品データ処理装置２は、例えば、利用者を識別した際に、店舗サーバ４から商品データベースを受け取り、メモリ１８に記憶する。

また、商品データ処理装置２は、商品取得情報をメモリ１８に記憶する構成として説明したがこの構成に限定されない。商品データ処理装置２が、商品識別情報を受信した場合に商品識別情報を店舗サーバ４に送信し、店舗サーバ４が商品データ処理装置２から受信した商品識別情報に基づいて商品取得情報を生成し、メモリ４４に記憶する構成であってもよい。

また、商品データ処理装置２の制御部１３は、商品取得情報に入力されていない商品がカゴ６に投入されたことを検知した場合、警報を店舗サーバ４に送信する構成であると説明したが、この構成に限定されない。制御部１３は、商品取得情報に入力されていない商品がカゴ６に投入されたことを他の機器に出力する構成であれば、如何なる構成であってもよい。例えば、制御部１３は、商品取得情報に入力されていない商品がカゴ６に投入されたことを検知した場合、商品取得情報に入力されていない商品がカゴ６に投入されたことを示す情報を店舗内に設けられた表示装置に出力し、表示させてもよい。また、制御部１３は、商品取得情報に入力されていない商品がカゴ６に投入されたことを検知した場合、商品取得情報に入力されていない商品がカゴ６に投入されたことを示す情報を音声を出力するスピーカを備える機器に出力し、音声出力させてもよい。また、制御部１３は、商品取得情報に入力されていない商品がカゴ６に投入されたことを検知した場合、店員が所持する携帯端末３に送信し、画面表示させてもよい。

また、商品データ処理装置２は、商品取得情報に商品が入力されてから所定時間の間、商品がカゴ６に投入されることを許可する構成であると説明したが、この構成に限定されない。商品データ処理装置２は、商品取得情報に商品が入力されてから、カゴ６に商品が投入されたか否かを判定し、カゴ６に商品が投入された場合に再度監視状態に移行する構成であってもよい。また、商品データ処理装置２は、カゴ６に投入された商品をカメラ１６から取得した画像に基づいて識別し、識別した商品が商品取得情報に入力された商品であるか否かを判断する構成であってもよい。この場合、商品データ処理装置２は、カゴ６に投入された商品が商品取得情報に入力された商品ではない場合に、警報を店舗サーバ４に送信する。

また、店舗サーバ４は、利用者識別情報と、決済用情報とが対応付けられた利用者データベースを有すると説明したが、この構成に限定されない。利用者データベースは、店舗サーバ４が通信可能な上位装置に記憶されている構成であってもよい。この場合、店舗サーバ４は、上位装置に利用者識別情報及び決済額などを通知することにより、上位装置に決済を実行させる。

また、店舗サーバ４は、店員が所持する携帯端末３に確認用画面５１を送信する構成であると説明したが、この構成に限定されない。店舗サーバ４は、店舗内に設けられたディスプレイを備える機器であれば、如何なる機器に確認用画面５１を送信する構成であってもよい。また、店舗サーバ４は、画面表示ではなく、音声などによって店員に確認を促す構成であってもよい。

また、店舗サーバ４の制御部４２は、定期的に店員が所持する携帯端末３と通信を行うことにより、携帯端末３を所持する店員の作業状況を把握した上で、確認用画面５１を送信する携帯端末３を決定する構成であってもよい。例えば、携帯端末３は、加速度センサ及び角速度センサなどの検出結果に基づいて、店員が行っている作業を推定し、店員が他の対応が可能か否かを判断する。携帯端末３は、対応が可能であるか否かを示す情報を店舗サーバ４に送信する。店舗サーバ４は、受信した情報に基づき、携帯端末３を所持する店員が対応が可能であるか否かを判断する。制御部４２は、ＡＣＴ３３で認識した商品データ処理装置２の現在位置に近く、且つ対応が可能であると判断した店員が所持する携帯端末３を、確認用画面５１を送信する携帯端末３として決定する。これにより、対応が可能な店員に対して適切な案内を通知することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[Ｃ１] 商品を識別する商品識別情報を取得する第一取得手段と、
利用者が商品を投入する容器を含む画像又は動画像を取得する第二取得手段と、
前記第一取得手段により前記商品識別情報を取得した場合、利用者が購入する商品の一覧を示す商品取得情報に商品を入力し、前記第二取得手段により取得した前記容器の画像又は動画像に基づいて、前記商品取得情報に入力されていない商品が前記容器に投入された場合、前記商品取得情報に入力されていない商品が前記容器に投入されたことを示す情報を出力する出力手段と、
を具備する商品データ処理装置。
[Ｃ２] 前記出力手段は、前記商品取得情報に入力されていない商品が前記容器に投入された場合、前記商品取得情報に入力されていない商品が前記容器に投入されたことを示す警報を出力する監視状態を、前記商品識別情報を取得してから所定時間が経過するまでの間解除するＣ１に記載の商品データ処理装置。
[Ｃ３] 店舗の利用者が操作する商品データ処理装置と、サーバ装置とを具備する商品データ処理システムであって、
前記商品データ処理装置は、
商品を識別する商品識別情報を取得する第一取得手段と、
利用者が商品を投入する容器を含む画像又は動画像を取得する第二取得手段と、
前記第一取得手段により前記商品識別情報を取得した場合、利用者が購入する商品の一覧を示す商品取得情報に商品を入力し、前記第二取得手段により取得した前記容器の画像又は動画像に基づいて、前記商品取得情報に入力されていない商品が前記容器に投入された場合、前記商品取得情報に入力されていない商品が前記容器に投入されたことを示す情報を前記サーバ装置に出力する第一出力手段と、
を具備し、
前記サーバ装置は、
前記商品データ処理装置から前記商品取得情報に入力されていない商品が前記容器に投入されたことを示す情報を受信した場合、店舗の店員が所持する携帯端末に確認を行うことを促す確認用画面を出力する第二出力手段、
を具備する商品データ処理システム。
[Ｃ４] 前記第一出力手段は、前記商品取得情報に入力されていない商品が前記容器に投入された際の前記容器の画像又は動画像を、前記商品取得情報に入力されていない商品が前記容器に投入されたことを示す情報に付加して前記サーバ装置に出力し、
前記第二出力手段は、前記商品取得情報に入力されていない商品が前記容器に投入されたことを示す情報に付加された前記容器の画像又は動画像を前記確認用画面に表示させるＣ３に記載の商品データ処理システム。
[Ｃ５] 前記第二出力手段は、前記商品取得情報に入力されていない商品が前記容器に投入されたことを示す情報を送信した前記商品データ処理装置の現在位置を推定し、店舗のマップと前記商品データ処理装置の現在位置とを前記確認用画面に表示させるＣ３に記載の商品データ処理システム。
[Ｃ６] 情報処理装置において実行される商品データ処理プログラムであって、
前記情報処理装置を
商品を識別する商品識別情報を取得する第一取得手段と、
利用者が商品を投入する容器を含む画像又は動画像を取得する第二取得手段と、
前記第一取得手段により前記商品識別情報を取得した場合、利用者が購入する商品の一覧を示す商品取得情報に商品を入力し、前記第二取得手段により取得した前記容器の画像又は動画像に基づいて、前記商品取得情報に入力されていない商品が前記容器に投入された場合、前記商品取得情報に入力されていない商品が前記容器に投入されたことを示す情報を出力する出力手段と、
して動作させる商品データ処理プログラム。

１…商品データ処理システム、２…商品データ処理装置、３…携帯端末、４…店舗サーバ、５…アクセスポイント、６…カゴ、１１…第１の通信インタフェース、１２…第２の通信インタフェース、１３…制御部、１４…タッチパネル、１５…スキャナ、１６…カメラ、１７…プロセッサ、１８…メモリ、１９…ディスプレイ、２０…タッチセンサ、３１…通信インタフェース、３２…制御部、３３…タッチパネル、３４…プロセッサ、３５…メモリ、３６…ディスプレイ、３７…タッチセンサ、４１…通信インタフェース、４２…制御部、４３…プロセッサ、４４…メモリ。

Claims (4)

1. 商品を識別する商品識別情報を取得する第一取得手段と、
   利用者が商品を投入する容器を含む画像又は動画像を取得する第二取得手段と、
   前記第一取得手段により前記商品識別情報を取得した場合、利用者が購入する商品の一覧を示す商品取得情報に商品を入力し、かつ、前記第二取得手段により取得した前記容器の画像又は動画像に基づいて前記容器に商品が投入されたか否かを判断する監視状態を所定時間の間解除し、前記監視状態で動作中に前記商品取得情報に入力されていない商品が前記容器に投入されたことを検出した場合、前記商品取得情報に入力されていない商品が前記容器に投入されたことを示す情報を出力する出力手段と、
   を具備する商品データ処理装置。
2. 店舗の利用者が操作する商品データ処理装置と、サーバ装置とを具備する商品データ処理システムであって、
   前記商品データ処理装置は、
   商品を識別する商品識別情報を取得する第一取得手段と、
   利用者が商品を投入する容器を含む画像又は動画像を取得する第二取得手段と、
   前記第一取得手段により前記商品識別情報を取得した場合、利用者が購入する商品の一覧を示す商品取得情報に商品を入力し、かつ、前記第二取得手段により取得した前記容器の画像又は動画像に基づいて前記容器に商品が投入されたか否かを判断する監視状態を所定時間の間解除し、前記監視状態で動作中に前記商品取得情報に入力されていない商品が前記容器に投入されたことを検出した場合、前記商品取得情報に入力されていない商品が前記容器に投入されたことを示す情報を前記サーバ装置に出力する第一出力手段と、
   を具備し、
   前記サーバ装置は、
   前記商品データ処理装置から前記商品取得情報に入力されていない商品が前記容器に投入されたことを示す情報を受信した場合、店舗の店員が所持する携帯端末に確認を行うことを促す確認用画面を出力する第二出力手段、
   を具備する商品データ処理システム。
3. 前記第一出力手段は、前記商品取得情報に入力されていない商品が前記容器に投入された際の前記容器の画像又は動画像を、前記商品取得情報に入力されていない商品が前記容器に投入されたことを示す情報に付加して前記サーバ装置に出力し、
   前記第二出力手段は、前記商品取得情報に入力されていない商品が前記容器に投入されたことを示す情報に付加された前記容器の画像又は動画像を前記確認用画面に表示させる請求項２に記載の商品データ処理システム。
4. 情報処理装置において実行される商品データ処理プログラムであって、
   前記情報処理装置を
   商品を識別する商品識別情報を取得する第一取得手段と、
   利用者が商品を投入する容器を含む画像又は動画像を取得する第二取得手段と、
   前記第一取得手段により前記商品識別情報を取得した場合、利用者が購入する商品の一覧を示す商品取得情報に商品を入力し、かつ、前記第二取得手段により取得した前記容器の画像又は動画像に基づいて前記容器に商品が投入されたか否かを判断する監視状態を所定時間の間解除し、前記監視状態で動作中に前記商品取得情報に入力されていない商品が前記容器に投入されたことを検出した場合、前記商品取得情報に入力されていない商品が前記容器に投入されたことを示す情報を出力する出力手段と、
   して動作させる商品データ処理プログラム。

Images