JP6821009B2

JP6821009B2 - 会計方法、装置及びシステム

Info

Publication number: JP6821009B2
Application number: JP2019507888A
Authority: JP
Inventors: 一黎 ▲ウー▼
Original assignee: Yi Tunnel Beijing Technology Co Ltd
Current assignee: Yi Tunnel Beijing Technology Co Ltd
Priority date: 2017-12-25
Filing date: 2018-01-02
Publication date: 2021-01-27
Anticipated expiration: 2038-01-02
Also published as: US11562614B2; EP3734530A1; EP3734530A4; US20190325689A1; JP2020507138A; US20230118277A1; WO2019127618A1

Description

本発明は、計算機の技術分野に属し、特に、会計方法と、装置及びシステムに関する。

自動販売機（自販機ともいう）は、係員の操作を必要としなく、販売が便利になる。現に人が集まる地域、例えば駅、デパート、病院、学校では、非常に人気になる。自動販売機の販売流れは以下の通りである。顧客は、自分の好きな商品を一つ選別し、該商品に対応するボタンを押し、そして硬貨又は紙幣を投入し、又は例えばアリペイ、ウィーチャット等の移動支払い手段を使用して支払いを完了し、そして該商品を手に入る。

情報技術の発展に従い、顧客は、自動販売機の販売流れが良くないとますます感じ、「ジャスト・ウォーク・アウト」という会計方式を実現することができない。該会計方式により、顧客は、自分の好きな商品を選別すれば、すぐに離れることができる。なお、自動販売機が一度に一つの商品の取引のみを完了するので、複数の商品を購入するニーズがある場合、顧客は複数回の取引をする必要があり、購入が不便になる。また、自動販売機の商品棚に置かれるものは、サンプルであり、即ち現実的に販売できない商品である。また、商品棚には、一行のサンプルのみが置かれられる。このように、商品の種類は、とても少なく、顧客の商品多様化のニーズを満たすことができない。

従来技術に存在する自動販売機が「ジャスト・ウォーク・アウト」という会計方式を実現できない問題を解決するために、本発明の一側面には、受信されたローク解除依頼が事前登録した顧客から送信されるか否かを検証し、そうである場合、商品が載置される商品棚が設けられる収納ケースを開けるためのローク解除指令を送信し、該顧客を商品に対する取得動作又は返還動作に関連付けるステップＳ１と、取得動作又は返還動作と、取得動作又は返還動作に対応する商品とを認識した後、該顧客の買物リストを生成するステップＳ２と、前記買物リストに基づいて会計を行うステップＳ３と、を含む会計方法が提供されている。

好ましくは、以上の前記会計方法における前記ステップＳ２において、取得動作又は返還動作を認識することは、具体的に、前記商品棚の前に位置する該顧客の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に関して時間軸に沿って手部の運動軌跡を作成し、手部の運動軌跡が予め設定された仮想動作境界線の外から内に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を返還動作として認識し、手部の運動軌跡が前記仮想動作境界線の内から外に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を取得動作として認識することを含み、前記仮想動作境界線の外は、前記商品棚から離れる方向であり、前記仮想動作境界線の内は、前記商品棚に近づく方向である。

好ましくは、以上の前記会計方法におけるステップＳ２について、取得動作又は返還動作に対応する商品を認識することは、具体的に、商品を含む複数のフレームの手部画像であって、複数の撮像ヘッドに１対１で対応して取得された前記複数のフレームの手部画像に対して、目標検出を行うことにより、商品を含む矩形領域に対応する画像である複数の矩形領域画像を対応的に取得するステップＳ２１と、複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつ前記収納ケースにおける全ての商品で訓練されたモデルである事前訓練された１次分類モデルに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数のプライマリー分類結果と事前訓練された１次線形回帰モデルに基づいて、複数のフレームの手部画像の１次分類結果を取得するステップＳ２２と、前記１次分類結果を１回目の分類結果とするステップＳ２３と、前記１回目の分類結果を認識しようとする商品とするステップＳ２４と、を含む。

好ましくは、以上の前記会計方法において、ステップＳ２２の後、ステップＳ２４の前に、１次分類結果が類似する商品である場合、複数の矩形領域画像と、事前に畳み込みニューラルネットワーク画像認識技術で構築されかつ前記収納ケース内の類似する商品組における商品で訓練されたモデルである事前訓練された２次分類モデルに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルに基づいて、複数のフレームの手部画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とし、そうでない場合、ステップＳ２３に移行するステップＳ２５をさらに含む。

他の側面は、登録する際に顧客の入力する身分情報及び口座情報を受信する登録モジュールと、前記登録モジュールに接続され、受信されたローク解除依頼が事前登録した顧客から送信されるか否かを検証し、そうである場合、商品が載置される商品棚が設けられる収納ケースを開けるためのローク解除指令を送信し、該顧客を前記商品に対する取得動作又は返還動作に関連付ける検証関連モジュールと、前記検証関連モジュールに接続され、取得動作又は返還動作と、取得動作又は返還動作に対応する商品とを認識した後、該顧客の買物リストを生成する買物リスト生成モジュールと、前記買物リスト生成モジュールに接続され、前記買物リスト生成モジュールが生成した買物リストに基づいて、会計を行う会計モジュールと、を含む会計装置が提供されている。

好ましくは、以上の前記会計装置における前記買物リスト生成モジュールは、前記商品棚の前に位置する該顧客の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に関して時間軸に沿って手部の運動軌跡を作成し、手部の運動軌跡が予め設定された仮想動作境界線の外から内に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を返還動作として認識し、手部の運動軌跡が前記仮想動作境界線の内から外に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を取得動作として認識し、前記仮想動作境界線の外が、前記商品棚から離れる方向であり、前記仮想動作境界線の内が、前記商品棚に近づく方向である、動作認識ユニットと、前記取得動作又は返還動作に対応する商品を認識する商品認識ユニットと、前記検証関連モジュールと、動作認識ユニットと、商品認識ユニットとに接続され、前記検証関連モジュールに関連付けられる該顧客の身分情報と、前記動作認識ユニットが認識した取得動作又は返還動作と、前記商品認識ユニットが認識した取得動作又は返還動作に対応する商品に基づいて、該顧客の買物リストを生成する買物リスト生成ユニットと、を含む。

好ましくは、以上の前記会計装置における前記商品認識ユニットは、前記動作認識ユニットにより取得された、商品を含む複数のフレームの手部画像であって、複数の撮像ヘッドに１対１で対応する前記複数のフレームの手部画像によって目標検出を行うことにより、商品を含む矩形領域に対応する画像である複数の矩形領域画像を対応的に取得する目標検出サブユニットと、複数の前記矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつ前記収納ケースにおける全ての商品で訓練されたモデルである事前訓練された１次分類モデルに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数のプライマリー分類結果と事前訓練された１次線形回帰モデルに基づいて、複数のフレームの手部画像の１次分類結果を取得する第１分類サブユニットと、前記１次分類結果を１回目の分類結果とする確認サブユニットと、前記１回目の分類結果を認識しようとする商品とする結果認定サブユニットと、を含む。

好ましくは、以上の前記会計装置における前記商品認識ユニットは、前記第１分類サブユニットと第２分類サブユニットに接続され、１次分類結果が類似する商品であるか否かことを判断し、そうである場合、前記第２分類サブユニットを実行し、そうでない場合、前記第１分類サブユニットを実行する判断サブユニットと、複数の矩形領域画像と、事前に畳み込みニューラルネットワーク画像認識技術で構築されかつ前記収納ケースにおける類似する商品組における商品で訓練されたモデルである事前訓練された２次分類モデルに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルに基づいて、複数のフレームの手部画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とする第２分類サブユニットと、をさらに含む。

また他の一側面は、商品が載置される商品棚が設けられる収納ケースに設けられ、顧客の手部画像を取得する撮像ヘッドと、プロセッサと、プロセッサが実行可能なコマンドを記憶するメモリと、を含み、前記プロセッサは、受信されたローク解除依頼が事前登録した顧客から送信されるか否かを検証し、そうである場合、収納ケースを開けるためのローク解除指令を送信し、該顧客を商品に対する取得動作又は返還動作に関連付けて、取得動作又は返還動作と、取得動作又は返還動作に対応する商品とを認識した後、該顧客の買物リストを生成し、前記買物リストに基づいて会計を行うように構成される会計装置が提供されている。

又他の一側面は、クライアント端末と、収納ケースと、会計装置と、を含み、前記クライアント端末は、登録する際に顧客の入力した身分情報を受信して前記会計装置に送信し、また、前記会計装置の発行する買物リストを受信し、前記収納ケース内には、商品が載置されるための商品棚が設けられ、前記収納ケースのドアには、ドアロックが設けられ、前記会計装置は、上記に記載した会計装置である会計システムが提供されている。

本発明の実施例は、上記の技術思想により以下の有益な効果をもたらす。
販売の流れが良くなり、さらに顧客体験が良くなる。一つの取引で複数又は複数種の商品を購入することが実現でき、購入が便利になる。

本発明の実施例による会計方法のフローチャートである。本発明の実施例による畳み込みニューラルネットワーク画像認識技術のフローチャートである。本発明の実施例による他の畳み込みニューラルネットワーク画像認識技術のフローチャートである。本発明の実施例による会計装置の構成模式図である。

本発明の目的、技術案及びメリットがより明瞭になるように、以下、図面を参照して本発明の実施形態をさらに詳しく説明する。

本発明の実施例に提供される会計方法に係る商品は、商品棚により収納ケース内に置かれている。収納ケースには、単層の商品棚があってもよい。該単層の商品棚には、単一の商品、又は複数行及び複数列の商品が陳列されている。複数層の商品棚があってもよく、商品棚の各層には複数行及び複数列の商品が陳列されている。このように、顧客は、複数又は複数種の商品を一度に購入することが便利になる。本実施例は、これに限定されない。収納ケースは、独立した筺体であり、市場、駅、病院、学校等の人が集まる地域に陳列されることができる。人の群れが流れる状況によって、収納ケースは、運搬されることにより、人の集まる地域に位置するように調整されることができる。このように、コストが低くなる。建築内に特定の空間を収納ケースとして設置することもできる。顧客が収納ケースを開ける前に収納ケース内にどのような商品が陳列されることを知ることが便利になり、自分の購入しようとする商品があるか否かを確認することが便利になるため、収納ケースのドアの材質は、透明な材質である。収納ケースは、各商品の貯蔵条件が異なるので、低温で貯蔵した商品が変質することを回避するように、冷蔵機能を有する収納ケースもある。例えば、収納ケースの下部には冷蔵室が設けられる。

本発明の実施例には、会計方法が提供されている。図１を参照して、該方法は、以下のステップＳ１〜Ｓ３を含む。

ステップＳ１において、受信されたローク解除依頼が事前登録した顧客から送信されるか否かを検証し、そうである場合、収納ケースを開けるためのローク解除指令を送信し、該顧客を商品に対する取得動作又は返還動作に関連付ける。

具体的に、顧客は、収納ケースの前に移動して自分の購入しようとする商品を発見した時、収納ケースに貼り出した登録流れ、又は収納ケースに予め保留したホームページのアドレスにログインして見た登録流れに従い、登録を完了する。登録する際に、該会計方法に対応するＡｐｐ（Ａｐｐｌｉｃａｔｉｏｎ、アプリケーションソフトウェア）をインストールする必要があり、さらに顧客の身分情報（ＩＤ）を取得する必要がある。該身分情報（ＩＤ）は、顧客の携帯電話番号、身分証番号、支払口座番号を含むが、これらに限定されない。例えば、氏名、携帯電話番号、身分証番号、性別、職業をさらに含んでもよい。支払口座番号は、銀行口座番号であってもよく、例えば、余額宝、ウィーチャット支払い、ＱＱ財布、京東財布等の第三者支払口座番号であってもよい。また、ウィーチャット（ＷｅＣｈａｔ）における該会計方法に対応する小さいプログラム（または、小さいウィーチャットプログラムと称する）を利用して顧客の登録を完了させてもよく、該会計方法に対応するウィーチャットオフィシャルアカウント（ＷｅＣｈａｔＯｆｆｉｃｉａｌＡｃｃｏｕｎｔ）を注目することで顧客の登録を完了させてもよい。そして、顧客は、該Ａｐｐ、小さいプログラム、オフィシャルアカウントにより収納ケースにおける収納ケースの身分情報を表す二次元コード又はバーコードを走査して会計装置にローク解除依頼を送信する。会計装置は、検証によって該顧客が登録した顧客であることを発見すると、収納ケースにローク解除指令を送信する。該ローク解除指令は、収納ケースのドアロックを直接的に解除するためであり、開錠暗証を顧客の手動で入力する必要がない。また、クライアント端末には、ローク解除指令を送信してもよい。該ローク解除指令が収納ケースのドアロックを解除するための暗証番号を表示しているため、顧客は、この開錠用暗証番号を手で入力すれば、ドアロックを解除することができる。さらに、該顧客は、収納ケース内の商品に対する取得動作又は返還動作に関連付けられる。つまり、該ショッピング行為は、該顧客のショッピング行為に属することを確認することができる。すなわち、ローク解除指令を送信して会計装置を誘発する顧客は、今回のショッピング行為を行う顧客であると確認される。ドアロックを解除した後、顧客は、ドアが自動的に開いた後、裏押し又は外に引く又は平押しするようにドアを開き、その後収納ケースの前に商品を選別する。顧客が登録完了しないと、顧客が非登録ユーザであると認識できる。収納ケースのドアロックが継続して閉じ、顧客がショッピングをすることができない。この時、顧客は、ショッピングするニーズがあれば、登録を完了してこれを実現できることが提示されてもよい。他の実施例において、収納ケースには、指紋認識器、顔認識器などの生体認識器が設けられてもよい。生物認識技術により顧客ＩＤへの認定を実現する。顧客が該Ａｐｐに登録した際に、顧客の生体データ、例えば指紋データが取得される。ローク解除依頼は、生体認識器が顧客の情報を受信した後、会計装置に送信される。このように、登録した顧客がモバイル装置を忘れた際に、該顧客は、依然として収納ケース内の商品を購入することができる。

ステップＳ２において、取得動作又は返還動作と、取得動作又は返還動作に対応する商品とを認識した後、該顧客の買物リストを生成する。

具体的に、顧客を商品に対する取得動作又は返還動作に関連付けた後、どの顧客が商品に対して取得動作又は返還動作を行ったかを知ることができる。取得動作又は返還動作に対応する商品がどの商品であるかを認識した後、該顧客に対応する買物リストを生成する。顧客が商品に対して取得動作を行うと、その顧客の買物リストに該商品を対応的に追加し、顧客が商品に対して返還動作を行うと、買物リストに該商品を対応的に取り除き、つまり、買物リストが顧客の取得動作又は返還動作に応じてリアルタイムで更新されている。

商品への動作が、取得かまたは返還かを如何に判断する方法は、以下のようになる。

取得された商品棚の前に位置する顧客の連続した複数のフレームの手部画像に基づいて、時間軸上に１本の手部の運動軌跡を作成し、手部の運動軌跡に基づいて顧客が商品に対して取得動作であるか返還動作であるかを行うことを判断する。例えば、撮像ヘッドは、顧客の手部画像を撮影することが有利になるため、撮像範囲が商品棚の前方を覆うように、収納ケースのドア框に配置され、その撮像方向が下向きである。撮像ヘッドは、１秒毎に複数のフレーム、例えば３０フレームの画像を撮像する。撮像ヘッドの撮像した顧客の手部画像を１フレームずつ検出し、各フレームの手部画像における手部の位置をマークして保存し、１フレームずつ前述の操作を繰り返すことにより、時間軸上に１本の手部の運動軌跡が得られる。各フレームの画像中の手部の位置が得られるだけでなく、あるフレームの手部画像に基づいて、手に商品を持っているか否か、及び商品の種別を確認することができる。ドア框の下部には、手部画像の撮像と商品認識の確度を確保するため、撮像方向が上向きである撮像ヘッドが配置されている。撮像ヘッドの数は複数であることが好ましい。

具体的には、手部画像には、商品棚と一定の距離、例えば１０ｃｍ、２０ｃｍの間隔をあける１つの仮想動作境界線が付されている。手部の運動軌跡が商品棚から離れた位置から動作境界線を通って商品棚に近い位置に動くことを検出した場合、簡単に言えば、動作境界線外から動作境界線内に動いて、かつ、手に商品を持っていることを検出した場合、手部動作が商品の返還動作であると認定される。手部の運動軌跡が商品棚に近い位置から動作境界線を通って商品棚から離れた位置に動くことを検出した場合、簡単に言えば、動作境界線内から動作境界線外に動いて、かつ、手に商品を持っていることを検出した場合、手部動作が商品の取得動作であると認定される。

撮像ヘッドは、ビデオデータを継続的に取得し、１秒毎に複数のフレーム、例えば数十フレームの手部画像を取得する。１秒ごとに１フレームの手部画像が取られ、手部位置が切り出されてもよい。手中の商品の分類（又は認識と称する）は、事前訓練された下記の分類モデルで実現することができる。

図２を参照して、取得動作又は返還動作に対応する商品を認識する方法は、次のステップを採用することができる。

ステップＳ２１において、商品を含む複数のフレームの手部画像に目標検出を行うことにより、複数の矩形領域画像を対応的に取得する。ここで、該矩形領域画像は、商品を含む矩形領域に対応する画像であり、複数のフレームの手部画像は、複数の撮像ヘッドに１対１で対応している。

具体的には、手部画像に目標検出を行う時に、手部画像に１つの商品を含む矩形枠（または矩形領域と称する）を切り出す。該矩形枠に対応する画像は、商品の分類を行うための画像である。複数のフレームの手部画像を取得するために、撮像ヘッドを配置する必要がある。該撮像ヘッドは、収納ケースのドア框の上部に配置されてもよい。その際、真上方向から下に向いて撮像する。該撮像ヘッドは、収納ケースのドア框の下部に配置されてもよい。その際、真下方向から上に向いて撮像する。また、複数の撮像ヘッドの一部がドア框の上部に配置され、他の部分がドア框の下部に配置されてもよい。本実施例はこれに限定されない。

ステップＳ２２において、複数の矩形領域画像と、事前訓練された１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、複数のフレームの手部画像の１次分類結果を取得する。ここで、該１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつ収納ケースにおける全ての商品で訓練されたモデルである。

具体的には、データを事前に取得してデータセットを作成する。データを取得するのは、１）収納ケースにおける全ての商品を各角度及び各姿勢で撮像して大量の写真を取得することと、２）そしてこれらの写真に関して注記を行い、例えば、写真中の商品の位置、大きさ及び類別を注記することと、を含む。データセットに含まれるデータとは、前述のこれらの写真及びこれらの写真に関して行われた注記である。１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されたモデルであり、収納ケースにおける全ての商品のデータを用いて訓練される。訓練する時に勾配降下の方式で行うことができる。

訓練済みの１次分類モデルは、各矩形領域画像中の商品を分類し、プライマリー分類結果を得る。該プライマリー分類結果は、１つのｎ次元ベクトルである。ｎは、ショッピング場所における商品の総数を表す。ベクトルにおける各要素の意味は、１次分類モデルの分類しようとする商品がｎ個の商品の中の各商品に属することを認定する確率を表している。ベクトルのうちどの要素の値が最大であることは、モデルが分類しようとする商品がその要素に対応する商品であると認定することを意味する。矩形領域画像が５枚であるとき、プライマリー分類結果の数は、５つのｎ次元ベクトルである。

１次分類モデルを訓練しているときに、１次分類モデルが出力したプライマリー分類結果を１次線形回帰モデルの入力とし、該プライマリー分類結果に対応する手部画像に含まれる商品の正しい分類を１次線形回帰モデルの出力とすることにより、１次線形回帰モデルを訓練する。訓練済みの１次線形回帰モデルによって複数のプライマリー分類結果をデータ融合して１つの１次分類結果を得る。該１次分類結果は、１次線形回帰モデルによって画像中の商品が収納ケースにおける商品の中のどの類別に属することを予測した結果を示している。

ステップＳ２３において、１次分類結果を１回目の分類結果とする。

収納ケースにおける商品は多種である。該多種の商品の中ではいくらかの外観が類似し、また視覚上で混同しやすい商品が存在しており、これらの商品を類似商品と呼ぶ。例えば、ゴールデンデリシャスリンゴ（ＧｏｌｄｅｎＤｅｌｉｃｉｏｕｓＡｐｐｌｅ）と黄色い雪梨（ＳｎｏｗｆｌａｋｅＰｅａｒ）がある。分類しようとする一個の商品が類似する商品であるときに、１次分類モデルによって該商品を的確に分類するのが難しい。例えば、ゴールデンデリシャスリンゴを黄色い雪梨と混同し、ゴールデンデリシャスリンゴを黄色い雪梨に分類してしまう。したがって、図３を参照して、ステップＳ２２の後、下記のステップＳ２５を実行する必要がある。そうでない場合、ステップＳ２３に移行し、つまり、会計のため、１次分類結果を直接に１回目の分類結果とする。

具体的には、ステップＳ２５において、１次分類結果が類似する商品である場合、複数の矩形領域画像と、事前に畳み込みニューラルネットワーク画像認識技術で構築されかつ収納ケースにおける類似する商品組における商品で訓練されたモデルである事前訓練された２次分類モデルとに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、複数のフレームの手部画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とする。

具体的には、ステップＳ２２に作成したデータセットにおける類似する商品のデータにより２次分類モデルを訓練する。訓練する時に勾配降下の方式により行うことができる。２次分類モデルは、訓練する時に使うデータという点において１次分類モデルとは異なる。１次分類モデルに用いられるデータは、ショッピング場所における全ての商品のデータであり、２次分類モデルに用いられるデータは、収納ケースにおける類似する商品のデータである。

訓練済みの２次分類モデルによって、各矩形領域画像中の商品を分類し、セカンダリー分類結果を得る。該セカンダリー分類結果も１つのｍ次元ベクトルであり、ベクトル中の各要素の意味は、２次分類モデルの分類しようとする一個の商品がｍ個の類似する商品の中の各商品に属することを認定する確率を表している。矩形領域画像が５枚である時に、セカンダリー分類結果の数は５つのｍ次元ベクトルであり、ｍはｎ以下であり、且つ収納ケースにおける類似する商品の総数を表している。

実際において、収納ケースにおける類似する商品は複数組がある。例えば、１組の類似する商品は、ゴールデンデリシャスリンゴと黄色い雪梨を含み、他の組の類似する商品には、ばら売りの塩とばら売りの白糖を含み、また他の組の類似する商品は、ソーダ灰と普通の小麦粉を含んでいる。全ての組の類似する商品に対して１つの２次分類モデルを訓練することができる。商品分類の正確率をさらに高めるために、各組の類似する商品に対して１つの２次分類モデルを訓練するとき、１次分類結果が類似する商品であれば、該１次分類結果に対応する２次分類モデルを使用する。

２次分類モデルを訓練するとき、２次分類モデルが出力するセカンダリー分類結果を２次線形回帰モデルの入力とし、該セカンダリー分類結果に対応する画像中に含まれる商品の正確な分類を２次線形回帰モデルの出力とするように、２次線形回帰モデルを訓練する。訓練された２次線形回帰モデルによって、複数のセカンダリー分類結果のデータ融合を行い、１つのセカンダリー分類結果を得るとともに、これを１回目の分類結果とする。該セカンダリー分類結果は、２次線形回帰モデルによって画像中の商品がショッピング場所における商品の中のどの類別に属することを予測した結果を表している。

ステップＳ２４において、１回目の分類結果を認識しようとする商品とする。

１回目の分類結果を取得した後、１回目の分類結果に対応する商品の価格を取得すれば、顧客が選んだ商品に対し支払うべき費用は確定できる。

ステップＳ３において、顧客が収納ケースを離れた後に、その顧客の買物リストに基づいて会計を行う。

顧客は、商品を選別した後、収納ケースのドアを閉める。収納ケースのドアが閉められたことを確認した後、該顧客のショッピングが完了した状態と判断する。該顧客の買物リストに基づいて会計を行う。例えば、登録する時に顧客の入力した支払口座番号から買物リストに対応する費用を差し引く。

顧客が購入した商品を照合するために、認識結果をリアルタイムでクライアントに送信する。例えば、各商品の認識結果は、クラウドサーバにアップロードされる。その後、クラウドサーバは、認識結果を顧客の携帯電話にインストールされたＡｐｐに送信する。該Ａｐｐは、認識結果を仮想ショッピングカーに付加し、買物リストを生成することにより、商品が取得又は返還された後、直ちに顧客に知らせる。なお、ステップＳ１を実行するモジュールは、サーバ側に配置されてもよく、すなわち、クラウドサーバにおける対応的なモジュールは該ステップを実行することになる。ステップＳ２における取得動作又は返還動作と、取得動作又は返還動作に対応する商品の認識を実行するモジュールは、収納ケース側に配置されてもよく、すなわち、収納ケース内に対応的に配置されるモジュールは該ステップを実行することになり、サーバ側に配置されてもよく、すなわち、クラウドサーバにおける対応的なモジュールは該ステップを実行することになる。本実施例はこれに限定されない。ステップＳ２における該顧客の買物リストの生成を実行するモジュール及びステップＳ３を実行するモジュールは、収納ケース側に配置されてもよく、すなわち、収納ケース内に対応的に配置されるモジュールは該ステップを実行することになり、サーバ側に配置されてもよく、すなわち、クラウドサーバは該ステップを実行することになる。本実施例はこれに限定されない。

図４を参照して、本発明の他の実施例には、登録モジュール４０１と、検証関連モジュール４０２と、買物リスト生成モジュール４０３と、会計モジュール４０４と、を含む会計装置が提供されている。

登録モジュール４０１は、登録する時に顧客の入力する身分情報及び口座情報を受信するモジュールである。

検証関連モジュール４０２は、登録モジュール４０１に接続され、受信されたローク解除依頼が事前登録した顧客から送信されたか否かを検証するモジュールであり、そうである場合、ローク解除指令を送信し、該顧客を商品に対する取得動作又は返還動作に関連付ける。ローク解除指令は収納ケースを開けるためである。収納ケース内には、商品を載置する商品棚が設けられる。

買物リスト生成モジュール４０３は、検証関連モジュール４０２に接続され、取得動作又は返還動作と、取得動作又は返還動作に対応する商品とを認識した後、該顧客の買物リストを生成するモジュールである。

会計モジュール４０４は、買物リスト生成モジュール４０３に接続され、買物リスト生成モジュール４０３の生成した買物リストに基づいて会計を行うモジュールである。

具体的に、買物リスト生成モジュール４０３は、動作認識ユニットと、商品認識ユニットと、買物リスト生成ユニットと、を含む。動作認識ユニットは、商品棚の前に位置する該顧客の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に対して時間軸に沿って１本の手部の運動軌跡を作成し、手部の運動軌跡が予め設定された仮想動作境界線の外から内に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、該動作を返還動作として認識し、手部の運動軌跡が仮想動作境界線の内から外に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、該動作を取得動作として認識する。仮想動作境界線の外は、商品棚から離れる方向であり、仮想動作境界線の内は、商品棚に近づく方向である。商品認識ユニットは、取得動作又は返還動作に対応する商品を認識するユニットである。買物リスト生成ユニットは、検証関連モジュールと、動作認識ユニットと、商品認識ユニットに接続され、検証関連モジュールにより確認された該顧客の身分情報、動作認識ユニットにより認識された取得動作又は返還動作、商品認識ユニットにより認識された取得動作又は返還動作に対応する商品に基づいて、該顧客の買物リストを生成する。

具体的に、商品認識ユニットは、目標検出サブユニットと、第１分類サブユニットと、確認サブユニットと、結果認定サブユニットと、を含む。目標検出サブユニットは、動作認識ユニットにより取得された、商品を含む複数のフレームの手部画像に対して目標検出を行うことにより、複数の矩形領域画像を対応的に取得する。ここで、該矩形領域画像は、商品を含む矩形領域に対応する画像であり、複数のフレームの手部画像は、複数の撮像ヘッドに１対１で対応している。第１分類サブユニットは、複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつ収納ケースにおける全ての商品で訓練されたモデルである事前訓練された１次分類モデルとに基づいて、対応的に複数のプライマリー分類結果を取得し、複数のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて複数のフレームの手部画像の１次分類結果を取得する。確認ユニットは、１次分類結果を１回目の分類結果とするユニットである。結果認定ユニットは、１回目の分類結果を認識しようとする商品とするユニットである。

商品認識ユニットは、判断サブユニットと、第２分類サブユニットとをさらに含む。判断サブユニットは、第１分類サブユニットと第２分類サブユニットに接続され、１次分類結果が類似する商品であるか否かを判断し、そうである場合、第２分類サブユニットを実行し、そうでない場合、第１分類サブユニットを実行する。第２分類サブユニットは、複数の矩形領域画像と事前訓練された２次分類モデルに基づいて対応的に複数のセカンダリー分類結果を取得し、複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルに基づいて複数のフレームの手部画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とする。２次分類モデルは、事前に畳み込みニューラルネットワーク画像認識技術で構築されかつ且つ収納ケース内における類似する商品組内の商品で訓練されるモデルである。

なお、登録モジュール４０１の具体的な説明については、上記実施例におけるステップＳ１の関連内容を参照可能であり、検証関連モジュール４０２の具体的な説明については、上記実施例におけるステップＳ１の関連内容を参照可能であり、買物リスト生成モジュール４０３の具体的な説明については、上記実施例におけるステップＳ２およびステップＳ２１、２２、２３、２４、２５の関連内容を参照可能であり、会計モジュール４０４の具体的な説明については、上記実施例におけるステップＳ３の関連内容を参照可能であり、ここで省略する。

本発明における別の実施例には、撮像ヘッドと、プロセッサと、メモリと、を含む会計装置が提供されている。撮像ヘッドは、収納ケースに設けられ、顧客の手部画像を取得するものである。収納ケース内には、商品を載置する商品棚が設けられる。メモリは、プロセッサが実行可能なコマンドを記憶するものである。プロセッサは、受信されたローク解除依頼が事前登録した顧客で送信されるか否かを検証し、そうである場合、収納ケースを開けるためのローク解除指令を送信し、該顧客を商品に対する取得動作又は返還動作に関連付けて、取得動作又は返還動作と、取得動作又は返還動作に対応する商品を認識した後、該顧客の買物リストを生成し、この買物リストに基づいて会計を行うように配置されている。

本発明における他の実施例には、クライアント端末と、収納ケースと、会計装置と、を含む会計システムが提供されている。クライアント端末は、登録する際に顧客の入力した身分情報を受信して前記会計装置に送信し、また、前記会計装置の発行する買物リストを受信するものである。収納ケースには、商品を載置するための商品棚が設けられる。収納ケースのドアにはドアロックが設けられる。会計装置は上記の会計装置であり、その具体的な内容について、ここで省略する。適用した場合の流れは、以下のようになってもよい。顧客は、クライアント端末に登録を完了した後、手に持っているクライアント端末により収納ケースにおける収納ケースの身分情報を表す二次元コード又はバーコードを走査し、会計装置にローク解除依頼を送信した。会計装置の検証をパスした後、収納ケースにローク解除指令を送信し、収納ケースのドアロックを解除した。その後、顧客は、収納ケースのドアを開けて自分の購入しようとする商品を選別した。会計装置は、このショッピング行為を該顧客のショッピング行為として認定し、顧客の取得動作又は返還動作と、取得動作又は返還動作に対する商品を認識し、顧客が収納ケースのドアを閉めた後、買物リストを生成して会計を行った。

要するに、本発明の実施例は、以下の有益な効果を得る。

販売の流れが良くなり、さらに顧客体験が良くなる。一つの取引で複数又は複数種の商品を購入することが実現でき、購入が便利になる。

技術常識からわかるように、本発明は、その技術的な主旨又は必要な特徴から逸脱しない実施例によって実現することができる。したがって、上記開示された実施例は、各側面については、例示に過ぎず、唯一のものではない。本発明の範囲内に又は本発明の範囲と均等する範囲内の変更のすべては、本発明に含まれる。

Claims

商品棚の前に位置する顧客の連続した複数のフレームの手部画像に基づいて、取得動作又は返還動作と、取得動作又は返還動作に対応する商品と、を認識する会計装置の会計方法であって、
受信されたローク解除依頼が事前登録した顧客から送信されるか否かを検証し、そうである場合、商品が載置される商品棚が設けられる収納ケースを開けるためのローク解除指令を送信し、該顧客を商品に対する取得動作又は返還動作に関連付けるステップＳ１と、
取得動作又は返還動作と、取得動作又は返還動作に対応する商品とを認識した後、該顧客の買物リストを生成するステップＳ２と、
前記買物リストに基づいて会計を行うステップＳ３と、を含み、
前記ステップＳ２において、取得動作又は返還動作を認識することは、具体的に、
前記商品棚の前に位置する該顧客の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に関して時間軸に沿って手部の運動軌跡を作成し、
手部の運動軌跡が予め設定された仮想動作境界線の外から内に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を返還動作として認識し、
手部の運動軌跡が前記仮想動作境界線の内から外に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を取得動作として認識すること、を含み、
前記仮想動作境界線の外は、前記商品棚から離れる方向であり、前記仮想動作境界線の内は、前記商品棚に近づく方向であり、取得動作又は返還動作に対応する商品を認識することは、具体的に、
商品を含む複数のフレームの手部画像であって、複数の撮像ヘッドに１対１で対応して取得された前記複数のフレームの手部画像に対して、目標検出を行うことにより、商品を含む矩形領域に対応する画像である複数の矩形領域画像を対応的に取得するステップＳ２１と、
複数の矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつ前記収納ケースにおける全ての商品で訓練されたモデルである事前訓練された１次分類モデルに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数のプライマリー分類結果と事前訓練された１次線形回帰モデルに基づいて、複数のフレームの手部画像の１次分類結果を取得するステップＳ２２と、
前記１次分類結果を１回目の分類結果とするステップＳ２３と、
前記１回目の分類結果を認識しようとする商品とするステップＳ２４と、を含み、
前記買物リストが該顧客の取得動作又は返還動作に応じてリアルタイムで更新される、
ことを特徴とする会計装置の会計方法。
ステップＳ２２の後、ステップＳ２３の前に、１次分類結果が類似する商品である場合、複数の矩形領域画像と、事前に畳み込みニューラルネットワーク画像認識技術で構築されかつ前記収納ケースにおける類似する商品組における商品で訓練されたモデルである事前訓練された２次分類モデルに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルに基づいて、複数のフレームの手部画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とし、そうでない場合、ステップＳ２３に移行するステップＳ２５をさらに含む、ことを特徴とする請求項１に記載の会計方法。
商品棚の前に位置する顧客の連続した複数のフレームの手部画像に基づいて、取得動作又は返還動作と、取得動作又は返還動作に対応する商品と、を認識する会計装置であって、
登録する際に顧客の入力する身分情報及び口座情報を受信する登録モジュールと、
前記登録モジュールに接続され、受信されたローク解除依頼が事前登録した顧客から送信されるか否かを検証し、そうである場合、商品が載置される商品棚が設けられる収納ケースを開けるためのローク解除指令を送信し、該顧客を前記商品に対する取得動作又は返還動作に関連付ける検証関連モジュールと、
前記検証関連モジュールに接続され、取得動作又は返還動作と、取得動作又は返還動作に対応する商品とを認識した後、該顧客の買物リストを生成する買物リスト生成モジュールと、
前記買物リスト生成モジュールに接続され、前記買物リスト生成モジュールの生成した買物リストに基づいて会計を行う会計モジュールと、を含み、
前記買物リスト生成モジュールは、
前記商品棚の前に位置する該顧客の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に関して時間軸に沿って手部の運動軌跡を作成し、手部の運動軌跡が予め設定された仮想動作境界線の外から内に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を返還動作として認識し、手部の運動軌跡が前記仮想動作境界線の内から外に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を取得動作として認識し、前記仮想動作境界線の外が、前記商品棚から離れる方向であり、前記仮想動作境界線の内が、前記商品棚に近づく方向である動作認識ユニットと、
前記取得動作又は返還動作に対応する商品を認識する商品認識ユニットと、
前記検証関連モジュールと、動作認識ユニットと、商品認識ユニットとに接続され、前記検証関連モジュールに関連付けられる該顧客の身分情報と、前記動作認識ユニットの認識した取得動作又は返還動作と、前記商品認識ユニットの認識した取得動作又は返還動作に対応する商品に基づいて、該顧客の買物リストを生成する買物リスト生成ユニットと、を含み、
前記商品認識ユニットは、
前記動作認識ユニットにより取得された、商品を含む複数のフレームの手部画像であって、複数の撮像ヘッドに１対１で対応する前記複数のフレームの手部画像に対して目標検出を行うことにより、商品を含む矩形領域に対応する画像である複数の矩形領域画像を対応的に取得する目標検出サブユニットと、
複数の前記矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつ前記収納ケースにおける全ての商品で訓練されたモデルである事前訓練された１次分類モデルに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数のプライマリー分類結果と事前訓練された１次線形回帰モデルに基づいて、複数のフレームの手部画像の１次分類結果を取得する第１分類サブユニットと、
前記１次分類結果を１回目の分類結果とする確認サブユニットと、
前記１回目の分類結果を認識しようとする商品とする結果認定サブユニットと、を含み、
前記買物リストが該顧客の取得動作又は返還動作に応じてリアルタイムで更新される、
ことを特徴とする会計装置。
前記商品認識ユニットは、
前記第１分類サブユニットと第２分類サブユニットとに接続され、１次分類結果が類似する商品であるか否かことを判断し、そうである場合、前記第２分類サブユニットを実行し、そうでない場合、前記第１分類サブユニットを実行する判断サブユニットと、
複数の矩形領域画像と、事前に畳み込みニューラルネットワーク画像認識技術で構築されかつ前記収納ケースにおける類似する商品組における商品で訓練されたモデルである事前訓練された２次分類モデルに基づいて、対応的に複数のセカンダリー分類結果を取得し、そして複数のセカンダリー分類結果と事前訓練された２次線形回帰モデルに基づいて、複数のフレームの手部画像の２次分類結果を取得し、２次分類結果を１回目の分類結果とする第２分類サブユニットと、をさらに含むことを特徴とする請求項３に記載の会計装置。
商品棚の前に位置する顧客の連続した複数のフレームの手部画像に基づいて、取得動作又は返還動作と、取得動作又は返還動作に対応する商品と、を認識する会計装置であって、
商品が載置される商品棚が設けられる収納ケースに設けられ、顧客の手部画像を取得する撮像ヘッドと、
プロセッサと、
プロセッサが実行可能なコマンドを記憶するメモリと、を含み、
前記プロセッサは、受信されたローク解除依頼が事前登録した顧客から送信されるか否かを検証し、そうである場合、収納ケースを開けるためのローク解除指令を送信し、該顧客を商品に対する取得動作又は返還動作に関連付けて、取得動作又は返還動作と、取得動作又は返還動作に対応する商品とを認識した後、該顧客の買物リストを生成し、前記買物リストに基づいて会計を行うように構成され、
取得動作又は返還動作を認識することは、具体的に、
前記商品棚の前に位置する該顧客の連続した複数のフレームの手部画像を取得し、連続した複数のフレームの手部画像に関して時間軸に沿って手部の運動軌跡を作成し、
手部の運動軌跡が予め設定された仮想動作境界線の外から内に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を返還動作として認識し、
手部の運動軌跡が前記仮想動作境界線の内から外に移動する運動軌跡であって、且つ手に商品を持っていることを検出したとき、この動作を取得動作として認識すること、を含み、
前記仮想動作境界線の外は、前記商品棚から離れる方向であり、前記仮想動作境界線の内は、前記商品棚に近づく方向であり、
商品認識ユニットは、
動作認識ユニットにより取得された、商品を含む複数のフレームの手部画像であって、複数の撮像ヘッドに１対１で対応する前記複数のフレームの手部画像に対して目標検出を行うことにより、商品を含む矩形領域に対応する画像である複数の矩形領域画像を対応的に取得する目標検出サブユニットと、
複数の前記矩形領域画像と、畳み込みニューラルネットワーク画像認識技術で構築されかつ前記収納ケースにおける全ての商品で訓練されたモデルである事前訓練された１次分類モデルに基づいて、対応的に複数のプライマリー分類結果を取得し、そして複数のプライマリー分類結果と事前訓練された１次線形回帰モデルに基づいて、複数のフレームの手部画像の１次分類結果を取得する第１分類サブユニットと、
前記１次分類結果を１回目の分類結果とする確認サブユニットと、
前記１回目の分類結果を認識しようとする商品とする結果認定サブユニットと、を含み、
前記買物リストが該顧客の取得動作又は返還動作に応じてリアルタイムで更新される、
ことを特徴とする会計装置。
クライアント端末と、収納ケースと、会計装置と、を含み、
前記クライアント端末は、登録する際に顧客の入力した身分情報を受信して前記会計装置に送信し、また、前記会計装置の発行する買物リストを受信し、
前記収納ケース内には、商品が載置されるための商品棚が設けられ、前記収納ケースのドアには、ドアロックが設けられ、
前記会計装置は、請求項３から請求項５のいずれか一項に記載の会計装置であることを特徴とする会計システム。