JP7245321B2 - スキャン漏れ識別方法および装置、セルフサービス・キャッシュ・レジスタ端末およびシステム - Google Patents

Description

関連出願の相互参照
本出願は、２０１８年８月２８日に出願の「ＭＩＳＳＩＮＧ ＳＣＡＮ ＩＤＥＮＴＩＦＩＣＡＴＩＯＮ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ，ＳＥＬＦ－ＳＥＲＶＩＣＥ ＣＡＳＨ ＲＥＧＩＳＴＥＲ ＴＥＲＭＩＮＡＬ ＡＮＤ ＳＹＳＴＥＭ」という名称の中国特許出願第２０１８１０９８７９４１．７号の優先権を主張し、全体として参照により本明細書に組み込まれる。

本出願は、コンピュータ技術の分野に関し、詳細には、スキャン漏れ（ｍｉｓｓｉｎｇ ｓｃａｎ）識別方法および装置、ならびにセルフサービス・チェックアウト端末およびシステムに関する。

小売業の継続的な発展、および電子技術の継続的な進歩に伴い、モールでの精算方式は継続的に変化している。支払いのために過剰に列に並ぶ人々の問題を解決し、モールのレジ係の負担を軽くするために、これに応じて、セルフサービス・チェックアウト機が考案された。主として、セルフサービス・チェックアウト機は、顧客が品物をスキャンし、セルフサービスで支払うために、モールの出口に配置され、したがって、待機工程をなくし、より大きな利便性を顧客にもたらす。

既存技術では、スキャン漏れなどの意図的または非意図的な規則破りの動作が、セルフサービス・チェックアウト機を顧客が使用するときに頻繁に現れ、小売店の経済損失の原因となる。ユーザのセルフサービスのコード・スキャンを１件ずつ見張るために店員を配置すると、人的資源および物的資源が無駄になり、セルフサービス・チェックアウト機を使用するのにかかるコストが極めて大きくなる。

これを考慮して、本出願の実施形態は、セルフサービス・チェックアウト端末を使用するのにかかるコストを減らすために、スキャン漏れ識別方法および装置、ならびにセルフサービス・チェックアウト端末およびシステムを提供する。

第１の態様によれば、本出願の実施形態は、スキャン漏れ識別方法を提供し、
ユーザが品物をスキャンしている映像情報を獲得することと、
映像情報に従ってユーザのスキャン漏れ行動の検出結果を取得することと
を含む。

第２の態様によれば、本出願の実施形態は、スキャン漏れ識別方法を提供し、
ユーザが品物をスキャンしている映像情報を獲得することと、
画像サーバに映像情報を送信することと、
画像サーバによって映像情報を処理することによって取得されたユーザ行動検出結果を受信することと
を含む。

第３の態様によれば、本出願の実施形態は、スキャン漏れ識別方法を提供し、
セルフサービス・チェックアウト端末によって送信された、ユーザが品物をスキャンしている映像情報を取得することと、
映像情報に従ってユーザ行動検出結果を取得することと、
セルフサービス・チェックアウト端末にユーザ行動検出結果を送信することと
を含む。

第４の態様によれば、本出願の実施形態は、スキャン漏れ識別方法を提供し、
セルフサービス・チェックアウト端末によって送信された、ユーザが品物をスキャンしている映像情報を取得することと、
ユーザがスキャン漏れ行動を行ったかどうかをバックエンド監視人が映像情報に従って判定するために、バックエンド監視人に対して映像情報を表示することと、
ユーザがスキャン漏れ行動を行ったことをバックエンド監視人が確認する操作イベントに応答して、セルフサービス・チェックアウト端末にスキャン漏れ指示情報を送信することと
を含む。

第５の態様によれば、本出願の実施形態は、スキャン漏れ識別装置を提供し、
ユーザが品物をスキャンしている映像情報を獲得するように構成された第１の獲得モジュールと、
映像情報に従ってユーザのスキャン漏れ行動の検出結果を取得するように構成された第１の検出モジュールと
を含む。

第６の態様によれば、本出願の実施形態は、スキャン漏れ識別装置を提供し、
ユーザが品物をスキャンしている映像情報を獲得するように構成された第２の獲得モジュールと、
画像サーバに映像情報を送信するように構成された第１の送信モジュールと、
画像サーバによって映像情報を処理することによって取得されたユーザ行動検出結果を受信するように構成された第１の受信モジュールと
を含む。

第７の態様によれば、本出願の実施形態は、スキャン漏れ識別装置を提供し、
セルフサービス・チェックアウト端末によって送信された、ユーザが品物をスキャンしている映像情報を取得するように構成された第１の取得モジュールと、
映像情報に従ってユーザ行動検出結果を取得するように構成された第２の検出モジュールと、
セルフサービス・チェックアウト端末にユーザ行動検出結果を送信するように構成された第２の送信モジュールと
を含む。

第８の態様によれば、本出願の実施形態は、スキャン漏れ識別装置を提供し、
セルフサービス・チェックアウト端末によって送信された、ユーザが品物をスキャンしている映像情報を取得するように構成された第２の取得モジュールと、
ユーザがスキャン漏れ行動を行ったかどうかをバックエンド監視人が映像情報に従って判定するために、バックエンド監視人に対して映像情報を表示するように構成された表示モジュールと、
ユーザがスキャン漏れ行動を行ったことをバックエンド監視人が確認する操作イベントに応答して、セルフサービス・チェックアウト端末にスキャン漏れ指示情報を送信するように構成された第３の送信モジュールと
を含む。

第９の態様によれば、本出願の実施形態は、セルフサービス・チェックアウト端末を提供し、第１のメモリおよび第１のプロセッサを含み、第１のメモリが、１つまたは複数のコンピュータ命令を格納するように構成され、１つまたは複数のコンピュータ命令が、第１のプロセッサによって実行されると、第１の態様に記載のスキャン漏れ識別方法を実行する。

第１０の態様によれば、本出願の実施形態は、セルフサービス・チェックアウト端末を提供し、第２のメモリおよび第２のプロセッサを含み、第２のメモリが、１つまたは複数のコンピュータ命令を格納するように構成され、１つまたは複数のコンピュータ命令が、第２のプロセッサによって実行されると、第２の態様に記載のスキャン漏れ識別方法を実行する。

第１１の態様によれば、本出願の実施形態は、画像サーバを提供し、第３のメモリおよび第３のプロセッサを含み、第３のメモリが、１つまたは複数のコンピュータ命令を格納するように構成され、１つまたは複数のコンピュータ命令が、第３のプロセッサによって実行されると、第３の態様に記載のスキャン漏れ識別方法を実行する。

第１２の態様によれば、本出願の実施形態は、バックエンド監視端末を提供し、第４のメモリおよび第４のプロセッサを含み、第４のメモリが、１つまたは複数のコンピュータ命令を格納するように構成され、１つまたは複数のコンピュータ命令が、第４のプロセッサによって実行されると、第４の態様に記載のスキャン漏れ識別方法を実行する。

第１３の態様によれば、本出願の実施形態は、セルフサービス・チェックアウト・システムを提供し、第９の態様に記載のセルフサービス・チェックアウト端末、および第１２の態様に記載のバックエンド監視端末を含む、または、第１０の態様に記載のセルフサービス・チェックアウト端末、第１１の態様に記載の画像サーバ、および第１２の態様に記載のバックエンド監視端末を含む。

本出願の実施形態は、コンピュータ・プログラムを格納するように構成されたコンピュータ・ストレージ媒体を提供する。コンピュータ・プログラムは、第１の態様から第４の態様のいずれか１つに記載のスキャン漏れ識別方法を実行するためにコンピュータによって実行される。

本出願の実施形態で提供されるスキャン漏れ識別方法および装置、ならびにセルフサービス・チェックアウト端末およびシステムでは、ユーザが品物をスキャンすると、ユーザの映像情報が獲得され、ユーザのスキャン漏れ行動が、映像情報を通じて検出される。取得された検出結果は、精算補助および警報などの機能を実行して、セルフサービス・チェックアウト端末の使用中のユーザのスキャン漏れ行動をなくすか、減らし、小売店の経済損失を減らすために使用することができ、人的資源および物的資源を節約し、セルフサービス・チェックアウト端末を使用するのにかかるコストを効果的に減らし、セルフサービス・チェックアウト端末の促進および利用を容易にする。さらに、損失防止は映像処理によって実現され、ユーザがチェックアウト処理で混乱するのを防ぎ、これにより、ユーザ体験を効果的に改善する。

本出願の実施形態における、または既存技術における技術的解決策をより明確に説明するために、以下は、実施形態または既存技術を説明するのに必要な添付の図面を簡単に説明する。明らかに、以下の説明における添付の図面は、本出願のいくつかの実施形態を示し、当業者は、創造的努力をすることなく、これらの添付の図面から他の図面を依然として導出することができる。

本出願の１つの実施形態による応用シナリオの概略図である。 本出願の１つの実施形態によるスキャン漏れ識別方法の実施形態１の概略流れ図である。 本出願の１つの実施形態によるセルフサービス・チェックアウト端末の外観の概略図である。 本出願の１つの実施形態によるスキャン漏れ識別方法の実施形態２の概略流れ図である。 本出願の１つの実施形態によるスキャン漏れ識別方法の実施形態３の概略流れ図である。 本出願の１つの実施形態によるスキャン漏れ識別方法の実施形態４の概略流れ図である。 本出願の１つの実施形態によるスキャン漏れ識別方法の実施形態５の概略流れ図である。 本出願の１つの実施形態によるスキャン漏れ識別方法の実施形態６の概略流れ図である。 本出願の１つの実施形態によるスキャン漏れ識別方法の実施形態７の概略流れ図である。 本出願の１つの実施形態によるスキャン漏れ識別装置の実施形態１の概略構造図である。 本出願の１つの実施形態によるスキャン漏れ識別装置の実施形態２の概略構造図である。 本出願の１つの実施形態によるスキャン漏れ識別装置の実施形態３の概略構造図である。 本出願の１つの実施形態によるスキャン漏れ識別装置の実施形態４の概略構造図である。 本出願の１つの実施形態によるセルフサービス・チェックアウト端末の概略構造図である。 本出願の１つの実施形態による別のセルフサービス・チェックアウト端末の概略構造図である。 本出願の１つの実施形態によるさらに別のセルフサービス・チェックアウト端末の概略構造図である。 本出願の１つの実施形態による画像サーバの概略構造図である。 本出願の１つの実施形態によるバックエンド監視端末の概略構造図である。

本出願の実施形態の目的、技術的解決策、および長所を明らかにするために、以下は、本出願の実施形態における添付の図面を参照しながら、本出願の実施形態における技術的解決策を明確かつ完全に説明する。明らかに、説明される実施形態は、実施形態の全てではなく、本出願のいくつかの実施形態にすぎない。創造的努力なく本出願の実施形態に基づいて当業者によって取得される他の全ての実施形態が、本出願の保護範囲に含まれる。

本出願の実施形態で使用される用語は、特定の実施形態を示すためのものにすぎず、本出願を限定することを意図するものではない。本出願の実施形態および添付の特許請求の範囲で使用される単数形の用語「１つ（ａ）」、「前記（ｓａｉｄ）」、および「前記（ｔｈｅ）」は、別途文脈で明確に指定されない限り、複数形も含むことを意図するものである。用語「複数の（ａ ｐｌｕｒａｌｉｔｙ ｏｆ）」は、一般に、少なくとも２つを含むが、少なくとも１つを含む状況を除外しない。

本明細書で使用される用語「および／または」は、関連付けられたオブジェクトを説明するための関連付け関係を説明するにすぎず、３つの関係が存在できることを表す。例えば、Ａおよび／またはＢは、Ａだけが存在する、ＡとＢ両方が存在する、ならびにＢだけが存在する、という３つのケースを表すことができる。さらに、本明細書における記号「／」は、一般に、関連付けられたオブジェクト間の「または」関係を示す。

文脈に応じて、例えば、本明細書で使用される語「～の場合（ｉｆ）」または「～であるかのように（ａｓ ｉｆ）」は、「～の間（ｗｈｉｌｅ …）」もしくは「～のとき（ｗｈｅｎ …）」または「決定したことに応答して（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ）」もしくは「検出に応答して（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｏｎ）」と記述することがある。同様に、文脈に応じて、句「決定した場合（ｉｆ ｄｅｔｅｒｍｉｎｉｎｇ）」または「（決められた条件もしくはイベントを）検出した場合（ｉｆ ｄｅｔｅｃｔｉｎｇ）」は、「決定したとき（ｗｈｅｎ ｄｅｔｅｒｍｉｎｉｎｇ）」または「決定したことに応答して」あるいは「（決められた条件もしくはイベントを）検出したとき」または「（決められた条件もしくはイベントの）検出に応答して」と記述することがある。

用語「含む」、「収める」、およびその任意の変形物は、非排他的な包含を含むことを意図することをさらに留意されたい。したがって、一連の要素を含む商品またはシステムは、このような要素を含むだけでなく、明確に指定されていない他の要素も含むか、商品またはシステムの固有の要素も含む。別途指定されない限り、「１つの～（ａ／ａｎ．．．）を含む」によって限定される要素は、要素を含む商品またはシステムに存在している他の同じ要素を除外しない。

本出願の実施形態で提供される方法は、例えば、スーパーマーケット、ショッピング・モール、モール、および店といった、任意のレジ係の業務に適用可能である。図１は、本出願の１つの実施形態による応用シナリオの概略図である。図１に示したように、セルフサービス・チェックアウト端末は、精算サーバ、画像サーバ、バックエンド監視端末、および現場監視端末と通信することができる。

例えば、セルフサービス・チェックアウト端末は、モールの出口、または別の位置に配置することができる。ユーザは、モール内で欲しい品物を選択し、その後、セルフサービス・チェックアウト端末で品物のバーコードをスキャンすることができる。セルフサービス・チェックアウト端末は、ユーザが品物をスキャンしたときのユーザの映像情報を獲得し、映像情報に従ってユーザがスキャン漏れ行動を行ったかどうかを判定する。

精算サーバは、品物検索および精算などの機能を実行するように構成される。任意選択として、セルフサービス・チェックアウト端末でユーザが品物をスキャンした後、セルフサービス・チェックアウト端末は、スキャンした品物の識別子を精算サーバに送信することができる。精算サーバは、名前および価格など、品物についての情報を問い合わせ、セルフサービス・チェックアウト端末に情報を送信する。セルフサービス・チェックアウト端末は、その後、ユーザに情報を表示する。ユーザが品物全てをスキャンした後、精算サーバは、品物全ての価格に従って支払い情報を生成し、ユーザの支払い行動に従って精算を完了させることができる。

画像サーバは、映像情報を処理するように構成される。ユーザが品物をスキャンするとき、セルフサービス・チェックアウト端末は、品物をスキャンしているユーザの映像情報をリアル・タイムに獲得し、画像サーバに映像情報を送信することができる。画像サーバは、映像情報を処理して、ユーザのスキャン漏れ行動の検出結果を取得し、セルフサービス・チェックアウト端末に検出結果をフィードバックすることができる。セルフサービス・チェックアウト端末は、検出結果に従って、ユーザによってスキャンされた品物を精算することができる。

バックエンド監視端末は、ユーザのスキャン行動をバックエンド監視人が監視するために使用される。セルフサービス・チェックアウト端末は、品物をスキャンしているユーザのリアル・タイムに獲得した映像情報をバックエンド監視端末に送信する。バックエンド監視端末は、店の経済利益をさらに確実にするために、ユーザ行動の手動監視を実行することになるバックエンド監視人に対して映像情報を表示する。

現場監視端末は、現場監視人がユーザのスキャン行動を監視するために使用される。セルフサービス・チェックアウト端末は、例えば、スキャン漏れ行動が行われる、または、スキャン漏れの数が一定の値より大きいといった一定の条件を、ユーザのスキャン漏れ行動が満たしたときに、現場監視端末に警告情報を送信することができる。現場監視端末は、現場監視人に携行されてもよい。警告情報を受信した後、現場監視人は、セルフサービス・チェックアウト端末に行って、スキャンおよび精算をユーザが完了させるのを補助することができる。

本出願の本実施形態は、ユーザのセルフサービス精算中に、ユーザが品物をスキャンしている映像情報を処理して、ユーザのスキャン漏れ行動の検出結果を取得するための方法を提供する。検出結果は、精算など、その後のステップのために使用することができる。図１は、本出願の１つの実施形態による応用シナリオを示す。特定のハードウェア・アーキテクチャは、映像情報を通じてユーザのスキャン漏れ行動を検出できる限り、実際の要件に従って調節できることを当業者は理解できるであろう。

例えば、セルフサービス・チェックアウト端末は、映像情報を直接処理し、ユーザのスキャン漏れ行動の検出結果を取得するために、画像サーバの機能を提供することができる。セルフサービス・チェックアウト端末は、精算サーバの機能をさらに提供することができる。セルフサービス・チェックアウト端末は、品物の識別子と品物価格との間の対応関係を記憶し、スキャンした品物の識別子に従って、対応する価格を決定することができる。代替として、画像サーバの機能と精算サーバの機能は、１つのサーバに統合することができる。代替として、画像サーバの機能と精算サーバの機能は、バックエンド監視端末によって実行することができる。

本出願の実施形態で提供されるスキャン漏れ識別方法の実行処理を、以下の方法の実施形態および添付の図面を参照しながら以下で説明する。さらに、以下における各方法の実施形態におけるステップのシーケンスは、例にすぎず、限定とはみなされない。

図２は、本出願の１つの実施形態によるスキャン漏れ識別方法の実施形態１の概略流れ図である。本実施形態では、方法は、セルフサービス・チェックアウト端末によって実施することができる。図２に示したように、本実施形態におけるスキャン漏れ識別方法は、以下のステップを含むことができる。

ステップ２０１：ユーザが品物をスキャンしている映像情報を獲得する。

ステップ２０２：映像情報に従ってユーザのスキャン漏れ行動の検出結果を取得する。

本出願の本実施形態におけるユーザは、小売店にいる顧客であってもよい。品物は、ユーザによって購入されることになる品物であってもよい。一般に、品物にはバーコードまたは２次元コードなどの識別子がついている。品物は、識別子をスキャンすることによって精算することができる。

図３は、本出願の１つの実施形態によるセルフサービス・チェックアウト端末の外観の概略図である。図３に示したように、セルフサービス・チェックアウト端末は、セルフサービス・チェックアウトに必要なカメラ、表示画面、スキャナ、および台などの機能装置を含むことができる。代替として、セルフサービス・チェックアウト端末は、このような機能装置を含まなくてもよいが、代わりに、セルフサービス・チェックアウト端末は、セルフサービス・チェックアウト機に組み込むことができる。セルフサービス・チェックアウト機は、カメラ、表示画面、スキャナ、および台などの機能装置を含むことができる。セルフサービス・チェックアウト端末は、機能装置との対話を通じてスキャン漏れ識別方法を実行する。

表示画面は、例えば、品物の名前および価格といった、ユーザによってスキャンされた品物についての情報を表示することができる。台は、品物を置くために使用され、スキャン予定の品物を置くためのスキャン準備領域Ａ、品物をスキャンするためのスキャン領域Ｂ、および、スキャンした品物を置くためのスキャン済領域Ｃを含むことができる。

台の上には、ユーザが品物をスキャンするためのコード・スキャン領域がある。ユーザは、コード・スキャン領域にあるスキャナに品物の識別子を並べて、品物をスキャンすることができる。

コード・スキャン領域の既定の範囲には、例えば、図２に示したカメラといった、画像キャプチャ装置を設置することができる。既定の範囲は、実際の要件に応じてセットすることができ、例えば、１メートルにセットすることができる。

これに対応して、ステップ２０１における、ユーザが品物をスキャンしている映像情報を獲得することは、画像キャプチャ装置によって獲得されたコード・スキャン領域の映像情報を取得することを含むことができる。

ユーザが品物をスキャンするとき、セルフサービス・チェックアウト端末は、カメラを通じてユーザの映像情報をリアル・タイムに獲得することができる。カメラは、ユーザの品物スキャン行動をキャプチャできる位置に配置することができる。例えば、カメラは、セルフサービス・チェックアウト端末の最上部に配置される。

ユーザ行動は、リアル・タイムに取得された映像情報に従って検出することができる。検出結果は、ユーザがスキャン漏れ行動を行ったかどうか、ユーザのスキャン漏れの数、ユーザのスキャン漏れ行動が検出される毎の瞬間、または同様のものを含むことができる。映像情報に従ってユーザのスキャン漏れ行動の検出結果を取得することについての複数の実装形態があるが、本出願の本実施形態では限定されない。

任意選択の実装形態では、ユーザ行動は、機械学習を通じて解析することができる。例えば、機械学習を通じてユーザの手のモデルおよび品物のモデルを学習し、モデルは、リアル・タイムのスキャン漏れ検出のために使用される。例えば、複数のサンプルを最初に取得することができる。各サンプルは、例えば、手の動作の軌跡および手の格好といった、ユーザの行動データを含み、例えば、サンプルが、スキャン漏れ行動、およびスキャン漏れの数に伴うものであるかどうかといった、対応する行動タグを含む。次に、例えばニューラル・ネットワークといった、機械学習を通じてユーザ行動モデルが取得される。店の正式な開店中、ユーザに対応する行動データは、リアル・タイムに獲得された映像情報に従って直接判定することができる。行動データは、ユーザ行動モデルに入力される。行動が、スキャン漏れ行動、またはスキャン漏れの数に伴うものであるかどうかは、モデルに従って判定することができる。

映像情報に従ってユーザに対応する行動データを判定することについての複数の実装形態がある。例えば、ユーザ行動データは、３Ｄたたみ込み、オプティカル・フロー・アルゴリズム、運動分割アルゴリズム、または同様のものを通じて取得することができる。３Ｄたたみ込みを通じて、複数の連続フレームが、立方体を形成するためにスタックされる。次に、３Ｄたたみ込みカーネルが、立方体に使用される。このような構造では、たたみ込み層内の各特徴マップは、上層にある隣接した複数の連続フレームにつなげられる。したがって、運動情報をキャプチャすることができる。現在、オプティカル・フロー・アルゴリズムは、動画解析における重要な方法である。オブジェクトが動くとき、画像内のオブジェクトに対応する点の明るさのパターンも動く。画像内の明るさのパターンの明らかな動きが、オプティカル・フローである。運動分割は、シーケンス特徴の動きの複数のタイプにおけるそれぞれの独立した動きに関連付けられたピクセルに印をつけ、ピクセルのそれぞれが属するメディア・オブジェクトに応じて、ピクセルをかたまりにすることである。主な目的は、静的な背景から前景として、動いているオブジェクトを抽出することである。さらに、ユーザの手の複数の主要な点を、ＯｐｅｎＰｏｓｅなどのアルゴリズムを通じて取得することができる。ユーザの手の格好は、主要な点に従って判定される。

別の任意選択の実装形態では、ユーザによる各品物のピックアップは、各完全アクション中にコード・スキャン行動があるかどうかを判定するための完全アクションとみなすことができる。完全アクションにコード・スキャン行動がない場合、スキャン漏れがあるとみなされる。

ステップ２０２における、映像情報に従ってユーザのスキャン漏れ行動の検出結果を取得することは、映像情報に従ってユーザの姿勢データを判定することと、ユーザの姿勢データに従って、スキャン・アクションが行われた期間を判定することと、期間内にスキャンされた品物の識別子に従って、期間内にユーザがスキャン漏れ行動を行ったかどうかを判定することとを含むことができる。

完全スキャン・アクションをどのようにキャプチャするかについての複数の実装形態がある。例えば、セルフサービス・チェックアウト端末の左側は、スキャン予定の品物を置くために使用され、右側は、スキャンした品物を置くために使用される。ユーザの手が右に動くことは、スキャンのために品物をピックアップする動作とみなされ、左に動くことは、戻す動作とみなされる。右に動き、次に左に動くことは、完全アクションとみなされる。代替として、スキャン領域の左の境界からスキャン領域の右の境界にユーザの手が動くことは、完全アクションとみなされる。品物のコード・スキャンには、このアクションが伴う。そうでなければ、スキャン漏れ行動がある。代替として、ユーザのアクションの軌道に従って、ユーザが品物をピックアップした瞬間、およびユーザが品物を降ろした瞬間を判定することができる。完全アクションは、品物をピックアップした瞬間、および品物を降ろした瞬間に従って判定することができる。

セルフサービス・チェックアウト端末、ポイント・オブ・セールス（ＰＯＳ：ｐｏｉｎｔ ｏｆ ｓａｌｅ）機、または別の類似のデバイスのコード・スキャン装置によって取得された信号を通じてコード・スキャン行動があるかどうかを判定することができる。ＰＯＳ機は、品物のバーコードまたは２次元コードを識別し、対応する名前、価格などを判定することができる。

アクションが行われた期間に、ＰＯＳ機または別のスキャン装置によって品物の識別子がスキャンされなかった場合、期間内にユーザがスキャン漏れ行動を行ったと判定される。代替として、品物の識別子がスキャンされたが、スキャンした品物についての情報が、映像情報を通じて判定された品物についての情報と一致しない場合、偽造した識別子を本当の識別子の代わりに用いることによってユーザが欺き、店の経済損失の原因になるのを防ぐために、スキャン漏れ行動があるとみなすことができる。

任意選択として、期間内にスキャンされた品物の識別子に従って、期間内にユーザがスキャン漏れ行動を行ったかどうかを判定することは、期間内の映像情報の画像の１つまたは複数のフレームに従って品物の属性情報を識別することと、期間内にスキャンされた品物の識別子に従って品物の属性情報を判定することと、映像情報に従って識別された属性情報が、識別子に従って判定された属性情報と一致しない場合、ユーザがスキャン漏れ行動を行ったと判定することとを含むことができる。

品物の属性情報は、品物の名前、価格、種類、大きさ、色などのうちの少なくとも１つを含むことができる。

任意選択として、品物の種類は、映像情報に従って判定することができる。品物の価格範囲は、種類に従って判定することができる。スキャンした品物の価格がこの範囲内でないとき、スキャン漏れ行動があるとみなされる。例えば、期間内にスキャンされた品物の識別子に従って、期間内にユーザがスキャン漏れ行動を行ったかどうかを判定することは、
期間内の映像情報の画像の１つまたは複数のフレームに従って品物の種類を識別することと、種類に従って対応する最低価格を判定することと、期間内にスキャンされた品物の識別子に従って品物の価格を判定することと、品物の価格が最低価格より低い場合、ユーザがスキャン漏れ行動を行ったと判定することと
を含むことができる。

例えば、映像情報を処理することによって、ユーザが第１の品物をスキャンした開始時刻が１９：００：００であり、終了時刻が１９：００：０５であることがわかる。１９：００：００から１９：００：０５までの期間が、スキャン・アクションを行った期間である。このような期間内に、品物の識別子がスキャンされない場合、スキャン漏れ行動があるとみなされる。品物の識別子がスキャンされたが、品物が、識別子を通じてチューインガムであると判定された一方で、品物が、映像情報を通じて飲料の大瓶であると判定された場合、または、品物の価格が、識別子を通じて１ＲＭＢであると判定された一方で、品物の最低価格が、映像情報を通じて１０ＲＭＢであると判定された場合、識別子を通じて判定された品物情報が、映像情報を通じて検出された品物情報と一致しないことを示す。結果として、スキャン漏れ行動があるとみなすことができる。

品物の属性情報は、ビッグ・データ解析、機械学習などを通じて、映像情報に従って識別することができる。

このようにして、映像情報の解析を通じて、映像内の品物情報だけでなく、完全アクション・シーケンスの期間を判定することができる。期間内に、品物がスキャンされたかどうか、およびスキャンした品物についての情報を、ＰＯＳ機または同様のものを通じて判定し、ユーザがスキャン漏れ行動を行ったかどうかを判定することができる。

映像情報を検出した後、ユーザによってスキャンされた品物は、検出結果に従ってさらに精算することができる。検出結果が既定の条件を満たした場合、ユーザによってスキャンされた品物は、精算することができる。ユーザは、いつものように支払いを済ませた後、品物を持って離れることができる。既定の条件を満たさなかった場合、品物の精算は禁止される。既定の条件は、実際の要件に従ってセットすることができる。

任意選択の実装形態では、ユーザがスキャン漏れ行動を行ったことが検出される限り、品物の精算は禁止される。スキャン処理全体の中でスキャン漏れ行動が発生しなかったときだけ、ユーザは、精算を普通に実施することができる。

別の任意選択の実装形態では、ユーザのスキャン漏れの数が一定の値未満であれば、ユーザは、ユーザによってスキャンされた品物の精算を許可され、これにより、映像検出アルゴリズムが障害耐性のあるものになり、これにより、誤判断が、ユーザのショッピング体験に影響を及ぼすのを防ぎ、ショッピング工程を短縮する。

任意選択として、検出結果に従って、ユーザによってスキャンされた品物を精算することは、品物全てをスキャンしたことをユーザが確認する操作イベントに応答して、検出結果に従って、ユーザのスキャン漏れの数を判定することと、ユーザのスキャン漏れの数が第１の既定の閾値未満である場合、ユーザによってスキャンされた品物を精算することとを含むことができる。

品物全てをスキャンしたことをユーザが確認する操作イベントは、画面上でのクリック／タップ、キーの押下、または音声入力などの手法で、品物全てをスキャンしたことを確認する操作を指すことができる。例えば、セルフサービス・チェックアウト端末に「完了」ボタンを表示することができる。品物全てをスキャンした後、ユーザは、「完了」ボタンをクリック／タップすることができる。セルフサービス・チェックアウト端末は、ユーザのクリック／タップ動作に応答して、検出結果に従って、ユーザによってスキャンされた品物を精算する。

ユーザのスキャン漏れの数が第１の既定の閾値以上である場合、品物の精算は禁止される。第１の既定の閾値は、実際の要件に従ってセットすることができ、例えば、４であってもよい。

品物の精算が禁止されると、例えば、精算禁止インターフェースを表示することといった、対応措置を、ユーザに知らせるためにとることができる。精算禁止インターフェースは、精算が禁止されたことをユーザに知らせるために使用される。任意選択として、精算禁止インターフェースは、「スキャン漏れ行動を行ったことが検出されました。精算を禁止します」と表示すること、または、「スキャン漏れ行動を行いました。状況に対処するよう、店員に依頼してください。」と表示すること、または同様のことを行うことができる。

実際の利用では、セルフサービス・チェックアウト端末は、ユーザが品物をスキャンするときのユーザの映像情報を獲得し、映像情報に従ってユーザ行動を検出して、ユーザがスキャン漏れ行動を行ったかどうかを判定する。ユーザ行動が一定の条件を満たしたとき、例えば、スキャン漏れ行動が発生しなかったとき、または、ユーザのスキャン漏れの数が既定の頻度未満であるときだけ、ユーザは、普通に支払うことを許可される。そうでなければ、ユーザのスキャン漏れが店の損失の原因になるのを防ぐために、ユーザの支払行動を遮ることができる。

さらに、本出願の本実施形態における映像情報を通じてユーザがスキャン漏れ行動を行ったかどうかを検出するための方法は、既存技術における計量装置に基づいて精算する方法と比べると、明らかに革新的である。

既存技術では、重力センサを通じて計量による損失を防ぐための計量機械を、セルフサービス・チェックアウト端末に設置する。コード・スキャンした品物に対応する重量は、計量機械上の品物の重量と比較される。２つの重量が異なる場合、計量による損失防止を実現するために、警報が発せられる。この機械は、大きい空間を占め、それぞれの品物を計量する必要があり、ユーザ体験を悪くする。本出願の本実施形態で提供されるスキャン漏れ識別方法では、損失防止の機能は、映像処理を通じて実現され、ユーザによって知覚されず、ユーザへの干渉を減らす。したがって、ユーザは、チェックアウト中に干渉されず、これにより、ユーザ体験を改善し、店の空間を節約することができる。方法には、より広い応用範囲、および、より良い柔軟性がある。

上記に基づき、本実施形態で提供されるスキャン漏れ識別方法では、ユーザが品物をスキャンしたとき、ユーザの映像情報が獲得され、ユーザのスキャン漏れ行動が、映像情報を通じて検出される。取得された検出結果は、精算補助および警報などの機能を実行するために使用することができ、セルフサービス・チェックアウト端末の使用中のユーザのスキャン漏れ行動をなくすか、減らし、小売店の経済損失を減らし、これにより、人的資源および物的資源を節約し、セルフサービス・チェックアウト端末を使用するのにかかるコストを効果的に減らし、セルフサービス・チェックアウト端末の促進および利用を容易にする。さらに、損失防止は、映像処理によって実現され、ユーザがチェックアウト処理で混乱するのを防ぎ、これにより、ユーザ体験を効果的に改善する。

図４は、本出願の１つの実施形態によるスキャン漏れ識別方法の実施形態２の概略流れ図である。本実施形態は、前述の実施形態で提供された技術的解決策に基づく。ユーザがスキャン漏れ行動を行ったとき、店にいる現場監視人に、状況に対処するよう、促すことができる。図４に示したように、本実施形態におけるスキャン漏れ識別方法は、以下のステップを含むことができる。

ステップ４０１：ユーザが品物をスキャンしている映像情報を獲得する。

ステップ４０２：映像情報に従ってユーザのスキャン漏れ行動の検出結果を取得する。

ステップ４０３：品物全てをスキャンしたことをユーザが確認する操作イベントに応答して、検出結果に従って、ユーザのスキャン漏れの数を判定する。

任意選択として、ユーザによってスキャンされた品物は、ユーザのスキャン漏れの数が第１の既定の閾値未満である場合、精算される。

ステップ４０４：ユーザのスキャン漏れの数が第１の既定の閾値以上である場合、精算禁止インターフェースを表示し、現場監視端末に警告情報を送信する。

ユーザのスキャン漏れの数が第１の既定の閾値以上である場合、ユーザの精算を遮ることができる。精算禁止インターフェースを表示し、現場監視人に注意喚起するために、現場監視端末に警告情報をさらに送信することができる。

現場監視端末は、例えば、現場監視人によって携行される携帯電話、または、腕時計もしくはスマート・バンドなどのウェアラブル・デバイスといった、任意の端末であってもよい。現場監視人は、セルフサービス・チェックアウトをユーザが完了させるのを現場で補助するための店の店員などの人物であってもよい。

警告情報を受信した後、現場監視端末は、状況に対処するよう、現場監視人に促すために、警告情報に従って現場監視人に注意喚起情報をプッシュすることができる。例えば，「チェックアウト番号ｘｘが、スキャン漏れ行動を検出した。これに対処するために行ってください」と表示または再生することができる。

別の任意選択の実装形態では、精算禁止インターフェースだけが表示され、警告情報は、送信されない。ユーザは能動的に、現場監視人に助けを求める。

ステップ４０５：現場監視人の操作イベントに応答して、ユーザによってスキャンされた品物を精算する。

警告情報を受信した後、現場監視人は、ユーザが精算するのを補助するために、ユーザがいるセルフサービス・チェックアウト端末に行くことができる。

例えば、ユーザによって購入されることになる品物が、ユーザによってスキャンされ、セルフサービス・チェックアウト端末に表示された品物と完全に一致することを現場監視人が知った場合、現場監視人は、遮断を解除して、ユーザが普通に支払えるようにすることができる。ユーザによって購入されることになる品物が、ユーザによってスキャンされ、セルフサービス・チェックアウト端末に表示された品物と一致しないことを現場監視人が知った場合、ユーザがスキャン漏れ行動を行ったことを示す。この場合、現場監視人は、ユーザがスキャンを完了させるのを補助することができる。品物全てが正しくスキャンされた後、現場監視人は、遮断を解除して、ユーザが普通に支払えるようにする。

遮断を解除するための複数の手法がある。例えば、現場監視人は、セルフサービス・チェックアウト端末にパスワードを入力して遮断を解除することができる。

任意選択として、ステップ４０５における、現場監視人の操作イベントに応答して、ユーザによってスキャンされた品物を精算することは、現場監視人によって入力されたパスワードを取得し、パスワードが、精算禁止を解除するために使用されるパスワードである場合、ユーザによってスキャンされた品物を精算することを含むことができる。

代替として、現場監視人によって携行される現場監視端末には、２次元コードをつけることができる。品物全てをユーザが正しくスキャンしたことを現場監視人が確認すると、現場監視人は、セルフサービス・チェックアウト端末を使用することによって２次元コードをスキャンして遮断を解除することができる。

これに対応して、ステップ４０５における、現場監視人の操作イベントに応答して、ユーザによってスキャンされた品物を精算することは、現場監視人によって示された２次元コードをスキャンし、２次元コードが、精算禁止を解除するための２次元コードである場合、ユーザによってスキャンされた品物を精算することを含むことができる。

他の任意選択の実装形態では、遮断は、代替として、セルフサービス・チェックアウト端末が、現場監視人の特定の表情をキャプチャすること、現場監視人が、音声入力で特定のキーワードを入力すること、現場監視端末とセルフサービス・チェックアウト端末との間で他の対話を実施することという手法で解除することができるが、本実施形態では限定されない。

上記に基づき、本実施形態で提供されるスキャン漏れ識別方法では、ユーザが全ての品物をスキャンした後、検出結果に従って、スキャン漏れの数を判定する。ユーザのスキャン漏れの数が一定の条件を満たした場合、精算禁止インターフェースを表示することができ、現場監視端末に警告情報を送信して、状況に対処するよう、現場監視人に知らせることができる。ユーザがスキャンを完了させるのを現場監視人が補助した後、セルフサービス・チェックアウト端末は、現場監視人の操作イベントに応答して、ユーザによってスキャンされた品物を精算する。したがって、ユーザのスキャン中の問題について、ユーザを補助するように、現場監視人にタイムリに知らせることができ、これにより、ユーザのセルフサービス・チェックアウトの効率を改善し、店の経済損失を効果的になくす。

図５は、本出願の１つの実施形態によるスキャン漏れ識別方法の実施形態３の概略流れ図である。本実施形態は、前述の実施形態で提供された技術的解決策に基づく。セルフサービス・チェックアウト端末を通じてユーザ行動を監視するとき、ユーザ行動は、バックエンド監視端末でも監視される。図５に示したように、本実施形態におけるスキャン漏れ識別方法は、以下のステップを含むことができる。

ステップ５０１：ユーザが品物をスキャンしている映像情報を獲得し、バックエンド監視端末に映像情報を送信する。

ユーザが品物をスキャンしている映像情報は、リアル・タイムに獲得し、バックエンド監視端末にリアル・タイムに送信することができる。映像情報は、バックエンド監視人が、映像情報に従ってユーザ行動を監視するために、バックエンド監視端末によって再生される。

バックエンド監視人は、店内の映像監視のためのスタッフの一員であってもよい。バックエンド監視端末は、携帯電話、タブレット・デバイス、コンピュータ、スマートＴＶ、またはディスプレイなど、映像再生機能を有する任意の端末であってもよい。

ステップ５０２：映像情報に従ってユーザのスキャン漏れ行動の検出結果を取得する。

ステップ５０３：バックエンド監視人の操作イベントに応答してバックエンド監視端末によって送信され、ユーザがスキャン漏れ行動を行ったことを示すために使用されるスキャン漏れ指示情報を取得する。

ステップ５０２において、映像情報は、ユーザのスキャン漏れ行動を検出するために、アルゴリズムを通じて処理することができるが、これは、機械検出行動である。ステップ５０３において、バックエンド監視人は、ユーザがスキャン漏れ行動を行ったことを見つけたときに、これに対応して操作することができるが、これは、手動監視手法である。

任意選択として、セルフサービス・チェックアウト端末によって送信された、品物をスキャンしているユーザの映像情報を、バックエンド監視端末が受信した後、映像情報は、ユーザがスキャン漏れ行動を行ったかどうかをバックエンド監視人が映像情報に従って判定するために、バックエンド監視人に対して表示することができる。ユーザがスキャン漏れ行動を行ったことをバックエンド監視人が確認する操作イベントに応答して、バックエンド監視端末は、スキャン漏れ指示情報に従って、ユーザによってスキャンされた品物を、セルフサービス・チェックアウト端末が精算するためのスキャン漏れ指示情報を、セルフサービス・チェックアウト端末に送信することができる。

ユーザがスキャン漏れ行動を行ったことをバックエンド監視人が確認する操作イベントについての複数の実装形態がある。例えば、バックエンド監視端末の映像再生インターフェースに「問題」ボタンを表示することができる。見張り画像（ユーザの映像情報）に従って、ユーザがスキャン漏れ行動を行ったことをバックエンド監視人が見つけると、バックエンド監視人は、セルフサービス・チェックアウト端末にスキャン漏れ指示情報をバックエンド監視端末が送信するように、「問題」ボタンを押すことができる。代替として、バックエンド監視人は、音声、またはキー押下などの手法で、ユーザがスキャン漏れ行動を行ったことを確認することができる。

ステップ５０４：映像情報に従って、ユーザのスキャン漏れの数が第１の既定の閾値未満であることが検出され、および／または、スキャン漏れ指示情報に従って、ユーザのスキャン漏れの数が第２の既定の閾値未満であることが判定された場合、品物全てをスキャンしたことをユーザが確認する操作イベントに応答して、ユーザによってスキャンされた品物を精算する。

本実施形態では、セルフサービス・チェックアウト端末は、ユーザのスキャン漏れ行動を２つの方式で検出することができる。一方は、ユーザのスキャン漏れの数を判定するために、アルゴリズムを通じて映像情報を処理することである。他方は、ユーザのスキャン漏れの数を判定するために、バックエンド監視人が映像を通じてユーザ行動を監視することである。

品物全てをスキャンしたことをユーザが確認すると、アルゴリズムによって取得されたスキャン漏れの数、および／または、手動監視を通じて取得されたスキャン漏れの数に従って、ユーザによってスキャンされた品物を精算することが許可されるかどうかを判定することができる。

任意選択の実装形態では、ステップ５０４は、映像情報に従って、ユーザのスキャン漏れの数が第１の既定の閾値未満であることが検出された場合、品物全てをスキャンしたことをユーザが確認する操作イベントに応答して、ユーザによってスキャンされた品物を精算することと、ユーザのスキャン漏れの数が第１の既定の閾値以上である場合、遮断を実施することとを含むことができる。

任意選択の実装形態では、ステップ５０４は、スキャン漏れ指示情報に従って、ユーザのスキャン漏れの数が第２の既定の閾値未満であることが判定された場合、品物全てをスキャンしたことをユーザが確認する操作イベントに応答して、ユーザによってスキャンされた品物を精算することと、ユーザのスキャン漏れの数が第２の既定の閾値以上である場合、遮断を実施することとを含むことができる。

任意選択として、バックエンド監視人は、ユーザがスキャン漏れ行動を行ったことを見つけるたびに、「問題」を一回クリック／タップして、セルフサービス・チェックアウト端末に１つのスキャン漏れ指示情報を送信することができる。セルフサービス・チェックアウト端末は、ユーザのスキャン中に受信されたスキャン漏れ指示情報の受信の量に従って、ユーザのスキャン漏れの数を判定することができる。

バックエンド監視人によって判定されたユーザのスキャン漏れの数が第２の既定の閾値未満である場合、ユーザは、普通に精算することを許可される。第２の既定の閾値は、実際の要件に従ってセットすることができ、例えば、２であってもよい。

別の任意選択の実装形態では、ステップ５０４は、映像情報に従って、ユーザのスキャン漏れの数が第１の既定の閾値未満であることが検出され、スキャン漏れ指示情報に従って、ユーザのスキャン漏れの数が第２の既定の閾値未満であることが判定された場合、品物全てをスキャンしたことをユーザが確認する操作イベントに応答して、ユーザによってスキャンされた品物を精算することと、映像情報に従って、ユーザのスキャン漏れの数が第１の既定の閾値以上であることが検出されるか、または、スキャン漏れ指示情報に従って、ユーザのスキャン漏れの数が第２の既定の閾値以上であることが判定された場合、遮断を実施することとを含むことができる。

例えば、ユーザは、映像情報を処理することによって取得されたスキャン漏れの数が４回未満であり、バックエンド監視人によって判定されたユーザのスキャン漏れの数が２回未満であるときだけ、普通に精算することを許可される。精算は、映像情報を処理することによって取得されたスキャン漏れの数が４回以上であるか、またはバックエンド監視人によって判定されたユーザのスキャン漏れの数が２回以上である場合、禁止される。

別の任意選択の実装形態では、ステップ５０４は、映像情報に従って、ユーザのスキャン漏れの数が第１の既定の閾値未満であることが検出されるか、またはスキャン漏れ指示情報に従って、ユーザのスキャン漏れの数が第２の既定の閾値未満であることが判定された場合、品物全てをスキャンしたことをユーザが確認する操作イベントに応答して、ユーザによってスキャンされた品物を精算することと、映像情報に従って、ユーザのスキャン漏れの数が第１の既定の閾値以上であることが検出され、スキャン漏れ指示情報に従って、ユーザのスキャン漏れの数が第２の既定の閾値以上であることが判定された場合、遮断を実施することとを含むことができる。

前述の実装形態では、遮断を実行する手法について、前述の実施形態を参照することができ、例えば、精算禁止インターフェースを表示すること、および現場監視端末に警告情報を送信することを含むことができる。

上記に基づき、本出願の本実施形態で提供されるスキャン漏れ識別方法では、セルフサービス・チェックアウト端末は、獲得した映像情報を処理し、ユーザのスキャン漏れ行動を検出することができ、獲得した映像情報をバックエンド監視端末に送信することができる。映像情報は、リアル・タイムに獲得した映像情報に従って、バックエンド監視人がユーザ行動を監視し、ユーザがスキャン漏れ行動を行ったことを見つけたときに、セルフサービス・チェックアウト端末にフィードバックを提供するために、バックエンド監視端末で再生される。品物全てをスキャンしたことをユーザが確認した後、セルフサービス・チェックアウト端末は、映像情報を通じて検出されたスキャン漏れの数、または、バックエンド監視人によってフィードバックされた情報に従って判定されたスキャン漏れの数に従って、正常な精算処理が実施されることになるかどうかを判定することができる。方法は、手動監視およびアルゴリズム・ベースの監視を実行することができ、これにより、損失防止の効果を改善することができる。

任意選択として、店内に複数のセルフサービス・チェックアウト端末があるとき、バックエンド監視端末は、複数のセルフサービス・チェックアウト端末によってキャプチャされた映像情報を取得し、バックエンド監視人に対して映像情報を表示するために、複数のセルフサービス・チェックアウト端末と通信することができる。

さらに、セルフサービス・チェックアウト端末は、映像情報を通じて、ユーザがスキャン漏れ行動を行ったことが検出された場合、ユーザの映像情報を強調するようにバックエンド監視端末を制御するための警告命令を、バックエンド監視端末に送信することができる。

セルフサービス・チェックアウト端末は、映像情報を処理して、ユーザのスキャン漏れ行動をリアル・タイムに検出し、ユーザがスキャン漏れ行動を行ったことが検出された場合、バックエンド監視端末に警告命令を送信することができる。警告命令を受信した後、バックエンド監視端末は、警告命令に従ってユーザの映像情報を強調することができる。

例えば、複数の映像情報が、バックエンド監視端末のディスプレイ・インターフェースに表示される。ユーザがスキャン漏れ行動を行ったことをセルフサービス・チェックアウト端末が検出したとき、セルフサービス・チェックアウト端末は、バックエンド監視端末に警告情報を送信することができる。バックエンド監視端末は、セルフサービス・チェックアウト端末によって獲得された映像情報を強調することができる。

問題を抱えている可能性のあるユーザにバックエンド監視人が焦点を当てやすくするために、スキャン漏れ行動の映像情報を他の映像情報と区別できる限り、複数の強調手法がある。任意選択として、映像情報の名前、番号、地域を強調することができ、または、赤点もしくは感嘆符などの警告識別子を映像情報に追加することができる。

このように、映像情報を通じて、ユーザがスキャン漏れ行動を行ったことが検出されたとき、監視ターゲットを２回確認するよう、バックエンド監視人に促すために、疑われているユーザの動作をバックエンド監視端末上で強調することができ、これにより、監視効率を改善し、小売業の消耗を減らす。

さらに、バックエンド監視端末は、強調された映像情報をバックエンド監視人がチェックする操作イベントに応答して、映像情報の強調をさらに取り消すことができる。例えば、バックエンド監視人は、マウスをクリックすることによって映像情報をチェックすることができる。バックエンド監視端末は、映像情報の長時間の強調状態が、バックエンド監視人の監視効率に影響を及ぼさないように、バックエンド監視人が映像情報をチェックしたことを検出したとき、映像情報の強調を取り消すことができる。

前述の実施形態で提供された技術的解決策に基づき、任意選択として、ステップ５０２は、バックエンド監視端末によって映像情報を処理することによって取得したユーザのスキャン漏れ行動の検出結果を取得することを含むことができる。

例えば、映像情報は、セルフサービス・チェックアウト端末の負担を軽くするために、バックエンド監視端末によって検出することができる。バックエンド監視端末は、ユーザのスキャン漏れ行動を検出するために映像情報を処理することと、ユーザのスキャン漏れ行動の検出結果をセルフサービス・チェックアウト端末に送信することとを行うことができ、検出結果を使用することによって、セルフサービス・チェックアウト端末が精算するのを簡単にする。

バックエンド監視端末によって映像情報が検出されたとき、映像情報を通じて、ユーザがスキャン漏れ行動を行ったことを検出したとき、バックエンド監視端末は、セルフサービス・チェックアウト端末がなくても、対応する映像情報を直接強調することができ、システム処理効率を改善することが理解されよう。

図６は、本出願の１つの実施形態によるスキャン漏れ識別方法の実施形態４の概略流れ図である。前述の実施形態で提供された技術的解決策に基づいて、精算案内画像およびブラックリスト・メカニズムなどの機能を本実施形態に追加する。ユーザがブラックリストに載っている場合、ユーザは、セルフサービス・チェックアウト端末を使用して精算することができない。図６に示したように、本実施形態におけるスキャン漏れ識別方法は、以下のステップを含むことができる。

ステップ６０１：精算案内画像を再生する。

ユーザが品物をスキャンし始める前に、セルフサービス・チェックアウト端末は、精算案内画像を再生して、セルフサービスのコード・スキャンおよび精算を実施することをユーザに知らせることができる。精算案内画像は、静止画像、映像、またはアニメーションであってもよい。精算案内画像は、例えば、どのように品物を正しくピックアップし、どのようにコード・スキャン動作を実施するかなど、精算動作を正しく実施するようにユーザを案内するための内容を含むことができる。

ステップ６０２：ユーザが品物をスキャンし始める操作イベントに応答して、品物をスキャンしているユーザの映像情報を獲得する。

本実施形態では、映像獲得の機能は、ユーザが品物をスキャンし始めるまで無効にすることができる。ユーザが品物をスキャンし始めたときだけ、品物をスキャンしているユーザの映像情報を獲得するために、映像獲得の機能が有効になる。映像情報を獲得し始めた後、アルゴリズムに従って、スキャン漏れ識別をリアル・タイムに実施することができる。

実際の利用では、ユーザは、複数の手法で、品物のスキャンの開始を確認することができる。任意選択として、開始操作のオプション、キー、または同様のものを、選択のためにユーザに提供することができる。例えば、「開始」ボタンが精算案内画像に表示される。ユーザが「開始」ボタンをクリック／タップする操作イベントに応答して、品物をスキャンしているユーザの映像情報を獲得し始めることができる。代替として、ユーザが品物を成功裏にピックアップし、スキャンした後、品物をスキャンしているユーザの映像情報を獲得し始める。

ステップ６０３：映像情報に従ってユーザのスキャン漏れ行動の検出結果を取得する。

ステップ６０４：ユーザがカードをスワイプする操作情報に応答して、ユーザのアイデンティティ情報を取得する。

品物全てをスキャンした後、ユーザは、カードをスワイプすることによって精算することができる。本明細書におけるカードは、店の会員カード、またはユーザを識別できる任意のカードを指すことができる。ユーザのアイデンティティ情報は、ユーザの名前、会員番号、電話番号、アイデンティティ・カード番号などを指すことができる。

他の実装形態では、ユーザのアイデンティティ情報は、顔認識、ユーザ端末上の２次元コードのスキャン、または同様のものなどの手法で取得することができる。

ステップ６０５：ユーザのアイデンティティ情報がブラックリストに載っていない場合、検出結果に従って、ユーザによってスキャンされた品物を精算する。

ブラックリストは、セルフサービス・チェックアウト端末に格納することができる。代替として、ブラックリストは、サーバまたはバックエンド監視端末などの別のデバイスに格納し、別のデバイスとの通信を通じて取得することができる。

ユーザのアイデンティティ情報がブラックリストに載っている場合、ユーザは、セルフサービス・チェックアウト端末で精算するのを禁止される。例えば、「異常。精算のためにスタッフのいるカウンタに行ってください。」とユーザに知らせるために、精算禁止インターフェースを表示することができる。

別の任意選択の実装形態では、ユーザのアイデンティティ情報を予め取得できる場合、ユーザのスキャン行動をタイムリに遮ることができる。例えば、ユーザのアイデンティティ情報は、顔認識技術を通じて取得することができる。ユーザのアイデンティティ情報がブラックリストに載っている場合、ユーザが品物をスキャンし始める前、またはユーザが品物をスキャンするときに、「異常。精算のためにスタッフのいるカウンタに行ってください」とユーザに知らせることができる。

さらに、バックエンド監視端末は、ブラックリストに追加する機能を実行するように構成することができる。任意選択として、バックエンド監視端末は、バックエンド監視人の操作イベントに応答して、疑わしい人のブラックリストにユーザのアイデンティティ情報を追加することと、疑わしい人のブラックリスト上のアイデンティティ情報、および対応する映像情報をマネージャに対して表示することと、マネージャの操作イベントに応答して、ユーザのアイデンティティ情報をブラックリストに追加することとを行うことができる。

映像を監視しているとき、バックエンド監視人は、ユーザ行動に従って、疑わしい人のブラックリストにユーザのアイデンティティ情報を追加する。例えば、バックエンド監視端末は、ユーザの映像情報を再生しているインターフェースにボタン「ブラックリストに追加」を表示することができる。バックエンド監視人がボタンをクリック／タップする操作に応答して、疑わしい人のブラックリストにユーザのアイデンティティ情報を追加することができる。

次に、店のマネージャは、疑わしい人のブラックリスト上のユーザをチェックすることができる。バックエンド監視端末は、疑わしい人のブラックリスト上のユーザの映像情報をマネージャに対して再生することができる。マネージャは、ブラックリストにユーザを追加するべきかどうかを判定する。ユーザが異常行動をしたことをマネージャが確認すると、マネージャは、映像再生インターフェース内の対応するボタンをクリック／タップすることができる。バックエンド監視端末は、ユーザのアイデンティティ情報をブラックリストに追加することができる。

ブラックリストに追加されたアイデンティティ情報は、チェーン店のいずれにおいてもセルフサービス精算および支払いをユーザが実施できないように、ネットワーク全体に公開のものであるか、全てのチェーン店に公開のものである。

上記に基づき、本実施形態で提供されるスキャン漏れ識別方法では、ブラックリスト機能を追加する。ユーザが全ての品物をスキャンした後、ユーザがブラックリストに載っておらず、ユーザのスキャン漏れ行動が既定の条件を満たした場合、支払いを普通に実施することができる。ユーザがブラックリストに載っている場合、ユーザは、セルフサービス精算または支払いの実施を許可されず、これにより、店の経済利益を効果的に確実にする。

前述の実施形態で提供された技術的解決策に基づいて、任意選択として、ユーザのスキャン漏れの検出数に従って、対応する促進情報をユーザにさらにプッシュすることができる。

ユーザが品物をスキャンするとき、ユーザがスキャン漏れ行動を行ったことが検出されたとき、スキャン漏れの現在の数に対応する促進情報をプッシュすることができる。例えば、０より多く３未満であるスキャン漏れの数が、第１クラスの促進情報に対応し、３以上のスキャン漏れの数が、第２クラスの促進情報に対応する。第１クラスの促進情報は、弱い促進であってもよい。第２クラスの促進情報は、ユーザへの促進効果を強化するための強い促進であってもよい。

例えば、第１クラスの促進情報は、「スキャンした品物の数が実際の品物の数に一致することを確認してください」であってもよい。第２クラスの促進情報は、「スキャンに問題がありますか？店員に助けを求めてください」であってもよい。

さらに、「ヘルプ」ボタンをさらに表示することができる。ユーザが「ヘルプ」ボタンを押す操作に応答して、補助を提供すること、および状況に対処することを現場監視人に促すために、現場監視端末に促進情報を送信することができる。

前述の実施形態で提供された技術的解決策に基づいて、任意選択として、映像情報およびデータ・ログに従って、アルゴリズムを最適化すること、統計情報をレポートすることなどをサーバが行うために、映像情報およびデータ・ログをサーバにさらにアップロードすることができる。

図７は、本出願の１つの実施形態によるスキャン漏れ識別方法の実施形態５の概略流れ図である。本実施形態では、方法は、セルフサービス・チェックアウト端末によって実施することができる。本実施形態と前述の実施形態との間の差は、映像情報が画像サーバによって処理されることである。図７に示したように、本実施形態におけるスキャン漏れ識別方法は、以下のステップを含むことができる。

ステップ７０１：ユーザが品物をスキャンしている映像情報を獲得する。

ステップ７０２：画像サーバに映像情報を送信する。

ステップ７０３：画像サーバによって映像情報を処理することによって取得されたユーザ行動検出結果を受信する。

任意選択として、ユーザ行動検出結果は、ユーザのスキャン・アクションに対応する時間情報を含む。時間情報は、アクションが行われる開始時刻、終了時刻、および期間のうちの少なくとも１つを含む。セルフサービス・チェックアウト端末は、ユーザのスキャン・アクションの検出結果に従って、スキャン漏れ行動があるかどうかを判定する。

これに対応して、画像サーバによって映像情報を処理することによって取得されたユーザ行動検出結果を受信した後、方法は、スキャン・アクションが行われた期間内にスキャンされた品物の識別子に従って、ユーザがスキャン漏れ行動を行ったかどうかを判定することをさらに含む。

代替として、ユーザ行動検出結果は、映像情報および品物のスキャン結果に従って取得されたユーザのスキャン漏れ行動の検出結果を含むことができ、例えば、ユーザがスキャン漏れ行動を行ったかどうか、スキャン漏れ行動の回数などを含むことができる。

方法は、映像情報およびスキャン結果に従ってユーザのスキャン漏れ行動の検出結果を画像サーバが取得するために、品物のスキャン結果を画像サーバに送信することをさらに含むことができる。これに対応して、ユーザ行動検出結果は、ユーザのスキャン漏れ行動の検出結果を含む。

スキャン結果は、品物の識別子、品物の属性情報、品物をスキャンした時刻などのうちの少なくとも１つを含む。

図８は、本出願の１つの実施形態によるスキャン漏れ識別方法の実施形態６の概略流れ図である。本実施形態では、方法は、画像サーバによって実施することができる。図８に示したように、本実施形態におけるスキャン漏れ識別方法は、以下のステップを含むことができる。

ステップ８０１：セルフサービス・チェックアウト端末によって送信された、ユーザが品物をスキャンしている映像情報を取得する。

ステップ８０２：映像情報に従ってユーザ行動検出結果を取得する。

ステップ８０３：セルフサービス・チェックアウト端末にユーザ行動検出結果を送信する。

任意選択として、映像情報に従ってユーザ行動検出結果を取得することは、映像情報に従ってユーザの姿勢データを判定することと、ユーザの姿勢データに従って、スキャン・アクションに対応する時間情報を判定することとを含むことができ、時間情報は、アクションが行われる開始時刻、終了時刻、および時間のうちの少なくとも１つを含む。ユーザ行動検出結果は、時間情報を含む。

任意選択として、方法は、セルフサービス・チェックアウト端末によって送信された品物のスキャン結果を受信することと、映像情報およびスキャン結果に従ってユーザのスキャン漏れ行動の検出結果を取得することとをさらに含むことができ、ユーザ行動検出結果は、ユーザのスキャン漏れ行動の検出結果を含む。

任意選択として、映像情報およびスキャン結果に従ってユーザのスキャン漏れ行動の検出結果を取得することは、映像情報に従って品物の属性情報を識別することと、品物のスキャン結果に従って品物の属性情報を判定することと、映像情報に従って識別された品物の属性情報が、スキャン結果に従って判定された品物の属性情報と一致しない場合、ユーザがスキャン漏れ行動を行ったと判定することとを含むことができる。

任意選択として、映像情報およびスキャン結果に従ってユーザのスキャン漏れ行動の検出結果を取得することは、映像情報に従って品物の種類を識別することと、種類に従って対応する最低価格を判定することと、品物のスキャン結果に従って品物の価格を判定することと、品物の価格が最低価格より低い場合、ユーザがスキャン漏れ行動を行ったと判定することとを含むことができる。

実施形態５および６と前述の実施形態の間の唯一の差は、映像情報が画像サーバで処理されるという点にある。特定の実装形態の原理、処理、および効果については、前述の実施形態を参照することができる。詳細は、ここでは繰り返さない。

図９は、本出願の１つの実施形態によるスキャン漏れ識別方法の実施形態７の概略流れ図である。本実施形態では、方法は、バックエンド監視端末によって実施することができる。図９に示したように、本実施形態におけるスキャン漏れ識別方法は、以下のステップを含むことができる。

ステップ９０１：セルフサービス・チェックアウト端末によって送信された、ユーザが品物をスキャンしている映像情報を取得する。

ステップ９０２：ユーザがスキャン漏れ行動を行ったかどうかをバックエンド監視人が映像情報に従って判定するために、バックエンド監視人に対して映像情報を表示する。

ステップ９０３：ユーザがスキャン漏れ行動を行ったことをバックエンド監視人が確認する操作イベントに応答して、セルフサービス・チェックアウト端末にスキャン漏れ指示情報を送信する。

任意選択として、方法は、ユーザがスキャン漏れ行動を行ったことをセルフサービス・チェックアウト端末が検出したときにセルフサービス・チェックアウト端末によって送信された警告命令を取得することと、警告命令に従ってユーザの映像情報を強調することとをさらに含むことができる。

任意選択として、方法は、ユーザのスキャン漏れ行動を検出するために映像情報を処理することと、ユーザのスキャン漏れ行動の検出結果をセルフサービス・チェックアウト端末に送信することとをさらに含むことができる。

任意選択として、方法は、バックエンド監視人の操作イベントに応答して、疑わしい人のブラックリストにユーザのアイデンティティ情報を追加することと、疑わしい人のブラックリスト上のアイデンティティ情報、および対応する映像情報をマネージャに対して表示することと、マネージャの操作イベントに応答して、ユーザのアイデンティティ情報をブラックリストに追加することとをさらに含むことができる。

本実施形態で提供されるスキャン漏れ識別方法の特定の実装形態の原理および処理は、前述の実施形態のものに類似している。本実施形態で詳細に説明されていない部分については、前述の実施形態を参照することができる。本技術的解決策の実行処理および技術的効果については、前述の実施形態の説明を参照することができる。詳細は、ここでは繰り返さない。

本出願のスキャン漏れ識別装置の１つまたは複数の実施形態を以下で詳細に説明する。本解決策で命令されるステップを通じて、市販のハードウェア構成要素を構成することによって、スキャン漏れ識別装置全てを形成できることを当業者は理解するであろう。

図１０は、本出願の１つの実施形態によるスキャン漏れ識別装置の実施形態１の概略構造図である。図１０に示したように、装置は、
ユーザが品物をスキャンしている映像情報を獲得するように構成された第１の獲得モジュール１１と、
映像情報に従ってユーザのスキャン漏れ行動の検出結果を取得するように構成された第１の検出モジュール１２と
を含むことができる。

任意選択として、装置は、検出結果に従って、ユーザによってスキャンされた品物を精算するように構成された精算モジュールをさらに含むことができる。

任意選択として、画像キャプチャ装置は、ユーザが品物をスキャンするためのコード・スキャン領域の既定の範囲に配置され、これに対応して、第１の獲得モジュール１１は、画像キャプチャ装置によって獲得されたコード・スキャン領域の映像情報を取得するように構成することができる。

任意選択として、第１の検出モジュール１２は、映像情報に従ってユーザの姿勢データを判定することと、ユーザの姿勢データに従って、スキャン・アクションが行われた期間を判定することと、期間内にスキャンされた品物の識別子に従って、期間内にユーザがスキャン漏れ行動を行ったかどうかを判定することとを行うように構成することができる。

任意選択として、第１の検出モジュール１２は、映像情報に従ってユーザの姿勢データを判定することと、ユーザの姿勢データに従って、スキャン・アクションが行われた期間を判定することと、期間内の映像情報の画像の１つまたは複数のフレームに従って品物の属性情報を識別することと、期間内にスキャンされた品物の識別子に従って品物の属性情報を判定することと、映像情報に従って識別された属性情報が、識別子に従って判定された属性情報と一致しない場合、ユーザがスキャン漏れ行動を行ったと判定することとを行うように構成することができる。

任意選択として、第１の検出モジュール１２は、映像情報に従ってユーザの姿勢データを判定することと、ユーザの姿勢データに従って、スキャン・アクションが行われた期間を判定することと、期間内の映像情報の画像の１つまたは複数のフレームに従って品物の種類を識別することと、種類に従って対応する最低価格を判定することと、期間内にスキャンされた品物の識別子に従って品物の価格を判定することと、品物の価格が最低価格より低い場合、ユーザがスキャン漏れ行動を行ったと判定することとを行うように構成することができる。

任意選択として、精算モジュールは、品物全てをスキャンしたことをユーザが確認する操作イベントに応答して、検出結果に従って、ユーザのスキャン漏れの数を判定することと、ユーザのスキャン漏れの数が第１の既定の閾値未満である場合、ユーザによってスキャンされた品物を精算することとを行うように構成することができる。

任意選択として、精算モジュールは、ユーザのスキャン漏れの数が第１の既定の閾値以上である場合、精算禁止インターフェースを表示すること、および／または、現場監視端末に警告情報を送信することを行うようにさらに構成することができる。

任意選択として、精算モジュールは、精算禁止インターフェースが表示された後、現場監視人の操作イベントに応答して、ユーザによってスキャンされた品物を精算するようにさらに構成することができる。

任意選択として、精算は、精算禁止インターフェースが表示された後、現場監視人によって入力されたパスワードを取得し、パスワードが、精算禁止を解除するために使用されるパスワードである場合、ユーザによってスキャンされた品物を精算すること、または現場監視人によって示された２次元コードをスキャンし、２次元コードが、精算禁止を解除するための２次元コードである場合、ユーザによってスキャンされた品物を精算することを行うようにさらに構成される。

任意選択として、第１の獲得モジュール１１は、獲得した映像情報をバックエンド監視端末に送信するようにさらに構成することができ、映像情報は、バックエンド監視端末によって再生される。

任意選択として、第１の検出モジュール１２は、映像情報を通じて、ユーザがスキャン漏れ行動を行ったことが検出された場合、ユーザの映像情報を強調するようにバックエンド監視端末を制御するための警告命令をバックエンド監視端末に送信することを行うようにさらに構成することができる。

任意選択として、精算モジュール１３は、バックエンド監視人の操作イベントに応答してバックエンド監視端末によって送信され、ユーザがスキャン漏れ行動を行ったことを示すために使用されるスキャン漏れ指示情報を取得することと、映像情報に従って、ユーザのスキャン漏れの数が第１の既定の閾値未満であることが検出され、および／または、スキャン漏れ指示情報に従って、ユーザのスキャン漏れの数が第２の既定の閾値未満であることが判定された場合、品物全てをスキャンしたことをユーザが確認する操作イベントに応答して、ユーザによってスキャンされた品物を精算することとを行うように構成することができる。

任意選択として、第１の検出モジュール１２は、ユーザのスキャン漏れ行動を検出するために映像情報を処理すること、またはバックエンド監視端末によって映像情報を処理することによって取得したユーザのスキャン漏れ行動の検出結果を取得することを行うように構成することができる。

任意選択として、精算モジュール１３は、ユーザのアイデンティティ情報を取得することと、ユーザのアイデンティティ情報がブラックリストに載っているかどうかを判定することと、ユーザのアイデンティティ情報がブラックリストに載っていない場合、検出結果に従って、ユーザによってスキャンされた品物を精算することとを行うように構成することができる。

任意選択として、第１の検出モジュール１２は、ユーザのスキャン漏れの検出数に従って、対応する促進情報をユーザにプッシュするようにさらに構成することができる。

図１０に示した装置は、前述の実施形態１から４で提供されたスキャン漏れ識別方法を実施することができる。本実施形態で詳細に説明されていない部分については、前述の実施形態を参照することができる。本技術的解決策の実行処理および技術的効果については、前述の実施形態の説明を参照することができる。詳細は、ここでは繰り返さない。

図１１は、本出願の１つの実施形態によるスキャン漏れ識別装置の実施形態２の概略構造図である。図１１に示したように、装置は、
ユーザが品物をスキャンしている映像情報を獲得するように構成された第２の獲得モジュール１４と、
画像サーバに映像情報を送信するように構成された第１の送信モジュール１５と、
画像サーバによって映像情報を処理することによって取得されたユーザ行動検出結果を受信するように構成された第１の受信モジュール１６と
を含むことができる。

任意選択として、ユーザ行動検出結果は、ユーザのスキャン・アクションに対応する時間情報を含み、時間情報は、アクションが行われる開始時刻、終了時刻、および時間のうちの少なくとも１つを含む。

これに対応して、第１の受信モジュール１６は、画像サーバによって映像情報を処理することによって取得されたユーザ行動検出結果を受信した後、スキャン・アクションが行われた期間内にスキャンされた品物の識別子に従って、ユーザがスキャン漏れ行動を行ったかどうかを判定するようにさらに構成することができる。

任意選択として、第１の受信モジュール１６は、映像情報およびスキャン結果に従ってユーザのスキャン漏れ行動の検出結果を画像サーバが取得するために、品物のスキャン結果を画像サーバに送信するようにさらに構成することができる。これに対応して、ユーザ行動検出結果は、ユーザのスキャン漏れ行動の検出結果を含む。

図１１に示した装置は、前述の実施形態５で提供されたスキャン漏れ識別方法を実施することができる。本実施形態で詳細に説明されていない部分については、前述の実施形態を参照することができる。本技術的解決策の実行処理および技術的効果については、前述の実施形態の説明を参照することができる。詳細は、ここでは繰り返さない。

図１２は、本出願の１つの実施形態によるスキャン漏れ識別装置の実施形態３の概略構造図である。図１２に示したように、装置は、
セルフサービス・チェックアウト端末によって送信された、ユーザが品物をスキャンしている映像情報を取得するように構成された第１の取得モジュール１７と、
映像情報に従ってユーザ行動検出結果を取得するように構成された第２の検出モジュール１８と、
セルフサービス・チェックアウト端末にユーザ行動検出結果を送信するように構成された第２の送信モジュール１９と
を含むことができる。

任意選択として、第２の検出モジュール１８は、映像情報に従ってユーザの姿勢データを判定することと、ユーザの姿勢データに従って、スキャン・アクションに対応する時間情報を判定することとを行うように構成することができ、時間情報は、アクションが行われる開始時刻、終了時刻、および時間のうちの少なくとも１つを含む。ユーザ行動検出結果は、時間情報を含む。

任意選択として、第２の検出モジュール１８は、セルフサービス・チェックアウト端末によって送信された品物のスキャン結果を受信することと、映像情報およびスキャン結果に従ってユーザのスキャン漏れ行動の検出結果を取得することとを行うように構成することができ、ユーザ行動検出結果は、ユーザのスキャン漏れ行動の検出結果を含む。

任意選択として、第２の検出モジュール１８は、セルフサービス・チェックアウト端末によって送信された品物のスキャン結果を受信することと、映像情報に従って品物の属性情報を識別することと、品物のスキャン結果に従って品物の属性情報を判定することと、映像情報に従って識別された品物の属性情報が、スキャン結果に従って判定された品物の属性情報と一致しない場合、ユーザがスキャン漏れ行動を行ったと判定することとを行うように構成することができる。

任意選択として、第２の検出モジュール１８は、セルフサービス・チェックアウト端末によって送信された品物のスキャン結果を受信することと、映像情報に従って品物の種類を識別することと、種類に従って対応する最低価格を判定することと、品物のスキャン結果に従って品物の価格を判定することと、品物の価格が最低価格より低い場合、ユーザがスキャン漏れ行動を行ったと判定することとを行うように構成することができる。

図１２に示した装置は、前述の実施形態６で提供されたスキャン漏れ識別方法を実施することができる。本実施形態で詳細に説明されていない部分については、前述の実施形態を参照することができる。本技術的解決策の実行処理および技術的効果については、前述の実施形態の説明を参照することができる。詳細は、ここでは繰り返さない。

図１３は、本出願の１つの実施形態によるスキャン漏れ識別装置の実施形態４の概略構造図である。図１３に示したように、装置は、
セルフサービス・チェックアウト端末によって送信された、ユーザが品物をスキャンしている映像情報を取得するように構成された第２の取得モジュール１１０と、
ユーザがスキャン漏れ行動を行ったかどうかをバックエンド監視人が映像情報に従って判定するために、バックエンド監視人に対して映像情報を表示するように構成された表示モジュール１１１と、
ユーザがスキャン漏れ行動を行ったことをバックエンド監視人が確認する操作イベントに応答して、セルフサービス・チェックアウト端末にスキャン漏れ指示情報を送信するように構成された第３の送信モジュール１１２と
を含むことができる。

任意選択として、第３の送信モジュール１１２は、ユーザがスキャン漏れ行動を行ったことをセルフサービス・チェックアウト端末が検出したときにセルフサービス・チェックアウト端末によって送信された警告命令を取得することと、警告命令に従ってユーザの映像情報を強調することとを行うようにさらに構成することができる。

任意選択として、第３の送信モジュール１１２は、ユーザのスキャン漏れ行動を検出するために映像情報を処理することと、ユーザのスキャン漏れ行動の検出結果をセルフサービス・チェックアウト端末に送信することとを行うようにさらに構成することができる。

任意選択として、第３の送信モジュール１１２は、バックエンド監視人の操作イベントに応答して、疑わしい人のブラックリストにユーザのアイデンティティ情報を追加することと、疑わしい人のブラックリスト上のアイデンティティ情報、および対応する映像情報をマネージャに対して表示することと、マネージャの操作イベントに応答して、ユーザのアイデンティティ情報をブラックリストに追加することとを行うようにさらに構成することができる。

図１３に示した装置は、前述の実施形態７で提供されたスキャン漏れ識別方法を実施することができる。本実施形態で詳細に説明されていない部分については、前述の実施形態を参照することができる。本技術的解決策の実行処理および技術的効果については、前述の実施形態の説明を参照することができる。詳細は、ここでは繰り返さない。

図１４は、本出願の１つの実施形態によるセルフサービス・チェックアウト端末の概略構造図である。図１４に示したように、セルフサービス・チェックアウト端末は、第１のプロセッサ２１および第１のメモリ２２を含むことができる。第１のメモリ２２は、前述の実施形態で提供されたスキャン漏れ識別方法のいずれかをセルフサービス・チェックアウト端末が実施するのをサポートするプログラムを格納するように構成される。第１のプロセッサ２１は、第１のメモリ２２に格納されたプログラムを実行するように構成される。

プログラムは、１つまたは複数のコンピュータ命令を含み、１つまたは複数のコンピュータ命令は、第１のプロセッサ２１によって実行されると、
ユーザが品物をスキャンしている映像情報を獲得すること、
映像情報に従ってユーザのスキャン漏れ行動の検出結果を取得すること
を行うステップを実行することができる。

任意選択として、第１のプロセッサ２１は、図１から図４に示した前述の実施形態のステップのうちの全てまたはいくつかを実施するようにさらに構成することができる。

セルフサービス・チェックアウト端末の構造は、セルフサービス・チェックアウト端末が別のデバイスまたは通信ネットワークと通信するための第１の通信インターフェース２３をさらに含むことができる。

本実施形態におけるセルフサービス・チェックアウト端末は、店内のセルフサービス・チェックアウト機の一部として使用することができ、例えば、店内のセルフサービス・チェックアウト機の内部に統合し、対応する機能を実装するために、セルフサービス・チェックアウト機の表示装置、ＰＯＳ機などに接続することができる。

代替として、セルフサービス・チェックアウト端末は、表示装置、ＰＯＳ機などを含むことができる。このような装置を提供されたセルフサービス・チェックアウト端末は、別のデバイスを接続せずに、セルフサービス・チェックアウト機能を独立して実装することができる。

図１５は、本出願の１つの実施形態による別のセルフサービス・チェックアウト端末の概略構造図である。図１４に示したセルフサービス・チェックアウト端末に基づいて、第１のプロセッサ２１が作動するのを補助するように構成された装置が、図１５に示したセルフサービス・チェックアウト端末に追加される。

任意選択として、第１のプロセッサ２１および第１のメモリ２２に加えて、セルフサービス・チェックアウト端末は、第１のプロセッサに接続された画像キャプチャ装置２４をさらに含むことができる。画像キャプチャ装置２４は、カメラまたは同様のものであってもよい。画像キャプチャ装置２４は、ユーザが品物をスキャンしている映像情報を獲得し、第１のプロセッサ２１に映像情報を送信するように構成される。言い換えれば、第１のプロセッサ２１は、画像キャプチャ装置２４を通じて、ユーザが品物をスキャンしている映像情報を獲得することができる。

任意選択として、セルフサービス・チェックアウト端末は、台（図示せず）をさらに含むことができる。台は、スキャン予定の品物を置くためのスキャン準備領域、品物をスキャンするためのスキャン領域、およびスキャンした品物を置くためのスキャン済領域を含む。スキャン準備領域、スキャン領域、およびスキャン済領域は全て、画像キャプチャ装置２４の画像キャプチャ領域内にある。

任意選択として、セルフサービス・チェックアウト端末は、ＰＯＳ機２５および表示装置２６をさらに含むことができる。ＰＯＳ機２５と表示装置２６の両方が、第１のプロセッサ２１に接続される。ＰＯＳ機２５は、品物のスキャンおよび精算を行うように構成される。

表示装置２６は、ユーザが品物をスキャンし始める前に、精算案内画像を表示することと、ユーザが品物をスキャンしているときに、スキャンした品物についての情報を表示することと、ユーザがスキャンを完了した後、精算インターフェースまたは精算禁止インターフェースを表示することとを行うように構成される。表示装置２６は、第１のプロセッサ２１の制御下で、対応する画像または情報を表示することができる。

これに対応して、第１のプロセッサ２１は、ＰＯＳ機２５、表示装置２６などを通じて、スキャン、精算、表示等などの動作を実行することができる。例えば、第１のプロセッサ２１が品物を精算することは、ＰＯＳ機２５を通じて第１のプロセッサ２１が品物を精算することを含むことができ、第１のプロセッサ２１が精算禁止インターフェースを表示することは、表示装置２６を通じて第１のプロセッサ２１が精算禁止インターフェースを表示することを含むことができる。

他の任意選択の実装形態では、第１のプロセッサ２１は、代替として、他の手法でスキャンおよび精算を実行することができる。例えば、品物は、バーコード・スキャン装置または２次元コード・スキャン装置を通じてスキャンすることができる。スキャンした品物の価格は、品物を精算するために、データベースとの通信を通じて判定することができる。支払機能は、Ａｌｉｐａｙなどの支払インターフェースを通じて実行することができる。

任意選択として、セルフサービス・チェックアウト端末は、警報装置２７をさらに含むことができる。警報装置２７は、第１のプロセッサ２１に接続され、ユーザのスキャン漏れ行動が既定の条件を満たしていないことを第１のプロセッサ２１が検出したときに、第１のプロセッサ２１によって送信された警報指示情報を取得し、警報指示情報に従って警報信号を送信するように構成される。既定の条件は、実際の要件に従ってセットすることができ、例えば、スキャン漏れの数が一定の値未満であることであってもよい。

警報装置２７は、表示灯、振動器、スピーカなどのうちの少なくとも１つを含むことができる。警報装置によって送信された警報信号は、表示灯の明滅、振動器の振動、および、スピーカによって再生された警報信号のうちの少なくとも１つを含むことができる。

画像キャプチャ装置２４、台、ＰＯＳ機２５、表示装置２６、警報装置２７などは、図１５に示したセルフサービス・チェックアウト端末に統合され、第１のプロセッサ２１がセルフサービス精算動作を完了させるのを補助することができる。セルフサービス・チェックアウト端末の構造は、単純で、操作しやすく、促進および利用に適している。

図１６は、本出願の１つの実施形態によるさらに別のセルフサービス・チェックアウト端末の概略構造図である。図１６に示したように、セルフサービス・チェックアウト端末は、第２のプロセッサ２８および第２のメモリ２９を含むことができる。第２のメモリ２９は、前述の実施形態で提供されたスキャン漏れ識別方法のいずれかをセルフサービス・チェックアウト端末が実施するのをサポートするプログラムを格納するように構成される。第２のプロセッサ２８は、第２のメモリ２９に格納されたプログラムを実行するように構成される。

プログラムは、１つまたは複数のコンピュータ命令を含み、１つまたは複数のコンピュータ命令は、第２のプロセッサ２８によって実行されると、
ユーザが品物をスキャンしている映像情報を獲得することと、
画像サーバに映像情報を送信することと、
画像サーバによって映像情報を処理することによって取得されたユーザ行動検出結果を受信することと
を行うステップを実行することができる。

セルフサービス・チェックアウト端末の構造は、セルフサービス・チェックアウト端末が別のデバイスまたは通信ネットワークと通信するための第２の通信インターフェース２１０をさらに含むことができる。

図１７は、本出願の１つの実施形態による画像サーバの概略構造図である。図１７に示したように、画像サーバは、第３のプロセッサ２１１および第３のメモリ２１２を含むことができる。第３のメモリ２１２は、前述の実施形態で提供されたスキャン漏れ識別方法のいずれかを画像サーバが実施するのをサポートするプログラムを格納するように構成される。第３のプロセッサ２１１は、第３のメモリ２１２に格納されたプログラムを実行するように構成される。

プログラムは、１つまたは複数のコンピュータ命令を含み、１つまたは複数のコンピュータ命令は、第３のプロセッサ２１１によって実行されると、
セルフサービス・チェックアウト端末によって送信された、ユーザが品物をスキャンしている映像情報を取得することと、
映像情報に従ってユーザ行動検出結果を取得することと、
セルフサービス・チェックアウト端末にユーザ行動検出結果を送信することと
を行うステップを実行することができる。

画像サーバの構造は、画像サーバが別のデバイスまたは通信ネットワークと通信するための第３の通信インターフェース２１３をさらに含むことができる。

図１８は、本出願の１つの実施形態によるバックエンド監視端末の概略構造図である。図１８に示したように、バックエンド監視端末は、第４のプロセッサ２１４および第４のメモリ２１５を含むことができる。第４のメモリ２１４は、前述の実施形態で提供されたスキャン漏れ識別方法のいずれかをバックエンド監視端末が実施するのをサポートするプログラムを格納するように構成される。第４のプロセッサ２１４は、第４のメモリ２１５に格納されたプログラムを実行するように構成される。

プログラムは、１つまたは複数のコンピュータ命令を含み、１つまたは複数のコンピュータ命令は、第４のプロセッサ２１４によって実行されると、
セルフサービス・チェックアウト端末によって送信された、ユーザが品物をスキャンしている映像情報を取得することと、
ユーザがスキャン漏れ行動を行ったかどうかをバックエンド監視人が映像情報に従って判定するために、バックエンド監視人に対して映像情報を表示することと、
ユーザがスキャン漏れ行動を行ったことをバックエンド監視人が確認する操作イベントに応答して、セルフサービス・チェックアウト端末にスキャン漏れ指示情報を送信することと
を行うステップを実行することができる。

バックエンド監視端末の構造は、バックエンド監視端末が別のデバイスまたは通信ネットワークと通信するための第４の通信インターフェース２１６をさらに含むことができる。

本出願の実施形態は、セルフサービス・チェックアウト・システムをさらに提供する。セルフサービス・チェックアウト・システムは、前述の実施形態のいずれかで説明したセルフサービス・チェックアウト端末、および、前述の実施形態のいずれかで説明したバックエンド監視端末を含むことができ、前述の実施形態のいずれかで説明した画像サーバをさらに含むことができる。

任意選択として、セルフサービス・チェックアウト・システムは、現場監視端末をさらに含むことができる。現場監視端末は、ユーザのスキャン漏れの数が第１の既定の閾値以上であることをセルフサービス・チェックアウト端末が検出したときに、セルフサービス・チェックアウト端末によって送信された警告情報を取得し、警告情報に従って、現場監視人に注意喚起情報をプッシュするように構成される。

任意選択として、現場監視端末は、ウェアラブル・デバイスであってもよい。現場監視端末は、精算禁止を解除し、セルフサービス・チェックアウト端末でスキャンするための２次元コードを設置することができる。

任意選択として、セルフサービス・チェックアウト・システムは、バックエンド・サーバをさらに含むことができる。セルフサービス・チェックアウト端末は、バックエンド・サーバがアルゴリズムを最適化するために、映像情報、データ・ログなどをバックエンド・サーバにアップロードすることができる。

本出願の本実施形態で提供されるシステムの作動原理、実行処理、および技術的効果については、前述の実施形態のいずれかを参照することができる。詳細は、ここでは繰り返さない。

さらに、本出願の実施形態は、コンピュータ命令を格納するコンピュータ可読ストレージ媒体を提供する。プロセッサによって実行されると、コンピュータ命令は、
ユーザが品物をスキャンしている映像情報を獲得することと、
映像情報に従ってユーザのスキャン漏れ行動の検出結果を取得することと
を行うアクションをプロセッサに実施させる。

プロセッサによって実行されると、コンピュータ命令は、前述の実施形態１から４で提供されたスキャン漏れ識別方法に含まれるステップの全てまたはいくつかをプロセッサにさらに実施させることができる。

さらに、本出願の実施形態は、コンピュータ命令を格納する別のコンピュータ可読ストレージ媒体を提供する。プロセッサによって実行されると、コンピュータ命令は、
ユーザが品物をスキャンしている映像情報を獲得することと、
画像サーバに映像情報を送信することと、
画像サーバによって映像情報を処理することによって取得されたユーザ行動検出結果を受信することと
を行うアクションをプロセッサに実施させる。

プロセッサによって実行されると、コンピュータ命令は、前述の実施形態５で提供されたスキャン漏れ識別方法に含まれるステップの全てまたはいくつかをプロセッサにさらに実施させることができる。

さらに、本出願の実施形態は、コンピュータ命令を格納する別のコンピュータ可読ストレージ媒体を提供する。プロセッサによって実行されると、コンピュータ命令は、
セルフサービス・チェックアウト端末によって送信された、ユーザが品物をスキャンしている映像情報を取得することと、
映像情報に従ってユーザ行動検出結果を取得することと、
セルフサービス・チェックアウト端末にユーザ行動検出結果を送信することと
を行うアクションをプロセッサに実施させる。

プロセッサによって実行されると、コンピュータ命令は、前述の実施形態６で提供されたスキャン漏れ識別方法に含まれるステップの全てまたはいくつかをプロセッサにさらに実施させることができる。

さらに、本出願の実施形態は、コンピュータ命令を格納するさらに別のコンピュータ可読ストレージ媒体を提供する。プロセッサによって実行されると、コンピュータ命令は、
セルフサービス・チェックアウト端末によって送信された、ユーザが品物をスキャンしている映像情報を取得することと、
ユーザがスキャン漏れ行動を行ったかどうかをバックエンド監視人が映像情報に従って判定するために、バックエンド監視人に対して映像情報を表示することと、
ユーザがスキャン漏れ行動を行ったことをバックエンド監視人が確認する操作イベントに応答して、セルフサービス・チェックアウト端末にスキャン漏れ指示情報を送信することと
を行うアクションをプロセッサに実施させる。

さらに、プロセッサによって実行されると、コンピュータ命令は、前述の実施形態７で提供されたスキャン漏れ識別方法に含まれるステップの全てまたはいくつかをプロセッサにさらに実施させることができる。

前述のデバイスの実施形態は、例にすぎない。別個の部品として説明されたユニットは、物理的に別個であっても、そうでなくてもよく、ユニットとして表示された部品は、物理的なユニットであっても、そうでなくてもよく、１つの位置にあってもよく、または複数のネットワーク・ユニット上に分散させてもよい。モジュールのいくつかまたは全ては、実施形態の解決策の目的を実行する実際の必要性に従って選択することができる。当業者は、創造的努力をすることなく解決策を理解し、実行することができる。

前述の実装形態の説明を通じて、必要な汎用ハードウェア・プラットフォームで、または、ハードウェアとソフトウェアを組み合わせることによる手法で、実装形態を実装できることを当業者は明確に理解するであろう。このような理解に基づいて、既存技術に本質的にまたは部分的に貢献する前述の技術的解決策は、コンピュータ製品の形で実装することができる。本出願は、コンピュータ使用可能プログラムコードを含んだ（ディスク・メモリ、ＣＤ－ＲＯＭ、光メモリなどを含むがこれらに限定されない）１つまたは複数のコンピュータ使用可能ストレージ媒体上に実装されたコンピュータ・プログラム製品の形式を使用することができる。

本出願は、本出願の実施形態による方法、デバイス（システム）、およびコンピュータ・プログラム製品の流れ図および／またはブロック図を参照しながら説明される。コンピュータ・プログラム命令は、流れ図および／またはブロック図における各手順および／またはブロック、ならびに、流れ図および／またはブロック図における手順および／またはブロックの組合せを実行できることを理解されたい。これらのコンピュータ・プログラム命令は、流れ図における１つもしくは複数の手順、および／または、ブロック図における１つもしくは複数のブロックで指定された機能を実行するように構成された装置が、汎用コンピュータ、または別のプログラム可能ネットワーク接続デバイスのプロセッサによって実行される命令を使用することによって生成されるべく、機械を生成するために、汎用コンピュータ、専用コンピュータ、組込みプロセッサ、または別のプログラム可能ネットワーク接続デバイスのプロセッサに提供することができる。

これらのコンピュータ・プログラム命令は、コンピュータ可読メモリに格納された命令が、命令装置を含む製品を生成するべく、特定の手法で機能するように、コンピュータまたは別のプログラム可能ネットワーク接続デバイスを誘導することができるコンピュータ可読メモリにも格納することができ、ここで、命令装置は、流れ図における１つもしくは複数の手順、および／または、ブロック図における１つもしくは複数のブロックで指定された機能を実行する。

これらのコンピュータ・プログラム命令は、一連の動作ステップが、コンピュータによって実行される処理を生成するために、コンピュータまたは別のプログラム可能データ処理デバイス上で実施され、コンピュータまたは別のプログラム可能データ処理デバイス上で実行される命令が、流れ図における１つもしくは複数の手順、および／または、ブロック図における１つもしくは複数のブロックで指定された機能を実行するためのステップを提供するべく、コンピュータまたは別のプログラム可能ネットワーク接続デバイスにロードすることもできる。

典型的な構成では、コンピュータ・デバイスは、１つまたは複数のプロセッサ（ＣＰＵ）、入出力インターフェース、ネットワーク・インターフェース、およびメモリを含む。

内部メモリは、非持続メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、および／または、例えば、リード・オンリ・メモリ（ＲＯＭ）もしくはフラッシュ・メモリ（フラッシュＲＡＭ）といった、不揮発性内部メモリといったコンピュータ可読媒体の形式を含むことができる。内部メモリは、コンピュータ可読媒体の例である。

コンピュータ可読媒体は、持続媒体および非持続媒体、取外し可能媒体および取外し不能媒体を含み、任意の方法または技術を使用することによって情報の保存を実行することができる。情報は、コンピュータ可読命令、データ構造、プログラムのモジュール、または他のデータであってもよい。コンピュータのストレージ媒体の例は、位相変化メモリ（ＰＲＡＭ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）もしくは他のタイプのランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、消去可能プログラマブル・リード・オンリ・メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリもしくは別のストレージ技術、コンパクト・ディスク・リード・オンリ・メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）もしくは別の光学ストレージ、またはカートリッジ・テープを含むがこれらに限定されない。磁気テープもしくはディスクの磁気ストレージ、別の磁気ストレージ・デバイス、または他の任意の非伝送媒体を、コンピューティング・デバイスによってアクセスできる情報を格納するように構成することができる。本明細書における定義に基づき、コンピュータ可読媒体は、変調されたデータ信号およびキャリアなどの一時的なコンピュータ可読媒体（一時的媒体）を含まない。

最後に、前述の実施形態は、本出願の技術的解決策を説明するために使用されるにすぎず、本出願を限定することを意図するものではないことに留意されたい。本出願は、前述の実施形態を参照しながら詳細に説明してきたが、前述の実施形態で説明した技術的解決策を修正できるか、または、技術的解決策におけるいくつかの技術的特徴を同様に置換できることを当業者は理解するであろう。このような修正または置換が、対応する技術的解決策の本質を、本出願の実施形態の技術的解決策の精神および範囲から逸脱させない限り。

Claims (19)

1. スキャンのスキップを識別するためのコンピュータ実装された方法であって、
   品物をスキャンするユーザのビデオを取得することと、
   前記取得されたビデオに基づいて前記ユーザの姿勢データを判定することと、
   前記ユーザの前記姿勢データに従って、前記ユーザのスキャン動作が行われる期間を判定することと、
   前記品物のスキャン結果を受信することと、
   前記スキャン結果と前記期間に基づいて、前記ユーザが前記品物のスキャンをスキップしたかどうかを判定することと、
   前記品物のスキャンが終了したことを前記ユーザが確認する操作に応答して、前記ユーザがスキャンをスキップした前記品物の数量を判定することと、
   前記ユーザがスキャンをスキップした前記品物の数量がしきい値未満であることに応じて、前記ユーザがスキャンした１つ又は複数の品物を精算すること、
   を含む方法。
2. 品物をスキャンするユーザのビデオを前記取得することは、
   前記ユーザが前記品物をスキャンできるようになっているコード・スキャン領域のビデオを取得すること、を含む請求項１に記載の方法。
3. 前記ユーザの前記姿勢データを判定することは、
   前記コード・スキャン領域の第１境界に手を動かすという前記ユーザの第１動作を判定することと、
   前記コード・スキャン領域の第２境界から手を動かすという前記ユーザの第２動作を判定すること、を含み、
   前記ユーザのスキャン動作が行われる前記期間を判定することは、
   前記ユーザの前記第１動作のタイムスタンプと前記ユーザの前記第２動作のタイムスタンプに基づいて前記期間を判定すること、を含む請求項２に記載の方法。
4. 前記ユーザが前記品物のスキャンをスキップしたかどうかを前記判定することは、
   前記スキャン結果に基づいて、前記品物の識別子が前記期間内にスキャンされたかどうかを判定することと、
   前記品物の前記識別子が前記期間内にスキャンされていないと判定したときに、前記ユーザが前記品物のスキャンをスキップしたと判定すること、を含む請求項１に記載の方法。
5. 前記ユーザが前記品物のスキャンをスキップしたかどうかを前記判定することは、
   前記スキャン結果から前記品物の識別子を取得することと、
   前記取得した識別子に基づいて前記品物の第１属性情報を検索することと、
   前記期間内のビデオ画像の１つ又は複数のフレームに従って前記品物の第２属性情報を識別することと、
   前記品物の前記第１属性情報が前記品物の前記第２属性情報と一致しないことに応答して、前記ユーザが前記品物のスキャンをスキップしたと判定すること、を含む請求項１に記載の方法。
6. 前記ユーザが前記品物のスキャンをスキップしたかどうかを前記判定することは、
   前記スキャン結果から前記品物の識別子を取得することと、
   前記期間内にスキャンされた前記品物の前記識別子に従って前記品物の価格を検索することと、
   前記期間内のビデオ画像の１つ又は複数のフレームに従って前記品物の種類を識別することと、
   前記種類に応じて最低価格を判定することと、
   前記品物の前記価格が前記最低価格よりも低いことに応じて、前記ユーザが前記品物のスキャンをスキップしたと判定すること、を含む請求項１に記載の方法。
7. 前記数量が前記しきい値以上であることに応じて、精算が禁止されていることを示すインターフェースを表示すること、及び／又は、オンサイト監視端末に警告情報を送信すること、をさらに含む請求項１に記載の方法。
8. 精算が禁止されていることを示すインターフェースを前記表示した後、
   前記オンサイト監視端末に関連付けられたオンサイト監視担当者の操作に応じて、前記ユーザがスキャンした前記１つ又は複数の品物を精算すること、をさらに含む請求項７に記載の方法。
9. 前記ユーザの前記姿勢データを判定することは
   前記品物をピックアップする動作として、前記ビデオ内の第１方向に向かって移動する前記ユーザの手を識別することと、
   前記品物をスキャンする動作として、前記ビデオ内の第２方向に向かって移動する前記ユーザの手を識別すること、を含み、
   前記ユーザのスキャン動作が行われる前記期間の決定は、
   前記品物をピックアップする前記動作のタイムスタンプと前記品物をスキャンする動作のタイムスタンプに基づいて前記期間を判定すること、を含む請求項１に記載の方法。
10. 前記取得されたビデオをバックエンド監視端末に送信し、前記ビデオは前記バックエンド監視端末によって再生されること、をさらに含む請求項１に記載の方法。
11. 前記ユーザが前記品物のスキャンをスキップしたと判定したときに、前記ユーザの前記取得されたビデオを強調表示するように前記バックエンド監視端末を制御するための警告命令を前記バックエンド監視端末に送信すること、をさらに含む請求項１０に記載の方法。
12. 前記ユーザのアイデンティティ情報を取得することと、
    前記ユーザの前記アイデンティティ情報がブラックリストに載っているかどうかを判定することと、
    前記ブラックリストに載っている前記ユーザの前記アイデンティティ情報に応答して、 精算が禁止されていることを示すインターフェースを表示すること、及び／又は、オンサイト監視端末に警告情報を送信すること、をさらに含む請求項１に記載の方法。
13. １つ又は複数のプロセッサと、前記１つ又は複数のプロセッサに結合された１つ又は複数の非一時的なコンピュータ可読メモリとを備えるシステムであって、前記１つ又は複数の非一時的なコンピュータ可読メモリに記憶された命令が前記１つ又は複数のプロセッサによって実行されたときに、
    品物をスキャンするユーザのビデオを取得することと、
    前記取得されたビデオに基づいて前記ユーザの姿勢データを判定することと、
    前記ユーザの前記姿勢データに従って、前記ユーザのスキャン動作が行われる期間を判定することと、
    前記品物のスキャン結果を受信することと、
    前記スキャン結果と前記期間に基づいて、前記ユーザが前記品物のスキャンをスキップしたかどうかを判定することと、
    前記品物のスキャンが終了したことを前記ユーザが確認する操作に応答して、前記ユーザがスキャンをスキップした前記品物の数量を判定することと、
    前記ユーザがスキャンをスキップした前記品物の数量がしきい値未満であることに応じて、前記ユーザがスキャンした１つ又は複数の品物を精算すること、
    を実行するシステム。
14. 品物をスキャンするユーザのビデオを前記取得することは、
    前記ユーザが前記品物をスキャンできるようになっているコード・スキャン領域のビデオを取得すること、を含む請求項１３に記載のシステム。
15. 前記ユーザの前記姿勢データを判定することは、
    前記コード・スキャン領域の第１境界に手を動かすという前記ユーザの第１動作を判定することと、
    前記コード・スキャン領域の第２境界から手を動かすという前記ユーザの第２動作を判定すること、を含み、
    前記ユーザのスキャン動作が行われる前記期間を判定することは、
    前記ユーザの前記第１動作のタイムスタンプと前記ユーザの前記第２動作のタイムスタンプに基づいて前記期間を判定すること、を含む請求項１４に記載のシステム。
16. 前記ユーザが前記品物のスキャンをスキップしたかどうかを前記判定することは、
    前記スキャン結果に基づいて、前記品物の識別子が前記期間内にスキャンされたかどうかを判定することと、
    前記品物の前記識別子が前記期間内にスキャンされていないと判定したときに、前記ユーザが前記品物のスキャンをスキップしたと判定すること、を含む請求項１３に記載のシステム。
17. １つまたは複数のプロセッサに、
    品物をスキャンするユーザのビデオを取得することと、
    前記取得されたビデオに基づいて前記ユーザの姿勢データを判定することと、
    前記ユーザの前記姿勢データに従って、前記ユーザのスキャン動作が行われる期間を判定することと、
    前記品物のスキャン結果を受信することと、
    前記スキャン結果と前記期間に基づいて、前記ユーザが前記品物のスキャンをスキップしたかどうかを判定することと、
    前記品物のスキャンが終了したことを前記ユーザが確認する操作に応答して、前記ユーザがスキャンをスキップした前記品物の数量を判定することと、
    前記ユーザがスキャンをスキップした前記品物の数量がしきい値未満であることに応じて、前記ユーザがスキャンした１つ又は複数の品物を精算すること、
    を含む動作を実行させるために前記１つまたは複数のプロセッサによって実行可能な命令で構成された非一時的なコンピュータ可読記憶媒体。
18. 品物をスキャンするユーザのビデオを前記取得することは、
    前記ユーザが前記品物をスキャンできるようになっているコード・スキャン領域のビデオを取得すること、を含む請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
19. 前記ユーザの前記姿勢データを判定することは、
    コード・スキャン領域の第１境界に手を動かすという前記ユーザの第１動作を判定することと、
    前記コード・スキャン領域の第２境界から手を動かすという前記ユーザの第２動作を判定すること、を含み、
    前記ユーザのスキャン動作が行われる前記期間を判定することは、
    前記ユーザの前記第１動作のタイムスタンプと前記ユーザの前記第２動作のタイムスタンプに基づいて前記期間を判定すること、を含む請求項１７に記載の非一時的なコンピュータ可読記憶媒体。

Images