JP2023504871A - 不正検出システムおよび方法 - Google Patents

Abstract

本発明は、少なくとも1人のユーザによる少なくとも1つの商品(20)の購入の際に不正を検出するための方法に関し、この方法は、・複数のデータを捕捉するステップを備え、このステップは少なくとも、・コンピュータ処理ユニット(1400)によって、複数のデータを処理するステップを備え、このステップは少なくとも、・不正の確率を決定するステップを備える。

Description

本発明は、商品を購入するときの不正検出の分野に関する。本発明は特に、大量販売、およびカート、スマート買い物かご、またはキャッシュレジスタデバイスの分野において、有利な応用を見出す。

商品が盗まれていないかどうかを確認するには、いくつかの方法がある。現在、最も利用されている技術は、いわゆるRFID技術に関係している。カートに追加された各商品の重さを分析することによって、ショッピングカートの正当性を確認するためのシステムもある。

しかしながら、一方でこのタイプの解決策は高価であり、および/または信頼性がない。実際に、不正を行う者は常に、たとえばスーパーマーケットに導入されている防犯システムを回避するための新しい方法を考えている。

したがって、本発明の目的は、これらの問題の少なくともいくつかに対する解決策を提案することである。

本発明の他の目的、特徴、および利点は、以下の説明および添付の図面の検討から明らかになるであろう。他の利点が取り入れられてもよいことを理解されたい。

本発明は、少なくとも1つの商品の少なくとも1人のユーザによる購入の際に不正を検出するための方法に関し、この方法は少なくとも、
・少なくとも1つのユーザ端末によって実行される、少なくとも1つのセンサからの、好ましくは複数のセンサからの複数のデータの捕捉ステップであって、
i. 少なくとも1つの識別デバイスにより商品の識別子を取得すること、
ii. 3次元空間においてユーザにより手動で動かされた商品の少なくとも1つの軌跡を少なくとも1つの光学デバイスにより決定することであって、前記3次元空間が少なくとも、
1. 商品の識別子を取得するための、商品の少なくとも1つの部分がその中にユーザにより置かれる3次元空間の体積に対応する識別エリアと、
2. ユーザ端末と関連付けられる少なくとも1つの入れ物にユーザが商品を入れるときに商品が横切る3次元空間の体積に対応する入口エリアと
を備える、決定すること、
iii. ユーザ端末によって、
1. 識別デバイスからの商品の識別子と、
2. 商品の軌跡と
を少なくとも1つのコンピュータ処理ユニットに送信すること
というステップを少なくとも備える、捕捉ステップと、
・コンピュータ処理ユニットによって実行される、複数のデータの処理ステップであって、
i. 3次元空間における商品の少なくとも軌跡から前記商品の少なくとも1つの挙動を生成すること、
ii. 取り扱いの異常を識別するために、複数の所定の挙動モデルと前記商品の挙動を比較すること
というステップを少なくとも備える、処理ステップと、
・前記挙動比較に応じて不正の確率を決定するステップと
を備える。

本発明は、不正の状況を識別するために、複数のセンサを巧みに使用して複数のデータをクロスチェックする。

たとえば、提案されるプロセスは、ユーザが商品を識別することなく、したがって初めに商品を数えることなく追加することからなる、ユーザにより行われる操作を識別することを可能にする。この場合、商品は、入口エリアに到達して入れ物に置かれる前に、ユーザにより識別されない。

有利なことに、本発明は、この挙動が標準的であると見なされる挙動と一貫している、すなわち不正ではないかどうかを識別するために、商品の挙動を決定することを可能にする。簡単で信頼性のある方式で、本発明は、1つまたはいくつかの標準挙動モデルから所定の閾値を超えて逸脱する限り、不正である可能性のある挙動としてある挙動を分類することを可能にする。本発明は、1つまたはいくつかの標準挙動モデルを備える複数の所定の挙動モデルを巧みに使用する。

本発明は、たとえば自動精算システムを使用して、たとえばまたはそうでなければいわゆるスマートカートを使用して、店舗において商品を購入するときの複数の不正を検出することを可能にする。

本発明は、すべてではないとしても、大半の不正の状況を解決する。

本発明は、ユーザが自動的に通知を受信することなく、購入過程の間に顧客を案内し、不正またはエラーを識別することを可能にする。カートの中身はほぼリアルタイムに確認されるので、したがって、精算機または端末を通らずに支払うこと、およびカートの中身のすべての直接的な管理なしで支払うことが、本発明により可能になる。

不正の確率の計算は、商品および/または行為について行われるので、1つまたはいくつかの不正が疑われる場合、顧客は1つまたはいくつかの商品についてのみ確認され、カート全体について確認されない。

これにより、ユーザは自分の購入についての、その情報が商品に関係するかどうかについてのより多くの情報だけではなく、買い物かごの金額も得ることが可能になり得る。

特に有利な方式では、複数のデータを捕捉するステップは、少なくとも1つの測定デバイスによる、商品の重さの少なくとも1回の測定と、ユーザ端末によってコンピュータ処理ユニットに商品の測定された重さを送信するステップとを備える。

好ましくは、処理ステップは、好ましくは商品の挙動を生成するステップの前に、少なくとも、
a. 識別子から少なくとも1つのデータベースにおいて商品を識別することであって、データベースが商品の所定の重さと関連付けられる商品の識別子を少なくとも備える、識別すること、
b. データベースから商品の所定の重さを取得することであって、
i. 所定の重さが0に等しい、または入力されない場合、コンピュータ処理ユニットが、データベースの中の前記識別子と関連付けられる所定の重さとして商品の測定された重さを割り当て、
ii, 所定の重さが0と異なり、入力される場合、コンピュータ処理ユニットが、重さの差が所定の閾値より大きければ重さの異常を識別するために、所定の重さと測定された重さの比較を実行する、
取得すること
というステップを備える。

有利なことに、不正の確率の決定は、測定された重さとの所定の重さの前記比較に従って行われ、重さの異常が識別された場合、この確率は0ではない。

重さと画像の分析をスマートに結合することによって、本発明はあらゆる不正を減らし、場合によっては回避することを可能にする。

本発明はまた、店舗における少なくとも1つの商品のユーザによる購入の際の少なくとも1つの不正を検出するためのシステムに関し、このシステムは少なくとも、
・ユーザ端末であって、
i. ユーザが識別デバイスの近くにある、好ましくは1メートル以内にある商品の横を通り過ぎるときに商品を識別するように構成される、識別デバイスと、
ii. 商品の重さを測定するように構成される測定デバイスと、
iii. 3次元空間においてユーザにより手動で動かされる商品の少なくとも1つの軌跡を決定するように少なくとも構成される光学デバイスと
を少なくとも備える、ユーザ端末と、
・少なくともユーザ端末と通信しているコンピュータ処理ユニットであって、コンピュータ処理ユニットが、ユーザ端末から離れており、または離れておらず、
i. 少なくとも3次元空間における商品の軌跡から前記商品の少なくとも1つの挙動を生成し、
ii. 取り扱いの異常を識別するために、前記商品の挙動を複数の所定の挙動モデルと比較する
ように構成される、コンピュータ処理ユニットとを備える。

前記挙動比較に応じて不正の確率を決定するために、取り扱いの異常が識別された場合、この確率は0ではない。

有利なことに、コンピュータ処理ユニットはさらに、商品の所定の重さと関連付けられる商品の識別子を備えるデータベースと通信している。

好ましくは、コンピュータ処理ユニットはさらに、識別された商品に従ってデータベースにおいて示される重さと測定された重さを比較するように構成されるデータ比較モジュールと通信しており、比較モジュールは重さの異常を識別するように構成される。

有利には、光学デバイスは商品の複数の画像をさらに収集するように構成され、コンピュータ処理ユニットはさらに、取り扱いの異常を識別するように構成される前記光学デバイスによって収集される画像を分析するためのモジュールと通信している。

好ましくは、コンピュータ処理ユニットはさらに、
a. 重さの差が所定の閾値より大きい場合に重さの異常を識別するために、データベースから取得された商品の所定の重さと測定された重さを比較し、
b. 前記重さ比較に従って不正の確率を決定するように構成され、重さの異常が識別された場合、この確率は0ではない。

有利なことに、コンピュータ処理ユニットはさらに、取り扱いの異常を識別するために、複数の収集された画像を分析するように構成される。

本発明はまた、少なくとも1つのプロセッサによって実行されると、本発明に従って方法のステップを少なくとも実行する命令を備える、コンピュータプログラム製品に関する。

本発明の狙い、目的、ならびに特徴および利点は、以下の添付の図面により示される本発明の実施形態の詳細な説明からより明らかになるだろう。

本発明のある実施形態による不正検出システムを表す図である。 本発明のある実施形態による、識別デバイスの、光学デバイスの、およびそれらの観察エリアの配置の図である。 本発明のある実施形態による、システムの少なくとも1つの部分を統合するカートを表す図である。 本発明のある実施形態による、モバイル分析デバイスのグラフィカルインターフェースを表す図である。 本発明のある実施形態による、データを記録して前記記録を分析するためのアルゴリズムを表す図である。

図面は例として与えられ、本発明を限定しない。図面は、本発明の理解を促進することを意図した原理の概略的な表現であり、必ずしも実用的な適用例に対して縮尺通りではない。具体的には、寸法は現実を表すものではない。

本発明の実施形態の詳細な検討を開始する前に、組合せまたは代替として場合によっては使用され得る任意選択の特徴が、この後に記載される。

一例によれば、光学デバイスは、深さが3次元画像の捕捉において考慮されることを可能にするように構成される。

一例によれば、光学デバイスは、光学デバイスのディオプトリの平面を形成する2つの軸に直交した軸に沿って延びるいわゆる深さ方向の空間次元を考慮することを可能にするように構成される。

一例によれば、3次元空間における商品の軌跡は、少なくとも1つの複数の点を備え、前記複数の点の各点は、好ましくは直交する3次元空間において、少なくとも3つの空間座標を備える。

一例によれば、光学デバイスは、商品の前記軌跡の決定において深さを考慮することを可能にするように構成される。

一例によれば、光学デバイスは、商品の前記軌跡の決定において光学デバイスのディオプトリの平面を形成する2つの軸に直交した軸に沿って延びるいわゆる深さ方向の空間次元を考慮することを可能にするように構成される。

一例によれば、光学デバイスによって決定されるような3次元空間における商品の軌跡は、少なくとも1つの複数の点を備え、前記複数の点の各点は、少なくとも3つの空間座標を備え、それらの各々が、好ましくは直交する3次元空間において、軌跡に沿って展開する可能性がある。

一例によれば、光学デバイスは立体視光学デバイスを備え、好ましくは立体視光学デバイスである。

一例によれば、取り扱いの異常が識別される場合、確率は0ではない。

一例によれば、データベースに含まれる商品の所定の重さは、ある重さの範囲、好ましくは、最小の所定の重さおよび最大の所定の重さを備える。

一例によれば、3次元空間において商品の軌跡を決定するステップは、少なくとも識別エリア、入口エリア、少なくとも1つの外部エリア、少なくとも1つの入れ物の入口に少なくとも対応する少なくとも1つの内部エリアから選択される少なくとも1つのエリアにおいて商品を追跡することを備え、入口エリアは内部エリアから外部エリアを分離する。

空間をいくつかのエリアへと分割することは、商品のより優れた追跡および空間の機能化を可能にする。

一例によれば、3次元空間における商品の軌跡の決定は、3次元空間のあるエリアから3次元空間の別のエリアへの商品の通過を少なくとも備え、および好ましくは、その商品の通過のみを備える。

一例によれば、商品の軌跡を決定するステップは少なくとも、3次元空間において動いている商品以外の物体の軌跡の決定を備え、前記物体は、好ましくは、手、腕、別の商品、袋、ユーザが装着するアクセサリ、ユーザが着る衣服から選択される。

一例によれば、商品の挙動を生成するステップは、所定の閾値を超えた商品への前記物体のあらゆる接近を示すことを備える。

一例によれば、前記商品の生成された挙動は、複数のセンサによって検出される少なくとも1つの一連のイベントを備え、これらのイベントは、少なくとも、商品の識別、3次元空間のエリアから3次元空間の別のエリアへの通過、商品の重さの測定、別の物体による商品の接近から選択される。

一例によれば、複数のデータを捕捉するステップは、少なくともその商品の、およびその商品を持つユーザの少なくとも1つの手の複数の画像の、光学デバイスによる収集を備える。

一例によれば、処理ステップは、商品の少なくとも1つの2次元表現を記録するために、およびユーザの手が空いているかふさがっているかを識別するために、複数の収集された画像を分析するステップを備える。

一例によれば、処理ステップは、データベースからの商品の画像と商品の収集された画像との間で異常を識別するために、データベースに存在する商品の画像と複数の収集された画像の1つまたは複数の画像との少なくとも1つの比較を備える。

これは、スキャンされた商品を、そのラベルだけではなく、光学的な比較にもしたがって比較することを可能にする。

一例によれば、商品の画像を比較するステップは、好ましくは訓練されたニューラルネットワークによる、コンピュータ処理ユニットによる商品の光学認識の少なくとも1つのステップを備える。

一例によれば、複数の画像を収集するステップは、光学デバイスによって、好ましくは複数の収集された画像から、有利には時間圧縮されたビデオを記録する少なくとも1つのステップを備える。

これは、容易に、直観的に、および高速にイベントが視覚化されることを可能にする。

一例によれば、好ましくは時間圧縮されたビデオを記録するステップは、前記データの収集の際に少なくとも1つのセンサによって収集されたデータを挿入するステップを備え、前記センサは、少なくとも、識別デバイス、光学デバイス、測定デバイス、空間識センサ、モーションセンサから選択される。

これは、容易、直観的に、および高速にイベントが視覚化されることを可能にする。

一例によれば、商品の追跡を決定するステップは、少なくとも、
a. 好ましくはカラーで、複数の2次元画像を収集すること、
b. 複数の3次元画像を収集すること
を備える。

これは、商品の幾何学的形状を識別し、空間的にそれを追尾することを可能にする。

一例によれば、複数の2次元画像の収集は、少なくとも1つのカメラおよび少なくとも1つの追加のカメラによって行われ、複数の3次元空間の収集は、少なくとも1つの立体視カメラによって行われる。

一例によれば、立体視カメラは、3次元空間において商品を空間的に追跡するように構成され、追加のカメラは、商品の幾何学的形状を認識するように前記ニューラルネットワークを訓練するために、複数の2次元画像を少なくとも1つのニューラルネットワークに送信するように構成され、好ましくは、データベースは、ニューラルネットワークによって生成されるモデルを改良するために訂正データも提供することができ、商品の空間位置およびその幾何学的形状が次いで、商品が立体視カメラの視野から出るときに2次元カメラによって商品を追跡するために使用される。

2つのカメラの協調により、商品のより優れた追跡ならびにより優れた識別が可能になるので、不正である可能性があるものの数が減る。

一例によれば、2次元カメラは、好ましくは「広角」と呼ばれる、100度より大きい角度を有する対物レンズを備え、立体視カメラの視野の外側での商品の空間位置の追跡を確実にし、商品の幾何学的形状の画像を収集するように構成され、商品の空間位置およびその幾何学的形状は次いで、商品が立体視カメラの視野内にあるとき、立体視カメラによって、および追加の2次元カメラによって商品を追跡するために使用される。

2つのカメラの協調により、商品のより優れた追跡ならびにより優れた識別が可能になるので、不正である可能性があるものの数が減る。

一例によれば、方法は、商品を識別するステップの前に、ユーザを識別するステップと、その後の、ユーザプロファイルデータベースからユーザに固有のユーザプロファイルを読み取るステップとを備える。

これは、不正である可能性があるものの評価において、加重パラメータとしてユーザの履歴を考慮する。

一例によれば、所定の挙動モデルは、
a. 商品の識別、
b. 識別エリアから入口エリアまでの商品の追跡、
c. 入口エリアから内部エリアまでの商品の追跡、
d. 好ましくは、商品の重さを測定する前または測定した後の、内部エリアから外部エリアまでのユーザの空いている手の追跡
という一連のイベントを少なくとも備える、少なくとも1つの標準挙動モデルを備える。

一例によれば、取り扱いの異常は、商品を別の商品と交換すること、前記商品と同時に別の商品を入れ物に追加すること、前記入れ物に前記商品を置くときに前記入れ物から別の商品を取り出すこと、識別された商品を別の識別されていない商品と交換すること、不正識別器を用いて商品を識別することという状況のうちの少なくとも1つを備える。

これは、重さに関連するもの以外の異常、および主に商品の取り扱いによる異常を識別することを可能にする。

一例によれば、方法は、重さの異常が検出される場合、
a. 商品を取り出すことを求める要求を、ユーザへの好ましくは視覚および/またはオーディオのメッセージにより表現するステップであって、この表現がユーザインターフェースによって行われ、ユーザインターフェースが、たとえばコンピュータ処理ユニットである、ステップと、
b. 新しい重さを取得するために商品を再び計量することを求める要求を、ユーザへの好ましくは視覚および/またはオーディオのメッセージにより表現するステップであって、この表現がユーザインターフェースによって行われ、ユーザインターフェースが、たとえばコンピュータ処理ユニットである、ステップと、
c. 商品の新しい重さをユーザ端末によってコンピュータ処理ユニットへ送信するステップと、
d. 重さの異常を識別するために所定の重さを新しい測定された重さと比較することを少なくとも備える、コンピュータ処理ユニットによって行われる、商品の新しい識別子、商品の新しい重さ、および好ましくは収集された画像を処理するステップと
を備える。

これは、商品の重さの検証を可能にするので、これは、監督者の介入を減らし得る。

一例によれば、方法は、異常が検出された場合、
a. 商品を再び識別することを求める要求を、ユーザへの好ましくは視覚および/またはオーディオのメッセージにより表現するステップであって、この表現がユーザインターフェースによって行われ、ユーザインターフェースが、たとえばコンピュータ処理ユニットである、ステップと、
b. 商品の新しい識別子をユーザ端末によってコンピュータ処理ユニットへ送信するステップと、
c. 新しい重さを取得するために商品を再び計量することを求める要求を、ユーザへの好ましくは視覚および/またはオーディオのメッセージにより表現するステップであって、この表現がユーザインターフェースによって行われ、ユーザインターフェースが、たとえばコンピュータ処理ユニットである、ステップと、
d. 商品の新しい重さをユーザ端末によってコンピュータ処理ユニットへ送信するステップと、
e. 重さの異常を識別するために所定の重さを新しい測定された重さと比較することを少なくとも備える、コンピュータ処理ユニットによって、商品の新しい識別子、商品の新しい重さ、および好ましくは収集された画像を処理するステップと
を備える。

これは、二重の検証を可能にするので、これは、監督者の介入を減らし得る。

一例によれば、方法は、光学デバイスにより所定の時間長を伴う初期ビデオを記録する連続的なステップを備え、イベントが、少なくとも識別デバイス、測定デバイス、光学デバイス、モーションセンサ、空間識センサから選択される少なくとも1つのセンサによって検出されない限り、前記初期ビデオは前記所定の時間長の終わりに消去される。

これにより、記録を引き起こすイベントの前、したがって関連するイベントの前の画像を手に入れることが可能になる。

一例によれば、少なくとも1つの複数のデータを捕捉するステップが完了するときにのみ、処理ステップが行われる。

これは、システムリソースとエネルギーの節約を可能にする。実際に、有利なことに、システムが少ないシステムリソース、少ないエネルギー、したがって低コストで効率的に動作できるように、収集段階と分析段階は別個である。

一例によれば、方法は、不正の確率が所定の閾値より高いとき、前記複数のデータに基づく複数の二次データを、第1の監督者が前記複数の二次データを分析するようにコンピュータ処理ユニットから少なくとも1つの管理ステーションへ送信するステップを備える。

このことは、1人または何人かの人の管理者が関与する、第1の自動防犯フィルタおよび第2の防犯フィルタを実現する。

一例によれば、不正の状況が第1の監督者により確認される場合、第2の監督者が前記複数の二次データを分析してユーザに向かって動くように、前記複数の二次データが、好ましくはユーザ端末と同じ建物の中に位置する少なくとも1つのモバイル分析デバイスに送信される。

これは、移動できる監督者を現場に行かせて、不正が存在するかどうかを視覚的に確認させることを可能にする。

一例によれば、前記複数の二次データは、商品の識別子、商品の重さ、商品の元の画像、好ましくは時間圧縮された、複数の収集された画像、ビデオのうちの1つまたは複数の画像というデータのうちの少なくとも1つを備える。

これは、情報の簡単で直観的な提示を可能にする。

一例によれば、ユーザ端末はモバイルカートである。

これは、ユーザがセッションの終わりに簡単に購入に対して支払うことを可能にするスマートカートを実現し、商品のスキャンは購入セッションの間に行われる。

一例によれば、コンピュータ処理ユニットの少なくとも一部分はモバイルカートに埋め込まれる。

一例によれば、システムは、少なくとも1人の第1の監督者によって分析されるようにするためにコンピュータ処理ユニットから少なくとも複数のデータを受信するように構成される、好ましくは遠隔の少なくとも1つの管理ステーションを備える。

一例によれば、システムは、第2の監督者が前記複数のデータを分析してユーザに向かって動くことを可能にするために、管理ステーションから複数のデータを受信するように構成される、少なくとも1つのモバイル分析デバイスを備える。

一例によれば、コンピュータ処理ユニットは、ユーザの検出された不正の履歴を少なくとも備える別のデータベースと通信している。

一例によれば、ユーザ端末は、典型的には店舗の中に、たとえば店舗の出口の近くに置かれることが意図される固定端末である。

一例によれば、コンピュータ処理ユニットは、コンピュータ処理ユニットに送信されるデータから不正の状況を検出するように訓練される少なくとも1つのニューラルネットワークを備える少なくとも1つの分類モジュールと通信している。

一例によれば、ユーザ端末は、商品の少なくとも1つの識別子および/または重さを表示するように構成される少なくとも1つの表示デバイスを備える。

一例によれば、システムは少なくとも1つの電池を備える。

この説明では、「3次元空間」という用語は、少なくとも3つの空間次元を備える空間を意味し、この空間の少なくとも一部は、これらの3つの空間次元を考慮するように構成される、好ましくは立体視の光学デバイスによって捕捉され、すなわち、この光学デバイスを介してこの3次元空間の中に存在する1つまたはいくつかの物体の空間位置を決定することが可能である。特に、この光学デバイスは、前記光学デバイスに対する深さを追加で考慮するように構成され、すなわち、この3次元空間に存在する1つまたはいくつかの物体の、前記光学デバイスに対する距離を評価することが可能である。したがって、この3次元空間において、物体は軌跡を描くことがあり、したがって、この物体は、この軌跡の各点において3つの空間座標を備え、それは、光学デバイスが空間の3次元における前記物体の展開を評価することが可能であるからである。これはまた、3次元空間において行われる行為の理解を保ちながら、光学デバイスのはるかにより有利で柔軟な配置を可能にする。2つの空間次元のみを考慮して深さを測定しない従来技術とは異なり、本発明による光学デバイスは、評価されるべき2次元エリアに対して必ずしも垂直に並べられない。

本発明は、たとえば、店舗におけるユーザによる商品の購入の間の不正を検出するための、システムならびに方法に関する。

本発明は、商品の購入の間の不正の検出を巧みに可能にする。実際に、有利なシステムに基づく巧みな方法を介して、本発明は、たとえば限定はされないが、自動精算機またはそうでなければ自動支払カートとも呼ばれる、自動収集システム、および場合によっては自動支払システムの場合に、不正を検出することを可能にする。

まず、本発明のある実施形態による不正検出システムを提示する。次いで、本発明の実施形態による不正検出方法を提示する。

図1から図3は、本発明のある実施形態による不正検出システムを示す。

図1は、そのようなシステム1000を概略的に示す。

有利には、不正検出システム1000は、
a.
i. 商品20の識別子を取得するように構成される識別デバイス1100、
ii. 前記商品20の重さを測定するように構成される測定デバイス1200、
iii. 空間において前記商品20を少なくとも検出して追尾するように構成される光学デバイス1300、
iv. 好ましくは、たとえばジャイロスコープなどの、モーションセンサおよび/または空間変位センサ
を少なくとも備えるユーザ端末10と、
b. 好ましくは不正があるかどうかを決定するために、複数のデータを処理して不正の確率を決定するように構成される、コンピュータ処理ユニット1400と
を少なくとも備える。

一実施形態によれば、ユーザ端末10は、コンピュータ処理ユニット1400の一部またはすべてを備える。

好ましい実施形態によれば、ユーザ端末10は、たとえば図3に示されるようにモバイルカート10である。

別の実施形態によれば、ユーザ端末は端末であり、たとえば支払端末または自動支払機である。

一実施形態によれば、ユーザ端末10は、ユーザが前記商品20を識別した後に、商品20を受けることが意図される入れ物11を備え得る。好ましい実施形態によれば、少なくとも識別デバイス1100、測定デバイス1200、および光学デバイス1300は、たとえば図3において後で説明されるようなカート10などの、同じデバイス、好ましくはモバイルデバイスに搭載される。

一実施形態によれば、識別デバイス1100は、商品20の識別子を決定するように構成される。この決定は、任意の形態であり得る。たとえば、それは、商品20のバーコードを識別デバイス1100に読み取らせるという事実を備え得る。それは、RFIDタイプの無線周波数技術、またはそうでなければ商品20の視覚的な認識、または、商品20の識別子が決定されるように検討されている商品をユーザがシステム1000に示すことを可能にするタッチインターフェースですらあり得る。商品20の視覚的な認識の場合、識別デバイス1100は光学デバイス1300を備えてもよく、および/またはその逆であってもよい。

一実施形態によれば、識別デバイス1100は、たとえばユーザが所有するモバイルデバイスを備え得る。この場合、識別デバイス1100は、このモバイルデバイスの少なくとも1つのカメラを使用して、商品20を識別することができる。たとえば、このモバイルデバイスは、デジタルタブレットまたはスマートフォンであり得る。

好ましくは、ユーザは、バーコードリーダータイプの識別デバイス1100に商品20を提示し、たとえば、識別子は、識別デバイス1100によって取得され、次いでコンピュータ処理ユニット1400に送信される。その後、ユーザは商品20を入れ物11に移す。入れ物11は、有利には測定デバイス1200を備える。

一実施形態によれば、測定デバイス1200は、商品20の重さを測定するように構成される。有利には、測定デバイス1200は、前記商品20が識別されると前記商品20を受けるように構成される入れ物11を吊り下げる力センサを備える。一実施形態によれば、入れ物11は力センサに置かれ得る。別の実施形態によれば、測定デバイス1200は、重さを測定するために商品20が置かれる秤を備える。重さが測定されると、このデータは、測定デバイス1200からコンピュータ処理ユニット1400に送信される。

一実施形態によれば、光学デバイス1300は、所定の2次元シーンの2次元画像を収集するように構成されるいわゆる2次元カメラ1310と、好ましくは、3次元カメラ1320とも呼ばれる立体視カメラとを備える。この立体視カメラ、またはより一般的にはこの3次元センサ1320は、所定の3次元シーンの3次元画像を収集するように構成される。後でさらに、光学デバイス1300を、ならびこの所定の3次元シーンを形成する異なるエリアを、図2を通じて説明する。好ましくは、光学デバイス1300は、前記収集された画像をコンピュータ処理ユニット1400に送信するように構成される。

一実施形態によれば、光学デバイス1300はカメラを備える。

一実施形態によれば、システム1000は、識別デバイス1100、測定デバイス1200、および光学デバイス1300を含む複数のセンサだけではなく、モーションセンサ、たとえば、またはそうでなければ加速度計、またはジャイロスコープ、または不正である可能性のある状況を識別するのに有用な1つまたはいくつかのデータを収集するために使用され得る任意の他のセンサを備え得る。後で提示されるように、本発明は、有利なことに、複数のセンサによって収集されたデータのクロスチェックを利用する。有利には、このデータのクロスチェックは、好ましくは少なくとも1つの訓練されたニューラルネットワークを備える人工知能モジュール1420によって、有利には自動的に行われる。

一実施形態によれば、コンピュータ処理ユニット1400は、識別デバイス1100、測定デバイス1200、光学デバイス1300、および好ましくは任意の他のセンサによって収集される、取得されたデータを処理するように構成される。実際に、好ましくは、コンピュータ処理ユニット1400は、
a. 識別デバイス1100からの前記商品20の少なくとも1つの識別子、
b. 測定デバイス1200からの前記商品20の重さの少なくとも1つの測定結果、
c. 光学デバイス1300によって収集された少なくとも複数の画像
を受信するように構成される。

有利には、コンピュータ処理ユニット1400は、各識別子に対して、前記商品20の所定の重さを備える少なくとも1つの一連のデータと、好ましくは前記商品20の画像またはグラフィカル表現とを備える、少なくとも1つのデータベース1410と通信している。この比較を行うために、コンピュータ処理ユニット1400は、たとえば重さ比較モジュールを備え得る。

一実施形態によれば、商品20の所定の重さは重さ間隔に対応する。実際に、データベースは、重さ間隔を備えてもよく、特定の値を備えなくてもよい。特に、このことは、重さが正確に対応しないような多くの状況を回避する。実際に、すべての商品20が同じ重さであることは難しい。一方、商品20がその中になければならない重さ範囲を定義するのは完全に可能である。たとえば、この重さ範囲は、商品20の重さの上下2%、好ましくは5%、および有利には10%に相当し得る。好ましい例では、この範囲は、好ましくは本発明の動作時間の間に学習により事前記録または取得される、最小値および最大値を有する。

好ましい実施形態によれば、少なくとも商品20のスキャンの前には、データベース1410に記録されている所定の重さは0であり、すなわち、それは0に等しく、または入力されない。この実施形態によれば、システム1000は自己学習し、すなわち、システム1000は、測定された重さをそのデータベース1410に供給する。たとえば、ユーザは商品20をスキャンし、システム1000は商品20を識別し、商品20のデータベース1410にアクセスして、前記スキャンされた商品20の重さをデータベース1410の重さと比較する。データベースが0の重さ値を返す場合、または重さ値がデータベース1410において入力されない場合、システム1000は、自己学習モードに切り替わり、この0の重さまたは入力されない値を測定された重さの値で置き換える。この自己学習段階において、システム1000は、商品20の2次元画像を商品20の識別子および商品20の重さと後で関連付けることができるように、商品20の画像を捕捉する。購入セッションの間に、ユーザが前記商品20を扱う場合、その重さ、その識別子、およびその視覚的な認識が、不正の状況を防ぐために使用される。最初のスキャンの間に、システム1000は論理的に推理するように設計され、すなわち、ユーザが果物および野菜以外の商品20に果物および野菜のラベルを貼ろうとしている場合、重さがデータベース1410に載っていなくても、後で説明される視覚的分析が、不正である可能性のある状況の通知を出すことを可能にすることにも留意されたい。

好ましくは、商品20の重さが所定の閾値より大きい限り、計量の前のデータベースの中の前記商品の所定の重さが0であった場合、この重さが所定の重さとして使用され得る。有利には、この所定の閾値は100グラム未満であり、好ましくは50グラム未満、および有利には25グラム未満である。

好ましくは、コンピュータ処理ユニット1400は、前記データベース1410から前記商品20の少なくとも所定の重さを取得し、この所定の重さを測定デバイス1200により送信された測定された重さと比較するように構成される。

有利なことに、コンピュータ処理ユニット1400は、複数の収集された画像を処理するように構成される。この処理は、商品20の識別および/または空間位置を備え得る。識別の場合、これは、複数の収集された画像からコンピュータ処理ユニット1400により行われる光学的な識別と、商品20の識別子を比較するために使用され得る。

一実施形態によれば、商品20の空間位置は、識別された商品20が実際に計量された商品20であることと、ユーザが同じ重さの別の商品20と識別された商品20を交換していないこととを検証するために使用される。

一実施形態によれば、光学デバイス1300は、2次元画像および3次元画像を捕捉することが可能な単一のカメラだけを備える。

好ましくは、光学デバイス1300は、3次元空間の中の点を捕捉して、それにより、3次元画像の捕捉において深さが考慮されることを可能にするように構成される。

好ましくは、光学デバイス1300は、2次元カラーデータを捕捉するように構成される。

有利には、光学デバイス1300は、空間中の物体、好ましくは、たとえば商品20またはユーザの1つまたは複数の手を追尾するように構成される。この空間は、様々な仮想エリアへと区分される。これらの仮想エリアは、コンピュータ処理ユニット1400によって定義され、収集された画像の分析のために、または行動を引き起こすために使用される。

したがって、図2に示される実施形態によれば、考慮される分析される3次元空間は、
a. たとえばバーコードスキャナの前の、識別デバイスの水準に位置するスキャンエリア1321、
b. たとえば、入れ物11の上に、好ましくはカートの上に、または自動スキャンのために配置エリアの外側に位置する、外部エリア1322
c. 入れ物の内側に、好ましくはいわゆる配置エリアの中に、有利にはカートの中に位置する内部エリア1323、
d. 外部エリア1322と内部エリア1323との間に位置する入口エリア1324
という少なくとも4つのエリアを備える。

これらのエリアの使用、ならびに収集された画像を処理する巧みな処理が、後でより具体的に説明される。

一実施形態によれば、システム1000はまた、少なくとも1つのモバイル不正分析デバイス1700を備える。このデバイス1700は、監督者と呼ばれるユーザにより使用されるように構成され、監督者の役割は、不正である可能性のあるいくつかの状況を監督することである。実際に、巧みな方法で、および後で説明されるように、不正の状況が疑われる場合、不正分析デバイス1700を持った監督者が、不正があるかどうかを評価することを可能にする複数の情報をそのデバイス上で受け取る。この分析ステップは後で説明され、特に、その情報の有利な提示は、非常に高く信頼性のある監督者の応答を可能にする。

一実施形態によれば、処理ユニット1400は、管理ステーション1600と通信していてもよい。この管理ステーション1600は、複数の不正検出システム1000を監督することを可能にする。管理ステーション1600はまた、後でより具体的に説明される。

図3は、好ましい実施形態による不正検出システム1000を示す。この図では、カート10は、把持デバイス(gripping device)13および車輪14により支持されるフレーム15を備え、それによりカート10を可動にする。

有利には、カート10はさらに、識別デバイス1100、光学デバイス1300、測定デバイス1200、および少なくとも1つの入れ物11を備える。

有利には、カート10は、必要であればユーザが通知を受けることを可能にする少なくとも1つの表示デバイス12、および場合によっては、たとえばユーザの仮想バスケットを管理するためのタッチインターフェースサービスを備え得る。

一実施形態によれば、コンピュータ処理ユニット1400は、カート10に埋め込まれていてもよく、および/または、部分的にもしくは完全にずらされていてもよく、カート10に埋め込まれた素子と通信していてもよい。

この図において、カート10は入れ物11を備え、これは好ましくは、少なくとも1つの力センサに吊り下げられているので、商品20の重さを測定するためのデバイス1200として機能する。有利には、識別デバイス1100はバーコードスキャナである。好ましくは、カート10は、好ましくはカラーで2次元画像を、および3次元画像を収集するように適合された光学デバイス1300を備える。

一実施形態によれば、カート10は、たとえば、空間位置、移動、移動方向、存在のセンサ、NFC(近距離通信)センサ、RFIDセンサ(radio frequency identificationを意味する)、LI-FIセンサ(Light Fidelityを意味する)、Bluetoothセンサ、またはそうでなければWI-FI(商標)タイプの無線通信センサなどの、複数のセンサを備え得る。

一実施形態によれば、カート10は、1つまたはいくつかのBluetooth、WI-FI(商標)、またはLora(長距離)タイプ通信モジュールを備える。

好ましい実施形態によれば、カート10は、ユーザによりカート10に対して実行される各々の行為を理解して不正行為を検出することを目的とする人工知能につながれた様々なセンサを備える。たとえば、この知能は、好ましくは訓練された、少なくとも1つのニューラルネットワークを備えるデータ処理モジュールの形態であり得る。このニューラルネットワークは、カート10に埋め込まれていてもよい。好ましくは、カート10は、たとえば前に示された様々な素子に電力供給するために、電源16を備える。

ここで、たとえば、ユーザが商品20を仮想バスケットに追加しようとしているとき、すなわち本発明を装備した店舗においてユーザが後で購入するために商品20を入れ物11に追加するときの、本発明の巧みな動作を簡単に示す。

以下の例では、わかりやすくするために、不正検出システム1000は、少なくとも一部可動であり、上で説明されたようなカート10に少なくとも一部搭載されている。

一実施形態によれば、システム1000は、タッチインターフェース12の形態でカート10自体に置かれ得るか、または、たとえばユーザが自分のスマートフォンに事前にダウンロードしたモバイルアプリケーションの形態で仮想化され得るかのいずれかである、インターフェース12を備える。

ユーザは、購入されるべき商品20を選択した後、それを識別デバイス1100でスキャンする。好ましくは、商品20のバーコードは、デバイス1100の識別器によってスキャンされる。商品20がスキャンされると、ユーザは、入れ物11の上または中に、スキャンされた、すなわち識別された商品20を置くための所定の時間、たとえば10秒を有する。有利には、入れ物11は、商品20の重さが測定デバイス1200によって測定されるように測定デバイス1200と協働するように構成される。

好ましい実施形態によれば、測定デバイス1200はカートに埋め込まれる。したがって、ユーザは、たとえば限定されないが、10秒以内にスキャンされた商品20をカート10に入れなければならない。

別の実施形態によれば、測定デバイス1200は、ユーザが商品20をスキャンした後で商品20を測定デバイス1200の上または中に置き、それにより、商品20を入れ物11に置く前に商品の重さがそこで測定されるように、カート10の外部にあってもよい。

商品20が置かれると、測定デバイス1200は商品20の重さを決定する。

一実施形態によれば、計量の前に、識別子がコンピュータ処理ユニット1400に送信される。別の実施形態によれば、識別子は、計量の後に、好ましくは重さが測定されたのと同時に、コンピュータ処理ユニット1400に送信される。

計量の後、システム1000およびユーザがユーザの購入を追跡することを可能にする仮想バスケットに商品20が追加される。

一実施形態によれば、一度に1回だけの行為が可能であり、すなわち、以前にスキャンされた商品20が置かれない限り、および商品の重さが評価されない限り、別の商品20をスキャンすることができず、または識別することができない。

有利には、本発明は、ユーザがスキャンを取り消して場合によっては別の商品20をスキャンすることを可能にする。この場合、ユーザは、制御インターフェース12を介して前のスキャンを取り消すか、または、事前に示された所定の時間、たとえば10秒待つかのいずれかである。

本発明は、ユーザが商品20をカート10から取り出すことを望む状況も考慮する。この場合、ユーザは、制御インターフェース12を使用して、カート10から商品20を取り出すのを望んでいることを制御インターフェース12に示す。その後、ユーザは、望み通りの数の商品20を取り出すことができるが、好ましくはそれらを1つずつスキャンしなければならず、有利には、入れ物11の重さが変化したことをシステム1000が検出するために、各々のスキャンとスキャンの間、各々の時間待機する。

商品20がスキャンステップなしで置かれ、または取り出される場合、重さの変化はシステム1000によって、好ましくは測定デバイス1200によって検出され、好ましくは表示デバイス12とも呼ばれる制御インターフェース12を介して、ユーザに示される。同じことが、商品20をスキャンした後に取得される商品20の識別子と、評価された重さが矛盾する場合に当てはまる。同じことが、取り出されたと考えられているスキャンされた商品20の識別子と、取り出された商品20の重さが一致しない場合にも当てはまる。

したがって、本発明は、商品20の購入を安全にし、したがって、精算の流れをより良くすることを可能にしながら不正を大きく減らすように特別に設計され、それは、支払が、本発明によって直接、たとえばカート10を介して直接、好ましくは制御インターフェース12および優先支払インターフェース12として使用され得る表示デバイスを通じて、確実にされるからである。

ここで、本発明による不正検出方法を説明する。

一実施形態によれば、不正検出方法は少なくとも以下のステップを備える。
a. 複数のデータを捕捉するステップ。これらのデータは、少なくとも事前に示されている。この捕捉ステップは、有利にはユーザ端末10によって行われる。この捕捉ステップは少なくとも以下のステップを備える。
i. 識別デバイス1100による商品20の識別子の取得。このステップは、たとえば識別デバイス1100によって商品20をスキャンすることによって行われる。ユーザは、たとえばカート10にユーザが置くことを望むあらゆる商品20をスキャンすることを求められる。
ii. 3次元空間における商品20の少なくとも1つの軌跡の光学デバイス1300による決定。商品20は、ユーザによって前記3次元空間において手動で動かされ、この軌跡は、好ましくはユーザが商品20について手動で描くものであり、前記3次元空間は少なくとも以下を備える。
1. 商品20の識別子を取得するために商品20の少なくとも1つの部分がユーザによって置かれる3次元空間の体積に対応する識別エリア1321。
2. ユーザ端末10と好ましくは関連付けられる少なくとも1つの入れ物11にユーザが商品20を置くときに商品20が通過する3次元空間の体積に対応する入口エリア1324。
3. 好ましくは、入れ物11の入口に対応する内部エリア1323。
4. 好ましくは、外部エリア1322。入口エリア1324は、外部エリア1322を内部エリア1323から分離する。外部エリア1322は有利には、入口エリア1324を囲む3次元空間に対応し、それ自体が内部エリア1323を囲む。
軌跡の決定は、あるエリアから別のエリアまで商品20を追跡し、軌跡全体、またはあるエリアから別のエリアまでの通過のシーケンスのみのいずれかを記録することからなる。
好ましくは、光学デバイス1300の視野内にあるあらゆる物体が3次元空間において追跡される。
後で論じられるように、物体の軌跡が所定の閾値を超えて商品20の軌跡に近づく場合、言い換えると、物体が所定の閾値を超えて商品20に近づくと、これは不正の状況に相当する可能性があるので、システム1000は、後のデータ分析の間に示すように設計される。
iii. 好ましくは、光学デバイス1300は、前記商品20の、および/または前記商品20を持つユーザの少なくとも1つの手の複数の画像を収集する。この画像の収集は、測定デバイス1200が商品20の重さを測定できるように商品20が置かれるまで続く。商品20がスキャンされると、ユーザには、入れ物11に商品20を置き、したがってそれを計量するための所定の時間がある。その上、商品20をスキャンすることは、複数の2次元画像、および好ましくは3次元画像の捕捉を引き起こす。複数の画像を収集するこのステップは、スキャンエリア1321から内部エリア1323の中の置き場所まで商品20を視覚的に追跡することが意図されている。これは、とりわけ、たとえば入れ物11に置かれる前に、スキャンされた商品20が別の商品と交換されていないことを検証するのを可能にする。
iv. 識別デバイス1100からコンピュータ処理ユニット1400への商品20の識別子の送信。
v. 光学デバイス1300からコンピュータ処理ユニット1400への複数の収集された画像の送信。
vi. 好ましくは、測定デバイス1200による商品20の重さの測定。有利には、商品がユーザにより入れ物11に置かれた後の測定。
vii. 好ましくは、前記測定デバイス1200からコンピュータ処理ユニット1400への、前記測定デバイス1200からの前記商品20の測定された重さの送信。
b. 少なくとも以下のステップを備える、コンピュータ処理ユニット1400によって行われる、複数のデータの、好ましくは商品20の識別子の、商品20の測定された重さの、および収集された画像の処理ステップ。
i. 好ましくは、前記識別子からの商品20のデータベース1410における識別。
ii. 好ましくは、データベース1410からの商品20の所定の重さの取得。一実施形態によれば、商品20の最初のスキャンの間にデータベースに含まれる商品20の所定の重さは、0に等しく、または入力されていなくてもよい。
iii. 好ましくは、重さの異常を識別するための所定の重さと測定された重さの比較。好ましくは、重さの異常は、測定された重さがデータベース1410において発見される所定の重さと異なることに相当し、例外は、所定の重さが0に等しい、または入力されていないという状況である。そうでなければ、重さの差が所定の閾値を超えると、重さの異常が考慮される。この重さの異常は、ユーザがスキャンされた商品20を重さの異なる別の商品と交換するとき、または、たとえば実際に置かれた商品とは重さの異なる商品をスキャンするためにユーザがバーコードを改変するときに発生し得る。所定の重さが0に等しい、または入力されない場合、本発明は、この値を測定された重さの値で置き換えるように構成され、この測定された重さの値は次いで、少なくともユーザの購入セッションの残りの間、所定の重さの値になる。
iv. 3次元空間における商品20の少なくとも軌跡からの、前記商品20の少なくとも1つの挙動の生成。このステップは、3次元空間だけではなくセンサ空間においても展開する商品20の挙動を再現するために、様々なセンサからの様々な測定結果を集約することからなる。一連の測定結果が、複数の標準挙動モデルの中の少なくとも1つのモデルと矛盾する場合、不正の疑いがあり、取り扱いの異常が検出される。好ましくは、挙動は、2%、好ましくは5%、および有利には10%より大きいこのモデルからの逸脱を示す時点から、標準挙動モデルと矛盾する。有利には、挙動は、モデルのいくつかの重要イベントが生成された挙動に存在しない時点から、標準挙動モデルと矛盾し、そのような重要イベントは、たとえば、商品20が識別されていない、商品20が置かれていない、商品20が入口エリア1324を横切っていない、などの事実であり得る。好ましくは、挙動は、いくつかの疑わしいイベントが生成された挙動において存在する時点から、標準挙動モデルと矛盾し、そのような疑わしいイベントは、たとえば、光学デバイスが一時的に遮られている、またはそうでなければある物体が商品20に接近した、などの事実であり得る。
v. 複数の所定の挙動モデルとの前記商品の挙動との比較。前記生成された挙動は、3次元空間における前記商品の軌跡を少なくとも備え、挙動が所定の挙動の各モデルと異なる場合、取り扱いの異常が識別される。有利には、システムは、各状況から学習し、したがって、標準挙動モデルを追加および/または修正するように構成される。
vi. 好ましくは、取り扱いの異常を識別するための複数の収集された画像の分析。取り扱いの異常は、たとえば、商品をスキャンし、同じ重さの別の商品を置くこと、またはそうでなければ、重さが正しくても商品に対応しないラベルで前記商品をスキャンすることからなる。このタイプの状況に対しては、視覚的な、好ましくは自動化された分析が必要であり、この分析が本発明により提供される。有利には、コンピュータ処理ユニット1400は、有利には取り扱いの異常を決定するために訓練される、少なくとも1つのニューラルネットワークを備える人工知能モジュール1420を備える。特定の有利な方式では、複数の収集された画像の分析は、3次元シーンの分析からなり、特に、異なるエリアへと分割される3次元空間における商品20と関連付けられる複数の点の移動の分析からなる。これらのエリアは後で説明される。複数の画像のこの分析の原理は、後で説明される、不正ではないと見なされる複数のモデルの中から選択される所定のモデルに、空間における商品20の動きが対応するかどうかを決定することである。これらの異なるエリアを通る商品20の動きが不正ではないモデルに対応しない場合、不正の状況の可能性がある。好ましくは、この区分された仮想空間における商品20の動きを考慮することに加えて、本発明はまた、商品20とあらゆる他の外来の要素との相互作用を考慮する。有利には、点の群、すなわち手または別の物体が、商品20に対応する点の群に近づいてそれらと相互作用する場合、不正の疑いが高まる。好ましくは、外来の要素が空いているものとして識別される手である場合、不正の疑いは下がり得る。
c. 不正の確率を評価するステップ。この確率は、
i. 取り扱いの異常が識別される場合、および/または
ii. 好ましくは、重さの異常が識別される場合、
0ではない。

不正の確率は、たとえば1または0などの二進値のデータに対応してもよく、1は不正が確実であるという事実に対応し、0は不正がないという事実に対応することに留意されたい。別の実施形態によれば、不正の確率は、不正の百分率に対応してもよく、たとえば、不正がないことは0%と等価であり、不正が確実であることは100%と等価である。

したがって、不正の確率は、0と100の間の数値、および/または0または1に等しい二進値であり得る。

この不正評価ステップは、特に重さおよび/または取り扱いの異常が検出される場合に、不正の確率を評価するために複数のデータをクロスチェックすることからなる。有利には、データのこのクロスチェックは、訓練されたニューラルネットワークを好ましくは備える人工知能モジュール1420によって、好ましくは自動的に行われる。

いくつかの状況は簡単に不正として識別できるが、それでも、他の状況は、低コストの完全に自動化された処理には複雑すぎることがある。また、高度に自動化されているがコストが非常に高い分析システムのコストを減らすために、本発明は、分析の一部が自動的に行われ、別の部分が必要であれば監督者の介入を介して行われるような、複合的な解決策を提案する。

したがって、本発明は巧みに、前に示されたように、少なくとも1人の監督者により使用されることが意図される少なくとも1つのモバイル分析デバイス1700を備え得る。

一実施形態によれば、モバイル分析デバイス1700は、後で説明されるコンピュータ処理ユニット1400および/または管理ステーション1600から、複数のデータを受信するように構成される。

モバイル分析デバイス1700は巧みに、たとえば10秒未満の、好ましくは5秒未満の、および有利には2秒未満の、監督者による迅速な意思決定を可能にする形式で、これらのデータの少なくとも一部を表示するように構成される。

したがって、目的は、好ましくは遠隔制御のために、監督者に最も定量的な情報を送信することである。

この目的で、コンピュータ処理ユニット1400は、複数の収集された画像から画像の選択物を選択し、この選択物をモバイル分析デバイス1700に送信する。この選択は有利には、特定の時点、たとえばスキャンの時点、計量の時点、商品20の動きの時点、エリアへの出入りの時点などを考慮することによって行われる。

一実施形態によれば、コンピュータ処理ユニット1400は、好ましくは時間圧縮されたビデオを作り、それをモバイル分析デバイス1700にも送信する。時間圧縮されたビデオは、1秒当たりの画像の数が24より大きいビデオ、たとえば場合によっては、最初から最後までの再生時間が示される行為の長さより短いビデオとして理解されるべきであり、タイムラプスビデオおよび場合によっては加速されたビデオにも触れる。有利には、このビデオはまた、好ましくはその時間枠にわたって、前に言及された特定の時点の通知を、たとえばマーカーの形式で備える。これは、監督者が望めばそこに位置する特定のイベントに関するビデオの特定の部分を選択することを可能にする。これは、イベントを選択し、このイベントに関するビデオの部分および好ましくは他のデータにアクセスすることを、より簡単に、直観的に、かつ迅速にする。

最後に、コンピュータ処理ユニット1400は、スキャンされた商品20に関する情報、ならびに/または検出された1つまたは複数の異常を説明するテキスト、ならびに場合によっては、疑われるおよび/もしくは検出される不正のタイプに関する情報を、モバイル分析デバイス1700に送信する。

好ましくは、コンピュータ処理ユニット1400は、モバイル分析デバイス1700に直接、またはコンピュータサーバ1600を介してのいずれかで、このデータを送信する。このコンピュータサーバ1600は、有利には、たとえば、様々な優先パラメータに従って送信されるべきデータを優先順位付けるために、および/または、たとえばそれらを分類するために、データを適合させるように構成される。

一実施形態によれば、このコンピュータサーバは、管理ステーション1600の不可欠な部分である。

一実施形態によれば、不正が疑われるとき、コンピュータ処理ユニット1400は、たとえばコンピュータサーバを介して前記データを少なくとも1つの管理ステーション1600に送信し、たとえば、上位監督者と呼ばれる従業員が次いで、不正があるかどうかを分析することを担う。

不正がない場合、ユーザの行為の検証する検証コマンドがコンピュータ処理ユニット1400に送信される。不正の可能性または疑いが残っている場合、上位監督者は、監督者の分析デバイス1700に検討されるデータを送信する。この監督者は有利には移動することができ、したがって、その行為が不正であるように見えるユーザに近づくことができる。したがって、監督者は、一方では前記データを分析することによって、他方では不正である可能性があることが行われている場所に移動することによって、状況に対処することが意図される。

一実施形態によれば、モバイル分析デバイス1700は、たとえば、タブレット、コンピュータ、スマートフォン、および場合によっては、データの表示を可能にし、有利には触知性インターフェースを好ましくは備えるあらゆる媒体を備え得る。

有利な実施形態によれば、モバイル分析デバイス1700に提示されるデータは、簡単に理解され分析されるようにフォーマットされる。特に有利な方式では、本発明は、状況が不正の状況であるかどうかを非常に迅速に、好ましくは10秒未満で監督者が判断することを可能にする、データの明確で、簡単で、直観的な提示を提案する。

したがって、たとえば、不正の確率が所定の閾値を超えるとき、コンピュータ処理ユニット1400は、不正である可能性のある状況を管理ステーション1600に位置する上位監督者が抽出できるようになるための必要なデータを送信する。上位監督者の分析により、不正がない場合、ユーザが購入または支払を続けることができるように、上位監督者は検証コマンドをユーザに送信する。

上位監督者の分析により、不正の可能性がある場合、上位監督者は、監督者、好ましくはたとえばユーザの最も近くにいる監督者のモバイル分析デバイス1700にデータを転送する。

したがって、たとえば、すべての「疑わしい」行為、すなわち不正である可能性のある行為の概要が、上位監督者の管理ステーション1600および/または監督者、たとえば店舗の出口に位置する監督者のモバイル分析デバイス1700に提示されるので、たとえば、監督者は支払段階の間にユーザと対話することができる。

有利には、行為がコンピュータ処理ユニット1400により不正の可能性があるものとして解釈されるとき、この状況の遠隔制御に必要なすべてのデータが、管理ステーション1600に、すなわち監督者に送信される。この人物は、ガードマンであってもよく、レジ係であってもよく、または、たとえば労働力がより安価である別の国では完全に分散していてもよい。

前に示されたように、上位監督者は、グラフィカルインターフェース上に、行為を制御するために必要なすべての情報を有する。有利には、このグラフィカルインターフェースは、関係する商品20の画像と名称、検出された不正のタイプの短い説明、たとえばサムネイルの形式のコミックストリップなどの行為の一連の画像、および好ましくは加速されたビデオを表示するように構成される。目的は、行為が不正であるかどうかを非常に短い時間で、一般に10秒未満で、好ましくは5秒未満で、および有利には2秒未満で、監督者および/または上位監督者が決定できることである。

インターフェースおよび/またはデータの適合は、非常に巧みに、監督者および上位監督者の仕事を簡単にするように構成される。

本発明は、非常に巧みに、少なくとも1つのニューラルネットワークを備える人工知能の使用に好ましくは基づいて、コンピュータ処理ユニット1400によって表される第1の自動化されたフィルタをまず使用して、不正である可能性のある状況を他の状況から抽出し、次いで第2のフィルタが適用される。一実施形態によれば、この第2のフィルタは、モバイル分析デバイス1700を使用する移動できる監督者を備える。別の実施形態によれば、この第2のフィルタは、管理ステーション1600における上位監督者を備えるので、モバイル分析デバイス1700を使用する移動できる監督者は第3のフィルタになる。これらの異なるフィルタの組合せにより、各フィルタの仕事はますます簡単で高速になる。

非常に有利なことに、本発明は、3次元シーンの分析に基づいて不正の可能性を分析することに留意されたい。特に、複数の画像とも呼ばれる3次元シーンは、立体視カメラ1320によって収集される。これらの好ましくは動的な3Dシーンは、1つまたはいくつかの複数の移動する点を備える。第1の複数の点は商品20に対応し、これは次いで空間において追跡される。第2の複数の点は、ユーザの手または別の商品に対応し得る。第1の点の群と相互作用する、すなわち第1の点の群から所定の閾値未満の距離に近づくあらゆる複数の点が、潜在的な不正の源であると考えられる。

特に有利な方式では、後で指定されるように、様々なエリアの中での第1の複数の点の移動が記録され、複数の非不正移動モデルと比較される。一連の行為が、非不正モデルのうちのある所定のモデルに属する一連の行為に対応しない場合、不正の確率は高まる。

ここで、挙動を分類するために本発明により使用され得る複数の標準挙動モデルを説明する。

商品20の追加に対応する標準挙動モデル:
a. 商品20の識別
b. スキャンエリア1321の中の、以後「球」と呼ばれる、検証された商品の幾何学的形状の定義
c. データベース1410に含まれる商品20の少なくとも1つの2次元画像の、商品20の識別の間に行われる商品20の少なくとも1つの2次元画像との、検証された比較
d. 検証された商品20がスキャンエリア1321を出る
e. 検証された商品20が外部エリア1322の横を通過する、またはしない
f. 検証された商品20が入口エリア1324に入る
g. 商品20の識別の間に行われる商品20の2次元画像の、入口エリア1324を通過する間の検証された商品20の2次元画像との、検証された比較
h. 検証された商品20が内部エリア1323に入る
i. 入れ物11の重さの、結果として生じる増大の測定。すなわち、識別された商品20の所定の重さの分だけ増大する、最初の重さの測定であり、重さのこの増大は2次元識別の前または後に起こることがあり、空いている手が入口エリア1324を通って内部エリア1323から出る。

空いている手の識別に対応する標準挙動モデル:
a. 空いている手が外部エリア1322に入る
b. 空いている手が入口エリア1324に入る
c. 空いている手が内部エリア1323の中にある
d. 重さの変化があるかないか、この重さの変化は以下の2つのイベントの前または後に起こり得る
e. 空いている手が入口エリア1324に入る
f. 空いている手が外部エリア1322に入る

すでに検証されており入れ物の中にある商品20をユーザが取ること、たとえばそれを見ることに対応する標準挙動モデル
a. 空いている手が外部エリア1322に入る
b. 空いている手が入口エリア1324に入る
c. 空いている手が内部エリア1323の中にある
d. 重さの減少、この重さの減少はこの時点で、または以下の5つのイベントの間に起こる可能性がある
e. ふさがっている手が入口エリア1324に入り、光学デバイス1300により追尾される物体になる
f. 追跡された物体が外部エリア1322に入る
g. 追跡された物体が入口エリア1324に入る
h. 入口エリア1324を最初に通過する間の追跡された物体の2次元画像と、入口エリア1324を2回目に通過する間の追跡された物体の2次元画像との、検証された2次元の比較
i. 追跡された物体が内部エリア1323に入る
j. 重さがそれに従って増大し、すなわち、最初の重さに戻り、重さのこの増大はこの時点とモデルの最後との間に起こる可能性がある
k. 空いている手が入口エリア1324に入る
l. 空いている手が外部エリア1322に入る

ユーザが商品20を置いてそれを識別するのを忘れることに対応する標準挙動モデル
a. ふさがっている手が入口エリア1324に入り、追跡される物体になる
b. 測定される重さが増大し、この重さの増大は、この時点において、または以下の3つのイベントの間に起こる可能性がある
c. 空いている手が入口エリア1324に入る
d. 空いている手が外部エリア1322に入る
e. 空いている手が入口エリア1324に入る
f. 空いている手が内部エリア1323に入る
g. 重さが減少し、結果として、すなわちモデルの最初の重さに戻り、この重さの減少は、この時点とモデルの最後との間に起こる可能性がある
h. 追跡される物体が入口エリア1324に入る
i. 入口エリアを最初に通過する間に追跡される物体の2次元画像と、入口エリア1324を2回目に通過する間に追跡される物体の2次元画像との、検証された2次元の比較
j. 追跡された物体が外部エリア1322に入る

商品20の取り出しに対応する標準挙動モデル
a. 空いている手が外部エリア1322に入る
b. 空いている手が入口エリア1324に入る
c. 空いている手が内部エリア1323に入る
d. 重さが減少し、この重さの減少は、この時点とモデルの最後との間に起こる可能性がある
e. ふさがっている手が入口エリア1324に入り、追跡される物体になる
f. 追跡される物体が外部エリア1322に入る
g. 追跡された物体がスキャンエリア1321に入る
h. ユーザにより取り出されることになる商品20であるものとして選択される、仮想バスケットの商品20の識別
i. その識別の間の商品20の画像と、入口エリア1324を通過する間に追跡される物体の画像との、検証された2次元の比較

最後に、モデルのステップの間に、商品20の外部の、および好ましくは空いている手の外部の要素が、検証された商品20もしくは追跡される物体と接触する時点、または外部エリア1323に入る時点から、不正が疑われ得ることに留意されたい。

同様に、一連のイベントの間に、商品20または追跡された物体が光学デバイス1300の視野から出る場合、不正が疑われ得る。

本発明は、有利には、これらの標準挙動モデルを利用する。実際に、一連のイベントを不正であるものとして分類しようとする代わりに、不正ではないものとして見なされる一連のモデルと一連のイベントを比較するのが、より簡単であり速い。評価される挙動と標準挙動モデルとの間に所定の閾値を超える差があるときは常に、不正が疑われる。その差がある場合、それは、1人または何人かの上位監督者または監督者が介入すべきことである。

図4は、本発明のある実施形態による、管理ステーション1600および/またはモバイル分析デバイス1700のインターフェースを示す。このインターフェースは、有利には触知性である。このインターフェースはスマートグラフィカルインターフェースを備える。

このグラフィカルインターフェースは、商品20のグラフィカル表現21、ならびに任意選択で、好ましくは短く簡潔な説明22を備える。このグラフィカルインターフェースは、可能性のある不正23のタイプの簡単で総合的な説明を備える。このグラフィカルインターフェースは、たとえば推定される不正のタイプを考慮するユーザの特定の関連する行為を表し得る、サムネイル24の形態の複数の画像を備え得る。前に説明されたように、このグラフィカルインターフェースは、好ましくは、有利には時間圧縮されたビデオを備える。

有利には、グラフィカルインターフェースは、少なくとも第1のアクチュエータ26および少なくとも第2のアクチュエータ27を備える。第1のアクチュエータ26は、たとえば、不正がないことを監督者または上位監督者が示すのを可能にするように構成され得る。第2のアクチュエータ27は、たとえば、不正の状況があることを監督者または上位監督者が検証するのを可能にするように構成され得る。一実施形態によれば、管理ステーション1600のグラフィカルインターフェースは、移動できる監督者が現場に行って不正の状況があるかどうかを検証できるように、モバイル分析デバイス1700を通じてデータの分析を移動できる監督者に送信するように構成される、図に示されていない第3のアクチュエータを備え得る。

有利には、ユーザに、コンピュータ処理ユニット1400により不正の可能性があるものとして報告される行為、ならびに/または監督者および/もしくは上位監督者により不正であるものとして報告される行為がない場合、ユーザは割込みなしで支払うことができ、目的は、不正をしないユーザが購入セッションの間に絶対に妨害されないようにすることである。

有利には、不正が監督者および/または上位監督者によって報告される場合、
a. ユーザは通知を受け、監督者の到着を待ち、および/または
b. 監督者が到達するまで支払段階が中断される。

あらゆる状況において、疑いまたは確認された不正がある場合、監督者は、ユーザに向かって動き、不正の可能性が関係する商品を確認することを担う。このようにして、監督者の確認は迅速であり、いくつかの他の商品のうちの1つまたはいくつかの商品に直接向けられる。

最後に、ユーザが支払段階を開始すると、好ましくは遠隔に位置する監督者および/または上位監督者によって、不正であるもしくは不正である可能性があるものとして報告される行為がない場合、支払は正当性が確認される。

巧みな提示に加えて、前に言及されたように、一実施形態によれば、本発明はまた、データおよび処理されるべき不正である可能性のある状況を階層化するための巧みな方法を提案する。

ここで、監督者および上位監督者への情報の提示を考慮した優先順位の非限定的な例を列挙する。
a. 支払モードにおけるユーザの行為が絶対に優先的に示されるべきであり、すなわち、支払段階においてユーザが関与する不正である可能性のある状況が優先される。
b. ユーザの購入セッションが長く続くほど、その行為がより優先され、それは、購入を終える確率が高まるからである。
c. 行為の不正の確率が低いほど、その行為はより優先され、それは、不正を行わないユーザは支払を待ったり、または遅らされる必要がないからである。
d. 同様に、疑わしい行為がほとんどないユーザは、最初に確認される。

したがって、本発明は、不正の確率を評価するためにいくつかのデータを巧みに交差させ、そして、ユーザ体験を円滑にして監督者および/または上位監督者の応答性を高めることを可能にするように、このデータが巧みに適合され、各状況の優先順位が付けられる。

ここで、本発明が実装するデータの分析の点を指定する。実際に、複数の収集された画像が分析されることを以前に示している。

したがって、好ましい実施形態によれば、複数のデータの処理は、複数の収集された画像の処理を備え、それらの画像は、好ましくはカラーの2次元画像、および3次元画像を備え得る。この処理は有利には、前に説明されたカート10などの可動の要素に好ましくは埋め込まれるコンピュータ処理ユニット1400によって行われる。

一実施形態によれば、カート10、少なくともコンピュータ処理ユニット1400は、いくつかのセンサ、いわゆる2次元カメラ1310、有利には広角のもの、いわゆる立体視3Dカメラ1320、ジャイロスコープ、測定デバイス1200、識別デバイス1100などにより取得されるシーンを分析すべきである。

これらのシーンの分析は一般に、多くのシステムリソース、したがって計算能力、およびしたがってエネルギーを必要とする。それでも、本発明によるシステム1000は、少量のエネルギー、少ないシステムリソースを用いて、迅速にこのタイプの処理を行うように巧みに設計される。

実際に、一実施形態によれば、この処理は、電力消費だけではなくカート10により使用されるシステムリソースも減らすために、コンピュータサーバに移されてもよい。

別の実施形態によれば、特にカート10がコンピュータサーバに接続されないとき、処理は、カート10において利用可能なシステムリソースおよびエネルギーを用いて直接行われるべきである。

本発明は、防犯対策のコストとエネルギーを制限するように設計される。この目的で、シーンの分析は時間に関して必ずしも優先されず、すなわち、この分析はリアルタイムで行われる必要はない。これが、とりわけ、本発明が巧みな解決策を提供する理由である。

一実施形態によれば、本発明の方法は、ビデオ上のシーンを帰納的に分析するために、すべてのセンサによりシーンを記録するステップを備える。

好ましくは、いくつかの条件のもとでは、事前に定義された空間のエリアに、たとえば入口エリア1324およびスキャンエリア1321に、ならびに場合によっては外部エリア1322に物体があるとき、2次元および3次元のビデオ記録が開始し、すなわち2次元および3次元の画像収集が開始する。

一実施形態によれば、他のセンサによって測定または収集されるデータは、各イベントの正確な時点において記録される。

有利には、各イベントは、たとえばビデオの中のメタデータを介して時間的に挿入される。したがって、たとえば、1つ1つのスキャンおよび1つ1つの生じる重さの変化が記録され、ビデオにおいて注記される。

有利には、本発明は、2D画像、3D画像、識別、重さの変動、およびより一般的にはセンサのうちの1つによるあらゆる測定結果から選択され得るイベントを備える時間枠を生成するように構成される。したがって、この時間枠は、発生したイベントを時間順に表現することを可能にする。

したがって、この充実した時間枠は、潜在的な不正の状況の分析において時間を節約する。

有利には、このビデオの記録は、所与の空間における点の捕捉によって定義される。

一実施形態によれば、記録が開始すると、記録、すなわち、時間圧縮されたビデオとしても知られているビデオ記録を引き起こしたイベントが、その記録を引き起こした行為とともに開始する前の、シーンに関する情報を入手するために、前のX秒を考慮する。この目的で、前に提示されたように、システムは、所定の時間、たとえば5秒間永続的に記録を行い、システムはその記録を徐々に削除する。したがって、システムは、たとえば5秒のデータを記録し、帰納的な分析のための記録の開始を伴うイベントが検出されない限り、5秒後にそれを削除し、このイベントの前に記録される画像が次いで、時間圧縮されたビデオの生成において考慮される。

一実施形態によれば、この記録の開始は、システムのすべてのセンサの中から選択された少なくとも1つのセンサの状態の変化に従う。システムのセンサは少なくとも、識別デバイス1100、測定デバイス1200、光学デバイス1300、モーションセンサ、ジャイロスコープ、空間測位センサ、加速度計などから選択されることに留意されたい。

有利には、センサは仮想センサであってもよく、すなわち、ある空間エリアから別の空間エリアへの点の群の通過などの仮想イベントであってもよい。たとえば、商品20が入口エリア1324を横切るとき、この横切りは状態の変化として見なされてもよく、したがって、3Dシーンの分析が仮想センサとして役立つ。

したがって、イベントが、システムのセンサのうちの1つによって検出され、捕捉され、場合によっては測定されると、前記記録が、好ましくは様々なセンサからの複数の画像とデータの収集を介して行われる。各センサの測定結果の好ましくはすべてが記録されることに留意されたい。

たとえば、スキャンが進行中であり、入れ物の重さの増大が結果として予想されるとき、またはスキャンが取り消されるとき、または重さが変化してシステムが安定状態に戻るのを待っているとき、これらはデータ記録の開始につながるイベントの例である。

一実施形態によれば、第1の記録は、前に列挙された条件が存在するときに行われてもよく、そうすると、ユーザの行為が、たとえば所定の期間後に存在しない場合、第1の記録は停止する。そして、ユーザが新しい行為を実行するとすぐに第2の記録が開始する。それでも、最後の分析は、この分析が1つまたはいくつかの時間ギャップを、すなわち行為がなかったので記録されなかった1つまたはいくつかの期間を備える時間枠で行われる場合であっても、第1の記録および第2の記録の分析を備える。

たとえば、ユーザがそれをスキャンすることなく商品20を置くとき、記録が開始するが、ユーザがたとえば10秒後に立ち去り何も行動を起こさない場合、記録は停止し、ある行為が検出されるとすぐに新しい記録が開始する。しかしながら、分析はカート10が再び安定するときにのみ行われるので、2つの記録を検討する間に分析が行われるが、データ記録にはギャップがある。

したがって、有利には、分析はいくつかの記録をカバーし得る。

そして好ましくは、同じ記録がいくつかの異なる分析のために使用され得る。

記録の開始は、たとえばカート10による入口エリア1324の横断の3次元の捕捉によっても行われ得る。

安定状態は、センサのすべてが所定の閾値より大きい測定結果のばらつきを検出しないときとして定義され、この閾値は各センサに依存し得る。したがって、不安定な状況は、センサのうちの少なくとも1つによる測定結果のばらつきが、好ましくは前記センサに固有の前記所定の閾値より大きいことを検出することに対応するものとして定義される。商品のスキャンは、本発明により不安定状態として見なされることに留意されたい。

不安定状態への切り替わりがあった時点から、ビデオ記録のすべて、ならびにこの不安定状態の時間圧縮されたビデオに含まれるセンサの取得が、帰納的に分析される。実際に、不安定状態が検出されると、システムリソースは主にデータ収集に使われる。この不安定状態が終わると、収集されたデータが処理され、すなわち、異なるセンサの取得を備える時間圧縮されたビデオが、コンピュータ処理ユニット1400によって分析される。これは、データ収集とその分析との間に限られたシステムリソースを賢く割り振ることを可能にする。これは、製造コストおよびエネルギー消費を低く保つことを可能にする。

ここで、本発明によって提案される光学的な分析の実施の例を説明する。

特に巧みな方法で、上で言及されたように、商品20の、および/またはユーザの片手もしくは両手の追跡が、前記商品20のスキャンの後に引き起こされる。同様に、商品20の追跡は、測定デバイス1200による重さの変化の検出のもとでユーザが入れ物11から商品を取り出すと引き起こされ得る。

好ましくは、商品20のスキャンの後、物体とも呼ばれる商品20の3次元形状が、好ましくは2つの部分において再構築され、この3次元形状は「検証された形状」と呼ばれる。この検証された形状の第1の部分は、商品と手を表す「球」と呼ばれる形状の端である。この形状の第2の部分は、ユーザの腕および場合によってはその体の一部である。

商品20を買う人物の例を使用して、この光学的な分析の動作を説明する。この光学的な分析は、取り扱いの異常とこれまで呼んできたことの識別を可能にする。

スキャンが実行されると、スキャンエリア1321に存在する形状は、検証された形状になり、球はその端である。球は、スキャンエリア1321から外部エリア1322に動き、入口エリア1324を通過して、内部エリア1323へと消えるはずである。その後、商品は入れ物11に置かれるはずであるので、重さの変化が測定されるはずであり、最後に、球が入口エリアから出てくる。球はまた、スキャンエリア1321から入口エリア1324に直接移動し得る。

その後、入れ物11に商品20を置いた後に入れ物から出てくる球が実際に空いている手に相当することを検証するために、ニューラルネットワークを通じた2Dカメラ1310の画像の2次元分析が行われる。入口エリア1324を通って外部エリア1322に向かう空いている手を分析が検出する場合、不正はない。商品20の識別子と矛盾しない重さの増大を測定した後に、分析が空いている手を検出する場合、同じ状況が当てはまるので、不正はない。

一方、2Dカメラ1310からの画像の2次元分析の際に、出ていく球がニューラルネットワークにより「ふさがっている手」として検出される場合、これは、手がふさがった状態で出てくることを意味するので、不正の可能性がある。

たとえば、別の未知の形状が検証された形状に近づきすぎる(たとえば商品を交換するために)場合、またはある形状がカメラを遮る場合、または未知の形状が入口エリア1324に入る場合などの、いくつかの行為が、商品20を追加するためのスキャンの後で不正があったことを示唆し得ることを、ここで思い出そう。

有利には、2次元分析の間に、未知の形状が空いている手として識別される場合、不正の確率はわずかであり、場合によっては0であり得る。

巧みにも、測定デバイス1200が、置く行為すなわち入れ物11の重さの増大を検出しながら、検証された形状がまだ外部エリア1322の中にある場合、取り扱いの異常の検出を介して高い不正の確率を推測することができる。

取り出しの場合も、不正なしのシナリオは同じであるが、方向が逆であり、すなわち、空いているものとして識別された手が、入れ物11の重さからその重さが差し引かれる商品20を取り戻し、この商品20は次いでスキャンされ、所定の重さと測定された重さの減少との対応付けが、たとえば不正がないことを確証する。逆に、後続のスキャンなしで重さが取り除かれる場合、またはスキャンされた商品20の重さが取り除かれた重さに相当しない場合、不正の確率が高まる。

スキャンされていない商品20が入れ物11に置かれる場合、システム1000は、2次元分析を介してふさがっている手を検出し、この手は入口エリア1324を、場合によっては内部エリア1323を横切り、測定デバイス1200は、入れ物11およびその内容物の重さの増大を検出する。したがって、この重さの増大の前に商品20がスキャンされていないと、重さの異常、すなわち不正の確率が高い。事前のスキャンなしで、たとえば入口エリア1324を、場合によっては内部エリア1323を横切る、ふさがっている手が検出される場合、取り扱いの異常が検出され、不正の確率が高まる。

同様に、たとえば、測定デバイス1200が重さの増大を検出する場合、これは、置く行為が実行されたことを意味し、スキャンが実行されていない場合、不正の確率が高まる。

空いている手が入ってから、商品20が取り出され、ふさがっている手が内部エリア1323を出る場合、出ていく形状が、追跡される形状、すなわち光学デバイス1300により追尾される形状と呼ばれるものになる。

追跡される形状が光学デバイス1300の視野から出ずに、その形状に未知の形状が近づくことなく、入口エリア1324に入ることなく、または光学デバイス1300が遮られることなく、内部エリア1323に再び入る場合、取り扱いの異常はなく、不正の確率は低い。

好ましくは、この行為はそれでも疑わしいので、本発明は、取り出された商品20と戻された商品20の2次元比較を可能にする。

追跡された形状、および場合によっては検証された形状が、光学デバイス1300の視野から出る場合、システム1000の機能は、この形状が光学デバイス1300の視野に再び入るときにそれを見つけることである。

有利には、システム1000は、すなわち100度より大きい光学角度を有する、いわゆる「広角」2次元カメラ1310を備える。この2Dカメラ1310は、この追跡機能を確実にするようにも構成される。

有利には、光学デバイスは、3Dカメラと協働するように構成される追加の2Dカメラを備える。実際に、追加の2Dカメラが、3次元シーンの2次元画像を収集するように構成される。

一実施形態によれば、光学デバイス1300は、複数の3Dカメラ1320および2Dカメラ1310、ならびに場合によっては追加の2Dカメラを備える。

したがって、形状が、たとえば立体視カメラ1320を介して追跡されるとき、追加の2Dカメラを介して観察されるその2次元の様相は、自動訓練を示す用語である「機械学習」タイプの技法を介してニューラルネットワークの自動訓練によって「学習」される。同時に、3次元カメラ1320上でのその形状の位置は、2次元カメラ1310上で同期される。

目的は、物体または商品20が3Dカメラ1320の視野から出るときに、2Dカメラ1310上でその物体の追跡を続けるために、2Dカメラ1310がその物体の出現、その幾何学的形状、および出口におけるその位置を「知る」ことである。

したがって、3次元カメラ1320は、システム1000が追跡された商品の形状を学習して空間中でその位置を追跡することを可能にし、この学習された形状およびこの既知の位置は次いで、商品20が3次元カメラ1320の監視エリアから出るとすぐに、より広いエリアにわたる追跡のために2次元カメラ1310に送信される。

目標は、商品20またはより一般的には追跡される物体が3次元カメラ1320の視野に再び入るときに、2Dカメラ1310が、その物体の位置ならびに様相を3次元カメラ1320に返報として伝えることができ、それにより、たとえば3Dカメラ1320が監視を再開し、場合によっては学習を改善できるようにすることである。

一実施形態によれば、追跡される商品20または物体に、ふさがっている手が近づいたか、または空いている手が近づいたかを知るために、2Dカメラ1310に対して分析が行われ得る。商品または物体という用語は、商品20を定義するために独立に使用される。

手が追跡される商品20に近づく場合、不正の確率は高まる。

一実施形態によれば、本発明はダブルチェックモードを備える。このモードは、不正に関する疑いがあるときに準備されるものである。このモードは、ユーザが商品を挿入してから数分後に、または支払の間に、入れ物11の中にあるはずの商品20を再びスキャンするように求める要求をユーザに送信することからなる。

不正がない場合、通常の手順は、空いている手が入れ物11に入り、要求された商品20に対応する重さが、商品20を取り出すはずであるふさがっている手により取り除かれるはずであり、そして商品20が元の場所に戻され、したがって入れ物11とその内容物の測定される重さが増大するはずであり、最後に空いている手が出てくるはずである、というものであるはずである。これが起こらない場合、不正が疑われることがあり、そうすると不正の確率が高まり得る。

重さの測定だけに基づく従来技術の防犯システムに対抗する技法がある。これは、ラベル、より一般的には商品20のバーコードを取り換えることからなる。この目的で、たとえば、商品20が果物および野菜の秤で店舗において計量され、そして、たとえば果物に対応するラベルが商品20に貼られる。このラベルは正しい重さを示すが、正しい商品20を示さず、たとえば自動精算の段階において、ユーザは商品20をスキャンし、それを秤に置き、従来技術のシステムには、不正が行われていることを検出するための手段がない。

本発明は、このタイプの不正に対する効果的な解決策を提供する。実際に、このタイプの不正を撲滅するために、本発明は、様々な角度から商品20の方向において写真を撮影することを提案する。スキャンの間、これらの写真には二重の用途がある。
a. まず、これらの写真は、商品20の識別子、たとえばバーコードと結びつけられたニューラルネットワークモデルを供給するために使用される。その後、このニューラルネットワークは、商品20が光学デバイス1300により撮影される画像に存在するかどうかを示すように構成される。これは、撮影されたばかりの写真を、たとえば同じ商品20のスキャンの間に撮影された他の写真のすべてと比較することにより行われる。
b. 次に、写真はニューラルネットワークモデルに通され、前記ネットワークの出力は、スキャンされたバーコードが写真の商品20に実際に対応するかどうかを推定するための、識別子に関するスキャンされた商品20と予想される商品20との一致の確率である。

一実施形態によれば、果物および野菜とのラベル交換が最も頻繁に行われるので、ニューラルネットワークは、果物および/または野菜の袋を識別するように訓練され、「果物および野菜」バーコードのスキャンの間に、光学デバイス1300がこのタイプの袋を認識しないと、不正が疑われる。

特に巧みで直観に反するような方法で、データベースは商品ごとのスコアを備えてもよく、このスコアは、それが安い商品であり、したがって、たとえば限定はされないが、そのような商品のラベルを使用することと、商品の包装を使用することとのいずれかによって不正を行うために常に使用されるという事実に対応する。また、好ましくは、これらの安価な商品は、高価な商品より高い不正スコアを有する。

別の実施形態によれば、高価な商品は、他の商品より高い不正スコアを有する。

不正の確率が所定の閾値を超えるとき、不正が考えられ、不正があることを確認すること、または不正がないことを確認すること、および/またはユーザに向かって動くことにより介入するかどうかは、上位監督者および/または監督者次第であることに留意されたい。

ここで、データ記録および処理プロセスを概略的に表す図5を説明する。

この図は、本発明の実施形態による、不正検出アルゴリズムの2つの部分を示す。

それを説明する。データの記録110は、物体が光学デバイスによって、好ましくは立体視カメラによって検出されるとすぐに、および有利には、検出された物体が3次元空間のエリアのうちの1つに位置するときに、開始する(120)。物体が検出されない場合(122)、記録は待機状態のままである。

検出がある場合(121)、前のX秒がメモリ130、131に記憶されて、その後に記録が続く。物体がエリア140、そして142のうちの1つにまだ存在する場合、記録は継続する(143)。

3次元空間141にそれ以上の物体がない場合、記録が完了すると(146)記録の最後にX秒が計測されて(150)追加される(151)。そして記録は終了する(160)。

記録が作成されると、分析のために記録が送信される(147)。

分析210は、記録が進行中である限り待機状態である。したがって、システムは、識別が進行中であるかどうかを監視し(220)(はい(221)、いいえ(222))、重さの測定が進行中であるかどうかを監視する(225)(はい(223)、いいえ(222))。

識別が進行中であるとき、および/または重さが不安定であるとき、システムは記録を分析するための準備をする(230)。

測定が完了する場合、すなわちシステムの状態が再び安定する場合(240)、分析されるべき記録の終了の定義(250)とともに継続し(241)、それ以外の場合(242)、分析を行うための安定した状況になるまで待機状態のままである。センサの測定結果に変動が検出される限り、状況は不安定であると考えられることに留意されたい。

システムが安定すると、記録の分析260が開始する。これは、データ収集段階が完了するときに、少量のシステムリソースだけを使用することを可能にする。

その後、アルゴリズムは分析270を終え、実行されるべき新しい分析を待機する初期状態に戻る。

一実施形態によれば、不安定な状況の場合、分析が進行中である間、分析に割り振られているシステムリソースの一部が、データの収集に振り向けられる。

特に有利な方式では、本発明は、データの収集およびこれらの収集されたデータの分析という2つの別個の段階へと分離することによって、使用するシステムリソースおよびエネルギーをより少なくする。

したがって、本発明は、低コストの技術的な解決策を提案しながら高品質の不正検出を得ることを可能にし、その解決策は大規模で安価な適用例に対して最適化される。

したがって、本発明は、以下の不正の状況を少なくとも解決することを可能にする。
a. ユーザが1つの商品20をスキャンして2つのものを置く
b. ユーザがスキャンせずに商品20を入れ物11に慎重に置く
c. ユーザが5ユーロのワインのボトルをスキャンし、同じ重さの、場合によっては形態が似ている50ユーロのボトルを置く
d. ユーザがスキャンされていない商品20を入れ物11の中のすでにスキャンされている20と入れ替える
e. ユーザが果物または野菜のバーコードラベルで商品20をスキャンする
f. ユーザが果物および野菜の袋に香水のボトルを入れ、それを果物および野菜のバーコードラベルでスキャンする

したがって、本発明は、いくつかのセンサからのいくつかのデータを統合したものを使用して、不正の可能性を決定する。

特に有利な方式では、本発明は、データのいわゆる自己学習分析を備え、すなわち、コンピュータ処理ユニットは、不正を形成する要素を自動的に学習するように構成される。たとえば、システムは、一般に一連の行為、または収集されたデータの何らかの値が不正の状況につながることを学習するように構成される。この目的で、処理ユニットは、複数のデータを入力として受け取り、監督者および/または上位監督者により状況が不正であると判定されるかされないかを出力として受け取る。

本発明は、以前に説明された実施形態に限定されず、特許請求の範囲により包含される実施形態のすべてに及ぶ。

10 モバイルカート
11 入れ物
12 表示デバイス
13 把持デバイス
14 車輪
15 フレーム
16 電池
20 商品
21 商品のグラフィカル表現
22 商品の説明
23 不正の可能性がある状況の説明
24 サムネイル
25 時間圧縮されたビデオ
26 第1のアクチュエータ
27 第2のアクチュエータ
1000 不正検出システム
1100 識別デバイス
1200 測定デバイス
1300 光学デバイス
1310 カメラ
1320 立体視カメラ
1321 スキャンエリア
1322 外部エリア
1323 内部エリア
1324 入口エリア
1400 コンピュータ処理ユニット
1410 データベース
1420 人工知能モジュール
1500 ユーザインターフェース
1600 管理ステーション
1700 モバイル分析デバイス

Claims (41)

1. 少なくとも1つの商品(20)の少なくとも1人のユーザによる購入の際に不正を検出するための方法であって、
   ・少なくとも1つのユーザ端末(10)によって実行される、少なくとも1つのセンサからの、好ましくは複数のセンサからの複数のデータの捕捉ステップであって、
   i. 少なくとも1つの識別デバイスにより前記商品(20)の識別子を取得すること(1100)、
   ii. 3次元空間において前記ユーザにより手動で動かされた前記商品の少なくとも1つの軌跡を少なくとも1つの光学デバイス(1300)により決定することであって、前記3次元空間が少なくとも、
   1. 前記商品(20)の前記識別子の前記取得を達成するための、前記商品(20)の少なくとも1つの部分がその中に前記ユーザにより置かれることが意図される前記3次元空間の体積に対応する識別エリア(1321)と、
   2. 前記ユーザ端末(10)と関連付けられる少なくとも1つの入れ物(11)に前記ユーザが前記商品(20)を入れるときに前記商品(20)が横切る前記3次元空間の体積に対応する入口エリア(1324)と
   を備える、決定すること、
   iii. 前記ユーザ端末(10)によって、
   1. 前記識別デバイス(1100)からの前記商品(20)の前記識別子と、
   2. 前記商品(20)の前記軌跡と
   を少なくとも1つのコンピュータ処理ユニット(1400)に送信すること
   というステップを少なくとも備える、捕捉ステップと、
   ・前記コンピュータ処理ユニット(1400)によって実行される、前記複数のデータの処理ステップであって、
   i. 前記3次元空間における前記商品(20)の少なくとも前記軌跡から前記商品(20)の少なくとも1つの挙動を生成すること、
   ii. 前記ユーザによる取り扱いの異常を識別するために、複数の所定の挙動モデルと前記商品(20)の前記挙動を比較すること
   というステップを少なくとも備える、処理ステップと、
   ・前記挙動比較に応じて不正の確率を決定するステップであって、取り扱いの異常が識別された場合、前記確率が0ではない、ステップと
   を少なくとも備える、方法。
2. 前記光学デバイス(1300)が、前記商品(20)の前記軌跡を決定する際に深さが考慮されることを可能にするように構成される、請求項1に記載の方法。
3. 前記光学デバイス(1300)によって決定されるような、前記3次元空間における前記商品(20)の前記軌跡が、少なくとも1つの複数の点を備え、前記複数の点の各点が、少なくとも3つの空間座標を備える、請求項1から2のいずれか一項に記載の方法。
4. 前記光学デバイス(1300)が立体視光学デバイスを備える、請求項1から3のいずれか一項に記載の方法。
5. 複数のデータを捕捉する前記ステップが、少なくとも1つの測定デバイス(1200)による、前記商品(20)の重さの少なくとも1つの測定と、前記ユーザ端末(10)によって前記コンピュータ処理ユニット(1400)に、前記商品(20)の前記測定された重さを送信するステップとを備える、請求項1から4のいずれか一項に記載の方法。
6. 前記処理ステップが、好ましくは前記商品の前記挙動を生成する前記ステップの前に、
   ・前記識別子から少なくとも1つのデータベース(1410)において前記商品(20)を識別することであって、前記データベース(1410)が前記商品(20)の所定の重さと関連付けられる前記商品(20)の前記識別子を少なくとも備える、識別することと、
   ・前記データベース(1410)から前記商品(20)の前記所定の重さを取得することであって、
   i. 前記所定の重さが0に等しい、または入力されない場合、前記コンピュータ処理ユニット(1400)が、前記データベース(1410)の中の前記識別子と関連付けられる前記所定の重さとして前記商品(20)の前記測定された重さを割り当て、
   ii. 前記所定の重さが0と異なり、入力される場合、前記コンピュータ処理ユニット(1400)が、重さの差が所定の閾値より大きければ重さの異常を識別するために、前記所定の重さと前記測定された重さの比較を実行する、
   取得することと
   を少なくとも備える、請求項5に記載の方法。
7. 不正の確率の前記決定が、前記測定された重さとの前記所定の重さの前記比較に従って行われ、重さの異常が識別された場合、前記確率が0ではない、請求項6に記載の方法。
8. 前記データベース(1410)に含まれる前記商品(20)の前記所定の重さが、重さの範囲、好ましくは最小の所定の重さおよび最大の所定の重さを備える、請求項6および7のいずれか一項に記載の方法。
9. 前記3次元空間において前記商品(20)の前記軌跡を決定する前記ステップが、少なくとも前記識別エリア(1321)、前記入口エリア(1324)、少なくとも1つの外部エリア(1322)、少なくとも1つの入れ物(11)の入口に少なくとも対応する少なくとも1つの内部エリア(1323)の中から選択される少なくとも1つのエリアにおいて前記商品(20)を追跡するステップを備え、前記入口エリア(1324)が前記内部エリア(1323)から前記外部エリア(1322)を分離する、請求項1から8のいずれか一項に記載の方法。
10. 前記3次元空間における前記商品(20)の前記軌跡の前記決定が、前記3次元空間のあるエリアから前記3次元空間の別のエリアへの前記商品(20)の通過を少なくとも備え、好ましくは前記通過のみを備える、請求項1から9のいずれか一項に記載の方法。
11. 前記商品(20)の前記軌跡を決定する前記ステップが、前記3次元空間において動いている前記商品(20)以外の物体の前記軌跡の前記決定を少なくとも備え、好ましくは前記物体が、手、腕、別の商品、袋、前記ユーザにより装着されるアクセサリ、前記ユーザが着る衣服から選択される、請求項1から10のいずれか一項に記載の方法。
12. 前記商品(20)の前記挙動を生成する前記ステップが、所定の閾値を超えた前記商品(20)への前記物体のあらゆる接近を示すことを備える、請求項11に記載の方法。
13. 前記商品(20)の生成された前記挙動が、前記複数のセンサによって検出される少なくとも1つの一連のイベントを備え、前記イベントが、少なくとも、前記商品(20)の前記識別、前記3次元空間のあるエリアから前記3次元空間の別のエリアへの前記通過、前記商品(20)の前記重さの前記測定、別の物体による前記商品(20)への前記接近から選択される、請求項1から12のいずれか一項に記載の方法。
14. 前記複数のデータを捕捉する前記ステップが、少なくとも前記商品(20)の、および少なくとも前記商品(20)を持つ前記ユーザの手の複数の画像の、前記光学デバイス(1300)による収集を備える、請求項1から13のいずれか一項に記載の方法。
15. 前記処理ステップが、前記商品(20)の少なくとも1つの2次元表現を記録するために、および前記ユーザの前記手が空いているかふさがっているかを識別するために、前記複数の収集された画像を分析するステップを備える、請求項14に記載の方法。
16. 前記処理ステップが、前記データベース(1410)の前記商品(20)の画像と前記商品(20)の前記収集された画像との間で異常を識別するために、前記データベース(1410)に存在する前記商品(20)の前記画像と前記複数の収集された画像の1つまたは複数の画像との少なくとも1つの比較を備える、請求項14から15のいずれか一項に記載の方法。
17. 前記商品(20)の画像を比較する前記ステップが、好ましくは訓練されたニューラルネットワーク(1420)による、前記コンピュータ処理ユニット(1400)による前記商品(20)の光学認識の少なくとも1つのステップを備える、請求項16に記載の方法。
18. 複数の画像を収集する前記ステップが、前記光学デバイス(1300)によって、好ましくは前記複数の収集された画像に基づいて、有利には時間圧縮されたビデオを記録する少なくとも1つのステップを備える、請求項14から17のいずれか一項に記載の方法。
19. 好ましくは時間圧縮された前記ビデオを記録する前記ステップが、前記データの収集の際に少なくとも1つのセンサによって収集されたデータを挿入するステップを備え、前記センサが、少なくとも、前記識別デバイス(1100)、前記光学デバイス(1300)、前記測定デバイス(1200)、空間識センサ、モーションセンサから選択される、請求項18に記載の方法。
20. 前記商品(20)の前記追跡を決定する前記ステップが、
    a. 好ましくはカラーで、複数の2次元画像を収集すること、
    b. 複数の3次元画像を収集すること
    を少なくとも備える、請求項1から19のいずれか一項に記載の方法。
21. 前記複数の2次元画像の前記収集が、少なくとも1つのカメラ(1310)および少なくとも1つの追加のカメラによって行われ、前記複数の3次元空間の前記収集が、少なくとも1つの立体視カメラ(1320)によって行われる、請求項20に記載の方法。
22. 前記立体視カメラ(1320)が、前記3次元空間において前記商品(20)を空間的に追跡するように構成され、前記追加のカメラが、前記商品(20)の幾何学的形状を認識するように少なくとも1つのニューラルネットワーク(1420)を訓練するために、複数の2次元画像を前記ニューラルネットワーク(1420)に送信するように構成され、前記商品(20)の空間位置およびその幾何学的形状が次いで、前記商品(20)が前記立体視カメラ(1320)の視野から出るときに前記2次元カメラ(1310)によって前記商品(20)を追跡するために使用される、請求項21に記載の方法。
23. 前記2次元カメラ(1310)が、100度より大きい角度を有する対物レンズを備え、前記立体視カメラ(1320)の前記視野の外側での前記商品(20)の前記空間位置の追跡を確実にし、前記商品(20)の前記幾何学的形状の画像を収集するように構成され、前記商品(20)の前記空間位置およびその幾何学的形状が次いで、前記商品(20)が前記立体視カメラ(1320)の前記視野内に来るとき、前記立体視カメラ(1320)によって、および前記追加の2次元カメラによって前記商品(20)を追跡するために使用される、請求項22に記載の方法。
24. 前記所定の挙動モデルが、
    ・前記商品(20)の識別、
    ・前記識別エリア(1321)から前記入口エリア(1324)までの前記商品(20)の追跡、
    ・前記入口エリア(1324)から前記内部エリア(1321)までの前記商品(20)の追跡、
    という一連のイベントを備える少なくとも1つの標準挙動モデルを備える、請求項1から23のいずれか一項に記載の方法。
25. 取り扱いの異常が、前記商品(20)を別の商品(20)と交換すること、前記商品(20)と一緒に別の商品(20)を入れ物(11)に追加すること、前記入れ物(11)に前記商品(20)を置くときに前記入れ物(11)から別の商品(20)を取り出すこと、識別された商品(20)を別の識別されていない商品(20)と交換すること、不正識別器を用いて商品(20)を識別することという状況のうちの少なくとも1つを備える、請求項1から24のいずれか一項に記載の方法。
26. 重さの異常が検出される場合、
    ・前記商品(20)を取り出すことを求める要求を、前記ユーザへの好ましくは視覚および/またはオーディオのメッセージにより表現するステップであって、前記表現がユーザインターフェースによって行われ、前記ユーザインターフェースが、たとえば前記コンピュータ処理ユニット(1400)である、ステップと、
    ・新しい重さを取得するために前記商品(20)を再び計量することを求める要求を、前記ユーザへの好ましくは視覚および/またはオーディオのメッセージにより表現するステップであって、前記表現がユーザインターフェースによって行われ、前記ユーザインターフェースが、たとえば前記コンピュータ処理ユニット(1400)である、ステップと、
    ・前記商品(20)の新しい重さを前記ユーザ端末(10)によって前記コンピュータ処理ユニット(1400)へ送信するステップと、
    ・重さの異常を識別するために前記所定の重さを前記新しい測定された重さと比較することを少なくとも備える、前記コンピュータ処理ユニット(1400)によって行われる、前記商品(20)の新しい識別子、前記商品(20)の前記新しい重さ、および好ましくは前記収集された画像を処理するステップと
    を備える、請求項1から25のいずれか一項に記載の方法。
27. 異常が検出された場合、
    ・前記商品(20)を再び識別することを求める要求を、前記ユーザへの好ましくは視覚および/またはオーディオのメッセージにより表現するステップであって、前記表現がユーザインターフェースによって行われ、前記ユーザインターフェースが、たとえば前記コンピュータ処理ユニット(1400)である、ステップと、
    ・前記商品(20)の前記新しい識別子を前記ユーザ端末(10)によって前記コンピュータ処理ユニット(1400)へ送信するステップと、
    ・新しい重さを取得するために前記商品(20)を再び計量することを求める要求を、前記ユーザへの好ましくは視覚および/またはオーディオのメッセージにより表現するステップであって、前記表現がユーザインターフェースによって行われ、前記ユーザインターフェースが、たとえば前記コンピュータ処理ユニット(1400)である、ステップと、
    ・前記商品(20)の前記新しい重さを前記ユーザ端末(10)によって前記コンピュータ処理ユニット(1400)へ送信するステップと、
    ・重さの異常を識別するために前記所定の重さを前記新しい測定された重さと前記比較することを少なくとも備える、前記コンピュータ処理ユニット(1400)によって、前記商品(20)の前記新しい識別子、前記商品(20)の前記新しい重さ、および好ましくは前記収集された画像を処理するステップと
    を備える、請求項1から26のいずれか一項に記載の方法。
28. 前記光学デバイス(1300)により所定の時間長の初期ビデオを記録する連続的なステップを備え、イベントが、少なくとも前記識別デバイス(1100)、前記測定デバイス(1200)、前記光学デバイス(1300)、モーションセンサ、空間識センサから選択される少なくとも1つのセンサによって検出されない限り、前記初期ビデオが前記所定の期間の終わりに消去される、請求項1から27のいずれか一項に記載の方法。
29. 前記少なくとも1つの複数のデータを捕捉する前記ステップが完了するときにのみ、前記処理ステップが実行される、請求項1から28のいずれか一項に記載の方法。
30. 不正の前記確率が所定の閾値より高いとき、前記複数のデータに基づく複数の二次データを、第1の監督者が前記複数の二次データを分析するように前記コンピュータ処理ユニット(1400)から少なくとも1つの管理ステーション(1600)へ送信するステップを備える、請求項1から29のいずれか一項に記載の方法。
31. 不正の状況が前記第1の監督者により確認される場合、第2の監督者が前記複数の二次データを分析して前記ユーザに向かって動くように、前記複数の二次データが、好ましくは前記ユーザ端末(10)と同じ建物の中に位置する少なくとも1つのモバイル分析デバイス(1700)に送信される、請求項30に記載の方法。
32. 前記複数の二次データが、前記商品(20)の前記識別子、前記商品(20)の前記重さ、前記商品(20)の元の画像、好ましくは時間圧縮された、前記複数の収集された画像、ビデオのうちの1つまたは複数の画像というデータのうちの少なくとも1つを備える、請求項1から31のいずれか一項に記載の方法。
33. 店舗における少なくとも1つの商品のユーザによる購入の際の少なくとも1つの不正を検出するためのシステム(1000)であって、
    ・ユーザ端末(10)であって、
    i. ユーザが識別デバイス(1100)の近くにある、好ましくは1メートル以内にある前記商品の横を通り過ぎるときに前記商品(20)を識別するように構成される、前記識別デバイス(1100)と、
    ii. 前記商品(20)の重さを測定するように構成される測定デバイス(1200)と、
    iii. 3次元空間において前記ユーザにより手動で動かされる前記商品(20)の少なくとも1つの軌跡を決定するように少なくとも構成される光学デバイス(1300)と
    を少なくとも備える、ユーザ端末(10)と、
    ・少なくとも前記ユーザ端末(10)と通信しているコンピュータ処理ユニット(1400)であって、前記コンピュータ処理ユニット(1400)が、前記ユーザ端末(10)から離れており、または離れておらず、
    i. 少なくとも前記3次元空間における前記商品(20)の前記軌跡から前記商品の少なくとも1つの挙動を生成し、
    ii. 取り扱いの異常を識別するために、前記商品(20)の前記挙動を複数の所定の挙動モデルと比較する
    ように構成される、コンピュータ処理ユニット(1400)と
    を少なくとも備え、
    前記挙動比較に応じて不正の確率を決定するために、取り扱いの異常が識別された場合、前記確率は0ではない、システム(1000)。
34. 前記コンピュータ処理ユニット(1400)がさらに、前記商品(20)の所定の重さと関連付けられる前記商品(20)の識別子を備えるデータベース(1410)と通信している、請求項33に記載のシステム(1000)。
35. 前記コンピュータ処理ユニット(1400)がさらに、
    ・前記重さの差が所定の閾値より大きい場合に重さの異常を識別するために、前記データベース(1410)から取得された前記商品(20)の前記所定の重さと前記測定された重さを比較し、
    ・前記重さ比較に従って不正の確率を決定するように構成され、重さの異常が識別された場合、前記確率が0ではない、請求項34に記載のシステム(1000)。
36. 前記ユーザ端末(10)がモバイルカート(10)である、請求項33から35のいずれか一項に記載のシステム(1000)。
37. 前記コンピュータ処理ユニット(1400)の少なくとも一部分が前記モバイルカート(10)に埋め込まれる、請求項36に記載のシステム(1000)。
38. 前記ユーザ端末(10)が固定端末である、請求項33から35のいずれか一項に記載のシステム(1000)。
39. 前記コンピュータ処理ユニット(1400)が、前記コンピュータ処理ユニット(1400)に送信されるデータに基づいて不正の状況を検出するように訓練された少なくとも1つのニューラルネットワークを備える少なくとも1つの分類モジュール(1420)と通信している、請求項33から38のいずれか一項に記載のシステム(1000)。
40. 前記ユーザ端末(10)が、前記商品(20)の前記識別子および/または前記重さを表示するように構成される少なくとも1つの表示デバイス(12)を備える、請求項33から39のいずれか一項に記載のシステム(1000)。
41. 少なくとも1つのプロセッサによって実行されると、請求項1から32のいずれか一項に記載の方法のステップを少なくとも実行する命令を備える、コンピュータプログラム。

Images