JP6550105B2 - セルフチェックアウト端末における不正行為の検証 - Google Patents
セルフチェックアウト端末における不正行為の検証 Download PDFInfo
- Publication number
- JP6550105B2 JP6550105B2 JP2017164910A JP2017164910A JP6550105B2 JP 6550105 B2 JP6550105 B2 JP 6550105B2 JP 2017164910 A JP2017164910 A JP 2017164910A JP 2017164910 A JP2017164910 A JP 2017164910A JP 6550105 B2 JP6550105 B2 JP 6550105B2
- Authority
- JP
- Japan
- Prior art keywords
- theft
- weight
- video feed
- data
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012795 verification Methods 0.000 title claims description 70
- 238000000034 method Methods 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 43
- 238000012544 monitoring process Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims 3
- 238000004458 analytical method Methods 0.000 description 27
- 230000000694 effects Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 11
- 230000009471 action Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 241000234295 Musa Species 0.000 description 4
- 235000021015 bananas Nutrition 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000004584 weight gain Effects 0.000 description 1
- 235000019786 weight gain Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G06T3/02—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
- G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G3/00—Alarm indicators, e.g. bells
- G07G3/003—Anti-theft control
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
- G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
- G08B29/188—Data fusion; cooperative systems, e.g. voting among different detectors
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Description
関連出願の相互参照
本出願は、２０１２年１２月２１日に出願された米国仮特許出願第６１／７４０，８５
８号明細書の利益を主張する特許出願である。本出願は、２００９年１２月１５日に発行
された米国特許第７，６３１，８０８号明細書を参照によって組み込んでいる。
本出願は、２０１２年１２月２１日に出願された米国仮特許出願第６１／７４０，８５
８号明細書の利益を主張する特許出願である。本出願は、２００９年１２月１５日に発行
された米国特許第７，６３１，８０８号明細書を参照によって組み込んでいる。
本発明は概して、セルフチェックアウト端末において発生する不正行為を防止するセキ
ュリティシステムおよび方法に関する。特に、セルフチェックアウトユニットにおいて不
正行為を検証する方法およびシステムに関する。
ュリティシステムおよび方法に関する。特に、セルフチェックアウトユニットにおいて不
正行為を検証する方法およびシステムに関する。
セルフチェックアウトは、またたく間に、顧客による小売商品に対して代金を支払う確
立された方法になりつつある。列をより短くし、販売をより迅速にし、かつプライバシー
を高めることを約束することが、顧客にとって魅力となっている。さらに、スタッフによ
る有人のチェックアウトを有さないこと、および人件費の削減に関連した金銭的節約が、
小売業者にとって魅力となっている。
立された方法になりつつある。列をより短くし、販売をより迅速にし、かつプライバシー
を高めることを約束することが、顧客にとって魅力となっている。さらに、スタッフによ
る有人のチェックアウトを有さないこと、および人件費の削減に関連した金銭的節約が、
小売業者にとって魅力となっている。
一方で、セルフチェックアウトは幾つかの問題を提示する。否認することができる機会
、容易性、および可能性が、単に商品をスキャンしないことによって、または商品をスキ
ャニングするのに困っていると装うことによって、顧客がそれらを盗むことを可能にする
。したがって、セルフチェックアウトにおいて発生する盗難または不正行為は、有人のチ
ェックアウトよりも多くなり得る。
、容易性、および可能性が、単に商品をスキャンしないことによって、または商品をスキ
ャニングするのに困っていると装うことによって、顧客がそれらを盗むことを可能にする
。したがって、セルフチェックアウトにおいて発生する盗難または不正行為は、有人のチ
ェックアウトよりも多くなり得る。
したがって、セルフチェックアウトは、袋に詰めるエリア（ｂａｇｇｉｎｇ ａｒｅａ
）において出力の重量を測定する重量センサまたは重量計を利用した、種々の盗難防止対
策を採用していることが多い。袋に詰めるエリアにおける重量の増加分が、商品の既知の
重量と等しくない場合、システムはフラグをたて、かつ取引が中断される。セルフチェッ
クアウトは、エラーとなり、かつ非常に多くの「誤検出」を作動させることが多い。加え
て、セルフチェックアウトの盗難防止は十分に包括的なものではなく、顧客がセルフチェ
ックアウトから盗むことができるさらなる方法を許容してしまう。
）において出力の重量を測定する重量センサまたは重量計を利用した、種々の盗難防止対
策を採用していることが多い。袋に詰めるエリアにおける重量の増加分が、商品の既知の
重量と等しくない場合、システムはフラグをたて、かつ取引が中断される。セルフチェッ
クアウトは、エラーとなり、かつ非常に多くの「誤検出」を作動させることが多い。加え
て、セルフチェックアウトの盗難防止は十分に包括的なものではなく、顧客がセルフチェ
ックアウトから盗むことができるさらなる方法を許容してしまう。
したがって、セルフチェックアウトにおいて発生することがある盗難行為、および不正
行為の誤検出のアラートを減少させることができる、システムおよび検証処理が必要とさ
れている。
行為の誤検出のアラートを減少させることができる、システムおよび検証処理が必要とさ
れている。
本出願の主題は、場合により、相互関連した製品、特定の問題に対する代替的な解決法
、および／または単一のシステムもしくは要素の複数の異なる使用を含むことができる。
、および／または単一のシステムもしくは要素の複数の異なる使用を含むことができる。
一態様では、セルフチェックアウト端末において対象となる起こり得る行為を検証する
方法が提供される。方法は、コンピュータプロセシングユニットを介して動作する。取引
エリアにおける取引時間の少なくとも一部の間に、商品を監視するビデオソースから生成
されるビデオフィードが取得される。コンピュータプロセシングユニットは、取引エリア
における取引時間の少なくとも一部の間に商品を監視することによってデータフィードが
生成される、データソースからデータフィードを取得する。そして、ビデオフィードおよ
びデータフィードが分析されて、対象となる起こり得る行為を特定する。次に、分析され
たビデオフィードおよび分析されたデータフィードの両方が対象となる起こり得る行為を
確認するときに、アラートが発行される。
方法が提供される。方法は、コンピュータプロセシングユニットを介して動作する。取引
エリアにおける取引時間の少なくとも一部の間に、商品を監視するビデオソースから生成
されるビデオフィードが取得される。コンピュータプロセシングユニットは、取引エリア
における取引時間の少なくとも一部の間に商品を監視することによってデータフィードが
生成される、データソースからデータフィードを取得する。そして、ビデオフィードおよ
びデータフィードが分析されて、対象となる起こり得る行為を特定する。次に、分析され
たビデオフィードおよび分析されたデータフィードの両方が対象となる起こり得る行為を
確認するときに、アラートが発行される。
別の態様では、セルフチェックアウト端末において起こり得る不正行為を検証する方法
が提供される。コンピュータプロセシングユニットは、セルフチェックアウト端末から商
品の想定外重量データを受信し、セルフチェックアウト端末では、袋に詰めるエリアに置
かれている商品の想定外重量データを取得するのに、重量センサがセルフチェックアウト
端末と結合される。次に、想定外重量データに基づいて、起こり得る不正行為が特定され
る。重量センサからの商品が、想定内重量許容差に一致するかを特定するのに想定外重量
データが取得される。コンピュータプロセシングユニットはさらに、データフィードに基
づいて、起こり得る不正行為を特定し、データフィードは、取引エリアにおいて商品を監
視するデータソースから生成される。
が提供される。コンピュータプロセシングユニットは、セルフチェックアウト端末から商
品の想定外重量データを受信し、セルフチェックアウト端末では、袋に詰めるエリアに置
かれている商品の想定外重量データを取得するのに、重量センサがセルフチェックアウト
端末と結合される。次に、想定外重量データに基づいて、起こり得る不正行為が特定され
る。重量センサからの商品が、想定内重量許容差に一致するかを特定するのに想定外重量
データが取得される。コンピュータプロセシングユニットはさらに、データフィードに基
づいて、起こり得る不正行為を特定し、データフィードは、取引エリアにおいて商品を監
視するデータソースから生成される。
さらなる別の態様では、セルフチェックアウト端末において起こり得る不正行為を検証
するシステムが提供される。システムは、取引時間の少なくとも一部の間に生成される複
数のデータフィードを分析するように動作可能なコンピュータプロセシングユニットを備
える。複数のデータフィードは、セルフチェックアウト端末において取引されている商品
を監視することによって生成され、コンピュータプロセシングユニットは、複数のデータ
フィードの各々を、商品を関連付けるプリセットされたデータと相互に関連付けて、起こ
り得る不正行為を特定する。さらに、コンピュータプロセシングユニットは、複数のデー
タフィードの少なくとも２つが、特定された起こり得る不正行為を確認するときに、アラ
ートを発行するように構成される。複数のデータフィードは、ビデオフィード、取引デー
タ、および想定外重量データを備える。システムはさらに、コンピュータプロセシングユ
ニットと通信可能に結合された、ビデオフィードを生成するビデオソースを備える。重量
センサは、想定外重量データをコンピュータプロセシングユニットに送信するセルフチェ
ックアウト端末に結合される。セルフチェックアウト端末は、コンピュータプロセシング
ユニットに通信可能に結合される。
するシステムが提供される。システムは、取引時間の少なくとも一部の間に生成される複
数のデータフィードを分析するように動作可能なコンピュータプロセシングユニットを備
える。複数のデータフィードは、セルフチェックアウト端末において取引されている商品
を監視することによって生成され、コンピュータプロセシングユニットは、複数のデータ
フィードの各々を、商品を関連付けるプリセットされたデータと相互に関連付けて、起こ
り得る不正行為を特定する。さらに、コンピュータプロセシングユニットは、複数のデー
タフィードの少なくとも２つが、特定された起こり得る不正行為を確認するときに、アラ
ートを発行するように構成される。複数のデータフィードは、ビデオフィード、取引デー
タ、および想定外重量データを備える。システムはさらに、コンピュータプロセシングユ
ニットと通信可能に結合された、ビデオフィードを生成するビデオソースを備える。重量
センサは、想定外重量データをコンピュータプロセシングユニットに送信するセルフチェ
ックアウト端末に結合される。セルフチェックアウト端末は、コンピュータプロセシング
ユニットに通信可能に結合される。
さらなる態様では、セルフチェックアウト端末において損失インシデントを特定する方
法が提供される。コンピュータプロセシングユニットは、ビデオフィードを取得し、ビデ
オフィードは、取引エリアにおいて商品を監視するビデオソースから生成される。ビデオ
フィードは、取引時間の少なくとも一部の間に生成される。コンピュータプロセシングユ
ニットは、ビデオ分析によって取得されるビデオフィードに基づいて損失インシデントを
特定し、かつビデオフィードを修正してそれを簡易化する。修正されたビデオフィードが
人的検証端末に送信されて、人的検証を行う。そして、人的検証応答が受信されて、人的
検証に基づいて損失インシデントを特定する。ビデオ分析および人的検証応答に基づいて
、アラートが発行される。
法が提供される。コンピュータプロセシングユニットは、ビデオフィードを取得し、ビデ
オフィードは、取引エリアにおいて商品を監視するビデオソースから生成される。ビデオ
フィードは、取引時間の少なくとも一部の間に生成される。コンピュータプロセシングユ
ニットは、ビデオ分析によって取得されるビデオフィードに基づいて損失インシデントを
特定し、かつビデオフィードを修正してそれを簡易化する。修正されたビデオフィードが
人的検証端末に送信されて、人的検証を行う。そして、人的検証応答が受信されて、人的
検証に基づいて損失インシデントを特定する。ビデオ分析および人的検証応答に基づいて
、アラートが発行される。
以下で添付図面と関連して記載される詳細な説明は、本発明の現在の好ましい実施形態
の詳細として意図され、かつ本発明を構成および／または利用することができる唯一の形
式を表すものではない。詳細な説明は、例示される実施形態とともに本発明を構成し、機
能させるステップの機能および順序を記載する。
の詳細として意図され、かつ本発明を構成および／または利用することができる唯一の形
式を表すものではない。詳細な説明は、例示される実施形態とともに本発明を構成し、機
能させるステップの機能および順序を記載する。
発行された米国特許第７，６３１，８０８号明細書は、ビデオ分析および取引データ分
析の処理を詳細に説明している。そのようにして、発行された米国特許第７，６３１，８
０８号明細書は、参照によって本明細書に組み込まれている。審査官は、上述の発行され
た特許の電子的写しを提供するよう求められている。
析の処理を詳細に説明している。そのようにして、発行された米国特許第７，６３１，８
０８号明細書は、参照によって本明細書に組み込まれている。審査官は、上述の発行され
た特許の電子的写しを提供するよう求められている。
要するに、米国特許第７，６３１，８０８号明細書は、取引端末において顧客による商
品の取引（例えば、購入、返金、無効など）に関連する不審行為など、取引での出力結果
を検出する方法および装置を説明している。システムは、取引エリアに関連付けられたビ
デオデータを取得する。ビデオデータは、例えば、キャッシュレジスタチェックアウト、
またはスーパーマーケットもしくは他の小売店における他の取引エリアに焦点をあてる（
ｆｏｃｕｓｅｄ ｏｎ）、防犯カメラ（ｅｌｅｖａｔｅｄ ｃａｍｅｒａ）から取得され
てもよい。システムは自動機械ビデオ分析アルゴリズムを適用し、自動機械ビデオ分析ア
ルゴリズムは、ビデオデータの少なくとも一部を分析して、取引エリアに関連付けられた
取引の少なくとも一部に関する少なくとも１つのビデオパラメータを取得するシステムの
一部として開示されている。例として、システムは、ビデオデータを分析して、取引エリ
アにおける取引に関連する商品を追跡する（例えば、商品の存在を特定する）ことができ
る。この処理は、ビデオデータ分析から、取引に関連する商品の存在を自動的に特定する
ことができる。例えば、取引エリアにおいて商品の動きを自動的に検出することによって
、および／または取引エリアにおいてオペレータの行為を検出することによって、このこ
とが行われてもよい。商品の存在を検出することは、取引エリアにおいて対象の領域から
商品が撤去されることを検出すること、および／または取引エリアにおいて対象の領域に
商品が持ち込まれることを検出することを含み得る。
品の取引（例えば、購入、返金、無効など）に関連する不審行為など、取引での出力結果
を検出する方法および装置を説明している。システムは、取引エリアに関連付けられたビ
デオデータを取得する。ビデオデータは、例えば、キャッシュレジスタチェックアウト、
またはスーパーマーケットもしくは他の小売店における他の取引エリアに焦点をあてる（
ｆｏｃｕｓｅｄ ｏｎ）、防犯カメラ（ｅｌｅｖａｔｅｄ ｃａｍｅｒａ）から取得され
てもよい。システムは自動機械ビデオ分析アルゴリズムを適用し、自動機械ビデオ分析ア
ルゴリズムは、ビデオデータの少なくとも一部を分析して、取引エリアに関連付けられた
取引の少なくとも一部に関する少なくとも１つのビデオパラメータを取得するシステムの
一部として開示されている。例として、システムは、ビデオデータを分析して、取引エリ
アにおける取引に関連する商品を追跡する（例えば、商品の存在を特定する）ことができ
る。この処理は、ビデオデータ分析から、取引に関連する商品の存在を自動的に特定する
ことができる。例えば、取引エリアにおいて商品の動きを自動的に検出することによって
、および／または取引エリアにおいてオペレータの行為を検出することによって、このこ
とが行われてもよい。商品の存在を検出することは、取引エリアにおいて対象の領域から
商品が撤去されることを検出すること、および／または取引エリアにおいて対象の領域に
商品が持ち込まれることを検出することを含み得る。
取引データと比較してビデオ分析の組み合わせを使用して、システムは、ビデオデータ
の分析において特定された商品の存在が、取引データにおいて対応する存在を有している
かを判定することができ、有していない場合、不審行為を特定する。例として、各検出器
に対し、システムは、その検出器に対する検出イベントの組を、取引データの少なくとも
一部と比較して、取引データの一部において示される幾つかの商品と、その検出器によっ
て検出された幾つかの商品との少なくとも１つの明らかな不一致を特定することができる
。よって、取引の数（例えば、スキャンの数）または取引商品識別子などの取引データは
、スキャンされた商品の存在、またはスキャンされた幾つかの商品（取引全体に対する）
を表すとともに、ビデオ分析からの検出イベントデータまたはビデオ数は、取引エリアを
通じてオペレータが移動させる商品の存在（または数）を表す。多くの他の実施形態が本
明細書で開示され、その詳細が詳細な説明のセクションで提供される。
の分析において特定された商品の存在が、取引データにおいて対応する存在を有している
かを判定することができ、有していない場合、不審行為を特定する。例として、各検出器
に対し、システムは、その検出器に対する検出イベントの組を、取引データの少なくとも
一部と比較して、取引データの一部において示される幾つかの商品と、その検出器によっ
て検出された幾つかの商品との少なくとも１つの明らかな不一致を特定することができる
。よって、取引の数（例えば、スキャンの数）または取引商品識別子などの取引データは
、スキャンされた商品の存在、またはスキャンされた幾つかの商品（取引全体に対する）
を表すとともに、ビデオ分析からの検出イベントデータまたはビデオ数は、取引エリアを
通じてオペレータが移動させる商品の存在（または数）を表す。多くの他の実施形態が本
明細書で開示され、その詳細が詳細な説明のセクションで提供される。
概して、本発明は、顧客によってセルフチェックアウト取引の間に発生することがある
、起こり得る不正行為を検証する方法に関する。本発明は、セルフチェックアウト作業を
、セルフチェックアウト端末によって特定される起こり得る不正行為を確認する追加的な
検証手段と統合することによって、セルフチェックアウト操作の作業を強化する。１つ以
上の以下のデータフィード、すなわち、ビデオ分析、取引データ統合、重量統合、および
任意選択の人的検証プロセスを組み合わせることによって、その強化が促進される。その
組み合わせによって、起こり得る不正行為がセルフチェックアウト端末によって最初に特
定されることが保証され、かつ起こり得る不正行為の正当性を検証する。同様に、本発明
は、起こり得る不正行為に与えられる誤検出アラートを低減させ、アラートは、単に検証
に基づいてのみ発行される。
、起こり得る不正行為を検証する方法に関する。本発明は、セルフチェックアウト作業を
、セルフチェックアウト端末によって特定される起こり得る不正行為を確認する追加的な
検証手段と統合することによって、セルフチェックアウト操作の作業を強化する。１つ以
上の以下のデータフィード、すなわち、ビデオ分析、取引データ統合、重量統合、および
任意選択の人的検証プロセスを組み合わせることによって、その強化が促進される。その
組み合わせによって、起こり得る不正行為がセルフチェックアウト端末によって最初に特
定されることが保証され、かつ起こり得る不正行為の正当性を検証する。同様に、本発明
は、起こり得る不正行為に与えられる誤検出アラートを低減させ、アラートは、単に検証
に基づいてのみ発行される。
起こり得る不正行為の例は、セルフチェックアウト端末において顧客が取引されていな
い商品を袋に詰めるエリアに置く場合、商品を袋に詰めるエリアにおいて購入されている
商品の場所に別の商品を置く場合、商品を袋に詰めるエリアの外部（フロア、入力エリア
、またはセルフチェックアウト端末を通じて取引することなく、購入された商品の収集の
ために特に指定されていない他のエリア）に置く場合、ならびに取引の終了の後に購入さ
れていない商品を持って行く場合、などを含んでもよいが、それらに限定されない。
い商品を袋に詰めるエリアに置く場合、商品を袋に詰めるエリアにおいて購入されている
商品の場所に別の商品を置く場合、商品を袋に詰めるエリアの外部（フロア、入力エリア
、またはセルフチェックアウト端末を通じて取引することなく、購入された商品の収集の
ために特に指定されていない他のエリア）に置く場合、ならびに取引の終了の後に購入さ
れていない商品を持って行く場合、などを含んでもよいが、それらに限定されない。
誤検出の不正行為の例は、非売買商品（財布、携帯電話、傘、上着など）が袋に詰める
エリアに置かれる場合、販促商品などの無料進呈商品が袋に詰めるエリアに置かれる場合
、同一の店舗もしくは別の店舗からの以前に購入された商品などの現在の取引に関連付け
られていない売買商品が袋に詰めるエリアに置かれる場合、部分的に消費した商品、日を
追うごとに重量が変化した売買商品、もしくは正確にスキャンされた他のタイプの商品に
よって発生する重量の不一致をもたらす場合、想定外重量の増加をもたらす袋に詰めるエ
リア／出力エリアの規模を学習および調査（ｓｉｔｔｉｎｇ ｏｎ）する場合、再使用可
能なバッグを使用する場合、ならびに出力エリアで商品が減少する場合、などを含んでも
よいが、それらに限定されない。
エリアに置かれる場合、販促商品などの無料進呈商品が袋に詰めるエリアに置かれる場合
、同一の店舗もしくは別の店舗からの以前に購入された商品などの現在の取引に関連付け
られていない売買商品が袋に詰めるエリアに置かれる場合、部分的に消費した商品、日を
追うごとに重量が変化した売買商品、もしくは正確にスキャンされた他のタイプの商品に
よって発生する重量の不一致をもたらす場合、想定外重量の増加をもたらす袋に詰めるエ
リア／出力エリアの規模を学習および調査（ｓｉｔｔｉｎｇ ｏｎ）する場合、再使用可
能なバッグを使用する場合、ならびに出力エリアで商品が減少する場合、などを含んでも
よいが、それらに限定されない。
本明細書で考慮されるビデオソースは、アナログカメラおよびＩＰカメラなどのビデオ
カメラ、ＤＶＲなどの、任意の期間のビデオフィードを提供することができるデバイス、
ならびにタブレットコンピュータおよびラップトップコンピュータなどの、カメラを有す
るポータブルコンピューティングデバイスを含んでもよいが、それらに限定されない。
カメラ、ＤＶＲなどの、任意の期間のビデオフィードを提供することができるデバイス、
ならびにタブレットコンピュータおよびラップトップコンピュータなどの、カメラを有す
るポータブルコンピューティングデバイスを含んでもよいが、それらに限定されない。
本明細書で考慮されるデータフィードは、シリアル、イーサネット（登録商標）などの
任意の接続タイプを介し、ＵＤＰ、ＴＣＰなどの任意のプロトコルを介した、ＸＭＬ、Ｊ
ＳＯＮ、ＣＳＶ、バイナリを含むフォーマットにあってもよいが、それらに限定されない
。
任意の接続タイプを介し、ＵＤＰ、ＴＣＰなどの任意のプロトコルを介した、ＸＭＬ、Ｊ
ＳＯＮ、ＣＳＶ、バイナリを含むフォーマットにあってもよいが、それらに限定されない
。
一実施形態では、セルフチェックアウト端末において対象となる起こり得る行為が検証
されてもよい。本明細書で開示される方法およびシステムは、起こり得る不正行為を特定
および検証することに限定されなくてもよい。対象となる起こり得る行為は、不正行為で
ない、セルフチェックアウト端末における行為であってもよい。対象となる起こり得る行
為は、セルフチェックアウト端末を通じて渡される複数の商品の間での遅延、セルフチェ
ックアウト端末に対して発生する機械的なエラー、セルフチェックアウト端末において印
刷する領収書の紙詰まり、および顧客の救助呼び出し（ｄｉｓｔｒｅｓｓ ｃａｌｌ）を
含んでもよいが、それらに限定されない。起こり得る不正行為ではない対象となる起こり
得る行為の例は、介入もしくはアラートを必要としてもよく、または必要としなくてもよ
く、よって、介入もしくはアラートを発行せずに検証処理を実行してもよい。
されてもよい。本明細書で開示される方法およびシステムは、起こり得る不正行為を特定
および検証することに限定されなくてもよい。対象となる起こり得る行為は、不正行為で
ない、セルフチェックアウト端末における行為であってもよい。対象となる起こり得る行
為は、セルフチェックアウト端末を通じて渡される複数の商品の間での遅延、セルフチェ
ックアウト端末に対して発生する機械的なエラー、セルフチェックアウト端末において印
刷する領収書の紙詰まり、および顧客の救助呼び出し（ｄｉｓｔｒｅｓｓ ｃａｌｌ）を
含んでもよいが、それらに限定されない。起こり得る不正行為ではない対象となる起こり
得る行為の例は、介入もしくはアラートを必要としてもよく、または必要としなくてもよ
く、よって、介入もしくはアラートを発行せずに検証処理を実行してもよい。
セルフチェックアウト端末において起こり得る不正行為を検証する、開示される方法を
実行するシステムが提供される。システムは、デジタルビデオアナライザ（ＤＶＡ）など
のコンピュータプロセシングユニット、ビデオソース、重量センサ、およびセルフチェッ
クアウト端末を含んでもよい。
実行するシステムが提供される。システムは、デジタルビデオアナライザ（ＤＶＡ）など
のコンピュータプロセシングユニット、ビデオソース、重量センサ、およびセルフチェッ
クアウト端末を含んでもよい。
コンピュータプロセシングユニットは、セルフチェックアウト端末においてスキャンさ
れる商品を監視することによって生成されるデータフィードを分析するように動作可能で
あってもよい。データフィードは、ビデオフィード、取引データ、および想定外重量デー
タを含んでもよい。データフィードは、起こり得る不正行為を特定するためにコンピュー
タプロセシングユニットによって取得されてもよい。特定された起こり得る不正行為はさ
らに、別のタイプのデータフィード上で行われた分析に基づいて検証されてもよい。ビデ
オフィードは、取引エリアに置かれた商品を監視するビデオソースから取得されてもよい
。想定外重量データは、重量センサからの重量測定値を分析した結果であってもよい。重
量センサは、袋に詰めるエリアに置かれている商品の重量を測定する。想定外重量データ
は、商品の重量が想定内重量許容差と一致しないときに取得されてもよい。
れる商品を監視することによって生成されるデータフィードを分析するように動作可能で
あってもよい。データフィードは、ビデオフィード、取引データ、および想定外重量デー
タを含んでもよい。データフィードは、起こり得る不正行為を特定するためにコンピュー
タプロセシングユニットによって取得されてもよい。特定された起こり得る不正行為はさ
らに、別のタイプのデータフィード上で行われた分析に基づいて検証されてもよい。ビデ
オフィードは、取引エリアに置かれた商品を監視するビデオソースから取得されてもよい
。想定外重量データは、重量センサからの重量測定値を分析した結果であってもよい。重
量センサは、袋に詰めるエリアに置かれている商品の重量を測定する。想定外重量データ
は、商品の重量が想定内重量許容差と一致しないときに取得されてもよい。
一実施形態では、想定内重量許容差は、商品に割り当てられた条件を満たした重量の範
囲であってもよい。例えば、リンゴは、リンゴの平均重量に基づいて、想定内重量許容差
に割り当てられてもよい。
囲であってもよい。例えば、リンゴは、リンゴの平均重量に基づいて、想定内重量許容差
に割り当てられてもよい。
別の実施形態では、想定外重量データは、商品の重量が、想定内重量許容差によって指
定された条件を満たした重量の範囲外であることを示してもよい。商品の重量が、想定内
重量許容差外にある場合、想定外重量データは、起こり得る不正行為を特定してもよい。
定された条件を満たした重量の範囲外であることを示してもよい。商品の重量が、想定内
重量許容差外にある場合、想定外重量データは、起こり得る不正行為を特定してもよい。
さらなる別の実施形態では、想定外重量データは、商品の重量が、想定内重量許容差内
にあることを示し、よって、起こり得る不正行為を否定してもよい。
にあることを示し、よって、起こり得る不正行為を否定してもよい。
さらなる別の実施形態では、商品は、想定内重量許容差に割り当てられなくてもよい。
この実施形態では、想定外重量データは、商品が既存の重量許容差を有しておらず、した
がって、商品の重量が、想定内重量許容差に対応していないことを示すことによって、起
こり得る不正行為を特定してもよい。
この実施形態では、想定外重量データは、商品が既存の重量許容差を有しておらず、した
がって、商品の重量が、想定内重量許容差に対応していないことを示すことによって、起
こり得る不正行為を特定してもよい。
さらなる実施形態では、想定外重量データは、重量センサから測定された商品の重量と
、想定内重量許容差との間の差異を示してもよい。例えば、商品の重量が想定内重量許容
差よりも重く、かつ重量許容差外である場合、想定外重量データはそのような差異を示し
てもよい。想定内重量許容差はまた、単数（ｓｉｎｇｌｅ ｎｕｍｂｅｒ）であってもよ
く、想定外重量データは、同様の方法で差異を示してもよい。
、想定内重量許容差との間の差異を示してもよい。例えば、商品の重量が想定内重量許容
差よりも重く、かつ重量許容差外である場合、想定外重量データはそのような差異を示し
てもよい。想定内重量許容差はまた、単数（ｓｉｎｇｌｅ ｎｕｍｂｅｒ）であってもよ
く、想定外重量データは、同様の方法で差異を示してもよい。
セルフチェックアウト端末において起こり得る不正行為を検証する、開示される方法を
実行するシステムはさらに、人的検証を行う人的検証端末を含んでもよい。人的検証端末
は、ビデオフィードの一部を分析して、起こり得る不正行為を検証または特定してもよい
。
実行するシステムはさらに、人的検証を行う人的検証端末を含んでもよい。人的検証端末
は、ビデオフィードの一部を分析して、起こり得る不正行為を検証または特定してもよい
。
一実施形態では、コンピュータプロセシングユニットは、ビデオフィードを修正するよ
うに動作可能であってもよく、そこで、ビデオフィードが簡易化されてもよい。ビデオ分
析によって操作される人的検証端末が、修正されたビデオフィードを、人的検証を介して
リアルタイムで処理することができるように、ビデオの修正はビデオフィードを簡易化す
る。人的検証の詳細な処理は、本開示でさらに開示される。
うに動作可能であってもよく、そこで、ビデオフィードが簡易化されてもよい。ビデオ分
析によって操作される人的検証端末が、修正されたビデオフィードを、人的検証を介して
リアルタイムで処理することができるように、ビデオの修正はビデオフィードを簡易化す
る。人的検証の詳細な処理は、本開示でさらに開示される。
ビデオフィードを簡易化することは、ビデオフィードの一部を検証するために、それを
短期間の断片（ｓｈｏｒｔ−ｄｕｒａｔｉｏｎ ｓｎｉｐｐｅｔ）にクリップできるほど
簡易であってもよい。また、それは、人的検証を促進するために、画像処理を含んでもよ
い。さらに、それは、ビデオフィードからスナップショットをとることを含んでもよい。
加えて、検証目的の一貫性のためにビデオの調査を規則化するように、それは、ビデオフ
ィードを回転すること、ビデオフィードをスケーリングすること、およびビデオフィード
に対して他のアフィン変換を実行することを含んでもよい。それらの全てが、ビデオフィ
ードの簡易化として理解されることになる。
短期間の断片（ｓｈｏｒｔ−ｄｕｒａｔｉｏｎ ｓｎｉｐｐｅｔ）にクリップできるほど
簡易であってもよい。また、それは、人的検証を促進するために、画像処理を含んでもよ
い。さらに、それは、ビデオフィードからスナップショットをとることを含んでもよい。
加えて、検証目的の一貫性のためにビデオの調査を規則化するように、それは、ビデオフ
ィードを回転すること、ビデオフィードをスケーリングすること、およびビデオフィード
に対して他のアフィン変換を実行することを含んでもよい。それらの全てが、ビデオフィ
ードの簡易化として理解されることになる。
複数のデータフィードは、セルフチェックアウト端末において取引される商品ごとに生
成されてもよい。起こり得る不正行為は、最初に、複数のデータフィードの１つによって
トリガされ、次に検証されてもよい。典型的には、セルフチェックアウト端末は、起こり
得る不正行為に最初にフラグを設定する（ｆｌａｇ）ことができる内臓型機構を有する。
最初にフラグを設定される起こり得る不正行為が、アラートまたは介入を必要とすること
を保証するために、複数のデータフィードのうちの２つ以上が、起こり得る不正行為を検
証するのに利用され、起こり得る不正行為を確認または否認してもよい。複数のデータフ
ィードの各々が、セルフチェックアウト端末と電気的に通信するコンピュータプロセシン
グユニットに送信されてもよい。複数のデータフィードの各々が、プリセットされたデー
タと比較して分析されてもよい。
成されてもよい。起こり得る不正行為は、最初に、複数のデータフィードの１つによって
トリガされ、次に検証されてもよい。典型的には、セルフチェックアウト端末は、起こり
得る不正行為に最初にフラグを設定する（ｆｌａｇ）ことができる内臓型機構を有する。
最初にフラグを設定される起こり得る不正行為が、アラートまたは介入を必要とすること
を保証するために、複数のデータフィードのうちの２つ以上が、起こり得る不正行為を検
証するのに利用され、起こり得る不正行為を確認または否認してもよい。複数のデータフ
ィードの各々が、セルフチェックアウト端末と電気的に通信するコンピュータプロセシン
グユニットに送信されてもよい。複数のデータフィードの各々が、プリセットされたデー
タと比較して分析されてもよい。
プリセットされたデータは、店舗において販売されている各商品に割り当てられた想定
内データフィードを指す２。プリセットされたデータの例は、想定内重量許容差、商品の
想定内形状、および商品の想定内カウント数などを含んでもよいが、それらに限定されな
い。
内データフィードを指す２。プリセットされたデータの例は、想定内重量許容差、商品の
想定内形状、および商品の想定内カウント数などを含んでもよいが、それらに限定されな
い。
一実施形態では、起こり得る不正行為は、重量センサを利用して検証されてもよい。重
量センサは、セルフチェックアウト端末の袋に詰めるエリアに電気的に結合されてもよく
、袋に詰めるエリアに置かれた商品の重量を提供する。提供される商品の重量は、商品の
想定内重量許容差と比較されてもよい。
量センサは、セルフチェックアウト端末の袋に詰めるエリアに電気的に結合されてもよく
、袋に詰めるエリアに置かれた商品の重量を提供する。提供される商品の重量は、商品の
想定内重量許容差と比較されてもよい。
想定内重量許容差は、店舗において販売されている各商品に割り当てられてもよく、条
件を満たすことができる許容差レベルを設定する。商品の重量が商品の想定内重量許容差
を上回り、または下回るとき、商品は、起こり得る不正行為としてフラグを設定されても
よい。商品は、２つ以上の想定内重量許容差が割り当てられてもよい。例えば、商品は、
１つ購入すると１つが無料になるイベント（ａ ｂｕｙ ｏｎｅ ｇｅｔ ｏｎｅ ｆｒ
ｅｅ ｅｖｅｎｔ）の間に、ボーナス商品を伴ってもよい。
件を満たすことができる許容差レベルを設定する。商品の重量が商品の想定内重量許容差
を上回り、または下回るとき、商品は、起こり得る不正行為としてフラグを設定されても
よい。商品は、２つ以上の想定内重量許容差が割り当てられてもよい。例えば、商品は、
１つ購入すると１つが無料になるイベント（ａ ｂｕｙ ｏｎｅ ｇｅｔ ｏｎｅ ｆｒ
ｅｅ ｅｖｅｎｔ）の間に、ボーナス商品を伴ってもよい。
想定内重量許容差は、袋に詰めるエリアに置かれている商品を捕捉するのに利用されて
もよい（その商品が店舗において分類された商品ではない場合）。そのようなケースでは
、想定内重量許容差は、店舗において分類された商品ではない重量を有する商品にフラグ
を設定するためにデフォルトでゼロに設定されてもよい。
もよい（その商品が店舗において分類された商品ではない場合）。そのようなケースでは
、想定内重量許容差は、店舗において分類された商品ではない重量を有する商品にフラグ
を設定するためにデフォルトでゼロに設定されてもよい。
したがって、想定外重量データは、本明細書で開示されたように生成されてもよい。重
量センサからの商品の重量が想定内重量許容差に対応しないときに、想定外重量データが
取得される場合、起こり得る不正行為は、想定外重量データに基づいて特定されてもよい
。
量センサからの商品の重量が想定内重量許容差に対応しないときに、想定外重量データが
取得される場合、起こり得る不正行為は、想定外重量データに基づいて特定されてもよい
。
別の実施形態では、起こり得る不正行為を検証するのにビデオ分析が利用されてもよい
。ビデオフィードは、取引エリアにおける行為を監視するビデオソースによって生成され
てもよい。取引エリアは、セルフチェックアウト端末の或る区画に限定されないが、セル
フチェックアウト端末の周囲のエリアを含んでもよい。ビデオ分析は、コンピュータプロ
セシングユニットを介して行われてもよく、そこでは、ビデオフィードがフレームごとに
分析されて、起こり得る不正行為を特定する。フレームごとの分析は、そのような行為が
、起こり得る不正行為でないことがある場合に、店舗において販売されていない商品を特
定してもよい。袋に詰めるエリアに置かれる前、および置かれた後の商品のビデオフィー
ドが分析されて、起こり得る不正行為を検証してもよい。種々のビデオ分析技術が利用可
能であり、かつ本発明に関連するビデオ分析の方法および処理が、参照によって本明細書
に組み込まれる。
。ビデオフィードは、取引エリアにおける行為を監視するビデオソースによって生成され
てもよい。取引エリアは、セルフチェックアウト端末の或る区画に限定されないが、セル
フチェックアウト端末の周囲のエリアを含んでもよい。ビデオ分析は、コンピュータプロ
セシングユニットを介して行われてもよく、そこでは、ビデオフィードがフレームごとに
分析されて、起こり得る不正行為を特定する。フレームごとの分析は、そのような行為が
、起こり得る不正行為でないことがある場合に、店舗において販売されていない商品を特
定してもよい。袋に詰めるエリアに置かれる前、および置かれた後の商品のビデオフィー
ドが分析されて、起こり得る不正行為を検証してもよい。種々のビデオ分析技術が利用可
能であり、かつ本発明に関連するビデオ分析の方法および処理が、参照によって本明細書
に組み込まれる。
さらなる別の実施形態では、起こり得る不正行為を検証するために、取引データがビデ
オ分析に相互に関連付けられてもよい。そのような方法および処理はまた、上述した参照
による組み込みによって、提供されている。
オ分析に相互に関連付けられてもよい。そのような方法および処理はまた、上述した参照
による組み込みによって、提供されている。
セルフチェックアウト端末において発生する起こり得る不正行為は、介入が必要である
かを判定するために検証されてもよい。介入は、セルフチェックアウト端末を停止させる
ことなど、セルフチェックアウト端末に電気的に提供されるアラートの形式であってもよ
い。セルフチェックアウトの係員が介入を進めることができる場合、アラートは、セルフ
チェックアウトの係員に提供されてもよい。
かを判定するために検証されてもよい。介入は、セルフチェックアウト端末を停止させる
ことなど、セルフチェックアウト端末に電気的に提供されるアラートの形式であってもよ
い。セルフチェックアウトの係員が介入を進めることができる場合、アラートは、セルフ
チェックアウトの係員に提供されてもよい。
一実施形態では、起こり得る不正行為が複数のデータフィードのうちの２つに基づいて
確認される場合に、アラートが発行されてもよい。
確認される場合に、アラートが発行されてもよい。
別の実施形態では、複数のデータフィードのうちの１つによって特定される起こり得る
不正行為が誤検出のケースを示した場合に、アラートが否定されてもよい。
不正行為が誤検出のケースを示した場合に、アラートが否定されてもよい。
さらなる別の実施形態では、複数のデータフィードの各々が異なる結果を示す場合でさ
え、アラートが発行されてもよい。この実施形態では、起こり得る不正行為をさらに検証
するために人的検証が行われてもよい。例として、ビデオフィードに基づいて、バナナの
房が単一のバナナとして検証されてもよいが、バナナの房は、房のバナナの数に応じて想
定内重量許容差外にあってもよい。そのようなケースでは、アラートを発行する前に、人
的検証はさらに起こり得る不正行為を検証してもよい。
え、アラートが発行されてもよい。この実施形態では、起こり得る不正行為をさらに検証
するために人的検証が行われてもよい。例として、ビデオフィードに基づいて、バナナの
房が単一のバナナとして検証されてもよいが、バナナの房は、房のバナナの数に応じて想
定内重量許容差外にあってもよい。そのようなケースでは、アラートを発行する前に、人
的検証はさらに起こり得る不正行為を検証してもよい。
起こり得る不正行為は、人的検証によってさらに検証されてもよい。人的検証は、ビデ
オソースによって生成されたビデオフィードを利用してもよい。ビデオフィードは修正さ
れてもよく、そこでは、ビデオフィードが簡易化され、そして修正されたビデオフィード
は、コンピュータプロセシングユニットから人的検証端末に送信され、その後に修正され
たビデオが、起こり得る不正行為を確認するかを検証してもよい。検証の他の機械対応手
段によって、起こり得る不正行為を検証することが困難であり、かつ／または分かりにく
い場合、人的検証が有益であると理解されることがある。人的検証端末は、ビデオ分析に
よって操作されてもよい。
オソースによって生成されたビデオフィードを利用してもよい。ビデオフィードは修正さ
れてもよく、そこでは、ビデオフィードが簡易化され、そして修正されたビデオフィード
は、コンピュータプロセシングユニットから人的検証端末に送信され、その後に修正され
たビデオが、起こり得る不正行為を確認するかを検証してもよい。検証の他の機械対応手
段によって、起こり得る不正行為を検証することが困難であり、かつ／または分かりにく
い場合、人的検証が有益であると理解されることがある。人的検証端末は、ビデオ分析に
よって操作されてもよい。
一実施形態では、複数のデータフィードによって検証される、起こり得る不正行為を確
認する最終ステップとして、人的検証が行われてもよい。
認する最終ステップとして、人的検証が行われてもよい。
本明細書で開示されるビデオフィードの修正は、人的検証を促進するのに使用すること
ができる画像分析および処理手法を含んでもよい。非限定的な例として、そのような修正
は、不一致の領域を示すのに１つ以上の画像間の差異を強調表示すること、紛らわしい細
部を取り除き、かつシーン（ｓｃｅｎｅ）の関連のあるエリアに焦点を絞るのに画像をト
リミングまたはマスキングすること、画像を一貫した典型的景観（ｃａｎｏｎｉｃａｌ
ｖｉｅｗ）にするように、画像を回転および変換すること（アフィンおよび非線形の両方
、例えば、回転、伸張、刈り込み、ミラー化、歪みの除去など）、商品が持ち込まれ、撤
去され、操作され、または移動される画像の領域を強調表示すること、オプティカルフロ
ーを強調表示すること、動きの軌跡を強調表示すること、製品の以前に正当であると確認
された商品を強調表示すること、取引ログおよびセルフチェックアウトイベント情報（例
えば、重量センサ情報、スキャナ情報、袋不要ボタン（ｓｋｉｐ−ｂａｇｇｉｎｇ ｂｕ
ｔｔｏｎ）、顧客存在検出情報、電子商品セキュリティタグの非活性化、タグ除去など）
をオーバレイすること、特定の行為に対して指定された特定の画像領域を強調表示するこ
と（例えば、入力エリア、出力エリアなど）、を含んでもよいが、それらに限定されない
。
ができる画像分析および処理手法を含んでもよい。非限定的な例として、そのような修正
は、不一致の領域を示すのに１つ以上の画像間の差異を強調表示すること、紛らわしい細
部を取り除き、かつシーン（ｓｃｅｎｅ）の関連のあるエリアに焦点を絞るのに画像をト
リミングまたはマスキングすること、画像を一貫した典型的景観（ｃａｎｏｎｉｃａｌ
ｖｉｅｗ）にするように、画像を回転および変換すること（アフィンおよび非線形の両方
、例えば、回転、伸張、刈り込み、ミラー化、歪みの除去など）、商品が持ち込まれ、撤
去され、操作され、または移動される画像の領域を強調表示すること、オプティカルフロ
ーを強調表示すること、動きの軌跡を強調表示すること、製品の以前に正当であると確認
された商品を強調表示すること、取引ログおよびセルフチェックアウトイベント情報（例
えば、重量センサ情報、スキャナ情報、袋不要ボタン（ｓｋｉｐ−ｂａｇｇｉｎｇ ｂｕ
ｔｔｏｎ）、顧客存在検出情報、電子商品セキュリティタグの非活性化、タグ除去など）
をオーバレイすること、特定の行為に対して指定された特定の画像領域を強調表示するこ
と（例えば、入力エリア、出力エリアなど）、を含んでもよいが、それらに限定されない
。
起こり得る不正行為の検証は、人的検証でリアルタイムに行われてもよい。
人的検証は、起こり得る不正行為の非人的対応検証方法における欠陥を補償すると考え
られてもよい。例えば、自動検証システムにおける自動パラメータのチューニングは、シ
ステムに特定の偽陽性率および真陽性率を与える。例えばそのようなシステムが、５０％
の真陽性率を得るようにチューニングされている場合、偽陽性率は非常に高いことがある
。このケースでは、自動的な手法と特定の人的検証との組合せによって、所望の真陽性量
（ｔｒｕｅ ｐｏｓｉｔｉｖｅ ｙｉｅｌｄ）を維持するとともに、偽陽性率をより処理
しやすいものに低減させることが可能な複合システムを得ることができる。
られてもよい。例えば、自動検証システムにおける自動パラメータのチューニングは、シ
ステムに特定の偽陽性率および真陽性率を与える。例えばそのようなシステムが、５０％
の真陽性率を得るようにチューニングされている場合、偽陽性率は非常に高いことがある
。このケースでは、自動的な手法と特定の人的検証との組合せによって、所望の真陽性量
（ｔｒｕｅ ｐｏｓｉｔｉｖｅ ｙｉｅｌｄ）を維持するとともに、偽陽性率をより処理
しやすいものに低減させることが可能な複合システムを得ることができる。
一実施形態では、人的検証は、ウェブサービスを利用して処理されてもよい。修正され
たビデオフィードは、インターネット接続へのアクセスを有するウェブサービスを利用す
る、ウェブブラウザを介して通信されてもよい。人的検証を行うアナリストは、コンピュ
ータプロセシングユニットから送信されるアラートを検討および検証するためにウェブア
プリケーションを利用してもよい。検証／確認のためのイベントドリブンインタフェース
を作成するために、ウェブアプリケーションは、長期のポーリング機構を介してウェブサ
ービスを呼び出してもよい。検証ジョブがウェブサービスにない場合、長期のポーリング
機構は最終的にタイムアウトし、かつウェブアプリケーションによって即時に再確立され
てもよい。ジョブが利用可能な場合、長期のポーリング呼び出しは、ジョブの詳細を返却
する。後続のウェブ呼び出しは、ウェブアプリケーションから、ジョブをサポートするウ
ェブサービスに対してなされてもよい。その間に、ＤＶＡが人的検証を要求するジョブを
有しているとき、それはジョブの詳細を有するウェブサービスを呼び出す。この呼び出し
は、即時に返却しなくてもよい。
たビデオフィードは、インターネット接続へのアクセスを有するウェブサービスを利用す
る、ウェブブラウザを介して通信されてもよい。人的検証を行うアナリストは、コンピュ
ータプロセシングユニットから送信されるアラートを検討および検証するためにウェブア
プリケーションを利用してもよい。検証／確認のためのイベントドリブンインタフェース
を作成するために、ウェブアプリケーションは、長期のポーリング機構を介してウェブサ
ービスを呼び出してもよい。検証ジョブがウェブサービスにない場合、長期のポーリング
機構は最終的にタイムアウトし、かつウェブアプリケーションによって即時に再確立され
てもよい。ジョブが利用可能な場合、長期のポーリング呼び出しは、ジョブの詳細を返却
する。後続のウェブ呼び出しは、ウェブアプリケーションから、ジョブをサポートするウ
ェブサービスに対してなされてもよい。その間に、ＤＶＡが人的検証を要求するジョブを
有しているとき、それはジョブの詳細を有するウェブサービスを呼び出す。この呼び出し
は、即時に返却しなくてもよい。
一実施形態では、ジョブは、ジョブを待機中のウェブアプリケーションクライアントに
渡す、ウェブサービスのジョブキューに入ってもよい。ジョブが完了すると、人的検証結
果が、待機中のコンピュータプロセシングユニット／ＤＶＡ呼び出しに渡される。
渡す、ウェブサービスのジョブキューに入ってもよい。ジョブが完了すると、人的検証結
果が、待機中のコンピュータプロセシングユニット／ＤＶＡ呼び出しに渡される。
損失インシデントは、ビデオ分析によって検証されてもよい。本明細書で考慮される損
失インシデントは、カート内の商品を顧客が放置するとき、盗難行為などを含んでもよい
が、それらに限定されない。損失インシデントは、商品が袋に詰めるエリアに置かれてい
ないときに発生することがあり、重量センサがその機能を実行することを不可能にする。
損失インシデントが本当に発生したか否かを検証するために、損失インシデントが人的検
証を受けてもよい。
失インシデントは、カート内の商品を顧客が放置するとき、盗難行為などを含んでもよい
が、それらに限定されない。損失インシデントは、商品が袋に詰めるエリアに置かれてい
ないときに発生することがあり、重量センサがその機能を実行することを不可能にする。
損失インシデントが本当に発生したか否かを検証するために、損失インシデントが人的検
証を受けてもよい。
一実施形態では、セルフチェックアウト端末における損失インシデントは、取引エリア
において商品を監視するビデオソースから生成されるビデオフィードを取得することによ
って、検証されてもよい。ビデオフィードは、取引時間の間の商品の部分的なビデオフィ
ードであってもよい。取引時間は、商品がセルフチェックアウト端末に持ち込まれてから
、支払が行われるのが成功するまでの期間を示す。コンピュータプロセシングユニットに
よって行われるビデオフィードのビデオ分析は、人的検証端末において行われる人的検証
によって検証されてもよい。損失インシデントが確認される場合、アラートまたは介入が
発行されてもよい。
において商品を監視するビデオソースから生成されるビデオフィードを取得することによ
って、検証されてもよい。ビデオフィードは、取引時間の間の商品の部分的なビデオフィ
ードであってもよい。取引時間は、商品がセルフチェックアウト端末に持ち込まれてから
、支払が行われるのが成功するまでの期間を示す。コンピュータプロセシングユニットに
よって行われるビデオフィードのビデオ分析は、人的検証端末において行われる人的検証
によって検証されてもよい。損失インシデントが確認される場合、アラートまたは介入が
発行されてもよい。
次に図１を参照して、セルフチェックアウト端末において起こり得る不正行為を検証す
る方法の実施形態が説明される。最初に、セルフチェックアウト端末は起こり得る介入に
フラグを設定し（１０１）、介入またはアラートは、セルフチェックアウト端末における
インシデントが不正行為である場合に必要とされることがある。セルフチェックアウト端
末は最初に、取引される商品を監視することによってセルフチェックアウト端末から生成
されるデータフィードを取得し、かつ起こり得る不正行為を特定してもよい。セルフチェ
ックアウト端末は、特定された起こり得る不正行為の検証を要求する（１０２）。中央プ
ロセシングユニットは、インシデントを処理し（１０３）、かつ介入が必要とされるかを
判定するために、複数のデータフィードを利用してもよい。複数のデータは、起こり得る
不正行為が確認または否定されるかを検証するために分析されてもよい。起こり得る不正
行為を確認または否定するために、人的検証が任意選択で適用されてもよい（１０８）。
る方法の実施形態が説明される。最初に、セルフチェックアウト端末は起こり得る介入に
フラグを設定し（１０１）、介入またはアラートは、セルフチェックアウト端末における
インシデントが不正行為である場合に必要とされることがある。セルフチェックアウト端
末は最初に、取引される商品を監視することによってセルフチェックアウト端末から生成
されるデータフィードを取得し、かつ起こり得る不正行為を特定してもよい。セルフチェ
ックアウト端末は、特定された起こり得る不正行為の検証を要求する（１０２）。中央プ
ロセシングユニットは、インシデントを処理し（１０３）、かつ介入が必要とされるかを
判定するために、複数のデータフィードを利用してもよい。複数のデータは、起こり得る
不正行為が確認または否定されるかを検証するために分析されてもよい。起こり得る不正
行為を確認または否定するために、人的検証が任意選択で適用されてもよい（１０８）。
複数のデータのうちの１つ以上の分析が、起こり得る不正行為が実際に不正なものであ
ることを確認する場合（１０４）、セルフチェックアウト端末は、介入を要求してもよく
（１０６）、介入は、アラートがセルフチェックアウトユニット上で現れ、またはアラー
トがセルフチェックアウトの係員に送信され、セルフチェックアウト端末において処理さ
れる取引に介入するよう通知する、形式で提供されてもよい。
ることを確認する場合（１０４）、セルフチェックアウト端末は、介入を要求してもよく
（１０６）、介入は、アラートがセルフチェックアウトユニット上で現れ、またはアラー
トがセルフチェックアウトの係員に送信され、セルフチェックアウト端末において処理さ
れる取引に介入するよう通知する、形式で提供されてもよい。
複数のデータのうちの１つ以上の分析が、起こり得る不正行為を否定する場合（１０５
）、インシデントが無視されてもよく、介入が行われない（１０７）。
）、インシデントが無視されてもよく、介入が行われない（１０７）。
図２は、セルフチェックアウト端末において損失インシデントを特定する方法の実施形
態を示す。損失インシデント２０１がセルフチェックアウト端末において発生するとき、
中央プロセシングユニットによって視覚分析２０２が行われて、損失インシデントが確認
され、または誤りであるかを検証してもよい。中央プロセシングユニットは、視覚分析か
ら損失インシデントを特定し（２０３）、かつセルフチェックアウトユニットに警告し（
２０４）、それによって、介入が要求される。損失インシデントに対して行われる視覚分
析を確認または否定するために、人的検証（２０６）が任意選択で適用されてもよい。そ
の後に介入が要求され得る損失インシデントが確認されると、アラートがセルフチェック
アウトユニットに提供される（２０５）。
態を示す。損失インシデント２０１がセルフチェックアウト端末において発生するとき、
中央プロセシングユニットによって視覚分析２０２が行われて、損失インシデントが確認
され、または誤りであるかを検証してもよい。中央プロセシングユニットは、視覚分析か
ら損失インシデントを特定し（２０３）、かつセルフチェックアウトユニットに警告し（
２０４）、それによって、介入が要求される。損失インシデントに対して行われる視覚分
析を確認または否定するために、人的検証（２０６）が任意選択で適用されてもよい。そ
の後に介入が要求され得る損失インシデントが確認されると、アラートがセルフチェック
アウトユニットに提供される（２０５）。
図３は、ビデオ分析によって行われる人的検証に対して送信されるビデオフィードの修
正の実施形態を示している。図３は、スキャンされる商品の修正されたビデオフィードを
示している。最初に、スキャン時間に撮られたスナップショットが示され、その後に、袋
に詰める時間に撮られたスナップショットが示される。スナップショットの差異を示すこ
とによって、修正されたビデオフィードが強調表示され、強調表示は、袋に詰めるエリア
における関連のある変更を示している。そして、モルフォロジー演算およびブロブベース
の接続されたコンポーネント分析（ｂｌｏｂ ｂａｓｅｄ ｃｏｎｎｅｃｔｅｄ ｃｏｍ
ｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）がその後に続く閾値化処理を介して、強調表示された
ビデオフィードの輪郭が取得されて、ビデオフィードを簡易化して、袋に詰めるエリアに
加えられる単一の商品を示す。
正の実施形態を示している。図３は、スキャンされる商品の修正されたビデオフィードを
示している。最初に、スキャン時間に撮られたスナップショットが示され、その後に、袋
に詰める時間に撮られたスナップショットが示される。スナップショットの差異を示すこ
とによって、修正されたビデオフィードが強調表示され、強調表示は、袋に詰めるエリア
における関連のある変更を示している。そして、モルフォロジー演算およびブロブベース
の接続されたコンポーネント分析（ｂｌｏｂ ｂａｓｅｄ ｃｏｎｎｅｃｔｅｄ ｃｏｍ
ｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）がその後に続く閾値化処理を介して、強調表示された
ビデオフィードの輪郭が取得されて、ビデオフィードを簡易化して、袋に詰めるエリアに
加えられる単一の商品を示す。
図４は、人的検証の実施形態を提供する。最初に、人的検証要求４０２を受信すること
によって人的検証が行われてもよい。介入のアラートを送信する前に、人的検証は、ＤＶ
Ａ４００または中央プロセシングユニットによって開始されてもよい（４０１）。ビデオ
ソースからのビデオフィードが修正されてもよく、かつウェブサービス４０４に送信され
てもよい。次に、修正されたビデオフィード（画像Ｔ−ＬＯＧ）は、ジョブクリエータ４
０３によって、ジョブキュー４０６において待ち行列に入れられる。処理されることにな
る人的検証ジョブが送信されると（４０７）、ビデオアナリストは、人的検証端末４０８
またはウェブアプリケーション（ＷＡ）を使用して、修正されたビデオフィードの人的検
証を行う。人的検証ジョブが完了すると（４０５）、人的検証の応答４０９がＤＶＡに返
信される。
によって人的検証が行われてもよい。介入のアラートを送信する前に、人的検証は、ＤＶ
Ａ４００または中央プロセシングユニットによって開始されてもよい（４０１）。ビデオ
ソースからのビデオフィードが修正されてもよく、かつウェブサービス４０４に送信され
てもよい。次に、修正されたビデオフィード（画像Ｔ−ＬＯＧ）は、ジョブクリエータ４
０３によって、ジョブキュー４０６において待ち行列に入れられる。処理されることにな
る人的検証ジョブが送信されると（４０７）、ビデオアナリストは、人的検証端末４０８
またはウェブアプリケーション（ＷＡ）を使用して、修正されたビデオフィードの人的検
証を行う。人的検証ジョブが完了すると（４０５）、人的検証の応答４０９がＤＶＡに返
信される。
図５は、セルフチェックアウト端末において起こり得る不正行為を検証するシステムの
実施形態を示している。コンピュータプロセシングユニット５０９は、セルフチェックア
ウト端末５０８と通信する。セルフチェックアウト端末５０８は、袋に詰めるエリア５０
５に置かれた複数の商品の重量を測定する重量センサ５０６に、通信可能に結合される。
コンピュータプロセシングユニット５０９と電気的に通信するビデオカメラ５０７は、カ
ート５０２および顧客５０３を監視することもできる取引エリア５０１、５０４における
行為を監視してもよい。この実施形態では、ビデオフィードがビデオカメラによって生成
され、かつ中央プロセシングユニットに送信される。コンピュータプロセシングユニット
は、ビデオフィードに基づいて、起こり得る不正行為を特定してもよい。また、起こり得
る不正行為を検証する本システムに、重量センサが利用されてもよい。想定外重量データ
は、複数の商品の各々の重量、および複数の商品の各々に対応する想定内重量許容差に基
づいて、起こり得る不正行為を特定してもよい。コンピュータプロセシングユニットは、
想定外重量データに基づいて、提供されることになるアラート／介入を許可してもよい。
実施形態を示している。コンピュータプロセシングユニット５０９は、セルフチェックア
ウト端末５０８と通信する。セルフチェックアウト端末５０８は、袋に詰めるエリア５０
５に置かれた複数の商品の重量を測定する重量センサ５０６に、通信可能に結合される。
コンピュータプロセシングユニット５０９と電気的に通信するビデオカメラ５０７は、カ
ート５０２および顧客５０３を監視することもできる取引エリア５０１、５０４における
行為を監視してもよい。この実施形態では、ビデオフィードがビデオカメラによって生成
され、かつ中央プロセシングユニットに送信される。コンピュータプロセシングユニット
は、ビデオフィードに基づいて、起こり得る不正行為を特定してもよい。また、起こり得
る不正行為を検証する本システムに、重量センサが利用されてもよい。想定外重量データ
は、複数の商品の各々の重量、および複数の商品の各々に対応する想定内重量許容差に基
づいて、起こり得る不正行為を特定してもよい。コンピュータプロセシングユニットは、
想定外重量データに基づいて、提供されることになるアラート／介入を許可してもよい。
好ましい実施形態または特定の実施形態の例によって、本発明の幾つかの変形形態が例
示されてきたが、本発明の趣旨および範囲、またはそれらの発明概念内で、さらなる実施
形態を発展することができることが明らかである。しかしながら、そのような修正形態お
よび適応形態が本発明の趣旨および範囲内にあり、かつ以下の特許請求の範囲に記載を含
むがそれに限定されないことを明確に理解するべきである。
示されてきたが、本発明の趣旨および範囲、またはそれらの発明概念内で、さらなる実施
形態を発展することができることが明らかである。しかしながら、そのような修正形態お
よび適応形態が本発明の趣旨および範囲内にあり、かつ以下の特許請求の範囲に記載を含
むがそれに限定されないことを明確に理解するべきである。
Claims (16)
- セルフチェックアウト端末において顧客による盗難に対して発行される誤検出のアラートを減少させる方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
ビデオソースから生成されるとともに、取引時間の少なくとも一部の間に前記セルフチェックアウト端末の取引エリアに置かれる商品を監視することによって生成されるビデオフィードを分析することによって、前記盗難を選択的に否定または確認するものである前記盗難の第１の識別を取得するステップと、
データソースから生成されるとともに、前記取引時間の少なくとも一部の間に前記商品を監視することによって生成されるデータフィードを分析することによって、前記盗難を選択的に否定または確認するものである前記盗難の第２の識別を取得するステップと、
前記第１および第２の識別の少なくとも一方が前記盗難を確認しない場合に、前記盗難を誤検出事象として識別するステップと、
を備え、
データソースからのデータフィードを分析することによって前記盗難の第２の識別を取得する前記ステップは、
取引データからの前記データフィードを分析するステップであって、前記取引データは、前記商品が前記セルフチェックアウト端末でスキャンされる時に前記セルフチェックアウト端末から生成される、ステップと、
重量センサからの前記データフィードを分析するステップであって、前記重量センサは、前記重量センサに置かれた前記商品の重量を検出する、ステップと
の少なくとも１つを含む、方法。 - 前記ビデオフィードを修正するステップであって、前記ビデオフィードは簡易化される、ステップと、
人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
前記盗難を確認するために、人的検証端末から人的検証応答を受信するステップと、
をさらに備え
る、請求項１に記載の方法。 - 前記第１および第２の識別の両方が前記盗難を確認するものの、前記人的検証応答が前記盗難を確認しない場合に、前記盗難を前記誤検出事象として識別するステップ、
をさらに備える、請求項２に記載の方法。 - 前記ビデオフィードを修正する前記ステップは、
前記ビデオフィードを強調するステップと、
前記ビデオフィードの２つ以上のフレーム間の差異を強調するステップと、
前記ビデオフィードをクリップして短時間の断片にするステップと、
前記ビデオフィードへアフィン変換を適用するステップと、
の少なくとも１つを含む、請求項２に記載の方法。 - 前記重量センサからの前記データフィードを分析する前記ステップは、
前記セルフチェックアウト端末から、前記商品の前記重量を受信するステップであって、前記重量センサは、前記セルフチェックアウト端末と通信可能に結合され、前記セルフチェックアウト端末は、前記重量センサに置かれている前記商品の前記重量を取得する、ステップと、
前記商品の前記重量を想定内重量許容差と比較することによって、前記第２の識別を取得するステップと
を含む、請求項１に記載の方法。 - 前記第１および第２の識別の両方が前記盗難を確認する場合に、アラートを発行するステップ、
をさらに備える、請求項１に記載の方法。 - セルフチェックアウト端末において盗難に対して発行される誤検出のアラートを減少させる方法であって、前記方法は、コンピュータプロセシングユニットを介して動作し、
ビデオソースから生成されるとともに、取引時間の少なくとも一部の間に前記セルフチェックアウト端末の取引エリアに置かれる商品を監視することによって生成されるビデオフィードをフレームごとに分析することによって、前記盗難を選択的に否定または確認するものである前記盗難の第１の識別を取得するステップと、
重量センサが、前記セルフチェックアウト端末に通信可能に結合されており、前記セルフチェックアウト端末が前記重量センサに置かれている前記商品の重量を取得し、前記商品の前記重量を分析することによって、前記盗難を選択的に否定または確認するものである前記盗難の第２の識別を取得するステップであって、前記第２の識別は前記重量を想定内重量許容差と比較することによって取得される、ステップと、
前記第１および第２の識別の少なくとも一方が前記盗難を確認しない場合に、前記盗難を誤検出事象として識別するステップと、
を備える方法。 - ビデオフィードを修正するステップであって、前記ビデオフィードは簡易化される、ステップと、
人的検証を行うために、前記修正されたビデオフィードを人的検証端末に送信するステップと、
前記盗難を確認するために、前記人的検証端末から人的検証応答を受信するステップと
をさらに備える、請求項７に記載の方法。 - 前記第１および第２の識別の少なくとも一方が前記盗難を確認するものの、前記人的検証応答が前記盗難を確認しない場合に、前記盗難を前記誤検出事象として識別するステップ、
をさらに備える、請求項８に記載の方法。 - 前記ビデオフィードを修正する前記ステップは、
前記ビデオフィードを強調するステップと、
前記ビデオフィードの２つ以上のフレーム間の差異を強調するステップと、
前記ビデオフィードをクリップして短時間の断片にするステップと、
前記ビデオフィードへアフィン変換を適用するステップと、
の少なくとも１つを含む、請求項８に記載の方法。 - 前記第１および第２の識別の両方が前記盗難を確認する場合に、アラートを発行するステップ、
をさらに備える、請求項７に記載の方法。 - セルフチェックアウト端末において盗難に対して発行される誤検出のアラートを減少させるシステムであって、
コンピュータプロセシングユニットと通信可能に結合されたビデオソースであって、前記コンピュータプロセシングユニットは前記セルフチェックアウト端末と通信し、前記ビデオソースは、取引時間の少なくとも一部の間に商品を監視することによって、取引エリアに置かれた前記商品のビデオフィードを生成するように動作可能である、ビデオソースと、
前記セルフチェックアウト端末と通信可能に結合されたデータソースであって、前記データソースは前記取引時間の少なくとも一部の間に前記商品を監視することによってデータフィードを発生させ、前記データフィードは、前記データソースから前記コンピュータプロセシングユニットに送信される、データソースと、
コンピュータプロセシングユニットであって、
前記ビデオフィードを分析することによって、前記盗難を選択的に否定または確認するものである前記盗難の第１の識別を取得し、
前記データフィードを分析することによって、前記盗難を選択的に否定または確認するものである前記盗難の第２の識別を取得し、
前記第１および第２の識別の少なくとも一方が前記盗難を確認しない場合に、前記盗難を誤検出事象として識別する、
ように構成されたコンピュータプロセシングユニットと、
を備え、
データソースからのデータフィードを分析することによって前記盗難の第２の識別を取得する前記ステップは、
取引データからの前記データフィードを分析するステップであって、前記取引データは、前記商品が前記セルフチェックアウト端末でスキャンされる時に前記セルフチェックアウト端末から生成される、ステップと、
重量センサからの前記データフィードを分析するステップであって、前記重量センサは、前記重量センサに置かれた前記商品の重量を検出する、ステップと
の少なくとも１つを含む、
システム。 - 前記コンピュータプロセシングユニットと通信可能に結合された人的検証端末であって、前記人的検証端末は、前記コンピュータプロセシングユニットによって生成される簡易化されたビデオフィードを受信し、前記盗難を確かめる人的検証応答を送信する、人的検証端末をさらに備える、請求項１２に記載のシステム。
- 前記簡易化されたビデオフィードは、
前記ビデオフィードを強調するステップと、
前記ビデオフィードの２つ以上のフレーム間の差異を強調するステップと、
前記ビデオフィードをクリップして短時間の断片にするステップと、
前記ビデオフィードへアフィン変換を適用するステップと、
の少なくとも１つを含む、請求項１３に記載のシステム。 - 前記重量センサからの前記データフィードを分析する前記ステップは、
前記セルフチェックアウト端末から、前記商品の前記重量を受信するステップであって、前記重量センサは、前記セルフチェックアウト端末と通信可能に結合され、前記セルフチェックアウト端末は、前記重量センサに置かれている前記商品の前記重量を取得する、ステップと、
前記商品の前記重量を想定内重量許容差と比較することによって、前記第２の識別を取得するステップと
を含む、請求項１２に記載のシステム。 - 前記コンピュータプロセシングユニットはさらに、前記第１および第２の識別の両方が前記盗難を確認する場合に、アラートを発行するように構成された、請求項１２に記載のシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261740858P | 2012-12-21 | 2012-12-21 | |
| US61/740,858 | 2012-12-21 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015549865A Division JP6204491B2 (ja) | 2012-12-21 | 2013-12-23 | セルフチェックアウト端末における不正行為の検証 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018032404A JP2018032404A (ja) | 2018-03-01 |
| JP6550105B2 true JP6550105B2 (ja) | 2019-07-24 |
Family
ID=50029217
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015549865A Active JP6204491B2 (ja) | 2012-12-21 | 2013-12-23 | セルフチェックアウト端末における不正行為の検証 |
| JP2017164910A Active JP6550105B2 (ja) | 2012-12-21 | 2017-08-30 | セルフチェックアウト端末における不正行為の検証 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015549865A Active JP6204491B2 (ja) | 2012-12-21 | 2013-12-23 | セルフチェックアウト端末における不正行為の検証 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US9564031B2 (ja) |
| EP (2) | EP3699879A1 (ja) |
| JP (2) | JP6204491B2 (ja) |
| CN (1) | CN104885130B (ja) |
| WO (1) | WO2014100827A1 (ja) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11170331B2 (en) * | 2012-08-15 | 2021-11-09 | Everseen Limited | Virtual management system data processing unit and method with rules and alerts |
| US9892289B2 (en) * | 2012-12-07 | 2018-02-13 | Hand Held Products, Inc. | Reading RFID tags in defined spatial locations |
| JP6380543B2 (ja) * | 2014-09-19 | 2018-08-29 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP6266548B2 (ja) * | 2015-02-09 | 2018-01-24 | 東芝テック株式会社 | チェックアウトシステム、及び制御プログラム |
| US20160284000A1 (en) * | 2015-03-26 | 2016-09-29 | Toshiba Global Commerce Solutions Holdings Corporation | Systems and methods for indicating content characteristics of spaced-apart areas in a retail environment |
| US10332066B1 (en) | 2015-03-30 | 2019-06-25 | Amazon Technologies, Inc. | Item management system using weight |
| US10810540B1 (en) | 2015-03-30 | 2020-10-20 | Amazon Technologies, Inc. | Item determination based on weight data |
| EP3100648B1 (de) | 2015-06-03 | 2022-08-31 | Wincor Nixdorf International GmbH | Vorrichtung und verfahren zum identifizieren und verfolgen eines objektes |
| WO2017031313A1 (en) * | 2015-08-20 | 2017-02-23 | Invue Security Products Inc. | Security system with benefit denial functionality |
| EP3147850A1 (en) * | 2015-09-22 | 2017-03-29 | Datalogic IP Tech S.r.l. | Shopping cart monitoring system and method for store checkout |
| CN106644802A (zh) * | 2015-10-28 | 2017-05-10 | 青岛海尔智能技术研发有限公司 | 饮品纯净度检测方法、检测装置及饮品展示柜 |
| US20170251183A1 (en) * | 2016-02-29 | 2017-08-31 | Ncr Corporation | Identification and imaging of terminal-proximate event occurences |
| JP6781567B2 (ja) * | 2016-04-01 | 2020-11-04 | 東芝テック株式会社 | 計量装置 |
| CN107492216A (zh) * | 2016-06-13 | 2017-12-19 | 曹进 | 一种自助式购物结算与支付系统 |
| US9865104B1 (en) * | 2016-08-16 | 2018-01-09 | Honeywell International Inc. | Gesture encrypted access system based on multidimensional code |
| US11477415B2 (en) * | 2016-09-16 | 2022-10-18 | Ncr Corporation | Mechanism for video review at a self-checkout terminal |
| US11482082B2 (en) * | 2016-09-18 | 2022-10-25 | Ncr Corporation | Non-scan loss verification at self-checkout terminal |
| US10691950B2 (en) | 2017-03-10 | 2020-06-23 | Turing Video, Inc. | Activity recognition method and system |
| US11475671B2 (en) | 2017-05-26 | 2022-10-18 | Turing Video | Multiple robots assisted surveillance system |
| US11080976B2 (en) * | 2017-06-15 | 2021-08-03 | Ncr Corporation | Real time bypass detection in scanner |
| JP7278043B2 (ja) * | 2017-09-14 | 2023-05-19 | 株式会社Elements | 情報処理装置 |
| JP2019193089A (ja) * | 2018-04-24 | 2019-10-31 | 東芝テック株式会社 | 映像解析装置 |
| US10795635B2 (en) * | 2018-05-29 | 2020-10-06 | Forcepoint Llc | Systems and methods for spatial and temporal highlighting of changes to streaming image data |
| CN110866429B (zh) * | 2018-08-28 | 2024-03-08 | 阿里巴巴集团控股有限公司 | 漏扫识别方法、装置、自助收银终端及系统 |
| CN109214806B (zh) * | 2018-11-20 | 2022-01-04 | 北京京东尚科信息技术有限公司 | 自助结算方法、装置以及存储介质 |
| WO2020156108A1 (en) * | 2019-01-28 | 2020-08-06 | Shenzhen Malong Technologies Co., Ltd. | System and methods for monitoring retail transactions |
| US11599864B2 (en) * | 2019-03-07 | 2023-03-07 | Ncr Corporation | Contextual self-checkout based verification |
| US11212492B1 (en) | 2020-06-24 | 2021-12-28 | Ncr Corporation | Linked transaction camera with cached video log |
| JP2022108991A (ja) * | 2021-01-14 | 2022-07-27 | 東芝テック株式会社 | 不正行為認識装置及びその制御プログラム、不正行為認識方法 |
| JP2022110707A (ja) * | 2021-01-19 | 2022-07-29 | 東芝テック株式会社 | 監視装置、監視システム及び監視方法 |
| JP2022126371A (ja) * | 2021-02-18 | 2022-08-30 | 東芝テック株式会社 | 商品データ登録装置およびプログラム |
| US11810168B2 (en) * | 2021-04-02 | 2023-11-07 | Toshiba Global Commerce Solutions Holdings Corporation | Auditing mobile transactions based on symbol cues and transaction data |
| CN114023028B (zh) * | 2021-11-04 | 2023-08-04 | 成都新潮传媒集团有限公司 | 非机动车辆防盗预警方法、装置及存储介质 |
| JP7435716B2 (ja) | 2021-11-15 | 2024-02-21 | 日本電気株式会社 | 登録装置、登録方法及びプログラム |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3482229B2 (ja) * | 1993-11-19 | 2003-12-22 | 株式会社日立製作所 | チェックアウト装置 |
| US5747784A (en) * | 1996-10-22 | 1998-05-05 | Ncr Corporation | Method and apparatus for enhancing security in a self-service checkout station |
| NL1004940C2 (nl) * | 1997-01-07 | 1998-07-08 | Nedap Nv | Automatisch kassasysteem met zelfscanning. |
| US5965861A (en) * | 1997-02-07 | 1999-10-12 | Ncr Corporation | Method and apparatus for enhancing security in a self-service checkout terminal |
| US6056087A (en) * | 1997-09-29 | 2000-05-02 | Ncr Corporation | Method and apparatus for providing security to a self-service checkout terminal |
| US6047262A (en) * | 1998-03-02 | 2000-04-04 | Ncr Corporation | Method for providing security and enhancing efficiency during operation of a self-service checkout terminal |
| US6296185B1 (en) * | 1999-11-02 | 2001-10-02 | Ncr Corporation | Apparatus and method for operating a checkout system having a display monitor which displays both transaction information and customer-specific messages during a checkout transaction |
| WO2002037856A1 (en) * | 2000-11-06 | 2002-05-10 | Dynapel Systems, Inc. | Surveillance video camera enhancement system |
| US20030040925A1 (en) * | 2001-08-22 | 2003-02-27 | Koninklijke Philips Electronics N.V. | Vision-based method and apparatus for detecting fraudulent events in a retail environment |
| US20030078849A1 (en) * | 2001-10-23 | 2003-04-24 | Ncr Corporation | Self-checkout system having component video camera for produce purchase monitoring |
| JP4535486B2 (ja) * | 2003-10-16 | 2010-09-01 | 邦夫 麻生 | 購入商品収納カート及びレジスタシステム |
| US7516888B1 (en) * | 2004-06-21 | 2009-04-14 | Stoplift, Inc. | Method and apparatus for auditing transaction activity in retail and other environments using visual recognition |
| US8448858B1 (en) * | 2004-06-21 | 2013-05-28 | Stoplift, Inc. | Method and apparatus for detecting suspicious activity using video analysis from alternative camera viewpoint |
| US7631808B2 (en) * | 2004-06-21 | 2009-12-15 | Stoplift, Inc. | Method and apparatus for detecting suspicious activity using video analysis |
| CN101268478B (zh) * | 2005-03-29 | 2012-08-15 | 斯达普力特有限公司 | 采用视频分析检测可疑活动的方法及装置 |
| CN2911811Y (zh) * | 2005-08-26 | 2007-06-13 | 杭州优腾医药科技有限公司 | 医院用挂号、缴费多功能自助终端机 |
| CN201035657Y (zh) * | 2007-03-30 | 2008-03-12 | 杜军 | 大堂式自助缴费机 |
| US7909248B1 (en) * | 2007-08-17 | 2011-03-22 | Evolution Robotics Retail, Inc. | Self checkout with visual recognition |
| JP5444656B2 (ja) * | 2008-07-31 | 2014-03-19 | 株式会社寺岡精工 | Ｐｏｓシステム |
| JP2010044479A (ja) * | 2008-08-11 | 2010-02-25 | Ishida Co Ltd | Ｐｏｓ端末装置 |
| JP4751938B2 (ja) * | 2009-03-17 | 2011-08-17 | 東芝テック株式会社 | チェックアウト端末装置 |
| US10853856B2 (en) | 2011-06-06 | 2020-12-01 | Ncr Corporation | Notification system and methods for use in retail environments |
-
2013
- 2013-12-23 EP EP20168513.8A patent/EP3699879A1/en active Pending
- 2013-12-23 EP EP13824710.1A patent/EP2936461A1/en not_active Ceased
- 2013-12-23 US US14/139,731 patent/US9564031B2/en active Active
- 2013-12-23 CN CN201380067289.2A patent/CN104885130B/zh active Active
- 2013-12-23 JP JP2015549865A patent/JP6204491B2/ja active Active
- 2013-12-23 WO PCT/US2013/077607 patent/WO2014100827A1/en active Application Filing
-
2016
- 2016-12-22 US US15/389,427 patent/US10074016B2/en active Active
-
2017
- 2017-08-30 JP JP2017164910A patent/JP6550105B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20140176719A1 (en) | 2014-06-26 |
| CN104885130B (zh) | 2018-08-14 |
| JP6204491B2 (ja) | 2017-09-27 |
| EP2936461A1 (en) | 2015-10-28 |
| JP2018032404A (ja) | 2018-03-01 |
| EP3699879A1 (en) | 2020-08-26 |
| CN104885130A (zh) | 2015-09-02 |
| WO2014100827A1 (en) | 2014-06-26 |
| US9564031B2 (en) | 2017-02-07 |
| JP2016513296A (ja) | 2016-05-12 |
| US20170103266A1 (en) | 2017-04-13 |
| US10074016B2 (en) | 2018-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6550105B2 (ja) | セルフチェックアウト端末における不正行為の検証 | |
| US11257135B2 (en) | Notification system and methods for use in retail environments | |
| US20230013957A1 (en) | Non-Scan Loss Verification at Self-Checkout Terminal | |
| CN110866429B (zh) | 漏扫识别方法、装置、自助收银终端及系统 | |
| US20090039164A1 (en) | Methods and Apparatus for Image Recognition in Checkout Verification | |
| US10366379B2 (en) | Remote weigh station with delayed fraud intervention | |
| JP6648408B2 (ja) | 商品登録装置、プログラム、及び制御方法 | |
| CN109145701B (zh) | 扫描器中的实时旁路检测 | |
| US7565952B2 (en) | Small footprint self checkout method | |
| KR20110055566A (ko) | 다수의 라벨 검출을 갖는 전자 물품 감시 비활성화기 및 이를 위한 방법 | |
| WO2021176840A1 (ja) | 登録確認装置、制御方法、およびプログラム | |
| US11657400B2 (en) | Loss prevention using video analytics | |
| US20190378389A1 (en) | System and Method of Detecting a Potential Cashier Fraud | |
| JP2020074082A (ja) | 商品登録装置、プログラム、及び制御方法 | |
| CN115546703B (zh) | 自助收银的风险识别方法、装置、设备及存储介质 | |
| WO2023220677A1 (en) | Self-checkout verification systems and methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180911 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20181211 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190618 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190628 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6550105 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |