JP7318684B2 - 情報処理プログラム、情報処理方法、および情報処理装置 - Google Patents

情報処理プログラム、情報処理方法、および情報処理装置 Download PDF

Info

Publication number
JP7318684B2
JP7318684B2 JP2021126308A JP2021126308A JP7318684B2 JP 7318684 B2 JP7318684 B2 JP 7318684B2 JP 2021126308 A JP2021126308 A JP 2021126308A JP 2021126308 A JP2021126308 A JP 2021126308A JP 7318684 B2 JP7318684 B2 JP 7318684B2
Authority
JP
Japan
Prior art keywords
person
basket
image
product
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021126308A
Other languages
English (en)
Other versions
JP2023020759A (ja
Inventor
源太 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2021126308A priority Critical patent/JP7318684B2/ja
Priority to US17/873,460 priority patent/US20230034455A1/en
Priority to EP22187186.6A priority patent/EP4125020A1/en
Publication of JP2023020759A publication Critical patent/JP2023020759A/ja
Application granted granted Critical
Publication of JP7318684B2 publication Critical patent/JP7318684B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0081—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader the reader being a portable scanner or data reader
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/206—Point-of-sale [POS] network systems comprising security or operator identification provisions, e.g. password entry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19697—Arrangements wherein non-video detectors generate an alarm themselves

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Security & Cryptography (AREA)
  • Psychiatry (AREA)
  • Geometry (AREA)
  • Social Psychology (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Description

本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。
小売店においては、レジの混雑を解消するために、顧客自らが商品をスキャンして登録し、会計を行うシステムの導入が進んでいる。さらに近年では、顧客が、小売店の店舗内で貸し出される端末や顧客の所持する端末にインストールしたアプリケーションを用いて、レジ以外の場所、例えば、各商品を買い物カゴにピックアップした売場で商品スキャンを行うシステムの導入が始まっている。このような顧客自らが商品スキャンを行うシステムでは、万引きなどの不正行動を検知するため商品のスキャン漏れを検知することが必要になる。
一方、小売店において顧客の不正行動を検知するシステムとして、例えば、店舗内の監視カメラを使って、顧客の不審行動や、万引きなどの不正行動を検知するシステムが開発されている。
米国特許第８４４８８５８号明細書 米国特許出願公開第２０１６／０１８９２７７号明細書 特開２０２０－１３５４２２号公報 特開２０１３－０４１３５４号公報
しかしながら、顧客自らが商品スキャンを行うシステムでは、商品スキャンは必ずしも各商品の売場で行われる必要はなく、会計端末による購入商品の会計までに任意の場所で行われればよい。そのため、会計端末による会計時に、例えば、店員が目視によって買い物カゴに収容された商品を特定し、特定された商品に対して適切に会計が行われているかを判断することが考えられる。しかしながら、会計時に買い物カゴを会計端末のあるエリアに持ち込む必要は必ずしもないため、買い物カゴに収容された商品を特定できず、商品のスキャン漏れを検知することはできない、または困難であることが想定される。
１つの側面では、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知する精度を向上させることができる情報処理プログラム、情報処理方法、および情報処理装置を提供することを目的とする。
１つの態様において、情報処理プログラムは、撮像した画像から、店舗に滞在する人物と、人物が利用しているカゴとを特定し、複数の人物から構成される第１のグループを特定し、第１のグループに属する複数の人物のうち、商品の支払いを行う第１の人物を特定し、第１のグループに属する複数の人物のうち、商品が収容されたカゴを有する第２の人物を特定し、第１の人物による支払いが行われたと判定された場合に、第２の人物が有するカゴに収容された商品の支払いが完了したと判定する処理をコンピュータに実行させる。
１つの側面では、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知する精度を向上させることができる。
図１は、実施例１にかかる不正検知システムの構成例を示す図である。 図２は、実施例１にかかるセルフスキャンによる商品購入の一例を示す図である。 図３は、実施例１にかかるセルフレジによる会計の一例を示す図である。 図４は、実施例１にかかる不正検知装置１０の構成例を示す図である。 図５は、実施例１にかかる会計情報３３に記憶されるデータの一例を示す図である。 図６は、実施例１にかかる不正検知処理の一例を示す図である。 図７は、実施例１にかかる物体検出および骨格検出の一例を示す図である。 図８は、実施例１にかかるグループ特定の一例を示す図である。 図９は、実施例１にかかるカゴ撮影専用カメラの一例を示す図である。 図１０は、実施例１にかかるアラート通知の一例を示す図である。 図１１は、実施例１にかかる不正検知処理の流れを示すフローチャートである。 図１２は、ハードウェア構成例を説明する図である。
以下に、本実施形態に係る情報処理プログラム、情報処理方法、および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
まず、本実施形態を実施するための不正検知システムについて説明する。図１は、実施例１にかかる不正検知システムの構成例を示す図である。図１に示すように、不正検知システム１は、不正検知装置１０と、利用者端末１００－１～１００－Ｎ（Ｎは任意の整数。以下、まとめて「利用者端末１００」という）とが、ネットワーク５０を介して相互に通信可能に接続されるシステムである。
また、不正検知装置１０は、カメラ装置２００－１～２００－Ｍ（Ｍは任意の整数。以下、まとめて「カメラ装置２００」という）や店員端末３００ともネットワーク５０を介して相互に通信可能に接続される。さらに、不正検知装置１０は、会計端末４００－１～４００－Ｌ（Ｌは任意の整数。以下、まとめて「会計端末４００」という）ともネットワーク５０を介して相互に通信可能に接続される。
ネットワーク５０には、有線や無線を問わず、例えば、小売店の店舗内で利用されるイントラネットなどの各種通信網を採用できる。また、ネットワーク５０は、単一のネットワークではなく、例えば、イントラネットとインターネットとがゲートウェイなどネットワーク装置やその他の装置（図示せず）を介して構成されてよい。なお、小売店の店舗内は、屋内に限定されず、敷地内の屋外を含んでよい。
不正検知装置１０は、例えば、小売店の店舗内に設置され、店舗スタッフや管理者などによって使用されるデスクトップＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やノートＰＣ、またはサーバコンピュータなどの情報処理装置である。
不正検知装置１０は、カメラ装置２００によって小売店の店舗内や敷地内など所定の撮像範囲を撮像した複数の画像を、カメラ装置２００から受信する。なお、複数の画像とは、厳密には、カメラ装置２００によって撮影される映像、すなわち、動画の一連のフレームである。
また、不正検知装置１０は、既存の物体検知技術を用いて、撮像画像から、店舗に滞在する顧客（以下、単に「人物」という場合がある）や、当該人物が持つ買い物カゴ（以下、単に「カゴ」という場合がある）を特定する。また、不正検知装置１０は、撮像画像における人物間の関係性から、複数の人物から構成される家族などのグループを特定する。また、不正検知装置１０は、既存の骨格検出技術を用いて、撮像画像から、特定された人物の骨格情報を生成して人物の姿勢を推定し、商品をカゴに入れる動作など、人物の動作を特定してもよい。
また、不正検知装置１０は、人物の位置情報と複数の会計端末４００－１～４００－Ｌのそれぞれの位置情報とに基づいて、人物が会計を行う会計端末４００を特定する。また、不正検知装置１０は、特定された会計端末４００で商品の支払いを行った人物を、グループに属する複数の人物のうち、商品の支払いを行う第１の人物として特定する。また、不正検知装置１０は、商品の支払いを行う第１の人物の属するグループに属する複数の人物のうち、カゴを持った人物を、カゴを有する第２の人物として特定する。これにより、グループが利用しているカゴや当該カゴに収容された商品と、会計端末４００や会計端末４００に対して入力された会計情報とが対応付けられる。
そして、不正検知装置１０は、カゴに収容された商品の数と、会計端末４００に対して入力された商品の数との差に基づいて、未払いの商品があるか否かを判定する。未払いの商品がある場合、不正検知装置１０は、店員端末３００にアラートを通知する。
なお、図１では、不正検知装置１０を１台のコンピュータとして示しているが、複数台のコンピュータで構成される分散型コンピューティングシステムであってもよい。また、不正検知装置１０は、クラウドコンピューティングサービスを提供するサービス提供者によって管理されるクラウドコンピュータ装置であってもよい。
利用者端末１００は、商品を購入するために、顧客自らが商品のバーコードなどをスキャンして購入商品の登録を行うための情報処理端末である。利用者端末１００は、顧客が所有するスマートフォンやタブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などのモバイル端末であってもよいし、店舗内で貸し出される専用端末であってもよい。利用者端末１００には、商品をスキャンして登録などするためのアプリケーションが予めインストールされる。
カメラ装置２００は、例えば、小売店の店舗内や敷地内に設置される監視カメラである。なお、図１では、カメラ装置２００を複数台示しているが、例えば、会計端末４００が設置されるセルフレジエリア付近を撮影する１台のカメラ装置２００であってもよい。カメラ装置２００によって撮影された映像は、不正検知装置１０に送信される。
店員端末３００は、小売店の店員が所持するスマートフォンやタブレットＰＣなどのモバイル端末であってもよいし、店舗内の所定位置に設置されるデスクトップＰＣやノートＰＣなどの情報処理装置であってもよい。店員端末３００は、商品のスキャン漏れなど、顧客の不正行動が不正検知装置１０によって検知された場合に、不正検知装置１０からアラートを受信する。なお、店員端末３００は、例えば、店舗の店員ごとに複数存在してよいが、当該アラートが通知される端末は、例えば、セルフレジエリア付近の警備を担当する店員が所持する端末などに限定されてもよい。
会計端末４００は、顧客自らが商品の会計を行うためのセルフレジ端末である。会計端末４００は、利用者端末１００を介して登録された購入商品の情報を受信する。そして、会計端末４００は、顧客から現金やクレジットカード、電子マネーなどによって、購入商品の代金の支払いを受け付ける。
次に、図２を用いて、顧客自らが商品をスキャンして登録し（以下、「セルフスキャン」という場合がある）、商品の購入を行う方法について説明する。図２は、実施例１にかかるセルフスキャンによる商品購入の一例を示す図である。
図２に示すように、まず、顧客は、利用者端末１００に表示されるアプリケーションを介して、訪れた店舗を選択する。次に、顧客は、購入する商品を取り、例えば、商品や商品棚などに貼付された商品ごとのバーコードなどを、利用者端末１００を用いて読み取る（以下、「商品スキャン」という場合がある）。これにより、購入する商品が、アプリケーションに登録される。
次に、顧客は、会計端末４００などのディスプレイ部に表示される支払いコードを、利用者端末１００を用いてスキャンする。そして、会計端末４００の精算画面に表示された金額を支払うことで商品の購入が完了する。また、顧客は、利用者端末１００に表示された支払い完了コードを、店舗の出口などに設置されるゲート用リーダー５００などに読み取らせることで店外に出ることができる。なお、ゲート用リーダー５００は、図１には示されていないが、ネットワーク５０を介して不正検知装置１０と相互に通信可能に接続されるコードリーダーである。
以上、図２を用いて、セルフスキャンによる商品購入について説明した。しかしながら、セルフスキャンでは、例えば、顧客が商品スキャンを行わずに商品をカゴに入れ、セルフレジを通らずに支払いを免れることができてしまう。または、顧客が購入商品の一部のみをスキャンし、スキャンした商品のみをセルフレジで会計することで、一部の商品の支払いを免れることができてしまう。特に、商品の点数が少数の場合の不正行動は店員などによって発見し易いが、例えば、商品の点数が多数で一部の商品のスキャンを行わない場合などは店員などによる発見は困難である。
特に、会計時に買い物カゴを会計端末４００のあるエリアに持ち込む必要は必ずしもないため、例えば、図３に示すようなグループ客などの場合、買い物カゴに収容された商品を特定できず、商品のスキャン漏れを検知することは困難である。
図３は、実施例１にかかるセルフレジによる会計の一例を示す図である。図３に示すように、グループ客の場合、会計端末４００で会計を行う人物と、カゴを持った人物とが異なる場合があり得る。この場合、会計を行う人物が会計している間に、カゴを持った人物が商品の袋詰めなど、会計端末４００とは離れた位置で行動することは当然起こり得る。
ここで、例えば、会計端末４００によって会計が行われている商品の情報を、セルフレジエリアを監視する店員がチェックする店員端末３００に送信することはできる。しかしながら、当該情報のみでは、会計が行われている商品が、どの買い物カゴの中の商品であるのかを特定することはできないため、商品のスキャン漏れなどの不正行動の発見は容易ではない。
［不正検知装置１０の機能構成］
次に、不正検知装置１０の機能構成について説明する。図４は、実施例１にかかる不正検知装置１０の構成例を示す図である。図４に示すように、不正検知装置１０は、通信部２０、記憶部３０、および制御部４０を有する。
通信部２０は、利用者端末１００やカメラ装置２００など、他の装置との間の通信を制御する処理部であり、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インタフェースや、ネットワークインタフェースカードなどの通信インタフェースである。
記憶部３０は、各種データや、制御部４０が実行するプログラムを記憶する機能を有し、例えば、メモリやハードディスクなどの記憶装置により実現される。記憶部３０は、画像ＤＢ３１、骨格情報３２、および会計情報３３などを記憶する。
画像ＤＢ３１は、カメラ装置２００によって撮像された一連のフレームである複数の撮像画像を記憶する。また、画像ＤＢ３１は、当該撮像画像に対して特定された人物や物体の画像中の位置情報を記憶できる。
骨格情報３２は、カメラ装置２００によって撮像された撮像画像から特定された人物の骨格情報を記憶する。骨格情報の生成については後述する。なお、撮像画像から特定された人物に対する処理を、撮像画像を直接処理するのではなく、より情報量の少ない骨格情報を処理することで、不正検知装置１０の処理負荷を低減させることができる。しかしながら、不正検知装置１０が骨格情報を用いない場合、不正検知装置１０は、骨格情報３２を生成および記憶する必要はなく、その構成に含まなくてよい。
会計情報３３は、セルフスキャンによって購入される商品の会計に関する情報を記憶する。図５は、実施例１にかかる会計情報３３に記憶されるデータの一例を示す図である。図５に示すように、会計情報３３は、会計が行われた会計端末４００を一意に識別するための識別子である「レジＮｏ．」、会計が行われた商品の名称を示す「商品名」、当該商品ごとの点数を示す「点数」、当該商品の価格を示す「金額」などを対応付けて記憶する。なお、図５の例では、１つの会計情報しか示されていないが、当然ながら、会計情報３３には、複数の会計情報が記憶される。そのため、会計情報３３は、さらに、会計が行われた日時などを記憶してもよい。また、会計情報３３に、対応付けられた人物やカゴ、グループのそれぞれを一意に示す各識別子をさらに記憶し、各々の対応関係を記憶できる。また、会計情報３３に、当該人物やカゴが撮像された画像の識別子などを記憶し、画像ＤＢ３１に記憶される撮像画像と紐付けることができる。
なお、記憶部３０に記憶される上記情報はあくまでも一例であり、記憶部３０は、上記情報以外にも様々な情報を記憶できる。
制御部４０は、不正検知装置１０全体を司る処理部であり、例えば、プロセッサなどである。制御部４０は、特定部４１、生成部４２、評価部４３、および通知部４４を備える。なお、各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。
特定部４１は、カメラ装置２００によって撮像された撮像画像から、店舗に滞在する人物、および当該人物が利用している物体を特定する。当該物体には、例えば、カゴや商品、利用者端末１００や会計端末４００が含まれてよい。なお、人物を特定する処理は、異なる時刻で撮像された撮像画像から、人物の容姿および移動量に基づいて、異なる時刻における同一の人物を追跡する処理を含んでよい。また、特定部４１は、撮像画像における人物間の関係性から、複数の人物から構成される家族などのグループを特定する。
また、特定部４１は、複数の会計端末４００のうち、人物が会計を行う会計端末４００を特定する。これは、例えば、カメラ装置２００によって撮像された撮像画像における人物の位置情報と複数の会計端末のそれぞれの位置情報とに基づいて行われる。
また、特定部４１は、カメラ装置２００によって撮像された撮像画像から、店舗に滞在する複数の人物から構成されるグループ、および当該グループが利用しているカゴを特定する。また、特定部４１は、複数の会計端末４００のうち、当該グループに属する第１の人物が会計を行う会計端末４００を特定する。そして、第１の人物と同一グループに属する第２の人物が有するカゴに収容された商品を、第１の人物が会計を行う第１の会計端末や第１の会計端末に入力される会計情報と対応づける。なお、グループを特定する処理は、例えば、撮像画像における、複数の人物の各々のバウンディングボックスの位置および移動ベクトルに基づいて、グループを特定する処理を含んでよい。
また、撮像画像からカゴを特定する処理は、例えば、セルフレジエリア付近を撮影するカメラ装置２００－１と、人物の頭上からカゴを撮影するためのカメラ装置２００－２とによって撮像される撮像画像上の座標による対応関係により、カゴを特定する処理を含んでよい。より具体的には、例えば、カメラ装置２００－２の撮影範囲を示す、カメラ装置２００－１によって撮像された撮像画像上の座標領域に人物が入った場合に、カメラ装置２００－２が当該人物の頭上からカゴを撮像するように制御され、カゴが特定されてよい。これにより、カメラ装置２００は、例えば、会計を行うために人物がセルフレジエリアに入った際のカゴをより鮮明に撮像できる。
また、特定部４１は、例えば、特定された物体と、生成部４２によって生成された人物の骨格情報とに基づいて、人物が利用者端末１００に対して購入商品を登録する動作など、所定の動作を検出して特定してもよい。これにより、不正検知装置１０は、不正検知の処理対象とする人物を、利用者端末１００を利用するセルフスキャン対象者のみに限定できる。
生成部４２は、カメラ装置２００によって撮像された撮像画像から、特定部４１によって特定された人物の骨格情報を生成する。なお、不正検知装置１０が骨格情報を用いない場合、不正検知装置１０は、生成部４２をその構成に含まなくてよい。
評価部４３は、カゴに収容された第１の商品の数と、会計端末４００に対して入力された第２の商品の数との差に基づいて、未払いの商品があるか否かを判定する。未払いの商品があるか否かを判定する処理は、例えば、撮像画像からカゴの画像を部分画像として切り出し、当該部分画像から第１の商品の物量を推定し、当該物量と第２の商品の数とに基づいて、未払いの商品があるか否かを判定する処理を含んでよい。なお、人物が複数のカゴを利用している場合は、評価部４３は、複数のカゴに収容された商品をまとめて第１の商品の数や物量として未払いの商品があるか否かを判定する。
なお、カゴに収容された商品の物量推定として、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）などの物体検出技術を用いて商品を検出し点数がカウントされてもよいし、例えば、Ｆｕｌｌ、Ｍｉｄ、Ｌｏｗなど、物量を段階的に示す区分に分類されてもよい。また、商品の物量は、例えば、カゴの画像を特徴量とし、当該カゴに収容された商品の物量を正解ラベルとして機械学習により生成した機械学習モデルに、カゴの部分画像を入力することで推定されてもよい。なお、機械学習には、Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ（ＲｅｓＮｅｔ）などの画像分類器を用いてもよい。
また、評価部４３は、会計端末４００に対して入力された第２の商品の会計情報を会計端末４００から受信し、カゴに収容された第１の商品の数と、当該会計情報に基づく第２の商品の会計済み数との差に基づいて、未払いの商品があるか否かを判定してもよい。なお、受信される会計情報は、顧客自らが購入商品の登録を行うために利用される利用者端末１００を介して登録された第２の商品の会計情報であってよい。
通知部４４は、評価部４３による評価結果に基づいて、未払いの商品があるときに、アラートを通知する。アラートを通知する処理は、例えば、撮像画像におけるカゴやカゴに収容された商品の部分画像、および会計端末４００に対して入力された商品の会計情報を、店員端末３００に通知する処理を含んでよい。なお、通知部４４は、未払いの商品の有無に関わらず、カゴやカゴに収容された商品の部分画像、および商品の会計情報を、店員端末３００に通知してもよい。これにより、店員は目視でカゴに収容された商品と、会計済みの商品とを比較し、商品のスキャン漏れを検知できる。
［機能詳細］
次に、不正検知装置１０を動作主体として実行される不正検知処理について図６～９を用いて詳細に説明する。図６は、実施例１にかかる不正検知処理の一例を示す図である。図６の上側に示すように、カメラ装置２００によって店舗内を撮影し、不正検知装置１０は、カメラ装置２００によって撮像された撮像画像から人物と、その人物が利用するカゴを特定する。なお、図６の例では、会計端末４００が設置されるセルフレジエリア付近を撮影するカメラ装置２００の１台のみを示しているが、不正検知装置１０は、店舗内の様々な位置に設置されるカメラ装置２００によって撮像された撮像画像から人物や物体を特定できる。撮像画像から人物や物体を特定する方法について図７を用いて説明する。
図７は、実施例１にかかる物体検出および骨格検出の一例を示す図である。図７の右上に示すように、不正検知装置１０は、例えば、既存の物体検出アルゴリズムを用いて、撮像画像２５１から人物（person）やカゴ（basket）を検出して特定する。ここで、既存の物体検出アルゴリズムとは、例えば、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）など深層学習を用いた物体検出アルゴリズムである。また、ＹＯＬＯやＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）などの物体検出アルゴリズムであってもよい。
また、人物やカゴ以外でも、例えば、商品や利用者端末１００、人物の服装などが撮像画像から検出されてよい。これにより、不正検知装置１０は、例えば、利用者端末１００を持っているのにセルフスキャンを行わないことを検知できる。また、不正検知装置１０は、例えば、利用者端末１００を所持していない人物や、店員の制服を着用する人物を不正検知処理の対象から除外することができる。このように、不正検知装置１０は、不正検知をする必要のない人物を処理対象から除外することにより、処理負荷を軽減させることができる。
また、不正検知装置１０は、例えば、既存のアルゴリズムによって、撮像画像から特定された人物の年齢を判断し、人物間の親子関係などの関係性を特定することもできる。
また、図７の右下に示すように、不正検知装置１０は、例えば、既存の骨格推定アルゴリズムを用いて、撮像画像２５１から特定された人物の骨格を検出してもよい。ここで、既存の骨格推定アルゴリズムとは、例えば、Ｈｕｍａｎ Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎなど深層学習を用いた骨格推定アルゴリズムである。
そして、不正検知装置１０は、検出された物体や骨格情報に基づいて、既存の姿勢推定アルゴリズムを用いて、人物の動作を特定してもよい。ここで、既存の姿勢推定アルゴリズムとは、例えば、ＤｅｅｐＰｏｓｅ、ＯｐｅｎＰｏｓｅなど深層学習を用いた姿勢推定アルゴリズムである。
また、不正検知装置１０は、特定された人物間の関係性に基づいて、複数の人物から構成されるグループを特定する。図８は、実施例１にかかるグループ特定の一例を示す図である。図８の左側に示すように、不正検知装置１０は、カメラ装置２００によって撮像された店舗内の撮像画像２５２から特定された人物やカゴのバウンディングボックスの位置および移動ベクトルに基づいて、グループを特定する。
例えば、人物やカゴのバウンディングボックスが所定の距離内維持したまま同一の方向に所定時間移動した場合、不正検知装置１０は、当該人物やカゴを同一のグループであると特定する。図８の例では、人物１５０および人物１５１、カゴ１６０のバウンディングボックスが所定の距離内維持したまま同一の方向に所定時間移動していると判定されたため、同一のグループであると特定される。一方、人物１５２や人物１５３はグループに属さない単独の顧客であると判定される。なお、バウンディングボックスが所定の距離内維持したまま同一の方向に所定時間移動していることは、例えば、撮像画像２５２を含む、連続して撮像された撮像画像の各々から特定されるバウンディングボックスの位置および移動量から判断可能である。また、同一の方向とは完全に同一の方向でなくてもよく、同一方向とみなす所定範囲内の方向であってよい。また、バウンディングボックスの他、撮像画像から特定された人物の骨格情報などから、人物間の顔の向きや足元の近さなどを検知して、人物間のグループが特定されてもよい。
そして、同一のグループに属すると判定された人物やカゴは、図８の右側に示すように、別の撮像画像２５３では離れた位置に映っていても、同一のグループに属するものとみなされる。そのため、例えば、図８の右側に示すように、人物１５０が購入商品の会計を行うため、撮像画像２５３におけるセルフレジエリアの領域１７０に入った場合であっても、領域１７０と離れた位置にいる人物１５１やカゴ１６０は人物１５０と対応付けられている。なお、不正検知装置１０は、例えば、セルフレジエリアの領域１７０に入った人物を、商品の会計を行う人物として特定できる。また、図示していないが、不正検知装置１０は、商品の袋詰めを行うエリアを示す、撮像画像における所定領域に入った人物を、商品が収容されたカゴを有する人物として特定できる。
そして、不正検知装置１０は、人物１５０および会計端末４００の位置情報に基づいて、人物１５０が会計を行う会計端末４００を特定する。そのため、不正検知装置１０は、人物１５０が会計を行う会計端末４００や、会計端末４００に入力された購入商品の会計情報と、カゴ１６０に収容された商品とをさらに対応付けることができる。このように、最終的には、人物、カゴ、会計端末４００、会計情報、カゴに収容された商品、各撮像画像が対応付けられることになるため、例えば、商品が袋詰めされ、カゴと離れてしまった場合であっても、不正検知装置１０は、人物が購入した商品を追跡できる。
図６の説明に戻り、図６の下側に示すように、会計端末４００に入力された購入商品の会計情報や、カメラ装置２００によって撮像された撮像画像２５０は、不正検知装置１０に送信される。そして、図８を用いて説明したように、会計情報と、撮像画像から特定されたカゴとは対応付けられているため、不正検知装置１０は、カゴに収容された商品の数と、会計情報に基づく会計済みの商品の数との差に基づいて、未払いの商品があるか否かを判定できる。なお、図６の例では、撮像画像２５０はカゴのみを撮像した画像としているが、複数の人物やカゴなどを撮像した画像であってよい。しかしながら、例えば、カメラ装置２００を、人物の頭上からカゴを撮影できるように設置し、カゴの中身がより鮮明に撮影されるようにしてもよい。
図９は、実施例１にかかるカゴ撮影専用カメラの一例を示す図である。図９に示すように、会計端末４００が設置されるセルフレジエリア付近を撮影するカメラ装置２００－１の他に、人物の頭上からカゴを撮影するためのカゴ撮影専用のカメラ装置２００－２が設置される。カメラ装置２００－１およびカメラ装置２００－２によって撮像される画像は、例えば、画像上の座標によって対応関係を持っており、当該対応関係は、不正検知装置１０に記憶される。これにより、例えば、不正検知装置１０は、カメラ装置２００－２の撮影範囲を示す、カメラ装置２００－１によって撮像された撮像画像２５４上の座標領域に人物が入った場合に、カメラ装置２００－２が当該人物の頭上からカゴを撮像するように制御する。カメラ装置２００－２によって撮像された撮像画像２５５は不正検知装置１０に送信される。これにより、カメラ装置２００は、例えば、会計を行うために人物がセルフレジエリアに入った際のカゴをより鮮明に撮像でき、不正検知装置１０は、当該カゴを撮像した画像からカゴを特定できる。
次に、不正検知装置１０によって未払いの商品があると判定された場合などに、店員端末３００に通知されるアラートについてより具体的に説明する。図１０は、実施例１にかかるアラート通知の一例を示す図である。図１０は、店員端末３００に通知され、店員端末３００のディスプレイ部などに表示されるアラートの一例を示す。
図１０に示すように、アラートは、会計情報表示部３５０およびカゴ画像表示部３５１を含んでよい。会計情報表示部３５０には、例えば、会計端末４００を一意に示すレジＮｏ.や、会計済みの商品の会計情報が表示される。また、カゴ画像表示部３５１には、例えば、会計済みの商品に対応付けられたカゴを撮像した撮像画像２５５が表示される。また、カゴ画像表示部３５１には、不正検知装置１０によって撮像画像２５５から推定された、カゴに収容された商品の物量が表示されてもよい。また、アラートには、例えば、会計情報の会計済み商品の点数が、推定された物量に対して設定される閾値未満の場合、商品のスキャン漏れが発生している旨を表示させることもできる。なお、アラートは、不正検知装置１０が商品のスキャン漏れを検知した場合に限定されず、例えば、会計端末４００によって会計が行われた場合に店員端末３００に通知されてよい。これにより、店員が、店員端末３００を介して、会計情報表示部３５０やカゴ画像表示部３５１に表示される会計情報やカゴ画像を目視で確認し、商品のスキャン漏れを検知できる。
［処理の流れ］
次に、不正検知装置１０によって実行される不正検知処理の流れを説明する。図１１は、実施例１にかかる不正検知処理の流れを示すフローチャートである。図１１に示す不正検知処理は、例えば、一定時間ごと、またはカメラ装置２００から撮像画像が受信される度に実行されてよい。
まず、図１１に示すように、不正検知装置１０は、カメラ装置２００によって小売店の店舗内や敷地内など所定の撮像範囲が撮像された撮像画像を画像ＤＢ３１から取得する（ステップＳ１０１）。なお、図１１に示す不正検知処理では、カメラ装置２００によって撮像された撮像画像、厳密には監視映像をリアルタイムに処理するため、撮像画像はカメラ装置２００から随時送信され、画像ＤＢ３１に記憶される。
次に、不正検知装置１０は、既存の物体検出アルゴリズムを用いて、ステップＳ１０１で取得した撮像画像から人物および買い物カゴを検出する（ステップＳ１０２）。
次に、不正検知装置１０は、ステップＳ１０２で検出した人物やカゴのバウンディングボックスの位置および移動ベクトルなどに基づいて、人物間および人とカゴとのグループを特定する（ステップＳ１０３）。
次に、不正検知装置１０は、ステップＳ１０１で取得した撮像画像から人物がセルフレジエリアに入ったことを検出した場合（ステップＳ１０４：Ｙｅｓ）、当該人物に対応付けられたカゴに収容された商品の物量を推定する（ステップＳ１０５）。一方、人物がセルフレジエリアに入ったことが検出されない場合（ステップＳ１０４：Ｎｏ）、ステップＳ１０１から処理が繰り返される。
次に、不正検知装置１０は、会計端末４００から会計情報を受信し、会計が完了したか否かを判定する（ステップＳ１０６）。会計情報を受信していない場合（ステップＳ１０６：Ｎｏ）、不正検知装置１０は、会計情報の受信を待つ。
一方、会計情報を受信し会計が完了した場合（ステップＳ１０６：Ｙｅｓ）、不正検知装置１０は、ステップＳ１０５で推定されたカゴ内の物量と、会計情報に基づく会計済み商品の点数を比較し、商品のスキャン漏れの発生有無を判定する（ステップＳ１０７）。
次に、例えば、会計済み商品の点数が、カゴの中の物量に対して設定される閾値以上であり、商品のスキャン漏れは発生していないと判定された場合（ステップＳ１０７：Ｎｏ）、図１１に示す不正検知処理は終了する。
一方、例えば、会計済み商品の点数が、カゴの中の物量に対して設定される閾値未満であり、商品のスキャン漏れが発生していると判定された場合（ステップＳ１０７：Ｙｅｓ）、不正検知装置１０は、店員端末３００にアラートを通知する（ステップＳ１０８）。ステップＳ１０８の実行後、図１１に示す不正検知処理は終了する。
［効果］
上述したように、不正検知装置１０は、撮像した画像から、店舗に滞在する人物と、人物が利用しているカゴとを特定し、複数の人物から構成される第１のグループを特定し、第１のグループに属する複数の人物のうち、商品の支払いを行う第１の人物を特定し、第１のグループに属する複数の人物のうち、商品が収容されたカゴを有する第２の人物を特定し、第１の人物による支払いが行われたと判定された場合に、第２の人物が有するカゴに収容された商品の支払いが完了したと判定する。
このようにして、不正検知装置１０は、店舗に滞在する人物、人物間のグループ、当該グループが利用しているカゴ、および当該カゴに収容された商品のそれぞれを対応付ける。これにより、不正検知装置１０は、顧客自らが商品スキャンを行うシステムにおいて、会計を行う人物と、買い物カゴを持つ人物が異なる場合であっても、商品のスキャン漏れを検知する精度を向上させることができる。
また、不正検知装置１０によって実行される、第１の人物を特定する処理は、画像における第１の領域に人物が入った場合に人物を第１の人物として特定する処理を含み、第２の人物を特定する処理は、画像における第２の領域に人物が入った場合に人物を第２の人物として特定する処理を含む。
このようにして、不正検知装置１０は、グループに属する人物の中から、商品の支払いを行う第１の人物、および商品が収容されたカゴを有する第２の人物をより正確に特定できる。そして、これにより、不正検知装置１０は、顧客自らが商品スキャンを行うシステムにおいて、会計を行う人物と、買い物カゴを持つ人物が異なる場合であっても、商品のスキャン漏れを検知する精度をより向上させることができる。
また、不正検知装置１０によって実行される、第１の人物を特定する処理は、人物の位置情報と会計端末４００の位置情報とに基づいて、会計端末４００で支払いを行った人物を第１の人物として特定する処理を含み、第２の人物を特定する処理は、第１の人物が属する第１のグループに属する複数の人物のうち、商品が収容されたカゴを有する人物を第２の人物として特定する処理を含む。
このようにして、不正検知装置１０は、グループに属する人物の中から、商品の支払いを行う第１の人物、および商品が収容されたカゴを有する第２の人物をより正確に特定できる。そして、これにより、不正検知装置１０は、顧客自らが商品スキャンを行うシステムにおいて、会計を行う人物と、買い物カゴを持つ人物が異なる場合であっても、商品のスキャン漏れを検知する精度をより向上させることができる。
また、不正検知装置１０は、第１の人物によって会計端末４００に対して入力された商品の数と、第２の人物が有するカゴに収容された商品の数との差に基づいて、未払いの商品があるか否かを判定し、未払いの商品があるときに、アラートを通知する。
これにより、不正検知装置１０は、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知した場合に店員に通知できる。
また、不正検知装置１０は、第１の人物によって会計端末４００に対して入力された商品の会計情報を会計端末４００から受信する。また、不正検知装置１０によって実行される、未払いの商品があるか否かを判定する処理は、会計情報に基づく会計端末４００に対して入力された商品の会計済み数と、第２の人物が有するカゴに収容された商品の数との差に基づいて、未払いの商品があるか否かを判定する処理を含む。
これにより、不正検知装置１０は、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知する精度をより向上させることができる。
また、不正検知装置１０によって実行される、会計情報を受信する処理は、顧客自らが購入商品の登録を行うために利用される利用者端末１００を介して登録された商品の会計情報を会計端末４００から受信する処理を含む。
これにより、不正検知装置１０は、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知する精度をより向上させることができる。
また、不正検知装置１０によって実行される、未払いの商品があるか否かを判定する処理は、画像から、カゴの画像を第１の部分画像として切り出し、第１の部分画像に基づいて、カゴに収容された商品の第１の物量を推定し、第１の物量と、会計端末４００に対して入力された商品の数とに基づいて、未払いの商品があるか否かを判定する処理を含む。
これにより、不正検知装置１０は、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知する精度をより向上させることができる。
また、不正検知装置１０によって実行される、第１の物量を推定する処理は、カゴの画像を特徴量とし、カゴに収容された商品の物量を正解ラベルとして機械学習により生成した機械学習モデルに、第１の部分画像を入力することで第１の物量を推定する処理を含む。
これにより、不正検知装置１０は、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知する精度をより向上させることができる。
また、不正検知装置１０によって実行される、第１のグループを特定する処理は、画像における、複数の人物の各々のバウンディングボックスの位置および移動ベクトルに基づいて、第１のグループを特定する処理を含む。
これにより、不正検知装置１０は、人物間のグループをより正確に特定し、顧客自らが商品スキャンを行うシステムにおいて、会計を行う人物と、買い物カゴを持つ人物が異なる場合であっても、商品のスキャン漏れを検知する精度をより向上させることができる。
また、不正検知装置１０によって実行される、アラートを通知する処理は、画像におけるカゴに収容された商品の画像、および第１の人物によって会計端末４００に対して入力された商品の会計情報を、アラートとして、店員端末に通知する処理を含む。
これにより、不正検知装置１０は、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知するためのより詳細な情報を店員に通知できる。
［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報は、特記する場合を除いて任意に変更されてもよい。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更されてもよい。
また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
［ハードウェア］
図１２は、ハードウェア構成例を説明する図である。図１２に示すように、不正検知装置１０は、通信インタフェース１０ａ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１２に示した各部は、バスなどで相互に接続される。なお、図１２では、不正検知装置１０のハードウェア構成を説明しているが、利用者端末１００や店員端末３００なども同様の構成を有してよい。
通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図４に示した機能を動作させるプログラムやＤＢを記憶する。
プロセッサ１０ｄは、図４に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図４などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、不正検知装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、特定部４１、生成部４２、評価部４３、および通知部４４などと同様の機能を有するプログラムをＨＤＤ１０ｂなどから読み出す。そして、プロセッサ１０ｄは、特定部４１などと同様の処理を実行するプロセスを実行する。
このように不正検知装置１０は、図４に示した各処理部と同様の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、不正検知装置１０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで上述した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、不正検知装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。
また、図４に示した各処理部と同様の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）撮像した画像から、店舗に滞在する人物と、前記人物が利用しているカゴとを特定し、
複数の前記人物から構成される第１のグループを特定し、
前記第１のグループに属する前記複数の人物のうち、商品の支払いを行う第１の人物を特定し、
前記第１のグループに属する前記複数の人物のうち、前記商品が収容された前記カゴを有する第２の人物を特定し、
前記第１の人物による支払いが行われたと判定された場合に、前記第２の人物が有する前記カゴに収容された前記商品の支払いが完了したと判定する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
（付記２）前記第１の人物を特定する処理は、前記画像における第１の領域に前記人物が入った場合に前記人物を前記第１の人物として特定する処理を含み、
前記第２の人物を特定する処理は、前記画像における第２の領域に前記人物が入った場合に前記人物を前記第２の人物として特定する処理を含む
ことを特徴とする付記１に記載の情報処理プログラム。
（付記３）前記第１の人物を特定する処理は、前記人物の位置情報と会計端末の位置情報とに基づいて、前記会計端末で支払いを行った前記人物を前記第１の人物として特定する処理を含み、
前記第２の人物を特定する処理は、前記第１の人物が属する前記第１のグループに属する前記複数の人物のうち、前記商品が収容された前記カゴを有する前記人物を前記第２の人物として特定する処理を含む
ことを特徴とする付記１に記載の情報処理プログラム。
（付記４）前記第１の人物によって会計端末に対して入力された前記商品の数と、前記第２の人物が有する前記カゴに収容された前記商品の数との差に基づいて、未払いの商品があるか否かを判定し、
前記未払いの商品があるときに、アラートを通知する
処理を前記コンピュータに実行させることを特徴とする付記１乃至３のいずれか１つに記載の情報処理プログラム。
（付記５）前記第１の人物によって前記会計端末に対して入力された前記商品の会計情報を前記会計端末から受信する処理を前記コンピュータに実行させ、
前記未払いの商品があるか否かを判定する処理は、前記会計情報に基づく前記会計端末に対して入力された前記商品の会計済み数と、前記第２の人物が有する前記カゴに収容された前記商品の数との差に基づいて、前記未払いの商品があるか否かを判定する処理を含むことを特徴とする付記４に記載の情報処理プログラム。
（付記６）前記会計情報を受信する処理は、顧客自らが購入商品の登録を行うために利用される利用者端末を介して登録された前記商品の会計情報を前記会計端末から受信する処理を含むことを特徴とする付記５に記載の情報処理プログラム。
（付記７）前記未払いの商品があるか否かを判定する処理は、
前記画像から、前記カゴの画像を第１の部分画像として切り出し、
前記第１の部分画像に基づいて、前記カゴに収容された前記商品の第１の物量を推定し、
前記第１の物量と、前記会計端末に対して入力された前記商品の数とに基づいて、前記未払いの商品があるか否かを判定する
処理を含むことを特徴とする付記４に記載の情報処理プログラム。
（付記８）前記第１の物量を推定する処理は、
前記カゴの画像を特徴量とし、前記カゴに収容された商品の物量を正解ラベルとして機械学習により生成した機械学習モデルに、前記第１の部分画像を入力することで前記第１の物量を推定する
処理を含むことを特徴とする付記７に記載の情報処理プログラム。
（付記９）前記第１のグループを特定する処理は、
前記画像における、前記複数の人物の各々のバウンディングボックスの位置および移動ベクトルに基づいて、前記第１のグループを特定する
処理を含むことを特徴とする付記１乃至８のいずれか１つに記載の情報処理プログラム。
（付記１０）前記アラートを通知する処理は、
前記画像における前記カゴに収容された前記商品の画像、および前記第１の人物によって前記会計端末に対して入力された前記商品の会計情報を、前記アラートとして、店員端末に通知する
処理を含むことを特徴とする付記４に記載の情報処理プログラム。
（付記１１）撮像した画像から、店舗に滞在する人物と、前記人物が利用しているカゴとを特定し、
複数の前記人物から構成される第１のグループを特定し、
前記第１のグループに属する前記複数の人物のうち、商品の支払いを行う第１の人物を特定し、
前記第１のグループに属する前記複数の人物のうち、前記商品が収容された前記カゴを有する第２の人物を特定し、
前記第１の人物による支払いが行われたと判定された場合に、前記第２の人物が有する前記カゴに収容された前記商品の支払いが完了したと判定する
処理をコンピュータが実行することを特徴とする情報処理方法。
（付記１２）前記第１の人物を特定する処理は、前記画像における第１の領域に前記人物が入った場合に前記人物を前記第１の人物として特定する処理を含み、
前記第２の人物を特定する処理は、前記画像における第２の領域に前記人物が入った場合に前記人物を前記第２の人物として特定する処理を含む
ことを特徴とする付記１１に記載の情報処理方法。
（付記１３）前記第１の人物を特定する処理は、前記人物の位置情報と会計端末の位置情報とに基づいて、前記会計端末で支払いを行った前記人物を前記第１の人物として特定する処理を含み、
前記第２の人物を特定する処理は、前記第１の人物が属する前記第１のグループに属する前記複数の人物のうち、前記商品が収容された前記カゴを有する前記人物を前記第２の人物として特定する処理を含む
ことを特徴とする付記１１に記載の情報処理方法。
（付記１４）前記第１の人物によって会計端末に対して入力された前記商品の数と、前記第２の人物が有する前記カゴに収容された前記商品の数との差に基づいて、未払いの商品があるか否かを判定し、
前記未払いの商品があるときに、アラートを通知する
処理を前記コンピュータが実行することを特徴とする付記１１乃至１３のいずれか１つに記載の情報処理方法。
（付記１５）前記第１の人物によって前記会計端末に対して入力された前記商品の会計情報を前記会計端末から受信する処理を前記コンピュータが実行し、
前記未払いの商品があるか否かを判定する処理は、前記会計情報に基づく前記会計端末に対して入力された前記商品の会計済み数と、前記第２の人物が有する前記カゴに収容された前記商品の数との差に基づいて、前記未払いの商品があるか否かを判定する処理を含むことを特徴とする付記１４に記載の情報処理方法。
（付記１６）前記会計情報を受信する処理は、顧客自らが購入商品の登録を行うために利用される利用者端末を介して登録された前記商品の会計情報を前記会計端末から受信する処理を含むことを特徴とする付記１５に記載の情報処理方法。
（付記１７）前記未払いの商品があるか否かを判定する処理は、
前記画像から、前記カゴの画像を第１の部分画像として切り出し、
前記第１の部分画像に基づいて、前記カゴに収容された前記商品の第１の物量を推定し、
前記第１の物量と、前記会計端末に対して入力された前記商品の数とに基づいて、前記未払いの商品があるか否かを判定する
処理を含むことを特徴とする付記１４に記載の情報処理方法。
（付記１８）前記第１の物量を推定する処理は、
前記カゴの画像を特徴量とし、前記カゴに収容された商品の物量を正解ラベルとして機械学習により生成した機械学習モデルに、前記第１の部分画像を入力することで前記第１の物量を推定する
処理を含むことを特徴とする付記１７に記載の情報処理方法。
（付記１９）前記第１のグループを特定する処理は、
前記画像における、前記複数の人物の各々のバウンディングボックスの位置および移動ベクトルに基づいて、前記第１のグループを特定する
処理を含むことを特徴とする付記１１乃至１８のいずれか１つに記載の情報処理方法。
（付記２０）前記アラートを通知する処理は、
前記画像における前記カゴに収容された前記商品の画像、および前記第１の人物によって前記会計端末に対して入力された前記商品の会計情報を、前記アラートとして、店員端末に通知する
処理を含むことを特徴とする付記１４に記載の情報処理方法。
（付記２１）撮像した画像から、店舗に滞在する人物と、前記人物が利用しているカゴとを特定し、
複数の前記人物から構成される第１のグループを特定し、
前記第１のグループに属する前記複数の人物のうち、商品の支払いを行う第１の人物を特定し、
前記第１のグループに属する前記複数の人物のうち、前記商品が収容された前記カゴを有する第２の人物を特定し、
前記第１の人物による支払いが行われたと判定された場合に、前記第２の人物が有する前記カゴに収容された前記商品の支払いが完了したと判定する
処理を実行する制御部を有することを特徴とする情報処理装置。
（付記２２）前記第１の人物を特定する処理は、前記画像における第１の領域に前記人物が入った場合に前記人物を前記第１の人物として特定する処理を含み、
前記第２の人物を特定する処理は、前記画像における第２の領域に前記人物が入った場合に前記人物を前記第２の人物として特定する処理を含む
ことを特徴とする付記２１に記載の情報処理装置。
（付記２３）前記第１の人物を特定する処理は、前記人物の位置情報と会計端末の位置情報とに基づいて、前記会計端末で支払いを行った前記人物を前記第１の人物として特定する処理を含み、
前記第２の人物を特定する処理は、前記第１の人物が属する前記第１のグループに属する前記複数の人物のうち、前記商品が収容された前記カゴを有する前記人物を前記第２の人物として特定する処理を含む
ことを特徴とする付記２１に記載の情報処理装置。
（付記２４）前記第１の人物によって会計端末に対して入力された前記商品の数と、前記第２の人物が有する前記カゴに収容された前記商品の数との差に基づいて、未払いの商品があるか否かを判定し、
前記未払いの商品があるときに、アラートを通知する
処理を前記制御部が実行することを特徴とする付記２１乃至２３のいずれか１つに記載の情報処理装置。
（付記２５）前記第１の人物によって前記会計端末に対して入力された前記商品の会計情報を前記会計端末から受信する処理を前記制御部が実行し、
前記未払いの商品があるか否かを判定する処理は、前記会計情報に基づく前記会計端末に対して入力された前記商品の会計済み数と、前記第２の人物が有する前記カゴに収容された前記商品の数との差に基づいて、前記未払いの商品があるか否かを判定する処理を含むことを特徴とする付記２４に記載の情報処理装置。
（付記２６）前記会計情報を受信する処理は、顧客自らが購入商品の登録を行うために利用される利用者端末を介して登録された前記商品の会計情報を前記会計端末から受信する処理を含むことを特徴とする付記２５に記載の情報処理装置。
（付記２７）前記未払いの商品があるか否かを判定する処理は、
前記画像から、前記カゴの画像を第１の部分画像として切り出し、
前記第１の部分画像に基づいて、前記カゴに収容された前記商品の第１の物量を推定し、
前記第１の物量と、前記会計端末に対して入力された前記商品の数とに基づいて、前記未払いの商品があるか否かを判定する
処理を含むことを特徴とする付記２４に記載の情報処理装置。
（付記２８）前記第１の物量を推定する処理は、
前記カゴの画像を特徴量とし、前記カゴに収容された商品の物量を正解ラベルとして機械学習により生成した機械学習モデルに、前記第１の部分画像を入力することで前記第１の物量を推定する
処理を含むことを特徴とする付記２７に記載の情報処理装置。
（付記２９）前記第１のグループを特定する処理は、
前記画像における、前記複数の人物の各々のバウンディングボックスの位置および移動ベクトルに基づいて、前記第１のグループを特定する
処理を含むことを特徴とする付記２１乃至２８のいずれか１つに記載の情報処理装置。
（付記３０）前記アラートを通知する処理は、
前記画像における前記カゴに収容された前記商品の画像、および前記第１の人物によって前記会計端末に対して入力された前記商品の会計情報を、前記アラートとして、店員端末に通知する
処理を含むことを特徴とする付記２４に記載の情報処理装置。
（付記３１）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた情報処理装置であって、プロセッサは、
撮像した画像から、店舗に滞在する人物と、前記人物が利用しているカゴとを特定し、
複数の前記人物から構成される第１のグループを特定し、
前記第１のグループに属する前記複数の人物のうち、商品の支払いを行う第１の人物を特定し、
前記第１のグループに属する前記複数の人物のうち、前記商品が収容された前記カゴを有する第２の人物を特定し、
前記第１の人物による支払いが行われたと判定された場合に、前記第２の人物が有する前記カゴに収容された前記商品の支払いが完了したと判定する
処理を実行することを特徴とする情報処理装置。
１ 不正検知システム
１０ 不正検知装置
１０ａ 通信インタフェース
１０ｂ ＨＤＤ
１０ｃ メモリ
１０ｄ プロセッサ
２０ 通信部
３０ 記憶部
３１ 画像ＤＢ
３２ 骨格情報
３３ 会計情報
４０ 制御部
４１ 特定部
４２ 生成部
４３ 評価部
４４ 通知部
５０ ネットワーク
１００ 利用者端末
１５０、１５１、１５２、１５３ 人物
１６０ カゴ
１７０ 領域
２００ カメラ装置
２５０、２５１、２５２、２５３、２５４、２５５ 撮像画像
３００ 店員端末
３５０ 会計情報表示部
３５１ カゴ画像表示部
４００ 会計端末
５００ ゲート用リーダー

Claims (12)

  1. 撮像した画像から、店舗に滞在する人物を特定し、
    第１のカメラ装置によって撮像された第１の画像における第２のカメラ装置の撮像範囲を示す所定領域に入った前記人物が特定された場合に、前記第２のカメラ装置によって撮像された第２の画像から、前記人物が利用しているカゴを特定し、
    複数の前記人物から構成される第１のグループを特定し、
    前記第１のグループに属する前記複数の人物のうち、商品の支払いを行う第１の人物を特定し、
    前記第１のグループに属する前記複数の人物のうち、前記商品が収容された前記カゴを有する第２の人物を特定し、
    前記第１の人物による支払いが行われたと判定された場合に、前記第２の人物が有する前記カゴに収容された前記商品の支払いが完了したと判定する
    処理をコンピュータに実行させることを特徴とする情報処理プログラム。
  2. 前記第１の人物を特定する処理は、前記画像における第１の領域に前記人物が入った場合に前記人物を前記第１の人物として特定する処理を含み、
    前記第２の人物を特定する処理は、前記画像における第２の領域に前記人物が入った場合に前記人物を前記第２の人物として特定する処理を含む
    ことを特徴とする請求項１に記載の情報処理プログラム。
  3. 前記第１の人物を特定する処理は、前記人物の位置情報と会計端末の位置情報とに基づいて、前記会計端末で支払いを行った前記人物を前記第１の人物として特定する処理を含み、
    前記第２の人物を特定する処理は、前記第１の人物が属する前記第１のグループに属する前記複数の人物のうち、前記商品が収容された前記カゴを有する前記人物を前記第２の人物として特定する処理を含む
    ことを特徴とする請求項１に記載の情報処理プログラム。
  4. 前記第１の人物によって会計端末に対して入力された前記商品の数と、前記第２の人物が有する前記カゴに収容された前記商品の数との差に基づいて、未払いの商品があるか否かを判定し、
    前記未払いの商品があるときに、アラートを通知する
    処理を前記コンピュータに実行させることを特徴とする請求項１乃至３のいずれか一項に記載の情報処理プログラム。
  5. 前記第１の人物によって前記会計端末に対して入力された前記商品の会計情報を前記会計端末から受信する処理を前記コンピュータに実行させ、
    前記未払いの商品があるか否かを判定する処理は、前記会計情報に基づく前記会計端末に対して入力された前記商品の会計済み数と、前記第２の人物が有する前記カゴに収容された前記商品の数との差に基づいて、前記未払いの商品があるか否かを判定する処理を含むことを特徴とする請求項４に記載の情報処理プログラム。
  6. 前記会計情報を受信する処理は、顧客自らが購入商品の登録を行うために利用される利用者端末を介して登録された前記商品の会計情報を前記会計端末から受信する処理を含むことを特徴とする請求項５に記載の情報処理プログラム。
  7. 前記未払いの商品があるか否かを判定する処理は、
    前記画像から、前記カゴの画像を第１の部分画像として切り出し、
    前記第１の部分画像に基づいて、前記カゴに収容された前記商品の第１の物量を推定し、
    前記第１の物量と、前記会計端末に対して入力された前記商品の数とに基づいて、前記未払いの商品があるか否かを判定する
    処理を含むことを特徴とする請求項４に記載の情報処理プログラム。
  8. 前記第１の物量を推定する処理は、
    前記カゴの画像を特徴量とし、前記カゴに収容された商品の物量を正解ラベルとして機械学習により生成した機械学習モデルに、前記第１の部分画像を入力することで前記第１の物量を推定する
    処理を含むことを特徴とする請求項７に記載の情報処理プログラム。
  9. 前記第１のグループを特定する処理は、
    前記画像における、前記複数の人物の各々のバウンディングボックスの位置および移動ベクトルに基づいて、前記第１のグループを特定する
    処理を含むことを特徴とする請求項１乃至８のいずれか一項に記載の情報処理プログラム。
  10. 前記アラートを通知する処理は、
    前記画像における前記カゴに収容された前記商品の画像、および前記第１の人物によって前記会計端末に対して入力された前記商品の会計情報を、前記アラートとして、店員端末に通知する
    処理を含むことを特徴とする請求項４に記載の情報処理プログラム。
  11. 撮像した画像から、店舗に滞在する人物を特定し、
    第１のカメラ装置によって撮像された第１の画像における第２のカメラ装置の撮像範囲を示す所定領域に入った前記人物が特定された場合に、前記第２のカメラ装置によって撮像された第２の画像から、前記人物が利用しているカゴを特定し、
    複数の前記人物から構成される第１のグループを特定し、
    前記第１のグループに属する前記複数の人物のうち、商品の支払いを行う第１の人物を特定し、
    前記第１のグループに属する前記複数の人物のうち、前記商品が収容された前記カゴを有する第２の人物を特定し、
    前記第１の人物による支払いが行われたと判定された場合に、前記第２の人物が有する前記カゴに収容された前記商品の支払いが完了したと判定する
    処理をコンピュータが実行することを特徴とする情報処理方法。
  12. 撮像した画像から、店舗に滞在する人物を特定し、
    第１のカメラ装置によって撮像された第１の画像における第２のカメラ装置の撮像範囲を示す所定領域に入った前記人物が特定された場合に、前記第２のカメラ装置によって撮像された第２の画像から、前記人物が利用しているカゴを特定し、
    複数の前記人物から構成される第１のグループを特定し、
    前記第１のグループに属する前記複数の人物のうち、商品の支払いを行う第１の人物を特定し、
    前記第１のグループに属する前記複数の人物のうち、前記商品が収容された前記カゴを有する第２の人物を特定し、
    前記第１の人物による支払いが行われたと判定された場合に、前記第２の人物が有する前記カゴに収容された前記商品の支払いが完了したと判定する
    処理を実行する制御部を有することを特徴とする情報処理装置。
JP2021126308A 2021-07-30 2021-07-30 情報処理プログラム、情報処理方法、および情報処理装置 Active JP7318684B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021126308A JP7318684B2 (ja) 2021-07-30 2021-07-30 情報処理プログラム、情報処理方法、および情報処理装置
US17/873,460 US20230034455A1 (en) 2021-07-30 2022-07-26 Computer-readable recording medium, information processing method, and information processing apparatus
EP22187186.6A EP4125020A1 (en) 2021-07-30 2022-07-27 Information processing program, information processing method, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021126308A JP7318684B2 (ja) 2021-07-30 2021-07-30 情報処理プログラム、情報処理方法、および情報処理装置

Publications (2)

Publication Number Publication Date
JP2023020759A JP2023020759A (ja) 2023-02-09
JP7318684B2 true JP7318684B2 (ja) 2023-08-01

Family

ID=83115522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021126308A Active JP7318684B2 (ja) 2021-07-30 2021-07-30 情報処理プログラム、情報処理方法、および情報処理装置

Country Status (3)

Country Link
US (1) US20230034455A1 (ja)
EP (1) EP4125020A1 (ja)
JP (1) JP7318684B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091850A1 (en) 2015-09-24 2017-03-30 Adobe Systems Incorporated Methods and Systems for Identifying Visitors to Real-World Shopping Venues as Belonging to a Group
JP2020061044A (ja) 2018-10-12 2020-04-16 サインポスト株式会社 情報処理システム
JP2020197994A (ja) 2019-06-04 2020-12-10 東芝テック株式会社 情報処理装置及びその制御プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8448858B1 (en) 2004-06-21 2013-05-28 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis from alternative camera viewpoint
JP2013041354A (ja) 2011-08-12 2013-02-28 Seiko Epson Corp 商品販売システム、携帯端末、管理サーバー、商品販売システムの制御方法およびプログラム
US20160189277A1 (en) 2014-12-24 2016-06-30 Digimarc Corporation Self-checkout arrangements
US11030604B2 (en) * 2016-02-29 2021-06-08 Signpost Corporation Information processing system
EP3580717A4 (en) * 2017-02-10 2020-07-29 Grabango Co. DYNAMIC CUSTOMER HANDLING EXPERIENCE IN AN AUTOMATED SHOPPING ENVIRONMENT
US20190333039A1 (en) * 2018-04-27 2019-10-31 Grabango Co. Produce and bulk good management within an automated shopping environment
US10535146B1 (en) * 2018-07-16 2020-01-14 Accel Robotics Corporation Projected image item tracking system
US11176597B2 (en) * 2018-10-30 2021-11-16 Ncr Corporation Associating shoppers together
US10943128B2 (en) * 2018-11-01 2021-03-09 Ncr Corporation Constructing shopper carts using video surveillance
JP6849234B2 (ja) 2019-02-20 2021-03-24 Ｎｅｃプラットフォームズ株式会社 セルフｐｏｓシステム、制御方法及び制御プログラム
US11023740B2 (en) * 2019-10-25 2021-06-01 7-Eleven, Inc. System and method for providing machine-generated tickets to facilitate tracking
US12002080B2 (en) * 2019-11-12 2024-06-04 Walmart Apollo, Llc Systems and methods for checking and confirming the purchase of merchandise items

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091850A1 (en) 2015-09-24 2017-03-30 Adobe Systems Incorporated Methods and Systems for Identifying Visitors to Real-World Shopping Venues as Belonging to a Group
JP2020061044A (ja) 2018-10-12 2020-04-16 サインポスト株式会社 情報処理システム
JP2020197994A (ja) 2019-06-04 2020-12-10 東芝テック株式会社 情報処理装置及びその制御プログラム

Also Published As

Publication number Publication date
JP2023020759A (ja) 2023-02-09
US20230034455A1 (en) 2023-02-02
EP4125020A1 (en) 2023-02-01

Similar Documents

Publication Publication Date Title
US11030604B2 (en) Information processing system
US8429016B2 (en) Generating an alert based on absence of a given person in a transaction
JP2017199234A (ja) 監視装置及びプログラム
US20230027382A1 (en) Information processing system
JP2024008245A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
KR20160131000A (ko) 보안 엘리먼트들의 고객 비활성화를 위한 시스템들 및 방법들
JP2023065267A (ja) 行動判定プログラム、行動判定方法及び行動判定装置
JP7318753B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP7398706B2 (ja) 不正防止システム、及び不正防止プログラム
JP2023162229A (ja) 監視装置及びプログラム
US20100053329A1 (en) Exit security
JP7318684B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP7318683B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP7318679B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP7135329B2 (ja) 情報処理方法、情報処理装置、および情報処理プログラム
JP7010030B2 (ja) 店内監視装置、店内監視方法、および店内監視プログラム
JP7318680B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP2016024601A (ja) 情報処理装置、情報処理システム、情報処理方法、商品推薦方法、およびプログラム
US20230005267A1 (en) Computer-readable recording medium, fraud detection method, and fraud detection apparatus
JP2024008708A (ja) 判定プログラム、判定方法、および判定装置
US20240203125A1 (en) Information processing program, information processing method, and information processing device
WO2023032000A1 (ja) 処理装置、処理方法及びプログラム
JP2024085336A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
KR20180024213A (ko) 점포 관리 서버
JP2023051360A (ja) 情報処理プログラム、情報処理方法および情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230703

R150 Certificate of patent or registration of utility model

Ref document number: 7318684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150