JP7225434B2 - 情報処理システム - Google Patents
情報処理システム Download PDFInfo
- Publication number
- JP7225434B2 JP7225434B2 JP2021565702A JP2021565702A JP7225434B2 JP 7225434 B2 JP7225434 B2 JP 7225434B2 JP 2021565702 A JP2021565702 A JP 2021565702A JP 2021565702 A JP2021565702 A JP 2021565702A JP 7225434 B2 JP7225434 B2 JP 7225434B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- moving object
- information
- unit
- store
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G3/00—Alarm indicators, e.g. bells
- G07G3/003—Anti-theft control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0639—Item locations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/203—Inventory monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/206—Point-of-sale [POS] network systems comprising security or operator identification provisions, e.g. password entry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
- G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
- G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/12—Cash registers electronically operated
- G07G1/14—Systems including one or more distant stations co-operating with a central processing unit
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G3/00—Alarm indicators, e.g. bells
- G07G3/006—False operation
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Theoretical Computer Science (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Operations Research (AREA)
- Human Resources & Organizations (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Cash Registers Or Receiving Machines (AREA)
Description
また、購入者が商店で購入したい商品を購入するときに、他にも多数の購入者がいる場合には、購入者は買い物を諦めてしまう場合が存在する。
したがって、上記のような事情を考慮すると、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化及び商品の代金の精算にかかる時間の短縮を図ることができるシステムが要求されている。
さらにまた、従来の店舗では買い物客やレジ担当者による万引き等の不正も問題となっており、このような不正防止が可能になるシステムも要求されている。
購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化、商品の代金の精算にかかる時間の短縮及び購入者やレジ担当者による不正防止を図ることを目的とする。
人が移動して商品を購入する際に利用される情報処理システムにおいて、
前記人又は当該人と共に移動する物体を移動物体として、当該移動物体を追跡する移動物体追跡手段と、
重量センサー、及びカメラのうち少なくとも一方を用いる所定の手法で、商品を特定する商品特定手段と、
特定された前記商品と、所定の位置関係にある前記移動物体とを紐づける紐づけ手段と、
を備える。
以下、本発明の第1の実施形態に係る情報処理システムの概要について説明する。
本発明の第1の実施形態に係る情報処理システムは、商品を自動精算するシステムとして適用される。
図1の「実施店舗」欄には、本発明の一実施形態の実施店舗が記載されている。
ただし、この実施店舗は、あくまで例示に過ぎず、本発明の一実施形態の適用先は特に限定されない。
図1の「精算場所」欄には、本発明の一実施形態において、買い物客が精算を行う場所が記載されている。本発明の一実施形態における精算場所は、精算ゲートを例示している。精算ゲートは、物体から商品として既に特定されたものをレジ台に置かずに、その商品を精算する機能を有している。
図1の「概要」欄には、本発明の一実施形態の概要が記載されている。
図1の「詳細」欄には、本発明の一実施形態の詳細が記載されている。
また、本発明の一実施形態に係る情報処理システムは、物体を測定対象とする1台以上のセンシングデバイスを備える。センシングデバイスとしては、画像センサー(カメラ等)の他、重量センサー、3Dセンサー(TOFセンサー、ステレオカメラ、LIDARセンサー等)温度センサー、距離センサー、赤外線を活用したセンサー等種々のものを採用できる。
また、本明細書では、商品撮像画像及び物体撮像画像に対して各種画像処理を施す場合、実際にはデータの形態で取り扱うが、以下においては説明の便宜上、データは省略して説明する。
ここで、物体撮像画像及び商品撮像画像としては、例えば、商品を個別に切り出した画像、商品のロゴの画像、商品のバーコードの画像、商品のラベルの画像、商品の棚全体の撮像画像、店舗内を天井等から撮像した店舗内の画像等を用いることができる。
図2に示すように、(1)店舗内(売場内)で商品の認識、及び商品の特定が行われ、(2)商品として特定できない物体、又は売買制限商品であると判定されると、(3)これらの物体あるいは商品に関する関連情報が目検用端末に送信される。ここで、物体あるいは商品に関する関連情報としては、各種センシングデバイスにより得られる情報が該当する。具体例として例えば、物体撮像画像、商品撮像画像、認識結果のログ、商品候補リスト、物体撮像画像が撮像された位置情報、重量センサーにより検知された重量情報、棚等の什器の位置情報、棚に陳列されている商品の位置情報、店舗内で商品あるいは買い物客を追跡するための情報、上述のセンシングデバイスから得られる3D情報(3Dデータ、ポイントクラウド等)、温度情報、距離情報、赤外線の検知情報等が含まれる。
ここで関連情報として物体撮像画像が採用される場合は、複数フレームの物体撮像画像が目検用端末に送信されてもよい。そして、(4)目検用端末において目検の依頼(目検対象に関する関連情報の受信)が報知され、(5)目検者が目検を実行する。これにより、店舗内において商品として特定できない物体が商品として一意に特定したり、売買制限商品の売買制限を解除したりすることができる。さらに、(6)目検者による目検結果(商品の特定結果あるいは売買制限の判定結果等)が売場内に設置された売場装置に送信され、(7)売場装置において、目検結果が参照される。このとき、売場装置において、売買制限商品である旨を報知することも可能である。
目検を経ても商品不特定との結果が返されたときや、売買制限商品の売買制限の解除判定に資する情報が不十分なとき等は、売場装置等において画面表示等で購入者に知らせる構成としてもよいし、音声で案内をする構成としてもよい。具体的に考えられるケースとしては、(A)商品不特定となった際に、購入者へ商品の取り直し(棚からの取り直し、カゴへの入れ直し)を依頼する、(B)売買制限の解除判定に用いる購入者の顔や身分証明書等の撮像画像が不鮮明な際に、画像の撮り直しを依頼する、(C)購入者への売場装置等の使用方法のガイドを行う等がある。また他に考えられるケースとして、(D)商品不特定となった際に、該当する可能性の高い商品の候補を購入者に提示し、画面上で該当する商品を選択するように依頼する等がある。さらにまた、(E)商品不特定となった際に、購入者に対してバーコードリーダー等で、商品を特定する情報を読み取るよう依頼をする、等も想定される。
音声案内をする際には、予め録音された音声を流してもよい。また、売場装置等に備え付けられたマイクロフォンとスピーカーを介して、購入者と目検者等が通話する構成としてもよい。
このようなフローが実行される情報処理システムの実施形態は、具体的には、以下のような情報処理システムとして実現することができる。
なおここでは説明の便宜上、以下、移動物体Moは買い物客であるとして説明する。また、精算ゲート5-1乃至5-3を含む通路44が精算エリア45とする。
本発明の一実施形態の情報処理システムは、図3に示すようなスーパーマーケット等の店舗40に対して適用される。本発明の一実施形態の情報処理システムは、商品がレジ台に置かれることなく精算ゲート5-1乃至5-3を通過するだけで自動精算できるようになされている。
通路44や精算エリア45等において、店員Mtが見回り等をしている。店員Mtは、情報端末9aを所持している。情報端末9aは、スマートフォン等の携帯型情報処理端末であり、店内の状態を表示する機能、店内で発生したエラー状態を表示する機能、遠隔操作機能等を備えている。
また、各棚ラック43内の各棚の複数個所の夫々には、センシングデバイスの他の例として棚カメラ311が設置されている。棚カメラ311は、棚内や棚内の商品、その他所定領域を撮像する。また、棚カメラ311は、棚内の所定領域内に移動物体Moの手等が進入した場合や、棚内から物体が取られた場合に、その手や棚内の物体等を物体撮像画像として撮像する。また、本実施形態において用いられるカメラは、3D画像、あるいは2D画像が取得できるカメラ、魚眼カメラ等に代表される広角を撮像できるカメラ等が採用される。
さらに、各棚ラック43内の各棚の複数個所の夫々には、センシングデバイスの他の例として重量センサー312が設置されている。重量センサー312は、商品が置かれ得る棚の重量を検知する。従って、重量センサー312により検知された重量の変化の違いから、棚からの商品の入出を検知する。
なおここで、天井及び各棚ラックに設置されているセンシングデバイスとして、カメラ及び重量センサーはあくまで一例であり、これに限定されない。例えば、3Dセンサー、温度センサー、距離センサー、赤外線を活用したセンサー等を含む各種各様のセンシングデバイスを設置することができる。また、重量センサーを始めとするこれらのセンシングデバイスは、商品が置かれ得る棚1つに対し、複数個設置されてもよい。
本発明の情報処理システムの一実施形態としての情報処理システムは、図4に示すような構成を有している。
情報処理システムは、サーバ1と、売場装置3と、n台(nは任意の整数)の精算ゲート5-1乃至5-nと、目検用端末Qとを有している。
サーバ1と、売場装置3と、精算ゲート5-1乃至5-nと、目検用端末Qとの夫々は、インターネット(Internet)回線等のネットワークNを介して相互に接続されている。
なお、説明の便宜上、図4のサーバ1は、1台しか描画されていないが、実際には複数台の場合もある。
また、以下、精算ゲート5-1乃至5-nを個々に区別する必要がない場合、これらをまとめて「精算ゲート5」と呼ぶ。
図5は、本発明の情報処理システムの第1の実施形態に係る構成のうち、サーバのハードウェア構成を示すブロック図である。 サーバ1は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、バス104と、入出力インターフェース105と、出力部106と、入力部107と、記憶部108と、通信部109と、ドライブ110と、を備えている。
RAM103には、CPU101が各種の処理を実行する上において必要なデータ等も適宜記憶される。
入力部107は、キーボードやマウス等で構成され、各種情報を入力する。
通信部109は、図4に示すように、インターネット回線を含むネットワークNを介して売場装置3及び精算ゲート5との間で通信を行う。
また、リムーバブルメディア120は、記憶部108に記憶されている各種データも、記憶部108と同様に記憶することができる。
精算ゲート5は、精算機5aを備えた精算ゲート5-1、電子マネー等を利用する精算ゲート5-2、通過するだけで精算できる精算ゲート5-3に区分されている。
有人の精算レジ6以外の精算ゲート5-1乃至5-3には、常時閉じている開閉部材(採番せず)が備えられていてもよい。
精算機5aは、精算ゲート5-1よりも出口42側に設置されている。そして精算機5aは、現金、クレジットカード、電子マネー、ポイント支払い、商品券や仮想通貨、プリペイドカード、バーコードやQRコード(登録商標)等の識別情報、社員証、アプリ情報等で支払いができる決算手段を備えている。
即ち、決済する人が、この精算ゲート5-2の精算エリア45に進入し、各種カードを、カード読取部にかざすと、後述する移動物体Moに紐づく商品情報が読み出され、精算及び決済が完了する。そして、決済する人は、精算ゲート5-2を通過可能となる。
なお、有人の精算レジ6は、店員Mtが商品の価格を個々に入力し、精算する。
サーバ1のCPU101においては、個人情報及び商品情報等を管理するDB管理部141が機能する。DB管理部141は精算ゲートの夫々に備える構成としてもよい。
サーバ1のCPU101は、エラー判定部150を備えている。
サーバ1の記憶部108の一領域には、商品DB131と、位置情報管理DB132とが設けられている。
商品DB131は、商品に関する情報を記憶するDB(Data Base)である。位置情報管理DB132は、移動物体Moの位置を管理する。
目検結果送信部412は、出力部406に出力された物体あるいは商品に関する関連情報等について、目検者が入力部407を介して入力した目検結果(商品の特定結果あるいは売買制限商品の判定結果等)を、目検を依頼した売場装置3、又は精算ゲート5に送信する。
個人情報取得部321は、移動物体MoのICカードやスマートフォン、タブレット等の携帯情報端末をタッチする読取装置や、指紋や静脈、虹彩等の生体情報を読み取る読取装置等が採用される。
なお、入店時に個人認証できなかった場合は、個人認証部320は、買い物中においてカメラ等から得られた移動物体Moの画像に基づいて個人認証してもよい。
またここで取得された個人情報は、売買制限(解除含む)や購買分析にも活用される。
天井カメラによる移動物体発見部3302は、天井カメラ310によって撮像された撮像画像に基づく状態空間モデル(ベイジアンフィルタ等)を用いて移動物体Moを発見する。
天井カメラによる移動物体領域定義部3304は、天井カメラによる移動物体発見部3302により発見された移動物体Moの領域を移動物体領域として定義する。天井カメラによる移動物体領域定義部3304は、移動物体Moを中心として、変化のあった領域を連続的に見つけることで、移動物体領域を定義する。即ち、天井カメラによる移動物体領域定義部3304は、発見した移動物体Moと、その移動物体Mo及びその移動物体Moの周辺のうち一定の範囲内を移動物体領域として定義する。
また、カゴ類を中心とした領域をカゴ領域と呼ぶと、カゴ領域は移動物体領域の下位概念となる。
また、カートを中心とした領域をカート領域と呼ぶと、カート領域は移動物体領域の下位概念となる。
あるいは、人の3Dデータから、頭、肩、腕、手、足等の各パーツを推定することで、人領域を精度高く認識することもできる。さらには、ディープラーニングを用いて、撮像画像や3Dデータ等から、例えば人領域、カゴ領域、カート領域を推定してもよい。
あるいは、天井カメラによる移動物体領域追跡部3305は、ベイジアンフィルタ、高速フーリエ変換、TLD(Tracking-Learning-Detection)等の画像内における物体追跡の技術を用いて、移動物体Moの移動を追跡する。
ここでいずれにしても、天井カメラ310からの映像では、天井カメラ310に正対していない移動物体Moが角度をもって(斜め方向から)撮像されるため、位置情報を正確に取得できないおそれがある。したがって、撮像画像に対してキャリブレーションによる補正をかけることで、正対しているように撮像することも考えられる。しかし、このような補正をかけても、高い精度で移動物体Moの位置情報を取得できないことがあり得る。
即ち、グルーピング部3308は、複数の移動物体Moにおける位置情報(例えば重なり、くっついている等の距離感)、また、移動方向(ベクトル)等の情報を用い、複数の移動物体Moをグルーピングしてもよい。
また、グルーピング部3308は、人領域とカゴ領域、カート領域を紐づけてもよい。
このようにグルーピング部3308が機能することにより、例えば精算ゲート5において、複数の移動物体Moに紐づく商品情報を、まとめて精算することができる。
さらに、天井カメラによる受け渡された商品特定部が受け渡された物体が、物体領域定義後の画像から、読み込まれた受け渡しを行った移動物体Moに紐づく商品リストのうちいずれの商品かを特定し、天井カメラによる移動物体領域間受け渡し認識部3311で特定した各移動物体Moと、受け渡しで特定された商品を紐づけ、夫々の商品のリストを更新する。
天井カメラによる移動物体領域間受け渡し認識部3311は、ディープラーニング等の物体認識手法を用いて、移動物体Moの動きを分析し、受け渡し認識してもよく、受け渡しの際に人領域の中の手を認識してもよく、受け渡しの認識は人領域(手を含んでも良い)間の重なりを認識してもよい。
またここで、天井カメラによる移動物体領域間受け渡し認識部3311、天井カメラによる受け渡された物体認識部3312、天井カメラによる受け渡された商品特定部3313においては、天井カメラの代わりに、他のセンシングデバイスが用いられてもよく、例えば一例として広範囲を撮像可能なカメラ等が採用されてもよい。
そこで、1台のカメラで可能な限り広範囲を撮影するため、例えば以下の工夫がなされてもよい。即ち、撮影対象が映る鏡を天井に設置し、カメラのレンズを天井の鏡に向けた状態で壁に設置する。そして撮影対象である物体や移動物体Moを鏡に映し、その鏡に映った物体や移動物体Moをカメラで撮影する。以上の工夫により、カメラと撮影対象の距離を見かけ上長く確保することができるため、1台のカメラでより広範囲を撮影することが可能になる。
センシングデバイスとして、天井カメラ310を用いた場合、位置情報管理部340においては、カメラ間情報受け渡し部341と、各カメラの位置定義部342と、移動物体表示部343とが機能する。
カメラ間情報受け渡し部341は、各天井カメラ310に撮像された画像情報を他の天井カメラ310に撮像された画像情報と共有するようにすることにより、移動物体Moがある天井カメラ310の撮像画像から別の天井カメラ310に撮像されるようになっても、移動物体領域を追跡し続けることができる。
他の例として、天井カメラ310の台数が多いことに鑑み、カメラ間情報受け渡し部341は、サーバ1を通じることなく各天井カメラ310で撮像された画像を各天井カメラ310間で例えばP2Pによって受け渡すようにしてもよい。
この各カメラの位置定義部342は、各天井カメラ310の撮像画像を合成し、1枚の店舗マップを作成する。また、この各カメラの位置定義部342は、各天井カメラ310、棚カメラ311の座標を店舗マップ上の座標に置き換える。また、各カメラの位置定義部342は、各天井カメラ310によって撮像された撮像画像について、透視変換により、計算上、店舗内床面に正対した撮像画像となるように補正する。
なおこのようにして得られた移動物体Moの位置情報は、位置情報管理DB132やメモリ等で管理される。なお、移動物体Moの位置情報、即ち、人の行動履歴に関する情報から、人の興味、関心等を推測することができる。このため、位置情報管理DB132やメモリ等で管理された移動物体Moの位置情報を、マーケティング分析等に活用することもできる。
棚商品認識部360は、図11に示す物体認識部3602と、商品特定部3603と、移動物体と商品紐づけ部3604と、移動物体と紐づく商品リスト管理部3606と、物体入出検知部3608と、商品不特定判定部3609と、ラベル認識部3610と、値引きシール認識部3611と、を備えている。
センシングデバイスとして、棚カメラ311又は重量センサー312を用いる場合、棚商品認識部360は、棚カメラ311、重量センサー312とネットワークNを通じ、他のカメラやパーソナルコンピュータと連携される。
即ち、物体認識部3602は、物体が棚内から取られた又は棚に置かれる前の物体撮像画像と、物体が棚内から取られた又は棚に置かれた後の物体撮像画像の変化前後の物体撮像画像を比較し、変化のあった画像領域を特定する。物体認識部3602は、画像領域を特定する際にRGBデータ夫々で変化を確認する。
また上述の例では、棚内から取られた又は棚に置かれたことを認識するには、カメラや重量センサーが用いられたが、これに限定されない。例えば、3Dセンサーをはじめとする各種センシングデバイスから取得した情報を基に、棚内から取られた又は棚に置かれたことを認識してもよい。
「商品候補リスト」のリストアップ手法として、例えば、存在が認識された物体から得られる物体の画像情報と、商品DB131やメモリ上に保持されている画像情報とマッチングさせる方法により実現されてもよい。即ち、両画像の特徴情報が一致する(閾値を超える)と、物体認識部3602によって存在が認識された物体が、商品DB131に登録されている商品であると認識し、商品特定部3603は、その商品DB131に登録された商品であると特定する。このように、ディープラーニングにより、商品候補を作成し、その後、検証機能を発揮させることで、商品を高い精度で特定する。
商品特定部3603は、「商品ごとの重量リスト」を用いる場合には、それと、棚内の重量の変化量と、をマッチングさせて、例えば、所定の閾値を超える場合に、商品又はその商品の個数を特定する。また、「商品ごとの重量リスト」に記録された商品ごとの重量及びマッチングにおける閾値は、統計分析や、ディープラーニング等の手法により定められてもよい。これにより、商品の重量にばらつきがある場合でも、高い精度で商品を特定することができるようになる。
また一方、商品特定部3603は、「商品ごとの位置情報リスト」を用いる場合には、それと、重量の変化があった棚の位置に関する情報とに基づいて、商品を特定する。
さらにまた、商品特定部3603は、「商品ごとの重量リスト」、及び「商品ごとの位置情報リスト」を組み合わせてマッチングに用いることにより、商品及び商品の個数の双方を特定してもよい。
また、それらの中から任意の1手法を採用してもよいし、複数の手法を組み合わせて採用してもよい。具体的には例えば、棚カメラ311から得られる商品の画像情報、重量センサー312から得られる商品の重量情報及び位置情報を組み合わせて商品を特定してもよい。このとき、マッチングにおける閾値は任意に定められてもよく、その閾値は、例えば、購入履歴、時間、場所、人の嗜好等の情報を参照してもよい。
さらにまた、複数のニューラルネットワークによるディープラーニングにより取得した情報と、他のセンシングデバイスにより取得した情報と、夫々任意に設定した閾値とを組み合わせて、任意のマッチングのアルゴリズムを作成してもよい。
このように、複数の手法を組み合わせた場合、夫々の手法による特定の精度が補完され、より高い精度で商品の特定をすることができるようになる。
例えば、センシングデバイスとして棚カメラ311を用いる場合、商品特定部3603は、物体が棚から取られた画像と物体が棚に置かれた画像とが類似する特徴点数を特定する。例えば、両画像に撮像された物体のサイズを特定したうえで比較し、色違いを特定したうえで色を比較し、両物体が類似しているかどうかを決定する。特徴点数が少ないと、商品不特定としてよい。
一方、センシングデバイスとして重量センサー312を用いる場合、商品特定部3603は例えば、商品の入出前後の重量の変化が、その位置情報と紐づく商品の重量との閾値を外れる場合に、商品不特定としてもよい。
さらには、上述した複数のニューラルネットワークによるディープラーニングにより取得した情報や、複数のセンシングデバイスにより得られる情報を組み合わせて作成した任意のマッチングアルゴリズムを用い、例えば、得られた結果が全て所定の閾値を超えた場合には商品特定とし、超えていない場合には商品不特定とするという構成にしてもよい。
さらに別の前提として、1台の棚カメラ311が撮像する所定エリア内に移動物体Moが1つも存在しないとされる場合であれば、少なくとも1台以上の棚カメラ311によって、移動物体Moへの入出を検知し、その移動物体Moを特定したうえで、その特定された移動物体Moと商品情報とを紐づける。
またここでも、移動物体Moの発見、定義、追跡には、天井カメラ310及び棚カメラ311に限定されず、各種各様のセンシングデバイスを用いることができる。
具体例としては例えば、3Dセンサーから得られた3Dデータから頭、肩、腕、手、足等の各パーツを推定することで、移動物体Moの高さ方向の情報を得ることができる。即ち、移動物体Mo同士の腕や手の重なっていた場合も、高い精度で移動物体Moを追跡することができ、商品との紐づけを高い精度で行うことができるようになる。
物体が棚内から取られた際、移動物体と紐づく商品リスト管理部3606は、取得された商品数分加算される。反対に、商品が棚内に戻された際、移動物体と紐づく商品リスト管理部3607は、戻された商品数分を減算する。
センシングデバイスとして棚カメラ311を用いる場合、物体入出検知部3608は、棚内への物体の進入を、例えば各棚カメラ311の撮像画像に設定した「進入検知領域」における画像データの変化から検知する。また、物体入出検知部3608は、入ってきた物体を画像内で追跡することで、物体が領域外に退出したことも検知する。
ただし、同じ領域に複数の物体が進入しないことを前提とすれば、物体入出検知部3608は、既に物体が存在する領域にかかる進入検知領域にはパーティクルをまかない。
一度になるべく少ない量の物体の領域が推定されるように、物体入出検知部は、商品が進入される都度、入出を検知する。
変化前後の画像は、推定領域で利用できるようにサーバ1の記憶部108に記憶される。
物体入出検知部3608は、上述の例以外に、物体の撮像画像から得られるスペクトル(波長)データから物体入出を検知してもよい。さらに、棚内への物体の進入を検知するセンシングデバイスとしては、上述の棚カメラに限定されず、各種各様のセンシングデバイスを用いることができる。例えば、画像センサー(カメラ等)の他、重量センサー、3Dセンサー、温度センサー、距離センサー、赤外線を活用したセンサー、圧力センサー、エチレンガスセンサー等種々のものを採用することができる。
特定物体目検モードに設定されている場合、商品特定部3603は、商品不特定とされた物体に関する、各種センシングデバイスにより得られる関連情報を、目検結果取得部301aを介して目検用端末Qに送信する。一方、全物体目検モードに設定されている場合、商品特定部3603は、商品の特定結果及び特定された商品の関連情報と、商品不特定とされた物体の関連情報等とを目検結果取得部301aを介して目検用端末Qに送信する。
そして、商品特定部3603は、目検結果取得部301aが目検用端末Qから取得した目検結果に基づいて、商品の特定を行う。具体的には、商品特定部3603によって特定された商品については、目検結果により特定結果が承認、又は修正された場合、商品特定部3603は、目検結果が示す内容に従って、商品の特定を行う。また、商品特定部3603によって商品不特定とされた物体については、商品特定部3603は、その物体を目検結果が示す商品として特定する。なお、商品特定部3603が目検による商品の特定を依頼する場合、ラベル認識部3610による商品特定の補完を経た後に、依頼を行うことにしてもよい。この場合、ラベル認識部3610による商品特定の補完の結果、商品が特定されたものを除外して、目検による商品の特定を行うことができる。
売買制限商品判定部380は、特定された商品が売買制限商品であるか否かを判定する。
なお、売買制限商品としては、(A)タバコ、酒類等のような一定の年齢に達しないと購入できない商品、(B)消費期限切れや賞味期限切れの商品、(C)アレルギー成分を含むため、体質によって、摂取すべきでない商品、(D)ハラル食品以外の商品等、宗教による制限のある商品、が該当する。
即ち、売買制限商品判定部380は、DB情報から、特定された商品が酒類、タバコ類の年齢制限による売買制限商品と判定する。また、売買制限商品判定部380は、文字認識等を活用し、当該商品が消費期限や賞味期限切れによる売買制限商品と判定する。また、売買制限商品判定部380は、個人認証により得られた個人情報と紐づけ、当該商品が買い物客に対しアレルギー、ハラル食品以外等の売買制限商品と判定する。
売買制限商品判定部380は、売買制限商品を検知すると、その情報をエラー表示部151に表示されるようにする。
本実施形態において、売買制限商品判定部380は、売買制限商品に該当する商品の関連情報を、目検結果取得部301aを介して目検用端末Qに送信してもよい。このとき、売買制限商品判定部380は、売買制限商品の種別に応じて、買い物客に関する情報(顔画像、個人情報等)を、目検結果取得部301aを介して目検用端末Qに適宜送信する。
そして、売買制限商品判定部380は、目検結果取得部301aが目検用端末Qから取得した目検結果に基づいて、売買制限商品の販売が許可されるか否か(売買制限が解除されたか否か)を判定することができる。
入力制御部536は、ゲート本体に備えられた精算ボタンや、情報読取部等の入力部506からの信号を入力する。
出力制御部537は、出力部507に精算金額を表示させたり、精算機5aに情報を出力したり、開閉部材を開閉させたりする。
一方、精算エリア45に進入した移動物体Moが複数人である場合、侵入した複数人の移動物体Moに紐づく商品情報を基に、精算金額や精算対象商品を確定する。即ち、複数人の精算金額や精算対象商品がまとめて確定する。具体的には例えば、父親が財布を持って決済する場合において、同伴者である母親と子供に紐づく商品情報(商品のリスト)をもまとめて確定し(グルーピング)、父親が決済できるようすることもできる。
この精算ゲート5-1にあっては、決済する人が精算エリア45に侵入すると、この侵入がトリガーとなって移動物体Moに紐づく商品情報が読み出され、精算金額が確定し、精算ゲート5-1を通過可能となる。ここで、開閉部材が備えられている場合は、開閉部材が開く。そして、決済する人が精算機5aによって決済すると、退店可能となる。
または、精算ゲート5-1に精算ボタン(図示せず)を設置し、決済する人がその精算ボタンを押下することによって、移動物体Moに紐づく商品情報が読み出され、精算金額が確定し、精算ゲート5-1を通過できるようにしてもよい。
また、商品不特定との結果が返された場合は、売場装置等において画面表示等で購入者に知らせる構成としてもよいし、音声で案内をする構成としてもよい。具体的に考えられるケースとしては、(A)商品不特定となった際に、購入者へ商品の取り直し(棚からの取り直し、カゴへの入れ直し)を依頼する、(B)購入者への売場装置等の使用方法のガイドを行う等がある。さらにまた、(C)商品として特定される可能性の高い商品の候補を購入者に提示し、画面上で該当する商品を選択するように依頼する、(D)購入者へバーコードリーダー等を用いて商品を特定するよう依頼をする、(E)購入者へ商品の一覧を表示し、購入者に商品を特定するよう依頼する、等がある。
なお、この不特定の物体を、有人の精算レジ6において、店員Mtが対応し、商品を特定してもよい。
精算対象商品が売買制限商品であったり、移動物体Moに不特定の物体が紐づいている場合は、上述の精算ゲート5-1と同じ動作となる。
精算ゲート5-3は、決済する人が精算ゲート5-3の精算エリア45に進入すると、エラーがない限り、自動精算されて、精算ゲート5-3を通過可能となる。
精算対象商品が売買制限商品であったり、移動物体Moに不特定の物体が紐づいている場合は、上述の精算ゲート5-1と同じ動作となる。
即ち、決済する人が一旦精算エリアから退き、商品を追加購入したり、商品を棚に戻した後、再度精算エリアに侵入した場合でも、移動物体Moに紐づく商品情報は更新されて確定されることになる。
またここで商品情報の読み取りのトリガーとしては、(1)決済する人が精算エリア45に進入したとき、商品情報が自動的に読み込まれる、(2)決済する人が精算ゲート5-1に設置された精算ボタンを押下することによって、商品情報が読み込まれるケースがある。
また、移動物体Moに紐づく商品情報が破棄される際のトリガーとしては、(1)決済する人が精算エリア45から退いたとき、商品情報が自動的に破棄される、(2)決済する人が精算ゲートに設置されたキャンセルボタン(図示せず)を押下することによって、読み込まれた商品情報が破棄される、(3)決済する人が所定の時間までに決済処理をしない場合、タイムアウトとして、商品情報が自動的に破棄される、等がある。
図12及び図13は、本発明の情報処理システムの第1の実施形態に係る構成のうち、図8のサーバと売場装置と精算ゲートと目検用端末とが実行する自動精算処理を説明するフローチャートである。
ステップS401において、移動物体Moが店舗40(図3)の入口41から店内に入店すると、入口41付近に設置された天井カメラ310がその移動物体Moの撮像を開始する。移動物体Moが例えばカゴやカートを手にし、通路44を進むと奥の天井カメラ310がその移動物体Moの撮像を開始する。このようにして複数の天井カメラ310が移動物体Mo、カゴ、カートを含む店舗30内全体を常時撮像する。なお、ステップS401の前に、個人認証部320が移動物体Moである買い物客の個人認証し、移動物体Moの個人情報を取得してもよい。
なお、物体入出検知部3608は、棚カメラ311による撮像により、棚内に進入した移動物体Moの手等物体を追跡し続けることで物体が棚内から退出したことを検知する。
またステップS406において、重量センサー312を用いる場合には、その重量の変化を確認し、例えば、重量が減少した場合には物体が棚内から取られたと検出し、一方重量が増加した場合には物体が棚内に置かれた(戻された)と検出する。
また、ステップS406に際して、天井カメラによる物体取得認識部が棚内等から移動物体Moが物体を取得したことを認識してもよい。
商品特定部3603は、物体認識部3602により定義された物体について、棚カメラ311を用いる場合には、特定物体認識、一般物体認識、ディープラーニング等の画像処理手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストS」と呼ぶ。その後、商品特定部3603は、検証機能を発揮させ、商品を高い精度で特定する。
また、ステップS407において、重量センサー312が用いられる場合には、商品ごとの重量が記録された「商品ごとの重量リスト」、又は商品が設置される棚の位置が記録された「商品ごとの位置情報リスト」が予め用意されている。
商品特定部3603は、「商品ごとの重量リスト」、「商品ごとの位置情報リスト」に基づいて商品を特定する。
また、ステップS407に際して、ラベル認識部が、特定された商品に応じて紐づけされたラベルを認識してもよい。
また、ステップS407に際して、値引きシール認識部が、特定された商品に応じて、貼付された値引きシールを認識してもよい。
また、ステップS407に際して、天井カメラによる商品特定部が、天井カメラによる物体取得認識部が取得した物体領域について、いずれの商品かを特定してもよい。
特定物体目検モードに設定されている場合、処理はステップS409に進む。
また、全物体目検モードに設定されている場合、処理はステップS410に進む。
ステップS410において、目検結果取得部301aは、対象となる物体について、目検用端末Qにおける目検(商品の特定)を依頼し、その目検結果を取得する。
ステップS409の後、処理はステップS411に進む。
ステップS410において、商品特定部3603は、追加された1個の物体がいずれの商品であるか特定できないものであるかどうか判定する。商品特定部3603がいずれの商品であるか特定できないものである場合(ステップS410においてYES)は、処理はステップS409に進む。
また、ステップS410において、商品特定部3603がいずれの商品であるか特定できなかった場合は、例えば、売場装置3に備え付けられた図示しない表示部の画面表示や、図示しないスピーカーによる音声案内等で、購入者へ商品の棚からの取り直しを依頼する構成としてもよい。さらに、売場装置3備え付けられた図示しないマイクロフォンを介して、購入者と目検者等が通話する構成としてもよい。また例えば、精算ゲート5の出力部507等に、いずれかの商品であるか特定できなかった旨の表示をさせたり、該当する可能性の高い商品の候補を購入者に提示し、画面上で該当する商品を選択するように依頼してもよい。あるいは、購入者へバーコードリーダー等を用いて商品を特定するよう依頼をしたり、購入者へ商品の一覧を表示し、購入者に商品を特定するよう依頼してもよい。
ステップS411において、商品特定部3603によって特定された商品が、年齢確認が必要とされる商品でないと判定された場合は、即ちNOと判定された場合、処理はステップS417に進む。
ステップS412において、出力制御部537は、精算ゲート5の出力部507に年齢確認のための画面を表示させる。ただし、移動物体Moの個人情報が取得され、ここで年齢確認する必要がない場合は、ステップS412はスキップされ、処理はステップS416に進む。ここで、移動物体Moの年齢認証に問題があるときは、精算ゲート5に備え付けられた図示しないスピーカーと図示しないマイクロフォンを介して、購入者と目検者等が通話する構成としてもよい。
ステップS413において、目検結果取得部301aは、対象となる商品について、目検用端末Qにおける目検(売買制限商品の判定)を依頼し、その目検結果を取得する。
ステップS414において、売買制限商品判定部380は、売買制限を解除する指示を受け付けたか否かを判定する。売買制限商品の売買制限の解除は、判定の結果を受けて店員がその場で対応する、もしくはシステムとして目検の結果を採用する、いずれかの方法で行う。ここではシステムとして目検の結果を採用する場合について説明する。
ステップS414において売買制限を解除する解除指示を受け付けたと判定されると、即ちYESと判定されると、処理はステップS416に進む。
ステップS415において、目検用端末Qの目検結果送信部412は、目検結果によっても売買制限が解除されなかった旨の警告を送信する。この警告を受信することにより、例えば、精算ゲート5の出力制御部537は、目検結果によっても売買制限が解除されなかった旨の警告を、出力部507を介して提示する。ステップS416の後、処理は終了し、精算が中止となる。
ステップS416において、売買制限商品判定部380は、売買制限を解除する。
このようにしてステップS416が終了されるか、又はステップS411において年齢制限商品でないと判定された場合(NOであると判定された場合)、処理はステップS417に進む。
ステップS418において、移動物体と紐づく商品リスト管理部3606が、移動物体Moと紐づく商品リストを精算まで管理し続ける。
ステップS419において、移動物体Moに紐づく商品情報に基づき、精算ゲート5が精算乃至決済する。
なお、ステップS419までの途中、又はステップS419の際に、エラー表示部151、情報端末9a、情報端末9bや精算ゲート5の出力部507が、何かしらのエラー状態を店員等に通知してもよい。
また、ステップS419において、売買制限商品が移動物体Moに紐づいている場合、ゲートを開けずに閉じたままとし、エラー状態を表示してもよい。
(A)天井カメラ310により撮像された移動物体Moを被写体として含む画像を目検用端末Qに送信し、目検による移動物体Moの検出を依頼する。目検者が移動物体Moを検出した場合は、新たな移動物体Moを定義の上、IDを発番して、天井カメラによる移動物体領域追跡部3305による追跡を開始する。目検者が移動物体Moを検出できなかった場合は、その旨を店員に報知する。
(B)位置情報管理DB132に登録されているどのIDとも紐づけられていない移動物体Moが認められた場合、その移動物体Moの撮像画像と、紐づけられるべきID候補のリストが目検用端末Qに送信される。目検者は、過去の移動物体MoとIDとの紐づけ情報に基づいて、最も適切なIDを当該移動物体Moに紐づけ、天井カメラによる移動物体領域追跡部3305による再追跡を開始する。何らかの理由で再追跡が開始できなかった場合は、その旨が店員に報知される。
また、移動物体Moとの紐づけを失ったIDが検出された場合には、当該IDと、どのIDとも紐づけられていない移動物体Moの撮像画像のリストが目検用端末Qに送信される。目検者は、過去の移動物体MoとIDとの紐づけ情報に基づいて、当該IDに移動物体Moを紐づけることを試み、紐づけが成功した場合は、天井カメラによる移動物体領域追跡部3305による再追跡を開始する。何らかの理由で再追跡の開始が失敗した場合は、その旨が店員に報知される。
(C)夫々の移動物体Moの画像リストと、夫々の移動物体Moに紐づけられるべきIDのリストが目検用端末Qに送信される。目検者は、過去の移動物体MoとIDとの紐づけ情報に基づいて、最も適切に、IDを移動物体Moに割り振ることを試みる。IDを移動物体Moに適切に割り振ることができた場合は天井カメラによる移動物体領域追跡部3305による再追跡を開始する。IDを移動物体Moに適切に割り振ることができない場合は、割り振りを諦め、紐づけが入れ替わったままの旨を店員に報知する。
(D)移動物体Moに対するIDの割り振りが不可能である場合には、移動物体Moに対し、バーコードリーダー等で商品を特定する情報を読み取るよう依頼する。あるいは、移動物体Moに対し、自ら画面操作等を行いて商品を特定するよう依頼する。
以上、第1の実施形態においては物体の入出の検知及び商品の特定に用いるセンシングデバイスとしてカメラを採用することを前提で説明したが、上述したように採用可能なセンシングデバイスはカメラに限定されない。
第2の実施形態においては、物体の入出の検知及び商品の特定に用いるセンシングデバイスとして重量センサーを採用する例について具体的に説明する。
表示装置41bには、店舗40内に存在する人の数が表示される。そして入店ゲート41aには、ロック機能及び解除機能が備えられている。
店舗40内に存在する人の数が所定の閾値以下である場合、新たな買い物客としての移動物体Moは、入店ゲート41aを通過して入店することができる。一方で、店舗40内に存在する人の数が所定以上である場合、店舗40内の人の数が所定未満になるまで、新たな買い物客としての移動物体Moは(ロック機能により)入店が禁止される。
移動物体Moは、手にしたカゴやマイバッグに商品を投入してもよいが、本実施形態では、移動物体Moは、商品を直接手に所持した状態で精算エリア45へ進むことを前提として以下説明する。
また商品が置かれ得る棚ラック43の複数個所の夫々には、重量センサー312が設置されている。重量センサー312は、商品が置かれ得る棚の重量を検知する。これにより重量センサー312により検知された重量の変化から、棚からの物体の入出が検知され、入出した商品及び入出した当該商品の個数が特定される。
重量センサー312は、商品が置かれ得る棚1つに対し複数個設置されてもよい。これにより例えば棚の手前(例えば賞味期限が古い商品が置かれた場所)に設置された重量センサー312により重量の変化が検知された場合は、賞味期限が古い商品が入出し、一方で棚の奥(例えば賞味期限が新しい商品が置かれた場所)に設置された重量センサー312により重量の変化が検知された場合には、賞味期限が新しい商品が入出したことが特定され得る。
また重量センサー312は、棚ラック43の下に設置されてもよい。これにより棚全体の重量の変化が検知される。あるいは、商品が置かれ得る棚の夫々及び棚ラック43の夫々に重量センサー312が設置されてもよい。商品が置かれ得る棚及び棚ラック43の夫々における重量の変化を検知することで、棚から入出した商品及び当該個数の特定の精度を向上させることができる。
具体的には例えば、棚から物体が持ち去られた後、当該物体が別の棚に戻された場合、移動物体Moには本来所持していない物体が紐づいた状態(誤認識された状態)となる。このような場合に、棚カメラ311により取得された撮像画像により物体の入出及び商品の特定が補完されることで、精算の精度を向上させることができるようになる。
一方で、棚カメラ311により取得された撮像画像のみに基づいて物体の入出や商品の特定を行う場合、例えばカメラでは見えない棚奥からの物体の入出の検知や、重なっている物体や乱雑に置かれている物体の入出検知や商品の特定をすることは困難である。
このように重量センサー312及び棚カメラ311といった1以上のセンシングデバイスから取得される情報を適宜組み合わせて採用することにより、商品の特定精度を向上させることができるようになる。なおこのとき棚カメラ311は必ずしも棚に設置される必要はなく、例えば天井等に設置されていてもよい。
本実施形態において、精算機5aにはタッチパネルディスプレイ、カメラ、決済端末(現金釣銭機含む)、音声入力装置、読取機、バーコードリーダー、スピーカー、プリンター、NW機器、モーションキャプチャーシステム等が備えられている。
例えば、(1)商品を所持した移動物体Moが精算エリア45に侵入すると、その侵入がトリガーとなり、精算機5aのタッチパネルディスプレイに当該移動物体Moに紐づく商品の商品リストが表示される。移動物体Moは、タッチパネルディスプレイに表示される商品リストを確認し、商品リストと所持した商品とが一致していることを確認する。表示された商品リストの内容と自身が購入したい商品とが一致した場合、決済処理が開始される。即ち例えば、移動物体Moは、タッチパネルディスプレイを操作することにより支払いの方法を選択し、選択した支払い方法により決済を完了し、精算ゲート5-4を通過して退店する。
また例えば、(2)商品を所持した移動物体Moが精算エリア45に侵入し、バーコードやQRコード(登録商標)や各種ICカード等を精算機5aの読取機にかざすと、移動物体Moに紐づく商品リストが読み出され、タッチパネルディスプレイに表示される。移動物体Moがタッチパネルディスプレイに表示される商品リストと自身が所持している商品とが一致していることを確認し所定の操作をすると自動的に決済が完了し、移動物体Moは精算ゲート5-4を通過して退店する。
また例えば、(3)個人認証済みの移動物体Moが精算エリア45に侵入すると、その侵入がトリガーとなり、タッチパネルディスプレイに移動物体Moに紐づく商品の商品リストが表示される。移動物体Moが、商品リストと自身が購入したい商品とが一致していることを確認すると、自動的に決済が完了し、移動物体Moは、精算ゲート5-4を通過して退店する。
このように移動物体Moが購入する商品を所持して精算エリア54に侵入するだけで、自動的に精算が行われ所定の手法により決済を完了させることができる。これにより移動物体Moは、店員Mt等の人を介さずに買い物を完了させることができるようになる。
売場装置3は、CPU301と、ROM302と、RAM303と、バス304と、入出力インターフェース305と、天井カメラ310と、棚カメラ311と、重量センサー312と、出力部313と、通信部315と、個人情報取得部321と、情報端末9とを備える。また情報端末9は、遠隔操作部390と表示部391と入力部392とを備える。
出力部313は例えばデジタルサイネージが表示されるディスプレイ、スピーカー等から構成され、例えば店舗40内に存在する人の数を表示する。
個人情報取得部321は、読取機等の各種装置から構成され、移動物体Moの個人情報を取得する。
情報端末9は、パーソナルコンピュータ、スマートフォンやタブレット等の情報機器から構成される。情報端末9において、遠隔操作部390、表示部391は、図6における情報端末9におけるブロックの夫々と基本的に同様の機能を有している。入力部392は例えばキーボード、ボタン等で構成され、エラー解除や、売買制限解除等の入力を行う。
また図17は、本発明の情報処理システムの第2の実施形態に係る構成のうち、図16の売場装置に備えられた棚商品認識部の詳細な機能的構成例を示す機能ブロック図である。
サーバ1を構成する機能ブロックの夫々は図8のサーバ1の対応する機能ブロックの夫々と基本的に同様の機能と構成を有するためここでは説明は省略する。
したがって以下においては、図8の目検用端末Qとは異なる機能と構成についてのみ説明する。
CPU301においては、個人認証部320と、移動物体追跡部330と、位置情報管理部340と、入店制御部350と、棚商品認識部360と、売買制限商品判定部380と、オペレーション受付部301cと、オペレーション結果取得部301dとが機能する。
またCPU301の棚商品認識部360は、図17に示す検知部3602aと、商品特定部3603aと、移動物体と商品紐づけ部3604と、移動物体と紐づく商品リスト管理部3606と、商品不特定判定部3609と、ラベル認識部3610と、値引きシール認識部3611と、在庫情報更新部3612とを備えている。
売場装置3の構成のうち、天井カメラ310、棚カメラ311、重量センサー312、通信部315は、図8の売場装置3の対応する機能ブロックの夫々と基本的に同様の機能と構成を有する。
またCPU301の棚商品認識部360のうち、移動物体と商品紐づけ部3604と、移動物体と紐づく商品リスト管理部3606と、商品不特定判定部3609と、ラベル認識部3610と、値引きシール認識部3611は、図9の棚商品認識部360において対応する機能ブロックの夫々と基本的に同様の機能と構成を有する。
またCPU301のうち、売買制限商品判定部380は、図8の売場装置3のCPU301において対応する機能ブロックと基本的に同様の機能と構成を有する。
したがって以下においては、図8の売場装置3とは異なる機能と構成についてのみ説明する。
また例えば移動物体Moの過去の購買履歴や電子メールアドレス等も特定されるため、移動物体Moを対象としたおすすめ情報や、移動物体Moが手に所持している商品に関する情報をリアルタイムに移動物体Moのスマートフォンに提示させることが可能になる。また商品購入後の領収書をスマートフォンに提示させることでペーパレス化を実現することもできる。さらにまた、移動物体Moの購買履歴と個人情報とが紐づいて管理されるため、これらの情報をマーケティング情報として有効に活用させることができる。
入店制御部350は、新たな買い物客の入店を許可する場合には、表示装置41b等に入店を許可する旨を提示し、入店ゲート41aの開閉部材を開く(ロック解除)処理を実行する。一方で新たな買い物客の入店を禁止する場合には、入店制御部350は、表示装置41b等に入店を禁止する旨を提示し、入店ゲート41aの開閉部材を閉じる(ロック)処理を実行する。
このとき入店制御部350は、表示装置41b等に備えられたスピーカー等から音や光で入店可否を報知させる制御を実行してもよい。これにより店舗40内に存在する人の数を一定以下に維持することができるため、人同士の接触による感染症等を防止することができるようになる。
このようにして認識された物体が棚内から持ち去られた又は棚に置かれたことに関する情報は、商品特定部3603に引き渡される。
具体的には例えば、(1)商品不特定判定部3609において商品が不特定と判定されている場合、オペレーション受付部301cは、移動物体Moから目検の依頼がなされると、重量センサー312によって取得された当該物体の重量のデータ及び位置情報を目検用端末Qに送信する制御を実行する。またこのとき、天井カメラ310や棚カメラ311によって得られた撮像画像が目検用端末Qに送信されてもよい。
また例えば、(2)売買制限商品判定部380において、特定された商品が売買制限商品であると判定された場合、オペレーション受付部301cは、移動物体Moから売買制限の解除の依頼を受け付けると、当該商品の関連情報を目検用端末Qに送信する制御を実行する。
ステップS702において、移動物体Moが入口41から店内に入店すると、天井カメラ310が移動物体Moの撮像を開始する。
移動物体MoのIDは、移動物体Moの位置(座標)情報と紐づけて位置情報管理DB132やメモリ等で管理され、移動物体Moを含む所定の領域が定義されるごとに更新される。この定義された座標は、別の天井カメラ310において撮像されている位置でも認識される。
なお本実施形態では、移動物体Moの領域の定義がなされた後に、IDが発番され、移動物体MoとIDとが紐づけられるものとして説明しているが、移動物体領域の定義とIDの発番及び紐付けの順は特にこれに限定されず任意でよい。
ここで商品情報には、商品名、価格、JANコード、商品画像、商品の重量、商品サイズ、陳列位置、値引き情報、返金、売上集計、表示が少なくとも含まれ、これらの商品情報は、サーバ1の商品DB131に記憶される。
また商品不特定判定部3609は、特定されなかった商品と移動物体Moとを紐づける。
商品リストの修正が必要であると判断さえた場合、移動物体Moは商品リストの修正をすることができる。
ステップS712において、移動物体Moは自身の操作により商品リストの修正を行う。具体的には例えば、移動物体Moが購入する商品と、商品リストに表示された商品との間に個数の過不足がある場合、移動物体Moは、精算機5aのタッチパネルディスプレイの図示せぬボタンを押下することにより個数を修正してもよい。また例えば、特定できなかった商品や間違った商品が商品リストに表示されている場合には、移動物体Moは、商品に貼付されたバーコードの読み取り等により商品リストの修正を試みてもよい。さらにまた移動物体Moは、タッチパネルディスプレイに表示された商品候補から正しい商品を選択することにより商品の特定を試みてもよいし、商品DB131に記憶されている全ての商品の商品情報から検索して特定してもよい。
このようにして商品リストの修正が完了すると、移動物体と紐づく商品リスト管理部3606は商品リストを更新し、処理はステップS711に戻され、それ以降の処理が繰り返される。
ステップS714において、売場装置3のオペレーション結果取得部301dは、オペレータによる目検の結果を取得する。
具体的には例えば、ステップS713において移動物体Moから目検の要求が受け付けられたと判定された場合、図示せぬオペレータは目検を行う。目検の方法は特に限定されず、オペレータは、物体、商品等関する情報(例えば重量のデータやカメラにより取得された画像情報)に基づいて目検を行ってもよいし、精算機5aに備えられたカメラ等を介して物体の画像を確認してもよい。
そして目検用端末Qの結果送信制御部422は、売場装置3、精算ゲート5に目検結果を送信する制御を実行する。
オペレーション結果取得部301dによりオペレータによる目検の結果が取得されると、移動物体と紐づく商品リスト管理部3606が商品リストを更新し、処理はステップS713に戻され、それ以降の処理が繰り返される。
売買制限商品判定部380は、例えば特定された商品が年齢制限商品であると判定した場合、処理はステップS716に進む。
オペレーション受付部301cは、移動物体Moから売買制限の解除の依頼を受け付けると、移動物体Mo、商品等関する情報を目検用端末Qに送信する制御を実行する。
ステップ718において、移動物体と紐づく商品リスト管理部3606は商品リストを更新し、売買制限商品判定部380は売買制限を解除する。
ステップS719において、売買制限商品判定部380は、警告を送信し、自動精算処理を中止する。
移動物体Moが退店すると天井カメラによる移動物体領域追跡部3305により店舗40内の人の位置情報が更新され、入店制御部350により新たな買い物客の入店が許可される。
本発明は、上述の実施形態に限定されるものでなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
店員判別手段は、店員と買い物客とを判別する。例えば、店員判別部は、店員を識別できる物理的なマーカーを帽子や服等、店員が身に着けているものに付与する。この物理的なマーカーを天井カメラ及び棚カメラが撮像することで、店員を判別する。
なお、店員判別部は、店員と認識した人物の領域を天井カメラが追跡し続ける。
在庫情報の更新手段は、商品が購入された場合に、当該商品が存在する棚の在庫及び店舗全体の在庫情報を更新する。
在庫情報の更新手段は、棚の在庫及び店舗全体の在庫情報を管理し、在庫数が閾値を下回ると、遠隔操作部に通知する、又は自動発注する。
また、本発明は、購買情報や買い物客の属性情報や個人情報をPOSシステムに連携する。購買情報とは例えば、購入した商品名、金額等の情報、商品の位置、買い物客の移動履歴、あるいは購入には至らなかったが棚から入出が行われた商品に関するデータが含まれる。また、買い物客の属性情報とは例えば、上述の買い物客の属性推定機能にて得られる情報が含まれる。
上述の実施形態における情報処理システムでの商品の特定手法として、ディープラーニングを用いた画像認識を一例として挙げた。しかし、ディープラーニングは、商品を特定できなかったとき、もしくは誤認識したときに再学習をさせる必要があり、その際には正解商品の画像を人の手で与える必要があり、多大な手間がかかる。
ここで、学習結果の配備とは、商品の特定に用いることができるよう、学習の結果に基づいて、同情報処理システムの、例えばディープラーニングのモデル等を更新する処理を指す。
上記の再学習処理は、例えば商品特定の失敗等の所定の条件をトリガーとして開始される構成としてもよいし、担当者による明示の操作、例えばボタンの押下等をトリガーとして開始される構成としてもよい。
さらに、上記の重量認識、バーコードやQRコード(登録商標)等の識別情報のスキャンによる商品認識、電子的に記録された識別情報の読み取りによる商品認識等の特定手法は、画像認識手法と組み合わせずに、1つ、又は複数を組み合わせて、物体を商品として認識することが可能である。
また、上述の各実施形態において、1つの店舗、又は1つの精算ゲート5ごとに1つの目検用端末Qを備えることや、複数の店舗、又は複数の精算ゲートごとに1つの目検用端末Qを備えることが可能である。
また移動物体Moが人である場合には、3次元点群データを初めとして2D画像、距離データ、温度データ、赤外線量、光データなどの各センシングから取得できるデータを用い、移動物体Moの領域を定義してもよい。またディープラーニングを併用することによって移動物体Moの領域を推定してもよい。
また、図示したハードウェア構成やブロック図は、本発明の目的を達成するための例示に過ぎず、本発明は図示された例に限定されない。
また、図8乃至図11、図16、図17の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能がシステムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図8乃至図11、図16、図17の例に限定されず、任意でよい。
また、機能ブロックの存在場所は、図示されたものに限定されず、任意でよい。例えば、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらを組み合わせで構成してもよい。各機能ブロックの処理をソフトウェアにより実行される場合には、そのソフトウェアを構成するプログラムがコンピュータ等にネットワークや記録媒体からインストールされる。
また、本明細書において、システムの用語は、複数の装置や複数の手段等により構成される全体的な装置を意味するものである。
即ち、情報処理システムは、
人が移動して商品を購入する際に利用される情報処理システムにおいて、
前記人又は当該人と共に移動する物体を移動物体として、当該移動物体を追跡する移動物体追跡手段(例えば、天井カメラによる移動物体領域追跡部3305)と、
重量センサー、及びカメラのうち少なくとも一方を用いる所定の手法で、商品及び商品の個数の双方を特定する商品特定手段(例えば、商品特定部3603)と、
特定された前記商品と、所定の位置関係にある前記移動物体とを紐づける紐づけ手段(例えば、移動物体と商品紐づけ部3604)と、
を備える。
これにより、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化、商品の代金の精算にかかる時間の短縮及び買い物客やレジ担当者による不正防止を図ることが可能な情報処理システムを提供することができる。
特定された前記商品の情報から確定された精算金額を提示する提示手段(例えば、出力制御部537)をさらに備える。
これにより購入者は、提示された精算金額に基づいて商品の精算を無人で試みることができる。
前記移動物体に対する精算として、前記移動物体と紐づけされた前記商品に関する精算の処理を行う精算手段(例えば、精算部535)、
をさらに備える。
これにより購入者は、精算エリアに侵入しただけで自身が購入する商品の精算を行うことができる。
前記移動物体に関する情報を取得する取得手段(例えば、個人情報取得部321)をさらに備える。
これにより購入者は、例えば現金やクレジットカード等を取り出すことなく、精算ゲートを通過するだけで商品の精算を完了させることができる。
これにより移動物体Mo同士で物体の受け渡しが行われた場合でも、移動物体Moの夫々お商品リストが更新されるため、自動精算の精度をさらに向上させることができる。
前記商品が売買制限商品であって、前記人が売買制限の対象の可能性がある場合、所定のエラー状態である旨を提示する第1エラー提示手段(例えば、エラー表示部151)をさらに備える。
これにより店員Mtやオペレータは、売買制限商品の購入希望者に対し、年齢確認を行ったり、アレルギー商品であることを通知することができるようになる。
前記商品特定手段による前記商品及び商品の個数の双方の特定の試みが失敗した場合、所定のエラー状態である旨を提示する第2エラー提示手段(例えば、エラー表示部151)をさらに備える。
これにより店員Mtやオペレータは、特定の試みに失敗した商品について、購入者に対し、自身による修正やオペレータの目検による修正等の提案を行うことができる。
前記店員と前記移動物体とを判別する店員判別手段(例えば、店員判別手段)、をさらに備える。
これにより店員と購入者たる移動物体Moとを分けて追跡することができるため、店員の在庫管理作業に係る物体の入出と、移動物体Moによる物体の入出とを分けて認識することができる。そのため、商品管理の精度を向上させることができる。
を備える。
これにより店舗内の棚卸作業といった管理業務を自動化することができるようになる。
前記店舗の全体の前記商品の在庫数が所定要件を満たした場合に、自動発注の実行を制御する在庫補充手段(例えば、在庫情報更新部3612)、
をさらに備える。
これにより商品の在庫が自動で発注される為、管理業務を短時間、低コストで確実に行うことができるようになる。
前記人の属性を推定する属性推定手段(例えば、属性推定機能)をさらに備える。
これにより例えば所定の属性ごとの購入者の購入履歴に関する情報をマーケティング等に活用することができる。
これにより移動物体Moの行動パターンを把握することができるので、登録された履歴情報をマーケティング等に活用することができる。
前記所定の手法のうち前記第1手法とは異なる第2手法を用いて、前記商品及び商品の個数の双方を特定することを試みる第2特定手段(例えば、商品特定部3603a)と、を備え、
前記第1特定手段と前記第2特定手段のうち、少なくとも一方の結果に基づいて前記商品を特定する。
これにより商品の特定精度を向上させることができる。
前記店舗の中の人数によって、新たな人の入店の許可又は禁止を制御する入店制御手段(入店制御部350)をさらに備える。
これにより店舗内の人の密度を所定以下に制御することができるので飛沫やエアロゾルによる感染症等を防止することができる。
前記入店制御手段の制御により前記新たな人の入店が禁止されている際に、その旨を報知する入店制御報知手段(例えば、出力部313)を備える。
これにより移動物体Moは入店が禁止されている間待機することができるので店舗内の人の密度を所定以下で維持することができるようになる。
複数の前記移動物体のうち、所定条件を満たす1以上の前記移動物体の夫々と紐付けされた前記商品の情報から確定された精算金額を提示(例えば、出力制御部537)する。
これにより複数の移動物体Moに紐づく商品情報を、まとめて精算することができる。
3・・・売場装置
5a・・・精算機
5-1,5-2,5-3・・・精算ゲート
40・・・店舗
41,42・・・出入口
43・・・棚ラック
44・・・通路
101,301,401,501・・・CPU
108・・・記憶部
109,315,509・・・通信部
131・・・商品DB
141・・・DB管理部
151・・・エラー表示部
310・・・天井カメラ
311・・・棚カメラ
312・・・重量センサー
320・・・個人認証部
330・・・移動物体追跡部
3302・・・天井カメラによる移動物体発見部
3304・・・天井カメラによる移動物体領域追跡部
3305・・・天井カメラによる移動物体領域定義部
3308・・・グルーピング部
3309・・・血縁関係判定部
340・・・位置情報管理部
341・・・カメラ間情報受け渡し部
342・・・各カメラの位置定義部
360・・・棚商品認識部
3602・・・物体認識部
3603・・・商品特定部
3609・・・商品不特定判定部
3610・・・ラベル認識部
380・・・売買制限商品判定部
390・・・遠隔操作部
Mo・・・移動物体
Claims (13)
- 店舗内に入店した客が移動して商品を購入する際に利用される情報処理システムにおいて、
前記店舗内の人又は当該人と共に移動する物体を移動物体として、当該移動物体を追跡する移動物体追跡手段と、
前記店舗内の前記人は、前記客と店員のうち何れなのかを識別する識別手段と、
重量センサーを用いる所定の手法で、前記店舗内の棚に配置された1以上の商品に対して、変化が生じた商品及び商品の個数の双方を特定する商品特定手段と、
前記識別手段により前記店舗内の前記人は前記客であると識別された場合、特定された前記商品と、所定の位置関係にある前記移動物体とを紐づけ、その紐づけが失われた場合、所定の情報を出力する紐づけ手段と、
を備える情報処理システム。 - 前記識別手段により前記店舗内の前記人は前記客であると識別された場合、特定された前記商品の情報から確定された精算金額を提示する提示手段、
をさらに備える請求項1に記載の情報処理システム。 - 前記識別手段により前記店舗内の前記人は前記客であると識別された場合、前記移動物体に対する精算として、前記移動物体と紐づけされた前記商品に関する精算の処理を行う精算手段、
をさらに備える請求項1又は2に記載の情報処理システム。 - 前記移動物体に関する情報を取得する取得手段、
をさらに備える請求項1乃至3のうちいずれか1項に記載の情報処理システム。 - 前記移動物体追跡手段は、追跡対象の前記移動物体と紐づく前記商品が、当該移動物体とは異なる人に対して受け渡された場合、その旨を認識して、当該移動物体とは異なる当該人を新たな移動物体として特定して、当該新たな移動物体を追跡対象とし、
前記紐づけ手段は、前記識別手段により前記異なる人は前記客であると識別された場合、受け渡された前記商品と、前記新たな移動物体とを紐づける、
請求項1乃至4のうちいずれか1項に記載の情報処理システム。 - 前記商品が売買制限商品であって、前記客が売買制限の対象の可能性がある場合、所定のエラー状態である旨を提示する第1エラー提示手段をさらに備える、
請求項1乃至5のうちいずれか1項に記載の情報処理システム。 - 前記紐づけ手段は、さらに、前記識別手段により前記店舗内の前記人は前記客であると識別された場合、前記商品特定手段による前記商品及び商品の個数の双方の特定の試みに失敗した前記商品を、前記移動物体と紐づけ、
前記商品特定手段による前記商品及び商品の個数の双方の特定の試みが失敗した場合、所定のエラー状態である旨を提示する第2エラー提示手段をさらに備える
請求項1乃至6のうちいずれか1項に記載の情報処理システム。 - 前記棚の前記商品の在庫数が所定要件を満たした場合には、その旨を通知する補充通知手段を備え、
前記店舗の全体の前記商品の在庫数が所定要件を満たした場合に、自動発注の実行を制御する在庫補充手段、
をさらに備える、
請求項1に記載の情報処理システム。 - 前記人の属性を推定する属性推定手段、
をさらに備える、
請求項1乃至8のうちいずれか1項に記載の情報処理システム。 - 前記移動物体追跡手段は、さらに、追跡している際の前記移動物体の移動の経路を示す履歴情報を登録する、
請求項1乃至9のうちいずれか1項に記載の情報処理システム。 - 前記客は、店舗の中で前記商品を購入するために移動し、
前記店舗の中の人数によって、新たな客の入店の許可又は禁止を制御する入店制御手段、
をさらに備える、
請求項1乃至10のうちいずれか1項に記載の情報処理システム。 - 前記入店制御手段の制御により前記新たな客の入店が禁止されている際に、その旨を報知する入店制御報知手段、
をさらに備える
請求項11に記載の情報処理システム。 - 前記提示手段は、さらに、
複数の前記移動物体のうち、前記識別手段により前記店舗内の前記人は前記客であると識別されたという条件を含む所定条件を満たす1以上の前記移動物体の夫々と紐付けされた前記商品の情報から確定された精算金額を提示する、
請求項2に記載の情報処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022190789A JP2023014207A (ja) | 2019-12-19 | 2022-11-29 | 情報処理システム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019229737 | 2019-12-19 | ||
JP2019229737 | 2019-12-19 | ||
PCT/JP2020/047765 WO2021125357A1 (ja) | 2019-12-19 | 2020-12-21 | 情報処理システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022190789A Division JP2023014207A (ja) | 2019-12-19 | 2022-11-29 | 情報処理システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021125357A1 JPWO2021125357A1 (ja) | 2021-06-24 |
JPWO2021125357A5 JPWO2021125357A5 (ja) | 2022-03-08 |
JP7225434B2 true JP7225434B2 (ja) | 2023-02-20 |
Family
ID=76477441
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021565702A Active JP7225434B2 (ja) | 2019-12-19 | 2020-12-21 | 情報処理システム |
JP2022190789A Pending JP2023014207A (ja) | 2019-12-19 | 2022-11-29 | 情報処理システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022190789A Pending JP2023014207A (ja) | 2019-12-19 | 2022-11-29 | 情報処理システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230027382A1 (ja) |
EP (1) | EP4075399A4 (ja) |
JP (2) | JP7225434B2 (ja) |
WO (1) | WO2021125357A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220067688A1 (en) * | 2020-09-01 | 2022-03-03 | Lg Electronics Inc. | Automated shopping experience using cashier-less systems |
CN114078299A (zh) * | 2021-11-15 | 2022-02-22 | 烟台创迹软件有限公司 | 一种商品结算方法、装置、电子设备及介质 |
US20230252542A1 (en) | 2022-02-04 | 2023-08-10 | Ncr Corporation | Multi-item product recognition for checkouts |
KR102623502B1 (ko) * | 2023-03-09 | 2024-01-11 | 주식회사 파인더스에이아이 | 결제 서비스를 제공하는 전자 장치 및 이를 이용한 결제 서비스의 제공 방법 |
KR102581701B1 (ko) * | 2023-04-17 | 2023-09-26 | 주식회사 파인더스에이아이 | 매장의 결제 서비스를 제공하는 전자 장치 및 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003187026A (ja) | 2001-12-19 | 2003-07-04 | Fujitsu Ltd | 施設管理支援装置 |
JP2012104062A (ja) | 2010-11-12 | 2012-05-31 | Japan Research Institute Ltd | Atm管理サーバ、システム及びプログラム |
JP2017157216A (ja) | 2016-02-29 | 2017-09-07 | サインポスト株式会社 | 情報処理システム |
WO2018117955A1 (en) | 2016-12-21 | 2018-06-28 | Itab Scanflow Ab | An automatic in-store registration system |
JP2019208627A (ja) | 2018-05-31 | 2019-12-12 | 富士電機株式会社 | 商品販売用棚什器及び商品特定方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001076261A (ja) | 1999-08-31 | 2001-03-23 | Hitachi Ltd | セルフレジシステム |
WO2008008505A2 (en) * | 2006-07-14 | 2008-01-17 | Objectvideo, Inc. | Video analytics for retail business process monitoring |
JP5704279B1 (ja) * | 2014-10-14 | 2015-04-22 | 富士ゼロックス株式会社 | 関連付プログラム及び情報処理装置 |
WO2017196822A1 (en) * | 2016-05-09 | 2017-11-16 | Grabango Co. | System and method for computer vision driven applications within an environment |
US10445593B1 (en) * | 2016-06-27 | 2019-10-15 | Amazon Technologies, Inc. | User interface for acquisition of group data |
US10963704B2 (en) * | 2017-10-16 | 2021-03-30 | Grabango Co. | Multiple-factor verification for vision-based systems |
-
2020
- 2020-12-21 EP EP20900801.0A patent/EP4075399A4/en active Pending
- 2020-12-21 WO PCT/JP2020/047765 patent/WO2021125357A1/ja unknown
- 2020-12-21 US US17/786,817 patent/US20230027382A1/en active Pending
- 2020-12-21 JP JP2021565702A patent/JP7225434B2/ja active Active
-
2022
- 2022-11-29 JP JP2022190789A patent/JP2023014207A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003187026A (ja) | 2001-12-19 | 2003-07-04 | Fujitsu Ltd | 施設管理支援装置 |
JP2012104062A (ja) | 2010-11-12 | 2012-05-31 | Japan Research Institute Ltd | Atm管理サーバ、システム及びプログラム |
JP2017157216A (ja) | 2016-02-29 | 2017-09-07 | サインポスト株式会社 | 情報処理システム |
WO2018117955A1 (en) | 2016-12-21 | 2018-06-28 | Itab Scanflow Ab | An automatic in-store registration system |
JP2019208627A (ja) | 2018-05-31 | 2019-12-12 | 富士電機株式会社 | 商品販売用棚什器及び商品特定方法 |
Also Published As
Publication number | Publication date |
---|---|
US20230027382A1 (en) | 2023-01-26 |
JPWO2021125357A1 (ja) | 2021-06-24 |
JP2023014207A (ja) | 2023-01-26 |
WO2021125357A1 (ja) | 2021-06-24 |
EP4075399A1 (en) | 2022-10-19 |
EP4075399A4 (en) | 2023-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6968399B2 (ja) | 情報処理システム | |
JP7225434B2 (ja) | 情報処理システム | |
JP7093783B2 (ja) | 自動化買物環境における動的な顧客チェックアウト体験のためのシステム及び方法 | |
JP7371614B2 (ja) | 店舗管理装置および店舗管理方法 | |
US10290031B2 (en) | Method and system for automated retail checkout using context recognition | |
RU2739542C1 (ru) | Система автоматической регистрации для торговой точки | |
JP6653813B1 (ja) | 情報処理システム | |
JP7264401B2 (ja) | 会計方法、装置及びシステム | |
CN111222870A (zh) | 结算方法、装置和系统 | |
CN111919233A (zh) | 店铺管理设备和店铺管理方法 | |
KR20200055486A (ko) | 의류 무인 판매시스템 | |
JP2023088960A (ja) | 情報処理装置、及び店舗システム | |
JP6836256B2 (ja) | 情報処理システム | |
TWM570489U (zh) | 智慧商店購物系統 | |
TWI760521B (zh) | 智慧商店購物系統及使用其之購物方法 | |
JP7401638B2 (ja) | 情報提供装置及びその制御プログラム | |
JP7181766B2 (ja) | 商品決済システム、商品運搬カート及び商品決済方法 | |
US20230142558A1 (en) | Frictionless Retail Stores and Cabinets | |
WO2022195752A1 (ja) | 情報処理装置、情報処理方法、及び、記録媒体 | |
JP2024037466A (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP7337625B2 (ja) | 購買行動データ収集システム、及び購買行動データ収集プログラム | |
JP7318683B2 (ja) | 情報処理プログラム、情報処理方法、および情報処理装置 | |
US20220270061A1 (en) | System and method for indicating payment method availability on a smart shopping bin |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220111 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220111 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220610 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221129 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221129 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221206 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7225434 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |