JP7298594B2 - 店舗管理装置および店舗管理方法、プログラム - Google Patents

店舗管理装置および店舗管理方法、プログラム Download PDF

Info

Publication number
JP7298594B2
JP7298594B2 JP2020507456A JP2020507456A JP7298594B2 JP 7298594 B2 JP7298594 B2 JP 7298594B2 JP 2020507456 A JP2020507456 A JP 2020507456A JP 2020507456 A JP2020507456 A JP 2020507456A JP 7298594 B2 JP7298594 B2 JP 7298594B2
Authority
JP
Japan
Prior art keywords
visitor
store
information
registered
target person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020507456A
Other languages
English (en)
Other versions
JPWO2019181364A1 (ja
Inventor
晋哉 山崎
理恵 清水
耕司 須藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019181364A1 publication Critical patent/JPWO2019181364A1/ja
Application granted granted Critical
Publication of JP7298594B2 publication Critical patent/JP7298594B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、店舗の来店者を認証する店舗管理装置および店舗管理方法、プログラムに関する。
近年、店舗の顧客に対して顔認証を行って顧客を特定し、購買品の支払いの決済を行う顔認証決済システムが開発されている。このため、店舗において来店者を自動的に特定する技術が求められている。例えば、来店者が店舗で手に取った商品を自動決済する場合には、当該来店者を自動的に特定する必要がある。
人物の顔画像を取得して登録情報と照合し、個人を特定する技術として特許文献1及び特許文献2が挙げられる。特許文献1は、被験者の顔画像とアイリス画像を登録情報と照合して個人を識別する個体識別装置を開示している。特許文献2は、顔認証を用いて顧客管理を行う情報処理システムを開示しており、来店者の顔情報と登録情報を照合して顔認証を行い、会員登録情報を用いて決済処理を行うものである。
特開2000-102524号公報 特開2016-126749号公報
商品販売業務において、多数の登録者のなかから店舗の来店者を特定するためには、高精度の顔認証技術が必要となる。近年の顔認証技術は、殆どの人物を正確に認証できる精度まで向上している。しかし、顔認証には誤認識率(本人拒否率、他人許容率)があり、何らかの理由により来店者について不正確な顔認証が行われた場合、店舗に登録された顧客と異なる来店者を特定する可能性がある。
本発明は、上述の課題を解決するためになされたものであり、顔認証の誤認識率を低減できる店舗管理装置および店舗管理方法、プログラムを提供することを目的とする。
本発明の第1の態様によれば、店舗管理装置は、店舗に来店する来店者の顔認証により本人確認を行うときに、来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から来店者に対応する登録済顧客を選択する来店者選択部と、来店者に対応する登録済顧客の生体情報の集合と、店舗内における所定処理の実行タイミングにおいて新たに取得した来店者の生体情報と、を用いて認証を行い、来店者を前記所定処理の対象者として特定する処理対象者特定部と、を備える。
本発明の第2態様によれば、店舗管理方法は、店舗に来店する来店者の顔認証により本人確認を行うときに、来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から来店者に対応する登録済顧客を選択し、来店者に対応する登録済顧客の生体情報の集合と、店舗内における所定処理の実行タイミングにおいて新たに取得した来店者の生体情報と、を用いて認証を行い、来店者を所定処理の対象者として特定する。
本発明の第3の態様は、コンピュータにより実行されるプログラムあり、前記プログラムは、店舗に来店する来店者の顔認証により本人確認を行うときに、来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から来店者に対応する登録済顧客を選択し、来店者に対応する登録済顧客の生体情報の集合と、店舗内における所定処理の実行タイミングにおいて新たに取得した来店者の生体情報と、を用いて認証を行い、来店者を所定処理の対象者として特定する。
本発明によれば、店舗内の所定処理(商品購入の決済処理など)に用いる来店者の識別情報の特定精度を高めることができる。
本発明の一実施例による店舗管理システムが設置された店舗レイアウトの斜視図である。 本発明の一実施例による店舗管理装置が来店者を特定する処理の概要を説明する説明図である。 店舗内において商品棚に陳列された商品を選択する来店者の様子を示す斜視図である。 店舗管理装置のハードウェア構成を示すブロック図である。 複数のセンシング装置と通信接続される店舗管理装置の機能ブロック図である。 店舗管理装置による来店者データテーブル生成処理のフローチャートである。 店舗管理装置による第一の来店者特定処理のフローチャートである。 店舗管理装置による第二の来店者特定処理のフローチャートである。 店舗管理装置の最小構成を示すブロック図である。
本発明に係る店舗管理装置および店舗管理方法について実施例とともに添付図面を参照して詳細に説明する。
図1は、本発明の一実施例による店舗管理システム100が設置された店舗20のレイアウトを示す。店舗管理システム100は、店舗管理装置1を具備し、これは店舗20に設けられた各種装置と通信接続されている。店舗20には、入退ゲート2が設置されており、複数の商品棚21が設置されている。商品棚21には、各種の商品が陳列されている。
店舗管理システム100により管理される店舗20では、来店者が入退ゲート2を通って入店又は退店する構造となっている。入退ゲート2には、入退口カメラ24が設けられる。入退口カメラ24は、入退ゲート2を通って入店する来店者の顔画像を撮影して、店舗管理装置1へ送信する。
店舗20は、店員が常駐している有人店舗であっても、店員が常駐していない無人店舗であってもよい。来店者は、商品棚21に陳列されている商品に手で触れて、商品を手に取り、カートに入れるなどの一連の動作を行ったのち、入退ゲート2を通って退店する。来店者が入退ゲート2を通って入店してから退店するまでの間に、店舗20内に設けられた撮影装置やモーションセンサなどのセンシング装置が、来店者の特徴情報や位置情報、その来店者が選択した商品の識別情報や商品の陳列位置を判定するためのセンシング情報を取得し、店舗管理装置1へ送信する。店舗管理装置1は、センシング情報を用いて、自動決済処理、推奨品一覧の提示処理、来店者がカートに投入した商品に係る情報記憶処理などの所定処理を行う。
上記の所定処理を行うため、店舗管理装置1は、高い精度で来店者を特定する必要がある。このため、店舗管理装置1は、多数の顧客(例えば、数万人や数百万人のユーザ登録をしている顧客をいい、以下、登録済顧客又は登録ユーザと称する)の情報がデータベースなどに予め記憶されており、そのなかから、店舗20の来店者に対応する登録済顧客を選択する必要がある。また、店舗管理装置1は、来店者に対応する登録済顧客の生体情報の集合と、所定処理の実行タイミングにおいて店舗20内で新たに取得した来店者の生体情報を用いて認証を行い、店舗20内における所定処理の対象とする来店者を特定する。
図2は、店舗管理装置1が来店者を特定する処理の概要を示す。図2の左側に示すように、来店者が入退ゲート2と通って店舗20に来店すると、入退口カメラ24は来店者の顔画像を撮影して、店舗管理装置1へ送信する。店舗管理装置1は、来店者の顔画像に基づいて、予めデータベースなどに記録した複数の登録済顧客の中から来店者の顔画像に対応する顧客を選択する。店舗管理装置1は、顧客の端末装置に来店時の本人確認情報241を送信する。店舗管理装置1は、顧客の端末装置から本人確認情報241が来店者本人を示す信号を受信すると、来店者用データテーブルにその登録済顧客の識別情報を記録する。図2(A)は、店舗管理装置1が、来店者テーブルを用いて来店者がカートに入れた商品の識別情報を記録するときに、来店者を特定する処理を示している。図2(B)は、店舗管理装置1が、来店者がカートに入れた商品の支払いを自動決済するときに、自動決済処理の対象となる来店者を特定する処理を示している。つまり、店舗管理装置1は、全ての登録済顧客の生体情報を記録したデータベースを参照して、来店者に対応する登録済顧客のみの生体情報を記録した来店者データテーブルを作成する。そして、店舗管理装置1は、来店者データテーブルを用いて、店舗20内における所定処理の対象とする来店者を特定する。図2(A)の場合、来店者が商品購入後に退店するとき、来店者の購買した商品の金額の支払いについて自動決済処理を行うときに、その来店者を特定する。図2(B)の場合、来店者が商品購入後にレジカウンタに行き、店員又は来店者自身で購入商品に付されたバーコードなどの商品情報をPOS端末のバーコードリーダなどで読み取った後の決済処理の対象となる来店者を特定する。
図3は、店舗20内において、商品棚21に陳列された商品を選択する来店者の様子を示す。図3では、複数の商品棚21として千鳥状に連結されており、来店者は、右側の棚に陳列された商品を選択している。ここで、商品棚21のそれぞれに複数の第一カメラ3が設置してもよい。商品棚21の情報には来店者の挙動を検知するモーションセンサ4が設置される。また、商品棚21の上部には、来店者が手に取った商品や、来店者が商品棚21に返却した商品の画像を撮影する第二カメラ5が設置される。なお、第一カメラ3や第二カメラ5は、商品棚21に直接設置される必要はなく、店舗20の天井や床に設置してもよい。つまり、第一カメラ3や第二カメラ5は、来店者が商品棚21から選択して手に取った商品や、来店者が商品棚21に返却した商品の画像を撮影できる位置であれば、店舗20内のどの位置に設けられてもよい。商品棚21には、店舗設置端末装置22を備えてもよい。
図4は、店舗管理装置1のハードウェア構成を示す。店舗管理装置1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、HDD(Hard Disk Drive)104、インタフェース105、通信モジュール106を具備している。なお、HDD104は、SSD(Solid State Drive)としてもよい。
図5は、店舗20内の複数のセンシング装置と通信接続される店舗管理装置1の機能ブロック図である。店舗管理装置1の機能部は、CPU101が記憶部に予め記憶した店舗管理プログラムを読み出して実行することにより実装される。すなわち、店舗管理装置1は機能部として、制御部10、来店者選択部11、第一位置情報取得部12、第二位置情報取得部13、行為検出部14、処理対象者特定部15、販売管理部16、及び情報出力部17を備える。
図5に示すように、店舗管理装置1は、データベース40と接続される。店舗管理装置1は、第一通信ネットワーク8を介して、店舗20内に設置される各種のセンシング装置と通信接続されており、入退ゲート2、第一カメラ3、モーションセンサ4、第二カメラ5、商品検知センサ6、ゲート装置23、入退口カメラ24、及びその他のゲート装置27と接続されている。第一ネットワーク8は、店舗管理装置1と店舗20内の各種センシング装置とを繋ぐ専用の通信ネットワークである。店舗管理装置1は、第二通信ネットワーク9を介して、店舗20の来店者が携帯する端末装置7と通信接続される。第二通信ネットワークは、携帯電話網、無線通信網、インターネットである。なお、端末装置7は、来店者が店舗20に入店したときに、第一通信ネットワーク8と通信接続されてもよい。
店舗管理装置1において、第一位置情報取得部12は、商品棚21に接近する来店者の生体特徴情報の位置を示す第一位置情報を第一カメラ3により取得された画像に基づいて取得することができる。第一カメラ3は、その撮影範囲に映る人物の生体特徴情報を検出するために用いられるものである。例えば、第一カメラ3は、商品棚21のそれぞれに設置され、商品棚21の前に位置する人物の顔を撮影する。なお、生体特徴情報は、人物の顔の特徴情報や、人物の眼の虹彩の特徴情報であってもよい。店舗管理装置1は、入退口カメラ24から取得した来店時の来店者の顔画像の代わりに、第一カメラ3から取得した商品棚21の前に位置する人物の顔画像に基づいて、予め記憶された複数の顧客の中から、来店者に対応する顧客を選択してもよい。そして、店舗管理装置1は、その来店者の携帯する端末装置7に本人確認情報241を送信する。店舗管理装置1は、端末装置7から来店者が登録済顧客であることを示す信号を受信すると、来店者データテーブルにその登録済顧客の識別情報を記録してもよい。具体的には、店舗管理装置1は、来店者に対応する登録済顧客を特定し、その来店者の端末装置7に来店時の本人確認情報241を送信する。本人確認情報241には、来店者に対する挨拶文、入店ボタン、キャンセルボタンなどのアイコンが表示される。来店者の端末装置7は、本人確認情報241を表示する。来店者は、端末装置7に表示された本人確認情報241において、入店ボタンを操作する。入店ボタンの操作を検出すると、端末装置7は、来店者が登録済顧客であることを示す許可情報を店舗管理装置1へ送信する。端末装置7から許可情報を受信すると、店舗管理装置1は、その来店者に対応する顧客の識別情報を来店者データテーブルに記録する。一方、来店者が本人確認情報241の示す顧客でない場合、来店者は、端末装置7においてキャンセルボタンを操作する。キャンセルボタンの操作を検出すると、端末装置7は、不許可情報を店舗管理装置1へ送信する。端末装置7から不許可情報を受信すると、店舗管理装置1は、本人確認情報241に記載された顧客の識別情報の来店者データテーブルへの記録を停止する。
店舗管理装置1において、第二位置情報取得部13は、商品棚21に近接位置して商品に手を伸ばした来店者の位置を示す第二位置情報をモーションセンサ4から得たセンシング情報に基づいて検出する。モーションセンサ4は、例えば、店舗20の天井の商品棚21の情報の位置に設置されており、天井から下方に位置する来客者の挙動を検知する。そして、行為検出部14は、商品棚21に陳列された商品に対する来客者の移動行為を検出する。例えば、行為検出部14は、商品棚21に陳列された商品を撮影する第二カメラ5から取得した画像や、商品検知センサ6から取得した情報に基づいて、商品に対する来客者の移動行為を検出する。来客者の移動行為とは、来客者が商品棚21に手を伸ばして商品に触れた行為、その商品を手に取った行為、その商品を商品棚21に戻した行為、その商品をカートに入れた行為などを意味する。処理対象者特定部15は、来客者の移動行為に供する商品の識別情報(ID)や位置、第一位置情報と第二位置情報との位置関係に基づいて、商品に対する移動行為を行った来客者の生体特徴情報を判定し、その生体特徴情報に対応する来客者(又は顧客)の識別情報(ID)を来店者データテーブルから検索する。そして、処理対象者特定部15は、来客者データテーブルの検索により特定した処理対象者(すなわち、来客者や顧客)の識別情報(ID)に対応する販売管理情報などと、来客者の移動行為に供する商品の識別情報を割り当てるという管理措置を実行する。これにより、店舗管理装置1は、どの来客者がどの商品を選択したかについて、管理措置を行うことができる。なお、来店者データテーブルは、多数の登録済顧客(登録ユーザ)の中から選択された来客者のみの情報を記録してもよい。上記のように、本実施例は、処理対象者の識別情報(ID)を特定する精度を向上することができる。
図6は、店舗管理装置1による来店者データテーブル生成処理のフローチャートである(ステップS101~S106)。来店者選択部11は、来店者の顔画像を入退口カメラ24から取得する(S101)。来店者選択部11は、来店者の顔画像の特徴量と、データベース40に記録されている登録ユーザ(登録済顧客)の顔画像の特徴量とを比較して、最も近似した登録ユーザの顔画像を選択する(S102)。来店者選択部11は、データベース40から選択された顔画像に紐づく登録ユーザIDを読取り、その登録ユーザIDに紐づいてデータベース40に記録されている登録ユーザが携帯する端末装置7のアドレスを取得する(S103)。情報出力部17は、来店者選択部11の取得した端末装置7のアドレス宛に本人確認情報241を送信する(S104)。
本人確認情報は、端末装置7を携帯する登録ユーザに対して、来店者本人であるかの確認を促す画面情報であり、タッチパネルディスプレイを備える端末装置7は、本人確認情報241(図2参照)に基づいて所定の画像を生成して画面上に表示する。所定画像には、端末装置7を携帯する人物が来店者本人であるか否かを指定するアイコンボタンが表示される。携帯端末7の携帯者が来店者本人であることを指定するアイコンボタンを操作すると、端末装置7は来店者であることを示す許可情報を店舗管理装置1へ送信する。一方、端末装置7の携帯者が来店者でないことを指定するアイコンボタンを操作すると、端末装置7は来店者でないことを示す不許可情報を店舗管理装置1へ送信する。
来店者選択部11は、端末装置7から許可情報を受信したか判定する(S105)。来店者選択部11は、許可情報を受信すると、データベース40から選択した登録ユーザIDを来店者IDとして来店者データテーブルに記録してする(S106)。この場合、来店者データテーブルを生成しても更新してもよい。来店者選択部11は、来店者データテーブルに記録した来店者IDに対応する顔特徴量をデータベース40から読み取って、その顔特徴量と来店者IDとを紐づけて来店者データテーブルに記録する。これにより、多数の登録ユーザのうちの来店者のみの情報を保持する来店者データテーブルが生成される。この処理は、来店者選択部11が、来店者の携帯する端末装置7との通信を介して、予め記憶された複数の登録ユーザの中から来店者に対応する登録ユーザを選択する処理の一態様である。来店者選択部11は、不許可情報を受信すると、データベース40から選択した登録ユーザIDを来店者IDとして来店者データテーブルに記録する処理を停止する。
なお、店舗管理装置1の来店者選択部11は、入退口カメラ24から取得した来店者の顔画像の代わりに、商品棚21に設けられた第一カメラ3から取得した来店者の顔画像を用いて、上記のステップS101~S106と同様の処理により、来店者データテーブルを生成してもよい。
また、来店者選択部11は、登録ユーザIDと端末装置7のIDとの対応関係を予め記憶しておき、端末装置7が第一通信ネットワーク8と接続されたことを検知した場合に、その端末装置7のIDに紐づく登録ユーザIDを来店者IDとして来店者データテーブルに記録してもよい。
上述のステップS105において不許可情報を受信した場合、或いは、本人確認情報241を端末装置7へ送信してから所定時間が経過してタイムアウトするまでの間に許可情報又は不許可情報を受信できない場合、来店者選択部11は、その来店者についての来店者IDの来店者データテーブルへの登録を中止して、来店者データテーブル生成処理を終了する。上記のステップS101~S106により、店舗20への来店者の入店を契機として来店者データテーブルが生成される。
上述の来店者データテーブルは、商品棚21に陳列された商品に対する来店者の移動行為の検出に利用される。具体的には、来店者が店舗20の入退ゲート2を通過したときに入退口カメラ24が来店者の顔画像を撮影して、店舗管理装置1へ送信する。店舗管理装置1の来店者選択部11は、来店者の顔画像の特徴量と、予めデータベース40に登録されている多くの登録ユーザの顔画像の特徴量とを照合し、来店者の顔画像に対応する登録ユーザの顔画像を特定する。そして、来店者選択部11は、データベース40に記録されている登録ユーザのIDを来店者IDとして選択する。来店者選択部11は、その来店者IDを来店者データテーブルに追加して更新する。また、店舗管理装置1の販売管理部16は、来店者などの人物のIDに紐づけて販売管理情報を生成する。現時点において、販売管理情報と商品情報とは紐づけられていない。第一カメラ3は、商品棚21の前に位置する来店者の画像を商品棚21側から撮影し、撮影した静止画像又は動画像を店舗管理装置1へ送信する。店舗20の天井に設置されるモーションセンサ4は、商品棚21の上方から下方に位置する来店者の挙動を検知し、その検知情報を店舗管理装置1へ送信する。モーションセンサ4の検知情報は、例えば、赤外線を用いて検知した物体又は人物までの距離を画像に変換した距離画像であってもよい。
商品検知センサ6は、商品棚21に陳列した商品毎に設置されている。具体的には、商品検知センサ6は、商品の下に敷かれたシート状の形状を有しおり、商品の重量による圧力を検出する圧力センサ、或いは、商品の重量を検出する重量センサであってもよい。例えば、来店者が商品棚21に陳列された商品を手に取った場合には、商品検知センサ6は、そのセンサIDと、店舗20内の商品棚21におけるその商品の座標を含む商品取得信号を店舗管理装置1へ送信する。店舗管理装置1の処理対象者特定部15は、第一カメラ3、モーションセンサ4、及び第二カメラ5から取得した来店者の特徴情報や骨格情報に対応する座標とその検出時刻の対応関係と、商品検知センサ6のセンサIDに紐づいて記録される商品のIDや座標と、その検出時刻との対応関係と、に基づいて来店者データテーブルから来店者IDを特定する。店舗管理装置1の販売管理部16は、来店者IDと第二カメラ5が撮影した画像から特定された商品IDとを紐づけてデータベース40に記録される販売管理情報を更新する。販売管理部16は、販売管理情報を来店者の近傍の商品棚21に設置された店舗設置端末装置22の表示部に表示してもよい。これにより、来店者は、自身が手に取ってカートに入れた商品の一覧を確認することができる。
商品検知センサ6は、来店者が手に取った商品を商品棚21に戻した場合には、その商品検知センサ6のセンサIDや商品棚21におけるその商品の店舗20内の座標などの位置情報を含む商品返品行為情報を店舗管理装置1へ送信する。販売管理部16は、商品返品行為情報が示す商品検知センサ6のセンサIDに紐づけて記憶する商品のIDや位置情報、並びに、来店者の特徴情報や骨格情報に基づいて、販売管理情報に記録されている来店者IDと商品IDとの紐づけを解除する。店舗管理装置1の処理対象者特定部15は、来店者IDと商品IDとの紐づけを解除した場合でも、処理対象者に相当する来店者IDを来店者データテーブルから特定する。
店舗管理装置1の行為検出部14は、商品検知センサ6の検知情報の代わりに、第二カメラ5から取得した画像に基づいて、来店者が手に取った商品の識別情報と店舗20内の商品棚21におけるその商品の座標とを検出してもよい。また、行為検出部14は、第二カメラ5から取得した画像に基づいて、来店者が商品棚21に戻した商品の識別情報と店舗20内の商品棚21におけるその商品の座標とを検出してもよい。つまり、行為検出部14は、商品検知センサ6の検知情報と第二カメラ5の画像情報の少なくとも一方に基づいて、商品に対する来店者の移動行為を検出すればよい。
上述の処理により、店舗管理装置1の販売管理部16は、来店者がどの商品を手に取ったかの情報、或いは、来店者がどの商品を商品棚21に戻したかの情報を記憶することができる。また、来店者選択部11は、来店者が退店時に入退ゲート2を通過するときに、入退口カメラ24から来店者の顔画像を取得し、その顔画像の特徴量に基づいて特定した来店者IDを来店者データテーブルから削除してもよい。販売管理部16は、来店者が入退ゲート2を通過して退店したときに、データベース40の販売管理情報に記録されている来店者IDと、商品IDとの関係に従って、来店者の購入商品を自動的に検出することができる。販売管理部16は、データベース40に記録されている来店者IDと、商品IDと、来店者の決済用クレジットカード番号などを用いて、自動決済処理を行うことができる。
図7は、店舗管理装置1による第一の来店者特定処理のフローチャートである(ステップS201~S210)。次に、来店者の近傍に設置された表示装置(例えば、商品棚21に設置された店舗設置端末装置22)に表示する販売管理情報の更新において処理対象者を特定する処理手順について説明する。
例えば、来店者が店舗20内を歩いて所定の商品棚21の前に位置して、その商品棚21に陳列されている商品を手に取った事例を想定する。この場合、店舗管理装置1の第一情報取得部12は、第一カメラ3から取得した画像に基づいて、商品棚21の商品に近接する来店者(処理対象者)の顔特徴情報の店舗20内の空間における3次元座標を示す第一位置情報を生成する。店舗管理装置1の第二位置情報取得部13は、モーションセンサ4から取得したセンシング情報に基づいて、来店者(処理対象者)が商品に手を伸ばしたときの手の先端の3次元座標を示す第二位置情報を生成する。そして、行為検出部14は、商品検知センサ6から取得した商品の移動情報とその商品の座標とに基づいて、来店者(処理対象者)の手の先端に位置する商品の3次元座標を示す第三位置情報を検出する。行為検出部14は、第一位置情報、第二位置情報、及び第三位置情報の関係に従って、どのような顔画像の来店者がどの商品を取得したかを識別する。
次に、具体的な処理手順について、図7を参照して説明する。来店者のIDを特定するときに、店舗管理装置1の来店者選択部11は、入退口カメラ24(又は第一カメラ3)から来店者の顔画像を受信する(S201)。来店者選択部11は、来店者の顔画像の特徴量と一致する顔特徴量が来店者データテーブルに記録されているかを判定する(S202)。来店者の顔画像の特徴量と一致する顔特徴量が来店者データテーブルに記録されている場合、その特徴量に紐づく来店者IDを来店者データテーブルから読み取る(S203)。来店者選択部11は、来店者IDを処理対象者特定部15へ送る。これにより、処理対象者特定部15は、処理対象者(すなわち、来店者IDを有する来店者又は登録ユーザ)を特定することができる。処理対象者特定部15は、来店者IDを販売管理部16へ送り、販売管理部16は、その来店者IDに関連する販売管理情報を特定する(S204)。販売管理部16は、第三位置情報に従って特定できる商品IDに基づいて、その販売管理情報に含まれる各種商品のIDと数量を更新する(S205)。このようにして、販売管理部16は、販売管理情報を更新することができる。
ステップS202において、入退口カメラ24(又は第一カメラ3)から受信した顔画像の特徴量と一致する特徴量を有する顔画像が来店者データテーブルに記録されていないと判定した場合、処理対象者特定部15は、その判定処理の実行回数が所定回数に到達しているか判定する(S206)。ステップS202の判定処理が所定回数繰り返していない場合には、処理対象者特定部15は、来店者コードの入力要求を出力するよう指示する。情報出力部17は、処理対象者特定部15の指示に従って、来店者近傍の商品棚21に設置される店舗設置端末装置22(本実施例における入力装置の一態様)に対して、来店者コードの入力要求を送信する(S207)。来店者コードは、来店者を一意に特定するために来店者に通知されるPIN(Personal Identification Number)や暗唱番号などである。顔画像の特徴量を用いた顔認証により来店者を特定できない場合には、来店者にPINの入力を要求することにより、来店者の認証精度を高めることができる。
店舗設置端末装置22は、来店者に来店者コードを入力することを促す入力要求メッセージを出力する。なお、入力要求メッセージは、スピーカで音声出力してもよい。或いは、店舗設置端末装置22のモニタ画面上に入力要求メッセージを表示してもよい。これにより、来店者は入力装置(例えば、店舗設置端末装置22)のユーザインタフェースを介して来店者コードを入力する。店舗設置端末装置22は、来店者コードを店舗管理装置1へ送信する。店舗管理装置1の処理対象者特定部15は、店舗設置端末装置22から来店者コードを受信できたか判定する(S208)。データベース40には、登録ユーザIDと来店者コードとの対応関係が予め記憶されている。処理対象者特定部15は、来店者コードを受信すると、その来店者コードを来店者選択部11へ送る。来店者選択部11は、その来店者コードに紐づく登録ユーザIDをデータベース40から取得し、来店者IDとして来店者データテーブルに記録する。上述の処理手順は、来店者選択部11が入力装置を介して取得した来店者コードに基づいて、予め記憶する複数の登録ユーザの中から来店者に対応する登録ユーザを選択する処理手順の一態様である。処理対象者特定部15は、来店者IDに対応する顔特徴量をデータベース40から読み取って、その顔特徴量と来店者IDとを紐づけて来店者テーブルに記録する。これにより、処理対象者特定部15は、新たな来店者に係る情報を来店者テーブルに追加する(S209)。
その後、来店者選択部11は、ステップS202の判定処理を繰り返す。ステップS208において、処理対象者特定部15が来店者コードを受信できない場合、ステップS206の判定処理を繰り返す。ステップS206において、入退口カメラ24(又は第一カメラ3)から受信した顔画像の特徴量と一致する顔特徴量が来店者データテーブルに記録されていないと判定した回数が所定回数に達すると判定した場合、処理対象者特定部15は、来店者の特定不可を示す信号を販売管理部16へ送信する(S210)。販売管理部16は、特定不可信号を受信すると、販売管理情報の更新を中止する。そして、販売管理部16は、来店者が特定できないことを通知する通知情報を店舗設置端末装置22に表示する。これにより、来店者は店舗管理装置1が来店者自身を自動的に識別できなかったことを認知することができる。
図8は、店舗管理装置1による第二の来店者特定処理のフローチャートである(ステップS301~S310)。次に、上述の処理手順により作成された来店者データテーブルを用いて、自動決済処理を行うときに処理対象者を特定する処理手順について説明する。
例えば、自動決済処理において来店者が店舗20に設置された決済用端末装置の前に移動する事例を想定する。決済用端末装置にはカメラが設けられており、その前に位置する人物(来店者又は登録ユーザ)の顔画像を撮影する。カメラは、来店者の顔画像を店舗管理装置1へ送信する。店舗管理装置1の来店者選択部11は、カメラから来店者の顔画像を受信する(S301)。来店者選択部11は、来店者の顔画像の特徴量と一致する顔特徴量が来店者データテーブルに記録されているか判定する(S302)。来店者の顔画像の特徴量と一致する顔特徴量が来店者データテーブルに記録されている場合、その顔特徴量に紐づく来店者IDを来店者データテーブルから読み取る(S303)。来店者選択部11は、その来店者IDを処理対象者特定部15に送る。これにより、処理対象者特定部15は、その来店者を処理対象者として特定することができる。処理対象者特定部15は、来店者IDを販売管理部16へ送る。販売管理部16は、その来店者IDを保持する販売管理情報を特定する(S304)。販売管理部16は、その販売管理情報に含まれる各種商品のIDと数量を取得する。販売管理部16は、商品IDに紐づいてデータベース40に登録されている金額を取得する。販売管理部16は、商品IDに係る商品の数量とその金額に基づいて、合計金額を算出する。販売管理部16は、来店者IDに紐づいてデータベース40に登録されているクレジットカード番号を取得する。販売管理部16は、合計金額とクレジットカード番号とを含む決済要求を、通信ネットワークを介して接続された外部の決済サーバへ送信する(S305)。これにより、決済サーバにて自動決済処理が行われる。
ステップS302において、顔画像の特徴量と一致する顔特徴量が来店者データテーブルに記録されていないと判定した場合、その判定処理の実行回数が所定回数に達しているか判定する(S306)。判定回数が所定回数に達していいない場合、処理対象者特定部15は、来店者コードの入力要求を出力するよう情報出力部17に指示する。情報出力部17は、処理対象者特定部15に指示に従って、決済用端末装置(入力装置の一態様)に対して来店者コードの入力要求を送信する(S307)。なお、来店者コードは、来店者を一意に特定するために来店者に通知されたPINなどを意味する。顔画像の特徴量を用いた顔認証により来店者を特定できない場合には、来店者にPINの入力を要求することで、来店者の認証精度を高めることができる。
決済用端末装置などの入力装置は、来店者コードを入力するよう来店者に促す入力要求メッセージを出力する。この入力要求メッセージは、音声でスピーカから出力してもよい。或いは、入力装置に備わるモニタ画面に入力要求メッセージを出力してもよい。これにより、来店者は、入力装置のユーザインタフェースを介して、来店者コードを入力する。入力装置は、来店者コードを店舗管理装置1へ送信する。店舗管理装置1の処理対象者特定部15は、来店者コードを入力できたか判定する(S308)。
データベース40には、登録ユーザIDと来店者コードとの対応関係が予め記録されている。処理対象者特定部15は、来店者コードを受信すると、その来店者コードを来店者選択部11へ送る。来店者選択部11は、その来店者コードに紐づく登録ユーザIDをデータベース40から取得し、来店者IDとして来店者データテーブルに記録する。また、来店者選択部11は、来店者IDに対応する顔特徴量をデータベース40から読み取って、その顔特徴量と来店者IDとを紐づけて来店者テーブルに記録する。これにより、来店者選択部11は、新たな来店者の情報を来店者テーブルに記録する(S309)。
来店者選択部11は、上述のステップS302を繰り返し実行する。ステップS308において、処理対象者特定部15が来店者コードを受信できない場合、ステップS306を繰り返し実行する。ステップS306において、顔特徴量が来店者テーブルに記録されていないと判定した回数が所定回数に達すると、処理対象者特定部15は、来店者の特定不可を示す信号を販売管理部16へ送る(S310)。販売管理部16は、特定不可信号を受信すると、自動決済処理を中止する。そして、販売管理部16は、通常の決済処理を行うよう決済用端末に要求する。決済用端末では、来店者(又は顧客)に購入商品を明示して合計金額に相当する貨幣を貨幣投入口へ投入するよう促す。
店舗管理装置1は、来店者データテーブルを用いて、自動決済処理、推奨品一覧の提示処理、来店者がカートに入れた商品(或いは、来店者による移動行為が行われた商品)の記憶などの所定処理において、来店者IDを特定する。つまり、店舗管理装置1は、店舗20における所定処理において来店者IDを特定する場合、新たな来店者の顔画像の特徴量と、来店者データテーブルに記録される来店者IDに紐づく顔画像の特徴量との一致度を算出し、その一致度が高い来店者IDを、多くの登録ユーザから抽出された来店者のみの情報を記録した来店者データテーブルの記録情報から特定する。これにより、店舗管理装置1において、来店者の特定精度が高まる。また、店舗管理装置1における来店者IDを特定する処理の実行速度が高まる。上述の所定処理において、来店者の携帯する端末装置7や店舗20内に設置された店舗設置端末装置22を用いて応答した来店者のみについて顔認証による来店者の特定を行っているため、自動決済処理や販売管理情報の更新などの所定処理を、来店者の特定誤り無しに高精度で実行することができる。
図9は、店舗管理装置1の最小構成を示す。店舗管理装置1は、少なくとも、来店者選択部11と、処理対象者特定部15とを備える。来店者選択部11は、来店者選択部11は、予め記憶する複数の登録ユーザの中から来店者に対応する登録ユーザを選択する。処理対象者特定部15は、来店者に対応する登録ユーザの生体情報の集合と、店舗20における所定処理の実行タイミングにおいて新たに検出した来店者の生体情報と、を用いて認証処理を実行して、所定処理の対象とする来店者を特定する。
上述の店舗管理装置1は、内部にコンピュータシステムを有している。そして、上述の処理過程は、コンピュータプログラムとしてコンピュータ読取り可能な記録媒体に記録されている。コンピュータがコンピュータプログラムを読み出して実行することにより、上述の処理過程が実施される。ここで、コンピュータ読取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリなどをいう。また、コンピュータプログラムを通信回線を介してコンピュータに配信し、そのコンピュータがコンピュータプログラムを実行するようにしてもよい。
上述のコンピュータプログラムは、上述の機能の一部を実現するためのものでもよい。或いは、上述のコンピュータプログラムは、コンピュータシステムのプリインストールプログラムとの組み合せで上述の機能を実現できるような、いわゆる差分ファイル(差分プログラム)であってもよい。
最後に、本発明は、上述の実施例に限定されるものではなく、添付の請求の範囲に規定される発明の範囲内における種々の改変や設計変更をも包含するものである。
本願は、2018年3月20日に、日本国に出願された特願2018-52718号に基づき優先権を主張し、その内容をここに援用する。
本発明は、店舗内において来店者の顔特徴量と登録済の顧客の顔特徴量との照合により来店者の顔認証を行って、自動決済処理などを実行するものであるが、人物の顔特徴量と生体情報とを組み合わせて認証処理を行っているため、鉄道施設や空港施設などに設置された種々の認証機器にも適用可能である。
1 店舗管理装置
2 入退ゲート
3 第一カメラ
4 モーションセンサ
5 第二カメラ
6 商品検知センサ
7 端末装置
10 制御部
11 来店者選択部
12 第一位置情報取得部
13 第二位置情報取得部
14 行為検出部
15 処理対象者特定部
16 販売管理部
17 情報出力部
20 店舗
21 商品棚
22 店舗設置端末装置
24 入退口カメラ
40 データベース

Claims (9)

  1. 店舗に来店する来店者の顔認証により本人確認を行うときに、前記来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択し、その選択された登録済顧客について本人確認情報を前記来店者の携帯する端末装置に送信し、前記来店者により前記本人確認情報が了承されたときに、前記登録済顧客の識別情報を前記来店者の識別情報として来店者データテーブルに記録する来店者選択部と、
    前記来店者に対応する登録済顧客の生体情報の集合と、前記店舗内における所定処理の実行タイミングにおいて新たに取得した前記来店者の生体情報と、を用いて認証を行い、前記来店者を前記所定処理の対象者として特定する処理対象者特定部と、
    を備える店舗管理装置。
  2. 店舗に来店する来店者の顔認証により本人確認を行うときに、前記来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択する来店者選択部と、
    前記来店者に対応する登録済顧客の生体情報の集合と、前記店舗内における所定処理の実行タイミングにおいて新たに取得した前記来店者の生体情報と、を用いて認証を行い、前記来店者を前記所定処理の対象者として特定する処理対象者特定部と、
    を備え、
    前記処理対象者特定部は、前記所定処理の対象者を特定できない場合に、前記来店者に対して来店者コードの入力要求を送信し、前記来店者から前記来店者コードが提示されると、前記来店者選択部は、前記来店者コードに基づいて前記複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択する
    店舗管理装置。
  3. 前記来店者選択部は、前記複数の登録済顧客の全ての生体情報を記録したデータベースを参照して、前記来店者に対応して選択された登録済顧客のみを前記来店者データテーブルに記録し、前記処理対象者特定部は、前記来店者データテーブルを参照して、前記所定処理の対象者を特定する、
    請求項に記載の店舗管理装置。
  4. 前記店舗内における前記所定処理の実行タイミングは、前記来店者が商品を取得したタイミングであり、当該タイミングにおいて、前記処理対象者特定部は、前記来店者の認証を行う、
    請求項1に記載の店舗管理装置。
  5. 前記処理対象者特定部は、前記来店者に対応する登録済顧客の生体情報と、前記店舗内における所定処理の実行タイミングにおいて新たに取得した前記来店者の生体情報との、一致度を算出し、前記一致度の高い前記来店者の識別情報を前記来店者データテーブルを参照して特定する、
    請求項に記載の店舗管理装置。
  6. 店舗管理装置が、
    店舗に来店する来店者の顔認証により本人確認を行うときに、来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択し、その選択された登録済顧客について本人確認情報を前記来店者の携帯する端末装置に送信し、前記来店者により前記本人確認情報が了承されたときに、前記登録済顧客の識別情報を前記来店者の識別情報として来店者データテーブルに記録し、
    前記来店者に対応する登録済顧客の生体情報の集合と、前記店舗内における所定処理の実行タイミングにおいて新たに取得した前記来店者の生体情報と、を用いて認証を行い、前記来店者を前記所定処理の対象者として特定する、
    を備える店舗管理方法。
  7. コンピュータにより実行されるプログラムであって、
    店舗に来店する来店者の顔認証により本人確認を行うときに、来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択し、その選択された登録済顧客について本人確認情報を前記来店者の携帯する端末装置に送信し、前記来店者により前記本人確認情報が了承されたときに、前記登録済顧客の識別情報を前記来店者の識別情報として来店者データテーブルに記録し、
    前記来店者に対応する登録済顧客の生体情報の集合と、前記店舗内における所定処理の実行タイミングにおいて新たに取得した前記来店者の生体情報と、を用いて認証を行い、前記来店者を前記所定処理の対象者として特定する、
    プログラム。
  8. 店舗管理装置の来店者選択部が、店舗に来店する来店者の顔認証により本人確認を行うときに、前記来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択し、
    前記店舗管理装置の処理対象者特定部が、前記来店者に対応する登録済顧客の生体情報の集合と、前記店舗内における所定処理の実行タイミングにおいて新たに取得した前記来店者の生体情報と、を用いて認証を行い、前記来店者を前記所定処理の対象者として特定し、
    前記処理対象者特定部は、前記所定処理の対象者を特定できない場合に、前記来店者に対して来店者コードの入力要求を送信し、前記来店者から前記来店者コードが提示されると、前記来店者選択部は、前記来店者コードに基づいて前記複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択する、
    店舗管理方法。
  9. 店舗管理装置のコンピュータにより実行されるプログラムであって、
    前記店舗管理装置の来店者選択手段が、店舗に来店する来店者の顔認証により本人確認を行うときに、前記来店者の携帯する端末装置と通信を行い、複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択し、
    前記店舗管理装置の処理対象者特定手段が、前記来店者に対応する登録済顧客の生体情報の集合と、前記店舗内における所定処理の実行タイミングにおいて新たに取得した前記来店者の生体情報と、を用いて認証を行い、前記来店者を前記所定処理の対象者として特定し、
    前記処理対象者特定手段は、前記所定処理の対象者を特定できない場合に、前記来店者に対して来店者コードの入力要求を送信し、前記来店者から前記来店者コードが提示されると、前記来店者選択手段は、前記来店者コードに基づいて前記複数の登録済顧客の中から前記来店者に対応する登録済顧客を選択する、
    プログラム。
JP2020507456A 2018-03-20 2019-02-22 店舗管理装置および店舗管理方法、プログラム Active JP7298594B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018052718 2018-03-20
JP2018052718 2018-03-20
PCT/JP2019/006830 WO2019181364A1 (ja) 2018-03-20 2019-02-22 店舗管理装置および店舗管理方法

Publications (2)

Publication Number Publication Date
JPWO2019181364A1 JPWO2019181364A1 (ja) 2021-03-11
JP7298594B2 true JP7298594B2 (ja) 2023-06-27

Family

ID=67987145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020507456A Active JP7298594B2 (ja) 2018-03-20 2019-02-22 店舗管理装置および店舗管理方法、プログラム

Country Status (5)

Country Link
US (1) US20210019770A1 (ja)
JP (1) JP7298594B2 (ja)
CN (1) CN111919233B (ja)
TW (1) TWI809044B (ja)
WO (1) WO2019181364A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10558843B2 (en) * 2018-01-10 2020-02-11 Trax Technology Solutions Pte Ltd. Using price in visual product recognition
EP3754546A1 (en) 2018-01-10 2020-12-23 Trax Technology Solutions Pte Ltd. Automatically monitoring retail products based on captured images
JP7474955B2 (ja) * 2019-03-29 2024-04-26 パナソニックIpマネジメント株式会社 無人店舗システムおよび無人店舗システムの処理方法
US12062191B2 (en) 2019-10-25 2024-08-13 7-Eleven, Inc. Food detection using a sensor array
MX2022004898A (es) 2019-10-25 2022-05-16 7 Eleven Inc Deteccion de accion durante el seguimiento de imagenes.
JP2021077096A (ja) * 2019-11-08 2021-05-20 東芝テック株式会社 取引処理システム、取引支援装置、情報処理プログラム及び取引処理方法
EP3901841B1 (en) * 2020-03-09 2024-10-02 YI Tunnel (Beijing) Technology Co., Ltd. Settlement method, apparatus, and system
WO2022034881A1 (ja) * 2020-08-12 2022-02-17 日本電気株式会社 店舗システム、店舗管理装置、店舗管理方法、およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020016715A1 (en) 2000-08-01 2002-02-07 Razumov Sergey N. Purchase check-out arrangement in retail system
JP2008117159A (ja) 2006-11-02 2008-05-22 Gourmet Navigator Inc 来店確認情報処理システム
US20130198832A1 (en) 2012-01-31 2013-08-01 Dell Products L.P. Multilevel passcode authentication
JP2014203216A (ja) 2013-04-03 2014-10-27 株式会社野村総合研究所 決済用端末装置
JP2016126749A (ja) 2014-12-29 2016-07-11 東芝テック株式会社 情報処理システムおよび情報処理プログラム
WO2017146595A1 (en) 2016-02-26 2017-08-31 Imagr Limited System and methods for shopping in a physical store
CN107464116A (zh) 2017-07-25 2017-12-12 苏宁云商集团股份有限公司 一种订单结算方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3337988B2 (ja) * 1998-09-29 2002-10-28 沖電気工業株式会社 個体識別装置
JP2008287371A (ja) * 2007-05-15 2008-11-27 Dentsu Retail Marketing Inc 店舗管理システム及びプログラム
JP5121681B2 (ja) * 2008-04-30 2013-01-16 株式会社日立製作所 生体認証システム、認証クライアント端末、及び生体認証方法
US8429398B2 (en) * 2009-05-08 2013-04-23 Nokia Corporation Method and apparatus of providing personalized virtual environment
CN105741451B (zh) * 2014-12-29 2019-02-05 东芝泰格有限公司 信息处理系统及信息处理方法
CN104574064A (zh) * 2015-01-26 2015-04-29 深圳前海万融智能信息有限公司 一种预授权电子账单提示的手机支付方法及系统
CN104778612A (zh) * 2015-04-23 2015-07-15 上海未来宽带技术股份有限公司 一种实现实体店铺线下到线上营销管理方法及系统
CN207067984U (zh) * 2017-04-21 2018-03-02 黎春强 基于大数据的数据采集系统
CN107480994A (zh) * 2017-06-23 2017-12-15 阿里巴巴集团控股有限公司 一种结算方法、入口控制方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020016715A1 (en) 2000-08-01 2002-02-07 Razumov Sergey N. Purchase check-out arrangement in retail system
JP2008117159A (ja) 2006-11-02 2008-05-22 Gourmet Navigator Inc 来店確認情報処理システム
US20130198832A1 (en) 2012-01-31 2013-08-01 Dell Products L.P. Multilevel passcode authentication
JP2014203216A (ja) 2013-04-03 2014-10-27 株式会社野村総合研究所 決済用端末装置
JP2016126749A (ja) 2014-12-29 2016-07-11 東芝テック株式会社 情報処理システムおよび情報処理プログラム
WO2017146595A1 (en) 2016-02-26 2017-08-31 Imagr Limited System and methods for shopping in a physical store
CN107464116A (zh) 2017-07-25 2017-12-12 苏宁云商集团股份有限公司 一种订单结算方法及系统

Also Published As

Publication number Publication date
WO2019181364A1 (ja) 2019-09-26
TW201941139A (zh) 2019-10-16
TWI809044B (zh) 2023-07-21
US20210019770A1 (en) 2021-01-21
CN111919233B (zh) 2024-05-17
JPWO2019181364A1 (ja) 2021-03-11
CN111919233A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
JP7298594B2 (ja) 店舗管理装置および店舗管理方法、プログラム
JP7371614B2 (ja) 店舗管理装置および店舗管理方法
JP7028305B2 (ja) 店舗装置、店舗システム、店舗管理方法、プログラム
JP6417024B2 (ja) 情報処理システムおよび情報処理プログラム
CN109215254B (zh) 实体店铺应用系统、用户信息处理方法及装置
US11049373B2 (en) Storefront device, storefront management method, and program
US20240346569A1 (en) Image processing apparatus, server device, and method thereof
JP7140223B2 (ja) 決済処理装置、方法およびプログラム
US11625703B2 (en) Commodity registration apparatus and method
JP7524388B2 (ja) 情報処理装置、店舗システム、プログラム
EP3859640A1 (en) Tracking-based point-of-sale apparatus, system, and method
TWI837556B (zh) 不正檢測系統、不正檢測裝置、不正檢測方法及程式產品
JP7486967B2 (ja) 認証装置及び制御プログラム
WO2022065059A1 (ja) 認証システム
JP2022157339A (ja) 電子決済システム、電子決済方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200811

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230529

R151 Written notification of patent or utility model registration

Ref document number: 7298594

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151