JP7335651B1 - Face authentication payment system and face authentication payment method - Google Patents

Face authentication payment system and face authentication payment method Download PDF

Info

Publication number
JP7335651B1
JP7335651B1 JP2022125523A JP2022125523A JP7335651B1 JP 7335651 B1 JP7335651 B1 JP 7335651B1 JP 2022125523 A JP2022125523 A JP 2022125523A JP 2022125523 A JP2022125523 A JP 2022125523A JP 7335651 B1 JP7335651 B1 JP 7335651B1
Authority
JP
Japan
Prior art keywords
payment
authentication
face
biometric data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022125523A
Other languages
Japanese (ja)
Other versions
JP2024022157A (en
Inventor
祐二 原口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interior Haraguchi
Original Assignee
Interior Haraguchi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interior Haraguchi filed Critical Interior Haraguchi
Priority to JP2022125523A priority Critical patent/JP7335651B1/en
Application granted granted Critical
Publication of JP7335651B1 publication Critical patent/JP7335651B1/en
Publication of JP2024022157A publication Critical patent/JP2024022157A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】 人工知能AIを使った顔認証決済における偽陽性や偽陰性の問題を解消しつつ、信頼性が高く、且つ利便性も高い顔認証決済が行えるようにする。【解決手段】 各店舗(ST1~ST4)に設置された顔認証決済用端末装置(0001)と、該顔認証決済用端末装置(0001)と通信接続されて顔認証による決済処理を行う顔認証決済用サーバ(0002)を備え、前記顔認証決済用端末装置(0001)は、顔画像を含む他の生体データを取得する生体データ取得部(2001)を有し、前記顔認証決済用サーバ(0002)は同一人物AI判定部(3002)や顔認証のランク付けを行うランク付け手段(3010)、追認証判断手段(3004)等を有する。【選択図】 図1[Problem] To solve the problem of false positives and false negatives in face recognition payments using artificial intelligence AI, and to perform face recognition payments with high reliability and convenience. [Solution] A facial recognition payment terminal device (0001) installed in each store (ST1 to ST4), and a facial recognition device that is communicatively connected to the facial recognition payment terminal device (0001) and performs payment processing by face recognition. The facial recognition payment terminal device (0001) includes a payment server (0002), and the face recognition payment terminal device (0001) has a biometric data acquisition unit (2001) that acquires other biometric data including a facial image. 0002) includes a same person AI determination unit (3002), a ranking means (3010) for ranking facial recognition, a further authentication determination means (3004), and the like. [Selection diagram] Figure 1

Description

本発明は、商品やサービスの提供を受ける消費者が顔認証によって料金の決済を行うための顔認証決済システムおよび顔認証決済方法等に関する。 The present invention relates to a face authentication payment system, a face authentication payment method, and the like for a consumer who receives a product or service to pay by face authentication.

顔認証による決済サービスは、消費者が現金やクレジットカードを携行する必要がなく、また決済端末で暗証番号を入力したり、サインを行ったりする必要もなく、また商品やサービスの提供を受ける店舗で、該店舗の従業員と消費者が非接触で決済が完了するために、利便性が高いとされている。 Payment services using face recognition eliminate the need for consumers to carry cash or credit cards, enter a PIN at a payment terminal, or sign a signature. It is said to be highly convenient because the payment can be completed without contact between the store employee and the consumer.

また、顔画像データを使った電子商取引システムとして、予め登録された利用者による無人店舗の利用状況を顔認証により管理する無人店舗システムであって、 利用者の入店時の顔画像を第1のカメラにより取得して、入店時の前記顔画像に基づいて、利用者の入店を許可するための顔認証に関する処理を行う第1の顔認証機と、利用者の決済時の顔画像を第2のカメラにより取得して、決済時の前記顔画像に基づいて、利用者の決済を許可するための顔認証に関する処理を行う第2の顔認証機と、 利用者の退店時の顔画像を第3のカメラにより取得して、退店時の前記顔画像に基づいて、利用者の退店を確認するための顔認証に関する処理を行う第3の顔認証機とを備え、前記第1のカメラは、ゲート装置の近傍に設置され、入店する利用者の顔が撮影領域に含まれるように設置され、 前記第1の顔認証機は、顔認証結果に応じて前記ゲート装置の開閉を制御するように制御され、更に精算及び顔認証に関する情報を表示する表示部を備え、前記第2のカメラは、前記表示部の近傍に配置されて、前記表示部を目視する利用者の顔が撮影領域に含まれるように設置された無人店舗システムが知られている。 Further, as an electronic commerce system using face image data, an unmanned shop system that manages the usage status of an unmanned shop by pre-registered users by face authentication, wherein the face image of the user at the time of entering the shop is the first a first face authentication machine that performs processing related to face authentication for permitting the user to enter the store based on the face image acquired by the camera of the store, and the face image of the user at the time of payment is acquired by a second camera, and based on the face image at the time of payment, a second face authentication device that performs processing related to face authentication for permitting payment of the user; a third face authentication device that acquires a face image with a third camera and performs processing related to face authentication for confirming that the user has left the store, based on the face image at the time of leaving the store; The first camera is installed in the vicinity of the gate device, and is installed so that the face of the user entering the store is included in the shooting area, and the first face authentication device is installed in the gate device according to the face authentication result. The second camera is controlled to control the opening and closing of the camera, and further comprises a display unit for displaying information related to payment and face authentication, wherein the second camera is arranged near the display unit, and the user viewing the display unit There is known an unmanned store system installed so that the face of the customer is included in the imaging area.

特開2020-166638号公報JP 2020-166638 A

前述した通り、顔認証による決済は、種々の面で利便性が高いが、顔認証の設定精度その他において後述するような課題があった。 As described above, settlement by face authentication is highly convenient in various aspects, but there are problems such as setting accuracy of face authentication, which will be described later.

すなわち、顔認証は、予めデータベースに登録された顔画像データと店舗等に設置された顔撮影用カメラで実際に撮影された顔画像データの各々の特徴点検出を行って、その一致度によって認証を行うのであるが、その際、画像処理における閾値が高いと本人が認証を行っているにもかかわらず、「他人」と判断する誤認証(偽陰性)が発生し易く、前記閾値が低いと他人であるにもかからず、「本人」であると誤認証(偽陽性)してしまい易い。また、認証する際に、認証対象者がマスクをしていたり、撮影現場が影になっていたり、反射光が強い場合等々、撮影環境の問題や撮影対象者の容姿の経年変化等の容姿上の問題で、誤認証が発生するという欠点があった。 In other words, face authentication detects feature points in face image data registered in advance in a database and face image data actually taken by a face camera installed in a store, etc., and performs authentication based on the degree of matching. However, at that time, if the threshold in the image processing is high, erroneous authentication (false negative) of judging that the person is "another person" is likely to occur even though the person is authenticated, and if the threshold is low, It is easy to erroneously authenticate (false positive) that the person is "the person" even though the person is someone else. In addition, when performing authentication, there may be problems in the shooting environment such as when the person to be authenticated is wearing a mask, the shooting scene is in the shadows, the reflected light is strong, etc. There was a drawback that false authentication occurred due to the problem of

また、前述した無人店舗システムでは、無人店舗における買い物客の挙動が撮影されて無人での買い物が行えるものの、前述した顔認証の精度については、全く考慮されていなかった。 Further, in the above-mentioned unmanned store system, the behavior of shoppers in the unmanned store can be photographed and unmanned shopping can be performed, but the accuracy of face recognition described above has not been considered at all.

本発明の目的は、前述した顔認証による決済の問題を一挙に解決することができる顔認証決済システムおよび顔認証決済方法を提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to provide a face authentication payment system and a face authentication payment method that can solve the above-described face authentication payment problems at once.

請求項1記載の本発明は、店舗に設置された顔認証決済用端末装置と、該顔認証決済用端末装置と通信接続される顔認証決済用サーバを備え、前記顔認証決済用端末装置は少なくとも顔画像を含む複数種類の生体データを取得する少なくともカメラを含む複数の生体データ取得部と、顔認証決済用サーバに対して決済要求を行う決済要求部と、顔認証決済用サーバからの追認証要求を受け付ける追認証受付部を有し、前記顔認証決済用サーバは、顔認証決済のための種々の演算処理を行う制御部と、前記顔認証決済用端末装置からの決済要求を受け付ける決済要求受付部と、予め登録された顔画像を含む複数種類の登録生体データが蓄積された登録生体データ蓄積部と、該登録生体データ蓄積部に登録されている生体データと関連付けられた決済情報が蓄積された決済情報蓄積部と、前記顔認証決済用端末装置の生体データ取得部で取得された生体データと前記登録生体データ蓄積部で蓄積されている登録生体データのそれぞれの特徴点を抽出照合して同一人物度を判定する同一人物AI判定部を有し、該同一人物AI判定部が、生体認証を実行する生体認証部と、前記生体データ取得部で取得された顔画像と前記登録生体データ蓄積部に蓄積されている顔画像とを解析して同一人物度をランク付けするランク付け手段と、該ランク付け手段で判定されたランクによって、追加の生体データの要否を判断する追認証判断手段と、追認証判断手段で要追認証と判断された場合に、前記顔認証決済用端末装置に対して追認証を要求する追認証要求手段と、前記追認証判断手段での認証結果に基づいて決済判定を行う決済判定手段を有しており、更に前記顔認証決済用サーバは、前記決済判定手段での決済判定に基づいて決済処理を実行する決済実行部と、済登録者の個人情報、顔画像を含む生体データおよび決済情報の登録を受け付ける登録情報受付部を備え、前記同一人物AI判定部が登録生体データ蓄積部で蓄積されている生体データを教師データとして機械学習によるディープニューラルネットワークを実行する機能を有しており、更に、前記顔認証決済用サーバが、登録生体データ蓄積部に蓄積されている顔画像を更新する顔画像更新部を有し、該顔画像更新部は、タイマー手段と顔画像の置換手段を有し、前記タイマー手段で各顔画像の所定の更新期間の経過がカウントされ、その経過後において、同一人物AI判定部のランク付け手段でランク付けした顔画像が高ランクであった場合に、前記置換手段によって、前記顔認証決済用端末装置から送信されてきた前記顔画像を前記登録生体データ蓄積部に登録されている顔画像と置換することを特徴とする顔認証決済システムである。 The present invention according to claim 1 comprises a face authentication payment terminal device installed in a store, and a face authentication payment server connected for communication with the face authentication payment terminal device, wherein the face authentication payment terminal device is A plurality of biometric data acquisition units including at least cameras that acquire a plurality of types of biometric data including at least face images, a payment request unit that issues a payment request to a face authentication payment server, and a follow-up from the face authentication payment server. The face authentication payment server has a supplementary authentication reception unit that accepts an authentication request, and the face authentication payment server includes a control unit that performs various arithmetic processing for face authentication payment, and a payment request that accepts a payment request from the face authentication payment terminal device. A request receiving unit, a registered biometric data storage unit storing a plurality of types of registered biometric data including pre-registered face images, and payment information associated with the biometric data registered in the registered biometric data storage unit. Extraction and collation of feature points of each of the accumulated payment information storage unit, the biometric data acquired by the biometric data acquisition unit of the face authentication payment terminal device, and the registered biometric data stored in the registered biometric data storage unit. and a same person AI determination unit for determining the same person degree, the same person AI determination unit includes a biometrics authentication unit that executes biometrics authentication, a face image acquired by the biometrics data acquisition unit, and the registered biometrics. Ranking means for ranking the degree of identity by analyzing face images stored in the data storage unit, and additional authentication for determining whether or not additional biometric data is necessary based on the rank determined by the ranking means. determining means, additional authentication requesting means for requesting additional authentication to the terminal device for face authentication payment when additional authentication is determined by the additional authentication determining means, and the authentication result of the additional authentication determining means. Further, the face authentication payment server includes a payment execution unit for executing payment processing based on the payment determination by the payment determination means, and a payment registrant A registration information acceptance unit is provided for accepting registration of personal information, biometric data including face images, and payment information. The face authentication/payment server further has a face image update unit for updating the face image stored in the registered biometric data storage unit, and the face image update unit has a function of executing a neural network. has timer means and face image replacement means, the timer means counts the lapse of a predetermined update period for each face image, and after the elapse, ranking is performed by the ranking means of the same person AI determination unit. When the face image has a high rank, the replacement means replaces the face image transmitted from the face authentication/payment terminal device with the face image registered in the registered biometric data storage unit. It is a facial recognition payment system.

請求項2記載の本発明は、前記請求項1記載の顔認証決済システムについて、生体データが、顔画像の他に、指の静脈データ、声帯の声紋データまたは眼の虹彩データのうちの一以上のデータを含み、該データを生体データ取得部が取得することを特徴とする。 The present invention according to claim 2 is characterized in that, in the face authentication and payment system according to claim 1, the biometric data is one or more of finger vein data, vocal cord voiceprint data, and eye iris data in addition to the face image. and the data is acquired by the biometric data acquiring unit.

請求項3記載の本発明は、前記請求項1または請求項2記載の顔認証決済システムについて、顔認証決済用サーバの登録生体データ蓄積部に蓄積されている登録生体データが暗号化されていることを特徴とする。 The present invention according to claim 3 is the face authentication payment system according to claim 1 or claim 2, wherein the registered biometric data stored in the registered biometric data storage unit of the face authentication payment server is encrypted. It is characterized by

請求項4記載の本発明は、前記請求項1または請求項2記載の顔認証決済システムについて、生体データ取得部のカメラが3Dカメラであり、顔画像が3Dデータであることを特徴とする。 According to a fourth aspect of the present invention, in the face authentication payment system according to the first or second aspect, the camera of the biometric data acquisition unit is a 3D camera, and the face image is 3D data.

本発明は、店舗に設置された顔認証決済用端末装置と、該顔認証決済用端末装置と通信接続される顔認証決済用サーバを備えた顔認証決済システムにおいて、人工知能AIによって、単に顔認証による決済の可否を判定して決済処理を行うのではなく、先ず顔認証における類似性をランク付けし、該ランク付けによって追認証の要否判断を行い、必要に応じて、顔認証以外の静脈認証や虹彩認証等の他の認証を適宜組み合わせることにより、認証精度が高く、且つ利用者にとっても利便性の高い認証決済が実現され得る。 The present invention provides a face authentication payment system including a face authentication payment terminal device installed in a store, and a face authentication payment server connected for communication with the face authentication payment terminal device. Instead of determining whether payment can be made by authentication and performing payment processing, first, the similarity in face authentication is ranked, and based on the ranking, it is determined whether or not additional authentication is necessary. By appropriately combining other authentication such as vein authentication and iris authentication, authentication settlement with high authentication precision and high convenience for the user can be realized.

そのため、従来の顔認証決済において、課題であった所謂、偽陽性や偽陰性の問題も解消され、システムの運営者にとってもシステムの利用者にとっても信頼性の高い顔認証決済が実現される。 As a result, the problem of so-called false positives and false negatives, which has been a problem in conventional face authentication payments, is resolved, and face authentication payments that are highly reliable for both system operators and system users are realized.

更に、前記顔認証決済用サーバで、登録蓄積されている顔画像データを所定期間ごとに更新する本発明においては、顔認証の対象者の顔画像が適宜、近況のものに更新されていくため、より精度の高い顔認証が実現され得るという実用的利点が得られる。 Furthermore, in the present invention, in which face image data registered and stored in the face authentication and payment server are updated at predetermined intervals, the face image of the person subject to face authentication is appropriately updated to the latest one. , a practical advantage can be obtained that more accurate face recognition can be achieved.

本発明に係る顔認証決済システムの全体構成を示す概要図である。1 is a schematic diagram showing the overall configuration of a face authentication payment system according to the present invention; FIG. 顔認証決済用端末装置の実施形態を示す機能ブロック図である。1 is a functional block diagram showing an embodiment of a face authentication payment terminal device; FIG. 顔認証決済用サーバの実施形態を示す機能ブロック図である。It is a functional block diagram showing an embodiment of a server for face authentication payment. 顔認証決済用サーバの登録生体データ蓄積部に記憶されている登録情報の一例をテーブルである。10 is a table showing an example of registration information stored in a registration biometric data storage unit of the face authentication payment server; 顔認証決済用サーバの決済情報蓄積部に記憶されている決済情報の一例を示すテーブルである。4 is a table showing an example of payment information stored in a payment information storage unit of a face authentication payment server; 顔認証決済用サーバのランク付け手段によるランク付けの一例を示すテーブルである。It is a table which shows an example of ranking by the ranking means of the server for face authentication settlement. 顔認証決済用サーバの追認証判断手段におけるランク付けと追認証の関連付けを示すテーブルである。FIG. 10 is a table showing association between ranking and additional authentication in the additional authentication determination means of the face authentication payment server; FIG. 顔認証決済用サーバの決済判定手段による決済判定の要領を示すフローチャートである。4 is a flow chart showing the procedure for payment determination by payment determination means of the face authentication payment server; 顔認証決済用サーバの生体認証部の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the biometric authentication part of a server for face authentication settlement. 生体データのセグメンテーション例を示す模式図である。FIG. 4 is a schematic diagram showing an example of segmentation of biometric data; ディープラーニング部における識別部の機械学習(教師あり学習)の一例を示す模式図である。FIG. 4 is a schematic diagram showing an example of machine learning (learning with a teacher) of the identification unit in the deep learning unit; 顔認証決済用サーバの生体認証部における顔画像認証の要領を示すフローチャートである。It is a flowchart which shows the point of the face image authentication in the biometrics authentication part of the server for face authentication settlement. 本発明に係る顔認証決済システムによる顔認証決済方法の一例を示すフローチャートである。It is a flowchart which shows an example of the face authentication payment method by the face authentication payment system which concerns on this invention. 本発明に係る顔認証決済システムでのクラウドの構成を示す概要図である。1 is a schematic diagram showing a configuration of a cloud in a face authentication payment system according to the present invention; FIG.

次に、本発明の実施形態を図面にしたがって説明するが、本発明はかかる実施形態に限定されるものではない。 Embodiments of the present invention will now be described with reference to the drawings, but the present invention is not limited to these embodiments.

図1に示すように、本実施形態に係る顔認証決済システムは、各店舗(ST1~ST4)に設置された顔認証決済用端末装置(0001)と、該顔認証決済用端末装置(0001)と通信接続されて顔認証による決済処理を行う顔認証決済用サーバ(0002)を備えている。 As shown in FIG. 1, the face authentication payment system according to the present embodiment includes a face authentication payment terminal device (0001) installed in each store (ST1 to ST4), and the face authentication payment terminal device (0001). and a face authentication payment server (0002) for performing payment processing by face authentication.

当該顔認証決済システムは、通常、全体構成が所謂クラウドサーバシステムであって、後述する通り、クラウドを構成する前記顔認証決済用サーバ(0002)を含むサーバ群(0003)と、該サーバ群(0003)との間で本実施形態に係る顔認証決済システムに係る種々の処理が行われる前記顔認証決済用端末装置(0001)等で構成される。 The face authentication payment system generally has a so-called cloud server system as a whole. 0003) and the terminal device for face authentication payment (0001) that performs various processes related to the face authentication payment system according to the present embodiment.

前記サーバ群(0003)は、前記顔認証決済用サーバ(0002)の他、例えばDNSサーバ(0005)やアプリケーションサーバ(0006)等を有する。 The server group (0003) includes, for example, a DNS server (0005), an application server (0006), etc., in addition to the face authentication and settlement server (0002).

ただし、本発明のシステムは、クラウドサーバシステム以外のもので構成される場合もある。 However, the system of the present invention may be configured with something other than the cloud server system.

図14に示すように、本実施形態に係るクラウドサーバシステムにおけるクラウドは、例えば、クラウド基盤層(6001)と、その上層のクラウドサービス提供層(6002)およびクラウドアプリケーション層(6003)といった階層で構成され、後述するような種々の情報処理を行うものである。 As shown in FIG. 14, the cloud in the cloud server system according to this embodiment is composed of, for example, a cloud base layer (6001), a cloud service provision layer (6002) above it, and a cloud application layer (6003). and performs various information processing as described later.

また、本発明で使用する前記顔認証決済用サーバ(0002)は、少なくともコンピュータハードウェアおよびその上で実行されるコンピュータプログラムによって機能するものである。 The face authentication/settlement server (0002) used in the present invention functions at least by computer hardware and a computer program executed thereon.

図2に示すように、前記顔認証決済用端末装置(0001)は、少なくとも顔画像を含む複数種類の生体データを取得する少なくともカメラ(0004)を含む複数の生体データ取得部(2001)と、インターネットまたは専用回線を介して前記顔認証決済用サーバ(0002)等と通信接続するための通信モジュール(2004)と、種々の表示を行うための顔認証用表示装置(2005)と、顔認証等に係る種々の演算処理を行うMPU(Micro-Processing Unit)(2006)と、顔認証決済処理に係る種々のデータを適宜記憶するメモリ部(2007)と、当該顔認証決済を行うための種々の入力を実行する入力部(2008)と、前記顔認証決済用サーバ(0002)に対して決済要求を行う決済要求部(2011)と、後述する顔認証決済用サーバ(0002)からの追認証要求を受け付ける追認証受付部(2009)等を有する。 As shown in FIG. 2, the face authentication payment terminal device (0001) includes a plurality of biometric data acquisition units (2001) including at least a camera (0004) for acquiring a plurality of types of biometric data including at least a face image; A communication module (2004) for communication connection with the face authentication payment server (0002) or the like via the Internet or a dedicated line, a face authentication display device (2005) for performing various displays, face authentication, etc. An MPU (Micro-Processing Unit) (2006) that performs various arithmetic processing related to the face authentication payment process, a memory unit (2007) that appropriately stores various data related to the face authentication payment process, and various An input unit (2008) for executing input, a payment request unit (2011) for making a payment request to the face authentication payment server (0002), and an additional authentication request from the face authentication payment server (0002), which will be described later. It has an additional authentication reception unit (2009) and the like that receives the

そして、本実施形態では、前記生体データ取得部(2001)は、認証対象者の顔を撮影したり、認証対象者の眼の虹彩を撮影する前記カメラ(0004)の他、認証対象者の指の静脈パターンを検知する赤外線センサ(2002)と、認証対象者の声を取得するマイク(2003)等を有する。また、これら各認証機器は、通常、公知の付属機器等と共にユニット化されている。また、カメラ(0004)は、通常、3D機能を有するものが好ましく、撮影された顔画像の奥行等の認証も可能とする。 In the present embodiment, the biometric data acquisition unit (2001) captures the face of the person to be authenticated, the camera (0004) to capture the iris of the eye of the person to be authenticated, and the finger of the person to be authenticated. It has an infrared sensor (2002) that detects the vein pattern of the body, a microphone (2003) that acquires the voice of the person to be authenticated, and the like. Further, each of these authentication devices is usually unitized together with known accessory devices and the like. In addition, the camera (0004) usually preferably has a 3D function, and enables authentication of the depth of the photographed face image.

図3に示すように、前記顔認証決済用サーバ(0002)は、前記顔認証決済用端末装置(0001)等との通信を行う通信機能部(3011)と、顔認証決済のための種々の演算処理を行うCPU等の制御部(3009)と、決済登録者の個人情報、顔画像を含む生体データおよび決済情報等の登録を受け付ける登録情報受付部(3005)と、決済要求を受け付ける決済要求受付部(3006)と、予め登録された顔画像を含む複数種類の登録生体データが蓄積された登録生体データ蓄積部(3001)と、該登録生体データ蓄積部(3001)で登録されている生体データと関連付けられた決済情報が蓄積された決済情報蓄積部(3007)と、前記顔認証決済用端末装置(0001)の生体データ取得部(2001)で取得された生体データと前記登録生体データ蓄積部(3001)で蓄積されている登録生体データのそれぞれの特徴点を抽出照合して同一人物度を判定する同一人物AI判定部(3002)を有し、該同一人物AI判定部(3002)が、生体認証を実行する生体認証部(3010)と、前記生体データ取得部(2001)で取得された顔画像と前記登録生体データ蓄積部(3001)に登録蓄積されている顔画像とを解析して同一人物度をランク付けするランク付け手段(3003)と、該ランク付け手段(3003)で判定されたランクによって、追加の生体データの要否を判断する追認証判断手段(3004)と、追認証判断手段で要追認証と判断された場合に、前記顔認証決済用端末装置(0001)に対して追認証を要求する追認証要求手段(3015)と、前記追認証判断手段での認証結果に基づいて決済判定を行う決済判定手段(3016)等を有している。また更に、顔認証決済用サーバ(0002)は、同一人物AI判定部(3002)の前記決済判定手段(3016)による決済判定に基づいて決済処理を実行する決済実行部(3017)と、登録生体データ蓄積部(3001)に蓄積されている顔画像を更新する顔画像更新部(3012)を有する。 As shown in FIG. 3, the face authentication payment server (0002) includes a communication function unit (3011) that communicates with the face authentication payment terminal device (0001), etc., and various face authentication payment A control unit (3009) such as a CPU that performs arithmetic processing, a registration information reception unit (3005) that receives registration of personal information of a payment registrant, biometric data including facial images, payment information, etc., and a payment request that receives payment requests. A reception unit (3006), a registered biometric data storage unit (3001) in which a plurality of types of registered biometric data including pre-registered face images are stored, and biometrics registered in the registered biometric data storage unit (3001) Payment information storage unit (3007) storing payment information associated with data, biometric data acquired by the biometric data acquisition unit (2001) of the face authentication payment terminal device (0001), and biometric data storage. It has a same person AI determination unit (3002) that extracts and collates each feature point of the registered biometric data accumulated in the unit (3001) to determine the same person degree, and the same person AI determination unit (3002) , a biometric authentication unit (3010) that executes biometric authentication, and analyzes the face image acquired by the biometric data acquisition unit (2001) and the face image registered and accumulated in the registered biometric data storage unit (3001). a ranking means (3003) for ranking the degree of the same person by means of the ranking means (3003); an additional authentication determining means (3004) for determining whether or not additional biometric data is necessary based on the rank determined by the ranking means (3003); Additional authentication requesting means (3015) for requesting additional authentication to the face authentication payment terminal device (0001) when the authentication determining means determines that additional authentication is required, and an authentication result of the additional authentication determining means. It has payment determination means (3016) and the like for making payment determination based on the above. Furthermore, the face authentication payment server (0002) includes a payment execution unit (3017) that executes payment processing based on payment determination by the payment determination means (3016) of the same person AI determination unit (3002); It has a face image update unit (3012) for updating the face image accumulated in the data accumulation unit (3001).

前記顔画像更新部(3012)は、所定の顔画像更新期間をカウントするタイマー手段(3013)と、顔認証決済用端末装置(0001)から送信された顔画像を登録されている顔画像と置換する置換手段(3014)を有する 。 The face image updating unit (3012) replaces the registered face image with the face image transmitted from the face authentication/payment terminal device (0001) with timer means (3013) for counting a predetermined face image update period. It has a replacement means (3014) for

そして、顔画像更新部(3012)では、前記タイマー手段(3013)で所定の更新期間の経過がカウントされ、その経過後において、前記同一人物AI判定部(3002)におけるランク付け手段(3003)で、ランクAと判定された場合に、前記置換手段(3014)によって、前記顔認証決済用端末装置(0001)から送信されてきた顔画像が登録生体データ蓄積部(3001)に記憶されている顔画像と置換される。 Then, in the facial image updating unit (3012), the timer means (3013) counts the elapse of a predetermined update period, and after the elapse, the ranking means (3003) in the same person AI judging unit (3002) , the face image transmitted from the face authentication/payment terminal device (0001) is stored in the registered biometric data storage unit (3001) by the replacing means (3014) when the rank is determined to be A. Replaced with an image.

なお、前記顔画像更新部(3012)は、通常、ソフトウェアによって実現されるものである。 The facial image update unit (3012) is usually realized by software.

前記同一人物AI判定部(3002)は、後述する通り、登録生体データ蓄積部(3001)に蓄積されている生体データを教師データとする機械学習によるディープニューラルネットワークの機能を有する。 The same-person AI determination unit (3002) has a function of a deep neural network based on machine learning using the biometric data stored in the registered biometric data storage unit (3001) as teacher data, as will be described later.

図4に示すように、前記登録生体データ蓄積部(3001)は、本実施形態では、当該システムを利用する登録者の登録番号と共に、顔画像、指の静脈データ、眼の虹彩データおよび声の声紋データが蓄積されたデータベースである。前述した各生体データは暗号化されているのが好ましい。 As shown in FIG. 4, the registered biometric data storage unit (3001) stores the registration number of the registrant who uses the system, face image, finger vein data, eye iris data and voice in this embodiment. This is a database in which voiceprint data is accumulated. Each biometric data described above is preferably encrypted.

図5に示すように、前記決済情報蓄積部(3007)は、より詳細には、登録者の登録番号とクレジットカードまたはデビットカード等の決済情報と前記顔画像等の生体データが対となって関連付けされて蓄積されているデータベースである。 More specifically, as shown in FIG. 5, the payment information storage unit (3007) pairs the registration number of the registrant, payment information such as a credit card or debit card, and biometric data such as the face image. It is a database that is associated and accumulated.

前記ランク付け手段(3003)は、登録生体データ蓄積部(3001)で登録蓄積されている顔画像と前記顔認証決済用端末装置(0001)の生体データ取得部(2001)で得られた顔画像のそれぞれの特徴点を抽出して比較し、その類似度によってランク付けを行う機能を有するものであり、通常、ソフトウェアによって実現される。 The ranking means (3003) ranks the face images registered and stored in the registered biometric data storage unit (3001) and the face images obtained by the biometric data acquisition unit (2001) of the terminal device for face authentication and payment (0001). It has a function of extracting and comparing feature points from each of them and ranking them according to their similarity, and is usually realized by software.

図6に示すように、前記ランク付け手段(3003)は、本実施形態では、A~Dの合計4段階のランク付けを行う。より詳細には、前記ランク付け手段(3003)において、Aが、前述した登録された顔画像と取得された顔画像との特徴点の一致度が非常に高く、類似性が非常に強い場合である。Bは、登録された顔画像と取得された顔画像との特徴点の一致度が高いものの、一部に相違点があるため、類似性がある程度強い場合である。Cは、登録された顔画像と取得された顔画像との特徴点の一致性が認められるものの、相違点もあり、類似性が弱い場合である。Dは、登録された顔画像と取得された顔画像との特徴点の一致度が認められず、相違点が多く、類似性が認められない場合である。そして、これらランク付けは、通常、所定のパラメータ設定によって行われる。 As shown in FIG. 6, the ranking means (3003), in this embodiment, ranks in four stages A to D in total. More specifically, in the ranking means (3003), A is when the degree of matching of feature points between the registered face image and the obtained face image is very high and the similarity is very strong. be. B is a case in which the registered face image and the acquired face image have a high degree of matching in feature points, but have some differences, so the similarity is strong to some extent. C is a case where the registered face image and the acquired face image match each other in feature points, but there are also differences, and the similarity is weak. D is the case where the degree of matching of feature points between the registered face image and the acquired face image is not recognized, there are many differences, and similarity is not recognized. And these rankings are usually performed by predetermined parameter settings.

前記追認証判断手段(3004)は、前記ランク付け手段(3003)によるランク付けに基づいて、追認証の要否を判断する機能を有するものであり、通常、ソフトウェアによって実現されるが、回路で構成しても良い。 The additional authentication determination means (3004) has a function of determining whether or not additional authentication is required based on the ranking by the ranking means (3003). may be configured.

図7に示すように、より詳細には、追認証判断手段(3004)は、前記ランク付け手段(3003)でランクAの場合には追認証不要と判断し、ランクBの場合には、追認証として他の静脈認証、虹彩認証または声紋認証のいずれか一つが必要と判断し、ランクCの場合には、追認証として他の静脈認証、虹彩認証または声紋認証のいずれか二つが必要と判断し、ランクDの場合には、追認証不可と判断する。 As shown in FIG. 7, more specifically, the additional authentication determination means (3004) determines that additional authentication is not required if the ranking means (3003) is ranked A, and if the ranking is B, additional authentication is not required. It is determined that any one of other vein authentication, iris authentication, or voiceprint authentication is required as authentication, and in the case of rank C, it is determined that any two of other vein authentication, iris authentication, or voiceprint authentication are required as additional authentication. However, in the case of rank D, it is determined that additional certification is not possible.

そして、前記追認証要求手段(3015)は、前記追認証判断手段(3004)で、ランクBまたはランクCと判断された場合に、これをトリガーとして、前記顔認証決済用端末装置(0001)に対して所定の追認証要求を行う機能を有するものであり、通常、ソフトウェアによって実現されるが、ハードで構築しても良い。 Then, the additional authentication requesting means (3015), when the additional authentication determining means (3004) determines that the rank is B or C, uses this as a trigger to send the face authentication payment terminal device (0001) It has a function of making a predetermined additional authentication request to the user, and is usually realized by software, but may be constructed by hardware.

前記決済判定手段(3006)は、前述した通り、前記追認証判断手段での認証結果に基づいて決済判定を行う機能を有するものであり、通常、ソフトウェアによって実現されるが、回路で構成しても良い。 The settlement determination means (3006), as described above, has a function of determining settlement based on the authentication result of the additional authentication determination means. Also good.

図8に示すように、より詳細には、決済判定手段(3006)は、前述した生体認証部(3010)、前記ランク付け手段(3003)、前記追認証判断手段(3004)および前記追認証要求手段(3015)による認証処理において、前記ランクAの場合には、直ちに決済可能判定を行い、前記ランクDの場合には、直ちに決済不可判定を行う。また、前記ランクBまたはランクCであった場合には、一または二の追認証の結果によって、決済実行の可否を判定する。すなわち、追認証で同一人物と認証された場合には、決済実行判定を行い、追認証で同一人物と認証されなかった場合には、決済不可判定を行う。 More specifically, as shown in FIG. 8, the payment determination means (3006) includes the aforementioned biometric authentication unit (3010), the ranking means (3003), the additional authentication determination means (3004) and the additional authentication request In the authentication processing by the means (3015), if the rank is A, it is determined that settlement is possible immediately, and if it is rank D, it is immediately determined that settlement is impossible. In addition, if it is the rank B or rank C, it is determined whether or not the settlement can be executed according to the result of the first or second additional authentication. In other words, if the same person is authenticated in the additional authentication, it is determined that the payment is to be executed, and if the same person is not authenticated in the additional authentication, it is determined that the payment is impossible.

前記生体認証部(3010)は、同一人物AI判定部(3002)における認証エンジンとして機能するものであり、通常、ソフトウェアによって実現される。 The biometric authentication unit (3010) functions as an authentication engine in the same person AI determination unit (3002), and is usually realized by software.

そして、生体認証部(3010)は、前記制御部(3009)と協働して、前述した登録生体データ蓄積部(3001)に蓄積されている顔画像や静脈データ、虹彩データ、声紋データ等の生体データを教師データとして機械学習によるディープニューラルネットワーク機能によって、生体認証を実行するものである。 Then, the biometric authentication unit (3010) cooperates with the control unit (3009) to retrieve the facial image, vein data, iris data, voiceprint data, etc. stored in the registered biometric data storage unit (3001). Biometric authentication is performed by a deep neural network function based on machine learning using biometric data as teacher data.

図9に示すように、前記生体認証部(3010)は、全体の制御コントロールを担う機械学習制御部(9001)と、教師用データを作成する教師用データ作成部(9002)と、ディープラーニングによるAIを実行するディープラーニング部(9003)を有する。 As shown in FIG. 9, the biometric authentication unit (3010) includes a machine learning control unit (9001) responsible for overall control, a teacher data creation unit (9002) that creates teacher data, and a deep learning It has a deep learning unit (9003) that executes AI.

前記ディープラーニング部(9003)は、例えば、学習部(9101)、評価部(9102)および識別部(9103)を有する。そして、前記学習部(9101)は、学習完了前の識別部(9103)に対して、生体データに係る教師用データ(9104)を与えて教師有り学習をさせ、所定の正解率となったことで、前記識別部(9103)を学習済み識別部(9103)として構築するものとする。 The deep learning unit (9003) has, for example, a learning unit (9101), an evaluation unit (9102) and an identification unit (9103). Then, the learning unit (9101) supplies teacher data (9104) related to biometric data to the identification unit (9103) before completion of learning to perform supervised learning, and a predetermined accuracy rate is achieved. Therefore, the identification unit (9103) is constructed as a learned identification unit (9103).

すなわち、本実施形態における前記ディープラーニング部(9003)は、教師有り学習を行うディープラーニング(深層学習)である。そして、前記学習部(9101)は、前記教師用データ作成部(9002)が作成した教師用データを前記識別部(9103)に与えて教師有り学習を行うことで、重み係数等のパラメータを最適値に調整する機能を有する。 That is, the deep learning unit (9003) in this embodiment is deep learning that performs supervised learning. The learning unit (9101) supplies the teacher data created by the teacher data creation unit (9002) to the identification unit (9103) and performs supervised learning to optimize parameters such as weighting coefficients. It has the ability to adjust the value.

図10に示すように、本実施形態では、教師用データ作成部(9002)は、顔認証、静脈認証、虹彩認証および声紋認証に係る各生体データをグループa1~グループanにグループ化して、複数のフォルダaDを作成するものである。より詳細にはフォルダaDのファイルは、顔画像、静脈データ、虹彩データおよび声紋データといったデータファイル化されている。そして、これらグループ分けされた教師用データは畳み込み画像分析処理(チャンネル)に供される。この場合、FCN(Fully Convolutional Networks ; FCN),CNN(Convolutional Neural Network)等が用いられる。 As shown in FIG. 10, in the present embodiment, the teacher data creation unit (9002) groups each biometric data related to face authentication, vein authentication, iris authentication, and voiceprint authentication into groups a1 to group an. folder aD is created. More specifically, the files in folder aD are data files such as face images, vein data, iris data, and voiceprint data. These grouped training data are then subjected to convolutional image analysis processing (channel). In this case, FCN (Fully Convolutional Networks; FCN), CNN (Convolutional Neural Network), etc. are used.

また、前記評価部(9102)は、前述した通り、前記構築される識別部(9103)が前記教師用データを用いてディープラーニングによる教師有りの機械学習を行って最終的に抽出された生体データの特定を行った結果に基づいて正解率を算出し、所定の正解率に達した時点で識別部(9103)が学習済みとなったことを評価する機能を有するものであり、通常、ソフトウェアによって実現される。 In addition, as described above, the evaluation unit (9102) uses the constructed identification unit (9103) to perform supervised machine learning by deep learning using the training data, and the biological data finally extracted. It has a function of calculating the correct answer rate based on the result of identifying the , and evaluating that the identification unit (9103) has learned when the predetermined correct answer rate is reached. Realized.

図11に示すように、前記ディープラーニング部(9003)における前記識別部(9103)は、ニューラルネットワークのモデルを有し、例えば畳み込みニューラルネットワーク等が採用される。識別部(9103)は、入力層(1701)と、中間層(1702)と、出力層(1703)を有する。入力層(1701)は、複数のパーセプトロンa1、a2、・・・,aj,an=計n個を有する。すなわち、本実施形態では、入力層(1701)は、ある特定個のパーセプトロンa1~anを有し、そして、前記中間層(1702)は、前記複数のパーセプトロンで構成される複数層となる(畳み込み)。また、前記出力層(1703)は、最終的な顔画像等の生体データのAI分析による出力結果を出力b1~b3として検出し、その結果に基づいて生体認証が行われる。 As shown in FIG. 11, the identification unit (9103) in the deep learning unit (9003) has a neural network model, and employs, for example, a convolutional neural network. The identification unit (9103) has an input layer (1701), an intermediate layer (1702) and an output layer (1703). The input layer (1701) has a plurality of perceptrons a1, a2, . . . , aj, an=n in total. That is, in this embodiment, the input layer (1701) has a specific number of perceptrons a1 to an, and the intermediate layer (1702) is a multi-layered structure (convolution ). Further, the output layer (1703) detects the final output results of AI analysis of biometric data such as face images as outputs b1 to b3, and biometric authentication is performed based on the results.

そして、本発明では前述したようなディープラーニングニューラルネットワークによって、顔認証、静脈認証、虹彩認証および声紋認証が行われる。 In the present invention, face authentication, vein authentication, iris authentication, and voiceprint authentication are performed by the deep learning neural network as described above.

図12に示すように、前記生体認証部(3010)において、例えば、前述したようなディープラーニングニューラルネットワークによる顔認証を行う場合、店舗(ST1~ST4)に設置された前記顔認証決済用端末装置(0001)のカメラ(0004)で撮影された顔画像FIと前記顔認証決済用サーバ(0002)の登録生体データ蓄積部(3001)に蓄積されている登録顔画像F2の検出が行われ(S1201)、その後、それぞれの特徴点抽出が行われて(S1202)、それら特徴のデータ化(S1203)の後、特徴データの照合処理がされて(S1204)、前記類似度が算出される(S1205)。そして、該類似度によって、所定のパラメータ等で前記ランク付け手段(3003)によるランク付けが行われる。 As shown in FIG. 12, in the biometric authentication unit (3010), for example, when performing face authentication by a deep learning neural network as described above, the face authentication payment terminal device installed in the store (ST1 to ST4) The face image FI photographed by the camera (0004) of (0001) and the registered face image F2 stored in the registered biometric data storage unit (3001) of the face authentication/settlement server (0002) are detected (S1201). ), then each feature point is extracted (S1202), the features are converted into data (S1203), the feature data is collated (S1204), and the similarity is calculated (S1205). . Then, according to the degree of similarity, ranking is performed by the ranking means (3003) using a predetermined parameter or the like.

次に、図13に示すように、本実施形態に係る顔認証決済システムによる顔認証決済方法について説明すると、先ず、前記顔認証決済用端末装置(0001)の生体データ取得部(2001)で顔画像を撮影し(S1301),該顔画像を付した決済要求を前記顔認証決済用サーバ(0002)に対して送信し(S1302)、該顔認証決済用サーバ(0002)では前記決済要求を受信して受付け(S1303)、その後、前記撮影された顔画像を同一人物AI判定部(3002)の生体認証部(3010)で認証し(S1304)、その該認証結果に基づいてランク付け手段(3003)によるランク付けを行い(S1305)、その後、該ランク付けに基づいて追認証判断手段(3004)で追認証の要否を判断し(S1306)、ランクBまたはランクCの場合に要追認証と判断されて、追認証要求手段(3015)から前記顔認証決済用端末装置(0001)に対して、追認証要求が送信され(S1307)、該追認証要求を顔認証決済用端末装置(0001)の追認証受付部(2009)で受け付け(S1308)、その後、顔認証決済用端末装置(0001)の生体データ取得部(2001)で顔画像以外の静脈データ等の所定数の生体データを取得し(S1309)、該生体データを前記顔認証決済用サーバ(0002)に対して送信し(S1310)、その後、顔認証決済用サーバ(0002)の生体認証部(3010)で追認証に係る一または二の生体データの認証を行い(S1311)、該追認証に基づいて決済判定手段(3006)で決済判定を行い(S1312)、決済可能と判定した場合には、決済実行部(3017)で所定の決済処理が実行される(S1313)。 Next, as shown in FIG. 13, the face authentication payment method by the face authentication payment system according to the present embodiment will be described. An image is photographed (S1301), a payment request attached with the face image is transmitted to the face authentication payment server (0002) (S1302), and the face authentication payment server (0002) receives the payment request. and accepted (S1303), then the photographed face image is authenticated by the biometric authentication unit (3010) of the same person AI determination unit (3002) (S1304), and based on the authentication result, the ranking means (3003 ) is performed (S1305), and then, based on the ranking, the additional authentication determination means (3004) determines whether or not additional authentication is required (S1306), and in the case of rank B or rank C, it is determined that additional authentication is required. After determination, the additional authentication request means (3015) transmits an additional authentication request to the face authentication payment terminal device (0001) (S1307), and the additional authentication request is sent to the face authentication payment terminal device (0001). (S1308), and then the biometric data acquisition unit (2001) of the face authentication payment terminal device (0001) acquires a predetermined number of biometric data such as vein data other than the face image. (S1309), the biometric data is transmitted to the face authentication and settlement server (0002) (S1310), and then the biometric authentication unit (3010) of the face authentication and settlement server (0002) performs additional authentication. The second biometric data is authenticated (S1311), and the payment decision means (3006) makes a payment decision based on the additional authentication (S1312). is executed (S1313).

なお、前記ランク付け手段(3003)によるランク付けで(S1305)、ランクがAであった場合には、追認証要求手段(3015)で追認証要求不要と判断すると共に、決済実行部(3017)による決済処理が実行される(S1313)。一方、前記ランク付け手段(3003)によるランク付けで(S1305)、ランクがDであった場合には、追認証要求手段(3015)で追認証不可と判断すると共に、前記開始処理に戻される。 In addition, when the ranking by the ranking means (3003) is A (S1305), the additional authentication requesting means (3015) determines that the additional authentication request is unnecessary, and the settlement executing section (3017) is executed (S1313). On the other hand, when the ranking by the ranking means (3003) is D (S1305), the additional authentication requesting means (3015) determines that additional authentication is not possible, and returns to the start process.

また、顔認証決済用端末装置(0001)からの決済要求に際し、送信されてきた顔画像が前記ランク付け手段(3003)でランクAであった場合には、前記顔画像更新部(3012)のタイマー手段(1313)で予め設定されている更新期間の経過を検知し(S1314)、経過している場合には、前記送信されてきた顔画像が、前記顔画像更新部(3012)の置換手段(3014)によって、登録生体データ蓄積部(3001)に記憶されている顔画像と置換されて更新される(S1315)。 Further, when a payment request is made from the face authentication payment terminal device (0001), if the transmitted face image is rank A in the ranking means (3003), the face image updating unit (3012) The timer means (1313) detects the elapse of a preset update period (S1314), and when it has elapsed, the transmitted face image is replaced by the replacement means of the face image updating unit (3012). By (3014), the face image stored in the registered biometric data storage unit (3001) is replaced and updated (S1315).

本発明に係る顔認証決済システムは、人工知能AIを使って認証のランク付けを行い、その後に追認証を要求するという二段階の生体認証によって、適切な決済処理が可能となるため、顔認証決済の分野において幅広い利用が期待できる。 The face authentication payment system according to the present invention uses artificial intelligence AI to rank authentication and then requires additional authentication by two-step biometric authentication, which enables appropriate payment processing. A wide range of applications can be expected in the field of settlement.

(0001) 顔認証決済用端末装置
(0002) 顔認証決済用サーバ
(0004) カメラ
(2001) 生体データ取得部
(2009) 追認証受付部
(2011) 決済要求部
(3001) 登録生体データ蓄積部
(3002) 同一人物AI判定部
(3003) ランク付け手段
(3004) 追認証判断手段
(3006) 決済要求受付部
(3007) 決済情報蓄積部
(3009) 制御部
(3010) 生体認証部
(3015) 追認証要求手段
(3016) 決済判定手段
(3017) 決済実行部
(0001) Face authentication payment terminal device (0002) Face authentication payment server (0004) Camera (2001) Biometric data acquisition unit (2009) Additional authentication reception unit (2011) Payment request unit (3001) Registered biometric data storage unit ( 3002) Same person AI determination unit (3003) Ranking means (3004) Additional authentication determination unit (3006) Payment request reception unit (3007) Payment information storage unit (3009) Control unit (3010) Biometric authentication unit (3015) Additional authentication Request means (3016) Payment decision means (3017) Payment execution unit

Claims (4)

店舗に設置された顔認証決済用端末装置と、該顔認証決済用端末装置と通信接続される顔認証決済用サーバを備え、前記顔認証決済用端末装置は少なくとも顔画像を含む複数種類の生体データを取得する少なくともカメラを含む複数の生体データ取得部と、顔認証決済用サーバに対して決済要求を行う決済要求部と、顔認証決済用サーバからの追認証要求を受け付ける追認証受付部を有し、前記顔認証決済用サーバは、顔認証決済のための種々の演算処理を行う制御部と、前記顔認証決済用端末装置からの決済要求を受け付ける決済要求受付部と、予め登録された顔画像を含む複数種類の登録生体データが蓄積された登録生体データ蓄積部と、該登録生体データ蓄積部に登録されている生体データと関連付けられた決済情報が蓄積された決済情報蓄積部と、前記顔認証決済用端末装置の生体データ取得部で取得された生体データと前記登録生体データ蓄積部で蓄積されている登録生体データのそれぞれの特徴点を抽出照合して同一人物度を判定する同一人物AI判定部を有し、該同一人物AI判定部が、生体認証を実行する生体認証部と、前記生体データ取得部で取得された顔画像と前記登録生体データ蓄積部に蓄積されている顔画像とを解析して同一人物度をランク付けするランク付け手段と、該ランク付け手段で判定されたランクによって、追加の生体データの要否を判断する追認証判断手段と、追認証判断手段で要追認証と判断された場合に、前記顔認証決済用端末装置に対して追認証を要求する追認証要求手段と、前記追認証判断手段での認証結果に基づいて決済判定を行う決済判定手段を有しており、更に前記顔認証決済用サーバは、前記決済判定手段での決済判定に基づいて決済処理を実行する決済実行部と、決済登録者の個人情報、顔画像を含む生体データおよび決済情報の登録を受け付ける登録情報受付部を備え、前記同一人物AI判定部が登録生体データ蓄積部で蓄積されている生体データを教師データとして機械学習によるディープニューラルネットワークを実行する機能を有しており、更に、前記顔認証決済用サーバが、登録生体データ蓄積部に蓄積されている顔画像を更新する顔画像更新部を有し、該顔画像更新部は、タイマー手段と顔画像の置換手段を有し、前記タイマー手段で各顔画像の所定の更新期間の経過がカウントされ、その経過後において、同一人物AI判定部のランク付け手段でランク付けした顔画像が高ランクであった場合に、前記置換手段によって、前記顔認証決済用端末装置から送信されてきた前記顔画像を前記登録生体データ蓄積部に登録されている顔画像と置換することを特徴とする、顔認証決済システム。 A face authentication payment terminal device installed in a store and a face authentication payment server connected for communication with the face authentication payment terminal device, wherein the face authentication payment terminal device is provided with a plurality of types of biometrics including at least a face image. A plurality of biometric data acquisition units including at least a camera for acquiring data, a payment request unit for making payment requests to the face authentication payment server, and an additional authentication reception unit for accepting additional authentication requests from the face authentication payment server. The face authentication payment server has a control unit that performs various arithmetic processing for face authentication payment, a payment request reception unit that receives a payment request from the face authentication payment terminal device, and a pre-registered a registered biometric data storage unit storing a plurality of types of registered biometric data including face images; a payment information storage unit storing payment information associated with the biometric data registered in the registered biometric data storage unit; Determining degree of identity by extracting and collating feature points of each of the biometric data acquired by the biometric data acquiring unit of the terminal device for face authentication and payment and the registered biometric data stored in the registered biometric data storage unit A person AI determination unit is provided, and the same person AI determination unit includes a biometric authentication unit that performs biometric authentication, a face image acquired by the biometric data acquisition unit, and a face stored in the registered biometric data storage unit. a ranking means for analyzing an image and ranking the degree of sameness; an additional authentication determining means for determining whether or not additional biometric data is required based on the rank determined by the ranking means; and an additional authentication determining means Additional authentication requesting means for requesting additional authentication to the face authentication payment terminal device when additional authentication is determined to be required, and payment determination means for determining payment based on the authentication result of the additional authentication determination means. Further, the face authentication payment server includes a payment execution unit that executes payment processing based on payment determination by the payment determination means; A registration information reception unit for accepting registration of payment information is provided, and the same person AI determination unit has a function of executing a deep neural network based on machine learning using biometric data accumulated in the registration biometric data accumulation unit as teacher data. Further, the face authentication/payment server has a face image update unit for updating the face image stored in the registered biometric data storage unit, and the face image update unit includes timer means and face image replacement means. and the timer means counts the lapse of a predetermined update period for each face image, and after the lapse, when the face image ranked by the ranking means of the same person AI determination unit is highly ranked 1. A face authentication and settlement system, wherein said replacement means replaces said face image transmitted from said face authentication and settlement terminal device with a face image registered in said registered biometric data storage unit. 生体データが、顔画像の他に、指の静脈データ、声帯の声紋データまたは眼の虹彩データのうちの一以上のデータを含み、該データを生体データ取得部が取得することを特徴とする、請求項1記載の顔認証決済システム。 In addition to the face image, the biometric data includes one or more of finger vein data, vocal cord voiceprint data, and eye iris data, and the biometric data acquisition unit acquires the data, The face authentication payment system according to claim 1. 顔認証決済用サーバの登録生体データ蓄積部に蓄積されている登録生体データが暗号化されている、請求項1または請求項2記載の顔認証決済システム。 3. The face authentication payment system according to claim 1, wherein the registered biometric data stored in the registered biometric data storage unit of the face authentication payment server is encrypted. 生体データ取得部のカメラが3Dカメラであり、顔画像が3Dデータである、請求項1または請求項2記載の顔認証決済システム。 3. The face authentication payment system according to claim 1, wherein the camera of the biometric data acquisition unit is a 3D camera, and the face image is 3D data.
JP2022125523A 2022-08-05 2022-08-05 Face authentication payment system and face authentication payment method Active JP7335651B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022125523A JP7335651B1 (en) 2022-08-05 2022-08-05 Face authentication payment system and face authentication payment method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022125523A JP7335651B1 (en) 2022-08-05 2022-08-05 Face authentication payment system and face authentication payment method

Publications (2)

Publication Number Publication Date
JP7335651B1 true JP7335651B1 (en) 2023-08-30
JP2024022157A JP2024022157A (en) 2024-02-16

Family

ID=87764000

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022125523A Active JP7335651B1 (en) 2022-08-05 2022-08-05 Face authentication payment system and face authentication payment method

Country Status (1)

Country Link
JP (1) JP7335651B1 (en)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014067171A (en) * 2012-09-25 2014-04-17 Nec Biglobe Ltd Dictionary updating system for person authentication, dictionary updating device for person authentication, dictionary updating program for person authentication and system for person authentication
JP2016149086A (en) * 2015-02-13 2016-08-18 エヌ・ティ・ティ・インターネット株式会社 Biometric authentication platform system, biometric authentication information management apparatus, biometric authentication information management method, and biometric authentication information management program
JP2017021450A (en) * 2015-07-07 2017-01-26 サイバートラスト株式会社 Biological information management system, biological information management method, and biological information management program
JP2018508799A (en) * 2015-12-30 2018-03-29 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド Voiceprint authentication processing method and apparatus
JP2018180660A (en) * 2017-04-05 2018-11-15 株式会社日立製作所 Biometric authentication device and method
JP2019067075A (en) * 2017-09-29 2019-04-25 株式会社セガゲームス Biometric authentication device
JP2019525325A (en) * 2016-07-14 2019-09-05 マジック リープ, インコーポレイテッドMagic Leap,Inc. Deep neural network for iris discrimination
JP2020166597A (en) * 2019-03-29 2020-10-08 グローリー株式会社 Authentication system and authentication method
WO2020261565A1 (en) * 2019-06-28 2020-12-30 マクセル株式会社 Three-dimensional authentication device, three-dimensional authentication system, portable information terminal, and three-dimensional authentication method
WO2021033219A1 (en) * 2019-08-16 2021-02-25 日本電気株式会社 Information processing system, information processing method, and recording medium
JP2021107979A (en) * 2019-12-27 2021-07-29 セコム株式会社 Data processing device, data processing method, and learnt model
KR20210124620A (en) * 2020-04-07 2021-10-15 주식회사 에스원 Authentication server and method for supporting service based on face authentication
US20210374373A1 (en) * 2020-05-29 2021-12-02 Zebra Technologies Corporation Barcode readers with 3d camera(s)
US20220108576A1 (en) * 2019-03-04 2022-04-07 Panasonic Intellectual Property Management Co., Ltd. Gate open/close control device and gate open/close control method
US20220148354A1 (en) * 2019-03-04 2022-05-12 Panasonic Intellectual Property Management Co., Ltd. Face authentication machine and face authentication method

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014067171A (en) * 2012-09-25 2014-04-17 Nec Biglobe Ltd Dictionary updating system for person authentication, dictionary updating device for person authentication, dictionary updating program for person authentication and system for person authentication
JP2016149086A (en) * 2015-02-13 2016-08-18 エヌ・ティ・ティ・インターネット株式会社 Biometric authentication platform system, biometric authentication information management apparatus, biometric authentication information management method, and biometric authentication information management program
JP2017021450A (en) * 2015-07-07 2017-01-26 サイバートラスト株式会社 Biological information management system, biological information management method, and biological information management program
JP2018508799A (en) * 2015-12-30 2018-03-29 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド Voiceprint authentication processing method and apparatus
JP2019525325A (en) * 2016-07-14 2019-09-05 マジック リープ, インコーポレイテッドMagic Leap,Inc. Deep neural network for iris discrimination
JP2018180660A (en) * 2017-04-05 2018-11-15 株式会社日立製作所 Biometric authentication device and method
JP2019067075A (en) * 2017-09-29 2019-04-25 株式会社セガゲームス Biometric authentication device
US20220108576A1 (en) * 2019-03-04 2022-04-07 Panasonic Intellectual Property Management Co., Ltd. Gate open/close control device and gate open/close control method
US20220148354A1 (en) * 2019-03-04 2022-05-12 Panasonic Intellectual Property Management Co., Ltd. Face authentication machine and face authentication method
JP2020166597A (en) * 2019-03-29 2020-10-08 グローリー株式会社 Authentication system and authentication method
WO2020261565A1 (en) * 2019-06-28 2020-12-30 マクセル株式会社 Three-dimensional authentication device, three-dimensional authentication system, portable information terminal, and three-dimensional authentication method
WO2021033219A1 (en) * 2019-08-16 2021-02-25 日本電気株式会社 Information processing system, information processing method, and recording medium
JP2021107979A (en) * 2019-12-27 2021-07-29 セコム株式会社 Data processing device, data processing method, and learnt model
KR20210124620A (en) * 2020-04-07 2021-10-15 주식회사 에스원 Authentication server and method for supporting service based on face authentication
US20210374373A1 (en) * 2020-05-29 2021-12-02 Zebra Technologies Corporation Barcode readers with 3d camera(s)

Also Published As

Publication number Publication date
JP2024022157A (en) 2024-02-16

Similar Documents

Publication Publication Date Title
WO2020024398A1 (en) Biometrics-assisted payment method and apparatus, and computer device and storage medium
US8402040B2 (en) Method and system to authenticate an object
US10810451B2 (en) ATM with biometric security
JP2002251380A (en) User collation system
US11934500B2 (en) Identification system enrollment and validation and/or authentication
US11494474B2 (en) Brain activity-based authentication
CN108446687B (en) Self-adaptive face vision authentication method based on interconnection of mobile terminal and background
JP2020525964A (en) Face biometrics card emulation for in-store payment authorization
US11886562B2 (en) Systems and methods for enhancing biometric matching accuracy
EP2936459A2 (en) Method for evolutionary biometric recognition having speed and security features suitable for pos/atm applications
WO2018061786A1 (en) Living body authentication device
US20220375259A1 (en) Artificial intelligence for passive liveness detection
JP7335651B1 (en) Face authentication payment system and face authentication payment method
US20220277311A1 (en) A transaction processing system and a transaction method based on facial recognition
JP2001005836A (en) Iris registration system
Bartuzi et al. Mobibits: Multimodal mobile biometric database
CN116226817A (en) Identity recognition method, identity recognition device, computer equipment and storage medium
JP2022100522A (en) Person identifying method, program and information system
Bobde et al. Face recognition technology
JP2017102684A (en) Applicant authentication device and authentication method, and security authentication system using the method
TWM582633U (en) Biometric identification transaction system
Grabovskyi et al. Facial recognition with using of the microsoft face API Service
CN115497146B (en) Model training method and device and identity verification method and device
EP4220453A1 (en) System and method for enhancing biometric matching accuracy
Srivika et al. Biometric Verification using Periocular Features based on Convolutional Neural Network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220805

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230810

R150 Certificate of patent or registration of utility model

Ref document number: 7335651

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150