JP7125460B2 - User authentication method, system and program - Google Patents

User authentication method, system and program Download PDF

Info

Publication number
JP7125460B2
JP7125460B2 JP2020177544A JP2020177544A JP7125460B2 JP 7125460 B2 JP7125460 B2 JP 7125460B2 JP 2020177544 A JP2020177544 A JP 2020177544A JP 2020177544 A JP2020177544 A JP 2020177544A JP 7125460 B2 JP7125460 B2 JP 7125460B2
Authority
JP
Japan
Prior art keywords
user
target
user authentication
information
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020177544A
Other languages
Japanese (ja)
Other versions
JP2022037845A (en
Inventor
ジンジュン キム
ヌリ ナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Corp
Original Assignee
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Corp filed Critical Naver Corp
Publication of JP2022037845A publication Critical patent/JP2022037845A/en
Priority to JP2022128589A priority Critical patent/JP7402940B2/en
Application granted granted Critical
Publication of JP7125460B2 publication Critical patent/JP7125460B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Description

特許法第３０条第２項適用 発明の新規性の喪失の例外の規定の適用を受けるための証明書に記載されたホームページに、２０１９年１０月２３日に公開されている。Applicability of Article 30, Paragraph 2 of the Patent Act It is published on October 23, 2019 on the website described in the certificate for applying the provision of exception to loss of novelty of invention.

本発明は、ユーザを認証する方法及びシステムに関する。 The present invention relates to methods and systems for authenticating users.

技術が発展するにつれて、電子機器の活用度が高まっている。特に、電子機器は、様々な状況でユーザを認証する手段として活用されている。 As technology develops, the degree of utilization of electronic devices increases. In particular, electronic devices are utilized as a means of authenticating users in various situations.

例えば、会議での参加者の出席確認、病院での患者の来院確認、カフェでの決済のためのユーザ確認のように、様々な状況で真のユーザを認証するニーズがある。このようにユーザ認証が求められる状況での電子機器の活用は、不要な労働力を削減し、かつ、ユーザ認証に要する時間を短縮する効果をもたらしている。 For example, there is a need to authenticate the true user in various situations, such as confirming the attendance of participants in a meeting, confirming a patient's visit at a hospital, or confirming a user for payment at a cafe. Utilization of electronic devices in such a situation where user authentication is required has the effect of reducing unnecessary labor and shortening the time required for user authentication.

電子機器を活用するユーザ認証方式は様々であり、例えば、ユーザが直接ユーザ自身を識別するための識別情報（例えば、電話番号、メールアドレスなど）又は生体情報（例えば、指紋情報など）を電子機器に入力することにより認証が行われる方式がある。 There are various user authentication methods that utilize electronic devices. There is a method in which authentication is performed by entering the

近年、ユーザが直接情報を電子機器に入力することなく、より便利かつ直観的にユーザ認証を行う方法に関する研究が盛んに行われている。 2. Description of the Related Art In recent years, much research has been conducted on methods for user authentication in a more convenient and intuitive manner without the need for users to directly input information into electronic devices.

本発明は、ユーザの意図を把握してより直観的にユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものである。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a user authentication method and system capable of grasping a user's intention and performing user authentication more intuitively.

また、本発明は、ユーザが直接情報を入力することなくユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものである。 Another object of the present invention is to provide a user authentication method and system that can perform user authentication without the user directly inputting information.

さらに、本発明は、ユーザ認証を行うかについてのユーザの真の意図を把握してユーザ認証を完了することのできるユーザ認証方法及びシステムを提供するためのものである。 It is another object of the present invention to provide a user authentication method and system capable of completing user authentication by grasping the user's true intention as to whether or not to perform user authentication.

上記課題を解決するために、本発明によるユーザ認証方法は、カメラを用いて、ターゲットユーザの顔画像を検出するステップと、前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップと、前記ユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行うステップとを含み、前記ユーザ認証を行うステップにおいては、前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とする。 In order to solve the above problems, a user authentication method according to the present invention includes steps of detecting a face image of a target user using a camera, extracting user information corresponding to the face image from a user database, and performing user authentication for the target user using user information, wherein in the step of performing user authentication, the user authentication is completed based on a gesture of the target user detected by the camera. It is characterized by determining whether or not

また、本発明によるユーザ認証システムは、ディスプレイ部と、ターゲットユーザの顔画像を検出するカメラと、前記顔画像に対応するユーザ情報をユーザデータベースから抽出する制御部とを含み、前記制御部は、前記ユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行い、前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とする。 A user authentication system according to the present invention includes a display unit, a camera for detecting a face image of a target user, and a control unit for extracting user information corresponding to the face image from a user database, the control unit comprising: User authentication is performed for the target user using the user information, and whether or not to complete the user authentication is determined based on a gesture of the target user detected by the camera.

さらに、本発明によるコンピュータ可読媒体に格納可能なプログラムは、電子機器で１つ以上のプロセスにより実行され、カメラを用いてターゲットユーザの顔画像を検出するステップ、前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップ、及び前記ユーザ情報を用いて前記ターゲットユーザに対するユーザ認証を行うステップを実行させるコマンドを含み、前記ユーザ認証を行うステップにおいては、前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とする。 Further, a program storable on a computer-readable medium according to the present invention is executed by one or more processes in an electronic device, comprising detecting a facial image of a target user using a camera; extracting from a user database; and using the user information to perform user authentication for the target user, wherein the step of performing user authentication comprises gestures of the target user detected by the camera. is used to determine whether to complete the user authentication.

前述したように、本発明によるユーザ認証方法及びシステムにおいては、カメラを用いて、ユーザ認証の対象となるユーザを検出し、検出されたユーザの顔画像を用いて、検出されたユーザに対するユーザ認証を行うことができる。このように、本発明においては、ユーザが直接入力を行わなくても、ユーザが電子機器の周辺にいることに基づいて、ユーザ認証を行うことができる。よって、ユーザは、電子機器の周辺にいるだけで、ユーザ認証の意思をより便利かつ直観的に電子機器に伝達することができる。 As described above, in the user authentication method and system according to the present invention, a camera is used to detect a user to be authenticated, and a facial image of the detected user is used to perform user authentication for the detected user. It can be performed. Thus, according to the present invention, user authentication can be performed based on the fact that the user is in the vicinity of the electronic device without direct input by the user. Therefore, the user can more conveniently and intuitively convey the intention of user authentication to the electronic device just by being around the electronic device.

また、本発明によるユーザ認証方法及びシステムにおいては、検出されたユーザの顔画像だけでなく、ユーザのジェスチャーに基づいて、ユーザ認証に関するユーザの意図を把握することができる。よって、本発明によるユーザ認証方法及びシステムにおいては、ユーザのジェスチャーに基づいて、ユーザ認証を行おうとするユーザの真偽を把握し、ユーザの意図に基づいてユーザ認証を行うことができる。 Further, in the user authentication method and system according to the present invention, it is possible to grasp the intention of the user regarding user authentication based on not only the detected face image of the user but also the gesture of the user. Therefore, in the user authentication method and system according to the present invention, it is possible to ascertain the authenticity of a user who attempts to perform user authentication based on the user's gesture, and to perform user authentication based on the user's intention.

本発明によるユーザ認証システムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication system according to the present invention; FIG. 本発明によるユーザ認証方法を説明するためのフローチャートである。4 is a flow chart for explaining a user authentication method according to the present invention; 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention; FIG. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention; FIG. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention; FIG. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention; FIG. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention; FIG. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention; FIG. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention; FIG. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention; FIG. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention; FIG. 本発明によるユーザ認証方法及びシステムを説明するための概念図である。1 is a conceptual diagram for explaining a user authentication method and system according to the present invention; FIG.

以下、添付図面を参照して本発明の実施形態について詳細に説明するが、図面番号に関係なく同一又は類似の構成要素には同一の符号を付し、それについての重複する説明は省略する。以下の説明で用いられる構成要素の接尾辞である「モジュール」や「部」は、明細書の作成を容易にするために付与又は混用されるものであり、それ自体が有意性や有用性を有するものではない。また、本発明の実施形態について説明するにあたり、関連する公知技術についての具体的な説明が本発明の実施形態の要旨を不明にすると判断される場合は、その詳細な説明を省略する。さらに、添付図面は本発明の実施形態の理解を助けるためのものにすぎず、添付図面により本発明の技術的思想が限定されるものではなく、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物乃至代替物を含むものと理解すべきである。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The same or similar components are denoted by the same reference numerals regardless of the drawing numbers, and duplicate descriptions thereof will be omitted. The suffixes “module” and “part” used in the following explanation are given or used together to facilitate the preparation of the specification, and themselves have significance and usefulness. does not have In addition, in describing the embodiments of the present invention, detailed descriptions of related known techniques will be omitted if it is determined that they may obscure the gist of the embodiments of the present invention. Furthermore, the accompanying drawings are only for helping understanding of the embodiments of the present invention, and the technical ideas of the present invention are not limited by the accompanying drawings. , equivalents or alternatives.

「第１」、「第２」などのように序数を含む用語は様々な構成要素を説明するために用いられるが、上記構成要素は上記用語により限定されるものではない。上記用語は１つの構成要素を他の構成要素と区別する目的でのみ用いられる。 Terms including ordinal numbers such as "first", "second", etc. are used to describe various components, but the components are not limited by the above terms. The above terms are only used to distinguish one component from another.

ある構成要素が他の構成要素に「連結」又は「接続」されていると言及された場合は、他の構成要素に直接連結又は接続されていてもよく、中間にさらに他の構成要素が存在してもよいものと解すべきである。それに対して、ある構成要素が他の構成要素に「直接連結」又は「直接接続」されていると言及された場合は、中間にさらに他の構成要素が存在しないものと解すべきである。 When a component is referred to as being "coupled" or "connected" to another component, it may be directly coupled or connected to the other component, with additional components in between. It should be interpreted as something that can be done. In contrast, when a component is referred to as being "directly coupled" or "directly connected" to another component, it should be understood that there are no additional components in between.

単数の表現には、特に断らない限り複数の表現が含まれる。 References to the singular include the plural unless specifically stated otherwise.

本明細書において、「含む」や「有する」などの用語は、本明細書に記載された特徴、数字、段階、動作、構成要素、部品又はそれらの組み合わせが存在することを指定しようとするもので、１つ又はそれ以上の他の特徴、数字、段階、動作、構成要素、部品又はそれらの組み合わせの存在や付加可能性を予め排除するものではないと理解すべきである。 As used herein, terms such as "including" and "having" are intended to specify the presence of features, numbers, steps, acts, components, parts, or combinations thereof described herein. and does not preclude the presence or possibility of adding one or more other features, figures, steps, acts, components, parts or combinations thereof.

本発明は、ユーザの意図を把握してより直観的にユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものであり、以下、添付図面を参照して本発明について具体的に説明する。図１は本発明によるユーザ認証システムを説明するための概念図であり、図２は本発明によるユーザ認証方法を説明するためのフローチャートである。また、図３ａ、図３ｂ、図４ａ、図４ｂ、図５、図６ａ、図６ｂ、図６ｃ、図７ａ及び図７ｂは本発明によるユーザ認証方法及びシステムを説明するための概念図である。 SUMMARY OF THE INVENTION The present invention is intended to provide a user authentication method and system capable of grasping a user's intention and performing user authentication more intuitively. explain. FIG. 1 is a conceptual diagram for explaining a user authentication system according to the present invention, and FIG. 2 is a flow chart for explaining a user authentication method according to the present invention. 3a, 3b, 4a, 4b, 5, 6a, 6b, 6c, 7a and 7b are conceptual diagrams for explaining the user authentication method and system according to the present invention.

図１に示すように、本発明によるユーザ認証システム１００は、通信部１１０、保存部１２０及び制御部１３０の少なくとも１つを含むようにしてもよい。ここで、本発明によるユーザ認証システム１００は、上記構成要素に限定されるものではなく、本明細書において説明される機能と同一又は類似の役割を果たす構成要素をさらに含むようにしてもよい。 As shown in FIG. 1, the user authentication system 100 according to the present invention may include at least one of a communication section 110, a storage section 120 and a control section . Here, the user authentication system 100 according to the present invention is not limited to the above components, and may further include components that perform the same or similar functions as described herein.

なお、本発明によるユーザ認証システム１００は、電子機器１０と連動して動作するようにしてもよい。ここで、電子機器１０は、スマートフォン、携帯電話、タブレットＰＣ、キオスク、コンピュータ、ノートブックコンピュータ、デジタル放送用端末、ＰＤＡ（Personal Digital Assistants）及びＰＭＰ（Portable Multimedia Player）の少なくとも１つを含むようにしてもよい。 Note that the user authentication system 100 according to the present invention may operate in conjunction with the electronic device 10 . Here, the electronic device 10 may include at least one of a smart phone, a mobile phone, a tablet PC, a kiosk, a computer, a notebook computer, a digital broadcast terminal, a PDA (Personal Digital Assistants), and a PMP (Portable Multimedia Player). good.

また、本発明によるユーザ認証システム１００は、アプリケーション又はソフトウェアで実現してもよい。ここで、ユーザ認証システム１００のアプリケーション又はソフトウェアは、電子機器１０にインストールされ、以下に説明されるユーザ認証方法によるプロセスを行うようにしてもよい。 Also, the user authentication system 100 according to the present invention may be realized by an application or software. Here, the application or software of the user authentication system 100 may be installed in the electronic device 10 to perform the process according to the user authentication method described below.

例えば、本発明によるユーザ認証システム１００の通信部１１０、保存部１２０及び制御部１３０は、電子機器１０のハードウェア構成を用いて、ユーザ認証のための一連の機能を実行するようにしてもよい。例えば、通信部１１０は、電子機器１０の通信部に備えられた通信モジュール（例えば、移動通信モジュール、近距離通信モジュール、無線インターネットモジュール、位置情報モジュール、放送受信モジュールなど）の構成を用いて、少なくとも１つの外部サーバ（例えば、図１に示すデータベースサーバ（ＤＢサーバ）１４０やクラウドサーバなど）とデータを送受信するようにしてもよい。 For example, the communication unit 110, the storage unit 120, and the control unit 130 of the user authentication system 100 according to the present invention may use the hardware configuration of the electronic device 10 to perform a series of functions for user authentication. . For example, the communication unit 110 uses the configuration of a communication module (for example, a mobile communication module, a short-range communication module, a wireless internet module, a location information module, a broadcast reception module, etc.) provided in the communication unit of the electronic device 10, Data may be transmitted/received to/from at least one external server (for example, the database server (DB server) 140 shown in FIG. 1, a cloud server, or the like).

保存部１２０は、電子機器１０に備えられた（又は挿入された）メモリ又はクラウドサーバを用いて、本発明によるユーザ認証に関するデータを保存するようにしてもよい。 The storage unit 120 may store data related to user authentication according to the present invention using a memory provided (or inserted) in the electronic device 10 or a cloud server.

制御部１３０は、電子機器１０に備えられたＣＰＵ及びクラウドサーバの少なくとも１つを用いて、各構成の制御及び本発明に係る全般的な制御を行うようにしてもよい。また、制御部１３０は、本発明を実現するために、電子機器１０の少なくとも１つの構成要素の制御権限を有するようにしてもよい。さらに、制御部１３０は、本発明を実現するために、電子機器１０の構成要素により受信又は検出された情報を用いるようにしてもよい、例えば、制御部１３０は、電子機器１０のカメラ１１から受信した画像を用いて、本発明によるユーザ認証を行うようにしてもよい。 The control unit 130 may use at least one of a CPU and a cloud server provided in the electronic device 10 to perform control of each configuration and overall control according to the present invention. Also, the control unit 130 may have control authority for at least one component of the electronic device 10 in order to implement the present invention. Further, the control unit 130 may use information received or detected by components of the electronic device 10 to implement the present invention. User authentication according to the present invention may be performed using the received image.

さらに、制御部１３０は、電子機器１０のディスプレイ部１２を用いて、本発明に係る情報を出力するようにしてもよい。 Furthermore, the control section 130 may use the display section 12 of the electronic device 10 to output information according to the present invention.

その他にも、制御部１３０は、電子機器１０に備えられた他の構成要素（例えば、近接センサ、赤外線センサ、タッチスクリーン、入力部など）を用いて、本発明によるユーザ認証を行うようにしてもよい。 In addition, the control unit 130 performs user authentication according to the present invention using other components (for example, a proximity sensor, an infrared sensor, a touch screen, an input unit, etc.) provided in the electronic device 10. good too.

なお、本発明によるユーザ認証システム１００は、プログラム又はアプリケーションの形態だけでなく、以下に説明される構成及び機能の実行が可能な様々な形態であってもよい。 Note that the user authentication system 100 according to the present invention may be in various forms capable of executing the configuration and functions described below, as well as in the form of a program or application.

よって、以下では、これらに厳格な制限を置かず、本発明によるユーザ認証システム１００について説明する。 Therefore, in the following, the user authentication system 100 according to the present invention will be described without placing strict restrictions on them.

図１に示すように、本発明によるユーザ認証システム１００は、電子機器１０のカメラ１１を用いて、ユーザを検出し、検出されたユーザに対するユーザ認証を行うようにしてもよい。 As shown in FIG. 1, a user authentication system 100 according to the present invention may use a camera 11 of an electronic device 10 to detect a user and perform user authentication for the detected user.

説明の便宜上、本発明においては、ユーザ認証の対象となるユーザを「ターゲットユーザ」という。 For convenience of explanation, in the present invention, a user who is subject to user authentication is referred to as a "target user".

また、本発明において、「ユーザ認証（User
Authentication）」とは、ターゲットユーザに対するユーザ認証を意味する。 In addition, in the present invention, "user authentication (User
"Authentication" means user authentication to a target user.

本発明においては、「ユーザ認証」を用いて、「ユーザ認証の対象となるイベント又は機能（以下、「ターゲット機能」に統一して説明する）」を承認又は実行するようにしてもよい。 In the present invention, "user authentication" may be used to approve or execute "events or functions targeted for user authentication (hereinafter collectively described as "target functions")".

ここで、「ターゲット機能」は、その種類が非常に様々であり、例えば決済機能、出席確認機能、病院での来院確認機能などのように、ユーザ認証が必要な機能を意味する。 Here, the "target function" has a wide variety of types, and means a function that requires user authentication, such as a payment function, an attendance confirmation function, a hospital visit confirmation function, and the like.

本発明において、制御部１３０は、カメラ１１から受信した画像から、ターゲットユーザ１０００の顔画像を取得し、ユーザデータベース（ユーザＤＢ）に保存された顔画像に対応するユーザ情報を用いて、ターゲットユーザ１０００に対するユーザ認証を行うようにしてもよい。 In the present invention, the control unit 130 acquires the facial image of the target user 1000 from the image received from the camera 11, and uses the user information corresponding to the facial image stored in the user database (user DB) to obtain the target user's image. User authentication for 1000 may be performed.

ここで、ユーザ認証の対象となるターゲット機能は、予め特定されていてもよい。制御部１３０は、ターゲットユーザ１０００の顔画像及びユーザデータベースから抽出されたユーザ情報を用いて、ターゲット機能に係るユーザ認証を行うようにしてもよい。一例として、ターゲット機能が出席確認機能の場合、制御部１３０は、ターゲットユーザ１０００に対する出席確認承認処理又は出席確認拒否処理のいずれかを行うようにしてもよい。 Here, the target function to be subjected to user authentication may be specified in advance. The control unit 130 may use the facial image of the target user 1000 and the user information extracted from the user database to perform user authentication related to the target function. As an example, when the target function is the attendance confirmation function, the control unit 130 may perform either attendance confirmation approval processing or attendance confirmation refusal processing for the target user 1000 .

他の例として、ターゲット機能が決済機能の場合、制御部１３０は、ターゲットユーザ１０００に対する決済承認処理又は決済拒否処理のいずれかを行うようにしてもよい。 As another example, when the target function is the payment function, the control unit 130 may perform either payment approval processing or payment refusal processing for the target user 1000 .

ここで、制御部１３０は、カメラ１１から受信した画像から、ターゲットユーザ１０００の顔画像を抽出し、抽出された顔画像に対応（又はマッチ）するユーザ情報をユーザデータベースから抽出するようにしてもよい。 Here, the control unit 130 may extract the facial image of the target user 1000 from the image received from the camera 11 and extract user information corresponding to (or matching) the extracted facial image from the user database. good.

ここで、ユーザデータベースに保存されているユーザ情報は、「ユーザ関連情報」、「ユーザの身元情報」又は「ユーザの識別情報」と言及されてもよい。 Here, the user information stored in the user database may be referred to as "user related information", "user identity information" or "user identification information".

ユーザデータベースは、保存部１２０、データベースサーバ１４０及びクラウドサーバの少なくとも１つに含まれるようにしてもよい。 The user database may be included in at least one of the storage unit 120, the database server 140, and the cloud server.

制御部１３０は、ターゲットユーザ１０００の顔画像に対応する人物をユーザデータベースから検索し、検索された人物にマッチするユーザ情報を抽出するようにしてもよい。 The control unit 130 may search a user database for a person corresponding to the face image of the target user 1000 and extract user information that matches the searched person.

ユーザデータベースには、個別の人物（又は人）単位で、それぞれの人物に関するユーザ情報が保存されるようにしてもよい。すなわち、ユーザデータベースには、異なる人物毎にそれぞれに対応するユーザ情報がマッチして保存されるようにしてもよい。 The user database may store user information about each person on an individual person (or person) basis. That is, in the user database, user information corresponding to each different person may be matched and stored.

ここで、ユーザ情報には、それぞれの人物に該当する人の名前、生年月日、住所、電話番号、メールアドレス、アカウント情報、社員番号、ＩＤ、顔画像、生体情報（指紋情報、虹彩情報など）、参照顔画像、電子機器の識別情報、日程（スケジュール）情報の少なくとも１つが含まれるようにしてもよい。 Here, the user information includes the name, date of birth, address, telephone number, e-mail address, account information, employee number, ID, face image, biometric information (fingerprint information, iris information, etc.) of the person corresponding to each person. ), reference face image, electronic device identification information, and schedule information.

ここで、参照顔画像は、特定の人物の顔画像であり、１つでも複数でもよい。本発明において、「参照顔画像」は「参照データ」と言及されてもよい。 Here, the reference face image is a face image of a specific person, and may be one or more. In the present invention, the "reference face image" may also be referred to as "reference data".

制御部１３０は、カメラ１１により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部１３０は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。 The control unit 130 compares the target user's face image acquired by the camera 11 with the reference face image stored in the user database, and searches for a person who matches the reference face image corresponding to the target user's face image. You may do so. Also, the control unit 130 may specify the searched person as the target user, and extract user information matching the searched person from the user database.

さらに、制御部１３０は、抽出されたユーザ情報を用いて、ターゲット機能に係るユーザ認証を行うようにしてもよい。 Furthermore, the control unit 130 may use the extracted user information to perform user authentication related to the target function.

図１に示すように、電子機器１０は、任意の場所に配置することができ、ターゲットユーザ１０００は、電子機器１０の周辺にいるだけで、ユーザ認証を行うことができる。ここで、電子機器１０が配置された場所に応じて、ユーザ認証の対象となるターゲット機能を様々に設定することができる。 As shown in FIG. 1 , the electronic device 10 can be placed anywhere, and the target user 1000 can perform user authentication simply by being around the electronic device 10 . Here, various target functions to be subjected to user authentication can be set according to the place where the electronic device 10 is arranged.

一例として、電子機器１０が配置された場所がカフェの場合、ターゲット機能は、決済機能に特定されてもよい。この場合、本発明によるユーザ認証システム１００は、ユーザ認証に基づいて決済機能が実行されるようにプログラミングされてもよい。 As an example, if the place where the electronic device 10 is located is a cafe, the target function may be specified as the payment function. In this case, the user authentication system 100 according to the present invention may be programmed to perform payment functions based on user authentication.

他の例として、電子機器１０が配置された場所が病院の場合、ターゲット機能は、病院に来院した患者（又は、店舗の場合は顧客）を確認する機能に特定されてもよい。この場合、本発明によるユーザ認証システム１００は、ユーザ認証に基づいて来院確認機能が実行されるようにプログラミングされてもよい。 As another example, if the location where the electronic device 10 is located is a hospital, the target function may be specified as a function of checking patients (or customers in the case of a store) who have visited the hospital. In this case, the user authentication system 100 according to the present invention may be programmed to perform a hospital visit confirmation function based on user authentication.

以下、フローチャートを参照して本発明によるユーザ認証方法についてより具体的に説明する。 Hereinafter, the user authentication method according to the present invention will be described in more detail with reference to flowcharts.

図２に示すように、本発明によるユーザ認証方法においては、まず、カメラ１１（図１参照）から受信した画像からターゲットユーザの顔画像を検出する過程を行う（Ｓ２１０）。 As shown in FIG. 2, in the user authentication method according to the present invention, first, a process of detecting a target user's face image from an image received from the camera 11 (see FIG. 1) is performed (S210).

すなわち、制御部１３０は、電子機器１０のカメラ１１を用いて、ターゲットユーザの顔画像を検出するようにしてもよい。 That is, the control unit 130 may use the camera 11 of the electronic device 10 to detect the face image of the target user.

より具体的には、図３ａの（ａ）に示すように、制御部１３０は、カメラ１１により、電子機器１０の周辺にいるターゲットユーザ１０００の顔画像を検出するようにしてもよい。 More specifically, as shown in (a) of FIG. 3A , the control unit 130 may detect the face image of the target user 1000 around the electronic device 10 using the camera 11 .

制御部１３０は、カメラ１１から受信した画像から、ターゲットユーザ１０００の顔画像を取得し、ユーザデータベースに保存された顔画像に対応するユーザ情報を用いて、ターゲットユーザ１０００に対するユーザ認証を行うようにしてもよい。 The control unit 130 acquires the face image of the target user 1000 from the image received from the camera 11, and uses user information corresponding to the face image stored in the user database to perform user authentication for the target user 1000. may

カメラ１１によりターゲットユーザ１０００の顔画像が検出（又は検知）される時点は非常に様々である。 The camera 11 detects (or detects) the facial image of the target user 1000 at various times.

一例として、制御部１３０は、ユーザ認証が求められるターゲット機能（又は特定の機能）のアクティブ化又は実行が行われると、ターゲットユーザ１０００の顔を撮影するように、カメラ１１を制御する。 As an example, the control unit 130 controls the camera 11 to capture the face of the target user 1000 when a target function (or a specific function) requiring user authentication is activated or executed.

ここで、ターゲット機能のアクティブ化又は実行は、ターゲットユーザ１０００又は第三者の要求に基づいて行われることもあり、制御部１３０の制御下で行われることもある。 Here, activation or execution of the target function may be performed based on the request of the target user 1000 or a third party, and may be performed under the control of the controller 130 .

例えば、ユーザ認証が求められるターゲット機能のアクティブ化又は実行の要求は、図３ａの（ａ）に示すように、電子機器１０の入力部（例えば、タッチスクリーン）を介して受信される。ターゲットユーザ１０００又は第三者は、電子機器１０の入力部を介して、ユーザ認証が求められる特定の機能のアクティブ化を要求することができる。このとき、電子機器１０のタッチスクリーンには、図示のように、ターゲット機能をアクティブ化するための要求を電子機器１０に入力する方法に関するガイド情報（例えば、「タッチして決済を開始」）が出力されるようにしてもよい。ターゲットユーザ１０００又は第三者は、ガイド情報を参照して、ユーザ認証を行うユーザ入力（例えば、タッチスクリーンへのタッチ入力）を電子機器１０に対して行うことができる。 For example, a request to activate or execute a target function requiring user authentication may be received via an input (eg, touch screen) of electronic device 10, as shown in FIG. 3a. The target user 1000 or a third party can request activation of a particular function for which user authentication is required via the input of the electronic device 10 . At this time, as illustrated, the touch screen of the electronic device 10 displays guide information (e.g., "touch to start payment") regarding how to input a request to the electronic device 10 to activate the target function. You may make it output. The target user 1000 or a third party can refer to the guide information and perform user input for user authentication (for example, touch input to the touch screen) to the electronic device 10 .

以下、ディスプレイ部とタッチスクリーンの用語を区別せず、ディスプレイ部に統一して説明する。すなわち、以下に説明されるディスプレイ部１２は、タッチセンサを備えるものであってもよいことは言うまでもない。 Hereinafter, the terms of the display unit and the touch screen will not be distinguished, and the display unit will be used in the description. That is, it goes without saying that the display unit 12 described below may include a touch sensor.

一方、制御部１３０は、電子機器１０により、アクティブ化要求を受信すると、カメラ１１から受信した画像からターゲットユーザ１０００の顔画像を検出し、検出された顔画像を用いて、ユーザ認証のための一連のプロセスを行うようにしてもよい。 On the other hand, when the electronic device 10 receives the activation request, the control unit 130 detects the face image of the target user 1000 from the image received from the camera 11, and uses the detected face image to perform user authentication. A series of processes may be performed.

これとは異なり、制御部１３０は、図４ａの（ａ）及び（ｂ）に示すように、電子機器１０の周辺に人がいることが検出されると、カメラ１０によりターゲットユーザ１０００の画像が受信されるように、カメラ１０を制御してもよい。ここで、制御部１３０は、電子機器１０から所定の範囲（又は距離）内にターゲットユーザ１０００がいる場合、ターゲットユーザ１０００の顔画像を検出するように、カメラ１０を制御してもよい。制御部１３０は、電子機器１０に備えられた少なくとも１つのセンサ（例えば、近接センサ、赤外線センサ、ライダーセンサなど）を用いて、電子機器１０の周辺に又は電子機器１０から所定の範囲内にターゲットユーザ１０００がいることを検出（又は感知）するようにしてもよい。 On the other hand, as shown in (a) and (b) of FIG. As received, the camera 10 may be controlled. Here, the control unit 130 may control the camera 10 to detect the face image of the target user 1000 when the target user 1000 is within a predetermined range (or distance) from the electronic device 10 . The control unit 130 uses at least one sensor (for example, a proximity sensor, an infrared sensor, a lidar sensor, etc.) provided in the electronic device 10 to detect a target around the electronic device 10 or within a predetermined range from the electronic device 10. The presence of the user 1000 may be detected (or sensed).

一方、制御部１３０は、図４ａの（ａ）に示すように、電子機器１０から所定の範囲内にターゲットユーザ１０００がいない場合、電子機器１０のディスプレイ部１２が非アクティブになるように、ディスプレイ部１２を制御してもよい。非アクティブ状態のディスプレイ部１２は、電源オフ状態、待機状態及び節電状態の少なくとも１つの状態であり得る。 On the other hand, the control unit 130 controls the display so that the display unit 12 of the electronic device 10 becomes inactive when the target user 1000 is not within a predetermined range from the electronic device 10, as shown in (a) of FIG. 4A. 12 may be controlled. The non-active display unit 12 may be in at least one of a power-off state, a standby state, and a power saving state.

また、制御部１３０は、図４ａの（ｂ）に示すように、電子機器１０から所定の範囲内にターゲットユーザ１０００がいる場合、電子機器１０のディスプレイ部１２がアクティブになるように、ディスプレイ部１２を制御してもよい。このとき、ディスプレイ部１２には、ユーザ認証が求められるターゲット機能のアクティブ化を要求する方法に関するガイド情報（例えば、「タッチして決済を開始」）が出力されるようにしてもよい。 In addition, as shown in (b) of FIG. 4A , the control unit 130 controls the display unit 12 of the electronic device 10 to activate when the target user 1000 is within a predetermined range from the electronic device 10 . 12 may be controlled. At this time, the display unit 12 may output guide information (for example, "touch to start payment") regarding a method of requesting activation of a target function that requires user authentication.

これとは異なり、制御部１３０は、所定の間隔又はリアルタイムで、カメラ１１から受信した画像にターゲットユーザ１０００の顔画像が含まれているか否かを判断するようにしてもよい。そして、判断の結果、カメラ１１から受信した画像にターゲットユーザ１０００の顔画像が含まれている場合、ターゲット機能に係るユーザ認証のための一連のプロセスを行うようにしてもよい。 Alternatively, the control unit 130 may determine whether the image received from the camera 11 includes the face image of the target user 1000 at predetermined intervals or in real time. Then, if it is determined that the face image of the target user 1000 is included in the image received from the camera 11, a series of processes for user authentication related to the target function may be performed.

一方、制御部１３０は、少なくとも１つの顔認識アルゴリズムを用いて、カメラ１１から受信した画像からターゲットユーザ１０００の顔画像を検出するようにしてもよい。本発明において活用される顔認識アルゴリズムはその種類に制限がなく、人工知能又はディープラーニングに基づいて動作するアルゴリズムも活用することができる。 On the other hand, the control unit 130 may detect the facial image of the target user 1000 from the image received from the camera 11 using at least one facial recognition algorithm. There is no limit to the types of face recognition algorithms used in the present invention, and algorithms operating based on artificial intelligence or deep learning can also be used.

一方、制御部１３０は、カメラ１１によりターゲットユーザ１０００の顔画像が検出された場合であっても、検出された顔画像がユーザ認証を行うための所定の条件（又は所定の認証条件）を満たさない場合、所定の条件を満たす顔画像を取得するためのガイド情報を提供するようにしてもよい。 On the other hand, even when the face image of the target user 1000 is detected by the camera 11, the control unit 130 ensures that the detected face image satisfies a predetermined condition (or a predetermined authentication condition) for performing user authentication. If not, guide information may be provided for acquiring a face image that satisfies a predetermined condition.

より具体的には、制御部１３０は、カメラ１１により検出されるターゲットユーザ１０００の顔画像が所定の条件を満たすか否かを判断するようにしてもよい。ここで、所定の条件は、画像に含まれる顔画像の大きさ、顔画像に対応する顔の角度、画像での顔画像の位置、及び画像に顔立ち特徴要素（例えば、目、鼻、口）が含まれるか否かの少なくとも１つに関するものであってもよい。 More specifically, the control unit 130 may determine whether or not the face image of the target user 1000 detected by the camera 11 satisfies a predetermined condition. Here, the predetermined conditions are the size of the face image included in the image, the angle of the face corresponding to the face image, the position of the face image in the image, and the facial feature elements (eg, eyes, nose, mouth) in the image. may relate to at least one of whether or not

制御部１３０は、図４ｂに示すように、所定の条件を満たす顔画像を取得できるように、ターゲットユーザ１０００の姿勢や位置などに関する情報の少なくとも１つをガイド情報として出力するようにしてもよい。ガイド情報は、カメラ１１とターゲットユーザ１０００の相手位置及び相手距離の少なくとも一方に関するものであってもよい。 As shown in FIG. 4B, the control unit 130 may output at least one piece of information relating to the posture, position, etc., of the target user 1000 as guide information so that a facial image that satisfies a predetermined condition can be obtained. . The guide information may relate to at least one of the position and distance between the camera 11 and the target user 1000 .

例えば、制御部１３０は、ガイド情報として、ｉ）図４ｂの（ａ）、（ｂ）、（ｅ）に示すように、電子機器に対するターゲットユーザ１０００の位置情報（例えば、近づいてください、後ろに下がってください、画面に位置を合わせてください）、ｉｉ）図４ｂの（ｃ）に示すように、ターゲットユーザ１０００の姿勢情報（例えば、画面を見てください）、ｉｉｉ）図４ｂの（ｄ）に示すように、ターゲットユーザ１０００の顔が物体（例えば、マスク）に隠れている場合にその除去を誘導する情報（例えば、マスクを外してください）などが提供されてもよい。 For example, the control unit 130 may, as guide information, i) position information of the target user 1000 with respect to the electronic device (for example, please approach, behind ii) posture information of the target user 1000 (e.g. look at the screen), as shown in FIG. 4b(c); iii) FIG. 4b(d) , when the face of the target user 1000 is hidden by an object (eg, mask), information (eg, remove the mask) that guides removal of the object may be provided.

このようにしてカメラ１１によりターゲットユーザ１０００の顔画像が検出されると、本発明においては、検出された顔画像に対応するユーザ情報をユーザデータベースから抽出する過程を行う（Ｓ２２０）。 When the face image of the target user 1000 is detected by the camera 11 in this way, the present invention performs a process of extracting user information corresponding to the detected face image from the user database (S220).

より具体的には、制御部１３０は、カメラ１１から受信した画像から、ターゲットユーザ１０００の顔画像を抽出し、抽出された顔画像に対応（又はマッチ）するユーザ情報をユーザデータベースから抽出するようにしてもよい。 More specifically, the control unit 130 extracts the facial image of the target user 1000 from the image received from the camera 11, and extracts user information corresponding to (or matching) the extracted facial image from the user database. can be

前述したように、ユーザデータベースに保存されているユーザ情報は、「ユーザ関連情報」、「ユーザの身元情報」又は「ユーザの識別情報」と言及されてもよい。 As noted above, user information stored in the user database may be referred to as "user-related information," "user identity information," or "user identification information."

ユーザデータベースは、保存部１２０、データベースサーバ１４０及びクラウドサーバの少なくとも１つに含まれるようにしてもよい。 The user database may be included in at least one of the storage unit 120, the database server 140, and the cloud server.

制御部１３０は、ターゲットユーザ１０００の顔画像に対応する人物をユーザデータベースから検索し、検索された人物にマッチするユーザ情報を抽出するようにしてもよい。 The control unit 130 may search a user database for a person corresponding to the face image of the target user 1000 and extract user information that matches the searched person.

ユーザデータベースには、個別の人物（又は人）単位で、それぞれの人物に関するユーザ情報が保存されるようにしてもよい。すなわち、ユーザデータベースには、異なる人物毎にそれぞれに対応するユーザ情報がマッチして保存されるようにしてもよい。 The user database may store user information about each person on an individual person (or person) basis. That is, in the user database, user information corresponding to each different person may be matched and stored.

ここで、ユーザ情報には、それぞれの人物に該当する人の名前、生年月日、住所、電話番号、メールアドレス、アカウント情報、社員番号、ＩＤ、顔画像、生体情報（指紋情報、虹彩情報など）、参照顔画像、電子機器の識別情報、日程（スケジュール）情報、特定の機能（又は特定のイベント）に関する権限情報の少なくとも１つが含まれるようにしてもよい。 Here, the user information includes the name, date of birth, address, telephone number, e-mail address, account information, employee number, ID, face image, biometric information (fingerprint information, iris information, etc.) of the person corresponding to each person. ), reference face image, identification information of the electronic device, schedule information, and authorization information regarding a specific function (or a specific event).

ここで、参照顔画像は、特定の人物の顔画像であり、１つでも複数でもよい。本発明において、「参照顔画像」は「参照データ」と言及されてもよい。 Here, the reference face image is a face image of a specific person, and may be one or more. In the present invention, the "reference face image" may also be referred to as "reference data".

制御部１３０は、カメラ１１により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部１３０は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。 The control unit 130 compares the target user's face image acquired by the camera 11 with the reference face image stored in the user database, and searches for a person who matches the reference face image corresponding to the target user's face image. You may do so. Also, the control unit 130 may specify the searched person as the target user, and extract user information matching the searched person from the user database.

制御部１３０は、検出されたターゲットユーザ１０００の顔画像に対して所定の条件を満たす類似度を有する特定の参照顔画像をユーザデータベースから抽出するようにしてもよい。また、制御部１３０は、抽出された特定の参照顔画像にマッチする人物をターゲットユーザとして特定するようにしてもよい。 The control unit 130 may extract from the user database a specific reference face image having a degree of similarity that satisfies a predetermined condition to the detected face image of the target user 1000 . Also, the control unit 130 may specify a person who matches the extracted specific reference face image as the target user.

制御部１３０は、図３ａの（ｂ）に示すように、ターゲットユーザ１０００の検索が行われている間、現在の進行状況に関する案内情報（例えば、「あなたを検索しています」）が電子機器１０に出力されるように、ディスプレイ部１２を制御してもよい。制御部１３０は、ユーザ認証の現在の進行状況に関する案内情報（例えば、「あなたを検索しています」）をディスプレイ部１２に提供するようにしてもよい。 As shown in (b) of FIG. 3A, the control unit 130, while the search for the target user 1000 is being performed, sends guidance information regarding the current progress (for example, "Searching for you") to the electronic device. The display unit 12 may be controlled to output to 10 . The control unit 130 may provide the display unit 12 with guidance information (for example, “searching for you”) regarding the current progress of user authentication.

図示のように、ディスプレイ部１２には、カメラ１１により撮影された画像が出力されてもよい。このとき、ディスプレイ部１２に出力される画像には、ターゲットユーザ１０００の顔画像が含まれてもよい。 As illustrated, the image captured by the camera 11 may be output to the display unit 12 . At this time, the image output to the display unit 12 may include the face image of the target user 1000 .

一方、前述したように、ターゲットユーザ１０００に該当する人物が特定され、特定された人物（例えば、佐藤＊美）に関するユーザ情報が出力される場合、制御部１３０は、ユーザ情報の少なくとも一部をディスプレイ部１２に提供するようにしてもよい。 On the other hand, as described above, when a person corresponding to target user 1000 is identified and user information about the identified person (for example, Sato*mi) is output, control unit 130 outputs at least part of the user information. You may make it provide to the display part 12. FIG.

すなわち、図３ａの（ｃ）に示すように、ターゲットユーザ１０００に該当する人物に対応するユーザ情報の少なくとも一部（例えば、名前情報（佐藤＊美））がディスプレイ部１２に出力されるようにしてもよい。よって、ターゲットユーザ１０００は、ディスプレイ部１２に出力された情報を参照して、ユーザ自身に関するユーザ認証が行われているか否かを確認することができる。 That is, as shown in (c) of FIG. 3A , at least part of the user information (for example, name information (Sato * Mi)) corresponding to the person corresponding to the target user 1000 is output to the display unit 12 . may Therefore, the target user 1000 can refer to the information output to the display unit 12 to confirm whether or not user authentication regarding the user himself/herself has been performed.

このようにしてターゲットユーザ１０００に関するユーザ情報が抽出されると、本発明においては、抽出されたユーザ情報を用いて、ターゲットユーザ１０００に対するユーザ認証を行う過程を行う（Ｓ２３０）。 When the user information about the target user 1000 is extracted in this way, the present invention performs user authentication for the target user 1000 using the extracted user information (S230).

より具体的には、制御部１３０は、抽出されたユーザ情報を用いて、ターゲット機能に係るユーザ認証を行うようにしてもよい。例えば、図３ａの（ｃ）に示すように、電子機器１０が配置された場所がカフェの場合、ターゲット機能は、決済機能に特定されてもよい。この場合、本発明によるユーザ認証システム１００は、ユーザ認証に基づいて決済機能が実行されるようにプログラミングされてもよい。 More specifically, the control unit 130 may use the extracted user information to perform user authentication related to the target function. For example, as shown in (c) of FIG. 3a, if the place where the electronic device 10 is located is a cafe, the target function may be specified as the payment function. In this case, the user authentication system 100 according to the present invention may be programmed to perform payment functions based on user authentication.

本発明において、ユーザ認証は、ターゲット機能に連携して行われるものであり、制御部１３０は、ユーザ認証の成功又は失敗を、特定の機能のｉ）承認又は拒否、ｉｉ）アクティブ化又は非アクティブ化、ｉｉｉ）実行又は非実行のための制御命令として活用してもよい。 In the present invention, user authentication is performed in conjunction with a target function, and the control unit 130 determines success or failure of user authentication by i) approving or rejecting, ii) activating or deactivating a specific function. iii) as a control instruction for execution or non-execution.

例えば、ユーザ認証に成功した場合、制御部１３０は、ターゲット機能を承認、アクティブ化又は実行するようにしてもよい。また、ユーザ認証に失敗した場合、制御部１３０は、特定の機能を拒否、非アクティブ化又は非実行するようにしてもよい。 For example, if user authentication is successful, controller 130 may authorize, activate, or execute the target function. Also, if user authentication fails, the control unit 130 may reject, deactivate, or not execute a specific function.

一方、制御部１３０は、ユーザ認証が行われるターゲット機能（又は特定の機能）に関する情報（ターゲット機能情報、特定機能情報）がディスプレイ部１２に出力されるように、ディスプレイ部１２を制御してもよい。 On the other hand, the control unit 130 may control the display unit 12 so that information (target function information, specific function information) regarding the target function (or specific function) for which user authentication is performed is output to the display unit 12. good.

ディスプレイ部１２には、図３ａの（ｃ）に示すように、ターゲットユーザ１０００の顔画像に基づいて検索された人物に関するユーザ情報と共に、ユーザ認証の対象となるターゲット機能に関するターゲット機能情報（例えば、「カフェラテ７００円を決済しますか」）がさらに出力されてもよい。よって、ターゲットユーザ１０００は、現在電子機器１０で行われているユーザ認証がどの機能のためのユーザ認証であるかを直観的に把握することができる。 As shown in (c) of FIG. 3A, on the display unit 12, user information about a person searched based on the face image of the target user 1000 and target function information about a target function to be user-authenticated (for example, "Would you like to pay 700 yen for cafe latte?") may be further output. Therefore, the target user 1000 can intuitively grasp for which function the user authentication currently being performed in the electronic device 10 is the user authentication.

一方、制御部１３０は、ターゲットユーザ１０００の顔画像だけでなく、ターゲットユーザ１０００のジェスチャーに基づいて、ユーザ認証を行うようにしてもよい。 On the other hand, the control unit 130 may perform user authentication based on not only the target user's 1000 face image but also the target user's 1000 gesture.

制御部１３０は、カメラ１１により、ターゲットユーザ１０００の顔画像だけでなく、ターゲットユーザ１０００のジェスチャーを検出するようにしてもよい。 The control unit 130 may detect not only the face image of the target user 1000 but also gestures of the target user 1000 using the camera 11 .

ここで、ターゲットユーザ１０００のジェスチャーは、ターゲットユーザ１０００の身振り、行動及び口振りの少なくとも１つが含まれるようにしてもよい。 Here, the gestures of the target user 1000 may include at least one of the target user's 1000 gestures, actions, and utterances.

制御部１３０は、ターゲットユーザ１０００のジェスチャーに基づいて、ターゲットユーザ１０００に対するユーザ認証を完了するか否かを決定するようにしてもよい。 The control unit 130 may determine whether or not to complete user authentication for the target user 1000 based on the target user's 1000 gesture.

このとき、制御部１３０は、ジェスチャーをした主体の顔画像と、既に検出されたターゲットユーザ１０００の顔画像とを比較し、当該ジェスチャーがターゲットユーザ１０００のジェスチャーであるか否かを判断するようにしてもよい。また、制御部１３０は、ジェスチャーをした主体がターゲットユーザ１０００である場合に限り、ユーザ認証を完了するようにしてもよい。 At this time, the control unit 130 compares the facial image of the subject who made the gesture with the already detected facial image of the target user 1000, and determines whether or not the gesture is the gesture of the target user 1000. may Also, the control unit 130 may complete the user authentication only when the target user 1000 makes the gesture.

ここで、「ユーザ認証の完了」とは、ユーザ認証の最終状態に関連し、ユーザ認証の最終状態には、ｉ）ユーザ認証の成功及びｉｉ）ユーザ認証の失敗の少なくとも一方の状態が含まれるようにしてもよい。 Here, "user authentication completion" relates to the final state of user authentication, and the final state of user authentication includes at least one of i) user authentication success and ii) user authentication failure. You may do so.

本発明において、ユーザ認証の最終状態とは、ターゲットユーザ１０００に対応する人物を検索し、その後ターゲットユーザ１０００のジェスチャーに基づいてターゲット機能（又は特定の機能）の承認、拒否、実行、非実行、アクティブ化又は非アクティブ化を決定した状態を意味する。 In the present invention, the final state of user authentication refers to searching for a person corresponding to the target user 1000, and then approving, rejecting, executing, non-executing, Denotes a state in which activation or deactivation has been determined.

すなわち、制御部１３０により、ターゲットユーザ１０００に対応する人物が検索され、当該人物に関するユーザ情報が抽出された場合であっても、制御部１３０は、ターゲットユーザ１０００のジェスチャーに基づいて、特定の機能（例えば、決済機能）の実行を拒否することができる。 That is, even when the control unit 130 searches for a person corresponding to the target user 1000 and extracts user information about the person, the control unit 130 performs a specific function based on the gesture of the target user 1000. (e.g. payment functions) can be refused to be performed.

ここで、制御部１３０は、図３ａの（ｃ）に示すように、ターゲットユーザ１０００に関するユーザ情報（例えば、名前情報）及びユーザ認証が求められるターゲット機能に関する情報（例えば、決済機能情報）の少なくとも一方をディスプレイ部１２に出力し、その後ターゲットユーザ１０００のジェスチャーを検出するようにしてもよい。これは、ターゲットユーザ１０００がディスプレイ部１２からユーザ認証の現在の進行状況を確認した後に行うジェスチャーを検出するためのものである。すなわち、ターゲットユーザ１０００は、ディスプレイ部１２に出力された情報に基づいて、現在行われているユーザ認証がどの機能のユーザ認証であるかの状況を把握することができ、当該状況を確認した後、ユーザ認証の意思をジェスチャーで示すことができる。 Here, as shown in (c) of FIG. 3A, the control unit 130 controls at least user information (e.g., name information) about the target user 1000 and information about the target function for which user authentication is required (e.g., payment function information). One of them may be output to the display unit 12, and then the gesture of the target user 1000 may be detected. This is for detecting a gesture performed by the target user 1000 after confirming the current progress of user authentication from the display unit 12 . That is, the target user 1000 can grasp the status of which function the user authentication currently being performed is based on the information output to the display unit 12, and after confirming the status, , the intention of user authentication can be indicated by gestures.

制御部１３０は、ユーザ情報（例えば、名前情報）及びユーザ認証が求められるターゲット機能に関する情報（例えば、決済機能情報）の少なくとも一方がディスプレイ部１２に出力された状態で、カメラ１１から画像を受信するようにしてもよい。また、制御部１３０は、受信した画像からターゲットユーザ１０００のジェスチャーを検出するようにしてもよい。 The control unit 130 receives an image from the camera 11 while at least one of user information (eg, name information) and information (eg, payment function information) related to a target function requiring user authentication is output to the display unit 12. You may make it Also, the control unit 130 may detect gestures of the target user 1000 from the received image.

なお、本発明においては、ターゲットユーザ１０００のジェスチャーを検出するために、カメラ１１から画像を受信する時点や、受信した画像からジェスチャーを検出する時点を様々に変更してもよいことは言うまでもない。 Needless to say, in the present invention, the timing of receiving an image from the camera 11 and the timing of detecting a gesture from the received image may be varied in order to detect the gesture of the target user 1000.

一方、保存部１２０には、異なる制御命令にそれぞれ対応するジェスチャーに関する情報が保存されてもよい。よって、制御部１３０は、受信した画像からターゲットユーザ１０００のジェスチャーを検出し、検出されたジェスチャーにマッチする制御命令を保存部１２０から抽出するようにしてもよい。また、制御部１３０は、ユーザ認証が求められるターゲット機能に対して、抽出された制御命令に対応する制御を行うようにしてもよい。 Meanwhile, the storage unit 120 may store information about gestures corresponding to different control commands. Therefore, the control unit 130 may detect the gesture of the target user 1000 from the received image and extract the control command matching the detected gesture from the storage unit 120 . Further, the control unit 130 may perform control corresponding to the extracted control instruction for the target function requiring user authentication.

一例として、制御部１３０は、ターゲットユーザ１０００のジェスチャーが、ユーザ認証に同意する制御命令にマッチする所定の第１ジェスチャーに対応する場合、ターゲット機能に係るユーザ認証を成功として処理するようにしてもよい。例えば、制御部１３０は、図３ｂの（ａ）に示すように、カメラ１１から受信した画像から、ターゲットユーザ１０００による第１ジェスチャー（例えば、首を縦に振る動作）が検出されると、特定の機能（又はターゲット機能）に係るユーザ認証を成功として処理するようにしてもよい。例えば、特定の機能は、図示のように、決済機能であってもよい。制御部１３０は、図示のように、ユーザ認証の処理結果に関する情報３４０（例えば、「決済が完了しました」）をディスプレイ部１２に提供するようにしてもよい。よって、ディスプレイ部１２には、ユーザ認証の処理結果に関する情報３４０が出力される。 For example, if the gesture of the target user 1000 corresponds to a predetermined first gesture that matches the control command to consent to user authentication, the control unit 130 may process the user authentication related to the target function as successful. good. For example, as shown in (a) of FIG. 3B , the control unit 130 detects a first gesture (for example, a motion of shaking the head vertically) by the target user 1000 from the image received from the camera 11, and specifies function (or target function) may be treated as successful. For example, a particular feature may be a payment feature, as shown. As illustrated, the control unit 130 may provide the display unit 12 with information 340 (for example, "Payment completed") regarding the user authentication processing result. Therefore, information 340 on the user authentication processing result is output to the display unit 12 .

他の例として、制御部１３０は、ターゲットユーザ１０００のジェスチャーが、ユーザ認証を拒否する（ユーザ認証に同意しない）制御命令にマッチする所定の第２ジェスチャーに対応する場合、ターゲット機能に係るユーザ認証を失敗として処理するようにしてもよい。例えば、制御部１３０は、図３ｂの（ｂ）に示すように、カメラ１１から受信した画像から、ターゲットユーザ１０００による第２ジェスチャー（例えば、首を横に振る動作）が検出されると、特定の機能（又はターゲット機能）に係るユーザ認証を失敗として処理するようにしてもよい。例えば、特定の機能は、図示のように、決済機能であってもよい。制御部１３０は、図示のように、ユーザ認証の処理結果に関する情報３５０（例えば、「決済がキャンセルされました」）をディスプレイ部１２に提供するようにしてもよい。よって、ディスプレイ部１２には、ユーザ認証の処理結果に関する情報３５０が出力される。 As another example, if the gesture of the target user 1000 corresponds to a predetermined second gesture that matches a control command for rejecting user authentication (not agreeing to user authentication), the control unit 130 performs user authentication related to the target function. may be treated as a failure. For example, as shown in (b) of FIG. 3B, the control unit 130 detects a second gesture (for example, a motion of shaking the head sideways) by the target user 1000 from the image received from the camera 11. function (or target function) may be treated as a failure. For example, a particular feature may be a payment feature, as shown. As illustrated, the control unit 130 may provide the display unit 12 with information 350 (for example, "payment has been canceled") regarding the user authentication processing result. Accordingly, information 350 on the user authentication processing result is output to the display unit 12 .

よって、本発明によるユーザ認証方法及びシステムにおいては、検出されたユーザの顔画像だけでなく、ユーザのジェスチャーに基づいて、ユーザ認証に関するユーザの意図を把握することができる。よって、本発明によるユーザ認証方法及びシステムにおいては、ユーザのジェスチャーに基づいて、ユーザ認証を行おうとするユーザの真偽を把握し、ユーザの意図に基づいてユーザ認証を行うことができる。 Therefore, in the user authentication method and system according to the present invention, it is possible to grasp the intention of the user regarding user authentication based not only on the detected face image of the user but also on the basis of the user's gesture. Therefore, in the user authentication method and system according to the present invention, it is possible to ascertain the authenticity of a user who attempts to perform user authentication based on the user's gesture, and to perform user authentication based on the user's intention.

一方、制御部１３０は、図３ａの（ｃ）に示すように、ジェスチャーにマッチする制御命令に関するガイド情報３２０をディスプレイ部１２に提供するようにしてもよい。よって、ターゲットユーザ１０００は、特定の機能において所望の結果を得るためにどのジェスチャーをすべきかを直観的に把握することができる。 On the other hand, the control unit 130 may provide the display unit 12 with guide information 320 regarding the control command matching the gesture, as shown in (c) of FIG. 3a. Therefore, the target user 1000 can intuitively grasp which gesture to perform in order to obtain a desired result in a specific function.

一方、制御部１３０は、ユーザ認証が完了すると、カメラ１１により取得されたターゲットユーザ１０００の顔画像がユーザデータベースに含まれるようにしてもよい。制御部１３０は、ターゲットユーザ１０００に対応する人物のユーザ情報に顔画像が含まれるように、ユーザデータベースをアップデートするようにしてもよい。 On the other hand, when the user authentication is completed, the control unit 130 may include the face image of the target user 1000 acquired by the camera 11 in the user database. The control unit 130 may update the user database so that the user information of the person corresponding to the target user 1000 includes the face image.

以下、カメラに認識されたターゲットユーザに対するユーザ認証を行う過程で他のユーザが認識された場合について説明する。 A case where another user is recognized in the process of performing user authentication for the target user recognized by the camera will be described below.

本発明においては、図５の（ａ）及び（ｂ）に示すように、ターゲットユーザ１０００ａに対するユーザ認証が行われている状態で、図５の（ｃ）に示すように、カメラ１１によりターゲットユーザ１０００ａの顔画像と共に他のユーザ１０００ｂの顔画像が検出されることがある。ここで、他のユーザ１０００ｂは、ユーザ認証を行おうとするユーザ又はターゲットユーザ１０００ａを隠すユーザである。 In the present invention, as shown in FIGS. 5(a) and 5(b), the target user 1000a is authenticated by the camera 11 as shown in FIG. 5(c). A face image of another user 1000b may be detected along with the face image of 1000a. Here, the other user 1000b is a user who tries to perform user authentication or a user who hides the target user 1000a.

制御部１３０は、ターゲットユーザ１０００ａに対するユーザ認証を完了するために、他のユーザ１０００ｂが認識されても、ターゲットユーザ１０００ａに対するユーザ認証を行い続けるようにしてもよい。例えば、制御部１３０は、ターゲットユーザ１０００ａが他のユーザ１０００ｂに隠れた状態でカメラ１１に認識されたとしても、ターゲットユーザ１０００ａの少なくとも一部が認識されていさえすれば、ターゲットユーザ１０００ａに対するユーザ認証を行い続けるようにしてもよい。すなわち、本発明において、制御部１３０は、ターゲットユーザ１０００ａがカメラ１１の周辺に居続ける状況を、ターゲットユーザ１０００ａがユーザ認証を継続して行おうとする意図であるとして把握してもよい。 In order to complete user authentication for the target user 1000a, the control unit 130 may continue to perform user authentication for the target user 1000a even if another user 1000b is recognized. For example, even if the target user 1000a is recognized by the camera 11 while being hidden by another user 1000b, the control unit 130 performs user authentication for the target user 1000a as long as at least part of the target user 1000a is recognized. may continue to be performed. That is, in the present invention, the control unit 130 may recognize the situation in which the target user 1000a continues to stay around the camera 11 as the target user 1000a's intention to continue user authentication.

一方、制御部１３０は、図５の（ｃ）に示すように、他のユーザ１０００ｂが所定時間以上カメラ１１により検出されると、ターゲットユーザ１０００ａに対するユーザ認証を終了するようにしてもよい。また、制御部１３０は、図５の（ｄ）に示すように、カメラ１１から受信した画像から他のユーザ１０００ｂの顔画像を検出するようにしてもよい。さらに、制御部１３０は、検出された他のユーザ１０００ｂの顔画像とユーザデータベースに含まれる参照顔画像とを比較し、他のユーザ１０００ｂに対応する人物を特定するようにしてもよい。さらに、制御部１３０は、特定された人物にマッチするユーザ情報をユーザデータベースから抽出し、抽出されたユーザ情報を用いて、他のユーザ１０００ｂに対して前述した一連のユーザ認証過程を行うようにしてもよい。この場合、ターゲットユーザ１０００ａに対するユーザ認証が完了していない状態であっても、制御部１３０は、ターゲットユーザ１０００ａに対するユーザ認証を終了するようにしてもよい。 On the other hand, as shown in (c) of FIG. 5, the control unit 130 may end the user authentication for the target user 1000a when the other user 1000b is detected by the camera 11 for a predetermined time or longer. Further, the control unit 130 may detect the face image of the other user 1000b from the image received from the camera 11, as shown in (d) of FIG. Furthermore, the control unit 130 may compare the detected face image of the other user 1000b with a reference face image included in the user database to identify the person corresponding to the other user 1000b. Furthermore, the control unit 130 extracts user information that matches the specified person from the user database, and uses the extracted user information to perform the above-described series of user authentication processes for the other user 1000b. may In this case, even if the user authentication for the target user 1000a has not been completed, the control unit 130 may terminate the user authentication for the target user 1000a.

このように、制御部１３０は、カメラ１１により検出されるターゲットユーザ１０００ａ及び他のユーザ１０００ｂに関する情報に基づいて、ユーザ認証を行おうとするターゲットユーザ１０００ａ及び他のユーザ１０００ｂの意図を判断するようにしてもよい。また、制御部１３０は、判断結果に基づいて、ターゲットユーザ１０００ａ及び他のユーザ１０００ｂのいずれかのユーザに対するユーザ認証を行うようにしてもよい。 In this way, the control unit 130 determines the intentions of the target user 1000a and the other user 1000b who want to perform user authentication based on the information about the target user 1000a and the other user 1000b detected by the camera 11. may Also, the control unit 130 may perform user authentication for either the target user 1000a or the other user 1000b based on the determination result.

制御部１３０は、所定の検出条件に基づいて、ターゲットユーザ１０００ａ及び他のユーザ１０００ｂのいずれかのユーザに対するユーザ認証を行うようにしてもよい。ここで、所定の検出条件は、カメラ１１から受信した画像からターゲットユーザ１０００ａ及び他のユーザ１０００ｂの顔画像が検出された時間の長さ、姿勢及び占有面積の少なくとも１つに基づいて決定されるようにしてもよい。 The control unit 130 may perform user authentication for either the target user 1000a or the other user 1000b based on predetermined detection conditions. Here, the predetermined detection condition is determined based on at least one of the length of time the face images of the target user 1000a and the other user 1000b are detected from the image received from the camera 11, the posture, and the occupied area. You may do so.

例えば、所定の検出条件は、ｉ）ターゲットユーザ１０００ａに対してユーザ認証が行われている状態で、カメラ１１により他のユーザ１０００ｂの顔画像が所定時間以上検出されたか否か、ｉｉ）他のユーザ１０００ｂの顔画像がカメラ１１の正面を向いているか否か、ｉｉｉ）ターゲットユーザ１０００ａがカメラ１１を見ていないかどうか、ｉｖ）カメラ１１から受信した画像において、ターゲットユーザ１０００ａの顔画像が占める比率が他のユーザ１０００ｂの顔画像が占める比率より小さいか否かなどのサブ条件の少なくとも１つを組み合わせて設定してもよい。 For example, the predetermined detection conditions are i) whether or not the face image of the other user 1000b has been detected by the camera 11 for a predetermined time or longer while the target user 1000a is being authenticated; iii) whether the target user 1000a is not looking at the camera 11; iv) the image received from the camera 11 is occupied by the target user 1000a. At least one of sub-conditions such as whether or not the ratio is smaller than the ratio occupied by the face image of the other user 1000b may be set in combination.

よって、制御部１３０は、カメラ１１から受信した画像において、ターゲットユーザ１０００ａ及び他のユーザ１０００ｂの少なくとも一方の顔画像の検出時間をカウントするか又は占有面積を算出し、ターゲットユーザ１０００ａ及び他のユーザ１０００ｂのいずれかのユーザに対するユーザ認証を行うようにしてもよい。 Therefore, in the image received from the camera 11, the control unit 130 counts the detection time of the face image of at least one of the target user 1000a and the other user 1000b or calculates the occupied area, User authentication may be performed for any user of 1000b.

このように、制御部１３０は、カメラ１１により検出されるターゲットユーザ１０００ａ及び他のユーザ１０００ｂに関する情報に基づいて、ユーザ認証を行おうとするターゲットユーザ１０００ａ及び他のユーザ１０００ｂの意図を判断することにより、ユーザに対する適切なユーザ認証を提供することができる。 In this way, the control unit 130 determines the intention of the target user 1000a and the other user 1000b who want to perform user authentication based on the information about the target user 1000a and the other user 1000b detected by the camera 11. , can provide suitable user authentication for the user.

以下、ユーザデータベースにおいてターゲットユーザ１０００に対応する人物の特定が誤っているか又は複数の人物が特定された場合の処理方法について説明する。 Hereinafter, a processing method when the person corresponding to the target user 1000 is specified incorrectly in the user database or when a plurality of people are specified will be described.

前述したように、制御部１３０は、カメラ１１により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部１３０は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。 As described above, the control unit 130 compares the target user's face image acquired by the camera 11 with the reference face image stored in the user database, and matches the reference face image corresponding to the target user's face image. You may make it search the person who does. Also, the control unit 130 may specify the searched person as the target user, and extract user information matching the searched person from the user database.

このとき、カメラ１１により取得されたターゲットユーザ１０００の顔画像とユーザデータベースに保存された参照顔画像との類似度が低いか、又はターゲットユーザ１０００の現在の容姿と参照顔画像の容姿とが異なる場合、制御部１３０は、ターゲットユーザ１０００に対応する人物をユーザデータベースから正確に検索することができない。 At this time, the similarity between the face image of the target user 1000 acquired by the camera 11 and the reference face image stored in the user database is low, or the current appearance of the target user 1000 and the appearance of the reference face image are different. In this case, the control unit 130 cannot accurately retrieve the person corresponding to the target user 1000 from the user database.

そこで、本発明においては、ガイド情報を提供して、ターゲットユーザ１０００がいつでもそれに対するフィードバックを電子機器１０又は制御部１３０に入力できるようにしてもよい。 Therefore, in the present invention, guide information may be provided so that the target user 1000 can input feedback to the electronic device 10 or the control unit 130 at any time.

例えば、図６ａの（ａ）及び（ｂ）に示すように、制御部１３０は、ターゲットユーザに対応する人物に関するユーザ情報（例えば、鈴木久＊＊、高橋理＊）が抽出された場合であっても、抽出されたユーザ情報が誤っているか否かの入力を受けるためのＧＵＩ６１０、６２０又はグラフィックオブジェクトをディスプレイ部１２に提供するようにしてもよい。 For example, as shown in (a) and (b) of FIG. Alternatively, the display unit 12 may be provided with a GUI 610, 620 or a graphic object for receiving input as to whether or not the extracted user information is incorrect.

制御部１３０は、ＧＵＩ６１０、６２０が選択されると、カメラ１１によりターゲットユーザを再び撮影し、再び撮影された画像からターゲットユーザの顔画像を検出するようにしてもよい。また、制御部１３０は、検出された顔画像に対応する人物をユーザデータベースから再び検索し、再び検索された人物に関するユーザ情報がディスプレイ部１２に出力されるようにしてもよい。 When the GUIs 610 and 620 are selected, the control unit 130 may photograph the target user again with the camera 11 and detect the face image of the target user from the photographed image. Also, the control unit 130 may search the user database again for the person corresponding to the detected face image, and output the user information about the searched person to the display unit 12 .

ここで、再び検索された人物と再び検索する前に検索された人物とが同一人物である場合、制御部１３０は、顔認識方法ではなく、他の方法でユーザ認証プロセスを実行するようにしてもよい。再び検索された人物に関するユーザ情報は、ディスプレイ部１２に出力されないようにしてもよい。 Here, if the person searched again and the person searched before the second search are the same person, the control unit 130 may perform the user authentication process using another method instead of the face recognition method. good too. The user information about the person searched for again may not be output to the display unit 12 .

一方、再び検索された人物と再び検索する前に検索された人物とが同一人物である場合、制御部１３０は、ターゲットユーザからターゲットユーザの識別情報（例えば、電話番号、社員番号、アカウント情報、住所、名前など）の入力を受けるためのＧＵＩをディスプレイ部１２に提供するようにしてもよい。また、制御部１３０は、ＧＵＩにより入力されたターゲットユーザの識別情報を用いて、ターゲットユーザに対応する人物をユーザデータベースから検索し、検索された人物に対応するユーザ情報を用いて、ターゲットユーザに対するユーザ認証を行うようにしてもよい。 On the other hand, if the person searched again and the person searched before the second search are the same person, the control unit 130 receives the identification information of the target user from the target user (e.g., telephone number, employee number, account information, (address, name, etc.) may be provided on the display unit 12. FIG. In addition, the control unit 130 searches the user database for a person corresponding to the target user using the identification information of the target user input through the GUI, and uses the user information corresponding to the searched person to search for the target user. User authentication may be performed.

制御部１３０は、検出されたターゲットユーザ１０００の顔画像に対して所定の条件を満たす類似度を有する特定の参照顔画像をユーザデータベースから抽出するようにしてもよい。また、制御部１３０は、抽出された特定の参照顔画像にマッチする人物をターゲットユーザとして特定するようにしてもよい。 The control unit 130 may extract from the user database a specific reference face image having a degree of similarity that satisfies a predetermined condition to the detected face image of the target user 1000 . Also, the control unit 130 may specify a person who matches the extracted specific reference face image as the target user.

前述したように、制御部１３０は、カメラ１１により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部１３０は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。 As described above, the control unit 130 compares the target user's face image acquired by the camera 11 with the reference face image stored in the user database, and matches the reference face image corresponding to the target user's face image. You may make it search the person who does. Also, the control unit 130 may specify the searched person as the target user, and extract user information matching the searched person from the user database.

一方、制御部１３０は、ターゲットユーザの顔画像に対して所定の条件を満たす類似度（又は所定の類似度条件）を有する参照顔画像をユーザデータベースから検索し、検索された参照顔画像に対応する人物をターゲットユーザに対応する人物として特定するようにしてもよい。このとき、ユーザデータベースから複数の参照顔画像が検索されることがある。ここで、複数の参照顔画像は、異なる人物にそれぞれ対応する画像であり得る。 On the other hand, the control unit 130 searches the user database for a reference face image having a degree of similarity that satisfies a predetermined condition (or a predetermined similarity degree condition) to the face image of the target user, and corresponds to the searched reference face image. You may make it identify the person who does as a person corresponding to a target user. At this time, a plurality of reference face images may be retrieved from the user database. Here, the plurality of reference face images may be images corresponding to different persons.

この場合、制御部１３０は、検索された複数の参照顔画像にそれぞれ対応する複数の人物のユーザ情報を抽出し、図６ｂの（ａ）に示すように、抽出されたユーザ情報を用いて、ターゲットユーザからユーザ自身に対応するユーザ情報の選択を受けるためのＧＵＩをディスプレイ部１２に提供するようにしてもよい。図示のように、ディスプレイ部１２には、複数の参照顔画像にそれぞれ対応する複数の人物のいずれかの選択を受けるためのグラフィックオブジェクト６３０、６４０が出力されるようにしてもよい。 In this case, the control unit 130 extracts user information of a plurality of persons corresponding to the retrieved reference face images, and as shown in (a) of FIG. 6B, using the extracted user information, The display unit 12 may be provided with a GUI for receiving selection of user information corresponding to the user himself/herself from the target user. As shown, the display unit 12 may output graphic objects 630 and 640 for receiving selection of one of a plurality of persons respectively corresponding to a plurality of reference face images.

出力されたグラフィックオブジェクト６３０、６４０は、異なる人物にそれぞれ対応し、それぞれ対応する人物のユーザ情報（又は識別情報、例えばアカウント情報、メールアドレス、名前など）を含むようにしてもよい。 The output graphic objects 630, 640 may each correspond to a different person and include user information (or identification information, such as account information, email address, name, etc.) of each corresponding person.

また、制御部１３０は、図６ｂの（ａ）に示すように、グラフィックオブジェクト６３０、６４０のうちターゲットユーザにより選択されたグラフィックオブジェクト６３０にマッチする特定の人物を、ターゲットユーザに対応する人物として特定するようにしてもよい。さらに、制御部１３０は、図６ｂの（ｂ）に示すように、特定された人物にマッチするユーザ情報を用いて、ターゲットユーザに対するユーザ認証を行うようにしてもよい。 In addition, as shown in (a) of FIG. 6B, the control unit 130 identifies a specific person matching the graphic object 630 selected by the target user among the graphic objects 630 and 640 as a person corresponding to the target user. You may make it Furthermore, as shown in (b) of FIG. 6B, the control unit 130 may perform user authentication for the target user using user information that matches the specified person.

一方、制御部１３０は、ユーザ認証が完了すると、カメラ１１により取得されたターゲットユーザの顔画像がユーザデータベースに含まれるようにしてもよい。制御部１３０は、特定された人物に対応するユーザ情報に顔画像が含まれるように、ユーザデータベースをアップデートするようにしてもよい。 On the other hand, when the user authentication is completed, the control unit 130 may include the face image of the target user acquired by the camera 11 in the user database. The control unit 130 may update the user database so that the face image is included in the user information corresponding to the specified person.

また、制御部１３０は、ターゲットユーザの顔画像を、ターゲットユーザに対応する人物の参照顔画像として設定するようにしてもよい。さらに、制御部１３０は、次回のターゲットユーザに対するユーザ認証が行われる場合、新たに設定された参照顔画像を用いて、ターゲットユーザを特定するようにしてもよい。 Also, the control unit 130 may set the face image of the target user as the reference face image of the person corresponding to the target user. Furthermore, the control unit 130 may specify the target user using the newly set reference face image when the next target user is authenticated.

他の例として、制御部１３０は、ターゲットユーザの顔画像に対して所定の条件を満たす類似度（又は所定の類似度条件）を有する参照顔画像をユーザデータベースから検索し、検索された参照顔画像に対応する人物をターゲットユーザに対応する人物として特定するようにしてもよい。このとき、ユーザデータベースから複数の参照顔画像が検索されることがある。ここで、複数の参照顔画像は、異なる人物にそれぞれ対応する画像であり得る。 As another example, the control unit 130 searches the user database for a reference face image having a degree of similarity (or a predetermined similarity condition) that satisfies a predetermined condition with respect to the face image of the target user. A person corresponding to the image may be specified as a person corresponding to the target user. At this time, a plurality of reference face images may be retrieved from the user database. Here, the plurality of reference face images may be images corresponding to different persons.

この場合、制御部１３０は、図６ｃに示すように、異なる人物にそれぞれ対応する複数の参照顔画像６７１、６７２、６７３がディスプレイ部に出力されるようにしてもよい。 In this case, the control unit 130 may output a plurality of reference face images 671, 672, 673 respectively corresponding to different persons to the display unit, as shown in FIG. 6c.

また、制御部１３０は、複数の参照顔画像６７１、６７２、６７３のいずれかの画像がターゲットユーザにより選択されると、選択された参照顔画像にマッチする人物をターゲットユーザに対応する人物として特定するようにしてもよい。 Further, when one of the reference face images 671, 672, and 673 is selected by the target user, the control unit 130 identifies a person who matches the selected reference face image as a person corresponding to the target user. You may make it

さらに、制御部１３０は、検索された参照顔画像が複数の場合、検索された複数の参照顔画像のうち、カメラ１１により撮影されたターゲットユーザの顔画像との類似度がより高い（又は最も高い）特定の参照顔画像（又は第１参照顔画像）にマッチする特定の人物（又は第１人物）のユーザ情報を、ユーザデータベースから抽出するようにしてもよい。 Further, when a plurality of retrieved reference face images are retrieved, the control unit 130 determines that the facial image of the target user captured by the camera 11 has the highest similarity (or the highest degree of similarity) among the retrieved reference facial images. User information of a specific person (or first person) matching a specific reference face image (or first reference face image) may be extracted from the user database.

さらに、制御部１３０は、特定の人物（又は第１人物）のユーザ情報６５０と共に、検索された複数の参照顔画像のうち、特定の参照顔画像（又は第１参照顔画像）とは異なる他の参照顔画像（又は第２参照顔画像）６７１、６７２、６７３をディスプレイ部に提供するようにしてもよい。 Furthermore, the control unit 130 selects the user information 650 of the specific person (or the first person), as well as other facial images that are different from the specific reference face image (or the first reference face image) among the plurality of retrieved reference face images. reference face images (or second reference face images) 671, 672, 673 may be provided to the display unit.

すなわち、制御部１３０は、ターゲットユーザの顔画像との類似度が最も高い参照顔画像に対応する人物を、ターゲットユーザに対応する人物として一次特定するが、他の人物がターゲットユーザに対応する可能性も排除しない。 That is, the control unit 130 primarily identifies the person corresponding to the reference face image having the highest degree of similarity with the target user's face image as the person corresponding to the target user, but it is possible that another person corresponds to the target user. does not exclude gender.

一方、制御部１３０は、図６ｃに示すように、特定の人物（又は第１人物）のユーザ情報６５０と共に、他の参照顔画像（又は第２参照顔画像）６７１、６７２、６７３がディスプレイ部に出力された状態で、カメラ１１０によりターゲットユーザの所定の条件を満たすジェスチャー（例えば、ユーザ認証に関するジェスチャー）が検出されると、ターゲットユーザを第１人物として特定するようにしてもよい。また、制御部１３０は、特定の人物（又は第１人物）のユーザ情報６５０を用いて、ユーザ認証を行うようにしてもよい。 On the other hand, as shown in FIG. 6c, the control unit 130 displays user information 650 of a specific person (or first person) and other reference face images (or second reference face images) 671, 672, 673 on the display unit. , the target user may be identified as the first person when the camera 110 detects a target user's gesture that satisfies a predetermined condition (for example, a gesture related to user authentication). Also, the control unit 130 may perform user authentication using the user information 650 of a specific person (or first person).

一方、これとは異なり、特定の人物（又は第１人物）のユーザ情報６５０と共に、他の参照顔画像（又は第２参照顔画像）６７１、６７２、６７３がディスプレイ部に出力された状態で、ターゲットユーザにより他の参照顔画像（又は第２参照顔画像）６７１、６７２、６７３のいずれかが選択されることがある。この場合、制御部１３０は、ターゲットユーザによりユーザデータベースから選択された他の参照顔画像（又は第２参照顔画像）に対応する特定の人物（又は第２人物）を、ターゲットユーザに対応する人物として特定するようにしてもよい。また、制御部１３０は、ターゲットユーザによりユーザデータベースから選択された他の参照顔画像（又は第２参照顔画像）に対応する特定の人物（又は第２人物）のユーザ情報を抽出し、抽出されたユーザ情報を用いて、ターゲットユーザに対するユーザ認証を行うようにしてもよい。 On the other hand, unlike this, with user information 650 of a specific person (or first person) and other reference face images (or second reference face images) 671, 672, and 673 being output to the display unit, Any of the other reference face images (or second reference face images) 671, 672, 673 may be selected by the target user. In this case, the control unit 130 selects a specific person (or second person) corresponding to another reference face image (or second reference face image) selected by the target user from the user database as a person corresponding to the target user. You may make it specify as. In addition, the control unit 130 extracts user information of a specific person (or a second person) corresponding to another reference face image (or a second reference face image) selected from the user database by the target user, and extracts the extracted user information. User authentication for the target user may be performed using the user information obtained.

この場合も同様に、制御部１３０は、ターゲットユーザとして特定された人物（第１人物又は第２人物）に対応するユーザ情報に、カメラ１１により取得されたターゲットユーザの顔画像が含まれるように、ユーザデータベースをアップデートするようにしてもよい。また、制御部１３０は、ターゲットユーザの顔画像を、ターゲットユーザに対応する人物の参照顔画像として設定するようにしてもよい。さらに、制御部１３０は、次回のターゲットユーザに対するユーザ認証が行われる場合、新たに設定された参照顔画像を用いて、ターゲットユーザを特定するようにしてもよい。 In this case as well, the control unit 130 controls the user information corresponding to the person (first person or second person) identified as the target user to include the face image of the target user acquired by the camera 11. , may update the user database. Also, the control unit 130 may set the face image of the target user as the reference face image of the person corresponding to the target user. Furthermore, the control unit 130 may specify the target user using the newly set reference face image when the next target user is authenticated.

以下、ユーザデータベースにターゲットユーザ１０００に対応する人物のユーザ情報が存在しない場合にユーザ認証を行う方法について説明する。 A method of performing user authentication when there is no user information of a person corresponding to the target user 1000 in the user database will be described below.

前述したように、制御部１３０は、カメラ１１により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部１３０は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。 As described above, the control unit 130 compares the target user's face image acquired by the camera 11 with the reference face image stored in the user database, and matches the reference face image corresponding to the target user's face image. You may make it search the person who does. Also, the control unit 130 may specify the searched person as the target user, and extract user information matching the searched person from the user database.

ここで、ユーザデータベースには、カメラ１１により取得されたターゲットユーザ１０００の顔画像に対応する参照顔画像が存在しないことがある。 Here, there may be no reference face image corresponding to the face image of the target user 1000 acquired by the camera 11 in the user database.

この場合、制御部１３０は、図７ａの（ａ）及び（ｂ）に示すように、顔認識方法ではなく、他の方法でユーザ認証プロセスを実行するようにしてもよい。制御部１３０は、図７ａの（ａ）に示すように、ユーザデータベースに参照顔画像が存在しないことを通知するガイド情報７１０がディスプレイ部１２に出力されるようにしてもよい。 In this case, the control unit 130 may perform the user authentication process by other methods than the face recognition method, as shown in (a) and (b) of FIG. 7a. The control unit 130 may output to the display unit 12 guide information 710 notifying that there is no reference face image in the user database, as shown in (a) of FIG. 7A.

また、制御部１３０は、図７ａの（ｂ）に示すように、ターゲットユーザからターゲットユーザの識別情報（例えば、電話番号、社員番号、アカウント情報、住所、名前など）の入力を受けるためのＧＵＩ７２０をディスプレイ部１２に提供するようにしてもよい。 In addition, as shown in (b) of FIG. 7A, the control unit 130 has a GUI 720 for receiving input of target user's identification information (e.g., phone number, employee number, account information, address, name, etc.) from the target user. may be provided to the display unit 12 .

このように、ユーザデータベースにターゲットユーザの顔画像に対応するユーザ情報が存在しない場合、図７ａの（ｂ）に示すように、ターゲットユーザの識別情報の入力を受けるためのＧＵＩ７２０がディスプレイ部１２に表示されるようにしてもよい。制御部１３０は、ＧＵＩ７２０により入力されたターゲットユーザの識別情報を用いて、ターゲットユーザに対応する人物をユーザデータベースから検索し、検索された人物（例えば、高橋理＊）に対応するユーザ情報を用いて、ターゲットユーザに対するユーザ認証を行うようにしてもよい。 In this way, when there is no user information corresponding to the face image of the target user in the user database, a GUI 720 for receiving input of identification information of the target user is displayed on the display unit 12 as shown in FIG. may be displayed. The control unit 130 searches the user database for a person corresponding to the target user using the identification information of the target user input through the GUI 720, and uses the user information corresponding to the searched person (for example, Osamu Takahashi*). user authentication for the target user.

また、制御部１３０は、カメラ１１により検出されたターゲットユーザの顔画像を検索された人物の参照顔画像として登録するためのプロセスを行うようにしてもよい。すなわち、制御部１３０は、検索された人物のユーザ情報にターゲットユーザの顔画像を含め、次回に、ターゲットユーザが顔認識方法によりユーザ認証を行えるようにしてもよい。 Also, the control unit 130 may perform a process for registering the target user's face image detected by the camera 11 as the reference face image of the searched person. That is, the control unit 130 may include the face image of the target user in the user information of the searched person so that the target user can perform user authentication by the face recognition method next time.

そのために、制御部１３０は、図７ｂの（ａ）及び（ｂ）に示すように、ターゲットユーザからターゲットユーザの顔画像の登録の選択を受けるためのＧＵＩ７４０がディスプレイ部１２に出力されるようにしてもよい。ターゲットユーザによりＧＵＩ７４０が選択されると、制御部１３０は、ターゲットユーザの顔画像がターゲットユーザのユーザ情報に対応する人物の参照顔画像として登録されるように、ユーザデータベースをアップデートするようにしてもよい。 For this purpose, as shown in (a) and (b) of FIG. 7B, the control unit 130 causes the display unit 12 to output a GUI 740 for receiving selection of registration of the target user's face image from the target user. may When the target user selects the GUI 740, the control unit 130 may update the user database so that the target user's face image is registered as the reference face image of the person corresponding to the target user's user information. good.

一方、制御部１３０は、ターゲットユーザの参照顔画像がユーザデータベースに登録されていない状態で、ターゲットユーザが顔認識方法ではなく他のユーザ認証方法でユーザ認証を所定回数行った場合、ターゲットユーザの顔画像を参照顔画像として登録するためのプロセスを行うようにしてもよい。 On the other hand, if the target user has performed user authentication a predetermined number of times using a user authentication method other than the face recognition method while the reference face image of the target user is not registered in the user database, the control unit 130 A process may be performed to register the face image as a reference face image.

より具体的には、制御部１３０は、ユーザ認証が所定回数行われる間、ターゲットユーザの複数の顔画像間の類似度を分析するようにしてもよい。すなわち、制御部１３０は、他のユーザ認証方法でターゲットユーザに対するユーザ認証が行われている場合であっても、カメラ１１によりターゲットユーザの顔画像を取得し、取得された顔画像を保存部１２０に保存するようにしてもよい。 More specifically, the control unit 130 may analyze the degree of similarity between multiple face images of the target user while user authentication is performed a predetermined number of times. In other words, even if the target user is authenticated by another user authentication method, the control unit 130 acquires the target user's face image using the camera 11 and stores the acquired face image in the storage unit 120. You can also save to .

また、制御部１３０は、他のユーザ認証方法でユーザ認証が所定回数行われている状況で取得されたターゲットユーザの複数の顔画像間の類似度を分析するようにしてもよい。さらに、ターゲットユーザの複数の顔画像間の類似度が所定の類似度基準を満たす場合、ターゲットユーザの顔画像を登録するためのプロセスを行うようにしてもよい。 Further, the control unit 130 may analyze the degree of similarity between a plurality of face images of the target user acquired in a situation where user authentication has been performed a predetermined number of times using another user authentication method. Further, a process may be performed to register the target user's facial image if the similarity between the multiple facial images of the target user satisfies a predetermined similarity criterion.

すなわち、制御部１３０は、他のユーザ認証方法でユーザ認証を行ったターゲットユーザが、ユーザ認証の対象に該当する真のユーザであるか否かを確認するために、異なる時点で取得されたターゲットユーザの顔画像間の比較を行うようにしてもよい。よって、制御部１３０は、顔画像の比較を行った結果、同じターゲットユーザが複数回（又は所定回数）にわたって同じ人物に対するユーザ認証を行った場合に限り、顔画像を登録するためのプロセスを行うようにしてもよい。 That is, the control unit 130 controls the target user acquired at a different point in time in order to confirm whether or not the target user who has undergone user authentication by another user authentication method is a true user corresponding to the user authentication target. You may make it compare between a user's face images. Therefore, the control unit 130 performs the process for registering the face image only when the same target user performs user authentication for the same person a plurality of times (or a predetermined number of times) as a result of comparing the face images. You may do so.

以上説明したように、本発明によるユーザ認証方法及びシステムは、ユーザの意図を把握してより直観的にユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものである。 INDUSTRIAL APPLICABILITY As described above, the user authentication method and system according to the present invention are intended to provide a user authentication method and system that can more intuitively perform user authentication by grasping the user's intention.

また、本発明は、ユーザが直接情報を入力することなくユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものである。 Another object of the present invention is to provide a user authentication method and system that can perform user authentication without the user directly inputting information.

さらに、本発明は、ユーザ認証を行うかについてのユーザの真の意図を把握してユーザ認証を完了することのできるユーザ認証方法及びシステムを提供するためのものである。 It is another object of the present invention to provide a user authentication method and system capable of completing user authentication by grasping the user's true intention as to whether or not to perform user authentication.

一方、コンピュータ可読媒体は、コンピュータシステムにより読み取り可能なデータが記録されるあらゆる種類の記録装置を含む。コンピュータ可読媒体の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Disk）、ＳＤＤ（Silicon Disk Drive）、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などが挙げられる。 A computer-readable medium, on the other hand, includes any type of recording device on which data readable by a computer system is recorded. Examples of computer-readable media include HDDs (Hard Disk Drives), SSDs (Solid State Disks), SDDs (Silicon Disk Drives), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. be done.

また、コンピュータ可読媒体は、ストレージを含み、電子機器が通信によりアクセスできるサーバ又はクラウドストレージであり得る。この場合、コンピュータは、有線又は無線通信により、サーバ又はクラウドストレージから本発明によるプログラムをダウンロードすることができる。 Computer-readable media also includes storage, which may be a server or cloud storage communicatively accessible by the electronic device. In this case, the computer can download the program according to the present invention from a server or cloud storage via wired or wireless communication.

さらに、本発明において、前述したコンピュータは、プロセッサ、すなわち中央処理装置（Central Processing Unit, CPU）が搭載された電子機器であり、その種類は特に限定されない。 Furthermore, in the present invention, the aforementioned computer is an electronic device equipped with a processor, that is, a central processing unit (CPU), and its type is not particularly limited.

一方、本発明の詳細な説明は例示的なものであり、あらゆる面で制限的に解釈されてはならない。本発明の範囲は添付の特許請求の範囲の合理的解釈により定められるべきであり、本発明の等価的範囲内でのあらゆる変更が本発明の範囲に含まれる。 On the other hand, the detailed description of the present invention is illustrative and should not be construed as restrictive in any aspect. The scope of the invention should be determined by reasonable interpretation of the appended claims, and all changes that come within the equivalent scope of the invention are included in the scope of the invention.

韓国公開特許第１０－２０１８－００１７３１７号公報Korean Patent Publication No. 10-2018-0017317

Claims (18)

カメラとディスプレイ部と制御部とを含む電子機器のコンピュータが実行するユーザ認証方法であって、
前記カメラを用いてターゲットユーザの顔画像を検出するステップと、
前記制御部が、前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップと、
前記制御部が、前記ユーザ情報の少なくとも一部とユーザ認証が要求されるターゲット機能に関するターゲット機能情報とを、前記電子機器の前記ディスプレイ部に提供するステップと、
前記ディスプレイ部に前記ターゲット機能情報が出力された後に、前記カメラを用いて前記ターゲットユーザのジェスチャーを検出するステップと、
前記制御部が、前記ユーザ情報及び前記カメラにより検出された前記ターゲットユーザのジェスチャーを用いて、前記ターゲット機能の承認又は拒否のためのユーザ認証を行うステップとを含み、
前記ユーザ認証を行うステップにおいては、
前記カメラにより検出された前記ターゲットユーザのジェスチャーが、前記ターゲット機能の承認のために予めマッチしたジェスチャーであるか否かによって、前記ターゲット機能の承認のための前記ユーザ認証の結果が異なることを特徴とするユーザ認証方法。 A user authentication method executed by a computer of an electronic device including a camera, a display unit, and a control unit,
detecting a facial image of a target user using the camera;
a step in which the control unit extracts user information corresponding to the face image from a user database;
providing at least part of the user information and target function information regarding a target function for which user authentication is required to the display unit of the electronic device by the control unit;
detecting a gesture of the target user using the camera after the target function information is output to the display unit;
said controller performing user authentication for approval or denial of said target function using said user information and gestures of said target user detected by said camera ;
In the step of performing user authentication,
The result of the user authentication for approval of the target function differs depending on whether the target user's gesture detected by the camera is a gesture that has been pre-matched for approval of the target function . user authentication method. （補正）
前記ユーザ認証を行うステップにおいては、
前記ターゲットユーザのジェスチャーが、前記ユーザ認証に同意する制御命令にマッチする所定の第１ジェスチャーに対応する場合、
前記ターゲット機能におけるユーザ認証を成功として処理することを特徴とする請求項１に記載のユーザ認証方法。 (correction)
In the step of performing user authentication,
if the target user's gesture corresponds to a predetermined first gesture that matches a control instruction to consent to the user authentication;
2. The user authentication method according to claim 1 , wherein user authentication in said target function is processed as successful. 前記ユーザ認証を行うステップにおいては、
前記ターゲットユーザのジェスチャーが、前記ユーザ認証を拒否する制御命令にマッチする所定の第２ジェスチャーに対応する場合、
前記ターゲット機能におけるユーザ認証を失敗として処理することを特徴とする請求項２に記載のユーザ認証方法。 In the step of performing user authentication,
if the target user's gesture corresponds to a predetermined second gesture that matches a control instruction that denies the user authentication;
3. The user authentication method according to claim 2 , wherein user authentication in said target function is treated as failure. 前記ユーザ認証を行うステップにおいては、
前記ターゲットユーザに対するユーザ認証が行われている状態で、前記カメラにより前記ターゲットユーザとは異なる他のユーザの顔画像が検出されても、前記ターゲットユーザに対するユーザ認証を行うことを特徴とする請求項１～３のいずれかに記載のユーザ認証方法。 In the step of performing user authentication,
2. Even if a facial image of a user different from the target user is detected by the camera while user authentication is being performed for the target user, user authentication for the target user is performed. 4. A user authentication method according to any one of 1 to 3 . 前記ユーザ認証を行うステップにおいては、
前記他のユーザの顔画像が所定時間以上検出されると、前記ターゲットユーザに対するユーザ認証を終了することを特徴とする請求項４に記載のユーザ認証方法。 In the step of performing user authentication,
5. The user authentication method according to claim 4 , wherein the user authentication for the target user is terminated when the face image of the other user is detected for a predetermined time or longer. 前記ターゲットユーザに対するユーザ認証が終了した場合、
前記ユーザ認証を行うステップにおいては、
前記他のユーザの顔画像に対応するユーザ情報を前記ユーザデータベースから抽出し、前記他のユーザのユーザ情報を用いて、前記他のユーザに対するユーザ認証を行うことを特徴とする請求項５に記載のユーザ認証方法。 When user authentication for the target user is completed,
In the step of performing user authentication,
6. The method according to claim 5 , wherein user information corresponding to the facial image of said other user is extracted from said user database, and user authentication of said other user is performed using said user information of said other user. user authentication method. 前記ユーザ情報を抽出するステップにおいては、
前記ターゲットユーザの顔画像と前記ユーザデータベースに保存された参照顔画像とを比較し、前記ターゲットユーザの顔画像に対する所定の類似度基準を満たす参照顔画像を検索し、
前記ユーザ情報は、
前記検索された参照顔画像に対応する人物のユーザ情報であることを特徴とする請求項１～６のいずれかに記載のユーザ認証方法。 In the step of extracting the user information,
comparing the target user's facial image with a reference facial image stored in the user database, and searching for a reference facial image that satisfies a predetermined similarity criterion to the target user's facial image;
The user information is
7. The user authentication method according to any one of claims 1 to 6 , wherein the user information is the user information of the person corresponding to the retrieved reference face image. 前記検索された参照顔画像が複数である場合、
前記ユーザ認証を行う電子機器のディスプレイ部には、
前記検索された複数の参照顔画像にそれぞれ対応する複数の人物のいずれかの選択を受けるためのグラフィックオブジェクトが出力され、
前記ユーザ認証を行うステップにおいては、
前記複数の人物のうち前記グラフィックオブジェクトにより選択された特定の人物にマッチするユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行うことを特徴とする請求項７に記載のユーザ認証方法。 If there are a plurality of retrieved reference face images,
The display unit of the electronic device that performs user authentication includes:
outputting a graphic object for receiving selection of one of a plurality of persons respectively corresponding to the retrieved plurality of reference face images;
In the step of performing user authentication,
8. The user authentication method according to claim 7 , wherein user authentication for said target user is performed using user information matching a specific person selected by said graphic object from among said plurality of persons. 前記特定の人物にマッチするユーザ情報に前記ターゲットユーザの顔画像が含まれるように、前記ユーザデータベースをアップデートするステップをさらに含むことを特徴とする請求項８に記載のユーザ認証方法。 9. The user authentication method of claim 8 , further comprising updating the user database so that the user information matching the specific person includes the target user's facial image. 前記検索された参照顔画像が複数である場合、
前記ユーザ情報を抽出するステップにおいては、
前記検索された複数の参照顔画像のうち、前記ターゲットユーザの顔画像との類似度がより高い第１参照顔画像にマッチする第１人物のユーザ情報を前記ユーザデータベースから抽出し、
前記第１人物のユーザ情報と共に、前記検索された複数の参照顔画像のうち、前記第１参照顔画像とは異なる第２参照顔画像を、前記ユーザ認証を行う電子機器のディスプレイ部に提供することを特徴とする請求項７に記載のユーザ認証方法。 If there are a plurality of retrieved reference face images,
In the step of extracting the user information,
extracting from the user database user information of a first person who matches a first reference face image having a higher degree of similarity with the target user's face image among the plurality of retrieved reference face images;
providing a second reference face image different from the first reference face image among the plurality of retrieved reference face images together with the user information of the first person to a display unit of the electronic device that performs user authentication; 8. The user authentication method according to claim 7 , characterized by: 前記ユーザ認証を行うステップにおいては、
前記第１人物のユーザ情報及び前記第２参照顔画像が前記ディスプレイ部に提供されている状態で、前記ターゲットユーザのジェスチャーが検出されると、
前記ターゲットユーザを前記第１人物として特定し、
前記第１人物のユーザ情報を用いて、前記ユーザ認証を行うことを特徴とする請求項１０に記載のユーザ認証方法。 In the step of performing user authentication,
When the gesture of the target user is detected while the user information of the first person and the second reference face image are provided on the display unit,
identifying the target user as the first person;
11. The user authentication method according to claim 10 , wherein the user authentication is performed using the user information of the first person. 前記第１人物のユーザ情報及び前記第２参照顔画像が前記ディスプレイ部に提供されている状態で、前記ターゲットユーザにより前記第２参照顔画像が選択されると、
前記第２参照顔画像に対応する第２人物のユーザ情報を前記ユーザデータベースから抽出し、
前記第２人物のユーザ情報を用いて、前記ユーザ認証を行うことを特徴とする請求項１１に記載のユーザ認証方法。 When the target user selects the second reference face image while the user information of the first person and the second reference face image are provided on the display unit,
extracting user information of a second person corresponding to the second reference face image from the user database;
12. The user authentication method according to claim 11 , wherein the user authentication is performed using the user information of the second person. 前記ターゲットユーザの顔画像に対応するユーザ情報が前記ユーザデータベースに存在しない場合、
前記ユーザ認証を行う電子機器のディスプレイ部には、
前記ターゲットユーザの識別情報の入力を受けるためのＧＵＩが提供され、
前記ユーザ情報を抽出するステップにおいては、
前記ＧＵＩにより入力された前記ターゲットユーザの識別情報を用いて、前記ユーザ情報を前記ユーザデータベースから抽出することを特徴とする請求項１～１２のいずれかに記載のユーザ認証方法。 When the user information corresponding to the face image of the target user does not exist in the user database,
The display unit of the electronic device that performs user authentication includes:
A GUI is provided for receiving input of identification information of the target user;
In the step of extracting the user information,
The user authentication method according to any one of claims 1 to 12 , wherein the user information is extracted from the user database using the identification information of the target user input through the GUI. 前記ターゲットユーザの顔画像が前記ユーザ情報に対応する人物の参照顔画像として登録されるように、前記ユーザデータベースをアップデートするステップをさらに含むことを特徴とする請求項１３に記載のユーザ認証方法。 14. The user authentication method of claim 13 , further comprising updating the user database so that the target user's face image is registered as a reference face image of the person corresponding to the user information. 前記顔画像を検出するステップにおいては、
前記カメラにより検出される前記ターゲットユーザの顔画像が所定の認証条件を満たすか否かを判断し、
前記判断の結果、前記所定の認証条件を満たさない場合、前記所定の認証条件を満たすためのガイド情報を、前記ユーザ認証を行う電子機器のディスプレイ部に提供することを特徴とする請求項１～１４のいずれかに記載のユーザ認証方法。 In the step of detecting the face image,
determining whether the face image of the target user detected by the camera satisfies a predetermined authentication condition;
If the predetermined authentication condition is not satisfied as a result of the determination, guide information for satisfying the predetermined authentication condition is provided to a display unit of the electronic device that performs the user authentication. 15. The user authentication method according to any one of 14 . 前記ガイド情報は、
前記カメラと前記ターゲットユーザの相手位置及び相手距離の少なくとも一方に関するものであることを特徴とする請求項１５に記載のユーザ認証方法。 The guide information is
16. The user authentication method according to claim 15 , wherein the camera and the target user are related to at least one of a partner position and a partner distance. ディスプレイ部と、
ターゲットユーザの顔画像を検出するカメラと、
前記顔画像に対応するユーザ情報をユーザデータベースから抽出し、前記ユーザ情報の少なくとも一部とユーザ認証が要求されるターゲット機能に関するターゲット機能情報とを前記ディスプレイ部に表示し、前記ディスプレイ部に前記ターゲット機能情報が出力された後に、前記カメラを用いて前記ターゲットユーザのジェスチャーを検出する制御部とを含み、
前記制御部は、
前記ユーザ情報及び前記カメラにより検出された前記ターゲットユーザのジェスチャーを用いて、前記ターゲット機能の承認又は拒否のためのユーザ認証を行い、
前記カメラにより検出された前記ターゲットユーザのジェスチャーが、前記ターゲット機能の承認のために予めマッチしたジェスチャーであるか否かによって、前記ターゲット機能の承認のための前記ユーザ認証の結果が異なることを特徴とするユーザ認証システム。 a display and
a camera for detecting a face image of a target user;
extracting user information corresponding to the face image from a user database, displaying at least part of the user information and target function information regarding a target function for which user authentication is required on the display unit, and displaying the target on the display unit; a control unit that uses the camera to detect gestures of the target user after the functional information is output ;
The control unit
performing user authentication for approval or rejection of the target function using the user information and the target user's gesture detected by the camera ;
The result of the user authentication for approval of the target function differs depending on whether the target user's gesture detected by the camera is a gesture that has been pre-matched for approval of the target function . user authentication system. カメラとディスプレイ部と制御部とを含む電子機器で１つ以上のプロセスにより実行されるプログラムであって、
前記プログラムは、
前記カメラを用いてターゲットユーザの顔画像を検出するステップと、
前記制御部が、前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップと、
前記制御部が、前記ユーザ情報の少なくとも一部とユーザ認証が要求されるターゲット機能に関するターゲット機能情報とを、前記電子機器の前記ディスプレイ部に提供するステップと、
前記ディスプレイ部に前記ターゲット機能情報が出力された後に、前記カメラを用いて前記ターゲットユーザのジェスチャーを検出するステップと、
前記制御部が、前記ユーザ情報及び前記カメラにより検出された前記ターゲットユーザのジェスチャーを用いて、前記ターゲット機能の承認又は拒否のためのユーザ認証を行うステップとを含み、
前記ユーザ認証を行うステップにおいては、
前記カメラにより検出された前記ターゲットユーザのジェスチャーが、前記ターゲット機能の承認のために予めマッチしたジェスチャーであるか否かによって、前記ターゲット機能の承認のための前記ユーザ認証の結果が異なることを特徴とするプログラム。 A program executed by one or more processes in an electronic device including a camera, a display unit, and a control unit ,
Said program
detecting a facial image of a target user using the camera;
a step in which the control unit extracts user information corresponding to the face image from a user database;
providing at least part of the user information and target function information regarding a target function for which user authentication is required to the display unit of the electronic device by the control unit;
detecting a gesture of the target user using the camera after the target function information is output to the display unit;
said controller performing user authentication for approval or denial of said target function using said user information and gestures of said target user detected by said camera ;
In the step of performing user authentication,
A result of the user authentication for approval of the target function is different depending on whether the gesture of the target user detected by the camera is a gesture pre-matched for approval of the target function . A program to
JP2020177544A 2020-08-25 2020-10-22 User authentication method, system and program Active JP7125460B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022128589A JP7402940B2 (en) 2020-08-25 2022-08-12 User authentication methods, systems and programs

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0106938 2020-08-25
KR1020200106938A KR102472956B1 (en) 2020-08-25 2020-08-25 Method and ststem for user authentication

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022128589A Division JP7402940B2 (en) 2020-08-25 2022-08-12 User authentication methods, systems and programs

Publications (2)

Publication Number Publication Date
JP2022037845A JP2022037845A (en) 2022-03-09
JP7125460B2 true JP7125460B2 (en) 2022-08-24

Family

ID=80494856

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020177544A Active JP7125460B2 (en) 2020-08-25 2020-10-22 User authentication method, system and program
JP2022128589A Active JP7402940B2 (en) 2020-08-25 2022-08-12 User authentication methods, systems and programs

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022128589A Active JP7402940B2 (en) 2020-08-25 2022-08-12 User authentication methods, systems and programs

Country Status (2)

Country Link
JP (2) JP7125460B2 (en)
KR (2) KR102472956B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230283603A1 (en) * 2022-03-04 2023-09-07 Micro Focus Llc Dynamic biometric combination authentication

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093399A (en) 2007-10-09 2009-04-30 Panasonic Corp Information display device
JP2014048937A (en) 2012-08-31 2014-03-17 Omron Corp Gesture recognition device, control method thereof, display equipment, and control program
JP2017016518A (en) 2015-07-03 2017-01-19 京セラ株式会社 Portable electronic equipment, control method and control program
JP2018173891A (en) 2017-03-31 2018-11-08 Ｎｅｃプラットフォームズ株式会社 Authentication device, authentication method, authentication program, and database
JP2018181256A (en) 2017-04-21 2018-11-15 株式会社ミクシィ Head-mounted display device, authentication method, and authentication program
WO2018235191A1 (en) 2017-06-21 2018-12-27 三菱電機株式会社 Gesture operation device and gesture operation method
US10354126B1 (en) 2016-04-26 2019-07-16 Massachusetts Mutual Life Insurance Company Access control through multi-factor image authentication
WO2020136795A1 (en) 2018-12-27 2020-07-02 日本電気株式会社 Information processing device, information processing method, and program
JP2020107038A (en) 2018-12-27 2020-07-09 日本電気株式会社 Information processing apparatus, information processing method, and program
JP2020115361A (en) 2015-09-03 2020-07-30 日本電気株式会社 Authentication device, crime prevention system, and control method and program by authentication device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100041562A (en) * 2008-10-14 2010-04-22 (주) 위트젠 Method and system for performing user authentication by face recognizing and fingerprint recognizing of user needing an authentication
JP5584578B2 (en) * 2010-10-08 2014-09-03 富士通株式会社 Biometric information registration / authentication device and registration / authentication method thereof
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition
KR20150007403A (en) * 2013-07-10 2015-01-21 삼성전자주식회사 Apparatus and method for operating information searching data of persons and person recognizes method using the same
EP2924539B1 (en) 2014-03-27 2019-04-17 Lg Electronics Inc. Display device and operating method thereof using gestures
US10248846B2 (en) 2014-07-24 2019-04-02 Sony Interactive Entertainment Inc. Information processing device
KR102386893B1 (en) * 2014-11-13 2022-04-15 삼성전자 주식회사 Method for securing image data and electronic device implementing the same
KR20160090992A (en) * 2015-01-23 2016-08-02 박현수 Security system, apparatus, and method using supplemental code
CN106095340B (en) 2016-06-14 2021-04-13 深圳市国华识别科技开发有限公司 Measuring instrument data storage method and device
KR102581179B1 (en) * 2018-05-14 2023-09-22 삼성전자주식회사 Electronic device for perfoming biometric authentication and operation method thereof

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093399A (en) 2007-10-09 2009-04-30 Panasonic Corp Information display device
JP2014048937A (en) 2012-08-31 2014-03-17 Omron Corp Gesture recognition device, control method thereof, display equipment, and control program
JP2017016518A (en) 2015-07-03 2017-01-19 京セラ株式会社 Portable electronic equipment, control method and control program
JP2020115361A (en) 2015-09-03 2020-07-30 日本電気株式会社 Authentication device, crime prevention system, and control method and program by authentication device
US10354126B1 (en) 2016-04-26 2019-07-16 Massachusetts Mutual Life Insurance Company Access control through multi-factor image authentication
JP2018173891A (en) 2017-03-31 2018-11-08 Ｎｅｃプラットフォームズ株式会社 Authentication device, authentication method, authentication program, and database
JP2018181256A (en) 2017-04-21 2018-11-15 株式会社ミクシィ Head-mounted display device, authentication method, and authentication program
WO2018235191A1 (en) 2017-06-21 2018-12-27 三菱電機株式会社 Gesture operation device and gesture operation method
WO2020136795A1 (en) 2018-12-27 2020-07-02 日本電気株式会社 Information processing device, information processing method, and program
JP2020107038A (en) 2018-12-27 2020-07-09 日本電気株式会社 Information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date
KR20220026198A (en) 2022-03-04
KR102629007B1 (en) 2024-01-25
JP2022037845A (en) 2022-03-09
KR102472956B1 (en) 2022-12-01
JP2022163168A (en) 2022-10-25
JP7402940B2 (en) 2023-12-21
KR20220166227A (en) 2022-12-16

Similar Documents

Publication Publication Date Title
US9706406B1 (en) Security measures for an electronic device
KR101971697B1 (en) Method and apparatus for authenticating user using hybrid biometrics information in a user device
US20160226865A1 (en) Motion based authentication systems and methods
JP7006584B2 (en) Biometric data processing device, biometric data processing system, biometric data processing method, biometric data processing program, storage medium for storing biometric data processing program
US20190130411A1 (en) Method and system for data processing
JP2013186851A (en) Information processor for which input of information for cancelling security is required and log-in method
WO2021220423A1 (en) Authentication device, authentication system, authentication method, and authentication program
US11354394B2 (en) Identity verification using autonomous vehicles
JP7402940B2 (en) User authentication methods, systems and programs
US20240202720A1 (en) Systems and methods for conducting remote user authentication
JP7004379B2 (en) Authentication device, authentication method, and authentication program
JP2013174955A (en) Information processor for which input of information for releasing security is requested and login method
JP6584855B2 (en) Input support apparatus, input support method, and program
US10997446B2 (en) Enrollment scheme for an electronic device
KR20170061989A (en) Complex authentication apparatus using biometric information and touch pattern and method thereof
US20210406353A1 (en) System and method for biometric authentication
KR102581000B1 (en) Method and ststem for providing assistant service
TWI843984B (en) Method and system for providing assistant service
TW202321981A (en) Face recognition system and method for controlling the same
JP2017037487A (en) Determination device, determination method and program
JP2022531150A (en) Security systems and processes with biometrics

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201106

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20201116

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210414

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220812

R150 Certificate of patent or registration of utility model

Ref document number: 7125460

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350