KR102472956B1 - 사용자 인증 방법 및 시스템 - Google Patents

사용자 인증 방법 및 시스템 Download PDF

Info

Publication number
KR102472956B1
KR102472956B1 KR1020200106938A KR20200106938A KR102472956B1 KR 102472956 B1 KR102472956 B1 KR 102472956B1 KR 1020200106938 A KR1020200106938 A KR 1020200106938A KR 20200106938 A KR20200106938 A KR 20200106938A KR 102472956 B1 KR102472956 B1 KR 102472956B1
Authority
KR
South Korea
Prior art keywords
user
target
face image
user authentication
information
Prior art date
Application number
KR1020200106938A
Other languages
English (en)
Other versions
KR20220026198A (ko
Inventor
김진중
나누리
Original Assignee
네이버 주식회사
라인 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사, 라인 가부시키가이샤 filed Critical 네이버 주식회사
Priority to KR1020200106938A priority Critical patent/KR102472956B1/ko
Priority to JP2020177544A priority patent/JP7125460B2/ja
Publication of KR20220026198A publication Critical patent/KR20220026198A/ko
Priority to JP2022128589A priority patent/JP7402940B2/ja
Priority to KR1020220161377A priority patent/KR102629007B1/ko
Application granted granted Critical
Publication of KR102472956B1 publication Critical patent/KR102472956B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명은 사용자를 인증하는 방법 및 시스템에 관한 것이다. 위에서 살펴본 과제를 해결하기 위하여, 본 발명에 따른 사용자 인증 방법은, 카메라를 이용하여, 타겟 유저의 얼굴 이미지를 센싱하는 단계, 사용자 DB로부터 상기 얼굴 이미지에 대응되는 사용자 정보를 추출하는 단계 및 상기 사용자 정보를 이용하여, 상기 타겟 유저에 대한 사용자 인증을 수행하는 단계를 포함하고, 상기 사용자 인증을 수행하는 단계에서는, 상기 카메라를 통해 센싱되는 상기 타겟 유저의 제스처에 기반하여, 상기 사용자 인증을 완료할지 여부를 결정하는 것을 특징으로 한다.

Description

사용자 인증 방법 및 시스템{METHOD AND STSTEM FOR USER AUTHENTICATION}
본 발명은 사용자를 인증하는 방법 및 시스템에 관한 것이다.
기술이 발전함에 따라, 전자기기의 활용도가 높아지고 있으며, 특히, 전자기기는 다양한 상황에서 사용자를 인증하는 수단으로서 활용되고 있다.
예를 들어, 컨퍼런스에서의 참석자 확인, 병원에서의 환자 내원 확인, 카페에서의 결제를 위한 사용자 확인과 같이, 다양한 상황에서 진정한 사용자를 인증하기 위한 니즈가 있다. 이와 같이, 사용자에 대한 인증을 요구하는 상황에서 전자기기의 활용은, 불필요한 노동력을 줄이고, 나아가 사용자 인증 시간에 소모되었던 시간을 감소시키는 효과를 가져오고 있다.
전자기기를 활용한 사용자 인증 방식은 다양하며, 예를 들어, 사용자가 직접 자신을 식별하기 위한 식별 정보(예를 들어, 전화번호, 메일주소 등) 또는 생체 정보 (예를 들어, 지문 정보 등)를 전자기기에 입력함으로써, 인증이 이루어지는 방식이 존재할 수 있다.
최근에는, 사용자가 전자기기에 정보를 직접적으로 인가하는 행위 없이도, 보다 편리하고 직관적으로 사용자 인증을 수행할 수 있는 방법에 대한 활발한 연구가 진행되고 있다.
본 발명은, 사용자의 의도를 파악하여, 보다 직관적으로 사용자 인증을 수행할 수 있는 사용자 인증 방법 및 시스템을 제공하기 위한 것이다.
나아가, 본 발명은, 사용자의 직접적인 정보 입력 없이도, 사용자에 대한 인증을 수행할 수 있는 사용자 인증 방법 및 시스템을 제공하기 위한 것이다.
더 나아가, 본 발명은, 사용자 인증을 수행할지에 대한 사용자의 진정한 의도를 파악하여 사용자 인증을 완료할 수 있는 사용자 인증 방법 및 시스템을 제공하기 위한 것이다.
위에서 살펴본 과제를 해결하기 위하여, 본 발명에 따른 사용자 인증 방법은, 카메라를 이용하여, 타겟 유저의 얼굴 이미지를 센싱하는 단계, 사용자 DB로부터 상기 얼굴 이미지에 대응되는 사용자 정보를 추출하는 단계 및 상기 사용자 정보를 이용하여, 상기 타겟 유저에 대한 사용자 인증을 수행하는 단계를 포함하고, 상기 사용자 인증을 수행하는 단계에서는, 상기 카메라를 통해 센싱되는 상기 타겟 유저의 제스처에 기반하여, 상기 사용자 인증을 완료할지 여부를 결정하는 것을 특징으로 한다.
나아가, 본 발명에 따른 사용자 인증 시스템은, 디스플레이부, 타겟 유저의 얼굴 이미지를 센싱하는 카메라부 및 사용자 DB로부터 상기 얼굴 이미지에 대응되는 사용자 정보를 추출하는 제어부를 포함하고, 상기 제어부는, 상기 사용자 정보를 이용하여, 상기 타겟 유저에 대한 사용자 인증을 수행하고, 상기 카메라를 통해 센싱되는 상기 타겟 유저의 제스처에 기반하여, 상기 사용자 인증을 완료할지 여부를 결정하는 것을 특징으로 한다.
나아가, 본 발명에 따른 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 매체에 저장 가능한 프로그램은, 카메라를 이용하여, 타겟 유저의 얼굴 이미지를 센싱하는 단계, 사용자 DB로부터 상기 얼굴 이미지에 대응되는 사용자 정보를 추출하는 단계 및 상기 사용자 정보를 이용하여, 상기 타겟 유저에 대한 사용자 인증을 수행하는 단계를 수행하도록 하는 명령어들을 포함하고, 상기 사용자 인증을 수행하는 단계에서는, 상기 카메라를 통해 센싱되는 상기 타겟 유저의 제스처에 기반하여, 상기 사용자 인증을 완료할지 여부를 결정하는 것을 특징으로 한다.
위에서 살펴본 것과 같이, 본 발명에 따른 사용자 인증 방법 및 시스템은, 카메라를 이용하여 인증의 대상이 되는 사용자를 센싱하고, 센싱된 사용자의 얼굴 이미지를 이용하여, 센싱된 사용자에 대한 사용자 인증을 수행할 수 있다. 이와 같이, 본 발명은, 사용자로부터 직접적인 입력을 받지 않더라도, 사용자가 전자기기 주변에 위치하는 것에 근거하여, 사용자에 대한 인증을 수행할 수 있다. 따라서, 사용자는 전자기기 주변에 위치함으로써, 사용자 인증의 의사를 전자기기에 보다 편리하고 직관적으로 전달할 수 있다.
나아가, 본 발명에 따른 사용자 인증 방법 및 시스템은, 센싱된 사용자의 얼굴 이미지 뿐만 아니라, 사용자의 제스처에 기반하여, 사용자 인증에 대한 사용자의 의도를 파악할 수 있다. 따라서, 본 발명에 따른 사용자 인증 방법 및 시스템은, 사용자의 제스처에 기반하여, 사용자 인증을 수행하고자 하는 사용자의 진위를 파악하여, 사용자의 의도에 따른 사용자 인증을 수행할 수 있다.
도 1은 본 발명에 따른 사용자 인증 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명에 따른 사용자 인증 방법을 설명하기 위한 흐름도이다.
도 3a, 도 3b, 도 4a 및 도 4b, 도 5, 도 6a, 도 6b, 도 6c, 도 7a 및 도 7b는 본 발명에 따른 사용자 인증 방법 및 시스템을 설명하기 위한 개념도들이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은, 사용자의 의도를 파악하여, 보다 직관적으로 사용자 인증을 수행할 수 있는 사용자 인증 방법 및 시스템을 제공하기 위한 것으로서, 이하 첨부된 도면과 함께 본 발명에 대해 구체적으로 설명하기로 한다. 도 1은 본 발명에 따른 사용자 인증 시스템을 설명하기 위한 개념도이고, 도 2는 본 발명에 따른 사용자 인증 방법을 설명하기 위한 흐름도이다. 나아가, 도 3a, 도 3b, 도 4a 및 도 4b, 도 5, 도 6a, 도 6b, 도 6c, 도 7a 및 도 7b는 본 발명에 따른 사용자 인증 방법 및 시스템을 설명하기 위한 개념도들이다.
도 1에 도시된 것과 같이, 본 발명에 따른 사용자 인증 시스템(100)은, 통신부(110), 저장부(120) 및 제어부(130) 중 적어도 하나를 포함하도록 구성될 수 있다. 이때 본 발명에 따른 사용자 인증 시스템(100)은 상술한 구성 요소로 제한되는 것은 아니며, 본 명세서의 설명에 따른 기능과 동일 또는 유사한 역할을 수행하는 구성요소를 더 포함할 수 있다.
한편, 본 발명에 따른 사용자 인증 시스템(100)은 전자기기(10)와 연동되어 동작할 수 있다. 여기서 전자기기(10)는, 스마트폰(smart phone), 휴대폰, 태블릿 PC, 키오스크(KIOSK), 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), 및 PMP(Portable Multimedia Player) 중 적어도 하나를 포함할 수 있다.
한편, 본 발명에 따른 사용자 인증 시스템(100)은, 애플리케이션 또는 소프트웨어로 구현될 수 있다. 이때, 사용자 인증 시스템(100)에 따른 애플리케이션 또는 소프트웨어는, 전자기기(10)에 설치되어, 이하에서 설명되는 사용자 인증 방법에 따른 프로세스를 수행할 수 있다.
예를 들어, 본 발명에 따른 사용자 인증 시스템(100)의 통신부(110), 저장부(120) 및 제어부(130)는, 전자기기(10)의 하드웨어 구성을 활용하여, 사용자 인증을 위한 일련의 기능을 수행할 수 있다. 예를 들어, 통신부(110)는 전자기기(10)의 통신부에 구비된 통신 모듈(예를 들어, 이동통신 모듈, 근거리 통신 모듈, 무선 인터넷 모듈, 위치정보 모듈, 방송 수신 모듈 등)의 구성을 이용하여, 적어도 하나의 외부 서버(예를 들어, 도 1에 도시된 데이터베이스(database: DB) 서버(140) 또는 클라우드 서버 등)와 데이터를 송수신할 수 있다.
나아가 저장부(120)는 전자기기(10)에 구비된(또는 삽입된) 메모리 또는 클라우드 서버를 이용하여, 본 발명에 따른 사용자 인증과 관련된 데이터를 저장하도록 이루어질 수 있다.
제어부(130)는, 전자기기(10)에 구비된 CPU 및 클라우드 서버 중 적어도 하나를 활용하여, 각 구성에 대한 제어 및 본 발명과 관련된 전반적인 제어를 수행할 수 있다. 나아가, 제어부(130)는 본 발명을 수행하기 위하여, 전자기기(10)의 구성 중 적어도 하나에 대한 제어 권한을 가질 수 있다. 나아가, 제어부(130)는 전자기기(10)의 구성 요소에서 수신되거나, 센싱된 정보를 본 발명을 위하여 활용할 수 있다, 예를 들어, 제어부(130)는 전자기기(10)의 카메라(11)로부터 수신되는 영상을 이용하여, 본 발명에 따른 사용자 인증을 수행할 수 있다.
나아가, 제어부(130)는 전자기기(10)의 디스플레이부(12)를 이용하여, 본 발명과 관련된 정보를 출력하도록 이루어질 수 있다.
이 외에도, 제어부(130)는 전자기기(10)에 구비된 다른 구성 요소(예를 들어, 근접 센서, 적외선 센서, 터치 스크린, 입력부 등)를 이용하여 본 발명에 따른 사용자 인증을 수행할 수 있다.
한편, 본 발명에 따른 사용자 인증 시스템(100)은 프로그램 또는 어플리케이션의 형태로 존재하는 것 뿐만 아니라, 이하에서 설명되는 구성 및 기능의 수행이 가능한 다양한 형태로 존재할 수 있다.
이에, 이하에서는, 이에 대한 엄격한 제한을 두지 않고, 본 발명에 따른 사용자 인증 시스템(100)에 대하여 설명하도록 한다.
도 1에 도시된 것과 같이, 본 발명에 따른 사용자 인증 시스템(100)은 전자기기(10)의 카메라(11)를 이용하여, 사용자를 센싱하고, 센싱된 사용자에 대한 사용자 인증을 수행하도록 이루어질 수 있다.
설명의 편의를 위하여, 본 발명에서는 사용자 인증의 대상이 되는 사용자를 “타겟 유저(target user, 1000)”라고 명명하기로 한다.
한편, 본 발명에서, “사용자 인증”이란, 타겟 유저(1000)에 대한 사용자 인증(User Authentication)을 의미할 수 있다.
본 발명에서는, “사용자 인증”을 이용하여, “인증의 대상이 되는 이벤트 또는 기능(이하, “타겟 기능”으로 통일하여 설명함)”을 승인하거나, 실행할 수 있다.
여기에서, “타겟 기능”의 종류는 매우 다양할 수 있으며, 예를 들어, 결제 기능, 출석 확인 기능, 병원에서의 내원 확인 기능 등과 같이, 사용자 인증이 필요한 기능을 의미할 수 있다.
본 발명에서 제어부(130)는, 카메라(11)를 통해 수신되는 영상에서, 타겟 유저(1000)의 얼굴 이미지를 획득하고, 사용자 DB에 저장된 상기 얼굴 이미지에 대응되는 사용자 정보를 이용하여, 상기 타겟 유저(1000)에 대한 사용자 인증을 수행할 수 있다.
이때, 상기 사용자 인증의 대상이 되는 타겟 기능은 기 특정되어 존재할 수 있다. 제어부(130)는, 상기 타겟 유저(1000)의 얼굴 이미지 및 상기 사용자 DB로부터 추출되는 사용자 정보를 이용하여, 타겟 기능에 대한 사용자 인증을 수행할 수 있다. 예를 들어, 타겟 기능이 출석 체크 기능인 경우, 제어부(130)는, 타겟 유저(1000)에 대한 출석 체크 승인 처리 또는 출석 체크 거절 처리 중 어느 하나를 수행할 수 있다.
또 다른 예로서, 타겟 기능이 결제 기능인 경우, 제어부(130)는, 타겟 유저(1000)에 대한 결제 승인 처리 또는 결제 거절 처리 중 어느 하나를 수행할 수 있다.
이때, 제어부(130)는, 카메라(11)를 통해 수신된 영상에서, 타겟 유저(1000)의 얼굴 이미지를 추출하고, 사용자 DB로부터, 상기 추출된 얼굴 이미지와 대응되는(또는 매칭된) 사용자 정보를 추출할 수 있다.
여기에서, 사용자 DB는, “사용자와 관련된 정보”, “사용자의 신상정보” 또는 “사용자의 식별정보”라고도 명명될 수 있다.
사용자 DB는, 저장부(120), 외부 데이터베이스(140) 및 클라우드 서버 중 적어도 하나에 포함될 수 있다.
제어부(130)는, 사용자 DB로부터 타겟 유저(1000)의 얼굴 이미지와 대응되는 인물을 검색하고, 검색된 인물에 매칭된 사용자 정보를 추출할 수 있다.
사용자 DB에는 개별 인물(또는 사람) 단위로, 각각의 인물에 대한 사용자 정보가 저장될 수 있다. 즉, 사용자 DB에는, 서로 다른 인물 마다 각각에 대응되는 사용자 정보가 매칭되어 저장될 수 있다.
여기에서, 사용자 정보는, 각각의 인물에 해당하는 사람의 이름, 생년월일, 주소, 전화번호, 메일 주소, 계정 정보, 사번, ID, 얼굴 이미지, 생체 정보(지문 정보, 홍채 정보 등), 참조 얼굴 이미지, 전자기기의 식별 정보, 일정(스케줄)과 관련된 정보 중 적어도 하나를 포함할 수 있다.
여기에서, 참조 얼굴 이미지는, 특정 인물에 대한 얼굴 이미지로서, 하나 또는 복수 일 수 있다. 본 발명에서, “참조 얼굴 이미지”는 “참조 데이터”로도 명명될 수 있다.
제어부(130)는, 카메라(11)를 통해 획득된 타겟 유저의 얼굴 이미지와, 사용자 DB에 저장된 참조 얼굴 이미지를 비교하여, 상기 타겟 유저의 얼굴 이미지와 대응되는 참조 얼굴 이미지에 매칭된 인물을 검색할 수 있다. 그리고, 제어부(130)는 검색된 인물을 상기 타겟 유저로 특정하고, 상기 검색된 인물에 매칭된 사용자 정보를 사용자 DB로부터 추출할 수 있다.
그리고, 제어부(130)는 추출된 사용자 정보를 이용하여, 타겟 기능에 대한 사용자 인증을 수행할 수 있다.
도 1에 도시된 것과 같이, 전자기기(10)는 임의의 장소에 배치될 수 있으며, 타겟 유저(1000)는 전자기기(10)에 주변에 위치하는 것 만으로도, 사용자 인증을 수행할 수 있다. 이때, 전자기기(10)가 배치된 장소에 따라, 사용자 인증의 대상이 되는 타겟 기능이 다양하게 설정될 수 있다.
예를 들어, 전자기기(10)가 배치된 장소가 카페인 경우, 타겟 기능은, 결제 기능으로 특정될 수 있다. 이 경우, 본 발명에 따른 사용자 인증 시스템(100)은 사용자 인증에 기반하여 결제 기능이 수행되도록 프로그래밍 될 수 있다.
나아가, 전자기기(10)가 배치된 장소가 병원인 경우, 타겟 기능은, 병원에 내원한 고객(또는 환자)를 확인하는 기능으로 특정될 수 있다. 이 경우, 본 발명에 따른 사용자 인증 시스템(100)은 사용자 인증에 기반하여 내원 확인 기능이 수행되도록 프로그래밍 될 수 있다.
이하에서는, 흐름도와 함께 본 발명에 따른 사용자 인증 방법에 대하여 보다 구체적으로 살펴본다.
먼저, 도 2에 도시된 것과 같이, 본 발명에 따른 사용자 인증 방법에 의하면, 카메라로부터 수신되는 영상에서 타겟 유저의 얼굴 이미지를 검출하는 과정이 진행될 수 있다(S210).
즉, 제어부(130)는, 전자기기(10)의 카메라(11, 도 1 참조)를 이용하여, 타겟 유저의 얼굴 이미지를 센싱할 수 있다.
보다 구체적으로 도 3a의 (a)에 도시된 것과 같이, 제어부(130)는, 전자기기(10) 주변에 위치한 타겟 유저(1000)의 얼굴을, 카메라(11)를 통해 센싱할 수 있다.
제어부(130)는, 카메라(11)를 통해 수신되는 영상에서, 타겟 유저(1000)의 얼굴 이미지를 획득하고, 사용자 DB에 저장된 상기 얼굴 이미지에 대응되는 사용자 정보를 이용하여, 상기 타겟 유저(1000)에 대한 사용자 인증을 수행할 수 있다.
카메라(11)에 통해 타겟 유저(1000)의 얼굴 이미지가 센싱 또는 검출되는 시점은 매우 다양할 수 있다.
예를 들어, 제어부(130)는 사용자 인증이 요구되는 타겟 기능(또는 특정 기능)이 활성화되거나, 타겟 기능이 실행되는 경우, 타겟 유저(1000)의 얼굴이 촬영될 수 있도록 카메라(11)를 제어할 수 있다.
여기에서, 타겟 기능의 활성화 또는 실행은, 타겟 유저의 요청 또는 제3자의 요청에 근거하여 이루어지거나, 그밖에 제어부(130)의 제어 하에 이루어질 수 있다.
예를 들어, 사용자 인증이 요구되는 타겟 기능의 실행 또는 활성화에 대한 요청은, 도 3a의 (a)에 도시된 것과 같이, 전자기기(10)의 입력부를 통하여 수신될 수 있다. 타겟 유저(1000) 또는 제3 자는, 전자기기(10)의 입력부(예를 들어, 터치 스크린)를 통하여, 사용자 인증이 요구되는 특정 기능에 대한 활성화를 요청할 수 있다. 이때, 전자기기(10)의 터치 스크린에는, 도시와 같이, 타겟 기능을 활성화하기 위한 요청을 전자기기(10)에 대해 입력하는 방법에 대한 가이드 정보(예를 들어, “터치 하여 결제 시작”)가 출력될 수 있다. 타겟 유저 또는 제3 자는, 이러한 가이드 정보를 참조하여, 사용자 인증을 수행한 사용자 입력(예를 들어, 터치 스크린을 터치하는 입력)을 전자기기(10)에 인가할 수 있다.
이하에서는, 디스플레이부와 터치스크린의 용어를 구분하지 않고, 디스플레이부(12)로 통일하여 설명하도록 한다. 즉, 이하에서 설명되는 디스플레이부(12)는 터치 센서를 구비하도록 이루어질 수 있음은 물론이다.
한편, 제어부(130)는, 상기 전자기기(10)를 통하여, 활성화 요청이 수신되면, 카메라(11)를 통해 수신되는 영상에서 타겟 유저(1000)의 얼굴 이미지를 검출하고, 검출된 얼굴 이미지를 이용하여, 사용자 인증을 위한 일련의 프로세스를 진행할 수 있다.
이와 다르게, 제어부(130)는 도 4a의 (a) 및 (b)에 도시된 것과 같이, 전자기기(10) 주변에, 사람이 위치한 것이 감지되는 경우, 카메라(10)를 통해, 타겟 유저(1000)에 대한 영상이 수신되도록 카메라(10)를 제어할 수 있다. 이때, 제어부(130)는 전자기기(10)를 기준으로 기 설정된 범위(또는 거리)이내에, 타겟 유저(1000)가 위치한 경우, 타겟 유저(1000)의 얼굴 이미지가 검출되도록 카메라(10)를 제어할 수 있다. 제어부(130)는, 전자기기(10)에 구비된 적어도 하나의 센서(예를 들어, 근접 센서, 적외선 센서 또는 라이다 센서 등)를 이용하여, 전자기기(10) 주변에 또는 전자기기(10)를 기준으로 기 설정된 범위 내에 타겟 유저가 위치하는 것을 센싱(또는 감지)할 수 있다.
한편, 제어부(130)는 도 4a의 (a)에 도시된 것과 같이, 상기 전자기기(10)의 기 설정된 범위 이내에, 타겟 유저(1000)가 위치하지 않는 경우, 전자기기(10)의 디스플레이부(12)가 비활성화되도록, 디스플레이부(12)를 제어할 수 있다. 비활성화 상태의 디스플레이부(12)는 전원이 오프된 상태, 대기상태 및 절전 상태 중 적어도 하나의 상태일 수 있다.
나아가, 제어부(130)는 도 4a의 (b)에 도시된 것과 같이, 상기 전자기기(10)의 기 설정된 범위 이내에, 타겟 유저(1000)가 위치한 경우, 전자기기(10)의 디스플레이부(12)가 활성화되도록, 디스플레이부(12)를 제어할 수 있다. 이때, 디스플레이부(12)에는, 사용자 인증이 요구되는 타겟 기능에 대한 활성화를 요청하는 방법에 대한 가이드 정보(예를 들어, “터치 하여 결제 시작”)가 출력될 수 있다.
이와 다르게, 제어부(130)는 기 설정된 간격 또는 실시간으로 카메라(11)를 통해 수신되는 영상에, 타겟 유저(1000)의 얼굴 이미지가 포함되어 있는지를 판단할 수 있다. 그리고, 판단 결과, 카메라(11)를 통해 수신되는 영상에 타겟 유저(1000)의 얼굴 이미지가 포함된 경우, 타겟 기능과 관련된 사용자 인증을 위한 일련의 프로세스를 진행할 수 있다.
한편, 제어부(130)는 적어도 하나의 얼굴 인식 알고리즘을 이용하여, 카메라(11)에서 수신되는 영상에서 타겟 유저(1000)의 얼굴 이미지를 검출할 수 있다. 본 발명에서 활용되는 얼굴 인식 알고리즘은 그 종류에 제한이 없으며, 인공지능 또는 딥러닝을 기반으로 동작하는 알고리즘 또한 활용될 수 있다.
한편, 제어부(130)는 카메라(11)를 통해, 타겟 유저(100)의 얼굴 이미지가 검출된 경우라도, 검출된 얼굴 이미지가, 사용자 인증을 수행하기 위한 기 설정된 조건(또는 기 설정된 인증 조건)을 만족하지 못하는 경우, 상기 기 설정된 조건을 만족하는 얼굴 이미지를 획득하기 위한 가이드 정보를 제공할 수 있다.
보다 구체적으로, 제어부(130)는, 카메라(11)에서 센싱되는 타겟 유저(1000)의 얼굴 이미지가, 상기 기 설정된 조건을 만족하는지 판단할 수 있다. 여기에서, 상기 기 설정된 조건은, 영상에 포함된 얼굴 이미지의 크기, 얼굴 이미지에 대응되는 얼굴의 각도, 영상에서의 얼굴 이미지의 위치 및 영상에서 얼굴의 생김새 특징 요소(예를 들어, 눈, 코, 입)의 포함 여부 중 적어도 하나와 관련될 수 있다.
제어부(130)는, 도 4b에 도시된 것과 같이, 상기 기 설정된 조건을 만족하는 얼굴 이미지가 획득될 수 있도록 타겟 유저(1000)의 자세 및 위치 등에 대한 정보 중 적어도 하나를 가이드 정보로서 출력할 수 있다. 가이드 정보는, 카메라(11)와 타겟 유저(1000) 사이의 상대 위치 및 상대 거리 중 적어도 하나와 관련될 수 있다.
예를 들어, i)도 4b의 (a), (b), (e)에 도시된 것과 같이, 제어부(130)는 전자기기를 기준으로 타겟 유저(1000)의 위치 정보(예를 들어, 더 가까이 와주세요, 더 뒤로 가주세요, 화면과의 거리를 맞춰주세요), ii)도 4b의 (c)에 도시된 것과 같이, 타겟 유저(1000)의 자세 정보(예를 들어, 화면을 봐주세요), iii)도 4b의 (d)에 도시된 것과 같이, 타겟 유저(1000)의 얼굴이 물체(예를 들어, 마스크)에 의해 가려진 경우, 이를 제거하는 것을 권유하는 정보(예를 들어, 마스크를 벗어주세요)와 같은 가이드 정보를 제공할 수 있다.
이와 같이, 카메라(11)를 통해 타겟 유저(1000)의 얼굴 이미지가 검출되면, 다음으로, 본 발명에서는 사용자 DB로부터, 검출된 얼굴 이미지에 대응되는 사용자 정보를 추출하는 과정이 진행될 수 있다(S230).
보다 구체적으로, 제어부(130)는, 카메라(11)를 통해 수신된 영상에서, 타겟 유저(1000)의 얼굴 이미지를 추출하고, 사용자 DB로부터, 상기 추출된 얼굴 이미지와 대응되는(또는 매칭된) 사용자 정보를 추출할 수 있다.
앞서 살펴본 것과 같이, 사용자 DB는, “사용자와 관련된 정보”, “사용자의 신상정보” 또는 “사용자의 식별정보”라고도 명명될 수 있다.
사용자 DB는, 저장부(120), 외부 데이터베이스(140) 및 클라우드 서버 중 적어도 하나에 포함될 수 있다.
제어부(130)는, 사용자 DB로부터 타겟 유저(1000)의 얼굴 이미지와 대응되는 인물을 검색하고, 검색된 인물에 매칭된 사용자 정보를 추출할 수 있다.
사용자 DB에는 개별 인물(또는 사람) 단위로, 각각의 인물에 대한 사용자 정보가 저장될 수 있다. 즉, 사용자 DB에는, 서로 다른 인물 마다 각각에 대응되는 사용자 정보가 매칭되어 저장될 수 있다.
여기에서, 사용자 정보는, 각각의 인물에 해당하는 사람의 이름, 생년월일, 주소, 전화번호, 메일 주소, 계정 정보, 사번, ID, 얼굴 이미지, 생체 정보(지문 정보, 홍채 정보 등), 참조 얼굴 이미지, 전자기기의 식별 정보, 일정(스케줄)과 관련된 정보, 특정 기능(또는 특정 이벤트)에 대한 권한 정보 중 적어도 하나를 포함할 수 있다.
여기에서, 참조 얼굴 이미지는, 특정 인물에 대한 얼굴 이미지로서, 하나 또는 복수 일 수 있다. 본 발명에서, “참조 얼굴 이미지”는 “참조 데이터”로도 명명될 수 있다.
제어부(130)는, 카메라(11)를 통해 획득된 타겟 유저의 얼굴 이미지와, 사용자 DB에 저장된 참조 얼굴 이미지를 비교하여, 상기 타겟 유저의 얼굴 이미지와 대응되는 참조 얼굴 이미지에 매칭된 인물을 검색할 수 있다. 그리고, 제어부(130)는 검색된 인물을 상기 타겟 유저로 특정하고, 상기 검색된 인물에 매칭된 사용자 정보를 사용자 DB로부터 추출할 수 있다.
제어부(130)는 검출된 타겟 유저(1000)의 얼굴 이미지와 기 설정된 조건을 만족하는 유사도를 갖는 특정 참조 얼굴 이미지를 사용자 DB로부터 추출할 수 있다. 그리고, 추출된 상기 특정 참조 얼굴 이미지에 매칭된 인물을 상기 타겟 유저로서 특정할 수 있다.
제어부(130)는 도 3a의 (b)에 도시된 것과 같이, 타겟 유저(1000)에 대한 검색이 진행되는 동안, 전자기기(10)에 현재 진행 상황에 대한 안내 정보(예를 들어, “당신을 찾고 있습니다”)가 출력되도록 디스플레이부(12)를 제어할 수 있다. 제어부(130)는, 디스플레이부(12)에 사용자 인증에 대한 현재 진행 상황에 대한 안내 정보(예를 들어, “당신을 찾고 있습니다”)를 제공할 수 있다.
도시와 같이, 디스플레이부(12)에는, 카메라(11)를 통해 촬영된 영상이 출력될 수 있다. 이때, 출력되는 영상에는, 타겟 유저(1000)의 얼굴 이미지가 포함될 수 있다.
한편, 위에서 살펴본 것과 같이, 타겟 유저(1000)에 해당하는 인물이 특정되고, 특정된 인물(예를 들어, 박*경)에 대한 사용자 정보가 출력된 경우, 제어부(130)는 상기 사용자 정보 중 적어도 일부를 디스플레이부(12)에 제공할 수 있다.
따라서, 도 3a의 (c)에 도시된 것과 같이, 타겟 유저(1000)에 해당하는 인물에 대응되는 사용자 정보의 적어도 일부(예를 들어, 이름 정보(박*경)는, 디스플레이부(12)에 출력될 수 있다. 따라서, 타겟 유저(1000)는 디스플레이부(12)에 출력되는 정보를 참조하여, 자신과 관련된 사용자 인증이 이루어지는지 확인할 수 있다.
위에서 살펴본 것과 같이, 타겟 유저(1000)에 대한 사용자 정보가 추출된 경우, 본 발명에서는, 추출된 사용자 정보를 이용하여, 타겟 유저(1000)에 대한 사용자 인증을 수행하는 과정이 수행된다(S230).
보다 구체적으로, 제어부(130)는 추출된 사용자 정보를 이용하여, 타겟 기능에 대한 사용자 인증을 수행할 수 있다. 예를 들어, 도 3a의 (c)에 도시된 것과 같이, 전자기기(10)가 배치된 장소가 카페인 경우, 타겟 기능은, 결제 기능으로 특정될 수 있다. 이 경우, 본 발명에 따른 사용자 인증 시스템(100)은 사용자 인증에 기반하여 결제 기능이 실행되도록 프로그래밍 될 수 있다.
본 발명에서, 사용자 인증은, 타겟 기능과 연계되어 이루어지는 것으로서, 제어부(130)는, 사용자 인증의 성공 또는 실패를, 특정 기능의 i) 승인 또는 거절, ii) 활성화 또는 비활성화, iii) 실행 또는 미실행을 위한 제어 명령으로 활용할 수 있다.
예를 들어, 사용자 인증이 성공한 경우, 제어부(130)는 타겟 기능을 승인, 활성화 또는 실행할 수 있다. 그리고, 사용자 인증이 실패한 경우, 제어부(130)는 특정 기능을 거절, 비활성화 또는 실행하지 않을 수 있다.
한편, 제어부(130)는, 상기 디스플레이부(12) 상에, 사용자 인증이 이루어지는 타겟 기능(또는 특정 기능)에 대한 정보(또는 특정 기능 정보, 타겟 기능 정보)가 출력되도록 디스플레이부(12)를 제어할 수 있다.
디스플레이부(12)에는 도 3a의 (c)에 도시된 것과 같이, 타겟 유저(1000)의 얼굴 이미지에 근거하여 검색된 인물에 대한 사용자 정보와 함께, 상기 사용자 인증의 대상이 되는 타겟 기능에 대한 타겟 기능 정보(예를 들어, “카페라떼 700원 결제하시겠습니까”)가 더 포함될 수 있다. 이를 통해, 타겟 유저는, 현재 전자기기(10)에서 수행되고 있는 사용자 인증이 어떤 기능을 위한 사용자 인증인지를 직관적으로 파악할 수 있다.
한편, 제어부(130)는, 상기 타겟 유저(1000)의 얼굴 이미지 뿐만 아니라, 타겟 유저(1000)의 제스처에 기반하여, 사용자 인증을 수행할 수 있다.
제어부(130)는 카메라(11)를 통하여, 타겟 유저(1000)의 얼굴을 센싱하는 것뿐 아니라, 타겟 유저(1000)의 제스처를 센싱할 수 있다.
여기에서, 타겟 유저(1000)의 제스처는, 타겟 유저의 몸짓, 행동 및 입모양 중 적어도 하나를 포함할 수 있다.
제어부(130)는, 타겟 유저(1000)의 제스처에 근거하여, 타겟 유저에 대한 사용자 인증을 완료할지 여부를 결정할 수 있다.
이때, 제어부(130)는 제스처를 취한 주체의 얼굴 이미지와, 기 센싱된 타겟 유저(1000)의 얼굴 이미지를 비교하여, 상기 제스처가, 타겟 유저(1000)에 의하여 취해졌는지를 판단할 수 있다. 그리고, 제어부(130)는 상기 제스처를 취한 주체가, 상기 타겟 유저에 해당하는 경우에 한하여, 사용자 인증을 완료할 수 있다.
여기에서, “사용자 인증의 완료”는, 사용자 인증의 최종 상태로서, 사용자 인증의 최종 상태는, i) 사용자 인증 성공 또는 ii) 사용자 인증 실패 중 적어도 하나의 상태를 포함할 수 있다.
본 발명에서, 사용자 인증의 최종 상태는, 타겟 유저(1000)에 대한 정확한 인물을 검색한 후, 타겟 유저(1000)의 제스처에 근거하여 타겟 기능(또는 타겟 기능)에 대한 승인, 거절, 실행, 미실행, 활성 또는 비활성 여부가 결정되는 것을 의미할 수 있다.
즉, 제어부(130)에 의해, 타겟 유저(1000)에 대응되는 인물이 검색되고, 해당 인물에 대한 사용자 정보가 추출된 경우라도, 제어부(130)는 타겟 유저(1000)의 제스처에 근거하여, 특정 기능(예를 들어, 결제 기능)의 실행을 거절할 수 있다.
이때, 제어부(130)는 도 3a의 (c)에 도시된 것과 같이, 디스플레이부(12)에, 타겟 유저(1000)에 대한 사용자 정보(예를 들어, 이름 정보) 및 사용자 인증이 요구되는 타겟 기능 정보(예를 들어, 결제 기능) 중 적어도 하나가 출력되고 난 후, 상기 타겟 유저(1000)의 제스처를 센싱할 수 있다. 이는, 타겟 유저(1000)가 디스플레이부(12)를 통해, 현재 진행되고 있는 사용자 인증 상황을 확인한 후 취해지는 제스처를 센싱받기 위함이다. 즉, 타겟 유저는, 디스플레이부(12)를 통해 제공되는 정보를 통하여 현재 진행되고 있는 사용자 인증이 어떤 특정 기능에 대한 것인지에 대한 상황을 파악할 수 있으며, 해당 상황을 확인한 후, 사용자 인증에 대한 의사를 제스처로서 나타낼 수 있다.
제어부(130)는, 상기 디스플레이부(12)에, 사용자 정보(예를 들어, 이름 정보) 및 사용자 인증이 요구되는 타겟 기능 정보(예를 들어, 결제 기능) 중 적어도 하나가 출력된 상태에서, 카메라(11)를 통해 영상을 수신할 수 있다. 그리고, 제어부(130)는, 수신되는 영상으로부터, 타겟 유저(1000)의 제스처를 검출할 수 있다.
한편, 본 발명에서는, 타겟 유저(1000)의 제스처를 검출하기 위하여, 카메라(11)로부터 영상을 수신하는 시점, 수신된 영상에서 제스처를 검출하는 시점이 다양하게 변형될 수 있음은 물론이다.
한편, 저장부(120)에는, 서로 다른 제어 명령에 각각 대응되는 제스처에 대한 정보가 저장되어 존재할 수 있다. 따라서, 제어부(130)는 영상으로부터 타겟 유저(1000)의 제스처를 검출하고, 검출된 제스처에 매칭된 제어 명령을, 저장부(120)로부터 추출할 수 있다. 그리고, 사용자 인증이 요구되는 타겟 기능에 대해 추출된 제어 명령에 대응되는 제어를 수행할 수 있다.
예를 들어, 제어부(130)는, 타겟 유저(1000)의 제스처가, 상기 사용자 인증을 동의하는 제어 명령에 매칭된 기 설정된 제1 제스처에 대응되는 경우, 타겟 기능에 대한 사용자 인증을 성공으로 처리할 수 있다. 예를 들어, 제어부(130)는, 도 3b의 (a)에 도시된 것과 같이, 카메라(11)를 통해 수신되는 영상에서, 타겟 유저(1000)에 의해 취해지는 제1 제스처(예를 들어, 고개를 끄덕이는 동작)가 검출된 경우, 특정 기능(또는 타겟 기능)에 대한 사용자 인증을 성공으로 처리할 수 있다. 예를 들어, 특정 기능은 도시와 같이, 결제 기능일 수 있다. 제어부(130)는 도시와 같이, 디스플레이부(12)에 사용자 인증의 처리 결과에 대한 정보(예를 들어, “결제가 완료 되었습니다”, 340)를 제공할 수 있다. 따라서, 디스플레이부(12)에는, 사용자 인증의 처리 결과에 대한 정보가 출력될 수 있다.
또 다른 예를 들어, 제어부(130)는, 타겟 유저(1000)의 제스처가, 상기 사용자 인증을 거절(비동의)하는 제어 명령에 매칭된 기 설정된 제2 제스처에 대응되는 경우, 타겟 기능에 대한 사용자 인증을 실패로 처리할 수 있다. 예를 들어, 제어부(130)는, 도 3b의 (b)에 도시된 것과 같이, 카메라(11)를 통해 수신되는 영상에서, 타겟 유저(1000)에 의해 취해지는 제2 제스처(예를 들어, 고개를 좌우로 흔드는 동작)가 검출된 경우, 특정 기능(또는 타겟 기능)에 대한 사용자 인증을 실패로 처리할 수 있다. 예를 들어, 특정 기능은 도시와 같이, 결제 기능일 수 있다. 제어부(130)는 도시와 같이, 디스플레이부(12)에 사용자 인증의 처리 결과에 대한 정보(예를 들어, “결제가 취소 되었습니다”, 350)를 제공할 수 있다. 따라서, 디스플레이부(12)에는, 사용자 인증의 처리 결과에 대한 정보가 출력될 수 있다.
따라서, 본 발명에 따른 사용자 인증 방법 및 시스템은, 센싱된 사용자의 얼굴 이미지 뿐만 아니라, 사용자의 제스처에 기반하여, 사용자 인증에 대한 사용자의 의도를 파악할 수 있다. 따라서, 본 발명에 따른 사용자 인증 방법 및 시스템은, 사용자의 제스처에 기반하여, 사용자 인증을 수행하고자 하는 사용자의 진위를 파악하여, 사용자의 의도에 따른 사용자 인증을 수행할 수 있다.
한편, 도 3a의 (c)에 도시된 것과 같이, 제어부(130)는 제스처에 매칭된 제어 명령에 대한 가이드 정보(320)를 디스플레이부(12)에 제공할 수 있다. 따라서, 타겟 유저는, 어느 제스처를 취해야지, 특정 기능과 관련하여 자신이 원하는 결과를 얻을 수 있을지 직관적으로 파악할 수 있다.
한편, 제어부(130)는 사용자 인증이 완료되는 경우, 카메라(11)로부터 획득된 타겟 유저의 얼굴 이미지를, 사용자 DB에 포함시킬 수 있다. 제어부(130)는 타겟 유저에 대응되는 인물의 사용자 정보에, 상기 얼굴 이미지가 포함되도록 사용자 DB를 업데이트 할 수 있다.
이하에서는, 카메라에 인식된 타겟 유저에 대한 사용자 인증이 진행되는 과정에서, 다른 사용자가 인식된 경우에 대하여 살펴보도록 한다.
도 5의 (a) 및 (b)에 도시된 것과 같이, 본 발명에서는, 타겟 유저(1000a)에 대한 사용자 인증이 수행되고 있는 상태에서, 도 5a의 (c)에 도시된 것과 같이, 카메라(11)를 통해 타겟 유저(1000a)와 다른 유저(1000b)의 얼굴 이미지가 센싱 될 수 있다. 이때, 다른 유저(1000b)는 사용자 인증을 수행하고 싶어하는 사용자일 수 있고 또는 타겟 유저(1000a)를 가리는 사용자일 수 있다.
제어부(130)는, 타겟 유저(1000a)에 대한 사용자 인증을 완료하기 위하여, 다른 유저(1000b)가 인식되더라도, 타겟 유저(1000a)에 대한 사용자 인증을 계속하여 수행할 수 있다. 일 예로서, 제어부(130)는, 타겟 유저(1000a)가 다른 유저(1000b)에 의해 카메라(11)에서 가려지더라도, 타겟 유저(1000a)의 적어도 일부가 인식되기만 하면, 타겟 유저(1000a)에 대한 사용자 인증을 계속하여 수행할 수 있다. 즉, 본 발명에서 제어부(130)는, 카메라(11) 주변에 타겟 유저(1000a)가 계속하여 위치하고 있는 상황을, 타겟 유저(1000a)가 계속하여 사용자 인증을 수행하고자 하는 의도로 파악할 수 있다.
한편, 제어부(130)는, 도 5의 (c)에 도시된 것과 같이, 다른 유저(1000b)가 기 설정된 시간 이상 동안 카메라(11)에서 센싱되는 경우, 상기 타겟 유저(1000a)에 대한 사용자 인증을 종료할 수 있다. 그리고, 제어부(130)는 도 5의 (d)에 도시된 것과 같이, 카메라(11)로부터 수신되는 영상에서 다른 유저(1000b)의 얼굴 이미지를 검출할 수 있다. 나아가, 제어부(130)는 사용자 DB에 포함된 참조 얼굴 이미지들과 검출된 다른 유저(1000b)의 얼굴 이미지를 비교하여, 다른 유저(1000b)에 대응되는 인물을 특정할 수 있다. 그리고, 사용자 DB로부터 특정된 인물에 매칭된 사용자 정보를 추출하고, 추출된 정보를 이용하여 앞에서 살펴본 다른 유저(1000b)에 대한 일련의 사용자 인증 과정을 수행할 수 있다. 이 경우, 타겟 유저(1000a)에 대한 사용자 인증이 완료되지 않은 상태이더라도, 제어부(130)는 타겟 유저(1000a)에 대한 사용자 인증을 종료할 수 있다.
이와 같이, 제어부(130)는 카메라(11)를 통해 타겟 유저(1000a) 및 다른 유저(1000b)가 센싱되는 정보에 근거하여, 사용자 인증을 수행하고자 하는 타겟 유저(1000a) 및 다른 유저(1000b)의 의도를 판단할 수 있다. 그리고, 제어부(130)는 판단 결과에 근거하여, 타겟 유저(1000a) 및 다른 유저(1000b) 중 어느 하나에 대한 사용자 인증을 수행할 수 있다.
제어부(130)는 기 설정된 센싱 조건에 근거하여, 타겟 유저(1000a) 및 다른 유저(1000b) 중 어느 하나에 대한 사용자 인증을 수행할 수 있다. 이러한 기 설정된 센싱 조건은, 카메라(11)를 통해 수신되는 영상에서 타겟 유저(1000a) 및 다른 유저(1000b)의 얼굴 이미지가 검출된 시간 길이, 자세 및 차지하는 면적 중 적어도 하나에 근거하여 결정될 수 있다.
예를 들어, 기 설정된 센싱 조건은, i) 타겟 유저(1000a)에 대해 사용자 인증이 진행되고 있는 상태에서, 카메라(11)를 통해 다른 유저(1000b)의 얼굴 이미지가 기 설정된 된 이상 동안 검출되었는지 여부, ii) 다른 유저(1000b)의 얼굴 이미지가 카메라(11)를 정면으로 바라보고 있는지 여부, iii) 타겟 유저(1000a)가 카메라(11)를 바라보고 있지 않은지 여부, iv) 카메라(11)를 통해 수신된 영상에서, 타겟 유저(1000a)의 얼굴 이미지가 차지하는 비율이, 다른 유저(1000b)의 얼굴 이미지가 차지하는 비율보다 적은지 여부 등과 같은 서브 조건들이 적어도 하나 조합되어 설정될 수 있다.
따라서, 제어부는, 카메라(11)를 통해 수신된 영상에서, 타겟 유저(1000a) 및 다른 유저(1000b) 중 적어도 하나의 얼굴 이미지가 검출된 시간을 카운팅하거나, 차지하는 면적을 산출함으로써, 타겟 유저(1000a) 및 다른 유저(1000b) 중 어느 하나에 대한 사용자 인증을 수행할 수 있다.
이와 같이, 제어부(130)는 카메라(11)를 통해 타겟 유저(1000a) 및 다른 유저(1000b)가 센싱되는 정보에 근거하여, 사용자 인증을 수행하고자 하는 타겟 유저(1000a) 및 다른 유저(1000b)의 의도를 판단하여, 사용자들에 대한 적절한 사용자 인증을 제공할 수 있다.
이하에서는, 사용자 DB로부터 타겟 유저(1000)에 대응되는 인물의 특정이 잘못되거나, 또는 복수의 인물이 특정되는 경우의 처리 방법에 대하여 살펴보도록 한다.
앞서 살펴본 것과 같이, 제어부(130)는, 카메라(11)를 통해 획득된 타겟 유저의 얼굴 이미지와, 사용자 DB에 저장된 참조 얼굴 이미지를 비교하여, 상기 타겟 유저의 얼굴 이미지와 대응되는 참조 얼굴 이미지에 매칭된 인물을 검색할 수 있다. 그리고, 제어부(130)는 검색된 인물을 상기 타겟 유저로 특정하고, 상기 검색된 인물에 매칭된 사용자 정보를 사용자 DB로부터 추출할 수 있다.
이때, 카메라(11)로부터 획득된 타겟 유저(1000)의 얼굴 이미지와 사용자 DB에 저장된 참조 얼굴 이미지 간의 유사도가 낮거나, 타겟 유저(1000)의 현재 모습이 참조 얼굴 이미지에 해당하는 모습과 상이한 경우, 제어부(130)는 사용자 DB로부터 타겟 유저(1000)에 대응되는 정확한 인물을 검색하지 못할 수 있다.
이를 대비하여, 본 발명에서는, 타겟 유저(1000)가 언제라도, 이에 대한 피드백을 전자기기(10) 또는 제어부(130)로 입력할 수 있도록, 가이드 정보를 제공할 수 있다.
예를 들어, 도 6a의 (a) 및 (b)에 도시된 것과 같이, 제어부(130)는 타겟 유저에 대응되는 인물에 대한 사용자 정보(예를 들어, 박새**, 김진*)가 추출된 경우이더라도, 추출된 사용자 정보에 대한 오류여부를 입력받기 위한 GUI(Graphic User Interface 또는 그래픽 객체, 610, 620)를 디스플레이부(12)에 제공할 수 있다.
제어부(130)는 상기 GUI(Graphic User Interface, 610, 620)가 선택되는 경우, 카메라(11)를 통해 타겟 유저를 다시 촬영하고, 촬영된 영상으로부터 타겟 유저의 얼굴 이미지를 검출할 수 있다, 그리고, 검출된 얼굴 이미지에 대응되는 인물을 사용자 DB로부터 다시 검색한 후, 다시 검색된 인물에 대한 사용자 정보를 디스플레이부(12)에 출력시킬 수 있다.
이때, 제어부(130)는 다시 검색된 인물과, 다시 검색되기 전에 검색되었던 인물이 동일 인물인 경우, 얼굴 인식 방법이 아닌 다른 방법을 통한 사용자 인증 프로세스를 실행할 수 있다. 다시 검색된 인물에 대한 사용자 정보는 디스플레이부(12) 상에 출력되지 않을 수 있다.
한편, 다시 검색된 인물과, 다시 검색되기 전에 검색되었던 인물이 동일 인물인 경우, 제어부(130)는 타겟 유저로부터, 타겟 유저의 식별 정보(예를 들어, 전화 번호, 사번, 계정 정보, 주소, 이름 등)를 입력 받기 위한 GUI를 디스플레이부(12) 상에 제공할 수 있다. 그리고, 제공된 GUI를 통해 입력된 타겟 유저의 식별 정보를 이용하여, 사용자 DB로부터 타겟 유저에 해당하는 인물을 검색하고, 검색된 인물에 대응되는 사용자 정보를 이용하여 타겟 유저에 대한 사용자 인증을 수행할 수 있다.
제어부(130)는 검출된 타겟 유저(1000)의 얼굴 이미지와 기 설정된 조건을 만족하는 유사도를 갖는 특정 참조 얼굴 이미지를 사용자 DB로부터 추출할 수 있다. 그리고, 추출된 상기 특정 참조 얼굴 이미지에 매칭된 인물을 상기 타겟 유저로서 특정할 수 있다.
앞서 살펴본 것과 같이, 제어부(130)는, 카메라(11)를 통해 획득된 타겟 유저의 얼굴 이미지와, 사용자 DB에 저장된 참조 얼굴 이미지를 비교하여, 상기 타겟 유저의 얼굴 이미지와 대응되는 참조 얼굴 이미지에 매칭된 인물을 검색할 수 있다. 그리고, 제어부(130)는 검색된 인물을 상기 타겟 유저로 특정하고, 상기 검색된 인물에 매칭된 사용자 정보를 사용자 DB로부터 추출할 수 있다.
한편, 제어부(130)는 사용자 DB로부터, 타겟 유저의 얼굴 이미지와 기 설정된 조건을 만족하는 유사도(또는 기 설정된 유사도 조건)을 갖는 참조 얼굴 이미지를 검색하고, 검색된 참조 얼굴 이미지에 대응되는 인물을 타겟 유저에 대응되는 인물로서 특정하도록 이루어진다. 한편, 사용자 DB로부터, 복수의 참조 얼굴 이미지가 검색될 수 있다. 이때, 복수의 참조 얼굴 이미지는 서로 다른 인물에 각각 대응되는 이미지일 수 있다.
이 경우, 제어부(130)는 검색된 복수의 참조 이미지에 각각 대응되는 복수의 인물들의 사용자 정보를 추출하고 추출된 사용자 정보를 이용하여, 타겟 유저로부터, 자신에 해당하는 사용자 정보를 선택받기 위한 GUI를 도 6b의 (a)에 도시된 것과 같이, 디스플레이부(12)에 제공할 수 있다. 도시된 것과 같이, 디스플레이부)(12)에는, 복수의 참조 얼굴 이미지 각각에 대응되는 복수의 인물 중 어느 하나를 선택받기 위한 그래픽 객체(630, 640)가 출력될 수 있다.
출력된 그래픽 객체(630, 640)는 서로 다른 인물에 각각 대응되며, 각각 대응되는 인물의 사용자 정보(또는 식별 정보, 예를 들어, 계정 정보, 메일 주소, 이름 등)를 포함할 수 있다.
그리고, 제어부(130)는, 도 6b의 (a)에 도시된 것과 같이, 상기 그래픽 객체(630, 640) 중 타겟 유저로부터 선택된 그래픽 객체(630)에 매칭된 특정 인물을, 타겟 유저에 해당하는 인물로서 특정할 수 있다. 그리고, 제어부(130)는 도 6b의 (b)에 도시된 것과 같이, 특정된 인물에 매칭된 사용자 정보를 이용하여, 상기 타겟 유저에 대한 사용자 인증을 수행할 수 있다.
한편, 제어부(130)는 사용자 인증이 완료되는 경우, 카메라(11)로부터 획득된 타겟 유저의 얼굴 이미지를, 사용자 DB에 포함시킬 수 있다. 제어부(130)는, 상기 특정된 인물에 대응되는 사용자 정보에, 상기 얼굴 이미지가 포함되도록 사용자 DB를 업데이트 할 수 있다.
그리고, 제어부(130)는 상기 타겟 유저의 얼굴 이미지를, 상기 타겟 유저에 대응되는 인물의 참조 얼굴 이미지로서 설정할 수 있다. 그리고, 제어부(130)는 다음번 상기 타겟 유저에 대한 사용자 인증이 수행되는 경우, 새롭게 설정된 참조 이미지를 이용하여, 타겟 유저를 특정할 수 있다.
다른 예로서, 제어부(130)는 사용자 DB로부터, 타겟 유저의 얼굴 이미지와 기 설정된 조건을 만족하는 유사도(또는 기 설정된 유사도 조건)을 갖는 참조 얼굴 이미지를 검색하고, 검색된 참조 얼굴 이미지에 대응되는 인물을 타겟 유저에 대응되는 인물로서 특정하도록 이루어진다. 한편, 사용자 DB로부터, 복수의 참조 얼굴 이미지가 검색될 수 있다. 이때, 복수의 참조 얼굴 이미지는 서로 다른 인물에 각각 대응되는 이미지일 수 있다.
이 경우, 제어부(130)는 도 6c에 도시된 것과 같이, 서로 다른 인물에 각각 대응되는 복수의 참조 얼굴 이미지(671, 672, 673)를 디스플레이부 상에 출력시킬 수 있다.
그리고, 제어부(130)는 복수의 참조 얼굴 이미지(671, 672, 673) 중, 타겟 유저로부터 어느 하나의 이미지가 선택되면, 선택된 참조 얼굴 이미지에 매칭된 인물을 타겟 유저에 해당하는 인물로서 특정할 수 있다.
나아가, 제어부(130)는, 검색된 참조 얼굴 이미지가 복수인 경우, 검색된 복수의 참조 얼굴 이미지 중 카메라(11)를 통해 촬영된 타겟 유저의 얼굴 이미지와 유사도가 더 높은(또는 가장 높은) 특정 참조 얼굴 이미지(또는 제1 참조 얼굴 이미지)에 매칭된 특정 인물(또는 제1 인물)의 사용자 정보를 상기 사용자 DB로부터 추출할 수 있다.
그리고, 제어부(130)는, 디스플레이부에, 상기 특정 인물(또는 제1 인물) 인물의 사용자 정보(650)와 함께, 상기 검색된 복수의 참조 얼굴 이미지 중 상기 특정 참조 얼굴 이미지(또는 제1 참조 얼굴 이미지)와 다른 참조 얼굴 이미지(또는 제2 참조 얼굴 이미지(671, 672, 673))를 제공할 수 있다.
즉, 제어부(130)는 타겟 유저의 얼굴 이미지와 가장 높은 유사도를 갖는 참조 얼굴 이미지에 해당하는 인물을 타겟 유저에 해당하는 인물로서 1차적으로 특정하되, 다른 인물이 타겟 유저에 해당할 수도 있다는 가능성을 열어둘 수 있다.
한편, 제어부(130)는, 도 6c에 도시된 것과 같이, 상기 특정 인물(또는 제1 인물) 인물의 사용자 정보(650)와 함께, 상기 다른 참조 얼굴 이미지(또는 제2 참조 얼굴 이미지(671, 672, 673))가 디스플레이부에 출력되고 있는 상태에서, 카메라(110)를 통해, 타겟 유저의 기 설정된 조건을 만족하는 제스처(예를 들어, 사용자 인증과 관련된 제스처)가 센싱되는 경우, 타겟 유저를 상기 제1 인물로 특정할 수 있다. 그리고, 제어부(130)는, 상기 특정 인물(또는 제1 인물) 인물의 사용자 정보(650)를 이용하여 사용자 인증을 수행할 수 있다.
한편, 이와 다르게, 상기 특정 인물(또는 제1 인물) 인물의 사용자 정보(650)와 함께, 상기 다른 참조 얼굴 이미지(또는 제2 참조 얼굴 이미지(671, 672, 673))가 디스플레이부에 출력되고 있는 상태에서, 상기 타겟 유저로부터 상기 다른 참조 얼굴 이미지(또는 제2 참조 얼굴 이미지(671, 672, 673)) 중 어느 하나에 대한 선택이 이루어질 수 있다. 이 경우, 제어부(130)는, 사용자 DB로부터, 타겟 유저로부터 선택받은 다른 참조 얼굴 이미지(또는 제2 참조 얼굴 이미지)에 대응되는 특정 인물(또는 제2 인물)을 상기 타겟 유저에 해당하는 인물로서 특정할 수 있다. 그리고, 제어부(130)는, 사용자 DB로부터, 타겟 유저로부터 선택받은 다른 참조 얼굴 이미지(또는 제2 참조 얼굴 이미지)에 해당하는 특정 인물(또는 제2 인물)의 사용자 정보를 추출하고, 이를 이용하여, 타겟 유저에 대한 사용자 인증을 수행할 수 있다.
한편, 이 경우에도 마찬가지로, 제어부(130)는, 타겟 유저로서 특정된 인물(제1 인물 또는 제2 인물)에 대응되는 사용자 정보에, 카메라(11)로부터 획득된 타겟 유저의 얼굴 이미지가 포함되도록 사용자 DB를 업데이트 할 수 있다. 그리고, 제어부(130)는 상기 타겟 유저의 얼굴 이미지를, 상기 타겟 유저에 대응되는 인물의 참조 얼굴 이미지로서 설정할 수 있다. 그리고, 제어부(130)는 다음번 상기 타겟 유저에 대한 사용자 인증이 수행되는 경우, 새롭게 설정된 참조 이미지를 이용하여, 타겟 유저를 특정할 수 있다.
이하에서는, 사용자 DB에 타겟 유저(1000)에 대응되는 인물의 사용자 정보가 존재하지 않는 경우, 사용자 인증을 수행하는 방법에 대하여 살펴보도록 한다.
앞서 살펴본 것과 같이, 제어부(130)는, 카메라(11)를 통해 획득된 타겟 유저의 얼굴 이미지와, 사용자 DB에 저장된 참조 얼굴 이미지를 비교하여, 상기 타겟 유저의 얼굴 이미지와 대응되는 참조 얼굴 이미지에 매칭된 인물을 검색할 수 있다. 그리고, 제어부(130)는 검색된 인물을 상기 타겟 유저로 특정하고, 상기 검색된 인물에 매칭된 사용자 정보를 사용자 DB로부터 추출할 수 있다.
이때, 사용자 DB에는, 카메라(11)로부터 획득된 타겟 유저(1000)의 얼굴 이미지와 대응되는 참조 얼굴 이미지가 존재하지 않을 수 있다.
이 경우, 제어부(130)는 도 7a의 (a) 및 (b) 얼굴 인식 방법이 아닌 다른 방법을 통한 사용자 인증 프로세스를 실행할 수 있다. 제어부(130)는 도 7a에 도시된 것과 같이, 디스플레이부(12) 상에, 사용자 DB에 존재하는 참조 얼굴 이미지가 없음을 알리는 가이드 정보(710)를 출력시킬 수 있다.
그리고, 제어부(130)는 도 7a의 (b) 및 (c)에 도시된 것과 같이, 타겟 유저로부터, 타겟 유저의 식별 정보(예를 들어, 전화 번호, 사번, 계정 정보, 주소, 이름 등)를 입력 받기 위한 GUI(720)를 디스플레이부(12) 상에 제공할 수 있다.
이와 같이, 사용자 DB에 상기 타겟 유저의 얼굴 이미지에 대응되는 사용자 정보가 존재하지 않는 경우, 도 7a의 (b)에 도시된 것과 같이, 디스플레이부(12)에는, 상기 타겟 유저의 식별 정보를 입력 받기 위한 GUI(Graphic User Interface)가 표시될 수 있다. 제어부(130)는 제공된 GUI(720)를 통해 입력된 타겟 유저의 식별 정보를 이용하여, 사용자 DB로부터 타겟 유저에 해당하는 인물을 검색하고, 검색된 인물(예를 들어, 김진*)에 대응되는 사용자 정보를 이용하여 타겟 유저에 대한 사용자 인증을 수행할 수 있다.
나아가, 제어부(130)는 상기 카메라(11)로부터 센싱된 타겟 유저의 얼굴 이미지를, 상기 검색된 인물의 참조 이미지로서 등록하기 위한 프로세스를 진행할 수 있다. 즉, 제어부(130)는 검색된 인물의 사용자 정보에, 상기 타겟 유저의 얼굴 이미지를 포함시켜, 상기 타겟 유저가, 다음 번에, 얼굴 인식 방법을 통하여 사용자 인증을 수행하도록 할 수 있다.
이를 위하여, 제어부(130)는 도 7b의 (a) 및 (b)에 도시된 것과 같이, 타겟 유저의 얼굴 이미지를 등록하는 것을 타겟 유저로부터 선택받기 위한 GUI(740)를 디스플레이부(12) 상에 출력시킬 수 있다. 타겟 유저에 의해 상기 GUI(740)가 선택되는 경우, 제어부(130)는 타겟 유저의 얼굴 이미지가, 상기 타겟 유저의 사용자 정보에 대응되는 인물의 참조 얼굴 이미지로서 등록되도록 사용자 DB를 업데이트할 수 있다.
한편, 제어부(130)는, 사용자 DB에 상기 타겟 유저의 참조 얼굴 이미지가 미등록된 상태에서, 상기 타겟 유저가 얼굴 인식 방법이 아닌 다른 사용자 인증 방법으로 사용자 인증이 기 설정된 횟수만큼 이루어진 경우, 상기 타겟 유저의 얼굴 이미지를 참조 이미지로 등록하기 위한 프로세스를 진행할 수 있다.
보다 구체적으로 제어부(130)는 상기 기 설정된 횟수만큼의 사용자 인증이 이루어지는 동안, 타겟 유저의 복수의 얼굴 이미지들 간에 유사도를 분석할 수 있다. 즉, 제어부(130)는 상기 다른 사용자 인증 방법으로 상기 타겟 유저에 대한 사용자 인증이 진행되는 경우이더라도, 카메라(11)를 통해 타겟 유저의 얼굴 이미지를 획득하고, 획득된 얼굴 이미지를 저장부(120)에 저장할 수 있다.
그리고, 제어부(130)는, 상기 기 설정된 횟수만큼에 걸쳐, 다른 사용자 인증 방법으로 사용자 인증이 이루어지는 상황에서 획득된 복수의 타겟 유저의 얼굴 이미지들 간의 유사도를 분석할 수 있다. 그리고, 복수의 타겟 유저의 얼굴 이미지들 간의 유사도가 기 설정된 유사도 기준을 만족하는 경우, 타겟 유저의 얼굴 이미지를 등록하기 위한 프로세스를 진행할 수 있다.
즉, 제어부(130)는 다른 인증 방법으로 사용자 인증을 수행한 타겟 유저가, 사용자 인증의 대상에 해당하는 진정한 사용자가 맞는지를 확인하기 위하여, 서로 다른 시점에 획득된 타겟 유저의 얼굴 이미지들 간의 비교를 수행할 수 있다. 따라서, 제어부(130)는, 이미지 비교 결과, 동일한 타겟 유저가 복수번(또는 기 설정된 횟수만큼)에 걸쳐, 동일한 인물에 대해 사용자 인증을 수행한 경우에 한하여, 얼굴 이미지를 등록하기 위한 프로세스를 진행할 수 있다.
이상에서 살펴본 것과 같이, 본 발명에 따른 사용자 인증 방법 및 시스템은, 사용자의 의도를 파악하여, 보다 직관적으로 사용자 인증을 수행할 수 있는 사용자 인증 방법 및 시스템을 제공하기 위한 것이다.
나아가, 본 발명은, 사용자의 직접적인 정보 입력 없이도, 사용자에 대한 인증을 수행할 수 있는 사용자 인증 방법 및 시스템을 제공하기 위한 것이다.
더 나아가, 본 발명은, 사용자 인증을 수행할지에 대한 사용자의 진정한 의도를 파악하여 사용자 인증을 완료할 수 있는 사용자 인증 방법 및 시스템을 제공하기 위한 것이다.
한편, 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
나아가, 컴퓨터가 읽을 수 있는 매체는, 저장소를 포함하며 전자기기가 통신을 통하여 접근할 수 있는 서버 또는 클라우드 저장소일 수 있다. 이 경우, 컴퓨터는 유선 또는 무선 통신을 통하여, 서버 또는 클라우드 저장소로부터 본 발명에 따른 프로그램을 다운로드 받을 수 있다.
나아가, 본 발명에서는 위에서 설명한 컴퓨터는 프로세서, 즉 CPU(Central Processing Unit, 중앙처리장치)가 탑재된 전자기기로서, 그 종류에 대하여 특별한 한정을 두지 않는다.
한편, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (19)

  1. 카메라를 이용하여, 타겟 유저의 얼굴 이미지를 센싱하는 단계;
    사용자 DB로부터 상기 얼굴 이미지에 대응되는 사용자 정보를 추출하는 단계;
    상기 사용자 정보의 적어도 일부와 사용자 인증이 요구되는 타겟 기능에 관한 타겟 기능 정보를, 상기 사용자 인증이 수행되는 전자기기의 디스플레이부에 제공하는 단계;
    상기 카메라를 통해 상기 타겟 유저의 제스처를 센싱하는 단계; 및
    상기 사용자 정보 및 상기 타겟 유저의 제스처를 이용하여, 상기 타겟 기능의 실행을 승인 또는 거절을 위한 사용자 인증을 수행하는 단계를 포함하고,
    상기 사용자 인증을 수행하는 단계에서는,
    상기 타겟 유저의 제스처가, 상기 타겟 기능의 실행을 승인하기 위하여 상기 사용자 인증에 동의하는 제어명령에 기 매칭된 제스처인지 여부에 따라, 상기 타겟 기능의 실행을 승인하기 위한 상기 사용자 인증의 결과가 달라지는 것을 특징으로 하는 사용자 인증 방법.
  2. 제1항에 있어서,
    상기 사용자 인증을 수행하는 단계에서는,
    상기 디스플레이부에 상기 적어도 일부의 사용자 정보 및 상기 타겟 기능 정보가 제공된 후 센싱되는 상기 타겟 유저의 제스처에 근거하여 상기 사용자 인증을 수행하는 것을 특징으로 하는 사용자 인증 방법.
  3. 제1항에 있어서,
    상기 사용자 인증을 수행하는 단계에서는,
    상기 타겟 유저의 제스처가, 상기 타겟 기능의 실행을 승인하는 제어 명령에 매칭된 기 설정된 제1 제스처에 대응되는 경우,
    상기 타겟 기능의 실행을 위한 사용자 인증을 성공으로 처리하는 것을 특징으로 하는 사용자 인증 방법.
  4. 제3항에 있어서,
    상기 사용자 인증을 수행하는 단계에서는,
    상기 타겟 유저의 제스처가, 상기 타겟 기능의 실행을 거절하는 제어 명령에 매칭된 기 설정된 제2 제스처에 대응되는 경우,
    상기 타겟 기능의 실행을 위한 사용자 인증을 실패로 처리하는 것을 특징으로 하는 사용자 인증 방법.
  5. 제1항에 있어서,
    상기 사용자 인증을 수행하는 단계에서는,
    상기 타겟 유저에 대한 사용자 인증이 수행되고 있는 상태에서, 상기 카메라를 통해 상기 타겟 유저와 다른 유저의 얼굴 이미지가 센싱 되더라도, 상기 타겟 유저에 대한 사용자 인증을 수행하는 것을 특징으로 하는 사용자 인증 방법.
  6. 제5항에 있어서,
    상기 사용자 인증을 수행하는 단계에서는,
    상기 다른 유저의 얼굴 이미지가 기 설정된 시간 이상 센싱되는 경우, 상기 타겟 유저에 대한 사용자 인증을 종료하는 것을 특징으로 하는 사용자 인증 방법.
  7. 제6항에 있어서,
    상기 타겟 유저에 대한 사용자 인증이 종료되는 경우,
    상기 사용자 인증을 수행하는 단계에서는,
    상기 사용자 DB로부터 상기 다른 유저의 얼굴 이미지에 대응되는 사용자 정보를 추출하고, 상기 다른 유저의 사용자 정보를 이용하여, 상기 다른 유저에 대한 사용자 인증을 수행하는 것을 특징으로 하는 사용자 인증 방법.
  8. 제1항에 있어서,
    상기 사용자 정보를 추출하는 단계에서는,
    상기 사용자 DB에 저장된 참조 얼굴 이미지와 상기 타겟 유저의 얼굴 이미지를 비교하여, 상기 타겟 유저의 얼굴 이미지와 기 설정된 유사도 기준을 만족하는 참조 얼굴 이미지를 검색하고,
    상기 사용자 정보는,
    상기 검색된 참조 얼굴 이미지에 해당하는 인물의 사용자 정보인 것을 특징으로 하는 사용자 인증 방법.
  9. 제8항에 있어서,
    상기 검색된 참조 얼굴 이미지가 복수인 경우,
    상기 디스플레이부에는,
    상기 검색된 복수의 참조 얼굴 이미지 각각에 대응되는 복수의 인물 중 어느 하나를 선택받기 위한 그래픽 객체가 출력되고,
    상기 사용자 인증을 수행하는 단계에서는,
    상기 복수의 인물 중 상기 그래픽 객체를 통해 선택된 특정 인물에 매칭된 사용자 정보를 이용하여, 상기 타겟 유저에 대한 사용자 인증을 수행하는 것을 특징으로 하는 사용자 인증 방법.
  10. 제9항에 있어서,
    상기 특정 인물에 매칭된 사용자 정보에, 상기 타겟 유저의 얼굴 이미지가 포함되도록 상기 사용자 DB를 업데이트 하는 단계를 더 포함하는 것을 특징으로 하는 사용자 인증 방법.
  11. 제8항에 있어서,
    상기 검색된 참조 얼굴 이미지가 복수인 경우,
    상기 사용자 정보를 추출하는 단계에서는,
    상기 검색된 복수의 참조 얼굴 이미지 중 상기 타겟 유저의 얼굴 이미지와 유사도가 더 높은 제1 참조 얼굴 이미지에 매칭된 제1 인물의 사용자 정보를 상기 사용자 DB로부터 추출하고,
    상기 디스플레이부에, 상기 제1 인물의 사용자 정보와 함께, 상기 검색된 복수의 참조 얼굴 이미지 중 상기 제1 참조 얼굴 이미지와 다른 제2 참조 얼굴 이미지를 제공하는 것을 특징으로 하는 사용자 인증 방법.
  12. 제11항에 있어서,
    상기 사용자 인증을 수행하는 단계에서는,
    상기 제1 인물의 사용자 정보 및 상기 제2 참조 얼굴 이미지가 상기 디스플레이부에 제공되고 있는 상태에서, 상기 타겟 유저의 제스처가 센싱되는 경우,
    상기 타겟 유저를 상기 제1 인물로 특정하고,
    상기 제1 인물의 사용자 정보를 이용하여 상기 사용자 인증을 수행하는 것을 특징으로 하는 사용자 인증 방법.
  13. 제12항에 있어서,
    상기 제1 인물의 사용자 정보 및 상기 제2 참조 얼굴 이미지가 상기 디스플레이부에 제공되고 있는 상태에서, 상기 타겟 유저로부터 상기 제2 참조 얼굴 이미지를 선택받은 경우,
    상기 사용자 DB로부터, 상기 제2 참조 얼굴 이미지에 대응되는 제2 인물의 사용자 정보를 추출하고,
    상기 제2 인물의 사용자 정보를 이용하여 상기 사용자 인증을 수행하는 것을 특징으로 하는 사용자 인증 방법.
  14. 제1항에 있어서,
    상기 사용자 DB에 상기 타겟 유저의 얼굴 이미지에 대응되는 사용자 정보가 존재하지 않는 경우, 상기 디스플레이부에는 상기 타겟 유저의 식별 정보를 입력 받기 위한 GUI(Graphic User Interface)가 표시되고,
    상기 사용자 정보를 추출하는 단계에서는,
    상기 GUI를 통해 입력된 상기 타겟 유저의 식별 정보를 이용하여 상기 사용자 DB로부터 상기 사용자 정보를 추출하는 것을 특징으로 하는 사용자 인증 방법.
  15. 제14항에 있어서,
    상기 타겟 유저의 얼굴 이미지가, 상기 사용자 정보에 대응되는 인물의 참조 얼굴 이미지로서 등록되도록 상기 사용자 DB를 업데이트 하는 단계를 더 포함하는 것을 특징으로 하는 사용자 인증 방법.
  16. 제1항에 있어서,
    상기 얼굴 이미지를 검출하는 단계에서는,
    상기 카메라에서 센싱되는 상기 타겟 유저의 얼굴 이미지가, 기 설정된 인증 조건을 만족하는지 판단하고,
    판단 결과, 상기 기 설정된 인증 조건을 만족하지 않는 경우, 상기 디스플레이부에 상기 기 설정된 인증 조건을 만족하기 위한 가이드 정보를 제공하는 것을 특징으로 하는 사용자 인증 방법.
  17. 제16항에 있어서,
    상기 가이드 정보는,
    상기 카메라와 상기 타겟 유저 사이의 상대 위치 및 상대 거리 중 적어도 하나와 관련된 것을 특징으로 하는 사용자 인증 방법.
  18. 디스플레이부;
    타겟 유저의 얼굴 이미지 및 상기 타겟 유저의 제스처를 센싱하는 카메라부; 및
    사용자 DB로부터 상기 얼굴 이미지에 대응되는 사용자 정보를 추출하는 제어부를 포함하고,
    상기 제어부는,
    상기 사용자 정보의 적어도 일부와 사용자 인증이 요구되는 타겟 기능에 관한 타겟 기능 정보를, 상기 사용자 인증이 수행되는 전자기기의 디스플레이부에 제공하고,
    상기 카메라를 통해 상기 타겟 유저의 제스처를 센싱하고,
    상기 사용자 정보 및 상기 타겟 유저의 제스처를 이용하여, 상기 타겟 기능의 실행을 승인 또는 거절을 위한 사용자 인증을 수행하며,
    상기 사용자 인증을 수행하는 것은,
    상기 타겟 유저의 제스처가, 상기 타겟 기능의 실행을 승인하기 위하여 상기 사용자 인증에 동의하는 제어명령에 기 매칭된 제스처인지 여부에 따라, 상기 타겟 기능의 실행을 승인하기 위한 상기 사용자 인증의 결과가 달라지는 것을 특징으로 하는 사용자 인증 시스템.
  19. 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    카메라를 이용하여, 타겟 유저의 얼굴 이미지 및 상기 타겟 유저의 제스처를 센싱하는 단계;
    사용자 DB로부터 상기 얼굴 이미지에 대응되는 사용자 정보를 추출하는 단계;
    상기 사용자 정보의 적어도 일부와 사용자 인증이 요구되는 타겟 기능에 관한 타겟 기능 정보를, 상기 사용자 인증이 수행되는 전자기기의 디스플레이부에 제공하는 단계;
    상기 카메라를 통해 상기 타겟 유저의 제스처를 센싱하는 단계; 및
    상기 사용자 정보 및 상기 타겟 유저의 제스처를 이용하여, 상기 타겟 기능의 실행을 승인 또는 거절을 위한 사용자 인증을 수행하는 단계를 포함하고,
    상기 사용자 인증을 수행하는 단계에서는,
    상기 타겟 유저의 제스처가, 상기 타겟 기능의 실행을 승인하기 위하여 상기 사용자 인증에 동의하는 제어명령에 기 매칭된 제스처인지 여부에 따라, 상기 타겟 기능의 실행을 승인하기 위한 상기 사용자 인증의 결과가 달라지는 것을 특징으로 하는 컴퓨터로 판독될 수 있는 매체에 저장된 컴퓨터 프로그램.
KR1020200106938A 2020-08-25 2020-08-25 사용자 인증 방법 및 시스템 KR102472956B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200106938A KR102472956B1 (ko) 2020-08-25 2020-08-25 사용자 인증 방법 및 시스템
JP2020177544A JP7125460B2 (ja) 2020-08-25 2020-10-22 ユーザ認証方法、システム及びプログラム
JP2022128589A JP7402940B2 (ja) 2020-08-25 2022-08-12 ユーザ認証方法、システム及びプログラム
KR1020220161377A KR102629007B1 (ko) 2020-08-25 2022-11-28 사용자 인증 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200106938A KR102472956B1 (ko) 2020-08-25 2020-08-25 사용자 인증 방법 및 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220161377A Division KR102629007B1 (ko) 2020-08-25 2022-11-28 사용자 인증 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220026198A KR20220026198A (ko) 2022-03-04
KR102472956B1 true KR102472956B1 (ko) 2022-12-01

Family

ID=80494856

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200106938A KR102472956B1 (ko) 2020-08-25 2020-08-25 사용자 인증 방법 및 시스템
KR1020220161377A KR102629007B1 (ko) 2020-08-25 2022-11-28 사용자 인증 방법 및 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220161377A KR102629007B1 (ko) 2020-08-25 2022-11-28 사용자 인증 방법 및 시스템

Country Status (2)

Country Link
JP (2) JP7125460B2 (ko)
KR (2) KR102472956B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230283603A1 (en) * 2022-03-04 2023-09-07 Micro Focus Llc Dynamic biometric combination authentication

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012083874A (ja) * 2010-10-08 2012-04-26 Fujitsu Ltd 生体情報登録・認証装置及びその登録・認証方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093399A (ja) 2007-10-09 2009-04-30 Panasonic Corp 情報表示装置
KR20100041562A (ko) * 2008-10-14 2010-04-22 (주) 위트젠 인증 대상자의 얼굴 인식과 지문 인식을 통한 사용자 인증 수행 방법 및 시스템
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition
JP6011165B2 (ja) 2012-08-31 2016-10-19 オムロン株式会社 ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
KR20150007403A (ko) * 2013-07-10 2015-01-21 삼성전자주식회사 인물 인식 방법, 그리고 인물 정보 데이터 운용 방법 및 장치
EP2924539B1 (en) 2014-03-27 2019-04-17 Lg Electronics Inc. Display device and operating method thereof using gestures
JP6092485B2 (ja) 2014-07-24 2017-03-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
KR102386893B1 (ko) * 2014-11-13 2022-04-15 삼성전자 주식회사 이미지 데이터의 보안 방법 및 이를 지원하는 전자 장치
KR20160090992A (ko) * 2015-01-23 2016-08-02 박현수 부가 코드를 이용한 보안 시스템, 장치, 및 그 방법
JP6475581B2 (ja) 2015-07-03 2019-02-27 京セラ株式会社 携帯電子機器、制御方法および制御プログラム
JP6897831B2 (ja) 2015-09-03 2021-07-07 日本電気株式会社 認証装置、防犯システム、認証装置による制御方法およびプログラム
US10354126B1 (en) 2016-04-26 2019-07-16 Massachusetts Mutual Life Insurance Company Access control through multi-factor image authentication
CN106095340B (zh) 2016-06-14 2021-04-13 深圳市国华识别科技开发有限公司 测量仪数据存储方法和装置
JP7004379B2 (ja) 2017-03-31 2022-01-21 Ｎｅｃプラットフォームズ株式会社 認証装置、認証方法、および認証プログラム
JP6789170B2 (ja) 2017-04-21 2020-11-25 株式会社ミクシィ ディスプレイ装置、認証方法、及び認証プログラム
JP6584731B2 (ja) 2017-06-21 2019-10-02 三菱電機株式会社 ジェスチャ操作装置及びジェスチャ操作方法
KR102581179B1 (ko) * 2018-05-14 2023-09-22 삼성전자주식회사 생체 인증을 수행하는 전자 장치 및 그 동작 방법
JP7247579B2 (ja) 2018-12-27 2023-03-29 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
JP7238902B2 (ja) 2018-12-27 2023-03-14 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012083874A (ja) * 2010-10-08 2012-04-26 Fujitsu Ltd 生体情報登録・認証装置及びその登録・認証方法

Also Published As

Publication number Publication date
JP2022037845A (ja) 2022-03-09
JP7402940B2 (ja) 2023-12-21
JP2022163168A (ja) 2022-10-25
KR20220026198A (ko) 2022-03-04
KR20220166227A (ko) 2022-12-16
JP7125460B2 (ja) 2022-08-24
KR102629007B1 (ko) 2024-01-25

Similar Documents

Publication Publication Date Title
US9965608B2 (en) Biometrics-based authentication method and apparatus
US10600269B2 (en) Electronic access control system
US9965609B2 (en) Allowing access to applications based on user handling measurements
US11170084B2 (en) Biometric authentication
US20220101285A1 (en) Systems and methods for translating a gesture to initiate a financial transaction
US20160226865A1 (en) Motion based authentication systems and methods
US9485607B2 (en) Enhancing the security of short-range communication in connection with an access control device
EP2698742B1 (en) Facial recognition similarity threshold adjustment
KR102166041B1 (ko) 생체인식 기반 인증 방법 및 장치
CN105474223A (zh) 用于改变电子设备的设置的用户验证
JP2010049357A (ja) 認証装置、認証システム及び認証方法
KR102629007B1 (ko) 사용자 인증 방법 및 시스템
CN113826135B (zh) 使用话音识别进行非接触式认证的系统、方法和计算机系统
CN113378640A (zh) 基于手掌生物识别的身份认证方法、装置、设备及介质
KR20190128536A (ko) 전자 장치 및 그 제어 방법
US9424416B1 (en) Accessing applications from secured states
KR102624459B1 (ko) 전자 결제 방법 및 시스템
KR102581000B1 (ko) 어시스턴트 서비스 제공 방법 및 시스템
KR20230075770A (ko) 얼굴 인식 시스템 및 얼굴 인식 시스템을 위한 제어 방법
JP2008123209A (ja) 認証装置、認証方法、認証プログラム、および記録媒体

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant