KR102581179B1 - 생체 인증을 수행하는 전자 장치 및 그 동작 방법 - Google Patents

생체 인증을 수행하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102581179B1
KR102581179B1 KR1020180130211A KR20180130211A KR102581179B1 KR 102581179 B1 KR102581179 B1 KR 102581179B1 KR 1020180130211 A KR1020180130211 A KR 1020180130211A KR 20180130211 A KR20180130211 A KR 20180130211A KR 102581179 B1 KR102581179 B1 KR 102581179B1
Authority
KR
South Korea
Prior art keywords
electronic device
image
information
display
processor
Prior art date
Application number
KR1020180130211A
Other languages
English (en)
Other versions
KR20190130448A (ko
Inventor
이재용
박대희
송상곤
이예나
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201980025835.3A priority Critical patent/CN112106046A/zh
Priority to US16/411,592 priority patent/US11410466B2/en
Priority to PCT/KR2019/005802 priority patent/WO2019221494A1/en
Priority to EP19803710.3A priority patent/EP3746923A4/en
Publication of KR20190130448A publication Critical patent/KR20190130448A/ko
Application granted granted Critical
Publication of KR102581179B1 publication Critical patent/KR102581179B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

다양한 실시예에 따라서, 전자 장치는, 카메라 모듈, 센서 모듈, 디스플레이, 등록된 생체 정보를 저장하는 메모리, 및 프로세서를 포함하고, 상기 프로세서는, 상기 카메라 모듈을 이용하여 적어도 하나의 이미지를 획득하고, 상기 센서 모듈을 통하여, 생체 정보를 획득하고, 상기 적어도 하나의 이미지에 기반하여, 상기 적어도 하나의 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 오브젝트를, 상기 디스플레이를 통하여 표시하고, 상기 획득한 생체 정보 및 상기 등록된 생체 정보가 지정된 조건을 만족할 때까지, 상기 적어도 하나의 이미지에 포함된 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나에 기반하여 확인된 자세 변경을 위한 정보를, 상기 변환된 오브젝트와 함께, 상기 디스플레이를 통하여 표시하도록 설정될 수 있다. 그 밖의 다양한 실시예가 가능하다.

Description

생체 인증을 수행하는 전자 장치 및 그 동작 방법{ELECTRONIC DEVICE FOR PERFOMING BIOMETRIC AUTHENTICATION AND OPERATION METHOD THEREOF}
다양한 실시예는, 생체 인증을 수행하는 전자 장치 및 그 동작 방법에 관한 것이다.
근자에 들어서, 휴대용 전자 장치를 이용한 생체 인증 기술이 활발하게 도입되고 있다. 예를 들어, 스마트 폰과 같은 전자 장치는, 홍채 인식, 또는 얼굴 인식과 같은 다양한 생체 인증 방식을 통하여 인증을 수행할 수 있다. 전자 장치는, 생체 인증을 위한 센서를 구동하여 생체 정보를 획득할 수 있으며, 획득한 생체 정보가 저장된 정보와 일치하는지 여부를 판단함으로써 인증을 수행할 수 있다. 이에 따라, 사용자는 센서가 생체 정보를 획득할 수 있는 위치에, 인증을 위한 신체 수단(예: 눈, 또는 얼굴)을 위치시켜야 한다.
전자 장치는, 사용자가 인증을 위한 신체 수단을 생체 정보 획득을 위한 위치에 정확히 이동시킬 수 있도록, 전면(全面)에 배치된 카메라를 이용하여 촬영한 이미지와 생체 정보 획득을 위한 위치를 나타내는 가이드 라인(guide line)을 디스플레이에 표시할 수 있다. 사용자는, 자신을 촬영한 이미지를 디스플레이를 통하여 확인할 수 있으며, 이를 통하여 인증을 위한 신체 수단을 생체 정보를 획득할 수 있는 위치로 이동시킬 수 있다.
상술한 바와 같이, 전자 장치가 생체 인증을 위하여 디스플레이 상에 촬영 이미지를 표시하는 중에 보안 문제가 발생할 수 있다. 예를 들어, 전자 장치에 표시되는 화면의 유출을 위한 해킹 프로그램이 전자 장치에 설치된 경우에, 홍채 정보 또는 얼굴 정보 등의 생체 정보가 유출될 가능성이 존재한다. 홍채 정보, 또는 얼굴 정보는 사용자에게 고유하며 수정이 불가능한 것으로 유출이 방지되어야 함에도 불구하고, 해당 신체 부위를 촬영한 이미지가 디스플레이에 표시됨으로써 유출될 가능성이 존재한다. 아울러, 사용자들은 자신의 특정 신체 부위가 노출된 장소에서 표시되는 것을 원하지 않을 수도 있다.
다양한 실시예는, 상술한 문제점 또는 다른 문제점을 해결하기 위하여 안출된 것으로, 사용자를 촬영한 이미지를 다른 오브젝트로 변환하여 표시할 수 있는 전자 장치 및 그 동작 방법을 제공할 수 있다.
다양한 실시예에 따라서, 전자 장치는, 카메라 모듈, 센서 모듈, 디스플레이, 등록된 생체 정보를 저장하는 메모리, 및 프로세서를 포함하고, 상기 프로세서는, 상기 카메라 모듈을 이용하여 적어도 하나의 이미지를 획득하고, 상기 센서 모듈을 통하여, 생체 정보를 획득하고, 상기 적어도 하나의 이미지에 기반하여, 상기 적어도 하나의 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 오브젝트를, 상기 디스플레이를 통하여 표시하고, 상기 획득한 생체 정보 및 상기 등록된 생체 정보가 지정된 조건을 만족할 때까지, 상기 적어도 하나의 이미지에 포함된 상기 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나에 기반하여 확인된 자세 변경을 위한 정보를, 상기 변환된 오브젝트와 함께, 상기 디스플레이를 통하여 표시하도록 설정될 수 있다.
다양한 실시예에 따라서, 카메라 모듈, 센서 모듈, 및 디스플레이를 포함하는 전자 장치의 동작 방법은, 상기 카메라 모듈을 이용하여 적어도 하나의 이미지를 획득하는 동작, 상기 센서 모듈을 통하여, 생체 정보를 획득하는 동작, 상기 적어도 하나의 이미지에 기반하여, 상기 적어도 하나의 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 오브젝트를, 상기 디스플레이를 통하여 표시하는 동작, 및 상기 획득한 생체 정보 및 상기 등록된 생체 정보가 지정된 조건을 만족할 때까지, 상기 적어도 하나의 이미지에 포함된 상기 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나에 기반하여 확인된 자세 변경을 위한 정보를, 상기 변환된 오브젝트와 함께, 상기 디스플레이를 통하여 표시하는 동작을 포함할 수 있다.
다양한 실시예에 따라서, 전자 장치는, 카메라 모듈, 센서 모듈, 디스플레이, 등록된 생체 정보를 저장하는 메모리, 및 프로세서를 포함하고, 상기 프로세서는, 상기 카메라 모듈을 이용하여 적어도 하나의 이미지를 획득하고, 상기 센서 모듈을 통하여, 생체 정보를 획득하고, 상기 적어도 하나의 이미지에 기반하여, 상기 적어도 하나의 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 오브젝트를, 상기 디스플레이를 통하여 표시하고, 상기 디스플레이 상에, 상기 생체 정보를 획득하기 위한 영역을 나타내는 가이드를, 상기 변환된 오브젝트와 함께 표시하고, 상기 획득한 생체 정보 및 상기 등록된 생체 정보가 지정된 조건을 만족하는 것으로 확인되면, 인증이 성공한 것으로 확인하도록 설정될 수 있다.
다양한 실시예에 따라서, 사용자를 촬영한 이미지를 다른 오브젝트로 변환하여 표시할 수 있는 전자 장치 및 그 동작 방법이 제공될 수 있다. 이에 따라, 홍채 정보, 또는 얼굴 정보 등의 생체 정보의 유출이 방지될 수 있다. 아울러, 자신의 특정 신체 부위가 노출된 장소에서 표시되는 것을 원하지 않는 사용자의 요구도 충족될 수 있다.
도 1은 다양한 실시 예들에 따른 전자 장치의 블록도를 도시한다.
도 2는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 3a 및 3b는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 4는 다양한 실시예에 따른 전자 장치의 도면을 도시한다.
도 5a 및 5b는 다양한 실시예에 따른 카메라 모듈을 통하여 획득된 이미지 및 디스플레이 상에 표시되는 화면의 도면들을 도시한다.
도 6a 및 6b는 다양한 실시예에 따른 전자 장치가 제공하는 애니메이션 가이드를 설명하기 위한 도면들이다.
도 7은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 8은 다양한 실시예에 따른 전자 장치가 표시하는 가이드를 설명하기 위한 도면이다.
도 9는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 10은 다양한 실시예에 따른 전자 장치가 표시하는 화면을 설명하기 위한 도면이다.
도 11은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 12는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 13은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 14는 다양한 실시예에 따른 전자 장치의 표시 화면을 설명하기 위한 도면을 도시한다.
도 15는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 16은 다양한 실시예에 따른 전자 장치를 도시한다.
도 17은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 18은 다양한 실시예에 따른 전자 장치를 도시한다.
도 19는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 20a 및 20b는 다양한 실시예에 따른 전자 장치를 도시한다.
도 21은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 22는 다양한 실시예에 따른 전자 장치를 도시한다.
도 23은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 24a 및 24b는 다양한 실시예에 따른 전자 장치를 도시한다.
도 25는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 26은 다양한 실시예에 따른 전자 장치를 도시한다.
도 27은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
도 1은 다양한 실시 예들에 따른 전자 장치의 블록도를 도시한다.
도 1을 참조하면, 다양한 실시예에 따른 전자 장치(101)는, 프로세서(120), 메모리(130), 디스플레이(160), 센서 모듈(170), 카메라 모듈(180), 또는 통신 모듈(190) 중 적어도 하나를 포함할 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램)를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(170) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하고, 휘발성 메모리에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서는 메인 프로세서보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서는 메인 프로세서와 별개로, 또는 그 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(170))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 다양한 실시예에 따라서, 메모리(130)는, 생체 인증 과정을 수행하기 위한 명령어(또는, 프로그램, 또는 어플리케이션)를 저장할 수 있다. 메모리(130)는, 생체 인증을 위한 보안 정보(예: 홍채 정보, 또는 얼굴 정보)를 저장할 수 있다. 예를 들어, 사용자는 추후 생체 인증에 이용될 생체 정보를 등록하기 위한 동작을 수행할 수 있다. 전자 장치(101)는, 생체 정보 획득을 위한 사용자 인터페이스를 제공할 수 있으며, 센서 모듈(170)을 통하여 최초의 생체 정보를 획득할 수 있다. 전자 장치(101)는, 메모리(130)에 생체 정보(또는, 인코딩된 생체 정보)를 저장할 수 있으며, 저장된 생체 정보는 추후 센서 모듈(170)을 통하여 획득된 생체 정보와 비교될 수 있다. 메모리(130)는, 촬영된 이미지를 변환할 수 있는 변환 정보(또는, 변환 모델)를 포함할 수 있다. 예를 들어, 메모리(130)는, 촬영된 이미지로부터 특징점, 또는 다양한 오브젝트를 추출할 수 있는 프로그램, 인식 프로그램, 인식된 오브젝트를 대체할 수 있는 시각 요소(visual element) 등을 저장할 수 있다. 프로세서(120)는, 메모리(130)에 저장된 정보와 카메라 모듈(180)을 통하여 획득된 이미지를 이용하여, 디스플레이(160) 상에 이미지를 변환한 오브젝트(예: 이모지(emoji), 또는 캐릭터)를 표시할 수 있다.
디스플레이(160)는, 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이(160)는, 예를 들면, LCD 패널, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다. 디스플레이(160)는, 카메라 모듈(180)을 통하여 획득된 이미지에 포함된 적어도 하나의 오브젝트가 변환된 오브젝트를 표시할 수 있다. 디스플레이(160)는, 사용자가 인증 대상의 신체 부위를 지정된 위치로 유도하도록 하는 정보(예: 텍스트, 이미지, 또는 애니메이션)를 표시할 수 있다.
센서 모듈(170)은, 생체 정보를 획득할 수 있다. 예를 들어, 센서 모듈(170)은, 적외선 조사 장치, 및 적외선 수신 장치를 포함할 수 있다. 적외선 조사 장치는, 외부로 적외선을 조사할 수 있다. 적외선 수신 장치는, 외부에 위치한 피사체에 의하여 반사되는 적외선을 수신할 수 있다. 예를 들어, 전자 장치(101)가 홍채 인식 방식을 채택한 경우에는, 적외선 조사 장치를 이용하여 적외선을 조사하고, 사용자의 눈을 포함하는 신체 영역에 의하여 반사되는 적외선을 적외선 수신 장치를 이용하여 수신할 수 있다. 이에 따라, 전자 장치(101)는, 사용자의 눈에 대한 적외선 이미지를 획득할 수 있다. 예를 들어, 전자 장치(101)가 얼굴 인식 방식을 채택한 경우에는, 적외선 조사 장치를 이용하여 적외선을 조사하고, 사용자의 얼굴을 포함하는 신체 영역에 의하여 반사되는 적외선을 적외선 수신 장치를 이용하여 수신할 수 있다. 이에 따라, 전자 장치(101)는, 사용자의 얼굴에 대한 적외선 이미지를 획득할 수 있다.
카메라 모듈(180)은, 정지 이미지, 또는 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다. 카메라 모듈(180)은, 예를 들어 전자 장치(101)의 하우징을 구성하는 복수 개의 면들 중 디스플레이(160)가 노출되는 개구를 포함하는 면에 배치될 수 있다. 이에 따라, 카메라 모듈(180)은 디스플레이(160)를 응시하는 사용자의 모습을 촬영할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈은 가입자 식별 모듈에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크 또는 제 2 네트워크와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다. 통신 모듈(190)은 외부 전자 장치로부터 등록된 생체 정보를 수신할 수 있다. 통신 모듈(190)은 외부 전자 장치로부터 변환된 오브젝트에 대한 정보(예: 등록된 이모지에 대한 정보)를 수신할 수 있다. 생체 인증이 성공한 것으로 확인되면, 통신 모듈(190)은, 전자 장치(101)는 인증 성공을 나타내는 정보를 외부 전자 장치로 송신할 수 있다. 통신 모듈(190)은, 생체 정보, 또는 생체 정보를 암호화한 정보를 외부 전자 장치로 송신할 수도 있다.
다양한 실시예에 따라서, 상기 프로세서(120)는, 상기 카메라 모듈(180)을 이용하여 적어도 하나의 이미지를 획득하고, 상기 센서 모듈(170)을 통하여, 생체 정보를 획득하고, 상기 적어도 하나의 이미지에 기반하여, 상기 적어도 하나의 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 오브젝트를, 상기 디스플레이(160)를 통하여 표시하고, 상기 획득한 생체 정보 및 상기 등록된 생체 정보가 지정된 조건을 만족할 때까지, 상기 적어도 하나의 이미지에 포함된 상기 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나에 기반하여 확인된 자세 변경을 위한 정보를, 상기 변환된 오브젝트와 함께, 상기 디스플레이(160)를 통하여 표시하도록 설정될 수 있다.
다양한 실시예에 따라서, 상기 프로세서(120)는, 적외선을 조사하고, 상기 조사된 적외선이 반사되어 형성된 반사된 적외선을 수신하도록 상기 센서 모듈을 제어하고, 상기 반사된 적외선에 기반하여, 사용자의 눈에 대한 적외선 이미지를 확인하고, 상기 적외선 이미지로부터 홍채 정보를 확인하고, 상기 확인된 홍채 정보가, 상기 메모리(130)에 저장된 홍채 정보에 대응될 때까지, 상기 자세 변경을 위한 정보를, 상기 디스플레이(160) 상에 표시하도록 제어하도록 더 설정될 수 있다.
다양한 실시예에 따라서, 상기 프로세서(120)는, 적외선을 조사하고, 상기 조사된 적외선이 반사되어 형성된 반사된 적외선을 수신하도록 상기 센서 모듈(170)을 제어하고, 상기 반사된 적외선에 기반하여, 사용자의 얼굴에 대한 적외선 이미지를 확인하고, 상기 적외선 이미지로부터 얼굴 정보를 확인하고, 상기 확인된 얼굴 정보가, 상기 메모리에 저장된 얼굴 정보에 대응될 때까지, 상기 자세 변경을 위한 정보를, 상기 디스플레이 상에 표시하도록 제어하도록 더 설정될 수 있다.
다양한 실시예에 따라서, 상기 프로세서(120)는, 상기 인식 대상 오브젝트의 위치 및 지정된 기준 위치 사이의 차이, 상기 인식 대상 오브젝트의 형상 및 지정된 기준 형상 사이의 차이, 또는 상기 인식 대상 오브젝트의 크기 및 지정된 기준 크기 사이의 차이 중 적어도 하나에 기반하여 확인된 상기 자세 변경을 위한 정보를, 상기 디스플레이(160)를 통하여 표시하도록 더 설정될 수 있다.
다양한 실시예에 따라서, 상기 프로세서(120)는, 상기 인식 대상 오브젝트의 위치 및 상기 지정된 기준 위치 사이의 차이, 상기 인식 대상 오브젝트의 형상 및 상기 지정된 기준 형상 사이의 차이, 또는 상기 인식 대상 오브젝트의 크기 및 상기 지정된 기준 크기 사이의 차이 중 적어도 하나에 대응하여 설정된 텍스트, 이미지, 또는 애니메이션 중 적어도 하나를 상기 디스플레이(160)를 통하여 표시하도록 더 설정될 수 있다.
다양한 실시예에 따라서, 상기 프로세서(120)는, 상기 지정된 기준 위치에 대응하는 위치에, 상기 지정된 기준 형상 또는 상기 기준 크기 중 적어도 하나에 기반한 가이드를, 상기 변환된 오브젝트와 함께 표시하도록 더 설정될 수 있다.
다양한 실시예에 따라서, 상기 프로세서(120)는, 상기 변환된 오브젝트의 위치, 크기, 또는 형상 중 적어도 하나를, 상기 적어도 하나의 이미지에 포함된 상기 인식 대상 오브젝트의 위치, 크기, 또는 형상 중 적어도 하나에 기반하여 결정하도록 더 설정될 수 있다.
다양한 실시예에 따라서, 상기 프로세서(120)는, 상기 적어도 하나의 이미지에 포함된 적어도 하나의 오브젝트에 대응하는 텍스처를 이용하여 상기 변환된 오브젝트를 생성하거나, 또는 상기 메모리(130)에 저장된 텍스처를 이용하여 상기 변환된 오브젝트를 생성하도록 더 설정될 수 있다.
다양한 실시예에 따라서, 상기 프로세서(120)는, 상기 적어도 하나의 이미지 중 제 1 이미지에 포함된 제 1 인식 대상 오브젝트가 제 1 조건을 만족하는 것으로 확인되면, 상기 제 1 이미지에 포함된 오브젝트의 적어도 일부가 변환된 제 1 변환된 오브젝트와 함께, 제 1 자세 변경을 위한 정보를 상기 디스플레이(160)를 통하여 표시하고, 상기 제 1 이미지 이후에 획득된 제 2 이미지에 포함된 제 2 인식 대상 오브젝트가 제 2 조건을 만족하는 것으로 확인되면, 상기 제 2 이미지에 포함된 오브젝트의 적어도 일부가 변환된 제 2 변환된 오브젝트와 함께, 상기 제 1 자세 변경을 위한 정보와 상이한 제 2 자세 변경을 위한 정보를 상기 디스플레이(160)를 통하여 표시하도록 제어하도록 더 설정될 수 있다.
다양한 실시예에 따라서, 상기 프로세서(120)는, 상기 카메라 모듈(180)을 이용하여 적어도 하나의 이미지를 획득하고, 상기 센서 모듈(170)을 통하여, 생체 정보를 획득하고, 상기 적어도 하나의 이미지에 기반하여, 상기 적어도 하나의 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 오브젝트를, 상기 디스플레이(160)를 통하여 표시하고, 상기 디스플레이(160) 상에, 상기 생체 정보를 획득하기 위한 영역을 나타내는 가이드를, 상기 변환된 오브젝트와 함께 표시하고, 상기 획득한 생체 정보 및 상기 등록된 생체 정보가 지정된 조건을 만족하는 것으로 확인되면, 인증이 성공한 것으로 확인하도록 설정될 수도 있다.
다양한 실시예에 따라서, 상기 프로세서(120)는, 상기 변환된 오브젝트의 위치, 크기, 또는 형상 중 적어도 하나를, 상기 적어도 하나의 이미지에 포함된 상기 인식 대상 오브젝트의 위치, 크기, 또는 형상 중 적어도 하나에 기반하여 결정하도록 더 설정될 수 있다.
다양한 실시예에 따라서, 상기 프로세서(120)는, 상기 적어도 하나의 이미지의 분석 결과에 기반하여, 상기 인식 대상 오브젝트의 검출을 방해하는 오브젝트의 존재를 확인하고, 상기 인식 대상 오브젝트의 검출을 방해하는 오브젝트의 위치 변경을 요청하는 정보를 상기 변환된 오브젝트와 함께 제공하도록 설정될 수 있다.
다양한 실시예에 따라서, 상기 프로세서(120)는, 상기 센서 모듈(170) 상에 위치한 오염물을 확인하고, 상기 오염물의 제거를 요청하는 정보를 상기 변환된 오브젝트와 함께 제공하도록 설정될 수 있다.
다양한 실시예에 따라서, 상기 프로세서(120)는, 기설정된 시간 이내에, 상기 획득한 생체 정보 및 상기 등록된 생체 정보가 지정된 조건을 만족하지 못함으로써, 인증 실패를 확인하고, 상기 인증 실패에 대응하는 감정을 반영한 오브젝트를 상기 디스플레이(160)를 통하여 표시하도록 설정될 수 있다.
다양한 실시예에 따라서, 상기 메모리(130)는, 템플릿 이미지를 저장할 수 있다. 상기 프로세서(120)는, 상기 적어도 하나의 이미지에 포함된 상기 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나에 기반하여 상기 템플릿 이미지의 크기를 확인하고, 상기 확인된 크기를 가지는 상기 템플릿 이미지를 상기 변환된 오브젝트로서 표시하도록 설정될 수 있다.
다양한 실시예에 따라서, 상기 메모리(130)는, 템플릿 이미지를 저장할 수 있다. 상기 프로세서(120)는, 상기 적어도 하나의 이미지에 포함된 상기 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나에 기반하여 상기 템플릿 이미지 내의 서브 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나를 조정하고, 상기 조정된 템플릿 이미지를 상기 변환된 오브젝트로서 표시하도록 설정될 수 있다.
다양한 실시예에 따라서, 상기 메모리(130)는, 지정된 동작에 대한 정보를 저장할 수 있다. 상기 프로세서(120)는, 상기 적어도 하나의 이미지에 기반하여 사용자의 동작에 대한 정보를 확인하고, 상기 획득한 생체 정보 및 상기 등록된 생체 정보가 상기 지정된 조건을 만족하고, 상기 확인된 사용자의 동작에 대한 정보가 상기 지정된 동작에 대한 정보에 대응하면, 인증이 성공한 것으로 판단하도록 설정될 수 있다.
다양한 실시예에 따라서, 상기 메모리(130)는, 지정된 동작에 대한 정보를 저장할 수 있다. 상기 프로세서(120)는, 상기 센서 모듈(170)로부터의 데이터에 기반하여 사용자의 동작에 대한 정보를 확인하고, 상기 획득한 생체 정보 및 상기 등록된 생체 정보가 상기 지정된 조건을 만족하고, 상기 확인된 사용자의 동작에 대한 정보가 상기 지정된 동작에 대한 정보에 대응하면, 인증이 성공한 것으로 판단하도록 설정될 수 있다.
도 2는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
다양한 실시예에 따라서, 전자 장치(101)는, 201 동작에서, 생체 정보 인식의 개시 이벤트를 검출할 수 있다. 예를 들어, 전자 장치(101)는 일정 시간 동안 사용자 인터랙션이 검출되지 않거나, 또는 사용자의 요청에 의하여 슬립(sleep) 상태(또는, 도즈(doze) 상태)로 진입할 수 있다. 이후, 전자 장치(101)는, 웨이크 업 상태로의 진입을 위한 이벤트의 발생을 검출할 수 있다. 이 경우, 전자 장치(101)는 사용자 인증을 수행이 성공한 이후에 메뉴 화면, 또는 슬립 상태 진입 이전에 표시되던 화면을 표시하도록 설정될 수 있다. 전자 장치(101)는, 웨이크 업 상태로의 진입을 위한 이벤트의 발생을, 생체 정보 인식의 개시 이벤트로서 검출할 수 있다. 또 다른 실시예에서, 전자 장치(101)는, 보안 관련 어플리케이션(예: 금융 어플리케이션, 전자 결재 어플리케이션, 로그인을 요구하는 웹 사이트를 실행 중인 웹 브라우징 어플리케이션) 실행 중 어플리케이션으로부터 생체 정보 인식의 개시 이벤트를 획득할 수도 있다. 생체 정보 인식의 개시 이벤트는, 임의의 보안이 요구되는 전자 장치(101)의 동작 수행 이전에 검출될 수 있다.
한편, 본 개시에서, 전자 장치(101)가 특정 과정을 수행하는 것은, 전자 장치(101)에 포함된 프로세서(120)가, 특정 과정을 수행하거나, 특정 과정을 수행하도록 다른 하드웨어를 제어하는 것을 의미할 수 있다. 또는, 전자 장치(101)가 특정 과정을 수행하는 것은, 프로세서(120)의 제어 없이 특정 하드웨어가 특정 과정을 수행하는 것을 의미할 수 있다. 또는, 전자 장치(101)가 특정 과정을 수행하는 것은, 예를 들어 전자 장치(101)에 포함된 메모리(130)에 저장된 적어도 하나의 명령이 실행됨에 따라서, 프로세서(120)가 특정 과정을 수행하거나, 특정 과정을 수행하도록 다른 하드웨어를 제어하는 것을 의미할 수도 있다.
203 동작에서, 전자 장치(101)는, 카메라 모듈(180)을 구동하여 적어도 하나의 이미지를 획득할 수 있다. 205 동작에서, 전자 장치(101)는, 생체 정보 인식을 위한 센서 모듈(170)을 구동하여, 생체 정보를 획득할 수 있다. 다양한 실시예에서, 전자 장치(101)는, 카메라 모듈(180)을 통한 적어도 하나의 이미지 획득, 및 센서 모듈(170)을 통한 생체 정보 획득을 적어도 동시에 수행할 수도 있다.
207 동작에서, 전자 장치(101)는, 획득된 이미지에 기반하여, 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 오브젝트를 디스플레이(160) 상에 표시할 수 있다. 전자 장치(101)는, 다양한 변환 방식에 기반하여 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 오브젝트를 디스플레이(160) 상에 표시할 수 있다. 예를 들어, 전자 장치(101)는, 획득한 이미지에 포함된 얼굴 영역을 변환한 이모지를 획득하여 표시할 수 있다. 더욱 상세하게, 전자 장치(101)는, 획득한 이미지에 포함된 얼굴 영역을 추출할 수 있으며, 이 경우 다양한 얼굴 검출 방식(예: 신경망(neural network), 아다부스트(adaboost), 서포트 벡터 머신(support vector machine) 방식)이 이용될 수 있다. 전자 장치(101)는, 미리 준비된 3차원 템플릿에 촬영된 2차원 이미지의 얼굴 영상의 텍스처(예: 눈 텍스처, 코 텍스처, 또는 입 텍스처)를 배치할 수 있다. 이 때, 눈 텍스처, 코 텍스처, 또는 입 텍스처는, 획득한 이미지의 눈 영역, 코 영역, 또는 입 영역 각각을 그림(또는, 애니메이션 오브젝트)와 같이 표현되도록 그래픽 처리한 텍스처일 수 있다. 이에 따라, 눈 텍스처에는 홍채 정보가 포함되지 않을 수 있다. 전자 장치(101)는, 이외의 영역(예: 귀, 머리카락, 뒤통수) 등은 미리 준비된 텍스처 정보를 이용할 수도 있다. 전자 장치(101)는, 추가적으로 사용자 인터랙션에 기반하여, 텍스처가 배치된 3차원 템플릿을 수정할 수도 있으며, 이에 따라 3차원 이모지가 생성될 수 있다. 상술한 바와 같이, 3차원 이모지에 포함된 눈 텍스처에는 홍채 정보가 포함되지 않을 수 있다. 한편, 전자 장치(101)는, 다양한 방식에 따라 이미지로부터 사용자를 모사한 이모지, 또는 캐릭터를 생성할 수 있으며, 이모지, 또는 캐릭터의 생성 방식에는 제한이 없음을 당업자는 용이하게 이해할 수 있을 것이다. 또 다른 예를 들어, 전자 장치(101)는, 획득한 이미지에서의 적어도 하나의 오브젝트(예: 눈 오브젝트)의 위치에 기반하여 해당 신체 부위를 나타내는 임의의 시각 요소로 대체하여 표시할 수도 있다. 이 경우에는, 변환 오브젝트는 사용자를 모사한 형상이 아닌 미리 제작된 형상으로 표현될 수도 있으며, 이 경우에도 이미지 내의 오브젝트 속성(예: 위치, 크기, 또는 형상 중 적어도 하나)을 이용하여 시각 요소의 속성(예: 위치, 크기, 또는 형상 중 적어도 하나)이 결정되므로, 시각 요소 또한 변환 오브젝트라 명명될 수도 있다.
209 동작에서, 전자 장치(101)는, 생체 정보 또는 이미지에 포함된 인식 대상 오브젝트 중 적어도 하나가 지정된 조건을 만족할 때까지, 획득된 이미지에 포함된 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나에 기반하여 확인된 자세 변경을 위한 정보를 변환된 오브젝트와 함께 제공할 수 있다. 다양한 실시예에서, 전자 장치(101)는, 획득된 생체 정보와 미리 등록된 생체 정보가 지정된 조건을 만족할 때까지, 자세 변경을 위한 정보를 제공할 수 있다. 예를 들어, 전자 장치(101)는, 획득된 생체 정보와 미리 등록된 생체 정보 사이의 차이가 임계치 이하가 될 때까지, 획득된 이미지에 포함된 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나에 기반하여 확인된 자세 변경을 위한 정보를 변환된 오브젝트와 함께 제공할 수 있다. 즉, 전자 장치(101)는, 인증이 성공할 때까지 자세 변경을 위한 정보를 제공할 수 있다. 전자 장치(101)는, 획득된 이미지에 포함된 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나와, 인식 대상 오브젝트의 이미지 내 지정된 위치, 지정된 형상, 또는 지정된 크기 중 적어도 하나와의 차이에 기반하여, 확인된 자세 변경을 위한 정보를 제공할 수 있다. 예를 들어, 이미지 내에 눈의 위치가 미리 지정된 위치보다 아래에 있는 것으로 확인된 경우에, 전자 장치(101)는 사용자로 하여금 얼굴을 더 위쪽으로 이동시키라는 취지의 텍스트, 이미지, 또는 애니메이션 중 적어도 하나를 제공할 수 있다. 예를 들어, 이미지 내의 눈의 크기가 미리 지정된 크기보다 작은 것으로 확인된 경우에, 전자 장치(101)는 사용자로 하여금 얼굴을 카메라 모듈(180) 쪽으로 이동시키라는 취지의 텍스트, 이미지, 또는 애니메이션 중 적어도 하나를 제공할 수 있다. 예를 들어, 이미지 내의 눈의 형상이 미리 지정된 형상과 차이를 가지는 것으로 확인된 경우에, 전자 장치(101)는 사용자로 하여금 얼굴이 향하는 방향을 조정하라는 취지의 텍스트, 이미지, 또는 애니메이션 중 적어도 하나를 제공할 수 있다. 또 다른 실시예에서, 전자 장치(101)는, 이미지에 포함된 인식 대상 오브젝트 중 적어도 하나가 지정된 조건을 만족할 때까지, 이미지에 포함된 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나와, 인식 대상 오브젝트의 이미지 내 지정된 위치, 지정된 형상, 또는 지정된 크기 중 적어도 하나와의 차이에 기반하여, 확인된 자세 변경을 위한 정보를 제공할 수도 있다.
도 3a 및 3b는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 3a의 실시예는 도 4를 참조하여 더욱 상세하게 설명하도록 한다. 도 4는 다양한 실시예에 따른 전자 장치의 도면을 도시한다.
도 3a를 참조하면, 전자 장치(101)는, 301 동작에서, 전자 장치(101)는 홍채 정보 인식의 개시 이벤트를 검출할 수 있다. 303 동작에서, 전자 장치(101)는, 카메라 모듈(180)을 구동하여 적어도 하나의 이미지를 획득할 수 있다. 305 동작에서, 전자 장치(101)는, 센서 모듈(170)에 포함된 적외선 센서 모듈을 구동하여, 적외선을 조사하고 반사된 적외선에 대한 정보를 획득할 수 있다.
307 동작에서, 전자 장치(101)는, 획득된 이미지에 기반하여, 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 오브젝트를 표시할 수 있다. 예를 들어, 도 4에서와 같이, 전자 장치(101)는 이미지에 포함된 얼굴을 변환하여 생성한 캐릭터(403)를 표시할 수 있다. 예를 들어, 전자 장치(101)는, 카메라 모듈(180)을 통하여 획득한 이미지 중 얼굴 영역을 추출하고, 추출된 얼굴 영역으로부터 복수 개의 특징점들을 확인할 수 있다. 전자 장치(101)는, 확인된 특징점들의 위치에 적어도 기반하여 캐릭터(403)를 생성할 수 있다. 전자 장치(101)는, 이미지 내의 얼굴의 위치에 기반하여 캐릭터(403)의 표시 위치를 결정할 수 있다.
309 동작에서, 전자 장치(101)는, 획득된 이미지로부터 눈의 위치, 형상, 또는 크기 중 적어도 하나를 확인할 수 있다. 311 동작에서, 전자 장치(101)는, 생체 정보 또는 확인된 눈과 연관된 정보 중 적어도 하나가 지정된 조건을 만족할 때까지, 획득된 이미지에 포함된 눈과 연관된 정보에 기반하여 확인된 자세 변경을 위한 정보를, 변환된 오브젝트와 함께 제공할 수 있다. 예를 들어, 전자 장치(101)는, 표 1과 같은 눈과 연관된 정보 및 자세 변경을 위한 정보 사이의 연관 정보를 저장할 수 있다.
케이스 이미지 분석 결과 사용자 눈 위치
분석 결과		 가이드라인 내용
왼쪽 동공 오른쪽 동공 애니메이션 가이드 텍스트 가이드
x좌표 y좌표 radius width height x좌표 y좌표 radius width height
1 기준보다
작음 		- - - - 기준보다
작음 		- - - - 왼쪽으로 치우침 이모지가 오른쪽으로 평행 이동 오른쪽으로 움직이세요
2 기준보다
작음 		- - - - 확인 불가 - - - - 왼쪽으로 많이 치우침
(오른쪽 눈만 인식 됨)		 이모지가 오른쪽으로 평행 이동 오른쪽으로 움직이세요
3 기준보다
큼 		- - - - 기준보다
큼 		- - - - 오른쪽으로 치우침 이모지가 왼쪽으로 평행 이동 왼쪽으로 움직이세요
4 확인 불가 - - - - 기준보다
큼 		- - - - 오른쪽으로 많이 치우침
(왼쪽 눈만 인식 됨)		 이모지가 오른쪽으로 평행 이동 왼쪽으로 움직이세요
5 - 기준보다
큼 		- - - - 기준보다
큼 		- - - 위쪽으로 치우침 이모지가 아래쪽으로 평행 이동 아래쪽으로 움직이세요
6 - 기준보다 작음 - - - - 기준보다
작음 		- - - 아래쪽으로 치우침 이모지가 위쪽으로 평행 이동 위쪽으로 움직이세요
7 기준보다 큼 - 기준보다
작음 		- - 기준보다
큼 		- 기준보다
작음 		- - 멀리 있음 이모지가 점점 커짐 좀 더 가까이 오세요
8 기준보다 작음 - 기준보다
큼 		- - 기준보다
작음 		- 기준보다
큼 		- - 가까이 있음 이모지가 점점 작아짐 좀 더 멀어지세요
9 - - - radius보다 작음 - - - - radius보다
큼 		- 고개가 왼쪽으로 돌아감 이모지가 오른쪽으로 회전 고개를 오른쪽으로 돌리세요
10 - - - radius보다 큼 - - - - radius보다
작음 		- 고개가 오른쪽으로 돌아감 이모지가 왼쪽으로 회전 고개를 왼쪽으로 돌리세요
11 - - - - radius보다 작음 - - - - radius보다 작음 고개가 위로 들림 이모지가 아래쪽으로 회전 고개를 내리세요
12 - - - - radius보다 큼 - - - - radius보다 큼 고개가 아래로 숙여짐 이모지가 위쪽으로 회전 고개를 드세요
표 1 내에서의 “-“ 표시는 무시가 가능하다는 취지의 정보일 수 있다. 예를 들어, 전자 장치(101)는, 이미지 내의 이미지를 분석하여 왼쪽 동공 및 오른쪽 동공의 위치(예: x좌표, 및 y좌표), 반지름(radius), 폭(width), 및 높이(height)를 확인할 수 있다. 아울러, 전자 장치(101)는, 왼쪽 동공 및 오른쪽 동공의 지정된 기준 위치(예: x좌표, 및 y좌표), 지정된 기준 반지름(radius)을 저장할 수 있다. 예를 들어, 제 1 케이스에서와 같이, 확인된 왼쪽 동공의 x좌표가 지정된 기준 x좌표보다 작고, 확인된 오른쪽 동공의 x좌표가 지정된 기준 x좌표보다 작은 경우, 전자 장치(101)는 눈 위치 분석 결과가 “왼쪽으로 치우침”으로 확인할 수 있다. 전자 장치(101)는, 이에 대응하여 “이모지가 오른쪽으로 평행 이동”하는 애니메이션을 표시하거나, 또는 “오른쪽으로 움직이세요”의 텍스트를 표시할 수 있다. 예를 들어, 제 5 케이스에서와 같이, 확인된 왼쪽 동공의 y좌표가 지정된 기준 y좌표보다 크고, 확인된 오른쪽 동공의 y좌표가 지정된 기준 y좌표보다 큰 경우, 전자 장치(101)는 눈 위치 분석 결과가 “위쪽으로 치우침”으로 확인할 수 있다. 전자 장치(101)는, 이에 대응하여 “이모지가 아래쪽으로 평행 이동”하는 애니메이션을 표시하거나, 또는 “아래쪽으로 움직이세요”의 텍스트를 표시할 수 있다. 예를 들어, 제 8 케이스에서와 같이, 확인된 왼쪽 동공의 x좌표가 지정된 기준 x좌표보다 작고, 확인된 왼쪽 동공의 반지름이 기준 반지름보다 크고, 확인된 오른쪽 동공의 x좌표가 지정된 기준 x좌표보다 작고, 확인된 오른쪽 동공의 반지름이 기준 반지름보다 큰 경우, 전자 장치(101)는 눈 위치 분석 결과가 “가까이 있음인할 수 있다. 전자 장치(101)는, 이에 대응하여 “이모지가 점점 작아지는” 애니메이션을 표시하거나, 또는 “좀 더 멀어지세요”의 텍스트를 표시할 수 있다. 예를 들어, 제 8 케이스에서와 같이, 확인된 왼쪽 동공의 x좌표가 지정된 기준 x좌표보다 작고, 확인된 왼쪽 동공의 반지름이 기준 반지름보다 크고, 확인된 오른쪽 동공의 x좌표가 지정된 기준 x좌표보다 작고, 확인된 오른쪽 동공의 반지름이 기준 반지름보다 큰 경우, 전자 장치(101)는 눈 위치 분석 결과가 “가까이 있음”임을 확인할 수 있다. 전자 장치(101)는, 이에 대응하여 “이모지가 점점 작아지는” 애니메이션을 표시하거나, 또는 “좀 더 멀어지세요”의 텍스트를 표시할 수 있다. 예를 들어, 제 9 케이스에서와 같이, 확인된 왼쪽 동공의 폭이 기준 반지름(또는, 촬영된 동공의 반지름)보다 작고, 확인된 오른쪽 동공의 폭이 기준 반지름(또는, 촬영된 동공의 반지름)보다 큰 경우, 전자 장치(101)는 눈 위치 분석 결과가 “고개가 왼쪽으로 돌아감”으로 확인할 수 있다. 전자 장치(101)는, 이에 대응하여 “이모지가 오른쪽으로 회전하는” 애니메이션을 표시하거나, 또는 “고개를 오른쪽으로 돌리세요”의 텍스트를 표시할 수 있다. 예를 들어, 제 11 케이스에서와 같이, 확인된 왼쪽 동공의 높이가 기준 반지름(또는, 촬영된 동공의 반지름)보다 작고, 확인된 오른쪽 동공의 높이가 기준 반지름(또는, 촬영된 동공의 반지름)보다 작은 경우, 전자 장치(101)는 눈 위치 분석 결과가 “고개가 위로 들림”으로 확인할 수 있다. 전자 장치(101)는, 이에 대응하여 “이모지가 아래쪽으로 회전하는” 애니메이션을 표시하거나, 또는 “고개를 내리세요”의 텍스트를 표시할 수 있다. 표 1에서의 기준 위치, 또는 기준 반지름은 장치 내에서의 카메라 모듈(180) 및 센서 모듈(170)의 위치, 카메라 모듈(180), 및 전자 장치(101)의 스펙 등에 따라 실험적으로 확인되어 결정될 수도 있다. 이에 따라, 예를 들어 도 4에서와 같이, 전자 장치(101)는 텍스트 가이드라인(401), 애니메이션 가이드라인(402), 캐릭터(403), 기준 위치를 나타내는 가이드라인(404)을 표시할 수 있다. 기준 위치는, 생체 정보 획득이 가능한 위치에 대응하여 설정된 영역으로, 예를 들어 센서 모듈(170) 및 카메라 모듈(180)의 상대적인 위치, 및 화각 등에 의하여 설정될 수 있으며, 실험에 의하여 결정될 수도 있다. 전자 장치(101)는, 사용자의 움직임에 따라 촬영된 이미지 내의 얼굴 오브젝트의 위치, 또는 표정이 변경되는 경우에 캐릭터(403)를 이에 대응하여 변경 표시할 수 있다. 아울러, 전자 장치(101)는, 눈에 대한 정보가 변경되는 경우에도, 실시간으로 가이드 정보를 변경하여 표시할 수 있다.다양한 실시예에 따른 전자 장치(101)는, 이미지를 분석하여 사용자가 선글라스 또는 패턴을 가지는 콘택트 렌즈를 착용하지 여부를 확인할 수 있다. 선글라스나 패턴이 있는 콘택트 렌즈를 착용하면 홍채 인식이 불가능할 수 있다. 예를 들어, 전자 장치(101)는, 선글라스 등에 의하여 가려진 비인식 영역이 눈 영역보다 큰 경우에, 선글라스가 착용된 것으로 확인할 수 있다. 예를 들어, 전자 장치(101)는, 콘택트 렌즈 등에 의하여 가려진 비인식 영역이 눈 영역보다 작은 경우에, 콘택트 렌즈가 착용된 것으로 확인할 수 있다. 전자 장치(101)는, 선글라스가 착용된 것으로 확인되면, 선글라스를 벗는 동작을 가이드할 수 있다. 또는 콘택트 렌즈 착용이 인식된 경우, 전자 장치(101)는, 얼굴 인식 또는 지문 인식과 같은 다른 인증을 위한 사용자 인터페이스를 제공할 수도 있다.
다양한 실시예에 따른 전자 장치(101)는, 획득한 홍채 정보가 저장된 홍채 정보가 일치하는지 여부에 따라 인증 성공 여부를 결정할 수 있다. 예를 들어, 전자 장치(101)는, 획득된 눈에 대한 적외선 이미지로부터 홍채 부분 및 눈꺼풀(eyelid) 부분을 검출할 수 있다. 전자 장치(101)는 적외선 이미지로부터 홍채 부분을 추출하고, 추출된 홍채 부분에서 눈꺼풀 부분을 제거할 수 있다. 전자 장치(101)는 눈꺼풀 부분이 제거된 홍채 부분을 정규화(normalization)할 수 있으며, 정규화 결과를 데이터 인코딩할 수 있다. 전자 장치(101)는 인코딩된 데이터를 저장된 데이터와 비교하고, 비교 결과가 일치하거나, 또는 일치율이 지정된 수치 이상인 경우에 인증이 성공한 것으로 판단할 수 있다. 다양한 실시예에서, 전자 장치(101)는, 변환된 오브젝트 및 가이드 정보를 제공하는 동안에, 상술한 홍채 인증 과정을 실시간으로 수행할 수 있다.
도 3b는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
다양한 실시예에 따라서, 전자 장치(101)는, 311 동작에서, 홍채 정보 인식의 개시 이벤트를 검출할 수 있다. 313 동작에서, 전자 장치(101)는, 카메라 모듈(180)을 구동하여 적어도 하나의 이미지를 획득할 수 있다. 315 동작에서, 전자 장치(101)는, 획득된 이미지에 기반하여, 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 오브젝트를 표시할 수 있다. 317 동작에서, 전자 장치(101)는, 획득된 이미지로부터 눈의 위치, 형상, 또는 크기 중 적어도 하나를 확인할 수 있다.
319 동작에서, 전자 장치(101)는, 확인된 눈과 연관된 정보 중 적어도 하나가 지정된 조건을 만족하는지 여부를 확인할 수 있다. 확인된 눈과 연관된 정보 중 적어도 하나가 지정된 조건을 만족하지 않는 것으로 확인되면, 321 동작에서 전자 장치(101)는, 획득된 이미지에 포함된 눈과 연관된 정보에 기반하여 확인된 자세 변경을 위한 정보를, 변환된 오브젝트와 함께 제공할 수 있다. 확인된 눈과 연관된 정보 중 적어도 하나가 지정된 조건을 만족하는 것으로 확인되면, 323 동작에서 전자 장치(101)는 적외선 센서 모듈을 구동하여, 적외선을 조사하고 반사된 적외선에 대한 정보를 획득할 수 있다. 325 동작에서, 전자 장치(101)는, 획득된 반사된 적외선에 대한 정보에 기반하여 인증을 수행할 수 있다.
도 5a 및 5b는 다양한 실시예에 따른 카메라 모듈을 통하여 획득된 이미지 및 디스플레이 상에 표시되는 화면의 도면들을 도시한다.
도 5a를 참조하면, 전자 장치(101)는 카메라 모듈(180)을 이용하여 제 1 이미지(520)를 획득할 수 있다. 상술한 바와 같이, 촬영된 제 1 이미지(520)는 디스플레이(160) 상에 표시되지 않는다. 제 1 이미지(520)에는 얼굴 오브젝트(523)가 포함될 수 있으며, 얼굴 오브젝트(523)에는 우안 오브젝트(524) 및 좌안 오브젝트(525)가 포함될 수 있다. 전자 장치(101)는, 이미지 내의 우안 오브젝트의 기준 범위(521) 및 좌안 오브젝트의 기준 범위(522)에 대한 정보(예: x좌표, y좌표, 반지름, 폭, 높이)를 저장할 수 있다. 전자 장치(101)는, 확인된 우안 오브젝트(524)의 y좌표가 우안 오브젝트의 기준 범위(521)의 y좌표보다 낮은 것을 확인할 수 있다. 전자 장치(101)는, 사용자 눈 위치 분석 결과가 “아래쪽으로 치우침”으로 확인할 수 있다. 전자 장치(101)는, 변환된 오브젝트(511) 및 적어도 하나의 가이드 정보(512,513)를 포함한 제 1 화면(510)을 표시할 수 있다. 예를 들어, 변환 오브젝트(523)는, 얼굴 오브젝트(523)로부터 생성된 이모지일 수 있다. 이모지는, 이미지(520) 내의 얼굴의 위치, 형태, 표정의 변경에 대응하여 변경되어 표시할 수 있다. 전자 장치(101)는, 이미지(520) 내의 얼굴로부터 특징점들을 추출하고, 특징점들의 위치 변경에 기반하여 표정 변경을 확인하여 이에 대응하여 이모지를 변경하여 표시할 수도 있다. 전자 장치(101)는, 사용자가 눈을 움직여야 하는 방향을 나타내는 화살표와 같은 가이드 정보(512), 및 “조금 더 위로 올라오세요”의 텍스트인 가이드 정보(513)를 표시할 수도 있다.
도 5b를 참조하면, 전자 장치(101)는 카메라 모듈(180)을 이용하여 제 2 이미지(540)를 획득할 수 있다. 제 2 이미지(540)에는 얼굴 오브젝트(543)가 포함될 수 있으며, 얼굴 오브젝트(543)에는 우안 오브젝트(544) 및 좌안 오브젝트(545)가 포함될 수 있다. 도 5b에 도시된 바와 같이, 우안 오브젝트의 기준 범위(521) 및 좌안 오브젝트의 기준 범위(522)에 대한 정보(예: x좌표, y좌표, 반지름, 폭, 높이)는 모든 이미지에서 동일하게 설정될 수 있다. 전자 장치(101)는, 확인된 우안 오브젝트(544)의 크기가 우안 오브젝트의 기준 범위(521)의 크기보다 작은 것을 확인할 수 있다. 전자 장치(101)는, 사용자 눈 위치 분석 결과가 “멀리 있음”으로 확인할 수 있다. 전자 장치(101)는, 변환된 오브젝트(531) 및 적어도 하나의 가이드 정보(532,533)를 포함한 제 2 화면(530)을 표시할 수 있다. 예를 들어, 변환 오브젝트(533)는, 얼굴 오브젝트(523)로부터 생성된 이모지일 수 있다. 전자 장치(101)는, 사용자가 눈을 움직여야 하는 방향을 나타내는 화살표와 같은 가이드 정보(532), 및 “조금 더 앞으로 오세요”의 텍스트인 가이드 정보(533)를 표시할 수도 있다.
또 다른 실시예에서, 전자 장치(101)는, 우안 오브젝트(544) 및 좌안 오브젝트(545) 사이의 거리(a2)가, 우안 오브젝트의 기준 범위(521) 및 좌안 오브젝트의 기준 범위(522) 사이의 거리(a1)보다 작은 것을 확인할 수 있다. 전자 장치(101)는, 이에 기반하여 사용자 눈 위치 분석 결과가 “멀리 있음”으로 확인할 수도 있다. 도시되지는 않았지만, 만약 우안 오브젝트 및 좌안 오브젝트 사이의 거리가, 우안 오브젝트의 기준 범위(521) 및 좌안 오브젝트의 기준 범위(522) 사이의 거리(a1)보다 큰 것으로 확인되면, 전자 장치(101)는 사용자 눈 위치 분석 결과가 “가까이 있음”으로 확인할 수도 있다.
도 6a 및 6b는 다양한 실시예에 따른 전자 장치가 제공하는 애니메이션 가이드를 설명하기 위한 도면들이다.
도 6a의 실시예에서, 전자 장치(101)는, 사용자 눈 위치 분석 결과를 “고개가 왼쪽으로 돌아감”으로 확인할 수 있다. 전자 장치(101)는 “고개를 오른쪽으로 돌리세요”의 텍스트 가이드(601)를 표시할 수 있다. 아울러, 전자 장치(101)는, 변환된 오브젝트가 오른쪽으로 고개를 돌리는 애니메이션(602)을 표시할 수 있다. 예를 들어, 전자 장치(101)는, 도 6b에서와 같은 애니메이션(602)을 구성하는 복수 개의 이미지들(611,612,613)을 순차적으로 표시함으로써, 애니매이션(602)을 표시할 수 있다. 전자 장치(101)는, 복수 개의 이미지들(611,612,613)을 제공하면서, 잔상 효과를 적용할 수도 있다. 예를 들어, 전자 장치(101) 이미지(611)를 표시하다가 이미지(612)를 표시하는 시점에서, 이미지(611)의 적어도 일부의 투명도를 조정하여 이미지(612)와 함께 표시할 수도 있다.
도 6c는 다양한 실시예에 따른 가이드를 설명하기 위한 도면을 도시한다.
도 6c를 참조하면, 전자 장치(101)는 사용자 눈 위치 분석 결과를 “고개가 위쪽으로 치우침”으로 확인할 수 있다. 전자 장치(101)는 기준 범위를 나타내는 가이드(624,625) 및 변환된 오브젝트(621)를 표시할 수 있다. 전자 장치(101)는, 변환된 오브젝트(621) 중 눈에 대응하는 부분을 나타내는 가이드(622,623)를 표시할 수 있다. 전자 장치(101)는, 촬영된 이미지에 포함된 눈 영역의 위치, 형상, 또는 크기 중 적어도 하나에 기반하여 가이드(622,623)의 위치, 형상, 또는 크기 중 적어도 하나를 결정하고, 결정된 가이드(622,623)를 변환된 오브젝트(621)의 눈에 대응하는 부분에 표시할 수 있다.
전자 장치(101)는, 기준 범위를 나타내는 가이드(624,625) 및 획득된 이미지 내의 눈 영역에 대응하는 가이드(622,623) 사이의 차이에 대응하는 화살표(631,632)를 표시할 수 있다. 사용자는, 화살표(631,632)를 확인하여 자세를 변경할 수 있다. 아울러, 가이드(622,623)의 크기에 따라서 사용자는 앞뒤로 이동할 수도 있다. 도 6c에서는 가이드(622,623)의 크기가 기준 범위를 나타내는 가이드(624,625)가 유사한 것과 같이 도시되어 있지만, 이는 단순히 예시적인 것이다. 사용자가 전자 장치(101)로부터 기준 거리보다 멀리 위치한 경우에는, 가이드(622,623)의 크기가 기준 범위를 나타내는 가이드(624,625)의 크기보다 작게 표시될 수도 있다.
도 7은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 7의 실시예는 도 8을 참조하여 더욱 상세하게 설명하도록 한다. 도 8은 다양한 실시예에 따른 전자 장치가 표시하는 가이드를 설명하기 위한 도면이다.
다양한 실시예에서, 전자 장치(101)는, 701 동작에서, 생체 정보 인식의 개시 이벤트를 검출할 수 있다. 703 동작에서, 전자 장치(101)는, 카메라 모듈(180)을 구동하여 적어도 하나의 이미지를 획득할 수 있다. 705 동작에서, 전자 장치(101)는, 생체 정보 인식을 위한 센서 모듈(170)을 구동하여, 생체 정보를 획득할 수 있다. 705 동작에서, 전자 장치(101)는, 획득된 이미지에 기반하여 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 오브젝트와, 인식 대상 오브젝트의 위치 및 크기에 대한 가이드를 함께 표시할 수 있다. 예를 들어, 도 8에서와 같이, 전자 장치(101)는, 변환된 오브젝트(821) 및 지정된 범위에 대응하는 가이드(824,825)를 표시할 수 있다. 전자 장치(101)는, 추가적으로 변환된 오브젝트(821)의 눈 영역에 대응하는 가이드(822,823)를 표시할 수도 있다.
도 9는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 9의 실시예는 도 10을 참조하여 더욱 상세하게 설명하도록 한다. 도 10은 다양한 실시예에 따른 전자 장치가 표시하는 화면을 설명하기 위한 도면이다.
다양한 실시예에 따라서, 전자 장치(101)는, 901 동작에서, 생체 정보 인식의 개시 이벤트를 검출할 수 있다. 903 동작에서, 전자 장치(101)는, 카메라 모듈(180)을 구동하여 제 1 이미지를 획득할 수 있다. 905 동작에서, 전자 장치(101)는, 제 1 이미지에 기반하여, 제 1 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 제 1 오브젝트와, 제 1 이미지에 포함된 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나에 기반하여 확인된 자세 변경을 위한 제 1 정보를 변환된 오브젝트와 함께 제공할 수 있다. 도 10에서와 같이, 전자 장치(101)는, 제 1 화면(1010)을 표시할 수 있다. 제 1 화면(1010)은 제 1 이미지에 포함된 얼굴에 기반하여 생성된 변환된 오브젝트(1011) 및 가이드(1012,1013)를 포함할 수 있다. 예를 들어, 전자 장치(101)는, 제 1 이미지에 포함된 인식 대상 오브젝트(예: 눈)의 위치가 기준 위치보다 아래에 있음을 확인할 수 있다. 이에 따라, 전자 장치(101)는, 위쪽으로 이동을 요구하는 취지의 가이드(1012,1013)를 표시할 수 있다.
907 동작에서, 전자 장치(101)는, 제 2 이미지를 획득할 수 있다. 예를 들어, 사용자는 가이드(1012,1013)를 확인하고 이에 대응하여 자신의 얼굴을 위쪽으로 이동시킬 수 있으며, 전자 장치(101)는 사용자가 얼굴을 이동시킨 이후에 제 2 이미지를 획득할 수 있다. 909 동작에서, 전자 장치(101)는, 제 2 이미지에 기반하여, 제 2 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 제 2 오브젝트와, 제 2 이미지에 포함된 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나에 기반하여 확인된 자세 변경을 위한 제 2 정보를 변환된 오브젝트와 함께 제공할 수 있다. 도 10에서와 같이, 전자 장치(101)는 제 2 이미지에 기반하여 제 2 화면(1020)을 표시할 수 있다. 제 2 화면(1020)은, 제 2 이미지에 포함된 얼굴에 기반하여 생성된 변환된 오브젝트(1021) 및 가이드(1022,1023)를 포함할 수 있다. 예를 들어, 전자 장치(101)는, 제 2 이미지에 포함된 인식 대상 오브젝트(예: 눈)의 위치가 기준 위치보다 위에 있음을 확인할 수 있다. 이에 따라, 전자 장치(101)는, 아래쪽으로 이동을 요구하는 취지의 가이드(1022,1023)를 표시할 수 있다. 즉, 전자 장치(101)는, 이미지 내의 인식 대상 오브젝트의 위치, 크기, 또는 형상 중 적어도 하나의 변경에 대응하여, 실시간으로 가이드를 변경하여 표시할 수 있다.
도 11은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
다양한 실시예에 따라서, 전자 장치(101)는, 1101 동작에서, 생체 정보 인식의 개시 이벤트를 검출할 수 있다. 1103 동작에서, 전자 장치(101)는, 카메라 모듈(180)을 구동하여 적어도 하나의 이미지를 획득할 수 있다. 1105 동작에서, 전자 장치(101)는, 생체 정보 인식을 위한 센서 모듈(170)을 구동하여, 생체 정보를 획득할 수 있다. 1107 동작에서, 전자 장치(101)는, 등록된 이모지가 존재하는지 여부를 확인할 수 있다. 전자 장치(101)는, 생체 정보 인식 이전에 미리 이모지 등록을 수행할 수 있다. 예를 들어, 전자 장치(101)는, 이모지 등록을 위하여 사용자의 얼굴을 촬영한 이미지를 사전에 획득할 수 있다. 전자 장치(101)는, 상술한 방식에 기반하여 촬영된 이미지로부터 이모지를 생성하여 등록할 수 있다. 미리 등록된 이모지가 존재하는 것으로 판단되면, 전자 장치(101)는, 1109 동작에서, 획득된 이미지에 기반하여 등록된 이모지를 자세 변경을 위한 정보를 변환된 오브젝트와 함께 제공할 수 있다. 만약, 등록된 이미지가 존재하지 않는 경우에, 전자 장치(101)는, 1111 동작에서, 획득된 이미지에 기반하여 디폴트 이모지를 자세 변경을 위한 정보를 변환된 오브젝트와 함께 제공할 수 있다. 여기에서, 디폴트 이모지는, 촬영된 이미지로부터의 텍스처에 기반하여 생성된 이모지가 아닌, 미리 지정된 텍스처에 기반하여 생성된 이모지일 수 있다. 이모지의 생성에 요구되는 시간이 생체 인증에 요구되는 시간보다 상대적으로 긴 경우에는, 전자 장치(101)는 미리 지정된 캐릭터 등을 표시할 수 있다.
도 12는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
다양한 실시예에 따라서, 전자 장치(101)는, 1201 동작에서, 생체 정보 인식의 개시 이벤트를 검출할 수 있다. 1203 동작에서, 전자 장치(101)는, 카메라 모듈(180)을 구동하여 적어도 하나의 이미지를 획득할 수 있다. 1205 동작에서, 전자 장치(101)는, 생체 정보 인식을 위한 센서 모듈(170)을 구동하여, 생체 정보를 획득할 수 있다. 1207 동작에서, 전자 장치(101)는, 획득된 이미지로부터, 얼굴 영역을 추출할 수 있다. 상술한 바와 같이, 전자 장치(101)는 다양한 얼굴 영역 검출 방식에 기반하여 얼굴 영역을 추출할 수 있으며, 얼굴 영역 검출 방식에는 제한이 없다. 전자 장치(101)는, 얼굴 영역을 추출하고 나머지 배경 영역은 이용하지 않을 수 있다. 이에 따라, 배경 영역 또한 디스플레이(160) 상에 표시되지 않을 수 있어 사용자의 프라이버시가 더욱 강하게 보장될 수 있다.
1209 동작에서, 전자 장치(101)는, 추출된 얼굴 영역에 기반하여, 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 오브젝트를 표시할 수 있다. 1211 동작에서, 전자 장치(101)는, 생체 정보 또는 얼굴 영역에 포함된 인식 대상 오브젝트 중 적어도 하나가 지정된 조건을 만족할 때까지, 추가 정보 및 자세 변경을 위한 정보를 변환된 오브젝트와 함께 제공할 수 있다. 다양한 실시예에서, 전자 장치(101)는 추가 정보를 변환된 오브젝트를 제외한 배경 영역에 표시할 수 있다. 예를 들어, 전자 장치(101)는, 추가 인증을 위한 인터페이스를 배경 영역에 표시할 수도 있다. 전자 장치(101)가 멀티-팩터 인증 방식으로 인증되도록 설정된 경우에, 전자 장치(101)는 배경 영역에 추가 인증을 위한 인터페이스를 표시할 수도 있다. 또는, 전자 장치(101)는 인증과 연관된 정보(예: 결재 정보, 송금 정보 등)를 표시할 수 있으며, 배경 영역에 표시될 수 있는 추가 정보의 종류에는 제한이 없음을 당업자는 용이하게 이해할 수 있을 것이다. 또는, 전자 장치(101)는, 배경 영역 상에 자세 변경을 위한 정보를 표시할 수도 있으며, 이 경우 추가 정보는 표시되지 않을 수도 있다. 또 다른 실시예에서, 전자 장치(101)는 배경 영역을 블러 처리하여 표시할 수도 있다. 이 경우, 전자 장치(101)는 블러 처리된 배경 영역과 변환된 오브젝트를, 자세 변경을 위한 정보와 함께 표시할 수도 있다. 다양한 실시예에서, 전자 장치(101)는 이미지로부터 획득된 배경 영역을 변환 오브젝트와 함께 표시하도록 설정될 수도 있다.
도 13은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 13의 실시예는 도 14를 참조하여 더욱 상세하게 설명하도록 한다. 도 14는 다양한 실시예에 따른 전자 장치의 표시 화면을 설명하기 위한 도면을 도시한다.
다양한 실시예에 따라서, 전자 장치(101)는, 1301 동작에서, 얼굴 인식의 개시 이벤트를 검출할 수 있다. 얼굴 인식의 개시 이벤트는, 상술한 다양한 홍채 인식의 개시 이벤트와 적어도 일부 동일할 수 있다. 1303 동작에서, 전자 장치(101)는, 카메라 모듈(180)을 구동하여 적어도 하나의 이미지를 획득할 수 있다. 1305 동작에서, 전자 장치(101)는, 센서 모듈(170)에 포함된 적외선 센서 모듈을 구동하여, 적외선을 조사하고 반사된 적외선에 대한 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는 복수 개의 돗트(dot)들로 구성되는 그리드(grid)의 형상으로 적외선을 조사할 수 있다. 이에 따라, 전자 장치(101)는, 얼굴에 대한 2차원 또는 3차원 적외선 이미지를 획득할 수 있다. 1307 동작에서, 전자 장치(101)는, 획득된 이미지에 기반하여, 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 오브젝트를 표시할 수 있다. 예를 들어, 도 14에서와 같이 전자 장치(101)는, 변환된 오브젝트(1421), 지정된 영역에 대한 가이드(1410), 자세 변경을 유도하기 위한 가이드(1422,1423)를 표시할 수 있다.
1309 동작에서, 전자 장치(101)는, 획득된 이미지로부터 얼굴의 위치, 형상, 또는 크기 중 적어도 하나를 확인할 수 있다. 1311 동작에서, 전자 장치(101)는, 생체 정보, 즉 얼굴에 대한 적외선 이미지에 기반하여 확인된 정보 또는 확인된 얼굴과 연관된 정보 중 적어도 하나가 지정된 조건을 만족할 때까지, 획득된 이미지에 포함된 얼굴과 연관된 정보에 기반하여 확인된 자세 변경을 위한 정보를, 변환된 오브젝트와 함께 제공할 수 있다. 전자 장치(101)는, 예를 들어 얼굴에 대한 적외선 이미지(1440)의 얼굴 영역(1420)로부터 추출된 특징점들(1445)이 지정된 조건을 만족할 때까지 가이드(1422,1423)를 제공할 수 있다. 도 14에서는, 적외선 이미지(1440)가 2차원 적외선 이미지인 것과 같이 도시되어 있지만, 이는 단순히 예시적인 것으로, 전자 장치(101)는 3차원 적외선 이미지를 획득하고, 이로부터 특징점을 추출할 수도 있다. 전자 장치(101)는, 특징점들(1445)이 미리 저장된 특징점들에 매칭되는지 여부를 확인하는 도중에도, 위치가 변경된 변환된 오브젝트(1430)를 표시할 수 있다. 다양한 실시예에 따른 전자 장치(101)는, 최초 사용자 얼굴 등록 시점에서 얼굴에 대한 적외선 이미지를 획득할 수 있으며, 적외선 이미지로부터 추출한 특징점들의 위치를 저장할 수 있다. 전자 장치(101)는, 저장된 특징점들의 정보 및 적외선 이미지로부터 획득한 특징점들의 정보를 비교하고, 일치되는 것으로 판단되면 인증이 성공한 것으로 판단할 수 있다.
다양한 실시예에서, 전자 장치(101)는 카메라 모듈(180)을 구동하지 않고, 센서 모듈(170)을 통하여 획득한 적외선 이미지에 기반하여 변환된 오브젝트를 표시하도록 설정될 수도 있다.
도 15는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 15의 실시예는 도 16을 참조하여 더욱 상세하게 설명하도록 한다. 도 16은 다양한 실시예에 따른 전자 장치를 도시한다.
도 15를 참조하면, 1501 동작에서, 전자 장치(101)는, 생체 정보 인식의 개시 이벤트를 검출할 수 있다. 1503 동작에서, 전자 장치(101)는, 카메라 모듈을 구동하여 적어도 하나의 이미지를 획득할 수 있다. 1505 동작에서, 전자 장치(101)는, 생체 정보 인식을 위한 센서 모듈을 구동하여, 생체 정보를 획득할 수 있다. 1507 동작에서, 전자 장치(101)는, 획득된 이미지에 기반하여, 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 오브젝트를 표시할 수 있다.
다양한 실시예에서, 전자 장치(101)는, 1509 동작에서, 주변의 조도를 측정할 수 있다. 예를 들어, 전자 장치(101)는, 카메라 모듈을 통하여 획득한 적어도 하나의 이미지를 분석하여, 주변의 조도를 확인할 수 있다. 전자 장치(101)는, 이미지에 포함된 픽셀 값에 기반하여 주변의 조도를 확인할 수 있다. 또는, 전자 장치(101)는, 센서 모듈을 통하여 획득한 생체 정보에 기반하여 주변의 조도를 확인할 수도 있다. 예를 들어, 전자 장치(101)는, 적외선 센서에 기반하여 인증 대상 신체 부위를 촬영한 적외선 이미지를 획득할 수 있다. 전자 장치(101)는, 적외선 이미지에 포함된 픽셀 값에 기반하여 주변의 조도를 확인할 수도 있다. 또는, 전자 장치(101)는, 조도 센서를 구동할 수 있으며, 조도 센서를 통하여 확인된 센싱 데이터에 기반하여 주변의 조도를 확인할 수도 있다. 또는, 전자 장치(101)는, 외부 전자 장치(예: 외부 조도 센서, 또는 외부 서버)로부터 주변의 조도에 대한 정보를 수신할 수도 있다.
1511 동작에서, 전자 장치(101)는, 생체 정보 또는 이미지에 포함된 인식 대상 오브젝트 중 적어도 하나가 지정된 조건을 만족할 때까지, 획득된 이미지에 포함된 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나와 주변의 조도에 기반하여 확인된 자세 변경을 위한 정보를 변환된 오브젝트와 함께 제공할 수 있다. 또는, 전자 장치(101)는, 주변의 조도에 기반하여 확인된 조도 환경 변경을 위한 정보를 변환된 오브젝트와 함께 제공할 수 있다. 예를 들어, 도 16에서와 같이, 전자 장치(101)는, “좀 더 밝은 곳으로 이동하세요”의 조도 증가를 요청하는 텍스트(1601)를 표시할 수 있다. 또한, 전자 장치(101)는, 상대적으로 어두운 환경을 나타내는 이미지(1611)를 표시하다가, 상대적으로 밝은 환경을 나타내는 이미지(1612)를 표시할 수 있다. 이에 따라, 사용자는, 상대적으로 어두운 환경으로부터 상대적으로 밝은 환경으로 이동하거나, 또는 조도를 변경하여야 함을 확인할 수 있다. 상대적으로 어두운 환경을 나타내는 이미지(1611) 및 상대적으로 밝은 환경을 나타내는 이미지(1612)에는, 획득된 이미지에 포함된 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나에 기반하여 확인된 자세 변경을 위한 정보를 변환된 오브젝트가 포함될 수 있다. 상대적으로 어두운 환경을 나타내는 이미지(1611) 및 상대적으로 밝은 환경을 나타내는 이미지(1612)의 배경, 또는 전체 밝기를 나타내는 정보(예: 명도, 또는 채도 중 적어도 하나)가 결정될 수 있다.
도 17은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 17의 실시예는 도 18을 참조하여 더욱 상세하게 설명하도록 한다. 도 18은 다양한 실시예에 따른 전자 장치를 도시한다.
도 17을 참조하면, 1701 동작에서, 전자 장치(101)는, 생체 정보 인식의 개시 이벤트를 검출할 수 있다. 1703 동작에서, 전자 장치(101)는, 카메라 모듈을 구동하여 적어도 하나의 이미지를 획득할 수 있다. 1705 동작에서, 전자 장치(101)는, 생체 정보 인식을 위한 센서 모듈을 구동하여, 생체 정보를 획득할 수 있다.
1707 동작에서, 전자 장치(101)는, 획득된 이미지에 포함된 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나가 지정된 조건을 만족함을 확인하면서, 생체 정보를 이용한 인증의 실패를 확인할 수 있다. 예를 들어, 전자 장치(101)는, 이미지에 포함된 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나가, 생체 정보 획득을 위하여 지정된 조건을 만족함을 확인할 수 있다. 전자 장치(101)는, 해당 조건이 만족됨에도, 센서를 통하여 획득한 생체 정보에 따른 인식이 실패함을 확인할 수 있다.
1709 동작에서, 전자 장치(101)는, 이미지 분석에 기반하여 장신구 착용을 확인할 수 있다. 1711 동작에서, 전자 장치(101)는, 장신구의 위치 조정을 요청하는 정보를 변환된 오브젝트와 함께 제공할 수 있다. 예를 들어, 전자 장치(101)는, 이미지 분석 결과 이미지 내에 안경이 있음을 확인할 수 있다. 전자 장치(101)는, 다양한 인식 모델에 기반하여 이미지로부터 다양한 장신구를 확인할 수 있다. 전자 장치(101)는, 인식 대상 생체 부위에 대한 센싱을 방해하는 장신구, 또는 다른 오브젝트(예: 머리카락 등)가 이미지에 배치됨을 확인할 수 있다. 전자 장치(101)는, 인식 대상 생체 부위에 대한 센싱을 방해하는 장신구, 또는 다양한 오브젝트의 인식 모델을 미리 저장할 수 있으며, 인식 모델은 전자 장치(101)에 의하여 생성되거나, 또는 다른 외부 전자 장치로부터 수신될 수도 있다. 인식 모델은, 학습에 따라 갱신될 수도 있다.
전자 장치(101)는, 도 18에서와 같이, 장신구의 위치 조정을 요청하는 정보를 변환된 오브젝트와 함께 제공할 수 있다. 예를 들어, 전자 장치(101)는, “안경을 벗어주세요”의 장신구 위치 변경을 요청하는 텍스트(1801)를 표시할 수 있다.
또한, 전자 장치(101)는, 장신구 이동 이전을 나타내는 이미지를 표시하다가, 장신구 이동 이후를 나타내는 이미지를 표시할 수 있다. 이에 따라, 사용자는, 장신구의 이동을 변경하여야 함을 확인할 수 있다. 장신구 이동 이전을 나타내는 이미지에는, 획득된 이미지에 포함된 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나에 기반하여 확인된 자세 변경을 위한 정보를 변환된 오브젝트(1802) 및 장신구를 나타내는 오브젝트(1803)를 포함할 수 있다. 장신구 이동 이후를 나타내는 이미지에는, 획득된 이미지에 포함된 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나에 기반하여 확인된 자세 변경을 위한 정보를 변환된 오브젝트(1812) 및 장신구를 나타내는 오브젝트(1813)를 포함할 수 있다. 장신구를 나타내는 오브젝트(1813)는 변환된 오브젝트(1812)로부터 이격된 위치에 배치될 수 있으며, 이에 따라 사용자는 장신구를 벗어야 함을 인식할 수 있다.
다양한 실시예에 따라서, 전자 장치(101)는, 센서를 통한 센싱 데이터에 기반한 실패를 확인하지 않고도, 이미지 분석 결과에 기반하여 장신구 이동 위치를 유도하는 텍스트, 또는 이미지 중 적어도 하나를 제공할 수도 있다. 다양한 실시예에 따라서, 전자 장치(101)는, 안경 이외에도 다양한 오브젝트의 위치의 변경을 요청하는 이미지 또는 텍스트 중 적어도 하나를 제공할 수도 있다.
도 19는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 19의 실시예는 도 20a 및 20b를 참조하여 더욱 상세하게 설명하도록 한다. 도 20a 및 20b는 다양한 실시예에 따른 전자 장치를 도시한다.
도 19를 참조하면, 1901 동작에서, 전자 장치(101)는, 생체 정보 인식의 개시 이벤트를 검출할 수 있다. 1903 동작에서, 전자 장치(101)는, 카메라 모듈을 구동하여 적어도 하나의 이미지를 획득할 수 있다. 1905 동작에서, 전자 장치(101)는, 생체 정보 인식을 위한 센서 모듈을 구동하여, 생체 정보를 획득할 수 있다.
1907 동작에서, 전자 장치(101)는, 획득된 이미지에 포함된 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나가 지정된 조건을 만족함을 확인하면서, 생체 정보를 이용한 인증의 실패를 확인할 수 있다. 전자 장치(101)는, 해당 조건이 만족됨에도, 센서를 통하여 획득한 생체 정보에 따른 인식이 실패함을 확인할 수 있다.
1909 동작에서, 전자 장치(101)는, 센서 모듈에 오염물의 부착을 확인할 수 있다. 1911 동작에서, 전자 장치(101)는, 오염물 제거를 요청하는 정보를 변환된 오브젝트와 함께 제공할 수 있다.
전자 장치(101)는, 획득한 생체 정보의 분석에 기반하여 센서 모듈(또는, 센서 모듈 상에 배치되는 글래스) 상에 오염물이 부착됨을 확인할 수 있다. 예를 들어, 전자 장치(101)는, 적외선 센서를 통하여 적외선 이미지를 획득할 수 있다. 전자 장치(101)는, 적외선 이미지 분석 결과에 기반하여, 적외선 센서 상에 오염물이 부착됨을 확인할 수 있다. 예를 들어, 전자 장치(101)는, 시계열적으로 촬영된 복수 개의 적외선 이미지에서 동일한 위치에, 동일한 오브젝트가 위치한 것을 확인할 수 있으며, 이에 따라 해당 위치에 오염물이 부착됨을 확인할 수 있다. 또는, 전자 장치(101)는, 특정 영역의 해상도가 다른 영역의 해상도보다 낮은 것을 확인할 수 있으며, 이에 따라 해당 영역에 오염물이 부착됨을 확인할 수 있다. 또는, 전자 장치(101)는, 촬영된 적외선 이미지의 해상도가 지정된 값보다 낮은 경우에, 오염물이 부착된 것으로 확인할 수도 있다. 또는, 전자 장치(101)는, 오염물을 인식할 수 있는 인식 모델을 미리 저장할 수도 있으며, 적외선 이미지의 인식 모델의 적용 결과를 확인함으로써 오염물이 부착됨을 확인할 수도 있다. 상술한 오염물 부착 여부를 확인하는 방법들은 단순히 예시적인 것으로, 오염물 부착 여부를 확인하는 방법에는 제한이 없다.
예를 들어, 도 20a에서와 같이, 전자 장치(101)는, “전면부 오염을 제거해주세요”의 오염물 제거를 요청하는 텍스트(2001)를 표시할 수 있다. 또한, 전자 장치(101)는, 오염물 부착 중 촬영된 것을 나타내는 이미지(2010)를 표시하다가, 오염물 제거 후 촬영된 것을 나타내는 이미지(2020)를 표시할 수 있다. 이에 따라, 사용자는, 센서 전면부를 닦아내야 함을 확인할 수 있다. 오염물 부착 중 촬영된 것을 나타내는 이미지(2010) 및 오염물 제거 후 촬영된 것을 나타내는 이미지(2020)에는, 획득된 이미지에 포함된 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나에 기반하여 확인된 자세 변경을 위한 정보를 변환된 오브젝트가 포함될 수 있다. 상대적으로 오염물 부착 중 촬영된 것을 나타내는 이미지(2010)는, 예를 들어 블러 처리가 된 이미지일 수 있으며, 오염물 제거 후 촬영된 것을 나타내는 이미지(2020)는 블러 처리되지 않은 이미지일 수 있다.
도 20b에서와 같이, 전자 장치(101)는, 직접 닦아야하는 지점을 나타내는 오브젝트(2021)와 함께 오염물 제거를 요청하는 텍스트(2022)를 표시할 수도 있다. 직접 닦아야하는 지점을 나타내는 오브젝트(2021)는, 센서의 위치에 따라 상이할 수도 있다.
도 21은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 21의 실시예는 도 22를 참조하여 더욱 상세하게 설명하도록 한다. 도 22는 다양한 실시예에 따른 전자 장치를 도시한다.
도 21을 참조하면, 2101 동작에서, 전자 장치(101)는, 생체 정보 인식의 개시 이벤트를 검출할 수 있다. 2103 동작에서, 전자 장치(101)는, 카메라 모듈을 구동하여 적어도 하나의 이미지를 획득할 수 있다. 2105 동작에서, 전자 장치(101)는, 생체 정보 인식을 위한 센서 모듈을 구동하여, 생체 정보를 획득할 수 있다. 2107 동작에서, 전자 장치(101)는, 획득된 이미지에 기반하여, 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 오브젝트를 표시할 수 있다. 2109 동작에서, 전자 장치(101)는, 생체 정보 또는 이미지에 포함된 인식 대상 오브젝트 중 적어도 하나가 지정된 조건을 만족할 때까지, 획득된 이미지에 포함된 인식 대상 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나와 주변의 조도에 기반하여 확인된 자세 변경을 위한 정보를 변환된 오브젝트와 함께 제공할 수 있다.
2111 동작에서, 전자 장치(101)는, 기설정된 시간 이내에 생체 정보를 이용한 인증이 성공한지 여부를 확인할 수 있다. 인증이 성공된 것으로 확인되면, 2113 동작에서, 전자 장치(101)는, 인증 성공에 대응하는 동작을 수행할 수 있다. 예를 들어, 전자 장치(101)는, 전자 장치(101)의 잠금 상태(lock state)를 해제하고, 메뉴 화면을 표시할 수 있다. 또는, 전자 장치(101)는, 전자 결재 또는 특정 홈페이지의 로그인 수행 등을 수행할 수도 있다. 인증이 실패한 것으로 확인되면, 2115 동작에서, 전자 장치(101)는, 인증 실패에 대응하는 감정을 반영한 오브젝트를 제공할 수 있다. 예를 들어, 전자 장치(101)는, 도 22에서와 같이, 인증 실패에 대응하는 감정을 반영한 오브젝트(2202)를 표시할 수 있다. 전자 장치(101)는, 인증 실패를 나타내는 텍스트(2201)를 표시할 수도 있다. 전자 장치(101)는, 다양한 감정에 대응하는 오브젝트를 저장할 수 있다. 전자 장치(101)는, 인증 실패에 대응하여, 슬픈 감정에 대응하는 오브젝트를 표시할 수도 있다.
다양한 실시예에 따른 전자 장치(101)는, 전자 장치(101)의 화면의 배경, 즉 오브젝트(2202)를 제외한 나머지 영역의 색상을 이전과 상이하게 설정하여 표시할 수도 있다.
다양한 실시예에 따른 전자 장치(101)는, 인증이 성공한 것으로 확인되면, 인증 성공에 대응하는 감정을 반영한 오브젝트를 제공한 이후에, 인증 성공에 대응하는 동작을 수행할 수도 있다. 예를 들어, 전자 장치(101)는, 인증 성공에 대응하여, 기쁜 감정에 대응하는 오브젝트를 표시할 수도 있다. 전자 장치(101)는, 배경의 색상 또한 인증 성공에 대응하는 색상으로 변경 표시할 수도 있다.
다양한 실시예에 따라서, 전자 장치(101)는, 인증의 시도 회수 별로 상이한 감정을 반영한 오브젝트를 표시하거나, 또는 상이한 색상의 배경을 표시할 수 있다. 전자 장치(101)는, 인증 스텝 별로 상이한 감정을 반영한 오브젝트를 표시하거나, 또는 상이한 색상의 배경을 표시할 수도 있다.
도 23은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 23의 실시예는 도 24a 및 24b를 참조하여 더욱 상세하게 설명하도록 한다. 도 24a 및 24b는 다양한 실시예에 따른 전자 장치를 도시한다.
2301 동작에서, 전자 장치(101)는, 카메라 모듈을 구동하여 적어도 하나의 이미지를 획득할 수 있다. 2303 동작에서, 전자 장치(101)는, 적어도 하나의 이미지에 포함된 인식 대상 오브젝트의 특성을 확인할 수 있다. 예를 들어, 전자 장치(101)가 홍채 인식으로 인증을 수행하도록 설정된 경우, 전자 장치(101)는, 적어도 하나의 이미지 각각에서 홍채에 대응하는 영역을 확인할 수 있다. 전자 장치(101)는, 홍채 영역의 위치, 크기, 또는 형상 중 적어도 하나를 포함하는 인식 대상 오브젝트의 특성을 확인할 수 있다. 전자 장치(101)는, 인식 대상 오브젝트가 복수 개인 경우(예: 2개의 홍채)에는, 전자 장치(101)는 홍채 영역 사이의 상대적인 위치(예: 홍채 영역 사이의 거리) 또한 인식 대상 오브젝트의 특성으로서 확인할 수도 있다.
2305 동작에서, 전자 장치(101)는, 인식 대상 오브젝트의 특성에 기반하여, 캐릭터를 구성하는 오브젝트의 적어도 일부를 조정하여 제공할 수 있다. 전자 장치(101)는, 캐릭터 중 인식 대상 오브젝트에 대응하는 오브젝트를, 확인된 인식 대상 오브젝트의 특성에 기반하여 표시할 수 있다. 예를 들어, 도 24a를 참조하면, 전자 장치(101)는, 제 1 사용자를 촬영한 제 1 이미지에서, 제 1 사용자의 얼굴 영역(2401)을 확인하고, 얼굴 영역(2401)에 포함된 홍채 영역(2402,2403)을 확인할 수 있다. 전자 장치(101)가 얼굴 영역을 먼저 확인하고, 확인된 얼굴 영역으로부터 홍채 영역을 검출하는 것은 단순히 예시적인 것으로, 전자 장치(101)는 얼굴 영역의 확인 없이 곧바로 홍채 영역을 확인할 수도 있다. 전자 장치(101)는, 제 1 사용자의 홍채 영역(2402,2403) 간 사이의 거리가 d1인 것을 확인할 수 있다. 전자 장치(101)는, 인증 과정 중 표시되도록 설정된 템플릿 이미지(2410)를 저장할 수 있다. 템플릿 이미지(2410)는, 예를 들어 홍채에 대응하는 오브젝트(2411,2412)를 포함할 수 있다. 한편, 템플릿 이미지(2410)는, 세부 편집이 불가능하도록 설정된 것일 수 있으며, 이에 따라 오브젝트(2411,2412)의 개별 편집이 불가능할 수 있다. 이 경우, 전자 장치(101)는, 템플릿 이미지(2410)의 크기를 조정함으로써, 홍채 영역의 특성을 표시되는 오브젝트에 반영할 수 있다. 예를 들어, 전자 장치(101)는 홍채간 거리인 d1에 대응하는 제 1 크기를 확인할 수 있으며, 템플릿 이미지(2410)를 제 1 크기로 설정한 오브젝트(2422)를 화면에 표시할 수 있다. 제 1 크기로 설정된 오브젝트(2422)에 포함된 홍채에 대응하는 오브젝트 사이의 거리인 X1은, 얼굴에 대응하는 영역(2421) 내의 인증 영역(2423,2424) 내에 배치될 수 있다. 전자 장치(101)는, 이미지 내에서 확인된 홍채간 거리인 d1과 제 1 크기 또는 인증 영역(2423,2424) 사이의 거리 X1 사이의 연관 관계를 저장할 수 있다. 전자 장치(101)는, 홍채간 거리인 d1에 대응하여 인증 영역(2423,2424) 사이의 거리 X1 또한 설정할 수도 있다. 전자 장치(101)는, 홍채 인식을 위한 적외선 이미지에서도 인증 영역(2423,2424)에 대응하는 위치에 대하여 홍채 인식을 수행할 수도 있다.
한편, 전자 장치(101)는 제 2 사용자를 촬영한 제 2 이미지에서, 제 2 사용자의 얼굴 영역(2431)을 확인하고, 얼굴 영역(2431)에 포함된 홍채 영역(2432,2433)을 확인할 수 있다. 전자 장치(101)는, 제 2 사용자의 홍채 영역(2432,2433) 간 사이의 거리가 d2인 것을 확인할 수 있다. 예를 들어, 전자 장치(101)는 홍채간 거리인 d2에 대응하는 제 2 크기를 확인할 수 있으며, 템플릿 이미지(2410)를 제 2 크기로 설정한 오브젝트(2442)를 화면에 표시할 수 있다. 제 2 크기로 설정된 오브젝트(2442)에 포함된 홍채에 대응하는 오브젝트(2443,2444) 사이의 거리인 X2은, 얼굴에 대응하는 영역(2441) 내의 인증 영역(2443,2444) 내에 배치될 수 있다. 전자 장치(101)는, 이미지 내에서 확인된 홍채간 거리인 d2과 제 2 크기 또는 인증 영역(2443,2444) 사이의 거리 X2 사이의 연관 관계를 저장할 수 있다. 전자 장치(101)는, 홍채간 거리인 d2에 대응하여 인증 영역(2443,2444) 사이의 거리 X2 또한 설정할 수도 있다. 전자 장치(101)는, 홍채 인식을 위한 적외선 이미지에서도 인증 영역(2443,2444)에 대응하는 위치에 대하여 홍채 인식을 수행할 수도 있다.
도시되지는 않았지만, 전자 장치(101)는, 홍채의 크기 또는 형상에 기반하여 표시되는 오브젝트의 크기를 설정할 수도 있다. 전자 장치(101)는, 사용자의 얼굴을 모사한 이모지에 대하여서도, 인식 대상 오브젝트의 특성이 반영되도록 이모지 전체의 크기를 설정할 수도 있다.
도 24b는 템플릿(2410) 내의 오브젝트(2411,2412)의 세부 편집이 가능한 경우를 설명하기 위한 도면이다. 전자 장치(101)는, 확인된 인식 대상 오브젝트의 특성에 기반하여, 홍채에 대응하는 오브젝트의 특성을 조정하여 표시할 수 있다.
예를 들어, 전자 장치(101)는, 제 1 사용자의 홍채 영역(2402,2403) 간 사이의 거리가 d1인 것을 확인할 수 있다. 예를 들어, 전자 장치(101)는 홍채간 거리인 d1에 대응하여 템플릿(2410) 내의 홍채에 대응하는 오브젝트(2411,2412) 사이의 거리를 조정할 수 있다. 이에 따라, 전자 장치(101)는, 홍채에 대응하는 오브젝트 사이의 거리가 P1인 오브젝트(2452)를 생성하여 표시할 수 있다. 전자 장치(101)는 홍채에 대응하는 오브젝트(2411,2412) 사이의 거리인 d1과 홍채에 대응하는 오브젝트 사이의 거리인 P1 사이의 대응 관계를 저장할 수 있으며, 대응 관계에 기반하여 오브젝트(2452) 내의 홍채에 대응하는 오브젝트의 특성을 조정할 수 있다. 전자 장치(101)는, 얼굴 영역(2451)에 대응하는 인식 대상 영역(2453,2454) 또한 P1으로 설정할 수 있다. 전자 장치(101)는, 적외선 이미지 내에서도 인식 대상 영역(2453,2454)에 대응하는 위치에 대하여 홍채 인식을 수행할 수도 있다.
예를 들어, 전자 장치(101)는, 제 2 사용자의 홍채 영역(2432,2433) 간 사이의 거리가 d2인 것을 확인할 수 있다. 예를 들어, 전자 장치(101)는 홍채간 거리인 d2에 대응하여 템플릿(2410) 내의 홍채에 대응하는 오브젝트(2411,2412) 사이의 거리를 조정할 수 있다. 이에 따라, 전자 장치(101)는, 홍채에 대응하는 오브젝트 사이의 거리가 P2인 오브젝트(2462)를 생성하여 표시할 수 있다. 전자 장치(101)는 홍채에 대응하는 오브젝트(2411,2412) 사이의 거리인 d1과 홍채에 대응하는 오브젝트 사이의 거리인 P2 사이의 대응 관계를 저장할 수 있으며, 대응 관계에 기반하여 오브젝트(2462) 내의 홍채에 대응하는 오브젝트의 특성을 조정할 수 있다. 전자 장치(101)는, 얼굴 영역(2461)에 대응하는 인식 대상 영역(2463,2464) 또한 P2로 설정할 수 있다. 전자 장치(101)는, 적외선 이미지 내에서도 인식 대상 영역(2463,2464)에 대응하는 위치에 대하여 홍채 인식을 수행할 수도 있다.
도 25는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 25의 실시예는 도 26을 참조하여 더욱 상세하게 설명하도록 한다. 도 26은 다양한 실시예에 따른 전자 장치를 도시한다.
도 25를 참조하면, 2501 동작에서, 전자 장치(101)는, 생체 정보 인식의 개시 이벤트를 검출할 수 있다. 2503 동작에서, 전자 장치(101)는, 카메라 모듈을 구동하여 적어도 하나의 이미지를 획득할 수 있다. 2505 동작에서, 전자 장치(101)는, 생체 정보 인식을 위한 센서 모듈을 구동하여, 생체 정보를 획득할 수 있다. 2507 동작에서, 전자 장치(101)는, 획득된 이미지에 기반하여, 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 오브젝트를 표시할 수 있다.
2509 동작에서, 전자 장치(101)는, 지정된 동작에 대응하는 화면을 변환된 오브젝트와 함께 표시할 수 있다. 예를 들어, 전자 장치(101)는, 멀티-팩터 인증을 수행할 수 있으며, 생체 정보 및 동작 정보를 확인함으로써 멀티-팩터 인증을 수행할 수 있다. 전자 장치(101)는, 생체 정보가 미리 저장된 정보에 대응되는지 여부를 확인하고, 아울러 사용자의 동작이 미리 지정된 동작에 대응되는지 여부에 기반하여 멀티-팩터 인증을 수행할 수 있다. 예를 들어, 전자 장치(101)는, 고개를 오른쪽으로 돌리는 동작을 지정된 동작으로서 저장하고, 얼굴에 대한 적외선 이미지로부터 획득한 정보를 생체 인증 정보로서 저장할 수 있다. 전자 장치(101)는, 지정된 동작에 대응하는 애니메이션(2602)을 표시할 수 있다. 예를 들어, 전자 장치(101)는, 캐릭터가 정면을 응시하다가 오른쪽으로 고개를 돌리는 애니메이션(2602)을 표시할 수 있다. 한편, 전자 장치(101)는, 배경에 사용자로 하여금 오른쪽으로 고개를 돌릴 수 있도록 유도하는 이미지(2603)(또는, 애니메이션)을 더 표시할 수도 있다. 이에 따라, 사용자는 해당 이미지(2603)에 따라 유도된 동작을 수행할 수도 있다.
2511 동작에서, 전자 장치(101)는, 지정된 기간 동안에 획득된 시계열적인 복수 개의 생체 정보에 적어도 기반하여 인증 수행할 수 있다. 예를 들어, 전자 장치(101)는, 적외선 카메라를 통하여 시계열적인 복수 개의 적외선 이미지를 획득할 수 있다. 전자 장치(101)는, 복수 개의 적외선 이미지 중 적어도 하나로부터, 예를 들어 특징점을 추출하고 해당된 특징점에 대한 정보가 미리 저장된 특징점에 대한 정보에 대응되는지 여부를 확인할 수 있다. 전자 장치(101)는, 대응 여부에 기반하여 제 1 인증이 성공한지 여부를 확인할 수 있다. 전자 장치(101)는, 복수 개의 적외선 이미지를 분석하여, 사용자의 동작을 확인할 수 있다. 예를 들어, 전자 장치(101)는 적외선 이미지를 분석하여 사용자의 얼굴의 방향이 정면을 향하다가 우측으로 향하는 것을 확인할 수 있다. 전자 장치(101)는, 확인된 동작이 미리 저장된 동작에 대응하는지 여부에 기반하여 제 2 인증이 성공한지 여부를 확인할 수 있다. 전자 장치(101)는, 제 1 인증 및 제 2 인증이 모두 성공한 것으로 확인되면, 인증이 성공한 것으로 확인할 수 있다. 다양한 실시예에서, 전자 장치(101)는, 센서 모듈을 통하여 획득한 생체 정보에 기반하여 제 1 인증을 수행하고, 카메라를 통하여 획득한 이미지에 기반하여 동작에 기반한 제 2 인증을 수행하도록 설정될 수도 있다. 한편, 상술한 얼굴 인식은 단순히 예시적인 것이며, 전자 장치(101)는, 멀티 팩터 인증 중, 하나의 인증으로서 다양한 생체 정보를 이용할 수도 있음을 당업자는 용이하게 이해할 것이다.
도 27은 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
2701 동작에서, 전자 장치(101)는, 생체 정보 인식의 개시 이벤트를 검출할 수 있다. 2703 동작에서, 전자 장치(101)는, 카메라 모듈을 구동하여 적어도 하나의 이미지를 획득할 수 있다. 2705 동작에서, 전자 장치(101)는, 획득된 이미지에 기반하여, 이미지에 포함된 오브젝트의 적어도 일부를 변환하여 생성한 변환된 오브젝트를 표시할 수 있다. 본 실시예에서, 전자 장치(101)는 센서 모듈을 구동하지 않을 수도 있다.
2709 동작에서, 전자 장치(101)는, 지정된 동작에 대응하는 화면을 변환된 오브젝트와 함께 표시할 수 있다. 예를 들어, 도 26에서와 같이, 전자 장치(101)는 지정된 동작에 대응하는 애니메이션(2602) 또는 지정된 동작을 유도하기 위한 이미지(2603) 중 적어도 하나를 표시할 수 있다.
2711 동작에서, 전자 장치(101)는, 지정된 기간 동안에 획득된 복수 개의 이미지에 적어도 기반하여 인증을 수행할 수 있다. 이 경우, 전자 장치(101)는, 검출된 동작이 저장된 동작에 대응되는지 여부에 기반하여 인증을 수행할 수 있다. 또는, 전자 장치(101)는 동작의 대응 여부에 추가적으로, 이미지 내의 적어도 하나의 오브젝트의 인식 결과에 기반하여 인증을 수행할 수도 있다. 예를 들어, 전자 장치(101)는, 이미지로부터 얼굴 영역을 확인하고, 얼굴 영역을 인식할 수 있다. 전자 장치(101)는 얼굴 영역의 인식 결과가 지정된 정보에 대응하는지에 기반하여 인증을 수행할 수도 있다. 즉, 상술한 바와 같이, 전자 장치(101)는, 센서 모듈로부터의 데이터를 이용하지 않고도, 이미지로부터 획득된 정보에 기반하여 멀티 팩터 인증을 수행할 수도 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리 또는 외장 메모리)에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램)로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(101))를 포함할 수 있다. 상기 명령이 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (28)

  1. 전자 장치에 있어서,
    카메라 모듈;
    센서 모듈;
    디스플레이;
    등록된 생체 정보를 저장하는 메모리; 및
    프로세서를 포함하고,
    상기 프로세서는,
    상기 카메라 모듈을 이용하여 적어도 하나의 이미지를 획득하고,
    상기 센서 모듈을 통하여, 생체 정보를 획득하고,
    상기 적어도 하나의 이미지에 포함된 제1 오브젝트의 적어도 일부를 변환하여 생성한 제2 오브젝트를 상기 디스플레이를 통하여 표시하고,
    상기 획득한 생체 정보 및 상기 등록된 생체 정보가 지정된 조건을 만족할 때까지, 상기 적어도 하나의 이미지에 포함된 상기 제1 오브젝트의 눈들의 위치, 형상, 또는 크기 중 적어도 하나에 기반하여 확인된 자세 변경을 위한 정보를, 상기 제2 오브젝트와 함께, 상기 디스플레이를 통하여 표시하도록 설정되고,
    상기 프로세서는, 상기 지정된 조건이 만족되기 전에, 상기 자세 변경을 위한 정보에 따라 상기 제2 오브젝트의 자세를 현재 자세로부터 지정된 자세로 변경하기 위해 상기 제2 오브젝트의 애니메이션을 표시하도록 설정되고,
    상기 프로세서는,
    상기 제1 오브젝트의 눈들의 위치, 형상, 또는 크기 중 적어도 하나와, 상기 적어도 하나의 이미지 내 상기 제1 오브젝트의 눈들 간의 제1 거리에 근거하여, 상기 적어도 하나의 이미지 내 상기 제1 오브젝트의 현재 자세를 결정하고,
    상기 제1 거리에 근거하여, 상기 제2 오브젝트의 크기를 유지하면서 상기 제2 오브젝트의 눈들 간의 제2 거리를 조절하도록 구성되고,
    상기 제2 오브젝트의 자세를 현재 자세로부터 상기 지정된 자세로 변경하는 것은 상기 제1 오브젝트의 눈들의 위치, 형상, 또는 크기 중 적어도 하나와, 상기 제1 오브젝트의 눈들 간의 제1 거리에 근거하여 상기 제2 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나를 변경하는 것을 포함하는, 전자 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    적외선을 조사하고, 상기 조사된 적외선이 반사되어 형성된 반사된 적외선을 수신하도록 상기 센서 모듈을 제어하고,
    상기 반사된 적외선에 기반하여, 사용자의 눈에 대한 적외선 이미지를 확인하고,
    상기 적외선 이미지로부터 홍채 정보를 확인하고,
    상기 확인된 홍채 정보가, 상기 메모리에 저장된 홍채 정보에 대응될 때까지, 상기 자세 변경을 위한 정보를, 상기 디스플레이 상에 표시하도록 제어하도록 더 설정된 전자 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    적외선을 조사하고, 상기 조사된 적외선이 반사되어 형성된 반사된 적외선을 수신하도록 상기 센서 모듈을 제어하고,
    상기 반사된 적외선에 기반하여, 사용자의 얼굴에 대한 적외선 이미지를 확인하고,
    상기 적외선 이미지로부터 얼굴 정보를 확인하고,
    상기 확인된 얼굴 정보가, 상기 메모리에 저장된 얼굴 정보에 대응될 때까지, 상기 자세 변경을 위한 정보를, 상기 디스플레이 상에 표시하도록 제어하도록 더 설정된 전자 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제1 오브젝트의 위치 및 지정된 기준 위치 사이의 차이, 상기 제1 오브젝트의 형상 및 지정된 기준 형상 사이의 차이, 또는 상기 제1 오브젝트의 크기 및 지정된 기준 크기 사이의 차이 중 적어도 하나에 기반하여 확인된 상기 자세 변경을 위한 정보를, 상기 디스플레이를 통하여 표시하도록 더 설정된 전자 장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제 1 항에 있어서,
    상기 프로세서는,
    상기 전자 장치의 주변의 조도에 대한 정보를 확인하고,
    상기 주변의 조도에 대한 정보에 기반하여 확인된 조도 환경 변경을 위한 정보를 상기 제2 오브젝트와 함께 제공하도록 더 설정된 전자 장치.
  11. 제 1 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 이미지의 분석 결과에 기반하여, 상기 제1 오브젝트의 검출을 방해하는 오브젝트의 존재를 확인하고,
    상기 제1 오브젝트의 검출을 방해하는 오브젝트의 위치 변경을 요청하는 정보를 상기 제2 오브젝트와 함께 제공하도록 더 설정된 전자 장치.
  12. 제 1 항에 있어서,
    상기 프로세서는,
    상기 센서 모듈 상에 위치한 오염물을 확인하고,
    상기 오염물의 제거를 요청하는 정보를 상기 제2 오브젝트와 함께 제공하도록 더 설정된 전자 장치.
  13. 제 1 항에 있어서,
    상기 프로세서는,
    기설정된 시간 이내에, 상기 획득한 생체 정보 및 상기 등록된 생체 정보가 지정된 조건을 만족하지 못함으로써, 인증 실패를 확인하고,
    상기 인증 실패에 대응하는 감정을 반영한 오브젝트를 상기 디스플레이를 통하여 표시하도록 설정된 전자 장치.
  14. 삭제
  15. 제 1 항에 있어서,
    상기 메모리는, 템플릿 이미지를 저장하고,
    상기 프로세서는,
    상기 적어도 하나의 이미지에 포함된 상기 제1 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나에 기반하여 상기 템플릿 이미지 내의 서브 오브젝트의 위치, 형상, 또는 크기 중 적어도 하나를 조정하고,
    상기 조정된 템플릿 이미지를 상기 제2 오브젝트로서 표시하도록 설정된 전자 장치.
  16. 제 1 항에 있어서,
    상기 메모리는, 지정된 동작에 대한 정보를 저장하고,
    상기 프로세서는,
    상기 적어도 하나의 이미지에 기반하여 사용자의 동작에 대한 정보를 확인하고,
    상기 획득한 생체 정보 및 상기 등록된 생체 정보가 상기 지정된 조건을 만족하고, 상기 확인된 사용자의 동작에 대한 정보가 상기 지정된 동작에 대한 정보에 대응하면, 인증이 성공한 것으로 판단하도록 설정된 전자 장치.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
KR1020180130211A 2018-05-14 2018-10-29 생체 인증을 수행하는 전자 장치 및 그 동작 방법 KR102581179B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980025835.3A CN112106046A (zh) 2018-05-14 2019-05-14 用于执行生物特征认证的电子设备及其操作方法
US16/411,592 US11410466B2 (en) 2018-05-14 2019-05-14 Electronic device for performing biometric authentication and method of operating the same
PCT/KR2019/005802 WO2019221494A1 (en) 2018-05-14 2019-05-14 Electronic device for performing biometric authentication and method of operating the same
EP19803710.3A EP3746923A4 (en) 2018-05-14 2019-05-14 ELECTRONIC DEVICE FOR PERFORMING BIOMETRIC AUTHENTICATION AND PROCEDURES FOR ITS OPERATION

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180054980 2018-05-14
KR1020180054980 2018-05-14

Publications (2)

Publication Number Publication Date
KR20190130448A KR20190130448A (ko) 2019-11-22
KR102581179B1 true KR102581179B1 (ko) 2023-09-22

Family

ID=68731117

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180130211A KR102581179B1 (ko) 2018-05-14 2018-10-29 생체 인증을 수행하는 전자 장치 및 그 동작 방법

Country Status (3)

Country Link
EP (1) EP3746923A4 (ko)
KR (1) KR102581179B1 (ko)
CN (1) CN112106046A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102472956B1 (ko) * 2020-08-25 2022-12-01 네이버 주식회사 사용자 인증 방법 및 시스템
CN113762969B (zh) * 2021-04-23 2023-08-08 腾讯科技（深圳）有限公司 信息处理方法、装置、计算机设备和存储介质
WO2023106874A1 (ko) * 2021-12-10 2023-06-15 주식회사 펫나우 반려 동물의 생체 정보를 취득하는 전자 장치 및 그 동작 방법
KR102623605B1 (ko) * 2021-12-10 2024-01-11 주식회사 펫나우 반려 동물의 생체 정보를 취득하는 전자 장치 및 그 동작 방법
WO2024080770A1 (ko) * 2022-10-14 2024-04-18 삼성전자 주식회사 홍채 정보를 검출하는 웨어러블 장치 및 그 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017208638A (ja) * 2016-05-17 2017-11-24 レノボ・シンガポール・プライベート・リミテッド 虹彩認証装置、虹彩認証方法、及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8982110B2 (en) * 2005-03-01 2015-03-17 Eyesmatch Ltd Method for image transformation, augmented reality, and teleperence
IL226047A (en) * 2013-04-29 2017-12-31 Hershkovitz Reshef May A method and system for giving personal expressions
KR102287751B1 (ko) * 2014-09-25 2021-08-09 삼성전자 주식회사 전자 장치의 홍채 인식 방법 및 장치
CN106156578B (zh) * 2015-04-22 2020-02-14 深圳市腾讯计算机系统有限公司 身份验证方法和装置
KR20170031542A (ko) * 2015-09-11 2017-03-21 엘지전자 주식회사 안경 검출 정보에 기반한 홍채 등록 및 인증 방법
KR20180006133A (ko) * 2016-07-08 2018-01-17 삼성전자주식회사 전자 장치 및 그의 동작 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017208638A (ja) * 2016-05-17 2017-11-24 レノボ・シンガポール・プライベート・リミテッド 虹彩認証装置、虹彩認証方法、及びプログラム

Also Published As

Publication number Publication date
CN112106046A (zh) 2020-12-18
EP3746923A1 (en) 2020-12-09
EP3746923A4 (en) 2021-06-23
KR20190130448A (ko) 2019-11-22

Similar Documents

Publication Publication Date Title
KR102581179B1 (ko) 생체 인증을 수행하는 전자 장치 및 그 동작 방법
US10796178B2 (en) Method and device for face liveness detection
US9131150B1 (en) Automatic exposure control and illumination for head tracking
US10678897B2 (en) Identification, authentication, and/or guiding of a user using gaze information
KR101495430B1 (ko) 바이오메트릭 인증을 위한 품질 메트릭
US8966613B2 (en) Multi-frame depth image information identification
US11151234B2 (en) Augmented reality virtual reality touchless palm print identification
US9607138B1 (en) User authentication and verification through video analysis
WO2018166456A1 (zh) 基于虚拟现实环境的身份认证方法及装置
US11693475B2 (en) User recognition and gaze tracking in a video system
CN110114777B (zh) 使用注视信息进行的用户的识别、认证和/或导引
US20220301218A1 (en) Head pose estimation from local eye region
CN114077726A (zh) 用于对用户进行认证的系统、方法和机器可读介质
US11163995B2 (en) User recognition and gaze tracking in a video system
KR20190101832A (ko) 전자 장치 및 아바타 기반의 커스텀 객체 운용 방법
KR102538405B1 (ko) 생체 인증 시스템, 생체 인증 방법 및 프로그램
US9436870B1 (en) Automatic camera selection for head tracking using exposure control
US20120320181A1 (en) Apparatus and method for security using authentication of face
US20170308763A1 (en) Multi-modality biometric identification
US11625952B2 (en) Iris recognition system, iris recognition method, and storage medium
JP7453137B2 (ja) Ｐｏｓ端末装置および画像処理方法
WO2019163066A1 (ja) なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
EP4109329A1 (en) Method and apparatus for acquiring facial image and iris image, readable storage medium, and device
Chen et al. Real-time eye localization, blink detection, and gaze estimation system without infrared illumination
US11335090B2 (en) Electronic device and method for providing function by using corneal image in electronic device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant