KR102409903B1 - 사용자 정보를 제공하는 전자 장치 및 방법 - Google Patents

사용자 정보를 제공하는 전자 장치 및 방법 Download PDF

Info

Publication number
KR102409903B1
KR102409903B1 KR1020150175344A KR20150175344A KR102409903B1 KR 102409903 B1 KR102409903 B1 KR 102409903B1 KR 1020150175344 A KR1020150175344 A KR 1020150175344A KR 20150175344 A KR20150175344 A KR 20150175344A KR 102409903 B1 KR102409903 B1 KR 102409903B1
Authority
KR
South Korea
Prior art keywords
information
user
image
electronic device
biometric
Prior art date
Application number
KR1020150175344A
Other languages
English (en)
Other versions
KR20170068305A (ko
Inventor
안드리 아스트라한트세프
올렉산드르 슈르
미하일로 코로보프
안드리 올리니크
김재홍
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150175344A priority Critical patent/KR102409903B1/ko
Priority to US15/778,818 priority patent/US10984082B2/en
Priority to EP16873180.0A priority patent/EP3367277A4/en
Priority to CN201680071773.6A priority patent/CN109074435B/zh
Priority to PCT/KR2016/005693 priority patent/WO2017099314A1/ko
Publication of KR20170068305A publication Critical patent/KR20170068305A/ko
Application granted granted Critical
Publication of KR102409903B1 publication Critical patent/KR102409903B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/42—User authentication using separate channels for security data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Abstract

이미지를 표시하는 디스플레이부, 사용자의 생체 정보를 감지하는 센서부 및 상기 이미지를 분석하여, 이미지 정보를 획득하고, 획득한 상기 이미지 정보와 감지된 상기 생체 정보에 기초하여 사용자 정보를 제공하는 제어부를 포함하는 전자 장치가 개시된다.

Description

사용자 정보를 제공하는 전자 장치 및 방법{Electronic device and method for providing an user information}
다양한 실시예들은 사용자 정보를 제공하는 전자 장치 및 방법에 관한 것이다.
정보통신 기술 및 반도체 기술의 발전으로 각종 전자 장치들이 다양한 멀티미디어 서비스를 제공하는 멀티미디어 장치로 발전하고 있다. 예를 들어, 전자 장치는 메신저 서비스, 방송 서비스, 무선 인터넷 서비스, 카메라 서비스 및 음악 재생 서비스와 같은 다양한 멀티미디어 서비스를 제공하고 있다.
최근에는 전자 장치에 저장된 다양한 정보에 관한 사용자의 프라이버시를 보호하고, 제3자에 의한 무분별한 사용을 방지하기 위하여, 전자 장치에 지문 인식 기능과 같은 생체 인증 기능이 제공되고 있다. 생체 인증 기능은, 개개인의 생체의 고유 정보를 이용하여, 사용자를 인증하는 방식을 의미한다.
또한, 전자 장치에 이미지 인식 기능이 제공되고 있다. 이미지 인식이란, 사진에서 이미지를 인식해서 사진 속의 객체를 파악하고, 검색 가능한 형태의 데이터로 자동 변환해 주는 것을 의미한다.
다양한 실시예들은, 이미지를 인식하여 이미지 정보를 획득하고, 획득한 이미지 정보와 감지된 생체 정보에 매칭되는 사용자 정보를 제공하는 전자 장치 및 방법을 제공할 수 있다.
일 실시예에 따른 전자 장치에서 사용자 정보를 제공하는 방법은, 이미지를 표시하는 단계, 상기 이미지를 분석하여, 이미지 정보를 획득하는 단계, 생체 정보를 감지하는 단계 및 획득한 상기 이미지 정보와 감지된 상기 생체 정보에 기초하여 사용자 정보를 제공하는 단계를 포함할 수 있다.
일 실시예에 따른 사용자 정보를 제공하는 방법은, 적어도 하나의 객체를 촬영하여, 상기 이미지를 획득하는 단계를 더 포함할 수 있다.
일 실시예에 따른 사용자 정보를 제공하는 방법은, 상기 이미지와 상기 생체 정보에 매칭되는 상기 사용자 정보를 저장하는 단계를 더 포함할 수 있다.
일 실시예에 따른 이미지 정보를 획득하는 단계는, 상기 이미지에 포함되는 적어도 하나의 객체를 인식하여, 인식된 상기 객체 정보를 상기 이미지 정보로 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 생체 정보를 감지하는 단계는, 사용자의 지문 정보, 홍채 정보, 음성 정보, 정맥 정보, 얼굴 정보, 손금 정보, 뇌전도(EEG) 정보 및 심전도(ECG) 정보 중 적어도 하나를 감지하는 단계를 포함할 수 있다.
일 실시예에 따른 이미지 정보를 획득하는 단계는, 상기 이미지에서 특정영역을 선택하는 터치 입력을 수신하는 단계, 및 선택된 상기 특정영역을 분석하여, 상기 이미지 정보를 획득하는 단계를 포함하고, 생체 정보를 감지하는 단계는, 상기 터치 입력에서 사용자 지문 정보를 감지하는 단계를 포함할 수 있다.
일 실시예에 따른 사용자 정보를 제공하는 방법은, ID/PW, 잠금패턴 및 PIN 중 적어도 하나를 포함하는 사용자 식별 정보를 입력받는 단계를 더 포함하고, 상기 사용자 정보를 제공하는 단계는, 상기 이미지 정보, 상기 생체 정보 및 상기 사용자 식별 정보에 기초하여, 상기 사용자 정보를 제공하는 단계를 포함할 수 있다.
일 실시예에 따른 사용자 정보는, 사용자 아이디, 사용자 비밀번호, 비밀 메모, 비밀 일기, 설정 정보 및 제어 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 사용자 정보를 제공하는 단계는, 상기 이미지 정보 및 상기 생체 정보에 매칭되는 상기 사용자 정보를 상기 디스플레이부에 표시하는 단계를 포함할 수 있다.
일 실시예에 따른 이미지 정보를 획득하는 단계는, 상기 이미지에 포함되는 객체를 인식하는 단계를 포함하고, 상기 사용자 정보를 제공하는 단계는, 상기 객체와 상기 생체 정보에 매칭되는, 상기 객체를 잠금 해제하는 키 정보를 상기 객체에 전송하는 단계를 포함할 수 있다.
일 실시예에 따른 객체는, 도어락일 수 있다.
일 실시예에 따른 이미지 정보를 획득하는 단계는, 상기 이미지에 포함되는 외부 장치를 인식하는 단계를 포함하고, 상기 사용자 정보를 제공하는 단계는, 상기 외부 장치와 상기 생체 정보에 매칭되는 상기 사용자 정보를 이용하여, 상기 외부 장치를 제어하는 단계를 포함할 수 있다.
일 실시예에 따른 외부 전자 장치는 영상 표시 장치이고, 상기 사용자 정보를 제공하는 단계는, 상기 사용자 정보에 포함되는 사용자 연령 정보에 기초하여, 상기 영상 표시 장치에 표시되는 영상을 제어하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치는, 이미지를 표시하는 디스플레이부, 사용자의 생체 정보를 감지하는 센서부 및 상기 이미지를 분석하여, 이미지 정보를 획득하고, 획득한 상기 이미지 정보와 감지된 상기 생체 정보에 기초하여 사용자 정보를 제공하는 제어부를 포함할 수 있다.
일 실시예에 따른 전자 장치는, 적어도 하나의 객체를 촬영하여, 상기 이미지를 획득하는 카메라를 더 포함할 수 있다.
일 실시예에 따른 전자 장치는, 상기 이미지와 상기 생체 정보에 매칭되는 상기 사용자 정보를 저장하는 저장부를 더 포함할 수 있다.
일 실시예에 따른 제어부는, 상기 이미지에 포함되는 적어도 하나의 객체를 인식하여, 인식된 상기 객체 정보를 상기 이미지 정보로 획득할 수 있다.
일 실시예에 따른 생체 정보는, 사용자의 지문 정보, 홍채 정보, 음성 정보, 정맥 정보, 얼굴 정보, 손금 정보, 뇌전도(EEG) 정보 및 심전도(ECG) 정보 중 적어도 하나일 수 있으며, 상기 센서부는, 지문 인식 센서, 홍채 인식 센서, 음성 인식 센서, 정맥 인식 센서, 얼굴 인식 센서, 손금 인식 센서, 뇌전도(EEG: Electroencephalogram) 측정 센서 및 심전도(ECG: Electrocardiogram) 측정 센서 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 디스플레이부는 터치 스크린 및 상기 센서부를 포함하고, 상기 터치 스크린은, 이미지에서 특정영역을 선택하는 터치 입력을 수신하고, 상기 센서부는 상기 터치 입력에서 사용자 지문 정보를 감지하며, 상기 제어부는, 선택된 상기 특정영역을 분석하여, 상기 이미지 정보를 획득할 수 있다.
일 실시예에 따른 전자 장치는, ID/PW, 잠금패턴 및 PIN 중 적어도 하나를 포함하는 사용자 식별 정보를 입력 받는 사용자 입력부를 더 포함하고, 상기 제어부는, 상기 이미지 정보, 상기 생체 정보 및 상기 사용자 식별 정보에 기초하여, 상기 사용자 정보를 제공할 수 있다.
일 실시예에 따른 사용자 정보는, 사용자 아이디, 사용자 비밀번호, 비밀 메모, 비밀 일기, 설정 정보 및 제어 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 제어부는, 상기 이미지 정보 및 상기 생체 정보에 매칭되는 상기 사용자 정보를 상기 디스플레이부에 표시하도록 제어할 수 있다.
일 실시예에 따른 제어부는, 상기 이미지에 포함되는 객체를 인식하고, 상기 객체와 상기 생체 정보에 매칭되는, 상기 객체를 잠금 해제하는 키 정보를 상기 객체에 전송하도록 제어할 수 있다.
일 실시예에 따른 제어부는, 상기 이미지에 포함되는 외부 장치를 인식하고, 상기 외부 장치와 상기 생체 정보에 매칭되는 상기 사용자 정보를 이용하여, 상기 외부 장치를 제어할 수 있다.
일 실시예에 따른 제어부는, 상기 외부 전자 장치는 영상 표시 장치이고, 상기 사용자 정보에 포함되는 사용자 연령 정보에 기초하여, 상기 영상 표시 장치에 표시되는 영상을 제어할 수 있다.
특정 객체와 관련된 사용자 정보를 일일이 기억하거나 외울 필요 없이, 특정 객체를 촬영함으로써, 특정 객체와 관련된 사용자 정보를 용이하게 제공받을 수 있다.
특정 객체를 촬영함으로써, 특정 객체와 관련된 직관적인 정보 검색이 가능하다.
특정 객체를 촬영함으로써, 특정 객체를 용이하게 제어할 수 있다.
도 1은 일 실시예에 따른, 전자 장치를 나타내는 도면이다.
도 2는 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 3은 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 4는 일 실시예에 따른 전자 장치가 이미지에서 객체를 인식하여, 이미지 정보를 획득하는 일 예를 나타내는 도면이다.
도 5는 일 실시예에 따른 전자 장치가 이미지 정보를 외부 서버로부터 획득하는 일 예를 나타내는 도면이다.
도 6은 일 실시예에 따른 전자 장치가 사용자 정보를 이미지 정보 및 생체 정보에 매핑하여 저장하는 예를 나타내는 도면이다.
도 7은 일 실시예에 따른 전자 장치가 사용자 정보를 디스플레이부에 표시하는 일 예를 나타내는 도면이다.
도 8은 일 실시예에 따른 전자 장치가 획득한 이미지 정보에 대응하는 사용자 정보가 존재하지 않는 경우, 메시지를 표시하는 일 예를 나타내는 도면이다.
도 9는 일 실시예에 따른 전자 장치가 사용자 정보를 디스플레이부에 표시하는 일 예를 나타내는 도면이다.
도 10은 일 실시예에 따른 전자 장치가 사용자 정보를 외부 장치로 전송하는 일 예를 나타내는 도면이다.
도 11은 일 실시예에 따른 전자 장치가 사용자 정보를 외부 장치로 전송하는 일 예를 나타내는 도면이다.
도 12는 일 실시예에 따른 전자 장치가 사용자 정보를 외부 장치로 전송하는 일 예를 나타내는 도면이다.
도 13은 일 실시예에 따른 전자 장치가 사용자 정보를 표시하는 일 예를 나타내는 도면이다.
도 14는 일 실시예에 따른 전자 장치가 사용자 정보를 표시하는 일 예를 나타내는 도면이다.
도 15는 일 실시예에 따른 전자 장치가 사용자 정보를 이용하여, 외부 장치를 제어하는 일 예를 나타내는 도면이다.
도 16은 일 실시예에 따른 전자 장치가 사용자 설정 정보를 이용하여 외부 장치를 제어하는 일 예를 나타내는 도면이다.
도 17은 일 실시예에 따른 전자 장치가 사용자 설정 정보를 이용하여, 외부 장치를 제어하는 일 예를 나타내는 도면이다.
도 18은 일 실시예에 따른 전자 장치가 사용자 정보를 외부 장치로 전송하거나, 사용자 정보를 이용하여 외부 장치를 제어하는 일 예를 나타내는 도면이다.
도 19는 일 실시예에 따른 전자 장치가 이미지에서 인식된 사용자 정보를 저장하거나, 외부 장치로 전송하는 일 예를 나타내는 도면이다.
도 20은 일 실시예에 따른 전자 장치의 동작방법을 나타내는 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른, 전자 장치를 나타내는 도면이다.
본 명세서에서, 전자 장치(100)란, 전자의 운동을 이용하는 전기기기를 의미한다. 일 실시예에 따른 전자 장치(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 전자 장치(100)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 데스크 탑, 태블릿 PC, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라, 캠코더, IPTV(Internet Protocol Television), DTV(Digital Television), 착용형 기기(wearable device, 예를 들어, 스마트 워치(smart watch), 스마트 글래스(smart glass) 등), 또는 액세서리 등과 같은 다양한 전자 장치로 구현될 수 있다. 다만, 이에 한정되는 것은 아니다.
본 명세서의 실시예에서 “사용자”라는 용어는 전자 장치(100)의 기능 또는 동작을 제어하는 사람을 의미하며, 시청자, 관리자 또는 설치 기사를 포함할 수 있다.
일 실시예에 따른 전자 장치(100)는 이미지를 표시할 수 있다. 이미지는, 전자 장치(100)를 이용하여 촬영된 이미지, 전자 장치(100)에 저장되어 있는 이미지, 또는, 외부 장치(100)로부터 수신한 이미지일 수 있다.
또한, 전자 장치(100)는 표시된 이미지를 분석하여, 이미지 정보를 획득할 수 있다. 이미지 정보는, 이미지에 포함된 사람 또는 사물을 인식하여, 텍스트 형태의 단어로 표현한 정보를 포함할 수 있다.
예를 들어, 도 1에 도시된 바와 같이, 도어락을 포함하는 이미지가 표시된 경우, 일 실시예에 따른 전자 장치(100)는 객체 인식 방법을 이용하여, 이미지에 포함된 객체가 “도어락”임을 인식할 수 있다. “도어락”이 인식되면, 전자 장치(100)는 “도어락”이라는 이미지 정보를 획득할 수 있다.
일부 실시예로, 전자장치(100)는 터치스크린(155)을 구비할 수 있고, 터치스크린(155)에 표시된 이미지로부터 이미지 정보를 획득하기 위해, 터치스크린(155)에 표시된 이미지에서 특정영역을 선택하는 사용자의 터치입력을 수신할 수 있다. 이때, 이미지에서 특정영역을 선택하는 동작이라 함은 이미지에서 사물 또는 사람과 같은 적어도 하나 이상의 객체를 선택하는 동작을 의미한다. 또한, 전자 장치(100)는 표시된 이미지에 복수의 객체가 표시되는 경우(예를 들어, 표시된 이미지가 도어락 및 냉장고를 포함하는 경우), 복수의 객체 중 어느 하나를 선택하는 사용자 입력을 수신할 수 있다. 전자 장치(100)는 선택된 객체를 인식하여, 이미지 정보를 획득할 수 있다. 또는, 복수의 객체 중 둘 이상의 객체들을 선택하는 사용자 입력을 수신할 수 있다. 전자 장치(100)는 선택된 둘 이상의 객체들을 각각 인식하여, 이미지 정보를 획득할 수 있다.
본 명세서에서, 생체 정보는 개인을 식별할 수 있는 고유한 생물체의 정보를 의미하며, 지문, 홍채, 지정맥, 정맥, 각막, 얼굴, 보이스 패턴(음성, 음량), 뇌전도(EEG), 심전도(ECG)등과 같은 정보뿐만 아니라, 사용자 고유의 동작 정보(제스처, 걸음걸이, 자세)를 포함 할 수 있으며, 상기 예시에 한정되지 않는다.
한편, 일 실시예에 따른 전자 장치(100)는 사용자의 생체 정보를 측정할 수 있는 다양한 센서들을 포함할 수 있다. 예를 들어, 따른 전자 장치(100)는 지문 인식 센서, 홍채 인식 센서, 음성 인식 센서, 정맥 인식 센서, 얼굴 인식 센서, 손금 인식 센서 등을 포함할 수 있다. 또는, 전자 장치(100)는 뇌전도(EEG: Electroencephalogram) 측정 센서, 심전도(ECG: Electrocardiogram) 측정 센서 등을 포함할 수 있다. 다만, 이에 한정되는 것은 아니다.
예를 들어, 도 1에 도시된 바와 같이, 전자 장치(100)는 지문 인식 영역(20)을 포함할 수 있다. 사용자의 손가락으로 지문 인식 영역(20)을 터치하는 경우(사용자가 손가락을 지문 인식 영역(20)에 가져다 대는 경우), 전자 장치(100)는 지문 인식 센서를 이용하여, 사용자의 지문을 인식하여 사용자를 인증할 수 있다. 일 실시예에 따른 지문 인식 영역(20)은 터치 스크린 상에 구현될 수 있다. 전자 장치(100)는 사용자가 터치 스크린을 터치하는 입력을 수신하는 경우, 동시에 터치 입력을 통하여, 사용자의 지문 정보를 감지할 수 있다. 본 명세서에서 지문 정보는 사람마다 고유의 특성 차이를 나타내는 지문 이미지 또는 지문 이미지에서 획득한 지문 특징점(minutiae)과 같은 지문의 특징을 나타내는 정보를 의미한다. 본 명세서에서 터치 입력은 손을 대거나 건드려 신호를 보내는 행위를 의미한다. 일부 실시예로, 터치 입력을 획득하는 방식은 직접 터치(Real-Touch)와 근접 터치(Proximity Touch)가 있을 수 있으며 이에 한정되지 않는다.
또한, 전자 장치(100)는 카메라를 이용하여, 사용자의 홍채를 촬영하고, 촬영된 홍채의 패턴을 이용하여, 사용자를 인증할 수 있다. 또한, 전자 장치(100)는 사용자의 지정맥, 정맥, 각막, 얼굴, 보이스 패턴(음성, 음량), 뇌전도(EEG), 심전도(ECG)등과 같은 정보뿐만 아니라, 사용자 고유의 동작 정보(제스처, 걸음걸이, 자세) 등에 관한 정보 등을 인식하여, 사용자를 인증할 수 있다.
또한, 전자 장치(100)는 복수의 생체 정보를 감지하여, 사용자를 인증할 수 있다. 이때, 동일한 종류의 생체 정보를 복수로 감지하거나, 다른 종류의 생체 정보들을 감지할 수 있다. 예를 들어, 전자 장치(100)는 사용자의 엄지 손가락 지문 정보와 검지 손가락 지문 정보를 감지하여, 사용자를 인증할 수 있다. 또는, 전자 장치(100)는 사용자의 지문 정보와 홍채 정보를 감지하여, 사용자를 인증할 수 있다.
또는, 전자 장치(100)는 생체 정보가 아닌 인증 정보를 이용하여, 사용자를 인증할 수 있다. 예를 들어, 패스워드, 화면 잠금패턴, PIN(Personal Identification Number) 등을 이용하여, 사용자를 인증할 수 있다.
일 실시예에 따른 전자 장치(100)는 획득한 이미지 정보와 감지된 생체 정보에 기초하여, 사용자 정보를 제공할 수 있다. 일 실시예에 따른 사용자 정보는 사용자에 관한 정보로, 사용자의 아이디, 사용자의 비밀번호(도어락 비밀번호, 계좌 비밀번호, 로그인 비밀번호 등), 사용자의 신용 카드 정보, 사용자가 작성한 비밀 메모, 비밀 일기 등 사용자의 프라이버시와 관련된 정보, 사용자가 설정한 설정 정보, 기기 제어 정보 등을 포함할 수 있다. 다만, 이에 한정되는 것은 아니다.
또한, 일 실시예에 따른 전자 장치(100)는 감지된 생체 정보의 종류 또는 개수에 따라, 사용자 정보를 다르게 제공할 수 있다. 예를 들어, 사용자의 홍채 정보가 감지되는 경우와 사용자의 지문 정보가 감지되는 경우에 제공되는 사용자 정보의 범위는 다를 수 있다. 또한, 사용자의 지문 정보가 1개 감지되는 경우와 사용자의 지문 정보가 2개 감지되는 경우에 제공되는 사용자 정보의 범위는 다를 수 있다. 다만, 이에 한정하는 것은 아니다.
도 2는 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 2를 참조하면, 일 실시예에 따른 전자 장치(100a)는 디스플레이부(110), 센서부(120) 및 제어부(130)를 포함할 수 있다.
디스플레이부(110)는 제어부(130)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이부(110)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display) 등으로 구현될 수 있다. 또한, 디스플레이부(110)는 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이부(110)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
일 실시예에 따른 디스플레이부(110)는 이미지를 표시할 수 있다. 이때, 디스플레이부(110)에 표시되는 이미지는 전자 장치(100)에서 촬영된 이미지, 전자 장치(100)에 저장된 이미지, 외부 장치로부터 수신한 이미지 중 적어도 하나일 수 있다. 다만, 이에 한정하는 것은 아니다.
일 실시예에 따른 센서부(120)는 사용자의 생체 정보를 감지하여, 감지된 생체 정보를 제어부(130)로 전달할 수 있다. 센서부(120)는 사용자의 생체 정보를 감지하는 센서를 포함할 수 있다. 예를 들어, 지문 인식 센서, 홍채 인식 센서, 음성 인식 센서, 정맥 인식 센서, 얼굴 인식 센서, 손금 인식 센서, 뇌전도(EEG: Electroencephalogram) 측정 센서, 심전도(ECG: Electrocardiogram) 측정 센서 등을 포함할 수 있다. 다만, 이에 한정하는 것은 아니다.
제어부(130)는 전자 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(130)는, 내부 프로그램에 의하여 전자 장치(100)를 제어할 수 있다.
일 실시예에 따른 제어부(130)는 이미지를 분석하여, 이미지 정보를 획득할 수 있다. 예를 들어, 제어부(130)는 객체 인식 방법을 이용하여 이미지에 포함되는 적어도 하나의 객체를 인식하고, 인식된 객체 정보를 이미지 정보로서 획득할 수 있다. 이에 대해서는 도 4를 참조하여, 자세히 설명하기로 한다.
또한, 제어부(130)는 획득한 이미지 정보와 감지된 사용자의 생체 정보에 기초하여, 사용자 정보를 제공할 수 있다. 예를 들어, 제어부(130)는 이미지 정보 및 생체 정보에 매칭되는 사용자 정보를 디스플레이부(110)에 표시하도록 제어하거나, 사용자 정보를 외부 장치로 전송하도록 제어할 수 있다. 또는, 제어부(130)는 사용자 정보를 이용하여, 외부 장치를 제어할 수 있다.
도 3은 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 3을 참조하면, 전자 장치(100b)는, 도 1의 전자 장치(100)의 일 실시예일 수 있다.
도 3을 참조하면, 일 실시예에 따른 전자 장치(100b)는 제어부(130), 디스플레이부(110) 및 센서부(120) 이외에 통신부(140), 출력부(150), 사용자 입력부(160), A/V 입력부(170) 및 저장부(180)를 더 포함할 수도 있다.
제어부(130), 디스플레이부(110) 및 센서부(120)에 대하여, 도 2에서 설명한 내용과 동일한 내용은 도 3에서 생략하기로 한다.
통신부(140)는, 전자 장치(100)와 외부 장치(예를 들어, 서버 등) 간의 통신을 수행하기 위한 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(140)는, 근거리 통신부(141), 이동 통신부(142), 방송 수신부(143)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(141)는, 블루투스 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(142)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(143)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(100)가 방송 수신부(143)를 포함하지 않을 수도 있다.
통신부(140)는, 외부 장치로부터 이미지를 수신할 수 있다. 또는, 디스플레이부(110)에 표시되는 이미지 및 이미지 분석 요청을 외부 서버로 전송할 수 있다. 또한, 통신부(140)는 전송된 이미지를 분석하여, 획득한 이미지 정보를 외부 서버로부터 수신할 수 있다.
출력부(150)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(110)와 음향 출력부(152), 진동 모터(153) 등이 포함될 수 있다. 디스플레이부(110)에 대해서는 도 2에서 이미 설명한 바 있으므로, 디스플레이부(100)에 대한 설명은 생략하기로 한다.
음향 출력부(152)는 통신부(140)로부터 수신되거나 저장부(180)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(152)는 전자 장치(100)에서 수행되는 기능과 관련된 음향 신호(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)를 출력한다. 이러한 음향 출력부(152)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(153)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(153)는 오디오 데이터 또는 비디오 데이터의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(153)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
제어부(130)는, 전자 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(130)는, 저장부(180)에 저장된 프로그램들을 실행함으로써, 통신부(140), 출력부(150), 사용자 입력부(160), 센싱부(120), A/V 입력부(170) 등을 제어할 수 있다.
사용자 입력부(160)는, 사용자가 전자 장치(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(160)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
터치 스크린(155)은 터치 패널과 디스플레이 패널로 구성될 수 있다. 터치 스크린(155)은 터치 입력 위치, 터치된 면적뿐만 아니라 터치 압력까지도 검출할 수 있도록 구성될 수 있다. 또한, 터치 스크린(155)은 직접 터치(real-touch)뿐만 아니라 근접 터치(proximity touch)도 검출될 수 있도록 구성될 수 있다.
본 명세서에서 “직접 터치(real-touch)”라 함은 화면에 실제로 터치 도구(예를 들어, 전자 펜, 손가락 등)가 터치된 경우를 말하고, “근접 터치(proximity-touch)”라 함은 터치 도구가 화면에 실제로 터치는 되지 않고, 화면으로부터 소정 거리 떨어져 접근된 경우를 말한다. 도면에는 도시되지 않았지만, 터치스크린(155)의 터치 또는 근접 터치를 감지하기 위해 터치 스크린(155)의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치 스크린(155)의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치 스크린(155)의 터치를 감지하기 위한 센서의 일례로 근접 센서(128)가 있다. 근접 센서(128)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
또한, 터치 스크린(155)은 지문 인식 센서를 포함할 수 있다. 터치 스크린(155)이 지문 인식 센서를 포함하는 경우, 터치 스크린(155)은 사용자가 터치 스크린을 터치하는 입력을 수신하는 동시에, 터치 입력을 통하여, 사용자의 지문 정보를 감지할 수 있다.
센서부(120)는, 생체 정보를 센싱하는 센서뿐만 아니라, 전자 장치(100)의 상태 또는 이동 단말기(200) 주변의 상태를 감지하는 센서를 포함할 수 있다. 또한, 센싱부(120)는 센서에서 감지된 정보를 제어부(130)로 전달할 수 있다.
센서부(120)는, 도 2에서 설명한 지문 인식 센서, 홍채 인식 센서, 음성 인식 센서, 정맥 인식 센서, 얼굴 인식 센서, 손금 인식 센서 이외에도 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 온/습도 센서, 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS)), 기압 센서, 근접 센서, 및 RGB 센서(illuminance sensor) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
센서부(120)는 전자 장치(200)의 움직임, 전자 장치 사용자의 생체 신호, 전자 장치에 입력되는 터치 신호 등을 센싱할 수 있다.
A/V(Audio/Video) 입력부(170)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(171)와 마이크로폰(172) 등이 포함될 수 있다. 카메라(171)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(130) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(171)에서 처리된 화상 프레임은 저장부(180)에 저장되거나 통신부(140)를 통하여 외부로 전송될 수 있다. 카메라(171)는 전자 장치(100)의 구성 양태에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(172)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(172)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(172)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
저장부(180)는, 제어부(130)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 애플리케이션, 콘텐트, 외부 디바이스의 시간대 정보, 주소록 등)을 저장할 수도 있다.
저장부(180)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 전자 장치(100)는 인터넷(internet)상에서 저장부(180)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
저장부(180)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(181), 터치 스크린 모듈(182), 알림 모듈(183) 등으로 분류될 수 있다.
일 실시예에 따른 저장부(180)는 사용자 정보를 이미지 정보 및 생체 정보에 매핑하여 저장할 수 있다. 일 실시예에 따른 사용자 정보는 사용자에 관한 정보로, 사용자의 아이디, 사용자의 비밀번호(도어락 비밀번호, 계좌 비밀번호, 로그인 비밀번호 등), 사용자의 신용 카드 정보, 사용자가 작성한 비밀 메모, 비밀 일기 등 사용자의 프라이버시와 관련된 정보, 사용자가 설정한 설정 정보, 기기 제어 정보 등을 포함할 수 있다. 다만, 이에 한정되는 것은 아니다. 또한, 저장부(180)는 이미지 정보, 생체 정보 및 사용자 정보를 매핑 테이블의 형태로 저장할 수 있으며, 이에 대해서는 도 6을 참조하여, 자세히 설명하기로 한다.
UI 모듈(181)은, 어플리케이션 별로 전자 장치(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(182)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(130)로 전달할 수 있다.
터치 스크린 모듈(182)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(182)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
알림 모듈(183)은 전자 장치(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 전자 장치(100)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(183)은 디스플레이부(110)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(152)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(153)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
도 4는 일 실시예에 따른 전자 장치가 이미지에서 객체를 인식하여, 이미지 정보를 획득하는 일 예를 나타내는 도면이다.
도 4를 참조하면, 일 실시예에 따른 전자 장치(100)는 이미지에 대하여, 이미지 처리를 수행할 수 있다. 이미지 처리는 가우시안 필터링, 이미지 블러링 등을 포함할 수 있으며, 전자 장치(100)는 이외에도 다양한 처리를 수행할 수 있다.
전자 장치(100)는 처리된 이미지에서 특징점을 추출할 수 있다. 이미지 특징점(interesting point)은 이미지의 특징을 나타낼 수 있는 지점으로써, 이미지의 스케일링, 회전, 왜곡 등의 변화에 관계없이 이미지의 특징을 잘 설명할 수 있는 지점 또는 지점들의 집합을 의미한다.
예를 들어, 이미지 특징점은 주위 배경과 구분되면서 식별이 용이한 지점을 나타낼 수 있다. 또한, 물체의 형태나 크기, 위치가 변해도 용이하게 식별이 가능하고, 카메라의 시점, 조명이 변해도 이미지에서 해당 지점을 용이하게 찾아낼 수 있는 지점이 이미지 특징점으로 추출될 수 있다. 특히, 전자 장치(100)는 이미지에서 코너점(corner point)을 이미지 특징점으로 추출할 수 있다. 이때, 이미지 특징점을 추출하기 위해, Harris corner 검출 방법, Shi-Tomasi 특징점 추출 방법, SIFT(Scale Invariant Feature Transform)을 이용한 특징점 검출 방법, FAST(Features from Accelerated Segment Test) 방법 등을 이용할 수 있다. 상기 방법들은 당업계에 알려진 알고리즘으로, 구체적인 설명은 생략하기로 한다.
예를 들어, 도 4에 도시된 바와 같이, 전자 장치(100)는 제1 이미지(310)에서 특징점(315)을 추출할 수 있다. 이때, 제1 이미지(310)는 전자 장치(100)에서 촬영된 이미지, 외부 장치로부터 수신한 이미지, 전자 장치(100)에 저장된 이미지 등일 수 있다.
전자 장치(100)는 추출된 특징점(315)을 후보 이미지들의 특징점들과 비교하여, 후보 이미지들 중 제1 이미지(310)와 매핑되는 제2 이미지(320)를 추출할 수 있다. 예를 들어, 전자 장치(100)는 추출된 이미지 특징점을 이용하여, 이미지 특징점 모델을 생성하고, 전자 장치(100)에 저장된 후보 이미지들의 특징점 모델들과 비교함으로써, 제1 이미지(310)에 대응하는 제2 이미지(320)를 추출할 수 있다. 전자 장치(100)는 제1 이미지(310)에서 추출된 특징점(315)과 매칭되는 특징점을 가지는 제2 이미지(320)를 추출할 수 있다.
전자 장치(100)는 추출된 제2 이미지(320)에 기초하여, 제1 이미지(310)의 이미지 정보를 획득할 수 있다. 예를 들어, 제1 이미지(310)가 “도어락”이라는 이미지 정보를 가지는 제2 이미지(320)와 매칭될 때, 제1 이미지(310)의 이미지 정보를 “도어락”으로 결정할 수 있다.
또한, 전자 장치(100)는 휴먼 인식(human recognition) 방법을 이용하여, 이미지 정보를 획득할 수 있다. 예를 들어, 이미지에 포함된 사람의 얼굴, 표정, 신체, 행동, 제스쳐, 움직임 등과 같이 사람에게서 추출될 수 있는 특징에 기초하여, 이미지 정보를 획득할 수 있다.
도 5는 일 실시예에 따른 전자 장치가 이미지 정보를 외부 서버로부터 획득하는 일 예를 나타내는 도면이다.
도 5를 참조하면, 전자 장치(100)는 분석하고자 하는 이미지(이하, 제1 이미지) 및 이미지에 대한 분석 요청을 외부 서버(200)로 전송할 수 있다. 서버(200)는 제1 이미지를 수신하여, 제1 이미지에 대한 분석을 수행할 수 있다. 서버(200)는 객체 인식 방법을 이용하여, 제1 이미지에 대한 이미지 정보(이미지에 포함된 객체에 대한 정보)를 획득할 수 있다. 이때, 서버(200)는 도 4에서 설명한 객체 인식 방법을 이용하여, 제1 이미지와 매칭되는 제2 이미지를 추출할 수 있다.
서버(200)는 추출된 제2 이미지에 기초하여, 제1 이미지의 이미지 정보를 획득할 수 있다. 예를 들어, 제1 이미지가 “도어락”이라는 이미지 정보를 가지는 제2 이미지와 매칭될 때, 제1 이미지의 이미지 정보를 “도어락”으로 결정할 수 있다. 서버(200)는 제1 이미지의 이미지 정보를 전자 장치(100)로 전송할 수 있다. 전자 장치(100)는 서버(200)로부터 제1 이미지의 이미지 정보를 획득할 수 있다.
도 6은 일 실시예에 따른 전자 장치가 사용자 정보를 이미지 정보 및 생체 정보에 매핑하여 저장하는 예를 나타내는 도면이다.
도 6을 참조하면, 전자 장치(100)는 매핑 테이블(410)을 저장부에 저장할 수 있다. 일 실시예에 따른 매핑 테이블(410)은 이미지 정보, 생체 정보 및 사용자 정보를 포함할 수 있다. 매핑 테이블(410)은 이미지 정보, 생체 정보 및 사용자 정보를 서로 매핑해 놓은 테이블일 수 있으며, 전자 장치(100)는 매핑 테이블에 따라, 사용자 정보를 제공할 수 있다.
예를 들어, 이미지에서 획득된 이미지 정보가 “도어락”이고, 감지된 생체 정보(예를 들어, 지문)가 지문 1(예를 들어, 제1 사용자의 지문)인 경우, 전자 장치(100)는 “비밀번호: 19480”이라는 사용자 정보를 제공할 수 있다.
또는, 이미지에서 획득된 이미지 정보가 “에어컨”이고, 감지된 생체 정보가 지문 4인 경우, 전자 장치(100)는 “에어컨” 및 “지문 4”에 대응하는 사용자 정보를 이용하여, 에어컨을 제어할 수 있다. 예를 들어, 전자 장치(100)는 에어컨의 온도를 24℃로 설정하는 제어 명령을 에어컨으로 전송할 수 있다.
또는, 이미지에서 “사용자 A”가 인식되고, 감지된 생체 정보가 지문 5인 경우, 전자 장치(100)는 사용자 A에 대하여 메모해 놓은 비밀 메모(100만원 빌려감)를 제공할 수 있다.
한편, 도 6에서는 이미지 정보, 생체 정보 및 사용자 정보를 매핑 테이블의 형태로 저장하는 예에 대해서 도시하고 설명하였지만, 이에 한정되는 것은 아니며, 전자 장치(100)는 이미지 정보, 생체 정보 및 사용자 정보를 다양한 형태로 저장할 수 있다.
일 실시예에 따른 전자 장치(100)는 사용자 정보를 이미지에 포함되는 특정 객체에 대응시켜 저장할 수 있다. 예를 들어, 전자 장치(100)는 이미지에서 특정 객체를 선택하는 입력(예를 들어, 터치&홀드, 더블 터치, 드래그 입력 등)을 수신할 수 있다. 이때, 이미지는 갤러리 어플리케이션 등에 기 저장된 이미지 또는 촬영되어 디스플레이부에 표시되는 프리뷰 이미지 등일 수 있다.
특정 객체가 선택되면, 전자 장치(100)는 선택된 특정 객체에 대응하는 사용자 정보를 입력 받을 수 있다. 사용자 정보는 사용자의 아이디, 사용자의 비밀번호(도어락 비밀번호, 계좌 비밀번호, 로그인 비밀번호 등), 사용자의 신용 카드 정보, 사용자가 작성한 비밀 메모, 비밀 일기 등 사용자의 프라이버시와 관련된 정보, 멀티미디어 정보, 사용자가 설정한 설정 정보, 기기 제어 정보 등을 포함할 수 있다.
또한, 전자 장치(100)는 선택된 특정 객체 및 입력 받은 사용자 정보에 매칭되는 사용자의 생체 정보를 입력 받을 수 있다. 이때, 생체 정보는, 사용자의 지문 정보, 홍채 정보, 음성 정보, 정맥 정보, 얼굴 정보, 손금 정보, 뇌전도(EEG) 정보, 심전도(ECG) 정보, 및 사용자 고유의 동작 정보(제스쳐, 걸음걸이, 자세) 중 적어도 하나를 포함할 수 있다.
전자 장치(100)는 선택된 특정 객체, 입력 받은 사용자 정보 및 사용자의 생체 정보를 대응시켜 저장할 수 있다.
도 7은 일 실시예에 따른 전자 장치가 사용자 정보를 디스플레이부에 표시하는 일 예를 나타내는 도면이다.
도 7의 (a)를 참조하면, 전자 장치(100)는 도어락을 촬영할 수 있다. 예를 들어, 전자 장치(100)는 카메라 어플리케이션을 실행할 수 있다. 카메라 어플리케이션이 실행되면, 전자 장치(100)는 디스플레이부에 촬영 화면을 표시할 수 있으며, 촬영 화면은 촬영 버튼(501)을 포함할 수 있다. 이때, 촬영 화면에는 프리뷰 이미지가 표시될 수 있다. 프리뷰 이미지는 사용자에게 촬영의 대상이 되는 피사체의 이미지를 보여주기 위해 획득된 이미지일 수 있다.
촬영 버튼을 누르는 입력이 수신되면, 전자 장치(100)는 적어도 하나의 객체(예를 들어, 도어락)를 촬영하고, 촬영된 이미지를 디스플레이부(110)에 표시할 수 있다.
전자 장치(100)는 표시된 이미지를 분석하여, 이미지 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 표시된 이미지에 포함된 도어락을 인식하여, “도어락”이라는 이미지 정보를 획득할 수 있다.
일 실시예에 따른 전자 장치(100)는 이미지 정보가 획득되고, 해당 이미지 정보에 대응하는 생체 정보 및 사용자 정보가 전자 장치(100)에 저장되어 있는 경우, 생체 정보를 입력하라는 메시지를 디스플레이부(110)에 표시할 수 있다. 또한, 전자 장치(100)는 획득된 이미지 정보에 대응하는 생체 정보의 종류에 따라, 해당 생체 정보를 입력하라는 메시지를 표시할 수 있다. 예를 들어, 도 7의 (b)에 도시된 바와 같이,“도어락”이라는 이미지 정보를 획득하고,“도어락”에 대응하는 생체 정보가 지문인 경우, 전자 장치(100)는 지문을 입력하라는 메시지(510)를 표시할 수 있다. 또는, 도 7의 (b)와 달리, 생체 정보를 입력하라는 메시지를 표시하지 않을 수도 있다.
전자 장치(100)는 사용자의 생체 정보를 감지할 수 있다. 생체 정보는, 사용자의 지문, 홍채, 음성, 정맥, 얼굴, 손금, 뇌전도(EEG), 심전도(ECG), 및 사용자 고유의 동작 정보(제스쳐, 걸음걸이, 자세) 중 적어도 하나를 포함할 수 있으며 이에 한정되지 않는다.
예를 들어, 도 7의 (b)에 도시된 바와 같이, 사용자가 손가락으로 전자 장치(100)의 지문 인식 영역(20)를 터치하는 경우, 전자 장치(100)는 지문 인식 센서를 이용하여, 사용자의 지문을 인식할 수 있다. 한편, 도 7의 (b)에는 전자 장치의 지문을 인식하는 영역(20)이 디스플레이부(110)와 별도의 영역에 구현되는 것으로 도시하였으나, 이와 다르게, 디스플레이부(110)가 터치 스크린으로 구현되는 경우, 지문 인식 영역(20)이 터치 스크린 내에 구현될 수도 있다.
또한, 디스플레이부(110)에 표시된 이미지에 복수의 객체가 표시되는 경우, 사용자는 복수의 객체 중 어느 하나를 터치하여, 이미지 정보를 획득할 객체를 선택할 수 있으며, 동시에 사용자의 지문을 입력할 수 있다. 전자 장치(100)는 사용자의 지문이 감지되면, 획득한 이미지 정보(“도어락”) 및 감지된 사용자의 지문에 매칭되는 사용자 정보가 존재하는지를 판단하고, 존재하는 경우, 해당 사용자 정보를 디스플레이부(110)에 표시할 수 있다.
예를 들어, “도어락” 및 “지문 1”에 매칭되는 정보가 도어락의 비밀번호 정보(“8492#”)인 경우, 도 7의 (c)에 도시된 바와 같이, 전자 장치(100)는 디스플레이부(110)에 도어락의 비밀번호 정보(520,“8492#”)를 표시할 수 있다.
한편, 도 7에서는 하나의 생체 정보로 사용자를 인증하여, 사용자 정보를 제공하는 예에 대해서 도시하고 설명하였지만, 이에 한정되는 것은 아니며, 복수의 생체 정보로 사용자를 인증하여, 사용자 정보를 제공할 수 있다. 예를 들어, “도어락”이라는 이미지 정보를 획득하고, 사용자의 지문 정보(“지문 1”) 및 사용자의 홍채 정보(“홍채 1”)가 감지되면, 전자 장치(100)는 도어락의 비밀번호 정보를 표시할 수 있다.
또는, 일 실시예에 따른 사용자 정보는 복수의 생체 정보들에 매칭될 수 있다. 예를 들어, 도어락의 비밀번호 정보는 제1 사용자의 지문(“지문 1”) 및 제2 사용자의 지문(“지문 2”)에 매칭되어 저장될 수 있다. 전자 장치(100)는 “도어락”이라는 이미지 정보를 획득하고, 감지된 사용자의 지문 정보가“지문 1”이 아닌 “지문 2”인 경우에도 도어락의 비밀번호 정보를 표시할 수 있다.또한, 이미지에 포함되는 객체가 복수인 경우, 전자 장치(100)는 사용자가 복수의 객체를 선택하는 입력을 수신할 수 있다. 전자 장치(100)는 선택된 복수의 객체들 각각에 대한 이미지 정보(예를 들어, “도어락” 및 “에어컨”)를 획득할 수 있다. 또한, 전자 장치(100)는 사용자의 생체 정보(예를 들어, “지문 1”)를 감지할 수 있다. 전자 장치(100)는 사용자의 생체 정보가 감지되면, “도어락” 및 “지문 1”에 대응하는 사용자 정보와 “에어컨” 및 “지문 1”에 대응하는 사용자 정보를 제공할 수 있다.
도 8은 일 실시예에 따른 전자 장치가 획득한 이미지 정보에 대응하는 사용자 정보가 존재하지 않는 경우, 메시지를 표시하는 일 예를 나타내는 도면이다.
도 8의 (a)를 참조하면, 전자 장치(100)는 웹 어플리케이션을 실행시킬 수 있다. 웹 어플리케이션이 실행되면, 디스플레이부(110)는 웹 페이지 화면(601)을 표시할 수 있다. 이때, 웹 페이지 화면은 사용자 아이디 또는 이메일 주소, 패스워드를 입력 받는 영역을 포함할 수 있다.
또는, 전자 장치(100)는 직접 웹 어플리케이션을 실행시키지 않고, 외부 장치에 표시되는 웹 페이지 화면을 촬영하여, 표시할 수 있다. 이때, 외부 장치는 웹 어플리케이션을 실행시키고 있는 장치일 수 있다.
도 8의 (a)에 도시된 바와 같이, 디스플레이부(110)에 구글 웹 페이지 화면이 표시되면, 전자 장치(100)는 구글 웹 페이지 화면에 대한 이미지를 분석하여, “구글”이라는 이미지 정보를 획득할 수 있다.
전자 장치(100)는 이미지 정보가 획득되고, 해당 이미지 정보에 대응하는 생체 정보 및 사용자 정보가 저장되어 있는지를 판단할 수 있다. 획득된 이미지 정보에 대응하는 생체 정보 및 사용자 정보가 저장되어 있지 않은 경우, 전자 장치(100)는 도 8의 (b)에 도시된 바와 같이, 저장된 사용자 정보가 없음을 나타내는 메시지(610)를 표시할 수 있다.
또는, 전자 장치(100)는 “구글”이라는 이미지 정보를 획득한 후에, 사용자의 생체 정보를 감지하고, 획득된 이미지 정보 및 생체 정보에 대응하여, 사용자 정보가 저장되어 있지 않은 경우, 저장된 사용자 정보가 없음을 나타내는 메시지를 표시할 수 있다.
또한, 전자 장치(100)는 저장된 사용자 정보가 없는 경우, 획득된 이미지 정보 및 감지된 생체 정보에 대응하는 사용자 정보를 등록할지 여부를 묻는 메시지를 표시할 수 있다.
도 9는 일 실시예에 따른 전자 장치가 사용자 정보를 디스플레이부에 표시하는 일 예를 나타내는 도면이다.
도 9의 (a)를 참조하면, 전자 장치(100)는 웹 페이지 화면(701)을 디스플레이부(110)에 표시할 수 있다. 이때, 웹 페이지 화면은 사용자 아이디 또는 이메일 주소, 패스워드를 입력 받는 영역을 포함할 수 있다.
전자 장치(100)는 구글 웹 페이지 화면에 대한 이미지를 분석하여, “구글”이라는 이미지 정보를 획득할 수 있다.
전자 장치(100)는 사용자의 생체 정보를 감지할 수 있다. 예를 들어, 도 9의 (b)에 도시된 바와 같이, 사용자가 손가락으로 지문 인식 영역(20)을 터치하는 경우, 전자 장치(100)는 지문 인식 센서를 이용하여, 사용자의 지문을 인식할 수 있다. 다만, 이에 한정하는 것은 아니며, 전자 장치(100)는 지문 이외에도 사용자의 홍채, 음성, 정맥, 얼굴, 손금, 뇌전도(EEG), 심전도(ECG) 등을 감지할 수 있다.
전자 장치(100)는 사용자의 생체 정보가 감지되면, 획득한 이미지 정보(“구글”)와 감지된 사용자의 생체 정보에 매칭되는 사용자 정보를 디스플레이부(110)에 표시할 수 있다.
예를 들어, “구글” 및 “지문 2”에 매칭되는 정보가 구글 웹 페이지의 사용자 이메일 주소 및 비밀번호인 경우, 전자 장치(100)는 디스플레이부(110)에 사용자 이메일 주소와 비밀번호(720)를 표시할 수 있다.
또는, 전자 장치(100)는 사용자 이메일 주소 및 비밀번호를 웹 페이지 화면에 포함된 사용자 이메일 주소 및 비밀번호 입력 창에 자동으로 입력되도록 제어할 수 있다.
도 10은 일 실시예에 따른 전자 장치가 사용자 정보를 외부 장치로 전송하는 일 예를 나타내는 도면이다.
도 10의 (a)를 참조하면, 전자 장치(100)는 도어락을 촬영할 수 있다. 객체를 촬영하는 방법에 대해서는 도 7에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.
전자 장치(100)는 촬영된 이미지에 포함된 도어락을 인식하여, “도어락”이라는 이미지 정보를 획득할 수 있다. 또한, 전자 장치(100)는 도 10의 (b)에 도시된 바와 같이, 사용자의 생체 정보를 감지할 수 있다. 생체 정보는, 사용자의 지문, 홍채, 음성, 정맥, 얼굴, 손금, 뇌전도(EEG), 심전도(ECG) 및 사용자 고유의 동작 정보(제스쳐, 걸음걸이, 자세) 중 적어도 하나를 포함할 수 있으며 이에 한정되지 않는다.
전자 장치(100)는 사용자의 생체 정보가 감지되면, 획득한 이미지 정보 및 감지된 사용자의 생체 정보에 매칭되는 사용자 정보를 외부 장치로 전송할 수 있다.
예를 들어, 도 10의 (c)에 도시된 바와 같이, 감지된 사용자의 지문 정보 및 “도어락”이라는 이미지 정보에 매칭되는, 사용자 정보(예를 들어, 도어락을 잠금 해제하는 키 정보)를 근거리 무선 통신(예를 들어, NFC,RFID, BLE 등)을 이용하여, 도어락으로 전송할 수 있다.
도어락(820)은 수신한 키 정보가 잠금 해제 정보와 일치하는지를 판단하여, 수신한 키 정보가 잠금 해제 정보와 일치하는 경우, 도어락(820)을 잠금 해제할 수 있다.
도 11은 일 실시예에 따른 전자 장치가 사용자 정보를 외부 장치로 전송하는 일 예를 나타내는 도면이다.
도 11의 (a)를 참조하면, 전자 장치(100)는 신용 카드를 촬영할 수 있으며, 촬영된 이미지(신용 카드 이미지)를 디스플레이부(110)에 표시할 수 있다. 객체를 촬영하는 방법에 대해서는 도 7에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.
또한, 전자 장치(100)는 저장부에 저장된 신용 카드 이미지를 디스플레이부(110)에 표시하거나, 외부 장치로부터 수신한 신용 카드 이미지를 디스플레이부(110)에 표시할 수 있다.
전자 장치(100)는 디스플레이부(110)에 표시된 이미지에 포함된 신용 카드를 인식하여, 이미지 정보를 획득할 수 있다. 또한, 전자 장치(100)는 도 11의 (b)에 도시된 바와 같이, 사용자의 생체 정보를 감지할 수 있다. 생체 정보는, 사용자의 지문, 홍채, 음성, 정맥, 얼굴, 손금, 뇌전도(EEG), 심전도(ECG) 및 사용자 고유의 동작 정보(제스쳐, 걸음걸이, 자세) 중 적어도 하나를 포함할 수 있으며 이에 한정되지 않는다.
전자 장치(100)는 사용자의 생체 정보가 감지되면, 획득한 이미지 정보 및 감지된 사용자의 생체 정보에 매칭되는 사용자 정보를 외부 장치로 전송할 수 있다. 이때, 전자 장치(100)는 신용 카드의 PIN(Personal Identification Number) 입력, CVC(Card Verification Code) 입력을 추가적으로 요청할 수 있다. 전자 장치(100)는 입력 받은 PIN, CVC 값이 인식된 신용 카드의 PIN, CVC 값과 일치하는 경우에만, 획득한 이미지 정보 및 감지된 사용자의 생체 정보에 매칭되는 사용자 정보를 외부 장치로 전송할 수 있다.
예를 들어, 도 11의 (c)에 도시된 바와 같이, 전자 장치(100)가 감지된 사용자의 지문 정보 및 “신용 카드”라는 이미지 정보에 매칭되는 신용카드 정보를 근거리 무선 통신을 이용하여 카드 단말기(920)로 전송하면, 카드 단말기(920)는 신용카드 정보 및 결제 요청을 결제 서버로 전송할 수 있다. 또는, 전자 장치(100)가 신용카드 정보 및 결제 요청을 결제 서버로 전송할 수 있다.
결제 서버는 수신한 신용카드 정보가 유효한지를 판단하여, 유효한 경우, 결제 요청을 승인할 수 있다.
도 12는 일 실시예에 따른 전자 장치가 사용자 정보를 외부 장치로 전송하는 일 예를 나타내는 도면이다.
도 12를 참조하면, 일 실시예에 따른 전자 장치(100)는 헤드 마운트 디스플레이일 수 있다. 예를 들어, 헤드 마운트 디스플레이는 VR(Virtual Reality) 영상을 제공하는 VR기기, AR(Augmented Reality) 영상을 제공하는 AR기기 등의 다양한 형태로 구현될 수 있다. 다만, 이에 한정되는 것은 아니다.
헤드 마운트 디스플레이(100)는 신용 카드를 촬영할 수 있으며, 촬영된 이미지(신용 카드 이미지)를 디스플레이부(110)에 표시할 수 있다. 예를 들어, 헤드 마운트 디스플레이(100)는 헤드 마운트 디스플레이(100)를 착용한 사용자의 시선에 따라 외부 객체(예를 들어, 신용 카드)를 촬영할 수 있다.
헤드 마운트 디스플레이(100)는 촬영된 이미지에 포함된 신용 카드를 인식하여, 이미지 정보를 획득할 수 있다. 또한, 헤드 마운트 디스플레이(100)는 사용자의 생체 정보를 감지할 수 있다. 생체 정보는, 사용자의 지문, 홍채, 음성, 정맥, 얼굴, 손금, 뇌전도(EEG), 심전도(ECG) 및 사용자 고유의 동작 정보(제스쳐, 걸음걸이, 자세) 중 적어도 하나를 포함할 수 있으며 이에 한정되지 않는다.
헤드 마운트 디스플레이(100)는 사용자의 생체 정보가 감지되면, 감지된 사용자의 지문 정보 및 “신용 카드”라는 이미지 정보에 매칭되는 신용카드 정보를 및 결제 요청을 결제 서버로 전송할 수 있다. 또한, 결제 서버는 수신한 신용카드 정보가 유효한지를 판단하여, 유효한 경우, 결제 요청을 승인할 수 있다.
도 13은 일 실시예에 따른 전자 장치가 사용자 정보를 표시하는 일 예를 나타내는 도면이다.
일 실시예에 따른 전자 장치(100)는 이미지를 저장할 때, 이미지에 대응하는 비밀 메모(또는 일기 등)를 사용자의 생체 정보를 함께 저장할 수 있다.
도 13의 (a)를 참조하면, 전자 장치(100)는 갤러리 어플리케이션을 실행할 수 있다. 갤러리 어플리케이션이 실행되면, 전자 장치(100)는 저장부에 저장된 적어도 하나의 이미지를 표시할 수 있다. 전자 장치(100)는 저장부에 저장된 적어도 하나의 이미지 중에서 어느 하나를 선택하는 입력을 수신하고, 선택된 이미지(1010)를 디스플레이부(110)에 표시할 수 있다.
또한, 도 13의 (b)에 도시된 바와 같이, 전자 장치(100)는 사용자의 생체 정보를 감지할 수 있다. 생체 정보는, 사용자의 지문, 홍채, 음성, 정맥, 얼굴, 손금, 뇌전도(EEG), 심전도(ECG) 및 사용자 고유의 동작 정보(제스쳐, 걸음걸이, 자세) 중 적어도 하나를 포함할 수 있으며 이에 한정되지 않는다.
전자 장치(100)는 사용자의 생체 정보가 감지되면, 감지된 사용자의 생체 정보가 디스플레이부(110)에 표시된 이미지에 대응시켜 저장한 사용자의 생체 정보와 일치하는지를 판단할 수 있다.
일치하는 경우, 전자 장치(100)는 표시된 이미지에 대응시켜 저장한 비밀 메모(1020)를 디스플레이부(110)에 표시할 수 있다.
도 14는 일 실시예에 따른 전자 장치가 사용자 정보를 표시하는 일 예를 나타내는 도면이다.
일 실시예에 따른 전자 장치(100)는 특정 객체에 대응하는 비밀 메모를 사용자의 생체 정보와 함께 저장할 수 있다.
도 14의 (a)를 참조하면, 전자 장치(100)는 객체 1(1110)을 포함하는 제1 이미지(1120)를 표시할 수 있다. 이때, 사용자는 제1 이미지(1120)에서 객체 1(1110)을 선택하고, 선택된 객체 1(1110)에 대한 비밀 메모(1115) 및 사용자 생체 정보를 입력할 수 있다. 전자 장치(100)는 객체 1(1110), 입력 받은 사용자의 생체 정보 및 비밀 메모를 서로 대응시켜 저장할 수 있다.
또한, 일 실시예에 따른 전자 장치(100)는 이미지에 포함되는 객체가 복수인 경우, 복수의 객체를 선택하고, 복수의 객체에 대응하는 생체 정보 및 비밀 메모를 저장할 수 있다.
도 14의 (b)를 참조하면, 전자 장치(100)는 제2 이미지(1130)를 디스플레이부에 표시할 수 있다. 이때, 제2 이미지(1130)는 전자 장치(100)에서 촬영된 이미지이거나 기 저장된 이미지일 수 있다. 또는 외부 장치로부터 수신한 이미지일 수 있다.
제2 이미지(1130)가 표시되면, 전자 장치(100)는 제2 이미지(1130)에 포함된 복수의 객체들을 인식할 수 있다. 예를 들어, 도 13의 (b)에 도시된 바와 같이, 제2 이미지(1130)에 포함된 객체 1(1110), 객체 2(1132), 객체 3(1133), 객체 4(1134)를 인식할 수 있다. 이때, 인식된 객체들 중 대응하는 사용자 정보가 저장된 객체는 다른 객체들과 구별되게 표시할 수 있다.
전자 장치(100)는 사용자의 생체 정보를 감지할 수 있다. 생체 정보는, 사용자의 지문, 홍채, 음성, 정맥, 얼굴, 손금, 뇌전도(EEG), 심전도(ECG) 및 사용자 고유의 동작 정보(제스쳐, 걸음걸이, 자세) 중 적어도 하나를 포함할 수 있으며 이에 한정되지 않는다.
전자 장치(100)는 사용자의 생체 정보가 감지되면, 인식된 객체 및 감지된 사용자의 생체 정보에 매칭되는 사용자 정보를 디스플레이부에 표시할 수 있다. 예를 들어, 도 14의 (c)에 도시된 바와 같이, 감지된 사용자의 지문 정보 및 인식된 객체 1(1110)에 대응하는 비밀 메모(1115)를 디스플레이부에 표시할 수 있다.
도 15는 일 실시예에 따른 전자 장치가 사용자 정보를 이용하여, 외부 장치를 제어하는 일 예를 나타내는 도면이다.
도 15의 (a)를 참조하면, 일 실시예에 따른 전자 장치(100)는 제어할 외부 장치를 촬영할 수 있다. 예를 들어, 전자 장치(100)는 에어컨을 촬영할 수 있으며, 촬영된 이미지(에어컨 이미지)를 디스플레이부(110)에 표시할 수 있다. 객체를 촬영하는 방법에 대해서는 도 7에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.
전자 장치(100)는 디스플레이부(110)에 표시된 이미지에 포함된 에어컨을 인식하여, 이미지 정보를 획득할 수 있다. 또한, 전자 장치(100)는 도 15의 (b)에 도시된 바와 같이, 사용자의 생체 정보를 감지할 수 있다. 생체 정보는, 사용자의 지문, 홍채, 음성, 정맥, 얼굴, 손금, 뇌전도(EEG), 심전도(ECG) 및 사용자 고유의 동작 정보(제스쳐, 걸음걸이, 자세) 중 적어도 하나를 포함할 수 있으며 이에 한정되지 않는다.
전자 장치(100)는 사용자의 생체 정보가 감지되면, 획득한 이미지 정보 및 감지된 사용자의 생체 정보에 매칭되는 사용자 정보(예를 들어, 외부 장치 설정 정보)를 이용하여, 외부 장치를 제어할 수 있다.
예를 들어, 도 15의 (c)에 도시된 바와 같이, “에어컨” 및 감지된 사용자의 지문에 매칭되는 에어컨 설정 정보(1220)가, “희망 온도 25℃로 설정 및 파워 냉방 모드로 가동”인 경우, 전자 장치(100)는 에어컨의 희망 온도를 24℃로 설정하고, 파워 냉방 모드로 가동되도록 하는 제어 명령을 에어컨으로 전송할 수 있다.
도 16은 일 실시예에 따른 전자 장치가 사용자 설정 정보를 이용하여 외부 장치를 제어하는 일 예를 나타내는 도면이다.
도 16의 (a)를 참조하면, 일 실시예에 따른 전자 장치(100)는 제어할 외부 장치를 촬영할 수 있다. 예를 들어, 전자 장치(100)는 금고를 촬영할 수 있으며, 촬영된 이미지(금고 이미지)를 디스플레이부(110)에 표시할 수 있다.
전자 장치(100)는 디스플레이부(110)에 표시된 이미지에 포함된 금고를 인식하여, 이미지 정보를 획득할 수 있다. 또한, 전자 장치(100)는 사용자의 생체 정보를 감지할 수 있다. 생체 정보는, 사용자의 지문, 홍채, 음성, 정맥, 얼굴, 손금, 뇌전도(EEG), 심전도(ECG) 및 사용자 고유의 동작 정보(제스쳐, 걸음걸이, 자세) 중 적어도 하나를 포함할 수 있으며, 이에 한정되지 않는다.
전자 장치(100)는 사용자의 생체 정보가 감지되면, 획득한 이미지 정보 및 감지된 사용자의 생체 정보에 매칭되는 사용자 정보(예를 들어, 외부 장치 제어 정보)를 이용하여, 외부 장치를 제어할 수 있다.
예를 들어, 일 실시예에 따른 전자 장치(100)는 “금고” 및 감지된 사용자의 지문에 매칭되는 금고 제어 정보가, “금고의 보안 센서 비활성화”인 경우, 전자 장치(100)는 금고의 보안 센서가 비활성화되도록 하는 제어 명령을 금고로 전송할 수 있다.
도 17은 일 실시예에 따른 전자 장치가 사용자 설정 정보를 이용하여, 외부 장치를 제어하는 일 예를 나타내는 도면이다.
도 17의 (a)를 참조하면, 일 실시예에 따른 전자 장치(100)는 제어할 외부 장치를 촬영할 수 있다. 예를 들어, 전자 장치(100)는 냉장고를 촬영할 수 있으며, 촬영된 이미지(냉장고 이미지)를 디스플레이부(110)에 표시할 수 있다.
전자 장치(100)는 디스플레이부(110)에 표시된 이미지에 포함된 냉장고를 인식하여, 이미지 정보를 획득할 수 있다. 또한, 도 17의 (b)에 도시된 바와 같이, 전자 장치(100)는 사용자의 생체 정보를 감지할 수 있다. 생체 정보는, 사용자의 지문, 홍채, 음성, 정맥, 얼굴, 손금, 뇌전도(EEG), 심전도(ECG) 및 사용자 고유의 동작 정보(제스쳐, 걸음걸이, 자세) 중 적어도 하나를 포함할 수 있으며, 이에 한정되지 않는다.
전자 장치(100)는 사용자의 생체 정보가 감지되면, 획득한 이미지 정보 및 감지된 사용자의 생체 정보에 매칭되는 사용자 정보(예를 들어, 외부 장치 제어 메뉴)를 디스플레이부에 표시할 수 있다. 예를 들어, 도 17의 (c)에 도시된 바와 같이, “냉장고” 및 감지된 사용자의 지문에 매칭되는, 냉장고 컨트롤 패널 화면(1420)을 디스플레이부(110)에 표시할 수 있다.
사용자는 냉장고 컨트롤 패널 화면에 포함되는 제어 메뉴를 이용하여, 냉장고의 온도나 다양한 기능을 설정할 수 있다. 전자 장치(100)는 사용자로부터 입력 받은 냉장고 설정 정보에 기초하여, 제어 명령을 냉장고로 전송할 수 있다.
도 18은 일 실시예에 따른 전자 장치가 사용자 정보를 외부 장치로 전송하거나, 사용자 정보를 이용하여 외부 장치를 제어하는 일 예를 나타내는 도면이다.
도 18의 (a)를 참조하면, 일 실시예에 따른 전자 장치(100)는 제어할 외부 장치를 촬영할 수 있다. 예를 들어, 전자 장치(100)는 TV를 촬영할 수 있으며, 촬영된 이미지(TV 이미지)를 디스플레이부(110)에 표시할 수 있다.
전자 장치(100)는 디스플레이부(110)에 표시된 이미지에 포함된 TV를 인식하여, 이미지 정보를 획득할 수 있다. 또한, 도 18의 (b)에 도시된 바와 같이, 전자 장치(100)는 사용자의 생체 정보를 감지할 수 있다. 생체 정보는, 사용자의 지문, 홍채, 음성, 정맥, 얼굴, 손금, 뇌전도(EEG), 심전도(ECG) 및 사용자 고유의 동작 정보(제스쳐, 걸음걸이, 자세) 중 적어도 하나를 포함할 수 있으며, 이에 한정되지 않는다.
전자 장치(100)는 사용자의 생체 정보가 감지되면, 획득한 이미지 정보 및 감지된 사용자의 생체 정보에 대응하는 사용자 정보를 외부 장치로 전송할 수 있다.
예를 들어, 일 실시예에 따른 전자 장치(100)는 사용자의 연령 정보를 사용자의 생체 정보에 대응시켜 저장할 수 있다. 또한, 전자 장치(100)는 이미지에서“TV”가 인식되고, 사용자의 생체 정보가 감지되는 경우, 감지된 생체 정보에 대응하는 사용자의 연령 정보를 TV(1520)로 전송할 수 있다.
TV(1520)는 전자 장치(100)로부터 수신한 사용자의 연령 정보에 기초하여, 추천 콘텐츠를 표시할 수 있다. 또는, 사용자의 연령 정보에 기초하여, 콘텐츠를 제한적으로 제공할 수 있다.
예를 들어, 사용자의 연령이 7살인 경우, 도 18의 (c)에 도시된 바와 같이, TV(1520)는 유아용 프로그램을 추천 컨텐츠로 제공하거나, 유아 채널을 추천 채널로 제공할 수 있다. 또는, 사용자의 연령이 15살인 경우, TV는 청소년용 프로그램을 추천 컨텐츠로 제공하거나, 청소년 교육 채널을 추천 채널로 제공할 수 있다.
또한, TV(1520)는 사용자 연령 정보에 기초하여, 사용자의 연령이 성인이 아닌 경우, 성인용 컨텐츠 또는, 성인 채널이 표시되지 않도록 제어할 수 있다.
도 19는 일 실시예에 따른 전자 장치가 이미지에서 인식된 사용자 정보를 저장하거나, 외부 장치로 전송하는 일 예를 나타내는 도면이다.
도 19의 (a)를 참조하면, 일 실시예에 따른 전자 장치(100)는 의료 장치를 촬영할 수 있다. 예를 들어, 의료 장치(1610)는 혈압계, 당 측정기 등을 포함할 수 있다. 다만, 이에 한정하지 않는다. 이하에서는 설명의 편의를 위해, 의료 장치가 혈압계인 것으로 설명하기로 한다.
사용자가 혈압계를 이용하여, 사용자의 혈압을 측정한 경우, 혈압계는 측정된 사용자의 혈압 정보(1620)을 표시할 수 있다. 전자 장치(100)는 혈압계를 촬영하여, 촬영된 이미지를 디스플레이부(110)에 표시할 수 있다. 이때, 촬영된 이미지에는 측정된 사용자의 혈압 정보(1620)가 포함될 수 있다. 전자 장치(100)는 객체 인식 방법을 이용하여, 촬영된 이미지에 포함된 사용자의 혈압 정보(1620)를 획득할 수 있다.
또한, 전자 장치(100)는 사용자의 생체 정보를 감지할 수 있다. 생체 정보는, 사용자의 지문, 홍채, 음성, 정맥, 얼굴, 손금, 뇌전도(EEG), 심전도(ECG) 및 사용자 고유의 동작 정보(제스쳐, 걸음걸이, 자세) 중 적어도 하나를 포함할 수 있으며, 이에 한정되지 않는다.
전자 장치(100)는 사용자의 생체 정보가 감지되면, 획득된 혈압 정보(1630)를 디스플레이부(110)에 표시하고, 감지된 생체 정보에 대응하는 사용자의 혈압 정보로 저장할 수 있다.
또한, 전자 장치(100)는 사용자의 혈압 정보를 외부 서버(1640)로 전송할 수 있다. 이때, 외부 서버는 개인 건강 정보를 기록하는PHR(Personal Health Record) 서버 또는, 환자의 진료 기록을 저장하는 EMR(Electronic Medical Record) 서버일 수 있다.
도 20은 일 실시예에 따른 전자 장치의 동작방법을 나타내는 흐름도이다.
도 20을 참조하면, 전자 장치(100)는 이미지를 표시할 수 있다(S1810).
이미지는, 전자 장치(100)를 이용하여 촬영된 이미지, 전자 장치(100)에 기 저장되어 있는 이미지, 또는, 외부 장치(100)로부터 수신한 이미지일 수 있다.
전자 장치(100)는 이미지를 분석하여, 이미지 정보를 획득할 수 있다(S1820).
전자 장치(100)는 객체 인식 방법을 이용하여, 이미지에 포함된 객체를 인식할 수 있다. 전자 장치(100)는 객체가 인식되면, 인식된 객체 정보를 이미지 정보로 획득할 수 있다. 예를 들어, 전자 장치(100)가 객체 인식 방법을 이용하여, 이미지에 포함된 객체가 “도어락”임을 인식한 경우, 전자 장치(100)는 “도어락”이라는 이미지 정보를 획득할 수 있다.
전자 장치(100)는 사용자의 생체 정보를 감지할 수 있다(S1830).
일 실시예에 따른 전자 장치(100)는 사용자의 생체 정보를 감지할 수 있는 다양한 센서들을 포함할 수 있다. 예를 들어, 따른 전자 장치(100)는 지문 인식 센서, 홍채 인식 센서, 음성 인식 센서, 정맥 인식 센서, 얼굴 인식 센서, 손금 인식 센서, 전자 장치(100)는 뇌전도(EEG: Electroencephalogram) 측정 센서, 심전도(ECG: Electrocardiogram) 측정 센서 등을 포함할 수 있다. 다만, 이에 한정되는 것은 아니다. 전자 장치(100)는 다양한 센서들을 이용하여, 사용자의 생체 정보를 감지할 수 있다.
예를 들어, 전자 장치(100)는 지문 인식 영역을 포함할 수 있으며, 사용자가 손가락으로 지문 인식 영역을 터치하는 경우, 지문 인식 센서를 이용하여, 사용자의 지문을 인식할 수 있다. 전자 장치(100)는 이외에도 사용자의 지문, 홍채, 음성, 정맥, 얼굴, 손금, 뇌전도(EEG), 심전도(ECG) 등을 인식할 수 있다.
전자 장치(100)는 획득한 이미지 정보와 감지된 생체 정보에 기초하여, 사용자 정보를 제공할 수 있다(S1840).
예를 들어, 전자 장치(100)는 이미지 정보 및 생체 정보에 매칭되는 사용자 정보를 디스플레이부(110)에 표시하도록 제어하거나, 사용자 정보를 외부 장치로 전송하도록 제어할 수 있다. 또는, 제어부(130)는 사용자 정보를 이용하여, 외부 장치를 제어할 수 있다. 일 실시예에 따른 사용자 정보는 사용자에 관한 정보로, 사용자의 아이디, 사용자의 비밀번호(도어락 비밀번호, 계좌 비밀번호, 로그인 비밀번호 등), 사용자의 신용 카드 정보, 사용자가 작성한 비밀 메모, 비밀 일기 등 사용자의 프라이버시와 관련된 정보, 사용자가 설정한 설정 정보, 기기 제어 정보 등을 포함할 수 있다. 다만, 이에 한정되는 것은 아니다.
한편, 일 실시예에 따른 전자 장치(100)는 사용자의 생체 정보가 감지되지 않는 경우, 전자 장치(100)는 이미지에서 인식된 객체에 대한 정보를 제공할 수 있다. 예를 들어, 이미지에서 인식된 사람의 이름, 사물의 모델명, 물건의 제조 회사명 등 개인적인(private) 정보가 아닌 일반적인(Public) 정보를 제공할 수 있다.
일 실시예에 따른 전자 장치의 사용자 정보 제공 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (27)

  1. 전자 장치에서 사용자 정보를 제공하는 방법에 있어서,
    이미지 정보와 생체 정보에 매칭되는 사용자 정보를 저장하는 단계;
    이미지를 상기 전자 장치의 디스플레이에 표시하는 단계;
    상기 이미지에 포함된 적어도 하나의 객체를 인식하여, 인식된 객체 정보를 이미지 정보로 획득하는 단계;
    생체 정보를 감지하는 단계;
    획득한 상기 이미지 정보와 감지된 상기 생체 정보에 매칭되는 사용자 정보를 제공하는 단계; 및
    상기 제공된 사용자 정보를 이용하여, 원격 장치를 제어하는 단계를 포함하고, 상기 원격 장치는 상기 이미지에서 인식된 상기 적어도 하나의 객체인, 사용자 정보를 제공하는 방법.
  2. 제1항에 있어서,
    상기 방법은,
    상기 적어도 하나의 객체를 촬영하여, 상기 이미지를 획득하는 단계를 더 포함하는 사용자 정보를 제공하는 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 생체 정보를 감지하는 단계는,
    사용자의 지문 정보, 홍채 정보, 음성 정보, 정맥 정보, 얼굴 정보, 손금 정보, 뇌전도(EEG) 정보 및 심전도(ECG) 정보 중 적어도 하나를 감지하는 단계를 포함하는 사용자 정보를 제공하는 방법.
  6. 제1항에 있어서,
    상기 이미지 정보를 획득하는 단계는,
    상기 이미지에서 특정영역을 선택하는 터치 입력을 수신하는 단계; 및
    선택된 상기 특정영역에 포함된 적어도 하나의 객체를 인식하여, 인식된 객체 정보를 상기 이미지 정보로 획득하는 단계를 포함하고,
    상기 생체 정보를 감지하는 단계는,
    상기 터치 입력에서 사용자 지문 정보를 감지하는 단계를 포함하는 사용자 정보를 제공하는 방법.
  7. 제1항에 있어서,
    상기 방법은,
    ID/PW, 잠금패턴 및 PIN 중 적어도 하나를 포함하는 사용자 식별 정보를 입력받는 단계를 더 포함하고,
    상기 사용자 정보를 제공하는 단계는,
    상기 이미지 정보, 상기 생체 정보 및 상기 사용자 식별 정보에 기초하여, 상기 사용자 정보를 제공하는 단계를 포함하는 사용자 정보를 제공하는 방법.
  8. 제1항에 있어서,
    상기 사용자 정보는,
    사용자 아이디, 사용자 비밀번호, 비밀 메모, 비밀 일기, 설정 정보 및 제어 정보 중 적어도 하나를 포함하는 사용자 정보를 제공하는 방법.
  9. 제1항에 있어서,
    상기 사용자 정보를 제공하는 단계는,
    상기 이미지 정보 및 상기 생체 정보에 매칭되는 상기 사용자 정보를 디스플레이부에 표시하는 단계를 포함하는 사용자 정보를 제공하는 방법.
  10. 제1항에 있어서,
    상기 사용자 정보를 이용하여, 상기 원격 장치를 제어하는 단계는,
    상기 사용자 정보에 포함되는 상기 원격 장치를 잠금 해제하는 키 정보를 상기 원격 장치에 전송하는 단계를 포함하는 사용자 정보를 제공하는 방법.
  11. 제10항에 있어서,
    상기 원격 장치는, 도어락인 사용자 정보를 제공하는 방법.
  12. 삭제
  13. 제1항에 있어서,
    상기 원격 장치는 영상 표시 장치이고,
    상기 사용자 정보를 이용하여, 상기 원격 장치를 제어하는 단계는,
    상기 사용자 정보에 포함되는 사용자 연령 정보에 기초하여, 상기 영상 표시 장치에 표시되는 영상을 제어하는 단계를 포함하는 사용자 정보를 제공하는 방법.
  14. 이미지 정보와 생체 정보에 매칭되는 사용자 정보를 저장하는 저장부;
    이미지를 표시하는 디스플레이부;
    사용자의 생체 정보를 감지하는 센서부; 및
    상기 이미지에 포함된 적어도 하나의 객체를 인식하여, 인식된 객체 정보를 이미지 정보로 획득하고, 획득한 상기 이미지 정보와 감지된 상기 생체 정보에 매칭되는 사용자 정보를 제공하고, 상기 제공된 사용자 정보를 이용하여, 원격 장치를 제어하는 제어부;를 포함하고, 상기 원격 장치는 상기 이미지에서 인식된 상기 적어도 하나의 객체인, 전자 장치.
  15. 제14항에 있어서,
    상기 전자 장치는,
    상기 적어도 하나의 객체를 촬영하여, 상기 이미지를 획득하는 카메라를 더 포함하는 전자 장치.
  16. 삭제
  17. 삭제
  18. 제14항에 있어서,
    상기 생체 정보는,
    사용자의 지문 정보, 홍채 정보, 음성 정보, 정맥 정보, 얼굴 정보, 손금 정보, 뇌전도(EEG) 정보 및 심전도(ECG) 정보 중 적어도 하나를 포함하고,
    상기 센서부는,
    지문 인식 센서, 홍채 인식 센서, 음성 인식 센서, 정맥 인식 센서, 얼굴 인식 센서, 손금 인식 센서, 뇌전도(EEG) 측정 센서 및 심전도(ECG) 측정 센서 중 적어도 하나를 포함하는 전자 장치.
  19. 제14항에 있어서,
    상기 디스플레이부는 터치 스크린 및 상기 센서부를 포함하고,
    상기 터치 스크린은, 이미지에서 특정영역을 선택하는 터치 입력을 수신하고, 상기 센서부는 상기 터치 입력에서 사용자 지문 정보를 감지하며,
    상기 제어부는,
    선택된 상기 특정영역에 포함된 적어도 하나의 객체를 인식하여, 인식된 객체 정보를 상기 이미지 정보로 획득하는 전자 장치.
  20. 제14항에 있어서,
    상기 장치는,
    ID/PW, 잠금 패턴 및 PIN 중 적어도 하나를 포함하는 사용자 식별 정보를 입력 받는 사용자 입력부를 더 포함하고,
    상기 제어부는,
    상기 이미지 정보, 상기 생체 정보 및 상기 사용자 식별 정보에 기초하여, 상기 사용자 정보를 제공하는 전자 장치.
  21. 제14항에 있어서,
    상기 사용자 정보는,
    사용자 아이디, 사용자 비밀번호, 비밀 메모, 비밀 일기, 설정 정보 및 제어 정보 중 적어도 하나를 포함하는 전자 장치.
  22. 제14항에 있어서,
    상기 제어부는,
    상기 이미지 정보 및 상기 생체 정보에 매칭되는 상기 사용자 정보를 상기 디스플레이부에 표시하도록 제어하는 전자 장치.
  23. 제14항에 있어서,
    상기 제어부는,
    상기 사용자 정보에 포함되는 상기 원격 장치를 잠금 해제하는 키 정보를 상기 원격 장치에 전송하도록 제어하는 전자 장치.
  24. 제23항에 있어서,
    상기 원격 장치는, 도어락인 전자 장치.
  25. 삭제
  26. 제14항에 있어서,
    상기 원격 장치는 영상 표시 장치이고,
    상기 제어부는,
    상기 사용자 정보에 포함되는 사용자 연령 정보에 기초하여, 상기 영상 표시 장치에 표시되는 영상을 제어하는 전자 장치.
  27. 제1항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020150175344A 2015-12-09 2015-12-09 사용자 정보를 제공하는 전자 장치 및 방법 KR102409903B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150175344A KR102409903B1 (ko) 2015-12-09 2015-12-09 사용자 정보를 제공하는 전자 장치 및 방법
US15/778,818 US10984082B2 (en) 2015-12-09 2016-05-30 Electronic device and method for providing user information
EP16873180.0A EP3367277A4 (en) 2015-12-09 2016-05-30 Electronic device and method for providing user information
CN201680071773.6A CN109074435B (zh) 2015-12-09 2016-05-30 用于提供用户信息的电子设备和方法
PCT/KR2016/005693 WO2017099314A1 (ko) 2015-12-09 2016-05-30 사용자 정보를 제공하는 전자 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150175344A KR102409903B1 (ko) 2015-12-09 2015-12-09 사용자 정보를 제공하는 전자 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170068305A KR20170068305A (ko) 2017-06-19
KR102409903B1 true KR102409903B1 (ko) 2022-06-16

Family

ID=59014273

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150175344A KR102409903B1 (ko) 2015-12-09 2015-12-09 사용자 정보를 제공하는 전자 장치 및 방법

Country Status (5)

Country Link
US (1) US10984082B2 (ko)
EP (1) EP3367277A4 (ko)
KR (1) KR102409903B1 (ko)
CN (1) CN109074435B (ko)
WO (1) WO2017099314A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885436B (zh) * 2016-01-15 2021-12-14 美国iRobot公司 自主监视机器人系统
CN108120200B (zh) * 2017-12-15 2020-10-20 南京百伦斯智能科技有限公司 基于数据处理的智能生物实验柜
KR102456509B1 (ko) 2018-01-03 2022-10-19 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
KR102476619B1 (ko) 2018-01-31 2022-12-12 삼성전자주식회사 전자 장치 및 이의 제어 방법
WO2019151548A1 (ko) * 2018-02-01 2019-08-08 라인플러스 주식회사 얼굴 인식에 기초하여 정보를 제공하는 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
CN112740206A (zh) * 2018-09-18 2021-04-30 亚萨合莱有限公司 使用户拍摄的图像与访问控制设备参考匹配以用于物理访问控制
CN109697343B (zh) * 2018-12-28 2021-08-17 联想(北京)有限公司 验证方法及系统、计算机系统
KR102647637B1 (ko) * 2019-01-08 2024-03-15 삼성전자주식회사 사용자 인증을 위한 방법 및 그 전자 장치
US20220270075A1 (en) * 2019-01-14 2022-08-25 Vadim Nikolaevich ALEKSANDROV Method for performing a contactless payment transaction
CN111638787B (zh) * 2020-05-29 2023-09-01 百度在线网络技术（北京）有限公司 用于展示信息的方法和装置
KR20220014095A (ko) * 2020-07-28 2022-02-04 삼성에스디에스 주식회사 블록체인 기반의 데이터 분산 관리 방법 및 이를 위한 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072714A (ja) * 2004-09-02 2006-03-16 Dainippon Printing Co Ltd 電子書籍販売システム
KR101259546B1 (ko) * 2011-11-04 2013-04-30 주식회사 아이레보 스마트키 서비스 제공 방법

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4967259B2 (ja) * 2005-06-14 2012-07-04 船井電機株式会社 制御装置及び被制御機器
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
US8744522B2 (en) 2009-10-21 2014-06-03 Xerox Corporation Portable security system built into cell phones
KR101709497B1 (ko) 2010-07-29 2017-02-23 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101175174B1 (ko) 2010-08-20 2012-08-23 주식회사에어플러그 실물의 이미지를 매개로 하여 정보를 전달하는 방법 및 장치
KR101719653B1 (ko) * 2010-09-16 2017-03-24 엘지전자 주식회사 이동 단말기, 전자 시스템 및 이를 이용한 데이터 송수신 방법
JP5620287B2 (ja) * 2010-12-16 2014-11-05 株式会社オプティム ユーザインターフェースを変更する携帯端末、方法及びプログラム
US9262612B2 (en) * 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9965564B2 (en) * 2011-07-26 2018-05-08 Schneider Electric It Corporation Apparatus and method of displaying hardware status using augmented reality
KR101851239B1 (ko) * 2011-11-08 2018-04-23 삼성전자 주식회사 휴대단말기의 이미지 표현장치 및 방법
KR101661407B1 (ko) 2012-02-24 2016-09-29 난트 홀딩스 아이피, 엘엘씨 상호작용-기반의 인증을 통한 컨텐츠 활성화, 시스템 및 방법
US9323912B2 (en) 2012-02-28 2016-04-26 Verizon Patent And Licensing Inc. Method and system for multi-factor biometric authentication
US8411909B1 (en) * 2012-06-26 2013-04-02 Google Inc. Facial recognition
KR101371639B1 (ko) 2012-07-05 2014-03-25 이윤택 운전자 생체인식 시스템 및 그 운용방법
WO2014030875A1 (en) * 2012-08-24 2014-02-27 Samsung Electronics Co., Ltd. Apparatus and method for providing interaction information by using image on device display
KR101942839B1 (ko) * 2012-10-31 2019-01-29 삼성전자주식회사 에이전트 장치, 전기기기 및 그의 제어 방법
US9111073B1 (en) 2012-11-19 2015-08-18 Trend Micro Inc. Password protection using pattern
WO2014087406A1 (en) * 2012-12-05 2014-06-12 Inuitive Ltd. Method and system for remote controlling
US9979547B2 (en) 2013-05-08 2018-05-22 Google Llc Password management
KR20150029253A (ko) * 2013-09-09 2015-03-18 삼성전자주식회사 사용자를 자동으로 인증하는 방법 및 이를 위한 전자 장치
KR20150056353A (ko) * 2013-11-15 2015-05-26 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20150078266A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 디지털 촬영 장치 및 이를 제어하는 방법
US20150187137A1 (en) * 2013-12-31 2015-07-02 Daqri, Llc Physical object discovery
KR20150089283A (ko) 2014-01-27 2015-08-05 엘지전자 주식회사 웨어러블 단말기 및 이를 포함하는 시스템
KR20150106229A (ko) * 2014-03-11 2015-09-21 삼성전자주식회사 사용자를 인증하는 장치 및 방법
EP3608812A1 (en) * 2014-03-21 2020-02-12 Samsung Electronics Co., Ltd. System and method for executing file by using biometric information
US9672405B2 (en) * 2014-05-30 2017-06-06 Egis Technology Inc. Electronic device and fingerprint recognition method
KR102217238B1 (ko) * 2014-07-23 2021-02-18 엘지전자 주식회사 원격제어장치 및 그의 동작 방법
KR102287160B1 (ko) * 2014-07-31 2021-08-06 엘지전자 주식회사 웨어러블 디바이스 및 그것의 제어방법
US9465930B2 (en) * 2014-08-29 2016-10-11 Dropbox, Inc. Fingerprint gestures
CN104331654B (zh) * 2014-10-27 2018-01-26 深圳市汇顶科技股份有限公司 基于生物特征识别的操作方法和装置
JP6077191B1 (ja) * 2015-04-30 2017-02-08 真旭 徳山 端末装置およびコンピュータプログラム
KR102439938B1 (ko) * 2015-08-03 2022-09-05 삼성전자주식회사 사용자 인증을 위한 멀티-모달 퓨전 방법 및 사용자 인증 방법
CN105205374A (zh) * 2015-08-27 2015-12-30 广东欧珀移动通信有限公司 一种应用程序加密方法及用户终端
KR102401170B1 (ko) * 2015-10-21 2022-05-24 삼성전자주식회사 복합 인증 장치 및 방법
KR20170058839A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 부가 영상 객체 기반의 음향 객체 제어 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072714A (ja) * 2004-09-02 2006-03-16 Dainippon Printing Co Ltd 電子書籍販売システム
KR101259546B1 (ko) * 2011-11-04 2013-04-30 주식회사 아이레보 스마트키 서비스 제공 방법

Also Published As

Publication number Publication date
KR20170068305A (ko) 2017-06-19
CN109074435A (zh) 2018-12-21
US10984082B2 (en) 2021-04-20
EP3367277A4 (en) 2018-12-05
US20180357400A1 (en) 2018-12-13
EP3367277A1 (en) 2018-08-29
CN109074435B (zh) 2022-01-28
WO2017099314A1 (ko) 2017-06-15

Similar Documents

Publication Publication Date Title
KR102409903B1 (ko) 사용자 정보를 제공하는 전자 장치 및 방법
US11100208B2 (en) Electronic device and method for controlling the same
US11823146B2 (en) Systems and methods for translating a gesture to initiate a financial transaction
US11153431B2 (en) Mobile terminal and method of operating the same
KR102354415B1 (ko) 전자 장치 및 전자 장치 제어 방법
CN110286944B (zh) 用于在电子装置中处理生物计量信息的方法和设备
KR101688168B1 (ko) 이동 단말기 및 그 제어방법
US10055563B2 (en) Air writing and gesture system with interactive wearable device
KR102187833B1 (ko) 전자 장치의 기능 실행 방법 및 이를 사용하는 전자 장치
CN107223254B (zh) 用于隐藏设置处理的方法、用户装置和存储介质
US20200026939A1 (en) Electronic device and method for controlling the same
EP2787463A1 (en) Display apparatus for performing user certification and method thereof
US20170243054A1 (en) Mobile terminal and control method thereof
CN104850827A (zh) 指纹识别方法及装置
US10769413B2 (en) Mobile terminal and control method thereof
WO2019101096A1 (zh) 安全验证的方法、装置及移动终端
CN108038360B (zh) 一种运行模式的切换方法及移动终端
KR20150134141A (ko) 스마트 밴드를 이용한 사용자 인증방법
KR102082418B1 (ko) 전자 장치 및 그 제어 방법
US20210334345A1 (en) Electric device and control method thereof
US20200311236A1 (en) Electric device and control method thereof
EP3438861B1 (en) Electronic device and method for superimposing password hint on biometric image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant