KR102476619B1 - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR102476619B1
KR102476619B1 KR1020180011864A KR20180011864A KR102476619B1 KR 102476619 B1 KR102476619 B1 KR 102476619B1 KR 1020180011864 A KR1020180011864 A KR 1020180011864A KR 20180011864 A KR20180011864 A KR 20180011864A KR 102476619 B1 KR102476619 B1 KR 102476619B1
Authority
KR
South Korea
Prior art keywords
user
image
data
electronic device
face
Prior art date
Application number
KR1020180011864A
Other languages
English (en)
Other versions
KR20190092751A (ko
Inventor
박희원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180011864A priority Critical patent/KR102476619B1/ko
Priority to PCT/KR2019/000799 priority patent/WO2019151689A1/ko
Priority to US16/768,989 priority patent/US11521424B2/en
Publication of KR20190092751A publication Critical patent/KR20190092751A/ko
Application granted granted Critical
Publication of KR102476619B1 publication Critical patent/KR102476619B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • H04M1/724631—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device by limiting the access to the user interface, e.g. locking a touch-screen or a keypad
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Environmental & Geological Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

전자 장치 및 그의 제어 방법이 개시된다. 본 개시에 따른 전자 장치의 제어방법은 기 설정된 이벤트가 감지되면, 사용자를 촬영하여 사용자 이미지를 획득하는 단계, 촬영된 사용자 이미지로부터 사용자의 얼굴을 포함하는 얼굴 이미지를 획득하여 저장하는 단계 및 얼굴 이미지를 확인하기 위한 사용자 입력이 수신되면, 저장된 얼굴 이미지를 시간 및 장소 중 적어도 하나를 기준으로 제공하는 단계를 포함한다.

Description

전자 장치 및 이의 제어 방법{Electronic device and control method thereof}
본 개시는 전자 장치 및 그의 제어 방법에 관한 것으로, 보다 상세하게는 사용자가 전자 장치를 사용할 때 사용자의 얼굴 이미지를 획득하여 사용자의 감정 상태를 사용자에게 제공하기 위한 전자 장치 또는 그의 제어 방법에 관한 것이다.
근래에는 다양한 방법을 통해 사용자의 얼굴을 인식하고, 인식된 얼굴의 감정 상태(스트레스, 행복도, 피로도 등)를 판단하는 알고리즘이 제공되고 있다. 상술한 다양한 알고리즘을 통해, 사용자는 자신의 얼굴이 포함된 사진에서 자신의 감정 상태 등을 확인할 수 있다.
그러나, 일반적으로 특정 사용자의 얼굴 사진을 촬영하는 경우, 인위적인 사진 촬영이 되는 경우가 많으며, 또한 일정한 기간 동안 주기적으로 사용자의 얼굴을 촬영하는 것은 어려운 일일 것이다. 즉, 사용자 감정을 분석하기 위한 사진 촬영을 할 때, 사용자에게 별도의 행동을 강요(예를 들어, 카메라 어플리케이션을 실행시켜 사진을 촬영하는 등의 행위)하게 된다면, 진정한 사용자의 감정 상태를 파악할 수 없을 가능성이 클 것이다.
따라서, 일상 생활에서의 사용자의 감정 파악을 위하여 어떤 방법으로 사진을 촬영하고, 어떤 방법으로 촬영된 사진을 분석하여 제공할 것인지 여부가 문제될 수 있다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 기 설정된 이벤트가 발생하면 사진 촬영을 수행하고, 촬영된 사진을 제공할 수 있는 전자 장치 및 그의 제어 방법에 관한 것이다.
상기 목적을 달성하기 위한 본 개시의 일 실시예에 따른 전자 장치의 제어 방법은, 기 설정된 이벤트가 감지되면, 사용자를 촬영하여 사용자 이미지를 획득하는 단계, 상기 촬영된 사용자 이미지로부터 상기 사용자의 얼굴을 포함하는 얼굴 이미지를 획득하여 저장하는 단계 및 상기 얼굴 이미지를 확인하기 위한 사용자 입력이 수신되면, 상기 저장된 얼굴 이미지를 시간 및 장소 중 적어도 하나를 기준으로 제공하는 단계를 포함한다.
이때, 상기 얼굴 이미지를 분석하여 복수의 감정 중 상기 얼굴 이미지에 대응되는 감정을 판단하는 단계를 더 포함할 수 있다.
이때, 상기 제공하는 단계는, 상기 얼굴 이미지에 대응되는 감정을 확인하기 위한 사용자 입력이 수신되면, 기 설정된 기간 동안 판단된 상기 복수의 감정을 분류하는 단계 및 상기 분류된 감정에 대응되는 상기 얼굴 이미지를 제공하는 단계를 포함할 수 있다.
이때, 상기 저장하는 단계는, 상기 사용자 이미지가 촬영되는 시간과 관련된 데이터가 존재하는 경우, 상기 촬영된 사용자 이미지와 상기 데이터를 매칭하여 저장하는 단계를 더 포함할 수 있다.
이때, 상기 저장하는 단계는, 상기 촬영된 사용자 이미지에 대응되는 위치 정보를 상기 사용자 이미지와 매칭하여 저장하는 단계를 포함할 수 있다.
이때, 상기 제공하는 단계는, 상기 저장된 얼굴 이미지가 복수개인 경우, 상기 복수개의 얼굴 이미지를 시간 및 장소 중 적어도 하나를 기준으로 파노라마 형태로 제공하는 단계를 더 포함할 수 있다.
이때, 상기 기 설정된 이벤트는, 상기 전자 장치의 잠금 해제 이벤트, 문자 수신 이벤트, 전화 수신 이벤트, 어플리케이션 실행 이벤트 및 컨텐츠 시청 이벤트 중 적어도 하나일 수 있다.
이때, 상기 잠금 해제 이벤트는 홍채 인식, 안면 인식, 지문 인식 및 패턴 인식 중 적어도 하나를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 개시의 또 다른 실시예에 따른 전자 장치는, 카메라, 디스플레이, 메모리 및 기 설정된 이벤트가 감지되면, 상기 카메라를 제어하여 사용자를 촬영하여 사용자 이미지를 획득하고, 상기 촬영된 사용자 이미지로부터 상기 사용자의 얼굴을 포함하는 얼굴 이미지를 획득하여 상기 메모리에 저장하고, 상기 얼굴 이미지를 확인하기 위한 사용자 입력이 수신되면, 상기 저장된 얼굴 이미지를 시간 및 장소 중 적어도 하나를 기준으로 제공하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
이때, 상기 프로세서는, 상기 얼굴 이미지를 분석하여 복수의 감정 중 상기 얼굴 이미지에 대응되는 감정을 판단할 수 있다.
이때, 상기 프로세서는, 상기 얼굴 이미지에 대응되는 감정을 확인하기 위한 사용자 입력이 수신되면, 기 설정된 기간 동안 판단된 상기 복수의 감정을 분류하고, 상기 분류된 감정에 대응되는 상기 얼굴 이미지를 제공하도록 상기 디스플레이를 제어할 수 있다.
이때, 상기 프로세서는,
상기 사용자 이미지가 촬영되는 시간과 관련된 데이터가 존재하는 경우, 상기 촬영된 사용자 이미지와 상기 데이터를 매칭하여 상기 메모리에 저장할 수 있다.
이때, 상기 프로세서는, 상기 촬영된 사용자 이미지에 대응되는 위치 정보를 상기 사용자 이미지와 매칭하여 상기 메모리에 저장할 수 있다.
이때, 상기 프로세서는, 상기 저장된 얼굴 이미지가 복수개인 경우, 상기 복수개의 얼굴 이미지를 시간 및 장소 중 적어도 하나를 기준으로 파노라마 형태로 제공하기 위해 상기 디스플레이를 제어할 수 있다.
이때, 상기 기 설정된 이벤트는, 상기 전자 장치의 잠금 해제 이벤트, 문자 수신 이벤트, 전화 수신 이벤트, 어플리케이션 실행 이벤트 및 컨텐츠 시청 이벤트 중 적어도 하나일 수 있다.
이때, 상기 잠금 해제 이벤트는 홍채 인식, 안면 인식, 지문 인식 및 패턴 인식 중 적어도 하나를 포함할 수 있다.
상기와 같은 본 개시의 다양한 실시예에 따라, 전자 장치는 사용자에게 사진 촬영을 강요하지 않고도 사용자의 얼굴을 자연스럽게 촬영하고, 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 사용자 얼굴 이미지 수집 및 제공 방법을 설명하기 위한 예시도이다.
도 2a는 본 개시의 일 실시예에 따른 전자 장치의 구성을 간략히 도시한 블록도이다.
도 2b는 본 개시의 일 실시예에 따른 전자 장치의 구성을 상세히 도시한 블록도이다.
도 3a 내지 도 4d를 이용하여 사용자 이미지, 얼굴 이미지 획득 방법 및 획득된 얼굴 이미지 제공 방법을 설명하기 위한 예시도이다.
도 5은 본 개시의 일부 실시 예에 따른 프로세서의 블록도이다.
도 6a은 본 개시의 실시예에 따른 데이터 학습부(610)의 블록도이다.
도 6b는 일부 실시예에 따른 데이터 인식부(620)의 블록도이다.
도 7은 본 개시의 일 실시예에 따른 전자 장치의 제어 방법을 설명하는 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의'모듈' 혹은 복수의'부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 개시의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
또한, 본 개시의 실시 예에서, "어플리케이션"은 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 말한다. 본 개시의 실시 예에서, 어플리케이션은 다양할 수 있다. 예를 들어, 게임 애플리케이션, 동영상 재생 애플리케이션, 지도 애플리케이션, 메모 애플리케이션, 캘린더 애플리케이션, 폰 북 애플리케이션, 방송 애플리케이션, 운동 지원 애플리케이션, 결제 애플리케이션, 사진 폴더 애플리케이션, 의료 기기 제어 어플리케이션, 다수의 의료 기기의 사용자 인터페이스 제공 어플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 1은 본 개시의 일 실시예에 따른 사용자 얼굴 이미지 수집 및 제공 방법을 설명하기 위한 예시도이다.
도 1에 도시된 바와 같이, 기 설정된 이벤트가 감지되면, 전자 장치는 카메라를 동작시켜 사용자 이미지를 촬영할 수 있다. 이때, 기 설정된 이벤트는 전자 장치의 잠금 해제 이벤트, 문자 수신 이벤트, 전화 수신 이벤트, 어플리케이션 실행 이벤트, 촬영 기능 설정 이벤트 등 다양할 수 있다. 이때, 사용자 이미지란, 사용자를 포함하고 있는 이미지 뿐만 아니라, 기 설정된 이벤트가 발생할 때, 촬영된 이미지를 포함할 수 있다. 각각의 이벤트에 대한 구체적인 실시예는 후술한다.
전자 장치는, 사용자 이미지로부터 사용자의 얼굴 이미지를 획득하고, 사용자 입력이 수신되면, 획득한 얼굴 이미지를 사용자에게 제공하여 줄 수 있다. 이때, 얼굴 이미지란 사용자의 얼굴이 포함된 사용자 이미지 또는 얼굴이 포함된 사용자 이미지를 가공한 이미지일 수 있다. 또한, 사용자 입력이란 획득한 얼굴 이미지를 제공 받기 위한 사용자 명령일 수 있다. 예를 들어, 사용자 입력은 전자 장치의 디스플레이에 표시된 UI를 통해 입력 될 수 있다. 그러나 이에 한정되는 것은 아니고, 기 설정된 시간 또는 기 설정된 조건을 만족하는 경우, 전자 장치는 획득한 얼굴 이미지를 제공할 수 있음은 물론이다.
도 2a는 본 개시의 일 실시예에 따른 전자 장치의 구성을 간략히 도시한 블록도이다.
도 2a에 도시된 바와 같이, 전자 장치(100)는 메모리(110), 카메라(120) 및 프로세서(140)를 포함한다.
이때, 전자 장치(100)는 스마트 폰으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC (desktop PC), 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라, 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에 따르면 웨어러블 장치는 엑세서리 형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘텍트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체 형(예: 전자 의복), 신체 부착 형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식 형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
또 다른 실시 예로, 전자 장치(100)는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD 플레이어(Digital Video Disk player), 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(예: Xbox™, PlayStation™), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
또 다른 실시 예로, 전자 장치(100)는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다.
메모리(110)는 전자 장치(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리(110)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다.
메모리(110)는 기 설정된 이벤트가 발생하면, 카메라(120)에 의해 촬영된 사용자 이미지를 저장할 수 있다. 나아가 메모리(110)는 사용자 이미지로부터 사용자의 얼굴을 포함하는 얼굴 이미지가 획득되면, 획득된 얼굴 이미지를 저장할 수 있다.
카메라(120)는 전자 장치(100) 주변의 사용자 이미지를 획득하기 위한 구성이다. 구체적으로, 카메라(120)는 기 설정된 이벤트를 만족하는 경우, 사용자 이미지를 촬영할 수 있다. 이때, 기 설정된 이벤트란 카메라 촬영을 위한 사용자 명령이 입력된 경우 뿐만 아니라, 특정 시간에 관한 이벤트, 특정 상태에 관한 이벤트, 특정 행위에 의한 이벤트 등 다양할 수 있다.
디스플레이(130)는 다양한 이미지를 표시하기 위한 구성이다. 구체적으로, 디스플레이(130)는 카메라(120)에 의해 촬영된 사용자 이미지, 사용자 이미지로부터 획득된 사용자의 얼굴 이미지를 표시할 수 있다. 또한, 디스플레이는 상기 사용자 이미지 또는 얼굴 이미지를 표시하는 명령을 입력 받기 위한 다양한 UI를 표시할 수 있다.
프로세서(140)는 전자 장치의 전반적인 동작을 제어한다. 구체적으로, 기 설정된 이벤트가 발생되면, 프로세서(140)는 사용자를 촬영하여 사용자 이미지를 획득하도록 카메라(120)를 제어할 수 있다. 기 설정된 이벤트가 발생할 때란, 기 설정된 이벤트가 발생하기 전후의 시간을 의미할 수 있다.
구체적으로, 프로세서(120)는 잠금 해제를 위한 사용자 입력이 수신되면, 사용자 이미지를 획득할 수 있다. 이때, 잠금 해제를 위한 사용자 입력은 PIN 입력(비밀 번호 입력), 패턴 입력, 지문 인식, 홍채 인식 및 사용자 얼굴 인식을 포함할 수 있다. 일 실시예로, 잠금 해제를 위한 사용자 입력이 사용자 얼굴 인식인 경우, 사용자의 얼굴이 인식되면, 프로세서(140)는 전자 장치(100)의 잠금을 해제함과 동시에 사용자 이미지를 촬영하도록 카메라(120)를 제어할 수 있다. 다만, 프로세서(140)는 사용자 얼굴을 인식하고, 전자 장치(100)의 잠금을 해제하기 전 또는 해제 한 후에 사용자 이미지를 촬영하도록 카메라(120)를 제어할 수도 있음은 물론이다.
또 다른 실시예로, 잠금 해제를 위한 사용자 입력이 홍채 인식인 경우, 사용자의 홍채가 인식되면, 프로세서(140)는 전자 장치(100)의 잠금을 해제함과 동시에 사용자 이미지를 촬영하도록 카메라(120)를 제어할 수 있다. 다만, 프로세서(140)는 사용자의 홍채를 인식하고, 전자 장치(100)의 잠금을 해제하기 전 또는 해제 한 후에 사용자 이미지를 촬영하도록 카메라(120)를 제어할 수도 있음은 물론이다.
또 다른 실시예로, 잠금 해제를 위한 사용자 입력이 지문 인식인 경우, 사용자의 지문이 인식되면, 프로세서(140)는 전자 장치(100)의 잠금을 해제함과 동시에 사용자 이미지를 촬영하도록 카메라(120)를 제어할 수 있다. 다만, 프로세서(140)는 사용자의 지문을 인식하고, 전자 장치(100)의 잠금을 해제하기 전 또는 해제 한 후에 사용자 이미지를 촬영하도록 카메라(120)를 제어할 수도 있음은 물론이다.
또 다른 실시예로, 잠금 해제를 위한 사용자 입력이 PIN 또는 패턴 입력인 경우, PIN 또는 패턴이 입력되면, 프로세서(140)는 전자 장치(100)의 잠금을 해제함과 동시에 사용자 이미지를 촬영하도록 카메라(120)를 제어할 수 있다. 다만, 프로세서(140)는 PIN 또는 패턴이 입력되고, 전자 장치(100)의 잠금을 해제하기 전 또는 해제 한 후에 사용자 이미지를 촬영하도록 카메라(120)를 제어할 수도 있음은 물론이다. 또는, 프로세서(140)는 PIN 또는 패턴이 입력되는 동안 사용자 이미지를 촬영하도록 카메라(120)를 제어할 수도 있음은 물론이다.
한편, 사용자의 얼굴 인식 또는 홍채 인식을 통해 전자 장치(100)의 잠금 화면을 해제하는 경우, 획득된 사용자 이미지는 얼굴 이미지를 포함할 수 있다. 그러나 지문 인식, PIN 또는 패턴 입력을 통해 전자 장치(100)의 잠금을 해제하는 경우에는 사용자 이미지가 얼굴 이미지를 포함하지 않을 수 있다. 따라서, 프로세서(140)는 촬영된 사용자 이미지로부터 사용자의 얼굴 이미지를 획득할 수 있다. 구체적으로, 프로세서(140)는 카메라(120)를 통해 획득한 사용자 이미지를 분석하여 얼굴 이미지를 획득할 수 있다. 사용자 이미지에 사용자 얼굴이 포함되지 않거나 사용자 얼굴의 일부만 포함된 경우, 프로세서(140)는 사용자 얼굴이 포함되지 않거나 사용자 얼굴의 일부만 포함된 사용자 이미지를 삭제할 수 있다. 한편, 홍채 인식 또는 사용자 얼굴 인식을 통해 전자 장치(100)의 잠금 화면이 해제 되는 경우에는, 프로세서(140)는 카메라(120)에 의해 촬영된 사용자 이미지를 분석하지 않고, 메모리(110)에 저장할 수 있다. 즉, 기 설정된 이벤트에 의해 촬영된 사용자 이미지에 사용자의 얼굴이 포함되어 있을 것이라고 예상 되는 경우, 프로세서(140)는 사용자 이미지를 분석하지 않고 메모리(110)에 저장할 수 있다. 그러나 이에 한정되는 것은 아니며, 프로세서(140)는 카메라(120)를 통해 획득된 모든 사용자 이미지를 분석하여, 메모리(110)에 저장할 사용자 이미지(또는 얼굴 이미지)를 획득할 수 있다.
또 다른 실시예로, 기 설정된 이벤트는 특정 상태 또는 특정 어플리케이션의 실행 상태일 수 있다. 일 실시예로, 들어, 특정 상태는 카메라가 사용자를 비추고 있는 상태일 수 있다. 프로세서(140)는 카메라(120)에 사용자의 얼굴이 감지된 경우, 사용자 이미지를 촬영할 수 있다. 이때, 얼굴 이미지는 사용자 이미지이거나, 사용자 이미지를 가공한 이미지일 수 있다. 또 다른 실시예로, 특정 어플리케이션의 실행 상태는 문자 어플리케이션의 실행 상태, 전화 어플리케이션의 실행 상태 검색 포털 어플리케이션의 실행 상태 등일 수 있다. 프로세서(140)는 다양한 어플리케이션이 실행되어 카메라(120)에 사용자 얼굴이 감지된 경우, 사용자 이미지를 촬영할 수 있다. 이때, 얼굴 이미지는 사용자 이미지이거나, 사용자 이미지를 가공한 이미지일 수 있다.
한편, 프로세서(140)는 얼굴 이미지와 다양한 정보를 매칭하여 메모리(110)에 저장할 수 있다. 예를 들어, 프로세서(140)는 얼굴 이미지가 저장된 시간 정보, 위치 정보를 얼굴 이미지와 매칭하여 저장할 수 있다.
또는, 프로세서(140)는 얼굴 이미지와 얼굴 이미지를 분석하여 획득한 감정 정보를 매칭하여 저장할 수 있다.
또는, 프로세서(140)는 얼굴 이미지가 저장될 때 함께 실행되는 어플리케이션 정보를 얼굴 이미지에 매칭하여 저장할 수 있다. 이때, 어플리케이션 정보란, 어플리케이션 자체에 대한 정보이거나, 어플리케이션에서 실행되는 소스 정보일 수 있다. 예를 들어, 문자 어플리케이션이 실행되는 동안 얼굴 이미지가 획득되어 저장된 경우, 프로세서(140)는 얼굴 이미지와 문자 어플리케이션을 매칭하여 저장할 수 있을 뿐만 아니라, 얼굴 이미지와 문자 어플리케이션에 포함된 텍스트 정보(발신자, 발신자로부터 수신한 텍스트, 사용자가 발신한 텍스트 정보)를 매칭하여 저장할 수 있다. 또는, 전화 어플리케이션이 실행되는 동안 얼굴 이미지가 획득되어 저장된 경우, 프로세서(140)는 얼굴 이미지와 전화 어플리케이션을 매칭하여 저장할 수 있을 뿐만 아니라, 얼굴 이미지와 전화 어플리케이션에 포함된 음성 정보 또는 이미지 정보를 매칭하여 저장할 수 있다. 또는, 동영상 어플리케이션이 실행되는 동안 얼굴 이미지가 획득되어 저장된 경우, 프로세서(140)는 얼굴 이미지와 동영상 어플리케이션을 매칭하여 저장할 수 있을 뿐만 아니라, 얼굴 이미지와 동영상 어플리케이션이 재생하고 있는 동영상 정보를 매칭하여 저장할 수 있다. 또는, 검색 포털 어플리케이션이 실행되는 동안 얼굴 이미지가 획득되어 저장된 경우, 프로세서(140)는 얼굴 이미지와 검색 포털 어플리케이션을 매칭하여 저장할 수 있을 뿐만 아니라, 얼굴 이미지와 검색 포털 어플리케이션에 포함된 정보(예를 들어, 뉴스 기사, 검색 결과 등)를 매칭하여 저장할 수 있다.
한편, 얼굴 이미지를 확인하기 위한 사용자 입력이 수신되면, 프로세서(100)는 저장된 얼굴 이미지를 기 설정된 기준에 따라 제공하기 위해 디스플레이(130)를 제어할 수 있다. 이대, 기 설정된 기준은 얼굴 이미지와 매칭된 정보와 관련된 기준일 수 있다. 일 실시예로, 프로세서(140)는 시간의 흐름에 따른 얼굴 이미지를 제공하도록 디스플레이(130)를 제어 할 수 있다. 또 다른 실시예로, 프로세서(140)는 장소의 변화에 따른 얼굴 이미지를 제공하도록 디스플레이(130)를 제어할 수 있다.
또 다른 실시예로, 프로세서(140)는 얼굴 이미지를 분석하여 복수의 감정 중 얼굴 이미지에 대응되는 감정을 판단하고, 복수의 감정을 기준으로 얼굴 이미지를 제공하도록 디스플레이(130)를 제어할 수 있다. 구체적으로 프로세서(140)는, 얼굴 이미지에 대응되는 감정을 확인하기 위한 사용자 입력이 수신되면, 기 설정된 기간(예를 들어 한시간, 하루, 한주, 한달 등)동안 판단된 사용자의 감정을 분류하고, 분류된 감정에 대응되는 얼굴 이미지를 제공하도록 디스플레이(130)를 제어할 수 있다. 또 다른 실시예로, 프로세서(140)는 특정 감정을 기준으로 얼굴 이미지를 제공하도록 디스플레이(130)를 제어 할 수 있다. 예를 들어, 프로세서(140)는 기쁜 감정에 대응되는 얼굴 이미지 중 가장 기쁜 감정 상태를 가지고 있는 얼굴 이미지를 제공하기 위해 디스플레이(130)를 제어할 수 있다.
이때, 제공할 얼굴 이미지가 복수개인 경우, 프로세서(140)는 복수개의 얼굴 이미지를 파노라마 형태로 제공하도록 디스플레이(130)를 제어할 수 있다.
도 2b는 본 개시의 일 실시예에 따른 전자 장치의 구성을 상세히 도시한 블록도이다.
도 2b에 도시된 바와 같이, 전자 장치(100)는 메모리(110), 카메라(120), 디스플레이(130), 프로세서(140)외에 입력부(150), 오디오 처리부(160), 오디오 출력부(170) 및 통신부(180)를 더 포함할 수 있다. 그러나 상술한 구성에 한정되는 것은 아니며, 필요에 따라 일부 구성요소가 추가 또는 생략될 수 있음은 물론이다.
메모리(110)는 상술한 바와 같이, 전자 장치(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 이때, 메모리(110)는 하드 디스크, 메모리, 캐시 및 레지스터를 포함할 수 있다.
카메라(120)는 정지 영상 및 동영상을 촬영할 수 있다. 예로, 카메라(120)는 하나 이상의 이미지 센서, 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있으며, 복수의 카메라(120)로 구성될 수 있다.
디스플레이(130)는 상술한 바와 같이, 다양한 화면을 표시할 수 있다. 이때, 디스플레이(130)는 다양한 형태의 디스플레이 패널로 구현될 수 있다. 예로, 디스플레이 패널은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), AM-OLED(Active-Matrix Organic Light-Emitting Diode), LcoS(Liquid Crystal on Silicon) 또는 DLP(Digital Light Processing) 등과 같은 다양한 디스플레이 기술로 구현될 수 있다.
또한, 디스플레이(130)는 플렉서블 디스플레이(flexible display)의 형태로 전자 장치(100)의 전면 영역 및, 측면 영역 및 후면 영역 중 적어도 하나에 결합될 수도 있다. 플렉서블 디스플레이는 종이처럼 얇고 유연한 기판을 통해 손상 없이 휘거나 구부리거나 말 수 있는 것을 특징으로 할 수 있다. 이러한 플렉서블 디스플레이는 일반적으로 사용되는 유리 기판뿐 아니라 플라스틱 기판을 사용하여 제조될 수도 있다. 플라스틱 기판을 사용하는 경우, 기판의 손상을 방지하기 위해서 기존의 제조 프로세서를 사용하지 않고 저온 제조 프로세서를 사용하여 형성될 수 있다. 또한, 플렉서블 액정을 싸고 있는 유리 기판을 플라스틱 필름으로 대체하여, 접고 펼 수 있는 유연성을 부여할 수 있다. 이러한 플렉서블 디스플레이는 얇고 가벼울 뿐만 아니라 충격에도 강하며, 또한 휘거나 굽힐 수 있고 다양한 형태로 제작이 가능하다는 장점을 갖고 있다.
입력부(150)는 다양한 입력을 수신하기 위하여 터치 패널(151), 펜 센서(152), 키(153) 및 마이크(154)를 포함할 수 있다. 터치 패널(151)은 디스플레이(130) 및 터치 센서(미도시)가 결합되어 구성될 수 있으며, 터치 센서는 정전식, 감압식, 적외선 방식, 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 터치 패널은 디스플레이 기능뿐만 아니라 터치 입력 위치, 터치된 면적뿐만 아니라 터치 입력 압력까지도 검출하는 기능을 가질 수 있고, 또한 실질적인 터치(real-touch)뿐만 아니라 근접 터치(proximity touch)도 검출하는 기능을 가질 수 있다. 펜 센서(152)는 터치 패널(151)의 일부로 구현될 수 있으며 또는 별도의 인식용 시트를 포함할 수 있다. 키(153)는 물리적 버튼, 광학식 키 또는 키패드를 포함할 수 있다. 마이크(154)는 내장형 마이크 또는 외장형 마이크 중 적어도 하나를 포함할 수 있다.
특히, 입력부(150)는 상술한 다양한 구성들로부터 외부 명령을 수신하여 프로세서(140)로 전달할 수 있다. 프로세서(120)는 수신한 입력에 대응되는 제어 신호를 생성하여 전자 장치(100)를 제어할 수 있다.
오디오 처리부(160)는 오디오 데이터에 대한 처리를 수행하는 구성 요소다. 오디오 처리부(160)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 오디오 처리부(160)에서 처리된 오디오 데이터는 오디오 출력부(170)로 출력될 수 있다.
오디오 출력부(170)는 오디오 처리부(160)에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 특히, 오디오 출력부(170)는 스피커로 구현될 수 있으나, 이는 일 실시 예에 불과할 뿐, 오디오 데이터를 출력할 수 있는 출력 단자로 구현될 수 있다.
통신부(180)는 외부 장치와 통신을 수행할 수 있다. 특히, 통신부(180)는 와이파이 칩(181), 블루투스 칩(182), 무선 통신 칩(183), NFC칩(184) 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩(181), 블루투스 칩(182), NFC 칩(184)은 각각 LAN 방식, WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 와이파이 칩(181)이나 블루투스칩(182)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신 하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신칩(183)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
프로세서(140)는 메모리(110)에 저장된 각종 프로그램을 이용하여 전자 장치(100)의 전반적인 동작을 제어할 수 있다.
프로세서(140)는 RAM(141), ROM(142), 그래픽 처리부(143), 메인 CPU(144), 제1 내지 n 인터페이스(145-1 ~ 145-n) 및 버스(146)로 구성될 수 있다. 이때, RAM(141), ROM(142), 그래픽 처리부(143), 메인 CPU(144), 제1 내지 n 인터페이스(145-1 ~ 145-n) 등은 버스(146)를 통해 서로 연결될 수 있다.
RAM(141)은 O/S 및 어플리케이션 프로그램을 저장한다. 구체적으로, 전자 장치(100)가 부팅되면 O/S가 RAM(141)에 저장되고, 사용자가 선택한 각종 어플리케이션 데이터가 RAM(141)에 저장될 수 있다.
ROM(142)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(144)는 ROM(142)에 저장된 명령어에 따라 메모리(110)에 저장된 O/S를 RAM(141)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(144)는 메모리(110)에 저장된 각종 어플리케이션 프로그램을 RAM(141)에 복사하고, RAM(141)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(143)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이템, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 여기서, 연산부는 입력부(150)로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하는 구성일 수 있다. 그리고, 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성하는 구성이 일 수 있다. 이러한 렌더링부에서 생성된 화면은 디스플레이(130)의 디스플레이 영역 내에 표시될 수 있다.
메인 CPU(144)는 메모리(110)에 액세스하여, 메모리(110)에 저장된 OS를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(144)는 메모리(110)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(145-1 내지 145-n)는 상술한 각종 구성요소들과 연결된다. 제1 내지 n 인터페이스(145-1 내지 145-n) 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
이하에서는 도 3a 내지 도 4d를 이용하여 사용자 이미지, 얼굴 이미지 획득 방법 및 획득된 얼굴 이미지 제공 방법을 설명한다.
도 3a는 잠금 화면을 해제하는 경우, 사용자 이미지를 획득하는 방법을 설명하기 위한 예시도이다.
구체적으로, 도 3a에 도시된 바와 같이, 전자 장치(100)는 제1 영역(310)에 표시된 UI 및 카메라(120)를 통해 홍채 인식을 수행하여 잠금 화면을 해제하거나, 제2 UI(320)를 통해 패턴을 입력하여 잠금 화면을 해제할 수 있다. 구체적으로, 홍채 인식을 통한 잠금 화면 해제는 제1 영역에 표시된 제1 인디케이터(311) 및 제2 인디케이터(312)에 사용자의 홍채가 위치한 경우 이루어 질 수 있다. 이때, 전자 장치(100)는 홍채 인식을 수행하며 사용자 이미지를 획득할 수 있다. 상술한 바와 같이 사용자 이미지의 획득 시점은 홍채인식 전, 홍채인식 후, 또는 홍채 인식과 동시에 이루어 질 수 있다. 다만, 전자 장치(100)에 등록된 홍채를 가진 사용자에 대한 사용자 이미지를 획득하기 위해서, 전자 장치(100)는 카메라(120)에 의해 획득된 홍채가 등록된 홍채가 동일한지 여부를 먼저 판단하고, 카메라(120)에 의해 획득된 홍채가 등록된 홍채가 동일한 경우 사용자 이미지를 획득할 수 있다. 홍채 인식을 통한 잠금 화면 해제 뿐만 아니라 사용자 얼굴 인식을 통한 잠금 화면 해제의 경우에도 유사한 방법이 적용될 수 있다.
한편, 전자 장치(100)는 패턴 인식을 통한 잠금 화면 해제의 경우에도 홍채 인식의 경우와 유사한 방법으로 사용자 이미지를 획득할 수 있다. 즉, 전자 장치(100)는 잠금 화면 해제를 위한 패턴이 입력되는 도중 또는 입력된 후 사용자 이미지를 촬영할 수 있다. 홍채 인식의 경우와 같이, 전자 장치(100)는 제2 영역(320)을 통해 패턴이 입력되면, 입력된 패턴이 정확한 패턴인지 판단하고, 입력된 패턴이 정확한 패턴인 경우, 사용자 이미지를 획득할 수 있다. PIN을 통한 잠금 해제, 지문 인식을 통한 잠금 해제의 경우에도 유사한 방법이 적용될 수 있음은 물론이다.
한편, 홍채 인식 또는 사용자 얼굴 인식을 통한 잠금 화면 해제의 경우, 사용자의 얼굴을 이용한 잠금 해제 방법이기 때문에, 사용자 이미지에는 사용자 얼굴이 포함되어 있다. 그러나 패턴 입력을 통한 잠금 화면 해제의 경우, 경우에 따라서는 사용자 이미지에 사용자의 얼굴이 포함되지 않는 경우가 존재할 수 있다. 따라서, 패턴 입력을 통한 잠금 해제 과정에서 사용자 이미지가 획득된 경우, 전자 장치(100)는 사용자 이미지를 분석하여 얼굴 이미지를 획득할 수 있다. 구체적으로, 전자 장치(100)는 획득한 사용자 이미지 중, 사용자의 얼굴을 포함하고 있는 이미지만을 판별하여 저장할 수 있다.
또 다른 실시예로, 잠금 해제를 위한 패턴 입력이 입력되면, 카메라(120)에 전원이 인가되고, 전자 장치(100)는 카메라에 사용자 얼굴이 인지된 경우에 한하여 사용자 이미지를 획득할 수도 있음은 물론이다. 이에 대한 자세한 실시예는 도 3b에서 후술한다.
즉, 전자 장치(100)는 사용자 얼굴이 포함된 사용자 이미지를 획득할 수 있는 홍채 인식, 사용자 얼굴 인식을 통한 잠금 화면 해제의 경우에는, 사용자 이미지를 얼굴 이미지로서 사용하고, 사용자 얼굴이 포함된 사용자 이미지인지 여부가 불명확한, 패턴 입력, PIN 입력 및 지문 인식을 통한 잠금 해제의 경우에는, 사용자 이미지에 사용자 얼굴이 포함되어 있는지 여부를 판단하고, 사용자 얼굴이 포함된 사용자 이미지를 얼굴 이미지로서 사용할 수 있다.
도 3b는 본 개시의 또 다른 실시예에 따른 사용자 이미지 획득 방법을 설명하기 위한 예시도이다.
전자 장치(100)는 도 3a에 도시된 바와 같이, 잠금 화면 해제시 사용자 이미지를 획득할 수도 있으나, 사용자가 전자 장치(100)를 사용하고 있는 경우에도 사용자 이미지를 획득할 수 있다. 예를 들어, 디스플레이(130)에 전원이 인가된 경우. 전자 장치(100)는 사용자 이미지를 획득할 수 있다. 이때, 전자 장치(100)는 기 설정된 시간 간격 또는 전자 장치(100)의 어플리케이션이 실행되는 시점, 실행되는 도중, 또는 종료되는 경우 사용자 이미지를 획득할 수 있다.
그러나, 상술한 패턴 입력의 경우와 같이, 사용자가 전자 장치(100)를 사용하는 경우라도 얼굴 이미지가 포함된 사용자 이미지를 획득하지 못하는 경우가 존재할 수 있다.
따라서, 전자 장치(100)는 도 3b에 도시된 바와 같이, 카메라(120)가 사용자 얼굴을 인지하는 동안에만 사용자 이미지를 획득할 수 있다. 다만, 사용자 얼굴을 인지할 때, 사용자 이미지를 촬영하는 경우, 전자 장치(100)가 사용 중이면 카메라(120)에는 항상 전원이 인가되어야 하므로 전력 소모가 클 수 있다. 따라서, 도 3b에 도시된 바와 같이, 전자 장치(100)는 카메라(120)가 전자 장치(100)가 사용중인 동안 항상 전원을 인가할 것인지 여부를 선택할 수 있는 UI(330)를 표시할 수 있다.
도 4a 내지 도 4d는 본 개시의 일 실시예에 따른, 획득한 사용자 이미지를 제공하기 위한 방법을 설명하기 위한 예시도이다.
전자 장치(100)는 획득한 사용자 이미지를 다양한 기준에 따라 다양한 방식으로 제공될 수 있다. 이때, 전자 장치(100)는 획득된 사용자 이미지를 다양한 정보와 매칭하여 저장할 수 있다. 예를 들어, 전자 장치(100)는 획득된 사용자 이미지를 사용자 이미지가 획득된 시간 정보, 장소 정보, 스케쥴 정보, 획득된 사용자 이미지에 포함된 얼굴 이미지를 분석하여 획득한 감정 정보, 사용자 이미지가 획득될 때 사용하는 어플리케이션 정보, 사용자 이미지가 획득될 때 실행되는 어플리케이션이 제공하는 정보 중 적어도 하나를 매칭하여 저장할 수 있다. 전자 장치(100)는 사용자 이미지에 매칭된 정보 중 사용자가 선택한 정보를 기준으로 사용자 이미지를 제공할 수 있다. 이때, 도 4a에 도시된 바와 같이, 전자 장치(100)는 다양한 기준에 따른 제공 방식을 선택하기 위한 UI들(410 내지 450)을 제공할 수 있다.
구체적으로, 전자 장치(100)는 제1 UI(410)을 통한 사용자 명령이 입력되면, 도 4b에 도시된 바와 같이, 사용자 이미지를 파노라마 형태로 표시할 수 있다. 이때, 파노라마 형태로 표시되는 사용자 이미지는 시간 순서에 따라 표시될 수 있다. 예를 들어, 파노라마 형태로 표시되는 이미지는 기 설정된 시간(예를 들어 하루)동안 기 설정된 시간 간격(예를 들어 한시간)으로 표시될 수 있다. 다만, 이에 한정되는 것은 아니고, 전자 장치(100)는 장소의 변화를 기준으로 파노라마 이미지를 표시할 수도 있음은 물론이다.
또 다른 실시예로, 전자 장치(100)는 사용자 명령에 의해 선택된 감정에 대응되는 사용자 이미지 중, 감정의 정도가 가장 높은 사용자 이미지를 제공할 수 있다. 즉, 전자 장치(100)는 복수의 감정(행복, 슬픔, 기쁜, 초조함 등) 중 얼굴 이미지에 대응되는 감정을 판단하고, 사용자 명령에 의해 선택된 감정에 대응되는 얼굴 이미지 중, 감정의 정도가 가장 높은 사용자 이미지를 제공할 수 있다.
구체적으로, 도 4b에 도시된 바와 같이, 전자 장치(100)는 하루 중 가장 행복한 감정을 가지는 사용자 이미지를 제공할 수 있다. 이때, 전자 장치(100)는 사용자 이미지에 매칭된 다른 정보들을 함께 제공할 수 있다. 예를 들어, 도 4c에 도시된 바와 같이, 전자 장치(100)는 가장 행복한 감정을 가지는 사용자 이미지가 획득된 장소, 시간 및 스케쥴 정보를 함께 제공할 수 있다. 전자 장치(100)는 행복한 감정 외 다른 감정들에 대한 베스트 샷을 제공할 수 있음은 물론이다.
또 다른 실시예로, 전자 장치(100)는 얼굴 이미지에 대응되는 감정을 매칭하여 저장하고, 복수의 감정을 분류하여 사용자에게 제공할 수 있다. 예를 들어, 도 4d에 도시된 바와 같이, 전자 장치(100)는 기 설정된 기간(예를 들어 하루)동안 행복한 감정에 대응되는 얼굴 이미지의 개수 및 평균, 화난 감정에 대응되는 얼굴 이미지의 개수 및 평균, 슬픈 감정에 대응되는 얼굴 이미지의 개수 및 평균을 산출하여 사용자에게 제공하여 줄 수 있다.
상술한 실시예 외에도, 전자 장치(100)는 매칭된 다양한 정보를 기준으로 얼굴 이미지를 제공할 수 있다. 예를 들어, 전자 장치(100)는 얼굴 이미지와 얼굴 이미지가 획득될 때 사용되는 어플리케이션을 매칭하여 저장할 수 있다. 전자 장치(100)는 사용자가 사용하는 어플리케이션을 기준으로, 얼굴 이미지를 분류하여 제공할 수 있다. 예를 들어, 전자 장치(100)는 사용자가 메일 어플리케이션을 사용할 때의 얼굴 이미지를 수집하고, 수집된 얼굴 이미지를 제공할 수 있다. 또는, 전자 장치는 수집된 얼굴 이미지의 감정을 판단할 수 있다. 전자 장치(100)는 메일 어플리케이션을 사용하는 사용자의 감정은 대체로 "무뚝뚝함"임을 분석하여 사용자에게 제공할 수 있다. 또는, 전자 장치(100)는 사용자가 비디오 컨텐츠 제공 어플리케이션을 사용할 때의 얼굴 이미지를 수집하고, 수집된 얼굴 이미지를 제공할 수 있다. 또는, 전자 장치는 수집된 얼굴 이미지의 감정을 판단할 수 있다. 전자 장치(100)는 비디오 컨텐츠 제공 어플리케이션을 사용하는 사용자의 감정은 대체로 "즐거움"임을 분석하여 사용자에게 제공할 수 있다.
또 다른 실시예로, 전자 장치(100)는 어플리케이션의 종류에 따라 사용자의 얼굴 이미지를 분석할 수 있을 뿐만 아니라, 어플리케이션에서 사용되는 다양한 정보와 사용자의 감정을 매칭하려 저장하고, 사용자에게 제공할 수 있다. 예를 들어, 사용자가 문자 어플리케이션을 사용하는 동안 얼굴 이미지가 획득된 경우, 전자 장치(100)는 획득된 얼굴 이미지와 문자 어플리케이션을 매칭하여 저장할 수 있다. 나아가, 전자 장치(100)는 문자 어플리케이션을 통해 수신된 문자 내용을 분석하고, 분석된 결과를 획득된 얼굴 이미지와 매칭하여 저장할 수 있다. 예를 들어, 전자 장치(100)는 문자 메시지의 발신인, 문자 메시지의 내용 등을 분석하고, 분석된 결과와 획득된 얼굴 이미지를 매칭하여 저장할 수 있다. 얼굴 이미지를 제공하기 위한 기준이 특정 인물(예를 들어 문자 메시지의 발신인)인 경우, 전자 장치(100)는 특정 인물이 보낸 문자 메시지의 내용 및 획득된 얼굴 이미지를 사용자에게 함께 제공할 수 있다.
이때, 전자 장치(100)는 상술한 다양한 기능의 일부 또는 전부는 인공 지능 모델을 통해 구현될 수 있다. 예를 들어, 전자 장치(100)는 사용자의 얼굴 이미지를 인공 지능 알고리즘에 입력하여 사용자 감정 상태를 획득하거나, 사용자가 사용하는 어플리케이션 정보를 인공지능 알고리즘에 입력하여 사용자 감정상태를 야기한 정보를 획득할 수 있다.
구체적으로, 도 5를 참조하면, 일부 실시 예에 따른 프로세서(140)는 데이터 학습부(510) 및 데이터 인식부(520)를 포함할 수 있다.
데이터 학습부(510)은 데이터 인식 모델이 사용자의 얼굴 이미지를 인공 지능 알고리즘에 입력하여 사용자 감정 상태를 획득하거나, 사용자가 사용하는 어플리케이션 정보를 인공지능 알고리즘에 입력하여 사용자 감정상태를 야기한 어플리케이션 정보를 학습할 수 있다. 데이터 인식부(520)는 인식 데이터에 기초하여 사용자 감정 상태 또는 사용자의 감정을 야기한 어플리케이션 정보를 판단할 수 있다. 데이터 인식부(520)는 학습된 데이터 인식 모델을 이용하여 학습된 기준에 따라 사용자의 감정 상태 또는 사용자의 감정을 야기한 어플리케이션 정보를 인식할 수 있다. 데이터 인식부(520)는 기 설정된 기준에 따라 소정의 인식 데이터를 획득하고, 획득된 인식 데이터를 입력 값으로 하여 데이터 인식 모델에 적용함으로써, 사용자의 감정 또는 사용자의 감정을 야기한 어플리케이션 정보 를 판단 또는 추정(estimate)할 수 있다. 또한, 획득된 인식 데이터를 입력 값을 데이터 인식 모델에 적용하여 출력된 결과 값은, 데이터 인식 모델을 갱신하는데 이용될 수 있다.
이때, 데이터 학습부(510)의 적어도 일부 및 데이터 인식부(520)의 적어도 일부는, 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(510) 및 데이터 인식부(520) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다. 이 때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다. 데이터 학습부(510) 및 데이터 인식부(520)가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 어플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 어플리케이션에 의해 제공될 수 있다.
이 경우, 데이터 학습부(510) 및 데이터 인식부(520)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(510) 및 데이터 인식부(520) 중 하나는 전자 장치(100)에 포함되고, 나머지 하나는 외부의 서버에 포함될 수 있다. 또한, 데이터 학습부(510) 및 데이터 인식부(520)는 유선 또는 무선으로 통하여, 데이터 학습부(510)가 구축한 모델 정보를 데이터 인식부(520)로 제공할 수도 있고, 데이터 인식부(520)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(510)로 제공될 수도 있다.
도 6a은 본 개시의 실시예에 따른 데이터 학습부(510)의 블록도이다.
도 6a을 참조하면, 일부 실시예에 따른 데이터 학습부(510)는 데이터 획득부(510-1) 및 모델 학습부(510-4)를 포함할 수 있다. 또한, 데이터 학습부(510)는 전처리부(510-2), 학습 데이터 선택부(510-3) 및 모델 평가부(510-5) 중 적어도 하나를 선택적으로 더 포함할 수도 있다.
데이터 획득부(510-1)는 사용자의 감정 또는 사용자의 감정을 야기한 어플리케이션 정보 를 결정하기 위한 학습을 위하여 필요한 학습 데이터를 획득할 수 있다. 학습 데이터는 데이터 학습부(510) 또는 전자 장치(100)의 제조사에 의하여 수집 또는 테스트한 데이터가 이용될 수도 있다. 또는, 학습 데이터는 본 개시에 따른 전자 장치(100)에 의하여 수집된 데이터가 이용될 수도 있다.
모델 학습부(510-4)는 학습 데이터를 이용하여, 데이터 인식 모델이 사용자의 감정 또는 사용자의 감정을 야기한 어플리케이션 정보 에 대한 중요도를 어떻게 판단할 지에 관한 판단 기준을 갖도록 학습시킬 수 있다. 예로, 모델 학습부(510-4)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또는, 모델 학습부(510-4)는, 예를 들어, 별다른 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 사용자의 감정 또는 사용자의 감정을 야기한 어플리케이션 정보 를 결정하기 위한 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.
또한, 모델 학습부(510-4)는 사용자의 감정 또는 사용자의 감정을 야기한 어플리케이션 정보를 결정하기 위하여 어떤 학습 데이터를 이용해야 하는 지에 대한 선별 기준을 학습할 수도 있다.
특히, 본 개시의 일 실시예에 따른, 모델 학습부(510-4)는 실행되는 어플리케이션의 이름, 카테고리 정보, 어플리케이션에서 수집하는 데이터 명, 어플리케이션에서 수집하는 데이터의 변수명, 어플리케이션에서 수집하는 데이터와 관련된 프로그램 소스코드 등과 관련된 학습 데이터를 이용하여 데이터 인식 모델을 생성 또는 학습시킬 수 있다.
한편, 데이터 인식 모델은 미리 구축되어, 모델 학습부(510-4)의 학습에 의하여 업데이트되는 모델일 수 있다. 이 경우, 데이터 인식 모델은 기본 학습 데이터를 입력 받아 미리 구축된 상태일 수 있다.
데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 데이터 인식 모델은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있다. 데이터 인식 모델은 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 데이터 인식 모델은, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다.
예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
다양한 실시예에 따르면, 모델 학습부(510-4)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
또한, 모델 학습부(510-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 인식 모델을 학습시킬 수 있다.
또한, 모델 학습부(510-4)는, 예를 들어, 상술한 다양한 어플리케이션 정보를 입력 값으로 이용하는 지도 학습을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또는, 모델 학습부(510-4)는, 예를 들어, 별다른 지도 없이 필요한 학습 데이터를 이용하여 스스로 학습하여 어플리케이션 또는 데이터의 중요도 및 보안 파라미터 판단 기준을 발견하는 비지도 학습을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(510-4)는, 예를 들어, 학습에 따른 어플리케이션 또는 데이터의 중요도 및 보안 파라미터 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.
또한, 데이터 인식 모델이 학습되면, 모델 학습부(510-4)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(510-4)는 학습된 데이터 인식 모델을 전자 장치(100)의 메모리(110)에 저장할 수 있다. 또는, 모델 학습부(510-4)는 학습된 데이터 인식 모델을 전자 장치(100)와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
데이터 학습부(510)는 데이터 인식 모델의 인식 결과를 향상시키거나, 데이터 인식 모델의 생성에 필요한 자원 또는 시간을 절약하기 위하여, 전처리부(510-2) 및 학습 데이터 선택부(510-3)를 더 포함할 수도 있다.
전처리부(510-2)는 사용자의 감정 또는 사용자의 감정을 야기한 어플리케이션 정보 판단을 위한 학습에 이용하기 위하여 데이터 획득부(510-1)에서 획득된 데이터를 전처리할 수 있다.
예로, 전처리부(510-2)는 모델 학습부(510-4)가 데이터 인식 모델의 학습을 위한 데이터의 이용이 용이하도록, 획득된 데이터를 기 정의된 포맷으로 가공할 수 있다. 전처리된 데이터는 학습 데이터로서 모델 학습부(510-4)에게 제공될 수 있다.
또는, 학습 데이터 선택부(510-3)가 전처리된 데이터 중에서 학습에 필요한 학습 데이터를 선별적으로 선택할 수 있다. 선택된 학습 데이터는 모델 학습부(510-4)에 제공될 수 있다. 학습 데이터 선택부(510-3)는 기 설정된 선별 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 학습 데이터를 선별할 수 있다. 또한, 학습 데이터 선택부(510-3)는 모델 학습부(510-4)에 의한 학습에 의해 기 설정된 선별 기준에 따라 학습에 필요한 학습 데이터를 선별할 수도 있다. 본 개시의 일 실시예로, 학습 데이터 선택부(510-3)는 입력된 학습 데이터 중, 실행되는 어플리케이션 이름 및 카테고리 정보만을 선택할 수 있다.
데이터 학습부(510)는 데이터 인식 모델의 인식 결과를 향상시키기 위하여, 모델 평가부(510-5)를 더 포함할 수도 있다.
모델 평가부(510-5)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(510-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기 정의된 데이터일 수 있다.
예를 들어, 모델 평가부(510-5)는 평가 데이터에 대한 학습된 데이터 인식 모델의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 데이터 인식 모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(510-5)는 학습된 데이터 인식 모델이 적합하지 않은 것으로 평가할 수 있다.
한편, 학습된 데이터 인식 모델이 복수 개가 존재하는 경우, 모델 평가부(510-5)는 각각의 학습된 데이터 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 데이터 인식 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(510-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 데이터 인식 모델로서 결정할 수 있다.
도 6b는 일부 실시예에 따른 데이터 인식부(520)의 블록도이다.
도 6b를 참조하면, 일부 실시예에 따른 데이터 인식부(520)는 데이터 획득부(520-1) 및 인식 결과 제공부(520-4)를 포함할 수 있다. 또한, 데이터 인식부(520)는 전처리부(520-2), 인식 데이터 선택부(520-3) 및 모델 갱신부(520-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
데이터 획득부(520-1)는 사용자의 감정 또는 사용자의 감정을 야기한 어플리케이션 정보 판단에 필요한 인식 데이터를 획득할 수 있다.
인식 결과 제공부(520-4)는 데이터 획득부(520-1)에서 획득된 데이터를 입력 값으로 학습된 데이터 인식 모델에 적용하여 사용자의 감정 또는 사용자의 감정을 야기한 어플리케이션 정보를 판단할 수 있다. 인식 결과 제공부(520-4)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 또는, 인식 결과 제공부(520-4)는 후술할 전처리부(520-2)에서 전처리된 데이터를 입력 값으로 학습된 데이터 인식 모델에 적용하여 획득된 인식 결과를 제공할 수 있다. 또는, 인식 결과 제공부(520-4)는 후술할 인식 데이터 선택부(520-3)에 의해 선택된 데이터를 입력 값으로 데이터 인식 모델에 적용하여 인식 결과를 제공할 수 있다.
데이터 인식부(1210)는 데이터 인식 모델의 인식 결과를 향상시키거나, 인식 결과의 제공을 위한 자원 또는 시간을 절약하기 위하여, 전처리부(520-2) 및 인식 데이터 선택부(520-3)를 더 포함할 수도 있다.
전처리부(520-2)는 사용자의 감정 또는 사용자의 감정을 야기한 어플리케이션 정보 판단을 위한 인식에 이용하기 위하여 데이터 획득부(520-1)에서 획득된 데이터를 전처리할 수 있다.
전처리부(520-2)는 인식 결과 제공부(520-4)가 사용자의 감정 또는 사용자의 감정을 야기한 어플리케이션 정보 판단을 위한 데이터의 이용이 용이하도록, 획득된 데이터를 기 정의된 포맷으로 가공할 수 있다.
인식 데이터 선택부(520-3)는 전처리된 데이터 중에서 어플리케이션 또는 데이터의 중요도 및 보안 파라미터 판단에 필요한 인식 데이터를 선택할 수 있다. 선택된 인식 데이터는 인식 결과 제공부(520-4)에게 제공될 수 있다. 인식 데이터 선택부(520-3)는 기 설정된 선별 기준에 따라, 전처리된 데이터 중에서 어플리케이션 또는 데이터의 중요도 및 보안 파라미터 판단에 필요한 인식 데이터를 선별할 수 있다. 또한, 인식 데이터 선택부(520-3)는 전술한 모델 학습부(510-4)에 의한 학습에 의해 기 설정된 선별 기준에 따라 데이터를 선택할 수도 있다.
모델 갱신부(520-5)는 인식 결과 제공부(520-4)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 데이터 인식 모델이 갱신되도록 제어할 수 있다. 예를 들어, 모델 갱신부(520-5)는 인식 결과 제공부(520-4)에 의해 제공되는 인식 결과를 모델 학습부(510-4)에게 제공함으로써, 모델 학습부(510-4)가 데이터 인식 모델을 갱신하도록 제어할 수 있다.
전술한, 데이터 학습부(510) 내의 데이터 획득부(510-1), 전처리부(510-2), 학습 데이터 선택부(510-3), 모델 학습부(510-4), 모델 평가부(510-5) 및 데이터 인식부(520) 내의 데이터 획득부(520-1), 전처리부(520-2), 인식 데이터 선택부(520-3), 인식 결과 제공부(520-4), 모델 갱신부(520-5) 중 적어도 하나는, 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(510-1), 전처리부(510-2), 학습 데이터 선택부(510-3), 모델 학습부(510-4), 모델 평가부(510-5), 데이터 획득부(520-1), 전처리부(520-2), 인식 데이터 선택부(520-3), 인식 결과 제공부(520-4) 및 모델 갱신부(520-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(510-1), 전처리부(510-2), 학습 데이터 선택부(510-3), 모델 학습부(510-4), 모델 평가부(510-5), 데이터 획득부(520-1), 전처리부(520-2), 인식 데이터 선택부(520-3), 인식 결과 제공부(520-4) 및 모델 갱신부(520-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(510-1), 전처리부(510-2), 학습 데이터 선택부(510-3), 모델 학습부(510-4), 모델 평가부(510-5), 데이터 획득부(520-1), 전처리부(520-2), 인식 데이터 선택부(520-3), 인식 결과 제공부(520-4) 및 모델 갱신부(520-5) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(510-1), 전처리부(510-2), 학습 데이터 선택부(510-3), 모델 학습부(510-4), 모델 평가부(510-5), 데이터 획득부(520-1), 전처리부(520-2), 인식 데이터 선택부(520-3), 인식 결과 제공부(520-4) 및 모델 갱신부(520-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(510-1), 전처리부(510-2), 학습 데이터 선택부(510-3), 모델 학습부(510-4), 모델 평가부(510-5), 데이터 획득부(520-1), 전처리부(520-2), 인식 데이터 선택부(520-3), 인식 결과 제공부(520-4) 및 모델 갱신부(520-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 어플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 어플리케이션에 의해 제공될 수 있다.
도 7은 본 개시의 일 실시예에 따른 전자 장치의 제어 방법을 설명하는 흐름도이다.
기 설정된 이벤트가 감지되면, 전자 장치(100)는 사용자를 촬영하여 사용자 이미지를 획득할 수 있다(S710). 이때, 기 설정된 이벤트란 홍채 인식, 지문 인식, 얼굴 인식, PIN 입력, 패턴 입력 등을 통한 잠금 해제 이벤트일 수 있다. 또는 기 설정된 이벤트는 사용자가 전자 장치(100)를 사용하는 이벤트일 수 있다.
전자 장치(100)는 촬영된 사용자 이미지로부터 사용자의 얼굴을 포함하는 얼굴 이미지를 획득하여 저장할 수 있다(S720). 구체적으로, 전자 장치(100)는 사용자 이미지에 사용자 얼굴이 포함되어 있는지를 판단하고, 사용자 얼굴이 포함된 경우, 사용자 이미지에서 사용자 얼굴 이미지를 획득할 수 있다. 다만, 상술한 바와 같이, 사용자 이미지에 사용자 얼굴 이미지가 포함되어 있을 확률이 높은 경우(홍채 인식, 얼굴 인식을 통한 잠금 해제 등)에는 사용자 이미지를 얼굴 이미지로 획득하여 저장할 수 있다.
전자 장치(100)는 얼굴 이미지를 확인하기 위한 사용자 입력이 수신되면, 저장된 얼굴 이미지를 시간 및 장소 중 적어도 하나를 기준으로 제공할 수 있다(S730). 다만, 상술한 바와 같이, 전자 장치(100)는 시간 또는 장소 중 어느 하나를 기준으로 얼굴 이미지를 제공할 수 있을 뿐만 아니라, 사용자의 감정 상태, 사용자가 사용하는 어플리케이션 정보 등 다양한 기준을 바탕으로 획득된 얼굴 이미지를 제공할 수 있다.
상기에서 설명된 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기의 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 개시는 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 개시는 상기의 실시 예에 한정되는 것은 아니며, 본 개시가 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 전자 장치 110: 메모리
120: 카메라 130: 디스플레이
140: 프로세서

Claims (16)

  1. 전자 장치의 제어 방법에 있어서,
    기 설정된 이벤트가 감지되면, 사용자를 촬영하여 사용자 이미지를 획득하는 단계;
    상기 촬영된 사용자 이미지로부터 상기 사용자의 얼굴을 포함하는 얼굴 이미지를 획득하는 단계;
    상기 획득된 얼굴 이미지를 분석하여 메모리에 저장된 복수의 샘플 얼굴 이미지 중 상기 획득된 얼굴 이미지와 유사한 샘플 얼굴 이미지를 식별하는 단계;
    상기 식별된 샘플 얼굴 이미지에 매칭된 어플리케이션을 식별하는 단계;
    상기 식별된 어플리케이션에 매칭된 감정을 상기 획득된 얼굴 이미지에 대응되는 감정 정보로 식별하는 단계;
    상기 획득된 얼굴 이미지를 확인하기 위한 사용자 입력이 수신되면, 상기 획득된 얼굴 이미지 및 상기 획득된 얼굴 이미지에 대응되는 감정 정보를 상기 식별된 어플리케이션을 기준으로 제공하는 단계; 를 포함하는 제어 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 제어 방법은,
    상기 사용자 이미지가 촬영되는 시간과 관련된 데이터가 존재하는 경우, 상기 촬영된 사용자 이미지와 상기 데이터를 매칭하여 저장하는 단계; 를 더 포함하는 제어 방법.
  5. 제1항에 있어서,
    상기 제어 방법은,
    상기 촬영된 사용자 이미지에 대응되는 위치 정보를 상기 사용자 이미지와 매칭하여 저장하는 단계; 를 포함하는 제어 방법.
  6. 제1항에 있어서,
    상기 제공하는 단계는,
    상기 획득된 얼굴 이미지가 복수개인 경우, 상기 복수개의 얼굴 이미지를 시간 및 장소 중 적어도 하나를 기준으로 파노라마 형태로 제공하는 단계; 를 더 포함하는 제어 방법.
  7. 제1항에 있어서,
    상기 기 설정된 이벤트는,
    상기 전자 장치의 잠금 해제 이벤트, 문자 수신 이벤트, 전화 수신 이벤트, 어플리케이션 실행 이벤트 및 컨텐츠 시청 이벤트 중 적어도 하나인 제어 방법.
  8. 제7항에 있어서,
    상기 잠금 해제 이벤트는 홍채 인식, 안면 인식, 지문 인식 및 패턴 인식 중 적어도 하나를 포함하는 제어 방법.
  9. 전자 장치에 있어서,
    카메라;
    디스플레이;
    복수의 샘플 얼굴 이미지, 상기 복수의 샘플 얼굴 이미지 각각에 매칭된 어플리케이션 및 상기 어플리케이션 각각에 매칭된 감정에 대한 정보가 저장된 메모리; 및
    기 설정된 이벤트가 감지되면, 상기 카메라를 제어하여 사용자를 촬영하여 사용자 이미지를 획득하고, 상기 촬영된 사용자 이미지로부터 상기 사용자의 얼굴을 포함하는 얼굴 이미지를 획득하고, 상기 획득된 얼굴 이미지를 분석하여 상기 메모리에 저장된 복수의 샘플 얼굴 이미지 중 상기 획득된 얼굴 이미지와 유사한 샘플 얼굴 이미지를 식별하고, 상기 메모리에 저장된 정보에 기초하여 상기 식별된 샘플 얼굴 이미지에 매칭된 어플리케이션을 식별하고, 상기 식별된 어플리케이션에 매칭된 감정을 상기 획득된 얼굴 이미지에 대응되는 감정 정보로 식별하고, 상기 획득된 얼굴 이미지를 확인하기 위한 사용자 입력이 수신되면, 상기 획득된 얼굴 이미지 및 상기 획득된 얼굴 이미지에 대응되는 감정 정보를 상기 식별된 어플리케이션을 기준으로 제공하도록 상기 디스플레이를 제어하는 프로세서; 를 포함하는 전자 장치.
  10. 삭제
  11. 삭제
  12. 제9항에 있어서,
    상기 프로세서는,
    상기 사용자 이미지가 촬영되는 시간과 관련된 데이터가 존재하는 경우, 상기 촬영된 사용자 이미지와 상기 데이터를 매칭하여 상기 메모리에 저장하는 전자 장치.
  13. 제9항에 있어서,
    상기 프로세서는,
    상기 촬영된 사용자 이미지에 대응되는 위치 정보를 상기 사용자 이미지와 매칭하여 상기 메모리에 저장하는 전자 장치.
  14. 제9항에 있어서,
    상기 프로세서는,
    상기 획득된 얼굴 이미지가 복수개인 경우, 상기 복수개의 얼굴 이미지를 시간 및 장소 중 적어도 하나를 기준으로 파노라마 형태로 제공하기 위해 상기 디스플레이를 제어하는 전자 장치.
  15. 제9항에 있어서,
    상기 기 설정된 이벤트는,
    상기 전자 장치의 잠금 해제 이벤트, 문자 수신 이벤트, 전화 수신 이벤트, 어플리케이션 실행 이벤트 및 컨텐츠 시청 이벤트 중 적어도 하나인 전자 장치.
  16. 제15항에 있어서,
    상기 잠금 해제 이벤트는 홍채 인식, 안면 인식, 지문 인식 및 패턴 인식 중 적어도 하나를 포함하는 전자 장치.
KR1020180011864A 2018-01-31 2018-01-31 전자 장치 및 이의 제어 방법 KR102476619B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180011864A KR102476619B1 (ko) 2018-01-31 2018-01-31 전자 장치 및 이의 제어 방법
PCT/KR2019/000799 WO2019151689A1 (ko) 2018-01-31 2019-01-18 전자 장치 및 이의 제어 방법
US16/768,989 US11521424B2 (en) 2018-01-31 2019-01-18 Electronic device and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180011864A KR102476619B1 (ko) 2018-01-31 2018-01-31 전자 장치 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20190092751A KR20190092751A (ko) 2019-08-08
KR102476619B1 true KR102476619B1 (ko) 2022-12-12

Family

ID=67479028

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180011864A KR102476619B1 (ko) 2018-01-31 2018-01-31 전자 장치 및 이의 제어 방법

Country Status (3)

Country Link
US (1) US11521424B2 (ko)
KR (1) KR102476619B1 (ko)
WO (1) WO2019151689A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI714318B (zh) * 2019-10-25 2020-12-21 緯創資通股份有限公司 人臉辨識方法及裝置
KR20210091966A (ko) * 2020-01-15 2021-07-23 연세대학교 산학협력단 얼굴 및 스트레스 인식 장치 및 방법
KR102456155B1 (ko) * 2021-12-06 2022-11-03 주식회사 채움숲 심리 상태를 바탕으로 휴양 정보를 제공하는 전자 장치의 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101706371B1 (ko) * 2015-10-08 2017-02-28 이영신 라이프로그 서비스를 수행하는 이동 단말기 및 서버

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703790B1 (ko) * 2005-08-16 2007-04-06 삼성전자주식회사 이벤트 발생시 사진을 촬영하는 방법 및 장치
KR20090001848A (ko) 2007-05-28 2009-01-09 에스케이 텔레콤주식회사 얼굴표정 감시 방법 및 얼굴표정 감시 시스템
KR101595359B1 (ko) * 2009-03-17 2016-02-18 엘지전자 주식회사 이동단말기 및 그의 사진 전송방법
US8340727B2 (en) 2010-01-26 2012-12-25 Melzer Roy S Method and system of creating a video sequence
JP2011223369A (ja) 2010-04-12 2011-11-04 Kim Hyon-Su 認知症患者用会話システム
KR101709497B1 (ko) * 2010-07-29 2017-02-23 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR20120107033A (ko) * 2011-03-18 2012-09-28 신기철 스마트폰을 이용한 얼굴 이미지의 감정상태 검색방법 및 그 시스템
US9323912B2 (en) * 2012-02-28 2016-04-26 Verizon Patent And Licensing Inc. Method and system for multi-factor biometric authentication
JP6244643B2 (ja) * 2013-04-15 2017-12-13 オムロン株式会社 表情推定装置、制御方法、制御プログラム、および記録媒体
JP6467965B2 (ja) * 2015-02-13 2019-02-13 オムロン株式会社 感情推定装置及び感情推定方法
KR102409903B1 (ko) 2015-12-09 2022-06-16 삼성전자주식회사 사용자 정보를 제공하는 전자 장치 및 방법
KR101754093B1 (ko) * 2016-09-01 2017-07-05 성기봉 기록이 자동으로 분류되어 저장되는 개인기록 관리 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101706371B1 (ko) * 2015-10-08 2017-02-28 이영신 라이프로그 서비스를 수행하는 이동 단말기 및 서버

Also Published As

Publication number Publication date
US11521424B2 (en) 2022-12-06
WO2019151689A1 (ko) 2019-08-08
KR20190092751A (ko) 2019-08-08
US20210224522A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
US20200412975A1 (en) Content capture with audio input feedback
US11561621B2 (en) Multi media computing or entertainment system for responding to user presence and activity
US10631045B2 (en) Method and apparatus for filtering video
US11482000B2 (en) Image processing apparatus and control method thereof
US10275672B2 (en) Method and apparatus for authenticating liveness face, and computer program product thereof
KR102643027B1 (ko) 전자 장치, 그의 제어 방법
US10223838B2 (en) Method and system of mobile-device control with a plurality of fixed-gradient focused digital cameras
US20170185276A1 (en) Method for electronic device to control object and electronic device
US11126140B2 (en) Electronic device, external device capable of being combined with the electronic device, and a display method thereof
KR102414602B1 (ko) 데이터 인식 모델 구축 장치 및 이의 데이터 인식 모델 구축 방법과, 데이터 인식 장치 및 이의 데이터 인식 방법
CN113015984A (zh) 卷积神经网络中的错误校正
CN111240482B (zh) 一种特效展示方法及装置
US11165728B2 (en) Electronic device and method for delivering message by to recipient based on emotion of sender
KR102476619B1 (ko) 전자 장치 및 이의 제어 방법
US20200412864A1 (en) Modular camera interface
KR20240032779A (ko) 전자 장치, 그의 제어 방법
KR102620967B1 (ko) 전자 장치 및 그의 자세 교정 방법
CN105468249B (zh) 智能互动系统及其控制方法
JP4945617B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
WO2022132342A1 (en) Visual tag emerging pattern detection
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
CN110532869A (zh) 表情识别方法、装置及计算机可读存储介质
Marasović et al. User-dependent gesture recognition on Android handheld devices
JP6857537B2 (ja) 情報処理装置
Jayanthi Method for Recognizing Hand Gestures in Real-Time Across Multiple Sensors Using Machine Learning

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant