KR20140125078A - 전자 장치 및 전자 장치에서 잠금 해제 방법 - Google Patents

전자 장치 및 전자 장치에서 잠금 해제 방법 Download PDF

Info

Publication number
KR20140125078A
KR20140125078A KR1020130042745A KR20130042745A KR20140125078A KR 20140125078 A KR20140125078 A KR 20140125078A KR 1020130042745 A KR1020130042745 A KR 1020130042745A KR 20130042745 A KR20130042745 A KR 20130042745A KR 20140125078 A KR20140125078 A KR 20140125078A
Authority
KR
South Korea
Prior art keywords
electronic device
face
function
unlocking
lock screen
Prior art date
Application number
KR1020130042745A
Other languages
English (en)
Other versions
KR102080183B1 (ko
Inventor
오지웅
최규철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130042745A priority Critical patent/KR102080183B1/ko
Priority to US14/209,092 priority patent/US9870086B2/en
Publication of KR20140125078A publication Critical patent/KR20140125078A/ko
Application granted granted Critical
Publication of KR102080183B1 publication Critical patent/KR102080183B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/66—Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
    • H04M1/667—Preventing unauthorised calls from a telephone set
    • H04M1/67—Preventing unauthorised calls from a telephone set by electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/257—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition electronically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Abstract

본 발명의 다양한 실시 예들 중 일실시 예에 따르면, 전자 장치는 잠금 화면 상에 적어도 하나 이상의 기능 아이콘들을 표시하는 표시부와, 적어도 하나 이상의 카메라와, 잠금 해제 요청에 따라 상기 적어도 하나 이상의 카메라를 이용하여 얼굴을 인식하고, 상기 적어도 하나 이상의 기능 아이콘들 중 실행할 기능 아이콘을 선택하여 얼굴 인식에 따라 잠금 해제를 수행하고, 잠금 해제 수행과 동시에 상기 선택한 기능 아이콘에 대응된 기능을 수행하도록 제어하는 제어부를 포함하며, 이 외에도 다양한 실시 예들이 가능하다.

Description

전자 장치 및 전자 장치에서 잠금 해제 방법{ELECTRONIC DEVICE AND METHOD FOR UNLOCKING IN THE ELECTRONIC DEVICE}
본 발명은 전자 장치 및 전자 장치에서 잠금 해제 방법에 관한 것이다.
최근 들어, 통신 기술의 급속한 발전으로 인해, 전자 장치에서의 기능이 점차 확대되고 있으며, 이에 맞추어 보다 다양한 사용자 인터페이스(User Interface: UI) 및 이를 이용한 다양한 기능이 제공되고 있다.
이러한 전자 장치는 대기 상태에서 불필요한 입력 오류를 제한하거나 다른 사용자에 의한 사용을 제한하기 위해 여러 가지 방법의 잠금 기능을 구비하고 있다. 일반적으로 전자 장치는 사용자에 의해 잠금 기능에 대한 활성화가 선택되어야 잠금 기능을 수행한다. 사용자는 예컨대, 미리 정해진 패턴, 비밀번호 등의 암호를 이용하여 다른 사람이 자신의 전자 장치를 이용하지 못하도록 잠금 기능을 설정해놓을 수 있다.
이와 같이 잠금 기능이 설정된 경우, 전자 장치는 예를 들면, 사용자로부터 일정 시간 동안 어떠한 입력도 없는 경우 또는 사용자가 전자 장치의 특정 기능을 이용하다가도 일정 시간 동안 입력을 하지 않는 경우 등과 같이 잠금 조건이 되면 잠금 기능을 활성화하여 잠금 모드로 진입하고, 잠금 모드에서 전자 장치에 잠금 화면을 표시하고 각종 기능을 비활성화되도록 한다.
그런데 전자 장치는 잠금 모드에서는 각종 기능 또는 어플리케이션들을 선택할 수 없도록 하고 있다. 사용자는 전자 장치의 기능 또는 어플리케이션을 실행시키려면 잠금 모드를 해제하고 나서 기능 또는 어플리케이션을 선택할 수 밖에 없었다. 예를 들면, 전자 장치는 잠금 모드가 설정된 상태에서 원하는 기능 또는 어플리케이션을 실행하려면, 잠금 모드를 해제한 후, 각종 기능 또는 어플리케이션들을 표시하고, 사용자로부터 원하는 기능 또는 어플리케이션을 선택 받고, 선택 받은 기능 또는 어플리케이션을 실행해야 하므로 시간이 오래 걸리고 번거로운 문제점이 있었다.
따라서 본 발명의 실시 예들에 따른 목적은 사용자가 잠금 모드 해제 전에 동시에 빠르게 원하는 기능 또는 어플리케이션의 실행을 요청할 수 있고, 잠금 모드가 해제됨과 동시에 사용자에 의해 요청된 기능 또는 어플리케이션이 실행되도록 하는 전자 장치 및 전자 장치에서 잠금 해제 방법을 제공하고자 한다.
또한 본 발명의 실시 예들에 따른 목적은 잠금 해제 시 얼굴 인식을 통한 잠금을 해제와 터치 입력 또는 시선 인식을 통한 기능 또는 어플리케이션 실행을 동시에 수행함으로써 보다 빠르게 잠금 해제와 기능 또는 어플리케이션 실행이 이루어지도록 하는 전자 장치 및 전자 장치에서 잠금 해제 방법을 제공하고자 한다.
상기한 바를 달성하기 위한 본 발명의 실시 예들에 따르면 전자 장치에 있어서, 잠금 화면 상에 적어도 하나 이상의 기능 아이콘들을 표시하는 표시부와, 적어도 하나 이상의 카메라와, 잠금 해제 요청에 따라 상기 적어도 하나 이상의 카메라를 이용하여 얼굴을 인식하고, 상기 적어도 하나 이상의 기능 아이콘들 중 실행할 기능 아이콘을 선택하여 얼굴 인식에 따라 잠금 해제를 수행하고, 잠금 해제 수행과 동시에 상기 선택한 기능 아이콘에 대응된 기능을 수행하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.
또한 본 발명의 실시 예들에 따르면, 전자 장치에서 잠금 해제 방법 있어서, 잠금 화면 상에 적어도 하나 이상의 기능 아이콘들을 표시하는 동작과, 잠금 해제 요청에 따라 상기 적어도 하나 이상의 카메라를 이용하여 얼굴을 인식하는 동작과, 상기 적어도 하나 이상의 기능 아이콘들 중 실행할 기능 아이콘을 선택하는 동작과, 상기 얼굴 인식에 따라 잠금 해제를 수행하고, 잠금 해제 수행과 동시에 상기 선택한 기능 아이콘에 대응된 기능을 수행하는 동작을 포함하는 것을 특징으로 한다.
또한 본 발명의 실시 예들에 따르면, 잠금 해제 프로그램을 저장하는 저장매체에 있어서, 상기 프로그램은 전자 장치에서, 잠금 화면 상에 적어도 하나 이상의 기능 아이콘들을 표시하는 동작과, 잠금 해제 요청에 따라 상기 적어도 하나 이상의 카메라를 이용하여 얼굴을 인식하는 동작과, 상기 적어도 하나 이상의 기능 아이콘들 중 실행할 기능 아이콘을 선택하는 동작과, 상기 얼굴 인식에 따라 잠금 해제를 수행하고, 잠금 해제 수행과 동시에 상기 선택한 기능 아이콘에 대응된 기능을 수행하는 동작을 수행한다.
본 발명의 다양한 실시 예들에 따르면, 사용자가 전자 장치에서 잠금 모드 해제 전에 동시에 빠르게 원하는 기능 또는 어플리케이션의 실행을 요청할 수 있고, 잠금 모드가 해제됨과 동시에 사용자에 의해 요청된 기능 또는 어플리케이션이 실행되도록 할 수 있다.
또한 본 발명의 다양한 실시 예들에 따르면 전자 장치에서 잠금 해제 시 얼굴 인식을 통한 잠금을 해제와 터치 입력 또는 시선 인식을 통한 기능 또는 어플리케이션 실행을 동시에 수행함으로써 보다 빠르게 잠금 해제와 기능 또는 어플리케이션 실행이 이루어지도록 할 수 있다.
도 1은 본 발명의 실시 예에 따른 전자 장치의 블록 구성도
도 2는 본 발명의 제1 실시 예에 따른 전자 장치에서 잠금 해제 동작에 대한 흐름도
도 3은 본 발명의 제1 실시 예에 따른 전자 장치에서 잠금 해제 동작 시 화면 일예도
도 4는 본 발명의 제2 실시 예에 따른 전자 장치에서 잠금 해제 동작에 대한 흐름도
도 5는 본 발명의 제2 실시 예에 따른 전자 장치에서 잠금 해제 동작 시 화면 일예도
도 6은 본 발명의 제3 실시 예에 따른 전자 장치에서 잠금 해제 동작에 대한 흐름도
도 7은 본 발명의 제3 실시 예에 따른 전자 장치에서 잠금 해제 동작 시 화면 일예도
이하 본 발명에 따른 바람직한 실시 예들을 첨부한 도면의 참조와 함께 상세히 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한, 본 발명의 실시 예들을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
본 발명의 실시 예들에 따르면, 잠금 모드가 설정된 상태에서 잠금 해제 시 얼굴 인식을 통한 잠금을 해제와 터치 입력 또는 시선 인식을 통한 기능 또는 어플리케이션 실행을 동시에 수행함으로써 보다 빠르게 잠금 해제와 기능 또는 어플리케이션 실행이 이루어지도록 할 수 있다.
이러한 본 발명의 실시 예들은 잠금 기능 수행이 가능하고 잠금 화면을 표시하는 전자 장치라면 어떠한 장치든지 적용될 수 있다. 예를 들면, 휴대폰, 스마트 폰, 태블릿 PC 등의 전자 장치가 될 수도 있고, PC, 모니터 등의 고정 단말도 가능하다.
본 발명의 실시 예들에서는 전자 장치의 경우를 예를 들어 설명한다.
도 1은 본 발명의 실시 예에 따른 전자 장치의 블록 구성도이다. 도 1을 참조하면, 전자 장치(100)는 이동통신 모듈(120), 서브통신 모듈(130) 및 커넥터(165)를 이용하여 외부장치(도시되지 아니함)와 연결될 수 있다. ?외부장치?는 다른 장치(도시되지 아니함), 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC(도시되지 아니함) 및 서버(도시되지 아니함)를 포함한다.
도 1을 참조하면, 장치(100)는 터치스크린(190) 및 터치스크린 컨트롤러(195)를 포함한다. 또한, 장치(100)는 제어부(110), 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175) 및 전원공급부(180)를 포함한다. 서브통신 모듈(130)은 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 및 동영상재생 모듈(143) 중 적어도 하나를 포함한다. 카메라 모듈(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함하고, 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 및 키패드(166) 중 적어도 하나를 포함한다.
제어부(110)는 CPU(111), 장치(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM, 112) 및 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 장치(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부버스(bus)를 통해 상호 연결될 수 있다.
제어부(110)는 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원공급부(180), 터치스크린(190) 및 터치스크린 컨트롤러(195)를 제어할 수 있다. 즉, 제어부(110)는 전자 장치(100)에 대한 전반적인 제어 기능을 수행하며, 상기 각 구성부들 간 신호 흐름을 제어한다.
특히 제어부(110)는 본 발명의 실시 예에 따라 잠금 모드가 설정된 상태에서 잠금 화면에 미리 정해진 기능 또는 미리 정해진 어플리케이션에 해당하는 적어도 하나의 아이콘들을 표시하도록 제어한다. 또한 제어부(110)는 잠금 모드에서 사용자에 의한 미리 정해진 잠금 해제 요청 버튼 누름 등과 같은 기타 입력 방식에 의한 잠금 해제 요청이 있으면 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 이용하여 얼굴을 인식하여 잠금 해제 여부를 판단하고, 시선 인식 또는 사용자 제스쳐 입력에 따라 적어도 하나의 아이콘들 중 잠금 해제와 동시에 실행할 기능 또는 어플리케이션 아이콘을 선택할 수 있다. 제어부(110)는 얼굴 인식이 성공하면 잠금을 해제함과 동시에 선택된 아이콘에 해당하는 기능 또는 어플리케이션을 실행하도록 제어할 수 있다.
이동통신 모듈(120)은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 장치(100)가 외부 장치와 연결되도록 한다. 이동통신 모듈(120)은 장치(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.
서브통신 모듈(130)은 무선랜 모듈(131)과 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리통신 모듈(132)을 모두 포함할 수 있다.
무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 AP(access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈(132)은 제어부(110)의 제어에 따라 장치(100)와 화상형성장치(도시되지 아니함) 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association) 등이 포함될 수 있다.
전자 장치(100)는 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 장치(100)는 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132)들의 조합을 포함할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 또는 동영상재생 모듈(143)을 포함할 수 있다. 방송통신 모듈(141)은 제어부(110)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 오디오재생 모듈(142)는 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 디지털 오디오 파일을 재생할 수 있다.
멀티미디어 모듈(140)은 방송통신 모듈(141)을 제외하고 오디오재생 모듈(142)과 동영상재생 모듈(143)을 포함할 수 있다. 또한, 멀티미디어 모듈(140)의 오디오재생 모듈(142) 또는 동영상재생 모듈(143)은 제어부(100)에 포함될 수 있다.
카메라 모듈(150)은 제어부(110)의 제어에 따라 정지이미지 또는 동영상을 촬영하는 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함할 수 있다. 또한, 제1 카메라(151) 또는 제2 카메라(152)는 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래시(도시되지 아니함))를 포함할 수 있다. 제1 카메라(151)는 상기 장치(100) 전면에 배치되고, 제2 카메라(152)는 상기 장치(100)의 후면에 배치될 수 있다. 달리 취한 방식으로, 제1 카메라(151)와 제2 카메라(152)는 인접(예, 제1 카메라(151)와 제2 카메라(152)의 간격이 1 cm 보다 크고, 8 cm 보다는 작은)하게 배치되어 3차원 정지이미지 또는 3차원 동영상을 촬영할 수 있다.
GPS 모듈(155)은 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 장치(100)까지 전파도달시간(Time of Arrival)을 이용하여 장치(100)의 위치를 산출할 수 있다.
입/출력 모듈(160)은 복수의 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 및 키패드(166) 중 적어도 하나를 포함할 수 있다.
버튼(161)은 상기 장치(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 전원버튼(도시되지 아니함), 잠금 버튼(도시되지 아니함), 볼륨버튼(도시되지 아니함), 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼(161) 중 적어도 하나를 포함할 수 있다.
마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다.
스피커(163)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140) 또는 카메라 모듈(150)의 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 장치(100) 외부로 출력할 수 있다. 스피커(163)는 장치(100)가 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 상기 단말(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.
진동모터(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 장치(100)는 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터(164)가 동작한다. 상기 장치(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동모터(164)는 터치스크린(190) 상을 터치하는 사용자의 터치 동작 및 터치스크린(190) 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.
커넥터(165)는 장치(100)와 외부장치(도시되지 아니함) 또는 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부(110)의 제어에 따라 커넥터(165)에 연결된 유선 케이블을 통해 장치(100)의 저장부(175)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)에서부터 데이터를 수신할 수 있다. 커넥터(165)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)에서부터 전원이 입력되거나 배터리(도시되지 아니함)를 충전할 수 있다.
키패드(166)는 장치(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 장치(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치스크린(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 전자 장치(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 장치(100)의 성능 또는 구조에 따라 제외될 수 있다.
센서 모듈(170)은 장치(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서모듈(170)은 사용자의 장치(100)에 대한 접근여부를 검출하는 근접센서, 장치(100) 주변의 빛의 양을 검출하는 조도센서(도시되지 아니함), 또는 장치(100)의 동작(예, 장치(100)의 회전, 장치(100)에 가해지는 가속도 또는 진동)을 검출하는 모션센서(도시되지 아니함)를 포함할 수 있다. 적어도 하나의 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다. 센서모듈(170)의 센서는 장치(100)의 성능에 따라 추가되거나 삭제될 수 있다.
저장부(175)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 터치스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 전자 장치(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.
특히, 저장부(175)는 본 발명의 실시 예에 따라 전자 장치(100)에서 제공되는 사용자 인터페이스, 전자 장치(100) 이용에 따른 여러 설정 정보 및 잠금 모드 설정에 관한 정보 등을 포함할 수 있다. 이러한 잠금 모드 설정에 관한 정보는, 적어도 하나 이상의 잠금 방식, 적어도 하나 이상의 잠금 방식 각각에 따른 복수의 잠금 해제 화면들, 잠금 해제 정보 등을 포함한다.
?저장부?라는 용어는 저장부(175), 제어부(110)내 롬(112), 램(113) 또는 장치(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
전원 공급부(180)는 제어부(110)의 제어에 따라 장치(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 장치(100)에 전원을 공급한다. 또한, 전원공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 장치(100)로 공급할 수 있다.
터치스크린(190)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 제공할 수 있다. 터치스크린(190)은 유저 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다. 터치스크린(190)은 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치 가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치를 입력 받을 수 있다. 또한, 터치스크린(190)은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 터치스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다.
특히 본 발명의 실시 예에 따라 터치 스크린(190)은 제어부(110)의 제어 하에 잠금 화면과 잠금 화면상에 미리 정해진 기능 또는 어플리케이션에 해당하는 적어도 하나 이상의 아이콘들을 표시할 수 있다. 이때 터치 스크린(190)은 잠금 모드에 따라 적어도 하나 이상의 다른 잠금 화면을 표시할 수 있다. 터치 스크린(190)은 제어부(110)의 제어 하에 잠금 화면이 표시된 상태에서 사용자에 의해 잠금 해제에 해당하는 입력이 있으면, 잠금 해제 입력 이벤트를 제어부(110)로 전달할 수 있다. 이때 사용자에 의한 잠금 해제 입력은 미리 정해진 사용자 제스쳐 입력일 수 있다. 사용자 제스쳐 입력은 패턴을 입력하기 위한 터치 앤 드래그(touch and drag) 입력, 미리 정해진 비밀번호 값을 입력하기 위한 터치 (touch)입력 등을 포함할 수 있다.
본 발명에서 터치는 터치스크린(190)과 사용자의 신체 또는 터치 가능한 입력 수단과의 접촉에 한정되지 않고, 비접촉(예, 터치스크린(190)과 사용자의 신체 또는 터치 가능한 입력 수단과 검출 가능한 간격이 1 mm 이하)을 포함할 수 있다. 터치스크린(190)에서 검출 가능한 간격은 전자 장치(100)의 성능 또는 구조에 따라 변경될 수 있다. 터치스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식, 전자기유도(EMR:Electronic Magnetic Resonance) 방식(이하 EMR 방식이라 칭함) 또는 초음파(acoustic wave) 등 다양한 방식으로 구현될 수 있으며, 하나 이상의 방식이 조합되어 구현될 수도 있다.
터치스크린 컨트롤러(195)는 터치스크린(190)에서부터 수신된 아날로그 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치스크린 컨트롤러(195)로부터 수신된 디지털 신호를 이용하여 터치스크린(190)을 제어할 수 있다. 예를 들어, 제어부(110)는 터치에 응답하여 터치스크린(190)에 표시된 단축 아이콘(도시되지 아니함)이 선택되게 하거나 또는 단축 아이콘(도시되지 아니함)을 실행할 수 있다. 또한, 터치스크린 컨트롤러(195)는 제어부(110)에 포함될 수도 있다.
또한, 제어부(110)는 상기 터치 스크린(190)뿐만 아니라 카메라 모듈(150), 입/출력 모듈(160), 및 센서모듈(170) 등을 통해 수신되는 다양한 사용자 입력을 검출할 수 있다. 상기 사용자 입력은 상기 터치뿐만 아니라, 사용자의 제스쳐, 음성, 눈동자 움직임, 생체신호 등 상기 장치(100) 내로 입력되는 다양한 형태의 정보를 포함할 수 있다. 제어부(110)는 상기 검출된 사용자 입력에 대응하는 미리 정해진 동작 또는 기능이 장치(100) 내에서 수행되도록 제어할 수 있다.
이하 상기한 바와 같이 구성된 전자 장치(100)에 잠금 모드가 설정된 상태에서 본 발명의 실시 예들에 따른 잠금 해제 방법에 대해 각각 설명한다.
도 2는 본 발명의 제1 실시 예에 따른 전자 장치(100)에서 잠금 해제 동작에 대한 흐름도이고, 도 3은 본 발명의 실시 예에 따른 전자 장치(100)에서 잠금 해제 동작 시 화면 일예도이다.
도 2 및 도 3을 참조하면, 전자 장치(100)는 202 동작에서 잠금 모드일 수 있다. 전자 장치(100)는 잠금 모드에서 잠금 화면 및 적어도 하나 이상의 기능 아이콘을 표시한다. 예를 들면 전자 장치(100)는 잠금 모드에서 도 3의 (a)와 같이 잠금 화면(310)과 기능 또는 어플리케이션을 나타내는 적어도 하나 이상의 아이콘들(314-1~314-4)를 표시할 수 있다. 적어도 하나 이상의 아이콘들은 음악 재생 어플리케이션 아이콘(314-1), 전화 기능 아이콘(314-2), 카메라 기능 아이콘(314-3), 인터넷 브라우저 아이콘(314-4)를 포함할 수 있다. 상기한 아이콘들 외에 다른 기능 또는 어플리케이션에 대한 아이콘들을 포함할 수도 있다.
전자 장치(100)는 204 동작에서 잠금 해제 요청이 있는지 판단한다. 사용자는 잠금 모드에서 미리 정해진 잠금 해제 요청 버튼을 누르거나 잠금 화면상에 미리 정해진 사용자 제스쳐 입력을 수행하여 잠금 모드 해제 요청을 할 수 있다.
전자 장치(100)는 잠금 모드 해제 요청이 입력되면 206 동작에서 얼굴 영역을 추출한다. 즉, 전자 장치(100)는 제1 카메라(151) 및 제2 카메라(152) 중 어느 하나의 카메라를 이용하여 영상을 촬영하고, 촬영된 영상에서 얼굴 영역을 추출한다.
전자 장치(100)는 얼굴 영역이 추출되면 212 동작 내지 216동작의 얼굴 인식 프로세스(210)와 222 동작 내지 226동작의 시선 인식 프로세스(220)를 수행한다.
얼굴 인식 프로세스(210)에서, 전자 장치(100)는 212 동작에서 얼굴 영역의 구성요소(finger print) 정보를 추출한다. 얼굴 영역의 구성 요소는 예를 들면, 전자 장치(100)는 얼굴 영역에서 얼굴의 대칭적 구도, 생김새, 머리카락, 눈의 색상, 얼굴 근육 등 얼굴의 구성요소 정보를 추출한다.
전자 장치(100)는 214 동작에서 상기 추출된 얼굴의 구성 요소 정보와 미리 저장된 등록된 얼굴을 비교한다. 이때 등록된 얼굴은 사용자가 미리 자신의 얼굴을 촬영하여 저장해둔 얼굴 영역에 대한 얼굴의 구성요소 정보일 수 있다.
전자 장치(100)는 216 동작에서 얼굴 영역과 등록된 얼굴이 일치하는지 판단한다. 만약 얼굴 영역과 등록된 얼굴이 일치하면 전자 장치(100)는 230 동작을 수행한다.
시선 인식 프로세스(220)에서, 전자 장치(100)는 222 동작에서 상기 추출된 얼굴 영역에서 눈 영역을 추출한다. 전자 장치(100)는 224 동작에서 상기 추출된 눈 영역에서 동공 및 반사광을 분석하여 시선을 인식하고, 인식된 시선이 향한 지점을 판단한다. 이때 전자 장치(100)는 도 3의 (a)와 같이 인식된 시선을 나타내기 위한 시선 이미지(312)를 표시할 수 있다.
전자 장치(100)는 226 동작에서 상기 시선이 향한 지점에 있는 기능을 임시 저장한다. 예컨대 전자 장치(100)는 도 3의 (a)와 같이 인식된 시선이 인터넷 브라우저 아이콘(314-4)를 향하고 있는 경우 인터넷 브라우저 기능을 선택하고, 선택된 기능을 임시 저장할 수 있다. 전자 장치(100)는 인식된 시선이 향한 지점에 있는 기능을 선택하여 임시 저장한 후 230 동작을 수행한다.
전자 장치(100)는 상기한 바와 같이 얼굴 인식 프로세스(210)와 시선 인식 프로세스(220) 수행하고 나서 230 동작에서 얼굴 인식 프로세스(210) 수행 결과 얼굴이 일치함에 따른 잠금 해제를 수행함과 동시에 시선 인식 프로세스(220) 수행 결과 선택된 기능을 수행한다.
예를 들면, 전자 장치(100)는 얼굴 인식 결과 인식된 얼굴이 등록된 얼굴과 일치하였고, 시선 인식 결과 인터넷 브라우저 기능(또는 어플리케이션)이 선택되었으면 도 3의 (b)와 같이 잠금이 해제됨과 동시에 인터넷 브라우저 기능을 수행하고, 인터넷 브라우저 화면(320)을 표시한다.
한편, 상기한 본 발명의 제1 실시 예에서는 시선 인식을 통해 실행할 기능을 선택하였지만, 시선 인식이 아닌 사용자 제스쳐 입력 예컨대 터치 입력, 또는 터치 앤 드래그 입력에 따라 기능을 선택할 수도 있다.
도 4는 본 발명의 제2 실시 예에 따른 전자 장치(100)에서 잠금 해제 동작에 대한 흐름도이고, 도 5는 본 발명의 제2 실시 예에 따른 전자 장치(100)에서 잠금 해제 동작 시 화면 일예도이다.
도 4 및 도 5를 참조하면, 전자 장치(100)는 402 동작에서 잠금 모드일 수 있다. 전자 장치(100)는 잠금 모드에서 잠금 화면 및 적어도 하나 이상의 기능 아이콘을 표시한다. 예를 들면 전자 장치(100)는 잠금 모드에서 도 5의 (a)와 같이 잠금 화면(510)과 기능 또는 어플리케이션을 나타내는 적어도 하나 이상의 아이콘들(514-1~514-4)를 표시할 수 있다. 적어도 하나 이상의 아이콘들은 음악 재생 어플리케이션 아이콘(514-1), 전화 기능 아이콘(514-2), 카메라 기능 아이콘(514-3), 인터넷 브라우저 아이콘(514-4)를 포함할 수 있다. 상기한 아이콘들 외에 다른 기능 또는 어플리케이션에 대한 아이콘들을 포함할 수도 있다.
전자 장치(100)는 404 동작에서 잠금 해제 요청이 있는지 판단한다. 사용자는 잠금 모드에서 미리 정해진 잠금 해제 요청 버튼을 누르거나 잠금 화면상에 미리 정해진 사용자 제스쳐 입력 예컨대 터치 입력 또는 터치앤홀드(touch & hold) 입력을 수행하여 잠금 모드 해제 요청을 할 수 있다.
전자 장치(100)는 잠금 모드 해제 요청이 입력되면 406 동작에서 얼굴 영역을 추출한다. 즉, 전자 장치(100)는 제1 카메라(151) 및 제2 카메라(152) 중 어느 하나의 카메라를 이용하여 영상을 촬영하고, 촬영된 영상에서 얼굴 영역을 추출한다.
전자 장치(100)는 얼굴 영역이 추출되면 412 동작 내지 416동작의 얼굴 인식 프로세스(410)와 422 동작 내지 424동작의 터치 인식 프로세스(420)를 수행한다.
얼굴 인식 프로세스(410)에서, 전자 장치(100)는 412 동작에서 얼굴 영역의 구성요소(finger print) 정보를 추출한다. 얼굴 영역의 구성 요소는 예를 들면, 전자 장치(100)는 얼굴 영역에서 얼굴의 대칭적 구도, 생김새, 머리카락, 눈의 색상, 얼굴 근육 등 얼굴의 구성요소 정보를 추출한다.
전자 장치(100)는 414 동작에서 상기 추출된 얼굴의 구성 요소 정보와 미리 저장된 등록된 얼굴을 비교한다. 이때 등록된 얼굴은 사용자가 미리 자신의 얼굴을 촬영하여 저장해둔 얼굴 영역에 대한 얼굴의 구성요소 정보일 수 있다.
전자 장치(100)는 416 동작에서 얼굴 영역과 등록된 얼굴이 일치하는지 판단한다. 만약 얼굴 영역과 등록된 얼굴이 일치하면 전자 장치(100)는 430 동작을 수행한다.
터치 인식 프로세스(420)에서, 전자 장치(100)는 422 동작에서 터치 스크린(190)상에 사용자에 의한 터치를 인식한다. 이때 터치 외에도 다양한 사용자 제스쳐를 인식할 수 있다. 이때 전자 장치(100)는 도 5의 (a)와 같이 인식된 터치 지점을 나타내기 위한 터치 지점 인식 이미지(512)를 표시할 수 있다.
전자 장치(100)는 424 동작에서 상기 터치된 지점에 있는 기능을 임시 저장한다. 예컨대 전자 장치(100)는 도 5의 (a)와 같이 터치된 지점이 인터넷 브라우저 아이콘(514-4)인 경우 인터넷 브라우저 기능을 선택하고, 선택된 기능을 임시 저장할 수 있다. 전자 장치(100)는 인식된 터치 지점에 있는 기능을 선택하여 임시 저장한 후 430 동작을 수행한다.
전자 장치(100)는 상기한 바와 같이 얼굴 인식 프로세스(410)와 터치 인식 프로세스(420) 수행하고 나서 430 동작에서 얼굴 인식 프로세스(410) 수행 결과 얼굴이 일치함에 따른 잠금 해제를 수행함과 동시에 터치 인식 프로세스(420) 수행 결과 선택된 기능을 수행한다.
예를 들면, 전자 장치(100)는 얼굴 인식 결과 인식된 얼굴이 등록된 얼굴과 일치하였고, 터치 인식 결과 인터넷 브라우저 기능이 선택되었으면 도 5의 (b)와 같이 잠금이 해제됨과 동시에 인터넷 브라우저 기능을 수행하고, 인터넷 브라우저 화면(520)을 표시한다.
한편, 상기한 본 발명의 제3 실시 예에 따르면 인식된 얼굴과 등록된 얼굴이 일치하지 않는 경우 다른 잠금 해제 방식으로 잠금을 해제할 수도 있다.
도 6은 본 발명의 제3 실시 예에 따른 전자 장치에서 잠금 해제 동작에 대한 흐름도이고, 도 7은 본 발명의 제3 실시 예에 따른 전자 장치에서 잠금 해제 동작 시 화면 일예도이다.
도 6 및 도 7을 참조하면, 전자 장치(100)는 602 동작에서 잠금 모드일 수 있다. 전자 장치(100)는 잠금 모드에서 잠금 화면 및 적어도 하나 이상의 기능 아이콘을 표시한다. 예를 들면 전자 장치(100)는 잠금 모드에서 도 7의 (a)와 같이 잠금 화면(710)과 기능 또는 어플리케이션을 나타내는 적어도 하나 이상의 아이콘들(714-1, 714-4)를 표시할 수 있다. 적어도 하나 이상의 아이콘들은 음악 재생 어플리케이션 아이콘(714-1), 인터넷 브라우저 아이콘(714-4)를 포함할 수 있다. 상기한 아이콘들 외에 다른 기능 또는 어플리케이션에 대한 아이콘들을 포함할 수도 있다.
전자 장치(100)는 604 동작에서 잠금 해제 요청이 있는지 판단한다. 사용자는 잠금 모드에서 미리 정해진 잠금 해제 요청 버튼을 누르거나 잠금 화면상에 미리 정해진 사용자 제스쳐 입력 예컨대 터치 입력 또는 터치앤홀드(touch & hold) 입력을 수행하여 잠금 모드 해제 요청을 할 수 있다.
전자 장치(100)는 잠금 모드 해제 요청이 입력되면 606 동작에서 얼굴 영역을 추출한다. 즉, 전자 장치(100)는 제1 카메라(151) 및 제2 카메라(152) 중 어느 하나의 카메라를 이용하여 영상을 촬영하고, 촬영된 영상에서 얼굴 영역을 추출한다.
전자 장치(100)는 얼굴 영역이 추출되면 612 동작 내지 616동작의 얼굴 인식 프로세스(610)와 622 동작 내지 626동작의 시선 인식 프로세스(620)를 수행한다. 이때 시선 인식 프로세스 대신 터치 인식 프로세스가 수행될 수도 있다.
얼굴 인식 프로세스(610)에서, 전자 장치(100)는 612 동작에서 얼굴 영역의 구성요소(finger print) 정보를 추출한다. 얼굴 영역의 구성 요소는 예를 들면, 전자 장치(100)는 얼굴 영역에서 얼굴의 대칭적 구도, 생김새, 머리카락, 눈의 색상, 얼굴 근육 등 얼굴의 구성요소 정보를 추출한다.
전자 장치(100)는 614 동작에서 상기 추출된 얼굴의 구성 요소 정보와 미리 저장된 등록된 얼굴을 비교한다. 이때 등록된 얼굴은 사용자가 미리 자신의 얼굴을 촬영하여 저장해둔 얼굴 영역에 대한 얼굴의 구성요소 정보일 수 있다.
전자 장치(100)는 616 동작에서 얼굴 영역과 등록된 얼굴이 일치하는지 판단한다. 만약 얼굴 영역과 등록된 얼굴이 일치하면 전자 장치(100)는 630 동작을 수행한다.
한편, 시선 인식 프로세스(620)에서, 전자 장치(100)는 622 동작에서 상기 추출된 얼굴 영역에서 눈 영역을 추출한다. 전자 장치(100)는 624 동작에서 상기 추출된 눈 영역에서 동공 및 반사광을 분석하여 시선을 인식하고, 인식된 시선이 향한 지점을 판단한다. 전자 장치(100)는 626 동작에서 상기 시선이 향한 지점에 있는 기능을 임시 저장한다.
전자 장치(100)는 상기한 바와 같이 얼굴 인식 프로세스(610)와 시선 인식 프로세스(620) 수행 결과 얼굴 인식이 성공하고, 인식된 시선이 향한 지점에 있는 기능이 저장되면 640 동작에서 잠금 해제를 수행함과 동시에 시선이 향한 지점에 있는 기능을 수행한다.
그러나, 얼굴 영역과 등록된 얼굴이 일치하지 않으면, 전자 장치(100)는 도 7의 (a)와 같이 얼굴 인식 실패 이미지(712)와 얼굴을 인식할 수 없다는 메시지(716)를 표시하고, 632 동작을 수행한다.
전자 장치(100)는 632동작에서 얼굴 인식을 이용한 잠금 화면이 아닌 다른 잠금 화면을 표시한다. 예컨대 전자 장치(100)는 도 7의 (b)와 같이 얼굴 인식 잠금 화면(710)이 아닌 패턴 인식 잠금 화면(720)과 같이 다른 잠금 화면을 표시할 수 있다. 이때 패턴 인식 잠금 화면(720)에 기 선택된 기능에 대한 아이콘(714-4)이 함께 표시될 수 있다.
전자 장치(100)는 634 동작에서 다른 잠금 화면에 따른 잠금 해제가 성공하는지 판단한다. 예컨대 도 7의 (b)와 같이 패턴 인식 잠금 화면인 경우 잠금 해제를 위해 미리 정해진 패턴(722) 입력에 의한 패턴 인식이 성공하는지 판단한다.
만약 잠금 해제가 성공하면, 전자 장치(100)는 636동작에서 잠금을 해제하고, 선택된 기능을 실행한다. 이때 시선 인식 실패 등에 의해 선택된 기능이 없는 경우 잠금 해제만 수행할 수도 있다.
전술한 바와 같은 본 발명의 다양한 실시 예들에 따르면, 사용자가 전자 장치에서 잠금 모드 해제 전에 동시에 빠르게 원하는 기능 또는 어플리케이션의 실행을 요청할 수 있고, 잠금 모드가 해제됨과 동시에 사용자에 의해 요청된 기능 또는 어플리케이션이 실행되도록 할 수 있다. 또한 본 발명의 다양한 실시 예들에 따르면 전자 장치에서 잠금 해제 시 얼굴 인식을 통한 잠금을 해제와 터치 입력 또는 시선 인식을 통한 기능 또는 어플리케이션 실행을 동시에 수행함으로써 보다 빠르게 잠금 해제와 기능 또는 어플리케이션 실행이 이루어지도록 할 수 있다. 또한 본 발명의 다양한 실시 예들에 따르면 얼굴 인식이 실패할 경우 미리 정해진 다른 방식의 잠금 해제 방식으로 잠금을 해제할 수 있도록 함으로써, 사용자에게 편리함을 줄 수 있다.
본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에게 공지되어 사용 가능한 것일 수도 있다.
본 발명의 실시예들에 따른 잠금 해제 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 잠금 해제 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 전자 장치에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한, 본 발명의 실시예에 따른 전자 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 잠금 해제 방법을 수행하도록 하는 지시들을 포함하는 프로그램을 저장하기 위한 메모리와, 상기 전자 장치와 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 전자 장치의 요청 또는 자동으로 해당 프로그램을 상기 통신부를 통하여 전송되도록 제어하는 제어부를 포함할 수 있다.

Claims (11)

  1. 전자 장치에 있어서,
    잠금 화면 상에 적어도 하나 이상의 기능 아이콘들을 표시하는 표시부와,
    적어도 하나 이상의 카메라와,
    잠금 해제 요청에 따라 상기 적어도 하나 이상의 카메라를 이용하여 얼굴을 인식하고, 상기 적어도 하나 이상의 기능 아이콘들 중 실행할 기능 아이콘을 선택하여 얼굴 인식에 따라 잠금 해제를 수행하고, 잠금 해제 수행과 동시에 상기 선택한 기능 아이콘에 대응된 기능을 수행하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 전자 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 인식된 얼굴의 시선을 인식하고, 인식된 시선에 따라 상기 실행할 기능 아이콘을 선택하는 것을 특징으로 하는 전자 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    사용자에 의한 터치를 인식하고, 터치 인식에 따라 상기 실행할 기능 아이콘을 선택하는 것을 특징으로 하는 전자 장치.
  4. 제1항에 있어서,
    상기 제어부는 상기 얼굴 인식에 실패한 경우, 다른 잠금 화면을 표시하고, 다른 잠금 화면을 통해 잠금 해제를 수행하는 것을 특징으로 하는 전자 장치.
  5. 제4항에 있어서,
    상기 다른 잠금 화면은 패턴 인식 잠금 화면인 것을 특징으로 하는 전자 장치.
  6. 전자 장치에서 잠금 해제 방법 있어서,
    잠금 화면 상에 적어도 하나 이상의 기능 아이콘들을 표시하는 동작과,
    잠금 해제 요청에 따라 상기 적어도 하나 이상의 카메라를 이용하여 얼굴을 인식하는 동작과,
    상기 적어도 하나 이상의 기능 아이콘들 중 실행할 기능 아이콘을 선택하는 동작과,
    상기 얼굴 인식에 따라 잠금 해제를 수행하고, 잠금 해제 수행과 동시에 상기 선택한 기능 아이콘에 대응된 기능을 수행하는 동작을 포함하는 것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 인식된 얼굴의 시선을 인식하고, 인식된 시선에 따라 상기 실행할 기능 아이콘을 선택하는 것을 특징으로 하는 방법.
  8. 제6항에 있어서,
    사용자에 의한 터치를 인식하고, 터치 인식에 따라 상기 실행할 기능 아이콘을 선택하는 것을 특징으로 하는 방법.
  9. 제6항에 있어서,
    상기 얼굴 인식에 실패한 경우, 다른 잠금 화면을 표시하고, 다른 잠금 화면을 통해 잠금 해제를 수행하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  10. 제9항에 있어서,
    상기 다른 잠금 화면은 패턴 인식 잠금 화면인 것을 특징으로 하는 방법.
  11. 잠금 해제 프로그램을 저장하는 저장매체에 있어서,
    상기 프로그램은 전자 장치에서,
    잠금 화면 상에 적어도 하나 이상의 기능 아이콘들을 표시하는 동작과,
    잠금 해제 요청에 따라 상기 적어도 하나 이상의 카메라를 이용하여 얼굴을 인식하는 동작과,
    상기 적어도 하나 이상의 기능 아이콘들 중 실행할 기능 아이콘을 선택하는 동작과,
    상기 얼굴 인식에 따라 잠금 해제를 수행하고, 잠금 해제 수행과 동시에 상기 선택한 기능 아이콘에 대응된 기능을 수행하는 동작을 수행하는 것을 특징으로 하는 저장매체.
KR1020130042745A 2013-04-18 2013-04-18 전자 장치 및 전자 장치에서 잠금 해제 방법 KR102080183B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130042745A KR102080183B1 (ko) 2013-04-18 2013-04-18 전자 장치 및 전자 장치에서 잠금 해제 방법
US14/209,092 US9870086B2 (en) 2013-04-18 2014-03-13 Electronic device and method for unlocking in the electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130042745A KR102080183B1 (ko) 2013-04-18 2013-04-18 전자 장치 및 전자 장치에서 잠금 해제 방법

Publications (2)

Publication Number Publication Date
KR20140125078A true KR20140125078A (ko) 2014-10-28
KR102080183B1 KR102080183B1 (ko) 2020-04-14

Family

ID=51728693

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130042745A KR102080183B1 (ko) 2013-04-18 2013-04-18 전자 장치 및 전자 장치에서 잠금 해제 방법

Country Status (2)

Country Link
US (1) US9870086B2 (ko)
KR (1) KR102080183B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101660289B1 (ko) * 2015-09-14 2016-09-27 금오공과대학교 산학협력단 위젯 잠금해제 방법 및 이를 이용한 휴대용 단말기
KR101711307B1 (ko) 2015-12-31 2017-03-13 동의대학교 산학협력단 깊이정보 기반의 안면인식 휴대장치 또는 컴퓨터 기기 잠금해제시스템
KR20210003862A (ko) * 2018-06-03 2021-01-12 애플 인크. 얼굴 인식을 위한 자동 재개시

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809581B (zh) 2007-09-24 2014-12-10 苹果公司 电子设备中的嵌入式验证系统
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US10394320B2 (en) 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US10540008B2 (en) 2012-01-04 2020-01-21 Tobii Ab System for gaze interaction
US10488919B2 (en) 2012-01-04 2019-11-26 Tobii Ab System for gaze interaction
US10025381B2 (en) 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
JP6295534B2 (ja) * 2013-07-29 2018-03-20 オムロン株式会社 プログラマブル表示器、制御方法、およびプログラム
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US10043185B2 (en) 2014-05-29 2018-08-07 Apple Inc. User interface for payments
CN105681896B (zh) * 2014-11-20 2019-11-12 乐金电子(中国)研究开发中心有限公司 一种智能电视机及其解屏方法
KR102365393B1 (ko) * 2014-12-11 2022-02-21 엘지전자 주식회사 이동단말기 및 그 제어방법
CN104866816A (zh) * 2015-04-24 2015-08-26 成都腾悦科技有限公司 一种新型手机的影像、指纹开机识别方法
CN105045506B (zh) * 2015-07-28 2019-01-15 深圳市Tcl云创科技有限公司 一种移动终端的操作处理方法、系统及移动终端
KR101688168B1 (ko) * 2015-08-17 2016-12-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
EP3358443A4 (en) * 2015-09-30 2018-08-08 Huawei Technologies Co., Ltd. Method and mobile device for activating eye tracking function
EP3187977A1 (en) * 2015-12-31 2017-07-05 Tobii AB System for gaze interaction
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
WO2018018316A1 (zh) * 2016-07-24 2018-02-01 张鹏华 一种电脑锁屏时的数据采集方法和锁屏系统
WO2018018318A1 (zh) * 2016-07-24 2018-02-01 张鹏华 一种根据面部识别电脑锁屏的方法和锁屏系统
DK179978B1 (en) * 2016-09-23 2019-11-27 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
CN106534576A (zh) * 2016-12-07 2017-03-22 深圳市传奇数码有限公司 一种应用于手机的侧脸解锁方法
WO2018156912A1 (en) * 2017-02-27 2018-08-30 Tobii Ab System for gaze interaction
DK180007B1 (en) 2017-05-16 2020-01-16 Apple Inc. RECORDING AND SENDING EMOJI
US10365814B2 (en) 2017-05-16 2019-07-30 Apple Inc. Devices, methods, and graphical user interfaces for providing a home button replacement
KR20230117638A (ko) * 2017-05-16 2023-08-08 애플 인크. 향상된 사용자 상호작용들을 위한 이미지 데이터
DK179948B1 (en) 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
KR102301599B1 (ko) 2017-09-09 2021-09-10 애플 인크. 생체측정 인증의 구현
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
CN107657221B (zh) * 2017-09-12 2021-08-24 Oppo广东移动通信有限公司 一种面部信息采集方法及相关设备
CN108053561A (zh) * 2017-12-06 2018-05-18 广州小明科技有限公司 平板电脑的自动存放方法、设备、装置及系统
CN108053529A (zh) * 2017-12-14 2018-05-18 厦门施米德智能科技有限公司 人脸识别系统用于入户门的用途
CN109963028A (zh) * 2017-12-23 2019-07-02 深圳阜时科技有限公司 电子设备的解锁控制方法
DK201870374A1 (en) 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
DK201870378A1 (en) 2018-05-07 2020-01-13 Apple Inc. DISPLAYING USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
CN109635542B (zh) * 2018-11-30 2023-02-03 华为技术有限公司 一种生物识别交互方法、图形交互界面及相关装置
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11288347B2 (en) * 2019-03-07 2022-03-29 Paypal, Inc. Login from an alternate electronic device
CN111027362B (zh) * 2019-04-27 2020-12-08 深圳市智码广告通有限公司 手持移动终端分等级显示平台
DK201970531A1 (en) 2019-05-06 2021-07-09 Apple Inc Avatar integration with multiple applications
CN110399062A (zh) * 2019-07-12 2019-11-01 努比亚技术有限公司 人脸解锁界面显示方法、系统、移动终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260773A (ja) * 1997-03-19 1998-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法及びその装置
KR20120032062A (ko) * 2010-07-29 2012-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR20120045954A (ko) * 2010-11-01 2012-05-09 엘지전자 주식회사 이동 단말기 및 그 동작 제어 방법
KR20120079379A (ko) * 2011-01-04 2012-07-12 엘지전자 주식회사 정보 표시 장치 및 그 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7971214B1 (en) * 2007-08-27 2011-06-28 Sanyo Electric Co., Ltd. Electronic device with an antitheft function and method for preventing theft of electronic devices
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
KR101169424B1 (ko) 2010-08-26 2012-07-27 동명대학교산학협력단 스마트폰에서의 애플리케이션 프로그램 잠금/해제 장치 및 방법
KR20120067445A (ko) 2010-12-16 2012-06-26 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5510366B2 (ja) * 2011-03-08 2014-06-04 カシオ計算機株式会社 画像表示制御装置及びプログラム
US9043042B2 (en) * 2011-07-19 2015-05-26 GM Global Technology Operations LLC Method to map gaze position to information display in vehicle
JP2013051680A (ja) * 2011-08-03 2013-03-14 Kyocera Corp 携帯電子機器、制御方法、および、制御プログラム
US8411909B1 (en) * 2012-06-26 2013-04-02 Google Inc. Facial recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260773A (ja) * 1997-03-19 1998-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法及びその装置
KR20120032062A (ko) * 2010-07-29 2012-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR20120045954A (ko) * 2010-11-01 2012-05-09 엘지전자 주식회사 이동 단말기 및 그 동작 제어 방법
KR20120079379A (ko) * 2011-01-04 2012-07-12 엘지전자 주식회사 정보 표시 장치 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101660289B1 (ko) * 2015-09-14 2016-09-27 금오공과대학교 산학협력단 위젯 잠금해제 방법 및 이를 이용한 휴대용 단말기
KR101711307B1 (ko) 2015-12-31 2017-03-13 동의대학교 산학협력단 깊이정보 기반의 안면인식 휴대장치 또는 컴퓨터 기기 잠금해제시스템
KR20210003862A (ko) * 2018-06-03 2021-01-12 애플 인크. 얼굴 인식을 위한 자동 재개시
US11693937B2 (en) 2018-06-03 2023-07-04 Apple Inc. Automatic retries for facial recognition

Also Published As

Publication number Publication date
US20140313307A1 (en) 2014-10-23
KR102080183B1 (ko) 2020-04-14
US9870086B2 (en) 2018-01-16

Similar Documents

Publication Publication Date Title
KR102080183B1 (ko) 전자 장치 및 전자 장치에서 잠금 해제 방법
KR102041984B1 (ko) 추가 구성 요소를 이용한 얼굴 인식 기능을 가지는 모바일 장치 및 그 제어 방법
US11061480B2 (en) Apparatus, method and recording medium for controlling user interface using input image
KR101934822B1 (ko) 이동 단말에서의 잠금 해제 방법 및 이를 위한 이동 단말
US10101874B2 (en) Apparatus and method for controlling user interface to select object within image and image input device
US20140317499A1 (en) Apparatus and method for controlling locking and unlocking of portable terminal
KR102090948B1 (ko) 대화 기록 장치 및 그 방법
US20140282204A1 (en) Key input method and apparatus using random number in virtual keyboard
KR20160071263A (ko) 이동단말기 및 그 제어방법
KR102186815B1 (ko) 컨텐츠 스크랩 방법, 장치 및 기록매체
US10372895B2 (en) Apparatus and method for providing a security environment
KR20140110646A (ko) 사용자 단말 및 사용자 단말에서 화면 표시 방법
KR20140049324A (ko) 필기 입력에 따른 콘텐츠 디스플레이 방법 및 장치
KR102289497B1 (ko) 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
KR101896907B1 (ko) 이동 단말에서 잠금 해제 장치 및 방법
KR102369621B1 (ko) 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
CN111813486A (zh) 页面显示方法、装置、电子设备及存储介质
KR20170059684A (ko) 이동 단말기
TW201413566A (zh) 一電子裝置及其控制方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant