KR20160043425A - 이동 단말기 및 그의 화면 잠금 해제 방법 - Google Patents

Abstract

본 발명은 노크 코드와 얼굴 인식 조합을 이용하여 화면 잠금을 해제하기 위한 이동 단말기 및 그의 화면 잠금 해제 방법에 관한 것으로, LCD오프 상태에서 화면에 입력되는 노크 코드를 감지하는 단계; 노크 코드 입력중에 전면 카메라를 동작시켜 얼굴 인식을 수행하는 단계; 노크 코드와 얼굴 인식에 의한 인증 조합에 의해 화면 잠금을 해제하는 단계;를 포함할 수 있다.

Description

이동 단말기 및 그의 화면 잠금 해제 방법{MOBILE TERMINAL AND SCREEN UNLOCKING METHOD THEREOF}

본 발명은 노크 코드와 얼굴 인식 조합을 이용하여 화면 잠금을 해제하기 위한 이동 단말기 및 그의 화면 잠금 해제 방법에 관한 것이다.

단말기(terminal)는 이동 가능 여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.

이와 같은 단말기는 기능이 다양화됨에 따라, 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(multimedia player) 형태로 구현되고 있다.

이러한 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려되고 있다.

나아가, 단말기의 기능을 디스플레이부가 비활성화된 상태에서도 단말기에 대한 간단한 조작을 통해 간편하게 제어할 수 있는 새로운 사용자 인터페이스에 대한 요구가 증가하고 있다.

본 발명의 일 목적은 화면을 두드리는 탭(tap)(노크코드)과 얼굴 인식을 이용하여 보안 인증을 수행할 수 있는 이동 단말기 및 그의 제어방법을 제공하기 위한 것이다.

본 발명의 다른 목적은 화면을 두드리는 탭을 통한 보안 인증 실패시 다양한 방법을 통해 보안을 강화할 수 있는 이동 단말기 및 그것의 제어방법을 제공하기 위한 것이다.

상기와 같은 목적을 달성하기 위하여 본 발명의 실시예에 따른 이동 단말기의 화면 잠금 해제 방법은, LCD오프 상태에서 화면에 입력되는 노크 코드를 감지하는 단계; 노크 코드 입력중에 전면 카메라를 동작시켜 얼굴 인식을 수행하는 단계; 및 노크 코드와 얼굴 인식에 의한 인증 조합에 의해 화면 잠금을 해제하는 단계;를 포함할 수 있다.

상기 화면 잠금은 노크 코드와 얼굴 인식에 의한 인증이 모두 성공할 때 해제될 수 있다.

상기 전면 카메라는 첫 번째 노크 코드가 입력될 때 또는 노크 코드 입력 전에 상황인지 이벤트가 발생되었을 때 동작될 수 있다.

상기 상황 인지 이벤트는 단말기를 사용하려는 의도를 나타내는 동작으로, 수평상태에 놓인 단말기를 잡고 들어 올리거나, 단말기를 일정 각도로 기울이거나, 가방/주머니 속에서 단말기를 꺼내는 동작을 포함한다.

상기 얼굴 인식을 수행할 때 얼굴 인식정보를 LED램프의 색상, 밝기 및 점멸 패턴을 변화시켜 출력하는 단계;를 추가로 포함하며, 상기 얼굴 인식정보는 카메라 프리뷰내에 얼굴 존재 유무, 카메라 프리뷰내에 얼굴이 중앙에 위치하는지 유무; 및 얼굴 인식의 성공 여부를 포함할 수 있다.

상기 화면 잠금 해제 방법은, 노크 코드와 얼굴 인식에 의한 인증 중 어느 하나가 실패하면 성공한 인증으로 잠금을 해제한 다음 추가 인증 또는 가이드 화면을 표시하는 단계;를 추가로 포 수 있다.

상기 추가 인증은 PIN번호에 의한 인증 및 터치 패턴 입력에 의한 인증을 포함할 수 있다.

상기 노크 코드 인증은 실패하고 얼굴 인식에 의한 인증이 성공하면 노크 코드를 재설정하기 위한 가이드 화면을 제공하고, 노크 코드 인증은 성공하고 얼굴 인식에 의한 인증이 실패하면 사용자 얼굴을 등록하기 위한 가이드 화면을 제공할 있다.

상기와 같은 목적을 달성하기 위하여 본 발명의 실시예에 따른 이동 단말기는, LCD오프 상태의 디스플레이부; 및 디스플레이부상에 입력되는 노크 코드를 감지함과 함께 전면 카메라를 얼굴 인식을 수행하여, 노크 코드와 얼굴 인식에 의한 인증 조합에 의해 화면 잠금을 해제하는 제어부;를 포함한다.

상기 제어부는 노크 코드와 얼굴 인식에 의한 인증이 모두 성공할 때 화면 잠금을 해제할 수 있다.

상기 제어부는 첫 번째 노크 코드가 입력될 때 또는 노크 코드 입력 전에 상황인지 이벤트가 발생되었을 때 전면 카메라를 동작시킬 수 있다.

상기 상황 인지 이벤트는 단말기를 사용하려는 의도를 나타내는 동작으로, 수평상태에 놓인 단말기를 잡고 들어 올리거나, 단말기를 일정 각도로 기울이거나, 가방/주머니 속에서 단말기를 꺼내는 동작을 포함할 수 있다.

상기 제어부는 얼굴 인식을 수행할 때 얼굴 인식정보를 LED램프의 색상, 밝기 및 점멸 패턴을 변화시켜 출력하며, 상기 얼굴 인식정보는 카메라 프리뷰내에 얼굴 존재 유무, 카메라 프리뷰내에 얼굴이 중앙에 위치하는지 유무; 및 얼굴 인식의 성공 여부를 포함할 수 있다.

상기 제어부는 노크 코드와 얼굴 인식에 의한 인증 중 어느 하나가 실패하면 성공한 인증으로 잠금을 해제한 다음 추가 인증 또는 가이드 화면을 표시할 수 있다. 상기 추가 인증은 PIN번호에 의한 인증 및 터치 패턴 입력에 의한 인증을 포함한다.

상기 제어부는 노크 코드 인증은 실패하고 얼굴 인식에 의한 인증이 성공하면 노크 코드를 재설정하기 위한 가이드 화면을 제공하고, 노크 코드 인증은 성공하고 얼굴 인식에 의한 인증이 실패하면 사용자 얼굴을 등록하기 위한 가이드 화면을 제공할 수 있다.

본 발명은 사용자가 노크 코드 입력시 얼굴 인식을 동시에 수행하여 두 개의 보안인증이 모두 승인이 되는 경우에만 단말기의 잠금 해제를 허락하도록 함으로써 노크 코드를 단독으로 사용할 때보다 보안성을 향상시킬 수 있으며, 얼굴 인식 동작이 사용자의 노크 코드 입력을 방해하지 않기 때문에 사용자에게 추가적인 불편사항을 주지 않는 장점이 있다.

도 1은 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도.
도 2a는 본 발명과 관련된 이동 단말기의 일 예를 전면에서 바라본 사시도.
도 2b는 도 2a에 도시된 이동 단말기의 후면 사시도.
도 3은 본 발명에 의하여 구현되는 동작을 나타내는 개념도.
도 4는 본 발명의 실시예에 따른 이동 단말기의 화면 잠금 해제방법을 나타낸 순서도.
도 5는 본 발명에 따른 이동 단말기의 화면 잠금 해제방법의 제1실시예로, 노크 코드와 얼굴 인식이 모두 성공했을 때의 동작을 나타낸 순서도.
도 6은 본 발명의 제1실시예에 따른 이동 단말기의 화면 잠금 해제 방법의 일 예를 나타낸 도면.
도 7은 본 발명의 제1실시예에 따른 이동 단말기의 화면 잠금 해제 방법의 다른 예를 나타낸 도면.
도 8은 LCD OFF상태에서 얼굴 인식 정보를 표시하는 실시예.
도 9는 본 발명의 제1실시예에 따른 이동 단말기의 화면 잠금 해제 방법의 또 다른 예를 나타낸 도면.
도 10a 및 도 10b는 상황 인지 이벤트 발생시의 화면 잠금 해제 방법을 나타낸 실시예.
도 11은 전면 카메라가 동작될 때 얼굴 인식에 대한 정보를 사용자에게 표시하는 실시예.
도 12는 본 발명의 제2실시예에 따른 본 발명에 따른 이동 단말기의 화면 잠금 해제방법의 제2실시예로, 노크 코드와 얼굴 인식 중 어느 하나의 인증이 실패했을 때의 동작을 나타낸 순서도.
도 13은 본 발명의 제2실시예에 따른 본 발명에 따른 이동 단말기의 화면 잠금 해제방법의 일 실시예.
도 14는 본 발명의 제2실시예에 따른 본 발명에 따른 이동 단말기의 화면 잠금 해제방법의 다른 실시예.
도 15는 본 발명의 제2실시예에 따른 본 발명에 따른 이동 단말기의 화면 잠금 해제방법의 또 다른 실시예.
도 16는 본 발명의 제2실시예에 따른 본 발명에 따른 이동 단말기의 화면 잠금 해제방법의 또 다른 실시예.
도 17은 비등록 사용자를 위한 사용자 등록 방법을 나타낸 실시예.
도 18a 및 도 18b는 다양한 각도에서 촬영된 얼굴을 등록하는 실시예.
도 19는 본 발명에서 얼굴 등록시 단말기가 움직여야 할 궤도와 각도를 가이드하는 싱시예.
도 20은 본 발명에서 노크 코드와 얼굴 인식 모두 실패 시의 잠금 해제 방법을 나타낸 실시예.
도 21은 본 발명에서 호 수신시 노크 코드를 입력하여 호 수신을 수행하는 실시예.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 피씨(Slate PC), Tablet PC, Ultra Book 등이 포함될 수 있다. 그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.

도 1은 본 명세서에 개시된 일 실시 예에 따른 이동 단말기를 나타내는 블록도이다.

상기 이동 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수도 있다.

이하, 상기 구성요소들에 대해 차례로 살펴본다.

무선 통신부(110)는 이동 단말기(100)와 무선 통신 시스템 사이 또는 이동 단말기(100)와 이동 단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.

방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.

상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.

상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.

상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.

상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.

방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.

이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

상기 이동통신 모듈(112)은 화상통화모드 및 음성통화모드를 구현하도록 이루어진다. 화상통화모드는 상대방의 영상을 보면서 통화하는 상태를 지칭하고, 음성통화모드는 상대방의 영상을 보지 않으면서 통화를 하는 상태를 지칭한다. 화상통화모드 및 음성통화모드를 구현하기 위하여 이동통신 모듈(112)은 음성 및 영상 중 적어도 하나를 송수신하도록 형성된다.

무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.

근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.

위치정보 모듈(115)은 이동 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.

도 1을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 여기에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라는(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.

카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라는 사용 환경에 따라 2개 이상이 구비될 수도 있다.

마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.

사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.

센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무, 이동 단말기의 방위, 이동 단말기의 가속/감속 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 이동 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153) 및 햅틱 모듈(154) 등이 포함될 수 있다.

디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 이동 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.

디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디(body)의 후방에 위치한 사물을 볼 수 있다.

이동 단말기(100)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수 있다. 예를 들어, 이동 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.

디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.

터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.

터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.

도 1을 참조하면, 상기 터치스크린에 의해 감싸지는 이동 단말기의 내부 영역 또는 상기 터치스크린의 근처에 근접 센서가 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.

상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치스크린(터치 센서)은 근접 센서로 분류될 수도 있다.

이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.

상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.

음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 이동 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

알람부(153)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음향 출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람부(153)의 일부로 분류될 수도 있다.

햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.

햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.

햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 이동 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.

메모리(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(160)는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.

메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

인터페이스부(170)는 이동 단말기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(100) 내부의 각 구성요소에 전달하거나, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.

식별 모듈은 이동 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identify module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다.

상기 인터페이스부(170)는 이동 단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동 단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동 단말기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동 단말기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.

제어부(controller, 180)는 통상적으로 이동 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.

또한, 상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.

또한, 상기 제어부(180)는 상기 이동 단말기의 상태가 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 잠금상태를 실행할 수 있다. 또한, 상기 제어부(180)는 상기 잠금상태에서 상기 디스플레이부(이하, '터치 스크린'이라 함, 151)를 통해 감지되는 터치 입력에 근거하여 상기 잠금상태에서 표시되는 잠금화면을 제어할 수 있다.

전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

여기에 설명되는 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시 예는 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부(180) 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.

소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.

이하, 상기 도 1에서 살펴본 본 발명의 일 실시 예에 따른 이동 단말기 또는 이동 단말기의 구성요소들이 배치된 이동 단말기 또는 이동 단말기의 구조를 살펴본다.

도 2a는 본 발명의 이동 단말기 또는 이동 단말기의 일 예를 전면에서 바라본 사시도이고, 도 2b는 도 2a에 도시된 이동 단말기의 후면 사시도이다.

도 2a는 본 발명과 관련된 이동 단말기 또는 이동 단말기의 일 예를 전면에서 바라본 사시도이고, 도 2b는 도 2a에 도시된 이동 단말기의 후면 사시도이다.

개시된 이동 단말기(100)는 바 형태의 단말기 바디를 구비하고 있다. 다만, 본 발명은 여기에 한정되지 않고, 2 이상의 바디들이 상대 이동 가능하게 결합되는 슬라이드 타입, 폴더 타입, 스윙 타입, 스위블 타입 등 다양한 구조에 적용이 가능하다.

도시에 의하면, 단말기 본체(100)(이하, '바디'라 한다)는 전면, 측면 및 후면을 구비한다. 또한 바디는 길이방향을 따라 형성되는 양단을 구비한다.

바디(100)는 외관을 이루는 케이스(케이싱, 하우징, 커버 등)를 포함한다. 본 실시 예에서, 케이스는 전면(이하, '프론트 케이스'라 한다, 101)과 후면(이하, '리어 케이스'라 한다, 102)로 구분될 수 있다. 프론트 케이스(101)와 리어 케이스(102)의 사이에 형성된 공간에는 각종 전자부품들이 내장된다. 프론트 케이스(101)와 리어 케이스(102) 사이에는 적어도 하나의 중간 케이스가 추가로 배치될 수도 있다.

케이스들은 합성수지를 사출하여 형성되거나 금속 재질, 예를 들어 스테인레스 스틸(STS) 또는 티타늄(Ti) 등과 같은 금속 재질을 갖도록 형성될 수도 있다.

단말기 바디(100)는 주로 프론트 케이스(101)에는 디스플레이부(151), 음향출력부(152), 카메라(121), 사용자 입력부(130), 마이크(122), 인터페이스(170), 발광부(156) 등이 배치될 수 있다.

디스플레이부(151)는 프론트 케이스(101)의 주면의 대부분을 차지한다. 디스플레이부(151)의 양단부 중 일 단부에 인접한 영역에는 음향출력부(152)와 카메라(121)가 배치되고, 다른 단부에 인접한 영역에는 사용자 입력부(130)와 마이크(122)가 배치된다. 사용자 입력부(130)와 인터페이스(170) 등은 프론트 케이스(101) 및 리어 케이스(102)의 측면들에 배치될 수 있다. 이에 반해, 마이크(122)는 바디(100)의 타단에 배치된다.

사용자 입력부(130)는 이동 단말기의 동작을 제어하기 위한 명령을 입력받기 위해 조작되는 것으로서, 복수의 조작 유닛들(131, 132)을 포함할 수 있다. 조작 유닛들(131, 132)은 조작부(manipulating portion)로도 통칭 될 수 있으며, 사용자가 촉각 적인 느낌을 가면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다.

제1 또는 제2조작 유닛들(131, 132)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 제1 조작 유닛(131)은 시작, 종료, 스크롤 등과 같은 명령을 입력받고, 제2조작 유닛(132)은 음향출력부(152)에서 출력되는 음향의 크기 조절 또는 디스플레이부(151)의 터치 인식 모드로의 전환 등과 같은 명령을 입력받을 수 있다.

한편, 발광부(156)는 바디(100) 전면의 상단 영역에 배치되며, 적어도 하나의 발광 다이오드(light emitting diode, led)를 구비한다. 발광부(156)는 제어부(180)의 제어에 따라 다양한 방식으로 조명을 점등한다. 이때, 다양한 방식이란, 조명의 색상, 점멸의 주기, 밝기 등이 서로 다른 것을 의미한다.

도 2b를 참조하면, 단말기 바디의 후면, 다시 말해 리어케이스(102)에는 음향 출력부(152')가 추가로 배치될 수도 있다. 음향 출력부(152')는 음향 출력부(152, 도 2a 참조)와 함께 스테레오 기능을 구현할 수 있으며, 통화시 스피커폰 모드의 구현을 위하여 사용될 수도 있다.

단말기 바디에는 이동 단말기(100)에 전원을 공급하기 위한 전원공급부(190)가 장착된다. 전원공급부(190)는 단말기 바디에 내장되거나, 단말기 바디의 외부에서 직접 탈착될 수 있게 구성될 수 있다.

또한, 리어 케이스(102)에는 터치를 감지하기 위한 터치 패드(135)가 추가로 장착될 수 있다. 터치 패드(135) 또한 디스플레이부(151)와 마찬가지로 광 투과형으로 구성될 수 있다. 이 경우에, 디스플레이부(151)가 양면에서 시각 정보를 출력하도록 구성된다면, 터치 패드(135)를 통해서도 상기 시각 정보를 인지할 수 있게 된다. 상기 양면에 출력되는 정보는 상기 터치 패드(135)에 의해 모두 제어될 수도 있다. 이와 달리, 터치 패드(135)에는 디스플레이가 추가로 장착되어, 리어 케이스(102)에도 터치 스크린이 배치될 수도 있다.

또한, 단말기 바디의 리어 케이스(102)에는 카메라가(121') 추가로 장착될 수 있다. 상기 카메라(121') 프론트 케이스에 장착된 카메라(121, 도 2a 참조)와 실질적으로 반대되는 촬영 방향을 가지며, 카메라(121)와 서로 다른 화소를 가지는 카메라일 수 있다.

예를 들어, 카메라(121)는 화상 통화 등의 경우에 사용자의 얼굴을 촬영하여 상대방에 전송함에 무리가 없도록 저 화소를 가지며, 카메라(121')는 일반적인 피사체를 촬영하고 바로 전송하지는 않는 경우가 많기에 고 화소를 가지도록 이루어질 수 있다. 카메라(121')는 회전 또는 팝업(pop-up) 가능하게 단말기 바디(100)에 설치될 수도 있다.

상기 카메라(121')에 인접하게는 플래쉬(123)와 거울(124)이 추가로 배치된다. 플래쉬(123)는 카메라(121')로 피사체를 촬영하는 경우에 피사체를 향해 빛을 비추게 된다. 거울은 사용자가 카메라(121')를 이용하여 자신을 촬영(셀프 촬영)하고자 하는 경우에, 사용자 자신의 얼굴 등을 비춰볼 수 있게 한다.

단말기 바디의 후면에는 음향 출력부(252')가 추가로 배치될 수도 있다. 음향 출력부(252')는 음향 출력부(252, 도 2a 참조)와 함께 스테레오 기능을 구현할 수 있으며, 통화시 스피커폰 모드의 구현을 위하여 사용될 수도 있다.

단말기 바디에는 이동 단말기(100)에 전원을 공급하기 위한 전원공급부(190)가 장착된다. 전원공급부(190)는 단말기 바디에 내장되거나, 단말기 바디의 외부에서 직접 탈착될 수 있게 구성될 수 있다.

리어 케이스(102)에는 터치를 감지하기 위한 터치 패드(135)가 추가로 장착될 수 있다. 터치 패드(135) 또한 디스플레이부(151)와 마찬가지로 광 투과형으로 구성될 수 있다. 이 경우에, 디스플레이부(151)가 양면에서 시각 정보를 출력하도록 구성된다면, 터치 패드(135)를 통해서도 상기 시각 정보를 인지할 수 있게 된다. 상기 양면에 출력되는 정보는 상기 터치 패드(135)에 의해 모두 제어될 수도 있다. 이와 달리, 터치 패드(135)에는 디스플레이가 추가로 장착되어, 리어 케이스(102)에도 터치 스크린이 배치될 수도 있다.

터치 패드(135)는 프론트 케이스(101)의 디스플레이부(151)와 상호 관련되어 작동한다. 터치 패드(135)는 디스플레이부(151)의 후방에 평행하게 배치될 수 있다. 이러한 터치 패드(135)는 디스플레이부(151)와 동일하거나 작은 크기를 가질 수 있다.

또한, 위에서 살펴본 것과 같은 구성요소들 중 적어도 하나 이상을 포함하는 것이 가능한 본 발명의 일 실시 예에 따른 이동 단말기에서는, 디스플레이부가 비활성화됨과 동시에 사용자에 의한 제어명령의 수신이 제한되는 잠금모드가 실행될 수 있다. 잠금모드가 실행되면(또는, 잠금상태가 되면), 제어부(180)는 디스플레이부의 활성화시 암호를 입력하도록 형성되는 잠금화면을 표시한다.

한편, 상기 이동 단말기는 디스플레이부가 비활성화된 상태에서 본체를 두드리는 탭 제스처를 감지하는 감지부를 구비한다. 상기 탭 제스처(tap gesture)는 물체를 두드리는 제스처를 의미할 수 있다. 보다 구체적으로 탭 제스처는, 손가락 등의 탭 대상체로 물체를 가볍게 치는 동작 또는 탭 대상체를 물체에 가볍게 접촉시키는 동작으로 이해되어 질 수 있다. 상기 탭 제스처를 인가하는 탭 대상체는 손가락, 스타일러스 펜(stylus pen), 펜(pen), 포인터 및 주먹 등이 포함될 수 있다.

상기 감지부에 의하여 복수 번의 탭들이 감지되는 경우, 제어부는 상기 감지된 탭들의 탭 지점들을 순차적으로 연결함에 의해 형성되는 사용자의 동작 패턴을 분석한다. 분석된 동작 패턴이 잠금 해제를 위해 설정된 노크코드와 일치하면, 제어부는 단말기의 잠금 상태를 해제함과 함께 디스플레이부를 활성화할 수 있다.

도 3은 노크코드를 이용하여 보안 인증을 수행하는 개념도이다.

도 3의 (a)에 도시된 바와같이, 디스플레이부(151) 상에는 암호를 입력받기 위한 암호 입력 창(또는, 핀 코드 입력창)이 표시될 수 있다. 예를 들어, 제어부(180)는 암호 설정 기능이 실행되는 경우 및/또는 해제상태를 잠금상태로 전환하는 경우에 상기 암호 입력 창을 디스플레이부(151)에 표시할 수 있다.

상기 암호 입력창에는 적어도 하나의 가상 키패드가 포함되며, 보다 구체적으로 상기 가상 키패드는 숫자 키패드일 수 있다. 그리고 제어부(180)는 가상 키패드에 입력되는 사용자 입력에 근거하여 잠금해제를 위한 암호를 설정할 수 있다. 예를 들어, 도 3의 (a)에 도시된 것과 같이, "3142"가 잠금 해제를 위한 암호로 설정될 수 있다.

제어부(180)는 설정된 암호에 근거하여 잠금상태를 해제상태로 전환하기 위한 동작 패턴을 설정(또는, 등록)한다. 상기 동작 패턴은 단말기를 복수 번 두드리는 탭들에 의하여 형성되며, 보다 구체적으로, 상기 탭들의 탭 지점들을 순차적으로 연결함에 의하여 형성된다. 예를 들어, 네 번의 탭에 의한 탭 지점들이 순차적으로 알파벳 대문자 "N"의 꼭지점을 형성하는 동작 패턴이 설정될 수 있다.

제어부(180)는 상기 동작 패턴을 설정하기 위하여 디스플레이부(151)의 전체영역을 복수의 영역들로 구분하고, 구분된 영역들을 이용하여 사용자의 동작 패턴을 설정할 수 있다. 예를 들어, 설정된 암호가 "3142"인 경우, 제어부(180)는 입력된 숫자 중에 가장 높은 숫자("4")를 기준으로 디스플레이부(151)를 분할한다. 예를 들어, 도 3의 (b)에 도시된 바와 같이, 제어부(180)는 디스플레이부(151)를 4분면으로 나눌 수 있다. 그리고 상기 4분면은 좌측 상단에서 차례대로 식별번호가 붙여질 수 있다(예를 들어, 제1분면부터 제4분면까지). 그리고, 제어부(180)는 제1 탭 내지 제4 탭이 차례대로 제3분면, 제1분면, 제4분면 및 제2분면에 인가되면 해당 탭을 노크 코드로 변환하여 메모리(170)에 저장한다. 따라서, 탭 제스처의 입력은 바로 노크 코드의 설정을 의미한다.

한편, 본 발명에서는 암호가 네 자리로 설정되고, 그에 따라 디스플레이부(151)의 전체영역이 4분면으로 구분되는 것에 한정되지 않는다. 즉, 제어부(180)는 설정되는 암호에 따라 디스플레이부(151)를 상/하 2분면, 상/중/하 3분면으로 구분하는 등 다양한 방식으로 복수의 영역들로 구분하며, 그에 따라 다양한 노크 코드를 설정할 수 있다.

따라서, 암호 및 노크코드가 설정되면, 제어부(180)는 화면이 꺼진 상태에서 화면을 두드리는 탭(즉 노크코드)이 기 설정된 노크코드에 해당하면 화면을 켜는 것과 잠금화면을 해제하는 것을 동시에 처리한다.

여기에서, "화면이 꺼진 상태(비활성화 상태)"는 디스플레이부(151)를 조명하는 내부의 LCD가 오프(off) 상태임을 의미한다. 예를 들어, 도 3의 (b)에 도시된 것 같이, 상기 디스플레이부(151)가 비활성화된 상태에서는 디스플레이부(151)에는 어떠한 정보 또는 그래픽 이미지(graphic image)가 표시되지 않는다.

즉, 도 3의 (c)에 도시된 것과 같이, 제1 탭 내지 제4 탭(①,②,③,④)이 차례대로 제3분면 → 제1분면 → 제4분면 → 제2분면에 감지되는 경우, 제어부(180)는 감지된 탭들이 형성하는 노크코드가 기 설정된 동작 패턴(예를 들어, 'N') 즉 노크코드와 일치하면 도 3의 (d)에 도시된 것과 같이 잠금을 해제하고 홈 화면을 표시한다. 한편, 잠금 상태가 해제될 가장 처음에 출력되는 화면은 반드시 홈 화면이 표시되는 것은 아니며 사용자가 설정한 어플리케이션이 표시될 수도 있다.

상술한 바와같이 노크 코드를 이용한 보안 인증은 화면이 꺼진 상태에서 화면을 두드리는 탭 제스처(노크코드)를 입력하여, 화면을 켜는 것과 잠금화면을 해제하는 것을 동시에 처리할 수 있기 때문에 기존의 숫자 입력이나 패턴 그리기와 비교해 편의성이 뛰어나다. 따라서, 스마트폰 사용자는 꺼진 화면 위를 몇 차례만 터치하면 곧바로 홈 화면으로 이동할 수 있는 장점이 있다.

그런데, 노크코드를 이용한 보안인증은, 사용자가 편의성을 이유로 짧은 노크코드를 설정하여 사용할 경우에는 보안이 취약해지는 단점이 있으며, 특히 노크코드 입력 실패시에는 계속 노크 코드 입력을 수행해야 하는 등의 단점이 있을 수 있다. 또한, 보안성을 강화하기 위해서는 노크 코드의 입력 자리수를 늘려야 하기 때문에 긴 노크 코드 설정 및 입력 시간에 의해 사용자에게 불편함을 줄 수 있다.

따라서, 본 발명은 노크 코드와 카메라 모듈을 통한 얼굴 인식을 이용한 보안 인증을 함께 수행하여 보안 인증을 강화할 수 있는 방안을 제공한다.

본 발명의 일 실시예에 따라 상기 노크 코드와 얼굴 인식을 함께 이용한다는 의미는, 노크 코드와 얼굴 인식을 동시에 적용하여(AND방법) 보안 인증을 수행하는 것을 포함할 수 있다.

이 실시예에서는 두 가지 인증방법이 모두 성공했을 때 잠금을 해제하고, 둘 중 어느 하나의 인증 방법이 실패했을 때는 추가설정 또는 확인 절차를 통해 보안을 강화한다.

본 발명의 다른 실시예에 따라 상기 노크 코드와 얼굴 인식을 함께 이용한다는 의미는, 노크 코드 인증 실패시 노크코드의 재입력과 얼굴 인식을 같이 수행하여 두 인증 방법 중에서 성공한 방법으로 잠금을 해제하고, 잠금 해제후에 추가설정 또는 확인 절차를 통해 보안을 강화한다.

앞에서 설명한 바와같이 본 발명에서 화면이 꺼진 상태는 LCD저전력 상태 즉, 슬립모드(sleep mode)로 LCD가 오프된 상태를 의미한다. 화면이 꺼진 상태에서는 가속도 센서, 전용 프로세서 (MCU : micro controller unit) 및 터치센서는 활성화 상태(always-on)일 수 있다.

상기 가속도 센서는 이동 단말기의 움직임 및 노크 코드의 입력을 감지할 수 있으며, 상기 터치 센서는 화면상의 터치 입력을 감지할 수 있다.

상기 MCU는 센서들의 허브(hub) 역할을 수행하며, 가속도 센서 및 터치 센서의 신호를 취합하여 이동 단말기의 움직임 및 노크 코드의 입력의 발생을 판단할 수 있다. 제어부(180)는 화면을 두드리는 소정 횟수의 탭(또는 탭 제스처)이 가속도 센서를 통해 제한시간내에 감지되면 노크 코드가 입력된 것으로 판단할 수수 있다. 여기에서, 제한시간은 매우 짧은 시간일 수 있으며, 예를 들어, 300ms 내지 2s 이내의 시간일 수 있다.

즉, 화면이 꺼진 상태에서는 단말기의 메인 프로세서인 중앙처리장치 (AP : Application Processor)가 아니라, MCU가 가속도 센서 및 터치 센서의 신호를 취합하여 잠금 해제를 위한 제어 신호를 생성한다. 이후 잠금이 해재되어 화면이 켜지면 MCU는 제어 신호를 이용하여 AP를 활성한다.

본 발명에서 제어부(180)는 MCU와 AP를 통칭하는 요소로 사용된다.

본 발명에 따른 이동 단말기에서는, 이동 단말기 본체에 대한 탭을 감지하기 위하여, 가속도 센서 및 터치 센서 중 어느 하나만을 사용하거나, 가속도 센서 및 터치 센서를 순차적으로 사용하거나, 또는 가속도 센서 및 터치 센서를 동시에 사용할 수 있다.

도 4는 본 발명의 실시예에 따른 이동 단말기의 화면 잠금 해제방법을 나타낸 순서도이다.

도 4에 도시된 바와같이, 화면이 꺼진 상태(저전력 상태)에서 제어부(180)는 가속도 센서 또는 터치 센서를 통하여 화면에 입력되는 탭, 더 상세하게는 노크코드를 감지할 수 있다(S100). 이어서 제어부(180)는 전면 카메라를 이용하여 현재 단말기를 사용하는 사용자의 얼굴 인식을 수행한다(S110).

일 실시예로, 상기 얼굴 인식은 노크 코드가 최초로 입력되는 시점에서 전면 카메라를 통해 수행할 수 있다.

다른 실시예로, 상기 얼굴 인식은 얼굴 인식 수행에 필요한 시간이 노크 코드 입력 시간보다 긴 경우를 효과적으로 대응하기 위하여, 상황인지를 통해 사용자가 노크 코드를 입력할 것을 미리 예측하여 노크 코드 입력 전부터 전면 카메라를 동작시키거나, 노크 코드 입력 완료 후에도 일정시간 동안 얼굴 인식을 추가로 수행할 수 있다.

일단 노크 코드와 얼굴 인식이 수행되면 제어부(180)는 상기 입력된 노크 코드와 상기 인식된 얼굴을 기저장된 노크코드 및 얼굴과 비교하여 보안 인증을 수행한다(S120).

따라서, 제어부(180)는 노크 코드와 얼굴 인식을 통한 보안 인증 결과에 따라 이동 단말기에 관련된 기능을 수행하기 위한 제어동작을 수행하거나, 화면 잠금 을 해제하기 위한 추가 UI를 제공할 수 있다(S130). 상기 이동 단말기에 관련된 기능은 잠금 해제 및 LCD ON을 포함한다. 이하 노크 코드와 얼굴 인식의 조합을 통한 다양한 보안 인증 방법을 첨부된 도면을 참조하여 설명하면 다음과 같다.

1. 노크 코드와 얼굴 인식 모두 성공시

도 5는 본 발명에 따른 이동 단말기의 화면 잠금 해제방법의 제1실시예를 도시한 순서도로서, 노크 코드와 얼굴 인식이 모두 성공했을 때의 동작을 나타낸다.

도 5에 도시된 바와같이, 제어부(180)는 화면이 꺼진 상태에서 노크 코드와 얼굴 인식의 조합을 통하여 인증을 수행하여(S200), 두 보안 인증이 모두 성공한 경우에만 도 4에서 설명한 잠금 해제와 함께 LCD 온을 동시에 처리한다(S130). 여기서, 얼굴인식은 전면 카메라에 의한 얼굴 촬영과 촬영된 얼굴은 기 저장(등록)된 얼굴과 비교하는 동작을 모두 포함한다.

반면에 두 보안 인증중에 어느 하나의 인증이 실패하면 후술하는 추가 인증방법을 수행할 수 있다(S210).

도 6은 본 발명의 제1실시예에 따른 이동 단말기의 화면 잠금 해제 방법의 일 예이다.

도 6을 참조하면, 첫번째 락 코드(최초 터치)가 입력될 때 제어부(180)는 전면 카메라를 동작시켜 사용자의 얼굴 인식을 시작하고, LED램프(50, 이하 LED로 약칭함)를 통해 좌측 상단부 즉, 카메라 모듈 근처의 화면에 현재 카메라가 동작중임을 나타낸다.

제어부(180)는 락토드가 입력될 때마다 사전에 등록된 락코드 패턴과 일치하는지 비교함과 함께 전면 카메라를 통해 촬영한 얼굴이 사전에 등록되어 있는지 체크한다. 이때, 만약 입력된 각 노크 코드가 사전에 등록된 노크 코드 패턴과 일치하지 않으면, 얼굴 인식을 중지하고 전면 카메라롤 오프시킨다.

이후 마지막 입력된 노크 코드가 사전에 등록된 노크 코드 패턴과 일치하고, 상기 촬영된 얼굴이 등록되어 있어 사용자의 얼굴이 인증이 완료되면 제어부(180)는 단말기의 잠금을 해제하고 LCD를 온하여 대기화면 또는 기 설정된 어플리케이션을 실행한다. 반면에, 노크 코드인증은 성공하고 사용자 얼굴 인식은 실패한 경우에는 얼굴 인식을 중지하고 전면 카메라롤 오프시킨다.

도 7은 본 발명의 제1실시예에 따른 이동 단말기의 화면 잠금 해제 방법의 다른 예이다.

이 실시예는 노크 코드가 모두 입력되어 노크 코드의 인증이 성공하면 전면 카메라를 동작시켜 얼굴 인식을 수행하는 실시예이다. 즉, 노크 코드의 인증이 성공하면, 제어부(180)는 LED(50)를 통해 현재 카메라가 동작중임을 나타내면서 전면 카메라에서 촬영된 얼굴 인식을 시작한다. 이후 상기 촬영된 얼굴과 일치하는 얼굴이 사전에 저장되어 있으면, 제어부(180)는 사용자의 얼굴인식이 성공한 것으로 판단하고, 잠금을 해제하고 LCD를 온한다.

도 8은 LCD OFF상태에서 얼굴 인식 정보를 표시하는 실시예이다.

도 8에 도시된 바와같이, 카메라 모듈 근처의 화면에 표시된 LED(50)를 통해 카메라의 동작 여부뿐만 아니라, 프리뷰 화면에 얼굴이 존재하는지 그리고 얼굴 인식이 성공했는지를 표시할 수 있다. 예를들어, LCD가 오프된 상태는 카메라가 오프되어 얼굴인식이 수행되지 않는 상태를 의미하고, 적색의 LED는 전면 카메라가 동작되었지만, 아직 카메라 프리뷰에 얼굴이 잡히지 않는 상태를 나타낸다. 그리고, 황색의 LED는 전면 카메라가 동작되고 카메라 프리뷰에 얼굴이 잡히는 상태를 나타내고, 녹색의 LED는 카메라 프리뷰에 나타낸 얼굴이 사전에 등록되어 있어 얼굴 인식이 성공한 상태를 나타낸다.

따라서, 본 발명은 노크 코드가 LCD OFF상태에서 입력될 때 얼굴 인식정보를 화면에 통해 보여줄 수 없기 때문에, 단말기 LED램프의 색상, 밝기 및 점멸 패턴을 통하여 얼굴 인식 정보를 사용자에게 알려줄 수 있다.

도 9는 본 발명의 제1실시예에 따른 이동 단말기의 화면 잠금 해제 방법의 또 다른 예이다.

이 실시예는 사용자가 이동 단말기를 사용하려고 하는 상황 즉, 상황인지 이벤트가 감지되면 단말기의 전면에 사용자의 얼굴이 있다고 판단하고 전면 카메라를 동작시켜 얼굴인식을 수행하는 실시예이다. 상기 상황 인지 이벤트는 가속도 센서 또는 근접 센서의 출력에 의해 감지될 수 있으며, 사용자가 수평상태(e.g., 책상)에서 단말기를 들어 올리는 동작(가속도 센서), 단말기가 일정 각도(15도~75도)로 기울어지는 동작(가속도 센서) 그리고 가방/주머니 속에서 폰을 꺼내는 동작(근접 센서) 등을 포함할 수 있다.

상황 인지 이벤트가 발생되면 제어부(180)는 전면 카메라를 동작시켜 사용자 얼굴에 대한 얼굴 인식을 개시하고, 얼굴 인증이 성공하면, 일정 시간(T)내에 노크 코드(터치 입력)가 입력되는지 체크한다. 모든 노크 코드가 입력되어 노크 코드 인증 역시 성공하면, 제어부(180)는 잠금을 해제하고 LCD를 온한다.

도 10a 및 도 10b는 상황 인지 이벤트 발생시의 화면 잠금 해제 방법을 나타낸 실시예이다.

사용자가 노크 코드를 입력할 것을 미리 예측하여 노크 코드 입력 전부터 전면 카메라 ON및 얼굴 인식을 수행하도록 하는 상황인지 이벤트는 다양한 센서를 통해 감지할 수 있다.

도 10a에 도시된 바와같이, 저전력상태(LCD오프 상태)에서 사용자가 단말기를 잡으면 그립 센서를 통해 사용자의 단말기 그립을 감지할 수 있다.

단말기의 그림이 감지되면 제어부(180)는 상황인지 이벤트가 발생된 것으로 인식하고 전면 카메라를 ON한 후 얼굴 인식을 수행한다.

상기 얼굴 인식은 노크 코드 입력이 완료되기 전에 완료되며, 제어부(180)는 사용자가 화면에 입력한 노크 코드를 이용하여 전술한 노크 코드 인증을 수행한다.

또한, 도 10b에 도시된 바와같이, 이동 단말기는 책상등에 수평상태로 높여 있을 수 있다. 이 상태에서 사용자가 단말기를 들고 소정 각도 기울이면 가속도 센서를 통하여 단말기의 기울기를 감지하고, 상기 감지된 기울기를 근거로 제어부 (180)는 상황인지 이벤트가 발생된 것으로 인식한다.

상황인지 이벤트가 발생되면 제어부(180)는 도 10a에서와 같이 전면 카메라를 ON한 후 얼굴 인식을 개시하여 사용자가 노크 코드 입력을 완료하기 전까지 완료한다. 이후 제어부(180)는 입력된 노크 코드를 지 저장된 노크 코드 패턴과 비교하는 노크코드 인증을 수행한다.

도 11은 전면 카메라가 동작될 때 얼굴 인식에 대한 정보를 사용자에게 표시하는 실시예이다.

도 8에서 설명한 바와같이, 화면이 꺼져 있을 때(저전력 상태) 카메라의 동작상태뿐만 아니라 얼굴 인식 상태를 LED로 나타낼 수 있다. 이 경우 카메라 프리뷰에 사용자의 얼굴이 나타날 경우 소정 색으로 LED를 점등하였다.

이에 한정되지 않고, 본 발명은 도 11에 도시된 바와같이, 사용자의 얼굴이 카메라 프리뷰의 어느 위치에 있는지에 따라 LED의 색상을 다르게 점등할 수 있다. 일 예로, 얼굴이 카메라 프리뷰의 중앙에 위치하는 경우에는 LED를 밝은 색상(51)으로 점등하고, 가장자리에 위치하는 경우에는 LED를 어두운 색상(51)으로 점등한다. 이러한 LED의 색상 변화는 사용자가 단말기를 이동시켜 얼굴이 프리뷰의 중앙에 위치하도록 할 수 있도로 가이드하는 역할을 수행한다.

2. 노크 코드와 얼굴 인식 중 1개의 인증 실패 시

전술한 바와같이 노크 코드와 얼굴 인식을 이용한 인증을 수행한 경우 어느 하나의 인증이 실패할 경우 본 발명은 잠금 해제 후 단말기의 기능을 제한하거나 완전한 잠금 해제를 위하여 추가 보안인증을 요구할 수 있다.

도 12는 본 발명의 제2실시예에 따른 본 발명에 따른 이동 단말기의 화면 잠금 해제방법의 제2실시예를 도시한 순서도로서, 노크 코드와 얼굴 인식 중 어느 하나의 인증이 실패했을 때의 동작을 나타낸다.

도 12에 도시된 바와같이 노크 코드와 얼굴 인식을 통한 인증을 수행한 결과 어느 하나의 인증이 실패하면(도 5 참조), 제어부(180)는 인증이 성공한 방법으로 잠금 해제하고(S300), 노크 코드 재설정 가이드 또는 사용자 등록 가이드를 제공한다(S310).

도 13은 본 발명의 제2실시예에 따른 본 발명에 따른 이동 단말기의 화면 잠금 해제방법의 일 실시예이다.

도 13을 참조하면, 노크 코드 인증은 성공하였지만, 사용자 얼굴 인식에 실패하면, 제어부(180)는 해당 사실을 나타내는 메시지(60)를 표시함과 함께 PIN번호입력 팝-업(또는 화면)(61)을 표시한다. 이후 사용자가 팝-업(61)을 통해 입력한 PIN번호 인증이 성공하면, 제어부(180)는 잠금을 해제하고 LCD를 온한다.

또한, 제어부(180)는 화면의 하단부에 게스트 진입 메뉴(62)를 표시하여, 사용자가 게스트 모드로 진입할 수 있도록 한다.

도 14는 본 발명의 제2실시예에 따른 본 발명에 따른 이동 단말기의 화면 잠금 해제방법의 다른 실시예로, 얼굴 인식으로 인증이 성공한 경우를 나타낸다.

도 14에 도시된 바와같이, 노크 코드를 N회이상 입력한 결과 노트 코드 인증은 실패하고, 노크 코드 입력 중에 수행한 얼굴 인증이 성공하면, 제어부(180)는 인증 성공한 방법(얼굴 인식)으로 잠금을 해제한 후 화면에 노크 코드 재설정 가이드(70)를 디스플레이부(151)에 사용자는 기 설정된 노크 코드 보기 메뉴를 선택하여 이전에 설정된 노크 코드를 확인 할 수 있으며, 재설정 버튼을 선택하여 새로운 노크 코드를 설정할 수 있다.

도 15는 본 발명의 제2실시예에 따른 본 발명에 따른 이동 단말기의 화면 잠금 해제방법의 또 다른 실시예로, 노크 코드로 인증만 성공한 경우를 나타낸다.

노크 코드 입력중에 수행한 얼굴 인식을 수행하여, 노크 코드 인증은 성공하고 얼굴 인증은 실패한 경우, 제어부(180)는 잠금을 해제한 후 추가 보안 인증 화면(71)을 디스플레이부(151)에 표시한다. 상기 추가 인증화면에 사용자는 미리 설정한 터치 패턴을 그려인증을 수행한다.

도 16는 본 발명의 제2실시예에 따른 본 발명에 따른 이동 단말기의 화면 잠금 해제방법의 또 다른 실시예로, 노크 코드로 인증만 성공한 경우 사용자 등록을 수행하는 경우를 나타낸다.

노크 코드 입력중에 수행한 얼굴 인식을 수행하여, 노크 코드 인증은 성공하고 얼굴 인증은 실패한 경우, 제어부(180)는 인증 성공한 방법(노크 코드)으로 잠금을 해제한 후 디스플레이부(151)에 비등록 사용자를 위한 사용자 등록 가이드 (72)를 표시한다. 상기 사용자 등록 가이드에는 현재 사용자가 비등록 사용자이며, 얼굴 인식이 실패했기 때문에 단말기의 일부 기능이 제한됨을 알리는 메시지와 함께 재인 증 및 사용자 등록 메뉴가 포함되어 있다.

도 17은 비등록 사용자를 위한 사용자 등록 방법을 나타낸 실시예이다.

도 17에 도시된 바와같이, 제어부(180)는 노크 코드 인증은 성공하고 얼굴 인증은 실패한 경우 사용자 등록 가이드(73)를 표시할 수 있다. 상기 사용자 등록 가이드(73)에서 사용자 등록 메뉴가 선택되면, 제어부(180)는 사용자 등록 위한 사전에 설정된 추가 보안 방법, 예를들면 PIN번호를 입력하기 위한 정보(60,61)를 표시할 수 있다.

사용자가 PIN번호를 입력하여 PIN번호 인증이 성공하면, 제어부(180)는 사용자 얼굴을 등록하기 위한 얼굴 등록 화면을 표시한다. 상기 얼굴 등록 화면에는 카메라 프리뷰와 함께 얼굴 등록 안내 문구가 표시된다. 사용자는 단말기를 움직여 얼굴이 카메라 프리뷰의 중앙에 오도록 한 후 얼굴 등록을 수행할 수 있다. 상기 등록된 얼굴은 메모리(170)에 저장된다.

얼굴 인식 시 동일사용자라고 하더라도 현재 프리뷰에 표시된 얼굴과 사정에 등록된 얼굴이 상이할 수 있다. 일 예로, 현재 카메라 프리뷰에 표시된 얼굴은 정면 얼굴인 반면 사전에 등록된 얼굴은 정면 좌측 얼굴인 경우에는 얼굴 인식 성공률이 떨어지게 되어, 얼굴 인식 인증이 실패할 수 있다.

따라서, 사용자는 얼굴 등록 시 다양한 각도의 얼굴을 등록하여 얼굴 인식 성공률을 높일 수 있다.

도 18a 및 도 18b는 다양한 각도에서 촬영된 얼굴을 등록하는 실시예이다.

다양한 각도에서 일굴을 등록하는 방법은, 먼저 도 18a에 도시된 바와같이, 사용자는 가이드 그림을 보면서 등록할 각도를 취한 후 등록 버튼을 눌러 여러 각도의 얼굴을 개별 등록할 수 있다.

또한, 사용자는 도 18b에 도시된 바와같이, 사용자가 등록 버튼을 누른 후 단말기로 얼굴을 훑으면 카메라 프리뷰에 여러 각도의 얼굴이 비춰져 자동으로 여러 각도의 얼굴이 등록된다. 원하는 각도들(수)의 얼굴등록아 완료되었다고 판단되면 사용자는 종료 버튼을 눌러 얼굴 등록을 마친다. 특히, 제어부(180)는 사용자의 얼굴 등록이 충분히 되면(소정 각 이상의 얼굴 등록), 화면문구 또는 소리등으로 알린 후 얼굴 등록을 종료한다.

도 19는 본 발명에서 얼굴 등록시 단말기가 움직여야 할 궤도와 각도를 가이드하는 싱시예이다.

도 19에 도시된 바와같이, 얼굴 등록 버튼이 선택되면, 제어부(180)는 카메라 화면이 표시되는 적색 사각형 형태의 프리뷰 틀(80)을 표시한다. 상기 프리뷰 틀은 단말기를 움직이거나 기울이면 프리뷰 틀(80)도 해당 방향 및 각도로 대응되어 움직이거나 기울어진다. 사용자는 단말기를 움직여 프리뷰 틀(80)을 가이드 틀(81)에 맞춘다.

상기 프리뷰 틀(80)을 가이드 틀(801에 맞춰지면 사용자는 등록 버튼을 눌러 얼굴 등록을 수행할 수 있다. 다른 실시예로 제어부(180)는 프리뷰 틀(80)을 가이드 틀(81)에 맞춰지면 자동으로 얼굴 등록을 수행할 수도 있다.

3. 노크 코드와 얼굴 인식 모두 실패 시

도 20은 본 발명에서 노크 코드와 얼굴 인식 모두 실패 시의 잠금 해제 방법을 나타낸 실시예이다.

도 20에 도시된 바와같이, 노크 코드와 얼굴 인식에 의한 인증이 모두 실패하면, 제어부(180)는 LCD를 OFF한 상태에서 추가 인증 방법을 제공하여 사용자가 잠금을 해제할 수 있도록 한다. 상기 추가 인증방법은 터치 패턴을 그려 인증하는 방법 또는 PIN번호에 의한 인증을 포함할 수 있다.

도 21은 본 발명에서 호 수신시 노크 코드를 입력하여 호 수신을 수행하는 실시예이다.

호 수신시 전면 카메라를 동작시켜 얼굴 인식을 수행한 결과, 현재 전화를 받으려고 하는 사용자가 비인가(비등록) 사용자인 경우, 제어부(180)는 추가 인증을 요청할 수 있다. 상기 추가 인증은 노크 코드 입력일 수 있다.

노크 코드에 의한 인증이 성공하면 전화 통화를 수행할 수 있도록 하고, 통화 종료 후에는 화면 잠금을 해제함과 함께 전면 카메라를 계속 동작시키면서 사용자 식별을 수행한다. 사용자 식별결과 비등록 사용자인 경우에는 비등록 사용자에게 일부 기능이 제한됨을 통지함과 함께 사용자 등록을 유도한다.

반면에, 노크 코드에 의한 인증이 실패하면 일단 전화 통화를 수행할 수 있도록 하고 통화 종료 후에는 화면 잠금 상태를 유지한다.

본 발명은 얼굴 인식 수행에 필요한 시간이 사용자의 노크 코드 입력 시간보다 긴 경우를 효과적으로 대응하기 위해, 상황인지를 통해 사용자가 노크 코드를 입력할 것을 미리 예측하여 노크 코드 입력 전부터 전면 카메라 ON 및 얼굴 인식을 수행할 수 있으며, 노크 코드 입력이 완료되어도 일정시간 동안 얼굴 인식을 추가로 수행할 수 있다.

상술한 바와같이 본 발명은 사용자가 노크 코드 입력시 얼굴 인식을 동시에 수행하여 두 개의 보안인증이 모두 승인이 되는 경우에만 단말기의 잠금 해제를 허락하도록 함으로써 노크 코드를 단독으로 사용할 때보다 보안성을 향상시킬 수 있으며, 얼굴 인식 동작이 사용자의 노크 코드 입력을 방해하지 않기 때문에 사용자에게 추가적인 불편사항을 주지 않는 장점이 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

50, 51, 52 : LED램프
60, 61, 62 : 얼굴 인증 실패시의 표시정보
70 : 노크 코드 재설정 가이드 71 : 추가 보안 인증 화면
72 : 사용자 등록 가이드 80 : 프리뷰 틀
81 : 가이드 틀 151 : 디스플에이부
170 : 메모리 180 : 제어부

Claims (17)

1. LCD오프 상태에서 화면에 입력되는 노크 코드를 감지하는 단계;
   노크 코드 입력중에 전면 카메라를 통해 얼굴 인식을 수행하는 단계; 및
   노크 코드와 얼굴 인식에 의한 인증 조합에 의해 화면 잠금을 해제하는 단계;를 포함하는 이동 단말기의 화면 잠금 해제 방법.
2. 제1항에 있어서, 상기 잠금을 해제하는 단계는
   노크 코드와 얼굴 인식에 의한 인증이 모두 성공할 때 화면 잠금을 해제하는 것을 특징으로 하는 이동 단말기의 화면 잠금 해제 방법.
3. 제1항에 있어서, 상기 전면 카메라는
   첫 번째 노크 코드가 입력될 때 또는 노크 코드 입력 전에 상황인지 이벤트가 발생되었을 때 동작되는 것을 특징으로 하는 이동 단말기의 화면 잠금 해제 방법.
4. 제3항에 있어서, 상기 상황 인지 이벤트는
   단말기를 사용하려는 의도를 나타내는 동작으로, 수평상태에 놓인 단말기를 잡고 들어 올리거나, 단말기를 일정 각도로 기울이거나, 가방/주머니 속에서 단말기를 꺼내는 동작을 포함하는 것을 특징으로 하는 이동 단말기의 화면 잠금 해제 방법.
5. 제1항에 있어서, 상기 얼굴 인식을 수행할 때 얼굴 인식정보를 LED램프의 색상, 밝기 및 점멸 패턴을 변화시켜 출력하는 단계;를 추가로 포함하며,
   상기 얼굴 인식정보는
   카메라 프리뷰내에 얼굴 존재 유무,
   카메라 프리뷰내에 얼굴이 중앙에 위치하는지 유무; 및
   얼굴 인식의 성공 여부를 포함하는 것을 특징으로 하는 이동 단말기의 화면 잠금 해제 방법.
6. 제1항에 있어서, 상기 노크 코드와 얼굴 인식에 의한 인증 중 어느 하나가 실패하면 성공한 인증으로 잠금을 해제한 다음 추가 인증 또는 가이드 화면을 표시하는 단계;를 추가로 포함하는 것을 특징으로 하는 이동 단말기의 화면 잠금 해제 방법.
7. 제6항에 있어서, 상기 추가 인증은
   PIN번호에 의한 인증 및 터치 패턴 입력에 의한 인증을 포함하는 것을 특징으로 하는 이동 단말기의 화면 잠금 해제 방법.
8. 제6항에 있어서, 상기 노크 코드 인증은 실패하고 얼굴 인식에 의한 인증이 성공하면 노크 코드를 재설정하기 위한 가이드 화면을 제공하는 것을 특징으로 하는 이동 단말기의 화면 잠금 해제 방법.
9. 제6항에 있어서, 상기 노크 코드 인증은 성공하고 얼굴 인식에 의한 인증이 실패하면, 사용자 얼굴을 등록하기 위한 가이드 화면을 제공하는 것을 특징으로 하는 이동 단말기의 화면 잠금 해제 방법.
10. LCD오프 상태의 디스플레이부; 및
    디스플레이부상에 입력되는 노크 코드를 감지함과 함께 전면 카메라를 얼굴 인식을 수행하여, 노크 코드와 얼굴 인식에 의한 인증 조합에 의해 화면 잠금을 해제하는 제어부;를 포함하는 이동 단말기.
11. 제10항에 있어서, 상기 제어부는
    노크 코드와 얼굴 인식에 의한 인증이 모두 성공할 때 화면 잠금을 해제하는 것을 특징으로 하는 이동 단말기.
12. 제10항에 있어서, 상기 제어부는
    첫 번째 노크 코드가 입력될 때 또는 노크 코드 입력 전에 상황인지 이벤트가 발생되었을 때 전면 카메라를 동작시키는 것을 특징으로 하는 이동 단말기.
13. 제12항에 있어서, 상기 상황 인지 이벤트는
    단말기를 사용하려는 의도를 나타내는 동작으로, 수평상태에 놓인 단말기를 잡고 들어 올리거나, 단말기를 일정 각도로 기울이거나, 가방/주머니 속에서 단말기를 꺼내는 동작을 포함하는 것을 특징으로 하는 이동 단말기.
14. 제10항에 있어서, 상기 제어부는
    얼굴 인식을 수행할 때 얼굴 인식정보를 LED램프의 색상, 밝기 및 점멸 패턴을 변화시켜 출력하며,
    상기 얼굴 인식정보는
    카메라 프리뷰내에 얼굴 존재 유무,
    카메라 프리뷰내에 얼굴이 중앙에 위치하는지 유무; 및
    얼굴 인식의 성공 여부를 포함하는 것을 특징으로 하는 이동 단말기.
15. 제10항에 있어서, 상기 제어부는
    노크 코드와 얼굴 인식에 의한 인증 중 어느 하나가 실패하면 성공한 인증으로 잠금을 해제한 다음 추가 인증 또는 가이드 화면을 표시하는 것을 특징으로 하는 이동 단말기.
16. 제15항에 있어서, 상기 추가 인증은
    PIN번호에 의한 인증 및 터치 패턴 입력에 의한 인증을 포함하는 것을 특징으로 하는 이동 단말기.
17. 제15항에 있어서, 상기 제어부는
    노크 코드 인증은 실패하고 얼굴 인식에 의한 인증이 성공하면 노크 코드를 재설정하기 위한 가이드 화면을 제공하고,
    노크 코드 인증은 성공하고 얼굴 인식에 의한 인증이 실패하면 사용자 얼굴을 등록하기 위한 가이드 화면을 제공하는 것을 특징으로 하는 이동 단말기.

Images