KR102117261B1

KR102117261B1 - Range detection and bio-certification method, machine-readable storage medium and terminal

Info

Publication number: KR102117261B1
Application number: KR1020130023523A
Authority: KR
Inventors: 이진경; 권동욱; 김경일; 김민호; 성운탁; 정택성; 진영구; 최진욱
Original assignee: 삼성전자주식회사
Priority date: 2013-03-05
Filing date: 2013-03-05
Publication date: 2020-06-01
Also published as: KR20140109158A

Abstract

본 발명의 일 측면에 따른 거리 검출 및 생체 인증 방법은, 카메라 모듈에 의해 촬영된 이미지에서 피사체를 인식하는 단계와; 상기 피사체의 종류를 확인하는 단계와; 상기 피사체가 등록된 제1 피사체인 경우에, 적외선을 상기 피사체에 조사하고, 상기 피사체로부터 반사된 적외선을 검출하는 거리/생체 센서를 통해 단말과 상기 피사체 간의 거리를 검출하는 거리 검출 모드를 수행하는 단계와; 상기 피사체가 등록된 제2 피사체인 경우에, 상기 거리/생체 센서를 통해 상기 피사체를 인식하는 생체 인증 모드를 수행하는 단계를 포함한다.A distance detection and biometric authentication method according to an aspect of the present invention includes the steps of recognizing a subject from an image captured by a camera module; Confirming the type of the subject; When the subject is a registered first subject, performing a distance detection mode for irradiating infrared light to the subject and detecting a distance between the terminal and the subject through a distance / bio sensor that detects infrared light reflected from the subject Step and; And when the subject is a registered second subject, performing a biometric authentication mode for recognizing the subject through the distance / biometric sensor.

Description

RANGE DETECTION AND BIO-CERTIFICATION METHOD, MACHINE-READABLE STORAGE MEDIUM AND TERMINAL}

본 발명은 거리 검출 및 생체 인증 방법에 관한 것으로서, 특히 단말에서 거리/생체 센서를 이용하여 거리 검출 모드 및 생체 인증 모드를 전환하여 사용하는 방법에 관한 것이다. The present invention relates to a distance detection and biometric authentication method, and more particularly, to a method of switching and using a distance detection mode and a biometric authentication mode using a distance / biometric sensor in a terminal.

사용자에 의해 직접 제어되는 전자 기기는 적어도 하나의 디스플레이 장치를 구비하며, 사용자는 디스플레이 장치를 통해 해당 전자 기기의 각종 동작 상태나 어플리케이션 동작을 지켜 보면서 입력 장치를 통해 전자 기기를 제어할 수 있다. 특히, 휴대폰 등과 같이, 사용자에 의해 소지 가능하도록 제조되는 휴대용 단말은 그 제한된 크기로 인하여 상하좌우 이동을 조작받기 위한 사방향 버튼 등을 구비하지 않고, 사용자의 스크린 터치 입력이 가능한 입력 장치(즉, 터치 스크린)나, 카메라 모듈 및 TOF(Time Of Flight) 카메라를 이용한 모듈 인식을 통해 사용자 인터페이스를 제공하는 방식이 널리 제공되고 있다.The electronic device directly controlled by the user has at least one display device, and the user can control the electronic device through the input device while observing various operation states or application operations of the corresponding electronic device through the display device. Particularly, a portable terminal manufactured to be carried by a user, such as a mobile phone, does not have a four-way button for receiving up and down, left and right movements due to its limited size, and is an input device capable of a user's screen touch input (ie A method of providing a user interface through module recognition using a touch screen), a camera module, and a time of flight (TOF) camera has been widely provided.

또한, 단말에 대한 보안의 중요성은 증가하고 있다. 보안 기술로서 다양한 생체 인증 기술이 연구 중이며 홍채 인식 기술은 타 기술 대비 높은 보안성으로 현재 활용 중에 있다. In addition, the importance of security for the terminal is increasing. As a security technology, various biometric authentication technologies are being researched, and the iris recognition technology is currently being used with higher security than other technologies.

본 발명의 특정 실시 예들의 목적은 종래기술과 관련된 문제점들 및/또는 단점들 중의 적어도 하나를 적어도 부분적으로 해결, 경감 또는 제거하는 것이다.The purpose of certain embodiments of the present invention is to at least partially solve, mitigate or eliminate at least one of the problems and / or disadvantages associated with the prior art.

본 발명의 일 목적은 TOF(Time Of Flight) 카메라와 같은 센서를 이용하여 생체 인증 및 거리 검출을 전환하여 수행할 수 있는 방법을 제공함에 있다. An object of the present invention is to provide a method that can be performed by switching biometric authentication and distance detection using a sensor such as a Time Of Flight (TOF) camera.

본 발명의 일 측면에 따른 거리 검출 및 생체 인증 방법은, 카메라 모듈에 의해 촬영된 이미지에서 피사체를 인식하는 단계와; 상기 피사체의 종류를 확인하는 단계와; 상기 피사체가 등록된 제1 피사체인 경우에, 적외선을 상기 피사체에 조사하고, 상기 피사체로부터 반사된 적외선을 검출하는 거리/생체 센서를 통해 단말과 상기 피사체 간의 거리를 검출하는 거리 검출 모드를 수행하는 단계와; 상기 피사체가 등록된 제2 피사체인 경우에, 상기 거리/생체 센서를 통해 상기 피사체를 인식하는 생체 인증 모드를 수행하는 단계를 포함한다.A distance detection and biometric authentication method according to an aspect of the present invention includes the steps of recognizing a subject from an image photographed by a camera module; Confirming the type of the subject; When the subject is a registered first subject, performing a distance detection mode for irradiating infrared light to the subject and detecting a distance between the terminal and the subject through a distance / bio sensor that detects infrared light reflected from the subject Step and; And when the subject is a registered second subject, performing a biometric authentication mode for recognizing the subject through the distance / biometric sensor.

본 발명의 다른 측면에 따른 거리 검출 및 생체 인증 방법은, 카메라 모듈에 의해 촬영된 이미지에서 피사체를 검출하는 단계와; 적외선을 상기 피사체에 조사하고, 상기 피사체로부터 반사된 적외선을 검출하는 거리/생체 센서를 통해 단말과 상기 피사체 간의 거리를 검출하는 거리 검출 모드를 수행하는 단계와; 상기 단말과 상기 피사체 간의 거리가 미리 설정된 임계 값 이내인 경우에 상기 거리/생체 센서를 통해 상기 피사체를 인식하는 생체 인증 모드를 수행하는 단계를 포함한다.A distance detection and biometric authentication method according to another aspect of the present invention includes the steps of detecting a subject in an image photographed by a camera module; Performing a distance detection mode for irradiating infrared light onto the subject and detecting a distance between the terminal and the subject through a distance / biometric sensor detecting infrared light reflected from the subject; And performing a biometric authentication mode for recognizing the subject through the distance / biometric sensor when the distance between the terminal and the subject is within a preset threshold.

본 발명의 또 다른 측면에 따른 거리 검출 및 생체 인증을 제공하는 단말은, 촬영된 이미지를 출력하는 카메라 모듈과; 적외선을 피사체에 조사하고, 상기 피사체로부터 반사된 적외선을 검출하는 거리/생체 센서와; 상기 이미지에서 상기 피사체를 인식하고, 상기 피사체의 종류를 확인하고, 상기 피사체가 등록된 제1 피사체인 경우에 상기 거리/생체 센서를 통해 상기 단말과 상기 피사체 간의 거리를 검출하는 거리 검출 모드를 수행하고, 상기 피사체가 등록된 제2 피사체인 경우에 상기 거리/생체 센서를 통해 상기 피사체를 인식하는 생체 인증 모드를 수행하는 제어부를 포함한다.A terminal providing distance detection and biometric authentication according to another aspect of the present invention includes a camera module for outputting a captured image; A distance / biometric sensor that irradiates infrared light onto a subject and detects infrared light reflected from the subject; Performs a distance detection mode for recognizing the subject from the image, checking the type of the subject, and detecting the distance between the terminal and the subject through the distance / biometric sensor when the subject is a registered first subject And a control unit performing a biometric authentication mode for recognizing the subject through the distance / biometric sensor when the subject is a registered second subject.

본 발명의 또 다른 측면에 따른 거리 검출 및 생체 인증을 제공하는 단말은, 촬영된 이미지를 출력하는 카메라 모듈과; 적외선을 피사체에 조사하고, 상기 피사체로부터 반사된 적외선을 검출하는 거리/생체 센서와; 상기 이미지에서 상기 피사체를 인식하고, 상기 거리/생체 센서를 통해 상기 단말과 상기 피사체 간의 거리를 검출하는 거리 검출 모드를 수행하고, 상기 단말과 상기 피사체 간의 거리가 미리 설정된 임계 값 이내인 경우에 상기 거리/생체 센서를 통해 상기 피사체를 인식하는 생체 인증 모드를 수행하는 수행하는 제어부를 포함한다.A terminal providing distance detection and biometric authentication according to another aspect of the present invention includes a camera module for outputting a captured image; A distance / biometric sensor that irradiates infrared light onto a subject and detects infrared light reflected from the subject; Recognize the subject in the image, perform a distance detection mode for detecting the distance between the terminal and the subject through the distance / biometric sensor, and when the distance between the terminal and the subject is within a preset threshold value, And a control unit performing a biometric authentication mode for recognizing the subject through a distance / biometric sensor.

본 발명에 따르면, TOF(Time Of Flight) 카메라와 같은 센서를 이용하여 생체 인증 및 거리 검출을 전환하여 수행할 수 있다는 이점이 있다. According to the present invention, there is an advantage in that biometric authentication and distance detection can be switched by using a sensor such as a Time Of Flight (TOF) camera.

도 1은 본 발명의 바람직한 실시 예에 따른 단말을 나타내는 개략적인 블록도,
도 2는 본 발명의 실시 예에 따른 단말의 전면 사시도를 나타낸 도면,
도 3은 본 발명의 실시 예에 따른 단말의 후면 사시도를 나타낸 도면,
도 4는 본 발명의 제1 예에 따른 거리 검출 및 생체 인증 방법을 나타내는 흐름도,
도 5는 거리 검출 모드를 설명하기 위한 도면,
도 6 및 도 7은 생체 인증 모드를 설명하기 위한 도면들,
도 8은 본 발명의 제2 예에 따른 거리 검출 및 생체 인증 방법을 나타내는 흐름도,
도 9 및 도 10은 본 발명의 제2 예에 따른 거리 검출 및 생체 인증 방법을 설명하기 위한 도면들,
도 11은 본 발명의 제3 예에 따른 거리 검출 및 생체 인증 방법을 나타내는 흐름도.1 is a schematic block diagram showing a terminal according to a preferred embodiment of the present invention,
2 is a view showing a front perspective view of a terminal according to an embodiment of the present invention,
3 is a view showing a rear perspective view of a terminal according to an embodiment of the present invention,
4 is a flowchart showing a distance detection and biometric authentication method according to a first example of the present invention,
5 is a view for explaining a distance detection mode,
6 and 7 are diagrams for explaining a biometric authentication mode,
8 is a flowchart illustrating a distance detection and biometric authentication method according to a second example of the present invention,
9 and 10 are views for explaining a distance detection and biometric authentication method according to a second example of the present invention,
11 is a flowchart illustrating a distance detection and biometric authentication method according to a third example of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하여 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The present invention can be applied to various changes and can have various embodiments, and specific embodiments will be described in detail with reference to the drawings. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from other components. For example, the first component may be referred to as a second component without departing from the scope of the present invention, and similarly, the second component may be referred to as a first component. The term and / or includes a combination of a plurality of related described items or any one of a plurality of related described items.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, terms such as “include” or “have” are intended to indicate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, one or more other features. It should be understood that the existence or addition possibilities of fields or numbers, steps, operations, components, parts or combinations thereof are not excluded in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person skilled in the art to which the present invention pertains. Terms, such as those defined in a commonly used dictionary, should be interpreted as having meanings consistent with meanings in the context of related technologies, and should not be interpreted as ideal or excessively formal meanings unless explicitly defined in the present application. Does not.

본 발명에서 단말은 터치 스크린을 구비하는 임의의 장치일 수 있으며, 단말은 휴대 단말, 이동 단말, 통신 단말, 휴대용 통신 단말, 휴대용 이동 단말 등으로 칭할 수 있다. In the present invention, the terminal may be any device having a touch screen, and the terminal may be referred to as a portable terminal, a mobile terminal, a communication terminal, a portable communication terminal, or a portable mobile terminal.

예를 들어, 단말은 스마트폰, 휴대폰, 게임기, TV, 디스플레이 장치, 차량용 헤드 유닛, 노트북 컴퓨터, 랩탑 컴퓨터, 태블릿(Tablet) 컴퓨터, PMP(Personal Media Player), PDA(Personal Digital Assistants) 등일 수 있다. 단말은 무선 통신 기능을 갖는 포켓 사이즈의 휴대용 통신 단말로서 구현될 수 있다. 또한, 단말은 플렉서블 장치 또는 플렉서블 디스플레이 장치일 수 있다. For example, the terminal may be a smart phone, a mobile phone, a game machine, a TV, a display device, a vehicle head unit, a laptop computer, a laptop computer, a tablet computer, a personal media player (PMP), personal digital assistants (PDA), or the like. . The terminal may be implemented as a pocket-sized portable communication terminal having a wireless communication function. Further, the terminal may be a flexible device or a flexible display device.

이러한 단말의 대표적인 구성은 휴대폰에 대한 것이며, 이러한 단말의 대표적인 구성에서 일부 구성 소자는 필요에 따라 생략되거나 변경될 수 있다.A typical configuration of such a terminal is for a mobile phone, and in the typical configuration of such a terminal, some constituent elements may be omitted or changed as necessary.

도 1은 본 발명의 바람직한 실시 예에 따른 단말을 나타내는 개략적인 블록도이고, 도 2는 본 발명의 실시 예에 따른 단말의 전면 사시도를 나타낸 도면이고, 도 3은 본 발명의 실시 예에 따른 단말의 후면 사시도를 나타낸 도면이다.1 is a schematic block diagram showing a terminal according to a preferred embodiment of the present invention, FIG. 2 is a front perspective view of a terminal according to an embodiment of the present invention, and FIG. 3 is a terminal according to an embodiment of the present invention It is a view showing a rear perspective view of.

도 1을 참조하면, 단말(100)은 통신 모듈(120), 커넥터(165), 및 이어폰 연결잭(167) 중 적어도 하나를 이용하여 외부 전자 장치(도시되지 아니함)와 연결될 수 있다. 이러한, 전자 장치는 상기 단말(100)에 탈착되어 유선으로 연결 가능한 이어폰(Earphone), 외부 스피커(External speaker), USB(Universal Serial Bus) 메모리, 충전기, 크래들/도크(Cradle/Dock), DMB 안테나, 모바일 결제 관련 장치, 건강 관리 장치(혈당계 등), 게임기, 자동차 네비게이션 장치 등 다양한 장치들 중의 하나를 포함할 수 있다. 또한, 전자 장치는 무선으로 연결 가능한 블루투스 통신 장치, NFC(Near Field Communication) 장치, 와이파이 다이렉트(WiFi Direct) 통신 장치, 무선 액세스 포인트(AP, Access Point)를 포함할 수 있다. 그리고, 단말(100)은 유선 또는 무선을 이용하여 다른 휴대 단말 또는 전자 장치, 예를 들어, 휴대폰, 스마트폰, 태블릿 PC, 데스크탑 PC 및 서버 중의 하나와 연결될 수 있다. Referring to FIG. 1, the terminal 100 may be connected to an external electronic device (not shown) using at least one of the communication module 120, the connector 165, and the earphone connection jack 167. The electronic device is detachable from the terminal 100 and can be connected via a wired earphone, external speaker, USB (Universal Serial Bus) memory, charger, cradle / dock, DMB antenna , Mobile payment-related devices, health care devices (such as blood glucose meters), game machines, and car navigation devices. In addition, the electronic device may include a wirelessly connectable Bluetooth communication device, an NFC (Near Field Communication) device, a WiFi Direct communication device, and a wireless access point (AP). In addition, the terminal 100 may be connected to one of other portable terminals or electronic devices, for example, a mobile phone, a smart phone, a tablet PC, a desktop PC, and a server, using wired or wireless.

도 1을 참조하면, 단말(100)은 적어도 하나의 터치 스크린(190) 및 적어도 하나의 터치 스크린 컨트롤러(195)를 포함한다. 또한, 단말(100)은 제어부(110), 통신 모듈(120), 멀티미디어 모듈(140), 카메라 모듈(150), 입/출력 모듈(160), 센서 모듈(170), 저장부(175) 및 전원 공급부(180)를 포함한다. Referring to FIG. 1, the terminal 100 includes at least one touch screen 190 and at least one touch screen controller 195. In addition, the terminal 100 includes a control unit 110, a communication module 120, a multimedia module 140, a camera module 150, an input / output module 160, a sensor module 170, a storage unit 175, and It includes a power supply unit 180.

통신 모듈(120)은 이동통신 모듈(121), 서브 통신 모듈(130) 및 방송통신 모듈(141)을 포함한다. The communication module 120 includes a mobile communication module 121, a sub communication module 130, and a broadcast communication module 141.

서브 통신 모듈(130)은 무선랜 모듈(131) 및 근거리 통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 오디오 재생 모듈(142) 및 동영상재생 모듈(143) 중 적어도 하나를 포함한다. 카메라 모듈(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함한다. 또한, 본 발명의 단말(100)의 카메라 모듈(150)은 단말(100)의 주 용도에 따라 제1 및/또는 제2 카메라(151, 152)의 줌 인/줌 아웃을 위한 경통부(155), 상기 경통부(155)의 줌 인/줌 아웃을 위해 경통부(155)의 움직임을 제어하는 모터부(154), 촬영을 위해 광원을 제공하는 플래시(153) 중 적어도 하나를 포함할 수 있다. 그리고, 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동 소자(164), 커넥터(165) 및 키패드(166) 중 적어도 하나를 포함한다. The sub-communication module 130 includes at least one of the wireless LAN module 131 and the short-range communication module 132, and the multimedia module 140 includes at least one of the audio playback module 142 and the video playback module 143. Includes. The camera module 150 includes at least one of the first camera 151 and the second camera 152. In addition, the camera module 150 of the terminal 100 of the present invention is a barrel 155 for zooming in / out of the first and / or second cameras 151 and 152 according to the main use of the terminal 100 , A motor unit 154 that controls the movement of the barrel 155 for zooming in / out of the barrel 155, and at least one of a flash 153 that provides a light source for imaging. In addition, the input / output module 160 includes at least one of a button 161, a microphone 162, a speaker 163, a vibration element 164, a connector 165, and a keypad 166.

제어부(110)는 CPU(111), 단말(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 112) 및 단말(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 단말(100)에서 수행되는 작업을 위한 기억 영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부 버스(bus)를 통해 상호 연결될 수 있다. The control unit 110 stores the signal or data input from the outside of the terminal 111 and the ROM 111 and the control program for controlling the CPU 111, the terminal 100, or the terminal 100. The RAM may be used as a storage area for the work to be performed. The CPU 111 may include a single core, dual core, triple core, or quad core. The CPU 111, the ROM 112, and the RAM 113 may be interconnected through an internal bus.

또한, 제어부(110)는 통신 모듈(120), 멀티미디어 모듈(140), 카메라 모듈(150), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원 공급부(180), 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 제어할 수 있다. In addition, the control unit 110 includes a communication module 120, a multimedia module 140, a camera module 150, an input / output module 160, a sensor module 170, a storage unit 175, a power supply unit 180 , The touch screen 190 and the touch screen controller 195 may be controlled.

제어부(110)는 터치 스크린(190) 상에 복수의 객체 또는 아이템이 표시된 상태에서 입력 유닛(168), 사용자의 손가락 등의 터치 가능한 사용자 입력 수단이 어느 하나의 객체를 터치하거나, 그에 접근하거나, 그에 근접하게 위치함에 따른 사용자 입력을 감지하고, 사용자 입력이 발생한 터치 스크린(190) 상의 위치에 대응하는 객체를 식별한다. 터치 스크린(190)을 통한 사용자 입력은 객체를 직접 터치하는 직접 터치 입력과, 미리 설정된 인식 거리 이내로 객체에 접근하지만 객체를 직접 터치하지 않는 간접 터치 입력인 호버링 입력 중의 하나를 포함한다. 예를 들어, 입력 유닛(168)을 터치 스크린(190)에 가까이 위치시키면, 입력 유닛(168)의 연직 하방에 위치하는 객체가 선택될 수 있다. 본 발명에서 사용자 입력은, 터치 스크린(190)을 통한 사용자 입력 외에, 카메라 모듈(150)을 통한 제스처 입력, 버튼(161) 또는 키패드(166)를 통한 스위치/버튼 입력, 마이크(162)를 통한 음성 입력 등을 포함한다. The control unit 110 is a touch screen 190, when a plurality of objects or items are displayed, a touchable user input means such as an input unit 168 or a user's finger touches or approaches any one object, The user input is sensed as it is positioned close to it, and an object corresponding to the location on the touch screen 190 where the user input has occurred is identified. The user input through the touch screen 190 includes one of a direct touch input that directly touches the object and a hovering input that is an indirect touch input that approaches the object within a preset recognition distance but does not directly touch the object. For example, when the input unit 168 is positioned close to the touch screen 190, an object positioned vertically below the input unit 168 may be selected. In the present invention, the user input, in addition to the user input through the touch screen 190, gesture input through the camera module 150, switch / button input through the button 161 or keypad 166, through the microphone 162 And voice input.

객체 또는 아이템(또는 기능 아이템)은 단말(100)의 터치 스크린(190) 상에 표시되거나, 표시될 수 있는 것으로서, 예를 들어, 애플리케이션, 메뉴, 문서, 위젯, 사진, 동영상, 이메일, SMS 메시지 및 MMS 메시지 중 적어도 하나를 나타내며, 사용자 입력 수단에 의해 선택, 실행, 삭제, 취소, 저장 및 변경될 수 있다. 이러한 아이템은 버튼, 아이콘(또는 단축 아이콘), 썸네일 이미지 또는 단말에서 적어도 하나의 객체를 저장하고 있는 폴더를 포괄하는 의미로도 사용될 수 있다. 또한, 이러한 아이템은 이미지, 텍스트 등의 형태로 표시될 수 있다.The object or item (or function item) is displayed on or displayed on the touch screen 190 of the terminal 100, for example, an application, menu, document, widget, photo, video, email, SMS message And an MMS message, which may be selected, executed, deleted, canceled, stored, and changed by user input means. Such an item may also be used to mean a button, an icon (or shortcut icon), a thumbnail image, or a folder storing at least one object in the terminal. In addition, these items may be displayed in the form of images, text, and the like.

단축 아이콘은 각각의 애플리케이션 또는 단말(100)에서 기본적으로 제공되는 통화, 연락처, 메뉴 등의 빠른 실행을 위해 단말(100)의 터치 스크린(190) 상에 표시되는 이미지로서, 이를 실행하기 위한 명령 또는 선택이 입력되면 해당 애플리케이션을 실행한다.The shortcut icon is an image displayed on the touch screen 190 of the terminal 100 for quick execution of a call, a contact, a menu, etc. basically provided in each application or terminal 100, a command for executing it, or When the selection is entered, the application is executed.

또한, 제어부(110)는 입력 유닛(168)이 터치 스크린(190)에 접근하거나, 그에 근접하게 위치함에 따른 호버링(Hovering) 이벤트와 같은 사용자 입력 이벤트를 감지할 수 있다. In addition, the control unit 110 may detect a user input event such as a hovering event as the input unit 168 approaches or approaches the touch screen 190.

제어부(110)는 미리 설정된 아이템에 대해, 또는 미리 설정된 방식에 따라 사용자 입력 이벤트가 발생되면, 사용자 입력 이벤트에 대응하는 미리 설정된 프로그램 동작을 수행한다. The controller 110 performs a preset program operation corresponding to the user input event when a user input event occurs for a preset item or according to a preset method.

제어부(110)는 제어 신호를 입력 유닛(168) 또는 진동 소자(164)로 출력할 수 있다. 이러한 제어 신호는 진동 패턴에 대한 정보를 포함할 수 있으며, 입력 유닛(168) 또는 진동 소자(164)는 이러한 진동 패턴에 따른 진동을 생성한다. 이러한 진동 패턴에 대한 정보는 진동 패턴 자체, 진동 패턴의 식별자 등을 나타낼 수 있다. 또는, 이러한 제어 신호는 단순히 진동 생성의 요청만을 포함할 수도 있다. The control unit 110 may output a control signal to the input unit 168 or the vibration element 164. The control signal may include information on the vibration pattern, and the input unit 168 or the vibration element 164 generates vibration according to the vibration pattern. The information about the vibration pattern may indicate the vibration pattern itself, an identifier of the vibration pattern, and the like. Alternatively, this control signal may simply include a request for vibration generation.

단말(100)은 성능에 따라 이동 통신 모듈(121), 무선랜 모듈(131), 및 근거리 통신 모듈(132) 중 적어도 하나를 포함할 수 있다. The terminal 100 may include at least one of a mobile communication module 121, a wireless LAN module 131, and a short-range communication module 132 according to performance.

이동 통신 모듈(121)은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 단말(100)이 외부 전자 장치와 연결되도록 할 수 있다. 이동 통신 모듈(121)은 단말(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿 PC 또는 다른 전자 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다. The mobile communication module 121 may allow the terminal 100 to be connected to an external electronic device through mobile communication by using at least one- or multiple-antennas (not shown) under the control of the controller 110. . The mobile communication module 121 is a mobile phone (not shown), a smart phone (not shown), a tablet PC or other electronic device (not shown) having a phone number input to the terminal 100, a voice call, a video call , Send / receive wireless signals for text messages (SMS) or multimedia messages (MMS).

서브 통신 모듈(130)은 무선랜 모듈(131)과 근거리 통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리 통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리 통신 모듈(132)을 모두 포함할 수 있다. The sub communication module 130 may include at least one of the wireless LAN module 131 and the short range communication module 132. For example, it may include only the wireless LAN module 131, only the short-range communication module 132, or both the wireless LAN module 131 and the short-range communication module 132.

무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리 통신 모듈(132)은 제어부(110)의 제어에 따라 단말(100)과 외부 전자 장치 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신 방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다. The wireless LAN module 131 may be connected to the Internet at a place where a wireless access point (AP) (not shown) is installed under the control of the controller 110. The wireless LAN module 131 supports a wireless LAN standard (IEEE802.11x) of the American Institute of Electrical and Electronic Engineers (IEEE). The short-range communication module 132 may perform short-range communication wirelessly between the terminal 100 and an external electronic device under the control of the control unit 110. The short-range communication method may include Bluetooth, infrared data association (IrDA), Wi-Fi Direct communication, and Near Field Communication (NFC).

이러한, 서브 통신 모듈(130)을 통해서 제어부(110)는 햅틱 패턴에 따른 제어 신호를 입력 유닛(168)으로 전송할 수 있다.Through the sub communication module 130, the control unit 110 may transmit a control signal according to the haptic pattern to the input unit 168.

방송 통신 모듈(141)은 제어부(110)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다.The broadcast communication module 141 is a broadcast signal (eg, TV broadcast signal, radio broadcast signal or data broadcast signal) transmitted from a broadcast station through a broadcast communication antenna (not shown) under the control of the control unit 110, and a broadcast unit information (Eg, EPS (Electric Program Guide) or ESG (Electric Service Guide)) can be received.

멀티미디어 모듈(140)은 오디오 재생 모듈(142) 또는 동영상 재생 모듈(143)을 포함할 수 있다. 오디오 재생 모듈(142)은 제어부(110)의 제어에 따라 저장부(175)에 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 동영상 재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 재생할 수 있다.The multimedia module 140 may include an audio playback module 142 or a video playback module 143. The audio playback module 142 may play digital audio files (eg, files having a file extension of mp3, wma, ogg, or wav) stored or received in the storage unit 175 under the control of the control unit 110. The video playback module 143 may play digital video files (eg, files having a file extension of mpeg, mpg, mp4, avi, mov, or mkv) that are stored or received under the control of the controller 110.

멀티미디어 모듈(140)은 제어부(110)에 통합될 수 있다. The multimedia module 140 may be integrated into the control unit 110.

카메라 모듈(150)은 제어부(110)의 제어에 따라 정지 이미지 또는 동영상을 촬영하는 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함할 수 있다. 또한, 카메라 모듈(150)은 피사체를 촬영하기 위해 줌 인/줌 아웃을 수행하는 경통부(155), 상기 경통부(155)의 움직임을 제어하는 모터부(154), 피사체를 촬영하기 위해 필요한 보조 광원을 제공하는 플래시(153) 중 적어도 하나를 포함할 수 있다. 제1 카메라(151)는 상기 단말(100) 전면에 배치되고, 제2 카메라(152)는 상기 단말(100)의 후면에 배치될 수 있다. The camera module 150 may include at least one of a first camera 151 and a second camera 152 that captures a still image or video under the control of the controller 110. In addition, the camera module 150 includes a tube part 155 that performs zoom-in / zoom-out to photograph a subject, a motor part 154 that controls movement of the tube part 155, and an auxiliary light source necessary to photograph the subject It may include at least one of the flash 153 to provide. The first camera 151 may be disposed on the front of the terminal 100, and the second camera 152 may be disposed on the rear of the terminal 100.

제1 및 제2 카메라(151, 152)는 각각 렌즈계, 이미지 센서 등을 포함할 수 있다. 제1 및 제2 카메라(151, 152)는 각각 렌즈계를 통해 입력되는(또는 촬영되는) 광신호를 전기적인 이미지 신호(또는 디지털 이미지)로 변환하여 제어부(110)로 출력하고, 사용자는 이러한 제1 및 제2 카메라(151, 152)를 통해 동영상 또는 정지 이미지를 촬영할 수 있다.The first and second cameras 151 and 152 may each include a lens system, an image sensor, and the like. The first and second cameras 151 and 152 convert optical signals input (or photographed) through the lens system into electrical image signals (or digital images), and output them to the control unit 110. A video or still image may be captured through the first and second cameras 151 and 152.

입/출력 모듈(160)은 적어도 하나의 버튼(161), 적어도 하나의 마이크(162), 적어도 하나의 스피커(163), 적어도 하나의 진동 소자(164), 커넥터(165), 키패드(166), 이어폰 연결잭(167) 및 입력 유닛(168) 중 적어도 하나를 포함할 수 있다. 그리고, 이러한 입/출력 모듈(160)은 이에 국한되지 않으며, 마우스, 트랙볼, 조이스틱 또는 커서 방향 키들과 같은 커서 컨트롤(cursor control)이 터치 스크린(190) 상의 커서의 움직임을 제어하기 위해 제공될 수 있다.The input / output module 160 includes at least one button 161, at least one microphone 162, at least one speaker 163, at least one vibration element 164, a connector 165, and a keypad 166. , It may include at least one of the earphone connection jack 167 and the input unit 168. In addition, the input / output module 160 is not limited thereto, and a cursor control such as a mouse, trackball, joystick, or cursor direction keys may be provided to control the movement of the cursor on the touch screen 190. have.

버튼(161)은 상기 단말(100)의 하우징(또는 케이스)의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼, 볼륨 버튼, 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼 중 적어도 하나를 포함할 수 있다.The button 161 may be formed on the front, side, or rear of the housing (or case) of the terminal 100, a power / lock button, a volume button, a menu button, a home button, a back button, and It may include at least one of the search buttons.

마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 소리를 입력 받아 전기적인 신호를 생성한다. The microphone 162 receives voice or sound under control of the control unit 110 to generate an electrical signal.

스피커(163)는 제어부(110)의 제어에 따라 다양한 신호 또는 데이터(예를 들어, 무선 데이터, 방송 데이터, 디지털 오디오 데이터, 디지털 동영상 데이터 등)에 대응되는 소리를 단말(100)의 외부로 출력할 수 있다. 스피커(163)는 단말(100)이 수행하는 기능에 대응되는 소리(예를 들어, 전화 통화에 대응되는 버튼 조작음, 통화 연결음, 상대방 사용자의 음성 등)를 출력할 수 있다. 스피커(163)는 상기 단말(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.The speaker 163 outputs sounds corresponding to various signals or data (for example, wireless data, broadcast data, digital audio data, digital video data, etc.) under the control of the control unit 110 to the outside of the terminal 100 can do. The speaker 163 may output a sound corresponding to a function performed by the terminal 100 (for example, a button operation sound corresponding to a phone call, a call connection sound, and the voice of the other user). The speaker 163 may be formed in one or a plurality of appropriate positions or positions of the housing of the terminal 100.

진동 소자(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 단말(100)은 다른 장치(도시되지 아니함)로부터 음성 또는 화상 통화가 수신되는 경우, 진동 소자(164)가 동작한다. 진동 소자(164)는 상기 단말(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동 소자(164)는 터치 스크린(190)을 통한 사용자 입력에 대응하여 동작할 수 있다. The vibration element 164 may convert electrical signals into mechanical vibrations under the control of the controller 110. For example, when the terminal 100 in the vibration mode receives a voice or video call from another device (not shown), the vibration element 164 operates. One or more vibration elements 164 may be formed in the housing of the terminal 100. The vibration element 164 may operate in response to a user input through the touch screen 190.

커넥터(165)는 상기 단말(100)과 외부 전자 장치 또는 전원 소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부(110)는 커넥터(165)에 연결된 유선 케이블을 통해 단말(100)의 저장부(175)에 저장된 데이터를 외부 전자 장치로 전송하거나 외부 전자 장치로부터 데이터를 수신할 수 있다. 단말(100)은 커넥터(165)에 연결된 유선 케이블을 통해 전원 소스로부터 전력을 수신하거나, 전원 소스를 이용하여 배터리(도시되지 아니함)를 충전할 수 있다.The connector 165 may be used as an interface for connecting the terminal 100 to an external electronic device or a power source (not shown). The control unit 110 may transmit data stored in the storage unit 175 of the terminal 100 to an external electronic device or receive data from the external electronic device through a wired cable connected to the connector 165. The terminal 100 may receive power from a power source through a wired cable connected to the connector 165 or charge a battery (not shown) using the power source.

키패드(166)는 단말(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 단말(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치 스크린(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 단말(100)에 형성되는 물리적인 키패드는 단말(100)의 성능 또는 구조에 따라 제외될 수 있다. The keypad 166 may receive a key input from a user for control of the terminal 100. The keypad 166 includes a physical keypad (not shown) formed on the terminal 100 or a virtual keypad (not shown) displayed on the touch screen 190. The physical keypad formed on the terminal 100 may be excluded depending on the performance or structure of the terminal 100.

이어폰(도시되지 아니함)은 이어폰 연결잭(Earphone Connecting Jack, 167)에 삽입되어 상기 단말(100)에 연결될 수 있다. Earphones (not shown) may be inserted into the earphone connecting jack (167) to be connected to the terminal 100.

입력 유닛(168)은 단말(100) 내부에 삽입되어 보관될 수 있으며, 사용시에는 상기 단말(100)로부터 인출 또는 분리될 수 있다. 이러한, 입력 유닛(168)이 삽입되는 단말(100) 내부의 일 영역에는 상기 입력 유닛(168)의 장착 및 탈착에 대응하여 동작하는 탈/부착 인식 스위치(169)가 구비되어 있고, 탈/부착 인식 스위치(169)는 상기 입력 유닛(168)의 장착 및 분리에 대응하는 신호를 제어부(110)로 출력할 수 있다. 탈/부착 인식 스위치(169)는 상기 입력 유닛(168)의 장착시 직·간접적으로 접촉되도록 구성될 수 있다. 이에 따라, 탈/부착 인식 스위치(169)는 상기 입력 유닛(168)과의 접촉 여부에 기초하여, 상기 입력 유닛(168)의 장착 또는 분리에 대응하는 신호(즉, 입력 유닛(168)의 장착 또는 분리를 통지하는 신호)를 생성하여 제어부(110)로 출력한다. The input unit 168 may be inserted and stored inside the terminal 100, and when used, may be withdrawn or separated from the terminal 100. In this, an area inside the terminal 100 into which the input unit 168 is inserted is provided with a detach / attachment recognition switch 169 that operates in response to mounting and detachment of the input unit 168, and detach / attach. The recognition switch 169 may output a signal corresponding to the installation and removal of the input unit 168 to the control unit 110. The detach / attachment recognition switch 169 may be configured to contact directly or indirectly when the input unit 168 is mounted. Accordingly, the detach / attachment recognition switch 169 is equipped with a signal corresponding to the mounting or dismounting of the input unit 168 (that is, mounting of the input unit 168) based on whether the input unit 168 is in contact. Alternatively, a signal for notifying separation is generated and output to the control unit 110.

센서 모듈(170)은 단말(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서 모듈(170)은 사용자의 단말(100)에 대한 접근 여부를 검출하는 근접 센서, 단말(100) 주변의 빛의 양을 검출하는 조도 센서(도시되지 아니함), 또는 단말(100)의 동작(예를 들어, 단말(100)의 회전, 단말(100)의 가속 또는 진동)을 검출하는 모션 센서(도시되지 아니함), 단말(100)의 회전 운동을 검출하는 자이로스코프, 단말(100)의 가속 운동을 검출하는 가속도계, 지구 자기장을 이용해 단말(100)의 방위(point of the compass)를 검출하는 지자기 센서(Geo-magnetic Sensor), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter), GPS 모듈(157) 등의 적어도 하나의 센서를 포함할 수 있다. The sensor module 170 includes at least one sensor that detects the state of the terminal 100. For example, the sensor module 170 may be a proximity sensor that detects whether the user has access to the terminal 100, an illuminance sensor (not shown) that detects the amount of light around the terminal 100, or the terminal 100 ) (Motion sensor for detecting the rotation of the terminal 100, the acceleration or vibration of the terminal 100) (not shown), the gyroscope for detecting the rotational motion of the terminal 100, the terminal ( An accelerometer that detects the acceleration motion of 100), a geo-magnetic sensor that detects the point of the compass of the terminal 100 using the earth's magnetic field, and a gravity sensor that detects the direction of action of gravity ), At least one sensor, such as an altimeter that detects altitude by measuring atmospheric pressure, and a GPS module 157.

또한, 센서 모듈(170)은 제1 및 제2 거리/생체 센서(171, 176)를 포함한다. In addition, the sensor module 170 includes first and second distance / biometric sensors 171 and 176.

제1 거리/생체 센서(171)는 단말(100)의 전면에 배치되며, 제1 거리/생체 센서(171)는 제1 적외선 광원(172)과 제1 적외선 카메라(173)를 포함한다. 제1 적외선 광원(172)은 적외선을 출력하고, 제1 적외선 카메라(173)는 피사체로부터 반사된 적외선을 검출한다. 예를 들어, 제1 적외선 광원(172)은 행렬 구조의 LED 어레이로 구성될 수 있다. The first distance / biometric sensor 171 is disposed on the front of the terminal 100, and the first distance / biometric sensor 171 includes a first infrared light source 172 and a first infrared camera 173. The first infrared light source 172 outputs infrared light, and the first infrared camera 173 detects infrared light reflected from the subject. For example, the first infrared light source 172 may be configured as a matrix-structured LED array.

예를 들어, 제1 적외선 카메라(173)는 적외선을 통과시키고 적외선 이외의 파장 대역을 차단하는 필터와, 필터를 통과한 적외선을 포커싱하는 렌즈계와, 렌즈계에 의해 형성된 광학 이미지를 전기적인 이미지 신호로 변환하여 출력하는 이미지 센서를 포함할 수 있다. 예를 들어, 이미지 센서는 행렬 구조의 PD 어레이로 구성될 수 있다.For example, the first infrared camera 173 passes through infrared rays and filters a wavelength band other than infrared rays, a lens system focusing infrared rays passing through the filters, and an optical image formed by the lens system as an electrical image signal. It may include an image sensor to convert and output. For example, the image sensor may be configured as a matrix array PD array.

제2 거리/생체 센서(176)는 단말(100)의 후면에 배치되며, 제2 거리/생체 센서(176)는 제1 거리/생체 센서(171)와 동일한 구성을 가지며, 제2 적외선 광원(177)과 제2 적외선 카메라(178)를 포함한다.The second distance / biometric sensor 176 is disposed at the rear of the terminal 100, and the second distance / biometric sensor 176 has the same configuration as the first distance / biometric sensor 171, and the second infrared light source ( 177) and a second infrared camera 178.

GPS 모듈(157)은 지구 궤도상에 있는 복수의 GPS 위성(도시되지 아니함)으로부터 전파를 수신하고, GPS 위성으로부터 단말(100)까지의 전파 도달 시간(Time of Arrival)을 이용하여 단말(100)의 위치를 산출할 수 있다.The GPS module 157 receives radio waves from a plurality of GPS satellites (not shown) in orbit around the earth, and uses the time of arrival from the GPS satellites to the terminal 100 to determine the terminal 100 Can calculate the location of

저장부(175)는 제어부(110)의 제어에 따라 통신 모듈(120), 멀티미디어 모듈(140), 카메라 모듈(150), 입/출력 모듈(160), 센서 모듈(170) 또는 터치 스크린(190)의 동작에 따라 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 단말(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 애플리케이션들을 저장할 수 있다.The storage unit 175 is a communication module 120, a multimedia module 140, a camera module 150, an input / output module 160, a sensor module 170 or a touch screen 190 under the control of the control unit 110 ), It is possible to store input / output signals or data according to the operation. The storage unit 175 may store control programs and applications for controlling the terminal 100 or the control unit 110.

“저장부”라는 용어는 저장부(175), 제어부(110) 내 롬(112), 램(113) 또는 단말(100)에 장착되는 메모리 카드(예를 들어, SD 카드, 메모리 스틱) 등의 임의의 데이터 저장 장치를 지칭하는 용어로 사용된다. 저장부(175)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수도 있다. The term “storage unit” refers to a memory card (eg, SD card, memory stick) mounted on the storage unit 175, the ROM 112 in the control unit 110, the RAM 113, or the terminal 100. Used to refer to any data storage device. The storage unit 175 may include a non-volatile memory, a volatile memory, a hard disk drive (HDD), or a solid state drive (SSD).

또한, 저장부(175)는 네비게이션, 화상 통화, 게임, 사용자에게 시간을 기반으로 하는 알람 애플리케이션 등과 같은 다양한 기능들의 애플리케이션들과 이와 관련된 그래픽 사용자 인터페이스(graphical user interface: GUI)를 제공하기 위한 이미지들, 사용자 정보, 문서, 터치 입력을 처리하는 방법과 관련된 데이터베이스들 또는 데이터, 단말(100)을 구동하는데 필요한 배경 이미지들(메뉴 화면, 대기 화면 등) 또는 운영 프로그램들, 카메라 모듈(150)에 의해 촬영된 이미지들 등을 저장할 수 있다. In addition, the storage unit 175 may provide various functions such as navigation, video calls, games, and time-based alarm applications to users, and images for providing a graphical user interface (GUI) related thereto. , Database or data related to a method for processing user information, documents, and touch input, background images (menu screen, standby screen, etc.) or operating programs required to drive the terminal 100, or by operating programs, the camera module 150 It is possible to store photographed images and the like.

또한, 저장부(175)는 본 발명에 따른 거리 검출 및 생체 인증 방법을 실행하기 위한 프로그램 및 관련 데이터를 저장할 수 있다. Also, the storage unit 175 may store a program and related data for executing a distance detection and biometric authentication method according to the present invention.

저장부(175)는 기계(예를 들어, 컴퓨터)로 읽을 수 있는 매체이며, 기계로 읽을 수 있는 매체라는 용어는 기계가 특정 기능을 수행할 수 있도록 상기 기계로 데이터를 제공하는 매체로 정의될 수 있다. 저장부(175)는 비휘발성 매체(non-volatile media) 및 휘발성 매체를 포함할 수 있다. 이러한 모든 매체는 상기 매체에 의해 전달되는 명령들이 상기 명령들을 상기 기계로 읽어 들이는 물리적 기구에 의해 검출될 수 있도록 유형의 것이어야 한다. The storage unit 175 is a machine-readable medium, and the term machine-readable medium is defined as a medium that provides data to the machine so that the machine can perform a specific function. Can be. The storage unit 175 may include non-volatile media and volatile media. All such media must be of a type so that the instructions conveyed by the media can be detected by a physical mechanism that reads the instructions into the machine.

상기 기계로 읽을 수 있는 매체는, 이에 한정되지 않지만, 플로피 디스크(floppy disk), 플렉서블 디스크(flexible disk), 하드 디스크, 자기 테이프, 시디롬(compact disc read-only memory: CD-ROM), 광학 디스크, 펀치 카드(punch card), 페이퍼 테이프(paper tape), 램, 피롬(Programmable Read-Only Memory: PROM), 이피롬(Erasable PROM: EPROM) 및 플래시-이피롬(FLASH-EPROM) 중의 적어도 하나를 포함한다.The machine-readable medium is, but is not limited to, a floppy disk, flexible disk, hard disk, magnetic tape, compact disc read-only memory (CD-ROM), optical disk , At least one of a punch card, paper tape, RAM, Programmable Read-Only Memory (PROM), Erasable PROM (EPROM), and Flash-EPROM Includes.

전원 공급부(180)는 제어부(110)의 제어에 따라 단말(100)의 하우징에 배치되는 하나 또는 복수의 배터리에 전력을 공급할 수 있다. 하나 또는 복수의 배터리는 단말(100)에 전력을 공급한다. 또한, 전원 공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원 소스로부터 입력되는 전원을 단말(100)로 공급할 수 있다. 또한, 전원 공급부(180)는 무선 충전 기술을 통해 외부의 전원 소스로부터 무선으로 입력되는 전원을 단말(100)로 공급할 수도 있다. The power supply unit 180 may supply power to one or a plurality of batteries disposed in the housing of the terminal 100 under the control of the control unit 110. One or more batteries supply power to the terminal 100. In addition, the power supply unit 180 may supply power input from an external power source to the terminal 100 through a wired cable connected to the connector 165. Also, the power supply unit 180 may supply power input wirelessly from an external power source to the terminal 100 through a wireless charging technology.

그리고, 단말(100)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 사용자 그래픽 인터페이스를 제공하는 적어도 하나의 터치 스크린(190)을 포함할 수 있다. In addition, the terminal 100 may include at least one touch screen 190 that provides a user graphical interface corresponding to various services (eg, calls, data transmission, broadcasting, and photography) to the user.

터치 스크린(190)은 사용자 그래픽 인터페이스에 입력되는 적어도 하나의 사용자 입력에 대응되는 아날로그 신호를 터치 스크린 컨트롤러(195)로 출력할 수 있다. The touch screen 190 may output an analog signal corresponding to at least one user input input to the user graphic interface to the touch screen controller 195.

터치 스크린(190)은 사용자의 신체(예를 들어, 엄지를 포함하는 손가락) 또는 입력 유닛(168)(예를 들어, 스타일러스 펜, 전자 펜)을 통해 적어도 하나의 사용자 입력을 수신할 수 있다. The touch screen 190 may receive at least one user input through a user's body (eg, a finger including a thumb) or an input unit 168 (eg, a stylus pen, electronic pen).

터치 스크린(190)은 하나의 터치의 연속적인 움직임(즉, 드래그 입력)을 수신할 수도 있다. 터치 스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치 스크린 컨트롤러(195)로 출력할 수 있다. The touch screen 190 may receive a continuous movement of one touch (ie, drag input). The touch screen 190 may output an analog signal corresponding to the continuous movement of the input touch to the touch screen controller 195.

본 발명에서 터치는 터치 스크린(190)과 손가락 또는 입력 유닛(168)과의 접촉에 한정되지 않고, 비접촉(예를 들어, 터치 스크린(190)과의 직접 접촉 없이 사용자 입력 수단을 검출할 수 있는 인식 거리(예를 들어, 1cm) 이내에 사용자 입력 수단이 위치하는 경우)을 포함할 수 있다. 터치 스크린(190)에서 사용자 입력 수단을 인식할 수 있는 거리 또는 간격은 단말(100)의 성능 또는 구조에 따라 변경될 수 있으며, 특히 터치 스크린(190)은 사용자 입력 수단과의 접촉에 의한 직접 터치 이벤트와, 간접 터치 이벤트(즉, 호버링 이벤트)를 구분하여 검출 가능하도록, 상기 직접 터치 이벤트와 호버링 이벤트에 의해 검출되는 값(예컨대, 아날로그 값으로 전압 값 또는 전류 값을 포함)이 다르게 출력될 수 있도록 구성될 수 있다.In the present invention, the touch is not limited to contact between the touch screen 190 and the finger or the input unit 168, and is capable of detecting user input means without direct contact (eg, without direct contact with the touch screen 190). It may include a recognition distance (for example, when the user input means is located within 1cm). The distance or the interval at which the user input means can be recognized on the touch screen 190 may be changed according to the performance or structure of the terminal 100. In particular, the touch screen 190 is directly touched by contact with the user input means. In order to distinguish between an event and an indirect touch event (ie, a hovering event), a value detected by the direct touch event and a hovering event (eg, an analog value including a voltage value or a current value) may be output differently. It can be configured to.

이러한, 터치 스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식, 초음파(acoustic wave) 방식, 또는 이들의 조합으로 구현될 수 있다.The touch screen 190 may be implemented by, for example, a resistive method, a capacitive method, an infrared method, an ultrasonic wave method, or a combination thereof.

또한, 터치 스크린(190)은 수동형 제1 사용자 입력 수단(손가락 등의 신체 일부 등)에 의한 입력(즉, 핑거 입력)과 능동형 제2 사용자 입력 수단인 입력 유닛(168)에 의한 입력(즉, 펜 입력)을 구분하여 검출할 수 있도록, 핑거 입력과 펜 입력을 각각 감지할 수 있는 적어도 두 개의 터치 스크린 패널을 포함할 수도 있다. 사용자 입력 수단에 있어서, 수동형과 능동형의 구분은 전자파, 전자기파 등의 에너지를 생성 또는 유도하여 출력할 수 있는지의 여부에 따라 구분된다. 상기 적어도 두 개의 터치 스크린 패널은 서로 다른 출력 값을 터치 스크린 컨트롤러(195)에 제공하고, 터치 스크린 컨트롤러(195)는 상기 적어도 두 개의 터치 스크린 패널에서 입력되는 값들을 서로 다르게 인식하여, 터치 스크린(190)으로부터의 입력이 손가락에 의한 입력인지, 입력 유닛(168)에 의한 입력인지를 구분할 수도 있다. 예를 들어, 터치 스크린(190)은 정전용량(capacitive) 방식의 터치 스크린 패널과 EMR(Electromagnetic resonance) 방식의 터치 스크린 패널이 조합된 구조를 가질 수 있다. 또한, 전술한 바와 같이, 상기 터치 스크린(190)은 메뉴 버튼(161b), 뒤로 가기 버튼(161c) 등과 같은 터치 키들을 포함하도록 구성될 수 있으므로, 본 발명에서 말하는 핑거 입력 또는 터치 스크린(190) 상에서의 핑거 입력은 이러한 터치 키 상에서의 터치 입력을 포함한다.In addition, the touch screen 190 is input by the first passive user input means (eg, a body part such as a finger) (ie, finger input) and input by the active second user input means, the input unit 168 (ie, Pen input) may be included, and may include at least two touch screen panels capable of detecting a finger input and a pen input, respectively. In the user input means, the distinction between the passive type and the active type is classified according to whether or not energy such as electromagnetic waves and electromagnetic waves can be generated or induced and output. The at least two touch screen panels provide different output values to the touch screen controller 195, and the touch screen controller 195 recognizes values input from the at least two touch screen panels differently, so that the touch screen ( It is also possible to distinguish whether the input from 190 is input by a finger or input by the input unit 168. For example, the touch screen 190 may have a structure in which a capacitive touch screen panel and an electromagnetic resonance (EMR) touch screen panel are combined. In addition, as described above, the touch screen 190 may be configured to include touch keys such as a menu button 161b, a back button 161c, and the like, thus, a finger input or touch screen 190 according to the present invention Finger input on the screen includes touch input on the touch key.

터치 스크린 컨트롤러(195)는 터치 스크린(190)으로부터 입력된 아날로그 신호를 디지털 신호로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치 스크린 컨트롤러(195)로부터 수신한 디지털 신호를 이용하여 터치 스크린(190)을 제어할 수 있다. 예를 들어, 제어부(110)는 직접 터치 이벤트 또는 호버링 이벤트에 응답하여 터치 스크린(190)에 표시된 단축 아이콘(도시되지 아니함) 또는 객체가 선택 또는 실행되도록 할 수 있다. 또한, 터치 스크린 컨트롤러(195)는 제어부(110)에 통합될 수도 있다. The touch screen controller 195 converts the analog signal input from the touch screen 190 into a digital signal and transmits it to the controller 110. The control unit 110 may control the touch screen 190 using a digital signal received from the touch screen controller 195. For example, the controller 110 may allow a shortcut icon (not shown) or an object displayed on the touch screen 190 to be selected or executed in response to a direct touch event or a hovering event. Also, the touch screen controller 195 may be integrated into the control unit 110.

터치 스크린 컨트롤러(195)는 터치 스크린(190)을 통해 출력되는 값(예컨대, 전류값 등)을 검출하여 사용자 입력 위치뿐만 아니라 호버링 간격 또는 거리를 확인할 수 있고, 확인된 거리 값을 디지털 신호(예컨대, Z좌표)로 변환하여 제어부(110)로 제공할 수도 있다. 또한, 터치 스크린 컨트롤러(195)는 터치 스크린(190)을 통해 출력되는 값(예컨대, 전류값 등)을 검출하여 사용자 입력 수단이 터치 스크린(190)을 누르는 압력을 검출할 수 있고, 확인된 압력 값을 디지털 신호로 변환하여 제어부(110)로 제공할 수도 있다.The touch screen controller 195 may detect a value (eg, a current value, etc.) output through the touch screen 190 to check the hovering interval or distance as well as the user input location, and the confirmed distance value may be a digital signal (eg , Z coordinate) to provide to the control unit 110. In addition, the touch screen controller 195 may detect a value (eg, a current value, etc.) output through the touch screen 190 to detect a pressure at which the user input means presses the touch screen 190, and confirm the pressure. The value may be converted into a digital signal and provided to the control unit 110.

도 2 및 도 3을 참조하면, 단말(100)의 전면(101) 중앙에는 터치 스크린(190)이 배치된다. 터치 스크린(190)은 단말(100)의 전면(101)의 대부분을 차지하도록 크게 형성될 수 있다. 도 2에서는, 상기 터치 스크린(190)에 메인 홈 화면이 표시된 예를 나타낸다. 메인 홈 화면은 단말(100)의 전원을 켰을 때 터치 스크린(190) 상에 표시되는 첫 화면이다. 또한, 단말(100)이 여러 페이지의 서로 다른 홈 화면들을 가질 경우, 메인 홈 화면은 상기 여러 페이지의 홈 화면들 중 첫 번째 홈 화면일 수 있다. 홈 화면에는 자주 사용되는 애플리케이션들을 실행하기 위한 단축 아이콘들(191-1, 191-2, 191-3), 메인 메뉴 전환키(191-4), 시간, 날씨 등이 표시될 수 있다. 사용자가 메인 메뉴 전환키(191-4)를 선택하면, 상기 터치 스크린(190)에 메뉴 화면이 표시된다. 또한, 상기 터치 스크린(190)의 상단에는 배터리 충전 상태, 수신 신호의 세기, 현재 시각과 같은 단말(100)의 상태를 표시하는 상태 바(Status Bar, 192)가 형성될 수도 있다. 2 and 3, the touch screen 190 is disposed in the center of the front surface 101 of the terminal 100. The touch screen 190 may be largely formed to occupy most of the front surface 101 of the terminal 100. 2 illustrates an example in which a main home screen is displayed on the touch screen 190. The main home screen is the first screen displayed on the touch screen 190 when the terminal 100 is turned on. In addition, when the terminal 100 has different home screens of several pages, the main home screen may be the first home screen among the home screens of the multiple pages. Shortcut icons 191-1, 191-2 and 191-3 for executing frequently used applications may be displayed on the home screen, a main menu switching key 191-4, time, weather, and the like. When the user selects the main menu switch key 191-4, a menu screen is displayed on the touch screen 190. In addition, a status bar 192 may be formed on the top of the touch screen 190 to display the status of the terminal 100 such as a battery charging status, a received signal strength, and a current time.

상기 터치 스크린(190)의 아래에는 홈 버튼(161a), 메뉴 버튼(161b), 뒤로 가기 버튼(161c) 등과 같은 터치 키들, 기계식 버튼들 또는 이들의 조합이 형성될 수 있다. 또한, 이러한 터치 키들은 상기 터치 스크린(190)의 일부로 구성될 수 있다.Touch keys such as a home button 161a, a menu button 161b, and a back button 161c may be formed under the touch screen 190, mechanical buttons, or a combination thereof. In addition, these touch keys may be configured as part of the touch screen 190.

홈 버튼(161a)은 터치 스크린(190)에 메인 홈 화면(main Home screen)을 표시한다. 예를 들어, 터치 스크린(190)에 상기 메인 홈 화면과 다른 홈 화면(any Home screen) 또는 메뉴 화면이 표시된 상태에서, 상기 홈 버튼(161a)이 선택되면, 터치 스크린(190)에 메인 홈 화면이 표시될 수 있다. 또한, 터치 스크린(190) 상에서 애플리케이션들이 실행되는 도중 홈 버튼(161a)이 선택되면, 상기 터치 스크린(190) 상에는 도 2에 도시된 메인 홈 화면이 디스플레이될 수 있다. 또한 홈 버튼(161a)은 상기 터치 스크린(190) 상에 최근에(recently) 사용된 애플리케이션들을 표시하도록 하거나, 태스크 매니저(Task Manager)를 표시하기 위하여 사용될 수도 있다.The home button 161a displays a main home screen on the touch screen 190. For example, when the home button 161a is selected while the home screen or any home screen or menu screen different from the main home screen is displayed on the touch screen 190, the main home screen is displayed on the touch screen 190. Can be displayed. In addition, when the home button 161a is selected while applications are being executed on the touch screen 190, the main home screen shown in FIG. 2 may be displayed on the touch screen 190. Also, the home button 161a may be used to display recently used applications on the touch screen 190 or to display a task manager.

메뉴 버튼(161b)은 터치 스크린(190) 상에 표시될 수 있는 연결 메뉴를 제공한다. 상기 연결 메뉴에는 위젯 추가 메뉴, 배경화면 변경 메뉴, 검색 메뉴, 편집 메뉴, 환경 설정 메뉴 등이 포함될 수 있다. The menu button 161b provides a connection menu that can be displayed on the touch screen 190. The connection menu may include a widget addition menu, a background change menu, a search menu, an edit menu, and an environment setting menu.

뒤로 가기 버튼(161c)은 현재 실행되고 있는 화면의 바로 이전에 실행되었던 화면을 표시하거나, 가장 최근에 사용된 애플리케이션을 종료시키는 경우에 사용될 수 있다.The back button 161c may be used to display a screen that was executed immediately before the currently executing screen, or to terminate the most recently used application.

단말(100)의 전면(101)의 상측에는 제1 카메라(151), 조도 센서(170a), 근접 센서(170b) 및 제1 거리/생체 센서가 배치될 수 있다. 단말(100)의 후면(103)에는 제2 카메라(152), 플래시(flash, 153), 스피커(163) 및 제2 거리/생체 센서가 배치될 수 있다. A first camera 151, an illuminance sensor 170a, a proximity sensor 170b, and a first distance / biometric sensor may be disposed above the front surface 101 of the terminal 100. A second camera 152, a flash (flash) 153, a speaker 163, and a second distance / biometric sensor may be disposed on the rear surface 103 of the terminal 100.

단말(100)의 측면(102)에는 예를 들어 전원/잠금 버튼(161d), 볼륨 증가 버튼(161f) 및 볼륨 감소 버튼(161g)을 갖는 볼륨 버튼(161e), 방송 수신을 위한 지상파 DMB 안테나(141a), 하나 또는 복수의 마이크들(162) 등이 배치될 수 있다. 상기 DMB 안테나(141a)는 단말(100)에 고정되거나, 착탈 가능하게 형성될 수도 있다. The side surface 102 of the terminal 100 includes, for example, a power / lock button 161d, a volume increase button 161f, and a volume button 161e having a volume decrease button 161g, a terrestrial DMB antenna for broadcast reception ( 141a), one or a plurality of microphones 162 may be disposed. The DMB antenna 141a may be fixed to the terminal 100 or detachably formed.

또한, 단말(100)의 하단 측면에는 커넥터(165)가 형성된다. 커넥터(165)에는 다수의 전극들이 형성되어 있으며 외부 장치와 유선으로 연결될 수 있다. 단말(100)의 상단 측면에는 이어폰 연결잭(167)이 형성될 수 있다. 이어폰 연결잭(167)에는 이어폰이 삽입될 수 있다.In addition, a connector 165 is formed on the lower side of the terminal 100. A plurality of electrodes are formed on the connector 165 and may be connected to an external device by wire. An earphone connection jack 167 may be formed on the upper side of the terminal 100. Earphones may be inserted into the earphone connection jack 167.

또한, 단말(100)의 하단 측면에는 입력 유닛(168)이 장착될 수 있다. 입력 유닛(168)은 단말(100) 내부에 삽입되어 보관될 수 있으며, 사용시에는 상기 단말(100)로부터 인출 및 분리될 수 있다.In addition, the input unit 168 may be mounted on the lower side of the terminal 100. The input unit 168 may be inserted and stored inside the terminal 100, and when used, may be withdrawn and separated from the terminal 100.

본 발명은 거리 검출 및 생체 인증 방법을 제공하며, 이러한 거리 검출 및 생체 인증 방법은 거리 검출을 필요로 하는 애플리케이션, 생체 인식을 필요로 하는 애플리케이션, 또는 거리 검출 및 생체 인증을 필요로 하는 애플리케이션에 적용될 수 있다. The present invention provides a distance detection and biometric authentication method, and the distance detection and biometric authentication method can be applied to an application requiring distance detection, an application requiring biometric recognition, or an application requiring distance detection and biometric authentication. Can be.

제어부(110)는 단말(100)의 전반적인 동작을 제어하며, 제어부(110)는 단말(100) 내 다른 구성 소자들을 제어하여 본 발명에 따른 거리 및 생체 인식 방법을 수행한다.The control unit 110 controls the overall operation of the terminal 100, and the control unit 110 controls other components in the terminal 100 to perform a distance and biometric recognition method according to the present invention.

도 4는 본 발명의 제1 예에 따른 거리 및 생체 인식 방법을 나타내는 흐름도이다. 4 is a flowchart illustrating a distance and biometric recognition method according to a first example of the present invention.

거리 및 생체 인식 방법은 S110~S150 단계를 포함한다. The distance and biometric recognition method includes steps S110 to S150.

S110 단계는 애플리케이션 실행 단계로서, 예를 들어, 사용자는 터치 스크린(190)의 화면에 표시된 다양한 아이콘들 중에서 자신이 원하는 아이콘을 터치함으로써, 상기 아이콘에 맵핑된 애플리케이션을 실행할 수 있다. Step S110 is an application execution step. For example, a user may execute an application mapped to the icon by touching an icon of his / her own desired among various icons displayed on the screen of the touch screen 190.

제어부(110)는 입/출력 모듈(160), 터치 스크린(190), 카메라 모듈(150) 또는 통신 모듈(120)을 통해 사용자 입력을 수신한다. 사용자는 입/출력 모듈(160) 또는 터치 스크린(190)을 통해 버튼(161), 아이콘 또는 메뉴 항목을 선택하거나, 마이크(162)를 통해 음성 명령을 입력하거나, 카메라 모듈(150)을 통해 제스쳐 또는 모션 입력을 수행하거나, 통신 모듈(120)을 통해 무선으로 특정 명령을 입력할 수 있다. 이러한 명령은 애플리케이션 실행 명령일 수 있으며, 이러한 애플리케이션은 임의의 애플리케이션일 수 있으며, 예를 들어, 음성 인식 애플리케이션, 스케줄 관리 애플리케이션, 문서 작성 애플리케이션, 뮤직 애플리케이션, 인터넷 애플리케이션, 지도 애플리케이션, 카메라 애플리케이션, 이메일 애플리케이션, 이미지 편집 애플리케이션, 검색 애플리케이션, 파일 탐색 애플리케이션, 비디오 애플리케이션, 게임 애플리케이션, SNS 애플리케이션, 전화 애플리케이션, 메시지 애플리케이션 등일 수 있다. 제스쳐 또는 모션 입력은, 예를 들어, 사용자가 손 또는 손가락으로 카메라 모듈(150)을 향해 원형, 삼각형, 사각형 등의 미리 설정된 패턴의 궤적을 그리는 경우를 말한다. 본 예에서는, 사용자 입력에 따라 애플리케이션을 실행하는 것으로 예시하고 있으나, 이러한 애플리케이션은 메시지 수신, 콜 수신, 알람 이벤트 발생 등과 같은 이벤트의 발생에 따라 자동으로 실행될 수도 있다.The control unit 110 receives a user input through the input / output module 160, the touch screen 190, the camera module 150, or the communication module 120. The user selects a button 161, an icon or a menu item through the input / output module 160 or the touch screen 190, enters a voice command through the microphone 162, or gestures through the camera module 150. Alternatively, motion input may be performed or a specific command may be wirelessly input through the communication module 120. These commands can be application launch commands, such applications can be any application, for example, speech recognition applications, schedule management applications, document creation applications, music applications, Internet applications, map applications, camera applications, email applications , Image editing application, search application, file search application, video application, game application, SNS application, phone application, message application, and the like. The gesture or motion input, for example, refers to a case where a user draws a trajectory of a preset pattern such as a circle, triangle, rectangle, etc. toward the camera module 150 with a hand or finger. In this example, although the application is illustrated as executing an application according to a user input, the application may be automatically executed according to an event such as receiving a message, receiving a call, or generating an alarm event.

S120 단계는 모드 확인 단계로서, 제어부(110)는 실행된 애플리케이션에 거리 검출 모드 또는 생체 인증 모드가 설정되어 있거나, 애플리케이션의 실행 중에 발생하는 이벤트에 따라서 거리 검출 모드 또는 생체 인증 모드를 실행하여야 하는지의 여부를 판단한다. Step S120 is a mode checking step, and the controller 110 determines whether the distance detection mode or the biometric authentication mode is set in the executed application or whether the distance detection mode or the biometric authentication mode should be executed according to an event occurring during execution of the application. Judge whether or not.

S130 단계는 거리 검출 모드 실행 단계로서, 제어부(110)는 제1 및/또는 제2 거리/생체 센서(171, 176)를 이용하여 피사체의 거리 정보(또는 깊이 정보)를 검출한다. 또한, 제어부(110)는 검출된 거리 정보를 이용하여 화면 제어, 제스쳐 또는 모션 인식과 인식된 제스쳐 또는 모션에 따른 명령 실행, 화면 내의 객체 선택 또는 제어 등의 프로그램된 동작을 수행한다. In step S130, the distance detection mode is executed, and the controller 110 detects distance information (or depth information) of the subject using the first and / or second distance / biometric sensors 171 and 176. In addition, the control unit 110 uses the detected distance information to perform programmed operations such as screen control, gesture or motion recognition, command execution according to the recognized gesture or motion, and selection or control of objects in the screen.

도 5는 거리 검출 모드를 설명하기 위한 도면이다. 본 예에서는 제2 거리/생체 센서(176)를 이용하여 피사체의 거리 정보(또는 깊이 정보)를 검출하는 것을 예시한다.5 is a diagram for explaining a distance detection mode. This example illustrates detecting distance information (or depth information) of a subject using the second distance / biometric sensor 176.

제어부(110)는 제2 거리/생체 센서(176)의 제2 적외선 광원(177)이 고주파수(예를 들어, 10~90MHz)로 변조된 적외선을 출력하도록 제어한다. 이때, 적외선의 세기 파형은 주기적인 사인 파형이나 주기적인 펄스 파형을 가질 수 있다. The control unit 110 controls the second infrared light source 177 of the second distance / biometric sensor 176 to output infrared rays modulated at a high frequency (for example, 10 to 90 MHz). At this time, the infrared intensity waveform may have a periodic sine wave or a periodic pulse wave.

제2 적외선 카메라(178)는 피사체(210)로부터 반사된 적외선에 의해 형성된 광학 이미지를 전기적인 이미지 신호로 변환하여 출력하고, 제어부(110)는 이러한 전기 이미지 신호로부터 단말(100)과 피사체 간의 거리 정보(또는 피사체의 깊이 정보)를 검출할 수 있다.The second infrared camera 178 converts and outputs an optical image formed by infrared rays reflected from the subject 210 into an electrical image signal, and the controller 110 distances the distance between the terminal 100 and the subject from the electrical image signal. Information (or depth information of a subject) can be detected.

예를 들어, 제2 적외선 광원(177)으로부터 출력된 적외선의 세기 파형이 주기적인 사인 파형인 경우에, 피사체(210)에 의해 반사되어 제2 적외선 카메라(178)에 의해 검출된 적외선은 특정 위상(적외선의 세기 값에 의해 도출됨)을 갖게 되며, 이러한 위상은 단말(100)과 피사체(210) 간의 거리 정보를 나타낸다. 예를 들어, 피사체(210)로부터 반사된 i₀, i₁, i₂ 및 i₃의 세기 값들을 각각 갖는 제1 내지 제4 적외선이 검출된 경우에, 제어부(110)는 검출된 제1 내지 제4 적외선의 세기 값들로부터 위상(위상 = arctan{(i₃-i₁)/(i₀-i₂)})을 계산한다. 또한, 계산된 위상으로부터 단말(100)과 피사체(210)간의 거리(거리 = 최대거리/2π*위상, 이때 최대거리는 2π에 대응하는 거리를 말함)을 계산한다. 제2 적외선 카메라(178)로부터 출력된 전기적인 이미지 신호는 피사체(210)에 대한 픽셀별 거리 또는 깊이 정보를 나타내는 깊이 지도(depth map)로 볼 수 있다. For example, when the intensity waveform of infrared light output from the second infrared light source 177 is a periodic sine wave, the infrared light reflected by the subject 210 and detected by the second infrared camera 178 is a specific phase. (Derived by the intensity value of the infrared ray), and this phase represents the distance information between the terminal 100 and the subject 210. For example, when first to fourth infrared rays having intensity values of i ₀ , i ₁ , i ₂ and i ₃ reflected from the subject 210 are detected, the controller 110 detects the first to The phase (phase = arctan {(i ₃ -i ₁ ) / (i ₀ -i ₂ )}) is calculated from the fourth infrared intensity values. In addition, the distance between the terminal 100 and the subject 210 is calculated from the calculated phase (distance = maximum distance / 2π * phase, where the maximum distance refers to a distance corresponding to 2π). The electrical image signal output from the second infrared camera 178 may be viewed as a depth map representing distance or depth information for each pixel of the subject 210.

S140 단계는 생체 인증 모드 실행 단계로서, 제어부(110)는 제1 및/또는 제2 거리/생체 센서(171, 176)를 이용하여 생체를 인식한다. 또한, 제어부(110)는 생체 인식 또는 인증이 성공하면 보안된, 또는 접근 제한된 정보 또는 서비스를 제공하고, 생체 인증이 실패하면 이를 사용자에게 알린다. In step S140, the biometric authentication mode is executed, and the controller 110 recognizes the biometrics using the first and / or second distance / biometric sensors 171 and 176. In addition, if the biometric authentication or authentication is successful, the controller 110 provides secured or restricted access information or service, and notifies the user when the biometric authentication fails.

도 6 및 도 7은 생체 인증 모드를 설명하기 위한 도면들이다.6 and 7 are diagrams for describing a biometric authentication mode.

본 예에서는 제2 거리/생체 센서(176)를 이용하여 생체를 인식하는 것을 예시한다. 제어부(110)는 제2 거리/생체 센서(176)의 제2 적외선 광원(177)이 저주파수로 변조되거나 일정한 세기를 갖는 적외선을 출력하도록 제어한다. This example illustrates recognizing a living body using the second distance / biometric sensor 176. The control unit 110 controls the second infrared light source 177 of the second distance / biometric sensor 176 to be modulated at a low frequency or to output infrared light having a constant intensity.

제2 적외선 카메라(178)는 피사체로부터 반사된 적외선에 의해 형성된 광학 이미지를 전기적인 이미지로 변환하여 출력하고, 제어부(110)는 이러한 전기적인 이미지에서 생체를 인식할 수 있다.The second infrared camera 178 converts and outputs an optical image formed by infrared rays reflected from a subject into an electrical image, and the controller 110 can recognize a living body from the electrical image.

이러한 생체는 눈, 홍채, 지문, 얼굴, 손, 손목, 혈관(정맥 등) 등을 포함할 수 있다. Such a living body may include eyes, irises, fingerprints, faces, hands, wrists, blood vessels (veins, etc.).

도 6을 참조하면, 제2 적외선 광원(177)은 사용자 손(220)의 검지(221)에 적외선을 조사하고, 제2 적외선 카메라(178)는 검지(221)를 촬영하여 전기적인 지문 이미지를 출력한다. 제어부(110)는 저장부(175)에 저장된 사용자의 지문 데이터(지문 이미지, 특징점 정보 등)와 촬영된 지문 이미지를 비교함으로써, 사용자의 검지 지문을 인식할 수 있다. Referring to FIG. 6, the second infrared light source 177 irradiates infrared light to the index finger 221 of the user's hand 220, and the second infrared camera 178 photographs the index finger 221 to generate an electrical fingerprint image. Output. The controller 110 may recognize the user's detected fingerprint by comparing the user's fingerprint data (fingerprint image, feature point information, etc.) stored in the storage unit 175 with the captured fingerprint image.

도 7을 참조하면, 사용자의 눈(230)은 동공(231), 홍채(232) 및 공막(233)을 가지며, 제2 적외선 광원(177)은 사용자의 눈(230)에 적외선을 조사하고, 제2 적외선 카메라(178)는 사용자의 눈(230)을 촬영하여 눈 이미지를 출력한다. 제어부(110)는 저장부(175)에 저장된 사용자의 홍채 데이터(홍채 이미지, 특징점 정보 등)와 촬영된 눈 이미지를 비교함으로써, 사용자의 홍채를 인식할 수 있다.Referring to FIG. 7, the user's eye 230 has a pupil 231, an iris 232, and a sclera 233, and the second infrared light source 177 irradiates infrared light to the user's eye 230, The second infrared camera 178 photographs the user's eye 230 and outputs an eye image. The controller 110 may recognize the user's iris by comparing the user's iris data (iris image, feature point information, etc.) stored in the storage unit 175 with the photographed eye image.

S150 단계는 종료 확인 단계로서, 제어부(110)는 애플리케이션이 종료되는지의 여부를 확인한다. 제어부(110)는 애플리케이션이 종료되는 경우에 본 방법을 종료하고, 애플리케이션이 종료되지 않는 경우에 S120 단계를 수행한다.Step S150 is a termination confirmation step, and the control unit 110 determines whether the application is terminated. The controller 110 ends the method when the application is terminated, and performs step S120 when the application is not terminated.

전술한 S120 단계에서, 제어부(110)는 제1 카메라(151) 및/또는 제2 카메라(152)에 의해 촬영된 디지털 이미지에서 미리 설정된 피사체가 검출되는 경우(즉, 이벤트가 발생한 경우)에 생체 인증 모드를 실행할 수 있으며, 미리 설정된 피사체는 손, 손가락, 손목, 얼굴, 눈 등일 수 있다. In the above-described step S120, the control unit 110 is a living body when a preset object is detected from the digital image photographed by the first camera 151 and / or the second camera 152 (that is, when an event occurs). The authentication mode may be executed, and the preset subject may be a hand, finger, wrist, face, or eye.

즉, 제2 카메라(152)에 의한 피사체 촬영시에는 적외선이 조사되지 않으며, 제1 또는 제2 적외선 카메라(173, 178)의 피사체 촬영시에는 적외선이 조사된다. That is, infrared rays are not irradiated when the subject is photographed by the second camera 152, and infrared rays are irradiated when the subject is photographed by the first or second infrared cameras 173 and 178.

또한, 거리 검출 모드에서의 적외선 조도(또는 세기 내지 광량)와 생체 인식 모드에서의 적외선 조도는 서로 다르게 설정되며, 거리 검출 모드에서의 변조 주파수와 생체 인식 모드에서의 변조 주파수는 서로 다르게 설정된다. 먼저, 거리 검출 모드에서의 변조 주파수는 생체 인식 모드에서의 변조 주파수보다 높으며, 생체 인식 모드에서의 변조 주파수는 0(즉, 비변조)일 수 있다. 또한, 거리 검출 모드에서의 적외선 조도는 생체 인식 모드에서의 적외선 조도보다 높다. In addition, the infrared illuminance (or intensity to light amount) in the distance detection mode and the infrared illuminance in the biometric mode are set differently, and the modulation frequency in the distance detection mode and the modulation frequency in the biometric mode are set differently. First, the modulation frequency in the distance detection mode is higher than the modulation frequency in the biometric mode, and the modulation frequency in the biometric mode may be 0 (ie, non-modulation). Further, the infrared illuminance in the distance detection mode is higher than the infrared illuminance in the biometric mode.

거리 검출 모드는 적외선을 투사하고 이미지를 획득하여 대상물까지의 거리 정보를 측정하는 모드이다. 거리 정보는 3D 컨텐츠 생성, 동작 인식 등 다양한 응용 목적에 따라 사용될 수 있다. 이러한 경우 투사되는 적외선 광량은 장치 목적에 따라 다르나, 수 미터 범위의 측정을 위해 통상적으로 수백 mW 이상의 적외선 광량이 투사되며, 수십 cm 범위의 측정을 위해서는 보다 적은 광량이 필요하다. 거리 검출 모드에서 필요한 기준 거리에서 단위 면적당 광량을 D라 한다. The distance detection mode is a mode for measuring distance information to an object by projecting infrared rays and acquiring an image. The distance information may be used according to various application purposes such as 3D content generation and motion recognition. In this case, the amount of infrared light projected depends on the purpose of the device, but for measurement in the range of several meters, an amount of infrared light more than several hundred mW is usually projected, and for measurement in the range of several tens of cm, less light is required. The amount of light per unit area at the reference distance required in the distance detection mode is D.

홍채 인식 모드는 적외선을 투사하여 홍채를 촬영하고 보안, 인증 목적으로 사용하는 모드이다. 통상적으로 홍채 인식 이미지에서는 홍채 부분만의 고해상도 영상이 바람직하므로, 눈을 적외선 카메라에 가까이 가져가거나, 적외선 카메라의 줌을 이용한다. 눈을 적외선 카메라에 가까이 가져가게 되면, 상기 거리 측정 모드에 해당하는 광량을 투사시 몇 가지 문제가 발생한다. 눈 안전(eye-safety), 이미지 포화(saturation), 소모 전력 문제 등이다. 적외선 카메라의 줌을 이용하면 사람의 거리에 따라 거리 측정 모드에 사용되는 광량이 홍채 인식에 최적의 광량이 되지 않을 수 있다는 문제가 있다. 이 모드에서 필요한 기준 거리에서 단위 면적당 광량을 I 라 하자.The iris recognition mode is a mode in which an iris is photographed by projecting infrared rays and used for security and authentication purposes. In general, in the iris recognition image, a high resolution image of only the iris portion is preferable, so the eye is brought close to the infrared camera or the zoom of the infrared camera is used. When the eye is brought close to the infrared camera, some problems occur when projecting the amount of light corresponding to the distance measurement mode. Eye-safety, image saturation, and power consumption issues. When using the zoom of the infrared camera, there is a problem that the amount of light used in the distance measurement mode may not be the optimal amount of light for iris recognition depending on the distance of the person. Let I be the amount of light per unit area at the required reference distance in this mode.

거리 검출 모드 및 생체 인증 모드에서 투사하는, 기준 거리에서 단위 면적당 광량을 각각 D, I라 할 때 D ≥ I 의 조건을 만족한다. 즉, 인증 정보 획득시 광량을 줄인다. When the amount of light per unit area is D and I at the reference distance projected in the distance detection mode and the biometric authentication mode, D ≥ I is satisfied. That is, when acquiring authentication information, the amount of light is reduced.

전술한 예에서, 거리 검출 모드와 생체 인식 모드의 전환은 제어부(110)에 의해 자동으로 이루어질 수 있다. 또는, 사용자에 의한 전환도 가능하다. In the above example, switching between the distance detection mode and the biometric recognition mode may be automatically performed by the controller 110. Alternatively, switching by the user is also possible.

단말(100)에 잠금 모드와 같은 인증 모드가 설정된 경우에 홍채 인식을 통해 잠금 모드를 해제하는 경우를 예시하자면 아래와 같다. 이러한 잠금 모드는 화면 전체에 대한 잠금 모드이거나, 화면 내 일부 선택 가능한 객체에 대한 잠금 모드이거나, 단말의 일부 기능에 대한 잠금 모드일 수 있다. When an authentication mode such as a lock mode is set in the terminal 100, an example of releasing the lock mode through iris recognition is as follows. The lock mode may be a lock mode for the entire screen, a lock mode for some selectable objects in the screen, or a lock mode for some functions of the terminal.

도 8은 본 발명의 제2 예에 따른 거리 검출 및 생체 인증 방법을 나타내는 흐름도이고, 도 9 및 도 10은 본 발명의 제2 예에 따른 거리 및 생체 인식 방법을 설명하기 위한 도면들이다. 8 is a flowchart illustrating a distance detection and biometric authentication method according to a second example of the present invention, and FIGS. 9 and 10 are diagrams for explaining a distance and biometric recognition method according to a second example of the present invention.

S210 단계는 잠금 모드를 표시하는 단계로서, 제어부(110)는 터치 스크린(190)에 화면 잠금을 나타내는 이미지, 아이콘, 텍스트 등을 표시한다. Step S210 is a step of displaying a lock mode, and the control unit 110 displays an image, icon, text, etc. indicating the screen lock on the touch screen 190.

S220 단계는 피사체 검출 단계로서, 제어부(110)는 카메라 모듈(150)로부터 실시간 이미지를 수신하고, 이미지에서 단말(100)에 미리 등록된 피사체가 검출되는지의 여부를 판단한다. 이러한 피사체의 등록은 피사체를 검출하기 위한 정보를 저장부(175)에 저장함으로써 이루어진다. 이러한 피사체를 검출하기 위한 정보는 피사체 이미지, 피사체 이미지의 특징점(또는 특징 이미지, 특징 패턴 등으로 지칭할 수도 있음) 정보, 학습 데이터 등을 포함할 수 있다. 이러한 특징점은 에지, 코너, 이미지 패턴, 외곽선 등일 수 있다.Step S220 is an object detection step, and the control unit 110 receives a real-time image from the camera module 150 and determines whether an object registered in advance in the terminal 100 is detected from the image. Registration of the subject is performed by storing information for detecting the subject in the storage unit 175. The information for detecting the subject may include a subject image, feature points (or may be referred to as feature images, feature patterns, etc.) of the subject image, learning data, and the like. Such feature points may be edges, corners, image patterns, and outlines.

예를 들어, 제어부(110)는 이미지에 얼굴이 포함되어 있는지 여부를 판단한다. 얼굴 검출은 통상의 얼굴 검출 방법을 이용하여 수행되며, 얼굴의 윤곽선, 얼굴 피부의 색상 및/또는 질감, 템플리트 등을 이용한 얼굴 검출 기술이 이용될 수 있다. 예를 들어, 제어부(110)는 등록된 생체 이미지의 특징점들과 실시간 이미지에서 검출된 특징점들의 매칭 과정을 수행함으로써, 등록된 생체와 매칭되는 이미지 영역(즉, 생체)을 검출할 수 있다. 또는, 제어부(110)는 다수의 얼굴 이미지를 통해 얼굴 학습을 수행하고, 축적된 얼굴 학습 데이터를 이용하여 입력된 이미지로부터 얼굴을 검출할 수 있다.For example, the controller 110 determines whether an image includes a face. Face detection is performed using a conventional face detection method, and face detection technology using a contour of a face, a color and / or texture of a facial skin, a template, or the like may be used. For example, the controller 110 may detect an image region (ie, a living body) that matches the registered living body by performing a matching process of the feature points of the registered biological image and the feature points detected in the real-time image. Alternatively, the controller 110 may perform face learning through a plurality of face images, and detect the face from the input image using the accumulated face learning data.

또는, 제어부(110)는 실시간 이미지에 손, 눈 또는 코가 포함되어 있는지 여부를 판단할 수도 있다. 예를 들어, 제어부(110)는 눈 및/또는 손을 검출한다. 이러한 눈 및/또는 코의 검출은 전술한 특징점 매칭, 얼굴 학습 데이터 등을 이용하여 이루어질 수 있다. Alternatively, the control unit 110 may determine whether a hand, eye, or nose is included in the real-time image. For example, the control unit 110 detects eyes and / or hands. The detection of the eyes and / or nose may be performed using the above-described feature point matching and face learning data.

제어부(110)는 등록된 피사체가 검출된 경우에 S230 단계를 수행하고, 등록된 피사체가 검출되지 않는 경우에 S210 및 S220 단계를 반복한다.The controller 110 performs steps S230 when the registered subject is detected, and repeats steps S210 and S220 when the registered subject is not detected.

S230 단계는 거리 검출 단계로서, 제어부(110)는 제1 및/또는 제2 거리/생체 센서(171, 176)로부터 실시간 이미지를 수신하고, 실시간 이미지로부터 피사체의 거리 정보(또는 깊이 정보)를 검출한다. 즉, 제어부(110)는 피사체와 단말(100)간의 거리를 검출한다. Step S230 is a distance detection step, the control unit 110 receives a real-time image from the first and / or second distance / biometric sensors 171, 176, and detects distance information (or depth information) of the subject from the real-time image do. That is, the control unit 110 detects the distance between the subject and the terminal 100.

S240 단계는 거리 조건의 만족 여부를 확인 단계로서, 제어부(110)는 피사체와 단말(100)간의 거리가 미리 설정된 거리 조건을 만족하는지의 여부를 판단한다. 예를 들어, 제어부(110)는 피사체와 단말(100)간의 거리가 미리 설정된 임계 값 이내인지의 여부를 판단할 수 있으며, 이러한 임계 값은 생체 인식(예를 들어, 3cm)이 가능한 최소 거리로 설정될 수 있다. 제어부(110)는 피사체와 단말(100)간의 거리가 미리 설정된 임계 값 이내인 경우에 S260 단계를 수행하고, 피사체와 단말(100)간의 거리가 미리 설정된 임계 값을 초과하는 경우에 S250 단계를 수행한다. Step S240 is a step of checking whether the distance condition is satisfied, and the controller 110 determines whether the distance between the subject and the terminal 100 satisfies a preset distance condition. For example, the control unit 110 may determine whether the distance between the subject and the terminal 100 is within a preset threshold, and the threshold is a minimum distance capable of biometric recognition (eg, 3 cm). Can be set. The controller 110 performs step S260 when the distance between the subject and the terminal 100 is within a preset threshold, and performs step S250 when the distance between the subject and the terminal 100 exceeds a preset threshold. do.

S250 단계는 안내 정보를 출력하는 단계로서, 제어부(110)는 피사체가 단말에 더 접근하거나, 더 멀어질 수 있도록 거리 안내 정보를 출력한다. 이러한 거리 안내 정보는 이미지, 텍스트, 음성, 진동 또는 이들의 조합으로 구성될 수 있다. 예를 들어, “좀 더 앞으로”, “좀 더 뒤로” 등의 음성이 출력되거나, 접근 또는 후퇴를 나타내는 이미지가 표시되거나, “좀 더 앞으로”, “좀 더 뒤로” 등의 텍스트가 표시될 수 있다. The step S250 is a step of outputting guide information, and the controller 110 outputs distance guide information so that the subject may approach or move further to the terminal. The distance guidance information may be composed of an image, text, voice, vibration, or a combination thereof. For example, voices such as “more forward” and “more backward” may be output, an image indicating approach or retreat may be displayed, or text such as “more forward” and “more backward” may be displayed. have.

S260 단계는 피사체를 인식하는 생체 인증 모드를 수행하는 단계로서, 제어부(110)는 실시간 이미지에서 등록된 피사체를 인식한다. Step S260 is a step of performing a biometric authentication mode for recognizing the subject, and the controller 110 recognizes the registered subject in the real-time image.

S270 단계는 잠금 모드를 해제하는 단계로서, 제어부(110)는 잠금 모드를 해제하고, 터치 스크린(190)에 잠금 이전 또는 직전의 화면을 표시한다.Step S270 is a step of releasing the lock mode, and the control unit 110 releases the lock mode and displays a screen before or immediately before the lock on the touch screen 190.

도 9의 (a)를 참조하면, 터치 스크린(190)에 잠금 화면(310)이 표시되며, 잠금 화면(310)에는 홍채 인식을 표시하는 이미지(314)와, 동심원들(312)이 표시되어 있다. Referring to (a) of FIG. 9, a lock screen 310 is displayed on the touch screen 190, and an image 314 indicating iris recognition and concentric circles 312 are displayed on the lock screen 310. have.

피사체에 해당하는 눈과 단말(100)간의 거리가 가까울수록 보다 안쪽의 동심원(312)이 강조 표시되며, 도 9의 (a)에는 중간 동심원(312)이 강조 표시(본 예에서는 굵은 선으로 표시함)되어 있다. The closer the distance between the eye corresponding to the subject and the terminal 100 is, the more concentric circles 312 are highlighted, and the middle concentric circles 312 are highlighted in FIG. 9 (a). Is included).

사용자의 눈이 단말(100)에 더 접근하여 피사체와 단말(100)간의 거리가 미리 설정된 임계 값 이내에 도달하면, 도 9의 (b)에 도시된 바와 같이, 가장 내측의 동심원(312a)이 강조 표시되며, 이때 피사체에 해당하는 홍채의 인식 모드가 수행 중임을 나타낼 수 있도록 홍채 인식을 표시하는 이미지(314a)도 강조 표시(본 예에서는 굵은 선으로 표시함)될 수 있다. When the user's eye approaches the terminal 100 further and the distance between the subject and the terminal 100 reaches within a preset threshold, the innermost concentric circle 312a is highlighted as shown in FIG. 9 (b). In this case, an image 314a displaying iris recognition may also be highlighted (indicated by a bold line in this example) so that the recognition mode of the iris corresponding to the subject is being performed.

홍채 인식이 성공하면, 도 9의 (c)에 도시된 바와 같이, 잠금 모드가 해제되고, 홈 화면(320)이 터치 스크린(190)에 표시될 수 있다. If the iris recognition is successful, as shown in FIG. 9 (c), the lock mode is released, and the home screen 320 may be displayed on the touch screen 190.

본 발명의 제2 예에 따른 거리 및 생체 인식 방법은 지문 인식에도 동일하게 적용될 수 있다.The distance and the biometric recognition method according to the second example of the present invention can be equally applied to fingerprint recognition.

도 10의 (a)를 참조하면, 터치 스크린(190)에 잠금 화면(330)이 표시되며, 잠금 화면(330)에는 지문 인식을 표시하는 이미지(334)와, 동심원들(332)이 표시되어 있다. Referring to (a) of FIG. 10, a lock screen 330 is displayed on the touch screen 190, and an image 334 displaying fingerprint recognition and concentric circles 332 are displayed on the lock screen 330. have.

피사체에 해당하는 손 또는 손가락과 단말(100)간의 거리가 가까울수록 보다 안쪽의 동심원(332)이 강조 표시되며, 도 10의 (a)에는 중간 동심원(332)이 강조 표시(본 예에서는 굵은 선으로 표시함)되어 있다. The closer the distance between the hand or finger corresponding to the subject and the terminal 100 is, the more concentric circles 332 are highlighted, and the middle concentric circles 332 are highlighted in FIG. 10 (a) (thick line in this example). Mark).

사용자의 손 또는 손가락이 단말(100)에 더 접근하여 피사체와 단말(100)간의 거리가 미리 설정된 임계 값 이내에 도달하면, 도 9의 (b)에 도시된 바와 같이, 가장 내측의 동심원(332a)이 강조 표시되며, 이때 피사체에 해당하는 지문의 인식 모드가 수행 중임을 나타낼 수 있도록 지문 인식을 표시하는 이미지(334a)도 강조 표시(본 예에서는 굵은 선으로 표시함)될 수 있다. When the user's hand or finger approaches the terminal 100 further and the distance between the subject and the terminal 100 reaches within a preset threshold, as shown in FIG. 9 (b), the innermost concentric circle 332a In this case, the image 334a displaying fingerprint recognition may also be highlighted (indicated by a bold line in this example) so that the recognition mode of the fingerprint corresponding to the subject is being performed.

지문 인식이 성공하면, 도 10의 (c)에 도시된 바와 같이, 잠금 모드가 해제되고, 홈 화면(320)이 터치 스크린(190)에 표시될 수 있다.If the fingerprint recognition is successful, as shown in FIG. 10 (c), the lock mode is released, and the home screen 320 may be displayed on the touch screen 190.

도 11은 본 발명의 제3 예에 따른 거리 검출 및 생체 인증 방법을 나타내는 흐름도이다.11 is a flowchart illustrating a distance detection and biometric authentication method according to a third example of the present invention.

S310 단계는 피사체를 인식 또는 검출하는 단계로서, 제어부(110)는 카메라 모듈(150)에 의해 촬영된 이미지에서 등록된 피사체를 인식 또는 검출한다. Step S310 is a step of recognizing or detecting a subject, and the controller 110 recognizes or detects a registered subject from the image photographed by the camera module 150.

S320 단계는 피사체의 종류를 확인하는 단계로서, 제어부(110)는 검출된 피사체가 거리 검출 모드가 설정된 제1 피사체인지, 생체 인증 모드가 설정된 제2 피사체인지의 여부를 판단한다. 이러한 제1 피사체는 손, 손가락, 휴대 단말, 리모콘 등일 수 있고, 제2 피사체는 얼굴, 눈 등일 수 있다. Step S320 is a step of checking the type of the subject, and the control unit 110 determines whether the detected subject is the first subject in which the distance detection mode is set or the second subject in which the biometric authentication mode is set. The first subject may be a hand, a finger, a mobile terminal, a remote control, etc., and the second subject may be a face, eyes, or the like.

제어부(110)는 검출된 피사체가 제1 피사체인 경우에 S330 단계를 수행하고, 검출된 피사체가 제2 피사체인 경우에 S340 단계를 수행한다. The controller 110 performs step S330 when the detected subject is the first subject, and performs step S340 when the detected subject is the second subject.

S330 단계는 거리 검출 모드 실행 단계로서, 제어부(110)는 제1 및/또는 제2 거리/생체 센서(171, 176)를 이용하여 피사체의 거리 정보(또는 깊이 정보)를 검출한다. 또한, 제어부(110)는 검출된 거리 정보를 이용하여 화면 제어, 제스쳐 또는 모션 인식과 인식된 제스쳐 또는 모션에 따른 명령 실행, 화면 내의 객체 선택 또는 제어 등의 프로그램된 동작을 수행한다. Step S330 is a distance detection mode execution step, and the control unit 110 detects distance information (or depth information) of the subject using the first and / or second distance / biometric sensors 171 and 176. In addition, the control unit 110 uses the detected distance information to perform programmed operations such as screen control, gesture or motion recognition, command execution according to the recognized gesture or motion, and selection or control of objects in the screen.

S340 단계는 생체 인증 모드 실행 단계로서, 제어부(110)는 제1 및/또는 제2 거리/생체 센서(171, 176)를 이용하여 피사체를 인식한다. 이때, 단말과 제2 피사체의 거리가 임계 값보다 큰 경우에 안내 정보가 출력될 수 있다. 또한, 제어부(110)는 피사체 인식 또는 인증이 성공하면 보안된, 또는 접근 제한된 정보 또는 서비스를 제공하고, 생체 인증이 실패하면 이를 사용자에게 알린다. In step S340, the biometric authentication mode is executed, and the controller 110 recognizes the subject using the first and / or second distance / biometric sensors 171 and 176. At this time, when the distance between the terminal and the second subject is greater than a threshold value, guide information may be output. In addition, if the object recognition or authentication is successful, the controller 110 provides secure or restricted access information or service, and notifies the user when biometric authentication fails.

전술한 예들에서, 화면을 표시하는 디스플레이 유닛의 대표적인 예로 터치 스크린을 예시하고 있으나, 터치 스크린 대신에 터치 감지 기능이 없는 액정표시장치(Liquid Crystal Display: LCD), 유기발광다이오드(Organic Light Emitting Diodes: OLED), LED 등과 같은 통상의 디스플레이 유닛을 사용할 수도 있다. In the above examples, a touch screen is illustrated as a typical example of a display unit displaying a screen, but instead of the touch screen, a liquid crystal display (LCD) without touch detection function, organic light emitting diodes (Organic Light Emitting Diodes): OLED), LED, or the like, may be used.

본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 단말 내에 포함될 수 있는 저장부는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.It will be appreciated that embodiments of the invention are feasible in the form of hardware, software or a combination of hardware and software. Any such software may be, for example, volatile or non-volatile storage, such as a storage device such as ROM, or memory, such as RAM, memory chip, device or integrated circuit, regardless of whether it is erasable or rewritable. Alternatively, it may be stored in a storage medium readable by a machine (eg, a computer) while being optically or magnetically recordable, for example, a CD, DVD, magnetic disk, or magnetic tape. It will be appreciated that a storage unit that may be included in a terminal is an example of a machine-readable storage medium suitable for storing a program or programs including instructions for implementing embodiments of the present invention. Accordingly, the present invention includes a program comprising code for implementing the apparatus or method described in any claim herein and a machine-readable storage medium storing the program. In addition, such programs can be transferred electronically via any medium, such as communication signals carried over a wired or wireless connection, and the present invention suitably includes this equivalent.

또한, 상기 단말은 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 단말이 기설정된 거리 검출 및 생체 인증 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 거리 검출 및 생체 인증 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 단말과의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 단말의 요청 또는 자동으로 해당 프로그램을 상기 단말로 전송하는 제어부를 포함할 수 있다.In addition, the terminal may receive and store the program from a program providing device connected by wire or wirelessly. The program providing apparatus is a program for storing a program including instructions for allowing the terminal to perform a predetermined distance detection and biometric authentication method, information necessary for a distance detection and biometric authentication method, and a wired or wireless communication with the terminal. It may include a communication unit for performing communication, and a control unit that automatically transmits the corresponding program to the terminal or the request of the terminal.

상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.In the above description of the present invention, specific embodiments have been described, but various modifications can be made without departing from the scope of the present invention. Therefore, the scope of the present invention should not be determined by the described embodiments, but should be determined by equality between the claims and the claims.

100: 단말, 110: 제어부, 120: 통신 모듈, 130: 서브 통신 모듈, 140: 멀티미디어 모듈, 150: 카메라 모듈, 157: GPS 모듈, 160: 입/출력 모듈, 168: 입력 유닛, 170; 센서 모듈, 175: 저장부, 180: 전원 공급부, 190: 터치 스크린, 195: 터치 스크린 컨트롤러100: terminal, 110: control unit, 120: communication module, 130: sub communication module, 140: multimedia module, 150: camera module, 157: GPS module, 160: input / output module, 168: input unit, 170; Sensor module, 175: storage, 180: power supply, 190: touch screen, 195: touch screen controller

Claims

In the method using the distance / biological sensor of the terminal,
Recognizing a subject from an image photographed by the camera module;
Based on the first subject registered in advance, the terminal and the terminal through the distance / biometric sensor including an infrared light source that irradiates infrared light to the subject and an infrared camera that detects infrared light reflected from the subject. Performing a distance detection mode for detecting a distance between subjects;
Comprising the step of performing a biometric authentication mode for authenticating the biometric information of the subject through the distance / biological sensor, based on that the subject is a pre-registered second subject,
In the distance detection mode, the light amount of the first infrared light emitted through the infrared light source is greater than the light amount of the second infrared light emitted through the infrared light source in the biometric authentication mode,
The frequency of the first infrared ray in the distance detection mode is different from the frequency of the second infrared ray in the biometric authentication mode.
How to use the terminal's distance / biometric sensor.

According to claim 1,
The first subject is a hand, a finger or an object, and the second subject is a face or an eye.
How to use the terminal's distance / biometric sensor.

delete

According to claim 1, The step of performing the biometric authentication mode,
And outputting guide information when the distance between the terminal and the subject is greater than a preset threshold value.
How to use the terminal's distance / biometric sensor.

In the method using the distance / biological sensor of the terminal,
Recognizing a subject from an image photographed by the camera module;
Performing a distance detection mode for detecting a distance between the terminal and the subject through the distance / biometric sensor including an infrared light source that irradiates infrared light to the subject and an infrared camera that detects infrared light reflected from the subject; ;
Comprising the step of performing a biometric authentication mode for authenticating the biometric information of the subject through the distance / biological sensor, based on the distance between the terminal and the subject is within a preset threshold value,
In the distance detection mode, the light amount of the first infrared light emitted through the infrared light source is greater than the light amount of the second infrared light emitted through the infrared light source in the biometric authentication mode,
The frequency of the first infrared ray in the distance detection mode is different from the frequency of the second infrared ray in the biometric authentication mode.
How to use the terminal's distance / biometric sensor.

The method of claim 6,
Displaying a lock mode on the display unit;
When the biometric information of the subject is successfully authenticated through the distance / biometric sensor, further comprising the step of releasing the lock mode.
How to use the terminal's distance / biometric sensor.

The method of claim 6,
And outputting guide information when the distance between the terminal and the subject is greater than the threshold value.
How to use the terminal's distance / biometric sensor.

The method of claim 6,
The subject is characterized in that the hand, finger, face or eye
How to use the terminal's distance / biometric sensor.

delete

A machine-readable storage medium recording a program for executing a method of using a distance / biometric sensor of a terminal according to any one of claims 1, 2, or 5 to 9.

A terminal comprising the machine-readable storage medium of claim 12.

The method of claim 13,
The terminal is characterized in that the mobile phone or TV.

In the terminal using the distance / biological sensor,
A camera module for outputting the captured image;
The distance / biometric sensor including an infrared light source irradiating infrared light onto a subject and an infrared camera detecting infrared light reflected from the subject;
Recognize the subject from the image, and perform a distance detection mode for detecting the distance between the terminal and the subject through the distance / biometric sensor based on the subject being a first subject registered in advance. A control unit for performing a biometric authentication mode for authenticating biometric information of the subject through the distance / biometric sensor based on the registered second subject,
The control unit,
In the distance detection mode, the light amount of the first infrared light emitted through the infrared light source is greater than the light amount of the second infrared light emitted through the infrared light source in the biometric authentication mode,
The terminal characterized in that the frequency of the first infrared ray in the distance detection mode is different from the frequency of the second infrared ray in the biometric authentication mode.

delete

The method of claim 15, wherein the control unit,
A terminal characterized in that when the distance between the terminal and the subject is greater than a preset threshold, guide information is output.

In the terminal using the distance / biological sensor,
A camera module for outputting the captured image;
The distance / biometric sensor including an infrared light source irradiating infrared light onto a subject and an infrared camera detecting infrared light reflected from the subject;
Based on that the image recognizes the subject, performs a distance detection mode for detecting the distance between the terminal and the subject through the distance / biometric sensor, and the distance between the terminal and the subject is within a preset threshold value. It includes a control unit for performing a biometric authentication mode for authenticating the biometric information of the subject through the distance / biological sensor,
The control unit,
In the distance detection mode, the light amount of the first infrared light emitted through the infrared light source is greater than the light amount of the second infrared light emitted through the infrared light source in the biometric authentication mode,
The terminal characterized in that the frequency of the first infrared ray in the distance detection mode is different from the frequency of the second infrared ray in the biometric authentication mode.

delete

The method of claim 18, wherein the control unit,
A terminal characterized in that when the distance between the terminal and the subject is greater than the threshold, guide information is output.