KR20140051480A

KR20140051480A - Apparatus and method for display

Info

Publication number: KR20140051480A
Application number: KR1020120110324A
Authority: KR
Inventors: 정길수; 민종술
Original assignee: 삼성전자주식회사
Priority date: 2012-10-04
Filing date: 2012-10-04
Publication date: 2014-05-02

Abstract

Disclosed are a display apparatus and a display method. The display apparatus according to the present invention includes an input unit for receiving a user instruction; a display unit for displaying a locked screen; a photographing unit for photographing an image; a gaze tracking unit for tracking a gaze of the user photographed through the photographing unit to extract a gaze movement path on the locked screen; a storage unit in which an unlocking pattern is stored; and a control unit for releasing a locked state if the gaze movement path and the unlocking pattern are matched with each other, converting the locked screen into an unlocked screen, switching off a screen of the display unit while converting the unlocked state into a locked state if the display unit is not used for a preset time, controlling the display unit such that the locked screen is displayed if a user instruction is input while the screen of the display unit is switched off, and deactivating the photographing unit if the locked screen is converted into an unlocked screen. Accordingly, the display apparatus can prevent information related to the unlocked state from being exposed to the outside.

Description

[0001] Apparatus and method for display [0002]

본 발명은 디스플레이 장치 및 방법에 관한 것으로서, 보다 상세하게는 잠금 화면을 제공하는 디스플레이 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a display device and a method thereof, and more particularly, to a display device and a method of providing a lock screen.

최근 들어, 통신 기술의 발전으로 인해, 디스플레이 장치의 기능이 점차 확대되고 있으며, 이에 맞추어 보다 다양한 사용자 인터페이스 및 그를 이용한 다양한 기능이 제공되고 있다.2. Description of the Related Art [0002] In recent years, due to the development of communication technology, the functions of a display device have been gradually expanded. Accordingly, various user interfaces and various functions using the same have been provided.

이 같은 다양한 기능 중, 디스플레이 장치의 보안과 관련하여 잠금 및 해제 관련 기능이 있다. 이 같은 디스플레이 장치는 기설정된 시간 동안 활성화되지 않거나 혹은 사용자에 의해 화면이 꺼져있는 상태에서 활성화 모드로 진입하면, 잠금 화면 모드로 전환한다. 따라서, 사용자는 잠금 화면을 해제하기 위해서, 자신의 손가락을 이용하여 잠금 화면상에 표시된 복수 개의 객체들에 대한 터치를 수행한다. 이에 따라, 디스플레이 장치는 사용자로부터 입력된 터치 패턴과 기설정된 잠금 해제 패턴이 일치하는지 여부를 판단하여 잠금 화면에서 잠금 해제 화면으로 전환한다.Of these various functions, there are lock and release related functions related to the security of the display device. Such a display device switches to the lock screen mode when it enters the active mode when it is not activated for a preset time or when the screen is turned off by the user. Accordingly, the user performs a touch on a plurality of objects displayed on the lock screen using his / her finger to release the lock screen. Accordingly, the display device determines whether or not the touch pattern input from the user coincides with the predetermined unlock pattern, and switches from the lock screen to the unlock screen.

이 같은 종래의 디스플레이 장치의 잠금 해제 방법은 사용자의 잠금 해제 패턴을 입력 시, 주변 사용자에게 해당 잠금 해제 패턴이 노출되거나 혹은 사용자의 잦은 잠금 해제 패턴에 따라 디스플레이 장치의 화면상에 패턴 입력에 따른 흔적이 남게 됨으로써, 주변 사용자가 잠금 해제 패턴을 보다 쉽게 유추할 수 있다. 이에 따라, 디스플레이 장치 내에 저장된 정보가 외부로 노출될 가능성이 매우 높은 문제가 발생할 수 있다.In the conventional unlocking method of the display device, when the unlocking pattern of the user is inputted, the unlocking pattern is exposed to the surrounding user, or a trace according to the pattern input is displayed on the screen of the display device according to frequent unlocking patterns of the user. The unlocking pattern can be more easily inferred by the surrounding user. Accordingly, there is a possibility that the information stored in the display device is very likely to be exposed to the outside.

본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 잠금 화면을 제공하는 디스플레이 장치에서 잠금 상태를 해제하는데 있어서, 잠금 해제와 관련된 정보가 외부로 노출되는 것을 방지하도록 함을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned needs, and it is an object of the present invention to provide a display device which provides a lock screen in order to prevent the information related to unlocking from being exposed to the outside, do.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 사용자 명령을 입력받기 위한 입력부, 잠금 화면을 디스플레이하는 디스플레이부, 영상 이미지를 촬영하는 촬영부, 상기 촬영부를 통해 촬영된 사용자의 시선을 추적하여 상기 잠금 화면 상에서의 시선 이동 궤적을 추출하는 시선 추적부; According to an aspect of the present invention, there is provided a display device including an input unit for receiving a user command, a display unit for displaying a lock screen, a photographing unit for photographing a video image, A gaze tracking unit for tracking a user's gaze and extracting a gaze movement locus on the lock screen;

잠금 해제 패턴이 저장된 저장부 및 상기 시선 이동 궤적과 상기 잠금 해제 패턴이 일치하면 잠금 상태를 해제하고, 상기 잠금 화면을 잠금 해제 화면으로 전환하며, 상기 디스플레이 장치가 기설정된 시간 동안 미사용되면, 잠금 상태로 전환하면서 상기 디스플레이부의 화면을 오프시키고, 상기 디스플레이부의 화면이 오프된 상태에서 상기 사용자 명령이 입력되면 상기 잠금 화면을 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 잠금 해제 화면으로 전환되면 상기 촬영부를 비활성화시키는 제어부를 포함한다.A storage unit for storing an unlock pattern and a display unit for releasing the locked state and switching the unlock screen to the unlock screen if the visual track coincides with the unlock pattern, The control unit controls the display unit to display the lock screen when the user command is input while the screen of the display unit is turned off and switches the display unit to the unlock screen to deactivate the shooting unit And a control unit.

그리고, 상기 제어부는, 상기 잠금 화면에 대한 상기 사용자의 시선이 감지되면, 시각적 피드백, 음향 피드백, 진동 피드백 중 적어도 하나를 제공할 수 있다.The controller may provide at least one of visual feedback, acoustic feedback, and vibration feedback when the user's gaze on the lock screen is sensed.

또한, 상기 잠금 화면은 복수 개의 객체를 포함하며, 상기 제어부는, 상기 복수 개의 객체 중 기 설정된 위치의 객체에 대해 상기 시선이 기 설정된 시간 동안 고정되면, 상기 객체에 대해 고정된 안구 이미지를 기준 이미지로 저장하고, 상기 기준 이미지를 기초로 상기 시선 이동 궤적을 추출하도록 상기 시선 추적부를 제어하여, 잠금 해제 동작을 수행할 수 있다.In addition, the lock screen may include a plurality of objects, and when the eyes are fixed for a predetermined time with respect to an object of a predetermined position among the plurality of objects, , And controls the gaze tracking unit to extract the gaze movement trajectory based on the reference image, thereby performing an unlocking operation.

그리고, 상기 저장부는, 상기 사용자의 시선을 추적하기 위한 기준 이미지를 저장하고, 상기 시선 추적부는, 상기 촬영부에서 촬영된 이미지와 상기 기준 이미지를 비교하여 상기 시선 이동 궤적을 추출하며, 상기 기준 이미지는 업데이트 가능할 수 있다.The storage unit stores a reference image for tracking the user's gaze, and the gaze tracking unit compares the image captured by the photographing unit with the reference image to extract the gaze movement trajectory, May be updateable.

또한, 한편, 본 발명의 일 실시 예에 따르면, 카메라가 탑재된 디스플레이 장치에서 잠금 화면을 해제하여 디스플레이하는 방법에 있어서, 상기 방법은 상기 잠금 화면을 디스플레이하는 단계, 상기 카메라를 통해 영상 이미지를 촬영하는 단계, 상기 촬영된 사용자의 시선을 추적하여 상기 잠금 화면상에서의 시선 이동 궤적을 추출하는 단계, 상기 시선 이동 궤적 및 기저장된 잠금 해제 패턴이 일치하면, 잠금 상태를 해제하고, 상기 잠금 화면을 잠금 해제 화면으로 전환하여 디스플레이하는 단계, 상기 잠금 해지 화면으로 전환된 디스플레이 장치가 기설정된 시간 미사용되면, 잠금 상태로 전환하면서 디스플레이 화면을 오프시키는 단계, 상기 잠금 화면이 디스플레이되면, 상기 카메라를 활성화시키는 단계 및 상기 잠금 해제 화면으로 전환되면, 상기 카메라를 비활성화시키는 단계를 포함하며, 상기 잠금 화면을 디스플레이하는 단계는, 상기 디스플레이 화면이 오프된 상태에서 사용자 명령이 입력되면, 상기 잠금 화면을 디스플레이한다.According to an embodiment of the present invention, there is provided a method of displaying a locked screen in a display device on which a camera is mounted, the method comprising: displaying the lock screen; Extracting a gaze movement trajectory on the lock screen by tracking the gaze of the photographed user; releasing the lock state when the gaze movement locus and the previously stored unlock pattern coincide with each other; Turning off the display screen while switching to the locked state when the display device switched to the lock release screen is not used for a predetermined time, activating the camera when the lock screen is displayed And when switched to the unlock screen, Wherein the step of displaying the lock screen displays the lock screen when a user command is input while the display screen is turned off.

그리고, 상기 시선 이동 궤적을 추출하는 단계는, 상기 잠금 화면에 대한 상기 사용자의 시선이 감지되면, 시각적 피드백, 음향 피드백, 진동 피드백 중 적어도 하나를 제공할 수 있다.The step of extracting the line-of-sight movement trajectory may provide at least one of visual feedback, acoustic feedback, and vibration feedback when the user's line of sight to the lock screen is sensed.

또한, 상기 잠금 화면은 복수 개의 객체를 포함하며, 상기 시선 이동 궤적을 추출하는 단계는, 상기 복수 개의 객체 중 기 설정된 위치의 객체에 대해 상기 시선이 기 설정된 시간 동안 고정되면, 상기 객체에 대해 고정된 안구 이미지를 기준 이미지로 저장하고, 상기 기준 이미지를 기초로 상기 시선 이동 궤적을 추출할 수 있다.In addition, the locking screen may include a plurality of objects, and the step of extracting the line-of-sight movement trajectory may include a step of, when the gaze is fixed for a preset time period with respect to an object of a predetermined position among the plurality of objects, The eyeball image can be stored as a reference image, and the eyeball movement locus can be extracted based on the reference image.

그리고, 상기 시선 이동 궤적을 추출하는 단계는, 상기 카메라를 통해 촬영된 이미지와 기저장된 사용자의 시선 추적을 위한 기준 이미지를 비교하여 시선 이동 궤적을 추출하며, 상기 기준 이미지는 업데이트 가능할 수 있다.The step of extracting the line-of-sight trajectory may include extracting a line-of-sight trajectory by comparing an image photographed by the camera with a reference image for tracking the gaze of the user, and the reference image may be updatable.

이상과 같이 본 발명의 다양한 실시 예에 따르면, 디스플레이 장치는 사용자의 시선을 추적하여 잠금 화면의 해제 여부를 결정함으로써, 잠금 해제와 관련된 정보가 외부로 노출되는 것을 방지할 수 있다.As described above, according to various embodiments of the present invention, the display device can track the user's eyes and determine whether to release the lock screen, thereby preventing information related to unlocking from being exposed to the outside.

도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 블록도,
도 2는 본 발명의 일 실시예에 따른 디스플레이 장치의 잠금 화면상에 표시되는 복수 개의 객체가 지정되는 예시도,
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치의 잠금 화면 및 잠금 해제 패턴을 도시한 예시도,
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자의 시선 위치에 따라 기준 이미지를 결정하는 제1 예시도,
도 5는 본 발명의 또다른 실시예에 따른 디스플레이 장치에서 사용자의 시선 위치에 따라 기준 이미지를 결정하는 제2 예시도,
도 6은 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자의 시선 이동에 따라 잠금 해제 동작을 수행하는 예시도,
도 7은 본 발명의 일 실시예에 따른 디스플레이 장치에서 이벤트 발생에 따라 피드백을 제공하는 예시도,
도 8은 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자 시선을 통해 잠금 화면을 해제하는 방법의 흐름도이다.1 is a block diagram of a display device according to an embodiment of the present invention;
2 is a diagram illustrating a plurality of objects displayed on a lock screen of a display device according to an exemplary embodiment of the present invention,
3 is an exemplary view showing a lock screen and an unlocking pattern of a display device according to an embodiment of the present invention,
FIG. 4 is a first exemplary diagram for determining a reference image according to a user's gaze position in a display device according to an exemplary embodiment of the present invention,
5 is a second exemplary diagram for determining a reference image according to a user's gaze position in a display device according to another embodiment of the present invention,
FIG. 6 illustrates an example of performing an unlock operation according to a user's gaze movement in a display device according to an embodiment of the present invention.
7 is a diagram illustrating an example of providing feedback according to an event occurrence in a display apparatus according to an exemplary embodiment of the present invention.
8 is a flowchart illustrating a method of releasing a lock screen through a user's eyes in a display device according to an exemplary embodiment of the present invention.

도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 블록도이다.1 is a block diagram of a display device according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 디스플레이 장치는 디스플레이부(110), 입력부(120), 촬영부(130), 시선 추적부(140), 제어부(150) 및 저장부(160)를 포함한다.1, the display device includes a display unit 110, an input unit 120, a photographing unit 130, a gaze tracking unit 140, a control unit 150, and a storage unit 160.

디스플레이부(110)는 잠금 화면 및 잠금 해제 화면을 디스플레이하며, 여기서, 잠금 화면은 디스플레이 장치의 사용 제안을 위한 잠금 상태를 나타내는 화면이며, 잠금 해제 화면은 디스플레이 장치의 사용과 관련하여 잠금 상태가 해제된 화면이 될 수 있다. 이 같은 잠금 화면 및 잠금 해제 화면 중 하나의 화면을 디스플레이하는 디스플레이부(110)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등으로 구현될 수 있다. 또한, 디스플레이부(110)는 터치 패드와 함게 상호 레이어 구조를 이루는 터치 스크린(Touch Screen) 형태로 구현될 수 있으며, 이 같은 터치 스크린은 터치 입력 위치, 면적 , 터치 입력의 압력까지도 검출하도록 구성될 수 있다.The display unit 110 displays a lock screen and an unlock screen, wherein the lock screen is a screen showing a lock status for suggestion of use of the display device, and the unlock screen is related to the use of the display device, Screen. The display unit 110 for displaying a screen of one of the lock screen and the unlock screen may be a liquid crystal display (LCD), an organic light emitting diode (OLED) or a plasma display panel Display Panel, PDP). In addition, the display unit 110 may be implemented as a touch screen having a mutual layer structure with a touch pad, and the touch screen may be configured to detect a touch input position, an area, and a pressure of a touch input .

입력부(120)는 다양한 사용자 명령을 입력받아 제어부(150)로 전달하기 위한 입력 수단으로써, 입력 패널로 구현될 수 있다. 여기서, 입력 패널은 터치 패드(Touch Pad) 혹은 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad) 또는 터치 스크린(Touch Screen) 방식으로 이루어질 수 있다. 촬영부(130)는 디스플레이 장치 내에 탑재된 카메라(미도시)를 통해 영상 이미지를 촬영하는 것으로써, 디스플레이부(110)가 잠금 화면을 디스플레이하는 시점에 촬영 동작을 개시하며, 잠금 화면에서 잠금 해제 화면으로 전환하는 시점에 촬영 동작을 종료한다.The input unit 120 may be implemented as an input panel as input means for receiving various user commands and transmitting them to the controller 150. Here, the input panel may be a key pad or a touch screen having a touch pad, various function keys, numeric keys, special keys, and character keys. The photographing unit 130 photographs a video image through a camera (not shown) installed in the display device, thereby initiating a photographing operation at a time when the display unit 110 displays a lock screen, The photographing operation is terminated at the time of switching to the screen.

시선 추적부(140)는 촬영부(130)를 통해 촬영된 사용자의 시선을 추적하여 잠금 화면상에서의 시선 이동 궤적을 추출한다. 구체적으로, 시선 추적부(140)는 촬영부(130)를 통해 촬영된 사용자의 영상 이미지로부터 사용자 얼굴 이미지를 검출한다. 실시예에 따라, 시선 추적부(140)는 PCA(Principal Component Analysis), FDA(Fisher Discriminant Analysis), ICA(Independent Component Analysis) 등과 같은 얼굴 인식 알고리즘을 이용하여 사용자 얼굴 이미지를 검출할 수 있다. 여기서, PCA, FDA, ICA와 같은 얼굴 인식 알고리즘은 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.The gaze tracking unit 140 tracks the gaze of the user photographed through the photographing unit 130 and extracts a gaze movement trajectory on the lock screen. Specifically, the gaze tracking unit 140 detects a user's face image from a video image of a user photographed through the photographing unit 130. According to an embodiment, the gaze tracking unit 140 may detect a user's face image using a face recognition algorithm such as Principal Component Analysis (PCA), Fisher Discriminant Analysis (FDA), or Independent Component Analysis (ICA). Here, face recognition algorithms such as PCA, FDA, and ICA are well known in the art and will not be described in detail here.

한편, 이 같은 얼굴 인식 알고리즘을 이용하여 사용자 얼굴 이미지가 검출되면, 시선 추적부(140)는 검출된 얼굴 이미지로부터 사용자 눈을 추출할 수 있다. 실시예에 따라, 시선 추적부(140)는 Adaboost, SVM(Support Vector Maachine), 등과 같은 객체 검출 알고리즘을 이용하여 사용자의 얼굴 이미지에 포함된 사용자 눈의 위치 및 눈 안에 포함되는 눈동자를 추출할 수 있다. 여기서, Adaboost, SVM과 같은 객체 검출 알고리즘은 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.Meanwhile, when the user's face image is detected using the face recognition algorithm, the gaze tracking unit 140 can extract the user's eye from the detected face image. According to the embodiment, the gaze tracking unit 140 can extract the pupil included in the eyes and the position of the user's eyes included in the face image of the user by using an object detection algorithm such as Adaboost, SVM (Support Vector Maachine) have. Here, since object detection algorithms such as Adaboost and SVM are well-known techniques, detailed description thereof will be omitted in the present invention.

이 같은 객체 검출 알고리즘을 통해 사용자의 눈동자가 검출되면, 시선 추적부(140)는 추출된 사용자 눈동자의 위치 변화로부터 사용자의 시선을 최종적으로 추적할 수 있다. 실시예에 따라, 시선 추적부(140)는 엑티브 쉐입 모델(Active Shape Model : ASM), 액티브 어피어런스 모델(Active Appearance Model : AMM) 등의 얼굴 모델링 기법을 이용하여 추출된 사용자의 눈동자의 위치 변화를 검출하여 사용자의 시선을 추적하여 그에 따른 시선 이동 궤적을 추출할 수 있다. 여기서, ASM, AMM 등의 얼굴 모델링 기법 또는 공지된 기술이기 본 발명에서는 상세한 설명을 생략하도록 한다.When the user's pupil is detected through the object detection algorithm, the gaze tracking unit 140 can finally track the user's gaze from the position change of the extracted user's pupil. According to an embodiment, the eye-gaze tracking unit 140 may use a face modeling technique such as an Active Shape Model (ASM) or an Active Appearance Model (AMM) It is possible to detect the change, track the user's gaze, and extract the gaze movement trajectory corresponding thereto. Here, a face modeling technique such as ASM, AMM, or the like, or a known technique, will not be described in detail in the present invention.

전술한 각 구성의 동작을 제어하는 제어부(150)는 시선 추적부(140)를 통해 추출된 시선 이동 궤적과 저장부(160)에 기설정되어 저장된 잠금 해제 패턴이 일치하는지 여부를 판단한다. 판단 결과, 시선 이동 궤적과 잠금 해제 패턴이 일치하면, 제어부(150)는 현재 잠금 상태를 해제하고, 잠금 화면을 잠금 해제 화면으로 전환하도록 디스플레이부(110)를 제어한다.The controller 150 for controlling the operation of each of the above-described structures determines whether or not the sight line trajectory extracted through the visual line tracing unit 140 matches the unlock pattern previously stored in the storage unit 160. As a result of the determination, if the sight line trajectory matches the unlock pattern, the controller 150 cancels the current lock state and controls the display unit 110 to switch the lock screen to the unlock screen.

이하에서는 전술한 각 구성을 통해 잠금 화면으로 설정된 디스플레이 화면을 잠금 해제 화면으로 전환하는 동작에 대해서 보다 구체적으로 설명하도록 한다.Hereinafter, the operation of switching the display screen set as the lock screen to the unlock screen will be described in more detail.

디스플레이 장치가 기설정된 시간 동안 미사용되거나 혹은 입력부(120)를 통해 화면 오프 관련 사용자 명령이 입력되면, 제어부(150)는 디스플레이부(110)의 화면을 오프시킨다. 이 같이, 디스플레이부(110)의 화면이 오프된 상태에서 입력부(120)를 통해 화면 온 관련 사용자 명령이 입력되면, 제어부(150)는 잠금 화면을 디스플레이하도록 디스플레이부(110)를 제어한다. 이 같은 제어 명령에 따라, 디스플레이부(110)는 복수 개의 객체를 포함하는 잠금 화면을 디스플레이한다. If the display device is not used for a preset time or a user command related to the screen off is input through the input unit 120, the control unit 150 turns off the screen of the display unit 110. In this way, when the screen-on related user command is inputted through the input unit 120 while the screen of the display unit 110 is off, the controller 150 controls the display unit 110 to display the lock screen. In accordance with such a control command, the display unit 110 displays a lock screen including a plurality of objects.

도 2는 본 발명의 일 실시예에 따른 디스플레이 장치의 잠금 화면상에 표시되는 복수 개의 객체가 지정되는 예시도이며, 도 3은 본 발명의 일 실시예에 따른 디스플레이 장치의 잠금 화면 및 잠금 해제 패턴을 도시한 예시도이다.FIG. 2 is a diagram illustrating an example in which a plurality of objects displayed on a lock screen of a display device according to an exemplary embodiment of the present invention is designated. FIG. 3 is a diagram illustrating a lock screen and an unlock pattern Fig.

디스플레이부(110)는 제어부(150)의 제어 명령에 따라, 복수 개의 객체를 포함하는 잠금 화면을 디스플레이한다. 따라서, 디스플레이 화면(200) 상에는 잠금 화면을 해제하기 위한 복수 개의 객체(210~290)가 특정 영역에 표시될 수 있다. 즉, 복수 개의 객체(210~290)가 표시되는 특정 영역은 디스플레이 장치에서 지원하는 해상도 각각에 대응하는 픽셀을 기설정된 영역별로 모아 일정 블록 단위로 구분한 후, 각 블록 단위에 해당하는 좌표값들 중 하나의 대표 좌표값에 해당하는 영역이 될 수 있다.The display unit 110 displays a lock screen including a plurality of objects according to a control command of the controller 150. [ Accordingly, on the display screen 200, a plurality of objects 210 to 290 for releasing the lock screen can be displayed in a specific area. That is, the specific area in which the plurality of objects 210 to 290 are displayed is divided into predetermined blocks in units of pixels corresponding to the resolutions supported by the display device, and then coordinate values corresponding to each block unit The representative coordinate value may be an area corresponding to one representative coordinate value.

실시예에 따라, 도 2에 도시된 바와 같이, 디스플레이 장치는 5 * 7의 해상도를 갖는 블록 단위로 디스플레이 화면(200)을 구분할 수 있으며, 이 같은 블록 단위로 구분된 디스플레이 화면(200)의 대표 좌표값은 (1,1) ~ (5,7)로 설정될 수 있다. 그리고, 이 같은 대표 좌표값 중, 좌표값(1,2), (3,2), (5,2), (1,4), (3,4), (5,4), (1,6), (3,6), (5,6)에 복수 개의 객체(210~290)가 표시될 수 있다. 즉, 도 3에 (a)에 도시된 바와 같이, 좌표값(1,2), (3,2), (5,2), (1,4), (3,4), (5,4), (1,6), (3,6), (5,6)에 해당하는 지점에 복수 개의 객체(210~290)가 표시될 수 있다.2, the display device can distinguish the display screen 200 in units of blocks having a resolution of 5 * 7, and the representative of the display screen 200 divided into blocks The coordinate values may be set to (1, 1) to (5, 7). (1, 2), (5,2), (1,4), (3,4), (5,4) 6), (3,6), (5,6), a plurality of objects 210 to 290 can be displayed. That is, as shown in FIG. 3 (a), the coordinate values (1, 2), (3, 2), (5, 2), (1,4) A plurality of objects 210 to 290 may be displayed at points corresponding to (1, 6), (3, 6), (5, 6)

이 같은 복수 개의 객체(210~290) 중 적어도 하나 이상의 객체가 잠금 해제를 위한 패턴을 가질 수 있다. 즉, 사용자는 복수 개의 객체(210~290) 중 적어도 하나 이상의 객체를 연속적으로 연결하여 하나의 잠금 해제 패턴을 설정할 수 있다. 실시예에 따라, 도 3의 (b)와 같이 잠금 해제 패턴이 설정될 수 있다. 즉, 잠금 해제 패턴이 객체(210)->객체(220)->객체(230)->객체(260)으로 설정될 경우, 사용자의 시선이 객체(210)->객체(220)->객체(230)->객체(260)으로 이동 궤적을 형성하면, 디스플레이부(110)는 잠금 화면으로 설정된 디스플레이 화면(200)을 잠금 해제 화면으로 전환할 수 있다.At least one of the plurality of objects 210 to 290 may have a pattern for unlocking. That is, the user can set one unlock pattern by continuously connecting at least one object among the plurality of objects 210 to 290. According to the embodiment, an unlock pattern can be set as shown in FIG. 3 (b). That is, when the unlock pattern is set to the object 210, the object 220, the object 230, and the object 260, the user's line of sight moves from the object 210 to the object 220, The display unit 110 can switch the display screen 200 set as the lock screen to the unlock screen.

한편, 전술한 바와 같이, 잠금 화면으로 디스플레이되고, 촬영부(130)가 활성화되면, 제어부(150)는 시선 추적을 통한 잠금 해제 관련 사용자 명령이 입력되어 있는지 여부에 따라 시선 이동 궤적을 추출하도록 시선 추적부(140)를 제어할 수 있다. 일 실시예에 따라, 제어부(150)는 입력부(120)를 통해 시선 추적과 관련된 사용자 명령이 입력되면, 시선 이동 궤적을 추출하도록 시선 추적부(140)를 제어할 수 있다. 또다른 실시예에 따라, 제어부(150)는 사용자의 시선이 기설정된 시간 동안 고정되어 있으면, 시선 이동 궤적을 추출하도록 시선 추적부(140)를 제어할 수 있다. 또다른 실시예에 따라, 제어부(150)는 저장부(160)에 잠금 화면 디스플레이 시, 시선 이동 궤적을 통한 잠금 해제 관련 명령이 초기 설정되어 있으면, 시선 이동 궤적을 추출하도록 시선 추적부(140)를 제어할 수 있다. As described above, when the lock screen is displayed and the photographing unit 130 is activated, the control unit 150 controls the eyeglasses view to extract the eye movement locus according to whether or not the user command related to unlocking through the eye tracking is input. The tracking unit 140 can be controlled. The control unit 150 may control the gaze tracking unit 140 to extract a gaze movement trajectory when a user command related to gaze tracking is input through the input unit 120. [ According to another embodiment, the control unit 150 may control the gaze tracking unit 140 to extract the gaze movement trajectory if the user's gaze is fixed for a preset time. According to another embodiment, when the lock screen is displayed on the storage unit 160, the control unit 150 controls the gaze tracking unit 140 to extract the gaze movement trajectory if the unlock related command is initially set through the gaze movement locus, Can be controlled.

한편, 본 발명에 따른 제어부(150)는 잠금 화면이 디스플레이된 후, 촬영부(130)가 활성화되도록 제어하는 것에 대해서 한정하였으나, 이에 한정되지 않으며, 입력부(120)를 통해 시선 추적과 관련된 사용자 명령이 입력되거나, 혹은 초기 설정되어 있으면, 촬영부(130)를 활성화시킨 후, 활성화된 촬영부(130)를 통해 촬영된 얼굴 영상 이미지를 이용하여 시선 이동 궤적을 추출하는 시선 추적부(140)의 동작을 제어할 수 있다.Meanwhile, the control unit 150 according to the present invention is limited to controlling the photographing unit 130 to be activated after the lock screen is displayed. However, the present invention is not limited to this, The gaze tracking unit 140 for activating the photographing unit 130 and extracting the gaze movement locus using the facial image photographed through the activated photographing unit 130 The operation can be controlled.

이 같은 시선 추적을 통한 잠금 해제 관련 사용자 명령이 입력되면, 제어부(150)는 사용자의 시선이 기설정된 시간 동안 고정되어 있는지 여부에 따라 사용자의 시선 이동에 따른 시선 이동 궤적을 추출하도록 시선 추적부(140)를 제어할 수 있다. 한편, 이 같은 일련의 과정을 거쳐 사용자의 시선 이동 궤적을 추출하기에 앞서, 제어부(150)는 사용자의 시선 위치에 따른 시선 이동 궤적을 조정한다.When the unlocking-related user command is input through the tracking of the eyes, the controller 150 controls the gaze-tracking unit (not shown) to extract the gaze movement trajectory corresponding to the user's gaze movement according to whether the user's gaze is fixed for a preset time 140). Meanwhile, before extracting the user's gaze movement trajectory through such a series of processes, the control unit 150 adjusts the gaze movement trajectory according to the gaze position of the user.

구체적으로, 제어부(150)는 복수 개의 객체 중 기설정된 위치의 객체에 대해 사용자의 시선이 기설정된 시간 동안 고정되면, 해당 객체에 대해 고정된 안구 이미지 즉, 눈동자를 기준 이미지로 저장한다. 이후, 제어부(150)는 기준 이미지로 저장된 안구 이미지를 기초로 사용자의 시선 이동 궤적을 추출하도록 시선 추적부(140)를 제어하여 잠금 해제 동작을 수행한다. 이하에서는 사용자의 시선 위치에 따라 눈동자의 기준 이미지를 결정하여 동작에 대해서 상세히 설명하도록 한다.Specifically, when the user's eyesight is fixed for a preset time among the plurality of objects, the controller 150 stores the fixed eye image, i.e., the pupil as a reference image for the object. Then, the control unit 150 controls the gaze tracking unit 140 to extract the gaze movement trajectory of the user based on the eye image stored as the reference image, thereby performing the unlocking operation. Hereinafter, the reference image of the pupil is determined according to the user's gaze position, and the operation will be described in detail.

도 4는 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자의 시선 위치에 따라 기준 이미지를 결정하는 제1 예시도이다.FIG. 4 is a first exemplary view for determining a reference image according to a user's gaze position in a display device according to an exemplary embodiment of the present invention.

도 4에 도시된 바와 같이, 사용자는 자신의 눈 높이에 맞춰 디스플레이 화면(200)에 표시된 복수의 객체(210~290) 중 중심영역에 표시된 객체(250)를 기설정된 시간 동안 주시할 수 있다. 즉, 사용자의 눈동자(10,20)와 객체(250)는 동일선상에 위치할 수 있다. 이 경우, 촬영부(130)는 디스플레이 화면(200)의 상단에 배치된 카메라(201)를 통해 사용자의 얼굴 영상 이미지를 촬영하고, 시선 추적부(140)는 전술한 알고리즘을 이용하여 촬영부(130)를 통해 촬영된 사용자의 얼굴 영상 이미지로부터 안구 이미지를 검출할 수 있다. 이때, 촬영부(130)는 기설정된 시간 동안 사용자의 얼굴 영상 이미지를 연속적으로 촬영하고, 시선 추적부(140)는 촬영부(130)로부터 기설정된 시간 동안 촬영된 사용자의 얼굴 영상 이미지로부터 안구 이미지를 연속적으로 검출하는 것이 바람직하다.4, the user can watch the object 250 displayed in the center area of the plurality of objects 210 to 290 displayed on the display screen 200 for a preset time according to the eye height of the user. That is, the user's pupils 10 and 20 and the object 250 may be located on the same line. In this case, the photographing unit 130 photographs the face image of the user through the camera 201 disposed on the upper side of the display screen 200, and the gaze tracking unit 140 uses the above- 130 can detect an eye image from a user's facial image. At this time, the photographing unit 130 continuously photographs the face image of the user for a preset time, and the eye tracking unit 140 extracts the eye image from the face image of the user photographed for a preset time from the photographing unit 130, Is continuously detected.

따라서, 제어부(150)는 시선 추적부(140)를 통해 최초 검출된 안구 이미지와 기설정된 시간 동안 검출된 안구 이미지 간의 비교를 통해 기설정된 시간 동안 안구 이미지의 이동 여부를 판단한다. 판단 결과, 기설정된 시간 동안 검출된 안구 이미지가 동일한 위치에 있는 것으로 판단되면, 제어부(150)는 해당 안구 이미지를 기준 이미지로 결정하여 저장부(160)에 저장한다. 이 같이, 기준 이미지가 결정되면, 제어부(150)는 시각적 피드백, 음향적 피드백, 진동 피드백 중 적어도 하나를 통해 기준 이미지가 결정되었음을 알리도록 디스플레이부(110), 스피커(미도시), 진동부(미도시)를 제어한다. 따라서, 사용자는 이 같은 피드백을 통해 기준 이미지가 결정되었음을 알 수 있다.Accordingly, the controller 150 determines whether or not the eyeball image is moved for a predetermined period of time through comparison between the eyeball image initially detected through the eyeball tracking unit 140 and the eyeball image detected for a preset time. As a result of the determination, if it is determined that the eye image detected during a predetermined time is in the same position, the controller 150 determines the eye image as a reference image and stores the eye image in the storage unit 160. When the reference image is determined, the controller 150 controls the display unit 110, the speaker (not shown), and the vibration unit (not shown) to notify that the reference image has been determined through at least one of visual feedback, acoustic feedback, (Not shown). Thus, the user can know that the reference image has been determined through such feedback.

도 5는 본 발명의 또다른 실시예에 따른 디스플레이 장치에서 사용자의 시선 위치에 따라 기준 이미지를 결정하는 제2 예시도이다.5 is a second exemplary view for determining a reference image according to a user's gaze position in a display device according to another embodiment of the present invention.

도 5에 도시된 바와 같이, 사용자는 자신의 눈 보다 아래에서 디스플레이 화면(200)에 표시된 복수의 객체(210~290) 중 중심영역에 표시된 객체(250)를 기설정된 시간 동안 주시할 수 있다. 즉, 중심영역에 표시된 객체(250)가 사용자는 눈동자(10,20) 보다 아래에 위치할 수 있다. 이 경우, 촬영부(130)는 디스플레이 화면(200)의 상단에 배치된 카메라(201)를 통해 사용자의 얼굴 이미지를 촬영하고, 시선 추적부(140)는 전술한 알고리즘을 이용하여 촬영부(130)를 통해 촬영된 사용자의 얼굴 이미지로부터 안구 이미지를 검출할 수 있다. 이때, 촬영부(130)는 기설정된 시간 동안 사용자의 얼굴 영상 이미지를 연속적으로 촬영하고, 시선 추적부(140)는 촬영부(130)로부터 기설정된 시간 동안 촬영된 사용자의 얼굴 영상 이미지로부터 안구 이미지를 연속적으로 검출하는 것이 바람직하다.As shown in FIG. 5, the user can watch the object 250 displayed in the center area of the plurality of objects 210 to 290 displayed on the display screen 200 below the user's eyes for a predetermined time. That is, the object 250 displayed in the center area may be positioned below the pupil 10, 20. In this case, the photographing unit 130 photographs the face image of the user through the camera 201 disposed at the top of the display screen 200, and the gaze tracking unit 140 uses the algorithm described above to photograph the photographing unit 130 The eye image can be detected from the face image of the user. At this time, the photographing unit 130 continuously photographs the face image of the user for a preset time, and the eye tracking unit 140 extracts the eye image from the face image of the user photographed for a preset time from the photographing unit 130, Is continuously detected.

이와 같이, 기준 이미지가 저장부(160)에 저장되면, 제어부(150)는 기저장된 기준 이미지에 기초하여 사용자의 시선 이동에 따른 시선 이동 궤적을 추출하도록 시선 추적부(140)를 제어하여 잠금 해제 동작을 수행한다.When the reference image is stored in the storage unit 160, the control unit 150 controls the gaze tracking unit 140 to extract the gaze path according to the user's gaze movement based on the previously stored reference image, And performs an operation.

도 6은 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자의 시선 이동에 따라 잠금 해제 동작을 수행하는 예시도이다.FIG. 6 is an exemplary view illustrating an unlock operation according to a user's gaze movement in a display apparatus according to an exemplary embodiment of the present invention. Referring to FIG.

기준 이미지가 저장부(160)에 저장되면, 사용자는 잠금 화면을 해제하기 위하여 저장부(160)에 기저장된 잠금 해제 패턴과 대응하는 패턴으로 시선을 이동시킨다. 구체적으로, 도 6에 도시된 바와 같이, 잠금 해제 패턴은 객체(210)->객체(220)->객체(230)->객체(260)으로 설정될 수 있다. 도 4에서 설명한 바와 같이, 눈의 중심 영역에 위치하는 눈동자(10,20)에 대해서 기준 이미지로 결정될 경우, 사용자는 잠금 화면을 해제하기 위해서 자신의 눈동자(10,20)를 (a)->(b)->(c)->(d)에 대응하는 방향으로 이동시킬 수 있다. 즉, 눈의 중심 영역에 위치하는 눈동자(10,20)는 객체(210)와 관련하여 좌측 상단(a)으로 이동할 수 있으며, 이후, 좌측 상단으로 이동한 눈동자(10',20')는 객체(220)와 관련하여 중심 영역의 상단(b)으로 이동할 수 있다. 이후, 중심 영역의 상단으로 이동한 눈동자(10',20')는 객체(230)와 관련하여 우측 상단(c)으로 이동할 수 있으며, 이후, 우측 상단으로 이동한 눈동자(10',20')는 객체(260)와 관련하여 중심 영역을 기준으로 중심 영역의 우측 방향(d)으로 이동할 수 있다.When the reference image is stored in the storage unit 160, the user moves the line of sight in a pattern corresponding to the unlock pattern previously stored in the storage unit 160 to release the lock screen. Specifically, as shown in FIG. 6, the unlock pattern can be set as object 210 -> object 220 -> object 230 -> object 260. 4, when the reference image is determined as the reference image for the pupils 10 and 20 located in the central region of the eye, the user moves his / her pupils 10 and 20 from (a) -> (b) -> (c) -> (d). That is, the pupils 10 and 20 located in the central region of the eye can move to the upper left a in relation to the object 210, and then the pupils 10 'and 20' (B) of the central region with respect to the central region (220). The pupils 10 'and 20' moved to the upper end of the central region can then move to the upper right end c with respect to the object 230. Then, the pupils 10 'and 20' Can move in the right direction (d) of the center region with respect to the center region with respect to the object (260).

이후, (d)에 대응하는 방향으로 이동한 사용자의 눈동자(10',20')의 움직임이 기설정된 시간 동안 이루어지지 않으면, 시선 추적부(140)는 촬영부(130)를 통해 촬영된 (a)->(b)->(c)->(d)에 대응하는 방향으로 이동하는 사용자의 눈동자(10,20)로부터 사용자의 시선을 추적하여 잠금 화면상에서의 시선 이동 궤적을 추출할 수 있다. 이 같이, 시선 추적부(140)를 통해 사용자의 시선에 따른 시선 이동 궤적이 추출되면, 제어부(150)는 저장부(160)에 저장된 잠금 해제 패턴과 시선 이동 궤적을 비교한다. 비교 결과, 잠금 해제 패턴과 시선 이동 궤적이 일치하면, 제어부(150)는 잠금 상태를 해제하여 잠금 화면을 잠금 해제 화면으로 디스플레이하도록 디스플레이부(110)를 제어한다. 따라서, 디스플레이부(110)는 잠금 화면으로 설정된 디스플레이 화면(200)을 잠금 해제 화면으로 전환하여 디스플레이한다.If the movement of the eyes 10 'and 20' of the user moving in the direction corresponding to (d) is not performed for a preset time, the gaze tracking unit 140 detects the user's eyes can be tracked from the eyes 10 and 20 of the user moving in a direction corresponding to a) -> (b) -> (c) -> (d) have. When the gaze trajectory is extracted from the gaze tracer 140 through the gaze tracer 140, the controller 150 compares the gaze trajectory with the unlock pattern stored in the storage unit 160. As a result of the comparison, if the unlock pattern and the sight line movement locus match, the controller 150 releases the lock state and controls the display unit 110 to display the lock screen on the unlock screen. Accordingly, the display unit 110 switches the display screen 200 set as the lock screen to the unlock screen and displays the unlock screen.

비교 결과, 잠금 해제 패턴과 시선 이동 궤적이 서로 상이하면, 제어부(150)는 잠금 화면이 유지되도록 디스플레이부(110)를 제어한다. 예를 들어, (d)에 대응하는 방향으로 이동한 사용자의 눈동자(10',20')가 기설정된 시간 내에 다른 방향으로 이동하거나, (a)->(b)->(c)->(d)에 대응하는 방향과 상이한 방향으로 이동할 경우, 잠금 해제 패턴과 시선 이동 궤적은 서로 상이할 수 있다. 이 경우, 제어부(150)는 시선 이동 궤적이 잘못된 것으로 판단하여 현재 잠금 화면이 유지되도록 디스플레이부(110)를 제어한다. 이와 함께, 제어부(150)는 시각적 피드백, 음향 피드백, 진동 피드백 중 적어도 하나를 통해 시선 이동 궤적이 잘못되었음을 알리도록 디스플레이부(110), 스피커(미도시), 진동부(미도시)를 제어한다. 따라서, 사용자는 이 같은 피드백을 통해 잠금 해제 동작을 재수행할 수 있다.As a result of the comparison, if the unlock pattern and the sight line movement locus are different from each other, the control unit 150 controls the display unit 110 to maintain the lock screen. For example, if the pupil 10 ', 20' of the user moving in the direction corresponding to (d) moves in the other direction within a predetermined time, or (a) -> (b) (d), the unlocking pattern and the line of sight movement trajectory may be different from each other. In this case, the controller 150 determines that the sight line movement trajectory is incorrect and controls the display unit 110 to maintain the current lock screen. At the same time, the controller 150 controls the display unit 110, the speaker (not shown), and the vibration unit (not shown) to notify that the gaze movement trajectory is wrong through at least one of visual feedback, acoustic feedback and vibration feedback . Therefore, the user can re-execute the unlocking operation through such feedback.

한편, 전술한 시선 추적부(140)는 사용자의 시선 위치에 따라 기준 이미지를 매번 결정하여 저장하는 동작을 수행하지 않고도 사용자의 시선 이동 궤적을 추출할 수 있다. 구체적으로, 잠금 해제 패턴을 저장하는 저장부(160)는 사용자의 시선을 추적하기 위한 기준 이미지가 기설정되어 저장될 수 있다. 이 경우, 시선 추적부(140)는 촬영부(130)를 통해 촬영된 이미지와 저장부(160)에 기저장된 기준 이미지를 비교하여 서로 매칭되는지 여부를 판단한다. 판단 결과, 촬영부(130)를 통해 촬영된 이미지와 기저장된 기준 이미지가 서로 매칭되면, 시선 추적부(140)는 전술한 바와 같이, 사용자의 시선을 추적하여 시선 이동 궤적을 추출할 수 있다. 한편, 저장부(160)에 저장된 기준 이미지는 사용자 명령에 따라 업데이트가 가능함이 바람직하다.Meanwhile, the gaze tracking unit 140 may extract the gaze movement trajectory of the user without performing the operation of determining and storing the reference image each time according to the gaze position of the user. In detail, the storage unit 160 for storing the unlock pattern may store a reference image for tracking the user's gaze. In this case, the gaze tracking unit 140 compares an image photographed through the photographing unit 130 with a previously stored reference image in the storage unit 160, and determines whether or not they match each other. As a result of the determination, if the image photographed through the photographing unit 130 and the previously stored reference image match each other, the gaze tracking unit 140 can extract the gaze movement trajectory by tracking the gaze of the user, as described above. Meanwhile, the reference image stored in the storage unit 160 may be updated according to a user command.

한편, 전술한 바와 같이, 기준 이미지의 결정 여부, 각 객체별 사용자의 시선에 대한 감지 여부 및 시선 이동 궤적에 대한 잠금 해제 여부와 같은 이벤트 발생을 사용자에게 알리기 위해서, 제어부(150)는 시각적 피드백, 음향 피드백, 진동 피드백 중 적어도 하나를 제공할 수 있다.As described above, in order to notify the user of the occurrence of an event such as whether the reference image is determined, whether the user perceives the gaze of each object, and whether to unlock the gaze movement trajectory, Acoustic feedback, and vibration feedback.

도 7은 본 발명의 일 실시예에 따른 디스플레이 장치에서 이벤트 발생에 따라 피드백을 제공하는 예시도이다.FIG. 7 is an exemplary diagram for providing feedback in response to an event in a display device according to an exemplary embodiment of the present invention. Referring to FIG.

전술한 바와 같이, 제어부(150)는 기준 이미지가 결정되거나, 각 객체별 사용자의 시선이 감지되거나 또는 시선 이동 궤적와 기저장된 잠금 해제 패턴의 일치여부가 판단되면, 시각적 피드백으로 이 같은 결과 정보를 사용자에게 알리도록 디스플레이부(110)를 제어할 수 있다. 이에 따라, 디스플레이부(110)는 도 7의 (a)에 도시된 바와 같이, 디스플레이 화면(200)의 일측 영역(710)을 통해 시각적 효과를 표시하여 이 같은 결과 정보를 사용자에게 제공할 수 있다.As described above, if it is determined that the reference image is determined, the user's gaze is detected for each object, or whether the gaze movement trajectory matches the pre-stored unlock pattern, the controller 150 outputs the result information to the user The display unit 110 can be controlled to inform the user of the display unit 110. [ Accordingly, the display unit 110 may display the visual effect through one side region 710 of the display screen 200 to provide the user with the result information as shown in FIG. 7 (a) .

또한, 제어부(150)는 전술한 바와 같이, 기준 이미지가 결정되거나, 각 객체별 사용자의 시선이 감지되거나 또는 시선 이동 궤적와 기저장된 잠금 해제 패턴의 일치여부가 판단되면, 스피커(미도시)를 통해 음향 피드백으로 이 같은 결과 정보를 사용자에게 제공할 수 있다. 이에 따라, 스피커(미도시)는 도 7의 (b)에 도시된 바와 같이, 부저음과 같은 가청음을 출력하여 이 같은 결과 정보를 사용자에게 제공할 수 있다.If it is determined that the reference image is determined, the user's gaze is detected for each object, or whether the gaze movement trajectory matches the pre-stored unlock pattern as described above, the controller 150 controls the speaker (not shown) Acoustic feedback can provide such results information to the user. Accordingly, the speaker (not shown) outputs an audible sound such as a buzzer sound as shown in FIG. 7 (b) and can provide such result information to the user.

또한, 제어부(150)는 전술한 바와 같이, 기준 이미지가 결정되거나, 각 객체별 사용자의 시선이 감지되거나 또는 시선 이동 궤적와 기저장된 잠금 해제 패턴의 일치여부가 판단되면, 진동 피드백으로 이 같은 결과 정보를 사용자에게 알리도록 진동부(미도시)를 제어할 수 있다. 이에 따라, 진동부(미도시)는 도 7의 (c)에 도시된 바와 같이, 진동을 발생시켜 이 같은 결과 정보를 사용자에게 제공할 수 있다.As described above, if the reference image is determined, the user's gaze is detected for each object, or whether or not the gaze movement locus matches the pre-stored unlock pattern, the control unit 150 outputs the result information (Not shown) so as to inform the user. Accordingly, the vibration unit (not shown) can generate vibration and provide such result information to the user, as shown in Fig. 7 (c).

지금까지, 본 발명에 따른 디스플레이 장치의 각 구성에 대해서 상세히 설명하였다. 이하에서는, 본 발명에 따른 디스플레이 장치에서 사용자의 시선 추적을 통해 잠금 화면을 잠금 해제 화면으로 전환하는 방법에 대해서 상세히 설명하도록 한다.Up to now, each configuration of the display device according to the present invention has been described in detail. Hereinafter, a method for switching the lock screen to the unlock screen by tracking the user's eyes in the display device according to the present invention will be described in detail.

도 8은 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자 시선을 통해 잠금 화면을 해제하는 방법의 흐름도이다.8 is a flowchart illustrating a method of releasing a lock screen through a user's eyes in a display device according to an exemplary embodiment of the present invention.

도 8에 도시된 바와 같이, 디스플레이 장치는 디스플레이 화면이 잠금 화면인지 여부를 체크한다(S810). 여기서, 잠금 화면은 디스플레이 장치의 사용 제안을 위한 잠금 상태를 나타내는 화면이 될 수 있다. 일반적으로, 디스플레이 장치는 기설정된 시간 동안 미사용되거나 혹은 화면 오프 관련 사용자 명령이 입력되면, 디스플레이 화면을 오프시킨다. 이 같이, 디스플레이 화면이 오프된 상태에서, 화면 온 관련 사용자 명령이 입력되면, 디스플레이 장치는 복수의 객체를 포함하는 잠금 화면을 디스플레이한다. 여기서, 복수의 객체는 잠금 화면을 해제하기 위한 것으로써, 이 같은 복수의 객체는 디스플레이 화면의 특정 영역에 표시될 수 있다. 여기서, 복수 개의 객체가 표시되는 특정 영역은 디스플레이 장치에서 지원하는 해상도 각각에 대응하는 픽셀을 기설정된 영역별로 모다 일정 블록 단위로 구분한 후, 각 블록 단위에 해당하는 좌표값들 중 하나의 대표 좌표값에 해당하는 영역이 될 수 있다.As shown in FIG. 8, the display device checks whether the display screen is a lock screen (S810). Here, the lock screen may be a screen showing a lock status for suggestion of use of the display device. In general, the display device is turned off when a user command related to a screen off or an unused command for a predetermined time is inputted. In this way, when the display screen is turned off and a user command related to the screen-on is input, the display device displays a lock screen including a plurality of objects. Here, the plurality of objects are for releasing the lock screen, and the plurality of objects can be displayed in a specific area of the display screen. Here, the specific area in which the plurality of objects are displayed may be divided into a plurality of pixels corresponding to the respective resolutions supported by the display device in units of predetermined blocks, and then one representative coordinate The value can be an area corresponding to the value.

디스플레이 화면상에 표시되는 복수 개의 객체와 각 객체들이 표시되는 영역은 도 2 및 도 3을 통해 상세히 설명하였기에 이하에서는 상세할 설명을 생략하도록 한다. 이 같은 복수의 객체를 포함하는 잠금 화면이 디스플레이된 것으로 체크되면, 디스플레이 장치는 카메라를 활성화시킨 후, 활성화된 카메라를 통해 영상 이미지를 촬영한다(S820,S830). 이후, 디스플레이 장치는 카메라를 통해 촬영된 영상 이미지로부터 사용자의 눈 움직임에 따른 시선을 추적하여 잠금 화면상에서의 시선 이동 궤적을 추출한다(S840).The plurality of objects displayed on the display screen and the area in which the objects are displayed have been described in detail with reference to FIGS. 2 and 3, and a detailed description thereof will be omitted. If it is checked that the lock screen including the plurality of objects is displayed, the display device activates the camera and shoots the image through the activated camera (S820 and S830). Thereafter, the display device tracks the gaze according to the user's eye movement from the video image photographed through the camera, and extracts the gaze movement trajectory on the lock screen (S840).

일 실시예에 다라, 디스플레이 장치는 사용자로부터 시선 추적과 관련된 사용자 명령이 입력되면, 시선 이동 궤적을 추출할 수 있다. 또다른 실시예에 따라, 디스플레이 장치는 사용자의 시선이 기설정된 시간 동안 고정되어 있으면, 시선 이동 궤적을 추출할 수 있다. 또다른 실시예에 따라, 디스플레이 장치는 잠금 화면 디스플레이 시, 시선 이동 궤적을 통한 잠금 해제 관련 명령이 초기 설정되어 기저장되어 있으면, 시선 이동 궤적을 추출할 수 있다. According to one embodiment, the display device can extract a gaze movement trajectory when a user command related to gaze tracking is input from a user. According to another embodiment, the display device can extract the gaze movement trajectory when the user's gaze is fixed for a predetermined time. According to yet another embodiment, the display device can extract the line-of-sight movement trajectory when the unlock-related command through the line-of-sight movement trajectory is initially stored and stored at the time of displaying the lock screen.

한편, 본 발명에 따른 디스플레이 장치는 잠금 화면이 디스플레이된 후, 카메라를 활성하시키는 것에 대해서 한정하였으나, 이에 한정되지 않으며, 시선 추적과 관련된 사용자 명령 혹은 시선 이동 궤적을 통한 잠금 해제 관련 명령이 초기 설정되어 있으면, 카메라를 활성화시키고, 활성화된 카메라를 통해 촬영된 영상 이미지로부터 사용자의 눈 움직임에 따른 시선 이동 궤적을 추출할 수 있다.Meanwhile, the display device according to the present invention is not limited to activating the camera after the lock screen is displayed. However, the present invention is not limited to this, and a user command related to eye tracking or an unlock- It is possible to activate the camera and extract the gaze movement trajectory according to the user's eye movement from the video image photographed through the activated camera.

사용자의 시선 고정과 관련된 사용자 명령을 입력받을 경우, 디스플레이 장치는 도 4 및 도 5에서 설명한 바와 같이, 복수 개의 객체 중 기설정된 위치의 객체에 대해 사용자의 시선이 기설정된 시간 동안 고정되는지 여부를 체크한다. 체크 결과, 사용자의 시선이 기설정된 위치의 객체에 기설정된 시간 동안 고정되면, 디스플레이 장치는 해당 객체에 대해 고정된 안구 이미지 즉, 눈동자를 기준 이미지로 결정하여 저장한다. 이후, 디스플레이 장치는 기준 이미지로 저장된 안구 이미지를 기초로 사용자의 시선 이동 궤적을 추출하고, 추출된 시선 이동 궤적과 기저장된 잠금 해제 패턴이 일치하는지 여부를 체크한다(S850,S860).When a user command related to the fixation of the user's gaze is input, the display device checks whether or not the user's gaze is fixed for a predetermined time with respect to the object at the predetermined position among the plurality of objects, as described with reference to FIG. 4 and FIG. do. As a result of the check, if the user's gaze is fixed to the object at the preset position for a preset time, the display device determines and stores the fixed eye image, i.e., the pupil, as the reference image for the object. Thereafter, the display device extracts the user's gaze movement trajectory based on the eye image stored as the reference image, and checks whether the extracted gaze movement locus matches the pre-stored unlock pattern (S850, S860).

체크 결과, 추출된 시선 이동 궤적과 기저장된 잠금 해제 패턴이 일치하면, 디스플레이 장치는 잠금 상태를 해제하여 잠금 화면에서 잠금 해제 화면으로 전환하고, 활성화된 카메라를 비활성화 시킨다(S870,S880). 구체적으로, 기준 이미지가 지정되면, 사용자는 잠금 화면을 해제하기 위하여 기저장된 잠금 해제 패턴과 대응하는 패턴으로 시선을 이동시킨다. 도 6에서 설명한 바와 같이, 잠금 해제 패턴은 객체(210)->객체(220)->객체(230)->객체(260)으로 설정될 수 있다. 그리고, 도 4에서 설명한 바와 같이, 사용자의 눈의 중심 영역에 위치하는 눈동자가 기준 이미지로 결정될 수 있다. 이 경우, 사용자는 잠금 화면을 해제하기 위해서 자신의 눈동자를 객체(210)->객체(220)->객체(230)->객체(260)와 대응하는 방향으로 이동시킬 수 있다.As a result of the check, if the extracted line of sight movement coincides with the previously stored unlock pattern, the display device releases the lock state, switches from the lock screen to the unlock screen, and deactivates the activated camera (S870, S880). Specifically, when the reference image is designated, the user moves the line of sight in a pattern corresponding to the pre-stored unlock pattern to release the lock screen. 6, the unlock pattern can be set as object 210 -> object 220 -> object 230 -> object 260. 4, the pupil located in the central region of the user's eye may be determined as the reference image. In this case, the user can move his / her pupil in the direction corresponding to the object 210 -> object 220 -> object 230 -> object 260 in order to release the lock screen.

즉, 눈의 중심 영역에 위치하는 눈동자는 객체(210)와 관련하여 좌측 상단으로 이동할 수 있으며, 이후, 좌측 상단으로 이동한 눈동자는 객체(220)와 관련하여 중심 영역의 상단으로 이동할 수 있다. 이후, 중심 영역의 상단으로 이동한 눈동자는 객체(230)와 관련하여 우측 상단으로 이동할 수 있으며, 이후, 우측 상단으로 이동한 눈동자는 객체(260)와 관련하여 중심 영역을 기준으로 중심 영역의 우측 방향으로 이동할 수 있다.In other words, the pupil located in the central region of the eye may move to the upper left in relation to the object 210, and then the pupil moved to the upper left may move to the upper end of the central region with respect to the object 220. The pupil moved to the upper end of the center region may move to the upper right side with respect to the object 230. Then, the pupil moved to the upper right end moves to the upper right side of the center region with respect to the object 260, Lt; / RTI >

이후, 사용자의 눈동자의 움직임이 기설정된 시간 동안 이루어지지 않으면, 디스플레이 장치는 객체(210)->객체(220)->객체(230)->객체(260)와 대응하는 방향으로 이동한 사용자의 눈동자로부터 사용자의 시선을 추적하여 잠금 화면상에서의 시선 이동 궤적을 추출할 수 있다. 이 같이, 사용자의 시선에 따른 시선 이동 궤적이 추출되면, 디스플레이 장치는 기저장된 잠금 해제 패턴과 시선 이동 궤적을 비교한다. 비교 결과, 잠금 해제 패턴과 시선 이동 궤적이 일치하면, 디스플레이 장치는 잠금 상태를 해제하여 잠금 화면을 잠금 해제 화면으로 디스플레이하고, 활성화된 카메라를 비활성화시킨다.Thereafter, if the movement of the user's pupil is not performed for a preset time, the display device displays the user's moving image in a direction corresponding to the object 210 -> object 220 -> object 230 -> object 260 It is possible to trace the user's gaze from the pupil and to extract the gaze movement trajectory on the lock screen. As described above, when the gaze movement trajectory according to the user's gaze is extracted, the display device compares the gaze movement trajectory with the previously stored unlock pattern. As a result of the comparison, if the unlock pattern and the sight line movement locus match, the display device releases the lock state to display the lock screen as an unlock screen and deactivates the activated camera.

한편, 비교 결과, 잠금 해제 패턴과 시선 이동 궤적이 불일치하면, 디스플레이 장치는 잠금 화면을 유지시킨다. 예를 들어, 객체(210)->객체(220)->객체(230)->객체(260)와 대응하는 방향으로 이동한 사용자의 눈동자가 기설정된 시간 내에 다른 방향으로 이동하거나, 객체(210)->객체(220)->객체(230)->객체(260)와 대응하는 방향이 아닌 다른 방향으로 이동할 경우, 잠금 해제 패턴과 시선 이동 궤적은 서로 상이할 수 있다. 이 경우, 디스플레이 장치는 시선 이동 궤적이 잘못된 것으로 판단하여 현재 잠금 화면을 유지할 있다.On the other hand, as a result of the comparison, if the unlock pattern and the sight line movement trajectory do not match, the display device maintains the lock screen. For example, when the user's eyes moving in a direction corresponding to the object 210 -> object 220 -> object 230 -> object 260 move in another direction within a predetermined time, or when the object 210 ) -> object (220) -> object (230) -> object (260), the unlock pattern and the eye movement trajectory may be different from each other. In this case, the display device judges that the sight line movement trajectory is wrong and can maintain the current lock screen.

한편, 전술한 디스플레이 장치는 사용자의 시선 위치에 따란 기준 이미지를 매번 결정하여 저장하는 동작을 수행하지 않고도, 사용자의 시선 이동 궤적을 추출할 수 있다. 구체적으로, 잠금 해제 패턴을 기저장하는 디스플레이 장치는 사용자의 시선을 추적하기 위한 기준 이미지를 기설정하여 저장할 수 있다. 이 경우, 디스플레이 장치는 카메라를 통해 촬영된 이미지와 기저장된 기준 이미지를 비교하여 서로 매칭되는지 여부를 판단한다. 판단 결과, 두 이미지가 서로 매칭되면, 디스플레이 장치는 전술한 바와 같이, 사용자의 시선을 추적하여 시선 이동 궤적을 추출할 수 있다. 한편, 디스플레이 장치에 기저장되는 기준 이미지는 사용자의 명령에 따라 업데이트가 가능함이 바람직하다.Meanwhile, the above-described display apparatus can extract the user's gaze movement trajectory without performing the operation of determining and storing the reference image each time according to the gaze position of the user. Specifically, the display device for storing the unlocking pattern can preset and store a reference image for tracking the user's gaze. In this case, the display device compares an image photographed through the camera with a previously stored reference image to determine whether or not they match each other. As a result of the determination, if the two images match each other, the display device can track the user's gaze and extract the gaze movement trajectory, as described above. Meanwhile, it is preferable that the reference image stored in the display device can be updated according to a user's command.

한편, 전술한 바와 같이, 기준 이미지의 결정 여부, 각 객체별 사용자의 시선에 대한 감지 여부 및 시선 이동 궤적에 대한 잠금 해제 여부와 같은 이벤트가 발생 시, 디스플레이 장치는 시각적 피드백, 음향 피드백, 진동 피드백 중 적어도 하나을 제공하여 사용자에게 이 같은 결과 정보를 제공할 수 있다.On the other hand, when an event such as whether or not the reference image is determined, whether the user perceives the gaze of each object, and whether the user unlocks the gaze movement trajectory occurs, the display device displays visual feedback, acoustic feedback, To provide such result information to the user.

즉, 디스플레이 장치는 도 7에서 설명한 바와 같이, 기준 이미지가 결정되거나, 각 객체별 사용자의 시선이 감지되거나 또는 시선 이동 궤적와 기저장된 잠금 해제 패턴의 일치여부가 판단되면, 디스플레이 화면의 일측 영역을 통해 빛을 발광시키는 시각적 효과 또는 부저음과 같은 가청음을 출력하는 청각적 효과 또는 진동을 발생시키는 촉각적 효과를 통해 이 같은 결과 정보를 사용자에게 제공할 수 있다.That is, as described with reference to FIG. 7, if the reference image is determined, the user's gaze is detected for each object, or whether the gaze movement locus matches the pre-stored unlock pattern, Such a result information can be provided to a user through a visual effect for emitting light or an auditory effect for outputting an audible sound such as a buzzer sound or a tactile effect for generating vibration.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.The present invention has been described with reference to the preferred embodiments.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limiting the scope of the invention as defined by the appended claims. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention.

110 : 디스플레이부 120 : 입력부
130 : 촬영부 140 : 시선 추적부
150 : 제어부 160 : 저장부110: display unit 120: input unit
130: photographing unit 140: eye-
150: control unit 160:

Claims

An input unit for receiving a user command;
A display unit for displaying a lock screen;
A photographing unit for photographing a video image;
A gaze tracking unit for tracking a gaze of a user photographed through the photographing unit and extracting a gaze movement trajectory on the lock screen;
A storage unit for storing an unlock pattern; And
When the line-of-sight movement trajectory and the unlock pattern match, releasing the lock state, switching the lock screen to the unlock screen,
When the display device is unused for a preset time, the display unit is turned off while switching to the locked state, and when the user command is input while the display unit is turned off, the display unit is controlled to display the lock screen ,
And a control unit for deactivating the photographing unit when the display unit is switched to the unlocking screen.

The method according to claim 1,
Wherein,
Wherein the controller provides at least one of visual feedback, acoustic feedback, and vibration feedback when the user's line of sight to the lock screen is sensed.

The method according to claim 1,
Wherein the lock screen includes a plurality of objects,
Wherein,
When the gaze is fixed for a preset time among the plurality of objects, the fixed eye image is stored as a reference image for the object, and the gaze movement trajectory is extracted based on the reference image And controls the gaze tracking unit to perform the unlocking operation.

The method according to claim 1,
The storage unit stores a reference image for tracking the user's gaze,
The eye-
Extracting the gaze movement trajectory by comparing the image photographed by the photographing section with the reference image,
Wherein the reference image is updatable.

A method for displaying and releasing a lock screen in a display device on which a camera is mounted,
Displaying the lock screen;
Photographing a video image through the camera;
Extracting a gaze movement trajectory on the lock screen by tracking the gaze of the photographed user;
Releasing the locked state when the gaze movement locus and the pre-stored unlock pattern match, switching the lock screen to the unlock screen and displaying the unlock screen;
Turning off the display screen while switching to the locked state when the display device switched to the lock release screen is not used for a predetermined time;
Activating the camera when the lock screen is displayed; And
And deactivating the camera upon switching to the unlock screen,
Wherein the displaying the lock screen comprises:
Wherein when the user command is input while the display screen is turned off, the display unit displays the lock screen.

6. The method of claim 5,
Wherein the step of extracting the line-
And providing at least one of visual feedback, acoustic feedback, and vibration feedback when the user's line of sight to the lock screen is sensed.

6. The method of claim 5,
Wherein the lock screen includes a plurality of objects,
Wherein the step of extracting the line-
If the gaze is fixed for a preset time of an object among the plurality of objects, a fixed eye image for the object is stored as a reference image, and the gaze movement trajectory is extracted based on the reference image &Lt; / RTI >

6. The method of claim 5,
Wherein the step of extracting the line-
Extracting a gaze movement trajectory by comparing an image photographed by the camera with a reference image for tracking a gaze of a user,
Wherein the reference image is updatable.