KR20150093016A - Dispaly apparatus and controlling method thereof - Google Patents

Dispaly apparatus and controlling method thereof Download PDF

Info

Publication number
KR20150093016A
KR20150093016A KR1020140013756A KR20140013756A KR20150093016A KR 20150093016 A KR20150093016 A KR 20150093016A KR 1020140013756 A KR1020140013756 A KR 1020140013756A KR 20140013756 A KR20140013756 A KR 20140013756A KR 20150093016 A KR20150093016 A KR 20150093016A
Authority
KR
South Korea
Prior art keywords
notification information
notification
user
information
area
Prior art date
Application number
KR1020140013756A
Other languages
Korean (ko)
Other versions
KR102005406B1 (en
Inventor
이원재
최종범
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140013756A priority Critical patent/KR102005406B1/en
Publication of KR20150093016A publication Critical patent/KR20150093016A/en
Application granted granted Critical
Publication of KR102005406B1 publication Critical patent/KR102005406B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

Disclosed is a display device. A display device includes: a display unit which displays notification information depending on a predetermined event; a sensing unit which senses a user′s gaze; and a control unit which controls the notification information to be disappeared if the user′s gaze is sensed to be located in a region where the notification information is displayed for predetermined time or longer.

Description

디스플레이 장치 및 그 제어 방법{DISPALY APPARATUS AND CONTROLLING METHOD THEREOF}[0001] DISPLAY APPARATUS AND CONTROLLING METHOD THEREOF [0002]

본 발명은 디스플레이 장치 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 시선 추적을 통해 기능을 수행하는 디스플레이 장치 및 그 제어 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a display device and a control method thereof, and more particularly, to a display device and a control method thereof.

전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, TV, 휴대폰, PC, 노트북 PC, PDA 등과 같은 각종 디스플레이 장치들은 대부분의 일반 가정에서도 많이 사용되고 있다.Various types of electronic products are being developed and distributed by the development of electronic technology. In particular, various display devices such as TVs, mobile phones, PCs, notebook PCs, and PDAs are used in most households.

디스플레이 장치들의 사용이 늘면서 좀 더 다양한 기능에 대한 사용자 니즈(needs)도 증대되었다. 이에 따라, 사용자 니즈에 부합하기 위한 각 제조사들의 노력도 커져서, 종래에 없던 새로운 기능을 갖춘 제품들이 속속 등장하고 있다.As the use of display devices has increased, the user needs for more diverse functions have also increased. As a result, the effort of each manufacturer to meet user needs has increased, and products with new functions that have not been available in the past are emerging.

이에 따라, 디스플레이 장치에서 수행되는 기능들도 다양해지게 되었다. 특히, 사용자의 시선을 추적하여 사용자의 시선이 어떤 곳을 바라보는지 판단하고, 이에 따른 기능을 수행하는 방법들이 많이 개발되었다.Accordingly, the functions performed in the display device have also been diversified. In particular, many methods have been developed to track the user 's gaze, determine where the user' s gaze is, and perform functions accordingly.

이러한 시선 추적 방법을 디스플레이 장치에서 보다 다양하게 활용할 수 있는 방법이 요구된다. There is a need for a method that can more variously utilize such a line-of-sight tracking method in a display device.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 시선 추적에 기초하여 알림 정보를 삭제하는 기능을 수행하는 디스플레이 장치 및 그 제어 방법을 제공함에 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a display device and a control method thereof that perform a function of deleting notification information based on eye tracking.

이러한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 기설정된 이벤트에 따라 화면 상에 알림 정보를 디스플레이하는 디스플레이부, 사용자 시선을 감지하는 감지부 및, 상기 사용자의 시선이 상기 알림 정보가 디스플레이된 영역에 기설정된 시간 이상 위치하는 것으로 감지되면, 상기 알림 정보가 상기 화면 상에서 사라지도록 제어하는 제어부를 포함한다. According to an aspect of the present invention, there is provided a display device including a display unit for displaying notification information on a screen in response to a predetermined event, a sensing unit for sensing a user's gaze, And a control unit for controlling the notification information to disappear on the screen if it is detected that the information is located over a predetermined time period in the displayed area.

여기서, 상기 제어부는, 상기 사용자의 시선이 알림 정보를 포함하는 알림 바를 기설정된 시간 이상 향하는 것으로 감지되면, 상기 알림 정보를 알림 바 상에서 사라지도록 제어할 수 있다. Here, the control unit may control the notification information to disappear from the notification bar if the user's eyes are detected as being directed to the notification bar including the notification information for more than a predetermined time.

또한, 상기 제어부는, 상기 사용자의 시선이 알림 정보를 포함하는 알림 창을 기설정된 시간 이상 향하는 것으로 감지되면, 상기 알림 정보를 포함하는 알림 창 닫기 기능이 수행되도록 제어할 수 있다.Also, the control unit may control the notification window closing function including the notification information to be performed when the user's eyes are detected as being directed to the notification window including the notification information for more than a predetermined time.

또한, 상기 제어부는, 상기 사용자의 시선이 상기 알림 정보가 디스플레이된 영역에 기설정된 시간 이상 위치하는 것으로 감지되면 상기 알림 정보가 디스플레이된 영역이 다른 영역과 식별되도록 디스플레이 상태를 변경할 수 있다. The controller may change the display state so that the area in which the notification information is displayed is distinguished from the other area if the user's eyesight is detected as being positioned over a predetermined time period in the area where the notification information is displayed.

또한, 상기 제어부는, 상기 알림 정보가 디스플레이된 영역의 휘도 및 색상 중 적어도 하나를 변경할 수 있다.Also, the controller may change at least one of the luminance and the hue of the area in which the notification information is displayed.

여기서, 상기 알림 정보는, 메시지 수신 정보, SNS 알림 정보, 프로그램 업데이트 알림 정보, 메일 수신 정보 중 적어도 하나를 포함할 수 있다. Here, the notification information may include at least one of message reception information, SNS notification information, program update notification information, and mail reception information.

또한, 상기 제어부는, 상기 알림 정보가 상기 화면 상에서 사라진 후 계속하여 시선이 감지되면, 상기 알림 정보와 관련된 추가 기능을 수행할 수 있다. In addition, the control unit may perform an additional function related to the notification information when the notification information is continuously displayed after the disappearance of the notification information on the screen.

또한, 알림 정보 타입에 기초하여 사용자의 시선에 따라 수행되는 기능에 대한 정보를 저장하는 저장부를 더 포함하며, 상기 제어부는, 상기 저장부에 저장된 정보에 기초하여 상기 화면의 기설정된 영역에 대한 시선이 기설정된 시간 이상 감지되면, 해당 영역에서 제공하는 알림 정보가 사라지도록 제어할 수 있다. The information processing apparatus may further include a storage unit for storing information on a function performed according to the user's gaze based on the notification information type, If it is detected that the predetermined time has elapsed, it is possible to control so that the notification information provided in the corresponding area disappears.

한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은, 기설정된 이벤트에 따라 화면 상에 알림 정보를 디스플레이하는 단계, 및 사용자의 시선이 상기 알림 정보가 디스플레이된 영역에 기설정된 시간 이상 위치하는 것으로 감지되면, 상기 알림 정보가 상기 화면 상에서 사라지도록 제어하는 단계를 포함할 수 있다. According to another aspect of the present invention, there is provided a method of controlling a display device, the method comprising: displaying notification information on a screen in response to a preset event; and displaying the notification information in a region where the notification information is displayed, And controlling the notification information to disappear on the screen if the notification information is detected.

또한, 상기 알림 정보가 상기 화면 상에서 사라지도록 제어하는 단계는, 상기 사용자의 시선이 알림 정보를 포함하는 알림 바를 기설정된 시간 이상 향하는 것으로 감지되면, 상기 알림 정보를 알림 바 상에서 사라지도록 제어할 수 있다.The step of controlling the notification information to disappear on the screen may control the notification information to disappear from the notification bar if the user's gaze is detected to be directed to the notification bar including the notification information for more than a predetermined time .

또한, 상기 알림 정보가 상기 화면 상에서 사라지도록 제어하는 단계는, 상기 사용자의 시선이 알림 정보를 포함하는 알림 창을 기설정된 시간 이상 향하는 것으로 감지되면, 상기 알림 정보를 포함하는 알림 창 닫기 기능이 수행되도록 제어할 수 있다. In addition, the step of controlling the notification information to disappear on the screen may include a notification window closing function including the notification information when the user's gaze is detected as being directed to the notification window including the notification information for more than a predetermined time .

또한, 상기 사용자의 시선이 상기 알림 정보가 디스플레이된 영역에 기설정된 시간 이상 위치하는 것으로 감지되면 상기 알림 정보가 디스플레이된 영역이 다른 영역과 식별되도록 디스플레이 상태를 변경하는 단계를 더 포함할 수 있다. The method may further include changing a display state such that the area in which the notification information is displayed is distinguished from the other area if the user's sight is detected as being positioned over a predetermined time period in the area where the notification information is displayed.

또한, 상기 디스플레이 상태를 변경하는 단계는, 상기 알림 정보가 디스플레이된 영역의 휘도 및 색상 중 적어도 하나를 변경할 수 있다. Also, the step of changing the display state may change at least one of the luminance and the hue of the area in which the notification information is displayed.

여기서, 알림 정보는, 메시지 수신 정보, SNS 알림 정보, 프로그램 업데이트 알림 정보, 메일 수신 정보 중 적어도 하나를 포함할 수 있다. Here, the notification information may include at least one of message reception information, SNS notification information, program update notification information, and mail reception information.

또한, 상기 알림 정보가 상기 화면 상에서 사라진 후 계속하여 시선이 감지되면, 상기 알림 정보와 관련된 추가 기능을 수행하는 단계를 더 포함할 수 있다. The method may further include performing an additional function related to the notification information if the notification information is continuously displayed after the disappearance of the notification information on the screen.

또한, 알림 정보 타입에 기초하여 사용자의 시선에 따라 수행되는 기능에 대한 정보를 저장하는 단계를 더 포함하며, 상기 알림 정보가 상기 화면 상에서 사라지도록 제어하는 단계는, 상기 저장된 정보에 기초하여 상기 화면의 기설정된 영역에 대한 시선이 기설정된 시간 이상 감지되면, 해당 영역에서 제공하는 알림 정보가 사라지도록 제어할 수 있다. The method may further include storing information on a function performed according to the user's gaze based on the notification information type, wherein the step of controlling the notification information to disappear on the screen may include: It is possible to control the notification information provided in the area to disappear when the line of sight of the predetermined area is detected for a predetermined time or more.

이상과 같은 본 발명의 다양한 실시 예에 따르면, 보다 간단하고 편리한 사용자 인터페이스를 제공할 수 있게 된다. According to various embodiments of the present invention as described above, a simpler and more convenient user interface can be provided.

도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3은 본 발명의 다른 실시 예에 따른 디스플레이 장치의 세부 구성을 나타내는 블럭도이다.
도 4는 본 발명의 일 실시 예에 따른 사용자 시선 추적에 따른 기능 수행 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시 예에 따른 사용자 시선 추적에 따른 기능 수행 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 또 다른 실시 예에 따른 사용자 시선 추적에 따른 기능 수행 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다. 1 is a view for explaining the operation of a display device according to an embodiment of the present invention.
2 is a block diagram showing a configuration of a display device according to an embodiment of the present invention.
3 is a block diagram showing a detailed configuration of a display device according to another embodiment of the present invention.
4 is a view for explaining a method of performing a function according to user's gaze tracking according to an embodiment of the present invention.
5 is a view for explaining a method of performing a function according to a user's gaze tracking according to another embodiment of the present invention.
6 is a view for explaining a method of performing a function according to a user's gaze tracking according to another embodiment of the present invention.
7 is a flowchart illustrating a method of controlling a display apparatus according to an embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면이다. 1 is a view for explaining the operation of a display device according to an embodiment of the present invention.

도 1에 따르면, 디스플레이 장치(100)는 스마트폰과 같은 휴대 단말로 구현될 수 있으나, 이에 한정되는 것은 아니며 TV, 전자 칠판, 전자 테이블, LFD(Large Format Display), 태블릿 PC, PMP, PDA, 네비게이션 등과 같이 디스플레이 기능을 갖춘 다양한 유형의 장치로 구현될 수 있다. 또한, 디스플레이 장치(100)가 휴대 가능한 휴대 단말로 구현되는 경우 디스플레이 장치(100)는 터치스크린을 내장하고 있어, 손가락 또는 펜(예를 들어, 스타일러스 펜)을 이용하여 프로그램을 실행시킬 수 있도록 구현될 수 있다.1, the display device 100 may be implemented as a portable terminal such as a smart phone, but is not limited thereto, and may be a TV, an electronic blackboard, an electronic table, a large format display (LFD), a tablet PC, And may be implemented in various types of devices with display functions such as navigation. In addition, when the display device 100 is implemented as a portable portable terminal, the display device 100 has a built-in touch screen so that a program can be executed using a finger or a pen (for example, a stylus pen) .

한편, 디스플레이 장치(100)는 서버(200)와 네트워크(10)를 통해 통신하여 다양한 서비스를 제공하도록 구현될 수 있다. 특히, 디스플레이 장치(100)는 다양한 메신저 서비스, 프로그램 업데이트 서비스, E-mail 서비스 등을 제공할 수 있다. 예를 들어, 메신저 서비스는 OS 상에서 사용자가 직접 사용하게 되는 소프트웨어인 어플리케이션(Application) 형태로 제공될 수 있으며, 어플리케이션은 디스플레이 장치(100) 화면 상에서 아이콘 인터페이스 형태로 제공될 수 있다. Meanwhile, the display device 100 may be implemented to communicate with the server 200 through the network 10 to provide various services. In particular, the display device 100 may provide various messenger services, program update services, e-mail services, and the like. For example, the messenger service may be provided in the form of an application that is software that is directly used by a user on the OS, and the application may be provided in the form of an icon interface on the display device 100 screen.

또한, 디스플레이 장치(100)는 시선 추적 기능을 제공하도록 구현될 수 있다. 구체적으로, 디스플레이 장치(100)는 제공되는 기능을 사용자 시선 추적을 통해 실행가능하도록 구현될 수 있다. 예를 들어, 상술한 메신저 서비스에서 제공하는 기능이 사용자 시선 추적을 통해 수행될 수 있다. 이하에서는, 디스플레이 장치(100)의 구성을 기초로 본원의 다양한 실시 예에 대해 구체적으로 설명하도록 한다. In addition, the display device 100 may be implemented to provide a gaze tracking function. Specifically, the display device 100 can be implemented so that the functions provided can be performed through user's eye-tracking. For example, the functions provided by the above-mentioned messenger service can be performed through user's gaze tracking. Hereinafter, various embodiments of the present invention will be described in detail based on the configuration of the display device 100. [

도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다. 2 is a block diagram showing a configuration of a display device according to an embodiment of the present invention.

디스플레이부(110)는 다양한 화면을 디스플레이한다. 여기에서, 화면은 이미지, 동영상, 텍스트, 음악 등과 같은 다양한 컨텐츠 재생 화면, 다양한 컨텐츠를 포함하는 어플리케이션 실행 화면, 웹 브라우저 화면, GUI(Graphic User Interface) 화면 등을 포함할 수 있다. The display unit 110 displays various screens. Here, the screen may include various content playback screens such as an image, a moving picture, a text, a music, etc., an application execution screen including various contents, a web browser screen, a GUI (Graphic User Interface) screen,

이 경우, 디스플레이부(110)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이부(110)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다. In this case, the display unit 110 may be implemented as an LCD (Liquid Crystal Display Panel), an OLED (Organic Light Emitting Diodes), or the like, but is not limited thereto. In addition, the display unit 110 may be implemented as a flexible display, a transparent display, or the like as the case may be.

특히, 디스플레이부(110)는 기설정된 이벤트에 따라 화면 상에 알림 정보를 디스플레이할 수 있다. 여기서, 기설정된 이벤트는 메시지 수신, E-mail 수신, 업데이트 정보 수신과 같은 다양한 정보를 수신하는 이벤트가 될 수 있으며, 알림 정보는 그에 따른 메시지 수신 알림 정보, 업데이트 정보 수신 알림 정보, E-mail 수신 알림 정보 등이 될 수 있으나, 이에 한정되는 것은 아니다. In particular, the display unit 110 may display notification information on the screen according to a predetermined event. Here, the preset event may be an event for receiving various information such as message reception, E-mail reception, update information reception, etc., and the notification information may include message reception notification information, update information reception notification information, Notification information, and the like, but the present invention is not limited thereto.

감지부(120)는 사용자의 시선을 감지하는 기능을 한다. The sensing unit 120 senses the user's gaze.

구체적으로, 감지부(120)는 사용자를 촬상하는 촬상부(미도시) 및 촬상부(미도시)에 의해 촬상된 영상에 기초하여 사용자의 시선 방향을 검출하는 시선 검출부(미도시)를 포함하도록 구현될 수 있다. Specifically, the sensing unit 120 includes a sight detecting unit (not shown) for detecting a direction of a user's gaze based on an image picked up by an image pickup unit (not shown) and an image pickup unit Can be implemented.

촬상부(미도시)는 화면의 외곽 영역에 배치된다. 예를 들어, 촬상부(미도시)는 화면의 상단 중앙, 좌단 중앙 또는 우단 중앙 베젤 영역에 배치될 수 있으나, 이에 한정되는 것은 아니다. An image pickup unit (not shown) is disposed in an outer area of the screen. For example, the imaging unit (not shown) may be disposed in the upper center, left center center, or rightmost center bezel region of the screen, but is not limited thereto.

촬상부(미도시)는 사용자 특히, 사용자 얼굴을 촬상한다. 촬상부(미도시)는 렌즈를 포함한 렌즈 모듈과 이미지 센서를 포함한다. 렌즈를 통해 입력된 형상은 필름의 역할을 하는 이미지 센서에 광학 신호로서 입력되고, 이미지 센서는 입력된 광학 신호를 전기적 신호로 변환하여 시선 검출부(미도시)로 전송한다. 예를 들어, 촬상부(미도시)는 일반 카메라, 스테레오 카메라, 뎁스 카메라 등으로 구현될 수 있다. An image pickup unit (not shown) picks up a user, especially a user's face. The imaging unit (not shown) includes a lens module including a lens and an image sensor. The shape input through the lens is input as an optical signal to an image sensor serving as a film, and the image sensor converts the input optical signal into an electrical signal and transmits it to a visual line detection unit (not shown). For example, the image pickup unit (not shown) may be implemented by a general camera, a stereo camera, a depth camera, or the like.

한편, 시선 검출부(미도시)는 디스플레이부(110) 내에서 사용자가 응시하는 영역을 검출한다. 이때, 시선 검출부(미도시)는 사용자의 얼굴 방향 또는 사용자의 안구 움직임 등을 추적하여 사용자가 응시하는 영역을 검출할 수 있다.On the other hand, a visual line detection unit (not shown) detects an area to be examined by the user in the display unit 110. At this time, the line of sight detection unit (not shown) may track the face direction of the user or the eye movement of the user to detect the area to be examined by the user.

구체적으로, 시선 검출부(미도시)는 얼굴 모델링(face modeling) 기술을 통해 촬영부(미도시)에 의해 촬영된 사용자 촬영 영상으로부터 안구 영상을 식별한다. 이때, 얼굴 모델링 기술은 촬영부에 의해 획득된 얼굴 영상의 가공 처리 및 전송을 위한 디지털 정보로 변환하는 분석 과정으로, ASM(Active Shape Modeling) 기법 및 AAM(Active Appearance Modeling) 기법 중 하나가 이용될 수 있다. 그리고, 시선 검출부(미도시)는 식별된 안구 영상을 이용하여 안구의 움직임을 판단할 수 있다. 그리고, 시선 검출부(미도시)는 안구 움직임을 이용하여 사용자가 응시하는 방향을 검출하고, 기 저장된 디스플레이 화면의 좌표 정보와 사용자가 응시하는 방향을 비교함으로써, 사용자가 응시하는 영역을 판단할 수 있다.Specifically, the line of sight detection unit (not shown) identifies an eye image from a user image photographed by a photographing unit (not shown) through a face modeling technique. At this time, the facial modeling technique is an analysis process of converting the facial image acquired by the photographing unit into digital information for processing and transmission, and one of the ASM (Active Shape Modeling) technique and the AAM (Active Appearance Modeling) technique is used . The eye-gaze detection unit (not shown) can determine the movement of the eyeball using the identified eyeball image. The eye-gaze detection unit (not shown) detects the direction in which the user gazes by using the eye movement, and compares the coordinate information of the pre-stored display screen with the direction in which the user looks, .

한편, 상술한 바와 같이, 사용자가 응시하는 영역을 판단하는 방법은 일 실시 예에 불과할 뿐, 다른 방법을 이용하여 사용자가 응시하는 영역을 판단할 수 있다. 예를 들어, 시선 검출부(미도시)는 사용자의 얼굴 방향을 추적하여 사용자가 응시하는 영역을 판단할 수도 있다.On the other hand, as described above, the method of determining the area to be examined by the user is only an embodiment, and it is possible to determine the area to be examined by the user using another method. For example, the line-of-sight detecting unit (not shown) may track the direction of the user's face to determine the area to be examined by the user.

제어부(130)는 디스플레이 장치(100)의 전반적인 동작을 제어하는 기능을 한다. The control unit 130 controls the overall operation of the display device 100.

특히, 제어부(130)는 사용자의 시선이 알림 정보가 디스플레이된 영역을 기설정된 시간 이상 향하는 것으로 감지되면, 알림 정보가 화면 상에서 사라지도록 제어할 수 있다. 여기서, 알림 정보는 상술한 바와 같이 메시지 수신 정보, SNS 알림 정보, 프로그램 업데이트 알림 정보, 메일 수신 정보 중 적어도 하나를 포함할 수 있다. In particular, the control unit 130 may control the notification information to disappear from the screen when the user's sight line is detected as the area where the notification information is displayed for more than a predetermined time. Here, the notification information may include at least one of message reception information, SNS notification information, program update notification information, and mail reception information as described above.

구체적으로, 제어부(130)는 사용자의 시선이 알림 정보를 포함하는 알림 창을 기설정된 시간 이상 향하는 것으로 감지되면, 해당 알림 창 닫기 기능이 수행되도록 제어할 수 있다. 예를 들어, 메시지 수신을 알리는 알림 정보가 OSD 형태의 알림 창 내에 디스플레이되는 경우, 사용자의 시선이 해당 알림 창을 기설정된 시간 이상 향하는 것으로 감지되면, 해당 알림 창에 대한 닫기 기능을 수행할 수 있다. More specifically, if the user's sight line is detected as being directed to the notification window including the notification information for more than a predetermined time, the control unit 130 can control the notification window closing function to be performed. For example, when the notification information for notifying the reception of the message is displayed in the notification window of the OSD type, if the user's eyes are detected as facing the notification window for more than a predetermined time, .

또한, 제어부(130)는 사용자의 시선이 알림 정보를 포함하는 알림 바를 기설정된 시간 이상 향하는 것으로 감지되면, 알림 정보를 알림 바 상에서 사라지도록 제어할 수 있다. 예를 들어, 소프트웨어 업데이트를 알리는 알림 정보가 화면의 기설정된 영역에 디스플레이된 알림 바 내에 디스플레이되는 경우, 사용자의 시선이 해당 알림 바를 기설정된 시간 이상 향하는 것으로 감지되면, 해당 알림 정보가 알림 바 내에서 삭제되도록 제어할 수 있다.In addition, the control unit 130 may control the notification information to disappear on the notification bar if the user's sight line is detected as being directed to the notification bar including the notification information for more than a predetermined time. For example, when notification information for notifying a software update is displayed in a notification bar displayed in a predetermined area of the screen, if the user's eyes are detected to be facing the notification bar for more than a preset time, Can be controlled to be deleted.

또한, 제어부(130)는, 사용자의 시선이 알림 정보가 디스플레이된 영역에 기설정된 시간 이상 위치하는 것으로 감지되면 알림 정보가 사라지기 전에 알림 정보가 디스플레이된 영역이 다른 영역과 식별되도록 디스플레이 상태를 변경할 수 있다. 구체적으로, 제어부(130)는 알림 정보가 디스플레이된 영역의 휘도 및 색상 중 적어도 하나를 변경할 수 있다. 예를 들어, 제어부(130)는 알림 정보가 디스플레이된 알림창을 Fade out 처리하거나, 어두운 색상으로 변경하여 해당 알림 정보가 곧 사라질 것을 사용자가 인식할 수 있도록 할 수 있다. In addition, if the sight line of the user is detected as being positioned over a predetermined time period in the area where the notification information is displayed, the control unit 130 changes the display state so that the area where the notification information is displayed is identified with another area before the notification information disappears . Specifically, the control unit 130 may change at least one of the luminance and the hue of the area in which the notification information is displayed. For example, the control unit 130 may enable the user to recognize that the notification information displayed on the notification unit is fade out or changed to a dark color so that the corresponding notification information disappears soon.

또한, 제어부(130)는 알림 정보가 화면 상에서 사라진 후 계속하여 시선이 감지되면, 알림 정보와 관련된 추가 기능을 수행할 수 있다. 예를 들어, 제어부(130)는 메시지 수신 알림 정보가 화면 상에서 사라진 후 계속하여 기설정된 식간 이상 시선이 감지되면, 해당 어플리케이션을 구동하여 메시지의 전문을 화면 상에 디스플레이할 수 있다. In addition, when the notification information disappears on the screen and the eyes are continuously detected, the control unit 130 may perform an additional function related to the notification information. For example, when the message reception notification information disappears on the screen and the predetermined abnormal line-of-sight is continuously detected, the control unit 130 drives the corresponding application to display the message message on the screen.

또한, 제어부(130)는 알림 바에 대한 사용자 시선이 기설정된 시간 이상 감지되면, 알림 바에 디스플레이된 모든 정보를 한꺼번에 사라지도록 제어할 수도 있지만, 사용자 시선이 머무는 시간에 따라 기설정된 우선 순위에 기초하여 알림 정보를 삭제하는 것도 가능하다. 예를 들어, 알림 바 내에 소프트웨어 업데이트 수신 정보, 인스턴트 메신저 수신 정보 등의 알림 정보가 제공되는 경우, 우선 순위에 따라 인스턴트 메신저 수신 정보를 먼저 삭제할 수 있다. The control unit 130 may control all the information displayed on the notification bar to disappear at once if the user's line of sight on the notification bar is detected for a preset time, It is also possible to delete the information. For example, when notification information such as software update reception information and instant messenger reception information is provided in the notification bar, the instant messenger reception information can be deleted first according to the priority order.

또한, 제어부(130)는 알림 바에 대한 사용자 시선이 기설정된 시간 이상 감지되면, 알림 바에 디스플레이된 복수의 알림 정보 중 기설정된 알림 정보 만을 삭제하는 것도 가능하다. 예를 들어, 알림 바 내에 소프트웨어 업데이트 수신 정보, 인스턴트 메신저 수신 정보 등의 알림 정보가 제공되는 경우, 사용자에 의해 기설정된 인스턴트 메신저 수신 정보 만을 삭제하는 것도 가능하다. 이 경우, 사용자는 설정 메뉴를 통해 시선 추적에 따라 삭제될 알림 정보를 설정하여 놓을 수 있다. Also, when the user's line of sight on the notification bar is detected for a preset time, the control unit 130 may delete only the preset notification information among the plurality of notification information displayed in the notification bar. For example, when notification information such as software update reception information and instant messenger reception information is provided in the notification bar, it is also possible to delete only the instant messenger reception information preset by the user. In this case, the user can set notification information to be deleted according to eye-gaze tracking through the setting menu.

또한, 제어부(130)는 알림 바 상에 디스플레이된 복수의 알림 정보 중 하나가 디스플레이된 영역에 대한 사용자 시선이 정확히 감지되는 경우, 알림 바 상에서 해당 알림 정보 만을 선택적으로 삭제하는 것도 가능하다. The controller 130 may selectively delete only the notification information on the notification bar when the user's eyes are correctly detected in the area where one of the plurality of notification information displayed on the notification bar is displayed.

또한, 제어부(130)는 알림 정보가 디스플레이된 후, 알림 정보를 향하는 사용자의 시선에 따라 하위 뎁스의 메뉴를 자동으로 실행하여 제공할 수 있다. 이에 대해서는 도면을 참조하여 자세히 설명하도록 한다. In addition, after the notification information is displayed, the control unit 130 may automatically execute and provide the menu of the lower depth according to the user's gaze toward the notification information. This will be described in detail with reference to the drawings.

도 3는 본 발명의 다른 실시 예에 따른 디스플레이 장치(100)의 세부 구성을 나타내는 블럭도이다. 도 3에 따르면, 디스플레이 장치(100')는 디스플레이부(110), 감지부(120), 제어부(130), 저장부(140), 통신부(150), 어플리케이션 구동부(160), 사용자 인터페이스부(170), 오디오 처리부(180) 및 비디오 처리부(190)를 포함한다. 도 3에 도시된 구성요소들 중 도 2에 도시된 구성요소와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다. 3 is a block diagram showing a detailed configuration of a display device 100 according to another embodiment of the present invention. 3, the display device 100 'includes a display unit 110, a sensing unit 120, a controller 130, a storage unit 140, a communication unit 150, an application driver 160, a user interface unit 170, an audio processing unit 180, and a video processing unit 190. The detailed description of the components shown in FIG. 3 that are the same as those shown in FIG. 2 will be omitted.

제어부(130)는 저장부(140)에 저장된 각종 프로그램을 이용하여 디스플레이 장치(100)의 동작을 전반적으로 제어한다. The controller 130 controls the overall operation of the display device 100 using various programs stored in the storage unit 140.

구체적으로, 제어부(130)는 RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n), 버스(136)를 포함한다.Specifically, the control unit 130 includes a RAM 131, a ROM 132, a main CPU 133, a graphics processing unit 134, first through n interfaces 135-1 through 135-n, .

RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 통해 서로 연결될 수 있다. The RAM 131, the ROM 132, the main CPU 133, the graphics processing unit 134, the first to n interfaces 135-1 to 135-n, etc. may be connected to each other via the bus 136. [

제1 내지 n 인터페이스(135-1 내지 135-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.The first to n-th interfaces 135-1 to 135-n are connected to the various components described above. One of the interfaces may be a network interface connected to an external device via a network.

메인 CPU(133)는 저장부(150)에 액세스하여, 저장부(140)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(140)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다. The main CPU 133 accesses the storage unit 150 and performs booting using the O / S stored in the storage unit 140. [ Various operations are performed using various programs, contents, data, and the like stored in the storage unit 140.

ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(133)는 ROM(132)에 저장된 명령어에 따라 저장부(150)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(133)는 저장부(140)에 저장된 각종 어플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다. The ROM 132 stores a command set for booting the system and the like. When the turn-on command is input and power is supplied, the main CPU 133 copies the O / S stored in the storage unit 150 to the RAM 131 according to the instruction stored in the ROM 132, executes O / S Boot the system. When the booting is completed, the main CPU 133 copies various application programs stored in the storage unit 140 to the RAM 131, executes the application program copied to the RAM 131, and performs various operations.

그래픽 처리부(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이부(110)의 디스플레이 영역 내에 표시된다.The graphic processing unit 134 generates a screen including various objects such as an icon, an image, and a text using an operation unit (not shown) and a rendering unit (not shown). The operation unit (not shown) calculates an attribute value such as a coordinate value, a shape, a size, and a color to be displayed by each object according to the layout of the screen based on the received control command. The rendering unit (not shown) creates screens of various layouts including the objects based on the attribute values calculated by the operation unit (not shown). The screen generated in the rendering unit (not shown) is displayed in the display area of the display unit 110.

저장부(140)는 디스플레이 장치(100')를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠, 각종 어플리케이션, 어플리케이션 실행 중에 입력되거나 설정되는 각종 컨텐츠 등과 같이 다양한 데이터를 저장한다. The storage unit 140 stores various data such as an operating system (O / S) software module for driving the display device 100 ', various multimedia contents, various applications, and various contents inputted or set during execution of the application.

특히, 저장부(140)는 알림 정보 타입에 기초하여 사용자의 시선에 따라 수행되는 기능에 대한 정보를 저장할 수 있다. In particular, the storage unit 140 may store information on functions performed according to the user's gaze, based on the notification information type.

일 예로, 저장부(140)는 알림 정보가 알림창 내에 디스플레이되는 타입인 경우, 사용자의 시선에 따라 알림창 닫기 기능이 수행되어야 한다는 정보를 저장할 수 있다. For example, when the notification information is displayed in the notification window, the storage unit 140 may store information indicating that the notification window close function should be performed according to the user's gaze.

다른 예로, 저장부(140)는 알림 정보가 알림 바 내에 디스플레이되는 타입인 경우 사용자의 시선에 따라 알림바에서 알림 정보를 삭제하는 기능이 수행되어야 한다는 정보를 저장할 수 있다. As another example, the storage unit 140 may store information indicating that the notification information should be deleted from the notification bar according to the user's eyes when the notification information is displayed in the notification bar.

또한, 저장부(140)는 알림 바 내에서 사용자의 시선에 따라 삭제되어야 하는 알림 정보에 대한 우선 순위에 대한 정보를 저장할 수 있다. 예를 들어, 알림 바 내에 소프트웨어 업데이트 수신 정보, 인스턴트 메신저 수신 정보 등의 알림 정보가 제공되는 경우, 사용자 시선에 따라 우선 삭제되어야 하는 알림 정보에 대한 정보를 저장할 수 있다. In addition, the storage unit 140 may store information on priorities of notification information to be deleted according to the user's gaze in the notification bar. For example, when notification information such as software update reception information and instant messenger reception information is provided in the notification bar, information on notification information that should be deleted first according to the user's gaze can be stored.

통신부(150)는 다양한 유형의 통신방식에 따라 외부기기와 통신을 수행한다. The communication unit 150 performs communication with an external device according to various types of communication methods.

특히, 통신부(150)는 SNS 서버를 포함하는 다양한 서버와 통신을 수행할 수 있다. 여기서, 통신부(150)는 와이파이칩, 블루투스 칩, 무선 통신 칩, NFC 칩 등 다양한 통신 칩을 포함할 수 있다.In particular, the communication unit 150 can perform communication with various servers including the SNS server. Here, the communication unit 150 may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, a wireless communication chip, and an NFC chip.

구체적으로, 통신부(140)는 SNS 서버, E-mail 서버, 프로그램 관리 서버 등으로부터, 메시지, E-mail, 프로그램 업데이트 정보와 같은 다양한 정보를 수신할 수 있다. Specifically, the communication unit 140 can receive various information such as a message, e-mail, and program update information from the SNS server, the E-mail server, and the program management server.

어플리케이션 구동부(160)는 디스플레이 장치(100')에서 제공 가능한 어플리케이션을 구동 및 실행하는 기능을 한다. 여기서, 어플리케이션이란 스스로 실행가능한 응용 프로그램으로 다양한 멀티미디어 컨텐츠를 포함할 수 있다. 여기서, '멀티미디어 컨텐츠'라는 용어는 텍스트, 오디오, 정지 영상, 애니메이션, 비디오, 및 인터랙티브(Interactivity) 컨텐츠, 컨텐츠 제공자(Content Provider)로부터의 EPG(Electronic Program Guide) 컨텐츠, 사용자들로부터 수신된 전자 메시지, 현재 이벤트에 관한 정보 등을 포함하지만, 이에 한정되지 않는다.The application driving unit 160 drives and executes an application that can be provided by the display device 100 '. Here, the application is an application program that can be executed by itself, and can include various multimedia contents. Here, the term 'multimedia contents' includes text, audio, still images, animation, video, and interactive content, EPG (Electronic Program Guide) content from a content provider, , Information about the current event, and the like, but are not limited thereto.

특히, 어플리케이션 구동부(160)는 사용자 시선 추적에 따른 제어부(130)의 제어에 따라 알림 정보에 대응되는 내용을 디스플레이해야 할 경우에 대응되는 어플리케이션을 구동할 수 있다. 예를 들어, 사용자 시선 추적에 따라 인스턴트 메시지의 전문을 디스플레이해야 할 경우에 해당 인스턴트 메시지를 제공하는 인스턴트 메신저 어플리케이션을 구동할 수 있다. In particular, the application driving unit 160 can drive an application corresponding to the notification information according to the control of the controller 130 in accordance with the tracking of the user's gaze. For example, if the user needs to display the full text of the instant message according to the tracking of the user's eyes, the instant messenger application that provides the instant message may be driven.

사용자 인터페이스부(170)는 다양한 사용자 명령을 입력받는다. The user interface unit 170 receives various user commands.

특히, 사용자 인터페이스부(170)는 UI 화면에 대한 다양한 사용자 조작을 수신할 수 있다. 여기서, 사용자 인터페이스부(170)는 디스플레이 장치(100')가 휴대 가능한 휴대 단말로 구현되는 경우 사용자 터치 입력을 수신하는 터치 패널 또는 터치스크린으로 구현될 수 있다. In particular, the user interface unit 170 may receive various user operations on the UI screen. Here, the user interface unit 170 may be implemented as a touch panel or a touch screen that receives a user touch input when the display device 100 'is implemented as a portable terminal capable of being portable.

오디오 처리부(180)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부(180)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 예를 들어, 오디오 처리부(160)는 채널 재핑시 표시되는 사용자 선호도 정보가 기설정된 기준을 만족하는 경우 등에 대응되는 피드백 사운드를 생성하여 제공할 수 있다. The audio processing unit 180 is a component that performs processing on audio data. In the audio processing unit 180, various processes such as decoding or amplification of audio data, noise filtering, and the like may be performed. For example, the audio processor 160 may generate and provide a feedback sound corresponding to a case where the user preference information displayed at the time of channel jumping satisfies predetermined criteria.

비디오 처리부(190)는 비디오 데이터에 대한 처리를 수행하는 구성요소이다. 비디오 처리부(170)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다. The video processing unit 190 is a component that performs processing on video data. The video processing unit 170 may perform various image processing such as decoding, scaling, noise filtering, frame rate conversion, resolution conversion, and the like on the video data.

그 밖에 디스플레이 장치(100')는 오디오 처리부(180)에서 처리된 각종 오디오 데이터 뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 스피커(미도시), 디스플레이 장치(100')를 제어하기 위한 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하는 마이크(미도시) 등의 구성을 포함할 수 있다. 한편, 카메라(미도시) 및 마이크(미도시)는 그 기능에 따라 상술한 사용자 인터페이스부(120)의 일 구성이 될 수 있다. In addition, the display device 100 'includes a speaker (not shown) for outputting various kinds of audio data processed by the audio processing unit 180 as well as various kinds of notifications and voice messages, a user voice (not shown) for controlling the display device 100' And a microphone (not shown) for receiving and converting other sounds into audio data. Meanwhile, the camera (not shown) and the microphone (not shown) may be one configuration of the user interface unit 120 according to the functions thereof.

또한, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트들이 더 포함될 수도 있다. In addition, various external input ports for connecting with various external terminals such as a headset, a mouse, a LAN, and the like may be further included.

한편, 도 3은 디스플레이 장치(100')에 포함된 세부 구성의 일 예를 든 것으로, 실시 예에 따라서는, 도 3에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.3 illustrates an example of a detailed configuration included in the display device 100 '. According to an embodiment, some of the components shown in FIG. 3 may be omitted or changed, More may be added.

도 4는 본 발명의 일 실시 예에 따른 사용자 시선 추적에 따른 기능 수행 방법을 설명하기 위한 도면이다. 4 is a view for explaining a method of performing a function according to user's gaze tracking according to an embodiment of the present invention.

도 4에 도시된 바와 같이 메시지 수신을 알리는 알림 정보를 포함하는 알림 창(410)이 디스플레이된 후, 사용자의 시선이 알림 정보를 포함하는 알림 창을 기설정된 시간 이상 향하는 것으로 감지되면, 해당 알림 창(410)에 닫기 기능이 수행될 수 있다. 4, after the notification window 410 including the notification information for notifying the reception of the message is displayed, if the user's line of sight is detected as being directed to the notification window including the notification information for more than a preset time, A closing function may be performed in the memory 410.

이 경우 알림 창(410) 닫기 기능이 수행되면서 자동으로 배경 화면 또는 잠금 화면이 디스플레이될 수 있다. In this case, the background screen or the lock screen can be automatically displayed while the close function of the notification window 410 is performed.

도 5는 본 발명의 다른 실시 예에 따른 사용자 시선 추적에 따른 기능 수행 방법을 설명하기 위한 도면이다. 5 is a view for explaining a method of performing a function according to a user's gaze tracking according to another embodiment of the present invention.

도 5에 도시된 바와 같이 알림 정보가 화면의 기설정된 영역에 디스플레이된 알림 바 상에 디스플레이된 후, 사용자의 시선이 알림 정보를 포함하는 알림 바를 기설정된 시간 이상 향하는 것으로 감지되면, 해당 알림 정보를 알림 바 상에서 사라지도록 제어할 수 있다. 예를 들어, 소프트웨어 업데이트를 알리는 알림 정보가 알림 바 내에 디스플레이된 후, 사용자의 시선이 해당 알림 바(510)를 기설정된 시간 이상 향하는 것으로 감지되면 해당 알림 정보가 알림 바 내에서 삭제되도록 제어할 수 있다.5, after the notification information is displayed on the notification bar displayed in the preset area of the screen, if the user's line of sight is detected as indicating the notification bar including the notification information for more than the predetermined time, You can control to disappear from the notification bar. For example, after the notification information informing the software update is displayed in the notification bar, if the user's line of sight is detected that the notification bar 510 is pointing more than the preset time, the notification information can be controlled to be deleted in the notification bar have.

도 6은 본 발명의 또 다른 실시 예에 따른 사용자 시선 추적에 따른 기능 수행 방법을 설명하기 위한 도면이다. 6 is a view for explaining a method of performing a function according to a user's gaze tracking according to another embodiment of the present invention.

도 6에 도시된 바와 같이 본 발명의 또 다른 실시 예에 따르면, 알림 정보가 디스플레이된 후, 알림 정보를 향하는 사용자의 시선에 따라 하위 뎁스의 메뉴가 자동으로 실행될 수 있다. As shown in FIG. 6, according to another embodiment of the present invention, after the notification information is displayed, the menu of the lower depth can be automatically executed according to the user's gaze toward the notification information.

예를 들어, 메시지 수신 이벤트에 따라 메시지 수신을 알리는 알림 정보(610)가 디스플레이된 후, 사용자의 시선이 해당 알림 정보(610)를 기설정된 시간(예를 들어, n 초) 이상 향하는 것으로 감지되면, 메시지 어플리케이션이 자동으로 구동되어 메시지 리스트(620)를 디스플레이할 수 있다. For example, after the notification information 610 indicating the reception of the message is displayed according to the message reception event, if the user's line of sight is detected as turning the notification information 610 for more than a predetermined time (for example, n seconds) , The message application may be automatically activated to display the message list 620.

이어서, 사용자의 시선이 메시지 리스트(620)에서 특정 메시지(621)를 기 시간(예를 들어, m 초) 이상 향하는 것으로 감지되면, 해당 메시지 전문(631)을 포함하는 화면(630)이 제공될 수 있다. Then, if the user's gaze is detected in the message list 620 to be longer than the predetermined time (for example, m seconds), the screen 630 including the message message 631 is provided .

도 7은 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.7 is a flowchart illustrating a method of controlling a display apparatus according to an embodiment of the present invention.

도 7에 도시된 디스플레이 장치의 제어 방법에 따르면, 기설정된 이벤트에 따라 화면 상에 알림 정보를 디스플레이한다(S710).According to the control method of the display apparatus shown in FIG. 7, notification information is displayed on the screen according to a predetermined event (S710).

이어서, 해당 알림 정보를 향하는 사용자의 시선이 감지되고(S720), 사용자의 시선이 알림 정보가 디스플레이된 영역에 기설정된 이상 위치하는 것으로 감지되면(S730:Y) 해당 영역에서 제공하는 알림 정보가 사라지도록 제어할 수 있다(S740).Then, if the user's line of sight toward the notification information is detected (S720) and the line of sight of the user is detected as being located in the area where the notification information is displayed (S730: Y), the notification information provided in the area disappears (S740).

이 경우, S740 단계에서는 사용자의 시선이 알림 정보를 포함하는 알림 바를 기설정된 시간 이상 향하는 것으로 감지되면, 알림 정보를 알림 바 상에서 사라지도록 제어할 수 있다. In this case, if it is detected in step S740 that the line of sight of the user is facing the notification bar including the notification information for more than a predetermined time, the notification information may disappear from the notification bar.

또한, S740 단계에서는 사용자의 시선이 알림 정보를 포함하는 알림 창을 기설정된 시간 이상 향하는 것으로 감지되면, 알림 정보를 포함하는 알림 창 닫기 기능이 수행되도록 제어할 수 있다. Also, if it is detected in step S740 that the user's line of sight is directed to the notification window including the notification information for more than a preset time, the notification window closing function including the notification information may be performed.

또한, 사용자의 시선이 알림 정보가 디스플레이된 영역에 기설정된 시간 이상 위치하는 것으로 감지되면 알림 정보가 디스플레이된 영역이 다른 영역과 식별되도록 디스플레이 상태를 변경하는 단계를 더 포함할 수 있다. 구체적으로, 알림 정보가 디스플레이된 영역의 휘도 및 색상 중 적어도 하나를 변경할 수 있으나, 이에 한정되는 것은 아니다. The method may further include the step of changing the display state so that the area where the notification information is displayed is distinguished from the other area when the sight line of the user is sensed to be positioned over a predetermined time period in the area where the notification information is displayed. Specifically, at least one of the luminance and the hue of the area in which the notification information is displayed can be changed, but the present invention is not limited thereto.

여기서, 알림 정보는, 메시지 수신 정보, SNS 알림 정보, 프로그램 업데이트 알림 정보, 메일 수신 정보 중 적어도 하나를 포함할 수 있다. Here, the notification information may include at least one of message reception information, SNS notification information, program update notification information, and mail reception information.

또한, 알림 정보가 화면 상에서 사라진 후 계속하여 시선이 감지되면, 알림 정보와 관련된 추가 기능을 수행할 수 있다. In addition, if the notification information continues to disappear on the screen and then a line of sight is continuously detected, an additional function related to the notification information can be performed.

또한, 알림 정보 타입에 기초하여 사용자의 시선에 따라 수행되는 기능에 대한 정보를 기 저장하고, S740 단계에서는 저장된 정보에 기초하여 상기 화면의 기설정된 영역에 대한 시선이 기설정된 시간 이상 감지되면, 해당 영역에서 제공하는 알림 정보가 사라지도록 제어할 수 있다. In step S740, if a line of sight of a preset area of the screen is detected over a preset time based on the stored information, The notification information provided by the area can be controlled to disappear.

한편, 본 발명에 따른 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다. Meanwhile, a non-transitory computer readable medium having a program for sequentially performing the control method according to the present invention may be provided.

일 예로, 기설정된 이벤트에 따라 화면 상에 알림 정보가 디스플레이된 후, 사용자의 시선이 알림 정보가 디스플레이된 영역에 기설정된 시간 이상 위치하는 것으로 감지되면, 알림 정보가 상기 화면 상에서 사라지도록 제어하는 구성을 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.For example, when the notification information is displayed on the screen according to a preset event and the user's eyes are detected to be positioned over a predetermined time period in the area where the notification information is displayed, the notification information is controlled to disappear from the screen A non-transitory computer readable medium may be provided.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.A non-transitory readable medium is a medium that stores data for a short period of time, such as a register, cache, memory, etc., but semi-permanently stores data and is readable by the apparatus. In particular, the various applications or programs described above may be stored on non-volatile readable media such as CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM,

또한, 디스플레이 장치에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 디스플레이 장치에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 각 디바이스에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있다. In addition, although a bus is not shown in the above-described block diagram of the display device, the communication between the respective components in the display device may be performed through a bus. Further, each device may further include a processor such as a CPU, a microprocessor, or the like that performs the various steps described above.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention.

100: 디스플레이 장치 110: 디스플레이부
120: 감지부 130: 제어부100: display device 110: display part
120: sensing unit 130:

Claims (16)

기설정된 이벤트에 따라 화면 상에 알림 정보를 디스플레이하는 디스플레이부;
사용자 시선을 감지하는 감지부; 및
상기 사용자의 시선이 상기 알림 정보가 디스플레이된 영역에 기설정된 시간 이상 위치하는 것으로 감지되면, 상기 알림 정보가 상기 화면 상에서 사라지도록 제어하는 제어부;를 포함하는 디스플레이 장치. A display unit for displaying notification information on a screen in accordance with a preset event;
A sensing unit for sensing a user's gaze; And
And a control unit for controlling the notification information to disappear on the screen if the user's line of sight is detected as being positioned over a predetermined time period in the area where the notification information is displayed. 제1항에 있어서,
상기 제어부는,
상기 사용자의 시선이 알림 정보를 포함하는 알림 바를 기설정된 시간 이상 향하는 것으로 감지되면, 상기 알림 정보를 알림 바 상에서 사라지도록 제어하는 것을 디스플레이 장치. The method according to claim 1,
Wherein,
Wherein the control unit controls the notification information to disappear from the notification bar when the user's eyes are detected to be turning on the notification bar including the notification information for more than a predetermined time. 제1항에 있어서,
상기 제어부는,
상기 사용자의 시선이 알림 정보를 포함하는 알림 창을 기설정된 시간 이상 향하는 것으로 감지되면, 상기 알림 정보를 포함하는 알림 창 닫기 기능이 수행되도록 제어하는 것을 디스플레이 장치. The method according to claim 1,
Wherein,
Wherein the controller controls the notification window closing function including the notification information to be performed when the user's eyes are detected as being directed to the notification window including the notification information for more than a predetermined time. 제1항에 있어서
상기 제어부는,
상기 사용자의 시선이 상기 알림 정보가 디스플레이된 영역에 기설정된 시간 이상 위치하는 것으로 감지되면 상기 알림 정보가 디스플레이된 영역이 다른 영역과 식별되도록 디스플레이 상태를 변경하는 것을 특징으로 하는 디스플레이 장치.The method of claim 1, wherein
Wherein,
Wherein the control unit changes the display state so that the area in which the notification information is displayed is distinguished from the other area if the sight line of the user is sensed to be positioned over a predetermined time period in the area where the notification information is displayed. 제4항에 있어서,
상기 제어부는,
상기 알림 정보가 디스플레이된 영역의 휘도 및 색상 중 적어도 하나를 변경하는 것을 특징으로 하는 디스플레이 장치.5. The method of claim 4,
Wherein,
And changes at least one of a luminance and a hue of the area in which the notification information is displayed. 제1항에 있어서
상기 알림 정보는,
메시지 수신 정보, SNS 알림 정보, 프로그램 업데이트 알림 정보, 메일 수신 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치. The method of claim 1, wherein
The notification information includes:
Message reception information, SNS notification information, program update notification information, and mail reception information. 제1항에 있어서
상기 제어부는,
상기 알림 정보가 상기 화면 상에서 사라진 후 계속하여 시선이 감지되면, 상기 알림 정보와 관련된 추가 기능을 수행하는 것을 특징으로 하는 디스플레이 장치. The method of claim 1, wherein
Wherein,
Wherein the display unit performs an additional function related to the notification information when the notification information continues to disappear on the screen and the sight line is continuously detected. 제1항에 있어서,
알림 정보 타입에 기초하여 사용자의 시선에 따라 수행되는 기능에 대한 정보를 저장하는 저장부;를 더 포함하며,
상기 제어부는,
상기 저장부에 저장된 정보에 기초하여 상기 화면의 기설정된 영역에 대한 시선이 기설정된 시간 이상 감지되면, 해당 영역에서 제공하는 알림 정보가 사라지도록 제어하는 것을 특징으로 하는 디스플레이 장치. The method according to claim 1,
And a storage unit for storing information on a function performed according to the user's gaze based on the notification information type,
Wherein,
Wherein the control unit controls the notification information provided in the corresponding area to disappear when a line of sight of the predetermined area of the screen is detected over a predetermined time based on the information stored in the storage unit. 디스플레이 장치의 제어 방법에 있어서,
기설정된 이벤트에 따라 화면 상에 알림 정보를 디스플레이하는 단계; 및
사용자의 시선이 상기 알림 정보가 디스플레이된 영역에 기설정된 시간 이상 위치하는 것으로 감지되면, 상기 알림 정보가 상기 화면 상에서 사라지도록 제어하는 단계;를 포함하는 제어 방법.A method of controlling a display device,
Displaying notification information on a screen according to a preset event; And
And controlling the notification information to disappear on the screen if the user's line of sight is detected as being positioned over a predetermined time period in the area where the notification information is displayed. 제9항에 있어서,
상기 알림 정보가 상기 화면 상에서 사라지도록 제어하는 단계는,
상기 사용자의 시선이 알림 정보를 포함하는 알림 바를 기설정된 시간 이상 향하는 것으로 감지되면, 상기 알림 정보를 알림 바 상에서 사라지도록 제어하는 것을 특징으로 하는 제어 방법.10. The method of claim 9,
Wherein the step of controlling the notification information to disappear on the screen comprises:
Wherein the control unit controls the notification information to disappear from the notification bar if the line of sight of the user is detected as being directed to the notification bar including the notification information for more than a predetermined time. 제9항에 있어서,
상기 알림 정보가 상기 화면 상에서 사라지도록 제어하는 단계는,
상기 사용자의 시선이 알림 정보를 포함하는 알림 창을 기설정된 시간 이상 향하는 것으로 감지되면, 상기 알림 정보를 포함하는 알림 창 닫기 기능이 수행되도록 제어하는 것을 특징으로 하는 제어 방법.10. The method of claim 9,
Wherein the step of controlling the notification information to disappear on the screen comprises:
Wherein the controller controls the notification window closing function including the notification information to be performed when the user's eyes are detected as being directed to the notification window including the notification information for more than a predetermined time. 제9항에 있어서,
상기 사용자의 시선이 상기 알림 정보가 디스플레이된 영역에 기설정된 시간 이상 위치하는 것으로 감지되면 상기 알림 정보가 디스플레이된 영역이 다른 영역과 식별되도록 디스플레이 상태를 변경하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.10. The method of claim 9,
And changing the display state so that the area in which the notification information is displayed is distinguished from the other area if the sight line of the user is sensed to be positioned over a predetermined time period in the area where the notification information is displayed Control method. 제12항에 있어서,
상기 디스플레이 상태를 변경하는 단계는,
상기 알림 정보가 디스플레이된 영역의 휘도 및 색상 중 적어도 하나를 변경하는 것을 특징으로 하는 제어 방법.13. The method of claim 12,
Wherein changing the display state comprises:
And changes at least one of a luminance and a hue of the area in which the notification information is displayed. 제9항에 있어서
상기 알림 정보는,
메시지 수신 정보, SNS 알림 정보, 프로그램 업데이트 알림 정보, 메일 수신 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.The method of claim 9, wherein
The notification information includes:
Message reception information, SNS notification information, program update notification information, and mail reception information. 제9항에 있어서
상기 알림 정보가 상기 화면 상에서 사라진 후 계속하여 시선이 감지되면, 상기 알림 정보와 관련된 추가 기능을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.The method of claim 9, wherein
Further comprising the step of performing an additional function related to the notification information when the notification information continues to disappear on the screen and the sight is continuously detected. 제9항에 있어서,
알림 정보 타입에 기초하여 사용자의 시선에 따라 수행되는 기능에 대한 정보를 저장하는 단계;를 더 포함하며,
상기 알림 정보가 상기 화면 상에서 사라지도록 제어하는 단계는,
상기 저장된 정보에 기초하여 상기 화면의 기설정된 영역에 대한 시선이 기설정된 시간 이상 감지되면, 해당 영역에서 제공하는 알림 정보가 사라지도록 제어하는 것을 특징으로 하는 제어 방법.10. The method of claim 9,
And storing information about a function performed according to the user's gaze based on the notification information type,
Wherein the step of controlling the notification information to disappear on the screen comprises:
And controlling the notification information provided in the corresponding area to disappear when a line of sight of the predetermined area of the screen is detected over a preset time based on the stored information.
KR1020140013756A 2014-02-06 2014-02-06 Dispaly apparatus and controlling method thereof KR102005406B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140013756A KR102005406B1 (en) 2014-02-06 2014-02-06 Dispaly apparatus and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140013756A KR102005406B1 (en) 2014-02-06 2014-02-06 Dispaly apparatus and controlling method thereof

Publications (2)

Publication Number Publication Date
KR20150093016A true KR20150093016A (en) 2015-08-17
KR102005406B1 KR102005406B1 (en) 2019-07-30

Family

ID=54057119

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140013756A KR102005406B1 (en) 2014-02-06 2014-02-06 Dispaly apparatus and controlling method thereof

Country Status (1)

Country Link
KR (1) KR102005406B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116027887A (en) * 2022-05-20 2023-04-28 荣耀终端有限公司 Display method and electronic equipment
CN117111726A (en) * 2023-02-13 2023-11-24 荣耀终端有限公司 Equipment control method and device
WO2024037379A1 (en) * 2022-08-18 2024-02-22 华为技术有限公司 Notification checking method and system, and related apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000089905A (en) * 1998-09-14 2000-03-31 Sony Corp Pointing device
KR20090061435A (en) * 2007-12-11 2009-06-16 주식회사 케이티 System and method for providing display screen for synchronizing epg (electronic program guide) personally by an eye gaze tracking system
KR20110052998A (en) * 2009-11-13 2011-05-19 삼성전자주식회사 Apparatus and method for providing user interface in a device
KR20130081117A (en) * 2012-01-06 2013-07-16 엘지전자 주식회사 Mobile terminal and control method therof
KR20130113894A (en) * 2012-04-08 2013-10-16 삼성전자주식회사 User terminal apparatus, display apparatus, server and control method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000089905A (en) * 1998-09-14 2000-03-31 Sony Corp Pointing device
KR20090061435A (en) * 2007-12-11 2009-06-16 주식회사 케이티 System and method for providing display screen for synchronizing epg (electronic program guide) personally by an eye gaze tracking system
KR20110052998A (en) * 2009-11-13 2011-05-19 삼성전자주식회사 Apparatus and method for providing user interface in a device
KR20130081117A (en) * 2012-01-06 2013-07-16 엘지전자 주식회사 Mobile terminal and control method therof
KR20130113894A (en) * 2012-04-08 2013-10-16 삼성전자주식회사 User terminal apparatus, display apparatus, server and control method thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116027887A (en) * 2022-05-20 2023-04-28 荣耀终端有限公司 Display method and electronic equipment
CN116027887B (en) * 2022-05-20 2024-03-29 荣耀终端有限公司 Display method and electronic equipment
WO2024037379A1 (en) * 2022-08-18 2024-02-22 华为技术有限公司 Notification checking method and system, and related apparatus
CN117111726A (en) * 2023-02-13 2023-11-24 荣耀终端有限公司 Equipment control method and device

Also Published As

Publication number Publication date
KR102005406B1 (en) 2019-07-30

Similar Documents

Publication Publication Date Title
US10951253B2 (en) Bendable user terminal device and method for displaying thereof
KR102230708B1 (en) User termincal device for supporting user interaxion and methods thereof
US10635379B2 (en) Method for sharing screen between devices and device using the same
KR101518280B1 (en) Display apparatus and method for displaying
US9400590B2 (en) Method and electronic device for displaying a virtual button
KR20230006421A (en) Display apparatus and control methods thereof
EP3335410B1 (en) Electronic apparatus and notification displaying method for electronic apparatus
US11546457B2 (en) Electronic device and method of operating electronic device in virtual reality
EP3012725B1 (en) Method, device and electronic device for displaying descriptive icon information
US20140313218A1 (en) Method and apparatus for controlling transparency in portable terminal having transparent display unit
KR102319286B1 (en) Apparatus and method for processing drag and drop
US20210117048A1 (en) Adaptive assistive technology techniques for computing devices
US11915671B2 (en) Eye gaze control of magnification user interface
KR20170034543A (en) User terminal device, Electronic device, And Method for controlling the user terminal device and the electronic device thereof
KR102005406B1 (en) Dispaly apparatus and controlling method thereof
KR102327139B1 (en) Portable Device and Method for controlling brightness in portable device
US10613622B2 (en) Method and device for controlling virtual reality helmets
CN112653788B (en) User interface display method, mobile terminal and storage medium
US10732817B2 (en) Electronic apparatus and text input method for the same
CN111596825A (en) Application program updating method and device and electronic equipment
KR20150002329A (en) Application operating method and electronic device implementing the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant