KR20170035487A

KR20170035487A - Display device and operating method thereof

Info

Publication number: KR20170035487A
Application number: KR1020150134378A
Authority: KR
Inventors: 염정호; 김영우; 이은주; 김기형; 김명선; 이도영
Original assignee: 엘지전자 주식회사
Priority date: 2015-09-23
Filing date: 2015-09-23
Publication date: 2017-03-31
Also published as: KR102400640B1

Abstract

The present invention relates to a display device and an operating method thereof. The operating method of the display device connected to a terminal according to an embodiment of the present invention comprises: a step where the display device receives a screen displayed on a terminal and displays the received screen on a display part; a step where the display device recognizes a user state by using a camera; and a step of transmitting either a first command to display details of a notification generated from the terminal on the screen or a second command not to display the details of the notification on the screen to the terminal based on the recognized result.

Description

DISPLAY DEVICE AND OPERATING METHOD THEREOF

본 발명의 개념에 따른 실시 예는 디스플레이 장치에 관한 것으로, 특히 사용자의 시선 또는 존재 등의 사용자 상태에 대한 인식 결과에 기초하여 상기 디스플레이 장치에 연결된 단말기의 화면에 표시되는 알림을 제어하는 디스플레이 장치와 이의 동작 방법에 관한 것이다.An embodiment according to the concept of the present invention relates to a display device, and more particularly to a display device for controlling a notification displayed on a screen of a terminal connected to the display device based on a recognition result of a user state such as a user's gaze or presence, And an operation method thereof.

미러링(mirroring, 또는 스크린 미러링)이란, 스마트폰이나 태블릿 PC와 같은 단말기의 화면을 다른 디스플레이 장치(예컨대, TV, 모니터, 프로젝터 등)에 그대로 표시하는 것을 의미한다. 일반적으로 단말기의 디스플레이 화면은 크기에 제약이 있으므로, 사용자는 미러링을 이용하여 단말기에서 제공되는 컨텐츠를 TV와 같은 대화면을 갖는 장치를 통해 이용할 수 있다.Mirroring (or screen mirroring) means displaying a screen of a terminal such as a smart phone or a tablet PC directly on another display device (e.g., a TV, a monitor, a projector, etc.). Generally, since the size of the display screen of the terminal is limited, the user can utilize the contents provided in the terminal through a device having a large screen such as a TV using mirroring.

단말기의 화면이 TV에 미러링되어 표시되면, 사용자는 TV를 조작함으로써 단말기의 동작, 즉 TV에 표시되는 단말기의 화면을 제어할 수도 있다. 이 경우, TV를 통해 단말기의 화면을 편리하게 제어하기 위한 다양한 방법들이 요구된다.When the screen of the terminal is mirrored and displayed on the TV, the user can control the operation of the terminal, that is, the screen of the terminal displayed on the TV, by operating the TV. In this case, various methods for conveniently controlling the screen of the terminal through the TV are required.

본 발명이 이루고자 하는 기술적 과제는, 사용자의 시선 또는 존재 여부 등의 사용자 상태에 대한 인식 결과에 기초하여 단말기의 화면에 표시되는 알림을 제어할 수 있는 디스플레이 장치와 이의 동작 방법을 제공하는 것이다.According to an aspect of the present invention, there is provided a display device capable of controlling a notification displayed on a screen of a terminal based on a recognition result of a user state such as a user's gaze or presence, and an operation method thereof.

본 발명의 실시 예에 따른 단말기와 연결되는 디스플레이 장치의 동작 방법은, 상기 디스플레이 장치가, 상기 단말기에 표시되는 화면을 수신하고, 수신된 화면을 디스플레이부에 표시하는 단계, 상기 디스플레이 장치가, 카메라를 이용하여 사용자의 상태를 인식하는 단계, 및 인식 결과에 기초하여, 상기 단말기에서 발생하는 알림의 내용을 상기 화면에 표시하도록 하는 제1 명령과, 상기 알림의 내용을 상기 화면에 표시하지 않도록 하는 제2 명령 중 어느 하나의 명령을 상기 단말기로 전송하는 단계를 포함할 수 있다.A method of operating a display device connected to a terminal according to an exemplary embodiment of the present invention is characterized in that the display device includes a step of receiving a screen displayed on the terminal and displaying the received screen on a display unit, Recognizing the state of the user by using the first instruction and the second instruction to display the contents of the notification generated in the terminal on the screen based on the recognition result, And transmitting one of the second command to the terminal.

실시 예에 따라, 상기 수신된 화면을 디스플레이부에 표시하는 단계는, 상기 디스플레이 장치가, 상기 단말기에 표시되는 화면을 실시간으로 수신하고, 실시간으로 수신된 화면을 상기 디스플레이부에 표시할 수 있다.According to an embodiment of the present invention, the step of displaying the received screen on the display unit may allow the display device to receive the screen displayed on the terminal in real time and display the received screen in real time on the display unit.

다른 실시 예에 따라, 상기 수신된 화면을 디스플레이부에 표시하는 단계는, 상기 수신된 화면을 상기 디스플레이부의 소정 영역에 표시하고, 외부로부터 수신된 컨텐트의 영상을 상기 디스플레이부의 나머지 영역에 표시할 수 있다.According to another embodiment, the step of displaying the received screen on the display unit may display the received screen on a predetermined area of the display unit and display an image of the content received from the outside on the remaining area of the display unit have.

실시 예에 따라, 상기 사용자의 상태를 인식하는 단계는, 상기 카메라를 이용하여 상기 사용자의 시선을 인식하고, 상기 어느 하나의 명령을 상기 단말기로 전송하는 단계는, 인식 결과 상기 사용자의 시선이 상기 소정 영역을 향하는 경우, 상기 제1 명령을 상기 단말기로 전송하고, 상기 사용자의 시선이 상기 소정 영역을 향하지 않는 경우, 상기 제2 명령을 상기 단말기로 전송할 수 있다.According to the embodiment, the step of recognizing the state of the user may include recognizing the user's gaze using the camera, and transmitting the one of the commands to the terminal, The first command may be transmitted to the terminal if the first command is directed to a predetermined area and the second command may be transmitted to the terminal if the line of sight of the user is not directed to the predetermined area.

다른 실시 예에 따라, 상기 사용자의 상태를 인식하는 단계는, 상기 카메라를 이용하여 상기 사용자의 존재 여부를 인식하고, 상기 어느 하나의 명령을 상기 단말기로 전송하는 단계는, 인식 결과 상기 사용자가 존재하는 경우, 상기 제1 명령을 상기 단말기로 전송하고, 상기 사용자가 존재하지 않는 경우, 상기 제2 명령을 상기 단말기로 전송할 수 있다.According to another embodiment, the step of recognizing the state of the user may include the step of recognizing presence of the user using the camera, and transmitting the one of the commands to the terminal, The first command may be transmitted to the terminal, and if the user does not exist, the second command may be transmitted to the terminal.

또 다른 실시 예에 따라, 상기 사용자의 상태를 인식하는 단계는, 상기 카메라를 이용하여 상기 사용자 외의 타인의 존재 여부를 인식하고, 상기 어느 하나의 명령을 상기 단말기로 전송하는 단계는, 인식 결과 상기 타인이 존재하지 않는 경우, 상기 제1 명령을 상기 단말기로 전송하고, 상기 타인이 존재하는 경우, 상기 제2 명령을 상기 단말기로 전송할 수 있다.According to another embodiment, the step of recognizing the state of the user may include the step of recognizing the existence of a person other than the user using the camera, and the step of transmitting the one of the commands to the terminal, If there is no other person, the first command is transmitted to the terminal, and if the other exists, the second command can be transmitted to the terminal.

상기 방법은, 상기 단말기의 배터리 잔량이 기준 잔량보다 낮은 경우, 상기 단말기로부터 수신되는 상기 알림의 내용이 표시되는 화면을 캡쳐하는 단계, 및 상기 인식 결과에 기초하여 캡쳐된 상기 알림의 내용이 표시되는 화면을 상기 디스플레이부에 표시하는 단계를 더 포함할 수 있다.The method further includes capturing a screen on which the content of the notification received from the terminal is displayed when the battery remaining amount of the terminal is lower than a reference remaining amount and displaying the contents of the notification captured based on the recognition result And displaying the screen on the display unit.

실시 예에 따라, 상기 어느 하나의 명령을 상기 단말기로 전송하는 단계는, 상기 제1 명령이 전송됨에 따라, 상기 디스플레이부에 상기 알림의 내용이 포함된 화면이 표시된 경우, 상기 알림의 내용에 기초한 요청을 수신하는 단계, 및 수신된 요청에 대응하는 제어 명령을 상기 단말기로 전송하는 단계를 더 포함할 수 있다.According to an embodiment of the present invention, the step of transmitting any one of the commands to the terminal may include: when a screen including the contents of the notification is displayed on the display unit as the first command is transmitted, Receiving the request, and transmitting a control command corresponding to the received request to the terminal.

본 발명의 실시 예에 따른 단말기와 연결되는 디스플레이 장치는, 디스플레이부, 카메라, 상기 단말기에 표시되는 화면을 수신하는 외부장치 인터페이스부, 및 수신된 화면을 상기 디스플레이부에 표시하도록 제어하고, 상기 카메라를 이용하여 사용자의 상태를 인식하고, 인식 결과에 기초하여 상기 단말기에서 발생하는 알림의 내용을 상기 화면에 표시하도록 하는 제1 명령과, 상기 알림의 내용을 상기 화면에 표시하지 않도록 하는 제2 명령 중 어느 하나의 명령을 상기 단말기로 전송하는 제어부를 포함할 수 있다.A display device connected to a terminal according to an exemplary embodiment of the present invention includes a display unit, a camera, an external device interface unit for receiving a screen displayed on the terminal, and controls the display unit to display the received screen, A first command for recognizing the state of the user by using the first command and for displaying the contents of the notification generated in the terminal on the screen based on the recognition result and a second command for not displaying the contents of the notification on the screen And a controller for transmitting the command to the terminal.

상기 디스플레이 장치는 TV, 모니터, 및 프로젝터 중 어느 하나를 포함할 수 있다.The display device may include any one of a TV, a monitor, and a projector.

본 발명의 실시 예에 따른 디스플레이 장치는, 카메라 모듈을 이용하여 사용자의 상태를 인식하고, 인식 결과에 기초하여 디스플레이 장치에 표시되는 단말기 화면의 알림 창 포함 여부를 제어할 수 있는 효과가 있다.The display device according to the embodiment of the present invention has an effect of recognizing the state of the user by using the camera module and controlling whether or not the notification screen of the terminal screen displayed on the display device is included based on the recognition result.

또한, 상기 디스플레이 장치는 단말기의 알림 창이 포함된 화면을 캡쳐하여 저장할 수 있으므로, 단말기와의 연결이 해제되거나 단말기의 전원이 오프되더라도 사용자에게 단말기에서 발생한 알림을 알릴 수 있는 효과가 있다.In addition, the display device can capture and store a screen including the notification window of the terminal, so that the user can be notified of the notification generated by the terminal even if the connection with the terminal is canceled or the power of the terminal is turned off.

도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 2은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 5는 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 6은 본 발명의 실시 예에 따른 디스플레이 장치가, 상기 디스플레이 장치에 연결된 단말기로부터 전송되는 상기 단말기의 화면을 표시하는 동작에 대한 예시도이다.
도 7은 도 5에 도시된 사용자의 상태가 사용자의 시선인 경우에 대한 실시 예를 설명하기 위한 래더 다이어그램이다.
도 8a 내지 도 8d는 도 7에 도시된 실시 예에 따른 디스플레이 장치의 동작을 나타내는 예시도이다.
도 9는 도 5에 도시된 사용자의 상태가 사용자의 존재 여부인 경우에 대한 실시 예를 설명하기 위한 래더 다이어그램이다.
도 10a 내지 도 10d는 도 9에 도시된 실시 예에 따른 디스플레이 장치의 동작을 나타내는 예시도이다.
도 11은 도 5에 도시된 사용자의 상태가 타인의 존재 여부인 경우에 대한 실시 예를 설명하기 위한 래더 다이어그램이다.
도 12a 내지 도 12d는 도 11에 도시된 실시 예에 따른 디스플레이 장치의 동작을 나타내는 예시도이다.
도 13a 내지 도 13c는 본 발명의 다른 실시 예에 따른 디스플레이 장치의 동작을 나타내는 예시도이다.
도 14는 도 1에 도시된 디스플레이 장치가 프로젝터를 포함하는 탁상용 조명장치인 경우에 대한 예시도이다.1 is a block diagram illustrating a configuration of a display apparatus according to an embodiment of the present invention.
2 is a block diagram of a remote control device according to an embodiment of the present invention.
3 shows an example of an actual configuration of a remote control apparatus according to an embodiment of the present invention.
4 shows an example of utilizing a remote control device according to an embodiment of the present invention.
5 is a ladder diagram illustrating a method of operating a display device according to an embodiment of the present invention.
6 is an exemplary view illustrating an operation of displaying a screen of the terminal transmitted from a terminal connected to the display device according to an embodiment of the present invention.
7 is a ladder diagram for explaining an embodiment in which the state of the user shown in FIG. 5 is the user's gaze.
8A to 8D are diagrams illustrating an operation of a display apparatus according to the embodiment shown in FIG.
FIG. 9 is a ladder diagram for explaining an embodiment in which the state of the user shown in FIG. 5 is the presence or absence of a user.
FIGS. 10A to 10D are diagrams illustrating an operation of the display apparatus according to the embodiment shown in FIG.
11 is a ladder diagram for explaining an embodiment in which the state of the user shown in FIG. 5 is the presence or absence of another person.
12A to 12D are diagrams illustrating an operation of a display apparatus according to the embodiment shown in FIG.
13A to 13C are diagrams illustrating an operation of a display device according to another embodiment of the present invention.
14 is an exemplary view of a case where the display device shown in Fig. 1 is a desk lighting device including a projector.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals are used to designate identical or similar elements, and redundant description thereof will be omitted. The suffix "module" and " part "for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role. In the following description of the embodiments of the present invention, a detailed description of related arts will be omitted when it is determined that the gist of the embodiments disclosed herein may be blurred. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. , &Lt; / RTI > equivalents, and alternatives.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinals, such as first, second, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, the terms "comprises", "having", and the like are used to specify that a feature, a number, a step, an operation, an element, a component, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings attached hereto.

도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.1 is a block diagram illustrating a configuration of a display apparatus according to an embodiment of the present invention.

도 1을 참조하면, 디스플레이 장치(100)는 TV, 모니터, 프로젝터 또는 이를 포함하는 장치, 노트북, 태블릿 PC, 스마트폰 등으로 구현될 수 있다.Referring to FIG. 1, the display device 100 may be implemented as a TV, a monitor, a projector or a device including the same, a notebook computer, a tablet PC, a smart phone, or the like.

디스플레이 장치(100)는 방송 수신부(130), 외부장치 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 카메라(160), 제어부(170), 디스플레이부(180), 오디오 출력부(185), 및 전원공급부(190)를 포함할 수 있다. The display device 100 includes a broadcast receiving unit 130, an external device interface unit 135, a storage unit 140, a user input interface unit 150, a camera 160, a control unit 170, a display unit 180, An audio output unit 185, and a power supply unit 190.

방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부 (133)를 포함할 수 있다. The broadcast receiving unit 130 may include a tuner 131, a demodulation unit 132, and a network interface unit 133.

튜너(131)는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있다. 튜너 (131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.The tuner 131 can tune to a specific broadcast channel according to the channel tuning command. The tuner 131 may receive a broadcast signal for the selected broadcast channel.

복조부(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.The demodulator 132 can separate the received broadcast signal into a video signal, an audio signal, and a data signal related to a broadcast program, and can restore the separated video signal, audio signal, and data signal into a form capable of outputting.

네트워크 인터페이스부(133)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다. The network interface unit 133 may provide an interface for connecting the display device 100 to a wired / wireless network including the Internet network. The network interface unit 133 can transmit or receive data to another user or another electronic device via the network connected thereto or another network linked to the connected network.

또한, 디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.In addition, some content data stored in the display device 100 can be transmitted to another user registered in the display device 100 or a selected one of the other electronic devices or selected electronic devices.

네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.The network interface unit 133 can access a predetermined web page through the connected network or another network linked to the connected network. That is, it is possible to access a predetermined web page through a network and transmit or receive data with the server.

그리고, 네트워크 인터페이스부(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.The network interface unit 133 may receive content or data provided by the content provider or the network operator. That is, the network interface unit 133 can receive contents such as a movie, an advertisement, a game, a VOD, a broadcast signal, and related information provided from a content provider or a network provider through a network.

또한, 네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.In addition, the network interface unit 133 can receive update information and an update file of the firmware provided by the network operator, and can transmit data to the Internet or a content provider or a network operator.

네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.The network interface unit 133 can select and receive a desired application among applications open to the public via the network.

외부장치 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.The external device interface unit 135 may receive an application or application list in an adjacent external device and may transmit the received application or application list to the control unit 170 or the storage unit 140.

외부장치 인터페이스부(135)는 디스플레이 장치(100)와 외부장치 간의 연결 경로를 제공할 수 있다. 디스플레이 장치(100)는 외부장치 인터페이스부(135)를 통해 외부장치와 유선 또는 무선으로 연결될 수 있다. The external device interface unit 135 may provide a connection path between the display device 100 and an external device. The display device 100 may be connected to an external device through an external device interface unit 135 in a wired or wireless manner.

외부장치 인터페이스부(135)는 외부장치로부터 출력된 영상, 오디오 중 하나 이상을 수신하여, 제어부(170)로 전달할 수 있다. 외부장치 인터페이스부(135)에 연결 가능한 외부장치는 셋톱박스, 블루레이 플레이어, DVD 플레이어, 게임기, 사운드 바, 스마트폰, PC, USB 메모리, 홈 씨어터 중 어느 하나일 수 있다.The external device interface unit 135 may receive at least one of video and audio output from an external device and transmit the received video and audio to the control unit 170. The external device that can be connected to the external device interface unit 135 may be any one of a set top box, a Blu-ray player, a DVD player, a game machine, a sound bar, a smart phone, a PC, a USB memory, and a home theater.

저장부(140)는 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램을 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.The storage unit 140 may store a program for each signal processing and control in the controller 170, and may store the processed video, audio, or data signals.

또한, 저장부(140)는 외부장치 인터페이스부(135), 네트워크 인터페이스부 (133), 또는 카메라(160)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.The storage unit 140 may perform a function for temporarily storing video, audio, or data signals input from the external device interface unit 135, the network interface unit 133, or the camera 160, And may store information about a predetermined image through the channel memory function.

저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부 (133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.The storage unit 140 may store a list of applications or applications input from the external device interface unit 135 or the network interface unit 133. [

디스플레이 장치(100)는 저장부(140) 내에 저장되어 있는 컨텐츠 파일 (동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.The display apparatus 100 may reproduce and provide a content file (a moving picture file, a still picture file, a music file, a document file, an application file, etc.) stored in the storage unit 140 to a user.

사용자입력 인터페이스부(150)는 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스부(150)는 블루투스(Bluetooth), UWB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.The user input interface unit 150 may transmit a signal input by the user to the control unit 170 or may transmit a signal from the control unit 170 to the user. For example, the user input interface unit 150 may be implemented by various communication methods such as Bluetooth, Ultra Wideband (UWB), ZigBee, RF (Radio Frequency) communication or infrared (IR) It is possible to receive and process control signals such as power on / off, channel selection, screen setting, and the like from the remote control device 200, or transmit control signals from the control unit 170 to the remote control device 200. [

또한, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.The user input interface unit 150 may transmit a control signal input from a local key (not shown) such as a power key, a channel key, a volume key, and a set value to the controller 170.

제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.The video signal processed by the controller 170 may be input to the display unit 180 and displayed as an image corresponding to the video signal. The video signal processed by the controller 170 may be input to the external output device through the external device interface 135. [

제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부 (135)를 통하여 외부 출력장치로 입력될 수 있다. The audio signal processed by the control unit 170 may be output to the audio output unit 185 through audio. The voice signal processed by the control unit 170 may be input to the external output device through the external device interface unit 135.

그 외, 제어부(170)는, 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다. In addition, the control unit 170 can control the overall operation in the display device 100. [

또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.The control unit 170 may control the display device 100 according to a user command or an internal program input through the user input interface unit 150. The control unit 170 accesses the network and displays a list of applications or applications desired by the user, So that it can be downloaded into the portable terminal 100.

제어부(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.The control unit 170 may output the video or audio signal processed through the channel information selected by the user through the display unit 180 or the audio output unit 185.

또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.The control unit 170 controls the operation of the external device through the external device interface unit 135 according to an external device video playback command received through the user input interface unit 150. For example, So that a video signal or a voice signal can be output through the display unit 180 or the audio output unit 185.

한편, 제어부(170)는 영상을 표시하도록 디스플레이부(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(140)에 저장된 영상이 디스플레이부(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이부(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.The control unit 170 may control the display unit 180 to display an image and may output the broadcast image input through the tuner 131 or the external input through the external device interface unit 135, The image input through the network interface unit or the image stored in the storage unit 140 may be displayed on the display unit 180. [ In this case, the image displayed on the display unit 180 may be a still image or a moving image, and may be a 2D image or a 3D image.

또한, 제어부(170)는 디스플레이 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 상기 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.In addition, the controller 170 may control the content stored in the display device 100, the received broadcast content, and external input content input from the outside to be reproduced, and the content may be a broadcast image, an external input image, A still image, a connected web screen, and a document file.

카메라(160)는 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 카메라(160)에서 처리된 화상 프레임은 저장부(140)에 저장될 수 있다.The camera 160 processes image frames such as still images or moving images obtained by the image sensor. The image frame processed by the camera 160 may be stored in the storage unit 140. [

특히, 본 발명의 실시 예에 따른 카메라(160)는 사용자의 시선, 사용자의 존재 여부, 타인의 존재 여부 등 사용자의 상태를 인식하기 위해 사용될 수 있다. 이에 대해서는 도 7 내지 도 13c를 통해 후술하기로 한다.In particular, the camera 160 according to an exemplary embodiment of the present invention can be used to recognize a user's state, such as the user's gaze, the presence of a user, and the presence of a person. This will be described later with reference to FIGS. 7 to 13C.

디스플레이부(180)는 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성할 수 있다.The display unit 180 converts the video signal, the data signal, the OSD signal, the video signal, the data signal, and the like received from the external device interface unit 135 into R, G, and B signals, respectively, Signal can be generated.

한편, 도 1에 도시된 디스플레이 장치(100)는 본 발명의 일실시예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.On the other hand, the display device 100 shown in FIG. 1 is only an embodiment of the present invention. Some of the components shown may be integrated, added, or omitted depending on the specifications of the display device 100 actually implemented.

즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.That is, two or more constituent elements may be combined into one constituent element, or one constituent element may be constituted by two or more constituent elements, if necessary. In addition, the functions performed in each block are intended to illustrate the embodiments of the present invention, and the specific operations and apparatuses do not limit the scope of the present invention.

본 발명의 또 다른 실시예에 따르면, 디스플레이 장치(100)는 도 1에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스부(133) 또는 외부장치 인터페이스부(135)를 통해서 영상을 수신하여 재생할 수도 있다.1, the display apparatus 100 may include a tuner 131 and a demodulator 132 and may include a network interface unit 133 or an external device interface unit (not shown) 135 to reproduce the image.

예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋탑 박스 등과 같은 영상 처리 장치와 상기 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다.For example, the display apparatus 100 may be divided into an image processing apparatus such as a set-top box for receiving broadcast signals or contents according to various network services, and a content reproducing apparatus for reproducing contents inputted from the image processing apparatus Can be implemented.

이 경우, 이하에서 설명할 본 발명의 실시예에 따른 디스플레이 장치의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 상기 분리된 셋탑 박스 등과 같은 영상 처리 장치 또는 디스플레이부(180) 및 오디오출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.In this case, the operation method of the display device according to the embodiment of the present invention to be described below may be applied not only to the display device 100 as described with reference to FIG. 1, but also to the image processing device such as the separated set- 180, and an audio output unit 185. The content playback apparatus may be implemented by any one of the above-described content playback apparatuses.

다음으로, 도 2 내지 도 3을 참조하여, 본 발명의 일 실시 예에 따른 원격제어장치에 대해 설명한다.Next, a remote control apparatus according to an embodiment of the present invention will be described with reference to Figs. 2 to 3. Fig.

도 2는 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이고, 도 3은 본 발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.FIG. 2 is a block diagram of a remote control device according to an embodiment of the present invention, and FIG. 3 shows an example of an actual configuration of a remote control device according to an embodiment of the present invention.

먼저, 도 2를 참조하면, 원격제어장치(200)는 지문인식부(210), 무선통신부 (220), 사용자 입력부(230), 센서부(240), 출력부(250), 전원공급부(260), 저장부 (270), 제어부(280), 음성 획득부(290)를 포함할 수 있다. 2, the remote control apparatus 200 includes a fingerprint recognition unit 210, a wireless communication unit 220, a user input unit 230, a sensor unit 240, an output unit 250, a power supply unit 260 A storage unit 270, a control unit 280, and a voice acquiring unit 290. [0034]

도 2을 참조하면, 무선통신부(220)는 전술하여 설명한 본 발명의 실시 예에 따른 디스플레이 장치와 신호를 송수신한다.Referring to FIG. 2, the wireless communication unit 220 transmits / receives signals to / from a display device according to the embodiment of the present invention described above.

원격제어장치(200)는 RF 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비하며, IR 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다. 또한, 원격제어장치(200)는 블루투스 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 블루투스 모듈(225)을 구비할 수 있다. 또한, 원격제어장치 (200)는 NFC(Near Field Communication) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수할 수 있는 NFC 모듈(227)을 구비하며, WLAN(Wireless LAN) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 WLAN 모듈(229)을 구비할 수 있다.The remote control device 200 includes an RF module 221 capable of transmitting and receiving signals to and from the display device 100 according to the RF communication standard and is capable of transmitting and receiving signals with the display device 100 according to the IR communication standard And an IR module 223. In addition, the remote control device 200 may include a Bluetooth module 225 capable of transmitting and receiving signals with the display device 100 according to the Bluetooth communication standard. The remote control apparatus 200 is provided with an NFC module 227 capable of transmitting and receiving signals to and from the display apparatus 100 in accordance with a NFC (Near Field Communication) communication standard. In accordance with a WLAN (Wireless LAN) communication standard, And a WLAN module 229 that can send and receive signals to and from the device 100.

또한, 원격제어장치(200)는 디스플레이 장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 무선 통신부(220)를 통해 전송한다. The remote control device 200 transmits a signal containing information on the motion and the like of the remote control device 200 to the display device 100 through the wireless communication unit 220.

한편, 원격제어장치(200)는 디스플레이 장치(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 모듈(223)을 통하여 디스플레이 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다. On the other hand, the remote control device 200 can receive a signal transmitted from the display device 100 through the RF module 221 and can transmit power to the display device 100 via the IR module 223, Off, channel change, volume change, and the like.

사용자 입력부(230)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(230)를 조작하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(230)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 이에 대해서는 도 3을 참조하여 설명한다.The user input unit 230 may include a keypad, a button, a touch pad, or a touch screen. The user can operate the user input unit 230 to input commands related to the display device 100 to the remote control device 200. [ When the user input unit 230 includes a hard key button, the user can input a command related to the display device 100 to the remote controller 200 through the push operation of the hard key button. This will be described with reference to FIG.

도 3을 참조하면, 원격제어장치(200)는 복수의 버튼을 포함할 수 있다. 복수의 버튼은 지문 인식 버튼(212), 전원 버튼(231), 홈 버튼(232), 라이브 버튼(233), 외부 입력 버튼(234), 음량 조절 버튼(235), 음성 인식 버튼(236), 채널 변경 버튼(237), 확인 버튼(238) 및 뒤로 가기 버튼(239)을 포함할 수 있다.Referring to FIG. 3, the remote control apparatus 200 may include a plurality of buttons. The plurality of buttons include a fingerprint recognition button 212, a power button 231, a home button 232, a live button 233, an external input button 234, a volume control button 235, a voice recognition button 236, A channel change button 237, an OK button 238, and a back button 239. [

지문 인식 버튼(212)은 사용자의 지문을 인식하기 위한 버튼일 수 있다. 일 실시예로, 지문 인식 버튼(212)은 푸쉬 동작이 가능하여, 푸쉬 동작 및 지문 인식 동작을 수신할 수도 있다. 전원 버튼(231)은 디스플레이 장치(100)의 전원을 온/오프 하기 위한 버튼일 수 있다. 홈 버튼(232)은 디스플레이 장치(100)의 홈 화면으로 이동하기 위한 버튼일 수 있다. 라이브 버튼(233)은 실시간 방송 프로그램을 디스플레이 하기 위한 버튼일 수 있다. 외부 입력 버튼(234)은 디스플레이 장치(100)에 연결된 외부 입력을 수신하기 위한 버튼일 수 있다. 음량 조절 버튼(235)은 디스플레이 장치(100)가 출력하는 음량의 크기를 조절하기 위한 버튼일 수 있다. 음성 인식 버튼(236)은 사용자의 음성을 수신하고, 수신된 음성을 인식하기 위한 버튼일 수 있다. 채널 변경 버튼(237)은 특정 방송 채널의 방송 신호를 수신하기 위한 버튼일 수 있다. 확인 버튼(238)은 특정 기능을 선택하기 위한 버튼일 수 있고, 뒤로 가기 버튼(239)은 이전 화면으로 되돌아가기 위한 버튼일 수 있다.The fingerprint recognition button 212 may be a button for recognizing the fingerprint of the user. In one embodiment, the fingerprint recognition button 212 is capable of a push operation and may receive a push operation and a fingerprint recognition operation. The power button 231 may be a button for turning on / off the power of the display device 100. The home button 232 may be a button for moving to the home screen of the display device 100. The live button 233 may be a button for displaying a real time broadcast program. The external input button 234 may be a button for receiving an external input connected to the display device 100. The volume control button 235 may be a button for controlling the volume of the volume output by the display device 100. The voice recognition button 236 may be a button for receiving the user's voice and recognizing the received voice. The channel change button 237 may be a button for receiving a broadcast signal of a specific broadcast channel. The confirmation button 238 may be a button for selecting a specific function, and the back button 239 may be a button for returning to a previous screen.

다시 도 2를 설명한다. Fig. 2 will be described again.

사용자 입력부(230)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시 예는 본 발명의 권리범위를 제한하지 아니한다.When the user input unit 230 has a touch screen, the user can touch a soft key of the touch screen to input a command related to the display device 100 to the remote control device 200. [ In addition, the user input unit 230 may include various types of input means such as a scroll key, a jog key, and the like that can be operated by the user, and the present invention does not limit the scope of the present invention.

센서부(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다. The sensor unit 240 may include a gyro sensor 241 or an acceleration sensor 243 and the gyro sensor 241 may sense information on the motion of the remote control device 200. [

예를 들어, 자이로 센서(241)는 원격제어장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 원격제어장치(200)는 거리측정센서를 더 구비할 수 있어, 디스플레이 장치(100)의 디스플레이부 (180)와의 거리를 센싱할 수 있다.For example, the gyro sensor 241 may sense information about the operation of the remote control device 200 on the basis of the x, y, and z axes, and the acceleration sensor 243 may sense the movement speed of the remote control device 200 And the like can be sensed. The remote control device 200 may further include a distance measuring sensor to sense the distance from the display unit 180 of the display device 100. [

출력부(250)는 사용자 입력부(235)의 조작에 대응하거나 디스플레이 장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(250)를 통하여 사용자는 사용자 입력부(235)의 조작 여부 또는 디스플레이 장치(100)의 제어 여부를 인지할 수 있다. The output unit 250 may output an image or voice signal corresponding to the operation of the user input unit 235 or corresponding to the signal transmitted from the display device 100. [ The user can recognize whether the user input unit 235 is operated or whether the display apparatus 100 is controlled through the output unit 250.

예를 들어, 출력부(250)는 사용자 입력부(235)가 조작되거나 무선 통신부(225)를 통하여 디스플레이 장치(100)와 신호가 송수신되면 점등되는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다. For example, the output unit 250 may include an LED module 251 that is turned on when the user input unit 235 is operated or a signal is transmitted to and received from the display device 100 through the wireless communication unit 225, a vibration module 253 for outputting sound, an acoustic output module 255 for outputting sound, or a display module 257 for outputting an image.

또한, 전원공급부(260)는 원격제어장치(200)로 전원을 공급하며, 원격제어장치(200)가 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로써 전원 낭비를 줄일 수 있다. 전원공급부(260)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.Also, the power supply unit 260 supplies power to the remote control device 200, and when the remote control device 200 is not moving for a predetermined time, the power supply is interrupted to reduce power waste. The power supply unit 260 may resume power supply when a predetermined key provided in the remote control device 200 is operated.

저장부(270)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 디스플레이 장치(100)와 RF 모듈(221)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)과 디스플레이 장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다.The storage unit 270 may store various types of programs, application data, and the like necessary for the control or operation of the remote control apparatus 200. [ If the remote control device 200 wirelessly transmits and receives signals through the display device 100 and the RF module 221, the remote control device 200 and the display device 100 transmit and receive signals through a predetermined frequency band .

원격제어장치(200)의 제어부(280)는 원격제어장치(200)와 페어링된 디스플레이 장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(270)에 저장하고 참조할 수 있다.The control unit 280 of the remote control device 200 stores information on a frequency band or the like capable of wirelessly transmitting and receiving a signal with the display device 100 paired with the remote control device 200 in the storage unit 270, can do.

제어부(280)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 제어부(280)는 사용자 입력부(235)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(220)를 통하여 디스플레이 장치(100)로 전송할 수 있다.The control unit 280 controls various matters related to the control of the remote control device 200. [ The control unit 280 transmits a signal corresponding to a predetermined key operation of the user input unit 235 or a signal corresponding to the motion of the remote control device 200 sensed by the sensor unit 240 to the display device 100).

또한, 원격제어장치(200)의 음성 획득부(290)는 음성을 획득할 수 있다.Also, the voice acquisition unit 290 of the remote control device 200 can acquire voice.

음성 획득부(290)는 적어도 하나 이상의 마이크를 포함할 수 있고, 마이크를 통해 음성을 획득할 수 있다.The voice acquisition unit 290 may include at least one microphone and may acquire voice through a microphone.

다음으로 도 4를 설명한다.Next, Fig. 4 will be described.

도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.4 shows an example of utilizing a remote control device according to an embodiment of the present invention.

도 4의 (a)는 원격 제어 장치(200)에 대응하는 포인터(205)가 디스플레이부 (180)에 표시되는 것을 예시한다.4A illustrates that the pointer 205 corresponding to the remote control device 200 is displayed on the display unit 180. In FIG.

사용자는 원격 제어 장치(200)를 상하, 좌우로 움직이거나 회전할 수 있다. 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)는 원격 제어 장치(200)의 움직임에 대응한다. 이러한 원격 제어 장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다. The user can move or rotate the remote control device 200 up, down, left or right. The pointer 205 displayed on the display unit 180 of the display device 100 corresponds to the movement of the remote control device 200. [ In this remote control device 200, as shown in the figure, since the pointer 205 is moved according to the movement in the 3D space, it can be called a space remote controller.

도 4의 (b)는 사용자가 원격 제어 장치(200)를 왼쪽으로 이동하면, 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다. 4B illustrates that when the user moves the remote controller 200 to the left, the pointer 205 displayed on the display unit 180 of the display apparatus 100 moves to the left correspondingly.

원격 제어 장치(200)의 센서를 통하여 감지된 원격 제어 장치(200)의 움직임에 관한 정보는 디스플레이 장치(100)로 전송된다. 디스플레이 장치(100)는 원격 제어 장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 디스플레이 장치(100)는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.Information on the motion of the remote control device 200 sensed through the sensor of the remote control device 200 is transmitted to the display device 100. The display device 100 can calculate the coordinates of the pointer 205 from the information about the motion of the remote control device 200. [ The display device 100 can display the pointer 205 so as to correspond to the calculated coordinates.

도 4의 (c)는, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다.4C illustrates a case where the user moves the remote control device 200 away from the display unit 180 while the specific button in the remote control device 200 is depressed. Thereby, the selected area in the display unit 180 corresponding to the pointer 205 can be zoomed in and displayed.

이와 반대로, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다.Conversely, when the user moves the remote control apparatus 200 close to the display unit 180, the selection area within the display unit 180 corresponding to the pointer 205 may be zoomed out and displayed.

한편, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격 제어 장치(200)가 디스플레이부(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.On the other hand, when the remote control device 200 moves away from the display unit 180, the selected area is zoomed out, and when the remote control device 200 approaches the display unit 180, the selected area may be zoomed in.

또한, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지거나 접근하도록 이동하는 경우, 상, 하, 좌, 우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격 제어 장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격 제어 장치(200)의 상, 하, 좌, 우 이동에 따라 포인터(205)만 이동하게 된다. Further, the recognition of the upward, downward, and leftward / rightward movement can be excluded when a specific button in the remote control device 200 is pressed. That is, when the remote control device 200 moves away from or approaches the display unit 180, it is not recognized that the up, down, left, and right movements are recognized, and only the forward and backward movements are recognized. Only the pointer 205 is moved in accordance with the upward, downward, leftward, and rightward movement of the remote control device 200 in a state where the specific button in the remote control device 200 is not pressed.

한편, 포인터(205)의 이동속도나 이동방향은 원격 제어 장치(200)의 이동속도나 이동방향에 대응할 수 있다.On the other hand, the moving speed and moving direction of the pointer 205 may correspond to the moving speed and moving direction of the remote control device 200.

한편, 본 명세서에서의 포인터는, 원격 제어 장치(200)의 동작에 대응하여, 디스플레이부(180)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고, 포인터(205)가 디스플레이부(180) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.The pointer in the present specification means an object displayed on the display unit 180 in correspondence with the operation of the remote control device 200. [ Therefore, various shapes of objects other than the arrow shapes shown in the drawings are possible with the pointer 205. [ For example, it can be a concept that includes points, cursors, prompts, thick outlines, and so on. The pointer 205 may be displayed corresponding to a point on a horizontal axis or a vertical axis on the display unit 180 or may be displayed corresponding to a plurality of points such as a line or a surface Do.

다음으로, 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법에 대해 설명한다.Next, an operation method of the display apparatus according to the embodiment of the present invention will be described.

도 5는 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법을 설명하기 위한 래더 다이어그램이다.5 is a ladder diagram illustrating a method of operating a display device according to an embodiment of the present invention.

도 5를 참조하면, 디스플레이 장치(100)는 단말기(200)와 연결될 수 있다(S100).Referring to FIG. 5, the display device 100 may be connected to the terminal 200 (S100).

구체적으로, 디스플레이 장치(100)는 외부장치 인터페이스부(135)를 통해 단말기(200)와 유선 및/또는 무선으로 연결될 수 있다. 예컨대, 디스플레이 장치(100)와 단말기(200)는 USB(universal serial bus) 인터페이스, HDMI(high definition multimedia interface) 등을 통해 유선으로 연결되거나, Wi-Fi, Wi-Fi 다이렉트 등을 통해 무선으로 연결될 수 있으나, 연결 방식의 종류가 이에 한정되는 것은 아니다.In detail, the display device 100 may be connected to the terminal 200 through the external device interface 135 in a wired and / or wireless manner. For example, the display device 100 and the terminal 200 may be wired through a universal serial bus (USB) interface, a high definition multimedia interface (HDMI), or wirelessly through Wi-Fi or Wi-Fi direct However, the type of the connection method is not limited thereto.

디스플레이 장치(100)의 제어부(170)는, 단말기(200)의 디스플레이부에 표시되는 화면을 실시간으로 수신하고(S200), 수신된 화면을 디스플레이부(180)의 특정 영역에 표시할 수 있다(S300).The control unit 170 of the display device 100 can receive a screen displayed on the display unit of the terminal 200 in real time in step S200 and display the received screen on a specific area of the display unit 180 S300).

예컨대, 제어부(170)는 단말기(200)의 디스플레이부에 표시되는 화면을 미러링(mirroring)하여 디스플레이 장치(100)의 디스플레이부(180)에 표시할 수 있다. 미러링이란, 어느 하나의 디스플레이 장치(또는 단말기)에 표시되는 화면을 스트리밍(streaming)하여 다른 디스플레이 장치(또는 단말기)의 디스플레이부에 동일하게 표시하고, 다른 디스플레이 장치(또는 단말기)는 디스플레이부에 표시되는 화면을 이용하여 상기 어느 하나의 디스플레이 장치(또는 단말기)를 제어할 수 있는 기술을 의미할 수 있다.For example, the control unit 170 may mirror the screen displayed on the display unit of the terminal 200 and display the screen on the display unit 180 of the display device 100. Mirroring is a technique in which a screen displayed on one display device (or terminal) is streamed and displayed on the display unit of another display device (or terminal) in the same manner, and another display device (or terminal) (Or terminal) by using a screen to be displayed on the display device.

비록 도 5에서는 S200 단계와 S300 단계에서만 단말기(200)에 표시되는 화면이 디스플레이 장치(100)로 실시간 전송되고, 제어부(170)가 실시간 수신되는 화면을 디스플레이부(180)의 특정 영역에 표시하는 것으로 도시되어 있으나, S200 단계와 S300 단계에 따른 디스플레이 장치(100)와 단말기(200)의 동작은 모든 시점에서 항상 수행되고 있을 수 있다. 즉, 후술할 다른 단계들에 의해 단말기(200)에 표시되는 화면이 변경되면, 변경된 화면이 디스플레이 장치(100)로 전송되어 디스플레이부(180)에 표시될 수 있다.5, a screen displayed on the terminal 200 is transmitted to the display device 100 in real time only in steps S200 and S300, and the control unit 170 displays a real-time received screen on a specific area of the display unit 180 The operations of the display device 100 and the terminal 200 according to steps S200 and S300 may be performed at all times. That is, when the screen displayed on the terminal 200 is changed by other steps to be described later, the changed screen may be transmitted to the display device 100 and displayed on the display unit 180.

S300 단계에 대한 실시 예에 대해서는 도 6을 참조하여 설명하기로 한다.An embodiment of step S300 will be described with reference to FIG.

도 6은 본 발명의 실시 예에 따른 디스플레이 장치가, 상기 디스플레이 장치에 연결된 단말기로부터 전송되는 상기 단말기의 화면을 표시하는 동작에 대한 예시도이다.6 is an exemplary view illustrating an operation of displaying a screen of the terminal transmitted from a terminal connected to the display device according to an embodiment of the present invention.

도 6의 (a)와 (b)를 참조하면, 디스플레이 장치(100)의 제어부(170)는 디스플레이부(180)의 특정 영역에, 외부장치 인터페이스부(135)를 통해 단말기 (200)로부터 실시간으로 수신되는 (예컨대, 스트리밍되는) 단말기 화면(220 또는 221)을 표시하고, 디스플레이부(180)의 나머지 영역에는 방송 수신부(130)로부터 수신되는 컨텐트에 대한 화면을 표시할 수 있다.6A and 6B, the controller 170 of the display device 100 receives a real time signal from the terminal 200 through the external device interface unit 135 in a specific area of the display unit 180, (E.g., streaming) terminal screen 220 or 221 on the display unit 180 and a screen for content received from the broadcast receiver 130 on the remaining area of the display unit 180. [

도 6에서는 제어부(170)가 단말기 화면(220 또는 221)을 디스플레이부 (180)의 우측 하단부의 특정 영역에 표시하는 실시 예만이 도시되어 있으나, 단말기 화면(220 또는 221)이 표시되는 위치, 및 디스플레이부(180)에 표시되는 단말기 화면(220 또는 221)의 크기가 이에 한정되는 것은 아니다. 따라서, 단말기 화면(220 또는 221)이 표시되는 위치 및/또는 크기는 원격 제어 장치(200)로부터 수신되는 요청 등에 의해 변경될 수도 있다.6, the controller 170 displays the terminal screen 220 or 221 on a specific area of the lower right portion of the display unit 180. However, the position where the terminal screen 220 or 221 is displayed, The size of the terminal screen 220 or 221 displayed on the display unit 180 is not limited thereto. Accordingly, the location and / or size of the terminal screen 220 or 221 may be changed by a request received from the remote control device 200 or the like.

단말기(200)에서 표시되는 화면이 세로 화면인 경우, 제어부(170)는 디스플레이부(180)의 소정 영역에 세로 방향으로 단말기 화면(220)을 표시하고, 단말기(200)에서 표시되는 화면이 가로 화면인 경우, 제어부(170)는 디스플레이부 (180)의 소정 영역에 가로 방향으로 단말기 화면(221)을 표시할 수 있다.The control unit 170 displays the terminal screen 220 in the vertical direction in a predetermined area of the display unit 180 and displays the terminal screen 220 in the horizontal direction In the case of a screen, the controller 170 may display the terminal screen 221 in a horizontal direction on a predetermined area of the display unit 180. [

따라서, 사용자는 디스플레이 장치(100)의 디스플레이부(180)를 통해 방송 수신부(130) 등으로부터 수신되는 컨텐트를 시청하면서, 동시에 단말기 화면(220 또는 221)까지도 확인할 수 있다.Accordingly, the user can view the contents received from the broadcasting receiver 130 or the like through the display unit 180 of the display apparatus 100, and simultaneously check the terminal screen 220 or 221.

다시 도 5를 설명한다.5 is described again.

단말기(200)에서 알림이 발생하면(S400), 디스플레이 장치(100)는 사용자의 상태를 인식할 수 있다(S500).When a notification is generated in the terminal 200 (S400), the display device 100 can recognize the state of the user (S500).

구체적으로는, 단말기(200)에 설치되어 실행되는 각종 애플리케이션으로부터 알림(예컨대, 호 수신, 메시지 수신, 단말기 상태에 관련된 알림 등)이 발생할 수 있다. 일반적으로, 단말기(200)는 발생한 알림에 해당하는 알림 아이콘을 상태 바(또는 알림 바)에 표시하거나, 알림의 내용을 포함하는 알림 창을 표시할 수 있다.Specifically, notification (e.g., call reception, message reception, notification related to the terminal status, etc.) may occur from various applications installed and executed in the terminal 200. [ In general, the terminal 200 may display a notification icon corresponding to the generated notification on the status bar (or the notification bar), or may display the notification window including the notification contents.

디스플레이 장치(100)의 제어부(170)는 단말기(200)에서 알림이 발생하면, 카메라(160)를 이용하여 사용자의 상태를 인식할 수 있다. 예컨대, 제어부(170)는 단말기(200)로부터 알림이 발생하였음을 지시하는 신호(또는 플래그)를 수신하고, 수신된 신호에 응답하여 카메라(160)를 통해 사용자의 상태를 인식할 수 있다. 또는, 제어부(170)가 단말기(200)로부터 수신되는 화면에 알림 아이콘 및/또는 알림 창이 포함되어 있는지 여부를 판단하고, 판단 결과 알림 아이콘 및/또는 알림 창이 포함되어 있는 경우, 카메라(160)를 통해 사용자의 상태를 인식할 수도 있다.The controller 170 of the display device 100 can recognize the state of the user by using the camera 160 when the terminal 200 receives the notification. For example, the control unit 170 receives a signal (or a flag) indicating that a notification has occurred from the terminal 200, and can recognize the status of the user through the camera 160 in response to the received signal. Alternatively, the control unit 170 may determine whether or not the notification icon and / or the notification window are included on the screen received from the terminal 200. If the notification icon and / or the notification window are included in the determination result, The user may be aware of the status of the user.

사용자의 상태란, 단말기(200)의 사용자가 디스플레이부(180)에 표시되는 단말기 화면을 인식 가능한지 여부(또는 단말기 화면에 포함되는 알림을 인식 가능한지 여부)에 관련된 상태를 의미할 수 있다. 본 명세서에서는 사용자의 상태가 사용자의 시선, 사용자의 존재 여부, 및 타인의 존재 여부인 경우를 예로 들어 설명하기로 한다.The state of the user may mean a state related to whether the user of the terminal 200 can recognize the terminal screen displayed on the display unit 180 (or whether or not the notification included in the terminal screen can be recognized). In this specification, the case where the user's state is the user's gaze, existence of the user, and existence of the other person will be described as an example.

본 명세서에서는 S400 단계에 해당하는 시점에서 단말기(200)에 알림이 발생하는 것으로 도시되어 있으나, 실시 예에 따라 상기 알림이 발생하는 시점은 다양할 수 있다. 예컨대, 상기 알림은 디스플레이 장치(100)와 단말기(200)가 연결되기 전에 이미 발생되어 있을 수도 있다.Although it is illustrated herein that the notification is generated in the terminal 200 at the time of step S400, the time at which the notification occurs may vary according to the embodiment. For example, the notification may have already occurred before the display device 100 and the terminal 200 are connected.

디스플레이 장치(100)의 제어부(170)는, 사용자의 상태에 대한 인식 결과에 기초하여 단말기(200)로 명령을 전송할 수 있고(S600), 단말기(200)는 수신된 명령에 기초하여 알림의 내용을 화면에 표시 또는 표시하지 않을 수 있다(S700).The control unit 170 of the display device 100 can transmit a command to the terminal 200 based on the recognition result of the user's state (S600), and the terminal 200 displays the contents of the notification May not be displayed or displayed on the screen (S700).

S500 단계 내지 S700 단계에 대해서는 도 7 내지 도 12d를 참조하여, 사용자의 상태에 대한 다양한 실시 예들을 이용하여 상세히 설명하기로 한다.Steps S500 through S700 will be described in detail with reference to FIGS. 7 through 12D, using various embodiments of the user's state.

도 7은 도 5에 도시된 사용자의 상태가 사용자의 시선인 경우에 대한 실시 예를 설명하기 위한 래더 다이어그램이고, 도 8a 내지 도 8d는 도 7에 도시된 실시 예에 따른 디스플레이 장치의 동작을 나타내는 예시도이다.FIG. 7 is a ladder diagram for explaining an embodiment in which the state of the user shown in FIG. 5 is a line of sight of the user, and FIGS. 8A to 8D are diagrams showing operations of the display device according to the embodiment shown in FIG. Fig.

도 7을 참조하면, 도 5의 S400 단계에 따라 단말기(200)에 알림이 발생하면, 제어부(170)는 카메라(160)를 이용하여 사용자의 시선을 인식할 수 있다(S501). Referring to FIG. 7, when a notification is generated in the terminal 200 according to the step S400 of FIG. 5, the controller 170 can recognize the user's gaze using the camera 160 (S501).

도 8a에 도시된 바와 같이, 단말기(200)에 제1 알림과 제2 알림이 발생한 경우, 단말기(200)는 제1 알림의 내용을 포함하는 제1 알림 창(241)과, 제2 알림에 해당하는 제2 알림 아이콘(232)을 화면에 표시할 수 있다. 이에 대응하여, 디스플레이 장치(100)의 제어부(170)는 제1 알림 창(241)과 제2 알림 아이콘 (232)을 포함하는 단말기 화면(220)을 디스플레이부(180)의 특정 영역에 표시할 수 있다. 실시 예에 따라, 단말기(200)는 제1 알림 창(241) 대신 제1 알림 아이콘을 화면에 표시할 수도 있다.8A, when a first notification and a second notification are generated in the terminal 200, the terminal 200 displays a first notification window 241 including the contents of the first notification, The corresponding second notification icon 232 can be displayed on the screen. The controller 170 of the display device 100 displays the terminal screen 220 including the first notification window 241 and the second notification icon 232 on a specific area of the display unit 180 . According to the embodiment, the terminal 200 may display the first notification icon on the screen instead of the first notification window 241. [

제어부(170)는 카메라(160)를 이용하여 단말기(200)의 사용자의 시선을 인식할 수 있다. 구체적으로, 제어부(170)는 카메라(160)를 이용하여 획득되는 영상으로부터, 영상에 포함된 사용자의 시선이 향하는 방향을 인식할 수 있다.The control unit 170 can recognize the user's gaze of the terminal 200 using the camera 160. [ Specifically, the control unit 170 can recognize the direction in which the user's line of sight included in the image is directed, from the image obtained using the camera 160. [

다시 도 7을 참조하면, S501 단계에 따른 인식 결과 사용자의 시선이 단말기 화면이 표시된 영역을 향하지 않는 경우(S502의 NO), 제어부(170)는 사용자가 단말기 화면을 확인하지 않는 것으로 판단할 수 있다. Referring again to FIG. 7, if the user's line of sight according to the step S501 does not face the area where the terminal screen is displayed (NO in S502), the controller 170 may determine that the user does not check the terminal screen .

제어부(170)는 사용자가 단말기 화면을 확인하지 않는 것으로 판단한 경우, 단말기 화면에 알림의 내용을 포함하는 알림 창을 표시하지 않도록 하는 알림 미표시 명령을 단말기(200)로 전송할 수 있다(S601). 단말기(200)는 수신된 알림 미표시 명령에 응답하여, 알림의 내용을 포함하는 알림 창을 화면에 표시하지 않을 수 있다(S701). 이 때, 단말기(200)는 알림 창 대신 알림 아이콘만을 화면에 표시할 수 있다.If the controller 170 determines that the user does not check the terminal screen, the control unit 170 may transmit a notification non-display command to the terminal 200 to not display the notification window including the contents of the notification on the terminal screen (S601). The terminal 200 may not display the notification window including the contents of the notification on the screen in response to the received notification non-display command (S701). At this time, the terminal 200 can display only the notification icon on the screen instead of the notification window.

이와 관련하여 도 8b를 참조하면, 제어부(170)는 사용자의 시선이 디스플레이부(180)의 중앙을 향하는 것으로 인식하는 경우, 사용자가 단말기 화면(220)을 확인하지 않는 것으로 판단할 수 있다. 따라서, 제어부(170)는 단말기 화면(220)에 제1 알림 창(241)을 표시하지 않도록 하는 알림 미표시 명령을 단말기(200)로 전송하고, 단말기(200)는 수신된 알림 미표시 명령에 응답하여 제1 알림 창(241)을 화면에 표시하지 않을 수 있다. 실시 예에 따라, 단말기(200)는 제1 알림 창(241)을 화면에 표시하지 않는 대신, 제1 알림 아이콘(231)을 화면에 표시할 수 있고, 이 경우 디스플레이부(180)에 표시되는 단말기 화면(220)은 제1 알림 아이콘(231)과 제2 알림 아이콘(232)을 포함할 수 있다.Referring to FIG. 8B, when the controller 170 recognizes that the user's line of sight is directed toward the center of the display unit 180, the controller 170 may determine that the user does not check the terminal screen 220. Accordingly, the controller 170 transmits a notification non-display command to the terminal 200 so that the first notification window 241 is not displayed on the terminal screen 220, and the terminal 200 responds to the received non- The first notification window 241 may not be displayed on the screen. According to the embodiment, the terminal 200 can display the first notification icon 231 on the screen instead of displaying the first notification window 241 on the screen, and in this case, The terminal screen 220 may include a first notification icon 231 and a second notification icon 232.

비록 도시되지는 않았으나, 제어부(170)는 사용자의 시선이 단말기 화면(220)을 향하지 않는 것으로 판단한 경우, 알림 미표시 명령을 단말기(200)로 전송하는 대신에, 단말기 화면(220) 자체를 디스플레이부(180)에 표시하지 않거나, 단말기 화면(220)을 반투명 형태로 표시할 수도 있다.Although not shown, when the controller 170 determines that the user's line of sight does not face the terminal screen 220, instead of transmitting the command to the terminal 200, Or may display the terminal screen 220 in a semi-transparent form.

다시 도 7을 참조하면, S501 단계에 따른 인식 결과 사용자의 시선이 단말기 화면이 표시된 영역을 향하는 경우(S502의 YES), 제어부(170)는 사용자가 단말기 화면을 확인하는 것으로 판단할 수 있다. Referring back to FIG. 7, when the user's line of sight according to the step S501 is directed to the area where the terminal screen is displayed (YES in S502), the controller 170 can determine that the user confirms the terminal screen.

제어부(170)는 사용자가 단말기 화면을 확인하는 것으로 판단한 경우, 단말기 화면에 알림의 내용을 포함하는 알림 창을 표시하도록 하는 알림 표시 명령을 단말기(200)로 전송할 수 있다(S602). 단말기(200)는 수신된 알림 표시 명령에 응답하여, 알림의 내용을 포함하는 알림 창을 화면에 표시할 수 있다(S702).If the controller 170 determines that the user wants to confirm the terminal screen, the controller 170 may transmit a notification command to the terminal 200 to display a notification window including the contents of the notification on the terminal screen (S602). In response to the received notification display command, the terminal 200 can display a notification window including the contents of the notification on the screen (S702).

이와 관련하여 도 8c를 참조하면, 제어부(170)는 사용자의 시선이 디스플레이부(180)의 단말기 화면(220)이 표시된 영역을 향하는 것으로 인식하는 경우, 사용자가 단말기 화면(220)을 확인하는 것으로 판단할 수 있다. 따라서, 제어부(170)는 단말기 화면(220)에 알림 창(예컨대, 제1 알림 창(241))을 표시하도록 하는 알림 표시 명령을 단말기(200)로 전송하고, 단말기(200)는 수신된 알림 표시 명령에 응답하여 제1 알림 창(241)을 화면에 표시할 수 있다.Referring to FIG. 8C, when the user recognizes that the user's gaze is directed to the area where the terminal screen 220 of the display unit 180 is displayed, the user confirms the terminal screen 220 It can be judged. Accordingly, the controller 170 transmits a notification display command to the terminal 200 to display a notification window (e.g., the first notification window 241) on the terminal screen 220, and the terminal 200 notifies the received notification The first notification window 241 can be displayed on the screen in response to the display command.

비록 도시되지는 않았으나, 제어부(170)는 사용자의 시선이 단말기 화면(220)을 향하는 것으로 판단한 경우, 알림 표시 명령을 단말기(200)로 전송하는 대신에, 디스플레이부(180)에 표시되지 않거나 반투명 형태로 표시되던 단말기 화면(220)을 디스플레이부(180)에 원래대로 표시할 수도 있다.Although not shown, when the control unit 170 determines that the user's line of sight is directed to the terminal screen 220, the controller 170 may display the information not displayed on the display unit 180, The terminal screen 220 displayed on the display unit 180 may be displayed as it is.

다시 도 7을 참조하면, 제어부(170)는 단말기 화면(220)에 표시된 알림(알림의 내용을 포함하는 알림 창)에 기초한 요청을 수신하면(S800), 수신된 요청에 대응하는 제어 명령을 단말기(200)로 전송할 수 있다(S810). 단말기(200)는 수신된 제어 명령에 기초한 동작을 수행할 수 있다(S820).7, the control unit 170 receives a request based on the notification (notification window including the notification content) displayed on the terminal screen 220 (S800), and transmits a control command corresponding to the received request to the terminal (S810). The terminal 200 may perform an operation based on the received control command (S820).

이와 관련하여 도 8d를 참조하면, 제어부(170)는 사용자 입력 인터페이스부 (150) 등을 통해 단말기 화면(220)에 대한 요청을 수신할 수 있다. 예컨대, 수신된 요청이 제2 알림의 내용을 확인하기 위해 단말기 화면(220)에 표시된 제1 알림 창(241)을 제2 알림 창(242)으로 전환하는 요청인 경우, 제어부(170)는 제1 알림 창(241)을 제2 알림 창(242)으로 전환하여 표시하는 명령을 단말기(200)로 전송할 수 있다.Referring to FIG. 8D, the controller 170 may receive a request for the terminal screen 220 through the user input interface unit 150 or the like. For example, when the received request is a request to switch the first notification window 241 displayed on the terminal screen 220 to the second notification window 242 in order to check the contents of the second notification, 1 notification window 241 to the second notification window 242 and displays the command in the second notification window 242 to the terminal 200.

단말기(200)는 수신된 명령에 응답하여 제1 알림 창(241)을 제2 알림 창(242)으로 전환하여 표시하고, 제2 알림 창(242)이 표시된 화면을 디스플레이 장치(100)로 전송할 수 있다. 제어부(170)는 제2 알림 창(242)이 표시된 단말기 화면(220)을 디스플레이부(180)의 특정 영역에 표시할 수 있다.The terminal 200 switches the first notification window 241 to the second notification window 242 in response to the received command and transmits the screen on which the second notification window 242 is displayed to the display device 100 . The control unit 170 may display the terminal screen 220 on which the second notification window 242 is displayed in a specific area of the display unit 180. [

도 9는 도 5에 도시된 사용자의 상태가 사용자의 존재 여부인 경우에 대한 실시 예를 설명하기 위한 래더 다이어그램이고, 도 10a 내지 도 10c는 도 9에 도시된 실시 예에 따른 디스플레이 장치의 동작을 나타내는 예시도이다.FIG. 9 is a ladder diagram for explaining an embodiment in which the state of the user shown in FIG. 5 is the presence or absence of a user, FIGS. 10A to 10C are diagrams showing operations of the display device according to the embodiment shown in FIG. Fig.

도 9를 참조하면, 도 5의 S400 단계에 따라 단말기(200)에 알림이 발생하면, 제어부(170)는 카메라(160)를 이용하여 사용자의 존재 여부를 인식할 수 있다(S503). Referring to FIG. 9, when a notification is generated in the terminal 200 according to the step S400 of FIG. 5, the controller 170 may recognize whether the user exists by using the camera 160 (S503).

단말기(200)에 알림이 발생한 경우 디스플레이 장치(100)의 디스플레이부 (180)에 표시되는 단말기 화면(220)에 대해서는 도 8a에서 상술한 바와 실질적으로 동일하므로, 이에 대한 설명은 생략하기로 한다.The terminal screen 220 displayed on the display unit 180 of the display device 100 when the terminal 200 is notified is substantially the same as that described above with reference to FIG. 8A, and a description thereof will be omitted.

제어부(170)는 카메라(160)를 이용하여 단말기(200)의 사용자의 존재 여부를 인식할 수 있다. 구체적으로, 제어부(170)는 카메라(160)를 이용하여 획득되는 영상으로부터, 영상에 사용자가 포함되어 있는지 여부를 인식할 수 있다.The control unit 170 can recognize whether the user of the terminal 200 exists by using the camera 160. [ Specifically, the control unit 170 can recognize whether or not a user is included in the image from the image obtained using the camera 160.

S503 단계에 따른 인식 결과 사용자가 존재하지 않는 경우(S504의 NO), 제어부(170)는 사용자가 단말기 화면을 확인하지 않는 것으로 판단할 수 있다. If the user does not exist as a result of recognition in step S503 (NO in step S504), the control unit 170 can determine that the user does not check the terminal screen.

이와 관련하여 도 10a를 참조하면, 제어부(170)는, 카메라(160)를 통해 획득된 영상에 사용자가 존재하지 않는 것으로 인식되는 경우, 사용자가 단말기 화면(220)을 확인하지 않는 것으로 판단할 수 있다. 따라서, 제어부(170)는 단말기 화면(220)에 제1 알림 창(241)을 표시하지 않도록 하는 알림 미표시 명령을 단말기(200)로 전송하고, 단말기(200)는 수신된 알림 미표시 명령에 응답하여 제1 알림 창(241)을 화면에 표시하지 않을 수 있다. 실시 예에 따라, 단말기(200)는 제1 알림 창(241)을 화면에 표시하지 않는 대신, 제1 알림 아이콘(231)을 화면에 표시할 수 있고, 이 경우 디스플레이부(180)에 표시되는 단말기 화면(220)은 제1 알림 아이콘(231)과 제2 알림 아이콘(232)을 포함할 수 있다.Referring to FIG. 10A, the controller 170 may determine that the user does not check the terminal screen 220 when it is recognized that the user does not exist in the image obtained through the camera 160 have. Accordingly, the controller 170 transmits a notification non-display command to the terminal 200 so that the first notification window 241 is not displayed on the terminal screen 220, and the terminal 200 responds to the received non- The first notification window 241 may not be displayed on the screen. According to the embodiment, the terminal 200 can display the first notification icon 231 on the screen instead of displaying the first notification window 241 on the screen, and in this case, The terminal screen 220 may include a first notification icon 231 and a second notification icon 232.

다시 도 9를 참조하면, S503 단계에 따른 인식 결과 사용자가 존재하는 경우(S504의 YES), 제어부(170)는 사용자가 단말기 화면을 확인하는 것으로 판단할 수 있다. Referring again to FIG. 9, if there is a recognition result user in step S503 (YES in step S504), the control unit 170 can determine that the user confirms the terminal screen.

이와 관련하여 도 10b를 참조하면, 제어부(170)는, 카메라(160)를 통해 획득된 영상에 사용자(300)가 존재하는 것으로 인식되는 경우, 사용자(300)가 단말기 화면(220)을 확인하는 것으로 판단할 수 있다. 따라서, 제어부(170)는 단말기 화면(220)에 알림 창(예컨대, 제1 알림 창(241))을 표시하도록 하는 알림 표시 명령을 단말기(200)로 전송하고, 단말기(200)는 수신된 알림 표시 명령에 응답하여 제1 알림 창(241)을 화면에 표시할 수 있다.Referring to FIG. 10B, when the user 300 is recognized as being present in the image obtained through the camera 160, the control unit 170 determines whether the user 300 confirms the terminal screen 220 . Accordingly, the controller 170 transmits a notification display command to the terminal 200 to display a notification window (e.g., the first notification window 241) on the terminal screen 220, and the terminal 200 notifies the received notification The first notification window 241 can be displayed on the screen in response to the display command.

다시 도 9를 참조하면, 제어부(170)는 단말기 화면(220)에 표시된 알림(알림의 내용을 포함하는 알림 창)에 기초한 요청을 수신하면(S800), 수신된 요청에 대응하는 제어 명령을 단말기(200)로 전송할 수 있다(S810). 단말기(200)는 수신된 제어 명령에 기초한 동작을 수행할 수 있다(S820).9, the control unit 170 receives a request based on the notification (notification window including the notification content) displayed on the terminal screen 220 (S800), and transmits a control command corresponding to the received request to the terminal (S810). The terminal 200 may perform an operation based on the received control command (S820).

이와 관련하여 도 10c를 참조하면, 예컨대 제1 알림이 메시지 수신 알림이고, 수신된 요청이 수신된 메시지에 대한 답변 요청인 경우, 제어부(170)는 수신된 메시지에 대한 답변 요청에 대응하는 명령을 단말기(200)로 전송할 수 있다.Referring to FIG. 10C, if the first notification is a message reception notification and the received request is a response to a received message, the control unit 170 transmits a command corresponding to a response to the received message To the terminal 200.

단말기(200)는 수신된 명령에 응답하여 메시지 작성 창(251)을 포함하는 화면을 표시하고, 메시지 작성 창(251)이 표시된 화면을 디스플레이 장치(100)로 전송할 수 있다. 제어부(170)는 메시지 작성 창(251)이 표시된 단말기 화면(220)을 디스플레이부(180)의 특정 영역에 표시할 수 있다.The terminal 200 may display a screen including the message creation window 251 in response to the received command and may transmit the screen displaying the message creation window 251 to the display device 100. The control unit 170 can display the terminal screen 220 on which the message creation window 251 is displayed in a specific area of the display unit 180. [

도 11은 도 5에 도시된 사용자의 상태가 타인의 존재 여부인 경우에 대한 실시 예를 설명하기 위한 래더 다이어그램이고, 도 12a 내지 도 12c는 도 11에 도시된 실시 예에 따른 디스플레이 장치의 동작을 나타내는 예시도이다.11 is a ladder diagram for explaining an embodiment in which the state of the user shown in FIG. 5 is the presence or absence of another person, and FIGS. 12A to 12C are diagrams for explaining the operation of the display device according to the embodiment shown in FIG. Fig.

도 11을 참조하면, 도 5의 S400 단계에 따라 단말기(200)에 알림이 발생하면, 제어부(170)는 카메라(160)를 이용하여, 단말기(200)의 사용자 외에 타인이 존재하는지 여부를 인식할 수 있다(S505). Referring to FIG. 11, when a notification is generated in the terminal 200 according to the step S400 of FIG. 5, the controller 170 recognizes whether there is a person other than the user of the terminal 200 by using the camera 160 (S505).

제어부(170)는 카메라(160)를 이용하여 단말기(200)의 사용자 외에 타인이 존재하는지 여부를 인식할 수 있다. 구체적으로, 제어부(170)는 카메라(160)를 이용하여 획득되는 영상으로부터, 영상에 단말기(200)의 사용자가 아닌 타인이 포함되어 있는지 여부를 인식하여 단말기 화면(220)에 알림의 내용을 표시할 것인지 여부를 판단할 수 있다. 이는 단말기(200)의 사용자 외에 타인이 존재하는 경우, 알림의 내용이 타인에게도 보여지는 것을 방지하기 위함이다.The control unit 170 can recognize whether or not a person other than the user of the terminal 200 exists by using the camera 160. [ Specifically, the control unit 170 recognizes whether or not a person other than the user of the terminal 200 is included in the image from the image obtained using the camera 160, and displays the contents of the notification on the terminal screen 220 Or not. This is to prevent the contents of the notification from being displayed to others when there is a person other than the user of the terminal 200. [

S505 단계에 따른 인식 결과 타인이 존재하는 경우(S506의 YES), 제어부(170)는 단말기 화면에 알림의 내용을 포함하는 알림 창을 표시하지 않도록 하는 알림 미표시 명령을 단말기(200)로 전송할 수 있다(S601). 단말기(200)는 수신된 알림 미표시 명령에 응답하여, 알림의 내용을 포함하는 알림 창을 화면에 표시하지 않을 수 있다(S701). 이 때, 단말기(200)는 알림 창 대신 알림 아이콘만을 화면에 표시할 수 있다.If there is another person recognized as a result of the step S505 (YES in S506), the control unit 170 may transmit to the terminal 200 a non-display command for instructing not to display the notification window including the contents of the notification on the terminal screen (S601). The terminal 200 may not display the notification window including the contents of the notification on the screen in response to the received notification non-display command (S701). At this time, the terminal 200 can display only the notification icon on the screen instead of the notification window.

이와 관련하여 도 12a를 참조하면, 제어부(170)는, 카메라(160)를 통해 획득된 영상에 타인(301)이 존재하는 것으로 인식되는 경우, 단말기 화면(220)에 제1 알림 창(241)을 표시하지 않도록 하는 알림 미표시 명령을 단말기(200)로 전송하고, 단말기(200)는 수신된 알림 미표시 명령에 응답하여 제1 알림 창(241)을 화면에 표시하지 않을 수 있다. 실시 예에 따라, 단말기(200)는 제1 알림 창(241)을 화면에 표시하지 않는 대신, 제1 알림 아이콘(231)을 화면에 표시함으로써 사용자에게 알림이 발생하였음을 알릴 수 있다.Referring to FIG. 12A, the controller 170 displays a first notification window 241 on the terminal screen 220 when it is recognized that another person 301 exists in the image obtained through the camera 160, And the terminal 200 may not display the first notification window 241 on the screen in response to the received notification non-display command. According to the embodiment, the terminal 200 may notify the user that a notification has occurred by displaying the first notification icon 231 on the screen instead of displaying the first notification window 241 on the screen.

다시 도 11을 참조하면, S505 단계에 따른 인식 결과 사용자 외에 타인이 존재하지 않는 경우(S506의 NO), 제어부(170)는 단말기 화면에 알림의 내용을 포함하는 알림 창을 표시하도록 하는 알림 표시 명령을 단말기(200)로 전송할 수 있다(S602). 단말기(200)는 수신된 알림 표시 명령에 응답하여, 알림의 내용을 포함하는 알림 창을 화면에 표시할 수 있다(S702).11, when there is no other person other than the recognition result user in step S505 (NO in S506), the control unit 170 displays a notification display command for displaying a notification window including the contents of the notification on the terminal screen To the terminal 200 (S602). In response to the received notification display command, the terminal 200 can display a notification window including the contents of the notification on the screen (S702).

이와 관련하여 도 12b를 참조하면, 제어부(170)는, 카메라(160)를 통해 획득된 영상에 사용자(300) 외에 타인이 존재하지 않는 것으로 인식되는 경우, 단말기 화면(220)에 알림 창(예컨대, 제1 알림 창(241))을 표시하도록 하는 알림 표시 명령을 단말기(200)로 전송하고, 단말기(200)는 수신된 알림 표시 명령에 응답하여 제1 알림 창(241)을 화면에 표시할 수 있다.Referring to FIG. 12B, when the control unit 170 recognizes that there is no other user besides the user 300 in the image obtained through the camera 160, the control unit 170 displays a notification window And the first notification window 241) to the terminal 200. The terminal 200 displays the first notification window 241 on the screen in response to the received notification display command .

다시 도 11을 참조하면, 제어부(170)는 단말기 화면(220)에 표시된 알림(알림의 내용을 포함하는 알림 창)에 기초한 요청을 수신하면(S800), 수신된 요청에 대응하는 제어 명령을 단말기(200)로 전송할 수 있다(S810). 단말기(200)는 수신된 제어 명령에 기초한 동작을 수행할 수 있다(S820).11, the control unit 170 receives a request based on the notification (notification window including the notification content) displayed on the terminal screen 220 (S800), and transmits a control command corresponding to the received request to the terminal (S810). The terminal 200 may perform an operation based on the received control command (S820).

이와 관련하여 도 12c를 참조하면, 예컨대 제1 알림이 메시지 수신 알림이고, 수신된 요청이 메시지의 상대방에 대한 호 발신 요청인 경우, 제어부(170)는 수신된 메시지의 상대방에 대한 호 발신 요청에 대응하는 명령을 단말기(200)로 전송할 수 있다.Referring to FIG. 12C, when the first notification is a message reception notification and the received request is a call origination request to the other party of the message, the controller 170 transmits a call origination request to the other party of the received message And transmit the corresponding command to the terminal 200.

단말기(200)는 수신된 명령에 응답하여 호 발신 창(252)을 포함하는 화면을 표시하고, 호 발신 창(252)이 표시된 화면을 디스플레이 장치(100)로 전송할 수 있다. 제어부(170)는 호 발신 창(252)이 표시된 단말기 화면(220)을 디스플레이부 (180)의 특정 영역에 표시할 수 있다.The terminal 200 may display a screen including the call origination window 252 in response to the received command and may transmit the screen displaying the call origination window 252 to the display apparatus 100. The control unit 170 may display the terminal screen 220 on which the call origination window 252 is displayed in a specific area of the display unit 180. [

도 13a 내지 도 13c는 본 발명의 다른 실시 예에 따른 디스플레이 장치의 동작을 나타내는 예시도이다.13A to 13C are diagrams illustrating an operation of a display device according to another embodiment of the present invention.

제어부(170)는 단말기(200)에서 발생하는 알림에 대한 알림 창을 캡쳐(또는 알림 창을 포함하는 단말기 화면을 캡쳐)할 수 있다.The control unit 170 may capture an alert window for capturing an alert generated by the terminal 200 (or capture a terminal screen including an alert window).

도 13a에 도시된 바와 같이, 예컨대 사용자가 알림을 확인하지 않고(사용자의 시선이 단말기 화면(220)이 표시된 영역을 향하지 않거나, 사용자가 존재하지 않거나, 사용자 외에 타인이 존재하는 경우), 단말기(200)의 배터리 잔량이 기준 잔량보다 낮은 경우, 단말기(200)에 제1 알림, 제2 알림, 및 제3 알림이 발생하면, 제어부(170)는 제1 알림의 내용을 포함하는 제1 알림 창(241), 제2 알림의 내용을 포함하는 제2 알림 창, 및 제3 알림의 내용을 포함하는 제3 알림 창을 각각 표시하는 단말기 화면들 각각을 캡쳐할 수 있다.As shown in FIG. 13A, when the user does not confirm the notification (the user's gaze does not face the area where the terminal screen 220 is displayed, the user does not exist, or there is a person other than the user) When the first notification, the second notification, and the third notification are generated in the terminal 200, the controller 170 displays a first notification window containing the contents of the first notification, (241), a second notification window containing the contents of the second notification, and a third notification window containing the contents of the third notification.

도 13b와 도 13c를 참조하면, 사용자가 디스플레이부(180)를 통해 알림을 확인할 수 있는 경우(예컨대, 시선이 단말기 화면이 표시된 영역을 향하거나, 사용자가 존재하거나, 사용자 외에 타인이 존재하지 않는 경우), 제어부(170)는 배터리 부족 창(245)을 포함하는 단말기 화면(220)을 표시하고, 단말기(200)로부터 전송되는 화면 대신 캡쳐한 제1 알림 창 내지 제3 알림 창 중 적어도 하나를 표시할 수 있다. 표시된 알림 창은 원격 제어 장치(200) 등을 통해 수신되는 요청에 의해 전환될 수 있다.13B and 13C, when the user can confirm the notification through the display unit 180 (for example, when the gaze is directed toward the area where the terminal screen is displayed, the user is present, The control unit 170 displays the terminal screen 220 including the low battery window 245 and displays at least one of the first notification window to the third notification window captured instead of the screen transmitted from the terminal 200 Can be displayed. The displayed notification window can be switched by a request received through the remote control device 200 or the like.

실시 예에 따라, 제1 알림 창 내지 제3 알림 창이 캡쳐된 후, 단말기(200)의 배터리가 모두 소모되어 단말기(200)의 전원이 오프(off)된 경우, 제어부(170)는 사용자가 단말기 화면을 확인하면, 단말기(200)의 전원이 오프되었음을 알리는 화면을 표시한 후, 캡쳐된 제1 알림 창 내지 제3 알림 창 중 적어도 하나를 표시할 수도 있다. According to the embodiment, if the battery of the terminal 200 is exhausted and the power of the terminal 200 is turned off after the first notification window to the third notification window are captured, Upon checking the screen, after displaying a screen informing that the power of the terminal 200 is turned off, it may display at least one of the captured first to third notification windows.

즉, 도 13a 내지 도 13c에 도시된 실시 예에 따르면, 디스플레이 장치(100)는 단말기(200)의 배터리가 부족하거나 단말기(200)의 전원이 오프된 경우에도 미리 캡쳐된 단말기 화면을 표시함으로써 사용자에게 알림을 표시할 수 있다.13A to 13C, the display device 100 displays a terminal screen captured in advance even when the battery of the terminal 200 is low or the power of the terminal 200 is turned off, To display a notification.

도 14는 도 1에 도시된 디스플레이 장치의 일 실시 예로서 프로젝터 모듈을 포함하는 장치에 대한 사시도이다.14 is a perspective view of an apparatus including a projector module as one embodiment of the display device shown in Fig.

도 14를 참조하면, 프로젝터 모듈이 포함된 장치의 일 실시 예로서 프로젝터 모듈(1200)이 구비된 탁상용 조명장치(1000)가 도시되어 있으나, 본 발명의 실시 예가 탁상용 조명장치(1000)에만 한정되는 것은 아니고, 프로젝터 모듈을 포함하는 각종 장치에 적용될 수 있다.14, a desktop lighting apparatus 1000 provided with a projector module 1200 is shown as an embodiment of a device including a projector module. However, the embodiment of the present invention is limited to the desktop lighting apparatus 1000 But it can be applied to various apparatuses including a projector module.

탁상용 조명장치(1000)는, 광을 발산하는 광원부(1010), 및 발산된 광을 확산하는 광 확산부(1020)를 포함할 수 있다. 비록 도시되지는 않았으나, 탁상용 조명장치(1000)는 공지된 탁상용 조명장치의 각종 구성들을 더 포함할 수 있다.The desk lighting apparatus 1000 may include a light source unit 1010 that emits light and a light diffusion unit 1020 that diffuses the emitted light. Although not shown, the desk top lighting apparatus 1000 may further include various configurations of a known desk top lighting apparatus.

특히, 본 발명의 실시 예에 따른 탁상용 조명장치(1000)는 카메라 모듈(1100)과 프로젝터 모듈(1200)을 포함할 수 있고, 카메라 모듈(1100)과 프로젝터 모듈(1200) 각각의 동작을 제어하는 제어부를 포함할 수 있다.In particular, the desktop lighting apparatus 1000 according to an embodiment of the present invention may include a camera module 1100 and a projector module 1200, and may control the operation of each of the camera module 1100 and the projector module 1200 And a control unit.

카메라 모듈(1100), 및 제어부 각각은 도 1에 도시된 카메라(160), 및 제어부(170) 각각과 실질적으로 동일하므로, 이에 대한 설명은 생략하기로 한다.The camera module 1100, and the control unit are substantially the same as those of the camera 160 and the control unit 170 shown in FIG. 1, respectively, and a description thereof will be omitted.

프로젝터 모듈(1200)은 영상에 해당하는 빛을 렌즈를 통해 투사 (projection)하여, 프로젝터 모듈(1200)과 이격된 스크린이나 벽 등에 표시할 수 있다.The projector module 1200 can project light corresponding to an image through a lens and display it on a screen or a wall separated from the projector module 1200.

실시 예에 따라, 카메라 모듈(1100), 프로젝터 모듈(1200), 및 제어부는 탁상용 조명장치(1000)와 별도의 모듈 또는 장치로 구현되어, 탁상용 조명장치 (1000)에 부착되어 사용될 수도 있다.According to the embodiment, the camera module 1100, the projector module 1200, and the control unit may be embodied as a module or an apparatus separate from the desk lamp 1000, and may be used by being attached to the desk lamp 1000.

제어부는 카메라 모듈(1100)을 이용하여 사용자의 단말기(200)를 감지하고, 감지된 단말기(200)와 연결할 수 있다. 이를 위해, 제어부, 제어부를 포함하는 모듈, 또는 탁상용 조명장치(1000)는 무선 통신부를 포함할 수 있다.The controller can detect the user's terminal 200 using the camera module 1100 and can connect to the detected terminal 200. [ To this end, the control unit, the module including the control unit, or the desk lamp 1000 may include a wireless communication unit.

제어부는 카메라 모듈(1100)을 이용하여 단말기(200)의 사용자를 감지하고, 감지 결과에 따라 단말기(200)에 대한 사용자 인증을 수행할 수 있다.The control unit can detect the user of the terminal 200 using the camera module 1100 and perform the user authentication of the terminal 200 according to the detection result.

제어부는 프로젝터 모듈(1200)을 이용하여 단말기(200)의 화면을 표시할 수 있다. 예컨대, 제어부는 단말기(200)의 화면을 미러링하여 프로젝터 모듈(1200)을 통해 표시할 수도 있고, 단말기(200)에 알림이 발생하는 경우, 알림에 대한 정보를 수신하여 수신된 알림에 대한 정보를 프로젝터 모듈(1200)을 통해 표시할 수도 있다.The control unit can display the screen of the terminal 200 using the projector module 1200. [ For example, the control unit may mirror the screen of the terminal 200 and display it through the projector module 1200. Alternatively, when the notification is generated in the terminal 200, the control unit may receive information about the notification, And may be displayed through the projector module 1200.

도 5 내지 도 12d에서 상술한 실시 예들과 유사하게, 도 14에 도시된 탁상용 조명장치(1000)의 제어부는 카메라 모듈(1100)을 이용하여 사용자가 존재하는지 여부, 또는 사용자 외에 타인이 존재하는지 여부를 인식할 수 있다. Similar to the embodiments described above with reference to Figs. 5 to 12D, the control unit of the desk lamp 1000 shown in Fig. 14 uses the camera module 1100 to determine whether a user is present or not, Can be recognized.

인식 결과, 사용자가 존재하거나 사용자 외에 타인이 존재하지 않는 경우, 제어부는 프로젝터 모듈(1200)을 통해 단말기 화면(220) 또는 단말기(200)에 발생한 알림의 내용을 포함하는 알림 창(241)을 표시할 수 있다.If the user exists or there is no other person besides the user, the control unit displays the notification window 241 including the contents of the notification on the terminal screen 220 or the terminal 200 through the projector module 1200 can do.

인식 결과, 사용자가 존재하지 않거나 사용자 외에 타인이 존재하는 경우, 제어부는 단말기(200)로 하여금 화면에 알림 창을 표시하지 않도록 하기 위한 명령을 전송하거나, 프로젝터 모듈(1200)이 아무런 화면을 표시하지 않도록 제어할 수 있다.If the user does not exist or there is a person other than the user, the control unit sends a command to the terminal 200 to not display the notification window on the screen, or when the projector module 1200 displays no screen .

또한, 도 13a부터 도 13c에서 상술한 실시 예와 유사하게, 탁상용 조명장치 (1000)의 제어부는 사용자가 존재하지 않고 단말기(200)의 배터리 잔량이 기준 잔량보다 낮은 경우, 단말기(200)에서 발생한 알림에 대한 정보를 저장(예컨대, 알림 창이 표시된 단말기의 화면이 캡쳐된 이미지를 저장 등)할 수 있다. 이후 사용자가 돌아오면, 제어부는 저장된 알림에 대한 정보를 프로젝터 모듈(1200)을 통해 표시할 수 있다. 13A to 13C, when the user does not exist and the battery remaining amount of the terminal 200 is lower than the reference remaining amount, the control unit of the desk lamp 1000 may not be operated by the terminal 200 (For example, a captured image of the screen of the terminal on which the notification window is displayed, etc.). When the user returns, the control unit can display information about the stored notification through the projector module 1200.

따라서, 단말기(200)의 배터리가 모두 소모되어 단말기(200)의 전원이 오프되더라도, 제어부는 저장된 알림에 대한 정보를 프로젝터 모듈(1200)을 통해 사용자에게 알려줄 수 있다. 실시 예에 따라, 제어부는 사용자가 저장된 알림에 대한 정보를 확인하면, 저장된 알림에 대한 정보를 삭제할 수 있다.Accordingly, even if the battery of the terminal 200 is exhausted and the power of the terminal 200 is turned off, the controller can inform the user of the stored information about the notification through the projector module 1200. According to the embodiment, when the user confirms the information about the stored notification, the control unit can delete the information about the stored notification.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The present invention described above can be embodied as computer-readable codes on a medium on which a program is recorded. The computer readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the computer readable medium include a hard disk drive (HDD), a solid state disk (SSD), a silicon disk drive (SDD), a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, , And may also be implemented in the form of a carrier wave (e.g., transmission over the Internet). Also, the computer may include a control unit 180 of the terminal. Accordingly, the above description should not be construed in a limiting sense in all respects and should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention.

Claims

A method of operating a display device connected to a terminal,
The display device receiving a screen displayed on the terminal and displaying the received screen on a display unit;
The display device recognizing the state of the user using a camera; And
A first command for displaying the contents of the notification generated on the terminal on the screen based on the recognition result and a second command for not displaying the contents of the notification on the screen, The method comprising the steps of:

The method according to claim 1,
The step of displaying the received screen on the display unit includes:
Wherein the display device receives a screen displayed on the terminal in real time and displays the received screen in real time on the display unit.

The method according to claim 1,
The step of displaying the received screen on the display unit includes:
Displaying the received screen on a predetermined area of the display unit and displaying an image of the content received from the outside on a remaining area of the display unit.

The method of claim 3,
The step of recognizing the state of the user,
Recognizing the user's gaze using the camera,
The step of transmitting any one of the commands to the terminal comprises:
And transmits the first instruction to the terminal when the user's gaze is directed to the predetermined area and transmits the second command to the terminal when the gaze of the user is not directed to the predetermined area, Lt; / RTI >

The method according to claim 1,
The step of recognizing the state of the user,
Recognizing whether the user is present using the camera,
The step of transmitting any one of the commands to the terminal comprises:
If the user exists, transmits the first command to the terminal, and if the user does not exist, transmits the second command to the terminal.

The method according to claim 1,
The step of recognizing the state of the user,
Recognizing whether or not another person other than the user exists by using the camera,
The step of transmitting any one of the commands to the terminal comprises:
And transmits the first command to the terminal if the third person does not exist, and transmits the second command to the terminal if the third person exists.

The method according to claim 1,
Capturing a screen on which the content of the notification received from the terminal is displayed when the battery remaining amount of the terminal is lower than a reference remaining amount; And
And displaying a screen on which the content of the notification captured based on the recognition result is displayed on the display unit.

The method according to claim 1,
The step of transmitting any one of the commands to the terminal comprises:
Receiving a request based on the contents of the notification when a screen including the contents of the notification is displayed on the display unit as the first command is transmitted; And
And transmitting a control command corresponding to the received request to the terminal.

1. A display device connected to a terminal,
A display unit;
camera;
An external device interface unit receiving a screen displayed on the terminal; And
A first instruction for controlling the display unit to display the received screen on the display unit, recognizing the state of the user using the camera, and displaying the contents of the notification generated in the terminal on the screen based on the recognition result, And a second command for not displaying the contents of the notification on the screen, to the terminal.

10. The method of claim 9,
The external device interface unit receives a screen displayed on the terminal in real time,
Wherein the control unit controls the display unit to display a screen that is received in real time.

10. The method of claim 9,
Wherein,
And displays the received image on a predetermined area of the display unit and displays an image of the content received from the outside on a remaining area of the display unit.

12. The method of claim 11,
The state of the user is a line of sight of the user,
Wherein,
And transmits the first command to the terminal when the user's gaze is directed to the predetermined area,
And transmits the second command to the terminal when the user's line of sight is not directed to the predetermined area.

10. The method of claim 9,
The status of the user is whether or not the user exists,
Wherein,
If the user exists, transmits the first command to the terminal,
And transmits the second command to the terminal if the user does not exist.

10. The method of claim 9,
Wherein the status of the user is the presence or absence of a person other than the user,
Wherein,
If the third person does not exist, transmits the first command to the terminal,
And transmits the second command to the terminal when the other exists.

10. The method of claim 9,
Wherein,
Capturing a screen on which the content of the notification received from the terminal is displayed when the battery remaining amount of the terminal is lower than a reference remaining amount,
And controls the display unit to display a screen on which the content of the notification captured based on the recognition result is displayed.

10. The method of claim 9,
Wherein,
When a screen including the contents of the notification is displayed on the display unit, receiving a request based on the contents of the notification,
And transmits a control command corresponding to the received request to the terminal.

10. The method of claim 9,
Wherein the display device comprises any one of a TV, a monitor, and a projector.