KR20230113023A

KR20230113023A - Apparatus and method for controlling user interface taking into account viewing distance

Info

Publication number: KR20230113023A
Application number: KR1020220009403A
Authority: KR
Inventors: 조은주; 박한솔; 최아름; 손성진; 추두연
Original assignee: 삼성전자주식회사
Priority date: 2022-01-21
Filing date: 2022-01-21
Publication date: 2023-07-28

Abstract

본 문서는 사용자와의 거리를 측정하고, 측정된 거리를 이용해서 적정 사용자 인터페이스 영역을 계산하고, 스케일 팩터의 적용 여부를 확인하고, 스케일 팩터를 적용하는 경우 사용자와의 거리를 기반으로 스케일 팩터를 계산하고 적정 사용자 인터페이스 영역에 스케일 팩터를 적용하여 사용자 인터페이스를 출력하고, 스케일 팩터를 적용하지 않는 경우 적정 사용자 인터페이스 영역 내에 사용자 인터페이스의 포커스가 존재하도록 사용자 인터페이스를 출력하는 디스플레이 장치 및 그 방법에 관한 것이다.This document measures the distance to the user, calculates the appropriate user interface area using the measured distance, checks whether or not the scale factor is applied, and determines the scale factor based on the distance to the user when the scale factor is applied. A display device and method for calculating and outputting a user interface by applying a scale factor to an appropriate user interface region, and outputting a user interface so that the focus of the user interface exists within the appropriate user interface region when the scale factor is not applied. .

Description

Apparatus and method for controlling user interface in consideration of viewing distance

이하의 일 실시 예들은 사용자와 디스플레이 장치 간의 거리를 고려해서 사용자 인터페이스의 위치와 크기를 조정하고 제어하는 기술에 관한 것이다.The following embodiments relate to techniques for adjusting and controlling the location and size of a user interface in consideration of a distance between a user and a display device.

기술이 발달함에 따라서, 보급되는 디스플레이 장치의 크기가 점차 커지는 추세이다. 텔레비전과 같은 디스플레이 장치는 65인치에서 75인치 크기가 널리 보급되고 있으며, 85인치를 넘어서 200인치의 텔레비전도 보급되고 있다.As technology develops, the size of a display device that is popularized gradually increases. A display device such as a television is widely used in a size of 65 inches to 75 inches, and a television of 200 inches exceeding 85 inches is also popular.

이처럼, 디스플레이 장치의 크기가 커질수록 사용자 인터페이스에서 포커스가 이동하는 경우, 사용자의 상하좌우의 시야 이동이 큰 경향이 발생한다.As such, when the focus moves in the user interface as the size of the display device increases, the user's up, down, left and right movement tends to be large.

사용자의 상하좌우의 시야 이동이 크면, 사용자에게 시각적 피로도를 발생시킬 수 있으며, 심한 경우 어지러움 증을 유발할 수 있다.If the user's up, down, left, and right movement is large, it may cause visual fatigue to the user, and in severe cases, dizziness.

본 문서에 개시되는 다양한 실시예에 따르면, 사용자와의 거리와 사용자의 시야각을 고려해서 적정 사용자 인터페이스 영역을 계산하고, 적정 사용자 인터페이스 영역을 이용한 사용자 인터페이스를 제공할 수 있다.According to various embodiments disclosed in this document, an appropriate user interface area may be calculated in consideration of a distance from a user and a user's viewing angle, and a user interface using the appropriate user interface area may be provided.

일 실시예에 따른 디스플레이 장치는, 사용자 인터페이스를 출력하는 디스플레이부; 사용자와의 거리를 측정하는 거리 측정 센서; 상기 사용자의 이미지를 촬영하는 카메라부; 및 상기 사용자의 이미지를 이용해서 상기 사용자의 시야각을 계산하고, 측정된 거리와 계산된 시야각을 이용해서 적정 사용자 인터페이스 영역을 계산하고, 스케일 팩터의 적용 여부를 확인하고, 상기 스케일 팩터를 적용하는 경우 상기 측정된 거리를 기반으로 스케일 팩터를 계산하고, 상기 적정 사용자 인터페이스 영역에 상기 스케일 팩터를 적용하여 상기 사용자 인터페이스를 출력하고, 상기 스케일 팩터를 적용하지 않는 경우 상기 적정 사용자 인터페이스 영역 내에 상기 사용자 인터페이스의 포커스가 존재하도록 상기 사용자 인터페이스를 출력하는 프로세서를 포함할 수 있다.A display device according to an embodiment includes a display unit outputting a user interface; a distance measurement sensor that measures a distance to a user; a camera unit for capturing an image of the user; and calculating the user's viewing angle using the user's image, calculating an appropriate user interface area using the measured distance and the calculated viewing angle, checking whether or not a scale factor is applied, and applying the scale factor. A scale factor is calculated based on the measured distance, the user interface is output by applying the scale factor to the appropriate user interface area, and when the scale factor is not applied, the user interface is displayed within the appropriate user interface area. It may include a processor outputting the user interface so that the focus exists.

일 실시예에 따른 디스플레이 장치는, 사용자 인터페이스를 출력하는 디스플레이부; 사용자와의 거리를 측정하는 거리 측정 센서; 및 측정된 거리를 이용해서 적정 사용자 인터페이스 영역을 계산하고, 스케일 팩터의 적용 여부를 확인하고, 상기 스케일 팩터를 적용하는 경우 상기 측정된 거리를 기반으로 스케일 팩터를 계산하고, 상기 적정 사용자 인터페이스 영역에 상기 스케일 팩터를 적용하여 상기 사용자 인터페이스를 출력하고, 상기 스케일 팩터를 적용하지 않는 경우 상기 적정 사용자 인터페이스 영역 내에 상기 사용자 인터페이스의 포커스가 존재하도록 상기 사용자 인터페이스를 출력하는 프로세서를 포함할 수 있다.A display device according to an embodiment includes a display unit outputting a user interface; a distance measurement sensor that measures a distance to a user; and calculating an appropriate user interface area using the measured distance, checking whether or not a scale factor is applied, calculating a scale factor based on the measured distance, and and a processor that outputs the user interface by applying the scale factor and outputs the user interface so that the focus of the user interface exists within the appropriate user interface area when the scale factor is not applied.

일 실시예에 따른 디스플레이 장치에서 사용자 인터페이스를 제공하는 방법은, 사용자와의 거리를 측정하는 동작; 측정된 거리를 이용해서 적정 사용자 인터페이스 영역을 계산하는 동작; 스케일 팩터의 적용 여부를 확인하는 동작; 상기 스케일 팩터를 적용하는 경우, 상기 사용자와의 거리를 기반으로 스케일 팩터를 계산하고, 상기 적정 사용자 인터페이스 영역에 상기 스케일 팩터를 적용하여 사용자 인터페이스를 출력하는 동작; 및 상기 스케일 팩터를 적용하지 않는 경우, 상기 적정 사용자 인터페이스 영역 내에 상기 사용자 인터페이스의 포커스가 존재하도록 상기 사용자 인터페이스를 출력하는 동작을 포함할 수 있다.A method of providing a user interface on a display device according to an embodiment includes an operation of measuring a distance to a user; calculating an appropriate user interface area using the measured distance; Checking whether a scale factor is applied; when the scale factor is applied, calculating a scale factor based on the distance to the user and outputting a user interface by applying the scale factor to the appropriate user interface region; and when the scale factor is not applied, outputting the user interface so that the focus of the user interface exists within the appropriate user interface area.

본 문서는 사용자와의 거리와 사용자의 시야각을 고려해서 적정 사용자 인터페이스 영역을 계산하고, 스케일 팩터의 적용 여부에 따라 적정 사용자 인터페이스 영역을 고려한 사용자 인터페이스를 제공함으로써 사용자의 상하좌우의 시야 이동을 줄임으로써 사용자의 시각적 피로도를 줄일 수 있다.This document calculates the appropriate user interface area considering the distance from the user and the user's viewing angle, and provides a user interface considering the appropriate user interface area according to whether or not a scale factor is applied, thereby reducing the user's up, down, left and right movement of the field of view. The user's visual fatigue can be reduced.

도 1은 일 실시 예에 따른 디스플레이 장치의 블록 구성도이다.
도 2는 일 실시 예에 따른 디스플레이 장치의 상세 블록 구성도이다.
도 3은 일 실시 예에 따른 디스플레이 장치에서 사용자 인터페이스를 제어하는 과정의 일 예를 도시한 흐름도이다.
도 4는 일 실시 예에 따른 디스플레이 장치에서 사용자 인터페이스를 제어하는 과정의 다른 예를 도시한 흐름도이다.
도 5는 일 실시 예에 따른 디스플레이 장치에서 적정 사용자 인터페이스 영역의 너비와 높이를 결정하는 예를 도시한 도면이다.
도 6은 일 실시 예에 따른 디스플레이 장치에서 사용자의 눈 높이에 따라서 적정 사용자 인터페이스 영역의 높이가 변경되는 예를 도시한 도면이다.
도 7은 일 실시 예에 따른 디스플레이 장치에서 복수의 사용자를 고려해서 적정 사용자 인터페이스 영역을 설정하는 예를 도시한 도면이다.
도 8은 일 실시 예에 따른 디스플레이 장치에서 복수의 사용자 중에서 주 사용자를 선택해서 적정 사용자 인터페이스 영역을 설정하는 예를 도시한 도면이다.
도 9는 일 실시 예에 따른 디스플레이 장치에서 스케일 팩터가 적용된 경우와 적용되지 않은 경우 예를 도시한 도면이다.
도 10은 일 실시 예에 따른 디스플레이 장치에서 적정 사용자 인터페이스 영역의 X축에 오프셋이 설정된 경우 포커스를 제어하는 예를 도시한 도면이다.
도 11은 일 실시 예에 따른 디스플레이 장치에서 적정 사용자 인터페이스 영역의 Y축에 오프셋이 설정된 경우 포커스를 제어하는 예를 도시한 도면이다.
도 12는 일 실시 예에 따른 디스플레이 장치에서 적정 사용자 인터페이스 영역의 X축과 Y축에 오프셋이 설정된 경우 포커스를 제어하는 예를 도시한 도면이다.1 is a block configuration diagram of a display device according to an exemplary embodiment.
2 is a detailed block configuration diagram of a display device according to an exemplary embodiment.
3 is a flowchart illustrating an example of a process of controlling a user interface in a display device according to an exemplary embodiment.
4 is a flowchart illustrating another example of a process of controlling a user interface in a display device according to an exemplary embodiment.
5 is a diagram illustrating an example of determining an appropriate width and height of a user interface area in a display device according to an exemplary embodiment.
6 is a diagram illustrating an example in which a height of an appropriate user interface region is changed according to a user's eye height in a display device according to an exemplary embodiment.
7 is a diagram illustrating an example of setting an appropriate user interface area in consideration of a plurality of users in a display device according to an exemplary embodiment.
8 is a diagram illustrating an example of setting an appropriate user interface area by selecting a main user from among a plurality of users in a display device according to an exemplary embodiment.
9 is a diagram illustrating examples when a scale factor is applied and when a scale factor is not applied in a display device according to an exemplary embodiment.
10 is a diagram illustrating an example of controlling focus when an offset is set on the X-axis of an appropriate user interface area in a display device according to an exemplary embodiment.
11 is a diagram illustrating an example of controlling focus when an offset is set on the Y-axis of an appropriate user interface area in a display device according to an exemplary embodiment.
12 is a diagram illustrating an example of controlling a focus when offsets are set in the X-axis and Y-axis of an appropriate user interface area in a display device according to an exemplary embodiment.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes can be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all changes, equivalents or substitutes to the embodiments are included within the scope of rights.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in the examples are used only for descriptive purposes and should not be construed as limiting. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "include" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are given to the same components regardless of reference numerals, and overlapping descriptions thereof will be omitted. In describing the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description will be omitted.

또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. Also, terms such as first, second, A, B, (a), and (b) may be used in describing the components of the embodiment. These terms are only used to distinguish the component from other components, and the nature, order, or order of the corresponding component is not limited by the term. When an element is described as being “connected,” “coupled to,” or “connected” to another element, that element may be directly connected or connected to the other element, but there may be another element between the elements. It should be understood that may be "connected", "coupled" or "connected".

어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.Components included in one embodiment and components having common functions will be described using the same names in other embodiments. Unless stated to the contrary, descriptions described in one embodiment may be applied to other embodiments, and detailed descriptions will be omitted to the extent of overlap.

이하에서는, 본 발명의 일 실시 예에 따른 시청 거리를 고려하여 사용자 인터페이스를 제어하는 장치 및 방법을 첨부된 도 1 내지 도 12를 참조하여 상세히 설명한다.In the following, according to an embodiment of the present invention An apparatus and method for controlling a user interface in consideration of a viewing distance will be described in detail with reference to FIGS. 1 to 12 attached.

도 1은 일 실시 예에 따른 디스플레이 장치의 블록 구성도(block diagram)이다. 도 2는 일 실시 예에 따른 디스플레이 장치의 상세 블록 구성도이다.1 is a block diagram of a display device according to an exemplary embodiment. 2 is a detailed block configuration diagram of a display device according to an exemplary embodiment.

도 1에 도시된 바와 같이, 일 실시 예에 따른 디스플레이 장치(100)는, 디스플레이부(110), 프로세서(130), 거리 측정 센서(196) 및 카메라부(162)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디스플레이 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디스플레이 장치(100)는 구현될 수 있다.As shown in FIG. 1 , the display device 100 according to an embodiment may include a display unit 110, a processor 130, a distance measurement sensor 196, and a camera unit 162. However, not all illustrated components are essential components. The display device 100 may be implemented with more components than those illustrated, or the display device 100 may be implemented with fewer components.

예를 들어, 도 2에 도시된 바와 같이, 일 실시 예에 따른 디스플레이 장치(100)는, 디스플레이부(110), 프로세서(130), 거리 측정 센서(196) 및 카메라부(162) 외에, 메모리(120), 튜너부(140), 감지부(160), 입/출력부(170), 비디오 처리부(180), 오디오 처리부(115), 오디오 출력부(126), 전원부(185), 센싱부(190)를 더 포함할 수도 있다. 이때, 카메라부(162)는 디스플레이 장치(100)의 구성에서 빠질 수도 있다.For example, as shown in FIG. 2 , the display device 100 according to an embodiment includes a display unit 110, a processor 130, a distance measurement sensor 196, and a camera unit 162, as well as a memory. (120), tuner unit 140, sensing unit 160, input/output unit 170, video processing unit 180, audio processing unit 115, audio output unit 126, power supply unit 185, sensing unit (190) may be further included. In this case, the camera unit 162 may be omitted from the configuration of the display device 100 .

이하 상기 구성요소들에 대해 살펴본다.Hereinafter, we look at the above components.

디스플레이부(110)는 프로세서(130)의 제어에 의해 사용자 인터페이스를 화면에 표시할 수 있다. 디스플레이부(110)의 구체적인 설명은 추후 후술한다.The display unit 110 may display a user interface on the screen under the control of the processor 130 . A detailed description of the display unit 110 will be described later.

거리 측정 센서(196)는 사용자와의 거리를 측정하고 측정된 거리를 프로세서(130)로 제공할 수 있다. 이때, 거리 측정 센서(196)는 사용자가 복수이면 사용자 각각의 거리를 측정하여 프로세서(130)로 제공할 수 있다.The distance measurement sensor 196 may measure a distance to the user and provide the measured distance to the processor 130 . In this case, if there are a plurality of users, the distance measuring sensor 196 may measure the distance of each user and provide the measured distance to the processor 130 .

거리 측정 센서(196)는 다양한 방법으로 사용자와의 거리를 측정할 수 있다.The distance measurement sensor 196 may measure the distance to the user in various ways.

예를 들어, 거리 측정 센서(196)는 사용자와의 거리를 디스플레이 장치(100)에서 발신한 신호가 사용자에게 도달했다 반사된 시간을 이용해서 측정할 수 있다. 그리고, 거리 측정 센서(196)는 깊이 이미지 센서로 구성될 수 있으며, 깊이 이미지 센서를 통해 촬영된 깊이 이미지를 통해서 사용자와의 거리를 측정할 수도 있다. 또한 거리 측정 센서(196)는 오디오 신호를 출력하고, 원격 제어 장치(리모컨)에 도달할 때 까지의 시간을 측정하여 사용자와의 거리를 측정할 수도 있다. 이때, 사용자와의 거리는 상술한 방법 외에도 다양한 방법을 통해서 측정할 수도 있다.For example, the distance measurement sensor 196 may measure the distance to the user by using a time when a signal transmitted from the display device 100 reaches the user and is reflected. Also, the distance measurement sensor 196 may include a depth image sensor, and may measure a distance to the user through a depth image captured through the depth image sensor. In addition, the distance measurement sensor 196 may output an audio signal and measure the distance to the user by measuring the time required to reach the remote control device (remote control). In this case, the distance to the user may be measured through various methods other than the above method.

카메라부(162)는 사용자의 이미지를 촬영하고 촬영된 이미지를 프로세서(130)로 제공할 수 있다. 카메라부(162)의 구체적인 설명은 추후 후술한다.The camera unit 162 may capture an image of the user and provide the captured image to the processor 130 . A detailed description of the camera unit 162 will be described later.

프로세서(130)는 카메라부(162)의 구성이 포함된 경우와 포함되지 않은 경우 다르게 동작할 수 있다.The processor 130 may operate differently when the configuration of the camera unit 162 is included and when it is not included.

먼저, 카메라부(162)의 구성이 디스플레이 장치(100)에 포함되지 않은 경우,First, when the configuration of the camera unit 162 is not included in the display device 100,

프로세서(130)는 사용자 인터페이스 출력 이벤트의 발생을 감지하면 거리 측정 센서(196)통해서 측정된 거리를 이용해서 적정 사용자 인터페이스 영역을 계산하고, 스케일 팩터의 적용 여부를 확인할 수 있다.When the occurrence of the user interface output event is detected, the processor 130 calculates an appropriate user interface area using the distance measured through the distance measurement sensor 196 and determines whether a scale factor is applied.

그리고, 프로세서(130)는 스케일 팩터를 적용하는 경우 측정된 거리 거리를 기반으로 스케일 팩터를 계산하고, 적정 사용자 인터페이스 영역에 스케일 팩터를 적용하여 사용자 인터페이스를 출력할 수 있다.In addition, when the scale factor is applied, the processor 130 may calculate the scale factor based on the measured distance, apply the scale factor to an appropriate user interface area, and output the user interface.

그리고, 프로세서(130)는 스케일 팩터를 적용하지 않는 경우 적정 사용자 인터페이스 영역 내에 사용자 인터페이스의 포커스가 존재하도록 사용자 인터페이스를 출력할 수 있다.And, when the scale factor is not applied, the processor 130 may output the user interface so that the focus of the user interface exists within an appropriate user interface area.

일 실시 예에 따라, 프로세서(130)는 사용자가 복수이면, 복수의 사용자 각각의 거리를 평균한 거리를 측정된 거리로 결정하고, 측정된 거리를 기반으로 적정 사용자 인터페이스 영역을 계산할 수 있다.According to an embodiment, if there are a plurality of users, the processor 130 may determine an average distance of each of the plurality of users as the measured distance, and calculate an appropriate user interface area based on the measured distance.

일 실시 예에 따라, 프로세서(130)는 사용자가 복수이면, 복수의 사용자 중에서 주 사용자를 판단하고, 주 사용자와의 거리를 측정된 거리로 결정하고, 측정된 거리를 기반으로 적정 사용자 인터페이스 영역을 계산할 수 있다. 이때, 프로세서(130)는 원격 제어 장치(리모컨)를 가진 사용자를 주 사용자로 결정할 수 있다. 하지만, 주 사용자는 원격 제어 장치(리모컨)를 가진 사용자로 국한하는 것은 아니며, 디스플레이 장치(100)를 기준으로 복수의 사용자 들 중에서 가장 앞에 위치한 사용자, 가장 뒤에 위치한 사용자, 가장 중앙에 위치한 사용자 또는 디스플레이 장치(100)의 중앙에 가장 근접한 사용자 등과 같은 기준으로 주 사용자가 결정될 수도 있다.According to an embodiment, if there are a plurality of users, the processor 130 determines a main user from among the plurality of users, determines a distance to the main user as the measured distance, and selects an appropriate user interface area based on the measured distance. can be calculated At this time, the processor 130 may determine a user with a remote control device (remote control) as a main user. However, the main user is not limited to a user with a remote control device (remote control), and a user located at the front, a user at the back, a user at the center, or a display among a plurality of users based on the display device 100. The main user may be determined based on a criterion such as a user closest to the center of the device 100 .

카메라부(162)의 구성이 포함되지 않은 경우의 프로세서(130) 동작에 관한 보다 구체적인 설명은 이후 도 3을 참조하여 후술한다.A more detailed description of the operation of the processor 130 when the configuration of the camera unit 162 is not included will be described later with reference to FIG. 3 .

다음으로 카메라부(162)의 구성이 디스플레이 장치(100)에 포함된 경우,Next, when the configuration of the camera unit 162 is included in the display device 100,

프로세서(130)는 사용자 인터페이스 출력 이벤트의 발생을 감지하면 카메라부(162)를 통해서 촬영된 사용자의 이미지를 이용해서 사용자의 시야각을 계산하고, 거리 측정 센서(196)를 통해서 측정된 거리와 계산된 시야각을 이용해서 적정 사용자 인터페이스 영역을 계산하고, 스케일 팩터의 적용 여부를 확인할 수 있다. When the processor 130 detects the occurrence of a user interface output event, the user's viewing angle is calculated using the user's image captured through the camera unit 162, and the distance measured through the distance measurement sensor 196 and the calculated distance are calculated. An appropriate user interface area can be calculated using the viewing angle, and whether or not a scale factor is applied can be checked.

그리고, 프로세서(130)는 스케일 팩터를 적용하는 경우 사용자와의 거리를 기반으로 스케일 팩터를 계산하고, 적정 사용자 인터페이스 영역에 스케일 팩터를 적용하여 사용자 인터페이스를 출력할 수 있다.Further, when the scale factor is applied, the processor 130 may calculate the scale factor based on the distance to the user, apply the scale factor to an appropriate user interface area, and output the user interface.

프로세서(130)는 촬영된 영상을 통해서 사용자의 양쪽 눈의 위치를 확인하고, 사용자의 눈의 위치와 사용자와의 거리를 기반으로 사용자의 시야각을 계산할 수 있다. 이때, 사용자의 시야각에는 상하 시야각과 좌우 시야각을 포함할 수 있다.The processor 130 may determine the position of both eyes of the user through the captured image, and calculate the user's viewing angle based on the distance between the position of the user's eyes and the user. In this case, the user's viewing angle may include a vertical viewing angle and a left-right viewing angle.

프로세서(130)는 사용자가 복수이면, 복수의 사용자 각각의 시야각을 계산할 수 있다.If there are a plurality of users, the processor 130 may calculate a viewing angle of each of the plurality of users.

일 실시 예에 따라, 프로세서(130)는 사용자가 복수이면, 복수의 사용자의 이미지에서 복수의 사용자 각각에 대한 시야각을 계산하고, 복수의 사용자 각각에 대한 측정된 거리와 계산된 시야각을 이용해서 복수의 사용자 각각의 사용자 인터페이스 영역을 계산하고, 복수의 사용자 각각의 사용자 인터페이스 영역을 모두 합한 영역을 적정 사용자 인터페이스 영역으로 결정하거나 또는 복수의 사용자 각각의 사용자 인터페이스 영역이 중복된 영역을 적정 사용자 인터페이스 영역으로 결정할 수 있다.According to an embodiment, if there are a plurality of users, the processor 130 calculates angles of view for each of the plurality of users in the images of the plurality of users, and uses the measured distance and the calculated angle of view for each of the plurality of users. The user interface area of each user is calculated, and the area where all the user interface areas of each of a plurality of users are combined is determined as an appropriate user interface area, or the area where the user interface areas of each of a plurality of users overlap is determined as an appropriate user interface area. can decide

일 실시 예에 따라, 프로세서(130)는 사용자가 복수이면, 복수의 사용자 중에서 주 사용자를 판단하고, 복수의 사용자 각각의 이미지 중에서 주 사용자의 이미지를 이용해서 주 사용자의 시야각을 계산하고, 주 사용자와의 측정된 거리와 주 사용자의 시야각을 기반으로 적정 사용자 인터페이스 영역을 계산할 수 있다. 이때, 프로세서(130)는 원격 제어 장치(리모컨)를 가진 사용자를 주 사용자로 결정할 수 있다. 하지만, 주 사용자는 원격 제어 장치(리모컨)를 가진 사용자로 국한하는 것은 아니며, 디스플레이 장치(100)를 기준으로 복수의 사용자 들 중에서 가장 앞에 위치한 사용자, 가장 뒤에 위치한 사용자, 가장 중앙에 위치한 사용자 또는 디스플레이 장치(100)의 중앙에 가장 근접한 사용자 등과 같은 기준으로 주 사용자가 결정될 수도 있다.According to an embodiment, if there are a plurality of users, the processor 130 determines a main user from among the plurality of users, calculates a viewing angle of the main user by using an image of the main user among the images of each of the plurality of users, and An appropriate user interface area may be calculated based on the measured distance from the user and the viewing angle of the main user. At this time, the processor 130 may determine a user with a remote control device (remote control) as a main user. However, the main user is not limited to a user with a remote control device (remote control), and a user located at the front, a user at the back, a user at the center, or a display among a plurality of users based on the display device 100. The main user may be determined based on a criterion such as a user closest to the center of the device 100 .

카메라부(162)의 구성이 포함된 경우의 프로세서(130) 동작에 관한 보다 구체적인 설명은 이후 도 4를 참조하여 후술한다.A more detailed description of the operation of the processor 130 when the configuration of the camera unit 162 is included will be described later with reference to FIG. 4 .

한편, 프로세서(130)는 디스플레이 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 장치(100)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램, 디스플레이 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬 및 프로세서를 포함할 수 있다.Meanwhile, the processor 130 stores signals or data input from the outside of the display device 100, or RAM used as a storage area corresponding to various tasks performed in the display device 100, and the display device 100. It may include a ROM and a processor in which a control program for control is stored.

프로세서(130)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서(130)는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)를 통합한 SoC(System On Chip)로 구현될 수 있다. 프로세서(130)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.The processor 130 may include a graphic processing unit (not shown) for graphic processing corresponding to video. The processor 130 may be implemented as a system on chip (SoC) in which a core (not shown) and a GPU (not shown) are integrated. The processor 130 may include a single core, a dual core, a triple core, a quad core, and multiple cores thereof.

또한, 프로세서(130)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.Also, the processor 130 may include a plurality of processors. For example, the processor may be implemented as a main processor (not shown) and a sub processor (not shown) operating in a sleep mode.

일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 센서를 포함하는 센싱부(190)를 통해, 적어도 하나의 센서에 대응하는 적어도 하나의 센싱값을 검출할 수 있다.According to an embodiment, the processor 130 executes one or more instructions stored in the memory 120, and through the sensing unit 190 including the at least one sensor, at least one sensor corresponding to the at least one sensor. A sensing value can be detected.

또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 검출된 적어도 하나의 센싱값이 미리 설정된 임계값 이상인 것으로 판단됨에 따라, 원격 제어 장치(예를 들어, 리모콘)가 디스플레이 장치(100)에 터치된 것으로 결정할 수 있다. In addition, according to an embodiment, the processor 130 executes one or more instructions stored in the memory 120 and determines that at least one detected sensing value is equal to or greater than a preset threshold value, and the remote control device (eg For example, it may be determined that the remote control) has touched the display device 100 .

또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 검출된 적어도 하나의 센싱값과 원격 제어 장치(미도시)로부터 수신한 원격 제어 장치의 센싱값을 비교함으로써, 원격 제어 장치가 디스플레이 장치(100)에 터치된 것으로 결정할 수 있다.In addition, according to an embodiment, the processor 130, by executing one or more instructions stored in the memory 120, senses the detected at least one sensing value and the remote control device received from the remote control device (not shown). By comparing the values, it can be determined that the remote control device has touched the display device 100 .

또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 원격 제어 장치(미도시)의 식별 정보를 요청하고, 원격 제어 장치의 식별 정보를 수신할 수 있다. 또한, 프로세서(130)는 원격 제어 장치의 식별 정보에 기초하여, 원격 제어 장치가 디스플레이 장치(100)에 기 등록된 장치임을 확인할 수 있다. Also, according to an embodiment, the processor 130 may request identification information of a remote control device (not shown) and receive identification information of the remote control device by executing one or more instructions stored in the memory 120. can Also, the processor 130 may confirm that the remote control device is a device pre-registered in the display device 100 based on the identification information of the remote control device.

또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 센싱값에 기초하여, 원격 제어 장치가 디스플레이 장치(100) 상에 터치된 터치 영역을 결정할 수 있다.Also, according to an embodiment, the processor 130 executes one or more instructions stored in the memory 120, and based on at least one sensed value, the remote control device touches the display device 100. area can be determined.

또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 센서에 대응하여 검출된 적어도 하나의 센싱값을 비교하고, 비교 결과에 기초하여, 원격 제어 장치가 디스플레이 장치(100) 상에 터치된 지점에 근접하게 배치된 것으로 판단되는 하나 이상의 센서를 결정할 수 있다. 또한, 프로세서(130)는, 결정된 하나 이상의 센서에 기초하여, 터치 영역을 결정할 수 있다. Also, according to an embodiment, the processor 130 compares at least one sensing value detected corresponding to at least one sensor by executing one or more instructions stored in the memory 120, and based on the comparison result , it is possible to determine one or more sensors that are determined to be disposed close to the point where the remote control device is touched on the display device 100 . Also, the processor 130 may determine the touch area based on the determined one or more sensors.

또한, 일 실시 예에 따라, 프로세서(130)는, 통신부(150)를 통해, 원격 제어 장치로부터 원격 제어 장치에서 실행 중인 동작에 관한 상태 정보를 수신할 수 있다.Also, according to an embodiment, the processor 130 may receive state information about an operation being executed in the remote control device from the remote control device through the communication unit 150 .

또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 수신한 원격 제어 장치로의 상태 정보에 기초하여, 결정된 터치 영역에 대응하는 기 설정된 기능을 수행할 수 있다.In addition, according to an embodiment, the processor 130 executes one or more instructions stored in the memory 120 to perform a preset function corresponding to the determined touch area based on the received state information on the remote control device. can be done

또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 센싱값에 기초하여, 원격 제어 장치가 디스플레이 장치(100) 상에 터치된 터치 횟수를 결정할 수 있다.Also, according to an embodiment, the processor 130 executes one or more instructions stored in the memory 120, and based on at least one sensed value, the remote control device touches the display device 100. number can be determined.

또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 터치 횟수에 대응하는 기 설정된 기능을 수행할 수 있다. Also, according to an embodiment, the processor 130 may perform a preset function corresponding to the number of touches by executing one or more instructions stored in the memory 120 .

또한, 일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 사용자 입력에 기초하여, 디스플레이 장치(100) 상의 적어도 일 터치 영역에 대응하는 기능을 미리 설정할 수 있다. Also, according to an embodiment, the processor 130 may preset a function corresponding to at least one touch area on the display device 100 based on a user input by executing one or more instructions stored in the memory 120. can

또한, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 사용자 입력에 기초하여, 디스플레이 장치(100) 상의 적어도 일 터치 영역에 터치된 터치 횟수에 대응하는 기능을 미리 설정할 수 있다.Also, the processor 130 may preset a function corresponding to the number of touches performed on at least one touch area on the display apparatus 100 based on a user input by executing one or more instructions stored in the memory 120. there is.

메모리(120)는 프로세서(130)의 제어에 의해 디스플레이 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(120)는 비디오 처리부(180), 디스플레이부(110), 오디오 처리부(115), 오디오 출력부(126), 전원부(130), 튜너부(140), 통신부(150), 감지부(160), 입/출력부(170)의 구동에 대응되는 입력/출력되는 신호 또는 데이터를 저장할 수 있다.The memory 120 may store various data, programs, or applications for driving and controlling the display device 100 under the control of the processor 130 . The memory 120 includes a video processing unit 180, a display unit 110, an audio processing unit 115, an audio output unit 126, a power supply unit 130, a tuner unit 140, a communication unit 150, and a sensing unit 160. ), input/output signals or data corresponding to driving of the input/output unit 170 may be stored.

메모리(120)는 디스플레이 장치(100) 및 프로세서(130)의 제어를 위한 오퍼레이팅 시스템(121), 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션(122), 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 오브젝트(예를 들어, 이미지 텍스트, 아이콘, 버튼 등), 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.The memory 120 includes an operating system 121 for controlling the display device 100 and the processor 130, an application 122 initially provided by a manufacturer or downloaded from the outside, a graphical user interface (GUI) related to the application, and a GUI. Objects (eg, image text, icons, buttons, etc.), user information, documents, databases, or related data may be stored to provide.

또한, 메모리(120)는 원격 제어 장치로부터의 입력 신호를 수신하고 이에 따라 입력 신호에 대응하는 채널 제어를 수행하거나 또는, 입력 신호가 미리 지정된 입력에 대응하는 경우 채널 스크롤 유저 인터페이스 모드로 진입하기 위한 하나 이상의 인스트럭션을 포함하는 TV 뷰어 모듈(123), 외부 장치(미도시)로부터 수신된 컨텐츠로부터 정보를 인식하기 위한 하나 이상의 인스트럭션을 포함하는 문자 인식 모듈(124), 외부 장치(미도시)로부터의 채널 제어를 위한 하나 이상의 인스트럭션을 포함하는 MBR 모듈(125)를 포함할 수 있다. In addition, the memory 120 receives an input signal from the remote control device and controls a channel corresponding to the input signal accordingly, or enters a channel scroll user interface mode when the input signal corresponds to a predetermined input. A TV viewer module 123 including one or more instructions, a character recognition module 124 including one or more instructions for recognizing information from content received from an external device (not shown), and information from an external device (not shown). It may include an MBR module 125 that includes one or more instructions for channel control.

메모리(120)는, 롬, 램 또는 디스플레이 장치(100)에 장착되는 메모리 카드(예를 들어, micro SD 카드, USB 메모리, 도시되지 아니함)를 포함한다. 또한, 메모리(120)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.The memory 120 includes ROM, RAM, or a memory card (eg, micro SD card, USB memory, not shown) mounted on the display device 100 . Also, the memory 120 may include a non-volatile memory, a volatile memory, a hard disk drive (HDD), or a solid state drive (SSD).

일 실시 예에 따라, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. According to an embodiment, the memory 120 may be a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (eg SD or XD memory, etc.), RAM (RAM, Random Access Memory), SRAM (Static Random Access Memory), ROM (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) ), a magnetic memory, a magnetic disk, and an optical disk may include at least one type of storage medium.

디스플레이부(110)는 프로세서(130)의 제어에 의해 튜너부(140)를 통해 수신된 방송 신호에 포함된 비디오를 화면에 표시한다. 또한, 디스플레이부(110)는 통신부(150) 또는 입/출력부(170)를 통해 입력되는 컨텐츠(예를 들어, 동영상)를 표시할 수 있다. 디스플레이부(110)는 프로세서(130)의 제어에 의해 메모리(120)에 저장된 영상을 출력할 수 있다. The display unit 110 displays a video included in a broadcast signal received through the tuner unit 140 on the screen under the control of the processor 130 . Also, the display unit 110 may display content (eg, video) input through the communication unit 150 or the input/output unit 170 . The display unit 110 may output an image stored in the memory 120 under the control of the processor 130 .

디스플레이부(110)는, 프로세서(130)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이부(110)는 PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube), 플렉시블 디스플레이부(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이부(3D display)로 구현될 수 있다. 또한, 디스플레이부(110)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.The display unit 110 converts the image signal, data signal, OSD signal, control signal, etc. processed by the processor 130 to generate a driving signal. The display unit 110 may be implemented with a plasma display panel (PDP), a liquid crystal display (LCD), an organic light emitting diode (OLED), a cathode ray tube (CRT), a flexible display, and the like. , 3D display unit (3D display) can be implemented. Also, the display unit 110 may be configured as a touch screen and used as an input device in addition to an output device.

튜너부(140)는, 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 디스플레이 장치(100)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.The tuner unit 140 selects only the frequency of a channel to be received by the display device 100 from many radio wave components through amplification, mixing, resonance, etc. of a broadcast signal received by wire or wirelessly. It can be selected by tuning. The broadcast signal includes audio, video, and additional information (eg, Electronic Program Guide (EPG)).

튜너부(140)는 사용자 입력(예를 들어, 원격 제어 장치(미도시)로부터 수신되는 제어 신호, 예컨대, 채널 번호 입력, 채널의 업다운(up-down) 입력 및 EPG 화면에서 채널 입력)에 따라 채널 번호에 대응되는 주파수 대역에서 방송 신호를 수신할 수 있다.The tuner unit 140 performs a control signal received from a remote control device (not shown) (eg, a channel number input, a channel up-down input, and a channel input on an EPG screen) according to a user input. A broadcast signal can be received in a frequency band corresponding to the channel number.

튜너부(140)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(140)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다. 튜너부(140)를 통해 수신된 방송 신호는 디코딩(decoding, 예를 들어, 오디오 디코딩, 비디오 디코딩 또는 부가 정보 디코딩)되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서(130)의 제어에 의해 메모리(120)에 저장될 수 있다.The tuner unit 140 may receive broadcast signals from various sources such as terrestrial broadcasting, cable broadcasting, satellite broadcasting, and Internet broadcasting. The tuner unit 140 may receive a broadcasting signal from a source such as analog broadcasting or digital broadcasting. The broadcast signal received through the tuner unit 140 is decoded (eg, audio decoding, video decoding, or additional information decoding) and separated into audio, video, and/or additional information. The separated audio, video and/or additional information may be stored in the memory 120 under the control of the processor 130 .

디스플레이 장치(100)의 튜너부(140)는 하나이거나 복수일 수 있다. 튜너부(140)는 디스플레이 장치(100)와 일체형(all-in-one)으로 구현되거나, 또는 디스플레이 장치(100)와 전기적으로 연결되는 튜너부를 가지는 별개의 장치(예를 들어, 셋톱박스(set-top box, 도시되지 아니함), 입/출력부(170)에 연결되는 튜너부(도시되지 아니함))로 구현될 수 있다.The tuner unit 140 of the display device 100 may be one or plural. The tuner unit 140 may be implemented as an all-in-one with the display device 100 or a separate device having a tuner unit electrically connected to the display device 100 (eg, a set-top box). -top box, not shown), and a tuner unit (not shown) connected to the input/output unit 170).

통신부(150)는, 프로세서(130)의 제어에 의해 디스플레이 장치(100)를 외부 장치(예를 들어, 오디오 장치 등)(미도시)와 연결할 수 있다. 프로세서(130)는 통신부(150)를 통해 연결된 외부 장치(미도시)로 컨텐츠를 송/수신, 외부 장치(미도시)에서부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다. 통신부(150)는 디스플레이 장치(100)의 성능 및 구조에 대응하여 무선 랜(151), 블루투스(152), 및 유선 이더넷(Ethernet, 853) 중 하나를 포함할 수 있다. 또한, 통신부(150)는 무선랜(151), 블루투스(152), 및 유선 이더넷(Ethernet, 853)의 조합을 포함할 수 있다. The communication unit 150 may connect the display device 100 to an external device (eg, an audio device) (not shown) under the control of the processor 130 . The processor 130 may transmit/receive content to/from an external device (not shown) connected through the communication unit 150, download an application from the external device (not shown), or perform web browsing. The communication unit 150 may include one of a wireless LAN 151, Bluetooth 152, and wired Ethernet 853 corresponding to the performance and structure of the display device 100. In addition, the communication unit 150 may include a combination of wireless LAN 151, Bluetooth 152, and wired Ethernet (Ethernet, 853).

또한, 통신부(150)는 블루투스 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 도시되지 아니함), BLE(bluetooth low energy, 도시되지 아니함), 지그비, 적외선 통신 등을 더 포함할 수 있다.In addition, the communication unit 150 may further include other short-range communication (eg, near field communication (NFC), not shown), bluetooth low energy (BLE, not shown), ZigBee, infrared communication, etc., in addition to Bluetooth. .

감지부(160)는, 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 마이크(161), 카메라부(162) 및 광 수신부(163)를 포함할 수 있다.The sensing unit 160 detects a user's voice, a user's video, or a user's interaction, and may include a microphone 161, a camera unit 162, and a light receiving unit 163.

마이크(161)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(161)는 수신된 음성을 전기 신호로 변환하여 프로세서(130)로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치(100)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다. The microphone 161 receives the user's utterance. The microphone 161 may convert the received voice into an electrical signal and output it to the processor 130 . The user's voice may include, for example, a voice corresponding to a menu or function of the display apparatus 100 .

일 실시 예에 따르면, 프로세서(130)는 디스플레이 장치(100)에 내장된 마이크(161)로 사용자 발화를 수신할 뿐 아니라, 원격 제어 장치(예를 들어, 리모콘)를 통해 사용자 발화에 대응하는 데이터를 수신할 수 있다. 예를 들어, 원격 제어 장치에 설치된 마이크로 사용자 발화가 수신되고, 원격 제어 장치로부터 디스플레이 장치(100)로 사용자 발화에 대응되는 신호가 전송될 수 있다.According to an embodiment, the processor 130 not only receives user speech through the microphone 161 built into the display device 100, but also receives data corresponding to the user speech through a remote control device (eg, remote controller). can receive For example, a micro user speech installed in the remote control device may be received, and a signal corresponding to the user speech may be transmitted from the remote control device to the display apparatus 100 .

다른 일 실시 예에 따르면, 외부 디스플레이 장치에 사용자 발화를 수신하거나 디스플레이 장치(100)를 제어하기 위한 앱 및/또는 프로그램이 설치될 수 있고, 프로세서(130)는 외부 디스플레이 장치(예를 들어, AI 스피커)를 통해 사용자 발화에 대응하는 데이터를 수신할 수 있다.According to another embodiment, an app and/or program for receiving a user's speech or controlling the display device 100 may be installed on the external display device, and the processor 130 may operate on the external display device (eg AI Speaker) may receive data corresponding to the user's speech.

카메라부(162)는 정지영상 또는 동영상 등의 이미지를 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(130) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. The camera unit 162 may obtain images such as still images or moving images. Images captured through the image sensor may be processed through the processor 130 or a separate image processing unit (not shown).

카메라부(162)에서 처리된 이미지는 메모리(120)에 저장되거나 통신부(150)를 통하여 외부로 전송될 수 있다. 카메라부(162)는 디스플레이 장치(100)의 구성에 따라 2개 이상이 구비될 수도 있다.Images processed by the camera unit 162 may be stored in the memory 120 or transmitted to the outside through the communication unit 150 . Two or more camera units 162 may be provided according to the configuration of the display device 100 .

광 수신부(163)는 외부의 원격 제어 장치로부터 수신되는 광 신호(제어 신호를 포함)를 수신한다. 광 수신부(163)는 원격 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(130)의 제어에 의해 제어 신호가 추출될 수 있다. 예를 들어, 광 수신부(163)는 원격 제어 장치로부터 채널 전환을 위한 채널 업/다운 버튼에 대응하는 제어 신호를 수신할 수 있다. The light receiving unit 163 receives an optical signal (including a control signal) received from an external remote control device. The light receiving unit 163 may receive an optical signal corresponding to a user input (eg, touch, pressure, touch gesture, voice, or motion) from the remote control device. A control signal may be extracted from the received optical signal under the control of the processor 130 . For example, the light receiving unit 163 may receive a control signal corresponding to a channel up/down button for channel switching from a remote control device.

입/출력부(170)는, 프로세서(130)의 제어에 의해 디스플레이 장치(100)의 외부로부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입/출력부(170)는, HDMI 포트(High-Definition Multimedia Interface port)(171), 컴포넌트 잭(component jack)(172), PC 포트(173), 및 USB 포트(174) 중 적어도 하나를 포함할 수 있다. 입/출력부(170)는 HDMI 포트(171), 컴포넌트 잭(172), PC 포트(173), 및 USB 포트(174) 중 적어도 하나의 조합을 포함할 수 있다. 외부 영상 제공 장치(미도시) 또는 디스플레이 장치(100)는 HDMI 포트(171)을 통해 연결될 수 있다. 다만 입/출력부(170)의 포트는 다양한 포트로 구현될 수 있다. 일 례로, HDMI 포트(171)는 비디오/오디오 신호를 동시에 전송할 수 있는 포트이지만 입/출력부(170)는 HDMI 포트(171) 대신 비디오 신호와 오디오 신호를 별도로 입/출력할 수 있는 포트를 포함할 수 있다. 다른 일 례로, 디스플레이 장치(100)는 디스플레이부(610)가 아닌 외부 장치(미도시)로 비디오/오디오 신호를 전송할 수 있고, 입/출력부(170)에는 외부 장치와 유/무선으로 신호를 송수신하기 위한 다양한 인터페이스가 포함될 수 있다.The input/output unit 170 includes video (eg, motion picture, etc.), audio (eg, voice, music, etc.) and additional information (eg, video, etc.) from the outside of the display device 100 under the control of the processor 130. For example, EPG, etc.) and the like are received. The input/output unit 170 includes at least one of a High-Definition Multimedia Interface port (HDMI) port 171, a component jack 172, a PC port 173, and a USB port 174. can do. The input/output unit 170 may include a combination of at least one of an HDMI port 171 , a component jack 172 , a PC port 173 , and a USB port 174 . An external image providing device (not shown) or the display device 100 may be connected through the HDMI port 171 . However, the port of the input/output unit 170 may be implemented as various ports. For example, the HDMI port 171 is a port capable of simultaneously transmitting video/audio signals, but the input/output unit 170 includes a port capable of separately inputting/outputting video signals and audio signals instead of the HDMI port 171. can do. As another example, the display device 100 may transmit a video/audio signal to an external device (not shown) instead of the display unit 610, and the input/output unit 170 transmits a signal to the external device wired/wireless. Various interfaces for transmitting and receiving may be included.

비디오 처리부(180)는, 디스플레이 장치(100)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(180)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 베젤 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.The video processing unit 180 processes video data received by the display device 100 . The video processing unit 180 may perform various image processing such as decoding, scaling, noise filtering, bezel rate conversion, and resolution conversion on video data.

그래픽 처리부(181)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 감지부(160)를 통해 감지된 사용자 입력을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이부(110)의 디스플레이 영역 내에 표시된다. The graphic processing unit 181 uses a calculation unit (not shown) and a rendering unit (not shown) to create a screen including various objects such as icons, images, and text. The calculation unit (not shown) calculates attribute values such as coordinate values, shapes, sizes, colors, and the like of each object to be displayed according to the layout of the screen using the user input sensed through the sensing unit 160 . The rendering unit (not shown) creates screens of various layouts including objects based on the attribute values calculated by the calculation unit (not shown). The screen created by the rendering unit (not shown) is displayed within the display area of the display unit 110 .

오디오 처리부(115)는, 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(115)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(115)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.The audio processing unit 115 processes audio data. The audio processor 115 may perform various processes such as decoding or amplifying audio data and filtering noise. Meanwhile, the audio processing unit 115 may include a plurality of audio processing modules to process audio corresponding to a plurality of contents.

오디오 출력부(126)는, 프로세서(130)의 제어에 의해 튜너부(140)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(126)는 통신부(150) 또는 입/출력부(170)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(126)는 프로세서(130)의 제어에 의해 메모리(120)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(126)는 스피커(127), 헤드폰 출력 단자(128) 또는 S/PDIF(Sony/Philips Digital Interface) 출력 단자(129) 중 적어도 하나를 포함할 수 있다. 오디오 출력부(126)는 스피커(127), 헤드폰 출력 단자(128) 및 S/PDIF 출력 단자(129)의 적어도 하나의 조합을 포함할 수 있다.The audio output unit 126 outputs audio included in the broadcast signal received through the tuner unit 140 under the control of the processor 130 . The audio output unit 126 may output audio (eg, voice, sound) input through the communication unit 150 or the input/output unit 170 . Also, the audio output unit 126 may output audio stored in the memory 120 under the control of the processor 130 . The audio output unit 126 may include at least one of a speaker 127, a headphone output terminal 128, and a Sony/Philips Digital Interface (S/PDIF) output terminal 129. The audio output unit 126 may include a combination of at least one of a speaker 127 , a headphone output terminal 128 , and a S/PDIF output terminal 129 .

전원부(185)는, 프로세서(130)의 제어에 의해 디스플레이 장치(100) 내부의 구성 요소들로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(185)는 프로세서(130)의 제어에 의해 디스플레이 장치(100) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)로부터 출력되는 전원을 내부의 구성 요소들에게 공급할 수 있다.The power supply unit 185 supplies power input from an external power source to components inside the display apparatus 100 under the control of the processor 130 . In addition, the power supply unit 185 may supply power output from one or more batteries (not shown) located inside the display device 100 to internal components under the control of the processor 130 .

센싱부(190)는, 디스플레이 장치(100)의 상태 또는 디스플레이 장치(100) 주변의 상태를 감지하고, 감지된 정보를 프로세서(130)로 전달할 수 있다. The sensing unit 190 may detect a state of the display device 100 or a state around the display device 100 and transmit the sensed information to the processor 130 .

센싱부(190)는, RGB 센서(illuminance sensor)(191), 지자기 센서(Magnetic sensor)(192), 가속도 센서(Acceleration sensor)(193), 온/습도 센서(194), 적외선 센서(195), 거리 측정 센서(196), 위치 센서(예컨대, GPS)(197), 근접 센서(198) 및 기타 센서(199)(예를 들어, 자이로스코프 센서, 기압 센서 등) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다. The sensing unit 190 includes an illuminance sensor 191, a magnetic sensor 192, an acceleration sensor 193, a temperature/humidity sensor 194, and an infrared sensor 195. , a distance measurement sensor 196, a position sensor (eg, GPS) 197, a proximity sensor 198, and other sensors 199 (eg, a gyroscope sensor, a barometric pressure sensor, etc.). However, it is not limited thereto. Since a person skilled in the art can intuitively infer the function of each sensor from its name, a detailed description thereof will be omitted.

일 실시 예에 따른 센싱부(190)는 디스플레이 장치(100)에 가해지는 외부 충격을 감지할 수 있다. 예를 들어, 원격 제어 장치가 디스플레이 장치(100)에 터치됨에 따라, 디스플레이 장치(100)의 센싱부(190)는 센싱값을 출력할 수 있다. The sensing unit 190 according to an embodiment may detect an external impact applied to the display device 100 . For example, when the remote control device touches the display device 100, the sensing unit 190 of the display device 100 may output a sensed value.

또한, 디스플레이부(110)를 포함하는 디스플레이 장치(100)는 튜너부(140)를 포함하는 별도의 외부 장치(예를 들어, 셋톱 박스, 도시되지 아니함)와 전기적으로 연결될 수 있다.Also, the display device 100 including the display unit 110 may be electrically connected to a separate external device (eg, a set-top box, not shown) including the tuner unit 140 .

또한, 디스플레이 장치(100)는 아날로그 TV, 디지털 TV, 3D-TV, 스마트 TV, LED TV, OLED TV, 플라즈마 TV, 모니터 등으로 구현될 수 있으나, 이에 한정되지 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.In addition, the display device 100 may be implemented as an analog TV, a digital TV, a 3D-TV, a smart TV, an LED TV, an OLED TV, a plasma TV, a monitor, etc., but it is common knowledge in the art that it is not limited thereto. It will be easily understood by those who have.

한편, 도시된 디스플레이 장치(100)의 블록도는 일 실시 예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시 예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 문서의 권리범위를 제한하지 아니한다.Meanwhile, the block diagram of the illustrated display device 100 is a block diagram for one embodiment. Each component of the block diagram may be integrated, added, or omitted according to specifications of the display device 100 that is actually implemented. That is, if necessary, two or more components may be combined into one component, or one component may be subdivided into two or more components. In addition, functions performed in each block are for explaining embodiments, and the specific operation or device does not limit the scope of the present document.

이하, 상기와 같이 구성된 본 발명에 따른 방법을 아래에서 도면을 참조하여 설명한다.Hereinafter, the method according to the present invention configured as described above will be described with reference to the drawings below.

먼저, 디스플레이 장치(100)와 사용자와의 거리를 고려해서 사용자 인터페이스를 제어하는 방법을 아래에서 도 3을 통해서 설명한다.First, a method of controlling the user interface in consideration of the distance between the display device 100 and the user will be described below with reference to FIG. 3 .

도 3은 일 실시 예에 따른 디스플레이 장치에서 사용자 인터페이스를 제어하는 과정의 일 예를 도시한 흐름도이다.3 is a flowchart illustrating an example of a process of controlling a user interface in a display device according to an exemplary embodiment.

도 3을 참조하면, 디스플레이 장치(100)는 사용자 인터페이스 출력 이벤트의 발생을 감지하면(310), 디스플레이 장치(100)의 디스플레이부(스크린)와 사용자와의 거리를 측정한다(320). 이때, 사용자 인터페이스 출력 이벤트는 디스플레이 장치(100)가 켜질 때, 또는 사용자가 원격 제어 장치(리모컨) 또는 음성 등으로 사용자 인터페이스를 호출한 경우 발생할 수 있다. Referring to FIG. 3 , when the display apparatus 100 detects the occurrence of a user interface output event (310), it measures the distance between the display unit (screen) of the display apparatus 100 and the user (320). In this case, the user interface output event may occur when the display device 100 is turned on or when the user calls the user interface using a remote control device (remote control) or voice.

320동작에서 디스플레이 장치(100)는 사용자와의 거리를 디스플레이 장치(100)에서 발신한 신호가 사용자에게 도달했다 반사된 시간을 이용해서 측정할 수 있다. 그 외에도 디스플레이 장치(100)는 사용자와의 거리를 디스플레이 장치(100)에 포함된 깊이 이미지 센서를 통해 촬영된 깊이 이미지를 통해서 측정할 수도 있다. 또한, 디스플레이 장치(100)는 사용자와의 거리를 디스플레이 장치(100)에서 출력된 오디오 신호가 원격 제어 장치(리모컨)에 도달할 때 까지의 시간을 이용해서 측정할 수도 있다. 이때, 사용자와의 거리는 상술한 방법 외에도 다양한 방법을 통해서 측정할 수도 있다.In operation 320, the display apparatus 100 may measure the distance from the user by using the time when the signal transmitted from the display apparatus 100 reaches the user and is reflected. In addition, the display device 100 may measure the distance to the user through a depth image captured by a depth image sensor included in the display device 100 . Also, the display device 100 may measure the distance from the user by using the time until the audio signal output from the display device 100 reaches the remote control device (remote control). In this case, the distance to the user may be measured through various methods other than the above method.

320동작에서 사용자와의 거리를 측정할 때, 사용자가 복수이면, 디스플레이 장치(100)는 복수의 사용자 각각의 거리를 측정할 수 있다.When measuring the distance to the user in operation 320, if there are a plurality of users, the display apparatus 100 may measure the distance of each of the plurality of users.

그리고, 디스플레이 장치(100)는 측정된 거리를 이용해서 적정 사용자 인터페이스 영역을 계산한다(340). 이때, 디스플레이 장치(100)는 디스플레이 장치(100)의 디스플레이부(스크린)의 크기와 사용자와의 측정된 거리를 고려하여 적정 사용자 인터페이스 영역을 계산할 수 있다. 이처럼, 사용자와의 고정된 디스플레이부(스크린)의 크기를 기준으로 측정된 거리 만을 고려하는 것이 아닌 디스플레이부(스크린)의 크기도 함께 고려하는 것은 디스플레이부(스크린)의 크기가 가변 될 수 있는 디스플레이 장치(100)의 경우 디스플레이부(스크린)의 크기가 변경될 수 있기 때문이다.Then, the display device 100 calculates an appropriate user interface area using the measured distance (340). In this case, the display device 100 may calculate an appropriate user interface area in consideration of the size of the display unit (screen) of the display device 100 and the measured distance from the user. In this way, considering not only the distance measured based on the fixed size of the display unit (screen) with the user, but also considering the size of the display unit (screen) is a display that can change the size of the display unit (screen). This is because the size of the display unit (screen) of the device 100 can be changed.

340동작에서 디스플레이 장치(100)는 적정 사용자 인터페이스 영역은 기설정된 계산식을 이용해서 계산할 수도 있고, 디스플레이 장치(100)의 디스플레이부(스크린)의 크기에 따른 측정된 거리 별로 매칭되는 적정 사용자 인터페이스 영역의 크기가 저장된 적정 UI 테이블을 참조해서 계산할 수 있다.In operation 340, the display device 100 may calculate the appropriate user interface area using a preset formula, and may calculate the appropriate user interface area matched for each measured distance according to the size of the display unit (screen) of the display device 100. It can be calculated by referring to the appropriate UI table where the size is stored.

이때, 적정 사용자 인터페이스 영역은 디스플레이부(스크린)의 크기가 클수록 그리고 측정된 거리가 짧을수록 디스플레이부(스크린)의 크기 대비 적정 사용자 인터페이스 영역은 작아지고, 디스플레이부(스크린)의 크기가 작을수록 그리고 측정된 거리가 멀수록 디스플레이부(스크린)의 크기 대비 적정 사용자 인터페이스 영역은 커질 수 있다.At this time, the appropriate user interface area becomes smaller as the size of the display unit (screen) increases and the measured distance becomes shorter, and as the size of the display unit (screen) decreases, the appropriate user interface area becomes smaller and As the measured distance increases, an appropriate user interface area relative to the size of the display unit (screen) may increase.

340동작에서 디스플레이 장치(100)는 사용자가 복수인 경우, 복수의 사용자 각각의 거리를 측정하여 평균한 거리를 측정된 거리로 결정하여 적정 사용자 인터페이스 영역을 계산할 수 있다.In operation 340, when there are a plurality of users, the display apparatus 100 may measure the distances of each of the plurality of users and determine an average distance as the measured distance to calculate an appropriate user interface area.

340동작에서 디스플레이 장치(100)는 사용자가 복수인 경우, 복수의 사용자 중에서 주 사용자를 판단하고, 주 사용자와의 거리를 측정된 거리로 결정하여 적정 사용자 인터페이스 영역을 계산할 수 있다. 이때, 디스플레이 장치(100)는 원격 제어 장치(리모컨)를 가진 사용자를 주 사용자로 결정할 수 있다. 하지만, 주 사용자는 원격 제어 장치(리모컨)를 가진 사용자로 국한하는 것은 아니며, 디스플레이 장치(100)를 기준으로 복수의 사용자 들 중에서 가장 앞에 위치한 사용자, 가장 뒤에 위치한 사용자, 가장 중앙에 위치한 사용자 또는 디스플레이 장치(100)의 중앙에 가장 근접한 사용자 등과 같은 기준으로 주 사용자가 결정될 수도 있다.In operation 340, when there are a plurality of users, the display apparatus 100 may determine a main user from among the plurality of users and calculate an appropriate user interface area by determining a distance to the main user as the measured distance. At this time, the display apparatus 100 may determine a user with a remote control device (remote control) as a main user. However, the main user is not limited to a user with a remote control device (remote control), and a user located at the front, a user at the back, a user at the center, or a display among a plurality of users based on the display device 100. The main user may be determined based on a criterion such as a user closest to the center of the device 100 .

이후, 디스플레이 장치(100)는 스케일 팩터의 적용 여부를 확인한다(350). 이때, 스케일 팩터의 적용 여부는 디스플레이 장치(100)가 출고될 때, 기설정되어 있을 수 있으며, 사용자에 의해서 선택될 수 있다. 그리고, 스케일 팩터는 디스플레이 장치(100)의 디스플레이부(스크린)의 크기를 100% 사용하는 경우를 1로 할 때, 디스플레이 장치(100)의 디스플레이부(스크린)를 통해서 출력되는 화면의 크기를 얼마나 줄이느냐를 나타내는 지표이다.Then, the display device 100 checks whether the scale factor is applied (350). In this case, whether or not to apply the scale factor may be preset when the display device 100 is shipped, and may be selected by the user. In addition, the scale factor is how much the size of the screen output through the display unit (screen) of the display device 100 is set to 1 when the size of the display unit (screen) of the display device 100 is used 100%. It is an indicator of reduction.

350동작의 확인결과 스케일 팩터를 적용하는 것으로 설정된 경우, 디스플레이 장치(100)는 사용자와의 거리를 기반으로 스케일 팩터를 계산한다(360). 이때, 디스플레이 장치(100)는 디스플레이 장치(100)의 디스플레이부(스크린)의 크기와 사용자와의 측정된 거리를 고려하여 스케일 팩터를 계산할 수 있다.As a result of checking operation 350, if it is set to apply the scale factor, the display apparatus 100 calculates the scale factor based on the distance to the user (360). In this case, the display device 100 may calculate a scale factor in consideration of the size of the display unit (screen) of the display device 100 and the measured distance from the user.

360동작에서 디스플레이 장치(100)는 스케일 팩터는 기설정된 계산식을 이용해서 계산할 수도 있고, 디스플레이 장치(100)의 디스플레이부(스크린)의 크기에 따른 측정된 거리 별로 매칭되는 스케일 팩터의 값이 저장된 스케일 팩터 테이블을 참조해서 계산할 수 있다.In operation 360, the scale factor of the display device 100 may be calculated using a preset formula, and the scale factor value matched for each measured distance according to the size of the display unit (screen) of the display device 100 is stored. It can be calculated by referring to the factor table.

이때, 스케일 팩터는 디스플레이부(스크린)의 크기가 클수록 그리고 측정된 거리가 짧을수록 스케일 팩터의 값은 작아지고, 디스플레이부(스크린)의 크기가 작을수록 그리고 측정된 거리가 멀수록 스케일 팩터의 값은 커질 수 있다.At this time, the value of the scale factor decreases as the size of the display unit (screen) increases and the measured distance decreases, and the value of the scale factor decreases as the size of the display unit (screen) decreases and the measured distance increases. can grow

그리고, 디스플레이 장치(100)는 적정 사용자 인터페이스 영역에 스케일 팩터를 적용하여 사용자 인터페이스를 출력한다(370).Then, the display device 100 outputs the user interface by applying the scale factor to the appropriate user interface area (370).

350동작의 확인결과 스케일 팩터를 적용하지 않는 것으로 설정된 경우, 디스플레이 장치(100)는 적정 사용자 인터페이스 영역 내에 사용자 인터페이스의 포커스가 존재하도록 사용자 인터페이스를 출력한다(380).As a result of checking operation 350, if it is set to not apply the scale factor, the display apparatus 100 outputs the user interface so that the focus of the user interface exists within the appropriate user interface area (380).

380동작에서 디스플레이 장치(100)는 적정 사용자 인터페이스 영역의 X축에 오프셋이 설정된 경우, 포커스가 적정 사용자 인터페이스 영역 내에서 Y축 방향의 컨텐츠로는 이동하지만, X축 방향으로는 설정된 오프셋에서 포커스가 이동하지 않고 포커스로 컨텐츠가 이동하는 사용자 인터페이스를 출력할 수 있다.In operation 380, when an offset is set on the X-axis of the appropriate user interface area, the display device 100 moves to the content in the Y-axis direction within the appropriate user interface area, but the focus moves to the content at the set offset in the X-axis direction. A user interface in which the content moves to the focus without moving can be output.

380동작에서 디스플레이 장치(100)는 적정 사용자 인터페이스 영역의 Y축에 오프셋이 설정된 경우, 포커스가 적정 사용자 인터페이스 영역 내에서 X축 방향의 컨텐츠로는 이동하지만, Y축 방향으로는 설정된 오프셋에서 포커스가 이동하지 않고 포커스로 컨텐츠가 이동하는 사용자 인터페이스를 출력할 수 있다.In operation 380, when an offset is set on the Y-axis of the appropriate user interface area, the display device 100 moves to the content in the X-axis direction within the appropriate user interface area, but the focus moves to the content at the set offset in the Y-axis direction. A user interface in which the content moves to the focus without moving can be output.

380동작에서 디스플레이 장치(100)는 적정 사용자 인터페이스 영역의 X축과 Y축에 오프셋이 설정된 경우, X축과 Y축으로는 설정된 오프셋에서 포커스가 이동하지 않고 포커스로 컨텐츠가 이동하는 사용자 인터페이스를 출력할 수 있다.In operation 380, the display device 100 outputs a user interface in which the focus does not move at the set offsets in the X and Y axes and the content moves to the focus when offsets are set in the X and Y axes of the appropriate user interface area. can do.

380동작에서 X축과 Y축의 오프셋은 디스플레이 장치(100)가 출고될 때, 기설정되어 있을 수 있으며, 사용자에 의해서 설정될 수 있다.In operation 380, the offsets of the X and Y axes may be preset when the display apparatus 100 is shipped from the factory, and may be set by the user.

다음으로, 디스플레이 장치(100)와 사용자와의 거리와 사용자의 시야각을 고려해서 사용자 인터페이스를 제어하는 방법을 여러 예제인 도 5에서 도 12를 참조하면서 아래에서 도 4를 통해서 설명한다.Next, a method of controlling the user interface in consideration of the distance between the display apparatus 100 and the user and the user's viewing angle will be described below through FIG. 4 with reference to FIGS. 5 to 12 as examples.

도 4는 일 실시 예에 따른 디스플레이 장치에서 사용자 인터페이스를 제어하는 과정의 다른 예를 도시한 흐름도이다.4 is a flowchart illustrating another example of a process of controlling a user interface in a display device according to an exemplary embodiment.

도 4를 참조하면, 디스플레이 장치(100)는 사용자 인터페이스 출력 이벤트의 발생을 감지하면(410), 디스플레이 장치(100)의 디스플레이부(스크린)와 사용자와의 거리를 측정한다(420). 이때, 사용자 인터페이스 출력 이벤트는 디스플레이 장치(100)가 켜질 때, 또는 사용자가 원격 제어 장치(리모컨) 또는 음성 등으로 사용자 인터페이스를 호출한 경우 발생할 수 있다. Referring to FIG. 4 , when the display device 100 detects the occurrence of a user interface output event (410), it measures the distance between the display unit (screen) of the display device 100 and the user (420). In this case, the user interface output event may occur when the display device 100 is turned on or when the user calls the user interface using a remote control device (remote control) or voice.

420동작에서 디스플레이 장치(100)는 사용자와의 거리를 디스플레이 장치(100)에서 발신한 신호가 사용자에게 도달했다 반사된 시간을 이용해서 측정할 수 있다. 그 외에도 디스플레이 장치(100)는 사용자와의 거리를 디스플레이 장치(100)에 포함된 깊이 이미지 센서를 통해 촬영된 영상을 통해서 측정할 수도 있다. 또한, 디스플레이 장치(100)는 사용자와의 거리를 디스플레이 장치(100)에서 출력된 오디오 신호가 원격 제어 장치(리모컨)에 도달할 때 까지의 시간을 이용해서 측정할 수도 있다. 이때, 사용자와의 거리는 상술한 방법 외에도 다양한 방법을 통해서 측정할 수도 있다.In operation 420, the display apparatus 100 may measure the distance from the user by using the time when the signal transmitted from the display apparatus 100 reaches the user and is reflected. In addition, the display device 100 may measure the distance to the user through an image captured through a depth image sensor included in the display device 100 . Also, the display device 100 may measure the distance from the user by using the time until the audio signal output from the display device 100 reaches the remote control device (remote control). In this case, the distance to the user may be measured through various methods other than the above method.

420동작에서 사용자와의 거리를 측정할 때, 사용자가 복수이면, 디스플레이 장치(100)는 복수의 사용자 각각의 거리를 측정할 수 있다.When measuring the distance to the user in operation 420, if there are a plurality of users, the display apparatus 100 may measure the distance of each of the plurality of users.

그리고, 디스플레이 장치(100)는 사용자의 시야각을 계산한다(430). 이때, 시야각은 상하 시야각과 좌우 시야각을 포함할 수 있다.Then, the display apparatus 100 calculates the viewing angle of the user (430). In this case, the viewing angle may include a vertical viewing angle and a left-right viewing angle.

430동작에서 디스플레이 장치(100)는 카메라부(또는 이미지 센서)를 통해서 사용자를 촬영하고, 촬영된 영상을 통해서 사용자의 양쪽 눈의 위치를 확인하고, 사용자의 눈의 위치와 사용자와의 거리를 기반으로 사용자의 시야각을 계산할 수 있다.In operation 430, the display device 100 photographs the user through the camera unit (or image sensor), checks the position of both eyes of the user through the photographed image, and based on the position of the user's eyes and the distance between the user and the user. to calculate the user's viewing angle.

430동작에서 디스플레이 장치(100)는 사용자가 복수이면, 복수의 사용자 각각의 시야각을 계산할 수 있다.In operation 430, if there are a plurality of users, the display apparatus 100 may calculate viewing angles of each of the plurality of users.

430동작에서 디스플레이 장치(100)는 그리고, 디스플레이 장치(100)는 측정된 거리와 계산된 시야각을 이용해서 적정 사용자 인터페이스 영역을 계산한다(440). 이때, 디스플레이 장치(100)는 디스플레이 장치(100)의 디스플레이부(스크린)의 크기, 사용자와의 측정된 거리 및 계산된 시야각을 고려하여 적정 사용자 인터페이스 영역을 계산할 수 있다. 이처럼, 사용자와의 고정된 디스플레이부(스크린)의 크기를 기준으로 측정된 거리와 계산된 시야각 만을 고려하는 것이 아닌 디스플레이부(스크린)의 크기도 함께 고려하는 것은 디스플레이부(스크린)의 크기가 가변 될 수 있는 디스플레이 장치(100)의 경우 디스플레이부(스크린)의 크기가 변경될 수 있기 때문이다.In operation 430, the display apparatus 100 calculates an appropriate user interface area using the measured distance and the calculated viewing angle (440). In this case, the display device 100 may calculate an appropriate user interface area in consideration of the size of the display unit (screen) of the display device 100, the measured distance from the user, and the calculated viewing angle. In this way, considering not only the distance measured and the calculated viewing angle based on the fixed size of the display unit (screen) with the user, but also considering the size of the display unit (screen), the size of the display unit (screen) is variable. This is because the size of the display unit (screen) of the display device 100 can be changed.

도 5는 일 실시 예에 따른 디스플레이 장치에서 적정 사용자 인터페이스 영역의 너비와 높이를 결정하는 예를 도시한 도면이다.5 is a diagram illustrating an example of determining an appropriate width and height of a user interface area in a display device according to an exemplary embodiment.

도 5를 참조하면, 510의 예제에서 디스플레이 장치(100)는 사용자의 시야각 중에서 좌우 시야각과 사용자와의 거리를 기반으로 적정 사용자 인터페이스 영역의 너비를 결정할 수 있다.Referring to FIG. 5 , in the example of 510 , the display apparatus 100 may determine an appropriate width of the user interface area based on the left and right viewing angles among the user's viewing angles and the distance from the user.

520의 예제에서 디스플레이 장치(100)는 사용자의 시야각 중에서 상하 시야각과 사용자와의 거리를 기반으로 적정 사용자 인터페이스 영역의 높이를 결정할 수 있다.In the example of 520 , the display apparatus 100 may determine an appropriate height of the user interface area based on the upper and lower viewing angles among the user's viewing angles and the distance from the user.

도 6은 일 실시 예에 따른 디스플레이 장치에서 사용자의 눈 높이에 따라서 적정 사용자 인터페이스 영역의 높이가 변경되는 예를 도시한 도면이다.6 is a diagram illustrating an example in which a height of an appropriate user interface region is changed according to a user's eye height in a display device according to an exemplary embodiment.

도 6을 참조하면, 610의 예제에서 디스플레이 장치(100)는 방석에 앉은 사용자의 상하 시야각이 디스플레이 장치(100)의 하단을 향함으로, 적정 사용자 인터페이스 영역이 디스플레이 장치(100)의 디스플레이부의 하단에 위치함을 확인할 수 있다.Referring to FIG. 6 , in the example of 610, the display device 100 has a vertical viewing angle of a user sitting on a cushion toward the bottom of the display device 100, and an appropriate user interface area is located at the bottom of the display unit of the display device 100. location can be verified.

620의 예제에서 디스플레이 장치(100)는 의자에 앉은 사용자의 상하 시야각이 디스플레이 장치(100)의 중단을 향함으로, 적정 사용자 인터페이스 영역이 디스플레이 장치(100)의 디스플레이부의 중단에 위치함을 확인할 수 있다.In the example of 620, the display device 100 can confirm that the user sitting in the chair has a vertical viewing angle toward the middle of the display device 100, so that the appropriate user interface area is located at the middle of the display unit of the display device 100. .

630의 예제에서 디스플레이 장치(100)는 서 있는 사용자의 상하 시야각이 디스플레이 장치(100)의 상단을 향함으로, 적정 사용자 인터페이스 영역이 디스플레이 장치(100)의 디스플레이부의 상단에 위치함을 확인할 수 있다.In the example of 630, the display device 100 can confirm that the user interface area is located at the top of the display unit of the display device 100 because the vertical viewing angle of the standing user is toward the top of the display device 100.

440동작에서 디스플레이 장치(100)는 적정 사용자 인터페이스 영역의 크기를 기설정된 계산식을 이용해서 계산하고, 사용자의 위치와 계산된 시야각에 따라서 적정 사용자 인터페이스 영역의 위치를 결정할 수 있다.In operation 440, the display apparatus 100 may calculate the size of the appropriate user interface area using a preset calculation formula, and determine the location of the appropriate user interface area according to the user's position and the calculated viewing angle.

440동작에서 디스플레이 장치(100)는 디스플레이 장치(100)의 디스플레이부(스크린)의 크기에 따른 측정된 거리와 계산된 시야각에 따라 매칭되는 적정 사용자 인터페이스 영역의 크기가 저장된 적정 UI 테이블을 참조해서 계산할 수 있으며, 사용자의 위치와 계산된 시야각에 따라서 적정 사용자 인터페이스 영역의 위치를 결정할 수 있다.In operation 440, the display apparatus 100 calculates the size of the appropriate user interface area matched according to the measured distance according to the size of the display unit (screen) of the display apparatus 100 and the calculated viewing angle by referring to the appropriate UI table stored therein. According to the location of the user and the calculated viewing angle, the location of the appropriate user interface area may be determined.

440동작에서 디스플레이 장치(100)는 사용자가 복수인 경우, 복수의 사용자 각각에 대한 사용자 인터페이스 영역을 계산하고, 복수의 사용자 각각에 대한 사용자 인터페이스 영역을 모두 합한 영역을 적정 사용자 인터페이스 영역으로 결정할 수도 있다.In operation 440, when there are a plurality of users, the display apparatus 100 may calculate a user interface area for each of the plurality of users and determine an area obtained by summing the user interface areas for each of the plurality of users as an appropriate user interface area. .

440동작에서 디스플레이 장치(100)는 사용자가 복수인 경우, 복수의 사용자 각각에 대한 사용자 인터페이스 영역을 계산하고, 중복된 영역을 적정 사용자 인터페이스 영역으로 결정할 수도 있다.In operation 440, when there are a plurality of users, the display apparatus 100 may calculate a user interface area for each of the plurality of users and determine the overlapped area as an appropriate user interface area.

도 7은 일 실시 예에 따른 디스플레이 장치에서 복수의 사용자를 고려해서 적정 사용자 인터페이스 영역을 설정하는 예를 도시한 도면이다.7 is a diagram illustrating an example of setting an appropriate user interface area in consideration of a plurality of users in a display device according to an exemplary embodiment.

도 7을 참조하면, 710예제에서 디스플레이 장치(100)는 2명의 사용자 각각에 대한 사용자 인터페이스 영역을 모두 합한 영역을 적정 사용자 인터페이스 영역(730)으로 결정함을 확인할 수 있다.Referring to FIG. 7 , in the example of 710 , it can be seen that the display device 100 determines an appropriate user interface area 730 as an area where the user interface areas for each of the two users are combined.

720예제에서 디스플레이 장치(100)는 2명의 사용자 각각에 대한 사용자 인터페이스 영역이 중복되는 영역을 적정 사용자 인터페이스 영역(730)으로 결정함을 확인할 수 있다.In the example 720, it can be confirmed that the display apparatus 100 determines an area where the user interface areas for each of the two users overlap as the appropriate user interface area 730.

440동작에서 디스플레이 장치(100)는 사용자가 복수인 경우, 복수의 사용자 중에서 주 사용자를 판단하고, 주 사용자의 시야각을 계산된 시야각으로 결정하여 적정 사용자 인터페이스 영역을 계산할 수 있다. 이때, 디스플레이 장치(100)는 원격 제어 장치(리모컨)를 가진 사용자를 주 사용자로 결정할 수 있다. 하지만, 주 사용자는 원격 제어 장치(리모컨)를 가진 사용자로 국한하는 것은 아니며, 디스플레이 장치(100)를 기준으로 복수의 사용자 들 중에서 가장 앞에 위치한 사용자, 가장 뒤에 위치한 사용자, 가장 중앙에 위치한 사용자 또는 디스플레이 장치(100)의 중앙에 가장 근접한 사용자 등과 같은 기준으로 주 사용자가 결정될 수도 있다.In operation 440, when there are a plurality of users, the display apparatus 100 may determine a main user from among the plurality of users and calculate an appropriate user interface area by determining the viewing angle of the main user as the calculated viewing angle. At this time, the display apparatus 100 may determine a user with a remote control device (remote control) as a main user. However, the main user is not limited to a user with a remote control device (remote control), and a user located at the front, a user at the back, a user at the center, or a display among a plurality of users based on the display device 100. The main user may be determined based on a criterion such as a user closest to the center of the device 100 .

도 8은 일 실시 예에 따른 디스플레이 장치에서 복수의 사용자 중에서 주 사용자를 선택해서 적정 사용자 인터페이스 영역을 설정하는 예를 도시한 도면이다.8 is a diagram illustrating an example of setting an appropriate user interface area by selecting a main user from among a plurality of users in a display device according to an exemplary embodiment.

도 8을 참조하면, 디스플레이 장치(100)는 2명의 사용자 중에서 오른쪽에 위치한 사용자를 주 사용자를 판단하고, 주 사용자의 시야각을 계산된 시야각으로 결정하여 적정 사용자 인터페이스 영역(830)을 계산함을 확인할 수 있다.Referring to FIG. 8 , it can be confirmed that the display device 100 determines the user located on the right side as the main user among the two users and calculates an appropriate user interface area 830 by determining the viewing angle of the main user as the calculated viewing angle. can

이후, 디스플레이 장치(100)는 스케일 팩터의 적용 여부를 확인한다(450). 이때, 스케일 팩터의 적용 여부는 디스플레이 장치(100)가 출고될 때, 기설정되어 있을 수 있으며, 사용자에 의해서 선택될 수 있다. 그리고, 스케일 팩터는 디스플레이 장치(100)의 디스플레이부(스크린)의 크기를 100% 사용하는 경우를 1로 할 때, 디스플레이 장치(100)의 디스플레이부(스크린)를 통해서 출력되는 화면의 크기를 얼마나 줄이느냐를 나타내는 지표이다.Then, the display device 100 checks whether the scale factor is applied (450). In this case, whether or not to apply the scale factor may be preset when the display device 100 is shipped, and may be selected by the user. In addition, the scale factor is how much the size of the screen output through the display unit (screen) of the display device 100 is set to 1 when the size of the display unit (screen) of the display device 100 is used 100%. It is an indicator of reduction.

450동작의 확인결과 스케일 팩터를 적용하는 것으로 설정된 경우, 디스플레이 장치(100)는 사용자와의 거리를 기반으로 스케일 팩터를 계산한다(460). 이때, 디스플레이 장치(100)는 디스플레이 장치(100)의 디스플레이부(스크린)의 크기와 사용자와의 측정된 거리를 고려하여 스케일 팩터를 계산할 수 있다.As a result of checking operation 450, if it is set to apply the scale factor, the display apparatus 100 calculates the scale factor based on the distance to the user (460). In this case, the display device 100 may calculate a scale factor in consideration of the size of the display unit (screen) of the display device 100 and the measured distance from the user.

도 9는 일 실시 예에 따른 디스플레이 장치에서 스케일 팩터가 적용된 경우와 적용되지 않은 경우 예를 도시한 도면이다.9 is a diagram illustrating examples when a scale factor is applied and when a scale factor is not applied in a display device according to an exemplary embodiment.

도 9를 참조하면, 910예제에서 디스플레이 장치(100)는 스케일 팩터 값이 1이면, 적정 사용자 인터페이스 영역(930)에 사용자 인터페이스의 크기를 줄이지 않고 그대로 출력함을 확인 할 수 있다.Referring to FIG. 9 , in the example of 910, if the scale factor value is 1, it can be seen that the display device 100 outputs the user interface as it is to the appropriate user interface area 930 without reducing the size.

920예제에서 디스플레이 장치(100)는 스케일 팩터 값이 0.75이면, 적정 사용자 인터페이스 영역(930)에 사용자 인터페이스의 크기를 25% 줄여서 출력함을 확인 할 수 있다.In the example 920, if the scale factor value is 0.75, the display device 100 reduces the size of the user interface by 25% and outputs it to the appropriate user interface area 930.

460동작에서 디스플레이 장치(100)는 스케일 팩터는 기설정된 계산식을 이용해서 계산할 수도 있고, 디스플레이 장치(100)의 디스플레이부(스크린)의 크기에 따른 측정된 거리 별로 매칭되는 스케일 팩터의 값이 저장된 스케일 팩터 테이블을 참조해서 계산할 수 있다.In operation 460, the display device 100 may calculate the scale factor using a preset formula, and the scale factor value matched for each measured distance according to the size of the display unit (screen) of the display device 100 is stored. It can be calculated by referring to the factor table.

그리고, 디스플레이 장치(100)는 적정 사용자 인터페이스 영역에 스케일 팩터를 적용하여 사용자 인터페이스를 출력한다(470).Then, the display device 100 outputs the user interface by applying the scale factor to the appropriate user interface area (470).

450동작의 확인결과 스케일 팩터를 적용하지 않는 것으로 설정된 경우, 디스플레이 장치(100)는 적정 사용자 인터페이스 영역 내에 사용자 인터페이스의 포커스가 존재하도록 사용자 인터페이스를 출력한다(480).As a result of checking operation 450, if it is set to not apply the scale factor, the display apparatus 100 outputs the user interface so that the focus of the user interface exists within the appropriate user interface area (480).

480동작에서 디스플레이 장치(100)는 적정 사용자 인터페이스 영역의 X축에 오프셋이 설정된 경우, 포커스가 적정 사용자 인터페이스 영역 내에서 Y축 방향의 컨텐츠로는 이동하지만, X축 방향으로는 설정된 오프셋에서 포커스가 이동하지 않고 포커스로 컨텐츠가 이동하는 사용자 인터페이스를 출력할 수 있다.In operation 480, when an offset is set on the X-axis of the appropriate user interface area, the display device 100 moves to the contents in the Y-axis direction within the appropriate user interface area, but the focus moves to the content at the set offset in the X-axis direction. A user interface in which the content moves to the focus without moving can be output.

도 10은 일 실시 예에 따른 디스플레이 장치에서 적정 사용자 인터페이스 영역의 X축에 오프셋이 설정된 경우 포커스를 제어하는 예를 도시한 도면이다.10 is a diagram illustrating an example of controlling focus when an offset is set on the X-axis of an appropriate user interface area in a display device according to an exemplary embodiment.

도 10을 참조하면, X축에 오프셋이 설정된 경우 Y축으로 포커스의 이동이 가능하기 때문에 디스플레이 장치(100)는 위쪽의 컨텐츠를 선택하는 입력이 감지되면 포커스를 위쪽으로 이동 시킬 수 있다.Referring to FIG. 10 , when an offset is set on the X axis, since the focus can be moved along the Y axis, the display apparatus 100 can move the focus upward when an input for selecting upper content is detected.

하지만, 현재 출력중인 사용자 인터페이스 화면(1010)에서 포커스가 위쪽으로 이동하면 점선으로 표시된 적정 사용자 인터페이스 영역을 벗어 남으로, 디스플레이 장치(100)는 포커스를 위쪽으로 이동하지 않고, 현재의 포커스 위치로 위쪽에 위치한 컨텐츠를 이동 시킬 수 있다.However, if the focus moves upward on the currently displayed user interface screen 1010, the display device 100 does not move the focus upward and moves upward to the current focus position because it is out of the appropriate user interface area indicated by the dotted line. You can move the content located in .

예를 들어, 디스플레이 장치(100)는 위쪽 입력을 감지하면 현재 위치의 포커스에서 2-2 컨텐츠를 1-2 컨텐츠로 변경한 사용자 인터페이스 화면(1020) 또는 사용자 인터페이스 화면(1022)을 출력할 수 있다. 이때, 디스플레이 장치(100)는 컨텐츠를 열(row) 단위로 그룹하지 않도록 설정한 경우 사용자 인터페이스 화면(1020)을 출력하고, 컨텐츠가 열(row) 단위로 그룹하도록 설정한 경우 사용자 인터페이스 화면(1022)을 출력할 수 있다.For example, the display device 100 may output a user interface screen 1020 or a user interface screen 1022 in which content 2-2 is changed to content 1-2 at the focus of the current position when an upward input is sensed. . At this time, the display device 100 outputs the user interface screen 1020 when the content is set not to be grouped by row, and displays the user interface screen 1022 when the content is set to be grouped by row. ) can be output.

X축에 오프셋이 설정된 경우 좌우로는 포커스의 이동이 되지 않기 때문에 디스플레이 장치(100)는 왼쪽 또는 오른쪽의 컨텐츠를 선택하는 왼쪽 입력 또는 오른쪽 입력이 감지되면 포커스를 위치를 변경하지 않고, 왼쪽에 위치한 컨텐츠를 현재 포커스의 위치로 이동시키거나 또는 오른쪽에 위치한 컨텐츠를 현재 포커스의 위치로 이동시킬 수 있다.When an offset is set on the X-axis, since the focus does not move left and right, the display device 100 does not change the position of the focus when a left input or right input for selecting content on the left or right is detected, and the position located on the left The content may be moved to the current focus position or the right content may be moved to the current focus position.

예를 들어, 디스플레이 장치(100)는 왼쪽 입력을 감지하면 현재 위치의 포커스에서 2-2 컨텐츠를 2-1 컨텐츠로 변경한 사용자 인터페이스 화면(1030)을 출력할 수 있다.For example, when detecting a left input, the display device 100 may output the user interface screen 1030 in which the 2-2 content is changed to the 2-1 content at the focus of the current location.

예를 들어, 예를 들어, 디스플레이 장치(100)는 오른쪽 입력을 감지하면 현재 위치의 포커스에서 2-2 컨텐츠를 2-3 컨텐츠로 변경한 사용자 인터페이스 화면(1040)을 출력할 수 있다.For example, when detecting a right input, the display device 100 may output a user interface screen 1040 in which content 2-2 is changed to content 2-3 at the focus of the current position.

X축에 오프셋이 설정된 경우 Y축으로 포커스의 이동이 가능하기 때문에 디스플레이 장치(100)는 아래쪽의 컨텐츠를 선택하는 입력이 감지되면 포커스를 아래쪽으로 이동 시킬 수 있다.Since the focus can be moved along the Y-axis when an offset is set on the X-axis, the display apparatus 100 can move the focus downward when an input for selecting lower content is detected.

예를 들어, 예를 들어, 디스플레이 장치(100)는 아래쪽 입력을 감지하면 현재 위치의 포커스를 2-2 컨텐츠에서 2-3 컨텐츠로 이동한 사용자 인터페이스 화면(1050)을 출력할 수 있다.For example, when detecting a downward input, the display apparatus 100 may output a user interface screen 1050 in which the focus of the current location is moved from content 2-2 to content 2-3.

480동작에서 디스플레이 장치(100)는 적정 사용자 인터페이스 영역의 Y축에 오프셋이 설정된 경우, 포커스가 적정 사용자 인터페이스 영역 내에서 X축 방향의 컨텐츠로는 이동하지만, Y축 방향으로는 설정된 오프셋에서 포커스가 이동하지 않고 포커스로 컨텐츠가 이동하는 사용자 인터페이스를 출력할 수 있다.In operation 480, when an offset is set on the Y-axis of the appropriate user interface area, the display device 100 moves to the contents in the X-axis direction within the appropriate user interface area, but the focus moves to the content at the set offset in the Y-axis direction. A user interface in which the content moves to the focus without moving can be output.

도 11은 일 실시 예에 따른 디스플레이 장치에서 적정 사용자 인터페이스 영역의 Y축에 오프셋이 설정된 경우 포커스를 제어하는 예를 도시한 도면이다.11 is a diagram illustrating an example of controlling focus when an offset is set on the Y-axis of an appropriate user interface area in a display device according to an exemplary embodiment.

도 11을 참조하면, Y축에 오프셋이 설정된 경우 상하로는 포커스의 이동이 되지 않기 때문에 디스플레이 장치(100)는 디스플레이 장치(100)는 위쪽의 컨텐츠를 선택하는 위쪽 입력이 감지되면 현재 출력중인 사용자 인터페이스 화면(1110)에서 포커스를 위치를 변경하지 않고, 위쪽에 위치한 컨텐츠를 현재 포커스의 위치로 이동시킬 수 있다.Referring to FIG. 11, when an offset is set on the Y-axis, the focus does not move vertically, so when the display device 100 detects an upper input for selecting upper content, the user currently outputting the display device 100 On the interface screen 1110, without changing the location of the focus, the content located at the top may be moved to the current focus location.

예를 들어, 디스플레이 장치(100)는 위쪽 입력을 감지하면 현재 위치의 포커스에서 2-2 컨텐츠를 1-2 컨텐츠로 변경한 사용자 인터페이스 화면(1120) 또는 사용자 인터페이스 화면(1122)이 출력할 수 있다. 이때, 디스플레이 장치(100)는 컨텐츠를 열(row) 단위로 그룹하지 않도록 설정한 경우 사용자 인터페이스 화면(1120)을 출력하고, 컨텐츠가 열(row) 단위로 그룹하도록 설정한 경우 사용자 인터페이스 화면(1122)을 출력할 수 있다.For example, the display device 100 can output a user interface screen 1120 or user interface screen 1122 that changes content 2-2 to content 1-2 at the focus of the current position when an upward input is detected. . At this time, the display device 100 outputs a user interface screen 1120 when content is set not to be grouped by row, and displays a user interface screen 1122 when content is set to be grouped by row. ) can be output.

Y축에 오프셋이 설정된 경우 X축으로 포커스의 이동이 가능하기 때문에 디스플레이 장치(100)는 왼쪽의 컨텐츠를 선택하는 입력이 감지되면 포커스를 왼쪽으로 이동 시킬 수 있다.Since the focus can be moved along the X-axis when an offset is set on the Y-axis, the display device 100 can move the focus to the left when an input for selecting content on the left is detected.

하지만, 현재 출력중인 사용자 인터페이스 화면(1110)에서 포커스가 왼쪽으로 이동하면 점선으로 표시된 적정 사용자 인터페이스 영역을 벗어 남으로, 디스플레이 장치(100)는 포커스를 왼쪽으로 이동하지 않고, 현재의 포커스 위치로 왼쪽에 위치한 컨텐츠를 이동 시킬 수 있다.However, if the focus moves to the left on the currently outputting user interface screen 1110, the display device 100 does not move the focus to the left, and moves to the left to the current focus position because it is out of the appropriate user interface area indicated by the dotted line. You can move the contents located in .

예를 들어, 디스플레이 장치(100)는 왼쪽 입력을 감지하면 현재 위치의 포커스에서 2-2 컨텐츠를 2-1 컨텐츠로 변경한 사용자 인터페이스 화면(1130)을 출력할 수 있다.For example, when detecting a left input, the display apparatus 100 may output a user interface screen 1130 in which the 2-2 content is changed to the 2-1 content at the focus of the current position.

Y축에 오프셋이 설정된 경우 X축으로 포커스의 이동이 가능하기 때문에 디스플레이 장치(100)는 오른쪽의 컨텐츠를 선택하는 입력이 감지되면 포커스를 오른쪽으로 이동 시킬 수 있다.Since the focus can be moved along the X-axis when an offset is set on the Y-axis, the display apparatus 100 can move the focus to the right when an input for selecting content on the right is detected.

예를 들어, 예를 들어, 디스플레이 장치(100)는 오른쪽 입력을 감지하면 현재 위치의 포커스를 2-2 컨텐츠에서 2-3 컨텐츠로 이동한 사용자 인터페이스 화면(1140)을 출력할 수 있다.For example, when detecting a right input, the display apparatus 100 may output a user interface screen 1140 in which the focus of the current location is moved from content 2-2 to content 2-3.

Y축에 오프셋이 설정된 경우 상하로는 포커스의 이동이 되지 않기 때문에 디스플레이 장치(100)는 디스플레이 장치(100)는 아래쪽의 컨텐츠를 선택하는 아래쪽 입력이 감지되면 현재 출력중인 사용자 인터페이스 화면(1110)에서 포커스를 위치를 변경하지 않고, 아래쪽에 위치한 컨텐츠를 현재 포커스의 위치로 이동시킬 수 있다.When an offset is set on the Y-axis, the focus does not move vertically, so when the display device 100 detects a downward input for selecting content at the bottom, the display device 100 displays the currently displayed user interface screen 1110. The content positioned below can be moved to the current focus position without changing the position of the focus.

예를 들어, 디스플레이 장치(100)는 아래쪽 입력을 감지하면 현재 위치의 포커스에서 2-2 컨텐츠를 3-2 컨텐츠로 변경한 사용자 인터페이스 화면(1150) 또는 사용자 인터페이스 화면(1152)이 출력할 수 있다. 이때, 디스플레이 장치(100)는 컨텐츠를 열(row) 단위로 그룹하지 않도록 설정한 경우 사용자 인터페이스 화면(1150)을 출력하고, 컨텐츠가 열(row) 단위로 그룹하도록 설정한 경우 사용자 인터페이스 화면(1152)을 출력할 수 있다.For example, the display apparatus 100 can output a user interface screen 1150 or a user interface screen 1152 that changes content 2-2 to content 3-2 at the focus of the current position when a downward input is sensed. . At this time, the display device 100 outputs the user interface screen 1150 when the contents are set not to be grouped in rows, and displays the user interface screen 1152 when the contents are set to be grouped in rows. ) can be output.

480동작에서 디스플레이 장치(100)는 적정 사용자 인터페이스 영역의 X축과 Y축에 오프셋이 설정된 경우, X축과 Y축으로는 설정된 오프셋에서 포커스가 이동하지 않고 포커스로 컨텐츠가 이동하는 사용자 인터페이스를 출력할 수 있다.In operation 480, the display device 100 outputs a user interface in which the focus does not move at the set offsets in the X and Y axes and the content moves to the focus when offsets are set in the X-axis and Y-axis of the appropriate user interface area. can do.

480동작에서 X축과 Y축의 오프셋은 디스플레이 장치(100)가 출고될 때, 기설정되어 있을 수 있으며, 사용자에 의해서 설정될 수 있다.In operation 480, the offsets of the X and Y axes may be preset when the display device 100 is shipped from the factory, and may be set by the user.

도 12는 일 실시 예에 따른 디스플레이 장치에서 적정 사용자 인터페이스 영역의 X축과 Y축에 오프셋이 설정된 경우 포커스를 제어하는 예를 도시한 도면이다.12 is a diagram illustrating an example of controlling a focus when offsets are set in the X-axis and Y-axis of an appropriate user interface area in a display device according to an exemplary embodiment.

도 12를 참조하면, X축과 Y축에 오프셋이 설정된 경우 포커스가 고정되기 디스플레이 장치(100)는 상하좌우 어떤 방향에 위치한 컨텐츠를 선택하는 입력이 감지되어도 현재 출력중인 사용자 인터페이스 화면(1110)에서 포커스를 위치를 변경하지 않고, 선택된 방향에 위치한 컨텐츠를 현재 포커스의 위치로 이동시킬 수 있다.Referring to FIG. 12, when offsets are set on the X and Y axes, the focus is fixed, and the display device 100 does not display the user interface screen 1110 currently outputting even when an input for selecting content located in any direction is detected. Content located in the selected direction can be moved to the current focus position without changing the position of the focus.

예를 들어, 디스플레이 장치(100)는 위쪽 입력을 감지하면 현재 위치의 포커스에서 2-2 컨텐츠를 1-2 컨텐츠로 변경한 사용자 인터페이스 화면(1220) 또는 사용자 인터페이스 화면(1222)이 출력할 수 있다. 이때, 디스플레이 장치(100)는 컨텐츠를 열(row) 단위로 그룹하지 않도록 설정한 경우 사용자 인터페이스 화면(1220)을 출력하고, 컨텐츠가 열(row) 단위로 그룹하도록 설정한 경우 사용자 인터페이스 화면(1222)을 출력할 수 있다.For example, when detecting an upper input, the display apparatus 100 may output a user interface screen 1220 or a user interface screen 1222 that changes content 2-2 to content 1-2 at the focus of the current location. . At this time, the display device 100 outputs a user interface screen 1220 when the content is set not to be grouped in a row unit, and displays a user interface screen 1222 when the content is set to be grouped in a row unit. ) can be output.

예를 들어, 디스플레이 장치(100)는 왼쪽 입력을 감지하면 현재 위치의 포커스에서 2-2 컨텐츠를 2-1 컨텐츠로 변경한 사용자 인터페이스 화면(1230)을 출력할 수 있다.For example, when detecting a left input, the display device 100 may output a user interface screen 1230 in which the 2-2 content is changed to the 2-1 content at the focus of the current location.

예를 들어, 예를 들어, 디스플레이 장치(100)는 오른쪽 입력을 감지하면 현재 위치의 포커스에서 2-2 컨텐츠를 2-3 컨텐츠로 변경한 사용자 인터페이스 화면(1240)을 출력할 수 있다.For example, when detecting a right input, the display apparatus 100 may output a user interface screen 1240 in which content 2-2 is changed to content 2-3 at the focus of the current position.

예를 들어, 디스플레이 장치(100)는 아래쪽 입력을 감지하면 현재 위치의 포커스에서 2-2 컨텐츠를 3-2 컨텐츠로 변경한 사용자 인터페이스 화면(1250) 또는 사용자 인터페이스 화면(1252)이 출력할 수 있다. 이때, 디스플레이 장치(100)는 컨텐츠를 열(row) 단위로 그룹하지 않도록 설정한 경우 사용자 인터페이스 화면(1250)을 출력하고, 컨텐츠가 열(row) 단위로 그룹하도록 설정한 경우 사용자 인터페이스 화면(1252)을 출력할 수 있다.For example, when detecting a downward input, the display apparatus 100 may display a user interface screen 1250 or a user interface screen 1252 that changes content 2-2 to content 3-2 at the focus of the current location. . At this time, the display device 100 outputs a user interface screen 1250 when content is set not to be grouped by row, and displays a user interface screen 1252 when content is set to be grouped by row. ) can be output.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may store program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. The device can be commanded. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited drawings, those skilled in the art can apply various technical modifications and variations based on the above. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

Claims

a display unit that outputs a user interface;
a distance measurement sensor that measures a distance to a user;
a camera unit for capturing an image of the user; and
The user's viewing angle is calculated using the user's image, an appropriate user interface area is calculated using the measured distance and the calculated viewing angle, whether or not a scale factor is applied is checked, and when the scale factor is applied, the A scale factor is calculated based on the measured distance, the user interface is output by applying the scale factor to the appropriate user interface area, and the focus of the user interface is within the appropriate user interface area when the scale factor is not applied. A processor that outputs the user interface so that
A display device comprising a.

According to claim 1,
The distance measuring sensor,
If the user is plural, measuring the distance of each of the plurality of users;
The camera unit,
Taking images of the plurality of users;
the processor,
Calculate a viewing angle for each of the plurality of users in the image of the plurality of users,
Calculating a user interface area of each of the plurality of users using the measured distance and the calculated viewing angle for each of the plurality of users;
An area obtained by summing all user interface areas of each of the plurality of users is determined as the appropriate user interface area; or
Determining an area where the user interface areas of each of the plurality of users overlap is the appropriate user interface area.
display device.

According to claim 1,
The distance measuring sensor,
If the user is plural, measuring the distance of each of the plurality of users;
The image sensor,
Taking an image of each of the plurality of users;
the processor,
determining a main user from among the plurality of users, and calculating a viewing angle of the main user using an image of the main user among images of each of the plurality of users;
Calculating the appropriate user interface area based on the measured distance to the main user and the viewing angle of the main user
display device.

According to claim 3,
the processor,
Determining a user having a remote control among the plurality of users as the main user
display device.

According to claim 1,
the processor,
Calculating the scale factor based on the distance to the user and the size of the display unit when calculating the scale factor
display device.

According to claim 1,
Whether or not the scale factor is applied,
set by the user's choice
display device.

According to claim 1,
the processor,
When outputting the user interface,
When an offset is set in the X-axis of the appropriate user interface area, the focus moves to the content in the Y-axis direction within the appropriate user interface area, but the focus does not move at the set offset in the X-axis direction and the focus To output the user interface in which the content moves to
display device.

According to claim 1,
the processor,
When outputting the user interface,
When an offset is set on the Y-axis of the appropriate user interface area, the focus moves to the content in the X-axis direction within the appropriate user interface area, but the focus does not move at the set offset in the Y-axis direction and the focus To output the user interface in which the content moves to
display device.

According to claim 1,
the processor,
When outputting the user interface,
When offsets are set on the X-axis and Y-axis of the appropriate user interface area, the focus does not move at the set offset on the X-axis and Y-axis and outputs the user interface in which the content moves to the focus
display device.

a display unit that outputs a user interface;
a distance measurement sensor that measures a distance to a user; and
An appropriate user interface area is calculated using the measured distance, whether or not a scale factor is applied is checked, and when the scale factor is applied, a scale factor is calculated based on the measured distance, and the appropriate user interface area is A processor for outputting the user interface by applying a scale factor, and outputting the user interface so that the focus of the user interface exists within the appropriate user interface area when the scale factor is not applied.
A display device comprising a.

According to claim 10,
The distance measuring sensor,
If the user is plural, measuring the distance of each of the plurality of users;
the processor,
Determining an average distance of each of the plurality of users as the measured distance
display device.

According to claim 10,
The distance measuring sensor,
If the user is plural, measuring the distance of each of the plurality of users;
the processor,
Determining a main user from among the plurality of users and determining a distance to the main user as the measured distance
display device.

measuring the distance to the user;
calculating an appropriate user interface area using the measured distance;
Checking whether a scale factor is applied;
when the scale factor is applied, calculating a scale factor based on the distance to the user and outputting a user interface by applying the scale factor to the appropriate user interface region; and
When the scale factor is not applied, outputting the user interface so that the focus of the user interface exists within the appropriate user interface area.
A method for providing a user interface on a display device comprising a.

According to claim 13,
The operation of measuring the distance to the user,
If the user is plural, measuring the distance of each of the plurality of users and determining an average distance as the measured distance
A method of presenting a user interface on a display device.

According to claim 13,
The operation of measuring the distance to the user,
If the user is plural, determining a main user from among the plurality of users and determining a distance to the main user as the measured distance
A method of presenting a user interface on a display device.

According to claim 15,
The operation of measuring the distance to the user,
Determining a user having a remote control among the plurality of users as the main user
A method of presenting a user interface on a display device.

According to claim 13,
An operation of calculating the viewing angle of the user
Including more,
The operation of calculating the appropriate user interface area,
Calculating the appropriate user interface area using the measured distance and the calculated viewing angle
A method of presenting a user interface on a display device.

According to claim 17,
The operation of calculating the user's viewing angle,
If the number of users is plural, calculating the viewing angle of each of the plural users;
The operation of calculating the appropriate user interface area,
Calculating a user interface area for each of the plurality of users, and determining an area obtained by summing the user interface areas for each of the plurality of users as the appropriate user interface area
A method of presenting a user interface on a display device.

According to claim 17,
The operation of calculating the user's viewing angle,
If the number of users is plural, calculating the viewing angle of each of the plural users;
The operation of calculating the appropriate user interface area,
Calculating a user interface area for each of the plurality of users, and determining an overlapping area as the appropriate user interface area
A method of presenting a user interface on a display device.

According to claim 17,
The operation of calculating the user's viewing angle,
When the number of users is plural, determining a main user from among the plurality of users, calculating a viewing angle of the main user, and determining the calculated viewing angle
A method of presenting a user interface on a display device.