KR20180045644A

KR20180045644A - Head mounted display apparatus and method for controlling thereof

Info

Publication number: KR20180045644A
Application number: KR1020160140235A
Authority: KR
Inventors: 원광현; 이재성; 이태미; 김창한; 이은영
Original assignee: 삼성전자주식회사
Priority date: 2016-10-26
Filing date: 2016-10-26
Publication date: 2018-05-04
Also published as: WO2018080202A1

Abstract

A head-mounted display apparatus is disclosed. The apparatus includes a display part for displaying an image, a sensor for generating a signal corresponding to the motion of the display device, a gaze tracking part for tracking the position of a user′s gaze on the image during the motion of the display device corresponding to the signal and generating gaze movement information, and a processor which determines whether to use the signal to determine a user′s dizziness level based on the gaze movement information. The dizziness can be reduced.

Description

BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a head-

본 개시는 머리 착용형 디스플레이 장치 및 그의 제어 방법에 관한 것으로, 더욱 상세하게는, 어지러움을 줄일 수 있는 머리 착용형 디스플레이 장치 및 그의 제어 방법에 대한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a head-mounted display apparatus and a control method thereof, and more particularly, to a head-mounted display apparatus and a control method thereof that can reduce dizziness.

머리 착용형 디스플레이 장치(head mounted display)는 소프트웨어 기술로 구현된 시뮬레이션을 통해 현실과 유사한 가상 현실을 경험할 수 있는 다양한 장치들 중 하나이다. 디스플레이의 크기가 크고 고 해상도를 지원하는 머리 착용형 디스플레이 장치를 착용한 사용자는 센서를 통한 헤드 트랙킹 및 양안에 제공되는 디스플레이를 통해 가상현실을 체험할 수 있었다.The head mounted display is one of various devices that can experience virtual reality similar to reality through simulation implemented by software technology. A user who wears a head-mounted display device having a large display size and high resolution can experience a virtual reality through head tracking through a sensor and a display provided in both sides.

머리 착용형 디스플레이 장치를 착용하고 영상 시청시, 영상의 특성에 따라서 사용자에게 어지러움을 유발시킨다. 그 이유는 영상 정보에 의해 움직임을 느끼는 시각계와 몸의 평형감각을 감지하여 수용하는 전정계가 불일치하기 때문이다. 이러한 시각-전정계 불일치는 어지러움증을 유발시키고, 자세 흔들림을 유발시킨다.Wearing head-type display device and causing dizziness to the user depending on the characteristics of the image when viewing the image. This is because the visual system that senses movement by image information and the sensory system that senses and senses the equilibrium of the body are inconsistent. Such visual - preconditioning mismatch causes dizziness and causes postural fluctuation.

이에 따라, 머리 착용형 디스플레이 장치 사용시 어지러움을 줄일 수 있는 방법에 대한 요구가 있었다.Accordingly, there has been a demand for a method of reducing dizziness when using a head wearable display device.

본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 어지러움을 줄일 수 있는 머리 착용형 디스플레이 장치 및 그의 제어 방법을 제공하기 위한 것이다.DISCLOSURE OF THE INVENTION The present disclosure is intended to solve the above-mentioned problems, and an object of the present disclosure is to provide a head-mounted display device and a control method thereof that can reduce dizziness.

이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치는, 영상을 표시하는 디스플레이부, 상기 디스플레이 장치의 움직임에 대응하는 신호를 생성하는 센서, 상기 신호에 대응하는 상기 디스플레이 장치의 움직임 동안 상기 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성하는 시선 추적부 및 상기 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 상기 시선 이동 정보에 기초하여 결정하는 프로세서를 포함한다.According to an aspect of the present invention, there is provided a head-mounted display apparatus including a display unit for displaying an image, a sensor for generating a signal corresponding to a motion of the display unit, A gaze tracking unit for tracking the position of a user's gaze on the image during movement of the display device to generate gaze movement information, and a processor for determining, based on the gaze movement information, whether to use the signal to determine a user's dizziness level .

이 경우, 상기 프로세서는, 상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 이상인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용하고, 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 사용할 수 있다.In this case, if it is determined that the distance of movement of the line of sight based on the line of sight movement information is equal to or greater than the predetermined distance, the processor may use the signal to determine the dizzy level of the user, The user may use the signal to determine the dizzy level of the user.

한편, 본 개시에 따른 머리 착용형 디스플레이 장치는, 사운드를 출력하는 스피커를 더 포함하며, 상기 프로세서는, 상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 상기 신호를 어지러움 레벨을 결정하는데 이용할지 여부를 상기 신호에 대응하는 디스플레이 장치의 움직임 동안 상기 스피커를 통해 출력되는 사운드에 기초하여 결정할 수 있다.On the other hand, the head-mounted display device according to the present disclosure further includes a speaker for outputting a sound, and the processor, when it is determined that the distance over which the line of sight moves is less than a predetermined distance based on the line- May be determined based on the sound output through the speaker during the movement of the display device corresponding to the signal whether to use it to determine the dizziness level.

이 경우, 상기 프로세서는, 상기 출력된 사운드에 대응하는 주파수와 상기 신호에 대응하는 주파수 간의 연관성 수치가 기 설정된 값 이상이면 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용할 수 있다.In this case, the processor can use the signal to determine the dizzy level of the user if the correlation value between the frequency corresponding to the output sound and the frequency corresponding to the signal is greater than a predetermined value.

한편, 상기 프로세서는, 상기 사용자의 어지러움 레벨에 따라 상기 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하도록 상기 디스플레이부를 제어할 수 있다.Meanwhile, the processor may control the display unit to display the degree of discrimination of some areas of the image lower than the remaining areas according to the dizzy level of the user.

이 경우, 상기 디스플레이부를 통해 표시된 영상이 VR(Virtual Reality) 컨텐츠에 대응하는 전체 영상 내의 일 시점(view point)에 대응하는 영상인 경우, 상기 프로세서는, 상기 센서에서 생성된 신호에 따라 시점이 이동된 영상을 표시하고, 상기 시점이 이동된 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하도록 상기 디스플레이부를 제어할 수 있다.In this case, when the image displayed through the display unit is an image corresponding to a view point in the entire image corresponding to VR (Virtual Reality) contents, The control unit may control the display unit to display an image in which the viewpoint is shifted by lowering the degree of discrimination of a part of the image in the viewpoint.

한편, 상기 프로세서는, 상기 사용자의 어지러움 레벨의 변화에 따라 상기 식별도가 낮춰진 영역의 크기를 변경하도록 상기 디스플레이부를 제어할 수 있다.Meanwhile, the processor may control the display unit to change the size of the region where the degree of discrimination is lowered in accordance with a change in the user's dizziness level.

한편, 상기 식별도가 낮춰진 영역은, 상기 표시된 영상 중 상기 사용자 시선이 검출된 영역 이외의 영역일 수 있다.Meanwhile, the area where the discrimination degree is lowered may be an area other than the area where the user's sight line is detected among the displayed images.

한편, 상기 프로세서는, 상기 영상을 복수의 블럭으로 구분하고, 복수의 블럭 각각의 모션 정보에 기초하여 상기 복수의 블럭 중 어지러움 유발도가 최소인 블럭을 선택하며, 상기 식별도가 낮춰진 영역은, 상기 표시된 영상 중 상기 선택된 블럭에 대응하는 영역 이외의 영역일 수 있다.Meanwhile, the processor may divide the image into a plurality of blocks, select a block having the minimum degree of dizziness induction among the plurality of blocks based on motion information of each of the plurality of blocks, , And may be an area other than the area corresponding to the selected block among the displayed images.

한편, 상기 식별도가 낮춰진 영역은, 블러 필터(Blur Filter)가 적용된 영역일 수 있다.On the other hand, the area where the discrimination degree is lowered may be a region to which a blur filter is applied.

한편, 상기 디스플레이부를 통해 표시된 영상이 VR(Virtual Reality) 컨텐츠에 대응하는 전체 영상 중 일부 영상인 경우, 상기 프로세서는, 상기 VR 컨텐츠에 대응하는 전체 영상 중 상기 디스플레이부를 통해 표시되지 않은 일부 영상을 복수의 블럭으로 구분하고, 상기 복수의 블럭 각각의 모션 정보에 기초하여 상기 복수의 블럭 중 어지러움 유발도가 최소인 블럭을 선택하고, 상기 선택된 블럭이 위치한 방향으로 사용자 시선을 유도하는 UI 요소를 표시하도록 상기 디스플레이부를 제어할 수 있다.Meanwhile, when the image displayed through the display unit is a part of the entire image corresponding to the VR (Virtual Reality) content, the processor may convert a part of the entire image corresponding to the VR content, which is not displayed through the display unit, And a UI element for selecting a block having the minimum degree of dizziness induction among the plurality of blocks based on the motion information of each of the plurality of blocks and for guiding the user's gaze in a direction in which the selected block is located The display unit can be controlled.

이 경우, 상기 프로세서는, 상기 사용자의 어지러움 레벨의 변화에 따라 상기 UI 요소의 크기를 변경하도록 상기 디스플레이부를 제어할 수 있다.In this case, the processor may control the display unit to change the size of the UI element according to the change of the user's dizziness level.

한편, 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 제어방법은, 영상을 표시하는 단계, 상기 디스플레이 장치의 움직임에 대응하는 신호를 생성하는 단계 및 상기 신호에 대응하는 상기 디스플레이 장치의 움직임 동안 상기 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성하는 단계 및 상기 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 상기 시선 이동 정보에 기초하여 결정하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of controlling a head-mounted display apparatus, the method comprising: displaying an image; generating a signal corresponding to the motion of the display apparatus; Tracking the position of a user's gaze on the image to generate gaze movement information, and determining whether to use the signal to determine a user's gaze level based on the gaze movement information.

이 경우, 상기 결정하는 단계는, 상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 이상인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용하는 것으로 결정하고, 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 사용하는 것으로 결정할 수 있다.In this case, the determining step may determine that the signal is not used to determine the dizzy level of the user if it is determined based on the gaze movement information that the gaze movement distance is equal to or greater than a predetermined distance, If it is determined that the distance is less than the predetermined distance, it may be determined to use the signal to determine the dizzy level of the user.

한편, 상기 디스플레이 장치는 사운드를 출력하는 스피커를 포함하며, 상기 결정하는 단계는, 상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 상기 신호를 어지러움 레벨을 결정하는데 이용할지 여부를 상기 신호에 대응하는 디스플레이 장치의 움직임 동안 상기 스피커를 통해 출력되는 사운드에 기초하여 결정할 수 있다.The display device may include a speaker for outputting a sound, and the determining may include determining, based on the gaze movement information, that the distance that the line of sight moves is less than a preset distance, Based on the sound output through the speaker during the movement of the display device corresponding to the signal.

이 경우, 상기 결정하는 단계는, 상기 출력된 사운드에 대응하는 주파수와 상기 신호에 대응하는 주파수 간의 연관성 수치가 기 설정된 값 이상이면 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용하는 것으로 결정할 수 있다.In this case, the determining may determine that the signal is not used to determine a user's dizziness level if the association value between the frequency corresponding to the output sound and the frequency corresponding to the signal is greater than a predetermined value.

한편, 본 개시에 따른 머리 착용형 디스플레이 장치의 제어방법은, 상기 사용자의 어지러움 레벨에 따라 상기 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided a method of controlling a head-mounted display apparatus, the method further comprising the step of displaying the degree of discrimination of a portion of the image lower than the remaining region according to a level of the user's dizziness.

이 경우, 상기 표시된 영상이 VR(Virtual Reality) 컨텐츠에 대응하는 전체 영상 내의 일 시점(view point)에 대응하는 영상인 경우, 상기 표시하는 단계는, 상기 생성된 신호에 따라 시점이 이동된 영상을 표시하고, 상기 시점이 이동된 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시할 수 있다.In this case, when the displayed image is an image corresponding to a view point in the entire image corresponding to VR (Virtual Reality) contents, the displaying step may include displaying the image shifted according to the generated signal And the degree of discrimination of some of the images in which the viewpoint has been shifted can be displayed lower than the remaining area.

한편, 상기 표시하는 단계는, 상기 사용자의 어지러움 레벨의 변화에 따라 상기 식별도가 낮춰진 영역의 크기를 변경할 수 있다.Meanwhile, the displaying step may change the size of the region where the degree of discrimination is lowered according to the change of the user's dizziness level.

한편, 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 제어방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 제어방법은, 영상을 표시하는 단계, 상기 디스플레이 장치의 움직임에 대응하는 신호를 생성하는 단계 및 상기 신호에 대응하는 상기 디스플레이 장치의 움직임 동안 사용자의 시선의 위치를 추적하여 시선 이동 정보를 생성하는 단계 및 상기 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 상기 시선 이동 정보에 기초하여 결정하는 단계를 포함한다.According to another aspect of the present invention, there is provided a computer-readable medium including a program for executing a method of controlling a head-mounted display apparatus according to an embodiment of the present disclosure, the method comprising: displaying an image; Generating a signal corresponding to the signal and tracking the position of the user's gaze during movement of the display device corresponding to the signal to generate gaze movement information and determining whether to use the signal to determine a user's dizziness level Based on the gaze movement information.

도 1은 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치를 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 구성을 설명하기 위한 도면,
도 3 내지 도 6은 특정 영상을 피험자에게 보여줬을 때 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 자이로 센서에서 생성된 신호를 나타낸 도면,
도 7 내지 도 9는 본 개시의 다양한 실시 예에 따른 사용자의 어지러움 레벨을 결정하는 방법을 설명하기 위한 흐름도,
도 10 내지 도 11은 본 개시의 다양한 실시 예에 따라 어지러움 저감 처리가 된 영상을 도시한 도면,
도 12 내지 도 15는 어지러움 미유발 위치에 대한 정보 제공 방법의 다양한 실시 예를 설명하기 위한 도면, 그리고
도 16은 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 제어방법을 설명하기 위한 도면이다.1 is a view for explaining a head-mounted display device according to an embodiment of the present disclosure,
FIG. 2 is a view for explaining a configuration of a head-worn type display device according to an embodiment of the present disclosure;
FIGS. 3-6 illustrate signals generated by a gyro sensor of a head-mounted display device according to an embodiment of the present disclosure when a specific image is shown to a subject,
FIGS. 7-9 are flow charts illustrating a method for determining a user's dizziness level according to various embodiments of the present disclosure;
Figures 10-11 illustrate an image subjected to dizziness reduction processing according to various embodiments of the present disclosure;
FIGS. 12 to 15 are diagrams for explaining various embodiments of a method for providing information on dizziness non-induced positions, and FIGS.
16 is a view for explaining a method of controlling a head-mounted display apparatus according to an embodiment of the present disclosure.

본 개시를 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술 되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관계 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present disclosure rather unclear. The terms used below are defined in consideration of the functions in this disclosure, and this may vary depending on the intention of the user, the operator, or the like. Therefore, the definition should be based on the contents throughout this specification.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms first, second, etc. may be used to describe various elements, but the elements should not be limited by terms. Terms are used only for the purpose of distinguishing one component from another.

본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to limit the scope of the rights. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, the terms "comprise", "comprising" and the like are used to specify that there is a stated feature, number, step, operation, element, component, or combination thereof, But do not preclude the presence or addition of features, numbers, steps, operations, components, parts, or combinations thereof.

실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.In the embodiment, 'module' or 'sub' performs at least one function or operation, and may be implemented in hardware or software, or a combination of hardware and software. In addition, a plurality of 'modules' or a plurality of 'parts' may be integrated into at least one module except for 'module' or 'module' which needs to be implemented by specific hardware, and may be implemented by at least one processor.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to embodiments of the present disclosure, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout. However, the present disclosure may be embodied in many different forms and is not limited to the embodiments described herein. In order that the present disclosure may be more fully understood, the same reference numbers are used throughout the specification to refer to the same or like parts.

이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하기로 한다. Hereinafter, the present disclosure will be described in more detail with reference to the drawings.

도 1은 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치를 나타내는 개략적인 도면이다.1 is a schematic view showing a head-mounted display apparatus according to an embodiment of the present disclosure;

도 1을 참조하면, 머리 착용형 디스플레이 장치(100)의 내부에 사용자의 눈과 마주보는 곳에 디스플레이부(110)가 위치한다. 디스플레이부(110)는 머리 착용형 디스플레이 장치(100)의 외부에선 보이지 않고, 내부에서만 보이도록 배치되어 있을 수 있다.Referring to FIG. 1, a display unit 110 is positioned inside a head-mounted display device 100 at a position facing a user's eyes. The display unit 110 may not be visible to the outside of the head-mounted display apparatus 100 but may be disposed so as to be visible only from the inside.

도 1을 참조하면, 머리 착용형 디스플레이 장치(100)의 디스플레이부(110)에 표시되는 화면(111)의 예를 표시하였다. 디스플레이부(110)에 표시되는 화면(111)은 VR(Virtual Reality) 컨텐츠(또는 가상현실 컨텐츠)에 대응하는 전체 영상 중 일 시점에 대응하는 영상일 수 있다. Referring to FIG. 1, an example of a screen 111 displayed on the display unit 110 of the head-mounted display apparatus 100 is shown. The screen 111 displayed on the display unit 110 may be an image corresponding to one of the entire images corresponding to VR (Virtual Reality) contents (or virtual reality contents).

VR 컨텐츠란, 여러 시점(view point)을 가진 영상으로서, 예컨대, 하나의 카메라를 이동시켜 가며 촬영한 복수의 영상을 결합하여 생성된 영상이거나, 여러 대의 카메라로 같은 공간의 다른 시점에서 촬영한 복수의 영상을 결합하여 생성된 영상이거나, 화각이 넓은 한 대의 카메라로 촬영한 영상일 수 있다. 또한, 반드시 카메라로 촬영된 영상에 제한되는 것은 아니고, 예컨대 게임 영상과 같이 인위적으로 제작된 컨텐츠도 VR 컨텐츠에 해당될 수 있다. 한편, 영상은, 정지 영상과 동영상을 모두 포함할 수 있는 개념이다.The VR content is an image having a plurality of view points, for example, a video generated by combining a plurality of videos photographed while moving one camera, or a plurality of videos photographed at different points in the same space with a plurality of cameras Or an image captured by one camera having a wide angle of view. Furthermore, the present invention is not limited to images captured by a camera. For example, artificially created contents such as a game image may correspond to VR contents. On the other hand, an image is a concept that can include both a still image and a moving image.

VR 컨텐츠 중엔, 360도의 뷰를 가지는 영상이 있다. 360도의 뷰를 가지는 영상이란, 시작단과 끝단이 동일한 영상을 의미하는 것으로서, 구형 영상, 전 방향 영상 등 다양한 이름으로 불릴 수 있다.Among the VR contents, there is a video having a 360 degree view. An image having a 360-degree view means an image in which the start and end are the same, and may be referred to as various names such as a spherical image and an omnidirectional image.

머리 착용형 디스플레이 장치(100)의 적어도 하나의 센서는 사용자 머리의 움직임을 검출할 수 있다. 따라서, 예컨대 머리 착용형 디스플레이 장치(100)를 착용한 사용자가 머리의 방향을 바꾸면, VR 컨텐츠에 대응하는 전체 영상 중 머리 방향에 대응하는 시점의 영상이 디스플레이부(110)를 통해 표시될 수 있다. 또한, 예컨대 사용자가 머리 착용형 디스플레이 장치(100)를 착용하고 걸어가면, 사용자는 디스플레이부(110)에서 보이는 영상 내의 사물에 가까이 다가가는 것과 같은 체험을 할 수 있다.At least one sensor of the head-mounted display device 100 can detect movement of the user's head. Therefore, for example, when a user wearing the head-mounted display apparatus 100 changes the direction of the head, an image at a time point corresponding to the head direction among the entire images corresponding to the VR contents can be displayed through the display unit 110 . In addition, for example, when the wearer walks wearing the head-wear display device 100, the user can experience an experience of approaching objects in the image viewed from the display unit 110. [

한편, 본 개시의 머리 착용형 디스플레이 장치(100)는 도 1에 도시한 것처럼 머리에 고정시킬 수 있는 구조까지 포함하는 것일 수 있다. 또는, 본 개시의 머리 착용형 디스플레이 장치(100)는 머리에 고정시킬 수 있는 구조에 장착, 탈착될 수 있는 장치로 구현될 수도 있다. 이 경우, 예컨대 본 개시의 머리 착용형 디스플레이 장치(100)는 디스플레이 기능을 가지는 스마트폰과 같은 휴대용 기기일 수 있다. 또 한편, 본 개시의 머리 착용형 디스플레이 장치(100)는 디스플레이 구성은 포함하지 않고, 외부의 디스플레이 장치와 연결될 수 있는 형태로도 구현될 수 있다. 이 경우, 외부의 디스플레이 장치와 연결되기 위한 무선 또는 유선 통신부를 구비할 수 있다.On the other hand, the head-mounted display apparatus 100 of the present disclosure may include a structure that can be fixed to the head as shown in Fig. Alternatively, the head-mounted display device 100 of the present disclosure may be embodied as an apparatus that can be mounted and detached in a structure that can be fixed to the head. In this case, for example, the head-mounted display apparatus 100 of the present disclosure may be a portable apparatus such as a smart phone having a display function. On the other hand, the head-mounted display apparatus 100 of the present disclosure does not include a display configuration, but can be implemented in a form that can be connected to an external display apparatus. In this case, a wireless or wired communication unit for connecting with an external display device may be provided.

도 2는 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 구성을 설명하기 위한 도면이다.FIG. 2 is a view for explaining a configuration of a head-mounted display device according to an embodiment of the present disclosure.

도 2를 참고하면, 머리 착용형 디스플레이 장치(100)는 디스플레이부(110), 센서(120), 시선 추적부(130) 및 프로세서(140)를 포함한다.Referring to FIG. 2, the head-mounted display apparatus 100 includes a display unit 110, a sensor 120, a gaze tracking unit 130, and a processor 140.

디스플레이부(110)는 영상을 표시하기 위한 구성이다. 여기서 영상은 정지 영상과 동영상을 모두 포함하는 개념이다. 예컨대 디스플레이부(110)는 액정 디스플레이(LCD) 방식, 유기 발광 다이오드(Organic LED) 방식, LED 방식 등으로 영상을 표시할 수 있다. The display unit 110 is configured to display an image. Here, the concept is to include both still images and moving images. For example, the display unit 110 may display an image using a liquid crystal display (LCD) method, an organic light emitting diode (OLED) method, an LED method, or the like.

디스플레이부(110)는 VR 컨텐츠에 대응하는 전체 영상 내의 일 시점에 대응하는 영상을 표시할 수 있고, 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 움직임에 따라 표시되는 영상의 시점이 변경될 수 있다.The display unit 110 may display an image corresponding to one point in the entire image corresponding to the VR contents and may change the viewpoint of the displayed image according to the movement of the user wearing the head- .

센서(120)는 머리 착용형 디스플레이 장치(100)의 움직임에 대응하는 신호를 생성하는 구성이다. The sensor 120 generates a signal corresponding to the movement of the head-mounted display apparatus 100. [

센서(120)는 머리 착용형 디스플레이 장치(100)의 기울기를 감지하여 그에 대응하는 신호를 생성하는 자이로 센서, 머리 착용형 디스플레이 장치(100)의 이동 상태를 감지하여 그에 대응하는 신호를 생성하는 가속도 센서, 머리 착용형 디스플레이 장치(100)에 대한 중력의 작용 방향을 감지하여 그에 대응하는 신호를 생성하는 중력 센서(Gravity Sensor), 대기의 압력을 측정하여 고도를 감지하고 그에 대응하는 신호를 생성하는 고도계(Altimeter) 등과 같은 다양한 센서들 중 적어도 어느 하나를 포함할 수 있다.The sensor 120 may include a gyro sensor for sensing a tilt of the head-mounted display device 100 and generating a signal corresponding thereto, an acceleration sensor 130 for sensing a moving state of the head-mounted display device 100 and generating a signal corresponding thereto, A gravity sensor for sensing a direction of gravity acting on the head-mounted display device 100 and generating a signal corresponding to the sensed direction, a pressure sensor for measuring an atmospheric pressure to generate a signal corresponding thereto, An altimeter, and the like.

시선 추적부(130)는 디스플레이부(110)에 표시된 영상의 어느 부분을 사용자가 바라보고 있는지, 영상 상에서 사용자의 시선의 위치가 어디로 이동하는지에 관한 정보인 시선 이동 정보를 생성할 수 있는 구성이다.The gaze tracking unit 130 is configured to generate gaze movement information, which is information on which part of the image displayed on the display unit 110 is viewed by the user and where the position of the user's gaze on the image moves .

일 예로, 머리 착용형 디스플레이 장치(100)는 적외선을 발생하는 적외선 발광 장치와 피사체를 촬영하는 카메라를 포함할 수 있고, 시선 추적부(130)는 상기 적외선 발광 장치와, 상기 카메라를 제어할 수 있다. 시선 추적부(130)는 카메라 및 적외선 발광 장치와 같이 시선 검출에 필요한 장치를 포함하는 모듈일 수 있다. For example, the head-mounted display device 100 may include an infrared light-emitting device for generating infrared rays and a camera for photographing a subject, and the eye-gaze tracking unit 130 may include the infrared light- have. The gaze tracking unit 130 may be a module including a camera and an apparatus necessary for line of sight detection such as an infrared light emitting apparatus.

상기 적외선 발광 장치가 배치된 위치는 머리 착용형 디스플레이 장치(100)에서 사용자의 눈에 적외선이 조사될 수 있는 위치일 수 있고, 카메라가 배치된 위치는 머리 착용형 디스플레이 장치(100)에서 사용자의 눈을 촬영할 수 있는 위치일 수 있다. 그리고 상기 적외선 발광 장치는 시선 추적부(130)의 제어에 따라 디스플레이부(110)에 표시된 영상을 바라보고 있는 사용자 눈에 적외선을 조사할 수 있고, 상기 카메라는 시선 추적부(130)의 제어에 따라, 상기 적외선이 조사된 눈을 촬영할 수 있는데, 이때 촬영된 영상에선 사용자의 각막에서 반사된 적외선이 나타난다. 시선 추적부(130)는 촬영된 영상에서 사용자의 각막에서 반사된 적외선의 위치에 기초하여 홍채와 동공을 구분하여 동공을 검출하고, 이로부터 영상 상에서 시선의 위치를 검출할 수 있으며, 연속된 영상 프레임들에서 각각 검출된 시선의 위치의 이동 경로를 추적하여 시선 이동 정보를 생성할 수 있다.The position where the infrared light emitting device is disposed may be a position where the infrared light can be irradiated to the user's eyes in the head wear display device 100, It can be a position where the eye can be photographed. The IR light emitting device may emit infrared rays to the user's eye looking at the image displayed on the display unit 110 under the control of the eye tracking unit 130, Accordingly, the infrared-irradiated eye can be photographed. At this time, infrared rays reflected from the user's cornea appear on the photographed image. The gaze tracking unit 130 can detect the pupil by classifying the iris and the pupil based on the position of the infrared ray reflected from the cornea of the user in the photographed image, detect the position of the gaze on the image from the pupil, The gaze movement information can be generated by tracking the movement path of the position of the line of sight detected in each of the frames.

또 다른 실시 예에선 디스플레이 장치(100)는 피사체를 촬영하는 카메라를 포함할 수 있고, 시선 추적부(130)는 상기 카메라를 제어할 수 있다. 시선 추적부(130)는 카메라와 같이 시선 검출에 필요한 장치를 포함하는 모듈일 수 있다. In another embodiment, the display apparatus 100 may include a camera for photographing a subject, and the gaze tracking unit 130 may control the camera. The gaze tracking unit 130 may be a module including a device necessary for gaze detection such as a camera.

카메라가 배치된 위치는 머리 착용형 디스플레이 장치(100)에서 사용자의 눈을 촬영할 수 있는 위치일 수 있다. 시선 추적부(130)는 사용자의 눈을 촬영한 영상에서 객체의 특징을 찾는 기법(예컨대, Haar-like features)을 이용하여 눈의 위치를 검출하고, 가장자리 검출(edge detection) 기법을 이용하여 눈의 위치에서 홍채와 동공을 검출하고, 홍채와 동공의 상대적인 위치에 기반하여 디스플레이부(110)에 표시된 영상 상에서 사용자의 시선의 위치를 검출할 수 있다. 그리고 시선 추적부(130)는 촬영 영상의 연속된 프레임에서 각각 검출된 시선의 위치의 이동 경로를 추적하여 시선 이동 정보를 생성할 수 있다.The position where the camera is disposed may be a position where the user's eyes can be photographed in the head-mounted display apparatus 100. [ The gaze tracking unit 130 detects the position of the eye using a technique of finding the feature of the object (e.g., Haar-like features) in the image of the user's eye, and detects the position of the eye using the edge detection technique. The position of the user's eyes can be detected on the image displayed on the display unit 110 based on the relative positions of the irises and the pupil. The gaze-tracking unit 130 may generate gaze movement information by tracking the movement path of the position of the gaze detected in each successive frame of the photographed image.

상술한 방법 이외에도 알려진 다양한 시선 추적 기술이 시선 추적부(130)에 적용될 수 있다.In addition to the above-described methods, various known line-of-sight tracking techniques can be applied to the eye-gaze tracking unit 130. [

특히, 시선 추적부(130)는 센서(120)에서 생성된 신호에 대응하는 머리 착용형 디스플레이 장치(100)의 움직임이 있는 동안 디스플레이부(110)에서 표시되는 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성할 수 있다. 따라서, 머리 착용형 디스플레이 장치(100)를 착용한 사용자가 움직이는 동안 그 사용자의 시선의 위치는 어떻게 변화하였는지에 대한 정보가 얻어질 수 있다. In particular, the gaze tracking unit 130 tracks the position of the user's gaze on the image displayed on the display unit 110 during the movement of the head-mounted display apparatus 100 corresponding to the signal generated by the sensor 120 Eye movement information can be generated. Accordingly, information as to how the position of the user's gaze has changed while the user wearing the head wearable display device 100 is moving can be obtained.

한편, 시선 추적부(130)와 프로세서(140)를 별개의 구성인 것처럼 도시 및 설명하였으나, 실시 예에 따라서는 시선 추적부(130)는 생략되고, 시선 추적부(130)의 기능은 프로세서(140)가 수행할 수도 있다. Although the gaze tracking unit 130 and the processor 140 are illustrated as separate components, the gaze tracking unit 130 may be omitted and the gaze tracking unit 130 may function as a processor 140 may be performed.

프로세서(140)는 머리 착용형 디스플레이 장치(100)의 구성을 전반적으로 제어할 수 있다. 프로세서(140)는 CPU, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 이상에서는 프로세서(140)가 하나의 CPU만을 포함하는 것으로 설명하였지만, 복수의 CPU(또는 DSP 등)을 포함할 수 있다.The processor 140 can control overall configuration of the head-mounted display device 100. [ The processor 140 may include a CPU, a RAM, a ROM, and a system bus. In the above description, the processor 140 includes only one CPU, but may include a plurality of CPUs (or DSPs).

프로세서(140)는 센서(120)에서 머리 착용형 디스플레이 장치(100)의 움직임에 대응하여 생성된 신호 및 시선 추적부(130)를 통해 생성된 시선 이동 정보 중 적어도 하나에 기초하여 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 어지러움 레벨(또는 정도)을 결정할 수 있다.Based on at least one of the signal generated in response to the movement of the head-mounted display device 100 in the sensor 120 and the gaze movement information generated through the gaze tracking unit 130, The degree (or degree) of dizziness of the user wearing the device 100 can be determined.

사용자는 어지러움을 느끼는 동안 자신도 모르게 몸이 흔들린다. 따라서 프로세서(140)는 센서(120)에서 생성된 신호에 기초하여 사용자의 어지러움 레벨을 결정할 수 있다.While the user feels dizzy, the user shakes himself without knowing. Thus, the processor 140 may determine the dizzy level of the user based on the signal generated at the sensor 120. [

일 실시 예에 따르면, 프로세서(140)는 센서(120)에 포함된 자이로 센서를 통해 획득된 Yaw 데이터, Pitch 데이터, Roll 데이터 중, Pitch 데이터와 Roll 데이터에 기초하여 어지러움 레벨을 결정할 수 있다. 구체적으로 프로세서(140)는 시간 도메인의 Pitch 데이터와 Roll 데이터를 주파수 도메인으로 변환하고, 변환된 값들 중에서 크기(amplitude)가 가장 큰 주파수 값을 선택한다. 프로세서(140)는 선택된 주파수 값이 기 설정된 주파수 값보다 크다면, 어지러움 증이 있는 것으로 판단한다. 1Hz 이상의 몸 흔들림은 어지럼증에 의한 것이라는 연구 결과에 기초하였을 때, 상기 기 설정된 주파수 값은 1Hz일 수 있다. 그리고 프로세서(140)는 어지러움 증이 있는 것으로 판단한 경우, 상기 선택된 주파수의 크기에 대응하는 어지러움 레벨을 결정할 수 있다.According to one embodiment, the processor 140 may determine the dizziness level based on the pitch data and the roll data among the Yaw data, pitch data, and roll data obtained through the gyro sensor included in the sensor 120. [ Specifically, the processor 140 converts the pitch data and the roll data in the time domain into the frequency domain, and selects a frequency value having the largest amplitude among the converted values. If the selected frequency value is greater than the preset frequency value, the processor 140 determines that there is dizziness. When the body swing of 1 Hz or more is based on the research result that it is caused by dizziness, the predetermined frequency value may be 1 Hz. If the processor 140 determines that there is dizziness, the processor 140 may determine a dizziness level corresponding to the magnitude of the selected frequency.

도 3 내지 도 6은 특정 영상을 피험자에게 보여줬을 때 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치(100)의 센서에서 생성된 신호를 나타낸 것이다.3 to 6 show signals generated in the sensor of the head-mounted display device 100 according to an embodiment of the present disclosure when a specific image is shown to a subject.

구체적으로, 도 3은 피험자가 앉아 있는 동안에 피험자에게 어지러움을 유발하는 영상을 보여줬을 때의 결과이고, 도 4는 피험자가 앉아 있는 동안에 피험자에게 어지러움을 유발하지 않는 영상을 보여줬을 때의 결과이고, 도 5는 피험자가 서있는 동안에 피험자에게 어지러움을 유발하는 영상을 보여줬을 때의 결과이고, 도 6은 피험자가 서있는 동안에 피험자에게 어지러움을 유발하지 않는 영상을 보여줬을 때의 결과이다. More specifically, FIG. 3 shows the result when the subject showed an image causing dizziness while the subject was sitting, FIG. 4 shows the result when the subject showed an image that did not cause dizziness while the subject was sitting, Fig. 5 shows the result when the subject showed a motion causing the dizziness to the subject during standing, and Fig. 6 shows the result when the subject showed an image that did not cause dizziness while the subject was standing.

도 3 내지 도 6을 참고하였을 때, 앉아 있는 경우나 서있는 경우나 모두 어지러움 유발 영상에선 자세의 흔들림 정도가 높고, 어지러움 미유발 영상에는 자세 흔들림 정도가 낮음을 알 수 있다. 이러한 데이터에 기초하여 프로세서(140)는 어지러움 레벨을 결정할 수 있다.Referring to FIGS. 3 to 6, it can be seen that both the sitting and standing states have a high degree of shaking in the dizziness induced image and a low degree of the standing shake in the dizziness non-induced image. Based on this data, the processor 140 may determine the dizziness level.

또 한편, 안구 운동 진폭(Saccade amplitude)은 주관적 어지러움과 관계가 있다. 시선의 이동 거리가 클수록, 어지러움 정도가 강하다. 따라서, 프로세서(140)는 시선 추적부(130)에서 생성된 시선 이동 정보에 기초하여 사용자의 어지러움 레벨을 결정할 수 있다.On the other hand, the amplitude of saccade (saccade amplitude) is related to subjective dizziness. The greater the distance traveled, the stronger the dizziness. Accordingly, the processor 140 can determine the dizzy level of the user based on the gaze movement information generated by the gaze tracking unit 130. [

이상에선 센서(120)에서 생성된 신호와 시선 이동 정보 각각을 이용하여 어지러움 레벨을 결정하는 것으로 설명하였으나, 이 둘의 조합으로 어지러움 레벨을 결정하는 것도 가능하다. 일 예로, 센서(120)에서 생성된 신호에 기초하여 결정된 어지러움 레벨과, 시선 이동 정보에 기초하여 결정된 어지러움 레벨의 평균이 최종 어지러움 레벨로 결정될 수 있다.In the above description, it has been described that the dizzy level is determined by using the signal generated by the sensor 120 and the eye movement information, respectively, but it is also possible to determine the dizzy level by a combination of the two. In one example, an average of the dizziness level determined based on the signal generated by the sensor 120 and the dizziness level determined based on the eye movement information may be determined as the final dizziness level.

한편, 센서(120)에서 생성되는 신호는 어지러움에 의한 움직임에 대응되는 것일 수도 있지만, 사용자의 의도적인 움직임에 대응하는 것일 수도 있다. 따라서, 사용자의 의도적인 움직임에 대응하여 센서(120)에서 생성된 신호는 어지러움 레벨을 결정하는데 사용하지 않는 것이 바람직하다. 이를 위해, 본 개시의 일 실시 예에 따르면, 프로세서(140)는 센서(120)에서 생성된 신호를 어지러움 레벨을 결정하는데 사용할지 여부를 그 신호에 대응하는 움직임이 있는 동안 사용자의 시선의 위치를 추적하여 생성된 시선 이동 정보에 기초하여 결정할 수 있다.Meanwhile, the signal generated by the sensor 120 may correspond to motion due to dizziness, but may correspond to a user's intentional motion. Accordingly, it is desirable that the signal generated by the sensor 120 in response to the intentional movement of the user is not used to determine the dizziness level. To this end, in accordance with one embodiment of the present disclosure, the processor 140 determines whether to use the signal generated at the sensor 120 to determine the dizziness level, and to determine the position of the user's gaze And can be determined based on the line-of-sight movement information generated by tracking.

머리의 움직임이 있는 동안 시선이 움직인 거리가 기 설정된 거리 이상이면 그 머리의 움직임은 의도적인 움직임이고, 기 설정된 거리 미만이면, 그 머리의 움직임은 의도적인 움직임이 아닌, 즉 어지러움에 의한 움직임이라고 판단될 수 있다. 실험 결과에 따르면, 가로 30도 및 세로 20도의 범위 내에서 시선이 머무르는 동안에 머리가 흔들린다면, 이것은 의도하지 않은 흔들림으로 볼 수 있다. 또 다른 실험 결과에 따르면, 시야(Field Of View: FOV)가 넓은 환경(예컨대, 360도 VR 컨텐츠를 머리 착용형 디스플레이 장치로 보고 있는 경우)에서는 시선 이동을 위해 머리도 같이 움직이게 되는 비율이 높다. If the distance that the gaze moves during the movement of the head is greater than the predetermined distance, the movement of the head is intentional. If the distance is less than the predetermined distance, the movement of the head is not the intentional movement, Can be judged. According to the experimental results, if the head shakes while the gaze is staying within the range of 30 degrees and 20 degrees, this can be seen as unintended shaking. According to another experimental result, in a wide field of view (FOV) environment (for example, when 360-degree VR content is viewed as a head wearable display device), the rate of movement of the head for eye movement is high.

따라서, 프로세서(140)는 센서(120)에서 생성된 신호에 대응하는 움직임이 있는 동안 디스플레이부(110)에서 표시된 영상 상의 사용자의 시선의 위치를 추적한 결과로 생성된 시선 이동 정보에 기초하여, 시선이 움직임 거리가 기 설정된 거리 이상인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 센서(120)에서 생성된 신호를 미사용하고, 시선이 움직임 거리가 기 설정된 거리 미만인 것으로 판단되면, 상기 센서(120)에서 생성된 신호를 사용자의 어지러움 레벨을 결정하는데 사용할 수 있다.Accordingly, the processor 140 may generate the gaze movement information based on the gaze movement information generated as a result of tracking the position of the user's gaze on the displayed image on the display unit 110 during the movement corresponding to the signal generated by the sensor 120, If the visual line is determined to be the predetermined distance or more, the signal generated by the sensor 120 is not used to determine the user's dizziness level. If the visual line is determined to be less than the predetermined distance, ) May be used to determine the user's dizziness level.

또 다른 실시 예에 따르면, 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 움직임이 의도적인 것인지 여부는 다양한 외부 환경이 고려되어 결정될 수 있다. 예를 들어, 사용자가 신나는 음악을 듣고 있는 경우라면, 사용자는 그 음악의 리듬에 맞추어 몸을 흔들 수 있다. 즉, 이것은 의도적인 움직임이다.According to another embodiment, whether the movement of the wearer wearing the head-mounted display apparatus 100 is intentional can be determined in consideration of various external environments. For example, if the user is listening to exciting music, the user can shake the rhythm of the music. In other words, this is an intentional move.

머리 착용형 디스플레이 장치(100)는 사운드를 출력하는 스피커를 더 포함할 수 있고, 프로세서(140)는 센서(120)에서 생성된 신호에 대응하는 움직임이 있는 동안 스피커에서 출력된 사운드와, 상기 센서(120)에서 생성된 신호 간의 상관관계에 기초하여 상기 생성된 신호를 사용자의 어지러움 레벨을 결정하는데 사용할지 여부를 결정할 수 있다.The head-mounted display device 100 may further include a speaker for outputting sound, and the processor 140 may control the sound outputted from the speaker while the motion corresponding to the signal generated by the sensor 120 is present, And determine whether to use the generated signal to determine a user's dizziness level based on the correlation between the signals generated by the user.

구체적으로, 프로세서(140)는 상기 생성된 신호에 대응하는 주파수와, 상기 출력된 사운드에 대응하는 주파수 간의 연관성 수치가 기 설정된 값 이상이면, 사용자가 음악을 듣고 흥겨워서 몸을 흔들고 있는 경우라고 볼 수 있으므로, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용할 수 있다.Specifically, when the correlation value between the frequency corresponding to the generated signal and the frequency corresponding to the output sound is equal to or greater than a preset value, the processor 140 determines that the user is listening to music and is excited and is shaking So that the signal can be used to determine the user's dizziness level.

또 다른 실시 예에 따르면, 프로세서(140)는 디스플레이부(110)에서 표시된 영상 상의 사용자의 시선의 위치를 추적한 결과로 생성된 시선 이동 정보에 기초하여, 시선이 움직임 거리가 기 설정된 거리 미만인 것으로 판단된 경우에 스피커에서 출력된 사운드가 이용될 수 있다. 다시 말해, 시선 이동 정보에 기초하여, 시선이 움직임 거리가 기 설정된 거리 미만인 것으로 판단되면, 프로세서(140)는 상기 신호를 어지러움 레벨을 결정하는데 이용할지 여부를 상기 신호에 대응하는 디스플레이 장치의 움직임 동안 상기 스피커를 통해 출력되는 사운드까지 고려하여 결정할 수 있다. According to another embodiment, the processor 140 determines that the gaze movement distance is less than the preset distance based on the gaze movement information generated as a result of tracking the position of the user's gaze on the displayed image on the display unit 110 The sound output from the speaker can be used. In other words, based on the line-of-sight movement information, if the line of sight is determined to be less than the predetermined distance, the processor 140 determines whether to use the signal to determine the dizziness level, The sound output through the speaker can be considered.

이 경우, 프로세서(140)는 상기 출력된 사운드에 대응하는 주파수와 상기 신호에 대응하는 주파수 간의 연관성 수치가 기 설정된 값 이상이면 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용할 수 있다.In this case, the processor 140 may use the signal to determine the dizzy level of the user if the correlation value between the frequency corresponding to the output sound and the frequency corresponding to the signal is greater than a predetermined value.

한편, 상기의 실시 예는 스피커뿐만 아니라 머리 착용형 디스플레이 장치(100)에 이어폰 잭이 구비되어 있는 경우도 적용 가능하다. 또한, 상술한 예에선 머리 착용형 디스플레이 장치(100) 자체에 스피커 또는 이어폰 잭이 구비되는 것으로 설명되었으나, 머리 착용형 디스플레이 장치(100)는 마이크를 구비할 수 있고, 외부의 스피커를 통해 출력되어 사용자가 듣고 있는 사운드가 마이크를 통해 획득되면, 프로세서(140)는 획득된 사운드와 센서(120)에서 생성된 신호 간의 상관관계를 판단할 수도 있다.The above embodiment is applicable to a case where an earphone jack is provided in the head-mounted display device 100 as well as a speaker. In the above-described example, the head-mounted display device 100 is provided with a speaker or an earphone jack. However, the head-mounted display device 100 may include a microphone and be output through an external speaker When the sound the user is listening to is acquired via the microphone, the processor 140 may determine the correlation between the obtained sound and the signal generated by the sensor 120. [

또한, 사운드뿐만 아니라 다양한 외부 환경이 고려될 수 있다. 머리 착용형 디스플레이 장치(100)는, 사용자가 어지러워서 움직인 것이 아니라는 것을 판단할 수 있는 다양한 정보를 수신할 수 있다. 예컨대, 머리 착용형 디스플레이 장치(100)는 지진 감지계로부터 정보를 수신할 수 있다. 따라서, 이러한 외부 장치로부터 정보를 수신하기 위해 머리 착용형 디스플레이 장치(100)는 통신부를 구비할 수 있다.In addition, not only sound but also various external environments can be considered. The head-mounted display apparatus 100 can receive various information that can determine that the user is not moving due to dizziness. For example, the head-mounted display device 100 may receive information from an earthquake sensing system. Therefore, in order to receive information from the external apparatus, the head-mounted display apparatus 100 may include a communication unit.

통신부는 다양한 외부 장치와 통신을 수행하기 위한 구성으로, 근거리 통신망(LAN: Local Area Network) 및 인터넷망을 통해 외부 기기에 접속되는 형태뿐만 아니라, 무선 통신(예를 들어, Z-wave, 4LoWPAN, RFID, LTE D2D, BLE, GPRS, Weightless, Edge Zigbee, ANT+, NFC, IrDA, DECT, WLAN, 블루투스, 와이파이, Wi-Fi Direct, GSM, UMTS, LTE, WiBRO 등의 무선 통신) 방식에 의해서 외부 기기에 접속될 수 있다. 통신부는 와이파이칩, 블루투스 칩, 무선 통신 칩 등 다양한 통신칩을 포함할 수 있다. The communication unit is configured to perform communication with various external devices. The communication unit may be connected to external devices through a local area network (LAN) and an Internet network, as well as wireless communication (e.g., Z-wave, 4LoWPAN, Wireless communication such as RFID, LTE D2D, BLE, GPRS, Weightless, Edge Zigbee, ANT +, NFC, IrDA, DECT, WLAN, Bluetooth, WiFi, Wi-Fi Direct, GSM, UMTS, LTE, WiBRO, Lt; / RTI > The communication unit may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, and a wireless communication chip.

도 7은 본 개시의 일 실시 예에 따른 사용자의 어지러움 레벨을 결정하는 방법을 설명하기 위한 흐름도이다.7 is a flow chart illustrating a method for determining a user's dizziness level in accordance with one embodiment of the present disclosure.

설명의 편의를 위해, 시선 추적부(130)에서 생성된 시선 이동 정보, 즉 시선 움직임 정보는 A로 표시하였다. 시선 움직임은 처음 시선의 위치와 마지막 시선의 위치의 차이 값을 좌표 A_x, A_y로 나타내었다. 그리고 센서(120)에서 발생된 신호, 즉 머리 움직임 정보는 B로 표시하였다. 상기 신호는 자이로 센서를 통해 생성된 것으로, Yaw, Pitch 및 Roll 각각에 대한 좌표 (B_y, B_p, B_r)을 포함한다. 그리고 머리 착용형 디스플레이 장치(100)의 스피커에서 출력되는 사운드에 대응하는 오디오 신호는 C로 표시하였다. For convenience of explanation, the line of sight movement information generated by the line-of-sight-tracing unit 130, that is, the line-of-sight motion information is represented by A. The gaze movement is represented by the coordinates A _x and A _y as the difference between the position of the first gaze and the position of the last gaze. The signal generated by the sensor 120, that is, the head motion information, is denoted by B. The signal is generated through a gyro sensor and includes coordinates (B _y , B _p , B _r ) for Yaw, Pitch, and Roll, respectively. The audio signal corresponding to the sound output from the speaker of the head-mounted display apparatus 100 is denoted by C.

도 7을 참고하면, 먼저, 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)를 획득한다(S710). 여기서 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)는 모두 같은 기간 동안에 발생한 것이다. 즉, 이들 정보는 사용자가 머리 착용형 디스플레이 장치(100)를 착용하고 움직이면서 사운드를 듣고 또한 시선을 옮기는 과정에서 발생한 정보들이다. Referring to FIG. 7, first, eye-gaze motion information A, head motion information B, and audio signal C are obtained (S710). Here, the line-of-sight motion information A, the head motion information B, and the audio signal C are all generated during the same period. That is, the information is generated in the process of listening to the sound while moving the user wearing the head-worn type display device 100 and moving his eyes.

그리고 시선이 이동한 거리(A_x, A_y)가 기 설정된 거리(th_x, th_y) 미만인지 여부를 판단한다(S720).Then, it is determined whether the distance (A _x , A _y ) at which the line of sight is moved is less than a predetermined distance (th _x , th _y ) (S720).

판단 결과 시선이 이동한 거리가 기 설정된 거리 이상이면(S720, N), 시선 이동 정보(A)에 기초하여 어지러움 레벨을 결정한다(S750). 반대로, 상기 판단결과 시선이 이동한 거리가 기 설정된 거리 미만이면(S720, Y), 스피커에서 출력되는 사운드에 대응하는 오디오 신호(C)의 주파수(Freq(C))와 머리 움직임에 대응하여 센서(120)에서 발생한 신호의 주파수(Freq(B)) 간의 연관도, 즉 연관 계수(Correlation Coefficient: CC) 값을 산출하고, 산출된 연관 계수 값이 기 설정된 값인 0.5보다 작은지 판단한다(S730). If it is determined in step S720 that the distance traveled by the line of sight is greater than or equal to the predetermined distance (S720, N), the dizzy level is determined based on the line-of-sight movement information (S750). Conversely, if the distance traveled by the line of sight is less than the predetermined distance (S720, Y), the frequency (Freq (C)) of the audio signal C corresponding to the sound output from the speaker (B)) of the signal generated in the frequency converter 120, that is, a correlation coefficient (CC), and determines whether the calculated correlation coefficient is less than a preset value 0.5 (S730) .

상기 연관 계수 값이 기 설정된 값보다 작다면(S730, Y), 머리 움직임 정보(A)에 기초하여 어지러움 레벨을 결정한다(S740). 반대로, 상기 연관 계수 값이 기 설정된 값 이상이면(S730, N), 시선 이동 정보(A)에 기초하여 어지러움 레벨을 결정한다(S750).If the association coefficient value is smaller than a predetermined value (S730, Y), the dizziness level is determined based on the head motion information (A) (S740). Conversely, if the association coefficient value is greater than or equal to a predetermined value (S730, N), the dizzy level is determined based on the eye movement information (S750).

한편, S730 단계는 생략 가능하다. 이 경우, 시선이 이동한 거리(A_x, A_y)가 기 설정된 거리(th_x, th_y) 미만이면(S720, Y), 머리 움직임 정보(B)에 기초하여 어지러움 레벨을 결정한다(S740).On the other hand, step S730 may be omitted. In this case, if the distance (A _x , A _y ) at which the line of sight has moved is less than the preset distance (th _x , th _y ) (S 720, Y), the dizziness level is determined based on the head motion information ).

도 8은 본 개시의 또 다른 실시 예에 따른 사용자의 어지러움 레벨을 결정하는 방법을 설명하기 위한 흐름도이다. 도 7에서와 마찬가지로 시선 움직임 정보는 A로 표시하고, 머리 움직임 정보는 B로 표시하고, 스피커에서 출력되는 사운드에 대응하는 오디오 신호는 C로 표시되었다.8 is a flow chart illustrating a method for determining a user's dizziness level according to another embodiment of the present disclosure. As in FIG. 7, the visual motion information is represented by A, the head motion information is represented by B, and the audio signal corresponding to the sound output from the speaker is represented by C.

도 8을 참고하면 먼저, 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)를 획득한다(S810). 여기서 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)는 모두 같은 기간 동안에 발생한 것이다.Referring to FIG. 8, the eye movement information A, the head movement information B, and the audio signal C are obtained (S810). Here, the line-of-sight motion information A, the head motion information B, and the audio signal C are all generated during the same period.

그리고 시선이 이동한 거리(A_x, A_y)가 기 설정된 거리(th_x, th_y) 미만인지 여부를 판단한다(S820).Then, it is determined whether the distance (A _x , A _y ) to which the line of sight travels is less than a predetermined distance (th _x , th _y ) (S820).

판단 결과 시선이 이동한 거리가 기 설정된 거리 이상이면(S820, N), 새롭게 입력되는 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)를 획득한다(S810). 즉, 시선이 이동한 거리가 기 설정된 거리 미만이 될 때까지 이 과정이 반복된다. The head movement information B and the audio signal C are newly acquired (S810) if the distance of the line of sight is greater than the predetermined distance (S820, N). That is, this process is repeated until the distance traveled by the line of sight becomes less than the predetermined distance.

마침내 시선이 이동한 거리가 기 설정된 거리 이상이 되었으면(S820, Y), 스피커에서 출력되는 사운드에 대응하는 오디오 신호(C)의 주파수(Freq(C))와 머리 움직임에 대응하여 센서(120)에서 발생한 신호의 주파수(Freq(B)) 간의 연관도, 즉 연관 계수(Correlation Codfficient: CC) 값을 산출하고, 산출된 연관 계수 값이 기 설정된 값인 0.5보다 작은지 판단한다(S830). When the distance traveled by the line of sight reaches a predetermined distance or more (S820, Y), the frequency of the audio signal C (Freq (C)) corresponding to the sound output from the speaker, (B)) of the frequency of the generated signal, that is, the correlation coefficient (CC), and determines whether the calculated correlation coefficient is smaller than a preset value of 0.5 (S830).

상기 연관 계수 값이 기 설정된 값 이상이면(S830, N), 새롭게 입력되는 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)를 획득한다(S810). 즉, 상기 연관 계수 값이 기 설정된 값보다 작아질 때까지 이 과정이 반복된다. If the association coefficient value is greater than or equal to a predetermined value (S830, N), newly inputted line-of-sight motion information A, head motion information B and audio signal C are acquired (S810). That is, the process is repeated until the association coefficient value becomes smaller than a predetermined value.

마침내 상기 연관 계수 값이 기 설정된 값보다 작아지면(S830, Y), 머리 움직임 정보(B)에 기초하여 어지러움 레벨을 결정한다(S840). If the association coefficient value becomes smaller than a preset value (S830, Y), the dizziness level is determined based on the head motion information (S840).

도 8에서 설명한 방법은, 도 7에서 설명한 방법과 달리 시선 움직임 정보는 머리 움직임이 의도적인지 여부를 판단할 때에만 사용되고 어지러움 레벨을 결정하는 데에는 사용되지 않는다. 즉, 도 8에서 설명한 방법은 머리 움직임이 비의도적인 움직임이라고 판단되었을 때 그에 기초하여 어지러움 레벨이 결정된다.Unlike the method described in FIG. 7, the method described in FIG. 8 is used only for determining whether the head movement is intentional, and is not used for determining the dizziness level. That is, when the method described in FIG. 8 determines that the head movement is unintentional, the dizziness level is determined based on the movement.

한편, S830 단계는 생략 가능하다. 이 경우, 시선이 이동한 거리(A_x, A_y)가 기 설정된 거리(th_x, th_y) 미만이면(S820, Y), 머리 움직임 정보(B)에 기초하여 어지러움 레벨을 결정한다(S840).On the other hand, the step S830 may be omitted. In this case, if the distance (A _x , A _y ) at which the line of sight has moved is less than the preset distance (th _x , th _y ) (Y 820), the dizziness level is determined based on the head motion information (B) ).

도 9는 시선 정보를 이용하는 경우와, 머리 움직임 정보를 이용하는 경우 각각에서 어지러움 레벨을 결정하는 구체적인 방법을 설명하기 위한 흐름도이다.9 is a flowchart for explaining a specific method for determining the dizzy level in each of the case of using the line of sight information and the case of using the head motion information.

우선, 머리 움직임 정보를 이용하는 경우에 대해 설명하자면, S911 내지 S914 및 S930 단계는, 도 7에서 S740 단계 또는 도 8에서 S840 단계에 포함된 세부 단계들일 수 있다.First, in the case of using head movement information, steps S911 to S914 and S930 may be sub-steps included in step S740 in FIG. 7 or steps S840 to S840 in FIG.

먼저, 어지러움 레벨 결정을 위한 데이터로 센서(120)에서 생성된 신호, 즉 머리 움직임 정보를 선택한다(S911). 그리고 그 신호를 시간 도메인에서 주파수 도메인으로 변환한다(S912). 주파수 값들 중, 크기가 가장 큰 주파수 값(MAX(Head)_freq)을 선택하고, MAX(Head)_freq이 기 설정된 주파수 값(th₁) 이상인지 판단한다(S913). 어지러움에 의한 흔들림인 경우 1Hz 이상의 흔들림을 보이므로, th₁은 1Hz로 설정될 수 있다. MAX(Head)_freq이 기 설정된 주파수 값(th₁) 이하이면(S913, N), 어지러움이 없는 것으로 판단한다(S930). First, the signal generated by the sensor 120, that is, the head motion information, is selected as the data for determining the dizziness level (S911). Then, the signal is converted from the time domain to the frequency domain (S912). (Head) _freq ) having the largest magnitude among the frequency values is selected, and it is determined whether MAX (Head) _freq is equal to or greater than a preset frequency value th ₁ (S913). In the case of trembling due to dizziness, shaking more than ₁ Hz is seen, so th ₁ can be set to ₁ Hz. If MAX (Head) _freq is less than the predetermined frequency value th ₁ (S913, N), it is determined that there is no dizziness (S930).

MAX(Head)_freq이 기 설정된 주파수 값(th₁)보다 크면(S913, Y), MAX(Head)_freq을 기초로 어지러움 레벨을 결정한다(S914). If the MAX (head) _freq is greater than the predetermined frequency value th ₁ (S913, Y), the dizziness level is determined based on the MAX (Head) _freq (S914).

시선 움직임 정보를 이용하는 경우에 대해 설명하자면, S921 내지 S924 및 S930 단계는, 도 7에서 S750 단계에 포함된 세부 단계들일 수 있다.Describing the case of using the line-of-sight motion information, steps S921 to S924 and S930 may be sub-steps included in step S750 in Fig.

먼저, 어지러움 레벨 결정을 위한 데이터로 시선 추적부(130)에서 생성된 시선 이동 정보를 선택한다(S921). 그리고 시선 이동 정보에 기초하여 안구 운동 진폭(Saccade amplitude: SA)을 계산한다(S922). 그리고 안구운동진폭이 기 설정된 값보다 큰지를 판단한다(S923). 안구운동진폭이 기 설정된 값(th₂) 이하이면(S923, N), 어지러움이 없는 것으로 판단한다(S930). First, the gaze movement information generated by the gaze tracking unit 130 is selected as data for determining the dizziness level (S921). Then, the eye movement amplitude (SA) is calculated based on the eye movement information (S922). Then, it is determined whether the eye movement amplitude is greater than a predetermined value (S923). Value is a predetermined amplitude eye movement (th ₂₎ or less (S923, N), it is determined that there is no dizziness (S930).

안구운동진폭이 기 설정된 값(th₂)보다 크면(S923, Y), 안구운동진폭을 기초로 어지러움 레벨을 결정한다.Value is greater than a predetermined amplitude of eye movement _{(th 2) (S923, Y} ), and determines the level of dizziness, on the basis of the eye movement amplitude.

안구운동진폭에 기초하여 결정한 어지러움 레벨의 단위와, 머리 움직임에 따른 주파수 값에 기초하여 결정한 어지러움 레벨의 단위가 서로 같아지도록 하기 위한 정규화(normalization)가 추가로 수행될 수 있다.Normalization may be further performed so that the units of the dizziness level determined based on the eye movement amplitude and the units of the dizziness level determined based on the frequency value according to the head movement become equal to each other.

어지러움 레벨이 결정되면, 그에 기초하여 어지러움 저감 프로세싱을 수행한다(S940).When the dizziness level is determined, dizziness reduction processing is performed on the basis of the determined dizziness level (S940).

도 10은 본 개시의 일 실시 예에 따른 어지러움 저감 프로세싱의 일 예를 설명하기 위한 도면이다.10 is a diagram for explaining an example of dizziness reduction processing according to an embodiment of the present disclosure.

프로세서(140)는 사용자의 어지러움 레벨에 따라 디스플레이부(110)에 표시된 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하도록 디스플레이부(110)를 제어할 수 있다. The processor 140 may control the display unit 110 to display the degree of identification of some of the images displayed on the display unit 110 lower than the remaining regions according to the degree of the user's dizziness.

예컨대, 도 10에 도시한 것처럼 디스플레이부(110)에 표시된 영상(1000) 중 일부 영역(1010)을 제외한 나머지 영역의 식별도를 낮추어 표시할 수 있다. 식별도를 낮추게 되면 사용자의 눈이 받아들이는 정보의 양(또는 옵티칼 플로우(Optical Flow))이 감소하게 되므로, 그만큼 어지러움을 덜 느끼게 된다. 식별도를 낮추는 것에는, 영상에 흐림 처리를 하는 것을 포함할 수 있다. 이 경우, 얼마나 흐리게 처리할 것인지는 조절 가능하다. 일 실시 예에 따르면, 프로세서(140)는 블러 필터(blur filter)를 영상에 적용하여 식별도를 낮출 수 있다. 블러 필터를 사용할 경우 작은 크기의 옵티칼 플로우는 0으로 수렴 가능하다.For example, as shown in FIG. 10, the degree of discrimination of the remaining region of the image 1000 displayed on the display unit 110 excluding the partial region 1010 can be reduced and displayed. If the degree of discrimination is lowered, the amount of information (or optical flow) received by the user's eyes decreases, and the user becomes less dizzy. Lowering the discrimination degree may include blurring the image. In this case, how blurred it is can be adjusted. According to one embodiment, the processor 140 may apply a blur filter to the image to lower the degree of discrimination. When a blur filter is used, a small optical flow can converge to zero.

한편, 어지러움 정도가 심할수록 식별도가 낮추어진 영역의 크기를 증가시킬 수 있다. 도 11은 도 10의 경우보다 어지러움 레벨이 큰 경우에 디스플레이부(110)에서 표시될 수 있는 영상의 일 예를 도시한 것이다.On the other hand, the greater the degree of dizziness, the greater the size of the area with lowered discrimination. FIG. 11 shows an example of an image that can be displayed on the display unit 110 when the dizziness level is higher than that in FIG.

도 11을 참고하면, 디스플레이부(110)에 표시된 영상(1100)에서 식별도가 낮추어진 영역(즉, 영역(1110)을 제외한 영역)의 크기가 도 10에 비해 늘어났음을 알 수 있다. 즉, 프로세서(140)는 사용자의 어지러움 레벨의 변화에 따라 식별도가 낮춰진 영역의 크기를 변경하도록 디스플레이부(110)를 제어할 수 있다.Referring to FIG. 11, it can be seen that the size of the image 1100 displayed on the display unit 110 in which the degree of discrimination is lowered (that is, the region excluding the region 1110) is increased as compared with FIG. That is, the processor 140 may control the display unit 110 to change the size of the area of which the degree of discrimination is lowered according to the change of the user's dizziness level.

한편, 디스플레이부(110)에 표시되는 영상이 VR(Virtual Reality) 컨텐츠에 대응하는 전체 영상 내의 일 시점(view point)에 대응하는 영상인 경우, 프로세서(140)는, 센서(120)에서 생성된 신호에 따라 시점이 이동된 영상을 표시하고, 상기 시점이 이동된 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하도록 디스플레이부(110)를 제어할 수 있다. 즉, 머리 움직임에 대응하여 영상의 시점이 변하면서 동시에 그 영상의 일부 영역의 식별도를 낮추는 작업도 수행될 수 있다.If the image displayed on the display unit 110 corresponds to a view point in the entire image corresponding to the VR (Virtual Reality) content, the processor 140 determines whether the image generated by the sensor 120 The display unit 110 may control the display unit 110 to display an image in which the viewpoint has been moved according to a signal and to display the degree of discrimination of a part of the image in which the viewpoint has been moved lower than the remaining region. That is, a task of changing the viewpoint of the image corresponding to the head movement and lowering the degree of discrimination of a partial area of the image may also be performed.

본 개시의 일 실시 예에 따르면, 디스플레이부(110)에서 표시된 영상에서 식별도가 낮춰진 영역은, 상기 표시된 영상 중 사용자 시선이 검출된 영역 이외의 영역일 수 있다. 즉, 예컨대 도 11에서, 영역(1110)이 사용자가 바라보고 있는 영역에 해당할 수 있다.According to an embodiment of the present disclosure, the area where the degree of discrimination is lowered in the image displayed on the display unit 110 may be an area other than the area where the user's sight is detected in the displayed image. That is, for example, in FIG. 11, the area 1110 may correspond to an area that the user is looking at.

상기 실시 예에 따르면, 영상에서 사용자가 바라보고 있는 부분 이외의 부분은 식별도가 낮춰져서 표시됨에 따라, 사용자가 바라보고 있는 부분 이외의 영역은 신경이 덜 쓰이게 되므로, 사용자의 어지러움 증상이 완화될 수 있다.According to the above-described embodiment, since portions other than the portion viewed by the user in the image are displayed with a lower degree of discrimination, areas other than the portion viewed by the user are less likely to be nervous, so that the user's dizziness symptom is alleviated .

또 다른 실시 예에 따르면, 프로세서(140)는 디스플레이부(110)에 표시된 영상을 복수의 블럭으로 구분하고, 복수의 블럭 각각의 모션 정보에 기초하여 상기 복수의 블럭 중 어지러움 유발도가 최소인 블럭을 선택할 수 있다. According to another embodiment, the processor 140 divides the image displayed on the display unit 110 into a plurality of blocks, and based on the motion information of each of the plurality of blocks, Can be selected.

연구 결과에 따르면, 모션 벡터의 특정 주파수 대역(0.3 ~ 2.5Hz)의 크기가 최소인 영역이 어지러움의 유발도가 낮다고 볼 수 있다.According to the results of the study, it can be seen that the region with the smallest size of the specific frequency band (0.3 ~ 2.5Hz) of the motion vector has a low inducement of dizziness.

따라서, 프로세서(140)는 복수의 블럭 각각의 모션 벡터를 주파수 변환을 하고, 복수의 블럭 중 상기 특정 주파수 대역(0.3 ~ 2.5Hz)의 크기가 최소인 블럭을 어지러움 유발도가 최소인 블럭으로 선택할 수 있다. 다만, 0.3 ~ 2.5Hz은 일 예이고, 상기 특정 주파수 대역은 다른 대역에서 선택될 수도 있다.Accordingly, the processor 140 performs frequency conversion on the motion vectors of each of the plurality of blocks, and selects a block having the smallest amplitude of the specific frequency band (0.3 to 2.5 Hz) among the plurality of blocks as a block having the minimum degree of dizziness induction . However, 0.3 to 2.5 Hz is an example, and the specific frequency band may be selected in another band.

그리고 프로세서(140)는 선택된 블럭에 대응하는 영역을 제외한 나머지 영역의 식별도를 낮추어 표시하도록 디스플레이부(110)를 제어할 수 있다. 즉, 도 11을 통해 설명하자면, 영역(1110)은 전체 영상(1100) 중에서 어지러움 유발도가 최소인 블럭에 대응하는 영역일 수 있다.Then, the processor 140 may control the display unit 110 to display the remaining regions except the region corresponding to the selected block with a lower degree of discrimination. 11, the region 1110 may be an area corresponding to a block having the minimum degree of dizziness among all the images 1100. [

상기 실시 예에 따르면, 영상에서 모션 정도가 낮은 부분에 사용자가 집중할 수 있게 되므로, 사용자의 어지러움 증상이 완화될 수 있다.According to the above embodiment, since the user can concentrate on a part where the degree of motion is low in the image, the dizziness symptom of the user can be alleviated.

상기 실시 예에선 어지러움 유발도가 최소인 부분을 제외한 부분의 식별도를 낮추는 것으로 설명하였지만, 또 다른 실시 예에선 어지러움 유발도가 최소인 부분으로 사용자 시선을 유도하도록 하는 UI 요소가 표시될 수 있다. 본 실시 예를 도 12를 통해 설명하도록 한다.In the above-described embodiment, it is explained that the degree of discrimination is reduced except for the portion where the degree of dizziness is minimum. However, in another embodiment, the UI element for guiding the user's gaze to the portion where the degree of dizziness is minimum may be displayed. This embodiment will be described with reference to FIG.

도 12는 머리 착용 디스플레이 장치(100)를 통해 사용자가 머리를 움직여가며 볼 수 있는 VR 컨텐츠에 대응하는 전체 영상(1200)을 도시한 것이고, 전체 영상(1200)에서 디스플레이부(110)를 통해 시청 가능한 영역(1210)을 박스로 표시한 것이다. 즉, 디스플레이부(110)를 통해 영역(1210)에 대응하는 영상이 표시되고 있는 상황에서 머리 착용 디스플레이 장치(100)를 착용한 사용자가 머리를 왼쪽으로 돌리면 영역(1210)의 왼쪽의 영상이 디스플레이부(110)에서 표시될 것이고, 머리를 오른쪽으로 돌리면 영역(1210)의 오른쪽의 영상이 디스플레이부(110)에서 표시될 것이다.12 is a view showing a whole image 1200 corresponding to VR contents that a user can see while moving his or her head through the head wear display apparatus 100. In the entire image 1200, A possible region 1210 is represented by a box. That is, when the user wearing the head wear display device 100 turns the head to the left in a state where the image corresponding to the area 1210 is being displayed through the display unit 110, The image on the right side of the area 1210 will be displayed on the display unit 110 when the head is turned to the right.

사용자가 보고 있는 영역(1210)에선, 어지러움 유발도가 최소인 블럭에 대응하는 부분에 사용자의 시선을 유도하는 UI 요소(1210)가 표시될 수 있다. UI 요소(1210)쪽으로 사용자가 시선을 옮기면 어지럼움 정도가 감소될 수 있다.In a region 1210 viewed by the user, a UI element 1210 for guiding a user's gaze to a portion corresponding to a block having a minimum degree of dizziness may be displayed. When the user moves his or her gaze toward the UI element 1210, the degree of dizziness can be reduced.

한편, 도 12에선 현재 사용자가 보고 있는 화면 내에서 어지러움 유발도가 최소인 영역으로 사용자 시선을 유도시키는 실시 예를 설명하였으나, 또 다른 실시 예에 따르면, 시청 가능한 영역 밖의 영역에서 어지러움 유발도가 최소인 영역을 찾아, 그곳으로 사용자 시선을 유도시킬 수도 있다. 이에 대해선 도 13을 참고하여 설명하도록 한다.12 shows an embodiment in which a user's gaze is guided to a region where the degree of vertigo induction is the minimum in the screen that the current user is viewing. However, according to another embodiment, in a region outside the viewable region, It is possible to find a region of interest and to guide the user to that region. This will be described with reference to FIG.

도 13을 참고하면, 디스플레이부(110)를 통해 표시된 영상이 VR 컨텐츠에 대응하는 전체 영상(1300) 중 일부 영상(시청 영역에 해당하는 부분)인 경우, 프로세서(140)는 상기 VR 컨텐츠에 대응하는 전체 영상 중 디스플레이부(110)를 통해 표시되지 않은 일부 영상(탐색 영역에 해당하는 부분)을 복수의 블럭으로 구분하고, 상기 복수의 블럭 각각의 모션 정보에 기초하여 상기 복수의 블럭 중 어지러움 유발도가 최소인 블럭을 선택하고, 상기 선택된 블럭이 위치한 방향으로 사용자 시선을 유도하는 UI 요소를 표시하도록 디스플레이부(110)를 제어할 수 있다. 13, when the image displayed through the display unit 110 is a partial image (a portion corresponding to the viewing area) of the entire image 1300 corresponding to the VR content, the processor 140 corresponds to the VR content (Part corresponding to the search area) that are not displayed through the display unit 110 among a plurality of blocks among the plurality of blocks based on the motion information of each of the plurality of blocks, It is possible to control the display unit 110 to display a UI element that selects a block having the smallest degree and guides a user's gaze in a direction in which the selected block is located.

도 13에 도시한 것처럼, 탐색 영역은 시청 영역 밖으로 기 설정된 거리 이내에 있는 영역으로 설정될 수 있다. 그리고 프로세서(140)는 이 탐색 영역을 복수의 블럭으로 구분하고, 그 중에서 어지러움 유발도가 최소인 블럭(1311)을 선택할 수 있다.As shown in Fig. 13, the search area can be set as an area within a predetermined distance outside the viewing area. The processor 140 divides the search area into a plurality of blocks, and selects a block 1311 having the minimum degree of dizziness.

탐색 영역 내에서 어지러움 유발도가 최소인 블럭이 있는 곳으로 사용자 시선을 유도하기 위해, 현재 사용자가 보고 있는 영상에서 UI 요소가 표시될 수 있다. 이에 대해선 도 14를 통해 설명하도록 한다.A UI element may be displayed in the image that the current user is viewing in order to induce the user's gaze to a place where the block with the minimum degree of dizziness is within the search area. This will be described with reference to FIG.

도 14를 참고하면, 프로세서(140)는 탐색 영역(1410)을 복수의 블럭으로 구분하고, 복수의 블럭 중에서 어지러움 유발도가 최소인 블럭(1411)을 선택할 수 있다. 그리고 프로세서(140)는 시청 영역(1420)에서 상기 선택된 블럭(1411)이 위치한 방향으로 시선을 유도하는 UI 요소(1421)를 표시하도록 디스플레이부(110)를 제어할 수 있다. 도 14에선 UI 요소(1421)를 화살표 형태로 도시하였으나 이러한 형태에 한정되는 것은 아니다.Referring to FIG. 14, the processor 140 may divide the search area 1410 into a plurality of blocks, and select a block 1411 having the minimum degree of dizziness among a plurality of blocks. The processor 140 may control the display unit 110 to display a UI element 1421 for guiding the gaze in the viewing area 1420 in the direction in which the selected block 1411 is located. In FIG. 14, the UI element 1421 is shown in the form of an arrow, but the present invention is not limited to this.

표시된 UI 요소(1421)에 근거하여 사용자가 머리를 오른쪽 및 위쪽으로 움직이면, 그에 따라 센서(110)에서 사용자 움직임을 감지하고, 프로세서(140)는 움직임에 대응하는 영상을 표시하도록 디스플레이부(110)를 제어할 수 있다. 따라서, 현재 보여지는 영상에서 어지러움을 느낀 사용자는, UI 요소(1421)가 가르키는 방향으로 머리를 움직임으로써 어지러움을 덜 느끼게 될 수 있다.When the user moves the head to the right and up on the basis of the displayed UI element 1421, the sensor 110 senses the user's movement accordingly, and the processor 140 displays the image corresponding to the motion, Can be controlled. Thus, a user who feels dizziness in the currently viewed image may feel less dizziness by moving his or her head in the direction pointed by the UI element 1421.

한편, 상술한 UI 요소의 크기는 사용자의 어지러움 레벨에 따라 변화될 수 있다. 즉, 프로세서(140)는 사용자의 어지러움 레벨의 변화에 따라 시선을 유도하기 위한 UI 요소의 크기를 변경하도록 디스플레이부(110)를 제어할 수 있다. 이 경우, 어지러움 레벨 변화에 비례하여 UI 요소의 크기가 변경될 수 있다.On the other hand, the size of the UI element may be changed according to the dizzy level of the user. That is, the processor 140 may control the display unit 110 to change the size of the UI element for guiding the gaze according to the change of the user's dizziness level. In this case, the size of the UI element can be changed in proportion to the change in the dizzyness level.

도 15를 참고하여 설명하자면, 전체 영상(1500) 내의 탐색 영역(1510)에서 어지러움 유발도가 최소인 블럭(1511)이 위치한 방향으로 시선을 유도하는 UI 요소(1521)가 시청 영역(1520)에 표시될 수 있는데, 도 14의 경우보다 도 15의 경우가 어지러움 레벨이 더 낮은 경우이므로, 도 15의 UI 요소(1521)의 크기는 도 14의 UI 요소(1421)의 크기보다 작다.15, a UI element 1521 for guiding a gaze in a direction in which a block 1511 having a minimum degree of dizziness is located in a search area 1510 in the entire image 1500 is displayed in a viewing area 1520 The UI element 1521 of FIG. 15 is smaller than the UI element 1421 of FIG. 14 because the case of FIG. 15 has a lower level of dizziness than that of FIG.

도 16은 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 제어방법을 설명하기 위한 흐름도이다.16 is a flowchart illustrating a method of controlling a head-mounted display apparatus according to an embodiment of the present disclosure.

도 16을 참고하면 먼저, 머리 착용형 디스플레이 장치(100)는 영상을 표시한다(S1610). Referring to FIG. 16, the head-mounted display device 100 displays an image (S1610).

여기서 영상은 VR 컨텐츠에 대응하는 전체 영상 중 일 시점에 대응하는 영상일 수 있고, 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 머리 움직임에 대응하여 영상의 시점이 변경될 수 있다.Here, the image may be an image corresponding to one point of the entire image corresponding to the VR content, and the viewpoint of the image may be changed corresponding to the head movement of the wearer wearing the head-wear display device 100.

그리고 머리 착용형 디스플레이 장치(100)는 머리 착용형 디스플레이 장치(100)의 움직임에 대응하는 신호를 생성한다(S1620). 이 경우 머리 착용형 디스플레이 장치(100)에 내장되어 있는 다양한 센서가 이용될 수 있다. 예컨대 자이로 센서가 이용될 수 있다.The head-mounted display device 100 generates a signal corresponding to the movement of the head-mounted display device 100 (S1620). In this case, various sensors incorporated in the head-mounted display apparatus 100 may be used. For example, a gyro sensor may be used.

그리고 머리 착용형 디스플레이 장치(100)는 상기 생성된 신호에 대응하는 상기 디스플레이 장치의 움직임 동안 상기 표시된 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성한다(S1630). The head wearable display device 100 tracks the position of the user's gaze on the displayed image during the movement of the display device corresponding to the generated signal to generate gaze movement information (S1630).

그리고 머리 착용형 디스플레이 장치(100)는 상기 움직임에 대응하는 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 상기 시선 이동 정보에 기초하여 결정한다(S1640).Then, the head-mounted display apparatus 100 determines whether to use the signal corresponding to the motion to determine the dizzy level of the user based on the gaze movement information (S1640).

구체적으로, 머리 착용형 디스플레이 장치(100)는 시선 이동 정보에 기초하여 머리 움직임에 의도성이 있는지 여부를 판단할 수 있다. 시선 움직임이 기 설정된 임계값보다 크면 의도적 움직임이고, 작으면 비의도적 움직임이라고 볼 수 있다. 머리 움직임에 의도성이 있는 경우, 움직임을 감지하여 생성된 신호에 기초하여 어지러움 레벨을 결정하게 되면 정확도가 떨어지게 되므로, 이 경우엔 움직임을 감지하여 생성된 신호는 어지러움 레벨 결정에 사용되지 않는 것이 바람직하다.Specifically, the head-mounted display apparatus 100 can determine whether or not head movement is intentional based on eye movement information. If the gaze movement is larger than the predetermined threshold value, it is an intentional movement, while if it is smaller, it is an unintentional movement. In the case where the head movement is intentional, if the dizziness level is determined based on the signal generated by sensing the movement, the accuracy is lowered. In this case, it is preferable that the signal generated by sensing the movement is not used for determining the dizziness level Do.

또 다른 예로, 사용자가 음악을 듣고 신이 나서 머리를 흔드는 것과 같은 의도적인 움직임이 있는 경우도 고려될 수 있다. 이 경우, 사용자에게 제공되는 사운드에 대응하는 오디오 데이터와, 센서에서 측정된 데이터를 주파수 변환한 후, 두 주파수 값들의 연관성을 계산한다. 예컨대, 두 주파수 값들 간의 연관성 계수(Correlation Coefficient) 값을 계산한다. 상기 계산된 값이 기 설정된 연관성 계수 값 보다 크면, 사용자가 음악에 맞추어 몸을 흔들었을 가능성이 높다. 즉, 움직임이 의도적인 것이라고 볼 수 있다. Another example may be the case where the user has intentional movements such as listening to music and shaking his head after hearing. In this case, the audio data corresponding to the sound provided to the user and the data measured by the sensor are frequency-converted, and then the association between the two frequency values is calculated. For example, a Correlation Coefficient value between two frequency values is calculated. If the calculated value is larger than the predetermined relevance coefficient value, there is a high possibility that the user shook his or her body in accordance with the music. In other words, movement is intentional.

상기와 같은 방식에 따라 움직임의 의도성 여부를 판단할 수 있다. 상술한 의도성 판별 기준은 현재 자세나 눈의 깜빡임에 따라서 조금씩 달라질 수 있으므로, 현재 자세나 눈의 깜빡임 정도를 고려하여 시선 움직임에 대한 임계값 또는 연관성 계수에 대한 임계값 등을 조정할 수 있다.The intention of the motion can be determined according to the above-described method. The above-described intentional criterion may vary slightly depending on the current posture or blinking of the eyes. Therefore, the threshold value or the threshold value for the eye movement can be adjusted in consideration of the current posture or the blinking degree of the eye.

비의도적인 움직임인 경우엔 상기 센서에서 생성된 신호를 이용하여 어지러움 레벨을 결정한다.In the case of unintentional movement, the level of dizziness is determined using the signal generated by the sensor.

구체적으로, 머리 착용형 디스플레이 장치(100)에 자이로 센서가 내장된 경우, 자이로센서 데이터 3종류(Yaw, Pitch, Roll) 중 2종류(Pitch, Roll) 데이터가 어지러움 레벨을 결정하는 데 사용될 수 있다. 그리고 시간단위로 누적된 Pitch와 Roll 데이터 값들을 주파수 변환한다. 변환된 값들 중에서 1Hz 이상 주파수 대역을 선택한 후, 선택된 주파수 대역에서 크기(amplitude)가 가장 큰 주파수 값을 어지러움을 정량화한 값, 즉 어지러움 레벨로 결정한다.Specifically, when the gyro sensor is incorporated in the head-mounted display device 100, two types (pitch, roll) of three kinds of gyro sensor data (Yaw, Pitch, Roll) can be used to determine the dizziness level . Then, the Pitch and Roll data values accumulated in units of time are frequency-converted. After selecting a frequency band of 1 Hz or more out of the converted values, the frequency value having the largest amplitude in the selected frequency band is determined as a value obtained by quantifying dizziness, that is, a dizzy level.

의도적인 움직임인 경우엔 상기 센서에서 생성된 신호를 이용하지 않고, 의도적인 움직임이 아니라고 판단될 때까지 상기의 의도성 판단 과정을 반복한다. 또는, 의도적인 움직임인 경우에 시선 이동 정보에 기초하여 어지러움 레벨을 결정할 수 있다. 이 경우, 안구 운동 진폭(Saccade amplitude) 값(= 안구 움직임 동안 안구가 이동한 각거리(angular distance))을 계산하여 어지러움 레벨을 결정할 수 있다. 상기 결정된 어지러움 레벨이 기 설정된 레벨 이상인 경우에, 어지러움을 줄이기 위한 추가의 프로세스가 수행될 수 있다.In the case of intentional movement, the intention determination process is repeated until it is determined that the intentional movement is not performed without using the signal generated by the sensor. Alternatively, in the case of intentional motion, the dizziness level can be determined based on the line-of-sight movement information. In this case, the degree of dizziness can be determined by calculating the Saccade amplitude value (= angular distance that the eye moved during eye movement). If the determined dizziness level is above a predetermined level, an additional process may be performed to reduce dizziness.

한편, 상술한 내용에선 시선 이동 정보 또는 움직임을 센싱한 신호에 기초하여 어지러움 레벨이 결정될 수 있는 것으로 설명하였으나, 이 밖에도, 머리 착용형 디스플레이 장치(100)엔 뇌파 센서가 내장되어 있어, 사용자의 뇌파 신호 데이터를 획득하여 어지러움 레벨을 결정할 수 있다. 구체적으로, 머리 착용형 디스플레이 장치(100)는 시간단위로 누적된 뇌파 데이터 값들을 주파수 변환하고, 변환된 값들 중에서 임계 Hz 이상의 주파수 대역을 선택한 후, 선택된 주파수 대역들 중 크기가 가장 큰 주파수 값에 기초하여 어지러움 레벨을 결정할 수 있다.In the above description, it has been described that the dizziness level can be determined based on the eye movement information or the motion sensing signal. In addition, since the brain-wearing sensor is incorporated in the head wear display device 100, The signal data can be acquired to determine the dizziness level. Specifically, the head-mounted display apparatus 100 frequency-converts the accumulated EEG data values in units of time, selects a frequency band equal to or higher than a threshold Hz among the converted values, and then selects a frequency band having a largest size among the selected frequency bands It is possible to determine the level of dizziness.

상술한 다양한 실시 예에 따르면, 머리 착용형 디스플레이 장치에 내장되어 있는 센서를 사용하여 어지러움 정도를 결정할 수 있기 때문에 별도의 장치가 요구되지 않으며, 따라서 별도의 전력도 요구되지 않고, 사용자가 머리 착용형 디스플레이 장치를 착용하고 있는 동안에 실시간으로 상기와 같은 어지러움 레벨이 결정되어 이에 따른 처리가 수행되므로, 현실감 저하 없이 사용자의 어지러움을 줄여줄 수 있다.According to the above-described various embodiments, since the degree of dizziness can be determined using a sensor built in the head-mounted display device, no separate device is required, and therefore, no additional power is required, Since the above-described dizzy level is determined in real time while the display device is worn and the processing is performed according to the determined level, the user's dizziness can be reduced without deteriorating the reality.

한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.Meanwhile, the various embodiments described above can be implemented in a recording medium that can be read by a computer or a similar device using software, hardware, or a combination thereof. In accordance with a hardware implementation, the embodiments described in this disclosure may be implemented as application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays ), A processor, microcontrollers, microprocessors, and an electrical unit for carrying out other functions. According to a software implementation, embodiments such as the procedures and functions described herein may be implemented with separate software modules. Each of the software modules may perform one or more of the functions and operations described herein.

한편, 상술한 본 개시의 다양한 실시 예들에 따른 머리 착용형 디스플레이 장치의 제어방법은 비 일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다. On the other hand, the method of controlling a head-mounted display device according to various embodiments of the present disclosure described above may be stored in a non-transitory readable medium. Such non-transiently readable media can be used in various devices.

비 일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.A non-transitory readable medium is a medium that stores data for a short period of time, such as a register, cache, memory, etc., but semi-permanently stores data and is readable by the apparatus. In particular, the programs for carrying out the various methods described above may be stored in non-volatile readable media such as CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM and the like.

또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of this disclosure.

100: 머리 착용형 디스플레이 장치100: head-wear display device

Claims

In a head wear display device,
A display unit for displaying an image;
A sensor for generating a signal corresponding to a motion of the display device;
A gaze tracking unit for tracking the position of a user's gaze on the image during movement of the display device corresponding to the signal to generate gaze movement information; And
And determining whether to use the signal to determine a user's dizziness level based on the gaze movement information.

The method according to claim 1,
The processor comprising:
If it is determined that the distance traveled by the line of sight is equal to or greater than the predetermined distance based on the line of sight movement information, the signal is not used to determine the level of the user's dizziness. If it is determined that the distance traveled by the line of sight is less than the predetermined distance, Wherein said signal is used to determine a dizziness level.

The method according to claim 1,
And a speaker for outputting sound,
The processor comprising:
A sound output through the speaker during the movement of the display device corresponding to the signal, whether or not the signal is used to determine the dizziness level, when it is determined that the distance the line of sight moves is less than a predetermined distance based on the line- Of the head-mounted display device.

The method of claim 3,
The processor comprising:
Wherein the signal is used to determine a dizzy level of a user when a correlation value between a frequency corresponding to the output sound and a frequency corresponding to the signal is equal to or greater than a predetermined value.

The method according to claim 1,
The processor comprising:
And controls the display unit to display the degree of discrimination of a part of the image lower than the remaining area according to the dizzy level of the user.

The method of claim 5, wherein
When the image displayed through the display unit is a video corresponding to a view point in the entire image corresponding to VR (Virtual Reality)
The processor comprising:
Wherein the control unit controls the display unit to display an image in which the viewpoint has been moved according to a signal generated by the sensor and display the degree of discrimination of some regions of the image shifted from the viewpoint lower than the remaining regions.

6. The method of claim 5,
The processor comprising:
And controls the display unit to change a size of the area where the degree of discrimination is lowered in accordance with a change in the user's dizziness level.

6. The method of claim 5,
In the area where the degree of discrimination is lowered,
Wherein the display unit is an area other than the area where the user's gaze is detected among the displayed images.

6. The method of claim 5,
The processor comprising:
Wherein the block is divided into a plurality of blocks, and a block having a minimum degree of vertex induction is selected from the plurality of blocks based on motion information of each of the plurality of blocks,
In the area where the degree of discrimination is lowered,
Wherein the display area is an area other than the area corresponding to the selected block of the displayed image.

6. The method of claim 5,
In the area where the degree of discrimination is lowered,
A head-mounted display device in which a blur filter is applied.

The method according to claim 1,
If the image displayed through the display unit is a part of the entire image corresponding to the VR (Virtual Reality) content,
The processor comprising:
The method comprising the steps of: dividing a part of an entire image corresponding to the VR contents, which is not displayed through the display unit, into a plurality of blocks, and generating a block having a minimum degree of dizziness induction based on the motion information of each of the plurality of blocks Select,
And controls the display unit to display a UI element for guiding a user's gaze in a direction in which the selected block is located.

12. The method of claim 11,
The processor comprising:
And controls the display unit to change the size of the UI element according to a change of the dizzy level of the user.

A method of controlling a head-mounted display device,
Displaying an image;
Generating a signal corresponding to a motion of the display device; And
Generating a gaze movement information by tracking a position of a user's gaze on the image during movement of the display device corresponding to the signal; And
Determining whether to use the signal to determine a user's dizziness level based on the gaze movement information.

14. The method of claim 13,
Wherein the determining comprises:
If it is determined that the distance the visual line moves based on the visual-gaze movement information is greater than or equal to the predetermined distance, it is determined that the signal is not used to determine the dizzy level of the user. If it is determined that the visual- And determines to use the signal to determine a user's dizzy level.

14. The method of claim 13,
The display device includes a speaker for outputting sound,
Wherein the determining comprises:
A sound output through the speaker during the movement of the display device corresponding to the signal, whether or not the signal is used to determine the dizziness level, when it is determined that the distance the line of sight moves is less than a predetermined distance based on the line- Of the head-mounted display device.

16. The method of claim 15,
Wherein the determining comprises:
And determines that the signal is not used to determine a dizzy level of the user if the association value between the frequency corresponding to the output sound and the frequency corresponding to the signal is greater than a predetermined value.

14. The method of claim 13,
And displaying the degree of discrimination of some areas of the image lower than the remaining areas according to the dizzy level of the user.

18. The method of claim 17,
If the displayed image is a video corresponding to a view point in the entire image corresponding to VR (Virtual Reality) contents,
Wherein the displaying comprises:
And displaying the image with the viewpoint moved according to the generated signal and displaying the degree of discrimination of some regions of the image shifted from the viewpoint lower than the remaining regions.

18. The method of claim 17,
Wherein the displaying comprises:
And changing a size of the area where the degree of discrimination is lowered according to a change in the dizzy level of the user.

A computer-readable recording medium containing a program for executing a control method of a head-mounted display device,
In the control method,
Displaying an image;
Generating a signal corresponding to a motion of the display device; And
Tracking the position of the user's gaze during movement of the display device corresponding to the signal to generate gaze movement information; And
And determining whether to use the signal to determine a user's dizziness level based on the gaze movement information.