KR20190066429A

KR20190066429A - Monitoring apparatus and method for cyber sickness prediction model of virtual reality contents

Info

Publication number: KR20190066429A
Application number: KR1020170166135A
Authority: KR
Inventors: 오희석; 남승우; 손욱호; 이범렬
Original assignee: 한국전자통신연구원
Priority date: 2017-12-05
Filing date: 2017-12-05
Publication date: 2019-06-13
Also published as: KR102468346B1

Abstract

Disclosed is a method for monitoring a viewing fatigue prediction model of virtual reality content which comprises the steps of: displaying virtual reality content in a display unit; obtaining a user input; analyzing the virtual reality content based on the obtained user input; and displaying an analysis result for the virtual reality content in the display unit.

Description

TECHNICAL FIELD [0001] The present invention relates to a monitoring apparatus and a monitoring method for a viewing fatigue prediction model of virtual reality contents,

본 개시는 가상 현실 콘텐츠에 대해 사용자의 목적에 부합하는 데이터를 제공하는 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치 및 방법에 관한 것으로, 보다 구체적으로는 지도학습 기반의 기계학습을 수행하여 획득된 가상 현실 콘텐츠의 시청 피로도 유발 요소와 가상 현실 콘텐츠의 시청 피로도간의 상관관계 모델을 시각적으로 모니터링하는 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and method for monitoring a visual fatigue prediction model of a virtual reality content providing data meeting the purpose of a user for virtual reality contents, To an apparatus and method for visually monitoring a correlation model between a viewing fatigue inducing factor of a real content and a viewing fatigue of a virtual reality content.

가상 현실(virtual reality, VR) 기술은 실제 구축에는 비용과 시간이 들거나 위험이 수반되는 현실 상황을 가상 환경을 통하여 실감나게 재현하는 기술로써, 국방, 의료, 제조 등의 다양한 응용 분야에서 훈련 목적으로 활용되거나, 게임, 테마파크, 영화 등의 엔터테인먼트 분야에 적용되는 등 다양한 적용성을 가진 첨단 기술이다. 최근, 헤드 마운티드 디스플레이(head mounted display, HMD)의 대중적 확대 보급에 따라, 가상 현실 기술의 활용성이 한층 증대되고 있는 실정이다.Virtual reality (VR) technology is a technique to realistically reproduce realistic situations that involve cost, time, or risk in a virtual environment. It is used for training purposes in various applications such as defense, medical, and manufacturing And is applied to entertainment fields such as games, theme parks and movies. In recent years, the popularity of the head mounted display (HMD) has widened and the utilization of the virtual reality technology has been further increased.

그러나, HMD 장치 등을 통하여 VR 콘텐츠를 시청하는 것은, 생체인지적으로 강제되는 가상의 경험으로 인하여 사용자의 눈으로부터 획득되는 시각 정보와 타 감각기관의 정보의 불일치를 유발할 수 있으며, 이로 인하여 발생되는 motion sickness 등의 VR 시청 피로도는 사용자의 안전성에 심각한 위해 요소로 작용할 수 있다. 따라서, 콘텐츠 제작자 또는 서비스 제공자는 VR 콘텐츠로부터 유발되는 시청 피로도 정도 및 시청 피로도 유발 요소에 대한 정량적/객관적/시각적 정보를 실시간으로 모니터링함으로써 사용자에게 발생할 수 있는 위험을 인지하고, 적합한 콘텐츠 서비스 제공으로 인체 안전성을 보장하며, 시장의 확대를 도모할 필요가 있다. 또한 사용자도 멀미를 직관적으로 관찰함으로써 위험을 자각하고 과도한 수준의 VR 콘텐츠 노출을 방지할 필요가 있다.However, viewing VR content through an HMD device or the like can cause inconsistency between visual information obtained from the user's eyes and information of other sensory organs due to a virtual experience forced by a living body, motion sickness, etc., can cause serious safety hazards to the user. Accordingly, the content creator or the service provider monitors the degree of viewing fatigue caused by the VR content and the quantitative / objective / visual information of the viewing fatigue causing element in real time to recognize the risk that may occur to the user, It is necessary to ensure safety and to expand the market. Users also need to intuitively observe motion sickness to be aware of the risks and prevent exposure to excessive levels of VR content.

그럼에도 불구하고, 현재의 VR 환경에서 발생하는 멀미/피로도에 대한 분석은 주관적이고 단편적인 기술이 제시되고 있는 실정이며, 예를 들어, 신경학을 비롯한 임상 분야의 경우, VR 멀미 유발 요인의 세부적 파악을 위해 각종 바이오마커를 활용한 모니터링 작업을 수행하고 있으나, 생체신호 획득을 위한 추가적인 장비의 설치를 요하며, 임의의 VR 콘텐츠가 주어졌을 때 멀미 유발 요인에 대한 예측이 어렵다는 문제가 있다. 또한, 설문조사를 통해 수집되는 멀미에 대한 사용자의 주관적인 견해는 그 예측이 어려우며 기준도 모호하여 안전한 VR 서비스를 제공하는데 문제가 있다.Nevertheless, the analysis of motion / fatigue in the current VR environment has been presented with subjective and fragmentary techniques. For example, in the clinical field including neurology, detailed analysis of the factors causing VR sickness However, it requires the installation of additional equipment to acquire bio-signals, and it is difficult to predict the cause of motion sickness when arbitrary VR content is given. In addition, the subjective opinion of the user about the motion sickness collected through the questionnaire is difficult to predict, and the standard is ambiguous, which poses a problem in providing a safe VR service.

본 개시의 기술적 과제는 지도학습 기반의 기계학습을 수행하여 획득된 가상 현실 콘텐츠의 시청 피로도 유발 요소와 가상 현실 콘텐츠의 시청 피로도간의 상관관계 모델을 시각적으로 모니터링하는 장치 및 방법을 제공하는 것이다.An object of the present invention is to provide an apparatus and a method for visually monitoring a correlation model between a viewing fatigue inducing element of a virtual reality content obtained by performing machine learning based on learning of learning based on a map and a viewing fatigue of a virtual reality content.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical objects to be achieved by the present disclosure are not limited to the above-mentioned technical subjects, and other technical subjects which are not mentioned are to be clearly understood from the following description to those skilled in the art It will be possible.

본 개시의 일 양상에 따르면, 가상 현실 콘텐츠를 표시하는 디스플레이부; 사용자 입력을 획득하는 사용자 입력부; 및 상기 획득된 사용자 입력에 기초하여 상기 가상 현실 콘텐츠를 분석하고, 상기 가상 현실 콘텐츠에 대한 분석 결과를 상기 디스플레이부에 표시하도록 제어하는 제어부를 포함하는, 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치가 제공될 수 있다.According to an aspect of the present disclosure, there is provided a display apparatus including: a display unit displaying virtual reality contents; A user input unit for acquiring user input; And a control unit for analyzing the virtual reality content based on the obtained user input and controlling the display unit to display an analysis result on the virtual reality content, wherein the monitoring fatigue prediction model monitoring apparatus of the virtual reality content Can be provided.

본 개시의 다른 양상에 따르면, 가상 현실 콘텐츠를 디스플레이부에 표시하는 단계; 사용자 입력을 획득하는 단계; 상기 획득된 사용자 입력에 기초하여 상기 가상 현실 콘텐츠를 분석하는 단계; 및 상기 가상 현실 콘텐츠에 대한 분석 결과를 상기 디스플레이부에 표시하는 단계를 포함하는, 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 방법이 제공될 수 있다.According to another aspect of the present disclosure, there is provided a method for displaying a virtual reality content, comprising: displaying a virtual reality content on a display unit; Obtaining a user input; Analyzing the virtual reality content based on the obtained user input; And displaying the analysis result on the virtual reality content on the display unit.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.The features briefly summarized above for this disclosure are only exemplary aspects of the detailed description of the disclosure which follow, and are not intended to limit the scope of the disclosure.

본 개시에 따르면, 지도학습 기반의 기계학습을 수행하여 획득된 가상 현실 콘텐츠의 시청 피로도 유발 요소와 가상 현실 콘텐츠의 시청 피로도간의 상관관계 모델을 시각적으로 모니터링하는 장치 및 방법이 제공될 수 있다.According to the present disclosure, an apparatus and method for visually monitoring a correlation model between a viewing fatigue inducing element of a virtual reality content obtained by performing machine learning based on a map learning, and a viewing fatigue of a virtual reality content can be provided.

또한, 본 개시에 따르면, 가상 현실 콘텐츠 시청 시 발생할 수 있는 멀미/피로도 등의 주관적 경험을 객관적, 정량적 수치로 나타냄으로써, 잠재적 위험 요소가 제거되고 사용자의 신체 안정성이 보장될 수 있다.In addition, according to the present disclosure, subjective experience such as nausea / fatigue, which may occur when viewing virtual reality contents, is expressed objectively and quantitatively, so that potential risk factors can be eliminated and the user's body stability can be guaranteed.

또한, 본 개시에 따르면, HMD 장치와 같은 영상표시장치를 통해 가상 현실 콘텐츠를 시청하는 사용자와 연관된 정보들(예를 들어, 객체 움직임, 카메라 움직임, 생체 신호, 머리 움직임, 시청 피로도 등)이 실시간으로 분석됨으로써, 해당 분석 정보가 콘텐츠 공급자 및 제작자에게 효과적인 가이드라인으로 제공될 수 있다.In addition, according to the present disclosure, information (e.g., object motion, camera motion, bio-signal, head motion, viewing fatigue, etc.) associated with a user viewing a virtual reality content through an image display device such as an HMD device , The analysis information can be provided as an effective guideline to the content provider and the producer.

또한, 본 개시에 따르면, 실제로 HMD 장치나 생체신호 검출 센서 등을 이용하지 않더라도, 주어진 가상 현실 영상 콘텐츠와 연관된 여러 정보들이 예측될 수 있다.Further, according to the present disclosure, various information associated with a given virtual reality image content can be predicted without actually using an HMD device or a bio-signal detection sensor.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable from the present disclosure are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below will be.

도 1은 일 실시예에 따른 센서 및 사용자 입력을 이용하여 가상 현실 콘텐츠의 시청 피로도 정보를 획득하는 시스템을 나타내는 도면이다.
도 2 및 3은 일 실시예에 따른 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치의 구성을 나타내는 블록도이다.
도 4는 일 실시예에 따른 사용자 입력이 가상 현실 콘텐츠와 연관된 제1 자료를 표시하도록 선택되는 입력인 경우에, 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치에서 표시되는 화면을 나타내는 도면이다.
도 5는 일 실시예에 따른 사용자 입력이 제1 자료를 가공한 제2 자료를 표시하도록 선택되는 입력인 경우에, 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치에서 표시되는 화면을 나타내는 도면이다.
도 6은 일 실시예에 따른 사용자 입력에 기초하여 결정된 재생 구간에서의 가상 현실 콘텐츠에 대한 분석 결과를 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치의 화면에 나타내는 도면이다.
도 7은 일 실시예에 따른 사용자 입력이 제2 가상 현실 콘텐츠에 대한 예측 영상을 표시하도록 선택되는 입력인 경우에, 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치에서 표시되는 화면을 나타내는 도면이다.
도 8은 일 실시예에 따른 사용자 입력이 가상 현실 콘텐츠에 대한 시뮬레이션 결과를 표시하도록 선택되는 입력인 경우에, 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치에서 표시되는 화면을 나타내는 도면이다.
도 9는 일 실시예에 따른 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치의 동작방법을 나타내는 흐름도이다.1 illustrates a system for obtaining viewing fatigue information of a virtual reality content using a sensor and a user input according to an embodiment.
2 and 3 are block diagrams showing a configuration of a viewing fatigue prediction model monitoring apparatus for a virtual reality content according to an embodiment.
FIG. 4 is a diagram illustrating a screen displayed by the viewing fatigue prediction model monitoring apparatus of a virtual reality content when a user input according to an exemplary embodiment is an input that is selected to display first data associated with the virtual reality content.
FIG. 5 is a diagram illustrating a screen displayed by the viewing fatigue prediction model monitoring apparatus of a virtual reality content when the user input according to an exemplary embodiment is an input selected to display second data obtained by processing the first data.
FIG. 6 is a diagram illustrating an analysis result of a virtual reality content in a playback section determined based on a user input according to an embodiment, on a screen of a viewing fatigue prediction model monitoring apparatus of a virtual reality content.
FIG. 7 is a diagram illustrating a screen displayed on the viewing fatigue prediction model monitoring apparatus of a virtual reality content when the user input according to an exemplary embodiment is an input that is selected to display a predictive image for the second virtual reality content.
FIG. 8 is a view showing a screen displayed on the viewing fatigue prediction model monitoring apparatus of a virtual reality content in the case where the user input according to an embodiment is an input selected to display a simulation result for the virtual reality contents.
9 is a flowchart illustrating an operation method of a viewing fatigue prediction model monitoring apparatus for a virtual reality content according to an exemplary embodiment.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings, which will be easily understood by those skilled in the art. However, the present disclosure may be embodied in many different forms and is not limited to the embodiments described herein.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In the following description of the embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present disclosure rather unclear. Parts not related to the description of the present disclosure in the drawings are omitted, and like parts are denoted by similar reference numerals.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In the present disclosure, when an element is referred to as being "connected", "coupled", or "connected" to another element, it is understood that not only a direct connection relationship but also an indirect connection relationship May also be included. Also, when an element is referred to as " comprising "or" having "another element, it is meant to include not only excluding another element but also another element .

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다. In the present disclosure, the terms first, second, etc. are used only for the purpose of distinguishing one element from another, and do not limit the order or importance of elements, etc. unless specifically stated otherwise. Thus, within the scope of this disclosure, a first component in one embodiment may be referred to as a second component in another embodiment, and similarly a second component in one embodiment may be referred to as a first component .

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다. In the present disclosure, the components that are distinguished from each other are intended to clearly illustrate each feature and do not necessarily mean that components are separate. That is, a plurality of components may be integrated into one hardware or software unit, or a single component may be distributed into a plurality of hardware or software units. Thus, unless otherwise noted, such integrated or distributed embodiments are also included within the scope of this disclosure.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다. In the present disclosure, the components described in the various embodiments are not necessarily essential components, and some may be optional components. Thus, embodiments consisting of a subset of the components described in one embodiment are also included within the scope of the present disclosure. Also, embodiments that include other elements in addition to the elements described in the various embodiments are also included in the scope of the present disclosure.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.Hereinafter, embodiments of the present disclosure will be described with reference to the accompanying drawings.

도 1은 일 실시예에 따른 센서 및 사용자 입력을 이용하여 가상 현실 콘텐츠의 시청 피로도 정보를 획득하는 시스템을 나타내는 도면이다.1 illustrates a system for obtaining viewing fatigue information of a virtual reality content using a sensor and a user input according to an embodiment.

일 실시예에 따른 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치는 가상 현실 콘텐츠를 디스플레이에 표시하고, 센서를 이용하여 가상 현실 콘텐츠를 시청하는 사용자의 제1 시청 피로도 정보를 검출하고, 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여, 사용자로부터 입력된 사용자 입력을 이용하여 제2 시청 피로도를 결정할 수 있다.The apparatus for monitoring a viewing fatigue prediction model of a virtual reality content according to an embodiment of the present invention displays a virtual reality content on a display, detects first viewing fatigue information of a user who views the virtual reality content using a sensor, The second viewing fatigue can be determined using the user input inputted from the user in response to the request for inputting the watching audience fatigue strength.

일 실시예에 따른 센서는 영상 촬영 센서(또는 관찰형 센서) 또는 생체신호 검출 센서(또는 착용형 센서)를 포함할 수 있다.The sensor according to one embodiment may include an imaging sensor (or an observation type sensor) or a biological signal detection sensor (or a wearable sensor).

도 1을 참조하면, 헤드 마운티드 디스플레이(head mounted display, HMD)와 같은 영상표시장치(20)를 착용한 사용자(40)가 영상표시장치(20)에서 표시되는 가상 현실 콘텐츠를 시청하고 있다고 하면, 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치는 관찰형 센서(50)를 이용하여 사용자(40)의 자세, 상태, 눈동자, 표정, 제스처, 음성 등의 변화를 트래킹할 수 있다. 일 실시예에 따를 때, 관찰형 센서(50)는 MRI, FMRI, 이미지 센서, 적외선 센서 등을 포함하나, 이에 제한되지 않으며, 사용자의 동작 변화 등을 트래킹할 수 있는 센서를 포함할 수 있다. 또한, 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치는 착용형 센서(30)를 이용하여 사용자(40)의 뇌파(EEG), 심전도(ECG), 맥파(PPG), 피부전도도(GSR), 구토측정 등의 생체신호를 검출할 수 있는 센서를 포함할 수 있다. 영상 촬영 센서로부터 획득된 사용자의 영상 또는 생체신호 검출 센서로부터 획득된 사용자의 생체신호의 크기를 제1 시청 피로도 정보(또는 객관적 시청 피로도 정보)라 할 수 있다. 또한 일 실시예에 따를 때, 시청 피로도 예측 모델 모니터링 장치는 제1 시청 피로도 정보를 기초로 기계학습을 수행하기 위한 특징 벡터를 획득할 수 있으며, 예를 들어, 제1 시청 피로도 정보를 시간축 상에서 추출하여 특징 벡터 형태로 생성할 수 있다.1, if a user 40 wearing a video display device 20 such as a head mounted display (HMD) is viewing virtual reality contents displayed on the video display device 20, The viewing fatigue prediction model monitoring apparatus of the virtual reality contents can track the change of the posture, the state of the user, the pupil, the facial expression, the gesture, the voice, etc. of the user 40 by using the observation type sensor 50. According to one embodiment, the observable sensor 50 may include a sensor capable of tracking a user's motion, such as, but not limited to, MRI, FMRI, image sensor, infrared sensor, and the like. The viewing fatigue prediction model monitoring apparatus of the virtual reality contents is a device that monitors the EEG, ECG, PPG, GSR and vomiting of the user 40 using the wearable sensor 30 And a sensor capable of detecting a living body signal such as a living body. The size of the user's image obtained from the image capturing sensor or the size of the user's bio signal acquired from the bio-signal detecting sensor may be referred to as first viewing fatigue information (or objective viewing fatigue information). Also, according to one embodiment, the viewing fatigue prediction model monitoring apparatus can acquire a feature vector for performing the machine learning based on the first viewing fatigue information, for example, extracting the first viewing fatigue information on the time axis Can be generated as a feature vector form.

또한, 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치는 사용자에게 가상 현실 콘텐츠를 제공(또는 노출)하기 전후 또는 제공 중에, 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여, 사용자로부터 시청 피로도 세기를 입력 받을 수 있다. 일 실시예에 따른 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청은 미리 정해진 시간 간격에 따라 사용자에게 요청될 수 있다. 또한, 일 실시예에 따른 사용자 입력은 디스플레이부에 표시되는 사용자 인터페이스를 통한 입력 또는 시청 피로도 예측 모델 모니터링 장치에 구비된 입력 장치로부터의 입력일 수 있다. 또한, 일 실시예에 따른 가상 현실 콘텐츠는 시청 피로도 유발 요소들 각각의 값이 제어된 복수의 개별 가상 현실 콘텐츠들의 집합일 수 있다. 한편, 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여 사용자로부터 획득된 정보를 제2 시청 피로도 정보(또는 주관적 시청 피로도 정보)라 하며, 이와 관련된 내용들은 후술하기로 한다.In addition, the viewing fatigue prediction model monitoring apparatus of the virtual reality contents may be configured to measure the viewing fatigue strength from the user in response to a request for inputting the viewing fatigue strength for the virtual reality content before or after providing (or exposing) Input can be received. The request for inputting the viewing fatigue strength for the virtual reality contents according to an exemplary embodiment may be requested to the user according to a predetermined time interval. Also, the user input according to an exemplary embodiment may be input through a user interface displayed on the display unit or input from an input device included in the viewing fatigue prediction model monitoring apparatus. In addition, the virtual reality content according to an embodiment may be a set of a plurality of individual virtual reality contents whose values of each of the viewing fatigue causing factors are controlled. Meanwhile, the information obtained from the user in response to the request for inputting the viewing fatigue intensity for the virtual reality contents is referred to as second viewing fatigue information (or subjective viewing fatigue information), and related contents will be described later.

일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치는 가상 현실 콘텐츠의 시청 피로도 유발 요소, 제1 시청 피로도 정보 및 제2 시청 피로도 정보를 이용하여 지도학습 기반의 기계학습을 수행하고, 수행된 기계학습의 결과를 기초로 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 결정할 수 있다. 예를 들어, 시청 피로도 예측 모델 모니터링 장치는 가상 현실 콘텐츠의 시청 피로도 유발 요소의 값을 변경함에 따라 시청 피로도 리스트 항목들의 크기가 변경되도록 대응시킬 수 있다.The apparatus for monitoring a viewing fatigue prediction model according to an embodiment performs machine learning based on map learning using the viewing fatigue inducing element of the virtual reality contents, the first viewing fatigue information, and the second viewing fatigue information, Based on the result, the correlation between the viewing fatigue inducing factor and the viewing fatigue list can be determined. For example, the viewing fatigue prediction model monitoring apparatus may correspond to change the size of the viewing fatigue list items by changing the value of the viewing fatigue causing element of the virtual reality contents.

일 실시예에 따를 때, 시청 피로도 유발 요소(또는 VR 휴먼팩터 파라미터)는 카메라 움직임, 객체 움직임, 재생정보, 해상도, 양안 시차, 깊이감, 시야각, 영상 특징, 특수효과 또는 텍스처 효과일 수 있으나, 이에 제한되지 않으며, 콘텐츠 자체의 특성 또는 콘텐츠 외부의 특성(예를 들어, 객체의 움직임, 카메라의 움직임 등)의 변화 등 가상 현실 콘텐츠를 시청하는 사용자에게 멀미 등의 시청 피로도를 유발시킬 수 있는 요인들이 포함될 수 있다.According to one embodiment, the viewing fatigue inducing factor (or VR human factor parameter) may be camera motion, object motion, playback information, resolution, binocular disparity, depth of field, viewing angle, The present invention is not limited to this and may be applied to a factor that can induce viewing fatigue such as motion sickness to a user watching a virtual reality content such as a characteristic of the content itself or a change in characteristics (e.g., movement of an object, movement of a camera, etc.) May be included.

또한, 일 실시예에 따를 때, 가상 현실 콘텐츠에 대한 사용자의 시청 피로도 리스트(또는 VR 멀미증상)는 해당 가상 현실 콘텐츠 및 사용자에 대한 시청 피로도 리스트 항목과 각 항목별 크기를 포함하는 정보로서, 일 실시예에 따른 시청 피로도 리스트 항목은 불쾌감, 피로감, 두통, 눈피로감, 난초점, 발한, 메스꺼움, 난집중, 머리 막힘, 시야감, 현기증, 환각, 배탈, 멀미, 트림 또는 기타 증상을 포함할 수 있으나, 이에 제한되지 않으며, 가상 현실 콘텐츠를 시청함으로써 유발될 수 있는 구체적인 증상을 포함할 수 있다.According to one embodiment, the viewing fatigue list (or VR nausea symptom) of the user with respect to the virtual reality content is information including the viewing fatigue list item for the corresponding virtual reality content and the user and the size for each item, Examples of viewing fatigue list items according to embodiments may include discomfort, fatigue, headache, eye fatigue, fogging, sweating, nausea, egg concentration, head clogging, visual acuity, dizziness, hallucinations, stomach pain, However, the present invention is not limited thereto, and may include specific symptoms that may be caused by viewing the virtual reality contents.

한편, 일 실시예에 따른 제2 시청 피로도 정보는 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여 사용자로부터 입력되는 시청 피로도 리스트 항목들에 대한 세기일 수 있다. 예를 들어, 시청 피로도 예측 모델 모니터링 장치는, A라는 가상 현실 콘텐츠 시청 중에 시청 피로도 세기 입력 요청에 대응하여, 사용자로부터 입력되는 두통, 메스꺼움 및 현기증 항목 각각에 대한 세기를 획득할 수 있다. 또한, 일 실시예에 따른 제2 시청 피로도 정보는 디스플레이부에 표시되는 사용자 인터페이스를 통해 입력되거나 시청 피로도 예측 모델 생성 장치에 구비된 입력 장치로부터 입력되거나 사후 설문지(simulation sickness questionnaire) 작성 결과를 이용하여 획득될 수 있다. 일 실시예에 따를 때, 시청 피로도 예측 모델 생성 장치에 구비된 입력 장치는 컨트롤러와 같은 사용자 인터페이스 도구일 수 있으나, 이에 제한되지 않는다.Meanwhile, the second viewing fatigue information according to an exemplary embodiment may be the intensity of the viewing fatigue list items input from the user in response to the request to input the viewing fatigue strength for the virtual reality content. For example, the viewing fatigue prediction model monitoring apparatus can acquire intensity for each of the headache, nausea, and dizziness items input from the user in response to the request for inputting the viewing fatigue strength while viewing the virtual reality content A. In addition, the second viewing fatigue information according to an exemplary embodiment may be input through a user interface displayed on the display unit or input from an input device provided in the viewing fatigue prediction model generating apparatus or using a result of a simulation sickness questionnaire &Lt; / RTI > According to one embodiment, the input device provided in the viewing fatigue prediction model generating apparatus may be a user interface tool such as a controller, but is not limited thereto.

또한 일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치는 제1 시청 피로도 정보를 이용하여 획득된 특징 벡터를 지도학습 기반의 기계학습에서의 데이터(data)로서 결정하고, 제2 시청 피로도 정보를 지도학습 기반의 기계학습에서의 데이터에 대한 레이블(label)로서 결정하고, 데이터 및 데이터에 대한 레이블을 이용하여 지도학습 기반의 기계학습을 수행할 수 있다. 또한, 일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치는 기계학습 결과를 기초로 임의의 가상 현실 콘텐츠에 대한 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 예측할 수 있다.In addition, the monitoring apparatus for monitoring the viewing fatigue prediction model according to an embodiment determines the feature vector obtained using the first viewing fatigue information as data (data) in the machine learning based on the map learning, Based learning can be performed as a label for the data in the machine learning based on the data and the label for the data and the data. In addition, the viewing fatigue prediction model monitoring apparatus according to an embodiment can predict the correlation between the viewing fatigue inducing factor and the viewing fatigue list for arbitrary virtual reality contents based on the machine learning result.

또한 일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치는 가상 현실 콘텐츠를 표시하고, 획득된 사용자 입력에 기초하여 가상 현실 콘텐츠를 분석하고, 가상 현실 콘텐츠에 대한 분석 결과를 표시할 수 있다.In addition, the viewing fatigue prediction model monitoring apparatus according to an embodiment may display the virtual reality contents, analyze the virtual reality contents based on the obtained user inputs, and display the analysis results of the virtual reality contents.

한편 일 실시예에 따른 가상 현실 콘텐츠는 미리 제작된 제1 가상 현실 콘텐츠 또는 제1 가상 현실 콘텐츠에 대응되는 영상으로서 사용자에 의해 착용되는 HMD 장치에서 표시되는 제2 가상 현실 콘텐츠일 수 있다.Meanwhile, the virtual reality content according to an exemplary embodiment may be a first virtual reality content produced in advance or a second virtual reality content displayed in an HMD device worn by a user as an image corresponding to the first virtual reality content.

한편 일 실시예에 따른 사용자 입력은 가상 현실 콘텐츠의 재생 시점을 선택하는 입력을 포함할 수 있다. 또한 일 실시예에 따른 사용자 입력은 가상 현실 콘텐츠와 연관된 제1 자료, 제1 자료를 가공한 제2 자료, 제2 가상 현실 콘텐츠에 대한 예측 영상 또는 가상 현실 콘텐츠에 대한 시뮬레이션 결과를 디스플레이부에 표시하도록 선택되는 입력을 포함할 수 있다.Meanwhile, the user input according to an embodiment may include an input for selecting a reproduction time point of the virtual reality contents. Also, a user input according to an embodiment may display a simulation result of a first data related to a virtual reality content, a second data obtained by processing the first data, a predicted image of the second virtual reality content, or a virtual reality content on a display unit &Lt; / RTI >

한편 일 실시예에 따른 제1 자료는 가상 현실 콘텐츠의 시청 피로도 유발 요소, 제1 시청 피로도 정보, 제2 시청 피로도 정보 또는 기계학습을 통해 미리 결정된 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계 정보를 포함할 수 있다.Meanwhile, the first data according to an embodiment may include correlation information of the viewing fatigue inducing element, the first viewing fatigue information, the second viewing fatigue information of the virtual reality contents, or the viewing fatigue inducing factor determined in advance through the machine learning and the viewing fatigue list .

또한 일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치는, 사용자 입력이 가상 현실 콘텐츠의 재생 시점을 선택하는 입력인 경우, 해당 재생 시점에 대응하는 재생 구간에서의 가상 현실 콘텐츠에 대한 분석 결과를 표시할 수 있다.In addition, when the user input is an input for selecting the reproduction time point of the virtual reality contents, the apparatus for monitoring the viewing fatigue prediction model according to an embodiment displays the analysis result on the virtual reality contents in the reproduction interval corresponding to the reproduction time point .

또한 일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치는, 사용자 입력이 가상 현실 콘텐츠와 연관된 제1 자료를 표시하도록 선택되는 입력인 경우, 가상 현실 콘텐츠를 분석함으로써, 가상 현실 콘텐츠의 시청 피로도 유발 요소, 제1 시청 피로도 정보, 제2 시청 피로도 정보 또는 기계학습을 통해 미리 결정된 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계 정보를 표시하도록 제어할 수 있다.In addition, the viewing fatigue prediction model monitoring apparatus according to an exemplary embodiment may be configured such that when the user input is an input selected to display first data associated with the virtual reality content, the viewing fatigue inducing element, The first viewing fatigue information, the second viewing fatigue information, or the correlation information between the viewing fatigue inducing factor and the viewing fatigue list determined through machine learning.

또한 일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치는, 사용자 입력이 제2 자료를 표시하도록 선택되는 입력인 경우, 사용자가 보다 쉽게 시청 피로도 정보를 확인할 수 있도록 제1 자료 중 일부를 시청 피로도 유발 요소 중 하나로 치환시키고, 치환된 결과를 표시할 수 있다. In addition, when the user input is an input selected to display the second data, the monitoring fatigue prediction model monitoring apparatus according to an embodiment of the present invention may include a part of the first data so that the user can more easily confirm the viewing fatigue information. , And the result of substitution can be indicated.

또한 일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치는, 사용자 입력이 제2 가상 현실 콘텐츠에 대한 예측 영상을 표시하도록 선택되는 입력인 경우, 제1 가상 현실 콘텐츠 또는 제1 자료를 분석함으로써, 제2 가상 현실 콘텐츠에 대한 예측 영상을 결정하고, 결정된 영상을 표시할 수 있다.In addition, the viewing fatigue prediction model monitoring apparatus according to an exemplary embodiment may analyze the first virtual reality content or the first data when the user input is an input selected to display a predictive image for the second virtual reality content, The predicted image for the virtual reality contents can be determined, and the determined image can be displayed.

또한 일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치는, 사용자 입력이 가상 현실 콘텐츠에 대한 시뮬레이션 결과를 표시하도록 선택되는 입력인 경우, 시청 피로도 유발 요소의 값을 변경하는 사용자 입력을 추가적으로 획득함에 따라, 시청 피로도 리스트를 구성하는 시청 피로도 리스트 항목의 값을 변경하고, 변경된 시청 피로도 리스트를 그래픽 사용자 인터페이스(graphical user interface, GUI)를 이용하여 표시할 수 있다.In addition, the apparatus for monitoring a viewing fatigue prediction model according to an embodiment may further include a step of, when the user input is an input selected to display a simulation result for the virtual reality content, further obtaining a user input for changing a value of the viewing fatigue inducing element, The value of the viewing fatigue list item constituting the viewing fatigue list can be changed and the changed viewing fatigue list can be displayed using a graphical user interface (GUI).

도 2 및 3은 일 실시예에 따른 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치의 구성을 나타내는 블록도이다.2 and 3 are block diagrams showing a configuration of a viewing fatigue prediction model monitoring apparatus for a virtual reality content according to an embodiment.

도 2를 참조하면, 일 실시예에 따른 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치(200)는 디스플레이부(210), 제어부(220) 및 사용자 입력부(230)를 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 시청 피로도 예측 모델 모니터링 장치(200)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.Referring to FIG. 2, an apparatus 200 for monitoring the viewing fatigue prediction model of a virtual reality content according to an exemplary embodiment of the present invention may include a display unit 210, a controller 220, and a user input unit 230. However, only the components necessary for explaining the present embodiment are shown, and the components included in the apparatus 200 for monitoring the audiovisual prediction model are not limited to the above-described examples.

예를 들어, 도 3을 참조하면, 시청 피로도 예측 모델 모니터링 장치(300)는 모니터링부(310) 및 예측부(320)를 더 포함할 수 있다. 또한 일 실시예에 따를 때, 모니터링부(310)는 입력신호 분석부(330), 데이터 처리부(340), 멀미수준 계산부(350) 및 출력부(360)를 포함하고, 예측부(320)는 생체신호 및 사용자 움직임 예측부(370) 및 예측 영상 생성부(380)를 포함할 수 있다. 도 3의 시청 피로도 예측 모델 모니터링 장치(300)는 도 2의 시청 피로도 예측 모델 모니터링 장치(200)에 대응될 수 있다.For example, referring to FIG. 3, the viewing fatigue prediction model monitoring apparatus 300 may further include a monitoring unit 310 and a prediction unit 320. According to one embodiment, the monitoring unit 310 includes an input signal analyzing unit 330, a data processing unit 340, a motion level calculating unit 350, and an output unit 360, A user motion prediction unit 370, and a predicted image generation unit 380. The user motion prediction unit 370 may be a motion estimation unit. The viewing fatigue prediction model monitoring apparatus 300 of FIG. 3 may correspond to the viewing fatigue prediction model monitoring apparatus 200 of FIG.

도 2를 참조하면, 디스플레이부(210)는 제어부(220)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이부(210)는 통신부 또는 입/출력부를 통해 입력되는 콘텐츠(예를 들어, 동영상)를 표시할 수 있다. 디스플레이부(210)는 제어부(220)의 제어에 의해 저장부에 저장된 영상을 출력할 수 있다. 또한, 디스플레이부(210)는 음성 인식에 대응되는 음성 인식 태스크를 수행하기 위한 음성 UI(user interface: 예를 들어, 음성 명령어 가이드를 포함하는) 또는 모션 인식에 대응되는 모션 인식 태스크를 수행하기 위한 모션 UI(예를 들어, 모션 인식을 위한 사용자 모션 가이드를 포함)를 표시할 수 있다. 또한, 디스플레이부(210)는 시청 피로도 예측 모델 모니터링 장치(200)에서 처리되는 정보를 표시 출력할 수 있다. 예를 들어, 디스플레이부(210)는, 가상 이미지, 가상 이미지를 선택하기 위한 사용자 인터페이스 또는 가상 이미지의 동작을 설정하기 위한 사용자 인터페이스를 디스플레이할 수 있다. 또한, 디스플레이부(210)는 HMD 장치 또는 몰입형 외부 가상 현실 영상 장치에서 처리되는 정보를 디스플레이할 수 있다. 도 2의 디스플레이부(210)는 도 3의 출력부(360)를 포함할 수 있다.2, the display unit 210 converts a video signal, a data signal, an OSD signal, a control signal, and the like processed by the controller 220 to generate a driving signal. The display unit 210 may display a content (e.g., moving image) input through a communication unit or an input / output unit. The display unit 210 may output an image stored in the storage unit under the control of the control unit 220. [ The display unit 210 may include a voice UI (including a voice command word guide) for performing a voice recognition task corresponding to voice recognition, or a voice recognition unit for performing a motion recognition task corresponding to motion recognition And may display a motion UI (e.g., including a user motion guide for motion recognition). In addition, the display unit 210 may display and output information processed by the viewing fatigue prediction model monitoring apparatus 200. [ For example, the display unit 210 may display a virtual image, a user interface for selecting a virtual image, or a user interface for setting an operation of the virtual image. In addition, the display unit 210 may display information processed in the HMD device or the immersive external virtual reality imaging device. The display unit 210 of FIG. 2 may include the output unit 360 of FIG.

일 실시예에 따른 디스플레이부(210)는 가상 현실 콘텐츠를 표시할 수 있다.The display unit 210 according to one embodiment may display the virtual reality contents.

또한 일 실시예에 따른 디스플레이부(210)는 기계학습을 수행하여 결정된 가상 현실 콘텐츠에 대한 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 GUI를 이용하여 표시할 수 있다.In addition, the display unit 210 according to the embodiment may display the correlation between the viewing fatigue inducing factor for the virtual reality contents determined by performing the machine learning and the viewing fatigue list using the GUI.

또한 일 실시예에 따른 디스플레이부(210)는 사용자 입력에 기초하여 획득된 가상 현실 콘텐츠에 대한 분석 결과를 표시할 수 있다. 구체적으로, 디스플레이부(210)는 가상 현실 콘텐츠의 재생 시점을 선택하는 사용자 입력에 기초하여 해당 재생 시점에 대응하는 재생 구간에서의 가상 현실 콘텐츠에 대한 분석 결과를 표시할 수 있다. 또한, 디스플레이부(210)는 가상 현실 콘텐츠를 분석하여 가상 현실 콘텐츠의 시청 피로도 유발 요소, 제1 시청 피로도 정보, 제2 시청 피로도 정보 또는 기계학습을 통해 미리 결정된 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계 정보를 GUI를 이용하여 표시할 수 있다. 제어부(220)는 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치(200)의 전반적인 동작 및 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치(200)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(220)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 저장부에 저장된 다양한 애플리케이션을 실행할 수 있다. 도 2의 제어부(220)는 도 3의 입력신호 분석부(330), 데이터 처리부(340), 멀미수준 계산부(350), 생체신호 및 사용자 움직임 예측부(370) 및 예측 영상 생성부(380)를 포함할 수 있으나, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 제어부(220)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.In addition, the display unit 210 according to an exemplary embodiment may display an analysis result of the virtual reality content obtained based on the user input. Specifically, the display unit 210 may display an analysis result of the virtual reality contents in the reproduction section corresponding to the reproduction time, based on the user input for selecting the reproduction time of the virtual reality contents. Also, the display unit 210 analyzes the virtual reality contents to determine whether or not the viewing fatigue inducing element, the first viewing fatigue information, the second viewing fatigue information, or the viewing fatigue inducing element of the virtual reality contents, The correlation information can be displayed using the GUI. The control unit 220 controls the overall operation of the viewing fatigue prediction model monitoring apparatus 200 of the virtual reality contents and the signal flow between the internal elements of the viewing fatigue prediction model monitoring apparatus 200 of the virtual reality contents, And performs processing functions. The control unit 220 can execute various applications stored in the storage unit when the user has input or predefined conditions are satisfied. 2 includes an input signal analysis unit 330, a data processing unit 340, a motion level calculation unit 350, a biological signal and user motion prediction unit 370, and a predictive image generation unit 380 However, it should be understood that the present invention is not limited to the above-described embodiments, and the components included in the control unit 220 are not limited to those described above.

일 실시예에 따른 제어부(220)는 센서를 이용하여 가상 현실 콘텐츠를 시청하는 사용자의 제1 시청 피로도 정보를 검출하고, 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여 사용자 입력부(230)에 입력되는 사용자 입력을 이용하여 제2 시청 피로도 정보를 결정하고, 가상 현실 콘텐츠의 시청 피로도 유발 요소, 제1 시청 피로도 정보 및 제2 시청 피로도 정보를 이용하여 지도학습 기반의 기계학습을 수행하고, 수행된 기계학습의 결과를 기초로 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 결정할 수 있다.The control unit 220 according to an embodiment detects the first viewing fatigue information of a user who views the virtual reality contents using the sensor and outputs the first viewing fatigue information to the user input unit 230 in response to the viewing fatigue strength input request for the virtual reality contents The second viewing fatigue information is determined using the input user input, the machine learning based on the map learning is performed using the viewing fatigue inducing element of the virtual reality contents, the first viewing fatigue information, and the second viewing fatigue information, Based on the results of the machine learning, the correlation between the viewing fatigue inducing factor and the viewing fatigue list can be determined.

또한 일 실시예에 따른 제어부(220)는 가상 현실 콘텐츠의 시청 피로도 유발 요소의 값을 변경함에 따라 시청 피로도 리스트 항목들의 크기가 변경되도록 대응시킬 수 있다.In addition, the controller 220 according to an embodiment may change the size of the viewing fatigue list items by changing the value of the viewing fatigue causing element of the virtual reality contents.

또한 일 실시예에 따른 제어부(220)는 제1 시청 피로도 정보를 이용하여 획득된 특징 벡터를 지도학습 기반의 기계학습에서의 데이터로서 결정하고, 제2 시청 피로도 정보를 지도학습 기반의 기계학습에서의 데이터에 대한 레이블로서 결정하고, 데이터 및 데이터에 대한 레이블을 이용하여 지도학습 기반의 기계학습을 수행할 수 있다. 또한 일 실시예에 따른 제어부(220)는 기계학습의 결과를 기초로 임의의 가상 현실 콘텐츠에 대한 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 예측할 수 있다.In addition, the controller 220 according to an embodiment determines the feature vector obtained using the first viewing fatigue information as data in the machine learning based on the map learning, and the second viewing fatigue information in the machine learning based on the map learning As the label for the data of the data and the label for the data, so that the machine learning based on the map learning can be performed. In addition, the controller 220 according to an embodiment can predict the correlation between the viewing fatigue inducing element and the viewing fatigue list for a certain virtual reality content based on the result of the machine learning.

또한 일 실시예에 따른 제어부(220)는 사용자 입력에 기초하여 가상 현실 콘텐츠를 분석하고, 가상 현실 콘텐츠에 대한 분석 결과를 디스플레이부(210)에 표시하도록 제어할 수 있다.In addition, the controller 220 according to an embodiment may analyze the virtual reality content based on the user input and control the display unit 210 to display the analysis result of the virtual reality content.

또한 일 실시예에 따른 제어부(220)는 사용자 입력이 가상 현실 콘텐츠의 재생 시점을 선택하는 입력인 경우, 해당 재생 시점에 대응하는 재생 구간에서의 가상 현실 콘텐츠에 대한 분석 결과를 디스플레이부(210)에 표시하도록 제어할 수 있다.In addition, when the user input is an input for selecting the reproduction time point of the virtual reality contents, the controller 220 displays the analysis result of the virtual reality contents in the reproduction interval corresponding to the reproduction time, on the display unit 210, As shown in Fig.

또한 일 실시예에 따른 제어부(220)는, 사용자 입력이 가상 현실 콘텐츠와 연관된 제1 자료를 표시하도록 선택되는 입력인 경우, 가상 현실 콘텐츠를 분석함으로써, 가상 현실 콘텐츠의 시청 피로도 유발 요소, 제1 시청 피로도 정보, 제2 시청 피로도 정보 또는 기계학습을 통해 미리 결정된 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계 정보를 디스플레이부(210)에 표시하도록 제어할 수 있다.In addition, when the user input is an input selected to display the first data associated with the virtual reality content, the controller 220 according to an exemplary embodiment analyzes the virtual reality content, thereby obtaining the viewing fatigue causing element of the virtual reality content, It is possible to control the display unit 210 to display correlation information between the viewing fatigue information, the second viewing fatigue information, or the viewing fatigue causing factor determined in advance through the machine learning and the viewing fatigue list.

또한 일 실시예에 따른 제어부(220)는, 사용자 입력이 제2 자료를 표시하도록 선택되는 입력인 경우, 사용자가 보다 쉽게 시청 피로도 정보를 확인할 수 있도록 제1 자료 중 일부를 시청 피로도 유발 요소 중 하나로 치환시키고, 치환된 결과를 디스플레이부(210)에 표시하도록 제어할 수 있다.In addition, when the user input is an input selected to display the second data, the control unit 220 according to an embodiment of the present invention may include a part of the first data so that the user can more easily confirm the viewing fatigue information, And display the result of the substitution on the display unit 210. [

또한 일 실시예에 따른 제어부(220)는, 사용자 입력이 제2 가상 현실 콘텐츠에 대한 예측 영상을 표시하도록 선택되는 입력인 경우, 제1 가상 현실 콘텐츠 또는 제1 자료를 분석함으로써, 제2 가상 현실 콘텐츠에 대한 예측 영상을 결정하고, 결정된 영상을 디스플레이부(210)에 표시하도록 제어할 수 있다.Also, the controller 220 according to an exemplary embodiment may analyze the first virtual reality content or the first data when the user input is an input that is selected to display the predicted image for the second virtual reality content, It is possible to determine a predictive image for the content and display the determined image on the display unit 210. [

또한 일 실시예에 따른 제어부(220)는, 사용자 입력이 가상 현실 콘텐츠에 대한 시뮬레이션 결과를 표시하도록 선택되는 입력인 경우, 시청 피로도 유발 요소의 값을 변경하는 사용자 입력을 추가적으로 획득함에 따라, 시청 피로도 리스트를 구성하는 시청 피로도 리스트 항목의 값을 변경하고, 변경된 상기 시청 피로도 리스트를 GUI를 이용하여 디스플레이부(210)에 표시하도록 제어할 수 있다.In addition, when the user input is an input selected to display the simulation result for the virtual reality content, the control unit 220 according to the embodiment further obtains the viewing fatigue value by additionally acquiring the user input that changes the value of the viewing fatigue causing factor. It is possible to change the value of the viewing fatigue list item constituting the list and to display the changed viewing fatigue list on the display unit 210 using the GUI.

사용자 입력부(230)는 사용자가 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치(200)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(230)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나, 이에 제한되지 않는다.The user input unit 230 means a means for the user to input data for controlling the viewing fatigue prediction model monitoring apparatus 200 of the virtual reality contents. For example, the user input unit 230 may include a key pad, a dome switch, a touch pad (contact type capacitance type, pressure type resistive type, infrared ray detection type, surface ultrasonic wave conduction type, A tension measuring method, a piezo effect method, etc.), a jog wheel, a jog switch, and the like, but are not limited thereto.

일 실시예에 따른 사용자 입력부(230)는 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응한 사용자 입력을 수신할 수 있다. 또한, 사용자 입력은 디스플레이부(210)에 표시되는 사용자 인터페이스를 통한 입력 또는 시청 피로도 예측 모델 모니터링 장치(200)에 구비된 입력 장치로부터의 입력일 수 있다. 일 실시예에 따를 때 시청 피로도 예측 모델 모니터링 장치(200)에 구비된 입력 장치는 컨트롤러와 같은 사용자 인터페이스 도구일 수 있으나, 이에 제한되지 않는다.The user input unit 230 according to an exemplary embodiment may receive a user input corresponding to a request for inputting a viewing fatigue strength for a virtual reality content. The user input may be input through a user interface displayed on the display unit 210 or input from an input device provided in the viewing fatigue prediction model monitoring apparatus 200. According to one embodiment, the input device provided in the viewing fatigue prediction model monitoring apparatus 200 may be a user interface tool such as a controller, but is not limited thereto.

또한 일 실시예에 따른 사용자 입력부(230)는 가상 현실 콘텐츠의 재생 시점을 선택하는 사용자 입력을 수신할 수 있다. 또한 일 실시예에 따른 사용자 입력부(230)는 가상 현실 콘텐츠와 연관된 제1 자료, 제1 자료를 가공한 제2 자료, 제2 가상 현실 콘텐츠에 대한 예측 영상 또는 가상 현실 콘텐츠에 대한 시뮬레이션 결과를 디스플레이부에 표시하도록 선택되는 사용자 입력을 수신할 수 있다.In addition, the user input unit 230 according to an exemplary embodiment may receive a user input for selecting a playback point of a virtual reality content. In addition, the user input unit 230 according to an exemplary embodiment displays a simulation result of a first data associated with the virtual reality content, a second data obtained by processing the first data, a predicted image of the second virtual reality content, A user input that is selected to be displayed on the display.

후술하는 바와 같이 도 3을 참조하여 기계학습에 기반한 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치(200)의 동작을 살펴보도록 하겠다.As will be described later, the operation of the apparatus 200 for monitoring the viewing fatigue prediction model of virtual reality contents based on machine learning will be described with reference to FIG.

일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치(300)는 모니터링부(310) 및 예측부(320)를 포함할 수 있으며, 모니터링부(310)는 입력신호 분석부(330), 데이터 처리부(340), 멀미수준 계산부(350) 및 출력부(360)를 포함하고, 예측부(320)는 생체신호 및 사용자 움직임 예측부(370) 및 예측 영상 생성부(380)를 포함할 수 있다.The monitoring fatigue prediction model monitoring apparatus 300 according to an exemplary embodiment may include a monitoring unit 310 and a prediction unit 320. The monitoring unit 310 may include an input signal analysis unit 330, A motion picture level calculating unit 350 and an output unit 360. The predicting unit 320 may include a biological signal and a user motion predicting unit 370 and a predictive image generating unit 380. [

일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치(300)는 가상 현실 시청 피로도의 정량적 수치를 모니터링 하는 장치로서, GUI를 기반으로 가상 현실 시청 피로도 크기(또는 멀미 수준), 시청 피로도 유발 요소 또는 생체신호에 대한 시각적 모니터링 서비스를 제공할 수 있으며, 입력 영상/신호에 대해 사용자 목적에 부합하는 분석 및 예측을 할 수 있다.The apparatus for monitoring the audiovisual prediction model 300 according to an exemplary embodiment of the present invention is an apparatus for monitoring a quantitative value of a virtual reality viewing fatigue and is provided with a virtual reality viewing fatigue size (or a nausea level), a viewing fatigue inducing factor, And can analyze and predict the input image / signal according to the user's purpose.

일 실시예에 따른 모니터링부(310)는 입력 영상/신호에 대한 분석 및 처리를 통해 획득되는 정보를 시각적으로 표시할 수 있으며, 구체적으로 입력신호 분석부(330)는 입력 영상으로부터 가상 현실 시청 피로도 크기를 결정하기 위한 자료의 유무를 판단하여 해당 자료를 데이터 처리부(340) 또는 예측부(320)로 제공할 수 있다. 또한 데이터 처리부(340)는 가상 현실 콘텐츠와 연관된 자료들을 이용하여 멀미 수준을 계산하기 위한 특징점(또는 시청 피로도 유발 요소)으로 가공할 수 있고, 멀미수준 계산부(350)는 미리 학습된 시청 피로도 예측 모델 등을 이용하여 특징점(또는 시청 피로도 유발 요소)로부터 예측되는 정량적 멀미 수준(또는 시청 피로도 리스트)을 도출할 수 있다. 또한 출력부는 입력 영상/신호, 특징점, 멀미 수준 등을 GUI를 이용하여 표시할 수 있다.The input signal analyzing unit 330 analyzes the input video signal and the input video signal to obtain a virtual reality viewing fatigue value from the input video, And may provide the data to the data processing unit 340 or the predicting unit 320. The data processing unit 340 or the predicting unit 320 may provide the data to the data processing unit 340 or the predicting unit 320. [ In addition, the data processing unit 340 may process the feature point (or the viewing fatigue inducing factor) for calculating the nausea level using the data associated with the virtual reality content, and the motion level calculating unit 350 may calculate the motion intensity (Or viewing fatigue list) predicted from the minutiae (or viewing fatigue causing factor) using a model or the like. Also, the output unit can display the input image / signal, feature point, nuisance level, etc. using the GUI.

한편 일 실싱예에 따른 예측부(320)는 멀미 수준 계산을 위해 요구되는 입력 자료가 부족한 경우, 해당 자료를 주어진 입력으로부터 예측할 수 있으며, 구체적으로 생체신호 및 사용자 움직임 예측부(370)는 실제 가상 현실 콘텐츠 시청 시 획득하기 어려운 생체신호 또는 사용자의 움직임을 주어진 가상 현실 콘텐츠의 입력으로부터 예측할 수 있고, 또한 예측 영상 생성부(380)는 실제로 사용자가 HMD 장치를 통해 가상 현실 콘텐츠를 시청하지 않더라도 생체신호 및 사용자 움직임 예측부(370)에서 예측된 머리 움직임을 이용하여 HMD 장치 상에 표시될 것으로 예상되는 화면을 생성 및 렌더링할 수 있다.If the input data required for the calculation of the motion level is insufficient, the predictor 320 predicts the corresponding data from the given input. Specifically, the bio-signal and user motion predictor 370 predicts the actual It is possible to predict a bio-signal or motion of a user, which is difficult to obtain when viewing the real-time content, from the input of the given virtual-reality content, and the predictive- And a head motion predicted by the user motion predicting unit 370 to generate and render a picture that is expected to be displayed on the HMD apparatus.

일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치(300)의 입력은 미리 제작된 가상 현실 콘텐츠 영상, 사용자의 움직임 또는 생체신호 등일 수 있으며, 이에 제한되지 않으며, 기타 추가적인 입력에 대해 커스터마이징(customizing) 라 수 있다.The input of the viewing fatigue prediction model monitoring apparatus 300 according to an exemplary embodiment may be a prebuilt virtual reality content image, a user's motion or a bio-signal, etc., but is not limited thereto and may be customized for other additional inputs .

도 4는 일 실시예에 따른 사용자 입력이 가상 현실 콘텐츠와 연관된 제1 자료를 표시하도록 선택되는 입력인 경우에, 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치에서 표시되는 화면을 나타내는 도면이다.FIG. 4 is a diagram illustrating a screen displayed by the viewing fatigue prediction model monitoring apparatus of a virtual reality content when a user input according to an exemplary embodiment is an input that is selected to display first data associated with the virtual reality content.

도 4를 참조하면, 시청 피로도 예측 모델 모니터링 장치(400)는 가상 현실 콘텐츠(410) 또는 HMD 장비를 착용한 사용자의 시청 화면(420)을 서로 동기를 맞추어 표시할 수 있다. 두 개의 영상 모두 표시될 수도 있고 선택적으로 어느 하나의 영상만 화면에 표시될 수 있다. 일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치(400)는 타임라인(430), 모니터링 모드(440), 분석 정보(450) 또는 시청 피로도 리스트(또는 멀미 수준)(460)를 표시할 수 있다. 구체적으로, 타임라인(430)의 경우 재생 시간 또는 재생 구간을 선택하는 사용자 입력에 의해 변경되며, 변경된 시간 구간에서의 영상 및 관련 자료들이 화면에 표시될 수 있다. 또한 분석 정보(450)의 경우 모니터링 모드(440)에서 선택된 종류 및 타임라인(430)에서 선택된 재생 시간에 따라 화면에 표시되는 그래프 및 차트 정보가 다르게 활성화될 수 있다. 멀미 수준(460)의 경우 모니터링 모드(440)에서 선택된 종류 및 타임라인(430)에서 선택된 재생 시간에 따른 결과가 화면에 표시될 수 있다.Referring to FIG. 4, the viewing fatigue prediction model monitoring apparatus 400 may display the virtual reality contents 410 or the viewing screen 420 of a user wearing the HMD equipment in synchronism with each other. Both of the images may be displayed or only one of the images may be selectively displayed on the screen. The viewing fatigue prediction model monitoring apparatus 400 according to an exemplary embodiment may display the time line 430, the monitoring mode 440, the analysis information 450, or the viewing fatigue list (or the motion level) 460. Specifically, in the case of the time line 430, the playback time or the playback interval is changed by the user input, and the video and related data in the changed time interval can be displayed on the screen. In the case of the analysis information 450, graphs and chart information displayed on the screen may be activated differently depending on the type selected in the monitoring mode 440 and the playback time selected in the time line 430. [ In the case of the nausea level 460, a result of the type selected in the monitoring mode 440 and the playback time selected in the time line 430 may be displayed on the screen.

도 4를 참조하면, 모니터링 모드(440)에서 데이터 모드(Data)가 선택되는 경우(즉, 사용자 입력이 가상 현실 콘텐츠와 연관된 제1 자료를 표시하도록 선택되는 입력인 경우), 일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치(400)는 객체의 좌표 및 회전정보, 카메라의 좌표 및 회전정보, 사용자의 머리 움직임, 사용자의 생체 신호 정보 등을 포함하는 정보(즉, 가상 현실 콘텐츠의 시청 피로도 유발 요소, 제1 시청 피로도 정보, 제2 시청 피로도 정보 또는 기계학습을 통해 미리 결정된 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계 정보)를 표시할 수 있다.4, if a data mode Data is selected in the monitoring mode 440 (i.e., if the user input is an input that is selected to display the first data associated with the virtual reality content), then in accordance with one embodiment The viewing fatigue prediction model monitoring apparatus 400 includes information including coordinates and rotation information of an object, coordinates and rotation information of a camera, head movement of a user, bio-signal information of a user (that is, information for visual fatigue inducing elements , The first viewing fatigue information, the second viewing fatigue information, or correlation information between the viewing fatigue inducing factor and the viewing fatigue list determined through machine learning).

도 5는 일 실시예에 따른 사용자 입력이 제1 자료를 가공한 제2 자료를 표시하도록 선택되는 입력인 경우에, 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치에서 표시되는 화면을 나타내는 도면이다.FIG. 5 is a diagram illustrating a screen displayed by the viewing fatigue prediction model monitoring apparatus of a virtual reality content when the user input according to an exemplary embodiment is an input selected to display second data obtained by processing the first data.

도 5를 참조하면, 모니터링 모드(440)에서 분석 모드(Analysis)가 선택되는 경우(즉, 사용자 입력이 제2 자료를 표시하도록 선택되는 입력인 경우), 일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치(400)는 입력 자료를 멀미 수준 예측이 가능한 특징점 정보로 가공하여 표시할 수 있다(즉, 사용자가 보다 쉽게 시청 피로도 정보를 확인할 수 있도록 제1 자료 중 일부를 시청 피로도 유발 요소 중 하나로 치환시키고, 치환된 결과를 표시할 수 있다). 예를 들어, 객체의 위치 및 회전 정보는 그에 대응되는 객체의 속도 및 가속도 정보로 가공(또는 치환)될 수 있고, 뇌파 신호는 스펙트럼 분석을 위한 주파수별 파워 정보로 가공될 수 있다. 일 실시예에 따를 때, 가동되는 특징점 정보는 멀미 수준에 영향을 미치는 요소들로 미리 결정되어 있을 수 있다. 따라서, 시청 피로도 예측 모델 모니터링 장치(400)는 멀미 유발에 높은 상관성을 가지는 특징점들을 순차적으로 그래프 또는 차트로 표시할 수 있으며, 어떠한 정보를 표시할지는 사용자 입력에 의해 변경될 수 있다.5, if an analysis mode is selected in the monitoring mode 440 (i.e., if the user input is an input that is selected to display the second data), the viewing fatigue prediction model monitoring The device 400 may process the input data into feature point information capable of predicting the motion level (i.e., replace some of the first data with one of the audience fatigue inducing factors so that the user can more easily view the view fatigue information) , The result of the substitution can be displayed). For example, the position and rotation information of the object can be processed (or replaced) with the velocity and acceleration information of the corresponding object, and the EEG signal can be processed into frequency-specific power information for spectral analysis. According to one embodiment, the minutiae information that is activated may be predetermined with elements that affect the nausea level. Accordingly, the viewing fatigue prediction model monitoring apparatus 400 can sequentially display the feature points having high correlation with the motion blur by a graph or a chart, and what information is displayed can be changed by user input.

도 6은 일 실시예에 따른 사용자 입력에 기초하여 결정된 재생 구간에서의 가상 현실 콘텐츠에 대한 분석 결과를 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치의 화면에 나타내는 도면이다.FIG. 6 is a diagram illustrating an analysis result of a virtual reality content in a playback section determined based on a user input according to an embodiment, on a screen of a viewing fatigue prediction model monitoring apparatus of a virtual reality content.

도 6을 참조하면, 제1 시간(610) 및 제2 시간(620)을 선택하는 사용자 입력에 기초하여, 시청 피로도 예측 모델 모니터링 장치(400)는 제1 시간(610)과 제2 시간(620) 사이의 구간에서의 가상 현실 콘텐츠에 대한 분석 결과를 표시할 수 있다. 따라서, 사용자 입력을 통해 타임라인의 구간을 자유롭게 설정함으로써, 사용자는 지정된 시간 내의 데이터를 정해진 특징점으로의 가공 혹은 통계적 특성을 추출할 수 있다. 한편, 다른 형태로의 가공 기능은 지원하지만(예를 들어, 속도의 평균, 각종 통계적 특성 등 사용자가 원하는 기능 추가 가능), 이 경우 미리 정의된 멀미 크기 계산 파라미터에 영향을 받지 않으므로 출력될 멀미 수준 예측값에는 영향을 주지 못할 수 있다.6, based on the user input selecting the first time 610 and the second time 620, the viewing fatigue prediction model monitoring apparatus 400 monitors the first time 610 and the second time 620 ) Of the virtual reality contents can be displayed. Therefore, by freely setting the interval of the timeline through the user input, the user can extract the data within the designated time from the machining or statistical characteristic to the designated minutiae. On the other hand, it supports the processing function of other forms (for example, the average of the speed and various statistical characteristics can be added by the user). In this case, since it is not affected by the predefined motion size calculation parameter, The predicted value may not be affected.

도 7은 일 실시예에 따른 사용자 입력이 제2 가상 현실 콘텐츠에 대한 예측 영상을 표시하도록 선택되는 입력인 경우에, 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치에서 표시되는 화면을 나타내는 도면이다.FIG. 7 is a diagram illustrating a screen displayed on the viewing fatigue prediction model monitoring apparatus of a virtual reality content when the user input according to an exemplary embodiment is an input that is selected to display a predictive image for the second virtual reality content.

도 7을 참조하면, 모니터링 모드(440)에서 예측 모드(Prediction)가 선택되는 경우(즉, 사용자 입력이 제2 가상 현실 콘텐츠에 대한 예측 영상을 표시하도록 선택되는 입력인 경우), 일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치(400)는 지도학습 기반의 기계학습 및 회귀분석 기법을 이용하여 미리 학습된 시청 피로도 예측 모델을 기초로, 생체신호 또는 사용자의 움직임 정보 등을 예측하고, 예측된 정보를 표시할 수 있다(즉, 제1 가상 현실 콘텐츠 또는 제1 자료를 분석함으로써, 제2 가상 현실 콘텐츠에 대한 예측 영상을 결정하고, 결정된 영상을 표시할 수 있다). 예를 들어, 사용자가 직접 HMD 장치를 착용하지 않거나 생체신호 검출 센서 등을 몸에 부착하지 않은 경우, HMD 장치를 통해 사용자가 실제 시청하는 영상이나 사용자의 머리 움직임과 같은 자료를 획득하기 어렵다. 따라서, 일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치(400)는 가상 현실 콘텐츠만 주어지고 사용자의 생체신호 및 머리 움직임 자료가 부재한 경우 예측 모드(Prediction) 기능을 이용하여 해당 자료를 예측할 수 있다. Referring to FIG. 7, when a prediction mode (Prediction) is selected in the monitoring mode 440 (i.e., when the user input is the input selected to display the predicted image for the second virtual reality content), in one embodiment The system monitoring apparatus 400 monitors the bio-signal or the motion information of the user based on the previously learned viewing fatigue prediction model using the learning and regression analysis technique based on the guidance learning, (I.e., by analyzing the first virtual reality content or the first data, the predicted image for the second virtual reality content can be determined and the determined image can be displayed). For example, when the user does not wear the HMD device directly or attaches the bio-signal detection sensor to the body, it is difficult to acquire data such as the image that the user actually views or the head movement of the user through the HMD device. Therefore, the viewing fatigue prediction model monitoring apparatus 400 according to the embodiment can predict the corresponding data by using a prediction mode function when only the virtual reality contents are given and the user's bio-signal and head motion data are absent .

도 8은 일 실시예에 따른 사용자 입력이 가상 현실 콘텐츠에 대한 시뮬레이션 결과를 표시하도록 선택되는 입력인 경우에, 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치에서 표시되는 화면을 나타내는 도면이다.FIG. 8 is a view showing a screen displayed on the viewing fatigue prediction model monitoring apparatus of a virtual reality content in the case where the user input according to an embodiment is an input selected to display a simulation result for the virtual reality contents.

도 8을 참조하면, 모니터링 모드(440)에서 시뮬레이션 모드(Simulation)가 선택되는 경우(즉, 사용자 입력이 가상 현실 콘텐츠에 대한 시뮬레이션 결과를 표시하도록 선택되는 입력인 경우), 일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치(400)는 사용자 움직임 정보를 변경하는 사용자 입력을 추가적으로 획득하여, 획득된 사용자 움직임 정보에 따른 가상 현실 콘텐츠에 대한 분석 결과를 표시할 수 있다(즉, 시청 피로도 유발 요소의 값을 변경하는 사용자 입력을 추가적으로 획득함에 따라, 시청 피로도 리스트를 구성하는 시청 피로도 리스트 항목의 값을 변경하고, 변경된 시청 피로도 리스트를 GUI를 이용하여 표시할 수 있다 수 있다). 예를 들어, 사용자의 머리 움직임에 대한 자료가 없는 경우 제어 버튼(810)을 선택하는 사용자 입력을 수신하면, 시청 피로도 예측 모델 모니터링 장치(400)는 사용자의 머리 움직임을 조정할 수 있는 컨트롤러(820)를 활성화 시키고, 활성화된 컨트롤러(820)를 이용하여 머리 움직임을 표시할 수 있다. 일 실시예에 따른 컨트롤러(820)는 조그다이얼 형태일 수 있으나, 이에 제한되지 않으며, 직접 화면을 드래그 하는 방법을 비롯한 머리 움직임에 대한 자료를 표시할 수 있는 다양한 GUI 상의 인터랙션 기법이 적용될 수 있다.8, if a simulation mode is selected in the monitoring mode 440 (i.e., if the user input is an input that is selected to display simulation results for the virtual reality content) The fatigue prediction model monitoring apparatus 400 may further acquire a user input for changing the user motion information and display an analysis result on the virtual reality content according to the obtained user motion information (i.e., the value of the viewing fatigue inducing element The value of the viewing fatigue list item constituting the viewing fatigue list can be changed and the changed viewing fatigue list can be displayed using the GUI). For example, if there is no data regarding the user's head movement, the monitoring device 700 monitors the user's head movement. When the controller 820 receives the user input for selecting the control button 810, And the head movement can be displayed using the activated controller 820. [ The controller 820 according to an exemplary embodiment may be in the form of a jog dial, but the present invention is not limited thereto, and various GUI interactive methods capable of displaying data on head movement including a method of directly dragging a screen may be applied.

도 9는 일 실시예에 따른 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치의 동작방법을 나타내는 흐름도이다.9 is a flowchart illustrating an operation method of a viewing fatigue prediction model monitoring apparatus for a virtual reality content according to an exemplary embodiment.

S900 단계에서 시청 피로도 예측 모델 모니터링 장치는 가상 현실 콘텐츠를 디스플레이부에 표시할 수 있다.In step S900, the viewing fatigue prediction model monitoring apparatus can display the virtual reality contents on the display unit.

일 실시예에 따른 시청 피로도 예측 모델 생성 장치는 가상 이미지, 가상 이미지를 선택하기 위한 사용자 인터페이스 또는 가상 이미지의 동작을 설정하기 위한 사용자 인터페이스를 디스플레이부에 표시할 수 있다. 또한, 시청 피로도 예측 모델 생성 장치는 HMD 장치 또는 몰입형 외부 가상 현실 영상 장치에서 처리되는 정보를 디스플레이할 수 있다.The apparatus for generating a viewing fatigue prediction model according to an exemplary embodiment may display a virtual image, a user interface for selecting a virtual image, or a user interface for setting an operation of a virtual image on a display unit. In addition, the viewing fatigue prediction model generating apparatus can display information processed in the HMD apparatus or the immersive external virtual reality imaging apparatus.

S910 단계에서 시청 피로도 예측 모델 모니터링 장치는 사용자 입력을 획득할 수 있다.In step S910, the viewing fatigue prediction model monitoring apparatus can acquire user input.

일 실시예에 따른 사용자 입력은 가상 현실 콘텐츠의 재생 시점을 선택하는 입력을 포함할 수 있다. 또한 일 실시예에 따른 사용자 입력은 가상 현실 콘텐츠와 연관된 제1 자료, 제1 자료를 가공한 제2 자료, 제2 가상 현실 콘텐츠에 대한 예측 영상 또는 가상 현실 콘텐츠에 대한 시뮬레이션 결과를 디스플레이부에 표시하도록 선택되는 입력을 포함할 수 있다.The user input according to an exemplary embodiment may include an input for selecting a reproduction point of time of the virtual reality contents. Also, a user input according to an embodiment may display a simulation result of a first data related to a virtual reality content, a second data obtained by processing the first data, a predicted image of the second virtual reality content, or a virtual reality content on a display unit &Lt; / RTI >

S920 단계에서 시청 피로도 예측 모델 모니터링 장치는 S910 단계에서 획득된 사용자 입력에 기초하여 가상 현실 콘텐츠를 분석할 수 있다.In step S920, the viewing fatigue prediction model monitoring apparatus may analyze the virtual reality contents based on the user input obtained in step S910.

S930 단계에서 시청 피로도 예측 모델 모니터링 장치는 S920 단계에서 획득된 가상 현실 콘텐츠에 대한 분석 결과를 디스플레이부에 표시할 수 있다.In step S930, the viewing fatigue prediction model monitoring apparatus may display the analysis result of the virtual reality contents obtained in step S920 on the display unit.

일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치는, 사용자 입력이 가상 현실 콘텐츠의 재생 시점을 선택하는 입력인 경우, 해당 재생 시점에 대응하는 재생 구간에서의 가상 현실 콘텐츠에 대한 분석 결과를 표시할 수 있다.The apparatus for monitoring a viewing fatigue prediction model according to an exemplary embodiment may display an analysis result on a virtual reality content in a playback section corresponding to the playback time when the user input is an input for selecting a playback time of the virtual reality content have.

또한 일 실시예에 따른 시청 피로도 예측 모델 모니터링 장치는, 사용자 입력이 가상 현실 콘텐츠에 대한 시뮬레이션 결과를 표시하도록 선택되는 입력인 경우, 시청 피로도 유발 요소의 값을 변경하는 사용자 입력을 추가적으로 획득함에 따라, 시청 피로도 리스트를 구성하는 시청 피로도 리스트 항목의 값을 변경하고, 변경된 상기 시청 피로도 리스트를 GUI를 이용하여 표시할 수 있다.In addition, the apparatus for monitoring a viewing fatigue prediction model according to an embodiment may further include a step of, when the user input is an input selected to display a simulation result for the virtual reality content, further obtaining a user input for changing a value of the viewing fatigue inducing element, The value of the viewing fatigue list item constituting the viewing fatigue list can be changed and the changed viewing fatigue list can be displayed using the GUI.

이상 도 1 내지 도 9를 참고하여, 본 개시의 일 실시 예에 따른 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치의 동작방법에 대해 설명하였다.1 to 9, an operation method of the viewing fatigue prediction model monitoring apparatus for virtual reality contents according to an embodiment of the present disclosure has been described.

또한, 본 개시에 따르면, 가상 현실 콘텐츠와 연관된 정보를 가공하고 분석하여 관련 통계적 정보를 제공함으로써, 스포츠, 게임, 가상훈련 및 의료를 포함하는 각종 가상 현실 응용 분야에서의 실효성 검증 및 성능 분석에 용이하게 이용될 수 있다.Further, according to the present disclosure, processing and analysis of information associated with virtual reality content and providing related statistical information facilitates effectiveness verification and performance analysis in various virtual reality applications including sports, games, virtual training, and medical care. Lt; / RTI >

또한, 본 개시에 따르면, 각종 데이터와 멀미 수준 및 시청 영상을 시각적으로 디스플레이 하기 때문에, 보다 쉽게 멀미 요소에 대해 파악될 수 있다.Also, according to the present disclosure, it is possible to more easily grasp the motion picture element because it visually displays the various data, the motion level and the viewing image.

한편, 본 개시의 일 양상에 따르면 가상 현실 콘텐츠의 시청 피로도 예측 모델 모니터링 장치의 동작방법을 수행하기 위해 실행가능한 명령들(executable instructions)을 가지는 소프트웨어 또는 컴퓨터-판독가능한 매체(computer-readable medium)가 제공될 수 있다. 상기 실행가능한 명령들은 가상 현실 콘텐츠를 디스플레이부에 표시하는 단계, 사용자 입력을 획득하는 단계, 상기 획득된 사용자 입력에 기초하여 상기 가상 현실 콘텐츠를 분석하는 단계 및 상기 가상 현실 콘텐츠에 대한 분석 결과를 상기 디스플레이부에 표시하는 단계를 포함할 수 있다.According to an aspect of the present disclosure, there is provided a computer-readable medium having executable instructions for performing a method of operating a viewing fatigue prediction model monitoring apparatus for virtual reality content, Can be provided. The executable instructions comprising the steps of: displaying a virtual reality content on a display, acquiring a user input, analyzing the virtual reality content based on the obtained user input, and analyzing the analysis result on the virtual reality content And displaying it on the display unit.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.Although the exemplary methods of this disclosure are represented by a series of acts for clarity of explanation, they are not intended to limit the order in which the steps are performed, and if necessary, each step may be performed simultaneously or in a different order. In order to implement the method according to the present disclosure, the illustrative steps may additionally include other steps, include the remaining steps except for some steps, or may include additional steps other than some steps.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.The various embodiments of the disclosure are not intended to be all-inclusive and are intended to illustrate representative aspects of the disclosure, and the features described in the various embodiments may be applied independently or in a combination of two or more.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. In addition, various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof. In the case of hardware implementation, one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays A general processor, a controller, a microcontroller, a microprocessor, and the like.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다. The scope of the present disclosure is to be accorded the broadest interpretation as understanding of the principles of the invention, as well as software or machine-executable instructions (e.g., operating system, applications, firmware, Instructions, and the like are stored and are non-transitory computer-readable medium executable on the device or computer.

200 : 시청 피로도 예측 모델 모니터링 장치
210 : 디스플레이부
220 : 제어부
230 : 사용자 입력부200: Monitoring fatigue prediction model monitoring device
210:
220:
230: User input

Claims

A display unit for displaying the virtual reality contents;
A user input unit for acquiring user input; And
And analyzing the virtual reality content based on the obtained user input and controlling the display unit to display an analysis result of the virtual reality content.

The method according to claim 1,
Wherein the virtual reality content includes:
And a second virtual reality content displayed on a head-mounted display (HMD) device worn by a user as an image corresponding to the first virtual reality content, , Monitoring device for viewing fatigue prediction model of virtual reality contents.

3. The method of claim 2,
Wherein the user input comprises:
An input for selecting at least one playback point of the virtual reality content,
Wherein,
And controls the display unit to display an analysis result of the virtual reality content in a playback section corresponding to the selected at least one playback time point.

The method of claim 3,
Wherein the user input comprises:
A display unit for displaying at least one of a first data associated with the virtual reality content, a second data processed by the first data, a predicted image for the second virtual reality content, and a simulation result for the virtual reality content, Further comprising an input to be selected,
Wherein the first data includes at least one of the viewing fatigue inducing element of the virtual reality contents, the first viewing fatigue information, the second viewing fatigue information, and the correlation information of the viewing fatigue inducing element and the viewing fatigue list predetermined through machine learning Including,
Wherein the viewing fatigue causing element of the virtual reality contents includes at least one of camera motion, object motion, playback information, resolution, binocular parallax, depth of field, viewing angle,
The viewing fatigue list may include at least one of an unpleasantness, tiredness, headache, eye fatigue, fogging, sweating, nausea, egg concentration, head clogging, visual field sense, dizziness, hallucination, One,
Wherein the first viewing fatigue information includes at least one of a user's image acquired from the image capturing sensor and a size of the user's biological signal acquired from the biological signal detecting sensor,
Wherein the second viewing fatigue information is at least one of the viewing fatigue list items inputted from the user corresponding to the viewing fatigue strength input request for the virtual reality content, Model monitoring device.

5. The method of claim 4,
When the user input is an input selected to display on the display unit the first data associated with the virtual reality content,
Wherein,
Analyzing the virtual reality contents to determine a correlation between the viewing fatigue causing element of the virtual reality contents, the first viewing fatigue information, the second viewing fatigue information, and the viewing fatigue causing element determined in advance through the machine learning and the viewing fatigue list And at least one of the pieces of related information is displayed on the display unit.

5. The method of claim 4,
If the user input is an input selected to display the second data on the display,
Wherein,
Wherein at least one of the first data is replaced with one of the viewing fatigue causing elements, and the replacement result is displayed on the display unit.

5. The method of claim 4,
When the user input is an input selected to display a predictive image for the second virtual reality content on the display unit,
Wherein,
Wherein the control unit controls the display unit to display the determined image on the display unit by analyzing the first virtual reality content and the first data to determine a predictive image for the second virtual reality content, Predictive model monitoring device.

5. The method of claim 4,
When the user input is an input selected to display a simulation result of the virtual reality contents on the display unit,
Wherein,
And changing a value of at least one viewing fatigue list item in the viewing fatigue list, and transmitting the changed viewing fatigue list to a graphical user interface (GUI) graphical user interface (GUI) to display on the display unit.

Displaying a virtual reality content on a display unit;
Obtaining a user input;
Analyzing the virtual reality content based on the obtained user input; And
And displaying the analysis result on the virtual reality content on the display unit.

10. The method of claim 9,
Wherein the virtual reality content includes:
And a second virtual reality content displayed on a head-mounted display (HMD) device worn by a user as an image corresponding to the first virtual reality content, , Monitoring method of viewing fatigue prediction model for virtual reality contents.

11. The method of claim 10,
Wherein the user input comprises:
An input for selecting at least one playback point of the virtual reality content,
Wherein the step of displaying the analysis result of the virtual reality contents on the display unit comprises:
And displaying the analysis result on the virtual reality content in a playback section corresponding to the selected at least one playback time on the display unit.

12. The method of claim 11,
Wherein the user input comprises:
A display unit for displaying at least one of a first data associated with the virtual reality content, a second data processed by the first data, a predicted image for the second virtual reality content, and a simulation result for the virtual reality content, Further comprising an input to be selected,
Wherein the first data includes at least one of the viewing fatigue inducing element of the virtual reality contents, the first viewing fatigue information, the second viewing fatigue information, and the correlation information of the viewing fatigue inducing element and the viewing fatigue list predetermined through machine learning Including,
Wherein the viewing fatigue causing element of the virtual reality contents includes at least one of camera motion, object motion, playback information, resolution, binocular parallax, depth of field, viewing angle,
The viewing fatigue list may include at least one of an unpleasantness, tiredness, headache, eye fatigue, fogging, sweating, nausea, egg concentration, head clogging, visual field sense, dizziness, hallucination, One,
Wherein the first viewing fatigue information includes at least one of a user's image acquired from the image capturing sensor and a size of the user's biological signal acquired from the biological signal detecting sensor,
Wherein the second viewing fatigue information is at least one of the viewing fatigue list items inputted from the user corresponding to the viewing fatigue strength input request for the virtual reality content, How to monitor the model.

13. The method of claim 12,
When the user input is an input selected to display on the display unit the first data associated with the virtual reality content,
Wherein the step of displaying the analysis result of the virtual reality contents on the display unit comprises:
Analyzing the virtual reality contents to determine a correlation between the viewing fatigue causing element of the virtual reality contents, the first viewing fatigue information, the second viewing fatigue information, and the viewing fatigue causing element determined in advance through the machine learning and the viewing fatigue list And displaying at least one of the relationship information on the display unit.

13. The method of claim 12,
If the user input is an input selected to display the second data on the display,
Wherein the step of displaying the analysis result of the virtual reality contents on the display unit comprises:
Replacing at least one of the first data with one of the viewing fatigue causing factors and displaying the replacement result on the display unit.

13. The method of claim 12,
When the user input is an input selected to display a predictive image for the second virtual reality content on the display unit,
Wherein the step of displaying the analysis result of the virtual reality contents on the display unit comprises:
Determining a predictive image for the second virtual reality content by analyzing the first virtual reality content and the first data and displaying the determined image on the display unit, How to Monitor Predictive Models.

13. The method of claim 12,
When the user input is an input selected to display a simulation result of the virtual reality contents on the display unit,
Wherein the step of displaying the analysis result of the virtual reality contents on the display unit comprises:
And changing a value of at least one viewing fatigue list item in the viewing fatigue list, and transmitting the changed viewing fatigue list to a graphical user interface (GUI) graphical user interface (GUI) to display on the display unit the monitoring fatigue prediction model of the virtual reality contents.