KR102499928B1 - System and method for providing vr content - Google Patents
System and method for providing vr content Download PDFInfo
- Publication number
- KR102499928B1 KR102499928B1 KR1020210011418A KR20210011418A KR102499928B1 KR 102499928 B1 KR102499928 B1 KR 102499928B1 KR 1020210011418 A KR1020210011418 A KR 1020210011418A KR 20210011418 A KR20210011418 A KR 20210011418A KR 102499928 B1 KR102499928 B1 KR 102499928B1
- Authority
- KR
- South Korea
- Prior art keywords
- reference image
- content
- output
- main view
- color
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
Abstract
본 발명은 VR(Virtual Reality) 컨텐츠를 제공하는 시스템 및 방법에 관한 것이다. 본 발명에 따른 헤드 마운티드 디스플레이(Head mounted display)를 이용하여 VR(Virtual Reality) 컨텐츠를 제공하는 방법은, 상기 헤드 마운티드 디스플레이의 메인 뷰 영역 상에 VR 컨텐츠를 출력하는 단계, 상기 VR 컨텐츠가 출력되는 중, 상기 메인 뷰 영역의 적어도 일부를 구성하는 복수의 픽셀 각각의 색 변화량을 모니터링하는 단계 및 상기 모니터링 결과가 기 설정된 조건을 만족하는 경우, 상기 메인 뷰 영역 상에 기준 이미지를 출력하는 단계를 포함하고, 상기 기준 이미지는 상기 메인 뷰 영역 상의 특정 영역에 고정된 상태로 출력되는 것을 특징으로 한다.The present invention relates to a system and method for providing virtual reality (VR) content. A method for providing VR (Virtual Reality) content using a head mounted display according to the present invention includes outputting VR content on a main view area of the head mounted display, outputting the VR content Among them, monitoring the amount of color change of each of a plurality of pixels constituting at least a part of the main view area, and outputting a reference image on the main view area when the monitoring result satisfies a preset condition. And, the reference image is characterized in that it is output in a fixed state to a specific region on the main view region.
Description
본 발명은 VR(Virtual Reality) 컨텐츠를 제공하는 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for providing virtual reality (VR) content.
가상현실(Virtual Reality, 이하, 'VR'이라 명명)은 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서 그것을 사용하는 사람이 마치 실제 주변상황, 환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스를 말한다.Virtual Reality (hereinafter referred to as 'VR') is a human-computer interface that creates a specific environment or situation with a computer and makes it as if the user is interacting with the real surrounding situation or environment. says
이러한 VR은 전자 기기(예를 들어, 헤드 마운티드 디스플레이(Head mounted display, HMD))를 활용해 체험할 수 있다.Such VR can be experienced using an electronic device (for example, a head mounted display (HMD)).
최근 VR을 이용한 컨텐츠는 게임, 방송, 교육, 건설, 부동산, 엔터테인먼트 등 다양한 분야에서 생산 및 유통되고 있다.Recently, contents using VR are produced and distributed in various fields such as games, broadcasting, education, construction, real estate, and entertainment.
VR 컨텐츠란 사용자가 시청하는 영상을 실제로 사용자 자신이 체험하는 것과 같은 몰입감을 주는 컨텐츠를 말한다.VR content refers to content that gives a sense of immersion as if the user actually experiences the video that the user is watching.
VR 컨텐츠는 일반적으로 스테레오 형식 및 360도 영상을 사용하여, VR 컨텐츠를 시청하는 사용자에게 실제(또는 현실)와 같은 몰입감을 제공할 수 있다.VR content generally uses a stereo format and 360-degree video to provide a real (or reality) immersive feeling to users who watch VR content.
한편VR 컨텐츠를 시청할 때, 시청자는 시각과 평형감각의 부조화로 인하여 심한 피로 또는 멀미(Motion sickness) 증상을 느끼는 경우가 있다.On the other hand, when watching VR content, viewers may feel severe fatigue or motion sickness symptoms due to the incongruity of vision and sense of equilibrium.
따라서, 이러한 부작용을 경감시키면서, VR 컨텐츠의 시청에는 방해되지 않는 VR 컨텐츠를 제공하는 기술이 요구된다. Therefore, a technique for providing VR contents that do not interfere with the viewing of VR contents while reducing such side effects is required.
본 발명의 일 목적은, VR 컨텐츠를 시청하는 사용자에게 유발되는 멀미 증상을 경감하기 위한 것이다.One object of the present invention is to alleviate motion sickness symptoms caused to a user who watches VR content.
본 발명의 다른 일 목적은, VR 컨텐츠 시청 중 멀미가 유발되는 상황에서만 선택적으로 멀미 저감 조치를 할 수 있도록 하는 VR 컨텐츠 제공 시스템 및 제공 방법을 제공하는 것이다.Another object of the present invention is to provide a system and method for providing VR contents that can selectively reduce motion sickness only in situations where motion sickness is induced while viewing VR contents.
본 발명의 다른 일 목적은, VR 컨텐츠 시청 중 VR 컨텐츠를 구성하는 배경이 급격하게 변하는 경우 선택적으로 멀미 저감 조치를 할 수 있도록 하는 VR 컨텐츠 제공 시스템 및 제공 방법을 제공하는 것이다.Another object of the present invention is to provide a VR content providing system and method for selectively reducing motion sickness when the background constituting VR content rapidly changes while watching VR content.
본 발명에 따른 헤드 마운티드 디스플레이(Head mounted display)를 이용하여 VR(Virtual Reality) 컨텐츠를 제공하는 방법은, 상기 헤드 마운티드 디스플레이의 메인 뷰 영역 상에 VR 컨텐츠를 출력하는 단계, 상기 VR 컨텐츠가 출력되는 중, 상기 메인 뷰 영역의 적어도 일부를 구성하는 복수의 픽셀 각각의 색 변화량을 모니터링하는 단계 및 상기 모니터링 결과가 기 설정된 조건을 만족하는 경우, 상기 메인 뷰 영역 상에 기준 이미지를 출력하는 단계를 포함하고, 상기 기준 이미지는 상기 메인 뷰 영역 상의 특정 영역에 고정된 상태로 출력되는 것을 특징으로 한다. A method for providing VR (Virtual Reality) content using a head mounted display according to the present invention includes outputting VR content on a main view area of the head mounted display, outputting the VR content Among them, monitoring the amount of color change of each of a plurality of pixels constituting at least a part of the main view area, and outputting a reference image on the main view area when the monitoring result satisfies a preset condition. And, the reference image is characterized in that it is output in a fixed state to a specific region on the main view region.
일 실시 예에 있어서, 상기 기 설정된 조건은 상기 복수의 픽셀 각각의 색 변화량의 절대값의 총합이 제1기준값을 초과하는 것일 수 있다.In one embodiment, the predetermined condition may be that the total sum of absolute values of color change amounts of each of the plurality of pixels exceeds a first reference value.
일 실시 예에 있어서, 상기 기 설정된 조건은 상기 복수의 픽셀 중 색 변화량의 절대값이 제2기준값을 넘는 픽셀의 수가 제3기준값을 초과하는 것일 수 있다.In an embodiment, the predetermined condition may be that the number of pixels having an absolute value of a color change exceeding a second reference value among the plurality of pixels exceeds a third reference value.
일 실시 예에 있어서, 본 발명은 상기 기준 이미지가 출력되는 중, 상기 모니터링 결과가 상기 설정된 조건을 만족하지 않게 되는 경우, 상기 기준 이미지가 사라지도록 하는 단계를 더 포함할 수 있다.In one embodiment, the present invention may further include making the reference image disappear when the monitoring result does not satisfy the set condition while the reference image is being output.
일 실시 예에 있어서, 본 발명은 상기 기준 이미지가 출력되는 중, 상기 모니터링 결과가 상기 설정된 조건을 만족하지 않게 되는 경우, 상기 기준 이미지의 계속 출력 여부를 선택 받는 단계 및 상기 선택 결과에 기반하여, 상기 기준 이미지가 사라지도록 하는 단계를 더 포함할 수 있다.In one embodiment, the present invention, when the monitoring result does not satisfy the set condition while the reference image is output, receiving a selection on whether or not to continue outputting the reference image, and based on the selection result, The method may further include making the reference image disappear.
일 실시 예에 있어서, 상기 기준 이미지가 사라지도록 하는 단계는 상기 모니터링 결과가 상기 설정된 조건을 만족하지 않는 시간이 기준 시간을 초과할 때 수행되는 것일 수 있다.In an embodiment, the step of causing the reference image to disappear may be performed when a time during which the monitoring result does not satisfy the set condition exceeds a reference time.
일 실시 예에 있어서, 본 발명은 상기 VR 컨텐츠에 포함된 복수의 그래픽 객체들 중 적어도 하나를 선택 받는 단계를 더 포함하고, 상기 메인 뷰 영역의 적어도 일부를 구성하는 복수의 픽셀 각각의 색 변화량을 모니터링하는 단계는, 상기 선택받은 그래픽 객체가 표시되는 영역을 제외한 나머지 영역을 구성하는 픽셀의 색 변화량을 모니터링할 수 있다.In one embodiment, the present invention further comprises receiving a selection of at least one of a plurality of graphic objects included in the VR content, and determining the amount of color change of each of a plurality of pixels constituting at least a part of the main view area. In the monitoring, the color change amount of pixels constituting the area other than the area where the selected graphic object is displayed may be monitored.
일 실시 예에 있어서, 상기 선택받은 그래픽 객체의 출력 영역이 변경되는 경우, 상기 메인 뷰 영역의 적어도 일부를 구성하는 복수의 픽셀 각각의 색 변화량을 모니터링하는 단계는, 상기 변경된 출력 영역을 제외한 나머지 영역에 대하여 수행되는 것일 수 있다.In one embodiment, when the output area of the selected graphic object is changed, the step of monitoring the amount of color change of each of a plurality of pixels constituting at least a part of the main view area may include remaining areas other than the changed output area. It may be performed for.
또한, 헤드 마운티드 디스플레이(Head mounted display)를 이용하여 VR(Virtual Reality) 컨텐츠 제공 시스템을 제공한다. 구체적으로, 본 발명은 상기 헤드 마운티드 디스플레이의 메인 뷰 영역에 상기 VR 컨텐츠를 출력하는 출력부 및 상기 VR 컨텐츠가 출력되는 중, 상기 메인 뷰 영역의 적어도 일부를 구성하는 복수의 픽셀 각각의 색 변화량을 모니터링하고, 상기 모니터링 결과가 기 설정된 조건을 만족하는 경우, 상기 메인 뷰 영역 상에 기준 이미지가 출력되도록 상기 출력부를 제어하는 제어부를 포함하고, 상기 기준 이미지는 상기 메인 뷰 영역 상의 특정 영역에 고정된 상태로 출력되는 것을 특징으로 하는 멀미 저감을 위한 VR 컨텐츠 제공 시스템을 제공한다. In addition, a VR (Virtual Reality) content providing system using a head mounted display is provided. Specifically, the present invention relates to an output unit that outputs the VR content to the main view area of the head mounted display and a color change amount of each of a plurality of pixels constituting at least a part of the main view area while the VR content is being output. and a control unit for controlling the output unit to output a reference image on the main view area when the monitoring result satisfies a preset condition, wherein the reference image is fixed to a specific area on the main view area. It provides a VR content providing system for reducing motion sickness, characterized in that it is output in a state.
일 실시 예에 있어서, 상기 기 설정된 조건은 상기 복수의 픽셀 각각의 색 변화량의 절대값의 총합이 제1기준값을 초과하는 것일 수 있다.In one embodiment, the predetermined condition may be that the total sum of absolute values of color change amounts of each of the plurality of pixels exceeds a first reference value.
위에서 살펴본 것과 같이, 본 발명에 따른 멀미 저감을 위한 VR 컨텐츠 제공 시스템 및 제공 방법은, VR 컨텐츠가 출력되는 중 영상의 색 변화가 과도하게 일어나는 경우에만 선택적으로 고정된 기준 이미지를 제공한다. 이를 통해, 본 발명은 VR 컨텐츠의 시청에 방해가 되지 않으면서, 사용자의 멀미 증상을 경감시킬 수 있다.As described above, the system and method for providing VR contents for reducing motion sickness according to the present invention selectively provides a fixed reference image only when the color of an image changes excessively while VR contents are being output. Through this, the present invention can alleviate the user's symptoms of motion sickness without interfering with the viewing of VR content.
또한, 본 발명은 VR 컨텐츠가 출력되는 중 색 변화가 일어나는 면적이 과도한 경우에만 선택적으로 고정된 기준 이미지를 제공한다. 이를 통해, 본 발명은 사용자가 멀미를 느끼는 상황(예를 들어, VR 컨텐츠의 배경이 과도하게 변하는 상황)에만 선택적으로 멀미 저감 조치를 수행할 수 있다.In addition, the present invention provides a selectively fixed reference image only when an area in which a color change occurs while VR content is being output is excessive. Through this, the present invention can selectively perform a motion sickness reduction measure only in a situation in which the user feels motion sickness (eg, a situation in which the background of VR content changes excessively).
도 1은 본 발명에 따른 VR 컨텐츠 제공 시스템의 구성을 구성도이다.
도 2는 본 발명에 따른 VR 컨텐츠 제공 방법을 도시한 흐름도이다.
도 3 내지 도 7은 본 발명에 따른 VR 컨텐츠 제공 방법을 설명하기 위한 참고 도면이다.1 is a configuration diagram of a VR content providing system according to the present invention.
2 is a flowchart illustrating a VR content providing method according to the present invention.
3 to 7 are reference views for explaining a VR content providing method according to the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, the embodiments disclosed in this specification will be described in detail with reference to the accompanying drawings, but the same reference numerals will be assigned to the same or similar components regardless of reference numerals, and overlapping descriptions thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or used together in consideration of ease of writing the specification, and do not have meanings or roles that are distinct from each other by themselves. In addition, in describing the embodiments disclosed in this specification, if it is determined that a detailed description of a related known technology may obscure the gist of the embodiment disclosed in this specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in this specification, the technical idea disclosed in this specification is not limited by the accompanying drawings, and all changes included in the spirit and technical scope of the present invention , it should be understood to include equivalents or substitutes.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers, such as first and second, may be used to describe various components, but the components are not limited by the terms. These terms are only used for the purpose of distinguishing one component from another.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Singular expressions include plural expressions unless the context clearly dictates otherwise.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, terms such as "comprise" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.
본 발명은, 멀미 저감을 위한 VR 컨텐츠 제공 시스템 및 제공 방법에 관한 것으로서, VR 컨텐츠를 시청하는 사용자(또는 시청자)의 멀미 증상을 경감(또는 저감 또는 완화)하기 위한 것이다. The present invention relates to a VR content providing system and method for reducing motion sickness, and is intended to alleviate (or reduce or mitigate) motion sickness symptoms of a user (or viewer) who watches VR content.
VR 컨텐츠는, VR 컨텐츠를 출력할 수 있는 전자 기기를 통해 사용자에게 제공될 수 있다. 여기서 VR 컨텐츠를 출력할 수 있는 전자 기기의 일 예로서는, 헤드 마운티드 디스플레이(Head mounted display)가 있다. 이하에서는 본 발명의 설명을 위해, VR 컨텐츠를 출력할 수 있는 전자 기기는 일 예인 헤드 마운티드 디스플레이로 설명하도록 한다.VR content may be provided to a user through an electronic device capable of outputting VR content. Here, as an example of an electronic device capable of outputting VR content, there is a head mounted display. Hereinafter, for description of the present invention, an electronic device capable of outputting VR content will be described as an example of a head-mounted display.
사용자가 VR 컨텐츠를 이용하는 경우, 시각과 평형감각의 부조화로 인하여 어지럼증, 두통 구역질 등과 같은 멀미(Motion Sickness) 증상을 느끼는 경우가 있다. 이에 본 발명에 따른 VR 컨텐츠 제공 시스템은, VR 컨텐츠가 출력되는 디스플레이 영역의 특정 좌표 상에 고정된 이미지를 출력함으로써 이러한 멀미 증상을 경감시킬 수 있다. When a user uses VR content, there is a case where the user feels symptoms of motion sickness such as dizziness, headache, nausea, etc. due to the incongruity of vision and balance. Thus, the VR content providing system according to the present invention can alleviate the symptoms of motion sickness by outputting a fixed image on a specific coordinate of a display area where VR content is output.
이때, 고정된 이미지는, 상기 특정 좌표 상에 계속하여 출력될 수 있으며, 사용자는 고정된 이미지를 고정점으로 인식할 수 있고 이를 통하여, 멀미 증상을 경감(또는 완화 또는 저감)시킬 수 있다. At this time, the fixed image may be continuously output on the specific coordinates, and the user may recognize the fixed image as a fixed point, and through this, the symptoms of motion sickness may be alleviated (or alleviated or reduced).
또한 본 발명에 따른 VR 컨텐츠 제공 시스템이 제공하는 고정된 이미지는, VR 컨텐츠를 이용하는 사용자의 니즈, 또는 컨텐츠의 테마에 맞춰 그 형상, 위치 및 크기 중 적어도 하나를 변경할 수 있어 보다 조화로운 영상을 사용자에게 제공할 수 있다.In addition, the fixed image provided by the VR content providing system according to the present invention can change at least one of its shape, position, and size according to the needs of users using VR content or the theme of the content, thereby providing a more harmonious image to the user. can be provided to
이하에서는 첨부된 도면과 함께 보다 구체적으로 살펴보도록 한다.Hereinafter, it will be looked at in more detail together with the accompanying drawings.
도 1은 본 발명에 따른 VR 컨텐츠 제공 시스템의 구성을 구성도이다. 도 2는 본 발명에 따른 VR 컨텐츠 제공 방법을 도시한 흐름도이다. 도 3내지 도 7은 본 발명에 따른 VR 컨텐츠 제공 방법을 설명하기 위한 참고 도면이다.1 is a configuration diagram of a VR content providing system according to the present invention. 2 is a flowchart illustrating a VR content providing method according to the present invention. 3 to 7 are reference views for explaining a VR content providing method according to the present invention.
본 발명에 따른 VR 컨텐츠 제공 시스템(100)은, VR 컨텐츠를 출력(또는 재생)할 수 있는 전자 기기와 연동되어 동작할 수 있다. 도 1에 도시된 것과 같이, 본 발명에 따른 VR 컨텐츠 제공 시스템(100)은 헤드 마운티드 디스플레이(200)와 연동되어 동작할 수 있다. 본 발명에 따른 VR 컨텐츠 제공 시스템(100)은, 입력부(110), 출력부(120) 및 제어부(130) 중 적어도 하나를 포함할 수 있다. 여기서 제어부(130)는, 본 발명에 따른 VR 컨텐츠 제공 시스템(100)의 전반적인 구성 요소를 제어할 수 있다.The VR
본 발명에 따른 VR 컨텐츠 제공 시스템(100)은 상술한 구성 요소로 제한되는 것은 아니며, 본 명세서에 설명에 따른 장치와 동일한 역할을 하는 구성요소를 더 포함할 수 있다. The VR
먼저 헤드 마운티드 디스플레이(200, Head mounted display, 이하, 'HMD'이라고 명명함)는 안경처럼 착용하고 영상을 즐길 수 있는 영상 표시 장치들을 총칭하며, 최근에는 FMD(Face Mounted Display)라고도 부른다. HMD는, 사용자의 시각 및 청각을 외부와 차단한 후 사용자의 시각에 가상세계를 보여주는 역할을 한다. 일 예로서, HMD는, 눈앞에 디스플레이가 오도록 얼굴에 쓰는 형태로 마이크, 스테레오 스피커를 비롯해 여러 센서 등이 탑재돼 있다. First, a head mounted display 200 (hereinafter, referred to as 'HMD') is a general term for image display devices that can be worn like glasses and enjoy images, and are recently also called Face Mounted Displays (FMDs). The HMD plays a role of showing the virtual world to the user's view after blocking the user's vision and hearing from the outside. As an example, the HMD is worn on the face so that the display is in front of the eyes, and is equipped with a microphone, a stereo speaker, and various sensors.
HMD는 가상의 공간을 뷰 영역 통해 제공할 수 있다. 이하 명세서에서는, HMD가 제공하는 복수의 뷰 영역(또는 디스플레이 영역) 중 사용자의 시선에 대응하는 뷰 영역을 "메인 뷰 영역"(210)이라 명명하도록 한다.The HMD may provide a virtual space through a view area. In the following specification, among a plurality of view areas (or display areas) provided by the HMD, a view area corresponding to the user's line of sight is referred to as a "main view area" 210 .
특히 이러한 HMD는, VR(Virtual Reality) 컨텐츠를 디스플레이 할 수 있다. 나아가 HMD는, AR(Augmented Reality) 컨텐츠 또는 MR(Mixed Reality) 컨텐츠 중 어느 하나를 디스플레이할 수도 있다.In particular, such an HMD can display VR (Virtual Reality) content. Furthermore, the HMD may display either Augmented Reality (AR) content or Mixed Reality (MR) content.
여기서, 컨텐츠(Contents)란, 부호, 문자, 도형, 색채, 음성, 음향, 이미지 및 영상 등(또는 이들 중 적어도 두개 이상의 복합체)의 자료, 데이터 또는 정보를 의미한다.Here, the contents (Contents) means data, data or information such as codes, characters, figures, colors, voices, sounds, images and videos (or a combination of at least two or more of them).
VR 컨텐츠란, 사용자가 시청하는 영상을 실제로 사용자 자신이 체험하는 것과 같은 몰입감을 주는 컨텐츠로, 3차원 또는 2차원 영상을 사용하여 제작될 수 있다. 한편 AR 컨텐츠, 실제 환경에 3차원 또는 2차원 영상을 혼합하여 사용자에게 제공하도록 제작될 수 있다. 한편 MR 컨텐츠는. AR과 VR을 혼합해 현실 배경에 현실과 가상의 정보를 혼합시켜 사용자에게 제공하도록 제작될 수 있다.VR content is content that gives a sense of immersion as if the user actually experiences the video he or she is watching, and can be produced using a 3D or 2D video. On the other hand, it can be produced to provide users with AR contents and 3D or 2D images mixed with the real environment. Meanwhile, MR content. By mixing AR and VR, it can be produced to provide users with a mixture of real and virtual information in a real background.
한편 출력부(120)는, 본 발명에 따른 VR 컨텐츠 제공 시스템(100)과 연동된 HMD(200)의 뷰 영역(예를 들어, 메인 뷰 영역)에 상기 VR 컨텐츠를 출력할 수 있다.Meanwhile, the
본 발명에서 VR 컨텐츠는, 사용자가 시청하는 영상을 실제로 사용자 자신이 체험하는 것과 같은 몰입감을 주는 컨텐츠로, 예를 들어, 학습과 관련된 컨텐츠를 포함할 수 있다.In the present invention, VR content is content that gives a sense of immersion as if the user actually experiences the video he or she is watching, and may include, for example, content related to learning.
한편 본 발명에서 제어부(130)는, VR 컨텐츠와 함께, 기준 이미지를 출력할 수 있으며, 여기서 기준 이미지는, HMD(200)의 메인 뷰 영역 상에 적어도 일 영역에 위치하는 이미지로, 다양한 형상을 가질 수 있다. Meanwhile, in the present invention, the
본 발명에서 메인 뷰 영역 상에 출력되는 최종적인 기준 이미지는, 복수의 후보 기준 이미지들 중에서 선택된 어느 하나의 이미지일 수 있다. 본 명세서에서, 기준 이미지는 복수의 후보 기준 이미지와 특정 기준 이미지를 총칭하는 용어로서, 서로 혼용되어 사용될 수 있다.In the present invention, the final reference image output on the main view area may be any one image selected from among a plurality of candidate reference images. In this specification, a reference image is a general term for a plurality of candidate reference images and a specific reference image, and may be used interchangeably.
이와 같은 기준 이미지는, HMD(200)의 메인 뷰 영역상에 VR 컨텐츠의 출력 상태(또는 재생 상태)와 관계없이, 특정 위치 상에서 출력될 수 있다. 예를 들어, 기준 이미지는, 움직임이 있는 VR 컨텐츠가 디스플레이되는 경우에도(즉, 동영상으로 이루어진 VR 컨텐츠가 재생되고 있는 경우에도), 상기 메인 뷰 영역의 적어도 일 영역에 대응되는 특정 좌표 상에 위치할 수 있다.Such a reference image may be output on a specific location on the main view area of the
여기에서, 기준 이미지가 출력되는 상기 위치(또는 고정된 위치)는, 기준 이미지에 기 매칭된 출력 좌표에 대응될 수 있다. 상기 기준 이미지에 기 매칭된 출력 좌표는, 기 저장된 데이터로서 메모리 상에 존재할 수 있다.Here, the position (or fixed position) at which the reference image is output may correspond to output coordinates pre-matched to the reference image. Output coordinates pre-matched to the reference image may exist in a memory as pre-stored data.
한편, 기준 이미지의 출력 시점은 다양하게 설정될 수 있으며, 일 예로서, 제어부(또는 시스템)의 설정에 의하여 VR 컨텐츠의 출력과 동시에 기준 이미지가 출력될 수 있다. 예를 들어, VR 컨텐츠의 출력되는 경우, 기본 설정에 의한 특정 기준 이미지가, 상기 특정 기준 이미지에 매칭된 출력 좌표 영역에 출력될 수 있다.On the other hand, the output time point of the reference image may be set in various ways, and as an example, the reference image may be output simultaneously with the output of the VR content by the setting of the controller (or system). For example, when VR content is output, a specific reference image by default setting may be output to an output coordinate region matched to the specific reference image.
이러한 기준 이미지는, 사용자의 요청에 근거하여, 또는 제어부(130)의 제어 하에, 메인 뷰 영역에서 사라지는 것이 가능하다. 즉, 이 경우, 기준 이미지는 메인 뷰 영역 상에 출력되지 않는다.The reference image may disappear from the main view area based on a user's request or under the control of the
한편, 출력이 종료된 기준 이미지는, 다시 사용자의 요청 또는 제어부(130)의 제어 하에, 다시 메인 뷰 영역 상에 출력될 수 있다.Meanwhile, the reference image whose output is finished may be output again on the main view area at the user's request or under the control of the
다른 예로서, 기준 이미지는 사용자의 요청이 있는 경우에 한하여, 메인 뷰 영역의 일 영역에 출력되는 것이 가능하다.As another example, the reference image may be output to one area of the main view area only when there is a user's request.
한편, 본 발명에 따른 VR 컨텐츠 제공 시스템(100)은, VR 컨텐츠가 메인 뷰 영역 상에서 출력되고 있는 상태(또는 재생되고 있는 상태)에서 기준 이미지(또는 특정 기준 이미지)를 메인 뷰 영역 상의 특정 영역에 출력할 수 있다.Meanwhile, in the VR
본 발명은 VR 컨텐츠 시청 중 멀미가 유발되는 상황에서만 선택적으로 기준 이미지가 출력되도록 한다. According to the present invention, a reference image is selectively output only in a situation in which motion sickness is caused while viewing VR contents.
본 발명은 헤드 마운티드 디스플레이의 메인 뷰 영역 상에 VR 컨텐츠를 출력(S210)한다. In the present invention, VR content is output on the main view area of the head mounted display (S210).
메인 뷰 영역은 복수의 픽셀들로 이루어져 있으며 출력부(120)는 상기 픽셀들 각각에서 출력되는 색을 제어하여 영상을 출력한다. 출력부(120)는 상기 픽셀들 각각에서 특정 색상이 출력되도록 제어하고 상기 특정 색상의 출력을 유지함으로써, 정지 영상을 구현한다. 한편, 출력부(120)는 픽셀들 각각에서 출력되는 색상을 시간에 따라 변화시킴으로써, 동영상을 구현한다. 본 발명은 메인 뷰 영역을 구성하는 픽셀들에서 출력되는 색상이 시간에 따라 변하는 상황, 즉, 동영상이 출력 중인 상황에서 특정 조건을 만족하는 경우 기준 이미지를 출력한다.The main view area is composed of a plurality of pixels, and the
VR 컨텐츠가 출력되는 중, 제어부(130)는 상기 메인 뷰 영역의 적어도 일부를 구성하는 복수의 픽셀 각각의 색 변화량을 모니터링한다. While the VR content is output, the
구체적으로, 제어부(130)는 복수의 픽셀들 각각에 할당되는 색상 정보를 모니터링한다. 상기 색상 정보는 헤드 마운티드 디스플레이의 색 구현 방식에 따라 달라질 수 있다. Specifically, the
예를 들어, 하나의 색상을 24비트로 구현하는 경우, R, G, B 채널 각각에 8비트를 할당하여 16,777,216개의 색상을 구현할 수 있다. 이 경우, R, G, B각각에 대한 색상 값은 0 내지 255 값으로 정해진다. 본 명세서에서는 설명의 편의를 위해 24비트로 색상을 구현하는 방식으로 설명하나, 디스플레이에서 색을 구현하는 방식은 이에 한정되지 않는다.For example, when one color is implemented with 24 bits, 16,777,216 colors can be implemented by allocating 8 bits to each of the R, G, and B channels. In this case, the color values for each of R, G, and B are set to a value of 0 to 255. In this specification, a method of implementing color in 24 bits is described for convenience of description, but a method of implementing color in a display is not limited thereto.
본 명세서에서는 픽셀 각각에 할당되는 정보를 '색상 정보'라하고, '색상 정보'에 포함된 R, G, B 각각에 관한 설정 값을 '색상 값'이라 한다. 명세서에서는 제어부(130)가 '색상 정보'를 모니터링 한다 또는 '색상 값'을 모니터링 한다고 표현될 수 있으나, 상기 두 가지 표현은 동일한 표현이며, 제어부(130)의 다른 제어를 의미하는 것은 아니다. In this specification, information allocated to each pixel is referred to as 'color information', and setting values for each of R, G, and B included in the 'color information' are referred to as 'color values'. In the specification, it may be expressed that the
한편, 메인 뷰 영역에 동영상 VR 컨텐츠가 출력되는 경우, 제어부(130)는 일정한 시간 간격으로 이미지를 변경 출력하여 디스플레이에서 출력되는 영상이 움직이는 영상으로 보여지도록 한다. 예를 들어, 제어부(130)는 60분의 1초마다 영상을 변경 출력하여 동영상을 구현한다. 즉, 제어부는 복수의 프레임을 일정 시간 간격으로 표시하여 동영상을 구현한다.Meanwhile, when video VR content is output to the main view area, the
동영상 출력 시, 메인 뷰 영역을 구성하는 픽셀들 각각에는 상술한 시간 간격으로 서로 다른 색상 정보가 할당된다. 예를 들어, 60분의 1초마다 영상을 변경 출력하여 동영상을 구현하는 경우, 픽셀들 각각에 할당되는 색상 정보는 60분의 1초마다 변경된다. When a video is output, different color information is allocated to each of the pixels constituting the main view area at the above-described time interval. For example, when a video is implemented by changing and outputting an image every 1/60 second, color information assigned to each pixel is changed every 1/60 second.
제어부(130) 상기 시간 간격마다 메인 뷰 영역을 구성하는 픽셀들 각각에 할당되는 색상 정보를 모니터링 한다. The
이후, 모니터링 결과가 기 설정된 조건을 만족하는 경우, 상기 메인 뷰 영역 상에 기준 이미지를 출력(S230)하는 단계가 진행된다.Thereafter, when the monitoring result satisfies a preset condition, a step of outputting a reference image on the main view area (S230) proceeds.
제어부(130)는 상기 시간 간격마다 모니터링된 색상 정보를 이용하여 색 변화량을 산출한다. 본 명세서에서는 상기 모니터링된 색상 정보에 기반하여 산출된 값을 색 변화량이라 칭한다. 색 변화량은 다양한 방식으로 산출될 수 있다.The
일 실시 예에 있어서, 제어부(130)는 특정 프레임에서 특정 픽셀에 할당된 R, G, B 색상 값과 상기 특정 프레임 다음 프레임에서 상기 특정 픽셀에 할당된 R, G, B 색상 값을 모니터링한다. 이후, 제어부(130)는 각각의 프레임에서 모니터링된 색상 값을 이용하여, R, G, B 각각에 대한 색상 값 변화를 산출한다. 제어부(130)는 산출된 R, G, B 색상 값 변화량 각각에 대한 절대값을 산출하고, 세 가지 변화량에 대한 평균값 또는 총합을 산출하거나 특정 색상에 가중치를 부여한 수식에 상기 세 가지 변화량을 대입한 값을 산출할 수 있다. 상술한 방식 이외에도 색 변화량은 다양한 방식으로 산출될 수 있다.In an embodiment, the
일 실시 예에 있어서, 본 발명에 따른 헤드 마운티드 디스플레이는 사용자로부터 R, G, B 각각에 따른 민감도를 입력 받은 후, 상기 입력 받은 민감도를 색 변화량 산출에 활용할 수 있다. 구체적으로, 제어부(130)는 R, G, B 각각에 대한 색상 값 변화를 기 설정된 수식에 대입하여 색 변화량을 산출한다. 이때, 기 설정된 수식에서 R, G, B 각각에 대한 민감도를 R, G, B 각각에 대한 색상 값 변화량에 대한 비례 상수로 활용할 수 있다. 이를 통해, 본 발명은 사용자에게 민감한 색 변화에 기반하여 기준 이미지를 표시할 수 있도록 한다. In one embodiment, the head mounted display according to the present invention may receive a sensitivity for each of R, G, and B from a user, and then use the received sensitivity to calculate the amount of color change. Specifically, the
일 실시 예에 있어서, 본 발명은 상기 색상 정보를 기 설정된 색 좌표계의 색 좌표로 환산 한 후, 서로 다른 색상 정보에 대응하는 색 좌표 간의 거리를 색 변화량으로 정의할 수 있다. 이 경우, 제어부는 모니터링된 색상 정보를 색좌표로 환산한 후, 상기 시간 간격 후 모니터링된 색상 정보에 대응하는 색좌표 간의 거리를 산출한다. 본 발명은 상기 거리 값은 색 변화량으로 활용할 수 있다. In an embodiment, after converting the color information into color coordinates of a preset color coordinate system, a distance between color coordinates corresponding to different color information may be defined as a color change amount. In this case, the controller converts the monitored color information into color coordinates and then calculates a distance between color coordinates corresponding to the monitored color information after the time interval. In the present invention, the distance value may be used as a color change amount.
한편, 제어부(130)는 메인 뷰 영역을 구성하는 픽셀들 각각의 색 변화량을 산출한 후, 상기 복수의 색 변화량이 기 설정된 조건을 만족하는지 판단한다.Meanwhile, the
일 실시 예에 있어서, 제어부(130)는 상기 복수의 픽셀 각각의 색 변화량의 절대값의 총합이 제1기준값을 초과하는 경우, 기 설정된 조건이 충족된 것으로 판단하고, 메인 뷰 영역 상에 기준 이미지를 출력한다.In one embodiment, the
다른 일 실시 예에 있어서, 제어부(130)는 상기 복수의 픽셀 각각의 색 변화량의 절대값의 평균값이 제1기준값을 초과하는 경우, 기 설정된 조건이 충족된 것으로 판단하고, 메인 뷰 영역 상에 기준 이미지를 출력한다.In another embodiment, the
여기서, 제1기준값은 기 설정된 멀미 민감도 수치에 따라 달라질 수 있다. 예를 들어, 본 발명에 따른 헤드 마운티드 디스플레이는 사용자로부터 멀미 민감도 수치를 입력 받은 후, 이에 기반하여 제1기준값을 설정할 수 있다. 멀미 민감도 수치가 높을수록 제1기준값이 낮게 설정되며, 작은 색변화가 일어나더라도 기준 이미지가 출력된다. 이와 달리, 멀미 민감도 수치가 낮을수록 제1기준값이 높게 설정되며, 작은 색변화에는 기준 이미지가 출력되지 않는다.Here, the first reference value may vary according to a preset motion sickness sensitivity value. For example, the head mounted display according to the present invention may set a first reference value based on the received motion sickness sensitivity value from the user. The higher the motion sickness sensitivity value, the lower the first reference value is set, and the reference image is output even if a small color change occurs. Unlike this, the first reference value is set higher as the motion sickness sensitivity value is lower, and the reference image is not output for a small color change.
다만, 상술한 실시 예에 한정되지 않고, 기준 이미지가 출력되는 조건은 다양한 방식으로 설정될 수 있다.However, it is not limited to the above-described embodiment, and conditions for outputting the reference image may be set in various ways.
일 실시 예에 있어서, 도 3을 참조하면, 메인 뷰 영역에는 VR 컨텐츠가 표시된다. 상기 메인 뷰 영역은 제1영역(321) 및 제2영역(322)을 포함한다. 사용자의 요청에 응답하거나, 제어부(130)의 제어에 의해 제2영역(322)에 출력되던 화면 정보가 제2영역(322)에서 사라지고 제1영역(321)에 표시된다. 한편, 제1 및 제2영역을 제외한 나머지 영역에서는 화면 정보의 변화가 일어나지 않는다.In one embodiment, referring to FIG. 3 , VR content is displayed in the main view area. The main view area includes a
제어부(130)는 제1 및 제2영역 각각을 구성하는 픽셀들의 색 변화량이 커짐에 따라, 제어부(130)가 산출한 색 변화량의 총합이 제1기준값을 초과하게 된다. 이에 따라, 제어부(130)는 메인 뷰 영역에 기준 이미지(310)을 출력한다. As the amount of color change of the pixels constituting each of the first and second regions increases, the
상술한 바와 같이, 본 발명에 따른 멀미 저감을 위한 VR 컨텐츠 제공 시스템 및 제공 방법은, VR 컨텐츠가 출력되는 중 영상의 색 변화가 과도하게 일어나는 경우에만 선택적으로 고정된 기준 이미지를 제공한다. 이를 통해, 본 발명은 VR 컨텐츠의 시청에 방해가 되지 않으면서, 사용자의 멀미 증상을 경감시킬 수 있다.As described above, the system and method for providing VR contents for reducing motion sickness according to the present invention selectively provides a fixed reference image only when the color of an image changes excessively while VR contents are being output. Through this, the present invention can alleviate the user's symptoms of motion sickness without interfering with the viewing of VR content.
한편, 본 발명은 메인 뷰 영역 중 색 변화가 일어나는 영역의 면적에 기반하여 기준 이미지의 출력 여부를 결정할 수 있다. 구체적으로, 상기 기 설정된 조건은 상기 복수의 픽셀 각각의 색 변화량의 절대값이 제 2기준값을 초과하는 픽셀의 수가 제3기준값을 초과하는 것을 포함할 수 있다. Meanwhile, according to the present invention, whether to output the reference image may be determined based on the area of the area where the color change occurs in the main view area. Specifically, the predetermined condition may include that the number of pixels in which the absolute value of the color change amount of each of the plurality of pixels exceeds the second reference value exceeds the third reference value.
여기서, 제2기준값은 상기 제1기준값과 다른 값으로, 픽셀들 각각의 색 변화량이 과도한지 판단하기 위한 지표이다. 제2기준값은 사용자 요청에 의해 변경될 수 있다. Here, the second reference value is a value different from the first reference value, and is an index for determining whether the color change amount of each pixel is excessive. The second reference value may be changed according to a user request.
한편, 제3기준값은 기 설정된 멀미 민감도 수치에 따라 달라질 수 있다. 예를 들어, 본 발명에 따른 헤드 마운티드 디스플레이는 사용자로부터 멀미 민감도 수치를 입력 받은 후, 이에 기반하여 제3기준값을 설정할 수 있다. 멀미 민감도 수치가 높을수록 제3기준값이 낮게 설정되며, 작은 면적에서 색변화가 일어나더라도 기준 이미지가 출력된다. 이와 달리, 멀미 민감도 수치가 낮을수록 제3기준값이 높게 설정되며, 작은 면적에서의 색변화에는 기준 이미지가 출력되지 않는다.Meanwhile, the third reference value may vary according to a preset motion sickness sensitivity value. For example, the head mounted display according to the present invention may set the third reference value based on the received motion sickness sensitivity value from the user. The higher the motion sickness sensitivity value, the lower the third reference value is set, and the reference image is output even if color change occurs in a small area. Unlike this, the lower the motion sickness sensitivity value, the higher the third reference value is set, and the reference image is not output for color change in a small area.
일 실시에 있어서, 도 4를 참조하면, 메인 뷰 영역에는 VR 컨텐츠가 표시된다. 상기 메인 뷰 영역은 제3영역(421) 및 제4영역(422)을 포함한다. 사용자의 요청에 응답하거나, 제어부(130)의 제어에 의해 제4영역(422)에 출력되던 화면 정보가 제4영역(422)에서 사라지고 제3영역(421)에 표시된다. 한편, 제3및 제4영역을 제외한 나머지 영역에서는 화면 정보의 변화가 일어나지 않는다. In one implementation, referring to FIG. 4 , VR content is displayed in the main view area. The main view area includes a
이에 따라, 색 변화량의 절대값이 제2기준값을 초과하는 픽셀은 제3 및 제4영역에만 존재한다. 제3 및 제4영역의 넓이의 총합은 도 3에서 설명한 제1 및 제2영역의 넓이의 총합보다 작으며, 제3 및 제4영역을 구성하는 픽셀의 수의 총합은 제3기준값을 초과하지 않는다. 이에 따라, 메인 뷰 영역에는 기준 이미지가 출력되지 않는다.Accordingly, pixels in which the absolute value of the color change amount exceeds the second reference value exist only in the third and fourth regions. The sum of the areas of the third and fourth regions is less than the sum of the areas of the first and second regions described in FIG. 3, and the sum of the number of pixels constituting the third and fourth regions does not exceed the third reference value. don't Accordingly, the reference image is not output to the main view area.
한편, 기 설정된 조건은 복수의 픽셀 각각의 색 변화량의 절대값의 총합이 제1기준값을 초과하는 제1조건 및 상기 복수의 픽셀 중 색 변화량의 절대값이 제2기준값을 초과하는 픽셀의 수가 제3기준값을 초과하는 제2조건 모두를 만족하는 것으로 설정될 수 있다. 즉, 본 발명은 픽셀의 색 변화량 및 색 변화 면적을 모두 고려하여 기준 이미지를 출력할 수 있다. On the other hand, the predetermined condition is a first condition in which the sum of the absolute values of the color variation of each of the plurality of pixels exceeds the first reference value, and the number of pixels in which the absolute value of the color variation among the plurality of pixels exceeds the second reference value is the first condition. It may be set to satisfy all of the second conditions exceeding 3 reference values. That is, the present invention can output a reference image by considering both the color change amount and the color change area of pixels.
한편, VR 컨텐츠는 메인 객체와 배경으로 이루어질 수 있다. 일반적으로, 배경은 메인 객체보다 넓은 영역에 출력된다. VR 컨텐츠 시청 중 사용자는 배경이 급격하게 변하는 경우 멀미를 느끼게 된다. 본 발명은 넓은 면적에서 색 변화가 일어나는 경우 기준 이미지가 표시되도록 함으로써, 사용자가 멀미를 느끼기 쉬운 상황, 즉, 배경이 급격하게 변하는 상황에서 선택적으로 멀미 저감 조치를 수행할 수 있도록 한다.Meanwhile, VR content may consist of a main object and a background. In general, the background is displayed in a wider area than the main object. While watching VR contents, the user feels motion sickness when the background changes rapidly. The present invention allows a user to selectively take action to reduce motion sickness in a situation where a user tends to feel motion sickness, that is, in a situation where the background rapidly changes, by displaying a reference image when a color change occurs in a large area.
한편, 본 발명은 사용자의 VR 컨텐츠 시청이 방해되지 않도록, 사용자가 멀미를 느낄 만한 상황이 아닌 경우, 기 표시 중인 기준 이미지가 사라지도록 한다. 구체적으로, 본 발명은 상기 기준 이미지가 출력되는 중, 상기 모니터링 결과가 상기 설정된 조건을 만족하지 않게 되는 경우, 상기 기준 이미지가 사라지도록 하는 단계를 더 포함할 수 있다.On the other hand, in the present invention, in order not to interfere with the user's viewing of VR contents, when the user is not likely to feel motion sickness, the reference image currently being displayed disappears. Specifically, the present invention may further include making the reference image disappear when the monitoring result does not satisfy the set condition while the reference image is being output.
제어부(130)는 프레임이 변화할 때마다 메인 뷰 영역을 구성하는 픽셀들 각각에 할당된 색상 정보를 모니터링 한다. 제어부(130)는 기준 이미지가 메인 뷰 영역에 표시되는 중에도 메인 뷰 영역을 구성하는 픽셀들 각각에 할당된 색상 정보를 모니터링 한다.The
제어부(130)는 상기 모니터링 결과를 이용하여 픽셀 별 색 변화량을 일정한 시간 간격으로 산출하고, 산출된 색 변화량이 기 설정된 조건을 만족하는 지 판단한다. 이는, 기준 이미지가 메인 뷰 영역에 표시되는 중에도 계속된다. 기준 이미지가 표시되는 중, 상기 산출된 색 변화량이 기 설정된 조건을 만족하지 않게 되는 경우, 제어부(130)는 기 표시중인 기준 이미지가 사라지도록 제어할 수 있다.The
한편, 제어부(130)는 기준 이미지가 표시되는 중 상기 산출된 색 변화량이 기 설정된 조건을 만족하지 않더라도 곧바로 기준 이미지가 사라지지 않도록 할 수 있다. Meanwhile, while the reference image is being displayed, the
일 실시 예에 있어서, 제어부(130)는 기준 이미지가 표시되는 중 상기 산출된 색 변화량이 기 설정된 조건을 만족하지 않는 시간이 기준 시간을 초과하여 지속되는 경우에만, 기준 이미지가 사라지도록 할 수 있다.In an embodiment, the
구체적으로, 도 5를 참조하면, 메인 뷰 영역에 기준 이미지(310)가 표시되는 중, 제어부(130)는 메인 뷰 영역을 구성하는 픽셀에 할당되는 색상 정보를 일정 시간 간격으로 모니터링 한다. Specifically, referring to FIG. 5 , while the
기준 이미지(310)가 표시되는 중, 출력부에 표시되는 화면정보가 3초 동안 변하지 않을 경우, 상기 모니터링 결과를 이용하여 산출된 색 변화량의 절대값의 총합은 3초간 0이 된다. 이에 따라, 제어부(130)는 기 표시 중인 기준 이미지(130)가 사라지도록 한다.When the screen information displayed on the output unit does not change for 3 seconds while the
다른 일 실시 예에 있어서, 제어부(130)는 기준 이미지가 표시되는 중 기준 이미지의 계속 표시 여부를 선택 받을 수 있다. 구체적으로, 본 발명은 상기 기준 이미지가 출력되는 중 상기 모니터링 결과가 상기 설정된 조건을 만족하지 않게 되는 경우, 상기 기준 이미지의 계속 출력 여부를 선택 받는 단계 및 상기 선택 결과에 기반하여, 상기 기준 이미지가 사라지도록 하는 단계를 더 포함할 수 있다. In another embodiment, the
제어부(130)는 상기 기준 이미지가 출력되는 중 상기 모니터링 결과가 상기 설정된 조건을 만족하지 않게 되는 경우, 상기 기준 이미지의 계속 출력 여부를 선택 받는 입력창을 출력한다. 이후, 제어부(130)는 상기 입력창에 대한 터치 입력에 근거하여, 상기 기준 이미지의 계속 출력 여부를 결정한다.If the monitoring result does not satisfy the set condition while the reference image is being output, the
구체적으로, 도 6을참조하면, 메인 뷰 영역에 기준 이미지(310)가 표시되는 중, 3초간 화면 정보가 변하지 않는 경우, 상기 기준 이미지(310)의 계속 출력 여부를 선택 받는 입력창(610)이 출력된다. 상기 입력창은 '유지'버튼과 '해제'버튼을 포함한다. 상기 '해제' 버튼에 터치가 인가되면, 상기 기준 이미지(310)가 메인 뷰 영역에서 사라진다. 도시되지 않았지만, 상기 '유지'버튼에 터치가 인가되는 경우, 상기 기준 이미지(310)가 메인 뷰 영역에서 사라지지 않는다. Specifically, referring to FIG. 6, when the screen information does not change for 3 seconds while the
상술한 바와 같이, 본 발명에 따르면, 기준 이미지가 표시되는 중 사용자가 멀미를 느낄 만한 상황이 해제되는 경우 기준 이미지가 자동으로 사라진다. 이를 통해, 본 발명은VR 컨텐츠의 시청에 방해가 되지 않으면서, 사용자의 멀미 증상을 경감시킬 수 있다.As described above, according to the present invention, when a situation in which a user may feel motion sickness is released while the reference image is being displayed, the reference image automatically disappears. Through this, the present invention can alleviate the user's symptoms of motion sickness without interfering with the viewing of VR content.
한편, 본 발명은 메인 뷰 영역 일부의 색 변화를 모니터링하여 기준 이미지를 출력할 수 있다. VR 컨텐츠는 적어도 하나의 메인 객체 및 배경으로 이루어질 수 있다. 사용자가 VR 컨텐츠 시청 중 멀미를 느끼는 주요 요인은 배경의 급격한 변화이다. 본 발명은 배경의 급격한 변화를 인지할 수 있도록, 사용자로부터 배경과 메인 객체를 구분할 수 있는 정보를 입력 받는다.Meanwhile, the present invention may output a reference image by monitoring a color change of a part of the main view area. VR content may consist of at least one main object and a background. The main factor that users feel motion sickness while watching VR content is the rapid change of the background. In the present invention, information capable of distinguishing a background from a main object is input from a user so that a rapid change of a background can be recognized.
구체적으로, VR 컨텐츠는 복수의 그래픽 객체를 포함할 수 있다. 제어부(130)는 사용자로부터 복수의 객체들 중 적어도 하나를 선택 받고, 선택 받은 객체를 제외한 나머지 영역에 대한 색변화를 모니터링한다. Specifically, VR content may include a plurality of graphic objects. The
일 실시 예에 있어서, 본 발명은 상기 VR 컨텐츠에 포함된 복수의 그래픽 객체들 중 적어도 하나를 선택 받는 단계를 더 포함하고, 상기 메인 뷰 영역의 적어도 일부를 구성하는 복수의 픽셀 각각의 색 변화량을 모니터링하는 단계는, 상기 선택 받은 그래픽 객체가 표시되는 영역을 제외한 나머지 영역을 구성하는 픽셀의 색 변화량을 모니터링할 수 있다.In one embodiment, the present invention further comprises receiving a selection of at least one of a plurality of graphic objects included in the VR content, and determining the amount of color change of each of a plurality of pixels constituting at least a part of the main view area. In the monitoring step, a color change amount of pixels constituting an area other than an area where the selected graphic object is displayed may be monitored.
제어부(130)는 사용자로부터 선택 받은 그래픽 객체가 출력되는 영역을 이루는 픽셀의 색상 정보는 모니터링 하지 않는다. The
한편, 상기 선택 받은 그래픽 객체는 그 표시 위치가 변경될 수 있다. 이 경우, 제어부(130)는 상기 변경된 출력 영역을 제외한 나머지 영역에 대하여 모니터링을 수행한다.Meanwhile, the display position of the selected graphic object may be changed. In this case, the
예를 들어, 도 7을 참조하면, 메인 뷰 영역에는 복수의 그래픽 객체들이 출력될 수 있다. 제어부(130)는 복수의 그래픽 객체들 중 적어도 하나를 선택 받기 위한 메시지(710)를 출력하고, 이와 함께 복수의 그래픽 객체들 각각이 출력된 영역을 강조 표시(721, 722, 723)할 수 있다. For example, referring to FIG. 7 , a plurality of graphic objects may be displayed in the main view area. The
상기 복수의 영역들(721, 722, 723)이 강조 표시된 상태에서 상기 영역들 중 어느 하나에 터치가 인가되면, 제어부(130)는 상기 선택 받은 영역 내에 출력 중인 그래픽 객체가 출력되는 영역을 제외한 나머지 영역만 모니터링을 수행한다.When a touch is applied to any one of the plurality of
구체적으로, 도 7의 우측 상단 도면을 참조하면, 사용자로부터 선택 받지 않은723 영역에 출력 중이던 그래픽 객체의 출력 영역이 723'으로 변경되는 경우, 메인 뷰 영역 상에 기준 이미지(310)가 출력된다.Specifically, referring to the upper right drawing of FIG. 7 , when the output area of the graphic object being displayed in the
이와 달리, 도 7의 우측 하단 도면을 참조하면, 사용자로부터 선택 받은 722 영역에 출력 중이던 그래픽 객체의 출력 영역이 722'으로 변경되는 경우, 메인 뷰 영역 상에 기준 이미지(310)가 출력되지 않는다.Unlike this, referring to the lower right drawing of FIG. 7 , when the output area of the graphic object being displayed in the
상술한 바와 같이 본 발명은 사용자로부터 입력 받은 정보를 통해, VR 컨텐츠에 포함된 메인 객체와 배경을 구분하고, 배경이 급격하게 변하는 경우에만 멀미 저감 조치를 수행한다. 이를 통해, 본 발명은 사용자가 멀미를 느낄 상황에만 선택적으로 멀미 저감 조치를 수행함으로써, VR 컨텐츠의 시청에 방해가 되지 않으면서, 사용자의 멀미 증상을 경감시키다.As described above, the present invention distinguishes the main object included in the VR content and the background through information input from the user, and performs motion sickness reduction measures only when the background rapidly changes. Through this, the present invention alleviates the user's motion sickness symptoms without interfering with the viewing of VR content by selectively performing motion sickness reduction measures only in situations where the user feels motion sickness.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. Although the embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features of the present invention. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
Claims (10)
상기 헤드 마운티드 디스플레이의 메인 뷰 영역 상에 VR 컨텐츠를 출력하는 단계;
상기 VR 컨텐츠가 출력되는 중, 일정한 시간 간격으로 상기 메인 뷰 영역의 적어도 일부를 구성하는 복수의 픽셀 각각의 색상 정보를 모니터링 하는 단계;
상기 시간 간격 마다 모니터링된 상기 복수의 픽셀 각각의 색상 정보를 색 좌표계의 색 좌표로 환산하고, 상기 색 좌표 간의 거리를 이용하여, 상기 시간 간격 전후에 대한 상기 복수의 픽셀 각각의 색 변화량을 산출하는 단계;
상기 복수의 픽셀 각각의 색 변화량의 절대값의 총합이 제1 기준 값을 초과하는 기 설정된 조건을 만족하는지를 판단하는 단계;
상기 판단 결과, 상기 기 설정된 조건을 만족하는 경우, 상기 메인 뷰 영역 상의 특정 영역에 기준 이미지를 고정된 상태로 출력하는 단계; 및
상기 기준 이미지가 출력되는 중, 상기 판단 결과가 상기 설정된 조건을 만족하지 않게 되는 경우, 상기 기준 이미지가 사라지도록 하는 단계를 포함하고,
상기 제1 기준 값은, 사용자로부터 입력 받은 민감도 수치가 높을 수록 낮게 설정되고, 상기 입력 받은 민감도 수치가 낮을 수록 높게 설정되는 것을 특징으로 하는 멀미 저감을 위한 VR 컨텐츠 제공 방법.In the method of providing VR (Virtual Reality) content using a head mounted display,
outputting VR content on a main view area of the head mounted display;
monitoring color information of each of a plurality of pixels constituting at least a part of the main view area at regular time intervals while the VR contents are being output;
Converting color information of each of the plurality of pixels monitored for each time interval into color coordinates of a color coordinate system, and calculating a color change amount of each of the plurality of pixels before and after the time interval using a distance between the color coordinates step;
determining whether a predetermined condition in which the sum of absolute values of color variation of each of the plurality of pixels exceeds a first reference value is satisfied;
outputting a reference image in a fixed state to a specific area on the main view area when the predetermined condition is satisfied as a result of the determination; and
making the reference image disappear when the determination result does not satisfy the set condition while the reference image is being output;
The first reference value is set lower as the sensitivity value input from the user is higher, and set higher as the sensitivity value input is lower.
상기 기 설정된 조건은,
상기 복수의 픽셀 중 색 변화량의 절대값이 제2기준값을 초과하는 픽셀의 수가 제3기준값을 초과하는 것을 포함하는 것을 특징으로 하는 멀미 저감을 위한 VR 컨텐츠 제공 방법.According to claim 1,
The preset condition is,
The VR content providing method for reducing motion sickness, characterized in that the number of pixels whose absolute value of color change exceeds the second reference value among the plurality of pixels exceeds the third reference value.
상기 기준 이미지가 사라지도록 하는 단계에서는,
상기 기준 이미지가 출력되는 중, 상기 판단 결과가 상기 설정된 조건을 만족하지 않게 되는 경우, 상기 기준 이미지의 계속 출력 여부를 선택 받고,
상기 선택 결과에 기반하여, 상기 기준 이미지가 사라지도록 하는 것을 특징으로 하는 멀미 저감을 위한 VR 컨텐츠 제공 방법.According to claim 3,
In the step of making the reference image disappear,
While the reference image is output, when the determination result does not satisfy the set condition, whether or not to continue outputting the reference image is selected;
VR content providing method for reducing motion sickness, characterized in that based on the selection result, the reference image disappears.
상기 기준 이미지가 사라지도록 하는 단계는 상기 판단 결과가 상기 설정된 조건을 만족하지 않는 시간이 기준 시간을 초과할 때 수행되는 것을 특징으로 하는 멀미 저감을 위한 VR 컨텐츠 제공 방법.According to claim 5,
The step of causing the reference image to disappear is performed when a time when the determination result does not satisfy the set condition exceeds a reference time.
상기 VR 컨텐츠에 포함된 복수의 그래픽 객체들 중 적어도 하나를 선택 받는 단계를 더 포함하고,
상기 메인 뷰 영역의 적어도 일부를 구성하는 복수의 픽셀 각각의 색상 정보를 모니터링하는 단계는, 상기 선택받은 그래픽 객체가 표시되는 영역을 제외한 나머지 영역을 구성하는 픽셀의 색상 정보를 모니터링하는 것을 특징으로 하는 멀미 저감을 위한 VR 컨텐츠 제공 방법.According to claim 1,
Further comprising receiving a selection of at least one of a plurality of graphic objects included in the VR content;
The step of monitoring color information of each of the plurality of pixels constituting at least a part of the main view area may include monitoring color information of pixels constituting an area other than an area in which the selected graphic object is displayed. A method for providing VR contents to reduce motion sickness.
상기 선택받은 그래픽 객체의 출력 영역이 변경되는 경우, 상기 메인 뷰 영역의 적어도 일부를 구성하는 복수의 픽셀 각각의 색상 정보를 모니터링하는 단계는, 상기 변경된 출력 영역을 제외한 나머지 영역에 대하여 수행되는 것을 특징으로 하는 멀미 저감을 위한 VR 컨텐츠 제공 방법.According to claim 7,
When the output area of the selected graphic object is changed, the step of monitoring color information of each of a plurality of pixels constituting at least a part of the main view area is performed for the remaining area except for the changed output area. Method for providing VR contents for motion sickness reduction.
상기 헤드 마운티드 디스플레이의 메인 뷰 영역에 상기 VR 컨텐츠를 출력하는 출력부; 및
상기 VR 컨텐츠가 출력되는 중, 일정 시간 간격으로 상기 메인 뷰 영역의 적어도 일부를 구성하는 복수의 픽셀 각각의 색상 정보를 모니터링하고,
상기 시간 간격 마다 모니터링된 상기 복수의 픽셀 각각의 색상 정보를 기 설정된 색 좌표계의 색 좌표로 환산하고, 상기 색 좌표 간의 거리를 이용하여, 상기 시간 간격 전후에 대한 상기 복수의 픽셀 각각의 색 변화량을 산출하고,
상기 복수의 픽셀 각각의 색 변화량의 절대값의 총합이 제1 기준 값을 초과하는 기 설정된 조건을 만족하는지를 판단하고,
상기 판단 결과가 상기 기 설정된 조건을 만족하는 경우, 상기 메인 뷰 영역 상의 특정 영역에 기준 이미지를 고정된 상태로 출력하고,
상기 기준 이미지가 출력되는 중, 상기 판단 결과가 상기 설정된 조건을 만족하지 않게 되는 경우, 상기 기준 이미지가 사라지도록 상기 출력부를 제어하는 제어부를 포함하고,
상기 제1 기준 값은, 사용자로부터 입력 받은 민감도 수치가 높을 수록 낮게 설정되고, 상기 입력 받은 민감도 수치가 낮을 수록 높게 설정되는 것을 특징으로 하는 멀미 저감을 위한 VR 컨텐츠 제공 시스템.In a VR (Virtual Reality) content providing system using a head mounted display,
an output unit outputting the VR content to a main view area of the head mounted display; and
While the VR content is output, color information of each of a plurality of pixels constituting at least a part of the main view area is monitored at regular time intervals;
The color information of each of the plurality of pixels monitored for each time interval is converted into color coordinates of a preset color coordinate system, and the amount of color change of each of the plurality of pixels before and after the time interval is calculated using the distance between the color coordinates. calculate,
determining whether the sum of absolute values of the color change amounts of each of the plurality of pixels satisfies a preset condition exceeding a first reference value;
When the determination result satisfies the preset condition, outputting a reference image in a fixed state to a specific area on the main view area;
A control unit controlling the output unit so that the reference image disappears when the determination result does not satisfy the set condition while the reference image is being output;
The first reference value is set lower as the sensitivity value input from the user is higher, and set higher as the sensitivity value input is lower.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210011418A KR102499928B1 (en) | 2021-01-27 | 2021-01-27 | System and method for providing vr content |
PCT/KR2021/001117 WO2022163881A1 (en) | 2021-01-27 | 2021-01-28 | Vr content providing system and method for reducing motion sickness |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210011418A KR102499928B1 (en) | 2021-01-27 | 2021-01-27 | System and method for providing vr content |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220108426A KR20220108426A (en) | 2022-08-03 |
KR102499928B1 true KR102499928B1 (en) | 2023-02-14 |
Family
ID=82847276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210011418A KR102499928B1 (en) | 2021-01-27 | 2021-01-27 | System and method for providing vr content |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102499928B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102150483B1 (en) * | 2020-01-22 | 2020-09-01 | 한국기술교육대학교 산학협력단 | Sickness response measurement and reduction system for VR contents and method thereof |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180005528A (en) * | 2016-07-06 | 2018-01-16 | 삼성전자주식회사 | Display apparatus and method for image processing |
-
2021
- 2021-01-27 KR KR1020210011418A patent/KR102499928B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102150483B1 (en) * | 2020-01-22 | 2020-09-01 | 한국기술교육대학교 산학협력단 | Sickness response measurement and reduction system for VR contents and method thereof |
Also Published As
Publication number | Publication date |
---|---|
KR20220108426A (en) | 2022-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5933931B2 (en) | Method for displaying setting menu and corresponding device | |
US9495029B2 (en) | Head mount display and display control method | |
US20160238852A1 (en) | Head mounted display performing post render processing | |
WO2012129359A1 (en) | Distance dependent scalable user interface | |
JP2009139452A (en) | Display control device | |
US11003408B2 (en) | Image generating apparatus and image generating method | |
CN112514411B (en) | Method, apparatus, computer readable storage medium for mapping objects to locations in virtual space | |
US20190188914A1 (en) | Terminal device, system, program, and method | |
US10403048B2 (en) | Storage medium, content providing apparatus, and control method for providing stereoscopic content based on viewing progression | |
US10506211B2 (en) | Recording medium, image generation apparatus, and image generation method | |
US20220239888A1 (en) | Video distribution system, video distribution method, and display terminal | |
KR102270086B1 (en) | System and method providing vr contents for motion sickness reduction | |
KR102499928B1 (en) | System and method for providing vr content | |
US11962820B2 (en) | Image generation apparatus, image generation method, and program indicating game play status | |
TW201925986A (en) | Virtual reality device and method for operating a virtual reality device | |
JP2017097854A (en) | Program, recording medium, content providing device, and control method | |
KR102499927B1 (en) | System and method for providing vr content | |
WO2019159239A1 (en) | Image processing device, display image generation method, and data structure of font | |
CN108140357B (en) | Information processing apparatus | |
KR20130079044A (en) | Display apparatus and control method thereof | |
KR200395715Y1 (en) | image display device | |
US20220270330A1 (en) | Information processing device, information processing method, and program | |
KR20230104430A (en) | Device of realistic experience for relieving dizziness in a specific environment during vr experience and the method thereof | |
KR20130056703A (en) | Display apparatus and display method thereof | |
CN112752039A (en) | Electronic device and subtitle embedding method for virtual reality film |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |