KR102437276B1

KR102437276B1 - Body movement based cloud vr device and method

Info

Publication number: KR102437276B1
Application number: KR1020200133575A
Authority: KR
Inventors: 한장희; 정광일; 주재현; 임종혁
Original assignee: (주)이머시브캐스트
Priority date: 2020-10-15
Filing date: 2020-10-15
Publication date: 2022-08-30
Also published as: KR20220049891A

Abstract

본 발명은 바디 움직임 기반의 클라우드 VR 장치 및 방법에 관한 것으로, 제1 자이로 센서를 통해 사용자의 중심축과 연관된 바디(body) 움직임을 측정하는 바디 움직임 측정부, 제2 자이로 센서를 통해 상기 사용자의 헤드(head)와 연관된 헤드 움직임을 측정하는 헤드 움직임 측정부, 상기 중심축에 관한 제1 FOV(Field Of View) 영상을 결정하고 상기 헤드 움직임에 따라 상기 제1 FOV 영상 내에서 제2 FOV 영상을 결정하는 FOV 영상 결정부 및 상기 바디 움직임을 트래킹하고 상기 바디 움직임에 따라 상기 중심축의 변화가 검출된 경우 해당 중심축을 기초로 상기 제1 FOV 영상을 갱신하여 제공하는 영상 처리부를 포함한다.The present invention relates to a body motion-based cloud VR apparatus and method, a body motion measurement unit that measures a body motion associated with a central axis of a user through a first gyro sensor, and a second gyro sensor A head motion measurement unit for measuring a head motion associated with a head, determines a first FOV (Field Of View) image with respect to the central axis, and generates a second FOV image within the first FOV image according to the head motion and an FOV image determiner that determines the FOV image, and an image processor that tracks the body movement and updates and provides the first FOV image based on the central axis when a change in the central axis is detected according to the body movement.

Description

Cloud VR device and method based on body movement {BODY MOVEMENT BASED CLOUD VR DEVICE AND METHOD}

본 발명은 클라우드 VR 기술에 관한 것으로, 보다 상세하게는 사용자의 움직임에 따라 중심축이 변경되는 경우에도 빠른 MTP 레이턴시를 구현하고 높은 FPS를 제공할 수 있는 바디 움직임 기반의 클라우드 VR 장치 및 방법에 관한 것이다.The present invention relates to cloud VR technology, and more particularly, to a cloud VR device and method based on body movement that can implement fast MTP latency and provide high FPS even when the central axis is changed according to a user's movement will be.

최근 가상현실(Virtual Reality, VR) 기기가 출현하고 있으나, 비싼 가격, 몰입감을 방해하는 저해상도, VR 컨텐츠 부족 등의 문제로 인해 스마트폰처럼 널리 보급되고 있지 않다. 특히, 사용자의 머리 움직임과 눈에 보이는 VR 영상 간의 불일치로 인해 발생할 수 있는 어지러움 등과 같은 신체적 불편의 해소는 필수적으로 해결되어야 하는 문제일 수 있다. 이를 해결하기 위해서는 MTP(Motion-to-Photon) 지연(Redundancy)를 10 ~ 20 ms 이내로 줄여야 하며, 무선 환경(예를 들어, WiFi 또는 모바일 네트워크 등)에서 이를 달성하기 위해서는 기술적 어려움이 존재한다.Although virtual reality (VR) devices have recently appeared, they are not as widely distributed as smartphones due to problems such as high prices, low resolutions that hinder immersion, and lack of VR content. In particular, resolving physical discomfort such as dizziness that may occur due to a mismatch between a user's head movement and a visible VR image may be an essential problem to be solved. In order to solve this, it is necessary to reduce the MTP (Motion-to-Photon) redundancy to within 10 to 20 ms, and there are technical difficulties in achieving this in a wireless environment (eg, WiFi or mobile network, etc.).

한국 등록특허공보 제10-0820132(2008.04.01)호는 화상 인트라-예측 모드 추정, 전달과 편성을 위한 방법 및 시스템에 관한 것으로, 영상 인코딩 또는 디코딩 프로세스에 사용되는 화소 예측 모드를 추정하고, 영상 인코더와 디코더 사이에 화소 예측 모드를 전달하고, 화소의 인트라-예측 모드를 순서화하기 위한 방법 및 시스템을 제공함으로써, 코딩 프로세스의 효율을 개선시킬 수 있는 기술을 개시하고 있다.Korean Patent Publication No. 10-08201232 (2008.04.01) relates to a method and system for image intra-prediction mode estimation, transmission and organization, estimating a pixel prediction mode used in an image encoding or decoding process, and Disclosed is a technique capable of improving the efficiency of a coding process by passing a pixel prediction mode between an encoder and a decoder, and providing a method and system for ordering the intra-prediction mode of a pixel.

한국 등록특허공보 제10-0820132(2008.04.01)호Korean Patent Publication No. 10-08201232 (2008.04.01)

본 발명의 일 실시예는 사용자의 움직임에 따라 중심축이 변경되는 경우에도 빠른 MTP 레이턴시를 구현하고 높은 FPS를 제공할 수 있는 바디 움직임 기반의 클라우드 VR 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide a body motion-based cloud VR apparatus and method that can implement fast MTP latency and provide high FPS even when a central axis is changed according to a user's movement.

본 발명의 일 실시예는 사용자의 움직임 변화가 특정 기준 이상으로 변하는 경우 높은 연산 능력을 가진 서버에서 처리되도록 함으로써 연산 지연을 최소화 할 수 있는 바디 움직임 기반의 클라우드 VR 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide a body motion-based cloud VR apparatus and method capable of minimizing computational delay by processing in a server having high computational power when a change in a user's movement exceeds a specific standard.

본 발명의 일 실시예는 클라우드 서버와 VR 기기 간의 하이브리드 연동을 통해 영상 처리의 실시간성을 제공할 수 있는 바디 움직임 기반의 클라우드 VR 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide a body motion-based cloud VR device and method capable of providing real-time image processing through hybrid interworking between a cloud server and a VR device.

실시예들 중에서, 바디 움직임 기반의 클라우드 VR 장치는 제1 자이로 센서를 통해 사용자의 중심축과 연관된 바디(body) 움직임을 측정하는 바디 움직임 측정부, 제2 자이로 센서를 통해 상기 사용자의 헤드(head)와 연관된 헤드 움직임을 측정하는 헤드 움직임 측정부, 상기 중심축에 관한 제1 FOV(Field Of View) 영상을 결정하고 상기 헤드 움직임에 따라 상기 제1 FOV 영상 내에서 제2 FOV 영상을 결정하는 FOV 영상 결정부 및 상기 바디 움직임을 트래킹하고 상기 바디 움직임에 따라 상기 중심축의 변화가 검출된 경우 해당 중심축을 기초로 상기 제1 FOV 영상을 갱신하여 제공하는 영상 처리부를 포함한다.In embodiments, a body motion-based cloud VR device includes a body motion measurement unit that measures a body motion associated with a central axis of a user through a first gyro sensor, and a head of the user through a second gyro sensor ) a head motion measurement unit for measuring a head motion associated with the FOV, determining a first FOV (Field Of View) image with respect to the central axis, and determining a second FOV image within the first FOV image according to the head motion and an image determining unit and an image processing unit that tracks the body movement and updates and provides the first FOV image based on the central axis when a change in the central axis is detected according to the body movement.

상기 바디 움직임 측정부는 상기 제1 자이로 센서로부터 측정된 신호를 기초로 상기 바디 움직임에 관한 바디 좌표 데이터를 생성하고 통신 인터페이스를 통해 상기 헤드 움직임 측정부에게 전달할 수 있다.The body motion measurement unit may generate body coordinate data related to the body motion based on the signal measured from the first gyro sensor and transmit it to the head motion measurement unit through a communication interface.

상기 헤드 움직임 측정부는 상기 제2 자이로 센서로부터 측정된 신호를 기초로 상기 헤드 움직임에 관한 헤드 좌표 데이터를 생성하는 헤드 움직임 측정 모듈, 상기 헤드 좌표 데이터를 기초로 상기 사용자의 시선방향을 결정하고 해당 시선방향을 기초로 상기 제2 FOV 영상을 렌더링하는 입체영상 렌더링 모듈 및 상기 제2 FOV 영상을 디스플레이하는 디스플레이 모듈을 포함할 수 있다.The head motion measurement unit determines a gaze direction of the user based on a head motion measurement module that generates head coordinate data related to the head motion based on a signal measured from the second gyro sensor, the head coordinate data, and the corresponding gaze and a stereoscopic image rendering module for rendering the second FOV image based on a direction and a display module for displaying the second FOV image.

상기 입체영상 렌더링 모듈은 상기 바디 좌표 데이터에 따른 중심축의 위치를 산출하고 위치 변화량이 임계값을 초과하는 경우 상기 바디 좌표 데이터를 상기 영상 처리부로 전달하여 갱신된 제1 FOV 영상을 수신할 수 있다.The stereoscopic image rendering module may calculate the position of the central axis according to the body coordinate data and, when the amount of position change exceeds a threshold value, transmit the body coordinate data to the image processing unit to receive the updated first FOV image.

상기 입체영상 렌더링 모듈은 상기 위치 변화량이 상기 임계값 미만이고 상기 사용자의 시선방향이 상기 제2 FOV 영상의 실제 화각을 벗어난 경우 상기 제1 FOV 영상 내에서 상기 제2 FOV 영상을 재결정하여 렌더링할 수 있다.The stereoscopic image rendering module may re-determine and render the second FOV image within the first FOV image when the position change amount is less than the threshold value and the user's gaze direction deviates from the actual angle of view of the second FOV image. have.

상기 입체영상 렌더링 모듈은 상기 사용자의 시선방향이 일정 시간 이상 유지되는 경우에는 상기 제1 FOV 영상에 관한 포비티드 렌더링(Foveated Rendering)을 수행하여 상기 실제 화각까지의 제2 FOV 영상에 관한 해상도를 증가시킬 수 있다.The stereoscopic image rendering module increases the resolution of the second FOV image up to the actual angle of view by performing foveated rendering on the first FOV image when the user's gaze direction is maintained for a predetermined time or longer. can do it

상기 영상 처리부는 상기 헤드 움직임 측정부로부터 바디 좌표 데이터와 헤드 좌표 데이터를 수신하여 상기 사용자의 중심축과 시선방향에 따른 FOV를 결정하는 FOV 결정 모듈, 상기 FOV에 관한 시선영상을 캡쳐(Capture)하는 시선영상 캡쳐 모듈 및 상기 시선영상을 인코딩하여 상기 제1 FOV 영상으로서 상기 FOV 영상 결정부에게 전달하는 영상 인코딩 모듈을 포함할 수 있다.The image processing unit receives the body coordinate data and the head coordinate data from the head motion measurement unit, and a FOV determination module that determines the FOV according to the central axis and the gaze direction of the user, and captures the gaze image related to the FOV. It may include a gaze image capturing module and an image encoding module encoding the gaze image and transmitting it to the FOV image determiner as the first FOV image.

실시예들 중에서, 바디 움직임 기반의 클라우드 VR 방법은 상기 바디 움직임 측정부에 의해, 제1 자이로 센서를 통해 사용자의 중심축과 연관된 바디(body) 움직임을 측정하는 단계, 상기 헤드 움직임 측정부에 의해, 제2 자이로 센서를 통해 상기 사용자의 헤드(head)와 연관된 헤드 움직임을 측정하는 단계, 상기 FOV 영상 결정부에 의해, 상기 중심축에 관한 제1 FOV(Field Of View) 영상을 결정하고 상기 헤드 움직임에 따라 상기 제1 FOV 영상 내에서 제2 FOV 영상을 결정하는 단계 및 상기 영상 처리부에 의해, 상기 바디 움직임을 트래킹하고 상기 바디 움직임에 따라 상기 중심축의 변화가 검출된 경우 해당 중심축을 기초로 상기 제1 FOV 영상을 갱신하여 제공하는 단계를 포함한다.In embodiments, the body motion-based cloud VR method may include, by the body motion measuring unit, measuring a body motion associated with a central axis of the user through a first gyro sensor, by the head motion measuring unit , measuring a head movement associated with the user's head through a second gyro sensor, determining a first FOV (Field Of View) image with respect to the central axis by the FOV image determiner, and determining a second FOV image within the first FOV image according to the movement, and tracking the body movement by the image processing unit, and when a change in the central axis is detected according to the body movement, based on the corresponding central axis and updating and providing the first FOV image.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology may have the following effects. However, this does not mean that a specific embodiment should include all of the following effects or only the following effects, so the scope of the disclosed technology should not be construed as being limited thereby.

본 발명의 일 실시예에 따른 바디 움직임 기반의 클라우드 VR 장치 및 방법은 사용자의 움직임 변화가 특정 기준 이상으로 변하는 경우 높은 연산 능력을 가진 서버에서 처리되도록 함으로써 연산 지연을 최소화 할 수 있다.The cloud VR apparatus and method based on body movement according to an embodiment of the present invention can minimize computational delay by allowing a server with high computational power to process a change in a user's movement beyond a specific standard.

본 발명의 일 실시예에 따른 바디 움직임 기반의 클라우드 VR 장치 및 방법은 클라우드 서버와 VR 기기 간의 하이브리드 연동을 통해 영상 처리의 실시간성을 제공할 수 있다.A cloud VR apparatus and method based on body movement according to an embodiment of the present invention may provide real-time image processing through hybrid interworking between a cloud server and a VR device.

도 1은 본 발명에 따른 바디 움직임 기반의 클라우드 VR 장치를 설명하는 개념도이다.
도 2는 본 발명에 따른 클라우드 VR 장치의 기능적 구성을 설명하는 도면이다.
도 3은 도 1의 제2 시스템의 기능적 구성을 설명하는 도면이다.
도 4는 도 1의 제3 시스템의 기능적 구성을 설명하는 도면이다.
도 5는 본 발명에 따른 바디 움직임 기반의 클라우드 VR 과정을 설명하는 순서도이다.
도 6은 본 발명에 따른 입체 영상 생성 및 복원 과정을 설명하는 순서도이다.1 is a conceptual diagram illustrating a cloud VR device based on body movement according to the present invention.
2 is a view for explaining a functional configuration of a cloud VR device according to the present invention.
FIG. 3 is a view for explaining a functional configuration of the second system of FIG. 1 .
FIG. 4 is a view for explaining a functional configuration of the third system of FIG. 1 .
5 is a flowchart illustrating a cloud VR process based on body movement according to the present invention.
6 is a flowchart illustrating a process of generating and restoring a stereoscopic image according to the present invention.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is merely an embodiment for structural or functional description, the scope of the present invention should not be construed as being limited by the embodiment described in the text. That is, since the embodiment is capable of various changes and may have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such effects, it should not be understood that the scope of the present invention is limited thereby.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described in the present application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as “first” and “second” are for distinguishing one component from another, and the scope of rights should not be limited by these terms. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being “connected” to another component, it may be directly connected to the other component, but it should be understood that other components may exist in between. On the other hand, when it is mentioned that a certain element is "directly connected" to another element, it should be understood that the other element does not exist in the middle. On the other hand, other expressions describing the relationship between elements, that is, "between" and "between" or "neighboring to" and "directly adjacent to", etc., should be interpreted similarly.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression is to be understood to include the plural expression unless the context clearly dictates otherwise, and terms such as "comprises" or "have" refer to the embodied feature, number, step, action, component, part or these It is intended to indicate that a combination exists, and it should be understood that it does not preclude the possibility of the existence or addition of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.Identifiers (eg, a, b, c, etc.) in each step are used for convenience of description, and the identification code does not describe the order of each step, and each step clearly indicates a specific order in context. Unless otherwise specified, it may occur in a different order from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.The present invention can be embodied as computer-readable codes on a computer-readable recording medium, and the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. . Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Terms defined in the dictionary should be interpreted as being consistent with the meaning of the context of the related art, and cannot be interpreted as having an ideal or excessively formal meaning unless explicitly defined in the present application.

본 발명에 따른 바디 움직임 기반의 클라우드 VR 장치(100)는 사용자의 움직임에 따른 중심축의 변화를 효과적으로 반영하여 사용자에게 실감나는 VR/AR 영상을 제공하면서도 어지러움증을 최소화할 수 있는 장치에 해당할 수 있다. 바디 움직임 기반의 클라우드 VR 장치(100)는 사용자의 바디에 장착 또는 부착되는 다양한 센서들로부터 획득할 수 있는 자이로(Gyro) 정보를 활용하여 사용자의 실제 움직임과 동기화된 현실감 있는 영상을 생성하여 사용자에게 제공할 수 있다.The cloud VR device 100 based on body movement according to the present invention may correspond to a device capable of minimizing dizziness while providing realistic VR/AR images to the user by effectively reflecting the change of the central axis according to the user's movement. . The body movement-based cloud VR device 100 utilizes gyro information that can be obtained from various sensors mounted or attached to the user's body to generate a realistic image synchronized with the user's actual movement to provide the user with can provide

따라서, 바디 움직임 기반의 클라우드 VR 장치(100)는 사용자에게 실감나는 영상을 제공하면서도 기존의 VR 기기들이 물리적 공간의 한계로 인해 가지고 있던 문제점을 해소할 수 있다.Accordingly, the cloud VR device 100 based on body movement provides realistic images to the user while solving problems that existing VR devices have due to the limitation of physical space.

도 1은 본 발명에 따른 바디 움직임 기반의 클라우드 VR 장치를 설명하는 개념도이다.1 is a conceptual diagram illustrating a cloud VR device based on body movement according to the present invention.

도 1을 참조하면, 바디 움직임 기반의 클라우드 VR 장치(100)는 제1 시스템(110), 제2 시스템(130) 및 제3 시스템(150)을 포함할 수 있다.Referring to FIG. 1 , the cloud VR apparatus 100 based on body movement may include a first system 110 , a second system 130 , and a third system 150 .

제1 시스템(110)은 내부에 포함된 6 DoF 센서를 통해 사용자의 바디 움직임에 관한 바디 좌표 데이터(Body Coordinates Data)를 수집할 수 있고, 통신 인터페이스(Interface)를 통해 사용자가 착용한 VR 기기에 전송할 수 있다. 한편, 제1 시스템(510)은 사용자 몸에 부착되어 사용자의 움직임 정보를 트래킹하는데 사용될 수 있으며, 바디 수트(Body Suite) 등의 웨어러블 디바이스 형태로 구현될 수 있다.The first system 110 may collect body coordinates data related to the user's body movement through the 6 DoF sensor included therein, and may be transmitted to the VR device worn by the user through a communication interface. can be transmitted Meanwhile, the first system 510 may be attached to the user's body and used to track the user's movement information, and may be implemented in the form of a wearable device such as a body suite.

제2 시스템(130)은 대표적으로 사용자가 머리에 착용하는 VR/AR 글래스(또는 HMD)에 해당할 수 있고, 사용자는 VR/AR 글래스를 직접 착용하여 VR/AR 영상을 감상할 수 있다. 제2 시스템(130)은 GPS 센서와 6 DoF 센서를 자체적으로 포함하여 구현될 수 있고, 로컬 앱(Local Application)을 통해 생성된 영상을 재생(Display)할 수 있다.The second system 130 may typically correspond to VR/AR glasses (or HMD) worn on the user's head, and the user may enjoy VR/AR images by directly wearing the VR/AR glasses. The second system 130 may be implemented to include a GPS sensor and a 6 DoF sensor by itself, and may display an image generated through a local application.

제2 시스템(130)은 통상적으로 (a) 렌즈, (b) Display 장치, (c) Interface, (d) 6 DoF Gyro sensor, (e) Motion Tracking sensors를 기본 포함하며, 이외에 (f) CPU, (g) GPU, (h) 네트워크 모뎀, (i) 배터리, (j) Interface 장치를 빌트인 또는 외장형으로 포함할 수 있다. 제2 시스템(130)은 상기 (f)부터 (j)을 모두 포함하여 Standalone 또는 All-in-one 형태로 구성할 수 있고, 또는 분리하여 별도의 외장형 기기 형태로 구성할 수 있다.The second system 130 typically includes (a) a lens, (b) a display device, (c) Interface, (d) 6 DoF Gyro sensor, (e) Motion Tracking sensors, and in addition (f) CPU, (g) GPU, (h) network modem, (i) battery, and (j) Interface device may be included as a built-in or external type. The second system 130 may be configured in a standalone or all-in-one form including all of (f) to (j), or may be separated and configured as a separate external device.

한편, 제2 시스템(130)에서 동작하는 로컬 앱(2-1)은 다음의 동작을 수행할 수 있다. (a) 제2 시스템(130)의 6 DoF 센서 2-4에서 발생된 헤드 좌표(Head Coordinate) 데이터는 로컬 앱 2-1에서 포지셔닝 하는 데에 사용될 수 있다. (b) 제1 시스템(110)의 6 DoF 센서 1-1에서 발생된 바디 좌표(Body Coordinate) 데이터는 제2 시스템(130)을 거쳐 최종적으로 리모트 앱(Remote Application) 3-1로 전달되어 여기서 포지셔닝 하는데 사용될 수 있다.Meanwhile, the local app 2-1 operating in the second system 130 may perform the following operation. (a) Head coordinate data generated by the 6 DoF sensor 2-4 of the second system 130 may be used for positioning in the local app 2-1. (b) Body coordinate data generated from the 6 DoF sensor 1-1 of the first system 110 is finally transferred to the remote application 3-1 through the second system 130, where It can be used for positioning.

한편, 제2 시스템(130)의 로컬 앱 2-1은 칼라 스페이스 변환 (RGB-YUV), 비디오 디코딩, 비즈니스 로직 처리, 로컬 GPU 기반에 그래픽 렌더링, 그래픽과 비디오 신호 합성 등의 동작을 추가적으로 수행할 수 있다.On the other hand, the local app 2-1 of the second system 130 additionally performs operations such as color space conversion (RGB-YUV), video decoding, business logic processing, graphics rendering based on the local GPU, and synthesizing graphics and video signals. can

제3 시스템(150)은 클라우드 VR 서버에 해당할 수 있다. 제3 시스템(150)은 리모트 앱 3-1을 통해 사용자 시선방향에 관한 FOV를 결정할 수 있고, FOV를 기초로 영상 렌더링을 수행할 수 있다. 이 때, 렌더링된 영상은 사용자의 실제화각 보다 더 큰 여유화각까지의 영상에 해당할 수 있다. The third system 150 may correspond to a cloud VR server. The third system 150 may determine the FOV with respect to the user's gaze direction through the remote app 3-1, and may perform image rendering based on the FOV. In this case, the rendered image may correspond to an image up to a spare angle of view greater than the actual angle of view of the user.

이후, 제3 시스템(150)은 스크린 캡쳐(Screen Capture) 3-2, 비디오 인코딩(Video Encoding) 3-3을 수행할 수 있다. 제3 시스템(150)은 생성된 영상(Video)을 제2 시스템(130)으로 무선 네트워크를 통해 전송할 수 있다. 무선 네트워크는 LTE, 5G, WiFi 등을 포함할 수 있다.Thereafter, the third system 150 may perform screen capture 3-2 and video encoding 3-3. The third system 150 may transmit the generated video to the second system 130 through a wireless network. The wireless network may include LTE, 5G, WiFi, and the like.

도 2는 본 발명에 따른 클라우드 VR 장치의 기능적 구성을 설명하는 도면이다.2 is a view for explaining a functional configuration of a cloud VR device according to the present invention.

도 2를 참조하면, 바디 움직임 기반의 클라우드 VR 장치(100)는 바디 움직임 측정부(210), 헤드 움직임 측정부(230), FOV 영상 결정부(250), 영상 처리부(270) 및 제어부(290)를 포함할 수 있다.Referring to FIG. 2 , the body motion-based cloud VR apparatus 100 includes a body motion measurement unit 210 , a head motion measurement unit 230 , an FOV image determination unit 250 , an image processing unit 270 , and a control unit 290 . ) may be included.

바디 움직임 측정부(210)는 사용자의 바디에 설치된 제1 자이로 센서(예를 들어, 6 DoF 센서)를 이용하여 사용자의 움직임에 관한 데이터를 생성할 수 있다. 보다 구체적으로, 바디 움직임 측정부(210)는 6 DoF 센서를 통해 사용자의 움직임에 관한 3축 자이로/가속도 정보를 수집할 수 있다. 한편, 바디 움직임 측정부(210)는 사용자의 바디에 부착되어 동작하는 물리적인 장치로서 구현될 수 있고, 예를 들어 바디 수트와 같은 스마트 웨어를 포함할 수 있으며, 반드시 이에 한정되지 않고, 사용자의 신체에 부착 또는 이식되는 장치를 포함할 수 있다.The body motion measurement unit 210 may generate data regarding the user's motion by using a first gyro sensor (eg, a 6 DoF sensor) installed on the user's body. More specifically, the body motion measurement unit 210 may collect 3-axis gyro/acceleration information regarding the user's movement through the 6 DoF sensor. Meanwhile, the body motion measurement unit 210 may be implemented as a physical device attached to the user's body and operated, and may include, for example, smart wear such as a bodysuit, and is not necessarily limited thereto. It may include a device that is attached to or implanted in the body.

일 실시예에서, 바디 움직임 측정부(210)는 제1 자이로 센서로부터 측정된 신호를 기초로 바디 움직임에 관한 바디 좌표 데이터를 생성하고 통신 인터페이스를 통해 헤드 움직임 측정부(230)에게 전달할 수 있다. 이 때, 바디 움직임 측정부(210)와 헤드 움직임 측정부(230) 사이의 데이터 통신에 사용되는 통신 인터페이스는 USB, BT(BlueTooth) 등을 포함할 수 있다.In an embodiment, the body motion measurement unit 210 may generate body coordinate data related to body motion based on a signal measured from the first gyro sensor and transmit it to the head motion measurement unit 230 through a communication interface. In this case, the communication interface used for data communication between the body motion measuring unit 210 and the head motion measuring unit 230 may include USB, Bluetooth (BlueTooth), and the like.

헤드 움직임 측정부(230)는 제2 자이로 센서(예를 들어, 6 DoF 센서)를 통해 사용자의 헤드와 연관된 헤드 움직임을 측정할 수 있다. 헤드 움직임 측정부(230)는 바디 움직임 측정부(210)와 독립적으로 동작하기 위하여 자체적으로 GPS 센서와 6 DoF 센서를 포함하여 구현될 수 있다. 즉, 헤드 움직임 측정부(230)는 사용자의 헤드에 부착되어 사용자의 헤드 움직임에 관한 정보를 수집할 수 있다.The head motion measurement unit 230 may measure a head motion associated with the user's head through a second gyro sensor (eg, a 6 DoF sensor). The head motion measurement unit 230 may be implemented by itself including a GPS sensor and a 6 DoF sensor in order to operate independently from the body motion measurement unit 210 . That is, the head movement measurement unit 230 may be attached to the user's head to collect information about the user's head movement.

예를 들어, 헤드 움직임 측정부(230)는 사용자의 헤드에 장착되어 동작하는 장치에 해당할 수 있고, 이 경우, 헤드 움직임에 반응하는 영상을 생성하는 동작을 위해 사용자의 헤드 움직임에 관한 정보를 수집할 수 있다. 한편, 헤드 움직임 측정부(230)는 기본적으로 사용자의 헤드에 장착되어 동작하는 장치로서 렌즈, 디스플레이 장치, 인터페이스 모션 트래킹 센서(Motion Tracking Sensor)를 포함할 수 있다. 또한, 헤드 움직임 측정부(230)는 필요한 경우 CPU, GPU, 네트워크 모뎀, 배터리(Battery) 및 인터페이스 장치를 빌트인 또는 외장형으로 더 포함할 수 있다.For example, the head motion measurement unit 230 may correspond to a device that is mounted on the user's head and operates. In this case, information about the user's head motion is obtained for generating an image in response to the head motion. can be collected Meanwhile, the head motion measurement unit 230 is basically a device mounted on a user's head and operated, and may include a lens, a display device, and an interface motion tracking sensor. Also, if necessary, the head motion measurement unit 230 may further include a CPU, a GPU, a network modem, a battery, and an interface device as a built-in or an external device.

일 실시예에서, 헤드 움직임 측정부(230)는 제2 자이로 센서로부터 측정된 신호를 기초로 헤드 움직임에 관한 헤드 좌표 데이터를 생성하는 헤드 움직임 측정 모듈, 헤드 좌표 데이터를 기초로 사용자의 시선방향을 결정하고 해당 시선방향에 따른 제2 FOV 영상을 렌더링하는 입체영상 렌더링 모듈 및 제2 FOV 영상을 디스플레이하는 디스플레이 모듈을 포함할 수 있다. 이에 대해서는 도 3에서 보다 자세히 설명한다.In an embodiment, the head motion measuring unit 230 is a head motion measuring module that generates head coordinate data related to head motion based on a signal measured from the second gyro sensor, and a user's gaze direction based on the head coordinate data. It may include a stereoscopic image rendering module that determines and renders a second FOV image according to the corresponding gaze direction, and a display module that displays the second FOV image. This will be described in more detail with reference to FIG. 3 .

FOV 영상 결정부(250)는 사용자의 중심축에 관한 제1 FOV(Field Of View) 영상을 결정하고 사용자의 헤드 움직임에 따라 제1 FOV 영상 내에서 제2 FOV 영상을 결정할 수 있다. 제1 FOV 영상은 사용자의 중심축의 이동에 따라 결정되는 기준영상에 해당할 수 있고, 제2 FOV 영상은 사용자의 헤드 움직임에 따라 결정되는 시선방향을 기초로 생성되는 시선영상에 해당할 수 있다. 제1 FOV 영상은 사용자의 실제 화각보다 더 큰 여유 화각에 대응되는 영상에 해당할 수 있고, 제2 FOV 영상은 사용자의 실제 화각에 대응되는 영상에 해당할 수 있다.The FOV image determiner 250 may determine a first Field Of View (FOV) image with respect to the central axis of the user and determine a second FOV image within the first FOV image according to the user's head movement. The first FOV image may correspond to a reference image determined according to the movement of the user's central axis, and the second FOV image may correspond to a gaze image generated based on a gaze direction determined according to the user's head movement. The first FOV image may correspond to an image corresponding to a spare angle of view greater than the user's actual angle of view, and the second FOV image may correspond to an image corresponding to the user's actual angle of view.

한편, FOV 영상 결정부(250)는 헤드 움직임 측정부(230)와 동일한 장치에 포함되어 구현될 수 있고, 헤드 움직임 측정부(230)와 연동하여 동작할 수 있다. 예를 들어, FOV 영상 결정부(250) 및 헤드 움직임 측정부(230)는 HMD에 포함되어 구현될 수 있고, 클라우드 서버로부터 수신되는 기준영상을 기초로 사용자의 시선방향에 대응되는 시선영상을 결정하여 FOV 영상을 생성할 수 있다.Meanwhile, the FOV image determiner 250 may be implemented by being included in the same device as the head movement measurement unit 230 , and may operate in conjunction with the head movement measurement unit 230 . For example, the FOV image determiner 250 and the head motion measurement unit 230 may be implemented by being included in the HMD, and determine the gaze image corresponding to the user's gaze direction based on the reference image received from the cloud server. to create a FOV image.

영상 처리부(270)는 사용자의 바디 움직임을 트래킹(tracking)하고 바디 움직임에 따라 중심축의 변화가 검출된 경우 해당 중심축을 기초로 제1 FOV 영상을 갱신하여 제공할 수 있다. 예를 들어, 영상 처리부(270)는 클라우드 서버의 역할을 수행할 수 있고, HMD에서 처리하기에 연산량이 과다하게 요구되는 작업으로서 중심축의 변화에 적응하는 기준영상(즉, 제1 FOV 영상)을 갱신하는 연산을 대신하여 처리할 수 있다.The image processing unit 270 may track the user's body movement, and when a change in the central axis is detected according to the body movement, the first FOV image may be updated and provided based on the corresponding central axis. For example, the image processing unit 270 may serve as a cloud server, and as a task that requires an excessive amount of computation to be processed by the HMD, a reference image (ie, the first FOV image) that adapts to the change of the central axis is generated. It can be processed instead of the update operation.

즉, HMD에 의해 처리될 경우 처리 지연으로 인해 사용자에게 디스플레이 되는 영상의 지연이나 끊김 등이 발생할 수 있고, 이로 인하여 사용자로 하여금 어지러움을 느끼도록 할 수 있다. 따라서, 영상 처리부(270)는 높은 연산 처리 능력을 갖춘 대용량의 클라우드 서버 장치로 구현되어 HMD의 동작을 지원할 수 있고, 이로 인해 HMD에서 재생되는 영상에 있어서 높은 MTP 레이턴시를 제공할 수 있다.That is, when processing is performed by the HMD, delay or interruption of the image displayed to the user may occur due to processing delay, which may cause the user to feel dizzy. Accordingly, the image processing unit 270 may be implemented as a large-capacity cloud server device with high computational processing capability to support the operation of the HMD, thereby providing a high MTP latency in an image reproduced from the HMD.

일 실시예에서, 영상 처리부(270)는 헤드 움직임 측정부(230)로부터 바디 좌표 데이터와 헤드 좌표 데이터를 수신하여 사용자의 중심축과 시선방향에 따른 FOV(Field Of View)를 결정하는 FOV 결정 모듈, FOV에 관한 시선영상을 캡쳐(Capture)하는 시선영상 캡쳐 모듈 및 시선영상을 인코딩하여 제1 FOV 영상으로서 FOV 영상 결정부(250)에게 전달하는 영상 인코딩 모듈을 포함할 수 있다. 이에 대해서는 도 4에서 보다 자세히 설명한다.In an embodiment, the image processing unit 270 receives the body coordinate data and the head coordinate data from the head motion measurement unit 230 to determine the FOV (Field Of View) according to the user's central axis and gaze direction. , a gaze image capturing module that captures a gaze image related to the FOV, and an image encoding module that encodes the gaze image and transmits it to the FOV image determiner 250 as a first FOV image. This will be described in more detail with reference to FIG. 4 .

제어부(290)는 바디 움직임 기반의 클라우드 VR 장치(100)의 전체적인 동작을 제어하고, 바디 움직임 측정부(210), 헤드 움직임 측정부(230), FOV 영상 결정부(250) 및 영상 처리부(270) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The controller 290 controls the overall operation of the cloud VR device 100 based on body motion, and the body motion measurement unit 210 , the head motion measurement unit 230 , the FOV image determiner 250 , and the image processing unit 270 . ) can manage the control flow or data flow between

도 3은 도 1의 제2 시스템의 기능적 구성을 설명하는 도면이다.FIG. 3 is a view for explaining a functional configuration of the second system of FIG. 1 .

도 3을 참조하면, 제2 시스템(130)은 헤드 움직임 측정 모듈(310), 입체영상 렌더링 모듈(330), 디스플레이 모듈(350) 및 제1 제어 모듈(370)을 포함할 수 있다. 한편, 헤드 움직임 측정부(230)는 사용자의 헤드 움직임에 따라 사용자의 시선 방향을 검출하고 해당 시선 방향의 입체영상을 재생할 수 있는 컴퓨팅 장치의 일 구성요소로서 스마트폰, VR/AR HMD 등으로 구현될 수 있다.Referring to FIG. 3 , the second system 130 may include a head motion measurement module 310 , a stereoscopic image rendering module 330 , a display module 350 , and a first control module 370 . Meanwhile, the head motion measurement unit 230 is a component of a computing device capable of detecting the user's gaze direction according to the user's head movement and reproducing a stereoscopic image in the corresponding gaze direction, and is implemented with a smartphone, VR/AR HMD, etc. can be

헤드 움직임 측정 모듈(310)은 제2 자이로 센서로부터 측정된 신호를 기초로 헤드 움직임에 관한 헤드 좌표 데이터를 생성할 수 있다. 헤드 움직임 측정 모듈(310)은 필요한 경우 제2 자이로 센서와 GPS 센서를 함께 사용할 수 있다. 헤드 좌표 데이터는 헤드 중심, 방향 및 기울기에 관한 데이터를 포함할 수 있다. 헤드 움직임 측정 모듈(310)은 각 센서들로부터 수신된 신호에 관한 유효성 검사를 수행할 수 있으며, 필요에 따라 데이터 정규화 또는 특정 형식으로의 데이터 변환에 관한 전처리를 수행할 수 있다.The head motion measurement module 310 may generate head coordinate data related to head motion based on a signal measured from the second gyro sensor. The head motion measurement module 310 may use the second gyro sensor and the GPS sensor together if necessary. The head coordinate data may include data regarding a head center, a direction, and an inclination. The head motion measurement module 310 may perform validation on signals received from each of the sensors, and may perform data normalization or pre-processing on data conversion into a specific format if necessary.

입체영상 렌더링 모듈(330)은 헤드 좌표 데이터를 기초로 사용자의 시선방향을 결정하고 해당 시선방향에 따른 제2 FOV 영상을 렌더링할 수 있다. 한편, 입체영상 렌더링 모듈(330)은 필요에 따라 바디 움직임 측정부(210)로부터 수신한 바디 움직임에 관한 정보를 함께 사용하여 사용자의 시선방향을 결정할 수 있다. 입체영상 렌더링 모듈(330)은 사용자의 시선방향이 결정된 경우 제2 FOV 영상 생성을 위한 사용자의 화각(Field Of View, FOV)을 결정할 수 있고, 결정된 화각에 따라 제2 FOV 영상을 생성할 수 있다.The stereoscopic image rendering module 330 may determine the user's gaze direction based on the head coordinate data and render the second FOV image according to the corresponding gaze direction. Meanwhile, the stereoscopic image rendering module 330 may determine the user's gaze direction by using the body motion information received from the body motion measurement unit 210 as necessary. When the user's gaze direction is determined, the stereoscopic image rendering module 330 may determine a user's field of view (FOV) for generating a second FOV image, and may generate a second FOV image according to the determined field of view. .

일 실시예에서, 입체영상 렌더링 모듈(330)은 헤드 움직임과 바디 움직임을 기초로 수평 및 수직에 관한 FOV를 결정할 수 있다. 보다 구체적으로, 사용자의 헤드 움직임 만을 고려하여 FOV를 결정하는 경우 사용자의 바디가 고정된 상태를 전제한 것으로 FOV의 범위는 사용자의 헤드와 바디 모두를 고려하여 결정되는 FOV의 범위보다 상대적으로 범위가 제한적일 수 있다. 따라서, 입체영상 렌더링 모듈(330)은 사용자의 헤드 움직임뿐만 아니라 바디 움직임까지 고려하여 FOV를 결정함으로써 사용자의 동적인 움직임을 보다 정확히 반영할 수 있다. 즉, 입체영상 렌더링 모듈(330)은 사용자의 헤드 및 바디 움직임의 가속(Acceleration)을 기초로 수평 및 수직 FOV를 각각 결정할 수 있다.In an embodiment, the stereoscopic image rendering module 330 may determine the horizontal and vertical FOVs based on the head movement and the body movement. More specifically, when determining the FOV by considering only the user's head movement, the range of the FOV is based on the premise that the user's body is fixed. may be limited. Accordingly, the stereoscopic image rendering module 330 may more accurately reflect the user's dynamic movement by determining the FOV in consideration of not only the user's head movement but also the user's body movement. That is, the stereoscopic image rendering module 330 may determine the horizontal and vertical FOVs, respectively, based on acceleration of the user's head and body movements.

일 실시예에서, 입체영상 렌더링 모듈(330)은 바디 좌표 데이터에 따른 중심축의 위치를 산출하고 위치 변화량이 임계값을 초과하는 경우 바디 좌표 데이터를 제3 시스템(150)로 전달하여 갱신된 기준영상으로서 제1 FOV 영상을 수신할 수 있다. 입체영상 렌더링 모듈(330)은 바디 좌표 데이터를 기초로 사용자의 위치를 결정할 수 있고, 해당 위치에서 수평면에 수직인 축을 중심으로서 결정할 수 있다. 입체영상 렌더링 모듈(330)은 중심축의 위치를 트래킹할 수 있고, 단위 시간 동안의 중심축의 위치에 관한 변화량을 산출할 수 있다.In an embodiment, the stereoscopic image rendering module 330 calculates the position of the central axis according to the body coordinate data and transmits the body coordinate data to the third system 150 when the amount of position change exceeds a threshold value to update the reference image It is possible to receive the first FOV image as The stereoscopic image rendering module 330 may determine the user's position based on the body coordinate data, and may determine an axis perpendicular to the horizontal plane as the center at the corresponding position. The stereoscopic image rendering module 330 may track the position of the central axis, and may calculate a change amount with respect to the position of the central axis for a unit time.

만약 위치 변화량이 기 설정된 임계값을 초과하는 경우 사용자의 중심축을 기준으로 결정되는 제1 FOV 영상의 갱신이 필요할 수 있고, 결과적으로 입체영상 렌더링 모듈(330)은 제3 시스템(150)으로의 갱신 요청을 전달할 수 있다. 한편, 제3 시스템(150)은 입체영상 렌더링 모듈(330)와 동기화되어 해당 요청에 대한 응답을 즉각적으로 처리할 수 있다. 따라서, 입체영상 렌더링 모듈(330)은 영상 처리에 대한 연산량이 과다한 작업에 대해서는 연산 능력이 뛰어난 제3 시스템(150)에게 처리하도록 하고 그 결과만을 수신하여 처리함으로써 영상 처리 지연으로 인해 발생하는 사용자의 어지러움 증상을 최소화시킬 수 있다.If the amount of position change exceeds a preset threshold, it may be necessary to update the first FOV image determined based on the user's central axis, and as a result, the 3D image rendering module 330 is updated to the third system 150 . The request can be forwarded. Meanwhile, the third system 150 may be synchronized with the stereoscopic image rendering module 330 to immediately process a response to the request. Therefore, the stereoscopic image rendering module 330 allows the third system 150 with excellent computational power to process a task with an excessive amount of computation for image processing, and receives and processes only the result. It can minimize the symptoms of dizziness.

일 실시예에서, 입체영상 렌더링 모듈(330)은 위치 변화량이 임계값 미만이고 사용자의 시선방향이 제2 FOV 영상의 실제 화각을 벗어난 경우 제1 FOV 영상 내에서 제2 FOV 영상을 재결정하여 렌더링할 수 있다. 제1 FOV 영상은 실제 화각보다 더 큰 여유 화각까지의 영상을 포함하고 있으나, 사용자의 시선방향이 해당 여유 화각의 범위를 벗어나는 경우 벗어난 영역에 대한 영상 처리를 위해 제3 시스템(150)에서 갱신된 제1 FOV 영상을 수신할 필요가 있다. In an embodiment, the stereoscopic image rendering module 330 re-determines and renders the second FOV image within the first FOV image when the amount of position change is less than the threshold and the user's gaze direction deviates from the actual angle of view of the second FOV image. can The first FOV image includes an image up to an extra angle of view larger than the actual angle of view. However, when the user's gaze direction is out of the range of the corresponding extra angle of view, the third system 150 updates the image for the deviated area. It is necessary to receive the first FOV image.

그러나, 네트워크 연결 상태에 따라 제2 시스템(130) 및 제3 시스템(150) 간의 통신에 따른 지연이 발생할 가능성이 존재하므로 입체영상 렌더링 모듈(330)은 소정의 범위 이내에서는 자체적으로 확장된 영상을 생성할 수 있다. 즉, 입체영상 렌더링 모듈(330)은 제2 FOV 영상의 실제 화각보다 특정 기준 이상 큰 여유 화각까지의 여유영상을 제1 FOV 영상으로서 제3 시스템(150)로부터 수신하여 자체 보관할 수 있고, 제1 FOV 영상을 기초로 제2 FOV 영상을 갱신함으로써 사용자의 시선 변화를 즉각 반영한 영상을 끊김없이 제공할 수 있다.However, there is a possibility that a delay may occur due to communication between the second system 130 and the third system 150 depending on the network connection state. can create That is, the stereoscopic image rendering module 330 may receive, as a first FOV image, a spare image up to an extra view angle greater than a specific reference point or larger than the actual view angle of the second FOV image from the third system 150 and store it by itself. By updating the second FOV image based on the FOV image, it is possible to seamlessly provide an image immediately reflecting a change in the user's gaze.

한편, 입체영상 렌더링 모듈(330)은 위치 변화량이 임계값 미만이고 사용자의 시선방향이 제2 FOV 영상의 실제 화각을 초과하는 제1 범위 이내인 경우 제1 FOV 영상을 기초로 제2 FOV 영상을 갱신하고 사용자의 시선방향이 제1 범위를 초과하는 제2 범위 이내인 경우 제1 FOV 영상을 기초로 제2 FOV 영상을 갱신하면서 제3 시스템(150)에게 기준영상인 제1 FOV 영상에 관한 갱신 요청을 함께 전송할 수 있다.On the other hand, the stereoscopic image rendering module 330 generates the second FOV image based on the first FOV image when the amount of position change is less than the threshold and the user's gaze direction is within the first range exceeding the actual angle of view of the second FOV image. Update on the first FOV image, which is the reference image, to the third system 150 while updating the second FOV image based on the first FOV image when the user's gaze direction is within the second range exceeding the first range Requests can be sent together.

만약, 사용자의 시선방향이 제2 범위를 초과하는 경우 입체영상 렌더링 모듈(330)은 제3 시스템(150)에 의해 갱신된 제1 FOV 영상을 수신한 후 입체영상으로서 제2 FOV 영상을 렌더링할 수 있다.If the user's gaze direction exceeds the second range, the stereoscopic image rendering module 330 may render the second FOV image as a stereoscopic image after receiving the first FOV image updated by the third system 150 . can

일 실시예에서, 입체영상 렌더링 모듈(330)은 사용자의 시선방향이 일정 시간 이상 유지되는 경우에는 제1 FOV 영상에 관한 포비티드 렌더링(Foveated Rendering)을 수행하여 실제 화각까지의 제2 FOV 영상에 관한 해상도를 증가시킬 수 있다. 사용자의 시선방향이 일정 시간 이상 유지되는 경우 해당 시선방향의 영상을 사용자가 주시하고 있는 것으로 판단할 수 있고, 입체영상 렌더링 모듈(330)은 제1 FOV 영상에 관한 포비티드 렌더링을 수행할 수 있다. In an embodiment, the stereoscopic image rendering module 330 performs foveated rendering on the first FOV image when the user's gaze direction is maintained for a certain period of time or longer, so that the second FOV image up to the actual angle of view is displayed. resolution can be increased. When the user's gaze direction is maintained for a predetermined time or more, it may be determined that the user is gazing at the image in the corresponding gaze direction, and the stereoscopic image rendering module 330 may perform foveated rendering on the first FOV image. .

여기에서, 포비티드 렌더링은 사용자의 시선에 따라 사용자가 관심있게 주시하는 영역에 대해서는 고해상도로 처리하고 해당 영역 이외의 부분에 대해서는 저해상도로 처리하는 영상 처리 방법에 해당할 수 있다. 입체영상 렌더링 모듈(330)은 사용자의 시선방향의 변화 여부를 기초로 사용자의 주시 여부를 결정할 수 있고, 보다 구체적으로, 단위 시간 동안 시선방향의 변화율이 기준 변화율 미만인 상태에서 특정 시간동안 지속되는 경우에는 사용자가 주시하는 것으로 결정할 수 있다.Here, the foveated rendering may correspond to an image processing method of processing an area that the user gazes with interest according to the user's gaze at a high resolution and processing a portion other than the corresponding area at a low resolution. The stereoscopic image rendering module 330 may determine whether the user is gazing based on whether the user's gaze direction changes, and more specifically, when the rate of change of the gaze direction for a unit time is less than the reference rate of change and continues for a specific time. can be determined by the user's attention.

사용자가 주시하는 것으로 결정된 경우 입체영상 렌더링 모듈(330)은 사용자가 주시하고 있는 실제 영역에 대해서는 고해상도로 렌더링을 수행하고 나머지 영역, 즉 제1 FOV 영상에서 제2 FOV 영상 이외의 영역에 대해서는 저해상도로 렌더링을 수행할 수 있다. 결과적으로, 입체영상 렌더링 모듈(330)은 여유영상에 대해 실제 화각까지의 실제 영상과 나머지 영상의 해상도를 차별적으로 적용할 수 있고, 실제 영상에 대해서 상대적으로 더 높은 해상도를 적용할 수 있다. 한편, 입체영상 렌더링 모듈(330)은 입체영상으로서 양안 영상을 생성할 수 있다.When it is determined that the user is gazing, the stereoscopic image rendering module 330 renders the real region the user is gazing at in high resolution, and the remaining region, ie, the region other than the second FOV image in the first FOV image, is rendered in low resolution. Rendering can be done. As a result, the stereoscopic image rendering module 330 may differentially apply the resolutions of the real image up to the actual angle of view and the remaining images to the spare image, and may apply a relatively higher resolution to the real image. Meanwhile, the stereoscopic image rendering module 330 may generate a binocular image as a stereoscopic image.

일 실시예에서, 입체영상 렌더링 모듈(330)은 제2 시스템(130) 및 제3 시스템(150) 간의 네트워크 속도를 반영하여 위치 변화율에 관한 임계값을 동적으로 조정할 수 있다. 예를 들어, 입체영상 렌더링 모듈(330)은 제3 시스템(150)으로의 요청과 응답 수신에 따른 네트워크 지연을 발생할 가능성이 높은 경우 임계값을 조정함으로써 위치 변화에 따른 제1 FOV 영상의 갱신 횟수를 줄일 수 있다. 이와 반대로, 네트워크 속도가 충분한 경우라면 입체영상 렌더링 모듈(330)은 제3 시스템(150)의 높은 연산 능력을 최대한 활용하기 위하여 임계값을 조정함으로써 위치 변화에 따른 제1 FOV 영상의 갱신 횟수를 증가시킬 수 있다.In an embodiment, the stereoscopic image rendering module 330 may dynamically adjust the threshold value regarding the rate of change of position by reflecting the network speed between the second system 130 and the third system 150 . For example, the 3D image rendering module 330 adjusts a threshold value when there is a high possibility of network delay due to the reception of a request and a response from the third system 150 , thereby updating the number of times of updating the first FOV image according to a change in location. can reduce Conversely, if the network speed is sufficient, the stereoscopic image rendering module 330 increases the number of updates of the first FOV image according to the position change by adjusting the threshold value in order to maximize the high computational power of the third system 150 . can do it

디스플레이 모듈(350)은 제2 FOV 영상을 디스플레이할 수 있다. 예를 들어, 디스플레이 모듈(350)은 영상 재생을 위한 디스플레이 패널을 포함하여 구현될 수 있고, 입체영상 렌더링 모듈(330)에 의해 생성된 입체영상을 실시간으로 재생할 수 있다. 한편, 입체영상 렌더링 모듈(330)은 제3 시스템(150)으로부터 갱신된 제1 FOV 영상을 수신할 수 있고, 디스플레이 모듈(350)은 해당 영상을 전달받아 재생할 수 있다.The display module 350 may display the second FOV image. For example, the display module 350 may be implemented to include a display panel for image reproduction, and may reproduce a stereoscopic image generated by the stereoscopic image rendering module 330 in real time. Meanwhile, the stereoscopic image rendering module 330 may receive the updated first FOV image from the third system 150 , and the display module 350 may receive and reproduce the image.

제1 제어 모듈(370)은 제2 시스템(130)의 전체적인 동작을 제어하고, 헤드 움직임 측정 모듈(310), 입체영상 렌더링 모듈(330) 및 디스플레이 모듈(350) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The first control module 370 controls the overall operation of the second system 130 , and manages the control flow or data flow between the head motion measurement module 310 , the stereoscopic image rendering module 330 , and the display module 350 . can do.

도 4는 도 1의 제3 시스템의 기능적 구성을 설명하는 도면이다.FIG. 4 is a view for explaining a functional configuration of the third system of FIG. 1 .

도 4를 참조하면, 제3 시스템(150)은 FOV 결정 모듈(410), 시선영상 캡쳐 모듈(430), 영상 인코딩 모듈(450) 및 제2 제어 모듈(470)을 포함할 수 있다.Referring to FIG. 4 , the third system 150 may include a FOV determination module 410 , a gaze image capture module 430 , an image encoding module 450 , and a second control module 470 .

FOV 결정 모듈(410)은 제2 시스템(130)으로부터 바디 좌표 데이터 및 헤드 좌표 데이터를 수신하여 중심축의 위치와 사용자의 시선방향에 따른 FOV(Field Of View)를 결정할 수 있다. FOV 결정 모듈(410)은 사용자의 헤드 방향 및 바디 방향에 기초하여 적응적으로 사용자의 화각(Field Of View, FOV)을 결정할 수 있다. 제3 시스템(150)은 FOV 결정 모듈(410)에 의해 결정된 화각을 기초로 입체영상을 갱신할 수 있다.The FOV determination module 410 may receive body coordinate data and head coordinate data from the second system 130 to determine a field of view (FOV) according to a position of a central axis and a user's gaze direction. The FOV determination module 410 may adaptively determine the user's field of view (FOV) based on the user's head direction and body direction. The third system 150 may update the stereoscopic image based on the angle of view determined by the FOV determination module 410 .

보다 구체적으로, FOV 결정 모듈(410)은 사용자의 헤드 및 바디 움직임의 가속(Acceleration)을 기초로 수평 및 수직에 관한 FOV를 결정할 수 있다. 이 때, 바디 움직임은 중심축의 변화에 대응될 수 있다.More specifically, the FOV determination module 410 may determine the horizontal and vertical FOVs based on acceleration of the user's head and body movements. In this case, the body movement may correspond to a change in the central axis.

예를 들어, FOV 결정 모듈(410)은 디폴트(default) 화각(FOV)으로서 수평방향 210도와 수직방향 130도를 설정할 수 있다. FOV 결정 모듈(410)은 수평 화각(HFOV)을 210도에서 360도 사이에서 조절할 수 있고, 수직 화각(VFOV)을 130도에서 180도 사이에서 조절할 수 있다. 이러한 화각 조절은 헤드 움직임의 가속(Acceleration of head movement) 및 바디 움직임(Movement of body)의 가속을 기초로 각각 결정될 수 있다.For example, the FOV determination module 410 may set 210 degrees in the horizontal direction and 130 degrees in the vertical direction as default angles of view (FOV). The FOV determination module 410 may adjust the horizontal angle of view (HFOV) between 210 and 360 degrees and the vertical angle of view (VFOV) between 130 and 180 degrees. The angle of view adjustment may be determined based on acceleration of head movement and movement of body, respectively.

시선영상 캡쳐 모듈(430)은 FOV에 관한 시선영상을 캡쳐(Capture)할 수 있다. 즉, FOV 결정 모듈(410)에 의해 결정된 FOV에 해당하는 영역을 시선영상에서 캡쳐할 수 있다. 한편, 시선영상 캡쳐 모듈(430)은 입체영상을 구성하는 양안 영상을 시선영상으로서 생성할 수 있다.The gaze image capture module 430 may capture a gaze image related to the FOV. That is, the area corresponding to the FOV determined by the FOV determination module 410 may be captured in the gaze image. Meanwhile, the gaze image capturing module 430 may generate a binocular image constituting a stereoscopic image as a gaze image.

영상 인코딩 모듈(450)은 시선영상을 인코딩하여 제1 FOV 영상으로서 FOV 영상 결정부(250)에게 전달할 수 있다. 보다 구체적으로, 영상 인코딩 모듈(450)은 크게 3가지 인코딩을 수행할 수 있다. 영상 인코딩 모듈(450)은 표준 AVC(Advanced Video Coding) 인코딩을 수행할 수 있고, 타일 기반의 고효율 비디오 코딩(High Efficiency Video Cdoing) 인코딩을 수행할 수 있으며, 입체 영상에 관한 리던던시(Redundancy)가 제거된 인코딩을 수행할 수 있다. 영상 인코딩 모듈(450)은 사용자 주변의 360도 영상 전체를 인코딩하지 않고 사용자의 헤드 및 바디의 움직임에 기초하여 동적으로 결정되는 FOV에 따라 해당 FOV를 포함하는 영상만을 인코딩함으로써 무선 네트워크를 통해 전송되는 데이터량을 줄일 수 있다.The image encoding module 450 may encode the gaze image and transmit it to the FOV image determiner 250 as the first FOV image. More specifically, the image encoding module 450 may largely perform three types of encoding. The image encoding module 450 may perform standard AVC (Advanced Video Coding) encoding, and may perform tile-based High Efficiency Video Cdoing encoding, and redundancy related to a stereoscopic image is removed. encoding can be performed. The image encoding module 450 does not encode the entire 360-degree image around the user, but encodes only the image including the corresponding FOV according to the FOV dynamically determined based on the movement of the user's head and body. You can reduce the amount of data.

제2 제어 모듈(470)은 제3 시스템(150)의 전체적인 동작을 제어하고, FOV 결정 모듈(410), 시선영상 캡쳐 모듈(430) 및 영상 인코딩 모듈(450) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The second control module 470 controls the overall operation of the third system 150 , and manages the control flow or data flow between the FOV determination module 410 , the gaze image capture module 430 , and the image encoding module 450 . can do.

도 5는 본 발명에 따른 바디 움직임 기반의 클라우드 VR 과정을 설명하는 순서도이다.5 is a flowchart illustrating a cloud VR process based on body movement according to the present invention.

도 5를 참조하면, 바디 움직임 기반의 클라우드 VR 장치(100)는 바디 움직임 측정부(210)를 통해 제1 자이로 센서를 통해 사용자의 중심축과 연관된 바디 움직임을 측정할 수 있다(단계 S510). 바디 움직임 기반의 클라우드 VR 장치(100)는 헤드 움직임 측정부(230)를 통해 제2 자이로 센서를 통해 사용자의 헤드와 연관된 헤드 움직임을 측정할 수 있다(단계 S530).Referring to FIG. 5 , the body motion-based cloud VR apparatus 100 may measure the body motion associated with the central axis of the user through the first gyro sensor through the body motion measurement unit 210 (step S510). The body motion-based cloud VR apparatus 100 may measure the head motion associated with the user's head through the second gyro sensor through the head motion measurement unit 230 (step S530).

또한, 바디 움직임 기반의 클라우드 VR 장치(100)는 FOV 영상 결정부(250)를 통해 사용자의 중심축에 관한 제1 FOV(Field Of View) 영상을 결정하고 헤드 움직임에 따라 제1 FOV 영상 내에서 제2 FOV 영상을 결정할 수 있다(단계 S550). 바디 움직임 기반의 클라우드 VR 장치(100)는 영상 처리부(270)를 통해 바디 움직임을 트래킹(tracking)하고 바디 움직임에 따라 중심축의 변화가 검출된 경우 해당 중심축을 기초로 제1 FOV 영상을 갱신하여 제공할 수 있다(단계 S570).In addition, the body motion-based cloud VR device 100 determines a first FOV (Field Of View) image with respect to the central axis of the user through the FOV image determiner 250, and according to the head movement, within the first FOV image. A second FOV image may be determined (step S550). The body movement-based cloud VR device 100 tracks the body movement through the image processing unit 270, and when a change in the central axis is detected according to the body movement, the first FOV image is updated and provided based on the corresponding central axis. It can be done (step S570).

도 6은 본 발명에 따른 입체 영상 생성 및 복원 과정을 설명하는 순서도이다.6 is a flowchart illustrating a process of generating and restoring a stereoscopic image according to the present invention.

도 6을 참조하면, HMD 기기 또는 웨어러블 디바이스로부터 사용자 입력 신호가 생성될 수 있고, 클라우드 서버는 이를 수신하여 사용자의 헤드 및 바디의 움직임에 관한 가속을 산출할 수 있다. 클라우드 서버는 사용자의 헤드 및 바디의 움직임에 관한 가속을 기초로 동적으로 사용자의 FOV를 산출할 수 있다. 또한, 클라우드 서버는 산출된 FOV를 기초로 입체영상 생성을 위한 그래픽 렌더링(Graphics rendering)을 수행할 수 있다. Referring to FIG. 6 , a user input signal may be generated from an HMD device or a wearable device, and the cloud server may receive it and calculate acceleration with respect to the movement of the user's head and body. The cloud server may dynamically calculate the user's FOV based on acceleration with respect to the movement of the user's head and body. Also, the cloud server may perform graphics rendering for generating a stereoscopic image based on the calculated FOV.

일 실시예에서, 그래픽 렌더링은 적응적 화각 선택(Adaptive FOV Selection) 단계와 포비티드 렌더링(Foveated Rendering) 단계로 구성될 수 있다. 적응적 화각 선택 단계는 기본 설정각을 기준으로 특정 범위 내에서 헤드 움직임 가속과 바디 움직임 가속에 기초하여 동적으로 화각을 결정하는 단계에 해당할 수 있다. 포비티드 렌더링(Foveated Rendering) 단계는 사용자의 화각을 기준으로 사용자가 주시하는 영역은 고해상도로, 그 외의 영역은 저해상도로 영상 처리를 수행하는 단계에 해당할 수 있다.In an embodiment, the graphic rendering may consist of an adaptive FOV selection step and a foveated rendering step. The step of selecting the adaptive angle of view may correspond to a step of dynamically determining the angle of view based on the acceleration of the head movement and the acceleration of the body movement within a specific range based on the default set angle. The foveated rendering step may correspond to a step of performing image processing in a region that the user focuses on with high resolution and other regions in a low resolution based on the user's angle of view.

또한, 클라우드 서버는 렌더링된 영상을 캡쳐하는 이미지 캡쳐(Image capturing)를 수행할 수 있으며, 비디오 인코딩(Video encoding)을 통해 무선 전송될 영상 데이터를 생성할 수 있다. 비디오 인코딩은 입체영상 생성을 위하여 기존의 표준 고급 비디오 부호화(Advanced Video Coding) 또는 고효율 비디오 코딩(High Efficiency Video Coding)에 따라 수행될 수 있다. 클라우드 서버에 의해 생성된 인코딩 데이터는 무선 통신을 통해 HMD 기기로 전송되어 재생될 수 있다.In addition, the cloud server may perform image capturing for capturing the rendered image, and may generate image data to be wirelessly transmitted through video encoding. Video encoding may be performed according to the existing standard Advanced Video Coding or High Efficiency Video Coding to generate a stereoscopic image. The encoded data generated by the cloud server may be transmitted and played back to the HMD device through wireless communication.

HMD 기기는 클라우드 서버로부터 수신된 인코딩 데이터를 이용하여 비디오 디코딩(Video decoding)을 수행할 수 있으며, 비디오 디코딩을 통해 인코딩된 영상을 복원할 수 있다. 여기에서, 비디오 디코딩은 비디오 인코딩과 유사한 방식으로 수행될 수 있고, HMD 기기에 의해 복원된 입체 영상은 디스플레이 패널을 통해 재생될 수 있다.The HMD device may perform video decoding using the encoded data received from the cloud server, and may restore an encoded image through video decoding. Here, video decoding may be performed in a manner similar to video encoding, and a stereoscopic image reconstructed by the HMD device may be reproduced through a display panel.

즉, HMD 기기는 사용자의 헤드 움직임뿐만 아니라 바디 움직임에 따라 결정된 FOV에 따라 입체 영상을 생성하여 재생할 수 있다. 예를 들어, HMD 기기는 디스플레이되는 사용자의 화각에 적합하도록 이미지를 확장하거나 잘라낸 후 디스플레이 패널을 통해 재생할 수 있다.That is, the HMD device may generate and reproduce a stereoscopic image according to the FOV determined according to the body movement as well as the user's head movement. For example, the HMD device may expand or cut an image to fit the displayed user's view angle and then reproduce the image through the display panel.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that it can be done.

100: 바디 움직임 기반의 클라우드 VR 장치
110: 제1 시스템 130: 제2 시스템
150: 제3 시스템
210: 바디 움직임 측정부 230: 헤드 움직임 측정부
250: FOV 영상 결정부 270: 영상 처리부
290: 제어부
310: 헤드 움직임 측정 모듈 330: 입체영상 렌더링 모듈
350: 디스플레이 모듈 370: 제1 제어 모듈
410: FOV 결정 모듈 430: 시선영상 캡쳐 모듈
450: 영상 인코딩 모듈 470: 제2 제어 모듈100: Cloud VR device based on body movement
110: first system 130: second system
150: third system
210: body movement measurement unit 230: head movement measurement unit
250: FOV image determining unit 270: image processing unit
290: control unit
310: head motion measurement module 330: stereoscopic image rendering module
350: display module 370: first control module
410: FOV determination module 430: Gaze image capture module
450: video encoding module 470: second control module

Claims

a body motion measurement unit measuring a body motion associated with a central axis of the user through the first gyro sensor;
a head motion measurement unit measuring a head motion associated with the user's head through a second gyro sensor;
a FOV image determining unit that determines a first Field Of View (FOV) image with respect to the central axis and determines a second FOV image within the first FOV image according to the head movement; and
An image processing unit that tracks the body movement and updates and provides the first FOV image based on the central axis when a change in the central axis is detected according to the body movement,
The head motion measurement unit is a device mounted on the user's head and operated, and is implemented by being included in a second system, and generating head coordinate data related to the head motion based on a signal measured from the second gyro sensor. measurement module; When the user's gaze direction is determined based on the head coordinate data, the second FOV image is rendered based on the corresponding gaze direction, the position of the central axis is calculated according to the body coordinate data, and the position change amount exceeds a threshold value a stereoscopic image rendering module for receiving an updated first FOV image by transmitting the body coordinate data to the image processing unit; and a display module for displaying the second FOV image,
The image processing unit is implemented by being included in a third system as a cloud server device having higher arithmetic processing capability than the head motion measurement unit, and receives body coordinate data and head coordinate data from the head motion measurement unit to receive the central axis of the user. and an FOV determination module for determining the FOV according to the gaze direction; a gaze image capturing module for capturing a gaze image related to the FOV; and encoding the gaze image and transmitting it to the FOV image determiner as the first FOV image, and encoding only an image including the corresponding FOV according to the FOV dynamically determined based on the movement of the user's head and body. It contains an encoding module,
The stereoscopic image rendering module reduces the number of updates of the first FOV image according to the position change of the central axis by dynamically adjusting the threshold value for the position change amount by reflecting the network speed between the second system and the third system A cloud VR device based on body movement, characterized in that.

According to claim 1, wherein the body movement measurement unit
The body movement-based cloud VR device, characterized in that based on the signal measured from the first gyro sensor, body coordinate data related to the body movement is generated and transmitted to the head movement measurement unit through a communication interface.

delete

The method of claim 1, wherein the stereoscopic image rendering module comprises:
Body motion-based, characterized in that the second FOV image is re-determined and rendered in the first FOV image when the position change amount is less than the threshold value and the user's gaze direction deviates from the actual angle of view of the second FOV image of cloud VR devices.

The method of claim 1, wherein the stereoscopic image rendering module comprises:
Body movement, characterized in that when the user's gaze direction is maintained for a predetermined time or more, foveated rendering is performed on the first FOV image to increase the resolution of the second FOV image up to the actual angle of view. based cloud VR device.

delete

A body motion-based cloud VR method performed in a cloud VR device including a body motion measurement unit, a head motion measurement unit, an FOV image determination unit, and an image processing unit, the cloud VR method comprising:
measuring a body motion associated with a central axis of the user through a first gyro sensor through the body motion measurement unit;
measuring a head motion associated with the user's head through a second gyro sensor through the head motion measuring unit;
determining a first Field Of View (FOV) image with respect to the central axis through the FOV image determiner and determining a second FOV image within the first FOV image according to the head movement; and
Tracking the body movement through the image processing unit, and when a change in the central axis is detected according to the body movement, updating and providing the first FOV image based on the central axis,
The head motion measurement unit is a device mounted on the user's head and operated, and is implemented by being included in a second system, and generating head coordinate data related to the head motion based on a signal measured from the second gyro sensor. measurement module; When the user's gaze direction is determined based on the head coordinate data, the second FOV image is rendered based on the corresponding gaze direction, the position of the central axis is calculated according to the body coordinate data, and the position change amount exceeds a threshold value a stereoscopic image rendering module for receiving an updated first FOV image by transmitting the body coordinate data to the image processing unit; and a display module for displaying the second FOV image,
The image processing unit is implemented by being included in a third system as a cloud server device having higher arithmetic processing capability than the head motion measurement unit, and receives body coordinate data and head coordinate data from the head motion measurement unit to receive the central axis of the user. and an FOV determination module for determining the FOV according to the gaze direction; a gaze image capturing module for capturing a gaze image related to the FOV; and encoding the gaze image and transmitting it to the FOV image determiner as the first FOV image, and encoding only an image including the corresponding FOV according to the FOV dynamically determined based on the movement of the user's head and body. It contains an encoding module,
The stereoscopic image rendering module reduces the number of updates of the first FOV image according to the position change of the central axis by dynamically adjusting the threshold value for the position change amount by reflecting the network speed between the second system and the third system A cloud VR method based on body movement, characterized in that.