KR102437276B1 - Body movement based cloud vr device and method - Google Patents
Body movement based cloud vr device and method Download PDFInfo
- Publication number
- KR102437276B1 KR102437276B1 KR1020200133575A KR20200133575A KR102437276B1 KR 102437276 B1 KR102437276 B1 KR 102437276B1 KR 1020200133575 A KR1020200133575 A KR 1020200133575A KR 20200133575 A KR20200133575 A KR 20200133575A KR 102437276 B1 KR102437276 B1 KR 102437276B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- fov
- head
- user
- central axis
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
- H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 바디 움직임 기반의 클라우드 VR 장치 및 방법에 관한 것으로, 제1 자이로 센서를 통해 사용자의 중심축과 연관된 바디(body) 움직임을 측정하는 바디 움직임 측정부, 제2 자이로 센서를 통해 상기 사용자의 헤드(head)와 연관된 헤드 움직임을 측정하는 헤드 움직임 측정부, 상기 중심축에 관한 제1 FOV(Field Of View) 영상을 결정하고 상기 헤드 움직임에 따라 상기 제1 FOV 영상 내에서 제2 FOV 영상을 결정하는 FOV 영상 결정부 및 상기 바디 움직임을 트래킹하고 상기 바디 움직임에 따라 상기 중심축의 변화가 검출된 경우 해당 중심축을 기초로 상기 제1 FOV 영상을 갱신하여 제공하는 영상 처리부를 포함한다.The present invention relates to a body motion-based cloud VR apparatus and method, a body motion measurement unit that measures a body motion associated with a central axis of a user through a first gyro sensor, and a second gyro sensor A head motion measurement unit for measuring a head motion associated with a head, determines a first FOV (Field Of View) image with respect to the central axis, and generates a second FOV image within the first FOV image according to the head motion and an FOV image determiner that determines the FOV image, and an image processor that tracks the body movement and updates and provides the first FOV image based on the central axis when a change in the central axis is detected according to the body movement.
Description
본 발명은 클라우드 VR 기술에 관한 것으로, 보다 상세하게는 사용자의 움직임에 따라 중심축이 변경되는 경우에도 빠른 MTP 레이턴시를 구현하고 높은 FPS를 제공할 수 있는 바디 움직임 기반의 클라우드 VR 장치 및 방법에 관한 것이다.The present invention relates to cloud VR technology, and more particularly, to a cloud VR device and method based on body movement that can implement fast MTP latency and provide high FPS even when the central axis is changed according to a user's movement will be.
최근 가상현실(Virtual Reality, VR) 기기가 출현하고 있으나, 비싼 가격, 몰입감을 방해하는 저해상도, VR 컨텐츠 부족 등의 문제로 인해 스마트폰처럼 널리 보급되고 있지 않다. 특히, 사용자의 머리 움직임과 눈에 보이는 VR 영상 간의 불일치로 인해 발생할 수 있는 어지러움 등과 같은 신체적 불편의 해소는 필수적으로 해결되어야 하는 문제일 수 있다. 이를 해결하기 위해서는 MTP(Motion-to-Photon) 지연(Redundancy)를 10 ~ 20 ms 이내로 줄여야 하며, 무선 환경(예를 들어, WiFi 또는 모바일 네트워크 등)에서 이를 달성하기 위해서는 기술적 어려움이 존재한다.Although virtual reality (VR) devices have recently appeared, they are not as widely distributed as smartphones due to problems such as high prices, low resolutions that hinder immersion, and lack of VR content. In particular, resolving physical discomfort such as dizziness that may occur due to a mismatch between a user's head movement and a visible VR image may be an essential problem to be solved. In order to solve this, it is necessary to reduce the MTP (Motion-to-Photon) redundancy to within 10 to 20 ms, and there are technical difficulties in achieving this in a wireless environment (eg, WiFi or mobile network, etc.).
한국 등록특허공보 제10-0820132(2008.04.01)호는 화상 인트라-예측 모드 추정, 전달과 편성을 위한 방법 및 시스템에 관한 것으로, 영상 인코딩 또는 디코딩 프로세스에 사용되는 화소 예측 모드를 추정하고, 영상 인코더와 디코더 사이에 화소 예측 모드를 전달하고, 화소의 인트라-예측 모드를 순서화하기 위한 방법 및 시스템을 제공함으로써, 코딩 프로세스의 효율을 개선시킬 수 있는 기술을 개시하고 있다.Korean Patent Publication No. 10-08201232 (2008.04.01) relates to a method and system for image intra-prediction mode estimation, transmission and organization, estimating a pixel prediction mode used in an image encoding or decoding process, and Disclosed is a technique capable of improving the efficiency of a coding process by passing a pixel prediction mode between an encoder and a decoder, and providing a method and system for ordering the intra-prediction mode of a pixel.
본 발명의 일 실시예는 사용자의 움직임에 따라 중심축이 변경되는 경우에도 빠른 MTP 레이턴시를 구현하고 높은 FPS를 제공할 수 있는 바디 움직임 기반의 클라우드 VR 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide a body motion-based cloud VR apparatus and method that can implement fast MTP latency and provide high FPS even when a central axis is changed according to a user's movement.
본 발명의 일 실시예는 사용자의 움직임 변화가 특정 기준 이상으로 변하는 경우 높은 연산 능력을 가진 서버에서 처리되도록 함으로써 연산 지연을 최소화 할 수 있는 바디 움직임 기반의 클라우드 VR 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide a body motion-based cloud VR apparatus and method capable of minimizing computational delay by processing in a server having high computational power when a change in a user's movement exceeds a specific standard.
본 발명의 일 실시예는 클라우드 서버와 VR 기기 간의 하이브리드 연동을 통해 영상 처리의 실시간성을 제공할 수 있는 바디 움직임 기반의 클라우드 VR 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide a body motion-based cloud VR device and method capable of providing real-time image processing through hybrid interworking between a cloud server and a VR device.
실시예들 중에서, 바디 움직임 기반의 클라우드 VR 장치는 제1 자이로 센서를 통해 사용자의 중심축과 연관된 바디(body) 움직임을 측정하는 바디 움직임 측정부, 제2 자이로 센서를 통해 상기 사용자의 헤드(head)와 연관된 헤드 움직임을 측정하는 헤드 움직임 측정부, 상기 중심축에 관한 제1 FOV(Field Of View) 영상을 결정하고 상기 헤드 움직임에 따라 상기 제1 FOV 영상 내에서 제2 FOV 영상을 결정하는 FOV 영상 결정부 및 상기 바디 움직임을 트래킹하고 상기 바디 움직임에 따라 상기 중심축의 변화가 검출된 경우 해당 중심축을 기초로 상기 제1 FOV 영상을 갱신하여 제공하는 영상 처리부를 포함한다.In embodiments, a body motion-based cloud VR device includes a body motion measurement unit that measures a body motion associated with a central axis of a user through a first gyro sensor, and a head of the user through a second gyro sensor ) a head motion measurement unit for measuring a head motion associated with the FOV, determining a first FOV (Field Of View) image with respect to the central axis, and determining a second FOV image within the first FOV image according to the head motion and an image determining unit and an image processing unit that tracks the body movement and updates and provides the first FOV image based on the central axis when a change in the central axis is detected according to the body movement.
상기 바디 움직임 측정부는 상기 제1 자이로 센서로부터 측정된 신호를 기초로 상기 바디 움직임에 관한 바디 좌표 데이터를 생성하고 통신 인터페이스를 통해 상기 헤드 움직임 측정부에게 전달할 수 있다.The body motion measurement unit may generate body coordinate data related to the body motion based on the signal measured from the first gyro sensor and transmit it to the head motion measurement unit through a communication interface.
상기 헤드 움직임 측정부는 상기 제2 자이로 센서로부터 측정된 신호를 기초로 상기 헤드 움직임에 관한 헤드 좌표 데이터를 생성하는 헤드 움직임 측정 모듈, 상기 헤드 좌표 데이터를 기초로 상기 사용자의 시선방향을 결정하고 해당 시선방향을 기초로 상기 제2 FOV 영상을 렌더링하는 입체영상 렌더링 모듈 및 상기 제2 FOV 영상을 디스플레이하는 디스플레이 모듈을 포함할 수 있다.The head motion measurement unit determines a gaze direction of the user based on a head motion measurement module that generates head coordinate data related to the head motion based on a signal measured from the second gyro sensor, the head coordinate data, and the corresponding gaze and a stereoscopic image rendering module for rendering the second FOV image based on a direction and a display module for displaying the second FOV image.
상기 입체영상 렌더링 모듈은 상기 바디 좌표 데이터에 따른 중심축의 위치를 산출하고 위치 변화량이 임계값을 초과하는 경우 상기 바디 좌표 데이터를 상기 영상 처리부로 전달하여 갱신된 제1 FOV 영상을 수신할 수 있다.The stereoscopic image rendering module may calculate the position of the central axis according to the body coordinate data and, when the amount of position change exceeds a threshold value, transmit the body coordinate data to the image processing unit to receive the updated first FOV image.
상기 입체영상 렌더링 모듈은 상기 위치 변화량이 상기 임계값 미만이고 상기 사용자의 시선방향이 상기 제2 FOV 영상의 실제 화각을 벗어난 경우 상기 제1 FOV 영상 내에서 상기 제2 FOV 영상을 재결정하여 렌더링할 수 있다.The stereoscopic image rendering module may re-determine and render the second FOV image within the first FOV image when the position change amount is less than the threshold value and the user's gaze direction deviates from the actual angle of view of the second FOV image. have.
상기 입체영상 렌더링 모듈은 상기 사용자의 시선방향이 일정 시간 이상 유지되는 경우에는 상기 제1 FOV 영상에 관한 포비티드 렌더링(Foveated Rendering)을 수행하여 상기 실제 화각까지의 제2 FOV 영상에 관한 해상도를 증가시킬 수 있다.The stereoscopic image rendering module increases the resolution of the second FOV image up to the actual angle of view by performing foveated rendering on the first FOV image when the user's gaze direction is maintained for a predetermined time or longer. can do it
상기 영상 처리부는 상기 헤드 움직임 측정부로부터 바디 좌표 데이터와 헤드 좌표 데이터를 수신하여 상기 사용자의 중심축과 시선방향에 따른 FOV를 결정하는 FOV 결정 모듈, 상기 FOV에 관한 시선영상을 캡쳐(Capture)하는 시선영상 캡쳐 모듈 및 상기 시선영상을 인코딩하여 상기 제1 FOV 영상으로서 상기 FOV 영상 결정부에게 전달하는 영상 인코딩 모듈을 포함할 수 있다.The image processing unit receives the body coordinate data and the head coordinate data from the head motion measurement unit, and a FOV determination module that determines the FOV according to the central axis and the gaze direction of the user, and captures the gaze image related to the FOV. It may include a gaze image capturing module and an image encoding module encoding the gaze image and transmitting it to the FOV image determiner as the first FOV image.
실시예들 중에서, 바디 움직임 기반의 클라우드 VR 방법은 상기 바디 움직임 측정부에 의해, 제1 자이로 센서를 통해 사용자의 중심축과 연관된 바디(body) 움직임을 측정하는 단계, 상기 헤드 움직임 측정부에 의해, 제2 자이로 센서를 통해 상기 사용자의 헤드(head)와 연관된 헤드 움직임을 측정하는 단계, 상기 FOV 영상 결정부에 의해, 상기 중심축에 관한 제1 FOV(Field Of View) 영상을 결정하고 상기 헤드 움직임에 따라 상기 제1 FOV 영상 내에서 제2 FOV 영상을 결정하는 단계 및 상기 영상 처리부에 의해, 상기 바디 움직임을 트래킹하고 상기 바디 움직임에 따라 상기 중심축의 변화가 검출된 경우 해당 중심축을 기초로 상기 제1 FOV 영상을 갱신하여 제공하는 단계를 포함한다.In embodiments, the body motion-based cloud VR method may include, by the body motion measuring unit, measuring a body motion associated with a central axis of the user through a first gyro sensor, by the head motion measuring unit , measuring a head movement associated with the user's head through a second gyro sensor, determining a first FOV (Field Of View) image with respect to the central axis by the FOV image determiner, and determining a second FOV image within the first FOV image according to the movement, and tracking the body movement by the image processing unit, and when a change in the central axis is detected according to the body movement, based on the corresponding central axis and updating and providing the first FOV image.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology may have the following effects. However, this does not mean that a specific embodiment should include all of the following effects or only the following effects, so the scope of the disclosed technology should not be construed as being limited thereby.
본 발명의 일 실시예에 따른 바디 움직임 기반의 클라우드 VR 장치 및 방법은 사용자의 움직임 변화가 특정 기준 이상으로 변하는 경우 높은 연산 능력을 가진 서버에서 처리되도록 함으로써 연산 지연을 최소화 할 수 있다.The cloud VR apparatus and method based on body movement according to an embodiment of the present invention can minimize computational delay by allowing a server with high computational power to process a change in a user's movement beyond a specific standard.
본 발명의 일 실시예에 따른 바디 움직임 기반의 클라우드 VR 장치 및 방법은 클라우드 서버와 VR 기기 간의 하이브리드 연동을 통해 영상 처리의 실시간성을 제공할 수 있다.A cloud VR apparatus and method based on body movement according to an embodiment of the present invention may provide real-time image processing through hybrid interworking between a cloud server and a VR device.
도 1은 본 발명에 따른 바디 움직임 기반의 클라우드 VR 장치를 설명하는 개념도이다.
도 2는 본 발명에 따른 클라우드 VR 장치의 기능적 구성을 설명하는 도면이다.
도 3은 도 1의 제2 시스템의 기능적 구성을 설명하는 도면이다.
도 4는 도 1의 제3 시스템의 기능적 구성을 설명하는 도면이다.
도 5는 본 발명에 따른 바디 움직임 기반의 클라우드 VR 과정을 설명하는 순서도이다.
도 6은 본 발명에 따른 입체 영상 생성 및 복원 과정을 설명하는 순서도이다.1 is a conceptual diagram illustrating a cloud VR device based on body movement according to the present invention.
2 is a view for explaining a functional configuration of a cloud VR device according to the present invention.
FIG. 3 is a view for explaining a functional configuration of the second system of FIG. 1 .
FIG. 4 is a view for explaining a functional configuration of the third system of FIG. 1 .
5 is a flowchart illustrating a cloud VR process based on body movement according to the present invention.
6 is a flowchart illustrating a process of generating and restoring a stereoscopic image according to the present invention.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is merely an embodiment for structural or functional description, the scope of the present invention should not be construed as being limited by the embodiment described in the text. That is, since the embodiment is capable of various changes and may have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such effects, it should not be understood that the scope of the present invention is limited thereby.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described in the present application should be understood as follows.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as “first” and “second” are for distinguishing one component from another, and the scope of rights should not be limited by these terms. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being “connected” to another component, it may be directly connected to the other component, but it should be understood that other components may exist in between. On the other hand, when it is mentioned that a certain element is "directly connected" to another element, it should be understood that the other element does not exist in the middle. On the other hand, other expressions describing the relationship between elements, that is, "between" and "between" or "neighboring to" and "directly adjacent to", etc., should be interpreted similarly.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression is to be understood to include the plural expression unless the context clearly dictates otherwise, and terms such as "comprises" or "have" refer to the embodied feature, number, step, action, component, part or these It is intended to indicate that a combination exists, and it should be understood that it does not preclude the possibility of the existence or addition of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.Identifiers (eg, a, b, c, etc.) in each step are used for convenience of description, and the identification code does not describe the order of each step, and each step clearly indicates a specific order in context. Unless otherwise specified, it may occur in a different order from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.The present invention can be embodied as computer-readable codes on a computer-readable recording medium, and the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. . Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Terms defined in the dictionary should be interpreted as being consistent with the meaning of the context of the related art, and cannot be interpreted as having an ideal or excessively formal meaning unless explicitly defined in the present application.
본 발명에 따른 바디 움직임 기반의 클라우드 VR 장치(100)는 사용자의 움직임에 따른 중심축의 변화를 효과적으로 반영하여 사용자에게 실감나는 VR/AR 영상을 제공하면서도 어지러움증을 최소화할 수 있는 장치에 해당할 수 있다. 바디 움직임 기반의 클라우드 VR 장치(100)는 사용자의 바디에 장착 또는 부착되는 다양한 센서들로부터 획득할 수 있는 자이로(Gyro) 정보를 활용하여 사용자의 실제 움직임과 동기화된 현실감 있는 영상을 생성하여 사용자에게 제공할 수 있다.The
따라서, 바디 움직임 기반의 클라우드 VR 장치(100)는 사용자에게 실감나는 영상을 제공하면서도 기존의 VR 기기들이 물리적 공간의 한계로 인해 가지고 있던 문제점을 해소할 수 있다.Accordingly, the
도 1은 본 발명에 따른 바디 움직임 기반의 클라우드 VR 장치를 설명하는 개념도이다.1 is a conceptual diagram illustrating a cloud VR device based on body movement according to the present invention.
도 1을 참조하면, 바디 움직임 기반의 클라우드 VR 장치(100)는 제1 시스템(110), 제2 시스템(130) 및 제3 시스템(150)을 포함할 수 있다.Referring to FIG. 1 , the
제1 시스템(110)은 내부에 포함된 6 DoF 센서를 통해 사용자의 바디 움직임에 관한 바디 좌표 데이터(Body Coordinates Data)를 수집할 수 있고, 통신 인터페이스(Interface)를 통해 사용자가 착용한 VR 기기에 전송할 수 있다. 한편, 제1 시스템(510)은 사용자 몸에 부착되어 사용자의 움직임 정보를 트래킹하는데 사용될 수 있으며, 바디 수트(Body Suite) 등의 웨어러블 디바이스 형태로 구현될 수 있다.The
제2 시스템(130)은 대표적으로 사용자가 머리에 착용하는 VR/AR 글래스(또는 HMD)에 해당할 수 있고, 사용자는 VR/AR 글래스를 직접 착용하여 VR/AR 영상을 감상할 수 있다. 제2 시스템(130)은 GPS 센서와 6 DoF 센서를 자체적으로 포함하여 구현될 수 있고, 로컬 앱(Local Application)을 통해 생성된 영상을 재생(Display)할 수 있다.The
제2 시스템(130)은 통상적으로 (a) 렌즈, (b) Display 장치, (c) Interface, (d) 6 DoF Gyro sensor, (e) Motion Tracking sensors를 기본 포함하며, 이외에 (f) CPU, (g) GPU, (h) 네트워크 모뎀, (i) 배터리, (j) Interface 장치를 빌트인 또는 외장형으로 포함할 수 있다. 제2 시스템(130)은 상기 (f)부터 (j)을 모두 포함하여 Standalone 또는 All-in-one 형태로 구성할 수 있고, 또는 분리하여 별도의 외장형 기기 형태로 구성할 수 있다.The
한편, 제2 시스템(130)에서 동작하는 로컬 앱(2-1)은 다음의 동작을 수행할 수 있다. (a) 제2 시스템(130)의 6 DoF 센서 2-4에서 발생된 헤드 좌표(Head Coordinate) 데이터는 로컬 앱 2-1에서 포지셔닝 하는 데에 사용될 수 있다. (b) 제1 시스템(110)의 6 DoF 센서 1-1에서 발생된 바디 좌표(Body Coordinate) 데이터는 제2 시스템(130)을 거쳐 최종적으로 리모트 앱(Remote Application) 3-1로 전달되어 여기서 포지셔닝 하는데 사용될 수 있다.Meanwhile, the local app 2-1 operating in the
한편, 제2 시스템(130)의 로컬 앱 2-1은 칼라 스페이스 변환 (RGB-YUV), 비디오 디코딩, 비즈니스 로직 처리, 로컬 GPU 기반에 그래픽 렌더링, 그래픽과 비디오 신호 합성 등의 동작을 추가적으로 수행할 수 있다.On the other hand, the local app 2-1 of the
제3 시스템(150)은 클라우드 VR 서버에 해당할 수 있다. 제3 시스템(150)은 리모트 앱 3-1을 통해 사용자 시선방향에 관한 FOV를 결정할 수 있고, FOV를 기초로 영상 렌더링을 수행할 수 있다. 이 때, 렌더링된 영상은 사용자의 실제화각 보다 더 큰 여유화각까지의 영상에 해당할 수 있다. The
이후, 제3 시스템(150)은 스크린 캡쳐(Screen Capture) 3-2, 비디오 인코딩(Video Encoding) 3-3을 수행할 수 있다. 제3 시스템(150)은 생성된 영상(Video)을 제2 시스템(130)으로 무선 네트워크를 통해 전송할 수 있다. 무선 네트워크는 LTE, 5G, WiFi 등을 포함할 수 있다.Thereafter, the
도 2는 본 발명에 따른 클라우드 VR 장치의 기능적 구성을 설명하는 도면이다.2 is a view for explaining a functional configuration of a cloud VR device according to the present invention.
도 2를 참조하면, 바디 움직임 기반의 클라우드 VR 장치(100)는 바디 움직임 측정부(210), 헤드 움직임 측정부(230), FOV 영상 결정부(250), 영상 처리부(270) 및 제어부(290)를 포함할 수 있다.Referring to FIG. 2 , the body motion-based
바디 움직임 측정부(210)는 사용자의 바디에 설치된 제1 자이로 센서(예를 들어, 6 DoF 센서)를 이용하여 사용자의 움직임에 관한 데이터를 생성할 수 있다. 보다 구체적으로, 바디 움직임 측정부(210)는 6 DoF 센서를 통해 사용자의 움직임에 관한 3축 자이로/가속도 정보를 수집할 수 있다. 한편, 바디 움직임 측정부(210)는 사용자의 바디에 부착되어 동작하는 물리적인 장치로서 구현될 수 있고, 예를 들어 바디 수트와 같은 스마트 웨어를 포함할 수 있으며, 반드시 이에 한정되지 않고, 사용자의 신체에 부착 또는 이식되는 장치를 포함할 수 있다.The body
일 실시예에서, 바디 움직임 측정부(210)는 제1 자이로 센서로부터 측정된 신호를 기초로 바디 움직임에 관한 바디 좌표 데이터를 생성하고 통신 인터페이스를 통해 헤드 움직임 측정부(230)에게 전달할 수 있다. 이 때, 바디 움직임 측정부(210)와 헤드 움직임 측정부(230) 사이의 데이터 통신에 사용되는 통신 인터페이스는 USB, BT(BlueTooth) 등을 포함할 수 있다.In an embodiment, the body
헤드 움직임 측정부(230)는 제2 자이로 센서(예를 들어, 6 DoF 센서)를 통해 사용자의 헤드와 연관된 헤드 움직임을 측정할 수 있다. 헤드 움직임 측정부(230)는 바디 움직임 측정부(210)와 독립적으로 동작하기 위하여 자체적으로 GPS 센서와 6 DoF 센서를 포함하여 구현될 수 있다. 즉, 헤드 움직임 측정부(230)는 사용자의 헤드에 부착되어 사용자의 헤드 움직임에 관한 정보를 수집할 수 있다.The head
예를 들어, 헤드 움직임 측정부(230)는 사용자의 헤드에 장착되어 동작하는 장치에 해당할 수 있고, 이 경우, 헤드 움직임에 반응하는 영상을 생성하는 동작을 위해 사용자의 헤드 움직임에 관한 정보를 수집할 수 있다. 한편, 헤드 움직임 측정부(230)는 기본적으로 사용자의 헤드에 장착되어 동작하는 장치로서 렌즈, 디스플레이 장치, 인터페이스 모션 트래킹 센서(Motion Tracking Sensor)를 포함할 수 있다. 또한, 헤드 움직임 측정부(230)는 필요한 경우 CPU, GPU, 네트워크 모뎀, 배터리(Battery) 및 인터페이스 장치를 빌트인 또는 외장형으로 더 포함할 수 있다.For example, the head
일 실시예에서, 헤드 움직임 측정부(230)는 제2 자이로 센서로부터 측정된 신호를 기초로 헤드 움직임에 관한 헤드 좌표 데이터를 생성하는 헤드 움직임 측정 모듈, 헤드 좌표 데이터를 기초로 사용자의 시선방향을 결정하고 해당 시선방향에 따른 제2 FOV 영상을 렌더링하는 입체영상 렌더링 모듈 및 제2 FOV 영상을 디스플레이하는 디스플레이 모듈을 포함할 수 있다. 이에 대해서는 도 3에서 보다 자세히 설명한다.In an embodiment, the head
FOV 영상 결정부(250)는 사용자의 중심축에 관한 제1 FOV(Field Of View) 영상을 결정하고 사용자의 헤드 움직임에 따라 제1 FOV 영상 내에서 제2 FOV 영상을 결정할 수 있다. 제1 FOV 영상은 사용자의 중심축의 이동에 따라 결정되는 기준영상에 해당할 수 있고, 제2 FOV 영상은 사용자의 헤드 움직임에 따라 결정되는 시선방향을 기초로 생성되는 시선영상에 해당할 수 있다. 제1 FOV 영상은 사용자의 실제 화각보다 더 큰 여유 화각에 대응되는 영상에 해당할 수 있고, 제2 FOV 영상은 사용자의 실제 화각에 대응되는 영상에 해당할 수 있다.The
한편, FOV 영상 결정부(250)는 헤드 움직임 측정부(230)와 동일한 장치에 포함되어 구현될 수 있고, 헤드 움직임 측정부(230)와 연동하여 동작할 수 있다. 예를 들어, FOV 영상 결정부(250) 및 헤드 움직임 측정부(230)는 HMD에 포함되어 구현될 수 있고, 클라우드 서버로부터 수신되는 기준영상을 기초로 사용자의 시선방향에 대응되는 시선영상을 결정하여 FOV 영상을 생성할 수 있다.Meanwhile, the
영상 처리부(270)는 사용자의 바디 움직임을 트래킹(tracking)하고 바디 움직임에 따라 중심축의 변화가 검출된 경우 해당 중심축을 기초로 제1 FOV 영상을 갱신하여 제공할 수 있다. 예를 들어, 영상 처리부(270)는 클라우드 서버의 역할을 수행할 수 있고, HMD에서 처리하기에 연산량이 과다하게 요구되는 작업으로서 중심축의 변화에 적응하는 기준영상(즉, 제1 FOV 영상)을 갱신하는 연산을 대신하여 처리할 수 있다.The
즉, HMD에 의해 처리될 경우 처리 지연으로 인해 사용자에게 디스플레이 되는 영상의 지연이나 끊김 등이 발생할 수 있고, 이로 인하여 사용자로 하여금 어지러움을 느끼도록 할 수 있다. 따라서, 영상 처리부(270)는 높은 연산 처리 능력을 갖춘 대용량의 클라우드 서버 장치로 구현되어 HMD의 동작을 지원할 수 있고, 이로 인해 HMD에서 재생되는 영상에 있어서 높은 MTP 레이턴시를 제공할 수 있다.That is, when processing is performed by the HMD, delay or interruption of the image displayed to the user may occur due to processing delay, which may cause the user to feel dizzy. Accordingly, the
일 실시예에서, 영상 처리부(270)는 헤드 움직임 측정부(230)로부터 바디 좌표 데이터와 헤드 좌표 데이터를 수신하여 사용자의 중심축과 시선방향에 따른 FOV(Field Of View)를 결정하는 FOV 결정 모듈, FOV에 관한 시선영상을 캡쳐(Capture)하는 시선영상 캡쳐 모듈 및 시선영상을 인코딩하여 제1 FOV 영상으로서 FOV 영상 결정부(250)에게 전달하는 영상 인코딩 모듈을 포함할 수 있다. 이에 대해서는 도 4에서 보다 자세히 설명한다.In an embodiment, the
제어부(290)는 바디 움직임 기반의 클라우드 VR 장치(100)의 전체적인 동작을 제어하고, 바디 움직임 측정부(210), 헤드 움직임 측정부(230), FOV 영상 결정부(250) 및 영상 처리부(270) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The
도 3은 도 1의 제2 시스템의 기능적 구성을 설명하는 도면이다.FIG. 3 is a view for explaining a functional configuration of the second system of FIG. 1 .
도 3을 참조하면, 제2 시스템(130)은 헤드 움직임 측정 모듈(310), 입체영상 렌더링 모듈(330), 디스플레이 모듈(350) 및 제1 제어 모듈(370)을 포함할 수 있다. 한편, 헤드 움직임 측정부(230)는 사용자의 헤드 움직임에 따라 사용자의 시선 방향을 검출하고 해당 시선 방향의 입체영상을 재생할 수 있는 컴퓨팅 장치의 일 구성요소로서 스마트폰, VR/AR HMD 등으로 구현될 수 있다.Referring to FIG. 3 , the
헤드 움직임 측정 모듈(310)은 제2 자이로 센서로부터 측정된 신호를 기초로 헤드 움직임에 관한 헤드 좌표 데이터를 생성할 수 있다. 헤드 움직임 측정 모듈(310)은 필요한 경우 제2 자이로 센서와 GPS 센서를 함께 사용할 수 있다. 헤드 좌표 데이터는 헤드 중심, 방향 및 기울기에 관한 데이터를 포함할 수 있다. 헤드 움직임 측정 모듈(310)은 각 센서들로부터 수신된 신호에 관한 유효성 검사를 수행할 수 있으며, 필요에 따라 데이터 정규화 또는 특정 형식으로의 데이터 변환에 관한 전처리를 수행할 수 있다.The head
입체영상 렌더링 모듈(330)은 헤드 좌표 데이터를 기초로 사용자의 시선방향을 결정하고 해당 시선방향에 따른 제2 FOV 영상을 렌더링할 수 있다. 한편, 입체영상 렌더링 모듈(330)은 필요에 따라 바디 움직임 측정부(210)로부터 수신한 바디 움직임에 관한 정보를 함께 사용하여 사용자의 시선방향을 결정할 수 있다. 입체영상 렌더링 모듈(330)은 사용자의 시선방향이 결정된 경우 제2 FOV 영상 생성을 위한 사용자의 화각(Field Of View, FOV)을 결정할 수 있고, 결정된 화각에 따라 제2 FOV 영상을 생성할 수 있다.The stereoscopic
일 실시예에서, 입체영상 렌더링 모듈(330)은 헤드 움직임과 바디 움직임을 기초로 수평 및 수직에 관한 FOV를 결정할 수 있다. 보다 구체적으로, 사용자의 헤드 움직임 만을 고려하여 FOV를 결정하는 경우 사용자의 바디가 고정된 상태를 전제한 것으로 FOV의 범위는 사용자의 헤드와 바디 모두를 고려하여 결정되는 FOV의 범위보다 상대적으로 범위가 제한적일 수 있다. 따라서, 입체영상 렌더링 모듈(330)은 사용자의 헤드 움직임뿐만 아니라 바디 움직임까지 고려하여 FOV를 결정함으로써 사용자의 동적인 움직임을 보다 정확히 반영할 수 있다. 즉, 입체영상 렌더링 모듈(330)은 사용자의 헤드 및 바디 움직임의 가속(Acceleration)을 기초로 수평 및 수직 FOV를 각각 결정할 수 있다.In an embodiment, the stereoscopic
일 실시예에서, 입체영상 렌더링 모듈(330)은 바디 좌표 데이터에 따른 중심축의 위치를 산출하고 위치 변화량이 임계값을 초과하는 경우 바디 좌표 데이터를 제3 시스템(150)로 전달하여 갱신된 기준영상으로서 제1 FOV 영상을 수신할 수 있다. 입체영상 렌더링 모듈(330)은 바디 좌표 데이터를 기초로 사용자의 위치를 결정할 수 있고, 해당 위치에서 수평면에 수직인 축을 중심으로서 결정할 수 있다. 입체영상 렌더링 모듈(330)은 중심축의 위치를 트래킹할 수 있고, 단위 시간 동안의 중심축의 위치에 관한 변화량을 산출할 수 있다.In an embodiment, the stereoscopic
만약 위치 변화량이 기 설정된 임계값을 초과하는 경우 사용자의 중심축을 기준으로 결정되는 제1 FOV 영상의 갱신이 필요할 수 있고, 결과적으로 입체영상 렌더링 모듈(330)은 제3 시스템(150)으로의 갱신 요청을 전달할 수 있다. 한편, 제3 시스템(150)은 입체영상 렌더링 모듈(330)와 동기화되어 해당 요청에 대한 응답을 즉각적으로 처리할 수 있다. 따라서, 입체영상 렌더링 모듈(330)은 영상 처리에 대한 연산량이 과다한 작업에 대해서는 연산 능력이 뛰어난 제3 시스템(150)에게 처리하도록 하고 그 결과만을 수신하여 처리함으로써 영상 처리 지연으로 인해 발생하는 사용자의 어지러움 증상을 최소화시킬 수 있다.If the amount of position change exceeds a preset threshold, it may be necessary to update the first FOV image determined based on the user's central axis, and as a result, the 3D
일 실시예에서, 입체영상 렌더링 모듈(330)은 위치 변화량이 임계값 미만이고 사용자의 시선방향이 제2 FOV 영상의 실제 화각을 벗어난 경우 제1 FOV 영상 내에서 제2 FOV 영상을 재결정하여 렌더링할 수 있다. 제1 FOV 영상은 실제 화각보다 더 큰 여유 화각까지의 영상을 포함하고 있으나, 사용자의 시선방향이 해당 여유 화각의 범위를 벗어나는 경우 벗어난 영역에 대한 영상 처리를 위해 제3 시스템(150)에서 갱신된 제1 FOV 영상을 수신할 필요가 있다. In an embodiment, the stereoscopic
그러나, 네트워크 연결 상태에 따라 제2 시스템(130) 및 제3 시스템(150) 간의 통신에 따른 지연이 발생할 가능성이 존재하므로 입체영상 렌더링 모듈(330)은 소정의 범위 이내에서는 자체적으로 확장된 영상을 생성할 수 있다. 즉, 입체영상 렌더링 모듈(330)은 제2 FOV 영상의 실제 화각보다 특정 기준 이상 큰 여유 화각까지의 여유영상을 제1 FOV 영상으로서 제3 시스템(150)로부터 수신하여 자체 보관할 수 있고, 제1 FOV 영상을 기초로 제2 FOV 영상을 갱신함으로써 사용자의 시선 변화를 즉각 반영한 영상을 끊김없이 제공할 수 있다.However, there is a possibility that a delay may occur due to communication between the
한편, 입체영상 렌더링 모듈(330)은 위치 변화량이 임계값 미만이고 사용자의 시선방향이 제2 FOV 영상의 실제 화각을 초과하는 제1 범위 이내인 경우 제1 FOV 영상을 기초로 제2 FOV 영상을 갱신하고 사용자의 시선방향이 제1 범위를 초과하는 제2 범위 이내인 경우 제1 FOV 영상을 기초로 제2 FOV 영상을 갱신하면서 제3 시스템(150)에게 기준영상인 제1 FOV 영상에 관한 갱신 요청을 함께 전송할 수 있다.On the other hand, the stereoscopic
만약, 사용자의 시선방향이 제2 범위를 초과하는 경우 입체영상 렌더링 모듈(330)은 제3 시스템(150)에 의해 갱신된 제1 FOV 영상을 수신한 후 입체영상으로서 제2 FOV 영상을 렌더링할 수 있다.If the user's gaze direction exceeds the second range, the stereoscopic
일 실시예에서, 입체영상 렌더링 모듈(330)은 사용자의 시선방향이 일정 시간 이상 유지되는 경우에는 제1 FOV 영상에 관한 포비티드 렌더링(Foveated Rendering)을 수행하여 실제 화각까지의 제2 FOV 영상에 관한 해상도를 증가시킬 수 있다. 사용자의 시선방향이 일정 시간 이상 유지되는 경우 해당 시선방향의 영상을 사용자가 주시하고 있는 것으로 판단할 수 있고, 입체영상 렌더링 모듈(330)은 제1 FOV 영상에 관한 포비티드 렌더링을 수행할 수 있다. In an embodiment, the stereoscopic
여기에서, 포비티드 렌더링은 사용자의 시선에 따라 사용자가 관심있게 주시하는 영역에 대해서는 고해상도로 처리하고 해당 영역 이외의 부분에 대해서는 저해상도로 처리하는 영상 처리 방법에 해당할 수 있다. 입체영상 렌더링 모듈(330)은 사용자의 시선방향의 변화 여부를 기초로 사용자의 주시 여부를 결정할 수 있고, 보다 구체적으로, 단위 시간 동안 시선방향의 변화율이 기준 변화율 미만인 상태에서 특정 시간동안 지속되는 경우에는 사용자가 주시하는 것으로 결정할 수 있다.Here, the foveated rendering may correspond to an image processing method of processing an area that the user gazes with interest according to the user's gaze at a high resolution and processing a portion other than the corresponding area at a low resolution. The stereoscopic
사용자가 주시하는 것으로 결정된 경우 입체영상 렌더링 모듈(330)은 사용자가 주시하고 있는 실제 영역에 대해서는 고해상도로 렌더링을 수행하고 나머지 영역, 즉 제1 FOV 영상에서 제2 FOV 영상 이외의 영역에 대해서는 저해상도로 렌더링을 수행할 수 있다. 결과적으로, 입체영상 렌더링 모듈(330)은 여유영상에 대해 실제 화각까지의 실제 영상과 나머지 영상의 해상도를 차별적으로 적용할 수 있고, 실제 영상에 대해서 상대적으로 더 높은 해상도를 적용할 수 있다. 한편, 입체영상 렌더링 모듈(330)은 입체영상으로서 양안 영상을 생성할 수 있다.When it is determined that the user is gazing, the stereoscopic
일 실시예에서, 입체영상 렌더링 모듈(330)은 제2 시스템(130) 및 제3 시스템(150) 간의 네트워크 속도를 반영하여 위치 변화율에 관한 임계값을 동적으로 조정할 수 있다. 예를 들어, 입체영상 렌더링 모듈(330)은 제3 시스템(150)으로의 요청과 응답 수신에 따른 네트워크 지연을 발생할 가능성이 높은 경우 임계값을 조정함으로써 위치 변화에 따른 제1 FOV 영상의 갱신 횟수를 줄일 수 있다. 이와 반대로, 네트워크 속도가 충분한 경우라면 입체영상 렌더링 모듈(330)은 제3 시스템(150)의 높은 연산 능력을 최대한 활용하기 위하여 임계값을 조정함으로써 위치 변화에 따른 제1 FOV 영상의 갱신 횟수를 증가시킬 수 있다.In an embodiment, the stereoscopic
디스플레이 모듈(350)은 제2 FOV 영상을 디스플레이할 수 있다. 예를 들어, 디스플레이 모듈(350)은 영상 재생을 위한 디스플레이 패널을 포함하여 구현될 수 있고, 입체영상 렌더링 모듈(330)에 의해 생성된 입체영상을 실시간으로 재생할 수 있다. 한편, 입체영상 렌더링 모듈(330)은 제3 시스템(150)으로부터 갱신된 제1 FOV 영상을 수신할 수 있고, 디스플레이 모듈(350)은 해당 영상을 전달받아 재생할 수 있다.The
제1 제어 모듈(370)은 제2 시스템(130)의 전체적인 동작을 제어하고, 헤드 움직임 측정 모듈(310), 입체영상 렌더링 모듈(330) 및 디스플레이 모듈(350) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The
도 4는 도 1의 제3 시스템의 기능적 구성을 설명하는 도면이다.FIG. 4 is a view for explaining a functional configuration of the third system of FIG. 1 .
도 4를 참조하면, 제3 시스템(150)은 FOV 결정 모듈(410), 시선영상 캡쳐 모듈(430), 영상 인코딩 모듈(450) 및 제2 제어 모듈(470)을 포함할 수 있다.Referring to FIG. 4 , the
FOV 결정 모듈(410)은 제2 시스템(130)으로부터 바디 좌표 데이터 및 헤드 좌표 데이터를 수신하여 중심축의 위치와 사용자의 시선방향에 따른 FOV(Field Of View)를 결정할 수 있다. FOV 결정 모듈(410)은 사용자의 헤드 방향 및 바디 방향에 기초하여 적응적으로 사용자의 화각(Field Of View, FOV)을 결정할 수 있다. 제3 시스템(150)은 FOV 결정 모듈(410)에 의해 결정된 화각을 기초로 입체영상을 갱신할 수 있다.The
보다 구체적으로, FOV 결정 모듈(410)은 사용자의 헤드 및 바디 움직임의 가속(Acceleration)을 기초로 수평 및 수직에 관한 FOV를 결정할 수 있다. 이 때, 바디 움직임은 중심축의 변화에 대응될 수 있다.More specifically, the
예를 들어, FOV 결정 모듈(410)은 디폴트(default) 화각(FOV)으로서 수평방향 210도와 수직방향 130도를 설정할 수 있다. FOV 결정 모듈(410)은 수평 화각(HFOV)을 210도에서 360도 사이에서 조절할 수 있고, 수직 화각(VFOV)을 130도에서 180도 사이에서 조절할 수 있다. 이러한 화각 조절은 헤드 움직임의 가속(Acceleration of head movement) 및 바디 움직임(Movement of body)의 가속을 기초로 각각 결정될 수 있다.For example, the
시선영상 캡쳐 모듈(430)은 FOV에 관한 시선영상을 캡쳐(Capture)할 수 있다. 즉, FOV 결정 모듈(410)에 의해 결정된 FOV에 해당하는 영역을 시선영상에서 캡쳐할 수 있다. 한편, 시선영상 캡쳐 모듈(430)은 입체영상을 구성하는 양안 영상을 시선영상으로서 생성할 수 있다.The gaze
영상 인코딩 모듈(450)은 시선영상을 인코딩하여 제1 FOV 영상으로서 FOV 영상 결정부(250)에게 전달할 수 있다. 보다 구체적으로, 영상 인코딩 모듈(450)은 크게 3가지 인코딩을 수행할 수 있다. 영상 인코딩 모듈(450)은 표준 AVC(Advanced Video Coding) 인코딩을 수행할 수 있고, 타일 기반의 고효율 비디오 코딩(High Efficiency Video Cdoing) 인코딩을 수행할 수 있으며, 입체 영상에 관한 리던던시(Redundancy)가 제거된 인코딩을 수행할 수 있다. 영상 인코딩 모듈(450)은 사용자 주변의 360도 영상 전체를 인코딩하지 않고 사용자의 헤드 및 바디의 움직임에 기초하여 동적으로 결정되는 FOV에 따라 해당 FOV를 포함하는 영상만을 인코딩함으로써 무선 네트워크를 통해 전송되는 데이터량을 줄일 수 있다.The
제2 제어 모듈(470)은 제3 시스템(150)의 전체적인 동작을 제어하고, FOV 결정 모듈(410), 시선영상 캡쳐 모듈(430) 및 영상 인코딩 모듈(450) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The
도 5는 본 발명에 따른 바디 움직임 기반의 클라우드 VR 과정을 설명하는 순서도이다.5 is a flowchart illustrating a cloud VR process based on body movement according to the present invention.
도 5를 참조하면, 바디 움직임 기반의 클라우드 VR 장치(100)는 바디 움직임 측정부(210)를 통해 제1 자이로 센서를 통해 사용자의 중심축과 연관된 바디 움직임을 측정할 수 있다(단계 S510). 바디 움직임 기반의 클라우드 VR 장치(100)는 헤드 움직임 측정부(230)를 통해 제2 자이로 센서를 통해 사용자의 헤드와 연관된 헤드 움직임을 측정할 수 있다(단계 S530).Referring to FIG. 5 , the body motion-based
또한, 바디 움직임 기반의 클라우드 VR 장치(100)는 FOV 영상 결정부(250)를 통해 사용자의 중심축에 관한 제1 FOV(Field Of View) 영상을 결정하고 헤드 움직임에 따라 제1 FOV 영상 내에서 제2 FOV 영상을 결정할 수 있다(단계 S550). 바디 움직임 기반의 클라우드 VR 장치(100)는 영상 처리부(270)를 통해 바디 움직임을 트래킹(tracking)하고 바디 움직임에 따라 중심축의 변화가 검출된 경우 해당 중심축을 기초로 제1 FOV 영상을 갱신하여 제공할 수 있다(단계 S570).In addition, the body motion-based
도 6은 본 발명에 따른 입체 영상 생성 및 복원 과정을 설명하는 순서도이다.6 is a flowchart illustrating a process of generating and restoring a stereoscopic image according to the present invention.
도 6을 참조하면, HMD 기기 또는 웨어러블 디바이스로부터 사용자 입력 신호가 생성될 수 있고, 클라우드 서버는 이를 수신하여 사용자의 헤드 및 바디의 움직임에 관한 가속을 산출할 수 있다. 클라우드 서버는 사용자의 헤드 및 바디의 움직임에 관한 가속을 기초로 동적으로 사용자의 FOV를 산출할 수 있다. 또한, 클라우드 서버는 산출된 FOV를 기초로 입체영상 생성을 위한 그래픽 렌더링(Graphics rendering)을 수행할 수 있다. Referring to FIG. 6 , a user input signal may be generated from an HMD device or a wearable device, and the cloud server may receive it and calculate acceleration with respect to the movement of the user's head and body. The cloud server may dynamically calculate the user's FOV based on acceleration with respect to the movement of the user's head and body. Also, the cloud server may perform graphics rendering for generating a stereoscopic image based on the calculated FOV.
일 실시예에서, 그래픽 렌더링은 적응적 화각 선택(Adaptive FOV Selection) 단계와 포비티드 렌더링(Foveated Rendering) 단계로 구성될 수 있다. 적응적 화각 선택 단계는 기본 설정각을 기준으로 특정 범위 내에서 헤드 움직임 가속과 바디 움직임 가속에 기초하여 동적으로 화각을 결정하는 단계에 해당할 수 있다. 포비티드 렌더링(Foveated Rendering) 단계는 사용자의 화각을 기준으로 사용자가 주시하는 영역은 고해상도로, 그 외의 영역은 저해상도로 영상 처리를 수행하는 단계에 해당할 수 있다.In an embodiment, the graphic rendering may consist of an adaptive FOV selection step and a foveated rendering step. The step of selecting the adaptive angle of view may correspond to a step of dynamically determining the angle of view based on the acceleration of the head movement and the acceleration of the body movement within a specific range based on the default set angle. The foveated rendering step may correspond to a step of performing image processing in a region that the user focuses on with high resolution and other regions in a low resolution based on the user's angle of view.
또한, 클라우드 서버는 렌더링된 영상을 캡쳐하는 이미지 캡쳐(Image capturing)를 수행할 수 있으며, 비디오 인코딩(Video encoding)을 통해 무선 전송될 영상 데이터를 생성할 수 있다. 비디오 인코딩은 입체영상 생성을 위하여 기존의 표준 고급 비디오 부호화(Advanced Video Coding) 또는 고효율 비디오 코딩(High Efficiency Video Coding)에 따라 수행될 수 있다. 클라우드 서버에 의해 생성된 인코딩 데이터는 무선 통신을 통해 HMD 기기로 전송되어 재생될 수 있다.In addition, the cloud server may perform image capturing for capturing the rendered image, and may generate image data to be wirelessly transmitted through video encoding. Video encoding may be performed according to the existing standard Advanced Video Coding or High Efficiency Video Coding to generate a stereoscopic image. The encoded data generated by the cloud server may be transmitted and played back to the HMD device through wireless communication.
HMD 기기는 클라우드 서버로부터 수신된 인코딩 데이터를 이용하여 비디오 디코딩(Video decoding)을 수행할 수 있으며, 비디오 디코딩을 통해 인코딩된 영상을 복원할 수 있다. 여기에서, 비디오 디코딩은 비디오 인코딩과 유사한 방식으로 수행될 수 있고, HMD 기기에 의해 복원된 입체 영상은 디스플레이 패널을 통해 재생될 수 있다.The HMD device may perform video decoding using the encoded data received from the cloud server, and may restore an encoded image through video decoding. Here, video decoding may be performed in a manner similar to video encoding, and a stereoscopic image reconstructed by the HMD device may be reproduced through a display panel.
즉, HMD 기기는 사용자의 헤드 움직임뿐만 아니라 바디 움직임에 따라 결정된 FOV에 따라 입체 영상을 생성하여 재생할 수 있다. 예를 들어, HMD 기기는 디스플레이되는 사용자의 화각에 적합하도록 이미지를 확장하거나 잘라낸 후 디스플레이 패널을 통해 재생할 수 있다.That is, the HMD device may generate and reproduce a stereoscopic image according to the FOV determined according to the body movement as well as the user's head movement. For example, the HMD device may expand or cut an image to fit the displayed user's view angle and then reproduce the image through the display panel.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that it can be done.
100: 바디 움직임 기반의 클라우드 VR 장치
110: 제1 시스템 130: 제2 시스템
150: 제3 시스템
210: 바디 움직임 측정부 230: 헤드 움직임 측정부
250: FOV 영상 결정부 270: 영상 처리부
290: 제어부
310: 헤드 움직임 측정 모듈 330: 입체영상 렌더링 모듈
350: 디스플레이 모듈 370: 제1 제어 모듈
410: FOV 결정 모듈 430: 시선영상 캡쳐 모듈
450: 영상 인코딩 모듈 470: 제2 제어 모듈100: Cloud VR device based on body movement
110: first system 130: second system
150: third system
210: body movement measurement unit 230: head movement measurement unit
250: FOV image determining unit 270: image processing unit
290: control unit
310: head motion measurement module 330: stereoscopic image rendering module
350: display module 370: first control module
410: FOV determination module 430: Gaze image capture module
450: video encoding module 470: second control module
Claims (8)
제2 자이로 센서를 통해 상기 사용자의 헤드(head)와 연관된 헤드 움직임을 측정하는 헤드 움직임 측정부;
상기 중심축에 관한 제1 FOV(Field Of View) 영상을 결정하고 상기 헤드 움직임에 따라 상기 제1 FOV 영상 내에서 제2 FOV 영상을 결정하는 FOV 영상 결정부; 및
상기 바디 움직임을 트래킹(tracking)하고 상기 바디 움직임에 따라 상기 중심축의 변화가 검출된 경우 해당 중심축을 기초로 상기 제1 FOV 영상을 갱신하여 제공하는 영상 처리부를 포함하되,
상기 헤드 움직임 측정부는 상기 사용자의 헤드에 장착되어 동작하는 장치로서 제2 시스템에 포함되어 구현되며, 상기 제2 자이로 센서로부터 측정된 신호를 기초로 상기 헤드 움직임에 관한 헤드 좌표 데이터를 생성하는 헤드 움직임 측정 모듈; 상기 헤드 좌표 데이터를 기초로 상기 사용자의 시선방향을 결정하고 해당 시선방향을 기초로 상기 제2 FOV 영상을 렌더링하며, 바디 좌표 데이터에 따른 중심축의 위치를 산출하고 위치 변화량이 임계값을 초과하는 경우 상기 바디 좌표 데이터를 상기 영상 처리부로 전달하여 갱신된 제1 FOV 영상을 수신하는 입체영상 렌더링 모듈; 및 상기 제2 FOV 영상을 디스플레이하는 디스플레이 모듈을 포함하고,
상기 영상 처리부는 상기 헤드 움직임 측정부보다 높은 연산 처리 능력을 갖춘 클라우드 서버 장치로서 제3 시스템에 포함되어 구현되고, 상기 헤드 움직임 측정부로부터 바디 좌표 데이터와 헤드 좌표 데이터를 수신하여 상기 사용자의 중심축과 시선방향에 따른 FOV를 결정하는 FOV 결정 모듈; 상기 FOV에 관한 시선영상을 캡쳐(Capture)하는 시선영상 캡쳐 모듈; 및 상기 시선영상을 인코딩하여 상기 제1 FOV 영상으로서 상기 FOV 영상 결정부에게 전달하고, 상기 사용자의 헤드 및 바디의 움직임에 기초하여 동적으로 결정되는 FOV에 따라 해당 FOV를 포함하는 영상만을 인코딩하는 영상 인코딩 모듈을 포함하며,
상기 입체영상 렌더링 모듈은 상기 제2 시스템 및 상기 제3 시스템 간의 네트워크 속도를 반영하여 상기 위치 변화량에 관한 임계값을 동적으로 조정함으로써 상기 중심축의 위치 변화에 따른 상기 제1 FOV 영상의 갱신 횟수를 줄이는 것을 특징으로 하는 바디 움직임 기반의 클라우드 VR 장치.
a body motion measurement unit measuring a body motion associated with a central axis of the user through the first gyro sensor;
a head motion measurement unit measuring a head motion associated with the user's head through a second gyro sensor;
a FOV image determining unit that determines a first Field Of View (FOV) image with respect to the central axis and determines a second FOV image within the first FOV image according to the head movement; and
An image processing unit that tracks the body movement and updates and provides the first FOV image based on the central axis when a change in the central axis is detected according to the body movement,
The head motion measurement unit is a device mounted on the user's head and operated, and is implemented by being included in a second system, and generating head coordinate data related to the head motion based on a signal measured from the second gyro sensor. measurement module; When the user's gaze direction is determined based on the head coordinate data, the second FOV image is rendered based on the corresponding gaze direction, the position of the central axis is calculated according to the body coordinate data, and the position change amount exceeds a threshold value a stereoscopic image rendering module for receiving an updated first FOV image by transmitting the body coordinate data to the image processing unit; and a display module for displaying the second FOV image,
The image processing unit is implemented by being included in a third system as a cloud server device having higher arithmetic processing capability than the head motion measurement unit, and receives body coordinate data and head coordinate data from the head motion measurement unit to receive the central axis of the user. and an FOV determination module for determining the FOV according to the gaze direction; a gaze image capturing module for capturing a gaze image related to the FOV; and encoding the gaze image and transmitting it to the FOV image determiner as the first FOV image, and encoding only an image including the corresponding FOV according to the FOV dynamically determined based on the movement of the user's head and body. It contains an encoding module,
The stereoscopic image rendering module reduces the number of updates of the first FOV image according to the position change of the central axis by dynamically adjusting the threshold value for the position change amount by reflecting the network speed between the second system and the third system A cloud VR device based on body movement, characterized in that.
상기 제1 자이로 센서로부터 측정된 신호를 기초로 상기 바디 움직임에 관한 바디 좌표 데이터를 생성하고 통신 인터페이스를 통해 상기 헤드 움직임 측정부에게 전달하는 것을 특징으로 하는 바디 움직임 기반의 클라우드 VR 장치.
According to claim 1, wherein the body movement measurement unit
The body movement-based cloud VR device, characterized in that based on the signal measured from the first gyro sensor, body coordinate data related to the body movement is generated and transmitted to the head movement measurement unit through a communication interface.
상기 위치 변화량이 상기 임계값 미만이고 상기 사용자의 시선방향이 상기 제2 FOV 영상의 실제 화각을 벗어난 경우 상기 제1 FOV 영상 내에서 상기 제2 FOV 영상을 재결정하여 렌더링하는 것을 특징으로 하는 바디 움직임 기반의 클라우드 VR 장치.
The method of claim 1, wherein the stereoscopic image rendering module comprises:
Body motion-based, characterized in that the second FOV image is re-determined and rendered in the first FOV image when the position change amount is less than the threshold value and the user's gaze direction deviates from the actual angle of view of the second FOV image of cloud VR devices.
상기 사용자의 시선방향이 일정 시간 이상 유지되는 경우에는 상기 제1 FOV 영상에 관한 포비티드 렌더링(Foveated Rendering)을 수행하여 실제 화각까지의 제2 FOV 영상에 관한 해상도를 증가시키는 것을 특징으로 하는 바디 움직임 기반의 클라우드 VR 장치.
The method of claim 1, wherein the stereoscopic image rendering module comprises:
Body movement, characterized in that when the user's gaze direction is maintained for a predetermined time or more, foveated rendering is performed on the first FOV image to increase the resolution of the second FOV image up to the actual angle of view. based cloud VR device.
상기 바디움직임 측정부를 통해, 제1 자이로 센서를 통해 사용자의 중심축과 연관된 바디(body) 움직임을 측정하는 단계;
상기 헤드 움직임 측정부를 통해, 제2 자이로 센서를 통해 상기 사용자의 헤드(head)와 연관된 헤드 움직임을 측정하는 단계;
상기 FOV 영상 결정부를 통해, 상기 중심축에 관한 제1 FOV(Field Of View) 영상을 결정하고 상기 헤드 움직임에 따라 상기 제1 FOV 영상 내에서 제2 FOV 영상을 결정하는 단계; 및
상기 영상 처리부를 통해, 상기 바디 움직임을 트래킹하고 상기 바디 움직임에 따라 상기 중심축의 변화가 검출된 경우 해당 중심축을 기초로 상기 제1 FOV 영상을 갱신하여 제공하는 단계를 포함하되,
상기 헤드 움직임 측정부는 상기 사용자의 헤드에 장착되어 동작하는 장치로서 제2 시스템에 포함되어 구현되며, 상기 제2 자이로 센서로부터 측정된 신호를 기초로 상기 헤드 움직임에 관한 헤드 좌표 데이터를 생성하는 헤드 움직임 측정 모듈; 상기 헤드 좌표 데이터를 기초로 상기 사용자의 시선방향을 결정하고 해당 시선방향을 기초로 상기 제2 FOV 영상을 렌더링하며, 바디 좌표 데이터에 따른 중심축의 위치를 산출하고 위치 변화량이 임계값을 초과하는 경우 상기 바디 좌표 데이터를 상기 영상 처리부로 전달하여 갱신된 제1 FOV 영상을 수신하는 입체영상 렌더링 모듈; 및 상기 제2 FOV 영상을 디스플레이하는 디스플레이 모듈을 포함하고,
상기 영상 처리부는 상기 헤드 움직임 측정부보다 높은 연산 처리 능력을 갖춘 클라우드 서버 장치로서 제3 시스템에 포함되어 구현되고, 상기 헤드 움직임 측정부로부터 바디 좌표 데이터와 헤드 좌표 데이터를 수신하여 상기 사용자의 중심축과 시선방향에 따른 FOV를 결정하는 FOV 결정 모듈; 상기 FOV에 관한 시선영상을 캡쳐(Capture)하는 시선영상 캡쳐 모듈; 및 상기 시선영상을 인코딩하여 상기 제1 FOV 영상으로서 상기 FOV 영상 결정부에게 전달하고, 상기 사용자의 헤드 및 바디의 움직임에 기초하여 동적으로 결정되는 FOV에 따라 해당 FOV를 포함하는 영상만을 인코딩하는 영상 인코딩 모듈을 포함하며,
상기 입체영상 렌더링 모듈은 상기 제2 시스템 및 상기 제3 시스템 간의 네트워크 속도를 반영하여 상기 위치 변화량에 관한 임계값을 동적으로 조정함으로써 상기 중심축의 위치 변화에 따른 상기 제1 FOV 영상의 갱신 횟수를 줄이는 것을 특징으로 하는 바디 움직임 기반의 클라우드 VR 방법.
A body motion-based cloud VR method performed in a cloud VR device including a body motion measurement unit, a head motion measurement unit, an FOV image determination unit, and an image processing unit, the cloud VR method comprising:
measuring a body motion associated with a central axis of the user through a first gyro sensor through the body motion measurement unit;
measuring a head motion associated with the user's head through a second gyro sensor through the head motion measuring unit;
determining a first Field Of View (FOV) image with respect to the central axis through the FOV image determiner and determining a second FOV image within the first FOV image according to the head movement; and
Tracking the body movement through the image processing unit, and when a change in the central axis is detected according to the body movement, updating and providing the first FOV image based on the central axis,
The head motion measurement unit is a device mounted on the user's head and operated, and is implemented by being included in a second system, and generating head coordinate data related to the head motion based on a signal measured from the second gyro sensor. measurement module; When the user's gaze direction is determined based on the head coordinate data, the second FOV image is rendered based on the corresponding gaze direction, the position of the central axis is calculated according to the body coordinate data, and the position change amount exceeds a threshold value a stereoscopic image rendering module for receiving an updated first FOV image by transmitting the body coordinate data to the image processing unit; and a display module for displaying the second FOV image,
The image processing unit is implemented by being included in a third system as a cloud server device having higher arithmetic processing capability than the head motion measurement unit, and receives body coordinate data and head coordinate data from the head motion measurement unit to receive the central axis of the user. and an FOV determination module for determining the FOV according to the gaze direction; a gaze image capturing module for capturing a gaze image related to the FOV; and encoding the gaze image and transmitting it to the FOV image determiner as the first FOV image, and encoding only an image including the corresponding FOV according to the FOV dynamically determined based on the movement of the user's head and body. It contains an encoding module,
The stereoscopic image rendering module reduces the number of updates of the first FOV image according to the position change of the central axis by dynamically adjusting the threshold value for the position change amount by reflecting the network speed between the second system and the third system A cloud VR method based on body movement, characterized in that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200133575A KR102437276B1 (en) | 2020-10-15 | 2020-10-15 | Body movement based cloud vr device and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200133575A KR102437276B1 (en) | 2020-10-15 | 2020-10-15 | Body movement based cloud vr device and method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220049891A KR20220049891A (en) | 2022-04-22 |
KR102437276B1 true KR102437276B1 (en) | 2022-08-30 |
Family
ID=81452539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200133575A KR102437276B1 (en) | 2020-10-15 | 2020-10-15 | Body movement based cloud vr device and method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102437276B1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102526166B1 (en) | 2023-01-27 | 2023-04-26 | 김태원 | Virtual reality device for adult content providing tactile sensation and smell sensation |
KR102496927B1 (en) | 2022-11-01 | 2023-02-07 | 김태원 | Virtual reality device for adult content providing tactile sensation |
KR20240062067A (en) | 2022-11-01 | 2024-05-08 | 김태원 | Virtual reality device for adult content providing tactile sensation |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2860979A1 (en) | 2002-05-28 | 2015-04-15 | Sharp Kabushiki Kaisha | Method and systems for image intra-prediction mode estimation, communication, and organization |
CN106415447B (en) * | 2014-06-30 | 2019-08-06 | 索尼公司 | Information processing unit, information processing method and image processing system |
KR102166158B1 (en) * | 2018-12-19 | 2020-10-15 | (주)이머시브캐스트 | Stereoscopic video encoding apparatus, stereoscopic video decoding apparatus and stereoscopic video display system including the same |
-
2020
- 2020-10-15 KR KR1020200133575A patent/KR102437276B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20220049891A (en) | 2022-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102437276B1 (en) | Body movement based cloud vr device and method | |
US10861215B2 (en) | Asynchronous time and space warp with determination of region of interest | |
US11202164B2 (en) | Predictive head-tracked binaural audio rendering | |
US10643307B2 (en) | Super-resolution based foveated rendering | |
US11024083B2 (en) | Server, user terminal device, and control method therefor | |
US11393428B2 (en) | Method and system of wireless data transmission for virtual or augmented reality head mounted displays | |
US10410562B2 (en) | Image generating device and image generating method | |
US20160238852A1 (en) | Head mounted display performing post render processing | |
KR20190015577A (en) | Systems and methods for reducing motion-to-phon latency and memory bandwidth in a virtual reality system | |
KR20150026336A (en) | Wearable display device and method of outputting content thereof | |
KR102155001B1 (en) | Head mount display apparatus and method for operating the same | |
US20210274155A1 (en) | Stereoscopic image generating apparatus, stereoscopic image reconstructing apparatus and stereoscopic image playing system including same | |
WO2020003860A1 (en) | Information processing device, information processing method, and program | |
US11590415B2 (en) | Head mounted display and method | |
CN107211191B (en) | Master device, slave device, and control methods thereof | |
CN112272817B (en) | Method and apparatus for providing audio content in immersive reality | |
WO2019150880A1 (en) | Information processing device, information processing method, and program | |
KR20220039113A (en) | Method and apparatus for transmitting video content using edge computing service | |
JP7400721B2 (en) | Information processing device, information processing method and program | |
KR102140077B1 (en) | Master device, slave device and control method thereof | |
KR102261739B1 (en) | System and method for adaptive streaming of augmented reality media content | |
KR102460478B1 (en) | In-car cloud vr device and method | |
EP3217256B1 (en) | Interactive display system and method | |
KR20230012196A (en) | Master device, slave device and control method for connecting virtual space and real space | |
CN118505482A (en) | System, method, apparatus, electronic device, and storage medium for rendering image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |