KR20240096015A - Vr 클라우드 장치 - Google Patents

Vr 클라우드 장치 Download PDF

Info

Publication number
KR20240096015A
KR20240096015A KR1020220178224A KR20220178224A KR20240096015A KR 20240096015 A KR20240096015 A KR 20240096015A KR 1020220178224 A KR1020220178224 A KR 1020220178224A KR 20220178224 A KR20220178224 A KR 20220178224A KR 20240096015 A KR20240096015 A KR 20240096015A
Authority
KR
South Korea
Prior art keywords
cloud
virtual
virtual space
content
control
Prior art date
Application number
KR1020220178224A
Other languages
English (en)
Inventor
한장희
주재현
Original Assignee
(주)이머시브캐스트
Filing date
Publication date
Application filed by (주)이머시브캐스트 filed Critical (주)이머시브캐스트
Publication of KR20240096015A publication Critical patent/KR20240096015A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game

Abstract

본 발명은 VR 클라우드 장치에 관한 것으로, VR 클라우드 서버와 연동하고, 가상공간을 통해 구현된 VR (Virtual Reality) 콘텐츠를 특정 비디오 레이턴시에 따라 VR 스트림으로 제공하는 VR 클라우드 서버부; VR 클라우드 단말과 연동하고, 상기 VR 스트림을 기초로 상기 가상공간 및 가상객체를 식별하고 상기 가상공간의 변화 정도에 따라 상기 특정 비디오 레이턴시를 조절하며, 상기 가상공간에서의 사용자 행위를 기초로 상기 가상객체의 메타데이터를 분석하여 상기 가상객체에 관해 제어 가능한 적어도 하나의 제어 명령을 생성하는 VR 클라우드 단말부; 및 디지털 트윈 환경에서의 현실객체를 상기 가상객체와 매칭하여 상기 VR 콘텐츠에 매칭 정보를 추가하고, 상기 제어 명령에 따라 상기 현실객체를 제어하면서 상기 가상객체를 갱신하는 VR 클라우드 가상화부;를 포함한다.

Description

VR 클라우드 장치{VR CLOUD DEVICE}
본 발명은 VR 콘텐츠 제공 기술에 관한 것으로, 보다 상세하게는 가상공간 상에 존재하는 가상객체와 현실공간에 존재하는 현실객체 사이의 동기화를 통해 가상공간 상에서 현실객체를 제어할 수 있는 VR 클라우드 장치에 관한 것이다.
가상 현실(Virtual Reality, VR)은 컴퓨터 등을 통해 인공적으로 실제와 유사하지만 실제가 아닌 특정한 환경이나 상황을 만드는 기술을 의미한다. 이때, 만들어진 가상의 환경이나 상황 등은 사용자의 오감을 자극하며, 사용자가 실제와 유사한 공간적, 시간적 체험을 하게 함으로써 현실과 가상의 경계를 자유롭게 드나들게 한다. 사용자는 만들어진 가상의 현실에 단순히 몰입할 뿐만 아니라 실재하는 디바이스를 이용해 조작이나 명령을 가하는 등 가상의 현실 속에 구현된 객체들과 상호작용할 수 있다.
기존의 유선 기반의 VR 시스템이나 LTE 기반의 VR 시스템은 데이터 전송 속도, 응답 지연시간 및 편의성의 측면에서 대용량의 VR 콘텐츠(예를 들어, VR 교육, VR 게임, VR 영화, VR 시뮬레이션 등)를 사용자에게 효과적으로 제공하기는 어려웠다.
5G 네트워크는 빠른 데이터 전송 속도와 초저지연 응답을 특징으로 한다. 5G 네트워크는 고해상도의 그래픽을 초저지연으로 전송할 수 있으므로 무선 VR 시스템을 구현하기에 적합하다.
한국등록특허 제10-1990428호 (2019.06.12)
본 발명의 일 실시예는 가상공간 상에 존재하는 가상객체와 현실공간에 존재하는 현실객체 사이의 동기화를 통해 가상공간 상에서 현실객체를 제어할 수 있는 VR 클라우드 장치를 제공하고자 한다.
실시예들 중에서, VR 클라우드 장치는 VR 클라우드 서버와 연동하고, 가상공간을 통해 구현된 VR (Virtual Reality) 콘텐츠를 특정 비디오 레이턴시에 따라 VR 스트림으로 제공하는 VR 클라우드 서버부; VR 클라우드 단말과 연동하고, 상기 VR 스트림을 기초로 상기 가상공간 및 가상객체를 식별하고 상기 가상공간의 변화 정도에 따라 상기 특정 비디오 레이턴시를 조절하며, 상기 가상공간에서의 사용자 행위를 기초로 상기 가상객체의 메타데이터를 분석하여 상기 가상객체에 관해 제어 가능한 적어도 하나의 제어 명령을 생성하는 VR 클라우드 단말부; 및 디지털 트윈 환경에서의 현실객체를 상기 가상객체와 매칭하여 상기 VR 콘텐츠에 매칭 정보를 추가하고, 상기 제어 명령에 따라 상기 현실객체를 제어하면서 상기 가상객체를 갱신하는 VR 클라우드 가상화부;를 포함한다.
상기 VR 클라우드 서버부는 상기 가상공간을 위한 자원을 할당하여 상기 VR 콘텐츠를 가상화 할 수 있다.
상기 VR 클라우드 단말부는 상기 가상공간의 변화량이 임계값을 초과한 경우 현재의 비디오 레이턴시를 감소시킬 수 있다.
상기 VR 클라우드 단말부는 상기 메타데이터로부터 상기 사용자 행위에 대응되는 제어 태그를 식별하고 상기 가상객체의 제어 함수들 중에서 상기 제어 태그를 매개변수로 사용하는 제어 함수를 이용하여 상기 제어 명령을 생성할 수 있다.
상기 VR 클라우드 가상화부는 상기 VR 클라우드 단말 상에 설치되는 VR 애플리케이션의 실행이 검출되면 상기 VR 애플리케이션의 실행과 연관된 VR 콘텐츠의 제공을 요청하고, 상기 VR 콘텐츠를 수신한 경우 상기 가상공간을 렌더링한 다음 상기 가상객체를 배치하여 상기 가상 공간에 관한 VR 영상을 상기 VR 스트림으로서 제공할 수 있다.
상기 VR 클라우드 가상화부는 상기 현실객체로부터 제어 결과를 수신하고 상기 제어 결과 중 반영 요소가 검출되면 상기 반영 요소를 상기 가상객체에 반영하기 위한 갱신 동작을 개시할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 VR 클라우드 장치는 가상공간 상에 존재하는 가상객체와 현실공간에 존재하는 현실객체 사이의 동기화를 통해 가상공간 상에서 현실객체를 제어할 수 있다.
도 1은 본 발명에 따른 VR 클라우드 시스템을 설명하는 도면이다.
도 2는 본 발명에 따른 VR 클라우드 장치의 시스템 구성을 설명하는 도면이다.
도 3은 본 발명에 따른 VR 클라우드 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 VR 클라우드 장치의 동작 과정의 일 실시예를 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 VR 클라우드 시스템을 설명하는 도면이다.
도 1을 참조하면, VR 클라우드 시스템(100)은 VR 클라우드 단말(110), VR 클라우드 서버(130) 및 VR 클라우드 장치(150)를 포함할 수 있다.
VR 클라우드 단말(110)은 사용자에 의해 운용되는 단말 장치에 해당할 수 있다. 본 발명의 실시예에서 사용자는 하나 이상의 사용자로 이해될 수 있으며, 하나 이상의 사용자들 각각은 하나 이상의 VR 클라우드 단말(110)에 대응될 수 있다. 즉, 도 1에서는 하나의 VR 클라우드 단말(110)로 표현되어 있으나, 제1 사용자는 제1 VR 클라우드 단말, 제2 사용자는 제2 VR 클라우드 단말, ..., 제n(상기 n은 자연수) 사용자는 제n VR 클라우드 단말에 각각 대응될 수 있다.
또한, VR 클라우드 단말(110)은 본 발명에 따른 VR 클라우드 시스템(100)을 구성하는 하나의 장치로서 구현될 수 있으며, VR 클라우드 시스템(100)은 VR 콘텐츠를 제공하는 목적에 따라 다양한 형태로 변형되어 구현될 수 있다.
또한, VR 클라우드 단말(110)은 VR 클라우드 서버(130) 또는 VR 클라우드 장치(150)와 연결되어 동작 가능한 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 포함하여 다양한 디바이스로도 구현될 수 있다.
특히, VR 클라우드 단말(110)은 가상현실(VR), 증강현실(AR), 혼합현실(MR) 등 3차원으로 구현된 가상공간에 접근하고 사용자 경험을 제공할 수 있는 AR/VR 기기로 구현될 수 있다. VR 클라우드 단말(110)은 사용자 음성을 입력할 수 있는 마이크 모듈과 VR 콘텐츠를 재생할 수 있는 디스플레이 모듈 및 스피커 모듈을 포함하여 구현될 수 있으며, 필요에 따라 사용자 행위를 인식할 수 있는 센서 모듈을 더 포함하여 구현될 수 있다.
한편, VR 클라우드 단말(110)은 VR 클라우드 서버(130) 또는 VR 클라우드 장치(150)와 네트워크를 통해 연결될 수 있고, 복수의 VR 클라우드 단말(110)들은 VR 클라우드 서버(130) 또는 VR 클라우드 장치(150)와 동시에 연결될 수도 있다.
VR 클라우드 서버(130)는 다양한 VR 콘텐츠를 제공하는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. VR 클라우드 서버(130)는 VR 클라우드 단말(110) 또는 VR 클라우드 장치(150)와 유선 네트워크 또는 블루투스, WiFi 등과 같은 무선 네트워크로 연결될 수 있고, 네트워크를 통해 VR 클라우드 단말(110) 또는 VR 클라우드 장치(150)와 통신을 수행할 수 있다. 또한, VR 클라우드 서버(130)는 외부 시스템(도 1에 미도시함)과 연결되어 동작하도록 구현될 수 있다. 예를 들어, VR 클라우드 서버(130)는 다양한 VR 콘텐츠를 제공하는 VR 콘텐츠 서버와 연결될 수 있다.
VR 클라우드 장치(150)는 VR 클라우드 서버(130)가 제공하는 다양한 VR 콘텐츠를 VR 클라우드 단말(110)에 제공하는 과정에서 가상객체에 관한 사용자 조작에 따라 가상객체와 현실객체 사이의 동기화를 제공하는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. VR 클라우드 장치(150)는 VR 클라우드 단말(110) 또는 VR 클라우드 서버(130)와 유선 네트워크 또는 블루투스, WiFi 등과 같은 무선 네트워크로 연결될 수 있고, 네트워크를 통해 VR 클라우드 단말(110) 또는 VR 클라우드 서버(130)와 통신을 수행할 수 있다. 또한, VR 클라우드 장치(150)는 외부 시스템(도 1에 미도시함)과 연결되어 동작하도록 구현될 수 있다. 예를 들어, VR 클라우드 장치(150)는 디지털 트윈(digital twin) 환경을 구현하고 관리하는 디지털 트윈 서버와 연결되어 동작할 수 있다.
한편, 여기에서는 VR 클라우드 단말(110)과 VR 클라우드 서버(130)가 VR 클라우드 장치(150)를 통해 통신하는 경우를 중심으로 설명하지만, 필요에 따라 VR 클라우드 단말(110)과 VR 클라우드 서버(130)가 직접 통신할 수 있음은 물론이다.
도 2는 본 발명에 따른 VR 클라우드 장치의 시스템 구성을 설명하는 도면이다.
VR 클라우드 장치(150)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함할 수 있다.
프로세서(210)는 본 발명의 실시예에 따른 VR 콘텐츠 제공 프로시저를 실행할 수 있고, 이러한 과정에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄 할 수 있다. 프로세서(210)는 VR 클라우드 장치(200)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 VR 클라우드 장치(150)의 CPU(Central Processing Unit) 또는 GPU(Graphics Processing Unit)로 구현될 수 있다.
메모리(230)는 SSD(Solid State Disk) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 VR 클라우드 장치(150)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다. 또한, 메모리(230)는 전기적으로 연결된 프로세서(210)에 의해 실행됨으로써 본 발명에 따른 VR 콘텐츠 제공 방법을 실행하는 명령어들의 집합을 저장할 수 있다.
사용자 입출력부(250)은 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함하고, 예를 들어, 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치 스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)은 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, VR 클라우드 장치(150)는 독립적인 서버로서 수행될 수 있다.
네트워크 입출력부(270)은 네트워크를 통해 VR 클라우드 단말(110) 또는 VR 클라우드 서버(130)와 연결되기 위한 통신 환경을 제공하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다. 또한, 네트워크 입출력부(270)는 데이터의 무선 전송을 위해 WiFi, 블루투스 등의 근거리 통신 기능이나 4G 이상의 무선 통신 기능을 제공하도록 구현될 수 있다.
도 3은 본 발명에 따른 VR 클라우드 장치의 기능적 구성을 설명하는 도면이다.
도 3을 참조하면, VR 클라우드 장치(150)는 VR 클라우드 서버부(310), VR 클라우드 가상화부(330), VR 클라우드 단말부(350) 및 제어부(도 3에 미도시함)를 포함할 수 있다.
VR 클라우드 서버부(310)는 가상공간을 통해 구현된 VR (Virtual Reality) 콘텐츠를 특정 비디오 레이턴시에 따라 VR 스트림으로 제공할 수 있다. 이를 위하여, VR 클라우드 서버부(310)는 VR 클라우드 서버(130)와 연동하여 동작할 수 있다. 즉, VR 클라우드 서버부(310)는 VR 클라우드 서버(130)로부터 제공되는 VR 콘텐츠를 수신하여 VR 클라우드 단말(110)에게 전달할 수 있으며, VR 콘텐츠를 스트리밍 방식으로 전달함으로써 VR 클라우드 단말(110) 상에서 재생의 실시간성을 제공할 수 있다. 다만, VR 클라우드 서버(130)의 전송 시점과 VR 클라우드 단말(110)의 재생 시점 간에는 시간 지연이 발생할 수 있으며, VR 클라우드 서버부(310)는 비디오 레이턴시(latency)에 따라 시간 지연을 조절할 수 있다.
일 실시예에서, VR 클라우드 서버부(310)는 가상공간을 위한 자원을 할당하여 VR 콘텐츠를 가상화 할 수 있다. VR 클라우드 서버부(310)는 클라우드 환경에서 VR 콘텐츠의 가상화를 위한 자원(예: 메모리, 네트워크, DB 등)을 구성하고 VR 콘텐츠를 구현하는 가상공간을 생성할 수 있다. 예를 들어, 교실에서 진행하는 강의 내용을 포함하는 VR 콘텐츠 경우, VR 클라우드 서버부(310)는 '교실'이라는 가상공간을 생성하고 VR 콘텐츠 상의 가상객체들(예: 책상, 의자 등)을 가상공간 상에 배치하여 VR 콘텐츠를 가상화 할 수 있다.
VR 클라우드 가상화부(330)는 디지털 트윈 환경에서의 현실객체를 가상객체와 매칭하여 VR 콘텐츠에 매칭 정보를 추가하고, 제어 명령에 따라 현실객체를 제어하면서 가상객체를 갱신할 수 있다. VR 클라우드 가상화부(330)는 VR 콘텐츠의 가상객체를 현실객체와 매칭할 수 있으며, 매칭을 위하여 디지털 트윈 정보를 활용할 수 있다. 예를 들어, VR 클라우드 가상화부(330)는 디지털 트윈으로 구현된 객체들 중에서 VR 콘텐츠의 가상객체와 동일하거나 유사한 객체를 결정하고 해당 객체의 현실객체를 VR 콘텐츠의 가상객체와 매칭시킬 수 있다. 이후, VR 클라우드 가상화부(330)는 VR 클라우드 단말(110)에 전송되는 VR 콘텐츠에 매칭 정보를 추가하여 현실객체를 VR 콘텐츠에 연결할 수 있다.
일 실시예에서, VR 클라우드 가상화부(330)는 VR 클라우드 단말(110) 상에 설치되는 VR 애플리케이션의 실행이 검출되면 VR 애플리케이션의 실행과 연관된 VR 콘텐츠의 제공을 요청하고, VR 콘텐츠를 수신한 경우 가상공간을 렌더링한 다음 가상객체를 배치하여 가상 공간에 관한 VR 영상을 VR 스트림으로서 제공할 수 있다. VR 클라우드 가상화부(330)는 VR 애플리케이션의 실행 동안 VR 클라우드 서버(130)로부터 수신된 VR 콘텐츠에 현실객체와 매칭된 가상객체를 선택적으로 배치할 수 있으며, 갱신된 가상공간에 관한 VR 영상을 VR 클라우드 단말(110)에게 전달할 수 있다.
일 실시예에서, VR 클라우드 가상화부(330)는 현실객체로부터 제어 결과를 수신하고 제어 결과 중 반영 요소가 검출되면 반영 요소를 가상객체에 반영하기 위한 갱신 동작을 개시할 수 있다. VR 클라우드 가상화부(330)는 가상공간 상에서 가상객체에 관한 사용자의 조작을 처리할 수 있으며, VR 클라우드 단말(110)로부터 수신된 제어 명령에 따라 현실객체의 동작을 제어한 경우, 현실객체로부터 제어 결과를 수신할 수 있다. 예를 들어, 가상공간 상에 배치된 가상 TV 리모컨에 대한 사용자의 조작에 따라 TV의 채널 변경 명령이 생성된 경우, VR 클라우드 가상화부(330)는 해당 명령에 따라 현실세계의 TV 채널을 변경할 수 있고 채널 변경 결과를 수신할 수 있다. 이때, VR 클라우드 가상화부(330)는 채널 변경 결과로부터 채널 정보를 추출한 다음 가상공간에 존재하는 가상 TV의 화면을 변경된 채널 정보에 따라 갱신할 수 있다.
일 실시예에서, VR 클라우드 가상화부(330)는 현실객체로부터 제어 실패를 수신한 경우 해당 현실객체의 과거 제어 이력을 기초로 제어 결과를 예측하여 가상객체에 대한 갱신 동작을 개시할 수 있다. 예를 들어, 가상공간 상에 배치된 가상 TV 리모컨에 대한 사용자의 조작에 따라 TV의 채널 변경 명령이 생성된 경우, VR 클라우드 가상화부(330)는 해당 명령에 따라 현실세계의 TV 채널을 변경할 수 있고 만약 채널 변경에 실패한 경우 해당 TV의 과거 채널 변경 이력을 분석하여 가장 선호된 채널을 기초로 가상공간 상에 배치된 가상 TV의 화면을 갱신하는 요청을 VR 클라우드 단말부(310)에 전송할 수 있다.
이를 위하여, VR 클라우드 가상화부(330)는 디지털 트윈 환경에서의 현실객체 별로 과거 제어 이력을 수집하여 저장하고 관리할 수 있다. VR 클라우드 가상화부(330)는 현실객체에 매칭된 가상객체가 VR 콘텐츠를 통해 VR 클라우드 단말(110)에 제공된 경우 해당 현실객체의 과거 제어 이력을 데이터베이스로부터 읽어들여 메모리(230)에 저장할 수 있다.
VR 클라우드 단말부(350)는 VR 스트림을 기초로 가상공간 및 가상객체를 식별하고 가상공간의 변화 정도에 따라 특정 비디오 레이턴시를 조절하며, 가상공간에서의 사용자 행위를 기초로 가상객체의 메타데이터를 분석하여 가상객체에 관해 제어 가능한 적어도 하나의 제어 명령을 생성할 수 있다. 이를 위하여, VR 클라우드 단말부(350)는 VR 클라우드 단말(110)과 연동하여 동작할 수 있다. 즉, VR 클라우드 단말부(350)는 VR 스트림에 포함된 가상공간 정보를 통해 가상공간 상에 배치된 가상객체들을 식별할 수 있다. VR 클라우드 단말부(350)는 가상공간 정보를 기초로 VR 콘텐츠의 전송 전과 후를 비교하여 가상공간의 변화를 산출할 수 있다.
또한, VR 클라우드 단말부(350)는 가상공간 상에서 사용자 행위를 추적할 수 있고, 사용자의 행위가 가상객체와 연관된 경우 해당 행위에 따라 가상객체의 동작을 제어하면서 현실객체 제어를 위한 제어 명령을 생성할 수 있다. 이때, 제어 명령은 가상객체의 메타데이터를 분석한 정보를 기초로 생성될 수 있다. 여기에서, 메타데이터는 가상객체를 구성 또는 관리하는데 사용되는 객체 관련 데이터에 해당할 수 있으며, 공용 객체 파일 또는 메모리에 저장될 수 있다. 가상객체가 생성되면 메타데이터는 공용 객체 파일의 특정 부분에 삽입되어 저장될 수 있으며, 객체의 속성 정보, 제어 정보 및 이벤트 정보 등을 포함할 수 있다.
일 실시예에서, VR 클라우드 단말부(350)는 가상공간의 변화량이 임계값을 초과한 경우 현재의 비디오 레이턴시를 감소시킬 수 있다. 즉, VR 클라우드 단말부(350)는 VR 콘텐츠의 전송 전과 후의 가상공간의 변화를 검출하고, 변화가 큰 경우 서버와 단말 사이에 전송되는 VR 스트림의 비디오 레이턴시를 감소시켜 사용자로 하여금 가상공간의 변화를 빠르게 경험하게 할 수 있다.
일 실시예에서, VR 클라우드 단말부(350)는 메타데이터로부터 사용자 행위에 대응되는 제어 태그를 식별하고 가상객체의 제어 함수들 중에서 제어 태그를 매개변수로 사용하는 제어 함수를 이용하여 제어 명령을 생성할 수 있다. 가상객체의 메타데이터에는 가상객체에 관한 태그들이 포함될 수 있으며, 제어 태그는 가상객체와 연관된 현실객체의 제어 권한을 관리하거나 또는 제어 함수의 동작을 관리하는 과정에 사용될 수 있다. 예를 들어, 제어 태그는 키(key)와 값(value)의 쌍으로 표현될 수 있다. 태그 키는 현실객체에 연결된 고유의 식별코드로 구현될 수 있고, 태그 값은 제어 권한을 부여하는 조건에 따라 결정될 수 있다. VR 클라우드 단말부(350)는 현실객체와 연관된 사용자 행위를 기준으로 제어 태그를 식별할 수 있으며, 태그 값을 사용하여 가상객체의 제어 함수를 실행하는 제어 명령을 생성할 수 있다.
제어부(도 3에 미도시함)는 VR 클라우드 장치(150)의 전체적인 동작을 제어하고, VR 클라우드 서버부(310), VR 클라우드 가상화부(330) 및 VR 클라우드 단말부(350) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 4는 본 발명에 따른 VR 클라우드 장치의 동작 과정의 일 실시예를 설명하는 도면이다.
도 4를 참조하면, VR 클라우드 장치(150)는 VR 클라우드 서버부(310), VR 클라우드 가상화부(330) 및 VR 클라우드 단말부(350) 간의 상호 연계를 통해 VR 콘텐츠를 제공할 수 있다.
보다 구체적으로, VR 클라우드 단말부(350)는 VR 클라우드 단말(110)과 연동하여, VR 클라우드 단말(110) 상에서 VR 애플리케이션을 실행할 수 있다. 이때, VR 클라우드 가상화부(330)는 VR 애플리케이션의 실행을 검출할 수 있고, 이에 따라 VR 클라우드 서버부(310)에게 VR 콘텐츠의 제공을 요청할 수 있다.
VR 클라우드 서버부(310)는 VR 클라우드 서버(130)와 연동하여 동작할 수 있으며, VR 클라우드 서버(130)를 통해 VR 콘텐츠를 제공할 수 있다. 이때, VR 클라우드 서버부(310)는 VR 콘텐츠를 구현하는 가상공간을 생성하고 VR 콘텐츠에 가상공간 정보를 추가하여 전송할 수 있다.
VR 클라우드 가상화부(330)는 가상공간에 존재하는 가상객체와 현실객체를 상호 매핑할 수 있으며, 필요에 따라 가상공간에 가상객체를 삽입하여 VR 스트림을 제공할 수 있다.
VR 클라우드 단말부(350)는 VR 스트림으로부터 가상공간 및 가상객체를 식별할 수 있으며, 가상공간에서의 사용자 행위를 기초로 가상객체의 메타데이터를 분석하여 가상객체에 관해 제어 명령을 생성할 수 있다. VR 클라우드 단말부(350)는 제어 명령을 VR 클라우드 가상화부(330)에 전달하고, VR 클라우드 가상화부(330)는 제어 명령을 기초로 가상객체와 연결된 현실객체를 제어할 수 있다.
이후, VR 클라우드 가상화부(330)는 현실객체의 제어에 따른 결과를 기초로 가상객체를 갱신할 수 있으며, 가상객체의 갱신에 따라 가상공간의 갱신 동작이 개시될 수 있다. 즉, VR 클라우드 가상화부(330)는 VR 클라우드 서버부(310)에게 가상공간의 갱신을 요청할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: VR 클라우드 시스템
110: VR 클라우드 단말 130: VR 클라우드 서버
150: VR 클라우드 장치
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: VR 클라우드 서버부 330: VR 클라우드 가상화부
350: VR 클라우드 단말부

Claims (6)

  1. VR 클라우드 서버와 연동하고, 가상공간을 통해 구현된 VR (Virtual Reality) 콘텐츠를 특정 비디오 레이턴시에 따라 VR 스트림으로 제공하는 VR 클라우드 서버부;
    VR 클라우드 단말과 연동하고, 상기 VR 스트림을 기초로 상기 가상공간 및 가상객체를 식별하고 상기 가상공간의 변화 정도에 따라 상기 특정 비디오 레이턴시를 조절하며, 상기 가상공간에서의 사용자 행위를 기초로 상기 가상객체의 메타데이터를 분석하여 상기 가상객체에 관해 제어 가능한 적어도 하나의 제어 명령을 생성하는 VR 클라우드 단말부; 및
    디지털 트윈 환경에서의 현실객체를 상기 가상객체와 매칭하여 상기 VR 콘텐츠에 매칭 정보를 추가하고, 상기 제어 명령에 따라 상기 현실객체를 제어하면서 상기 가상객체를 갱신하는 VR 클라우드 가상화부;를 포함하는 VR 클라우드 장치.
  2. 제1항에 있어서, 상기 VR 클라우드 서버부는
    상기 가상공간을 위한 자원을 할당하여 상기 VR 콘텐츠를 가상화 하는 것을 특징으로 하는 VR 클라우드 장치.
  3. 제1항에 있어서, 상기 VR 클라우드 단말부는
    상기 가상공간의 변화량이 임계값을 초과한 경우 현재의 비디오 레이턴시를 감소시키는 것을 특징으로 하는 VR 클라우드 장치.
  4. 제1항에 있어서, 상기 VR 클라우드 단말부는
    상기 메타데이터로부터 상기 사용자 행위에 대응되는 제어 태그를 식별하고 상기 가상객체의 제어 함수들 중에서 상기 제어 태그를 매개변수로 사용하는 제어 함수를 이용하여 상기 제어 명령을 생성하는 것을 특징으로 하는 VR 클라우드 장치.
  5. 제1항에 있어서, 상기 VR 클라우드 가상화부는
    상기 VR 클라우드 단말 상에 설치되는 VR 애플리케이션의 실행이 검출되면 상기 VR 애플리케이션의 실행과 연관된 VR 콘텐츠의 제공을 요청하고,
    상기 VR 콘텐츠를 수신한 경우 상기 가상공간을 렌더링한 다음 상기 가상객체를 배치하여 상기 가상 공간에 관한 VR 영상을 상기 VR 스트림으로서 제공하는 것을 특징으로 하는 VR 클라우드 장치.
  6. 제1항에 있어서, 상기 VR 클라우드 가상화부는
    상기 현실객체로부터 제어 결과를 수신하고 상기 제어 결과 중 반영 요소가 검출되면 상기 반영 요소를 상기 가상객체에 반영하기 위한 갱신 동작을 개시하는 것을 특징으로 하는 VR 클라우드 장치.
KR1020220178224A 2022-12-19 Vr 클라우드 장치 KR20240096015A (ko)

Publications (1)

Publication Number Publication Date
KR20240096015A true KR20240096015A (ko) 2024-06-26

Family

ID=

Similar Documents

Publication Publication Date Title
US9710217B2 (en) Identifying the positioning in a multiple display grid
US8903897B2 (en) System and method for providing interactive content to non-native application environments
KR102079832B1 (ko) 시각 초점에 기반한 결합형 디스플레이의 제어 기법
KR102059219B1 (ko) 컴퓨터 시스템과 관련된 하드웨어 자원의 가상화를 위한 방법, 시스템 및 실행가능한 코드 조각
US9886189B2 (en) Systems and methods for object-based interaction with cloud-based applications
CN107077348B (zh) 跨设备的经分割的应用呈现
US20130031225A1 (en) Remotely preconfiguring a computing device
WO2020020202A1 (zh) 应用程序的账号管理方法、装置、设备和介质
CN114902689A (zh) 用于媒体应用的多媒体重定向
CN114902686A (zh) Web浏览器多媒体重定向
US20130143657A1 (en) Input Mapping Regions
US20130227442A1 (en) Remote controller supporting system and method for displaying function of key being mapped with remote controller
US9497238B1 (en) Application control translation
KR20240096015A (ko) Vr 클라우드 장치
CN108351888B (zh) 生成可推迟数据流
KR101744684B1 (ko) 클라우드 게임 서비스 제공 장치 및 방법
KR20190032100A (ko) 전자 장치에서의 광고 영상 제공 방법 및 그 전자 장치
KR102369525B1 (ko) 원격 접속을 위한 장치, 시스템 및 방법
KR102399661B1 (ko) 원격 접속을 위한 장치 및 방법
KR20200087471A (ko) 객체 추천 방법 및 시스템
KR102204223B1 (ko) 원격 접속을 위한 장치, 시스템 및 방법
KR102669261B1 (ko) 클라우드 xr 기반의 프로그램 가상화 방법
KR102173672B1 (ko) 스트리밍에 기초한 게임 제공 방법 및 장치
KR102309714B1 (ko) 병렬 처리 기반의 교통 시뮬레이션 방법 및 이를 위한 장치
US20230051572A1 (en) Context-aware interface layer for remote applications