KR20220124493A - Mtp 지연 감소를 위한 클라우드 vr 장치 - Google Patents

Mtp 지연 감소를 위한 클라우드 vr 장치 Download PDF

Info

Publication number
KR20220124493A
KR20220124493A KR1020210028197A KR20210028197A KR20220124493A KR 20220124493 A KR20220124493 A KR 20220124493A KR 1020210028197 A KR1020210028197 A KR 1020210028197A KR 20210028197 A KR20210028197 A KR 20210028197A KR 20220124493 A KR20220124493 A KR 20220124493A
Authority
KR
South Korea
Prior art keywords
cloud
client
terminal
video image
movement
Prior art date
Application number
KR1020210028197A
Other languages
English (en)
Other versions
KR102480451B1 (ko
Inventor
임종혁
남승인
주재현
한장희
Original Assignee
(주)이머시브캐스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이머시브캐스트 filed Critical (주)이머시브캐스트
Priority to KR1020210028197A priority Critical patent/KR102480451B1/ko
Priority to US17/400,637 priority patent/US11544912B2/en
Publication of KR20220124493A publication Critical patent/KR20220124493A/ko
Application granted granted Critical
Publication of KR102480451B1 publication Critical patent/KR102480451B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Walking Sticks, Umbrellas, And Fans (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 MTP 지연 감소를 위한 클라우드 VR 장치에 관한 것으로, 클라이언트 VR(Virtual Reality) 단말의 이동 개시를 검출하는 이동 개시 검출부; 상기 이동 개시에 따라 상기 클라이언트 VR 단말의 방향(orientation)을 예측하고 상기 예측된 방향을 클라우드 VR 서버에 제공하는 저더(Judder) 개선부; 상기 클라우드 VR 서버를 통해 상기 예측된 방향에 따른 비디오 영상을 인코딩하고 상기 인코딩된 비디오 영상을 수신하는 비디오 인코딩 처리부; 및 상기 인코딩된 비디오 영상을 상기 클라이언트 VR(Virtual Reality) 단말을 통해 재생하는 비디오 영상 재생부를 포함한다.

Description

MTP 지연 감소를 위한 클라우드 VR 장치{CLOUD VR DEVICE FOR MTP LATENCY REDUCTION}
본 발명은 클라우드 VR 기술에 관한 것으로, 보다 상세하게는 사용자로부터 발생한 정보가 클라우드 시스템을 거쳐 다시 사용자에게 전달되는 과정에서 발생하는 시간차로 인한 문제들을 개선할 수 있는 MTP 지연 감소를 위한 클라우드 VR 장치에 관한 것이다.
최근 가상현실(Virtual Reality, VR) 기기가 출현하고 있으나, 비싼 가격, 몰입감을 방해하는 저해상도, VR 컨텐츠 부족 등의 문제로 인해 스마트폰처럼 널리 보급되고 있지 않다.
특히, 사용자의 머리 움직임과 눈에 보이는 VR 영상 간의 불일치로 인해 발생할 수 있는 어지러움 등과 같은 신체적 불편의 해소는 필수적으로 해결되어야 하는 문제일 수 있다.
이를 해결하기 위해서는 MTP(Motion-to-Photon) 지연(Redundancy)를 10 ~ 20 ms 이내로 줄여야 하며, 무선 환경(예를 들어, WiFi 또는 모바일 네트워크 등)에서 이를 달성하기 위해서는 기술적 어려움이 존재한다.
한국등록특허 제10-0820132(2008.04.01)호
본 발명의 일 실시예는 사용자로부터 발생한 정보가 클라우드 시스템을 거쳐 다시 사용자에게 전달되는 과정에서 발생하는 시간차로 인한 문제들을 개선할 수 있는 MTP 지연 감소를 위한 클라우드 VR 장치를 제공하고자 한다.
본 발명의 일 실시예는 사용자의 움직임 신호를 영상 렌더링에 즉시 반영하면서 지연에 따른 클라이언트 방향을 예측하여 서버로 전송함으로써 블랙 에지 현상을 개선하고 빠른 MTP Latency를 구현할 수 있는 클라우드 VR 장치를 제공하고자 한다.
실시예들 중에서, MTP (Motion-to-Photon) 지연 감소를 위한 클라우드 VR 장치는 클라이언트 VR(Virtual Reality) 단말의 이동 개시를 검출하는 이동 개시 검출부; 상기 이동 개시에 따라 상기 클라이언트 VR 단말의 방향(orientation)을 예측하고 상기 예측된 방향을 클라우드 VR 서버에 제공하는 저더(Judder) 개선부; 상기 클라우드 VR 서버를 통해 상기 예측된 방향에 따른 비디오 영상을 인코딩하고 상기 인코딩된 비디오 영상을 수신하는 비디오 인코딩 처리부; 및 상기 인코딩된 비디오 영상을 상기 클라이언트 VR(Virtual Reality) 단말을 통해 재생하는 비디오 영상 재생부를 포함한다.
상기 이동 개시 검출부는 N (상기 N은 자연수) DoF (Degree of Freedom) 추적 센서를 통해 상기 클라이언트 VR 단말의 이동을 검출할 수 있다.
상기 이동 개시 검출부는 상기 N DoF (Degree of Freedom) 추적 센서를 상기 클라이언트 VR 단말의 외부에 위치시켜 사용자 헤드의 이동 추적을 통해 상기 클라이언트 VR 단말의 이동을 검출할 수 있다.
상기 저더(Judder) 개선부는 상기 이동 개시의 과정에서 N DoF 추적 센서를 통해 각속도를 획득하고 상기 각속도를 기초로 MTP 지연시간에 따른 사용자 헤드의 방향을 예측할 수 있다.
상기 저더(Judder) 개선부는 상기 MTP 지연시간에 따른 시점에 상기 사용자 헤드의 예측된 방향 및 실제 방향 간의 차이를 결정하여 상기 MTP 지연시간을 동적으로 조절할 수 있다.
상기 저더(Judder) 개선부는 상기 N DoF 추적 센서를 통해 상기 각속도의 각도 변곡점을 각가속도를 이용하여 검출하고 상기 각도 변곡점의 검출에 따라 상기 사용자 헤드의 수정된 방향 정보를 생성할 수 있다.
상기 비디오 인코딩 처리부는 상기 클라우드 VR 서버에게 상기 예측된 방향에 따른 각속도 및 각가속도를 제공하여 상기 클라우드 VR 서버가 상기 비디오 영상의 인코딩 긴급성을 결정하여 상기 비디오 영상을 인코딩하도록 할 수 있다.
상기 비디오 영상 재생부는 상기 재생 과정에서 상기 사용자 헤드의 예측된 방향 및 실제 방향 간의 차이가 특정 기준 이상인 경우에는 상기 인코딩된 비디오 영상에서 상기 실제 방향에 있는 비디오 영상 부분에 관해 캔버스 렌더링의 보정 및 포비티드 렌더링 할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 MTP 지연 감소를 위한 클라우드 VR 장치는 사용자로부터 발생한 정보가 클라우드 시스템을 거쳐 다시 사용자에게 전달되는 과정에서 발생하는 시간차로 인한 문제들을 개선할 수 있다.
본 발명의 일 실시예에 따른 MTP 지연 감소를 위한 클라우드 VR 장치는 사용자의 움직임 신호를 영상 렌더링에 즉시 반영하면서 지연에 따른 클라이언트 방향을 예측하여 서버로 전송함으로써 블랙 에지 현상을 개선하고 빠른 MTP Latency를 구현할 수 있다.
도 1은 본 발명에 따른 클라우드 VR 시스템을 설명하는 도면이다.
도 2는 본 발명에 따른 클라우드 VR 장치의 기능적 구성을 설명하는 도면이다.
도 3은 본 발명에 따른 클라우드 VR 제공 과정을 설명하는 순서도이다.
도 4는 본 발명에 따른 캔버스 위치 움직임을 설명하는 도면이다.
도 5는 본 발명에 따른 MTP 지연 감소 사례들을 설명하는 도면이다.
도 6 및 7은 본 발명에 따른 MTP 지연 감소 효과를 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
본 발명에 따른 MTP 지연 감소를 위한 클라우드 VR 장치는 사용자의 움직임에 따른 방향 변화를 효과적으로 반영하여 사용자에게 실감나는 VR/AR 영상을 제공하면서도 어지러움증을 최소화할 수 있는 장치에 해당할 수 있다. MTP 지연 감소를 위한 클라우드 VR 장치는 사용자의 바디에 장착 또는 부착되는 다양한 센서들로부터 획득할 수 있는 사용자 움직임 정보를 활용하여 사용자의 실제 움직임에 동기화된 현실감 있는 영상을 사용자에게 제공할 수 있다.
따라서, MTP 지연 감소를 위한 클라우드 VR 장치는 사용자에게 실감나는 영상을 제공하면서도 기존의 VR 기기들이 클라우드 환경에서 가지고 있던 이미지 저더(judder) 현상 등을 개선하여 최적화된 MTP 지연을 실현할 수 있다.
이하 도 1 내지 7을 참조하여 본 발명의 구체적인 구성 및 동작을 자세히 설명한다.
도 1은 본 발명에 따른 클라우드 VR 시스템을 설명하는 도면이다.
도 1을 참조하면, 클라우드 VR 시스템(100)은 클라이언트 VR 단말(110) 및 클라우드 VR 서버/PC(130)를 포함할 수 있다.
클라이언트 VR 단말(110)은 AR/VR 영상을 재생할 수 있는 사용자 단말에 해당할 수 있다. 예를 들어, 클라이언트 VR 단말(110)은 대표적으로 HMD, VR/AR 글래스 등으로 구현될 수 있으나, 반드시 이에 한정되지 않고, AR/VR 영상을 재생할 수 있는 다양한 디바이스로 구현될 수 있다. 클라이언트 VR 단말(110)은 클라우드 VR 서버/PC(130)와 네트워크를 통해 연결되어 데이터를 주고 받을 수 있다.
일 실시예에서, 클라이언트 VR 단말(110)은 본 발명에 따른 클라우드 VR 장치를 포함하여 구현될 수 있다. 이 경우, 본 발명에 따른 클라우드 VR 장치는 클라이언트 VR 단말(110) 상에서 실행되는 전용 어플리케이션에 해당할 수 있다. 즉, 본 발명에 따른 클라우드 VR 장치는 소정의 기능을 수행하는 독립된 모듈로서 클라이언트 VR 단말(110)에 포함되어 구현될 수 있으며, 클라우드 VR 서버/PC(130)와 상호 연동하여 본 발명에 따른 MTP 지연 감소를 위한 구체적 동작을 수행할 수 있다.
또한, 본 발명에 따른 클라우드 VR 장치가 클라이언트 VR 단말(110)에 포함되어 구현되는 경우, 일부 동작은 클라우드 VR 서버/PC(130)에 포함되어 구현될 수도 있다. 예를 들어, 비디오 영상을 인코딩하는 동작은 클라우드 VR 서버/PC(130)에서 수행될 수 있으며, 클라이언트 VR 단말(110)은 클라우드 VR 서버/PC(130)에 의해 인코딩된 비디오 영상을 수신하여 재생하는 동작을 수행할 수 있다.
일 실시예에서, 클라이언트 VR 단말(110)은 사용자의 움직임 정보에 관한 6 DoF(Degrees of Freedom) 센서를 포함하여 구현될 수 있다. 또한, 클라이언트 VR 단말(110)은 필요에 따라 다양한 센서들을 더 포함하여 구현될 수 있다. 예를 들어, 클라이언트 VR 단말(110)은 GPS 센서, 모션 센서 등을 더 포함할 수 있다. 다른 실시예에서, 클라이언트 VR 단말(110)은 외부에서 동작하는 6 DoF 센서로부터 사용자의 움직임 정보를 수신할 수 있다. 이 경우, 6 DoF 센서는 클라이언트 VR 단말(110)과 연동하는 6 DoF 트래킹 디바이스(Tracking Device)에 포함되어 동작할 수 있다.
클라우드 VR 서버/PC(130)는 클라이언트 VR 단말(110)에서 재생되는 AR/VR 영상을 생성하여 네트워크를 통해 전송하는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 클라우드 VR 서버/PC(130)는 클라이언트 VR 단말(110)과 블루투스, WiFi, 5G 통신 등과 같은 무선 네트워크로 연결될 수 있고, 네트워크를 통해 클라이언트 VR 단말(110)와 데이터를 송·수신할 수 있다.
또한, 클라우드 VR 서버/PC(130)는 클라이언트 VR 단말(110)로부터 사용자의 움직임 정보로서 6 DoF 신호를 수신할 수 있고, 이를 기초로 해당 프레임을 생성하여 캡쳐(capture)하고 비디오 인코딩(encoding) 후 다시 클라이언트 VR 단말(110)에게 전송할 수 있다. 이를 위하여, 클라우드 VR 서버/PC(130)는 클라이언트 VR 단말(110)과 연동하여 동작하는 리모트 어플리케이션(Remote Application)을 설치하여 실행할 수 있다.
도 2는 본 발명에 따른 클라우드 VR 장치의 기능적 구성을 설명하는 도면이다.
도 2를 참조하면, 클라우드 VR 장치(200)는 이동 개시 검출부(210), 저더 개선부(230), 비디오 인코딩 처리부(250), 비디오 영상 재생부(270) 및 제어부(290)를 포함할 수 있다. 일 실시예에서, 클라우드 VR 장치(200)를 구성하는 각 기능적 구성들은 클라이언트 VR 단말(110) 또는 클라우드 VR 서버/PC(130)에 포함되어 구현될 수 있으며, 클라이언트 VR 단말(110)과 클라우드 VR 서버/PC(130) 간의 연동에 의해 유기적으로 결합될 수 있다.
이동 개시 검출부(210)는 클라이언트 VR(Virtual Reality) 단말(110)의 이동 개시를 검출할 수 있다. 즉, 이동 개시 검출부(210)는 클라이언트 VR 단말(110)의 이동 개시가 검출되면 사용자의 움직임이 발생한 것으로 결정할 수 있고, 해당 사용자의 움직임에 대응하기 위해 관련 동작을 수행할 수 있다. 이동 개시 검출부(210)는 기본적으로 클라이언트 VR 단말(110)에 포함된 다양한 센서들과 연동하여 이동 개시를 직접 검출할 수 있으며, 경우에 따라 사용자의 신체에 부착 또는 장착되는 센서들과 독립적으로 연동하여 클라이언트 VR 단말(110)의 이동 개시를 간접적으로 검출할 수도 있다.
일 실시예에서, 이동 개시 검출부(210)는 N (상기 N은 자연수) DoF (Degree of Freedom) 추적 센서를 통해 클라이언트 VR 단말(110)의 이동을 검출할 수 있다. 여기에서, N DoF 추적 센서는 기본적으로 6 DoF 센서에 해당할 수 있으나, 반드시 이에 한정되지 않고, 2 DoF 센서, 3 DoF 센서, 9 DoF 센서 등을 포함할 수 있다. 이동 개시 검출부(210)는 클라이언트 VR 단말(110)로부터 N DoF 신호를 수신할 수 있고, N DoF 신호의 변화를 모니터링하여 클라이언트 VR 단말(110)의 이동 개시를 검출할 수 있다.
일 실시예에서, 이동 개시 검출부(210)는 N DoF 추적 센서를 클라이언트 VR 단말(110)의 외부에 위치시켜 사용자 헤드의 이동 추적을 통해 클라이언트 VR 단말(110)의 이동을 검출할 수 있다. N DoF 추적 센서는 클라이언트 VR 단말(110)의 내부 뿐만 아니라 외부에 설치되어 동작할 수 있으며, N DoF 추적 센서가 외부에 설치된 경우 이동 개시 검출부(210)는 N DoF 신호를 기초로 사용자 헤드의 이동을 추적할 수 있다. 즉, 이동 개시 검출부(210)는 사용자 헤드의 이동 변화를 기초로 클라이언트 VR 단말(110)의 이동을 검출할 수 있다. 이 경우, 이동 개시 검출부(210)는 N DoF 추적 센서로부터 사용자 헤드의 이동에 관한 추적 정보를 수신할 수 있다.
저더 개선부(230)는 클라이언트 VR(Virtual Reality) 단말(110)의 이동 개시에 따라 클라이언트 VR 단말(110)의 방향(orientation)을 예측하고 예측된 방향을 클라우드 VR 서버(130)에 제공할 수 있다. 즉, 저더 개선부(230)는 기본적으로 매 프레임마다 클라이언트 VR 단말(110)의 현재 방향을 클라우드 VR 서버(130)로 전송할 수 있으며, MTP 지연을 최적화 하기 위해 매 프레임마다 MTP 지연에 따른 클라이언트 VR 단말(110)의 방향을 예측하여 클라우드 VR 서버(130)에 전송할 수 있다. 이때, 클라이언트 VR 단말(110)의 방향 예측은 현재의 움직임을 기초로 해당 움직임이 MTP 지연에 따른 시간 동안 유지되는 경우 예상되는 방향으로 결정될 수 있다.
일 실시예에서, 저더 개선부(230)는 이동 개시의 과정에서 N DoF 추적 센서를 통해 각속도를 획득하고 각속도 및 각가속도를 기초로 MTP 지연시간에 따른 사용자 헤드의 방향을 예측할 수 있다. 저더 개선부(230)는 클라이언트 VR 단말(110)의 움직임에 관한 각속도 및 각가속도를 획득할 수 있고, 해당 각속도가 MTP 지연시간동안 계속되는 경우 사용자 헤드의 방향을 산출할 수 있다.
일 실시예에서, 저더 개선부(230)는 MTP 지연시간에 따른 시점에 사용자 헤드의 예측된 방향 및 실제 방향 간의 차이를 결정하여 MTP 지연시간을 동적으로 조절할 수 있다. 저더 개선부(230)는 각속도와 MTP 지연시간에 기반한 방향 예측을 수행할 수 있으나, 예측 방향과 실제 방향 간의 오차가 발생하는 경우, 방향 예측에 사용된 MTP 지연시간을 오차에 따라 보정하여 방향 예측의 정확도를 개선할 수 있다.
특히, 저더 개선부(230)는 예측 방향과 실제 방향 간의 차이를 임계값과 비교하여 해당 임계값을 초과하는 경우에 MTP 지연시간에 대한 보정을 수행할 수 있다. 또한, 저더 개선부(230)는 예측 결과가 해당 임계값을 초과하는 경우가 연속하여 발생하는 경우에만 MTP 지연시간에 대한 보정을 수행할 수 있으며, 오차 발생의 연속 횟수는 클라이언트 VR 단말(110) 및 클라우드 VR 서버(130) 각각의 성능 및 네트워크 속도 등을 고려하여 동적으로 설정될 수 있다.
일 실시예에서, 저더 개선부(230)는 N DoF 추적 센서를 통해 각속도의 각도 변곡점을 검출하고 각도 변곡점의 검출에 따라 사용자 헤드의 수정된 방향 정보를 생성할 수 있다. 여기에서, 각도 변곡점은 각속도에 기반한 방향의 전환을 나타낼 수 있다. 즉, 저더 개선부(230)는 각속도에 기반한 방향 예측 과정에서 사용자의 헤드 방향의 전환이 검출된 시점에 사용자 헤드의 수정된 방향 정보를 생성함으로써 즉시적으로 예측 연산에 반영할 수 있다.
비디오 인코딩 처리부(250)는 클라우드 VR 서버(130)를 통해 예측된 방향에 따른 비디오 영상을 인코딩하고 인코딩된 비디오 영상을 수신할 수 있다. 방향 예측 결과가 반영된 비디오 영상은 클라우드 VR 서버(130)를 통해 생성될 수 있으며, 클라이언트 VR 단말(110)로의 전송 전 단계에서 네트워크 부하를 줄이기 위하여 인코딩 연산이 수행될 수 있다. 비디오 인코딩 처리부(250)는 클라우드 VR 서버(130)와 연동하여 영상 인코딩 동작에 필요한 정보를 처리할 수 있으며, 인코딩된 비디오 영상의 수신을 함께 처리할 수 있다.
일 실시예에서, 비디오 인코딩 처리부(250)는 클라우드 VR 서버(130)에게 예측된 방향에 따른 각속도를 제공하여 클라우드 VR 서버(130)가 비디오 영상의 인코딩 긴급성을 결정하여 비디오 영상을 인코딩하도록 할 수 있다. 즉, 영상 인코딩을 처리하는 클라우드 VR 서버(130)는 사용자의 움직임에 적응적으로 반응하여 비디오 영상의 인코딩 긴급성을 결정할 수 있다. 예를 들어, 사용자의 움직임이 빠른 경우라면 비디오 영상의 인코딩을 즉각적으로 처리하여 방향 변화에 따른 영상 재생을 신속하게 처리할 수 있다. 이와 반대로, 비디오 영상의 인코딩이 상대적으로 느리게 처리되더라도 사용자가 느끼는 영상의 실시간성은 일정 수준으로 유지될 수 있다.
비디오 영상 재생부(270)는 인코딩된 비디오 영상을 클라이언트 VR 단말(110)을 통해 재생할 수 있다. 비디오 영상 재생부(270)는 클라우드 VR 서버(130)로부터 인코딩된 비디오 영상을 수신하고 클라이언트 VR 단말(110)을 통해 디코딩한 후 영상을 재생할 수 있다. 특히, 클라우드 VR 서버(130)는 비디오 스트리밍을 통해 클라이언트 VR 단말(110)에 인코딩된 영상을 전송할 수 있고, 비디오 영상 재생부(270)는 인코딩된 영상을 디코딩하고 텍스쳐 맵핑(texture mapping)을 수행한 후 캔버스 렌더링(canvas rendering)을 통해 MTP 지연에 최적화된 비디오 영상을 재생할 수 있다.
일 실시예에서, 비디오 영상 재생부(270)는 재생 과정에서 사용자 헤드의 예측된 방향 및 실제 방향 간의 차이가 특정 기준 이상인 경우에는 인코딩된 비디오 영상을 실제 방향에 있는 비디오 영상으로 캔버스 렌더링 과정에서 보정 및 포비티드 렌더링(foveated rendering) 할 수 있다. 비디오 영상 재생부(270)는 인코딩된 비디오 영상을 디코딩할 수 있고, 디코딩 과정에서 사용자 헤드의 실제 방향과 예측 방향 간의 차이가 기 설정된 특정 기준 이상인 것으로 결정된 경우 실제 방향을 기준으로 비디오 영상에 대한 캔버스 렌더링 과정에서 보정을 수행할 수 있다. 또한, 실제 방향을 중심으로 소정의 영역에 대해서는 고해상도의 텍스쳐 맵핑을 수행하고 나머지 영역은 저해상도의 텍스쳐 맵핑을 수행하여 비디오 영상을 생성하는 포비티드 렌더링을 할 수 있다.
일 실시예에서, 비디오 영상 재생부(270)는 실제 방향을 기준으로 비디오 영상에 관한 캔버스 렌더링 과정에서 보정을 수행할 수 있으며, 포비티드 렌더링 과정에서 고해상도로 렌더링되는 영역의 크기는 예측 방향과 실제 방향 간의 차이를 기초로 동적으로 결정될 수 있다. 예를 들어, 예측 방향과 실제 방향 간의 차이가 클수록 고해상도로 렌더링되는 영역의 크기는 작아질 수 있다.
제어부(290)는 클라우드 VR 장치(200)의 전체적인 동작을 제어하고, 이동 개시 검출부(210), 저더 개선부(230), 비디오 인코딩 처리부(250) 및 비디오 영상 재생부(270) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 3은 본 발명에 따른 클라우드 VR 제공 과정을 설명하는 순서도이다.
도 3을 참조하면, 클라우드 VR 장치(200)는 이동 개시 검출부(210)를 통해 클라이언트 VR(Virtual Reality) 단말의 이동 개시를 검출할 수 있다(단계 S310). 클라우드 VR 장치(200)는 저더 개선부(230)를 통해 클라이언트 VR 단말(110)의 이동 개시에 따라 클라이언트 VR 단말(110)의 방향(orientation)을 예측하고 예측된 방향을 클라우드 VR 서버(130)에 제공할 수 있다(단계 S330 및 S350).
또한, 클라우드 VR 장치(200)는 비디오 인코딩 처리부(250)를 통해 클라우드 VR 서버(130)에서 예측된 방향에 인코딩된 비디오 영상을 수신할 수 있다(단계 S370). 클라우드 VR 장치(200)는 비디오 영상 재생부(270)를 통해 인코딩 되어 수신된 비디오 영상을 클라이언트 VR(Virtual Reality) 단말(110)을 통해 재생할 수 있다(단계 S390).
도 4는 본 발명에 따른 캔버스 위치 움직임을 설명하는 도면이다.
도 4를 참조하면, 클라우드 VR 시스템(100)은 클라우드 VR 서버(130)와 클라이언트 VR 단말(110) 간의 연동에 의해 클라이언트 VR 단말(110)에서 재생되는 비디오 영상을 제공할 수 있다. 이때, 사용자의 움직임에 적응적으로 반응하는 비디오 영상을 제공하기 위해 다양한 DoF 센서가 활용될 수 있다.
도 4a의 경우, 3 DoF 신호를 기초로 사용자 헤드의 방향 움직임에 따른 캔버스의(410) 위치를 조정할 수 있다. 이때, 3 DoF 신호는 사용자 헤드를 중심으로 X축 방향의 pitching, Y축 방향의 yawing, Z축 방향의 rolling 과정에 사용될 수 있다. 즉, 사용자 헤드의 회전 방향에 따라 캔버스(410)의 방향도 회전할 수 있다.
도 4b의 경우, 6 DoF 신호를 기초로 사용자 헤드의 상, 하, 좌 및 우 방향의 움직임에 따른 캔버스(410)의 위치를 조정할 수 있다. 이때, 6 DoF 신호 중 Left, Right, Up 및 Down 정보가 활용될 수 있으며, 사용자 위치의 상하좌우 이동에 대응하여 캔버스(410)의 위치가 위, 아래, 왼쪽 및 오른쪽으로 이동할 수 있다.
도 4c의 경우, 6 DoF 신호를 기초로 사용자 헤드의 전 및 후 방향의 움직임에 따른 캔버스 크기를 조정할 수 있다. 이때, 6 DoF 신호 중 Forward 및 Backward 정보가 활용될 수 있으며, 사용자 위치의 전후 이동에 대응하여 캔버스(410)의 크기가 확대되거나 축소될 수 있다. 즉, 사용자 위치가 뒤로 이동하는 경우 사용자에게 보여지는 캔버스(410)의 크기는 확대될 수 있다.
도 5는 본 발명에 따른 MTP 지연 감소 사례들을 설명하는 도면이다.
도 5를 참조하면, 클라우드 VR 시스템(100)은 클라우드 VR 서버(130)와 클라이언트 VR 단말(110) 간의 연동에 의해 클라이언트 VR 단말(110)에서 재생되는 비디오 영상을 제공할 수 있다. 이때, 클라우드 VR 시스템(100)은 사용자 움직임에 관한 신호가 검출되면 즉시 비디오 영상의 캔버스 렌더링(Canvas Rendering)에 반영하여 갱신함으로써 MTP 지연을 효과적으로 감소시킬 수 있다.
또한, 클라우드 VR 시스템(100)은 클라이언트 VR 단말(110)에서 사용자 움직임에 관한 신호를 발생 시점 정보(Global clock Data)와 함께 클라우드 VR 서버(130)로 전송하도록 하고, 클라우드 VR 서버(130)는 해당 발생 시점 정보를 비디오 인코딩 시에 출력되는 프레임에 맵핑시킨 후 네트워크를 통해 클라이언트 VR 단말(110)에 전송하도록 함으로써 클라이언트 VR 단말(110)에서 발생하는 MTP 지연에 따른 이미지 저더(Image Judder) 현상을 효과적으로 해결할 수 있다.
즉, 클라이언트 VR 단말(110)은 클라우드 VR 서버(130)로부터 수신한 인코딩된 비디오 영상을 디코딩한 후 캔버스 상에 텍스쳐 맵핑(Texture mapping)하는 과정에서 해당 발생 시점 정보를 사용자 움직임에 관한 정보와 함께 적용하여 이미지 저더 등 화면이 떨리는 현상을 감소시킬 수 있다.
도 5a의 경우, 클라이언트 VR 단말(110)은 자체적으로 6 DoF 추적 센서(521)를 포함하여 구현될 수 있다. 6 DoF 추적 센서(521)는 사용자의 움직임에 따른 클라이언트 VR 단말(110)의 이동을 검출할 수 있으며, 움직임 정보로서 6 DoF 추적 데이터(6 DoF Tracking Data)를 생성할 수 있다. 클라이언트 VR 단말(110)은 6 DoF 추적 센서(521)의 추적 데이터를 로컬 어플리케이션인 클라우드 VR 클라이언트 시스템(Cloud VR Client System)에 직접 전달할 수 있고, 클라우드 VR 클라이언트 시스템은 해당 추적 데이터를 이용하여 캔버스 위치와 크기를 적응적으로 조정할 수 있다.
한편, 클라우드 VR 클라이언트 시스템(Cloud VR Client System)은 비디오 추출(Video Retrieving), 비디오 디코딩(Video Decoding), 텍스쳐 맵핑(Texture Mapping) 및 캔버스 렌더링(Canvas Rendering)의 각 단계를 통해 사용자의 움직임에 즉각적으로 반응하는 비디오 영상을 재생할 수 있다. 또한, 비디오 영상 재생을 위한 각 단계는 독립적인 기능을 수행하는 모듈로 구현될 수 있다.
또한, 클라이언트 VR 단말(110)은 내부의 시스템 클럭(Global System Clock)(510)을 기준으로 사용자의 움직임 발생에 따른 시점 정보를 획득하고 이를 클라우드 VR 서버(130)에 전송할 수 있다. 클라우드 VR 서버(130)는 원격 어플리케이션 렌더링(Remote Application Rendering), 후킹 및 캡쳐(Hooking and Capture), 비디오 인코딩(Video Encoding) 및 비디오 스트리밍(Video Streaming)의 각 단계를 통해 사용자의 움직임에 적응적으로 반응하는 비디오 영상을 생성하여 클라이언트 VR 단말(110)에 제공할 수 있다. 한편, 클라우드 VR 서버(130)는 원격 어플리케이션 렌더링(Remote Application Rendering), 후킹 및 캡쳐(Hooking and Capture), 비디오 인코딩(Video Encoding) 및 비디오 스트리밍(Video Streaming)의 각 단계를 수행하는 독립적인 모듈들을 포함하여 구현될 수 있다.
도 5b의 경우, 클라이언트 VR 단말(110)은 자체적으로 3 DoF 추적 센서(Orientation Tracking Sensor)(522)를 포함하여 구현될 수 있으며, 외부의 6 DoF 추적 디바이스(6 DoF Tracking Device)(530)의 위치 추적 센서(Position Tracking Sensor)를 통해 수집된 정보를 수신하여 사용자의 움직임에 관한 움직임 정보로서 6 DoF 추적 데이터(6 DoF Tracking Data)를 생성할 수 있다. 예를 들어, 6 DoF 추적 디바이스(530)는 웨어러블 디바이스로 구현될 수 있고, 사용자의 신체에 부착되어 동작할 수 있으며, 클라이언트 VR 단말(110)과 근거리 통신을 통해 연결될 수 있다. 이후, 3 DoF 추적 센서(Orientation Tracking Sensor)(522)에 의해 생성된 추적 데이터는 클라우드 VR 클라이언트 시스템의 캔버스 렌더링 과정에 전달되어 사용될 수 있다.
도 5c의 경우, 클라이언트 VR 단말(110)은 자체적으로 3 DoF 추적 센서(Orientation Tracking Sensor)(522)를 포함하여 구현될 수 있으며, 외부의 6 DoF 추적 디바이스(6 DoF Tracking Device)(530)의 위치 추적 센서(Positioning Tracking Sensor)를 통해 수집된 정보를 수신할 수 있다. 이때, 외부의 6 DoF 추적 디바이스(530)에 의해 생성된 위치 추적 데이터는 클라우드 VR 클라이언트 시스템의 캔버스 렌더링 과정에 직접 전달되어 사용될 수 있으며, 클라우드 VR 클라이언트 시스템은 3 DoF 추적 센서(Orientation Tracking Sensor)(522)의 방향 추적 데이터(Orientation Tracking Data)와 6 DoF 추적 디바이스(530)의 위치 추적 데이터(Position Tracking Data)를 사용하여 캔버스의 방향과 위치 움직임을 조정할 수 있다.
또한, 외부의 6 DoF 추적 디바이스(530)는 클라우드 VR PC(130)에도 위치 추적 정보(Positioning Tracking Data)를 직접 제공할 수 있다. 즉, 클라우드 VR PC(130)는 6 DoF 추적 디바이스(530)로부터 수신한 위치 추적 데이터(Positioning Tracking Data)와 클라이언트 VR 단말(110)로부터 수신한 방향 추적 데이터(Orientation Tracking Data)를 각각 수신하여 리모트 어플리케이션 렌더링(Remote Application Rendering) 과정에 적용할 수 있다. 이후, 사용자 움직임에 관한 발생 시점 정보와 추적 데이터는 클라우드 VR PC(130)의 비디오 인코딩 과정에서 반영되어 비디오 스트리밍을 통해 클라이언트 VR 단말(110)에게 전송될 수 있다.
도 6 및 7은 본 발명에 따른 MTP 지연 감소 효과를 설명하는 도면이다.
도 6 및 7을 참조하면, 기본적으로 클라우드 VR 시스템(100)은 클라이언트 VR 단말(110)에서의 비디오 재생 과정에서 발생하는 이미지 저더(Image Judder) 현상을 개선하기 위하여 캔버스를 수신된 이미지의 방향(Orientation)에 맞춰 회전시킬 수 있다. 도 6에서, 클라우드 VR 서버(130)로부터 클라이언트 VR 단말(110)로 스트리밍되어 재생되는 비디오 영상은 MTP 지연으로 인해 총 5 프레임(frame)의 지연 간격을 가질 수 있다.
즉, 클라우드 VR 서버(130)에 의해 렌더링된 이미지가 실제 클라이언트 VR 단말(110) 상에서 재생되기 까지는 5 프레임의 시간 간격이 소요될 수 있다. 예를 들어, 프레임 0이 서버에서 렌더링된 후 네트워크를 통해 클라이언트 VR 단말(110)의 화면을 통해 디스플레이 되는 시점은 서버 상에서 프레임 4가 처리되는 시점에 해당할 수 있다. 이에 따라, 서버에서 렌더링된 영상을 실제 클라이언트 VR 단말(110) 상에서 재생하는 경우 5 프레임 간격만큼 캔버스의 회전이 지연되어 실제 단말의 방향과 디스플레이 되는 캔버스 화면의 방향 사이에 소정의 오차가 발생할 수 있으며, 이는 이미지 저더 현상의 원인으로 작용할 수 있다.
도 7에서, 클라우드 VR 시스템(100)은 블랙 에지(Black Edge) 현상을 개선하기 위하여 클라이언트 VR 단말(110)의 회전(Orientation)을 지연 시간을 반영하여 예측(prediction)한 후 클라우드 VR 서버(130)로 전송할 수 있다. 즉, 클라우드 VR 서버(130)는 예측 정보에 맞춰 회전된 방향의 화면을 렌더링하고, 이를 스트리밍을 통해 클라이언트 VR 단말(110)에게 전송하여 블랙 에지 현상을 개선시킬 수 있다. 클라이언트 VR 단말(110)은 예측된 방향으로 캔버스를 회전시킨 후 스트리밍된 비디오 영상을 재생하여 실제 단말 방향과의 오차를 최소화시킬 수 있으며, 이에 따라 블랙 에지 현상을 개선할 수 있다.
결과적으로, 클라우드 VR 시스템(100)은 서버와 클라이언트 간의 네트워크로 인한 절대적인 MTP 지연에도 불구하고 예측된 방향에 따라 비디오 렌더링 하고 예측된 방향으로 회전시킨 캔버스를 통해 재생시킴으로써 최적화된 MTP 지연감소를 실현할 수 있다. 본 발명에 따른 클라우드 VR 시스템(100)은 (Local WIFI 기준) 기존의 MTP 지연(latency)이 80 ~ 100 msec 인 것을 보다 개선하여 20 msec 이내로 줄일 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 클라우드 VR 시스템
110: 클라이언트 VR 단말 130: 클라우드 VR 서버/PC
200: 클라우드 VR 장치
210: 이동 개시 검출부 230: 저더 개선부
250: 비디오 인코딩 처리부 270: 비디오 영상 재생부
290: 제어부
410: 캔버스
510: 시스템 클럭 521: 6 DoF 추적 센서
522: 방향 추적 센서 530: 위치 추적 디바이스

Claims (8)

  1. 클라이언트 VR(Virtual Reality) 단말의 이동 개시를 검출하는 이동 개시 검출부;
    상기 이동 개시에 따라 상기 클라이언트 VR 단말의 방향(orientation)을 예측하고 상기 예측된 방향을 클라우드 VR 서버에 제공하는 저더(Judder) 개선부;
    상기 클라우드 VR 서버를 통해 상기 예측된 방향에 따른 비디오 영상을 인코딩하고 상기 인코딩된 비디오 영상을 수신하는 비디오 인코딩 처리부; 및
    상기 인코딩된 비디오 영상을 상기 클라이언트 VR(Virtual Reality) 단말을 통해 재생하는 비디오 영상 재생부를 포함하는 MTP (Motion-to-Photon) 지연 감소를 위한 클라우드 VR 장치.
  2. 제1항에 있어서, 상기 이동 개시 검출부는
    N (상기 N은 자연수) DoF (Degree of Freedom) 추적 센서를 통해 상기 클라이언트 VR 단말의 이동을 검출하는 것을 특징으로 하는 MTP 지연 감소를 위한 클라우드 VR 장치.
  3. 제2항에 있어서, 상기 이동 개시 검출부는
    상기 N DoF (Degree of Freedom) 추적 센서를 상기 클라이언트 VR 단말의 외부에 위치시켜 사용자 헤드의 이동 추적을 통해 상기 클라이언트 VR 단말의 이동을 검출하는 것을 특징으로 하는 MTP 지연 감소를 위한 클라우드 VR 장치.
  4. 제1항에 있어서, 상기 저더(Judder) 개선부는
    상기 이동 개시의 과정에서 N DoF 추적 센서를 통해 각속도를 획득하고 상기 각속도를 기초로 MTP 지연시간에 따른 사용자 헤드의 방향을 예측하는 것을 특징으로 하는 MTP 지연 감소를 위한 클라우드 VR 장치.
  5. 제4항에 있어서, 상기 저더(Judder) 개선부는
    상기 MTP 지연시간에 따른 시점에 상기 사용자 헤드의 예측된 방향 및 실제 방향 간의 차이를 결정하여 상기 MTP 지연시간을 동적으로 조절하는 것을 특징으로 하는 MTP 지연 감소를 위한 클라우드 VR 장치.
  6. 제4항에 있어서, 상기 저더(Judder) 개선부는
    상기 N DoF 추적 센서를 통해 상기 각속도의 각도 변곡점을 각가속도를 이용하여 검출하고 상기 각도 변곡점의 검출에 따라 상기 사용자 헤드의 수정된 방향 정보를 생성하는 것을 특징으로 하는 MTP 지연 감소를 위한 클라우드 VR 장치.
  7. 제1항에 있어서, 상기 비디오 인코딩 처리부는
    상기 클라우드 VR 서버에게 상기 예측된 방향에 따른 각속도 및 각가속도를 제공하여 상기 클라우드 VR 서버가 상기 비디오 영상의 인코딩 긴급성을 결정하여 상기 비디오 영상을 인코딩하도록 하는 것을 특징으로 하는 MTP 지연 감소를 위한 클라우드 VR 장치.
  8. 제1항에 있어서, 상기 비디오 영상 재생부는
    상기 재생 과정에서 상기 사용자 헤드의 예측된 방향 및 실제 방향 간의 차이가 특정 기준 이상인 경우에는 상기 인코딩된 비디오 영상에서 상기 실제 방향에 있는 비디오 영상 부분에 관해 캔버스 렌더링의 보정 및 포비티드 렌더링 하는 것을 특징으로 하는 MTP 지연 감소를 위한 클라우드 VR 장치.
KR1020210028197A 2021-03-03 2021-03-03 Mtp 지연 감소를 위한 클라우드 vr 장치 KR102480451B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210028197A KR102480451B1 (ko) 2021-03-03 2021-03-03 Mtp 지연 감소를 위한 클라우드 vr 장치
US17/400,637 US11544912B2 (en) 2021-03-03 2021-08-12 Cloud VR device for motion-to-photon (MTP) latency reduction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210028197A KR102480451B1 (ko) 2021-03-03 2021-03-03 Mtp 지연 감소를 위한 클라우드 vr 장치

Publications (2)

Publication Number Publication Date
KR20220124493A true KR20220124493A (ko) 2022-09-14
KR102480451B1 KR102480451B1 (ko) 2022-12-23

Family

ID=83117219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210028197A KR102480451B1 (ko) 2021-03-03 2021-03-03 Mtp 지연 감소를 위한 클라우드 vr 장치

Country Status (2)

Country Link
US (1) US11544912B2 (ko)
KR (1) KR102480451B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230052328A1 (en) * 2021-08-11 2023-02-16 Qualcomm Incorporated User equipment extended reality information-based beam management

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100820132B1 (ko) 2002-05-28 2008-04-08 샤프 가부시키가이샤 화상 인트라-예측 모드 추정, 전달과 편성을 위한 방법 및시스템
KR20160013906A (ko) * 2013-05-30 2016-02-05 아큘러스 브이알, 엘엘씨 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식
KR101898822B1 (ko) * 2017-12-12 2018-09-13 가천대학교 산학협력단 뷰포트 정보 시그널링을 이용한 가상 현실 비디오 스트리밍
JP2021034021A (ja) * 2019-08-20 2021-03-01 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 再帰型ニューラルネットワークを用いる姿勢予測

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8862680B2 (en) * 2006-05-01 2014-10-14 The Boeing Company Methods and systems for data prioritization
GB2527503A (en) * 2014-06-17 2015-12-30 Next Logic Pty Ltd Generating a sequence of stereoscopic images for a head-mounted display
US10254544B1 (en) * 2015-05-13 2019-04-09 Rockwell Collins, Inc. Head tracking accuracy and reducing latency in dynamic environments
US10089790B2 (en) * 2015-06-30 2018-10-02 Ariadne's Thread (Usa), Inc. Predictive virtual reality display system with post rendering correction
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
WO2019019136A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated SYSTEMS AND METHODS FOR USING SEMANTIC INFORMATION FOR NAVIGATING A ROBOTIC DEVICE
KR20210060779A (ko) * 2019-11-19 2021-05-27 현대자동차주식회사 차량센서의 이상 진단 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100820132B1 (ko) 2002-05-28 2008-04-08 샤프 가부시키가이샤 화상 인트라-예측 모드 추정, 전달과 편성을 위한 방법 및시스템
KR20160013906A (ko) * 2013-05-30 2016-02-05 아큘러스 브이알, 엘엘씨 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식
KR101898822B1 (ko) * 2017-12-12 2018-09-13 가천대학교 산학협력단 뷰포트 정보 시그널링을 이용한 가상 현실 비디오 스트리밍
JP2021034021A (ja) * 2019-08-20 2021-03-01 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 再帰型ニューラルネットワークを用いる姿勢予測

Also Published As

Publication number Publication date
US11544912B2 (en) 2023-01-03
US20220284681A1 (en) 2022-09-08
KR102480451B1 (ko) 2022-12-23

Similar Documents

Publication Publication Date Title
US11210993B2 (en) Optimized display image rendering
JP6367203B2 (ja) 画像化デバイスを較正するための方法および装置
US10869025B2 (en) Switching between multidirectional and limited viewport video content
US20150145889A1 (en) Information processing device, information processing method, and program
US10890966B2 (en) Graphics processing systems
US20190045248A1 (en) Super resolution identifier mechanism
US10701124B1 (en) Handling timestamp inaccuracies for streaming network protocols
US11523144B2 (en) Communication apparatus, communication method, and computer-readable storage medium
US10784988B2 (en) Conditional forward error correction for network data
KR102437276B1 (ko) 바디 움직임 기반의 클라우드 vr 장치 및 방법
US11006044B1 (en) Power-efficient dynamic electronic image stabilization
US20160360206A1 (en) Rate controller for real-time encoding and transmission
KR102480451B1 (ko) Mtp 지연 감소를 위한 클라우드 vr 장치
US20200068002A1 (en) Synchronized wireless and video operations
US20220301184A1 (en) Accurate optical flow interpolation optimizing bi-directional consistency and temporal smoothness
US8064655B2 (en) Face image detection device, face image detection method and imaging apparatus
KR102460474B1 (ko) 화면 떨림 감소를 위한 클라우드 vr 장치
CN115668953A (zh) 使用边缘计算服务的图像内容传输方法和设备
KR102471792B1 (ko) Ar 컨텐츠의 렌더링을 위한 클라우드 및 그 동작 방법
US20220150464A1 (en) Image processing apparatus, image processing method, and image processing program
US10826838B2 (en) Synchronized jitter buffers to handle codec switches
KR102528175B1 (ko) 적응적인 fov 렌더링 방법
KR20210022354A (ko) 가상 현실 영상 제공 방법
WO2022199594A1 (zh) 一种远程视频方法及相关装置
CN111091848B (zh) 一种用于预测头部姿态的方法和装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant