KR20190132434A - 가상 현실 이미지를 송신하는 방법 및 장치 - Google Patents

가상 현실 이미지를 송신하는 방법 및 장치 Download PDF

Info

Publication number
KR20190132434A
KR20190132434A KR1020197030873A KR20197030873A KR20190132434A KR 20190132434 A KR20190132434 A KR 20190132434A KR 1020197030873 A KR1020197030873 A KR 1020197030873A KR 20197030873 A KR20197030873 A KR 20197030873A KR 20190132434 A KR20190132434 A KR 20190132434A
Authority
KR
South Korea
Prior art keywords
virtual reality
modulation
motion information
image
channel quality
Prior art date
Application number
KR1020197030873A
Other languages
English (en)
Other versions
KR102296139B1 (ko
Inventor
이 뤄
팡저우 정
유 슈
웬위 츄
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20190132434A publication Critical patent/KR20190132434A/ko
Application granted granted Critical
Publication of KR102296139B1 publication Critical patent/KR102296139B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0002—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate
    • H04L1/0003—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate by switching between different modulation schemes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0023—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the signalling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Architecture (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Mobile Radio Communication Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 출원은 가상 현실 이미지가 송신될 때 결정되는 이미지 압축률의 정확성을 개선하기 위한, 가상 현실 이미지를 송신하는 방법 및 장치를 개시한다. 상기 방법은, 가상 현실 호스트가, 가상 현실 장비에 의해 송신되는 제1 움직임 정보를 수신하는 단계 - 여기서 제1 움직임 정보는 가상 현실 장비의 현재 움직임 상황을 지시하기 위해 사용됨 -; 가상 현실 호스트가, 움직임 정보에 기반하여 제1 이미지 압축률을 결정하는 단계; 가상 현실 호스트가, 제1 이미지 압축률에 기반하여 송신될 가상 현실 이미지를 압축하는 단계; 및 가상 현실 호스트가 압축된 가상 현실 이미지를 가상 현실 장비에게 송신하는 단계를 포함한다.

Description

가상 현실 이미지를 송신하는 방법 및 장치
본 출원은 가상 현실 기술 분야에 관한 것으로, 특히 가상 현실 이미지를 송신하는 방법 및 장치에 관한 것이다.
본 출원은 "METHOD AND DEVICE FOR IMAGE COMPRESSION AND TRANSMISSION APPLIED TO WIRELESS VIRTUAL REALITY"라고 명명된, 2017년 3월 22일에 중국 특허청에 출원된, 중국 특허 출원 번호 201710175242.8의 우선권을 주장하며, 그 전문이 여기에 참조로서 병합된다.
가상 현실(Virtual Reality, VR) 기술은 최근 새롭게 등장한 멀티미디어 기술이다. VR 기술은 가상 세계를 창조하고 경험하기 위해 사용될 수 있는 컴퓨터 시뮬레이션 기술이다. 사용자는 일반적으로 VR 시나리오를 경험하기 위해 가상 현실 장비를 착용한다. 가상 현실 장비는 통합된, 그래픽 시스템, 광학 시스템, 및 자세 추적 시스템을 사용하여, 사용자는 상호작용 몰입형 경험을 얻을 수 있다.
현재, 가상 현실 장비의 처리 능력은 제한적이고, 가상 현실 장비는 일부 대형 게임 또는 비디오 애플리케이션을 구현하지 못할 수 있다. 그러므로, 현재, 업계에서는 대규모 컴퓨팅을 수행하기 위해 사용되는 프로세서가 데스크탑 컴퓨터, 또는 휴대 전화, 또는 게임 콘솔과 같은 다른 장치에 배치될 것이 제안되고 있다. 이러한 장치는 가상 현실 호스트라고 지칭된다. 가상 현실 호스트는 가상 현실 이미지를 생성하고, 가상 현실 이미지를 가상 현실 장비에게 무선으로 전송한다. 가상 현실 장비는 가상 현실 호스트에 의해 송신된 가상 현실 이미지를 수신하고 가상 현실 이미지를 디스플레이하기 위해서만 사용된다. 이는 가상 현실 장비의 무게와 크기를 줄이고 사용자에게 더 나은 경험을 제공할 수 있다. 그러므로, 현재 VR 시스템은 일반적으로 가상 현실 장비 및 가상 현실 호스트를 포함한다. 가상 현실 호스트는 가상 세계를 창조하기 위해 사용되며, 사용자는 가상 현실 장비를 착용함으로써 가상 세계를 경험한다.
보다 풍부한 가상 세계를 나타내기 위해, 대량의 가상 현실 이미지가 VR 시스템에서 전송된다. 달리 말하면, 데이터 볼륨이 매우 크다. 일반적으로, 가상 현실 호스트와 가상 현실 장비 사이의 무선 채널은 5Gbps 이상의 전송 속도를 가질 것이 요구되지만, 기존의 상업 무선 채널은 이 요구 사항을 충족시킬 수 없다. 이 문제를 해결하기 위해, 전송 전에 가상 현실 이미지를 압축하는 방법이, 대역폭 요구 사항을 충족시킬 수 있도록, 전송된 데이터의 볼륨을 감소시키기 위해 업계에서 제안되어 있다.
종래 기술에서, 가상 현실 이미지를 압축하기 위해 사용되는 이미지 압축률은 무선 채널의 채널 품질에 기반하여 결정된다. 예를 들어, 현재 채널 품질이 상대적으로 좋지 않다면, 상대적으로 큰 이미지 압축률이 전송된 데이터의 볼륨을 줄이기 위해 결정될 수 있다. 그러나 이러한 방식으로 결정된 이미지 압축률은 정확하지 않다. 예를 들어, 가상 현실 장비에 의해 디스플레이되는 가상 현실 이미지의 스위칭 속도는 때때로 높고 때로는 낮다. 슬로우 모션 이미지 또는 정적 가상 현실 이미지의 경우, 사용자는 일반적으로 이미지 품질에 대해 비교적 까다롭습니다. 그러므로, 이 경우, 화질을 보장하기 위해, 상대적으로 큰 이미지 압축률이 가상 현실 이미지를 압축하기 위해 사용될 수 없다. 그러나 채널 품질이 항상 좋지 않다면, 가상 현실 호스트는 항상 상대적으로 큰 이미지 압축률을 사용하여 가상 현실 이미지를 압축하고, 이는 결국 낮은 이미지 품질로 이어진다. 이미지 압축률을 결정하는 현재의 방식은 상대적으로 정확도가 낮다는 것을 알 수 있다.
본 출원은 VR 시스템에서 결정된 이미지 압축률의 정확도를 향상시키기 위해, 가상 현실 이미지를 송신하는 방법 및 장치를 제공한다.
제1 측면에 따르면, 본 출원은 가상 현실 이미지를 송신하는 방법을 제공한다. 상기 가상 현실 이미지를 송신하는 방법은 VR 시스템 내의 가상 현실 호스트를 사용하여 구현될 수 있다. 상기 가상 현실 이미지를 송신하는 방법은, 가상 현실 호스트가, 가상 현실 장비에 의해 송신되는 제1 움직임 정보(motion information)를 수신하는 단계 - 여기서 상기 제1 움직임 정보는 상기 가상 현실 장비의 현재 움직임 상황(motion status)을 지시하기 위해 사용됨 -; 상기 가상 현실 호스트가, 상기 제1 움직임 정보에 기반하여 제1 이미지 압축률을 결정하는 단계; 상기 가상 현실 호스트가, 상기 제1 이미지 압축률에 기반하여 송신될 가상 현실 이미지를 압축하는 단계; 및 상기 가상 현실 호스트가, 상기 압축된 가상 현실 이미지를 상기 가상 현실 장비에게 송신하는 단계를 포함한다.
본 출원에서, 가상 현실 호스트는 가상 현실 장비의 움직임 정보에 기반하여 이미지 압축률을 결정한다. 예를 들어, 가상 현실 장비의 이동 속도가 상대적으로 낮을 때, 즉, 가상 현실 장비에 의해 표시되는 가상 현실 이미지의 스위칭 속도가 상대적으로 낮을 때, 비교적 작은 이미지 압축률이 가상 현실 이미지의 품질을 보장하기 위해 결정된다. 가상 현실 장비의 이동 속도가 상대적으로 높을 때, 즉, 가상 현실 장비에 의해 디스플레이되는 가상 현실 이미지의 스위칭 속도가 상대적으로 높을 때, 상대적으로 큰 이미지 압축률이 가상 현실 이미지의 간섭성(coherence)을 보장하기 위해 결정된다. 이러한 방식으로, 결정된 이미지 압축률의 정확성이 개선되고, 사용자의 요구가 보다 잘 충족될 수 있다.
가능한 설계에서, 상기 가상 현실 호스트가, 상기 제1 움직임 정보에 기반하여 제1 이미지 압축률을 결정하는 단계 이전에, 상기 가상 현실 이미지를 송신하는 방법은, 상기 가상 현실 호스트가, 무선 채널의 현재 채널 품질을 탐지하는 단계; 및 이미지 압축률 및 무선 채널의 채널 품질 사이의 매핑 관계에 기반하여, 탐지된 채널 품질에 대응하는 이미지 압축률을 결정하는 단계를 더 포함한다. 상기 가상 현실 호스트가, 상기 제1 움직임 정보에 기반하여 제1 이미지 압축률을 결정하는 단계는, 상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 상기 제1 이미지 압축률로서 결정하는 단계; 또는 상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 조정하고, 조정된 이미지 압축률을 상기 제1 이미지 압축률로서 사용하는 단계를 포함한다.
본 출원에서, 가상 현실 호스트는 무선 채널의 현재 채널 품질에 기반하여 이미지 압축률을 예비적으로 결정한 다음, 가상 현실 호스트는 제1 움직임 정보에 기반하여, 예비적으로 결정된 이미지 압축률이 가상 현실 이미지를 압축하기 위한 제1 이미지 압축률로서 사용될 수 있는지 여부를 결정한다. 예를 들어, 가상 현실 장비가 정지 상태에 있을 때, 가상 현실 호스트는 예비적으로 결정된 이미지 압축률을 제1 이미지 압축률로 바로 결정할 수 있다. 가상 현실 장비가 이동 상태에 있을 때, 가상 현실 호스트는 제1 움직임 정보에 기반하여 예비적으로 결정된 이미지 압축률을 조정하고, 조정된 이미지 압축률을 제1 이미지 압축률로서 사용할 수 있다. 이 방식은 결정된 이미지 압축률의 정확도를 향상시키는 데 도움이 된다.
가능한 설계에서, 상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 상기 제1 이미지 압축률로서 결정하는 단계는, 상기 가상 현실 장비의 과거 움직임 정보(historical motion information) 및 상기 제1 움직임 정보에 기반하여, 상기 가상 현실 장비가 장래의 제1 지속기간에 정지 상태(stationary state)에 있다는 것을 결정하면, 상기 가상 현실 호스트가, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 상기 제1 이미지 압축률로서 결정하는 단계를 포함한다.
가상 현실 장비와 가상 현실 호스트 사이의 무선 채널의 채널 품질은 가상 현실 장비의 움직임 정보와 어느 정도 관련된다. 예를 들어, 가상 현실 장비의 이동 속도가 상대적으로 높을 때, 채널 품질이 종종 불안정하고, 가상 현실 장비의 이동 속도가 상대적으로 낮을 때, 채널 품질은 상대적으로 안정적이다. 그러므로, 본 출원에서, 가상 현실 호스트는 장래의 제1 지속기간에서 가상 현실 장비의 움직임 상황을 예측할 수 있다. 가상 현실 장비가 장래의 제1 지속기간 내에 정지 상태에 있다고 판단되면, 즉 가상 현실 장비와 가상 현실 호스트 사이의 무선 채널의 채널 품질이 상대적으로 안정하다면, 가상 현실 호스트는 채널 품질에 대응하는 이미지 압축률을 제1 이미지 압축률로서 바로 결정한다. 이러한 방식으로, 결정된 이미지 압축률의 정확도가 향상된다.
가능한 설계에서, 상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 조정하는 것은,
상기 가상 현실 장비의 과거 움직임 정보(historical motion information) 및 상기 제1 움직임 정보에 기반하여, 상기 가상 현실 장비가 장래의 제1 지속기간에 이동 상태(moving state)에 있다는 것을 결정하면, 상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 조정하는 단계를 포함한다.
본 출원에서, 가상 현실 호스트는 장래의 제1 지속기간 내의 가상 현실 장비의 움직임 상황을 예측할 수 있다. 가상 현실 장비가 장래의 제1 지속기간에 이동 상태에 있다고 판단되면, 가상 현실 호스트가 탐지된 채널 품질에 대응하는 이미지 압축률을 제1 이미지 압축률로서 직접 사용하는 것은 부정확하다. 그러므로, 가상 현실 호스트는, 제1 움직임 정보에 기반하여, 탐지된 채널 품질에 대응하는 이미지 압축률을 조정할 수 있다. 이러한 방식으로, 결정된 이미지 압축률의 정확도가 향상된다.
가능한 설계에서, 상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 조정하는 것은, 상기 제1 움직임 정보가, 상기 가상 현실 장비의 이동 속도(moving rate)가 제1 속도보다 작거나 같다는 것을 지시하기 위해 사용되면, 상기 가상 현실 호스트가, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 감소시키는 것, 또는 상기 제1 움직임 정보가, 상기 가상 현실 장비의 이동 속도가 제2 속도보다 크다는 것을 지시하기 위해 사용되면, 상기 가상 현실 호스트가, 상기 탐지된 채널 품질에 대응하는 상기 제1 이미지 압축률을 증가시키는 것을 포함한다. 여기서 제1 속도는 상기 제2 속도보다 작거나 같다.
본 출원에서, 가상 현실 호스트는, 가상 현실 장비의 이동 속도에 기반하여, 탐지된 채널 품질에 대응하는 이미지 압축률을 조정할 수 있다. 예를 들어, 가상 현실 장비의 이동 속도가 상대적으로 높을 때, 가상 현실 호스트는 가상 현실 이미지의 간섭성(coherence)을 보장하기 위해, 탐지된 채널 품질에 대응하는 이미지 압축률을 증가시킨다. 가상 현실 장비의 이동 속도가 상대적으로 낮을 때, 가상 현실 호스트는 가상 현실 이미지의 품질을 보장하기 위해, 탐지된 채널 품질에 대응하는 이미지 압축률을 감소시킨다. 이러한 방식으로, 결정된 이미지 압축률의 정확도가 향상된다.
가능한 설계에서, 상기 가상 현실 호스트가, 무선 채널의 현재 채널 품질을 탐지하는 단계 이후에, 상기 가상 현실 이미지를 송신하는 방법은, 상기 가상 현실 호스트가 무선 채널의 채널 품질 및 변조 및 코딩 방식(modulation and coding scheme) 사이의 매핑 관계에 기반하여, 상기 탐지된 채널 품질에 대응하는 변조 및 코딩 방식을 결정하는 단계, 및 상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 제1 변조 및 코딩 방식으로서 결정하는 단계, 또는 상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 조정하고, 조정된 변조 및 코딩 방식을 제1 변조 및 코딩 방식으로서 사용하는 단계를 더 포함한다. 상기 가상 현실 호스트가, 상기 압축된 가상 현실 이미지를 상기 가상 현실 장비에게 송신하는 단계 이전에, 상기 가상 현실 이미지를 송신하는 방법은, 상기 가상 현실 호스트가, 상기 제1 변조 및 코딩 방식에 따라 상기 압축된 가상 현실 이미지에 대해 변조 및 코딩을 수행하는 단계를 더 포함한다. 상기 가상 현실 호스트가, 상기 압축된 가상 현실 이미지를 상기 가상 현실 장비에게 송신하는 단계는, 상기 가상 현실 호스트가, 변조 및 코딩이 수행된 상기 압축된 가상 현실 이미지를 상기 가상 현실 장비에게 송신하는 단계를 포함한다.
본 출원에서, 가상 현실 호스트는 무선 채널의 채널 품질에 기반하여 변조 및 코딩 방식을 예비적으로 결정하고, 이후 가상 현실 호스트는, 제1 움직임 정보에 기반하여 예비적으로 결정된 변조 및 코딩 방식이 압축된 가상 현실 이미지에 대한 변조 및 코딩을 수행하기 위해 제1 변조 및 코딩 방식으로서 사용될 수 있는지 여부를 결정한다. 예를 들어, 가상 현실 장비가 정지 상태에 있을 때, 가상 현실 호스트는 예비적으로 결정된 변조 및 코딩 방식을 제1 변조 및 코딩 방식으로 직접 결정할 수 있다. 가상 현실 장비가 이동 상태에 있을 때, 가상 현실 호스트는 제1 움직임 정보에 기반하여 예비적으로 결정된 변조 및 코딩 방식을 조정하고, 조정된 변조 및 코딩 방식을 제1 변조 및 코딩 방식으로서 사용할 수 있다. 이러한 방식으로, 결정된 변조 및 코딩 방식의 정확성이 향상된다.
가능한 설계에서, 상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 제1 변조 및 코딩 방식으로서 결정하는 단계는, 상기 가상 현실 장비의 상기 과거 움직임 정보 및 상기 제1 움직임 정보에 기반하여, 상기 가상 현실 장비가 상기 장래의 제1 지속기간에 정지 상태(stationary state)에 있다는 것을 결정하면, 상기 가상 현실 호스트가, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 상기 제1 변조 및 코딩 방식으로서 결정하는 단계를 포함한다.
가상 현실 장비와 가상 현실 호스트 사이의 무선 채널의 채널 품질은 가상 현실 장비의 움직임 정보와 어느 정도 관련된다. 예를 들어, 가상 현실 장비의 이동 속도가 상대적으로 높을 때, 채널 품질이 종종 불안정하고, 가상 현실 장비의 이동 속도가 상대적으로 낮을 때, 채널 품질은 상대적으로 안정적이다. 그러므로, 본 출원에서, 가상 현실 호스트는 장래의 제1 지속기간에 가상 현실 장비의 움직임 상황을 예측할 수 있다. 가상 현실 장비가 장래의 제1 지속기간에 정지 상태에 있다고 판단되면, 즉 가상 현실 장비와 가상 현실 호스트 사이의 무선 채널의 채널 품질이 상대적으로 안정하다면, 가상 현실 호스트는 탐지된 채널 품질에 대응하는 변조 및 코딩 방식을 제1 변조 및 코딩 방식으로서 직접 결정한다. 이러한 방식으로, 결정된 변조 및 코딩 방식의 정확성이 향상된다.
가능한 설계에서, 상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 조정하는 것은, 상기 가상 현실 장비의 상기 과거 움직임 정보 및 상기 제1 움직임 정보에 기반하여, 상기 가상 현실 장비가 상기 장래의 제1 지속기간에 이동 상태(moving state)에 있다는 것을 결정하면, 상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 조정하는 것을 포함한다.
본 출원에서, 가상 현실 호스트는 장래의 제1 지속기간에서 가상 현실 장비의 움직임 상황을 예측할 수 있다. 가상 현실 장비가 장래의 제1 지속기간에 이동 상태에 있다고 판단되면, 가상 현실 호스트가 탐지된 채널 품질에 대응하는 변조 및 코딩 방식을 제1 변조 및 코딩 방식으로서 직접 사용하는 것은 부정확하다. 그러므로, 가상 현실 호스트는 제1 움직임 정보에 기반하여, 탐지된 채널 품질에 대응하는 변조 및 코딩 방식을 조정한다. 이러한 방식으로, 결정된 변조 및 코딩 방식의 정확성이 향상된다.
가능한 설계에서, 상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 조정하는 것은, 상기 제1 움직임 정보가, 상기 가상 현실 장비의 상기 이동 속도가 제1 속도보다 작거나 또는 같다는 것을 지시하기 위해 사용되면, 상기 가상 현실 호스트가, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 제2 변조 및 코딩 방식으로 조정하는 것 - 여기서 상기 제2 변조 및 코딩 방식의 변조 및 코딩률은 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식의 변조 및 코딩률보다 큼 -; 또는 상기 제1 움직임 정보가, 상기 가상 현실 장비의 상기 이동 속도가 제2 속도보다 큰 것을 지시하기 위해 사용되면, 상기 가상 현실 호스트가, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 제3 변조 및 코딩 방식으로 조정하는 것을 포함하고, 여기서 상기 제3 변조 및 코딩 방식의 변조 및 코딩률은 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식의 상기 변조 및 코딩률보다 작고, 상기 제1 속도는 상기 제2 속도보다 작다.
본 출원에서, 가상 현실 호스트는 가상 현실 장비의 이동 속도에 기반하여, 탐지된 채널 품질에 대응하는 변조 및 코딩 방식을 조정할 수 있다. 예를 들어, 가상 현실 장비의 이동 속도가 상대적으로 높을 때, 가상 현실 호스트는 가상 현실 이미지의 간섭성(coherence)을 보장하기 위해, 상대적으로 낮은 변조 및 코딩 레이트를 갖는 변조 및 코딩 방식을 결정한다. 가상 현실 장비의 이동 속도가 상대적으로 낮을 때, 가상 현실 호스트는 가상 현실 이미지의 품질을 보장하기 위해 상대적으로 높은 변조 및 코딩 레이트를 갖는 변조 및 코딩 방식을 결정한다. 이러한 방식으로, 결정된 변조 및 코딩 방식의 정확성이 향상된다.
가능한 설계에서, 상기 제1 움직임 정보는 상기 가상 현실 장비의 현재 위치 정보를 지시하기 위해 사용되고, 상기 가상 현실 호스트가, 무선 채널의 현재 채널 품질을 탐지하는 단계는, 상기 가상 현실 호스트가 상기 위치 정보에 기반하여 제1 각도의 범위 이내에서, 360도 범위 내에 분포된, 상기 가상 현실 장비에 의해 생성된 적어도 하나의 무선 전송 방향으로부터 제1 무선 전송 방향을 결정하는 단계 - 여기서 상기 제1 각도는 0도 보다는 크고 360도 보다는 작음 -; 및 상기 가상 현실 호스트가, 상기 제1 무선 전송 방향 내에서 무선 채널의 현재 채널 품질을 탐지하는 단계를 포함한다.
본 출원에서, 가상 현실 호스트는 가상 현실 장비의 위치 정보에 기반하여 상대적으로 작은 각도의 범위 이내에서, 적어도 하나의 무선 전송 방향으로부터 제1 무선 전송 방향을 결정할 수 있고, 무선 전송 방향의 무선 채널은 가상 현실 호스트와 가상 현실 장비 사이의 통신 채널이다. 이러한 방식으로, 가상 현실 호스트는 360도 범위 내에서 무선 전송 방향을 검색할 필요가 없게 되어, 가상 현실 이미지의 전송 효율을 향상시킨다.
가능한 설계에서, 상기 제1 움직임 정보는, 상기 가상 현실 장비의 속도 정보, 가속도 정보, 각속도 정보, 및 각가속도 정보 중 하나 이상을 포함한다.
본 출원에서, 제1 움직임 정보는 다른 정보 일 수 있고, 앞서 설명한 유형의 정보는 단지 예시일 뿐이다. 이는 본 출원에서 특별히 한정되지 않는다.
제2 측면에 따르면, 본 출원은 가상 현실 이미지를 송신하는 장치를 또한 제공한다. 상기 가상 현실 이미지를 송신하는 장치는 앞서 설명한 방법 설계 내의 가상 현실 호스트를 구현하는 기능을 갖는다. 이러한 기능들은 하드웨어에 의해 구현되거나, 또는 대응하는 소프트웨어를 실행하는 하드웨어에 의해 구현될 수 있다. 하드웨어 또는 소프트웨어는 기능에 대응하는 하나 이상의 유닛을 포함한다.
가능한 설계에서, 가상 현실 이미지를 송신하는 장치의 구체적인 구조는 수신부, 처리부, 송신부를 포함할 수 있다. 이들 부(unit)는 제1 측면 또는 제1 측면의 임의의 가능한 설계에서 제공되는 방법 내의 대응하는 기능을 수행할 수 있다.
제3 측면에 따르면, 본 출원은 가상 현실 이미지를 송신하는 장치를 또한 제공한다. 가상 현실 이미지를 송신하는 장치는 앞서 설명한 방법 설계 내의 가상 현실 호스트를 구현하는 기능을 갖는다. 이러한 기능들은 하드웨어에 의해 구현될 수 있다. 가상 현실 이미지를 송신하는 장치는 메모리, 송수신기, 및 프로세서를 포함한다. 메모리는 컴퓨터 실행 가능 프로그램 코드를 저장하도록 구성되고, 프로세서는 메모리 및 송수신기와 커플링된다. 메모리 내에 저장된 프로그램 코드는 명령을 포함하고, 프로세서가 명령을 실행할 때, 명령은 가상 현실 이미지를 송신하는 장치로 하여금 제1 측면 또는 제1 측면의 임의의 가능한 설계 내의 가상 현실 호스트에 의해 수행되는 방법을 수행하도록 할 수 있다.
제4 측면에 따르면, 본 출원은 컴퓨터 판독 가능 저장 매체를 또한 제공하고, 여기서 컴퓨터 판독 가능 저장 매체는 명령을 포함하며, 명령이 컴퓨터 상에서 구동될 때, 컴퓨터는 제1 측면 내의 가상 현실 이미지를 송신하는 방법을 수행하도록 된다.
제5 측면에 따르면, 본 출원은 명령을 포함하는 컴퓨터 프로그램 제품을 또한 제공한다. 컴퓨터 프로그램 제품이 컴퓨터 상에서 구동될 때, 컴퓨터는 제1 측면 내의 가상 현실 이미지를 송신하는 방법을 수행하도록 된다.
도 1은 본 출원에 따른 VR 시스템의 구조도이다;
도 2는 본 출원에 따른 가상 현실 이미지를 송신하는 방법의 흐름도이다;
도 3은 본 출원에 따른 가상 현실 호스트 및 가상 현실 장비의 빔포밍의 개략도이다;
도 4는 본 출원에 따른 가상 현실 이미지를 송신하는 장치의 개략적인 구조도이다; 그리고
도 5는 본 출원에 따른 가상 현실 이미지를 송신하는 또 다른 장치의 개략적인 구조도이다.
다음은 본 출원의 첨부 도면을 참조하여 본 출원에 의해 제공되는 기술적 해결방안을 명확하고 완전하게 설명한다.
본 출원에서, VR 시스템이 가상 현실 호스트 및 가상 현실 장비를 포함하는 예시가 설명을 위해 사용된다. 아래에서, 본 출원의 일부 용어는, 당업자가 더 잘 이해할 수 있도록 돕기 위해 설명된다.
(1) 가상 현실 호스트는 VR 시스템 내의 중요한 장비이며, 가상 현실 이미지를 생성하거나, 또는 또 다른 전자 장비, 또는 클라우드로부터 국부적으로 가상 현실 이미지를 획득하고, 가상 현실 이미지를 가상 현실 장비에게 송신하도록 구성된다. 가상 현실 호스트는 텔레비전 세트, 또는 노트북 컴퓨터, 또는 스마트 폰과 같은 전자 장비일 수 있다. 가상 현실 호스트는 또한 가상 현실 호스트 등으로 지칭될 수 있다.
(2) 가상 현실 이미지는 3차원 이미지일 수 있다. 예를 들어, 가상 현실 이미지는 기하학적 모델에 기반하여 가상 현실 호스트에 의해 생성되거나, 또는 2차원 이미지의 솔리드 모델(solid model)로부터 변환된다.
(3) 가상 현실 장비는 가상 현실 디스플레이를 포함한다. 예를 들어, 가상 현실 장비는 헤드 마운티드 디스플레이(Head Mounted Display, HMD)이다. 사용자가 헤드 마운티드 디스플레이를 착용할 때, 가상 현실 디스플레이는 사용자의 눈 앞에 배치된다. 가상 현실 디스플레이는 일반적으로 독립적으로 분리된, 왼쪽 및 오른쪽 안경을 포함하여서, 사람의 좌안 및 우안에 의해 획득되는 정보는 서로 다르다. 예를 들어, 좌안 및 우안의 서로 다른 이미지는 좌안 스크린 및 우안 스크린 상에 개별적으로 표시된다. 사람의 눈이 차이가 있는 정보를 얻은 후, 입체 지각(stereo perception)이 머리(mind) 속에 생성된다.
(4) 빔(beam)은 통신 자원이다. 빔은 넓은 빔, 또는 좁은 빔, 또는 또 다른 유형의 빔일 수 있다. 서로 다른 빔은 서로 다른 통신 자원으로 간주될 수 있다. 동일한 정보 또는 서로 다른 정보가 서로 다른 빔을 사용하여 송신될 수 있다. 빔포밍(Beamforming) 기술은, 전력 소비를 감소시키고 신호 품질을 보장하기 위해, 기대된 방향으로의 상대적으로 큰 신호 이득을 획득하도록, 무선 신호가 복수의 안테나를 사용하여 송신될 때 특정 방향으로의 특정 빔을 형성하는 것을 의미한다. 일반적으로, 송신단에 의해 생성된 송신 빔은 공간 내에서 360도의 서로 다른 방향으로 분배될 수 있고, 수신단에 의해 생성된 수신 빔도 또한 공간 내에서 360도의 서로 다른 방향으로 분배될 수 있다. 빔 트레이닝은 송신단에 의해 생성된 송신 빔 및 수신단에 의해 생성된 수신 빔 사이의 빔 정렬 절차일 수 있고, 최적의 송신-수신 빔은 빔 트레이닝으로부터 결정되고, 최적의 송신-수신 빔은 송신단 및 수신단 사이의 무선 채널이다.
본 출원에서, "빔"은 "전송 자원" 등으로 지칭될 수도 있다. 즉, "빔"의 명칭은 앞서 설명한 개념이 표현되는 한 여기에 한정되지 않는다.
(5) 게다가, 본 명세서에서 용어 "및/또는"은 연관된 대상을 설명하기 위한 연관 관계만을 설명하고 세 가지 관계가 존재할 수 있음을 나타낸다. 예를 들어, A 및/또는 B는 다음 세 가지 경우 - A만 존재함, A 및 B가 모두 존재함, 그리고 B만 존재함 - 를 나타낼 수 있다. 게다가, 본 명세서에서 문자 "/"는 일반적으로 특별한 설명이 없다면 연관된 대상 사이의 "또는" 관계를 나타낸다. 더욱이, 본 출원의 설명에서, "제1" 및 "제2"와 같은 단어는 단지 차별화된 설명을 위해 사용되며, 상대적 중요성의 표시 또는 암시, 또는 순서의 표시 또는 암시로서 이해되어서는 안된다.
본 출원에서 가상 현실 이미지를 송신하는 방법을 더 잘 설명하기 위해, 다음은 먼저 본 출원의 응용 시나리오, 즉, VR 시스템의 시스템 아키텍처를 설명한다. 도 1이 참조된다. 도 1에 도시된 대로, VR 시스템은 가상 현실 호스트 및 가상 현실 장비를 포함하고, 여기서 가상 현실 장비의 예시는 헤드 마운티드 디스플레이이다. 가상 현실 호스트는 가상 현실 이미지를 생성하고, 이후 가상 현실 호스트는 생성된 가상 현실 이미지를 HMD에게 송신한다. 가상 현실 이미지를 수신한 후, HMD는 가상 현실 이미지를 디스플레이한다. 그러므로, HMD를 착용한 사용자는 가상 현실 이미지를 볼 수 있다.
현재, 가상 현실 호스트는 보통 무선 채널을 통해 가상 현실 이미지를 가상 현실 장비에게 전송하지만, 전송될 필요가 있는 가상 현실 이미지의 데이터 볼륨이 매우 크다. 예를 들어, VR 비디오는 1000×1000 픽셀의 사진 크기, 24비트 트루 컬러, 초당 30 프레임의 속도, 및 2시간의 지속기간을 갖는다. 압축이 수행되지 않으면, 648GB(1000*1000*24*30*60*120=5.184×1012 비트≒648GB)의 공간이 이 비디오를 저장하기 위해 요구된다. 예를 들어, 무선 채널의 대역폭이 4M이면, VR 비디오를 전송하기 위해 필요한 최소 시간은 360시간, 즉 15일이다. 무선 채널의 대역폭의 제한 및 큰 데이터 볼륨의 영향으로 인해, 가상 현실 이미지는 전송된 데이터의 볼륨을 줄이고 전송 효율을 향상시키기 위해 압축될 필요가 있음을 알 수 있다.
가상 현실 이미지가 압축될 필요가 있다면, 가상 현실 호스트는 이미지 압축률을 결정할 필요가 있다. 다음은 현재 VR 시스템에서 이미지 압축률을 결정하는 방식을 설명한다.
현재, 가상 현실 호스트는 무선 채널의 채널 품질에 기반하여 이미지 압축률을 결정한다. 가상 현실 호스트는 무선 채널의 현재 채널 품질을 탐지한다. 예를 들어, 현재 채널 품질이 좋지 않으면, 비교적 큰 이미지 압축률이 전송된 데이터의 볼륨을 감소시키기 위해 결정된다.
하지만, 이러한 방식으로 결정된 이미지 압축률은 정확하지 않다. 예를 들어, 가상 현실 이미지의 스위칭 속도는 때때로 높고 때로는 낮다. 즉, 콘텐츠가 때때로 빠르게 때로는 느리게 변한다. 슬로우 모션 이미지 또는 정지된 가상 현실 이미지에 대해, 사용자는 일반적으로 이미지 품질에 대해 비교적 까다롭다. 그러므로, 이 경우, 화질을 보장하기 위해, 비교적 큰 이미지 압축률이 가상 현실 이미지를 압축하기 위해 사용될 수 없다. 하지만, 채널 품질이 항상 좋지 않으면, 가상 현실 호스트는 항상 상대적으로 큰 이미지 압축률을 사용하여 가상 현실 이미지를 압축하여서, 이는 결국 좋지 않은 이미지 품질로 이어진다. 이미지 압축률을 결정하는 현재의 방식이 정확하지 않다는 것을 알 수 있다.
기술적 문제를 해결하기 위해, 본 출원은 가상 현실 이미지를 송신하는 방법을 제공한다. 즉, 가상 현실 호스트는 가상 현실 장비의 움직임 정보에 기반하여 이미지 압축률을 결정한다. 상기 방법에서, 결정된 이미지 압축률의 정확성이 향상된다. 자세한 내용은, 본 출원에 따른 가상 현실 이미지를 송신하는 방법의 흐름도인 도 2가 참조된다. 다음의 설명 과정에서, 도 1에 도시된 VR 아키텍처에 가상 현실 이미지를 송신하는 방법을 적용하는 것이 예시로서 사용된다. 그러므로, 도 2는 또한 도 1에 도시된 VR 아키텍처 내의 가상 현실 호스트 및 HMD 사이의 정보 교환의 개략도로서 이해될 수 있다. 가상 현실 이미지를 송신하는 방법의 절차는 다음과 같이 설명된다.
S201. 가상 현실 장비의 움직임 정보(motion information)를 탐지한다. 움직임 정보는 가상 현실 장비의 현재 움직임 상황(motion status)을 지시하기 위해 사용된다.
본 출원에서, S201은 가상 현실 장비에 의해 완료되거나, 또는 가상 현실 호스트에 의해 완료될 수 있다. S201이 가상 현실 장비에 의해 완료되면, 자이로 스코프 및 가속도계와 같은 움직임 센서가 움직임 정보를 탐지하기 위해 가상 현실 장비 상에 배치될 수 있다. S201이 가상 현실 호스트에 의해 완료되면, 카메라 또는 다른 광학 센서가 가상 현실 호스트 상에 배치될 수 있고, 단위 시간 이내에 가상 현실 장비의 위치 이동 크기가, 가상 현실 장비의 움직임 정보를 결정하기 위해, 카메라 또는 광학 센서를 사용하여 탐지된다. 분명히, 또 다른 탐지 방식이 있을 수 있다. 이는 본 출원 내에서 구체적으로 한정되지 않는다. 도 2에서, 가상 현실 장비를 사용하여 움직임 정보를 탐지하는 것이 예시로서 사용된다. 다음 설명은 가상 현실 장비에 의한 움직임 정보의 탐지를 예시로서 계속해서 사용할 것이다.
본 출원에서, 움직임 정보는 가상 현실 장비의 위치 정보, 속도 정보, 가속도 정보, 각속도 정보, 및 각가속도 정보 중 하나 이상을 포함할 수 있다. 가상 현실 장비는 움직임 정보를 주기적으로 또는 실시간으로 탐지할 수 있다. 분명히, 부담을 줄이기 위해, 가상 현실 장비는 대안으로 가상 현실 호스트에 의해 송신되는 움직임 정보 탐지 요청을 수신한 후에만 움직임 정보를 탐지할 수 있고, 요청의 수신 없이는 움직임 정보를 탐지하지 않는다. 예를 들어, VR 애플리케이션이 막 시작되었을 때, 가상 현실 호스트는 움직임 정보 탐지 요청을 가상 현실 호스트에게 전송할 수 있고, 가상 현실 장비는 요청을 수신한 후 움직임 정보를 탐지한다. 대안으로, 사용자가 VR 애플리케이션을 경험하는 프로세스에서, 가상 현실 호스트는 이미지 압축률이 결정되기 전에 매번 가상 현실 장비에게 움직임 정보 탐지 요청을 송신할 수 있고, 가상 현실 장비는 상기 요청을 수신한 이후에 움직임 정보를 탐지할 수 있다.
S202. 가상 현실 장비는 움직임 정보를 가상 현실 호스트에 송신하고, 이에 상응하여, 가상 현실 호스트는 움직임 정보를 수신한다.
위에서 설명한 대로, 가상 현실 장비는 주기적으로 또는 실시간으로 움직임 정보를 탐지하거나, 또는 가상 현실 호스트에 의해 송신되는 움직임 정보 탐지 요청의 수신 후에 움직임 정보를 탐지할 수 있다. 이후, 가상 현실 장비가 가상 현실 호스트에 의해 송신되는 움직임 정보 탐지 요청을 수신한 후 움직임 정보를 탐지하면, 가상 현실 장비는 움직임 정보를 탐지한 후 가상 현실 호스트에게 움직임 정보를 송신할 수 있다. 가상 현실 장비가 주기적으로 또는 실시간으로 움직임 정보를 탐지하면, 가상 현실 장비는 매번 움직임 정보를 탐지한 후에 가상 현실 호스트에게 움직임 정보를 송신하거나, 또는 가상 현실 호스트에게, 가장 최근에 탐지된 움직임 정보 또는 가상 현실 호스트에 의해 송신되는 움직임 정보 탐지 요청을 수신한 후의 최근 시간 구간 내에 탐지된 모든 움직임 정보를 송신할 수 있다.
본 출원에서, 움직임 정보를 송신하는 동안, 가상 현실 장비는 가상 현실 장비에 의해 움직임 정보를 생성하기 위한 시간에 관한 정보 및 가상 현실 장비의 장치 식별자와 같은 정보를 송신할 수 있다. 예를 들어, 다중-인물 VR 상호작용 게임에서, 복수의 사용자는 각각의 HMD를 착용함으로써 동일한 가상 게임을 경험한다. 이 경우, 일반적으로, 하나의 가상 현실 호스트는 복수의 HMD와 통신할 필요가 있고, 즉, 가상 현실 호스트는 가상 현실 이미지를 복수의 HMD에게 송신할 필요가 있고, 가상 현실 호스트는 또한 복수의 HMD에 의해 송신되는 움직임 정보를 수신할 수 있다. 자신의 움직임 정보를 송신하는 동안, 각 HMD는 움직임 정보를 생성하는 HMD의 장치 식별자를 송신할 수 있어서, 가상 현실 호스트는 복수의 HMD 중 어느 HMD가 수신된 움직임 정보를 송신하는지 식별할 수 있다. 다른 예를 들면, 가상 현실 호스트는 동일한 HMD에 의해 송신되는 복수의 움직임 정보를 수신할 수 있다. 그러므로, 자신의 움직임 정보를 송신하는 동안, 각 HMD는 HMD에 의해 움직임 정보를 생성하기 위한 시간에 관한 정보를 송신할 수 있어서, 가상 현실 호스트는 복수의 움직임 정보 중 각 움직임 정보의 생성 시각을 식별할 수 있다.
예를 들어, 가상 현실 호스트는 하나의 가상 현실 장비와만 통신한다. 가상 현실 장비가 움직임 정보를 전송하면서 움직임 정보를 생성하기 위한 시간에 관한 정보를 더 송신한다면, 가상 현실 호스트는 움직임 정보 및 시각에 관한 정보를 수신한 이후 움직임 정보 및 시간에 관한 정보를 상응하여 저장할 수 있다. 가상 현실 호스트가 복수의 움직임 정보를 수신하고, 각 움직임 정보가 서로 다른 생성 시각을 가지면, 가상 현실 호스트가 움직임 정보를 사용할 필요가 있을 때, 가상 현실 호스트는 복수의 움직임 정보로부터 최근 시간의 움직임 정보를 선택하거나, 또는 시간 구간 내의 모든 움직임 정보의 평균값을 획득하고, 평균값을 필요한 움직임 정보로서 사용할 수 있다. 예를 들어, 가상 현실 호스트는 가상 현실 장비에 의해 송신되는 세 개의 동작 정보 - 각각 3m/s의 속도, 4m/s의 속도, 및 3m/s의 속도 - 를 수신하고 세 개의 움직임 정보를 생성하기 위한 시간에 관한 정보 - 각각 00:10의 시점, 00:15의 시점, 및 00:20의 시점 - 를 동시에 수신한다. 가상 현실 호스트가 움직임 정보를 사용할 필요가 있을 때, 가상 현실 호스트는 최근 시간의 움직임 정보, 즉 00:20에서의 가상 현실 장비의 이동 속도가 3m/s라는 것을 직접 선택하거나, 또는 가상 현실 호스트는 00:15에서 00:20까지의 기간과 같은 시간 구간 내의 움직임 정보의 평균값을 얻고, 즉, 3m/s 및 4m/s의 평균값 3.5m/s 을 얻고, 가상 현실 호스트는 요구되는 움직임 정보로서 3.5 m/s를 결정한다. 여기서 언급된 시간 구간은 실제 상황에 기반하여 결정될 수 있으며, 본 출원에서 한정되지 않는다.
S203. 가상 현실 호스트는 움직임 정보에 기반하여 이미지 압축률을 결정한다.
본 출원에서, S203의 가능한 구현은 다음과 같다. 가상 현실 호스트는 먼저 무선 채널의 채널 품질에 기반하여 이미지 압축률을 예비로 결정하고, 이후 움직임 정보 및 예비로 결정된 이미지 압축률에 기반하여 최종 이미지 압축률을 결정한다. 이러한 방식에서, 두 개의 서로 다른 요소, 즉 채널 품질 및 움직임 정보가 종합적으로 고려되어서, 결정된 이미지 압축률이 더욱 정확해질 수 있다. 다음은 이러한 방식의 구현 프로세스를 구체적으로 설명한다.
이러한 방식에서, 가상 현실 호스트가 최종 이미지 압축률을 결정하는 것은 구체적으로 세 단계로 완료될 수 있다. 제1 단계에서, 가상 현실 호스트 및 가상 현실 장비 사이의 무선 채널이 결정되고, 제2 단계에서, 이미지 압축률이 무선 채널의 채널 품질에 기반하여 예비적으로 결정되며, 제3 단계에서, 최종 이미지 압축률이 움직임 정보 및 예비로 결정된 이미지 압축률에 기반하여 결정된다.
현재의 VR 시스템은 두 가지 유형으로 분류될 수 있다. 첫 번째 유형은 빔포밍 기술을 사용하여 데이터 전송을 수행하는 VR 시스템, 예를 들어 고주파 대역(예를 들어, 60GHz) 통신 모드을 사용하여 데이터 전송을 구현하는 VR 시스템이다. 두 번째 유형은 빔포밍 기술을 사용하지 않고 데이터 전송을 수행하는 VR 시스템, 예를 들어, 저주파 대역(예를 들어, 30GHz) 통신 기술을 사용하여 데이터 전송을 구현하는 VR 시스템이다.
첫 번째 유형의 VR 시스템의 경우, 가상 현실 호스트 및 가상 현실 장비 사이의 무선 채널이 변할 수 있다. 가상 현실 호스트 및 가상 현실 장비는 통신이 설정되기 전에 빔 트레이닝을 수행할 수 있다. 현재 VR 시스템의 가상 현실 호스트는 가상 현실 장비의 위치를 알지 못한다. 그러므로, 가상 현실 호스트와 가상 현실 장비 사이의 빔 트레이닝은 360도 범위 이내에서의 개별적인 검색을 요구, 즉 가상 현실 호스트에 의해 생성된 송신 빔(360도 이내에서 서로 다른 각도로 분포됨) 및 가상 현실 장비에 의해 생성된 수신 빔(360도 이내에서 서로 다른 각도로 분포됨)사이의 정렬 프로세스가 요구되고, 정렬 후에 형성된 송신-수신 빔은 가상 현실 호스트와 가상 현실 장비 사이의 무선 채널이다. 첫 번째 유형의 현재 VR 시스템 내의 가상 현실 호스트 및 가상 현실 장비 사이의 빔 트레이닝은 상대적으로 긴 시간이 걸리고, 결과적으로, 이미지 전송 지연이 너무 크다는 것을 알 수 있다.
일반적으로 가상 현실 호스트의 위치는 상대적으로 고정된다. 그러므로, 본 출원에서, 가상 현실 호스트는, 가상 현실 장비의 위치 정보에 기반하여 제1 각도의 범위 이내에서, 360도 범위로 분포되어서 가상 현실 장비에 의해 생성되는 적어도 하나의 무선 전송 방향으로부터 최적의 무선 전송 방향을 결정할 수 있다. 최적의 무선 전송 방향 내에서 무선 채널의 채널 품질만이 탐지될 필요가 있고, 360도 범위 내의 검색이 없이도 빔 트레이닝으로 인한 지연이 줄어든다.
본 출원에서, 제1 각도의 범위는 현재 순간에서의 가상 현실 장비의 위치 정보 및 이전 순간에서의 가상 현실 장비의 위치 정보 사이의 이동 거리에 기반하여 결정될 수 있거나, 또는 다음 순간에서의 가상 현실 장비의 위치 정보는 가상 현실 장비의 과거 위치 정보(historical location information) 및 현재 위치 정보에 기반하여 예측될 수 있고, 제1 각도의 범위는 다음 순간에서의 가상 현실 장비의 예측된 위치 정보 및 현재 순간에서의 가상 현실 장비의 위치 정보 사이의 이동 거리에 기반하여 결정된다.
예를 들어, 도 3을 참조하면, 가상 현실 호스트에 의해 생성된 송신 빔은 360도 범위 내에서 8개의 방향에 있다. 도면에 도시된 대로, 가상 현실 장비는 제1 위치에서 제2 위치로 이동하고, 이동 거리, 즉, 제1 위치와 제2 위치 사이의 이동 범위는 두 방향, 즉 가상 현실 호스트에 의해 생성된 송신 빔의 방향 t1 및 방향 t2 사이에 있다. 이 경우, 가상 현실 호스트는, 방향 t1과 방향 t2 사이에서만, 가상 현실 장비에 의해 생성된 수신 빔을 검색하면 된다. 예를 들어, 검색 결과는 가상 현실 호스트에 의해 결정된 최적의 무선 채널이 송신-수신 빔(t2, r8)이라는 것이다.
두 번째 유형의 VR 시스템의 경우, 빔 포밍 기술이 본 유형의 VR 시스템에서 사용되지 않기 때문에, 빔 포밍 방향으로의 검색이 필요하지 않다. 이러한 유형의 VR 시스템 내의 가상 현실 호스트 및 가상 현실 장비 사이의 무선 채널은 일반적으로 미리 설정되어서, 가상 현실 호스트는 S203의 제2 단계를 바로 수행할 수 있다.
무선 채널을 결정한 후, 가상 현실 호스트는 제2 단계로 진입, 즉, 가상 현실 호스트는 무선 채널의 채널 품질에 기반하여 이미지 압축률을 예비적으로 결정한다. 두 번째 단계에서, 가상 현실 호스트는 무선 채널의 채널 품질을 탐지할 필요가 있다. 복수의 구체적인 구현이 있을 수 있다. 예를 들어, 가상 현실 호스트는 실시간 또는 주기적으로 채널 품질을 탐지하고, 가상 현실 호스트는 탐지된 채널 품질을 저장할 수 있다. 이 경우, 가상 현실 호스트는, 저장된 채널 품질로부터, 가장 최근에 탐지된 채널 품질을 결정할 수 있다. 이 방법은 비교적 간단한다. 가상 현실 호스트는 채널 품질을 특별히 다시 감지하지 않아도 되므로, 효율성이 향상됩니다. 대안으로, 가상 현실 호스트는 현재 채널 품질을 바로 탐지할 수 있어서, 결정된 채널 품질이 보다 정확할 수 있다. 이후, 가상 현실 호스트는 채널 품질 및 이미지 압축률 사이의 미리 저장된 매핑 관계에 기반하여 이미지 압축률을 예비적으로 결정한다. 무선 채널의 채널 품질 및 이미지 압축률 사이에는 복수의 유형의 매핑 관계가 존재한다. 표 1은 예시이다. 표 1에서, 무선 채널의 전송률은 무선 채널의 채널 품질을 나타내기 위해 예시로서 사용된다.
무선 채널의 전송률 이미지 압축률
5 Gbps 2:1
4 Gbps 4:1
3 Gbps 6:1
2 Gbps 8:1
예를 들어, 가상 현실 호스트에 의해 결정된, 무선 채널의 전송률이 4Gbps 이면, 표 1에 따라, 이미지 압축률은 4:1인 것으로 예비적으로 결정될 수 있다.
다음은 제3 단계의 구현 프로세스, 즉, 가상 현실 호스트가 움직임 정보 및 예비적으로 결정된 이미지 압축률에 기반하여 최종 이미지 압축률을 결정하는 것을 설명한다. 결정된 이미지 압축률의 정확성을 향상시키기 위해, 가상 현실 호스트는 먼저 수신된 움직임 정보에 기반하여 장래의 제1 지속기간 내의 가상 현실 장비의 움직임 상황을 예측할 수 있다. 가상 현실 호스트가 장래의 제1 기간에 가상 현실 장비의 움직임 상황을 예측하는 이유는 이후 설명될 것이다. 이후, 가상 현실 호스트는 장래의 제1 지속기간 내의 가상 현실 장비의 예측된 움직임 상황 및 예비적으로 결정된 이미지 압축률에 기반하여 최종 이미지 압축률을 결정한다. 게다가, 가상 현실 장비의 움직임 상황은 일반적으로 두 가지 경우로, 즉, 정지 상태 또는 이동 상태로 분류될 수 있다. 그러므로, 제3 단계의 구현 프로세스는 두 가지 경우 - 제1 경우에, 가상 현실 장비가 장래의 제1 지속기간 내에 정지 상태에 있을 때, 어떻게 가상 현실 호스트가 최종 이미지 압축률을 결정 하는지, 및 제2 경우에, 가상 현실 장비가 장래의 제1 지속기간 내에 이동 상태에 있을 때, 어떻게 가상 현실 호스트가 최종 이미지 압축률을 결정하는지 - 로 더 나뉜다.
두 경우에 대해 설명하기 전에, 가상 현실 호스트가 장래의 제1 기간 내에 가상 현실 장비의 움직임 상황을 예측하는 이유 및 구현이 먼저 설명된다. 세부 내용은 다음과 같다.
사용자가 가상 세계를 경험하기 위해 가상 현실 장비를 착용하는 프로세스에서, 사용자의 움직임 상황은 시간에 걸쳐 변한다. 즉, 가상 현실 장비의 움직임 상황이 시간에 따라 변한다. 예를 들어, 가상 현실 장비가, 현재 상태가 정지 상태인 것을 탐지하면, 즉 속도가 0m/s임을 탐지하면, 가상 현실 장비에 의해 움직임 정보, 즉 0m/s의 속도를 가상 현실 호스트에게 송신하는 것으로부터 가상 현실 장비에 의해, 가상 현실 호스트에 의해 송신되는 압축된 가상 현실 이미지를 수신하는 프로세스는 특정한 지속기간을 요구할 수 있다. 지속기간 이후, 가상 현실 장비는 정지 상태에서 이동 상태로 변경되었을 수 있다. 그러므로, 결정된 이미지 압축률의 정확도를 향상시키기 위해, 가상 현실 호스트는 장래의 제1 지속기간 내의 가상 현실 장비의 움직임 상황을 예측할 수 있다.
예를 들어, 가상 현실 호스트는, 00:10에, 가상 현실 장비에 의해 송신되는, 가상 현실 장비에 의해 움직임 정보를 생성하기 위한 시간에 관한 정보 및 움직임 정보를 수신하고, 구체적으로 00:08에 가상 현실 장비의 속도는 0m/s이다. 이 경우 가상 현실 호스트는 가상 현실 장비가 00:08에 정지되어 있다고만 판단할 수 있다. 가상 현실 호스트가 가상 현실 이미지를 압축하고 가상 현실 장비에게 압축된 가상 현실 이미지를 송신하는 프로세스가 5초를 필요로 하면, 가상 현실 장비는 00:15에 압축된 가상 현실 이미지를 수신하지만, 가상 현실 장비는 00:15에 정지 상태에서 이동 상태로 변경되었을 수 있다. 그러므로, 이미지 압축률의 정확도를 향상시키기 위해, 가상 현실 호스트는 수신된 움직임 정보에 기반하여 장래의, 제1 지속기간, 예를 들어 5초 동안 가상 현실 장비의 움직임 상황을 예측할 수 있다.
본 출원에서, 제1 지속기간은 경험에 기반하여 결정되거나, 또는 계산을 통해 결정될 수 있다. 제1 지속기간이 계산을 통해 결정되면, 가상 현실 호스트가 장래의 제1 지속기간 내의 가상 현실 장비의 움직임 상황을 예측하는 앞서 설명한 이유로부터, 제1 지속기간이 움직임 정보를 생성하는 순간으로부터 가상 현실 호스트에 의해 송신되는 압축된 가상 현실 이미지를 수신하는 순간까지 가상 현실 장비에 의해 요구되는 지속기간일 수 있음을 알 수 있다. 상기 지속기간은 구체적으로 세 개의 지속기간의 합일 수 있다. 첫 번째 지속기간은 움직임 정보를 가상 현실 호스트에 송신하기 위해 가상 현실 장비에 의해 요구되는 지속기간일 수 있고, 두 번째 지속기간은 가상 현실 이미지를 압축하기 위해 요구되는 가상 현실 호스트에 의해 요구되는 지속기간일 수 있고, 세 번째 지속기간은 압축된 가상 현실 이미지를 가상 현실 장비에게 송신하기 위해 가상 현실 호스트에 의해 요구되는 지속기간일 수 있다. 다음은 세 가지 지속기간의 계산 방식을 개별적으로 설명한다. 첫 번째 지속기간은 가상 현실 호스트에 의해 움직임 정보를 수신하기 위한 시간 및 가상 현실 장비에 의해 움직임 정보를 생성하기 위한 시간 사이의 시간 차이일 수 있다. 두 번째 지속기간은 가상 현실 이미지의 하나의 프레임을 압축하기 위해 요구되는 지속기간에, 한 번에 전송될 필요가 있는 가상 현실 이미지의 프레임의 총량을 곱함으로써 획득될 수 있다. 가상 현실 이미지의 한 프레임을 압축하기 위해 요구되는 지속기간은 테스트를 통해 획득될 수 있다. 예를 들어, 가상 현실 호스트는 가상 현실 이미지의 하나의 프레임이 압축되기 전에 제1 순간, 및 압축이 완료되는 제2 순간을 기록할 수 있다. 제1 순간 및 제2 순간 사이의 차이는 가상 현실 이미지의 한 프레임을 압축하기 위해 요구되는 지속기간이다. 세 번째 지속기간은 한 번에 전송된 데이터의 볼륨을 무선 채널의 전송률로 나눔으로써 획득될 수 있다. 한 번에 전송되는 데이터의 볼륨은 전송된 가상 현실 이미지의 프레임의 총 수량 및 가상 현실 이미지의 각 프레임에 포함된 데이터의 볼륨에 기반하여 결정될 수 있다. 세 개의 지속기간이 결정된 후, 첫 번째 지속기간은 세 개의 지속기간을 합산함으로써 얻어진다. 분명히, 제1 지속기간을 계산하는 다른 방법이 있을 수 있으며, 이는 본 출원에서 구체적으로 한정되지 않는다.
본 출원에서, 가상 현실 호스트는, 수신된 움직임 정보 및 가상 현실 장비의 과거 움직임 정보에 기반하여, 가상 현실 장비가 장래의 제1 지속기간 내에 정지 상태에 있는지 또는 이동 상태에 있는지 여부를 결정할 수 있다.
위에서 언급한 대로, 가상 현실 장비가, 움직임 정보를 송신하는 동안, 움직임 정보를 생성하기 위한 시간에 관한 정보를 더 송신하면, 움직임 정보 및 움직임 정보를 생성하는 시간에 관한 정보를 수신할 때, 가상 현실 호스트는, 가상 현실 장비의 움직임 정보가 시간에 걸쳐 변하는 정보를 획득하기 위해, 즉, 가상 현실 장비의 과거 움직임 정보를 획득하기 위해, 움직임 정보 및 시간에 관한 정보를 상응하여 저장할 수 있다.
VR 게임을 예시로 들어, 가상 현실 호스트 내에 저장된 가상 현실 장비의 과거 움직임 정보는 다음과 같다. 예를 들어, 00:00 순간의 가상 현실 장비의 속도는 0이고, 00:05 순간의 가상 현실 장비의 속도는 1m/s이고, 00:10 시점의 가상 현실 장비의 속도는 2m/s이고, 00:15 순간의 가상 현실 장비의 속도는 3m/s이고, 00:20 순간의 가상 현실 장비의 속도는 2m/s이고, 00:25 시점의 가상 현실 장비의 속도는 1m/s이고, 00:30 시점의 가상 현실 장비의 속도는 0m/s이고, 00:35 순간의 가상 현실 장비의 속도는 0m/s이며, 00:40 순간의 가상 현실 장비의 속도는 0m/s이다.
계속 VR 게임을 예시로 들어, 가상 현실 호스트는, 00:14 순간에, 가상 현실 장비에 의해 송신되는 움직임 정보를 생성하기 위한 시간에 관한 정보 및 움직임 정보를 수신하고, 구체적으로, 00:12 순간의 가상 현실 장비의 속도는 2m/s이다. 첫 번째 지속기간이 3초이면, 가상 현실 호스트는, 가상 현실 장비의 과거 움직임 정보에 기반하여, 장래의 3초 이내에, 즉 순간 00:15에, 가상 현실 호스트의 속도가 3m/s라는 것을 알 수 있다. 즉, 가상 현실 장비가 이동 상태인 것으로 판단된다. 다른 예시에서, 가상 현실 호스트는, 순간 00:30에, 움직임 정보 및 가상 현실 호스트에 의해 송신되는 움직임 정보를 생성하기 위한 시간에 관한 정보를 수신하고, 구체적으로 순간 00:28에 가상 현실 장비의 속도는 0m/s이다. 첫 번째 지속기간이 3초이면, 가상 현실 호스트는, 가상 현실 장비의 과거 움직임 정보에 기반하여, 장래의 3초 내에, 즉 00:15에, 가상 현실 호스트의 속도가 0이라는 것을 알 수 있다. 즉, 가상 현실 장비는 정지 상태에 있다.
다음은 세 번째 단계의 구현 프로세스의 두 경우를 개별적으로 설명한다.
첫 번째 경우, 가상 현실 장비가 장래의 제1 지속기간 내에 정지 상태에 있을 때, 가상 현실 호스트는 최종 이미지 압축률을 어떻게 결정하는지.
명심해야 할 것은, 가상 현실 호스트 및 가상 현실 장비 사이의 무선 채널의 채널 품질은 가상 현실 장비의 움직임 상황과 어느 정도 관련되어 있다는 것이다. 예를 들어, 가상 현실 장비가 빠르게 움직이면, 채널의 안정성이 상대적으로 떨어지고, 채널 품질이 크게 변한다. 가상 현실 장비가 정지일 때, 일반적으로 채널 품질은 비교적 안정적이며 약간만 변경된다. 그러므로, 가상 현실 호스트가 가상 현실 장비가 장래의 제1 지속기간 내에 정지 상태에 있다고 결정할 때, 채널 품질이 비교적 안정한 것으로 결정될 수 있다. 이 경우, 가상 현실 호스트는 무선 채널의 탐지된 채널 품질에 대응하는 이미지 압축률을 최종 이미지 압축률로 바로 결정할 수 있고, 즉, 예비적으로 결정된 이미지 압축률을 최종 이미지 압축률로 바로 사용할 수 있다.
두 번째 경우에서, 가상 현실 장비가 장래의 제1 지속기간 내에 이동 상태에 있을 때, 가상 현실 호스트는 어떻게 최종 이미지 압축률을 결정하는지.
본 출원에서, 가상 현실 장비가, 가상 현실 장비가 장래의 제1 지속기간 내에 이동 상태에 있다고 결정할 때, 예비적으로 결정된 이미지 압축률은 움직임 정보(여기의 움직임 정보는 가상 현실 장비의 현재 움직임 정보를 지시하기 위해 사용되고, 위에서 언급된 과거 움직임 정보가 아님)에 기반하여 조정될 수 있다. 예를 들어, 움직임 정보가, 가상 현실 장비의 이동 속도가 상대적으로 낮다는 것을 나타내기 위해 사용되면, 가상 현실 호스트는 예비적으로 결정된 이미지 압축률에 기반하여 이미지 압축률을 적절하게 감소시킨다. 움직임 정보가 가상 현실 장비의 이동 속도가 상대적으로 높다는 것을 나타내기 위해 사용되면, 가상 현실 호스트는 예비적으로 결정된 이미지 압축률에 기반하여 이미지 압축률을 적절히 증가시킨다.
이는, 가상 현실 장비의 이동 속도가 상대적으로 높을 때, 가상 현실 장비에 의해 디스플레이되는 가상 현실 이미지의 스위칭 속도가 상대적으로 높기 때문, 즉 컨텐츠가 빠르게 변하기 때문이다. 빠른 움직임 이미지의 경우, 사용자는 이미지의 품질을 무시하는 경향이 있지만, 이미지의 간섭성(coherence)과 부드러움(fluency)에 주의를 기울인다. 그러므로, 이미지의 간섭성(coherence)은 이미지 압축률을 증가시킴으로써 보장될 수 있고, 사용자 경험이 향상된다. 하지만, 가상 현실 장비의 이동 속도가 상대적으로 낮을 때, 가상 현실 장비에 의해 디스플레이되는 가상 현실 이미지의 내용은 느리게 변화한다. 슬로우 모션 이미지 또는 정지된 이미지의 경우, 사용자는 종종 이미지 품질에 대한 상대적으로 높은 요구 사항, 예를 들어 이미지의 선명도 및 해상도에 대한 상대적으로 높은 요구 사항을 가진다. 이 경우, 이미지의 품질은 이미지 압축률을 줄임으로써 향상될 수 있고, 이후 사용자 경험이 향상될 수 있다.
두 번째 경우, 이미지 압축률을 결정하는 정확도를 향상시키기 위해, 가상 현실 호스트는 움직임 정보에 기반하여 예비적으로 결정된 이미지 압축률을 조정할 때 장래의 제1 지속기간 내의 무선 채널의 채널 품질의 변화의 트렌드를 고려할 수 있다. 즉, 가상 현실 호스트는 장래의 제1 지속기간 내의 채널 품질의 예측된 변화 트렌드 및 움직임 정보에 기반하여 예비적으로 결정된 이미지 압축률을 조정할 수 있다. 세부 내용은 다음과 같다.
움직임 정보가, 가상 현실 장비의 이동 속도가 상대적으로 낮고 장래의 제1 지속기간 내의 채널 품질이 개선됨을 지시하기 위해 사용되면, 가상 현실 호스트는 예비적으로 결정된 이미지 압축에 기반하여 이미지 압축률을 적절히 감소시킨다. 움직임 정보가, 가상 현실 장비의 이동 속도가 상대적으로 높고 장래의 제1 지속기간 내의 채널 품질이 감소됨을 지시하기 위해 사용될 때, 가상 현실 호스트는 예비적으로 결정된 이미지 압축에 기반하여 이미지 압축률을 적절하게 증가시킨다.
이는, 가상 현실 장비의 이동 속도가 상대적으로 높을 때, 가상 현실 장비에 의해 디스플레이되는 가상 현실 이미지의 내용이 빠르게 변하기 때문이다. 가상 현실 이미지의 부드러움(fluency)을 보장하기 위해, 가상 현실 호스트는 예비적으로 결정된 이미지 압축률에 기반하여 이미지 압축률을 증가시킨다. 하지만, 화상 압축률이 증가된 후에, 전송된 데이터의 볼륨이 크게 감소된다. 이 경우, 전송 요구사항이 좋은 채널 품질없이 충족될 수 있다. 그러므로, 채널 품질이 저하되면, 가상 현실 이미지의 전송에는 영향이 없다. 가상 현실 장비의 이동 속도가 상대적으로 낮을 때, 가상 현실 장비에 의해 디스플레이되는 가상 현실 이미지의 내용은 천천히 변화한다. 가상 현실 이미지의 품질을 보장하기 위해, 가상 현실 호스트는 예비적으로 결정된 이미지 압축률에 기반하여 이미지 압축률을 감소시킨다. 하지만, 이미지 압축률이 감소된 후, 전송된 데이터의 볼륨이 크게 증가될 수 있다. 무선 채널의 채널 품질이 개선되면, 증가된 데이터 볼륨의 전송에는 영향이 없다. 즉, 가상 현실 호스트는, 장래의 제1 지속기간 내의 채널 품질의 변화 추세 및 움직임 정보에 기반하여 이미지 압축률을 조정하여서, 이미지 압축률을 결정하는 정확도가 더욱 향상될 수 있다.
실제 적용에서, 가상 현실 호스트는 움직임 정보에만 기반하여 이미지 압축률을 조정하거나, 또는 장래의 제1 지속기간 내의 무선 채널의 채널 품질의 변화 트렌드 및 움직임 정보에 기반하여 이미지 압축률을 조정할 수 있다.
S204. 가상 현실 호스트는 이미지 압축률에 기반하여 송신될 가상 현실 이미지를 압축한다.
본 출원에서, 가상 현실 호스트는 결정된 최종 이미지 압축률에 기반하여 가상 현실 이미지의 각 프레임을 압축하거나, 또는 복수의 가상 현실 이미지의 프레임을 매번 함께 패키지 및 압축할 수 있다.
본 출원에서, 가상 현실 호스트는 가상 현실 장비의 움직임 정보에 기반하여 이미지 압축률을 결정한다. 예를 들어, 가상 현실 장비의 이동 속도가 상대적으로 낮을 때, 즉 가상 현실 장비에 의해 디스플레이되는 가상 현실 이미지의 내용이 천천히 변할 때, 상대적으로 작은 이미지 압축률이 가상 현실 이미지의 품질을 보장하기 위해 결정된다. 가상 현실 장비의 이동 속도가 상대적으로 높을 때, 즉, 가상 현실 장비에 의해 디스플레이되는 가상 현실 이미지의 내용이 빠르게 변할 때, 상대적으로 큰 이미지 압축률이 가상 현실 이미지의 간섭성(coherence)을 보장하기 위해 결정된다. 이러한 방식으로, 결정된 이미지 압축률의 정확성이 개선되고, 사용자의 요구가 보다 잘 충족될 수 있다.
실제 동작 프로세스에서, 가상 현실 이미지를 송신하기 전에, 가상 현실 호스트는 변조 및 코딩 방식을 결정할 필요가 있고, 이후 변조 및 코딩 방식에 따라 가상 현실 이미지에 대해 변조 및 코딩을 수행한다. 다음은 현재 VR 시스템이 변조 및 코딩 방식을 결정하는 방법을 설명한다.
현재, VR 시스템에서, 가상 현실 호스트는 무선 채널의 채널 품질에 기반하여 변조 및 코딩 방식을 결정한다. 예를 들어, 무선 채널의 채널 품질이 비교적 좋으면, 비교적 높은 변조 및 코딩 레이트를 갖는 변조 및 코딩 방식이 결정된다. 하지만, 이러한 방식으로 결정된 변조 및 코딩 방식은 정확하지 않다. 실제로, 각 변조 및 코딩 방식은 그 자신의 변조 및 코딩 레이트에 대응하고, 변조 및 코딩 레이트는 가상 현실 이미지의 전송 프로세스 중 생성된 프레임 에러율과 관련되기 때문이다. 예를 들어, 변조 및 코딩 레이트가 비교적 높을 때, 전송 효율이 비교적 높음에도 불구하고, 프레임 에러 또는 프레임 손실이 발생할 확률도 비교적 높다. 가상 현실 장비의 이동 속도가 상대적으로 높으면, 가상 현실 장비에 의해 디스플레이되는 가상 현실 이미지의 내용은 빠르게 변한다. 가상 현실 이미지의 부드러움(fluency)을 보장하기 위해, 프레임 에러 또는 프레임 손실의 확률이 감소될 필요가 있고, 그러므로, 매우 높은 변조 및 코딩 레이트를 갖는 변조 및 코딩 방식은 적용가능하지 않다. 무선 채널의 채널 품질이 항상 양호하고 가상 현실 호스트가 항상 비교적 높은 변조 및 코딩 속도를 갖는 변조 및 코딩 방식을 사용하면, 프레임 손실 및 프레임 에러의 발생 확률이 매우 높다. 프레임 손실이 발생하면, 사용자에게 보이는 가상 현실 이미지가 간섭성(coherent)이 아니다. 현재 VR 시스템에서, 채널 품질에 기반하여 가상 현실 호스트에 의해 결정된 변조 및 코딩 방식이 부정확하다는 것을 알 수 있다. 다음은 본 출원에서 변조 및 코딩 방식을 결정하는 프로세스를 설명한다.
S205. 가상 현실 호스트는 움직임 정보에 기반하여 변조 및 코딩 방식을 결정한다.
S202 이후에 S205가 발생하도록 되면, S205와 S203 또는 S204 사이의 실행 순서는 한정되지 않는다. 도 2는 S204 이후에 S205가 발생하는 예시이다.
S203과 유사하게, S205의 가능한 구현은 다음과 같다. 가상 현실 호스트는 먼저 무선 채널의 채널 품질에 기반하여 변조 및 코딩 방식을 예비적으로 결정하고, 이후 움직임 정보 및 예비적으로 결정된 변조 및 코딩 방식에 기반하여 최종 변조 및 코딩 방식을 결정한다. 이러한 방식으로, 두 개의 서로 다른 요소, 즉, 채널 품질 및 움직임 정보가, 종합적으로 고려되고, 결정된 변조 및 코딩 방식이 보다 정확하게 된다. 다음은 이러한 방식의 구현 프로세스를 상세히 설명한다.
이러한 방식으로, 가상 현실 호스트는 두 단계로 최종 변조 및 코딩 방식을 결정할 수 있다. 첫 번째 단계에서, 가상 현실 호스트 및 가상 현실 장비 사이의 무선 채널이 결정되고, 두 번째 단계에서, 변조 및 코딩 방식이 무선 채널의 채널 품질에 기반하여 예비적으로 결정되며, 세 번째 단계에서, 최종 변조 및 코딩 방식은 움직임 정보 및 예비적으로 결정된 변조 및 코딩 방식에 기반하여 결정된다.
첫 번째 단계의 구현 프로세스에 대해, S203 내의 첫 번째 단계에 대한 설명이 참조된다. 본 명세서의 간결성을 위해, 세부사항은 여기서 다시 설명되지 않는다.
두 번째 단계의 구현 프로세스에서, 가상 현실 호스트는 먼저 채널 품질 및 채널 품질과 변조 및 코딩 방식 사이의 매핑 관계를 결정할 필요가 있다. 채널 품질과 변조 및 코딩 방식 간의 매핑 관계는 가상 현실 호스트에 의해 미리 저장될 수 있다. 그러므로 가상 현실 호스트는 주로 채널 품질을 결정할 필요가 있다. 가상 현실 호스트에 의해 채널 품질을 결정하는 방식은 위에서 설명되었다. 그리고, 가상 현실 호스트는 채널 품질과 변조 및 코딩 방식 사이의 저장된 매핑 관계에 기반하여 변조 및 코딩 방식을 예비적으로 결정한다. 무선 채널의 채널 품질과 변조 및 코딩 방식 사이에는 복수의 유형의 매핑 관계가 존재한다. 표 2는 예시이다. 게다가, 표 2는 채널 품질과 변조 및 코딩 방식 간의 매핑 관계의 일 예시일 뿐이며, 채널 품질과 변조 및 코딩 방식 간의 매핑 관계에 대한 한정이 아니다. 표 1에서, 무선 채널의 전송률은 무선 채널의 채널 품질을 나타내기 위한 예시로서 사용된다.
무선 채널의 전송률 변조 및 코딩 방식 변조 및 코딩 레이트
2 Gbps BPSK 300
3 Gbps QPSK 400
4 Gbps 16-QAM 600
5 Gbps 64-QAM 700
본 출원에서, 무선 채널의 채널 품질과 변조 및 코딩 방식 간의 매핑 관계는 종래 기술의 변조 및 코딩 방식(Modulation and Coding Scheme, MCS) 인덱스 테이블을 사용할 수 있거나, 또는 사용자에 의해 정의된 매핑 관계일 수 있다.
예를 들어, 가상 현실 호스트에 의해 결정된, 무선 채널의 전송률이 4Gbps 이면, 표 2에 기반하여 변조 및 코딩 방식이 16-QAM인 것으로 예비적으로 결정될 수 있다.
다음은 세 번째 단계의 구현 프로세스, 즉, 가상 현실 호스트가 움직임 정보 및 예비적으로 결정된 변조 및 코딩 방식에 기반하여 최종 변조 및 코딩 방식을 결정하는 것을 설명한다. S203과 유사하게, 가상 현실 호스트는 수신된 움직임 정보에 기반하여 장래의 제1 지속기간 동안의 가상 현실 장비의 움직임 상황을 예측하고, 이후 움직임 상황 및 예비적으로 결정된 변조 및 코딩 방식에 기반하여 최종 변조 및 코딩 방식을 결정한다. 그러므로, 세 번째 단계의 구현 프로세스도 또한 두 가지 경우로 나누어진다. 첫 번째 경우에서, 가상 현실 장비가 장래의 제1 지속기간 내에 정지 상태에 있을 때, 가상 현실 호스트가 최종 변조 및 코딩 방식을 결정하는 방법. 두 번째 경우에서, 가상 현실 장비가 장래의 제1 지속기간 내에 이동 상태에 있을 때, 가상 현실 호스트가 최종 변조 및 코딩 방식을 결정하는 방법. 가상 현실 호스트가 장래의 제1 지속기간 내의 가상 현실 장비의 움직임 상황을 예측하는 이유 및 구현은 위에서 설명되었고, 여기서 다시 설명되지 않는다. 그러므로, 다음은 두 번째 단계의 구현 프로세스의 두 가지 경우를 바로 설명한다.
첫 번째 경우에서, 가상 현실 장비가 장래의 제1 지속기간 내에 정지 상태에 있을 때, 가상 현실 호스트가 최종 변조 및 코딩 방식을 결정하는 방법.
위에서 설명한 대로, 가상 현실 호스트와 가상 현실 장비 사이의 무선 채널의 채널 품질은 어느 정도 가상 현실 장비의 움직임 상황과 관련된다. 가상 현실 호스트가 가상 현실 장비가 장래의 제1 지속기간 내에 정지 상태에 있다고 판단할 때, 채널 품질은 비교적 안정한 것으로 결정될 수 있다. 이 경우, 가상 현실 호스트는 무선 채널의 탐지된 채널 품질에 대응하는 변조 및 코딩 방식을 최종 변조 및 코딩 방식으로 바로 결정할 수 있다.
두 번째 경우에, 가상 현실 장비가 장래의 제1 지속기간 내에 이동 상태에 있을 때, 가상 현실 호스트가 최종 변조 및 코딩 방식을 결정하는 방법.
본 출원에서, 가상 현실 장비가 장래의 제1 지속기간 내에 이동 상태에 있는 것으로 가상 현실 장비가 결정할 때, 가상 현실 호스트는 움직임 정보에 기반하여 예비적으로 결정된 변조 및 코딩 방식을 조정할 수 있다. 예를 들어, 움직임 정보가 가상 현실 장비의 이동 속도가 상대적으로 낮다는 것을 지시하기 위해 사용되면, 가상 현실 호스트는 예비적으로 결정된 변조 및 코딩 방식을 제1 변조 및 코딩 방식으로 조정하며, 여기서 제1 변조 및 코딩 방식의 변조 및 코딩 레이트는 예비적으로 결정된 변조 및 코딩 방식의 변조 및 코딩 레이트보다 크거나 같다. 움직임 정보가 가상 현실 장비의 이동 속도가 상대적으로 높다는 것을 지시하기 위해 사용되면, 가상 현실 호스트는 예비적으로 결정된 변조 및 코딩 방식을 제2 변조 및 코딩 방식으로 조정하며, 여기서 제2 변조 및 코딩 방식의 변조 및 코딩 레이트는 예비적으로 결정된 변조 및 코딩 방식의 변조 및 코딩 레이트보다 작다.
이는 가상 현실 장비의 이동 속도가 상대적으로 높을 때, 즉, 가상 현실 장비에 의해 디스플레이되는 가상 현실 이미지의 내용이 빠르게 변할 때, 매 시각 전송되는 가상 현실 이미지의 프레임의 수량이 상대적으로 많기 때문이다. 가상 현실 이미지의 간섭성(coherence) 및 부드러움(fluency)을 보장하고, 프레임 에러 또는 프레임 손실의 발생 확률을 감소시키며, 이미지 재전송을 피하기 위해, 가상 현실 호스트는 상대적으로 낮은 변조 및 코딩 레이트를 갖는 변조 및 코딩 방식을 결정할 수 있다. 가상 현실 장비의 이동 속도가 상대적으로 낮을 때, 가상 현실 장비에 의해 디스플레이되는 가상 현실 이미지의 내용은 느리게 변하고, 매 시각 전송되는 가상 현실 이미지의 내용도 거의 변하지 않으며, 매 시각 전송될 필요가 있는 가상 현실 이미지의 프레임의 수량도 상대적으로 작다. 이 경우, 매우 낮은 변조 및 코딩 레이트를 갖는 변조 및 코딩 방식은 필요하지 않다. 그러므로, 가상 현실 호스트는 상대적으로 높은 변조 및 코딩 레이트를 갖는 변조 및 코딩 방식을 결정할 수 있고, 그에 따라 전송 효율이 향상된다. 대안으로, 가상 현실 장비의 이동 속도가 비교적 낮을 때, 무선 채널도 느리게 변화하고, 탐지된 채널 품질은 비교적 정확하다. 그러므로, 가상 현실 호스트는 탐지된 채널 품질에 대응하는 변조 및 코딩 방식을 최종 변조 및 코딩 방식으로 바로 결정할 수 있다.
S206. 가상 현실 호스트는 변조 및 코딩 방식에 따라 압축된 가상 현실 이미지에 대해 변조 및 코딩을 수행한다.
본 출원에서, 가상 현실 호스트가 가상 현실 이미지의 각 프레임을 압축하면, 가상 현실 호스트는 최종 변조 및 코딩 방식에 따라 압축된 가상 현실 이미지의 각 프레임에 대해 변조 및 코딩을 수행할 수 있다. 가상 현실 호스트가 복수의 가상 현실 이미지의 프레임을 함께 패키징하고 압축하면, 가상 현실 호스트는 최종 변조 및 코딩 방식에 따라 가상 현실 이미지의 압축된 패키지에 대해 변조 및 코딩을 수행할 수 있다.
S207. 가상 현실 호스트는 변조 및 코딩이 수행된 압축된 가상 현실 이미지를 가상 현실 장비에게 송신하고, 이에 상응하여, 가상 현실 장비는 변조 및 코딩이 수행된 가상 현실 이미지를 수신한다.
변조 및 코딩이 수행된 압축된 가상 현실 이미지를 수신한 후, 가상 현실 장비는 압축된 가상 현실 이미지를 획득하기 위해 가상 현실 이미지에 대해 복조 및 디코딩을 수행하고, 압축된 가상 현실 이미지를 압축 해제하며, 최종적으로 가상 현실 이미지를 디스플레이한다.
본 출원에서, 가상 현실 호스트는 가상 현실 장비의 움직임 정보에 기반하여 변조 및 코딩 방식을 결정한다. 예를 들어, 가상 현실 장비의 이동 속도가 상대적으로 높을 때, 가상 현실 장비에 의해 디스플레이되는 가상 현실 이미지의 스위칭 속도는 상대적으로 높다. 가상 현실 이미지의 간섭성(coherence) 및 부드러움(fluency)을 보장하고, 프레임 에러 또는 프레임 손실의 발생 확률을 감소시키며, 이미지 재전송을 피하기 위해, 가상 현실 호스트는 상대적으로 낮은 변조 및 코딩 속도를 갖는 변조 및 코딩 방식을 결정할 수 있다. 가상 현실 장비의 이동 속도가 비교적 낮을 때, 즉, 매 시각 전송되는 가상 현실 이미지의 프레임의 수량이 상대적으로 적을 때, 가상 현실 호스트는 상대적으로 높은 변조 및 코딩 레이트를 갖는 변조 및 코딩 방식을 결정하거나 또는 무선 채널의 채널 품질에 기반하여 변조 및 코딩 방식을 직접 결정하고, 이때 전송 효율이 향상된다. 이러한 방식으로, 결정된 변조 및 코딩 방식의 정확성이 개선되고, 사용자의 요구 사항이 보다 잘 충족될 수 있다.
요약하면, 본 출원에서, 가상 현실 호스트는 가상 현실 장비의 움직임 정보에 기반하여 이미지 압축률 및 변조 및 코딩 방식을 결정한다. 예를 들어, 가상 현실 장비의 이동 속도가 상대적으로 낮을 때, 즉, 가상 현실 장비에 의해 디스플레이되는 가상 현실 이미지의 내용이 느리게 변화할 때, 이때 상대적으로 작은 이미지 압축률이 결정되고, 변조 코딩 방식은 현재 채널 품질에 기반하여 직접 결정될 수 있다. 가상 현실 장비의 이동 속도가 상대적으로 높을 때, 즉, 가상 현실 장비에 의해 디스플레이되는 가상 현실 이미지의 내용이 빠르게 변할 때, 플래시 모션 이미지에 대해, 사람의 눈은 화질에 대한 낮은 요구 사항을 갖는다. 그러므로, 상대적으로 큰 이미지 압축률이 가상 현실 이미지의 간섭성(coherence)을 보장하기 위해 이 시점에 결정될 수 있다. 게다가, 가상 현실 호스트는 가상 현실 이미지의 간섭성(coherence)을 이중으로 보장하기 위해 상대적으로 낮은 변조 및 코딩 레이트를 갖는 변조 및 코딩 방식을 결정한다. 그러므로, 본 출원에서 제공되는 가상 현실 이미지를 송신하는 방법에서, 가상 현실 호스트는 가상 현실 장비의 움직임 정보에 기반하여 이미지 압축률 및 변조 및 코딩 방식을 결정할 수 있어서, 가상 현실 이미지의 품질을 보장할 수 있게 되고, 전송 효율을 향상시키며, 사용자 요구 사항을 보다 잘 충족시킬 수 있다.
다음은 첨부된 도면을 참조하여, 본 출원에서 제공되는 장치를 설명한다.
도 4는 가상 현실 이미지를 송신하는 장치(400)의 개략적인 구조도이다. 가상 현실 이미지를 송신하는 장치(400)는 위에서 언급된 가상 현실 호스트의 기능을 구현할 수 있다. 가상 현실 이미지를 송신하는 장치(400)는 수신부(401), 처리부(402), 및 송신부(403)를 포함할 수 있다. 수신부(401)는 도 2에 도시된 실시예의 S202를 수행하도록 구성될 수 있고, 및/또는 본 명세서 내에 설명된 기술의 또 다른 프로세스를 지원하도록 구성될 수 있다. 처리부(402)는 도 2에 도시된 실시예에서 S203 내지 S206을 수행하도록 구성될 수 있고, 및/또는 본 명세서 내에 설명된 기술의 또 다른 프로세스를 지원하도록 구성될 수 있다. 송신부(403)는 도 2에 도시된 실시예에서 S207을 수행하도록 구성될 수 있고, 및/또는 본 명세서 내에 설명된 기술의 또 다른 프로세스를 지원하도록 구성될 수 있다. 앞서 설명한 방법 실시예의 단계의 모든 관련 내용은 대응하는 기능 모듈의 기능 설명에 인용될 수 있다. 세부 사항은 여기서 다시 설명되지 않는다.
명심해야 할 것은, 본 출원에서, 가상 현실 이미지를 송신하는 장치는 기능 유닛의 형태로 디스플레이된다는 것이다. 제한 없이, 여기 사용된 용어 "부(unit)"는 주문형 집적 회로(application-specific integrated circuit, ASIC), 전자 회로, (공유, 전용, 또는 패킷) 프로세서, 및 하나 이상의 소프트웨어 또는 펌웨어 프로그램, 결합된 논리 회로, 및/또는 기능을 제공하는 또 다른 적합한 컴포넌트를 실행하는 메모리를 가리킬 수 있다.
간단한 실시예에서, 당업자는 가상 현실 이미지를 송신하는 장치(400)가 도 5에 도시된 구조를 사용하여 또한 구현될 수 있음을 알 수 있다.
도 5에 도시된 대로, 가상 현실 이미지를 송신하는 장치(500)는 메모리(501), 프로세서(502), 수신기(503), 송신기(504), 및 버스(505)를 포함할 수 있다. 메모리(501), 프로세서(502), 수신기(503), 및 송신기(504)는 버스(505)를 사용하여 연결될 수 있다. 수신기(503)는 가상 현실 장비에 의해 송신되는 제1 움직임 정보를 수신하도록 구성되며, 여기서 제1 움직임 정보는 가상 현실 장비의 현재 움직임 상황을 지시하기 위해 사용된다. 프로세서(502)는 제1 움직임 정보에 기반하여 제1 이미지 압축률을 결정하고, 제1 이미지 압축률에 기반하여 송신될 가상 현실 이미지를 압축하도록 구성된다. 송신기(504)는 압축된 가상 현실 이미지를 가상 현실 장비에게 송신하도록 구성된다. 프로세서(502), 수신기(503), 및 송신기(504)에 의해 수행되는 동작의 구체적인 구현에 대해서, 도 2의 실시예의 가상 현실 호스트에 의해 수행되는 대응 단계가 참조된다. 세부 사항은 본 출원에서 다시 설명되지 않는다.
메모리(501)는 컴퓨터 실행 가능 명령을 저장하도록 구성된다. 가상 현실 이미지를 송신하는 장치(500)가 동작 중일 때, 프로세서(502)는 앞서 설명한 기능을 구현하기 위해 메모리(501) 내에 저장된 컴퓨터 실행 가능 명령을 실행하여, 도 2에 도시된 실시예에서 제공되는 가상 현실 이미지를 송신하는 방법을 구현할 수 있다. 구체적인 이미지 촬영 방법에 대해서, 앞서 설명하고 및 첨부한 도면의 관련 설명이 참조된다. 세부 사항은 여기서 다시 설명되지 않는다.
본 출원에서, 프로세서(502)는, 필드 프로그래밍 가능 게이트 어레이(Field-programmable gate array, FPGA), 또는 애플리케이션 특정 집적 회로(application specific integrated circuit, ASIC), 또는 시스템 온 칩(system on chip, SoC), 또는 중앙 프로세서 장치(central processor unit, CPU), 또는 네트워크 프로세서(network processor, NP), 또는 디지털 신호 프로세서(digital signal processor, DSP), 또는 마이크로 컨트롤러 장치(micro controller unit, MCU), 또는 프로그래머블 로직 디바이스(programmable logic device, PLD), 또는 또 다른 통합 칩일 수 있다. 버스(505)는 주변 컴포넌트 상호 접속(Peripheral Component Interconnect, PCI) 버스, 확장 산업 표준 아키텍처(Extended Industry Standard Architecture, EISA) 버스 등일 수 있다. 버스(505)는 어드레스 버스, 데이터 버스, 제어 버스 등으로 분류될 수 있다. 표현의 용이함을 위해, 하나의 굵은 선만이 도 5의 버스를 나타내기 위해 사용되지만, 그러나 이것이 하나의 버스 또는 하나의 유형의 버스만이 있다는 것을 의미하지는 않는다.
앞서 설명한 본 발명의 앞서 설명한 실시예의 전부 또는 일부는, 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어가 실시예를 구현하기 위해 사용될 때, 실시예는 컴퓨터 프로그램 제품의 형태로 완전히 또는 부분적으로 구현될 수 있다. 컴퓨터 프로그램 제품은 하나 이상의 컴퓨터 명령을 포함한다. 컴퓨터 프로그램 명령이 컴퓨터 상에 로딩되어 실행될 때, 본 출원에 따른 절차 또는 기능이 전부 또는 부분적으로 생성된다. 컴퓨터는 범용 컴퓨터, 또는 전용 컴퓨터, 또는 컴퓨터 네트워크, 또는 다른 프로그램 가능 장치일 수 있다. 컴퓨터 명령은 컴퓨터 판독 가능 저장 매체에 저장되거나, 또는 컴퓨터 판독 가능 저장 매체로부터 다른 판독 가능 저장 매체로 전송될 수 있다. 예를 들어, 컴퓨터 명령은 웹 사이트, 또는 컴퓨터, 또는 서버, 또는 데이터 센터에서 유선(예를 들어, 동축 케이블, 또는 광섬유, 또는 디지털 가입자 회선(digital subscriber line, DSL)) 또는 무선(예를 들어, 적외선, 또는 라디오 주파수, 또는 마이크로웨이브) 방식으로 또 다른 웹 사이트, 또는 컴퓨터, 또는 서버, 또는 데이터 센터로 전송될 수 있다. 컴퓨터 판독 가능 저장 매체는, 컴퓨터에 의해 액세스 가능한 임의의 사용 가능한 매체, 또는 하나 이상의 사용 가능한 매체를 통합하는, 서버 또는 데이터 센터와 같은, 데이터 저장 장치일 수 있다. 사용 가능한 매체는 자기 매체(예를 들어, 플로피 디스크, 또는 하드 디스크, 또는 자기 테이프), 광학 매체(예를 들어, DVD), 반도체 매체(예를 들어, 솔리드 스테이트 디스크(Solid State Disk, SSD)) 등일 수 있다.
앞선 설명은 단지 본 출원의 구체적 구현일 뿐이며, 본 출원의 보호 범위를 제한하려 의도되지 않았다. 본 출원에 개시된 기술 범위 내에서 당업자에 의해 용이하게 파악되는 임의의 변형 또는 대체는 본 출원의 보호 범위 내에 속한다. 그러므로, 본 출원의 보호 범위는 청구 범위의 보호 범위로 되어야 한다.

Claims (25)

  1. 가상 현실 이미지를 송신하는 방법으로서,
    가상 현실 호스트가, 가상 현실 장비에 의해 송신되는 제1 움직임 정보(motion information)를 수신하는 단계 - 여기서 상기 제1 움직임 정보는 상기 가상 현실 장비의 현재 움직임 상황(motion status)을 지시하기 위해 사용됨 -;
    상기 가상 현실 호스트가, 상기 제1 움직임 정보에 기반하여 제1 이미지 압축률을 결정하는 단계;
    상기 가상 현실 호스트가, 상기 제1 이미지 압축률에 기반하여 송신될 가상 현실 이미지를 압축하는 단계; 및
    상기 가상 현실 호스트가, 상기 압축된 가상 현실 이미지를 상기 가상 현실 장비에게 송신하는 단계
    를 포함하는 가상 현실 이미지를 송신하는 방법.
  2. 제1항에 있어서,
    상기 가상 현실 호스트가, 상기 제1 움직임 정보에 기반하여 제1 이미지 압축률을 결정하는 단계 이전에, 상기 가상 현실 이미지를 송신하는 방법은,
    상기 가상 현실 호스트가, 무선 채널의 현재 채널 품질을 탐지하는 단계를 더 포함하고, 여기서 상기 무선 채널은 상기 가상 현실 장비 및 상기 가상 현실 호스트 사이의 통신 채널이고,
    상기 가상 현실 호스트가, 상기 제1 움직임 정보에 기반하여 제1 이미지 압축률을 결정하는 단계는,
    상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 상기 제1 이미지 압축률로서 결정하는 단계; 또는 상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 조정하고, 조정된 이미지 압축률을 상기 제1 이미지 압축률로서 사용하는 단계
    를 포함하는, 가상 현실 이미지를 송신하는 방법.
  3. 제2항에 있어서,
    상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 상기 제1 이미지 압축률로서 결정하는 단계는,
    상기 가상 현실 장비의 과거 움직임 정보(historical motion information) 및 상기 제1 움직임 정보에 기반하여, 상기 가상 현실 장비가 장래의 제1 지속기간에 정지 상태(stationary state)에 있다는 것을 결정하면, 상기 가상 현실 호스트가, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 상기 제1 이미지 압축률로서 결정하는 단계
    를 포함하는, 가상 현실 이미지를 송신하는 방법.
  4. 제2항에 있어서,
    상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 조정하는 것은,
    상기 가상 현실 장비의 과거 움직임 정보(historical motion information) 및 상기 제1 움직임 정보에 기반하여, 상기 가상 현실 장비가 장래의 제1 지속기간에 이동 상태(moving state)에 있다는 것을 결정하면, 상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 조정하는 단계
    를 포함하는, 가상 현실 이미지를 송신하는 방법.
  5. 제2항 또는 제4항에 있어서,
    상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 조정하는 것은,
    상기 제1 움직임 정보가, 상기 가상 현실 장비의 이동 속도(moving rate)가 제1 속도보다 작거나 같다는 것을 지시하기 위해 사용되면, 상기 가상 현실 호스트가, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 감소시키는 것, 또는
    상기 제1 움직임 정보가, 상기 가상 현실 장비의 이동 속도가 제2 속도보다 크다는 것을 지시하기 위해 사용되면, 상기 가상 현실 호스트가, 상기 탐지된 채널 품질에 대응하는 상기 제1 이미지 압축률을 증가시키는 것을 포함하고, 여기서
    상기 제1 속도는 상기 제2 속도보다 작거나 같은, 가상 현실 이미지를 송신하는 방법.
  6. 제2항 내지 제5항 중 어느 한 항에 있어서,
    상기 가상 현실 호스트가, 무선 채널의 현재 채널 품질을 탐지하는 단계 이후에, 상기 가상 현실 이미지를 송신하는 방법은,
    상기 가상 현실 호스트가 무선 채널의 채널 품질 및 변조 및 코딩 방식(modulation and coding scheme) 사이의 매핑 관계에 기반하여, 상기 탐지된 채널 품질에 대응하는 변조 및 코딩 방식을 결정하는 단계, 및
    상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 제1 변조 및 코딩 방식으로서 결정하는 단계, 또는 상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 조정하고, 조정된 변조 및 코딩 방식을 제1 변조 및 코딩 방식으로서 사용하는 단계를 더 포함하고,
    상기 가상 현실 호스트가, 상기 압축된 가상 현실 이미지를 상기 가상 현실 장비에게 송신하는 단계 이전에, 상기 가상 현실 이미지를 송신하는 방법은,
    상기 가상 현실 호스트가, 상기 제1 변조 및 코딩 방식에 따라 상기 압축된 가상 현실 이미지에 대해 변조 및 코딩을 수행하는 단계를 더 포함하며,
    상기 가상 현실 호스트가, 상기 압축된 가상 현실 이미지를 상기 가상 현실 장비에게 송신하는 단계는,
    상기 가상 현실 호스트가, 변조 및 코딩이 수행된 상기 압축된 가상 현실 이미지를 상기 가상 현실 장비에게 송신하는 단계
    를 포함하는, 가상 현실 이미지를 송신하는 방법.
  7. 제6항에 있어서,
    상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 제1 변조 및 코딩 방식으로서 결정하는 단계는,
    상기 가상 현실 장비의 상기 과거 움직임 정보 및 상기 제1 움직임 정보에 기반하여, 상기 가상 현실 장비가 상기 장래의 제1 지속기간에 정지 상태(stationary state)에 있다는 것을 결정하면, 상기 가상 현실 호스트가, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 상기 제1 변조 및 코딩 방식으로서 결정하는 단계
    를 포함하는, 가상 현실 이미지를 송신하는 방법.
  8. 제6항에 있어서,
    상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 조정하는 것은,
    상기 가상 현실 장비의 상기 과거 움직임 정보 및 상기 제1 움직임 정보에 기반하여, 상기 가상 현실 장비가 상기 장래의 제1 지속기간에 이동 상태(moving state)에 있다는 것을 결정하면, 상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 조정하는 것
    을 포함하는, 가상 현실 이미지를 송신하는 방법.
  9. 제8항에 있어서,
    상기 가상 현실 호스트가 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 조정하는 것은,
    상기 제1 움직임 정보가, 상기 가상 현실 장비의 상기 이동 속도가 제1 속도보다 작거나 또는 같다는 것을 지시하기 위해 사용되면, 상기 가상 현실 호스트가, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 제2 변조 및 코딩 방식으로 조정하는 것 - 여기서 상기 제2 변조 및 코딩 방식의 변조 및 코딩률은 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식의 변조 및 코딩률보다 큼 -; 또는
    상기 제1 움직임 정보가, 상기 가상 현실 장비의 상기 이동 속도가 제2 속도보다 큰 것을 지시하기 위해 사용되면, 상기 가상 현실 호스트가, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 제3 변조 및 코딩 방식으로 조정하는 것을 포함하고, 여기서 상기 제3 변조 및 코딩 방식의 변조 및 코딩률은 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식의 상기 변조 및 코딩률보다 작고, 여기서
    상기 제1 속도는 상기 제2 속도보다 작은, 가상 현실 이미지를 송신하는 방법.
  10. 제2항에 있어서,
    상기 제1 움직임 정보는 상기 가상 현실 장비의 현재 위치 정보를 지시하기 위해 사용되고, 상기 가상 현실 호스트가, 무선 채널의 현재 채널 품질을 탐지하는 단계는,
    상기 가상 현실 호스트가 상기 위치 정보에 기반하여 제1 각도의 범위 이내에서, 360도 범위 내에 분포된, 상기 가상 현실 장비에 의해 생성된 적어도 하나의 무선 전송 방향으로부터 제1 무선 전송 방향을 결정하는 단계 - 여기서 상기 제1 각도는 0도 보다는 크고 360도 보다는 작음 -; 및
    상기 가상 현실 호스트가, 상기 제1 무선 전송 방향 내에서 무선 채널의 현재 채널 품질을 탐지하는 단계
    를 포함하는, 가상 현실 이미지를 송신하는 방법.
  11. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 제1 움직임 정보는, 상기 가상 현실 장비의 속도 정보, 가속도 정보, 각속도 정보, 및 각가속도 정보 중 하나 이상을 포함하는, 가상 현실 이미지를 송신하는 방법.
  12. 가상 현실 이미지를 송신하는 장치로서,
    가상 현실 장비에 의해 송신되는 제1 움직임 정보(motion information)를 수신하도록 구성된 수신부 - 여기서 상기 제1 움직임 정보는 상기 가상 현실 장비의 현재 움직임 상황(motion status)을 지시하기 위해 사용됨 -;
    상기 제1 움직임 정보에 기반하여 제1 이미지 압축률을 결정하고, 상기 제1 이미지 압축률에 기반하여 송신될 가상 현실 이미지를 압축하도록 구성된 처리부; 및
    상기 압축된 가상 현실 이미지를 상기 가상 현실 장비에게 송신하도록 구성된 송신부
    를 포함하는 가상 현실 이미지를 송신하는 장치.
  13. 제12항에 있어서,
    상기 처리부는 또한,
    무선 채널의 현재 채널 품질을 탐지하고 - 여기서 상기 무선 채널은 상기 가상 현실 장비 및 상기 가상 현실 이미지 송신 장치 사이의 통신 채널임 -;
    무선 채널의 채널 품질 및 이미지 압축률 사이의 매핑 관계에 기반하여, 탐지된 채널 품질에 대응하는 이미지 압축률을 결정하도록 구성되고,
    상기 처리부는 구체적으로,
    상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 상기 제1 이미지 압축률로서 결정하거나; 또는 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 조정하고, 조정된 이미지 압축률을 상기 제1 이미지 압축률로서 사용하도록 구성된, 가상 현실 이미지를 송신하는 장치.
  14. 제13항에 있어서,
    상기 처리부는 구체적으로,
    상기 가상 현실 장비의 과거 움직임 정보(historical motion information) 및 상기 제1 움직임 정보에 기반하여, 상기 가상 현실 장비가 장래의 제1 지속기간에 정지 상태(stationary state)에 있다는 것을 결정하면, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 상기 제1 이미지 압축률로서 결정하도록 구성된, 가상 현실 이미지를 송신하는 장치.
  15. 제13항에 있어서,
    상기 처리부는 구체적으로,
    상기 가상 현실 장비의 과거 움직임 정보(historical motion information) 및 상기 제1 움직임 정보에 기반하여, 상기 가상 현실 장비가 장래의 제1 지속기간에 이동 상태(moving state)에 있다는 것을 결정하면, 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 조정하도록 구성된, 가상 현실 이미지를 송신하는 장치.
  16. 제13항 또는 제15항에 있어서,
    상기 처리부는 구체적으로,
    상기 제1 움직임 정보가, 상기 가상 현실 장비의 이동 속도(moving rate)가 제1 속도보다 작거나 같다는 것을 지시하기 위해 사용되면, 상기 탐지된 채널 품질에 대응하는 상기 이미지 압축률을 감소시키거나, 또는
    상기 제1 움직임 정보가, 상기 가상 현실 장비의 이동 속도가 제2 속도보다 크다는 것을 지시하기 위해 사용되면, 상기 탐지된 채널 품질에 대응하는 상기 제1 이미지 압축률을 증가시키도록 구성되고, 여기서
    상기 제1 속도는 상기 제2 속도보다 작거나 같은, 가상 현실 이미지를 송신하는 장치.
  17. 제13항 내지 제16항 중 어느 한 항에 있어서,
    상기 처리부는 또한,
    무선 채널의 채널 품질 및 변조 및 코딩 방식(modulation and coding scheme) 사이의 매핑 관계에 기반하여, 상기 탐지된 채널 품질에 대응하는 변조 및 코딩 방식을 결정하고;
    상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 제1 변조 및 코딩 방식으로서 결정하거나, 또는 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 조정하고, 조정된 변조 및 코딩 방식을 제1 변조 및 코딩 방식으로서 사용하며,
    상기 제1 변조 및 코딩 방식에 따라 상기 압축된 가상 현실 이미지에 대해 변조 및 코딩을 수행하도록 구성되고,
    상기 송신부는 구체적으로, 변조 및 코딩이 수행된 상기 압축된 가상 현실 이미지를 상기 가상 현실 장비에게 송신하도록 구성된, 가상 현실 이미지를 송신하는 장치.
  18. 제17항에 있어서,
    상기 처리부는 구체적으로,
    상기 가상 현실 장비의 상기 과거 움직임 정보 및 상기 제1 움직임 정보에 기반하여, 상기 가상 현실 장비가 상기 장래의 제1 지속기간에 정지 상태(stationary state)에 있다는 것을 결정하면, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 상기 제1 변조 및 코딩 방식으로서 결정하도록 구성된, 가상 현실 이미지를 송신하는 장치.
  19. 제17항에 있어서,
    상기 처리부는 구체적으로,
    상기 가상 현실 장비의 상기 과거 움직임 정보 및 상기 제1 움직임 정보에 기반하여, 상기 가상 현실 장비가 상기 장래의 제1 지속기간에 이동 상태(moving state)에 있다는 것을 결정하면, 상기 제1 움직임 정보에 기반하여, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 조정하도록 구성된, 가상 현실 이미지를 송신하는 장치.
  20. 제19항에 있어서,
    상기 처리부는 구체적으로,
    상기 제1 움직임 정보가, 상기 가상 현실 장비의 상기 이동 속도가 제1 속도보다 작거나 또는 같다는 것을 지시하기 위해 사용되면, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 제2 변조 및 코딩 방식으로 조정하거나 - 여기서 상기 제2 변조 및 코딩 방식의 변조 및 코딩률은 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식의 변조 및 코딩률보다 큼 -; 또는
    상기 제1 움직임 정보가, 상기 가상 현실 장비의 상기 이동 속도가 제2 속도보다 큰 것을 지시하기 위해 사용되면, 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식을 제3 변조 및 코딩 방식으로 조정하도록 구성되고, 여기서 상기 제3 변조 및 코딩 방식의 변조 및 코딩률은 상기 탐지된 채널 품질에 대응하는 상기 변조 및 코딩 방식의 상기 변조 및 코딩률보다 작고, 여기서
    상기 제1 속도는 상기 제2 속도보다 작은, 가상 현실 이미지를 송신하는 장치.
  21. 제13항에 있어서,
    상기 제1 움직임 정보는 상기 가상 현실 장비의 현재 위치 정보를 지시하기 위해 사용되고, 상기 처리부는 구체적으로,
    상기 위치 정보에 기반하여 제1 각도의 범위 이내에서, 360도 범위 내에 분포된, 상기 가상 현실 장비에 의해 생성된 적어도 하나의 무선 전송 방향으로부터 제1 무선 전송 방향을 결정하고 - 여기서 상기 제1 각도는 0도 보다는 크고 360도 보다는 작음 -; 및
    상기 제1 무선 전송 방향 내에서 무선 채널의 현재 채널 품질을 탐지하도록 구성된, 가상 현실 이미지를 송신하는 장치.
  22. 제12항 내지 제20항 중 어느 한 항에 있어서,
    상기 제1 움직임 정보는, 상기 가상 현실 장비의 속도 정보, 가속도 정보, 각속도 정보, 및 각가속도 정보 중 하나 이상을 포함하는, 가상 현실 이미지를 송신하는 장치.
  23. 가상 현실 이미지를 송신하는 장치로서,
    프로세서 및 메모리를 포함하고, 여기서
    상기 메모리는 컴퓨터 실행가능 명령을 저장하도록 구성되고, 상기 프로세서가 상기 명령을 실행할 때, 상기 이미지 촬영 장치는 청구항 제1항 내지 제11항 중 어느 한 항에 따른 상기 가상 현실 이미지 송신 방법을 수행할 수 있게 되는, 가상 현실 이미지를 송신하는 장치.
  24. 컴퓨터 판독가능 저장 매체로서,
    명령을 포함하고, 여기서 상기 명령이 컴퓨터 상에서 구동될 때, 상기 컴퓨터는 청구항 제1항 내지 제11항 중 어느 한 항에 따른 상기 가상 현실 이미지를 송신하는 방법을 수행할 수 있게 되는, 컴퓨터 판독가능 저장 매체.
  25. 컴퓨터 프로그램 제품으로서,
    명령을 포함하고, 여기서 상기 컴퓨터 프로그램 제품이 컴퓨터 상에서 구동될 때, 상기 컴퓨터는 청구항 제1항 내지 제11항 중 어느 한 항에 따른 상기 가상 현실 이미지를 송신하는 방법을 수행할 수 있게 되는, 컴퓨터 프로그램 제품.
KR1020197030873A 2017-03-22 2017-07-07 가상 현실 이미지를 송신하는 방법 및 장치 KR102296139B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710175242 2017-03-22
CN201710175242.8 2017-03-22
PCT/CN2017/092285 WO2018171084A1 (zh) 2017-03-22 2017-07-07 一种虚拟现实图像发送方法及装置

Publications (2)

Publication Number Publication Date
KR20190132434A true KR20190132434A (ko) 2019-11-27
KR102296139B1 KR102296139B1 (ko) 2021-08-30

Family

ID=63586109

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197030873A KR102296139B1 (ko) 2017-03-22 2017-07-07 가상 현실 이미지를 송신하는 방법 및 장치

Country Status (8)

Country Link
US (1) US11402894B2 (ko)
EP (1) EP3591502B1 (ko)
JP (1) JP6873268B2 (ko)
KR (1) KR102296139B1 (ko)
CN (1) CN109074152B (ko)
AU (1) AU2017405914B2 (ko)
CA (1) CA3057180C (ko)
WO (1) WO2018171084A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110391831B (zh) * 2019-09-04 2021-09-14 联想(北京)有限公司 一种建立波束连接的方法、装置及电子设备
US20230120092A1 (en) * 2020-03-06 2023-04-20 Sony Group Corporation Information processing device and information processing method
US11652513B2 (en) * 2021-08-17 2023-05-16 Cisco Technology, Inc. Wireless reliability for devices in motion
CN113824746B (zh) * 2021-11-25 2022-02-18 山东信息职业技术学院 一种虚拟现实信息传输方法及虚拟现实系统
US11870852B1 (en) * 2023-03-31 2024-01-09 Meta Platforms Technologies, Llc Systems and methods for local data transmission

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140001167A (ko) * 2012-06-26 2014-01-06 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
KR20160092136A (ko) * 2015-01-26 2016-08-04 한국전자통신연구원 가상 데스크탑 제공 방법 및 가상 데스크탑 제공 서버

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0973129A3 (en) * 1998-07-17 2005-01-12 Matsushita Electric Industrial Co., Ltd. Motion image data compression system
US6351499B1 (en) * 1999-12-15 2002-02-26 Iospan Wireless, Inc. Method and wireless systems using multiple antennas and adaptive control for maximizing a communication parameter
KR100619031B1 (ko) * 2004-06-11 2006-08-31 삼성전자주식회사 부가 데이터의 인터랙티브한 이용방법 및 장치, 그에 따른수신장치
US8749556B2 (en) * 2008-10-14 2014-06-10 Mixamo, Inc. Data compression for real-time streaming of deformable 3D models for 3D animation
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US9897805B2 (en) 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US9055027B2 (en) * 2012-02-13 2015-06-09 Lenovo (Beijing) Co., Ltd. Transmission method and electronic device
KR101995958B1 (ko) * 2012-11-28 2019-07-03 한국전자통신연구원 스마트 글래스 기반 영상 처리 장치 및 방법
JP6397243B2 (ja) * 2014-07-22 2018-09-26 キヤノン株式会社 表示装置、制御方法、及びプログラム
US9840003B2 (en) 2015-06-24 2017-12-12 Brain Corporation Apparatus and methods for safe navigation of robotic devices
CN106293043B (zh) * 2015-06-29 2023-11-10 北京智谷睿拓技术服务有限公司 可视化内容传输控制方法、发送方法、及其装置
WO2017044795A1 (en) * 2015-09-10 2017-03-16 Google Inc. Playing spherical video on a limited bandwidth connection
CN105117111B (zh) * 2015-09-23 2019-11-15 小米科技有限责任公司 虚拟现实交互画面的渲染方法和装置
US20170287097A1 (en) * 2016-03-29 2017-10-05 Ati Technologies Ulc Hybrid client-server rendering in a virtual reality system
US9965899B2 (en) * 2016-04-28 2018-05-08 Verizon Patent And Licensing Inc. Methods and systems for minimizing pixel data transmission in a network-based virtual reality media delivery configuration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140001167A (ko) * 2012-06-26 2014-01-06 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
KR20160092136A (ko) * 2015-01-26 2016-08-04 한국전자통신연구원 가상 데스크탑 제공 방법 및 가상 데스크탑 제공 서버

Also Published As

Publication number Publication date
AU2017405914A1 (en) 2019-10-17
CA3057180A1 (en) 2018-09-27
EP3591502A4 (en) 2020-05-06
EP3591502A1 (en) 2020-01-08
CN109074152B (zh) 2021-01-05
US11402894B2 (en) 2022-08-02
CA3057180C (en) 2022-06-28
CN109074152A (zh) 2018-12-21
JP6873268B2 (ja) 2021-05-19
EP3591502B1 (en) 2024-03-13
AU2017405914B2 (en) 2021-06-10
US20200064907A1 (en) 2020-02-27
WO2018171084A1 (zh) 2018-09-27
JP2020520133A (ja) 2020-07-02
KR102296139B1 (ko) 2021-08-30

Similar Documents

Publication Publication Date Title
KR102296139B1 (ko) 가상 현실 이미지를 송신하는 방법 및 장치
US10861215B2 (en) Asynchronous time and space warp with determination of region of interest
US10397297B2 (en) Method and apparatus for transmitting and receiving image data for virtual-reality streaming service
US10776992B2 (en) Asynchronous time warp with depth data
JP2019507509A (ja) 仮想現実コンテンツのビデオレンダリング速度の調整および立体画像の処理
US20210240257A1 (en) Hiding latency in wireless virtual and augmented reality systems
WO2020140758A1 (zh) 图像显示方法、图像处理方法和相关设备
KR20190055064A (ko) 화각 가상 현실 스트리밍을 위한 세션 제어 지원을 위한 방법 및 장치
US20220312057A1 (en) Method and device for transmitting video content by using edge computing service
US20220301184A1 (en) Accurate optical flow interpolation optimizing bi-directional consistency and temporal smoothness
EP3860109A1 (en) Method for processing vr video, and related apparatus
CN109766006B (zh) 虚拟现实场景的显示方法、装置及设备
US20240033624A1 (en) 5g optimized game rendering
KR20200028069A (ko) 타일 영상의 영상 처리 방법 및 장치
US20230079171A1 (en) Image content transmitting method and device using edge computing service
CN114690894A (zh) 一种实现显示处理的方法、装置、计算机存储介质及终端
KR102114466B1 (ko) 영상 컨텐츠 내 관심 영역 정보를 이용한 영상 디스플레이 방법 및 장치
CN113885983A (zh) 名片展示方法、智能终端及可读存储介质
WO2023288071A1 (en) Systems and methods of wireless triggering buffer status reporting for transmission streams
CN117082441A (zh) 数据传输方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant