KR101981868B1 - 가상 현실 비디오 품질 제어 - Google Patents

가상 현실 비디오 품질 제어 Download PDF

Info

Publication number
KR101981868B1
KR101981868B1 KR1020170170822A KR20170170822A KR101981868B1 KR 101981868 B1 KR101981868 B1 KR 101981868B1 KR 1020170170822 A KR1020170170822 A KR 1020170170822A KR 20170170822 A KR20170170822 A KR 20170170822A KR 101981868 B1 KR101981868 B1 KR 101981868B1
Authority
KR
South Korea
Prior art keywords
image
quality
movement speed
video
image data
Prior art date
Application number
KR1020170170822A
Other languages
English (en)
Inventor
류은석
류영일
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020170170822A priority Critical patent/KR101981868B1/ko
Priority to PCT/KR2018/015794 priority patent/WO2019117628A1/ko
Application granted granted Critical
Publication of KR101981868B1 publication Critical patent/KR101981868B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 명세서에 개시된 착용형 영상 표시 장치에서의 영상 품질 제어 방법은 착용형 영상 표시 장치의 특성에 따른 영상 품질 전환을 위한 시선 이동 속력의 임계 값을 판단하는 동작; 상기 착용형 영상 표시 장치의 사용자의 시선 이동 속력을 측정하는 동작; 및 상기 시선 이동 속력과 상기 임계 값의 비교 결과에 따라 전송될 비디오 영상에 대한 품질 조절을 요청하는 동작을 포함한다.

Description

가상 현실 비디오 품질 제어{VIRTUAL REALITY VIDEO QUALITY CONTROL}
본 명세서는 가상 현실 비디오의 품질을 제어하는 것에 관한 것이다.
최근 가상 현실 기술 및 장비의 발달과 함께 머리장착형 영상장치(Head-Mounted Display; HMD)와 같은 착용 가능한 기기들이 선보이고 있다. 머리장착형 영상장치를 통한 여러 서비스 시나리오 중에는 가장 대표적으로 실시간 360도 영상 전송 서비스가 있다. 360도 영상 전송 시스템은 다수의 카메라를 사용하여 360도 영상을 취득하고, 취득된 영상을 부호화 하여 사용자가 착용하고 있는 머리장착형 영상장치로 전송한다. 전송된 영상은 복호화 후, 360도 가상공간에 맵핑(Mapping) 되어 사용자에게 제공되게 된다. 이 때, HMD가 사용자의 눈과 매우 가까운 위치에서 영상을 재생하기 때문에 이질감 없는 몰입감을 사용자에게 제공하기 위해서는 UHD (Ultra High Definition) 급 이상의 영상을 이용할 필요성이 있는데, 이 경우 증가된 비디오 데이터의 양으로 인하여 사용자 단말 및 영상전송 시스템에서 대역폭을 확보하고 빠른 응답속도를 지원하기 위한 방법에 대한 필요성이 발생하게 되었다.
360도 영상전송 시스템은, 증가된 비디오 데이터의 양을 처리하기 위한 사용자 단말 및 영상전송 시스템의 대역폭 확보와 빠른 응답속도 지원을 위해서 360도 영상을 서브영역으로 분할하여 특정 서브영역들만 선택적으로 전송하는 타일링 기술과 스케일러블 영상 부호화 기술을 적용하는데, 사용자의 시선변화가 빠르고 자주 일어나면, 전송해야 하는 고품질 영상 정보가 증가하게 되어 영상전송 요구 대역폭 절감효과가 저하된다. 따라서, 대역폭 확보와 빠른 응답속도 지원을 위해서 타일링 기술과 스케일러블 영상 부호화 기술을 활용하는 의미가 없어지게 되기 때문에 이러한 문제를 해결하기 위한 방법이 필요하게 되었다.
본 명세서는 착용형 영상 표시 장치에서의 영상 품질 제어 방법을 제시한다. 상기 착용형 영상 표시 장치에서의 영상 품질 제어 방법은 착용형 영상 표시 장치의 특성에 따른 영상 품질 전환을 위한 시선 이동 속력의 임계 값을 판단하는 동작; 상기 착용형 영상 표시 장치의 사용자의 시선 이동 속력을 측정하는 동작; 및 상기 시선 이동 속력과 상기 임계 값의 비교 결과에 따라 전송될 비디오 영상에 대한 품질 조절을 요청하는 동작을 포함할 수 있다.
상기 방법 및 그 밖의 실시 예는 다음과 같은 특징을 포함할 수 있다.
상기 시선 이동 속력과 상기 임계 값의 비교 결과에 따라 전송될 비디오 영상에 대한 품질 조절을 요청하는 동작은 상기 시선 이동 속력이 상기 임계 값보다 작은 경우, 제1 품질의 영상 데이터의 전송을 요청하고, 상기 시선 이동 속력이 상기 임계 값과 같거나 큰 경우, 상기 시선 이동 속력이 증가하고 있으면, 상기 제1 품질보다 낮은 제2 품질의 영상 데이터의 전송을 요청하고, 상기 시선 이동 속력이 증가하고 있지 않으면, 상기 제1 품질의 영상 데이터의 전송을 요청할 수 있다.
또한, 상기 제1 품질의 영상 데이터는 현재 전송 중인 비디오 영상에 대한 고화질의 영상 데이터, 기본 계층 영상 데이터 및 향상 계층 영상 데이터 중 적어도 하나를 포함하고, 상기 제2 품질의 영상 데이터는 상기 현재 전송 중인 비디오 영상에 대한 저화질 영상 데이터, 상기 기본 계층 영상 데이터 중 적어도 하나를 포함할 수 있다.
또한, 상기 제1 품질의 영상 데이터와 상기 제2 품질의 영상 데이터는 영상의 화질, 영상의 프레임 수, 영상의 해상도, 영상의 스캔 방식을 포함하는 영상 품질 요소의 차이로 품질이 서로 달라질 수 있다.
또한, 상기 시선 이동 속력과 상기 임계 값의 비교 결과에 따라 전송될 비디오 영상에 대한 품질 조절을 요청하는 동작은 상기 제2 품질의 영상 데이터가 전송되는 중에 상기 시선 이동 속력이 상기 임계 값보다 작아지거나, 또는 상기 시선 이동 속력이 증가하고 있지 않으면, 상기 제1 품질의 영상 데이터의 전송을 요청할 수 있다.
또한, 상기 제2 품질의 영상 데이터가 전송되는 중에 상기 시선 이동 속력이 상기 임계 값보다 작아지거나, 또는 상기 시선 이동 속력이 증가하고 있지 않으면, 상기 제1 품질의 영상 데이터의 전송을 요청하는 것은 상기 비디오 영상의 향상 계층 영상 데이터의 전송을 요청하되, 전송 품질 전환 시 발생하는 지연시간동안 상기 비디오 영상의 업샘플링된 기본 계층(Upsampled Base Layer) 영상 데이터를 상기 지연시간동안 재생하고, 상기 향상 계층 영상 데이터가 수신되면, 상기 제1 품질의 비디오 영상을 출력할 수 있다.
또한, 상기 시선 이동 속력과 상기 임계 값의 비교 결과에 따라 품질이 조절된 비디오 영상의 전송을 요청하는 동작은 상기 시선 이동 속력이 상기 임계 값보다 작은 경우, 제1 품질의 영상 데이터의 전송을 요청하고, 상기 시선 이동 속력이 상기 임계 값과 같거나 큰 경우, 상기 제1 품질보다 낮은 제2 품질의 영상 데이터의 전송을 요청할 수 있다.
또한, 상기 제1 품질의 영상 데이터는 현재 전송 중인 비디오 영상에 대한 고화질 영상 데이터, 기본 계층 영상 데이터 및 향상 계층 영상 데이터 중 적어도 하나를 포함하고, 상기 제2 품질의 영상 데이터는 상기 현재 전송 중인 비디오 영상에 대한 저화질 영상 데이터, 상기 기본 계층 영상 데이터 중 적어도 하나를 포함할 수 있다.
또한, 상기 영상 품질 전환을 위한 시선 이동 속력의 임계 값은 상기 사용자가 시선 이동을 할 때, 서로 다른 품질의 영상에 대해 품질의 차이를 인지하지 못하는 시선 이동 속력이며, 상기 임계 값은 상기 착용형 영상 표시 장치의 특성에 따라 달라질 수 있다.
한편, 본 명세서는 비디오 서버의 영상 전송 방법을 제시한다. 상기 비디오 서버의 영상 전송 방법은 착용형 영상 표시 장치로부터 제1 품질의 영상 데이터의 전송 요청 메시지를 수신하는 동작; 상기 제1 품질의 영상 데이터의 전송 요청에 대응하여 비디오 영상에 대한 상기 제1 품질의 영상 데이터를 상기 착용형 영상 표시 장치로 전송하는 동작; 상기 착용형 영상 표시 장치로부터 상기 제1 품질보다 낮은 제2 품질의 영상 데이터의 전송 요청 메시지를 수신하는 동작; 및 상기 제2 품질의 영상 데이터의 전송 요청에 대응하여 상기 비디오 영상에 대한 상기 제2 품질의 영상 데이터를 상기 착용형 영상 표시 장치로 전송하는 동작을 포함하되, 상기 제2 품질의 영상 데이터를 상기 착용형 영상 표시 장치로 전송하는 중에 상기 제1 품질의 영상 데이터의 전송 요청 메시지를 수신하면, 전송 품질 전환 시 발생하는 지연시간동안 상기 제2 품질의 영상 데이터의 업샘플링된 영상 데이터를 상기 착용형 영상 표시 장치로 전송한 후, 상기 제1 품질의 영상 데이터를 상기 착용형 영상 표시 장치로 전송할 수 있다.
상기 방법 및 그 밖의 실시 예는 다음과 같은 특징을 포함할 수 있다.
상기 제1 품질의 영상 데이터는 현재 전송 중인 비디오 영상의 기본 계층 영상 데이터 및 향상 계층 영상 데이터를 포함하고, 상기 제2 품질의 영상 데이터는 상기 기본 계층 영상 데이터를 포함하되, 상기 업샘플링된 영상 데이터는 상기 기본 계층 영상 데이터의 업샘플링된 영상 데이터일 수 있다.
한편, 본 명세서는 영상 품질 제어 방법을 제시한다. 상기 영상 품질 제어 방법은 착용형 영상 표시 장치가 장치 특성에 따른 영상 품질 전환을 위한 시선 이동 속력의 임계 값을 판단하는 동작; 상기 착용형 영상 표시 장치가 사용자의 시선 이동 속력을 측정하는 동작; 상기 착용형 영상 표시 장치가 상기 시선 이동 속력과 상기 임계 값의 비교 결과에 따라 품질이 조절된 비디오 영상의 전송을 비디오 서버에 요청하는 동작; 및 상기 비디오 서버가 상기 비디오 영상의 전송 요청에 대응하여 상기 착용형 영상 표시 장치로 상기 품질이 조절된 비디오 영상을 전송하는 동작을 포함할 수 있다.
상기 방법 및 그 밖의 실시 예는 다음과 같은 특징을 포함할 수 있다.
상기 착용형 영상 표시 장치는, 상기 비교 결과 상기 시선 이동 속력이 상기 임계 값보다 작은 경우, 제1 품질의 영상 데이터의 전송을 상기 비디오 서버에 요청하고, 상기 비교 결과 상기 시선 이동 속력이 상기 임계 값과 같거나 큰 경우, 상기 시선 이동 속력이 증가하고 있으면, 상기 제1 품질보다 낮은 제2 품질의 영상 데이터의 전송을 상기 비디오 서버에 요청하고, 상기 시선 이동 속력이 증가하고 있지 않으면, 상기 제1 품질의 영상 데이터의 전송을 상기 비디오 서버에 요청할 수 있다.
또한, 상기 비디오 서버는 상기 제1 품질의 영상 데이터의 전송 요청에 대응하여 상기 비디오 영상에 대한 상기 제1 품질의 영상 데이터를 상기 착용형 영상 표시 장치로 전송하고, 상기 제2 품질의 영상 데이터의 전송 요청에 대응하여 상기 비디오 영상에 대한 상기 제2 품질의 영상 데이터를 상기 착용형 영상 표시 장치로 전송할 수 있다.
또한, 상기 비디오 서버는 상기 제2 품질의 영상 데이터를 상기 착용형 영상 표시 장치로 전송하는 중에 상기 제1 품질의 영상 데이터의 전송 요청 메시지를 수신하면, 전송 품질 전환 시 발생하는 지연시간동안 상기 제2 품질의 영상 데이터의 업샘플링된 영상 데이터를 상기 착용형 영상 표시 장치로 전송한 후, 상기 제1 품질의 영상 데이터를 상기 착용형 영상 표시 장치로 전송할 수 있다.
또한, 상기 영상 품질 전환을 위한 시선 이동 속력의 임계 값은 상기 사용자가 시선 이동을 할 때, 서로 다른 품질의 영상에 대해 품질의 차이를 인지하지 못하는 시선 이동 속력이며, 상기 임계 값은 상기 착용형 영상 표시 장치의 특성에 따라 달라질 수 있다.
한편, 본 명세서는 착용형 영상 표시 장치를 제시한다. 상기 착용형 영상 표시 장치는 착용형 영상 표시 장치 특성에 따른 영상 품질 전환을 위한 시선 이동 속력의 임계 값을 판단하는 임계 속력 판단부; 상기 착용형 영상 표시 장치의 사용자의 시선 이동 속력을 측정하는 시선 이동 속력 측정부; 상기 시선 이동 속력과 상기 임계 값의 비교 결과에 따라 전송될 비디오 영상의 품질 조절을 요청하는 메시지를 생성하는 제어부; 및 상기 비디오 영상의 품질 조절 요청 메시지를 외부로 전송하고, 상기 비디오 영상을 수신하는 통신부를 포함할 수 있다.
상기 장치 및 그 밖의 실시 예는 다음과 같은 특징을 포함할 수 있다.
상기 제어부는 상기 시선 이동 속력이 상기 임계 값보다 작은 경우 및 상기 시선 이동 속력이 상기 임계 값과 같거나 클 때, 상기 시선 이동 속력이 증가하고 있지 않는 경우, 상기 비디오 영상에 대한 서로 다른 품질의 영상 데이터 중 높은 품질의 영상 데이터의 전송을 요청할 수 있다.
또한, 상기 영상 품질 전환을 위한 시선 이동 속력의 임계 값은 상기 사용자가 시선 이동을 할 때, 서로 다른 품질의 영상에 대해 품질의 차이를 인지하지 못하는 시선 이동 속력이며, 상기 임계 값은 상기 착용형 영상 표시 장치의 특성에 따라 달라질 수 있다.
한편, 본 명세서에는 착용형 영상 표시 장치에서의 영상 품질 제어 방법이 제시한다. 상기 착용형 영상 표시 장치에서의 영상 품질 제어 방법은 착용형 영상 표시 장치의 특성에 따른 영상 품질 전환을 위한 시선 이동 속력의 임계 값을 판단하는 동작; 상기 착용형 영상 표시 장치의 사용자의 시선 이동 속력을 측정하는 동작; 및 상기 시선 이동 속력과 상기 임계 값의 비교 결과에 따라 전송될 스케일러블 비디오 영상에 대한 품질 조절을 요청하는 동작을 포함하되, 상기 시선 이동 속력이 상기 임계 값보다 작은 경우 및 상기 시선 이동 속력이 상기 임계 값과 같거나 클 때, 상기 시선 이동 속력이 증가하고 있지 않는 경우, 상기 스케일러블 비디오 영상의 향상 계층 영상 데이터의 전송을 요청할 수 있다.
상기 방법 및 그 밖의 실시 예는 다음과 같은 특징을 포함할 수 있다.
기본 계층 영상 데이터가 전송되는 중에 상기 향상 계층 영상 데이터의 전송을 요청하면, 전송 품질 전환 시 발생하는 지연시간동안 상기 스케일러블 비디오 영상의 업샘플링된 기본 계층 영상 데이터를 수신하고, 상기 지연시간 이후, 상기 향상 계층 영상 데이터를 수신하는 동작을 더 포함할 수 있다.
본 명세서에 개시된 실시 예들에 의하면, 360도 영상을 제공하는 가상 현실 영상 제공 시스템에서, 사용자의 시선 이동으로 인해 증가된 비디오 데이터의 양을 처리하기 위한 영상 수신 장치 및 영상 전송 시스템의 대역폭을 확보할 수 있고, 빠른 응답속도를 지원할 수 있게 된다.
또한, 본 명세서에 개시된 실시 예들에 의하면, 가상 현실 영상 제공 시스템에서, 사용자의 잦은 시선 이동 및 빠른 시선 이동에도 전송될 비디오 데이터의 양을 효율적으로 조절할 수 있는 효과가 있다.
도 1은 가상 현실 영상을 제공하는 예시적인 가상 현실 시스템을 도시한다.
도 2는 예시적인 스케일러블 비디오 코딩 서비스를 나타낸 도면이다.
도 3은 서버 디바이스의 예시적인 구성을 나타낸 도면이다.
도 4는 인코더의 예시적인 구조를 나타낸 도면이다.
도 5는 관심 영역을 시그널링하는 예시적인 방법을 나타낸 도면이다
도 6은 클라이언트 디바이스의 예시적인 구성을 나타낸 도면이다.
도 7은 제어부의 예시적인 구성을 나타낸 도면이다.
도 8은 디코더의 예시적인 구성을 나타낸 도면이다.
도 9는 착용형 영상 표시 장치에서 영상 품질을 제어하는 예시적인 방법을 나타낸 도면이다.
도 10은 시선 이동 속력의 변화에 따라 영상 품질이 제어되는 예를 도시한 도이다.
도 11은 향상 계층 비디오 데이터의 재전송 모드 진입 시, 에러 은닉하는 예시적인 방법을 나타낸 도면이다.
도 12는 비디오 서버에서의 가상 현실 영상을 전송하는 예시적인 방법에 대해서 설명한다.
도 13은 가상현실 시스템에서의 영상 품질 제어 방법을 예시적으로 설명한다.
도 14는 시선 이동 속력에 따라 전송 영상의 품질을 제어할 수 있는 착용형 영상 표시 장치의 예시적인 구성을 나타낸 도면이다.
도 15는 영상 품질 조절을 위한 신호 체계를 위한 예시적인 국제 비디오 표준에서의 OMAF 구문을 도시한다.
도 16은 XML 형태로 표현된 예시적인 타일 정보 구문을 도시한다.
본 명세서에 개시된 기술은 가상 현실 시스템에 적용될 수 있다. 그러나 본 명세서에 개시된 기술은 이에 한정되지 않고, 상기 기술의 기술적 사상이 적용될 수 있는 모든 전자 장치 및 방법에도 적용될 수 있다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 명세서에 개시된 기술의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 명세서에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥 상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 가상 현실 영상을 제공하는 예시적인 가상 현실 시스템을 도시한다.
가상 현실 시스템은 가상 현실 영상을 생성하는 가상 현실 영상 생성 장치, 상기 입력된 가상 현실 영상을 인코딩하여 전송하는 서버 디바이스, 및 상기 전송된 가상 현실 영상을 디코딩하여 사용자에게 출력하는 하나 이상의 클라이언트 디바이스를 포함하도록 구성될 수 있다.
도 1은 가상 현실 영상 생성 장치(110), 서버 디바이스(120), 및 하나 이상의 클라이언트 디바이스(130)가 포함된 가상 현실 시스템(100)을 도시한다. 상기 가상 현실 시스템(100)은 360도 영상 제공 시스템으로 불릴 수 있다. 도 1에 도시된 각 구성요소들의 수는 예시적인 것일 뿐 이에 제한되지 아니한다.
상기 가상 현실 영상 생성 장치(110)는 적어도 하나 이상의 카메라 모듈을 포함하여 자신이 위치하고 있는 공간에 대한 영상을 촬영함으로써 공간 영상을 생성할 수 있다.
상기 서버 디바이스(120)는 상기 가상 현실 영상 생성 장치(110)에서 생성되어 입력된 공간 영상을 스티칭(Image stitching), 프로젝션(Projection), 맵핑(Mapping)하여 360도 영상을 생성하고, 상기 생성된 360도 영상을 원하는 품질의 비디오 데이터로 조절한 뒤 인코딩(Encoding; 부호화)할 수 있다.
또한, 상기 서버 디바이스(120)는 상기 인코딩된 360도 영상에 대한 비디오 데이터와 시그널링 데이터를 포함하는 비트스트림을 네트워크(통신망)을 통해서 클라이언트 디바이스(130)로 전송할 수 있다.
상기 클라이언트 디바이스(130)는 수신된 비트스트림을 디코딩(Decoding; 복호화)하여 상기 클라이언트 디바이스(130)를 착용한 사용자에게 360도 영상을 출력할 수 있다. 상기 클라이언트 디바이스(130)는 머리장착형 영상장치(Head-Mounted Display; HMD)와 같은 근안 디스플레이(Near-eye display) 장치일 수 있다.
한편, 상기 가상 현실 영상 생성 장치(110)는 컴퓨터 시스템으로 구성되어 컴퓨터 그래픽으로 구현된 가상의 360도 공간에 대한 영상을 생성할 수도 있다. 또한, 상기 가상 현실 영상 생성 장치(110)는 가상 현실 게임 등의 가상 현실 콘텐츠의 공급자 일 수 있다.
클라이언트 디바이스(130)는 해당 클라이언트 디바이스(130)를 사용하는 사용자로부터 사용자 데이터를 획득할 수 있다. 사용자 데이터는 사용자의 영상 데이터, 음성 데이터, 뷰포트 데이터(시선 데이터), 관심 영역 데이터 및 부가 데이터를 포함할 수 있다.
예를 들어, 클라이언트 디바이스(130)는 사용자의 영상 데이터를 획득하는 2D/3D 카메라 및 Immersive 카메라 중에서 적어도 하나를 포함할 수 있다. 2D/3D 카메라는 180도 이하의 시야각을 가지는 영상을 촬영할 수 있다. Immersive 카메라는 360도 이하의 시야각을 가지는 영상을 촬영할 수 있다.
예를 들어, 클라이언트 디바이스(130)는 제1 장소에 위치한 제1 사용자의 사용자 데이터를 획득하는 제1 클라이언트 디바이스(131), 제2 장소에 위치한 제2 사용자의 사용자 데이터를 획득하는 제2 클라이언트 디바이스(133), 및 제3 장소에 위치한 제3 사용자의 사용자 데이터를 획득하는 제3 클라이언트 디바이스(135) 중에서 적어도 하나를 포함할 수 있다.
그리고 나서, 각각의 클라이언트 디바이스(130)는 획득한 사용자 데이터를 네트워크를 통하여 서버 디바이스(120)로 전송할 수 있다.
서버 디바이스(120)는 클라이언트 디바이스(130)로부터 적어도 하나의 사용자 데이터를 수신할 수 있다. 서버 디바이스(120)는 수신한 사용자 데이터를 기초로 가상 공간에 대한 전체 영상을 생성할 수 있다. 상기 전체 영상은 가상 공간 내에서 360도 방향의 영상을 제공하는 immersive 영상을 나타낼 수 있다. 서버 디바이스(120)는 사용자 데이터에 포함된 영상 데이터를 가상 공간에 매핑하여 전체 영상을 생성할 수 있다.
그리고 나서, 서버 디바이스(120)는 전체 영상을 각 사용자에게 전송할 수 있다.
각각의 클라이언트 디바이스(130)는 전체 영상을 수신하고, 각 사용자가 바라보는 영역 만큼을 가상 공간에 렌더링 및/또는 디스플레이할 수 있다.
도 2는 예시적인 스케일러블 비디오 코딩 서비스를 나타낸 도면이다.
스케일러블 비디오 코딩 서비스는 다양한 멀티미디어 환경에서 네트워크의 상황 혹은 단말기의 해상도 등과 같은 다양한 사용자 환경에 따라 시간적, 공간적, 그리고 화질 관점에서 계층적(Scalable)으로 다양한 서비스를 제공하기 위한 영상 압축 방법이다. 스케일러블 비디오 코딩 서비스는 일반적으로 해상도(Spatial resolution), 품질(Quality), 및 시간(Temporal) 측면에서의 계층성(Scalability)을 제공한다.
공간적 계층성(Spatial scalability)은 동일한 영상에 대해 각 계층별로 다른 해상도를 가지고 부호화함으로써 서비스할 수 있다. 공간적 계층성을 이용하여 디지털 TV, 노트북, 스마트 폰 등 다양한 해상도를 갖는 디바이스에 대해 적응적으로 영상 콘텐츠를 제공하는 것이 가능하다.
도면을 참고하면, 스케일러블 비디오 코딩 서비스는 VSP(비디오 서비스 프로바이더; Video Service Provider)로부터 가정 내의 홈 게이트웨이 (Home Gateway)를 통해 동시에 하나 이상의 서로 다른 특성을 가진 TV를 지원할 수 있다. 예를 들어, 스케일러블 비디오 코딩 서비스는 서로 다른 해상도(Resolution)를 가지는 HDTV (High-Definition TV), SDTV (Standard-Definition TV), 및 LDTV (Low-Definition TV)를 동시에 지원할 수 있다.
시간적 계층성(Temporal scalability)은 콘텐츠가 전송되는 네트워크 환경 또는 단말기의 성능을 고려하여 영상의 프레임 레이트(Frame rate)를 적응적으로 조절할 수 있다. 예를 들어, 근거리 통신망을 이용하는 경우에는 60FPS(Frame Per Second)의 높은 프레임 레이트로 서비스를 제공하고, 3G 모바일 네트워크와 같은 무선 광대역 통신망을 사용하는 경우에는 16FPS의 낮은 프레임 레이트로 콘텐츠를 제공함으로써, 사용자가 영상을 끊김 없이 받아볼 수 있도록 서비스를 제공할 수 있다.
품질 계층성(Quality scalability) 또한 네트워크 환경이나 단말기의 성능에 따라 다양한 화질의 콘텐츠를 서비스함으로써, 사용자가 영상 콘텐츠를 안정적으로 재생할 수 있도록 한다.
스케일러블 비디오 코딩 서비스는 각각 기본 계층 (Base layer)과 하나 이상의 향상 계층 (Enhancement layer(s))을 포함할 수 있다. 수신기는 기본 계층만 받았을 때는 일반 화질의 영상을 제공하고, 기본 계층 및 향상 계층을 함께 받으면 고화질을 제공할 수 있다. 즉, 기본 계층과 하나 이상의 향상 계층이 있을 때, 기본 계층을 받은 상태에서 향상 계층 (예: Enhancement layer 1, enhancement layer 2, …, enhancement layer n)을 더 받으면 받을수록 화질이나 제공하는 영상의 품질이 좋아진다.
이와 같이, 스케일러블 비디오 코딩 서비스의 영상은 복수개의 계층으로 구성되어 있으므로, 수신기는 적은 용량의 기본 계층 데이터를 빨리 전송 받아 일반적 화질의 영상을 빨리 처리하여 재생하고, 필요 시 향상 계층 영상 데이터까지 추가로 받아서 서비스의 품질을 높일 수 있다.
도 3은 서버 디바이스의 예시적인 구성을 나타낸 도면이다.
서버 디바이스(300)는 제어부(310) 및/또는 통신부(320)를 포함할 수 있다.
제어부(310)는 가상 공간에 대한 전체 영상을 생성하고, 생성된 전체 영상을 인코딩할 수 있다. 또한, 제어부(310)는 서버 디바이스(300)의 모든 동작을 제어할 수 있다. 구체적인 내용은 이하에서 설명한다.
통신부(320)는 외부 장치 및/또는 클라이언트 디바이스로 데이터를 전송 및/또는 수신할 수 있다. 예를 들어, 통신부(320)는 적어도 하나의 클라이언트 디바이스로부터 사용자 데이터 및/또는 시그널링 데이터를 수신할 수 있다. 또한, 통신부(320)는 가상 공간에 대한 전체 영상 및/또는 일부의 영역에 대한 영상을 클라이언트 디바이스로 전송할 수 있다.
제어부(310)는 시그널링 데이터 추출부(311), 영상 생성부(313), 관심 영역 판단부(315), 시그널링 데이터 생성부(317), 및/또는 인코더(319) 중에서 적어도 하나를 포함할 수 있다.
시그널링 데이터 추출부(311)는 클라이언트 디바이스로부터 전송 받은 데이터로부터 시그널링 데이터를 추출할 수 있다. 예를 들어, 시그널링 데이터는 영상 구성 정보를 포함할 수 있다. 상기 영상 구성 정보는 가상 공간 내에서 사용자의 시선 방향을 지시하는 시선 정보 및 사용자의 시야각을 지시하는 줌 영역 정보를 포함할 수 있다. 또한, 상기 영상 구성 정보는 가상 공간 내에서 사용자의 뷰포트 정보를 포함할 수 있다.
영상 생성부(313)는 가상 공간에 대한 전체 영상 및 가상 공간 내의 특정 영역에 대한 영상을 생성할 수 있다.
관심 영역 판단부(315)는 가상 공간의 전체 영역 내에서 사용자의 시선 방향에 대응되는 관심 영역을 판단할 수 있다. 또한, 가상 공간의 전체 영역 내에서 사용자의 뷰포트를 판단할 수 있다. 예를 들어, 관심 영역 판단부(315)는 시선 정보 및/또는 줌 영역 정보를 기초로 관심 영역을 판단할 수 있다. 예를 들어, 관심 영역은 사용자가 보게 될 가상의 공간에서 중요 오브젝트가 위치할 타일의 위치(예를 들어, 게임 등에서 새로운 적이 등장하는 위치, 가상 공간에서의 화자의 위치), 및/또는 사용자의 시선이 바라보는 곳일 수 있다. 또한, 관심 영역 판단부(315)는 가상 공간의 전체 영역 내에서 사용자의 시선 방향에 대응되는 관심 영역을 지시하는 관심 영역 정보와 사용자의 뷰포트에 대한 정보를 생성할 수 있다.
시그널링 데이터 생성부(317)는 전체 영상을 처리하기 위한 시그널링 데이터를 생성할 수 있다. 예를 들어, 시그널링 데이터는 관심 영역 정보 및/또는 뷰포트 정보를 전송할 수 있다. 시그널링 데이터는 SEI (Supplement Enhancement Information), VUI (video usability information), 슬라이스 헤더 (Slice Header), 및 비디오 데이터를 서술하는 파일 중에서 적어도 하나를 통하여 전송될 수 있다.
인코더(319)는 시그널링 데이터를 기초로 전체 영상을 인코딩할 수 있다. 예를 들어, 인코더(319)는 각 사용자의 시선 방향을 기초로 각 사용자에게 커스터마이즈된 방식으로 전체 영상을 인코딩할 수 있다. 예를 들어, 가상 공간 내에서 사용자가 특정 지점을 바라보는 경우, 인코더는 가상 공간 내의 사용자 시선을 기초로 특정 지점에 해당하는 영상은 고화질로 인코딩하고, 상기 특정 지점 이외에 해당하는 영상은 저화질로 인코딩할 수 있다. 실시예에 따라서, 인코더(319)는 시그널링 데이터 추출부(311), 영상 생성부(313), 관심 영역 판단부(315), 및/또는 시그널링 데이터 생성부(317) 중에서 적어도 하나를 포함할 수 있다.
이하에서는 관심 영역을 이용한 예시적인 영상 전송 방법을 설명한다.
서버 디바이스는, 통신부를 이용하여, 적어도 하나의 클라이언트 디바이스로부터 비디오 데이터 및 시그널링 데이터를 수신할 수 있다. 또한, 서버 디바이스는, 시그널링 데이터 추출부를 이용하여, 시그널링 데이터를 추출할 수 있다. 예를 들어, 시그널링 데이터는 시점 정보 및 줌 영역 정보를 포함할 수 있다.
시선 정보는 사용자가 가상 공간 내에서 어느 영역(지점)을 바라보는지 여부를 지시할 수 있다. 가상 공간 내에서 사용자가 특정 영역을 바라보면, 시선 정보는 사용자에서 상기 특정 영역으로 향하는 방향을 지시할 수 있다.
줌 영역 정보는 사용자의 시선 방향에 해당하는 비디오 데이터의 확대 범위 및/또는 축소 범위를 지시할 수 있다. 또한, 줌 영역 정보는 사용자의 시야각을 지시할 수 있다. 줌 영역 정보의 값을 기초로 비디오 데이터가 확대되면, 사용자는 특정 영역만을 볼 수 있다. 줌 영역 정보의 값을 기초로 비디오 데이터가 축소되면, 사용자는 특정 영역뿐만 아니라 상기 특정 영역 이외의 영역 일부 및/또는 전체를 볼 수 있다.
그리고 나서, 서버 디바이스는, 영상 생성부를 이용하여, 가상 공간에 대한 전체 영상을 생성할 수 있다.
그리고 나서, 서버 디바이스는, 관심 영역 판단부를 이용하여, 시그널링 데이터를 기초로 가상 공간 내에서 각 사용자가 바라보는 시점 및 줌(zoom) 영역에 대한 영상 구성 정보를 파악할 수 있다.
그리고 나서, 서버 디바이스는, 관심 영역 판단부를 이용하여, 영상 구성 정보를 기초로 사용자의 관심 영역을 결정할 수 있다.
시그널링 데이터(예를 들어, 시점 정보 및 줌 영역 정보 중에서 적어도 하나)가 변경될 경우, 서버 디바이스는 새로운 시그널링 데이터를 수신할 수 있다. 이 경우, 서버 디바이스는 새로운 시그널링 데이터를 기초로 새로운 관심 영역을 결정할 수 있다.
그리고 나서, 서버 디바이스는, 제어부를 이용하여, 시그널링 데이터를 기초로 현재 처리하는 데이터가 관심 영역에 해당하는 데이터인지 아닌지 여부를 판단할 수 있다.
시그널링 데이터가 변경되는 경우, 서버 디바이스는 새로운 시그널링 데이터를 기초로 현재 처리하는 데이터가 관심 영역에 해당하는 데이터인지 아닌지 여부를 판단할 수 있다.
관심 영역에 해당하는 데이터일 경우, 서버 디바이스는, 인코더를 이용하여, 사용자의 시점에 해당하는 비디오 데이터(예를 들어, 관심 영역)는 고품질로 인코딩할 수 있다. 예를 들어, 서버 디바이스는 해당 비디오 데이터에 대하여 기본 계층 비디오 데이터 및 향상 계층 비디오 데이터를 생성하고, 이들을 전송할 수 있다.
시그널링 데이터가 변경되는 경우, 서버 디바이스는 새로운 시점에 해당하는 비디오 데이터(새로운 관심 영역)는 고품질의 영상으로 전송할 수 있다. 기존에 서버 디바이스가 저품질의 영상을 전송하고 있었으나 시그널링 데이터가 변경되어 서버 디바이스가 고품질의 영상을 전송하는 경우, 서버 디바이스는 향상 계층 비디오 데이터를 추가로 생성 및/또는 전송할 수 있다.
관심 영역에 해당하지 않는 데이터일 경우, 서버 디바이스는 사용자의 시점에 해당하지 않는 비디오 데이터(예를 들어, 비-관심 영역)은 저품질로 인코딩할 수 있다. 예를 들어, 서버 디바이스는 사용자의 시점에 해당하지 않는 비디오 데이터에 대하여 기본 계층 비디오 데이터만 생성하고, 이들을 전송할 수 있다.
시그널링 데이터가 변경되는 경우, 서버 디바이스는 새로운 사용자의 시점에 해당하지 않는 비디오 데이터(새로운 비-관심 영역)은 저품질의 영상으로 전송할 수 있다. 기존에 서버 디바이스가 고품질의 영상을 전송하고 있었으나 시그널링 데이터가 변경되어 서버 디바이스가 저품질의 영상을 전송하는 경우, 서버 디바이스는 더 이상 적어도 하나의 향상 계층 비디오 데이터를 생성 및/또는 전송하지 않고, 기본 계층 비디오 데이터만을 생성 및/또는 전송할 수 있다.
즉, 기본 계층 비디오 데이터를 수신했을 때의 비디오 데이터의 화질은 향상 계층 비디오 데이터까지 받았을 때의 비디오 데이터의 화질보다는 낮으므로, 클라이언트 디바이스는 사용자가 고개를 돌린 정보를 센서 등으로부터 얻는 순간에, 사용자의 시선 방향에 해당하는 비디오 데이터(예를 들어, 관심 영역)에 대한 향상 계층 비디오 데이터를 수신할 수 있다. 그리고, 클라이언트 디바이스는 짧은 시간 내에 고화질의 비디오 데이터를 사용자에게 제공할 수 있다.
도 4는 인코더의 예시적인 구조를 나타낸 도면이다.
인코더(400, 영상 부호화 장치)는 기본 계층 인코더(410), 적어도 하나의 향상 계층 인코더(420), 및 다중화기(430) 중에서 적어도 하나를 포함할 수 있다.
인코더(400)는 스케일러블 비디오 코딩 방법을 사용하여 전체 영상을 인코딩할 수 있다. 스케일러블 비디오 코딩 방법은 SVC(Scalable Video Coding) 및/또는 SHVC(Scalable High Efficiency Video Coding)를 포함할 수 있다.
스케일러블 비디오 코딩 방법은 다양한 멀티미디어 환경에서 네트워크의 상황 혹은 단말기의 해상도 등과 같은 다양한 사용자 환경에 따라서 시간적, 공간적, 및 화질 관점에서 계층적(Scalable)으로 다양한 서비스를 제공하기 위한 영상 압축 방법이다. 예를 들어, 인코더(400)는 동일한 비디오 데이터에 대하여 두 가지 이상의 다른 품질(또는 해상도, 프레임 레이트)의 영상들을 인코딩하여 비트스트림을 생성할 수 있다.
예를 들어, 인코더(400)는 비디오 데이터의 압축 성능을 높이기 위해서 계층 간 중복성을 이용한 인코딩 방법인 계층간 예측 툴(Inter-layer prediction tools)을 사용할 수 있다. 계층 간 예측 툴은 계층 간에 존재하는 영상의 중복성을 제거하여 향상 계층(Enhancement Layer; EL)에서의 압출 효율을 높이는 기술이다.
향상 계층은 계층 간 예측 툴을 이용하여 참조 계층(Reference Layer)의 정보를 참조하여 인코딩될 수 있다. 참조 계층이란 향상 계층 인코딩 시 참조되는 하위 계층을 말한다. 여기서, 계층 간 툴을 사용함으로써 계층 사이에 의존성(Dependency)이 존재하기 때문에, 최상위 계층의 영상을 디코딩하기 위해서는 참조되는 모든 하위 계층의 비트스트림이 필요하다. 중간 계층에서는 디코딩 대상이 되는 계층과 그 하위 계층들의 비트스트림 만을 획득하여 디코딩을 수행할 수 있다. 최하위 계층의 비트스트림은 기본 계층(Base Layer; BL)으로써, H.264/AVC, HEVC 등의 인코더로 인코딩될 수 있다.
기본 계층 인코더(410)는 전체 영상을 인코딩하여 기본 계층을 위한 기본 계층 비디오 데이터(또는 기본 계층 비트스트림)를 생성할 수 있다. 예를 들어, 기본 계층 비디오 데이터는 사용자가 가상 공간 내에서 바라보는 전체 영역을 위한 비디오 데이터를 포함할 수 있다. 기본 계층의 영상은 가장 낮은 화질의 영상일 수 있다.
향상 계층 인코더(420)는, 시그널링 데이터(예를 들어, 관심 영역 정보) 및 기본 계층 비디오 데이터를 기초로, 전체 영상을 인코딩하여 기본 계층으로부터 예측되는 적어도 하나의 향상 계층을 위한 적어도 하나의 향상 계층 비디오 데이터(또는 향상 계층 비트스트림)를 생성할 수 있다. 향상 계층 비디오 데이터는 전체 영역 내에서 관심 영역을 위한 비디오 데이터를 포함할 수 있다.
다중화기(430)는 기본 계층 비디오 데이터, 적어도 하나의 향상 계층 비디오 데이터, 및/또는 시그널링 데이터를 멀티플렉싱하고, 전체 영상에 해당하는 하나의 비트스트림을 생성할 수 있다.
도 5는 관심 영역을 시그널링하는 예시적인 방법을 나타낸 도면이다.
도 5를 참조하면, 스케일러블 비디오에서의 관심 영역을 시그널링하는 방법을 나타낸다.
서버 디바이스(또는 인코더)는 하나의 비디오 데이터(또는 픽처)를 직사각형 모양을 갖는 여러 타일(Tile)들로 분할할 수 있다. 예를 들어, 비디오 데이터는 Coding Tree Unit(CTU) 단위를 경계로 분할될 수 있다. 예를 들어, 하나의 CTU는 Y CTB, Cb CTB, 및 Cr CTB를 포함할 수 있다.
서버 디바이스는 빠른 사용자 응답을 위해서 기본 계층의 비디오 데이터는 타일(Tile)로 분할하지 않고 전체적으로 인코딩할 수 있다. 그리고, 서버 디바이스는 하나 이상의 향상 계층들의 비디오 데이터는 필요에 따라서 일부 또는 전체를 여러 타일(Tile)들로 분할하여 인코딩할 수 있다.
즉, 서버 디바이스는 향상 계층의 비디오 데이터는 적어도 하나의 타일로 분할하고, 관심 영역(510, ROI, Region of Interest)에 해당하는 타일들을 인코딩할 수 있다.
이 때, 관심 영역(510)은 가상 공간에서 사용자가 보게 될 중요 오브젝트(Object)가 위치할 타일들의 위치 (e.g. 게임 등에서 새로운 적이 등장하는 위치, 화상 통신에서 가상공간에서의 화자의 위치), 및/또는 사용자의 시선이 바라보는 곳에 해당할 수 있다.
또한, 서버 디바이스는 관심 영역에 포함 되는 적어도 하나의 타일을 식별하는 타일 정보를 포함하는 관심 영역 정보를 생성할 수 있다. 예를 들어, 관심 영역 정보는 관심 영역 판단부, 시그널링 데이터 생성부, 및/또는 인코더에 의해서 생성될 수 있다.
관심 영역(510)의 타일 정보는 연속적이므로 모든 타일의 번호를 다 갖지 않더라도 효과적으로 압축될 수 있다. 예를 들어, 타일 정보는 관심 영역에 해당하는 모든 타일의 번호들뿐만 아니라 타일의 시작과 끝 번호, 좌표점 정보, CU (Coding Unit) 번호 리스트, 수식으로 표현된 타일 번호를 포함할 수 있다.
비-관심 영역의 타일 정보는 인코더가 제공하는 Entropy coding을 거친 후 다른 클라이언트 디바이스, 영상 프로세싱 컴퓨팅 장비, 및/또는 서버로 전송될 수 있다.
관심 영역 정보는 세션 정보를 실어 나르는 고수준 구문 프로토콜(High-Level Syntax Protocol)을 통해 전해질 수 있다. 또한, 관심 영역 정보는 비디오 표준의 SEI (Supplement Enhancement Information), VUI (video usability information), 슬라이스 헤더 (Slice Header) 등의 패킷 단위에서 전해질 수 있다. 또한, 관심 영역 정보는 비디오 파일을 서술하는 별도의 파일로(e.g. DASH의 MPD) 전달될 수 있다.
이하에서는, 단일 화면 비디오에서의 관심 영역을 시그널링하는 방법을 나타낸다.
본 명세서의 예시적인 기술은 스케일러블 비디오가 아닌 단일 화면 영상에서는 일반적으로 관심 영역(ROI)이 아닌 영역을 Downscaling (Downsampling)하는 방식으로 화질을 떨어뜨리는 기법을 사용할 수 있다. 종래 기술은 서비스를 이용하는 단말 간에 downscaling 을 위해 쓴 필터(filter) 정보를 공유하지 않고, 처음부터 한가지 기술로 약속을 하거나 인코더만 필터 정보를 알고 있다.
하지만, 서버 디바이스는, 인코딩 된 영상을 전달 받는 클라이언트 디바이스(또는 HMD 단말)에서 downscaling된 관심 영역 외 영역의 화질을 조금이라도 향상 시키기 위해, 인코딩 시에 사용된 필터 정보를 클라이언트 디바이스로 전달할 수 있다. 이 기술은 실제로 영상 처리 시간을 상당히 줄일 수 있으며, 화질 향상을 제공할 수 있다.
전술한 바와 같이, 서버 디바이스는 관심 영역 정보를 생성할 수 있다. 예를 들어, 관심 영역 정보는 타일 정보뿐만 아니라 필터 정보를 더 포함할 수 있다. 예를 들어, 필터 정보는 약속된 필터 후보들의 번호, 필터에 사용된 값들을 포함할 수 있다.
도 6은 클라이언트 디바이스의 예시적인 구성을 나타낸 도면이다.
클라이언트 디바이스(600)는 영상 입력부(610), 오디오 입력부(620), 센서부(630), 영상 출력부(640), 오디오 출력부(650), 통신부(660), 및/또는 제어부(670) 중에서 적어도 하나를 포함할 수 있다. 예를 들어, 클라이언트 디바이스(600)는 HMD(Head-Mounted Display)일 수 있다. 또한, 클라이언트 디바이스(600)의 제어부(670)는 클라이언트 디바이스(600)에 포함될 수도 있고, 별도의 장치로 존재할 수도 있다.
영상 입력부(610)는 비디오 데이터를 촬영할 수 있다. 영상 입력부(610)는 사용자의 영상을 획득하는 2D/3D 카메라 및/또는 Immersive 카메라 중에서 적어도 하나를 포함할 수 있다. 2D/3D 카메라는 180도 이하의 시야각을 가지는 영상을 촬영할 수 있다. Immersive 카메라는 360도 이하의 시야각을 가지는 영상을 촬영할 수 있다.
오디오 입력부(620)는 사용자의 음성을 녹음할 수 있다. 예를 들어, 오디오 입력부(620)는 마이크를 포함할 수 있다.
센서부(630)는 사용자 시선의 움직임에 대한 정보를 획득할 수 있다. 예를 들어, 센서부(630)는 물체의 방위 변화를 감지하는 자이로 센서, 이동하는 물체의 가속도나 충격의 세기를 측정하는 가속도 센서, 및 사용자의 시선 방향을 감지하는 외부 센서를 포함할 수 있다. 실시예에 따라서, 센서부(630)는 영상 입력부(610) 및 오디오 입력부(620)를 포함할 수도 있다.
영상 출력부(640)는 통신부(660)로부터 수신되거나 메모리(미도시)에 저장된 영상 데이터를 출력할 수 있다.
오디오 출력부(650)는 통신부(660)로부터 수신되거나 메모리에 저장된 오디오 데이터를 출력할 수 있다.
통신부(660)는 방송망, 무선통신망 및/또는 브로드밴드를 통해서 외부의 클라이언트 디바이스 및/또는 서버 디바이스와 통신할 수 있다. 예를 들어, 통신부(660)는 데이터를 전송하는 전송부(미도시) 및/또는 데이터를 수신하는 수신부(미도시)를 포함할 수 있다.
제어부(670)는 클라이언트 디바이스(600)의 모든 동작을 제어할 수 있다. 제어부(670)는 서버 디바이스로부터 수신한 비디오 데이터 및 시그널링 데이터를 처리할 수 있다. 제어부(670)에 대한 구체적인 내용은 이하에서 설명한다.
도 7은 제어부의 예시적인 구성을 나타낸 도면이다.
제어부(700)는 시그널링 데이터 및/또는 비디오 데이터를 처리할 수 있다. 제어부(700)는 시그널링 데이터 추출부(710), 디코더(720), 시선 판단부(730), 및/또는 시그널링 데이터 생성부(740) 중에서 적어도 하나를 포함할 수 있다.
시그널링 데이터 추출부(710)는 서버 디바이스 및/또는 다른 클라이언트 디바이스로부터 전송 받은 데이터로부터 시그널링 데이터를 추출할 수 있다. 예를 들어, 시그널링 데이터는 관심 영역 정보를 포함할 수 있다.
디코더(720)는 시그널링 데이터를 기초로 비디오 데이터를 디코딩할 수 있다. 예를 들어, 디코더(720)는 각 사용자의 시선 방향을 기초로 각 사용자에게 커스터마이즈된 방식으로 전체 영상을 디코딩할 수 있다. 예를 들어, 가상 공간 내에서 사용자가 특정 영역을 바라보는 경우, 디코더(720)는 가상 공간 내의 사용자 시선을 기초로 특정 영역에 해당하는 영상은 고화질로 디코딩하고, 특정 영역 이외에 해당하는 영상은 저화질로 디코딩할 수 있다. 실시예에 따라서, 디코더(720)는 시그널링 데이터 추출부(710), 시선 판단부(730), 및/또는 시그널링 데이터 생성부(740) 중에서 적어도 하나를 포함할 수 있다.
시선 판단부(730)는 가상 공간 내에서 사용자의 시선을 판단하고, 영상 구성 정보를 생성할 수 있다. 예를 들어, 영상 구성 정보는 시선 방향을 지시하는 시선 정보 및/또는 사용자의 시야각을 지시하는 줌 영역 정보를 포함할 수 있다.
시그널링 데이터 생성부(740)는 서버 디바이스 및/또는 다른 클라이언트 디바이스로 전송하기 위한 시그널링 데이터를 생성할 수 있다. 예를 들어, 시그널링 데이터는 영상 구성 정보를 전송할 수 있다. 시그널링 데이터는 세션 정보를 실어 나르는 고수준 구문 프로토콜(High-Level Syntax Protocol)을 통해 전해질 수 있다. 시그널링 데이터는 SEI (Supplement Enhancement Information), VUI (video usability information), 슬라이스 헤더 (Slice Header), 및 비디오 데이터를 서술하는 파일 중에서 적어도 하나를 통하여 전송될 수 있다.
도 8은 디코더의 예시적인 구성을 나타낸 도면이다.
디코더(800)는 추출기(810), 기본 계층 디코더(820), 및/또는 적어도 하나의 향상 계층 디코더(830) 중에서 적어도 하나를 포함할 수 있다.
디코더(800)는 스케일러블 비디오 코딩 방법의 역 과정을 이용하여 비트스트림(비디오 데이터)을 디코딩할 수 있다.
추출기(810)는 비디오 데이터 및 시그널링 데이터를 포함하는 비트스트림(비디오 데이터)을 수신하고, 재생하고자 하는 영상의 화질에 따라서 비트스트림을 선택적으로 추출할 수 있다. 예를 들어, 비트스트림(비디오 데이터)은 기본 계층을 위한 기본 계층 비트스트림(기본 계층 비디오 데이터) 및 기본 계층으로부터 예측되는 적어도 하나의 향상 계층을 위한 적어도 하나의 향상 계층 비트스트림(향상 계층 비디오 데이터)을 포함할 수 있다. 기본 계층 비트스트림(기본 계층 비디오 데이터)는 가상 공간의 전체 영역을 위한 위한 비디오 데이터를 포함할 수 있다. 적어도 하나의 향상 계층 비트스트림(향상 계층 비디오 데이터)는 전체 영역 내에서 관심 영역을 위한 비디오 데이터를 포함할 수 있다.
또한, 시그널링 데이터는 화상 회의 서비스를 위한 가상 공간의 전체 영역 내에서 사용자의 시선 방향에 대응되는 관심 영역을 지시하는 관심 영역 정보를 포함할 수 있다.
기본 계층 디코더(820)는 저화질 영상을 위한 기본 계층의 비트스트림(또는 기본 계층 비디오 데이터)를 디코딩할 수 있다.
향상 계층 디코더(830)는 시그널링 데이터 및/또는 기본 계층의 비트스트림(또는 기본 계층 비디오 데이터)를 기초로 고화질 영상을 위한 적어도 하나의 향상 계층의 비트스트림(또는 향상 계층 비디오 데이터)를 디코딩할 수 있다.
이하에서는, 사용자 시선의 움직임에 실시간으로 대응하기 위한 영상 구성 정보를 생성하는 방법에 대하여 설명한다.
영상 구성 정보는 사용자의 시선 방향을 지시하는 시선 정보 및/또는 사용자의 시야각을 지시하는 줌 영역 정보 중에서 적어도 하나를 포함할 수 있다. 사용자 시선이란 실제 공간이 아닌 가상 공간 내에서 사용자가 바라보는 방향을 의미한다. 또한, 시선 정보는 현재 사용자의 시선 방향을 지시하는 정보뿐만 아니라, 미래에 사용자의 시선 방향을 지시하는 정보(예를 들어, 주목을 받을 것이라 예상되는 시선 지점에 대한 정보)를 포함할 수 있다.
클라이언트 디바이스는 사용자를 중심으로 가상 공간 내에 위치하는 특정한 영역을 바라보는 동작을 센싱하고, 이를 처리할 수 있다.
클라이언트 디바이스는, 제어부 및/또는 시선 판단부를 이용하여, 센서부로부터 센싱 정보를 수신할 수 있다. 센싱 정보는 카메라에 의해 촬영된 영상, 마이크에 의해 녹음된 음성일 수 있다. 또한, 센싱 정보는 자이로 센서, 가속도 센서, 및 외부 센서에 의해서 감지된 데이터일 수 있다.
또한, 클라이언트 디바이스는, 제어부 및/또는 시선 판단부를 이용하여, 센싱 정보를 기초로 사용자 시선의 움직임을 확인할 수 있다. 예를 들어, 클라이언트 디바이스는 센싱 정보가 가지는 값의 변화를 기초로 사용자 시선의 움직임을 확인할 수 있다.
또한, 클라이언트 디바이스는, 제어부 및/또는 시선 판단부를 이용하여, 가상 현실 공간에서의 영상 구성 정보를 생성할 수 있다. 예를 들어, 클라이언트 디바이스가 물리적으로 움직이거나 사용자의 시선이 움직이는 경우, 클라이언트 디바이스는 센싱 정보를 기초로 가상 현실 공간에서의 사용자의 시선 정보 및/또는 줌 영역 정보를 계산할 수 있다.
또한, 클라이언트 디바이스는, 통신부를 이용하여, 영상 구성 정보를 서버 디바이스 및/또는 다른 클라이언트 디바이스로 전송할 수 있다. 또한, 클라이언트 디바이스는 영상 구성 정보를 자신의 다른 구성요소로 전달할 수도 있다.
이상에서는 클라이언트 디바이스가 영상 구성 정보를 생성하는 방법을 설명하였다. 다만 이에 한정되지 않으며, 서버 디바이스가 클라이언트 디바이스로부터 센싱 정보를 수신하고, 영상 구성 정보를 생성할 수도 있다.
또한, 클라이언트 디바이스와 연결된 외부의 컴퓨팅 디바이스가 영상 구성 정보를 생성할 수 있으며, 컴퓨팅 디바이스는 영상 구성 정보를 자신의 클라이언트 디바이스, 다른 클라이언트 디바이스, 및/또는 서버 디바이스로 전달할 수도 있다.
이하에서는, 클라이언트 디바이스가 영상 구성 정보를 시그널링 하는 방법을 설명한다.
영상 구성 정보(시점 정보 및/또는 줌 영역 정보를 포함)를 시그널링하는 부분은 매우 중요하다. 영상 구성 정보의 시그널링이 너무 잦을 경우, 클라이언트 디바이스, 서버 디바이스, 및/또는 전체 네트워크에 부담을 줄 수 있다.
따라서, 클라이언트 디바이스는 사용자의 영상 구성 정보(또는 시선 정보 및/또는 줌 영역 정보)가 변경되는 경우에만 영상 구성 정보를 시그널링할 수 있다. 즉, 클라이언트 디바이스는 사용자의 시선 정보가 변경되는 경우에만 사용자의 시선 정보를 다른 클라이언트 디바이스 및/또는 서버 디바이스로 전송할 수 있다.
이상에서는 클라이언트 디바이스가 영상 구성 정보를 생성 및/또는 전송하는 것을 중심으로 설명하였지만, 서버 디바이스가 클라이언트 디바이스로부터 센싱 정보를 수신하고, 센싱 정보를 기초로 영상 구성 정보를 생성하고, 영상 구성 정보를 적어도 하나의 클라이언트 디바이스로 전송할 수도 있다.
이상에서 언급한 시그널링은 서버 디바이스, 클라이언트 디바이스, 및/또는 외부의 컴퓨팅 장치(존재하는 경우) 사이의 시그널링일 수 있다. 또한, 이상에서 언급한 시그널링은 클라이언트 디바이스 및/또는 외부의 컴퓨팅 장치(존재하는 경우) 사이의 시그널링일 수 있다.
이하에서는, 높고/낮은 수준의 영상을 전송하는 예시적인 방법을 설명한다.
사용자의 시선 정보를 기초로 높고/낮은 수준의 영상을 전송하는 방법은 스케일러블 코덱의 계층을 스위칭하는 방법, 싱글 비트스트림 및 실시간 인코딩의 경우 QP(Quantization Parameter) 등을 이용한 Rate Control 방법, DASH 등의 단일 비트스트림의 경우 청크(Chunk) 단위로 스위칭하는 방법, 다운스케일링/업스케일링방법(Down Scaling/Up Scaling), 및/또는 렌더링(Rendering)의 경우 더 많은 리소스를 활용한 고화질 렌더링 방법을 포함할 수 있다.
전술한 예시적인 기술은 비록 비록 스케일러블 비디오를 통한 차별적 전송 기법을 이야기하고 있지만, 단일 계층을 갖는 일반 비디오 코딩 기술을 사용할 경우에도, 양자화 계수(Quantization Parameter)나 다운스케일링/업스케일링 정도를 조절함으로써, 전체 대역폭을 낮추고, 빠르게 사용자 시선 움직임에 응답하는 등의 장점을 제공할 수 있다. 또한 미리 여러 비트레이트(bitrate)를 갖는 비트스트림(bitstream)으로 트랜스코딩 된 파일들을 사용할 경우, 본 명세서의 예시적인 기술은 청크(Chunk) 단위로 높은 수준의 영상과 낮은 수준의 영상 사이를 스위칭하여 제공할 수 있다.
또한, 본 명세서는 가상 현실 시스템을 예로 들고 있지만, 본 명세서는 HMD를 이용한 VR (Virtual Reality) 게임, AR (Augmented Reality) 게임 등에서도 똑같이 적용될 수 있다. 즉, 사용자가 바라보는 시선에 해당하는 영역을 높은 수준의 영상으로 제공하고, 사용자가 바라볼 것으로 예상되는 영역이나 오브젝트(Object)가 아닌 곳을 바라 볼 경우만 시그널링하는 기법 모두가 가상 현실 시스템의 예에서와 똑같이 적용될 수 있다.
도 9는 착용형 영상 표시 장치에서 영상 품질을 제어하는 예시적인 방법을 나타낸 도면이다.
도 10은 시선 이동 속력의 변화에 따라 영상 품질이 제어되는 예를 도시한 도이다.
이하에서는, 도 9 및 도 10을 참조하여 HMD 등의 착용형 영상 표시 장치에서 시선 이동 속력이 변하는 경우에 표시될 가상 현실 영상의 품질을 제어하는 방법에 대해서 설명한다.
인간의 눈은 시선 이동을 할 때, 특정 속력에서는 품질이 서로 다른 영상을 화면에 표시하여도, 그 품질의 차이를 인지하지 못하는 특성을 가지고 있다. 따라서, 이러한 특성을 이용하여, 시선의 이동 중에 영상 품질이 바뀌어도 그 차이를 인지하지 못하는 시선 이동 속력을 임계 값으로 정한다. 상기 임계 값은 상기 착용형 영상 표시 장치의 특성에 따라 달라지는 특성을 가지고 있으므로, 상기 임계 값은 착용형 영상 표시 장치 별로 서로 다른 값을 적용할 수 있다.
먼저, 착용형 영상 표시 장치는 장치의 특성에 따른 영상 품질 전환을 위한 시선 이동 속력의 임계 값을 판단한다(901).
또한, 착용형 영상 표시 장치는 사용자의 시선 이동 속력을 측정한다(903).
이 후, 착용형 영상 표시 장치는 측정된 시선 이동 속력과 임계 값을 비교하고(905), 그 비교 결과에 따라 착용형 영상 표시 장치로 전송될 비디오 데이터에 대한 품질 조절을 요청한다.
먼저, 착용형 영상 표시 장치는, 상기 시선 이동 속력이 상기 임계 값보다 작은 경우(예를 들어, t0 시각), 높은 품질의 영상 데이터를 전송해 줄 것을 서버 디바이스에 요청한다(907).
반면, 착용형 영상 표시 장치는, 상기 시선 이동 속력이 상기 임계 값과 같거나 큰 경우(1000, 1010)에는, 상기 시선 이동 속력의 변화 추세를 측정한다(909).
착용형 영상 표시 장치는 상기 시선 이동 속력의 변화 추세의 측정 결과, 그 속력이 증가하고 있으면(예를 들어, 1000 구간의 t1 시각), 가상 현실 공간에 대한 낮은 품질의 영상 데이터의 전송을 요청한다(911).
반면, 착용형 영상 표시 장치는 상기 시선 이동 속력이 증가하고 있지 않으면(1010), 높은 품질의 영상 데이터를 전송해 줄 것을 서버 디바이스에 요청한다(907).
여기서, 사용자의 시선 이동 속력은 착용형 영상 표시 장치에 구비된 센서 또는 외부의 센서를 통해 사용자의 머리 움직임 또는/및 눈동자의 움직임을 추적하고, 이를 이용하여 시선 이동 속력을 구할 수 있다. 또한, 사용자의 뷰포트에 대응되는 가상 현실 공간 내의 영역만 높은 품질의 영상 데이터가 전송된다.
다른 실시 예에 따라, 시선 이동 속력이 변하는 경우에 가상 현실 영상의 품질 제어는 시선 이동 속력이 임계 값보다 작은 경우에는 높은 품질의 영상 데이터의 전송을 서버 디바이스에 요청하고, 시선 이동 속력이 임계 값과 같거나 큰 경우에는 낮은 품질의 영상 데이터의 전송을 서버 디바이스에 요청함으로써 달성할 수 있다.
여기서, 높은 품질의 영상 데이터 UHD(Ultra High Definition) 등의 초고화질 비디오 영상 데이터이고, 낮은 품질의 영상 데이터는 HD, SD 등의 상대적으로 저화질 비디오 영상 데이터일 수 있다.
또한, 제1 품질의 영상 데이터와 제2 품질의 영상 데이터는 영상의 화질, 영상의 프레임 수, 영상의 해상도, 영상의 스캔 방식을 포함하는 영상 품질 요소의 차이로 품질이 서로 달라질 수 있다.
또한, 비디오 데이터는 스케일러블 비디오 데이터 일 수 있으며, 상기 높은 품질의 영상 데이터는 현재 전송 중인 비디오 데이터의 기본 계층 영상 데이터 및 향상 계층 영상 데이터를 포함하고, 상기 낮은 품질의 영상 데이터는 상기 향상 계층 영상 데이터를 제외한 기본 계층 영상 데이터만을 포함할 수 있다.
또한, 높은 품질의 영상 데이터 전송 요청 단계를 향상 계층 요청 모드(EL Request mode)라하고, 낮은 품질의 영상 데이터 전송 요청 단계를 향상 계층 생략 모드(EL Skip Mode)라 할 수 있다.
또한, 착용형 영상 표시 장치는 낮은 품질의 영상 데이터가 전송되는 중에, 사용자의 시선 이동 속력이 임계 값보다 작아지거나, 또는 시선 이동 속력이 변화 없거나 감소하고 있으면, 즉, 시선 이동 속력이 증가하고 있지 않으면, 높은 품질의 영상 데이터를 다시 전송해 줄 것을 서버 디바이스에 요청할 수 있다.
이 때, 착용형 영상 표시 장치는 서버 디바이스에 상기 비디오 데이터의 향상 계층 영상 데이터의 전송을 요청한다.
스케일러블 비디오 기술 및 타일링 기법이 적용된 가상 현실 영상 전송 시스템의 경우, 현재 사용자가 바라보고 있는 뷰포트에 해당하는 타일들만 높은 품질(고화질)의 영상 정보를 제공한다. 이 때, 사용자의 뷰포트 이동으로 인하여 새롭게 고화질 영상 정보를 제공해야 하는 타일들은 향상 계층의 영상 정보를 전달받아 영상 복호화를 진행해야 하는데, 영상 움직임 예측 구조의 제약 때문에 향상 계층 영상들 간의 움직임 보상 및 복호화 진행이 불가한 경우가 발생한다.
이러한 현상은 영상 내 예측 기법만 적용하여 인접 영상들과 복호화를 진행하는 데에 있어 종속성이 제거된 인트라 픽쳐(Intra Picture, I-Picture)가 전송될 때까지 계속되며, 고화질 영상 정보를 제공할 때까지 지연을 발생시킨다. 발생된 지연시간동안 사용자는 낮은 품질의 영상 정보만을 제공받을 수 있으며, 이로 인하여 멀미 등과 같은 불쾌감을 느낄 수 있다.
이러한 점을 해결하기 위하여, 본 명세서에서는 도 10에 도시한 바와 같이 향상 계층 전송요청 모드의 재진입 시, 참조 영상(Reference Picture)의 업샘플링된 기본계층(Upsmapled Base Layer)을 활용하여 에러 은닉하는 기법을 사용한다.
도 11은 향상 계층 비디오 데이터의 재전송 모드 진입 시, 에러 은닉하는 예시적인 방법을 나타낸 도면이다.
상기 참조 영상(Reference Picture)의 업샘플링된 기본계층(Upsampled Base Layer)을 활용하여 에러 은닉하는 기법은 전송되지 않아 활용할 수 없는 참조 영상의 향상 계층의 영상 정보 대신 참조 영상의 기본 계층 영상 정보를 업샘플링 하여 움직임 보상에 활용할 수 있다.
착용형 영상 표시 장치는 낮은 품질의 영상 데이터에서 높은 품질의 영상 데이터로의 전송 품질 전환 시 발생하는 지연시간동안 업샘플링된 기본 계층(Upsampled Base Layer) 영상 데이터를 상기 지연시간동안 재생하고, 상기 향상 계층 영상 데이터가 수신되면, 상기 높은 품질의 비디오 데이터를 출력함으로써 급격한 영상 품질 변화로 인한 사용자의 멀미 등과 같은 불쾌감/피로감을 완화시킬 수 있다.
전술한 것처럼 기존 방식은 인트라 픽쳐가 전송될 때까지 고품질 영상제공에 지연이 존재하지만, 해당 기법은 해당 지연시간 동안 참조 영상의 기본 계층 및 현재 타일의 향상 계층 영상 정보를 활용하여 기본 계층 영상 정보만을 제공하는 경우보다 더 향상된 품질의 영상 정보를 사용자에게 제공한다.
이로 인해 평균적인 서비스의 영상 품질을 향상시킬 수 있고, 급격한 영상 품질 변화로 인한 사용자의 멀미 등과 같은 불쾌감/피로감을 완화시켜주는 효과를 가져올 수 있다.
도 12는 비디오 서버에서의 가상 현실 영상을 전송하는 예시적인 방법에 대해서 설명한다.
이하에서는, 도 12를 참조하여 비디오 서버에서 HMD 등의 착용형 영상 표시 장치로 가상 현실 영상의 품질을 조절하면서 전송하는 방법에 대해서 설명한다.
비디오 서버는 착용형 영상 표시 장치로부터 높은 품질의 영상 데이터의 전송 요청 메시지를 수신하면(1201), 상기 높은 품질의 영상 데이터의 전송 요청에 대응하여 가상 현실 공간에 대한 높은 품질의 영상 데이터를 상기 착용형 영상 표시 장치로 전송한다(1203).
또한, 비디오 서버는 착용형 영상 표시 장치로부터 낮은 품질의 영상 데이터의 전송 요청 메시지를 수신하면(1205), 상기 낮은 품질의 영상 데이터의 전송 요청에 대응하여 상기 가상 현실 공간에 대한 낮은 품질의 영상 데이터를 상기 착용형 영상 표시 장치로 전송한다(1207).
여기에서, 비디오 서버는 낮은 품질의 영상 데이터를 착용형 영상 표시 장치로 전송하는 중에 높은 품질의 영상 데이터의 전송 요청 메시지를 수신하면(1209), 전송 품질 전환 시 발생하는 지연시간동안 낮은 품질의 영상 데이터의 업샘플링된 영상 데이터를 상기 착용형 영상 표시 장치로 전송한 후, 이어서 높은 품질의 영상 데이터를 상기 착용형 영상 표시 장치로 전송한다(1211).
여기에서, 높은 품질의 영상 데이터는 현재 전송 중인 비디오 데이터의 기본 계층 영상 데이터 및 향상 계층 영상 데이터를 포함하고, 낮은 품질의 영상 데이터는 상기 기본 계층 영상 데이터만을 포함할 수 있다.
또한, 업샘플링된 영상 데이터는 기본 계층 영상 데이터의 업샘플링된 영상 데이터일 수 있다.
도 13은 가상현실 시스템에서의 영상 품질 제어 방법을 예시적으로 설명한다.
도 13을 참조하여 가상 현실 시스템에서 영상 품질 제어를 통해 대역폭을 낮출 수 있는 방법을 설명한다.
착용형 영상 표시 장치(1330)가 장치 특성에 따른 영상 품질 전환을 위한 시선 이동 속력의 임계 값을 판단한다(1331).
착용형 영상 표시 장치(1330)는 사용자의 시선 이동 속력을 측정한다(1333).
착용형 영상 표시 장치(1330)는 상기 시선 이동 속력과 상기 임계 값의 비교 결과에 따라 품질이 조절된 비디오 데이터의 전송을 비디오 서버에 요청하고(1335). 시선 정보를 전송한다(1337).
비디오 서버(1310)는 수신된 시선 정보에서 사용자의 뷰포트를 구한 뒤, 품질이 조절된 비디오 데이터의 전송 요청에 대응하여 상기 뷰포트에 해당하는 비디오의 품질을 조절하고, 상기 착용형 영상 표시 장치(1330)로 상기 품질이 조절된 비디오 데이터를 전송한다(1339).
다음으로, 착용형 영상 표시 장치(1330)는 수신된 비디오 데이터를 디코딩하여 출력한다(1341)
여기에서, 상기 착용형 영상 표시 장치(1330)는, 상기 비교(1335a) 결과 상기 시선 이동 속력이 상기 임계 값보다 작은 경우, 높은 품질의 영상 데이터의 전송을 상기 비디오 서버에 요청한다(1335b).
한편, 상기 착용형 영상 표시 장치(1330)는, 상기 비교(1335a) 결과 상기 시선 이동 속력이 상기 임계 값과 같거나 큰 경우, 상기 시선 이동 속력의 변화 추세를 살펴본다(1335c).
상기 착용형 영상 표시 장치(1330)는, 상기 시선 이동 속력이 증가하고 있으면, 낮은 품질의 영상 데이터의 전송을 상기 비디오 서버에 요청하고(1335d), 상기 시선 이동 속력이 증가하고 있지 않으면, 상기 높은 품질의 영상 데이터의 전송을 상기 비디오 서버(1310)에 요청한다(1335b).
여기에서, 상기 비디오 서버(1310)는, 낮은 품질의 영상 데이터를 상기 착용형 영상 표시 장치(1330)로 전송하는 중에 상기 높은 품질의 영상 데이터의 전송 요청 메시지를 수신하면, 전송 품질의 전환 시 발생하는 지연시간동안 낮은 품질의 영상 데이터의 업샘플링된 영상 데이터를 상기 착용형 영상 표시 장치(1330)로 전송한 후, 상기 높은 품질의 영상 데이터를 상기 착용형 영상 표시 장치(1330)로 전송한다.
따라서, 본 명세서에 개시된 예시적인 가상현실 시스템의 영상 전송 방법을 통해, 사용자의 시선 이동 속력에 따라 뷰포트에 해당하는 가상 현실 영상의 품질을 조절함으로써, 영상 데이터의 전송에 필요한 대역폭을 절약할 수 있게 된다.
도 14는 시선 이동 속력에 따라 전송 영상의 품질을 제어할 수 있는 착용형 영상 표시 장치의 예시적인 구성을 나타낸 도면이다.
이하에서는 도 14를 참조하여 가상 현실 시스템에서 시선 이동 속력에 따라 전송 영상의 품질을 제어함으로써 대역폭을 절약할 수 있는 예시적인 착용형 영상 표시 장치를 설명한다.
착용형 영상 표시 장치(1400)는 임계 속력 판단부(1410), 시선 이동 속력 측정부(1430), 제어부(1450), 및 통신부(1470)를 포함할 수 있다.
임계 속력 판단부(1410)는 착용형 영상 표시 장치(1400)의 특성을 고려하여, 영상 품질 전환을 위한 시선 이동 속력의 임계 값을 판단할 수 있다.
시선 이동 속력 측정부(1430)는 상기 착용형 영상 표시 장치(1400)의 사용자의 시선 이동 속력을 측정할 수 있다. 여기에서, 사용자의 시선 이동 속력은 착용형 영상 표시 장치에 구비된 센서 또는 외부의 센서를 통해 사용자의 머리 움직임 또는/및 눈동자의 움직임을 추적하고, 이를 이용하여 시선 이동 속력을 구할 수 있다.
제어부(1450)는 상기 시선 이동 속력과 상기 임계 값의 비교 결과에 따라 뷰포트에 대해서 전송될 비디오 데이터의 품질 조절을 요청하는 메시지를 생성할 수 있다. 또한, 제어부(1450)는 상기 시선 이동 속력이 상기 임계 값보다 작은 경우와, 상기 시선 이동 속력이 상기 임계 값과 같거나 클 때에는 상기 시선 이동 속력이 증가하고 있지 않는 경우에는, 상기 비디오 데이터에 대한 서로 다른 품질의 영상 데이터 중 높은 품질의 영상 데이터의 전송을 요청함으로써, 전송될 비디오 데이터의 품질을 조절할 수 있다.
통신부(1470)는 상기 비디오 데이터의 품질 조절 요청 메시지를 외부의 비디오 서버로 전송하고, 상기 비디오 서버로부터 비디오 데이터를 수신할 수 있다.
상기 영상 품질 전환을 위한 시선 이동 속력의 임계 값은 상기 사용자가 시선 이동을 할 때, 서로 다른 품질의 영상에 대해 품질의 차이를 인지하지 못하는 시선 이동 속력이며, 상기 임계 값은 상기 착용형 영상 표시 장치의 특성에 따라 그 크기가 달라질 수 있다.
이하에서는 도 15 내지 도 16을 참조하여, 영상 품질 조절을 위한 신호 체계를 설명한다.
전술한 바와 같이, 사용자의 시선 이동 속력에 기반하여 영상 품질 조절 신호를 전달함으로써, 최소한의 전송 대역폭에서 최대한의 고품질 영상 서비스를 제공할 수 있다. 그러나, 사용자가 시선을 이동할 때마다 그 이동 속력 정보를 서버 측으로 전달하는 것은 전체 네트워크 및 사용자 단말 또는 영상 전송 시스템에 부담을 준다.
따라서, 예시적인 시그널링 방법(신호 체계)은 사용자의 시선 이동 속력이 빨라 고품질 영상 정보를 생략하는 구간(향샹 계층 생략(Enhancement Layer Skip) 구간이라고 함)이 시작되는 시점과 사용자의 시선 이동 속력이 감소하여 고품질 영상 정보를 다시 요청하는 구간(향상 계층 요청(Enhancement Layer Request) 구간이라고 함)이 시작되는 시점에서만 영상 품질 조절 정보를 전송함으로써 전체 네트워크 및 사용자 단말 또는 영상 전송 시스템에 부담을 줄일 수 있다.
도 15는 영상 품질 조절을 위한 신호 체계를 위한 예시적인 국제 비디오 표준에서의 OMAF 구문을 도시한다.
도 15를 참조하면, H.264 AVC나 H.265 HEVC와 같은 국제 비디오 표준에서의 예시적인 OMAF(Omnidirectional Media Application Format) 구문(syntax)을 보여주고 있다.
도면의 참조번호 1500의 구문은 본 명세서의 실시예로 새로 추가되어야 할 내용이며, 이 외의 구문은 모두 기존의 표준 구문이다.
unsigned (n)는 통상 프로그래밍 언어에서 부호가 없는 (unsigned) 'n' 비트 수를 의미한다.
center_yaw 구문은 전역 좌표축을 기준으로 뷰포트 방향을 지정하며 뷰포트의 중심을 나타낸다. 범위는 -180 * 2^16 ~ 180 * 2^16 - 1 내에 있어야 한다.
center_pitch 구문은 전역 좌표축을 기준으로 뷰포트 방향을 지정하며 뷰포트의 중심을 나타낸다. 범위는 -90 * 2^16 ~ 90 * 2^16 - 1 내에 있어야 한다.
center_roll 구문은 전역 좌표축을 기준으로 뷰포트 방향을 지정하며 뷰포트의 roll 좌표를 나타낸다. 범위는 -180 * 2^16 ~ 180 * 2^16 - 1 내에 있어야 한다.
hor_range 구문은 구 영역에서 수평 범위를 나타낸다. 구체 영역의 중심점을 통해 범위를 지정하며 0 ~ 720*2^16 내에 있어야 한다.
ver_range 구문은 구 영역에서 수직 범위를 나타낸다. 구체 영역의 중심점을 통해 범위를 지정하며 0 ~ 180*2^16 내에 있어야 한다.
interpolate 구문은 선형 보간의 적용 여부를 나타낸다. 값이 1일 경우 선형 보간이 적용 됨을 나타낸다.
el_skip_flag 구문은 각 타일의 대응하는 영역의 EL 전송 여부를 나타내는 플래그를 나타내며, 값이 0일 경우, EL요청모드 (EL request mode)를 나타내고, 값이 1일 경우, EL생략모드 (EL skip mode)를 나타낸다.
이상 정의된 구문과 의미론에 관한 정보들은 MPEG DASH와 같은 HTTP 기반의 영상 통신에서 각각 XML 형태로 표현이 될 수도 있다.
도 16은 XML 형태로 표현된 예시적인 타일 정보 구문을 도시한다.
도 16을 참조하면, XML 형태로 표현된 티일 정보 구문으로서 XML에 정보 모드, 전체 타일 개수, 및 각 타일 별 EL(향상 계층) 비디오 데이터의 전송여부 정보를 포함하여 표현할 수 있다.
본 명세서에 개시된 실시예들에 따른 가상 현실 시스템은 컴퓨터로 읽을 수 있는 기록 매체에서 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 명세서의 기술이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상에서 본 명세서의 기술에 대한 바람직한 실시 예가 첨부된 도면들을 참조하여 설명되었다. 여기서, 본 명세서 및 청구 범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
본 발명의 범위는 본 명세서에 개시된 실시 예들로 한정되지 아니하고, 본 발명은 본 발명의 사상 및 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있다.
1400: 착용형 영상 표시 장치
1410: 임계 속력 판단부
1430: 시선 이동 속력 측정부
1450: 제어부
1470: 통신부

Claims (21)

  1. 착용형 영상 표시 장치의 특성에 따른 영상 품질 전환을 위한 시선 이동 속력의 임계 값을 판단하는 동작;
    상기 착용형 영상 표시 장치의 사용자의 시선 이동 속력을 측정하는 동작; 및
    상기 시선 이동 속력과 상기 임계 값의 비교 결과에 따라 전송될 비디오 영상에 대한 품질 조절을 요청하는 동작을 포함하고,
    상기 비디오 영상에 대한 품질 조절을 요청하는 동작은 상기 시선 이동 속력이 상기 임계 값과 같거나 크고 상기 시선 이동 속력이 증가하고 있지 않으면, 제1 품질의 영상 데이터의 전송을 요청하는 동작이고, 상기 제1 품질은 다른 전송 가능한 영상 품질보다 높은 영상 품질인 착용형 영상 표시 장치에서의 영상 품질 제어 방법.
  2. 제1 항에 있어서,
    상기 시선 이동 속력과 상기 임계 값의 비교 결과에 따라 전송될 비디오 영상에 대한 품질 조절을 요청하는 동작은
    상기 시선 이동 속력이 상기 임계 값보다 작은 경우, 제1 품질의 영상 데이터의 전송을 요청하고,
    상기 시선 이동 속력이 상기 임계 값과 같거나 큰 경우,
    상기 시선 이동 속력이 증가하고 있으면, 상기 제1 품질보다 낮은 제2 품질의 영상 데이터의 전송을 요청하는 착용형 영상 표시 장치에서의 영상 품질 제어 방법.
  3. 제2 항에 있어서,
    상기 제1 품질의 영상 데이터는 현재 전송 중인 비디오 영상에 대한 고화질의 영상 데이터, 기본 계층 영상 데이터 및 향상 계층 영상 데이터 중 적어도 하나를 포함하고,
    상기 제2 품질의 영상 데이터는 상기 현재 전송 중인 비디오 영상에 대한 저화질 영상 데이터, 상기 기본 계층 영상 데이터 중 적어도 하나를 포함하는 착용형 영상 표시 장치에서의 영상 품질 제어 방법.
  4. 제3 항에 있어서,
    상기 제1 품질의 영상 데이터와 상기 제2 품질의 영상 데이터는 영상의 화질, 영상의 프레임 수, 영상의 해상도, 영상의 스캔 방식을 포함하는 영상 품질 요소의 차이로 품질이 서로 달라지는 것인 착용형 영상 표시 장치에서의 영상 품질 제어 방법.
  5. 제3 항에 있어서,
    상기 시선 이동 속력과 상기 임계 값의 비교 결과에 따라 전송될 비디오 영상에 대한 품질 조절을 요청하는 동작은
    상기 제2 품질의 영상 데이터가 전송되는 중에 상기 시선 이동 속력이 상기 임계 값보다 작아지거나, 또는 상기 시선 이동 속력이 증가하고 있지 않으면, 상기 제1 품질의 영상 데이터의 전송을 요청하는 착용형 영상 표시 장치에서의 영상 품질 제어 방법.
  6. 제5 항에 있어서,
    상기 제2 품질의 영상 데이터가 전송되는 중에 상기 시선 이동 속력이 상기 임계 값보다 작아지거나, 또는 상기 시선 이동 속력이 증가하고 있지 않으면, 상기 제1 품질의 영상 데이터의 전송을 요청하는 것은
    상기 비디오 영상의 향상 계층 영상 데이터의 전송을 요청하되, 전송 품질 전환 시 발생하는 지연시간동안 상기 비디오 영상의 업샘플링된 기본 계층(Upsampled Base Layer) 영상 데이터를 상기 지연시간동안 재생하고, 상기 향상 계층 영상 데이터가 수신되면, 상기 제1 품질의 비디오 영상을 출력하고,
    상기 비디오 영상의 인코딩에 사용된 필터 정보를 수신하는 동작을 더 포함하고,
    상기 비디오 영상의 업샘플링은 상기 필터 정보에 기반하는 착용형 영상 표시 장치에서의 영상 품질 제어 방법.
  7. 제1 항에 있어서,
    상기 시선 이동 속력과 상기 임계 값의 비교 결과에 따라 품질이 조절된 비디오 영상의 전송을 요청하는 동작은
    상기 시선 이동 속력이 상기 임계 값보다 작은 경우, 제1 품질의 영상 데이터의 전송을 요청하고,
    상기 시선 이동 속력이 상기 임계 값과 같거나 큰 경우, 상기 시선 이동 속력의 변화에 기반하여 상기 제1 품질보다 낮은 제2 품질의 영상 데이터의 전송을 요청하는 착용형 영상 표시 장치에서의 영상 품질 제어 방법.
  8. 제7 항에 있어서,
    상기 제1 품질의 영상 데이터는 현재 전송 중인 비디오 영상에 대한 고화질 영상 데이터, 기본 계층 영상 데이터 및 향상 계층 영상 데이터 중 적어도 하나를 포함하고,
    상기 제2 품질의 영상 데이터는 상기 현재 전송 중인 비디오 영상에 대한 저화질 영상 데이터, 상기 기본 계층 영상 데이터 중 적어도 하나를 포함하는 착용형 영상 표시 장치에서의 영상 품질 제어 방법.
  9. 제1 항에 있어서,
    상기 영상 품질 전환을 위한 시선 이동 속력의 임계 값은 상기 사용자가 시선 이동을 할 때, 서로 다른 품질의 영상에 대해 품질의 차이를 인지하지 못하는 시선 이동 속력이며, 상기 임계 값은 상기 착용형 영상 표시 장치의 특성에 따라 서로 다른 값인 착용형 영상 표시 장치에서의 영상 품질 제어 방법.
  10. 삭제
  11. 삭제
  12. 착용형 영상 표시 장치가 장치 특성에 따른 영상 품질 전환을 위한 시선 이동 속력의 임계 값을 판단하는 동작;
    상기 착용형 영상 표시 장치가 사용자의 시선 이동 속력을 측정하는 동작;
    상기 착용형 영상 표시 장치가 상기 시선 이동 속력과 상기 임계 값의 비교 결과에 따라 품질이 조절된 비디오 영상의 전송을 비디오 서버에 요청하는 동작; 및
    상기 비디오 서버가 상기 비디오 영상의 전송 요청에 대응하여 상기 착용형 영상 표시 장치로 상기 품질이 조절된 비디오 영상을 전송하는 동작을 포함하고,
    상기 비교 결과 상기 시선 이동 속력이 상기 임계 값과 같거나 크고 상기 시선 이동 속력이 증가하고 있지 않으면, 제1 품질의 영상 데이터의 전송을 상기 비디오 서버에 요청하고, 상기 제1 품질은 다른 전송 가능한 영상 품질보다 높은 영상 품질인 영상 품질 제어 방법.
  13. 제12 항에 있어서, 상기 착용형 영상 표시 장치는,
    상기 비교 결과 상기 시선 이동 속력이 상기 임계 값보다 작은 경우, 제1 품질의 영상 데이터의 전송을 상기 비디오 서버에 요청하고,
    상기 비교 결과 상기 시선 이동 속력이 상기 임계 값과 같거나 큰 경우, 상기 시선 이동 속력이 증가하고 있으면, 상기 제1 품질보다 낮은 제2 품질의 영상 데이터의 전송을 상기 비디오 서버에 요청하는 영상 품질 제어 방법.
  14. 제13 항에 있어서, 상기 비디오 서버는,
    상기 제1 품질의 영상 데이터의 전송 요청에 대응하여 상기 비디오 영상에 대한 상기 제1 품질의 영상 데이터를 상기 착용형 영상 표시 장치로 전송하고,
    상기 제2 품질의 영상 데이터의 전송 요청에 대응하여 상기 비디오 영상에 대한 상기 제2 품질의 영상 데이터를 상기 착용형 영상 표시 장치로 전송하는 영상 품질 제어 방법.
  15. 제14 항에 있어서, 상기 비디오 서버는,
    상기 제2 품질의 영상 데이터를 상기 착용형 영상 표시 장치로 전송하는 중에 상기 제1 품질의 영상 데이터의 전송 요청 메시지를 수신하면,
    전송 품질 전환 시 발생하는 지연시간동안 상기 제2 품질의 영상 데이터의 업샘플링된 영상 데이터를 상기 착용형 영상 표시 장치로 전송한 후, 상기 제1 품질의 영상 데이터를 상기 착용형 영상 표시 장치로 전송하는 영상 품질 제어 방법.
  16. 제12 항에 있어서,
    상기 영상 품질 전환을 위한 시선 이동 속력의 임계 값은 상기 사용자가 시선 이동을 할 때, 서로 다른 품질의 영상에 대해 품질의 차이를 인지하지 못하는 시선 이동 속력이며, 상기 임계 값은 상기 착용형 영상 표시 장치의 특성에 따라 서로 다른 값인 영상 품질 제어 방법.
  17. 착용형 영상 표시 장치 특성에 따른 영상 품질 전환을 위한 시선 이동 속력의 임계 값을 판단하는 임계 속력 판단부;
    상기 착용형 영상 표시 장치의 사용자의 시선 이동 속력을 측정하는 시선 이동 속력 측정부;
    상기 시선 이동 속력과 상기 임계 값의 비교 결과에 따라 전송될 비디오 영상의 품질 조절을 요청하는 메시지를 생성하는 제어부; 및
    상기 비디오 영상의 품질 조절 요청 메시지를 외부로 전송하고, 상기 비디오 영상을 수신하는 통신부를 포함하고,
    상기 제어부는 상기 시선 이동 속력이 상기 임계 값과 같거나 크고 상기 시선 이동 속력이 증가하고 있지 않으면 상기 비디오 영상에 대한 서로 다른 품질의 영상 데이터 중 높은 품질의 영상 데이터의 전송을 요청하는 착용형 영상 표시 장치.
  18. 제17 항에 있어서, 상기 제어부는
    상기 시선 이동 속력이 상기 임계 값보다 작은 경우, 상기 비디오 영상에 대한 서로 다른 품질의 영상 데이터 중 높은 품질의 영상 데이터의 전송을 요청하는 착용형 영상 표시 장치.
  19. 제17 항에 있어서,
    상기 영상 품질 전환을 위한 시선 이동 속력의 임계 값은 상기 사용자가 시선 이동을 할 때, 서로 다른 품질의 영상에 대해 품질의 차이를 인지하지 못하는 시선 이동 속력이며, 상기 임계 값은 상기 착용형 영상 표시 장치의 특성에 따라 서로 다른 값인 착용형 영상 표시 장치.
  20. 삭제
  21. 삭제
KR1020170170822A 2017-12-12 2017-12-12 가상 현실 비디오 품질 제어 KR101981868B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170170822A KR101981868B1 (ko) 2017-12-12 2017-12-12 가상 현실 비디오 품질 제어
PCT/KR2018/015794 WO2019117628A1 (ko) 2017-12-12 2018-12-12 가상 현실 비디오 품질 제어

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170170822A KR101981868B1 (ko) 2017-12-12 2017-12-12 가상 현실 비디오 품질 제어

Publications (1)

Publication Number Publication Date
KR101981868B1 true KR101981868B1 (ko) 2019-08-28

Family

ID=66819401

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170170822A KR101981868B1 (ko) 2017-12-12 2017-12-12 가상 현실 비디오 품질 제어

Country Status (2)

Country Link
KR (1) KR101981868B1 (ko)
WO (1) WO2019117628A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140059767A (ko) * 2014-04-10 2014-05-16 경희대학교 산학협력단 하이브리드 다시점 및 계층화 비디오 코딩 방법과 장치
KR20170123656A (ko) * 2015-05-27 2017-11-08 구글 엘엘씨 구면 영상 스트리밍

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8350846B2 (en) * 2009-01-28 2013-01-08 International Business Machines Corporation Updating ray traced acceleration data structures between frames based on changing perspective
JP5576781B2 (ja) * 2010-12-16 2014-08-20 株式会社メガチップス 画像処理システム、画像処理システムの動作方法、ホスト装置、プログラム、およびプログラムの作成方法
KR101713492B1 (ko) * 2016-06-27 2017-03-07 가천대학교 산학협력단 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140059767A (ko) * 2014-04-10 2014-05-16 경희대학교 산학협력단 하이브리드 다시점 및 계층화 비디오 코딩 방법과 장치
KR20170123656A (ko) * 2015-05-27 2017-11-08 구글 엘엘씨 구면 영상 스트리밍

Also Published As

Publication number Publication date
WO2019117628A1 (ko) 2019-06-20

Similar Documents

Publication Publication Date Title
US11184584B2 (en) Method for image decoding, method for image encoding, apparatus for image decoding, apparatus for image encoding
US10897614B2 (en) Method and an apparatus and a computer program product for video encoding and decoding
US10841532B2 (en) Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission
US11051015B2 (en) Low bitrate encoding of panoramic video to support live streaming over a wireless peer-to-peer connection
US11284055B2 (en) Method and an apparatus and a computer program product for video encoding and decoding
US20180167634A1 (en) Method and an apparatus and a computer program product for video encoding and decoding
KR102343700B1 (ko) 독립적으로 인코딩된 배경 업데이트들에 기초한 비디오 송신
KR101898822B1 (ko) 뷰포트 정보 시그널링을 이용한 가상 현실 비디오 스트리밍
US20070162922A1 (en) Apparatus and method for processing video data using gaze detection
US10999583B2 (en) Scalability of multi-directional video streaming
US10958950B2 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
KR101861929B1 (ko) 관심 영역을 고려한 가상 현실 서비스 제공
CN112602329A (zh) 用于360度视频解码的块置乱
KR101941789B1 (ko) 뷰포트와 타일 크기에 기초한 가상 현실 비디오 전송
KR102183895B1 (ko) 가상 현실 비디오 스트리밍에서의 관심영역 타일 인덱싱
KR101981868B1 (ko) 가상 현실 비디오 품질 제어
KR102259540B1 (ko) 시선 기반의 360도 영상 스트리밍
US10616620B1 (en) Low bitrate encoding of spherical video to support live streaming over a high latency and/or low bandwidth network
KR102209192B1 (ko) 다시점 360도 영상 처리 및 전송
Luís Viewport Adaptive Streaming for Omnidirectional Video Delivery
EP4013059A1 (en) Changing video tracks in immersive videos