KR20210080358A - 360도 비디오 코딩을 위한 샘플 도출 - Google Patents

360도 비디오 코딩을 위한 샘플 도출 Download PDF

Info

Publication number
KR20210080358A
KR20210080358A KR1020217009218A KR20217009218A KR20210080358A KR 20210080358 A KR20210080358 A KR 20210080358A KR 1020217009218 A KR1020217009218 A KR 1020217009218A KR 20217009218 A KR20217009218 A KR 20217009218A KR 20210080358 A KR20210080358 A KR 20210080358A
Authority
KR
South Korea
Prior art keywords
picture
reference sample
wraparound
offset
indication
Prior art date
Application number
KR1020217009218A
Other languages
English (en)
Inventor
필립 한하트
유웬 헤
얀 예
Original Assignee
브이아이디 스케일, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이아이디 스케일, 인크. filed Critical 브이아이디 스케일, 인크.
Publication of KR20210080358A publication Critical patent/KR20210080358A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

수평 랩어라운드 모션 보상이 인에이블되는지를 표시하는 랩어라운드 인에이블 표시를 수신하는 것에 기반하여 현재 샘플에 대해 수평 지오메트리 패딩을 수행하기 위한 시스템들, 방법들 및 수단들이 개시된다. 수평 랩어라운드 모션 보상이 랩어라운드 인에이블 표시에 기반하여 인에이블되는 경우, 비디오 코딩 디바이스는 픽처에서 현재 샘플의 참조 샘플 랩어라운드 오프셋을 결정할 수 있다. 참조 샘플 랩어라운드 오프셋은 픽처의 면 폭을 나타낼 수 있다. 비디오 코딩 디바이스는 참조 샘플 랩어라운드 오프셋, 픽처의 픽처 폭, 및 현재 샘플 위치에 기반하여 현재 샘플에 대한 참조 샘플 위치를 결정할 수 있다. 비디오 코딩 디바이스는 수평 방향에서의 참조 샘플 위치에 기반하여 현재 샘플을 예측할 수 있다. 반복적 패딩 또는 클리핑은 수직 방향으로 이용될 수 있다.

Description

360도 비디오 코딩을 위한 샘플 파생
상호 참조
본 출원은 2018년 9월 27일자로 출원된 미국 가출원 제62/737,303호의 이익을 주장하며, 이 출원의 내용들은 본 명세서에 참조로 포함된다.
가상 현실(VR)은 점점 더 우리의 일상 생활에 들어오고 있다. VR은 헬스케어, 교육, 소셜 네트워킹, 산업 설계/훈련, 게임, 영화, 쇼핑, 엔터테인먼트 등을 포함하는 많은 애플리케이션 영역들을 갖는다. VR은 VR이 몰입형 시청 경험을 가져올 수 있기 때문에 산업들 및 소비자들로부터 관심을 받고 있다. VR은 시청자를 둘러싼 가상 환경을 만들고 시청자에게 진정한 "존재감"을 생성한다. VR 환경에서 완전한 실제 느낌을 제공하는 방법은 사용자의 경험에 중요하다. 예를 들어, VR 시스템은 자세, 제스처, 시선, 음성 등을 통한 상호작용들을 지원할 수 있다. 사용자가 자연스러운 방식으로 VR 세계에서의 객체들과 상호작용할 수 있게 해주기 위해, VR은 사용자에게 촉각 피드백을 제공할 수 있다.
수평 랩어라운드 모션 보상(horizontal wraparound motion compensation)이 인에이블됨을 표시하는 랩어라운드 인에이블 표시를 수신하는 것에 기반하여 현재 샘플에 대해 수평 지오메트리(geometry) 패딩을 수행하기 위한 시스템들, 방법들 및 수단들이 개시된다.
비디오 코딩 디바이스는 비트스트림에서 비디오 콘텐츠와 연관된 픽처를 수신할 수 있다. 본 명세서에 설명된 비디오 코딩 디바이스는 인코더 및/또는 디코더일 수 있거나 이를 포함할 수 있다. 픽처는 프레임 패킹된 픽처일 수 있거나 이를 포함할 수 있다. 비디오 코딩 디바이스는 랩어라운드 인에이블 표시를 수신할 수 있다. 예를 들어, 비디오 코딩 디바이스는 시퀀스 레벨에서 랩어라운드 인에이블 표시를 수신할 수 있다. 랩어라운드 인에이블 표시는 수평 랩어라운드 모션 보상이 인에이블되는지 또는 디스에이블되는지를 표시할 수 있다. 랩어라운드 인에이블 표시는 수평 랩어라운드 모션 보상이 인에이블되는지 또는 디스에이블되는지를 표시하는 랩어라운드 인에이블 플래그일 수 있거나 이를 포함할 수 있다.
수평 랩어라운드 모션 보상이 인에이블됨을 표시하는 랩어라운드 인에이블 표시에 기반하여, 비디오 코딩 디바이스는 픽처에서 현재 샘플의 참조 샘플 랩어라운드 오프셋(reference sample wraparound offset)을 결정할 수 있다. 예들에서, 비디오 코딩 디바이스는 비트스트림에서 참조 샘플 랩어라운드 오프셋의 오프셋 표시를 수신할 수 있다. 참조 샘플 랩어라운드 오프셋은 오프셋 표시에 기반하여 결정될 수 있다. 참조 샘플 랩어라운드 오프셋은 픽처의 면 폭(face width)을 나타낼 수 있다. 예들에서, 비디오 코딩 디바이스는 픽처의 면 폭을 나타내는 크기 표시를 수신할 수 있다. 예를 들어, 크기 표시는 루마 샘플들에서 보호 밴드의 폭일 수 있거나 이를 포함할 수 있다. 비디오 코딩 디바이스는 크기 표시에 기반하여 픽처의 면 폭을 계산할 수 있고, 계산된 면 폭을 참조 샘플 랩어라운드 오프셋으로서 이용할 수 있다. 예들에서, 보호 밴드는 동일한 폭을 가질 수 있다. 예들에서, 보호 밴드는 상이한 폭을 가질 수 있다.
비디오 코딩 디바이스는 참조 샘플 랩어라운드 오프셋, 픽처의 픽처 폭, 및 현재 샘플 위치에 기반하여 현재 샘플에 대한 참조 샘플 위치를 결정할 수 있다. 비디오 코딩 디바이스는 시퀀스 레벨에서 참조 샘플 랩어라운드 오프셋을 수신할 수 있다.
예들에서, 비디오 코딩 디바이스는 현재 샘플 위치와 연관된 원래의 참조 샘플 위치(예를 들어, 원시 참조 샘플 위치)가 픽처의 밖에 있는지를 결정할 수 있다. 원래의 참조 샘플 위치가 픽처의 밖에 있는 경우, 비디오 코딩 디바이스는 수평 지오메트리 패딩을 위한 참조 샘플 위치를 계산할 수 있다. 예를 들어, 비디오 코딩 디바이스는 참조 샘플 랩어라운드 오프셋을 원래의 참조 샘플 위치와 연관된 수평 샘플 좌표에 적용함으로써 참조 샘플 위치를 계산할 수 있다.
예들에서, 비디오 코딩 디바이스는 참조 샘플 랩어라운드 오프셋 및 픽처의 픽처 폭에 기반하여 픽처의 면 폭을 계산할 수 있다. 비디오 코딩 디바이스는 픽처에서 현재 샘플 위치를 식별할 수 있다. 비디오 코딩 디바이스는 원래의 참조 샘플 위치가 픽처의 밖에 있는지를 결정할 수 있다. 원래의 참조 샘플 위치가 픽처의 가장 좌측 수평 경계의 밖에 있는 경우, 비디오 코딩 디바이스는 참조 샘플 랩어라운드 오프셋을 원래의 참조 샘플 위치와 연관된 수평 샘플 좌표에 가산함으로써 참조 샘플 위치를 결정할 수 있다. 원래의 참조 샘플 위치가 픽처의 가장 우측 수평 경계의 밖에 있는 경우, 비디오 코딩 디바이스는 원래의 참조 샘플 위치와 연관된 수평 샘플 좌표로부터 참조 샘플 랩어라운드 오프셋을 감산함으로써 참조 샘플 위치를 결정할 수 있다.
비디오 코딩 디바이스는 참조 샘플 위치에 기반하여 현재 샘플을 예측할 수 있다.
비디오 코딩 디바이스는 랩어라운드 인에이블 표시에 기반하여 수평 랩어라운드 모션 보상이 디스에이블되는지를 결정할 수 있다. 랩어라운드 인에이블 표시가 수평 랩어라운드 모션 보상이 디스에이블됨을 표시하는 경우, 비디오 코딩 디바이스는 픽처에서 현재 샘플 위치를 식별할 수 있다. 비디오 코딩 디바이스는 현재 샘플 위치가 픽처의 수평 경계에 위치하는지를 결정할 수 있다. 비디오 코딩 디바이스는 참조 샘플 위치가 픽처의 수평 경계의 밖에 위치하는지를 결정할 수 있다. 비디오 코딩 디바이스가 참조 샘플 위치가 픽처의 수평 경계의 밖에 위치하는 것으로 결정하는 경우, 비디오 코딩 디바이스는 픽처의 수평 경계 상의 참조 샘플 위치를 식별할 수 있다. 비디오 코딩 디바이스는 참조 샘플 위치에 기반하여 현재 샘플을 예측할 수 있다.
픽처는 ERP(equirectangular projection) 포맷, EAP(equal-area projection) 포맷 또는 AEP(adjusted equal-area projection) 포맷일 수 있거나 이를 포함할 수 있다.
비디오 코딩 디바이스는 랩어라운드 인에이블 표시에 기반하여 참조 샘플 랩어라운드 오프셋의 오프셋 표시를 수신할지를 결정할 수 있다. 비디오 코딩 디바이스가, 랩어라운드 인에이블 표시가 인에이블된다고 결정하는 경우, 비디오 코딩 디바이스는 비트스트림을 파싱하여 참조 샘플 랩어라운드 오프셋의 오프셋 표시를 수신할 수 있다. 비디오 코딩 디바이스가, 랩어라운드 인에이블 표시가 디스에이블된다고 결정하는 경우, 비디오 코딩 디바이스는 비트스트림을 파싱하는 것을 스킵하고 참조 샘플 랩어라운드 오프셋의 오프셋 표시를 수신하는 것을 스킵할 수 있다.
지오메트리 패딩을 인에이블하기 위한 표시가 (예를 들어, 비트스트림에서) 시그널링될 수 있다. 하나 이상의 구형 이웃의 정확한 위치가 결정될 수 있다. 지오메트리 패딩은 하나 이상의 구형 이웃의 정확한 위치를 계산하기 위해 보호 밴드들의 위치 및/또는 크기를 고려할 수 있다. 보호 밴드들의 위치 및/또는 크기는 (예를 들어, 인코딩 전에) 픽처 내에 하나 이상의 면을 패킹할 때 추가되었을 수 있다. 지오메트리 패딩과 관련된 하나 이상의 표시는 지오메트리 패딩이 적용되는지를 표시하고/하거나 보호 밴드들을 지정하기 위해 시그널링될 수 있다.
ERP, EAP, AEP 등의 투영 포맷들과 같이, 면(예를 들어, 단일 면)을 포함하는 투영 지오메트리들의 경우, 지오메트리 패딩은 수평 방향으로 수행될 수 있다. 지오메트리 패딩이 수평 방향으로 수행될 때, 반복적 패딩이 수직 방향으로 이용될 수 있다. 수평 샘플 좌표가 코딩된 픽처 내에 랩핑될 수 있기 때문에 샘플 위치가 결정될 수 있다. 수직 샘플 좌표는, 예를 들어, 반복적 패딩에서와 같이, 하나 이상의 코딩된 픽처 경계에 클리핑될 수 있다. 단일 면 기반 투영 지오메트리와 연관된 (예를 들어, 수평 지오메트리 패딩을 이용하는) 상호간 예측을 위한 정수 샘플 도출 프로세스(integer sample derivation process) 및/또는 소수 샘플 보간 프로세스(fractional sample interpolation process)가 결정될 수 있다.
도 1a는 경도 및 위도의 예시적인 구형 샘플링을 도시한다.
도 1b는 정방형 투영을 갖는 예시적인 2차원(2D) 평면을 도시한다.
도 2a는 CMP(cubemap projection)에 대한 예시적인 3차원(3D) 지오메트리 구조를 도시한다.
도 2b는 CMP에 대한 6개의 면의 예시적인 2D 평면을 도시한다.
도 3a는 ERP(equirectangular projection)를 이용한 패딩된 경계들을 갖는 예시적인 픽처를 도시한다.
도 3b는 CMP를 이용한 패딩된 경계들을 갖는 예시적인 픽처를 도시한다.
도 4a는 ERP에 대한 예시적인 패딩 지오메트리를 도시한다.
도 4b는 예시적인 패딩된 ERP 픽처를 도시한다.
도 5a는 CMP에 대한 예시적인 패딩 지오메트리를 도시한다.
도 5b는 예시적인 패딩된 CMP 면들을 도시한다.
도 6은 예시적인 360도 비디오 작업흐름을 도시한다.
도 7은 예시적인 비디오 인코더를 도시한다.
도 8은 예시적인 비디오 디코더를 도시한다.
도 9는 내적 예측에서 이용되는 예시적인 참조 샘플을 도시한다.
도 10은 내적 예측 방향들의 예시적인 표시를 도시한다.
도 11은 모션 벡터를 갖는 상호간 예측(예를 들어, 단방향 예측)의 예를 도시한다.
도 12는 픽처 경계 밖의 참조 샘플들에 대한 예시적인 패딩을 도시한다.
도 13은 공간적 병합 후보들을 결정하는데 이용되는 예시적인 공간적 이웃들을 도시한다.
도 14는 수평 지오메트리 패딩을 이용할 때의 상호간 예측을 위한 재구성된 샘플들의 예시적인 캐싱을 도시한다.
도 15는 1/4 샘플 루마 보간에 대한 예시적인 정수 샘플(예를 들어, 대문자 음영 블록) 및 소수 샘플 위치들(예를 들어, 소문자 비음영 블록들)을 도시한다.
도 16a는 하나 이상의 개시된 실시예가 구현될 수 있는 예시적인 통신 시스템의 시스템도이다.
도 16b는 도 16a에 도시된 통신 시스템 내에서 이용될 수 있는 예시적인 무선 전송/수신 유닛(WTRU)의 시스템도이다.
도 16c는 도 16a에 도시된 통신 시스템 내에서 이용될 수 있는 예시적인 무선 액세스 네트워크(RAN) 및 예시적인 코어 네트워크(CN)의 시스템도이다.
도 16d는 도 16a에 도시된 통신 시스템 내에서 이용될 수 있는 추가의 예시적인 RAN 및 추가의 예시적인 CN의 시스템도이다.
이제, 예시적인 실시예들의 상세한 설명이 여러 도면들을 참조하여 설명될 것이다. 이 설명이 가능한 구현들의 상세한 예를 제공하지만, 그 상세들은 예시적이고, 어떠한 방식으로도 본 출원의 범위를 제한하는 것을 의도하지 않는다는 점에 유의해야 한다.
본 명세서에 설명된 360도 비디오들은 구형 비디오들, 전방향 비디오들, 가상 현실(VR) 비디오들, 파노라마 비디오들, 몰입형 비디오들(예를 들어, 6 자유도를 포함할 수 있는 광 필드 비디오들), 포인트 클라우드 비디오들 등일 수 있거나 이들을 포함할 수 있다.
VR 시스템은 360도 비디오를 이용하여 사용자들에게 수평 방향에서의 360도 각도들 및 수직 방향에서의 180도 각도들로부터 장면을 보는 능력을 제공할 수 있다. VR 시스템 및/또는 360도 비디오는 초고화질(UHD) 서비스를 넘는 미디어 소비를 위한 방향인 것으로 고려될 수 있다. 전방향 미디어 애플리케이션 포맷에 대한 요건들 및 잠재적인 기술들에 대한 작업은 VR 시스템에서 360도 비디오의 품질을 개선하고/하거나 클라이언트의 상호운용성을 위해 처리 체인을 표준화하기 위해 수행될 수 있다. 프리뷰 TV(FTV)는 다음 중 하나 이상의 성능을 테스트할 수 있다: (1) 360도 비디오(예를 들어, 전방향 비디오) 기반 시스템; (2) 멀티뷰 기반 시스템.
VR 시스템은 처리 체인을 포함할 수 있다. 처리 체인은 캡처링, 처리, 디스플레이 및/또는 애플리케이션일 수 있거나 이를 포함할 수 있다. 캡처링과 관련하여, VR 시스템은 하나 이상의 카메라를 이용하여 상이한 분기성 뷰들(예를 들어, 6개 내지 12개의 뷰)로부터 장면들을 캡처할 수 있다. 뷰들은 함께 스티칭되어 고해상도(예를 들어, 4K 또는 8K)의 360도 비디오를 형성할 수 있다. 클라이언트 측 및/또는 사용자 측에서, VR 시스템은 계산 플랫폼, HMD(head mounted display), 및/또는 하나 이상의 헤드 추적 센서를 포함할 수 있다. 계산 플랫폼은 360도 비디오를 수신 및/또는 디코딩하고/하거나 디스플레이를 위한 뷰포트를 생성할 수 있다. 각각의 눈에 하나씩 2개의 픽처가 뷰포트에 대해 렌더링될 수 있다. 2개의 픽처는 (예를 들어, 스테레오 시청을 위해) HMD에 표시될 수 있다. 렌즈는 더 나은 시청을 위해 HMD에 표시된 이미지를 확대하는데 이용될 수 있다. 헤드 추적 센서는 시청자의 헤드 배향을 추적할 수 있고(예를 들어, 지속적으로 추적할 수 있고)/있거나 그 배향에 대한 뷰포트 픽처를 표시하기 위해 시스템에 배향 정보를 공급할 수 있다.
VR 시스템은 시청자가 가상 세계의 객체들과 상호작용하기 위한 터치 디바이스를 제공할 수 있다. VR 시스템은 GPU 지원으로 워크스테이션에 의해 구동될 수 있다. VR 시스템은 스마트폰을 계산 플랫폼, HMD 디스플레이, 및/또는 헤드 추적 센서로서 이용할 수 있다. 공간적 HMD 해상도는 2160x1200일 수 있고, 리프레시 레이트는 90Hz일 수 있고/있거나 시야(FOV)는 110도일 수 있다. 헤드 추적 센서에 대한 샘플링 밀도는 1000Hz일 수 있고, 이는 빠른 움직임을 캡처할 수 있다. VR 시스템은 렌즈 및/또는 카드보드를 포함할 수 있고/있거나 스마트폰에 의해 구동될 수 있다.
360도 비디오들은, 예를 들어, HTTP를 통한 동적 적응 스트리밍(DASH) 기반 비디오 스트리밍 기술들을 이용하여 압축 및/또는 전달될 수 있다. 360도 비디오 전달은, 예를 들어, 360도 정보를 나타내기 위해 구형 지오메트리 구조를 이용하여 구현될 수 있다. 예를 들어, 복수의 카메라에 의해 캡처된 동기화된 복수의 뷰는 (예를 들어, 일체형 구조로서) 구 상에 스티칭될 수 있다. 구 정보는 지오메트리 변환(예를 들어, 정방형 투영 및/또는 큐브맵 투영)을 통해 2D 평면 표면 상에 투영될 수 있다.
정방형 투영이 수행될 수 있다. 도 1a는 경도들(
Figure pct00001
) 및 위도들(θ)에서의 예시적인 구 샘플링을 도시한다. 도 1b는 정방형 투영(ERP)을 이용하여 2D 평면 상에 투영되는 예시적인 구를 도시한다. 범위
Figure pct00002
에서의 경도(
Figure pct00003
)는 요(yaw)라고 지칭될 수 있고, 범위
Figure pct00004
에서의 위도(θ)는 항공에서의 피치라고 지칭될 수 있다.
Figure pct00005
는 원의 원주 대 그 직경의 비율일 수 있다. 좌표들(x, y, z)은 3D 공간에서의 포인트의 좌표들을 나타낼 수 있다. 좌표들(ue, ve)은 ERP 이후의 2D 평면에서의 포인트의 좌표들을 나타낼 수 있다. ERP는 예를 들어 수학식 1 및 2에 도시된 바와 같이 수학적으로 표현될 수 있다.
[수학식 1]
Figure pct00006
[수학식 2]
Figure pct00007
W 및 H는 2D 평면 픽처의 폭 및 높이일 수 있다. 도 1a에서 알 수 있는 바와 같이, 포인트 P, 구 상의 경도 L4와 위도 A1 사이의 교차점은 수학식 1 및/또는 2를 이용하여 2D 평면에서 도 1b에서의 고유 포인트 q에 매핑될 수 있다. 도 1b에 도시된 2D 평면에서의 포인트 q는 예를 들어 역 투영을 통해 도 1a에 도시된 구 상의 포인트 P로 다시 투영될 수 있다. 도 1b에서의 시야(FOV)는 구에서의 FOV가 약 110도에서 X 축을 따라 시야각을 갖는 2D 평면에 매핑되는 예를 도시한다.
하나 이상의 360도 비디오가 2D 비디오들에 매핑될 수 있다. 매핑된 비디오는 비디오 코덱(예를 들어, H.264, HEVC 등)을 이용하여 인코딩될 수 있고/있거나 클라이언트에 전달될 수 있다. 클라이언트 측에서, 정방형 비디오는 (예를 들어, 정방형 픽처에서 FOV에 속하는 부분을 HMD 상에 투영 및/또는 표시함으로써) 사용자의 뷰포트에 기반하여 디코딩 및/또는 렌더링될 수 있다. 구형 비디오는 ERP로 인코딩하기 위해 2D 평면 픽처로 변환될 수 있다. 정방형 2D 픽처의 특성은 비-정방형 2D 픽처(예를 들어, 직선 비디오)와 상이할 수 있다. 북극에 대응할 수 있는 픽처의 상단 부분, 및 남극에 대응할 수 있는 픽처의 하단 부분은 (예를 들어, 적도에 대응할 수 있는 픽처의 중간 부분과 비교할 때) 신장될 수 있다. 신장은 2D 공간적 도메인에서의 정방형 샘플링이 불균일할 수 있음을 나타낼 수 있다. 2D 정방형 픽처에서의 모션 필드는 시간적 방향을 따라 복잡할 수 있다.
ERP 픽처의 좌측 및/또는 우측 경계들은 코딩(예를 들어, 독립적으로 코딩)될 수 있다. 재구성된 비디오에서 면 이음부들 형태의 불쾌한 시각적 아티팩트들은, 예를 들어 재구성된 비디오가, 이후 HMD를 통해 또는 2D 스크린을 통해 사용자에게 표시되는, 뷰포트를 렌더링하는데 이용될 때 생성될 수 있다. N(예를 들어, 8)개의 루마 샘플의 패딩은 픽처의 좌측 및/또는 우측 상에 적용될 수 있다. 패딩 샘플들을 포함하는 패딩된 ERP 픽처는 인코딩될 수 있다. 패딩을 갖는 재구성된 ERP는 다시 변환될 수 있다. 예를 들어, 패딩을 갖는 재구성된 ERP는 (예를 들어, 디코딩 후에) 복제된 샘플들을 혼합하는 것 및/또는 패딩된 영역들을 크로핑하는 것에 의해 다시 변환될 수 있다.
램버트 원통형 등적 투영(EAP)은 ERP와 동일한 경도 샘플링을 이용할 수 있다. 램버트 원통형 EAP는 수직 샘플링 밀도를 감소시킴으로써 극들 근처에서 증가하는 수평 샘플링 밀도를 보상할 수 있다. EAP에서, 수직 샘플링 밀도는
Figure pct00008
로 설정될 수 있고, 결합된 샘플링 밀도는 구 전체에 걸쳐 일정할 수 있다. 조정된 등적 투영(AEP)은 EAP의 일반화일 수 있다. AEP는 투영에서 라인 리샘플링 레이트를 제어할 수 있는 파라미터를 도입할 수 있다.
큐브맵 투영이 수행될 수 있다. 북극 및 남극에 각각 대응할 수 있는 ERP 픽처의 상단 부분 및 하단 부분은 (예를 들어, 픽처의 중간 부분과 비교할 때) 신장될 수 있다. 이것은 픽처의 구형 샘플링 밀도가 불균일할 수 있다는 것을 나타낼 수 있다. 이웃하는 ERP 픽처들 간의 시간적 상관을 설명할 수 있는 모션 필드는 복잡해질 수 있다. 특정 비디오 코덱들(예컨대, MPEG-2, H.264, 및/또는 HEVC)은 병진 모델을 이용하여 모션 필드를 설명할 수 있고 평면 ERP 픽처들에서의 형상 가변 움직임들을 나타내지 못할 수 있다.
지오메트리 투영 포맷들은 360도 비디오를 복수의 면들 상에 매핑하는데 이용될 수 있다. 예를 들어, 큐브맵 투영(CMP)이 이용될 수 있다. 도 2a는 예시적인 CMP 지오메트리를 도시한다. 도 2a에서 알 수 있는 바와 같이, CMP는 PX, PY, PZ, NX, NY 및/또는 NZ로 라벨링될 수 있는 6개의 정사각형 면을 포함할 수 있다. P는 양을 나타낼 수 있고, N은 음을 나타낼 수 있다. X, Y, 및 Z는 축들을 지칭할 수 있다. 면들은 숫자들 0-5를 이용하여 라벨링될 수 있다. 예를 들어, 면들은 PX(0), NX(1), PY(2), NY(3), PZ(4), NZ(5)로 라벨링될 수 있다. 접선구의 반경이 1인 경우, 각각의 면의 측방향 길이는 2일 수 있다. CMP 포맷의 6개의 면은 픽처(예를 들어, 단일 픽처)에 함께 패킹될 수 있다(예를 들어, 함께 프레임 패킹될 수 있다). 면은 어떤 도(예를 들어, 특정 도)만큼 회전될 수 있고, 이는 이웃하는 면들 사이의 연속성에 영향을 줄 수 있다(예를 들어, 영향을 최대화할 수 있다). 도 2b는 6개의 면을 직사각형 픽처에 배치하는 예시적인 패킹을 도시한다. 면 인덱스는 면의 대응하는 회전과 정렬되는 방향으로 놓일 수 있다. 예를 들어, 면 #3 및 면 #1은 각각 180도 및 270도만큼 반시계 방향으로 회전될 수 있다. 다른 면들은 회전되지 않을 수 있다. 예들에서, 프레임 패킹 방법은 (예컨대, 도 2b에 도시된 바와 같이) 3x2 레이아웃을 포함할 수 있다. 도 2b에서 알 수 있는 바와 같이, 3개의 면의 상단 행은 3D 지오메트리에서의 공간적으로 이웃하는 면들일 수 있고 연속적인 텍스처를 가질 수 있다. 도 2b에서 알 수 있는 바와 같이, 3개의 면의 하단 행은 3D 지오메트리에서의 공간적으로 이웃하는 면들일 수 있고 연속적인 텍스처를 가질 수 있다. 상단 면 행 및 하단 면 행은 3D 지오메트리에서 공간적으로 연속적이지 않을 수 있고, 불연속 경계와 같은 이음부가 2개의 면 행 사이에 존재할 수 있다.
CMP에서, 샘플링 밀도가 면의 중심에서 1이면, 샘플링 밀도는 에지들을 향해 증가할 수 있다. 에지들 주위의 텍스처는 중심에서의 텍스처와 비교할 때 신장될 수 있다. 큐브맵 기반 투영들(예를 들어, 등각 큐브맵 투영(EAC), 조정된 큐브맵 투영(ACP) 등)은 수직 및/또는 수평 방향들에서의 비선형 워핑 함수를 이용하여 면(예를 들어, 각각의 면)을 조정할 수 있다. 예를 들어, EAC에서, 조정들은 탄젠트 함수를 이용하여 수행될 수 있다. ACP에서, 조정은 2차 다항식 함수를 이용하여 수행될 수 있다.
HCP(hybrid cubemap projection)가 수행될 수 있다. HCP에서, 조정 함수 및 그 파라미터들은 면 및/또는 방향에 대해 개별적으로 조율될 수 있다. 큐브맵 기반 투영 포맷은 하이브리드 등각 큐브맵 투영 포맷(HEC)을 포함할 수 있다. 큐브 기반 투영들은 패킹될 수 있다. 예를 들어, 큐브 기반 투영들은 CMP와 유사하게 패킹될 수 있다. 프레임 패킹된 픽처 내의 면 불연속성은 큐브 기반 투영에서 발생할 수 있다.
360도 비디오 코딩을 위한 지오메트리 패딩이 수행될 수 있다.
비디오 코덱들은 평면 상에서 캡처된 2D 비디오를 고려할 수 있다. 모션 보상된 예측이 참조 픽처의 경계들 밖의 샘플을 이용하는 경우, 픽처 경계들로부터 하나 이상의 샘플 값을 복사함으로써 패딩이 수행될 수 있다. 이러한 유형의 패딩은 반복적 패딩으로 알려질 수 있다. 도 3a 및 도 3b는 각각 ERP 및 CMP에 대한 반복적 패딩을 이용하여 (예를 들어, 점선 상자에 의해 경계가 정해진) 원래의 픽처를 확장하는 예들을 도시한다.
360도 비디오는 구(예를 들어, 전체 구) 상의 비디오 정보를 포함할 수 있고/있거나, 순환 속성을 가질 수 있다. 360도 비디오의 참조 픽처는 경계들을 갖지 않을 수 있다. 예를 들어, 360도 비디오의 참조 픽처는 구 주위에 랩핑될 수 있다 (그리고, 예를 들어, 경계들을 갖지 않을 수 있다). 순환 속성은 2D 평면 상에 360도 비디오를 나타낼 때 존재할 수 있다. 순환 속성은 어느 투영 포맷 및/또는 어느 프레임 패킹 구현이 이용되는지에 관계없이 존재할 수 있다. 지오메트리 패딩은 3D 지오메트리를 고려하여 샘플을 패딩함으로써 360도 비디오 코딩에 대해 수행될 수 있다.
ERP에 대한 지오메트리 패딩이 수행될 수 있다. ERP는 경도 및 위도를 갖는 구 상에서 정의될 수 있다. (예를 들어, ERP 픽처 밖의) 패딩될 포인트(u, v)가 주어지면, 포인트(u', v')는 패딩 샘플을 도출하는데 이용될 수 있다. 이것은 다음에 의해 결정될 수 있다:
[수학식 3]
(u < 0 또는 u ≥ W) 및 (0 ≤ v < H)이면; u' = u%W이고, v' = v이고,
[수학식 4]
그렇지 않고, (v < 0)이면; v' = - v - 1이고, u' = (u + W/2)%W이고,
[수학식 5]
그렇지 않고, (v ≥ H)이면; v' = 2 * H - 1 - v이고, u' = (u + W/2)%W이다.
W 및 H는 ERP 픽처의 폭 및 높이일 수 있다.
도 4a는 ERP에 대한 지오메트리 패딩의 예를 도시한다. 패딩은 픽처의 좌측 경계 밖에서 수행될 수 있다. 예를 들어, 도 4a에서 알 수 있는 바와 같이, 픽처의 좌측 경계 밖에 위치하는 샘플들 A, B 및 C는 픽처의 우측 경계 안에 위치할 수 있는 샘플들 A', B' 및 C'로 패딩될 수 있다. 패딩은 픽처의 우측 경계 밖에서 수행될 수 있다. 예를 들어, 도 4a에서 알 수 있는 바와 같이, 샘플들 D, E 및 F는 픽처의 좌측 경계 안에 위치할 수 있는 샘플들 D', E' 및 F'로 패딩될 수 있다. 패딩은 픽처의 상단 경계 밖에서 수행될 수 있다. 예를 들어, 도 4a에서 알 수 있는 바와 같이, 샘플들 G, H, I 및 J는 폭의 절반의 오프셋을 갖는 픽처의 상단 경계 안에 위치할 수 있는 샘플들 G', H', I' 및 J'로 패딩될 수 있다. 패딩은 픽처의 하단 경계 밖에서 수행될 수 있다. 예를 들어, 도 4a에서 알 수 있는 바와 같이, 샘플들 K, L, M 및 N은 폭의 절반의 오프셋을 갖는 픽처의 하단 경계 안에 위치할 수 있는 샘플들 K', L', M' 및 N'로 패딩될 수 있다. 도 4b는 지오메트리 패딩을 이용하는 확장된 ERP 픽처의 예를 도시한다. 도 4b에서 알 수 있는 바와 같이, 지오메트리 패딩은 ERP 픽처의 경계들 밖의 영역들에 대한 이웃하는 샘플들 사이의 연속성을 제공할 수 있다. ERP에 대한 지오메트리 패딩이 단순화될 수 있다. 예를 들어, 픽처의 좌측 및/또는 우측 경계들은 지오메트리 패딩을 이용하여 패딩될 수 있고, 픽처의 상단 및 하단 경계들은 반복적 패딩을 이용하여 패딩될 수 있다. 픽처의 좌측 및/또는 우측 경계들의 지오메트리 패딩 및 픽처의 상단 및 하단 경계들의 반복적 패딩은, 예를 들어, 좌측 및/또는 우측 경계들과 같은 적도 주위의 영역들이 더 흥미로운 비디오 콘텐츠를 포함할 수 있고/있거나 상단 및 하단 경계들과 같은 극 영역들에 비해 사용자들에 의해 더 자주 시청될 수 있으므로, 바람직할 수 있다.
코딩된 픽처가 CMP 포맷일 때, CMP의 하나 이상의 면은 지오메트리 패딩을 이용하여 패딩될 수 있다. 도 5a는 3D 지오메트리에서 주어진 면 상에 수행되는 지오메트리 패딩의 예를 도시한다. 도 5a에서 알 수 있는 바와 같이, 포인트 P는 면 F1 상에 있을 수 있고 면 F1의 경계들 밖에 있을 수 있다. 포인트 P가 패딩될 수 있다. 도 5a에서 알 수 있는 바와 같이, 포인트 O는 구의 중심에 있을 수 있다. 도 5a에서 알 수 있는 바와 같이, R은 P에 가장 가깝고 면 F1의 안에 있을 수 있는 좌측 경계 포인트일 수 있다. 도 5a에서 알 수 있는 바와 같이, 포인트 Q는 중심 포인트 O로부터 면 F2 상의 포인트 P의 투영 포인트일 수 있다. 지오메트리 패딩은 포인트 Q에서의 샘플 값을 이용하여 수행되어 포인트 P에서 샘플 값을 채울 수 있다. 도 5b는 CMP 3x2 픽처에 대한 지오메트리 패딩을 이용하는 확장된 면들의 예를 도시한다. 도 5b에 도시된 바와 같이, 각각의 면 상에서 개별적으로 패딩이 수행될 수 있다. 지오메트리 패딩은 CMP 면의 경계 밖의 영역들에 대한 샘플들을 제공할 수 있다.
하이브리드 비디오 인코딩이 수행될 수 있다. 예시적인 360도 비디오 전달 구현이 도 6에 도시되어 있다. 도 6에서 알 수 있는 바와 같이, 예시적인 360도 비디오 전달 구현은 구 공간(예를 들어, 전체 구 공간)을 커버하는 비디오들을 캡처하기 위해 복수의 카메라들을 이용할 수 있는 360도 비디오 캡처를 포함할 수 있다. 비디오들은 고유한 지오메트리 구조로 함께 스티칭될 수 있다. 예를 들어, 비디오들은 ERP 포맷으로 함께 스티칭될 수 있다. 고유한 지오메트리 구조는, 예를 들어, 비디오 코덱들에 기반하여, 인코딩을 위해 하나 이상의 투영 포맷으로 변환될 수 있다. 수신기에서, 비디오가 디코딩될 수 있고/있거나 압축해제된 비디오가 표시를 위해 지오메트리로 변환될 수 있다. 비디오는 사용자의 시야각에 따라 뷰포트 투영을 통해 렌더링하는데 이용될 수 있다.
도 7은 예시적인 블록 기반 하이브리드 비디오 인코딩 시스템(600)을 도시한다. 입력 비디오 신호(602)는 블록 단위로 처리될 수 있다. 확장된 블록 크기들(예를 들어, 코딩 단위(CU)로 지칭됨)은 고해상도(예를 들어, 1080p 및/또는 그 초과의) 비디오 신호들을 압축하는데 이용될 수 있다(예를 들어, HEVC에서 이용될 수 있다). CU는 (예를 들어, HEVC에서) 최대 64x64 픽셀을 가질 수 있다. CU는 별개의 예측들이 적용될 수 있는 예측 단위(PU)들로 분할될 수 있다. 입력 비디오 블록(예를 들어, 매크로블록(MB) 또는 CU)의 경우, 공간적 예측(660) 또는 모션 예측(662)이 수행될 수 있다. 공간적 예측(예를 들어, 또는 내적 예측)은 동일한 비디오 픽처 및/또는 슬라이스 내의 이미 코딩된 이웃하는 블록들로부터의 픽셀들을 이용하여 현재 비디오 블록을 예측할 수 있다. 공간적 예측은 비디오 신호에 내재된 공간적 중복성을 감소시킬 수 있다. 모션 예측(예를 들어, 상호간 예측 또는 시간적 예측이라고 지칭됨)은 이미 코딩된 비디오 픽처들로부터의 픽셀들을 이용하여 현재 비디오 블록을 예측할 수 있다. 모션 예측은 비디오 신호에 내재된 시간적 중복성을 감소시킬 수 있다. 주어진 비디오 블록에 대한 모션 예측 신호는 현재 블록과 그 참조 블록 사이의 모션의 양 및/또는 방향을 나타내는 모션 벡터에 의해 시그널링될 수 있다. (예를 들어, H.264/AVC, HEVC 등에서) 복수의 참조 픽처들이 지원되는 경우, 비디오 블록의 참조 픽처 인덱스는 디코더에 시그널링될 수 있다. 참조 인덱스는 참조 픽처 저장소(664) 내의 어느 참조 픽처로부터 시간적 예측 신호가 올 수 있는지를 식별하는데 이용될 수 있다.
공간적 및/또는 모션 예측 후에, 인코더에서의 모드 결정(680)은 예를 들어 레이트-왜곡 최적화에 기반하여 예측 모드를 선택할 수 있다. 616에서, 예측 블록이 현재 비디오 블록으로부터 감산될 수 있다. 예측 잔차들은 변환 모듈(604) 및 양자화 모듈(606)을 이용하여 역상관되어 타겟 비트 레이트를 달성할 수 있다. 양자화된 잔차 계수들은 610에서 역양자화되고 612에서 역변환되어 재구성된 잔차들을 형성할 수 있다. 재구성된 잔차들은 626에서 예측 블록에 다시 가산되어 재구성된 비디오 블록을 형성할 수 있다. 디블로킹 필터 및/또는 적응적 루프 필터와 같은 인-루프 필터가, 참조 픽처 저장소(664)에 놓여지기 전에, 666에서 재구성된 비디오 블록에 적용될 수 있다. 참조 픽처 저장소(664) 내의 참조 픽처들은 장래의 비디오 블록들을 코딩하는데 이용될 수 있다. 출력 비디오 비트스트림(620)이 형성될 수 있다. 코딩 모드(예를 들어, 인터 또는 인트라 코딩 모드), 예측 모드 정보, 모션 정보, 및/또는 양자화된 잔차 계수들이 엔트로피 코딩 유닛(608)에 전송되어 압축되고 패킹되어 비트스트림(620)을 형성할 수 있다.
도 8은 예시적인 블록 기반 비디오 디코더를 도시한다. 비디오 비트스트림(202)은 엔트로피 디코딩 유닛(208)에서 수신, 언패킹, 및/또는 엔트로피 디코딩될 수 있다. 코딩 모드 및/또는 예측 정보는 공간적 예측 유닛(260)(예를 들어, 인트라 코딩된 경우) 및/또는 시간적 예측 유닛(262)(예를 들어, 인터 코딩된 경우)으로 전송될 수 있다. 예측 블록은 공간적 예측 유닛(260) 및/또는 시간적 예측 유닛(262)으로 형성될 수 있다. 잔차 변환 계수들은 역양자화 유닛(210) 및 역변환 유닛(212)에 전송되어 잔차 블록을 재구성할 수 있다. 예측 블록 및 잔차 블록이 226에서 추가될 수 있다. 재구성된 블록은 인-루프 필터링(266)을 통과할 수 있고, 참조 픽처 저장소(264)에 저장될 수 있다. 참조 픽처 저장소(264) 내의 재구성된 비디오들은 디스플레이 디바이스를 구동하고/하거나 장래의 비디오 블록들을 예측하는데 이용될 수 있다.
H.264 및/또는 HEVC와 같은, 비디오 코덱이 2D 평면 직선 비디오를 코딩하는데 이용될 수 있다. 비디오 코딩은, 예를 들어, 정보 중복성들을 제거하기 위해, 공간적 및/또는 시간적 상관을 이용할 수 있다. 내적 예측 및/또는 상호간 예측과 같은 하나 이상의 예측 기술이 비디오 코딩 동안 적용될 수 있다. 내적 예측은 그 이웃하는 재구성된 샘플들로 샘플 값을 예측할 수 있다. 도 9는 현재 변환 단위(TU)를 내적 예측하는데 이용될 수 있는 예시적인 참조 샘플들을 도시한다. 참조 샘플들은 현재 TU의 위쪽에 그리고/또는 좌측에 위치된 재구성된 샘플들일 수 있거나 이들을 포함할 수 있다. 참조 샘플들은 좌측 및/또는 상단으로부터 이웃하는 재구성된 샘플들일 수 있거나 이들을 포함할 수 있다.
도 10은 HEVC에서의 내적 예측 방향들의 예시적인 표시를 도시한다. 예를 들어, HEVC는 도 10에 도시된 바와 같이 평면(0), DC(1), 및/또는 각도 예측들(2~34)을 포함하는 35개의 내적 예측 모드를 지정할 수 있다. 적절한 내적 예측 모드가 선택될 수 있다. 예를 들어, 적절한 내적 예측 모드가 인코더 측에서 선택될 수 있다. 복수의 후보 내적 예측 모드에 의해 생성된 예측들이 비교될 수 있다. 예측 샘플들과 원래의 샘플들 사이의 최소 왜곡을 생성하는 후보 내적 예측 모드가 선택될 수 있다. 선택된 내적 예측 모드는 비트스트림으로 코딩될 수 있다.
각도 예측들은 방향성 텍스처들을 예측하는데 이용될 수 있다. 도 11은 모션 벡터(MV)를 갖는 예시적인 상호간 예측을 도시한다. 참조 픽처 내의 블록들 B0' 및 B1'는 현재 픽처의 블록들 B0 및 B1에 대한 각각의 참조 블록들일 수 있다. 참조 블록 B0'는 부분적으로 참조 픽처의 경계 밖에 있을 수 있다. 패딩은 픽처 경계들 밖의 미지의 샘플들을 채우는데 이용될 수 있다. 도 12는 픽처 경계 밖의 참조 샘플들에 대한 예시적인 패딩을 도시한다. 예를 들어, 블록 B0'에 대한 패딩 예들은 4개의 부분 P0, P1, P2 및 P3을 가질 수 있다. 부분들 P0, P1, 및 P2는 픽처 경계의 밖에 있을 수 있고, 예를 들어 패딩을 통해 채워질 수 있다. 부분 P0은 참조 픽처의 좌측 상단 샘플로 채워질 수 있다. 부분 P1은 참조 픽처의 최상단 행을 이용하여 수직 패딩으로 채워질 수 있다. 부분 P2는 픽처의 가장 좌측 열을 이용하여 수평 패딩으로 채워질 수 있다.
병합 모드는 공간적 및/또는 시간적으로 이웃하는 PU들의 MV 정보를 이용(예컨대, 재이용)할 수 있다. PU(예를 들어, 현재 PU)에 대한 모션 벡터들은 코딩되지 않을 수 있다. 인코더 및/또는 디코더는 모션 벡터 병합 후보 리스트를 형성할 수 있다. 예를 들어, 리스트는 공간적 및/또는 시간적으로 이웃하는 PU들의 MV 정보를 이용하여 생성될 수 있다. 도 13은 병합 후보 도출에 이용되는 공간적 이웃들(예컨대, 좌측 하단, 좌측, 우측 상단, 상단, 및/또는 좌측 상단)의 예를 도시한다. 선택된 병합 후보 인덱스가 코딩 및/또는 시그널링될 수 있다. 병합 후보 리스트가 디코더에 의해 구성될 수 있다. 디코더에 의한 리스트 구성은 인코더에 의한 리스트 구성과 유사할 수 있다(예를 들어, 동일할 수 있다). 시그널링된 병합 후보 인덱스의 엔트리가 PU(예컨대, 현재 PU)의 MV로서 이용될 수 있다.
360도 비디오 코딩을 위한 지오메트리 패딩이 구현될 수 있다. 예를 들어, 360도 비디오 코딩을 위한 지오메트리 패딩은 2D 대 3D 및 3D 대 2D 매핑 함수들에 기반하여 구현될 수 있다. 2D 대 3D 및 3D 대 2D 매핑 함수들은 나눗셈 및/또는 삼각 함수들, 예컨대 사인, 코사인, 탄젠트 등을 이용할 수 있다. 지오메트리 패딩의 구현은 CPU 및/또는 메모리와 같은 컴퓨팅 자원들을 이용할 수 있다. 지오메트리 패딩은 하드웨어로 구현될 수 있다. 분모가 일정한 나눗셈들이 구현될 수 있다. 예를 들어, 분모가 일정한 나눗셈들은 비트 시프트 연산들을 이용하여 구현될 수 있다. 분모가 가변적인 나눗셈들은 구현하기 어려울 수 있다. 하나 이상의 함수는 룩업 테이블(LUT)들을 이용하여 구현될 수 있다. LUT들은 디코딩 플랫폼에 이용가능하지 않을 수 있다. 인코더 및/또는 디코더는 LUT들을 메모리에 저장할 수 있다.
지오메트리 패딩은 참조 픽처를 생성하는 것에 의해 구현될 수 있다. 참조 픽처 내의 다수의 샘플들이 픽처 경계들 주위에 미리 패딩될 수 있다. 하나 이상의 미리 패딩된 샘플이 이용되지 않을 수 있다. 예를 들어, 하나 이상의 미리 패딩된 샘플이 생략될 수 있고, 비트스트림에서의 어떠한 모션 벡터들도 패딩된 샘플들을 참조하지 않을 때 이용되지 않을 수 있다. 참조 픽처 및/또는 미리 패딩된 샘플들이 저장될 수 있다. 예를 들어, 참조 픽처 및/또는 미리 패딩된 샘플들이 메모리에 저장될 수 있다.
예들에서, 지오메트리 패딩은, 예컨대, 본 명세서에 설명되는 바와 같이, 구형 이웃들을 페치할 때 하나 이상의 샘플을 도출하는 것에 기반하여 구현될 수 있다. 예를 들어, 수평 지오메트리 패딩이 이용될 때, ERP, EAP, AEP 등과 같은 단일 면 기반 투영 지오메트리로부터 하나 이상의 샘플이 도출될 수 있다. 클리핑 동작은 디코딩된 픽처 내의 샘플을 제약하는데 이용될 수 있다.
예들에서, 블록은 하나 이상의 서브블록으로 분할될 수 있다. 예를 들어, 블록은 그 모션 벡터들에 기반하여 하나 이상의 서브블록으로 분할될 수 있다. 투영된 비디오의 상이한 부분들로부터의 서브블록에 대한 예측이 페치될 수 있다. 예를 들어, 모션 벡터가 ERP 픽처의 좌측 에지 밖의 블록의 좌측 부분을 취하면, 블록은 2개의 부분과 같은 복수의 부분들로 분할될 수 있다. 이 부분들은 ERP 픽처의 에지의 안 및/또는 밖에 있을 수 있다. 좌측 에지 밖에 있는 부분은 ERP 픽처의 우측으로부터 페치될 수 있고, 좌측 에지 안에 있는 부분은 ERP 픽처의 좌측으로부터 페치될 수 있다.
픽처 코딩 디바이스는 지오메트리 패딩을 수행할 수 있다. 본 명세서에 설명된 비디오 코딩 디바이스는 인코더 및/또는 디코더일 수 있거나 이를 포함할 수 있다. 예를 들어, 비디오 코딩 디바이스는 하나 이상의 구형 이웃을 페치할 때 하나 이상의 샘플을 도출하는 것에 기반하여 지오메트리 패딩을 수행할 수 있다.
수평 지오메트리 패딩과 같은 지오메트리 패딩을 인에이블하기 위한 표시가 시그널링될 수 있다. 예를 들어, 지오메트리 패딩이 인에이블된다는 것을 표시하기 위한 랩어라운드 인에이블 표시가 시그널링될 수 있다. 랩어라운드 인에이블 표시는 수평 랩어라운드 모션 보상이 인에이블되는지를 표시할 수 있다. 랩어라운드 인에이블 표시는 수평 랩어라운드 모션 보상이 인에이블되는지를 표시할 수 있는 랩어라운드 인에이블 플래그일 수 있거나 이를 포함할 수 있다. 랩어라운드 인에이블 표시와 같은 표시는 비트스트림에서 시그널링될 수 있다.
하나 이상의 구형 이웃의 정확한 위치가 결정될 수 있다. 예를 들어, 비디오 코딩 디바이스는 현재 샘플의 참조 샘플 랩어라운드 오프셋에 기반하여 현재 샘플과 연관된 하나 이상의 구형 이웃의 정확한 위치를 결정할 수 있다. 비디오 코딩 디바이스는 지오메트리 패딩을 통해 참조 샘플 랩어라운드 오프셋과 같은 오프셋을 고려할 수 있고, 하나 이상의 구형 이웃의 정확한 위치를 계산할 수 있다. 예를 들어, 참조 샘플 랩어라운드 오프셋은 비디오 콘텐츠와 연관된 프레임 패킹된 픽처와 같은, 픽처의 면 폭을 나타내는 정보일 수 있거나 이를 포함할 수 있다. 비디오 코딩 디바이스는 프레임 패킹된 픽처의 면 폭을 나타내는 크기 표시에 기반하여 하나 이상의 구형 이웃의 정확한 위치를 계산할 수 있다. 크기 표시는 루마 샘플들에서 보호 밴드의 폭과 같은 보호 밴드 크기일 수 있거나 이를 포함할 수 있다. 보호 밴드 크기의 폭이거나 이를 포함할 수 있는 크기 표시에 기반하여, 비디오 코딩 디바이스는 현재 샘플과 연관된 하나 이상의 구형 이웃의 정확한 위치를 계산할 수 있다. 보호 밴드들의 위치 및/또는 크기는 픽처 내의 하나 이상의 면을 패킹할 때 추가될 수 있다(예를 들어, 추가되었을 수 있다). 보호 밴드들은 프레임 패킹된 픽처와 같은 픽처 내의 하나 이상의 면을 패킹할 때 추가되었을 수 있다. 예를 들어, 보호 밴드들은 인코딩 전에 픽처 내의 하나 이상의 면을 패킹할 때 추가되었을 수 있다. 본 명세서에 설명된 바와 같이, 지오메트리 패딩에 관련된 하나 이상의 표시는 수평 지오메트리 패딩과 같은 지오메트리 패딩이 적용되는지 그리고/또는 보호 밴드들을 지정하는지를 표시하기 위해 시그널링될 수 있다.
ERP, EAP, AEP 등과 같은 단일 면 투영 포맷과 같이, 면을 포함하는 투영 지오메트리들의 경우, 지오메트리 패딩은 수평 방향으로 수행될 수 있다. 지오메트리 패딩이 수평 방향으로 수행될 때, 반복적 패딩이 수직 방향으로 이용될 수 있다. 수평 샘플 좌표가 코딩된 픽처 내에 랩핑될 수 있기 때문에 샘플 위치가 결정될 수 있다(예를 들어, 수학식 3 참조). 수직 샘플 좌표는 반복적 패딩에서와 같이 하나 이상의 코딩된 픽처 경계에 클리핑될 수 있다. 면(예를 들어, 단일 면) 기반 투영 지오메트리들에 대한 (예를 들어, 수평 지오메트리 패딩을 이용한) 상호간 예측을 위한 정수 샘플 도출 프로세스 및/또는 소수 샘플 보간 프로세스가 설명될 수 있다.
지오메트리 패딩에 관련된 하나 이상의 표시가 시그널링될 수 있다. 본 명세서에 설명된 바와 같이, 랩어라운드 인에이블 표시가 시그널링될 수 있다. 랩어라운드 인에이블 표시는 수평 랩어라운드 모션 보상이 인에이블되는지를 표시할 수 있다. 랩어라운드 인에이블 표시는 시퀀스 및/또는 픽처 레벨에서 시그널링될 수 있다. 예를 들어, 지오메트리 패딩을 표시하는 랩어라운드 인에이블 표시는 시퀀스 파라미터 세트(SPS)와 같은 시퀀스 레벨에서 시그널링될 수 있다.
하나 이상의 프레임 패킹 파라미터가 비트스트림에서 시그널링될 수 있다. 예를 들어, 하나 이상의 프레임 패킹 파라미터가 HLS(high level syntax) 요소들을 이용하여 시퀀스 및/또는 픽처 레벨에서 시그널링될 수 있다. 프레임 패킹된 픽처의 면의 위치 및/또는 배향이 비트스트림에서 시그널링될 수 있다. 프레임 패킹된 픽처와 연관된 면 폭을 나타내는 표시가 비트스트림에서 시그널링될 수 있다. 보호 밴드의 폭 및/또는 하나 이상의 보호 밴드의 존재를 나타내는, 크기 표시 등의 하나 이상의 오프셋에 대한 표시가 비트스트림에서 시그널링될 수 있다. 예를 들어, 크기 표시 및/또는 면 에지들에서의 하나 이상의 픽셀(예를 들어, 추가적인 픽셀)에 대한 보호 밴드의 존재가 비트스트림에서 시그널링될 수 있다. 오프셋들과 같은 보호 밴드들의 위치는 투영 포맷에 기반할 수 있다. 예를 들어, 단일 면 기반 투영 지오메트리들의 경우, 보호 밴드들은 좌측 및/또는 우측 면 경계들에 위치할 수 있다. 예들에서, 좌측 및 우측 면 경계들에 위치한 보호 밴드들의 크기는 동일할 수 있다. 예들에서, 좌측 및 우측 면 경계들에 위치한 보호 밴드들의 크기는 상이할 수 있다. 보호 밴드의 폭을 나타내는 크기 표시는 좌측 및 우측 보호 밴드들과 같은 보호 밴드들의 폭들을 포함할 수 있다. CMP 포맷과 같은 다중 면 기반 투영 포맷의 경우, 보호 밴드들은 연속적인 면들의 그룹 및/또는 면 행 주위에 위치할 수 있다. 보호 밴드들의 크기들이 다중 면 기반 투영 포맷에서 상이한 경우, 크기 표시는 각각의 보호 밴드의 폭들을 포함할 수 있다.
본 명세서에 설명된 하나 이상의 보호 밴드 및/또는 지오메트리 패딩 신택스 요소가 시그널링될 수 있다. 예를 들어, 수평 랩어라운드 모션 보상이 인에이블되는지를 표시하기 위한 랩어라운드 인에이블 표시가 시그널링될 수 있다. 표시는 랩어라운드 인에이블 플래그일 수 있거나 이를 포함할 수 있다. 표시는 프레임 패킹된 픽처의 면 폭이 시그널링될 수 있음을 나타내는 크기 표시를 포함할 수 있다. 본 명세서에 설명된 바와 같이, 크기 표시(예컨대, 면 폭을 나타냄)는 보호 밴드의 폭을 표시하는 guard_bands_param_present_flag와 같은 파라미터일 수 있거나 이를 포함할 수 있다. 표 1은 지오메트리 패딩 및 보호 밴드 신택스 요소들의 예를 나타낸다. 지오메트리 패딩 및/또는 보호 밴드 신택스 요소들은 시퀀스 레벨 및/또는 픽처 레벨에서 시그널링될 수 있다.
<표 1>
Figure pct00009
예들에서, 표 1의 파라미터들은 다음의 의미를 가질 수 있다.
신택스 요소 projection_geometry는 이용된 투영 지오메트리의 매핑 인덱스(예를 들어, 표 2에 도시됨)일 수 있거나 이를 포함할 수 있다.
신택스 요소 guard_bands_param_present_flag는 신택스 요소 guard_bands_size_in_luma_samples가 존재하는지를 표시할 수 있다. 신택스 요소 guard_bands_size_in_luma_samples가 존재하지 않는 경우, 신택스 요소 guard_bands_param_present_flag의 값은 0과 동일한 것으로 추론될 수 있다.
오프셋이 존재하는지를 나타내는 표시와 같은 오프셋 존재 표시는 오프셋에 관한 정보를 포함할 수 있다. 예를 들어, guard_bands_param_present_flag와 같은 오프셋 존재 표시가 오프셋이 비트스트림에 존재하는지를 결정하는데 이용될 수 있다. 오프셋 존재 표시가 오프셋이 비트스트림에 존재함을 표시하는 경우, 디코더 등의 비디오 코딩 디바이스는 비트스트림을 파싱하여 오프셋을 수신할 수 있다. 오프셋 존재 표시가 오프셋이 비트스트림에 없음을 표시하는 경우, 비디오 코딩 디바이스는 비트스트림을 파싱하여 오프셋을 수신하는 것을 스킵할 수 있다. 예를 들어, guard_bands_param_presnt_flag와 같은 오프셋 존재 표시가 오프셋이 없음을 표시하는 경우, 비디오 코딩 디바이스는 보호 밴드를 이용하는 것을 스킵할 수 있다. 투영된 면의 가장 좌측 및 가장 우측 경계들은 구에서 연결될 수 있고, 그 경계들은 프레임 패킹된 픽처에서 연결되지 않을 수 있다. 보호 밴드 내의 채워진/확장된 샘플들은 비트스트림에서 코딩될 수 있다. 예를 들어, 좌측 보호 밴드 정보는 면 안의 가장 우측 영역으로부터 온 것일 수 있고, 우측 보호 밴드 정보는 면 안의 가장 좌측 영역으로부터 온 것일 수 있다. 가장 좌측 및 가장 우측 경계들에서의 재구성된 샘플들은 (예를 들어, 가장 좌측 및 가장 우측 경계들에서의 재구성된 샘플들이 코딩에서 이웃하는 샘플들로서 취급되기 때문에) 연속적일 수 있다. 보호 밴드에서의 샘플들은 (예를 들어, 샘플들이 물리적으로 존재하지 않기 때문에) 렌더링에서 폐기될 수 있다.
픽처(예를 들어, 프레임 패킹된 픽처)의 면 폭을 나타내는 크기 표시가 수신될 수 있다. 예를 들어, 크기 표시는 guard_bands_size_in_luma_samples와 같은 신택스 요소를 포함할 수 있다. 프레임 패킹된 픽처의 면 폭은 크기 표시에 기반하여 계산될 수 있다. 계산된 면 폭은 참조 샘플 랩어라운드 오프셋으로서 이용될 수 있다. 예를 들어, 신택스 요소 guard_bands_size_in_luma_samples는 프레임 패킹된 픽처에서 이용된 보호 밴드들의 하나 이상의 루마 샘플에서의 크기를 나타낼 수 있다. 보호 밴드들(예를 들어, 오프셋들)의 위치는 투영 포맷에 대해 정의될 수 있다. 예를 들어, ERP, EAP, AEP 등의 포맷들과 같은 단일 면 기반 투영 지오메트리의 경우, 좌측 및/또는 우측 면 경계들에서 하나 이상의 보호 밴드가 정의될 수 있다. 예들에서, 좌측 및 우측 면 경계들에서의 보호 밴드들은 동일한 폭을 가질 수 있다. 예들에서, 좌측 및 우측 면 경계들에서의 보호 밴드들은 상이한 폭들을 가질 수 있다. CMP 포맷과 같은 다중 면 기반 투영 지오메트리의 경우, 하나 이상의 보호 밴드가 면들의 그룹(예를 들어, 연속적인 면들의 각각의 그룹 또는 각각의 면 행) 주위에 정의될 수 있다. 신택스 요소 guard_bands_size_in_luma_samples는 0이 아닐 수 있다. 신택스 요소 guard_bands_size_in_luma_samples는 MinCbSizeY의 정수배일 수 있다.
신택스 요소 geometry_padding_enabled_flag가 1인 경우, 신택스 요소 geometry_padding_enabled_flag는 참조 픽처들의 지오메트리 패딩이 픽처 경계 밖에 위치한 하나 이상의 샘플에 대해 적용된다는 것을 표시할 수 있다. 신택스 요소 geometry_padding_enabled_flag가 0인 경우, 신택스 요소 geometry_padding_enabled_flag는 지오메트리 패딩이 스킵(예를 들어, 적용되지 않음)되는 것을 표시할 수 있다. 신택스 요소 geometry_padding_enabled_flag가 존재하지 않으면, 신택스 요소 geometry_padding_enabled_flag의 값은 0과 동일한 것으로 추론될 수 있다.
표 2는 예시적인 투영 지오메트리 인덱스들을 나타낸다.
<표 2>
Figure pct00010
보호 밴드들이 없는 면 폭과 같은 면의 실제 크기는 표 1에서 시그널링된 정보 및/또는 코딩된 픽처 크기로부터 계산될 수 있다. 예를 들어, 코딩된 픽처의 좌측 및/또는 우측에 보호 밴드들이 있는, ERP, EAP, AEP 등의 포맷들과 같은 단일 면 기반 투영 지오메트리의 경우, 실제 면 폭이 예를 들어 수학식 6을 이용하여 계산될 수 있다. 프레임 패킹된 픽처의 면 폭을 표시하는 크기 표시와 같은 파라미터는 본 명세서에 설명된 바와 같이 pic_width_in_luma_samples일 수 있거나 이를 포함할 수 있다. pic_width_in_luma_samples와 같은 크기 표시 또는 파라미터는 디코딩된 픽처의 폭을 루마 샘플 단위들로 나타낼 수 있다. 파라미터 pic_width_in_luma_samples는 시퀀스 레벨에서 시그널링될 수 있다. 면 높이는, 예를 들어, 상단 및/또는 하단 측들 상의 보호 밴드들이 없는 경우에, 코딩된 픽처 높이로부터 추론될 수 있다.
[수학식 6]
Figure pct00011
예들에서, 좌측 및 우측 보호 밴드들은 동일한 크기를 가질 수 있다. 예들에서, 좌측 및 우측 보호 밴드들은 상이한 크기들을 가질 수 있다. 좌측 및 우측 보호 밴드들이 상이한 크기들을 갖는 경우, 보호 밴드의 크기(예를 들어, 개별 크기)가 예를 들어 표 3에 따라 시그널링될 수 있다. 표 3은 예시적인 지오메트리 패딩 및 보호 밴드 신택스를 나타낸다.
<표 3>
Figure pct00012
신택스 요소 guard_bands_param_present_flag는 신택스 요소들 left_guard_band_width_in_luma_samples, right_guard_band_width_in_luma_samples, 또는 guard_bands_size_in_luma_samples 중 적어도 하나가 존재하는지를 나타낼 수 있다. left_guard_band_width_in_luma_samples, right_guard_band_width_in_luma_samples, 또는 guard_bands_size_in_luma_samples와 같은 신택스 요소들 중 적어도 하나가 존재하지 않는 경우, 신택스 요소 guard_bands_param_present_flag의 값은 0과 동일한 것으로 추론될 수 있다.
신택스 요소 left_guard_band_width_in_luma_samples는 단일 면 기반 투영(예를 들어, ERP, EAP, 및/또는 AEP 픽처)과 연관된 픽처의 좌측 면 경계에서 프레임 패킹된 픽처에 이용되는 보호 밴드의 루마 샘플들에서의 폭을 나타낼 수 있다. 신택스 요소 left_guard_band_width_in_luma_samples는 MinCbSizeY의 정수배일 수 있다.
신택스 요소 right_guard_band_width_in_luma_samples는 단일 면 기반 투영(예를 들어, ERP, EAP, 및/또는 AEP 픽처)과 연관된 픽처의 우측 면 경계에서 프레임 패킹된 픽처에 이용되는 보호 밴드의 루마 샘플들에서의 폭을 나타낼 수 있다. 신택스 요소 right_guard_band_width_in_luma_samples는 MinCbSizeY의 정수배일 수 있다.
본 명세서에 설명된 바와 같이, 프레임 패킹된 픽처의 면 폭은, left_guard_band_width_in_luma_samples 및/또는 right_guard_band_width_in_luma_samples와 같은 프레임 패킹된 픽처의 면 폭을 나타내는 크기 표시에 기반하여 계산될 수 있다. 예를 들어, 본 명세서에 설명된 표현을 이용하여, 면 폭이, 예를 들어, 수학식 7을 이용하는 것에 기반하여 계산될 수 있다.
[수학식 7]
Figure pct00013
예들에서, 보호 밴드 폭의 값들은 MinCbSizeY의 배수일 수 있다. 보호 밴드 폭의 값들이 MinCbSizeY의 배수이면, 신택스 요소들은 예를 들어 루마 샘플 단위들 대신에 또는 이들에 추가하여 MinCbSizeY의 단위들로 지정될 수 있다.
단일 면 기반 투영 지오메트리는 하나 이상의 샘플에 기반하여 패딩된 지오메트리일 수 있다. 상호간 예측에서, 현재 픽처 내의 현재 블록은 참조 픽처 내의 참조 블록으로부터 예측될 수 있다. 예를 들어, 현재 픽처 내의 현재 블록은 현재 블록 위치로부터 참조 블록 위치로의 병진에 대응하는 MV를 이용하여 참조 픽처 내의 참조 블록으로부터 예측될 수 있다. 현재 블록 내의 샘플 위치 (x, y)에 대해, 예측 신호
Figure pct00014
가, 예컨대 수학식 8을 이용하여, 참조 픽처
Figure pct00015
및 MV(Δx, Δy)로부터 획득될 수 있다.
[수학식 8]
Figure pct00016
MV는 소수 정밀도 p를 이용할 수 있다. 예를 들어, MV는 1/2, 1/4, 1/8, 또는 1/16 픽셀 정밀도를 이용할 수 있다. 소수 정밀도는 하나 이상의 이용가능한 정수 샘플 위치로부터의 보간을 이용할 수 있다. 참조 픽처 내의 샘플 위치는 예를 들어, 수학식들 9 내지 12를 이용하여 정수부 및 소수부로서 표현될 수 있다.
Figure pct00017
, >> 및 <<는 산술 우측 및 좌측 시프트들을 각각 나타낼 수 있다. &는 비트 단위 "and" 연산자를 나타낼 수 있다.
[수학식 9]
Figure pct00018
[수학식 10]
Figure pct00019
[수학식 11]
Figure pct00020
[수학식 12]
Figure pct00021
예측 신호는 정수 위치들에서 하나 이상의 이웃하는 샘플을 보간함으로써 획득될 수 있다. 예측 신호는 소수 위치에서의 값을 결정하기 위해 획득될 수 있다. 정수 위치
Figure pct00022
에서의 샘플이 참조 픽처 경계 밖에, 예컨대 프레임 패킹된 픽처 밖에 있는 경우, 클리핑은 샘플 위치를 코딩된 픽처 경계 내에 있도록 제약하는데 이용될 수 있다. 이것은 반복적 패딩을 수행하는 것과 유사할 수 있다(예를 들어, 동등할 수 있다). 루마 샘플들의 경우, xInt 및 yInt 좌표들은 예를 들어 수학식들 13 및 14를 각각 이용하여 클리핑될 수 있다.
[수학식 13]
Figure pct00023
[수학식 14]
Figure pct00024
예를 들어, 랩어라운드 인에이블 표시가 수평 랩어라운드 모션 보상이 디스에이블됨을 표시하는 경우, 클리핑 및/또는 반복적 패딩이 수행될 수 있다. 프레임 패킹된 픽처 내의 현재 샘플 위치가 식별될 수 있다. 비디오 코딩 디바이스는 현재 샘플 위치가 프레임 패킹된 픽처의 수평 경계에 위치하는지를 결정할 수 있다. 비디오 코딩 디바이스는 참조 샘플 위치가 프레임 패킹된 픽처의 수평 경계 밖에 위치하는지를 결정할 수 있다. 프레임 패킹된 픽처의 수평 경계 상의 참조 샘플 위치가 식별될 수 있다. 예를 들어, 본 명세서에 설명된 바와 같이, 프레임 패킹된 픽처의 수평 경계 상의 참조 샘플 위치는 클리핑에 기반하여 식별될 수 있다. 현재 샘플은 참조 샘플 위치에 기반하여 예측될 수 있다.
루마 성분의 경우, 수평 지오메트리 패딩이 이용될 때, xInt 좌표는 예를 들어 수학식 15를 이용하여 코딩된 픽처에 랩핑될 수 있으며, 여기서, 360도 비디오의 순환 속성을 고려하기 위해,
Figure pct00025
,
Figure pct00026
, 및
Figure pct00027
이다. 본 명세서에 설명된 바와 같이, 랩어라운드 인에이블 표시와 같은 표시는 수평 지오메트리 패딩이 이용된다는 정보를 제공할 수 있다.
[수학식 15]
Figure pct00028
본 명세서에 설명된 바와 같이, 비디오 코딩 디바이스는 원래의 참조 샘플 위치(예를 들어, 원시 참조 샘플 위치)가 프레임 패킹된 픽처의 밖에 있는지를 결정할 수 있다. 원래의 참조 샘플 위치가 프레임 패킹된 픽처의 밖에 있는 경우, 참조 샘플 위치는 참조 샘플 랩어라운드 오프셋을 원래의 참조 샘플 위치와 연관된 수평 샘플 좌표에 적용함으로써 계산될 수 있다.
예들에서, 프레임-패킹된 픽처의 면 폭은 참조 샘플 랩어라운드 오프셋에 기반하여 결정될 수 있다. 현재 샘플 위치는 프레임 패킹된 픽처에서 식별될 수 있다. 비디오 코딩 디바이스는 원래의 참조 샘플 위치(예를 들어, 원시 참조 샘플 위치)가 프레임 패킹된 픽처의 밖에 있는지를 결정할 수 있다. 원래의 참조 샘플 위치가 프레임 패킹된 픽처의 가장 좌측 수평 경계의 밖에 있는 경우, 참조 샘플 위치는 (예를 들어, 수학식 15에 도시된 바와 같이) 원래의 참조 샘플 위치와 연관된 수평 샘플 좌표(예를 들어, xInt 좌표)에 참조 샘플 랩어라운드 오프셋을 가산함으로써 결정될 수 있다. 원래의 참조 샘플 위치가 프레임 패킹된 픽처의 가장 우측 수평 경계의 밖에 있는 경우, 참조 샘플 위치는 (예를 들어, 수학식 15에 도시된 바와 같이) 원래의 참조 샘플 위치와 연관된 수평 샘플 좌표로부터 참조 샘플 랩어라운드 오프셋을 감산함으로써 결정될 수 있다.
단일 면 기반 투영 지오메트리(예를 들어, ERP, EAP, AEP 등의 포맷들)의 경우, 루마 샘플 위치가, 예를 들어, 표 4에 나타낸 바와 같이 도출될 수 있다. 표 4는 루마 샘플 위치를 도출하기 위한 예시적인 접근법을 나타낸다. 예를 들어, 표 4는 상호간 예측을 위한 정수 샘플 도출 프로세스 및/또는 소수 샘플 보간 프로세스의 예를 나타낸다.
<표 4>
Figure pct00029
하나 이상의 크로마 샘플의 경우, 반복적 패딩이 이용될 때, xInt 및 yInt 좌표들은, 예를 들어, 수학식들 16 및 17을 각각 이용하여 클리핑될 수 있다.
[수학식 16]
Figure pct00030
[수학식 17]
Figure pct00031
크로마 성분의 경우, 수평 지오메트리 패딩이 이용될 때, xInt 좌표는 예를 들어 수학식 18을 이용하여 코딩된 픽처에 랩핑될 수 있으며, 여기서 360도 비디오의 순환 속성을 고려하기 위해,
Figure pct00032
및
Figure pct00033
이다.
[수학식 18]
Figure pct00034
단일 면 기반 투영 지오메트리(예를 들어, ERP, EAP, AEP 등의 포맷들)의 경우, 크로마 샘플 위치는 예를 들어, 표 5에 나타낸 바와 같이 도출될 수 있다. 표 5는 크로마 샘플 위치를 도출하기 위한 예시적인 접근법을 나타낸다. 예를 들어, 표 5는 상호간 예측을 위한 정수 샘플 도출 프로세스 및/또는 소수 샘플 보간 프로세스의 예를 나타낸다.
<표 5>
Figure pct00035
모듈로 연산을 이용하여 본 명세서에 설명된 샘플 위치들의 랩어라운드는, 360도 비디오를 나타내는데 이용되는 투영 포맷이 단일 면 투영 포맷(예를 들어, ERP, EAP, AEP 등의 투영 포맷)인 경우, 수평 지오메트리 패딩에 적용될 수 있다. 다면(multi-face) 투영 포맷(예를 들어, CMP 및/또는 CMP 기반 투영 포맷)과 같은 다른 투영 포맷들의 경우, 2D 대 3D 및 3D 대 2D 매핑 함수들이 구현될 수 있다. 본 명세서에 설명된 모듈로 연산은 근사로서 다면 투영 포맷(예를 들면, CMP 및/또는 CMP 기반 투영 포맷)에 적용될 수 있다.
비디오 코딩 디바이스는 현재 CU 내의 샘플 위치에 대한 위치를 결정할 수 있고/있거나 샘플 레벨에서 모션 보상을 수행할 수 있다. 표준 동적 범위(SDR) 비디오 등의 경우, 모션 보상은 블록 레벨에서 수행될 수 있다(예를 들어, 블록은 CU 또는 서브-CU일 수 있다). CU는 복수의 부분들(예를 들어, 2개의 부분)로 분할될 수 있고/있거나 복수의 부분들(예를 들어, 2개의 부분) 각각에 대한 지오메트리 패딩을 이용하여 모션 보상을 수행할 수 있다.
도 14는 수평 지오메트리 패딩을 이용할 때의 상호간 예측을 위한 재구성된 샘플들의 예시적인 캐싱을 도시한다. 상호간 예측에서, 참조 픽처 내의 샘플이 두 번 이상 액세스될 수 있는데, 그 이유는 동일한 영역이 몇 개의 블록들, 보간 프로세스들, 및/또는 정밀화 프로세스들에 의해 참조될 수 있기 때문이다. 디코딩된 픽처 버퍼에 액세스할 때, 참조 픽처의 일부는 도 14에 도시된 바와 같이 상호간 예측을 수행할 때 고속 판독 액세스를 위해 메모리(예를 들어, 로컬 메모리)에 캐싱될 수 있다. 캐싱된 영역은 현재 블록 위치 및/또는 현재 CTU 위치를 중심으로 하는 이웃일 수 있다. 캐싱된 영역의 크기는 제한될 수 있다. 지오메트리 패딩이 이용되고 현재 블록이 제1 면의 제1 면 경계에 그리고/또는 그 근처에 있는 경우, 캐싱된 영역은 2개의 서브-영역, 즉 제1 면에서 현재 블록 위치 주위에 위치한 제1 서브-영역, 및 제1 면 경계의 다른 측 상에, 예를 들어, 제1 면에 이웃하는 제2 면 상에 위치한 제2 서브-영역으로 분할될 수 있다. 예를 들어, 도 12에 도시된 바와 같은 ERP 픽처를 고려하면, 참조 픽처에서, 캐싱된 데이터는 2개의 서브-영역, 즉 (예를 들어, 도 12에서 2개의 서브-부분 P1 및 P3 영역의 예측을 위한) 현재 블록 위치 주위에 위치된 제1 영역, 및 예를 들어, 360도 비디오의 순환 속성을 고려하는, 랩어라운드 데이터에 대응하는 (예를 들어, 도 12에서 2개의 서브-부분 P0 및 P2 영역의 예측을 위한) 제2 영역을 포함할 수 있다.
도 12에 도시된 P1 및 P3 영역들에 대응하는 부분을 예측하기 위해, 하나 이상의 예측 샘플이 픽처의 좌측으로부터 올 수 있다. 모션 벡터가 소수 샘플 정밀도인 경우, 보간이 구현될 수 있고/있거나, 픽처의 우측으로부터 오도록 이웃들(예를 들어, 도 12에 도시된 P0 및 P2 영역들에 대응하는 영역들)을 조정할 수 있다. 반복적 패딩은 도 12에 도시된 P1 및 P3 영역들의 예측을 위해 보간에 이용되는 하나 이상의 샘플 값을 획득하기 위해 적용될 수 있다.
P0 및 P2 영역들에 대응하는 부분을 예측하기 위해, 보간이 필요할 때, 하나 이상의 이웃하는 샘플이 반복적 패딩에 의해(예를 들어, 360도 비디오의 순환 속성을 이용하여 픽처의 우측 에지에서 하나 이상의 샘플을 반복함으로써) 획득될 수 있다. 픽처의 좌측 에지로부터의 하나 이상의 샘플의 페치는 스킵될 수 있다. 2개의 부분 각각에 대한 2개의 모션 벡터를 획득하기 위해, P1 및 P3 영역들에 대응하는 제1 부분에 대해, 모션 벡터는 수정되지 않은 채로 있을 수 있다. P0 및 P2 영역들에 대응하는 제2 부분에 대해, 모듈로 연산은, 예를 들어, 본 명세서에 설명된 바와 같이 랩어라운드 효과를 달성하기 위해 모션 벡터의 수평 성분에 적용될 수 있다.
데이터는 캐시 밖에서 액세스될 수 있다. 수평 지오메트리 패딩의 경우, 랩핑 동작은 캐싱된 데이터의 밖에 위치한 하나 이상의 샘플을 페치하는 것을 스킵하는 것으로 제한될 수 있다. 예를 들어, 수평 지오메트리 패딩은 캐시 크기와 관련될 수 있는 주어진 범위 SL(SL ≤ face_width_in_luma_samples, SC = SL/SubWidthC) 내에서 수행될 수 있다. 캐싱된 데이터 밖에 위치하는 하나 이상의 샘플에 대해, 반복적 패딩이 이 범위 밖에 적용될 수 있다. 수학식들 15 및 18은 수학식들 19 및 20에 의해 각각 대체될 수 있다.
[수학식 19]
Figure pct00036
[수학식 20]
Figure pct00037
하나 이상의 샘플을 소수 샘플 위치들에서 보간할 때, 보간 필터에 의해 이용되는 전체 샘플 위치들에서의 하나 이상의 샘플이, 예를 들어, 루마 및 크로마 성분들에 대해 표 4 및/또는 표 5에 각각 나타낸 바와 같이 도출될 수 있다. 예를 들어, 도 15에 도시된 상황을 고려하면, 소수 샘플 위치들에서의 루마 샘플들 a0,0 내지 r0,0은 전체 샘플 위치들 (xAi,j, yAi,j)에서의 루마 샘플들 Ai,j를 이용하여 보간될 수 있다. 전체 샘플 위치들에서의 루마 샘플 Ai,j에 대해, xAi,j 및 yAi,j 좌표들은, 예를 들어, 루마 및 크로마 성분들에 대해 표 4 및/또는 표 5에 각각 나타낸 바와 같이 도출될 수 있다.
도 16a는 하나 이상의 개시된 실시예가 구현될 수 있는 예시적인 통신 시스템(100)을 도시하는 도면이다. 통신 시스템(100)은 음성, 데이터, 비디오, 메시징, 브로드캐스트 등과 같은 콘텐츠를 복수의 무선 사용자에게 제공하는 다중 액세스 시스템일 수 있다. 통신 시스템(100)은 복수의 무선 사용자가 무선 대역폭을 포함하는 시스템 자원들의 공유를 통해 이러한 콘텐츠에 액세스하는 것을 가능하게 할 수 있다. 예를 들어, 통신 시스템들(100)은 CDMA(code division multiple access), TDMA(time division multiple access), FDMA(frequency division multiple access), OFDMA(orthogonal FDMA), SC-FDMA(single-carrier FDMA), ZT UW DTS-s OFDM(zero-tail unique-word DFT-Spread OFDM), UW-OFDM(unique word OFDM), 자원 블록 필터링된 OFDM, FBMC(filter bank multicarrier) 등과 같은 하나 이상의 채널 액세스 방법을 이용할 수 있다.
도 16a에 도시된 바와 같이, 통신 시스템(100)은 무선 전송/수신 유닛들(WTRU들)(102a, 102b, 102c, 102d), RAN(104/113), CN(106/115), PSTN(public switched telephone network)(108), 인터넷(110), 및 다른 네트워크들(112)을 포함할 수 있지만, 개시된 실시예들은 임의의 수의 WTRU들, 기지국들, 네트워크들 및/또는 네트워크 요소들을 고려할 수 있다는 것이 이해될 것이다. WTRU들(102a, 102b, 102c, 102d) 각각은 무선 환경에서 동작하고/하거나 통신하도록 구성된 임의의 유형의 디바이스일 수 있다. 예로서, 임의의 것이 "스테이션" 및/또는 "STA"라고 지칭될 수 있는 WTRU들(102a, 102b, 102c, 102d)은 무선 신호들을 전송 및/또는 수신하도록 구성될 수 있고, 사용자 장비(UE), 이동국, 고정 또는 이동 가입자 유닛, 가입 기반 유닛, 페이저, 셀룰러 전화, PDA(personal digital assistant), 스마트폰, 랩톱, 넷북, 개인용 컴퓨터, 무선 센서, 핫스폿 또는 Mi-Fi 디바이스, 사물 인터넷(IoT) 디바이스, 시계 또는 다른 웨어러블, HMD(head-mounted display), 차량, 드론, 의료 디바이스 및 애플리케이션들(예컨대, 원격 진료), 산업 디바이스 및 애플리케이션들(예컨대, 산업 및/또는 자동화된 처리 체인 상황들에서 동작하는 로봇 및/또는 다른 무선 디바이스들), 소비자 전자기기 디바이스, 상업 및/또는 산업 무선 네트워크들 상에서 동작하는 디바이스 등을 포함할 수 있다. WTRU들(102a, 102b, 102c 및 102d) 중 임의의 것은 UE로 상호교환적으로 지칭될 수 있다.
통신 시스템들(100)은 또한 기지국(114a) 및/또는 기지국(114b)을 포함할 수 있다. 기지국들(114a, 114b) 각각은 CN(106/115), 인터넷(110), 및/또는 다른 네트워크들(112)과 같은 하나 이상의 통신 네트워크에 대한 액세스를 용이하게 하기 위해 WTRU들(102a, 102b, 102c, 102d) 중 적어도 하나와 무선으로 인터페이싱하도록 구성된 임의의 유형의 디바이스일 수 있다. 예로서, 기지국들(114a, 114b)은 BTS(base transceiver station), Node-B, eNode B, 홈 Node B, 홈 eNode B, gNB, NR NodeB, 사이트 제어기, 액세스 포인트(AP), 무선 라우터 등일 수 있다. 기지국들(114a, 114b)이 단일 요소로서 각각 묘사되지만, 기지국들(114a, 114b)은 임의의 수의 상호접속된 기지국들 및/또는 네트워크 요소들을 포함할 수 있다는 것을 알 것이다.
기지국(114a)은 다른 기지국들, 및/또는 기지국 제어기(BSC), 무선 네트워크 제어기(RNC), 릴레이 노드들 등과 같은 네트워크 요소들(도시되지 않음)도 포함할 수 있는 RAN(104/113)의 일부일 수 있다. 기지국(114a) 및/또는 기지국(114b)은 셀(도시되지 않음)이라고 지칭될 수 있는 하나 이상의 캐리어 주파수 상에서 무선 신호들을 전송 및/또는 수신하도록 구성될 수 있다. 이러한 주파수들은 허가 스펙트럼 및 비허가 스펙트럼 또는 허가 스펙트럼과 비허가 스펙트럼의 조합 내에 있을 수 있다. 셀은 비교적 고정될 수 있거나 시간 경과에 따라 변할 수 있는 특정 지리 영역에 대한 무선 서비스를 위한 커버리지를 제공할 수 있다. 셀은 또한 셀 섹터들로 분할될 수 있다. 예를 들어, 기지국(114a)과 연관된 셀은 3개의 섹터로 분할될 수 있다. 따라서, 일 실시예에서, 기지국(114a)은 3개의 트랜시버, 예컨대 셀의 섹터마다 하나의 트랜시버를 포함할 수 있다. 실시예에서, 기지국(114a)은 MIMO(multiple-input multiple output) 기술을 이용할 수 있고, 셀의 섹터마다 복수의 트랜시버를 이용할 수 있다. 예를 들어, 신호들을 원하는 공간 방향들로 전송 및/또는 수신하기 위해 빔포밍(beamforming)이 이용될 수 있다.
기지국들(114a, 114b)은 임의의 적절한 무선 통신 링크(예컨대, RF(radio frequency), 마이크로파, 센티미터파, 마이크로미터파, IR(infrared), UV(ultraviolet), 가시광 등)일 수 있는 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상과 통신할 수 있다. 에어 인터페이스(116)는 임의의 적절한 RAT(radio access technology)를 이용하여 확립될 수 있다.
더 구체적으로, 전술한 바와 같이, 통신 시스템(100)은 다중 액세스 시스템일 수 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식을 이용할 수 있다. 예를 들어, RAN(104/113) 내의 기지국(114a), 및 WTRU들(102a, 102b, 102c)은 WCDMA(wideband CDMA)를 이용하여 에어 인터페이스(115/116/117)를 확립할 수 있는 UTRA(Universal Mobile Telecommunications System(UMTS) Terrestrial Radio Access)와 같은 무선 기술을 구현할 수 있다. WCDMA는 HSPA(High-Speed Packet Access) 및/또는 HSPA+(Evolved HSPA)와 같은 통신 프로토콜들을 포함할 수 있다. HSPA는 고속 다운링크(DL) 패킷 액세스(HSDPA) 및/또는 고속 UL 패킷 액세스(HSUPA)를 포함할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 LTE(Long Term Evolution) 및/또는 LTE-A(LTE-Advanced) 및/또는 LTE-A Pro(LTE-Advanced Pro)를 이용하여 에어 인터페이스(116)를 확립할 수 있는 E-UTRA(Evolved UMTS Terrestrial Radio Access)와 같은 무선 기술을 구현할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 NR(New Radio)을 이용하여 에어 인터페이스(116)를 확립할 수 있는 NR 무선 액세스와 같은 무선 기술을 구현할 수 있다.
실시예에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 복수의 무선 액세스 기술을 구현할 수 있다. 예를 들어, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 예를 들어 이중 접속성(DC) 원리들을 이용하여 LTE 무선 액세스 및 NR 무선 액세스를 함께 구현할 수 있다. 따라서, WTRU들(102a, 102b, 102c)에 의해 이용되는 에어 인터페이스는 복수의 유형의 무선 액세스 기술들 및/또는 복수의 유형의 기지국들(예컨대, eNB 및 gNB)로/로부터 전송되는 전송들에 의해 특성화될 수 있다.
다른 실시예들에서, 기지국(114a) 및 WTRU들(102a, 102b, 102c)은 IEEE 802.11(예컨대, WiFi(Wireless Fidelity)), IEEE 802.16(예컨대, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, IS-2000(Interim Standard 2000), IS-95(Interim Standard 95), IS-856(Interim Standard 856), GSM(Global System for Mobile communications), EDGE(Enhanced Data rates for GSM Evolution), GERAN(GSM EDGE) 등과 같은 무선 기술들을 구현할 수 있다.
도 16a의 기지국(114b)은 예를 들어 무선 라우터, 홈 Node B, 홈 eNode B, 또는 액세스 포인트일 수 있고, 사업장, 홈, 차량, 캠퍼스, 산업 시설, (예를 들어, 드론들에 의한 이용을 위한) 공중 회랑(air corridor), 도로 등과 같은 국지화된 영역에서의 무선 접속성을 용이하게 하기 위해 임의의 적절한 RAT를 이용할 수 있다. 일 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 WLAN(wireless local area network)을 확립하기 위해 IEEE 802.11과 같은 무선 기술을 구현할 수 있다. 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 WPAN(wireless personal area network)을 확립하기 위해 IEEE 802.15와 같은 무선 기술을 구현할 수 있다. 또 다른 실시예에서, 기지국(114b) 및 WTRU들(102c, 102d)은 피코셀 또는 펨토셀을 확립하기 위해 셀룰러 기반 RAT(예컨대, WCDMA, CDMA2000, GSM, LTE, LTE-A, LTE-A Pro, NR 등)를 이용할 수 있다. 도 16a에 도시된 바와 같이, 기지국(114b)은 인터넷(110)에 대한 직접 접속을 가질 수 있다. 따라서, 기지국(114b)은 CN(106/115)을 통해 인터넷(110)에 액세스하도록 요구되지 않을 수 있다.
RAN(104/113)은 음성, 데이터, 애플리케이션들, 및/또는 VoIP(voice over internet protocol) 서비스들을 WTRU들(102a, 102b, 102c, 102d) 중 하나 이상에 제공하도록 구성된 임의의 유형의 네트워크일 수 있는 CN(106/115)과 통신할 수 있다. 데이터는 상이한 처리량 요구들, 레이턴시 요구들, 오차 허용한계 요구들, 신뢰성 요구들, 데이터 처리량 요구들, 이동성 요구들 등과 같은 다양한 서비스 품질(QoS) 요구들을 가질 수 있다. CN(106/115)은 호출 제어, 과금 서비스들, 이동 위치 기반 서비스들, 선불 통화, 인터넷 접속성, 비디오 배포 등을 제공하고/하거나, 사용자 인증과 같은 하이 레벨 보안 기능들을 수행할 수 있다. 도 16a에 도시되지 않지만, RAN(104/113) 및/또는 CN(106/115)이 RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 이용하는 다른 RAN들과 직접 또는 간접 통신을 할 수 있다는 것이 이해될 것이다. 예를 들어, NR 무선 기술을 이용하는 것일 수 있는 RAN(104/113)에 대한 접속에 더하여, CN(106/115)은 또한 GSM, UMTS, CDMA 2000, WiMAX, E-UTRA, 또는 WiFi 무선 기술을 이용하여 다른 RAN(도시되지 않음)과 통신할 수 있다.
CN(106/115)은 또한 WTRU들(102a, 102b, 102c, 102d)이 PSTN(108), 인터넷(110), 및/또는 다른 네트워크들(112)에 액세스하기 위한 게이트웨이로서 역할을 할 수 있다. PSTN(108)은 POTS(plain old telephone service)를 제공하는 회선 교환 전화 네트워크들을 포함할 수 있다. 인터넷(110)은 TCP/IP 인터넷 프로토콜 모음 내의 TCP(transmission control protocol), UDP(user datagram protocol) 및/또는 IP(internet protocol)와 같은 공통 통신 프로토콜들을 이용하는 상호접속된 컴퓨터 네트워크들 및 디바이스들의 글로벌 시스템을 포함할 수 있다. 네트워크들(112)은 다른 서비스 제공자들에 의해 소유되고/되거나 운영되는 유선 및/또는 무선 통신 네트워크들을 포함할 수 있다. 예를 들어, 네트워크들(112)은 RAN(104/113)과 동일한 RAT 또는 상이한 RAT를 이용할 수 있는 하나 이상의 RAN에 접속된 다른 CN을 포함할 수 있다.
통신 시스템(100) 내의 WTRU들(102a, 102b, 102c, 102d) 중 일부 또는 전부는 다중-모드 능력들을 포함할 수 있다(예컨대, WTRU들(102a, 102b, 102c, 102d)은 상이한 무선 링크들을 통해 상이한 무선 네트워크들과 통신하기 위한 복수의 트랜시버를 포함할 수 있다). 예를 들어, 도 16a에 도시된 WTRU(102c)는 셀룰러 기반 무선 기술을 이용할 수 있는 기지국(114a) 및 IEEE 802 무선 기술을 이용할 수 있는 기지국(114b)과 통신하도록 구성될 수 있다.
도 16b는 예시적인 WTRU(102)를 도시하는 시스템도이다. 도 16b에 도시된 바와 같이, WTRU(102)는 특히 프로세서(118), 트랜시버(120), 전송/수신 요소(122), 스피커/마이크로폰(124), 키패드(126), 디스플레이/터치패드(128), 비이동식 메모리(130), 이동식 메모리(132), 전원(134), GPS(global positioning system) 칩셋(136), 및/또는 다른 주변기기들(138)을 포함할 수 있다. WTRU(102)는 실시예와 일관성을 유지하면서 전술한 요소들의 임의의 하위 조합을 포함할 수 있다는 것이 이해될 것이다.
프로세서(118)는 범용 프로세서, 특수 목적 프로세서, 종래의 프로세서, DSP(digital signal processor), 복수의 마이크로프로세서, DSP 코어와 연관된 하나 이상의 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 회로들, 임의의 다른 유형의 IC, 상태 기계 등일 수 있다. 프로세서(118)는 WTRU(102)가 무선 환경에서 동작할 수 있게 하는 신호 코딩, 데이터 처리, 전력 제어, 입력/출력 처리, 및/또는 임의의 다른 기능을 수행할 수 있다. 프로세서(118)는 전송/수신 요소(122)에 결합될 수 있는 트랜시버(120)에 결합될 수 있다. 도 16b가 프로세서(118) 및 트랜시버(120)를 별개의 구성요소들로서 도시하지만, 프로세서(118) 및 트랜시버(120)는 전자 패키지 또는 칩 내에 함께 통합될 수 있다는 것을 알 것이다.
전송/수신 요소(122)는 에어 인터페이스(116)를 통해 기지국(예컨대, 기지국(114a))으로 신호들을 전송하거나 기지국으로부터 신호들을 수신하도록 구성될 수 있다. 예를 들어, 일 실시예에서, 전송/수신 요소(122)는 RF 신호들을 전송 및/또는 수신하도록 구성된 안테나일 수 있다. 실시예에서, 전송/수신 요소(122)는 예를 들어 IR, UV, 또는 가시광 신호들을 전송 및/또는 수신하도록 구성된 방출기/검출기일 수 있다. 또 다른 실시예에서, 전송/수신 요소(122)는 RF 및 광 신호들 둘 다를 전송 및/또는 수신하도록 구성될 수 있다. 전송/수신 요소(122)가 무선 신호들의 임의의 조합을 전송 및/또는 수신하도록 구성될 수 있다는 것이 이해될 것이다.
전송/수신 요소(122)가 단일 요소로서 도 16b에 도시되지만, WTRU(102)는 임의의 수의 전송/수신 요소(122)를 포함할 수 있다. 더 구체적으로, WTRU(102)는 MIMO 기술을 이용할 수 있다. 따라서, 일 실시예에서, WTRU(102)는 에어 인터페이스(116)를 통해 무선 신호들을 전송 및 수신하기 위한 2개 이상의 전송/수신 요소(122)(예컨대, 복수의 안테나)를 포함할 수 있다.
트랜시버(120)는 전송/수신 요소(122)에 의해 전송될 신호들을 변조하고 전송/수신 요소(122)에 의해 수신되는 신호들을 복조하도록 구성될 수 있다. 전술한 바와 같이, WTRU(102)는 다중 모드 능력들을 가질 수 있다. 따라서, 트랜시버(120)는 WTRU(102)가 예를 들어 NR 및 IEEE 802.11과 같은 복수의 RAT를 통해 통신할 수 있게 하기 위한 복수의 트랜시버를 포함할 수 있다.
WTRU(102)의 프로세서(118)는 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)(예컨대, LCD 디스플레이 유닛 또는 OLED 디스플레이 유닛)에 결합될 수 있고 이로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(118)는 또한 사용자 데이터를 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)에 출력할 수 있다. 또한, 프로세서(118)는 비이동식 메모리(130) 및/또는 이동식 메모리(132)와 같은 임의의 유형의 적절한 메모리로부터의 정보에 액세스하고 그 안에 데이터를 저장할 수 있다. 비이동식 메모리(130)는 RAM(random-access memory), ROM(read-only memory), 하드 디스크, 또는 임의의 다른 유형의 메모리 저장 디바이스를 포함할 수 있다. 이동식 메모리(132)는 SIM(subscriber identity module) 카드, 메모리 스틱, SD(secure digital) 메모리 카드 등을 포함할 수 있다. 다른 실시예들에서, 프로세서(118)는 WTRU(102) 상에, 예를 들어 서버 또는 홈 컴퓨터(도시되지 않음) 상에 물리적으로 위치되지 않은 메모리로부터의 정보에 액세스하고 그 안에 데이터를 저장할 수 있다.
프로세서(118)는 전원(134)으로부터 전력을 수신할 수 있고, WTRU(102) 내의 다른 구성요소들에 전력을 분배하고/하거나 제어하도록 구성될 수 있다. 전원(134)은 WTRU(102)에 전력을 공급하기 위한 임의의 적절한 디바이스일 수 있다. 예를 들어, 전원(134)은 하나 이상의 건전지 배터리(예컨대, 니켈-카드뮴(NiCd), 니켈-아연(NiZn), 니켈 금속 수소화물(NiMH), 리튬-이온(Li-ion) 등), 태양 전지들, 연료 전지들 등을 포함할 수 있다.
프로세서(118)는 또한 WTRU(102)의 현재 위치에 관한 위치 정보(예컨대, 경도 및 위도)를 제공하도록 구성될 수 있는 GPS 칩셋(136)에 결합될 수 있다. GPS 칩셋(136)으로부터의 정보에 더하여 또는 그 대신에, WTRU(102)는 기지국(예컨대, 기지국들(114a, 114b))으로부터 에어 인터페이스(116)를 통해 위치 정보를 수신하고/하거나 2개 이상의 근처 기지국으로부터 수신되고 있는 신호들의 타이밍에 기반하여 그 위치를 결정할 수 있다. WTRU(102)가 실시예와 일관성을 유지하면서 임의의 적합한 위치 결정 방법에 의해 위치 정보를 획득할 수 있다는 것이 이해될 것이다.
프로세서(118)는 추가적인 특징들, 기능 및/또는 유선 또는 무선 접속성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함할 수 있는 다른 주변기기들(138)에 추가로 결합될 수 있다. 예를 들어, 주변기기들(138)은 가속도계, 전자 나침반, 위성 트랜시버, (사진들 및/또는 비디오를 위한) 디지털 카메라, 범용 직렬 버스(USB) 포트, 진동 디바이스, 텔레비전 트랜시버, 핸즈프리 헤드셋, Bluetooth® 모듈, 주파수 변조(FM) 무선 유닛, 디지털 음악 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저, 가상 현실 및/또는 증강 현실(VR/AR) 디바이스, 활동 추적기 등을 포함할 수 있다. 주변기기들(138)은 하나 이상의 센서를 포함할 수 있고, 센서들은 자이로스코프, 가속도계, 홀 효과 센서, 자력계, 배향 센서, 근접 센서, 온도 센서, 시간 센서, 지리 위치 센서, 고도계, 광 센서, 터치 센서, 자력계, 기압계, 제스처 센서, 생체인식 센서, 및/또는 습도 센서 중 하나 이상일 수 있다.
WTRU(102)는 (예컨대, 전송을 위한) UL 및 (예컨대, 수신을 위한) 다운링크 둘 다에 대한 특정 서브프레임들과 연관된 것과 같은) 신호들 중 일부 또는 전부의 전송 및 수신이 병행적이고/이거나 동시적일 수 있는 전이중화 무선을 포함할 수 있다. 전이중화 무선은 하드웨어(예를 들어, 초크(choke))를 통해 또는 프로세서(예를 들어, 별개의 프로세서(도시되지 않음) 또는 프로세서(118))를 통한 신호 처리를 통해 자기-간섭을 줄이고/줄이거나 실질적으로 제거하는 간섭 관리 유닛을 포함할 수 있다. 실시예에서, WTRU(102)는 (예컨대, 전송을 위한) UL 또는 (예컨대, 수신을 위한) 다운링크에 대한 특정 서브프레임들과 연관된 것과 같은) 신호들 중 일부 또는 전부의 전송 및 수신을 위한 반이중화 무선을 포함할 수 있다.
도 16c는 실시예에 따른 RAN(104) 및 CN(106)을 도시하는 시스템도이다. 전술한 바와 같이, RAN(104)은 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 E-UTRA 무선 기술을 이용할 수 있다. RAN(104)은 또한 CN(106)과 통신할 수 있다.
RAN(104)은 eNode-B들(160a, 160b, 160c)을 포함할 수 있지만, RAN(104)이 실시예와 일관성을 유지하면서 임의의 수의 eNode-B들을 포함할 수있다는 것이 이해될 것이다. eNode-B들(160a, 160b, 160c) 각각은 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위한 하나 이상의 트랜시버를 포함할 수 있다. 일 실시예에서, eNode-B들(160a, 160b, 160c)은 MIMO 기술을 구현할 수 있다. 따라서, eNode-B(160a)는 예를 들어 WTRU(102a)에 무선 신호들을 전송하고/하거나 그로부터 무선 신호들을 수신하기 위해 복수의 안테나를 이용할 수 있다.
eNode-B들(160a, 160b, 160c) 각각은 특정 셀(도시되지 않음)과 연관될 수 있고, 무선 자원 관리 결정들, 핸드오버 결정들, UL 및/또는 DL에서의 사용자들의 스케줄링 등을 처리하도록 구성될 수 있다. 도 16c에 도시된 바와 같이, eNode-B들(160a, 160b, 160c)은 X2 인터페이스를 통해 서로 통신할 수 있다.
도 16c에 도시된 CN(106)은 이동성 관리 엔티티(MME)(162), 서빙 게이트웨이(SGW)(164), 및 패킷 데이터 네트워크(PDN) 게이트웨이(또는 PGW)(166)를 포함할 수 있다. 전술한 요소들 각각이 CN(106)의 일부로서 묘사되지만, 이들 요소들 중 임의의 것이 CN 운영자 이외의 엔티티에 의해 소유되고/되거나 운영될 수 있다는 것이 이해될 것이다.
MME(162)는 S1 인터페이스를 통해 RAN(104) 내의 eNode-B들(162a, 162b, 162c) 각각에 접속될 수 있고, 제어 노드로서 역할을 할 수 있다. 예를 들어, MME(162)는 WTRU들(102a, 102b, 102c)의 사용자들의 인증, 베어러 활성화/비활성화, WTRU들(102a, 102b, 102c)의 초기 부착 동안의 특정 서빙 게이트웨이의 선택 등을 담당할 수 있다. MME(162)는 RAN(104)과, GSM 및/또는 WCDMA와 같은 다른 무선 기술들을 이용하는 다른 RAN들(도시되지 않음) 간에 스위칭하기 위한 제어 평면 기능을 제공할 수 있다.
SGW(164)는 S1 인터페이스를 통해 RAN(104) 내의 eNode B들(160a, 160b, 160c) 각각에 접속될 수 있다. SGW(164)는 일반적으로 WTRU들(102a, 102b, 102c)로/로부터 사용자 데이터 패킷들을 라우팅하고 전달할 수 있다. SGW(164)는 eNode B간 핸드오버들 동안 사용자 평면들을 앵커링(anchoring)하는 것, WTRU들(102a, 102b, 102c)에 대해 DL 데이터가 이용가능할 때 페이징(paging)을 트리거링하는 것, WTRU들(102a, 102b, 102c)의 상황들을 관리하고 저장하는 것 등과 같은 다른 기능들을 수행할 수 있다.
SGW(164)는 WTRU들(102a, 102b, 102c)과 IP-인에이블드 디바이스들 사이의 통신들을 용이하게 하기 위해, 인터넷(110)과 같은 패킷 교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있는 PGW(166)에 접속될 수 있다.
CN(106)은 다른 네트워크들과의 통신을 용이하게 할 수 있다. 예를 들어, CN(106)은 WTRU들(102a, 102b, 102c)과 전통적인 지상선 통신 디바이스들 사이의 통신들을 용이하게 하기 위해, PSTN(108)과 같은 회선 교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다. 예를 들어, CN(106)은 CN(106)과 PSTN(108) 사이의 인터페이스로서 역할하는 IP 게이트웨이(예컨대, IMS(IP multimedia subsystem) 서버)를 포함할 수 있거나 이와 통신할 수 있다. 또한, CN(106)은 다른 서비스 제공자들에 의해 소유되고/되거나 운영되는 다른 유선 및/또는 무선 네트워크들을 포함할 수 있는 다른 네트워크들(112)에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다.
WTRU가 도 16a 내지 도 16d에서 무선 단말기로서 설명되지만, 특정 대표 실시예들에서 이러한 단말기는 통신 네트워크와의 유선 통신 인터페이스들을 (예를 들어, 일시적으로 또는 영구적으로) 이용할 수 있다는 것이 고려된다.
대표 실시예들에서, 다른 네트워크(112)는 WLAN일 수 있다.
인프라스트럭처 기본 서비스 세트(BSS) 모드에서의 WLAN은 BSS에 대한 액세스 포인트(AP) 및 AP와 연관된 하나 이상의 스테이션(STA)을 가질 수 있다. AP는 BSS로/로부터 트래픽을 운반하는 분배 시스템(DS) 또는 다른 유형의 유선/무선 네트워크에 대한 액세스 또는 인터페이스를 가질 수 있다. BSS 외부로부터 비롯되는 STA들에 대한 트래픽은 AP를 통해 도착할 수 있고 STA들에 전달될 수 있다. STA들로부터 BSS 밖의 목적지들로 비롯되는 트래픽은 각각의 목적지들로 전달되도록 AP에 전송될 수 있다. BSS 내의 STA들 간의 트래픽은 AP를 통해 전송될 수 있는데, 예를 들어 소스 STA는 트래픽을 AP에 전송할 수 있고, AP는 트래픽을 목적지 STA에 전달할 수 있다. BSS 내의 STA들 간의 트래픽은 피어-투-피어 트래픽으로 고려되고/되거나 지칭될 수 있다. 피어-투-피어 트래픽은 직접 링크 셋업(DLS)을 이용하여 소스 및 목적지 STA들 사이에서(예컨대, 그들 사이에서 직접) 전송될 수 있다. 특정 대표 실시예들에서, DLS는 802.11e DLS 또는 802.11z TDLS(tunneled DLS)를 이용할 수 있다. IBSS(Independent BSS) 모드를 이용하는 WLAN은 AP를 갖지 않을 수 있고, IBSS 내의 또는 IBSS를 이용하는 STA들(예를 들어, 모든 STA들)은 서로 직접 통신할 수 있다. IBSS 통신 모드는 때때로 본 명세서에서 "애드혹" 통신 모드라고 지칭될 수 있다.
802.11ac 인프라스트럭처 동작 모드 또는 유사한 동작 모드를 이용할 때, AP는 주 채널과 같은 고정 채널 상에서 비컨을 전송할 수 있다. 주 채널은 고정된 폭(예를 들어, 20MHz 폭의 대역폭) 또는 시그널링을 통한 동적 설정 폭일 수 있다. 주 채널은 BSS의 동작 채널일 수 있으며, STA들에 의해 AP와의 접속을 확립하는데 이용될 수 있다. 특정 대표 실시예들에서, CSMA/CA(Carrier Sense Multiple Access with Collision Avoidance)가 예를 들어 802.11 시스템들에서 구현될 수 있다. CSMA/CA의 경우, AP를 포함하는 STA들(예를 들어, 모든 STA)은 주 채널을 감지할 수 있다. 주 채널이 감지/검출되고/되거나 특정 STA에 의해 이용 중인 것으로 결정되면, 특정 STA는 백오프될 수 있다. 하나의 STA(예를 들어, 단지 하나의 스테이션)가 주어진 BSS에서 임의의 주어진 시간에 전송할 수 있다.
고처리량(HT) STA들은 예를 들어 인접하거나 인접하지 않은 20MHz 채널과 주 20MHz 채널의 조합을 통한 통신을 위해 40MHz 폭의 채널을 이용하여 40MHz 폭의 채널을 형성할 수 있다.
초고처리량(VHT) STA들은 20MHz, 40MHz, 80MHz 및/또는 160MHz 폭의 채널들을 지원할 수 있다. 40MHz 및/또는 80MHz 채널들은 인접한 20MHz 채널들을 조합함으로써 형성될 수 있다. 160MHz 채널은 8개의 인접한 20MHz 채널을 조합하거나 또는 80+80 구성이라고 지칭될 수 있는 2개의 비인접 80MHz 채널을 조합함으로써 형성될 수 있다. 80+80 구성의 경우, 데이터는 채널 인코딩 후에 데이터를 2개의 스트림으로 분할할 수 있는 세그먼트 파서를 통해 전달될 수 있다. IFFT(Inverse Fast Fourier Transform) 처리 및 시간 도메인 처리가 각각의 스트림에 대해 개별적으로 행해질 수 있다. 스트림들은 2개의 80MHz 채널에 매핑될 수 있고, 데이터는 전송 STA에 의해 전송될 수 있다. 수신 STA의 수신기에서, 80+80 구성에 대한 전술한 동작이 반전될 수 있고, 조합된 데이터는 매체 액세스 제어(MAC)에 전송될 수 있다.
1 GHz 미만의 동작 모드들은 802.11af 및 802.11ah에 의해 지원된다. 채널 동작 대역폭들 및 캐리어들은 802.11n 및 802.11ac에서 이용되는 것들에 비해 802.11af 및 802.11ah에서 감소된다. 802.11af는 TV 백색 공간(TVWS) 스펙트럼에서 5MHz, 10MHz 및 20MHz 대역폭들을 지원하고, 802.11ah는 비-TVWS 스펙트럼을 이용하는 1MHz, 2MHz, 4MHz, 8MHz 및 16MHz 대역폭들을 지원한다. 대표 실시예에 따르면, 802.11ah는 매크로 커버리지 영역 내의 MTC 디바이스들과 같은 미터 유형 제어/기계 유형 통신들을 지원할 수 있다. MTC 디바이스들은 특정 능력들, 예를 들어 특정의 그리고/또는 제한된 대역폭들에 대한 지원(예를 들어, 이들만의 지원)을 포함하는 제한된 능력들을 가질 수 있다. MTC 디바이스들은 (예를 들어, 매우 긴 배터리 수명을 유지하기 위해) 임계치를 넘는 배터리 수명을 갖는 배터리를 포함할 수 있다.
802.11n, 802.11ac, 802.11af 및 802.11ah와 같은 복수의 채널 및 채널 대역폭을 지원할 수 있는 WLAN 시스템들은 주 채널로서 지정될 수 있는 채널을 포함한다. 주 채널은 BSS 내의 모든 STA들에 의해 지원되는 가장 큰 공통 동작 대역폭과 동일한 대역폭을 가질 수 있다. 주 채널의 대역폭은 BSS에서 동작하는 모든 STA들 중에서 가장 작은 대역폭 동작 모드를 지원하는 STA에 의해 설정 및/또는 제한될 수 있다. 802.11ah의 실시예에서, 주 채널은 AP 및 BSS 내의 다른 STA들이 2MHz, 4MHz, 8MHz, 16MHz 및/또는 다른 채널 대역폭 동작 모드들을 지원하더라도 1MHz 모드를 지원하는(예를 들어, 지원만 하는) STA들(예를 들어, MTC 유형 디바이스들)에 대해 1MHz 폭일 수 있다. 캐리어 감지 및/또는 네트워크 할당 벡터(NAV) 설정들은 주 채널의 상태에 의존할 수 있다. 주 채널이 예를 들어 STA(1MHz 동작 모드만을 지원함)의 AP로의 전송으로 인해 이용 중인 경우, 전체 이용가능한 주파수 대역들은 주파수 대역들의 대부분이 유휴 상태로 유지되고 이용가능할 수 있더라도 이용 중인 것으로 고려될 수 있다.
미국에서, 802.11ah에 의해 이용될 수 있는 이용가능한 주파수 대역들은 902MHz 내지 928MHz이다. 한국에서, 이용가능한 주파수 대역들은 917.5MHz 내지 923.5MHz이다. 일본에서, 이용가능한 주파수 대역들은 916.5MHz 내지 927.5MHz이다. 802.11ah에 대해 이용가능한 총 대역폭은 국가 코드에 따라 6MHz 내지 26MHz이다.
도 16d는 실시예에 따른 RAN(113) 및 CN(115)을 도시하는 시스템도이다. 전술한 바와 같이, RAN(113)은 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위해 NR 무선 기술을 이용할 수 있다. RAN(113)은 또한 CN(115)과 통신할 수 있다.
RAN(113)은 gNB들(180a, 180b, 180c)을 포함할 수 있지만, RAN(113)이 실시예와 일관성을 유지하면서 임의의 수의 gNB들을 포함할 수 있다는 것이 이해될 것이다. gNB들(180a, 180b, 180c) 각각은 에어 인터페이스(116)를 통해 WTRU들(102a, 102b, 102c)과 통신하기 위한 하나 이상의 트랜시버를 포함할 수 있다. 일 실시예에서, gNB들(180a, 180b, 180c)은 MIMO 기술을 구현할 수 있다. 예를 들어, gNB들(180a, 180b)은 gNB들(180a, 180b, 180c)에 신호들을 전송하고/하거나 이들로부터 신호들을 수신하기 위해 빔포밍을 이용할 수 있다. 따라서, gNB(180a)는 예를 들어 WTRU(102a)에 무선 신호들을 전송하고/하거나 그로부터 무선 신호들을 수신하기 위해 복수의 안테나를 이용할 수 있다. 실시예에서, gNB들(180a, 180b, 180c)은 캐리어 집성 기술을 구현할 수 있다. 예를 들어, gNB(180a)는 복수의 구성요소 캐리어를 WTRU(102a)에 전송할 수 있다(도시되지 않음). 이러한 구성요소 캐리어들의 서브세트는 비허가 스펙트럼 상에 있을 수 있는 반면, 나머지 구성요소 캐리어들은 허가 스펙트럼 상에 있을 수 있다. 실시예에서, gNB들(180a, 180b, 180c)은 CoMP(Coordinated Multi-Point) 기술을 구현할 수 있다. 예를 들어, WTRU(102a)는 gNB(180a) 및 gNB(180b)(및/또는 gNB(180c))로부터 조정된 전송들을 수신할 수 있다.
WTRU들(102a, 102b, 102c)은 확장가능한 뉴머롤로지와 연관된 전송들을 이용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다. 예를 들어, OFDM 심볼 간격 및/또는 OFDM 서브캐리어 간격은 상이한 전송들, 상이한 셀들, 및/또는 무선 전송 스펙트럼의 상이한 부분들에 대해 변할 수 있다. WTRU들(102a, 102b, 102c)은 (예컨대, 가변 수의 OFDM 심볼들 및/또는 지속적인 가변 절대 시간 길이들을 포함하는) 다양한 또는 확장가능한 길이들의 서브프레임 또는 전송 시간 간격(TTI)들을 이용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다.
gNB들(180a, 180b, 180c)은 독립형 구성 및/또는 비독립형 구성에서 WTRU들(102a, 102b, 102c)과 통신하도록 구성될 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 (예컨대, eNode-B들(160a, 160b, 160c)과 같은) 다른 RAN들에 또한 액세스하지 않고 gNB들(180a, 180b, 180c)과 통신할 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 이동성 앵커 포인트로서 gNB들(180a, 180b, 180c) 중 하나 이상을 이용할 수 있다. 독립형 구성에서, WTRU들(102a, 102b, 102c)은 비허가 대역 내의 신호들을 이용하여 gNB들(180a, 180b, 180c)과 통신할 수 있다. 비독립형 구성에서, WTRU들(102a, 102b, 102c)은 eNode-B들(160a, 160b, 160c)과 같은 다른 RAN과 또한 통신하면서/이에 접속하면서 gNB들(180a, 180b, 180c)과 통신/이에 접속할 수 있다. 예를 들어, WTRU들(102a, 102b, 102c)은 하나 이상의 gNB(180a, 180b, 180c) 및 하나 이상의 eNode-B(160a, 160b, 160c)와 실질적으로 동시에 통신하기 위해 DC 원리들을 구현할 수 있다. 비독립형 구성에서, eNode-B들(160a, 160b, 160c)은 WTRU들(102a, 102b, 102c)에 대한 이동성 앵커로서 역할을 할 수 있고, gNB들(180a, 180b, 180c)은 WTRU들(102a, 102b, 102c)을 서비스하기 위한 추가적인 커버리지 및/또는 처리량을 제공할 수 있다.
gNB들(180a, 180b, 180c) 각각은 특정의 셀(도시되지 않음)과 연관될 수 있고, 무선 자원 관리 결정들, 핸드오버 결정들, UL 및/또는 DL에서의 사용자들의 스케줄링, 네트워크 슬라이싱의 지원, 이중 접속성, NR과 E-UTRA 사이의 연동, 사용자 평면 데이터의 사용자 평면 기능(UPF)(184a, 184b)으로의 라우팅, 제어 평면 정보의 액세스 및 이동성 관리 기능(AMF)(182a, 182b)으로의 라우팅 등을 처리하도록 구성될 수 있다. 도 16d에 도시된 바와 같이, gNB들(180a, 180b, 180c)은 Xn 인터페이스를 통해 서로 통신할 수 있다.
도 16d에 도시된 CN(115)은 적어도 하나의 AMF(182a, 182b), 적어도 하나의 UPF(184a, 184b), 적어도 하나의 세션 관리 기능(SMF)(183a, 183b), 및 가능하게는 데이터 네트워크(DN)(185a, 185b)를 포함할 수 있다. 전술한 요소들 각각이 CN(115)의 일부로서 묘사되지만, 이들 요소들 중 임의의 것이 CN 운영자 이외의 엔티티에 의해 소유되고/되거나 운영될 수 있다는 것이 이해될 것이다.
AMF(182a, 182b)는 N2 인터페이스를 통해 RAN(113) 내의 gNB들(180a, 180b, 180c) 중 하나 이상에 접속될 수 있고, 제어 노드로서 역할을 할 수 있다. 예를 들어, AMF(182a, 182b)는 WTRU들(102a, 102b, 102c)의 사용자들의 인증, 네트워크 슬라이싱(예컨대, 상이한 요구들을 갖는 상이한 PDU 세션들의 처리)에 대한 지원, 특정의 SMF(183a, 183b)의 선택, 등록 영역의 관리, NAS 시그널링의 종료, 이동성 관리 등을 담당할 수 있다. 네트워크 슬라이싱은 WTRU들(102a, 102b, 102c)에 의해 이용되는 서비스들의 유형들에 기반하여 WTRU들(102a, 102b, 102c)에 대한 CN 지원을 맞춤화하기 위해 AMF(182a, 182b)에 의해 이용될 수 있다. 예를 들어, URLLC(ultra-reliable low latency) 액세스에 의존하는 서비스들, eMBB(enhanced massive mobile broadband) 액세스에 의존하는 서비스들, MTC(machine type communication) 액세스에 대한 서비스들 등과 같은 상이한 이용 사례들에 대해 상이한 네트워크 슬라이스들이 확립될 수 있다. AMF(162)는 RAN(113)과, LTE, LTE-A, LTE-A Pro 및/또는 WiFi와 같은 비-3GPP 액세스 기술들과 같은 다른 무선 기술들을 이용하는 다른 RAN들(도시되지 않음) 사이에서 스위칭하기 위한 제어 평면 기능을 제공할 수 있다.
SMF(183a, 183b)는 N11 인터페이스를 통해 CN(115) 내의 AMF(182a, 182b)에 접속될 수 있다. SMF(183a, 183b)는 또한 N4 인터페이스를 통해 CN(115) 내의 UPF(184a, 184b)에 접속될 수 있다. SMF(183a, 183b)는 UPF(184a, 184b)를 선택 및 제어하고, UPF(184a, 184b)를 통한 트래픽의 라우팅을 구성할 수 있다. SMF(183a, 183b)는 UE IP 어드레스를 관리하고 할당하는 것, PDU 세션들을 관리하는 것, 정책 시행 및 QoS를 제어하는 것, 다운링크 데이터 통지들을 제공하는 것 등과 같은 다른 기능들을 수행할 수 있다. PDU 세션 유형은 IP 기반, 비-IP 기반, 이더넷 기반 등일 수 있다.
UPF(184a, 184b)는 WTRU들(102a, 102b, 102c)과 IP 인에이블드 디바이스들 사이의 통신들을 용이하게 하기 위해, 인터넷(110)과 같은 패킷 교환 네트워크들에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있는 N3 인터페이스를 통해 RAN(113) 내의 gNB들(180a, 180b, 180c) 중 하나 이상에 접속될 수 있다. UPF(184, 184b)는 패킷들을 라우팅 및 전달하는 것, 사용자 평면 정책들을 시행하는 것, 멀티-홈 PDU 세션들을 지원하는 것, 사용자 평면 QoS를 처리하는 것, 다운링크 패킷들을 버퍼링하는 것, 이동성 앵커링을 제공하는 것 등과 같은 다른 기능들을 수행할 수 있다.
CN(115)은 다른 네트워크들과의 통신을 용이하게 할 수 있다. 예를 들어, CN(115)은 CN(115)과 PSTN(108) 사이의 인터페이스로서 역할하는 IP 게이트웨이(예컨대, IMS(IP multimedia subsystem) 서버)를 포함할 수 있거나 이와 통신할 수 있다. 또한, CN(115)은 다른 서비스 제공자들에 의해 소유되고/되거나 운영되는 다른 유선 및/또는 무선 네트워크들을 포함할 수 있는 다른 네트워크들(112)에 대한 액세스를 WTRU들(102a, 102b, 102c)에 제공할 수 있다. 일 실시예에서, WTRU들(102a, 102b, 102c)은 UPF(184a, 184b)에 대한 N3 인터페이스 및 UPF(184a, 184b)와 DN(185a, 185b) 사이의 N6 인터페이스를 경유하여 UPF(184a, 184b)를 통해 로컬 데이터 네트워크(DN)(185a, 185b)에 접속될 수 있다.
도 16a 내지 도 16d, 및 도 16a 내지 도 16d의 대응하는 설명을 고려할 때, WTRU(102a-d), 기지국(114a-b), eNode-B(160a-c), MME(162), SGW(164), PGW(166), gNB(180a-c), AMF(182a-b), UPF(184a-b), SMF(183a-b), DN(185a-b) 및/또는 본 명세서에 설명된 임의의 다른 디바이스(들) 중 하나 이상과 관련하여 본 명세서에 설명된 기능들 중 하나 이상 또는 전부는 하나 이상의 에뮬레이션 디바이스(도시되지 않음)에 의해 수행될 수 있다. 에뮬레이션 디바이스들은 본 명세서에 설명된 기능들 중 하나 이상 또는 전부를 에뮬레이팅하도록 구성된 하나 이상의 디바이스일 수 있다. 예를 들어, 에뮬레이션 디바이스들은 다른 디바이스들을 테스트하고/하거나 네트워크 및/또는 WTRU 기능들을 시뮬레이팅하는데 이용될 수 있다.
에뮬레이션 디바이스들은 실험실 환경 및/또는 운영자 네트워크 환경에서 다른 디바이스들의 하나 이상의 테스트를 구현하도록 설계될 수 있다. 예를 들어, 하나 이상의 에뮬레이션 디바이스는 통신 네트워크 내의 다른 디바이스들을 테스트하기 위해 유선 및/또는 무선 통신 네트워크의 일부로서 완전히 또는 부분적으로 구현 및/또는 배치되면서 하나 이상의 또는 모든 기능을 수행할 수 있다. 하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 일시적으로 구현/배치되면서 하나 이상의 또는 모든 기능을 수행할 수 있다. 에뮬레이션 디바이스는 테스트를 위해 다른 디바이스에 직접 결합될 수 있고/있거나 OTA(over-the-air) 무선 통신들을 이용하여 테스트를 수행할 수 있다.
하나 이상의 에뮬레이션 디바이스는 유선 및/또는 무선 통신 네트워크의 일부로서 구현/배치되지 않으면서 하나 이상의 또는 모든 기능을 수행할 수 있다. 예를 들어, 에뮬레이션 디바이스들은 하나 이상의 구성요소의 테스트를 구현하기 위해 테스트 실험실 및/또는 배치되지 않은(예컨대, 테스트) 유선 및/또는 무선 통신 네트워크에서의 테스트 시나리오에서 이용될 수 있다. 하나 이상의 에뮬레이션 디바이스는 테스트 장비일 수 있다. RF 회로(예를 들어, 하나 이상의 안테나를 포함할 수 있음)를 통한 직접 RF 결합 및/또는 무선 통신들이 데이터를 전송 및/또는 수신하기 위해 에뮬레이션 디바이스들에 의해 이용될 수 있다.
본 명세서에서 설명된 프로세스들 및 기술들은 컴퓨터 및/또는 프로세서에 의한 실행을 위해 컴퓨터 판독가능한 매체에 통합되는 컴퓨터 프로그램, 소프트웨어, 및/또는 펌웨어로 구현될 수 있다. 컴퓨터 판독가능한 매체들의 예들은 (유선 및/또는 무선 접속들을 통해 전송되는) 전자 신호들 및/또는 컴퓨터 판독가능한 저장 매체들을 포함하지만, 이들로 제한되지 않는다. 컴퓨터 판독가능한 저장 매체들의 예들은 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스들, 이들로 제한되지 않는 내부 하드 디스크들과 이동식 디스크들 등의 자기 매체들, 광자기 매체들, 및/또는 CD-ROM 디스크들 및/또는 디지털 다목적 디스크들(DVD들) 등의 광학 매체들을 포함하지만, 이들로 제한되지는 않는다. 소프트웨어와 연관된 프로세서는 WTRU, 단말기, 기지국, RNC, 및/또는 임의의 호스트 컴퓨터에서 이용하기 위한 무선 주파수 트랜시버를 구현하는데 이용될 수 있다.

Claims (17)

  1. 비디오 콘텐츠를 코딩하기 위한 방법으로서,
    비트스트림에서 상기 비디오 콘텐츠와 연관된 픽처를 수신하는 단계;
    수평 랩어라운드 모션 보상이 인에이블되는지를 표시하는 랩어라운드 인에이블 표시를 수신하는 단계;
    상기 수평 랩어라운드 모션 보상이 인에이블됨을 표시하는 상기 랩어라운드 인에이블 표시에 기반하여, 상기 픽처에서 현재 샘플의 참조 샘플 랩어라운드 오프셋(reference sample wraparound offset)을 결정하는 단계;
    상기 참조 샘플 랩어라운드 오프셋, 상기 픽처의 픽처 폭, 및 현재 샘플 위치에 기반하여 상기 현재 샘플에 대한 참조 샘플 위치를 결정하는 단계; 및
    상기 참조 샘플 위치에 기반하여 상기 현재 샘플을 예측하는 단계
    를 포함하는, 비디오 콘텐츠를 코딩하기 위한 방법.
  2. 제1항에 있어서,
    상기 랩어라운드 인에이블 표시에 기반하여 상기 참조 샘플 랩어라운드 오프셋의 오프셋 표시를 수신할지를 결정하는 단계 - 상기 랩어라운드 인에이블 표시가 인에이블된다고 결정되면, 상기 비트스트림을 파싱하여 상기 참조 샘플 랩어라운드 오프셋의 상기 오프셋 표시를 수신하고, 상기 랩어라운드 인에이블 표시가 디스에이블된다고 결정되면, 상기 비트스트림을 파싱하여 상기 참조 샘플 랩어라운드 오프셋의 상기 오프셋 표시를 수신하는 것을 스킵함 -
    를 더 포함하는, 비디오 콘텐츠를 코딩하기 위한 방법.
  3. 제1항에 있어서,
    상기 랩어라운드 인에이블 표시는 상기 수평 랩어라운드 모션 보상이 인에이블되는지를 표시하는 랩어라운드 인에이블 플래그를 포함하는, 비디오 콘텐츠를 코딩하기 위한 방법.
  4. 제1항에 있어서,
    상기 픽처에서 상기 현재 샘플의 상기 참조 샘플 랩어라운드 오프셋을 결정하는 단계는,
    상기 비트스트림에서 상기 참조 샘플 랩어라운드 오프셋의 오프셋 표시를 수신하는 단계를 포함하며, 상기 참조 샘플 랩어라운드 오프셋은 상기 오프셋 표시에 기반하여 결정되고, 상기 참조 샘플 랩어라운드 오프셋은 상기 픽처의 면 폭(face width)을 나타내는, 비디오 콘텐츠를 코딩하기 위한 방법.
  5. 제1항에 있어서,
    상기 픽처에서 상기 현재 샘플의 상기 참조 샘플 랩어라운드 오프셋을 결정하는 단계는,
    상기 픽처의 면 폭을 나타내는 크기 표시를 수신하는 단계 - 상기 크기 표시는 루마 샘플들에서 보호 밴드(guard band)의 폭을 포함함 -; 및
    상기 크기 표시에 기반하여 상기 픽처의 면 폭을 계산하는 단계
    를 포함하는, 비디오 콘텐츠를 코딩하기 위한 방법.
  6. 제5항에 있어서,
    상기 보호 밴드의 폭은 상기 보호 밴드의 제1 폭이고, 상기 픽처의 상기 면 폭을 나타내는 상기 크기 표시는 루마 샘플들에서 상기 보호 밴드의 제2 폭을 더 포함하고, 상기 픽처의 상기 면 폭은 루마 샘플들에서 상기 보호 밴드의 상기 제1 폭 및 상기 보호 밴드의 상기 제2 폭에 기반하여 계산되는, 비디오 콘텐츠를 코딩하기 위한 방법.
  7. 제1항에 있어서,
    상기 랩어라운드 인에이블 표시 및 상기 참조 샘플 랩어라운드 오프셋은 시퀀스 레벨에서 수신되는, 비디오 콘텐츠를 코딩하기 위한 방법.
  8. 제1항에 있어서,
    상기 참조 샘플 위치를 결정하는 단계는,
    상기 참조 샘플 랩어라운드 오프셋 및 상기 픽처의 픽처 폭에 기반하여 상기 픽처의 면 폭을 계산하는 단계;
    상기 픽처에서 상기 현재 샘플 위치를 식별하는 단계;
    원래의 참조 샘플 위치가 상기 픽처의 밖에 있다고 결정하는 단계;
    상기 원래의 참조 샘플 위치가 상기 픽처의 가장 좌측 수평 경계의 밖에 있다고 결정하면, 상기 참조 샘플 랩어라운드 오프셋을 상기 원래의 참조 샘플 위치와 연관된 수평 샘플 좌표에 가산함으로써 상기 참조 샘플 위치를 결정하는 단계; 및
    상기 원래의 참조 샘플 위치가 상기 픽처의 가장 우측 수평 경계의 밖에 있다고 결정하면, 상기 원래의 참조 샘플 위치와 연관된 상기 수평 샘플 좌표로부터 상기 참조 샘플 랩어라운드 오프셋을 감산함으로써 상기 참조 샘플 위치를 결정하는 단계
    를 포함하는, 비디오 콘텐츠를 코딩하기 위한 방법.
  9. 제1항에 있어서,
    원래의 참조 샘플 위치가 상기 픽처의 밖에 있다고 결정하는 단계; 및
    상기 참조 샘플 랩어라운드 오프셋을 상기 원래의 참조 샘플 위치와 연관된 수평 샘플 좌표에 적용함으로써 상기 참조 샘플 위치를 계산하는 단계
    를 포함하는, 비디오 콘텐츠를 코딩하기 위한 방법.
  10. 제1항에 있어서,
    상기 픽처에서 상기 현재 샘플 위치를 식별하는 단계;
    상기 현재 샘플 위치가 상기 픽처의 수평 경계에 위치하는 것으로 결정하는 단계;
    상기 참조 샘플 위치가 상기 픽처의 수평 경계의 밖에 위치하는 것으로 결정하는 단계;
    상기 수평 랩어라운드 모션 보상이 디스에이블됨을 표시하는 상기 랩어라운드 인에이블 표시에 기반하여, 상기 픽처의 수평 경계 상의 상기 참조 샘플 위치를 식별하는 단계; 및
    상기 참조 샘플 위치에 기반하여 상기 현재 샘플을 예측하는 단계
    를 포함하는, 비디오 콘텐츠를 코딩하기 위한 방법.
  11. 제1항에 있어서,
    상기 픽처는 ERP(equirectangular projection) 포맷, EAP(equal-area projection) 포맷 또는 AEP(adjusted equal-area projection) 포맷과 연관되는, 비디오 콘텐츠를 코딩하기 위한 방법.
  12. 비디오 콘텐츠를 코딩하기 위한 디바이스로서,
    프로세서를 포함하며,
    상기 프로세서는,
    비트스트림에서 상기 비디오 콘텐츠와 연관된 픽처를 수신하고;
    수평 랩어라운드 모션 보상이 인에이블되는지를 표시하는 랩어라운드 인에이블 표시를 수신하고;
    상기 수평 랩어라운드 모션 보상이 인에이블됨을 표시하는 상기 랩어라운드 인에이블 표시에 기반하여, 상기 픽처에서 현재 샘플의 참조 샘플 랩어라운드 오프셋을 결정하고;
    상기 참조 샘플 랩어라운드 오프셋, 상기 픽처의 픽처 폭, 및 현재 샘플 위치에 기반하여 상기 현재 샘플에 대한 참조 샘플 위치를 결정하며;
    상기 참조 샘플 위치에 기반하여 상기 현재 샘플을 예측하도록 구성되는, 비디오 콘텐츠를 코딩하기 위한 디바이스.
  13. 제12항에 있어서,
    상기 프로세서는 추가로,
    상기 랩어라운드 인에이블 표시에 기반하여 상기 참조 샘플 랩어라운드 오프셋의 오프셋 표시를 수신할지를 결정하고, 상기 랩어라운드 인에이블 표시가 인에이블된다고 결정되면, 상기 비트스트림을 파싱하여 상기 참조 샘플 랩어라운드 오프셋의 상기 오프셋 표시를 수신하고, 상기 랩어라운드 인에이블 표시가 디스에이블된다고 결정되면, 상기 비트스트림을 파싱하여 상기 참조 샘플 랩어라운드 오프셋의 상기 오프셋 표시를 수신하는 것을 스킵하도록 구성되는, 비디오 콘텐츠를 코딩하기 위한 디바이스.
  14. 제12항에 있어서,
    상기 픽처에서 상기 현재 샘플의 상기 참조 샘플 랩어라운드 오프셋을 결정하기 위해, 상기 프로세서는,
    상기 비트스트림에서 상기 참조 샘플 랩어라운드 오프셋의 오프셋 표시를 수신하도록 구성되며, 상기 참조 샘플 랩어라운드 오프셋은 상기 오프셋 표시에 기반하여 결정되고, 상기 참조 샘플 랩어라운드 오프셋은 상기 픽처의 면 폭을 나타내는, 비디오 콘텐츠를 코딩하기 위한 디바이스.
  15. 제12항에 있어서,
    상기 픽처에서 상기 현재 샘플의 상기 참조 샘플 랩어라운드 오프셋을 결정하기 위해, 상기 프로세서는,
    프레임 패킹된 픽처의 면 폭을 나타내는 크기 표시를 수신하고 - 상기 크기 표시는 루마 샘플들에서 보호 밴드의 폭을 포함함 -;
    상기 크기 표시에 기반하여 상기 픽처의 면 폭을 계산하도록 구성되는, 비디오 콘텐츠를 코딩하기 위한 디바이스.
  16. 제12항에 있어서,
    상기 참조 샘플 위치를 결정하기 위해, 상기 프로세서는,
    상기 참조 샘플 랩어라운드 오프셋 및 상기 픽처의 픽처 폭에 기반하여 프레임 패킹된 픽처의 면 폭을 계산하고;
    상기 프레임 패킹된 픽처에서 상기 현재 샘플 위치를 식별하고;
    원래의 참조 샘플 위치가 상기 픽처의 밖에 있다고 결정하고;
    상기 원래의 참조 샘플 위치가 상기 픽처의 가장 좌측 수평 경계의 밖에 있다고 결정하면, 상기 참조 샘플 랩어라운드 오프셋을 상기 원래의 참조 샘플 위치와 연관된 수평 샘플 좌표에 가산함으로써 상기 참조 샘플 위치를 결정하며;
    상기 원래의 참조 샘플 위치가 상기 픽처의 가장 우측 수평 경계의 밖에 있다고 결정하면, 상기 원래의 참조 샘플 위치와 연관된 상기 수평 샘플 좌표로부터 상기 참조 샘플 랩어라운드 오프셋을 감산함으로써 상기 참조 샘플 위치를 결정하도록 구성되는, 비디오 콘텐츠를 코딩하기 위한 디바이스.
  17. 제12항에 있어서,
    상기 프로세서는,
    상기 픽처에서 상기 현재 샘플 위치를 식별하고;
    상기 현재 샘플 위치가 상기 픽처의 수평 경계에 위치하는 것으로 결정하고;
    상기 참조 샘플 위치가 상기 픽처의 수평 경계의 밖에 위치하는 것으로 결정하고;
    상기 수평 랩어라운드 모션 보상이 디스에이블됨을 표시하는 상기 랩어라운드 인에이블 표시에 기반하여, 상기 픽처의 수평 경계 상의 상기 참조 샘플 위치를 식별하며;
    상기 참조 샘플 위치에 기반하여 상기 현재 샘플을 예측하도록 구성되는, 비디오 콘텐츠를 코딩하기 위한 디바이스.
KR1020217009218A 2018-09-27 2019-09-26 360도 비디오 코딩을 위한 샘플 도출 KR20210080358A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862737303P 2018-09-27 2018-09-27
US62/737,303 2018-09-27
PCT/US2019/053055 WO2020069058A1 (en) 2018-09-27 2019-09-26 Sample derivation for 360-degree video coding

Publications (1)

Publication Number Publication Date
KR20210080358A true KR20210080358A (ko) 2021-06-30

Family

ID=68165853

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217009218A KR20210080358A (ko) 2018-09-27 2019-09-26 360도 비디오 코딩을 위한 샘플 도출

Country Status (8)

Country Link
US (2) US11601676B2 (ko)
EP (1) EP3857895A1 (ko)
JP (1) JP2022501905A (ko)
KR (1) KR20210080358A (ko)
CN (1) CN112740701A (ko)
BR (1) BR112021005945A2 (ko)
TW (1) TWI822863B (ko)
WO (1) WO2020069058A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210185340A1 (en) * 2019-12-17 2021-06-17 Alibaba Group Holding Limited Methods for performing wrap-around motion compensation
US11785237B2 (en) 2020-03-26 2023-10-10 Alibaba Group Holding Limited Methods for signaling video coding data

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11252434B2 (en) 2018-12-31 2022-02-15 Tencent America LLC Method for wrap-around padding for omnidirectional media coding
JP7425808B2 (ja) 2019-06-04 2024-01-31 北京字節跳動網絡技術有限公司 動き候補リスト構築プロセスの条件付き実行
CN113966616B (zh) 2019-06-04 2023-11-14 北京字节跳动网络技术有限公司 使用临近块信息的运动候选列表构建
CN113994699B (zh) 2019-06-06 2024-01-12 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
CN114175636B (zh) 2019-07-14 2024-01-12 北京字节跳动网络技术有限公司 自适应参数集中的自适应环路滤波的指示
US11095916B2 (en) * 2019-07-23 2021-08-17 Qualcomm Incorporated Wraparound motion compensation in video coding
CN117615155A (zh) 2019-09-19 2024-02-27 北京字节跳动网络技术有限公司 视频编解码中的参考样点位置推导
CN117596389A (zh) 2019-09-28 2024-02-23 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
WO2021068921A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Motion vector handling in geometry partition mode
US11095912B2 (en) * 2019-10-28 2021-08-17 Mediatek Inc. Video decoding method for decoding part of bitstream to generate projection-based frame with constrained guard band size, constrained projection face size, and/or constrained picture size
JP7393550B2 (ja) 2019-12-11 2023-12-06 北京字節跳動網絡技術有限公司 クロス成分適応ループフィルタリングのためのサンプルパディング
US11418804B2 (en) 2019-12-31 2022-08-16 Tencent America LLC Method for wrap around motion compensation with reference picture resampling
JP7425224B2 (ja) 2020-04-07 2024-01-30 北京字節跳動網絡技術有限公司 高レベル構文におけるインター予測のための信号通知
WO2021204234A1 (en) 2020-04-09 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Deblocking signaling in video coding
CN115486064A (zh) 2020-04-10 2022-12-16 抖音视界有限公司 标头语法元素和自适应参数集的使用
CN115868159A (zh) 2020-04-17 2023-03-28 抖音视界有限公司 自适应参数集单元的存在
WO2021222037A1 (en) 2020-04-26 2021-11-04 Bytedance Inc. Conditional signaling of weighted prediction information
JP2023531223A (ja) 2020-06-30 2023-07-21 北京字節跳動網絡技術有限公司 適応ループフィルタリングのための境界位置
TWI828091B (zh) * 2022-03-23 2024-01-01 中華電信股份有限公司 全景影像傳輸系統、方法以及電腦程式產品
WO2024037645A1 (en) * 2022-08-19 2024-02-22 Mediatek Inc. Boundary sample derivation in video coding

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703283B1 (ko) 2004-03-15 2007-04-03 삼성전자주식회사 회전 매칭을 통해 움직임을 예측하는 영상 부호화 장치 및방법
US7480335B2 (en) * 2004-05-21 2009-01-20 Broadcom Corporation Video decoder for decoding macroblock adaptive field/frame coded video data with spatial prediction
US7447337B2 (en) * 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
US8923384B2 (en) * 2007-12-31 2014-12-30 Netlogic Microsystems, Inc. System, method and device for processing macroblock video data
WO2011052142A1 (ja) * 2009-10-29 2011-05-05 パナソニック株式会社 画像符号化方法および画像復号方法
CN102088610B (zh) * 2011-03-08 2013-12-18 开曼群岛威睿电通股份有限公司 视频编解码器及运动估计方法
WO2012132237A1 (ja) * 2011-03-31 2012-10-04 パナソニック株式会社 立体視画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
US9805475B2 (en) * 2012-09-07 2017-10-31 Massachusetts Institute Of Technology Eulerian motion modulation
US9749627B2 (en) 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
US20150195564A1 (en) * 2014-01-03 2015-07-09 Qualcomm Incorporated Method for coding a reference picture set (rps) in multi-layer coding
US10404992B2 (en) * 2015-07-27 2019-09-03 Qualcomm Incorporated Methods and systems of restricting bi-prediction in video coding
KR102432085B1 (ko) * 2015-09-23 2022-08-11 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
US20170214937A1 (en) 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of Inter Prediction for Spherical Images and Cubic Images
FI20165256L (fi) 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
US11019257B2 (en) * 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
US20170374364A1 (en) 2016-06-23 2017-12-28 Mediatek Inc. Method and Apparatus of Face Independent Coding Structure for VR Video
KR20230051319A (ko) * 2016-07-08 2023-04-17 브이아이디 스케일, 인크. 지오메트리 투영을 이용한 360도 비디오 코딩
EP3301914A1 (en) 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
US10609284B2 (en) * 2016-10-22 2020-03-31 Microsoft Technology Licensing, Llc Controlling generation of hyperlapse from wide-angled, panoramic videos
EP3316212A1 (en) * 2016-10-28 2018-05-02 Thomson Licensing Method for deblurring a video, corresponding device and computer program product
US10506196B2 (en) * 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
US10893256B2 (en) * 2017-06-26 2021-01-12 Nokia Technologies Oy Apparatus, a method and a computer program for omnidirectional video
US11252434B2 (en) * 2018-12-31 2022-02-15 Tencent America LLC Method for wrap-around padding for omnidirectional media coding
BR112021012366B1 (pt) * 2019-01-15 2022-03-22 Lg Electronics Inc Método de decodificação de uma imagem realizado por um aparelho de decodificação, método de codificação de uma imagem realizado por um aparelho de codificação e mídia de armazenamento digital legível por computador não transitória

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210185340A1 (en) * 2019-12-17 2021-06-17 Alibaba Group Holding Limited Methods for performing wrap-around motion compensation
US11711537B2 (en) * 2019-12-17 2023-07-25 Alibaba Group Holding Limited Methods for performing wrap-around motion compensation
US11956463B2 (en) 2019-12-17 2024-04-09 Alibaba Group Holding Limited Methods for performing wrap-around motion compensation
US11785237B2 (en) 2020-03-26 2023-10-10 Alibaba Group Holding Limited Methods for signaling video coding data

Also Published As

Publication number Publication date
TWI822863B (zh) 2023-11-21
EP3857895A1 (en) 2021-08-04
US20230188752A1 (en) 2023-06-15
WO2020069058A1 (en) 2020-04-02
CN112740701A (zh) 2021-04-30
US11601676B2 (en) 2023-03-07
US20220007053A1 (en) 2022-01-06
BR112021005945A2 (pt) 2021-06-29
TW202029763A (zh) 2020-08-01
JP2022501905A (ja) 2022-01-06

Similar Documents

Publication Publication Date Title
US11601676B2 (en) Sample derivation for 360-degree video coding
JP7357747B2 (ja) 面連続性を使用する３６０度ビデオコーディング
US20220377385A1 (en) Handling face discontinuities in 360-degree video coding
US11432010B2 (en) Face discontinuity filtering for 360-degree video coding
CN110999296B (zh) 解码360度视频的方法、设备及计算机可读介质
WO2019089382A1 (en) 360-degree video coding using face-based geometry padding
TWI797234B (zh) 360度視訊編碼適應性訊框填裝
RU2786015C2 (ru) Получение сэмпла для кодирования 360-градусного видео
US12003770B2 (en) Face discontinuity filtering for 360-degree video coding