KR20220160038A - 비디오 코딩 데이터를 시그널링하기 위한 방법들 - Google Patents
비디오 코딩 데이터를 시그널링하기 위한 방법들 Download PDFInfo
- Publication number
- KR20220160038A KR20220160038A KR1020227036772A KR20227036772A KR20220160038A KR 20220160038 A KR20220160038 A KR 20220160038A KR 1020227036772 A KR1020227036772 A KR 1020227036772A KR 20227036772 A KR20227036772 A KR 20227036772A KR 20220160038 A KR20220160038 A KR 20220160038A
- Authority
- KR
- South Korea
- Prior art keywords
- picture
- wrap
- motion compensation
- around
- offset
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 202
- 230000011664 signaling Effects 0.000 title description 74
- 230000004044 response Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 113
- 241000023320 Luma <angiosperm> Species 0.000 claims description 67
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 67
- 230000015654 memory Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 description 83
- 238000013139 quantization Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 30
- 230000002123 temporal effect Effects 0.000 description 25
- 230000009466 transformation Effects 0.000 description 15
- 238000007906 compression Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 11
- 238000013213 extrapolation Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006837 decompression Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000002156 mixing Methods 0.000 description 6
- 238000000638 solvent extraction Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 108010001267 Protein Subunits Proteins 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 개시내용은 랩-어라운드 모션 보상을 위한 시스템들 및 방법들을 제공한다. 일 예시적인 방법은, 랩-어라운드 모션 보상 플래그를 수신하는 단계; 랩-어라운드 모션 보상 플래그에 기초하여 랩-어라운드 모션 보상이 인에이블되는지를 결정하는 단계; 랩-어라운드 모션 보상이 인에이블된다는 결정에 대한 응답으로, 수평 랩-어라운드 포지션을 결정하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 수신하는 단계; 및 랩-어라운드 모션 보상 플래그 및 차이에 따라 모션 보상을 수행하는 단계를 포함한다.
Description
본 개시내용은 2020년 3월 26일에 출원된 미국 가특허 출원 번호 제63/000,443호에 대한 우선권 및 우선권의 이익을 주장한다. 가출원은 그 전체가 인용에 의해 본원에 포함된다.
본 개시내용은 일반적으로 비디오 데이터 프로세싱에 관한 것으로, 보다 상세하게는 랩-어라운드 모션 보상(wrap-around motion compensation), 슬라이스 레이아웃(slice layout), 및 슬라이스 어드레스에 관한 정보를 시그널링하기 위한 방법들 및 장치들에 관한 것이다.
비디오는 시각적 정보를 캡처하는 정적 화상들(또는 "프레임들")의 세트이다. 저장 메모리 및 송신 대역폭을 감소시키기 위해, 비디오는 저장 또는 송신 전에 압축되고 디스플레이 전에 압축해제될 수 있다. 압축 프로세스는 일반적으로 인코딩으로서 지칭되고 압축해제 프로세스는 일반적으로 디코딩으로서 지칭된다. 가장 일반적으로 예측, 변환, 양자화, 엔트로피 코딩 및 인-루프 필터링(in-loop filtering)에 기초하는 표준화된 비디오 코딩 기술들을 사용하는 다양한 비디오 코딩 포맷들이 있다. 특정 비디오 코딩 포맷들을 지정하는 비디오 코딩 표준들 이를테면, 고효율 비디오 코딩(High Efficiency Video Coding)(예컨대, HEVC/H.265) 표준, 다용도 비디오 코딩(Versatile Video Coding)(예컨대, VVC/H.266) 표준, 및 AVS 표준들이 표준화 기관들에 의해 개발되었다. 점점 더 많은 진보된 비디오 코딩 기술들이 비디오 표준들에서 채택됨에 따라, 새로운 비디오 코딩 표준들의 코딩 효율은 점점 더 높아진다.
본 개시내용의 실시예들은 비디오 코딩 데이터를 시그널링하기 위한 방법을 제공하며, 이 방법은, 랩-어라운드 모션 보상 플래그를 수신하는 단계; 랩-어라운드 모션 보상 플래그에 기초하여 랩-어라운드 모션 보상이 인에이블되는지를 결정하는 단계; 랩-어라운드 모션 보상이 인에이블된다는 결정에 대한 응답으로, 수평 랩-어라운드 포지션을 결정하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 수신하는 단계; 및 랩-어라운드 모션 보상 플래그 및 차이에 따라 모션 보상을 수행하는 단계를 포함한다.
본 개시내용의 실시예들은 추가로, 비디오 코딩 데이터를 시그널링하기 위한 방법을 제공하며, 방법은, 코딩을 위한 화상을 수신하는 단계 ― 화상은 하나 이상의 슬라이스들을 포함함 ― ; 및 화상의 화상 파라미터 세트에서, 비디오 프레임 내 슬라이스들의 수에서 2를 뺀 것을 표시하는 변수를 시그널링하는 단계를 포함한다.
본 개시내용의 실시예들은 추가로 비디오 코딩 데이터를 시그널링하기 위한 방법을 제공하며, 방법은, 코딩을 위한 화상을 수신하는 단계 ― 화상은 하나 이상의 슬라이스들 및 하나 이상의 서브화상들을 포함함 ― ; 및 화상의 화상 파라미터 세트에서, 화상 내 슬라이스들의 수에서 화상 내 서브화상들의 수를 빼고 1을 뺀 것을 표시하는 변수를 시그널링하는 단계를 포함한다.
본 개시내용의 실시예들은 추가로 비디오 코딩 데이터를 시그널링하기 위한 방법을 제공하며, 방법은, 코딩을 위한 화상을 수신하는 단계 ― 화상은 하나 이상의 슬라이스들을 포함함 ― ; 화상에 대한 화상 헤더 신택스 구조가 하나 이상의 슬라이스들에 대한 슬라이스 헤더 내에 존재하는지를 표시하는 변수를 시그널링하는 단계; 및 변수에 따라 슬라이스 어드레스를 시그널링하는 단계를 포함한다.
본 개시내용의 실시예들은 추가로, 비디오 데이터 프로세싱을 수행하기 위한 시스템을 제공하며, 시스템은, 명령들의 세트를 저장하는 메모리; 및 프로세서를 포함하고, 프로세서는, 시스템으로 하여금, 랩-어라운드 모션 보상 플래그를 수신하는 것; 랩-어라운드 모션 보상 플래그에 기초하여 랩-어라운드 모션 보상이 인에이블되는지를 결정하는 것; 랩-어라운드 모션 보상이 인에이블된다는 결정에 대한 응답으로, 수평 랩-어라운드 포지션을 결정하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 수신하는 것; 그리고 랩-어라운드 모션 보상 플래그 및 차이에 따라 모션 보상을 수행하는 것을 수행하게 하기 위해 명령들의 세트를 실행하도록 구성된다.
본 개시내용의 실시예들은 추가로, 비디오 데이터 프로세싱을 수행하기 위한 시스템을 제공하며, 시스템은, 명령들의 세트를 저장하는 메모리; 및 프로세서를 포함하고, 프로세서는, 시스템으로 하여금, 코딩을 위한 화상을 수신하는 것 ― 화상은 하나 이상의 슬라이스들을 포함함 ― ; 그리고 화상의 화상 파라미터 세트에서, 비디오 프레임 내 슬라이스들의 수에서 2를 뺀 것을 표시하는 변수를 시그널링하는 것을 수행하게 하기 위해 명령들의 세트를 실행하도록 구성된다.
본 개시내용의 실시예들은 추가로, 비디오 데이터 프로세싱을 수행하기 위한 시스템을 제공하며, 시스템은, 명령들의 세트를 저장하는 메모리; 및 프로세서를 포함하고, 프로세서는, 시스템으로 하여금, 코딩을 위한 화상을 수신하는 것 ― 화상은 하나 이상의 슬라이스들 및 하나 이상의 서브화상들을 포함함 ― ; 그리고 화상의 화상 파라미터 세트에서, 화상 내 슬라이스들의 수에서 화상 내 서브화상들의 수를 빼고 1을 뺀 것을 표시하는 변수를 시그널링하는 것을 수행하게 하기 위해 명령들의 세트를 실행하도록 구성된다.
본 개시내용의 실시예들은 추가로, 비디오 데이터 프로세싱을 수행하기 위한 시스템을 제공하며, 시스템은, 명령들의 세트를 저장하는 메모리; 및 프로세서를 포함하고, 프로세서는, 시스템으로 하여금, 코딩을 위한 화상을 수신하는 것 ― 화상은 하나 이상의 슬라이스들을 포함함 ― ; 화상에 대한 화상 헤더 신택스 구조가 하나 이상의 슬라이스들에 대한 슬라이스 헤더 내에 존재하는지를 표시하는 변수를 시그널링하는 것; 그리고 변수에 따라 슬라이스 어드레스를 시그널링하는 것을 수행하게 하기 위해 명령들의 세트를 실행하도록 구성된다.
본 개시내용의 실시예들은 추가로, 명령들의 세트를 저장하는 비-일시적 컴퓨터 판독 가능 매체를 제공하며, 명령들의 세트는 장치로 하여금, 비디오 데이터 프로세싱을 수행하기 위한 방법을 개시하게 하도록 장치의 하나 이상의 프로세서들에 의해 실행 가능하고, 방법은, 랩-어라운드 모션 보상 플래그를 수신하는 단계; 랩-어라운드 모션 보상 플래그에 기초하여 랩-어라운드 모션 보상이 인에이블되는지를 결정하는 단계; 랩-어라운드 모션 보상이 인에이블된다는 결정에 대한 응답으로, 수평 랩-어라운드 포지션을 결정하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 수신하는 단계; 및 랩-어라운드 모션 보상 플래그 및 차이에 따라 모션 보상을 수행하는 단계를 포함한다.
본 개시내용의 실시예들은 추가로, 명령들의 세트를 저장하는 비-일시적 컴퓨터 판독 가능 매체를 제공하며, 명령들의 세트는 장치로 하여금, 비디오 데이터 프로세싱을 수행하기 위한 방법을 개시하게 하도록 장치의 하나 이상의 프로세서들에 의해 실행 가능하고, 방법은, 코딩을 위한 화상을 수신하는 단계 ― 화상은 하나 이상의 슬라이스들을 포함함 ― ; 및 화상의 화상 파라미터 세트에서, 비디오 프레임 내 슬라이스들의 수에서 2를 뺀 것을 표시하는 변수를 시그널링하는 단계를 포함한다.
본 개시내용의 실시예들은 추가로, 명령들의 세트를 저장하는 비-일시적 컴퓨터 판독 가능 매체를 제공하며, 명령들의 세트는 장치로 하여금, 비디오 데이터 프로세싱을 수행하기 위한 방법을 개시하게 하도록 장치의 하나 이상의 프로세서들에 의해 실행 가능하고, 방법은, 코딩을 위한 화상을 수신하는 단계 ― 화상은 하나 이상의 슬라이스들 및 하나 이상의 서브화상들을 포함함 ― ; 및 화상의 화상 파라미터 세트에서, 화상 내 슬라이스들의 수에서 화상 내 서브화상들의 수를 빼고 1을 뺀 것을 표시하는 변수를 시그널링하는 단계를 포함한다.
본 개시내용의 실시예들은 추가로, 명령들의 세트를 저장하는 비-일시적 컴퓨터 판독 가능 매체를 제공하며, 명령들의 세트는 장치로 하여금, 비디오 데이터 프로세싱을 수행하기 위한 방법을 개시하게 하도록 장치의 하나 이상의 프로세서들에 의해 실행 가능하고, 방법은, 코딩을 위한 화상을 수신하는 단계 ― 화상은 하나 이상의 슬라이스들을 포함함 ― ; 화상에 대한 화상 헤더 신택스 구조가 하나 이상의 슬라이스들에 대한 슬라이스 헤더 내에 존재하는지를 표시하는 변수를 시그널링하는 단계; 및 변수에 따라 슬라이스 어드레스를 시그널링하는 단계를 포함한다.
본 개시내용의 실시예들 및 다양한 양상들이 하기 상세한 설명 및 첨부 도면들에서 예시된다. 도면들에 보여지는 다양한 특징들은 실척대로 그려진 것은 아니다.
도 1은 본 개시내용의 일부 실시예들에 따른 예시적인 비디오 시퀀스의 구조들을 도시한다.
도 2a는 본 개시내용의 일부 실시예들에 따른 예시적인 인코딩 프로세스의 개략도를 도시한다.
도 2b는 본 개시내용의 일부 실시예들에 따른 다른 예시적인 인코딩 프로세스의 개략도를 도시한다.
도 3a는 본 개시내용의 일부 실시예들에 따른 예시적인 디코딩 프로세스의 개략도를 도시한다.
도 3b는 본 개시내용의 일부 실시예들에 따른 다른 예시적인 디코딩 프로세스의 개략도를 도시한다.
도 4는 본 개시내용의 일부 실시예들에 따라, 비디오를 인코딩 또는 디코딩하기 위한 예시적인 장치의 블록도를 도시한다.
도 5a는 본 개시내용의 일부 실시예들에 따라, 재구성된 정방형 투영들을 생성하기 위한 예시적인 블렌딩 동작의 개략도를 도시한다.
도 5b는 본 개시내용의 일부 실시예들에 따라, 재구성된 정방형 투영들을 생성하기 위한 예시적인 크로핑 동작의 개략도를 도시한다.
도 6a는 본 개시내용의 일부 실시예들에 따라, 정방형 투영들에 대한 예시적인 수평 랩-어라운드 모션 보상 프로세스의 개략도를 도시한다.
도 6b는 본 개시내용의 일부 실시예들에 따라, 패딩된 정방형 투영들에 대한 예시적인 수평 랩-어라운드 모션 보상 프로세스의 개략도를 도시한다.
도 7은 본 개시내용의 일부 실시예들에 따른 예시적인 고레벨 랩-어라운드 오프셋의 신택스를 도시한다.
도 8은 본 개시내용의 일부 실시예들에 따른 예시적인 고레벨 랩-어라운드 오프셋의 시맨틱들을 도시한다.
도 9는 본 개시내용의 일부 실시예들에 따라, 화상의 예시적인 슬라이스 및 서브화상 파티셔닝의 개략도를 도시한다.
도 10은 본 개시내용의 일부 실시예들에 따라, 상이한 슬라이스들 및 서브화상들을 갖는 화상의 예시적인 슬라이스 및 서브화상 파티셔닝의 개략도를 도시한다.
도 11은 본 개시내용의 일부 실시예들에 따라, 타일 매핑 및 슬라이스 레이아웃들을 위한 예시적인 화상 파라미터 세트의 신택스를 도시한다.
도 12는 본 개시내용의 일부 실시예들에 따라, 타일 매핑 및 슬라이스 레이아웃들을 위한 예시적인 화상 파라미터 세트의 시맨틱들을 도시한다.
도 13은 본 개시내용의 일부 실시예들에 따른 예시적인 슬라이스 헤더의 신택스를 도시한다.
도 14는 본 개시내용의 일부 실시예들에 따른 예시적인 슬라이스 헤더의 시맨틱들을 도시한다.
도 15는 본 개시내용의 일부 실시예들에 따른 예시적인 개선된 화상 파라미터 세트의 신택스를 도시한다.
도 16은 본 개시내용의 일부 실시예들에 따른 예시적인 개선된 화상 파라미터 세트의 시맨틱들을 도시한다.
도 17은 본 개시내용의 일부 실시예들에 따라, 변수 wraparound_offset_type을 갖는 예시적인 화상 파라미터 세트의 신택스를 도시한다.
도 18은 본 개시내용의 일부 실시예들에 따라, 변수 wraparound_offset_type을 갖는 예시적인 개선된 화상 파라미터 세트의 시맨틱들을 도시한다.
도 19는 본 개시내용의 일부 실시예들에 따라, 변수 num_slices_in_pic_minus2를 갖는 예시적인 화상 파라미터 세트의 신택스를 도시한다.
도 20은 본 개시내용의 일부 실시예들에 따라, 변수 num_slices_in_pic_minus2를 갖는 예시적인 개선된 화상 파라미터 세트의 시맨틱들을 도시한다.
도 21은 본 개시내용의 일부 실시예들에 따라, 변수 num_slices_in_pic_minus_subpic_num_minus1를 갖는 예시적인 화상 파라미터 세트의 신택스를 도시한다.
도 22는 본 개시내용의 일부 실시예들에 따라, 변수 num_slices_in_pic_minus_subpic_num_minus1을 갖는 예시적인 개선된 화상 파라미터 세트의 시맨틱들을 도시한다.
도 23은 본 개시내용의 일부 실시예들에 따른 예시적인 업데이트된 슬라이스 헤더의 신택스를 도시한다.
도 24는 본 개시내용의 일부 실시예들에 따라, 비디오 프레임의 폭과 수평 랩-어라운드 포지션을 컴퓨팅하는데 사용되는 오프셋 사이의 차이를 시그널링하는 변수를 갖는 예시적인 비디오 코딩 방법의 흐름도를 도시한다.
도 25는 본 개시내용의 일부 실시예들에 따라, 비디오 프레임 내 슬라이스의 수에서 2를 뺀 것을 시그널링하는 변수를 갖는 예시적인 비디오 코딩 방법의 흐름도를 도시한다.
도 26은 본 개시내용의 일부 실시예들에 따라, 비디오 프레임 내 슬라이스들의 수에서 비디오 프레임 내 서브화상의 수를 빼고 1을 뺀 것을 표시하는 변수를 시그널링하는 변수를 갖는 예시적인 비디오 코딩 방법의 흐름도를 도시한다.
도 27은 본 개시내용의 일부 실시예들에 따라, 화상 헤더 신택스 구조가 비디오 프레임의 슬라이스 헤더 내에 존재하는지를 표시하는 변수를 갖는 예시적인 비디오 코딩 방법의 흐름도를 도시한다.
도 1은 본 개시내용의 일부 실시예들에 따른 예시적인 비디오 시퀀스의 구조들을 도시한다.
도 2a는 본 개시내용의 일부 실시예들에 따른 예시적인 인코딩 프로세스의 개략도를 도시한다.
도 2b는 본 개시내용의 일부 실시예들에 따른 다른 예시적인 인코딩 프로세스의 개략도를 도시한다.
도 3a는 본 개시내용의 일부 실시예들에 따른 예시적인 디코딩 프로세스의 개략도를 도시한다.
도 3b는 본 개시내용의 일부 실시예들에 따른 다른 예시적인 디코딩 프로세스의 개략도를 도시한다.
도 4는 본 개시내용의 일부 실시예들에 따라, 비디오를 인코딩 또는 디코딩하기 위한 예시적인 장치의 블록도를 도시한다.
도 5a는 본 개시내용의 일부 실시예들에 따라, 재구성된 정방형 투영들을 생성하기 위한 예시적인 블렌딩 동작의 개략도를 도시한다.
도 5b는 본 개시내용의 일부 실시예들에 따라, 재구성된 정방형 투영들을 생성하기 위한 예시적인 크로핑 동작의 개략도를 도시한다.
도 6a는 본 개시내용의 일부 실시예들에 따라, 정방형 투영들에 대한 예시적인 수평 랩-어라운드 모션 보상 프로세스의 개략도를 도시한다.
도 6b는 본 개시내용의 일부 실시예들에 따라, 패딩된 정방형 투영들에 대한 예시적인 수평 랩-어라운드 모션 보상 프로세스의 개략도를 도시한다.
도 7은 본 개시내용의 일부 실시예들에 따른 예시적인 고레벨 랩-어라운드 오프셋의 신택스를 도시한다.
도 8은 본 개시내용의 일부 실시예들에 따른 예시적인 고레벨 랩-어라운드 오프셋의 시맨틱들을 도시한다.
도 9는 본 개시내용의 일부 실시예들에 따라, 화상의 예시적인 슬라이스 및 서브화상 파티셔닝의 개략도를 도시한다.
도 10은 본 개시내용의 일부 실시예들에 따라, 상이한 슬라이스들 및 서브화상들을 갖는 화상의 예시적인 슬라이스 및 서브화상 파티셔닝의 개략도를 도시한다.
도 11은 본 개시내용의 일부 실시예들에 따라, 타일 매핑 및 슬라이스 레이아웃들을 위한 예시적인 화상 파라미터 세트의 신택스를 도시한다.
도 12는 본 개시내용의 일부 실시예들에 따라, 타일 매핑 및 슬라이스 레이아웃들을 위한 예시적인 화상 파라미터 세트의 시맨틱들을 도시한다.
도 13은 본 개시내용의 일부 실시예들에 따른 예시적인 슬라이스 헤더의 신택스를 도시한다.
도 14는 본 개시내용의 일부 실시예들에 따른 예시적인 슬라이스 헤더의 시맨틱들을 도시한다.
도 15는 본 개시내용의 일부 실시예들에 따른 예시적인 개선된 화상 파라미터 세트의 신택스를 도시한다.
도 16은 본 개시내용의 일부 실시예들에 따른 예시적인 개선된 화상 파라미터 세트의 시맨틱들을 도시한다.
도 17은 본 개시내용의 일부 실시예들에 따라, 변수 wraparound_offset_type을 갖는 예시적인 화상 파라미터 세트의 신택스를 도시한다.
도 18은 본 개시내용의 일부 실시예들에 따라, 변수 wraparound_offset_type을 갖는 예시적인 개선된 화상 파라미터 세트의 시맨틱들을 도시한다.
도 19는 본 개시내용의 일부 실시예들에 따라, 변수 num_slices_in_pic_minus2를 갖는 예시적인 화상 파라미터 세트의 신택스를 도시한다.
도 20은 본 개시내용의 일부 실시예들에 따라, 변수 num_slices_in_pic_minus2를 갖는 예시적인 개선된 화상 파라미터 세트의 시맨틱들을 도시한다.
도 21은 본 개시내용의 일부 실시예들에 따라, 변수 num_slices_in_pic_minus_subpic_num_minus1를 갖는 예시적인 화상 파라미터 세트의 신택스를 도시한다.
도 22는 본 개시내용의 일부 실시예들에 따라, 변수 num_slices_in_pic_minus_subpic_num_minus1을 갖는 예시적인 개선된 화상 파라미터 세트의 시맨틱들을 도시한다.
도 23은 본 개시내용의 일부 실시예들에 따른 예시적인 업데이트된 슬라이스 헤더의 신택스를 도시한다.
도 24는 본 개시내용의 일부 실시예들에 따라, 비디오 프레임의 폭과 수평 랩-어라운드 포지션을 컴퓨팅하는데 사용되는 오프셋 사이의 차이를 시그널링하는 변수를 갖는 예시적인 비디오 코딩 방법의 흐름도를 도시한다.
도 25는 본 개시내용의 일부 실시예들에 따라, 비디오 프레임 내 슬라이스의 수에서 2를 뺀 것을 시그널링하는 변수를 갖는 예시적인 비디오 코딩 방법의 흐름도를 도시한다.
도 26은 본 개시내용의 일부 실시예들에 따라, 비디오 프레임 내 슬라이스들의 수에서 비디오 프레임 내 서브화상의 수를 빼고 1을 뺀 것을 표시하는 변수를 시그널링하는 변수를 갖는 예시적인 비디오 코딩 방법의 흐름도를 도시한다.
도 27은 본 개시내용의 일부 실시예들에 따라, 화상 헤더 신택스 구조가 비디오 프레임의 슬라이스 헤더 내에 존재하는지를 표시하는 변수를 갖는 예시적인 비디오 코딩 방법의 흐름도를 도시한다.
이제 예시적인 실시예들이 상세히 참조될 것이며, 그의 예들은 첨부 도면들에 예시된다. 하기 설명은 달리 표현되지 않는 한 상이한 도면들에서 동일한 번호들은 동일하거나 유사한 요소들을 나타내는 첨부 도면들을 참조한다. 예시적인 실시예들의 하기 설명에서 기술된 구현들은 본 발명과 일치하는 모든 구현들을 표현하는 것은 아니다. 대신, 이들은 단지 첨부된 청구항들에서 인용되는 바와 같은 본 발명과 관련된 양상들에 일치하는 장치들 및 방법들의 예들일 뿐이다. 본 개시내용의 특정 양상들은 아래에서 더 상세히 설명된다. 참조로 포함된 용어들 및/또는 정의들과 상충하는 경우, 본원에 제공된 용어들 및 정의들에 따른다.
ITU-T 비디오 코딩 전문가 그룹(ITU-T VCEG)과 ISO/IEC 동화상 전문가 그룹(ISO/IEC MPEG)의 공동 비디오 전문가들 팀(JVET)은 현재 다용도 비디오 코딩(Versatile Video Coding; VVC/H.266) 표준을 개발하고 있다. VVC 표준은 그의 선행 표준인 고효율 비디오 코딩(HEVC/H.265) 표준의 압축 효율을 배가(doubling)시키는 것을 목표로 한다. 즉, VVC의 목표는 절반의 대역폭을 사용하여 HEVC/H.265와 동일한 주관적 품질을 달성하는 것이다.
절반의 대역폭을 사용하여 HEVC/H.265와 동일한 주관적 품질을 달성하기 위해, 공동 비디오 전문가들 팀("JVET")은 공동 탐구 모델(Joint Explosion Model; "JEM") 참조 소프트웨어를 사용하여 HEVC를 뛰어넘은 기술들을 개발하고 있다. 코딩 기술들이 JEM에 통합됨에 따라, JEM은 HEVC보다 실질적으로 더 높은 코딩 성능을 달성했다 또한, VCEG 및 MPEG는 HEVC을 뛰어넘는 차세대 비디오 압축 표준의 개발을 공식적으로 시작했다.
VVC 표준은 최근에 개발되었으며 더 나은 압축 성능을 제공하는 더 많은 코딩 기술들을 계속 포함하고 있다. VVC는 HEVC, H.264/AVC, MPEG2, H.263 등과 같은 최신 비디오 압축 표준들에 사용된 것과 동일한 하이브리드 비디오 코딩 시스템에 기초한다.
비디오는 시각적 정보를 저장하기 위해 시간적 시퀀스로 배열된 정적 화상들(또는 프레임들)의 세트이다. 비디오 캡처 디바이스(예컨대, 카메라)가 시간적 시퀀스로 이러한 화상들을 캡처하고 저장하기 위해 사용될 수 있으며, 비디오 재생 디바이스(예컨대, 텔레비전, 컴퓨터, 스마트폰, 태블릿 컴퓨터, 비디오 플레이어 또는 디스플레이 기능이 갖는 임의의 최종-사용자 단말)가 이러한 화상들을 시간적 시퀀스로 디스플레이하는데 사용될 수 있다. 또한, 일부 애플리케이션들에서, 비디오 캡처 디바이스는 감시, 회의 또는 라이브 방송과 같이, 캡처된 비디오를 실시간으로 비디오 재생 디바이스(예컨대, 모니터가 있는 컴퓨터)로 송신할 수 있다.
이러한 애플리케이션들에 필요한 저장 공간 및 송신 대역폭을 감소시키기 위해, 비디오는 압축될 수 있다. 예컨대, 비디오는 저장 및 송신 전에 압축되고 디스플레이 전에 압축 해제될 수 있다. 압축 및 압축해제는 프로세서(예컨대, 일반 컴퓨터의 프로세서) 또는 특수 하드웨어에 의해 실행되는 소프트웨어에 의해 구현될 수 있다. 압축을 위한 모듈 또는 회로는 일반적으로 "인코더"로서 지칭되고, 압축해제를 위한 모듈 또는 회로는 일반적으로 "디코더"로서 지칭된다. 인코더 및 디코더는 집합적으로 "코덱"으로서 지칭될 수 있다. 인코더 및 디코더는 다양한 적합한 하드웨어, 소프트웨어 또는 이들의 조합 중 임의의 것으로서 구현될 수 있다. 예컨대, 인코더 및 디코더의 하드웨어 구현은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들("DSP들"), 주문형 집적 회로들("ASIC들"), 필드-프로그래밍 가능 게이트 어레이들("FPGA들"), 이산 로직, 또는 이들의 임의의 조합과 같은 회로를 포함할 수 있다. 인코더 및 디코더의 소프트웨어 구현은 프로그램 코드들, 컴퓨터 실행-가능 명령들, 펌웨어, 또는 컴퓨터-판독 가능 매체에 고정된 임의의 적합한 컴퓨터-구현 알고리즘 또는 프로세스를 포함할 수 있다. 비디오 압축 및 압축해제는 MPEG-1, MPEG-2, MPEG-4, H.26x 시리즈들 등과 같은 다양한 알고리즘들 또는 표준들에 의해 구현될 수 있다. 일부 애플리케이션들에서, 코덱은 제1 코딩 표준으로부터의 비디오를 압축해제하고 제2 코딩 표준을 사용하여 압축해제된 비디오를 재-압축할 수 있으며, 이 경우 코덱은 "트랜스코더"로서 지칭될 수 있다.
비디오 인코딩 프로세스는 화상을 재구성하는 데 사용될 수 있는 유용한 정보를 식별 및 유지할 수 있다. 비디오 인코딩 프로세스에서 묵살된 정보를 완전히 복원할 수 없는 경우, 인코딩 프로세스를 "손실성(lossy)"으로서 지칭될 수 있다. 그렇지 않으면, 이는 "무손실성(lossless)"으로서 지칭될 수 있다. 대부분의 인코딩 프로세스들은 손실성이며, 이는 필요한 저장 공간 및 송신 대역폭을 감소시키기 위한 절충안(tradeoff)이다.
다수의 경우들에서, 인코딩되는 화상("현재 화상"으로서 지칭됨)의 유용한 정보는 참조 화상(예컨대, 이전에 인코딩 및 재구성된 화상)에 대한 변경들을 포함할 수 있다. 이러한 변경들은 포지션 변경들, 광도 변경들 또는 픽셀들의 컬러 변경들을 포함할 수 있다. 오브젝트를 표현하는 픽셀들의 그룹의 포지션 변경들은 참조 화상과 현재 화상 사이의 오브젝트의 모션을 반영할 수 있다.
다른 화상을 참조 없이 코딩된 화상(즉, 이는 자체 참조 화상임)은 "I-화상"으로서 지칭된다. 화상 내 일부 또는 모든 블록들(예컨대, 일반적으로 비디오 화상의 부분들을 참조하는 블록들)이 하나의 참조 화상으로 인트라 예측 또는 인터 예측을 이용하여 예측되는 경우(예컨대, 단방향-예측(uni-prediction)), 화상은 "P-화상(P-picture)"으로서 지칭된다. 화상 내 적어도 하나의 블록이 2개의 참조 화상들로 예측되는 경우(예컨대, 양방향-예측(bi-prediction)), 화상은 "B-화상(B-picture)"으로서 지칭된다.
도 1은 본 개시내용의 일부 실시예들에 따른 예시적인 비디오 시퀀스의 구조들을 도시한다. 도 1에 도시된 바와 같이, 비디오 시퀀스(100)는 라이브 비디오 또는 캡처 및 보관된 비디오일 수 있다. 비디오(100)는 실-생활 비디오, 컴퓨터-생성 비디오(예컨대, 컴퓨터 게임 비디오), 또는 이들의 조합(예컨대, 증강-현실 효과들을 갖는 실-생활 비디오)일 수 있다. 비디오 시퀀스(100)는 비디오 캡처 디바이스(예컨대, 카메라), 이전에 캡처된 비디오를 포함하는 비디오 아카이브(예컨대, 저장 디바이스에 저장된 비디오 파일), 또는 비디오 콘텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스(예컨대, 비디오 브로드캐스트 트랜시버)로부터 입력될 수 있다.
도 1에 도시된 바와 같이, 비디오 시퀀스(100)는, 화상들(102, 104, 106, 108)을 포함하여, 타임라인을 따라 시간적으로 배열된 일련의 화상들을 포함할 수 있다. 화상들(102-106)은 연속적이며, 화상들(106 및 108) 사이에 더 많은 화상들이 있다. 도 1에서, 화상(102)은, 그 참조 화상이 화상(102) 자체인 I-화상이다. 화상(104)은 그 참조 화상이 화살표에 의해 표시된 바와 같이 화상(102)인 P-화상이다. 화상(106)은 그 참조 화상들이 화살표들에 의해 표시된 바와 같이 화상들(104 및 108)인 B-화상이다. 일부 실시예들에서, 화상(예컨대, 화상 104)의 참조 화상은 화상 바로 앞이나 뒤에 있지 않을 수 있다. 예컨대, 화상(104)의 참조 화상은 화상(102) 앞의 화상일 수 있다. 화상들(102-106)의 참조 화상들은 단지 예들일 뿐이고, 본 개시내용은 도 1에 도시된 예시들로 참조 화상들의 실시예들을 제한하지 않는다는 것이 주의되어야 한다.
통상적으로, 비디오 코덱들은 이러한 작업들의 계산 복잡성으로 인해 한 번에 전체 화상을 인코딩 또는 디코딩하지 않는다. 오히려, 이들은 화상을 기본 세그먼트들로 분할하고, 세그먼트별로 화상을 인코딩 또는 디코딩할 수 있다. 이러한 기본 세그먼트들은 본 개시내용에서 기본 프로세싱 유닛들(basic processing unit; "BPU들")로서 지칭된다. 예컨대, 도 1의 구조(110)는 비디오 시퀀스(100)의 화상(예컨대, 화상들(102-108) 중 임의의 것)의 예시적인 구조를 도시한다. 구조(110)에서, 화상은 4×4 기본 프로세싱 유닛들로 분할되고, 그 경계들은 파선들로서 도시된다. 일부 실시예들에서, 기본 프로세싱 유닛들은 일부 비디오 코딩 표준들(예컨대, MPEG 패밀리, H.261, H.263, 또는 H.264/AVC)에서 "매크로블록들"로서, 또는 일부 다른 비디오 코딩 표준들(예컨대, H.265/HEVC 또는 H.266/VVC)에서 "코딩 트리 유닛들 "(coding tree units; "CTU들")로서 지칭될 수 있다. 기본 프로세싱 유닛들은 화상에서 가변 크기들 이를테면, 128×128, 64×64, 32×32, 16×16, 4×8, 16×32와 또는 임의의 자의적 형상 및 픽셀 크기들을 가질 수 있다. 기본 프로세싱 유닛들의 크기들 및 형상들은 세부사항의 레벨들 및 코딩 효율의 균형에 기초한 화상이 기본 프로세싱 유닛에서 유지되도록 선택될 수 있다.
기본 프로세싱 유닛들은 컴퓨터 메모리에(예컨대, 비디오 프레임 버퍼에) 저장된 상이한 유형들의 비디오 데이터의 그룹을 포함할 수 있는 로직 유닛들일 수 있다. 예컨대, 컬러 화상의 기본 프로세싱 유닛은 무채색 밝기 정보를 표현하는 루마 성분(Y), 컬러 정보를 표현하는 하나 이상의 크로마 성분들(예컨대, Cb 및 Cr) 및 연관된 신택스 요소들을 포함할 수 있으며, 여기에서 루마 및 크로마 성분들은 기본 프로세싱 유닛과 동일한 크기를 가질 수 있다. 루마 및 크로마 성분들은 일부 비디오 코딩 표준들(예컨대, H.265/HEVC 또는 H.266/VVC)에서 "코딩 트리 블록들(CTB들)"로서 지칭될 수 있다. 기본 프로세싱 유닛에 대해 수행된 모든 동작은 그의 루마 및 크로마 성분들 각각에 대해 반복적으로 수행될 수 있다.
비디오 코딩은 여러 동작 스테이지들을 가지며, 그의 예들이 도 2a 및 도 2b 및 도 3a 및 도 3b에 도시된다. 각각의 스테이지에 대해, 기본 프로세싱 유닛들의 크기는 여전히 프로세싱하기에 너무 클 수 있고, 이에 따라 본 개시내용에서 "기본 프로세싱 서브-유닛들"로서 지칭되는 세그먼트들로 추가로 분할될 수 있다. 일부 실시예들에서, 기본 프로세싱 서브-유닛들은 일부 비디오 코딩 표준들(예컨대, MPEG 패밀리, H.261, H.263, 또는 H.264/AVC)에서 "블록들"로서, 또는 일부 다른 비디오 코딩 표준들(예컨대, H.265/HEVC 또는 H.266/VVC)에서 "코딩 유닛들 "(coding tree units; "CU들")로서 지칭될 수 있다. 기본 프로세싱 서브-유닛은 기본 프로세싱 유닛과 동일하거나 더 작은 크기를 가질 수 있다. 기본 프로세싱 유닛들과 유사하게, 기본 프로세싱 서브-유닛들은 또한 로직 유닛들이며, 이들은 컴퓨터 메모리(예컨대, 비디오 프레임 버퍼)에 저장된 상이한 유형들의 비디오 데이터(예컨대, Y, Cb, Cr 및 연관된 신택스 요소들)의 그룹을 포함할 수 있다. 기본 프로세싱 서브-유닛에 대해 수행된 모든 동작은 그의 루마 및 크로마 성분들 각각에 대해 반복적으로 수행될 수 있다. 이러한 분할은 프로세싱 요구들에 의존하여 추가 레벨들로 수행될 수 있다는 것이 주의되어야 한다. 또한, 상이한 스테이지들은 상이한 방식들을 사용하여 기본 프로세싱 유닛들을 분할할 수 있다는 것이 주의되어야 한다.
예컨대, 모드 결정 스테이지(그 예가 도 2b에 도시됨)에서, 인코더는 기본 프로세싱 유닛에 대해 어느 예측 모드(예컨대, 화상-내(intra-picture) 예측 또는 화상-간(inter-picture) 예측)를 사용할지를 결정할 수 있으며, 이 기본 프로세싱 유닛은 그러한 결정을 내리기에 너무 클 수 있다. 인코더는 기본 프로세싱 유닛을 여러 기본 프로세싱 서브-유닛들(예컨대, H.265/HEVC 또는 H.266/VVC에서와 같은 CU들)로 분할하고, 개별 기본 프로세싱 서브-유닛 각각에 대한 예측 유형을 결정할 수 있다.
다른 예를 들면, 예측 스테이지(그 예가 도 2a 및 도 2b에 도시됨)에서, 인코더가 기본 프로세싱 서브-유닛들(예컨대, CU들)의 레벨에서 예측 동작을 수행할 수 있다. 그러나, 일부 경우들에서, 기본 프로세싱 서브-유닛은 여전히 프로세싱하기에 너무 클 수 있다. 인코더는 기본 프로세싱 서브-유닛을 더 작은 세그먼트들(예컨대, H.265/HEVC 또는 H.266/VVC에서 "예측 블록들" 또는 "PB들"로서 지칭됨)로 추가로 분할할 수 있으며, 그 레벨에서 예측 동작이 수행될 수 있다.
다른 예를 들면, 변환 스테이지(그 예는 도 2a 및 도 2b에 도시됨)에서, 인코더는 잔차 기본 프로세싱 서브-유닛들(예컨대, CU들)에 대해 변환 동작을 수행할 수 있다. 그러나, 일부 경우들에서, 기본 프로세싱 서브-유닛은 여전히 프로세싱하기에 너무 클 수 있다. 인코더는 기본 프로세싱 서브-유닛을 더 작은 세그먼트들(예컨대, H.265/HEVC 또는 H.266/VVC에서 "변환 블록들" 또는 "TB들"로서 지칭됨)로 추가로 분할할 수 있으며, 그 레벨에서 변환 동작이 수행될 수 있다. 동일한 기본 프로세싱 서브-유닛의 분할 방식들은 예측 스테이지 및 변환 스테이지에서 상이할 수 있다는 것이 주의되어야 한다. 예컨대, H.265/HEVC 또는 H.266/VVC에서, 동일한 CU의 예측 블록들 및 변환 블록들은 상이한 크기들 및 개수들을 가질 수 있다.
도 1의 구조(110)에서, 기본 프로세싱 유닛(112)은 3×3 기본 프로세싱 서브-유닛들로 추가로 분할되며, 그 경계들은 점선들로서 도시된다. 동일한 화상의 상이한 기본 프로세싱 유닛들은 상이한 방식들의 기본 프로세싱 서브-유닛들로 분할될 수 있다.
일부 구현들에서, 비디오 인코딩 및 디코딩에 대한 병렬 프로세싱 및 오류 복원 능력을 제공하기 위해, 화상은 프로세싱을 위한 구역들로 분할될 수 있어서, 화상의 구역에 대해, 인코딩 또는 디코딩 프로세스가 화상의 임의의 다른 구역으로부터의 정보에 의존하지 않을 수 있다. 즉, 화상의 각각의 구역은 독립적으로 프로세싱될 수 있다. 이렇게 함으로써, 코덱은 화상의 상이한 구역들을 병렬로 프로세싱하고, 이에 따라 코딩 효율성을 증가시킬 수 있다. 또한, 프로세싱 시에 구역의 데이터가 손상되거나 네트워크 송신 시에 손실될 때, 코덱은 손상되거나 손실된 데이터를 복원하지 않고 동일한 화상의 다른 구역을 올바르게 인코딩 또는 디코딩할 수 있고, 이에 따라 오류 복원 능력을 제공한다. 일부 비디오 코딩 표준들에서, 화상은 상이한 유형들의 구역들로 분할될 수 있다. 예컨대, H.265/HEVC 및 H.266/VVC는 두 가지 유형들의 구역들: "슬라이스들" 및 "타일들"을 제공한다. 비디오 시퀀스(100)의 상이한 화상들은 화상을 구역들로 분할하기 위한 상이한 파티셔닝 방식들을 가질 수 있다는 것이 또한 주의되어야 한다.
예컨대, 도 1에서, 구조(110)는 3개의 구역들(114, 116 및 118)로 분할되고, 그 경계들은 구조(110) 내부에 실선들로서 도시된다. 구역(114)은 4개의 기본 프로세싱 유닛들을 포함한다. 구역들(116 및 118) 각각은 6개의 기본 프로세싱 유닛들을 포함한다. 도 1의 구조(110)의 기본 프로세싱 유닛들, 기본 프로세싱 서브-유닛들 및 구역들은 단지 예들일 뿐이며, 본 개시내용이 그의 실시예들을 제한하지 않는다는 것이 주의되어야 한다.
도 2a는 본 개시내용의 일부 실시예들에 따른 예시적인 인코딩 프로세스의 개략도를 도시한다. 예컨대, 도 2a에 도시된 인코딩 프로세스(200A)는 인코더에 의해 수행될 수 있다. 도 2a에 도시된 바와 같이, 인코더는 프로세스(200A)에 따라 비디오 시퀀스(202)를 비디오 비트스트림(228)으로 인코딩할 수 있다. 도 1의 비디오 시퀀스(100)와 유사하게, 비디오 시퀀스(202)는 시간적 순서로 배열된 화상들의 세트("오리지널 화상들"로서 지칭됨)를 포함할 수 있다. 도 1의 구조(110)와 유사하게, 비디오 시퀀스(202)의 각각의 오리지널 화상은 인코더에 의해, 기본 프로세싱 유닛들, 기본 프로세싱 서브-유닛들, 또는 프로세싱을 위한 구역들로 분할될 수 있다. 일부 실시예들에서, 인코더는 비디오 시퀀스(202)의 각각의 오리지널 화상에 대한 기본 프로세싱 유닛들의 레벨에서 프로세스(200A)를 수행할 수 있다. 예컨대, 인코더는 프로세스(200A)를 반복적인 방식으로 수행할 수 있고, 여기서 인코더는 프로세스(200A)의 한 번의 반복에서 기본 프로세싱 유닛을 인코딩할 수 있다. 일부 실시예들에서, 인코더는 비디오 시퀀스(202)의 각각의 오리지널 화상의 구역들(예컨대, 구역들(114 내지 118))에 대해 병렬로 프로세스(200A)를 수행할 수 있다.
도 2a에서, 인코더는 비디오 시퀀스(202)의 오리지널 화상의 기본 프로세싱 유닛("오리지널 BPU"로서 지칭됨)을 예측 스테이지(204)로 공급하여 예측 데이터(206) 및 예측된 BPU(208)를 생성할 수 있다. 인코더는 오리지널 BPU로부터 예측된 BPU(208)를 감산하여 잔차 BPU(210)를 생성할 수 있다. 인코더는 잔차 BPU(210)를 변환 스테이지(212) 및 양자화 스테이지(214)로 공급하여 양자화된 변환 계수들(216)을 생성할 수 있다. 인코더는 예측 데이터(206) 및 양자화된 변환 계수들(216)을 이진 코딩 스테이지(226)로 공급하여 비디오 비트스트림(228)을 생성할 수 있다. 성분들(202, 204, 206, 208, 210, 212, 214, 216, 226 및 228)은 "순방향 경로"로서 지칭될 수 있다. 프로세스(200A) 동안, 양자화 스테이지(214) 이후에, 인코더는 양자화된 변환 계수들(216)을 역양자화 스테이지(218) 및 역변환 스테이지(220)로 공급하여 재구성된 잔차 BPU(222)를 생성할 수 있다. 인코더는 재구성된 잔차 BPU(222)를 예측된 BPU(208)에 추가하여 예측 참조(224)를 생성할 수 있으며, 이는 프로세스(200A)의 다음 반복을 위해 예측 스테이지(204)에서 사용된다. 프로세스(200A)의 성분들(218, 220, 222 및 224)은 "재구성 경로"로서 지칭될 수 있다. 재구성 경로는 인코더 및 디코더 둘 모두가 예측을 위해 동일한 참조 데이터를 사용하도록 보장하는 데 사용될 수 있다.
인코더는 (순방향 경로에서) 오리지널 화상의 각각의 오리지널 BPU를 인코딩하고 (재구성 경로에서) 오리지널 화상의 다음 오리지널 BPU를 인코딩하기 위한 예측된 참조(224)를 생성하기 위해 프로세스(200A)를 반복적으로 수행할 수 있다. 오리지널 화상의 모든 오리지널 BPU들을 인코딩한 후, 인코더는 비디오 시퀀스(202) 내 다음 화상을 인코딩하는 것으로 진행할 수 있다.
프로세스(200A)를 참조하면, 인코더는 비디오 캡처 디바이스(예컨대, 카메라)에 의해 생성된 비디오 시퀀스(202)를 수신할 수 있다. 본원에서 사용되는 "수신"이란 용어는 수신, 입력, 취득, 리트리브(retrieve), 획득, 판독, 액세스 또는 데이터를 입력하기 위한 임의의 방식의 임의의 액션을 지칭할 수 있다.
예측 스테이지(204)에서, 현재 반복에서 인코더는 오리지널 BPU 및 예측 참조(224)를 수신하고 예측 동작을 수행하여 예측 데이터(206) 및 예측된 BPU(208)를 생성할 수 있다. 예측 참조(224)는 프로세스(200A)의 이전 반복의 재구성 경로로부터 생성될 수 있다. 예측 스테이지(204)의 목적은, 예측 참조(224) 및 예측 데이터(206)로부터의 예측된 BPU(208)로서 오리지널 BPU를 재구성하는데 사용될 수 있는 예측 데이터(206)를 추출함으로써 정보 중복성을 감소시키는 것이다.
이상적으로, 예측된 BPU(208)는 오리지널 BPU와 동일할 수 있다. 그러나, 비-이상적 예측 및 재구성 동작들로 인해, 예측된 BPU(208)는 일반적으로 오리지널 BPU와 약간 상이하다. 그러한 차이들을 레코딩하기 위해, 예측된 BPU(208)를 생성한 후, 인코더는 오리지널 BPU로부터 이 차이를 감산하여 잔차 BPU(210)를 생성할 수 있다. 예컨대, 인코더는 예측된 BPU(208)의 픽셀들의 값들(예컨대, 회색조 값들 또는 RGB 값들)을 오리지널 BPU의 대응하는 픽셀들의 값들로부터 감산할 수 있다. 잔차 BPU(210)의 각각의 픽셀은 예측된 BPU(208)와 오리지널 BPU의 대응하는 픽셀들 사이의 이러한 감산의 결과로서 잔차 값을 가질 수 있다. 오리지널 BPU와 비교하여, 예측 데이터(206) 및 잔차 BPU(210)는 더 적은 비트들을 가질 수 있지만, 현저한 품질 악화 없이 오리지널 BPU를 재구성하는 데 사용될 수 있다. 따라서, 오리지널 BPU가 압축된다.
잔차 BPU(210)를 추가로 압축하기 위해, 변환 스테이지(212)에서, 인코더는 잔차 BPU(210)를 2-차원 "기본 패턴들"의 세트로 분해함으로써 그의 공간적 중복성을 감소시킬 수 있으며, 각각의 기본 패턴은 "변환 계수"와 연관된다. 기본 패턴들은 동일한 크기(예컨대, 잔차 BPU(210)의 크기)를 가질 수 있다. 각각의 기본 패턴은 잔차 BPU(210)의 변동 주파수(예컨대, 밝기 변동 주파수) 성분을 표현할 수 있다. 기본 패턴들 중 어느 것도 임의의 다른 기본 패턴들의 임의의 조합들(예컨대, 선형 조합들)로부터 재생될 수 없다. 즉, 분해는 잔차 BPU(210)의 변동들을 주파수 도메인으로 분해할 수 있다. 이러한 분해는 함수의 이산 푸리에 변환과 유사하며, 여기서 기본 패턴이 이산 푸리에 변환의 기본 함수들(예컨대, 삼각 함수들)과 유사하고, 변환 계수들은 기본 함수들과 연관된 계수들과 유사하다.
상이한 변환 알고리즘들은 상이한 기본 패턴들을 사용할 수 있다. 예컨대, 이산 코사인 변환, 이산 사인 변환 등과 같은 다양한 변환 알고리즘들이 변환 스테이지(212)에서 사용될 수 있다. 변환 스테이지(212)에서의 변환은 가역적이다. 즉, 인코더는 변환의 역동작("역변환"으로서 지칭됨)에 의해 잔차 BPU(210)를 복구할 수 있다. 예컨대, 잔차 BPU(210)의 픽셀을 복구하기 위해, 역변환은 기본 패턴들의 대응하는 픽셀들의 값들을 개개의 연관된 계수들로 곱하고 그 결과들을 더하여 가중합을 생성하는 것일 수 있다. 비디오 코딩 표준의 경우, 인코더 및 디코더 둘 모두는 동일한 변환 알고리즘(따라서 동일한 기본 패턴들)을 사용할 수 있다. 따라서, 인코더는, 인코더로부터 기본 패턴들을 수신하지 않고 디코더가 잔차 BPU(210)를 재구성할 수 있는, 변환 계수들만을 레코딩할 수 있다. 잔차 BPU(210)와 비교하여, 변환 계수들은 더 적은 비트들을 가질 수 있지만, 현저한 품질 악화 없이 잔차 BPU(210)를 재구성하는 데 사용될 수 있다. 따라서, 잔차 BPU(210)는 추가로 압축된다.
인코더는 양자화 스테이지(214)에서 변환 계수들을 추가로 압축할 수 있다. 변환 프로세스에서, 상이한 기본 패턴들은 상이한 변동 주파수들(예컨대, 밝기 변동 주파수들)을 표현할 수 있다. 인간의 눈들은 보통 저-주파수 변동을 더 잘 인식하기 때문에, 인코더는 디코딩 시에 현저한 품질 악화를 야기함 없이 고-주파수 변동에 관한 정보를 묵살할 수 있다. 예컨대, 양자화 스테이지(214)에서, 인코더는 각각의 변환 계수를 정수 값("양자화 스케일 파라미터"로서 지칭됨)으로 나누고 몫을 가장 가까운 정수로 반올림함으로써 양자화된 변환 계수들(216)을 생성할 수 있다. 이러한 동작 후에, 고-주파수 기본 패턴들의 일부 변환 계수들은 0으로 컨버팅될 수 있고, 저-주파수 기본 패턴들의 변환 계수들은 더 작은 정수들로 컨버팅될 수 있다. 인코더는 0-값 양자화된 변환 계수들(216) ― 이에 의해 변환 계수들이 추가로 압축됨 ― 을 묵살할 수 있다. 양자화 프로세스는 또한 가역적이며, 여기서 양자화된 변환 계수들(216)은 양자화의 역동작("역양자화"로서 지칭됨)에서 변환 계수들로 재구성될 수 있다.
인코더가 반올림 동작에서 이러한 나눗셈들의 나머지들을 묵살하기 때문에, 양자화 스테이지(214)는 손실성일 수 있다. 통상적으로, 양자화 스테이지(214)는 프로세스(200A)에서 가장 많은 정보 손실에 기여할 수 있다. 정보 손실이 클수록, 양자화된 변환 계수들(216)이 필요로 할 수 있는 비트들이 더 적다. 정보 손실의 상이한 레벨들을 획득하기 위해, 인코더는 양자화 스케일 팩터의 상이한 값들 또는 양자화 프로세스의 임의의 다른 파라미터를 사용할 수 있다.
이진 코딩 스테이지(226)에서, 인코더는 예컨대, 엔트로피 코딩, 가변 길이 코딩, 산술 코딩, 호프만(Huffman) 코딩, 맥락-적응 이진 산술 코딩, 또는 임의의 다른 무손실성 또는 손실성 압축 알고리즘과 같은 이진 코딩 기술을 사용하여 예측 데이터(206) 및 양자화된 변환 계수들(216)을 인코딩할 수 있다. 일부 실시예들에서, 예측 데이터(206) 및 양자화된 변환 계수들(216) 외에도, 인코더는 예컨대, 예측 스테이지(204)에서 사용되는 예측 모드, 예측 동작의 파라미터, 변환 스테이지(212)에서의 변환 유형, 양자화 프로세스의 파라미터들(예컨대, 양자화 스케일 팩터), 인코더 제어 파라미터(예컨대, 비트레이트 제어 파라미터) 등과 같은 다른 정보를 이진 코딩 스테이지(226)에서 인코딩할 수 있다. 인코더는 이진 코딩 스테이지(226)의 출력 데이터를 사용하여 비디오 비트스트림(228)을 생성할 수 있다. 일부 실시예들에서, 비디오 비트스트림(228)은 추가로 네트워크 송신을 위해 패킷화될 수 있다.
프로세스(200A)의 재구성 경로를 참조하면, 역양자화 스테이지(218)에서, 인코더는 양자화된 변환 계수들(216)에 대해 역양자화를 수행하여 재구성된 변환 계수들을 생성할 수 있다. 역변환 스테이지(220)에서, 인코더는 재구성된 변환 계수들에 기초하여 재구성된 잔차 BPU(222)를 생성할 수 있다. 인코더는 재구성된 잔차 BPU(222)를 예측된 BPU(208)에 추가하여 프로세스(200A)의 다음 반복에서 사용될 예측 참조(224)를 생성할 수 있다.
프로세스(200A)의 다른 변동들이 비디오 시퀀스(202)를 인코딩하는 데 사용될 수 있다는 것이 주의되어야 한다. 일부 실시예들에서, 프로세스(200A)의 스테이지들은 인코더에 의해 상이한 순서들로 수행될 수 있다. 일부 실시예들에서, 프로세스(200A)의 하나 이상의 스테이지들은 단일 스테이지로 결합될 수 있다. 일부 실시예들에서, 프로세스(200A)의 단일 스테이지는 다수의 스테이지들로 분할될 수 있다. 예컨대, 변환 스테이지(212) 및 양자화 스테이지(214)는 단일 스테이지로 결합될 수 있다. 일부 실시예들에서, 프로세스(200A)는 부가적인 스테이지들을 포함할 수 있다. 일부 실시예들에서, 프로세스(200A)는 도 2a의 하나 이상의 스테이지들을 생략할 수 있다.
도 2b는 본 개시내용의 일부 실시예들에 따른 다른 예시적인 인코딩 프로세스의 개략도를 도시한다. 도 2b에 도시된 바와 같이, 프로세스(200B)는 프로세스(200A)로부터 수정될 수 있다. 예컨대, 프로세스(200B)는 하이브리드 비디오 코딩 표준(예컨대, H.26x 시리즈들)에 부합하는 인코더에 의해 사용될 수 있다. 프로세스(200A)와 비교하여, 프로세스(200B)의 순방향 경로는 부가적으로 모드 결정 스테이지(230)를 포함하고 예측 스테이지(204)를 공간적 예측 스테이지(2042) 및 시간적 예측 스테이지(2044)로 분할한다. 프로세스(200B)의 재구성 경로는 부가적으로 루프 필터 스테이지(232) 및 버퍼(234)를 포함한다.
일반적으로, 예측 기술들은 두 가지 유형들: 공간적 예측과 시간적 예측으로 카테고리화될 수 있다. 공간적 예측(예컨대, 화상-내 예측 또는 "인트라 예측(intra prediction)")은 현재 BPU를 예측하기 위해 동일한 화상 내 하나 이상의 이미 코딩된 이웃 BPU들로부터의 픽셀들을 사용할 수 있다. 즉, 공간적 예측에서의 예측 참조(224)는 이웃 BPU들을 포함할 수 있다. 공간적 예측은 화상의 고유한 공간 중복성을 감소시킬 수 있다. 시간적 예측(예컨대, 화상-간 예측 또는 "인터 예측(inter prediction")은 현재 BPU를 예측하기 위해 하나 이상의 이미 코딩된 화상들로부터의 구역들을 사용할 수 있다. 즉, 시간적 예측에서의 예측 참조(224)는 코딩된 화상들을 포함할 수 있다. 시간적 예측은 화상들의 고유한 시간 중복성을 감소시킬 수 있다.
프로세스(200B)를 참조하면, 순방향 경로에서, 인코더는 공간적 예측 스테이지(2042) 및 시간적 예측 스테이지(2044)에서 예측 동작을 수행한다. 예컨대, 공간적 예측 스테이지(2042)에서, 인코더는 인트라 예측을 수행할 수 있다. 인코딩되는 화상의 오리지널 BPU에 대해, 예측 참조(224)는 동일한 화상에서 (순방향 경로에서) 인코딩되고 (재구성된 경로에서) 재구성된 하나 이상의 이웃 BPU들을 포함할 수 있다. 인코더는 이웃 BPU들을 외삽함으로써 예측된 BPU(208)를 생성할 수 있다. 외삽 기술들은, 예컨대, 선형 외삽 또는 내삽, 다항식 외삽 또는 내삽 등을 포함할 수 있다. 일부 실시예들에서, 인코더는 이를테면, 예측된 BPU(208)의 각각의 픽셀에 대한 대응하는 픽셀들의 값들을 외삽함으로써, 픽셀 레벨에서 외삽을 수행할 수 있다. 외삽에 대해 사용되는 이웃 BPU들은 오리지널 BPU에 대해, 다양한 방향들로부터 이를테면, 수직 방향(예컨대, 오리지널 BPU의 상단), 수평 방향(예컨대, 오리지널 BPU의 좌측으로), 대각선 방향(예컨대, 오리지널 BPU의 좌측-아래로, 우측-아래로, 좌측-위로 또는 우측-위로) 또는 사용된 비디오 코딩 표준에 정의된 임의의 방향으로 로케이팅될 수 있다. 인트라 예측을 위해, 예측 데이터(206)는, 예컨대, 사용된 이웃 BPU들의 로케이션들(예컨대, 좌표들), 사용된 이웃 BPU들의 크기들, 외삽의 파라미터들, 오리지널 BPU에 대한 사용된 이웃 BPU들의 방향 등을 포함할 수 있다.
다른 예를 들면, 시간적 예측 스테이지(2044)에서, 인코더는 인터 예측을 수행할 수 있다. 현재 화상의 오리지널 BPU에 대해, 예측 참조(224)는 (순방향 경로에서) 인코딩되고 (재구성된 경로에서) 재구성된 하나 이상의 화상들("참조 화상들 "로서 지칭됨)을 포함할 수 있다. 일부 실시예들에서, 참조 화상은 BPU별로 인코딩 및 재구성될 수 있다. 예컨대, 인코더는 재구성된 잔차 BPU(222)를 예측된 BPU(208)에 추가하여 재구성된 BPU를 생성할 수 있다. 동일한 화상의 모든 재구성된 BPU들이 생성될 때, 인코더는 참조 화상으로서 재구성된 화상을 생성할 수 있다. 인코더는 참조 화상의 범위("검색 창"으로 지칭됨)에서 매칭 구역을 검색하기 위해 "모션 추정(motion estimation)"의 동작을 수행할 수 있다. 참조 화상에서 검색 창의 로케이션은 현재 화상에서 오리지널 BPU의 로케이션에 기초하여 결정될 수 있다. 예컨대, 검색 창은 참조 화상에서 현재 화상의 오리지널 BPU와 동일한 좌표들을 갖는 로케이션에 중심을 둘 수 있고 미리 결정된 거리만큼 확장될 수 있다. 인코더가 검색 창에서 오리지널 BPU와 유사한 구역을 (예컨대, PRA(pel-recursive algorithm) , 블록-매칭 알고리즘 등을 사용함으로써) 식별할 때, 인코더는 그러한 구역을 매칭 구역으로서 결정할 수 있다. 매칭 구역은 오리지널 BPU와 상이한 디멘션들(예컨대, 더 작거나, 동일하거나, 더 크거나, 상이한 형상)을 가질 수 있다. 참조 화상 및 현재 화상은 (예컨대, 도 1에 도시된 바와 같이) 타임라인에서 시간적으로 분리되기 때문에, 시간이 지남에 따라 매칭 구역이 오리지널 BPU의 로케이션으로 "이동한다"고 간주될 수 있다. 인코더는 "모션 벡터"로서 이러한 모션의 방향 및 거리를 레코딩할 수 있다. (예컨대, 도 1의 화상(106)과 같이) 다수의 참조 화상들이 사용될 때, 인코더는 매칭 구역을 검색하고 각각의 참조 화상에 대한 연관된 자신의 모션 벡터를 결정할 수 있다. 일부 실시예들에서, 인코더는 개개의 매칭 참조 화상들의 매칭 구역들의 픽셀 값들에 가중치들을 할당할 수 있다.
모션 추정은, 예컨대, 병진운동들, 회전들, 주밍(zooming) 등과 같은 다양한 유형들의 모션들을 식별하는 데 사용될 수 있다. 인터 예측에 대해, 예측 데이터(206)는, 예컨대, 매칭 구역의 로케이션들(예컨대, 좌표들), 매칭 구역과 연관된 모션 벡터들, 참조 화상들의 수, 참조 화상들과 연관된 가중치들 등을 포함할 수 있다.
예측된 BPU(208)를 생성하기 위해, 인코더는 "모션 보상"의 동작을 수행할 수 있다. 모션 보상은 예측 데이터(206)(예컨대, 모션 벡터) 및 예측 참조(224)에 기초하여 예측된 BPU(208)를 재구성하는데 사용될 수 있다. 예컨대, 인코더는, 인코더가 현재 화상의 오리지널 BPU를 예측할 수 있는 모션 벡터에 따라 참조 화상의 매칭 구역을 이동시킬 수 있다. (예컨대, 도 1의 화상(106)과 같이) 다수의 참조 화상들이 사용될 때, 인코더는 매칭 구역들의 평균 픽셀 값들 및 개개의 모션 벡터들에 따라 참조 화상들의 매칭 구역들을 이동시킬 수 있다. 일부 실시예들에서, 인코더가 개개의 매칭 참조 화상들의 매칭 구역들의 픽셀 값들에 가중치들을 할당한 경우, 인코더는 이동된 매칭 구역들의 픽셀 값들의 가중합을 추가할 수 있다.
일부 실시예들에서, 인터 예측은 단방향성 또는 양방향성일 수 있다. 단방향 인터 예측들은 현재 화상에 대해 동일한 시간 방향으로 하나 이상의 참조 화상들을 사용할 수 있다. 예컨대, 도 1의 화상(104)은 참조 화상(즉, 화상(102))이 화상(104)에 선행하는 단방향 인터 예측 화상이다. 양방향 인터 예측들은 현재 화상에 대해 양쪽 시간 방향들에서 하나 이상의 참조 화상들을 사용할 수 있다. 예컨대, 도 1의 화상(106)은 참조 화상들(즉, 화상들(104 및 108))이 화상(104)에 대해 양쪽 시간 방향들에 있는 양방향 인터 예측 화상이다.
여전히 프로세스(200B)의 순방향 경로를 참조하면, 공간적 예측 스테이지(2042) 및 시간적 예측 스테이지(2044) 이후에, 모드 판단 스테이지(230)에서, 인코더는 프로세스(200B)의 현재 반복에 대해 예측 모드(예컨대, 인트라 예측 또는 인터 예측 중 하나)를 선택할 수 있다. 예컨대, 인코더는 레이트-왜곡 최적화 기술을 수행할 수 있는데, 여기에서 인코더는 후보 예측 모드의 비트레이트 및 후보 예측 모드 하의 재구성된 참조 화상의 왜곡에 의존하여 비용 함수의 값을 최소화하도록 예측 모드를 선택할 수 있다. 선택된 예측 모드에 의존하여, 인코더는 대응하는 예측된 BPU(208) 및 예측된 데이터(206)를 생성할 수 있다.
프로세스(200B)의 재구성 경로에서, 순방향 경로에서 인트라 예측 모드가 선택된 경우, 예측 참조(224)(예컨대, 현재 화상에서 인코딩 및 재구성된 현재 BPU)를 생성한 후, 인코더는 추후 사용을 위해(예컨대, 현재 화상의 다음 BPU의 외삽을 위해) 예측 참조(224)를 공간적 예측 스테이지(2042)로 직접 공급할 수 있다. 인코더는 예측 참조(224)를 루프 필터 스테이지(232)에 공급할 수 있으며, 여기서 인코더는 예측 참조(224)의 코딩 동안 도입된 왜곡(예컨대, 블로킹 아티팩트들)을 감소 또는 제거하기 위해 예측 참조(224)에 루프 필터를 적용할 수 있다. 인코더는 루프 필터 스테이지(232)에서, 예컨대, 디블로킹(deblocking), 샘플 적응적 오프셋들, 적응적 루프 필터들 등과 같은 다양한 루프 필터 기술들을 적용할 수 있다. 루프-필터링된 참조 화상은 후 사용을 위해(예컨대, 비디오 시퀀스(202)의 미래 화상에 대한 인터-예측 참조 화상으로서 사용되도록) 버퍼(234)(또는 "디코딩된 화상 버퍼")에 저장될 수 있다. 인코더는 시간적 예측 스테이지(2044)에서 사용되도록 버퍼(234)에 하나 이상의 참조 화상들을 저장할 수 있다. 일부 실시예들에서, 인코더는 양자화된 변환 계수들(216), 예측 데이터(206) 및 다른 정보와 함께, 이진 코딩 스테이지(226)에서 루프 필터의 파라미터들(예컨대, 루프 필터 강도)을 인코딩할 수 있다.
도 3a는 본 개시내용의 일부 실시예들에 따른 예시적인 디코딩 프로세스의 개략도를 도시한다. 도 3a에 도시된 바와 같이, 프로세스(300A)는 도 2a의 압축 프로세스(200A)에 대응하는 압축해제 프로세스일 수 있다. 일부 실시예들에서, 프로세스(300A)는 프로세스(200A)의 재구성 경로와 유사할 수 있다. 디코더는 프로세스(300A)에 따라 비디오 비트스트림(228)을 비디오 스트림(304)으로 디코딩할 수 있다. 비디오 스트림(304)은 비디오 시퀀스(202)와 매우 유사할 수 있다. 그러나, 압축 및 압축해제 프로세스(예컨대, 도 2a 및 도 2b의 양자화 스테이지(214))에서의 정보 손실로 인해, 보통, 비디오 스트림(304)은 비디오 시퀀스와 동일하지 않다. 도 2a 및 도 2b의 프로세스들(200A 및 200B)과 유사하게, 디코더는 비디오 비트스트림(228)에 인코딩된 각각의 화상에 대해 기본 프로세싱 유닛들(BPU들)의 레벨에서 프로세스(300A)를 수행할 수 있다. 예컨대, 디코더는 프로세스(300A)를 반복적인 방식으로 수행할 수 있고, 여기서 디코더는 프로세스(300A)의 한 번의 반복에서 기본 프로세싱 유닛을 디코딩할 수 있다. 일부 실시예들에서, 디코더는 비디오 비트스트림(228)에 인코딩된 각각의 화상의 구역들(예컨대, 구역들(114-118))에 대해 병렬로 프로세스(300A)를 수행할 수 있다.
도 3a에서, 디코더는 인코딩된 화상의 기본 프로세싱 유닛("인코딩된 BPU"로서 지칭됨)과 연관된 비디오 비트스트림(228)의 부분을 이진 디코딩 스테이지(302)로 공급할 수 있다. 이진 디코딩 스테이지(302)에서, 디코더는 이 부분을 예측 데이터(206) 및 양자화된 변환 계수들(216)로 디코딩할 수 있다. 디코더는 양자화된 변환 계수들(216)을 역양자화 스테이지(218) 및 역변환 스테이지(220)로 공급하여 재구성된 잔차 BPU(222)를 생성할 수 있다. 디코더는 예측 데이터(206)를 예측 스테이지(204)로 공급하여 예측된 BPU(208)를 생성할 수 있다. 디코더는 재구성된 잔차 BPU(222)를 예측된 BPU(208)에 추가하여 예측된 참조(224)를 생성할 수 있다. 일부 실시예들에서, 예측된 참조(224)는 버퍼(예컨대, 컴퓨터 메모리의 디코딩된 화상 버퍼)에 저장될 수 있다. 디코더는 프로세스(300A)의 다음 반복에서 예측 동작을 수행하기 위해 예측된 참조(224)를 예측 스테이지(204)로 공급할 수 있다.
디코더는 인코딩된 화상의 각각의 인코딩된 BPU를 디코딩하고 인코딩된 화상의 다음 인코딩된 BPU를 인코딩하기 위한 예측된 참조(224)를 생성하기 위해 프로세스(300A)를 반복적으로 수행할 수 있다. 인코딩된 화상의 모든 인코딩된 BPU들을 디코딩한 후, 디코더는 디스플레이를 위해 화상을 비디오 스트림(304)으로 출력하고 비디오 비트스트림(228)에서 다음 인코딩된 화상을 디코딩하도록 진행할 수 있다.
이진 디코딩 스테이지(302)에서, 디코더는 인코더에 의해 사용되는 이진 코딩 기술(예컨대, 엔트로피 코딩, 가변 길이 코딩, 산술 코딩, 호프만 코딩, 맥락-적응 이진 산술 코딩, 또는 임의의 다른 무손실 압축 알고리즘)의 역 동작을 수행할 수 있다. 일부 실시예들에서, 예측 데이터(206) 및 양자화된 변환 계수들(216) 외에도, 디코더는, 예컨대, 예측 모드, 예측 동작의 파라미터들, 변환 유형, 양자화 프로세스의 파라미터들(예컨대, 양자화 스케일 팩터들), 인코더 제어 파라미터(예컨대, 비트레이트 제어 파라미터) 등과 같은 다른 정보를 이진 디코딩 스테이지(302)에서 디코딩할 수 있다. 일부 실시예들에서, 비디오 비트스트림(228)이 네트워크를 통해 패킷들에서 송신되는 경우, 디코더는 비디오 비트스트림(228)을 이진 디코딩 스테이지(302)로 공급하기 전에 패킷해제(depacketize)할 수 있다. 너리 디코딩 스테이지(302)로 공급하기 전에 패킷해제(depacketize)할 수 있다.
도 3b는 본 개시내용의 일부 실시예들에 따른 다른 예시적인 디코딩 프로세스의 개략도를 도시한다. 도 3b에 도시된 바와 같이, 프로세스(300B)는 프로세스(300A)로부터 수정될 수 있다. 예컨대, 프로세스(300B)는 하이브리드 비디오 코딩 표준(예컨대, H.26x 시리즈들)에 부합하는 디코더에 의해 사용될 수 있다. 프로세스(300A)와 비교하여, 프로세스(300B)는 부가적으로 예측 스테이지(204)를 공간적 예측 스테이지(2042) 및 시간적 예측 스테이지(2044)로 분할하고, 루프 필터 스테이지(232) 및 버퍼(234)를 부가적으로 포함한다.
프로세스(300B)에서, 디코딩 되고있는 인코딩된 화상("현재 화상"으로서 지칭됨)의 인코딩된 기본 프로세싱 유닛("현재 BPU"로서 지칭됨)에 대해, 디코더에 의해 이진 디코딩 스테이지(302)로부터 디코딩된 예측 데이터(206)는, 인코더에 의해 현재 BPU를 인코딩하기 위해 어떤 예측 모드가 사용되었는지에 의존하여, 다양한 유형들의 데이터를 포함할 수 있다. 예컨대, 현재 BPU를 인코딩하기 위해 인코더에 의해 인트라 예측이 사용된 경우, 예측 데이터(206)는 인트라 예측을 표시하는 예측 모드 표시자(예컨대, 플래그 값), 인트라 예측 동작의 파라미터들 등을 포함할 수 있다. 인트라 예측 동작의 파라미터들은, 예컨대, 참조로서 사용되는 하나 이상의 이웃 BPU들의 로케이션들(예컨대, 좌표들), 이웃 BPU들의 크기들, 외삽의 파라미터들, 오리지널 BPU에 대한 이웃 BPU들의 방향 등을 포함할 수 있다. 다른 예를 들면, 현재 BPU를 인코딩하기 위해 인코더에 의해 인터 예측이 사용된 경우, 예측 데이터(206)는 인터 예측을 표시하는 예측 모드 표시자(예컨대, 플래그 값), 인터 예측 동작의 파라미터들 등을 포함할 수 있다. 인터 예측 동작의 파라미터들은, 예컨대, 현재 BPU와 연관된 참조 화상들의 수, 참조 화상들과 각자 연관된 가중치들, 개개의 참조 화상들 내 하나 이상의 매칭 구역들의 로케이션들(예컨대, 좌표들), 매칭 구역들과 각자 연관된 하나 이상의 모션 벡터들 등을 포함할 수 있다.
예측 모드 표시자에 기초하여, 디코더는 공간적 예측 스테이지(2042)에서 공간적 예측(예컨대, 인트라 예측)을 수행할지 또는 시간적 예측 스테이지(2044)에서 시간적 예측(예컨대, 인터 예측)을 수행할지를 결정할 수 있다. 그러한 공간적 예측 또는 시간적 예측을 수행하는 것에 대한 세부사항들은 도 2b에서 설명되며 이후에 반복되지 않을 것이다. 그러한 공간적 예측 또는 시간적 예측을 수행한 후, 디코더는 예측된 BPU(208)를 생성할 수 있다. 도 3a에 설명된 바와 같이, 디코더는 예측된 BPU(208) 및 재구성된 잔차 BPU(222)를 더하여 예측 참조(224)를 생성할 수 있다.
프로세스(300B)에서, 디코더는 프로세스(300B)의 다음 반복에서 예측 동작을 수행하기 위해 예측된 참조(224)를 공간적 예측 스테이지(2042) 또는 시간적 예측 스테이지(2044)에 공급할 수 있다. 예컨대, 현재 BPU가 공간적 예측 스테이지(2042)에서 인트라 예측을 사용하여 디코딩되는 경우, 예측 참조(224)(예컨대, 디코딩된 현재 BPU)를 생성한 후에, 디코더는 추후 사용을 위해(예컨대, 현재 화상의 다음 BPU의 외삽을 위해) 예측 참조(224)를 공간적 예측 스테이지(2042)로 직접 공급할 수 있다. 현재 BPU가 시간적 예측 스테이지(2044)에서 인터 예측을 사용하여 디코딩되는 경우, 예측 참조(224)(예컨대, 모든 BPU들이 디코딩된 참조 화상)를 생성한 후, 디코더는 예측 참조(224)를 루프 필터 스테이지(232)로 공급하여 왜곡(예컨대, 블로킹 아티팩트들)을 감소시키거나 제거할 수 있다. 디코더는 도 2b에 설명된 바와 같은 방식으로 루프 필터를 예측 참조(224)에 적용할 수 있다. 루프-필터링된 참조 화상은 추후 사용을 위해(예컨대, 비디오 비트스트림(228)의 미래 인코딩된 화상에 대한 인터-예측 참조 화상으로서 사용되도록) 버퍼(234)(예컨대, 컴퓨터 메모리의 디코딩된 화상 버퍼)에 저장될 수 있다. 디코더는 시간적 예측 스테이지(2044)에서 사용되도록 버퍼(234)에 하나 이상의 참조 화상들을 저장할 수 있다. 일부 실시예들에서, 예측 데이터는 루프 필터의 파라미터들(예컨대, 루프 필터 강도)을 더 포함할 수 있다. 일부 실시예들에서, 예측 데이터는, 현재 BPU를 인코딩하기 위해 인터 예측이 사용되었음을 예측 데이터(206)의 예측 모드 표시자가 표시할 때 루프 필터의 파라미터들을 포함한다.
4개의 유형들의 루프 필터들이 존대한다. 예컨대, 루프 필터는 디블로킹 필터, "SAO"(sample adaptive offsets) 필터, "LMCS"(luma mapping with chroma scaling) 필터, 및 "ALF"(adaptive loop filter)를 포함할 수 있다. 4개의 유형들의 루프 필터들을 적용하는 순서는 LMCS 필터, 디블로킹 필터, SAO 필터, ALF일 수 있다. LMCS 필터는 2개의 메인 구성요소들을 포함할 수 있다. 제1 구성요소는 적응형 조각별 선형 모델들에 기초하는 루마 구성요소의 인-루프 매핑일 수 있다. 제2 구성요소는 크로마 구성요소들에 대한 것일 수 있으며 루마-종속 크로마 잔차 스케일링이 적용될 수 있다.
도 4는 본 개시내용의 일부 실시예들에 따라, 비디오를 인코딩 또는 디코딩하기 위한 예시적인 장치의 블록도를 도시한다. 도 4에 도시된 바와 같이, 장치(400)는 프로세서(402)를 포함할 수 있다. 프로세서(402)가 본원에 설명된 명령들을 실행할 때, 장치(400)는 비디오 인코딩 또는 디코딩을 위한 특수 기계가 될 수 있다. 프로세서(402)는 정보를 조작하거나 프로세싱할 수 있는 임의의 유형의 회로일 수 있다. 예컨대, 프로세서(402)는 중앙 처리 장치(또는 "CPU"), 그래픽 프로세싱 장치(또는 "GPU"), 뉴럴 프로세싱 장치("NPU"), 마이크로제어기 유닛("MCU"), 광학 프로세서, 프로그래밍 가능 로직 제어기, 마이크로제어기, 마이크로프로세서, 디지털 신호 프로세서, 지적 재산(IP) 코어, 프로그래밍 가능 로직 어레이(PLA), 프로그래밍 가능 어레이 로직(PAL), 일반 어레이 로직(GAL), 복합 프로그래밍 가능 로직 디바이스(CPLD), 필드-프로그래밍 가능 게이트 어레이(FPGA), 시스템 온 시스템(SoC), 주문형 집적 회로(ASIC) 등의 임의의 수의 임의의 조합을 포함할 수 있다. 일부 실시예들에서, 프로세서(402)는 또한 단일 로직 구성요소로서 그룹화된 프로세서들의 세트일 수 있다. 예컨대, 도 4에 도시된 바와 같이, 프로세서(402)는 프로세서(402a), 프로세서(402b) 및 프로세서(402n)를 포함하는 다수의 프로세서들을 포함할 수 있다.
장치(400)는 또한 데이터(예컨대, 명령들의 세트, 컴퓨터 코드들, 중간 데이터 등)를 저장하도록 구성된 메모리(404)를 포함할 수 있다. 예컨대, 도 4에 도시된 바와 같이, 저장된 데이터는 프로그램 명령들(예컨대, 프로세스들(200A, 200B, 300A 또는 300B)의 스테이지들을 구현하기 위한 프로그램 명령들) 및 프로세싱을 위한 데이터(예컨대, 비디오 시퀀스(202), 비디오 비트스트림(228) 또는 비디오 스트림(304))를 포함할 수 있다. 프로세서(402)는 (예컨대, 버스(410)를 통해) 프로그램 명령들 및 프로세싱을 위한 데이터에 액세스할 수 있고, 프로그램 명령들을 실행하여 프로세싱을 위한 데이터에 대한 동작 또는 조작을 수행할 수 있다. 메모리(404)는 고속 랜덤-액세스 저장 디바이스 또는 비-휘발성 저장 디바이스를 포함할 수 있다. 일부 실시예들에서, 메모리(404)는 랜덤-액세스 메모리(RAM), 판독-전용 메모리(ROM), 광학 디스크, 자기 디스크, 하드 드라이브, 솔리드-스테이트 드라이브, 플래시 드라이브, 보안 디지털(SD) 카드, 메모리 스틱, 콤팩트 플래시(CF) 카드 등의 임의의 수의 임의의 조합을 포함할 수 있다. 메모리(404)는 또한 단일의 로직 구성요소로서 그룹화된 메모리들의 그룹(도 4에 도시되지 않음)일 수 있다.
버스(410)는 내부 버스(예컨대, CPU-메모리 버스), 외부 버스(예컨대, 범용 직렬 버스 포트, 주변 구성요소 인터커넥트 익스프레스 포트) 등과 같이, 장치(400) 내부의 구성요소들 사이에서 데이터를 전달하는 통신 디바이스일 수 있다.
모호함을 야기함 없이 설명의 용이함을 위해, 프로세서(402) 및 다른 데이터 프로세싱 회로들은 본 개시내용에서 "데이터 프로세싱 회로"로서 집합적으로 지칭된다. 데이터 프로세싱 회로는 전체적으로 하드웨어로서 구현되거나 소프트웨어, 하드웨어 또는 펌웨어의 조합으로서 구현될 수 있다. 또한, 데이터 프로세싱 회로는 단일 독립 모듈일 수 있거나 장치(400)의 임의의 다른 구성요소에 전체적으로 또는 부분적으로 결합될 수 있다.
장치(400)는 네트워크(예컨대, 인터넷, 인트라넷, 로컬 영역 네트워크, 모바일 통신 네트워크 등)와의 유선 또는 무선 통신을 제공하기 위한 네트워크 인터페이스(406)를 더 포함할 수 있다. 일부 실시예들에서, 네트워크 인터페이스(406)는 네트워크 인터페이스 제어기(NIC), 라디오 주파수(RF) 모듈, 트랜스폰더, 트랜시버, 모뎀, 라우터, 게이트웨이, 유선 네트워크 어댑터, 무선 네트워크 어댑터, 블루투스 어댑터, 적외선 어댑터, 근거리 통신("NFC") 어댑터, 셀룰러 네트워크 칩 등의 임의의 수의 임의의 조합을 포함할 수 있다.
일부 실시예들에서, 장치(400)는 하나 이상의 주변 디바이스들에 대한 연결을 제공하기 위해 주변 인터페이스(408)를 더 포함할 수 있다. 도 4에 도시된 바와 같이, 주변 디바이스는 커서 제어 디바이스(예컨대, 마우스, 터치패드 또는 터치스크린), 키보드, 디스플레이(예컨대, 음극선관 디스플레이, 액정 디스플레이, 또는 발광 다이오드 디스플레이), 비디오 입력 디바이스(예컨대, 비디오 아카이브에 통신 가능하게 커플링된 입력 인터페이스 또는 카메라) 등을 포함할 수 있지만, 이에 제한되지 않는다.
비디오 코덱들(예컨대, 코덱 수행 프로세스(200A, 200B, 300A 또는 300B))은 장치(400)에서 임의의 소프트웨어 또는 하드웨어 모듈의 임의의 조합으로서 구현될 수 있다는 것이 주의되어야 한다. 예컨대, 프로세스(200A, 200B, 300A 또는 300B)의 일부 또는 모든 스테이지들은 장치(400)의 하나 이상의 소프트웨어 모듈들 이를테면, 메모리(404) 내에 로딩될 수 있는 프로그램 명령들로서 구현될 수 있다. 다른 예를 들면, 프로세스(200A, 200B, 300A 또는 300B)의 일부 또는 모든 스테이지들은, 장치(400)의 하나 이상의 하드웨어 모듈들 이를테면, 특수 데이터 프로세싱 회로(예컨대, FPGA, ASIC, NPU 등)로서 구현될 수 있다.
양자화 및 역양자화 기능 블록들(예컨대, 도 2a 또는 도 2b의 양자화(214) 및 역양자화(218), 도 3a 또는 도 3b의 역양자화(218))에서, 예측 잔차들에 적용되는 양자화(및 역양자화)의 양을 결정하기 위하여 양자화 파라미터(QP)가 사용된다. 화상 또는 슬라이스의 코딩에 대해 사용되는 초기 QP 값들은, 예컨대, 화상 파라미터 세트(Picture Parameter Set; PPS)의 init_qp_minus26 신택스 요소를 사용하여 그리고 슬라이스 헤더의 slice_qp_delta 신택스 요소를 사용하여 고레벨에서 시그널링될 수 있다. 또한, QP 값들은 양자화 그룹들의 입도(granulity)에서 전송된 델타 QP 값들을 사용하여 각각의 CU에 대한 로컬 레벨에서 적응될 수 있다.
"ERP"(Equirectangular Projection) 포맷은 360도 비디오들 및 이미지들을 표현하는 데 사용되는 일반적인 투영 포맷이다. 투영은 자오선들을 일정한 간격의 수직 직선들에 매핑하고 위도의 원들을 일정한 간격의 수평 직선들에 매핑한다. 맵 상의 이미지 픽셀의 포지션과 구(sphere) 상의 그의 대응하는 지리적 로케이션 간의 특히 단순한 관계로 인해, ERP는 360도 비디오들 및 이미지들에 대해 사용되는 가장 일반적인 투영들 중 하나이다.
JVET에 의해 출력된 투영 포맷 변환 및 비디오 품질 메트릭들의 알고리즘 설명은 도입부 및 ERP와 구 간의 도입 및 좌표 변환에서 주어진다. 2D-3D 좌표 변환에 대해, 샘플링 포지션 (m, n)이 주어지면, (u, v)는 다음 수학식들 (1) 및 (2)에 기초하여 계산될 수 있다.
그 후, 구의 경도 및 위도(Φ, θ)는 다음 수학식들에 기초하여 (u, v)로부터 계산될 수 있다:
3D 좌표들(X, Y, Z)은 다음 수학식들 (5) 내지 (7)에 기초하여 계산될 수 있다.
(X, Y, Z)로부터 시작하는 3D-2D 좌표 변환에 대해, (Φ, θ)는 다음 수학식들 (8) 및 (9)에 기초하여 계산될 수 있다. 그리고, (u,v)는 수학식들 (3) 및 (4)에 기초하여 계산된다. 마지막으로 2차원 좌표(m, n)는 수학식들 (1) 및 (2)에 기초하여 계산될 수 있다.
ERP 화상의 좌측 및 우측 경계들을 포함하는 재구성된 뷰포트들에서 이음매 아티팩트들을 감소시키기 위해, ERP 화상의 좌측 및 우측 각각 상에 샘플들을 패딩함으로써 "PERP"(padded equirectangular projection)이라 불리는 새로운 포맷이 제공된다.
PERP가 360도 비디오들을 표현하는 데 사용될 때, PERP 화상이 인코딩된다. 디코딩 후, 재구성된 PERP는 복제된 샘플들을 블렌딩하거나 패딩된 영역들을 크로핑함으로써 재구성된 ERP로 다시 변환된다.
도 5a는 본 개시내용의 일부 실시예들에 따라, 재구성된 정방형 투영들을 생성하기 위한 예시적인 블렌딩 동작의 개략도를 도시한다. 달리 언급되지 않으면, "recPERP"는 포스트-프로세싱 이전 재구성된 PERP를 나타내는데 사용되고 "recERP"는 포스트-프로세싱 후 재구성된 ERP를 나타내는데 사용된다. 도 5a에서, A1 및 B2는 ERP 화상 내의 경계 영역들이고, B1 및 A2는 패딩된 영역들이며, 여기서 A2는 A1으로부터 패딩되고 B1은 B2로부터 패딩된다. 도 5a에 도시된 바와 같이, recPERP의 복제된 샘플들은 거리-기반 가중화된 평균화 연산(distance-based weighted averaging operation)을 적용함으로써 블렌딩될 수 있다. 예컨대, 구역 A는 구역 A1을 구역 A2와 블렌딩함으로써 생성할 수 있고, 구역 B는 구역 B1을 구역 B2와 블렌딩함으로써 생성된다.
다음 설명에서, 패딩되지 않은 recERP의 폭 및 높이는 각각 "W" 및 "H"로서 표시된다. 좌측 및 우측 패딩 폭들은 각각 "PL" 및 "PR"로서 표시된다. 전체 패딩 폭은 PL 및 PR의 합일 수 있는 "Pw"로서 표시된다. 일부 실시예들에서, recPERP는 블렌딩 동작들을 통해 recERP로 변환될 수 있다. 예컨대, A 내 샘플 recERP( j, i )에 대해 ― (j,i)는 ERP 화상 내 좌표이고 i는 [0, PR-1]에 있고 j는 [0, H - 1]에 있음 ― , recERP ( j, i )는 다음 수학식들에 따라 결정할 수 있다.
여기서 recPERP(y, x)는 재구성된 PERP 화상 상의 샘플이며 (y, x)는 PREP 화상 내 샘플의 좌표이다.
일부 실시예들에서, B 내 샘플 recERP( j, i )에 대해 ― (j,i)는 ERP 화상 내 좌표이고 i는[ W-PL, W-1 ]에 있고 j는 [ 0, H-1 ]에 있음 ― , recERP ( j, i )는 다음 수학식들에 따라 생성할 수 있다.
여기서 recPERP(y, x)는 재구성된 PERP 화상 상의 샘플이며 (y, x)는 PREP 화상 내 샘플의 좌표이다.
도 5b는 본 개시내용의 일부 실시예들에 따라, 재구성된 정방형 투영들을 생성하기 위한 예시적인 크로핑 동작의 개략도를 도시한다. 도 5b에서, A1 및 B2는 ERP 화상 내의 경계 영역들이고, B1 및 A2는 A2가 A1으로부터 패딩되고 B1이 B2로부터 패딩되는 패딩된 영역들이다. 도 5b에 도시된 바와 같이, 크로핑 프로세스 동안, recPERP의 패딩된 샘플들은 recERP를 획득하기 위해 직접 폐기될 수 있다. 예컨대, 패딩 샘플들(B1 및 A2)은 폐기될 수 있다.
일부 실시예들에서, 수평 랩-어라운드 모션 보상은 ERP의 코딩 성능을 개선하기 위해 사용될 수 있다. 예컨대, 수평 랩-어라운드 모션 보상은 ERP 포맷 또는 PERP 포맷에서 재구성된 360도 비디오의 시각적 품질을 개선하도록 설계된 360-특정 코딩 도구로서 VVC 표준에서 사용될 수 있다. 종래의 모션 보상에서, 모션 벡터가 참조 화상의 화상 경계들 너머의 샘플들을 참조할 때, 대응하는 화상 경계 상의 가장 가까운 이웃들로부터 복사함으로써 경계외 샘플(out-of-bounds sample)들의 값들을 유도하도록 반복적 패딩이 적용된다. 360도 비디오에 대해, 이 반복적 패딩 방법은 적합하지 않으며 재구성된 뷰포트 비디오에서 "이음매 아티팩트들"이라 불리는 시각적 아티팩트들을 야기할 수 있다. 360도 비디오가 구 상에서 캡처되고 본질적으로 어떠한 "경계"도 없기 때문에, 투영된 도메인에서 참조 화상의 경계들을 벗어난 참조 샘플들은 구 도메인에서 이웃 샘플들로부터 획득될 수 있다. 일반적인 투영 포맷에 대해, 2D-3D 및 3D-2D 좌표 변환뿐만 아니라 프랙셔널 샘플 포지션들에 대한 샘플 보간이 포함되기 때문에, 구 도메인에서 대응하는 이웃 샘플들을 유도하는 것은 어려울 수 있다. 이 문제는, 좌측 화상 경계 외부의 구형 이웃들이 우측 화상 경계 내부의 샘플들로부터 획득될 수 있고 그 반대의 경우도 마찬가지이므로, ERP 또는 PERP 투영 포맷의 좌측 및 우측 경계들에 대해 해결될 수 있다. ERP 또는 PERP 투영 포맷의 광범위한 사용, 및 상대적인 구현 용이성을 고려하면, ERP 또는 PERP 투영 포맷으로 코딩된 360도 비디오의 시각적 품질을 개선하기 위해 수평 랩-어라운드 모션 보상이 VVC에 채택되었다.
도 6a는 본 개시내용의 일부 실시예들에 따라, 정방형 투영들에 대한 예시적인 수평 랩-어라운드 모션 보상 프로세스의 개략도를 도시한다. 도 6a에 도시된 바와 같이, 참조 블록의 일부가 투영된 도메인에서 참조 화상의 좌측(또는 우측) 경계 외부에 있을 때, 반복적 패딩 대신에, "경계 외(out-of-boundary)" 부분은 참조 화상 내에서, 투영된 도메인의 우측(또는 좌측) 경계를 향해 로케이팅되는 대응하는 구형 이웃들로부터 취해질 수 있다. 일부 실시예들에서, 반복적 패딩은 최상부 및 최하부 화상 경계들에 대해 사용될 수 있다.
도 6b는 본 개시내용의 일부 실시예들에 따라, 패딩된 정방형 투영들에 대한 예시적인 수평 랩-어라운드 모션 보상 프로세스의 개략도를 도시한다. 도 6b에 도시된 바와 같이, 수평 랩-어라운드 모션 보상은 360도 비디오 코딩에서 종종 사용되는 비-규범적 패딩 방법과 결합될 수 있다. 일부 실시예들에서, 이는 랩-어라운드 모션 보상 오프셋 ― 이는 패딩 이전의 ERP 화상 폭으로 세팅될 수 있음 ― 을 표시하기 위해 고레벨 신택스 요소를 시그널링함으로써 달성된다. 이 신택스는 수평 랩-어라운드의 포지션을 상응하게 조정하는데 사용될 수 있다. 일부 실시예들에서, 이 신택스는 좌측 또는 우측 화상 경계들에 대한 특정 양의 패딩에 의해 영향을 받지 않는다. 결과적으로, 이 신택스는 ERP 화상의 비대칭 패딩을 자연스럽게 지원할 수 있다. ERP 화상의 비대칭 패딩에서, 좌측 및 우측 패딩들은 상이할 수 있다. 일부 실시예들에서, 랩-어라운드 모션 보상은 다음 수학식에 따라 결정될 수 있다:
여기서 오프셋은 비트스트림에서 시그널링된 랩-어라운드 모션 보상 오프셋일 수 있고, picW는 인코딩 이전 패딩 영역을 포함하는 화상 폭일 수 있고, posx는 현재 블록 포지션 및 모션 벡터에 의해 결정되는 참조 포지션일 수 있고, 수학식 posx_wrap의 출력은 실제 참조 포지션일 수 있으며, 여기서 참조 블록은 랩-어라운드 모션 보상으로부터 나온다. 랩-어라운드 모션 보상 오프셋의 시그널링 오버헤드를 절감하기 위해, 이는 최소 루마 코딩 블록 단위로 있을 수 있고, 이에 따라 오프셋은 
로 대체될 수 있으며, 여기서 offsetw는 비트스트림에서 시그널링되는 최소 루마 코딩 블록 단위의 랩-어라운드 모션 보상 오프셋이고 MinCbSizeY는 최소 루마 코딩 블록의 크기이다. 대조적으로, 전통적인 모션 보상에서, 참조 블록이 있는 실제 참조 포지션은 0 내지 picW-1 내에서 posx를 클리핑함으로써 직접 유도될 수 있다.
수평 랩-어라운드 모션 보상은 참조 샘플들이 참조 화상의 좌측 및 우측 경계들 외부에 있을 때 모션 보상에 대해 보다 의미 있는 정보를 제공할 수 있다. 360도 비디오 공통 테스트 조건들 하에서, 이 도구는 레이트-왜곡 관점뿐만 아니라 재구성된 360도 비디오의 감소된 이음매 아티팩트들 및 주관적 품질 관점에서도 압축 성능을 개선할 수 있다. 수평 랩-어라운드 모션 보상은 또한 조정된 동등-영역 투영(adjusted equal-area projection)과 같이 수평 방향으로 일정한 샘플링 밀도를 갖는 다른 단일 면 투영 포맷들에 대해 사용될 수 있다.
VVC(예컨대, VVC 드래프트 8)에서, 랩-어라운드 모션 보상은 랩-어라운드 오프셋을 표시하기 위해 고레벨 신택스 변수 pps_ref_wraparound_offset을 시그널링함으로써 달성될 수 있다. 때로는, 랩-어라운드 오프셋이 패딩 전에 ERP 화상 폭으로 세팅되어야 한다. 이 신택스는 수평 랩-어라운드 모션 보상의 포지션을 상응하게 조정하는 데 사용될 수 있다. 이 신택스는 좌측 또는 우측 화상 경계들에 대한 특정 양의 패딩에 의해 영향을 받지 않을 수 있다. 결과적으로, 이 신택스는 (예컨대, 좌측 및 우측 패딩이 상이할 때) ERP 화상의 비대칭 패딩을 자연스럽게 지원할 수 있다. 수평 랩-어라운드 모션 보상은 참조 샘플들이 참조 화상의 좌측 및 우측 경계들 외부에 있을 때 모션 보상에 대해 보다 의미 있는 정보를 제공할 수 있다.
도 7은 본 개시내용의 일부 실시예들에 따른 예시적인 고레벨 랩-어라운드 오프셋의 신택스를 도시한다. 도 7에 도시된 신택스는 VVC(예컨대, VVC 드래프트 8)에서 사용될 수 있다는 것이 인지된다. 도 7에 도시된 바와 같이, 랩-어라운드 모션 보상이 인에이블될 때(예컨대, pps_ref_wraparound_enabled_flag == 1), 랩-어라운드 오프셋 pps_ref_wraparound_offset이 직접 시그널링될 수 있다. 도 7에 도시된 바와 같이, 비트스트림 내 신택스 요소들 또는 변수들은 굵게 도시된다.
도 8은 본 개시내용의 일부 실시예들에 따른 예시적인 고레벨 랩-어라운드 오프셋의 시맨틱들을 도시한다. 도 8에 도시된 시맨틱은 도 7에 도시된 신택스에 대응할 수 있다는 것이 인지된다. 일부 실시예들에서, 도 8에 도시된 바와 같이, 1의 값을 갖는 pps_ref_wraparound_enabled_flag는 수평 랩-어라운드 모션 보상이 인터 예측에 적용됨을 의미한다. pps_ref_wraparound_enabled_flag가 0의 값을 갖는 경우, 수평 랩-어라운드 모션 보상이 적용되지 않는다. CtbSizeY / MinCbSizeY + 1의 값이 pic_width_in_luma_samples / MinCbSizeY - 1보다 클 때, pps_ref_wraparound_enabled_flag의 값은 0과 동일해야 한다. sps_ref_wraparound_enabled_flag가 0과 동일할 때, pps_ref_wraparound_enabled_flag의 값은 0과 동일해야 한다. CtbSizeY는 루마 코딩 트리 블록의 크기이다.
일부 실시예들에서, 도 8에 도시된 바와 같이, pps_ref_wraparound_offset에 ( CtbSizeY / MinCbSizeY ) + 2를 더한 값은 MinCbSizeY 루마 샘플 단위로 수평 랩-어라운드 포지션을 컴퓨팅하는 데 사용되는 오프셋을 지정할 수 있다. pps_ref_wraparound_offset의 값은 0 내지 ( pic_width_in_luma_samples / MinCbSizeY ) - ( CtbSizeY / MinCbSizeY ) - 2의 범위(해당 값들을 포함함)에 있을 수 있다. 변수 PpsRefWraparoundOffset은 pps_ref_wraparound_offset + ( CtbSizeY / MinCbSizeY ) + 2와 동일하도록 세팅될 수 있다. 일부 실시예들에서, 변수 PpsRefWraparoundOffset은 (예컨대, VVC 드래프트 8에서) 서브블록의 루마 로케이션을 결정하기 위해 사용될 수 있다.
VVC(예컨대, VVC 드래프트 8)에서, 화상은 하나 이상의 타일 행들 또는 하나 이상의 타일 열들로 분할될 수 있다. 타일은 화상의 직사각형 구역을 커버하는 "CTU"(coding tree unit)들의 시퀀스일 수 있다. 슬라이스는 정수 개의 완전한 타일들 또는 화상의 타일 내에서 정수 개의 연속적 완전한 CTU 행들을 포함할 수 있다.
슬라이스들의 2개의 모드들 즉, 래스터-스캔 슬라이스 모드 및 직사각형 슬라이스 모드가 지원될 수 있다. 래스터-스캔 슬라이스 모드에서, 슬라이스는 화상의 타일 래스터-스캔에서 완전한 타일들의 시퀀스를 포함할 수 있다. 직사각형 슬라이스 모드에서, 슬라이스는 화상의 직사각형 구역을 집합적으로 형성하는 다수의 완전한 타일들, 또는 화상의 직사각형 구역을 집합적으로 형성하는 하나의 타일의 다수의 연속적인 완전한 CTU 행들 중 어느 하나를 포함할 수 있다. 직사각형 슬라이스 내의 타일들은 그 슬라이스에 대응하는 직사각형 구역 내에서 타일 래스터-스캔 순서로 스캔된다.
서브화상은 화상의 직사각형 구역을 집합적으로 커버하는 하나 이상의 슬라이스들을 포함할 수 있다. 도 9는 본 개시내용의 일부 실시예들에 따라, 화상의 예시적인 슬라이스 및 서브화상 파티셔닝의 개략도를 도시한다. 도 9에 도시된 바와 같이, 화상은 5개의 타일 열들 및 4개의 타일 행들을 갖는 20개의 타일들로 파티셔닝된다. 각각이 4 x 4 CTU들의 하나의 슬라이스를 커버하는 12개의 타일들이 좌측 상에 있다. 각각이 2 x 2 CTU들의 2개의 수직으로 스택된 슬라이스들을 커버하는 8개의 타일들이 우측 상에 있다. 모두 합쳐, 다양한 치수들의 28개의 슬라이스들 및 28개의 서브화상들이 있다(예컨대, 각각의 슬라이스는 서브화상일 수 있음).
도 10은 본 개시내용의 일부 실시예들에 따라, 상이한 슬라이스들 및 서브화상들을 갖는 화상의 예시적인 슬라이스 및 서브화상 파티셔닝의 개략도를 도시한다. 도 10에 도시된 바와 같이, 화상은 5개의 타일 열들 및 4개의 타일 행들을 갖는 20개의 타일들로 파티셔닝된다. 각각이 4 x 4 CTU들의 하나의 슬라이스를 커버하는 12개의 타일들이 좌측 상에 있다. 각각이 2 x 2 CTU들의 2개의 수직으로 스택된 슬라이스들을 커버하는 8개의 타일들이 우측 상에 있다. 모두 합쳐, 총 28개의 슬라이스들이 있다. 좌측 상의 12개의 슬라이스들에 대해, 각각의 슬라이스는 서브화상이다. 우측 상의 16개의 슬라이스들에 대해, 각각의 4개의 슬라이스들은 서브화상을 형성한다. 결과적으로, 모두 합쳐, 동일한 치수를 갖는 16개의 서브화상들이 있다.
VVC(예컨대, VVC 드래프트 8)에서, 슬라이스 레이아웃들에 관한 정보는 화상 파라미터 세트("PPS")에서 시그널링될 수 있다. 일부 실시예들에서, 화상 파라미터 세트는 각각의 화상 헤더에서 발견되는 신택스 요소에 의해 결정되는 바와 같은 0개 이상의 전체 코딩된 화상들에 적용되는 신택스 요소들 또는 변수들을 포함하는 신택스 구조이다. 도 11은 본 개시내용의 일부 실시예들에 따라, 타일 매핑 및 슬라이스 레이아웃들을 위한 예시적인 화상 파라미터 세트의 신택스를 도시한다. 도 11에 도시된 신택스는 VVC(예컨대, VVC 드래프트 8)에서 사용될 수 있다는 것이 인지된다. 도 11에 도시된 바와 같이, 비트스트림 내 신택스 요소들 또는 변수들은 굵게 도시된다. 도 11에 도시된 바와 같이, 현재 화상 내 타일들의 수가 1보다 크고 직사각형 슬라이스 모드(예컨대, rect_slice_flag == 1)가 사용되는 경우, single_slice_per_subpic_flag라는 플래그는 각각의 서브화상이 단 하나의 슬라이스만을 포함한다는 것을 표시하기 위해 먼저 시그널링될 수 있다. 이 경우(예컨대, single_slice_per_subpic_flag == 1)에, 슬라이스의 레이아웃 정보는 시그널링 파라미터 세트("SPS")에서 이미 시그널링된 서브화상 레이아웃과 동일할 수 있기 때문에, 이를 추가로 시그널링할 필요가 없다. 일부 실시예들에서, SPS는 각각의 화상 헤더에서 발견되는 신택스 요소에 의해 참조되는 화상 파라미터 세트에서 발견되는 신택스 요소의 콘텐츠에 의해 결정되는 바와 같은 0개 이상의 전체 "CLVS"(coded layer video sequence)들에 적용되는 신택스 요소들을 포함하는 신택스 구조이다. 일부 실시예들에서, 화상 헤더는 코딩된 화상의 모든 슬라이스들에 적용되는 신택스 요소들을 포함하는 신택스 구조이다. 일부 실시예들에서, 도 11에 도시된 바와 같이, single_slice_per_subpic_flag가 0의 값을 갖는 경우, 화상 내 슬라이스들의 수(예컨대, num_slices_in_pic_minus1)가 먼저 시그널링되고 나서 각각의 슬라이스에 대한 슬라이스 포지션 및 치수 정보가 이어질 수 있다.
일부 실시예들에서, 슬라이스의 수를 시그널링하기 위해, 화상에 적어도 1개의 슬라이스가 있기 때문에, 슬라이스 수를 직접 시그널링하는 대신, 슬라이스 수에서 1을 뺀 것(예컨대, num_slices_in_pic_minus1)이 시그널링될 수 있다. 일반적으로, 더 작은 양의 값을 시그널링하는 것은 더 적은 비트들이 들고(cost) 비디오 프로세싱을 실행하는 전반적인 효율을 개선할 수 있다.
도 12는 본 개시내용의 일부 실시예들에 따라, 타일 매핑 및 슬라이스 레이아웃들을 위한 예시적인 화상 파라미터 세트의 시맨틱들을 도시한다. 도 12에 도시된 시맨틱은 도 11에 도시된 신택스에 대응할 수 있다는 것이 인지된다. 일부 실시예들에서, 도 12에 도시된 시맨틱들은 VVC(예컨대, VVC 드래프트 8)에 대응한다.
일부 실시예들에서, 도 12에 도시된 바와 같이, 변수 rect_slice_flag가 0과 동일하다는 것은 각각의 슬라이스 내의 타일들이 래스터 스캔 순서에 있고 슬라이스 정보가 PPS에서 시그널링되지 않는다는 것을 의미한다. 변수 rect_slice_flag가 1과 동일할 때, 각각의 슬라이스 내의 타일들은 화상의 직사각형 구역을 커버할 수 있고 슬라이스 정보는 PPS에서 시그널링될 수 있다. 일부 실시예들에서, 존재하지 않을 때, 변수 rect_slice_flag는 1과 동일한 것으로 추론될 수 있다. 일부 실시예들에서, 변수 subpic_info_present_flag가 1과 동일할 때, rect_slice_flag의 값은 1과 동일해야 한다.
일부 실시예들에서, 도 12에 도시된 바와 같이, 변수 single_slice_per_subpic_flag가 1과 동일하다는 것은 각각의 서브화상이 하나이고 단 하나의 직사각형 슬라이스를 포함할 수 있다는 것을 의미한다. 변수 single_slice_per_subpic_flag가 0과 동일할 때, 각각의 서브화상은 하나 이상의 직사각형 슬라이스들을 포함할 수 있다. 일부 실시예들에서, 변수 single_slice_per_subpic_flag가 1과 동일할 때, 변수 num_slices_in_pic_minus1은 변수 sps_num_subpics_minus1과 동일한 것으로 추론될 수 있다. 일부 실시예들에서, 존재하지 않을 때, single_slice_per_subpic_flag의 값은 0과 동일한 것으로 추론될 수 있다.
일부 실시예들에서, 도 12에 도시된 바와 같이, 변수 num_slices_in_pic_minus1에 1을 더한 것은 PPS를 참조하는 각각의 화상 내 직사각형 슬라이스들의 수이다. 일부 실시예들에서, num_slices_in_pic_minus1의 값은 0 내지 MaxSlicesPerPicture - 1의 범위(해당 값들을 포함함)에 있을 수 있다. 일부 실시예들에서, 변수 no_pic_partition_flag가 1과 동일할 때, num_slices_in_pic_minus1의 값은 0과 동일한 것으로 추론될 수 있다.
일부 실시예들에서, 도 12에 도시된 바와 같이, 변수 tile_idx_delta_present_flag가 0과 동일한 경우, tile_idx_delta의 값은 PPS에 존재하지 않으며, PPS를 참조하는 화상들 내 모든 직사각형 슬라이스들은 래스터 순서로 지정된다. 일부 실시예들에서, 변수 tile_idx_delta_present_flag가 1과 동일한 경우, tile_idx_delta의 값이 PPS에 존재할 수 있고, PPS를 참조하는 화상들 내 모든 직사각형 슬라이스들은 tile_idx_delta의 값들에 의해 표시되는 순서로 지정된다. 일부 실시예들에서, 존재하지 않을 때, tile_idx_delta_present_flag의 값은 0과 동일한 것으로 추론될 수 있다.
일부 실시예들에서, 도 12에 도시된 바와 같이, 변수 slice_width_in_tiles_minus1[i]에 1을 더한 것은 타일 열들의 단위로 i-번째 직사각형 슬라이스의 폭을 지정한다. 일부 실시예들에서, slice_width_in_tiles_minus1[i]의 값은 0 내지 NumTileColumns - 1의 범위(해당 값들을 포함함)에 있어야 한다. 일부 실시예들에서, slice_width_in_tiles_minus1[i]가 존재하지 않는 경우, 다음이 적용될 수 있는데: NumTileColumns가 1과 동일한 경우, slice_width_in_tiles_minus1[i]의 값은 0과 동일한 것으로 추론될 수 있고; 그렇지 않으면, slice_width_in_tiles_minus_1[i]의 값은 VVC 드래프트(예컨대, VVC 드래프트 8)의 조항에 지정된 바와 같이 추론될 수 있다.
일부 실시예들에서, 도 12에 도시된 바와 같이, 변수 slice_height_in_tiles_minus1에 1을 더한 것은 타일 행들의 단위로 i-번째 직사각형 슬라이스의 높이를 지정한다. 일부 실시예들에서, slice_height_in_tiles_minus1[i]의 값은 0 내지 NumTileRows - 1의 범위(해당 값들을 포함함)에 있어야 한다. 일부 실시예들에서, 변수 slice_height_in_tiles_minus1[i]가 존재하지 않을 때, 다음이 적용되는데: NumTileRows가 1과 동일하거나, 변수 tile_idx_delta_present_flag가 0이고 tileIdx % NumTileColumns가 0보다 큰 경우, slice_height_in_tiles_minus1[i]의 값은 0과 동일한 것으로 추론되고; 그렇지 않고(예컨대, NumTileRows가 1과 동일하지 않고 tile_idx_delta_present_flag가 1과 동일하거나 tileIdx % NumTileColumns가 0과 동일함), tile_idx_delta_present_flag가 1과 동일하거나 tileIdx % NumTileColumns가 0과 동일할 때, slice_height_in_tiles_minus1[i]의 값은 slice_height_in_tiles_minus1[i - 1]과 동일한 것으로 추론될 수 있다.
일부 실시예들에서, 도 12에 도시된 바와 같이, num_exp_slices_in_tile[i]의 값은 하나 초과의 직사각형 슬라이스를 포함하는 현재 타일 내 명시적으로 제공된 슬라이스 높이들의 수를 지정한다. 일부 실시예들에서, num_exp_slices_in_tile[i]의 값은 0 내지 RowHeight[tileY]-1의 범위(해당 값들을 포함함)에 있어야 하며, 여기서 tileY는 i-번째 슬라이스를 포함하는 타일 행 인덱스이다. 일부 실시예들에서, 존재하지 않을 때, num_exp_slices_in_tile[i]의 값은 0과 동일한 것으로 추론될 수 있다. 일부 실시예들에서, num_exp_slices_in_tile[i]가 0과 동일할 때, 변수 NumSliceInTile[i]의 값은 1과 동일한 것으로 도출된다.
일부 실시예들에서, 도 12에 도시된 바와 같이, exp_slice_height_in_ctus_minus1[j]에 1을 더한 값은 CTU 행 단위로 현재 타일 내 j-번째 직사각형 슬라이스의 높이를 지정한다. 일부 실시예들에서, exp_slice_height_in_ctus_minus1[ j ]의 값은 0 내지 RowHeight[ tileY ] - 1의 범위(해당 값들을 포함함)에 있어야 하며, 여기서 tileY는 현재 타일의 타일 행 인덱스이다.
일부 실시예들에서, 도 12에 도시된 바와 같이, 변수 num_exp_slices_in_tile[i]가 0보다 클 때, 변수 NumSlicesInTile[i] 및 0 내지 NumSlicesInTile[ i ] - 1 범위의 k에 대한 SliceHeightInCtusMinus1[i + k]가 도출될 수 있다. 일부 실시예들에서, 도 8에 도시된 바와 같이, num_exp_slices_in_tile[i]의 값이 0보다 클 때, NumSlicesInTile[i] 및 SliceHeightInCtusMinus1[i + k]의 값이 도출될 수 있다.
일부 실시예들에서, 도 12에 도시된 바와 같이, tile_idx_delta[i]의 값은 i-번째 직사각형 슬라이스 내 제1 타일의 타일 인덱스와 (i + 1)-번째 직사각형 슬라이스 내 제1 타일의 타일 인덱스 간의 차이를 지정한다. tile_idx_delta[ i ]의 값은 - NumTilesInPic + 1 내지 NumTilesInPic - 1의 범위(해당 값들을 포함함)에 있어야 한다. 일부 실시예들에서, 존재하지 않을 때, tile_idx_delta[ i ]의 값은 0과 동일한 것으로 추론될 수 있다. 일부 실시예들에서, 존재할 때, tile_idx_delta[ i ]의 값은 0과 동일하지 않은 것으로 추론될 수 있다.
VVC(예컨대, VVC 드래프트 8)에서, 화상에서 각각의 슬라이스를 로케이팅하기 위해, 하나 이상의 슬라이스 어드레스들이 슬라이스 헤더에서 시그널링될 수 있다. 도 13은 본 개시내용의 일부 실시예들에 따른 예시적인 슬라이스 헤더의 신택스를 도시한다. 도 13에 도시된 신택스는 VVC(예컨대, VVC 드래프트 8)에서 사용될 수 있다는 것이 인지된다. 도 11에 도시된 바와 같이, 비트스트림 내 신택스 요소들 또는 변수들은 굵게 도시된다. 도 13에 도시된 바와 같이, 변수 picture_header_in_slice_header_flag가 1과 동일한 경우, 화상 헤더 신택스 구조가 슬라이스 헤더에 존재한다.
도 14는 본 개시내용의 일부 실시예들에 따른 예시적인 슬라이스 헤더의 시맨틱들을 도시한다. 도 14에 도시된 시맨틱은 도 13에 도시된 신택스에 대응할 수 있다는 것이 인지된다. 일부 실시예들에서, 도 14에 도시된 시맨틱들은 VVC(예컨대, VVC 드래프트 8)에 대응한다.
일부 실시예들에서, 도 14에 도시된 바와 같이, picture_header_in_slice_header_flag의 값이 CLVS 내 모든 코딩된 슬라이스들에서 동일해야 한다는 것이 비트스트림 적합성의 요건이다.
일부 실시예들에서, 도 14에 도시된 바와 같이, 변수 picture_header_in_slice_header_flag가 코딩된 슬라이스에 대해 1과 동일할 때, PH_NUT와 동일한 nal_unit_type을 갖는 "VCL"(video coding layer) "NAL"(network abstraction layer) 유닛이 CLVS에 존재하지 않아야 하는 것은 비트스트림 적합성의 요건이다.
일부 실시예들에서, 도 14에 도시된 바와 같이, picture_header_in_slice_header_flag가 0과 동일할 때, 현재 화상 내 모든 코딩된 슬라이스들은 0과 동일한 picture_header_in_slice_header_flag를 가져야 하고 현재 PU는 PH NAL 유닛을 가져야 한다.
일부 실시예들에서, 도 14에 도시된 바와 같이, 변수 slice_address는 슬라이스의 슬라이스 어드레스를 지정할 수 있다. 일부 실시예들에서, 존재하지 않을 때, slice_address의 값은 0과 동일한 것으로 추론될 수 있다. 변수 rect_slice_flag가 1과 동일하고 NumSliceInSubpic[CurrSubpicIdx]가 1과 동일할 때, slice_address의 값은 0과 동일한 것으로 추론된다.
일부 실시예들에서, 도 14에 도시된 바와 같이, 변수 rect_slice_flag가 0과 동일한 경우, 다음이 적용될 수 있는데: 슬라이스 어드레스는 래스터 스캔 타일 인덱스일 수 있고; slice_address의 길이는 ceil( Log2(NumTilesInPic) ) 비트일 수 있고; 그리고 slice_address의 값은 0 내지 NumTilesInPic - 1의 범위(해당 값들을 포함함)에 있어야 한다.
일부 실시예들에서, 도 14에 도시된 바와 같이, 다음 제약들이 적용되는 것이 비트스트림 적합성의 요건인데: 변수 rect_slice_flag가 0과 동일하거나 변수 subpic_info_present_flag가 0과 동일한 경우, slice_address의 값은 동일한 코딩된 화상의 임의의 다른 코딩된 슬라이스 NAL 유닛의 slice_address의 값과 동일하지 않아야 하고; 그렇지 않으면, slice_subpic_id 및 slice_address 값들의 쌍은 동일한 코딩된 화상의 임의의 다른 코딩된 슬라이스 NAL 유닛의 slice_subpic_id 및 slice_address 값들의 쌍과 동일하지 않아야 한다.
일부 실시예들에서, 도 14에 도시된 바와 같이, 화상의 슬라이스들의 형상들은, 디코딩될 때 각각의 CTU가 화상 경계를 포함하거나 이전에 디코딩된 CTU(들)의 경계들을 포함하는 전체 좌측 경계 및 전체 최상부 경계를 가져야 하도록 이루어져야 한다.
일부 실시예들에서, 도 14에 도시된 바와 같이, 변수 slice_address는 다음 2개의 조건들: 직사각형 슬라이스 모드가 사용되고 현재 서브화상 내 슬라이스(들)의 수가 1보다 클 것; 또는 직사각형 슬라이스 모드가 사용되지 않고 현재 화상 내 타일들의 수가 1보다 클 것 중 하나가 충족되는 경우에만 시그널링될 수 있다. 일부 실시예들에서, 위의 두 조건들 중 어느 것도 충족되지 않는 경우, 현재 서브화상 또는 현재 화상 중 어느 하나에 단 하나의 슬라이스만이 존재한다. 이 경우에, 전체 서브화상 또는 전체 화상이 단일 슬라이스이기 때문에 슬라이스 어드레스를 시그널링할 필요가 없다.
VVC의 현재 설계와 관련하여 다수의 이슈들이 존재한다. 먼저 랩어라운드 오프셋 pps_ref_wraparound_offset이 비트스트림으로 시그널링되고, 패딩 전에 ERP 화상 폭으로 세팅되어야 한다. 비트들을 절약하기 위해, 랩어라운드 오프셋의 최소 값(예컨대, CtbSizeY / MinCbSizeY ) + 2)은 시그널링 전에 랩-어라운드 오프셋으로부터 감산된다. 그러나 패딩 영역의 폭은 오리지널 ERP 화상의 폭보다 훨씬 작다. 이는 패딩 영역의 폭이 0일 수 있는 ERP 화상들을 코딩하는 경우 특히 그렇다. 인코딩된 또는 디코딩될 화상의 전체 폭을 알고 있다는 점을 감안하면, 오리지널 ERP 부분의 폭 시그널링은 패딩 영역의 폭 시그널링보다 더 많은 비트가 들 수 있다. 결과적으로 MinCbSizeY의 단위로 오리지널 ERP 폭을 시그널링하는 랩어라운드 오프셋의 현재 시그널링은 효율적이지 않다.
더욱이, 슬라이스 레이아웃 시그널링이 또한 개선될 수 있다. 예컨대, 화상 내 슬라이스들의 수는 항상 1 이상이고 더 작은 양수 값을 시그널링하는 것은 더 적은 비트들을 소요하기 때문에, 슬라이스들의 수를 시그널링하기 전에 슬라이스들의 수로부터 1을 감산한다. 그러나, 현재 VVC(예컨대, VVC 드래프트 8)에서, 서브화상은 정수 개의 완전한 슬라이스들을 포함한다. 그 결과, 화상 내 슬라이스들의 수는 화상 내 서브화상들의 수 이상이다. 현재 VVC(예컨대, VVC 드래프트 8)에서, num_slices_in_pic_minus1은 변수 single_slice_per_subpic_flag가 0일 때만 시그널링되고, 변수 single_slice_per_subpic_flag가 0과 동일하다는 것은 하나 초과의 슬라이스를 포함하는 적어도 하나의 서브화상이 존재한다는 것을 의미한다. 따라서 이 경우에, 슬라이스 수는 최소 값이 1인 서브화상 수보다 커야 한다. 결과적으로 num_slices_in_pic_minus1의 최소 값은 0보다 크다. 범위가 0으로부터 시작하지 않는 비-음수 값을 시그널링하는 것을 효율적이지 않다.
또한, 슬라이스 어드레스 시그널링과 관련하여 다른 이슈들이 존재한다. 현재 화상에 단 하나의 슬라이스만이 존재할 때, 전체 서브화상 또는 전체 화상이 단일 슬라이스이기 때문에 슬라이스 어드레스를 시그널링할 필요가 없을 수 있다. 슬라이스 어드레스는 0인 것으로 추론될 수 있다. 그러나 슬라이스 어드레스 시그널링을 스킵하기 위한 2개의 조건들은 완전하지 않다. 예컨대, 래스터 스캔 슬라이스 모드에서, 타일들의 수가 1보다 크더라도, 화상 내 모든 타일들을 포함하는 단 하나의 슬라이스만이 존재할 수 있으며, 이 경우 슬라이스 어드레스 시그널링이 또한 회피될 수 있다.
본 개시내용의 실시예들은 위에서 설명된 이슈들을 방지하기 위한 방법들을 제공한다. 일부 실시예들에서, 패딩 영역의 폭은 일반적으로 랩-어라운드 모션 보상에서 랩-어라운드 오프셋과 동일할 수 있는 오리지널 ERP 화상의 폭보다 작기 때문에, 비트스트림에서 오리지널 ERP 화상 폭과 코딩된 화상 폭 사이의 차이를 시그널링하는 것이 제안될 수 있다. 예컨대, 비트스트림에서 코딩된 화상 폭과 랩-어라운드 모션 보상 오프셋 사이의 차이를 시그널링하고 디코더 측 상에서 랩어라운드 오프셋을 얻기 위해 시그널링된 차이를 파싱(parsing)한 후 추론을 수행하는 것이 제안될 수 있다. 코딩된 화상 폭과 랩어라운드 오프셋 간의 차이는 일반적으로 랩어라운드 오프셋 자체보다 작기 때문에, 이 방법은 시그널링되는 비트들을 절약할 수 있다.
도 15는 본 개시내용의 일부 실시예들에 따른 예시적인 개선된 화상 파라미터 세트의 신택스를 도시한다. 도 15에 도시된 바와 같이, 비트스트림 내 신택스 요소들 또는 변수들은 굵게 도시되고, 이전 VVC(예컨대, 도 7에 도시된 신택스)로부터의 변화들은 이탤릭체로 도시되고, 제안된 삭제된 신택스는 추가로 취소선으로 도시된다. 도 15에 도시된 바와 같이, 새로운 변수 pps_pic_width_minus_wraparound_offset이 생성될 수 있다. 변수 pps_pic_width_minus_wraparound_offset의 값은 pps_ref_wraparound_enabled_flag의 값에 따라 시그널링될 수 있다. 일부 실시예들에서, 새로운 변수 pps_pic_width_minus_wraparound_offset은 오리지널 VVC(예컨대, VVC 드래프트 8)의 변수 pps_ref_wraparound_offset을 대체할 수 있다.
도 16은 본 개시내용의 일부 실시예들에 따른 예시적인 개선된 화상 파라미터 세트의 시맨틱들을 도시한다. 도 16에 도시된 바와 같이, 이전 VVC(예컨대, 도 8에 도시된 시맨틱들)로부터의 변화들은 이탤릭체로 도시되고 제안된 삭제된 신택스는 취소선으로 추가로 도시된다. 도 16에 도시된 시맨틱은 도 15에 도시된 신택스에 대응할 수 있다는 것이 인지된다. 일부 실시예들에서, 도 16에 도시된 시맨틱들은 VVC(예컨대, VVC 드래프트 8)에 대응한다.
도 16에 도시된 바와 같이, 새로운 변수 pps_pic_width_minus_wraparound_offset에 대한 시맨틱들은 (예컨대, 도 8에 도시된 바와 같은) 변수 pps_ref_wraparound_offset과 상이하다. 변수 pps_pic_width_minus_wraparound_offset은 MinCbSizeY 루마 샘플들의 단위로 수평 랩-어라운드 포지션을 컴퓨팅하는 데 사용되는 오프셋과 화상 폭 간의 차이를 지정할 수 있다. 일부 실시예들에서, 도 16에 도시된 바와 같이, pps_pic_width_minus_wraparound_offset의 값은 ( pic_width_in_luma_samples / MinCbSizeY ) - ( CtbSizeY / MinCbSizeY ) - 2 이하여야 한다. 일부 실시예들에서, 변수 PpsRefWraparoundOffset은 pic_width_in_luma_samples/MinCbSizeY - pps_pic_width_minus_wraparound_offset과 동일하도록 세팅될 수 있다.
일부 실시예들에서, 플래그 wraparound_offset_type은 시그널링된 랩어라운드 오프셋 값이 오리지널 ERP 화상 폭인지 또는 코딩된 화상 폭과 오리지널 ERP 화상 폭 사이의 차이인지를 표시하기 위해 시그널링될 수 있다. 인코더는 이 두 값들 중 더 작은 하나를 선택하고 이를 비트스트림에서 시그널링하여서, 시그널링 오버헤드가 추가로 감소될 수 있다. 도 17은 본 개시내용의 일부 실시예들에 따라, 변수 wraparound_offset_type을 갖는 예시적인 화상 파라미터 세트의 신택스를 도시한다. 도 17에 도시된 바와 같이, 비트스트림 내 신택스 요소들 또는 변수들은 굵게 도시되고, 이전 VVC(예컨대, 도 7에 도시된 신택스)로부터의 변화들은 이탤릭체로 도시된다. 도 17에 도시된 바와 같이, 새로운 변수 pps_ref_wraparound_offset이 추가되어 PpsRefWraparoundOffset을 결정하는 데 사용되는 값을 지정할 수 있다.
도 18은 본 개시내용의 일부 실시예들에 따라, 변수 wraparound_offset_type을 갖는 예시적인 개선된 화상 파라미터 세트의 시맨틱들을 도시한다. 도 18에 도시된 바와 같이, 이전 VVC(예컨대, 도 8에 도시된 시맨틱들)로부터의 변화들은 이탤릭체로 도시되고 제안된 삭제된 신택스는 취소선으로 추가로 도시된다. 도 18에 도시된 시맨틱은 도 17에 도시된 신택스에 대응할 수 있다는 것이 인지된다. 일부 실시예들에서, 도 18에 도시된 시맨틱들은 VVC(예컨대, VVC 드래프트 8)에 대응한다.
일부 실시예들에서, 도 18에 도시된 바와 같이, 새로운 변수 wraparound_offset_type이 추가되어 변수 pps_ref_wraparound_offset의 유형을 지정할 수 있다. pps_ref_wraparound_offset의 값은 0 내지 (( pps_pic_width_in_luma_samples / MinCbSizeY) - ( CtbSizeY / MinCbSizeY ) - 2) / 2의 범위에 있어야 한다.
일부 실시예들에서, 도 18에 도시된 바와 같이, 변수 PpsRefWraparoundOffset의 값이 도출될 수 있다. 예컨대, 변수 wraparound_offset_type이 0과 동일할 때, 시그널링된 랩어라운드 오프셋 값은 오리지널 ERP 화상 폭이다. 결과적으로, 변수 PpsRefWraparoundOffset은 pps_ref_wraparound_offset + ( CrbSizeY / MinCbSizeY ) + 2와 동일하다. 변수 wraparound_offset_type이 0과 동일하지 않을 때, 시그널링된 랩어라운드 오프셋 값은 코딩된 화상 폭과 오리지널 ERP 화상 폭 사이의 차이이다. 결과적으로 변수 PpsRefWraparoundOffset은 pps_pic_width_in_luma_samples/MinCbSizeY - pps_ref_wraparound_offset과 동일하다.
이전 VVC(예컨대, VVC 드래프트 8)에서, 변수 single_slice_per_subpic_flag가 0일 때 슬라이스들의 수는 PPS에서 시그널링되며, 이는 하나 초과의 슬라이스를 포함하는 적어도 하나의 서브화상이 존재함을 의미한다. 이 경우에, 슬라이스들의 수는, 각각의 서브화상이 하나 이상의 완전한 슬라이스들을 포함해야 한다는 점을 고려하면 서브화상의 수보다 클 필요가 있으며, 이는 결과적으로 슬라이스들의 최소 수가 2가 되게 한다. 이는 하나의 화상에 적어도 하나의 서브화상이 있기 때문이다.
본 개시내용의 실시예들은 슬라이스 수들의 시그널링을 개선하기 위한 방법들을 제공한다. 도 19는 본 개시내용의 일부 실시예들에 따라, 변수 num_slices_in_pic_minus2를 갖는 예시적인 화상 파라미터 세트의 신택스를 도시한다. 도 19에 도시된 바와 같이, 비트스트림 내 신택스 요소들 또는 변수들은 굵게 도시되고, 이전 VVC(예컨대, 도 11에 도시된 신택스)로부터의 변화들은 이탤릭체로 도시되고, 제안된 삭제된 신택스는 추가로 취소선으로 도시된다. 도 19에 도시된 바와 같이, 새로운 변수 num_slices_in_pic_minus2가 PpsRefWraparoundOffset을 결정하는데 사용되는 값을 지정하기 위해 추가될 수 있다.
도 20은 본 개시내용의 일부 실시예들에 따라, 변수 num_slices_in_pic_minus2를 갖는 예시적인 개선된 화상 파라미터 세트의 시맨틱들을 도시한다. 도 20에 도시된 바와 같이, 이전 VVC(예컨대, 도 12에 도시된 시맨틱들)로부터의 변화들은 이탤릭체로 도시되고 제안된 삭제된 신택스는 취소선으로 추가로 도시된다. 도 20에 도시된 시맨틱은 도 19에 도시된 신택스에 대응할 수 있다는 것이 인지된다. 일부 실시예들에서, 도 20에 도시된 시맨틱들은 VVC(예컨대, VVC 드래프트 8)에 대응한다.
일부 실시예들에서, 도 20에 도시된 바와 같이, 변수 num_slices_in_pic_minus2에 2를 더한 값은 PPS를 참조하는 각각의 화상 내 직사각형 슬라이스들의 수를 지정할 수 있다. 일부 실시예들에서, 도 20에 도시된 바와 같이, 변수 num_slices_in_pic_minus2는 변수 num_slices_in_pic_minus_1을 대체할 수 있다. 일부 실시예들에서, num_slices_in_pic_minus2에 2를 더한 값은 0 내지 MaxSlicesPerPicture - 2의 범위(해당 값들을 포함함)에 있어야 하며, 여기서 MaxSlicesPerPicture는 VVC(예컨대, VVC 드래프트 8)에서 지정된다. 변수 no_pic_partition_flag가 1과 동일할 때, num_slices_in_pic_minus2의 값은 -1과 동일한 것으로 추론된다.
일부 실시예들에서, 슬라이스 수들은 슬라이스 수에서 서브화상 수를 빼고 나서 1을 뺀 변수(예컨대, num_slices_in_pic_minus_subpic_num_minus1)를 사용하여 시그널링될 수 있다. 도 21은 본 개시내용의 일부 실시예들에 따라, 변수 num_slices_in_pic_minus_subpic_num_minus1를 갖는 예시적인 화상 파라미터 세트의 신택스를 도시한다. 도 21에 도시된 바와 같이, 비트스트림 내 신택스 요소들 또는 변수들은 굵게 도시되고, 이전 VVC(예컨대, 도 11에 도시된 신택스)로부터의 변화들은 이탤릭체로 도시되고, 제안된 삭제된 신택스는 추가로 취소선으로 도시된다.
도 22는 본 개시내용의 일부 실시예들에 따라, 변수 num_slices_in_pic_minus_subpic_num_minus1을 갖는 예시적인 개선된 화상 파라미터 세트의 시맨틱들을 도시한다. 도 22에 도시된 바와 같이, 이전 VVC(예컨대, 도 12에 도시된 시맨틱들)로부터의 변화들은 이탤릭체로 도시되고 제안된 삭제된 신택스는 취소선으로 추가로 도시된다. 도 22에 도시된 시맨틱은 도 21에 도시된 신택스에 대응할 수 있다는 것이 인지된다. 일부 실시예들에서, 도 22에 도시된 시맨틱들은 VVC(예컨대, VVC 드래프트 8)에 대응한다.
VVC(예컨대, VVC 드래프트 8)에서, 변수 single_slice_per_subpic_flag가 0과 동일한 경우 ― 이는 하나 초과의 슬라이스를 포함하는 적어도 하나의 서브화상이 있다는 것을 진술하는 것과 동일할 수 있음 ― 에만 슬라이스들의 수가 PPS에서 시그널링된다. 따라서 서브화상은 하나 이상의 완전한 슬라이스들을 포함해야 하기 때문에, 슬라이스들의 수는 서브화상들의 수보다 커야 한다. 결과적으로, 최소 슬라이스 수는 서브화상들의 수에 1을 더한 것과 동일하다. 도 21 및 도 22에 도시된 바와 같이, 슬라이스 수에서 서브화상 수를 빼고 나서 1을 뺀 것(예컨대, num_slices_in_pic_minus_subpic_num_minus1)은 시그널링되는 비트 수를 감소시키기 위해 슬라이스 수에서 1을 뺀 것(예컨대, num_slices_in_pic_minus1) 대신에 시그널링된다.
일부 실시예들에서, 도 22에 도시된 바와 같이, num_slices_in_pic_minus_subpic_num_minus1에 서브화상 수를 더하고 1을 더한 값은 PPS를 참조하는 각각의 화상 내 직사각형 슬라이스들의 수를 지정할 수 있다. 일부 실시예들에서, num_slices_in_pic_minus_subpic_num_minus1의 값은 0 내지 MaxSlicesPerPicture에서 sps_num_subpics_minus1를 빼고 2를 뺀 것의 범위(해당 값들을 포함함)에 있어야 하며, 여기서 MaxSlicesPerPicture는 VVC(예컨대, VVC 드래프트 8)에서 지정될 수 있다. 일부 실시예들에서, num_slices_in_pic_minus_subpic_num_minus1의 값은 변수 no_pic_partition_flag가 1과 동일할 때 (sps_num_subpics_minus1 + 1)과 동일한 것으로 추론될 수 있다. 일부 실시예들에서, 변수 SliceNumInPic은 SliceNumInPic = num_slices_in_pic_minus_subpic_num_minus1 + sps_num_subpics_minus1 + 2로서 도출될 수 있다.
본 개시내용의 실시예들은 추가로 슬라이스 어드레스들을 시그널링하는 새로운 방식을 제공한다. 도 23은 본 개시내용의 일부 실시예들에 따른 예시적인 업데이트된 슬라이스 헤더의 신택스를 도시한다. 도 23에 도시된 바와 같이, 비트스트림 내 신택스 요소들 또는 변수들은 굵게 도시되고, 이전 VVC로부터의 변화들(예컨대, 도 13에 도시된 신택스)은 이탤릭체로 도시되고, 제안된 삭제된 신택스는 추가로 취소선으로 도시된다.
일부 실시예들에서, 도 23에 도시된 바와 같이, 변수 picture_header_in_slice_header_flag는 PH 신택스 구조가 슬라이스 헤더 내에 존재하는지를 표시하기 위해 슬라이스 헤더에서 시그널링될 수 있다. VVC(예컨대, VVC 드래프트 8)에서, 슬라이스 헤더 내 PH 신택스 구조의 존재 및 하나의 화상 내 슬라이스들의 수에 대한 제약이 있다. PH 신택스 구조가 슬라이스 헤더에 존재할 때, 화상은 단 하나의 슬라이스만을 가져야 한다. 따라서 슬라이스 어드레스를 시그널링할 필요가 또한 없다. 결과적으로, 슬라이스 어드레스의 시그널링은 picture_header_in_slice_header_flag를 조건으로 할 수 있다. 도 23에 도시된 바와 같이, picture_header_in_slice_header_flag의 값은 변수 slice_address를 시그널링할지 여부를 결정하기 위한 다른 조건으로서 사용될 수 있다. picture_header_in_slice_header_flag가 1과 동일할 때 변수 slice_address의 시그널링은 스킵된다. 일부 실시예들에서, 변수 slice_address가 시그널링되지 않을 때, 그것은 0인 것으로 추론될 수 있다.
본 개시내용의 실시예들은 추가로, 비디오 코딩을 수행하기 위한 방법들을 제공한다. 도 24는 본 개시내용의 일부 실시예들에 따라, 비디오 프레임의 폭과 수평 랩-어라운드 포지션을 컴퓨팅하는데 사용되는 오프셋 사이의 차이를 시그널링하는 변수를 갖는 예시적인 비디오 코딩 방법의 흐름도를 도시한다. 일부 실시예들에서, 도 24에 도시된 방법(24000)은 도 4에 도시된 장치(400)에 의해 수행될 수 있다. 일부 실시예들에서, 도 24에 도시된 방법(24000)은 도 15에 도시된 신택스 또는 도 16에 도시된 시맨틱들에 따라 실행될 수 있다. 일부 실시예들에서, 도 24에 도시된 방법(24000)은 VVC 표준에 따라 수행되는 랩-어라운드 모션 보상 프로세스를 포함한다. 일부 실시예들에서, 도 24에 도시된 방법(24000)은 입력으로서 360도 비디오 시퀀스를 사용하여 수행될 수 있다.
단계(S24010)에서, 랩-어라운드 모션 보상 플래그가 수신되며, 여기서 랩-어라운드 모션 보상 플래그는 화상과 연관된다. 예컨대, 도 15 또는 도 16에 도시된 바와 같이, 랩-어라운드 모션 보상 플래그는 변수 pps_ref_wraparound_enabled_flag일 수 있다. 일부 실시예들에서, 화상은 비트스트림에 있다. 일부 실시예들에서, 화상은 360도 비디오의 일부이다.
단계(S24020)에서, 랩-어라운드 모션 보상 플래그가 인에이블되는지가 결정된다. 예컨대, 도 15에 도시된 바와 같이, 변수 pps_ref_wraparound_enabled_flag가 1과 동일한지가 결정된다.
단계(S24030)에서, 랩-어라운드 모션 보상 플래그가 인에이블된다는 결정에 대한 응답으로, 화상의 폭과 수평 랩-어라운드 포지션을 결정하는 데 사용되는 오프셋 간의 차이가 수신된다. 예컨대, 도 15에 도시된 바와 같이, 변수 pps_ref_wraparound_enabled_flag가 1인 것으로 결정될 때, 변수 pps_pic_width_minus_wraparound_offset이 수신되거나 시그널링될 수 있다. 일부 실시예들에서, 차이는 화상의 폭을 최소 루마 코딩 블록의 크기로 나눈 것에서, 루마 코딩 트리 블록의 크기를 최소 루마 코딩 블록의 크기로 나눈 것을 빼고 2를 뺀 것 이하이다.
일부 실시예들에서, S24030에서, 차이를 수신하는 것은 랩어라운드 오프셋 유형 플래그를 수신하는 것을 포함한다. 예컨대, 도 17 및 도 18에 도시된 바와 같이, 플래그 wraparound_offset_type은 시그널링된 랩어라운드 오프셋 값이 오리지널 ERP 화상 폭인지 또는 코딩된 화상 폭과 오리지널 ERP 화상 폭 사이의 차이인지를 표시하기 위해 시그널링될 수 있다. 일부 실시예들에서, 도 17 및 도 18에 도시된 바와 같이, 플래그 wraparound_offset_type은 값들 0 또는 1로 이루어질 수 있다.
단계(S24040)에서, 랩-어라운드 모션 보상 플래그 및 차이에 따라 화상에 대한 모션 보상이 수행된다. 예컨대, 화상에 대한 모션 보상은 도 15 및 도 16에 도시된 변수들 pps_ref_wraparound_enabled_flag 및 pps_pic_width_minus_wraparound_offset에 따라 수행될 수 있다. 일부 실시예들에서, 모션 보상을 수행하는 것은 또한 화상의 폭 및 차이에 따라 랩어라운드 모션 보상 오프셋을 결정하는 것 그리고 랩어라운드 모션 보상 오프셋에 따라 화상에 대해 모션 보상을 수행하는 것을 포함한다. 일부 실시예들에서, 랩어라운드 모션 보상 오프셋은 화상의 폭을 최소 루마 코딩 블록의 크기로 나누고 차이를 뺀 것으로서 결정될 수 있다.
도 25는 본 개시내용의 일부 실시예들에 따라, 비디오 프레임 내 슬라이스의 수에서 2를 뺀 것을 시그널링하는 변수를 갖는 예시적인 비디오 코딩 방법의 흐름도를 도시한다. 일부 실시예들에서, 도 25에 도시된 방법(25000)은 도 4에 도시된 장치(400)에 의해 수행될 수 있다. 일부 실시예들에서, 도 25에 도시된 방법(25000)은 도 19에 도시된 신택스 또는 도 20에 도시된 시맨틱들에 따라 실행될 수 있다. 일부 실시예들에서, 도 25에 도시된 방법(25000)은 VVC 표준에 따라 수행될 수 있다.
단계(S25010)에서, 화상이 코딩을 위해 수신된다. 일부 실시예들에서, 화상은 하나 이상의 슬라이스들을 포함할 수 있다. 일부 실시예들에서, 화상은 비트스트림에 있다. 일부 실시예들에서, 하나 이상의 슬라이스들은 직사각형 슬라이스들이다.
단계(S25020)에서, 화상 내 슬라이스들의 수에서 2를 뺀 것을 표시하는 변수가 화상의 화상 파라미터 세트에서 시그널링된다. 예컨대, 변수는 도 19 또는 도 20에 도시된 num_slices_in_pic_minus2일 수 있다. 일부 실시예들에서, 변수에 2를 더한 값은 각각의 화상 내 직사각형 슬라이스들의 수를 지정할 수 있다. 일부 실시예들에서, 변수는 PPS의 일부이다. 일부 실시예들에서, 도 20에 도시된 시맨틱과 유사하게, 변수 num_slices_in_pic_minus2는 변수 num_slices_in_pic_minus_1을 대체할 수 있다.
도 26은 본 개시내용의 일부 실시예들에 따라, 비디오 프레임 내 슬라이스들의 수에서 비디오 프레임 내 서브화상의 수를 빼고 1을 뺀 것을 표시하는 변수를 시그널링하는 변수를 갖는 예시적인 비디오 코딩 방법의 흐름도를 도시한다. 일부 실시예들에서, 도 26에 도시된 방법(26000)은 도 4에 도시된 장치(400)에 의해 수행될 수 있다. 일부 실시예들에서, 도 26에 도시된 방법(26000)은 도 21에 도시된 신택스 또는 도 22에 도시된 시맨틱들에 따라 실행될 수 있다. 일부 실시예들에서, 도 26에 도시된 방법(26000)은 VVC 표준에 따라 수행될 수 있다.
단계(S26010)에서, 화상이 코딩을 위해 수신된다. 일부 실시예들에서, 화상은 하나 이상의 슬라이스들 및 하나 이상의 서브화상들을 포함할 수 있다. 일부 실시예들에서, 비디오 프레임은 비트스트림에 있다. 일부 실시예들에서, 하나 이상의 슬라이스들은 직사각형 슬라이스들이다.
단계(S26020)에서, 화상 내 슬라이스들의 수에서 화상 내 서브화상들의 수를 빼고 1을 뺀 것을 표시하는 변수가 화상의 화상 파라미터 세트에서 시그널링된다. 예컨대, 변수는 도 21 또는 도 22에 도시된 num_slices_in_pic_minus_subpic_num_minus1일 수 있다. 일부 실시예들에서, 최소 슬라이스 수는 서브화상들의 수에 1을 더한 것과 동일할 수 있다. 일부 실시예들에서, 도 21 및 도 22에 도시된 바와 같이, 슬라이스 수에서 서브화상 수를 빼고 나서 1을 뺀 것(예컨대, num_slices_in_pic_minus_subpic_num_minus1)은 시그널링되는 비트 수를 감소시키기 위해 슬라이스 수에서 1을 뺀 것(예컨대, num_slices_in_pic_minus1) 대신에 시그널링될 수 있다. 일부 실시예들에서, 변수는 PPS의 일부이다. 일부 실시예들에서, 도 22에 도시된 바와 같이, num_slices_in_pic_minus_subpic_num_minus1에 서브화상 수를 더하고 1을 더한 값은 PPS를 참조하는 각각의 화상 내 직사각형 슬라이스들의 수를 지정할 수 있다. 일부 실시예들에서, 도 20에 도시된 시맨틱과 유사하게, 변수 num_slices_in_pic_minus2는 변수 num_slices_in_pic_minus_1을 대체할 수 있다.
일부 실시예들에서, 단계(S26020)에 도시된 바와 같이, 화상 내 슬라이스들의 수를 표시하는 변수는, 비디오 프레임 내 슬라이스의 수에서 비디오 프레임 내 서브화상들의 수를 빼고 1을 뺀 것을 표시하는 변수에 따라 결정될 수 있다. 예컨대, 도 21 및 도 22에 도시된 바와 같이, 플래그 또는 변수 SliceNumInPic는 변수 num_slices_in_pic_minus_subpic_num_minus1에 따라 도출될 수 있다.
도 27은 본 개시내용의 일부 실시예들에 따라, 화상 헤더 신택스 구조가 비디오 프레임의 슬라이스 헤더 내에 존재하는지를 표시하는 변수를 갖는 예시적인 비디오 코딩 방법의 흐름도를 도시한다. 일부 실시예들에서, 도 27에 도시된 방법(27000)은 도 4에 도시된 장치(400)에 의해 수행될 수 있다. 일부 실시예들에서, 도 27에 도시된 방법(27000)은 도 23에 도시된 신택스에 따라 실행될 수 있다. 일부 실시예들에서, 도 27에 도시된 방법(27000)은 VVC 표준에 따라 수행될 수 있다.
단계(S27010)에서, 화상이 코딩을 위해 수신된다. 화상은 하나 이상의 슬라이스들을 포함한다. 일부 실시예들에서, 화상은 비트스트림에 있다. 일부 실시예들에서, 하나 이상의 슬라이스들은 직사각형 슬라이스들이다.
단계(S27020)에서, 화상에 대한 화상 헤더 신택스 구조가 하나 이상의 슬라이스들에 대한 슬라이스 헤더 내에 존재하는지를 표시하는 변수가 시그널링된다. 예컨대, 변수는 도 23에 도시된 picture_header_in_slice_header_flag일 수 있다. 일부 실시예들에서, 도 23에 도시된 바와 같이, PH 신택스 구조가 슬라이스 헤더에 존재할 때, 화상은 단 하나의 슬라이스만을 가져야 한다. 따라서 슬라이스 어드레스를 시그널링할 필요가 또한 없다. 결과적으로, 슬라이스 어드레스의 시그널링은 변수 picture_header_in_slice_header_flag를 조건으로 할 수 있다. 일부 실시예들에서, 변수는 PPS의 일부이다.
일부 실시예들에서, 명령들을 포함하는 비-일시적 컴퓨터-판독 가능 저장 매체가 또한 제공되고, 명령들은 위에서 설명된 방법들을 수행하기 위한 디바이스(이를테면, 개시된 인코더 및 디코더)에 의해 실행될 수 있다. 비-일시적 매체들의 일반적인 형태들은, 예컨대, 플로피 디스크, 플렉서블 디스크, 하드 디스크, 솔리드 스테이트 드라이브, 자기 테이프 또는 임의의 다른 자기 데이터 저장 매체, CD-ROM, 임의의 다른 광학 데이터 저장 매체, 구멍들의 패턴들을 갖는 임의의 물리적 매체, RAM, PROM 및 EPROM, FLASH-EPROM 또는 임의의 다른 플래시 메모리, NVRAM, 캐시, 레지스터, 임의의 다른 메모리 칩 또는 카트리지 및 이의 네트워킹된 버전들을 포함한다. 디바이스는 하나 이상의 프로세서들(CPU들), 입력/출력 인터페이스, 네트워크 인터페이스 및/또는 메모리를 포함할 수 있다.
본원에서 "제1" 및 "제2"와 같은 관계 용어들은 엔티티 또는 동작을 다른 엔티티 또는 동작으로부터 구별하기 위해서만 사용되며, 이러한 엔티티들 또는 동작들 사이의 임의의 실제 관계 또는 시퀀스를 요구하거나 암시하지 않는다는 것이 주의되어야 한다. 또한, "포함하는(comprising)", "갖는(having)", "함유하는(containing)" 및 "포함하는(including)"이라는 단어들 및 다른 유사한 형태들은 의미가 동등하고 이러한 단어들 중 임의의 것을 뒤따르는 아이템 또는 아이템들이 그러한 아이템 또는 아이템들의 총망라하는 목록을 의미하거나 나열된 아이템 또는 아이템들만으로 제한되는 것을 의미하지 않는다는 점에서 개방형(open ended)인 것으로 의도된다.
본원에서 사용되는 바와 같이, 달리 구체적으로 언급되지 않는 한, 용어 "또는"은 실행 불가능한 경우를 제외하고 모든 가능한 조합들을 포괄한다. 예컨대, 데이터베이스가 A 또는 B를 포함할 수 있다고 언급되는 경우, 구체적으로 달리 언급되거나 실행 불가능하지 않다면, 데이터베이스는 A 또는 B 또는 A 및 B를 포함할 수 있다. 제2의 예로서, 데이터베이스가 A, B 또는 C를 포함할 수 있다고 언급되는 경우, 구체적으로 달리 언급되거나 실행 불가능하지 않다면, 데이터베이스는 A 또는 B 또는 C 또는 A와 B 또는 A와 C 또는 B와 C 또는 A와 B와 C를 포함할 수 있다.
위에서 설명된 실시예들은 하드웨어, 또는 소프트웨어(프로그램 코드들) 또는 하드웨어 및 소프트웨어의 조합에 의해 구현될 수 있다는 것이 인지된다. 소프트웨어에 의해 구현되는 경우, 이는 위에서 설명된 컴퓨터-판독 가능 매체들에 저장될 수 있다. 프로세서에 의해 실행될 때, 소프트웨어는 개시된 방법들을 수행할 수 있다. 본 개시내용에서 설명된 컴퓨팅 유닛들 및 다른 기능 유닛들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합에 의해 구현될 수 있다. 당업자는 또한 위에서 설명된 모듈들/유닛들 중 다수가 하나의 모듈/유닛으로서 결합될 수 있고, 위에서 설명된 모듈들/유닛들 각각은 복수의 서브-모듈들/서브-유닛들로 추가로 분할될 수 있다는 것을 이해할 것이다.
전술한 명세서에서, 실시예들은 구현마다 변동될 수 있는 수많은 특정 세부사항들을 참조하여 설명되었다. 설명된 실시예들의 특정 적응들 및 수정들이 이루어질 수 있다. 다른 실시예들은 본원에서 개시된 발명의 실시 및 명세서를 고려하여 당업자들에게 명백해질 수 있다. 본 명세서 및 예들은 단지 예시적인 것으로서만 고려되며, 본 발명의 실제 범위 및 사상은 다음의 청구항들에 의해 표시되는 것으로 의도된다. 또한 도면들에 도시된 단계들의 시퀀스는 단지 예시를 위한 것으로 의도되며 단계들의 임의의 특정 시퀀스로 제한되는 것으로 의도되지 않는다. 따라서, 당업자들은 이러한 단계들이 동일한 방법을 구현하면서 상이한 순서로 수행될 수 있다는 것을 인지할 수 있다.
실시예들은 다음 조항(clauses)을 사용하여 추가로 설명될 수 있다:
1. 비디오 디코딩을 위한 방법으로서,
랩-어라운드 모션 보상 플래그를 수신하는 단계;
랩-어라운드 모션 보상 플래그에 기초하여 랩-어라운드 모션 보상이 인에이블되는지를 결정하는 단계;
랩-어라운드 모션 보상이 인에이블된다는 결정에 대한 응답으로, 수평 랩-어라운드 포지션을 결정하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 수신하는 단계; 및
랩-어라운드 모션 보상 플래그 및 차이에 따라 모션 보상을 수행하는 단계를 포함하는,
비디오 디코딩을 위한 방법.
2. 조항 1에 있어서,
차이는 최소 루마 코딩 블록의 크기의 단위들인,
비디오 디코딩을 위한 방법.
3. 조항 2에 있어서,
차이는 (pps_pic_width_in_luma_samples/MinCbSizeY) - (CtbSizeY/MinCbSizeY) - 2 이하이며, 여기서 pps_pic_width_in_luma_samples는 루마 샘플들의 단위들의 화상의 폭이고, MinCbSizeY는 최소 루마 코딩 블록의 크기이고, CtbSizeY는 루마 코딩 트리 블록의 크기인,
비디오 디코딩을 위한 방법.
4. 조항 1에 있어서,
모션 보상을 수행하는 단계는,
화상의 폭 및 차이에 따라 랩-어라운드 모션 보상 오프셋을 결정하는 단계; 및
랩-어라운드 모션 보상 오프셋에 따라 모션 보상을 수행하는 단계를 더 포함하는,
비디오 디코딩을 위한 방법.
5. 조항 4에 있어서,
화상의 폭 및 차이에 따라 랩-어라운드 모션 보상 오프셋을 결정하는 단계는,
제1 값을 생성하기 위해 루마 샘플들의 단위들의 화상의 폭을 최소 루마 코딩 블록의 크기로 나누는 단계; 및
제1 값에서 차이를 뺀 것과 동일한 것으로서 랩-어라운드 모션 보상 오프셋을 결정하는 단계를 더 포함하는,
비디오 디코딩을 위한 방법.
6. 조항 1에 있어서,
차이를 표시하는 데이터를 수신하는 단계는,
랩-어라운드 오프셋 유형 플래그를 수신하는 단계;
랩-어라운드 오프셋 유형 플래그가 제1 값 또는 제2 값과 동일한지를 결정하는 단계;
랩-어라운드 오프셋 유형 플래그가 제1 값과 동일하다는 결정에 대한 응답으로, 수평 랩-어라운드 포지션을 컴퓨팅하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 수신하는 단계; 및
랩-어라운드 오프셋 유형 플래그가 제2 값과 동일하다는 결정에 대한 응답으로, 수평 랩-어라운드 포지션을 컴퓨팅하기 위해 사용된 오프셋을 표시하는 데이터를 수신하는 단계를 더 포함하는,
비디오 디코딩을 위한 방법.
7. 조항 6에 있어서,
제1 값 및 제2 값 각각은 0 또는 1인,
비디오 디코딩을 위한 방법.
8. 조항 1에 있어서,
모션 보상은 다용도 비디오 코딩(versatile video coding) 표준에 따라 수행되는,
비디오 디코딩을 위한 방법.
9. 조항 1에 있어서,
화상은 360도 비디오 시퀀스의 일부인,
비디오 디코딩을 위한 방법.
10. 조항 1에 있어서,
랩-어라운드 모션 보상 플래그 및 차이는 PPS(Picture Parameter Set)에서 시그널링되는,
비디오 디코딩을 위한 방법.
11. 비디오 디코딩을 위한 방법으로서,
랩-어라운드 모션 보상이 인에이블되는지를 표시하는 랩-어라운드 모션 보상 플래그를 시그널링하는 단계;
랩-어라운드 모션 보상이 인에이블됨을 랩-어라운드 모션 보상 플래그가 표시하는 것에 대한 응답으로, 수평 랩-어라운드 포지션을 결정하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 시그널링하는 단계; 및
랩-어라운드 모션 보상 플래그 및 차이에 따라 모션 보상을 수행하는 단계를 포함하는,
비디오 디코딩을 위한 방법.
12. 조항 11에 있어서,
차이는 최소 루마 코딩 블록의 크기의 단위들인,
비디오 디코딩을 위한 방법.
13. 조항 12에 있어서,
차이는 (pps_pic_width_in_luma_samples/MinCbSizeY) - (CtbSizeY/MinCbSizeY) - 2 이하이며, 여기서 pps_pic_width_in_luma_samples는 루마 샘플들의 단위들의 화상의 폭이고, MinCbSizeY는 최소 루마 코딩 블록의 크기이고, CtbSizeY는 루마 코딩 트리 블록의 크기인,
비디오 디코딩을 위한 방법.
14. 조항 11에 있어서,
모션 보상을 수행하는 단계는,
화상의 폭 및 차이에 따라 랩-어라운드 모션 보상 오프셋을 결정하는 단계; 및
랩-어라운드 모션 보상 오프셋에 따라 모션 보상을 수행하는 단계를 더 포함하는,
비디오 디코딩을 위한 방법.
15. 조항 14에 있어서,
화상의 폭 및 차이에 따라 랩-어라운드 모션 보상 오프셋을 결정하는 단계는,
제1 값을 생성하기 위해 루마 샘플들의 단위들의 화상의 폭을 최소 루마 코딩 블록의 크기로 나누는 단계; 및
제1 값에서 차이를 뺀 것과 동일한 것으로서 랩-어라운드 모션 보상 오프셋을 결정하는 단계를 더 포함하는,
비디오 디코딩을 위한 방법.
16. 조항 11에 있어서,
차이를 표시하는 데이터를 시그널링하는 단계는,
랩-어라운드 오프셋 유형 플래그를 시그널링하는 단계 ― 랩-어라운드 오프셋 유형 플래그의 값은 제1 값 또는 제2 값일 수 있음 ― ;
랩-어라운드 오프셋 유형 플래그가 제1 값과 동일한 것에 대한 응답으로, 수평 랩-어라운드 포지션을 컴퓨팅하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 시그널링하는 단계; 및
랩-어라운드 오프셋 유형 플래그가 제2 값과 동일한 것에 대한 응답으로, 수평 랩-어라운드 포지션을 컴퓨팅하기 위해 사용된 오프셋을 표시하는 데이터를 시그널링하는 단계를 더 포함하는,
비디오 디코딩을 위한 방법.
17. 조항 16에 있어서,
제1 값 및 제2 값 각각은 0 또는 1인,
비디오 디코딩을 위한 방법.
18. 조항 11에 있어서,
모션 보상은 다용도 비디오 코딩 표준에 따라 수행되는,
비디오 디코딩을 위한 방법.
19. 조항 11에 있어서,
화상은 360도 비디오 시퀀스의 일부인,
비디오 디코딩을 위한 방법.
20. 조항 11에 있어서,
랩-어라운드 모션 보상 플래그 및 차이는 PPS(Picture Parameter Set)에서 시그널링되는,
비디오 디코딩을 위한 방법.
21. 비디오 코딩을 위한 방법으로서,
코딩을 위한 화상을 수신하는 단계 ― 화상은 하나 이상의 슬라이스들을 포함함 ― ; 및
화상의 화상 파라미터 세트에서, 비디오 프레임 내 슬라이스들의 수에서 2를 뺀 것을 표시하는 변수를 시그널링하는 단계를 포함하는,
비디오 코딩을 위한 방법.
22. 조항 21에 있어서,
화상은 비트스트림에 있는,
비디오 코딩을 위한 방법.
23. 조항 21에 있어서,
화상은 다용도 비디오 코딩 표준에 따라 코딩되는,
비디오 코딩을 위한 방법.
24. 조항 21에 있어서,
하나 이상의 슬라이스들은 직사각형 슬라이스들인,
비디오 코딩을 위한 방법.
25. 비디오 코딩을 위한 방법으로서,
코딩을 위한 화상을 수신하는 단계 ― 화상은 하나 이상의 슬라이스들 및 하나 이상의 서브화상들을 포함함 ― ; 및
화상의 화상 파라미터 세트에서, 화상 내 슬라이스들의 수에서 화상 내 서브화상들의 수를 빼고 1을 뺀 것을 표시하는 변수를 시그널링하는 단계를 포함하는,
비디오 코딩을 위한 방법.
26. 조항 25에 있어서,
화상은 비트스트림에 있는,
비디오 코딩을 위한 방법.
27. 조항 25에 있어서,
화상 내 슬라이스들의 수에서 화상 내 서브화상들의 수를 빼고 1을 뺀 것을 표시하는 변수에 따라 화상 내 슬라이스들의 수를 표시하는 변수를 결정하는 단계를 더 포함하는,
비디오 코딩을 위한 방법.
28. 조항 25에 있어서,
화상은 다용도 비디오 코딩 표준에 따라 코딩되는,
비디오 코딩을 위한 방법.
29. 조항 25에 있어서,
하나 이상의 슬라이스들은 직사각형 슬라이스들인,
비디오 코딩을 위한 방법.
30. 비디오 코딩을 위한 방법으로서,
코딩을 위한 화상을 수신하는 단계 ― 화상은 하나 이상의 슬라이스들을 포함함 ― ;
화상에 대한 화상 헤더 신택스 구조가 하나 이상의 슬라이스들에 대한 슬라이스 헤더 내에 존재하는지를 표시하는 변수를 시그널링하는 단계; 및
변수에 따라 슬라이스 어드레스를 시그널링하는 단계를 포함하는,
비디오 코딩을 위한 방법.
31. 조항 30에 있어서,
화상은 비트스트림에 있는,
비디오 코딩을 위한 방법.
32. 조항 30에 있어서,
화상은 다용도 비디오 코딩 표준에 따라 코딩되는,
비디오 코딩을 위한 방법.
33. 조항 30에 있어서,
하나 이상의 슬라이스들은 직사각형인,
비디오 코딩을 위한 방법.
34. 비디오 데이터 프로세싱을 수행하기 위한 시스템으로서,
명령들의 세트를 저장하는 메모리; 및
프로세서를 포함하고, 프로세서는, 시스템으로 하여금,
랩-어라운드 모션 보상 플래그를 수신하는 것;
랩-어라운드 모션 보상 플래그에 기초하여 랩-어라운드 모션 보상이 인에이블되는지를 결정하는 것;
랩-어라운드 모션 보상이 인에이블된다는 결정에 대한 응답으로, 수평 랩-어라운드 포지션을 결정하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 수신하는 것; 및
랩-어라운드 모션 보상 플래그 및 차이에 따라 모션 보상을 수행하는 것을 수행하게 하기 위해 명령들의 세트를 실행하도록 구성되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
35. 조항 34에 있어서,
차이는 최소 루마 코딩 블록의 크기의 단위들인,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
36. 조항 35에 있어서,
차이는 (pps_pic_width_in_luma_samples/MinCbSizeY) - (CtbSizeY/MinCbSizeY) - 2 이하이며, 여기서 pps_pic_width_in_luma_samples는 루마 샘플들의 단위들의 화상의 폭이고, MinCbSizeY는 최소 루마 코딩 블록의 크기이고, CtbSizeY는 루마 코딩 트리 블록의 크기인,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
37. 조항 34에 있어서,
모션 보상의 수행 시에, 프로세서는 시스템으로 하여금,
화상의 폭 및 차이에 따라 랩-어라운드 모션 보상 오프셋을 결정하는 단계; 및
랩-어라운드 모션 보상 오프셋에 따라 모션 보상을 수행하는 단계를 수행하게 하기 위해 명령들의 세트를 실행하도록 구성되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
38. 조항 37에 있어서,
화상의 폭 및 차이에 따라 랩-어라운드 모션 보상 오프셋의 결정 시에, 프로세서는 시스템으로 하여금,
제1 값을 생성하기 위해 루마 샘플들의 단위들의 화상의 폭을 최소 루마 코딩 블록의 크기로 나누는 단계; 및
제1 값에서 차이를 뺀 것과 동일한 것으로서 랩-어라운드 모션 보상 오프셋을 결정하는 단계를 수행하게 하기 위해 명령들의 세트를 실행하도록 구성되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
39. 조항 34에 있어서,
차이를 표시하는 데이터의 수신 시에, 프로세서는 시스템으로 하여금,
랩-어라운드 오프셋 유형 플래그를 수신하는 단계;
랩-어라운드 오프셋 유형 플래그가 제1 값 또는 제2 값과 동일한지를 결정하는 단계;
랩-어라운드 오프셋 유형 플래그가 제1 값과 동일하다는 결정에 대한 응답으로, 수평 랩-어라운드 포지션을 컴퓨팅하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 수신하는 단계; 및
랩-어라운드 오프셋 유형 플래그가 제2 값과 동일하다는 결정에 대한 응답으로, 수평 랩-어라운드 포지션을 컴퓨팅하기 위해 사용된 오프셋을 표시하는 데이터를 수신하는 단계를 수행하게 하기 위해 명령들의 세트를 실행하도록 구성되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
40. 조항 39에 있어서,
제1 값 및 제2 값 각각은 0 또는 1인,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
41. 조항 34에 있어서,
모션 보상은 다용도 비디오 코딩 표준에 따라 수행되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
42. 조항 34에 있어서,
화상은 360도 비디오 시퀀스의 일부인,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
43. 조항 34에 있어서,
랩-어라운드 모션 보상 플래그 및 차이는 PPS(Picture Parameter Set)에서 시그널링되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
44. 비디오 데이터 프로세싱을 수행하기 위한 시스템으로서,
명령들의 세트를 저장하는 메모리; 및
프로세서를 포함하고, 프로세서는, 시스템으로 하여금,
랩-어라운드 모션 보상이 인에이블되는지를 표시하는 랩-어라운드 모션 보상 플래그를 시그널링하는 것;
랩-어라운드 모션 보상이 인에이블됨을 랩-어라운드 모션 보상 플래그가 표시하는 것에 대한 응답으로, 수평 랩-어라운드 포지션을 결정하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 시그널링하는 것; 및
랩-어라운드 모션 보상 플래그 및 차이에 따라 모션 보상을 수행하는 것을 수행하게 하기 위해 명령들의 세트를 실행하도록 구성되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
45. 조항 44에 있어서,
차이는 최소 루마 코딩 블록의 크기의 단위들인,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
46. 조항 45에 있어서,
차이는 (pps_pic_width_in_luma_samples/MinCbSizeY) - (CtbSizeY/MinCbSizeY) - 2 이하이며, 여기서 pps_pic_width_in_luma_samples는 루마 샘플들의 단위들의 화상의 폭이고, MinCbSizeY는 최소 루마 코딩 블록의 크기이고, CtbSizeY는 루마 코딩 트리 블록의 크기인,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
47. 조항 44에 있어서,
모션 보상의 수행 시에, 프로세서는 시스템으로 하여금,
화상의 폭 및 차이에 따라 랩-어라운드 모션 보상 오프셋을 결정하는 단계; 및
랩-어라운드 모션 보상 오프셋에 따라 모션 보상을 수행하는 단계를 수행하게 하기 위해 명령들의 세트를 실행하도록 구성되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
48. 조항 47에 있어서,
화상의 폭 및 차이에 따라 랩-어라운드 모션 보상 오프셋의 결정 시에, 프로세서는 시스템으로 하여금,
제1 값을 생성하기 위해 루마 샘플들의 단위들의 화상의 폭을 최소 루마 코딩 블록의 크기로 나누는 단계; 및
제1 값에서 차이를 뺀 것과 동일한 것으로서 랩-어라운드 모션 보상 오프셋을 결정하는 단계를 수행하게 하기 위해 명령들의 세트를 실행하도록 구성되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
49. 조항 44에 있어서,
차이를 표시하는 데이터의 수신 시에, 프로세서는 시스템으로 하여금,
랩-어라운드 오프셋 유형 플래그를 시그널링하는 단계 ― 랩-어라운드 오프셋 유형 플래그의 값은 제1 값 또는 제2 값일 수 있음 ― ;
랩-어라운드 오프셋 유형 플래그가 제1 값과 동일한 것에 대한 응답으로, 수평 랩-어라운드 포지션을 컴퓨팅하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 시그널링하는 단계; 및
랩-어라운드 오프셋 유형 플래그가 제2 값과 동일한 것에 대한 응답으로, 수평 랩-어라운드 포지션을 컴퓨팅하기 위해 사용된 오프셋을 표시하는 데이터를 시그널링하는 단계를 수행하게 하기 위해 명령들의 세트를 실행하도록 구성되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
50. 조항 49에 있어서,
제1 값 및 제2 값 각각은 0 또는 1인,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
51. 조항 44에 있어서,
모션 보상은 다용도 비디오 코딩 표준에 따라 수행되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
52. 조항 44에 있어서,
화상은 360도 비디오 시퀀스의 일부인,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
53. 조항 44에 있어서,
랩-어라운드 모션 보상 플래그 및 차이는 PPS(Picture Parameter Set)에서 시그널링되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템.
54. 비디오 코딩을 수행하기 위한 시스템으로서,
명령들의 세트를 저장하는 메모리; 및
프로세서를 포함하고, 프로세서는, 시스템으로 하여금,
코딩을 위한 화상을 수신하는 것 ― 화상은 하나 이상의 슬라이스들을 포함함 ― ; 및
화상의 화상 파라미터 세트에서, 비디오 프레임 내 슬라이스들의 수에서 2를 뺀 것을 표시하는 변수를 시그널링하는 것을 수행하게 하기 위해 명령들의 세트를 실행하도록 구성되는,
비디오 코딩을 수행하기 위한 시스템.
55. 조항 54에 있어서,
화상은 비트스트림에 있는,
비디오 코딩을 수행하기 위한 시스템.
56. 조항 54에 있어서,
화상은 다용도 비디오 코딩 표준에 따라 코딩되는,
비디오 코딩을 수행하기 위한 시스템.
57. 조항 54에 있어서,
하나 이상의 슬라이스들은 직사각형 슬라이스들인,
비디오 코딩을 수행하기 위한 시스템.
58. 비디오 코딩을 수행하기 위한 시스템으로서,
명령들의 세트를 저장하는 메모리; 및
프로세서를 포함하고, 프로세서는, 시스템으로 하여금,
코딩을 위한 화상을 수신하는 단계 ― 화상은 하나 이상의 슬라이스들 및 하나 이상의 서브화상들을 포함함 ― ; 및
화상의 화상 파라미터 세트에서, 화상 내 슬라이스들의 수에서 화상 내 서브화상들의 수를 빼고 1을 뺀 것을 표시하는 변수를 시그널링하는 단계를 수행하게 하기 위해 명령들의 세트를 실행하도록 구성되는,
비디오 코딩을 수행하기 위한 시스템.
59. 조항 58에 있어서,
화상은 비트스트림에 있는,
비디오 코딩을 수행하기 위한 시스템.
60. 조항 58에 있어서,
프로세서는, 시스템으로 하여금,
화상 내 슬라이스들의 수에서 화상 내 서브화상들의 수를 빼고 1을 뺀 것을 표시하는 변수에 따라 화상 내 슬라이스들의 수를 표시하는 변수를 결정하는 단계를 수행하게 하기 위해 명령들의 세트를 실행하도록 구성되는,
비디오 코딩을 수행하기 위한 시스템.
61. 조항 58에 있어서,
화상은 다용도 비디오 코딩 표준에 따라 코딩되는,
비디오 코딩을 수행하기 위한 시스템.
62. 조항 58에 있어서,
하나 이상의 슬라이스들은 직사각형 슬라이스들인,
비디오 코딩을 수행하기 위한 시스템.
63. 비디오 코딩을 수행하기 위한 시스템으로서,
명령들의 세트를 저장하는 메모리; 및
프로세서를 포함하고, 프로세서는, 시스템으로 하여금,
코딩을 위한 화상을 수신하는 것 ― 화상은 하나 이상의 슬라이스들을 포함함 ― ;
화상에 대한 화상 헤더 신택스 구조가 하나 이상의 슬라이스들에 대한 슬라이스 헤더 내에 존재하는지를 표시하는 변수를 시그널링하는 것; 및
변수에 따라 슬라이스 어드레스를 시그널링하는 것을 수행하게 하기 위해 명령들의 세트를 실행하도록 구성되는,
비디오 코딩을 수행하기 위한 시스템.
64. 조항 63에 있어서,
화상은 비트스트림에 있는,
비디오 코딩을 수행하기 위한 시스템.
65. 조항 63에 있어서,
화상은 다용도 비디오 코딩 표준에 따라 코딩되는,
비디오 코딩을 수행하기 위한 시스템.
66. 조항 63에 있어서,
하나 이상의 슬라이스들은 직사각형인,
비디오 코딩을 수행하기 위한 시스템.
67. 명령들의 세트를 저장하는 비-일시적 컴퓨터 판독가능 매체로서,
명령들의 세트는 장치로 하여금 비디오 데이터 프로세싱을 수행하기 위한 방법을 개시하게 하도록 장치의 하나 이상의 프로세서들에 의해 실행 가능하고, 방법은,
랩-어라운드 모션 보상 플래그를 수신하는 단계;
랩-어라운드 모션 보상 플래그에 기초하여 랩-어라운드 모션 보상이 인에이블되는지를 결정하는 단계;
랩-어라운드 모션 보상이 인에이블된다는 결정에 대한 응답으로, 수평 랩-어라운드 포지션을 결정하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 수신하는 단계; 및
랩-어라운드 모션 보상 플래그 및 차이에 따라 모션 보상을 수행하는 단계를 포함하는,
비-일시적 컴퓨터 판독가능 매체.
68. 조항 67에 있어서,
차이는 최소 루마 코딩 블록의 크기의 단위들인,
비-일시적 컴퓨터 판독가능 매체.
69. 조항 68에 있어서,
차이는 (pps_pic_width_in_luma_samples/MinCbSizeY) - (CtbSizeY/MinCbSizeY) - 2 이하이며, 여기서 pps_pic_width_in_luma_samples는 루마 샘플들의 단위들의 화상의 폭이고, MinCbSizeY는 최소 루마 코딩 블록의 크기이고, CtbSizeY는 루마 코딩 트리 블록의 크기인,
비-일시적 컴퓨터 판독가능 매체.
70. 조항 67에 있어서,
모션 보상을 수행하는 단계는,
화상의 폭 및 차이에 따라 랩-어라운드 모션 보상 오프셋을 결정하는 단계; 및
랩-어라운드 모션 보상 오프셋에 따라 모션 보상을 수행하는 단계를 더 포함하는,
비-일시적 컴퓨터 판독가능 매체.
71. 조항 70에 있어서,
화상의 폭 및 차이에 따라 랩-어라운드 모션 보상 오프셋을 결정하는 단계는,
제1 값을 생성하기 위해 루마 샘플들의 단위들의 화상의 폭을 최소 루마 코딩 블록의 크기로 나누는 단계; 및
제1 값에서 차이를 뺀 것과 동일한 것으로서 랩-어라운드 모션 보상 오프셋을 결정하는 단계를 더 포함하는,
비-일시적 컴퓨터 판독가능 매체.
72. 조항 67에 있어서,
차이를 표시하는 데이터를 수신하는 단계는,
랩-어라운드 오프셋 유형 플래그를 수신하는 단계;
랩-어라운드 오프셋 유형 플래그가 제1 값 또는 제2 값과 동일한지를 결정하는 단계;
랩-어라운드 오프셋 유형 플래그가 제1 값과 동일하다는 결정에 대한 응답으로, 수평 랩-어라운드 포지션을 컴퓨팅하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 수신하는 단계; 및
랩-어라운드 오프셋 유형 플래그가 제2 값과 동일하다는 결정에 대한 응답으로, 수평 랩-어라운드 포지션을 컴퓨팅하기 위해 사용된 오프셋을 표시하는 데이터를 수신하는 단계를 더 포함하는,
비-일시적 컴퓨터 판독가능 매체.
73. 조항 72에 있어서,
제1 값 및 제2 값 각각은 0 또는 1인,
비-일시적 컴퓨터 판독가능 매체.
74. 조항 67에 있어서,
모션 보상은 다용도 비디오 코딩 표준에 따라 수행되는,
비-일시적 컴퓨터 판독가능 매체.
75. 조항 67에 있어서,
화상은 360도 비디오 시퀀스의 일부인,
비-일시적 컴퓨터 판독가능 매체.
76. 조항 67에 있어서,
랩-어라운드 모션 보상 플래그 및 차이는 PPS(Picture Parameter Set)에서 시그널링되는,
비-일시적 컴퓨터 판독가능 매체.
77. 명령들의 세트를 저장하는 비-일시적 컴퓨터 판독가능 매체로서,
명령들의 세트는 장치로 하여금 비디오 데이터 프로세싱을 수행하기 위한 방법을 개시하게 하도록 장치의 하나 이상의 프로세서들에 의해 실행 가능하고, 방법은, 포함하는,
랩-어라운드 모션 보상이 인에이블되는지를 표시하는 랩-어라운드 모션 보상 플래그를 시그널링하는 단계;
랩-어라운드 모션 보상이 인에이블됨을 랩-어라운드 모션 보상 플래그가 표시하는 것에 대한 응답으로, 수평 랩-어라운드 포지션을 결정하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 시그널링하는 단계; 및
랩-어라운드 모션 보상 플래그 및 차이에 따라 모션 보상을 수행하는 단계
비-일시적 컴퓨터 판독가능 매체.
78. 조항 77에 있어서,
차이는 최소 루마 코딩 블록의 크기의 단위들인,
비-일시적 컴퓨터 판독가능 매체.
79. 조항 78에 있어서,
차이는 (pps_pic_width_in_luma_samples/MinCbSizeY) - (CtbSizeY/MinCbSizeY) - 2 이하이며, 여기서 pps_pic_width_in_luma_samples는 루마 샘플들의 단위들의 화상의 폭이고, MinCbSizeY는 최소 루마 코딩 블록의 크기이고, CtbSizeY는 루마 코딩 트리 블록의 크기인,
비-일시적 컴퓨터 판독가능 매체.
80. 조항 77에 있어서,
모션 보상을 수행하는 단계는,
화상의 폭 및 차이에 따라 랩-어라운드 모션 보상 오프셋을 결정하는 단계; 및
랩-어라운드 모션 보상 오프셋에 따라 모션 보상을 수행하는 단계를 더 포함하는,
비-일시적 컴퓨터 판독가능 매체.
81. 조항 80에 있어서,
화상의 폭 및 차이에 따라 랩-어라운드 모션 보상 오프셋을 결정하는 단계는,
제1 값을 생성하기 위해 루마 샘플들의 단위들의 화상의 폭을 최소 루마 코딩 블록의 크기로 나누는 단계; 및
제1 값에서 차이를 뺀 것과 동일한 것으로서 랩-어라운드 모션 보상 오프셋을 결정하는 단계를 더 포함하는,
비-일시적 컴퓨터 판독가능 매체.
82. 조항 77에 있어서,
차이를 표시하는 데이터를 수신하는 단계는,
랩-어라운드 오프셋 유형 플래그를 시그널링하는 단계 ― 랩-어라운드 오프셋 유형 플래그의 값은 제1 값 또는 제2 값일 수 있음 ― ;
랩-어라운드 오프셋 유형 플래그가 제1 값과 동일한 것에 대한 응답으로, 수평 랩-어라운드 포지션을 컴퓨팅하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 시그널링하는 단계; 및
랩-어라운드 오프셋 유형 플래그가 제2 값과 동일한 것에 대한 응답으로, 수평 랩-어라운드 포지션을 컴퓨팅하기 위해 사용된 오프셋을 표시하는 데이터를 시그널링하는 단계를 더 포함하는,
비-일시적 컴퓨터 판독가능 매체.
83. 조항 82에 있어서,
제1 값 및 제2 값 각각은 0 또는 1인,
비-일시적 컴퓨터 판독가능 매체.
84. 조항 77에 있어서,
모션 보상은 다용도 비디오 코딩 표준에 따라 수행되는,
비-일시적 컴퓨터 판독가능 매체.
85. 조항 77에 있어서,
화상은 360도 비디오 시퀀스의 일부인,
비-일시적 컴퓨터 판독가능 매체.
86. 조항 77에 있어서,
랩-어라운드 모션 보상 플래그 및 차이는 PPS(Picture Parameter Set)에서 시그널링되는,
비-일시적 컴퓨터 판독가능 매체.
87. 명령들의 세트를 저장하는 비-일시적 컴퓨터 판독가능 매체로서,
명령들의 세트는 장치로 하여금 비디오 코딩을 수행하기 위한 방법을 개시하게 하도록 장치의 하나 이상의 프로세서들에 의해 실행 가능하고, 방법은, 포함하는,
코딩을 위한 화상을 수신하는 단계 ― 화상은 하나 이상의 슬라이스들을 포함함 ― ; 및
화상의 화상 파라미터 세트에서, 비디오 프레임 내 슬라이스들의 수에서 2를 뺀 것을 표시하는 변수를 시그널링하는 단계
비-일시적 컴퓨터 판독가능 매체.
88. 조항 87에 있어서,
화상은 비트스트림에 있는,
비-일시적 컴퓨터 판독가능 매체.
89. 조항 87에 있어서,
화상은 다용도 비디오 코딩 표준에 따라 코딩되는,
비-일시적 컴퓨터 판독가능 매체.
90. 조항 87에 있어서,
하나 이상의 슬라이스들은 직사각형 슬라이스들인,
비-일시적 컴퓨터 판독가능 매체.
91. 명령들의 세트를 저장하는 비-일시적 컴퓨터 판독가능 매체로서,
명령들의 세트는 장치로 하여금 비디오 코딩을 수행하기 위한 방법을 개시하게 하도록 장치의 하나 이상의 프로세서들에 의해 실행 가능하고, 방법은,
코딩을 위한 화상을 수신하는 단계 ― 화상은 하나 이상의 슬라이스들 및 하나 이상의 서브화상들을 포함함 ― ; 및
화상의 화상 파라미터 세트에서, 화상 내 슬라이스들의 수에서 화상 내 서브화상들의 수를 빼고 1을 뺀 것을 표시하는 변수를 시그널링하는 단계를 포함하는,
비-일시적 컴퓨터 판독가능 매체.
92. 조항 91에 있어서,
화상은 비트스트림에 있는,
비-일시적 컴퓨터 판독가능 매체.
93. 조항 91에 있어서,
화상 내 슬라이스들의 수에서 화상 내 서브화상들의 수를 빼고 1을 뺀 것을 표시하는 변수에 따라 화상 내 슬라이스들의 수를 표시하는 변수를 결정하는 단계를 더 포함하는,
비-일시적 컴퓨터 판독가능 매체.
94. 조항 91에 있어서,
화상은 다용도 비디오 코딩 표준에 따라 코딩되는,
비-일시적 컴퓨터 판독가능 매체.
95. 조항 91에 있어서,
하나 이상의 슬라이스들은 직사각형 슬라이스들인,
비-일시적 컴퓨터 판독가능 매체.
96. 명령들의 세트를 저장하는 비-일시적 컴퓨터 판독가능 매체로서,
명령들의 세트는 장치로 하여금 비디오 코딩을 수행하기 위한 방법을 개시하게 하도록 장치의 하나 이상의 프로세서들에 의해 실행 가능하고, 방법은,
코딩을 위한 화상을 수신하는 단계 ― 화상은 하나 이상의 슬라이스들을 포함함 ― ;
화상에 대한 화상 헤더 신택스 구조가 하나 이상의 슬라이스들에 대한 슬라이스 헤더 내에 존재하는지를 표시하는 변수를 시그널링하는 단계; 및
변수에 따라 슬라이스 어드레스를 시그널링하는 단계를 포함하는,
비-일시적 컴퓨터 판독가능 매체.
97. 조항 96에 있어서,
화상은 비트스트림에 있는,
비-일시적 컴퓨터 판독가능 매체.
98. 조항 96에 있어서,
화상은 다용도 비디오 코딩 표준에 따라 코딩되는,
비-일시적 컴퓨터 판독가능 매체.
99. 조항 96에 있어서,
하나 이상의 슬라이스들은 직사각형인,
비-일시적 컴퓨터 판독가능 매체.
도면들 및 명세서에서, 예시적인 실시예들이 개시되어 있다. 그러나, 이들 실시예에 대해 다수의 변동들 및 수정들이 이루어질 수 있다. 이에 따라 특정 용어들이 이용되지만, 그들은 제한의 목적들이 아니라 일반적이고 설명적인 의미로 사용된다.
Claims (20)
- 비디오 디코딩을 위한 방법으로서,
랩-어라운드 모션 보상 플래그를 수신하는 단계;
상기 랩-어라운드 모션 보상 플래그에 기초하여 랩-어라운드 모션 보상이 인에이블되는지를 결정하는 단계;
상기 랩-어라운드 모션 보상이 인에이블된다는 결정에 대한 응답으로, 수평 랩-어라운드 포지션을 결정하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 수신하는 단계; 및
상기 랩-어라운드 모션 보상 플래그 및 상기 차이에 따라 모션 보상을 수행하는 단계를 포함하는,
비디오 디코딩을 위한 방법. - 제1 항에 있어서,
상기 차이는 최소 루마 코딩 블록의 크기의 단위들인,
비디오 디코딩을 위한 방법. - 제2 항에 있어서,
상기 차이는 (pps_pic_width_in_luma_samples/MinCbSizeY) - (CtbSizeY/MinCbSizeY) - 2 이하이며, 여기서 pps_pic_width_in_luma_samples는 루마 샘플들의 단위들의 상기 화상의 폭이고, MinCbSizeY는 상기 최소 루마 코딩 블록의 크기이고, CtbSizeY는 루마 코딩 트리 블록의 크기인,
비디오 디코딩을 위한 방법. - 제1 항에 있어서,
상기 모션 보상을 수행하는 단계는,
상기 화상의 폭 및 상기 차이에 따라 랩-어라운드 모션 보상 오프셋을 결정하는 단계; 및
상기 랩-어라운드 모션 보상 오프셋에 따라 상기 모션 보상을 수행하는 단계를 더 포함하는,
비디오 디코딩을 위한 방법. - 제4 항에 있어서,
상기 화상의 폭 및 상기 차이에 따라 상기 랩-어라운드 모션 보상 오프셋을 결정하는 단계는,
제1 값을 생성하기 위해 루마 샘플들의 단위들의 상기 화상의 폭을 최소 루마 코딩 블록의 크기로 나누는 단계; 및
상기 제1 값에서 상기 차이를 뺀 것과 동일한 것으로서 상기 랩-어라운드 모션 보상 오프셋을 결정하는 단계를 더 포함하는,
비디오 디코딩을 위한 방법. - 제1 항에 있어서,
상기 차이를 표시하는 데이터를 수신하는 단계는,
랩-어라운드 오프셋 유형 플래그를 수신하는 단계;
상기 랩-어라운드 오프셋 유형 플래그가 제1 값 또는 제2 값과 동일한지를 결정하는 단계;
상기 랩-어라운드 오프셋 유형 플래그가 상기 제1 값과 동일하다는 결정에 대한 응답으로, 상기 수평 랩-어라운드 포지션을 컴퓨팅하기 위해 사용된 오프셋과 상기 화상의 폭 사이의 차이를 표시하는 데이터를 수신하는 단계; 및
상기 랩-어라운드 오프셋 유형 플래그가 상기 제2 값과 동일하다는 결정에 대한 응답으로, 상기 수평 랩-어라운드 포지션을 컴퓨팅하기 위해 사용된 오프셋을 표시하는 데이터를 수신하는 단계를 더 포함하는,
비디오 디코딩을 위한 방법. - 제6 항에 있어서,
상기 제1 값 및 상기 제2 값 각각은 0 또는 1인,
비디오 디코딩을 위한 방법. - 제1 항에 있어서,
상기 모션 보상은 다용도 비디오 코딩(versatile video coding) 표준에 따라 수행되는,
비디오 디코딩을 위한 방법. - 제1 항에 있어서,
상기 화상은 360도 비디오 시퀀스의 일부인,
비디오 디코딩을 위한 방법. - 제1 항에 있어서,
상기 랩-어라운드 모션 보상 플래그 및 상기 차이는 PPS(Picture Parameter Set)에서 시그널링되는,
비디오 디코딩을 위한 방법. - 비디오 데이터 프로세싱을 수행하기 위한 시스템으로서,
명령들의 세트를 저장하는 메모리; 및
하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은, 상기 시스템으로 하여금,
랩-어라운드 모션 보상 플래그를 수신하는 것;
상기 랩-어라운드 모션 보상 플래그에 기초하여 랩-어라운드 모션 보상이 인에이블되는지를 결정하는 것;
상기 랩-어라운드 모션 보상이 인에이블된다는 결정에 대한 응답으로, 수평 랩-어라운드 포지션을 결정하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 수신하는 것; 및
상기 랩-어라운드 모션 보상 플래그 및 상기 차이에 따라 모션 보상을 수행하는 것을 수행하게 하기 위해 상기 명령들의 세트를 실행하도록 구성되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템 - 제11 항에 있어서,
상기 차이는 최소 루마 코딩 블록의 크기의 단위들인,
비디오 데이터 프로세싱을 수행하기 위한 시스템 - 제12 항에 있어서,
상기 차이는 (pps_pic_width_in_luma_samples/MinCbSizeY) - (CtbSizeY/MinCbSizeY) - 2 이하이며, 여기서 pps_pic_width_in_luma_samples는 루마 샘플들의 단위들의 상기 화상의 폭이고, MinCbSizeY는 상기 최소 루마 코딩 블록의 크기이고, CtbSizeY는 루마 코딩 트리 블록의 크기인,
비디오 데이터 프로세싱을 수행하기 위한 시스템 - 제11 항에 있어서,
상기 모션 보상의 수행 시에, 상기 하나 이상의 프로세서들은 상기 시스템으로 하여금,
상기 화상의 폭 및 상기 차이에 따라 랩-어라운드 모션 보상 오프셋을 결정하는 것; 및
상기 랩-어라운드 모션 보상 오프셋에 따라 상기 모션 보상을 수행하는 것을 수행하게 하기 위해 상기 명령들의 세트를 실행하도록 구성되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템 - 제14 항에 있어서,
상기 화상의 폭 및 상기 차이에 따라 상기 랩-어라운드 모션 보상 오프셋의 결정 시에, 상기 하나 이상의 프로세서들은 상기 시스템으로 하여금,
제1 값을 생성하기 위해 루마 샘플들의 단위들의 상기 화상의 폭을 최소 루마 코딩 블록의 크기로 나누는 것; 및
상기 제1 값에서 상기 차이를 뺀 것과 동일한 것으로서 상기 랩-어라운드 모션 보상 오프셋을 결정하는 것을 수행하게 하기 위해 상기 명령들의 세트를 실행하도록 구성되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템 - 제11 항에 있어서,
상기 차이를 표시하는 데이터의 수신 시에, 상기 하나 이상의 프로세서들은 상기 시스템으로 하여금,
랩-어라운드 오프셋 유형 플래그를 수신하는 것;
상기 랩-어라운드 오프셋 유형 플래그가 제1 값 또는 제2 값과 동일한지를 결정하는 것;
상기 랩-어라운드 오프셋 유형 플래그가 상기 제1 값과 동일하다는 결정에 대한 응답으로, 상기 수평 랩-어라운드 포지션을 컴퓨팅하기 위해 사용된 오프셋과 상기 화상의 폭 사이의 차이를 표시하는 데이터를 수신하는 것; 및
상기 랩-어라운드 오프셋 유형 플래그가 상기 제2 값과 동일하다는 결정에 대한 응답으로, 상기 수평 랩-어라운드 포지션을 컴퓨팅하기 위해 사용된 오프셋을 표시하는 데이터를 수신하는 것을 수행하게 하기 위해 상기 명령들의 세트를 실행하도록 구성되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템 - 제16 항에 있어서,
상기 제1 값 및 상기 제2 값 각각은 0 또는 1인,
비디오 데이터 프로세싱을 수행하기 위한 시스템 - 제11 항에 있어서,
상기 모션 보상은 다용도 비디오 코딩 표준에 따라 수행되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템 - 제11 항에 있어서,
상기 랩-어라운드 모션 보상 플래그 및 상기 차이는 PPS(Picture Parameter Set)에서 시그널링되는,
비디오 데이터 프로세싱을 수행하기 위한 시스템 - 명령들의 세트를 저장하는 비-일시적 컴퓨터 판독가능 매체로서,
상기 명령들의 세트는 장치로 하여금 비디오 데이터 프로세싱을 수행하기 위한 방법을 개시하게 하도록 상기 장치의 하나 이상의 프로세서들에 의해 실행 가능하고, 상기 방법은,
랩-어라운드 모션 보상 플래그를 수신하는 단계;
상기 랩-어라운드 모션 보상 플래그에 기초하여 랩-어라운드 모션 보상이 인에이블되는지를 결정하는 단계;
상기 랩-어라운드 모션 보상이 인에이블된다는 결정에 대한 응답으로, 수평 랩-어라운드 포지션을 결정하기 위해 사용된 오프셋과 화상의 폭 사이의 차이를 표시하는 데이터를 수신하는 단계; 및
상기 랩-어라운드 모션 보상 플래그 및 상기 차이에 따라 모션 보상을 수행하는 단계를 포함하는,
비-일시적 컴퓨터 판독가능 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063000443P | 2020-03-26 | 2020-03-26 | |
| US63/000,443 | 2020-03-26 | ||
| PCT/US2021/024447 WO2021195546A1 (en) | 2020-03-26 | 2021-03-26 | Methods for signaling video coding data |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220160038A true KR20220160038A (ko) | 2022-12-05 |
Family
ID=77856684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227036772A KR20220160038A (ko) | 2020-03-26 | 2021-03-26 | 비디오 코딩 데이터를 시그널링하기 위한 방법들 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11785237B2 (ko) |
| EP (1) | EP4128776A4 (ko) |
| JP (1) | JP2023521295A (ko) |
| KR (1) | KR20220160038A (ko) |
| CN (1) | CN115398906A (ko) |
| WO (1) | WO2021195546A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020347030A1 (en) * | 2019-09-10 | 2022-03-31 | Xris Corporation | Image signal encoding/decoding method and device therefor |
| US11863789B2 (en) * | 2020-03-31 | 2024-01-02 | Tencent America LLC | Method for signaling rectangular slice partitioning in coded video stream |
| WO2024002185A1 (en) * | 2022-06-29 | 2024-01-04 | Douyin Vision (Beijing) Co., Ltd. | Method, apparatus, and medium for video processing |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110194613A1 (en) | 2010-02-11 | 2011-08-11 | Qualcomm Incorporated | Video coding with large macroblocks |
| EP2579598A4 (en) | 2010-06-07 | 2014-07-23 | Humax Co Ltd | METHOD FOR ENCODING / DECODING A HIGH RESOLUTION IMAGE AND DEVICE IMPLEMENTING SAID METHOD |
| GB201119206D0 (en) | 2011-11-07 | 2011-12-21 | Canon Kk | Method and device for providing compensation offsets for a set of reconstructed samples of an image |
| US9282328B2 (en) | 2012-02-10 | 2016-03-08 | Broadcom Corporation | Sample adaptive offset (SAO) in accordance with video coding |
| ES2907510T3 (es) | 2012-05-14 | 2022-04-25 | V Nova Int Ltd | Descomposición de datos residuales durante la codificación, decodificación y reconstrucción de señales en una jerarquía escalonada |
| KR102432085B1 (ko) | 2015-09-23 | 2022-08-11 | 노키아 테크놀로지스 오와이 | 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품 |
| US11212438B2 (en) * | 2018-02-14 | 2021-12-28 | Qualcomm Incorporated | Loop filter padding for 360-degree video coding |
| WO2020008349A1 (en) * | 2018-07-02 | 2020-01-09 | Beijing Bytedance Network Technology Co., Ltd. | Merge index coding |
| EP3850841A1 (en) * | 2018-09-14 | 2021-07-21 | Vid Scale, Inc. | Methods and apparatus for flexible grid regions |
| TWI822863B (zh) | 2018-09-27 | 2023-11-21 | 美商Ｖｉｄ衡器股份有限公司 | 360度視訊寫碼樣本導出 |
| WO2020090841A1 (en) | 2018-11-02 | 2020-05-07 | Sharp Kabushiki Kaisha | Systems and methods for reference offset signaling in video coding |
| US11252434B2 (en) | 2018-12-31 | 2022-02-15 | Tencent America LLC | Method for wrap-around padding for omnidirectional media coding |
| US11095916B2 (en) * | 2019-07-23 | 2021-08-17 | Qualcomm Incorporated | Wraparound motion compensation in video coding |
| US11539939B2 (en) * | 2019-11-27 | 2022-12-27 | Hfi Innovation Inc. | Video processing methods and apparatuses for horizontal wraparound motion compensation in video coding systems |
| US11425420B2 (en) * | 2019-12-27 | 2022-08-23 | Qualcomm Incorporated | Wraparound offsets for reference picture resampling in video coding |
| US11418804B2 (en) * | 2019-12-31 | 2022-08-16 | Tencent America LLC | Method for wrap around motion compensation with reference picture resampling |
| US11368708B2 (en) * | 2020-01-08 | 2022-06-21 | Tencent America LLC | Method for combination of wrap-around offset and reference picture resampling |
-
2021
- 2021-03-26 JP JP2022556109A patent/JP2023521295A/ja active Pending
- 2021-03-26 CN CN202180024698.9A patent/CN115398906A/zh active Pending
- 2021-03-26 EP EP21775731.9A patent/EP4128776A4/en active Pending
- 2021-03-26 US US17/214,335 patent/US11785237B2/en active Active
- 2021-03-26 WO PCT/US2021/024447 patent/WO2021195546A1/en unknown
- 2021-03-26 KR KR1020227036772A patent/KR20220160038A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| US20210306648A1 (en) | 2021-09-30 |
| CN115398906A (zh) | 2022-11-25 |
| EP4128776A1 (en) | 2023-02-08 |
| EP4128776A4 (en) | 2024-01-10 |
| US11785237B2 (en) | 2023-10-10 |
| WO2021195546A1 (en) | 2021-09-30 |
| JP2023521295A (ja) | 2023-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220044754A (ko) | 비디오 코딩을 위한 블록 파티셔닝 방법 | |
| US11838541B2 (en) | Matrix weighted intra prediction of video signals | |
| US11736737B2 (en) | Quantization parameter signaling in video processing | |
| US11671613B2 (en) | Methods for signaling virtual boundaries and wrap-around motion compensation | |
| US11785237B2 (en) | Methods for signaling video coding data | |
| US11956463B2 (en) | Methods for performing wrap-around motion compensation | |
| CN114902670B (zh) | 用信号通知子图像划分信息的方法和装置 | |
| US20220417511A1 (en) | Methods and systems for performing combined inter and intra prediction | |
| KR20220113808A (ko) | 화상들 상에서 점진적 디코딩 리프레시 프로세싱을 수행하기 위한 방법들 및 시스템들 | |
| WO2021173475A1 (en) | Methods for combining decoder side motion vector refinement with wrap-around motion compensation | |
| KR20230013103A (ko) | 비디오 처리에서의 타일 및 슬라이스 파티셔닝 | |
| KR20220160019A (ko) | 루프 필터의 높은 레벨 신택스 제어 | |
| KR20220158002A (ko) | 비디오 레코딩의 부호 데이터 은닉 | |
| KR20220115984A (ko) | 팔레트 모드에서 비디오 데이터를 코딩하기 위한 방법 및 장치 | |
| US20230217026A1 (en) | Fusion of video prediction modes | |
| US20230090025A1 (en) | Methods and systems for performing combined inter and intra prediction | |
| US20210368170A1 (en) | High level control of pdpc and intra reference sample filtering of video coding |