KR20220066956A - 비디오 코딩에서 픽처 헤더의 시그널링 - Google Patents
비디오 코딩에서 픽처 헤더의 시그널링 Download PDFInfo
- Publication number
- KR20220066956A KR20220066956A KR1020227013646A KR20227013646A KR20220066956A KR 20220066956 A KR20220066956 A KR 20220066956A KR 1020227013646 A KR1020227013646 A KR 1020227013646A KR 20227013646 A KR20227013646 A KR 20227013646A KR 20220066956 A KR20220066956 A KR 20220066956A
- Authority
- KR
- South Korea
- Prior art keywords
- picture
- video
- slice
- layer
- nal
- Prior art date
Links
- 230000011664 signaling Effects 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 134
- 238000004891 communication Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 15
- 239000010410 layer Substances 0.000 description 153
- 230000033001 locomotion Effects 0.000 description 112
- 230000008569 process Effects 0.000 description 47
- 239000013598 vector Substances 0.000 description 39
- 241000023320 Luma <angiosperm> Species 0.000 description 35
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 35
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 31
- 238000013139 quantization Methods 0.000 description 28
- 239000000523 sample Substances 0.000 description 27
- 239000011229 interlayer Substances 0.000 description 25
- 238000011084 recovery Methods 0.000 description 22
- 230000002123 temporal effect Effects 0.000 description 22
- 239000011449 brick Substances 0.000 description 20
- 238000007906 compression Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 230000006835 compression Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000000638 solvent extraction Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 10
- 239000002356 single layer Substances 0.000 description 10
- 230000006872 improvement Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 241001482237 Pica Species 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 238000009795 derivation Methods 0.000 description 7
- 238000005192 partition Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012952 Resampling Methods 0.000 description 4
- 101150103552 cagE gene Proteins 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 235000019587 texture Nutrition 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
디코딩 방법이 제공된다. 이 방법은 0 또는 하나의 픽처 헤더(PH) 네트워크 추상화 레이어(NAL) 유닛 및 오직 하나의 코딩된 픽처를 포함하는 픽처 유닛(PU)을 수신하는 단계; 및 디코딩된 픽처를 획득하기 위해 PU로부터의 오직 하나의 코딩된 픽처를 디코딩하는 단계를 포함한다. 대응하는 인코딩 방법도 제공된다. 이 방법은 0 또는 하나의 PH NAL 유닛 및 오직 하나의 코딩된 픽처를 포함하는 PU를 생성하는 단계; PU를 비디오 비트스트림으로 인코딩하는 단계; 및 비디오 디코더를 향한 통신을 위해 비디오 비트스트림을 저장하는 단계를 포함한다.
Description
관련 출원에 대한 상호 참조
이 특허 출원은 Fnu Hendry 등이 2019년 9월 24일에 출원한, "Signalling of Picture Header in Video Coding"라는 제목의 미국 가특허출원 제62/905,150호에 대한 우선권을 주장하며, 이는 여기에 참조로 포함된다.
일반적으로, 본 명세서는 비디오 코딩에서 비트스트림의 픽처의 시작점을 결정하기 위한 기법들을 설명한다. 보다 구체적으로, 본 명세서는 비디오 코딩에서 멀티-레이어 비트스트림 내의 픽처의 시작점이 정확하게 결정될 수 있음을 보장한다.
비교적 짧은 비디오라도 묘사하는 데 필요한 비디오 데이터의 양은 상당할 수 있으며, 이는 데이터가 스트리밍되거나 제한된 대역폭 용량으로 통신 네트워크를 통해 통신될 때 어려움을 초래할 수 있다. 따라서 비디오 데이터는 일반적으로 현대의 통신 네트워크를 통해 통신되기 전에 압축된다. 메모리 리소스가 제한될 수 있기 때문에 비디오가 저장 장치에 저장될 때 비디오의 크기도 문제가 될 수 있다. 비디오 압축 장치는 전송 또는 저장 전에 비디오 데이터를 코딩하기 위해 소스에서 소프트웨어 및/또는 하드웨어를 사용하여 디지털 비디오 이미지를 나타내는 데 필요한 데이터의 양을 줄이는 경우가 많다. 압축된 데이터는 비디오 데이터를 디코딩하는 비디오 압축 해제 장치에 의해 목적지에서 수신된다. 제한된 네트워크 리소스와 더 높은 비디오 품질에 대한 계속 증가하는 요구로 인해 이미지 품질을 거의 또는 전혀 희생하지 않으면서 압축 비율을 개선하는 개선된 압축 및 압축 해제 기술이 바람직하다.
제1 측면은 비디오 디코더에 의해 구현되는 디코딩 방법에 관한 것이다. 이 방법은, 비디오 디코더에 의해, 오직 하나의 코딩된 픽처를 포함하는 픽처 유닛(PU)을 수신하는 단계; 및 비디오 디코더에 의해, PU로부터의 오직 하나의 코딩된 픽처를 디코딩하여 디코딩된 픽처를 획득하는 단계를 포함한다.
이 방법은 PU가 단 하나의 픽처를 갖도록 보장하는 기술을 제공한다. 각 픽처가 하나의, 아마도 단 하나의 PU에 있는 픽처 헤더와 연관될 때, 각 픽처의 시작점 및 AU의 시작점은, 멀티-레이어 비트스트림이 채용될 때에도, 픽처 헤더에 기초하여 결정될 수 있다. 단일 픽처 헤더와 단일 픽처를 갖도록 PU를 제한함으로써, 코딩 오류를 일으키지 않고 비디오 코딩에서 멀티-레이어 비트스트림을 사용할 수 있다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.
선택적으로, 선행 측면들 중 임의의 것에서, 해당 측면의 다른 구현은, PU가 하나의 픽처 헤더(PH) 네트워크 추상화 레이어(NAL) 유닛을 포함하고, 하나의 PH NAL 유닛이 오직 하나의 코딩된 픽처에 대응하는 픽처 헤더를 포함하는 것을 제공한다.
선택적으로, 선행 측면들 중 임의의 것에서, 해당 측면의 다른 구현은, PU가 하나 이상의 비디오 코딩 레이어(VCL) NAL 유닛들을 포함하는 것을 제공한다.
선택적으로, 선행 측면들 중 임의의 것에서, 해당 측면의 다른 구현은, PU가 하나 이상의 비(non)-비디오 코딩 레이어(VCL) NAL 유닛을 포함하는 것을 제공한다.
선택적으로, 선행 측면들 중 임의의 것에서, 해당 측면의 다른 구현은, 오직 하나의 코딩된 픽처가 각각 슬라이스 헤더를 포함하는 하나 이상의 슬라이스를 포함하고, 하나 이상의 슬라이스 각각이 비디오 코딩 레이어(VCL) NAL 유닛에 배치되는 것을 제공한다.
선택적으로, 선행 측면들 중 임의의 것에서, 해당 측면의 다른 구현은, PU가 DCI NAL 유닛에 배치된 디코딩 능력 정보(DCI)를 포함하는 것을 제공한다.
선택적으로, 선행 측면들 중 임의의 것에서, 해당 측면의 다른 구현은, PU가 VPS NAL 유닛에 배치된 비디오 파라미터 세트(VPS)를 포함하는 것을 제공한다.
선택적으로, 선행 측면들 중 임의의 것에서, 해당 측면의 다른 구현은, PU가 SPS NAL 유닛에 배치된 시퀀스 파라미터 세트(SPS) 및 PPS NAL 유닛에 배치된 픽처 파라미터 세트(PPS)를 포함하는 것을 제공한다.
선택적으로, 선행 측면들 중 임의의 것에서, 해당 측면의 다른 구현은, 전자 장치의 디스플레이 상에 디코딩된 픽처를 디스플레이하는 것을 제공한다.
제2 측면은 비디오 인코더에 의해 구현되는 인코딩 방법에 관한 것이다. 이 방법은, 비디오 인코더에 의해, 오직 하나의 코딩된 픽처를 포함하는 픽처 유닛(PU)을 생성하는 단계; 비디오 인코더에 의해, PU를 비디오 비트스트림으로 인코딩하는 단계; 및 비디오 인코더에 의해, 비디오 디코더를 향한 통신을 위해 비디오 비트스트림을 저장하는 단계를 포함한다.
이 방법은 PU가 단 하나의 픽처를 갖도록 보장하는 기술을 제공한다. 각 픽처가 하나의, 아마도 단 하나의 PU에 있는 픽처 헤더와 연관될 때, 각 픽처의 시작점 및 AU의 시작점은 멀티-레이어 비트스트림이 채용될 때에도, 픽처 헤더에 기초하여 결정될 수 있다. 단일 픽처 헤더와 단일 픽처를 갖도록 PU를 제한함으로써, 코딩 오류를 일으키지 않고 비디오 코딩에서 멀티-레이어 비트스트림을 사용할 수 있다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.
선택적으로, 선행 측면들 중 임의의 것에서, 해당 측면의 다른 구현은, PU가 하나의 픽처 헤더(PH) 네트워크 추상화 레이어(NAL) 유닛을 포함하고, 하나의 PH NAL 유닛이 오직 하나의 코딩된 픽처에 대응하는 픽처 헤더를 포함하는 것을 제공한다.
선택적으로, 선행 측면들 중 임의의 것에서, 해당 측면의 다른 구현은, PU가 하나 이상의 비디오 코딩 레이어(VCL) NAL 유닛 및 하나 이상의 비-비디오 코딩 레이어(VCL) NAL 유닛을 포함하는 것을 제공한다.
선택적으로, 선행 측면들 중 임의의 것에서, 해당 측면의 다른 구현은, 오직 하나의 코딩된 픽처가 각각 슬라이스 헤더를 포함하는 하나 이상의 슬라이스를 포함하고, 하나 이상의 슬라이스 각각이 비디오 코딩 레이어(VCL) NAL 유닛에 배치되는 것을 제공한다.
제3 측면은 디코딩 장치에 관한 것이다. 디코딩 장치는 오직 하나의 코딩된 픽처만을 포함하는 픽처 유닛(PU)을 수신하도록 구성된 수신기; 수신기에 연결되고 명령어를 저장하는 메모리; 및 메모리에 결합된 프로세서 - 프로세서는 디코딩 장치가 디코딩된 픽처를 획득하기 위해 PU로부터의 오직 하나의 코딩된 픽처를 디코딩하게 하는 명령어를 실행하도록 구성됨 - 를 포함한다.
디코딩 장치는 PU가 단 하나의 픽처를 갖도록 보장하는 기술을 제공한다. 각 픽처가 하나의, 아마도 단 하나의 PU에 있는 픽처 헤더와 연관될 때, 각 픽처의 시작점 및 AU의 시작점은 멀티-레이어 비트스트림이 채용될 때에도, 픽처 헤더에 기초하여 결정될 수 있다. 단일 픽처 헤더와 단일 픽처를 갖도록 PU를 제한함으로써, 코딩 오류를 일으키지 않고 비디오 코딩에서 멀티-레이어 비트스트림을 사용할 수 있다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.
선택적으로, 선행 측면들 중 임의의 것에서, 해당 측면의 다른 구현은, PU가 하나의 픽처 헤더(PH) 네트워크 추상화 레이어(NAL) 유닛을 포함하고, 하나의 PH NAL 유닛이 오직 하나의 코딩된 픽처에 대응하는 픽처 헤더를 포함하는 것을 제공한다.
선택적으로, 선행 측면들 중 임의의 것에서, 해당 측면의 다른 구현은, PU가 하나 이상의 비디오 코딩 레이어(VCL) NAL 유닛 및 하나 이상의 비-비디오 코딩 레이어(VCL) NAL 유닛을 포함하는 것을 제공한다.
선택적으로, 선행 측면들 중 임의의 것에서, 해당 측면의 다른 구현은, 오직 하나의 코딩된 픽처가 각각 슬라이스 헤더를 포함하는 하나 이상의 슬라이스를 포함하고, 하나 이상의 슬라이스의 각각이 비디오 코딩 레이어(VCL) NAL 유닛에 배치되는 것을 제공한다.
제4 측면은 인코딩 장치에 관한 것이다. 인코딩 장치는 명령어를 포함하는 메모리; 메모리에 결합된 프로세서 - 프로세서는 인코딩 장치로 하여금: 오직 하나의 코딩된 픽처를 포함하는 픽처 유닛(PU)을 생성하고; PU를 비디오 비트스트림으로 인코딩하도록 하는 명령어를 구현하도록 구성됨 - ; 및 프로세서에 결합되고, 비디오 비트스트림을 비디오 디코더를 향하여 전송하도록 구성된 송신기를 포함한다.
인코딩 장치는 PU가 단 하나의 픽처를 갖도록 하는 기술을 제공한다. 각 픽처가 하나의, 그리고 아마도 단 하나의 PU의 픽처 헤더와 연관될 때, 각 픽처의 시작점 및 AU의 시작점은 멀티-레이어 비트스트림이 채용될 때에도, 픽처 헤더에 기초하여 결정될 수 있다. 단일 픽처 헤더와 단일 픽처를 갖도록 PU를 제한함으로써, 코딩 오류를 일으키지 않고 비디오 코딩에서 다층 비트스트림을 사용할 수 있다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.
선택적으로, 선행 측면들 중 임의의 것에서, 해당 측면의 다른 구현은, PU가 하나의 픽처 헤더(PH) 네트워크 추상화 레이어(NAL) 유닛을 포함하고, 하나의 PH NAL 유닛이 오직 하나의 코딩된 픽처에 대응하는 픽처 헤더를 포함하는 것을 제공한다.
선택적으로, 선행 측면들 중 임의의 것에서, 해당 측면의 또 다른 구현은, PU가 하나 이상의 비디오 코딩 레이어(VCL) NAL 유닛 및 하나 이상의 비-비디오 코딩 레이어(VCL) NAL 유닛을 포함하고, 여기서 오직 하나의 코딩된 픽처는 각각이 슬라이스 헤더를 포함하는 하나 이상의 슬라이스를 포함하고, 하나 이상의 슬라이스의 각각은 하나 이상의 VCL NAL 유닛 중 하나에 배치된다.
제5 측면은 코딩 장치에 관한 것이다. 코딩 장치는 인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된 수신기; 수신기에 결합되고, 비트스트림을 디코더로 전송하거나 디코딩된 이미지를 디스플레이로 전송하도록 구성된 송신기; 수신기 또는 송신기 중 적어도 하나에 결합되고 명령어를 저장하도록 구성된 메모리; 및 메모리에 결합되고, 본 명세서에 개시된 방법들 중 임의의 것을 수행하기 위해 메모리에 저장된 명령어들을 실행하도록 구성된 프로세서를 포함한다.
선택적으로, 선행 측면들 중 임의의 것에서, 해당 측면의 다른 구현은, 디코딩된 픽처를 디스플레이하도록 구성된 디스플레이를 제공한다.
코딩 장치는 PU가 단 하나의 픽처를 갖도록 보장하는 기술을 제공한다. 각 픽처가 하나의, 아마도 단 하나의 PU에 있는 픽처 헤더와 연관될 때, 각 픽처의 시작점 및 AU의 시작점은 멀티-레이어 비트스트림이 채용될 때에도, 픽처 헤더에 기초하여 결정될 수 있다. 단일 픽처 헤더와 단일 픽처를 갖도록 PU를 제한함으로써, 코딩 오류를 일으키지 않고 비디오 코딩에서 멀티-레이어 비트스트림을 사용할 수 있다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.
제6 측면은 시스템에 관한 것이다. 시스템은 인코더; 및 인코더와 통신하는 디코더를 포함하고, 인코더 또는 디코더는 여기에 개시된 디코딩 장치, 인코딩 장치, 또는 코딩 장치를 포함한다.
시스템은 PU가 단 하나의 그림을 갖도록 하는 기술을 제공한다. 각 픽처가 하나의, 아마도 단 하나의 PU에 있는 픽처 헤더와 연관될 때, 각 픽처의 시작점 및 AU의 시작점은 멀티-레이어 비트스트림이 채용될 때에도, 픽처 헤더에 기초하여 결정될 수 있다. 단일 픽처 헤더와 단일 픽처를 갖도록 PU를 제한함으로써, 코딩 오류를 일으키지 않고 비디오 코딩에서 멀티-레이어 비트스트림을 사용할 수 있다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.
제7 측면은 코딩 수단에 관한 것이다. 코딩 수단은 인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된 수신 수단; 수신 수단에 결합되고, 비트스트림을 디코딩 수단으로 전송하거나 디코딩된 이미지를 디스플레이 수단으로 전송하도록 구성된 전송 수단; 수신 수단 또는 전송 수단 중 적어도 하나에 결합되고 명령어를 저장하도록 구성된 저장 수단; 및 저장 수단에 연결된 처리 수단을 포함하고, 처리 수단은 본 명세서에 개시된 방법 중 임의의 것을 수행하기 위해 저장 수단에 저장된 명령을 실행하도록 구성된다.
코딩 수단은 PU가 단 하나의 픽처를 갖도록 보장하는 기술을 제공한다. 각 픽처가 하나의, 아마도 단 하나의 PU에 있는 픽처 헤더와 연관될 때, 각 픽처의 시작점 및 AU의 시작점은 멀티-레이어 비트스트림이 채용될 때에도, 픽처 헤더에 기초하여 결정될 수 있다. 단일 픽처 헤더와 단일 픽처를 갖도록 PU를 제한함으로써, 코딩 오류를 일으키지 않고 비디오 코딩에서 멀티-레이어 비트스트림을 사용할 수 있다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.
명료함을 위해, 전술한 실시예 중 임의의 하나는 본 개시의 범위 내에서 새로운 실시예를 생성하기 위해 임의의 하나 이상의 다른 전술한 실시예와 조합될 수 있다.
이들 및 다른 특징은 첨부된 도면 및 청구범위와 관련하여 취해진 다음의 상세한 설명으로부터 더 명확하게 이해될 것이다.
본 명세서의 보다 완전한 이해를 위해, 유사한 참조 번호가 유사한 부분을 나타내는 첨부 도면 및 상세한 설명과 관련하여 취해진 다음의 간략한 설명을 이제 참조한다.
도 1은 비디오 신호를 코딩하는 예시적인 방법의 흐름도이다.
도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템의 개략도이다.
도 3은 예시적인 비디오 인코더를 예시하는 개략도이다.
도 4는 예시적인 비디오 디코더를 예시하는 개략도이다.
도 5는 공간적 확장성을 위한 멀티-레이어 코딩의 예를 나타낸다.
도 6은 점진적 디코딩 리프레시(GDR) 기술을 구현하도록 구성된 비디오 비트스트림을 예시한다.
도 7은 GDR을 지원하기 위해 인코더 제한을 사용할 때 바람직하지 않은 모션 검색을 예시하는 개략도이다.
도 8은 비디오 비트스트림의 실시예를 예시한다.
도 9는 코딩된 비디오 비트스트림을 디코딩하는 방법의 실시예이다.
도 10은 코딩된 비디오 비트스트림을 인코딩하는 방법의 실시예이다.
도 11은 비디오 코딩 장치의 개략도이다.
도 12는 코딩 수단의 실시예의 개략도이다.
도 1은 비디오 신호를 코딩하는 예시적인 방법의 흐름도이다.
도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템의 개략도이다.
도 3은 예시적인 비디오 인코더를 예시하는 개략도이다.
도 4는 예시적인 비디오 디코더를 예시하는 개략도이다.
도 5는 공간적 확장성을 위한 멀티-레이어 코딩의 예를 나타낸다.
도 6은 점진적 디코딩 리프레시(GDR) 기술을 구현하도록 구성된 비디오 비트스트림을 예시한다.
도 7은 GDR을 지원하기 위해 인코더 제한을 사용할 때 바람직하지 않은 모션 검색을 예시하는 개략도이다.
도 8은 비디오 비트스트림의 실시예를 예시한다.
도 9는 코딩된 비디오 비트스트림을 디코딩하는 방법의 실시예이다.
도 10은 코딩된 비디오 비트스트림을 인코딩하는 방법의 실시예이다.
도 11은 비디오 코딩 장치의 개략도이다.
도 12는 코딩 수단의 실시예의 개략도이다.
하나 이상의 실시예의 예시적인 구현이 아래에 제공되지만, 개시된 시스템 및/또는 방법은 현재 알려져 있거나 존재하는 임의의 수의 기술을 사용하여 구현될 수 있다는 것이 처음부터 이해되어야 한다. 본 명세서는, 본 명세서에 예시되고 설명된 예시적인 설계 및 구현을 포함하여 아래에 예시된 예시적인 구현, 도면 및 기술에 결코 제한되어서는 안 되며, 등가물의 전체 범위와 함께 첨부된 청구범위의 범위 내에서 수정될 수 있다.
다음 용어는 여기에서 반대되는 맥락에서 사용되지 않는 한 다음과 같이 정의된다. 구체적으로, 하기 정의는 본 명세서에 추가적인 명확성을 제공하기 위한 것이다. 그러나 용어는 상황에 따라 다르게 설명될 수 있다. 따라서, 다음의 정의는 보충으로 간주되어야 하며 여기에서 이러한 용어에 대해 제공된 설명의 다른 정의를 제한하는 것으로 간주되어서는 안 된다.
비트스트림은 인코더와 디코더 사이의 전송을 위해 압축된 비디오 데이터를 포함하는 비트 시퀀스이다. 인코더는 비디오 데이터를 비트스트림으로 압축하기 위해 인코딩 프로세스를 사용하도록 구성된 장치이다. 디코더는 디스플레이를 위해 비트스트림으로부터 비디오 데이터를 재구성하기 위해 디코딩 프로세스를 사용하도록 구성된 장치이다. 픽처는 프레임 또는 그 필드를 생성하는 루마 샘플의 어레이 및/또는 크로마 샘플의 어레이이다. 인코딩 또는 디코딩되는 픽처는 논의의 명확성을 위해 현재 픽처로 지칭될 수 있다. 참조 픽처는 인터-예측 및/또는 인터-레이어 예측에 따라 다른 픽처를 참조로 코딩할 때 사용할 수 있는 참조 샘플을 포함하는 픽처이다. 참조 픽처 리스트는 인터-예측 및/또는 인터-레이어 예측에 사용되는 참조 픽처의 리스트이다. 일부 비디오 코딩 시스템은 참조 픽처 리스트 1 및 참조 픽처 리스트 0으로 표시될 수 있는 2개의 참조 픽처 리스트를 활용한다. 참조 픽처 리스트 구조는 여러 참조 픽처 리스트를 포함하는 주소 지정 가능한 신택스 구조이다. 인터-예측은 참조 픽처와 현재 픽처가 동일한 레이어에 있는 현재 픽처와 다른 참조 픽처의 지시된 샘플을 참조하여 현재 픽처의 샘플을 코딩하는 메커니즘이다. 참조 픽처 리스트 구조 엔트리는 참조 픽처 리스트와 연관된 참조 픽처를 나타내는 참조 픽처 리스트 구조의 주소 지정 가능한 위치이다. 슬라이스 헤더는 슬라이스에 표현된 타일 내의 모든 비디오 데이터와 관련된 데이터 요소를 포함하는 코딩된 슬라이스의 일부이다. 시퀀스 파라미터 세트(sequence parameter set, SPS)는 일련의 픽처와 관련된 데이터를 포함하는 파라미터 집합이다. 액세스 유닛(access unit, AU)은 디코딩된 픽처 버퍼(decoded picture buffer, DPB)로부터의 출력(예를 들어, 사용자에게 디스플레이하기 위해)을 위한 동일한 디스플레이 시간(예를 들어, 동일한 픽처 오더 카운트(picture order count, POC))과 연관된 하나 이상의 코딩된 픽처의 세트이다. 액세스 유닛 딜리미터(Access Unit Delimiter, AUD)는 AU의 시작 또는 AU 간의 경계를 나타내는 데 사용되는 지시자 또는 데이터 구조이다. 디코딩된 비디오 시퀀스는 사용자에게 표시하기 위해 디코더에 의해 재구성된 픽처 시퀀스이다.
여기에 사용된 두문자어는 코딩 트리 블록(Coding Tree Block, CTB), 코딩 트리 유닛(Coding Tree Unit, CTU), 코딩 유닛(Coding Unit, CU), 코딩된 비디오 시퀀스(Coded Video Sequence, CVS), 합동 비디오 전문가 팀(Joint Video Expert Team, JVET), 모션-제한 타일 세트(Motion-Constrained Tile Set, MCTS), 최대 전달 유닛(Maximum Transfer Unit, MTU), 네트워크 추상화 레이어(Network Abstraction Layer, NAL), 픽처 오더 카운트(Picture Order Count, POC), 픽처 파라미터 세트(Picture Parameter Set, PPS), 로우 바이트 시퀀스 페이로드(Raw Byte Sequence Payload, RBSP), 시퀀스 파라미터 세트(Sequence Parameter Set, SPS), 다목적 비디오 코딩(Versatile Video Coding, VVC) 및 작업 초안(Working Draft, WD)이다.
도 1은 비디오 신호를 코딩하는 예시적인 동작 방법(100)의 흐름도이다. 구체적으로, 비디오 신호는 인코더에서 인코딩된다. 인코딩 프로세스는 비디오 파일 크기를 줄이기 위해 다양한 메커니즘을 사용하여 비디오 신호를 압축한다. 파일 크기가 작을수록 압축된 비디오 파일이 사용자에게 전송되는 동시에 관련 대역폭 오버헤드가 줄어든다. 그런 다음 디코더는 압축된 비디오 파일을 디코딩하여 최종 사용자에게 표시할 원본 비디오 신호를 재구성한다. 디코딩 프로세스는 일반적으로 디코더가 비디오 신호를 일관되게 재구성할 수 있도록 인코딩 프로세스를 미러링한다.
단계 101에서, 비디오 신호는 인코더에 입력된다. 예를 들어, 비디오 신호는 메모리에 저장된 비압축 비디오 파일일 수 있다. 다른 예로서, 비디오 파일은 비디오 카메라와 같은 비디오 캡처 장치에 의해 캡처될 수 있고 비디오의 라이브 스트리밍을 지원하도록 인코딩될 수 있다. 비디오 파일은 오디오 구성요소와 비디오 구성요소를 모두 포함할 수 있다. 비디오 구성요소에는 일련의 이미지 프레임이 포함되어 있어 시퀀스로 볼 때 모션에 대한 시각적 인상을 준다. 프레임은 여기에서 루마 성분(또는 루마 샘플)이라고 하는 광과 크로마 성분(또는 컬러 샘플)이라고 하는 색상으로 표현되는 픽셀을 포함한다. 일부 예에서, 프레임은 또한 3차원 보기(viewing)를 지원하기 위해 깊이 값을 포함할 수 있다.
단계 103에서, 비디오는 블록으로 분할된다. 분할에는 압축을 위해 각 프레임의 픽셀을 정사각형 및/또는 직사각형 블록으로 세분화하는 작업이 포함된다. 예를 들어, 고효율 비디오 코딩(HEVC)(H.265 및 MPEG-H Part 2라고도 함)에서, 프레임은 먼저 미리 정의된 크기(예: 64픽셀 x 64픽셀)의 블록인 코딩 트리 유닛(CTU)로 나눌 수 있다. CTU에는 루마 및 크로마 샘플이 모두 포함되어 있다. 코딩 트리를 사용하여 CTU를 블록으로 분할한 다음, 추가 인코딩을 지원하는 구성이 달성될 때까지 블록을 재귀적으로 세분화할 수 있다. 예를 들어, 프레임의 루마 성분은 개별 블록이 상대적으로 균일한 조명 값을 포함할 때까지 세분화될 수 있다. 또한, 프레임의 크로마 성분은 개별 블록이 비교적 균일한 색상 값을 포함할 때까지 세분화될 수 있다. 따라서 비디오 프레임의 내용에 따라 분할 메커니즘이 달라진다.
단계 105에서, 단계 103에서 분할된 이미지 블록을 압축하기 위해 다양한 압축 메커니즘이 사용된다. 예를 들어, 인터 예측 및/또는 인트라 예측이 사용될 수 있다. 인터 예측은 공통 장면의 객체가 연속 프레임에 나타나는 경향이 있다는 사실을 이용하도록 설계되었다. 따라서, 참조 프레임에서 객체를 나타내는 블록은 인접 프레임에서 반복적으로 기술될 필요가 없다. 특히, 테이블과 같은 객체는 여러 프레임에 걸쳐 일정한 위치에 남아 있을 수 있다. 따라서 테이블은 한 번 설명되고 인접 프레임은 참조 프레임을 다시 참조할 수 있다. 패턴 매칭 메커니즘을 사용하여 여러 프레임에 걸쳐 객체를 매칭시킬 수 있다. 또한, 움직이는 물체는 예를 들어 물체의 모션이나 카메라의 모션으로 인해 여러 프레임에 걸쳐 표현될 수 있다. 특정 예로서, 비디오는 여러 프레임에 걸쳐 화면을 가로질러 움직이는 자동차를 보여줄 수 있다. 모션 벡터는 이러한 모션을 설명하는 데 사용할 수 있다. 모션 벡터는 프레임에 있는 객체의 좌표에서 참조 프레임에 있는 객체의 좌표까지 오프셋을 제공하는 2차원 벡터이다. 이와 같이, 인터 예측은 현재 프레임의 영상 블록을 참조 프레임의 대응하는 블록으로부터의 오프셋을 나타내는 모션 벡터의 집합으로 인코딩할 수 있다.
인트라 예측은 공통 프레임의 블록을 인코딩한다. 인트라 예측은 루마 성분 및 크로마 성분이 프레임에서 클러스터링되는 경향이 있다는 사실을 이용한다. 예를 들어, 나무의 일부에 있는 녹색 패치는 유사한 녹색 패치에 인접하게 배치되는 경향이 있다. 인트라 예측은 다중 방향성 예측 모드(예: HEVC에서 33개), 평면 모드 및 직류(DC) 모드를 사용한다. 방향성 모드는 현재 블록이 대응하는 방향에서 이웃 블록의 샘플과 유사/동일함을 나타낸다. 평면 모드는 행/열(예: 평면)을 따라 일련의 블록이 행의 가장자리에 있는 인접 블록을 기반으로 보간될 수 있음을 나타낸다. 실제로 평면 모드는, 값을 변경할 때 비교적 일정한 기울기를 사용하여 행/열에 걸쳐 빛/색상의 부드러운 전환을 나타낸다. DC 모드는 경계 평활화에 사용되며 방향성 예측 모드의 각도 방향과 관련된 모든 인접 블록의 샘플과 관련된 평균값과 유사/동일한 블록을 나타낸다. 따라서 인트라 예측 블록은 실제 값이 아닌 다양한 관계형 예측 모드 값으로 영상 블록을 표현할 수 있다. 또한, 인터 예측 블록은 실제 값이 아닌 모션 벡터 값으로 영상 블록을 나타낼 수 있다. 어느 경우든, 예측 블록은 경우에 따라 이미지 블록을 정확하게 나타내지 않을 수 있다. 모든 차이는 잔여 블록에 저장된다. 파일을 추가로 압축하기 위해 잔여 블록에 변환을 적용할 수 있다.
단계 107에서, 다양한 필터링 기술이 적용될 수 있다. HEVC에서, 필터는 인-루프 필터링 방식에 따라 적용된다. 위에서 논의된 블록 기반 예측은 디코더에서 뭉툭한 이미지(blocky image)의 생성을 초래할 수 있다. 또한, 블록 기반 예측 방식은 블록을 인코딩한 다음 나중에 참조 블록으로 사용하기 위해 인코딩된 블록을 복원할 수 있다. 인-루프 필터링 방식은 잡음 억제 필터, 디블로킹 필터, 적응 루프 필터, 샘플 적응 오프셋(SAO) 필터를 블록/프레임에 반복적으로 적용한다. 이러한 필터는 인코딩된 파일이 정확하게 재구성될 수 있도록 이러한 블로킹(blocking) 아티팩트를 완화한다. 또한, 이러한 필터는 재구성된 참조 블록에서 아티팩트를 완화하므로, 아티팩트가 재구성된 참조 블록에 기초하여 인코딩되는 후속 블록에서 추가 아티팩트를 생성할 가능성이 적다.
비디오 신호가 분할, 압축 및 필터링되면 결과 데이터는 단계 109에서 비트스트림으로 인코딩된다. 비트스트림은 위에서 논의된 데이터뿐만 아니라 디코더에서 적절한 비디오 신호 재구성을 지원하기 위해 원하는 임의의 시그널링 데이터를 포함한다. 예를 들어, 그러한 데이터는 파티션 데이터, 예측 데이터, 잔여 블록, 및 디코더에 코딩 명령을 제공하는 다양한 플래그를 포함할 수 있다. 비트스트림은 요청 시 디코더를 향한 전송을 위해 메모리에 저장될 수 있다. 비트스트림은 또한 복수의 디코더를 향해 브로드캐스트 및/또는 멀티캐스트될 수 있다. 비트스트림 생성은 반복적인 프로세스이다. 따라서, 단계 101, 103, 105, 107, 및 109는 많은 프레임 및 블록에 걸쳐 연속적으로 및/또는 동시에 발생할 수 있다. 도 1에 도시된 순서는 논의의 명료함과 용이함을 위해 제시되며, 비디오 코딩 프로세스를 특정 순서로 제한하려는 의도가 아니다.
디코더는 비트스트림을 수신하고 단계 111에서 디코딩 프로세스를 시작한다. 구체적으로, 디코더는 비트스트림을 대응하는 신택스 및 비디오 데이터로 변환하기 위해 엔트로피 디코딩 방식을 사용한다. 디코더는 단계 111에서 프레임에 대한 파티션을 결정하기 위해 비트스트림의 신택스 데이터를 사용한다. 분할은 103단계의 블록 분할의 결과와 매칭해야 한다. 이제, 단계 111에서 사용된 엔트로피 인코딩/디코딩이 설명된다. 인코더는 입력 이미지에서 값의 공간적 위치를 기반으로 여러 가능한 선택 중에서 블록 분할 방식을 선택하는 것과 같이, 압축 프로세스 동안 많은 선택을 한다. 정확한 선택에 대한 신호는 많은 수의 빈(bin)을 사용할 수 있다. 본 명세서에서 사용된 바와 같이, 빈은 변수로 취급되는 이진 값(예를 들어, 컨텍스트에 따라 변할 수 있는 비트 값)이다. 엔트로피 코딩을 사용하면 인코더가 특정 경우에 명확하게 실행 가능하지 않은 옵션을 버리고 허용 가능한 옵션 집합을 남길 수 있다. 그런 다음 각 허용 옵션에 코드 워드가 할당된다. 코드 워드의 길이는 허용되는 옵션의 수를 기반으로 한다(예: 2개 옵션의 경우 1개의 bin, 3~4개의 옵션에 대한 2개의 bin 등). 그런 다음 인코더는 선택한 옵션에 대한 코드 워드를 인코딩한다. 이 방식은 코드 워드가 가능한 모든 옵션의 잠재적으로 큰 집합에서 선택을 고유하게 표시하는 것과 대조적으로 허용 가능한 옵션의 작은 서브 집합에서 선택을 고유하게 나타내기 위해 필요한 만큼 크므로, 코드 워드의 크기를 줄인다. 그런 다음 디코더는 인코더와 유사한 방식으로 허용 가능한 옵션 세트를 결정하여 선택을 디코딩한다. 허용 가능한 옵션 세트를 결정함으로써 디코더는 코드 워드를 읽고 인코더에 의해 만들어진 선택을 결정할 수 있다.
단계 113에서, 디코더는 블록 디코딩을 수행한다. 특히, 디코더는 역변환을 사용하여 잔여 블록을 생성한다. 그 다음, 디코더는 잔여 블록 및 대응하는 예측 블록을 사용하여 분할에 따라 이미지 블록을 재구성한다. 예측 블록은 단계 105에서 인코더에서 생성된 바와 같은 인트라 예측 블록 및 인터 예측 블록 모두를 포함할 수 있다. 그런 다음 재구성된 이미지 블록은 단계 111에서 결정된 분할 데이터에 따라 재구성된 비디오 신호의 프레임에 위치된다. 단계 113에 대한 신택스는 또한, 위에서 논의된 바와 같이 엔트로피 코딩을 통해 비트스트림에서 시그널링될 수 있다.
단계 115에서, 인코더에서 단계 107과 유사한 방식으로 재구성된 비디오 신호의 프레임에 대해 필터링이 수행된다. 예를 들어, 노이즈 억제 필터, 디블로킹 필터, 적응 루프 필터 및 SAO 필터를 프레임에 적용하여 블로킹 아티팩트를 제거할 수 있다. 프레임이 필터링되면, 비디오 신호는 최종 사용자가 보기 위해 단계 117에서 디스플레이로 출력될 수 있다.
도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템(200)의 개략도이다. 구체적으로, 코덱 시스템(200)은 동작 방법(100)의 구현을 지원하는 기능을 제공한다. 코덱 시스템(200)은 인코더 및 디코더 모두에 사용되는 구성요소를 묘사하도록 일반화된다. 코덱 시스템(200)은 동작 방법(100)의 단계 101 및 103과 관련하여 논의된 바와 같이 비디오 신호를 수신 및 분할하여 분할된 비디오 신호(201)를 생성한다. 코덱 시스템(200)은 방법(100)의 단계 105, 107, 및 109와 관련하여 논의된 인코더로서 작용할 때, 분할된 비디오 신호(201)를 코딩된 비트스트림으로 압축한다. 디코더 코덱 시스템(200)은 동작 방법(100)의 단계 111, 113, 115, 117과 관련하여 논의된 바와 같이 비트스트림으로부터 출력 비디오 신호를 생성할 때 디코더 코덱 시스템(200)을 생성한다. 코덱 시스템(200)은 일반 코더 제어 구성요소(211), 변환 스케일링 및 양자화 구성요소(213), 인트라 픽처 추정 구성요소(215), 인트라 픽처 예측 구성요소(217), 모션 보상 구성요소(219), 모션 추정 구성요소(221), 스케일링 및 역변환 구성요소(229), 필터 제어 분석 구성요소(227), 인-루프 필터 구성요소(225), 디코딩된 픽처 버퍼 구성요소(223), 및 헤더 포맷팅 및 컨텍스트 적응 이진 산술 코딩(CABAC) 구성요소(231)를 포함한다. 이러한 구성요소는 도시된 것처럼 결합된다. 도 2에서, 흑색선은 부호화/복호화할 데이터의 이동을 나타내고, 점선은 다른 구성요소의 동작을 제어하는 제어 데이터의 이동을 나타낸다. 코덱 시스템(200)의 구성요소는 모두 인코더에 존재할 수 있다. 디코더는 코덱 시스템(200)의 구성요소의 서브세트를 포함할 수 있다. 예를 들어, 디코더는 인트라 픽처 예측 구성요소(217), 모션 보상 구성요소(219), 스케일링 및 역변환 구성요소(229), 인-루프 필터 구성요소(225), 및 디코딩된 픽처 버퍼 구성요소(223)를 포함할 수 있다. 이제 이러한 구성요소에 대해 설명한다.
분할된 비디오 신호(201)는 코딩 트리에 의해 픽셀의 블록으로 분할된 캡처된 비디오 시퀀스이다. 코딩 트리는 픽셀의 블록을 더 작은 픽셀 블록으로 세분화하기 위해 다양한 분할 모드를 사용한다. 그런 다음 이러한 블록을 더 작은 블록으로 세분화할 수 있다. 블록은 코딩 트리 상의 노드로 지칭될 수 있다. 더 큰 상위 노드는 더 작은 하위 노드로 분할된다. 노드가 세분화되는 횟수를 노드/코딩 트리의 깊이라고 한다. 분할된 블록은 경우에 따라 CU(Coding Unit)에 포함될 수 있다. 예를 들어, CU는, 그 CU에 대한 대응하는 신택스 명령에 따른 루마 블록, 적색 차이(red difference) 크로마(Cr) 블록 및 청색 차이(blue difference) 크로마(Cb) 블록을 포함하는 CTU의 하위 부분일 수 있다. 분할 모드는, 채용된 분할 모드에 따라 노드를 각각 다양한 모양의 2, 3 또는 4개의 자식 노드로 분할하는 데 사용되는 이진 트리(BT), 삼중 트리(TT) 및 쿼드 트리(QT)를 포함할 수 있다. 분할된 비디오 신호(201)는, 압축을 위해, 일반 코더 제어 구성요소(211), 변환 스케일링 및 양자화 구성요소(213), 인트라 픽처 추정 구성요소(215), 필터 제어 분석 구성요소(227), 및 모션 추정 구성요소(221)로 전달된다.
일반 코더 제어 구성요소(211)는 애플리케이션 제약에 따라 비디오 시퀀스의 이미지를 비트스트림으로 코딩하는 것과 관련된 결정을 내리도록 구성된다. 예를 들어, 일반 코더 제어 구성요소(211)는 비트레이트/비트스트림 크기 대 재구성 품질의 최적화를 관리한다. 이러한 결정은 저장 공간/대역폭 가용성 및 이미지 해상도 요청을 기반으로 할 수 있다. 일반 코더 제어 구성요소(211)는 또한 버퍼 언더런 및 오버런 문제를 완화하기 위해 전송 속도에 비추어 버퍼 활용을 관리한다. 이러한 문제를 관리하기 위해 일반 코더 제어 구성요소(211)는 다른 구성요소에 의한 분할, 예측 및 필터링을 관리한다. 예를 들어, 일반 코더 제어 구성요소(211)는 해상도를 증가시키고 대역폭 사용을 증가시키기 위해 압축 복잡도를 동적으로 증가시키거나 해상도 및 대역폭 사용을 감소시키기 위해 압축 복잡도를 감소시킬 수 있다. 따라서, 일반 코더 제어 구성요소(211)는 코덱 시스템(200)의 다른 구성요소를 제어하여 비디오 신호 재구성 품질과 비트 레이트 문제의 균형을 맞춘다. 일반 코더 제어 구성요소(211)는 다른 구성요소의 동작을 제어하는 제어 데이터를 생성한다. 제어 데이터는 또한 디코더에서 디코딩하기 위한 파라미터를 시그널링하기 위해, 비트스트림에서 인코딩되도록 헤더 포맷팅 및 CABAC 구성요소(231)로 전달된다.
분할된 비디오 신호(201)는 또한 인터 예측을 위해 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)로 전송된다. 분할된 비디오 신호(201)의 프레임 또는 슬라이스는 다수의 비디오 블록으로 분할될 수 있다. 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)는 시간 예측을 제공하기 위해 하나 이상의 참조 프레임의 하나 이상의 블록에 대해 수신된 비디오 블록의 예측간 코딩을 수행한다. 코덱 시스템(200)은, 예를 들어 비디오 데이터의 각 블록에 대한 적절한 코딩 모드를 선택하기 위해 다중 코딩 패스를 수행할 수 있다.
모션 추정 구성요소(221) 및 모션 보상 구성요소(219)는 고도로 통합될 수 있지만, 개념적 목적을 위해 별도로 예시된다. 모션 추정 구성요소(221)에 의해 수행되는 모션 추정은 비디오 블록에 대한 모션을 추정하는 모션 벡터를 생성하는 프로세스이다. 예를 들어, 모션 벡터는 예측 블록에 대한 코딩된 객체의 변위를 나타낼 수 있다. 예측 블록은 픽셀 차이 측면에서 코딩할 블록과 밀접하게 매칭하는 것으로 발견된 블록이다. 예측 블록은 참조 블록이라고도 할 수 있다. 그러한 픽셀 차이는 절대 차이의 합(SAD), 차이 제곱의 합(SSD), 또는 다른 차이 메트릭에 의해 결정될 수 있다. HEVC는 CTU, 코딩 트리 블록(CTB) 및 CU를 비롯한 여러 코딩된 객체를 사용한다. 예를 들어, CTU는 CTB로 분할될 수 있으며, 그런 다음 CU에 포함하기 위해 CB로 분할될 수 있다. CU는 예측 데이터를 포함하는 예측 유닛 및/또는 CU에 대한 변환된 잔여 데이터를 포함하는 변환 유닛(TU)로서 인코딩될 수 있다. 모션 추정 구성요소(221)는 레이트 왜곡 최적화 프로세스의 일부로서 레이트 왜곡 분석을 사용함으로써 모션 벡터, 예측 유닛, 및 TU를 생성한다. 예를 들어, 모션 추정 구성요소(221)는 현재 블록/프레임에 대한 다중 참조 블록, 다중 모션 벡터 등을 결정할 수 있고, 최상의 레이트 왜곡 특성을 갖는 참조 블록, 모션 벡터 등을 선택할 수 있다. 최상의 레이트 왜곡 특성은 비디오 재구성의 품질(예: 압축에 의한 데이터 손실의 양)과 코딩 효율성(예: 최종 인코딩의 크기)의 균형을 유지한다.
일부 예에서, 코덱 시스템(200)은 디코딩된 픽처 버퍼 구성요소(223)에 저장된 참조 픽처의 정수 이하 픽셀 위치에 대한 값을 계산할 수도 있다. 예를 들어, 비디오 코덱 시스템(200)은 참조 픽처의 1/4 픽셀 위치, 1/8 픽셀 위치, 또는 다른 소수 픽셀 위치의 값을 보간할 수 있다. 따라서, 모션 추정 구성요소(221)는 전체 픽셀 위치 및 부분 픽셀 위치에 대한 모션 검색을 수행하고 부분 픽셀 정밀도를 갖는 모션 벡터를 출력할 수 있다. 모션 추정 구성요소(221)는 예측 유닛의 위치를 참조 픽처의 예측 블록의 위치와 비교함으로써 인터 코딩된 슬라이스에서 비디오 블록의 예측 유닛에 대한 모션 벡터를 계산한다. 모션 추정 구성요소(221)는 계산된 모션 벡터를 인코딩을 위해 모션 데이터로서 헤더 포맷팅 및 CABAC 구성요소(231)에 출력하고 모션을 모션 보상 구성요소(219)에 출력한다.
모션 보상 구성요소(219)에 의해 수행되는 모션 보상은 모션 추정 구성요소(221)에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페치(fetch)하거나 생성하는 것을 수반할 수 있다. 다시, 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)는 일부 예에서 기능적으로 통합될 수 있다. 현재 비디오 블록의 예측 유닛에 대한 모션 벡터를 수신하면, 모션 보상 구성요소(219)는 모션 벡터가 가리키는 예측 블록을 위치시킬 수도 있다. 그 다음, 코딩되고 있는 현재 비디오 블록의 픽셀 값으로부터 예측 블록의 픽셀 값을 빼서 픽셀 차이 값을 형성함으로써 잔여 비디오 블록이 형성된다. 일반적으로, 모션 추정 구성요소(221)는 루마 구성요소에 대한 모션 추정을 수행하고, 모션 보상 구성요소(219)는 크로마 구성요소 및 루마 구성요소 모두에 대해 루마 구성요소에 기초하여 계산된 모션 벡터를 사용한다. 예측 블록 및 잔여 블록은 변환 스케일링 및 양자화 구성요소(213)로 전달된다.
분할된 비디오 신호(201)는 또한 인트라 픽처 추정 구성요소(215) 및 인트라 픽처 예측 구성요소(217)로 전송된다. 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)에서와 같이, 인트라 픽처 추정 구성요소(215) 및 인트라 픽처 예측 구성요소(217)는 고도로 통합될 수 있지만, 개념적 목적을 위해 별도로 예시된다. 인트라 픽처 추정 구성요소(215) 및 인트라 픽처 예측 구성요소(217)는, 위에서 설명한 것처럼, 프레임 간의 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)에 의해 수행되는 인터 예측에 대한 대안으로서, 현재 프레임의 블록에 상대적으로 현재 블록을 인트라 예측한다. 특히, 인트라 픽처 추정 구성요소(215)는 현재 블록을 인코딩하기 위해 사용할 인트라 예측 모드를 결정한다. 일부 예들에서, 인트라 픽처 추정 구성요소(215)는 다수의 테스트된 인트라 예측 모드로부터 현재 블록을 인코딩하기 위해 적절한 인트라 예측 모드를 선택한다. 선택된 인트라 예측 모드는 인코딩을 위해 헤더 포맷팅 및 CABAC 구성요소(231)로 전달된다.
예를 들어, 인트라 픽처 추정 구성요소(215)는 테스트된 다양한 인트라 예측 모드에 대한 레이트 왜곡 분석을 사용하여 레이트 왜곡 값을 계산하고, 테스트된 모드 중에서 최상의 레이트 왜곡 특성을 갖는 인트라 예측 모드를 선택한다. 레이트-왜곡 분석은 일반적으로 인코딩된 블록과 그 인코딩된 블록을 생성하기 위해 인코딩된 원래의 비인코딩된 블록 사이의 왜곡(또는 오류)의 양과 그 인코딩된 블록을 생성하는 데 사용된 비트레이트(예: 비트 수)를 결정한다. 인트라 픽처 추정 구성요소(215)는 블록에 대한 최상의 레이트 왜곡 값을 나타내는 인트라 예측 모드를 결정하기 위해, 다양한 인코딩된 블록에 대한 왜곡 및 레이트로부터 비율을 계산한다. 또한, 인트라 픽처 추정 구성요소(215)는 레이트 왜곡 최적화(rate-distortion optimization, RDO)에 기초한 깊이 모델링 모드(depth modeling mode, DMM)를 사용하여 깊이 맵의 깊이 블록을 코딩하도록 구성될 수 있다.
인트라 픽처 예측 구성요소(217)는 인코더 상에서 구현될 때 인트라 픽처 추정 구성요소(215)에 의해 결정된 선택된 인트라 예측 모드에 기초하여 예측 블록으로부터 잔여 블록을 생성하거나, 디코더 상에서 구현될 때 비트스트림으로부터 잔여 블록을 판독할 수 있다. 잔여 블록은 예측 블록과 원본 블록 간의 값의 차이를 포함하며, 행렬로 표현된다. 그 다음, 잔여 블록은 변환 스케일링 및 양자화 구성요소(213)로 전달된다. 인트라 픽처 추정 구성요소(215) 및 인트라 픽처 예측 구성요소(217)는 루마 및 크로마 성분 모두에 대해 동작할 수 있다.
변환 스케일링 및 양자화 구성요소(213)는 잔여 블록을 추가로 압축하도록 구성된다. 변환 스케일링 및 양자화 구성요소(213)는 이산 코사인 변환(DCT), 이산 사인 변환(DST), 또는 개념적으로 유사한 변환과 같은 변환을 잔여 블록에 적용하여 잔여 변환 계수 값을 포함하는 비디오 블록을 생성한다. 웨이블릿 변환, 정수 변환, 서브대역 변환 또는 다른 유형의 변환도 사용할 수 있다. 변환은 잔여 정보를 픽셀 값 도메인으로부터 주파수 도메인과 같은 변환 도메인으로 변환할 수 있다. 변환 스케일링 및 양자화 구성요소(213)는 또한 예를 들어 주파수에 기초하여 변환된 잔여 정보를 스케일링하도록 구성된다. 그러한 스케일링은 상이한 주파수 정보가 상이한 입도에서 양자화되도록 잔여 정보에 스케일 팩터를 적용하는 것을 포함하며, 이는 재구성된 비디오의 최종 시각적 품질에 영향을 미칠 수 있다. 변환 스케일링 및 양자화 구성요소(213)는 또한 비트 레이트를 추가로 감소시키기 위해 변환 계수를 양자화하도록 구성된다. 양자화 프로세스는 계수의 일부 또는 전부와 관련된 비트 깊이를 감소시킬 수 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수 있다. 일부 예들에서, 변환 스케일링 및 양자화 구성요소(213)는 그 다음 양자화된 변환 계수를 포함하는 행렬의 스캔을 수행할 수 있다. 양자화된 변환 계수는 헤더 포맷팅 및 CABAC 구성요소(231)로 전달되어 비트스트림에서 인코딩된다.
스케일링 및 역변환 구성요소(229)는 모션 추정을 지원하기 위해 변환 스케일링 및 양자화 구성요소(213)의 역 연산을 적용한다. 스케일링 및 역변환 구성요소(229)는 예를 들어 다른 현재 블록에 대한 예측 블록이 될 수 있는 참조 블록으로서 나중에 사용하기 위해 픽셀 도메인에서 잔여 블록을 재구성하기 위해 역 스케일링, 변환, 및/또는 양자화를 적용한다. 모션 추정 구성요소(221) 및/또는 모션 보상 구성요소(219)는 나중의 블록/프레임의 모션 추정에 사용하기 위해 대응하는 예측 블록에 잔여 블록을 다시 추가함으로써 참조 블록을 계산할 수도 있다. 필터는 스케일링, 양자화 및 변환 중에 생성된 아티팩트를 완화하기 위해 재구성된 참조 블록에 적용된다. 그렇지 않으면 후속 블록이 예측될 때 이러한 아티팩트가 부정확한 예측을 야기하고 추가 아티팩트를 생성할 수 있다.
필터 제어 분석 구성요소(227) 및 인-루프 필터 구성요소(225)는 필터를 잔여 블록 및/또는 재구성된 이미지 블록에 적용한다. 예를 들어, 스케일링 및 역변환 구성요소(229)로부터의 변환된 잔여 블록은 인트라 픽처 예측 구성요소(217) 및/또는 모션 보상 구성요소(219)로부터의 대응하는 예측 블록과 결합되어 원래의 이미지 블록을 재구성할 수 있다. 그런 다음 필터가 재구성된 이미지 블록에 적용될 수 있다. 일부 예들에서, 필터는 그 대신에 잔여 블록에 적용될 수 있다. 도 2의 다른 구성요소와 마찬가지로, 필터 제어 분석 구성요소(227) 및 인-루프 필터 구성요소(225)는 고도로 통합되어 함께 구현될 수 있지만 개념적 목적을 위해 별도로 도시된다. 재구성된 참조 블록에 적용된 필터는 특정 공간 영역에 적용되며 이러한 필터가 적용되는 방식을 조정하기 위해 여러 파라미터를 포함한다. 필터 제어 분석 구성요소(227)는 재구성된 참조 블록을 분석하여 그러한 필터가 적용되어야 하는 위치를 결정하고 대응하는 파라미터를 설정한다. 이러한 데이터는 인코딩을 위한 필터 제어 데이터로서 헤더 포맷팅 및 CABAC 구성요소(231)로 전달된다. 인-루프 필터 구성요소(225)는 필터 제어 데이터에 기초하여 이러한 필터를 적용한다. 필터는 디블로킹 필터, 잡음 억제 필터, SAO 필터 및 적응 루프 필터를 포함할 수 있다. 이러한 필터는 예에 따라 공간/픽셀 도메인(예를 들어, 재구성된 픽셀 블록) 또는 주파수 도메인에 적용될 수 있다.
인코더로서 동작할 때, 필터링된 재구성된 이미지 블록, 잔여 블록, 및/또는 예측 블록은 위에서 논의된 바와 같이 모션 추정에서 나중에 사용하기 위해 디코딩된 픽처 버퍼 구성요소(223)에 저장된다. 디코더로서 동작할 때, 디코딩된 픽처 버퍼 구성요소(223)는 재구성되고 필터링된 블록을 저장하고 출력 비디오 신호의 일부로서 디스플레이를 향해 전달한다. 디코딩된 픽처 버퍼 구성요소(223)는 예측 블록, 잔여 블록, 및/또는 재구성된 이미지 블록을 저장할 수 있는 임의의 메모리 장치일 수 있다.
헤더 포맷팅 및 CABAC 구성요소(231)는 코덱 시스템(200)의 다양한 구성요소로부터 데이터를 수신하고 디코더를 향한 전송을 위해 이러한 데이터를 코딩된 비트스트림으로 인코딩한다. 구체적으로, 헤더 포맷팅 및 CABAC 구성요소(231)는 일반 제어 데이터 및 필터 제어 데이터와 같은 제어 데이터를 인코딩하기 위한 다양한 헤더를 생성한다. 또한, 인트라 예측 및 모션 데이터를 포함하는 예측 데이터와 양자화된 변환 계수 데이터 형태의 잔여 데이터가 모두 비트스트림에서 인코딩된다. 최종 비트스트림은 원래의 분할된 비디오 신호(201)를 재구성하기 위해 디코더가 원하는 모든 정보를 포함한다. 이러한 정보는 또한 인트라 예측 모드 인덱스 테이블(코드워드 매핑 테이블이라고도 함), 다양한 블록에 대한 인코딩 컨텍스트의 정의, 가장 가능성 있는 인트라 예측 모드의 표시, 파티션 정보의 표시 등을 포함할 수 있다. 이러한 데이터는 엔트로피 코딩을 사용하여 인코딩될 수 있다. 예를 들어, 정보는 컨텍스트 적응 가변 길이 코딩(context adaptive variable length coding, CAVLC), CABAC, 신택스 기반 컨텍스트 적응 이진 산술 코딩(syntax-based context-adaptive binary arithmetic coding, SBAC), 확률 간격 분할 엔트로피(probability interval partitioning entropy, PIPE) 코딩, 또는 다른 엔트로피 코딩 기술을 사용하여 인코딩될 수 있다. 엔트로피 코딩에 이어, 코딩된 비트스트림은 다른 장치(예를 들어, 비디오 디코더)로 전송되거나 나중의 전송 또는 검색을 위해 보관될 수 있다.
도 3은 예시적인 비디오 인코더(300)를 예시하는 블록도이다. 비디오 인코더(300)는 코덱 시스템(200)의 인코딩 기능을 구현하고/구현하거나 동작 방법(100)의 단계 101, 103, 105, 107, 및/또는 109를 구현하기 위해 사용될 수 있다. 인코더(300)는 입력 비디오 신호를 분할하여 분할된 비디오 신호(201)와 실질적으로 유사한 분할된 비디오 신호(301)를 생성한다. 그 다음, 분할된 비디오 신호(301)는 인코더(300)의 구성요소에 의해 압축되고 비트스트림으로 인코딩된다.
구체적으로, 분할된 비디오 신호(301)는 인트라 예측을 위해 인트라 픽처 예측 구성요소(317)로 전달된다. 인트라 픽처 예측 구성요소(317)는 인트라 픽처 추정 구성요소(215) 및 인트라 픽처 예측 구성요소(217)와 실질적으로 유사할 수 있다. 분할된 비디오 신호(301)는 또한 디코딩된 픽처 버퍼 구성요소(323)의 참조 블록에 기초한 인터 예측을 위해 모션 보상 구성요소(321)로 전달된다. 모션 보상 구성요소(321)는 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)와 실질적으로 유사할 수 있다. 인트라 픽처 예측 구성요소(317) 및 모션 보상 구성요소(321)로부터의 예측 블록 및 잔여 블록은 잔여 블록의 변환 및 양자화를 위해 변환 및 양자화 구성요소(313)로 전달된다. 변환 및 양자화 구성요소(313)는 변환 스케일링 및 양자화 구성요소(213)와 실질적으로 유사할 수 있다. 변환 및 양자화된 잔여 블록 및 대응하는 예측 블록(관련 제어 데이터와 함께)은 비트스트림으로의 코딩을 위해 엔트로피 코딩 구성요소(331)로 전달된다. 엔트로피 코딩 구성요소(331)는 헤더 포맷팅 및 CABAC 구성요소(231)와 실질적으로 유사할 수 있다.
변환 및 양자화된 잔여 블록 및/또는 대응하는 예측 블록은 또한 모션 보상 구성요소(321)에 의해 사용하기 위한 참조 블록으로의 재구성을 위해 변환 및 양자화 구성요소(313)에서 역변환 및 양자화 구성요소(329)로 전달된다. 역변환 및 양자화 구성요소(329)는 스케일링 및 역변환 구성요소(229)와 실질적으로 유사할 수 있다. 인-루프 필터 구성요소(325)의 인-루프 필터는 예시에 따라 잔여 블록 및/또는 재구성된 참조 블록에도 적용된다. 인-루프 필터 구성요소(325)는 필터 제어 분석 구성요소(227) 및 인-루프 필터 구성요소(225)와 실질적으로 유사할 수 있다. 인-루프 필터 구성요소(325)는 인-루프 필터 구성요소(225)와 관련하여 논의된 바와 같이 다중 필터를 포함할 수 있다. 필터링된 블록은 그 다음 모션 보상 구성요소(321)에 의한 참조 블록으로서 사용하기 위해 디코딩된 픽처 버퍼 구성요소(323)에 저장된다. 디코딩된 픽처 버퍼 구성요소(323)는 디코딩된 픽처 버퍼 구성요소(223)와 실질적으로 유사할 수 있다.
도 4는 예시적인 비디오 디코더(400)를 예시하는 블록도이다. 비디오 디코더(400)는 코덱 시스템(200)의 디코딩 기능을 구현하고 및/또는 동작 방법(100)의 단계 111, 113, 115, 및/또는 117을 구현하기 위해 사용될 수 있다. 디코더(400)는 예를 들어 인코더(300)로부터 비트스트림을 수신하고, 최종 사용자에게 디스플레이하기 위해 비트스트림에 기초하여 재구성된 출력 비디오 신호를 생성한다.
비트스트림은 엔트로피 디코딩 구성요소(433)에 의해 수신된다. 엔트로피 디코딩 구성요소(433)는 CAVLC, CABAC, SBAC, PIPE 코딩, 또는 다른 엔트로피 코딩 기술과 같은 엔트로피 디코딩 방식을 구현하도록 구성된다. 예를 들어, 엔트로피 디코딩 구성요소(433)는 헤더 정보를 이용하여 비트스트림에서 코드워드로서 인코딩된 추가 데이터를 해석하기 위한 컨텍스트를 제공할 수 있다. 디코딩된 정보는 일반 제어 데이터, 필터 제어 데이터, 파티션 정보, 모션 데이터, 예측 데이터 및 잔여 블록으로부터의 양자화된 변환 계수와 같은 비디오 신호를 디코딩하기 위한 임의의 원하는 정보를 포함한다. 양자화된 변환 계수는 잔여 블록으로의 재구성을 위해 역변환 및 양자화 구성요소(429)로 전달된다. 역변환 및 양자화 구성요소(429)는 역변환 및 양자화 구성요소(329)와 유사할 수 있다.
재구성된 잔여 블록 및/또는 예측 블록은 인트라 예측 동작에 기초한 이미지 블록으로의 재구성을 위해 인트라 픽처 예측 구성요소(417)로 전달된다. 인트라 픽처 예측 구성요소(417)는 인트라 픽처 추정 구성요소(215) 및 인트라 픽처 예측 구성요소(217)와 유사할 수 있다. 구체적으로, 인트라 픽처 예측 구성요소(417)는 프레임에서 참조 블록을 위치시키기 위해 예측 모드를 사용하고, 인트라 예측된 이미지 블록을 재구성하기 위해 결과에 잔여 블록을 적용한다. 재구성된 인트라 예측된 이미지 블록 및/또는 잔여 블록 및 대응하는 인터 예측 데이터는 인-루프 필터 구성요소(425)를 통해 디코딩된 픽처 버퍼 구성요소(423)로 전달되고, 이들은 디코딩된 픽처 버퍼 구성요소(223)와 인-루프 필터 구성요소(225)와 각각 실질적으로 유사할 수 있다. 인-루프 필터 구성요소(425)는 재구성된 이미지 블록, 잔여 블록 및/또는 예측 블록을 필터링하고, 이러한 정보는 디코딩된 픽처 버퍼 구성요소(423)에 저장된다. 디코딩된 픽처 버퍼 구성요소(423)로부터의 재구성된 이미지 블록은 인터 예측을 위해 모션 보상 구성요소(421)로 전달된다. 모션 보상 구성요소(421)는 모션 추정 구성요소(221) 및/또는 모션 보상 구성요소(219)와 실질적으로 유사할 수 있다. 구체적으로, 모션 보상 구성요소(421)는 참조 블록으로부터 모션 벡터를 사용하여 예측 블록을 생성하고 잔여 블록을 결과에 적용하여 이미지 블록을 재구성한다. 결과적인 재구성된 블록은 또한 인-루프 필터 구성요소(425)를 통해 디코딩된 픽처 버퍼 구성요소(423)로 전달될 수 있다. 디코딩된 픽처 버퍼 구성요소(423)는 파티션 정보를 통해 프레임으로 재구성될 수 있는 추가적인 재구성된 이미지 블록을 계속해서 저장한다. 이러한 프레임은 시퀀스에 배치될 수도 있다. 시퀀스는 재구성된 출력 비디오 신호로 디스플레이를 향해 출력된다.
위의 사항을 염두에 두고, 비디오 압축 기술은 비디오 시퀀스에 내재된 중복성을 줄이거나 제거하기 위해 공간적(인트라-픽처) 예측 및/또는 시간적(인터-픽처) 예측을 수행한다. 블록 기반 비디오 코딩의 경우, 비디오 슬라이스(즉, 비디오 픽처 또는 비디오 픽처의 일부)는 트리블록, 코딩 트리 블록(CTB), 코딩 트리 유닛 (CTU), 코딩 유닛(CU), 및/또는 코딩 노드라고도 하는 비디오 블록으로 분할될 수 있다. 픽처의 인트라-코딩된(I) 슬라이스의 비디오 블록은 동일한 픽처의 주변 블록에 있는 참조 샘플에 대한 공간적 예측을 사용하여 인코딩된다. 픽처의 인터-코딩된(P 또는 B) 슬라이스의 비디오 블록은 동일한 픽처의 주변 블록에 있는 참조 샘플에 대한 공간적 예측 또는 다른 참조 픽처의 참조 샘플에 대한 시간적 예측을 사용할 수 있다. 픽처를 프레임이라 칭할 수 있고, 참조 픽처를 참조 프레임이라고 칭할 수 있다.
공간적 또는 시간적 예측은 코딩될 블록에 대한 예측 블록을 생성한다. 잔차 데이터는 코딩할 원래 블록과 예측 블록 간의 픽셀 차이를 나타낸다. 인터-코딩된 블록은 예측 블록을 형성하는 참조 샘플들의 블록을 가리키는 모션 벡터, 및 코딩된 블록과 예측 블록 간의 차이를 나타내는 잔차 데이터에 따라 인코딩된다. 인트라 코딩된 블록은 인트라-코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가 압축을 위해, 잔차 데이터는 픽셀 도메인에서 변환 도메인으로 변환될 수 있으며, 그 결과 잔차 변환 계수가 생성되고, 이는 양자화될 수 있다. 초기에 2차원 어레이로 어레이된 양자화된 변환 계수는 변환 계수의 1차원 벡터를 생성하기 위해 스캔될 수 있고, 엔트로피 코딩은 훨씬 더 압축을 달성하기 위해 적용될 수 있다.
이미지 및 비디오 압축은 급속한 성장을 경험하여 다양한 코딩 표준으로 이어졌다. 이러한 비디오 코딩 표준에는 ITU-T H.261, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-1 Part 2, ITU-T H.262 또는 ISO/IEC MPEG-2 Part 2, ITU-T H.263, ISO/IEC MPEG-4 Part 2, ITU-T H.264 또는 ISO/IEC MPEG-4 Part 10이라고도 하는 AVC(Advanced Video Coding), ITU-T H.265 또는 MPEG-H Part 2라고도 하는 HEVC(High Efficiency Video Coding)를 포함한다. AVC에는 SVC(Scalable Video Coding), MVC(Multiview Video Coding) 및 MVC D(Multiview Video Coding plus Depth), 3D AVC(3D-AVC)와 같은 확장이 포함된다. HEVC는 Scalable HEVC(SHVC), Multiview HEVC(MV-HEVC) 및 3D HEVC(3D-HEVC)와 같은 확장을 포함한다.
ITU-T와 ISO/IEC의 JVET(Joint Video Experts Team)에서 개발 중인 VVC(Versatile Video Coding)라는 새로운 비디오 코딩 표준도 있다. VVC 표준에는 여러 작업 초안이 있지만 특히 VVC의 작업 초안(WD), 즉 B. Bross J, Chen 및 S. Liu, "Versatile Video Coding (Draft 5)," JVET-N1001-v3, 13th JVET Meeting, March 27, 2019(VVC Draft 5)가 여기에서 참조된다.
HEVC의 픽처 분할 방식이 논의된다.
HEVC에는 일반 슬라이스, 종속 슬라이스, 타일 및 WPP(Wavefront Parallel Processing)의 4가지 서로 다른 픽처 분할 방식이 포함되어 있으며, 이는 최대 전송 유닛(Maximum Transfer Unit, MTU) 크기 매칭, 병렬 처리 및 종단 간 지연 감소에 적용될 수 있다.
일반 슬라이스는 H.264/AVC에서와 유사하다. 각 일반 슬라이스는 고유한 NAL 유닛으로 캡슐화되고 인-픽처 예측(인트라 샘플 예측, 모션 정보 예측, 코딩 모드 예측) 및 슬라이스 경계에 걸친 엔트로피 코딩 종속성이 비활성화된다. 따라서 일반 슬라이스는 동일한 픽처 내의 다른 일반 슬라이스와 독립적으로 재구성될 수 있다(루프 필터링 작업으로 인해 여전히 상호 의존성일 수 있음).
일반 슬라이스는 H.264/AVC에서도 거의 동일한 형식으로 사용할 수 있는 병렬화에 사용할 수 있는 유일한 도구이다. 일반 슬라이스 기반 병렬화는 프로세서 간 또는 코어 간 통신을 많이 필요로 하지 않는다(예측 코딩된 픽처를 디코딩할 때 모션 보상을 위한 프로세서 간 또는 코어 간 데이터 공유 제외, 이는 일반적으로, 인-픽처 예측으로 인해, 프로세서 간 또는 코어 간 데이터 공유보다 훨씬 더 무겁다). 그러나, 같은 이유로, 일반 슬라이스를 사용하면 슬라이스 헤더의 비트 비용과 슬라이스 경계에 걸친 예측 부족으로 인해 상당한 코딩 오버헤드가 발생할 수 있다. 또한 일반 슬라이스(아래에 언급된 다른 도구와 대조적으로)는 일반 슬라이스의 인-픽처 독립성과 각 일반 슬라이스가 자체 NAL 유닛에 캡슐화되어 있다는 점 때문에, MTU 크기 요구 사항과 매칭하기 위한 비트스트림 분할을 위한 핵심 메커니즘으로도 사용된다. 많은 경우에서, 병렬화의 목표와 MTU 크기 매칭의 목표는 픽처의 슬라이스 레이아웃에 대한 요구 사항이 상충된다. 이러한 상황의 실현은 아래에 언급된 병렬화 도구의 개발로 이어졌다.
종속 슬라이스에는 짧은 슬라이스 헤더가 있으며 인-픽처 예측을 깨지 않고 트리블록 경계에서 비트스트림을 분할할 수 있다. 기본적으로 종속 슬라이스는 일반 슬라이스를 여러 NAL 유닛으로 단편화하여 전체 일반 슬라이스의 인코딩이 완료되기 전에 일반 슬라이스의 일부가 전송되도록 함으로써 종단 간 지연을 줄인다.
WPP에서, 픽처는 단일 행의 코딩 트리 블록(CTB)으로 분할된다. 엔트로피 디코딩 및 예측은 다른 파티션에 있는 CTB로부터의 데이터를 사용할 수 있다. 병렬 처리는 CTB 행의 병렬 디코딩을 통해 가능하며, 여기서 CTB 행의 디코딩 시작은 2개의 CTB만큼 지연되므로, 대상 CTB의 위와 오른쪽에 있는 CTB와 관련된 데이터가 대상 CTB가 디코딩되기 전에 사용 가능하도록 보장한다. 이 엇갈린 시작(그래픽으로 표시할 때 웨이브프론트처럼 나타남)을 사용하면 픽처에 CTB 행이 포함된 수만큼의 프로세서/코어로 병렬화가 가능하다. 픽처 내의 이웃하는 트리블록 행 사이의 인-픽처 예측이 허용되기 때문에, 인-픽처 예측을 가능하게 하기 위해 필요한 프로세서간/코어간 통신이 상당할 수 있다. WPP 파티셔닝은, 적용되지 않을 때와 비교하여, 추가 NAL 유닛을 생성하지 않으므로, WPP는 MTU 크기 매칭을 위한 도구가 아니다. 그러나 MTU 크기 매칭이 필요한 경우, 특정 코딩 오버헤드와 함께 일반 슬라이스를 WPP와 함께 사용할 수 있다.
타일은 픽처를 타일 열과 행으로 분할하는 수평 및 수직 경계를 정의한다. CTB의 스캔 순서는 픽처의 타일 래스터 스캔 순서로 다음 타일의 왼쪽 상단 CTB를 디코딩하기 전에, 타일 내에서 로컬로 변경된다(타일의 CTB 래스터 스캔 순서로). 일반 슬라이스와 유사하게 타일은 인-픽처 예측 종속성과 엔트로피 디코딩 종속성을 깨뜨린다. 그러나 그들은 개별 NAL 유닛에 포함될 필요는 없고(이 점에서 WPP와 동일), 따라서 타일은 MTU 크기 매칭에 사용할 수 없다. 각 타일은 하나의 프로세서/코어에 의해 처리될 수 있으며, 인접 타일을 디코딩하는 처리 유닛 간의 인-픽처 예측에 필요한 프로세서 간/코어 간 통신은, 슬라이스가 하나 이상의 타일로 확장되는 케이스에서의 공유되는 슬라이스 헤더를 운반하는 것 및 재구성된 샘플 및 메타데이터의 루프 필터링 관련 공유로 제한된다. 하나 이상의 타일 또는 WPP 세그먼트가 슬라이스에 포함된 경우, 슬라이스의 제1 것이 아닌 각 타일 또는 WPP 세그먼트에 대한 진입점(entry point) 바이트 오프셋은 슬라이스 헤더에서 시그널링된다.
단순함을 위해, 4가지 서로 다른 픽처 분할 방식의 적용에 대한 제한이 HEVC에 지정되어 있다. 주어진 코딩된 비디오 시퀀스는 HEVC에서 지정된 대부분의 프로파일에 대한 타일과 웨이브프론트(wavefront)를 모두 포함할 수 없다. 각 슬라이스 및 타일에 대해, 다음 조건 중 하나 또는 모두가 충족되어야 한다: 1) 슬라이스의 모든 코딩된 트리 블록은 동일한 타일에 속한다; 2) 타일의 모든 코딩된 트리 블록은 동일한 슬라이스에 속한다. 마지막으로 웨이브프론트 세그먼트는 정확히 하나의 CTB 행을 포함하며, WPP가 사용 중일 때, 슬라이스가 CTB 행 내에서 시작되면 동일한 CTB 행에서 끝나야 한다.
VVC의 픽처 분할 방식에 대해 설명한다.
HEVC는 슬라이스, 타일, 브릭, WPP(Wavefront Parallel Processing)와 같은 4가지 서로 다른 픽처 분할 방식을 포함하며, 이는 MTU(Maximum Transfer Unit) 크기 매칭, 병렬 처리 및 종단 간 지연 감소에 적용될 수 있다.
VVC의 타일은 HEVC의 타일과 같다. 타일은 픽처를 타일 열과 행으로 분할하는 수평 및 수직 경계를 정의한다. VVC에서 타일의 개념은 타일을 수평으로 더 분할하여 벽돌을 형성함으로써 더욱 향상된다. 더 이상 분할되지 않은 타일도 브릭(brick)으로 간주된다. CTB의 스캔 순서는 픽처의 브릭 래스터 스캔 순서로 다음 브릭의 왼쪽 상단 CTB를 디코딩하기 전에 브릭 내에서 로컬로 변경된다(브릭의 CTB 래스터 스캔 순서로).
VVC의 슬라이스는 하나 이상의 브릭으로 구성된다. 각 슬라이스는 자체 NAL 유닛으로 캡슐화되며, 인-픽처 예측(인트라 샘플 예측, 모션 정보 예측, 코딩 모드 예측) 및 슬라이스 경계에 걸친 엔트로피 코딩 종속성이 비활성화된다. 따라서 일반 슬라이스는 동일한 픽처 내의 다른 일반 슬라이스와 독립적으로 재구성될 수 있다(루프 필터링 작업으로 인해 여전히 상호 의존성을 가질 수 있음). VVC는 직사각형 슬라이스와 래스터 스캔 슬라이스라는 두 가지 종류의 슬라이스를 정의한다. 직사각형 슬라이스는 픽처 내의 직사각형 영역을 차지하는 하나 이상의 브릭으로 구성된다. 래스터 스캔 슬라이스는 픽처 내에서 브릭의 래스터 스캔 순서에 있는 하나 이상의 브릭으로 구성된다.
VVC의 WPP 특징은 HEVC의 WPP 특징과 유사하지만 HEVC WPP에는 2개의 (2) CTU 지연이 있는 반면 VVC WPP에는 1개의 (1) CTU 지연이 있다. HEVC WPP의 경우 새 디코딩 스레드는 이전 CTU 행에 처음 2개의 CTU가 이미 디코딩된 후 할당된 CTU 행에서 제1 CTU의 디코딩을 시작할 수 있고; 반면에 VVC WPP의 경우 새 디코딩 스레드는 이전 CTU 행의 제1 CTU가 이미 디코딩된 후 할당된 CTU 행의 제1 CTU 디코딩을 시작할 수 있다.
PPS에서 타일, 벽돌 및 슬라이스의 신호에 대해 설명한다.
PPS에서 타일, 벽돌 및 슬라이스(특히 직사각형 슬라이스)의 현재 신호는 다음과 같다.
| pic_parameter_set_rbsp( ) { | Descriptor |
| ... | |
| single_tile_in_pic_flag | u(1) |
| if( !single_tile_in_pic_flag ) { | |
| uniform_tile_spacing_flag | u(1) |
| if( uniform_tile_spacing_flag ) { | |
| tile_cols_width_minus1 | ue(v) |
| tile_rows_height_minus1 | ue(v) |
| } else { | |
| num_tile_columns_minus1 | ue(v) |
| num_tile_rows_minus1 | ue(v) |
| for( i = 0; i < num_tile_columns_minus1; i++ ) | |
| tile_column_width_minus1[ i ] | ue(v) |
| for( i = 0; i < num_tile_rows_minus1; i++ ) | |
| tile_row_height_minus1[ i ] | ue(v) |
| } | |
| brick_splitting_present_flag | u(1) |
| if( uniform_tile_spacing_flag && brick_splitting_present_flag ) | |
| num_tiles_in_pic_minus1 | ue(v) |
| for( i = 0; brick_splitting_present_flag && i <= num_tiles_in_pic_minus1 + 1; i++ ) { | |
| if( RowHeight[ i ] > 1 ) | |
| brick_split_flag[ i ] | u(1) |
| if( brick_split_flag[ i ] ) { | |
| if( RowHeight[ i ] > 2 ) | |
| uniform_brick_spacing_flag[ i ] | u(1) |
| if( uniform_brick_spacing_flag[ i ] ) | |
| brick_height_minus1[ i ] | ue(v) |
| else { | |
| num_brick_rows_minus2[ i ] | ue(v) |
| for( j = 0; j <= num_brick_rows_minus2[ i ]; j++ ) | |
| brick_row_height_minus1[ i ][ j ] | ue(v) |
| } | |
| } | |
| } | |
| single_brick_per_slice_flag | u(1) |
| if( !single_brick_per_slice_flag ) | |
| rect_slice_flag | u(1) |
| if( rect_slice_flag && !single_brick_per_slice_flag ) { | |
| num_slices_in_pic_minus1 | ue(v) |
| bottom_right_brick_idx_length_minus1 | ue(v) |
| for( i = 0; i < num_slices_in_pic_minus1; i++ ) { | |
| bottom_right_brick_idx_delta[ i ] | u(v) |
| brick_idx_delta_sign_flag[ i ] | u(1) |
| } | |
| } | |
| loop_filter_across_bricks_enabled_flag | u(1) |
| if( loop_filter_across_bricks_enabled_flag ) | |
| loop_filter_across_slices_enabled_flag | u(1) |
| } | |
| if( rect_slice_flag ) { | |
| signalled_slice_id_flag | u(1) |
| if( signalled_slice_id_flag ) { | |
| signalled_slice_id_length_minus1 | ue(v) |
| for( i = 0; i <= num_slices_in_pic_minus1; i++ ) | |
| slice_id[ i ] | u(v) |
| } | |
| } | |
| ... | |
| } |
슬라이스는 슬라이스의 디코딩에 필요한 슬라이스의 속성을 설명하는 신택스 요소를 포함하는 슬라이스 헤더와 연관된다. 슬라이스 헤더 신택스 테이블의 예와 슬라이스 헤더 시맨틱의 도입 부분은 다음과 같다.
일반적인 슬라이스 헤더 신택스.
| slice_header( ) { | Descriptor |
| slice_pic_parameter_set_id | ue(v) |
| if( rect_slice_flag | | NumBricksInPic > 1 ) | |
| slice_address | u(v) |
| if( !rect_slice_flag && !single_brick_per_slice_flag ) | |
| num_bricks_in_slice_minus1 | ue(v) |
| non_reference_picture_flag | u(1) |
| slice_type | ue(v) |
| if( separate_colour_plane_flag = = 1 ) | |
| colour_plane_id | u(2) |
| slice_pic_order_cnt_lsb | u(v) |
| if( nal_unit_type = = GDR_NUT ) | |
| recovery_poc_cnt | ue(v) |
|
if( nal_unit_type = = IDR_W_RADL | | nal_unit_type = = IDR_N_LP | | nal_unit_type = = CRA_NUT | | NalUnitType = = GDR_NUT ) |
|
| no_output_of_prior_pics_flag | u(1) |
| if( output_flag_present_flag ) | |
| pic_output_flag | u(1) |
| ... | |
| } |
일반적인 슬라이스 헤더 시맨틱.
존재하는 경우, 슬라이스 헤더 신택스 요소인 slice_pic_parameter_set_id, non_reference_picture_flag, colour_plane_id, slice_pic_order_cnt_lsb, recovery_poc_cnt, no_output_of_prior_pics_flag, pic_output_flag, and slice_temporal_mvp_enabled_flag의 각 값은 코딩된 픽처의 모든 슬라이스 헤더에서 동일해야 한다.
cu_qp_delta_abs를 포함하는 코딩 유닛에 대한 루마 양자화 파라미터와 그 예측 간의 차이를 지정하는 변수 CuQpDeltaVal은 0으로 설정된다. cu_chroma_qp_offset_flag를 포함하는 코딩 유닛에 대한 Qp'Cb, Qp'Cr 및 Qp'CbCr 양자화 파라미터 각각의 값을 결정할 때 사용할 값을 지정하는 변수 CuQpOffsetCb, CuQpOffsetCr 및 CuQpOffsetCbCr은 모두 0으로 설정된다.
액세스 유닛 구분자에 대해 설명한다.
Gothenburg에서 열린 15차 JVET 회의에서는, VVC 비트스트림의 각 픽처에 대한 액세스 유닛 구분자(access unit delimiter, AUD)의 존재를 의무화하는 데 동의했다. AUD는 각 픽처의 제1 슬라이스 앞에 존재해서, 디코더 구현이 VVC 비트스트림에서 새로운 픽처의 시작을 감지하는 데 도움을 준다.
AUD RBSP의 시맨틱과 신택스는 다음과 같다.
| access_unit_delimiter_rbsp( ) { | Descriptor |
| pic_type | u(3) |
| rbsp_trailing_bits( ) | |
| } |
액세스 유닛 구분자는 액세스 유닛의 시작과 액세스 유닛 구분자 NAL 유닛을 포함하는 액세스 유닛의 코딩된 픽처에 존재하는 슬라이스 유형을 나타내는 데 사용된다. 액세스 유닛 구분자와 관련된 규범적인 디코딩 프로세스는 없다.
pic_type은 액세스 유닛 구분자 NAL 유닛을 포함하는 액세스 유닛에서 코딩된 픽처의 모든 슬라이스에 대한 slice_type 값이 pic_type의 주어진 값에 대해 표 4에 나열된 세트의 구성원임을 나타낸다. pic_type의 값은 이 사양의 이 버전을 따르는 비트스트림에서 0, 1 또는 2와 같아야 한다. pic_type의 다른 값은 ITU T | ISO/IEC에 의한 장래의 사용을 위해 유보된다. 이 사양의 이 버전을 따르는 디코더는 pic_type의 유보된 값을 무시해야 한다.
pic_type의 해석
| pic_type | 코딩된 픽처에서 표현될 수 있는 slice_type values |
| 0 | I |
| 1 | P, I |
| 2 | B, P, I |
액세스 유닛 구분자의 문제에 대해 설명한다.
각 픽처에 대해 AUD가 존재하도록 함으로써 다음과 같은 몇 가지 문제가 식별된다.
각 픽처 또는 액세스 유닛에 대해 하나의 액세스 유닛 구분자만 존재하며 액세스 유닛의 첫 번째인 NAL 유닛에 포함되어야 한다. 그러나 멀티-레이어 비트스트림의 경우와 같이 액세스 유닛이 둘 이상의 픽처를 포함하는 경우 액세스 유닛 구분자는 각 픽처가 아닌 각 액세스 유닛의 검출만 지원할 수 있다.
싱글 레이어 비트스트림에서는, 각 픽처에 대해 하나의 AUD가 존재하기 때문에, 현재 슬라이스 헤더에서 시그널링되지만 동일한 픽처의 모든 슬라이스에 대해 동일하도록 제한되는 일부 신택스 요소는 AUD로 이동되어야 한다. 이러한 신택스 요소는 픽처 레벨 신택스 요소로 지칭될 수 있다. 그러나, AUD를 포함하는 NAL 유닛이 액세스 유닛에서 첫 번째 NAL 유닛이라고 가정하면, AUD를 포함하는 NAL 유닛은 SPS, PPS 등과 같은 파라미터 세트를 포함하는 NAL 유닛보다 선행할 수 있다. AUD 및 파라미터 세트의 순서는 슬라이스 헤더에서 AUD로 이동하는 픽처 레벨 신택스 요소에 대한 유연성을 제한하고 이러한 신택스 요소의 신택스 분석은 파라미터 세트에서 시그널링되는 정보에 종속될 수 있다.
여기에 개시된 기술에 대한 설명은 ITU-T 및 ISO/IEC의 JVET(Joint Video Experts Team)에 의해 개발 중인 비디오 코딩 표준 VVC(Versatile Video Coding)를 기반으로 한다. 그러나 이 기술은 다른 비디오 코덱 사양에도 적용된다.
위에서 언급한 바와 같이 AUD는 비트스트림이 단일 레이어를 포함할 때 각 AU의 시작을 나타내기 위해 사용되었으며 따라서 픽처의 시작점을 나타낸다. 그러나, 멀티-레이어 비트스트림은 동일한 AU 내에서 서로 다른 해상도의 여러 픽처를 포함하기 때문에, AUD는 멀티-레이어 비트스트림에 동일한 기능을 제공할 수 없다. 따라서, 액세스 유닛이 멀티-레이어 비트스트림과 같이 둘 이상의 픽처를 포함하는 경우, AUD는 AU의 시작점만 나타낼 수 있고, AU의 특정 픽처의 시작점은 나타낼 수 없다.
PU가 하나, 오직 하나의 픽처를 갖는 것을 보장하는 기술이 여기에 개시된다. 각 픽처가 하나의, 그리고 아마도 단 하나의 PU의 픽처 헤더와 연관될 때, 각 픽처의 시작점 및 AU의 시작점이, 멀티-레이어 비트스트림이 채용될 때에도, 픽처 헤더에 기초하여 결정될 수 있다. 단일 픽처 헤더와 단일 픽처를 갖도록 PU를 제한함으로써, 코딩 오류를 일으키지 않고 비디오 코딩에서 멀티-레이어 비트스트림을 사용할 수 있다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.
비디오 코딩의 확장성은 일반적으로 멀티-레이어 코딩 기술을 사용하여 지원된다. 멀티-레이어 비트스트림은 기본 레이어(BL) 및 하나 이상의 향상 레이어(EL)을 포함한다. 확장성의 예로는 공간적 확장성, 품질/SNR(signal-to-noise) 확장성, 다시점 확장성 등이 있다. 멀티-레이어 코딩 기술이 사용되는 경우, 픽처 또는 그 일부가 (1) 참조 픽처를 사용하지 않고, 즉 인트라-예측을 사용하거나; (2) 동일한 레이어에 있는 참조 픽처를 참조함으로써, 즉 인터-예측을 사용하거나; 또는 (3) 다른 레이어(들)에 있는 참조 픽처를 참조함으로써, 즉 인터-레이어 예측을 사용하여 코딩될 수 있다. 현재 픽처의 인터-레이어 예측에 사용되는 참조 픽처를 ILRP(Inter Layer Reference Picture)라고 한다.
도 5는 예를 들어 블록 압축 단계(105), 블록 디코딩 단계(113), 모션 추정 컴포넌트(221), 모션 보상 컴포넌트(219), 모션 보상 컴포넌트(321), 및/또는 모션 보상 컴포넌트(421)에서, MV를 결정하기 위해 수행되는, 레이어 기반의 예측(500)의 일례를 도시하는 개략적인 도면이다. 레이어 기반 예측(500)은 단방향 인터-예측 및/또는 양방향 인터-예측과 호환되지만, 상이한 레이어의 픽처 간에도 수행된다.
레이어 기반 예측(500)은 서로 다른 레이어의 픽처(511, 512, 513, 514)와 픽처(515, 516, 517, 518) 사이에 적용된다. 표시된 예에서 픽처 511, 512, 513 및 514는 레이어 N+1(532)의 일부이고 픽처 515, 516, 517 및 518은 레이어 N(531)의 일부이다. 레이어 N(531) 및/또는 레이어 N+1(532)과 같은 레이어는 유사한 크기, 품질, 해상도, 신호 대 잡음비, 성능, 등과 같은 특성의 유사한 값과 모두 연관되어 있는 픽처의 그룹이다. 도시된 예에서, 레이어 N+1(532)은 레이어 N(531)보다 더 큰 이미지 크기와 연관된다. 따라서, 레이어 N+1(532)의 픽처(511, 512, 513, 514)는 이 예시에서 레이어 N(531)의 픽처(515, 516, 517, 518)보다 더 큰 픽처 사이즈(예를 들어, 더 큰 높이와 폭, 따라서 더 많은 샘플)를 갖는다. 그러나 이러한 픽처는 다른 특성에 의해 N+1(532)과 N(531) 사이에서 분리될 수 있다. 2개의 레이어, 레이어 N+1(532)과 레이어 N(531)만 표시되지만, 한 세트의 픽처는 연관된 특성에 따라 레이어 수에 관계없이 분리될 수 있다. 레이어 N+1(532) 및 레이어 N(531)은 또한 레이어 ID로 표시될 수 있다. 레이어 ID는 픽처와 연관되고 픽처가 표시된 레이어의 일부임을 나타내는 데이터 항목이다. 따라서, 각각의 픽처(511-518)는 대응하는 픽처를 포함하는 레이어 N+1(532) 또는 레이어 N(531)을 나타내기 위해 대응하는 레이어 ID와 연관될 수 있다.
상이한 레이어(531-532)의 픽처(511-518)는 대안에서 표시되도록 구성된다. 이와 같이, 상이한 레이어 (531-532)의 픽처 (511-518)는 픽처가 동일한 AU에 포함될 때 동일한 시간 식별자(ID)를 공유할 수 있다. 본 명세서에서 사용되는 바와 같이, AU는 DPB로부터의 출력을 위한 동일한 디스플레이 시간과 연관된 하나 이상의 코딩된 픽처의 세트이다. 예를 들어, 디코더는 더 작은 픽처가 요구되는 경우 현재 디스플레이 시간에 픽처(515)를 디코딩하고 디스플레이할 수 있거나 더 큰 픽처가 요구되는 경우 디코더가 현재 디스플레이 시간에 픽처(511)를 디코딩 및 디스플레이할 수 있다. 이와 같이, 상위 레이어 N+1(532)의 픽처(511-514)는 하위 레이어 N(531)의 대응하는 픽처(515-518)와 실질적으로 동일한 이미지 데이터를 포함한다(픽처 크기의 차이에도 불구하고). 구체적으로, 픽처(511)는 픽처(515)와 실질적으로 동일한 이미지 데이터를 포함하고, 픽처(512)는 픽처(516)와 실질적으로 동일한 이미지 데이터를 포함한다.
픽처(511-518)는 동일한 레이어 N(531) 또는 N+1(532)의 다른 픽처(511-518)를 참조하여 코딩될 수 있다. 동일한 레이어의 다른 픽처를 참조하여 픽처를 코딩하면 인터-예측(523)이 발생하며, 이는 호환 가능한 단방향 인터-예측 및/또는 양방향 인터-예측이다. 인터-예측(523)은 실선 화살표로 도시된다. 예를 들어, 픽처(513)는 참조로서 레이어 N+1(532)의 픽처(511, 512, 및/또는 514) 중 하나 또는 2개를 사용하여 인터-예측(523)을 사용함으로써 코딩될 수 있으며, 여기서 하나의 픽처는 단방향 인터-예측을 위해 참조되고/되거나 두 개의 픽처는 양방향 인터-예측을 위한 참조이다. 또한, 픽처(517)는 참조로서 레이어 N(531)의 픽처(515, 516 및/또는 518) 중 하나 또는 2개를 사용하여 인터-예측(523)을 사용함으로써 코딩될 수 있으며, 여기서 하나의 픽처는 단방향 인터-예측을 위해 참조되고/되거나 두 개의 픽처는 양방향 인터-예측을 위한 참조이다. 인터-예측(523)을 수행할 때 픽처가 동일한 레이어의 다른 픽처에 대한 참조로 사용되는 경우, 픽처는 참조 픽처로 지칭될 수 있다. 예를 들어, 픽처(512)는 인터-예측(523)에 따라 픽처(513)를 코딩하는데 사용되는 참조 픽처일 수 있다. 인터-예측(523)은 또한 멀티-레이어 컨텍스트에서 인트라-레이어 예측으로 지칭될 수 있다. 이와 같이, 인터-예측(523)은 참조 픽처와 현재 픽처가 동일한 레이어에 있는 현재 픽처와 다른 참조 픽처 내의 지시된 샘플들을 참조하여 현재 픽처의 샘플들을 코딩하는 메커니즘이다.
픽처(511-518)는 또한 상이한 레이어의 다른 픽처(511-518)를 참조하여 코딩될 수 있다. 이 프로세스는 인터-레이어 예측(521)으로 알려져 있으며 점선 화살표로 표시된다. 인터-레이어 예측(521)은 현재 픽처와 참조 픽처가 서로 다른 레이어에 있고 따라서 서로 다른 레이어 ID를 갖는 참조 픽처에서 표시된 샘플을 참조하여 현재 픽처의 샘플을 코딩하는 메커니즘이다. 예를 들어, 하위 레이어 N(531)의 픽처는 상위 레이어 N+1(532)의 대응 픽처를 코딩하기 위한 참조 픽처로 사용될 수 있다. 구체적인 예로서, 픽처(511)는 인터-레이어 예측(521)에 따라 픽처(515)를 참조하여 코딩될 수 있다. 이 경우, 픽처(515)는 인터-레이어 참조 픽처로 사용된다. 인터-레이어 참조 픽처는 인터-레이어 예측(521)에 사용되는 참조 픽처이다. 대부분의 경우, 인터-레이어 예측(521)은 픽처(511)와 같은 현재 픽처가 다음과 같이 동일한 AU에 포함되고, 픽처(515)와 같은 하위 레이어에 있는 인터-레이어 참조 픽처(들)만을 사용할 수 있도록 제한된다. 다수의 레이어(예를 들어, 2개 이상)가 이용가능한 경우, 인터-레이어 예측(521)은 현재 픽처보다 낮은 레벨에서 다수의 인터-레이어 참조 픽처(들)에 기초하여 현재 픽처를 인코딩/디코딩할 수 있다.
비디오 인코더는 레이어 기반 예측(500)을 사용하여 인터-레이어 예측(523) 및 인터-레이어 예측(521)의 많은 상이한 조합 및/또는 순열을 통해 픽처(511-518)를 인코딩할 수 있다. 예를 들어, 픽처(515)는 인트라-예측에 따라 코딩될 수 있다. 그 다음, 픽처(516-518)는 참조 픽처로서 픽처(515)를 사용함으로써 인터-예측(523)에 따라 코딩될 수 있다. 또한, 픽처(511)는 픽처(515)를 인터-레이어 참조 픽처로 사용함으로써 인터-레이어 예측(521)에 따라 코딩될 수 있다. 그 다음, 픽처(512-514)는 참조 픽처로서 픽처(511)를 사용함으로써 인터-예측(523)에 따라 코딩될 수 있다. 이와 같이, 참조 픽처는 상이한 코딩 메커니즘을 위한 싱글 레이어 참조 픽처 및 인터-레이어 참조 픽처 모두의 역할을 할 수 있다. 하위 레이어 N+1(532) 픽처를 기반으로 상위 레이어 N+1(532) 픽처를 코딩함으로써 상위 레이어 N+1(532)은 인터-예측(523) 및 인터-레이어 예측(521)보다 훨씬 낮은 코딩 효율을 갖는 인트라-예측을 사용하는 것을 피할 수 있다. 이와 같이, 인트라-예측의 열악한 코딩 효율은 최소/최저 품질 픽처로 제한될 수 있고, 따라서 최소량의 비디오 데이터를 코딩하는 것으로 제한될 수 있다. 참조 픽처 및/또는 인터-레이어 참조 픽처로 사용되는 픽처는 참조 픽처 리스트 구조에 포함된 참조 픽처 리스트(들)의 엔트리에 표시될 수 있다.
도 5의 각 AU(506)에는 여러 장의 픽처가 포함될 수 있다. 예를 들어, 하나의 AU(506)는 픽처(511, 515)을 포함할 수 있다. 다른 AU(506)는 픽처(512, 516)을 포함할 수 있다. 실제로, 각각의 AU(506)는 디코딩된 픽처 버퍼(DPB)로부터의 출력(예를 들어, 사용자에 대한 디스플레이를 위해)을 위한 동일한 디스플레이 시간(예를 들어, 동일한 시간 ID)과 연관된 하나 이상의 코딩된 픽처의 세트이다. 각각의 AUD(508)는 AU(예를 들어, AU(506))의 시작 또는 AU 사이의 경계를 나타내기 위해 사용되는 지시자 또는 데이터 구조이다.
이전 H.26x 비디오 코딩 패밀리는 싱글 레이어 코딩을 위한 프로필과 별도의 프로필에서 확장성을 지원했다. 확장 가능한 비디오 코딩(SVC)은 공간, 시간 및 품질 확장성을 지원하는 AVC/H.264의 확장 가능한 확장이다. SVC의 경우, 플래그는 EL 픽처의 각 매크로블록(MB)에서 시그널링되어 EL MB가 하위 레이어에서 배치된 블록을 사용하여 예측되는지 여부를 나타낸다. 병치된 블록으로부터의 예측은 텍스처, 모션 벡터, 및/또는 코딩 모드를 포함할 수 있다. SVC 구현은 설계에서 수정되지 않은 H.264/AVC 구현을 직접 재사용할 수 없습니다. SVC EL 매크로블록 신택스 및 디코딩 프로세스는 H.264/AVC 신택스 및 디코딩 프로세스와 상이하다.
확장 가능한 HEVC(SHVC)는 공간 및 품질 확장성을 지원하는 HEVC/H.265 표준의 확장이고, 멀티뷰 HEVC(MV-HEVC)는 멀티-뷰 확장성을 지원하는 HEVC/H.265의 확장이며, 3D HEVC(3D-HEVC)는 MV-HEVC보다 더 발전되고 더 효율적인 3차원(3D) 비디오 코딩을 지원하는 HEVC/H.264의 확장이다. 시간적 확장성은 싱글 레이어 HEVC 코덱의 필수 부분으로 포함된다. HEVC의 멀티-레이어 확장의 설계는, 인터-레이어 예측에 사용되는 디코딩된 픽처가 동일한 액세스 유닛(AU)으로부터만 제공되고 LTRP(long-term reference picture)로서 처리되며, 현재 레이어의 다른 시간적 참조 픽처와 함께 참조 픽처 리스트(들)의 참조 인덱스가 할당되는 아이디어를 채용한다. 인터-레이어 예측(Inter-Layer Prediction, ILP)은 참조 픽처 리스트(들)의 인터-레이어 참조 픽처(들)를 참조하도록 참조 인덱스의 값을 설정함으로써 예측 유닛 레벨에서 달성된다.
특히, 참조 픽처 리샘플링 및 공간 확장성 기능 모두는 참조 픽처 또는 그 일부의 리샘플링을 요구한다. 참조 픽처 리샘플링(RPR)은 픽처 레벨 또는 코딩 블록 레벨에서 실현될 수 있다. 다만, RPR을 코딩 특징이라고 하는 경우, 이는 싱글 레이어 코딩을 위한 특징이다. 그렇더라도, 싱글 레이어 코딩의 RPR 기능과 멀티-레이어 코딩의 공간 확장성 기능 모두에 대해 동일한 리샘플링 필터를 사용하는 것이 코덱 설계 관점에서 가능하거나 더 바람직하다.
도 6은 점진적 디코딩 리프레시(GDR) 기술(600)을 구현하도록 구성된 비디오 비트스트림(650)을 예시한다. 본 명세서에서 사용되는 바와 같이, 비디오 비트스트림(650)은 또한 코딩된 비디오 비트스트림, 비트스트림, 또는 이들의 변형으로 지칭될 수도 있다. 도 6에 도시된 바와 같이, 비트스트림(650)은 시퀀스 파라미터 세트(SPS)(652), 픽처 파라미터 세트(PPS)(654), 슬라이스 헤더(656), 및 이미지 데이터(658)를 포함한다.
SPS(652)는 일련의 픽처(SOP)의 모든 픽처에 공통인 데이터를 포함한다. 대조적으로, PPS(654)는 전체 픽처에 공통된 데이터를 포함한다. 슬라이스 헤더(656)는 예를 들어 슬라이스 유형, 참조 픽처 중 어느 것이 사용될 것인지 등과 같은 현재 슬라이스에 대한 정보를 포함한다. SPS(652) 및 PPS(654)는 일반적으로 파라미터 세트로 지칭될 수 있다. SPS(652), PPS(654) 및 슬라이스 헤더(656)는 NAL(Network Abstraction Layer) 유닛의 유형이다. NAL 유닛은 따를 데이터의 유형(예를 들어, 코딩된 비디오 데이터)의 표시를 포함하는 신택스 구조이다. NAL 유닛은 VCL(Video Coding Layer)과 비-VCL NAL 유닛으로 분류된다. VCL NAL 유닛은 비디오 픽처의 샘플 값을 나타내는 데이터를 포함하고, 비-VCL NAL 유닛은 파라미터 세트(여러 VCL NAL 유닛에 적용될 수 있는 중요한 데이터)와 같은 임의의 연관된 추가 정보, 그리고 추가적인 향상 정보(디코딩된 비디오 신호의 사용성을 향상시킬 수 있지만 비디오 픽처의 샘플 값을 디코딩하는 데 필요하지 않은 타이밍 정보 및 기타 추가 데이터)를 포함한다. 통상의 기술자는 비트스트림(650)이 실제 응용에서 다른 파라미터 및 정보를 포함할 수 있음을 이해할 것이다.
도 6의 이미지 데이터(658)는 인코딩 또는 디코딩되는 이미지 또는 비디오와 관련된 데이터를 포함한다. 이미지 데이터(658)는 단순히 페이로드 또는 비트스트림(650)에서 운반되는 데이터로 지칭될 수 있다. 일 실시예에서, 이미지 데이터(658)는 GDR 픽처(602), 하나 이상의 트레일링 픽처(604), 및 복구점 픽처(606)를 포함하는 CVS(608)(또는 CLVS)를 포함한다. 실시예에서, GDR 픽처(602)는 CVS 시작(CVSS) 픽처로 지칭된다. CVS(608)는 비디오 비트스트림(650)의 모든 코딩된 레이어 비디오 시퀀스(CLVS)에 대한 코딩된 비디오 시퀀스이다. 특히, 비디오 비트스트림(650)이 싱글 레이어를 포함하는 경우, CVS 및 CLVS는 동일하다. CVS 및 CLVS는 비디오 비트스트림(650)이 멀티-레이어를 포함하는 경우에만 상이하다. 일 실시예에서, 후행 픽처들이 GDR 기간에서 복구점 픽처(606)에 선행하기 때문에 후행 픽처들(604)은 GDR 픽처의 형태로 간주될 수 있다.
일 실시예에서, GDR 픽처(602), 트레일링 픽처(604), 및 복구점 픽처(606)는 CVS(608)에서 GDR 기간을 정의할 수 있다. 일 실시예에서, 디코딩 순서는 GDR 픽처(602)로 시작하고, 후행 픽처(604)로 계속되고, 그 다음 복구 픽처(606)로 진행한다.
CVS(608)는 GDR 픽처(602)로 시작하는 일련의 픽처(또는 그 일부)이며, 다음의 GDR 픽처까지(이는 포함하지 않음) 또는 비트스트림의 끝까지 모든 픽처(또는 그 일부)를 포함한다. GDR 기간은 GDR 픽처(602)로 시작하는 일련의 픽처이며 복구점 픽처(606)까지의 모든 픽처를 포함한다. CVS(608)에 대한 디코딩 프로세스는 항상 GDR 픽처(602)에서 시작한다.
도 6에 도시된 바와 같이, GDR 기술(600) 또는 원리는 GDR 픽처(602)로 시작하여 복구점 픽처(606)로 끝나는 일련의 픽처에 걸쳐 작동한다. GDR 픽처(602)는 인트라-예측을 사용하여 모두 코딩된 블록(즉, 인트라-예측된 블록)을 포함하는 리프레시된/클린(clean) 영역(610) 및 인터-예측을 사용하여 모두 코딩된 블록(즉, 인터-예측된 블록)을 포함하는 리프레시되지 않은/더티(dirty) 영역(612)을 포함한다.
GDR 픽처(602)에 바로 인접한 후행 픽처(604)는 인트라-예측을 사용하여 코딩된 제1 부분(610A) 및 인터-예측을 사용하여 코딩된 제2 부분(610B)을 갖는 리프레시된/클린 영역(610)을 포함한다. 제2 부분(610B)은 예를 들어 CVS(608)의 GDR 기간 내의 선행하는 픽처의 리프레시된/클린 영역(610)을 참조함으로써 코딩된다. 도시된 바와 같이, 후행 픽처(604)의 리프레시된/클린 영역(610)은 코딩 프로세스가 일관된 방향(예를 들어, 왼쪽에서 오른쪽으로)으로 이동하거나 진행함에 따라 확장되고, 이에 따라 리프레시되지 않은/더티 영역(612)이 축소된다. 결국, 리프레시된/클린 영역(610)만을 포함하는 복구점 픽처(606)는 코딩 프로세스로부터 획득된다. 특히, 그리고 아래에서 더 논의되는 바와 같이, 인터-예측 블록으로서 코딩되는 리프레시된/클린 영역(610)의 제2 부분(610B)은 참조 픽처에서 리프레시된/클린 영역(610)만을 참조할 수 있다.
도 6에 도시된 바와 같이, CVS(608)의 GDR 픽처(602), 트레일링 픽처(604), 및 복구점 픽처(606)는 각각 그들 자신의 VCL NAL 유닛(630) 내에 포함된다. CVS(608)의 VCL NAL 유닛(630)의 세트는 액세스 유닛으로 지칭될 수 있다.
일 실시예에서, CVS(608)의 GDR 픽처(602)를 포함하는 VCL NAL 유닛(630)은 GDR NAL 유닛 유형(GDR_NUT)을 갖는다. 즉, 일 실시예에서 CVS(608)의 GDR 픽처(602)를 포함하는 VCL NAL 유닛(630)은 후행 픽처(604) 및 복구점 픽처(606)에 대해 고유한 NAL 유닛 유형을 갖는다. 일 실시예에서, GDR_NUT는 비트스트림(650)이 인트라 랜덤 액세스 포인트(IRAP) 픽처로 시작해야 하는 대신 비트스트림(650)이 GDR 픽처(602)로 시작하는 것을 허용한다. GDR 픽처(602)의 VCL NAL 유닛(630)을 GDR_NUT로서 지정하는 것은, 예를 들어, CVS(608)의 초기 VCL NAL 유닛(630)이 GDR 픽처(602)를 포함한다는 것을 디코더에 나타낼 수 있다. 일 실시예에서, GDR 픽처(602)는 CVS(608)의 초기 픽처이다. 일 실시예에서, GDR 픽처(602)는 GDR 기간의 초기 픽처이다.
도 7은 GDR을 지원하기 위해 인코더 제한을 사용할 때 바람직하지 않은 모션 검색(700)을 예시하는 개략도이다. 도시된 바와 같이, 모션 검색(700)은 현재 픽처(702) 및 참조 픽처(704)를 묘사한다. 현재 픽처(702) 및 참조 픽처(704)는 각각 인트라-예측으로 코딩된 리프레시된 영역(706), 인터-예측으로 코딩된 리프레시된 영역(708), 및 리프레시되지 않은 영역(710)을 포함한다. 리프레시된 영역(706), 리프레시된 영역(708), 및 리프레시되지 않은 영역(710)은, 도 6의 리프레시된/클린 영역(610)의 제1 부분(610A), 리프레시된/클린 영역(610)의 제2 부분(610B) 및 리프레시되지 않은/더티 영역(612)과 유사하다.
모션 검색(700) 프로세스 동안, 인코더는 참조 블록(714)의 샘플 중 일부가 리프레시된 영역(706) 외부에 위치하도록 하는 임의의 모션 벡터(712)를 선택하는 것이 제한되거나 방지된다. 이것은 현재 픽처(702)에서 현재 블록(716)을 예측할 때 참조 블록(714)이 최상의 레이트 왜곡 비용 기준을 제공하는 경우에도 발생한다. 따라서 도 7은 GDR을 지원하기 위해 인코더 제한을 사용할 때 모션 검색(700)에서 최적성이 아닌 이유를 예시한다.
도 8은 비디오 비트스트림(800)의 실시예를 예시한다. 본 명세서에서 사용되는 바와 같이, 비디오 비트스트림(800)은 또한 코딩된 비디오 비트스트림, 비트스트림, 또는 이들의 변형으로 지칭될 수도 있다. 도 8에 도시된 바와 같이, 비트스트림(800)은 적어도 하나의 픽처 유닛(PU)(801)을 포함한다. 3개의 PU(801)가 도 8에 도시되어 있지만, 실제 적용에서 상이한 수의 PU(801)가 비트스트림(800)에 존재할 수 있다. 각각의 PU(801)는 지정된 분류 규칙에 따라 서로 연관되고 디코딩 순서가 연속적이며 정확히 하나의 코딩된 픽처(예를 들어, 픽처(814))를 포함하는 NAL 유닛의 세트이다.
실시예에서, 각각의 PU(801)는 다음: 디코딩 능력 정보(DCI)(802), 비디오 파라미터 세트(VPS)(804), 시퀀스 파라미터 세트(SPS)(806), 픽처 파라미터 세트(PPS)(808), 픽처 헤더(PH)(812) 및 픽처(814) 중 하나 이상을 포함한다. 일 실시예에서, PU(801)는 PH(812)를 포함하지 않는다. 즉, PU는 0개의 PH를 포함한다. DCI(802), VPS(804), SPS(806), 및 PPS(808) 각각은 일반적으로 파라미터 세트로 지칭될 수 있다. 일 실시예에서, 도 8에 도시되지 않은 다른 파라미터 세트가 있는데, 예를 들어, 슬라이스 헤더에서 발견되는 0개 이상의 신택스 요소에 의해 결정되는 0개 이상의 슬라이스에 적용되는 신택스 요소를 포함하는 신택스 구조인 적응 파라미터 세트(Adaption Parameter Set, APS)가, 비트스트림(800)에 포함될 수 있다.
디코딩 파라미터 세트(DPS) 또는 디코더 파라미터 세트로도 지칭될 수 있는 DCI(802)는 전체 비트스트림에 적용되는 신택스 요소를 포함하는 신택스 구조이다. DCI(802)는 세션의 수명으로 변환될 수 있는 비디오 비트스트림(예를 들어, 비트스트림(800))의 수명 동안 일정하게 유지되는 파라미터를 포함한다. DCI(802)는 세션 내에서 비디오 시퀀스의 스플라이싱이 발생하더라도 절대 초과되지 않는 최대 복잡도 상호 운용성 포인트를 결정하기 위해 프로파일, 레벨 및 서브-프로파일 정보를 포함할 수 있다. 이것은 비디오 비트스트림이 이러한 플래그의 값에 의해 표시되는 특정 기능의 사용에 대한 제약이 될 것임을 나타내는 제약 플래그를 선택적으로 추가로 포함한다. 이를 통해 비트스트림은 디코더 구현에서 무엇보다도 리소스 할당을 허용하는 특정 도구를 사용하지 않는 것으로 레이블링될 수 있다. 모든 파라미터 세트와 마찬가지로 DCI(802)는 처음 참조될 때 존재하고 비디오 시퀀스의 맨 처음 픽처에 의해 참조되어 비트스트림의 첫 번째 NAL 유닛 사이에서 전송되어야 함을 의미한다. 다수의 DCI(802)가 비트스트림에 있을 수 있지만, 그 안의 신택스 요소의 값은 참조될 때 불일치할 수 없다.
VPS(804)는 향상 레이어의 참조 픽처 세트 구성을 위한 디코딩 의존성 또는 정보를 포함한다. VPS(804)는 어떤 유형의 동작점이 제공되는지, 동작점의 프로필, 티어 및 레벨, 그리고 세션 협상 및 콘텐츠 선택 등의 기반으로서 사용될 수 있는 비트스트림의 일부의 다른 상위 레벨 특성을 포함하여, 확장 가능한 시퀀스의 전체 관점 또는 뷰를 제공한다.
SPS(806)는 일련의 픽처(SOP)의 모든 픽처에 공통인 데이터를 포함한다. SPS(806)는 각 픽처 헤더에서 발견되는 신택스 요소에 의해 참조되는 PPS에서 발견되는 신택스 요소의 내용에 의해 결정되는 바와 같이, 0개 이상의 전체 CLVS에 적용되는 신택스 요소를 포함하는 신택스 구조이다. 대조적으로, PPS(808)는 전체 픽처에 공통된 데이터를 포함한다. PPS(808)는 각각의 픽처 헤더(예를 들어, PH(812))에서 발견되는 신택스 요소에 의해 결정되는 바와 같이, 0개 이상의 전체 코딩된 픽처에 적용되는 신택스 요소를 포함하는 신택스 구조이다.
DCI(802), VPS(804), SPS(806) 및 PPS(808)는 서로 다른 유형의 NAL(네트워크 추상화 레이어) 유닛에 포함된다. NAL 유닛은 따를 데이터의 유형(예를 들어, 코딩된 비디오 데이터)의 표시를 포함하는 신택스 구조이다. NAL 유닛은 VCL(Video Coding Layer)과 비-VCL NAL 유닛으로 분류된다. VCL NAL 유닛은 비디오 영상의 샘플 값을 나타내는 데이터를 포함하고 비-VCL NAL 유닛은 파라미터 세트(여러 VCL NAL 유닛에 적용할 수 있는 중요한 데이터)와 같은 관련 추가 정보와, 추가 향상 정보(디코딩된 비디오 신호의 사용성을 향상시킬 수 있지만 비디오 픽처의 샘플 값을 디코딩하는 데 필요하지 않은 타이밍 정보 및 기타 추가 데이터)를 포함한다.
일 실시예에서, DCI(802)는 DCI NAL 유닛 또는 DPS NAL 유닛으로 지정된 비-VCL NAL 유닛에 포함된다. 즉, DCI NAL 유닛은 DCI NAL 유닛 타입(NUT)을 갖고, DPS NAL 유닛은 DPS NUT를 갖는다. 실시예에서, VPS(804)는 VPS NAL 유닛으로 지정된 비-VCL NAL 유닛에 포함된다. 따라서 VPS NAL 유닛에는 VPS NUT가 있다. 일 실시예에서, SPS(806)는 SPS NAL 유닛으로서 지정된 비-VCL NAL 유닛이다. 따라서, SPS NAL 유닛에는 SPS NUT가 있다. 일 실시예에서, PPS(808)는 PPS NAL 유닛으로 지정된 비-VCL NAL 유닛에 포함된다. 따라서 PPS NAL 유닛에는 PPS NUT가 있다.
PH(812)는 코딩된 픽처(예를 들어, 픽처(814))의 모든 슬라이스(예를 들어, 슬라이스(818))에 적용되는 신택스 요소를 포함하는 신택스 구조이다. 일 실시예에서, PH(812)는 PH NAL 유닛으로 지정된 새로운 유형의 비-VCL NAL 유닛에 있다. 따라서, PH NAL 유닛은 PH NUT(예를 들어, PH_NUT)를 갖는다. 일 실시예에서, 각각의 PU(801)에 포함된 단 하나의 PH(812)가 있다. 즉, PU(801)는 단일 또는 단독 PH(812)를 포함한다. 일 실시예에서, 비트스트림(800)의 각 픽처(801)에 대해 정확히 하나의 PH NAL 유닛이 존재한다. 일 실시예에서, 각각의 PU(801)에 포함된 단 하나의 PH(812)가 있다. 즉, PU(801)는 단일 또는 단독 PH(812)를 포함한다. 일 실시예에서, 비트스트림(800)의 각 픽처(801)에 대해 정확히 하나의 PH NAL 유닛이 존재한다. 일 실시예에서, PU(801)는 0개의 PH 및 0개의 PH NAL 유닛을 포함한다. 예를 들어, 픽처(814)가 하나의 슬라이스(818)만을 포함할 때, 픽처(814)와 슬라이스(818)가 동일한 크기이기 때문에 PH(812)가 필요하지 않다. 실제로, 동일한 크기의 픽처(814) 및 슬라이스(818)에 대한 파라미터는 동일하고 따라서 슬라이스 헤더(예를 들어, 슬라이스 헤더(820))에 포함될 수 있다. 일 실시예에서, PU(801)는 픽처(814)가 단 하나의 슬라이스(818)를 포함하는 경우에도 PH NAL 유닛 내에 PH를 포함한다.
일 실시예에서, PH(812)와 연관된 PH NAL 유닛은 시간 ID 및 레이어 ID를 갖는다. 시간 ID는 비트스트림(예를 들어, 비트스트림(801))의 다른 PH NAL 유닛에 대한 시간상 PH NAL 유닛의 위치를 표시한다. 레이어 ID는 PH NAL 유닛을 포함하는 레이어(예: 레이어 531 또는 레이어 532)을 나타낸다. 일 실시예에서, 시간 ID는 POC와 유사하지만 상이하다. POC는 각 픽처를 순서대로 고유하게 식별한다. 싱글 레이어 비트스트림에서 시간 ID와 POC는 동일한다. 멀티-레이어 비트스트림(예를 들어, 도 5 참조)에서, 동일한 AU의 픽처는 상이한 POC를 갖지만 동일한 시간 ID를 가질 것이다.
일 실시예에서, PH NAL 유닛은 연관된 픽처(814)의 제1 슬라이스(818)를 포함하는 VCL NAL 유닛에 선행한다. 이것은 PH(812)에서 시그널링되고 슬라이스 헤더(820)로부터 참조되는 픽처 헤더 ID를 가질 필요 없이 PH(812)와 PH(812)와 연관된 픽처(814)의 슬라이스(818) 사이의 연관을 확립한다. 결과적으로, 2개의 PH(812) 사이의 모든 VCL NAL 유닛은 동일한 픽처(814)에 속하고 픽처(814)는 2개의 PH(812) 사이의 제1 PH(812)와 연관된다는 것이 추론될 수 있다. 일 실시예에서, PH(812)를 뒤따르는 제1 VCL NAL 유닛은 PH(812)와 연관된 픽처(814)의 제1 슬라이스(817)를 포함한다.
일 실시예에서, PH NAL 유닛은 픽처 레벨 파라미터 세트(예를 들어, PPS) 또는 DCI(일명, DPS), VPS, SPS, PPS 등과 같은 상위 레벨 파라미터 세트를 따르며, PH NAL 유닛의 시간 ID 및 레이어 ID보다 작은 시간 ID 및 레이어 ID를 가진다. 결과적으로, 이러한 파라미터 세트는 픽처 또는 액세스 유닛 내에서 반복되지 않는다. 이 순서로 인해, PH 812는 즉시 해결될 수 있다. 즉, 전체 픽처와 관련된 파라미터를 포함하는 파라미터 세트는 비트스트림에서 PH NAL 유닛 이전에 위치한다. 픽처의 일부에 대한 파라미터를 포함하는 임의의 항목은 PH NAL 유닛 뒤에 배치된다.
하나의 대안에서, PH NAL 유닛은 픽처 레벨 파라미터 세트 및 프리픽스 SEI(supplemental enhancement information) 메시지, 또는 DCI(일명, DPS), VPS, SPS, PPS, APS, SEI 메시지 등과 같은 상위 레벨 파라미터 세트를 따른다.
일 실시예에서, PH(812)는 PH(812)와 연관된 픽처(814)의 픽처 유형을 지정하는 신택스 요소(예를 들어, 플래그 등)를 포함할 수 있다. 픽처 유형은 다음 유형을 포함할 수 있지만 이에 제한되지는 않는다: IDR(instantaneous decoder refresh) 픽처, CRA(clean random access) 픽처, GDR 픽처, 비-GDR 픽처이고 인트라 예측 슬라이스(I-슬라이스)만을 포함하는 비-IRAP 픽처, 비-GDR 픽처이고 단방향 인터 예측 슬라이스(P-슬라이스) 및 I-슬라이스만 포함하는 비-IRAP 픽처, 비-GDR 픽처며이며 양방향 인터 예측 슬라이스(B-슬라이스), P-슬라이스 및 I-슬라이스만 포함하는 비-IRAP 픽처. 따라서, PH(812)의 단일 플래그는 픽처(예를 들어, 픽처 814)의 모든 슬라이스(예를 들어, 슬라이스(818))가 예를 들어, GDR 픽처(예를 들어, GDR 픽처(602))의 슬라이스인지 여부를 나타낼 수 있다. 이것은 또한, 모든 슬라이스 헤더(예를 들어, 슬라이스 헤더(820)) 대신에 PH(812)에서 한 번 GDR 픽처에 대한 복구점 픽처 오더 카운트(POC)의 시그널링을 지원한다.
일 실시예에서, 하나 이상의 신택스 요소는 PH(812)와 연관된 픽처(814)의 슬라이스 헤더(820) 대신에 PH(812)에서 시그널링된다. 이러한 신택스 요소는 픽처(814)가 참조하는 PPS ID, 픽처(814)가 참조 픽처인지 여부를 지정하는 플래그, 픽처(814)의 컬러 평면, 픽처(814)의 POC LSB(최하위 비트), 픽처(814)가 GDR 픽처(예를 들어, GDR 픽처(602))인 경우 복구점 POC, 픽처(814) 이전의 픽처가 출력되는지 여부를 지정하는 플래그, 및 픽처가 출력 픽처인지 여부를 지정하는 플래그이다. PPS ID는 픽처(814)에 대한 특정 PPS를 식별하는 식별자이다. 픽처(814)의 컬러 평면은 픽처(814)에 대한 루마 및 크로마 성분(예를 들어, Y, Cb, 및 Cr 등)을 포함한다. POC LSB는 POC를 식별하는 비트이다. POC는 각 픽처(예: 픽처 814)와 연관된 변수로, CLVS의 모든 픽처 중에서 연관 픽처를 유일하게 식별하며, 연관 픽처가 DPB에서 출력될 때 DPB에서 출력될 동일한 CLVS의 다른 픽처의 출력 순서 위치에 상대적인 출력 순서의 연관된 픽처의 위치를 나타낸다. 복구점 POC는 복구점을 식별하고 결과적으로 복구점 픽처를 식별하는 POC이다.
이들 신택스 요소를 슬라이스 헤더(820)에서 PH(812)로 이동하는 것은 각 슬라이스 헤더(820)에서 신택스 요소를 반복하는 대신 전체 픽처(814)에 대해 신택스 요소가 한 번 시그널링되는 것을 허용한다. 이는 중복성을 줄이고 코딩 효율성을 높인다.
픽처(814)는 모노크롬 포맷의 루마 샘플의 어레이 또는 4:2:0, 4:2:2 및 4:4:4 컬러 포맷의 루마 샘플의 어레이 및 2개의 대응하는 크로마 샘플의 어레이이다. 일 실시예에서, 각각의 PU(801)에 포함된 오직 하나의 픽처(814)가 있다. 이와 같이, 각 PU(801)에는 단 하나의 PH(812)와 PH(812)에 대응하는 단 하나의 픽처(814)가 있다. 즉, PU(801)는 단일 또는 단독 픽처(814)를 포함한다.
픽처(814)는 프레임 또는 필드일 수 있다. 그러나, 하나의 CVS(816)에서, 모든 픽처(814)가 프레임이거나 모든 픽처(814)가 필드이다. CVS(816)는 비디오 비트스트림(800)의 모든 코딩된 레이어 비디오 시퀀스(CLVS)에 대한 코딩된 비디오 시퀀스이다. 특히, 비디오 비트스트림(800)이 싱글 레이어를 포함하는 경우 CVS(816) 및 CLVS는 동일하다. CVS(816) 및 CLVS는 비디오 비트스트림(800)이(예를 들어, 도 5에 도시된 바와 같이) 다중 레이어를 포함하는 경우에만 상이하다.
PU(801)는 집합적으로 CLVS를 포함할 수 있다. CLVS는, 디코딩 순서로, 코딩된 레이어 비디오 시퀀스 시작(coded layer video sequence start, CLVSS) PU로 구성된 nuh_layer_id의 동일한 값을 갖는 PU(801)의 시퀀스이며, 그 뒤에 모든 후속 PU(801)를 포함하나 CLVSS PU인 후속 PU(801)까지는 포함하지 않는, CLVSS PU가 아닌 0개 이상의 PU(801)가 있다. CLVSS PU는 코딩된 픽처(예를 들어, 픽처(814))가 CLVSS 픽처인 PU(801)이다. CLVSS 픽처는 1과 동일한 NoOutputBeforeRecoveryFlag를 갖는 IRAP 픽처 또는 1과 동일한 NoOutputBeforeRecoveryFlag를 갖는 GDR 픽처(예를 들어, GDR 픽처(602))인 코딩된 픽처이다.
각각의 픽처(814)는 하나 이상의 슬라이스(818)를 포함한다. 슬라이스(818)는 픽처(예를 들어, 픽처 814)의 타일 내 완전한 타일의 정수 또는 연속적인 완전한 CTU 행의 정수이다. 각 슬라이스(818)는 단일 NAL 유닛(예를 들어, VCL NAL 유닛)에 배타적으로 포함된다. 타일(도시되지 않음)은 픽처(예를 들어, 픽처(814))의 특정 타일 열 및 특정 타일 행 내의 CTU의 직사각형 영역이다. 타일은 수평 및 수직 경계에 의해 생성된 픽처의 분할된 부분이다. 타일은 직사각형 및/또는 정사각형일 수 있다. 구체적으로 타일은 직각으로 연결된 4개의 변을 포함한다. 4개의 변에는 두 쌍의 평행한 변이 포함된다. 또한, 평행한 변 쌍의 변의 길이는 동일한다. 따라서 타일은 모든 직사각형 모양이 될 수 있고, 여기서 정사각형은 네 변의 길이가 모두 같은 직사각형의 특수한 경우이다. 이미지/픽처는 하나 이상의 타일을 포함할 수 있다. CTU(도시되지 않음)는 루마 샘플의 CTB로서, 3개의 샘플 어레이를 갖는 픽처의 크로마 샘플의 2개의 대응하는 CTB, 또는 샘플을 코딩하기 위해 사용되는 3개의 개별 컬러 평면 및 신택스 구조를 사용하여 코딩된 픽처 또는 모노크롬 픽처의 샘플의 CTB이다. CTB(도시되지 않음)는 구성요소를 CTB로 분할하는 것이 파티셔닝(partitioning)이 되도록, N의 일부 값에 대한 샘플의 N×N 블록이다. 블록(도시되지 않음)은 샘플(예: 픽셀)의 MxN(M-열 x N-행) 어레이 또는 변환 계수의 MxN 어레이이다.
일 실시예에서, 각각의 슬라이스(818)는 슬라이스 헤더(820)를 포함한다. 슬라이스 헤더(820)는 슬라이스(818)에 표현된 타일 내의 모든 타일 또는 CTU 행에 속하는 데이터 요소를 포함하는 코딩된 슬라이스(818)의 일부이다. 즉, 슬라이스 헤더(820)는 예를 들어, 슬라이스 유형, 참조 픽처들 중 어느 것이 사용될 것인지 등과 같은 슬라이스(818)에 대한 정보를 포함한다.
픽처(814) 및 그들의 슬라이스(818)는 인코딩 또는 디코딩되는 이미지 또는 비디오와 연관된 데이터를 포함한다. 따라서, 픽처(814) 및 그 슬라이스(818)는 비트스트림(800)에서 운반되는 페이로드 또는 데이터라고 간단히 지칭될 수 있다.
통상의 기술자는 비트스트림(800)이 실제 적용에서 다른 파라미터 및 정보를 포함할 수 있음을 이해할 것이다.
도 9는 비디오 디코더(예를 들어, 비디오 디코더(400))에 의해 구현된 디코딩 방법(900)의 실시예이다. 이 방법(900)은 비트스트림이 비디오 인코더(예를 들어, 비디오 인코더(300))로부터 직접적으로 또는 간접적으로 수신된 후에 수행될 수도 있다. 이 방법(900)은 픽처가 단 하나의 픽처 헤더 및 단 하나의 픽처를 갖는 것을 보장함으로써 디코딩 프로세스를 개선한다. 이와 같이 액세스 유닛의 시작점, 따라서 픽처는 멀티-레이어 비트스트림에서 결정될 수 있다. 단일 픽처 헤더와 단일 픽처를 갖도록 픽처를 제한함으로써, 코딩 오류를 일으키지 않고 비디오 코딩에서 멀티-레이어 비트스트림을 사용할 수 있다. 따라서 실용적인 측면에서 코덱의 성능이 향상되어 사용자 경험이 향상된다.
블록(902)에서, 비디오 디코더는 단 하나의 PH NAL 유닛 및 단 하나의 코딩된 픽처(예를 들어, 픽처(814))를 포함하는 PU(예를 들어, PU(801))를 수신한다. 일 실시예에서, 유일한 하나의 PH NAL 유닛은 픽처 헤더를 포함한다. 일 실시예에서, PU는 하나 이상의 비디오 코딩 레이어(VCL) NAL 유닛을 포함한다. 일 실시예에서, PU는 하나 이상의 비-비디오 코딩 레이어(VCL) NAL 유닛을 포함한다.
일 실시예에서, 오직 하나의 코딩된 픽처는 슬라이스 헤더(예를 들어, 슬라이스 헤더(820))를 각각 포함하는 하나 이상의 슬라이스(예를 들어, 슬라이스(818))를 포함한다. 일 실시예에서, 하나 이상의 슬라이스들 각각은 VCL NAL 유닛에 배치된다. 일 실시예에서, PU는 DCI NAL 유닛에 배치된 디코딩 능력 정보(DCI)를 포함한다. 일 실시예에서, PU는 VPS NAL 유닛에 배치된 비디오 파라미터 세트(VPS)를 포함한다. 일 실시예에서, PU는 SPS NAL 유닛에 배치된 시퀀스 파라미터 세트(SPS) 및 PPS NAL 유닛에 배치된 픽처 파라미터 세트(PPS)를 포함한다. 일 실시예에서, VPS, SPS, 및 PPS는 각각 비-VCL NAL 유닛에 포함된다.
블록(904)에서, 비디오 디코더는 PU로부터의 단 하나의 코딩된 픽처를 디코딩하여 디코딩된 픽처를 획득한다. 일 실시예에서, PU 디코딩은 DCI(802), VPS(804), SPS(806), PPS(808), PH(812), 및 슬라이스 헤더(820) 중 하나 이상의 정보 또는 명령에 따라 픽처(814)의 다양한 슬라이스(818)를 디코딩하는 것을 포함한다. 일단 디코딩되면, 픽처(814)는 전자 장치(예를 들어, 스마트 폰, 태블릿, 랩탑, 개인용 컴퓨터 등)의 디스플레이 또는 스크린 상에서 사용자에게 디스플레이하기 위한 이미지 또는 비디오 시퀀스를 생성하거나 생성하는 데 사용될 수 있다.
도 10은 비디오 인코더(예를 들어, 비디오 인코더(300))에 의해 구현된 비디오 비트스트림을 인코딩하는 방법(1000)의 실시예이다. 이 방법(1000)은 (예를 들어, 비디오로부터의) 픽처가 비디오 비트스트림으로 인코딩된 다음 비디오 디코더(예를 들어, 비디오 디코더(400))를 향해 전송되어야 할 때 수행될 수도 있다. 이 방법(1000)은 픽처가 단 하나의 픽처 헤더 및 단 하나의 픽처를 갖는 것을 보장함으로써 인코딩 프로세스를 개선한다. 이와 같이 액세스 유닛의 시작점, 따라서 픽처는 멀티-레이어 비트스트림에서 결정될 수 있다. 단일 픽처 헤더와 단일 픽처를 갖도록 픽처를 제한함으로써, 코딩 오류를 일으키지 않고 비디오 코딩에서 멀티-레이어 비트스트림을 사용할 수 있다. 따라서 실용적인 측면에서 코덱의 성능이 향상되어 사용자 경험이 향상된다.
블록(1002)에서, 비디오 인코더는 단 하나의 PH NAL 유닛 및 단 하나의 코딩된 픽처(예를 들어, 픽처(814))을 포함하는 PU(예를 들어, PU(801))를 생성한다. 일 실시예에서, 유일한 하나의 PH NAL 유닛은 픽처 헤더를 포함한다. 일 실시예에서, PU는 하나 이상의 비디오 코딩 레이어(VCL) NAL 유닛 및 하나 이상의 비-비디오 코딩 레이어(VCL) NAL 유닛을 포함한다.
일 실시예에서, 단 하나의 코딩된 픽처는 슬라이스 헤더를 각각 포함하는 하나 이상의 슬라이스를 포함하고, 하나 이상의 슬라이스의 각각은 비디오 코딩 레이어(VCL) NAL 유닛에 배치된다. 예를 들어, VCL NAL 유닛은 후행 픽처 또는 서브픽처의 코딩된 슬라이스를 포함하는 TRAIL_NUT, 단계별 시간 서브레이어 액세스(step-wise temporal sublayer access, STSA) 픽처 또는 서브픽처의 코딩된 슬라이스를 포함하는 STSA_NUT, 랜덤 액세스 디코딩 가능 리딩(random access decodable leading, RADL) 픽처 또는 서브픽처의 코딩된 슬라이스를 포함하는 RADL_NUT, 랜덤 액세스 스킵 리딩(Random Access Skipped Leading, RASL) 픽처 또는 서브픽처의 코딩된 슬라이스를 포함하는 RASL_NUT, 순시 디코더 리프레시(instantaneous decoder refresh, IDR) 픽처 또는 서브픽처의 코딩된 슬라이스를 포함하는 IDR_W_RADL 또는 IDR_N_LP, 클린 랜덤 액세스(clean random access, CRA) 픽처 또는 서브픽처의 코딩된 슬라이스를 포함하는 CRA_NUT, GDR 픽처 또는 서브픽처의 코딩된 슬라이스를 포함하는 GDR_NUT, 또는 인트라 랜덤 액세스 포인트(intra random access point, IRAP) 픽처 또는 서브픽처를 포함하는 VCL NAL 유닛일 수 있다.
블록(1004)에서, 비디오 인코더는 PU를 비디오 비트스트림(예를 들어, 비트스트림(800))으로 인코딩한다. 블록(1006)에서, 비디오 인코더는 비디오 디코더를 향한 통신을 위해 비디오 비트스트림을 저장한다. 비디오 비트스트림은 비디오 비트스트림이 비디오 디코더를 향해 전송될 때까지 메모리에 저장될 수 있다. 일단 비디오 디코더에 의해 수신되면, 인코딩된 비디오 비트스트림은 (예를 들어, 위에서 설명된 바와 같이) 디코딩되어 전자 장치(예를 들어, 스마트 폰, 태블릿, 노트북, 개인용 컴퓨터 등)의 디스플레이 또는 스크린 상에서 사용자에게 표시하기 위한 이미지 또는 비디오 시퀀스를 생성 또는 제작한다.
본 명세서에 개시된 실시예를 구현하기 위해 다음의 신택스 및 시맨틱이 사용될 수 있다. 다음 설명은 최신의 VVC 초안 사양인 기본 텍스트를 기준으로 한다. 즉, 델타만 기술하고, 아래에 언급되지 않은 기본 텍스트의 텍스트는 그대로 적용된다. 기본 텍스트와 관련하여 추가된 텍스트는 굵게 표시되고 제거된 텍스트는 기울임꼴로 표시된다.
픽처 헤더 RBSP 신택스.
| picture_header_rbsp( ) { | Descriptor |
| pic_type | u(3) |
| pic_parameter_set_id | ue(v) |
| non_reference_picture_flag | u(1) |
| if( separate_colour_plane_flag = = 1 ) | |
| colour_plane_id | u(2) |
| pic_order_cnt_lsb | u(v) |
| if( pic_type = = 2 ) | |
| recovery_poc_cnt | ue(v) |
| if(pic_type = = 0 | | pic_type = = 1 | | pic_type = = 2 ) | |
| no_output_of_prior_pics_flag | u(1) |
| if( output_flag_present_flag ) | |
| pic_output_flag | u(1) |
| if ( pic_type != 0 && pic_type != 1 && pic_type != 3 ) | |
| if( sps_temporal_mvp_enabled_flag && !pps_temporal_mvp_enabled_idc ) | |
| pic_temporal_mvp_enabled_flag | u(1) |
| rbsp_trailing_bits( ) | |
| } |
슬라이스 헤더 RBSP 신택스.
| slice_header( ) { | Descriptor |
| slice_pic_parameter_set_id | ue(v) |
| if( rect_slice_flag | | NumBricksInPic > 1 ) | |
| slice_address | u(v) |
| if( !rect_slice_flag && !single_brick_per_slice_flag ) | |
| num_bricks_in_slice_minus1 | ue(v) |
| non_reference_picture_flag | u(1) |
| if( pic_type != 0 && pic_type != 1 && pic_type != 3 ) | |
| slice_type | ue(v) |
| if( separate_colour_plane_flag = = 1 ) | |
| colour_plane_id | u(2) |
| slice_pic_order_cnt_lsb | u(v) |
| if( nal_unit_type = = GDR_NUT ) | |
| recovery_poc_cnt | ue(v) |
|
if( nal_unit_type = = IDR_W_RADL | | nal_unit_type = = IDR_N_LP | |
nal_unit_type = = CRA_NUT | | nal_unit_type = = GDR_NUT ) |
|
| no_output_of_prior_pics_flag | u(1) |
| if( output_flag_present_flag ) | |
| pic_output_flag | u(1) |
| ... | |
| if( slice_type != I ) { | |
| if( sps_temporal_mvp_enabled_flag && !pps_temporal_mvp_enabled_idc ) | |
| slice_temporal_mvp_enabled_flag | u(1) |
| if( slice_type = = B && !pps_mvd_l1_zero_idc ) | |
| mvd_l1_zero_flag | u(1) |
| ... | |
| } | |
| ... | |
| } |
픽처 헤더 RBSP 시맨틱.
픽처 헤더는 디코딩 순서의 다음 VCL NAL 유닛이 첫 번째 코딩된 슬라이스인 코딩된 픽처의 모든 슬라이스에 대해 공통인 정보를 포함한다.
pic_type은 pic_type의 주어진 값에 대해 표 6에 나열된 것과 같이 코딩된 픽처의 특성을 나타낸다. pic_type의 값은 이 사양의 이 버전을 따르는 비트스트림에서 0에서 5까지와 같아야 한다. pic_type의 다른 값은 ITU T | ISO/IEC에 의한 장래의 사용을 위해 유보된다. 이 사양의 이 버전을 따르는 디코더는 pic_type의 유보된 값을 무시해야 한다.
pic_type의 해석
| pic_type | 코딩된 픽처의 특성 |
| 0 | 코딩된 픽처가 IDR 픽처이다. |
| 1 | 코딩된 픽처가 CRA 픽처이다. |
| 2 | 코딩된 픽처가 GDR 픽처이다. |
| 3 | 코딩된 픽처가 비-IRAP, 비-GDR 픽처이고, I 슬라이스만을 포함한다. |
| 4 | 코딩된 픽처가 비-IRAP, 비-GDR 픽처이고, P 및 I 슬라이스만을 포함한다. |
| 5 | 코딩된 픽처 비-IRAP, 비-GDR 픽처이고, B, P 및 I 슬라이스를 포함한다. |
pic_parameter_set_id는 사용 중인 PPS에 대한 pps_pic_parameter_set_id의 값을 지정한다. pic_parameter_set_id의 값은 0에서 63(포함)까지의 범위에 있어야 한다.
1과 동일한 non_reference_picture_flag는 픽처 헤더와 연관된 픽처가 참조 픽처로서 절대 사용되지 않음을 지정하고, 0과 동일한 non_reference_picture_flag는 픽처가 참조 픽처로서 사용될 수도 있고 사용되지 않을 수도 있음을 지정한다.
color_plane_id는 separator_colour_plane_flag가 1과 같을 때 픽처 헤더와 관련된 픽처와 관련된 컬러 평면을 지정한다. color_plane_id의 값은 0에서 2(포함)까지의 범위에 있어야 하고, color_plane_id 값 0, 1 및 2는 각각 Y, Cb 및 Cr 평면에 대응한다.
참고 - : color_plane_id 값이 서로 다른 픽처의 디코딩 프로세스 간에는 종속성이 없다.
pic_order_cnt_lsb는 픽처 헤더와 연관된 픽처에 대한, 픽처 오더 카운트 모듈로 MaxPicOrderCntLsb를 지정한다. pic_order_cnt_lsb 신택스 요소의 길이는 log2_max_pic_order_cnt_lsb_minus4+4비트이다. pic_order_cnt_lsb의 값은 0에서 MaxPicOrderCntLsb - 1(포함)까지의 범위에 있어야 한다.
recovery_poc_cnt는 출력 순서에 따라 디코딩된 픽처의 복구점을 지정한다. CVS에서 디코딩 순서에서 현재 GDR 픽처를 따르는 픽처 picA가 있고 PicOrderCntVal이 현재 GDR 픽처의 PicOrderCntVal에 recovery_poc_cnt의 값을 더한 값과 동일한 경우, 픽처 picA를 복구점 픽처라고 한다. 그렇지 않으면, 현재 픽처의 PicOrderCntVal에 recovery_poc_cnt의 값을 더한 것보다 큰 PicOrderCntVal을 갖는 출력 순서의 제1 픽처를 복구점 픽처라고 한다. 복구점 픽처는은 디코딩 순서에서 현재 GDR 픽처보다 선행하지 않아야 한다. recovery_poc_cnt의 값은 0에서 MaxPicOrderCntLsb - 1(포함)의 범위에 있어야 한다.
변수 RpPicOrderCntVal은 다음과 같이 파생된다:
RpPicOrderCntVal = PicOrderCntVal recovery_poc_cnt (7-94)
no_output_of_prior_pics_flag는 부록 C에 지정된 비트스트림의 제1 픽처가 아닌 CLVSS 픽처의 디코딩 후에 디코딩된 픽처 버퍼에서 이전에 디코딩된 픽처의 출력에 영향을 준다.
pic_output_flag는 부록 C에 명시된 바와 같이 디코딩된 픽처 출력 및 제거 프로세스에 영향을 미치고, pic_output_flag가 존재하지 않는 경우, 1과 동일한 것으로 유추된다.
pic_temporal_mvp_enabled_flag는 시간적 모션 벡터 예측자가 인터 예측에 사용될 수 있는지 여부를 지정한다. pic_temporal_mvp_enabled_flag가 0과 같으면, 픽처 헤더와 연관된 픽처의 신택스 요소는 픽처의 디코딩에서 시간적 모션 벡터 예측자가 사용되지 않도록 제한되어야 한다. 그렇지 않으면(pic_temporal_mvp_enabled_flag가 1과 동일하면), 시간적 모션 벡터 예측자가 픽처의 디코딩에 사용될 수 있다.
pic_temporal_mvp_enabled_flag가 존재하지 않으면, 다음이 적용된다:
- sps_temporal_mvp_enabled_flag가 0과 같으면, pic_temporal_mvp_enabled_flag의 값은 0과 같은 것으로 유추된다.
- 그렇지 않으면(sps_temporal_mvp_enabled_flag가 1과 같으면), pic_temporal_mvp_enabled_flag의 값이 pps_temporal_mvp_enabled_idc - 1과 같은 것으로 추론된다.
NAL 유닛 헤더 시맨틱.
nuh_layer_id는 VCL NAL 유닛이 속한 레이어의 식별자 또는 비-VCL NAL 유닛이 적용되는 레이어의 식별자를 지정한다.
nuh_layer_id의 값은 코딩된 픽처의 모든 VCL NAL 유닛에 대해 동일해야 한다. 코딩된 픽처 또는 레이어 액세스 유닛의 nah_layer_id 값은 코딩된 픽처 또는 레이어 액세스 유닛의 VCL NAL 유닛의 nah_layer_id 값이다.
nal_unit_type이 PH_NUT와 같을 때, nuh_layer_id의 값은 픽처 헤더 NAL 유닛을 포함하는 레이어 액세스 유닛의 VCL NAL 유닛의 nuh_layer_id 값과 동일해야 한다.
NAL 유닛 유형 코드 및 NAL 유닛 유형 클래스
| nal_unit_type | nal_unit_type의 명칭 | NAL 유닛과 RBSP 신택스 구조의 내용 | NAL unit 유형 클래스 |
| TRAIL_NUT | 후행 픽처의 코딩된 슬라이스 slice_layer_rbsp( ) |
VCL | |
| 1 | STSA_NUT | STSA 픽처의 코딩된 슬라이스slice_layer_rbsp( ) | VCL |
| 2 | RASL_NUT | RASL 픽처의 코딩된 슬라이스slice_layer_rbsp( ) | VCL |
| 3 | RADL_NUT | RADL 픽처의 코딩된 슬라이스slice_layer_rbsp( ) | VCL |
| 4..7 | RSV_VCL_4.. RSV_VCL_7 |
유보된 비-IRAP VCL NAL 유닛 유형 | VCL |
| 8 9 |
DR_W_RADL IDR_N_LP |
IDR 픽처의 코딩된 슬라이스 slice_layer_rbsp( ) |
VCL |
| 10 | CRA_NUT | CRA 픽처의 코딩된 슬라이스silce_layer_rbsp( ) | VCL |
| 11 | GDR_NUT | GDR 픽처의 코딩된 슬라이스slice_layer_rbsp( ) | VCL |
| 12 13 |
SV_IRAP_VCL12 RSV_IRAP_VCL13 |
유보된 IRAP VCL NAL 유닛 유형 | VCL |
| 14..15 | RSV_VCL14..RSV_VCL15 | 유보된 비-IRAP VCL NAL 유닛 유형 | VCL |
| 16 | SPS_NUT | 시퀀스 파라미터 세트seq_parameter_set_rbsp( ) | 비-VCL |
| 17 | PPS_NUT | 픽처 파라미터 세트pic_parameter_set_rbsp( ) | 비-VCL |
| 18 | APS_NUT | 적응 파라미터 세트adaption_parameter_set_rbsp( ) | 비-VCL |
| 19 | PH_NUT |
픽처 헤더
picture_header_rbsp( ) |
-VCL |
| 20 | EOS_NUT | 시퀀스의 종료 end_of_seq_rbsp( ) |
-VCL |
| 21 | EOB_NUT | 비트스트림의 종료end_of_bitstream_rbsp( ) | 비-VCL |
| 22, 23 | PREFIX_SEI_NUTSUFFIX_SEI_NUT | 추가적인 향상 정보 sei_rbsp( ) |
비-VCL |
| 24 | DPS_NUT | 디코딩 파라미터 세트decoding_parameter_set_rbsp( ) | 비-VCL |
| 25..27 | RSV_NVCL25..RSV_NVCL27 | 유보된 비-VCL NAL 유닛 유형 | 비-VCL |
| 28..31 | UNSPEC28..UNSPEC31 | 지정되지 않은 비-VCL NAL 유닛 유형 | 비-VCL |
nuh_temporal_id_plus1 빼기 1은 NAL 유닛에 대한 시간 식별자를 지정한다.
nuh_temporal_id_plus1의 값은 0과 같지 않아야 한다.
변수 TemporalId는 다음과 같이 파생된다.
TemporalId = nuh_temporal_id_plus1 - 1 (7-1)
nal_unit_type이 IDR_W_RADL에서 RSV_IRAP_VCL13까지의 범위에 있을 때 TemporalId는 0과 같아야 한다.
nal_unit_type이 STSA_NUT와 같을 때 TemporalId는 0과 같지 않아야 한다.
TemporalId의 값은 레이어 액세스 유닛의 모든 VCL NAL 유닛에 대해 동일해야 한다. 코딩된 픽처 또는 레이어 액세스 유닛의 TemporalId 값은 코딩된 픽처 또는 레이어 액세스 유닛의 VCL NAL 유닛의 TemporalId 값이다. [Ed. (YK): AU의 모든 레이어 AU가 동일한 TemporalId 값을 가져야 하는지 확인한다.] 서브-레이어 표현의 TemporalId 값은 서브레이어 표현에서 모든 VCL NAL 유닛의 TemporalId 중 가장 큰 값이다.
비-VCL NAL 유닛에 대한 TemporalId 값은 다음과 같이 제한된다:
- nal_unit_type이 DPS_NUT, VPS_NUT 또는 SPS_NUT와 같으면, TemporalId는 0과 같고 NAL 유닛을 포함하는 레이어 액세스 유닛의 TemporalId는 0과 같아야 한다.
- 그렇지 않고, nal_unit_type이 PH_NUT와 같으면, TemporalId는 NAL 유닛을 포함하는 레이어 액세스 유닛의 TemporalId와 동일해야 한다.
- 그렇지 않고, nal_unit_type이 EOS_NUT와 같지 않고 EOB_NUT와 같지 않은 경우, TemporalId는 NAL 유닛을 포함하는 레이어 액세스 유닛의 TemporalId보다 크거나 같아야 한다.
주의 5 - NAL 유닛이 비-VCL NAL 유닛일 때, TemporalId의 값은 비-VCL NAL 유닛이 적용되는 모든 레이어 접근 유닛의 TemporalId 값의 최소값과 같다. nal_unit_type이 PPS_NUT 또는 APS_NUT와 같을 때, 모든 PPS 및 APS가 비트스트림의 시작 부분에 포함될 수 있기 때문에, TemporalId는 포함하는 레이어 액세스 유닛의 TemporalId보다 크거나 같을 수 있고, 여기서 제1 코딩된 픽처는 0과 같은 TemporalId를 갖는다. nal_unit_type이 PREFIX_SEI_NUT 또는 SUFFIX_SEI_NUT와 같을 때, SEI NAL 유닛이, TemporalID 값이 SEI NAL 유닛을 포함하는 레이어 액세스 유닛의 TemporalId보다 큰 레이어 액세스 유닛을 포함하는 비트스트림 서브세트에 적용되는 정보를 포함할 수 있으므로, TemporalId는 포함하는 레이어 액세스 유닛의 TemporalId보다 크거나 같을 수 있다.
NAL 유닛 및 코딩된 픽처의 순서 및 이들의 레이어 액세스 유닛 및 액세스 유닛에 대한 연관성.
이 절은 부록 A에 명시된 프로파일 중 하나 이상을 준수하고 2절부터 10절까지에 규정된 디코딩 프로세스를 사용하여 디코딩되는 CVS에 대한 레이어 액세스 유닛 및 액세스 유닛에 대한 NAL 유닛 및 코딩된 픽처의 순서를 지정한다.
레이어 액세스 유닛은 하나의 픽처 헤더 NAL 유닛, 하나 이상의 VCL NAL 유닛으로 구성되는 하나의 코딩된 픽처, 및 0개 이상의 VCL NAL 유닛 및 0개 이상의 비-VCL NAL 유닛으로 구성된다. 코딩된 픽처에 대한 VCL NAL 유닛의 연관성은 7.4.2.4.4절에 설명되어 있다.
액세스 유닛은 액세스 유닛 구분자 NAL 유닛과 nuh_layer_id의 오름차순으로 하나 이상의 레이어 액세스 유닛으로 구성된다.
비트스트림의 제1 액세스 유닛은 비트스트림의 제1 NAL 유닛으로 시작한다.
firstPicHeaderNalUnitInAu를 유도된 PicOrderCntVal이 이전 코딩된 픽처의 PicOrderCntVal과 다른 제1 코딩된 픽처의 픽처 헤더인 픽처 헤더 NAL 유닛이라고 하자. firstPicHeaderNalUnitInAu에 선행하고 firstPicHeaderNalUnitInAu 선행하는 마지막 VCL NAL 유닛에 후행하는 다음의 임의의 NAL 유닛 중 첫 번째는 새로운 액세스 유닛의 시작을 지정한다.
- DPS NAL 유닛(존재하는 경우),
- VPS NAL 유닛(존재하는 경우),
- SPS NAL 유닛(존재하는 경우),
- PPS NAL 유닛(존재하는 경우),
- APS NAL 유닛(존재하는 경우),
- 접두사 SEI NAL 유닛(존재하는 경우),
- RSV_NVCL_25..RSV_NVCL_26 범위의 nal_unit_type이 있는 NAL 유닛 (존재하는 경우),
- UNSPEC28..UNSPEC29 범위의 nal_unit_type이 있는 NAL 유닛 (존재하는 경우).
참고 - firstPicHeaderNalUnitInAu에 선행하고 firstPicHeaderNalUnitInAu에 선행하는 마지막 VCL NAL 유닛(존재하는 경우)에 후행하는 제1 NAL 유닛은 위에 나열된 NAL 유닛 중 하나일 수 있다.
firstPicHeaderNalUnitInAu에 선행하고 firstPicHeaderNalUnitInAu에 선행하는 마지막 VCL NAL에 후행하는 위의 NAL 유닛이 존재하지 않으면, firstPicHeaderNalUnitInAu가 새로운 액세스 유닛을 시작한다.
레이어 액세스 유닛 또는 액세스 유닛 내에서 코딩된 픽처 및 비-VCL NAL 유닛의 순서는 다음 제약 조건을 따라야 한다.
- 각 레이어 액세스 유닛은, 레이어 액세스 유닛의 제1 VCL NAL 유닛에 선행해야 하는 단 하나의 픽처 헤더 NAL 유닛만 포함해야 한다.
- 임의의 DPS NAL 유닛, VPS NAL 유닛, SPS NAL 유닛 또는 PPS NAL 유닛이 레이어 액세스 유닛에 있는 경우, 레이어 액세스 유닛의 픽처 헤더 NAL 유닛보다 선행해야 한다.
- RSV_NVCL_25..RSV_NVCL_26 범위의 nal_unit_type을 가지는 임의의 APS NAL 유닛, 접두사 SEI NAL 유닛, NAL 유닛, 또는 UNSPEC28..UNSPEC29 범위의 nal_unit_type을 가지는 NAL 유닛이 레이어 액세스 유닛에 존재하는 경우, 레이어 액세스 유닛의 마지막 VCL NAL 유닛을 따르지 않아야 한다.
- 레이어 액세스 유닛에서의 SUFFIX_SEI_NUT 또는 RSV_NVCL_27과 같거나 UNSPEC30..UNSPEC31 범위에 있는 nal_unit_type을 가지는 NAL 유닛 은 레이어 액세스 유닛의 제1 VCL NAL 유닛보다 선행해서는 안 된다.
- 시퀀스 NAL 유닛의 끝이 액세스 유닛에 있는 경우, 이는 비트스트림 NAL 유닛의 끝(존재하는 경우)을 제외한 액세스 유닛 내의 모든 NAL 유닛 중 마지막 NAL 유닛이어야 한다.
- 비트스트림 NAL 유닛의 끝이 액세스 유닛에 있는 경우, 이는 액세스 유닛의 마지막 NAL 유닛이어야 한다.
슬라이스 헤더 RBSP 시맨틱.
존재하는 경우, 슬라이스 헤더 신택스 요소인 slice_pic_parameter_set_id, non_reference_picture_flag, color_plane_id, slice_pic_order_cnt_lsb, recovery_poc_cnt, no_output_of_prior_pics_flag, pic_output_flag 및 slice_temporal_mvp_enabled_flag의 값은 코딩된 픽처의 모든 슬라이스 헤더에서 동이해야 한다.
cu_qp_delta_abs를 포함하는 코딩 유닛에 대한 루마 양자화 파라미터와 그 예측 간의 차이를 지정하는 변수 CuQpDeltaVal은 0과 동일하게 설정된다. cu_chroma_qp_offset_flag를 포함하는 코딩 유닛에 대한 Qp'Cb, Qp'Cr 및 Qp'CbCr 양자화 파라미터의 각각의 값을 결정할 때 사용할 값을 지정하는 변수 CuQpOffsetCb, CuQpOffsetCr 및 CuQpOffsetCbCr은 모두 0으로 설정된다.
slice_pic_parameter_set_id는 사용 중인 PPS에 대한 pps_pic_parameter_set_id의 값을 지정한다. slice_pic_parameter_set_id의 값은 0에서 63(포함)까지의 범위에 있어야 한다.
현재 픽처의 TemporalId 값이 slice_pic_parameter_set_id와 동일한 pps_pic_parameter_set_id를 갖는 PPS의 TemporalId 값보다 크거나 같아야 하는 것이 비트스트림 적합성의 요구사항이다.
slice_address는 슬라이스의 슬라이스 주소를 지정한다. 존재하지 않는 경우, slice_address의 값은 0과 같은 것으로 추론된다.
rect_slice_flag가 0이면 다음이 적용된다:
- 슬라이스 주소는 수학식 7-59로 지정된 브릭 ID이다.
- slice_address의 길이는 Ceil( Log2 ( NumBricksInPic ) ) 비트이다.
- slice_address의 값은 0에서 NumBricksInPic - 1(포함)까지의 범위에 있어야 한다.
그렇지 않으면(rect_slice_flag가 1과 같음), 다음이 적용된다:
- 슬라이스 주소는 슬라이스의 슬라이스 ID이다.
- slice_address의 길이는 signalled_slice_id_length_minus1 + 1비트이다.
signalled_slice_id_flag가 0과 같으면 slice_address의 값은 0에서 num_slices_in_pic_minus1(포함)까지의 범위에 있어야 한다. 그렇지 않으면, slice_address의 값은 0에서 2(signalled_slice_id_length_minus1 + 1) - 1(포함)의 범위에 있어야 한다.
다음 제약 조건이 적용되는 것은 비트스트림 적합성의 요구 사항이다.
- slice_address의 값은 동일한 코딩된 픽처의 다른 코딩된 슬라이스 NAL 유닛의 slice_address의 값과 동일하지 않아야 한다.
- rect_slice_flag가 0과 같을 때, 픽처의 슬라이스는 그들의 slice_address 값의 증가하는 순서가 되어야 한다.
- 픽처의 슬라이스의 모양은, 디코딩될 때, 각 브릭이 전체 왼쪽 경계와 픽처 경계로 구성되거나 이전에 디코딩된 브릭(들)의 경계로 구성된 전체 상단 경계를 갖도록 해야 한다.
num_bricks_in_slice_minus1(존재하는 경우)은 슬라이스의 브릭 수에서 1을 뺀 값을 지정한다. num_bricks_in_slice_minus1의 값은 0에서 NumBricksInPic - 1까지의 범위에 있어야 한다. rect_slice_flag가 0이고 single_brick_per_slice_flag가 1일 때 num_bricks_in_slice_minus1의 값은 0과 동일한 것으로 추론된다. single_brick_per_slice_flag가 1과 같을 때, num_bricks_in_slice_minus1의 값은 0과 같은 것으로 추론된다.
현재 슬라이스의 브릭 개수를 지정하는 변수 NumBricksInCurrSlice와 현재 슬라이스의 i번째 브릭의 브릭 인덱스를 지정하는 SliceBrickIdx[ i ]는 다음과 같이 파생된다.
if( rect_slice_flag ) {
sliceIdx = 0
while( slice_address != slice_id[ sliceIdx ] )
sliceIdx++
NumBricksInCurrSlice = NumBricksInSlice[ sliceIdx ]
brickIdx = TopLeftBrickIdx[ sliceIdx ]
for( bIdx = 0; brickIdx \u003c= BottomRightBrickIdx[ sliceIdx ]; brickIdx ) (7-92)
if( BricksToSliceMap[ brickIdx ] = = sliceIdx )
SliceBrickIdx[ bIdx++ ] = brickIdx
} else {
NumBricksInCurrSlice = num_bricks_in_slice_minus1 1
SliceBrickIdx[ 0 ] = slice_address
for( i = 1; i < NumBricksInCurrSlice; i++ )
SliceBrickIdx[ i ] = SliceBrickIdx[ i - 1 ] + 1
}
변수 SubPicIdx, SubPicLeftBoundaryPos, SubPicTopBoundaryPos, SubPicRightBoundaryPos 및 SubPicBotBoundaryPos는 다음과 같이 파생된다.
SubPicIdx = CtbToSubPicIdx[ CtbAddrBsToRs[ FirstCtbAddrBs[ SliceBrickIdx[ 0 ] ] ] ]
if( subpic_treated_as_pic_flag[ SubPicIdx ] ) {
SubPicLeftBoundaryPos = SubPicLeft[ SubPicIdx ] * ( subpic_grid_col_width_minus1 + 1 ) * 4
SubPicRightBoundaryPos = ( SubPicLeft[ SubPicIdx ] + SubPicWidth[ SubPicIdx ] ) *
( subpic_grid_col_width_minus1 + 1 ) * 4 (7-93)
SubPicTopBoundaryPos = SubPicTop[ SubPicIdx ] * ( subpic_grid_row_height_minus1 + 1 )* 4
SubPicBotBoundaryPos = ( SubPicTop[ SubPicIdx ] + SubPicHeight[ SubPicIdx ] ) *
( subpic_grid_row_height_minus1 + 1 ) * 4
}
1과 동일한 non_reference_picture_flag는 슬라이스를 포함하는 픽처가 참조 픽처로 절대 사용되지 않는다는 것을 지정하고, 0과 동일한 non_reference_picture_flag는 슬라이스를 포함하는 픽처가 참조 픽처로 사용될 수도 있고 사용되지 않을 수도 있음을 지정한다.
slice_type은 표 7-11에 따라 슬라이스의 코딩 유형을 지정한다.
slice_type에 대한 명칭 연관성
| slice_type | slice_type의 명칭 |
| 0 | B (B slice) |
| 1 | P (P slice) |
| 2 | I (I slice) |
nal_unit_type이 IDR_W_RADL에서 CRA_NUT(포함)까지의 범위에서 nal_unit_type의 값이고 현재 픽처가 액세스 유닛의 제1 픽처인 경우, slice_type은 2와 같아야 한다. 존재하지 않는 경우, slice_type의 값은 2와 동일한 것으로 유추된다.
color_plane_id는 separator_colour_plane_flag가 1과 같을 때 현재 슬라이스 RBSP와 관련된 컬러 평면을 지정한다. color_plane_id의 값은 0에서 2(포함)까지의 범위에 있어야 하고, color_plane_id 값 0, 1 및 2는 각각 Y, Cb 및 Cr 평면에 대응한다.
참고 - : color_plane_id 값이 서로 다른 픽처의 디코딩 프로세스 간에는 종속성이 없다.
slice_pic_order_cnt_lsb는 현재 픽처에 대한 픽처 오더 카운트 modulo MaxPicOrderCntLsb를 지정한다. slice_pic_order_cnt_lsb 신택스 요소의 길이는 log2_max_pic_order_cnt_lsb_minus4 + 4비트이다. slice_pic_order_cnt_lsb의 값은 0에서 MaxPicOrderCntLsb - 1(포함)까지의 범위에 있어야 한다.
Recovery_poc_cnt는 출력 순서에 따라 디코딩된 픽처의 복구점을 지정한다. CVS에서 디코딩 순서에서 현재 GDR 픽처를 따르고 현재 GDR 픽처의 PicOrderCntVal에 recovery_poc_cnt의 값을 더한 값과 동일한 PicOrderCntVal을 가지는 픽처 picA가 있으면, 픽처 picA를 복구점 픽처라고 한다. 그렇지 않으면, 현재 픽처의 PicOrderCntVal에 recovery_poc_춧의 값을 더한 것보다 큰 PicOrderCntVal을 갖는 출력 순서에서의 제1 픽처를 복구점 픽처라고 한다. 복구점 픽처는 디코딩 순서에서 현재 GDR 픽처보다 선행하지 않아야 한다. Recovery_poc_cnt의 값은 0에서 MaxPicOrderCntLsb - 1(포함)의 범위에 있어야 한다.
변수 RpPicOrderCntVal은 다음과 같이 파생된다.
RpPicOrderCntVal = PicOrderCntVal + recovery_poc_cnt
(7-94)
no_output_of_prior_pics_flag는 부록 C에 지정된 비트스트림의 제1 픽처가 아닌 CLVSS 픽처의 디코딩 후 디코딩된 픽처 버퍼에서 이전에 디코딩된 픽처의 출력에 영향을 준다.
pic_output_flag는 부록 C에 명시된 디코딩된 픽처 출력 및 제거 프로세스에 영향을 주고, pic_output_flag가 존재하지 않는 경우, 1과 동일한 것으로 유추된다.
slice_temporal_mvp_enabled_flag는 시간적 모션 벡터 예측자가 인터 예측에 사용될 수 있는지 여부를 지정한다. 만약 slice_temporal_mvp_enabled_flag가 0과 같다면, 현재 픽처의 디코딩에 시간적 모션 벡터 예측자가 사용되지 않도록, 현재 픽처의 신택스 요소가 제한되어야 한다. 그렇지 않으면(slice_temporal_mvp_enabled_flag가 1과 동일), 현재 픽처의 디코딩에 시간적 모션 벡터 예측자가 사용될 수 있다.
slice_temporal_mvp_enabled_flag가 없으면 다음이 적용된다:
sps_temporal_mvp_enabled_flag가 0과 같으면, slice_temporal_mvp_enabled_flag의 값은 0과 같은 것으로 추론된다.
그렇지 않으면(sps_temporal_mvp_enabled_flag가 1과 동일), slice_temporal_mvp_enabled_flag의 값은 pps_temporal_mvp_enabled_idc - 1과 동일한 것으로 추론된다.
1과 동일한 mvd_l1_zero_flag는 mvd_coding( x0, y0, 1) 신택스 구조가 분석되지 않고, MvdL1[ x0 ][ y0 ][ compIdx ] 및 MvdL1[ x0 ][ y0 ][ cpIdx ][ compId ]가 compIdx = 0..1 그리고 cpIdx = 0..2에 대해 동일하게 설정됨을 나타낸다. 0과 동일한 mvd_l1_zero_flag는 mvd_coding(x0, y0, 1) 신택스 구조가 분석됨을 나타낸다. 존재하지 않을 때, mvd_l1_zero_flag의 값은 pps_mvd_l1_zero_idc - 1과 같은 것으로 추론된다.
픽처 오더 카운트를 위한 디코딩 프로세스.
이 프로세스의 출력은 현재 픽처의 픽처 오더 카운트인 PicOrderCntVal이다.
각각의 코딩된 픽처는 PicOrderCntVal로 표시된 픽처 오더 카운트 변수와 연관된다.
현재 픽처가 CLVSS 픽처가 아닌 경우, prevPicOrderCntLsb 및 prevPicOrderCntMsb 변수는 다음과 같이 파생된다.
- prevTid0Pic을 현재 픽처의 nuh_layer_id와 동일한 nuh_layer_id 및 0과 동일한 TemporalId를 가지며 RASL 또는 RADL 픽처가 아닌 디코딩 순서의 이전 픽처라고 하자.
- 변수 prevPicOrderCntLsb는 prevTid0Pic의 pic_order_cnt_lsb와 동일하게 설정된다.
- 변수 prevPicOrderCntMsb는 prevTid0Pic의 PicOrderCntMsb와 동일하게 설정된다.
현재 픽처의 변수 PicOrderCntMsb는 다음과 같이 파생된다.
- 현재 픽처가 CLVSS 픽처이면 PicOrderCntMsb는 0으로 설정된다.
- 그렇지 않으면 PicOrderCntMsb는 다음과 같이 파생된다.
if( ( pic_order_cnt_lsb < prevPicOrderCntLsb ) &&
( ( prevPicOrderCntLsb - pic_order_cnt_lsb ) >= ( MaxPicOrderCntLsb / 2 ) ) )
PicOrderCntMsb = prevPicOrderCntMsb + MaxPicOrderCntLsb
(8-1)
else if( (pic_order_cnt_lsb > prevPicOrderCntLsb ) &&
( ( pic_order_cnt_lsb - prevPicOrderCntLsb ) > ( MaxPicOrderCntLsb / 2 ) ) )
PicOrderCntMsb = prevPicOrderCntMsb - MaxPicOrderCntLsb
else
PicOrderCntMsb = prevPicOrderCntMsb
PicOrderCntVal은 다음과 같이 파생된다:
PicOrderCntVal = PicOrderCntMsb + pic_order_cnt_lsb
(8-2)
참고 1 - CLVSS 픽처의 경우 PicOrderCntMsb가 0으로 설정되기 때문에 모든 CLVSS 픽처는 PicOrderCntVal이 pic_order_cnt_lsb와 동일하다.
PicOrderCntVal의 값은 -231에서 231 - 1(포함)까지의 범위에 있어야 한다.
하나의 CVS에서 동일한 nuh_layer_id 값을 갖는 두 개의 코딩된 픽처에 대한 PicOrderCntVal 값은 동일하지 않아야 한다.
특정 액세스 유닛의 모든 픽처는 PicOrderCntVal의 동일한 값을 가져야 한다.
PicOrderCnt( picX ) 함수는 다음과 같이 지정된다:
PicOrderCnt( picX ) = 픽처 picX의 PicOrderCntVal
(8-3)
함수 DiffPicOrderCnt( picA, picB )는 다음과 같이 지정된다:
DiffPicOrderCnt( picA, picB ) = PicOrderCnt( picA ) - PicOrderCnt( picB )
(8-4)
비트스트림은 -215에서 215 - 1(포함)의 범위가 아닌 디코딩 프로세스에 사용된 DiffPicOrderCnt(picA, picB) 값을 초래하는 데이터를 포함하지 않아야 한다.
참고 2 - X를 현재 픽처라고 하고 Y와 Z를 동일한 CVS의 다른 두 픽처이라고 하고, DiffPicOrderCnt( X, Y ) 및 DiffPicOrderCnt( X, Z )가 모두 양수이거나 모두 음수일 때, Y와 Z는 X로부터 동일한 출력 순서 방향으로 간주될 것이다.
사용할 수 없는 참조 픽처를 생성하기 위한 일반적인 디코딩 프로세스.
이 프로세스는 현재 픽처가 1과 동일한 NoIncorrectPicOutputFlag를 갖는 CRA 픽처 또는 1과 동일한 NoIncorrectPicOutputFlag를 갖는 GDR 픽처인 경우 코딩된 픽처당 한 번씩 호출된다.
이 프로세스가 호출되면 다음이 적용된다.
- 각 RefPicList[ i ][ j ]에 대해, i는 0에서 1(포함)까지의 범위에 있고 j는 0에서 num_ref_entries[ i ][ RplsIdx[ i ] ] - 1(포함)까지의 범위에 있으며, 이는 "참조 픽처 없음"과 동일하며, 픽처는 하위 절 8.3.4.2에 지정된 대로 생성되며 다음이 적용된다:
- 생성된 픽처에 대한 nuh_layer_id의 값은 현재 픽처의 nuh_layer_id와 동일하게 설정된다.
- st_ref_pic_flag[ i ][ RplsIdx[ i ] ][ j ]가 1이면 생성된 픽처에 대한 PicOrderCntVal 값은 RefPicPocList[ i ][ j ]와 동일하게 설정되고 생성된 픽처는 "단시간 참조로 사용됨"으로 표시된다.
- 그렇지 않으면(st_ref_pic_flag[ i ][ RplsIdx[ i ] ][ j ]가 0과 같음), 생성된 픽처에 대한 PicOrderCntVal의 값은 RefPicLtPocList[ i ][ j ]와 동일하게 설정되고, 생성된 픽처에 대한 pic_order_cnt_lsb의 값은 ( RefPicLtPocList[ i ][ j ] & ( MaxPicOrderCntLsb - 1 ) )와 동일하게 설정되며, 생성된 픽처는 "장시간 참조로 사용됨"으로 표시된다.
- 생성된 참조 픽처에 대한 PicOutputFlag의 값은 0으로 설정된다.
- RefPicList[ i ][ j ]는 생성된 참조 픽처로 설정된다.
시간적 루마 모션 벡터 예측을 위한 유도 과정.
변수 mvLXCol 및 availableFlagLXCol은 다음과 같이 파생된다:
- pic_temporal_mvp_enabled_flag가 0과 같거나 ( cbWidth * cbHeight )가 32보다 작거나 같으면, mvLXCol의 두 구성 요소는 모두 0으로 설정되고 availableFlagLXCol은 0으로 설정된다.
- 그렇지 않은 경우(pic_temporal_mvp_enabled_flag가 1과 같음), 다음 순서 단계가 적용된다:
1. 하단 오른쪽 배치된 모션 벡터와 하단 및 오른쪽 경계 샘플 위치는 다음과 같이 유도된다:
xColBr = xCb + cbWidth
(8-421)
yColBr = yCb + cbHeight
(8-422)
rightBoundaryPos = subpic_treated_as_pic_flag[ SubPicIdx ] ?
SubPicRightBoundaryPos : pic_width_in_luma_samples - 1
(8-423)
botBoundaryPos = subpic_treated_as_pic_flag[ SubPicIdx ] ? botBoundaryPos = subpic_treated_as_pic_flag[ SubPicIdx ] ?
SubPicBotBoundaryPos : pic_height_in_luma_samples - 1 (8-424)
- yCb >> CtbLog2SizeY가 yColBr >> CtbLog2SizeY와 같고, yColBr이 botBoundaryPos보다 작거나 같고 xColBr이 rightBoundaryPos보다 작거나 같으면, 다음이 적용된다.
- 변수 colCb는 ColPic에 의해 지정된 배치된 픽처 내부에서 ( ( xColBr >> 3 ) << 3, ( yColBr >> 3 ) << 3 )에 의해 제공된 수정된 위치를 커버하는 루마 코딩 블록을 지정한다.
- 루마 위치( xColCb, yColCb )는 ColPic에 의해 지정된 배치된 픽처의 왼쪽 상단 루마 샘플에 상대적인 colCb에 의해 지정된 배치된 루마 코딩 블록의 왼쪽 상단 샘플과 동일하게 설정된다.
- 8.5.2.12절에 명시된 배치된 모션 벡터에 대한 유도 프로세스는 currCb, colCb, ( xColCb, yColCb ), refIdxLX 및 sbFlag가 입력으로서 0으로 설정되어 호출되고, 출력은 mvLXCol 및 availableFlagLXCol에 할당된다.
- 그렇지 않으면 mvLXCol의 두 구성 요소가 모두 0으로 설정되고 availableFlagLXCol이 0으로 설정된다.
2. availableFlagLXCol이 0과 같을 때 중앙 배치된 모션 벡터는 다음과 같이 유도된다:
xColCtr = xCb + ( cbWidth >> 1 )
(8-425)
yColCtr = yCb + ( cbHeight >> 1 )
(8-426)
- 변수 colCb는 ColPic에 의해 지정된 배치된 픽처 내에서 ( ( xColCtr >> 3 ) << 3, ( yColCtr >> 3 ) << 3 )에 의해 주어진 수정된 위치를 커버하는 루마 코딩 블록을 지정한다.
- 루마 위치( xColCb, yColCb )는 ColPic에 의해 지정된 배치된 픽처의 왼쪽 상단 루마 샘플에 상대적인 colCb에 의해 지정된 배치된 루마 코딩 블록의 왼쪽 상단 샘플과 동일하게 설정된다.
- 8.5.2.12절에 명시된 바와 같이 배치된 모션 벡터에 대한 유도 프로세스는 currCb, colCb, ( xColCb, yColCb ), refIdxLX 및 sbFlag가 입력으로 0으로 설정되어 호출되고 출력은 mvLXCol 및 availableFlagLXCol에 할당된다.
서브블록 기반의 시간적 병합 후보 도출 과정.
가용성 플래그 availableFlagSbCol은 다음과 같이 파생된다:
- 다음 조건 중 하나 이상이 참이면, availableFlagSbCol이 0으로 설정된다.
- pic_temporal_mvp_enabled_flag는 0과 같다.
- sps_sbtmvp_enabled_flag는 0과 같다.
- cbWidth가 8보다 작다.
- cbHeight가 8보다 작다.
- 그렇지 않으면, 다음과 같은 순서의 단계가 적용된다.
1. 현재 코딩 블록을 포함하는 루마 코딩 트리 블록의 왼쪽 상단 샘플의 위치( xCtb, yCtb )와 현재 루마 코딩 블록의 오른쪽 아래 중앙 샘플의 위치( xCtr, yCtr )가 다음과 같이 도출된다:
xCtb = ( xCb >> CtuLog2Size ) << CtuLog2Size
(8-542)
yCtb = ( yCb >> CtuLog2Size ) << CtuLog2Size
(8-543)
xCtr = xCb + ( cbWidth / 2 )
(8-544)
yCtr = yCb + ( cbHeight / 2 )
(8-545)
2. 루마 위치( xColCtrCb, yColCtrCb )는, ColPic에 의해 지정된 배치된 픽처의 왼쪽 상단 루마 샘플에 상대적인 ColPic 내부의 ( xCtr, yCtr )에 의해 제공된 위치를 덮는 배치된 루마 코딩 블록의 왼쪽 상단 샘플과 동일하게 설정된다.
3. 8.5.5.4절에 명시된 서브블록 기반 시간 병합 기본 모션 데이터에 대한 유도 프로세스는, 입력으로서의 위치( xCtb, yCtb ), 위치( xColCtrCb, yColCtrCb ), 가용성 플래그 availableFlagA1 및 예측 리스트 활용 플래그 predFlagLXA1, 참조 인덱스 refIdxLXA1 및 모션 벡터 mvLXA1 (X는 0과 1), 그리고 출력으로서의 모션 벡터 ctrMvLX, 집합된 블록의 예측 리스트 활용 플래그 ctrPredFlagLX(X는 0과 1) 및 시간적 모션 벡터 tempMv를 통해 호출된다.
4. 변수 availableFlagSbCol은 다음과 같이 유도된다.
- ctrPredFlagL0 및 ctrPredFlagL1이 모두 0이면 availableFlagSbCol은 0으로 설정된다.
- 그렇지 않으면 availableFlagSbCol이 1로 설정된다.
구성된 아핀 제어점 모션 벡터 병합 후보에 대한 유도 프로세스.
제4(오른쪽 아래 배치) 제어점 모션 벡터 cpMvLXCorner[ 3 ], 참조 인덱스 refIdxLXCorner[ 3 ], 예측 리스트 활용 플래그 predFlagLXCorner[ 3 ] 및 X가 0이고 1인 가용성 플래그 availableFlagCorner[ 3 ]는 다음과 같이 유도된다:
- X가 0 또는 1인 시간적 병합 후보 refIdxLXCorner[3]에 대한 참조 인덱스는 0으로 설정된다.
- X가 0 또는 1인 변수 mvLXCol 및 availableFlagLXCol은 다음과 같이 파생된다:
- pic_temporal_mvp_enabled_flag가 0과 같으면, mvLXCol의 양 구성요소는 모두 0으로 설정되고 availableFlagLXCol은 0으로 설정된다.
그렇지 않으면(pic_temporal_mvp_enabled_flag가 1임), 다음이 적용된다:
xColBr = xCb + cbWidth
(8-601)
yColBr = yCb + cbHeight
(8-602)
- yCb >> CtbLog2SizeY가 yColBr >> CtbLog2SizeY와 같고, yColBr이 pic_height_in_luma_samples보다 작고 xColBr이 pic_width_in_luma_samples보다 작으면, 다음이 적용된다:
- 변수 colCb는 ColPic에 의해 지정된 배치된 픽처 내부에서 ( ( xColBr >> 3 ) << 3, ( yColBr >> 3 ) << 3 )에 의해 제공된 수정된 위치를 포함하는 루마 코딩 블록을 지정한다.
- 루마 위치( xColCb, yColCb )는 ColPic에 의해 지정된 배치된 픽처의 왼쪽 상단 루마 샘플에 상대적인 colCb에 의해 지정된 배치된 루마 코딩 블록의 왼쪽 상단 샘플과 동일하게 설정된다.
- 8.5.2.12절에 명시된 바와 같이 배치된 모션 벡터에 대한 유도 프로세스는 currCb, colCb, ( xColCb, yColCb ), refIdxLXCorner[ 3 ] 및 sbFlag가 입력으로 0으로 설정되어 호출되고, 출력은 availableFlagXLol 및 mvLXL에 할당된다.
- 그렇지 않으면 mvLXCol의 두 구성 요소가 모두 0으로 설정되고 availableFlagLXCol이 0으로 설정된다.
- availableFlagCorner[ 3 ], predFlagL0Corner[ 3 ], cpMvL0Corner[ 3 ] 및 predFlagL1Corner[ 3 ] 변수는 다음과 같이 유도된다.
availableFlagCorner[ 3 ] = availableFlagL0Col
(8-603)
predFlagL0Corner[ 3 ] = availableFlagL0Col
(8-604)
cpMvL0Corner[ 3 ] = mvL0Col
(8-605)
predFlagL1Corner[ 3 ] = 0
(8-606)
slice_type이 B일 때, 변수 availableFlagCorner[ 3 ], predFlagL1Corner[ 3 ], cpMvL1Corner[ 3 ]는 다음과 같이 유도된다.
availableFlagCorner[ 3 ] = availableFlagL0Col | | availableFlagL1Col
(8-607)
predFlagL1Corner[ 3 ] = availableFlagL1Col
(8-608)
cpMvL1Corner[ 3 ] = mvL1Col
(8-609)
도 11은 본 명세서의 실시예에 따른 비디오 코딩 장치(1100)(예를 들어, 비디오 인코더(300) 또는 비디오 디코더(400))의 개략도이다. 비디오 코딩 장치(1100)는 여기에 설명된 바와 같이 개시된 실시예들을 구현하기에 적합하다. 비디오 코딩 장치(1100)는 데이터를 수신하기 위한 입구 포트(1110) 및 수신기 유닛(Rx)(1120); 데이터를 처리하기 위한 프로세서, 로직 유닛, 또는 중앙 처리 유닛(CPU)(1130); 데이터를 전송하기 위한 송신기 유닛(Tx)(1140) 및 출구 포트(1150); 및 데이터를 저장하기 위한 메모리(1160)를 포함한다. 비디오 코딩 장치(1100)는 또한, 광학 또는 전기 신호의 유출 또는 유입을 위해, 입구 포트(1110), 수신기 유닛(1120), 송신기 유닛(1140), 및 출구 포트(1150)에 연결된 광-전(optical-to-electrical, OE) 구성요소와 전-광(electrical-to-optical, EO) 구성요소도 포함할 수 있다.
프로세서(1130)는 하드웨어 및 소프트웨어로 구현된다. 프로세서(1130)는 하나 이상의 CPU 칩, 코어(예를 들어, 멀티 코어 프로세서), FPGA(field-programmable gate arrays), ASIC(application specific integrated circuit), 및 DSP(digital signal processor)로서 구현될 수 있다. 프로세서(1130)는 입구 포트(1110), 수신기 유닛(1120), 송신기 유닛(1140), 출구 포트(1150), 및 메모리(1160)와 통신한다. 프로세서(1130)는 코딩 모듈(1170)을 포함한다. 코딩 모듈(1170)은 위에서 설명된 개시된 실시예들을 구현한다. 예를 들면, 코딩 모듈(1170)은 다양한 코덱 기능을 구현, 처리, 준비 또는 제공할 수 있다. 따라서, 코딩 모듈(1170)의 포함은 비디오 코딩 장치(1100)의 기능에 대한 실질적인 개선을 제공하고 비디오 코딩 장치(1100)의 다른 상태로의 변환에 영향을 미친다. 대안적으로, 코딩 모듈(1170)은 메모리(1160)에 저장되고 프로세서(1130)에 의해 실행되는 명령어로서 구현된다.
비디오 코딩 장치(1100)는 또한 사용자와 데이터를 통신하기 위한 입력 및/또는 출력(I/O) 장치들(1180)을 포함할 수 있다. 입출력 장치(1180)는 비디오 데이터를 표시하기 위한 디스플레이, 오디오 데이터를 출력하기 위한 스피커 등과 같은 출력 장치를 포함할 수 있다. I/O 장치(1180)는 또한 키보드, 마우스, 트랙볼 등과 같은 입력 장치, 및/또는 이러한 출력 장치와 상호작용하기 위한 대응하는 인터페이스를 포함할 수 있다.
메모리(1160)는 하나 이상의 디스크, 테이프 드라이브 및 솔리드 스테이트 드라이브를 포함하며 오버플로 데이터 저장 장치로 사용될 수 있으며, 이러한 프로그램이 실행을 위해 선택될 때 프로그램을 저장하고, 프로그램 실행 중 판독된 명령 및 데이터를 저장한다. 메모리(1160)는 휘발성 및/또는 비휘발성일 수 있으며 ROM(Read-Only Memory), RAM(Random Access Memory), TCAM(Ternary Content-Addressable Memory) 및/또는 SRAM(Static Random-Access Memory)일 수 있다.
도 12는 코딩 수단(1200)의 실시예의 개략도이다. 일 실시예에서, 코딩 수단(1200)은 비디오 코딩 장치(1202)(예를 들어, 비디오 인코더(300) 또는 비디오 디코더(400))에서 구현된다. 비디오 코딩 장치(1202)는 수신 수단(1201)을 포함한다. 수신 수단(1201)은 인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된다. 비디오 코딩 장치(1202)는 수신 수단(1201)에 연결된 전송 수단(1207)을 포함한다. 전송 수단(1207)은 비트스트림을 디코더로 전송하거나 디코딩된 이미지를 디스플레이 수단(예를 들어, I/O 장치(1180) 중 하나)으로 전송하도록 구성된다.
비디오 코딩 장치(1202)는 저장 수단(1203)을 포함한다. 저장 수단(1203)은 수신 수단(1201) 또는 전송 수단(1207) 중 적어도 하나에 연결된다. 저장 수단(1203)은 명령어를 저장하도록 구성된다. 비디오 코딩 장치(1202)는 또한 처리 수단(1205)을 포함한다. 처리 수단(1205)은 저장 수단(1203)에 연결된다. 처리 수단(1205)은 본 명세서에 개시된 방법을 수행하기 위해 저장 수단(1203)에 저장된 명령을 실행하도록 구성된다.
또한 여기에 설명된 예시적인 방법의 단계는 설명된 순서대로 수행될 필요가 없으며 이러한 방법의 단계의 순서는 단지 예시적인 것으로 이해되어야 한다. 마찬가지로, 이러한 방법에는 추가적인 단계가 포함될 수 있으며, 본 개시의 다양한 실시예에 따른 방법에서 특정 단계는 생략되거나 결합될 수 있다.
몇몇 실시예가 본 개시에서 제공되었지만, 개시된 시스템 및 방법은 본 개시의 사상 또는 범위를 벗어나지 않고 많은 다른 특정 형태로 구현될 수 있음을 이해해야 한다. 본 예는 예시적인 것으로 간주되어야 하며 제한적이지 않으며, 의도는 여기에 제공된 세부 사항으로 제한되지 않는다. 예를 들어, 다양한 구성 요소 또는 구성 요소가 다른 시스템에 결합 또는 통합되거나 특정 기능이 생략되거나 구현되지 않을 수 있다.
또한, 별개의 또는 별개의 것으로 다양한 실시예에서 설명되고 예시된 기술, 시스템, 서브시스템 및 방법은 본 개시의 범위를 벗어나지 않고 다른 시스템, 모듈, 기술, 또는 방법과 결합되거나 통합될 수 있다. 서로 연결되거나 직접 연결되거나 통신하는 것으로 도시되거나 논의된 다른 항목은 전기적으로든 기계적으로든 간에 일부 인터페이스, 장치 또는 중간 구성요소를 통해 간접적으로 연결되거나 통신할 수 있다. 변경, 대체 및 변경의 다른 예는 통상의 기술자에 의해 확인 가능하고 여기에 개시된 정신 및 범위를 벗어나지 않고 이루어질 수 있다.
Claims (24)
- 비디오 디코더에 의해 구현되는 디코딩 방법으로서,
비디오 디코더가 오직 하나의 코딩된 픽처만을 포함하는 픽처 유닛(PU)을 수신하는 단계; 및
상기 비디오 디코더에 의해, 상기 PU로부터 오직 하나의 코딩된 픽처를 디코딩하여 디코딩된 픽처를 획득하는 단계
를 포함하는 디코딩 방법. - 제1항에 있어서,
상기 PU는 하나의 PH(Picture Header) NAL(Network Abstraction Layer) 유닛을 포함하고, 상기 하나의 PH NAL 유닛은 하나의 코딩된 픽처에 대응하는 픽처 헤더를 포함하는, 디코딩 방법. - 제1항 내지 제2항 중 어느 한 항에 있어서,
상기 PU는 하나 이상의 비디오 코딩 레이어(VCL) NAL 유닛을 포함하는, 디코딩 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 PU는 하나 이상의 비-비디오 코딩 레이어(VCL) NAL 유닛을 포함하는, 디코딩 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 오직 하나의 코딩된 픽처는 각각 슬라이스 헤더를 포함하는 하나 이상의 슬라이스를 포함하고, 상기 하나 이상의 슬라이스의 각각은 비디오 코딩 레이어(VCL) NAL 유닛에 배치되는, 디코딩 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 PU는 DCI NAL 유닛에 배치된 디코딩 능력 정보(DCI)를 포함하는, 디코딩 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 PU는 VPS NAL 유닛에 배치된 비디오 파라미터 세트(VPS)를 포함하는, 디코딩 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 PU는 SPS NAL 유닛에 배치된 시퀀스 파라미터 세트(SPS) 및 PPS NAL 유닛에 배치된 PPS(픽처 파라미터 세트)를 포함하는, 디코딩 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서,
전자 장치의 디스플레이 상에 디코딩된 픽처를 디스플레이하는 단계
를 더 포함하는 디코딩 방법. - 비디오 인코더에 의해 구현되는 인코딩 방법으로서,
비디오 인코더에 의해, 오직 하나의 코딩된 픽처만을 포함하는 픽처 유닛(PU)을 생성하는 단계;
상기 비디오 인코더에 의해, 상기 PU를 비디오 비트스트림으로 인코딩하는 단계; 및
상기 비디오 인코더에 의해, 비디오 디코더를 향한 통신을 위해 비디오 비트스트림을 저장하는 단계
를 포함하는 인코딩 방법. - 제10항에 있어서,
상기 PU는 하나의 픽처 헤더(PH) 네트워크 추상화 레이어(NAL) 유닛을 포함하고, 상기 하나의 PH NAL 유닛은 하나의 코딩된 픽처에 대응하는 픽처 헤더를 포함하는, 인코딩 방법. - 제10항 내지 제11항 중 어느 한 항에 있어서,
상기 PU는 하나 이상의 비디오 코딩 레이어(VCL) NAL 유닛 및 하나 이상의 비-비디오 코딩 레이어(VCL) NAL 유닛을 포함하는, 인코딩 방법. - 제10항 내지 제12항 중 어느 한 항에 있어서,
상기 오직 하나의 코딩된 픽처는 각각 슬라이스 헤더를 포함하는 하나 이상의 슬라이스를 포함하고, 상기 하나 이상의 슬라이스의 각각은 비디오 코딩 레이어(VCL) NAL 유닛에 배치되는, 인코딩 방법. - 디코딩 장치로서,
오직 하나의 코딩된 픽처만을 포함하는 픽처 유닛(PU)을 수신하도록 구성된 수신기;
상기 수신기에 연결되고 명령어를 저장하는 메모리; 및
상기 메모리에 결합된 프로세서 - 상기 프로세서는 상기 디코딩 장치로 하여금 디코딩된 픽처를 획득하기 위해 PU로부터 오직 하나의 코딩된 픽처를 디코딩하게 하는 명령어를 실행하도록 구성됨 -
를 포함하는 디코딩 장치. - 제14항에 있어서,
상기 PU는 하나의 픽처 헤더(Picture Header, PH) 네트워크 추상화 레이어(Network Abstraction Layer, NAL) 유닛을 포함하고, 상기 하나의 PH NAL 유닛은 상기 오직 하나의 코딩된 픽처에 대응하는 픽처 헤더를 포함하는, 디코딩 장치. - 제14항 내지 제15항 중 어느 한 항에 있어서,
상기 PU는 하나 이상의 비디오 코딩 레이어(VCL) NAL 유닛 및 하나 이상의 비-비디오 코딩 레이어(VCL) NAL 유닛을 포함하는, 디코딩 장치. - 제15항 내지 제16항 중 어느 한 항에 있어서,
상기 오직 하나의 코딩된 픽처는 각각이 슬라이스 헤더를 포함하는 하나 이상의 슬라이스를 포함하고, 상기 하나 이상의 슬라이스 각각은 비디오 코딩 레이어(VCL) NAL 유닛에 배치되는, 디코딩 장치. - 인코딩 장치로서,
명령어를 포함하는 메모리;
상기 메모리에 결합된 프로세서 - 상기 프로세서는 상기 인코딩 장치가:
오직 하나의 코딩된 픽처만을 포함하는 픽처 유닛(PU)을 생성하고;
상기 PU를 비디오 비트스트림으로 인코딩하도록 하기 위해 상기 명령어를 구현하도록 구성됨 - ; 및
상기 프로세서에 결합되고, 상기 비디오 비트스트림을 비디오 디코더를 향하여 송신하도록 구성된 송신기
를 포함하는 인코딩 장치. - 제18항에 있어서,
상기 PU는 하나의 픽처 헤더(Picture Header, PH) 네트워크 추상화 레이어(Network Abstraction Layer, NAL) 유닛을 포함하고, 상기 하나의 PH NAL 유닛은 상기 오직 하나의 코딩된 픽처에 대응하는 픽처 헤더를 포함하는, 인코딩 장치. - 제18항 내지 제19항 중 어느 한 항에 있어서,
상기 PU는 하나 이상의 비디오 코딩 레이어(VCL) NAL 유닛 및 하나 이상의 비-비디오 코딩 레이어(VCL) NAL 유닛을 포함하고, 상기 오직 하나의 코딩된 픽처는 각각 슬라이스 헤더를 포함하는 하나 이상의 슬라이스를 포함하고, 상기 하나 이상의 슬라이스 각각은 하나 이상의 VCL NAL 유닛 중 하나에 배치되는, 인코딩 장치. - 코딩 장치로서,
인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된 수신기;
상기 수신기에 결합되고, 상기 비트스트림을 디코더에 전송하거나 디코딩된 이미지를 디스플레이에 전송하도록 구성된 송신기;
상기 수신기 또는 상기 송신기 중 적어도 하나에 결합되고 명령어를 저장하도록 구성된 메모리; 및
제1항 내지 제9항 및 제10항 내지 제13항 중 어느 한 항의 방법을 수행하기 위해 메모리에 저장된 명령어를 실행하도록 구성된 프로세서
를 포함하는 코딩 장치. - 제20항에 있어서,
디코딩된 픽처를 디스플레이하도록 구성된 디스플레이
를 더 포함하는 코딩 장치. - 시스템으로서,
인코더; 및
상기 인코더와 통신하는 디코더 - 상기 인코더 또는 디코더는 제15항 내지 제22항 중 어느 한 항의 디코딩 장치, 인코딩 장치, 또는 코딩 장치를 포함함 -
를 포함하는 시스템. - 코딩 수단으로서,
인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된 수신 수단;
상기 수신 수단에 결합되고, 상기 비트스트림을 디코딩 수단에 전송하거나 디코딩된 이미지를 디스플레이 수단에 전송하도록 구성된 전송 수단;
상기 수신 수단 또는 상기 전송 수단 중 적어도 하나에 결합되고 명령어를 저장하도록 구성된 저장 수단; 및
상기 저장 수단에 연결되는 처리 수단 - 상기 처리 수단은 제1항 내지 제9항 및 제10항 내지 제13항 중 어느 한 항의 방법을 수행하기 위해 저장 수단에 저장된 명령어를 실행하도록 구성됨 -
을 포함하는 코딩 수단.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962905150P | 2019-09-24 | 2019-09-24 | |
| US62/905,150 | 2019-09-24 | ||
| PCT/US2020/045033 WO2021061280A1 (en) | 2019-09-24 | 2020-08-05 | Signaling of picture header in video coding |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220066956A true KR20220066956A (ko) | 2022-05-24 |
Family
ID=75166764
Family Applications (6)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227013662A KR20220063276A (ko) | 2019-09-24 | 2020-08-05 | 비디오 코딩에서 픽처 헤더의 시그널링 |
| KR1020227013659A KR20220066957A (ko) | 2019-09-24 | 2020-08-05 | 비디오 코딩에서 픽처 헤더의 시그널링 |
| KR1020227013645A KR20220062123A (ko) | 2019-09-24 | 2020-08-05 | 비디오 코딩에서 픽처 헤더의 시그널링 |
| KR1020227013661A KR20220066958A (ko) | 2019-09-24 | 2020-08-05 | 비디오 코딩에서 픽처 헤더의 시그널링 |
| KR1020227013658A KR20220062124A (ko) | 2019-09-24 | 2020-08-05 | 비디오 코딩에서 픽처 헤더의 시그널링 |
| KR1020227013646A KR20220066956A (ko) | 2019-09-24 | 2020-08-05 | 비디오 코딩에서 픽처 헤더의 시그널링 |
Family Applications Before (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227013662A KR20220063276A (ko) | 2019-09-24 | 2020-08-05 | 비디오 코딩에서 픽처 헤더의 시그널링 |
| KR1020227013659A KR20220066957A (ko) | 2019-09-24 | 2020-08-05 | 비디오 코딩에서 픽처 헤더의 시그널링 |
| KR1020227013645A KR20220062123A (ko) | 2019-09-24 | 2020-08-05 | 비디오 코딩에서 픽처 헤더의 시그널링 |
| KR1020227013661A KR20220066958A (ko) | 2019-09-24 | 2020-08-05 | 비디오 코딩에서 픽처 헤더의 시그널링 |
| KR1020227013658A KR20220062124A (ko) | 2019-09-24 | 2020-08-05 | 비디오 코딩에서 픽처 헤더의 시그널링 |
Country Status (12)
| Country | Link |
|---|---|
| US (6) | US20220217414A1 (ko) |
| EP (6) | EP4026098A4 (ko) |
| JP (6) | JP2022549837A (ko) |
| KR (6) | KR20220063276A (ko) |
| CN (6) | CN114467115A (ko) |
| AU (6) | AU2020356209A1 (ko) |
| BR (6) | BR112022005411A2 (ko) |
| CA (5) | CA3152445A1 (ko) |
| CL (5) | CL2022000714A1 (ko) |
| IL (1) | IL291675A (ko) |
| MX (5) | MX2022003555A (ko) |
| WO (6) | WO2021061280A1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4018670A4 (en) * | 2019-08-22 | 2023-08-16 | Sharp Kabushiki Kaisha | SYSTEMS AND METHODS FOR SIGNALING IMAGE INFORMATION IN VIDEO CODING |
| US20210176475A1 (en) * | 2019-12-05 | 2021-06-10 | Mediatek Inc. | Specifying Layout In Video Pictures |
| CN114902672A (zh) | 2019-12-26 | 2022-08-12 | 字节跳动有限公司 | 视频编解码中的档次-层-级别参数集 |
| US11825107B2 (en) * | 2019-12-27 | 2023-11-21 | Tencent America LLC | Method for parameter set reference in coded video stream |
| US11743503B2 (en) * | 2020-05-14 | 2023-08-29 | Qualcomm Incorporated | Reference picture list constraints and signaling in video coding |
| US11503342B2 (en) * | 2020-06-10 | 2022-11-15 | Sharp Kabushiki Kaisha | Systems and methods for signaling sequence parameter information in video coding |
| WO2021252978A1 (en) | 2020-06-12 | 2021-12-16 | Bytedance Inc. | Constraints on picture output ordering in a video bitstream |
| US11711518B2 (en) * | 2020-09-17 | 2023-07-25 | Lemon Inc. | Decoding capability information storage in video coding |
| WO2024096934A1 (en) * | 2022-11-01 | 2024-05-10 | Qualcomm Incorporated | Identifying and marking video data units for network transport of video data |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2352350B (en) * | 1999-07-19 | 2003-11-05 | Nokia Mobile Phones Ltd | Video coding |
| DE10152716C1 (de) | 2001-10-19 | 2003-07-03 | Byk Chemie Gmbh | Prozesshilfsmittel für die Verarbeitung von Kunststoffmassen |
| US9560367B2 (en) * | 2004-09-03 | 2017-01-31 | Nokia Technologies Oy | Parameter set and picture header in video coding |
| WO2006083824A2 (en) * | 2005-02-01 | 2006-08-10 | Texas Instruments Incorporated | Random access in avs-m video bitstreams |
| KR20140057533A (ko) * | 2011-07-15 | 2014-05-13 | 텔레폰악티에볼라겟엘엠에릭슨(펍) | 랜덤 액세스 픽처를 청정하게 하기 위해 가장 낮은 계층 식별을 할당하기 위한 인코더 및 방법 |
| US9106927B2 (en) * | 2011-09-23 | 2015-08-11 | Qualcomm Incorporated | Video coding with subsets of a reference picture set |
| US9124895B2 (en) * | 2011-11-04 | 2015-09-01 | Qualcomm Incorporated | Video coding with network abstraction layer units that include multiple encoded picture partitions |
| ES2898887T3 (es) * | 2011-11-08 | 2022-03-09 | Nokia Technologies Oy | Manejo de imágenes de referencia |
| US9451252B2 (en) * | 2012-01-14 | 2016-09-20 | Qualcomm Incorporated | Coding parameter sets and NAL unit headers for video coding |
| US9762903B2 (en) * | 2012-06-01 | 2017-09-12 | Qualcomm Incorporated | External pictures in video coding |
| US20130343465A1 (en) * | 2012-06-26 | 2013-12-26 | Qualcomm Incorporated | Header parameter sets for video coding |
| US20140003520A1 (en) * | 2012-07-02 | 2014-01-02 | Cisco Technology, Inc. | Differentiating Decodable and Non-Decodable Pictures After RAP Pictures |
| US9491457B2 (en) * | 2012-09-28 | 2016-11-08 | Qualcomm Incorporated | Signaling of regions of interest and gradual decoding refresh in video coding |
| US9398293B2 (en) * | 2013-01-07 | 2016-07-19 | Qualcomm Incorporated | Gradual decoding refresh with temporal scalability support in video coding |
| US10291827B2 (en) * | 2013-11-22 | 2019-05-14 | Futurewei Technologies, Inc. | Advanced screen content coding solution |
| JP2017525215A (ja) * | 2014-06-19 | 2017-08-31 | シャープ株式会社 | 復号方法 |
| US10264286B2 (en) * | 2014-06-26 | 2019-04-16 | Qualcomm Incorporated | Bitstream conformance constraints in scalable video coding |
| WO2016098056A1 (en) * | 2014-12-18 | 2016-06-23 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
| US20170105004A1 (en) * | 2015-10-07 | 2017-04-13 | Qualcomm Incorporated | Methods and systems of coding a predictive random access picture using a background picture |
| KR101895294B1 (ko) * | 2017-03-03 | 2018-09-05 | 주식회사 칩스앤미디어 | 프리 스캔을 이용한 블록 기반 동영상 복호화 방법 및 그 장치 |
| US11457242B2 (en) * | 2019-06-24 | 2022-09-27 | Qualcomm Incorporated | Gradual random access (GRA) signalling in video coding |
| US11375223B2 (en) * | 2019-09-20 | 2022-06-28 | Tencent America LLC | Method for signaling output layer set with sub-picture |
| CN114846804A (zh) * | 2019-12-20 | 2022-08-02 | 韦勒斯标准与技术协会公司 | 视频信号处理方法及其设备 |
-
2020
- 2020-08-05 JP JP2022518814A patent/JP2022549837A/ja active Pending
- 2020-08-05 WO PCT/US2020/045033 patent/WO2021061280A1/en unknown
- 2020-08-05 CA CA3152445A patent/CA3152445A1/en active Pending
- 2020-08-05 CA CA3152472A patent/CA3152472A1/en active Pending
- 2020-08-05 MX MX2022003555A patent/MX2022003555A/es unknown
- 2020-08-05 AU AU2020356209A patent/AU2020356209A1/en active Pending
- 2020-08-05 EP EP20869373.9A patent/EP4026098A4/en active Pending
- 2020-08-05 MX MX2022003554A patent/MX2022003554A/es unknown
- 2020-08-05 WO PCT/US2020/045040 patent/WO2021061283A1/en unknown
- 2020-08-05 AU AU2020354283A patent/AU2020354283A1/en active Pending
- 2020-08-05 CN CN202080066308.XA patent/CN114467115A/zh active Pending
- 2020-08-05 JP JP2022518869A patent/JP2022550717A/ja active Pending
- 2020-08-05 JP JP2022518868A patent/JP2022550716A/ja active Pending
- 2020-08-05 CA CA3152416A patent/CA3152416A1/en active Pending
- 2020-08-05 CN CN202080066724.XA patent/CN114503163A/zh active Pending
- 2020-08-05 JP JP2022518870A patent/JP2022550718A/ja active Pending
- 2020-08-05 CN CN202080066503.2A patent/CN114467292A/zh active Pending
- 2020-08-05 BR BR112022005411A patent/BR112022005411A2/pt unknown
- 2020-08-05 WO PCT/US2020/045042 patent/WO2021061284A1/en active Application Filing
- 2020-08-05 KR KR1020227013662A patent/KR20220063276A/ko not_active Application Discontinuation
- 2020-08-05 AU AU2020352377A patent/AU2020352377A1/en active Pending
- 2020-08-05 MX MX2022003553A patent/MX2022003553A/es unknown
- 2020-08-05 KR KR1020227013659A patent/KR20220066957A/ko not_active Application Discontinuation
- 2020-08-05 CN CN202080066748.5A patent/CN114467118A/zh active Pending
- 2020-08-05 JP JP2022518817A patent/JP2022549011A/ja active Pending
- 2020-08-05 BR BR112022005413A patent/BR112022005413A2/pt unknown
- 2020-08-05 MX MX2022003559A patent/MX2022003559A/es unknown
- 2020-08-05 EP EP20869372.1A patent/EP4026097A4/en active Pending
- 2020-08-05 BR BR112022005378A patent/BR112022005378A2/pt unknown
- 2020-08-05 KR KR1020227013645A patent/KR20220062123A/ko not_active Application Discontinuation
- 2020-08-05 WO PCT/US2020/045038 patent/WO2021061282A1/en unknown
- 2020-08-05 WO PCT/US2020/045037 patent/WO2021061281A1/en unknown
- 2020-08-05 EP EP20867227.9A patent/EP4026095A4/en active Pending
- 2020-08-05 AU AU2020354883A patent/AU2020354883A1/en active Pending
- 2020-08-05 JP JP2022518815A patent/JP7485759B2/ja active Active
- 2020-08-05 EP EP20869480.2A patent/EP4026099A4/en active Pending
- 2020-08-05 KR KR1020227013661A patent/KR20220066958A/ko not_active Application Discontinuation
- 2020-08-05 WO PCT/US2020/045045 patent/WO2021061285A1/en unknown
- 2020-08-05 BR BR112022005495A patent/BR112022005495A2/pt unknown
- 2020-08-05 CA CA3152435A patent/CA3152435A1/en active Pending
- 2020-08-05 CN CN202080066743.2A patent/CN114467117A/zh active Pending
- 2020-08-05 BR BR112022005403A patent/BR112022005403A2/pt unknown
- 2020-08-05 CA CA3152441A patent/CA3152441A1/en active Pending
- 2020-08-05 KR KR1020227013658A patent/KR20220062124A/ko not_active Application Discontinuation
- 2020-08-05 EP EP20868315.1A patent/EP4026096A4/en active Pending
- 2020-08-05 KR KR1020227013646A patent/KR20220066956A/ko not_active Application Discontinuation
- 2020-08-05 BR BR112022005409A patent/BR112022005409A2/pt unknown
- 2020-08-05 AU AU2020352827A patent/AU2020352827A1/en active Pending
- 2020-08-05 EP EP20870143.3A patent/EP4026100A4/en active Pending
- 2020-08-05 CN CN202080066718.4A patent/CN114467116A/zh active Pending
- 2020-08-05 AU AU2020352828A patent/AU2020352828A1/en active Pending
- 2020-08-05 MX MX2022003551A patent/MX2022003551A/es unknown
-
2022
- 2022-03-23 US US17/702,426 patent/US20220217414A1/en active Pending
- 2022-03-23 US US17/702,404 patent/US20220217392A1/en active Pending
- 2022-03-23 US US17/702,418 patent/US20220224945A1/en active Pending
- 2022-03-23 US US17/702,448 patent/US20220217416A1/en active Pending
- 2022-03-23 CL CL2022000714A patent/CL2022000714A1/es unknown
- 2022-03-23 CL CL2022000717A patent/CL2022000717A1/es unknown
- 2022-03-23 US US17/702,433 patent/US20220217415A1/en active Pending
- 2022-03-23 CL CL2022000712A patent/CL2022000712A1/es unknown
- 2022-03-23 US US17/702,411 patent/US20220217413A1/en active Pending
- 2022-03-23 CL CL2022000713A patent/CL2022000713A1/es unknown
- 2022-03-23 CL CL2022000710A patent/CL2022000710A1/es unknown
- 2022-03-24 IL IL291675A patent/IL291675A/en unknown
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7485759B2 (ja) | ビデオコーディングにおけるピクチャーヘッダーのシグナリング | |
| JP2024071388A (ja) | ビデオコーディングにおけるピクチャーヘッダーのシグナリング | |
| JP2024071389A (ja) | ビデオコーディングにおけるピクチャーヘッダーのシグナリング | |
| JP2024071387A (ja) | ビデオコーディングにおけるピクチャーヘッダーのシグナリング |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |