KR20240048460A - 비디오 코딩에서의 신경 네트워크 포스트-필터 정보 업데이트들을 시그널링하기 위한 시스템들 및 방법들 - Google Patents
비디오 코딩에서의 신경 네트워크 포스트-필터 정보 업데이트들을 시그널링하기 위한 시스템들 및 방법들 Download PDFInfo
- Publication number
- KR20240048460A KR20240048460A KR1020230020160A KR20230020160A KR20240048460A KR 20240048460 A KR20240048460 A KR 20240048460A KR 1020230020160 A KR1020230020160 A KR 1020230020160A KR 20230020160 A KR20230020160 A KR 20230020160A KR 20240048460 A KR20240048460 A KR 20240048460A
- Authority
- KR
- South Korea
- Prior art keywords
- neural network
- post
- nnpfc
- filter
- equal
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 320
- 238000000034 method Methods 0.000 title claims description 143
- 230000011664 signaling Effects 0.000 title description 23
- 238000012805 post-processing Methods 0.000 claims abstract description 147
- 230000004913 activation Effects 0.000 claims description 14
- 230000000153 supplemental effect Effects 0.000 claims description 7
- 239000000523 sample Substances 0.000 description 66
- 230000008569 process Effects 0.000 description 48
- 238000012545 processing Methods 0.000 description 36
- 238000001914 filtration Methods 0.000 description 34
- 239000010410 layer Substances 0.000 description 33
- 238000013139 quantization Methods 0.000 description 32
- 239000013598 vector Substances 0.000 description 31
- 241000023320 Luma <angiosperm> Species 0.000 description 30
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 30
- 238000004891 communication Methods 0.000 description 24
- 108091000069 Cystinyl Aminopeptidase Proteins 0.000 description 21
- 102100020872 Leucyl-cystinyl aminopeptidase Human genes 0.000 description 21
- 238000003860 storage Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 16
- 241001482237 Pica Species 0.000 description 13
- 238000003491 array Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000015654 memory Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 239000000835 fiber Substances 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 241000209094 Oryza Species 0.000 description 3
- 235000007164 Oryza sativa Nutrition 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 101150103552 cagE gene Proteins 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 235000009566 rice Nutrition 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000170567 Gollum Species 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 239000011449 brick Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 239000013074 reference sample Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 1
- 208000031212 Autoimmune polyendocrinopathy Diseases 0.000 description 1
- 241000255925 Diptera Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 235000019395 ammonium persulphate Nutrition 0.000 description 1
- 238000000261 appearance potential spectroscopy Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 229920000069 polyphenylene sulfide Polymers 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
Abstract
디바이스는, 신경 네트워크 포스트-필터 특성 메시지가 신경 네트워크 업데이트를 제공한다고 결정하도록 구성될 수 있다. 하나의 예에서, 신경 네트워크 포스트-필터 특성 메시지는 메시지와 연관된 포스트-프로세싱 필터가 특정된 태그 URI 및 신경 네트워크 정보 URI에 의해 식별된 신경 네트워크임을 특정하는 값을 갖는 신택스 요소를 포함한다. 신경 네트워크 포스트-필터 특성 메시지는 특정 신택스 요소들이 신경 네트워크 포스트-필터 특성 메시지에 존재하지 않음을 특정하는 값을 갖는 신택스 요소를 추가로 포함한다. 신택스 요소들의 값들에 기초하여, 신경 네트워크 포스트-필터 특성 메시지가 신경 네트워크 업데이트를 제공한다고 결정될 수 있다.
Description
본 개시내용은 비디오 코딩에 관한 것으로, 더 구체적으로는, 코딩된 비디오에 대한 신경 네트워크 포스트-필터 파라미터 정보를 시그널링하기 위한 기법들에 관한 것이다.
디지털 비디오 능력들은 디지털 텔레비전, 랩톱 또는 데스크톱 컴퓨터, 태블릿 컴퓨터, 디지털 기록 디바이스, 디지털 미디어 플레이어, 비디오 게이밍 디바이스, 소위 스마트폰을 포함하는 셀룰러 전화, 의료 이미징 디바이스 등을 비롯한 광범위한 디바이스들 내에 통합될 수 있다. 디지털 비디오는 비디오 코딩 표준에 따라 코딩될 수 있다. 비디오 코딩 표준들은 코딩된 비디오 데이터를 캡슐화하는 컴플라이언트 비트스트림(compliant bitstream)의 포맷을 정의한다. 컴플라이언트 비트스트림은 재구성된 비디오 데이터를 생성하기 위해 비디오 디코딩 디바이스에 의해 수신 및 디코딩될 수 있는 데이터 구조이다. 비디오 코딩 표준들은 비디오 압축 기법들을 포함할 수 있다. 비디오 코딩 표준들의 예는 ISO/IEC MPEG-4(Moving Picture Experts Group-4) 비주얼 및 ITU-T H.264(ISO/IEC MPEG-4 AVC로도 알려짐) 및 HEVC(High-Efficiency Video Coding)를 포함한다. HEVC는 문헌[High Efficiency Video Coding (HEVC), Rec. ITU-T H.265, December 2016]에 기재되어 있으며, 이는 참고로 포함되고, 본 명세서에서 ITU-T H.265로 지칭된다. 차세대 비디오 코딩 표준들의 개발을 위해 ITU-T H.265에 대한 확장들 및 개선들이 고려되고 있다. 예를 들어, ITU-T VCEG(Video Coding Experts Group) 및 ISO/IEC(MPEG)(JVET(Joint Video Exploration Team)로 총칭됨)는 현재 HEVC 표준의 압축 능력을 현저히 초과하는 압축 능력을 갖는 표준화된 비디오 코딩 기술을 갖는다. JEM 7(Joint Exploration Model 7), JEM 7의 알고리즘 설명, 본 명세서에 참고로 포함되는 문헌[ISO/IEC JTC1/SC29/WG11 Document: JVET-G1001, July 2017, Torino, IT]은 JVET에 의한 조정된 테스트 모델 연구 하에 있던 코딩 특징들을, ITU-T H.265의 능력들 이상으로 비디오 코딩 기술을 잠재적으로 향상시키는 것으로서 설명한다. JEM 7의 코딩 특징들은 JEM 기준 소프트웨어로 구현된다는 점에 유의해야 한다. 본 명세서에서 사용되는 바와 같이, 용어 "JEM"은 JEM 7에 포함된 알고리즘들 및 JEM 기준 소프트웨어의 구현들을 총칭할 수 있다. 또한, VCEG 및 MPEG에 의해 공동으로 발행된 문헌["Joint Call for Proposals on Video Compression with Capabilities beyond HEVC"]에 응답하여, 비디오 코딩 툴들의 다수의 설명들이 ISO/IEC JTC1/SC29/WG11의 제10차 회의(16-20 April 2018, San Diego, CA)에서 다양한 그룹들에 의해 제안되었다. 비디오 코딩 툴들의 다수의 설명들로부터, 비디오 코딩 규격의 생성된 초안 텍스트는 문헌["Versatile Video Coding (Draft 1)", 10th Meeting of ISO/IEC JTC1/SC29/WG11 16-20 April 2018, San Diego, CA, document JVET-J1001-v2]에 기재되어 있으며, 이는 본 명세서에 참고로 포함되고 JVET-J1001로 지칭된다. VCEG 및 MPEG에 의한 비디오 코딩 표준의 이러한 개발은 VVC(Versatile Video Coding) 프로젝트로 지칭된다. 본 명세서에 참고로 포함되고 JVET-T2001로 지칭되는 문헌["Versatile Video Coding (Draft 10)", 20th Meeting of ISO/IEC JTC1/SC29/WG11 7 - 16 October 2020, Teleconference, document JVET-T2001-v2]은 VVC 프로젝트에 대응하는 비디오 코딩 규격의 초안 텍스트의 현재 반복을 표현한다.
비디오 압축 기법은 비디오 데이터를 저장하고 송신하기 위한 데이터 요건들이 감소되는 것을 가능하게 한다. 비디오 압축 기법은 비디오 시퀀스 내의 고유 리던던시(redundancy)를 활용함으로써 데이터 요건들을 감소시킬 수 있다. 비디오 압축 기법들은 비디오 시퀀스를 연속적으로 더 작은 부분들(즉, 비디오 시퀀스 내의 픽처들의 그룹들, 픽처들의 그룹 내의 픽처, 픽처 내의 영역들, 영역들 내의 서브-영역들 등)로 세분할 수 있다. 인트라 예측(intra prediction) 코딩 기법들(예컨대, 픽처 내에서의 공간 예측 기법들) 및 인터 예측(inter prediction) 기법들(즉, 인터-픽처 기법들(시간적))은 코딩될 비디오 데이터의 유닛과 비디오 데이터의 기준 유닛 사이의 차이 값들을 생성하는 데 사용될 수 있다. 차이 값들은 잔차 데이터로 지칭될 수 있다. 잔차 데이터는 양자화된 변환 계수들로서 코딩될 수 있다. 신택스 요소(syntax element)들은 잔차 데이터 및 기준 코딩 유닛(예컨대, 인트라 예측 모드 인덱스들, 및 모션 정보)과 관련될 수 있다. 잔차 데이터 및 신택스 요소들은 엔트로피 코딩될 수 있다. 엔트로피 인코딩된 잔차 데이터 및 신택스 요소들은 컴플라이언트 비트스트림을 형성하는 데이터 구조들에 포함될 수 있다.
대체적으로, 본 개시내용은 비디오 데이터를 코딩하기 위한 다양한 기법들을 기술한다. 특히, 본 개시내용은 코딩된 비디오 데이터에 대한 신경 네트워크 포스트-필터 파라미터 정보를 시그널링하기 위한 기법들을 기술한다. 본 개시내용의 기법들이 ITU-T H.264, ITU-T H.265, JEM, 및 JVET-T2001과 관련하여 기술되지만, 본 개시내용의 기법들은 대체로 비디오 코딩에 적용가능하다는 점에 유의해야 한다. 예를 들어, 본 명세서에서 기술되는 코딩 기법은 비디오 블록 구조들, 인트라 예측 기법, 인터 예측 기법, 변환 기법, 필터링 기법, 및/또는 ITU-T H.265, JEM, 및 JVET-T2001에 포함되는 것들 이외의 엔트로피 코딩 기법을 포함하는 비디오 코딩 시스템들(향후 비디오 코딩 표준들에 기초하는 비디오 코딩 시스템들을 포함함)에 통합될 수 있다. 따라서, ITU-T H.264, ITU-T H.265, JEM, 및/또는 JVET-T2001에 대한 언급은 설명 목적을 위한 것이며, 본 명세서에서 기술되는 기법들의 범주를 제한하는 것으로 해석되어서는 안 된다. 또한, 본 명세서에 문헌들을 참고로 통합하는 것은 설명 목적을 위한 것이며, 본 명세서에서 사용되는 용어들과 관련하여 불명료성을 제한하거나 생성하는 것으로 해석되어서는 안 된다는 점에 유의해야 한다. 예를 들어, 통합된 참고문헌이 다른 통합된 참고문헌과는 상이한 정의의 용어를 제공하는 경우에 그리고/또는 그 용어가 본 명세서에서 사용될 때, 이 용어는 개개의 정의 각각을 광범위하게 포함하는 방식으로 그리고/또는 대안에서의 특정 정의 각각을 포함하는 방식으로 해석되어야 한다.
하나의 예에서, 비디오 데이터를 코딩하는 방법은, 신경 네트워크 포스트-필터 특성 메시지를 시그널링하는 단계, 신경 네트워크 포스트-필터 특성 메시지 중에서, 포스트-프로세싱 필터를 식별하는 데 사용되는 식별 번호를 갖는 제1 신택스 요소를 시그널링하는 단계, 신경 네트워크 포스트-필터 특성 메시지 중에서, 식별 번호와 연관된 포스트-프로세싱 필터가 특정된 태그 URI(Uniform Resource Identifier) 및 신경 네트워크 정보 URI에 의해 식별된 신경 네트워크임을 특정하는 값을 갖는 제2 신택스 요소를 시그널링하는 단계, 및 신경 네트워크 포스트-필터 특성 메시지 중에서, 필터 목적, 입력 포맷화, 출력 포맷화, 및 복잡도에 관련된 신택스 요소들이 신경 네트워크 포스트-필터 특성 메시지에 존재하지 않음을 특정하는 값을 갖는 제3 신택스 요소를 시그널링하는 단계를 포함하며, 여기서 제2 신택스 요소의 값 및 제3 신택스 요소의 값은 신경 네트워크 포스트-필터 특성 메시지가 신경 네트워크 업데이트를 제공함을 나타낸다.
하나의 예에서, 디바이스는, 신경 네트워크 포스트-필터 특성 메시지를 시그널링하도록, 신경 네트워크 포스트-필터 특성 메시지 중에서, 포스트-프로세싱 필터를 식별하는 데 사용되는 식별 번호를 갖는 제1 신택스 요소를 시그널링하도록, 신경 네트워크 포스트-필터 특성 메시지 중에서, 식별 번호와 연관된 포스트-프로세싱 필터가 특정된 태그 URI 및 신경 네트워크 정보 URI에 의해 식별된 신경 네트워크임을 특정하는 값을 갖는 제2 신택스 요소를 시그널링하도록, 그리고 신경 네트워크 포스트-필터 특성 메시지 중에서, 필터 목적, 입력 포맷화, 출력 포맷화, 및 복잡도에 관련된 신택스 요소들이 신경 네트워크 포스트-필터 특성 메시지에 존재하지 않음을 특정하는 값을 갖는 제3 신택스 요소를 시그널링하도록 구성된 하나 이상의 프로세서들을 포함하며, 여기서 제2 신택스 요소의 값 및 제3 신택스 요소의 값은 신경 네트워크 포스트-필터 특성 메시지가 신경 네트워크 업데이트를 제공함을 나타낸다.
하나의 예에서, 비일시적 컴퓨터 판독가능 저장 매체는 그에 저장된 명령들을 포함하고, 명령어들은, 실행될 때, 디바이스의 하나 이상의 프로세서들로 하여금, 신경 네트워크 포스트-필터 특성 메시지를 시그널링하게 하고, 신경 네트워크 포스트-필터 특성 메시지 중에서, 포스트-프로세싱 필터를 식별하는 데 사용되는 식별 번호를 갖는 제1 신택스 요소를 시그널링하게 하고, 신경 네트워크 포스트-필터 특성 메시지 중에서, 식별 번호와 연관된 포스트-프로세싱 필터가 특정된 태그 URI 및 신경 네트워크 정보 URI에 의해 식별된 신경 네트워크임을 특정하는 값을 갖는 제2 신택스 요소를 시그널링하게 하고, 신경 네트워크 포스트-필터 특성 메시지 중에서, 필터 목적, 입력 포맷화, 출력 포맷화, 및 복잡도에 관련된 신택스 요소들이 신경 네트워크 포스트-필터 특성 메시지에 존재하지 않음을 특정하는 값을 갖는 제3 신택스 요소를 시그널링하게 하며, 여기서 제2 신택스 요소의 값 및 제3 신택스 요소의 값은 신경 네트워크 포스트-필터 특성 메시지가 신경 네트워크 업데이트를 제공함을 나타낸다.
하나의 예에서, 장치는, 신경 네트워크 포스트-필터 특성 메시지를 시그널링하기 위한 수단, 신경 네트워크 포스트-필터 특성 메시지 중에서, 포스트-프로세싱 필터를 식별하는 데 사용되는 식별 번호를 갖는 제1 신택스 요소를 시그널링하기 위한 수단, 신경 네트워크 포스트-필터 특성 메시지 중에서, 식별 번호와 연관된 포스트-프로세싱 필터가 특정된 태그 URI 및 신경 네트워크 정보 URI에 의해 식별된 신경 네트워크임을 특정하는 값을 갖는 제2 신택스 요소를 시그널링하기 위한 수단, 및 신경 네트워크 포스트-필터 특성 메시지 중에서, 필터 목적, 입력 포맷화, 출력 포맷화, 및 복잡도에 관련된 신택스 요소들이 신경 네트워크 포스트-필터 특성 메시지에 존재하지 않음을 특정하는 값을 갖는 제3 신택스 요소를 시그널링하기 위한 수단을 포함하며, 여기서 제2 신택스 요소의 값 및 제3 신택스 요소의 값은 신경 네트워크 포스트-필터 특성 메시지가 신경 네트워크 업데이트를 제공함을 나타낸다.
하나의 예에서, 비디오 데이터를 디코딩하는 방법은, 신경 네트워크 포스트-필터 특성 메시지를 수신하는 단계, 신경 네트워크 포스트-필터 특성 메시지로부터, 포스트-프로세싱 필터를 식별하는 데 사용되는 식별 번호를 갖는 제1 신택스 요소를 파싱하는 단계, 신경 네트워크 포스트-필터 특성 메시지로부터, 식별 번호와 연관된 포스트-프로세싱 필터가 특정된 태그 URI 및 신경 네트워크 정보 URI에 의해 식별된 신경 네트워크임을 특정하는 값을 갖는 제2 신택스 요소를 파싱하는 단계, 신경 네트워크 포스트-필터 특성 메시지로부터, 필터 목적, 입력 포맷화, 출력 포맷화, 및 복잡도에 관련된 신택스 요소들이 신경 네트워크 포스트-필터 특성 메시지에 존재하지 않음을 특정하는 값을 갖는 제3 신택스 요소를 파싱하는 단계, 및 제2 신택스 요소의 값 및 제3 신택스 요소의 값에 기초하여, 신경 네트워크 포스트-필터 특성 메시지가 신경 네트워크 업데이트를 제공한다고 결정하는 단계를 포함한다.
하나의 예에서, 디바이스는, 신경 네트워크 포스트-필터 특성 메시지를 수신하도록, 신경 네트워크 포스트-필터 특성 메시지로부터, 포스트-프로세싱 필터를 식별하는 데 사용되는 식별 번호를 갖는 제1 신택스 요소를 파싱하도록, 신경 네트워크 포스트-필터 특성 메시지로부터, 식별 번호와 연관된 포스트-프로세싱 필터가 특정된 태그 URI 및 신경 네트워크 정보 URI에 의해 식별된 신경 네트워크임을 특정하는 값을 갖는 제2 신택스 요소를 파싱하도록, 신경 네트워크 포스트-필터 특성 메시지로부터, 필터 목적, 입력 포맷화, 출력 포맷화, 및 복잡도에 관련된 신택스 요소들이 신경 네트워크 포스트-필터 특성 메시지에 존재하지 않음을 특정하는 값을 갖는 제3 신택스 요소를 파싱하도록, 그리고 제2 신택스 요소의 값 및 제3 신택스 요소의 값에 기초하여, 신경 네트워크 포스트-필터 특성 메시지가 신경 네트워크 업데이트를 제공한다고 결정하도록 구성된 하나 이상의 프로세서들을 포함한다.
하나의 예에서, 비일시적 컴퓨터 판독가능 저장 매체는 그에 저장된 명령들을 포함하고, 명령어들은, 실행될 때, 디바이스의 하나 이상의 프로세서들로 하여금, 신경 네트워크 포스트-필터 특성 메시지를 수신하게 하고, 신경 네트워크 포스트-필터 특성 메시지로부터, 포스트-프로세싱 필터를 식별하는 데 사용되는 식별 번호를 갖는 제1 신택스 요소를 파싱하게 하고, 신경 네트워크 포스트-필터 특성 메시지로부터, 식별 번호와 연관된 포스트-프로세싱 필터가 특정된 태그 URI 및 신경 네트워크 정보 URI에 의해 식별된 신경 네트워크임을 특정하는 값을 갖는 제2 신택스 요소를 파싱하게 하고, 신경 네트워크 포스트-필터 특성 메시지로부터, 필터 목적, 입력 포맷화, 출력 포맷화, 및 복잡도에 관련된 신택스 요소들이 신경 네트워크 포스트-필터 특성 메시지에 존재하지 않음을 특정하는 값을 갖는 제3 신택스 요소를 파싱하게 하고, 제2 신택스 요소의 값 및 제3 신택스 요소의 값에 기초하여, 신경 네트워크 포스트-필터 특성 메시지가 신경 네트워크 업데이트를 제공한다고 결정하게 한다.
하나의 예에서, 장치는, 신경 네트워크 포스트-필터 특성 메시지를 수신하기 위한 수단, 신경 네트워크 포스트-필터 특성 메시지로부터, 포스트-프로세싱 필터를 식별하는 데 사용되는 식별 번호를 갖는 제1 신택스 요소를 파싱하기 위한 수단, 신경 네트워크 포스트-필터 특성 메시지로부터, 식별 번호와 연관된 포스트-프로세싱 필터가 특정된 태그 URI 및 신경 네트워크 정보 URI에 의해 식별된 신경 네트워크임을 특정하는 값을 갖는 제2 신택스 요소를 파싱하기 위한 수단, 신경 네트워크 포스트-필터 특성 메시지로부터, 필터 목적, 입력 포맷화, 출력 포맷화, 및 복잡도에 관련된 신택스 요소들이 신경 네트워크 포스트-필터 특성 메시지에 존재하지 않음을 특정하는 값을 갖는 제3 신택스 요소를 파싱하기 위한 수단, 및 제2 신택스 요소의 값 및 제3 신택스 요소의 값에 기초하여 신경 네트워크 포스트-필터 특성 메시지가 신경 네트워크 업데이트를 제공한다고 결정하기 위한 수단을 포함한다.
하나 이상의 예의 세부사항들이 첨부 도면들 및 다음의 설명에 기재된다. 다른 특징들, 목적들 및 이점들이 설명 및 도면들로부터 그리고 청구범위로부터 명백해질 것이다.
도 1은 본 개시내용의 하나 이상의 기법들에 따른, 비디오 데이터를 인코딩 및 디코딩하도록 구성될 수 있는 시스템의 일례를 예시하는 블록도이다.
도 2는 본 개시내용의 하나 이상의 기법들에 따른, 코딩된 비디오 데이터 및 대응하는 데이터 구조들을 예시하는 개념도이다.
도 3은 본 개시내용의 하나 이상의 기법들에 따른, 코딩된 비디오 데이터 및 대응하는 메타데이터를 캡슐화하는 데이터 구조를 예시하는 개념도이다.
도 4는 본 개시내용의 하나 이상의 기법들에 따른, 비디오 데이터를 인코딩 및 디코딩하도록 구성될 수 있는 시스템의 일 구현예에 포함될 수 있는 컴포넌트들의 일례를 예시하는 개념도이다.
도 5는 본 개시내용의 하나 이상의 기법들에 따른, 비디오 데이터를 인코딩하도록 구성될 수 있는 비디오 인코더의 일례를 예시하는 블록도이다.
도 6은 본 개시내용의 하나 이상의 기법들에 따른, 비디오 데이터를 디코딩하도록 구성될 수 있는 비디오 디코더의 일례를 예시하는 블록도이다.
도 7은 본 개시내용의 하나 이상의 기법들에 따른, 루마 성분의 패킹된 데이터 채널들의 일례를 예시하는 개념도이다.
도 2는 본 개시내용의 하나 이상의 기법들에 따른, 코딩된 비디오 데이터 및 대응하는 데이터 구조들을 예시하는 개념도이다.
도 3은 본 개시내용의 하나 이상의 기법들에 따른, 코딩된 비디오 데이터 및 대응하는 메타데이터를 캡슐화하는 데이터 구조를 예시하는 개념도이다.
도 4는 본 개시내용의 하나 이상의 기법들에 따른, 비디오 데이터를 인코딩 및 디코딩하도록 구성될 수 있는 시스템의 일 구현예에 포함될 수 있는 컴포넌트들의 일례를 예시하는 개념도이다.
도 5는 본 개시내용의 하나 이상의 기법들에 따른, 비디오 데이터를 인코딩하도록 구성될 수 있는 비디오 인코더의 일례를 예시하는 블록도이다.
도 6은 본 개시내용의 하나 이상의 기법들에 따른, 비디오 데이터를 디코딩하도록 구성될 수 있는 비디오 디코더의 일례를 예시하는 블록도이다.
도 7은 본 개시내용의 하나 이상의 기법들에 따른, 루마 성분의 패킹된 데이터 채널들의 일례를 예시하는 개념도이다.
비디오 콘텐츠는 일련의 프레임들(또는 픽처들)로 구성된 비디오 시퀀스들을 포함한다. 일련의 프레임들은 또한 GOP(group of pictures)로 지칭될 수 있다. 각각의 비디오 프레임 또는 픽처는 하나 이상의 영역들로 나뉠 수 있다. 영역들은 기본 유닛(예컨대, 비디오 블록), 및 영역을 정의하는 규칙들의 세트들에 따라 정의될 수 있다. 예를 들어, 영역을 정의하는 규칙은 일정 영역이 직사각형으로 배열된 정수 개의 비디오 블록들이어야 한다는 것일 수 있다. 또한, 일정 영역 내의 비디오 블록들은 스캔 패턴(예컨대, 래스터 스캔)에 따라 정리될 수 있다. 본 명세서에서 사용되는 바와 같이, 용어 "비디오 블록"은 일반적으로 픽처의 영역을 지칭할 수 있거나, 또는 더 구체적으로, 예측적으로 코딩될 수 있는 샘플 값들의 최대 어레이, 그의 서브분할부(sub-division)들, 및/또는 대응하는 구조들을 지칭할 수 있다. 또한, 용어 "현재 비디오 블록"은 인코딩 또는 디코딩되고 있는 픽처의 영역을 지칭할 수 있다. 비디오 블록은 샘플 값들의 어레이로서 정의될 수 있다. 일부 경우에, 픽셀 값들은, 컬러 성분들(예컨대, 루마(Y) 및 크로마(Cb, Cr) 성분들 또는 적색, 녹색, 및 청색 성분들)로도 지칭될 수 있는, 비디오 데이터의 각각의 성분들에 대한 샘플 값들을 포함하는 것으로서 설명될 수 있다는 점에 유의해야 한다. 일부 경우에, 용어들 "픽셀 값" 및 "샘플 값"은 상호교환가능하게 사용된다는 점에 유의해야 한다. 또는, 일부 경우들에 있어서, 픽셀 또는 샘플은 펠(pel)로 지칭될 수 있다. 크로마 포맷으로도 지칭될 수 있는 비디오 샘플링 포맷은 비디오 블록에 포함된 루마 샘플들의 수와 관련하여 비디오 블록에 포함된 크로마 샘플들의 수를 정의할 수 있다. 예를 들어, 4:2:0 샘플링 포맷의 경우, 루마 성분에 대한 샘플링 레이트는 수평 방향 및 수직 방향 양측 모두에 대해 크로마 성분들의 샘플링 레이트의 2배이다.
비디오 인코더는 비디오 블록들 및 그의 서브분할부들에 대해 예측 인코딩을 수행할 수 있다. 비디오 블록들 및 그의 서브분할부들은 노드들로 지칭될 수 있다. ITU-T H.264는 16x16개의 루마 샘플들을 포함하는 매크로블록을 명시한다. 즉, ITU-T H.264에서, 픽처는 매크로블록들로 세그먼트화된다. ITU-T H.265는 유사한 코딩 트리 유닛(Coding Tree Unit, CTU) 구조(이는 최대 코딩 유닛(largest coding unit, LCU)으로 지칭될 수 있음)를 명시한다. ITU-T H.265에서, 픽처들은 CTU들로 세그먼트화된다. ITU-T H.265에서, 픽처에 대해, CTU 크기는 16x16, 32x32, 또는 64x64개의 루마 샘플들을 포함하는 것으로 설정될 수 있다. ITU-T H.265에서, CTU는 비디오 데이터의 각각의 성분(예컨대, 루마(Y) 및 크로마(Cb, Cr))에 대한 각각의 코딩 트리 블록(Coding Tree Block, CTB)들로 구성된다. 하나의 루마 성분 및 2개의 대응하는 크로마 성분들을 갖는 비디오가 2개의 채널들, 즉 루마 채널 및 채도 채널을 갖는 것으로 기술될 수 있다는 점에 유의해야 한다. 또한, ITU-T H.265에서, CTU는 쿼드트리(QT) 분할 구조에 따라 분할될 수 있고, 이는 CTU의 CTB들이 코딩 블록(CB)들로 분할되는 결과를 야기한다. 즉, ITU-T H.265에서, CTU는 쿼드트리 리프 노드(quadtree leaf node)들로 분할될 수 있다. ITU-T H.265에 따르면, 2개의 대응하는 크로마 CB들 및 연관된 신택스 요소들과 함께, 하나의 루마 CB는 코딩 유닛(coding unit, CU)으로 지칭된다. ITU-T H.265에서, CB의 최소 허용 크기가 시그널링될 수 있다. ITU-T H.265에서, 루마 CB의 가장 작은 최소 허용 크기는 8x8개의 루마 샘플들이다. ITU-T H.265에서, 인트라 예측 또는 인터 예측을 사용하여 픽처 영역을 코딩하는 결정이 CU 레벨에서 이루어진다.
ITU-T H.265에서, CU는 CU에 루트(root)를 갖는 예측 유닛 구조와 연관된다. ITU-T H.265에서, 예측 유닛 구조들은 루마 및 크로마 CB들이 대응하는 기준 샘플들을 생성할 목적으로 분할되게 한다. 즉, ITU-T H.265에서, 루마 및 크로마 CB들은 각자의 루마 및 크로마 예측 블록(PB)들로 분할될 수 있으며, 여기서 PB는 동일한 예측이 적용되는 샘플 값들의 블록을 포함한다. ITU-T H.265에서, CB는 1개, 2개 또는 4개의 PB들로 분할될 수 있다. ITU-T H.265는 64x64개의 샘플들로부터 4x4개의 샘플들에 이르기까지의 PB 크기들을 지원한다. ITU-T H.265에서, 정사각형 PB들은 인트라 예측을 위해 지원되며, 여기서 CB는 PB를 형성할 수 있거나 또는 CB는 4개의 정사각형 PB들로 분할될 수 있다. ITU-T H.265에서, 정사각형 PB들에 더하여, 직사각형 PB들이 인터 예측을 위해 지원되며, 여기서 CB는 수직으로 또는 수평으로 반분되어 PB들을 형성할 수 있다. 또한, ITU-T H.265에서, 인터 예측을 위해, 4개의 비대칭 PB 분할부들이 지원되며, 여기서 CB는 CB의 (상단 또는 하단에서의) 높이 또는 (좌측 또는 우측에서의) 폭의 1/4에서 2개의 PB들로 분할된다는 점에 유의해야 한다. PB에 대응하는 인트라 예측 데이터(예컨대, 인트라 예측 모드 신택스 요소들) 또는 인터 예측 데이터(예컨대, 모션 데이터 신택스 요소들)가 PB에 대한 기준 및/또는 예측된 샘플 값들을 생성하는 데 사용된다.
JEM은 최대 크기가 256x256개의 루마 샘플들인 CTU를 명시한다. JEM은 쿼드트리 플러스 이진 트리(quadtree plus binary tree, QTBT) 블록 구조를 명시한다. JEM에서, QTBT 구조는 쿼드트리 리프 노드들이 이진 트리(BT) 구조에 의해 추가로 분할되는 것을 가능하게 한다. 즉, JEM에서, 이진 트리 구조는 쿼드트리 리프 노드들이 수직으로 또는 수평으로 재귀적으로 나뉘는 것을 가능하게 한다. JVET-T2001에서, CTU들은 쿼드트리 플러스 쿼드트리 플러스 멀티 유형 트리(QTMT 또는 QT+MTT) 구조에 따라 분할된다. JVET-T2001에서의 QTMT는 JEM에서의 QTBT와 유사하다. 그러나, JVET-T2001에서, 이진 분할들을 나타내는 것 이외에, 멀티 유형 트리는 소위 삼진(ternary)(또는 삼중 트리(triple tree, TT)) 분할들을 나타낼 수 있다. 삼진 분할은 블록을 수직으로 또는 수평으로 3개의 블록들로 나눈다. 수직 TT 분할의 경우에, 블록은 좌측 에지로부터 그의 폭의 1/4에서 그리고 우측 에지로부터 그의 폭의 1/4에서 나뉘고, 수평 TT 분할의 경우에, 블록은 상단 에지로부터 그의 높이의 1/4에서 그리고 하단 에지로부터 그의 높이의 1/4에서 나뉜다.
전술된 바와 같이, 각각의 비디오 프레임 또는 픽처는 하나 이상의 영역들로 나뉠 수 있다. 예를 들어, ITU-T H.265에 따르면, 각각의 비디오 프레임 또는 픽처는 하나 이상의 슬라이스들을 포함하도록 분할될 수 있고, 하나 이상의 타일(tile)들을 포함하도록 추가로 분할될 수 있는데, 여기서 각각의 슬라이스는 (예컨대, 래스터 스캔 순서의) CTU들의 시퀀스를 포함하고, 타일은 픽처의 직사각형 영역에 대응하는 CTU들의 시퀀스이다. ITU-T H.265에서, 슬라이스는 독립적인 슬라이스 세그먼트로 시작하여 다음의 독립적인 슬라이스 세그먼트(존재한다면)를 선행하는 모든 후속하는 종속적인 슬라이스 세그먼트들(존재한다면)을 포함하는 하나 이상의 슬라이스 세그먼트들의 시퀀스라는 점에 유의해야 한다. 슬라이스와 같이 슬라이스 세그먼트는 CTU들의 시퀀스이다. 따라서, 일부 경우에, 용어들 "슬라이스" 및 "슬라이스 세그먼트"는 래스터 스캔 순서로 배열된 CTU들의 시퀀스를 나타내기 위해 상호교환가능하게 사용될 수 있다. 추가로, ITU-T H.265에서, 타일은 하나 초과의 슬라이스 내에 포함된 CTU들로 이루어질 수 있고, 슬라이스는 하나 초과의 타일 내에 포함된 CTU들로 이루어질 수 있다는 점에 유의해야 한다. 그러나, ITU-T H.265는 하기 조건들 중 하나 또는 둘 모두가 충족되어야 한다는 것을 규정한다: (1) 슬라이스 내의 모든 CTU들은 동일한 타일에 속한다는 조건; 및 (2) 타일 내의 모든 CTU들은 동일한 슬라이스에 속한다는 조건.
JVET-T2001과 관련하여, 슬라이스들은 정수 개의 CTU들만으로 이루어지도록 요구되는 대신, 타일 내에 정수 개의 완전 타일들 또는 정수 개의 연속적인 완전 CTU 행들로 이루어지도록 요구된다. JVET-T2001에서, 슬라이스 설계는 슬라이스 세그먼트들을 포함하지 않는다(즉, 독립적/종속적 슬라이스 세그먼트들이 없다)는 점에 유의해야 한다. 따라서, JVET-T2001에서, 픽처는 단일 타일을 포함할 수 있으며, 여기서 단일 타일은 단일 슬라이스 내에 포함되거나 또는 픽처는 다수의 타일들을 포함할 수 있으며, 여기서 다수의 타일들(또는 그의 CTU 행들)은 하나 이상의 슬라이스들 내에 포함될 수 있다. JVET-T2001에서, 타일들로의 픽처의 분할은 타일 행들에 대한 각자의 높이들 및 타일 열들에 대한 각자의 폭들을 특정함으로써 명시된다. 따라서, JVET-T2001에서, 타일은 특정 타일 행 및 특정 타일 컬럼 포지션 내의 CTU들의 직사각형 영역이다. 또한, JVET-T2001은 픽처가 서브픽처들 - 여기서 서브픽처는 픽처 내의 CTU들의 직사각형 영역임 - 로 분할될 수 있는 경우를 규정한다는 점에 유의해야 한다. 서브픽처의 상단-좌측 CTU는 하나 이상의 슬라이스들을 포함하도록 제한되는 서브픽처들을 갖는 픽처 내의 임의의 CTU 포지션에 위치될 수 있다. 따라서, 타일과는 달리, 서브픽처는 반드시 특정 행 및 열 포지션으로 제한되지는 않는다. 서브픽처들은 픽처 내의 관심 영역들을 캡슐화하는 데 유용할 수 있고, 서브-비트스트림 추출 프로세스는 특정 관심 영역만을 디코딩 및 디스플레이하는 데 사용될 수 있다는 점에 유의해야 한다. 즉, 더 상세히 후술되는 바와 같이, 코딩된 비디오 데이터의 비트스트림은 네트워크 추상화 계층(network abstraction layer, NAL) 유닛들의 시퀀스를 포함하며, 여기서 NAL 유닛은 코딩된 비디오 데이터(즉, 픽처의 슬라이스에 대응하는 비디오 데이터)를 캡슐화하거나 또는 NAL 유닛은 비디오 데이터를 디코딩하는 데 사용되는 메타데이터(예컨대, 파라미터 세트)를 캡슐화하고, 서브-비트스트림 추출 프로세스는 비트스트림으로부터 하나 이상의 NAL 유닛들을 제거함으로써 새로운 비트스트림을 형성한다.
도 2는 타일들, 슬라이스들, 및 서브픽처들에 따라 분할된 픽처들의 그룹 내의 픽처의 일례를 예시하는 개념도이다. 본 명세서에 기술된 기법들은 타일들, 슬라이스들, 서브픽처들, 이들의 서브분할부들 및/또는 이들에 대한 동등한 구조들에 적용가능할 수 있다는 점에 유의해야 한다. 즉, 본 명세서에 기술된 기법들은 대체적으로, 픽처가 영역들로 어떻게 분할되는지에 관계없이 적용가능할 수 있다. 예를 들어, 일부 경우들에 있어서, 본 명세서에 기술된 기법들은, 타일이 소위 브릭(brick)들로 분할될 수 있는 경우들에 적용가능할 수 있으며, 여기서 브릭은 특정 타일 내의 CTU 행들의 직사각형 영역이다. 또한, 예를 들어, 일부 경우들에 있어서, 본 명세서에 기술된 기법들은 하나 이상의 타일들이 소위 타일 그룹들에 포함될 수 있는 경우들에 적용가능할 수 있으며, 여기서 타일 그룹은 정수 개의 인접 타일들을 포함한다. 도 2에 도시된 예에서, Pic3은 16개의 타일들(즉, Tile0 내지 Tile15) 및 3개의 슬라이스들(즉, Slice0 내지 Slice2)을 포함하는 것으로 예시되어 있다. 도 2에 도시된 예에서, Slice0은 4개의 타일들(즉, Tile0 내지 Tile3)을 포함하고, Slice1은 8개의 타일들(즉, Tile4 내지 Tile11)을 포함하고, Slice2는 4개의 타일들(즉, Tile12 내지 Tile15)을 포함한다. 또한, 도 2의 예에 도시된 바와 같이, Pic3은 2개의 서브픽처들(즉, Subpicture0 및 Subpicture1)을 포함하는 것으로 예시되어 있으며, 여기서 Subpicture0은 Slice0 및 Slice1을 포함하고, Subpicture1은 Slice2를 포함한다. 전술된 바와 같이, 서브픽처들은 픽처 내의 관심 영역들을 캡슐화하는 데 유용할 수 있고, 서브-비트스트림 추출 프로세스는 관심 영역을 선택적으로 디코딩(및 디스플레이)하기 위해 사용될 수 있다. 예를 들어, 도 2를 참조하면, Subpicture0은 스포츠 이벤트 프레젠테이션(예컨대, 필드의 뷰)의 액션 부분에 대응할 수 있고, Subpicture1은 스포츠 이벤트 프레젠테이션 동안 디스플레이된 스크롤링 배너에 대응할 수 있다. 이러한 방식으로 픽처를 서브픽처들로 조직화함으로써, 뷰어는 스크롤링 배너의 디스플레이를 디스에이블시킬 수 있다. 즉, 서브-비트스트림 추출 프로세스를 통해, Slice2 NAL 유닛은 비트스트림으로부터 제거될 수 있고(따라서 디코딩 및/또는 디스플레이되지 않을 수 있음), Slice0 NAL 유닛 및 Slice1 NAL 유닛은 디코딩 및 디스플레이될 수 있다. 각자의 NAL 유닛 데이터 구조들로의 픽처의 슬라이스들의 캡슐화 및 서브-비트스트림 추출이 더 상세히 후술된다.
인트라 예측 코딩의 경우, 인트라 예측 모드는 픽처 내의 기준 샘플들의 위치를 특정할 수 있다. ITU-T H.265에서, 정의된 가능한 인트라 예측 모드들은 평면(즉, 표면 피팅) 예측 모드, DC(즉, 편평한 전체 평균) 예측 모드, 및 33개의 각도 예측 모드들(predMode: 2 내지 34)을 포함한다. JEM에서, 정의된 가능한 인트라 예측 모드들은 평면 예측 모드, DC 예측 모드, 및 65개의 각도 예측 모드들을 포함한다. 평면 및 DC 예측 모드들이 비-방향성 예측 모드들로 지칭될 수 있고 각도 예측 모드들이 방향성 예측 모드들로 지칭될 수 있다는 점에 유의해야 한다. 본 명세서에서 기술되는 기법들은 정의된 가능한 예측 모드들의 수와는 무관하게 일반적으로 적용가능할 수 있다는 점에 유의해야 한다.
인터 예측 코딩의 경우, 기준 픽처가 결정되고, 모션 벡터(motion vector, MV)가 현재 비디오 블록에 대한 예측을 생성하는 데 사용되는 기준 픽처 내의 샘플들을 식별한다. 예를 들어, 현재 비디오 블록은 하나 이상의 이전에 코딩된 픽처(들)에 위치된 기준 샘플 값들을 사용하여 예측될 수 있고, 모션 벡터는 현재 비디오 블록에 대한 기준 블록의 위치를 나타내는 데 사용된다. 모션 벡터는, 예를 들어, 모션 벡터의 수평 변위 성분(즉, MVx), 모션 벡터의 수직 변위 성분(즉, MVy), 및 모션 벡터에 대한 해상도(예컨대, 1/4 픽셀 정밀도, 1/2 픽셀 정밀도, 1 픽셀 정밀도, 2 픽셀 정밀도, 4 픽셀 정밀도)를 나타낼 수 있다. 현재 픽처 전에 또는 후에 출력된 픽처들을 포함할 수 있는 이전에 디코딩된 픽처들은 기준 픽처 리스트들 중 하나 이상으로 조직화될 수 있고, 기준 픽처 인덱스 값을 사용하여 식별될 수 있다. 추가로, 인터 예측 코딩에서, 단방향 예측은 단일 기준 픽처로부터의 샘플 값들을 사용하여 예측을 생성하는 것을 지칭하고, 양방향 예측은 2개의 기준 픽처들로부터의 각각의 샘플 값들을 사용하여 예측을 생성하는 것을 지칭한다. 즉, 단방향 예측에서는, 단일 기준 픽처 및 대응하는 모션 벡터가 현재 비디오 블록에 대한 예측을 생성하는 데 사용되고, 양방향 예측에서는, 제1 기준 픽처 및 대응하는 제1 모션 벡터 그리고 제2 기준 픽처 및 대응하는 제2 모션 벡터가 현재 비디오 블록에 대한 예측을 생성하는 데 사용된다. 양방향 예측에서, 각각의 샘플 값들은 예측을 생성하기 위해 조합된다(예컨대, 가산되고, 반올림되고, 클립핑되거나, 또는 가중치들에 따라 평균화됨). 픽처들 및 그 영역들은 그 비디오 블록들을 인코딩하기 위해 어느 타입들의 예측 모드들이 활용될 수 있는지에 기초하여 분류될 수 있다. 즉, B 타입을 갖는 영역들(예컨대, B 슬라이스)의 경우, 양방향 예측, 단방향 예측, 및 인트라 예측 모드들이 활용될 수 있고, P 타입을 갖는 영역들(예컨대, P 슬라이스)의 경우, 단방향 예측 및 인트라 예측 모드들이 활용될 수 있고, I 타입을 갖는 영역들(예컨대, I 슬라이스)의 경우, 인트라 예측 모드들만이 활용될 수 있다. 전술된 바와 같이, 기준 픽처들은 기준 인덱스들을 통해 식별된다. 예를 들어, P 슬라이스의 경우, 단일 기준 픽처 리스트 RefPicList0이 있을 수 있고, B 슬라이스의 경우, RefPicList0에 더하여, 제2의 독립적인 기준 픽처 리스트 RefPicList1이 있을 수 있다. B 슬라이스에서의 단방향 예측의 경우, RefPicList0 또는 RefPicList1 중 하나가 예측을 생성하는 데 사용될 수 있다는 점에 유의해야 한다. 또한, 디코딩 프로세스 동안, 픽처를 디코딩하기 시작할 시에, 기준 픽처 리스트(들)는 디코딩된 픽처 버퍼(decoded picture buffer, DPB)에 저장된 이전에 디코딩된 픽처들로부터 생성된다는 점에 유의해야 한다.
추가로, 코딩 표준은 다양한 모드들의 모션 벡터 예측을 지원할 수 있다. 모션 벡터 예측은 현재 비디오 블록에 대한 모션 벡터의 값이 다른 모션 벡터에 기초하여 도출되는 것을 가능하게 한다. 예를 들어, 연관된 모션 정보를 갖는 후보 블록들의 세트는 현재 비디오 블록에 대한 공간적 이웃 블록들 및 시간적 이웃 블록들로부터 도출될 수 있다. 추가로, 생성된 (또는 디폴트) 모션 정보는 모션 벡터 예측에 사용될 수 있다. 모션 벡터 예측의 예들은 AMVP(advanced motion vector prediction), TMVP(temporal motion vector prediction), 소위 "병합(merge)" 모드, 및 "스킵(skip)" 및 "직접" 모션 추론을 포함한다. 추가로, 모션 벡터 예측의 다른 예들은 ATMVP(advanced temporal motion vector prediction) 및 STMVP(Spatial-temporal motion vector prediction)를 포함한다. 모션 벡터 예측을 위해, 비디오 인코더 및 비디오 디코더 둘 모두는 동일한 프로세스를 수행하여 후보들의 세트를 도출한다. 따라서, 현재 비디오 블록에 대해, 인코딩 및 디코딩 동안 후보들의 동일한 세트가 생성된다.
전술된 바와 같이, 인터 예측 코딩을 위해, 이전에 코딩된 픽처 내의 기준 샘플들은 현재 픽처 내의 비디오 블록들을 코딩하는 데 사용된다. 현재 픽처를 코딩할 때 참조로서 사용하기 위해 이용가능한 이전에 코딩된 픽처들은 기준 픽처들로 지칭된다. 디코딩 순서는 픽처 출력 순서, 즉 비디오 시퀀스에서의 픽처들의 시간적 순서에 반드시 대응하지는 않는다는 점에 유의해야 한다. ITU-T H.265에서, 픽처가 디코딩될 때, 그것은 디코딩된 픽처 버퍼(DPB)(이는 프레임 버퍼, 기준 버퍼, 기준 픽처 버퍼 등으로 지칭될 수 있음)에 저장된다. ITU-T H.265에서, DPB에 저장된 픽처들은 이들이 출력될 때 DPB로부터 제거되고, 후속 픽처들을 코딩하는 데에는 더 이상 필요하지 않다. ITU-T H.265에서, 픽처들이 DPB로부터 제거되어야 하는지의 여부의 결정은, 슬라이스 헤더를 디코딩한 후, 즉 픽처를 디코딩하는 시작 시, 픽처당 1회 적용된다. 예를 들어, 도 2를 참조하면, Pic2는 Pic1을 참조하는 것으로 예시되어 있다. 유사하게, Pic3은 Pic0을 참조하는 것으로 예시되어 있다. 도 2와 관련하여, 픽처 번호가 디코딩 순서에 대응한다고 가정하면, DPB는 하기와 같이 채워질 것이다: Pic0을 디코딩한 후, DPB는 {Pic0}을 포함할 것이고; Pic1을 디코딩하는 시작 시, DPB는 {Pic0}을 포함할 것이고; Pic1을 디코딩한 후, DPB는 {Pic0, Pic1}을 포함할 것이고; Pic2를 디코딩하는 시작 시, DPB는 {Pic0, Pic1}을 포함할 것이다. 이어서, Pic2는 Pic1을 참조하여 디코딩될 것이고, Pic2를 디코딩한 후, DPB는 {Pic0, Pic1, Pic2}를 포함할 것이다. Pic3을 디코딩하는 시작 시, 픽처들 Pic0 및 Pic1은 DPB로부터의 제거를 위해 마킹될 것인데, 이는 그들이 Pic3(또는 임의의 후속 픽처들, 도시되지 않음)을 디코딩하는 데 필요하지 않기 때문이며, Pic1 및 Pic2가 출력되었다고 가정하면, DPB는 {Pic0}을 포함하도록 업데이트될 것이다. 이어서, Pic3은 Pic0을 참조하여 디코딩될 것이다. DPB로부터 제거하기 위한 픽처들을 마킹하는 프로세스는 기준 픽처 세트(reference picture set, RPS) 관리로 지칭될 수 있다.
전술된 바와 같이, 인트라 예측 데이터 또는 인터 예측 데이터는 샘플 값들의 블록에 대한 기준 샘플 값들을 생성하는 데 사용된다. 현재 PU 또는 다른 타입의 픽처 영역 구조에 포함된 샘플 값들과, 연관된 기준 샘플들(예컨대, 예측을 사용하여 생성된 것들) 사이의 차이는 잔차 데이터로 지칭될 수 있다. 잔차 데이터는 비디오 데이터의 각각의 성분에 대응하는 차이 값들의 각각의 어레이들을 포함할 수 있다. 잔차 데이터는 픽셀 도메인 내에 있을 수 있다. 이산 코사인 변환(discrete cosine transform, DCT), 이산 사인 변환(discrete sine transform, DST), 정수 변환(integer transform), 웨이블릿 변환(wavelet transform), 또는 개념적으로 유사한 변환과 같은 변환이 차이 값들의 어레이에 적용되어 변환 계수들을 생성할 수 있다. ITU-T H.265 및 JVET-T2001에서, CU는 CU 레벨에 루트를 갖는 변환 트리 구조와 연관된다는 점에 유의해야 한다. 변환 트리는 하나 이상의 변환 유닛(transform unit, TU)들로 분할된다. 즉, 차이 값들의 어레이는 변환 계수들을 생성할 목적으로 분할될 수 있다(예컨대, 4개의 8x8 변환들이 잔차 값들의 16x16 어레이에 적용될 수 있음). 비디오 데이터의 각각의 성분에 대해, 차이 값들의 그러한 서브분할부들은 변환 블록(Transform Block, TB)들로 지칭될 수 있다. 일부 경우들에 있어서, 변환 계수들을 생성하기 위해 코어 변환 및 후속 2차 변환들이 (비디오 인코더에서) 적용될 수 있다는 점에 유의해야 한다. 비디오 디코더의 경우, 변환 순서가 반전된다.
양자화 프로세스는 (예컨대, 그 경우에 있어서, 팔레트 코딩 양자화의) 변환 계수들 또는 잔류 샘플 값들에 대해 직접 수행될 수 있다. 양자화는 특정된 값들의 세트로 제한된 진폭들만큼 변환 계수들을 근사화한다. 양자화는 변환 계수들의 그룹을 표현하는 데 요구되는 데이터의 양을 변경시키기 위해 변환 계수들을 반드시 스케일링한다. 양자화는 (예컨대, 가장 가까운 정수로 반올림하는) 임의의 연관된 반올림 함수들 및 양자화 스케일링 팩터(factor)에 의한 변환 계수들(또는 변환 계수들에 대한 오프셋 값의 덧셈으로부터 생성된 값들)의 나눗셈을 포함할 수 있다. 양자화된 변환 계수들은 계수 레벨 값들로 지칭될 수 있다. 역양자화(inverse quantization)(또는 "탈양자화")는 양자화 스케일링 팩터에 의한 계수 레벨 값들의 곱셈, 및 임의의 역 반올림(reciprocal rounding) 또는 오프셋 덧셈 연산들을 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, 일부 경우에서의 용어 "양자화 프로세스"는, 일부 경우에, 레벨 값들을 생성하기 위한 스케일링 팩터에 의한 나눗셈 및 변환 계수들을 복구하기 위한 스케일링 팩터에 의한 곱셈을 지칭할 수 있다는 점에 유의해야 한다. 즉, 양자화 프로세스는, 일부 경우에는 양자화를 그리고 일부 경우에는 역양자화를 지칭할 수 있다. 또한, 아래의 예들 중 일부에서, 십진수 표기와 연관된 산술 연산들과 관련하여 양자화 프로세스들이 기술되지만, 그러한 설명들은 예시의 목적을 위한 것이고 제한하는 것으로 해석해서는 안 된다는 점에 유의해야 한다. 예를 들어, 본 명세서에서 기술되는 기법들은 이진 연산들 등을 사용하여 디바이스에서 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 곱셈 및 나눗셈 연산들은 비트 시프트 연산들 등을 사용하여 구현될 수 있다.
양자화된 변환 계수들 및 신택스 요소들(예컨대, 비디오 블록에 대한 코딩 구조를 표시하는 신택스 요소들)은 엔트로피 코딩 기법에 따라 엔트로피 코딩될 수 있다. 엔트로피 코딩 프로세스는 무손실 데이터 압축 알고리즘들을 사용하여 신택스 요소들의 값들을 코딩하는 것을 포함한다. 엔트로피 코딩 기법들의 예들은 콘텐츠 적응적 가변 길이 코딩(content adaptive variable length coding, CAVLC), 콘텍스트 적응적 이진 산술 코딩(context adaptive binary arithmetic coding, CABAC), 확률 간격 분할 엔트로피 코딩(probability interval partitioning entropy coding, PIPE) 등을 포함한다. 엔트로피 인코딩된 양자화된 변환 계수들 및 대응하는 엔트로피 인코딩된 신택스 요소들은 비디오 디코더에서 비디오 데이터를 재생하는 데 사용될 수 있는 컴플라이언트 비트스트림을 형성할 수 있다. 엔트로피 코딩 프로세스, 예를 들어 CABAC는 신택스 요소들에 대해 이진화를 수행하는 것을 포함할 수 있다. 이진화는 신택스 요소의 값을 일련의 하나 이상의 비트들로 변환하는 프로세스를 지칭한다. 이러한 비트들은 "빈(bin)"들로 지칭될 수 있다. 이진화는 하기 코딩 기법들 중 하나 또는 이들의 조합을 포함할 수 있다: 고정 길이 코딩(fixed length coding), 일진 코딩(unary coding), 트런케이트형 일진 코딩(truncated unary coding), 트런케이트형 라이스 코딩(truncated Rice coding), 골룸 코딩(Golomb coding), k-차 지수 골룸 코딩(k-th order exponential Golomb coding), 및 골룸-라이스 코딩(Golomb-Rice coding). 예를 들어, 이진화는, 8 비트 고정 길이 이진화 기법을 이용하여 신택스 요소에 대한 5의 정수 값을 00000101로서 표현하는 것 또는 일진 코딩 이진화 기법을 이용하여 5의 정수 값을 11110으로서 표현하는 것을 포함할 수 있다. 본 명세서에 사용되는 바와 같이, 용어들 "고정 길이 코딩", "일진 코딩", "트런케이트형 일진 코딩", "트런케이트형 라이스 코딩", "골룸 코딩", "k-차 지수 골룸 코딩", 및 "골룸-라이스 코딩" 각각은 이러한 코딩 기법의 일반적인 구현 및/또는 이러한 코딩 기법의 더 구체적인 구현을 지칭할 수 있다. 예를 들어, Golomb-Rice 코딩 구현은 비디오 코딩 표준에 따라 구체적으로 정의될 수 있다. CABAC의 예에서, 특정 빈에 대해, 콘텍스트는 빈에 대한 최고 가능성 상태(most probable state, MPS) 값(즉, 빈에 대한 MPS는 0 또는 1 중 하나임) 및 빈이 MPS 또는 최소 가능성 상태(least probably state, LPS)일 확률 값을 제공한다. 예를 들어, 콘텍스트는, 빈의 MPS가 0이고 빈이 1일 확률이 0.3임을 나타낼 수 있다. 현재 신택스 요소 및 이전에 코딩된 신택스 요소들에서의 빈들을 포함하는 이전에 코딩된 빈들의 값들에 기초하여 콘텍스트가 결정될 수 있다는 점에 유의해야 한다. 예를 들어, 이웃 비디오 블록들과 연관된 신택스 요소들의 값들은 현재 빈에 대한 콘텍스트를 결정하는 데 사용될 수 있다.
전술된 바와 같이, 재구성된 블록의 샘플 값들은 인코딩되는 현재 비디오 블록의 샘플 값들과는 상이할 수 있다. 또한, 일부 경우들에 있어서, 블록 단위로 비디오 데이터를 코딩하는 것은 아티팩트들(예컨대, 소위 차단 아티팩트들, 밴딩 아티팩트들 등)을 초래할 수 있다는 점에 유의해야 한다. 예를 들어, 차단 아티팩트들은 재구성된 비디오 데이터의 코딩 블록 경계들이 사용자에게 시각적으로 인지가능하게 할 수 있다. 이러한 방식으로, 재구성된 샘플 값들은, 인코딩되는 현재 비디오 블록의 샘플 값들과 재구성된 블록 사이의 차이를 최소화하고/하거나 비디오 코딩 프로세스에 의해 도입된 아티팩트들을 최소화하도록 수정될 수 있다. 그러한 수정들은 대체적으로 필터링으로 지칭될 수 있다. 필터링은 인-루프 필터링 프로세스 또는 포스트-루프(또는 포스트-필터링) 필터링 프로세스의 일부로서 발생할 수 있다는 점에 유의해야 한다. 인-루프 필터링 프로세스를 위해, 필터링 프로세스의 생성된 샘플 값들은 예측 비디오 블록들(예컨대, 비디오 인코더에서의 후속 인코딩 및 비디오 디코더에서의 후속 디코딩을 위해 기준 프레임 버퍼에 저장됨)에 사용될 수 있다. 포스트-루프 필터링 프로세스를 위해, 필터링 프로세스의 생성된 샘플 값들은 단지, 디코딩 프로세스의 일부로서 출력된다(예컨대, 후속 코딩에 사용되지 않음). 예를 들어, 비디오 디코더의 경우, 인-루프 필터링 프로세스를 위해, 재구성된 블록을 필터링하는 것으로부터 생성된 샘플 값들은 후속 디코딩에 사용될 것이고(예컨대, 기준 버퍼에 저장됨), (예컨대, 디스플레이에) 출력될 것이다. 포스트-루프 필터링 프로세스를 위해, 재구성된 블록은 후속 디코딩을 위해 사용될 것이고, 재구성된 블록을 필터링하는 것으로부터 생성된 샘플 값들이 출력될 것이고 후속 디코딩에 사용되지 않을 것이다.
디블록킹(또는 디-블로킹), 디블록 필터링(deblock filtering), 또는 디블록킹 필터 적용은 이웃하는 재구성된 비디오 블록들의 경계를 평활화시키는 프로세스(즉, 경계가 관찰자에게 덜 인지가능해지게 함)를 지칭한다. 이웃하는 재구성된 비디오 블록들의 경계를 평활화시키는 것은 경계에 인접한 행들 또는 열들에 포함된 샘플 값들을 수정하는 것을 포함할 수 있다. JVET-T2001은 인-루프 필터링 프로세스의 일부로서 재구성된 샘플 값들에 디블록킹 필터가 적용되는 경우를 규정한다. 인-루프 필터링 프로세스의 일부로서 디블록킹 필터를 적용하는 것에 더하여, JVET-T2001은 인-루프 필터링 프로세스에서 샘플 적응적 오프셋(Sample Adaptive Offset, SAO) 필터링이 적용될 수 있는 경우를 규정한다. 대체적으로, SAO는 오프셋 값을 조건부로 더함으로써 영역 내의 디블록킹된 샘플 값들을 수정하는 프로세스이다. 다른 유형의 필터링 프로세스는 소위 적응적 루프 필터(adaptive loop filter, ALF)를 포함한다. 블록 기반 적응을 갖는 ALF가 JEM에서 명시된다. JEM에서, ALF는 SAO 필터 후에 적용된다. ALF는 다른 필터링 기법들과는 독립적으로 재구성된 샘플들에 적용될 수 있다는 점에 유의해야 한다. 비디오 인코더에서의 JEM에서 명시된 ALF를 적용하기 위한 프로세스는 하기와 같이 요약될 수 있다: (1) 재구성된 픽처에 대한 루마 성분의 각각의 2x2 블록이 분류 인덱스에 따라 분류되고; (2) 필터 계수들의 세트들이 각각의 분류 인덱스에 대해 도출되고; (3) 루마 성분에 대해 필터링 결정들이 결정되고; (4) 크로마 성분들에 대해 필터링 결정이 결정되고; (5) 필터 파라미터들(예컨대, 계수들 및 결정들)이 시그널링된다. JVET-T2001은 디블록킹, SAO, 및 ALF 필터들을 명시하는데, 이들은 대체적으로 ITU-T H.265 및 JEM에서 제공되는 디블록킹, SAO, 및 ALF 필터들에 기초하는 것으로 설명될 수 있다.
JVET-T2001은 ITU-T H.266의 사전공개 버전으로 지칭되고, 따라서, VVC 프로젝트로부터 생성된 비디오 코딩 표준의 거의 완성된 초안이며, 따라서, VVC 표준의 제1 버전(또는 VVC 또는 VVC 버전 1 또는 ITU-H.266)으로 지칭될 수 있다는 점에 유의해야 한다. VVC 프로젝트 동안, 아티팩트 제거 및 객관적인 품질 개선의 잠재력을 보여주는 콘볼루션 신경 네트워크(Convolutional Neural Network, CNN) 기반 기법들이 조사되었지만, VVC 표준에 그러한 기법들을 포함하지 않는다는 것이 결정되었다는 점에 유의해야 한다. 그러나, 현재, VVC에 대한 확장들 및/또는 개선들에 대해 CNN 기반 기법들이 고려되고 있다. 일부 CNN 기반 기법들은 포스트-필터링에 관한 것이다. 예를 들어, 문헌["AHG11: Content-adaptive neural network post-filter", 26th Meeting of ISO/IEC JTC1/SC29/WG11 20-29 April 2022, Teleconference, document JVET-Z0082-v2](본 명세서에서 JVET-Z0082로 지칭됨)은 콘텐츠 적응적 신경 네트워크 기반 포스트-필터를 설명한다. JVET-Z0082에서, 테스트 비디오 상에 NN 포스트-필터를 오버피팅함으로써 콘텐츠 적응이 달성된다는 점에 유의해야 한다. 또한, JVET-Z0082에서의 오버피팅 프로세스의 결과는 가중치 업데이트임을 유의해야 한다. JVET-Z0082는 가중치 업데이트가 ISO/IEC FDIS 15938-17에 따라 코딩되는 경우를 설명한다. 정보 기술 - 멀티미디어 콘텐츠 설명 인터페이스 - 부분 17: 멀티미디어 콘텐츠 설명 및 분석을 위한 신경 네트워크들의 압축 및 멀티미디어 콘텐츠 설명 및 분석을 위한 신경 네트워크들의 점진적 압축의 테스트 모델(Test Model of Incremental Compression of Neural Networks for Multimedia Content Description and Analysis, INCTM)(N0179. February 2022) - 이는 MPEG NNR(Neural Network Representation) 또는 신경 네트워크 코딩(Neural Network Coding, NNC) 표준으로 총칭될 수 있음. JVET-Z0082는, 코딩된 가중치 업데이트가 NNR 포스트-필터 SEI 메시지로서 비디오 비트스트림 내에서 시그널링되는 경우를 추가로 설명한다. 문헌["AHG9: NNR post-filter SEI message", 26th Meeting of ISO/IEC JTC1/SC29/WG11 20-29 April 2022, Teleconference, document JVET-Z0052-v1](본 명세서에서 JVET-Z0052로 지칭됨)은 JVET-Z0082에 의해 활용되는 NNR 포스트-필터 SEI 메시지를 설명한다. JVET-Z0082에서 설명된 NN 포스트-필터의 요소들 및 JVET-Z0052에서 설명된 NNR 포스트-필터 SEI 메시지는 문헌["Additional SEI messages for VSEI (Draft 2)", 27th Meeting of ISO/IEC JTC1/SC29/WG11 13-22 July 2022, Teleconference, document JVET-AA2006-v2](본 명세서에서 JVET-AA2006로 지칭됨)에서 채택되었다. JVET-AA2006은 코딩된 비디오 비트스트림들에 대한 범용 보충 향상 정보(versatile supplemental enhancement information, VSEI) 메시지들을 규정한다. JVET-AA2006은 신경 네트워크 포스트-필터 특성 SEI 메시지에 대한 그리고 신경 네트워크 포스트-필터 활성화 SEI 메시지에 대한 신택스 및 시맨틱들을 명시한다. 신경 네트워크 포스트-필터 특성 SEI 메시지는 포스트-프로세싱 필터로서 사용될 수 있는 신경 네트워크를 명시한다. 특정 픽처들을 위한 특정된 포스트-프로세싱 필터들의 사용은 신경 네트워크 포스트-필터 활성화 SEI 메시지들로 표시된다. JVET-AA2006은 더 상세히 후술된다. 본 명세서에 설명된 기법들은 신경 네트워크 포스트-필터 메시지들의 시그널링을 위한 기법들을 제공한다.
본 명세서에 사용되는 수학식들에 관하여, 하기의 산술 연산자들이 사용될 수 있다:
+
덧셈
-
뺄셈
*
곱셈, 매트릭스 곱셈을 포함함
xy
지수화, x를 y번 거듭제곱하는 것을 명시한다. 다른 맥락들에서, 그러한 표기법은 지수로서의 해석을 위해 의도되지 않는 위첨자화(superscripting)에 사용된다.
/
결과가 0으로 트런케이트되는 정수 나눗셈. 예를 들어, 7/4 및 -7/-4는 1로 트런케이트되고, -7 / 4 및 7 / -4는 -1로 트런케이트된다.
트런케이트 또는 반올림이 의도되지 않는 수학식들에서 나눗셈을 나타내는 데 사용된다.
트런케이트 또는 반올림이 의도되지 않는 수학식들에서 나눗셈을 나타내는 데 사용된다.
또한, 하기의 수학 함수들이 사용될 수 있다:
Log2(x) 밑이 2인 x의 로그;
Ceil(x)
x 이상인 최소 정수.
본 명세서에서 사용되는 예시적인 신택스와 관련하여, 논리 연산자들의 하기의 정의들이 적용될 수 있다:
x && y
x와 y의 불 논리 "곱"(Boolean logical "and")
x||y
x와 y의 불 논리 "합"(Boolean logical "or")
! 불 논리 "부정"(Boolean logical "not")
x? y:z
x가 참이거나 0과 동일하지 않으면, y의 값으로 평가되고; 그렇지 않으면, z의 값으로 평가된다.
추가로, 하기의 관계 연산자들이 사용될 수 있다:
>
초과
>=
이상
<
미만
<=
이하
==
동일
!=
동일하지 않음
또한, 본 명세서에서 사용되는 신택스 디스크립터들 중에서, 하기의 디스크립터들이 적용될 수 있다는 점에 유의해야 한다:
- b(8): 임의의 패턴의 비트 스트링을 갖는 바이트(8-비트) 이러한 디스크립터에 대한 파싱 프로세스는 함수 read_bits(8)의 반환 값에 의해 명시된다.
- f(n): 좌측 비트가 먼저인 (좌측으로부터 우측으로) 기록된 n개의 비트들을 사용하는 고정 패턴 비트 스트링. 이러한 디스크립터에 대한 파싱 프로세스는 함수 read_bits(n)의 반환 값에 의해 명시된다.
- se(v): 좌측 비트가 먼저인 부호있는 정수 0차 Exp-Golomb-코딩된 신택스 요소.
- tb(v): 최대 maxVal개의 비트들을 사용하는 트런케이트된 이진수(truncated binary)(이때 maxVal은 신택스 요소의 시맨틱들에서 정의됨)
- tu(v): 최대 maxVal개의 비트들을 사용하는 트런케이트된 단항(truncated unary)(이때 maxVal은 신택스 요소의 시맨틱들에서 정의됨)
- u(n): n개의 비트들을 사용하는 부호없는 정수. n이 신택스 테이블에서 "v"일 때, 비트들의 수는 다른 신택스 요소들의 값에 종속적인 방식으로 변한다. 이러한 디스크립터에 대한 파싱 프로세스는 먼저 기록된 최상위 비트를 갖는 부호없는 정수의 이진수 표현으로서 해석되는 함수 read_bits(n)의 반환 값에 의해 명시된다.
- ue(v): 좌측 비트가 먼저인 부호없는 정수 0차 Exp-Golomb-코딩된 신택스 요소.
전술된 바와 같이, 비디오 콘텐츠는 일련의 픽처들로 구성된 비디오 시퀀스들을 포함하고, 각각의 픽처는 하나 이상의 영역들로 나뉠 수 있다. JVET-T2001에서, 픽처의 코딩된 표현은 AU 내에 특정 계층의 비디오 코딩 계층(video coding layer, VCL) NAL 유닛들을 포함하고, 픽처의 모든 CTU들을 포함한다. 예를 들어, 다시 도 2를 참조하면, Pic3의 코딩된 표현이 3개의 코딩된 슬라이스 NAL 유닛들(즉, Slice0 NAL 유닛, Slice1 NAL 유닛, 및 Slice2 NAL 유닛)에 캡슐화된다. 용어 비디오 코딩 계층(VCL) NAL 유닛은 코딩된 슬라이스 NAL 유닛들에 대한 집합적 용어로서 사용되며, 즉 VCL NAL은 모든 유형들의 슬라이스 NAL 유닛들을 포함하는 집합적 용어라는 점에 유의해야 한다. 전술된 바와 같이, 그리고 더 상세히 후술되는 바와 같이, NAL 유닛은 비디오 데이터를 디코딩하는 데 사용되는 메타데이터를 캡슐화할 수 있다. 비디오 시퀀스를 디코딩하는 데 사용되는 메타데이터를 캡슐화하는 NAL 유닛은 대체적으로 비-VCL NAL 유닛으로 지칭된다. 따라서, JVET-T2001에서, NAL 유닛은 VCL NAL 유닛 또는 비-VCL NAL 유닛일 수 있다. VCL NAL 유닛은 특정 슬라이스를 디코딩하는 데 사용되는 정보를 제공하는 슬라이스 헤더 데이터를 포함한다는 점에 유의해야 한다. 따라서, JVET-T2001에서, 일부 경우들에 있어서 메타데이터로 지칭될 수 있는 비디오 데이터를 디코딩하는 데 사용되는 정보는 비-VCL NAL 유닛들에 포함되는 것으로 제한되지 않는다. JVET-T2001은, 픽처 유닛(picture unit, PU)이, 명시된 분류 규칙에 따라 서로 연관되고 디코딩 순서에서 연속적이고 정확히 하나의 코딩된 픽처를 포함하는 NAL 유닛들의 세트인 경우, 및 액세스 유닛(access unit, AU)이 상이한 계층들에 속하고 DPB로부터의 출력을 위해 동일한 시간과 연관된 코딩된 픽처들을 포함하는 PU들의 세트인 경우를 규정한다. JVET-T2001은, 일정 계층이, 연관된 비-VCL NAL 유닛들 및 계층 식별자의 특정 값을 모두가 갖는 VCL NAL 유닛들의 세트인 경우를 추가로 규정한다. 또한, JVET-T2001에서, PU는 0개 또는 1개의 PH NAL 유닛들, 하나 이상의 VCL NAL 유닛들을 포함하는 하나의 코딩된 픽처, 및 0개 이상의 다른 비-VCL NAL 유닛들로 이루어진다. 또한, JVET-T2001에서, 코딩된 비디오 시퀀스(coded video sequence, CVS)는, 디코딩 순서에서, 코딩된 비디오 시퀀스 시작(coded video sequence start, CVSS) AU 및 뒤이어, 모든 후속 AU들을 포함하지만 CVSS AU인 임의의 후속 AU까지는 포함하지 않는 CVSS AU들이 아닌 0개 이상의 AU들로 이루어진 AU들의 시퀀스이며, 여기서 코딩된 비디오 시퀀스 시작(CVSS) AU는 CVS 내의 각각의 계층에 대해 PU가 있는 AU이고, 각각의 현재 픽처 유닛 내의 코딩된 픽처는 코딩된 계층 비디오 시퀀스 시작(coded layer video sequence start, CLVSS) 픽처이다. JVET-T2001에서, 코딩된 계층 비디오 시퀀스(coded layer video sequence, CLVS)는, 디코딩 순서에서, CLVSS PU 및 뒤이어, 모든 후속 PU들을 포함하지만 CLVSS PU인 임의의 후속 PU까지는 포함하지 않는 CLVSS AU들이 아닌 0개 이상의 PU들로 이루어진 동일한 계층 내의 PU들의 시퀀스이다. 이는, JVET-T2001에서, 비트스트림이 하나 이상의 CVS들을 형성하는 AU들의 시퀀스를 포함하는 것으로 기술될 수 있다는 것이다.
다계층 비디오 코딩은, 비디오 프레젠테이션이, 비디오 데이터의 기초 계층에 대응하는 프레젠테이션으로서 디코딩/디스플레이되는 것, 및 비디오 데이터의 향상 계층들에 대응하는 하나 이상의 추가적인 프리젠테이션들로서 디코딩/디스플레이되는 것을 가능하게 한다. 예를 들어, 기초 계층은 기본 레벨의 품질(예컨대, 고화질 렌더링 및/또는 30 ㎐ 프레임 레이트)을 갖는 비디오 프레젠테이션이 제시되는 것을 가능하게 할 수 있고, 향상 계층은 향상된 레벨의 품질(예컨대, 초고화질 렌더링 및/또는 60 ㎐ 프레임 레이트)을 갖는 비디오 프레젠테이션이 제시되는 것을 가능하게 할 수 있다. 향상 계층은 기초 계층을 참조하여 코딩될 수 있다. 즉, 예를 들어, 향상 계층 내의 픽처는 기초 계층 내의 하나 이상의 픽처들(그의 스케일링된 버전들을 포함함)을 참조함으로써 (예컨대, 계층간 예측 기법들을 사용하여) 코딩될 수 있다. 계층들은 또한, 서로 독립적으로 코딩될 수 있다는 점에 유의해야 한다. 이러한 경우, 2개의 계층들 사이에 계층간 예측이 없을 수 있다. 각각의 NAL 유닛은 NAL 유닛이 연관된 비디오 데이터의 계층을 나타내는 식별자를 포함할 수 있다. 전술된 바와 같이, 서브-비트스트림 추출 프로세스는 픽처의 특정 관심 영역만을 디코딩 및 디스플레이하는 데 사용될 수 있다. 또한, 서브-비트스트림 추출 프로세스는 비디오의 특정 계층만을 디코딩 및 디스플레이하는 데 사용될 수 있다. 서브-비트스트림 추출은, 컴플라이언트 또는 순응형 비트스트림을 수신하는 디바이스가 수신된 비트스트림에서 데이터를 폐기 및/또는 수정함으로써 새로운 컴플라이언트 또는 순응형 비트스트림을 형성하는 프로세스를 지칭할 수 있다. 예를 들어, 서브-비트스트림 추출은 비디오의 특정 표현(예컨대, 고품질 표현)에 대응하는 새로운 컴플라이언트 또는 순응형 비트스트림을 형성하는 데 사용될 수 있다.
JVET-T2001에서, 비디오 시퀀스, GOP, 픽처, 슬라이스, 및 CTU 각각은 비디오 코딩 속성들을 설명하는 메타데이터 및 비-VCL NAL 유닛들에 캡슐화된 일부 유형들의 메타데이터와 연관될 수 있다. JVET-T2001은 비디오 데이터 및/또는 비디오 코딩 속성들을 설명하는 데 사용될 수 있는 파라미터들 세트들을 정의한다. 특히, JVET-T2001은 하기의 4가지 유형들의 파라미터 세트들, 즉, 비디오 파라미터 세트(video parameter set, VPS), 시퀀스 파라미터 세트(sequence parameter set, SPS), 픽처 파라미터 세트(picture parameter set, PPS), 및 적응 파라미터 세트(adaption parameter set, APS)를 포함하며, 여기서 SPS는 0개 이상의 전체 CVS들에 적용되고, PPS는 0개 이상의 전체 코딩된 픽처들에 적용되고, APS는 0개 이상의 슬라이스들에 적용되고, VPS는 SPS에 의해 선택적으로 참조될 수 있다. PPS는 그것을 참조하는 개별 코딩된 픽처에 적용된다. JVET-T2001에서, 파라미터 세트들은 비-VCL NAL 유닛으로서 캡슐화될 수 있고/있거나 메시지로서 시그널링될 수 있다. JVET-T2001은 또한, 비-VCL NAL 유닛으로서 캡슐화된 픽처 헤더(picture header, PH)를 포함한다. JVET-T2001에서, 픽처 헤더는 코딩된 픽처의 모든 슬라이스들에 적용된다. JVET-T2001은 추가로, 디코딩 능력 정보(decoding capability information, DCI) 및 보충 향상 정보(supplemental enhancement information, SEI) 메시지들이 시그널링되는 것을 가능하게 한다. JVET-T2001에서, DCI 및 SEI 메시지들은 디코딩, 디스플레이, 또는 다른 목적들과 관련된 프로세스들을 보조하지만, DCI 및 SEI 메시지들은 디코딩 프로세스에 따라 루마 또는 크로마 샘플들을 구성하는 데 필요하지 않을 수 있다. JVET-T2001에서, DCI 및 SEI 메시지들은 비-VCL NAL 유닛들을 사용하여 비트스트림에서 시그널링될 수 있다. 또한, DCI 및 SEI 메시지들은 비트스트림에 존재하는 것 이외의 일부 메커니즘에 의해 전달될 수 있다(즉, 대역외 시그널링됨).
도 3은 다수의 CVS들을 포함하는 비트스트림의 일례를 도시하는데, 여기서 CVS는 AU들을 포함하고, AU들은 픽처 유닛들을 포함한다. 도 3에 도시된 예는 도 2의 예에 예시된 슬라이스 NAL 유닛들을 비트스트림에 캡슐화하는 일례에 대응한다. 도 3에 도시된 예에서, Pic3에 대한 대응하는 픽처 유닛은 3개의 VCL NAL 코딩된 슬라이스 NAL 유닛들, 즉 Slice0 NAL 유닛, Slice1 NAL 유닛, 및 Slice2 NAL 유닛, 및 2개의 비-VCL NAL 유닛들, 즉, PPS NAL 유닛 및 PH NAL 유닛을 포함한다. 도 3에서, HEADER는 NAL 유닛 헤더(즉, 슬라이스 헤더와 혼동되어서는 안 됨)라는 점에 유의해야 한다. 또한, 도 3에서, 예시되지 않은 다른 비-VCL NAL 유닛들은 CVS들, 예컨대, SPS NAL 유닛들, VPS NAL 유닛들, SEI 메시지 NAL 유닛들 등에 포함될 수 있다는 점에 유의해야 한다. 또한, 다른 예들에서, Pic3을 디코딩하는 데 사용되는 PPS NAL 유닛은 비트스트림 내의, 예컨대 Pic0에 대응하는 픽처 유닛 중의 어딘가에 포함될 수 있거나 또는 외부 메커니즘에 의해 제공될 수 있다는 점에 유의해야 한다. 더 상세히 후술되는 바와 같이, JVET-T2001에서, PH 신택스 구조는 VCL NAL 유닛의 슬라이스 헤더에 또는 현재 PU의 PH NAL 유닛에 존재할 수 있다.
JVET-T2001은 NAL 유닛에 포함된 원시 바이트 시퀀스 페이로드(Raw Byte Sequence Payload, RBSP) 데이터 구조의 유형을 특정하는 NAL 유닛 헤더 시맨틱들을 정의한다. 표 1은 JVET-T2001에서 규정된 NAL 유닛 헤더의 신택스를 예시한다.
[표 1]
JVET-T2001은 표 1에 예시된 각자의 신택스 요소들에 대한 하기의 정의들을 규정한다.
forbidden_zero_bit는 0과 동일할 것이다.
nuh_reserved_zero_bit는 0과 동일해야 한다. nuh_reserved_zero_bit의 값 1은 ITU-T | ISO/IEC에 의해 향후에 특정될 수 있다. nuh_reserved_zero_bit의 값이 이러한 규격의 이러한 버전에서 0과 동일하도록 요구되지만, 이러한 규격의 이러한 버전에 순응하는 디코더들은 1과 동일한 nuh_reserved_zero_bit의 값이 신택스에 나타날 수 있게 할 것이고, 1과 동일한 nuh_reserved_zero_bit를 갖는 NAL 유닛들을 무시할 것이다(즉, 비트스트림으로부터 제거하고 폐기할 것임).
nuh_layer_id는 VCL NAL 유닛이 속하는 계층의 식별자 또는 비-VCL NAL 유닛이 적용되는 계층의 식별자를 특정한다. nuh_layer_id의 값은 0 내지 55(이를 포함함)의 범위 내에 있을 것이다. nuh_layer_id에 대한 다른 값들은 ITU-T | ISO/IEC에 의한 향후 사용을 위해 예약된다. nuh_layer_id의 값이 이러한 규격의 이러한 버전에서 0 내지 55(이를 포함함)의 범위가 되도록 요구되지만, 이러한 규격의 이러한 버전에 순응하는 디코더들은 55 초과인 nuh_layer_id의 값이 신택스에 나타날 수 있게 할 것이고, 55 초과의 nuh_layer_id를 갖는 NAL 유닛들을 무시할 것이다(즉, 비트스트림으로부터 제거하고 폐기할 것임).
nuh_layer_id의 값은 코딩된 픽처의 모든 VCL NAL 유닛들에 대해 동일할 것이다. 코딩된 픽처 또는 PU의 nuh_layer_id의 값은 코딩된 픽처 또는 PU의 VCL NAL 유닛들의 nuh_layer_id의 값이다.
nal_unit_type이 PH_NUT 또는 FD_NUT와 동일할 때, nuh_layer_id는 연관된 VCL NAL 유닛의 nuh_layer_id와 동일할 것이다.
nal_unit_type이 EOS_NUT과 동일할 때, nuh_layer_id는 CVS에 존재하는 계층들의 nuh_layer_id 값들 중 하나와 동일할 것이다.
주 - DCI, OPI, VPS, AUD, 및 EOB 유닛들에 대한 nuh_layer_id의 값은 제한되지 않는다.
nuh_temporal_id_plus1 - 1은 NAL 유닛에 대한 임시 식별자를 특정한다.
nuh_temporal_id_plus1의 값은 0과 동일하지 않을 것이다.
변수 TemporalId는 하기와 같이 도출된다:
TemporalId = nuh_temporal_id_plus1 - 1
nal_unit_type이 IDR_W_RADL 내지 RSV_IRAP_11(이를 포함함)의 범위 내에 있을 때, TemporalId는 0과 동일할 것이다. nal_unit_type이 STSA_NUT와 동일하고 vps_independent_layer_flag[ GeneralLayerIdx[ nuh_layer_id ] ]가 1과 동일할 때, TemporalId는 0 초과일 것이다.
TemporalId의 값은 AU의 모든 VCL NAL 유닛들에 대해 동일할 것이다. 코딩된 픽처, PU, 또는 AU의 TemporalId의 값은 코딩된 픽처, PU, 또는 AU의 VCL NAL 유닛들의 TemporalId의 값이다. 서브계층 표현의 TemporalId의 값은 서브계층 표현에서 모든 VCL NAL 유닛들의 TemporalId의 최대 값이다.
비-VCL NAL 유닛들에 대한 TemporalId의 값은 하기와 같이 제한된다:
-
nal_unit_type이 DCI_NUT, OPI_NUT, VPS_NUT, 또는 SPS_NUT과 동일한 경우, TemporalId는 0과 동일할 것이고, ANL 유닛을 포함하는 AU의 TemporalId는 0과 동일할 것이다.
-
이와 달리, nal_unit_type이 PH_NUT와 동일한 경우, TemporalId는 NAL 유닛을 포함하는 PU의 TemporalId와 동일할 것이다.
-
이와 달리, nal_unit_type이 EOS_NUT 또는 EOB_NUT와 동일한 경우, TemporalId는 0과 동일할 것이다.
-
이와 달리, nal_unit_type이 AUD_NUT, FD_NUT, PREFIX_SEI_NUT, 또는 SUFFIX_SEI_NUT와 동일한 경우, TemporalId는 NAL 유닛을 포함하는 AU의 TemporalId와 동일할 것이다.
-
이와 달리, nal_unit_type이 PPS_NUT, PREFIX_APS_NUT, 또는 SUFFIX_APS_NUT와 동일할 때, TemporalId는 NAL 유닛을 포함하는 PU의 TemporalId 이상일 것이다.
주 - NAL 유닛이 비-VCL NAL 유닛일 때, TemporalId의 값은 비-VCL NAL 유닛이 적용되는 모든 AU들의 TemporalId 값들의 최소 값과 동일하다. nal_unit_type이 PPS_NUT, PREFIX_APS_NUT, 또는 SUFFIX_APS_NUT와 동일할 때, TemporalId는 포함하는 AU의 TemporalId 이상일 수 있는데, 이는 모든 PPS들 및 APS들이 (예컨대, 이들이 대역외로 수송되고 수신자가 이들을 비트스트림의 시작부에 놓을 때) 비트스트림의 시작부에 포함될 수 있기 때문이며, 여기서 제1 코딩된 픽처는 0과 동일한 TemporalId를 갖는다.
nal_unit_type은 NAL 유닛 유형, 즉 표 2에 특정된 바와 같이 NAL 유닛에 포함된 RBSP 데이터 구조의 유형을 명시한다.
시맨틱들이 명시되지 않는, UNSPEC28..UNSPEC31(이를 포함함)의 범위 내의 nal_unit_type을 갖는 NAL 유닛들은 이러한 규격에서 명시된 디코딩 프로세스에 영향을 주지 않을 것이다.
주 - UNSPEC_28..UNSPEC_31의 범위 내의 NAL 유닛 유형들은 애플리케이션에 의해 결정된 바와 같이 사용될 수 있다. 이러한 규격에는 nal_unit_type의 이러한 값들에 대한 어떠한 디코딩 프로세스도 명시되지 않는다. 상이한 애플리케이션들이 상이한 목적들을 위해 이러한 NAL 유닛 유형들을 사용할 수 있었기 때문에, 이러한 nal_unit_type 값들을 갖는 NAL 유닛들을 생성하는 인코더들의 설계에서 그리고 이러한 nal_unit_type 값들을 갖는 NAL 유닛들의 콘텐츠를 해석하는 디코더들의 설계에서 특별한 관심이 작용될 것으로 예상된다. 이러한 규격은 이러한 값들에 대한 어떠한 관리도 정의하지 않는다. 이러한 nal_unit_type 값들은, 사용의 "충돌들"(즉, 동일한 nal_unit_type 값에 대한 NAL 유닛 콘텐츠의 의미의 상이한 정의들)이 중요하지 않거나, 또는 가능하지 않거나, 또는 관리되는 - 예컨대, 제어용 애플리케이션 또는 수송 규격에서, 또는 비트스트림들이 분배되는 환경을 제어함으로써 정의되거나 관리됨 - 상황들에서 사용하는 데에만 적합할 수 있다.
비트스트림의 DU들에서 데이터의 양을 결정하는 것 이외의 목적들을 위해, 디코더들은 nal_unit_type의 예약된 값들을 사용하는 모든 NAL 유닛들의 콘텐츠들을 무시할 것이다(비트스트림으로부터 제거하고 폐기할 것임). 주 - 이러한 요건은 이러한 규격에 대한 호환가능한 확장들의 향후 정의를 허용한다.
[표 2]
주 - 클린 랜덤 액세스(clean random access, CRA) 픽처는 비트스트림에 존재하는 연관된 RASL 또는 RADL 픽처들을 가질 수 있다.
주 - IDR_N_LP와 동일한 nal_unit_type을 갖는 순시 디코딩 리프레시(instantaneous decoding refresh, IDR) 픽처는 비트스트림에 존재하는 연관된 리딩 픽처(leading picture)들을 갖지 않는다. IDR_W_RADL과 동일한 nal_unit_type을 갖는 IDR 픽처는 비트스트림에 존재하는 연관된 RASL 픽처들을 갖지 않지만, 비트스트림에서 연관된 RADL 픽처들을 가질 수 있다.
nal_unit_type의 값은 서브픽처의 모든 VCL NAL 유닛들에 대해 동일할 것이다. 서브픽처는 서브픽처의 VCL NAL 유닛들과 동일한 NAL 유닛 유형을 갖는 것으로 지칭된다.
임의의 특정 픽처의 VCL NAL 유닛들의 경우, 하기가 적용된다:
-
pps_mixed_nalu_types_in_pic_flag가 0과 동일한 경우, nal_unit_type의 값은 픽처의 모든 VCL NAL 유닛들에 대해 동일할 것이고, 픽처 또는 PU는 픽처 또는 PU의 코딩된 슬라이스 NAL 유닛들과 동일한 NAL 유닛 유형을 갖는 것으로 지칭된다.
-
그렇지 않은 경우(pps_mixed_nalu_types_in_pic_flag가 1과 동일함), 하기의 제약들 모두가 적용된다:
-
픽처는 적어도 2개의 버스픽처들을 가질 것이다.
-
픽처의 VCL NAL 유닛들은 2개 이상의 상이한 nal_unit_type 값들을 가질 것이다.
-
GDR_NUT와 동일한 nal_unit_type을 갖는 픽처의 VCL NAL 유닛이 없을 것이다.
-
픽처의 VCL NAL 유닛이 IDR_W_RADL, IDR_N_LP, 또는 CRA_NUT와 동일한 nalUnitTypeA과 동일한 nal_unit_type을 가질 때, 픽처의 다른 VCL NAL 유닛들은 모두, nalUnitTypeA 또는 TRAIL_NUT와 동일한 nal_unit_type을 가질 것이다.
nal_unit_type의 값은 IRAP 또는 GDR AU에서 모든 픽처들에 대해 동일할 것이다.
sps_video_parameter_set_id가 0 초과이고, GeneralLayerIdx[ nuh_layer_id ]와 동일한 j에 대해, 그리고 j + 1 내지 vps_max_layers_minus1(이를 포함함)의 범위 내의 i의 임의의 값에 대해 vps_max_tid_il_ref_pics_plus1[ i ][ j ]가 0과 동일하고, pps_mixed_nalu_types_in_pic_flag가 1과 동일할 때, nal_unit_type의 값은 IDR_W_RADL, IDR_N_LP, 또는 CRA_NUT와 동일하지 않을 것이다.
하기의 제약들이 적용된다는 것이 비트스트림 순응성의 요건이다:
-
픽처가 IRAP 픽처의 리딩 픽처일 때, 그것은 RADL 또는 RASL 픽처일 것이다.
-
서브픽처가 IRAP 서브픽처의 리딩 서브픽처일 때, 그것은 RADL 또는 RASL 서브픽처일 것이다.
-
픽처가 IRAP 픽처의 리딩 픽처가 아닐 때, 그것은 RADL 또는 RASL 픽처가 아닐 것이다.
-
서브픽처가 IRAP 서브픽처의 리딩 서브픽처가 아닐 때, 그것은 RADL 또는 RASL 서브픽처가 아닐 것이다.
-
IDR 픽처와 연관된 비트스트림에 어떠한 RASL 픽처들도 존재하지 않을 것이다.
-
IDR 서브픽처와 연관된 비트스트림에 어떠한 RASL 서브픽처들도 존재하지 않을 것이다.
-
IDR_N_LP와 동일한 nal_unit_type을 갖는 IDR 픽처와 연관된 비트스트림에 어떠한 RADL 픽처들도 존재하지 않을 것이다.
주 - 각각의 파라미터 세트가 참조될 때 (이러한 규격에서 명시되지 않은 외부 수단에 의해 또는 비트스트림에서) 그것이 이용가능하다면, IRAP AU 전에 모든 PU들을 폐기함으로써 IRAP AU의 포지션에서 랜덤 액세스를 수행하는 것(및 디코딩 순서에서 IRAP AU 및 모든 후속 AU들 내의 비-RASL 픽처들을 정확하게 디코딩하는 것)이 가능하다.
-
IDR_N_LP와 동일한 nal_unit_type을 갖는 IDR 서브픽처와 연관된 비트스트림에 어떠한 RADL 서브픽처들도 존재하지 않을 것이다.
-
디코딩 순서에서 layerId와 동일한 nuh_layer_id를 갖는 IRAP 픽처에 선행하는, 특정 값 layerId와 동일한 nuh_layer_id를 갖는 임의의 픽처는 출력 순서에서 IRAP 픽처에 선행할 것이고, 출력 순서에서 IRAP 픽처와 연관된 임의의 RADL 픽처에 선행할 것이다.
-
디코딩 순서에서 layerId와 동일한 nuh_layer_id 및 subpicIdx와 동일한 서브픽처 인덱스를 갖는 IRAP 서브픽처에 선행하는, 특정 값 layerId와 동일한 nuh_layer_id 및 특정 값 subpicIdx와 동일한 서브픽처 인덱스를 갖는 임의의 서브픽처는 출력 순서에서, IRAP 서브픽처 및 모든 그의 연관된 RADL 서브픽처들에 선행할 것이다.
-
디코딩 순서에서 layerId와 동일한 nuh_layer_id를 갖는 복구 포인트 픽처에 선행하는, 특정 값 layerId와 동일한 nuh_layer_id를 갖는 임의의 픽처는 출력 순서에서 복구 포인트 픽처에 선행할 것이다.
-
디코딩 순서에서 복구 포인트 픽처에서 layerId와 동일한 nuh_layer_id 및 subpicIdx와 동일한 서브픽처 인덱스를 갖는 서브픽처에 선행하는, 특정 값 layerId와 동일한 nuh_layer_id 및 특정 값 subpicIdx와 동일한 서브픽처 인덱스를 갖는 임의의 서브픽처는 출력 순서에서, 복구 포인트 픽처 내의 해당 서브픽처에 선행할 것이다.
-
CRA 픽처와 연관된 임의의 RASL 픽처는 출력 순서에서, CRA 픽처와 연관된 임의의 RADL 픽처에 선행할 것이다.
-
CRA 서브픽처와 연관된 임의의 RASL 서브픽처는 출력 순서에서, CRA 서브픽처와 연관된 임의의 RADL 서브픽처에 선행할 것이다.
-
CRA 픽처와 연관된, 특정 값 layerld와 동일한 nuh_layer_id를 갖는 임의의 RASL 픽처는 출력 순서에서, 디코딩 순서에서 CRA 픽처에 선행하는 layerId와 동일한 nuh_layer_id를 갖는 임의의 IRAP 또는 GDR 픽처에 후행할 것이다.
-
CRA 서브픽처와 연관된, 특정 값 layerId와 동일한 nuh_layer_id 및 특정 값 subpicIdx와 동일한 서브픽처 인덱스를 갖는 임의의 RASL 서브픽처는 출력 순서에서, 디코딩 순서에서 CRA 서브픽처에 선행하는 layerId와 동일한 nuh_layer_id 및 subpicIdx와 동일한 서브픽처 인덱스를 갖는 임의의 IRAP 또는 GDR 서브픽처에 후행할 것이다.
-
sps_field_seq_flag가 0과 동일한 경우, 하기가 적용된다: 특정 값 layerId와 동일한 nuh_layer_id를 갖는 현재 픽처가 IRAP 픽처와 연관된 리딩 픽처일 때, 그것은 디코딩 순서에서, 동일한 IRAP 픽처와 연관된 모든 비-리딩 픽처들에 선행할 것이다. 그렇지 않은 경우(sps_field_seq_flag가 1과 동일함), picA 및 picB가 디코딩 순서에서, 각각 IRAP 픽처와 연관된 제1 및 마지막 리딩 픽처들이라고 하면, 디코딩 순서에서 picA에 선행하는, layerId와 동일한 nuh_layer_id를 갖는 최대 하나의 비-리딩 픽처가 있을 것이고, 디코딩 순서에서 picA와 picB 사이에 layerId와 동일한 nuh_layer_id를 갖는 비-리딩 픽처가 없을 것이다.
-
sps_field_seq_flag가 0인 경우, 하기가 적용된다: 특정 값 layerId와 동일한 nuh_layer_id 및 특정 값 subpicIdx와 동일한 서브픽처 인덱스를 갖는 현재 서브픽처가 IRAP 서브픽처와 연관된 리딩 서브픽처일 때, 그것은 디코딩 순서에서, 동일한 IRAP 서브픽처와 연관된 모든 비-리딩 서브픽처들에 선행할 것이다. 그렇지 않은 경우(sps_field_seq_flag가 1과 동일함), subpicA 및 subpicB가 디코딩 순서에서, 각각 IRAP 서브픽처와 연관된 제1 및 마지막 리딩 서브픽처들이라고 하면, 디코딩 순서에서 subpicA에 선행하는, layerId와 동일한 nuh_layer_id 및 subpicIdx와 동일한 서브픽처 인덱스를 갖는 최대 하나의 비-리딩 서브픽처가 있을 것이고, 디코딩 순서에서 picA와 picB 사이에 layerId와 동일한 nuh_layer_id 및 subpicIdx와 동일한 서브픽처 인덱스를 갖는 비-리딩 픽처가 없을 것이다.
표 2에 제공된 바와 같이, NAL 유닛은 보충 향상 정보(SEI) 신택스 구조를 포함할 수 있다. 표 3 및 표 4는 JVET-T2001에서 규정된 보충 향상 정보(SEI) 신택스 구조를 예시한다.
[표 3]
[표 4]
표 3 및 표 4와 관련하여, JVET-T2001은 하기의 시맨틱들을 규정한다:
각각의 SEI 메시지는 SEI 메시지 페이로드의 유형 payloadType 및 크기 payloadSize를 특정하는 변수들로 이루어진다. SEI 메시지 페이로드들이 특정된다. 도출된 SEI 메시지 페이로드 크기 payloadSize는 바이트 단위로 특정되고, SEI 메시지 페이로드에서 RBSP 바이트들의 수와 동일할 것이다.
주 - SEI 메시지를 포함하는 NAL 유닛 바이트 시퀀스는 하나 이상의 에뮬레이션 방지 바이트들(emulation_prevention_three_byte 신택스 요소들로 표현됨)을 포함할 수 있다. SEI 메시지의 페이로드 크기가 RBSP 바이트 단위들로 특정되므로, 에뮬레이션 방지 바이트들의 수량은 SEI 페이로드의 크기 payloadSize에 포함되지 않는다.
payload_type_byte는 SEI 메시지의 페이로드 유형의 바이트이다.
payload_size_byte는 SEI 메시지의 페이로드 크기의 바이트이다.
JVET-T2001은 페이로드 유형들을 정의하고, 문헌["Additional SEI messages for VSEI (Draft 6)", 25th Meeting of ISO/IEC JTC1/SC29/WG11 12 - 21 January 2022, Teleconference, document JVET-Y2006-v1](이는 본 명세서에 참고로 포함되고 JVET-Y2006으로 지칭됨)은 추가적인 페이로드 유형들을 정의한다는 점에 유의해야 한다. 표 5는 대체적으로 sei_payload() 신택스 구조를 예시한다. 즉, 표 5는 sei_payload() 신택스 구조를 예시하지만, 간결성을 위해, 가능한 유형들의 페이로드들 모두가 표 5에 포함되지는 않는다.
[표 5]
표 5와 관련하여, JVET-T2001은 하기의 시맨틱들을 규정한다.
sei_reserved_payload_extension_data는 이러한 규격의 이러한 버전에 순응하는 비트스트림들에 존재하지 않을 것이다. 그러나, 이러한 규격의 이러한 버전에 순응하는 디코더들은 sei_reserved_payload_extension_data의 존재 및 값을 무시할 것이다. 존재할 때, sei_reserved_payload_extension_data의 길이(비트 단위)는 8 * payloadSize - nEarlierBits - nPayloadZeroBits - 1과 동일하며, 여기서 nEarlierBits는 sei_reserved_payload_extension_data 신택스 요소에 선행하는 sei_payload() 신택스 구조에서의 비트들의 수이고, nPayloadZeroBits는 sei_payload() 신택스 구조의 종단부에서의 sei_payload_bit_equal_to_zero 신택스 요소들의 수이다.
SEI 메시지 신택스 구조(예컨대, buffering_period() 신택스 구조)의 파싱 후에 more_data_in_payload()가 TRUE(참)이고, nPayloadZeroBits가 7과 동일하지 않은 경우, PayloadBits는 8 * payloadSize - nPayloadZeroBits - 1과 동일하게 설정되고; 그렇지 않은 경우, PayloadBits는 8 * payloadSize와 동일하게 설정된다.
payload_bit_equal_to_one은 1과 동일할 것이다.
payload_bit_equal_to_zero은 0과 동일할 것이다.
주 - payloadType의 동일한 값을 갖는 SEI 메시지들은, 이들이 프리픽스 SEI NAL 유닛에 포함되는지 아니면 서픽스 SEI NAL 유닛에 포함되는지에 관계없이 개념적으로 동일한 SEI 메시지이다.
주 - 이러한 규격 및 VSEI 규격(ITU-T H.274 | ISO/IEC 23002-7)에서 명시된 SEI 메시지들에 대해, payloadType 값들은 AVC(Rec. ITU-T H.264 | ISO/IEC 14496-10) 및 HEVC(Rec. ITU-T H.265 | ISO/IEC 23008-2)에서 명시된 유사한 SEI 메시지들과 정렬된다.
각각의 SEI 메시지에 대한 시맨틱들 및 지속성 범주는 각각의 특정 SEI 메시지에 대한 시맨틱 규격에서 명시된다.
주 - SEI 메시지들에 대한 지속성 정보가 표 142에 유익하게 요약되어 있다.
JVET-T2001은 추가로 하기를 규정한다:
Rec. ITU-T H.274 | ISO/IEC 23002-7에서 명시된, [표 5]에서 식별된 신택스 구조들을 갖는 SEI 메시지들은 이러한 규격에 의해 명시된 비트스트림들과 함께 사용될 수 있다.
임의의 특정 Rec. ITU-T H.274 | ISO/IEC 23002-7 SEI 메시지가 이러한 규격에 의해 명시된 비트스트림에 포함될 때, SEI 페이로드 신택스는 [표 5]에 특정된 바와 같은 sei_payload() 신택스 구조에 포함될 것이고, [표 5]에 특정된 payloadType 값을 사용할 것이고, 추가적으로, 해당 특정 SEI 메시지에 대해 이러한 부록에서 명시된 임의의 SEI-메시지-특정적 제약들이 적용될 것이다.
상기에 명시된 바와 같은 PayloadBits의 값은 Rec. ITU-T H.274 | ISO/IEC 23002-7에서 명시된 SEI 메시지 신택스 구조들의 파서(parser)로 전달된다.
문헌["Versatile supplemental enhancement information (Draft 5)", 18th Meeting of ISO/IEC JTC1/SC29/WG11 15 - 24 April 2020, Teleconference, document JVET-S2007-v7](이는 본 명세서에서 참고로 포함되고, JVET-S2007로 지칭됨)은 코딩된 비디오 비트스트림들과 함께 사용하기 위한 보충 향상 정보(SEI) 메시지들 및 비디오 사용가능성 정보(video usability information, VUI) 파라미터들의 신택스 및 시맨틱들을 특정한다는 점에 유의해야 한다. 특히, JVET-S2007은 사용자 데이터 등록 SEI 메시지 및 사용자 데이터 미등록 SEI 메시지를 설명한다. 표 6은 JVET-S2007에서 규정된 사용자 데이터 등록 SEI 메시지의 신택스를 예시한다.
[표 6]
표 6과 관련하여, JVET-S2007은 하기의 시맨틱들을 규정한다:
이러한 SEI 메시지는 권고 ITU-T T.35에 명시된 바와 같이 등록된 사용자 데이터를 포함하며, 이의 내용들은 본 명세서에서 특정되지 않는다.
itu_t_t35_country_code는 권고 ITU-T T.35:2000, 부록 A에 의해 국가 코드로서 명시된 값을 갖는 바이트일 것이다.
itu_t_t35_country_code_extension_byte는 권고 ITU-T T.35:2000, 부록 B에 의해 국가 코드로서 명시된 값을 갖는 바이트일 것이다.
itu_t_t35_payload_byte는 권고 ITU-T T.35에 명시된 바와 같이 등록된 데이터를 포함하는 바이트일 것이다.
ITU-T T.35 단말기 제공자 코드 및 단말기 제공자 지향 코드는 단말기 제공자 코드를 발행한 관리기관에 의해 특정된 포맷에서, itu_t_t35_payload_byte의 제1 하나 이상의 바이트들에 포함될 것이다. 임의의 남은 itu_t_t35_payload_byte 데이터는 ITU-T T.35 국가 코드 및 단말기 제공자 코드에 의해 식별된 엔티티에 의해 명시된 바와 같은 신택스 및 시맨틱들을 갖는 데이터일 것이다.
표 7은 JVET-S2007에서 규정된 사용자 데이터 미등록 SEI 메시지의 신택스를 예시한다.
[표 7]
표 7과 관련하여, JVET-S2007은 하기의 시맨틱들을 규정한다:
이러한 SEI 메시지는 범용 고유 식별자(universal unique identifier, UUID)에 의해 식별된 미등록 사용자 데이터를 포함하며, 이의 내용들은 본 명세서에서 특정되지 않는다.
uuid_iso_iec_11578은 ISO/IEC 11578:1996, 부록 A의 절차들에 따라 UUID로서 특정된 값을 가질 것이다.
user_data_payload_byte는 UUID 생성기에 의해 특정된 바와 같은 신택스 및 시맨틱들을 갖는 데이터를 포함하는 바이트일 것이다.
전술된 바와 같이, JVET-AA2006은 NN 포스트-필터 보충 향상 정보 메시지들을 규정한다. 특히, JVET-AA2006은 신경 네트워크 포스트-필터 특성 SEI 메시지(payloadType == 210) 및 신경 네트워크 포스트-필터 활성화 SEI 메시지(payloadType == 211)를 규정한다. 표 8 및 표 9는 JVET-AA2006에서 규정된 신경 네트워크 포스트-필터 특성 SEI 메시지의 신택스를 예시한다. 신경 네트워크 포스트-필터 특성 SEI 메시지는 NNPFC SEI로 지칭될 수 있다는 점에 유의해야 한다.
[표 8]
[표 9]
표 8 및 표 9와 관련하여, JVET-AA2006은 하기의 시맨틱들을 규정한다:
이러한 SEI 메시지는 포스트-프로세싱 필터로서 사용될 수 있는 신경 네트워크를 명시한다. 특정 픽처들을 위한 특정된 포스트-프로세싱 필터들의 사용은 신경 네트워크 포스트-필터 활성화 SEI 메시지들로 표시된다.
이러한 SEI 메시지의 사용은 하기의 변수들의 정의를 필요로 한다:
-
본 명세서에서 각각 CroppedWidth 및 CroppedHeight로 표기되는, 루마 샘플들의 단위의 크롭(crop)된 디코딩된 출력 픽처 폭 및 높이.
-
존재 시, 수직 좌표들 y 및 수평 좌표들 x에 대한 크롭된 디코딩된 출력 픽처의 루마 샘플 어레이 CroppedYPic 및 크로마 샘플 어레이들 CroppedCbPic 및 CroppedCrPic - 여기서, 샘플 어레이의 상단 좌측 코너는 0과 동일한 좌표 y 및 0과 동일한 좌표 x를 가짐.
-
크롭된 디코딩된 출력 픽처의 루마 샘플 어레이에 대한 비트 깊이 BitDepthY.
-
존재하는 경우, 크롭된 디코딩된 출력 픽처의 크로마 샘플 어레이들에 대한 비트 깊이 BitDepthC.
-
본 명세서에서 ChromaFormatIdc로 표기되는 크로마 포맷 표시자.
-
nnpfc_auxiliary_inp_idc가 1과 동일할 때, 양자화 강도 값 StrengthControlVal.
이러한 SEI 메시지가 포스트-프로세싱 필터로서 사용될 수 있는 신경 네트워크를 특정할 때, 시맨틱들은, nnpfc_out_order_idc의 값으로 표시되는 바와 같은, 포스트-프로세싱 필터의 출력을 포함하는 루마 샘플 어레이 FilteredYPic[ x ][ y ] 및 크로마 샘플 어레이들 FilteredCbPic[ x ][ y ] 및 FilteredCrPic[ x ][ y ]의 도출을 특정한다.
변수들 SubWidthC 및 SubHeightC는 표 10에 의해 특정된 바와 같은 ChromaFormatIdc로부터 도출된다.
[표 10]
nnpfc_id는 포스트-프로세싱 필터를 식별하는 데 사용될 수 있는 식별 번호를 포함한다. nnpfc_id의 값은 0 내지 232 - 2(이를 포함함)의 범위 내에 있을 것이다.
256 내지 511(이를 포함함)의 그리고 231 내지 232 - 2(이를 포함함)의 nnpfc_id의 값들은 ITU-T | ISO/IEC에 의한 향후 사용을 위해 예약된다. 256 내지 511(이를 포함함)의 범위 내의, 또는 231 내지 232 - 2(이를 포함함)의 범위 내의 nnpfc_id의 값과 접하는 디코더들은 그것을 무시할 것이다.
0과 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가 이러한 규격에서 명시되지 않은 외부 수단에 의해 결정됨을 특정한다.
1과 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가 이러한 SEI 메시지에 포함된 ISO/IEC 15938-17 비트스트림에 의해 표현되는 신경 네트워크임을 특정한다.
2와 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가 특정된 태그 URI(Uniform Resource Identifier)(nnpfc_uri_tag[ i ]) 및 신경 네트워크 정보 URI(nnpfc_uri[ i ])에 의해 식별된 신경 네트워크임을 특정한다.
nnpfc_mode_idc의 값은 0 내지 255(이를 포함함)의 범위 내에 있을 것이다. 2 초과의 nnpfc_mode_idc의 값들은 ITU-T | ISO/IEC에 의한 향후 규격을 위해 예약되고, 이러한 규격의 이러한 버전에 순응하는 비트스트림들에 존재하지 않을 것이다. 이러한 규격의 이러한 버전에 순응하는 디코더들은 nnpfc_mode_idc의 예약된 값들을 포함하는 SEI 메시지들을 무시할 것이다.
0과 동일한 nnpfc_purpose_and_formatting_flag는 필터 목적, 입력 포맷화, 출력 포맷화, 및 복잡도와 관련된 신택스 요소들이 존재하지 않음을 특정한다. 1과 동일한 nnpfc_purpose_and_formatting_flag는 필터 목적, 입력 포맷화, 출력 포맷화, 및 복잡도와 관련된 신택스 요소들이 존재함을 특정한다.
nnpfc_mode_idc가 1과 동일하고 현재 CLVS가 디코딩 순서에서, 이러한 SEI 메시지에 nnpfc_id의 값과 동일한 nnpfc_id의 값을 갖는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지를 포함하지 않을 때, nnpfc_purpose_and_formatting_flag는 1과 동일할 것이다.
현재 CLVS가 디코딩 순서에서, 이러한 SEI 메시지에서 nnpfc_id의 값과 동일한 nnpfc_id의 동일한 값을 갖는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지를 포함할 때, 하기의 조건들 중 적어도 하나가 적용될 것이다:
-
이러한 SEI 메시지는 신경 네트워크 업데이트를 제공하기 위해 1과 동일한 nnpfc_mode_idc 및 0과 동일한 nnpfc_purpose_and_formatting_flag를 갖는다.
-
이러한 SEI 메시지는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지와 동일한 콘텐츠를 갖는다.
이러한 SEI 메시지가 디코딩 순서에서, 현재 CLVS 내에 특정 nnpfc_id 값을 갖는 제1 신경 네트워크 포스트-필터 특성 SEI 메시지일 때, 그것은 현재 CLVS의 종료 때까지, 출력 순서에서, 현재 계층의 현재 디코딩된 픽처 및 모든 후속 디코딩된 픽처들에 관련된 기초 포스트-프로세싱 필터를 특정한다. 이러한 SEI 메시지가 디코딩 순서에서 현재 CLVS 내에 특정 nnpfc_id 값을 갖는 제1 신경 네트워크 포스트-필터 특성 SEI 메시지가 아닐 때, 이러한 SEI 메시지는 현재 CLVS의 종료 때까지, 출력 순서에서, 현재 계층의 현재 디코딩된 픽처 및 모든 후속 디코딩된 픽처들에 관련되거나, 또는 현재 CLVS 내에서, 출력 순서에서, 해당 특정 nnpfc_id 값을 갖는 다음 신경 네트워크 포스트-필터 특성 SEI 메시지에 관련된다.
nnpfc_purpose는 표 11에 특정된 바와 같은 포스트-프로세싱 필터의 목적을 나타낸다. nnpfc_purpose의 값은 0 내지 232 - 2(이를 포함함)의 범위 내에 있을 것이다. 표 11에 나타나지 않은 nnpfc_mode_idc의 값들은 ITU-T | ISO/IEC에 의한 향후 규격을 위해 예약되고, 이러한 규격의 이러한 버전에 순응하는 비트스트림들에 존재하지 않을 것이다. 이러한 규격의 이러한 버전에 순응하는 디코더들은 nnpfc_purpose의 예약된 값들을 포함하는 SEI 메시지들을 무시할 것이다.
[표 11]
주 - nnpfc_purpose의 예약된 값이 ITU-T | ISO/IEC에 의해 향후에 사용될 때, 이러한 SEI 메시지의 신택스는 해당 값과 동일한 nnpfc_purpose에 의해 컨디셔닝되는 존재를 갖는 신택스 요소들을 사용하여 확장될 수 있다.
SubWidthC가 1과 동일하고 SubHeightC가 1과 동일할 때, nnpfc_purpose는 2 또는 4와 동일하지 않을 것이다.
1과 동일한 nnpfc_out_sub_c_flag는 outSubWidthC가 1과 동일하고 outSubHeightC가 1과 동일함을 특정한다. 0과 동일한 nnpfc_out_sub_c_flag는 outSubWidthC가 2와 동일하고 outSubHeightC가 1과 동일함을 특정한다. nnpfc_out_sub_c_flag가 존재하지 않을 때, outSubWidthC는 SubWidthC와 동일한 것으로 추론되고 outSubHeightC는 SubHeightC와 동일한 것으로 추론된다. SubWidthC이 2와 동일하고 SubHeightC가 1과 동일할 때, nnpfc_out_sub_c_flag는 0과 동일하지 않을 것이다.
nnpfc_pic_width_in_luma_samples 및 nnpfc_pic_height_in_luma_samples는 nnpfc_id에 의해 식별된 포스트-프로세싱 필터를 크롭된 디코딩된 출력 픽처에 적용함으로써 생성된 픽처의 루마 샘플 어레이의 폭 및 높이를 각각 특정한다. nnpfc_pic_width_in_luma_samples 및 nnpfc_pic_height_in_luma_samples가 존재하지 않을 때, 이들은 각각 CroppedWidth 및 CroppedHeight와 동일한 것으로 추론된다.
0과 동일한 nnpfc_component_last_flag는 포스트-프로세싱 필터로의 입력 텐서 inputTensor 및 포스트-프로세싱 필터로부터 생성된 출력 텐서 outputTensor의 제2 치수가 채널에 사용됨을 특정한다. 1과 동일한 nnpfc_component_last_flag는 포스트-프로세싱 필터로의 입력 텐서 inputTensor 및 포스트-프로세싱 필터로부터 생성된 출력 텐서 outputTensor의 마지막 치수가 채널에 사용됨을 특정한다.
주 - 입력 텐서 및 출력 텐서의 제1 치수는 배치 인덱스에 사용되는데, 이는 일부 신경 네트워크 프레임워크들에서의 관행이다. 이러한 SEI 메시지의 시맨틱들이 1과 동일한 배치 크기를 사용하지만, 신경 네트워크 추론에 대한 입력으로서 사용되는 배치 크기를 결정하는 것은 포스트-프로세싱 구현에 달려 있다.
주 - 색상 성분은 채널의 일례이다.
nnpfc_inp_format_flag는 크롭된 디코딩된 출력 픽처의 샘플 값을 포스트-프로세싱 필터에 대한 입력 값으로 변환하는 방법을 나타낸다. nnpfc_inp_format_flag가 0과 동일할 때, 포스트-프로세싱 필터에 대한 입력 값들은 실수들이고, 함수들 InpY() 및 InpC()는 하기와 같이 특정된다:
nnpfc_inp_format_flag가 1과 동일할 때, 포스트-프로세싱 필터에 대한 입력 값들은 부호없는 정수들이고, 함수들 InpY() 및 InpC()는 하기와 같이 특정된다:
변수 inpTensorBitDepth는 하기에 특정되는 바와 같은 신택스 요소 nnpfc_inp_tensor_bitdepth_minus8로부터 도출된다.
nnpfc_inp_tensor_bitdepth_minus8 + 8은 입력 정수 텐서의 루마 샘플 값들의 비트 깊이를 특정한다. inpTensorBitDepth의 값은 하기와 같이 도출된다:
inpTensorBitDepth = nnpfc_inp_tensor_bitdepth_minus8 + 8
nnpfc_inp_tensor_bitdepth_minus8의 값은 0 내지 24(이를 포함함)의 범위 내에 있을 것이라는 것이 비트스트림 순응성의 요건이다.
0과 동일하지 않은 nnpfc_auxiliary_inp_idc는 보조 입력 데이터가 신경 네트워크 포스트-필터의 입력 텐서에 존재함을 특정한다. 0과 동일한 nnpfc_auxiliary_inp_idc는 보조 입력 데이터가 입력 텐서에 존재하지 않음을 나타낸다. 1과 동일한 nnpfc_auxiliary_inp_idc는 보조 입력 데이터가 표 14에 특정된 바와 같이 도출됨을 특정한다. nnpfc_auxiliary_inp_idc의 값은 0 내지 255(이를 포함함)의 범위 내에 있을 것이다. 1 초과의 nnpfc_auxiliary_inp_idc의 값들은 ITU-T | ISO/IEC에 의한 향후 규격을 위해 예약되고, 이러한 규격의 이러한 버전에 순응하는 비트스트림들에 존재하지 않을 것이다. 이러한 규격의 이러한 버전에 순응하는 디코더들은 nnpfc_auxiliary_inp_idc의 예약된 값들을 포함하는 SEI 메시지들을 무시할 것이다.
1과 동일한 nnpfc_separate_colour_description_present_flag는 포스트-프로세싱 필터로부터 생성된 픽처에 대한 원색들, 전달 특성들, 및 매트릭스 계수들의 개별 조합이 SEI 메시지 신택스 구조에서 특정됨을 나타낸다. 0과 동일한 nnfpc_separate_colour_description_present_flag는 포스트-프로세싱 필터로부터 생성된 픽처에 대한 원색들, 전달 특성들, 및 매트릭스 계수들의 조합이 CLVS에 대한 VUI 파라미터들에 나타내진 바와 동일함을 나타낸다.
nnpfc_colour_primaries는 vui_colour_primaries 신택스 요소에 대해 특정된 바와 동일한 시맨틱들을 갖는데, 이들은 하기와 같다:vui_colour_primaries는 소스 원색들의 색도 좌표들을 나타낸다. 그의 시맨틱들은 Rec. ITU-T H.273 | ISO/IEC 23091-2에서 ColourPrimaries 파라미터에 대해 명시된 바와 같다. vui_colour_primaries 신택스 요소가 존재하지 않을 때, vui_colour_primaries의 값은 2와 동일한 것으로 추론된다(색도는 알려져 있지 않거나 명시되어 있지 않거나, 또는 이러한 규격에서 명시되지 않은 다른 수단에 의해 결정됨). Rec. ITU-T H.273 | ISO/IEC 23091-2에서 향후 사용을 위해 예약된 것으로서 식별되는 vui_colour_primaries의 값들은 이러한 규격의 이러한 버전에 순응하는 비트스트림들에 존재하지 않을 것이다. 디코더들은 vui_colour_primaries의 예약된 값들을 값 2와 동등한 것으로서 해석할 것이다.
하기를 제외한다:
-
nnpfc_colour_primaries는 CLVS에 사용되는 원색들보다는, SEI 메시지에서 특정된 신경 네트워크 포스트- 필터를 적용하는 것으로부터 생성된 픽처의 원색들을 특정한다.
-
nnpfc_colour_primaries가 신경 네트워크 포스트-필터 특성 SEI 메시지에 존재하지 않을 때, nnpfc_colour_primaries의 값은 vui_colour_primaries와 동일한 것으로 추론된다.
nnpfc_transfer_characteristics는 vui_transfer_characteristics 신택스 요소에 대해 특정된 바와 동일한 시맨틱들을 갖는데, 이들은 하기와 같다:vui_transfer_characteristics는 색상 표현의 전달 특성 함수를 나타낸다. 그의 시맨틱들은 Rec. ITU-T H.273 | ISO/IEC 23091-2에서 TransferCharacteristics 파라미터에 대해 명시된 바와 같다. vui_transfer_characteristics 신택스 요소가 존재하지 않을 때, vui_transfer_characteristics의 값은 2와 동일한 것으로 추론된다(전달 특성들은 알려져 있지 않거나 명시되어 있지 않거나 이러한 규격에서 명시되지 않은 다른 수단들에 의해 결정됨). Rec. ITU-T H.273 | ISO/IEC 23091-2에서 향후 사용을 위해 예약된 것으로서 식별되는 vui_transfer_characteristics의 값들은 이러한 규격의 이러한 버전에 순응하는 비트스트림들에 존재하지 않을 것이다. 디코더들은 vui_transfer_characteristics의 예약된 값들을 값 2와 동등한 것으로서 해석할 것이다.
하기를 제외한다:
-
nnpfc_transfer_characteristics는 CLVS에 사용되는 전달 특성들보다는, SEI 메시지에서 특정된 신경 네트워크 포스트- 필터를 적용하는 것으로부터 생성된 픽처의 전달 특성들을 특정한다.
-
nnpfc_transfer_characteristics가 신경 네트워크 포스트-필터 특성 SEI 메시지에 존재하지 않을 때, nnpfc_transfer_characteristics의 값은 vui_transfer_characteristics와 동일한 것으로 추론된다.
nnpfc_matrix_coeffs는 vui_matrix_coeffs 신택스 요소에 대해 특정된 바와 동일한 시맨틱들을 갖는데, 이들은 하기와 같다:vui_matrix_coeffs는 녹색, 청색, 및 적색, 또는 Y, Z, 및 X 원색들로부터 루마 및 크로마 신호들을 도출하는 데 사용되는 수학식들을 설명한다. 그의 시맨틱들은 Rec. ITU-T H.273 | ISO/IEC 23091-2에서 MatrixCoefficients에 대해 명시된 바와 같다.
vui_matrix_coeffs는 하기의 조건들 둘 모두가 참이 아닌 한, 0과 동일하지 않을 것이다:
-
BitDepthC가 BitDepthY과 동일하다.
-
ChromaFormatIdc가 3과 동일하다(4:4:4 크로마 포맷).
모든 다른 조건들 하에서 0과 동일한 vui_matrix_coeffs의 사용에 대한 규격은 ITU-T | ISO/IEC에 의한 향후 사용을 위해 예약된다.
vui_matrix_coeffs는 하기의 조건들 중 하나가 참인 한, 8과 동일하지 않을 것이다:
-
BitDepthC가 BitDepthY와 동일하다.
-
BitDepthC가 BitDepthY + 1과 동일하고 ChromaFormatldc가 3과 동일하다(4:4:4 크로마 포맷).
모든 다른 조건들 하에서 8과 동일한 vui_matrix_coeffs의 사용에 대한 규격은 ITU-T | ISO/IEC에 의한 향후 사용을 위해 예약된다.
vui_matrix_coeffs 신택스 요소가 존재하지 않을 때, vui_matrix_coeffs의 값은 2와 동일한 것으로 추론된다(알려져 있지 않거나 명시되어 있지 않거나, 또는 이러한 규격에서 명시되지 않은 다른 수단에 의해 결정됨).
하기를 제외한다:
-
nnpfc_matrix_coeffs는 CLVS에 사용되는 매트릭스 계수들보다는, SEI 메시지에서 특정된 신경 네트워크 포스트- 필터를 적용하는 것으로부터 생성된 픽처의 매트릭스 계수들을 특정한다.
-
nnpfc_matrix_coeffs가 신경 네트워크 포스트-필터 특성 SEI 메시지에 존재하지 않을 때, nnpfc_matrix_coeffs의 값은 vui_matrix_coeffs와 동일한 것으로 추론된다.
-
nnpfc_matrix_coeffs에 대해 허용된 값들은 VUI 파라미터들의 시맨틱들에 대한 ChromaFormatIdc의 값에 의해 나타내지는 디코딩된 비디오 픽처들의 크로마 포맷에 의해 제한되지 않는다.
-
nnpfc_matrix_coeffs가 0과 동일할 때, nnpfc_out_order_idc는 1 또는 3과 동일하지 않을 것이다.
nnpfc_inp_order_idc는 크롭된 디코딩된 출력 픽처의 샘플 어레이들을 포스트-프로세싱 필터에 대한 입력으로서 순서화하는 방법을 나타낸다. ㄹ는 nnpfc_inp_order_idc 값들에 대한 유익한 설명을 포함한다. 0 내지 3(이를 포함함)의 범위 내에 있는 nnpfc_inp_order_idc의 시맨틱들은 표 14에 특정되는데, 이는 nnpfc_inp_order_idc의 상이한 값들에 대한 입력 텐서들 inputTensor, 및 입력 텐서들에 포함된 샘플들의 패치에 대한 상단 좌측 샘플 위치를 특정하는 주어진 수직 샘플 좌표 cTop 및 수평 샘플 좌표 cLeft를 도출하기 위한 프로세스를 특정한다. 크롭된 디코딩된 출력 픽처의 크로마 포맷이 4:2:0이 아닐 때, nnpfc_inp_order_idc는 3과 동일하지 않을 것이다. nnpfc_inp_order_idc의 값은 0 내지 255(이를 포함함)의 범위 내에 있을 것이다. 3 초과의 nnpfc_inp_order_idc의 값들은 ITU-T | ISO/IEC에 의한 향후 규격을 위해 예약되고, 이러한 규격의 이러한 버전에 순응하는 비트스트림들에 존재하지 않을 것이다. 이러한 규격의 이러한 버전에 순응하는 디코더들은 nnpfc_inp_order_idc의 예약된 값들을 포함하는 SEI 메시지들을 무시할 것이다.
[표 12]
패치는 픽처의 성분(예컨대, 루마 또는 크로마 성분)으로부터의 샘플들의 직사각형 어레이이다.
0과 동일한 nnpfc_constant_patch_size_flag는 포스트-프로세싱 필터가 입력으로서 nnpfc_patch_width_minus1 및 nnpfc_patch_height_minus1에 의해 나타내지는 패치 크기의 양의 정수 배수인 임의의 패치 크기를 수용함을 특정한다. nnpfc_constant_patch_size_flag가 0과 동일할 때, 패치 크기 폭은 CroppedWidth 이하일 것이다. nnpfc_constant_patch_size_flag가 0과 동일할 때, 패치 크기 높이는 CroppedHeight 이하일 것이다. 1과 동일한 nnpfc_constant_patch_size_flag는 포스트-프로세싱 필터가 입력으로서 nnpfc_patch_width_minus1 및 nnpfc_patch_height_minus1에 의해 나타내지는, 정확히 패치 크기를 수용함을 특정한다.
nnpfc_patch_width_minus1 + 1은 nnpfc_constant_patch_size_flag가 1과 동일할 때, 포스트-프로세싱 필터에 대한 입력을 위해 요구되는 패치 크기의 수평 샘플 카운트들을 특정한다. nnpfc_constant_patch_size_flag가 0과 동일할 때, 포스트-프로세싱 필터에 대한 입력에 사용되는 패치 크기의 수평 샘플 카운트들로서 (nnpfc_patch_width_minus1 + 1)의 임의의 양의 정수 배가 사용될 수 있다. nnpfc_patch_width_minus1의 값은 0 내지 Min(32766, CroppedWidth - 1)(이를 포함함)의 범위 내에 있을 것이다.
nnpfc_patch_height_minus1 + 1은 nnpfc_constant_patch_size_flag가 1과 동일할 때, 포스트-프로세싱 필터에 대한 입력을 위해 요구되는 패치 크기의 수직 샘플 카운트들을 특정한다. nnpfc_constant_patch_size_flag가 0과 동일할 때, 포스트-프로세싱 필터에 대한 입력에 사용되는 패치 크기의 수직 샘플 카운트들로서 (nnpfc_patch_height_minus1 + 1)의 임의의 양의 정수 배가 사용될 수 있다. nnpfc_patch_height_minus1의 값은 0 내지 Min(32766, CroppedHeight - 1)(이를 포함함)의 범위 내에 있을 것이다.
nnpfc_overlap은 포스트-프로세싱 필터의 인접 입력 텐서들의 중첩되는 수평 및 수직 샘플 카운트들을 특정한다. nnpfc_overlap의 값은 0 내지 16383(이를 포함함)의 범위 내에 있을 것이다.
변수들 inpPatchWidth, inpPatchHeight, outPatchWidth, outPatchHeight, horCScaling, verCScaling, outPatchCWidth, outPatchCHeight, 및 overlapSize는 하기와 같이 도출된다:
outPatchWidth * CroppedWidth가 nnpfc_pic_width_in_luma_samples * inpPatchWidth와 동일할 것이고, outPatchHeight * CroppedHeight가 nnpfc_pic_height_in_luma_samples * inpPatchHeight와 동일할 것이라는 것이 비트스트림 순응성의 요건이다.
nnpfc_padding_type은 표 13에서 설명된 바와 같이 크롭된 디코딩된 출력 픽처의 경계들 외부의 샘플 위치들을 참조할 때 패딩(padding)하는 프로세스를 특정한다. nnpfc_padding_type의 값은 0 내지 15(이를 포함함)의 범위 내에 있을 것이다.
[표 13]
nnpfc_luma_padding_val은 nnpfc_padding_type이 4와 동일할 때 패딩에 사용될 루마 값을 특정한다.
nnpfc_cb_padding_val은 nnpfc_padding_type이 4와 동일할 때 패딩에 사용될 Cb 값을 특정한다.
nnpfc_cr_padding_val은 nnpfc_padding_type이 4와 동일할 때 패딩에 사용될 Cr 값을 특정한다.
입력들이 수직 샘플 위치 y, 수평 샘플 위치 x, 픽처 높이 picHeight, 픽처 폭 picWidth, 및 샘플 어레이 croppedPic인 함수 InpSampleVal(y, x, picHeight, picWidth, croppedPic)은 하기와 같이 도출되는 sampleVal의 값을 반환한다:
[표 14]
0 초과의 nnpfc_complexity_idc는 nnpfc_id와 연관된 포스트-프로세싱 필터의 복잡도를 나타내는 하나 이상의 신택스 요소들이 존재할 수 있음을 특정한다. 0과 동일한 nnpfc_complexity_idc는 nnpfc_id와 연관된 포스트-프로세싱 필터의 복잡도를 나타내는 신택스 요소들이 존재하지 않음을 특정한다. nnpfc_complexity_idc의 값은 0 내지 255(이를 포함함)의 범위 내에 있을 것이다. 1 초과의 nnpfc_complexity_idc의 값들은 ITU-T | ISO/IEC에 의한 향후 규격을 위해 예약되고, 이러한 규격의 이러한 버전에 순응하는 비트스트림들에 존재하지 않을 것이다. 이러한 규격의 이러한 버전에 순응하는 디코더들은 nnpfc_complexity_idc의 예약된 값들을 포함하는 SEI 메시지들을 무시할 것이다.
0과 동일한 nnpfc_out_format_flag는, 포스트-프로세싱 필터에 의해 출력된 샘플 값들이 실수들이고, 포스트-프로세싱에 의해 각각 출력된 루마 샘플 값들 및 크로마 샘플 값들을 비트 깊이들 BitDepthY 및 BitDepthC에서의 정수 값들로 각각 변환하기 위한 함수들 OutY() 및 OutC()이 하기와 같이 특정됨을 나타낸다:
1과 동일한 nnpfc_out_format_flag는 포스트-프로세싱 필터에 의해 출력된 샘플 값들이 부호없는 정수들이고, 함수들 OutY() 및 OutC()가 하기와 같이 특정됨을 나타낸다:
변수 outTensorBitDepth는 후술되는 바와 같은 신택스 요소 nnpfc_out_tensor_bitdepth_minus8로부터 도출된다.
nnpfc_out_tensor_bitdepth_minus8 + 8은 출력 정수 텐서에서의 샘플 값들의 비트 깊이를 특정한다. outTensorBitDepth의 값은 하기와 같이 도출된다:
outTensorBitDepth = nnpfc_out_tensor_bitdepth_minus8 + 8
nnpfc_out_tensor_bitdepth_minus8의 값은 0 내지 24(이를 포함함)의 범위 내에 있을 것이라는 것이 비트스트림 순응성의 요건이다.
nnpfc_out_order_idc는 포스트-프로세싱 필터로부터 생성된 샘플들의 출력 순서를 나타낸다. 표 15는 nnpfc_out_order_idc 값들에 대한 유익한 설명을 포함한다. 0 내지 3(이를 포함함)의 범위 내에 있는 nnpfc_out_order_idc의 시맨틱들은 표 16에 특정되는데, 이는 nnpfc_out_order_idc의 상이한 값들에 대한 출력 텐서들 outputTensor로부터 필터링된 출력 샘플 어레이들 FilteredYPic, FilteredCbPic, 및 FilteredCrPic 내의 샘플 값들, 및 입력 텐서들에 포함된 샘플들의 패치에 대한 상단 좌측 샘플 위치를 특정하는 주어진 수직 샘플 좌표 cTop 및 수평 샘플 좌표 cLeft를 도출하기 위한 프로세스를 특정한다. nnpfc_purpose가 2 또는 4와 동일할 때, nnpfc_out_order_idc는 3과 동일하지 않을 것이다. nnpfc_out_order_idc의 값은 0 내지 255(이를 포함함)의 범위 내에 있을 것이다. 3 초과의 nnpfc_out_order_idc의 값들은 ITU-T | ISO/IEC에 의한 향후 규격을 위해 예약되고, 이러한 규격의 이러한 버전에 순응하는 비트스트림들에 존재하지 않을 것이다. 이러한 규격의 이러한 버전에 순응하는 디코더들은 nnpfc_out_order_idc의 예약된 값들을 포함하는 SEI 메시지들을 무시할 것이다.
[표 15]
[표 16]
크롭된 디코딩된 출력 픽처 picA에 대한 기초 포스트-프로세싱 필터는, CLVS 내에서 특정 nnpfc_id 값을 갖는, 디코딩 순서에서 제1 신경 네트워크 포스트-필터 특성 SEI 메시지에 의해 식별되는 필터이다.
동일한 nnpfc_id 값을 갖고, 1과 동일한 nnpfc_mode_idc를 갖고, 기초 포스트-프로세싱 필터를 정의하는 신경 네트워크 포스트-필터 특성 SEI 메시지와는 상이한 콘텐츠를 갖고, 픽처 picA와 관련된 다른 신경 네트워크 포스트-필터 특성 SEI 메시지가 있는 경우, 기초 포스트-프로세싱 필터는 포스트-프로세싱 필터 PostProcessingFilter()를 얻기 위해 해당 신경 네트워크 포스트-필터 특성 SEI 메시지에서 ISO/IEC 15938-17 비트스트림을 디코딩함으로써 업데이트된다. 그렇지 않은 경우, 포스트-프로세싱 필터 PostProcessingFilter()는 기초 포스트-프로세싱 필터와 동일한 것으로 배정된다.
하기의 프로세스는 nnpfc_out_order_idc에 의해 나타내진 바와 같이, Y, Cb, 및 Cr 샘플 어레이들 FilteredYPic, FilteredCbPic, 및 FilteredCrPic를 각각 포함하는 필터링된 픽처를 생성하기 위해 포스트-프로세싱 필터 PostProcessingFilter()를 사용하여, 크롭된 디코딩된 출력 픽처를 필터링하는 데 사용된다.
nnpfc_reserved_zero_bit는 0과 동일할 것이다.
nnpfc_uri_tag[ i ]는 태그 URI를 특정하는 NULL-종단형 UTF-8 문자열을 포함한다. UTF-8 문자열은 IETF RFC 4151에서 명시된 바와 같은 신택스 및 시맨틱들을 갖는 URI를 포함할 것인데, 이는 nnrpf_uri[ i ] 값들에 의해 특정된 포스트-프로세싱 필터로서 사용된 신경 네트워크에 관한 포맷 및 연관된 정보를 고유하게 식별한다.
주 - nnrpf_uri_tag[ i ] 요소들은 '태그' URI를 표현하는데, 이는 중앙 등록 기관을 필요로 하지 않고서 nnrpf_uri[ i ] 값들에 의해 특정된 신경 네트워크 데이터의 포맷을 고유하게 식별하는 것을 가능하게 한다.
nnpfc_uri[ i ]는 ISO/IEC 10646에서 명시된 바와 같이, NULL-종단형 UTF-8 문자열을 포함할 것이다. UTF-8 문자열은 IETF 인터넷 표준 66에서 명시된 바와 같은 신택스 및 시맨티들을 갖는 URI를 포함할 것인데, 이는 포스트-프로세싱 필터로서 사용되는 신경 네트워크 정보(예컨대, 데이터 표현)를 식별한다.
nnpfc_payload_byte[ i ]는 ISO/IEC 15938-17에 순응하는 비트스트림의 i-번째 바이트를 포함한다. i의 모든 존재 값들에 대한 바이트 시퀀스 nnpfc_payload_byte[ i ]는 ISO/IEC 15938-17에 순응하는 완전 비트스트림일 것이다.
0과 동일한 nnpfc_parameter_type_idc는 신경 네트워크가 정수 파라미터들만을 사용함을 나타낸다. 1과 동일한 nnpfc_parameter_type_flag는 신경 네트워크가 부동소수점 또는 정수 파라미터들을 사용할 수 있음을 나타낸다. 2와 동일한 nnpfc_parameter_type_idc는 신경 네트워크가 이진수 파라미터들만을 사용함을 나타낸다. 3과 동일한 nnpfc_parameter_type_idc는 ITU-T | ISO/IEC에 의한 향후 규격을 위해 예약되고, 이러한 규격의 이러한 버전에 순응하는 비트스트림들에 존재하지 않을 것이다. 이러한 규격의 이러한 버전에 순응하는 디코더들은 nnpfc_parameter_type_idc의 예약된 값을 포함하는 SEI 메시지들을 무시할 것이다.
0, 1, 2, 및 3과 동일한 nnpfc_log2_parameter_bit_length_minus3은 신경 네트워크가 각각 8, 16, 32, 및 64 초과의 비트 길이의 파라미터들을 사용하지 않음을 나타낸다. nnpfc_parameter_type_idc가 존재하고 nnpfc_log2_parameter_bit_length_minus3이 존재하지 않을 때, 신경 네트워크는 1 초과의 비트 길이의 파라미터들을 사용하지 않는다.
nnpfc_num_parameters_idc는 포스트-프로세싱 필터에 대한 신경 네트워크 파라미터들의 최대 수를 2048의 제곱의 단위들로 나타낸다. 0과 동일한 nnpfc_num_parameters_idc는 신경 네트워크 파라미터들의 최대 수가 특정되지 않음을 나타낸다. nnpfc_num_parameters_idc의 값은 0 내지 52(이를 포함함)의 범위 내에 있을 것이다. 52 초과의 nnpfc_num_parameters_idc의 값들은 ITU-T | ISO/IEC에 의한 향후 규격을 위해 예약되고, 이러한 규격의 이러한 버전에 순응하는 비트스트림들에 존재하지 않을 것이다. 이러한 규격의 이러한 버전에 순응하는 디코더들은 nnpfc_num_parameters_idc의 예약된 값들을 포함하는 SEI 메시지들을 무시할 것이다.
nnpfc_num_parameters_idc의 값이 0 초과인 경우, 변수 maxNumParameters는 하기와 같이 도출된다:
maxNumParameters = (2048 << nnpfc_num_parameters_idc) - 1
포스트-프로세싱 필터의 신경 네트워크 파라미터들의 수가 maxNumParameters 이하일 것이라는 것이 비트스트림 순응성의 요건이다.
0 초과의 nnpfc_num_kmac_operations_idc는 포스트-프로세싱 필터의 샘플당 곱셈-누산 연산들의 최대 수가 nnpfc_num_kmac_operations_idc * 1000 이하임을 특정한다. 0과 동일한 nnpfc_num_kmac_operations_idc는 네트워크의 곱셈-누산 연산들의 최대 수가 특정되지 않음을 특정한다. nnpfc_num_kmac_operations_idc의 값은 0 내지 232 - 1(이를 포함함)의 범위 내에 있을 것이다.
표 17은 JVET-AA2006에서 규정된 신경 네트워크 포스트-필터 활성화 SEI 메시지의 신택스를 예시한다.
[표 17]
표 17와 관련하여, JVET-AA2006은 하기의 시맨틱들을 규정한다.
이러한 SEI 메시지는 현재 픽처에 대한 포스트-프로세싱 필터링에 사용될 수 있는 신경 네트워크 포스트-프로세싱 필터를 명시한다.
신경 네트워크 포스트-프로세싱 필터 활성화 SEI 메시지는 현재 픽처에 대해서만 지속된다.
주 - 예를 들어, 포스트-프로세싱 필터들이 상이한 목적들을 위해 의도되거나 상이한 색상 성분들을 필터링할 때, 동일한 픽처에 대해 존재하는 여러 개의 신경 네트워크 포스트-프로세싱 필터 활성화 SEI 메시지들이 있을 수 있다.
nnpfa_id는, 현재 픽처와 관련되고 nnfpa_id와 동일한 nnpfc_id를 갖는 하나 이상의 신경 네트워크 포스트-프로세싱 필터 특성 SEI 메시지들에 의해 명시되는 신경 네트워크 포스트-프로세싱 필터가 현재 픽처에 대한 포스트-프로세싱 필터링에 사용될 수 있음을 특정한다.
또한, 일부 경우들에 있어서, NN 포스트-필터 특성 SEI 메시지의 사용과 관련하여, 하기에 유의해야 한다:
신경 네트워크 포스트-필터 특성 SEI 메시지의 해석의 목적을 위해, 하기의 변수들이 특정된다:
-
InpPicWidthInLumaSamples가
pps_pic_width_in_luma_samples - SubWidthC * (pps_conf_win_left_offset + pps_conf_win_right_offset)와 동일하게 설정된다.
-
InpPicHeightInLumaSamples가
pps_pic_height_in_luma_samples - SubHeightC * (pps_conf_win_top_offset + pps_conf_win_bottom_offset)와 동일하게 설정된다.
-
변수들 CroppedYPic[ y ][ x ] 및 크로마 샘플 어레이들 CroppedCbPic[ y ][ x ] 및
CroppedCrPic[ y ][ x ]는, 존재 시, 신경 네트워크 포스트-필터 특성 SEI 메시지가 적용되는 크롭된 디코딩된 출력 픽처의 0-번째, 1-번째, 및 2-번째 성분 각각의 디코딩된 샘플 값들의 2차원 어레이들인 것으로 설정된다.
-
BitDepthY 및 BitDepthC 둘 모두가 BitDepth와 동일하게 설정된다.
-
InpSubWidthC가 SubWidthC와 동일하게 설정된다.
-
InpSubHeightC가 SubHeightC와 동일하게 설정된다.
-
SliceQPY가 SliceQpY와 동일하게 설정된다.
동일한 nnpfc_id 및 상이한 콘텐츠를 갖는 신경 네트워크 포스트-필터 특성 SEI 메시지가 동일한 픽처 유닛에 존재할 때, 신경 네트워크 포스트-필터 특성 SEI 메시지들 둘 모두는 동일한 SEI NAL 유닛에 존재할 것이다.
JVET-AA2006에서 규정된 신경 네트워크 포스트-필터 특성 SEI 메시지 메시지는 이상적이지 않을 수 있다. 특히, 예를 들어, JVET-AA2006에서의 시그널링은 이전에 시그널링된 신경 네트워크 포스트-필터 파라미터들을 업데이트하는 데 불충분할 수 있다. 본 명세서에 기술된 기법들에 따르면, 예를 들어, 이전에 시그널링된 신경 네트워크 포스트-필터 파라미터들에 대한 업데이트들을 포함한, 신경 네트워크 포스트-필터 파라미터들을 나타내기 위한 추가적인 신택스 및 시맨틱들이 제공된다.
도 1은 본 개시내용의 하나 이상의 기법들에 따른, 비디오 데이터를 코딩하도록(즉, 인코딩하고/하거나 디코딩하도록) 구성될 수 있는 시스템의 일례를 예시하는 블록도이다. 시스템(100)은 본 개시내용의 하나 이상의 기법들에 따른, 비디오 데이터를 캡슐화할 수 있는 시스템의 일례를 표현한다. 도 1에 도시된 바와 같이, 시스템(100)은 소스 디바이스(102), 통신 매체(110), 및 목적지 디바이스(120)를 포함한다. 도 1에 도시된 예에서, 소스 디바이스(102)는 비디오 데이터를 인코딩하도록 그리고 인코딩된 비디오 데이터를 통신 매체(110)에 송신하도록 구성된 임의의 디바이스를 포함할 수 있다. 목적지 디바이스(120)는 인코딩된 비디오 데이터를 통신 매체(110)를 통하여 수신하도록 그리고 인코딩된 비디오 데이터를 디코딩하도록 구성된 임의의 디바이스를 포함할 수 있다. 소스 디바이스(102) 및/또는 목적지 디바이스(120)는 유선 및/또는 무선 통신을 위해 구비된 컴퓨팅 디바이스들을 포함할 수 있고, 예를 들어, 셋톱 박스, 디지털 비디오 레코더, 텔레비전, 데스크톱, 랩톱 또는 태블릿 컴퓨터, 게이밍 콘솔, 의료용 이미징 디바이스, 및 예를 들어 스마트폰, 셀룰러 전화, 개인 게이밍 디바이스를 포함하는 모바일 디바이스를 포함할 수 있다.
통신 매체(110)는 무선 및 유선 통신 매체, 및/또는 저장 디바이스들의 임의의 조합을 포함할 수 있다. 통신 매체(110)는 동축 케이블, 광섬유 케이블, 연선 케이블, 무선 송신기 및 수신기, 라우터, 스위치, 리피터, 기지국, 또는 다양한 디바이스들 및 장소들 사이의 통신을 용이하게 하는 데 유용할 수 있는 임의의 다른 장비를 포함할 수 있다. 통신 매체(110)는 하나 이상의 네트워크들을 포함할 수 있다. 예를 들어, 통신 매체(110)는 월드 와이드 웹, 예를 들어 인터넷에의 액세스를 가능하게 하도록 구성된 네트워크를 포함할 수 있다. 네트워크는 하나 이상의 전기통신 프로토콜들의 조합에 따라 동작할 수 있다. 전기통신 프로토콜들은 독점적인 태양들을 포함할 수 있고/있거나 표준화된 전기통신 프로토콜들을 포함할 수 있다. 표준화된 전기통신 프로토콜들의 예들은 DVB(Digital Video Broadcasting) 표준, ATSC(Advanced Television Systems Committee) 표준, ISDB(Integrated Services Digital Broadcasting) 표준, DOCSIS(Data Over Cable Service Interface Specification) 표준, GSM(Global System Mobile Communications) 표준, CDMA(code division multiple access) 표준, 3GPP(3rd Generation Partnership Project) 표준, ETSI(European Telecommunications standards Institute) 표준, IP(Internet Protocol) 표준, WAP(Wireless Application Protocol) 표준, 및 IEEE(Institute of Electrical and Electronics Engineers) 표준을 포함한다.
저장 디바이스들은 데이터를 저장할 수 있는 임의의 유형의 디바이스 또는 저장 매체를 포함할 수 있다. 저장 매체는 유형적인 또는 비일시적인 컴퓨터 판독가능 매체를 포함할 수 있다. 컴퓨터 판독가능 매체는 광학 디스크, 플래시 메모리, 자기 메모리, 또는 임의의 다른 적합한 디지털 저장 매체들을 포함할 수 있다. 일부 예들에서, 메모리 디바이스 또는 그의 부분들은 비휘발성 메모리로서 기술될 수 있고, 다른 예들에서, 메모리 디바이스들의 부분들은 휘발성 메모리로서 기술될 수 있다. 휘발성 메모리들의 예들은 랜덤 액세스 메모리(RAM), 동적 랜덤 액세스 메모리(DRAM), 및 정적 랜덤 액세스 메모리(SRAM)를 포함할 수 있다. 비휘발성 메모리들의 예들은 자기 하드 디스크, 광 디스크, 플로피 디스크, 플래시 메모리, 또는 EPROM(electrically programmable memory) 또는 EEPROM(electrically erasable and programmable memory)의 형태를 포함할 수 있다. 저장 디바이스(들)는 메모리 카드(예컨대, SD(Secure Digital) 메모리 카드), 내부/외부 하드 디스크 드라이브, 및/또는 내부/외부 솔리드 스테이트 드라이브(solid state drive)를 포함할 수 있다. 데이터는 정의된 파일 포맷에 따라 저장 디바이스 상에 저장될 수 있다. 도 4는 시스템(100)의 일 구현예에 포함될 수 있는 컴포넌트들의 일례를 예시하는 개념도이다. 도 4에 도시된 예시적인 구현예에서, 시스템(100)은 하나 이상의 컴퓨팅 디바이스들(402A 내지 402N), 텔레비전 서비스 네트워크(404), 텔레비전 서비스 제공자 사이트(406), 광역 네트워크(408), 근거리 통신 네트워크(410), 및 하나 이상의 콘텐츠 제공자 사이트들(412A 내지 412N)을 포함한다. 도 4에 도시된 구현예는, 예를 들어, 영화, 라이브 스포츠 이벤트 등과 같은 디지털 미디어 콘텐츠, 및 데이터 및 애플리케이션들 및 이들과 연관된 미디어 프레젠테이션들이 컴퓨팅 디바이스들(402A 내지 402N)과 같은 복수의 컴퓨팅 디바이스들에 분산되고 그들에 의해 액세스될 수 있게 하도록 구성될 수 있는 시스템의 일례를 표현한다. 도 4에 도시된 예에서, 컴퓨팅 디바이스들(402A 내지 402N)은 텔레비전 서비스 네트워크(404), 광역 네트워크(408), 및/또는 근거리 통신 네트워크(410) 중 하나 이상으로부터 데이터를 수신하도록 구성된 임의의 디바이스를 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스들(402A 내지 402N)은 유선 및/또는 무선 통신을 위해 구비될 수 있고, 하나 이상의 데이터 채널들을 통해 서비스들을 수신하도록 구성될 수 있고, 소위 스마트 텔레비전을 포함한 텔레비전, 셋톱 박스 및 디지털 비디오 레코더를 포함할 수 있다. 또한, 컴퓨팅 디바이스들(402A 내지 402N)은 데스크톱, 랩톱, 또는 태블릿 컴퓨터들, 게이밍 콘솔, 예를 들어, "스마트"폰, 셀룰러 전화, 및 개인 게이밍 디바이스를 포함하는 모바일 디바이스를 포함할 수 있다.
텔레비전 서비스 네트워크(404)는 텔레비전 서비스들을 포함할 수 있는 디지털 미디어 콘텐츠가 분배되는 것을 가능하게 하도록 구성된 네트워크의 일례이다. 예를 들어, 텔레비전 서비스 네트워크(404)는 공공 OTA(over-the-air) 텔레비전 네트워크, 공공 또는 가입 기반 위성 텔레비전 서비스 제공자 네트워크, 및 공공 또는 가입 기반 케이블 텔레비전 제공자 네트워크 및/또는 OTT(over the top) 또는 인터넷 서비스 제공자를 포함할 수 있다. 일부 예들에서, 텔레비전 서비스 네트워크(404)가 주로, 텔레비전 서비스들이 제공되는 것을 가능하게 하는 데 사용될 수 있지만, 텔레비전 서비스 네트워크(404)는 또한, 본 명세서에 기술된 전기통신 프로토콜들의 임의의 조합에 따라 다른 유형들의 데이터 및 서비스들이 제공되는 것을 가능하게 할 수 있다는 점에 유의해야 한다. 또한, 일부 예들에서, 텔레비전 서비스 네트워크(404)는 컴퓨팅 디바이스들(402A 내지 402N) 중 하나 이상과 텔레비전 서비스 제공자 사이트(406) 사이의 양방향 통신을 가능하게 할 수 있다는 점에 유의해야 한다. 텔레비전 서비스 네트워크(404)는 무선 및/또는 유선 통신 매체들의 임의의 조합을 포함할 수 있다. 텔레비전 서비스 네트워크(404)는 동축 케이블, 광섬유 케이블, 연선 케이블, 무선 송신기 및 수신기, 라우터, 스위치, 리피터, 기지국, 또는 다양한 디바이스들과 사이트들 사이의 통신을 용이하게 하는 데 유용할 수 있는 임의의 다른 장비를 포함할 수 있다. 텔레비전 서비스 네트워크(404)는 하나 이상의 전기통신 프로토콜들의 조합에 따라 동작할 수 있다. 전기통신 프로토콜들은 독점적인 태양들을 포함할 수 있고/있거나 표준화된 전기통신 프로토콜들을 포함할 수 있다. 표준화된 전기통신 프로토콜들의 예들은 DVB 표준, ATSC 표준, ISDB 표준, DTMB 표준, DMB 표준, DOCSIS(Data Over Cable Service Interface Specification) 표준, HbbTV 표준, W3C 표준 및 UPnP 표준을 포함한다.
다시 도 4를 참조하면, 텔레비전 서비스 제공자 사이트(406)는 텔레비전 서비스 네트워크(404)를 통해 텔레비전 서비스를 분배하도록 구성될 수 있다. 예를 들어, 텔레비전 서비스 제공자 사이트(406)는 하나 이상의 방송국, 케이블 텔레비전 제공자, 또는 위성 텔레비전 제공자, 또는 인터넷 기반 텔레비전 제공자를 포함할 수 있다. 예를 들어, 텔레비전 서비스 제공자 사이트(406)는 위성 업링크/다운링크를 통해 텔레비전 프로그래밍을 포함한 송신을 수신하도록 구성될 수 있다. 또한, 도 4에 도시된 바와 같이, 텔레비전 서비스 제공자 사이트(406)는 광역 네트워크(408)와 통신할 수 있고, 콘텐츠 제공자 사이트들(412A 내지 412N)로부터 데이터를 수신하도록 구성될 수 있다. 일부 예들에서, 텔레비전 서비스 제공자 사이트(406)는 텔레비전 스튜디오를 포함할 수 있고, 콘텐츠는 그로부터 유래될 수 있다는 점에 유의해야 한다.
광역 네트워크(408)는 패킷 기반 네트워크를 포함할 수 있고, 하나 이상의 전기통신 프로토콜들의 조합에 따라 동작할 수 있다. 전기통신 프로토콜들은 독점적인 태양들을 포함할 수 있고/있거나 표준화된 전기통신 프로토콜들을 포함할 수 있다. 표준화된 전기통신 프로토콜들의 예들은 GSM 표준, CDMA 표준, 3GPP 표준, ETSI 표준, EN(European standard), IP 표준, WAP 표준, 및 예를 들어, IEEE 802 표준들(예컨대, Wi-Fi) 중 하나 이상과 같은 IEEE 표준을 포함한다. 광역 네트워크(408)는 무선 및/또는 유선 통신 매체들의 임의의 조합을 포함할 수 있다. 광역 네트워크(408)는 동축 케이블, 광섬유 케이블, 연선 케이블, 이더넷 케이블, 무선 송신기 및 수신기, 라우터, 스위치, 리피터, 기지국, 또는 다양한 디바이스들과 사이트들 사이의 통신을 용이하게 하는 데 유용할 수 있는 임의의 다른 장비를 포함할 수 있다. 하나의 예에서, 광역 네트워크(408)는 인터넷을 포함할 수 있다. 근거리 통신 네트워크(410)는 패킷 기반 네트워크를 포함할 수 있고, 하나 이상의 전기통신 프로토콜들의 조합에 따라 동작할 수 있다. 근거리 통신 네트워크(410)는 액세스 및/또는 물리적 인프라구조의 레벨들에 기초하여 광역 네트워크(408)와 구별될 수 있다. 예를 들어, 근거리 통신 네트워크(410)는 보안 홈 네트워크를 포함할 수 있다.
다시 도 4를 참조하면, 콘텐츠 제공자 사이트들(412A 내지 412N)은 텔레비전 서비스 제공자 사이트(406) 및/또는 컴퓨팅 디바이스들(402A 내지 402N)에 멀티미디어 콘텐츠를 제공할 수 있는 사이트들의 예들을 표현한다. 예를 들어, 콘텐츠 제공자 사이트는 텔레비전 서비스 제공자 사이트(406)에 멀티미디어 파일들 및/또는 스트림들을 제공하도록 구성된 하나 이상의 스튜디오 콘텐츠 서버들을 갖는 스튜디오를 포함할 수 있다. 하나의 예에서, 콘텐츠 제공자 사이트들(412A 내지 412N)은 IP 스위트(suite)를 사용하여 멀티미디어 콘텐츠를 제공하도록 구성될 수 있다. 예를 들어, 콘텐츠 제공자 사이트는 RTSP(Real Time Streaming Protocol), HTTP 등에 따라 수신기 디바이스에 멀티미디어 콘텐츠를 제공하도록 구성될 수 있다. 또한, 콘텐츠 제공자 사이트들(412A 내지 412N)은 광역 네트워크(408)를 통해 수신기 디바이스 컴퓨팅 디바이스들(402A 내지 402N) 및/또는 텔레비전 서비스 제공자 사이트(406) 중 하나 이상에 하이퍼텍스트 기반 콘텐츠 등을 포함하는 데이터를 제공하도록 구성될 수 있다. 콘텐츠 제공자 사이트들(412A 내지 412N)은 하나 이상의 웹 서버들을 포함할 수 있다. 콘텐츠 제공자 사이트들(412A 내지 412N)에 의해 제공된 데이터는 데이터 포맷들에 따라 정의될 수 있다.
다시 도 1을 참조하면, 소스 디바이스(102)는 비디오 소스(104), 비디오 인코더(106), 데이터 캡슐화기(107) 및 인터페이스(108)를 포함한다. 비디오 소스(104)는 비디오 데이터를 캡처하고/하거나 저장하도록 구성된 임의의 디바이스를 포함할 수 있다. 예를 들어, 비디오 소스(104)는 비디오 카메라 및 그에 동작가능하게 커플링된 저장 디바이스를 포함할 수 있다. 비디오 인코더(106)는 비디오 데이터를 수신하도록 그리고 비디오 데이터를 표현하는 컴플라이언트 비트스트림을 생성하도록 구성된 임의의 디바이스를 포함할 수 있다. 컴플라이언트 비트스트림은 비디오 디코더가 그로부터 비디오 데이터를 수신 및 재생할 수 있는 비트스트림을 지칭할 수 있다. 컴플라이언트 비트스트림의 태양들은 비디오 코딩 표준에 따라 정의될 수 있다. 컴플라이언트 비트스트림을 생성할 때, 비디오 인코더(106)는 비디오 데이터를 압축할 수 있다. 압축은 (뷰어에게 식별가능하거나 식별불가능한) 손실이 있을 수 있거나 또는 손실이 없을 수 있다. 도 5는 본 명세서에서 기술된, 비디오 데이터를 인코딩하기 위한 기법들을 구현할 수 있는 비디오 인코더(500)의 일례를 도시한 블록도이다. 예시적인 비디오 인코더(500)가 별개의 기능 블록들을 갖는 것으로 예시되어 있지만, 그러한 예시는 설명의 목적을 위한 것이고 비디오 인코더(500) 및/또는 그의 서브컴포넌트들을 특정 하드웨어 또는 소프트웨어 아키텍처로 제한하지 않는다는 점에 유의해야 한다. 비디오 인코더(500)의 기능들은 하드웨어, 펌웨어, 및/또는 소프트웨어 구현들의 임의의 조합을 이용하여 실현될 수 있다.
비디오 인코더(500)는 픽처 영역들의 인트라 예측 코딩 및 인터 예측 코딩을 수행할 수 있고, 이 때문에, 하이브리드 비디오 인코더로 지칭될 수 있다. 도 5에 도시된 예에서, 비디오 인코더(500)는 소스 비디오 블록들을 수신한다. 일부 예들에서, 소스 비디오 블록들은 코딩 구조에 따라 나뉘었던 픽처의 영역들을 포함할 수 있다. 예를 들어, 소스 비디오 데이터는 매크로블록들, CTU들, CB들, 그의 서브분할부들, 및/또는 다른 등가 코딩 유닛을 포함할 수 있다. 일부 예들에서, 비디오 인코더(500)는 소스 비디오 블록들의 추가 세분화들을 수행하도록 구성될 수 있다. 본 명세서에 기술되는 기법은, 일반적으로, 인코딩 전에 그리고/또는 인코딩 동안에 소스 비디오 데이터가 어떻게 분할되는지와는 무관하게 비디오 코딩에 적용가능하다는 점에 유의해야 한다. 도 5에 도시된 예에서, 비디오 인코더(500)는 합산기(502), 변환 계수 생성기(504), 계수 양자화 유닛(506), 역양자화 및 변환 계수 프로세싱 유닛(508), 합산기(510), 인트라 예측 프로세싱 유닛(512), 인터 예측 프로세싱 유닛(514), 필터 유닛(516), 및 엔트로피 인코딩 유닛(518)을 포함한다. 도 5에 도시된 바와 같이, 비디오 인코더(500)는 소스 비디오 블록들을 수신하고 비트스트림을 출력한다.
도 5에 도시된 예에서, 비디오 인코더(500)는 소스 비디오 블록으로부터 예측 비디오 블록을 감산함으로써 잔차 데이터를 생성할 수 있다. 예측 비디오 블록의 선택은 상세히 후술된다. 합산기(502)는 이러한 감산 연산을 수행하도록 구성된 컴포넌트를 표현한다. 일례에서, 비디오 블록들의 감산은 픽셀 도메인에서 발생한다. 변환 계수 생성기(504)는 이산 코사인 변환(DCT), 이산 사인 변환(DST), 또는 개념적으로 유사한 변환과 같은 변환을, 잔차 블록 또는 그의 서브분할부들에 적용하여(예컨대, 4개의 8x8 변환들이 잔차 값들의 16x16 어레이에 적용될 수 있음), 잔차 변환 계수들의 세트를 생성한다. 변환 계수 생성기(504)는 이산 삼각법 변환들의 계열 - 그들의 근사화들을 포함함 - 에 포함되는 변환들의 임의의 그리고 모든 조합들을 수행하도록 구성될 수 있다. 변환 계수 생성기(504)는 변환 계수들을 계수 양자화 유닛(506)으로 출력할 수 있다. 계수 양자화 유닛(506)은 변환 계수들의 양자화를 수행하도록 구성될 수 있다. 양자화 프로세스는 계수들 중 일부 또는 전부와 연관된 비트 깊이를 감소시킬 수 있다. 양자화의 정도는 인코딩된 비디오 데이터의 레이트-왜곡(즉, 비트레이트 대 비디오 품질)을 변경할 수 있다. 양자화의 정도는 양자화 파라미터(QP)를 조정함으로써 수정될 수 있다. 양자화 파라미터는 슬라이스 레벨 값들 및/또는 CU 레벨 값들(예컨대, CU 델타 QP 값들)에 기초하여 결정될 수 있다. QP 데이터는 변환 계수들의 특정 세트를 양자화하기 위한 QP를 결정하는 데 사용되는 임의의 데이터를 포함할 수 있다. 도 5에 도시된 바와 같이, 양자화된 변환 계수들(이들은 레벨 값들로 지칭될 수 있음)은 역양자화 및 변환 계수 프로세싱 유닛(508)으로 출력된다. 역양자화 및 변환 계수 프로세싱 유닛(508)은 재구성된 잔차 데이터를 생성하기 위해 역양자화 및 역변환을 적용하도록 구성될 수 있다. 도 5에 도시된 바와 같이, 합산기(510)에서, 재구성된 잔차 데이터가 예측 비디오 블록에 추가될 수 있다. 이러한 방식으로, 인코딩된 비디오 블록은 재구성될 수 있고, 생성된 재구성된 비디오 블록은 주어진 예측, 변환, 및/또는 양자화에 대한 인코딩 품질을 평가하는 데 사용될 수 있다. 비디오 인코더(500)는 다수의 코딩 패스들을 수행하도록(예컨대, 예측, 변환 파라미터들, 및 양자화 파라미터들 중 하나 이상을 변경하면서 인코딩을 수행하도록) 구성될 수 있다. 비트스트림 또는 다른 시스템 파라미터들의 레이트-왜곡은 재구성된 비디오 블록들의 평가에 기초하여 최적화될 수 있다. 또한, 재구성된 비디오 블록들은 후속 블록들을 예측하기 위한 기준으로서 저장 및 사용될 수 있다.
다시 도 5를 참조하면, 인트라 예측 프로세싱 유닛(512)은 비디오 블록이 코딩될 인트라 예측 모드를 선택하도록 구성될 수 있다. 인트라 예측 프로세싱 유닛(512)은 프레임을 평가하도록 그리고 현재 블록을 인코딩하는 데 사용할 인트라 예측 모드를 결정하도록 구성될 수 있다. 전술된 바와 같이, 가능한 인트라 예측 모드들은 평면 예측 모드들, DC 예측 모드들, 및 각도 예측 모드들을 포함할 수 있다. 또한, 일부 예들에서, 크로마 성분에 대한 예측 모드는 루마 예측 모드 동안의 예측 모드로부터 추론될 수 있다는 점에 유의해야 한다. 인트라 예측 프로세싱 유닛(512)은 하나 이상의 코딩 패스들을 수행한 후에 인트라 예측 모드를 선택할 수 있다. 또한, 하나의 예에서, 인트라 예측 프로세싱 유닛(512)은 레이트-왜곡 분석에 기초하여 예측 모드를 선택할 수 있다. 도 5에 도시된 바와 같이, 인트라 예측 프로세싱 유닛(512)은 인트라 예측 데이터(예컨대, 신택스 요소들)를 엔트로피 인코딩 유닛(518) 및 변환 계수 생성기(504)로 출력한다. 전술된 바와 같이, 잔차 데이터에 대해 수행되는 변환은 모드 종속적일 수 있다(예컨대, 2차 변환 매트릭스는 예측 모드에 기초하여 결정될 수 있음).
다시 도 5를 참조하면, 인터 예측 프로세싱 유닛(514)은 현재 비디오 블록에 대한 인터 예측 코딩을 수행하도록 구성될 수 있다. 인터 예측 프로세싱 유닛(514)은 소스 비디오 블록들을 수신하도록 그리고 비디오 블록의 PU들에 대한 모션 벡터를 계산하도록 구성될 수 있다. 모션 벡터는 기준 프레임 내의 예측 블록에 대한 현재 비디오 프레임 내의 비디오 블록의 예측 유닛의 변위를 나타낼 수 있다. 인터 예측 코딩은 하나 이상의 기준 픽처를 사용할 수 있다. 또한, 모션 예측은 단방향 예측(하나의 모션 벡터를 사용) 또는 양방향 예측(2개의 모션 벡터를 사용함)일 수 있다. 인터 예측 프로세싱 유닛(514)은, 예를 들어 절대차의 합(sum of absolute difference, SAD), 제곱차의 합(sum of square difference, SSD), 또는 다른 차이 메트릭(metric)들에 의해 결정된 픽셀 차이를 계산함으로써 예측 블록을 선택하도록 구성될 수 있다. 전술된 바와 같이, 모션 벡터는 모션 벡터 예측에 따라 결정 및 특정될 수 있다. 인터 예측 프로세싱 유닛(514)은, 전술된 바와 같이, 모션 벡터 예측을 수행하도록 구성될 수 있다. 인터 예측 프로세싱 유닛(514)은 모션 예측 데이터를 사용하여 예측 블록을 생성하도록 구성될 수 있다. 예를 들어, 인터 예측 프로세싱 유닛(514)은 프레임 버퍼(도 5에 도시되지 않음) 내에 예측 비디오 블록을 위치시킬 수 있다. 인터 예측 프로세싱 유닛(514)은, 추가로, 하나 이상의 보간 필터를 재구성된 잔차 블록에 적용하여 모션 추정에 사용하기 위한 서브-정수 픽셀 값들을 계산하도록 구성될 수 있다는 점에 유의해야 한다. 인터 예측 프로세싱 유닛(514)은 계산된 모션 벡터에 대한 모션 예측 데이터를 엔트로피 인코딩 유닛(518)에 출력할 수 있다.
다시 도 5를 참조하면, 필터 유닛(516)은 재구성된 비디오 블록들 및 코딩 파라미터들을 수신하고, 수정된 재구성된 비디오 데이터를 출력한다. 필터 유닛(516)은 디블록킹 및/또는 샘플 적응적 오프셋(SAO) 필터링을 수행하도록 구성될 수 있다. SAO 필터링은 재구성된 비디오 데이터에 오프셋을 추가함으로써 재구성을 개선하는 데 사용될 수 있는 비선형 진폭 맵핑이다. 도 5에 도시된 바와 같이, 인트라 예측 프로세싱 유닛(512) 및 인터 예측 프로세싱 유닛(514)은 필터 유닛(216)을 통해, 수정된 재구성된 비디오 블록을 수신할 수 있다는 점에 유의해야 한다. 엔트로피 인코딩 유닛(518)은 양자화된 변환 계수들 및 예측 신택스 데이터(즉, 인트라 예측 데이터 및 모션 예측 데이터)를 수신한다. 일부 예들에서, 계수 양자화 유닛(506)은, 계수들이 엔트로피 인코딩 유닛(518)으로 출력되기 전, 양자화된 변환 계수들을 포함하는 매트릭스의 스캔을 수행할 수 있다는 점에 유의해야 한다. 다른 예들에서, 엔트로피 인코딩 유닛(518)은 스캔을 수행할 수 있다. 엔트로피 인코딩 유닛(518)은 본 명세서에서 기술된 기법들 중 하나 이상에 따라 엔트로피 인코딩을 수행하도록 구성될 수 있다. 이러한 방식으로, 비디오 인코더(500)는 본 개시내용의 하나 이상의 기법들에 따른, 인코딩된 비디오 데이터를 생성하도록 구성된 디바이스의 일례를 표현한다.
다시 도 1을 참조하면, 데이터 캡슐화기(107)는 인코딩된 비디오 데이터를 수신할 수 있고, 정의된 데이터 구조에 따라 컴플라이언트 비트스트림, 예컨대, NAL 유닛들의 시퀀스를 생성할 수 있다. 컴플라이언트 비트스트림을 수신하는 디바이스는 그로부터 비디오 데이터를 재생할 수 있다. 또한, 전술된 바와 같이, 서브-비트스트림 추출은, 컴플라이언트 비트스트림을 수신하는 디바이스가 수신된 비트스트림에서 데이터를 폐기 및/또는 수정함으로써 새로운 컴플라이언트 비트스트림을 형성하는 프로세스를 지칭할 수 있다. 용어 "순응형 비트스트림"은 용어 "컴플라이언트 비트스트림" 대신에 사용될 수 있다는 점에 유의해야 한다. 하나의 예에서, 데이터 캡슐화기(107)는 본 명세서에 기술된 하나 이상의 기법들에 따라 신택스를 생성하도록 구성될 수 있다. 데이터 캡슐화기(107)는 비디오 인코더(106)와 반드시 동일한 물리적 디바이스에 위치될 필요가 없다는 점에 유의해야 한다. 예를 들어, 비디오 인코더(106) 및 데이터 캡슐화기(107)에 의해 수행되는 것으로 기술된 기능들은 도 4에 도시된 디바이스들 사이에 분배될 수 있다.
전술된 바와 같이, JVET-AA2006에서 규정된 시그널링은 불충분할 수 있다. 특히, JVET-AA2006은 신경 네트워크 정보가 URI를 통해 시그널링될 때, 이전에 시그널링된 신경 네트워크 포스트-프로세싱 필터의 업데이트를 허용하는 시그널링을 규정하지 않는다. 본 명세서의 기법들에 따르면, 신경 네트워크 정보가 URI를 통해 시그널링될 때, 이전에 시그널링된 신경 네트워크 포스트-프로세싱 필터의 업데이트를 허용하기 위한 시그널링이 제공된다. 하나의 예에서, 본 명세서의 기법들에 따르면, nnpfc_uri_tag[ i ] 및 nnprf_uri[ i ] 신택스 요소들은 nnpfc_purpose_and_formatting_flag 신택스 요소에 기초하여 조건부 시그널링을 벗어나서 시그널링될 수 있다. 따라서, 일부 예들에서, nnpfc_uri_tag[ i ] 및 nnprf_uri[ i ](및 바이트 정렬을 위한 예약된 제로 비트 신택스 요소들)는 심지어 nnpfc_purpose_and_formatting_flag가 0과 동일할 때에도 시그널링될 수 있다. 그러한 시그널링은, 예시적인 제약들과 함께, 신경 네트워크 정보가 URI를 통해 시그널링될 때, 이전에 시그널링된 신경 네트워크 포스트-프로세싱 필터의 업데이트를 허용한다. 하나의 예에서, 이전에 시그널링된 신경 네트워크 포스트-프로세싱 필터의 업데이트를 허용하기 위해 nnpfc_mode_idc가 2와 동일할 때(즉, URI를 통한 신경 네트워크 정보 시그널링을 나타내는 모드일 때) 제약들이 추가될 수 있다. 하나의 예에서, JVET-AA2006에 규정된 기존 제약들은 더 유연한 업데이트를 허용하도록 수정될 수 있다. 본 명세서의 기법들에 따르면, 예시적인 제약들은 1과 동일한 nnpfc_mode_idc로, 즉 대역내(in-band)로(그리고 동일한 nnpfc_id 값을 갖고서) 이전에 시그널링된 기존의 신경 네트워크 포스트-필터가, 2와 동일한 nnpfc_mode_idc로, 즉 ULI를 통해 대역외로 시그널링된 신경 네트워크 필터 업데이트에 의해 업데이트될 수 있게 한다.
표 18A 및 표 18B는 본 명세서의 기법들에 따른 예시적인 신경 네트워크 포스트-필터 특성 SEI 메시지의 신택스를 예시한다.
[표 18A]
[표 18B]
표 18A 및 표 18B와 관련하여, 시맨틱들은 상기에 제공된 시맨틱들에 기초할 수 있고, 신택스 요소 nnpfc_purpose_and_formatting_flag에 대한 하기의 시맨틱들에 기초할 수 있다:
0과 동일한 nnpfc_purpose_and_formatting_flag는 필터 목적, 입력 포맷화, 출력 포맷화, 및 복잡도와 관련된 신택스 요소들이 존재하지 않음을 특정한다. 1과 동일한 nnpfc_purpose_and_formatting_flag는 필터 목적, 입력 포맷화, 출력 포맷화, 및 복잡도와 관련된 신택스 요소들이 존재함을 특정한다.
nnpfc_mode_idc가 1 또는 2와 동일하고 현재 CLVS가 디코딩 순서에서, 이러한 SEI 메시지에 nnpfc_id의 값과 동일한 nnpfc_id의 값을 갖는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지를 포함하지 않을 때, nnpfc_purpose_and_formatting_flag는 1과 동일할 것이다.
현재 CLVS가 디코딩 순서에서, 이러한 SEI 메시지에서 nnpfc_id의 값과 동일한 nnpfc_id의 동일한 값을 갖는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지를 포함할 때, 하기의 조건들 중 적어도 하나가 적용될 것이다:
-
이러한 SEI 메시지는 신경 네트워크 업데이트를 제공하기 위해 1과 동일한 nnpfc_mode_idc 및 0과 동일한 nnpfc_purpose_and_formatting_flag를 갖는다.
-
이러한 SEI 메시지는 신경 네트워크 업데이트를 제공하기 위해 2와 동일한 nnpfc_mode_idc 및 0과 동일한 nnpfc_purpose_and_formatting_flag를 갖는다.
-
이러한 SEI 메시지는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지와 동일한 콘텐츠를 갖는다.
이러한 SEI 메시지가 디코딩 순서에서, 현재 CLVS 내에 특정 nnpfc_id 값을 갖는 제1 신경 네트워크 포스트-필터 특성 SEI 메시지일 때, 그것은 현재 CLVS의 종료 때까지, 출력 순서에서, 현재 계층의 현재 디코딩된 픽처 및 모든 후속 디코딩된 픽처들에 관련된 기초 포스트-프로세싱 필터를 특정한다. 이러한 SEI 메시지가 디코딩 순서에서 현재 CLVS 내에 특정 nnpfc_id 값을 갖는 제1 신경 네트워크 포스트-필터 특성 SEI 메시지가 아닐 때, 이러한 SEI 메시지는 현재 CLVS의 종료 때까지, 출력 순서에서, 현재 계층의 현재 디코딩된 픽처 및 모든 후속 디코딩된 픽처들에 관련되거나, 또는 현재 CLVS 내에서, 출력 순서에서, 해당 특정 nnpfc_id 값을 갖는 다음 신경 네트워크 포스트-필터 특성 SEI 메시지에 관련된다.
표 18A와 표 18B 사이의 주요 차이는 "if nnpfc_mode_idc is equal to 1 or 2" 체크가 예약되는 순서라는 점에 유의해야 한다. 대체적으로, 그러한 체크들에 대해 임의의 순서가 사용될 수 있다. 또한, 하나의 예에서, 표 18A 또는 표 18B의 "else if" 조건은 "if"로 대체될 수 있다.
본 명세서의 기법들에 따르면, 일부 예들에서, nnpfc_purpose_and_formatting_flag 시맨틱들 중에서 하기의 텍스트:
nnpfc_mode_idc가 1 또는 2와 동일하고 현재 CLVS가 디코딩 순서에서, 이러한 SEI 메시지에 nnpfc_id의 값과 동일한 nnpfc_id의 값을 갖는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지를 포함하지 않을 때, nnpfc_purpose_and_formatting_flag는 1과 동일할 것이다.
는 하기로 대체될 수 있다:
nnpfc_mode_idc가 1 또는 2와 동일하고, 현재 CLVS가 디코딩 순서에서, 이러한 SEI 메시지에서의 nnpfc_id의 값과 동일한 nnpfc_id의 값을 갖는, 그리고 이러한 SEI 메시지에서의 nnpfc_mode_idc의 값과 동일한 nnpfc_mode_idc의 값을 갖는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지를 포함하지 않을 때, nnpfc_purpose_and_formatting_flag는 1과 동일할 것이다.
또는 그것은 하기로 대체될 수 있다:
nnpfc_mode_idc가 0 또는 1 또는 2와 동일하고 현재 CLVS가 디코딩 순서에서, 이러한 SEI 메시지에 nnpfc_id의 값과 동일한 nnpfc_id의 값을 갖는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지를 포함하지 않을 때, nnpfc_purpose_and_formatting_flag는 1과 동일할 것이다.
상기의 예시적인 설명이 특정 모드들을 나타내기 위해 0, 1 및 2의 특정 값들을 사용하지만, 대체적으로, 다른 예에서, 다른 값들이 특정 모드들을 나타내는 데 사용될 수 있다는 점에 유의해야 한다.
상기에 제공된 nnpfc_purpose_and_formatting_flag의 예시적인 시맨틱들에서, 하기의 제약들:
현재 CLVS가 디코딩 순서에서, 이러한 SEI 메시지에서 nnpfc_id의 값과 동일한 nnpfc_id의 동일한 값을 갖는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지를 포함할 때, 하기의 조건들 중 적어도 하나가 적용될 것이다:
-
이러한 SEI 메시지는 신경 네트워크 업데이트를 제공하기 위해 2와 동일한 nnpfc_mode_idc 및 0과 동일한 nnpfc_purpose_and_formatting_flag를 갖는다.
은, nnpfc_mode_idc가 1과 동일한 경우에는 내역내의 새로운 NN 데이터를 갖는 새로운 NNPFC SEI를 사용하여 또는 nnpfc_mode_idc가 2와 동일한 경우에는 URI를 통해, 이전 NNPFC SEI로부터 (임의의 nnpfc_mode_idc를 갖는) 기초 NN의 업데이트를 허용한다.
하나의 예에서, 본 명세서의 기법들에 따르면, 1 또는 2와 동일한 nnpfc_mode_idc를 갖는 이전 NNPFC SEI로부터의 기초 NN의 업데이트는, nnpfc_mode_idc가 1과 동일한 경우에는 대역내의 새로운 NN 데이터를 갖는 새로운 NNPFC SEI를 사용하여 제공될 수 있거나, 또는 nnpfc_mode_idc가 2와 동일한 경우에는 URI를 통해 제공될 수 있다. 하나의 예에서, 1과 동일한 nnpfc_mode_idc를 갖는 이전의 NNPFC SEI의 업데이트는 1과 동일한 nnpfc_mode_idc를 갖는 다른 NNPFC SEI에 의해 제공될 수 있고, 2와 동일한 nnpfc_mode_idc를 갖는 이전 NNPFC SEI의 업데이트는 2와 동일한 nnpfc_mode_idc를 갖는 다른 NNPFC SEI에 의해 제공될 수 있다. 즉, 하나의 예에서, 본 명세서의 기법들에 따르면, nnpfc_purpose_and_formatting_flag 시맨틱들 중에서 하기의 텍스트:
현재 CLVS가 디코딩 순서에서, 이러한 SEI 메시지에서 nnpfc_id의 값과 동일한 nnpfc_id의 동일한 값을 갖는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지를 포함할 때, 하기의 조건들 중 적어도 하나가 적용될 것이다:
-
이러한 SEI 메시지는 신경 네트워크 업데이트를 제공하기 위해 1과 동일한 nnpfc_mode_idc 및 0과 동일한 nnpfc_purpose_and_formatting_flag를 갖는다.
-
이러한 SEI 메시지는 신경 네트워크 업데이트를 제공하기 위해 2와 동일한 nnpfc_mode_idc 및 0과 동일한 nnpfc_purpose_and_formatting_flag를 갖는다.
-
이러한 SEI 메시지는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지와 동일한 콘텐츠를 갖는다.
는 하기로 대체될 수 있다:
현재 CLVS가 디코딩 순서에서, 이러한 SEI 메시지에서의 nnpfc_id의 값과 동일한 nnpfc_id의 동일한 값을 갖는, 그리고 이러한 SEI 메시지에서의 nnpfc_mode_idc의 값과 동일한 nnpfc_mode_idc의 동일한 값을 갖는, 그리고 nnpfc_mode_idc 값이 NnPfcModeIdc와 동일한 선행 신경 네트워크 포스트-필터 특성 SEI 메시지를 포함할 때(여기서, NnPfcModeIdc는 1 또는 2와 동일함), 하기의 조건들 중 적어도 하나가 적용될 것이다:
-
이러한 SEI 메시지는 신경 네트워크 업데이트를 제공하기 위해 0과 동일한 nnpfc_purpose_and_formatting_flag를 갖는다.
-
이러한 SEI 메시지는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지와 동일한 콘텐츠를 갖는다.
또는 하기로 대체될 것이다:
현재 CLVS가 디코딩 순서에서, 이러한 SEI 메시지에서의 nnpfc_id의 값과 동일한 nnpfc_id의 동일한 값을 갖는, 그리고 선행 신경 네트워크 포스트-필터 특성 SEI 메시지의 nnpfc_mode_idc 값이 NnPfcModeIdc와 동일한 선행 신경 네트워크 포스트-필터 특성 SEI 메시지를 포함할 때(여기서, NnPfcModeIdc는 1 또는 2와 동일함), 하기의 조건들 중 적어도 하나가 적용될 것이다:
-
이러한 SEI 메시지는 신경 네트워크 업데이트를 제공하기 위해 NnPfcModeIdc와 동일한 nnpfc_mode_idc 및 0과 동일한 nnpfc_purpose_and_formatting_flag를 갖는다.
-
이러한 SEI 메시지는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지와 동일한 콘텐츠를 갖는다.
하나의 예에서, 본 명세서의 기법들에 따르면, 1 또는 2와 동일한 nnpfc_mode_idc를 갖는 이전 NNPFC SEI로부터의 기초 NN의 업데이트는, nnpfc_mode_idc가 1과 동일한 경우에는 대역내의 새로운 NN 데이터를 갖는 새로운 NNPFC SEI를 사용하여, 또는 nnpfc_mode_idc가 2와 동일한 경우에는 URI를 통해 제공될 수 있다. 하나의 예에서, nnpfc_mode_idc 1을 갖는 이전의 NNPFC SEI의 업데이트는 1 또는 2와 동일한 nnpfc_mode_idc를 갖는 다른 NNPFC SEI에 의해 제공될 수 있고, nnpfc_mode_idc 2를 갖는 이전 NNPFC SEI의 업데이트는 1 또는 2와 동일한 nnpfc_mode_idc를 갖는 다른 NNPFC SEI에 의해 제공될 수 있다. 즉, 하나의 예에서, 본 명세서의 기법들에 따르면, nnpfc_purpose_and_formatting_flag 시맨틱들 중에서 하기의 텍스트:
현재 CLVS가 디코딩 순서에서, 이러한 SEI 메시지에서 nnpfc_id의 값과 동일한 nnpfc_id의 동일한 값을 갖는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지를 포함할 때, 하기의 조건들 중 적어도 하나가 적용될 것이다:
-
이러한 SEI 메시지는 신경 네트워크 업데이트를 제공하기 위해 1과 동일한 nnpfc_mode_idc 및 0과 동일한 nnpfc_purpose_and_formatting_flag를 갖는다.
-
이러한 SEI 메시지는 신경 네트워크 업데이트를 제공하기 위해 2와 동일한 nnpfc_mode_idc 및 0과 동일한 nnpfc_purpose_and_formatting_flag를 갖는다.
-
이러한 SEI 메시지는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지와 동일한 콘텐츠를 갖는다.
는 하기로 대체될 수 있다:
현재 CLVS가 디코딩 순서에서, 이러한 SEI 메시지에서의 nnpfc_id의 값과 동일한 nnpfc_id의 동일한 값을 갖는, 그리고 선행 신경 네트워크 포스트-필터 특성 SEI 메시지의 npfc_mode_idc 값이 1 또는 2와 동일한 선행 신경 네트워크 포스트-필터 특성 SEI 메시지를 포함할 때, 하기의 조건들 중 적어도 하나가 적용될 것이다:
-
이러한 SEI 메시지는 신경 네트워크 업데이트를 제공하기 위해 1 또는 2와 동일한 nnpfc_mode_idc 및 0과 동일한 nnpfc_purpose_and_formatting_flag를 갖는다.
-
이러한 SEI 메시지는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지와 동일한 콘텐츠를 갖는다.
다른 예에서, 본 명세서의 기법들에 따르면, nnpfc_purpose_and_formatting_flag 시맨틱들 중에서 하기의 텍스트:
현재 CLVS가 디코딩 순서에서, 이러한 SEI 메시지에서 nnpfc_id의 값과 동일한 nnpfc_id의 동일한 값을 갖는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지를 포함할 때, 하기의 조건들 중 적어도 하나가 적용될 것이다:
-
이러한 SEI 메시지는 신경 네트워크 업데이트를 제공하기 위해 1과 동일한 nnpfc_mode_idc 및 0과 동일한 nnpfc_purpose_and_formatting_flag를 갖는다.
-
이러한 SEI 메시지는 신경 네트워크 업데이트를 제공하기 위해 2와 동일한 nnpfc_mode_idc 및 0과 동일한 nnpfc_purpose_and_formatting_flag를 갖는다.
-
이러한 SEI 메시지는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지와 동일한 콘텐츠를 갖는다.
는 하기로 대체될 수 있다:
현재 CLVS가 디코딩 순서에서, 이러한 SEI 메시지에서 nnpfc_id의 값과 동일한 nnpfc_id의 동일한 값을 갖는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지를 포함할 때, 하기의 조건들 중 적어도 하나가 적용될 것이다:
-
이러한 SEI 메시지는 신경 네트워크 업데이트를 제공하기 위해 1과 동일한 nnpfc_mode_idc 및 0과 동일한 nnpfc_purpose_and_formatting_flag를 갖는다.
-
이러한 SEI 메시지는 신경 네트워크 업데이트를 제공하기 위해 2와 동일한 nnpfc_mode_idc 및 0과 동일한 nnpfc_purpose_and_formatting_flag를 갖는다.
-
이러한 SEI 메시지는 신경 네트워크 업데이트를 제공하기 위해 0과 동일한 nnpfc_mode_idc 및 0과 동일한 nnpfc_purpose_and_formatting_flag를 갖는다.
-
이러한 SEI 메시지는 선행 신경 네트워크 포스트-필터 특성 SEI 메시지와 동일한 콘텐츠를 갖는다.
상기의 설명이 이러한 모드들을 나타내기 위해 0, 1 및 2의 특정 값들을 사용하지만, 대체적으로, 일부 다른 값들이 이러한 모드들을 나타내는 데 사용될 수 있다는 점에 유의해야 한다.
또한, 표 18A 및 표 18B와 관련하여, 시맨틱들은 상기에 제공된 시맨틱들에 기초할 수 있고, 신택스 요소 nnpfc_out_order_idc에 대한 하기의 시맨틱들에 기초할 수 있다:
nnpfc_out_order_idc는 포스트-프로세싱 필터로부터 생성된 샘플들의 출력 순서를 나타낸다. 표 15는 nnpfc_out_order_idc 값들에 대한 유익한 설명을 포함한다. 0 내지 3(이를 포함함)의 범위 내에 있는 nnpfc_out_order_idc의 시맨틱들은 표 16에 특정되는데, 이는 nnpfc_out_order_idc의 상이한 값들에 대한 출력 텐서들 outputTensor로부터 필터링된 출력 샘플 어레이들 FilteredYPic, FilteredCbPic, 및 FilteredCrPic 내의 샘플 값들, 및 입력 텐서들에 포함된 샘플들의 패치에 대한 상단 좌측 샘플 위치를 특정하는 주어진 수직 샘플 좌표 cTop 및 수평 샘플 좌표 cLeft를 도출하기 위한 프로세스를 특정한다. nnpfc_purpose가 2 또는 4와 동일할 때, nnpfc_out_order_idc는 3과 동일하지 않을 것이다. nnpfc_out_order_idc의 값은 0 내지 255(이를 포함함)의 범위 내에 있을 것이다. 3 초과의 nnpfc_out_order_idc의 값들은 ITU-T | ISO/IEC에 의한 향후 규격을 위해 예약되고, 이러한 규격의 이러한 버전에 순응하는 비트스트림들에 존재하지 않을 것이다. 이러한 규격의 이러한 버전에 순응하는 디코더들은 nnpfc_out_order_idc의 예약된 값들을 포함하는 SEI 메시지들을 무시할 것이다.
크롭된 디코딩된 출력 픽처 picA에 대한 기초 포스트-프로세싱 필터는, CLVS 내에서 특정 nnpfc_id 값을 갖는, 디코딩 순서에서 제1 신경 네트워크 포스트-필터 특성 SEI 메시지에 의해 식별되는 필터이다.
동일한 nnpfc_id 값을 갖고, 1 또는 2와 동일한 nnpfc_mode_idc를 갖고, 기초 포스트-프로세싱 필터를 정의하는 신경 네트워크 포스트-필터 특성 SEI 메시지와는 상이한 콘텐츠를 갖고, 픽처 picA와 관련된 다른 신경 네트워크 포스트-필터 특성 SEI 메시지가 있는 경우, 기초 포스트-프로세싱 필터는 포스트-프로세싱 필터 PostProcessingFilter()를 얻기 위해 해당 신경 네트워크 포스트-필터 특성 SEI 메시지에서 ISO/IEC 15938-17 비트스트림을 디코딩함으로써 업데이트된다. 그렇지 않은 경우, 포스트-프로세싱 프로세싱 필터 PostProcessingFilter()는 기초 포스트-프로세싱 필터와 동일한 것으로 배정된다.
하기의 프로세스는 nnpfc_out_order_idc에 의해 나타내진 바와 같이, Y, Cb, 및 Cr 샘플 어레이들 FilteredYPic, FilteredCbPic, 및 FilteredCrPic를 각각 포함하는 필터링된 픽처를 생성하기 위해 포스트-프로세싱 필터 PostProcessingFilter()를 사용하여, 크롭된 디코딩된 출력 픽처를 필터링하는 데 사용된다.
상기의 nnpfc_out_order_idc에 대한 예시적인 시맨틱들은, 그것이 상이한 콘텐츠를 갖는 경우, 동일한 nnpfc_id 값을 갖고 1 또는 2와 동일한 nnpfc_mode_idc를 갖는 새로운 NNPFC SEI를 사용한 이전 NNPFC SEI로부터의 기초 포스트-필터의 업데이트를 허용한다는 점에 유의해야 한다.
하나의 예에서, 본 명세서의 기법들에 따르면, 그것이 상이한 콘텐츠를 갖는 경우, 동일한 nnpfc_id 값을 갖고 1 또는 2와 동일한 nnpfc_mode_idc를 갖는 새로운 NNPFC SEI를 사용한 이전 NNPFC SEI로부터의 기초 포스트-필터의 업데이트를 허용하는 nnpfc_out_order_idc에 대한 시맨틱들이 제공될 수 있으며, 여기서 동일한 유형의 nnpfc_mode_idc 값들만이 업데이트된다. 즉, 하나의 예에서, 본 명세서의 기법들에 따르면, nnpfc_out_order_idc 시맨틱들 중에서 하기의 텍스트:
동일한 nnpfc_id 값을 갖고, 1 또는 2와 동일한 nnpfc_mode_idc를 갖고, 기초 포스트-프로세싱 필터를 정의하는 신경 네트워크 포스트-필터 특성 SEI 메시지와는 상이한 콘텐츠를 갖고, 픽처 picA와 관련된 다른 신경 네트워크 포스트-필터 특성 SEI 메시지가 있는 경우, 기초 포스트-프로세싱 필터는 포스트-프로세싱 필터 PostProcessingFilter()를 얻기 위해 해당 신경 네트워크 포스트-필터 특성 SEI 메시지에서 ISO/IEC 15938-17 비트스트림을 디코딩함으로써 업데이트된다. 그렇지 않은 경우, 포스트-프로세싱 프로세싱 필터 PostProcessingFilter()는 기초 포스트-프로세싱 필터와 동일한 것으로 배정된다.
는 하기로 대체될 수 있다:
동일한 nnpfc_id 값을 갖는, 그리고 이러한 SEI 메시지에서의 nnpfc_mode_idc의 값과 동일한 nnpfc_mode_idc의 동일한 값을 갖고 1 또는 2와 동일한 nnpfc_mode_idc를 가지며, 기초 포스트-프로세싱 필터를 정의하는 신경 네트워크 포스트-필터 특성 SEI 메시지와는 상이한 콘텐츠를 갖고, 픽처 picA에 관련된 다른 신경 네트워크 포스트-필터 특성 SEI 메시지가 있는 경우, 기초 포스트-프로세싱 필터는 포스트-프로세싱 필터 PostProcessingFilter()를 획득하기 위해 해당 신경 네트워크 포스트-필터 특성 SEI 메시지에서의 ISO/IEC 15938-17 비트스트림을 디코딩함으로써 업데이트된다. 그렇지 않은 경우, 포스트-프로세싱 프로세싱 필터 PostProcessingFilter()는 기초 포스트-프로세싱 필터와 동일한 것으로 배정된다.
또는 하기로 대체될 수 있다:
동일한 nnpfc_id 값을 갖고, 0 또는 1 또는 2와 동일한 nnpfc_mode_idc를 갖고, 기초 포스트-프로세싱 필터를 정의하는 신경 네트워크 포스트-필터 특성 SEI 메시지와는 상이한 콘텐츠를 갖고, 픽처 picA와 관련된 다른 신경 네트워크 포스트-필터 특성 SEI 메시지가 있는 경우, 기초 포스트-프로세싱 필터는 포스트-프로세싱 필터 PostProcessingFilter()를 얻기 위해 해당 신경 네트워크 포스트-필터 특성 SEI 메시지에서 ISO/IEC 15938-17 비트스트림을 디코딩함으로써 업데이트된다. 그렇지 않은 경우, 포스트-프로세싱 프로세싱 필터 PostProcessingFilter()는 기초 포스트-프로세싱 필터와 동일한 것으로 배정된다.
하나의 예에서, 본 명세서의 기법들에 따르면, 그것이 상이한 콘텐츠를 갖는 경우, 동일한 nnpfc_id 값을 갖고 1 또는 2와 동일한 nnpfc_mode_idc를 갖는 새로운 NNPFC SEI를 사용한 이전 NNPFC SEI로부터의 기초 포스트-필터의 업데이트를 허용하는 nnpfc_out_order_idc에 대한 시맨틱들이 제공될 수 있으며, 여기서 1 또는 2와 동일한 이전의 동일한 nnpfc_mode_idc 값들만이 업데이트된다. 즉, 하나의 예에서, 본 명세서의 기법들에 따르면, nnpfc_out_order_idc 시맨틱들 중에서 하기의 텍스트:
동일한 nnpfc_id 값을 갖고, 1 또는 2와 동일한 nnpfc_mode_idc를 갖고, 기초 포스트-프로세싱 필터를 정의하는 신경 네트워크 포스트-필터 특성 SEI 메시지와는 상이한 콘텐츠를 갖고, 픽처 picA와 관련된 다른 신경 네트워크 포스트-필터 특성 SEI 메시지가 있는 경우, 기초 포스트-프로세싱 필터는 포스트-프로세싱 필터 PostProcessingFilter()를 얻기 위해 해당 신경 네트워크 포스트-필터 특성 SEI 메시지에서 ISO/IEC 15938-17 비트스트림을 디코딩함으로써 업데이트된다. 그렇지 않은 경우, 포스트-프로세싱 프로세싱 필터 PostProcessingFilter()는 기초 포스트-프로세싱 필터와 동일한 것으로 배정된다.
는 하기로 대체될 수 있다:
동일한 nnpfc_id 값을 갖고, 1 또는 2와 동일한 nnpfc_mode_idc를 갖고, 1 또는 2와 동일한 nnpfc_mode_idc를 갖는 기초 포스트-프로세싱 필터를 정의하는 신경 네트워크 포스트-필터 특성 SEI 메시지와는 상이한 콘텐츠를 갖고, 픽처 picA와 관련된 다른 신경 네트워크 포스트-필터 특성 SEI 메시지가 있는 경우, 기초 포스트-프로세싱 필터는 포스트-프로세싱 필터 PostProcessingFilter()를 얻기 위해 해당 신경 네트워크 포스트-필터 특성 SEI 메시지에서의 ISO/IEC 15938-17 비트스트림을 디코딩함으로써 업데이트된다. 그렇지 않은 경우, 포스트-프로세싱 프로세싱 필터 PostProcessingFilter()는 기초 포스트-프로세싱 필터와 동일한 것으로 배정된다.
또한, 본 명세서의 기법들에 따르면, 일부 예들에서, nnpfc_purpose_and_formatting_flag 및 nnpfc_out_order_idc 시맨틱들 중에서 텍스트 "nnpfc_mode_idc equal to 1 or 2"는 "nnpfc_mode_idc equal to 0 or 1 or 2"로 대체될 수 있다. 이러한 경우, 본질적으로, 이러한 모드들 각각이 의미하는 것은 하기와 같다:
0과 동일한 nnpfc_mode_idc는 신경 네트워크 데이터가 외부 수단에 의해 제공되는 모드, 즉, 이러한 데이터가 SEI 메시지의 페이로드에 있지 않는 모드를 의미한다.
1과 동일한 nnpfc_mode_idc는 신경 네트워크 데이터가 대역내에, 즉 SEI 메시지의 페이로드에 포함되는 모드를 의미한다.
2와 동일한 nnpfc_mode_idc는 신경 네트워크 데이터가 URI를 통해 제공되는 모드, 즉, 이러한 데이터가 SEI 메시지의 페이로드에 있지 않는 모드를 의미한다.
전술된 바와 같이, JVET-S2007은 사용자 데이터 등록 SEI 메시지 및 사용자 데이터 미등록 SEI 메시지를 설명한다. 하나의 예에서, 본 명세서의 기법들에 따르면, 신경 네트워크 포스트-필터 데이터 정보는 신경 네트워크 포스트-필터 특성 SEI 메시지 내에 내장된 사용자 데이터 등록 SEI 메시지의 신택스 요소들을 사용하여 시그널링될 수 있다. 표 19는 본 명세서의 기법들에 따른 예시적인 신경 네트워크 포스트-필터 특성 SEI 메시지의 신택스를 예시한다.
[표 19]
표 19와 관련하여, 시맨틱들은 상기에 제공된 시맨틱들에 기초할 수 있고, 신택스 요소들 nnpfc_mode_idc 및 nnpfc_t35_payload_size_minus2에 대한 하기의 시맨틱들에 기초할 수 있다:
0과 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가 이러한 규격에서 명시되지 않은 외부 수단에 의해 결정됨을 특정한다.
1과 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가 이러한 SEI 메시지에 포함된 ISO/IEC 15938-17 비트스트림에 의해 표현되는 신경 네트워크임을 특정한다.
2와 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가 특정된 태그 URI(Uniform Resource Identifier)(nnpfc_uri_tag[ i ]) 및 신경 네트워크 정보 URI(nnpfc_uri[ i ])에 의해 식별된 신경 네트워크임을 특정한다.
3과 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가 이러한 SEI 메시지 내의 user_data_registered_itu_t_t35 신택스 구조에서 특정된 정보를 갖는 신경 네트워크임을 특정한다.
nnpfc_mode_idc의 값은 0 내지 255(이를 포함함)의 범위 내에 있을 것이다. 3 초과의 nnpfc_mode_idc의 값들은 ITU-T | ISO/IEC에 의한 향후 규격을 위해 예약되고, 이러한 규격의 이러한 버전에 순응하는 비트스트림들에 존재하지 않을 것이다. 이러한 규격의 이러한 버전에 순응하는 디코더들은 nnpfc_mode_idc의 예약된 값들을 포함하는 SEI 메시지들을 무시할 것이다.
nnpfc_t35_payload_size_minus2 + 2는 바로 이어지는 권고 ITU-T T.35 SEI 메시지에 의해 등록된 사용자 데이터에서 데이터의 페이로드 크기를 특정한다.
상기의 예에서, 신택스 요소 nnpfc_t35_payload_size_minus2는 minus2 코딩으로 코딩되지만, 다른 예들에서, 그것은 하기 중 하나로서 (또는 일부 다른 - 또는 + 코딩을 갖고서) 시그널링될 수 있다는 점에 유의해야 한다.
nnpfc_t35_payload_size_minus1 + 1은 바로 이어지는 권고 ITU-T T.35 SEI 메시지에 의해 등록된 사용자 데이터에서 데이터의 페이로드 크기를 특정한다.
nnpfc_t35_payload_size는 바로 이어지는 권고 ITU-T T.35 SEI 메시지에 의해 등록된 사용자 데이터에서 데이터의 페이로드 크기를 특정한다.
하나의 예에서, 본 명세서의 기법들에 따르면, 신경 네트워크 포스트-필터 데이터 정보는 신경 네트워크 포스트-필터 특성 SEI 메시지 내에 내장된 사용자 데이터 미등록 SEI 메시지의 신택스 요소들을 사용하여 시그널링될 수 있다. 표 20은 본 명세서의 기법들에 따른 예시적인 신경 네트워크 포스트-필터 특성 SEI 메시지의 신택스를 예시한다.
[표 20]
표 20과 관련하여, 시맨틱들은 상기에 제공된 시맨틱들에 기초할 수 있고, 신택스 요소들 nnpfc_mode_idc 및 nnpfc_user_data_unregistered_payload_size_minus16에 대한 하기의 시맨틱들에 기초할 수 있다:
0과 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가 이러한 규격에서 명시되지 않은 외부 수단에 의해 결정됨을 특정한다.
1과 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가 이러한 SEI 메시지에 포함된 ISO/IEC 15938-17 비트스트림에 의해 표현되는 신경 네트워크임을 특정한다.
2와 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가 특정된 태그 URI(Uniform Resource Identifier)(nnpfc_uri_tag[ i ]) 및 신경 네트워크 정보 URI(nnpfc_uri[ i ])에 의해 식별된 신경 네트워크임을 특정한다.
3과 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가 이러한 SEI 메시지 내의 user_data_unregistered 신택스 구조에서 특정된 정보를 갖는 신경 네트워크임을 특정한다.
nnpfc_mode_idc의 값은 0 내지 255(이를 포함함)의 범위 내에 있을 것이다. 3 초과의 nnpfc_mode_idc의 값들은 ITU-T | ISO/IEC에 의한 향후 규격을 위해 예약되고, 이러한 규격의 이러한 버전에 순응하는 비트스트림들에 존재하지 않을 것이다. 이러한 규격의 이러한 버전에 순응하는 디코더들은 nnpfc_mode_idc의 예약된 값들을 포함하는 SEI 메시지들을 무시할 것이다.
nnpfc_user_data_unregistered_payload_size_minus16 + 16은 바로 이어지는 사용자 데이터 미등록 SEI 메시지에서 데이터의 페이로드 크기를 특정한다.
상기의 예들에서, 신택스 요소 nnpfc_user_data_unregistered_payload_size_minus16은 minus2 코딩으로 코딩되지만, 다른 예들에서, 그것은 하기 중 하나로서 (또는 일부 다른 - 또는 + 코딩을 갖고서) 시그널링될 수 있다는 점에 유의해야 한다.
nnpfc_user_data_unregistered_payload_size는 바로 이어지는 사용자 데이터 미등록 SEI 메시지에서 데이터의 페이로드 크기를 특정한다.
nnpfc_user_data_unregistered_payload_size_minus15 + 15는 바로 이어지는 사용자 데이터 미등록 SEI 메시지에서 데이터의 페이로드 크기를 특정한다.
nnpfc_user_data_unregistered_payload_size_minus1 + 11은 바로 이어지는 사용자 데이터 미등록 SEI 메시지에서 데이터의 페이로드 크기를 특정한다.
하나의 예에서, 본 명세서의 기법들에 따르면, 신경 네트워크 포스트-필터 특성 SEI 메시지가 3과 동일한 nnpfc_mode_idc를 시그널링하는 경우, (하나의 예에서, 동일한 PU 내의) 후속 SEI 메시지는 신경 네트워크 포스트-필터 데이터를 포함하는 사용자 데이터 등록 SEI 메시지를 포함할 수 있다. 이러한 경우, 하나의 예에서, 신경 네트워크 포스트-필터 특성 SEI 메시지의 신택스는 상기의 표 8 또는 표 18A 및 18B에서 보여진 바와 같을 수 있고, 시맨틱들은 상기에 제공된 시맨틱들에 기초할 수 있고, 신택스 요소들 nnpfc_mode_idc에 대한 하기의 시맨틱들에 기초할 수 있다:
0과 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가 이러한 규격에서 명시되지 않은 외부 수단에 의해 결정됨을 특정한다.
1과 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가 이러한 SEI 메시지에 포함된 ISO/IEC 15938-17 비트스트림에 의해 표현되는 신경 네트워크임을 특정한다.
2와 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가 특정된 태그 URI(Uniform Resource Identifier)(nnpfc_uri_tag[ i ]) 및 신경 네트워크 정보 URI(nnpfc_uri[ i ])에 의해 식별된 신경 네트워크임을 특정한다.
3과 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가, 이어지는 권고 ITU-T T.35 SEI 메시지에 의해 등록된 사용자 데이터에서 특정된 정보를 갖는 신경 네트워크임을 특정한다. nnpfc_mode_idc의 값은 0 내지 255(이를 포함함)의 범위 내에 있을 것이다. 3 초과의 nnpfc_mode_idc의 값들은 ITU-T | ISO/IEC에 의한 향후 규격을 위해 예약되고, 이러한 규격의 이러한 버전에 순응하는 비트스트림들에 존재하지 않을 것이다. 이러한 규격의 이러한 버전에 순응하는 디코더들은 nnpfc_mode_idc의 예약된 값들을 포함하는 SEI 메시지들을 무시할 것이다.
이러한 경우, 하나의 예에서, nnpfc_mode_idc가 3과 동일할 때, nnpfc_purpose_and_formatting_flag는 1과 동일할 필요가 있을 수 있다는 점에 유의해야 한다. 따라서, 이러한 경우, 권고 ITU-T T.35 SEI 메시지에 의해 등록된 후속 사용자 데이터에 포함된 신경 네트워크 데이터에 관한 정보를 제공하는 신경 네트워크 포스트-필터 특성 SEI 메시지의 모든 신택스 요소들이 존재할 것이다.
하나의 예에서, 본 명세서의 기법들에 따르면, 신경 네트워크 포스트-필터 특성 SEI 메시지가 3과 동일한 nnpfc_mode_idc를 시그널링하는 경우, (하나의 예에서, 동일한 PU 내의) 후속 SEI 메시지는 신경 네트워크 포스트-필터 데이터를 포함하는 사용자 데이터 미등록 SEI 메시지를 포함할 수 있다. 이러한 경우, 하나의 예에서, 신경 네트워크 포스트-필터 특성 SEI 메시지의 신택스는 상기의 표 8 또는 표 18A 및 표 18B에서 보여진 바와 같을 수 있고, 시맨틱들은 상기에 제공된 시맨틱들에 기초할 수 있고, 신택스 요소들 nnpfc_mode_idc에 대한 하기의 시맨틱들에 기초할 수 있다:
0과 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가 이러한 규격에서 명시되지 않은 외부 수단에 의해 결정됨을 특정한다.
1과 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가 이러한 SEI 메시지에 포함된 ISO/IEC 15938-17 비트스트림에 의해 표현되는 신경 네트워크임을 특정한다.
2와 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가 특정된 태그 URI(Uniform Resource Identifier)(nnpfc_uri_tag[ i ]) 및 신경 네트워크 정보 URI(nnpfc_uri[ i ])에 의해 식별된 신경 네트워크임을 특정한다.
3과 동일한 nnpfc_mode_idc는 nnpfc_id 값과 연관된 포스트-프로세싱 필터가, 이어지는 사용자 데이터 미등록 SEI 메시지에서 특정된 정보를 갖는 신경 네트워크임을 특정한다.
nnpfc_mode_idc의 값은 0 내지 255(이를 포함함)의 범위 내에 있을 것이다. 3 초과의 nnpfc_mode_idc의 값들은 ITU-T | ISO/IEC에 의한 향후 규격을 위해 예약되고, 이러한 규격의 이러한 버전에 순응하는 비트스트림들에 존재하지 않을 것이다. 이러한 규격의 이러한 버전에 순응하는 디코더들은 nnpfc_mode_idc의 예약된 값들을 포함하는 SEI 메시지들을 무시할 것이다.
이러한 경우, 하나의 예에서, nnpfc_mode_idc가 3과 동일할 때, nnpfc_purpose_and_formatting_flag는 1과 동일할 필요가 있을 수 있다는 점에 유의해야 한다. 따라서, 이러한 경우, 후속 사용자 데이터 미등록 SEI 메시지에 포함된 신경 네트워크 데이터에 관한 정보를 제공하는 신경 네트워크 포스트-필터 특성 SEI 메시지의 모든 신택스 요소들이 존재할 것이다.
다른 예들에서, 2개의 별개의 새로운 nnpfc_mode_idc 값들이 각자의 사용자 데이터 등록 SEI 메시지들 및 사용자 데이터 미등록 SEI 메시지들에 대해 정의될 수 있다는 점에 유의해야 한다. 예를 들어, 3과 동일한 nnpfc_mode_idc 값은 권고 ITU-T T.35에 의해 등록된 사용자 데이터에 의해 특정된 신경 네트워크 포스트-필터 데이터를 갖는 신경 네트워크 포스트-필터 특성 SEI 메시지를 특정할 수 있고, 4와 동일한 nnpfc_mode_idc 값은 미등록 사용자 데이터에 의해 특정된 신경 네트워크 포스트-필터 데이터를 갖는 신경 네트워크 포스트-필터 특성 SEI 메시지를 특정할 수 있다. 값들 3 및/또는 4가 전술되어 있지만, 대체적으로, 일부 다른 값이 상기에서 제공된 모드들을 설명하기 위해 nnpfc_mode_idc에 대해 사용될 수 있다는 점에 유의해야 한다.
상기에서 제공된 바와 같이, JVET-AA2006에서의 신경 네트워크 포스트-필터 활성화 SEI 메시지는 신택스 요소 nnpfa_id만을 포함한다. 신경 네트워크 포스트-필터링의 공간은 nnpfc_id 및 nnpfc_mode_idc 둘 모두에 의해 정의되고/되거나 식별될 수 있다. 따라서, 본 명세서의 기법들에 따르면, 각각의 nnpfc_mode_idc는 그 자체의 nnpfc_id 공간을 가져야 한다. 이는, 그들이 동일한 nnpfc_mode_idc를 사용하는 경우에만, 동일한 nnpfc_id 값을 갖는 다른 신경 네트워크 포스트-필터 특성 메시지에 의해 업데이트될 수 있는 소정의 nnpfc_id 값을 갖는 신경 네트워크 포스트-필터 특성 메시지를 정의하는 것을 허용한다. 그러한 업데이트는, 일부 시스템들에서, 대역내 신경 네트워크 데이터 기반 신경 네트워크 포스트-필터 특성 메시지(즉, 1과 동일한 nnpfc_mode_idc)만이 또는 URI 기반 신경 네트워크 포스트-필터 특성 메시지(즉, 2와 동일한 nnpfc_mode_idc)만이 지원되거나 선호될 수 있기 때문에 유용하다. 따라서, 신경 네트워크 포스트-필터 활성화 메시지에서의 새로운 신택스 요소 nnpfa_mode_idc를 시그널링하는 것은 신경 네트워크 포스트-필터 특성 메시지들의 더 양호한 사용을 허용할 수 있다. 표 21은 본 명세서의 기법들에 따른 예시적인 신경 네트워크 포스트-필터 활성화 SEI 메시지의 신택스를 예시한다.
[표 21]
표 21과 관련하여, 하나의 예에서, 시맨틱들은 하기에 기초할 수 있다:
이러한 SEI 메시지는 현재 픽처에 대한 포스트-프로세싱 필터링에 사용될 수 있는 신경 네트워크 포스트-프로세싱 필터를 명시한다.
신경 네트워크 포스트-프로세싱 필터 활성화 SEI 메시지는 현재 픽처에 대해서만 지속된다.
주 - 예를 들어, 포스트-프로세싱 필터들이 상이한 목적들을 위해 의도되거나 상이한 색상 성분들을 필터링할 때, 동일한 픽처에 대해 존재하는 여러 개의 신경 네트워크 포스트-프로세싱 필터 활성화 SEI 메시지들이 있을 수 있다.
nnpfa_id 및 nnpfa_mode_idc는, 현재 픽처와 관련되고 nnfpa_id와 동일한 nnpfc_id 및 nnpfa_mode_idc와 동일한 nnpfc_mode_idc를 갖는 하나 이상의 신경 네트워크 포스트-프로세싱 필터 특성 SEI 메시지들에 의해 명시되는 신경 네트워크 포스트-프로세싱 필터가 현재 픽처에 대한 포스트-프로세싱 필터링에 사용될 수 있음을 특정한다.
이러한 방식으로, 비디오 인코더(500)는, 신경 네트워크 포스트-필터 특성 메시지를 시그널링하도록, 신경 네트워크 포스트-필터 특성 메시지 중에서, 포스트-프로세싱 필터를 식별하는 데 사용되는 식별 번호를 갖는 제1 신택스 요소를 시그널링하도록, 신경 네트워크 포스트-필터 특성 메시지 중에서, 식별 번호와 연관된 포스트-프로세싱 필터가 특정된 태그 URI 및 신경 네트워크 정보 URI에 의해 식별된 신경 네트워크임을 특정하는 값을 갖는 제2 신택스 요소를 시그널링하도록, 그리고 신경 네트워크 포스트-필터 특성 메시지 중에서, 필터 목적, 입력 포맷화, 출력 포맷화, 및 복잡도에 관련된 신택스 요소들이 신경 네트워크 포스트-필터 특성 메시지에 존재하지 않음을 특정하는 값을 갖는 제3 신택스 요소를 시그널링하도록 구성된 디바이스의 일례를 표현하며, 여기서 제2 신택스 요소의 값 및 제3 신택스 요소의 값은 신경 네트워크 포스트-필터 특성 메시지가 신경 네트워크 업데이트를 제공함을 나타낸다.
다시 도 1을 참조하면, 인터페이스(108)는 데이터 캡슐화기(107)에 의해 생성된 데이터를 수신하도록 그리고 데이터를 통신 매체에 송신 및/또는 저장하도록 구성된 임의의 디바이스를 포함할 수 있다. 인터페이스(108)는 이더넷 카드와 같은 네트워크 인터페이스 카드를 포함할 수 있고, 광학 송수신기, 무선 주파수 송수신기, 또는 정보를 전송하고/하거나 수신할 수 있는 임의의 다른 유형의 디바이스를 포함할 수 있다. 또한, 인터페이스(108)는 파일이 저장 디바이스 상에 저장되는 것을 가능하게 할 수 있는 컴퓨터 시스템 인터페이스를 포함할 수 있다. 예를 들어, 인터페이스(108)는 PCI(Peripheral Component Interconnect) 및 PCIe(Peripheral Component Interconnect Express) 버스 프로토콜들, 독점적인 버스 프로토콜들, USB(Universal Serial Bus) 프로토콜, I2C, 또는 피어(peer) 디바이스들을 상호접속시키는 데 사용될 수 있는 임의의 다른 논리적 및 물리적 구조를 지원하는 칩셋을 포함할 수 있다.
다시 도 1을 참조하면, 목적지 디바이스(120)는 인터페이스(122), 데이터 탈캡슐화기(123), 비디오 디코더(124), 및 디스플레이(126)를 포함한다. 인터페이스(122)는 통신 매체로부터 데이터를 수신하도록 구성된 임의의 디바이스를 포함할 수 있다. 인터페이스(122)는 이더넷 카드와 같은 네트워크 인터페이스 카드를 포함할 수 있고, 광학 송수신기, 무선 주파수 송수신기, 또는 정보를 수신하고/하거나 전송할 수 있는 임의의 다른 유형의 디바이스를 포함할 수 있다. 또한, 인터페이스(122)는 컴플라이언트 비디오 비트스트림이 저장 디바이스로부터 인출되는(retrieved) 것을 가능하게 하는 컴퓨터 시스템 인터페이스를 포함할 수 있다. 예를 들어, 인터페이스(122)는 PCI 및 PCIe 버스 프로토콜들, 독점적인 버스 프로토콜들, USB 프로토콜, I2C, 또는 피어 디바이스들을 상호접속시키는 데 사용될 수 있는 임의의 다른 논리적 및 물리적 구조를 지원하는 칩셋을 포함할 수 있다. 데이터 탈캡슐화기(123)는 본 명세서에 기술된 예시적인 신택스 구조들 중 임의의 것을 수신 및 파싱하도록 구성될 수 있다.
비디오 디코더(124)는 비트스트림(예컨대, 서브-비트스트림 추출물) 및/또는 그의 허용가능한 변형들을 수신하도록 그리고 이들로부터 비디오 데이터를 복원하도록 구성된 임의의 디바이스를 포함할 수 있다. 디스플레이(126)는 비디오 데이터를 디스플레이하도록 구성된 임의의 디바이스를 포함할 수 있다. 디스플레이(126)는 액정 디스플레이(LCD), 플라즈마 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 다른 유형의 디스플레이와 같은 다양한 디스플레이 디바이스들 중 하나를 포함할 수 있다. 디스플레이(126)는 고화질 디스플레이 또는 초고화질 디스플레이를 포함할 수 있다. 도 1에 도시된 예에서, 비디오 디코더(124)가 디스플레이(126)에 데이터를 출력하는 것으로 기술되어 있지만, 비디오 디코더(124)는 비디오 데이터를 다양한 유형의 디바이스들 및/또는 그의 서브컴포넌트들로 출력하도록 구성될 수 있다는 점에 유의해야 한다. 예를 들어, 비디오 디코더(124)는, 본 명세서에 기술된 바와 같이, 비디오 데이터를 임의의 통신 매체에 출력하도록 구성될 수 있다.
도 6은 본 개시내용의 하나 이상의 기법들(예컨대, 전술된 기준 픽처 리스트 구성을 위한 디코딩 프로세스)에 따른, 비디오 데이터를 디코딩하도록 구성될 수 있는 비디오 디코더의 일례를 예시하는 블록도이다. 하나의 예에서, 비디오 디코더(600)는 변환 데이터를 디코딩하도록 그리고 디코딩된 변환 데이터에 기초하여 변환 계수들로부터 잔차 데이터를 재구성하도록 구성될 수 있다. 비디오 디코더(600)는 인트라 예측 디코딩 및 인터 예측 디코딩을 수행하도록 구성될 수 있고, 이 때문에, 하이브리드 디코더로 지칭될 수 있다. 비디오 디코더(600)는 표 1 내지 표 21에서 전술된 신택스 요소들의 임의의 조합을 파싱하도록 구성될 수 있다. 비디오 디코더(600)는 전술된 프로세스들에 기초하여 또는 이들에 따라, 그리고 표 1 내지 표 21의 파싱된 값들에 추가로 기초하여 비디오를 디코딩할 수 있다.
도 6에 도시된 예에서, 비디오 디코더(600)는 엔트로피 디코딩 유닛(602), 역양자화 유닛(604), 역변환 계수 프로세싱 유닛(606), 인트라 예측 프로세싱 유닛(608), 인터 예측 프로세싱 유닛(610), 합산기(612), 포스트 필터 유닛(614), 및 기준 버퍼(616)를 포함한다. 비디오 디코더(600)는 비디오 코딩 시스템과 일치하는 방식으로 비디오 데이터를 디코딩하도록 구성될 수 있다. 예시적인 비디오 디코더(600)가 별개의 기능 블록들을 갖는 것으로 예시되지만, 그러한 예시는 설명의 목적을 위한 것이고 비디오 디코더(600) 및/또는 그의 서브컴포넌트들을 특정 하드웨어 또는 소프트웨어 아키텍처로 제한하지 않는다는 점에 유의해야 한다. 비디오 디코더(600)의 기능들은 하드웨어, 펌웨어, 및/또는 소프트웨어 구현들의 임의의 조합을 이용하여 실현될 수 있다.
도 6에 도시된 바와 같이, 엔트로피 디코딩 유닛(602)은 엔트로피 인코딩된 비트스트림을 수신한다. 엔트로피 디코딩 유닛(602)은 엔트로피 인코딩 프로세스에 상반되는 프로세스에 따라 비트스트림으로부터 신택스 요소들 및 양자화된 계수들을 디코딩하도록 구성될 수 있다. 엔트로피 디코딩 유닛(602)은 전술된 엔트로피 코딩 기법들 중 임의의 것에 따라 엔트로피 디코딩을 수행하도록 구성될 수 있다. 엔트로피 디코딩 유닛(602)은 비디오 코딩 표준과 일치하는 방식으로, 인코딩된 비트스트림에서 신택스 요소들에 대한 값들을 결정할 수 있다. 도 6에 도시된 바와 같이, 엔트로피 디코딩 유닛(602)은 비트스트림으로부터 양자화 파라미터, 양자화된 계수 값들, 변환 데이터, 및 예측 데이터를 결정할 수 있다. 도 6에 도시된 예에서, 역양자화 유닛(604) 및 역변환 계수 프로세싱 유닛(606)은 엔트로피 디코딩 유닛(602)으로부터 양자화된 계수 값들을 수신하고, 재구성된 잔차 데이터를 출력한다.
다시 도 6을 참조하면, 재구성된 잔차 데이터가 합산기(612)에 제공될 수 있다. 합산기(612)는 재구성된 잔차 데이터를 예측 비디오 블록에 추가할 수 있고, 재구성된 비디오 데이터를 생성할 수 있다. 예측 비디오 블록은 예측 비디오 기법(즉, 인트라 예측 및 인터 프레임 예측)에 따라 결정될 수 있다. 인트라 예측 프로세싱 유닛(608)은 인트라 예측 신택스 요소들을 수신하도록 그리고 기준 버퍼(616)로부터 예측 비디오 블록을 인출하도록 구성될 수 있다. 기준 버퍼(616)는 비디오 데이터의 하나 이상의 프레임들을 저장하도록 구성된 메모리 디바이스를 포함할 수 있다. 인트라 예측 신택스 요소들은 전술된 인트라 예측 모드들과 같은 인트라 예측 모드를 식별할 수 있다. 인터 예측 프로세싱 유닛(610)은 인터 예측 신택스 요소들을 수신할 수 있고, 모션 벡터들을 생성하여 기준 버퍼(616)에 저장된 하나 이상의 기준 프레임들 내의 예측 블록을 식별할 수 있다. 인터 예측 프로세싱 유닛(610)은 모션 보상된 블록들을 생성하여, 가능하게는 보간 필터들에 기초하여 보간을 수행할 수 있다. 서브-픽셀 정밀도의 모션 추정에 사용될 보간 필터들에 대한 식별자들이 신택스 요소들에 포함될 수 있다. 인터 예측 프로세싱 유닛(610)은 보간 필터들을 사용하여 기준 블록의 서브-정수 픽셀들에 대한 보간된 값들을 계산할 수 있다. 포스트 필터 유닛(614)은 재구성된 비디오 데이터에 대해 필터링을 수행하도록 구성될 수 있다. 예를 들어, 포스트 필터 유닛(614)은, 예컨대 비트스트림에 특정된 파라미터들에 기초하여, 디블록킹 및/또는 샘플 적응적 오프셋(SAO) 필터링을 수행하도록 구성될 수 있다. 또한, 일부 예들에서, 포스트 필터 유닛(614)은 독점적인 임의적 필터링(예컨대, 모스키토 노이즈(mosquito noise) 감소와 같은 시각적 향상들)를 수행하도록 구성될 수 있다는 점에 유의해야 한다. 도 6에 도시된 바와 같이, 재구성된 비디오 블록은 비디오 디코더(600)에 의해 출력될 수 있다. 이러한 방식으로, 비디오 디코더(600)는, 신경 네트워크 포스트-필터 특성 메시지를 수신하도록, 신경 네트워크 포스트-필터 특성 메시지로부터, 포스트-프로세싱 필터를 식별하는 데 사용되는 식별 번호를 갖는 제1 신택스 요소를 파싱하도록, 신경 네트워크 포스트-필터 특성 메시지로부터, 식별 번호와 연관된 포스트-프로세싱 필터가 특정된 태그 URI 및 신경 네트워크 정보 URI에 의해 식별된 신경 네트워크임을 특정하는 값을 갖는 제2 신택스 요소를 파싱하도록, 신경 네트워크 포스트-필터 특성 메시지로부터, 필터 목적, 입력 포맷화, 출력 포맷화, 및 복잡도에 관련된 신택스 요소들이 신경 네트워크 포스트-필터 특성 메시지에 존재하지 않음을 특정하는 값을 갖는 제3 신택스 요소를 파싱하도록, 그리고 제2 신택스 요소의 값 및 제3 신택스 요소의 값에 기초하여, 신경 네트워크 포스트-필터 특성 메시지가 신경 네트워크 업데이트를 제공한다고 결정하도록 구성된 디바이스의 일례를 표현한다.
하나 이상의 예들에서, 기술된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기능들은 컴퓨터 판독가능 매체 상에 저장될 수 있거나 또는 그 매체 상의 하나 이상의 명령어 또는 코드로서 전송될 수 있고, 하드웨어 기반 프로세싱 유닛에 의해 실행될 수 있다. 컴퓨터 판독가능 매체는 데이터 저장 매체와 같은 유형적 매체에 대응하는 컴퓨터 판독가능 저장 매체, 또는 예컨대 통신 프로토콜에 따라 하나의 장소에서 다른 장소로의 컴퓨터 프로그램의 이송을 용이하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수 있다. 이러한 방식으로, 컴퓨터 판독가능 매체는, 일반적으로, (1) 비일시적인 유형적 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체는, 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스되어 본 개시내용에 기술된 기법들의 구현을 위한 명령어들, 코드 및/또는 데이터 구조들을 인출할 수 있는 임의의 이용가능한 매체일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수 있다.
제한이 아닌 예로서, 그러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장소, 자기 디스크 저장소, 또는 다른 자기 저장 디바이스, 플래시 메모리, 또는 명령어들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 사실상 컴퓨터 판독가능 매체로 지칭된다. 예를 들어, 명령어들이 동축 케이블, 광섬유 케이블, 연선, DSL(digital subscriber line), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술을 이용하여 웹사이트, 서버 또는 다른 원격 소스로부터 송신되는 경우, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들이 매체의 정의에 포함된다. 그러나, 컴퓨터 판독가능 저장 매체 및 데이터 저장 매체는 접속, 반송파, 신호, 또는 다른 일시적 매체를 포함하는 것이 아니라, 그 대신, 비일시적인 유형적 저장 매체에 관한 것이라는 것을 이해해야 한다. 본 명세서에 사용되는 바와 같이, 디스크(disk) 및 디스크(disc)는 CD(compact disc), 레이저 디스크, 광 디스크, DVD(digital versatile disc), 플로피 디스크 및 블루-레이 디스크를 포함하는데, 여기서 디스크(disk)는 보통 데이터를 자기적으로 재생하는 반면 디스크(disc)는 레이저를 사용하여 광학적으로 데이터를 재생한다. 상기의 것들의 조합이 또한 컴퓨터 판독가능 매체의 범주 내에 포함되어야 한다.
명령어들은 하나 이상의 DSP(digital signal processor), 범용 마이크로프로세서, ASIC(application specific integrated circuit), FPGA(field programmable logic array), 또는 다른 등가의 집적 또는 이산 로직 회로부와 같은 하나 이상의 프로세서에 의해 실행될 수 있다. 따라서, 본 명세서에 사용되는 바와 같이, 용어 "프로세서"는 전술한 구조물 중 임의의 구조물 또는 본 명세서에 기술된 기법들의 구현에 적합한 임의의 다른 구조물을 지칭할 수 있다. 또한, 일부 태양들에서, 본 명세서에 기술된 기능은, 인코딩 및 디코딩을 위해 구성되거나, 또는 조합된 코덱에 포함된 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공될 수 있다. 또한, 기법들은 하나 이상의 회로 또는 로직 요소에서 완전하게 구현될 수 있다.
본 개시내용의 기법들은 무선 핸드셋, 집적회로(IC) 또는 IC들의 세트(예컨대, 칩셋)를 포함하는 매우 다양한 디바이스들 또는 장치들에서 구현될 수 있다. 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 태양들을 강조하기 위해 다양한 컴포넌트들, 모듈들, 또는 유닛들이 본 개시내용에 기술되어 있지만, 반드시 상이한 하드웨어 유닛들에 의한 실현을 요구하는 것은 아니다. 오히려, 전술된 바와 같이, 다양한 유닛들이 코덱 하드웨어 유닛에서 조합될 수 있거나, 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 전술된 바와 같은 하나 이상의 프로세서를 포함하는 상호운용성 하드웨어 유닛들의 집합에 의해 제공될 수 있다.
더욱이, 전술한 실시예들 각각에서 사용되는 기지국 디바이스 및 단말기 디바이스의 각각의 기능 블록 또는 다양한 특징부들은, 전형적으로 집적회로 또는 복수의 집적회로인 회로부에 의해 구현되거나 실행될 수 있다. 본 명세서에 설명된 기능들을 실행하도록 설계된 회로부는 범용 프로세서, DSP, ASIC(application specific or general application integrated circuit), FPGA(field programmable gate array), 또는 다른 프로그래밍가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 또는 이산 하드웨어 컴포넌트, 또는 이들의 조합을 포함할 수 있다. 범용 프로세서는 마이크로프로세서일 수 있거나, 또는, 대안적으로, 프로세서는 종래의 프로세서, 제어기, 마이크로제어기 또는 상태 머신(state machine)일 수 있다. 앞서 설명된 범용 프로세서 또는 각각의 회로는 디지털 회로에 의해 구성될 수 있거나, 또는 아날로그 회로에 의해 구성될 수 있다. 또한, 반도체 기술의 발전으로 인해, 현시대의 집적회로들을 대체하는 집적회로를 제조하는 기술이 나타날 때, 이러한 기술에 의한 집적회로가 또한 사용될 수 있다.
다양한 예들이 기술되었다. 이들 및 다른 예들은 다음의 청구범위의 범주 내에 있다.
Claims (9)
- 비디오 데이터를 위한 신경 네트워크 포스트-루프 필터 정보를 업데이트하는 방법으로서,
신경 네트워크 포스트-필터 특성 메시지를 수신하는 단계;
상기 신경 네트워크 포스트-필터 특성 메시지로부터, 포스트-프로세싱 필터를 식별하는 데 사용되는 식별 번호를 갖는 제1 신택스 요소를 파싱하는 단계;
상기 신경 네트워크 포스트-필터 특성 메시지로부터, 상기 식별 번호와 연관된 상기 포스트-프로세싱 필터가 특정된 태그 URI(Uniform Resource Identifier) 및 신경 네트워크 정보 URI에 의해 식별된 신경 네트워크임을 특정하는 값을 갖는 제2 신택스 요소를 파싱하는 단계;
상기 신경 네트워크 포스트-필터 특성 메시지로부터, 필터 목적, 입력 포맷화, 출력 포맷화, 및 복잡도에 관련된 신택스 요소들이 상기 신경 네트워크 포스트-필터 특성 메시지에 존재하지 않음을 특정하는 값을 갖는 제3 신택스 요소를 파싱하는 단계; 및
상기 제2 신택스 요소의 값 및 상기 제3 신택스 요소의 값에 기초하여, 상기 신경 네트워크 포스트-필터 특성 메시지가 신경 네트워크 업데이트를 제공한다고 결정하는 단계를 포함하는, 방법. - 하나 이상의 프로세서들을 포함하는 디바이스로서, 상기 하나 이상의 프로세서들은,
신경 네트워크 포스트-필터 특성 메시지를 수신하도록;
상기 신경 네트워크 포스트-필터 특성 메시지로부터, 포스트-프로세싱 필터를 식별하는 데 사용되는 식별 번호를 갖는 제1 신택스 요소를 파싱하도록;
상기 신경 네트워크 포스트-필터 특성 메시지로부터, 상기 식별 번호와 연관된 상기 포스트-프로세싱 필터가 특정된 태그 URI 및 신경 네트워크 정보 URI에 의해 식별된 신경 네트워크임을 특정하는 값을 갖는 제2 신택스 요소를 파싱하도록;
상기 신경 네트워크 포스트-필터 특성 메시지로부터, 필터 목적, 입력 포맷화, 출력 포맷화, 및 복잡도에 관련된 신택스 요소들이 상기 신경 네트워크 포스트-필터 특성 메시지에 존재하지 않음을 특정하는 값을 갖는 제3 신택스 요소를 파싱하도록; 그리고
상기 제2 신택스 요소의 값 및 상기 제3 신택스 요소의 값에 기초하여, 상기 신경 네트워크 포스트-필터 특성 메시지가 신경 네트워크 업데이트를 제공한다고 결정하도록 구성되는, 디바이스. - 제2항에 있어서, 상기 제2 신택스 요소는 상기 신경 네트워크 포스트-필터 특성 메시지에 포함된 데이터의 페이로드 크기를 특정하는 제4 신택스 요소를 나타내는 값을 가질 수 있는, 디바이스.
- 제3항에 있어서, 상기 데이터는 사용자 데이터 미등록 보충 향상 메시지를 포함하는, 디바이스.
- 제3항에 있어서, 상기 데이터는 사용자 데이터 등록 보충 향상 메시지를 포함하는, 디바이스.
- 제2항에 있어서, 상기 하나 이상의 프로세서들은,
신경 네트워크 포스트-필터 활성화 메시지를 수신하도록; 그리고
상기 신경 네트워크 포스트-필터 활성화 메시지로부터, 상기 신경 네트워크 포스트-프로세싱 필터 특성 메시지를 특정하는 신경 네트워크 포스트-프로세싱 필터가 현재 픽처에 관한 것임을 특정하는 제4 및 제5 신택스 요소를 파싱하도록 추가로 구성되는, 디바이스. - 제2항에 있어서, 상기 디바이스는 비디오 디코더를 포함하는, 디바이스.
- 하나 이상의 프로세서들을 포함하는 디바이스로서, 상기 하나 이상의 프로세서들은,
신경 네트워크 포스트-필터 특성 메시지를 시그널링하도록;
상기 신경 네트워크 포스트-필터 특성 메시지 중에서, 포스트-프로세싱 필터를 식별하는 데 사용되는 식별 번호를 갖는 제1 신택스 요소를 시그널링하도록;
상기 신경 네트워크 포스트-필터 특성 메시지 중에서, 상기 식별 번호와 연관된 상기 포스트-프로세싱 필터가 특정된 태그 URI 및 신경 네트워크 정보 URI에 의해 식별된 신경 네트워크임을 특정하는 값을 갖는 제2 신택스 요소를 시그널링하도록; 그리고
상기 신경 네트워크 포스트-필터 특성 메시지 중에서, 필터 목적, 입력 포맷화, 출력 포맷화, 및 복잡도에 관련된 신택스 요소들이 상기 신경 네트워크 포스트-필터 특성 메시지에 존재하지 않음을 특정하는 값을 갖는 제3 신택스 요소를 시그널링하도록 구성되고,
상기 제2 신택스 요소의 값 및 상기 제3 신택스 요소의 값은, 상기 신경 네트워크 포스트-필터 특성 메시지가 신경 네트워크 업데이트를 제공함을 나타내는, 디바이스. - 제8항에 있어서, 상기 디바이스는 비디오 인코더를 포함하는, 디바이스.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/961,375 | 2022-10-06 | ||
| US17/961,375 US20240121443A1 (en) | 2022-10-06 | 2022-10-06 | Systems and methods for signaling neural network post-filter information updates in video coding |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240048460A true KR20240048460A (ko) | 2024-04-15 |
Family
ID=85172389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230020160A KR20240048460A (ko) | 2022-10-06 | 2023-02-15 | 비디오 코딩에서의 신경 네트워크 포스트-필터 정보 업데이트들을 시그널링하기 위한 시스템들 및 방법들 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20240121443A1 (ko) |
| EP (1) | EP4351134A1 (ko) |
| JP (1) | JP2024055731A (ko) |
| KR (1) | KR20240048460A (ko) |
| CN (1) | CN117857789A (ko) |
| AU (1) | AU2023200535A1 (ko) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190052893A (ko) * | 2017-11-09 | 2019-05-17 | 삼성전자주식회사 | 뉴럴 네트워크 연산을 위한 전처리 장치 및 방법 |
| US10999606B2 (en) * | 2019-01-08 | 2021-05-04 | Intel Corporation | Method and system of neural network loop filtering for video coding |
| US11265580B2 (en) * | 2019-03-22 | 2022-03-01 | Tencent America LLC | Supplemental enhancement information messages for neural network based video post processing |
| US20220256227A1 (en) * | 2021-02-03 | 2022-08-11 | Nokia Technologies Oy | High-level syntax for signaling neural networks within a media bitstream |
| US20220329837A1 (en) * | 2021-04-06 | 2022-10-13 | Lemon Inc. | Neural Network-Based Post Filter For Video Coding |
| US11979565B2 (en) * | 2021-05-27 | 2024-05-07 | Tencent America LLC | Content-adaptive online training method and apparatus for post-filtering |
| US20230112309A1 (en) * | 2021-09-30 | 2023-04-13 | Nokia Technologies Oy | High-level syntax for signaling neural networks within a media bitstream |
-
2022
- 2022-10-06 US US17/961,375 patent/US20240121443A1/en active Pending
-
2023
- 2023-01-27 JP JP2023011152A patent/JP2024055731A/ja active Pending
- 2023-02-02 AU AU2023200535A patent/AU2023200535A1/en active Pending
- 2023-02-02 EP EP23154787.8A patent/EP4351134A1/en active Pending
- 2023-02-03 CN CN202310093949.XA patent/CN117857789A/zh active Pending
- 2023-02-15 KR KR1020230020160A patent/KR20240048460A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| US20240121443A1 (en) | 2024-04-11 |
| AU2023200535A1 (en) | 2024-05-02 |
| CN117857789A (zh) | 2024-04-09 |
| JP2024055731A (ja) | 2024-04-18 |
| EP4351134A1 (en) | 2024-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021079948A1 (en) | Systems and methods for signaling picture information in video coding | |
| US11611778B2 (en) | Systems and methods for signaling general constraint information in video coding | |
| US11778236B2 (en) | Device, and method of decoding video data | |
| US20220321919A1 (en) | Systems and methods for signaling neural network-based in-loop filter parameter information in video coding | |
| US11856236B2 (en) | Systems and methods for signaling sequence parameter information in video coding | |
| JP7427688B2 (ja) | ビデオ符号化におけるタイルグループ情報をシグナリングするためのシステム及び方法 | |
| WO2021153475A1 (en) | Systems and methods for signaling picture information in a slice header in video coding | |
| US11792433B2 (en) | Systems and methods for signaling profile and level information in video coding | |
| US20230007291A1 (en) | Systems and methods for signaling temporal sublayer information in video coding | |
| US20230016439A1 (en) | Systems and methods for signaling picture timing and decoding unit information in video coding | |
| WO2021100724A1 (en) | Systems and methods for signaling reference picture lists in video coding | |
| US20230128399A1 (en) | Systems and methods for signaling decoded picture buffer information in video coding | |
| US20230048070A1 (en) | Systems and methods for signaling output layer set information in video coding | |
| US20240121443A1 (en) | Systems and methods for signaling neural network post-filter information updates in video coding | |
| US20240089510A1 (en) | Systems and methods for signaling neural network post-filter characteristics information in video coding | |
| US20240129535A1 (en) | Systems and methods for signaling neural network post-filter frame rate upsampling information in video coding | |
| US11818398B2 (en) | Systems and methods for signaling video parameter information in video coding | |
| WO2024004978A1 (en) | Systems and methods for signaling neural network post-filter parameter information in video coding | |
| WO2024004811A1 (en) | Systems and methods for signaling neural network post-filter parameter information in video coding | |
| US20230134652A1 (en) | Systems and methods for applying deblocking filters in video coding | |
| CN117651132A (zh) | 发送信号通知神经网络环路后滤波器信息的方法和设备 |