KR20220041940A - 비디오 샘플들의 블록을 인코딩 및 디코딩하기 위한 방법, 장치 및 시스템 - Google Patents
비디오 샘플들의 블록을 인코딩 및 디코딩하기 위한 방법, 장치 및 시스템 Download PDFInfo
- Publication number
- KR20220041940A KR20220041940A KR1020227008931A KR20227008931A KR20220041940A KR 20220041940 A KR20220041940 A KR 20220041940A KR 1020227008931 A KR1020227008931 A KR 1020227008931A KR 20227008931 A KR20227008931 A KR 20227008931A KR 20220041940 A KR20220041940 A KR 20220041940A
- Authority
- KR
- South Korea
- Prior art keywords
- coding
- bitstream
- subdivision
- transform
- level
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 175
- 238000013139 quantization Methods 0.000 claims abstract description 154
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 22
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 187
- 241000023320 Luma <angiosperm> Species 0.000 claims description 177
- 238000005192 partition Methods 0.000 claims description 67
- 230000015654 memory Effects 0.000 claims description 64
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 description 47
- 238000012360 testing method Methods 0.000 description 41
- 239000000523 sample Substances 0.000 description 27
- 239000013598 vector Substances 0.000 description 21
- 238000000638 solvent extraction Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 230000009466 transformation Effects 0.000 description 16
- 238000001914 filtration Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 230000011664 signaling Effects 0.000 description 12
- 230000003044 adaptive effect Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 10
- 238000007906 compression Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 6
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 6
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 6
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 239000013074 reference sample Substances 0.000 description 5
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 4
- 238000003491 array Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 229910052710 silicon Inorganic materials 0.000 description 4
- 239000010703 silicon Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 2
- 244000046052 Phaseolus vulgaris Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 229930091051 Arenine Natural products 0.000 description 1
- 241000985610 Forpus Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
비트스트림으로부터 복수의 코딩 유닛들을 디코딩하여 이미지 프레임을 생성하는 시스템 및 방법이며, 코딩 유닛들은 코딩 트리 유닛들의 분해들의 결과이고, 복수의 코딩 유닛들은 비트스트림의 하나 이상의 연속 부분을 형성한다. 이 방법은, 비트스트림의 하나 이상의 연속 부분 각각에 대한 세분 레벨을 결정하는 단계 - 각각의 세분 레벨은 비트스트림의 각각의 연속 부분의 코딩 유닛들에 적용가능함 -; 다수의 영역 각각에 대한 양자화 파라미터 델타를 디코딩하는 단계 - 각각의 영역은 비트스트림의 각각의 연속 부분의 코딩 유닛들로의 코딩 트리 유닛들의 분해 및 대응하는 결정된 세분 레벨에 기반함 -; 영역에 대한 디코딩된 델타 양자화 파라미터 및 이미지 프레임의 이전 코딩 유닛의 양자화 파라미터에 따라 각각의 영역에 대한 양자화 파라미터를 결정하는 단계; 각각의 영역의 결정된 양자화 파라미터를 이용하여 복수의 코딩 유닛들을 디코딩하여 이미지 프레임을 생성하는 단계를 포함한다.
Description
관련 출원(들)에 대한 참조
본 출원은 35 U.S.C. §119 하에서 2019년 9월 17일에 출원된 호주 특허 출원 제2019232797호의 출원일의 이익을 주장하며, 이 출원은 본 명세서에 완전히 제시된 것처럼 그 전체가 참조로 포함된다.
본 발명은 일반적으로 디지털 비디오 신호 처리에 관한 것으로, 특히, 비디오 샘플들의 블록을 인코딩 및 디코딩하기 위한 방법, 장치 및 시스템에 관한 것이다. 본 발명은 또한 비디오 샘플들의 블록을 인코딩 및 디코딩하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품에 관한 것이다.
비디오 데이터의 전송 및 저장을 위한 애플리케이션들을 포함하는, 비디오 코딩을 위한 많은 애플리케이션들이 현재 존재한다. 많은 비디오 코딩 표준들이 또한 개발되었고, 다른 비디오 코딩 표준들이 현재 개발 중이다. 비디오 코딩 표준화에서의 최근의 개발은 "JVET(Joint Video Experts Team)"라고 불리는 그룹을 형성하게 하였다. JVET(Joint Video Experts Team)는 "VCEG(Video Coding Experts Group)"로도 알려진 ITU(International Telecommunication Union)의 ITU-T(Telecommunication Standardisation Sector)의 SG16/Q6(Study Group 16, Question 6)의 멤버들, 및 "MPEG(Moving Picture Experts Group)"로도 알려진 ISO/IEC JTC1/SC29/WG11(International Organisations for Standardisation/International Electrotechnical Commission Joint Technical Committee 1/Subcommittee 29/Working Group 11)의 멤버들을 포함한다.
JVET(Joint Video Experts Team)는 CfP(Call for Proposals)를 발행했고, 응답들은 미국 샌디에고에서의 10차 회의에서 분석되었다. 제출된 응답들은 현재의 최신 비디오 압축 표준, 즉 "고 효율 비디오 코딩(high efficiency video coding)(HEVC)"의 비디오 압축 능력을 상당히 능가하는 능력을 보여주었다. 이러한 성과에 기반하여, '다용도 비디오 코딩(versatile video coding)(VVC)'로 명명되는 새로운 비디오 압축 표준을 개발하기 위한 프로젝트를 시작하기로 결정되었다. VVC는, 특히 비디오 포맷들이 (예를 들어, 더 높은 해상도 및 더 높은 프레임 레이트를 가져서) 용량이 증가하고 또한 대역폭 비용들이 비교적 높은 WAN들을 통한 서비스 전달에 대한 증가하는 시장 수요를 다뤄야 함에 따라 점점 더 높아지는 압축 성능에 대한 지속적인 수요를 해결할 것으로 예상된다. 몰입형 비디오와 같은 이용 사례들은 이러한 더 높은 포맷들의 실시간 인코딩 및 디코딩을 필요로 하고, 예를 들어, CMP(cube-map projection)는 최종 렌더링된 '뷰포트'가 더 낮은 해상도를 이용하더라도 8K 포맷을 이용할 수 있다. VVC는 현대의 실리콘 프로세스들에서 구현가능하고 달성된 성능 대 구현 비용 간의 수용가능한 절충을 제공해야 한다. 구현 비용은, 예를 들어, 실리콘 영역, CPU 프로세서 부하, 메모리 이용률 및 대역폭 중 하나 이상의 면에서 고려될 수 있다. 더 높은 비디오 포맷들은 프레임 영역을 섹션들로 분할하고 각각의 섹션을 병렬로 처리함으로써 처리될 수 있다. "단일 코어" 디코더에 의한 디코딩에 여전히 적합한 압축된 프레임의 복수의 섹션들로부터 구성된 비트스트림, 즉, 비트레이트를 포함하는 프레임 레벨 제약들은 애플리케이션 요구들에 따라 각각의 섹션에 할당된다.
비디오 데이터는 이미지 데이터의 프레임들의 시퀀스를 포함하며, 각각의 프레임은 하나 이상의 색 채널을 포함한다. 일반적으로, 하나의 1차 색 채널 및 2개의 2차 색 채널이 필요하다. 1차 색 채널은 일반적으로 '루마' 채널로 지칭되고, 2차 색 채널(들)은 일반적으로 '크로마' 채널들로 지칭된다. 비디오 데이터가 전형적으로 RGB(적색-녹색-청색) 색 공간에서 표시되지만, 이러한 색 공간은 3개의 각각의 성분 사이에 높은 상관 정도를 갖는다. 인코더 또는 디코더에 의해 보이는 비디오 데이터 표현은 종종 YCbCr과 같은 색 공간을 이용하고 있다. YCbCr은 휘도에 집중하는데, Y(1차) 채널에서의 전달 함수에 따라 '루마'에 매핑되고 Cb 및 Cr(2차) 채널들에서의 크로마에 매핑된다. 상관해제된 YCbCr 신호의 이용으로 인해, 루마 채널의 통계치들은 크로마 채널들의 통계치들과 현저하게 다르다. 주요 차이는 양자화 후에, 크로마 채널들이 대응하는 루마 채널 블록에 대한 계수들에 비해 주어진 블록에 대해 비교적 적은 유의 계수들(significant coefficients)을 포함한다는 것이다. 또한, Cb 및 Cr 채널들은 루마 채널에 비해 더 낮은 레이트로 공간적으로 샘플링(서브샘플링)될 수 있는데, 예를 들어, 수평으로 절반이고 수직으로 절반이며, '4:2:0 크로마 포맷'으로 알려져 있다. 4:2:0 크로마 포맷은, 인터넷 비디오 스트리밍, 방송 텔레비전, 및 Blu-RayTM 디스크들 상의 저장소와 같은, '소비자' 애플리케이션들에서 흔히 이용된다. Cb 및 Cr 채널들을 수평으로 절반-레이트로 서브샘플링하고 수직으로 서브샘플링하지 않는 것은 '4:2:2 크로마 포맷'으로 알려져 있다. 4:2:2 크로마 포맷은 영화 제작 등을 위한 장면의 캡처를 포함하는 전문적인 애플리케이션들에서 통상적으로 이용된다. 4:2:2 크로마 포맷의 더 높은 샘플링 레이트는 결과적인 비디오를 색 그레이딩과 같은 편집 동작들에 대해 더 복원성 있게 만든다. 소비자들에게 배포되기 전에, 4:2:2 크로마 포맷 자료는 종종 4:2:0 크로마 포맷으로 변환되고 이어서 소비자들에의 배포를 위해 인코딩된다. 크로마 포맷 이외에, 비디오는 또한 해상도 및 프레임 레이트를 특징으로 한다. 예시적인 해상도들은 3840×2160의 해상도를 갖는 초고화질(UHD) 또는 7680×4320의 해상도를 갖는 '8K'이고, 예시적인 프레임 레이트들은 60 또는 120Hz이다. 루마 샘플 레이트들은 초당 대략 500 메가 샘플 내지 초당 몇 기가 샘플의 범위일 수 있다. 4:2:0 크로마 포맷에 대해, 각각의 크로마 채널의 샘플 레이트는 루마 샘플 레이트의 1/4이고, 4:2:2 크로마 포맷에 대해, 각각의 크로마 채널의 샘플 레이트는 루마 샘플 레이트의 1/2이다.
VVC 표준은 프레임들이 먼저 '코딩 트리 유닛(coding tree unit)(CTU)들'로 알려진 정사각형 영역들의 어레이로 분할되는 '블록 기반' 코덱이다. CTU들은 일반적으로 128×128 루마 샘플들과 같은 비교적 큰 영역을 점유한다. 그러나, 각각의 프레임의 우측 및 하단 에지에서의 CTU들은 영역이 더 작을 수 있다. 각각의 CTU와 연관되는 것은 루마 채널 및 크로마 채널들('공유 트리') 둘 다에 대한 '코딩 트리' 또는 루마 채널 및 크로마 채널들 각각에 대한 별개의 트리이다. 코딩 트리는 CTU의 영역을 '코딩 블록'(CB)들로도 지칭되는 블록들의 세트로 분해하는 것을 정의한다. 공유 트리가 이용 중일 때, 단일 코딩 트리는 루마 채널 및 크로마 채널들 둘 다에 대한 블록들을 지정하고, 이 경우 병치된 코딩 블록들의 컬렉션들은 '코딩 유닛(CU)들'로 지칭되며, 즉 각각의 CU는 각각의 색 채널에 대한 코딩 블록을 갖는다. CB들은 특정 순서로 인코딩 또는 디코딩을 위해 처리된다. 4:2:0 크로마 포맷의 이용의 결과로서, 128×128 루마 샘플 면적에 대한 루마 코딩 트리를 갖는 CTU는 128×128 루마 샘플 면적과 병치되는, 64×64 크로마 샘플 면적에 대한 대응하는 크로마 코딩 트리를 갖는다. 단일 코딩 트리가 루마 채널 및 크로마 채널들에 대해 이용 중일 때, 주어진 영역에 대한 병치된 블록들의 컬렉션들은 일반적으로 '유닛들', 예를 들어, 앞서 언급한 CU들뿐만 아니라 '예측 유닛(PU)들' 및 '변환 유닛(TU)들'로 지칭된다. 4:2:0 크로마 포맷 비디오 데이터의 색 채널들에 걸치는 CU들을 갖는 단일 트리는 대응하는 루마 블록들의 폭 및 높이의 절반의 크로마 블록들을 낳는다. 주어진 영역에 대해 별개의 코딩 트리들이 이용될 때, 앞서 언급한 CB들뿐만 아니라 '예측 블록(PB)들' 및 '변환 블록(TB)들'이 이용된다.
'유닛들'과 '블록들' 사이의 위의 구별에도 불구하고, '블록'이라는 용어는 동작들이 모든 색 채널들에 적용되는 프레임의 영역들 또는 구역들에 대한 일반적인 용어로서 사용될 수 있다.
각각의 CU에 대해, 프레임 데이터의 대응하는 영역의 콘텐츠(샘플 값들)의 예측 유닛(PU)('예측 유닛')이 생성된다. 또한, 인코더에 대한 입력에서 보이는 영역의 콘텐츠와 예측 사이의 차이(또는 '공간적 도메인' 잔차(residual))의 표현이 형성된다. 각각의 색 채널에서의 차이는 잔차 계수들의 시퀀스로서 변환 및 코딩되어, 주어진 CU에 대해 하나 이상의 TU를 형성할 수 있다. 적용된 변환은 잔차 값들의 각각의 블록에 적용되는 DCT(Discrete Cosine Transform) 또는 다른 변환일 수 있다. 이러한 변환은 분리 가능하게 적용되는데, 즉, 2차원 변환은 2개의 패스로 수행된다. 블록은 먼저 블록에서의 샘플들의 각각의 행에 1차원 변환을 적용함으로써 변환된다. 그 후, 부분 결과는, 그 부분 결과의 각각의 열에 1차원 변환을 적용하여 잔차 샘플들을 실질적으로 상관해제시키는 변환 계수들의 최종 블록을 생성함으로써 변환된다. 각각의 측면 치수가 2의 거듭제곱인 직사각형 형상의 블록들의 변환들을 포함하여, 다양한 크기들의 변환들이 VVC 표준에 의해 지원된다. 변환 계수들은 비트스트림으로 엔트로피 인코딩하기 위해 양자화된다.
VVC는 프레임내 예측 및 프레임간 예측을 특징으로 한다. 프레임내 예측은 프레임 내의 샘플들의 현재 블록의 예측을 생성하는데 이용되는 프레임 내의 이전에 처리된 샘플들의 이용을 수반한다. 프레임간 예측은 이전에 디코딩된 프레임으로부터 획득된 샘플들의 블록을 이용하여 프레임 내의 샘플들의 현재 블록의 예측을 생성하는 것을 수반한다. 이전에 디코딩된 프레임으로부터 획득된 샘플들의 블록은 종종 필터링이 적용되는 움직임 벡터에 따라 현재 블록의 공간적 위치로부터 오프셋된다. 프레임내 예측 블록들은 (i) 균일한 샘플 값("DC 내적 예측"), (ii) 오프셋 및 수평 및 수직 기울기를 갖는 평면("평면 내적 예측"), (iii) 이웃 샘플들이 특정 방향으로 적용된 블록의 집단("각도 내적 예측") 또는 (iv) 이웃 샘플들 및 선택된 행렬 계수들을 이용하는 행렬 곱셈의 결과일 수 있다. 예측된 블록과 대응하는 입력 샘플들 사이의 추가 불일치는 '잔차'를 비트스트림으로 인코딩함으로써 어느 정도 정정될 수 있다. 잔차는 일반적으로 ('2차 변환 도메인'에서 잔차 계수들을 생성하기 위해) '2차 변환'의 적용에 의해 추가로 변환될 수 있는, (1차 변환 도메인에서의) 잔차 계수들을 형성하기 위해 공간적 도메인으로부터 주파수 도메인으로 변환된다. 잔차 계수들은 양자화 파라미터에 따라 양자화되어, 디코더에서 생성되지만 비트스트림 내의 비트레이트의 감소를 갖는 샘플들의 재구성의 정확도의 손실을 초래한다. 양자화 파라미터는 프레임마다 그리고 각각의 프레임 내에서 변할 수 있다. 프레임 내의 양자화 파라미터를 변경하는 것은 '레이트 제어형' 인코더들에 대해 전형적이다. 레이트 제어형 인코더들은 잡음 특성들, 움직임의 정도와 같은 수신된 입력 샘플들의 통계치들에 관계없이 실질적으로 일정한 비트레이트를 갖는 비트스트림을 생성하려고 시도한다. 비트스트림들이 전형적으로 제한된 대역폭을 갖는 네트워크들을 통해 전달되기 때문에, 레이트 제어는 인코더에 입력된 원래 프레임들의 변동에 관계없이 네트워크를 통한 신뢰성 있는 성능을 보장하기 위한 널리 퍼진 기술이다. 프레임들이 병렬 섹션들로 인코딩되는 경우, 상이한 섹션들이 원하는 충실도의 면에서 상이한 요건들을 가질 수 있으므로, 레이트 제어의 이용에서의 유연성이 바람직하다.
본 발명의 목적은 기존 배열들의 하나 이상의 단점을 실질적으로 극복하거나 적어도 개선하는 것이다.
본 개시내용의 일 양태는 비트스트림으로부터 복수의 코딩 유닛들을 디코딩하여 이미지 프레임을 생성하는 방법을 제공하며, 코딩 유닛들은 코딩 트리 유닛들의 분해들의 결과이고, 복수의 코딩 유닛들은 비트스트림의 하나 이상의 연속(contiguous) 부분을 형성하고, 이 방법은, 비트스트림의 하나 이상의 연속 부분 각각에 대한 세분 레벨을 결정하는 단계 - 각각의 세분 레벨은 비트스트림의 각각의 연속 부분의 코딩 유닛들에 적용가능함 -; 다수의 영역 각각에 대한 양자화 파라미터 델타를 디코딩하는 단계 - 각각의 영역은 비트스트림의 각각의 연속 부분의 코딩 유닛들로의 코딩 트리 유닛들의 분해 및 대응하는 결정된 세분 레벨에 기반함 -; 영역에 대한 디코딩된 델타 양자화 파라미터 및 이미지 프레임의 이전 코딩 유닛의 양자화 파라미터에 따라 각각의 영역에 대한 양자화 파라미터를 결정하는 단계; 각각의 영역의 결정된 양자화 파라미터를 이용하여 복수의 코딩 유닛들을 디코딩하여 이미지 프레임을 생성하는 단계를 포함한다.
다른 양태에 따르면, 각각의 영역은 코딩 유닛들과 연관된 세분 레벨과 대응하는 연속 부분에 대한 결정된 세분 레벨의 비교에 기반한다.
다른 양태에 따르면, 대응하는 코딩 트리가 대응하는 연속 부분에 대한 결정된 세분 레벨 이하의 세분 레벨을 갖는 경우, 각각의 영역에 대해 양자화 파라미터 델타가 결정된다.
다른 양태에 따르면, 대응하는 결정된 세분 레벨 이하의 세분 레벨을 갖는 코딩 트리 유닛 내의 임의의 노드에 대해 새로운 영역이 설정된다.
다른 양태에 따르면, 각각의 연속 부분에 대해 결정된 세분 레벨은 연속 부분의 루마 코딩 유닛들에 대한 제1 세분 레벨 및 크로마 코딩 유닛들에 대한 제2 세분 레벨을 포함한다.
다른 양태에 따르면, 제1 및 제2 세분 레벨들은 상이하다.
다른 양태에 따르면, 이 방법은 비트스트림과 연관된 시퀀스 파라미터 세트의 파티션 제약들이 오버라이팅될 수 있다는 것을 표시하는 플래그를 디코딩하는 단계를 더 포함한다.
다른 양태에 따르면, 하나 이상의 연속 부분 각각에 대한 결정된 세분 레벨은 영역에 대한 최대 루마 코딩 유닛 깊이를 포함한다.
다른 양태에 따르면, 하나 이상의 연속 부분 각각에 대한 결정된 세분 레벨은 대응하는 영역에 대한 최대 크로마 코딩 유닛 깊이를 포함한다.
다른 양태에 따르면, 연속 부분들 중 하나에 대한 결정된 세분 레벨은 비트스트림의 파티션 제약들에 대해 디코딩된 가장 깊은 허용된 세분 레벨에 대한 오프셋을 유지하도록 조정된다.
본 개시내용의 다른 양태는 비트스트림으로부터 복수의 코딩 유닛들을 디코딩하여 이미지 프레임을 생성하는 방법을 구현하기 위한 컴퓨터 프로그램을 저장하는 비일시적 컴퓨터 판독가능한 매체를 제공하며, 코딩 유닛들은 코딩 트리 유닛들의 분해들의 결과이고, 복수의 코딩 유닛들은 비트스트림의 하나 이상의 연속 부분을 형성하고, 이 방법은, 비트스트림의 하나 이상의 연속 부분 각각에 대한 세분 레벨을 결정하는 단계 - 각각의 세분 레벨은 비트스트림의 각각의 연속 부분의 코딩 유닛들에 적용가능함 -; 다수의 영역 각각에 대한 양자화 파라미터 델타를 디코딩하는 단계 - 각각의 영역은 비트스트림의 각각의 연속 부분의 코딩 유닛들로의 코딩 트리 유닛들의 분해 및 대응하는 결정된 세분 레벨에 기반함 -; 영역에 대한 디코딩된 델타 양자화 파라미터 및 이미지 프레임의 이전 코딩 유닛의 양자화 파라미터에 따라 각각의 영역에 대한 양자화 파라미터를 결정하는 단계; 및 각각의 영역의 결정된 양자화 파라미터를 이용하여 복수의 코딩 유닛들을 디코딩하여 이미지 프레임을 생성하는 단계를 포함한다.
본 개시내용의 다른 양태는 비트스트림으로부터 복수의 코딩 유닛들을 디코딩하여 이미지 프레임을 생성하는 방법을 구현하도록 구성된 비디오 디코더를 제공하고, 코딩 유닛들은 코딩 트리 유닛들의 분해들의 결과이고, 복수의 코딩 유닛들은 비트스트림의 하나 이상의 연속 부분을 형성하고, 이 방법은, 비트스트림의 하나 이상의 연속 부분 각각에 대한 세분 레벨을 결정하는 단계 - 각각의 세분 레벨은 비트스트림의 각각의 연속 부분의 코딩 유닛들에 적용가능함 -; 다수의 영역 각각에 대한 양자화 파라미터 델타를 디코딩하는 단계 - 각각의 영역은 비트스트림의 각각의 연속 부분의 코딩 유닛들로의 코딩 트리 유닛들의 분해 및 대응하는 결정된 세분 레벨에 기반함 -; 영역에 대한 디코딩된 델타 양자화 파라미터 및 이미지 프레임의 이전 코딩 유닛의 양자화 파라미터에 따라 각각의 영역에 대한 양자화 파라미터를 결정하는 단계; 및 각각의 영역의 결정된 양자화 파라미터를 이용하여 복수의 코딩 유닛들을 디코딩하여 이미지 프레임을 생성하는 단계를 포함한다.
본 개시내용의 다른 양태는 메모리 및 프로세서를 포함하는 시스템을 제공하고, 프로세서는 비트스트림으로부터 복수의 코딩 유닛들을 디코딩하여 이미지 프레임을 생성하는 방법을 구현하기 위해 메모리에 저장된 코드를 실행하도록 구성되고, 코딩 유닛들은 코딩 트리 유닛들의 분해들의 결과이고, 복수의 코딩 유닛들은 비트스트림의 하나 이상의 연속 부분을 형성하고, 이 방법은, 비트스트림의 하나 이상의 연속 부분 각각에 대한 세분 레벨을 결정하는 단계 - 각각의 세분 레벨은 비트스트림의 각각의 연속 부분의 코딩 유닛들에 적용가능함 -; 다수의 영역 각각에 대한 양자화 파라미터 델타를 디코딩하는 단계 - 각각의 영역은 비트스트림의 각각의 연속 부분의 코딩 유닛들로의 코딩 트리 유닛들의 분해 및 대응하는 결정된 세분 레벨에 기반함 -; 영역에 대한 디코딩된 델타 양자화 파라미터 및 이미지 프레임의 이전 코딩 유닛의 양자화 파라미터에 따라 각각의 영역에 대한 양자화 파라미터를 결정하는 단계; 및 각각의 영역의 결정된 양자화 파라미터를 이용하여 복수의 코딩 유닛들을 디코딩하여 이미지 프레임을 생성하는 단계를 포함한다.
본 개시내용의 다른 양태는 비디오 비트스트림으로부터의 이미지 프레임의 코딩 트리 유닛으로부터 코딩 트리의 코딩 유닛을 디코딩하는 방법을 제공하며, 코딩 유닛은 1차 색 채널 및 적어도 하나의 2차 색 채널을 갖고, 이 방법은, 코딩 트리 유닛의 디코딩된 스플릿 플래그들에 따라 1차 색 채널 및 적어도 하나의 2차 색 채널을 포함하는 코딩 유닛을 결정하는 단계; 1차 색 채널에 대한 커널을 선택하기 위한 제1 인덱스 및 적어도 하나의 2차 색 채널에 대한 커널을 선택하기 위한 제2 인덱스를 디코딩하는 단계; 제1 인덱스에 따른 제1 커널 및 제2 인덱스에 따른 제2 커널을 선택하는 단계; 및 제1 커널을 1차 색 채널의 잔차 계수들에 적용하고 제2 커널을 적어도 하나의 2차 색 채널의 잔차 계수들에 적용함으로써 코딩 유닛을 디코딩하는 단계를 포함한다.
다른 양태에 따르면, 제1 또는 제2 인덱스는 코딩 유닛의 최종 유의 잔차 계수의 위치를 디코딩한 직후에 디코딩된다.
다른 양태에 따르면, 단일 잔차 계수가 복수의 2차 색 채널들에 대해 디코딩된다.
다른 양태에 따르면, 단일 잔차 계수가 단일 2차 색 채널들에 대해 디코딩된다.
다른 양태에 따르면, 제1 인덱스 및 제2 인덱스는 서로 독립적이다.
다른 양태에 따르면, 제1 및 제2 커널들은 각각 1차 색 채널 및 적어도 하나의 2차 색 채널에 대한 내적 예측 모드들에 의존한다.
다른 양태에 따르면, 제1 및 제2 커널들은 각각 1차 채널의 블록 크기 및 적어도 하나의 2차 색 채널의 블록 크기와 관련된다.
다른 양태에 따르면, 제2 커널은 인코딩된 비트스트림의 크로마 서브샘플링 비율과 관련된다.
다른 양태에 따르면, 커널들 각각은 분리 불가능한 2차 변환을 구현한다.
다른 양태에 따르면, 코딩 유닛은 2개의 2차 색 채널들을 포함하고, 2차 색 채널들 각각에 대해 별개의 인덱스가 디코딩된다.
본 개시내용의 다른 양태는 비디오 비트스트림으로부터의 이미지 프레임의 코딩 트리 유닛으로부터 코딩 트리의 코딩 유닛을 디코딩하는 방법을 구현하기 위한 컴퓨터 프로그램을 저장하는 비일시적 컴퓨터 판독가능한 매체를 제공하며, 코딩 유닛은 1차 색 채널 및 적어도 하나의 2차 색 채널을 갖고, 이 방법은, 코딩 트리 유닛의 디코딩된 스플릿 플래그들에 따라 1차 색 채널 및 적어도 하나의 2차 색 채널을 포함하는 코딩 유닛을 결정하는 단계; 1차 색 채널에 대한 커널을 선택하기 위한 제1 인덱스 및 적어도 하나의 2차 색 채널에 대한 커널을 선택하기 위한 제2 인덱스를 디코딩하는 단계; 제1 인덱스에 따른 제1 커널 및 제2 인덱스에 따른 제2 커널을 선택하는 단계; 및 제1 커널을 1차 색 채널의 잔차 계수들에 적용하고 제2 커널을 적어도 하나의 2차 색 채널의 잔차 계수들에 적용함으로써 코딩 유닛을 디코딩하는 단계를 포함한다.
본 개시내용의 다른 양태는 비디오 비트스트림으로부터의 이미지 프레임의 코딩 트리 유닛으로부터 코딩 트리의 코딩 유닛을 디코딩하는 방법을 구현하도록 구성된 비디오 디코더를 제공하며, 코딩 유닛은 1차 색 채널 및 적어도 하나의 2차 색 채널을 갖고, 이 방법은, 코딩 트리 유닛의 디코딩된 스플릿 플래그들에 따라 1차 색 채널 및 적어도 하나의 2차 색 채널을 포함하는 코딩 유닛을 결정하는 단계; 1차 색 채널에 대한 커널을 선택하기 위한 제1 인덱스 및 적어도 하나의 2차 색 채널에 대한 커널을 선택하기 위한 제2 인덱스를 디코딩하는 단계; 제1 인덱스에 따른 제1 커널 및 제2 인덱스에 따른 제2 커널을 선택하는 단계; 및 제1 커널을 1차 색 채널의 잔차 계수들에 적용하고 제2 커널을 적어도 하나의 2차 색 채널의 잔차 계수들에 적용함으로써 코딩 유닛을 디코딩하는 단계를 포함한다.
본 개시내용의 다른 양태는 메모리 및 프로세서를 포함하는 시스템을 제공하고, 프로세서는 비디오 비트스트림으로부터의 이미지 프레임의 코딩 트리 유닛으로부터 코딩 트리의 코딩 유닛을 디코딩하는 방법을 구현하기 위해 메모리에 저장된 코드를 실행하도록 구성되고, 코딩 유닛은 1차 색 채널 및 적어도 하나의 2차 색 채널을 갖고, 이 방법은, 코딩 트리 유닛의 디코딩된 스플릿 플래그들에 따라 1차 색 채널 및 적어도 하나의 2차 색 채널을 포함하는 코딩 유닛을 결정하는 단계; 1차 색 채널에 대한 커널을 선택하기 위한 제1 인덱스 및 적어도 하나의 2차 색 채널에 대한 커널을 선택하기 위한 제2 인덱스를 디코딩하는 단계; 제1 인덱스에 따른 제1 커널 및 제2 인덱스에 따른 제2 커널을 선택하는 단계; 및 제1 커널을 1차 색 채널의 잔차 계수들에 적용하고 제2 커널을 적어도 하나의 2차 색 채널의 잔차 계수들에 적용함으로써 코딩 유닛을 디코딩하는 단계를 포함한다.
다른 양태들이 또한 개시된다.
본 발명의 적어도 하나의 실시예가 다음의 도면들 및 부록들을 참조하여 이제 설명될 것이다.
도 1은 비디오 인코딩 및 디코딩 시스템을 도시하는 개략적인 블록도이다.
도 2a 및 도 2b는 도 1의 비디오 인코딩 및 디코딩 시스템 중 하나 또는 둘 다가 실시될 수 있는 범용 컴퓨터 시스템의 개략적인 블록도를 형성한다.
도 3은 비디오 인코더의 기능 모듈들을 도시하는 개략적인 블록도이다.
도 4는 비디오 디코더의 기능 모듈들을 도시하는 개략적인 블록도이다.
도 5는 다용도 비디오 코딩의 트리 구조에서 블록의 하나 이상의 블록으로의 이용가능한 분할들을 도시하는 개략적인 블록도이다.
도 6은 다용도 비디오 코딩의 트리 구조에서 블록의 하나 이상의 블록으로의 허용된 분할들을 달성하는 데이터 흐름의 개략도이다.
도 7a 및 도 7b는 코딩 트리 유닛(CTU)의 다수의 코딩 유닛(CU)들로의 예시적인 분할을 도시한다.
도 8a, 도 8b, 및 도 8c는 코딩 트리에서의 스플릿들로부터 초래되는 세분 레벨들 및 코딩 트리 유닛의 양자화 그룹들로의 분할에 대한 그 영향을 도시한다.
도 9a 및 도 9b는 4×4 변환 블록 스캔 패턴 및 연관된 1차 및 2차 변환 계수들을 도시한다.
도 9c 및 도 9d는 8×8 변환 블록 스캔 패턴 및 연관된 1차 및 2차 변환 계수들을 도시한다.
도 10은 다양한 크기들의 변환 블록들에 대한 2차 변환의 적용 영역들을 도시한다.
도 11은 각각이 복수의 코딩 유닛들을 포함하는 복수의 슬라이스를 갖는 비트스트림에 대한 신택스 구조를 도시한다.
도 12는 코딩 트리 유닛의 루마 및 크로마 코딩 블록들에 대한 공유 트리를 갖는 비트스트림에 대한 신택스 구조를 도시한다.
도 13은 코딩 유닛들의 시퀀스들로서 하나 이상의 슬라이스를 포함하는 비트스트림으로 프레임을 인코딩하기 위한 방법을 도시한다.
도 14는 슬라이스 헤더를 비트스트림으로 인코딩하기 위한 방법을 도시한다.
도 15는 코딩 유닛을 비트스트림으로 인코딩하기 위한 방법을 도시한다.
도 16은 슬라이스들로 배열된 코딩 유닛들의 시퀀스들로서 비트스트림으로부터 프레임을 디코딩하기 위한 방법을 도시한다.
도 17은 비트스트림으로부터 슬라이스 헤더를 디코딩하기 위한 방법을 도시한다.
도 18은 비트스트림으로부터 코딩 유닛을 디코딩하기 위한 방법을 도시한다.
도 19a 및 도 19b는 루마 및 크로마 채널들에 대한 2차 변환의 적용 또는 바이패스를 위한 규칙들을 도시한다.
도 1은 비디오 인코딩 및 디코딩 시스템을 도시하는 개략적인 블록도이다.
도 2a 및 도 2b는 도 1의 비디오 인코딩 및 디코딩 시스템 중 하나 또는 둘 다가 실시될 수 있는 범용 컴퓨터 시스템의 개략적인 블록도를 형성한다.
도 3은 비디오 인코더의 기능 모듈들을 도시하는 개략적인 블록도이다.
도 4는 비디오 디코더의 기능 모듈들을 도시하는 개략적인 블록도이다.
도 5는 다용도 비디오 코딩의 트리 구조에서 블록의 하나 이상의 블록으로의 이용가능한 분할들을 도시하는 개략적인 블록도이다.
도 6은 다용도 비디오 코딩의 트리 구조에서 블록의 하나 이상의 블록으로의 허용된 분할들을 달성하는 데이터 흐름의 개략도이다.
도 7a 및 도 7b는 코딩 트리 유닛(CTU)의 다수의 코딩 유닛(CU)들로의 예시적인 분할을 도시한다.
도 8a, 도 8b, 및 도 8c는 코딩 트리에서의 스플릿들로부터 초래되는 세분 레벨들 및 코딩 트리 유닛의 양자화 그룹들로의 분할에 대한 그 영향을 도시한다.
도 9a 및 도 9b는 4×4 변환 블록 스캔 패턴 및 연관된 1차 및 2차 변환 계수들을 도시한다.
도 9c 및 도 9d는 8×8 변환 블록 스캔 패턴 및 연관된 1차 및 2차 변환 계수들을 도시한다.
도 10은 다양한 크기들의 변환 블록들에 대한 2차 변환의 적용 영역들을 도시한다.
도 11은 각각이 복수의 코딩 유닛들을 포함하는 복수의 슬라이스를 갖는 비트스트림에 대한 신택스 구조를 도시한다.
도 12는 코딩 트리 유닛의 루마 및 크로마 코딩 블록들에 대한 공유 트리를 갖는 비트스트림에 대한 신택스 구조를 도시한다.
도 13은 코딩 유닛들의 시퀀스들로서 하나 이상의 슬라이스를 포함하는 비트스트림으로 프레임을 인코딩하기 위한 방법을 도시한다.
도 14는 슬라이스 헤더를 비트스트림으로 인코딩하기 위한 방법을 도시한다.
도 15는 코딩 유닛을 비트스트림으로 인코딩하기 위한 방법을 도시한다.
도 16은 슬라이스들로 배열된 코딩 유닛들의 시퀀스들로서 비트스트림으로부터 프레임을 디코딩하기 위한 방법을 도시한다.
도 17은 비트스트림으로부터 슬라이스 헤더를 디코딩하기 위한 방법을 도시한다.
도 18은 비트스트림으로부터 코딩 유닛을 디코딩하기 위한 방법을 도시한다.
도 19a 및 도 19b는 루마 및 크로마 채널들에 대한 2차 변환의 적용 또는 바이패스를 위한 규칙들을 도시한다.
첨부 도면들 중 임의의 하나 이상에서 동일한 참조 번호들을 갖는 단계들 및/또는 특징들이 참조되는 경우, 그 단계들 및/또는 특징들은, 반대 의도가 나타나지 않는 한, 이 설명의 목적을 위해 동일한 기능(들) 또는 동작(들)을 갖는다.
레이트 제어형 비디오 인코더들은 블록 파티셔닝 제약들에 적합한 세분성으로 양자화 파라미터를 조정하기 위한 유연성을 필요로 한다. 블록 파티셔닝 제약들은, 예를 들어, 복수의 비디오 인코더가 각각의 프레임을 압축하기 위해 병렬로 동작하는 경우, 프레임의 부분마다 상이할 수 있다. 양자화 파라미터 조정이 요구되는 영역의 세분성은 그에 따라 변한다. 또한, 2차 변환의 잠재적인 적용을 포함한, 적용된 변환 선택의 제어는 변환되는 잔차가 생성되었던 예측 신호의 범위 내에서 적용된다. 특히, 내적 예측의 경우, 루마 블록들 및 크로마 블록들에 대해 별개의 모드들이 이용가능한데, 그 이유는 이들이 상이한 내적 예측 모드들을 이용할 수 있기 때문이다.
비디오의 일부 섹션들은 렌더링된 뷰포트의 충실도에 다른 것들보다 더 큰 기여를 하고, 블록 구조 및 양자화 파라미터의 변동에서 더 큰 비트레이트 및 더 큰 유연성을 할당받을 수 있다. 렌더링된 뷰포트의 충실도에 거의 기여하지 않는 섹션들, 예를 들어, 렌더링된 뷰의 측면 또는 뒤쪽에 있는 섹션들은 감소된 인코딩 노력을 위해 더 간단한 블록 구조로 그리고 양자화 파라미터의 제어에서 더 적은 유연성으로 압축될 수 있다. 일반적으로, 더 큰 값은 더 낮은 비트레이트에 대해 변환 계수들을 더 대략적으로 양자화하도록 선택된다. 또한, 변환 선택의 적용은 변환 선택을 위해 루마 및 크로마를 함께 고려할 필요를 피함으로써 인코딩 프로세스를 더 단순화하기 위해 루마 채널과 크로마 채널들 사이에서 독립적일 수 있다. 특히, 2차 변환 선택을 위해 루마 및 크로마를 함께 고려할 필요는 루마 및 크로마에 대한 내적 예측 모드를 별도로 고려한 후에 피해진다.
도 1은 비디오 인코딩 및 디코딩 시스템(100)의 기능 모듈들을 도시하는 개략적인 블록도이다. 시스템(100)은 프레임의 각각의 부분들에서 유효할 수 있는 상이한 블록 파티셔닝 제약들을 수용하기 위해 프레임의 상이한 부분들에서 양자화 파라미터들이 조정되는 영역을 변경할 수 있다.
시스템(100)은 소스 디바이스(110) 및 목적지 디바이스(130)를 포함한다. 통신 채널(120)은 인코딩된 비디오 정보를 소스 디바이스(110)로부터 목적지 디바이스(130)로 통신하는데 이용된다. 일부 배열들에서, 소스 디바이스(110) 및 목적지 디바이스(130) 중 어느 하나 또는 둘 다는 각각의 모바일 전화 핸드셋들 또는 "스마트폰들"을 포함할 수 있으며, 이 경우에 통신 채널(120)은 무선 채널이다. 다른 배열들에서, 소스 디바이스(110) 및 목적지 디바이스(130)는 비디오 회의 장비를 포함할 수 있으며, 이 경우에 통신 채널(120)은 전형적으로 인터넷 접속과 같은 유선 채널이다. 더욱이, 소스 디바이스(110) 및 목적지 디바이스(130)는 오버-디 에어(over-the-air) 텔레비전 방송들을 지원하는 디바이스들, 케이블 텔레비전 애플리케이션들, 인터넷 비디오 애플리케이션들(스트리밍을 포함함) 및 인코딩된 비디오 데이터가 파일 서버에서의 하드 디스크 드라이브들과 같은 일부 컴퓨터 판독가능한 저장 매체 상에서 캡처되는 애플리케이션들을 포함하는 광범위한 디바이스들 중 임의의 것을 포함할 수 있다.
도 1에 도시된 바와 같이, 소스 디바이스(110)는 비디오 소스(112), 비디오 인코더(114) 및 전송기(116)를 포함한다. 비디오 소스(112)는 전형적으로 이미지 캡처 센서와 같은, 캡처된 비디오 프레임 데이터(113으로 도시됨)의 소스, 비일시적 기록 매체 상에 저장된 이전에 캡처된 비디오 시퀀스, 또는 원격 이미지 캡처 센서로부터의 비디오 피드를 포함한다. 비디오 소스(112)는 또한, 예를 들어, 컴퓨팅 디바이스, 예를 들어, 태블릿 컴퓨터 상에서 실행되는 운영 체제 및 다양한 애플리케이션들의 비디오 출력을 표시하는 컴퓨터 그래픽 카드의 출력일 수 있다. 비디오 소스(112)로서 이미지 캡처 센서를 포함할 수 있는 소스 디바이스들(110)의 예들은 스마트폰들, 비디오 캠코더들, 전문 비디오 카메라들, 및 네트워크 비디오 카메라들을 포함한다.
비디오 인코더(114)는 도 3을 참조하여 추가로 설명되는 바와 같이 비디오 소스(112)로부터의 캡처된 프레임 데이터(화살표(113)로 표시됨)를 비트스트림(화살표(115)로 표시됨)으로 변환(또는 '인코딩')한다. 비트스트림(115)은 인코딩된 비디오 데이터(또는 "인코딩된 비디오 정보")로서 통신 채널(120)을 통해 전송기(116)에 의해 전송된다. 또한, 비트스트림(115)이 나중에 통신 채널(120)을 통해 전송될 때까지 또는 통신 채널(120)을 통한 전송 대신에 "플래시" 메모리 또는 하드 디스크 드라이브와 같은 비일시적 저장 디바이스(122)에 저장되는 것이 가능하다. 예를 들어, 인코딩된 비디오 데이터는 비디오 스트리밍 애플리케이션을 위해 광역 네트워크(WAN)를 통해 고객들에게 요구 시에 서빙될 수 있다.
목적지 디바이스(130)는 수신기(132), 비디오 디코더(134) 및 디스플레이 디바이스(136)를 포함한다. 수신기(132)는 통신 채널(120)로부터 인코딩된 비디오 데이터를 수신하고 수신된 비디오 데이터를 비트스트림(화살표(133)로 표시됨)으로서 비디오 디코더(134)에 전달한다. 이후 비디오 디코더(134)는 (화살표(135)로 표시된) 디코딩된 프레임 데이터를 디스플레이 디바이스(136)에 출력한다. 디코딩된 프레임 데이터(135)는 프레임 데이터(113)와 동일한 크로마 포맷을 갖는다. 디스플레이 디바이스(136)의 예들은 음극선관, 스마트폰들, 태블릿 컴퓨터들, 컴퓨터 모니터들에서와 같은 또는 독립형 텔레비전 세트들에서와 같은 액정 디스플레이를 포함한다. 소스 디바이스(110) 및 목적지 디바이스(130) 각각의 기능이 단일 디바이스로 구현되는 것도 가능하며, 그 예들은 모바일 전화 핸드셋들 및 태블릿 컴퓨터들을 포함한다. 디코딩된 프레임 데이터는 사용자에게 제시되기 전에 추가로 변환될 수 있다. 예를 들어, 장면의 360° 뷰를 나타내는 투영 포맷을 이용하여 디코딩된 프레임 데이터로부터 특정한 위도 및 경도를 갖는 '뷰포트'가 렌더링될 수 있다.
앞서 언급된 예시적인 디바이스들에도 불구하고, 소스 디바이스(110) 및 목적지 디바이스(130) 각각은, 전형적으로 하드웨어와 소프트웨어 구성요소들의 조합을 통해 범용 컴퓨팅 시스템 내에 구성될 수 있다. 도 2a는 이러한 컴퓨터 시스템(200)을 예시하는데, 이 컴퓨터 시스템은, 컴퓨터 모듈(201); 키보드(202), 마우스 포인터 디바이스(203), 스캐너(226), 비디오 소스(112)로서 구성될 수 있는 카메라(227), 및 마이크로폰(280)과 같은 입력 디바이스들; 및 프린터(215), 디스플레이 디바이스(136)로서 구성될 수 있는 디스플레이 디바이스(214), 및 라우드스피커들(217)을 포함하는 출력 디바이스들을 포함한다. 외부 Modem(Modulator-Demodulator) 트랜시버 디바이스(216)는 접속(221)을 통해 통신 네트워크(220)로/로부터 통신하기 위해 컴퓨터 모듈(201)에 의해 이용될 수 있다. 통신 채널(120)을 나타낼 수 있는 통신 네트워크(220)는 WAN, 예컨대 인터넷, 셀룰러 원격통신 네트워크, 또는 사설 WAN일 수 있다. 접속(221)이 전화선인 경우, 모뎀(216)은 전통적인 "다이얼-업" 모뎀일 수 있다. 대안적으로, 접속(221)이 고용량(예컨대, 케이블 또는 광학) 접속인 경우, 모뎀(216)은 광대역 모뎀일 수 있다. 무선 모뎀은 또한 통신 네트워크(220)로의 무선 접속에 이용될 수 있다. 트랜시버 디바이스(216)는 전송기(116) 및 수신기(132)의 기능을 제공할 수 있고, 통신 채널(120)은 접속(221)에서 구현될 수 있다.
컴퓨터 모듈(201)은 전형적으로 적어도 하나의 프로세서 유닛(205) 및 메모리 유닛(206)을 포함한다. 예를 들어, 메모리 유닛(206)은 반도체 랜덤 액세스 메모리(RAM) 및 반도체 판독 전용 메모리(ROM)를 가질 수 있다. 컴퓨터 모듈(201)은 또한 비디오 디스플레이 (214), 라우드스피커들(217) 및 마이크로폰(280)에 결합되는 오디오-비디오 인터페이스(207); 키보드(202), 마우스(203), 스캐너(226), 카메라(227) 및 임의적으로 조이스틱 또는 다른 인간의 인터페이스 디바이스(도시되지 않음)에 결합되는 I/O 인터페이스(213); 및 외부 모뎀(216) 및 프린터(215)를 위한 인터페이스(208)를 포함하는 다수의 입력/출력(I/O) 인터페이스를 포함한다. 오디오-비디오 인터페이스(207)로부터 컴퓨터 모니터(214)로의 신호는 일반적으로 컴퓨터 그래픽 카드의 출력이다. 일부 구현들에서, 모뎀(216)은 컴퓨터 모듈(201) 내에, 예를 들어, 인터페이스(208) 내에 통합될 수 있다. 컴퓨터 모듈(201)은 또한, 로컬 영역 네트워크(Local Area Network)(LAN)로 알려진 로컬 영역 통신 네트워크(222)에 대한 접속(223)을 통한 컴퓨터 시스템(200)의 결합을 허용하는 로컬 네트워크 인터페이스(211)를 갖는다. 도 2a에 예시된 바와 같이, 로컬 통신 네트워크(222)는 또한 접속(224)을 통해 광역 네트워크(220)에 결합될 수 있으며, 접속은 전형적으로 소위 "방화벽" 디바이스 또는 유사한 기능의 디바이스를 포함할 것이다. 로컬 네트워크 인터페이스(211)는 EthernetTM 회로 카드, BluetoothTM 무선 배열 또는 IEEE 802.11 무선 배열을 포함할 수 있으나, 수많은 다른 유형들의 인터페이스들이 인터페이스(211)에 대해 실시될 수 있다. 로컬 네트워크 인터페이스(211)는 또한 전송기(116) 및 수신기(132)의 기능을 제공할 수 있고, 통신 채널(120)은 또한 로컬 통신 네트워크(222)에서 구현될 수 있다.
I/O 인터페이스들(208 및 213)은 직렬 및 병렬 접속성 중 어느 하나 또는 둘 다를 제공할 수 있으며, 전자는 전형적으로 USB(Universal Serial Bus) 표준들에 따라 구현되고 대응하는 USB 커넥터들(도시되지 않음)을 갖는다. 저장 디바이스들(209)이 제공되고 전형적으로 하드 디스크 드라이브(HDD)(210)를 포함한다. 플로피 디스크 드라이브 및 자기 테이프 드라이브(도시되지 않음)와 같은 다른 저장 디바이스들도 이용될 수 있다. 광학 디스크 드라이브(212)는 전형적으로 데이터의 비휘발성 소스로서 동작하도록 제공된다. 예를 들어, 광학 디스크들(예를 들어, CD-ROM, DVD, Blu ray DiscTM), USB-RAM, 휴대용, 외부 하드 드라이브들, 및 플로피 디스크들과 같은 휴대용 메모리 디바이스들은 컴퓨터 시스템(200)에 대한 데이터의 적절한 소스들로서 이용될 수 있다. 전형적으로, HDD(210), 광학 드라이브(212), 네트워크들(220 및 222) 중 임의의 것은 또한 비디오 소스(112)로서, 또는 디스플레이(214)를 통한 재생을 위해 저장될 디코딩된 비디오 데이터에 대한 목적지로서 동작하도록 구성될 수 있다. 시스템(100)의 소스 디바이스(110) 및 목적지 디바이스(130)는 컴퓨터 시스템(200)에서 구현될 수 있다.
컴퓨터 모듈(201)의 구성요소들(205 내지 213)은 전형적으로 상호접속된 버스(204)를 통해, 그리고 관련 기술분야의 통상의 기술자에게 알려진 컴퓨터 시스템(200)의 종래의 동작 모드를 낳는 방식으로 통신한다. 예를 들어, 프로세서(205)는 접속(218)을 이용하여 시스템 버스(204)에 결합된다. 마찬가지로, 메모리(206) 및 광학 디스크 드라이브(212)는 접속들(219)에 의해 시스템 버스(204)에 결합된다. 설명된 배열들이 실시될 수 있는 컴퓨터들의 예들은 IBM-PC 및 호환 컴퓨터들, Sun SPARCstations, Apple MacTM 또는 유사한 컴퓨터 시스템들을 포함한다.
적절한 또는 원하는 경우, 비디오 인코더(114) 및 비디오 디코더(134)는 물론이고 이하에서 설명되는 방법들이 컴퓨터 시스템(200)을 이용하여 구현될 수 있다. 특히, 비디오 인코더(114), 비디오 디코더(134) 및 설명될 방법들은 컴퓨터 시스템(200) 내에서 실행가능한 하나 이상의 소프트웨어 애플리케이션 프로그램(233)으로서 구현될 수 있다. 특히, 컴퓨터 시스템(200) 내에서 수행되는 소프트웨어(233)에서의 명령어들(231)(도 2b 참조)에 의해 비디오 인코더(114), 비디오 디코더(134) 및 설명된 방법들의 단계들이 실행된다. 소프트웨어 명령어들(231)은 각각이 하나 이상의 특정 작업을 수행하기 위한 하나 이상의 코드 모듈로서 형성될 수 있다. 소프트웨어는 또한 2개의 별개의 부분으로 분할될 수 있고, 여기서 제1 부분 및 대응하는 코드 모듈들은 설명된 방법들을 수행하고, 제2 부분 및 대응하는 코드 모듈들은 제1 부분과 사용자 사이의 사용자 인터페이스를 관리한다.
소프트웨어는 예를 들어, 다음에 설명되는 저장 디바이스들을 포함하는 컴퓨터 판독가능한 매체에 저장될 수 있다. 소프트웨어는 컴퓨터 판독가능한 매체로부터 컴퓨터 시스템(200) 내로 로딩되고, 그 후 컴퓨터 시스템(200)에 의해 실행된다. 컴퓨터 판독가능한 매체 상에 기록된 이러한 소프트웨어 또는 컴퓨터 프로그램을 갖는 컴퓨터 판독가능한 매체는 컴퓨터 프로그램 제품이다. 컴퓨터 시스템(200)에서의 컴퓨터 프로그램 제품의 이용은 바람직하게는 비디오 인코더(114), 비디오 디코더(134) 및 설명된 방법들을 구현하기 위한 유리한 장치를 달성한다.
소프트웨어(233)는 전형적으로 HDD(210) 또는 메모리(206)에 저장된다. 소프트웨어는 컴퓨터 판독가능한 매체로부터 컴퓨터 시스템(200) 내로 로딩되고, 컴퓨터 시스템(200)에 의해 실행된다. 따라서, 예를 들어, 소프트웨어(233)는 광학 디스크 드라이브(212)에 의해 판독되는 광학적으로 판독가능한 디스크 저장 매체(예를 들어, CD-ROM)(225) 상에 저장될 수 있다.
일부 경우들에서, 애플리케이션 프로그램들(233)은 하나 이상의 CD-ROM(225) 상에 인코딩되어 사용자에게 공급되고 대응하는 드라이브(212)를 통해 판독될 수 있거나, 대안적으로 네트워크들(220 또는 222)로부터 사용자에 의해 판독될 수 있다. 또한 추가로, 소프트웨어는 또한 다른 컴퓨터 판독가능한 매체로부터 컴퓨터 시스템(200) 내로 로딩될 수 있다. 컴퓨터 판독가능한 저장 매체는 실행 및/또는 처리를 위해 컴퓨터 시스템(200)에 기록된 명령어들 및/또는 데이터를 제공하는 임의의 비일시적 유형의 저장 매체를 지칭한다. 이러한 저장 매체의 예들은, 이러한 디바이스들이 컴퓨터 모듈(201)의 내부 또는 외부에 있든지 아니든지 간에, 플로피 디스크들, 자기 테이프, CD-ROM, DVD, Blu-ray DiscTM, 하드 디스크 드라이브, ROM 또는 집적 회로, USB 메모리, 광자기 디스크, 또는 컴퓨터 판독가능한 카드, 예컨대 PCMCIA 카드 등을 포함한다. 소프트웨어, 애플리케이션 프로그램들, 명령어들 및/또는 비디오 데이터 또는 인코딩된 비디오 데이터를 컴퓨터 모듈(401)에 제공하는데 또한 참여할 수 있는 일시적 또는 비-유형의 컴퓨터 판독가능한 전송 매체의 예들은 라디오 또는 적외선 전송 채널들뿐만 아니라 다른 컴퓨터 또는 네트워크화된 디바이스에의 네트워크 접속, 및 웹사이트들 상에 기록된 이메일 전송들 및 정보를 포함하는 인터넷 또는 인트라넷들 등을 포함한다.
위에서 언급된 애플리케이션 프로그램들(233)의 제2 부분 및 대응하는 코드 모듈들은 디스플레이(214) 상에 렌더링되거나 다른 방식으로 표현될 하나 이상의 그래픽 사용자 인터페이스(GUI)를 구현하도록 실행될 수 있다. 전형적으로 키보드(202) 및 마우스(203)의 조작을 통해, 컴퓨터 시스템(200) 및 애플리케이션의 사용자는 GUI(들)와 연관된 애플리케이션들에 제어 명령들 및/또는 입력을 제공하기 위해 기능적으로 적응가능한 방식으로 인터페이스를 조작할 수 있다. 라우드스피커들(217)을 통해 출력되는 음성 프롬프트들 및 마이크로폰(280)을 통해 입력되는 사용자 음성 명령들을 이용하는 오디오 인터페이스와 같은 다른 형태들의 기능적으로 적응가능한 사용자 인터페이스들이 또한 구현될 수 있다.
도 2b는 프로세서(205) 및 "메모리"(234)의 상세한 개략적인 블록도이다. 메모리(234)는 도 2a의 컴퓨터 모듈(201)에 의해 액세스될 수 있는 (HDD(209) 및 반도체 메모리(206)를 포함하는) 모든 메모리 모듈들의 논리적 모음을 나타낸다.
컴퓨터 모듈(201)이 처음에 전원이 켜지면, POST(power-on self-test) 프로그램(250)이 실행된다. POST 프로그램(250)은 전형적으로 도 2a의 반도체 메모리(206)의 ROM(249)에 저장된다. 소프트웨어를 저장하는 ROM(249)과 같은 하드웨어 디바이스는 때때로 펌웨어라고 지칭된다. POST 프로그램(250)은 적절한 기능을 보장하기 위해 컴퓨터 모듈(201) 내의 하드웨어를 조사하고, 정확한 동작을 위해, 프로세서(205), 메모리(234)(209, 206), 및 또한 전형적으로 ROM(249)에 저장된 기본 입출력 시스템 소프트웨어(BIOS) 모듈(251)을 전형적으로 체크한다. 일단 POST 프로그램(250)이 성공적으로 실행되면, BIOS(251)는 도 2a의 하드 디스크 드라이브(210)를 활성화시킨다. 하드 디스크 드라이브(210)의 활성화는 하드 디스크 드라이브(210) 상에 존재하는 부트스트랩 로더 프로그램(252)이 프로세서(205)를 통해 실행되게 한다. 이는 운영 체제(253)를 RAM 메모리(206) 내에 로딩하고, 그 상에서 운영 체제(253)가 동작을 시작한다. 운영 체제(253)는 프로세서 관리, 메모리 관리, 디바이스 관리, 저장소 관리, 소프트웨어 애플리케이션 인터페이스, 및 일반 사용자 인터페이스를 포함하는, 다양한 상위 레벨 기능들을 이행하기 위해, 프로세서(205)에 의해 실행가능한 시스템 레벨 애플리케이션이다.
운영 체제(253)는 컴퓨터 모듈(201) 상에서 실행되는 각각의 프로세스 또는 애플리케이션이 다른 프로세스에 할당된 메모리와 충돌하지 않고 실행될 충분한 메모리를 갖도록 보장하기 위해 메모리(234)(209, 206)를 관리한다. 또한, 도 2a의 컴퓨터 시스템(200)에서 이용가능한 상이한 유형들의 메모리는 각각의 프로세스가 효율적으로 실행될 수 있도록 적절하게 이용되어야 한다. 따라서, 모아진 메모리(234)는 (달리 언급되지 않는 한) 메모리의 특정 세그먼트들이 어떻게 할당되는지를 예시하도록 의도된 것이 아니라, 오히려 컴퓨터 시스템(200)에 의해 액세스가능한 메모리의 일반적인 뷰 및 이러한 것이 어떻게 이용되는지를 제공하도록 의도된다.
도 2b에 도시된 바와 같이, 프로세서(205)는 제어 유닛(239), 산술 로직 유닛(ALU)(240), 및 때때로 캐시 메모리라고 불리는 로컬 또는 내부 메모리(248)를 포함하는 다수의 기능 모듈을 포함한다. 캐시 메모리(248)는 전형적으로 레지스터 섹션에 다수의 저장 레지스터(244-246)를 포함한다. 하나 이상의 내부 버스(241)가 이들 기능 모듈들을 기능적으로 상호접속시킨다. 프로세서(205)는 전형적으로 또한 접속(218)을 이용하여 시스템 버스(204)를 통해 외부 디바이스들과 통신하기 위한 하나 이상의 인터페이스(242)를 갖는다. 메모리(234)는 접속(219)을 이용하여 버스(204)에 결합된다.
애플리케이션 프로그램(233)은 조건부 분기 및 루프 명령어들을 포함할 수 있는 명령어들(231)의 시퀀스를 포함한다. 프로그램(233)은 또한 프로그램(233)의 실행에 이용되는 데이터(232)를 포함할 수 있다. 명령어들(231) 및 데이터(232)는 제각기 메모리 위치들(228, 229, 230 및 235, 236, 237)에 저장된다. 명령어들(231) 및 메모리 위치들(228-230)의 상대적 크기에 따라, 특정 명령어는 메모리 위치(230)에 도시된 명령어에 의해 묘사된 바와 같이 단일 메모리 위치에 저장될 수 있다. 대안적으로, 명령어는 메모리 위치들(228 및 229)에 도시된 명령어 세그먼트들에 의해 묘사된 바와 같이, 그 각각이 별개의 메모리 위치에 저장되는 다수의 부분으로 세그먼트화될 수 있다.
일반적으로, 프로세서(205)는 그 안에서 실행되는 명령어들의 세트를 제공받는다. 프로세서(205)는, 프로세서(205)가 명령어들의 다른 세트를 실행함으로써 그에 반응하는 후속 입력을 대기한다. 각각의 입력은 입력 디바이스들(202, 203) 중 하나 이상에 의해 생성된 데이터, 네트워크들(220, 202) 중 하나를 통해 외부 소스로부터 수신된 데이터, 저장 디바이스들(206, 209) 중 하나로부터 검색된 데이터, 또는 대응하는 판독기(212)에 삽입된 저장 매체(225)로부터 검색된 데이터를 포함하는, 다수의 소스들 중 하나 이상으로부터 제공될 수 있으며, 이들 모두는 도 2a에 묘사되어 있다. 명령어들의 세트의 실행은 일부 경우들에서 데이터의 출력이라는 결과를 낳을 수 있다. 실행은 또한 데이터 또는 변수들을 메모리(234)에 저장하는 것을 수반할 수 있다.
비디오 인코더(114), 비디오 디코더(134), 및 설명된 방법들은 대응하는 메모리 위치들(255, 256, 257)에서 메모리(234)에 저장되는 입력 변수들(254)을 이용할 수 있다. 비디오 인코더(114), 비디오 디코더(134), 및 설명된 방법들은 대응하는 메모리 위치들(262, 263, 264)에서 메모리(234)에 저장되는 출력 변수들(261)을 생성한다. 중간 변수들(258)은 메모리 위치들(259, 260, 266 및 267)에 저장될 수 있다.
도 2b의 프로세서(205)를 참조하면, 레지스터들(244, 245, 246), 산술 로직 유닛(ALU)(240), 및 제어 유닛(239)은 함께 작업하여 프로그램(233)을 구성하는 명령어 세트에서의 모든 명령어에 대해 "페치, 디코딩, 및 실행" 사이클들을 수행하는데 필요한 미세-동작들의 시퀀스들을 수행한다. 각각의 페치, 디코딩, 및 실행 사이클은 다음을 포함한다:
메모리 위치(228, 229, 230)로부터 명령어(231)를 페치하거나 판독하는 페치 동작;
제어 유닛(239)이 어느 명령어가 페치되었는지를 결정하는 디코딩 동작; 및
제어 유닛(239) 및/또는 ALU(240)가 명령어를 실행하는 실행 동작.
그 후, 다음 명령어에 대한 추가 페치, 디코딩, 및 실행 사이클이 실행될 수 있다. 유사하게, 제어 유닛(239)이 메모리 위치(232)에 값을 저장하거나 기입하는 저장 사이클이 수행될 수 있다.
설명될 도 13 내지 도 18의 방법에서의 각각의 단계 또는 하위 프로세스는 프로그램(233)의 하나 이상의 세그먼트와 연관되어 있으며, 프로그램(233)의 언급된 세그먼트들에 대한 명령어 세트에서의 모든 명령어에 대한 페치, 디코딩, 및 실행 사이클들을 수행하기 위해 함께 작업하는 프로세서(205) 내의 레지스터 섹션(244, 245, 247), ALU(240), 및 제어 유닛(239)에 의해 전형적으로 수행된다.
도 3은 비디오 인코더(114)의 기능 모듈들을 도시하는 개략적인 블록도이다. 도 4는 비디오 디코더(134)의 기능 모듈들을 도시하는 개략적인 블록도이다. 일반적으로, 데이터는, 블록들을 고정 크기의 서브-블록들로 분할하는 것과 같은 샘플들 또는 계수들의 그룹들로, 또는 어레이들로서 비디오 인코더(114) 및 비디오 디코더(134) 내에서의 기능 모듈들 간에 전달된다. 비디오 인코더(114) 및 비디오 디코더(134)는 도 2a 및 도 2b에 도시된 바와 같이 범용 컴퓨터 시스템(200)을 이용하여 구현될 수 있고, 여기서 다양한 기능 모듈들은 컴퓨터 시스템(200) 내의 전용 하드웨어에 의해, 하드 디스크 드라이브(205) 상에 존재하고 프로세서(205)에 의한 그 실행 시에 제어되는 소프트웨어 애플리케이션 프로그램(233)의 하나 이상의 소프트웨어 코드 모듈과 같은 컴퓨터 시스템(200) 내에서 실행가능한 소프트웨어에 의해 구현될 수 있다. 대안적으로, 비디오 인코더(114) 및 비디오 디코더(134)는 컴퓨터 시스템(200) 내에서 실행가능한 소프트웨어와 전용 하드웨어의 조합에 의해 구현될 수 있다. 비디오 인코더(114), 비디오 디코더(134) 및 설명된 방법들은 설명된 방법들의 기능들 또는 하위 기능들을 수행하는 하나 이상의 집적 회로와 같은 전용 하드웨어로 대안적으로 구현될 수 있다. 이러한 전용 하드웨어는 그래픽 처리 유닛(GPU)들, 디지털 신호 프로세서(DSP)들, 주문형 표준 제품(ASSP)들, 주문형 집적 회로(ASIC)들, 필드 프로그래머블 게이트 어레이(FPGA)들 또는 하나 이상의 마이크로프로세서 및 연관된 메모리들을 포함할 수 있다. 특히, 비디오 인코더(114)는 모듈들(310-390)을 포함하고, 비디오 디코더(134)는 소프트웨어 애플리케이션 프로그램(233)의 하나 이상의 소프트웨어 코드 모듈로서 각각 구현될 수 있는 모듈들(420-496)을 포함한다.
도 3의 비디오 인코더(114)가 다용도 비디오 코딩(VVC) 비디오 인코딩 파이프라인의 예이지만, 본 명세서에 설명된 처리 스테이지들을 수행하는데 다른 비디오 코덱들도 이용될 수 있다. 비디오 인코더(114)는 일련의 프레임들과 같은 캡처된 프레임 데이터(113)를 수신하고, 각각의 프레임은 하나 이상의 색 채널을 포함한다. 프레임 데이터(113)는 임의의 크로마 포맷, 예컨대 4:0:0, 4:2:0, 4:2:2 또는 4:4:4 크로마 포맷일 수 있다. 블록 파티셔너(310)는 먼저 프레임 데이터(113)를 CTU들로 분할하는데, 이들은 일반적으로 형상이 정사각형이고 CTU들에 대한 특정 크기가 이용되도록 구성된다. CTU들의 크기는 예를 들어, 64×64, 128×128, 또는 256×256 루마 샘플들일 수 있다. 블록 파티셔너(310)는 각각의 CTU를, 루마 코딩 트리 및 크로마 코딩 트리에 따라 하나 이상의 CB로 추가로 분할한다. 루마 채널은 또한 1차 색 채널로 지칭될 수 있다. 각각의 크로마 채널은 또한 2차 색 채널로 지칭될 수 있다. CB들은 다양한 크기들을 가지며, 정사각형 및 비-정사각형 종횡비들 둘 다를 포함할 수 있다. 블록 파티셔너(310)의 동작은 도 13 내지 도 15를 참조하여 추가로 설명된다. 그러나, VVC 표준에서, CB들, CU들, PU들, 및 TU들은 항상 2의 거듭제곱들인 측 길이들을 갖는다. 따라서, 312로서 표현되는 현재 CB가 블록 파티셔너(310)로부터 출력되어, CTU의 루마 코딩 트리 및 크로마 코딩 트리에 따라, CTU의 하나 이상의 블록에 걸친 반복에 따라 진행한다. CTU들을 CB들로 파티셔닝하기 위한 옵션들은 도 5 및 도 6을 참조하여 이하에서 추가로 설명된다. 동작이 일반적으로 CTU 단위로 설명되지만, 비디오 인코더(114) 및 비디오 디코더(134)는 메모리 소비를 줄이기 위해 더 작은 크기의 영역에서 동작할 수 있다. 예를 들어, 각각의 CTU는 크기 64×64의 '가상 파이프라인 데이터 유닛들'(VPDU들)로 알려진 더 작은 영역들로 분할될 수 있다. VPDU들은 메모리 설치 면적의 감소가 전체 CTU들 상에서 동작하는 것에 비해, 실리콘 면적 및 이에 따른 비용을 감소시키는 하드웨어 아키텍처들에서 파이프라인 처리에 더 적용가능한 데이터의 세분성을 형성한다.
프레임 데이터(113)의 제1 분할로부터 생기는 CTU들은 래스터 스캔 순서로 스캐닝될 수 있고, 하나 이상의 '슬라이스'로 그룹화될 수 있다. 슬라이스는 '내적'(또는 'I') 슬라이스일 수 있다. 내적 슬라이스(I 슬라이스)는 슬라이스에서의 모든 CU가 내적 예측됨을 나타낸다. 대안적으로, 슬라이스는 단방향 또는 양방향 예측(제각기, 'P' 또는 'B' 슬라이스)될 수 있어서, 슬라이스에서 단방향 및 양방향 예측의 추가적인 이용가능성을 제각기 나타낸다.
I 슬라이스에서, 각각의 CTU의 코딩 트리는 64×64 레벨 아래에서 2개의 별개의 코딩 트리로 분기할 수 있는데, 하나는 루마를 위한 것이고 다른 하나는 크로마를 위한 것이다. 별개의 트리들의 이용은 CTU의 루마 64×64 영역 내에서 루마와 크로마 사이에 상이한 블록 구조가 존재하게 한다. 예를 들어, 큰 크로마 CB는 많은 더 작은 루마 CB들과 병치될 수 있고, 그 반대도 가능하다. P 또는 B 슬라이스에서, CTU의 단일 코딩 트리는 루마 및 크로마에 공통인 블록 구조를 정의한다. 단일 트리의 결과적인 블록들은 내적 예측되거나 상호간 예측될 수 있다.
각각의 CTU에 대해, 비디오 인코더(114)는 2개의 스테이지로 동작한다. 제1 스테이지('검색' 스테이지로 지칭됨)에서, 블록 파티셔너(310)는 코딩 트리의 다양한 잠재적인 구성들을 테스트한다. 코딩 트리의 각각의 잠재적인 구성은 연관된 '후보' CB들을 갖는다. 제1 스테이지는 비교적 낮은 왜곡으로 비교적 높은 압축 효율을 제공하는 CB들을 선택하기 위해 다양한 후보 CB들을 테스트하는 것을 수반한다. 테스트는 일반적으로 레이트(코딩 비용)와 왜곡(입력 프레임 데이터(113)에 대한 에러)의 가중된 조합에 기반하여 후보 CB가 평가되는 라그랑주 최적화를 수반한다. '최상의' 후보 CB들(가장 낮은 평가된 레이트/왜곡을 갖는 CB들)은 비트스트림(115)으로의 후속 인코딩을 위해 선택된다. 후보 CB들의 평가에 포함된 것은 주어진 영역에 대해 CB를 이용하거나 또는 다양한 스플리팅 옵션들에 따라 영역을 추가로 스플리팅하고 추가 CB들을 갖는 더 작은 결과 영역들 각각을 코딩하거나, 또는 영역들을 더 추가로 스플리팅하기 위한 옵션이다. 그 결과, 검색 스테이지에서 코딩 트리 및 CB들 자체들 둘 다가 선택된다.
비디오 인코더(114)는 각각의 CB, 예를 들어, CB(312)에 대해 화살표(320)로 표시된 예측 블록(PB)을 생성한다. PB(320)는 연관된 CB(312)의 콘텐츠의 예측이다. 감산기 모듈(322)은 PB(320)와 CB(312) 사이의, 324로 표시된 차이(또는 차이가 공간적 도메인에 있는 것을 지칭하는 '잔차')를 생성한다. 차이(324)는 PB(320) 및 CB(312)에서의 대응하는 샘플들 사이의 블록 크기 차이이다. 차이(324)는 변환되고, 양자화되고 화살표(336)로 표시된 변환 블록(TB)으로서 표현된다. PB(320) 및 연관된 TB(336)는 전형적으로 예를 들어, 평가된 비용 또는 왜곡에 기반하여 많은 가능한 후보 CB들 중 하나로부터 선택된다.
후보 코딩 블록(CB)은 연관된 PB 및 결과적인 잔차에 대해 비디오 인코더(114)에 이용가능한 예측 모드들 중 하나로부터 발생하는 CB이다. 비디오 디코더(114)에서의 예측된 PB와 조합될 때, TB(336)는 비트스트림에서의 추가적인 시그널링을 희생하여, 디코딩된 CB들과 원래의 CB(312) 사이의 차이를 감소시킨다.
따라서, 각각의 후보 코딩 블록(CB), 즉 변환 블록(TB)과 조합된 예측 블록(PB)은 연관된 코딩 비용(또는 '레이트') 및 연관된 차이(또는 '왜곡')를 갖는다. CB의 왜곡은 전형적으로 SAD(sum of absolute differences) 또는 SSD(sum of squared differences)와 같은, 샘플 값들에서의 차이로서 추정된다. 각각의 후보 PB로부터 생기는 추정치는 예측 모드(387)를 결정하기 위해 차이(324)를 이용하여 모드 선택기(386)에 의해 결정될 수 있다. 예측 모드(387)는 현재 CB에 대한 특정 예측 모드, 예를 들어 프레임내 예측 또는 프레임간 예측을 이용하기 위한 결정을 나타낸다. 각각의 후보 예측 모드 및 대응하는 잔차 코딩과 연관된 코딩 비용들의 추정은 잔차의 엔트로피 코딩보다 상당히 더 낮은 비용으로 수행될 수 있다. 따라서, 실시간 비디오 인코더에서도 레이트 왜곡 의미에서 최적 모드를 결정하기 위해 다수의 후보 모드들이 평가될 수 있다.
레이트 왜곡의 관점에서 최적 모드를 결정하는 것은 전형적으로 라그랑주 최적화의 변형을 이용하여 달성된다.
라그랑주 또는 유사한 최적화 처리는 (블록 파티셔너(310)에 의한) CTU의 CB들로의 최적의 파티셔닝을 선택할 뿐만 아니라 복수의 가능성으로부터 최상의 예측 모드를 선택하는데 이용될 수 있다. 모드 선택기 모듈(386)에서 후보 모드들의 라그랑주 최적화 프로세스의 적용을 통해, 최저 비용 측정을 갖는 내적 예측 모드가 '최상' 모드로서 선택된다. 최저 비용 모드는 선택된 2차 변환 인덱스(388)이고 또한 엔트로피 인코더(338)에 의해 비트스트림(115)에서 인코딩된다.
비디오 인코더(114)의 동작의 제2 스테이지('코딩' 스테이지라고 지칭됨)에서, 각각의 CTU의 결정된 코딩 트리(들)에 대한 반복이 비디오 인코더(114)에서 수행된다. 별개의 트리들을 이용하는 CTU의 경우, CTU의 각각의 64×64 루마 영역에 대해, 루마 코딩 트리가 먼저 인코딩되고 이어서 크로마 코딩 트리가 인코딩된다. 루마 코딩 트리 내에서는 루마 CB들만이 인코딩되고, 크로마 코딩 트리 내에서는 크로마 CB들만이 인코딩된다. 공유 트리를 이용하는 CTU의 경우, 단일 트리가 공유 트리의 공통 블록 구조에 따라 CU들, 즉 루마 CB들 및 크로마 CB들을 설명한다.
엔트로피 인코더(338)는 신택스 요소들의 가변-길이 코딩과 신택스 요소들의 산술 코딩 양쪽 모두를 지원한다. '파라미터 세트들', 예를 들어, 시퀀스 파라미터 세트(SPS) 및 픽처 파라미터 세트(PPS) 등의 비트스트림의 부분들은 고정-길이 코드워드들과 가변-길이 코드워드들의 조합을 이용한다. 슬라이스들(연속 부분들이라고도 함)은, 산술 코딩을 이용하는, 슬라이스 데이터가 뒤따르는 가변 길이 코딩을 이용하는 슬라이스 헤더를 가진다. 슬라이스 헤더는, 슬라이스-레벨 양자화 파라미터 오프셋 등의, 현재의 슬라이스에 특정된 파라미터들을 정의한다. 슬라이스 데이터는 슬라이스 내의 각각의 CTU의 신택스 요소들을 포함한다. 가변 길이 코딩과 산술 코딩의 이용은 비트스트림의 각각의 부분 내의 순차적 파싱을 요구한다. 부분들은 '네트워크 추상화 계층 유닛들' 또는 'NAL 유닛들'을 형성하기 위해 시작 코드로 윤곽지정될 수 있다. 컨텍스트 적응형 2진 산술 코딩 프로세스를 이용하여 산술 코딩이 지원된다. 산술 코딩된 신택스 요소들은 하나 이상의 '빈'의 시퀀스들로 구성된다. 빈들은 비트들과 같이 '0' 또는 '1'의 값을 갖는다. 그러나, 빈들은 비트스트림(115)에서 이산 비트들로서 인코딩되지 않는다. 빈들은 연관된 예측된(또는 '가능성 있는' 또는 '가장 가능성 있는') 값 및 '컨텍스트'로 알려진 연관된 확률을 갖는다. 코딩될 실제 빈이 예측된 값과 매칭될 때, '최대 확률 심볼(most probable symbol)(MPS)'이 코딩된다. 최대 확률 심볼을 코딩하는 것은, 1 미만의 이산 비트에 달하는 비용들을 포함하여, 비트스트림(115) 내의 소비된 비트들의 관점에서 비교적 저렴하다. 코딩될 실제 빈이 가능성 있는 값과 매칭되지 않을 때, '최소 확률 심볼(least probable symbol)(LPS)'이 코딩된다. 최소 확률 심볼을 코딩하는 것은 소비된 비트들의 관점에서 비교적 높은 비용을 갖는다. 빈 코딩 기술들은 '0' 대 '1'의 확률이 스큐(skew)되는 빈들의 효율적인 코딩을 가능하게 한다. 2개의 가능한 값(즉, '플래그')을 갖는 신택스 요소의 경우, 단일 빈이 적절하다. 많은 가능한 값들을 갖는 신택스 요소들의 경우, 빈들의 시퀀스가 필요하다.
시퀀스에서의 더 이른 빈들의 값에 기반하여 시퀀스에서의 더 나중의 빈들의 존재가 결정될 수 있다. 또한, 각각의 빈은 둘 이상의 컨텍스트와 연관될 수 있다. 특정 컨텍스트의 선택은 신택스 요소의 더 이른 빈들, 이웃 신택스 요소들의 빈 값들(즉, 이웃 블록들로부터의 것들) 등에 의존할 수 있다. 컨텍스트 코딩된 빈(context-coded bin)이 인코딩될 때마다, 그 빈(있는 경우)에 대해 선택되었던 컨텍스트는 새로운 빈 값을 반영하는 방식으로 업데이트된다. 이와 같이, 2진 산술 코딩 방식은 적응적이라고 말한다.
또한, 컨텍스트를 결여한 빈들('바이패스 빈들')이 비디오 인코더(114)에 의해 지원된다. 바이패스 빈들은 '0' 과 '1' 사이의 등가 확률 분포(equiprobable distribution)를 가정하여 코딩된다. 따라서, 각각의 빈은 비트스트림(115)에서 1 비트의 코딩 비용을 갖는다. 컨텍스트의 부재는 메모리를 절약하고 복잡도를 감소시키므로, 특정한 빈에 대한 값들의 분포가 스큐되지 않는 경우에 바이패스 빈들이 이용된다. 컨텍스트 및 적응을 이용하는 엔트로피 코더의 일 예는 CABAC(context adaptive binary arithmetic coder)로서 본 기술분야에 공지되어 있고 이 코더의 많은 변형들이 비디오 코딩에서 이용되었다.
엔트로피 인코더(338)는 양자화 파라미터(392)를 인코딩하고, 현재 CB에 대해 이용 중인 경우, 컨텍스트 코딩된 빈과 바이패스 코딩된 빈의 조합을 이용하여 LFNST 인덱스(388)를 인코딩한다. 양자화 파라미터(392)는 '델타 QP'를 이용하여 인코딩된다. 델타 QP는 '양자화 그룹'으로 알려진 각각의 영역에서 최대 한 번 시그널링된다. 양자화 파라미터(392)는 루마 CB의 잔차 계수들에 적용된다. 조정된 양자화 파라미터는 병치된 크로마 CB들의 잔차 계수들에 적용된다. 조정된 양자화 파라미터는 오프셋들의 리스트로부터 선택된 CU-레벨 오프셋 및 매핑 테이블에 따른 루마 양자화 파라미터(392)로부터의 매핑을 포함할 수 있다. 2차 변환 인덱스(388)는 변환 블록과 연관된 잔차가 2차 변환의 적용에 의해 1차 계수들로 변환되는 그 계수 위치들에서만 유의 잔차 계수들을 포함할 때 시그널링된다.
멀티플렉서 모듈(384)은 각각의 후보 CB의 테스트된 예측 모드로부터 선택된, 결정된 최상의 내적 예측 모드에 따라 프레임내 예측 모듈(364)로부터 PB(320)를 출력한다. 후보 예측 모드들은 비디오 인코더(114)에 의해 지원되는 모든 생각할 수 있는 예측 모드를 포함할 필요는 없다. 내적 예측은 3가지 유형으로 나뉜다. "DC 내적 예측"은 근방의 재구성된 샘플들의 평균을 나타내는 단일 값으로 PB를 채우는 것을 수반한다. "평면 내적 예측"은 평면에 따라 샘플들로 PB를 채우는 것을 수반하고, DC 오프셋 및 수직 및 수평 기울기는 근방의 재구성된 이웃 샘플들로부터 도출된다. 근방의 재구성된 샘플들은 전형적으로 PB의 우측으로 어느 정도까지 연장되는, 현재 PB 위의 재구성된 샘플들의 행, 및 PB를 넘어 아래쪽으로 어느 정도까지 연장되는, 현재 PB의 좌측으로의 재구성된 샘플들의 열을 포함한다. "각도 내적 예측"은 특정 방향(또는 '각도')으로 PB에 걸쳐 필터링되고 전파되는 재구성된 이웃 샘플들로 PB를 채우는 것을 수반한다. VVC에서 65개의 각도가 지원되고, 직사각형 블록들은 정사각형 블록들에 이용가능하지 않은 추가적인 각도들을 이용하여 총 87개의 각도를 생성할 수 있다. 제4 유형의 내적 예측은 크로마 PB들에 이용가능하고, 이에 의해 PB는 '교차 성분 선형 모델(cross-component linear model)'(CCLM) 모드에 따라 병치된 루마 재구성된 샘플들로부터 생성된다. 3개의 상이한 CCLM 모드가 이용가능하고, 각각의 모드는 이웃하는 루마 및 크로마 샘플들로부터 도출된 상이한 모델을 이용한다. 도출된 모델은 병치된 루마 샘플들로부터 크로마 PB에 대한 샘플들의 블록을 생성하는데 이용된다.
이전에 재구성된 샘플들이, 예를 들어, 프레임의 에지에서 이용가능하지 않은 경우, 샘플들의 범위의 1/2의 디폴트 절반-톤 값이 이용된다. 예를 들어, 10 비트 비디오에 대해, 512의 값이 이용된다. 프레임의 좌측 상단 위치에 위치된 CB에 대해 이전에 샘플들이 이용가능하지 않았기 때문에, 각도 및 평면 내적 예측 모드들은 DC 예측 모드와 동일한 출력, 즉, 크기로서 절반-톤 값을 갖는 샘플들의 평평한 평면을 생성한다.
프레임간 예측의 경우, 예측 블록(382)은 움직임 보상 모듈(380)에 의해 비트스트림에서의 코딩 순서 프레임 내의 현재 프레임에 선행하는 1개 또는 2개의 프레임으로부터의 샘플들을 이용하여 생성되고, 멀티플렉서 모듈(384)에 의해 PB(320)로서 출력된다. 또한, 프레임간 예측의 경우, 전형적으로 루마 채널 및 크로마 채널들 둘 다에 대해 단일 코딩 트리가 이용된다. 비트스트림에서의 코딩 프레임들의 순서는 캡처되거나 표시될 때의 프레임들의 순서와 상이할 수 있다. 하나의 프레임이 예측에 이용될 때, 블록은 '단방향 예측'이라고 말하며, 하나의 연관된 움직임 벡터를 갖는다. 2개의 프레임이 예측에 이용될 때, 블록은 '양방향 예측'이라고 말하며, 2개의 연관된 움직임 벡터를 갖는다. P 슬라이스의 경우, 각각의 CU는 내적 예측 또는 단방향 예측될 수 있다. B 슬라이스의 경우, 각각의 CU는 내적 예측, 단방향 예측, 또는 양방향 예측될 수 있다. 프레임들은 전형적으로 '픽처 그룹' 구조를 이용하여 코딩되어, 프레임들의 시간적 계층구조를 가능하게 한다. 프레임들은 복수의 슬라이스로 분할될 수 있고, 이들 각각은 프레임의 일부를 인코딩한다. 프레임들의 시간적 계층구조는 프레임이 프레임들의 표시 순서로 선행 및 후속 픽처를 참조할 수 있게 한다. 이미지들은 각각의 프레임을 디코딩하기 위한 의존성들이 충족되는 것을 보장하는데 필요한 순서로 코딩된다.
샘플들은 움직임 벡터(378) 및 참조 픽처 인덱스에 따라 선택된다. 움직임 벡터(378) 및 참조 픽처 인덱스는 모든 색 채널들에 적용되고, 따라서 상호간 예측은 주로 PB들보다는 PU들에 대한 동작의 관점에서 설명되고, 즉, 각각의 CTU의 하나 이상의 상호간 예측된 블록으로의 분해는 단일 코딩 트리로 설명된다. 상호간 예측 방법들은 움직임 파라미터들의 수 및 그 정밀도에 있어서 변할 수 있다. 움직임 파라미터들은 전형적으로 참조 프레임들 각각에 대한 공간적 병진(translation)에 더해서 참조 프레임들의 리스트들로부터의 어느 참조 프레임(들)이 이용될 것인지를 나타내는 참조 프레임 인덱스를 포함하지만, 더 많은 프레임들, 특수 프레임들, 또는 스케일링 및 회전과 같은 복잡한 아핀 파라미터들을 포함할 수 있다. 그에 부가하여, 참조된 샘플 블록들에 기반하여 조밀한 움직임 추정치들을 생성하기 위해 미리 결정된 움직임 정밀화 프로세스가 적용될 수 있다.
PB(320)를 결정하고 선택하고, 감산기(322)에서의 원래의 샘플 블록으로부터 PB(320)를 감산하면, 324로서 표현되는 최저 코딩 비용을 갖는 잔차가 획득되고 손실 압축을 거친다. 손실 압축 프로세스는 변환, 양자화 및 엔트로피 코딩의 단계들을 포함한다. 순방향 1차 변환 모듈(326)은 차이(324)에 순방향 변환을 적용하고, 차이(324)를 공간적 도메인으로부터 주파수 도메인으로 변환하고, 화살표(328)로 나타낸 1차 변환 계수들을 생성한다. 하나의 치수에서의 가장 큰 1차 변환 크기는 32-포인트 DCT-2 또는 64-포인트 DCT-2 변환이다. 인코딩되는 CB가 블록 크기로서 표현되는 가장 큰 지원되는 1차 변환 크기, 즉 64×64 또는 32×32보다 큰 경우, 1차 변환(326)은 차이(324)의 모든 샘플들을 변환하기 위해 타일링된 방식으로 적용된다. 변환(326)의 적용은 CB에 대한 복수의 TB들을 낳는다. 변환의 각각의 적용이 32×32보다 큰 차이(324)의 TB에 대해 동작하는 경우, 예를 들어 64×64인 경우, TB의 좌측 상단 32×32 영역 밖의 모든 결과적인 1차 변환 계수들(328)은 0으로 설정되고, 즉 폐기된다. 나머지 1차 변환 계수들(328)은 양자화기 모듈(334)로 전달된다. 1차 변환 계수들(328)은 CB와 연관된 양자화 파라미터(392)에 따라 양자화되어 1차 변환 계수들(332)을 생성한다. 양자화 파라미터(392)는 루마 CB 대 각각의 크로마 CB에 대해 상이할 수 있다. 1차 변환 계수들(332)은 NSST(non-separable secondary transform) 동작을 수행하거나 2차 변환을 바이패스함으로써 화살표(336)로 표현되는 변환 계수들을 생성하기 위해 순방향 2차 변환 모듈(330)로 전달된다. 순방향 1차 변환은 통상적으로 분리 가능하고, 각각의 TB의 행들의 세트를 변환하고 이어서 그 열들의 세트를 변환한다. 순방향 1차 변환 모듈(326)은 수평 및 수직 방향들에서 유형-II 이산 코사인 변환(DCT-2)을 이용하거나, 수평 및 수직으로 변환의 바이패스를 이용하거나, 폭 및 높이에서 16개의 샘플을 초과하지 않는 루마 TB들에 대해 수평 또는 수직 방향들 중 어느 하나에서 유형-VII 이산 사인 변환(DST-7) 및 유형-VIII 이산 코사인 변환(DCT-8)의 조합들을 이용한다. DST-7 및 DCT-8의 조합들의 이용은 VVC 표준에서 'MTS(multi transform selection set)'로 지칭된다.
모듈(330)의 순방향 2차 변환은 일반적으로, 내적 예측된 CU들의 잔차에 대해서만 적용되고 그렇지만 또한 바이패스될 수 있는 분리 불가능한 변환이다. 순방향 2차 변환은 16개의 샘플(1차 변환 계수들(328)의 좌측 상단 4×4 서브-블록으로서 배열됨) 또는 48개의 샘플(1차 변환 계수들(328)의 좌측 상단 8×8 계수들 내의 3개의 4×4 서브-블록으로서 배열됨)에 대해 동작하여 2차 변환 계수들의 세트를 생성한다. 2차 변환 계수들의 세트는 이들이 도출되는 1차 변환 계수들의 세트보다 수가 더 적을 수 있다. 서로 인접하고 DC 계수를 포함하는 계수들의 세트에만 2차 변환을 적용하는 것으로 인해, 2차 변환은 '저주파수 분리 불가능한 2차 변환'(LFNST)으로 지칭된다. 또한, LFNST가 적용될 때, TB 내의 모든 나머지 계수들은 1차 변환 도메인 및 2차 변환 도메인 둘 다에서 0이어야 한다.
양자화 파라미터(392)는 주어진 TB에 대해 일정하고, 따라서 TB에 대한 1차 변환 도메인에서의 잔차 계수들의 생성을 위한 균일한 스케일링을 낳는다. 양자화 파라미터(392)는 시그널링된 '델타 양자화 파라미터'로 주기적으로 변할 수 있다. 델타 양자화 파라미터(델타 QP)는 '양자화 그룹'으로 지칭되는, 주어진 영역 내에 포함된 CU들에 대해 한 번 시그널링된다. CU가 양자화 그룹 크기보다 큰 경우, 델타 QP는 CU의 TB들 중 하나와 함께 한 번 시그널링된다. 즉, 델타 QP는 CU의 제1 양자화 그룹에 대해 한 번 엔트로피 인코더(338)에 의해 시그널링되고, CU의 임의의 후속 양자화 그룹들에 대해 시그널링되지 않는다. 또한, '양자화 행렬'의 적용에 의해 불균일한 스케일링이 가능하며, 이에 의해, 양자화 파라미터(392) 및 스케일링 행렬에서의 대응하는 엔트리의 조합으로부터 각각의 잔차 계수에 대해 적용되는 스케일링 인자가 도출된다. 스케일링 행렬은 TB의 크기보다 작은 크기를 가질 수 있고, TB에 적용될 때, TB 크기보다 작은 크기의 스케일링 행렬로부터 각각의 잔차 계수에 대한 스케일링 값들을 제공하기 위해 가장 가까운 이웃 접근법이 이용된다. 잔차 계수들(336)은 비트스트림(115)에서의 인코딩을 위해 엔트로피 인코더(338)에 공급된다. 전형적으로, TU의 적어도 하나의 유의 잔차 계수(significant residual coefficient)를 갖는 각각의 TB의 잔차 계수들은 스캔 패턴에 따라 값들의 순서화된 리스트를 생성하도록 스캐닝된다. 스캔 패턴은 일반적으로 TB를 4×4 '서브-블록들'의 시퀀스로서 스캐닝하여, 서브-블록들의 배열이 TB의 크기에 의존하면서, 잔차 계수들의 4×4 세트들의 세분성(granularity)으로 정규 스캐닝 동작을 제공한다. 각각의 서브-블록 내의 스캔 및 하나의 서브-블록으로부터 다음 서브-블록으로의 진행은 전형적으로 역방향 대각 스캔 패턴을 따른다. 추가로, 양자화 파라미터(392)는 델타 QP 신택스 요소를 이용하여 비트스트림(115)으로 인코딩되고, 2차 변환 인덱스(388)는 도 13 내지 도 15를 참조하여 설명될 조건들 하에서 비트스트림(115)에서 인코딩된다.
전술한 바와 같이, 비디오 인코더(114)는 비디오 디코더(134)에서 보이는 디코딩된 프레임 표현에 대응하는 프레임 표현에 액세스할 필요가 있다. 따라서, 잔차 계수들(336)은 2차 변환 인덱스(388)에 따라 동작하는 역 2차 변환 모듈(344)을 통과하여 화살표(342)로 나타낸 중간 역변환 계수들을 생성한다. 중간 역변환 계수들은 양자화 파라미터(392)에 따라 역양자화기 모듈(340)에 의해 역양자화되어 화살표(346)로 나타낸 역변환 계수들을 생성한다. 중간 역변환 계수들(346)은 역 1차 변환 모듈(348)에 전달되어, 화살표(350)로 나타낸, TU의 잔차 샘플들을 생성한다. 역 2차 변환 모듈(344)에 의해 수행되는 역변환의 유형들은 순방향 2차 변환 모듈(330)에 의해 수행되는 순방향 변환의 유형들에 대응한다. 역 1차 변환 모듈(348)에 의해 수행되는 역변환의 유형들은 1차 변환 모듈(326)에 의해 수행되는 1차 변환의 유형들에 대응한다. 합산 모듈(352)은 잔차 샘플들(350) 및 PU(320)를 가산하여 CU의 재구성된 샘플들(화살표(354)로 표시됨)을 생성한다.
재구성된 샘플들(354)은 참조 샘플 캐시(356) 및 인-루프 필터 모듈(368)로 전달된다. ASIC 상의 정적 RAM을 이용하여 전형적으로 구현되는 참조 샘플 캐시(356)(따라서 고가의 오프 칩 메모리 액세스를 피함)는 프레임에서의 후속 CU들에 대한 프레임내 PB들을 생성하기 위한 의존성들을 만족시키는데 필요한 최소 샘플 저장소를 제공한다. 최소 의존성들은 CTU들의 다음 행에 의한 이용 및 CTU의 높이에 의해 그 범위가 설정되는 열 버퍼링을 위해, CTU들의 행의 하단을 따른 샘플들의 '라인 버퍼'를 전형적으로 포함한다. 참조 샘플 캐시(356)는 참조 샘플들(화살표(358)로 표현됨)을 참조 샘플 필터(360)에 공급한다. 샘플 필터(360)는 평활화 동작을 적용하여 필터링된 참조 샘플들(화살표(362)로 표시됨)을 생성한다. 필터링된 참조 샘플들(362)은 프레임내 예측 모듈(364)에 의해 이용되어 화살표(366)로 나타낸, 샘플들의 내적 예측된 블록을 생성한다. 각각의 후보 내적 예측 모드에 대해, 프레임내 예측 모듈(364)은 366인, 샘플들의 블록을 생성한다. 샘플 블록(366)은 DC, 평면 또는 각도 내적 예측과 같은 기술들을 이용하여 모듈(364)에 의해 생성된다.
인-루프 필터 모듈(368)은 재구성된 샘플들(354)에 수 개의 필터링 스테이지들을 적용한다. 필터링 스테이지들은 불연속성들에 기인하는 아티팩트들을 감소시키기 위해 CU 경계들에 정렬된 평활화를 적용하는 '디블로킹 필터(DBF)'를 포함한다. 인-루프 필터 모듈(368)에 존재하는 다른 필터링 스테이지는 '적응성 루프 필터(adaptive loop filter)(ALF)'이고, 이는 위너(Wiener) 기반 적응성 필터를 적용하여 왜곡을 추가로 감소시킨다. 인-루프 필터 모듈(368)에서의 추가의 이용가능한 필터링 스테이지는 'SAO(sample adaptive offset)' 필터이다. SAO 필터는 먼저 재구성된 샘플들을 하나 또는 복수의 카테고리로 분류하고, 할당된 카테고리에 따라 샘플 레벨에서 오프셋을 적용함으로써 동작한다.
화살표(370)로 나타낸 필터링된 샘플들은 인-루프 필터 모듈(368)로부터 출력된다. 필터링된 샘플들(370)은 프레임 버퍼(372)에 저장된다. 프레임 버퍼(372)는 전형적으로 수 개(예를 들어, 최대 16개)의 픽처를 저장하는 용량을 가지며, 따라서 메모리(206)에 저장된다. 프레임 버퍼(372)는 요구되는 큰 메모리 소비로 인해 온-칩 메모리를 이용하여 전형적으로 저장되지 않는다. 이와 같이, 프레임 버퍼(372)에의 액세스는 메모리 대역폭의 면에서 볼 때 비용이 많이 든다. 프레임 버퍼(372)는 참조 프레임들(화살표(374)로 표현됨)을 움직임 추정 모듈(376) 및 움직임 보상 모듈(380)에 제공한다.
움직임 추정 모듈(376)은 다수의 '움직임 벡터'(378로 표시됨)를 추정하며, 각각은 프레임 버퍼(372)에서의 참조 프레임들 중 하나에서의 블록을 참조하는, 현재 CB의 위치로부터의 데카르트 공간적 오프셋이다. (382로 나타내진) 참조 샘플들의 필터링된 블록이 각각의 움직임 벡터에 대해 생성된다. 필터링된 참조 샘플들(382)은 모드 선택기(386)에 의한 잠재적 선택에 이용가능한 추가의 후보 모드들을 형성한다. 더욱이, 주어진 CU에 대해, PU(320)는 하나의 참조 블록을 이용하여 형성될 수 있거나('단방향 예측') 또는 2개의 참조 블록을 이용하여 형성될 수 있다('양방향 예측'). 선택된 움직임 벡터에 대해, 움직임 보상 모듈(380)은 움직임 벡터들에서 서브-픽셀 정확도를 지원하는 필터링 프로세스에 따라 PB(320)를 생성한다. 이와 같이, 움직임 추정 모듈(376)(이것은 많은 후보 움직임 벡터들에 대해 동작함)은 감소된 계산 복잡도를 달성하기 위해 움직임 보상 모듈(380)(이것은 선택된 후보에 대해서만 동작함)의 것과 비교하여 단순화된 필터링 프로세스를 수행할 수 있다. 비디오 인코더(114)가 CU에 대한 상호간 예측을 선택할 때, 움직임 벡터(378)는 비트스트림(115)으로 인코딩된다.
도 3의 비디오 인코더(114)가 다용도 비디오 코딩(VVC)을 참조하여 설명되어 있지만, 다른 비디오 코딩 표준들 또는 구현들이 또한 모듈들(310 내지 390)의 처리 스테이지들을 이용할 수 있다. 프레임 데이터(113)(및 비트스트림(115))는 또한 메모리(206), 하드 디스크 드라이브(210), CD-ROM, Blu-ray diskTM 또는 다른 컴퓨터 판독가능한 저장 매체로부터 판독(또는 이에 기입)될 수 있다. 또한, 프레임 데이터(113)(및 비트스트림(115))는 통신 네트워크(220) 또는 라디오 주파수 수신기에 접속된 서버와 같은 외부 소스로부터 수신(또는 이에 전송)될 수 있다. 통신 네트워크(220)는 제한된 대역폭을 제공할 수 있고, 프레임 데이터(113)가 압축하기 어려울 때 때때로 네트워크를 포화시키는 것을 피하기 위해 비디오 인코더(114)에서의 레이트 제어의 이용을 필요로 한다. 더욱이, 비트스트림(115)은, 프로세서(205)의 제어 하에서 조정된 방식으로 동작하는, 비디오 인코더(114)의 하나 이상의 인스턴스에 의해 생성되는, 프레임 데이터(113)의 공간적 섹션들(CTU들의 컬렉션들)을 나타내는, 하나 이상의 슬라이스로부터 구성될 수 있다. 본 개시내용과 관련하여, 슬라이스는 또한 비트스트림의 "연속 부분"이라고 지칭될 수 있다. 예를 들어, 병렬 처리가 이용되고 있는 경우, 슬라이스들은 비트스트림 내에서 연속적이고 별개의 부분들로서 인코딩 또는 디코딩될 수 있다.
비디오 디코더(134)가 도 4에 도시되어 있다. 도 4의 비디오 디코더(134)가 다용도 비디오 코딩(VVC) 비디오 디코딩 파이프라인의 예이지만, 본 명세서에 설명된 처리 스테이지들을 수행하기 위해 다른 비디오 코덱들도 이용될 수 있다. 도 4에 도시된 바와 같이, 비트스트림(133)은 비디오 디코더(134)에 입력된다. 비트스트림(133)은 메모리(206), 하드 디스크 드라이브(210), CD-ROM, Blu-ray diskTM 또는 다른 비일시적 컴퓨터 판독가능한 저장 매체로부터 판독될 수 있다. 대안적으로, 비트스트림(133)은 통신 네트워크(220) 또는 라디오 주파수 수신기에 접속된 서버와 같은 외부 소스로부터 수신될 수 있다. 비트스트림(133)은 디코딩될 캡처된 프레임 데이터를 표현하는 인코딩된 신택스 요소들을 포함한다.
비트스트림(133)은 엔트로피 디코더 모듈(420)에 입력된다. 엔트로피 디코더 모듈(420)은 '빈들'의 시퀀스들을 디코딩함으로써 비트스트림(133)으로부터 신택스 요소들을 추출하고, 신택스 요소들의 값들을 비디오 디코더(134) 내의 다른 모듈들에 전달한다. 엔트로피 디코더 모듈(420)은 SPS, PPS 또는 슬라이스 헤더를 디코딩하기 위해 가변-길이 및 고정 길이 디코딩을 이용하고, 산술 디코딩 엔진은 하나 이상의 빈의 시퀀스로서 슬라이스 데이터의 신택스 요소들을 디코딩한다. 각각의 빈은 하나 이상의 '컨텍스트'를 이용할 수 있고, 컨텍스트는 빈에 대한 '1' 및 '0' 값을 코딩하는데 이용될 확률 레벨들을 설명한다. 주어진 빈에 대해 복수의 컨텍스트가 이용가능한 경우, 빈을 디코딩하기 위한 이용가능한 컨텍스트들 중 하나를 선택하기 위해 '컨텍스트 모델링' 또는 '컨텍스트 선택' 단계가 수행된다. 빈들을 디코딩하는 프로세스는 순차적 피드백 루프를 형성하고, 따라서, 각각의 슬라이스는 주어진 엔트로피 디코더(420) 인스턴스에 의해 그 전체가 디코딩될 수 있다. 단일의(또는 소수의) 고성능 엔트로피 디코더(420) 인스턴스는 비트스트림(115)으로부터의 프레임에 대한 모든 슬라이스들을 디코딩할 수 있고, 복수의 저성능 엔트로피 디코더(420) 인스턴스는 비트스트림(133)으로부터의 프레임에 대한 슬라이스들을 동시에 디코딩할 수 있다.
엔트로피 디코더 모듈(420)은 비트스트림(133)으로부터 신택스 요소들을 디코딩하기 위해 산술 코딩 알고리즘, 예를 들어 'CABAC(context adaptive binary arithmetic coding)'를 적용한다. 디코딩된 신택스 요소들은 비디오 디코더(134) 내의 파라미터들을 재구성하는데 이용된다. 파라미터들은 잔차 계수들(화살표(424)로 표시됨), 양자화 파라미터(474), 2차 변환 인덱스(470), 및 모드 선택 정보, 예컨대 내적 예측 모드(화살표(458)로 표시됨)를 포함한다. 모드 선택 정보는 또한 정보, 예컨대 움직임 벡터들, 및 각각의 CTU의 하나 이상의 CB로의 파티셔닝을 포함한다. 전형적으로 이전에 디코딩된 CB들로부터의 샘플 데이터와 조합하여, PB들을 생성하기 위해 파라미터들이 이용된다.
잔차 계수들(424)은 역 2차 변환 모듈(436)에 전달되고, 여기서 도 16 내지 도 18을 참조하여 설명된 방법들에 따라 2차 변환이 적용되거나 어떠한 동작도 수행되지 않는다(바이패스된다). 역 2차 변환 모듈(436)은 2차 변환 도메인 계수들로부터 재구성된 변환 계수들(432), 즉 1차 변환 도메인 계수들을 생성한다. 재구성된 변환 계수들(432)은 역양자화기 모듈(428)에 입력된다. 역양자화기 모듈(428)은 잔차 계수들(432)에 대해, 즉 1차 변환 계수 도메인에서 역양자화(또는 '스케일링')를 수행하여, 양자화 파라미터(474)에 따라, 화살표(440)로 나타낸 재구성된 중간 변환 계수들을 생성한다. 불균일한 역양자화 행렬의 이용이 비트스트림(133)에 표시되면, 비디오 디코더(134)는 스케일링 인자들의 시퀀스로서 비트스트림(133)으로부터 양자화 행렬을 판독하고 스케일링 인자들을 행렬로 배열한다. 역 스케일링은 양자화 파라미터와 조합하여 양자화 행렬을 이용함으로써 재구성된 중간 변환 계수들(440)을 생성한다.
재구성된 변환 계수들(440)은 역 1차 변환 모듈(444)에 전달된다. 모듈(444)은 계수들(440)을 주파수 도메인으로부터 공간적 도메인으로 다시 변환한다. 모듈(444)의 동작의 결과는 화살표(448)로 표현된 잔차 샘플들의 블록이다. 잔차 샘플들(448)의 블록은 대응하는 CB와 크기가 동일하다. 잔차 샘플들(448)은 합산 모듈(450)에 공급된다. 합산 모듈(450)에서, 잔차 샘플들(448)은 (화살표(452)로 표현된) 디코딩된 PB에 합산되어, 화살표(456)로 표현된 재구성된 샘플들의 블록을 생성한다. 재구성된 샘플들(456)은 재구성된 샘플 캐시(460) 및 인-루프 필터링 모듈(488)에 공급된다. 인-루프 필터링 모듈(488)은 (492)로 표현된 프레임 샘플들의 재구성된 블록들을 생성한다. 프레임 샘플들(492)은 프레임 버퍼(496)에 기입된다.
재구성된 샘플 캐시(460)는 비디오 인코더(114)의 재구성된 샘플 캐시(356)와 유사하게 동작한다. 재구성된 샘플 캐시(460)는 (예를 들어, 전형적으로 온-칩 메모리에 있는, 데이터(232)를 대신 이용함으로써) 메모리(206) 없이 후속 CB들을 내적 예측하는데 필요한 재구성된 샘플을 위한 저장소를 제공한다. 화살표(464)로 표현된 참조 샘플들은 재구성된 샘플 캐시(460)로부터 획득되고 참조 샘플 필터(468)에 공급되어 화살표(472)로 표시된 필터링된 참조 샘플들을 생성한다. 필터링된 참조 샘플들(472)은 프레임내 예측 모듈(476)에 공급된다. 모듈(476)은, 비트스트림(133)에서 시그널링되고 엔트로피 디코더(420)에 의해 디코딩되는 내적 예측 모드 파라미터(458)에 따라, 화살표(480)로 표현된 내적 예측된 샘플들의 블록을 생성한다. 샘플들의 블록(480)은 DC, 평면 또는 각도 내적 예측과 같은 모드들을 이용하여 생성된다.
CB의 예측 모드가 비트스트림(133)에서 내적 예측을 이용하도록 표시될 때, 내적 예측된 샘플들(480)은 멀티플렉서 모듈(484)을 통해 디코딩된 PB(452)를 형성한다. 내적 예측은 샘플들의 예측 블록(PB), 즉, 동일한 색 성분에서 '이웃 샘플들'을 이용하여 도출된 하나의 색 성분에서의 블록을 생성한다. 이웃 샘플들은 현재 블록에 인접한 샘플들이고, 블록 디코딩 순서에서 선행하는 것에 의해 이미 재구성되었다. 루마 및 크로마 블록들이 병치되는 경우, 루마 및 크로마 블록들은 상이한 내적 예측 모드들을 이용할 수 있다. 그러나, 2개의 크로마 CB는 동일한 내적 예측 모드를 공유한다.
CB의 예측 모드가 비트스트림(133)에서 상호간 예측인 것으로 표시될 때, 움직임 보상 모듈(434)은 프레임 버퍼(496)로부터 샘플들의 블록(498)을 선택 및 필터링하기 위해 움직임 벡터(엔트로피 디코더(420)에 의해 비트스트림(133)으로부터 디코딩됨) 및 참조 프레임 인덱스를 이용하여, 438로 표현된 상호간 예측된 샘플들의 블록을 생성한다. 샘플들의 블록(498)은 프레임 버퍼(496)에 저장된 이전에 디코딩된 프레임으로부터 획득된다. 양방향 예측을 위해, 샘플들의 2개의 블록이 생성되고 함께 혼합되어 디코딩된 PB(452)에 대한 샘플들을 생성한다. 프레임 버퍼(496)는 인-루프 필터링 모듈(488)로부터의 필터링된 블록 데이터(492)로 채워진다. 비디오 인코더(114)의 인-루프 필터링 모듈(368)에서와 같이, 인-루프 필터링 모듈(488)은 DBF, ALF 및 SAO 필터링 동작들 중 임의의 것을 적용한다. 일반적으로, 움직임 벡터는 루마 및 크로마 채널들 둘 다에 적용되지만, 루마 및 크로마 채널에서의 서브-샘플 보간을 위한 필터링 프로세스들은 상이하다.
도 5는 다용도 비디오 코딩의 트리 구조에서 영역의 하나 이상의 서브-영역으로의 이용가능한 분할들 또는 스플릿들의 컬렉션(500)을 도시하는 개략적인 블록도이다. 도 3을 참조하여 설명된 바와 같이, 컬렉션(500)에 도시된 분할들은, 라그랑주 최적화에 의해 결정된 바와 같이, 각각의 CTU를 코딩 트리에 따라 하나 이상의 CU 또는 CB로 분할하기 위해 인코더(114)의 블록 파티셔너(310)에 이용가능하다.
컬렉션(500)이 정사각형 영역들만이 다른, 가능하게는 비-정사각형 서브-영역들로 분할되는 것을 도시하지만, 컬렉션(500)은 코딩 트리 내의 부모 노드의 코딩 트리 내의 자식 노드들로의 잠재적인 분할들을 도시하고, 부모 노드가 정사각형 영역에 대응할 것을 요구하지 않는다는 것을 이해해야 한다. 포함 영역이 비-정사각형인 경우, 분할로부터 생기는 블록들의 치수들은 포함 블록의 종횡비에 따라 스케일링된다. 일단 영역이 추가로 스플리팅되지 않으면, 즉, 코딩 트리의 리프 노드에서, CU는 그 영역을 점유한다.
영역들을 서브-영역들로 세분하는 프로세스는 결과적인 서브-영역들이 최소 CU 크기, 일반적으로 4×4 루마 샘플들에 도달할 때 종료되어야 한다. 미리 결정된 최소 크기, 예를 들어 16개의 샘플보다 작은 블록 영역들을 금지하도록 CU들을 제약하는 것에 더하여, CU들은 4의 최소 폭 또는 높이를 갖도록 제약된다. 폭 및 높이 관점에서 또는 폭 또는 높이 관점 둘 모두에서 다른 최소치들이 또한 가능하다. 세분 프로세스는 또한 가장 깊은 분해 레벨 이전에 종료되어, 최소 CU 크기보다 큰 CU들이라는 결과를 낳을 수 있다. 스플리팅이 발생하지 않을 수 있어서, 단일 CU가 CTU 전체를 점유하는 결과를 낳을 수 있다. CTU 전체를 점유하는 단일 CU는 가장 큰 이용가능한 코딩 유닛 크기이다. 4:2:0과 같은 서브샘플링된 크로마 포맷들의 이용으로 인해, 비디오 인코더(114) 및 비디오 디코더(134)의 배열들은 공유 코딩 트리가 루마 및 크로마 채널들의 블록 구조를 정의하는 경우를 포함하여, 루마 채널들에서보다 더 일찍 크로마 채널들에서의 영역들의 스플리팅을 종료할 수 있다. 루마 및 크로마에 대해 별개의 코딩 트리들이 이용될 때, 이용가능한 스플리팅 동작들에 대한 제약들은, 이러한 CB들이 더 큰 루마 영역, 예를 들어 64개의 루마 샘플과 병치되더라도, 16개의 샘플의 최소 크로마 CB 영역을 보장한다.
코딩 트리의 리프 노드들에는 CU들이 존재하며, 어떠한 추가 세분도 없다. 예를 들어, 리프 노드(510)는 하나의 CU를 포함한다. 코딩 트리의 비-리프 노드들에는 2개 이상의 추가 노드들로의 스플릿이 존재하며, 이들 각각은 하나의 CU를 형성하는 리프 노드, 또는 더 작은 영역들로의 추가 스플릿들을 포함하는 비-리프 노드일 수 있다. 코딩 트리의 각각의 리프 노드에서, 각각의 색 채널에 대해 하나의 코딩 블록이 존재한다. 루마 및 크로마 둘 다에 대해 동일한 깊이에서 종료하는 스플리팅은 3개의 병치된 CB를 낳는다. 크로마보다 루마에 대해 더 깊은 깊이에서 종료하는 스플리팅은 복수의 루마 CB가 크로마 채널들의 CB들과 병치되게 한다.
4진 트리 스플릿(512)은 도 5에 도시된 바와 같이 포함 영역을 4개의 동일한 크기 영역으로 분할한다. HEVC와 비교하여, 다용도 비디오 코딩(VVC)은 수평 2진 스플릿(514) 및 수직 2진 스플릿(516)을 포함하는, 추가 스플릿들로 추가적인 유연성을 달성한다. 스플릿들(514 및 516) 각각은 포함 영역을 2개의 동일한 크기 영역으로 분할한다. 분할은 포함 블록 내의 수평 경계(514) 또는 수직 경계(516)를 따른다.
3진 수평 스플릿(518) 및 3진 수직 스플릿(520)의 추가에 의해 다용도 비디오 코딩에서 추가의 유연성이 달성된다. 3진 스플릿들(518 및 520)은 블록을, 포함 영역의 폭 또는 높이의 1/4 및 3/4를 따라 수평으로(518) 또는 수직으로(520) 경계를 이루는 3개의 영역으로 분할한다. 4진 트리, 2진 트리, 및 3진 트리의 조합은 'QTBTTT'로 지칭된다. 트리의 루트(root)는 0개 이상의 4진 트리 스플릿(트리의 'QT' 섹션)을 포함한다. 일단 QT 섹션이 종료되면, 0개 이상의 2진 또는 3진 스플릿(트리의 '멀티-트리' 또는 'MT' 섹션)이 발생할 수 있고, 최종적으로 트리의 리프 노드들에서의 CB들 또는 CU들에서 종료된다. 트리가 모든 색 채널들을 설명하는 경우, 트리 리프 노드들은 CU들이다. 트리가 루마 채널 또는 크로마 채널들을 설명하는 경우, 트리 리프 노드들은 CB들이다.
4진 트리만을 지원하고 따라서 정사각형 블록들만을 지원하는 HEVC와 비교하여, QTBTTT는 특히 2진 트리 및/또는 3진 트리 스플릿들의 가능한 회귀적 적용을 고려하면, 더 많은 가능한 CU 크기들이라는 결과를 낳는다. 4진 트리 스플리팅만이 이용가능할 때, 코딩 트리 깊이에서의 각각의 증가는 부모 영역의 크기의 1/4로의 CU 크기에서의 감소에 대응한다. VVC에서, 2진 및 3진 스플릿들의 이용가능성은 코딩 트리 깊이가 더 이상 CU 영역에 직접 대응하지 않는다는 것을 의미한다. 특이한(비-정사각형) 블록 크기들에 대한 잠재성은 블록 폭 또는 높이가 4개 미만의 샘플이거나 또는 4개의 샘플의 배수가 아닌 결과를 낳을 스플릿들을 제거하기 위해 스플릿 옵션들을 제약함으로써 감소될 수 있다. 일반적으로, 제약은 루마 샘플들을 고려하는데 적용될 것이다. 그러나, 설명된 배열들에서, 제약은 크로마 채널들에 대한 블록들에 별개로 적용될 수 있다. 크로마 채널들에의 스플릿 옵션들에 대한 제약의 적용은, 예를 들어, 프레임 데이터가 4:2:0 크로마 포맷 또는 4:2:2 크로마 포맷일 때, 루마 대 크로마에 대한 상이한 최소 블록 크기들이라는 결과를 낳을 수 있다. 각각의 스플릿은, 포함 영역에 대해, 변경되지 않은, 이등분된 또는 사등분된 측면 치수를 갖는 서브-영역들을 생성한다. 그 후, CTU 크기가 2의 거듭제곱이기 때문에, 모든 CU들의 측면 치수들도 2의 거듭제곱들이다.
도 6은 다용도 비디오 코딩에 이용되는 QTBTTT(또는 '코딩 트리') 구조의 데이터 흐름(600)을 예시하는 개략적인 흐름도이다. QTBTTT 구조는 CTU의 하나 이상의 CU로의 분할을 정의하기 위해 각각의 CTU에 대해 이용된다. 각각의 CTU의 QTBTTT 구조는 비디오 인코더(114)에서의 블록 파티셔너(310)에 의해 결정되고, 비트스트림(115)으로 인코딩되거나 또는 비디오 디코더(134)에서의 엔트로피 디코더(420)에 의해 비트스트림(133)으로부터 디코딩된다. 데이터 흐름(600)은 추가로, 도 5에 도시된 분할들에 따라, CTU를 하나 이상의 CU로 분할하기 위해 블록 파티셔너(310)가 이용할 수 있는 허용가능한 조합들을 특징으로 한다.
계층구조의 상단 레벨, 즉 CTU에서 시작하여, 0개 이상의 4진 트리 분할이 먼저 수행된다. 구체적으로, 블록 파티셔너(310)에 의해 4진 트리(QT) 스플릿 결정(610)이 이루어진다. '1' 심볼을 반환하는 610에서의 결정은 4진 트리 스플릿(512)에 따라 현재 노드를 4개의 서브-노드로 스플리팅하라는 결정을 나타낸다. 그 결과는, 620에서와 같이, 4개의 새로운 노드의 생성이고, 각각의 새로운 노드에 대해 QT 스플릿 결정(610)으로 회귀한다. 각각의 새로운 노드는 래스터(또는 Z-스캔) 순서로 고려된다. 대안적으로, QT 스플릿 결정(610)이 어떠한 추가 스플릿도 수행되지 않을 것임을 나타내는 경우('0' 심볼을 반환하는 경우), 4진 트리 파티셔닝이 중단되고, 멀티-트리(MT) 스플릿들이 후속하여 고려된다.
먼저, 블록 파티셔너(310)에 의해 MT 스플릿 결정(612)이 행해진다. 612에서, MT 스플릿을 수행하라는 결정이 표시된다. 결정(612)에서 '0' 심볼을 반환하는 것은, 노드의 서브-노드들로의 어떠한 추가 스플리팅도 수행되지 않을 것임을 나타낸다. 노드의 추가 스플리팅이 수행되지 않는 경우, 노드는 코딩 트리의 리프 노드이고 CU에 대응한다. 622에서, 리프 노드가 출력된다. 대안적으로, MT 스플릿(612)이 MT 스플릿을 수행하라는 결정을 나타내면('1' 심볼을 반환하면), 블록 파티셔너(310)는 방향 결정(614)으로 진행한다.
방향 결정(614)은 수평('H' 또는 '0') 또는 수직('V' 또는 '1')으로서 MT 스플릿의 방향을 나타낸다. 블록 파티셔너(310)는 결정(614)이 수평 방향을 나타내는 '0'을 반환하는 경우, 결정(616)으로 진행한다. 블록 파티셔너(310)는 결정(614)이 수직 방향을 나타내는 '1'을 반환하는 경우, 결정(618)으로 진행한다.
결정들(616 및 618) 각각에서, MT 스플릿을 위한 파티션들의 수는 BT/TT 스플릿에서 2개(2진 스플릿 또는 'BT' 노드) 또는 3개(3진 스플릿 또는 'TT')로서 표시된다. 즉, BT/TT 스플릿 결정(616)은 614로부터의 표시된 방향이 수평일 때 블록 파티셔너(310)에 의해 이루어지고, BT/TT 스플릿 결정(618)은 614로부터의 표시된 방향이 수직일 때 블록 파티셔너(310)에 의해 이루어진다.
BT/TT 스플릿 결정(616)은 수평 스플릿이 '0'을 반환함으로써 표시되는 2진 스플릿(514)인지 또는 '1'을 반환함으로써 표시되는 3진 스플릿(518)인지를 표시한다. BT/TT 스플릿 결정(616)이 2진 스플릿을 나타내는 경우, HBT CTU 노드 생성 단계(625)에서 2개의 노드가 2진 수평 스플릿(514)에 따라 블록 파티셔너(310)에 의해 생성된다. BT/TT 스플릿(616)이 3진 스플릿을 나타내는 경우, HTT CTU 노드 생성 단계(626)에서 3개의 노드가 3진 수평 스플릿(518)에 따라 블록 파티셔너(310)에 의해 생성된다.
BT/TT 스플릿 결정(618)은 수직 스플릿이 '0'을 반환함으로써 표시되는 2진 스플릿(516)인지 또는 '1'을 반환함으로써 표시되는 3진 스플릿(520)인지를 표시한다. BT/TT 스플릿(618)이 2진 스플릿을 나타내는 경우, VBT CTU 노드 생성 단계(627)에서 2개의 노드가 수직 2진 스플릿(516)에 따라 블록 파티셔너(310)에 의해 생성된다. BT/TT 스플릿(618)이 3진 스플릿을 나타내는 경우, VTT CTU 노드 생성 단계(628)에서 3개의 노드가 수직 3진 스플릿(520)에 따라 블록 파티셔너(310)에 의해 생성된다. 단계들(625-628)로부터 생기는 각각의 노드에 대해, MT 스플릿 결정(612)으로의 데이터 흐름(600)의 회귀는 방향(614)에 따라 좌측에서 우측으로 또는 상단에서 하단으로의 순서로 적용된다. 그 결과, 2진 트리 및 3진 트리 스플릿들이 다양한 크기들을 갖는 CU들을 생성하기 위해 적용될 수 있다.
도 7a 및 7b는 CTU(710)의 다수의 CU 또는 CB로의 예시적인 분할(700)을 제공한다. 예시적인 CU(712)가 도 7a에 도시되어 있다. 도 7a는 CTU(710)에서의 CU들의 공간적 배열을 도시한다. 예시적인 분할(700)은 또한 도 7b에서 코딩 트리(720)로서 도시되어 있다.
도 7a의 CTU(710)에서의 각각의 비-리프 노드, 예를 들어, 노드들(714, 716 및 718)에서, (추가로 분할될 수 있거나 CU들일 수 있는) 포함된 노드들은 코딩 트리(720)에서의 열들로서 표현되는, 노드들의 리스트들을 생성하기 위해 'Z-순서'로 스캐닝 또는 순회(traverse)된다. 4진 트리 스플릿의 경우, Z-순서 스캐닝은 좌측 상단에서 우측으로 이어서 좌측 하단에서 우측으로의 순서를 낳는다. 수평 및 수직 스플릿들에 대해, Z-순서 스캐닝(순회)은 제각기 상단에서 하단으로의 스캔 그리고 좌측에서 우측으로의 스캔으로 단순화된다. 도 7b의 코딩 트리(720)는 적용된 스캔 순서에 따라 모든 노드들 및 CU들을 열거한다. 각각의 스플릿은 리프 노드(CU)에 도달할 때까지 트리의 다음 레벨에서 2, 3 또는 4개의 새로운 노드의 리스트를 생성한다.
블록 파티셔너(310)에 의해 이미지를 CTU들로 분해하고 추가로 CU들로 분해하고, 또한 도 3을 참조하여 설명된 바와 같이 CU들을 이용하여 각각의 잔차 블록(324)을 생성하였으면, 잔차 블록들은 비디오 인코더(114)에 의해 순방향 변환 및 양자화를 겪게 된다. 결과적인 TB들(336)은 엔트로피 코딩 모듈(338)의 동작의 일부로서 잔차 계수들의 순차적 리스트를 형성하도록 후속적으로 스캐닝된다. 비트스트림(133)으로부터 TB들을 획득하기 위해 비디오 디코더(134)에서 동등한 프로세스가 수행된다.
도 8a, 도 8b, 및 도 8c는 코딩 트리에서의 스플릿들 및 양자화 그룹들로의 코딩 트리 유닛의 분할에 대한 대응하는 영향으로부터 기인하는 세분 레벨들을 도시한다. 델타 QP(392)는 양자화 그룹마다 최대 한 번 TB의 잔차와 함께 시그널링된다. HEVC에서, 양자화 그룹의 정의는 코딩 트리 깊이에 대응하는데, 그 이유는 그 정의가 고정된 크기의 영역들을 낳기 때문이다. VVC에서, 추가적인 스플릿들은 코딩 트리 깊이가 더 이상 CTU 영역에 대한 적절한 프록시가 아니라는 것을 의미한다. VVC에서, '세분 레벨'이 정의되고, 각각의 증분은 포함된 영역의 이등분에 대응한다.
도 8a는 코딩 트리 내의 스플릿들의 컬렉션(800) 및 대응하는 세분 레벨들을 도시한다. 코딩 트리의 루트 노드에서, 세분 레벨은 0으로 초기화된다. 코딩 트리가 4진 트리 스플릿을 포함할 때, 예를 들어, 810에서, 세분 레벨은 그 안에 포함된 임의의 CU들에 대해 2만큼 증분된다. 코딩 트리가 2진 스플릿을 포함할 때, 예를 들어, 812에서, 세분 레벨은 그 안에 포함된 임의의 CU들에 대해 1만큼 증분된다. 코딩 트리가 3진 스플릿을 포함할 때, 예를 들어, 814에서, 세분 레벨은 외부 2개의 CU에 대해 2만큼 증분되고, 3진 스플릿으로부터 생긴 내부 CU에 대해 1만큼 증분된다. 도 6을 참조하여 설명된 바와 같이, 각각의 CTU의 코딩 트리가 순회될 때, 각각의 결과적인 CU의 세분 레벨은 컬렉션(800)에 따라 결정된다.
도 8b는 CU 노드들의 예시적인 세트(840)를 도시하고 스플릿들의 영향을 예시한다. 0의 세분 레벨을 갖는 세트(840)의 예시적인 부모 노드(820)는 도 8b의 예에서 크기 64×64의 CTU에 대응한다. 부모 노드(820)는 3진 스플리팅되어 각각 크기들 16×64, 32×64, 및 16×64의 3개의 자식 노드(821, 822 및 823)를 생성한다. 자식 노드들(821, 822 및 823)은 각각 2, 1 및 2의 세분 레벨들을 갖는다.
도 8b의 예에서, 양자화 그룹 임계치는 64×64 영역의 이등분, 즉, 2048개의 샘플의 영역에 대응하는 1로 설정된다. 플래그는 새로운 QG들의 시작을 추적한다. 새로운 QG들을 추적하는 플래그는 양자화 그룹 임계치 이하의 세분 레벨을 갖는 임의의 노드에 대해 리셋된다. 플래그는 0의 세분 레벨을 갖는 부모 노드(820)를 순회할 때 설정된다. 크기 32×64의 중심 CU(822)가 2048개의 샘플의 영역을 갖지만, 2개의 형제 CU(821 및 823)는 2의 세분 레벨들, 즉, 1024의 영역들을 갖고, 따라서, 플래그는 중심 CU를 순회할 때 리셋되지 않고, 양자화 그룹은 중심 CU에서 시작되지 않는다. 대신에, 플래그는 824로 도시된 부모 노드에서 초기 플래그 리셋에 따라 시작한다. 사실상, QP는 양자화 그룹 영역의 배수들로 정렬된 경계들 상에서만 변할 수 있다. 델타 QP는 CB와 연관된 TB의 잔차와 함께 시그널링된다. 유의 계수들이 존재하지 않는 경우, 델타 QP를 코딩할 기회가 없다.
도 8c는 세분 레벨, QG, 및 델타 QP의 시그널링 사이의 관계를 예시하기 위해 CTU(862)를 복수의 CU들 및 QG들로 분할하는 예(860)를 도시한다. 수직 2진 스플릿은 CTU(862)를 2개의 절반으로 분할하고, 좌측 절반(870)은 하나의 CU인 CU0을 포함하고, 우측 절반(872)은 몇 개의 CU들(CU1-CU4)을 포함한다. 양자화 그룹 임계치는 도 8c의 예에서 2로 설정되어, 보통 CTU의 면적의 1/4과 동일한 면적을 갖는 양자화 그룹들을 낳는다. 부모 노드, 즉, 코딩 트리의 루트 노드가 0의 세분 레벨을 가지므로, QG 플래그는 리셋되고, 새로운 QG는 다음 코딩된 CU, 즉, 화살표(868)에서의 CU로 시작할 것이다. CU0(870)은 코딩된 계수들을 갖고, 따라서 델타 QP(864)는 CU0의 잔차와 함께 코딩된다. 우측 절반(872)은 수평 2진 스플리팅되고 우측 절반(872)의 상단 및 하단 섹션들에서 추가로 스플리팅되어, CU1-CU4를 낳는다. 우측 절반(872)의 상단(877)(CU1 및 CU2를 포함함) 및 하단(878)(CU3 및 CU4를 포함함) 섹션들에 대응하는 코딩 트리 노드들은 2의 세분 레벨을 갖는다. 2의 세분 레벨은 2의 양자화 그룹 임계치와 동일하고, 따라서 새로운 QG들은 각각 874 및 876으로 표시된 각각의 섹션에서 시작된다. CU1은 코딩된 계수들을 갖지 않고(잔차 없음) CU2는 '스킵된' CU이고, 이는 또한 코딩된 계수들을 갖지 않는다. 따라서 상단 섹션에 대해 델타 QP가 코딩되지 않는다. CU3은 스킵된 CU이고, CU4는 코딩된 잔차를 갖고, 따라서 델타 QP(866)는 CU3 및 CU4를 포함하는 QG에 대해 CU4의 잔차로 코딩된다.
도 9a 및 도 9b는 4×4 변환 블록 스캔 패턴 및 연관된 1차 및 2차 변환 계수들을 도시한다. 1차 잔차 계수들에 대한 2차 변환 모듈(330)의 동작은 비디오 인코더(114)의 관점에서 설명된다. 4×4 TB(900)는 역방향 대각 스캔 패턴(910)에 따라 스캐닝된다. 스캔 패턴(910)은 '최종 유의 계수' 위치로부터 다시 DC(좌측 상단) 계수 위치를 향해 진행한다. 스캐닝되지 않은 모든 계수 위치들, 예를 들어 순방향 스캐닝을 고려할 때, 최종 유의 계수 위치 다음에 위치한 잔차 계수들은 암시적으로 비-유의이다. 2차 변환이 이용될 때, 모든 나머지 계수들은 비-유의이다. 즉, 2차 변환을 겪지 않는 모든 2차 도메인 잔차 계수들은 비-유의이고, 2차 변환의 적용에 의해 채워지지 않는 모든 1차 도메인 잔차 계수들은 비-유의일 것이 요구된다. 또한, 모듈(330)에 의한 순방향 2차 변환의 적용 후에, 2차 변환 모듈(330)에 의해 처리된 1차 변환된 계수들의 수보다 더 적은 2차 변환된 계수들이 존재할 수 있다. 예를 들어, 도 9b는 블록들의 세트(920)를 도시한다. 도 9b에서, 16개의 1차 계수는 4×4 TB(920)의 924인 하나의 4×4 서브-블록으로서 배열된다. 1차 잔차 계수들은 도 9b의 예에서 2차 변환되어 2차 변환된 블록(926)을 생성할 수 있다. 2차 변환된 블록(926)은 8개의 2차 변환된 계수(928)를 포함한다. 8개의 2차 변환된 계수(928)는 DC 계수 위치로부터 앞으로 패킹된 스캔 패턴(910)에 따라 TB에 저장된다. 영역(930)으로서 도시된 4×4 서브-블록의 나머지 계수 위치들은 1차 변환으로부터의 양자화된 잔차 계수들을 포함하고, 적용될 2차 변환을 위해 모두 비-유의일 것이 요구된다. 따라서, TB(920)의 처음 8개의 스캔 위치들 중 하나인 계수를 지정하는 4×4 TB의 최종 유의 계수 위치는 (i) 2차 변환의 적용, 또는 (ii) 양자화 후에, TB(920)의 8번째 스캔 위치를 넘어서는 유의 계수들을 갖지 않는 1차 변환의 출력을 나타낸다.
TB에 대해 2차 변환을 수행하는 것이 가능할 때, 2차 변환 인덱스, 즉 388은 2차 변환의 가능한 적용을 표시하기 위해 인코딩된다. 2차 변환 인덱스는 또한, 복수의 변환 커널이 이용가능한 경우, 어느 커널이 모듈(330)에서 2차 변환으로서 적용될지를 표시할 수 있다. 대응적으로, 비디오 디코더(134)는 최종 유의 계수 위치가 2차 변환된 계수들, 예를 들어 928을 유지하기 위해 예비된 스캔 위치들 중 어느 하나에 위치할 때 2차 변환 인덱스(470)를 디코딩한다.
16개의 1차 계수를 8개의 2차 계수에 매핑하는 2차 변환 커널이 설명되었지만, 상이한 수의 2차 변환 계수들에 매핑하는 커널들을 포함하는 상이한 커널들이 가능하다. 2차 변환 계수들의 수는 1차 변환 계수들의 수와 동일할 수 있는데, 예를 들어 16이다. 폭 4 및 4보다 큰 높이의 TB들의 경우, 4×4 TB 경우에 대해 설명된 거동이 TB의 상단 서브-블록에 적용된다. TB의 다른 서브-블록들은 2차 변환이 적용될 때 0-값 잔차 계수들을 갖는다. 4보다 큰 폭 및 4와 동일한 높이의 TB들의 경우, 4×4 TB 경우에 대해 설명된 거동이 TB의 최좌측 서브-블록에 적용되고, TB의 다른 서브-블록들은 0-값 잔차 계수들을 가져서, 2차 변환 인덱스가 디코딩될 필요가 있는지 여부를 결정하는데 최종 유의 계수 위치가 이용되게 한다.
도 9c 및 도 9d는 8×8 변환 블록 스캔 패턴 및 예시적인 연관된 1차 및 2차 변환 계수들을 도시한다. 도 9c는 8×8 TB(940)에 대한 4×4 서브-블록 기반 역방향 대각 스캔 패턴(950)을 도시한다. 8×8 TB(940)는 4×4 서브-블록 기반 역방향 대각 스캔 패턴(950)에서 스캐닝된다. 도 9d는 2차 변환의 동작의 영향을 나타내는 세트(960)를 도시한다. 스캔(950)은 최종 유의 계수 위치로부터 다시 DC(좌측 상단) 계수 위치로 진행한다. 940의 영역(962)으로서 도시된 48개의 1차 계수에 대한 순방향 2차 변환 커널의 적용은 964로서 도시된 나머지 16개의 1차 계수들이 0-값일 때 가능하다. 영역(962)에 대한 2차 변환의 적용은 966으로서 도시된 16개의 2차 변환된 계수들을 야기한다. TB의 다른 계수 위치들은 968로서 표시된 0-값이다. 8×8 TB(940)의 최종 유의 위치가 2차 변환된 계수가 966 내에 있음을 나타내는 경우, 2차 변환 인덱스(388)는 모듈(330)에 의해 특정 변환 커널의 적용(또는 커널의 바이패스)을 나타내기 위해 인코딩된다. 비디오 디코더(134)는 TB의 최종 유의 위치를 이용하여 2차 변환 인덱스, 즉 인덱스(470)를 디코딩할지 여부를 결정한다. 8개의 샘플들을 초과하는 폭 또는 높이를 갖는 변환 블록들에 대해, 도 9c 및 도 9d의 접근법은 TB의 좌측 상단 8×8 영역, 즉 좌측 상단 2×2 서브-블록들에 적용된다.
도 9a 내지 도 9d에 설명된 바와 같이, 2개의 크기의 2차 변환 커널들이 이용가능하다. 하나의 크기의 2차 변환 커널은 4의 폭 또는 높이를 갖는 변환 블록들에 대한 것이고, 다른 크기의 2차 변환은 4보다 큰 폭 및 높이를 갖는 변환 블록들에 대한 것이다. 커널의 각각의 크기 내에서, 2차 변환 커널의 복수의 세트(예를 들어, 4개)가 이용가능하다. 하나의 세트는 루마 블록과 크로마 블록 사이에 상이할 수 있는 블록에 대한 내적 예측 모드에 기반하여 선택된다. 선택된 세트 내에서, 1개 또는 2개의 커널이 이용가능하다. 선택된 세트 내의 하나의 커널의 이용 또는 2차 변환의 바이패스는 코딩 트리 유닛의 공유 트리에 속하는 코딩 유닛 내의 루마 블록들 및 크로마 블록들에 대해 독립적으로, 2차 변환 인덱스를 통해 시그널링된다. 즉, 루마 채널에 이용되는 인덱스 및 크로마 채널(들)에 이용되는 인덱스는 서로 독립적이다.
도 10은 다용도 비디오 코딩(VVC) 표준에서 이용가능한 변환 블록들의 세트(1000)를 도시한다. 도 10은 또한 세트(1000)의 변환 블록들로부터의 잔차 계수들의 서브세트에 대한 2차 변환의 적용을 도시한다. 도 10은 4 내지 32 범위의 폭들 및 높이들을 갖는 TB들을 도시한다. 그러나, 64의 폭 및/또는 높이의 TB들이 가능하지만, 참조의 용이성을 위해 도시되지 않는다.
16-포인트 2차 변환(1052)(더 어두운 음영으로 도시됨)은 계수들의 4×4 세트에 적용된다. 16-포인트 2차 변환(1052)은 폭 또는 높이가 4인 TB들, 예를 들어, 4×4 TB(1010), 8×4 TB(1012), 16×4 TB(1014), 32×4 TB(1016), 4×8 TB(1020), 4×16 TB(1030), 및 4×32 TB(1040)에 적용된다. 64-포인트 1차 변환이 이용가능한 경우, 16-포인트 2차 변환(1052)은 크기 4×64 및 64×4의 TB들(도 10에 도시되지 않음)에 적용된다. 4의 폭 또는 높이를 갖지만 16개보다 많은 1차 계수들을 갖는 TB들에 대해, 16-포인트 2차 변환은 TB의 좌측 상단 4×4 서브-블록에만 적용되고, 다른 서브-블록들은 2차 변환이 적용되기 위해 0-값 계수들을 갖도록 요구된다. 일반적으로 16-포인트 2차 변환의 적용은 16개의 2차 변환 계수들을 초래하고, 이는 원래의 16개의 1차 변환 계수들이 획득된 서브-블록으로의 인코딩을 위해 TB에 패킹된다. 2차 변환 커널은, 예를 들어, 도 9b를 참조하여 설명된 바와 같이, 2차 변환이 적용된 1차 변환 계수들의 수보다 더 적은 2차 변환 계수들의 생성을 초래할 수 있다.
4보다 큰 폭 및 높이를 갖는 변환 크기들에 대해, 48-포인트 2차 변환(1050)(더 밝은 음영으로 도시됨)은 도 10에 도시된 바와 같이, 변환 블록의 좌측 상단 8×8 영역 내의 잔차 계수들의 3개의 4×4 서브-블록들에 적용하는데 이용가능하다. 48-포인트 2차 변환(1050)은 8×8 변환 블록(1022), 16×8 변환 블록(1024), 32×8 변환 블록(1026), 8×16 변환 블록(1032), 16×16 변환 블록(1034), 32×16 변환 블록(1036), 8×32 변환 블록(1042), 16×32 변환 블록(1044), 및 32×32 변환 블록(1046)에 적용되며, 각각의 경우에 밝은 음영 및 파선 윤곽으로 도시된 영역 내에 있다. 64-포인트 1차 변환이 이용가능하다면, 48-포인트 2차 변환(1050)은 또한 크기 8×64, 16×64, 32×64, 64×64, 64×32, 64×16 및 64×8의 TB들(도시되지 않음)에 적용가능하다. 48-포인트 2차 변환 커널의 적용은 일반적으로 48개보다 적은 2차 변환 계수들의 생성을 초래한다. 예를 들어, 8개 또는 16개의 2차 변환 계수들이 생성될 수 있다. 2차 변환 계수들은 좌측 상단 영역 내의 변환 블록에 저장되고, 예를 들어, 8개의 2차 변환 계수들이 도 9d에 도시된다. 2차 변환을 겪지 않는 1차 변환 계수들('1차-전용 계수들'), 예를 들어, TB(1034)의 계수들(1066)(도 9d의 964와 유사함)은 2차 변환이 적용되기 위해 0-값일 필요가 있다. 순방향에서의 48-포인트 2차 변환(1050)의 적용 후에, 유의 계수들을 포함할 수 있는 영역은 48개의 계수들로부터 16개의 계수들로 감소되고, 유의 계수들을 포함할 수 있는 계수 위치들의 수를 더 감소시킨다. 예를 들어, 968은 비-유의 계수들만을 포함할 것이다. 역 2차 변환에 대해, 예를 들어, TB의 966에만 존재하는 디코딩된 유의 계수들이 변환되어, 그 후 임의의 것이 1차 역변환을 겪는 영역, 예를 들어, 962에서 유의일 수 있는 계수들을 생성한다. 2차 변환이 하나 이상의 서브-블록을 16개의 2차 변환 계수들의 세트로 감소시킬 때 좌측 상단 4×4 서브-블록만이 유의 계수들을 포함할 수 있다. 2차 변환 계수들이 저장될 수 있는 임의의 계수 위치에 위치된 최종 유의 계수 위치는 2차 변환의 적용 또는 1차 변환만이 적용되었다는 것을 표시한다. 그러나, 양자화 후에, 결과적인 유의 계수들은 2차 변환 커널이 적용된 것과 동일한 영역에 있다.
최종 유의 계수 위치가 TB에서의 2차 변환 계수 위치(예를 들어, 922 또는 962)를 나타낼 때, 2차 변환 커널을 적용하는 것 또는 2차 변환을 바이패스하는 것을 구별하기 위해 시그널링된 2차 변환 인덱스가 필요하다. 도 10에서 다양한 크기들의 TB들에의 2차 변환들의 적용이 비디오 인코더(114)의 관점에서 설명되었지만, 대응하는 역 프로세스가 비디오 디코더(134)에서 수행된다. 비디오 디코더(134)는 먼저 최종 유의 계수 위치를 디코딩한다. 디코딩된 최종 유의 계수 위치가 2차 변환의 잠재적인 적용을 나타낸다면, 즉 위치가 8개 또는 16개의 2차 변환 계수들을 각각 생성하는 2차 변환 커널들에 대해 928 또는 966 내에 있다면, 2차 변환 인덱스가 디코딩되어 역 2차 변환을 적용할지 또는 바이패스할지를 결정한다.
도 11은 복수의 슬라이스를 갖는 비트스트림(1101)에 대한 신택스 구조(1100)를 도시한다. 슬라이스들 각각은 복수의 코딩 유닛들을 포함한다. 비트스트림(1101)은 비디오 인코더(114)에 의해, 예를 들어, 비트스트림(115)으로서 생성되거나, 비디오 디코더(134)에 의해, 예를 들어, 비트스트림(133)으로서 파싱될 수 있다. 비트스트림(1101)은 부분들, 예를 들어, 네트워크 추상화 계층(NAL) 유닛들로 분할되고, 구분은 1108과 같은 NAL 유닛 헤더를 갖는 각각의 NAL 유닛에 선행함으로써 달성된다. 시퀀스 파라미터 세트(SPS)(1110)는, 비트스트림을 인코딩 및 디코딩하는데 이용되는 프로파일(툴 세트), 크로마 포맷, 샘플 비트 깊이, 및 프레임 해상도와 같은 시퀀스-레벨 파라미터들을 정의한다. 또한, 각각의 CTU의 코딩 트리에서 상이한 유형들의 스플릿의 적용을 제약하는 파라미터들이 세트(1110)에 포함된다. 스플릿의 유형을 제약하는 파라미터들의 코딩은, 예를 들어, 블록 크기 제약들에 대한 log2 기반을 이용하고 최소 CTU 크기와 같은 다른 파라미터들에 대한 파라미터들을 표현하는, 더 컴팩트한 표현을 위해 최적화될 수 있다. SPS(1110)에서 코딩되는 수 개의 파라미터들은 다음과 같다:
픽처 파라미터 세트(PPS)(1112)는 0개 이상의 프레임에 적용가능한 파라미터들의 세트들을 정의한다. PPS(1112)에 포함된 파라미터들은 프레임들을 하나 이상의 "타일" 및/또는 "벽돌"로 분할하는 파라미터들을 포함한다. PPS(1112)의 파라미터들은 또한 CU 크로마 QP 오프셋들의 리스트를 포함할 수 있으며, 그 중 하나는 병치된 루마 CB의 양자화 파라미터로부터 크로마 블록들에 의한 이용을 위한 양자화 파라미터를 도출하기 위해 CU 레벨에서 적용될 수 있다.
하나의 픽처를 형성하는 슬라이스들의 시퀀스는 AU 0(1114)과 같은 액세스 유닛(AU)으로 알려져 있다. AU 0(1114)은 슬라이스들 0 내지 2와 같은 3개의 슬라이스를 포함한다. 슬라이스 1은 1116으로 표시된다. 다른 슬라이스들에서, 슬라이스 1(1116)은 슬라이스 헤더(1118) 및 슬라이스 데이터(1120)를 포함한다.
슬라이스 헤더는 1134로서 그룹화된 파라미터들을 포함한다. 그룹(1134)은 다음을 포함한다:
변수 MinQtLog2SizeIntraY(도시되지 않음)는 SPS(1110)로부터 디코딩된 신택스 요소 sps_log2_diff_min_qt_min_cb_intra_slice_luma로부터 도출되고, I 슬라이스들에 대한 0개 이상의 4진 트리 스플릿(즉, 코딩 트리에서 더 이상의 MTT 스플릿들이 발생하지 않음)으로부터 생기는 최소 코딩 블록 크기를 지정한다. 변수 MinQtLog2SizeInterY(도시되지 않음)는 SPS(1110)로부터 디코딩된 신택스 요소 sps_log2_diff_min_qt_min_cb_inter_slice로부터 도출된다. 변수 MinQtLog2SizeInterY는 P 및 B 슬라이스들에 대한 0개 이상의 4진 트리 스플릿(즉, 코딩 트리에서 더 이상의 MTT 스플릿들이 발생하지 않음)으로부터 생기는 최소 코딩 블록 크기를 지정한다. 4진 트리 스플릿들로부터 생기는 CU들이 정사각형이기 때문에, 변수들 MinQtLog2SizeIntraY 및 MinQtLog2SizeInterY 각각은 (CU 폭/높이의 log2로서) 폭과 높이 둘 다를 지정한다.
파라미터 cu_qp_delta_subdiv는 슬라이스 헤더(1118)에서 임의적으로 시그널링될 수 있고, 델타 QP가 별개의 트리 슬라이스 내의 공유된 트리 또는 루마 분기들에 대한 코딩 트리에서 시그널링되는 최대 세분 레벨을 나타낸다. I 슬라이스들의 경우, cu_qp_delta_subdiv의 범위는 0 내지 2*(log2_ctu_size_minus5 + 5 - MinQtLog2SizeIntraY + MaxMttDepthY)(1134)이다. P 또는 B 슬라이스들의 경우, cu_qp_delta_subdiv의 범위는 0 내지 2*(log2_ctu_size_minus5 + 5 - MinQtLog2SizeInterY + MaxMttDepthY)(1134)이다. cu_qp_delta_subdiv의 범위가 SPS(1110) 또는 슬라이스 헤더(1118)로부터 얻어진 파티션 제약들로부터 도출된 값 MaxMttDepthY(1134)에 의존하기 때문에, 파싱 문제는 없다.
파라미터 cu_chroma_qp_offset_subdiv는 슬라이스 헤더(1118)에서 임의적으로 시그널링될 수 있고, 공유 트리에서 또는 별개의 트리 슬라이스에서의 크로마 분기들에서 크로마 CU QP 오프셋들이 시그널링되는 최대 세분 레벨을 나타낸다. I 또는 P/B 슬라이스들에 대한 cu_chroma_qp_offset_subdiv에 대한 범위 제약들은 cu_qp_delta_subdiv에 대한 대응하는 범위 제약들과 동일하다.
슬라이스(1120) 내의 CTU들에 대해, 루마 CB들에 대한 cu_qp_delta_subdiv 및 크로마 CB들에 대한 cu_chroma_qp_offset_subdiv로 지정된 세분 레벨(1136)이 도출된다. 도 8a 내지 도 8c를 참조하여 설명된 바와 같이, CTU 델타 QP 신택스 요소들 내의 어느 포인트들이 코딩되는지를 확립하기 위해 세분 레벨이 이용된다. 크로마 CB들에 대해, 크로마 CU 레벨 오프셋 인에이블(및 인에이블되는 경우, 인덱스)이 또한 도 8a 내지 도 8c의 접근법을 이용하여 시그널링된다.
도 12는 CTU(1210)와 같은 코딩 트리 유닛의 루마 및 크로마 코딩 블록들에 대한 공유 트리를 갖는 비트스트림(1101)(예를 들어, 115 또는 133)의 슬라이스 데이터(1120)에 대한 신택스 구조(1200)를 도시한다. CTU(1210)는 하나 이상의 CU, 예를 들어, CU(1214)로서 도시된 CU를 포함한다. CU(1214)는 시그널링된 예측 모드(1216a)에 이어서 변환 트리(1216b)를 포함한다. CU(1214)의 크기가 최대 변환 크기(32×32 또는 64×64)를 초과하지 않을 때, 변환 트리(1216b)는 TU(1218)로서 도시된 하나의 변환 유닛을 포함한다.
예측 모드(1216a)가 CU(1214)에 대한 내적 예측의 이용을 표시하면, 루마 내적 예측 모드 및 크로마 내적 예측 모드가 지정된다. CU(1214)의 루마 CB에 대해, 1차 변환 유형은 또한 (i) 수평 및 수직으로의 DCT-2, (ii) 수평 및 수직으로의 변환 스킵, 또는 (iii) 수평 및 수직으로의 DST-7 및 DCT-8의 조합들로서 시그널링된다. 시그널링된 루마 변환 유형이 수평 및 수직으로의 DCT-2이면(옵션(i)), 도 9a 내지 도 9d를 참조하여 설명된 바와 같은 조건들 하에서, '저주파수 분리 불가능한 변환'(LFNST) 인덱스로도 알려진 추가적인 루마 2차 변환 유형(1220)이 비트스트림에서 시그널링된다. 크로마 2차 변환 유형(1221)이 또한 시그널링된다. 크로마 2차 변환 유형(1221)은 루마 1차 변환 유형이 DCT-2인지 여부에 관계없이 시그널링된다.
공유 코딩 트리의 이용은 루마 TB Y(1222), 제1 크로마 TB Cb(1224), 및 제2 크로마 TB Cr(1226)로서 도시된, 각각의 색 채널에 대한 TB들을 포함하는 TU(1218)를 야기한다. 단일 크로마 TB가 전송되어 Cb 및 Cr 채널들 둘 다에 대한 크로마 잔차를 지정하는 코딩 모드가 이용가능하며, 이는 '공동 CbCr' 코딩 모드로서 알려져 있다. 공동 CbCr 코딩 모드가 인에이블될 때, 단일 크로마 TB가 인코딩된다.
색 채널에 관계없이, 각각의 TB는 최종 위치(1228)를 포함한다. 최종 위치(1228)는 TB의 계수들의 어레이를 순방향으로(즉, DC 계수로부터 앞으로) 직렬화하는데 이용되는, 대각 스캔 패턴 내의 계수들을 고려할 때 TB 내의 최종 유의 잔차 계수 위치를 나타낸다. TB의 최종 위치(1228)가, 2차 변환 도메인 내의 계수들만이 유의인 것, 즉, 1차 변환만을 겪을 모든 나머지 계수들을 나타낸다면, 2차 변환 인덱스는 2차 변환을 적용할지 여부를 지정하도록 시그널링된다.
2차 변환이 적용되어야 하고, 2개 이상의 2차 변환 커널이 이용가능한 경우, 2차 변환 인덱스는 어느 커널이 선택되는지를 나타낸다. 일반적으로, 어느 하나의 커널이 이용가능하거나, 2개의 커널이 '후보 세트'에서 이용가능하다. 후보 세트는 블록의 내적 예측 모드로부터 결정된다. 일반적으로, 4개의 후보 세트가 있지만, 더 적은 후보 세트들이 있을 수 있다. 전술한 바와 같이, 루마 및 크로마에 대한 2차 변환의 이용 및 그에 따라 선택된 커널들은, 각각, 루마 및 크로마 채널들에 대한 내적 예측 모드들에 의존한다. 커널들은 또한 대응하는 루마 및 크로마 TB들의 블록 크기에 의존할 수 있다. 크로마에 대해 선택된 커널은 또한 비트스트림의 크로마 서브샘플링 비율에 의존한다. 하나의 커널만이 이용가능한 경우, 시그널링은 2차 변환을 적용하거나 적용하지 않는 것(인덱스 범위 0 내지 1)으로 제한된다. 2개의 커널이 이용가능한 경우, 인덱스 값들은 0(적용하지 않음), 1(제1 커널을 적용함), 또는 2(제2 커널을 적용함)이다. 크로마의 경우, 도 9a 내지 도 9d를 참조하여 설명된 바와 같이, 동일한 2차 변환 커널이 각각의 크로마 채널에 적용되고 따라서 Cb 블록(1224) 및 Cr 블록(1226)의 잔차들이 2차 변환을 겪는 위치들에서의 유의 계수들만을 포함할 필요가 있다. 결과적인 Cb 및 Cr 잔차들이 공동 코딩된 TB에서의 유의 계수들에 대응하는 위치들에서의 유의 계수들만을 포함하기 때문에, 공동 CbCr 코딩이 이용되는 경우, 2차 변환을 겪는 위치들에서의 유의 계수들만을 포함하기 위한 요건이 단일 코딩된 크로마 TB에만 적용가능하다. 주어진 2차 인덱스의 적용가능한 색 채널(들)이 단일 TB(단일의 최종 위치, 예컨대, 1228)에 의해 설명되는 경우, 즉 공동 CbCr 코딩이 이용 중인 경우, 루마가 항상 하나의 TB만을 필요로 하고 크로마가 하나의 TB를 필요로 한다면, 2차 변환 인덱스는 TU 이후 대신에 최종 위치를 코딩한 직후에, 즉, 1220(또는 1221) 대신에 인덱스(1230)로서 코딩될 수 있다. 비트스트림에서 더 일찍 2차 변환을 시그널링하는 것은 비디오 디코더(134)가 잔차 계수들(1232)의 각각의 잔차 계수가 디코딩될 때 2차 변환의 적용을 시작하게 하여, 시스템(100)에서의 레이턴시를 감소시킨다.
비디오 인코더(114) 및 비디오 디코더(134)의 배열에서, 별개의 2차 변환 인덱스는 공동 CbCr 코딩이 이용되지 않을 때 각각의 크로마 TB, 즉 1224 및 1226에 대해 시그널링되어, 각각의 색 채널에 대한 2차 변환의 독립적인 제어를 야기한다. 각각의 TB가 독립적으로 제어되면, 각각의 TB에 대한 2차 변환 인덱스는 (공동 CbCr 모드의 적용 여부에 관계없이) 루마 및 크로마에 대한 대응하는 TB의 최종 위치 직후에 시그널링될 수 있다.
도 13은 프레임 데이터(113)를 비트스트림(115)으로 인코딩하기 위한 방법(1300)을 도시하고, 비트스트림(115)은 코딩 트리 유닛들의 시퀀스들로서 하나 이상의 슬라이스를 포함한다. 방법(1300)은 구성된 FPGA, ASIC, 또는 ASSP와 같은 장치에 의해 구현될 수 있다. 또한, 방법(1300)은 프로세서(205)의 실행 하에서 비디오 인코더(114)에 의해 수행될 수 있다. 프레임을 인코딩하는 작업 부하로 인해, 방법(1300)의 단계들은, 예를 들어, 현대의 멀티-코어 프로세서들을 이용하여, 작업 부하를 공유하기 위해 상이한 프로세서들에서 수행될 수 있어서, 상이한 슬라이스들이 상이한 프로세서들에 의해 인코딩된다. 또한, 파티셔닝 제약들 및 양자화 그룹 정의들은 비트스트림(115)의 각각의 부분(슬라이스)을 인코딩하는데 있어서 레이트 제어 목적들을 위해 유익하다고 여겨지는 바와 같이 슬라이스마다 달라질 수 있다. 각각의 코딩 유닛의 잔차를 인코딩하는데 있어서의 추가적인 유연성에 있어서, 양자화 그룹 세분 레벨은 슬라이스마다 달라질 수 있을 뿐만 아니라, 2차 변환의 적용은 루마 및 크로마에 대해 독립적으로 제어가능하다. 이와 같이, 방법(1300)은 컴퓨터 판독가능한 저장 매체 상에 그리고/또는 메모리(206)에 저장될 수 있다.
방법(1300)은 SPS/PPS 인코딩 단계(1310)에서 시작한다. 단계(1310)에서, 비디오 인코더(114)는 SPS(1110) 및 PPS(1112)를 고정된 및 가변 길이 인코딩된 파라미터들의 시퀀스로서 비트스트림(115)으로 인코딩한다. partition_constraints_override_enabled_flag는 SPS(1110)의 일부로서 인코딩되어, 파티션 제약들이 (1116 등의) 각각의 슬라이스들의 슬라이스 헤더(1118)에서 오버라이드될 수 있다는 것을 나타낸다. 디폴트 파티션 제약들도 역시 비디오 인코더(114)에 의해 SPS(1110)의 일부로서 인코딩된다.
방법(1300)은 단계(1310)로부터 프레임을 슬라이스들로 분할하는 단계(1320)로 계속된다. 단계(1320)의 실행에서, 프로세서(205)는 프레임 데이터(113)를 하나 이상의 슬라이스 또는 연속 부분으로 분할한다. 병렬성이 요구되는 경우, 비디오 인코더(114)의 별개의 인스턴스들은 각각의 슬라이스를 다소 독립적으로 인코딩한다. 단일 비디오 인코더(114)가 각각의 슬라이스를 순차적으로 처리할 수 있거나, 또는 일부 중간 정도의 병렬성이 구현될 수 있다. 일반적으로, 프레임을 슬라이스들(연속 부분들)로 분할하는 것은 '서브-픽처들' 또는 타일들 등으로 알려진 영역들로의 프레임의 분할들의 경계들에 정렬된다.
방법(1300)은 단계(1320)로부터 슬라이스 헤더 인코딩 단계(1330)로 계속된다. 단계(1330)에서, 엔트로피 인코더(338)는 슬라이스 헤더(1118)를 비트스트림(115)으로 인코딩한다. 단계(1330)의 예시적인 구현은 도 14를 참조하여 이하에서 제공된다.
방법(1300)은 단계(1330)로부터 슬라이스를 CTU들로 분할하는 단계(1340)로 계속된다. 단계(1340)의 실행에서, 비디오 인코더(114)는 슬라이스(1116)를 CTU들의 시퀀스로 분할한다. 슬라이스 경계들은 CTU 경계들에 정렬되고, 슬라이스 내의 CTU들은 CTU 스캔 순서, 일반적으로 래스터 스캔 순서에 따라 정렬된다. 슬라이스의 CTU들로의 분할은 프레임 데이터(113)의 어느 부분이 현재 슬라이스를 인코딩할 때 비디오 인코더(113)에 의해 처리되어야 하는지를 확립한다.
방법(1300)은 단계(1340)로부터 코딩 트리 결정 단계(1350)로 계속된다. 단계(1350)에서, 비디오 인코더(114)는 슬라이스 내의 현재 선택된 CTU에 대한 코딩 트리를 결정한다. 방법(1300)은 단계(1350)의 제1 호출 시에 슬라이스(1116) 내의 제1 CTU로부터 시작하고, 후속 호출들 시에 슬라이스(1116) 내의 후속 CTU들로 진행한다. CTU의 코딩 트리를 결정함에 있어서, 4진 트리, 2진 및 3진 스플릿들의 다양한 조합들이 블록 파티셔너(310)에 의해 생성되고 테스트된다.
방법(1300)은 단계(1350)로부터 코딩 유닛 결정 단계(1360)로 계속된다. 단계(1360)에서, 비디오 인코더(114)는 공지된 방법들을 이용하여 평가 중인 다양한 코딩 트리들로부터 생기는 CU들에 대한 '최적' 인코딩들의 결정을 실행한다. 최적 인코딩들을 결정하는 단계는 예측 모드(예를 들어, 특정 모드를 갖는 내적 예측 또는 움직임 벡터를 갖는 상호간 예측), 변환 선택(1차 변환 유형 및 임의적 2차 변환 유형)을 결정하는 단계를 포함한다. 루마 TB에 대한 1차 변환 유형이 DCT-2인 것으로 결정되거나 순방향 2차 변환을 겪지 않는 임의의 양자화된 1차 변환 계수가 유의인 경우, 루마 TB에 대한 2차 변환 인덱스는 2차 변환의 적용을 표시할 수 있다. 그렇지 않으면, 루마에 대한 2차 변환 인덱스는 2차 변환의 바이패스를 표시한다. 루마 채널에 대해, 1차 변환 유형은 DCT-2, 변환 스킵, 또는 크로마 채널들에 대한 MTS 옵션들 중 하나인 것으로 결정되고, DCT-2는 이용가능한 변환 유형이다. 2차 변환 유형의 결정은 도 19a 및 도 19b를 참조하여 추가로 설명된다. 인코딩을 결정하는 단계는 또한 QP를 변경하는 것이 가능한, 즉 양자화 그룹 경계에 있는 양자화 파라미터를 결정하는 단계를 포함할 수 있다. 개별 코딩 유닛들을 결정할 시에, 최적 코딩 트리가 또한 공동 방식으로 결정된다. 코딩 유닛이 내적 예측을 이용하여 코딩될 때, 루마 내적 예측 모드 및 크로마 내적 예측이 결정된다.
코딩 유닛 결정 단계(1360)는 DCT-2 1차 변환의 적용으로부터 생기는 1차 도메인 잔차에 존재하는 'AC'(변환 블록의 좌측 상단 위치 이외의 위치들에서의 계수들) 잔차 계수들이 없을 때 2차 변환의 테스트 적용을 금지할 수 있다. DC 계수만을 포함하는 변환 블록들(최종 위치는 변환 블록의 좌측 상단 계수만이 유의하다는 것을 나타냄)에 대해 2차 변환 적용이 테스트되는 경우, 코딩 이득이 나타난다. DC 1차 계수만이 존재할 때 2차 변환의 테스트의 금지는 2차 변환 인덱스가 적용되는 블록들, 즉, 단일 인덱스가 코딩될 때 공유 트리에 대한 Y, Cb 및 Cr(Cb 및 Cr 블록들이 2개의 샘플의 폭 또는 높이일 때만 Y 채널을 가짐)에 걸쳐 있다. DC 계수를 갖는 잔차만이 적어도 하나의 AC 계수를 갖는 잔차와 비교하여 코딩 비용이 낮더라도, 유의 DC 계수만을 갖는 잔차에의 2차 변환의 적용은 최종 코딩된 DC 계수의 크기의 추가 감소를 야기한다. 코딩 전의 추가 양자화 및/또는 반올림 동작들 후에도, 다른(AC) 계수들은 2차 변환 후에 불충분한 크기를 가져서 비트스트림에서 유의 코딩된 잔차 계수(들)를 낳는다. 공유 또는 별개의 트리 코딩 트리에서, 적어도 하나의 유의 1차 계수가 존재한다면, 각각의 변환 블록들의 DC 계수(들)만이 2차 변환 인덱스의 적용 범위 내에 있더라도, 비디오 인코더(114)는 (2차 변환의 적용을 위해) 0이 아닌 2차 변환 인덱스 값들의 선택을 테스트한다.
방법(1300)은 단계(1360)로부터 코딩 유닛 인코딩 단계(1370)로 계속된다. 단계(1370)에서, 비디오 인코더(114)는 단계(1360)의 결정된 코딩 유닛을 비트스트림(115)으로 인코딩한다. 코딩 유닛이 어떻게 인코딩되는지의 예가 도 15를 참조하여 더 상세히 설명된다.
방법(1300)은 단계(1370)로부터 최종 코딩 유닛 테스트 단계(1380)로 계속된다. 단계(1380)에서, 프로세서(205)는 현재 코딩 유닛이 CTU 내의 최종 코딩 유닛인지를 테스트한다. 그렇지 않으면(단계(1380)에서 "아니오"), 프로세서(205)에서의 제어는 코딩 유닛 결정 단계(1360)로 진행한다. 그렇지 않고, 현재 코딩 유닛이 최종 코딩 유닛이면(단계(1380)에서 "예"), 프로세서(205)에서의 제어는 최종 CTU 테스트 단계(1390)로 진행한다.
최종 CTU 테스트 단계(1390)에서, 프로세서(205)는 현재 CTU가 슬라이스(1116) 내의 최종 CTU인지를 테스트한다. 슬라이스(1116) 내의 최종 CTU가 아니면, 프로세서(205)에서의 제어는 코딩 트리 결정 단계(1350)로 복귀한다. 그렇지 않고, 현재 CTU가 마지막이면(단계(1390)에서 "예"), 프로세서에서의 제어는 최종 슬라이스 테스트 단계(13100)로 진행한다.
최종 슬라이스 테스트 단계(13100)에서, 프로세서(205)는 인코딩되고 있는 현재 슬라이스가 프레임 내의 최종 슬라이스인지를 테스트한다. 최종 슬라이스가 아니라면(단계(13100)에서 "아니오"), 프로세서(205)에서의 제어는 슬라이스 헤더 인코딩 단계(1330)로 진행한다. 그렇지 않고, 현재 슬라이스가 마지막이고 모든 슬라이스들(연속 부분들)이 인코딩되었다면(단계(13100)에서 "예"), 방법(1300)은 종료한다.
도 14는, 단계(1330)에서 구현된 바와 같이, 슬라이스 헤더(1118)를 비트스트림(115)으로 인코딩하기 위한 방법(1400)을 도시한다. 방법(1400)은, 구성된 FPGA, ASIC, 또는 ASSP 등의 장치에 의해 구현될 수 있다. 추가로, 방법(1400)은 프로세서(205)의 실행 하에서 비디오 인코더(114)에 의해 수행될 수 있다. 이와 같이, 방법(1400)은 컴퓨터 판독가능한 저장 매체 상에 그리고/또는 메모리(206)에 저장될 수 있다.
방법(1400)은 파티션 제약 오버라이드 인에이블 테스트 단계(1410)에서 시작한다. 단계(1410)에서, 프로세서(205)는, SPS(1110)에 인코딩된 파티션 제약 오버라이드 인에이블 플래그가 파티션 제약들이 슬라이스 레벨에서 오버라이드될 수 있음을 표시하는지를 테스트한다. 파티션 제약들이 슬라이스 레벨에서 오버라이드될 수 있는 경우(단계(1410)에서 "예"), 프로세서(205)에서의 제어는 파티션 제약 결정 단계(1420)로 진행한다. 그렇지 않고, 파티션 제약들이 슬라이스 레벨에서 오버라이팅되지 않을 수 있는 경우(단계(1410)에서 "아니오"), 프로세서(205)에서의 제어는 다른 파라미터 인코딩 단계(1480)로 진행한다.
파티션 제약 결정 단계(1420)에서, 프로세서(205)는 현재 슬라이스(1116)에 적합한 파티션 제약들(예를 들어, 최대 MTT 스플릿 깊이)을 결정한다. 일 예에서, 프레임 데이터(310)는 2D 프레임으로 매핑되고 수 개의 서브-픽처들로 분할되는 장면의 360도 뷰의 투영을 포함한다. 선택된 뷰포트에 따라, 특정 슬라이스들은 더 높은 충실도를 요구할 수 있고, 다른 슬라이스들은 더 낮은 충실도를 요구할 수 있다. 주어진 슬라이스에 대한 파티션 제약들은 (예를 들어, 단계(1340)에 따라) 슬라이스에 의해 인코딩되는 프레임 데이터(310)의 부분의 충실도 요건에 기반하여 설정될 수 있다. 더 낮은 충실도가 수용가능한 것으로 간주되는 경우, 더 큰 CU들을 갖는 더 얕은 코딩 트리가 수용가능하고, 따라서 최대 MTT 깊이는 더 낮은 값으로 설정될 수 있다. 플래그 cu_qp_delta_subdiv로 시그널링되는 세분 레벨(1136)은 적어도 결정된 최대 MTT 깊이(1134)로부터 생기는 범위에서 그에 따라 결정된다. 대응하는 크로마 세분 레벨이 또한 결정되고 시그널링된다.
방법(1400)은 단계(1420)로부터 파티션 제약 오버라이드 플래그 인코딩 단계(1430)로 계속된다. 단계(1430)에서, 엔트로피 인코더(338)는 SPS(1110)에서 시그널링된 파티션 제약들이 슬라이스(1116)에 대해 오버라이드되어야 하는지를 나타내는 플래그를 비트스트림(115)으로 인코딩한다. 현재 슬라이스에 특정된 파티션 제약들이 단계(1420)에서 도출된 경우, 플래그 값은 파티션 제약 오버라이드 기능의 이용을 나타낼 것이다. 단계(1420)에서 결정된 제약들이 SPS(1110)에서 이미 인코딩된 것들과 매칭하는 경우, 파티션 제약들을 오버라이드할 필요가 없는데, 그 이유는 시그널링될 변경이 없고, 그 플래그 값들이 그에 따라 인코딩되기 때문이다.
방법(1400)은 단계(1430)로부터 파티션 제약 오버라이드 테스트 단계(1440)로 계속된다. 단계(1440)에서, 프로세서(205)는 단계(1430)에서 인코딩된 플래그 값을 테스트한다. 플래그가 파티션 제약들이 오버라이드되어야 한다는 것을 나타내는 경우(단계(1440)에서 "예"), 프로세서(205)에서의 제어는 슬라이스 파티션 제약 인코딩 단계(1450)로 진행한다. 그렇지 않고, 파티션 제약들이 오버라이드되지 않아야 하는 경우(단계(1440)에서 "아니오"), 프로세서(205)에서의 제어는 다른 파라미터 인코딩 단계(1480)로 진행한다.
방법(1400)은 단계(1440)로부터 슬라이스 파티션 제약 인코딩 단계(1450)로 계속된다. 단계(1450)의 실행에서, 엔트로피 인코더(338)는 슬라이스에 대한 결정된 파티션 제약들을 비트스트림(115)으로 인코딩한다. 슬라이스에 대한 파티션 제약들은 MaxMttDepthY(1134)가 도출되는 'slice_max_mtt_hierarchy_depth_luma'를 포함한다.
방법(1400)은 단계(1450)로부터 QP 세분 레벨 인코딩 단계(1460)로 계속된다. 단계(1460)에서, 엔트로피 인코더(338)는 도 11을 참조하여 설명된 바와 같이 'cu_qp_delta_subdiv' 신택스 요소를 이용하여 루마 CB들에 대한 세분 레벨을 인코딩한다.
방법(1400)은 단계(1460)로부터 크로마 QP 세분 레벨 인코딩 단계(1470)로 계속된다. 단계(1470)에서, 엔트로피 인코더(338)는 도 11을 참조하여 설명된 바와 같이, 'cu_chroma_qp_offset_subdiv' 신택스 요소를 이용하여 CU 크로마 QP 오프셋들의 시그널링을 위한 세분 레벨을 인코딩한다.
단계들(1460 및 1470)은 프레임의 슬라이스(연속 부분)에 대한 전체 QP 세분 레벨을 인코딩하도록 동작한다. 전체 세분 레벨은 슬라이스의 루마 코딩 유닛들에 대한 세분 레벨 및 크로마 코딩 유닛들에 대한 세분 레벨 둘 다를 포함한다. 크로마 및 루마 세분 레벨들은, 예를 들어, I 슬라이스에서 루마 및 크로마에 대한 별개의 코딩 트리들의 이용으로 인해 상이할 수 있다.
방법(1400)은 단계(1470)로부터 다른 파라미터 인코딩 단계(1480)로 계속된다. 단계(1480)에서, 엔트로피 인코더(338)는 디블로킹, 적응성 루프 필터, 이전에 시그널링된 것으로부터의 (변환 블록에 대한 양자화 파라미터의 불균일한 적용을 위한) 스케일링 리스트의 임의적인 선택 등의 특정 툴들의 제어에 필요한 것들과 같은 다른 파라미터들을 슬라이스 헤더(1118)에 인코딩한다. 방법(1400)은 단계(1480)의 실행 시에 종료한다.
도 15는 도 13의 단계(1370)에 대응하는, 코딩 유닛을 비트스트림(115)으로 인코딩하는 방법(1500)을 나타낸 것이다. 방법(1500)은 구성된 FPGA, ASIC, 또는 ASSP와 같은 장치에 의해 구현될 수 있다. 그에 부가하여, 방법(1500)은 프로세서(205)의 실행 하에서 비디오 인코더(114)에 의해 수행될 수 있다. 이와 같이, 방법(1500)은 컴퓨터 판독가능한 저장 매체 상에 그리고/또는 메모리(206)에 저장될 수 있다.
방법(1500)은 예측 모드 인코딩 단계(1510)에서 시작한다. 단계(1510)에서, 엔트로피 인코더(338)는, 단계(1360)에서 결정된 바와 같이, 코딩 유닛에 대한 예측 모드를 비트스트림(115)으로 인코딩한다. 코딩 유닛에 대한 내적 예측, 상호간 예측, 또는 다른 예측 모드들의 이용 사이를 구별하기 위해 'pred_mode' 신택스 요소가 인코딩된다. 코딩 유닛에 대해 내적 예측이 이용되는 경우, 루마 내적 예측 모드가 인코딩되고, 크로마 내적 예측 모드가 인코딩된다. 코딩 유닛에 대해 상호간 예측이 이용되는 경우, 이 코딩 유닛에 의한 이용을 위해 인접한 코딩 유닛으로부터 움직임 벡터를 선택하기 위해 '병합 인덱스'가 인코딩될 수 있고, 공간적으로 이웃하는 블록으로부터 도출된 움직임 벡터에 오프셋을 도입하기 위해 움직임 벡터 델타가 인코딩될 수 있다. 코딩 유닛의 루마 TB에 대한 수평 및 수직으로의 DCT-2의 이용, 수평 및 수직으로의 변환 스킵, 또는 수평 및 수직으로의 DCT-8과 DST-7의 조합들 사이를 선택하기 위해 1차 변환 유형이 인코딩된다.
방법(1500)은 단계(1510)로부터 코딩된 잔차 테스트 단계(1520)로 계속된다. 단계(1520)에서, 프로세서(205)는 잔차가 코딩 유닛에 대해 코딩될 필요가 있는지를 결정한다. 코딩 유닛에 대해 코딩될 임의의 유의 잔차 계수들이 있다면(단계(1520)에서 "예"), 프로세서(205)에서의 제어는 새로운 QG 테스트 단계(1530)로 진행한다. 그렇지 않고 코딩을 위한 유의 잔차 계수들이 없다면(단계(1520)에서 "아니오"), 코딩 유닛을 디코딩하는데 필요한 모든 정보가 비트스트림(115)에 존재하므로, 방법(1500)은 종료된다.
새로운 QG 테스트 단계(1530)에서, 프로세서(205)는 코딩 유닛이 새로운 양자화 그룹에 대응하는지를 결정한다. 코딩 유닛이 새로운 양자화 그룹에 대응하는 경우(단계(1530)에서 "예"), 프로세서(205)에서의 제어는 델타 QP 인코딩 단계(1540)로 진행한다. 그렇지 않고, 코딩 유닛이 새로운 양자화 그룹과 관련되지 않는 경우(단계(1530)에서 "아니오"), 프로세서(205)에서의 제어는 1차 변환 수행 단계(1550)로 진행한다. 각각의 코딩 유닛을 인코딩할 때, CTU의 코딩 트리의 노드들은 단계(1530)에서 순회된다. "cu_qp_delta_subdiv"로부터 결정되는 바와 같이, 현재 노드의 임의의 자식 노드가 현재 슬라이스에 대한 세분 레벨(1136) 이하의 세분 레벨을 가질 때, 새로운 양자화 그룹은 노드에 대응하는 CTU의 영역에서 시작하고, 단계(1530)는 "예"를 반환한다. 코딩된 잔차를 포함하는 양자화 그룹 내의 제1 CU는 또한 코딩된 델타 QP를 포함하여, 이 양자화 그룹 내의 잔차 계수들에 적용가능한 양자화 파라미터에 대한 임의의 변경을 시그널링할 것이다.
델타 QP 인코딩 단계(1540)에서, 엔트로피 인코더(338)는 델타 QP를 비트스트림(115)으로 인코딩한다. 델타 QP는 현재 양자화 그룹에서 이용하기 위해 예측된 QP와 의도된 QP 간의 차이를 인코딩한다. 예측된 QP는 이웃하는 이전(위 및 좌측) 양자화 그룹들의 QP들을 평균화함으로써 도출된다. 세분 레벨이 더 낮을 때, 양자화 그룹들은 더 크고, 델타 QP는 덜 빈번하게 코딩된다. 델타 QP의 덜 빈번한 코딩은 QP의 변경들을 시그널링하기 위한 더 낮은 오버헤드를 초래하지만, 레이트 제어의 더 적은 유연성을 또한 초래한다. 각각의 양자화 그룹에 대한 양자화 파라미터의 선택은, 기본 프레임 데이터(113)의 통계치들의 변경들과 다소 독립적으로, 비트스트림(115)에 대한 특정 비트레이트를 목표로 하는 레이트 제어 알고리즘을 통상적으로 구현하는 QP 제어기 모듈(390)에 의해 수행된다. 방법(1500)은 단계(1540)로부터 1차 변환 수행 단계(1550)로 계속된다.
1차 변환 수행 단계(1550)에서, 순방향 1차 변환 모듈(326)은 코딩 유닛의 1차 변환 유형에 따라 1차 변환을 수행하여, 1차 변환 계수들(328)을 낳는다. 1차 변환은 각각의 색 채널에 대해, 먼저 루마 채널(Y)에 대해 그리고 이어서 현재 TU에 대한 단계(1550)의 후속 호출들 시에 Cb, 및 Cr TB들에 대해 수행된다. 루마 채널에 대해, 1차 변환 유형(DCT-2, 변환 스킵, MTS 옵션들)이 수행되고, 크로마 채널들에 대해, DCT-2가 수행된다.
방법(1500)은 단계(1550)로부터 1차 변환 계수 양자화 단계(1560)로 계속된다. 단계(1560)에서, 양자화기 모듈(334)은 양자화 파라미터(392)에 따라 1차 변환 계수들(328)을 양자화하여 양자화된 1차 변환 계수들(332)을 생성한다. 델타 QP는 존재할 때 변환 계수들(328)을 인코딩하는데 이용된다.
방법(1500)은 단계(1560)로부터 2차 변환 수행 단계(1570)로 계속된다. 단계(1570)에서, 2차 변환 모듈(330)은 양자화된 1차 변환 계수들(332)에 대해 현재 변환 블록에 대한 2차 변환 인덱스(388)에 따라 2차 변환을 수행하여 2차 변환 계수들(336)을 생성한다. 2차 변환이 양자화 후에 수행되지만, 1차 변환 계수들(328)은 양자화 파라미터(392)의 최종 의도된 양자화기 스텝 크기에 비해 더 높은 정밀도를 유지할 수 있고, 예를 들어, 크기들은 양자화 파라미터(392)의 적용으로부터 직접 초래될 것들보다 16X 더 클 수 있고, 즉, 4개의 추가적인 비트의 정밀도가 유지될 것이다. 양자화된 1차 변환 계수들(332)에 추가적인 비트들의 정밀도를 유지하는 것은 2차 변환 모듈(330)이 1차 계수 도메인에서의 계수들에 대해 더 큰 정확도로 동작하게 한다. 2차 변환의 적용 후에, 단계(1560)에서의 최종 스케일링(예를 들어, 4 비트만큼 우측-시프트)은 양자화 파라미터(392)의 의도된 양자화기 스텝 크기에 대한 양자화를 초래한다. '스케일링 리스트'의 적용은 트레이닝된 2차 변환 커널들로부터 초래되는 2차 변환 계수들에 대해 동작하기보다는 잘 알려진 변환 기저 함수들(DCT-2, DCT-8, DST-7)에 대응하는 1차 변환 계수들에 대해 수행된다. 변환 블록에 대한 2차 변환 인덱스(388)가 2차 변환의 적용이 없음을 나타낼 때(인덱스 값이 0과 동일함), 2차 변환은 바이패스된다. 즉, 1차 변환 계수들(332)은 2차 변환 계수들(336)이 되도록 변경되지 않고 2차 변환 모듈(330)을 통해 전파된다. 루마 TB에 적용하기 위한 2차 변환 커널을 선택하기 위해, 루마 내적 예측 모드와 함께, 루마 2차 변환 인덱스가 이용된다. 크로마 TB들에 적용하기 위한 2차 변환 커널을 선택하기 위해, 크로마 내적 예측 모드와 함께, 크로마 2차 변환 인덱스가 이용된다.
방법(1500)은 단계(1570)로부터 최종 위치 인코딩 단계(1580)로 계속된다. 단계(1580)에서, 엔트로피 인코더(338)는 현재 변환 블록에 대한 2차 변환 계수들(336)에서의 최종 유의 계수의 위치를 비트스트림(115)으로 인코딩한다. 단계(1580)의 제1 호출 시에, 루마 TB가 고려되고, 후속 호출들은 Cb 및 그 후 Cr TB들을 고려한다.
2차 변환 인덱스(388)가 최종 위치 직후에 인코딩되는 배열들에서, 방법(1500)은 LFNST 인덱스 인코딩 단계(1590)로 계속된다. 단계(1590)에서, 엔트로피 인코더(338)는, 2차 변환 인덱스가 단계(1580)에서 인코딩된 최종 위치에 기반하여 0인 것으로 추론되지 않았다면, 절단된 단항 코드워드를 이용하여, 2차 변환 인덱스(338)를 'lfnst_index'로서 비트스트림(115)으로 인코딩한다. 각각의 CU는 하나의 루마 TB를 가져서, 단계(1590)가 루마 블록들에 대해 수행되는 것을 허용하고, '공동' 코딩 모드가 크로마에 대해 이용될 때, 단일 크로마 TB가 코딩되고, 따라서 단계(1590)가 크로마에 대해 수행될 수 있다. 각각의 잔차 계수를 디코딩하기 전에 2차 변환 인덱스에 대한 지식은, 계수들이 디코딩됨에 따라, 예를 들어, 곱셈 및 누산 로직을 이용하여, 2차 변환이 계수별로 적용되는 것을 가능하게 한다. 방법(1500)은 단계(1590)로부터 서브-블록 인코딩 단계(15100)로 계속된다.
2차 변환 인덱스(388)가 최종 위치 직후에 인코딩되지 않으면, 방법(1500)은 단계(1580)로부터 서브-블록 인코딩 단계(15100)로 계속된다. 서브-블록 인코딩 단계(15100)에서, 현재 변환 블록(336)의 잔차 계수들은 일련의 서브-블록들로서 비트스트림(115)으로 인코딩된다. 잔차 계수들은 최종 유의 계수 위치를 포함하는 서브-블록으로부터 DC 잔차 계수를 포함하는 서브-블록으로 다시 진행하여 인코딩된다.
방법(1500)은 단계(15100)로부터 최종 TB 테스트 단계(15110)로 계속된다. 이 단계에서, 프로세서(205)는 현재 변환 블록이 색 채널들, 즉 Y, Cb, 및 Cr에 걸쳐 진행 중인 최종 변환 블록인지를 테스트한다. 방금 인코딩된 변환 블록이 Cr TB에 대한 것이면(단계(15110)에서 "예"), 프로세서(205)에서의 제어는 루마 LFNST 인덱스 인코딩 단계(15120)로 진행한다. 그렇지 않고, 현재 TB가 마지막이 아니면(단계(15110)에서 "예"), 프로세서(205)에서의 제어는 1차 변환 수행 단계(1550) 및 다음 TB(Cb 또는 Cr이 선택됨)로 복귀한다.
단계들(1550 내지 15110)은 예측 모드가 내적 예측이고 DCT-2를 이용하는 공유 코딩 트리 구조의 예와 관련하여 설명된다. 1차 변환을 수행하는 것(1550), 1차 변환 계수들을 양자화하는 것(1560) 및 최종 위치를 인코딩하는 것(1590)과 같은 단계들의 동작은 알려진 방법들을 이용하여 공유 코딩 트리 구조 이외의 내적 예측 모드들에 대해 또는 상호간 예측 모드들에 대해 구현될 수 있다. 단계들(1510 내지 1540)은 예측 모드 또는 코딩 트리 구조에 관계없이 구현될 수 있다.
방법(1500)은 단계(15110)로부터 루마 LFNST 인덱스 인코딩 단계(15120)로 계속된다. 단계(15120)에서, 루마 TB에 적용되는 2차 변환 인덱스는, 0인 것으로 추론되지 않으면(2차 변환이 적용되지 않으면), 엔트로피 인코더(338)에 의해 비트스트림(115)으로 인코딩된다. 루마 TB에 대한 최종 유의 위치가 유의 1차-전용 잔차 계수를 나타내는 경우 또는 DCT-2 이외의 1차 변환이 수행되는 경우, 루마 2차 변환 인덱스는 0인 것으로 추론된다. 또한, 루마 TB에 적용되는 2차 변환 인덱스는 내적 예측 및 공유 코딩 트리 구조를 이용하는 코딩 유닛들에 대해서만 비트스트림으로 인코딩된다. 루마 TB에 적용되는 2차 변환 인덱스는 플래그(1220)(또는 공동 CbCr 모드에 대한 플래그(1230))를 이용하여 인코딩된다.
방법(1500)은 단계(15120)로부터 크로마 LFNST 인덱스 인코딩 단계(15130)로 계속된다. 단계(1530)에서, 크로마 TB들에 적용되는 2차 변환 인덱스는, 크로마 2차 변환 인덱스가 0인 것으로 추론되지 않는 경우(2차 변환이 적용되지 않는 경우), 엔트로피 인코더(338)에 의해 비트스트림(115)으로 인코딩된다. 크로마 TB에 대한 최종 유의 위치가 유의 1차-전용 잔차 계수를 나타내는 경우, 크로마 2차 변환 인덱스는 0인 것으로 추론된다. 방법(1500)은 단계(15130)의 실행 시에 종료되고, 프로세서(205)에서의 제어는 방법(1300)으로 복귀한다. 크로마 TB들에 적용되는 2차 변환 인덱스는 내적 예측 및 공유 코딩 트리 구조를 이용하는 코딩 유닛들에 대해서만 비트스트림으로 인코딩된다. 크로마 TB들에 적용되는 2차 변환 인덱스는 플래그(1221)(또는 공동 CbCr 모드에 대한 플래그(1230))를 이용하여 인코딩된다.
도 16은 슬라이스들로 배열된 코딩 유닛들의 시퀀스들로서 비트스트림으로부터 프레임을 디코딩하기 위한 방법(1600)을 도시한다. 방법(1600)은 구성된 FPGA, ASIC, 또는 ASSP와 같은 장치에 의해 구현될 수 있다. 또한, 방법(1600)은 프로세서(205)의 실행 하에서 비디오 디코더(134)에 의해 수행될 수 있다. 이와 같이, 방법(1600)은 컴퓨터 판독가능한 저장 매체 상에 그리고/또는 메모리(206)에 저장될 수 있다.
방법(1600)은, 비트스트림(115)의 각각의 부분(슬라이스)을 인코딩하는데 있어서 레이트 제어 목적들에 유익하다고 간주되는 바와 같이 파티셔닝 제약들 및 양자화 그룹 정의들이 슬라이스마다 달라질 수 있는 방법(1300)을 이용하여 인코딩된 비트스트림을 디코딩한다. 양자화 그룹 세분 레벨은 슬라이스마다 달라질 수 있을 뿐만 아니라, 2차 변환의 적용은 루마 및 크로마에 대해 독립적으로 제어가능하다.
방법(1600)은 SPS/PPS 디코딩 단계(1610)에서 시작한다. 단계(1610)의 실행에서, 비디오 디코더(134)는 비트스트림(133)으로부터 SPS(1110) 및 PPS(1112)를 고정된 및 가변 길이 파라미터들의 시퀀스들로서 디코딩한다. 파티션 제약들이 각각의 슬라이스들(예를 들어, 1116)의 슬라이스 헤더(예를 들어, 1118)에서 오버라이드될 수 있는지를 나타내는 partition_constraints_override_enabled_flag가 SPS(1110)의 일부로서 디코딩된다. 디폴트(즉, SPS(1110)에서 시그널링되고 후속 오버라이드가 없는 경우 슬라이스에서 이용되는 것과 같음) 파티션 제약 파라미터들(1130)이 또한 비디오 디코더(134)에 의해 SPS(1110)의 일부로서 디코딩된다.
방법(1600)은 단계(1610)로부터 슬라이스 경계 결정 단계(1620)로 계속된다. 단계(1620)의 실행에서, 프로세서(205)는 비트스트림(133)에서 현재 액세스 유닛 내의 슬라이스들의 위치를 결정한다. 일반적으로, 슬라이스들은 ('시작 코드들'을 검출함으로써) NAL 유닛 경계들을 결정하고, 각각의 NAL 유닛에 대해, 'NAL 유닛 유형'을 포함하는 NAL 유닛 헤더를 판독함으로써 식별된다. 특정 NAL 유닛 유형들은 'I 슬라이스들', 'P 슬라이스들', 및 'B 슬라이스들'과 같은 슬라이스 유형들을 식별한다. 슬라이스 경계들을 식별하였으면, 애플리케이션(233)은 병렬 디코딩을 위해, 예를 들어, 멀티-프로세서 아키텍처에서, 상이한 프로세서들 상에 방법(1600)의 후속 단계들의 수행을 분배할 수 있다. 더 높은 디코딩 처리량을 위해 멀티-프로세서 시스템 내의 각각의 프로세서에 의해 상이한 슬라이스들이 디코딩될 수 있다.
방법(1600)은 단계(1610)로부터 슬라이스 헤더 디코딩 단계(1630)로 계속된다. 단계(1630)에서, 엔트로피 디코더(420)는 비트스트림(133)으로부터 슬라이스 헤더(1118)를 디코딩한다. 단계(1630)에서 구현되는 바와 같이, 비트스트림(133)으로부터 슬라이스 헤더(1118)를 디코딩하는 예시적인 방법은 도 17을 참조하여 이하에서 설명된다.
방법(1600)은 단계(1630)로부터 슬라이스를 CTU들로 분할하는 단계(1640)로 계속된다. 단계(1640)에서, 비디오 디코더(134)는 슬라이스(1116)를 CTU들의 시퀀스로 분할한다. 슬라이스 경계들은 CTU 경계들에 정렬되고, 슬라이스 내의 CTU들은 CTU 스캔 순서에 따라 정렬된다. CTU 스캔 순서는 일반적으로 래스터 스캔 순서이다. 슬라이스의 CTU들로의 분할은 프레임 데이터(113)의 어느 부분이 현재 슬라이스를 디코딩할 때 비디오 디코더(134)에 의해 처리되어야 하는지를 확립한다.
방법(1600)은 단계(1640)로부터 코딩 트리 디코딩 단계(1650)로 계속된다. 단계(1650)의 실행에서, 비디오 디코더(133)는, 단계(1650)의 제1 호출 시에 슬라이스(1116) 내의 제1 CTU로부터 시작하여, 비트스트림(133)으로부터 슬라이스 내의 현재 CTU에 대한 코딩 트리를 디코딩한다. CTU의 코딩 트리는 도 6에 따라 스플릿 플래그들을 디코딩함으로써 디코딩된다. CTU에 대한 단계(1650)의 후속 반복들에서, 디코딩은 슬라이스(1116) 내의 후속 CTU들에 대해 수행된다. 코딩 트리가 내적 예측 모드 및 공유 코딩 트리 구조를 이용하여 인코딩되었다면, 코딩 유닛은 1차 색 채널(루마 또는 Y) 및 적어도 하나의 2차 색 채널(크로마, Cb 및 Cr 또는 CbCr)을 갖는다. 이 이벤트에서, 코딩 트리의 디코딩은 코딩 트리 유닛의 스플릿 플래그들에 따라 1차 색 채널 및 적어도 하나의 2차 색 채널을 포함하는 코딩 유닛을 디코딩하는 것과 관련된다.
방법(1600)은 단계(1660)로부터 코딩 유닛 디코딩 단계(1670)로 계속된다. 단계(1670)에서, 비디오 디코더(134)는 비트스트림(133)으로부터 코딩 유닛을 디코딩한다. 단계(1670)에서 구현되는 바와 같이, 코딩 유닛을 디코딩하는 예시적인 방법은 도 18을 참조하여 이하에서 설명된다.
방법(1600)은 단계(1610)로부터 최종 코딩 유닛 테스트 단계(1680)로 계속된다. 단계(1680)에서, 프로세서(205)는 현재 코딩 유닛이 CTU 내의 최종 코딩 유닛인지를 테스트한다. 최종 코딩 유닛이 아닌 경우(단계(1680)에서 "아니오"), 프로세서(205)에서의 제어는 코딩 트리 유닛의 다음 코딩 유닛을 디코딩하기 위해 코딩 유닛 디코딩 단계(1670)로 복귀한다. 현재 코딩 유닛이 최종 코딩 유닛인 경우(단계(1680)에서 "예"), 프로세서(205)에서의 제어는 최종 CTU 테스트 단계(1690)로 진행한다.
최종 CTU 테스트 단계(1690)에서, 프로세서(205)는 현재 CTU가 슬라이스(1116) 내의 최종 CTU인지를 테스트한다. 슬라이스 내의 최종 CTU가 아니면(단계(1690)에서 "아니오"), 프로세서(205)에서의 제어는 슬라이스(1116)의 다음 코딩 트리 유닛을 디코딩하기 위해 코딩 트리 디코딩 단계(1650)로 복귀한다. 현재 CTU가 슬라이스(1116)에 대한 최종 CTU이면(단계(1690)에서 "예"), 프로세서(205)에서의 제어는 최종 슬라이스 테스트 단계(16100)로 진행한다.
최종 슬라이스 테스트 단계(16100)에서, 프로세서(205)는 디코딩되고 있는 현재 슬라이스가 프레임 내의 최종 슬라이스인지를 테스트한다. 프레임 내의 최종 슬라이스가 아니면(단계(16100)에서 "아니오"), 프로세서(205)에서의 제어는 슬라이스 헤더 디코딩 단계(1630)로 복귀하고, 단계(1630)는 프레임 내의 다음 슬라이스(예를 들어, 도 11의 "슬라이스 2")에 대한 슬라이스 헤더를 디코딩하도록 동작한다. 현재 슬라이스가 프레임 내의 최종 슬라이스이면(단계(1600)에서 "예"), 방법(1600)은 종료한다.
복수의 코딩 유닛들에 대한 방법(1600)의 동작은 도 1에서의 디바이스(130)와 관련하여 설명된 바와 같이 이미지 프레임을 생성하도록 동작한다.
도 17은, 단계(1630)에서 구현되는 바와 같이, 슬라이스 헤더를 비트스트림으로 디코딩하기 위한 방법(1700)을 도시한다. 방법(1700)은, 구성된 FPGA, ASIC, 또는 ASSP 등의 장치에 의해 구현될 수 있다. 추가로, 방법(1700)은 프로세서(205)의 실행 하에서 비디오 디코더(134)에 의해 수행될 수 있다. 이와 같이, 방법(1700)은 컴퓨터 판독가능한 저장 매체 상에 그리고/또는 메모리(206)에 저장될 수 있다.
방법(1500)과 유사하게, 방법(1700)은 프레임, 예를 들어, 프레임(1101) 내의 현재 슬라이스 또는 연속 부분(1116)에 대해 실행된다. 방법(1700)은 파티션 제약 오버라이드 인에이블 테스트 단계(1710)에서 시작한다. 단계(1710)에서, 프로세서(205)는, SPS(1110)로부터 디코딩된 파티션 제약 오버라이드 인에이블 플래그가 파티션 제약들이 슬라이스 레벨에서 오버라이드될 수 있다는 것을 나타내는지를 테스트한다. 파티션 제약들이 슬라이스 레벨에서 오버라이드될 수 있는 경우(단계(1710)에서 "예"), 프로세서(205)에서의 제어는 파티션 제약 오버라이드 플래그 디코딩 단계(1720)로 진행한다. 그렇지 않고, 파티션 제약 오버라이드 인에이블 플래그가 제약들이 슬라이스 레벨에서 오버라이드되지 않을 수 있다는 것을 나타내는 경우(단계(1710)에서 "아니오"), 프로세서(205)에서의 제어는 다른 파라미터 디코딩 단계(1770)로 진행한다.
파티션 제약 오버라이드 플래그 디코딩 단계(1720)에서, 엔트로피 디코더(420)는 비트스트림(133)으로부터 파티션 제약 오버라이드 플래그를 디코딩한다. 디코딩된 플래그는 SPS(1110)에서 시그널링된 파티션 제약들이 현재 슬라이스(1116)에 대해 오버라이드되어야 하는지를 나타낸다.
방법(1700)은 단계(1720)로부터 파티션 제약 오버라이드 테스트 단계(1730)로 계속된다. 단계(1730)의 실행에서, 프로세서(205)는 단계(1720)에서 디코딩된 플래그 값을 테스트한다. 디코딩된 플래그가 파티션 제약들이 오버라이드되어야 한다는 것을 나타내는 경우(단계(1730)에서 "예"), 프로세서(205)에서의 제어는 슬라이스 파티션 제약 디코딩 단계(1740)로 진행한다. 그렇지 않고, 디코딩된 플래그가 파티션 제약들이 오버라이드되지 않아야 한다는 것을 나타내는 경우(단계(1730)에서 "아니오"), 프로세서(205)에서의 제어는 다른 파라미터 디코딩 단계(1770)로 진행한다.
슬라이스 파티션 제약 디코딩 단계(1740)에서, 엔트로피 디코더(420)는 비트스트림(133)으로부터 슬라이스에 대한 결정된 파티션 제약들을 디코딩한다. 슬라이스에 대한 파티션 제약들은 MaxMttDepthY(1134)가 도출되는 'slice_max_mtt_hierarchy_depth_luma'를 포함한다.
방법(1700)은 단계(1740)로부터 QP 세분 레벨 디코딩 단계(1750)로 계속된다. 단계(1720)에서, 엔트로피 디코더(420)는 도 11을 참조하여 설명된 바와 같이 'cu_qp_delta_subdiv' 신택스 요소를 이용하여 루마 CB들에 대한 세분 레벨을 디코딩한다.
방법(1700)은 단계(1750)로부터 크로마 QP 세분 레벨 디코딩 단계(1760)로 계속된다. 단계(1760)에서, 엔트로피 디코더(420)는 도 11을 참조하여 설명된 바와 같이, 'cu_chroma_qp_offset_subdiv' 신택스 요소를 이용하여 CU 크로마 QP 오프셋들의 시그널링을 위한 세분 레벨을 디코딩한다.
단계들(1750 및 1760)은 비트스트림의 특정 연속 부분(슬라이스)에 대한 세분 레벨을 결정하도록 동작한다. 단계들(1630 및 16100) 사이의 거듭된 반복들은 비트스트림 내의 각각의 연속 부분(슬라이스)에 대한 세분 레벨을 결정하도록 동작한다. 이하에서 설명되는 바와 같이, 각각의 세분 레벨은 대응하는 슬라이스(연속 부분)의 코딩 유닛들에 적용가능하다.
방법(1700)은 단계(1760)로부터 다른 파라미터 디코딩 단계(1770)로 계속된다. 단계(1770)에서, 엔트로피 디코더(420)는, 디블로킹, 적응성 루프 필터, 이전에 시그널링된 것으로부터의 (변환 블록에 대한 양자화 파라미터의 불균일한 적용을 위한) 스케일링 리스트의 임의적인 선택 등의 특정 툴들의 제어에 필요한 파라미터들과 같은 다른 파라미터들을 슬라이스 헤더(1118)로부터 디코딩한다. 방법(1700)은 단계(1770)의 실행 시에 종료한다.
도 18은 비트스트림으로부터 코딩 유닛을 디코딩하기 위한 방법(1800)을 도시한다. 방법(1800)은 구성된 FPGA, ASIC, 또는 ASSP와 같은 장치에 의해 구현될 수 있다. 또한, 방법(1800)은 프로세서(205)의 실행 하에서 비디오 디코더(134)에 의해 수행될 수 있다. 이와 같이, 방법(1800)은 컴퓨터 판독가능한 저장 매체 상에 그리고/또는 메모리(206)에 저장될 수 있다.
방법(1800)은 현재 CTU(예를 들어, 슬라이스(1116)의 CTU0)의 현재 코딩 유닛에 대해 구현된다. 방법(1800)은 예측 모드 디코딩 단계(1810)에서 시작한다. 단계(1800)에서, 엔트로피 디코더(420)는 비트스트림(133)으로부터, 도 13의 단계(1360)에서 결정된 바와 같은, 코딩 유닛의 예측 모드를 디코딩한다. 'pred_mode' 신택스 요소는 코딩 유닛에 대한 내적 예측, 상호간 예측, 또는 다른 예측 모드들의 이용 사이를 구별하기 위해 단계(1810)에서 디코딩된다.
내적 예측이 코딩 유닛에 대해 이용되는 경우, 루마 내적 예측 모드 및 크로마 내적 예측 모드가 또한 단계(1810)에서 디코딩된다. 상호간 예측이 코딩 유닛에 대해 이용되는 경우, '병합 인덱스'가 또한 단계(1810)에서 디코딩되어 이 코딩 유닛에 의한 이용을 위해 인접한 코딩 유닛으로부터 움직임 벡터를 결정할 수 있고, 움직임 벡터 델타가 디코딩되어 공간적으로 이웃하는 블록으로부터 도출된 움직임 벡터에 오프셋을 도입할 수 있다. 1차 변환 유형이 또한 단계(1810)에서 디코딩되어 코딩 유닛의 루마 TB에 대한 수평 및 수직으로의 DCT-2의 이용, 수평 및 수직으로의 변환 스킵, 또는 수평 및 수직으로의 DCT-8과 DST-7의 조합들 사이를 선택한다.
방법(1800)은 단계(1810)로부터 코딩된 잔차 테스트 단계(1820)로 계속된다. 단계(1820)의 실행에서, 프로세서(205)는 코딩 유닛에 대한 '루트 코딩된 블록 플래그'를 디코딩하기 위해 엔트로피 디코더(420)를 이용하여 코딩 유닛에 대해 잔차가 디코딩될 필요가 있는지를 결정한다. 코딩 유닛에 대해 디코딩될 임의의 유의 잔차 계수들이 있는 경우(단계(1820)에서 "예"), 프로세서(205)에서의 제어는 새로운 QG 테스트 단계(1830)로 진행한다. 그렇지 않고, 디코딩될 잔차 계수들이 없는 경우(단계(1820)에서 "아니오"), 방법(1800)은, 코딩 유닛을 디코딩하는데 필요한 모든 정보가 비트스트림(115)에서 획득되었기 때문에, 종료된다. 방법(1800)의 종료 시에, 도 4를 참조하여 설명된 바와 같이, PB 생성, 인-루프 필터링의 적용과 같은 후속 단계들이 수행되어, 디코딩된 샘플들을 생성한다.
새로운 QG 테스트 단계(1830)에서, 프로세서(205)는 코딩 유닛이 새로운 양자화 그룹에 대응하는지를 결정한다. 코딩 유닛이 새로운 양자화 그룹에 대응하는 경우(단계(1830)에서 "예"), 프로세서(205)에서의 제어는 델타 QP 디코딩 단계(1840)로 진행한다. 그렇지 않고, 코딩 유닛이 새로운 양자화 그룹에 대응하지 않는 경우(단계(1830)에서 "아니오"), 프로세서(205)에서의 제어는 최종 위치 디코딩 단계(1850)로 진행한다. 새로운 양자화 그룹은 현재 모드 또는 코딩 유닛의 세분 레벨과 관련된다. 각각의 코딩 유닛을 디코딩할 때, CTU의 코딩 트리의 노드들은 순회된다. 현재 노드의 임의의 자식 노드가 현재 슬라이스에 대한 세분 레벨(1136) 이하의 세분 레벨을 가질 때, 즉, "cu_qp_delta_subdiv"로부터 결정될 때, 새로운 양자화 그룹은 노드에 대응하는 CTU의 영역에서 시작한다. 코딩된 잔차 계수를 포함하는 양자화 그룹 내의 제1 CU는 또한 코딩된 델타 QP를 포함하여, 이 양자화 그룹 내의 잔차 계수들에 적용가능한 양자화 파라미터에 대한 임의의 변경을 시그널링할 것이다. 사실상, 단일의(최대 하나의) 양자화 파라미터 델타가 각각의 영역(양자화 그룹)에 대해 디코딩된다. 도 8a 내지 도 8c와 관련하여 설명된 바와 같이, 각각의 영역(양자화 그룹)은 각각의 슬라이스의 코딩 트리 유닛들의 분해 및 대응하는 세분 레벨(예를 들어, 단계들(1460 및 1470)에서 인코딩됨)에 기반한다. 즉, 각각의 영역 또는 양자화 그룹은 코딩 유닛들과 연관된 세분 레벨과 대응하는 연속 부분에 대한 결정된 세분 레벨의 비교에 기반한다.
델타 QP 디코딩 단계(1840)에서, 엔트로피 디코더(420)는 비트스트림(133)으로부터 델타 QP를 디코딩한다. 델타 QP는 예측된 QP와 현재 양자화 그룹에서 이용하기 위한 의도된 QP 간의 차이를 인코딩한다. 예측된 QP는 이웃하는(위 및 좌측) 양자화 그룹들의 QP들을 평균함으로써 도출된다.
방법(1800)은 단계(1840)로부터 최종 위치 디코딩 단계(1850)로 계속된다. 단계(1850)의 실행에서, 엔트로피 디코더(420)는 비트스트림(133)으로부터 현재 변환 블록에 대한 2차 변환 계수들(424)에서의 최종 유의 계수의 위치를 디코딩한다. 단계(1850)의 제1 호출 시에, 이 단계는 루마 TB에 대해 실행된다. 현재 CU에 대한 단계(1850)의 후속 호출들에서, 이 단계는 Cb TB에 대해 실행된다. 최종 위치가 루마 블록 또는 크로마 블록에 대한 2차 변환 계수 세트 외부의(즉, 928 또는 966 외부의) 유의 계수를 표시하면, 루마 또는 크로마 채널에 대한 2차 변환 인덱스는 각각 0인 것으로 추론된다. 이 단계는 Cb에 대한 것 이후의 반복에서 Cr TB에 대해 구현된다.
도 15의 단계(1590)와 관련하여 설명된 바와 같이, 일부 배열들에서, 2차 변환 인덱스는 코딩 유닛의 최종 유의 계수 위치 직후에 인코딩된다. 동일한 코딩 유닛을 디코딩할 때, 2차 변환 인덱스(470)는 2차 변환 인덱스(470)가 단계(1840)에서 디코딩된 TB에 대한 최종 위치의 위치에 기반하여 0인 것으로 추론되지 않았던 경우 코딩 유닛의 최종 유의 잔차 계수의 위치를 디코딩한 직후에 디코딩된다. 2차 변환 인덱스(470)가 코딩 유닛의 최종 유의 계수 위치 직후에 디코딩되는 배열들에서, 방법(1800)은 단계(1850)로부터 LFNST 인덱스 디코딩 단계(1860)로 계속된다. 단계(1860)의 실행에서, 엔트로피 디코더(420)는 모든 유의 계수들이 (예를 들어, 928 또는 966 내에서) 2차 역변환될 때 절단된 단항 코드워드를 이용하여, 비트스트림(133)으로부터 'lfnst_index'로서 2차 변환 인덱스(470)를 디코딩한다. 2차 변환 인덱스(470)는 단일 변환 블록을 이용하는 크로마 TB들의 공동 코딩이 수행될 때 루마 TB에 대해 또는 크로마에 대해 디코딩될 수 있다. 방법(1800)은 단계(1860)로부터 서브-블록 디코딩 단계(1870)로 계속된다.
2차 변환 인덱스(470)가 코딩 유닛의 최종 유의 위치 직후에 디코딩되지 않는 경우, 방법(1800)은 단계(1850)로부터 서브-블록 디코딩 단계(1870)로 계속된다. 단계(1870)에서, 현재 변환 블록의 잔차 계수들(즉, 424)은 비트스트림(133)으로부터 일련의 서브-블록들로서 디코딩되어, 최종 유의 계수 위치를 포함하는 서브-블록으로부터 DC 잔차 계수를 포함하는 서브-블록으로 다시 진행한다.
방법(1800)은 단계(1870)로부터 최종 TB 테스트 단계(1880)로 계속된다. 단계(1880)의 실행에서, 프로세서(205)는 현재 변환 블록이 색 채널들, 즉, Y, Cb, 및 Cr에 걸친 진행에서의 최종 변환 블록인지를 테스트한다. 방금 디코딩된(현재) 변환 블록이 Cr TB에 대한 것이고, 프로세서(205)에서의 제어가 모든 TB들이 디코딩되었다는 것이면(단계(1880)에서 "예"), 방법(1800)은 루마 LFNST 인덱스 디코딩 단계(1890)로 진행한다. 그렇지 않고, TB들이 디코딩되지 않았다면(단계(1880)에서 "아니오"), 프로세서(205)에서의 제어는 최종 위치 디코딩 단계(1850)로 복귀한다. 단계(1850)의 반복에서 디코딩을 위해 다음 TB(Y, Cb, Cr의 순서에 따름)가 선택된다.
방법(1800)은 단계(1880)로부터 루마 LFNST 인덱스 디코딩 단계(1890)로 계속된다. 단계(1890)의 실행에서, 루마 TB의 최종 위치가 2차 역변환을 겪는 계수들의 세트(예를 들어, 928 또는 966) 내에 있고 루마 TB가 DCT-2를 1차 변환으로서 수평 및 수직으로 이용하고 있는 경우, 루마 TB에 적용될 2차 변환 인덱스(470)는 엔트로피 디코더(420)에 의해 비트스트림(133)으로부터 디코딩된다. 루마 TB의 최종 유의 위치가 2차 역변환을 겪는 계수들의 세트 외부의(예를 들어, 928 또는 966 외부의) 유의 1차 계수의 존재를 나타내는 경우, 루마 2차 변환 인덱스는 0(2차 변환이 적용되지 않음)인 것으로 추론된다. 단계(1890)에서 디코딩된 2차 변환 인덱스는 도 12에서 1220(또는 공동 CbCr 모드에서 1230)으로서 표시된다.
방법(1800)은 단계(1890)로부터 크로마 LFNST 인덱스 디코딩 단계(1895)로 계속된다. 단계(1895)에서, 각각의 크로마 TB에 대한 최종 위치들이 2차 역변환을 겪는 계수들의 세트(예를 들어, 928 또는 966) 내에 있는 경우, 크로마 TB들에 적용될 2차 변환 인덱스(470)가 엔트로피 디코더(420)에 의해 비트스트림(133)으로부터 디코딩된다. 어느 하나의 크로마 TB의 최종 유의 위치가 2차 역변환을 겪는 계수들의 세트 외부의(예를 들어, 928 또는 966 외부의) 유의 1차 계수의 존재를 나타내는 경우, 크로마 2차 변환 인덱스는 0(2차 변환이 적용되지 않음)인 것으로 추론된다. 단계(1895)에서 디코딩된 2차 변환 인덱스는 도 12에서 1221(또는 공동 CbCr 모드에서 1230)로서 표시된다. 루마 및 크로마에 대한 별개의 인덱스를 디코딩할 때, 각각의 절단된 단항 코드워드에 대한 별개의 산술 컨텍스트들이 이용될 수 있거나, 컨텍스트들은 루마 및 크로마 절단된 단항 코드워드들 각각의 n번째 빈이 동일한 컨텍스트를 공유하도록 공유될 수 있다.
사실상, 단계들(1890 및 1895)은 각각 루마(1차 색) 채널에 대한 커널을 선택하기 위한 제1 인덱스(예컨대, 1220) 및 적어도 하나의 크로마(2차 색 채널)에 대한 커널을 선택하기 위한 제2 인덱스(예컨대, 1221)를 디코딩하는 것에 관련된다.
방법(1800)은 단계(1895)로부터 역 2차 변환 수행 단계(18100)로 계속된다. 이 단계에서, 역 2차 변환 모듈(436)은 디코딩된 잔차 변환 계수들(424)에 대해 현재 변환 블록에 대한 2차 변환 인덱스(470)에 따라 역 2차 변환을 수행하여 2차 변환 계수들(432)을 생성한다. 단계(1890)에서 디코딩된 2차 변환 인덱스는 루마 TB에 적용되고, 단계(1895)에서 디코딩된 2차 변환 인덱스는 크로마 TB들에 적용된다. 루마 및 크로마에 대한 커널 선택은 또한 루마 내적 예측 모드 및 크로마 내적 예측 모드에 각각 의존한다(이들 각각은 단계(1810)에서 디코딩되었다). 단계(18100)는 루마에 대한 LFNST 인덱스에 따른 커널 및 크로마에 대한 LFNST 인덱스에 따른 커널을 선택한다.
방법(1800)은 단계(18100)로부터 1차 변환 계수 역양자화 단계(18110)로 계속된다. 단계(18110)에서, 역양자화기 모듈(428)은 양자화 파라미터(474)에 따라 2차 변환 계수들(432)을 역양자화하여 역양자화된 1차 변환 계수들(440)을 생성한다. 단계(1840)에서 델타 QP가 디코딩되었다면, 엔트로피 디코더(420)는 양자화 그룹(영역)에 대한 델타 QP에 따른 양자화 파라미터 및 이미지 프레임의 더 이른 코딩 유닛들의 양자화 파라미터를 결정한다. 전술한 바와 같이, 더 이른 코딩 유닛들은 통상적으로 이웃하는 좌측 위 코딩 유닛들과 관련된다.
방법(1800)은 단계(1870)로부터 1차 변환 수행 단계(18120)로 계속된다. 단계(1820)에서, 역 1차 변환 모듈(444)은 코딩 유닛의 1차 변환 유형에 따라 역 1차 변환을 수행하여, 변환 계수들(440)이 공간적 도메인의 잔차 샘플들(448)로 변환되게 한다. 역 1차 변환은 각각의 색 채널에 대해, 먼저 루마 채널(Y)에 대해 그리고 이어서 현재 TU에 대한 단계(1650)의 후속 호출들 시에 Cb, 및 Cr TB들에 대해 수행된다. 단계들(18100 내지 18120)은 단계(1890)에서 루마에 대한 LFNST 인덱스에 따라 선택된 커널을 루마 채널의 디코딩된 잔차 계수들에 적용하고 단계(1890)에서 크로마에 대한 LFNST 인덱스에 따라 선택된 커널을 적어도 하나의 크로마 채널에 대한 디코딩된 잔차 계수들에 적용함으로써 현재 코딩 유닛을 디코딩하도록 효과적으로 동작한다.
방법(1800)은 단계(18120)의 실행 시에 종료되고, 프로세서(205)에서의 제어는 방법(1600)으로 복귀한다.
단계들(1850 내지 18120)은 예측 모드가 내적 예측이고, 그 변환이 DCT-2인 공유 코딩 트리 구조의 예와 관련하여 설명된다. 예를 들어, 루마 TB에 적용되는 2차 변환 인덱스는 내적 예측 및 공유 코딩 트리 구조를 이용하는 코딩 유닛들에 대해서만 비트스트림으로부터 디코딩된다(1890). 유사하게, 크로마 TB들에 적용되는 2차 변환 인덱스는 내적 예측 및 공유 코딩 트리 구조를 이용하는 코딩 유닛들에 대해서만 비트스트림으로부터 디코딩된다(1895). 서브-블록들을 디코딩하는 것(1870), 1차 변환 계수들을 역양자화하는 것(18110) 및 1차 변환을 수행하는 것과 같은 단계들의 동작은 알려진 방법들을 이용하여 공유 코딩 트리 구조 이외의 내적 예측 모드들에 대해 또는 상호간 예측 모드들에 대해 구현될 수 있다. 단계들(1810 내지 1840)은 예측 모드 또는 구조에 관계없이 설명된 방식으로 수행된다.
방법(1800)이 종료되면, 모듈(476)에 의해 내적 예측된 샘플들(480)을 생성하는 단계, 모듈(450)에 의해 디코딩된 잔차 샘플들(448)을 예측 블록(452)과 합산하는 단계, 및 인-루프 필터 모듈(488)을 적용하여 프레임 데이터(135)로서 출력된 필터링된 샘플들(492)을 생성하는 단계를 포함하는, 코딩 유닛을 디코딩하기 위한 후속 단계들이 수행된다.
도 19a 및 도 19b는 루마 및 크로마 채널들에 대한 2차 변환의 적용 또는 바이패스를 위한 규칙들을 도시한다. 도 19a는 공유 코딩 트리로부터 생기는 CU 내의 루마 및 크로마 채널들에서의 2차 변환의 적용을 위한 조건들을 예시하는 테이블(1900)을 도시한다.
루마 TB의 최종 유의 계수 위치가 순방향 2차 변환으로부터 생기지 않았고 따라서 역 2차 변환을 겪지 않는 디코딩된 유의 계수를 나타내는 경우, 조건(1901)이 존재한다. 루마 TB의 최종 유의 계수 위치가 순방향 2차 변환으로부터 생겼고 따라서 역 2차 변환을 겪는 디코딩된 유의 계수를 나타내는 경우, 조건(1902)이 존재한다. 추가로, 루마 채널에 대해, 조건(1902)이 존재하기 위해서는 1차 변환 유형이 DCT-2일 필요가 있고, 그렇지 않으면 조건(1901)이 존재한다.
1개 또는 2개의 크로마 TB의 최종 유의 계수 위치가 순방향 2차 변환으로부터 생기지 않았고 따라서 역 2차 변환을 겪지 않는 디코딩된 유의 계수를 나타내는 경우, 조건(1910)이 존재한다. 1개 또는 2개의 크로마 TB의 최종 유의 계수 위치가 순방향 2차 변환으로부터 생겼고 따라서 역 2차 변환을 겪는 디코딩된 유의 계수를 나타내는 경우, 조건(1911)이 존재한다. 또한, 조건(1911)이 존재하기 위해서는, 크로마 블록의 폭 및 높이가 적어도 4개의 샘플일 필요가 있다(예를 들어, 4:2:0 또는 4:2:2 크로마 포맷이 이용될 때의 크로마 서브샘플링은 2개의 샘플의 폭들 또는 높이들을 야기할 수 있다).
조건들(1901 및 1910)이 존재하면, 2차 변환 인덱스는 (독립적으로 또는 공동으로) 시그널링되지 않고 루마 또는 크로마에서 적용되지 않는다(즉, 1920). 조건들(1901 및 1911)이 존재하면, 하나의 2차 변환 인덱스가 선택된 커널의 적용 또는 루마 채널에 대해서만의 바이패스를 표시하기 위해 시그널링된다(즉, 1921). 조건들(1902 및 1910)이 존재하면, 하나의 2차 변환 인덱스가 선택된 커널의 적용 또는 크로마 채널들에 대해서만의 바이패스를 표시하기 위해 시그널링된다(즉, 1922). 조건들(1911 및 1902)이 존재하면, 독립적인 시그널링을 갖는 배열들은 2개의 2차 변환 인덱스, 즉 루마 TB에 대한 것과 크로마 TB들에 대한 것을 시그널링한다(즉, 1923). 선택된 커널이 다를 수 있는 루마 및 크로마 내적 예측 모드에 또한 의존할지라도, 단일 시그널링된 2차 변환 인덱스를 갖는 배열들은 조건들(1902 및 1911)이 존재할 때 루마 및 크로마에 대한 선택을 제어하기 위해 하나의 인덱스를 이용한다. 루마 또는 크로마에 2차 변환을 적용하는 능력(즉, 1921 및 1922)은 코딩 효율 이득을 낳는다.
도 19b는 단계(1360)에서 비디오 인코더(114)에 이용가능한 검색 옵션들의 테이블(1950)을 도시한다. 루마(1952) 및 크로마(1953)에 대한 2차 변환 인덱스들은 각각 1952 및 1953으로서 도시된다. 인덱스 값 0은 2차 변환이 바이패스되는 것을 나타내고, 인덱스 값들 1 및 2는 루마 또는 크로마 내적 예측 모드로부터 도출된 후보 세트에 대한 2개의 커널 중 어느 것이 이용되는지를 나타낸다. 9개의 조합의 결과적인 검색 공간이 존재하며("0,0" 내지 "2,2"), 이는 도 19a를 참조하여 설명된 제약들에 종속하여 제약될 수 있다. 모든 허용가능한 조합들을 검색하는 것에 비해, 3개의 조합의 단순화된 검색(1951)은 루마 및 크로마 2차 변환 인덱스들이 동일하고, 최종 유의 계수 위치가 1차-전용 계수가 존재하는 것을 나타내는 채널에 대한 인덱스를 0으로 하는 조합들만을 테스트할 수 있다. 예를 들어, 조건(1921)이 존재할 때, 옵션들 "1,1" 및 "2,2"는 각각 "0,1" 및 "0,2"가 된다(즉, 1954). 조건(1922)이 존재할 때, 옵션들 "1,1" 및 "2,2"는 각각 "1,0" 및 "2,0"이 된다(즉, 1955). 조건(1920)이 존재할 때, 2차 변환 인덱스를 시그널링할 필요가 없고, 옵션 "0,0"이 이용된다. 사실상, 조건들(1921 및 1922)은 공유 트리 CU에서 옵션들 "0,1", "0,2", "1,0", 및 "2,0"을 허용하여, 더 높은 압축 효율을 낳는다. 이러한 옵션들이 금지되었다면, 조건들(1901 또는 1910) 중 어느 하나가 조건(1920)으로 이어질 것이고, 즉, 옵션들 "1,1" 및 "2,2"가 금지되어, "0,0"의 이용으로 이어진다(1956 참조).
슬라이스 헤더 내의 양자화 그룹 세분 레벨의 시그널링은 픽처 레벨 아래의 더 높은 세분성의 제어를 제공한다. 더 높은 세분성의 제어는 인코딩 충실도 요건들이 이미지의 한 부분에서 다른 부분까지 변하고, 특히 복수의 인코더가 실시간 처리 용량을 제공하기 위해 다소 독립적으로 동작할 필요가 있을 수 있는 애플리케이션들에 유리하다. 슬라이스 헤더 내의 양자화 그룹 세분 레벨의 시그널링은 또한 슬라이스 헤더 내의 시그널링 파티션 오버라이드 설정들 및 스케일링 리스트 애플리케이션 설정과 일치한다.
비디오 인코더(114) 및 비디오 디코더(134)의 하나의 배열에서, 크로마 내적 예측된 블록들에 대한 2차 변환 인덱스는 항상 0으로 설정되고, 즉, 2차 변환은 크로마 내적 예측된 블록들에 적용되지 않는다. 이 경우, 크로마 2차 변환 인덱스를 시그널링할 필요가 없고, 따라서 단계들(15130 및 1895)은 생략될 수 있고, 단계들(1360, 1570 및 18100)은 이에 따라 단순화된다.
공유 트리 내의 코딩 트리에서의 노드가 64개의 루마 샘플의 영역을 갖는 경우, 2진 또는 4진 트리 스플릿으로 추가로 스플리팅하는 것은 4×4 블록들과 같은 더 작은 루마 CB들을 생성하지만, 더 작은 크로마 CB를 생성하지는 않을 것이다. 대신에, 4×4 크로마 CB와 같은 64개의 루마 샘플의 영역에 대응하는 크기의 단일 크로마 CB가 존재한다. 유사하게, 128개의 루마 샘플의 영역을 갖고 3진 스플릿을 겪는 코딩 트리 노드들은 더 작은 루마 CB들 및 하나의 크로마 CB의 컬렉션을 생성한다. 각각의 루마 CB는 대응하는 루마 2차 변환 인덱스를 갖고, 크로마 CB는 크로마 2차 변환 인덱스를 갖는다.
코딩 트리 내의 노드가 64의 영역을 갖고, 추가의 스플릿이 시그널링되거나, 128개의 루마 샘플의 영역을 갖고 3진 스플릿이 시그널링될 때, 이 스플릿은 루마 채널에서만 적용되고, 결과적인 CB들(각각의 크로마 채널에 대한 수 개의 루마 CB들 및 하나의 크로마 CB)은 모두 내적 예측되거나, 모두 상호간 예측된다. CU가 4개의 루마 샘플의 폭 또는 높이를 갖고, 색 채널(Y, CB, 및 Cr) 각각에 대해 하나의 CB를 포함할 때, CU의 크로마 CB들은 2개의 샘플의 폭 또는 높이를 갖는다. 2개의 샘플의 폭 또는 높이를 갖는 CB들은 16-포인트 또는 48-포인트 LFNST 커널들과 함께 동작하지 않고, 따라서 2차 변환을 요구하지 않는다. 2개의 샘플의 폭 또는 높이를 갖는 블록들에 대해, 단계들(15130, 1895, 1360, 1570, 및 18100)은 수행될 필요가 없다.
비디오 인코더(114) 및 비디오 디코더(134)의 다른 배열에서, 루마 및 크로마 중 어느 하나 또는 둘 다가 1차 변환만을 겪는 각각의 TB들의 영역에서 비-유의 잔차 계수들만을 포함할 때 단일 2차 변환 인덱스가 시그널링된다. 루마 TB가 디코딩된 잔차의 비-2차 변환 영역에서 유의 잔차 계수들(예를 들어, 1066, 968)을 포함하거나 1차 변환으로서 DCT-2를 이용하지 않는 것으로 표시되면, 표시된 2차 변환 커널(또는 2차 변환 바이패스)이 크로마 TB들에만 적용된다. 크로마 TB가 디코딩된 잔차의 비-2차 변환 영역에서 유의 잔차 계수들을 포함하면, 표시된 2차 변환 커널(또는 2차 변환 바이패스)이 루마 TB에만 적용된다. 크로마 TB들에 대해 가능하지 않을 때에도 루마 TB들에 대해 2차 변환의 적용이 가능해지고, 그 반대도 가능하며, CU의 임의의 TB가 2차 변환을 겪을 수 있기 전에 모든 TB들의 최종 위치들이 2차 계수 도메인 내에 있는 것을 요구하는 것과 비교하여 코딩 효율 이득을 제공한다. 또한, 공유 코딩 트리 내의 CU에 대해 하나의 2차 변환 인덱스만이 필요하다. 루마 1차 변환이 DCT-2일 때, 크로마에 대해서는 물론 루마에 대해서는 2차 변환이 디스에이블된 것으로 추론될 수 있다.
비디오 인코더(114) 및 비디오 디코더(134)의 다른 배열에서, 2차 변환은 CU의 임의의 크로마 TB들이 아니라 CU의 루마 TB에만 (각각 모듈들(330 및 436)에 의해) 적용된다. 크로마 채널들에 대한 2차 변환 로직의 부재는 더 적은 복잡성, 예를 들어 더 낮은 실행 시간 또는 감소된 실리콘 면적을 야기한다. 크로마 채널들에 대한 2차 변환 로직의 부재는 하나의 2차 변환 인덱스를 시그널링할 필요만을 야기하며, 이는 루마 TB의 최종 위치 이후에 시그널링될 수 있다. 즉, 단계들(1590 및 1860)은 단계들(15120 및 1890) 대신에 루마 TB들에 대해 수행된다. 이 경우에 단계들(15130 및 1895)은 생략된다.
비디오 인코더(114) 및 비디오 디코더(134)의 다른 배열에서, 양자화 그룹 크기(즉, cu_chroma_qp_offset_subdiv 및 cu_qp_delta_subdiv)를 정의하는 신택스 요소들이 PPS(1112)에서 시그널링된다. 슬라이스 헤더(1118)에서 파티션 제약들이 오버라이드되더라도, 세분 레벨에 대한 값들의 범위는 SPS(1110)에서 시그널링되는 파티션 제약들에 따라 정의된다. 예를 들어, cu_qp_delta_subdiv 및 cu_chroma_qp_offset_subdiv의 범위는 0 내지 2*(log2_ctu_size_minus5 + 5 - (MinQtLog2SizeInterY 또는 MinQtLog2SizeIntraY) + MaxMttDepthY_SPS로서 정의된다. 값 MaxMttDepthY는 SPS(1110)로부터 도출된다. 즉, MaxMttDepthY는 현재 슬라이스가 I 슬라이스일 때 sps_max_mtt_hierarchy_depth_intra_slice_luma와 동일하게 설정되고, 현재 슬라이스가 P 또는 B 슬라이스일 때 sps_max_mtt_hierarchy_depth_inter_slice와 동일하게 설정된다. SPS(1110)에서 시그널링되는 깊이보다 얕게 오버라이드되는 파티션 제약들을 갖는 슬라이스에 대해, PPS(1112)로부터 결정된 양자화 그룹 세분 레벨이 슬라이스 헤더로부터 결정된 더 얕은 코딩 트리 깊이 아래의 가장 높은 달성가능한 세분 레벨보다 높다면(깊다면), 슬라이스에 대한 양자화 그룹 세분 레벨은 슬라이스에 대한 가장 높은 달성가능한 세분 레벨과 동일하게 클리핑된다. 예를 들어, 특정 슬라이스에 대해, cu_qp_delta_subdiv 및 cu_chroma_qp_offset_subdiv는 0 내지 2*(log2_ctu_size_minus5 + 5 - (MinQtLog2SizeInterY 또는 MinQtLog2SizeIntraY) + MaxMttDepthY_slice_header) 내에 있도록 클리핑되고, 클리핑된 값들은 슬라이스에 대해 이용된다. 값 MaxMttDepthY_slice_header는 슬라이스 헤더(1118)로부터 도출되고, 즉, MaxMttDepthY_slice_header는 slice_max_mtt_hierarchy_depth_luma와 동일하게 설정된다.
비디오 인코더(114) 및 비디오 디코더(134)의 또 다른 배열에서, 루마 및 크로마 세분 레벨을 도출하기 위해 PPS(1112)로부터 디코딩된 cu_chroma_qp_offset_subdiv 및 cu_qp_delta_subdiv로부터 세분 레벨이 결정된다. 슬라이스 헤더(1118)로부터 디코딩된 파티션 제약들이 슬라이스에 대한 상이한 세분 레벨 범위를 낳을 때, 슬라이스에 적용되는 세분 레벨은 SPS(1110)로부터 디코딩된 파티션 제약들에 따라 가장 깊은 허용된 세분 레벨에 대해 동일한 오프셋을 유지하도록 조정된다. 예를 들어, SPS(1110)가 4의 최대 세분 레벨을 나타내고 PPS(1112)가 3의 세분 레벨을 나타내고 슬라이스 헤더(1118)가 그 최대치를 3으로 감소시키는 경우, 슬라이스 내에 적용되는 세분 레벨은 2(최대 허용된 세분 레벨에 대해 1의 오프셋을 유지함)로서 설정된다. 특정 슬라이스들에 대한 파티션 제약들의 변경들에 대응하도록 양자화 그룹 영역을 조정하는 것은 슬라이스-레벨 파티셔닝 제약 변경들에 적응적인 세분성을 제공하면서 덜 빈번하게(즉, PPS 레벨에서) 세분 레벨을 시그널링하는 것을 가능하게 한다. 슬라이스 헤더(1118)로부터 디코딩된 오버라이드된 파티션 제약들에 기반한 가능한 나중의 조정과 함께, SPS(1110)로부터 디코딩된 파티셔닝 제약들에 따라 정의된 범위를 이용하여, 세분 레벨이 PPS(1112)에서 시그널링되는 배열들은 슬라이스 헤더(1118)에서 마무리된 파티션 제약들에 따라 PPS 신택스 요소들을 갖는 파싱 의존성 문제를 피한다.
산업상 이용가능성
설명된 배열들은 컴퓨터 및 데이터 처리 산업들에 그리고 특히 비디오 및 이미지 신호들과 같은 신호들의 인코딩 및 디코딩을 위한 디지털 신호 처리를 위해 적용가능하여, 높은 압축 효율을 달성한다.
본 명세서에 설명된 배열들은 들어오는 비디오 데이터로부터 고도로 압축된 비트스트림들을 생성할 시에 비디오 인코더들에 제공되는 유연성을 증가시킨다. 프레임 내의 상이한 영역들 또는 서브-픽처들의 양자화는 가변 세분성으로 제어될 수 있고, 영역마다 세분성을 상이하게 하여, 코딩된 잔차 데이터의 양을 감소시킨다. 따라서, 예를 들어, 전술한 바와 같이 360도 이미지에 대해 요구되는 더 높은 세분성이 구현될 수 있다.
일부 배열들에서, 2차 변환의 적용은 단계들(15120 및 15130)(및 그에 대응하여 단계들(1890 및 1895))과 관련하여 설명된 바와 같이 루마 및 크로마에 대해 독립적으로 제어될 수 있어서, 코딩된 잔차 데이터에서의 추가 감소를 달성한다. 비디오 디코더들은 이러한 비디오 인코더들에 의해 생성된 비트스트림들을 디코딩하는데 필요한 기능으로 설명된다.
전술한 내용은 본 발명의 일부 실시예들만을 설명하고, 본 발명의 범위 및 사상을 벗어나지 않고 이에 대한 수정들 및/또는 변경들이 이루어질 수 있으며, 실시예들은 예시적인 것이고 제한적이지 않다.
Claims (13)
- 비트스트림으로부터 복수의 코딩 유닛들을 디코딩하여 이미지 프레임을 생성하는 방법으로서 - 상기 코딩 유닛들은 코딩 트리 유닛들의 분해들의 결과이고, 상기 복수의 코딩 유닛들은 상기 비트스트림의 하나 이상의 연속(contiguous) 부분을 형성함 -,
상기 비트스트림의 하나 이상의 연속 부분 각각에 대한 세분 레벨을 결정하는 단계 - 각각의 세분 레벨은 상기 비트스트림의 각각의 연속 부분의 상기 코딩 유닛들에 적용가능함 -;
다수의 영역 각각에 대한 양자화 파라미터 델타를 디코딩하는 단계 - 각각의 영역은 상기 비트스트림의 각각의 연속 부분의 코딩 유닛들로의 코딩 트리 유닛들의 분해 및 대응하는 결정된 세분 레벨에 기반함 -;
상기 영역에 대한 디코딩된 델타 양자화 파라미터 및 상기 이미지 프레임의 이전 코딩 유닛의 양자화 파라미터에 따라 각각의 영역에 대한 양자화 파라미터를 결정하는 단계;
각각의 영역의 결정된 양자화 파라미터를 이용하여 상기 복수의 코딩 유닛들을 디코딩하여 상기 이미지 프레임을 생성하는 단계
를 포함하는, 방법. - 제1항에 있어서,
각각의 영역은 상기 코딩 유닛들과 연관된 세분 레벨과 대응하는 연속 부분에 대한 상기 결정된 세분 레벨의 비교에 기반하는, 방법. - 제1항에 있어서,
대응하는 코딩 트리가 대응하는 연속 부분에 대한 상기 결정된 세분 레벨 이하의 세분 레벨을 갖는 경우, 각각의 영역에 대해 양자화 파라미터 델타가 결정되는, 방법. - 제1항에 있어서,
상기 대응하는 결정된 세분 레벨 이하의 세분 레벨을 갖는 상기 코딩 트리 유닛 내의 임의의 노드에 대해 새로운 영역이 설정되는, 방법. - 제1항에 있어서,
각각의 연속 부분에 대해 결정된 상기 세분 레벨은 연속 부분의 루마 코딩 유닛들에 대한 제1 세분 레벨 및 크로마 코딩 유닛들에 대한 제2 세분 레벨을 포함하는, 방법. - 제5항에 있어서,
상기 제1 및 제2 세분 레벨들은 상이한, 방법. - 제1항에 있어서,
상기 비트스트림과 연관된 시퀀스 파라미터 세트의 파티션 제약들이 오버라이팅될 수 있다는 것을 표시하는 플래그를 디코딩하는 단계를 더 포함하는, 방법. - 제7항에 있어서,
상기 하나 이상의 연속 부분 각각에 대한 상기 결정된 세분 레벨은 상기 영역에 대한 최대 루마 코딩 유닛 깊이를 포함하는, 방법. - 제7항에 있어서,
상기 하나 이상의 연속 부분 각각에 대한 상기 결정된 세분 레벨은 대응하는 영역에 대한 최대 크로마 코딩 유닛 깊이를 포함하는, 방법. - 제1항에 있어서,
상기 연속 부분들 중 하나에 대한 상기 결정된 세분 레벨은 상기 비트스트림의 파티션 제약들에 대해 디코딩된 가장 깊은 허용된 세분 레벨에 대한 오프셋을 유지하도록 조정되는, 방법. - 비트스트림으로부터 복수의 코딩 유닛들을 디코딩하여 이미지 프레임을 생성하는 방법을 구현하기 위한 컴퓨터 프로그램을 저장하는 비일시적 컴퓨터 판독가능한 매체로서 - 상기 코딩 유닛들은 코딩 트리 유닛들의 분해들의 결과이고, 상기 복수의 코딩 유닛들은 상기 비트스트림의 하나 이상의 연속 부분을 형성함 -, 상기 방법은,
상기 비트스트림의 하나 이상의 연속 부분 각각에 대한 세분 레벨을 결정하는 단계 - 각각의 세분 레벨은 상기 비트스트림의 각각의 연속 부분의 상기 코딩 유닛들에 적용가능함 -;
다수의 영역 각각에 대한 양자화 파라미터 델타를 디코딩하는 단계 - 각각의 영역은 상기 비트스트림의 각각의 연속 부분의 코딩 유닛들로의 코딩 트리 유닛들의 분해 및 대응하는 결정된 세분 레벨에 기반함 -;
상기 영역에 대한 디코딩된 델타 양자화 파라미터 및 상기 이미지 프레임의 이전 코딩 유닛의 양자화 파라미터에 따라 각각의 영역에 대한 양자화 파라미터를 결정하는 단계; 및
각각의 영역의 결정된 양자화 파라미터를 이용하여 상기 복수의 코딩 유닛들을 디코딩하여 상기 이미지 프레임을 생성하는 단계
를 포함하는, 비일시적 컴퓨터 판독가능한 매체. - 비트스트림으로부터 복수의 코딩 유닛들을 디코딩하여 이미지 프레임을 생성하는 방법을 구현하도록 구성된 비디오 디코더로서 - 상기 코딩 유닛들은 코딩 트리 유닛들의 분해들의 결과이고, 상기 복수의 코딩 유닛들은 상기 비트스트림의 하나 이상의 연속 부분을 형성함 -, 상기 방법은,
상기 비트스트림의 하나 이상의 연속 부분 각각에 대한 세분 레벨을 결정하는 단계 - 각각의 세분 레벨은 상기 비트스트림의 각각의 연속 부분의 상기 코딩 유닛들에 적용가능함 -;
다수의 영역 각각에 대한 양자화 파라미터 델타를 디코딩하는 단계 - 각각의 영역은 상기 비트스트림의 각각의 연속 부분의 코딩 유닛들로의 코딩 트리 유닛들의 분해 및 대응하는 결정된 세분 레벨에 기반함 -;
상기 영역에 대한 디코딩된 델타 양자화 파라미터 및 상기 이미지 프레임의 이전 코딩 유닛의 양자화 파라미터에 따라 각각의 영역에 대한 양자화 파라미터를 결정하는 단계; 및
각각의 영역의 결정된 양자화 파라미터를 이용하여 상기 복수의 코딩 유닛들을 디코딩하여 상기 이미지 프레임을 생성하는 단계
를 포함하는, 비디오 디코더. - 시스템으로서,
메모리; 및
프로세서
를 포함하며, 상기 프로세서는 비트스트림으로부터 복수의 코딩 유닛들을 디코딩하여 이미지 프레임을 생성하는 방법을 구현하기 위해 상기 메모리에 저장된 코드를 실행하도록 구성되고, 상기 코딩 유닛들은 코딩 트리 유닛들의 분해들의 결과이고, 상기 복수의 코딩 유닛들은 상기 비트스트림의 하나 이상의 연속 부분을 형성하고, 상기 방법은,
상기 비트스트림의 하나 이상의 연속 부분 각각에 대한 세분 레벨을 결정하는 단계 - 각각의 세분 레벨은 상기 비트스트림의 각각의 연속 부분의 상기 코딩 유닛들에 적용가능함 -;
다수의 영역 각각에 대한 양자화 파라미터 델타를 디코딩하는 단계 - 각각의 영역은 상기 비트스트림의 각각의 연속 부분의 코딩 유닛들로의 코딩 트리 유닛들의 분해 및 대응하는 결정된 세분 레벨에 기반함 -;
상기 영역에 대한 디코딩된 델타 양자화 파라미터 및 상기 이미지 프레임의 이전 코딩 유닛의 양자화 파라미터에 따라 각각의 영역에 대한 양자화 파라미터를 결정하는 단계; 및
각각의 영역의 결정된 양자화 파라미터를 이용하여 상기 복수의 코딩 유닛들을 디코딩하여 상기 이미지 프레임을 생성하는 단계
를 포함하는, 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| AU2019232797A AU2019232797A1 (en) | 2019-09-17 | 2019-09-17 | Method, apparatus and system for encoding and decoding a block of video samples |
| AU2019232797 | 2019-09-17 | ||
| PCT/AU2020/050799 WO2021051156A1 (en) | 2019-09-17 | 2020-08-04 | Method, apparatus and system for encoding and decoding a block of video samples |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220041940A true KR20220041940A (ko) | 2022-04-01 |
| KR102709144B1 KR102709144B1 (ko) | 2024-09-25 |
Family
ID=74882922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227008931A KR102709144B1 (ko) | 2019-09-17 | 2020-08-04 | 비디오 샘플들의 블록을 인코딩 및 디코딩하기 위한 방법, 장치 및 시스템 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US12081773B2 (ko) |
| EP (1) | EP4032277A4 (ko) |
| JP (2) | JP7341254B2 (ko) |
| KR (1) | KR102709144B1 (ko) |
| CN (1) | CN114365491A (ko) |
| AU (2) | AU2019232797A1 (ko) |
| BR (1) | BR112022001469A2 (ko) |
| TW (1) | TWI796589B (ko) |
| WO (1) | WO2021051156A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023549771A (ja) * | 2021-08-30 | 2023-11-29 | テンセント・アメリカ・エルエルシー | 適応カーネルオプションを用いた二次変換の方法および装置 |
| WO2023174407A1 (zh) * | 2022-03-18 | 2023-09-21 | 杭州海康威视数字技术股份有限公司 | 用于编码、解码的方法、装置及其设备 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3336754B2 (ja) * | 1994-08-19 | 2002-10-21 | ソニー株式会社 | デジタルビデオ信号の記録方法及び記録装置 |
| US9510002B2 (en) * | 2013-09-09 | 2016-11-29 | Apple Inc. | Chroma quantization in video coding |
| US10448056B2 (en) * | 2016-07-15 | 2019-10-15 | Qualcomm Incorporated | Signaling of quantization information in non-quadtree-only partitioned video coding |
| US10848788B2 (en) * | 2017-01-06 | 2020-11-24 | Qualcomm Incorporated | Multi-type-tree framework for video coding |
| US10469854B2 (en) | 2017-06-21 | 2019-11-05 | Intel Corporation | Content, psychovisual, region of interest, and persistence based adaptive quantization for video coding |
| SG11202006004PA (en) | 2018-01-02 | 2020-07-29 | Samsung Electronics Co Ltd | Encoding method and apparatus therefor, and decoding method and apparatus therefor |
| US10904529B2 (en) * | 2018-01-19 | 2021-01-26 | Qualcomm Incorporated | Quantization group for video coding |
| US20200359024A1 (en) * | 2018-01-30 | 2020-11-12 | Sharp Kabushiki Kaisha | Systems and methods for deriving quantization parameters for video blocks in video coding |
| US11356701B2 (en) | 2018-02-14 | 2022-06-07 | Sony Corporation | Image processing apparatus and image processing method |
| CN118540508A (zh) | 2018-09-18 | 2024-08-23 | 华为技术有限公司 | 视频编码器、视频解码器及对应方法 |
| EP4002848A4 (en) | 2019-07-19 | 2022-08-31 | Wilus Institute of Standards and Technology Inc. | VIDEO SIGNAL PROCESSING METHOD AND DEVICE |
| JP2021034966A (ja) * | 2019-08-28 | 2021-03-01 | シャープ株式会社 | 動画像符号化装置、動画像復号装置 |
-
2019
- 2019-09-17 AU AU2019232797A patent/AU2019232797A1/en not_active Abandoned
-
2020
- 2020-08-04 JP JP2021573290A patent/JP7341254B2/ja active Active
- 2020-08-04 US US17/642,090 patent/US12081773B2/en active Active
- 2020-08-04 EP EP20865637.1A patent/EP4032277A4/en active Pending
- 2020-08-04 WO PCT/AU2020/050799 patent/WO2021051156A1/en active Application Filing
- 2020-08-04 BR BR112022001469A patent/BR112022001469A2/pt unknown
- 2020-08-04 KR KR1020227008931A patent/KR102709144B1/ko not_active Application Discontinuation
- 2020-08-04 CN CN202080062639.6A patent/CN114365491A/zh active Pending
- 2020-08-24 TW TW109128776A patent/TWI796589B/zh active
-
2022
- 2022-05-20 AU AU2022203416A patent/AU2022203416B2/en active Active
-
2023
- 2023-08-28 JP JP2023138201A patent/JP7564921B2/ja active Active
Non-Patent Citations (2)
| Title |
|---|
| Han Gao et al., "Syntax and Semantics Changes of QT/BT/TT Split Constraint Syntax Elements Signaling Method", JVET of ITU-T and ISO/IEC, JVET-L0678-v1(2018.10.07.)* * |
| P. de Lagrange et al., "CE7-related: Quantization Group size uniformity", JVET of ITU-T and ISO/IEC, JVET-M0113-v2(2019.01.16.)* * |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2019232797A1 (en) | 2021-04-01 |
| TWI796589B (zh) | 2023-03-21 |
| CN114365491A (zh) | 2022-04-15 |
| EP4032277A4 (en) | 2023-10-11 |
| JP2023159400A (ja) | 2023-10-31 |
| JP2022548448A (ja) | 2022-11-21 |
| AU2022203416A1 (en) | 2022-06-09 |
| KR102709144B1 (ko) | 2024-09-25 |
| BR112022001469A2 (pt) | 2022-03-22 |
| TW202114413A (zh) | 2021-04-01 |
| JP7564921B2 (ja) | 2024-10-09 |
| EP4032277A1 (en) | 2022-07-27 |
| AU2022203416B2 (en) | 2024-03-14 |
| JP7341254B2 (ja) | 2023-09-08 |
| WO2021051156A1 (en) | 2021-03-25 |
| US12081773B2 (en) | 2024-09-03 |
| US20240073431A1 (en) | 2024-02-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12075058B2 (en) | Method, apparatus and system for encoding and decoding a coding tree unit | |
| AU2022228215B2 (en) | Method, apparatus and system for encoding and decoding a coding tree unit | |
| KR20220127337A (ko) | 비디오 샘플들의 블록을 인코딩 및 디코딩하기 위한 방법, 장치 및 시스템 | |
| JP7564921B2 (ja) | ビデオサンプルのブロックを符号化及び復号するための方法、装置、及びシステム | |
| AU2022204353B2 (en) | Method, apparatus and system for encoding and decoding a block of video samples | |
| KR20210141751A (ko) | 비디오 샘플들의 블록을 인코딩 및 디코딩하기 위한 방법, 장치 및 시스템 | |
| JP2024109963A (ja) | ビデオサンプルのブロックを符号化および復号する方法、装置、およびシステム | |
| US20240364901A1 (en) | Method, apparatus and system for encoding and decoding a block of video samples | |
| US20240364902A1 (en) | Method, apparatus and system for encoding and decoding a block of video samples | |
| US20240364903A1 (en) | Method, apparatus and system for encoding and decoding a block of video samples | |
| US20240364900A1 (en) | Method, apparatus and system for encoding and decoding a block of video samples | |
| JP2024046650A (ja) | ビデオサンプルのブロックを符号化並びに復号するための方法、装置、及びシステム | |
| AU2020202057A1 (en) | Method, apparatus and system for encoding and decoding a block of video samples |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |