KR20210088661A - 비디오 인코더, 비디오 디코더 및 화상을 인코딩 또는 디코딩하는 방법들 - Google Patents
비디오 인코더, 비디오 디코더 및 화상을 인코딩 또는 디코딩하는 방법들 Download PDFInfo
- Publication number
- KR20210088661A KR20210088661A KR1020217017436A KR20217017436A KR20210088661A KR 20210088661 A KR20210088661 A KR 20210088661A KR 1020217017436 A KR1020217017436 A KR 1020217017436A KR 20217017436 A KR20217017436 A KR 20217017436A KR 20210088661 A KR20210088661 A KR 20210088661A
- Authority
- KR
- South Korea
- Prior art keywords
- block
- current block
- picture
- boundary
- binary
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 110
- 238000005192 partition Methods 0.000 claims abstract description 123
- 238000000638 solvent extraction Methods 0.000 claims abstract description 115
- 238000012545 processing Methods 0.000 claims description 103
- 241000023320 Luma <angiosperm> Species 0.000 claims description 30
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 30
- 230000004044 response Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013139 quantization Methods 0.000 description 63
- 238000004891 communication Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 9
- 230000005055 memory storage Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000003491 array Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Abstract
인코딩 및 디코딩을 위한 방법 및 장치가 제공된다. 방법은, 현재 블록에 이진 분할을 적용하지 않기 위한 조건으로서, 현재 블록이 경계 블록인지 및 쿼드트리 리프의 멀티-타입 트리 분할로부터 기인하는 멀티-타입 트리 깊이가 최대 경계 멀티-타입 파티션 깊이와 깊이 오프셋의 합 이상인지를 결정하는 단계를 포함한다. 상기 조건이 만족되는지의 결정 결과에 따라 이진 분할이 적용된다.
Description
관련 출원들에 대한 상호 참조
본 특허 출원은 2018년 11월 12일자로 출원된 미국 가특허 출원 제62/759,929호에 대한 우선권의 이익을 주장한다. 전술한 특허 출원은 이로써 그 전체가 참조로 포함된다.
기술 분야
본 출원의 실시예들은 일반적으로 비디오 코딩 분야에 관한 것으로, 더 구체적으로는 코딩 유닛 분할 및 파티셔닝에 관한 것이다.
비디오 코딩(비디오 인코딩 및 디코딩)은 광범위한 디지털 비디오 애플리케이션들, 예를 들어, 방송 디지털 TV, 인터넷 및 모바일 네트워크들을 통한 비디오 송신, 비디오 채팅과 같은 실시간 대화 애플리케이션들, 비디오 회의, DVD 및 Blu-ray 디스크들, 비디오 콘텐츠 취득 및 편집 시스템들, 및 보안 애플리케이션들의 캠코더들에서 사용된다.
1990년대 H.261 표준에서의 블록-기반 하이브리드 비디오 코딩 접근법의 개발 이후로, 새로운 비디오 코딩 기법들 및 툴들이 개발되고 새로운 비디오 코딩 표준들에 대한 기반을 형성하였다. 추가의 비디오 코딩 표준들은 MPEG-1 비디오, MPEG-2 비디오, ITU-T H.262/MPEG-2, ITU-T H.263, ITU-T H.264/MPEG-4, Part 10, AVC(Advanced Video Coding), ITU-T H.265/HEVC(High Efficiency Video Coding), ITU-T H.266/VVC(Versatile video coding) 및 이러한 표준들의 확장들, 예를 들어, 스케일가능성 및/또는 3D(three-dimensional) 확장들을 포함한다. 비디오 생성 및 사용이 점점 더 보편화됨에 따라, 비디오 트래픽은 통신 네트워크들 및 데이터 스토리지에 대한 가장 큰 부하이고, 따라서, 대부분의 비디오 코딩 표준들의 목표들 중 하나는 화상 품질을 희생하지 않고 그 선행의 것에 비해 비트레이트 감소를 달성하는 것이었다. 최신 HEVC(High Efficiency video coding)는 품질을 희생하지 않고 AVC보다 약 2배만큼 비디오를 압축할 수 있지만, HEVC와 비교하여 비디오들을 추가로 압축하기 위한 새로운 기술에 목말라 있다.
본 발명의 실시예들은 인코딩 및 디코딩을 위한 장치들 및 방법들을 제공한다.
본 개시내용의 제1 양태에 따르면, 화상을 인코딩 또는 디코딩하는 방법이 제공된다. 방법은, 화상의 현재 블록에 대해, 다음 조건:
현재 블록은 화상의 경계에 위치하지 않는 비-경계 블록이고; 및
쿼드트리 리프의 멀티-타입 트리 분할로부터 기인하는 멀티-타입 트리 깊이, mttDepth는 최대 경계 멀티-타입 파티션 깊이, MaxMttDepth, 및 MaxMttDepth에 대한 오프셋, depthOffset의 합 이상임
이 만족되는지 여부를 결정하는 단계를 포함하고,
여기서, depthOffset는 0으로서 초기화되고, 쿼드트리 리프의 멀티-타입 분할에서 이진 트리 분할이 수행되면 1만큼 증가된다. 방법은 상기 조건이 만족된다는 결정에 응답하여 현재 블록에 이진 분할을 적용하지 않는 단계를 더 포함한다.
일부 실시예들에서, 방법은 mttDepth가 MaxMttDepth와 depthOffset의 합 이상인지 여부에 관계없이 현재 블록이 화상의 경계에 위치된 경계 블록인 것으로 결정하는 것에 응답하여 현재 블록에 이진 분할을 적용하는 단계를 포함한다.
따라서, 경계 블록들의 효율적인 인코딩 및 디코딩이 용이해질 수 있다.
제1 양태에 따르면, 본 개시내용은 현재 블록이 경계 블록인지 여부에 따라, 이진 분할의 적용을 유연하게 제어하는 것을 용이하게 할 수 있다.
일부 실시예들에서, 멀티-타입 트리 분할은 이진 분할 및 삼진 분할 중 적어도 하나를 포함한다.
예를 들어, x0 + cbWidth가 화상의 화상 폭, pic_width_in_luma_samples 이하이고 y0 + cbHeight가 화상의 화상 높이, pic_height_in_luma_samples 이하이면 현재 블록은 경계에 위치하는 경계 블록이 아닌 것으로 결정되고 여기서 (x0,y0)는 현재 블록의 좌측 상단 루마 샘플의 위치이고, cbWidth는 현재 블록의 폭이고, cbHeight는 현재 블록의 높이이다.
일부 예들에서, 방법은 상기 조건이 만족되면 변수 allowBtSplit를 거짓으로 설정하는 단계; 및 변수 allowBtSplit에 기초하여 현재 블록에 이진 분할을 적용하거나 적용하지 않는 단계를 더 포함한다.
일부 실시예들에서, 변수 allowBtSplit에 기초하여 현재 블록에 이진 분할을 적용하거나 적용하지 않는 상기 단계는 변수 allowBtSplit가 참과 같을 때 현재 블록에 이진 분할을 적용하는 단계 및 변수 allowBtSplit가 거짓과 같을 때 현재 블록에 이진 분할을 적용하지 않는 단계를 포함한다.
일부 실시예들에서, MaxMttDepth는 0으로 설정된다.
이는 멀티-타입 트리 분할을 실제로 턴온 또는 턴오프하는 것을 용이하게 할 수 있다.
예를 들어, 화상은 비디오 시퀀스의 프레임이다.
제2 양태에 따르면, 제1 양태의 임의의 실시예에 따른 방법을 수행하기 위한 처리 회로를 포함하는 인코더가 제공된다.
제3 양태에 따르면, 제1 양태의 임의의 실시예에 따른 방법을 수행하기 위한 처리 회로를 포함하는 디코더가 제공된다.
제4 양태에 따르면, 하나 이상의 프로세서 및 프로세서들에 결합되고 프로세서들에 의한 실행을 위한 프로그래밍을 저장하고 있는 비일시적 컴퓨터 판독가능 저장 매체를 포함하는 인코더가 제공되고, 여기서 프로그래밍은, 프로세서들에 의해 실행될 때, 제1 양태의 임의의 실시예에 따른 방법을 수행하도록 인코더를 구성한다.
제5 양태에 따르면, 하나 이상의 프로세서 및 프로세서들에 결합되고 프로세서들에 의한 실행을 위한 프로그래밍을 저장하고 있는 비일시적 컴퓨터 판독가능 저장 매체를 포함하는 디코더가 제공되고, 프로그래밍은, 프로세서들에 의해 실행될 때, 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행하도록 디코더를 구성한다.
제6 양태에 따르면, 현재 블록을 포함하는 화상을 인코딩 또는 디코딩하기 위한 장치가 제공된다. 장치는 다음의 조건:
현재 블록은 화상의 경계에 위치하지 않는 비-경계 블록이고; 및
쿼드트리 리프의 멀티-타입 트리 분할로부터 기인하는 멀티-타입 트리 깊이, mttDepth는 최대 경계 멀티-타입 파티션 깊이, MaxMttDepth, 및 MaxMttDepth에 대한 오프셋, depthOffset의 합 이상임
이 충족되는지 여부를 결정하도록- depthOffset는 0으로서 초기화되고, 쿼드트리 리프의 멀티-타입 분할에서 이진 트리 분할이 수행되면 1만큼 증됨 -구성된 처리 회로를 포함한다. 처리 회로는 상기 조건이 만족된다는 결정에 응답하여 현재 블록에 이진 분할을 적용하지 않도록 추가로 구성된다.
제6 양태에 따르면, 본 개시내용은 현재 블록이 경계 블록인지 여부에 따라, 이진 분할의 적용을 유연하게 제어하는 것을 용이하게 할 수 있다.
예를 들어, 처리 회로는, 현재 블록이 mttDepth가 MaxMttDepth와 depthOffset의 합 이상인지 여부에 관계없이 화상의 경계에 위치한 경계 블록이라고 결정하는 것에 응답하여 현재 블록에 이진 분할을 적용하도록 구성된다.
따라서, 경계 블록들의 효율적인 인코딩 및 디코딩이 용이해질 수 있다.
일부 실시예들에서, 멀티-타입 트리 분할은 이진 분할 및 삼진 분할 중 적어도 하나를 포함한다.
예를 들어, 처리 회로는, x0 + cbWidth가 화상의 화상 폭 pic_width_in_luma_samples 이하이고 y0 + cbHeight가 화상의 화상 높이 pic_height_in_luma_samples 이하인 경우, 현재 블록이 경계에 위치된 경계 블록이 아니라고 결정하도록 구성되고, 여기서, (x0,y0)은 현재 블록의 좌측 상단 루마 샘플의 위치이고, cbWidth는 현재 블록의 폭이고, cbHeight는 현재 블록의 높이이다.
일부 실시예들에서, 처리 회로(1010, 1020)는 상기 조건이 만족되는 경우 변수 allowBtSplit를 거짓으로 설정하고, 변수 allowBtSplit에 기초하여 현재 블록에 이진 분할을 적용하거나 적용하지 않도록 구성된다.
예를 들어, 처리 회로는, 변수 allowBtSplit에 기초하여 현재 블록에 이진 분할을 적용하거나 적용하지 않는 상기 단계에서, 변수 allowBtSplit가 참과 같을 때 현재 블록에 이진 분할을 적용하고, 변수 allowBtSplit가 거짓과 같을 때 현재 블록에 이진 분할을 적용하지 않도록 구성된다.
일부 실시예들에서, MaxMttDepth는 0으로 설정된다.
이는 멀티-타입 트리 분할을 실제로 턴온 또는 턴오프하는 것을 용이하게 할 수 있다.
예를 들어, 화상은 비디오 시퀀스의 프레임이다.
제7 양태에 따르면, 현재 블록을 포함하는 화상을 인코딩하도록 동작가능한 인코더가 제공된다. 인코더는 제6 양태의 임의의 실시예에 따른 장치를 포함한다.
제8 양태에 따르면, 현재 블록을 포함하는 화상을 디코딩하도록 동작가능한 디코더가 제공된다. 디코더는 제6 양태의 임의의 실시예에 따른 장치를 포함한다.
제9 양태에 따르면, 제1 양태의 임의의 실시예에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품이 제공된다.
제10 양태에 따르면, 컴퓨터 프로그램이 제공된다. 컴퓨터 프로그램은 프로그램 코드를 포함하고, 프로그램 코드는 프로그램이 컴퓨터 상에서 실행될 때, 컴퓨터로 하여금, 다음의 조건:
현재 블록은 화상의 경계에 위치하지 않는 비-경계 블록이고; 및
쿼드트리 리프의 멀티-타입 트리 분할로부터 기인하는 멀티-타입 트리 깊이, mttDepth는 최대 경계 멀티-타입 파티션 깊이, MaxMttDepth, 및 MaxMttDepth에 대한 오프셋, depthOffset의 합 이상임
이 만족되는지 여부를 결정하는 것- depthOffset는 0으로 초기화되고 쿼드트리 리프의 멀티-타입 분할에서 이진 트리 분할이 수행되면 1만큼 증가됨 -; 및 상기 조건이 만족되는 것으로 결정하는 것에 응답하여 현재 블록에 이진 분할을 적용하지 않는 것을 포함하는, 제1 양태의 임의의 실시예에 따른 방법을 수행하게 한다.
명확성을 위해, 본 명세서에 개시된 실시예들 중 임의의 하나는 다른 실시예들 중 임의의 하나 이상과 조합되어 본 개시내용의 범위 내의 다른 실시예를 형성할 수 있다.
이들 및 다른 특징들은 첨부 도면들 및 청구항들과 연계하여 이루어지는 다음의 상세한 설명으로부터 더 명확하게 이해될 것이다.
본 발명의 다음의 실시예들은 첨부 도면들 및 도해들을 참조하여 보다 상세히 설명된다.
도 1a는 본 발명의 실시예들을 구현하도록 구성되는 비디오 코딩 시스템의 예를 도시하는 블록도이다.
도 1b는 본 발명의 실시예들을 구현하도록 구성되는 비디오 코딩 시스템의 다른 예를 도시하는 블록도이다.
도 2는 본 발명의 실시예들을 구현하도록 구성되는 비디오 인코더의 예를 도시하는 블록도이다.
도 3은 본 발명의 실시예들을 구현하도록 구성되는 비디오 디코더의 예시적인 구조를 도시하는 블록도이다.
도 4는 인코딩 장치 또는 디코딩 장치의 예를 예시하는 블록도이다.
도 5는 인코딩 장치 또는 디코딩 장치의 다른 예를 예시하는 블록도이다.
도 6은 QTBT(quadtree-binary-tree) 구조를 이용한 블록 파티셔닝의 예의 예시적인 도면이다.
도 7은 도 6의 QTBT 구조를 이용한 블록 파티셔닝에 대응하는 트리 구조의 예에 대한 예시적인 도면이다.
도 8은 수평 삼진-트리 파티션 타입들의 예의 예시적인 도면이다.
도 9는 수직 삼진-트리 파티션 타입들의 예의 예시적인 도면이다.
도 10 및 도 11은 화상을 인코딩 또는 디코딩하기 위한 방법의 흐름도들이다.
도 12는 화상을 인코딩 또는 디코딩하기 위한 장치의 블록도이다.
도 13은 이진 분할을 적용하거나 적용하지 않기 위한 조건을 결정하기 위한 유닛의 블록도이다.
도 1a는 본 발명의 실시예들을 구현하도록 구성되는 비디오 코딩 시스템의 예를 도시하는 블록도이다.
도 1b는 본 발명의 실시예들을 구현하도록 구성되는 비디오 코딩 시스템의 다른 예를 도시하는 블록도이다.
도 2는 본 발명의 실시예들을 구현하도록 구성되는 비디오 인코더의 예를 도시하는 블록도이다.
도 3은 본 발명의 실시예들을 구현하도록 구성되는 비디오 디코더의 예시적인 구조를 도시하는 블록도이다.
도 4는 인코딩 장치 또는 디코딩 장치의 예를 예시하는 블록도이다.
도 5는 인코딩 장치 또는 디코딩 장치의 다른 예를 예시하는 블록도이다.
도 6은 QTBT(quadtree-binary-tree) 구조를 이용한 블록 파티셔닝의 예의 예시적인 도면이다.
도 7은 도 6의 QTBT 구조를 이용한 블록 파티셔닝에 대응하는 트리 구조의 예에 대한 예시적인 도면이다.
도 8은 수평 삼진-트리 파티션 타입들의 예의 예시적인 도면이다.
도 9는 수직 삼진-트리 파티션 타입들의 예의 예시적인 도면이다.
도 10 및 도 11은 화상을 인코딩 또는 디코딩하기 위한 방법의 흐름도들이다.
도 12는 화상을 인코딩 또는 디코딩하기 위한 장치의 블록도이다.
도 13은 이진 분할을 적용하거나 적용하지 않기 위한 조건을 결정하기 위한 유닛의 블록도이다.
다음의 설명에서, 본 개시내용의 일부를 형성하는, 그리고, 본 발명의 실시예들의 구체적인 양태들 또는 본 발명의 실시예들이 사용될 수 있는 구체적인 양태들을, 예시적인 방식에 의해, 도시하는 첨부 도면들이 참조된다. 본 발명의 실시예들은 다른 양태들에서 사용될 수 있고 도면들에 묘사되지 않은 구조적 또는 논리적 변경들을 포함한다는 점이 이해된다. 따라서, 다음의 상세한 설명은 제한적인 의미로 취해져서는 안 되며, 본 발명의 범위는 첨부된 청구항들에 의해 정의된다.
예를 들어, 설명된 방법과 관련된 개시내용은 해당 방법을 수행하도록 구성되는 대응하는 디바이스 또는 시스템에 대해 또한 유효할 수 있고 그 반대의 경우도 마찬가지라는 점이 이해된다. 예를 들어, 하나의 또는 복수의 구체적 방법 단계가 설명되면, 이러한 하나 이상의 유닛이 도면들에서 명시적으로 설명되거나 또는 예시되지 않더라도, 대응하는 디바이스는 설명된 하나의 또는 복수의 방법 단계를 수행하는 하나의 또는 복수의 유닛, 예를 들어, 기능 유닛(예를 들어, 하나의 또는 복수의 단계를 수행하는 하나의 유닛, 또는 복수의 단계 중 하나 이상을 각각 수행하는 복수의 유닛)을 포함할 수 있다. 다른 한편으로, 예를 들어, 구체적 장치가 하나의 또는 복수의 유닛, 예를 들어, 기능 유닛들에 기초하여 설명되면, 이러한 하나의 또는 복수의 단계가 도면들에 명시적으로 설명되거나 또는 예시되지 않더라도, 대응하는 방법은 하나의 또는 복수의 유닛의 기능성을 수행하는 하나의 단계(예를 들어, 하나의 또는 복수의 유닛의 기능성을 수행하는 하나의 단계, 또는 복수의 유닛 중 하나 이상의 유닛의 기능성을 각각 수행하는 복수의 단계)를 포함할 수 있다. 추가로, 구체적으로 달리 주목되지 않는 한, 본 명세서에 설명되는 다양한 예시적인 실시예들 및/또는 양태들의 특징들은 서로 조합될 수 있다는 점이 이해된다.
비디오 코딩은, 비디오 또는 비디오 시퀀스를 형성하는, 화상들의 시퀀스의 처리를 통상적으로 지칭한다. "화상"이라는 용어 대신에 "프레임" 또는 "이미지"라는 용어가 비디오 코딩 분야에서 동의어로서 사용될 수 있다. 본 출원(또는 본 개시내용)에서 사용되는 비디오 코딩은 비디오 인코딩 또는 비디오 디코딩을 표시한다. 비디오 인코딩은 소스 측에서 수행되고, (보다 효율적인 저장 및/또는 송신을 위해) 비디오 화상들을 표현하는데 요구되는 데이터의 양을 감소시키기 위해 원래의 비디오 화상들을(예를 들어, 압축에 의해) 처리하는 것을 통상적으로 포함한다. 비디오 디코딩은 목적지 측에서 수행되고 비디오 화상들을 재구성하기 위해 인코더에 비해 역 처리를 통상적으로 포함한다. 비디오 화상들(또는, 나중에 설명되는 바와 같이, 일반적으로 화상들)의 "코딩(coding)"을 참조하는 실시예들은 비디오 시퀀스에 대한 "인코딩(encoding)" 또는 "디코딩(decoding)"에 관련되는 것으로 이해될 것이다. 인코딩 부분과 디코딩 부분의 조합은 CODEC(Coding and Decoding)이라고 또한 지칭된다.
무손실 비디오 코딩의 경우, 원래의 비디오 화상들이 재구성될 수 있다, 즉, 재구성된 비디오 화상들은 원래의 비디오 화상들과 동일한 품질을 갖는다(저장 또는 송신 동안 어떠한 송신 손실 또는 다른 데이터 손실도 없다고 가정함). 손실 비디오 코딩의 경우, 디코더에서 완전히 재구성될 수 없는, 즉, 재구성된 비디오 화상들의 품질이 원래의 비디오 화상들의 품질에 비해 더 낮은 또는 더 나쁜, 비디오 화상들을 표현하는 데이터의 양을 감소시키기 위해, 예를 들어, 양자화에 의한, 추가 압축이 수행된다.
H.261 이후의 몇몇 비디오 코딩 표준들은 "손실 하이브리드 비디오 코덱들(lossy hybrid video codecs)"의 그룹에 속한다(즉, 샘플 도메인에서의 공간적 및 시간적 예측과 변환 도메인에서의 양자화를 적용하기 위한 2D 변환 코딩을 조합함). 비디오 시퀀스의 각각의 화상은 비-중첩 블록들의 세트로 통상적으로 파티셔닝되고, 코딩은 블록 레벨에서 통상적으로 수행된다. 다시 말해서, 인코더에서는 비디오가, 예를 들어, 공간적 (인트라 화상) 예측 및 시간적 (인터 화상) 예측을 사용하여 예측 블록을 생성하고, 현재 블록(현재 처리되는/처리될 블록)으로부터 예측 블록을 감산하여 잔차 블록을 획득하고, 잔차 블록을 변환하고 변환 도메인에서 잔차 블록을 양자화하여 송신될 데이터의 양을 감소(압축)시키는 것에 의해, 블록(비디오 블록) 레벨에서 통상적으로 처리, 즉, 인코딩되는 반면, 디코더에서는 인코더에 비해 역 처리가 인코딩된 또는 압축된 블록에 부분적으로 적용되어 표현을 위해 현재 블록을 재구성한다. 또한, 인코더는 디코더 처리 루프를 복제하여, 양자 모두가 후속 블록들을 처리, 즉, 코딩하기 위해 동일한 예측들(예를 들어, 인트라 및 인터 예측들) 및/또는 재-구성들을 생성할 것이다.
본 명세서에서 사용될 때, "블록(block)"이라는 용어는 화상 또는 프레임의 부분일 수 있다. 설명의 편의를 위해, 본 발명의 실시예들은, ITU-T VCEG(Video Coding Experts Group) 및 ISO/IEC MPEG(Motion Picture Experts Group)의 JCT-VC(Joint Collaboration Team on Video Coding)에 의해 개발된, HEVC(High-Efficiency Video Coding) 또는 VVC(Versatile video coding)의 참조 소프트웨어를 참조하여 본 명세서에 설명된다. 해당 분야에서의 통상의 기술자는 본 발명의 실시예들이 HEVC 또는 VVC에 제한되지 않는다는 점을 이해할 것이다. 예를 들어, 용어 "블록"은 CU(coding unit), PU(prediction unit), 및 TU(transform unit)를 지칭할 수 있다. HEVC에서, CTU(coding tree unit)는 코딩 트리로 표기되는 쿼드트리 구조를 사용하여 CU들로 분할된다. 인터 화상 (시간적) 또는 인트라 화상 (공간적) 예측을 사용하여 화상 영역을 코딩할지의 결정이 CU 레벨에서 이루어진다. 각각의 CU는 PU 분할 타입에 따라 하나의, 2개의 또는 4개의 PU로 추가로 분할될 수 있다. 하나의 PU 내부에서, 동일한 예측 처리가 적용되고 관련 정보가 PU 기반으로 디코더에 송신된다. PU 분할 타입에 기초하여 예측 처리를 적용하는 것에 의해 잔차 블록을 획득한 후에, CU는 CU에 대한 코딩 트리와 유사한 다른 쿼드트리 구조에 따라 TU들(transform units)로 파티셔닝될 수 있다. 비디오 압축 기술의 최신 개발에서, 코딩 블록을 파티셔닝하기 위해 QTBT(Quad-tree and binary tree) 파티셔닝 프레임이 사용된다. QTBT 블록 구조에서, CU는 정사각형 또는 직사각형 형상을 가질 수 있다. 예를 들어, CTU(coding tree unit)가 쿼드트리 구조에 의해 먼저 파티셔닝된다. 쿼드트리 리프 노드들이 이진 트리 구조에 의해 추가로 파티셔닝된다. 이러한 이진 트리 리프 노드들은 CU들(coding units)이라고 불리고, 어떠한 추가의 파티셔닝도 없이 예측 및 변환 처리를 위해 해당 세그먼트화가 사용된다. 이러한 것은 CU, PU 및 TU가 QTBT 코딩 블록 구조에서 동일한 블록 크기를 갖는다는 점을 의미한다. 병렬로, 예를 들어, 삼진 트리 파티션을 포함하는 승산 파티션 또는 다중 트리 파티셔닝이 또한 QTBT 블록 구조와 함께 사용되도록 제안되었다.
다음에서는 인코더(20), 디코더(30) 및 코딩 시스템(10)의 실시예들이 도 1 내지 3에 기초하여 설명된다.
도 1a는 본 출원(본 개시내용)의 기법들을 이용할 수 있는 예시적인 코딩 시스템(10), 예를 들어, 비디오 코딩 시스템(10)을 예시하는 개념적 또는 개략적 블록도이다. 비디오 코딩 시스템(10)의 인코더(20)(예를 들어, 비디오 인코더(20)) 및 디코더(30)(예를 들어, 비디오 디코더(30))는 본 출원에서 설명되는 다양한 예들에 따른 기법들을 수행하도록 구성될 수 있는 디바이스들의 예들을 표현한다. 도 1a에 도시되는 바와 같이, 코딩 시스템(10)은 인코딩된 데이터(13), 예를 들어, 인코딩된 화상(13)을, 예를 들어, 인코딩된 데이터(13)를 디코딩하기 위한 목적지 디바이스(14)에 제공하도록 구성되는 소스 디바이스(12)를 포함한다.
소스 디바이스(12)는 인코더(20)를 포함하고, 추가적으로, 즉, 선택적으로, 화상 소스(16), 전처리 유닛(18), 예를 들어, 화상 전처리 유닛(18), 및 통신 인터페이스 또는 통신 유닛(22)을 포함할 수 있다.
화상 소스(16)는, 예를 들어, 현실-세계 화상을 캡처하기 위한 임의의 종류의 화상 캡처 디바이스, 및/또는 임의의 종류의 화상 또는 코멘트(스크린 콘텐츠 코딩을 위해, 스크린 상의 일부 텍스트들은 인코딩될 화상 또는 이미지의 일부분으로 또한 고려됨) 생성 디바이스, 예를 들어, 컴퓨터 애니메이션 화상을 생성하기 위한 컴퓨터-그래픽 프로세서, 또는 현실-세계 화상을 획득 및/또는 제공하기 위한 임의의 종류의 디바이스, 컴퓨터 애니메이션 화상(예를 들어, 스크린 콘텐츠, VR(virtual reality) 화상) 및/또는 이들의 임의의 조합(예를 들어, AR(augmented reality) 화상)을 포함하거나 또는 이들일 수 있다.
(디지털) 화상은 강도 값들이 있는 샘플들의 2-차원 어레이 또는 행렬이거나 또는 그것으로 간주될 수 있다. 이러한 어레이에서의 샘플은 픽셀(짧은 형태의 화상 엘리먼트) 또는 화소라고 또한 지칭될 수 있다. 어레이 또는 화상의 수평 및 수직 방향(또는 축)에서의 샘플들의 수는 화상의 크기 및/또는 해상도를 정의한다. 컬러의 표현을 위해, 통상적으로 3개의 컬러 성분들이 이용된다, 즉, 화상은 3개의 샘플 어레이들로서 표현되거나 또는 이를 포함할 수 있다. RBG 포맷 또는 컬러 공간에서 화상은 대응하는 적색, 녹색 및 청색 샘플 어레이를 포함한다. 그러나, 비디오 코딩에서 각각의 픽셀은 휘도/색차 포맷 또는 컬러 공간, 예를 들어, Y에 의해 표시되는 휘도 성분 (때때로 또한 L이 대신 사용됨) 및 Cb 및 Cr에 의해 표시되는 2개의 색차 성분들을 포함하는, YCbCr로 통상적으로 표현된다. 휘도(줄여서 루마) 성분 Y는 (예를 들어, 그레이-스케일 화상에서와 같이) 밝기 또는 그레이 레벨 강도를 표현하고, 한편 2개의 색차(줄여서 크로마) 성분들 Cb 및 Cr은 색도 또는 컬러 정보 성분들을 표현한다. 따라서, YCbCr 포맷에서의 화상은 휘도 샘플 값들(Y)의 휘도 샘플 어레이, 및 색차 값들(Cb 및 Cr)의 2개의 색차 샘플 어레이들을 포함한다. RGB 포맷에서의 화상들은 YCbCr 포맷으로 변환 또는 변환될 수 있고, 그 반대의 경우도 가능하며, 이러한 프로세스는 컬러 변환 또는 변환이라고 또한 알려져 있다. 화상이 흑백이면, 화상은 휘도 샘플 어레이만을 포함할 수 있다.
화상 소스(16)(예를 들어, 비디오 소스(16))는, 예를 들어, 화상을 캡처하기 위한 카메라, 이전에 캡처된 또는 생성된 화상을 포함하거나 또는 저장하는 메모리, 예를 들어, 화상 메모리, 및/또는 화상을 획득하거나 또는 수신하기 위한 임의의 종류의 인터페이스(내부 또는 외부)일 수 있다. 카메라는, 예를 들어, 소스 디바이스에서 집적되는 로컬 또는 집적형 카메라일 수 있고, 메모리는, 예를 들어, 소스 디바이스에서 집적되는 로컬 또는 집적형 메모리일 수 있다. 인터페이스는, 예를 들어, 외부 비디오 소스, 예를 들어, 카메라와 같은 외부 화상 캡처 디바이스, 외부 메모리, 또는 외부 화상 생성 디바이스, 예를 들어, 외부 컴퓨터-그래픽 프로세서, 컴퓨터 또는 서버로부터 화상을 수신하는 외부 인터페이스일 수 있다. 인터페이스는, 임의의 독점적 또는 표준화된 인터페이스 프로토콜에 따른, 임의의 종류의 인터페이스, 예를 들어, 유선 또는 무선 인터페이스, 광 인터페이스일 수 있다. 화상 데이터(17)를 획득하기 위한 인터페이스는 통신 인터페이스(22)와 동일한 인터페이스 또는 그 일부분일 수 있다.
전처리 유닛(18) 및 전처리 유닛(18)에 의해 수행되는 처리와 구별하여, 화상 또는 화상 데이터(17)(예를 들어, 비디오 데이터(17))는 원시 화상 또는 원시 화상 데이터(17)라고 또한 지칭될 수 있다.
전처리 유닛(18)은 (원시) 화상 데이터(17)를 수신하도록 그리고 화상 데이터(17)에 전처리를 수행하여 전처리된 화상(19) 또는 전처리된 화상 데이터(19)를 획득하도록 구성된다. 전처리 유닛(18)에 의해 수행되는 전처리는, 예를 들어, 트리밍, (예를 들어, RGB로부터 YCbCr로의) 컬러 포맷 변환, 컬러 보정, 또는 노이즈-제거를 포함할 수 있다. 전처리 유닛(18)은 선택적 컴포넌트일 수 있다는 점이 이해될 수 있다.
인코더(20)(예를 들어, 비디오 인코더(20))는 전처리된 화상 데이터(19)를 수신하도록 그리고 인코딩된 화상 데이터(21)를 제공하도록 구성된다(추가의 상세사항들은, 예를 들어, 도 2 또는 도 4에 기초하여 아래에 설명될 것이다).
소스 디바이스(12)의 통신 인터페이스(22)는 인코딩된 화상 데이터(21)를 수신하도록 그리고 이것을, 저장 또는 직접 재구성을 위해, 다른 디바이스, 예를 들어, 목적지 디바이스(14) 또는 임의의 다른 디바이스에 송신하도록, 또는 인코딩된 데이터(13)를 저장하는 것 및/또는 디코딩 또는 저장하기 위해 인코딩된 데이터(13)를 다른 디바이스, 예를 들어, 목적지 디바이스(14) 또는 임의의 다른 디바이스에 송신하는 것 전에 각각에 대해 인코딩된 화상 데이터(21)를 처리하도록 구성될 수 있다.
목적지 디바이스(14)는 디코더(30)(예를 들어, 비디오 디코더(30))를 포함하고, 추가적으로, 즉, 선택적으로, 통신 인터페이스 또는 통신 유닛(28), 후처리 유닛(32) 및 디스플레이 디바이스(34)를 포함할 수 있다.
목적지 디바이스(14)의 통신 인터페이스(28)는 인코딩된 화상 데이터(21) 또는 인코딩된 데이터(13)를, 예를 들어, 소스 디바이스(12)로부터 직접 또는 임의의 다른 소스, 예를 들어, 저장 디바이스, 예를 들어, 인코딩된 화상 데이터 저장 디바이스로부터 수신하도록 구성된다.
통신 인터페이스(22) 및 통신 인터페이스(28)는 소스 디바이스(12)와 목적지 디바이스(14) 사이의 직접 통신 링크, 예를 들어, 직접 유선 또는 무선 접속을 통해, 또는 임의의 종류의 네트워크, 예를 들어, 유선 또는 무선 네트워크 또는 이들의 임의의 조합, 또는 임의의 종류의 사설 및 공용 네트워크, 또는 이들의 임의의 종류의 조합을 통해, 인코딩된 화상 데이터(21) 또는 인코딩된 데이터(13)를 송신 또는 수신하도록 구성될 수 있다.
통신 인터페이스(22)는, 예를 들어, 통신 링크 또는 통신 네트워크를 통한 송신을 위해, 인코딩된 화상 데이터(21)를 적절한 포맷, 예를 들어, 패킷들로 패키징하도록 구성될 수 있다.
통신 인터페이스(22)의 상대방을 형성하는 통신 인터페이스(28)는, 예를 들어, 인코딩된 데이터(13)를 패키징-해제하여 인코딩된 화상 데이터(21)를 획득하도록 구성될 수 있다.
통신 인터페이스(22) 및 통신 인터페이스(28) 양자 모두는 소스 디바이스(12)로부터 목적지 디바이스(14)를 포인팅하는 도 1a에서의 인코딩된 화상 데이터(13)에 대한 화살표로 표시되는 바와 같은 단방향 통신 인터페이스들로서, 또는 양방향 통신 인터페이스들로서 구성될 수 있고, 통신 링크 및/또는 데이터 송신, 예를 들어, 인코딩된 화상 데이터 송신에 관련된 임의의 다른 정보를 확인응답하고 교환하기 위해, 예를 들어, 메시지들을 전송 및 수신하도록, 예를 들어, 접속을 셋 업하도록, 구성될 수 있다.
디코더(30)는 인코딩된 화상 데이터(21)를 수신하도록 그리고 디코딩된 화상 데이터(31) 또는 디코딩된 화상(31)을 제공하도록 구성된다(추가의 상세사항들은, 예를 들어, 도 3 또는 도 5에 기초하여 아래에 설명될 것임).
목적지 디바이스(14)의 후처리기(32)는 디코딩된 화상 데이터(31)(재구성된 화상 데이터라고 또한 불림), 예를 들어, 디코딩된 화상(31)을 후처리하여, 후처리된 화상 데이터(33), 예를 들어, 후처리된 화상(33)을 획득하도록 구성된다. 후처리 유닛(32)에 의해 수행되는 후처리는, 예를 들어, (예를 들어, YCbCr로부터 RGB로의) 컬러 포맷 변환, 컬러 보정, 트리밍, 또는 재-샘플링, 또는, 예를 들어, 디스플레이 디바이스(34)에 의한 디스플레이를 위해, 예를 들어, 디코딩된 화상 데이터(31)를 준비하기 위한, 임의의 다른 처리를 포함할 수 있다.
목적지 디바이스(14)의 디스플레이 디바이스(34)는, 예를 들어, 사용자 또는 뷰어에게, 화상을 디스플레이하기 위해 후처리된 화상 데이터(33)를 수신하도록 구성된다. 디스플레이 디바이스(34)는 재구성된 화상을 표현하기 위한 임의의 종류의 디스플레이, 예를 들어, 집적된 또는 외부 디스플레이 또는 모니터이거나 또는 이를 포함할 수 있다. 이러한 디스플레이들은, 예를 들어, LCD(liquid crystal displays), OLED(organic light emitting diodes) 디스플레이들, 플라즈마 디스플레이들, 프로젝터들, 마이크로 LED 디스플레이들, LCoS(liquid crystal on silicon), DLP(digital light processor) 또는 임의의 종류의 다른 디스플레이를 포함할 수 있다.
도 1a는 소스 디바이스(12) 및 목적지 디바이스(14)를 개별 디바이스들로서 묘사하더라도, 디바이스들의 실시예들은 양자 모두 또는 양자 모두의 기능성들, 소스 디바이스(12) 또는 대응하는 기능성 및 목적지 디바이스(14) 또는 대응하는 기능성을 또한 포함할 수 있다. 이러한 실시예들에서, 소스 디바이스(12) 또는 대응하는 기능성 및 목적지 디바이스(14) 또는 대응하는 기능성은 동일한 하드웨어 및/또는 소프트웨어를 사용하여 또는 개별 하드웨어 및/또는 소프트웨어 또는 이들의 임의의 조합에 의해 구현될 수 있다.
이러한 설명에 기초하여 기술자에게는 명백할 바와 같이, 도 1a에 도시되는 바와 같은 소스 디바이스(12) 및/또는 목적지 디바이스(14) 내의 기능성들 또는 상이한 유닛들의 기능성들의 존재 및 (정확한) 분할은 실제 디바이스 및 애플리케이션에 의존하여 달라질 수 있다.
인코더(20)(예를 들어, 비디오 인코더(20)) 및 디코더(30)(예를 들어, 비디오 디코더(30)) 각각은, 하나 이상의 마이크로프로세서, DSP(digital signal processors), ASIC(application-specific integrated circuits), FPGA(field-programmable gate arrays), 이산 로직, 하드웨어, 비디오 코딩 전용 또는 이들의 임의의 조합과 같은, 다양한 적합한 회로(예를 들어, 처리 회로) 중 임의의 것으로서 구현될 수 있다. 이러한 기법들이 부분적으로 소프트웨어로 구현되면, 디바이스는 소프트웨어에 대한 명령어들을 적합한, 비일시적 컴퓨터 판독 가능 저장 매체에 저장할 수 있고, 본 개시내용의 기법들을 수행하기 위해 하나 이상의 프로세서를 사용하여 하드웨어로 이러한 명령어들을 실행할 수 있다. (하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합 등을 포함하는) 전술한 것 중 임의의 것이 하나 이상의 프로세서인 것으로 고려될 수 있다. 비디오 인코더(20) 및 비디오 디코더(30) 각각은 하나 이상의 인코더 또는 디코더에 포함될 수 있고, 이들 중 어느 하나는 각각의 디바이스에서 조합된 인코더/디코더(CODEC)의 일부분으로서 집적될 수 있다.
소스 디바이스(12)는 비디오 인코딩 디바이스 또는 비디오 인코딩 장치라고 지칭될 수 있다. 목적지 디바이스(14)는 비디오 디코딩 디바이스 또는 비디오 디코딩 장치라고 지칭될 수 있다. 소스 디바이스(12) 및 목적지 디바이스(14)는 비디오 코딩 디바이스들 또는 비디오 코딩 장치들의 예들일 수 있다.
소스 디바이스(12) 및 목적지 디바이스(14)는, 임의의 종류의 핸드헬드 또는 고정 디바이스들, 예를 들어, 노트북 또는 랩톱 컴퓨터들, 모바일 폰들, 스마트 폰들, 태블릿들 또는 태블릿 컴퓨터들, 카메라들, 데스크톱 컴퓨터들, 셋-톱 박스들, 텔레비전들, 디스플레이 디바이스들, 디지털 매체 플레이어들, 비디오 게이밍 콘솔들, (콘텐츠 서비스 서버들 또는 콘텐츠 전달 서버들과 같은) 비디오 스트리밍 디바이스들, 방송 수신기 디바이스, 방송 송신기 디바이스 등을 포함하는 광범위한 디바이스들 중 임의의 것을 포함할 수 있고, 어떠한 운영 체제도 사용하지 않거나 또는 임의의 종류의 운영 체제를 사용할 수 있다.
일부 경우들에서, 소스 디바이스(12) 및 목적지 디바이스(14)는 무선 통신을 위해 구비될 수 있다. 따라서, 소스 디바이스(12) 및 목적지 디바이스(14)는 무선 통신 디바이스들일 수 있다.
일부 경우들에서, 도 1a에 예시되는 비디오 코딩 시스템(10)은 단지 예일 뿐이고, 본 출원의 기법들은 인코딩 및 디코딩 디바이스들 사이의 임의의 데이터 통신을 반드시 포함하는 것은 아닌 비디오 코딩 설정들(예를 들어, 비디오 인코딩 또는 비디오 디코딩)에 적용될 수 있다. 다른 예들에서, 데이터는 로컬 메모리로부터 검색되거나, 네트워크를 통해 스트리밍되거나, 등이다. 비디오 인코딩 디바이스는 데이터를 인코딩하여 메모리에 저장할 수 있고, 및/또는 비디오 디코딩 디바이스는 메모리로부터 데이터를 검색하고 디코딩할 수 있다. 일부 예들에서, 인코딩 및 디코딩은 서로 통신하지 않지만 데이터를 메모리에 단순히 인코딩하고 및/또는 메모리로부터 데이터를 검색 및 디코딩하는 디바이스들에 의해 수행된다.
비디오 인코더(20)를 참조하여 설명되는 위 예들 각각에 대해, 비디오 디코더(30)는 상반되는 프로세스를 수행하도록 구성될 수 있다는 점이 이해되어야 한다. 신택스 엘리먼트들을 시그널링하는 것에 관하여, 비디오 디코더(30)는 이러한 신택스 엘리먼트를 수신 및 파싱하도록 그리고 따라서 연관된 비디오 데이터를 디코딩하도록 구성될 수 있다. 일부 예들에서, 비디오 인코더(20)는 하나 이상의 신택스 엘리먼트를 인코딩된 비디오 비트스트림으로 엔트로피 인코딩할 수 있다. 이러한 예들에서, 비디오 디코더(30)는 이러한 신택스 엘리먼트를 파싱하고 따라서 연관된 비디오 데이터를 디코딩할 수 있다.
도 1b는 예시적인 실시예에 따른 도 2의 인코더(20) 및/또는 도 3의 디코더(30)를 포함하는 다른 예시적인 비디오 코딩 시스템(40)의 예시적인 도면이다. 시스템(40)은 본 출원에서 설명되는 다양한 예들에 따른 기법들을 구현할 수 있다. 예시된 구현예에서, 비디오 코딩 시스템(40)은 이미징 디바이스(들)(41), 비디오 인코더(20), 비디오 디코더(30)(및/또는 처리 유닛(들)(46)의 로직 회로(47)를 통해 구현되는 비디오 코더), 안테나(42), 하나 이상의 프로세서(들)(43), 하나 이상의 메모리 저장소(들)(44), 및/또는 디스플레이 디바이스(45)를 포함할 수 있다.
예시되는 바와 같이, 이미징 디바이스(들)(41), 안테나(42), 처리 유닛(들)(46), 로직 회로(47), 비디오 인코더(20), 비디오 디코더(30), 프로세서(들)(43), 메모리 저장소(들)(44), 및/또는 디스플레이 디바이스(45)는 서로 통신하는 것이 가능할 수 있다. 논의되는 바와 같이, 비디오 인코더(20) 및 비디오 디코더(30) 양자 모두로 예시되더라도, 비디오 코딩 시스템(40)은 다양한 예들에서 비디오 인코더(20)만 또는 비디오 디코더(30)만을 포함할 수 있다.
도시되는 바와 같이, 일부 예들에서, 비디오 코딩 시스템(40)은 안테나(42)를 포함할 수 있다. 안테나(42)는, 예를 들어, 비디오 데이터의 인코딩된 비트스트림을 송신 또는 수신하도록 구성될 수 있다. 추가로, 일부 예들에서, 비디오 코딩 시스템(40)은 디스플레이 디바이스(45)를 포함할 수 있다. 디스플레이 디바이스(45)는 비디오 데이터를 제시하도록 구성될 수 있다. 도시되는 바와 같이, 일부 예들에서, 로직 회로(47)는 처리 유닛(들)(46)을 통해 구현될 수 있다. 처리 유닛(들)(46)은 ASIC(application-specific integrated circuit) 로직, 그래픽 프로세서(들), 범용 프로세서(들) 등을 포함할 수 있다. 비디오 코딩 시스템(40)은, ASIC(application-specific integrated circuit) 로직, 그래픽 프로세서(들), 범용 프로세서(들) 등을 유사하게 포함할 수 있는, 선택적 프로세서(들)(43)를 또한 포함할 수 있다. 일부 예들에서, 로직 회로(47)는 하드웨어, 비디오 코딩 전용 하드웨어 등을 통해 구현될 수 있고, 프로세서(들)(43)는 범용 소프트웨어, 운영 체제들 등을 통해 구현될 수 있다. 또한, 메모리 저장소(44)는 휘발성 메모리(예를 들어, SRAM(Static Random Access Memory), DRAM(Dynamic Random Access Memory) 등) 또는 비-휘발성 메모리(예를 들어, 플래시 메모리 등) 등과 같은 임의의 타입의 메모리일 수 있다. 비-제한적인 예에서, 메모리 저장소(들)(44)는 캐시 메모리에 의해 구현될 수 있다. 일부 예들에서, 로직 회로(47)는 (예를 들어 이미지 버퍼의 구현을 위해) 메모리 저장소(들)(44)에 액세스할 수 있다. 다른 예들에서, 로직 회로(47) 및/또는 처리 유닛(들)(46)은 이미지 버퍼 등의 구현을 위해 메모리 저장소(예를 들어, 캐시 등)를 포함할 수 있다.
일부 예들에서, 로직 회로를 통해 구현되는 비디오 인코더(20)는, (예를 들어, 처리 유닛(들)(46) 또는 메모리 저장소(들)(44)를 통한) 이미지 버퍼 및 (예를 들어, 처리 유닛(들)(46)을 통한) 그래픽 처리 유닛을 포함할 수 있다. 그래픽 처리 유닛은 이미지 버퍼에 통신가능하게 연결될 수 있다. 그래픽 처리 유닛은 도 2에 관하여 논의되는 바와 같은 다양한 모듈들 및/또는 본 명세서에 설명되는 임의의 다른 인코더 시스템 또는 서브시스템을 구현하기 위해 로직 회로(47)를 통해 구현되는 바와 같은 비디오 인코더(20)를 포함할 수 있다. 로직 회로는 본 명세서에서 논의되는 바와 같은 다양한 동작들을 수행하도록 구성될 수 있다.
비디오 디코더(30)는 도 3의 디코더(30)에 관하여 논의되는 바와 같은 다양한 모듈들 및/또는 본 명세서에 설명되는 임의의 다른 디코더 시스템 또는 서브시스템을 구현하기 위해 로직 회로(47)를 통해 구현되는 것과 유사한 방식으로 구현될 수 있다. 일부 예들에서, 비디오 디코더(30)는 (예를 들어, 처리 유닛(들)(420) 또는 메모리 저장소(들)(44)를 통한) 이미지 버퍼 및 (예를 들어, 처리 유닛(들)(46)을 통한) 그래픽 처리 유닛을 포함할 수 있는 로직 회로를 통해 구현될 수 있다. 그래픽 처리 유닛은 이미지 버퍼에 통신가능하게 연결될 수 있다. 그래픽 처리 유닛은 도 3에 관하여 논의되는 바와 같은 다양한 모듈들 및/또는 본 명세서에 설명되는 임의의 다른 디코더 시스템 또는 서브시스템을 구현하기 위해 로직 회로(47)를 통해 구현되는 비디오 디코더(30)를 포함할 수 있다.
일부 예들에서, 비디오 코딩 시스템(40)의 안테나(42)는 비디오 데이터의 인코딩된 비트스트림을 수신하도록 구성될 수 있다. 논의되는 바와 같이, 인코딩된 비트스트림은, 코딩 파티션과 연관된 데이터(예를 들어, 변환 계수들 또는 양자화된 변환 계수들, (논의되는 바와 같은) 선택적 표시자들, 및/또는 코딩 파티션을 정의하는 데이터)와 같은, 본 명세서에서 논의되는 바와 같은 비디오 프레임을 인코딩하는 것과 연관된 데이터, 표시자들, 인덱스 값들, 모드 선택 데이터 등을 포함할 수 있다. 비디오 코딩 시스템(40)은 안테나(42)에 연결되는 그리고 인코딩된 비트스트림을 디코딩하도록 구성되는 비디오 디코더(30)를 또한 포함할 수 있다. 디스플레이 디바이스(45)는 비디오 프레임들을 제시하도록 구성된다.
도 2는 본 출원의 기법들을 구현하도록 구성되는 예시적인 비디오 인코더(20)의 개략적인/개념적인 블록도를 도시한다. 도 2의 예에서, 비디오 인코더(20)는 잔차 계산 유닛(204), 변환 처리 유닛(206), 양자화 유닛(208), 역 양자화 유닛(210), 및 역변환 처리 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터 유닛(220), DPB(decoded picture buffer)(230), 예측 처리 유닛(260) 및 엔트로피 인코딩 유닛(270)을 포함한다. 예측 처리 유닛(260)은 인터 예측 유닛(244), 인트라 예측 유닛(254) 및 모드 선택 유닛(262)을 포함할 수 있다. 인터 예측 유닛(244)은 모션 추정 유닛 및 모션 보상 유닛(도시되지 않음)을 포함할 수 있다. 도 2에 도시되는 바와 같은 비디오 인코더(20)는 하이브리드 비디오 인코더 또는 하이브리드 비디오 코덱에 따른 비디오 인코더라고 또한 지칭될 수 있다.
예를 들어, 잔차 계산 유닛(204), 변환 처리 유닛(206), 양자화 유닛(208), 예측 처리 유닛(260) 및 엔트로피 인코딩 유닛(270)은 인코더(20)의 순방향 신호 경로를 형성하는 반면, 예를 들어, 역 양자화 유닛(210), 역변환 처리 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터(220), DPB(decoded picture buffer)(230), 예측 처리 유닛(260)은 인코더의 역방향 신호 경로를 형성하며, 인코더의 역방향 신호 경로는 디코더의 신호 경로에 대응한다(도 3의 디코더(30) 참조).
인코더(20)는, 예를 들어, 입력(202)에 의해, 화상(201) 또는 화상(201)의 블록(203), 예를 들어, 비디오 또는 비디오 시퀀스를 형성하는 화상들의 시퀀스의 화상을 수신하도록 구성된다. 화상 블록(203)은 현재 화상 블록 또는 코딩될 화상 블록이라고 또한 지칭될 수 있고, 화상(201)은 (특히 비디오 코딩에서 현재 화상을 다른 화상들, 예를 들어, 동일한 비디오 시퀀스, 즉, 현재 화상을 또한 포함하는 비디오 시퀀스의 이전에 인코딩된 및/또는 디코딩된 화상들과 구별하기 위해) 코딩될 현재 화상 또는 화상이라고 또한 지칭될 수 있다.
파티셔닝
인코더(20)의 실시예들은 화상(201)을 복수의 블록들, 예를 들어, 블록(203)과 같은 블록으로, 통상적으로 복수의 비-중첩 블록들로 파티셔닝하도록 구성되는 파티셔닝 유닛(도 2에 묘사되지 않음)을 포함할 수 있다. 파티셔닝 유닛은 비디오 시퀀스의 모든 화상들 및 블록 크기를 정의하는 대응하는 그리드에 대해 동일한 블록 크기를 사용하도록, 또는 화상들 또는 화상들의 서브세트들 또는 그룹들 사이에서 블록 크기를 변경하도록, 그리고 각각의 화상을 대응하는 블록들로 파티셔닝하도록 구성될 수 있다.
하나의 예에서, 비디오 인코더(20)의 예측 처리 유닛(260)은 위에 설명된 파티셔닝 기법들의 임의의 조합을 수행하도록 구성될 수 있다.
화상(201)과 같이, 블록(203)은 다시, 화상(201)보다 더 작은 치수의 것이더라도, 강도 값들(샘플 값들)이 있는 샘플들의 2-차원 어레이 또는 행렬이거나 또는 그것으로 간주될 수 있다. 다시 말해서, 블록(203)은, 적용된 컬러 포맷에 의존하여, 예를 들어, 하나의 샘플 어레이(예를 들어, 흑백 화상(201)의 경우에는 루마 어레이) 또는 3개의 샘플 어레이들(예를 들어, 컬러 화상(201)의 경우에는 루마 및 2개의 크로마 어레이들) 또는 임의의 다른 수 및/또는 종류의 어레이들을 포함할 수 있다. 블록(203)의 수평 및 수직 방향(또는 축)에서의 샘플들의 수는 블록(203)의 크기를 정의한다.
도 2에 도시되는 바와 같은 인코더(20)는 화상(201)을 블록 단위로 인코딩하도록 구성된다, 예를 들어, 인코딩 및 예측이 블록(203) 당 수행된다.
잔차 계산
잔차 계산 유닛(204)은, 예를 들어, 화상 블록(203)의 샘플 값들로부터 예측 블록(265)의 샘플 값들을 샘플 단위로(픽셀 단위로) 감산하여 샘플 도메인에서 잔차 블록(205)을 획득하는 것에 의해, 화상 블록(203) 및 예측 블록(265)에 기초하여 잔차 블록(205)을 계산하도록 구성된다(예측 블록(265)에 관한 추가의 상세사항들이 나중에 제공됨).
변환
변환 처리 유닛(206)은, 변환 도메인에서 변환 계수들(207)을 획득하기 위해 잔차 블록(205)의 샘플 값들에, 변환, 예를 들어, DCT(discrete cosine transform) 또는 DST(discrete sine transform)를 적용하도록 구성될 수 있다. 변환 계수들(207)은 변환 잔차 계수들이라고 또한 지칭될 수 있고, 변환 도메인에서 잔차 블록 205를 표현할 수 있다.
변환 처리 유닛(206)은, HEVC/H.265에 대해 명시되는 변환들과 같은, DCT/DST의 정수 근사화들을 적용하도록 구성될 수 있다. 직교 DCT 변환에 비해, 이러한 정수 근사화들은 특정 인자에 의해 통상적으로 스케일링된다. 순방향 및 역변환들에 의해 처리되는 잔차 블록의 놈(norm)을 보존하기 위해, 추가적인 스케일링 인자들이 변환 처리의 부분으로서 적용된다. 이러한 스케일링 인자들은 스케일링 인자들이 시프트 연산에 대한 2의 거듭제곱, 변환 계수들의 비트 심도, 정확도와 구현 비용들 사이의 트레이드오프 등인 것과 같이 특정 제약들에 기초하여 통상적으로 선택된다. 구체적 스케일링 인자들은, 디코더(30)에서, 예를 들어, 역변환 처리 유닛(212)에 의해 역변환(및, 예를 들어, 인코더(20)에서 역변환 처리 유닛(212)에 의해 대응하는 역변환)에 대해, 예를 들어, 명시되고, 인코더(20)에서, 예를 들어, 변환 처리 유닛(206)에 의해, 순방향 변환에 대한 대응하는 스케일링 인자들이 따라서 명시될 수 있다.
양자화
양자화 유닛(208)은, 예를 들어, 스칼라 양자화 또는 벡터 양자화를 적용하는 것에 의해, 변환 계수들(207)을 양자화하여 양자화된 변환 계수들(209)을 획득하도록 구성된다. 양자화된 변환 계수들(209)은 양자화된 잔차 계수들(209)이라고 또한 지칭될 수 있다. 양자화 프로세스는 변환 계수들(207)의 일부 또는 전부와 연관된 비트 심도를 감소시킬 수 있다. 예를 들어, n-비트 변환 계수는 양자화 동안 m-비트 변환 계수로 라운딩 다운될 수 있으며, 여기서 n은 m 초과이다. 양자화의 정도는 QP(quantization parameter)를 조정하는 것에 의해 수정될 수 있다. 예를 들어, 스칼라 양자화에 대해, 더 미세한 또는 더 거친 양자화를 달성하기 위해 상이한 스케일링이 적용될 수 있다. 더 작은 양자화 단계 크기들은 더 미세한 양자화에 대응하는 반면, 더 큰 양자화 단계 크기들은 더 거친 양자화에 대응한다. 적용가능한 양자화 단계 크기는 QP(quantization parameter)에 의해 표시될 수 있다. 양자화 파라미터는 예를 들어 미리 정의된 세트의 적용가능한 양자화 단계 크기들에 대한 인덱스일 수 있다. 예를 들어, 작은 양자화 파라미터들은 미세한 양자화(작은 양자화 단계 크기들)에 대응할 수 있고 큰 양자화 파라미터들은 거친 양자화(큰 양자화 단계 크기들)에 대응할 수 있거나 또는 그 반대일 수 있다. 양자화는 양자화 단계 크기에 의한 제산을 포함할 수 있고, 예를 들어, 역 양자화 유닛(210)에 의한, 대응하는 또는 역인 양자화해제는 양자화 단계 크기에 의한 승산을 포함할 수 있다. 일부 표준들, 예를 들어, HEVC에 따른 실시예들은 양자화 파라미터를 사용하여 양자화 단계 크기를 결정하도록 구성될 수 있다. 일반적으로, 양자화 단계 크기는 제산을 포함하는 방정식의 고정 소수점 근사화를 사용하여 양자화 파라미터에 기초하여 계산될 수 있다. 잔차 블록의 놈(norm)을 복원하기 위해 양자화 및 양자화해제에 대해 추가적인 스케일링 인자들이 도입될 수 있고, 이는 양자화 단계 크기 및 양자화 파라미터에 대한 방정식의 고정 소수점 근사화에서 사용되는 스케일링 때문에 수정될 수 있다. 하나의 예시적인 구현에서, 역변환 및 양자화해제의 스케일링이 조합될 수 있다. 대안적으로, 맞춤화된 양자화 테이블들이 사용되어 인코더로부터 디코더로, 예를 들어, 비트스트림으로 시그널링될 수 있다. 양자화는 손실 동작이며, 손실은 양자화 단계 크기들이 증가함에 따라 증가한다.
역 양자화 유닛(210)은, 예를 들어, 양자화 유닛(208)과 동일한 양자화 단계 크기에 기초하여 또는 이를 사용하여 양자화 유닛(208)에 의해 적용되는 양자화 스킴의 역을 적용하는 것에 의해, 양자화 유닛(208)의 역 양자화를 양자화된 계수들에 적용하여 양자화해제된 계수들(211)을 획득하도록 구성된다. 양자화해제된 계수들(211)은 양자화해제된 잔차 계수들(211)이라고 또한 지칭될 수 있고, -양자화에 의한 손실로 인해 변환 계수들과 통상적으로 동일하지 않더라도- 변환 계수들(207)에 대응할 수 있다.
역변환 처리 유닛(212)은 변환 처리 유닛(206)에 의해 적용되는 변환의 역변환, 예를 들어, 역 DCT(discrete cosine transform) 또는 역 DST(discrete sine transform)를 적용하여, 샘플 도메인에서 역변환 블록(213)을 획득하도록 구성된다. 역변환 블록(213)은 역변환 양자화해제된 블록(213) 또는 역변환 잔차 블록(213)이라고 또한 지칭될 수 있다.
재구성 유닛(214)(예를 들어, 합산기(214))은, 예를 들어, 재구성된 잔차 블록(213)의 샘플 값들 및 예측 블록(265)의 샘플 값들을 가산하는 것에 의해, 역변환 블록(213)(즉, 재구성된 잔차 블록(213))을 예측 블록(265)에 가산하여 샘플 도메인에서 재구성된 블록(215)을 획득하도록 구성된다.
선택적으로, 버퍼 유닛(216)(줄여서 "버퍼"(216)), 예를 들어, 라인 버퍼(216)는, 재구성된 블록(215) 및 각각의 샘플 값들을, 예를 들어, 인트라 예측을 위해, 버퍼링하도록 또는 저장하도록 구성된다. 추가 실시예들에서, 인코더는 임의의 종류의 추정 및/또는 예측, 예를 들어, 인트라 예측을 위해 필터링되지 않은 재구성된 블록들 및/또는 버퍼 유닛(216)에 저장되는 각각의 샘플 값들을 사용하도록 구성될 수 있다.
인코더(20)의 실시예들은, 예를 들어, 버퍼 유닛(216)이 인트라 예측(254)을 위해 뿐만 아니라 루프 필터 유닛 또는 루프 필터(220)을 위해 재구성된 블록들(215)을 저장하기 위해 사용되도록, 및/또는, 예를 들어, 버퍼 유닛(216) 및 디코딩된 화상 버퍼(또는 DPB) 유닛(230)이 하나의 버퍼를 형성하도록 구성될 수 있다. 추가 실시예들은 필터링된 블록들(221) 및/또는 디코딩된 화상 버퍼(230)로부터의 블록들 또는 샘플들을 인트라 예측(254)을 위한 입력 또는 기반으로서 사용하도록 구성될 수 있다.
루프 필터 유닛(220)(줄여서 "루프 필터"(220))은, 재구성된 블록(215)을 필터링하여 필터링된 블록(221)을 획득하도록, 예를 들어, 픽셀 전이들을 평활화하도록, 또는 그렇지 않으면 비디오 품질을 개선하도록 구성된다. 루프 필터 유닛(220)은 블록화-해제 필터, SAO(sample-adaptive offset) 필터 또는 다른 필터들, 예를 들어, 쌍방 필터 또는 ALF(adaptive loop filter) 또는 샤프닝 또는 평활화 필터들 또는 협업 필터들과 같은 하나 이상의 루프 필터를 표현하도록 의도된다. 루프 필터 유닛(220)이 인 루프 필터인 것으로서 도 2에 도시되더라도, 다른 구성들에서, 루프 필터 유닛(220)은 포스트 루프 필터로서 구현될 수 있다. 필터링된 블록(221)은 필터링된 재구성된 블록(221)이라고 또한 지칭될 수 있다. 루프 필터 유닛(220)이 재구성된 코딩 블록에 대해 필터링 동작을 수행한 후에, 디코딩된 화상 버퍼(230)는 재구성된 코딩 블록을 저장할 수 있다.
인코더(20)의 실시예들(각각 루프 필터 유닛(220))은, 예를 들어, 디코더(30)가 디코딩을 위해 동일한 루프 필터 파라미터들을 수신하고 적용할 수 있도록, 예를 들어, 직접 또는 엔트로피 인코딩 유닛(270) 또는 임의의 다른 엔트로피 코딩 유닛을 통해 엔트로피 인코딩되는 (샘플 적응적 오프셋 정보와 같은) 루프 필터 파라미터들을 출력하도록 구성될 수 있다.
DPB(decoded picture buffer)(230)는 비디오 인코더(20)에 의해 비디오 데이터를 인코딩함에 있어서 사용하기 위해 참조 화상 데이터를 저장하는 참조 화상 메모리일 수 있다. DPB(230)는, SDRAM(synchronous DRAM), MRAM(magnetoresistive RAM), RRAM(resistive RAM), 또는 다른 타입들의 메모리 디바이스들을 포함하는, DRAM(dynamic random access memory)과 같은, 다양한 메모리 디바이스들 중 임의의 것에 의해 형성될 수 있다. DPB(230) 및 버퍼(216)는 동일한 메모리 디바이스 또는 개별 메모리 디바이스들에 의해 제공될 수 있다. 일부 예에서, DPB(decoded picture buffer)(230)는 필터링된 블록(221)을 저장하도록 구성된다. 디코딩된 화상 버퍼(230)는 동일한 현재 화상의 또는 상이한 화상들, 예를 들어, 이전에 재구성된 화상들의 다른 이전에 필터링된 블록들, 예를 들어, 이전에 재구성된 그리고 필터링된 블록들(221)을 저장하도록 추가로 구성될 수 있고, 예를 들어, 인터 예측을 위해, 완전히 이전에 재구성된, 즉, 디코딩된, 화상들(및 대응하는 참조 블록들 및 샘플들) 및/또는 부분적으로 재구성된 현재 화상(및 대응하는 참조 블록들 및 샘플들)을 제공할 수 있다. 일부 예에서, 재구성된 블록(215)이 재구성되지만 인-루프 필터링이 없으면, DPB(decoded picture buffer)(230)는 재구성된 블록(215)을 저장하도록 구성된다.
블록 예측 처리 유닛(260)이라고 또한 지칭되는 예측 처리 유닛(260)은 블록(203)(현재 화상(201)의 현재 블록(203)) 및 재구성된 화상 데이터, 예를 들어, 버퍼(216)로부터의 동일한 (현재) 화상의 참조 샘플들 및/또는 디코딩된 화상 버퍼(230)로부터의 하나의 또는 복수의 이전에 디코딩된 화상으로부터의 참조 화상 데이터(231)를 수신 또는 획득하도록, 그리고 예측을 위해 이러한 데이터를 처리하도록, 즉, 인터 예측된 블록(245) 또는 인트라 예측된 블록(255)일 수 있는 예측 블록(265)을 제공하도록 구성된다.
모드 선택 유닛(262)은 잔차 블록(205)의 계산을 위한 그리고 재구성된 블록(215)의 재구성을 위한 예측 블록(265)으로서 사용될 예측 모드(예를 들어, 인트라 또는 인터 예측 모드) 및/또는 대응하는 예측 블록(245 또는 255)을 선택하도록 구성될 수 있다.
모드 선택 유닛(262)의 실시예들은 (예를 들어, 예측 처리 유닛(260)에 의해 지원되는 것들로부터) 파티셔닝 및 예측 모드를 선택하도록 구성될 수 있고, 이는 최상의 매칭 또는 다시 말해서 최소 잔차(최소 잔차는 송신 또는 저장을 위한 더 양호한 압축을 의미함), 또는 최소 시그널링 오버헤드(최소 시그널링 오버헤드는 송신 또는 저장을 위한 더 양호한 압축을 의미함)를 제공하거나, 또는 이는 양자 모두를 고려하거나 또는 균형화한다. 모드 선택 유닛(262)은 RDO(rate distortion optimization)에 기초하여 예측 모드를 결정하도록, 즉, 최소 레이트 왜곡 최적화를 제공하는 또는 연관된 레이트 왜곡이 예측 모드 선택 기준을 적어도 충족시키는 예측 모드를 선택하도록 구성될 수 있다.
다음에서 예시적인 인코더(20)에 의해 수행되는 예측 처리(예를 들어, 예측 처리 유닛(260) 및 모드 선택(예를 들어, 모드 선택 유닛(262)에 의함)이 보다 상세히 설명될 것이다.
위에 설명된 바와 같이, 인코더(20)는 (미리 결정된) 예측 모드들의 세트로부터 최상 또는 최적 예측 모드를 결정 또는 선택하도록 구성된다. 예측 모드들의 세트는, 예를 들어, 인트라 예측 모드들 및/또는 인터 예측 모드들을 포함할 수 있다.
인트라 예측 모드들의 세트는 35개의 상이한 인트라 예측 모드들, 예를 들어, H.265에서 정의되는 바와 같이, 예를 들어, DC(또는 평균) 모드 및 평면 모드와 같은 비-지향성 모드들, 또는 지향성 모드들을 포함할 수 있거나, 또는 67개의 상이한 인트라 예측 모드들, 예를 들어, 개발 중인 H.266에서 정의되는 바와 같이, 예를 들어, DC(또는 평균) 모드 및 평면 모드와 같은 비-지향성 모드들, 또는 지향성 모드들을 포함할 수 있다. 그러나, 본 개시내용은, 35 또는 67보다 크거나 작을 수도 있는 특정한 개수의 인트라 예측 모드로 제한되지 않는다.
(또는 가능한) 인터 예측 모드들의 세트는 이용가능한 참조 화상들(즉, 예를 들어, DPB(230)에 저장되는, 이전의 적어도 부분적으로 디코딩된 화상들) 및 다른 인터 예측 파라미터들, 예를 들어, 최상의 매칭 참조 블록을 검색하기 위해, 참조 화상의, 전체 참조 화상 또는 그 일부분만, 예를 들어, 현재 블록의 영역 주위의 검색 윈도우 영역만이 사용되는지, 및/또는, 예를 들어, 1/2/반-화소 및/또는 1/4-화소 보간과 같은, 예를 들어, 픽셀 보간이 적용되는지 여부에 의존한다.
위 예측 모드들에 추가적으로, 스킵 모드 및/또는 직접 모드가 적용될 수 있다.
예측 처리 유닛 (260)은, 예를 들어, QT(quadtree-partitioning), BT(binary partitioning) 또는 TT(ternary-tree-partitioning) 또는 이들의 임의의 조합을 반복적으로 사용하여, 블록(203)을 더 작은 블록 파티션들 또는 서브-블록들로 파티셔닝하도록, 그리고, 예를 들어, 블록 파티션들 또는 서브-블록들 각각에 대한 예측을 수행하도록 추가로 구성될 수 있고, 모드 선택은 파티셔닝된 블록(203)의 트리-구조 및 블록 파티션들 또는 서브-블록들 각각에 적용되는 예측 모드들의 선택을 포함한다.
인터 예측 유닛(244)은 ME(motion estimation) 유닛(도 2에 도시되지 않음) 및 MC(motion compensation) 유닛(도 2에 도시되지 않음)을 포함할 수 있다. 모션 추정 유닛은, 모션 추정을 위해, 화상 블록(203)(현재 화상(201)의 현재 화상 블록(203)) 및 디코딩된 화상(231), 또는 적어도 하나의 또는 복수의 이전에 재구성된 블록, 예를 들어, 하나의 또는 복수의 다른/상이한 이전에 디코딩된 화상(231)의 재구성된 블록을 수신 또는 획득하도록 구성된다. 예를 들어, 비디오 시퀀스는 현재 화상 및 이전에 디코딩된 화상들(231)을 포함할 수 있거나, 또는 다시 말해서, 현재 화상 및 이전에 디코딩된 화상들(231)은 비디오 시퀀스를 형성하는 화상들의 부분일 수 있거나 또는 그 시퀀스를 형성할 수 있다.
인코더(20)는, 예를 들어, 복수의 다른 화상들 중 동일한 또는 상이한 화상들의 복수의 참조 블록들로부터 참조 블록을 선택하도록 그리고 참조 화상(또는 참조 화상 인덱스, ...) 및/또는 참조 블록의 위치(x, y 좌표들)와 현재 블록의 위치 사이의 오프셋(공간적 오프셋)을 모션 추정 유닛(도 2에 도시되지 않음)에 인터 예측 파라미터들로서 제공하도록 구성될 수 있다. 이러한 오프셋은 MV(motion vector)라고 또한 불린다.
모션 보상 유닛은 인터 예측 파라미터를 획득하도록, 예를 들어, 수신하도록 그리고 인터 예측 파라미터에 기초하여 또는 이를 사용하여 인터 예측을 수행하여 인터 예측 블록(245)을 획득하도록 구성된다. 모션 보상 유닛(도 2에 도시되지 않음)에 의해 수행되는, 모션 보상은 모션 추정에 의해 결정되는 모션/블록 벡터에 기초하여 예측 블록을 페치하는 것 또는 생성하는 것, 가능하게는 서브-픽셀 정밀도에 대한 보간들을 수행하는 것을 수반할 수 있다. 보간 필터링은 알려진 픽셀 샘플들로부터 추가적인 픽셀 샘플들을 생성할 수 있고, 따라서 화상 블록을 코딩하기 위해 사용될 수 있는 후보 예측 블록들의 수를 잠재적으로 증가시킨다. 현재 화상 블록의 PU에 대한 모션 벡터를 수신하면, 모션 보상 유닛(246)은 참조 화상 리스트들 중 하나에서 모션 벡터가 포인팅하는 예측 블록의 위치를 찾아낼 수 있다. 모션 보상 유닛(246)은 비디오 슬라이스의 화상 블록들을 디코딩함에 있어서 비디오 디코더(30)에 의해 사용하기 위한 블록들 및 비디오 슬라이스와 연관된 신택스 엘리먼트들을 또한 생성할 수 있다. 비디오 슬라이스 또는 슬라이스는 동일한 화상의 다른 슬라이스로부터의 데이터에 의존하지 않고 코딩되는 비디오 화상의 파티션이다.
인트라 예측 유닛(254)은 인트라 추정을 위해 동일한 화상의 화상 블록(203)(현재 화상 블록) 및 하나의 또는 복수의 이전에 재구성된 블록, 예를 들어, 재구성된 이웃 블록을 획득하도록, 예를 들어, 수신하도록 구성된다. 인코더(20)는, 예를 들어, 복수의 (미리 결정된) 인트라 예측 모드들로부터 인트라 예측 모드를 선택하도록 구성될 수 있다.
인코더(20)의 실시예들은 최적화 기준, 예를 들어, 최소 잔차(예를 들어, 현재 화상 블록(203)과 가장 유사한 예측 블록(255)을 제공하는 인트라 예측 모드) 또는 최소 레이트 왜곡에 기초하여 인트라 예측 모드를 선택하도록 구성될 수 있다.
인트라 예측 유닛(254)은 인트라 예측 파라미터, 예를 들어, 선택된 인트라 예측 모드에 기초하여 인트라 예측 블록(255)을 결정하도록 추가로 구성된다. 임의의 경우에, 블록에 대한 인트라 예측 모드를 선택한 후에, 인트라 예측 유닛(254)은 인트라 예측 파라미터, 즉, 블록에 대한 선택된 인트라 예측 모드를 표시하는 정보를 엔트로피 인코딩 유닛(270)에 제공하도록 또한 구성된다. 하나의 예에서, 인트라 예측 유닛(254)은 나중에 설명되는 인트라 예측 기법들의 임의의 조합을 수행하도록 구성될 수 있다.
엔트로피 인코딩 유닛(270)은 양자화된 잔차 계수들(209), 인터 예측 파라미터들, 인트라 예측 파라미터, 및/또는 루프 필터 파라미터들에 대해 엔트로피 인코딩 알고리즘 또는 스킴(예를 들어, VLC(variable length coding) 스킴, CALVC(context adaptive VLC scheme), 산술 코딩 스킴, CABAC(context adaptive binary arithmetic coding), SBAC(syntax-based context-adaptive binary arithmetic coding), PIPE(probability interval partitioning entropy) 코딩 또는 다른 엔트로피 인코딩 방법론 또는 기법)을 적용하여, 예를 들어, 인코딩된 비트스트림(21)의 형태로, 출력(272)에 의해 출력될 수 있는 인코딩된 화상 데이터(21)를 개별적으로 또는 공동으로 획득하도록(또는 전혀 그렇지 않도록) 구성된다. 인코딩된 비트스트림(21)은 비디오 디코더(30)에 송신될 수 있거나, 또는 비디오 디코더(30)에 의한 나중의 송신 또는 검색을 위해 보관될 수 있다. 엔트로피 인코딩 유닛(270)은 코딩되고 있는 현재 비디오 슬라이스에 대한 다른 신택스 엘리먼트들을 엔트로피 인코딩하도록 추가로 구성될 수 있다.
비디오 스트림을 인코딩하기 위해 비디오 인코더(20)의 다른 구조적 변형들이 사용될 수 있다. 예를 들어, 비-변환 기반 인코더(20)는 특정 블록들 또는 프레임들에 대해 변환 처리 유닛(206) 없이 직접 잔차 신호를 양자화할 수 있다. 다른 구현에서, 인코더(20)는 단일 유닛으로 조합되는 양자화 유닛(208) 및 역 양자화 유닛(210)을 가질 수 있다.
도 3은 본 출원의 기법들을 구현하도록 구성되는 예시적인 비디오 디코더(30)를 도시한다. 비디오 디코더(30)는, 예를 들어, 인코더에 의해 인코딩되는, 인코딩된 화상 데이터(예를 들어, 인코딩된 비트스트림)(21)를 수신하여, 디코딩된 화상(331)을 획득하도록 구성된다. 디코딩 프로세스 동안, 비디오 디코더(30)는 비디오 인코더(20)로부터 비디오 데이터, 예를 들어, 인코딩된 비디오 슬라이스의 화상 블록들 및 연관된 신택스 엘리먼트들을 표현하는 인코딩된 비디오 비트스트림을 수신한다.
도 3의 예에서, 디코더(30)는 엔트로피 디코딩 유닛(304), 역 양자화 유닛(310), 역변환 처리 유닛(312), 재구성 유닛(314)(예를 들어, 합산기(314)), 버퍼(316), 루프 필터(320), 디코딩된 화상 버퍼(330) 및 예측 처리 유닛(360)을 포함한다. 예측 처리 유닛(360)은 인터 예측 유닛(344), 인트라 예측 유닛(354), 및 모드 선택 유닛(362)을 포함할 수 있다. 비디오 디코더(30)는, 일부 예들에서, 도 2의 비디오 인코더(20)에 관하여 설명되는 인코딩 패스에 일반적으로 상반되는 디코딩 패스를 수행할 수 있다.
엔트로피 디코딩 유닛(304)은 인코딩된 화상 데이터(21)에 엔트로피 디코딩을 수행하여, 예를 들어, 양자화된 계수들(309) 및/또는 디코딩된 코딩 파라미터들(도 3에 도시되지 않음), 예를 들어, 인터 예측 파라미터들, 인트라 예측 파라미터, 루프 필터 파라미터들, 및/또는 다른 신택스 엘리먼트들 중 (디코딩된) 임의의 것 또는 전부를 획득하도록 구성된다. 엔트로피 디코딩 유닛(304)은 인터 예측 파라미터들, 인트라 예측 파라미터 및/또는 다른 신택스 엘리먼트들을 예측 처리 유닛(360)에 전달하도록 추가로 구성된다. 비디오 디코더(30)는 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨에서 신택스 엘리먼트들을 수신할 수 있다.
역 양자화 유닛(310)은 역 양자화 유닛(110)과 기능에 있어서 동일할 수 있고, 역변환 처리 유닛(312)은 역변환 처리 유닛(212)과 기능에 있어서 동일할 수 있고, 재구성 유닛(314)은 재구성 유닛(214)과 기능에 있어서 동일할 수 있고, 버퍼(316)는 버퍼(216)와 기능에 있어서 동일할 수 있고, 루프 필터(320)는 루프 필터(220)와 기능에 있어서 동일할 수 있고, 디코딩된 화상 버퍼(330)는 디코딩된 화상 버퍼(230)와 기능에 있어서 동일할 수 있다.
디코더(30)의 실시예들은 파티셔닝 유닛(도 3에 도시되지 않음)을 포함할 수 있다. 하나의 예에서, 비디오 디코더(30)의 예측 처리 유닛(360)은 위에 설명된 파티셔닝 기법들의 임의의 조합을 수행하도록 구성될 수 있다.
예측 처리 유닛(360)은 인터 예측 유닛(344) 및 인트라 예측 유닛(354)을 포함할 수 있고, 인터 예측 유닛(344)은 인터 예측 유닛(244)과 기능에 있어서 유사할 수 있고, 인트라 예측 유닛(354)은 인트라 예측 유닛(254)과 기능에 있어서 유사할 수 있다. 예측 처리 유닛(360)은 블록 예측을 수행하도록 및/또는 인코딩된 데이터(21)로부터 예측 블록(365)을 획득하도록 그리고 예측 관련 파라미터들 및/또는 선택된 예측 모드에 관한 정보를, 예를 들어, 엔트로피 디코딩 유닛(304)으로부터 (명시적으로 또는 암시적으로) 수신 또는 획득하도록 통상적으로 구성된다.
비디오 슬라이스가 인트라 코딩된 (I) 슬라이스로서 코딩될 때, 예측 처리 유닛(360)의 인트라 예측 유닛(354)은 현재 프레임 또는 화상의 이전에 디코딩된 블록들로부터의 시그널링된 인트라 예측 모드 및 데이터에 기초하여 현재 비디오 슬라이스의 화상 블록에 대한 예측 블록(365)을 생성하도록 구성된다. 비디오 프레임이 인터 코딩된(즉, B(양방향 코딩됨), 또는 P(예측 코딩됨)) 슬라이스로서 코딩될 때, 예측 처리 유닛(360)의 인터 예측 유닛(344)(예를 들어, 모션 보상 유닛)은 엔트로피 디코딩 유닛(304)으로부터 수신되는 모션 벡터들 및 다른 신택스 엘리먼트들에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 블록들(365)을 생성하도록 구성된다. 인터 예측을 위해, 예측 블록들은 참조 화상 리스트들 중 하나 내의 참조 화상들 중 하나로부터 생성될 수 있다. 비디오 디코더(30)는, DPB(330)에 저장되는 참조 화상에 기초하여 디폴트 구성 기법들을 사용하여, 참조 프레임 리스트들, 즉, List 0 및 List 1을 구성할 수 있다.
예측 처리 유닛(360)은 모션 벡터들 및 다른 신택스 엘리먼트들을 파싱하는 것에 의해 현재 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하도록 구성되고, 이러한 예측 정보를 사용하여 디코딩되고 있는 현재 비디오 블록에 대한 예측 블록들을 생성한다. 예를 들어, 예측 처리 유닛(360)은 수신된 신택스 엘리먼트들 중 일부를 사용하여, 비디오 슬라이스의 비디오 블록들을 코딩하기 위해 사용되는 예측 모드(예를 들어, 인트라 또는 인터 예측), 인터 예측 슬라이스 타입 (예를 들어, B 슬라이스, P 슬라이스, 또는 GPB 슬라이스), 슬라이스에 대한 참조 화상 리스트들 중 하나 이상에 대한 구성 정보, 슬라이스의 각각의 인터 인코딩된 비디오 블록에 대한 모션 벡터들, 슬라이스의 각각의 인터 코딩된 비디오 블록에 대한 인터 예측 상태, 및 현재 비디오 슬라이스에서의 비디오 블록들을 디코딩하기 위한 다른 정보를 결정한다.
역 양자화 유닛(310)은 비트스트림에서 제공되는 그리고 엔트로피 디코딩 유닛(304)에 의해 디코딩되는 양자화된 변환 계수들을 역 양자화, 즉, 양자화해제하도록 구성된다. 역 양자화 프로세스는, 양자화의 정도 및, 마찬가지로, 적용되어야 하는 역 양자화의 정도를 결정하기 위한, 비디오 슬라이스에서의 각각의 비디오 블록에 대해 비디오 인코더(20)에 의해 계산되는 양자화 파라미터의 사용을 포함할 수 있다.
역변환 처리 유닛(312)은 픽셀 도메인에서 잔차 블록들을 생성하기 위해 변환 계수들에 역변환, 예를 들어, 역 DCT, 역 정수 변환, 또는 개념적으로 유사한 역변환 처리를 적용하도록 구성된다.
재구성 유닛(314)(예를 들어, 합산기(314))은, 예를 들어, 재구성된 잔차 블록(313)의 샘플 값들 및 예측 블록(365)의 샘플 값들을 가산하는 것에 의해, 역변환 블록(313)(즉, 재구성된 잔차 블록(313))을 예측 블록(365)에 가산하여 샘플 도메인에서 재구성된 블록(315)을 획득하도록 구성된다.
(코딩 루프에서의 또는 코딩 루프 후의) 루프 필터 유닛(320)은 재구성된 블록 315를 필터링하여 필터링된 블록 321을 획득하도록, 예를 들어, 픽셀 전이들을 평활화하도록, 또는 비디오 품질을 달리 개선하도록 구성된다. 하나의 예에서, 루프 필터 유닛(320)은 나중에 설명되는 필터링 기법들의 임의의 조합을 수행하도록 구성될 수 있다. 루프 필터 유닛(320)은 블록화-해제 필터, SAO(sample-adaptive offset) 필터 또는 다른 필터들, 예를 들어, 쌍방 필터 또는 ALF(adaptive loop filter) 또는 샤프닝 또는 평활화 필터들 또는 협업 필터들과 같은 하나 이상의 루프 필터를 표현하도록 의도된다. 루프 필터 유닛(320)이 인 루프 필터인 것으로서 도 3에 도시되더라도, 다른 구성들에서, 루프 필터 유닛(320)은 포스트 루프 필터로서 구현될 수 있다.
주어진 프레임 또는 화상에서의 디코딩된 비디오 블록들(321)은, 후속 모션 보상을 위해 사용되는 참조 화상들을 저장하는, 디코딩된 화상 버퍼(330)에 다음으로 저장된다.
디코더(30)는 사용자에 대한 프레젠테이션 또는 뷰잉을 위해, 예를 들어, 출력(332)을 통해, 디코딩된 화상(331)을 출력하도록 구성된다.
압축된 비트스트림을 디코딩하기 위해 비디오 디코더(30)의 다른 변형들이 사용될 수 있다. 예를 들어, 디코더(30)는 루프 필터링 유닛(320) 없이 출력 비디오 스트림을 생성할 수 있다. 예를 들어, 비-변환 기반 디코더(30)는 특정 블록들 또는 프레임들에 대해 역변환 처리 유닛(312) 없이 직접 잔차 신호를 역-양자화할 수 있다. 다른 구현에서, 비디오 디코더(30)는 단일 유닛으로 조합되는 역-양자화 유닛(310) 및 역변환 처리 유닛(312)을 가질 수 있다.
도 4는 본 개시내용의 실시예에 따른 비디오 코딩 디바이스(400)의 개략도이다. 이러한 비디오 코딩 디바이스(400)는 본 명세서에 설명되는 바와 같이 개시된 실시예들을 구현하기에 적합하다. 실시예에서, 비디오 코딩 디바이스(400)는 도 1a의 비디오 디코더(30)와 같은 디코더 또는 도 1a의 비디오 인코더(20)와 같은 인코더일 수 있다. 실시예에서, 비디오 코딩 디바이스(400)는 위에 설명된 바와 같이 도 1a의 비디오 디코더(30) 또는 도 1a의 비디오 인코더(20)의 하나 이상의 컴포넌트일 수 있다.
비디오 코딩 디바이스(400)는 데이터를 수신하기 위한 입구 포트들(410) 및 수신기 유닛들(Rx)(420); 데이터를 처리하는 프로세서, 로직 유닛, 또는 CPU(central processing unit)(430); 데이터를 송신하기 위한 송신기 유닛들(Tx)(440) 및 출구 포트들(450); 및 데이터를 저장하기 위한 메모리(460)를 포함한다. 비디오 코딩 디바이스(400)는 광 또는 전기 신호들의 출구 또는 입구를 위해 입구 포트들(410), 수신기 유닛들(420), 송신기 유닛들(440), 및 출구 포트들(450)에 연결되는 OE(optical-to-electrical) 컴포넌트들 및 EO(electrical-to-optical) 컴포넌트들을 또한 포함할 수 있다.
프로세서(430)는 하드웨어 및 소프트웨어에 의해 구현된다. 프로세서(430)는 하나 이상의 CPU 칩, (예를 들어, 멀티-코어 프로세서로서의) 코어들, FPGA들, ASIC들, 및 DSP들로서 구현될 수 있다. 프로세서(430)는 입구 포트들(410), 수신기 유닛들(420), 송신기 유닛들(440), 출구 포트들(450), 및 메모리(460)와 통신한다. 프로세서(430)는 코딩 모듈(470)을 포함한다. 코딩 모듈(470)은 위에 설명된 개시된 실시예들을 구현한다. 예를 들어, 코딩 모듈(470)은 다양한 코딩 동작들을 구현, 처리, 준비, 또는 제공한다. 따라서, 코딩 모듈(470)의 포함은 비디오 코딩 디바이스(400)의 기능성에 상당한 개선을 제공하고, 비디오 코딩 디바이스(400)의 상이한 상태로의 변환에 효과가 있다. 대안적으로, 코딩 모듈(470)은 메모리(460)에 저장되는 그리고 프로세서(430)에 의해 실행되는 명령어들로서 구현된다.
메모리(460)는 하나 이상의 디스크, 테이프 드라이브, 및 솔리드-스테이트 드라이브를 포함하고, 이러한 프로그램들이 실행을 위해 선택될 때 프로그램들을 저장하고, 프로그램 실행 동안 판독되는 명령어들 및 데이터를 저장하기 위해, 오버-플로우 데이터 저장 디바이스로서 사용될 수 있다. 메모리(460)는 휘발성 및/또는 비-휘발성일 수 있고, ROM(read-only memory), RAM(random access memory), TCAM(ternary content-addressable memory), 및/또는 SRAM(static random-access memory)일 수 있다.
도 5는 예시적인 실시예에 따른, 도 1로부터의 소스 디바이스(12) 및 목적지 디바이스(14) 중 어느 하나 또는 양자 모두로서 사용될 수 있는 장치(500)의 단순화된 블록도이다. 이러한 장치(500)는 위에 설명된 본 출원의 기법들을 구현할 수 있다. 이러한 장치(500)는 다수의 컴퓨팅 디바이스를 포함하는 컴퓨팅 시스템의 형태이거나, 또는, 단일 컴퓨팅 디바이스, 예를 들어, 모바일 폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터 등의 형태일 수 있다.
이러한 장치(500)에서의 프로세서(502)는 중앙 처리 유닛일 수 있다. 대안적으로, 프로세서(502)는, 지금-존재하는 또는 이후 개발될 정보를 조작 또는 처리할 수 있는, 임의의 다른 타입의 디바이스, 또는 다수의 디바이스일 수 있다. 개시된 구현들은 도시되는 바와 같이 단일 프로세서, 예를 들어, 프로세서(502)로 실시될 수 있더라도, 하나보다 많은 프로세서를 사용하여 속도 및 효율에서의 이점들이 달성될 수 있다.
이러한 장치(500)에서의 메모리(504)는 구현에서 ROM(read only memory) 디바이스 또는 RAM(random access memory) 디바이스일 수 있다. 임의의 다른 적합한 타입의 저장 디바이스가 메모리(504)로서 사용될 수 있다. 메모리(504)는 버스(512)를 사용하여 프로세서(502)에 의해 액세스되는 코드 및 데이터(506)를 포함할 수 있다. 메모리(504)는 운영 체제(508) 및 애플리케이션 프로그램들(510)을 추가로 포함할 수 있으며, 이러한 애플리케이션 프로그램들(510)은 프로세서(502)가 본 명세서에 설명되는 방법들을 수행하는 것을 허가하는 적어도 하나의 프로그램을 포함한다. 예를 들어, 애플리케이션 프로그램(510)은, 본 명세서에 설명되는 방법을 수행하는 비디오 코딩 애플리케이션을 추가로 포함하는, 애플리케이션들 1 내지 N을 포함할 수 있다. 이러한 장치(500)는, 예를 들어, 모바일 컴퓨팅 디바이스와 함께 사용되는 메모리 카드일 수 있는, 보조 스토리지(514)의 형태로 추가적 메모리를 또한 포함할 수 있다. 비디오 통신 세션들은 상당한 양의 정보를 포함할 수 있기 때문에, 이들은 보조 스토리지(514)에 전체적으로 또는 부분적으로 저장될 수 있고 처리를 위해 필요에 따라 메모리(504)에 로딩될 수 있다.
이러한 장치(500)는, 디스플레이(518)와 같은, 하나 이상의 출력 디바이스를 또한 포함할 수 있다. 디스플레이(518)는, 하나의 예에서, 터치 입력들을 감지하도록 동작가능한 터치 감응성 엘리먼트와 디스플레이를 조합하는 터치 감응성 디스플레이일 수 있다. 디스플레이(518)는 버스(512)를 통해 프로세서(502)에 연결될 수 있다. 사용자가 장치(500)를 프로그래밍하는 것 또는 그렇지 않으면 이를 사용하는 것을 허가하는 다른 출력 디바이스들이 디스플레이(518) 외에도 또는 그 대안으로서 제공될 수 있다. 출력 디바이스가 디스플레이이거나 또는 디스플레이를 포함할 때, 디스플레이는 LCD(liquid crystal display), CRT(cathode-ray tube) 디스플레이, 플라즈마 디스플레이 또는, OLED(organic LED) 디스플레이와 같은, LED(light emitting diode) 디스플레이를 포함하는, 다양한 방식들로 구현될 수 있다.
이러한 장치(500)는 이미지 감지 디바이스(520), 예를 들어, 카메라, 또는 이러한 장치(500)를 동작시키는 사용자의 이미지와 같은 이미지를 감지할 수 있는 지금 존재하는 또는 이후에 개발될 임의의 다른 이미지 감지 디바이스(520)를 또한 포함하거나 또는 그와 통신할 수 있다. 이미지 감지 디바이스(520)는 이러한 장치(500)를 동작시키는 사용자를 향해 지향되도록 위치될 수 있다. 예에서, 이미지 감지 디바이스(520)의 위치 및 광 축은 시야가 디스플레이(518)에 바로 인접하는 그리고 그로부터 디스플레이(518)가 보이는 영역을 포함하도록 구성될 수 있다.
이러한 장치(500)는 사운드 감지 디바이스(522), 예를 들어, 마이크로폰, 또는 장치(500) 근처의 사운드들을 감지할 수 있는 지금 존재하는 또는 이후에 개발될 임의의 다른 사운드 감지 디바이스를 또한 포함하거나 또는 이와 통신할 수 있다. 사운드 감지 디바이스(522)는 이러한 장치(500)를 동작시키는 사용자를 향해 지향되도록 위치될 수 있고, 사용자가 이러한 장치(500)를 동작시키는 동안 사용자에 의해 이루어지는 사운드들, 예를 들어, 음성 또는 다른 발언들을 수신하도록 구성될 수 있다.
도 5는 이러한 장치(500)의 프로세서(502) 및 메모리(504)를 단일 유닛으로 집적되는 것으로서 도시하더라도, 다른 구성들이 이용될 수 있다. 로컬 영역 또는 다른 네트워크에 걸쳐 또는 직접 연결될 수 있는 다수의 머신들(각각의 머신이 하나 이상의 프로세서를 가짐)에 걸쳐 프로세서(502)의 동작들이 분산될 수 있다. 이러한 장치(500)의 동작들을 수행하는 다수의 머신들에서의 메모리 또는 네트워크 기반 메모리와 같은 다수의 머신들에 걸쳐 메모리(504)가 분산될 수 있다. 본 명세서에서는 단일 버스로서 묘사되더라도, 이러한 장치(500)의 버스(512)는 다수의 버스들로 조성될 수 있다. 추가로, 보조 스토리지(514)가 이러한 장치(500)의 다른 컴포넌트들에 직접 연결될 수 있거나 또는 네트워크를 통해 액세스될 수 있고, 메모리 카드와 같은 단일 집적 유닛 또는 다수의 메모리 카드들과 같은 다수의 유닛들을 포함할 수 있다. 따라서, 이러한 장치(500)는 매우 다양한 구성들로 구현될 수 있다.
차세대 비디오 코딩(NGVC)은 CU, PU 및 TU 개념들의 분리를 제거하고, CU 파티션 형상들에 대한 더 많은 유연성을 지원한다. CU의 크기는 코딩 노드의 크기에 대응하고, 형상이 정사각형 또는 비-정사각형(예를 들어, 직사각형)일 수 있다.
문헌 [J. An et al., "Block partitioning structure for next generation video coding", International Telecommunication Union, COM16-C966, September 2015](이하, "VCEG 제안 COM16-C966")에서, 쿼드트리-이진-트리(QTBT) 파티셔닝 기법들이 HEVC를 넘어서는 미래의 비디오 코딩 표준을 위해 제안되었다. 시뮬레이션들은 제안된 QTBT 구조가, 사용되는 HEVC에서의 쿼드트리 구조보다 더 효율적이라는 것을 보여주었다. HEVC에서, 모션 보상의 메모리 액세스를 감소시키기 위해 작은 블록들에 대한 인터 예측이 제한되고, 4x4 블록들에 대해서는 인터 예측이 지원되지 않는다. JEM의 QTBT에서는, 이들 제한이 제거된다.
QTBT에서, CU는 정사각형 또는 직사각형 형상을 가질 수 있다. 도 6에 도시된 바와 같이, 코딩 트리 유닛(CTU)은 먼저 쿼드트리 구조에 의해 파티셔닝된다. 쿼드트리 리프 노드들은 쿼드트리 또는 이진 트리 구조에 의해 추가로 파티셔닝될 수 있다. 이진 트리 분할에는, 대칭 수평 분할 및 대칭 수직 분할의 2개의 분할 타입이 있다. 각각의 경우에, 노드는 중간에서 노드를 수평으로 또는 수직으로 나누는 것에 의해 분할된다. 이러한 이진 트리 리프 노드들은 CU들(coding units)이라고 불리고, 어떠한 추가의 파티셔닝도 없이 예측 및 변환 처리를 위해 해당 세그먼트화가 사용된다. 이러한 것은 CU, PU 및 TU가 QTBT 코딩 블록 구조에서 동일한 블록 크기를 갖는다는 점을 의미한다. CU는 때때로 상이한 색 성분들의 코딩 블록들(CB들)로 구성되고, 예를 들어 하나의 CU는 4:2:0 크로마 포맷의 P 및 B 슬라이스들의 경우에 하나의 루마 CB 및 2개의 크로마 CB를 포함하고 때때로 단일 성분의 CB로 구성되고, 예를 들어 하나의 CU는 I 슬라이스들의 경우에 단지 하나의 루마 CB 또는 단지 2개의 크로마 CB를 포함한다.
QTBT 파티셔닝 스킴에 대해 다음의 파라미터들이 정의된다.
-
CTU 크기: 쿼드트리의 루트 노드 크기, HEVC에서와 동일한 개념
-
MinQTSize: 최소 허용 쿼드트리 리프 노드 크기
-
MaxBTSize: 최대 허용 이진 트리 루트 노드 크기
-
MaxBTDepth: 최대 허용 이진 트리 깊이
-
MinBTSize: 최소 허용 이진 트리 리프 노드 크기
QTBT 파티셔닝 구조의 일 예에서, 쿼드트리 노드가 MinQTSize 이하의 크기를 가질 때, 추가 쿼드트리는 고려되지 않는다. 그것은 크기가 MaxBTSize를 초과하기 때문에 이진 트리에 의해 추가 분할되지 않을 것이다. 그렇지 않으면, 리프 쿼드트리 노드는 이진 트리에 의해 추가로 파티셔닝될 수 있다. 따라서, 쿼드트리 리프 노드는 또한 이진 트리에 대한 루트 노드이고 그것은 0으로서 이진 트리 깊이를 갖는다. 이진 트리 깊이가 MaxBTDepth(즉, 4)에 도달할 때, 추가 분할이 고려되지 않는다. 이진 트리 노드가 MinBTSize (즉, 4)와 동일한 폭을 가질 때, 추가의 수평 분할이 고려되지 않는다. 유사하게, 이진 트리 노드가 MinBTSize와 동일한 높이를 가질 때, 추가의 수직 분할이 고려되지 않는다. 이진 트리의 리프 노드들은 어떠한 추가 파티셔닝도 없이 예측 및 변환 처리에 의해 추가로 처리된다. JEM에서, 최대 CTU 크기는 256x256 루마 샘플들이다. 이진-트리(CU들)의 리프 노드들은 임의의 추가 파티셔닝 없이(예를 들어, 예측 처리 및 변환 처리를 수행하는 것에 의해) 추가로 처리될 수 있다.
도 6은 QTBT 파티셔닝 기법을 이용하여 파티셔닝된 블록(60) (예를 들어, CTB)의 예를 나타낸다. 도 6에 도시된 바와 같이, QTBT 파티션 기법을 이용하여, 블록들 각각은 각각의 블록의 중심을 통해 대칭적으로 분할된다. 도 7은 도 6의 블록 파티셔닝에 대응하는 트리 구조를 나타낸다. 도 7의 실선들은 쿼드트리 분할을 나타내고 점선들은 이진-트리 분할을 나타낸다. 일 예에서, 이진-트리의 각각의 분할(즉, 비-리프) 노드에서, 수행되는 분할의 타입(예를 들어, 수평 또는 수직)을 표시하기 위해 신택스 엘리먼트(예를 들어, 플래그)가 시그널링되며, 여기서 0은 수평 분할을 표시하고 1은 수직 분할을 표시한다. 쿼드트리 분할에 대해서는, 분할 타입을 표시할 필요가 없는데, 그 이유는 쿼드트리 분할은 항상 블록을 동일한 크기를 갖는 4개의 서브-블록으로 수평 및 수직으로 분할하기 때문이다.
도 7에 도시한 바와 같이, 노드(50)에서, 블록(60)은 QT 파티셔닝을 이용하여, 도 6에 도시한 4개의 블록(31, 32, 33, 및 34)으로 분할된다. 블록 34는 추가 분할되지 않으며, 따라서 리프 노드이다. 노드(52)에서, 블록(31)은 BT 파티셔닝을 이용하여 2개의 블록으로 추가 분할된다. 도 7에 도시된 바와 같이, 노드(52)는 수직 분할을 나타내는 1로 마킹된다. 따라서, 노드(52)에서의 분할은 블록 37 및 블록들 35 및 36 양자 모두를 포함하는 블록을 생성한다. 블록들(35 및 36)은 노드(54)에서의 추가의 수직 분할에 의해 생성된다. 노드(56)에서, 블록(32)은 BT 파티셔닝을 이용하여 2개의 블록들(38 및 39)로 추가 분할된다.
노드 58에서, 블록 33은 QT 파티셔닝을 이용하여 4개의 동일 크기 블록으로 분할된다. 블록들(43 및 44)은 이 QT 파티셔닝으로부터 생성되고 추가 분할되지 않는다. 노드(60)에서, 상부 좌측 블록은 수직 이진-트리 분할을 사용하여 먼저 분할되어 블록(40) 및 우측 수직 블록을 생성한다. 그 다음, 우측 수직 블록은 수평 이진-트리 분할을 사용하여 블록들(41 및 42)로 분할된다. 노드(58)에서의 쿼드트리 분할로부터 생성된 우측 하부 블록은 노드(62)에서 수평 이진-트리 분할을 사용하여 블록들(45 및 46)로 분할된다. 도 7에 도시된 바와 같이, 노드(62)는 수평 분할을 나타내는 0으로 마킹된다.
QTBT에 더하여, 멀티-타입-트리(MTT)로 명명된 블록 파티셔닝 구조가 QTBT 기반 CU 구조들에서 BT를 대체하도록 제안되는데, 이는 CTU가 먼저 QT 파티셔닝에 의해 분할되어 CTU의 블록을 획득할 수 있고, 다음으로 블록이 두 번째로 MTT 파티셔닝에 의해 분할될 수 있다는 것을 의미한다.
MTT 파티셔닝 구조는 여전히 재귀적 트리 구조이다. MTT에서, 다수의 상이한 파티션 구조(예를 들어, 2개 이상)가 사용된다. 예를 들어, MTT 기법에 따르면, 트리 구조의 각각의 깊이에서, 트리 구조의 각각의 비-리프 노드 각각에 대해 2개 이상의 상이한 파티션 구조가 사용될 수 있다. 트리 구조 내의 노드의 깊이는 트리 구조의 노드로부터 루트까지의 경로의 길이(예를 들어, 분할들의 수)를 지칭할 수 있다.
MTT에서, 2개의 파티션 타입, BT 파티셔닝 및 삼진-트리(TT) 파티셔닝이 있다. 파티션 타입은 BT 파티셔닝 및 TT 파티셔닝으로부터 선택될 수 있다. TT 파티션 구조는, TT 파티션 구조가 중심에서 블록을 분할하지 않는다는 점에서, QT 또는 BT 구조와는 상이하다. 블록의 중심 영역은 동일한 서브-블록에서 함께 유지된다. 4개의 블록을 생성하는 QT 또는 2개의 블록을 생성하는 이진 트리와 달리, TT 파티션 구조에 따른 분할은 3개의 블록을 생성한다. TT 파티션 구조에 따른 예시적인 파티션 타입은, 대칭 파티션 타입(수평 및 수직 양쪽 모두) 뿐만 아니라 비대칭 파티션 타입(수평 및 수직 양쪽 모두)을 포함한다. 또한, TT 파티션 구조에 따른 대칭 파티션 타입들은 비균등/비균일 또는 균등/균일할 수 있다. TT 파티션 구조에 따른 비대칭 파티션 타입은 비균등/비균일하다. 일 예에서, TT 파티션 구조는 다음의 파티션 타입들 중 적어도 하나를 포함할 수 있다: 수평의 균등/균일 대칭 삼진-트리, 수직의 균등/균일 대칭 삼진-트리, 수평의 비균등/비균일 대칭 삼진-트리, 수직의 비균등/비균일 대칭 삼진-트리, 수평의 비균등/비균일 비대칭 삼진-트리, 또는 수직의 비균등/비균일 비대칭 삼진-트리 파티션 타입들.
일반적으로, 비균등/비균일 대칭 삼진-트리 파티션 타입은 블록의 중심선에 대해 대칭인 파티션 타입이지만, 결과적인 3개의 블록 중 적어도 하나는 다른 2개의 블록과 동일한 크기가 아니다. 하나의 바람직한 예는 사이드 블록들이 블록의 1/4 크기이고, 중앙 블록이 블록의 1/2 크기인 경우이다. 균등/균일 대칭 삼진-트리 파티션 타입은 블록의 중심선에 대해 대칭인 파티션 타입이고, 결과적인 블록들은 모두 동일한 크기이다. 블록 높이 또는 폭이, 수직 또는 수평 분할에 따라, 3의 배수인 경우 이러한 파티션이 가능하다. 비균등/비균일 비대칭 삼진-트리 파티션 타입은 블록의 중심선에 대해 대칭이 아닌 파티션 타입이고, 결과적인 블록들 중 적어도 하나는 다른 2개와 동일한 크기가 아니다.
도 8은 선택적인 예시적인 수평 삼진-트리 파티션 타입들을 나타내는 개념도이다. 도 9는 선택적인 예시적인 수직 삼진-트리 파티션 타입들을 나타내는 개념도이다. 도 8 및 도 9 모두에서, h는 루마 또는 크로마 샘플들에서의 블록의 높이를 나타내고, w는 루마 또는 크로마 샘플들에서의 블록의 폭을 나타낸다. 블록의 각각의 중심선은 블록의 경계를 나타내지 않는다는 점에 유의한다(즉, 삼진-트리 파티션들은 중심선을 통해 블록을 분할하지 않는다). 오히려, 중심선은 특정 파티션 타입이 원래 블록의 중심선에 대해 대칭 또는 비대칭인지 여부를 묘사하는데 사용된다. 중심선은 또한 분할 방향을 따른다.
도 8에 도시된 바와 같이, 블록(71)은 수평 균등/균일 대칭 파티션 타입으로 파티셔닝된다. 수평 균등/균일 대칭 파티션 타입은 블록(71)의 중심선에 대해 대칭 상반부 및 하반부를 생성한다. 수평 균등/균일 대칭 파티션 타입은 각각 h/3의 높이 및 w의 폭을 갖는 동일한 크기의 3개의 서브-블록을 생성한다. 수평 균등/균일 대칭 파티션 타입은 블록(71)의 높이가 3으로 균등하게 나눌 수 있을 때 가능하다.
블록(73)은 수평 비균등/비균일 대칭 파티션 타입으로 파티셔닝된다. 수평 비균등/비균일 대칭 파티션 타입은 블록(73)의 중심선에 대해 대칭적인 상반부 및 하반부를 생성한다. 수평 비균등/비균일 대칭 파티션 타입은 동일한 크기의 2개의 블록(예를 들어, h/4의 높이를 갖는 상단 및 하단 블록들), 및 상이한 크기의 중앙 블록(예를 들어, h/2의 높이를 갖는 중앙 블록)을 생성한다. 일 예에서, 수평 비균등/비균일 대칭 파티션 타입에 따라, 중앙 블록의 영역은 상단 및 하단 블록들의 조합된 영역과 동일하다. 일부 예들에서, 수평 비균등/비균일 대칭 파티션 타입은 2의 거듭제곱인 높이(예를 들어, 2, 4, 8, 16, 32 등)를 갖는 블록들에 대해 선호될 수 있다.
블록(75)은 수평 비균등/비균일 비대칭 파티션 타입으로 파티셔닝된다. 수평의 비균등/비균일 비대칭 파티션 타입은 블록(75)의 중심선에 대해 대칭적인 상반부 및 하반부를 생성하지 않는다(즉, 상반부 및 하반부는 비대칭이다). 도 8의 예에서, 수평 비균등/비균일 비대칭 파티션 타입은, h/4의 높이를 갖는 상부 블록, 3h/8의 높이를 갖는 중앙 블록, 및 3h/8의 높이를 갖는 하단 블록을 생성한다. 물론, 다른 비대칭 배열들이 사용될 수 있다.
도 9에 도시된 바와 같이, 블록(81)은 수직 균등/균일 대칭 파티션 타입으로 파티셔닝된다. 수직 균등/균일 대칭 파티션 타입은 블록(81)의 중심선에 대해 대칭적인 좌반부 및 우반부를 생성한다. 수직 균등/균일 대칭 파티션 타입은 각각 w/3의 폭 및 h의 높이를 갖는 동일한 크기의 3개의 서브-블록을 생성한다. 수직 균등/균일 대칭 파티션 타입은 블록(81)의 폭이 3으로 균등하게 나눌 수 있을 때 가능하다.
블록(83)은 수직 비균등/비균일 대칭 파티션 타입으로 파티셔닝된다. 수직 비균등/비균일 대칭 파티션 타입은 블록(83)의 중심선에 대해 대칭적인 좌반부 및 우반부를 생성한다. 수직 비균등/비균일 대칭 파티션 타입은 83의 중심선에 대해 대칭적인 좌반부 및 우반부를 생성한다. 수직 비균등/비균일 대칭 파티션 타입은 동일한 크기의 2개의 블록(예를 들어, w/4의 폭을 갖는 좌측 및 우측 블록들), 및 상이한 크기의 중앙 블록(예를 들어, w/2의 폭을 갖는 중앙 블록)을 생성한다. 일 예에서, 수직 비균등/비균일 대칭 파티션 타입에 따라, 중앙 블록의 영역은 좌측 및 우측 블록의 조합된 영역과 동일하다. 일부 예에서, 수직 비균등/비균일 대칭 파티션 타입은 2의 거듭제곱인 폭(예를 들어, 2, 4, 8, 16, 32 등)을 갖는 블록들에 대해 선호될 수 있다.
블록(85)은 수직 비균등/비균일 비대칭 파티션 타입으로 파티셔닝된다. 수직 비균등/비균일 비대칭 파티션 타입은 블록(85)의 중심선에 대해 대칭적인 좌반부 및 우반부를 생성하지 않는다(즉, 좌반부 및 우반부는 비대칭적이다). 도 9의 예에서, 수직 비균등/비균일 비대칭 파티션 타입은, w/4의 폭을 갖는 좌측 블록, 3w/8의 폭을 갖는 중앙 블록, 및 3w/8의 폭을 갖는 우측 블록을 생성한다. 물론, 다른 비대칭 배열들이 사용될 수 있다.
QTBT에 대한 파라미터들에 더하여, MTT 파티셔닝 스킴에 대해 다음의 파라미터들이 정의된다.
-
MaxMttDepth: 최대 멀티-타입 트리 깊이
-
MaxMttDepth 오프셋: 최대 멀티-타입 트리 깊이 오프셋
-
MaxTtSize: 최대 허용 삼진 트리 루트 노드 크기
-
MinTtSize: 최소 허용 삼진 트리 루트 노드 크기
-
MinCbSize: 최소 허용 코딩 블록 크기
본 개시내용의 실시예들은 본 출원의 일 실시예에 따른 도 2의 비디오 인코더(20) 또는 도 3의 비디오 디코더(30)와 같은 비디오 인코더 또는 비디오 디코더에 의해 구현될 수 있다. 파티션 유닛을 포함한, 비디오 인코더(20) 또는 비디오 디코더(30)의 하나 이상의 구조적 요소는 본 개시내용의 실시예의 기법을 수행하도록 구성될 수 있다.
본 개시내용의 실시예들이 이하에서 설명된다.
JVET-K1001-v4, log2_ctu_size_minus2, log2_min_qt_size_intra_slices_minus2 및 log2_min_qt_size_inter_slices_minus2가 SPS에서 시그널링되고,
여기서, log2_ctu_size_minus2 + 2는 각각의 CTU의 루마 코딩 트리 블록 크기를 특정한다.
CtbLog2SizeY = log2_ctu_size_minus2 + 2
(7-5)
CtbSizeY = 1 << CtbLog2SizeY
(7-6)
MinCbLog2SizeY = 2
(7-7)
MinCbSizeY = 1 << MinCbLog2SizeY (7-8)
MinTbSizeY = 4
(7-9)
MaxTbSizeY = 64
(7-10)
log2_min_qt_size_intra_slices_minus2 + 2는 slice_type가 2 (I)와 동일한 슬라이스들에서 CTU의 쿼드트리 분할로부터 기인하는 리프 블록의 최소 루마 크기를 특정한다. 파라미터 slice_type는 슬라이스를 I 슬라이스(값 2), P 슬라이스(1), 또는 B 슬라이스(0)로서 정의한다. log2_min_qt_size_intra_slices_minus2의 값은 0 내지 CtbLog2SizeY-2의 범위(경계값 포함)에 있어야 한다.
MinQtLog2SizeIntraY = log2_min_qt_size_intra_slices_minus2 + 2
(7-22)
log2_min_qt_size_inter_slices_minus2 + 2는 0 (B) 또는 1 (P)과 동일한 slice_type를 갖는 슬라이스들에서 CTU의 쿼드트리 분할로부터 기인하는 리프 블록의 최소 루마 크기를 특정한다. log2_min_qt_size_inter_slices_minus2의 값은 0 내지 CtbLog2SizeY-2의 범위(경계값 포함)에 있어야 한다.
MinQtLog2SizeInterY = log2_min_qt_size_inter_slices_minus2 + 2
(7-23)
MinQtSizeY는 (7-30)에서 정의되며, 이는 루마 샘플에서의 최소 허용 쿼드트리 분할 크기를 의미한다. 코딩 블록 크기가 MinQtSizeY 이하인 경우, 쿼드트리 분할이 허용되지 않는다.
MinQtLog2SizeY = ( slice_type = = I ) ? MinQtLog2SizeIntraY : MinQtLog2SizeInterY
(7-25)
MaxBtLog2SizeY = CtbLog2SizeY - log2_diff_ctu_max_bt_size
(7-26)
MinBtLog2SizeY = MinCbLog2SizeY
(7-27)
MaxTtLog2SizeY = ( slice_type = = I ) ? 5 : 6
(7-28)
MinTtLog2SizeY = MinCbLog2SizeY
(7-29)
MinQtSizeY = 1 << MinQtLog2SizeY
(7-30)
MaxBtSizeY = 1 << MaxBtLog2SizeY
(7-31)
MinBtSizeY = 1 << MinBtLog2SizeY
(7-32)
MaxTtSizeY = 1 << MaxTtLog2SizeY
(7-33)
MinTtSizeY = 1 << MinTtLog2SizeY
(7-34)
MaxMttDepth = ( slice_type = = I ) ? max_mtt_hierarchy_depth_intra_slices :
max_mtt_hierarchy_depth_inter_slices
(7-35)
log2_min_qt_size_intra_slices_minus2 및 log2_min_qt_size_inter_slices_minus2의 시맨틱에 기초하여, log2_min_qt_size_intra_slices_minus2 및 log2_min_qt_size_inter_slices_minus2의 범위는 0 내지 CtbLog2SizeY - 2이다.
여기서, CtbLog2SizeY는 각각의 CTU의 루마 코딩 트리 블록 크기의 log2 값을 의미하는 log2_ctu_size_minus2의 시맨틱에서 정의되고, VTM2.0에서의 CtbLog2SizeY는 7과 동일하다.
(7-22) 및 (7-23)에 기초하여, MinQtLog2SizeIntraY 및 MinQtLog2SizeInterY의 범위는 2 내지 CtbLog2SizeY이다.
(7-25)에 기초하여, MinQtLog2SizeY의 범위는 2 내지 CtbLog2SizeY이다.
(7 내지 30)에 기초하여, JVET-K1001-v4에서의 MinQtSizeY의 범위는(1<<2) 내지(1<<CtbLog2SizeY)이고, VTM2.0에서 범위는 (1<<2) 내지(1<<7)이며, 이는 4 내지 128과 동일하다.
JVET-K1001-v4에서, log2_diff_ctu_max_bt_size는 슬라이스 헤더에서 조건부 시그널링되고,
여기서, log2_diff_ctu_max_bt_size는 이진 분할을 사용하여 분할될 수 있는 코딩 블록의 최대 루마 크기(폭 또는 높이)와 루마 CTB 크기 사이의 차이를 특정한다. log2_diff_ctu_max_bt_size의 값은 0부터 CtbLog2SizeY-MinCbLog2SizeY(경계값 포함)까지의 범위에 있어야 한다.
log2_diff_ctu_max_bt_size가 존재하지 않을 때, log2_diff_ctu_max_bt_size의 값은 2와 동일한 것으로 추론된다.
MinCbLog2SizeY는 (7-7)에서 정의되며, 이는 최소 허용 코딩 블록 크기를 의미한다.
log2_diff_ctu_max_bt_size의 시맨틱에 기초하여, log2_diff_ctu_max_bt_size의 범위는 0 내지 CtbLog2SizeY-MinCbLog2SizeY이다.
(7-26)에 기초하여, MaxBtLog2SizeY의 범위는 CtbLog2SizeY로부터 MinCbLog2SizeY까지이다.
(7-31)에 기초하여, MaxBtSizeY의 범위는(1<<CtbLog2SizeY) 내지(1<<MinCbLog2SizeY)이다.
(7-7)에 기초하여, JVET-K1001-v4에서의 MaxBtSizeY의 범위는(1<<CtbLog2SizeY) 내지(1<<2)인데, VTM2.0에서 CtbLog2SizeY가 7과 동일하기 때문에, VTM2.0에서의 MaxBtSizeY의 범위는 128 내지 4와 동일하다.
따라서, MinQtSizeY는 4 내지 (1<<CtbLog2SizeY)의 범위를 갖고, VTM2.0에서 4 내지 128에서, MaxBtSizeY는 (1<<CtbLog2SizeY) 내지 4의 범위를 갖고, VTM2.0에서 128 내지 4이다.
따라서, MinQtSizeY가 MaxBtSizeY보다 클 가능성이 있다.
VVC 2.0에서의 현재의 경계 처리에 기초하여, 경계 위치 블록에 대해 QT 및 BT 파티션만이 허용된다(TT가 허용되지 않고, 경계 위치 블록에 분할이 적용되지 않는 것이 허용되지 않는다).
현재 코딩 블록이 경계 상에 위치하고, 현재 코딩 블록 크기 cbSizeY가 다음의 조건을 만족하는 경우,
MinQtSizeY > cbSizeY > MaxBtSizeY,
현재 코딩 블록에 대해 QT 분할도 BT 분할도 가능하지 않다. 따라서, 현재 블록에 대한 이용가능한 파티션 모드가 없다.
이러한 경계 경우의 문제를 고려하여, 언급된 문제를 해결하기 위해, MaxBtSizeY의 하한은 MaxBtSizeY가 MinQtSizeY보다 작지 않은 것을 확실히 하기 위해 MinQtSizeY로 제한되어야 한다.
MaxBtSizeY의 하한은 MinQtSizeY와 동일해야 하며, 따라서 MaxBtSizeY의 범위는 (1<<CtbLog2SizeY) 내지 (1<<MinQtLog2SizeY) 이어야 하며, 따라서 MaxBtLog2SizeY의 범위는 CtbLog2SizeY 내지 MinQtLog2SizeY이어야 하며, 따라서 log2_diff_ctu_max_bt_size의 범위는 0 내지 CtbLog2SizeY-MinQtLog2SizeY이어야 한다.
드래프트 텍스트의 대응하는 변경은 log2_diff_ctu_max_bt_size의 시맨틱서 다음과 같다:
log2_diff_ctu_max_bt_size는 이진 분할을 사용하여 분할될 수 있는 코딩 블록의 최대 루마 크기(폭 또는 높이)와 루마 CTB 크기 사이의 차이를 특정한다. log2_diff_ctu_max_bt_size의 값은 0 내지 CtbLog2SizeY-MinQtLog2SizeY의 범위(경계 포함)에 있어야 한다.
코딩 디바이스(디코더 또는 인코더)에 의해 구현되는 대응하는 코딩 방법은 다음과 같을 수 있다:
화상의 현재 블록이 경계 블록인지를 결정하는 단계; 현재 블록의 크기가 최소 허용 쿼드트리 리프 노드 크기보다 큰지를 결정하는 단계; 현재 블록이 경계 블록이고 현재 블록의 크기가 최소 허용 쿼드트리 리프 노드 크기보다 크지 않으면, 현재 블록에 이진 분할을 적용하는 단계; 여기서 최소 허용 쿼드트리 리프 노드 크기는 최대 허용 이진 트리 루트 노드 크기 이하이다.
코딩 디바이스(디코더 또는 인코더)에 의해 구현되는 다른 대응하는 코딩 방법은 다음과 같을 수 있다: 경계 블록의 크기가 최소 허용 쿼드트리 리프 노드 크기보다 큰지를 결정하는 단계; 경계 블록의 크기가 최소 허용 쿼드트리 리프 노드 크기 이하이고, 최소 허용 쿼드트리 리프 노드 크기가 최대 허용 이진 트리 루트 노드 크기 이하인 경우, 이진 분할을 경계 블록에 적용한다.
선택적으로, 경계 블록은 코너 블록을 포함하지 않거나 코너 블록일 수 있고, 코너 블록은 화상의 2개의 경계 상에 위치한다.
본 개시내용의 다른 실시예들이 이하에서 설명된다.
JVET-K1001-v4에서, max_mtt_hierarchy_depth_inter_slices 및 max_mtt_hierarchy_depth_intra_slices가 SPS에서 시그널링된다.
여기서 max_mtt_hierarchy_depth_inter_slices는 0 (B) 또는 1 (P)과 같은 slice_type를 가진 슬라이스들에서 쿼드트리 리프의 멀티-타입 트리 분할에 기인하는 코딩 유닛들에 대한 최대 계층 구조 깊이를 특정한다. max_mtt_hierarchy_depth_inter_slices의 값은 0부터 CtbLog2SizeY-MinTbLog2SizeY(경계 포함)까지의 범위에 있어야 한다.
max_mtt_hierarchy_depth_intra_slices는 slice_type가 2 (I)와 동일한 슬라이스들에서 쿼드트리 리프(quadtree leaf)의 멀티-타입 트리 분할에 기인하는 코딩 유닛들에 대한 최대 계층 깊이를 특정한다. max_mtt_hierarchy_depth_intra_slices의 값은 0 내지 CtbLog2SizeY-MinTbLog2SizeY의 범위(경계값 포함)에 있어야 한다.
MinTbSizeY는(7-9)에서 정의되고, 이는 4로서 고정되며, 따라서 MinTbLog2SizeY= log2 MinTbSizeY이고 이는 2로서 고정된다.
MaxMttDepth는 멀티-타입 트리 파티션의 최대 허용 깊이를 의미하는 것으로 정의된다. 현재의 멀티-타입 트리 파티션 깊이가 MaxMttDepth 이상이면, 멀티-타입 트리 파티션은 허용되지 않는다.
max_mtt_hierarchy_depth_inter_slices 및 max_mtt_hierarchy_depth_intra_slices의 시맨틱에 기초하여, max_mtt_hierarchy_depth_inter_slices 및 max_mtt_hierarchy_depth_intra_slices의 범위는 0부터 CtbLog2SizeY-MinTbLog2SizeY까지이다.
(7-35)에 기초하여, MaxMttDepth의 범위는 0 내지 CtbLog2SizeY-MinTbLog2SizeY이다. VTM2.0에서 CtbLog2SizeY가 7과 같기 때문에, MaxMttDepth의 범위는 0 내지 5이다.
따라서, MaxMttDepth는 0 내지 5의 VTM2.0에서 0 내지 CtbLog2SizeY-MinTbLog2SizeY의 범위를 갖는다.
VVC 2.0에서의 현재 경계 처리에 기초하여, 경계 위치 블록에 대해 QT 및 BT 파티션만이 허용된다(TT가 허용되지 않음, 분할이 허용되지 않음).
제1 문제가 해결되지만(MaxBtSizeY>= MinQtSizeY), 다음의 조건이 충족되는 경우,
cbSizeY <= MinQtSizeY 및
MaxMttDepth =0,
경계 처리를 위한 BT 파티션의 레벨이 충분하지 않다.
예를 들어, MinQtSizeY는 16과 동일하고, MinTbSizeY는 4와 동일하고, MaxMttDepth는 0이다.
경계 블록이 cbSizeY= 16을 갖고, 부모 파티션이 QT이고, 이 블록이 여전히 경계 상에 위치하면, 현재 블록의 Mttdepth가 MaxMttDepth에 도달되기 때문에, 추가 파티션이 수행될 수 없다.
이러한 경계 경우의 문제를 고려하여, 언급된 문제를 해결하기 위해, QT 파티션 후에, 경계 경우에 충분한 레벨들의 멀티-타입 트리 파티션이 있는 것을 확실히 하기 위해, MaxMttDepth의 하한은 1 이상이도록 제한되어야 한다. 대안적으로, MaxMttDepth의 하한은, QT 파티션 후에, 경계 및 비-경계 경우 둘 다에 대해 멀티-타입 트리 파티션의 충분한 레벨들이 있는 것을 확실히 하기 위해, (MinQtLog2SizeY-MinTbLog2SizeY) 이상으로 제한되어야 한다.
드래프트 텍스트의 대응하는 변화는 max_mtt_hierarchy_depth_inter_slices 및 max_mtt_hierarchy_depth_intra_slices의 시맨틱서 다음과 같다:
max_mtt_hierarchy_depth_inter_slices는 0 (B) 또는 1 (P)과 동일한 slice_type를 가진 슬라이스들에서 쿼드트리 리프의 멀티-타입 트리 분할에 기인하는 코딩 유닛들에 대한 최대 계층 깊이를 특정한다. max_mtt_hierarchy_depth_inter_slices의 값은 1부터 CtbLog2SizeY-MinTbLog2SizeY(경계 포함)까지의 범위에 있어야 한다.
max_mtt_hierarchy_depth_intra_slices는 slice_type가 2 (I)와 동일한 슬라이스들에서 쿼드트리 리프(quadtree leaf)의 멀티-타입 트리 분할에 기인하는 코딩 유닛들에 대한 최대 계층 깊이를 특정한다. max_mtt_hierarchy_depth_intra_slices의 값은 1 내지 CtbLog2SizeY-MinTbLog2SizeY의 범위(경계값 포함)에 있어야 한다.
대안적으로:
max_mtt_hierarchy_depth_inter_slices는 0 (B) 또는 1 (P)과 동일한 slice_type를 가진 슬라이스들에서 쿼드트리 리프의 멀티-타입 트리 분할에 기인하는 코딩 유닛들에 대한 최대 계층 깊이를 특정한다. max_mtt_hierarchy_depth_inter_slices의 값은 MinQtLog2SizeY-MinTbLog2SizeY부터 CtbLog2SizeY-MinTbLog2SizeY까지의 범위(경계값 포함)에 있어야 한다.
max_mtt_hierarchy_depth_intra_slices는 slice_type가 2 (I)와 동일한 슬라이스들에서 쿼드트리 리프(quadtree leaf)의 멀티-타입 트리 분할에 기인하는 코딩 유닛들에 대한 최대 계층 깊이를 특정한다. max_mtt_hierarchy_depth_intra_slices의 값은 MinQtLog2SizeY-MinTbLog2SizeY 내지 CtbLog2SizeY-MinTbLog2SizeY의 범위(경계값 포함)에 있어야 한다.
코딩 디바이스(디코더 또는 인코더)에 의해 구현되는 대응하는 코딩 방법은 다음과 같을 수 있다:
이미지를 블록들로 나누는 단계- 블록들은 경계 블록을 포함함 -; 최대 경계 멀티-타입 파티션 깊이로 경계 블록에 이진 분할을 적용하는 단계- 최대 경계 멀티-타입 파티션 깊이는 적어도 최대 멀티-타입 트리 깊이와 최대 멀티-타입 트리 깊이 오프셋의 합이고, 최대 멀티-타입 트리 깊이는 0보다 큼 -.
선택적으로, 최대 멀티-타입 트리 깊이는 경계 블록에 이진 분할을 적용할 때 0보다 크다.
선택적으로, 경계 블록은 코너 블록을 포함하지 않거나 코너 블록일 수 있다.
추가 실시예가 아래에 설명된다.
JVET-K1001-v7에서, max_mtt_hierarchy_depth_inter_slices 및 max_mtt_hierarchy_depth_intra_slices가 SPS에서 시그널링된다.
여기서 max_mtt_hierarchy_depth_inter_slices는 0 (B) 또는 1 (P)과 같은 slice_type를 가진 슬라이스들에서 쿼드트리 리프의 멀티-타입 트리 분할에 기인하는 코딩 유닛들에 대한 최대 계층 구조 깊이를 특정한다. max_mtt_hierarchy_depth_inter_slices의 값은 0부터 CtbLog2SizeY-MinTbLog2SizeY(경계 포함)까지의 범위에 있어야 한다.
max_mtt_hierarchy_depth_intra_slices는 slice_type가 2 (I)와 동일한 슬라이스들에서 쿼드트리 리프(quadtree leaf)의 멀티-타입 트리 분할에 기인하는 코딩 유닛들에 대한 최대 계층 깊이를 특정한다. max_mtt_hierarchy_depth_intra_slices의 값은 0 내지 CtbLog2SizeY-MinTbLog2SizeY의 범위(경계값 포함)에 있어야 한다.
MinTbSizeY는(7-9)에서 정의되고, 이는 4로서 고정되며, 따라서 MinTbLog2SizeY= log2 MinTbSizeY이고 이는 2로서 고정된다.
MaxMttDepth는 멀티-타입 트리 파티션의 최대 허용 깊이를 나타내는 변수이다. 현재의 멀티-타입 트리 파티션 깊이가 MaxMttDepth 이상이면, 멀티-타입 트리 파티션은 허용되지 않는다.
max_mtt_hierarchy_depth_inter_slices 및 max_mtt_hierarchy_depth_intra_slices의 시맨틱에 기초하여, max_mtt_hierarchy_depth_inter_slices 및 max_mtt_hierarchy_depth_intra_slices의 범위는 0부터 CtbLog2SizeY-MinTbLog2SizeY까지이다.
(7-35)에 기초하여, MaxMttDepth의 범위는 0 내지 CtbLog2SizeY-MinTbLog2SizeY이다. VTM2.0에서 CtbLog2SizeY가 7과 같기 때문에, MaxMttDepth의 범위는 0 내지 5이다.
따라서, MaxMttDepth는 0 내지 5의 VTM2.0에서 0 내지 CtbLog2SizeY-MinTbLog2SizeY의 범위를 갖는다.
VVC 2.0에서의 현재 경계 처리에 기초하여, 경계-위치된 블록에 대해 QT 파티션 및 BT 파티션만이 허용된다. TT는 허용되지 않고, 어떠한 분할의 적용도 허용되지 않는다.
제1 문제가 해결되지만(MaxBtSizeY>= MinQtSizeY), 다음의 조건이 충족되는 경우:
cbSizeY <= MinQtSizeY
MaxMttDepth =0,
경계 처리를 위한 BT 파티셔닝의 최대 허용 깊이는 불충분할 것이다.
예를 들어, MinQtSizeY는 16과 동일하고, MinTbSizeY는 4와 동일하고, MaxMttDepth는 0이다.
선행 실시예에서 설명된 바와 같은 MaxMttDepth의 정의 범위를 제한하는 것 외에, 쿼드트리 리프의 멀티-타입 트리 분할로 인한 멀티-타입 트리 파티션의 불충분한 깊이에 의해 야기되는, 현재 경계 처리와 연관된 문제를 해결하기 위한 추가 해결책이 있다.
JVET-K1001-v7 섹션 6.4.1에서, 허용된 이진 분할 프로세스가 정의된다.
쿼드트리 리프(mttdepth)의 멀티-타입 트리 분할에 기인한 멀티-타입 트리 파티션으로부터의 멀티-타입 트리 깊이가 MaxMttDepth + depthOffset 이상이면, 이진 트리 분할이 허용되지 않는다.
여기서 depthOffset는 MaxMttdepth의 오프셋이고, 이는 0으로서 초기화되고, 경계 위치 블록(화상 경계의 내부에 부분적으로 위치된 블록, 화상 경계의 외부에 부분적으로 위치된 블록)에 대해 이진 트리 파티션이 수행되는 경우에만(즉, 경계 위치 블록이 이진 파티셔닝을 사용하여 분할됨), 값은 1만큼 증가될 것이다.
설명된 조건(MaxMttDepth= 0 및 cbSizeY <= MinQtSizeY) 하에서, 현재 블록의 부모 분할이 쿼드트리 분할이고 현재 블록이 부분적으로 화상 경계 내부에, 부분적으로 화상 경계 외부에 위치하면, 이때:
·
현재 블록은 VVC2.0에서의 현재 경계 처리에 기초하여 이진 트리에 의해 분할될 필요가 있다.
·
경계에 위치한 부모 블록에 대해 이진 트리 파티셔닝이 수행되지 않기 때문에 depthOffset는 0과 같다.
·
이진 트리 파티셔닝은 mttdepth가 MaxMttDepth + depthOffset(모든 값들이 0임)과 동일하기 때문에 행해질 수 없고, 이는 불릿 포인트 1과 비교하여 모호하다.
설명된 모호성 문제는 경계 처리에 대해서만 MaxMttDepth 제한을 무시함으로써 해결될 수 있다.
현재 블록이 화상 경계 상에 위치될 때, 이진 트리 파티셔닝 동안, MaxMttDepth 또는 MaxMttDepth + depthOffset의 조건은 허용된 이진 분할 프로세스에 의해 체크되지 않는다. 대조적으로, 현재 블록이 화상 경계 상에 위치되지 않을 때, 허용된 이진 분할 프로세스의 조건은, 예를 들어, 위에 언급된 JVET-K1001-v7 섹션 6.4.1로부터의 다음의 발췌문들에서 명시된 바와 같이, 현재 VVC 2.0 설계에서와 동일하다.
6.4.1 허용된 이진 분할 프로세스
…
이 프로세스에 대한 입력은 이진 분할 모드 btSplit, 코딩 블록 폭 cbWidth, 코딩 블록 높이 cbHeight, 화상의 좌측 상단 루마 샘플에 대한 고려된 코딩 블록의 좌측 상단 루마 샘플의 위치( x0, y0 ), 멀티-타입 트리 깊이 mttDepth, MaxMttDepth 오프셋 depthOffset 및 파티션 인덱스 partIdx이다.
이 프로세스의 출력은 변수 allowBtSplit이다.
표 1 - btSplit에 기초한 parallelTtSplit 및 cbSize의 사양 [JVET-K1001-v7로부터의 표 6-2에 대응].
변수 parallelTtSplit 및 cbSize는 표 6-2에 명시된 바와 같이 도출된다.
변수 allowBtSplit는 다음과 같이 도출된다:
다음의 조건들 중 하나 이상이 참이면, allowBtSplit는 거짓과 동일하게 설정된다:
cbSize는 MinBtSizeY 이하이다
cbWidth는 MaxBtSizeY를 초과한다
cbHeight는 MaxBtSizeY를 초과한다
mttDepth는 MaxMttDepth + depthOffset 이상이고 x0 + cbWidth는 pic_width_in_luma_samples 이하이고 y0 + cbHeight는 pic_height_in_luma_samples 이하이다
그렇지 않고, 다음의 조건들 모두가 참이면, allowBtSplit는 거짓과 동일하게 설정된다:
btSplit는 SPLIT_BT_VER과 동일하고,
y0 + cbHeight는 pic_height_in_luma_samples을 초과한다.
그렇지 않고, 다음의 조건들 모두가 참이면, allowBtSplit는 거짓과 동일하게 설정된다:
btSplit는 SPLIT_BT_HOR과 같고,
x0 + cbWidth는 pic_width_in_luma_samples을 초과하고,
y0 + cbHeight는 pic_height_in_luma_samples 이하이다.
그렇지 않고, 다음의 조건들 모두가 참이면, allowBtSplit는 거짓과 동일하게 설정된다:
mttDepth는 0보다 크다
partIdx가 1과 동일하다
MttSplitMode [ x0 ][ y0 ][mttDepth-1]는 parallelTtSplit와 동일하다.
그렇지 않으면, allowBtSplit는 참과 동일하게 설정된다.
여기서, pic_height_in_luma_samples는 루마 샘플들 내의 코딩 화상의 높이이고, pic_width_in_luma_samples는 루마 샘플들 내의 코딩 화상의 폭이며, 이러한 2개의 파라미터는 전체 비디오 시퀀스에 대해 일관되게 유지된다.
변수 allowBtSplit는 현재 코딩 블록에 대한 이진 트리 분할의 허용들을 나타내며, 이는 수평 및 수직 이진 트리 분할 경우들의 허용들 모두를 포함한다. 프로세스 동안 어느 허용(수평 또는 수직)이 체크되는지는 입력 이진 분할 모드 btSplit에 기초한다.
강조된 조건(x0 + cbWidth는 pic_width_in_luma_samples 이하이고, y0 + cbHeight는 pic_height_in_luma_samples 이하임)은 현재 블록의 우측-하단 코너 샘플이 화상 프레임의 내부에 위치됨을 의미하고, 다시 말해서, 현재 코딩 블록이 비-경계 블록임을 의미하는데, 이는 이 코딩 블록이 화상 경계 상에 위치되지 않기 때문이다.
따라서, JVET-K1001-v7로부터의 섹션 6.4.1에서, 상기 조건 "mttDepth는 MaxMttDepth + depthOffset 이상이고 x0 + cbWidth는 pic_width_in_luma_samples 이하이고 y0 + cbHeight는 pic_height_in_luma_samples 이하임"- 본 개시내용에서 "이진 분할을 적용하지 않기 위한 조건"이라고도 지칭됨 -은 또한 다음과 같이 공식화될 수 있다:
현재 블록은 화상의 경계에 위치하지 않는 비-경계 블록이고; 및
쿼드트리 리프의 멀티-타입 트리 분할에 기인한 멀티-타입 트리 깊이, mttDepth는 최대 경계 멀티-타입 파티션 깊이, MaxMttDepth, 및 최대 경계 멀티-타입 파티션 깊이에 대한 오프셋, depthOffset의 합 이상이다.
여기서, depthOffset는 0으로서 초기화되고, 쿼드트리 리프의 멀티-타입 분할에서 이진 트리 분할이 수행되면 1만큼 증가된다. 본 개시내용에 따르면, 이진 분할을 적용하지 않기 위한 이러한 조건이 현재 블록에 의해 만족된다고 결정되면, 이진 분할은 적용되지 않는다.
따라서, (코딩 디바이스에 의해, 즉, 디코더(30) 또는 인코더(20)에 의해 구현될 수 있는) 비디오 또는 정지 이미지 코딩(즉, 인코딩 또는 디코딩) 방법은:
이미지를 블록들로 나누는 단계- 블록들은 경계 블록을 포함함 -; 최대 경계 멀티-타입 파티션 깊이에 제한 없이 경계 블록에 이진 분할을 적용하는 단계- 최대 경계 멀티-타입 파티션 깊이는 적어도 최대 멀티-타입 트리 깊이와 최대 멀티-타입 트리 깊이 오프셋의 합이고, 최대 멀티-타입 트리 깊이는 0 이상임 -; 및
이미지를 블록들로 나누는 단계- 블록들은 비-경계 블록을 포함함 -; 최대 경계 멀티-타입 파티션 깊이로 제한하여 비-경계 블록에 이진 분할을 적용하는 단계- 최대 경계 멀티-타입 파티션 깊이는 적어도 최대 멀티-타입 트리 깊이와 최대 멀티-타입 트리 깊이 오프셋의 합이고, 최대 멀티-타입 트리 깊이는 0 이상임 -를 포함할 수 있다.
인코딩 또는 디코딩에 적합하고 따라서 화상의 인코딩 또는 디코딩에 적용될 수 있는, 화상을 인코딩 또는 디코딩하는 방법이 도 10에 도시되어 있고, 도 10에는 화상의 현재 블록에 적용될 방법 단계들이 도시되어 있다. 방법은 이진 분할을 적용하지 않기 위한 상기 조건이 만족되는지를 테스트하는 단계들 S1010 및 S1020을 포함한다.
즉, 단계 S1010에서, 현재 블록이 화상의 경계에 위치한 경계 블록인지 또는 화상의 경계에 위치하지 않은 비-경계 블록인지가 테스트된다. 예를 들어, x0 + cbWidth가 화상의 화상 폭, pic_width_in_luma_samples 이하이고 y0 + cbHeight가 화상의 화상 높이, pic_height_in_luma_samples 이하인 경우 블록은 비-경계 블록인 것으로 결정되고- 여기서 (x0,y0)은 현재 블록의 좌측 상단 루마 샘플의 위치이고, cbWidth는 현재 블록의 폭이고, cbHeight는 현재 블록의 높이임 -, 그렇지 않은 경우 경계 블록인 것으로 결정된다.
또한, 단계 S1020에서, 쿼드트리 리프의 멀티-타입 트리 분할로부터 기인하는 멀티-타입 트리 깊이, mttDepth가 최대 경계 멀티-타입 파티션 깊이, MaxMttDepth, 및 MaxMttDepth에 대한 오프셋, depthOffset의 합 이상인지(즉, MaxMttDepth + depthOffset 이상인지) 여부가 테스트된다. 여기서, depthOffset는 0으로 초기화되고, 이진 분할(또는 "이진 트리 분할") 및 삼진(트리) 분할 중 적어도 하나를 포함할 수 있는 쿼드트리 리프의 멀티-타입 분할에서, 이진 트리 분할이 수행되면 1만큼 증가되는 깊이 오프셋이다.
단계(S1010)에서 현재 블록이 경계 블록이 아니라고 결정하는 것(도 10에서 "아니오") 및 단계(S1020)에서 현재 블록의 멀티-타입 트리 깊이가 적어도 MaxMttDepth와 depthOffset의 상기 합이라고 결정하는 것에 응답하여, 단계(S1030)에서 현재 블록에 이진 분할이 적용되지 않는다.
상기 방법의 예가 도 11에 도시되어 있고, 여기서, 단계들 S1010 내지 S1030은 도 10에 도시된 대응하는 단계들과 동일하다. 또한, 단계 S1010의 결과로서 현재 블록이 화상의 경계에 위치된 경계 블록이라고 결정되면(도 11에서 "예"), mttDepth가 MaxMttDepth와 depthOffset의 합 이상인지 여부에 관계없이, 이진 분할이 적용된다(S1140).
일반적으로, 도 10으로부터의 단계들 S1010 및 S1020의 순서는 상호교환가능하다. 그러나, 단계 S1010이 단계 S1020 전에 수행되고 단계 S1010에서 현재 블록이 경계 블록인 것으로 결정되면(즉, 이미 이진 분할을 적용하지 않기 위한 조건의 제1 부분이 만족되지 않으면), 이진 분할을 적용하지 않기 위한 조건의 제2 부분인 멀티-타입 트리 깊이가 MaxMttDepth와 depthOffset의 합 이상인지 여부를 체크하는 단계 S1020을 수행하지 않고 단계 S1140에서 이진 분할이 이미 적용될 수 있다.
화상을 인코딩 또는 디코딩하는 상기 방법에 대응하여, 또한 도 12에 도시된 현재 블록을 포함하는 화상을 인코딩 또는 디코딩하기에 적합한 장치(1200)가 제공된다. 장치(1200)는 이진 분할을 적용하지 않기 위한 위에서 언급된 조건이 만족되는지 여부를 결정하도록 구성되거나 적응되고, 상기 조건이 만족된다는 결정에 응답하여 현재 블록에 이진 분할을 적용하지 않도록 구성되는 회로(1210, 1220), 예를 들어, 처리 회로를 포함한다.
예를 들어, 도 12로부터 알 수 있는 바와 같이, 장치(1200) 또는 그의 처리 회로는 조건 결정 유닛(1210) 및 분할 유닛(1220)을 포함한다. 특히, 조건 결정 유닛(1210)은 경계 분할을 적용하지 않기 위한 조건이 만족되는지 여부를 결정하도록 구성된다.
도 13에 추가로 도시된 바와 같이, 조건 결정 유닛(1210)은 현재 블록이 경계 블록인지 여부를 결정하도록 구성된 경계 블록 결정 유닛(1311), 및 현재 블록의 멀티-타입 트리 깊이가 MaxMttDepth와 오프셋 depthOffset 내지 MaxMttDepth의 합 이상인지 여부를 결정하도록 구성된 멀티-타입 트리-깊이 결정 유닛(1312)을 포함할 수 있다.
조건 결정 유닛(1210)에 의한 처리에 응답하여, 분할 유닛(1220)은 현재 블록의 분할을 수행하고, 이진 분할을 적용하지 않기 위한 조건이 만족된다고 조건 결정 유닛(1210)이 결정했다면 이진 분할은 적용되지 않는다. 한편, 분할 유닛(1220)은, 조건 결정 유닛(1210) 또는 멀티-타입 트리 깊이 결정 유닛(1312)이 현재 블록의 멀티-타입 트리 깊이가 MaxMttDepth와 깊이 오프셋의 합 이상인지의 여부를 결정하는 것에 관계없이 그리고 대기하지 않고, 조건 결정 유닛(1210)이 현재 블록이 경계 블록이라고 결정하는 것에 응답하여 이진 분할을 수행할 수 있다.
화상을 인코딩 또는 디코딩하기 위한 장치(1200)는 예를 들어 도 2에 도시된 바와 같은 화상 인코더 또는 비디오 인코더와 같은 인코더(20)에 의해, 또는 예를 들어 도 3에 도시된 바와 같은 화상 디코더 또는 비디오 디코더와 같은 디코더(30)에 의해 구성될 수 있다. 예를 들어, 장치(1200)는 위의 섹션 "파티셔닝"에서 언급된 파티셔닝 유닛 또는 첨부 도 3과 관련된 디코더(30)의 설명에서 언급된 파티셔닝 유닛에 포함될 수 있다.
본 개시내용의 임의의 실시예들에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 또는 컴퓨트 프로그램 제품이 추가로 제공된다. 프로그램이 컴퓨터 상에서 실행될 때, 프로그램 코드는 컴퓨터로 하여금 방법의 단계들을 수행하게 한다.
이진 분할을 적용하지 않는 조건을 제공하고 적용함으로써, 본 개시내용은 이진 분할과 같은 멀티-타입 트리 분할의 적용을 유연하게 제어하는 것을 용이하게 한다. 예를 들어, 이전 실시예와 비교하여, 이 실시예의 이점은 비-경계 위치 블록들에 대해 멀티-타입 트리 분할이 완전히 쉽게 턴 오프될 수 있다는 것이다(즉, MaxMttDepth를 0으로 설정함으로써).
이하에서, 본 개시내용의 다른 실시예가 설명될 것이다:
JVET-K1001-v4에서, MinQtSizeY>MaxBtSizeY 및 MinQtSizeY>MaxTtSizeY인 경우, 그리고 cbSize= MinQtsizeY인 경우, 파티션은 MinCbSizeY에 도달할 수 없는데(MinTbSizeY 및 MinCbsizeY는 고정되고 4와 동일함), 그 이유는 이용가능한 가능한 파티션 모드가 없기 때문이다.
비-경계 경우 또는 경계 경우의 이러한 문제를 고려하여, 언급된 문제를 해결하기 위해, MaxBtSizeY의 하한은 MaxBtSizeY가 확실히 MinQtSizeY 이상이도록 하기 위해 MinQtSizeY로 제한되어야 하거나, MaxTtSizeY의 하한은 MaxTtSizeY가 확실히 MinQtSizeY 이상이도록 하기 위해 MinQtSizeY로 제한되어야 한다.
log2_diff_ctu_max_bt_size는 이진 분할을 사용하여 분할될 수 있는 코딩 블록의 최대 루마 크기(폭 또는 높이)와 루마 CTB 크기 사이의 차이를 특정한다. log2_diff_ctu_max_bt_size의 값은 0 내지 CtbLog2SizeY-MinQtLog2SizeY의 범위(경계 포함)에 있어야 한다.
추가적으로 또는 대안적으로, log2_min_qt_size_intra_slices_minus2 + 2는 slice_type가 2 (I)와 동일한 슬라이스들에서 CTU의 쿼드트리 분할로부터 기인하는 리프 블록의 최소 루마 크기를 특정한다. log2_min_qt_size_intra_slices_minus2의 값은 0 내지 MaxTtLog2SizeY-2의 범위(경계값 포함)에 있어야 한다.
log2_min_qt_size_inter_slices_minus2 + 2는 0 (B) 또는 1 (P)과 동일한 slice_type를 갖는 슬라이스들에서 CTU의 쿼드트리 분할로부터 기인하는 리프 블록의 최소 루마 크기를 특정한다. log2_min_qt_size_inter_slices_minus2의 값은 0 내지 MaxTtLog2SizeY-2의 범위(경계값 포함)에 있어야 한다.
코딩 디바이스(디코더 또는 인코더)에 의해 구현되는 대응하는 코딩 방법은 다음과 같을 수 있다:
현재 블록의 크기가 최소 허용 쿼드트리 리프 노드 크기보다 큰지를 결정하는 단계; 현재 블록의 크기가 최소 허용 쿼드트리 리프 노드 크기 이하이면, 현재 블록에 멀티-타입 트리 분할을 적용하는 단계- 최소 허용 쿼드트리 리프 노드 크기는 최대 허용 이진 트리 루트 노드 크기 이하이거나 최소 허용 쿼드트리 리프 노드 크기는 최대 허용 삼진 트리 루트 노드 크기 이하임 -.
선택적으로, 최소 허용 쿼드트리 리프 노드 크기는 최대 허용 이진 트리 루트 노드 크기 이하이고 최소 허용 쿼드트리 리프 노드 크기는 최대 허용 삼진 트리 루트 노드 크기 이하이다.
선택적으로, 현재 블록에 멀티-타입 트리 분할을 적용하는 단계는 현재 블록에 삼진 분할을 적용하는 단계, 또는 현재 블록에 이진 분할을 적용하는 단계를 포함한다.
선택적으로, 경계 블록은 코너 블록을 포함하지 않거나 코너 블록일 수 있다.
이하에서, 본 개시내용의 다른 실시예들이 설명될 것이다:
MaxBtSizeY>= MinQtSizeY, MinQtSizeY> MinTbLog2SizeY 및 MaxMttDepth < (MinQtLog2SizeY-MinTbLog2SizeY)인 경우,
cbSize= MinQtsizeY이며, 파티션은 MinCbSizeY에 도달할 수 없는데, 그 이유는 충분한 레벨의 멀티-타입 트리 파티션이 허용되지 않기 때문이다.
비-경계 경우 또는 경계 경우의 이러한 문제를 고려하여, 언급된 문제를 해결하기 위해, MaxMttDepth의 하한은(MinQtLog2SizeY-MinTbLog2SizeY)으로 제한되어야 하고, QT 파티션 후에, 경계 및 비-경계 경우 둘 다에 대해 충분한 레벨들의 멀티-타입 트리 파티션이 있는 것을 확실히 한다.
드래프트 텍스트의 대응하는 변화는 max_mtt_hierarchy_depth_inter_slices 및 max_mtt_hierarchy_depth_intra_slices의 시맨틱서 다음과 같다:
max_mtt_hierarchy_depth_inter_slices는 0 (B) 또는 1 (P)과 동일한 slice_type를 가진 슬라이스들에서 쿼드트리 리프의 멀티-타입 트리 분할에 기인하는 코딩 유닛들에 대한 최대 계층 깊이를 특정한다. max_mtt_hierarchy_depth_inter_slices의 값은 MinQtLog2SizeY-MinTbLog2SizeY부터 CtbLog2SizeY-MinTbLog2SizeY까지의 범위(경계값 포함)에 있어야 한다.
max_mtt_hierarchy_depth_intra_slices는 slice_type가 2 (I)와 동일한 슬라이스들에서 쿼드트리 리프(quadtree leaf)의 멀티-타입 트리 분할에 기인하는 코딩 유닛들에 대한 최대 계층 깊이를 특정한다. max_mtt_hierarchy_depth_intra_slices의 값은 MinQtLog2SizeY-MinTbLog2SizeY 내지 CtbLog2SizeY-MinTbLog2SizeY의 범위(경계값 포함)에 있어야 한다.
코딩 디바이스(디코더 또는 인코더)에 의해 구현되는 대응하는 코딩 방법은 다음과 같을 수 있다:
이미지를 블록들로 나누는 단계;
최종 최대 멀티-타입 트리 깊이를 갖는 블록들의 블록에 멀티-타입 트리 분할을 적용하는 단계- 최종 최대 멀티-타입 트리 깊이는 적어도 최대 멀티-타입 트리 깊이와 최대 멀티-타입 트리 깊이 오프셋의 합이고, 최대 멀티-타입 트리 깊이는 최소 허용 쿼드트리 리프 노드 크기의 Log2 값으로부터 최소 허용 변환 블록 크기의 Log2 값을 감산한 것 이상이거나, 또는 최대 멀티-타입 트리 깊이는 최소 허용 쿼드트리 리프 노드 크기의 Log2 값으로부터 최소 허용 코딩 블록 크기의 Log2 값을 감산한 것 이상임 -.
선택적으로, 블록은 비-경계 블록이다.
선택적으로, 최대 멀티-타입 트리 깊이 오프셋은 0이다.
선택적으로, 블록은 경계 블록이고 멀티-타입 트리 분할은 이진 분할이다.
선택적으로, 멀티-타입 트리 분할은 삼진 분할이다.
선택적으로, 경계 블록은 코너 블록을 포함하지 않거나 코너 블록일 수 있다.
하나 이상의 예에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되면 이러한 기능들은 컴퓨터 판독 가능한 매체 상의 하나 이상의 명령어 또는 코드로서 저장되거나 또는 송신될 수 있고 하드웨어-기반 처리 유닛에 의해 실행될 수 있다. 컴퓨터 판독 가능 매체는, 데이터 저장 매체와 같은 유형의 매체에 대응하는, 컴퓨터 판독 가능 저장 매체, 또는, 예를 들어, 통신 프로토콜에 따라, 하나의 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수 있다. 이러한 방식으로, 컴퓨터 판독가능 매체는 일반적으로, (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체는, 본 개시내용에서 설명되는 기법들의 구현을 위한 명령어들, 코드 및/또는 데이터 구조들을 검색하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능 매체를 포함할 수 있다.
제한이 아니라, 예로서, 이러한 컴퓨터 판독 가능 저장 매체는, RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령어들 또는 데이터 구조의 형태로 저장하기 위해 사용될 수 있는 그리고 컴퓨터에 의해 액세스될 수 있는 다른 임의의 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독 가능 매체라고 적절히 칭해진다. 예를 들어, 명령어들이, 동축 케이블, 광 섬유 케이블, 트위스티드 페어(twisted pair), DSL(digital subscriber line), 또는 적외선, 무선, 및 마이크로웨이브와 같은 무선 기술들을 사용하여 웹사이트, 서버 또는 다른 원격 소스로부터 송신되면, 이러한 동축 케이블, 광 섬유 케이블, 트위스티드 페어, DSL, 또는 적외선, 무선, 및 마이크로웨이브와 같은 무선 기술들은 매체의 정의에 포함된다. 그러나, 컴퓨터 판독가능 저장 매체 및 데이터 저장 매체는, 접속들, 반송파들, 신호들, 또는 다른 일시적인 매체를 포함하지 않고, 그 대신에, 비일시적인, 유형의 저장 매체와 관련된다는 점이 이해되어야 한다. 본 명세서에서 사용되는 바와 같은, 디스크(disk 및 disc)는 CD(compact disc), 레이저 디스크, 광 디스크, DVD(digital versatile disc), 플로피 디스크 및 Blu-ray 디스크를 포함하고, 여기서 디스크(disk)들은 일반적으로 데이터를 자기적으로 재생성하는 반면, 디스크(disc)들은 데이터를 레이저들로 광학적으로 재생성한다. 위의 것의 조합들이 컴퓨터 판독 가능 매체의 범위 내에 또한 포함되어야 한다.
하나 이상의 DSP(digital signal processors), 범용 마이크로프로세서, 집적 회로(IC), 예컨대, ASIC(application specific integrated circuits), FPGA(field programmable logic/gate arrays), 또는 다른 동등한 집적 또는 이산 로직 회로와 같은, 하나 이상의 프로세서에 의해 명령어들이 실행될 수 있다. 따라서, 본 명세서에서 사용되는 바와 같은 "프로세서(processor)", "처리 회로" 및 "회로"라는 용어는 본 명세서에서 설명되는 기법들의 구현에 적합한 임의의 다른 구조 또는 전술한 구조 중 임의의 것을 지칭할 수 있다. 전술한 (처리) 회로 및 그 유닛들은 공통 집적 회로 또는 각각 전용 집적 회로들로서 구현될 수 있다. 또한, 일부 양태들에서, 본 명세서에서 설명되는 기능성은 인코딩 및 디코딩을 위해 구성되는 전용 하드웨어 및/또는 소프트웨어 모듈 내에 제공되거나, 또는 조합된 코덱에 포함될 수 있다. 또한, 이러한 기법들은 하나 이상의 회로 또는 로직 엘리먼트에서 완전히 구현될 수 있다.
본 개시내용의 기법들은, 무선 핸드셋, IC(integrated circuit) 또는 IC들의 세트(예를 들어, 칩 세트)를 포함하는, 매우 다양한 디바이스들 또는 장치들에서 구현될 수 있다. 개시된 기법들을 수행하도록 구성되는 디바이스들의 기능적 양태들을 강조하기 위해 본 개시내용에서는 다양한 컴포넌트들, 모듈들, 또는 유닛들이 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 요구하지는 않는다. 오히려, 위에 설명된 바와 같이, 다양한 유닛들은, 적합한 소프트웨어 및/또는 펌웨어와 연계하여, 코덱 하드웨어 유닛에서 조합되거나 또는, 위에 설명된 하나 이상의 프로세서를 포함하는, 연동 하드웨어 유닛들의 집합에 의해 제공될 수 있다.
요약하면, 인코딩 및 디코딩을 위한 방법 및 장치가 제공된다. 방법은, 현재 블록에 이진 분할을 적용하지 않기 위한 조건으로서, 현재 블록이 경계 블록인지 및 쿼드트리 리프의 멀티-타입 트리 분할로부터 기인하는 멀티-타입 트리 깊이가 최대 경계 멀티-타입 파티션 깊이와 깊이 오프셋의 합 이상인지를 결정하는 단계를 포함한다. 상기 조건이 만족되는지의 결정 결과에 따라 이진 분할이 적용된다.
이하는 본 발명의 실시예들의 비포괄적인 리스트이다.
1. 화상을 인코딩 또는 디코딩하는 방법으로서, 이 방법은 화상의 현재 블록에 대해
다음의 제1 조건:
mttDepth는 MaxMttDepth + depthOffset 이상이고 x0 + cbWidth는 pic_width_in_luma_samples 이하이고 y0 + cbHeight는 pic_height_in_luma_samples 이하임
이 만족된다는 결정에 응답하여 현재 블록에 이진 분할을 적용하지 않는 단계를 포함하는, 방법.
2.
실시예 1에 있어서,
제1 조건이 만족되면 변수 allowBtSplit를 거짓으로 설정하는 단계; 및
변수 allowBtSplit에 기초하여 상기 현재 블록에 이진 분할을 적용하거나 적용하지 않는 단계를 더 포함하는, 방법.
3.
실시예 2에 있어서, 변수 allowBtSplit에 기초하여 현재 블록에 이진 분할을 적용하거나 적용하지 않는 상기 단계는,
변수 allowBtSplit가 참일 때 현재 블록에 이진 분할을 적용하는 단계;
및 변수 allowBtSplit가 거짓일 때 현재 블록에 이진 분할을 적용하지 않는 단계를 포함하는, 방법.
4.
실시예 1 내지 3 중 어느 하나에 있어서, 화상은 비디오 시퀀스의 프레임인 방법.
5. 인코더(20)로서, 실시예 1 내지 4 중 어느 하나에 따른 방법을 수행하기 위한 처리 회로를 포함하는 인코더.
6. 디코더(30)로서, 실시예 1 내지 4 중 어느 하나에 따른 방법을 수행하기 위한 처리 회로를 포함하는 디코더.
7. 실시예 1 내지 4 중 어느 하나에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품.
8. 디코더로서,
하나 이상의 프로세서; 및
프로세서들에 결합되고 프로세서들에 의한 실행을 위한 프로그래밍을 저장하고 있는 비일시적 컴퓨터 판독가능 저장 매체를 포함하고, 프로그래밍은, 프로세서들에 의해 실행될 때, 실시예 1 내지 4 중 어느 하나에 따른 방법을 수행하도록 디코더를 구성하는, 디코더.
9. 인코더로서,
하나 이상의 프로세서; 및
프로세서들에 결합되고 프로세서들에 의한 실행을 위한 프로그래밍을 저장하고 있는 비일시적 컴퓨터 판독가능 저장 매체를 포함하고, 프로그래밍은, 프로세서들에 의해 실행될 때, 실시예 1 내지 4 중 어느 하나에 따른 방법을 수행하도록 인코더를 구성하는, 인코더.
Claims (24)
- 화상을 인코딩 또는 디코딩하는 방법으로서, 상기 방법은 화상의 현재 블록에 대해 다음의 조건:
상기 현재 블록은 상기 화상의 경계에 위치하지 않는 비-경계 블록이고; 및
쿼드트리 리프의 멀티-타입 트리 분할로부터 기인하는 멀티-타입 트리 깊이 mttDepth는 최대 경계 멀티-타입 파티션 깊이 MaxMttDepth, 및 MaxMttDepth에 대한 오프셋 depthOffset의 합 이상임,
이 만족되는지 여부를 결정하는 단계(S1010, S1020)- 상기 depthOffset는 0으로 초기화되고 상기 쿼드트리 리프의 멀티-타입 분할에서 이진 트리 분할이 수행되면 1만큼 증가됨 -; 및
상기 조건이 만족된다는 결정에 응답하여 상기 현재 블록에 이진 분할을 적용하지 않는 단계(S1030)를 포함하는, 방법. - 제1항에 있어서,
mttDepth가 MaxMttDepth와 depthOffset의 상기 합 이상인지 여부에 관계없이 상기 현재 블록이 상기 화상의 경계에 위치된 경계 블록인 것으로 결정하는 것에 응답하여 상기 현재 블록에 이진 분할을 적용하는 단계(S1140)를 포함하는, 방법. - 제1항 또는 제2항에 있어서, 상기 멀티-타입 트리 분할은 이진 분할 및 삼진 분할 중 적어도 하나를 포함하는, 방법.
- 제1항 내지 제3항 중 어느 한 항에 있어서, x0 + cbWidth가 상기 화상의 화상 폭 pic_width_in_luma_samples 이하이고 y0 + cbHeight가 상기 화상의 화상 높이 pic_height_in_luma_samples 이하인 경우, 상기 현재 블록은 상기 경계에 위치하는 경계 블록이 아닌 것으로 결정되고,
(x0,y0)은 현재 블록의 좌측 상단 루마 샘플의 위치이고, cbWidth는 현재 블록의 폭이고, cbHeight는 현재 블록의 높이인, 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 조건이 만족되면 변수 allowBtSplit를 거짓으로 설정하는 단계; 및
상기 변수 allowBtSplit에 기초하여 상기 현재 블록에 이진 분할을 적용하거나(S1140) 또는 적용하지 않는 단계(S1030)를 더 포함하는, 방법. - 제5항에 있어서, 상기 변수 allowBtSplit에 기초하여 상기 현재 블록에 이진 분할을 적용하거나(S1140) 또는 적용하지 않는 상기 단계(S1030)는,
상기 변수 allowBtSplit가 참일 때 상기 현재 블록에 이진 분할을 적용하는 단계(S1140);
및 상기 변수 allowBtSplit가 거짓일 때 상기 현재 블록에 이진 분할을 적용하지 않는 단계(S1030)를 포함하는, 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 MaxMttDepth는 0으로서 설정되는, 방법.
- 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 화상은 비디오 시퀀스의 프레임인, 방법.
- 인코더(20)로서, 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행하기 위한 처리 회로를 포함하는, 인코더(20).
- 디코더(30)로서, 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행하기 위한 처리 회로를 포함하는, 디코더(30).
- 인코더(20)로서,
하나 이상의 프로세서; 및
상기 프로세서들에 결합되고 상기 프로세서들에 의해 실행되는 프로그래밍을 저장하고 있는 비일시적 컴퓨터 판독가능 저장 매체를 포함하고, 상기 프로그래밍은, 상기 프로세서들에 의해 실행될 때, 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행하도록 인코더를 구성하는, 인코더(20). - 디코더(30)로서,
하나 이상의 프로세서; 및
상기 프로세서들에 결합되고 상기 프로세서들에 의해 실행되는 프로그래밍을 저장하고 있는 비일시적 컴퓨터 판독가능 저장 매체를 포함하고, 상기 프로그래밍은, 상기 프로세서들에 의해 실행될 때, 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행하도록 디코더를 구성하는, 디코더(30). - 현재 블록을 포함하는 화상을 인코딩 또는 디코딩하기 위한 장치(1200)로서, 처리 회로(1210, 1220)를 포함하고, 상기 처리 회로는,
다음의 조건:
현재 블록은 화상의 경계에 위치하지 않는 비-경계 블록이고; 및
쿼드트리 리프의 멀티-타입 트리 분할로부터 기인하는 멀티-타입 트리 깊이, mttDepth는 최대 경계 멀티-타입 파티션 깊이, MaxMttDepth, 및 MaxMttDepth에 대한 오프셋, depthOffset의 합 이상임,
이 만족되는지 여부를 결정하도록- 상기 depthOffset는 0으로 초기화되고 상기 쿼드트리 리프의 멀티-타입 분할에서 이진 트리 분할이 수행되면 1만큼 증가됨 -; 및
상기 조건이 만족된다는 결정에 응답하여 상기 현재 블록에 이진 분할을 적용하지 않도록 구성되는, 장치(1200). - 제3항에 있어서, 상기 처리 회로(1210, 1220)는, mttDepth가 상기 MaxMttDepth와 상기 depthOffset의 합 이상인지 여부에 관계없이, 상기 현재 블록이 상기 화상의 상기 경계에 위치한 경계 블록이라고 결정하는 것에 응답하여 상기 현재 블록에 이진 분할을 적용하도록 구성되는, 장치(1200).
- 제13항 또는 제14항에 있어서, 상기 멀티-타입 트리 분할은 이진 분할 및 삼진 분할 중 적어도 하나를 포함하는, 장치(1200).
- 제13항 내지 제15항 중 어느 한 항에 있어서, 상기 처리 회로(1210, 1220)는, x0 + cbWidth가 상기 화상의 화상 폭 pic_width_in_luma_samples 이하이고 y0 + cbHeight가 상기 화상의 화상 높이 pic_height_in_luma_samples 이하인 경우, 상기 현재 블록이 상기 경계에 위치하는 경계 블록이 아니라고 결정하도록 구성되고,
(x0,y0)은 현재 블록의 좌측 상단 루마 샘플의 위치이고, cbWidth는 현재 블록의 폭이고, cbHeight는 현재 블록의 높이인, 장치. - 제13항 내지 제16항 중 어느 한 항에 있어서, 상기 처리 회로(1210, 1220)는 상기 조건이 만족되는 경우 변수 allowBtSplit를 거짓으로 설정하도록; 및
상기 변수 allowBtSplit에 기초하여 상기 현재 블록에 이진 분할을 적용하거나 적용하지 않도록 구성되는, 장치(1200). - 제17항에 있어서, 상기 처리 회로(1210, 1220)는, 상기 변수 allowBtSplit에 기초하여 상기 현재 블록에 이진 분할을 적용하거나 적용하지 않도록 구성될 때,
상기 변수 allowBtSplit가 참과 동일할 때 상기 현재 블록에 이진 분할을 적용하도록; 및
상기 변수 allowBtSplit가 거짓과 동일할 때 상기 현재 블록에 이진 분할을 적용하지 않도록 구성되는, 장치(1200). - 제13항 내지 제18항 중 어느 한 항에 있어서, 상기 MaxMttDepth는 0으로 설정되는, 장치(1200).
- 제13항 내지 제19항 중 어느 한 항에 있어서, 상기 화상은 비디오 시퀀스의 프레임인, 장치(1200).
- 현재 블록을 포함하는 화상을 인코딩하도록 동작가능한 인코더(20)로서, 상기 인코더는 제12항 내지 제19항 중 어느 한 항에 따른 장치(1200)를 포함하는, 인코더(20).
- 현재 블록을 포함하는 화상을 디코딩하도록 동작가능한 디코더(30)로서, 상기 디코더는 제12항 내지 제19항 중 어느 한 항에 따른 장치(1200)를 포함하는, 디코더(30).
- 컴퓨터 프로그램 제품으로서, 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는, 컴퓨터 프로그램 제품.
- 프로그램 코드를 포함하는 컴퓨터 프로그램으로서, 상기 프로그램 코드는, 상기 프로그램이 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금,
다음의 조건:
현재 블록은 화상의 경계에 위치하지 않는 비-경계 블록이고; 및
쿼드트리 리프의 멀티-타입 트리 분할로부터 기인하는 멀티-타입 트리 깊이, mttDepth는 최대 경계 멀티-타입 파티션 깊이, MaxMttDepth, 및 MaxMttDepth에 대한 오프셋, depthOffset의 합 이상임,
이 만족되는지 여부를 결정하도록- 상기 depthOffset는 0으로 초기화되고 상기 쿼드트리 리프의 멀티-타입 분할에서 이진 트리 분할이 수행되면 1만큼 증가됨 -; 및
상기 조건이 만족된다는 결정에 응답하여 상기 현재 블록에 이진 분할을 적용하지 않게 하도록 하는, 컴퓨터 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862759929P | 2018-11-12 | 2018-11-12 | |
| US62/759,929 | 2018-11-12 | ||
| PCT/CN2019/117526 WO2020098649A1 (en) | 2018-11-12 | 2019-11-12 | Video encoder, video decoder and methods |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210088661A true KR20210088661A (ko) | 2021-07-14 |
Family
ID=70731282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217017436A KR20210088661A (ko) | 2018-11-12 | 2019-11-12 | 비디오 인코더, 비디오 디코더 및 화상을 인코딩 또는 디코딩하는 방법들 |
Country Status (12)
| Country | Link |
|---|---|
| US (1) | US11503290B2 (ko) |
| EP (1) | EP3864851B1 (ko) |
| JP (1) | JP7337157B2 (ko) |
| KR (1) | KR20210088661A (ko) |
| CN (1) | CN112868241A (ko) |
| AU (1) | AU2019379934B2 (ko) |
| BR (1) | BR112021009099A2 (ko) |
| CA (1) | CA3119397C (ko) |
| CL (1) | CL2021001242A1 (ko) |
| IL (1) | IL283116A (ko) |
| MX (1) | MX2021005549A (ko) |
| WO (1) | WO2020098649A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210088661A (ko) * | 2018-11-12 | 2021-07-14 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 비디오 인코더, 비디오 디코더 및 화상을 인코딩 또는 디코딩하는 방법들 |
| CN112702598A (zh) * | 2020-12-03 | 2021-04-23 | 浙江智慧视频安防创新中心有限公司 | 基于位移操作进行编解码的方法、装置、电子设备及介质 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140198846A1 (en) * | 2013-01-16 | 2014-07-17 | Qualcomm Incorporated | Device and method for scalable coding of video information |
| WO2016175549A1 (ko) * | 2015-04-27 | 2016-11-03 | 엘지전자 주식회사 | 비디오 신호의 처리 방법 및 이를 위한 장치 |
| US10212444B2 (en) * | 2016-01-15 | 2019-02-19 | Qualcomm Incorporated | Multi-type-tree framework for video coding |
| CN108713320B (zh) * | 2016-03-16 | 2022-05-17 | 寰发股份有限公司 | 视频编码中限制块尺寸的视频数据处理方法与装置 |
| US11223852B2 (en) * | 2016-03-21 | 2022-01-11 | Qualcomm Incorporated | Coding video data using a two-level multi-type-tree framework |
| CN108886613B (zh) * | 2016-03-28 | 2022-04-19 | 株式会社Kt | 用于处理视频信号的方法和装置 |
| US10284845B2 (en) * | 2016-05-25 | 2019-05-07 | Arris Enterprises Llc | JVET quadtree plus binary tree (QTBT) structure with multiple asymmetrical partitioning |
| CA3025340A1 (en) * | 2016-05-25 | 2017-11-30 | Arris Enterprises Llc | General block partitioning method |
| US10567808B2 (en) * | 2016-05-25 | 2020-02-18 | Arris Enterprises Llc | Binary ternary quad tree partitioning for JVET |
| US10609423B2 (en) * | 2016-09-07 | 2020-03-31 | Qualcomm Incorporated | Tree-type coding for video coding |
| US20190238863A1 (en) | 2016-10-04 | 2019-08-01 | Lg Electronics Inc. | Chroma component coding unit division method and device |
| EP3306929A1 (en) * | 2016-10-07 | 2018-04-11 | Thomson Licensing | Method and apparatus for encoding a video |
| KR102601268B1 (ko) * | 2017-02-24 | 2023-11-10 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
| CN117499683A (zh) * | 2017-09-20 | 2024-02-02 | 韩国电子通信研究院 | 用于对图像进行编码/解码的方法和装置 |
| KR20210088661A (ko) * | 2018-11-12 | 2021-07-14 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 비디오 인코더, 비디오 디코더 및 화상을 인코딩 또는 디코딩하는 방법들 |
-
2019
- 2019-11-12 KR KR1020217017436A patent/KR20210088661A/ko not_active Application Discontinuation
- 2019-11-12 EP EP19883719.7A patent/EP3864851B1/en active Active
- 2019-11-12 BR BR112021009099-1A patent/BR112021009099A2/pt unknown
- 2019-11-12 CN CN201980068325.4A patent/CN112868241A/zh active Pending
- 2019-11-12 MX MX2021005549A patent/MX2021005549A/es unknown
- 2019-11-12 CA CA3119397A patent/CA3119397C/en active Active
- 2019-11-12 AU AU2019379934A patent/AU2019379934B2/en active Active
- 2019-11-12 JP JP2021525644A patent/JP7337157B2/ja active Active
- 2019-11-12 WO PCT/CN2019/117526 patent/WO2020098649A1/en unknown
-
2021
- 2021-05-11 IL IL283116A patent/IL283116A/en unknown
- 2021-05-11 US US17/317,126 patent/US11503290B2/en active Active
- 2021-05-12 CL CL2021001242A patent/CL2021001242A1/es unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN112868241A (zh) | 2021-05-28 |
| EP3864851A1 (en) | 2021-08-18 |
| EP3864851A4 (en) | 2021-12-08 |
| MX2021005549A (es) | 2021-06-18 |
| JP2022511704A (ja) | 2022-02-01 |
| AU2019379934B2 (en) | 2023-10-19 |
| WO2020098649A1 (en) | 2020-05-22 |
| AU2019379934A1 (en) | 2021-06-10 |
| CA3119397C (en) | 2023-10-03 |
| US11503290B2 (en) | 2022-11-15 |
| JP7337157B2 (ja) | 2023-09-01 |
| BR112021009099A2 (pt) | 2021-08-10 |
| US20210266541A1 (en) | 2021-08-26 |
| CL2021001242A1 (es) | 2021-10-22 |
| CA3119397A1 (en) | 2020-05-22 |
| EP3864851B1 (en) | 2023-09-27 |
| IL283116A (en) | 2021-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102542433B1 (ko) | 비디오 처리 방법, 비디오 처리 장치, 인코더, 디코더, 매체 및 컴퓨터 프로그램 | |
| KR102618466B1 (ko) | 보간 필터를 사용하는 인트라 예측을 위한 방법 및 장치 | |
| US20220329839A1 (en) | Video decoding method and video decoder | |
| JP7286757B2 (ja) | 分割制約要素間の関係 | |
| JP7405925B2 (ja) | ビデオ・エンコーダ、ビデオ・デコーダ及び対応する方法 | |
| US11503290B2 (en) | Video encoder, video decoder and methods | |
| US11516470B2 (en) | Video coder and corresponding method | |
| WO2020073882A1 (en) | Video decoder and corresponding methods | |
| WO2020069632A1 (en) | A video encoder, a video decoder and corresponding methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |