KR20240052873A - 변환 프로세스를 위해 사용되는 인코더, 디코더 및 대응하는 방법 - Google Patents
변환 프로세스를 위해 사용되는 인코더, 디코더 및 대응하는 방법 Download PDFInfo
- Publication number
- KR20240052873A KR20240052873A KR1020247011932A KR20247011932A KR20240052873A KR 20240052873 A KR20240052873 A KR 20240052873A KR 1020247011932 A KR1020247011932 A KR 1020247011932A KR 20247011932 A KR20247011932 A KR 20247011932A KR 20240052873 A KR20240052873 A KR 20240052873A
- Authority
- KR
- South Korea
- Prior art keywords
- block
- transform
- current
- coding
- video
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 136
- 230000008569 process Effects 0.000 title claims abstract description 38
- 238000005192 partition Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims description 62
- 238000004590 computer program Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 description 100
- 238000013139 quantization Methods 0.000 description 80
- 241000023320 Luma <angiosperm> Species 0.000 description 38
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 38
- 238000006243 chemical reaction Methods 0.000 description 35
- 238000000638 solvent extraction Methods 0.000 description 35
- 238000004891 communication Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 26
- 239000013598 vector Substances 0.000 description 23
- 239000000872 buffer Substances 0.000 description 20
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000013519 translation Methods 0.000 description 14
- 230000003044 adaptive effect Effects 0.000 description 13
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 238000003491 array Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 9
- 230000000295 complement effect Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 230000002441 reversible effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 101150114515 CTBS gene Proteins 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 개시내용은 방법들 및 디바이스들을 제공한다. 디코딩 디바이스에 의해 구현되는 코딩 방법은, 현재 코딩 블록의 예측 모드가 인트라 예측이고 현재 코딩 블록이 인트라 서브-파티션(Intra sub-partition) 코딩 모드를 사용함으로써 프로세싱될 때, 현재 변환 블록의 폭이 제1 임계치 이상인지 여부 및 현재 변환 블록의 폭이 제2 임계치 이하인지 여부를 결정하는 단계 - 현재 변환 블록은 현재 코딩 블록에 대응함 - 와, 현재 변환 블록의 폭이 제1 임계치 이상이고 현재 변환 블록의 폭이 제2 임계치 이하일 때, 현재 변환 블록에 대해 변환 프로세스를 수행하는 단계를 포함하고, 변환 프로세스에서 수평 방향 변환에 대해 변환 코어 DST 7이 사용된다.
Description
본 출원(개시내용)의 실시예들은 일반적으로 화상 또는 비디오 프로세싱 분야, 특히 변환 프로세스와 관련된다.
비디오 코딩(비디오 인코딩 및 디코딩)은 광범위한 디지털 비디오 애플리케이션들, 예컨대, 브로드캐스트 디지털 TV, 인터넷 및 모바일 네트워크를 통한 비디오 송신, 실시간 대화 애플리케이션들 이를테면, 화상 채팅, 비디오 컨퍼런싱, DVD 및 Blu-ray 디스크들, 비디오 콘텐츠 획득 및 편집 시스템들, 보안 애플리케이션들의 캠코더들에서 사용된다.
비교적 짧은 비디오를 묘사하는 데 필요한 비디오 데이터의 양은 상당할 수 있으며, 이는 데이터가 대역폭 용량이 제한된 통신 네트워크들을 통해 스트리밍되거나 다른 방식으로 통신될 때 어려움들을 초래할 수 있다. 따라서, 비디오 데이터는 일반적으로 오늘날 원격통신 네트워크들을 통해 통신되기 전에 압축된다. 또한, 메모리 자원들이 제한될 수 있기 때문에, 비디오가 저장 디바이스 상에 저장될 때 비디오의 크기가 문제가 될 수 있다. 비디오 압축 디바이스들은 종종 소스에서 소프트웨어 및/또는 하드웨어를 사용하여 송신 또는 저장 전에 비디오 데이터를 코딩함으로써, 디지털 비디오 이미지들을 표현하는 데 필요한 데이터 양을 감소시킨다. 그 후, 압축된 데이터는 비디오 데이터를 디코딩하는 비디오 압축해제 디바이스에 의해 목적지에서 수신된다. 제한된 네트워크 자원들 및 더 높은 비디오 품질에 대한 계속 높아지는 요구들로 인해, 화상 품질을 거의 또는 전혀 희생하지 않고 압축비를 개선하는 개선된 압축 및 압축해제 기술들이 바람직하다.
본 출원의 실시예들은 독립 청구항들에 따른 인코딩 및 디코딩을 위한 장치들 및 방법들을 제공한다.
위의 그리고 다른 목적들은 독립 청구항들의 청구 대상에 의해 달성된다. 추가의 구현 형태들은 종속 청구항들, 설명 및 도면들로부터 명백해진다.
본 발명의 제1 양상은 디코딩 디바이스에 의해 구현되는 코딩 방법을 개시하며, 이 방법은 현재 코딩 블록의 예측 모드가 인트라 예측(intra prediction)이고 현재 코딩 블록이 인트라 서브-파티션(Intra sub-partition; ISP) 코딩 모드를 사용함으로써 프로세싱될 때, 현재 변환 블록의 폭이 제1 임계치 이상인지 여부 및 현재 변환 블록의 폭이 제2 임계치 이하인지 여부를 결정하는 단계 - 현재 변환 블록은 현재 코딩 블록에 대응함 - ; 현재 변환 블록의 폭이 제1 임계치 이상이고 현재 변환 블록의 폭이 제2 임계치 이하일 때, 현재 변환 블록에 대해 변환 프로세스를 수행하는 단계 - 변환 프로세스에서 수평 방향 변환에 대해 변환 코어 DST 7이 사용됨 - 를 포함한다.
하나의 가능한 구현에서, 방법은,
현재 변환 블록의 폭이 제1 임계치보다 작을 때, 또는 현재 변환 블록의 폭이 제2 임계치보다 클 때,
현재 변환 블록에 대해 변환 프로세스를 수행하는 단계를 더 포함하고, 변환 프로세스에서 수평 변환에 대해 변환 코어 DCT 2가 사용된다.
하나의 가능한 구현에서, 방법은,
현재 코딩 블록에 대한 신택스의 값을 획득하는 단계를 더 포함하고, 현재 코딩 블록에 대한 신택스의 값은 현재 코딩 블록의 예측 모드가 인트라 예측임을 표시하는 데 사용된다.
하나의 가능한 구현에서, 현재 코딩 블록에 대한 신택스의 값은 현재 코딩 블록의 특정 예측 모드를 표시하지 않는다.
본 발명의 제2 양상은 디코딩 디바이스에 의해 구현되는 코딩 방법을 개시하며, 이 방법은, 현재 코딩 블록의 예측 모드가 인트라 예측이고 현재 코딩 블록이 인트라 서브-파티션(Intra sub-partition; ISP) 코딩 모드를 사용함으로써 프로세싱될 때, 현재 변환 블록의 높이가 제3 임계치 이상인지 여부 및 현재 변환 블록의 높이가 제4 임계치 이하인지 여부를 결정하는 단계 - 현재 변환 블록은 현재 코딩 블록에 대응함 - ; 현재 변환 블록의 높이가 제3 임계치 이상이고 제4 임계치 이하일 때, 현재 변환 블록에 대해 변환 프로세스를 수행하는 단계 - 변환 프로세스에서 수직 방향 변환에 대해 변환 코어 DST 7이 사용됨 - 를 포함한다.
하나의 가능한 구현에서, 방법은, 현재 변환 블록의 높이가 제3 임계치보다 작을 때, 또는 현재 변환 블록의 높이가 제4 임계치보다 클 때,
현재 변환 블록에 대해 변환 프로세스를 수행하는 단계를 더 포함하고, 변환 프로세스에서 수직 방향 변환에 대해 변환 코어 DCT 2가 사용된다.
하나의 가능한 구현에서, 방법은,
현재 코딩 블록에 대한 신택스의 값을 획득하는 단계를 더 포함하고, 현재 코딩 블록에 대한 신택스의 값은 현재 코딩 블록의 예측 모드가 인트라 예측임을 표시하는 데 사용된다.
하나의 가능한 구현에서, 현재 코딩 블록에 대한 신택스의 값은 현재 코딩 블록의 특정 예측 모드를 표시하지 않는다.
본 발명의 제3 양상은 디코딩 디바이스에 의해 구현되는 코딩 방법을 개시하며, 이 방법은, 다중 변환 선택(Multiple Transform Selection; MTS) 방식이 현재 코딩 블록에 대해 이용 가능하지 않을 때, 현재 변환 블록의 폭이 제1 임계치 이상인지 여부 및 현재 변환 블록의 폭이 제2 임계치 이하인지 여부를 결정하는 단계 - 현재 변환 블록은 현재 코딩 블록에 대응함 - ; 현재 변환 블록의 폭이 제1 임계치 이상이고 제2 임계치 이하일 때, 현재 변환 블록에 대해 변환 프로세스를 수행하는 단계 - 변환 프로세스에서 수평 방향 변환에 대해 변환 코어 DST 7이 사용됨 - 를 포함한다.
하나의 가능한 구현에서, 방법은, 현재 변환 블록의 폭이 제1 임계치보다 작을 때, 또는 현재 변환 블록의 폭이 제2 임계치보다 클 때,
현재 변환 블록에 대해 변환 프로세스를 수행하는 단계를 더 포함하고, 변환 프로세스에서 수평 방향 변환에 대해 변환 코어 DCT 2이 사용된다.
본 발명의 제4 양상은 디코딩 디바이스에 의해 구현되는 코딩 방법을 개시하며, 이 방법은, 다중 변환 선택(Multiple Transform Selection; MTS) 방식이 현재 코딩 블록에 대해 이용 가능하지 않을 때, 현재 변환 블록의 높이가 제3 임계치 이상인지 여부 및 현재 변환 블록의 높이가 제4 임계치 이하인지 여부를 결정하는 단계 - 현재 변환 블록은 현재 코딩 블록에 대응함 - ; 현재 변환 블록의 높이가 제3 임계치 이상이고 제4 임계치 이하일 때, 현재 변환 블록에 대해 변환 프로세스를 수행하는 단계 - 변환 프로세스에서 수직 방향 변환에 대해 변환 코어 DST 7이 사용됨 - 를 포함한다.
하나의 가능한 구현에서, 방법은,
현재 변환 블록의 높이가 제3 임계치보다 작을 때, 또는 현재 변환 블록의 높이가 제4 임계치보다 클 때,
현재 변환 블록에 대해 변환 프로세스를 수행하는 단계를 더 포함하고, 변환 프로세스에서 수직 방향 변환에 대해 변환 코어 DCT 2가 사용된다.
본 발명의 제5 양상은 디코딩 디바이스에 의해 구현되는 코딩 방법을 개시하며, 이 방법은,
다중 변환 선택(Multiple Transform Selection; MTS) 방식이 현재 코딩 블록에 대해 이용 가능하지 않고, 현재 변환 블록의 폭이 제1 임계치 이상이고 제2 임계치 이하이고,
현재 변환 블록의 높이가 제3 임계치 이상이고 제4 임계치 이하일 때 - 현재 변환 블록은 현재 코딩 블록에 대응함 - ,
현재 변환 블록에 대응하는 블록 폭 및 높이의 비율(ratio)의 값이 제5 임계치보다 큰지 여부를 결정하는 단계를 포함하고,
블록 폭 및 높이의 비율의 값이 제5 임계치 이하일 때,
현재 변환 블록의 수평 및 수직 변환을 위해 변환 코어 DST 7이 사용된다.
하나의 가능한 구현에서, 방법은,
블록 폭 및 높이의 비율의 값이 제5 임계치보다 크고 현재 변환 블록의 폭이 현재 변환 블록의 높이보다 작을 때,
현재 변환 블록의 수평 변환을 위해 변환 코어 DST 7이 사용되고 현재 변환 블록의 수직 변환을 위해 변환 코어 DCT 2가 사용된다.
하나의 가능한 구현에서, 방법은,
블록 폭 및 높이의 비율의 값이 제5 임계치보다 크고 현재 변환 블록의 폭이 현재 변환 블록의 높이보다 클 때,
현재 변환 블록의 수평 변환을 위해 변환 코어 DCT 2가 사용되고 현재 변환 블록의 수직 변환을 위해 변환 코어 DST 7이 사용된다.
본 발명의 제6 양상은 위의 방법 실시예들 중 임의의 하나를 수행하기 위한 프로세싱 회로를 포함하는 디코더(30)를 개시한다.
본 발명의 제7 양상은 위의 방법 실시예들 중 임의의 하나에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품을 개시한다.
본 발명의 제8 양상은 디코더를 개시하며, 이 디코더는,
하나 이상의 프로세서들; 및 프로세서들에 커플링되고 프로세서들에 의한 실행을 위한 프로그래밍을 저장하는 비-일시적 컴퓨터-판독 가능 저장 매체를 포함하고, 프로그래밍은 프로세서들에 의해 실행될 때, 위의 방법 실시예들 중 임의의 하나에 따른 방법을 수행하도록 디코더를 구성한다.
하나 이상의 실시예들의 세부사항들은, 하기 첨부된 도면들 및 설명에서 기술된다. 다른 특징들, 목적들 및 이점들은, 설명, 도면들 및 청구항들로부터 명백해질 것이다.
다음으로, 본 발명의 실시예들은 첨부된 형상들 및 도면들을 참조하여 보다 상세하게 설명된다.
도 1a는 본 발명의 실시예들을 구현하도록 구성된 비디오 코딩 시스템의 예를 도시하는 블록도이다.
도 1b는 본 발명의 실시예들을 구현하도록 구성된 비디오 코딩 시스템의 다른 예를 도시하는 블록도이다.
도 2는 본 발명의 실시예들을 구현하도록 구성된 비디오 인코더의 예를 도시하는 블록도이다.
도 3은 본 발명의 실시예들을 구현하도록 구성된 비디오 디코더의 예시적인 구조를 도시하는 블록도이다.
도 4는 인코딩 디바이스 또는 디코딩 디바이스의 예를 예시하는 블록도이다.
도 5는 인코딩 디바이스 또는 디코딩 디바이스의 다른 예를 예시하는 블록도이다.
도 6은 4x8 및 8x4 블록들의 분할의 예이다.
도 7은 4x8, 8x4 및 4x4 블록들을 제외한 블록들의 분할의 예이다.
도 8은 콘텐츠 전달 서비스를 실현하는 콘텐츠 공급 시스템(3100)의 예시적인 구조를 도시하는 블록도이다.
도 9는 단말 디바이스의 예의 구조를 도시하는 블록도이다.
도 1a는 본 발명의 실시예들을 구현하도록 구성된 비디오 코딩 시스템의 예를 도시하는 블록도이다.
도 1b는 본 발명의 실시예들을 구현하도록 구성된 비디오 코딩 시스템의 다른 예를 도시하는 블록도이다.
도 2는 본 발명의 실시예들을 구현하도록 구성된 비디오 인코더의 예를 도시하는 블록도이다.
도 3은 본 발명의 실시예들을 구현하도록 구성된 비디오 디코더의 예시적인 구조를 도시하는 블록도이다.
도 4는 인코딩 디바이스 또는 디코딩 디바이스의 예를 예시하는 블록도이다.
도 5는 인코딩 디바이스 또는 디코딩 디바이스의 다른 예를 예시하는 블록도이다.
도 6은 4x8 및 8x4 블록들의 분할의 예이다.
도 7은 4x8, 8x4 및 4x4 블록들을 제외한 블록들의 분할의 예이다.
도 8은 콘텐츠 전달 서비스를 실현하는 콘텐츠 공급 시스템(3100)의 예시적인 구조를 도시하는 블록도이다.
도 9는 단말 디바이스의 예의 구조를 도시하는 블록도이다.
다음의 동일한 참조 부호들에서, 달리 명시적으로 특정되지 않으면, 동일하거나 적어도 기능적으로 등가의 특징들을 지칭한다.
다음의 설명에서, 본 개시내용의 부분을 형성하고, 예시로서 본 발명의 실시예들의 특정 양상들 또는 본 발명의 실시예들이 사용될 수 있는 특정 양상들을 도시하는 첨부 도면들이 참조된다. 본 발명의 실시예들은 다른 양상들에서 사용될 수 있고 도면들에서 도시되지 않은 구조적 또는 논리적 변화들을 포함할 수 있다는 것이 이해된다. 따라서, 본 발명의 다음의 상세한 설명은 제한적인 의미로 해석되어서는 안 되며, 본 발명의 범위는 첨부된 청구항에 의해 정의된다.
예컨대, 설명된 방법과 관련된 개시내용은 또한, 방법을 수행하도록 구성된 대응하는 디바이스 또는 시스템에 대해 유효할 수 있고 그 반대의 경우도 마찬가지라는 것이 이해된다. 예컨대, 하나 또는 복수의 특정 방법 단계들이 설명된 경우, 그러한 하나 이상의 유닛들이 도면들에 명시적으로 설명되거나 예시되지 않더라도, 대응하는 디바이스는 설명된 하나 또는 복수의 방법 단계들을 수행하기 위해 하나 또는 복수의 유닛들, 예컨대, 기능 유닛들을 포함할 수 있다(예컨대, 하나의 유닛이 하나 또는 복수의 단계들을 수행하거나 복수의 유닛들이 복수의 단계들 중 하나 이상을 각각 수행함). 한편, 예컨대, 하나 또는 복수의 유닛들 예컨대, 기능 유닛들에 기초하여 특정 장치가 설명되는 경우, 그러한 하나 또는 복수의 단계들이 도면들에 명시적으로 설명되거나 예시되지 않더라도, 대응하는 방법은 하나 또는 복수의 유닛들의 기능을 수행하기 위한 하나의 단계를 포함할 수 있다(예컨대, 하나의 단계가 하나 또는 복수의 유닛들의 기능을 수행하거나 복수의 단계들이 복수의 유닛들 중 하나 이상의 기능을 각각 수행함). 또한, 본원에서 설명된 다양한 예시적인 실시예들 및/또는 양상들의 특징들은 특별히 달리 언급되지 않는 한, 서로 결합될 수 있다는 것이 이해된다.
비디오 코딩은 통상적으로 비디오 또는 비디오 시퀀스를 형성하는 일련의 화상들의 프로세싱을 지칭한다. "화상(picture)"이라는 용어 대신에, "프레임" 또는 "이미지"라는 용어가 비디오 코딩 분야에서 동의어들로서 사용될 수 있다. 비디오 코딩(또는 일반적으로, 코딩)은 비디오 인코딩 및 비디오 디코딩의 두 부분들을 포함한다. 비디오 인코딩은 소스 측에서 수행되며, 통상적으로 (더 효율적인 저장 및/또는 송신을 위해) 비디오 화상들을 표현하는 데 요구되는 데이터의 양을 감소시키기 위해 오리지널 비디오 화상들을 (예컨대, 압축에 의해) 프로세싱하는 것을 포함한다. 비디오 디코딩은 목적지 측에서 수행되며 통상적으로 비디오 화상들을 재구성하기 위해 (인코더에 비교해서) 역 프로세싱을 포함한다. 비디오 화상들(또는 일반적으로, 화상들)의 "코딩"을 참조하는 실시예들은 비디오 화상들 또는 개개의 비디오 시퀀스들의 "인코딩" 또는 "디코딩"과 관련되는 것으로 이해되어야 한다. 인코딩 부분 및 디코딩 부분의 조합은 또한 CODEC(Coding and Decoding)으로서 지칭된다.
무손실 비디오 코딩의 경우에, 오리지널 비디오 화상들은 재구성될 수 있는데 즉, 재구성된 비디오 화상들은 오리지널 비디오 화상들과 동일한 품질을 갖는다(저장 또는 송신 동안 송신 손실 또는 다른 데이터 손실이 없다고 가정함). 손실성 비디오 코딩의 경우에, 비디오 화상들을 표현하는 데이터의 양을 감소시키기 위해, 추가의 압축이 예컨대, 양자화에 의해 수행되며, 이는 디코더에서 완전히 재구성될 수 없는데, 즉, 재구성된 비디오 화상들의 품질이 오리지널 비디오 화상의 품질에 비해 낮거나 나쁘다.
여러 비디오 코딩 표준은 "손실성 하이브리드 비디오 코덱"(즉, 샘플 도메인에서 공간 및 시간 예측 및 변환 도메인에서 양자화를 적용하기 위해 2D 변환 코딩을 결합함)의 그룹에 속한다. 비디오 시퀀스의 각각의 화상은 통상적으로 비-중첩 블록들의 세트로 파티셔닝되고 코딩은 통상적으로 블록 레벨로 수행된다. 다시 말해, 인코더에서, 비디오는 통상적으로, 예컨대, 예측 블록을 생성하도록 공간적 (인트라 화상) 예측 및/또는 시간적 (인터 화상) 예측을 사용하고, 잔차 블록을 획득하기 위해 현재 블록(현재 프로세싱된 블록/프로세싱될 블록)으로부터 예측 블록을 차감하고, 잔차 블록을 변환하고 변환 도메인에서 잔차 블록을 양자화하여 송신될 데이터의 양을 감소시킴으로써(압축), 블록(비디오 블록) 레벨로 프로세싱, 즉 인코딩되는 반면, 디코더에서, 인코더와 비교하면 역 프로세싱이 인코딩된 또는 압축된 블록에 적용되어 표현을 위해 현재 블록을 재구성한다. 더욱이, 인코더는 디코더 프로세싱 루프를 복제하여서, 둘 모두가 동일한 예측들(예컨대, 인트라- 및 인터 예측들) 및/또는 후속 블록들을 프로세싱, 즉 코딩하기 위한 재구성들을 생성할 것이다.
비디오 코딩 시스템(10)의 다음의 실시예들에서, 비디오 인코더(20) 및 비디오 디코더(30)는 도 1 내지 도 3에 기초하여 설명된다.
도 1a는 예시적인 코딩 시스템(10), 예컨대, 본 출원의 기술들을 활용할 수 있는 비디오 코딩 시스템(10)(또는 줄여서, 코딩 시스템(10))을 예시하는 개략적 블록도이다. 비디오 코딩 시스템(10)의 비디오 인코더(20)(또는 줄여서, 인코더(20)) 및 비디오 디코더(30)(또는 줄여서, 디코더(30))는 본 출원에서 설명된 다양한 예들에 따라 기술들을 수행하도록 구성될 수 있는 디바이스들의 예들을 표현한다.
도 1a에 도시된 바와 같이, 코딩 시스템(10)은 인코딩된 화상 데이터(21) 예컨대, 인코딩된 화상 데이터(13)를 디코딩하기 위해 목적지 디바이스(14)에 제공하도록 구성된 소스 디바이스(12)를 포함한다.
소스 디바이스(12)는 인코더(20)를 포함하고, 부가적으로, 즉 선택적으로, 화상 소스(16), 사전-프로세서(또는 사전-프로세싱 유닛)(18), 예컨대, 화상 사전-프로세서(18), 및 통신 인터페이스 또는 통신 유닛(22)을 포함할 수 있다 .
화상 소스(16)는 임의의 종류의 화상 캡처 디바이스, 예컨대, 실세계 화상을 캡처하기 위한 카메라 및/또는 임의의 종류의 화상 생성 디바이스, 예컨대, 컴퓨터 애니메이션 화상을 생성하기 위한 컴퓨터-그래픽 프로세서, 또는 실세계 화상, 컴퓨터 생성 화상(예컨대, 스크린 콘텐츠, 가상 현실(VR) 화상)을 획득 및/또는 제공하기 위한 임의의 종류의 다른 디바이스 및/또는 이들의 임의의 조합(예컨대, 증강 현실(AR) 화상)일 수 있거나 이들을 포함할 수 있다. 화상 소스는 위에서 언급된 화상들 중 임의의 것을 저장하는 임의의 종류의 메모리 또는 저장소일 수 있다.
사전-프로세서(18) 및 사전-프로세싱 유닛(18)에 의해 수행되는 프로세싱과 대조적으로, 화상 또는 화상 데이터(17)는 또한 원시 화상 또는 원시 화상 데이터(17)로서 지칭될 수 있다.
사전-프로세서(18)는 (원시) 화상 데이터(17)를 수신하고 사전-프로세싱된 화상(19) 또는 사전-프로세싱된 화상 데이터(19)를 획득하기 위해 화상 데이터(17) 상에서 사전-프로세싱을 수행하도록 구성된다. 사전-프로세서(18)에 의해 수행되는 사전-프로세싱은 예컨대, 트리밍, (예컨대, RGB로부터 YCbCr로의) 컬러 포맷 변환, 컬러 보정 또는 노이즈 제거(de-noising)를 포함할 수 있다. 사전-프로세싱 유닛(18)은 선택적 구성요소일 수 있다는 것이 이해될 수 있다.
비디오 인코더(20)는 사전-프로세싱된 화상 데이터(19)를 수신하고 인코딩된 화상 데이터(21)를 제공하도록 구성된다(추가의 세부사항들은 예컨대, 도 2에 기초하여 아래에서 설명될 것임).
소스 디바이스(12)의 통신 인터페이스(22)는 인코딩된 화상 데이터(21)를 수신하고, 저장 또는 직접 재구성을 위해 다른 디바이스, 예컨대, 목적지 디바이스(14) 또는 임의의 다른 장치로, 통신 채널(13)을 통해, 인코딩된 화상 데이터(21)(또는 그의 임의의 추가로 프로세싱된 버전)를 송신하도록 구성될 수 있다.
목적지 디바이스(14)는 디코더(30)(예컨대, 비디오 디코더(30))를 포함하고, 부가적으로, 즉 선택적으로, 통신 인터페이스 또는 통신 유닛(28), 포스트-프로세서(32)(또는 포스트-프로세싱 유닛(32)) 및 디스플레이 디바이스(34)를 포함할 수 있다.
목적지 디바이스(14)의 통신 인터페이스(28)는 예컨대, 소스 디바이스(12)로부터 또는 임의의 다른 소스, 예컨대, 저장 디바이스, 예컨대, 인코딩된 화상 데이터 저장 디바이스로부터 직접 인코딩된 화상 데이터(21)(또는 그의 임의의 추가로 프로세싱된 버전)를 수신하고 인코딩된 화상 데이터(21)를 디코더(30)에 제공하도록 구성된다.
통신 인터페이스(22) 및 통신 인터페이스(28)는 소스 디바이스(12)와 목적지 디바이스(14) 사이의 직접 통신 링크, 예컨대, 직접 유선 또는 무선 연결을 통해, 또는 임의의 종류의 네트워크, 예컨대, 유선 또는 무선 네트워크 또는 이들의 임의의 조합, 또는 임의의 종류의 사설 및 공용 네트워크 또는 이들의 임의의 종류의 조합을 통해, 인코딩된 화상 데이터(21) 또는 인코딩된 데이터(13)를 송신 또는 수신하도록 구성될 수 있다.
통신 인터페이스(22)는 예컨대, 인코딩된 화상 데이터(21)를 적절한 포맷, 예컨대, 패킷들로 패키징하고 그리고/또는 통신 링크 또는 통신 네트워크를 통한 송신을 위해 임의의 종류의 송신 인코딩 또는 프로세싱을 사용하여 인코딩된 화상 데이터를 프로세싱하도록 구성될 수 있다.
통신 인터페이스(22)의 상대측(counterpart)을 형성하는 통신 인터페이스(28)는, 예컨대, 송신된 데이터를 수신하고 임의의 종류의 대응하는 송신 디코딩 또는 프로세싱 및/또는 디-패키징을 사용하여 송신 데이터를 프로세싱하여 인코딩된 화상 데이터(21)를 획득하도록 구성될 수 있다.
통신 인터페이스(22) 및 통신 인터페이스(28) 둘 모두는 소스 디바이스(12)로부터 목적지 디바이스(14)를 가리키는 도 1a의 통신 채널(13)에 대한 화살표에 의해 표시된 바와 같이 단방향 통신 인터페이스들로서 또는 양방향 통신 인터페이스들로서 구성될 수 있고, 예컨대, 메시지들을 송신 및 수신하여(예컨대, 연결을 셋업하여) 통신 링크 및/또는 데이터 송신, 예컨대, 인코딩된 화상 데이터 송신과 관련된 임의의 다른 정보를 확인응답(acknowledge) 및 교환하도록 구성될 수 있다.
디코더(30)는 인코딩된 화상 데이터(21)를 수신하고 디코딩된 화상 데이터(31) 또는 디코딩된 화상(31)을 제공하도록 구성된다(추가의 세부사항들은 예컨대, 도 3 또는 도 5에 기초하여 아래에서 설명될 것임).
목적지 디바이스(14)의 포스트-프로세서(32)는 디코딩된 화상 데이터(31)(재구성된 화상 데이터로 또한 칭해짐), 예컨대, 디코딩된 화상(31)을 포스트-프로세싱하여, 포스트-프로세싱된 화상 데이터(33), 예컨대, 포스트-프로세싱된 화상(33)을 획득하도록 구성된다. 포스트-프로세싱 유닛(32)에 의해 수행되는 포스트-프로세싱은 예컨대, (예컨대, YCbCr로부터 RGB로의) 컬러 포맷 변환, 컬러 보정, 트리밍 또는 재-샘플링, 또는 예컨대, 디스플레이 디바이스(34)에 의한 디스플레이를 위해 예컨대, 디코딩된 화상 데이터(31)를 준비하기 위한 임의의 다른 프로세싱을 포함할 수 있다.
목적지 디바이스(14)의 디스플레이 디바이스(34)는 예컨대, 사용자 또는 뷰어에게 화상을 디스플레이하기 위해 포스트-프로세싱된 화상 데이터(33)를 수신하도록 구성된다. 디스플레이 디바이스(34)는 재구성된 화상을 표현하기 위한 임의의 종류의 디스플레이, 예컨대, 통합된 또는 외부 디스플레이 또는 모니터이거나 이를 포함할 수 있다. 디스플레이는 예컨대, 액정 디스플레이들(LCD), 유기 발광 다이오드(OLED) 디스플레이들, 플라즈마 디스플레이들, 프로젝터들, 마이크로 LED 디스플레이들, 실리콘 액정(liquid crystal on silicon; LCoS), 디지털 광 프로세서(DLP) 또는 임의의 종류의 다른 디스플레이를 포함할 수 있다.
도 1a는 소스 디바이스(12) 및 목적지 디바이스(14)를 별개의 디바이스들로서 도시하지만, 디바이스들의 실시예들은 또한, 둘 모두 또는 둘 모두의 기능들, 소스 디바이스(12) 또는 대응하는 기능 및 목적지 디바이스(14) 또는 대응하는 기능을 포함할 수 있다. 그러한 실시예들에서, 소스 디바이스(12) 또는 대응하는 기능 및 목적지 디바이스(14) 또는 대응하는 기능은 동일한 하드웨어 및/또는 소프트웨어를 사용하여 또는 별개의 하드웨어 및/또는 소프트웨어에 의해 또는 이들의 임의의 조합에 의해 구현될 수 있다.
설명에 기초하여 당업자에게 명백한 바와 같이, 도 1a에 도시된 바와 같은 소스 디바이스(12) 및/또는 목적지 디바이스(14) 내의 기능들 또는 상이한 유닛들의 기능들의 존재 및 (정확한) 분할은 실제 디바이스 및 애플리케이션에 의존하여 변동될 수 있다.
인코더(20)(예컨대, 비디오 인코더(20)) 또는 디코더(30)(예컨대, 비디오 디코더(30)) 또는 인코더(20) 및 디코더(30) 둘 모두는 도 1b에 도시된 바와 같은 프로세싱 회로 이를테면, 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서(DSP)들, 주문형 집적 회로(ASIC)들, 필드-프로그래밍 가능 게이트 어레이(FPGA)들, 이산 로직, 하드웨어, 비디오 코딩 전용 또는 이들의 임의의 조합을 통해 구현될 수 있다. 인코더(20)는 도 2의 인코더(20) 및/또는 본원에서 설명된 임의의 다른 인코더 시스템 또는 서브시스템과 관련하여 논의된 바와 같은 다양한 모듈들을 구체화하기 위해 프로세싱 회로(46)를 통해 구현될 수 있다. 디코더(30)는 도 3의 디코더(30) 및/또는 본원에서 설명된 임의의 다른 디코더 시스템 또는 서브시스템에 대해 논의된 바와 같은 다양한 모듈들을 구체화하기 위해 프로세싱 회로(46)를 통해 구현될 수 있다. 프로세싱 회로는 추후에 논의되는 다양한 동작들을 수행하도록 구성될 수 있다. 도 5에 도시된 바와 같이, 기술들이 소프트웨어로 부분적으로 구현되는 경우, 디바이스는 소프트웨어에 대한 명령들을, 적절한 비-일시적 컴퓨터-판독 가능 저장 매체에 저장할 수 있고, 본 개시내용의 기술들을 수행하기 위해 하나 이상의 프로세서들을 사용하여 하드웨어에서 명령들을 실행할 수 있다. 비디오 인코더(20) 및 비디오 디코더(30) 중 어느 하나는 예컨대, 도 1b에 도시된 바와 같이 단일 디바이스에서 결합된 인코더/디코더(CODEC)의 부분으로서 통합될 수 있다.
소스 디바이스(12) 및 목적지 디바이스(14)는 임의의 종류의 핸드헬드 또는 고정 디바이스들, 예컨대, 노트북 또는 랩톱 컴퓨터들, 모바일 폰들, 스마트 폰들, 태블릿들 또는 태블릿 컴퓨터들, 카메라들, 데스크톱 컴퓨터들, 셋-탑 박스들, 텔레비전들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게임 콘솔들, 비디오 스트리밍 디바이스들(이를테면, 콘텐츠 서비스 서버들 또는 콘텐츠 전달 서버들), 브로드캐스트 수신기 디바이스, 브로드캐스트 송신기 디바이스 등을 포함하는 임의의 광범위한 디바이스들을 포함할 수 있고, 임의의 종류의 운영 체제를 사용하거나 사용하지 않을 수 있다. 일부 경우들에서, 소스 디바이스(12) 및 목적지 디바이스(14)는 무선 통신을 위해 장착될 수 있다. 따라서, 소스 디바이스(12) 및 목적지 디바이스(14)는 무선 통신 디바이스들일 수 있다.
일부 경우들에서, 도 1a에 예시된 비디오 코딩 시스템(10)은 단지 예일 뿐이며, 본 출원의 기술들은 인코딩 및 디코딩 디바이스들 사이에 임의의 데이터 통신을 반드시 포함할 필요는 없는 비디오 코딩 세팅들(예컨대, 비디오 인코딩 또는 비디오 디코딩)에 적용할 수 있다. 다른 예들에서, 데이터는 로컬 메모리로부터 취득되거나, 네트워크를 통해 스트리밍되거나 기타 등등이 가능하다. 비디오 인코딩 디바이스는 데이터를 인코딩하여 메모리에 저장할 수 있고 그리고/또는 비디오 디코딩 디바이스는 메모리로부터 데이터를 취득 및 디코딩할 수 있다. 일부 예들에서, 인코딩 및 디코딩은 서로 통신하지 않고 단순히 데이터를 메모리로 인코딩하고 그리고/또는 메모리로부터 데이터를 취득 및 디코딩하는 디바이스들에 의해 수행된다.
설명의 편의를 위해, 본 발명의 실시예들은 예컨대, 고-효율 비디오 코딩(High-Efficiency Video Coding; HEVC)을 참조하여 또는 ITU-T 비디오 코딩 전문가 그룹(Video Coding Experts Group; VCEG) 및 ISO/IEC 모션 픽처 그룹(Motion Picture Experts Group; MPEG)의 비디오 코딩에 관한 협업 팀(Joint Collaboration Team on Video Coding; JCT-VC)에 의해 개발된 차세대 비디오 코딩 표준인 다용도 비디오 코딩(Versatile Video Coding; VVC)의 소프트웨어를 참조하여 본원에서 설명된다. 당업자는 본 발명의 실시예들이 HEVC 또는 VVC로 제한되지 않는다는 것을 이해할 것이다.
인코더 및 인코딩 방법
도 2는 본 출원의 기술들을 구현하도록 구성된 예시적인 비디오 인코더(20)의 개략적 블록도를 도시한다. 도 2의 예에서, 비디오 인코더(20)는 입력(201)(또는 입력 인터페이스(201)), 잔차 계산 유닛(204), 변환 프로세싱 유닛(206), 양자화 유닛(208), 역 양자화 유닛(210) 및 역변환 프로세싱 유닛(212), 재구성 유닛(214), 루프 필터 유닛(220), 디코딩된 화상 버퍼(DPB)(230), 모드 선택 유닛(260), 엔트로피 인코딩 유닛(270) 및 출력(272)(또는 출력 인터페이스(272))을 포함한다. 모드 선택 유닛(260)은 인터 예측 유닛(244), 인트라 예측 유닛(254) 및 파티셔닝 유닛(262)을 포함할 수 있다. 인터 예측 유닛(244)은 모션 추정 유닛 및 모션 보상 유닛(도시되지 않음)을 포함할 수 있다. 도 2에 도시된 바와 같은 비디오 인코더(20)는 또한, 하이브리드 비디오 코덱에 따른 하이브리드 비디오 인코더 또는 비디오 인코더로서 지칭될 수 있다.
잔차 계산 유닛(204), 변환 프로세싱 유닛(206), 양자화 유닛(208), 모드 선택 유닛(260)은 인코더(20)의 순방향 신호 경로를 형성하는 것으로 참조될 수 있는 반면, 역 양자화 유닛(210), 역변환 프로세싱 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터(220), 디코딩된 화상 버퍼(DPB)(230), 인터 예측 유닛(244) 및 인트라 예측 유닛(254)은 비디오 인코더의 역방향 신호 경로를 형성하는 것으로 참조될 수 있으며, 여기서 비디오 인코더(20)의 역방향 신호 경로는 디코더(도 3의 비디오 디코더(30)를 참조함)의 신호 경로에 대응한다. 역 양자화 유닛(210), 역변환 프로세싱 유닛(212), 재구성 유닛(214), 루프 필터(220), 디코딩된 화상 버퍼(DPB)(230), 인터 예측 유닛(244) 및 인트라 예측 유닛(254)은 또한 비디오 인코더(20)의 "내장 디코더(built-in decoder)"를 형성하는 것으로 참조된다.
화상들 및 화상 파티셔닝(화상들 및 블록들)
인코더(20)는 예컨대, 입력(201)을 통해, 화상(17)(또는 화상 데이터(17)), 예컨대, 비디오 또는 비디오 시퀀스를 형성하는 화상들의 시퀀스의 화상을 수신하도록 구성될 수 있다. 수신된 화상 또는 화상 데이터는 또한 사전-프로세싱된 화상(19)(또는 사전-프로세싱된 화상 데이터(19))일 수 있다. 단순화를 위해, 다음 설명은 화상(17)을 참조한다. 화상(17)은 또한 (특히, 현재 화상을 다른 화상들, 예컨대, 동일한 비디오 시퀀스 즉, 현재 화상을 또한 포함하는 비디오 시퀀스의 이전에 인코딩된 및/또는 디코딩된 화상들로부터 구별하기 위한 비디오 코딩의) 현재 화상 또는 코딩될 화상으로서 지칭될 수 있다.
(디지털) 화상은 강도 값들을 갖는 샘플들의 2-차원 어레이 또는 행렬이거나 그로서 간주될 수 있다. 어레이 내의 샘플은 또한 픽셀(pixel)(화상 요소(picture element)의 줄임 형태) 또는 화소로서 지칭될 수 있다. 어레이 또는 화상의 수평 및 수직 방향(또는 축)에서 샘플들의 수는 화상의 크기 및/또는 해상도를 정의한다. 컬러 표현에 대해, 통상적으로 3개의 컬러 구성요소들이 사용되는데 즉, 화상은 3개의 샘플 어레이를 포함하거나 그에 의해 표현될 수 있다. RBG 포맷 또는 컬러 공간에서, 화상은 대응하는 적색, 녹색 및 청색 샘플 어레이를 포함한다. 그러나 비디오 코딩에서, 각각의 픽셀은 통상적으로 휘도(luminance) 및 색차(chrominance) 포맷 또는 컬러 공간, 예컨대, Y(때로는 L이 또한 대신 사용됨)로 표시된 휘도 성분 및 Cb 및 Cr로 표시된 2개의 색차 성분들을 포함하는 YCbCr로 표현된다. 휘도(또는 줄여서, 루마(luma) 성분(Y)은 밝기 또는 (예컨대, 그레이 스케일 화상에서와 같은) 그레이 레벨 강도를 표현하는 반면, 2개의 색차(또는 줄여서, 크로마(chroma)) 성분들(Cb 및 Cr)은 색도(chromaticity) 또는 컬러 정보 성분들을 표현한다. 따라서, YCbCr 포맷의 화상은 휘도 샘플 값들의 휘도 샘플 어레이(Y) 및 색차 값들의 2개의 색차 샘플 어레이들(Cb 및 Cr)을 포함한다. RGB 포맷의 화상들은 YCbCr 포맷으로 컨버팅 또는 변환될 수 있고, 그 반대의 경우도 마찬가지며, 프로세스는 컬러 변환 또는 컨버전으로서 또한 알려져 있다. 화상이 단색인 경우, 화상은 휘도 샘플 어레이만을 포함할 수 있다. 따라서, 화상은 예컨대, 단색 포맷에서 루마 샘플들의 어레이, 또는 4:2:0, 4:2:2 및 4:4:4 컬러 포맷에서 루마 샘플들의 어레이 및 2개의 대응하는 크로마 샘플들의 어레이일 수 있다.
비디오 인코더(20)의 실시예들은 화상(17)을 복수의(통상적으로, 비-중첩) 화상 블록들(203)로 파티셔닝하도록 구성된 화상 파티셔닝 유닛(도 2에 도시되지 않음)을 포함할 수 있다. 이러한 블록들은 또한, 루트 블록들, 매크로 블록들(H.264/AVC) 또는 코딩 트리 블록들(CTB) 또는 코딩 트리 유닛들(CTU)(H.265/HEVC 및 VVC)로서 지칭될 수 있다. 화상 파티셔닝 유닛은 비디오 시퀀스의 모든 화상들에 대해 동일한 블록 크기 및 블록 크기를 정의하는 대응하는 그리드를 사용하거나, 또는 화상들 또는 서브세트들 또는 화상들의 그룹들 사이에서 블록 크기를 변경하고 각각의 화상을 대응하는 블록들로 파티셔닝하도록 구성될 수 있다.
추가의 실시예들에서, 비디오 인코더는 화상(17)의 블록(203), 예컨대, 화상(17)을 형성하는 하나, 여러 또는 모든 블록들을 직접 수신하도록 구성될 수 있다. 화상 블록(203)은 또한, 현재 화상 블록 또는 코딩될 화상 블록으로서 지칭될 수 있다.
화상(17)과 마찬가지로, 화상 블록(203)은 재차, 화상(17) 보다 작은 차원을 갖더라도, 강도 값들(샘플 값들)을 갖는 샘플들의 2-차원 어레이 또는 행렬이거나 그로서 간주될 수 있다. 즉, 블록(203)은 예컨대, 하나의 샘플 어레이(예컨대, 단색 화상(17)의 경우에 루마 어레이, 또는 컬러 화상의 경우에 루마 또는 크로마 어레이) 또는 3개의 샘플 어레이들(예컨대, 컬러 화상(17)의 경우에 루마 및 2개의 크로마 어레이들) 또는 적용된 컬러 포맷에 의존하여 임의의 다른 수의 그리고/또는 종류의 어레이들을 포함할 수 있다. 블록(203)의 수평 및 수직 방향(또는 축)에서 샘플들의 수는 블록(203)의 크기를 정의한다. 따라서, 블록은 예컨대, 샘플들의 MxN(M-열 x N-행) 어레이, 또는 변환 계수들의 MxN 어레이일 수 있다.
도 2에 도시된 바와 같은 비디오 인코더(20)의 실시예들은 블록별로 화상(17)을 인코딩하도록 구성될 수 있는데, 예컨대, 인코딩 및 예측은 블록(203) 마다 수행된다.
도 2에 도시된 바와 같은 비디오 인코더(20)의 실시예들은 추가로, 슬라이스(slice)들(비디오 슬라이스들로서 또한 지칭됨)을 사용하여 화상을 파티셔닝 및/또는 인코딩하도록 구성될 수 있으며, 여기서 화상은 하나 이상의 슬라이스들(통상적으로 비-중첩)을 사용하여 인코딩되거나 이러한 슬라이스들로 파티셔닝되고, 각각의 슬라이스는 하나 이상의 블록들(예컨대, CTU들)을 포함할 수 있다.
도 2에 도시된 바와 같은 비디오 인코더(20)의 실시예들은 추가로, 타일 그룹들(비디오 타일 그룹들로서 또한 지칭됨) 및/또는 타일들(비디오 타일들로서 또한 지칭됨)을 사용함으로써 화상을 파티셔닝 및/또는 인코딩하도록 구성될 수 있으며, 여기서 화상은 하나 이상의 타일 그룹들(통상적으로 비-중첩)을 사용하여 인코딩되거나 그러한 타일 그룹들로 파티셔닝될 수 있고, 각각의 타일 그룹은 예컨대, 하나 이상의 블록들(예컨대, CTU들) 또는 하나 이상의 타일들을 포함할 수 있고, 각각의 타일은 예컨대, 직사각형 형상일 수 있고, 하나 이상의 블록들(예컨대, CTU들), 예컨대, 완전 또는 부분(fractional) 블록들을 포함할 수 있다.
잔차 계산
잔차 계산 유닛(204)은 예컨대, 샘플 도메인에서 잔차 블록(205)을 획득하기 위해 화상 블록(203)의 샘플 값들로부터 예측 블록(265)의 샘플 값들을 샘플 별로(픽셀 별로) 차감함으로써, 화상 블록(203) 및 예측 블록(265)(예측 블록(265)에 관한 추가의 세부사항들은 추후에 제공됨)에 기초하여 잔차 블록(205)(또는 잔차(205)로서 또한 지칭됨)을 계산하도록 구성될 수 있다.
변환
변환 프로세싱 유닛(206)은 변환 도메인에서 변환 계수들(207)을 획득하기 위해 잔차 블록(205)의 샘플 값들 상에 변환, 예컨대, 이산 코사인 변환(DCT) 또는 이산 사인 변환(DST)을 적용하도록 구성될 수 있다. 변환 계수들(207)은 또한 변환 잔차 계수들로서 지칭될 수 있고 변환 도메인에서 잔차 블록(205)을 표현할 수 있다.
변환 프로세싱 유닛(206)은 H.265/HEVC에 대해 특정된 변환들과 같은 DCT/DST의 정수 근사치들을 적용하도록 구성될 수 있다. 직교 DCT 변환과 비교하면, 이러한 정수 근사치들은 통상적으로 특정 팩터에 의해 스케일링된다. 순방향 및 역 변환들에 의해 프로세싱되는 잔차 블록의 기준(norm)을 보존하기 위해, 부가적인 스케일링 팩터들이 변환 프로세스의 부분으로서 적용된다. 스케일링 팩터들은 통상적으로 시프트 연산들에 대한 2의 거듭제곱(power)인 스케일링 팩터들, 변환 계수들의 비트 깊이, 정확도와 구현 비용들 간의 트레이드오프(tradeoff) 등과 같은 특정 제약들에 기초하여 선택된다. 예컨대, 특정 스케일링 팩터들은, 예컨대, 역 변환 프로세싱 유닛(212)에 의한 역 변환(및 예컨대, 비디오 디코더(30)의 역 변환 프로세싱 유닛(312)에 의한 대응하는 역 변환)에 대해 특정되고, 인코더(20)에서, 예컨대, 변환 프로세싱 유닛(206)에 의한 순방향 변환에 대한 대응하는 스케일링 팩터들이 상응하게 특정될 수 있다.
예컨대, 비디오 인코더(20)의 실시예들(각각, 변환 프로세싱 유닛(206))은 예컨대, 직접적으로 또는 엔트로피 인코딩 유닛(270)을 통해 인코딩된 또는 압축된 변환 파라미터들, 예컨대, 변환 또는 변환들의 유형을 출력하여서, 예컨대, 비디오 디코더(30)가 디코딩을 위해 변환 파라미터들을 수신 및 사용할 수 있게 하도록 구성될 수 있다.
양자화
양자화 유닛(208)은, 예컨대, 스칼라 양자화 또는 벡터 양자화를 적용함으로써, 양자화된 계수들(209)을 획득하기 위해 변환 계수들(207)을 양자화하도록 구성될 수 있다. 양자화된 계수들(209)은 또한 양자화된 변환 계수들(209) 또는 양자화된 잔차 계수들(209)로서 지칭될 수 있다.
양자화 프로세스는 변환 계수들(207) 중 일부 또는 전부와 연관된 비트 깊이를 감소시킬 수 있다. 예컨대, n-비트 변환 계수는 양자화 동안 m-비트 변환 계수로 반내림(round down)될 수 있으며, 여기서 n은 m보다 크다. 양자화의 정도는 양자화 파라미터(QP)를 조정함으로써 수정될 수 있다. 예컨대, 스칼라 양자화의 경우, 더 미세하거나 더 거친 양자화를 달성하기 위해 상이한 스케일링이 적용될 수 있다. 더 작은 양자화 단계 크기들은 더 미세한 양자화에 대응하는 반면, 더 큰 양자화 단계 크기들은 더 거친 양자화에 대응한다. 적용 가능한 양자화 단계 크기는 양자화 파라미터(QP)에 의해 표시될 수 있다. 양자화 파라미터는 예컨대, 적용 가능한 양자화 단계 크기들의 미리 정의된 세트에 대한 인덱스일 수 있다. 예컨대, 작은 양자화 파라미터들은 미세 양자화(작은 양자화 단계 크기들)에 대응할 수 있고, 큰 양자화 파라미터들은 거친 양자화(큰 양자화 단계 크기들)에 대응할 수 있거나, 그 반대의 경우도 마찬가지다. 양자화는 양자화 단계 크기에 의한 나눗셈을 포함할 수 있고, 예컨대, 역 양자화 유닛(210)에 의한 대응하는 및/또는 역 양자화는 양자화 단계 크기에 의한 곱셈을 포함할 수 있다. 일부 표준들, 예컨대, HEVC에 따른 실시예들은 양자화 단계 크기를 결정하기 위해 양자화 파라미터를 사용하도록 구성될 수 있다. 일반적으로 양자화 단계 크기는 나눗셈을 포함하는 공식의 고정 소수점 근사(fixed point approximation)를 사용하여 양자화 파라미터에 기초하여 계산될 수 있다. 잔차 블록의 기준을 복원하기 위해 양자화 및 역양자화에 대해 부가적인 스케일링 팩터들이 도입될 수 있으며, 이는 양자화 단계 크기 및 양자화 파라미터에 대한 공식의 고정 소수점 근사에서 사용되는 스케일링으로 인해 수정될 수 있다. 하나의 예시적인 구현에서, 역 변환 및 역양자화의 스케일링은 결합될 수 있다. 대안적으로, 커스터마이징된 양자화 표들이 사용되고 인코더로부터 디코더로, 예컨대, 비트스트림에서 시그널링될 수 있다. 양자화는 손실성 동작이며, 여기서 양자화 단계 크기가 증가함에 따라 손실이 증가한다.
예컨대, 비디오 인코더(20)의 실시예들(각각, 양자화 유닛(208))은 예컨대, 직접적으로 또는 엔트로피 인코딩 유닛(270)을 통해 인코딩된 양자화 파라미터(QP)를 출력하여서, 예컨대, 비디오 디코더(30)가 디코딩을 위해 양자화 파라미터들을 수신 및 적용할 수 있게 하도록 구성될 수 있다.
역 양자화
역 양자화 유닛(210)은, 예컨대, 양자화 유닛(208)과 동일한 양자화 단계 크기에 기초하거나 이를 사용하여 양자화 유닛(208)에 의해 적용된 양자화 방식의 역을 적용함으로써, 역양자화된 계수들(211)을 획득하기 위해 양자화된 계수들 상에 양자화 유닛(208)의 역 양자화를 적용하도록 구성된다. 역양자화된 계수들(211)은 또한 역양자화된 잔차 계수들(211)로서 지칭될 수 있고, - 통상적으로 양자화에 의한 손실로 인해 변환 계수들과 동일하지는 않더라도 - 변환 계수들(207)에 대응할 수 있다.
역 변환
역 변환 프로세싱 유닛(212)은 변환 프로세싱 유닛(206)에 의해 적용된 변환의 역 변환, 예컨대, 역 이산 코사인 변환(DCT) 또는 역 이산 사인 변환(DST) 또는 다른 역 변환들을 적용하여 샘플 도메인의 재구성된 잔차 블록(213)(또는 대응하는 역양자화된 계수들(213))을 획득하도록 구성된다. 재구성된 잔차 블록(213)은 또한 변환 블록(213)으로서 지칭될 수 있다.
재구성
재구성 유닛(214)(예컨대, 가산기 또는 합산기(214))은 예컨대, 재구성된 잔차 블록(213)의 샘플 값들 및 예측 블록(265)의 샘플 값들을 - 샘플 별로 - 가산함으로써, 변환 블록(213)(즉, 재구성된 잔차 블록(213))을 예측 블록(265)에 가산하여 샘플 도메인에서 재구성된 블록(215)을 획득하도록 구성된다.
필터링
루프 필터 유닛(220)(또는 줄여서, "루프 필터"(220))은 재구성된 블록(215)을 필터링하여 필터링된 블록(221)을 획득하거나, 일반적으로 재구성된 샘플들을 필터링하여 필터링된 샘플들을 획득하도록 구성된다. 루프 필터 유닛은 예컨대, 픽셀 트랜지션(pixel transition)들을 부드럽게 하거나 그렇지 않으면 비디오 품질을 개선하도록 구성된다. 루프 필터 유닛(220)은 하나 이상의 루프 필터들 이를테면, 디-블로킹 필터, 샘플-적응형 오프셋(SAO) 필터 또는 하나 이상의 다른 필터들, 예컨대, 양측 필터, 적응형 루프 필터(ALF), 샤프닝(sharpening), 평활화 필터 또는 협업 필터 또는 이들의 임의의 조합을 포함할 수 있다. 루프 필터 유닛(220)이 루프 필터인 것으로 도 2에서 도시되었지만, 다른 구성들에서, 루프 필터 유닛(220)은 포스트 루프 필터로서 구현될 수 있다. 필터링된 블록(221)은 또한 필터링된 재구성된 블록(221)으로서 지칭될 수 있다.
예컨대, 비디오 인코더(20)의 실시예들(각각 루프 필터 유닛(220))은 예컨대, 직접적으로 또는 엔트로피 인코딩 유닛(270)을 통해 인코딩된 루프 필터 파라미터들(이를테면, 샘플 적응형 오프셋 정보)을 출력하여서, 예컨대, 디코더(30)가 디코딩을 위한 개개의 루프 필터들 또는 동일한 루프 필터 파라미터들을 수신 및 적용할 수 있게 하도록 구성될 수 있다.
디코딩된 화상 버퍼
디코딩된 화상 버퍼(DPB)(230)는 비디오 인코더(20)가 비디오 데이터를 인코딩하기 위해 기준 화상들 또는 일반적으로 기준 화상 데이터를 저장하는 메모리일 수 있다. DPB(230)는 동기식 DRAM(SDRAM), 자기저항성 RAM(MRAM), 저항성 RAM(RRAM) 또는 다른 유형들의 메모리 디바이스들을 포함하는 다양한 메모리 디바이스들 중 임의의 것 이를테면, 동적 랜덤 액세스 메모리(DRAM)에 의해 형성될 수 있다. 디코딩된 화상 버퍼(DPB)(230)는 하나 이상의 필터링된 블록들(221)을 저장하도록 구성될 수 있다. 디코딩된 화상 버퍼(230)는 추가로 동일한 현재 화상 또는 상이한 화상들, 예컨대, 이전에 재구성된 화상들의 다른 이전에 필터링된 블록들, 예컨대, 이전에 재구성된 및 필터링된 블록들(221)을 저장하도록 구성될 수 있고, 예컨대, 인터 예측을 위해 완전한 이전에 재구성된, 즉 디코딩된 화상(및 대응하는 기준 블록들 및 샘플들) 및/또는 부분적으로 재구성된 현재 화상(및 대응하는 기준 블록들 및 샘플들)을 제공할 수 있다. 디코딩된 화상 버퍼(DPB)(230)는 또한, 예컨대, 재구성된 블록(215)이 루프 필터 유닛(220)에 의해 필터링되지 않은 경우, 하나 이상의 필터링되지 않은 재구성된 블록(215), 또는 일반적으로 필터링되지 않은 재구성된 샘플들, 또는 재구성된 블록들 또는 샘플들의 임의의 다른 추가로 프로세싱된 버전을 저장하도록 구성될 수 있다.
모드 선택(파티셔닝 및 예측)
모드 선택 유닛(260)은 파티셔닝 유닛(262), 인터-예측 유닛(244) 및 인트라-예측 유닛(254)을 포함하고, 오리지널 화상 데이터 예컨대, 오리지널 블록(203)(현재 화상(17)의 현재 블록(203), 및 재구성된 화상 데이터, 예컨대, 디코딩된 화상 버퍼(230) 또는 다른 버퍼들(예컨대, 라인 버퍼, 도시되지 않음)로부터 하나 또는 복수의 이전에 디코딩된 화상들로부터의 그리고/또는 예컨대, 동일한 (현재) 화상의 필터링된 및/또는 필터링되지 않은 재구성된 샘플들을 수신 또는 획득하도록 구성된다. 재구성된 화상 데이터는 예측 블록(265) 또는 예측기(265)를 획득하기 위해 예측, 예컨대, 인터-예측 또는 인트라-예측을 위한 기준 화상 데이터로서 사용된다.
모드 선택 유닛(260)은 현재 블록 예측 모드(어떠한 파티셔닝도 포함하지 않음) 및 예측 모드(예컨대, 인트라 또는 인터 예측 모드)에 대한 파티셔닝을 결정 또는 선택하고, 잔차 블록(205)의 계산 및 재구성된 블록(215)의 재구성을 위해 사용되는 대응하는 예측 블록(265)을 생성하도록 구성될 수 있다.
모드 선택 유닛(260)의 실시예들은 (예컨대, 모드 선택 유닛(260)에 의해 지원되거나 이를 위해 사용 가능한 것들로부터) 파티셔닝 및 예측 모드를 선택하도록 구성될 수 있으며, 이는 최상의 매칭을 제공하거나 즉, 최소 잔차(최소 잔차는 송신 또는 저장을 위한 더 양호한 압축을 의미함) 또는 최소 시그널링 오버헤드(최소 시그널링 오버헤드는 송신 또는 저장을 위한 더 양호한 압축을 의미함)를 제공하거나, 또는 둘 모두를 고려하거나 균형을 맞춘다. 모드 선택 유닛(260)은 레이트 왜곡 최적화(RDO)에 기초하여 파티셔닝 및 예측 모드를 결정하도록 즉, 최소 레이트 왜곡을 제공하는 예측 모드를 선택하도록 구성될 수 있다. 이 맥락에서 "최상", "최소", "최적" 등의 용어들은 반드시 전체적인 "최상", "최소", "최적" 등을 의미하는 것이 아닐 뿐만 아니라, 임계치 또는 다른 제약 조건들을 초과하거나 그 아래로 떨어져 잠재적으로 "최적-이하 선택(sub-optimum selection)"으로 이어지지만 복잡도 및 프로세싱 시간을 감소시키는 값과 같은 종결 또는 선택 기준의 이행을 의미할 수도 있다.
즉, 파티셔닝 유닛(262)은 예컨대, 쿼드-트리-파티셔닝(QT), 이진 파티셔닝(BT) 또는 트리플-트리-파티셔닝(TT) 또는 이들의 임의의 조합을 반복적으로 사용하여 블록(203)을 더 작은 블록 파티션들 또는 서브-블록들(재차, 블록들을 형성함)로 파티셔닝하고, 예컨대, 각각의 블록 파티션들 또는 서브-블록들에 대한 예측을 수행하도록 구성될 수 있으며, 여기서 모드 선택은 파티셔닝된 블록(203)의 트리-구조의 선택을 포함하고 예측 모드들은 블록 파티션들 또는 서브-블록들 각각에 적용된다.
다음으로, 예시적인 비디오 인코더(20)에 의해 수행되는 (예컨대, 분할 유닛(260)에 의한) 파티셔닝 및 (인터-예측 유닛(244) 및 인트라-예측 유닛(254)에 의한) 예측 프로세싱이 더 상세히 설명될 것이다.
파티셔닝
파티셔닝 유닛(262)은 현재 블록(203)을 더 작은 파티션들, 예컨대, 정사각형 또는 직사각형 크기들의 더 작은 블록들로 파티셔닝(또는 분할)할 수 있다. 이러한 더 작은 블록들(서브-블록들로서 또한 지칭됨)은 추가로 훨씬 더 작은 파티션들로 파티셔닝될 수 있다. 이는 또한, 트리-파티셔닝 또는 계층적 트리-파티셔닝으로 지칭되며, 여기서 예컨대, 루트-트리 레벨 0(계층-레벨 0, 깊이 0)의 루트 블록은 재귀적으로 파티셔닝되는데 예컨대, 다음 하위 트리-레벨의 2개 이상의 블록들, 예컨대, 트리-레벨 1의 노드들(계층-레벨 1, 깊이 1)로 파티셔닝될 수 있고, 이들 블록들은, 예컨대, 종결 기준이 충족되기 때문에, 예컨대, 최대 트리 깊이 또는 최소 블록 크기가 도달되기 때문에, 파티셔닝이 종결될 때까지, 다음 하위 레벨 예컨대, 트리-레벨 2(계층-레벨 2, 깊이 2)의 2개 이상의 블록들로 재차 파티셔닝될 수 있다. 추가로 파티셔닝되지 않는 블록들은 트리의 리프-블록들 또는 리프 노드들로서 또한 지칭된다. 2개의 파티션들로의 파티셔닝을 사용하는 트리는 이진-트리(BT)로서 지칭되고, 3개의 파티션들로의 파티셔닝을 사용하는 트리는 삼진 트리(ternary-tree)(TT)로서 지칭되고 4개의 파티션들로의 파티셔닝 사용하는 트리는 쿼드-트리(QT)로서 지칭된다.
앞서 언급된 바와 같이, 본원에서 사용된 바와 같은 "블록"이라는 용어는 화상의 일부, 특히 정사각형 또는 직사각형 부분일 수 있다. 예컨대, HEVC 및 VVC를 참조하면, 블록은 코딩 트리 유닛(CTU), 코딩 유닛(CU), 예측 유닛(PU) 및 변환 유닛(TU) 및/또는 대응하는 블록들, 예컨대, 코딩 트리 블록(CTB), 코딩 블록(CB), 변환 블록(TB) 또는 예측 블록(PB)이거나 이에 대응할 수 있다.
예컨대, 코딩 트리 유닛(CTU)은 화상의 루마 샘플들의 CTB, 크로마 샘플들의 2개의 대응하는 CTB들(이는 3개의 샘플 어레이들을 가짐), 또는 단색 화상 또는 샘플들을 코딩하는 데 사용되는 3개의 별개의 컬러 평면들 및 신택스 구조들을 사용하여 코딩된 화상의 샘플들의 CTB이거나 이들을 포함할 수 있다. 상응하게, 코딩 트리 블록(CTB)은 N의 일부 값에 대한 샘플들의 NxN 블록일 수 있어서, CTB들로의 구성요소의 분할은 파티셔닝이다. 코딩 유닛(CU)은 화상의 루마 샘플들의 코딩 블록, 크로마 샘플들의 2개의 대응하는 코딩 블록들(이는 3개의 샘플 어레이들을 가짐), 또는 단색 화상 또는 샘플들을 코딩하는 데 사용되는 3개의 별개로 컬러 평면들 및 신택스 구조들을 사용하여 코딩된 화상의 샘플들의 코딩 블록이거나 이들을 포함할 수 있다. 상응하게, 코딩 블록(CB)은 M 및 N의 일부 값에 대한 샘플들의 MxN 블록일 수 있어서, 코딩 블록으로의 CTB의 분할이 파티셔닝이다.
실시예들에서, 예컨대, HEVC에 따라, 코딩 트리 유닛(CTU)은 코딩 트리로서 표시된 쿼드-트리 구조를 사용함으로써 CU들로 분할될 수 있다. 인터-화상(시간) 또는 인트라-화상(공간) 예측을 사용하여 화상 영역을 코딩할지 여부에 관한 판단은 CU 레벨에서 내려진다. 각각의 CU는 PU 분할 유형에 따라 1개, 2개 또는 4개의 PU들로 추가로 분할될 수 있다. 하나의 PU 내부에서, 동일한 예측 프로세스가 적용되고 관련 정보가 PU 단위로 디코더에 송신된다. PU 분할 유형에 기초하여 예측 프로세스를 적용함으로써 잔차 블록을 획득한 후, CU는 CU에 대한 코딩 트리와 유사한 다른 쿼드 트리 구조에 따라 변환 유닛(TU)들로 파티셔닝될 수 있다.
실시예들에서, 예컨대, 다용도 비디오 코딩(VVC)으로서 지칭되는 현재 개발중인 최신 비디오 코딩 표준에 따르면, 결합된 쿼드-트리 및 이진 트리(QTBT) 파티셔닝이 예컨대, 코딩 블록을 파티셔닝하는 데 사용된다. QTBT 블록 구조에서, CU는 정사각형 또는 직사각형 형상을 가질 수 있다. 예컨대, 코딩 트리 유닛(CTU)은 먼저 쿼드트리 구조에 의해 파티셔닝된다. 쿼드트리 리프 노드들은 이진 트리 또는 삼진(또는 트리플) 트리 구조에 의해 추가로 파티셔닝된다. 파티셔닝 트리 리프 노드들은 코딩 유닛(CU)들이라고 불리며, 그 세그먼테이션(segmentation)은 추가의 파티셔닝 없이 예측 및 변환 프로세싱을 위해 사용된다. 이는 CU, PU 및 TU가 QTBT 코딩 블록 구조에서 동일한 블록 크기를 가짐을 의미한다. 나란히, 다중 파티션, 예컨대, 트리플 트리 파티션은 QTBT 블록 구조와 함께 사용될 수 있다.
일 예에서, 비디오 인코더(20)의 모드 선택 유닛(260)은 본원에서 설명된 파티셔닝 기술들의 임의의 조합을 수행하도록 구성될 수 있다.
위에서 설명된 바와 같이, 비디오 인코더(20)는 (예컨대, 미리 결정된) 예측 모드들의 세트로부터 최상의 또는 최적의 예측 모드를 결정하거나 선택하도록 구성된다. 예측 모드들의 세트는 예컨대, 인트라-예측 모드들 및/또는 인터-예측 모드들을 포함할 수 있다.
인트라-예측
인트라 예측 모드들의 세트는 35개의 상이한 인트라-예측 모드들, 예컨대, DC(또는 평균) 모드 및 평면 모드와 같은 비-지향성 모드들 또는 예컨대, HEVC에 정의된 바와 같은 지향성 모드들을 포함할 수 있거나, 67개의 상이한 인트라-예측 모드들, 예컨대, DC(또는 평균) 모드 및 평면 모드와 같은 비-지향성 모드들 또는 VCC에 대해 정의된 바와 같은 지향성 모드들을 포함할 수 있다.
인트라-예측 유닛(254)은 인트라-예측 모드들의 세트 내의 인트라-예측 모드에 따라 인트라-예측 블록(265)을 생성하기 위해 동일한 현재 화상의 이웃 블록들의 재구성된 샘플들을 사용하도록 구성된다.
인트라 예측 유닛(254)(또는 일반적으로 모드 선택 유닛(260))은 추가로, 인코딩된 화상 데이터(21)에 포함하기 위한 신택스 요소들(266)의 형태로, 인트라-예측 파라미터들(또는 일반적으로, 블록에 대한 선택된 인트라 예측 모드를 나타내는 정보)을 엔트로피 인코딩 유닛(270)에 출력하여서, 예컨대, 비디오 디코더(30)는 디코딩을 위해 예측 파라미터들을 수신 및 사용할 수 있게 하도록 구성된다.
인터-예측
(가능한 또는) 인터-예측 모드들의 세트는 이용 가능한 기준 화상들(즉, 예컨대, DBP(230)에 저장된 이전의 적어도 부분적으로 디코딩된 화상들) 및 다른 인터-예측 파라미터들, 예컨대, 기준 화상 전체 또는 기준 화상의 단지 일부만이 예컨대, 현재 블록의 영역 주위의 검색 윈도우 영역만이 최상의 매칭 기준 블록을 검색하는 데 사용되는지 여부 그리고/또는 예컨대, 픽셀 보간 예컨대, 하프/세미-화소 또는 쿼터-화소 보간이 적용되는지 여부에 의존한다.
위의 예측 모드들 외에도, 스킵 모드 및/또는 직접 모드가 적용될 수 있다.
인터 예측 유닛(244)은 모션 추정(ME) 유닛 및 모션 보상(MC) 유닛(둘 모두 도 2에 도시되지 않음)을 포함할 수 있다. 모션 추정 유닛은 모션 추정을 위해, 화상 블록(203)(현재 화상(17)의 현재 화상 블록(203)) 및 디코딩된 화상(231), 또는 적어도 하나의 또는 복수의 이전에 재구성된 블록들, 예컨대, 하나 또는 복수의 다른/상이한 이전에 디코딩된 화상들(231)의 재구성된 블록들을 수신하거나 획득하도록 구성될 수 있다. 예컨대, 비디오 시퀀스는 현재 화상 및 이전에 디코딩된 화상들(231)을 포함할 수 있거나, 즉, 현재 화상 및 이전에 디코딩된 화상들(231)은 비디오 시퀀스를 형성하는 화상들의 시퀀스를 형성하거나 그의 부분일 수 있다.
인코더(20)는 예컨대, 복수의 다른 화상들의 동일한 또는 상이한 화상들의 복수의 기준 블록들로부터 기준 블록을 선택하고 인터 예측 파라미터들로서 기준 화상(또는 기준 화상 인덱스) 및/또는 기준 블록의 포지션(x, y 좌표들)과 현재 블록의 포지션 사이의 오프셋(공간 오프셋)을 모션 추정 유닛에 제공하도록 구성될 수 있다. 이 오프셋은 또한 모션 벡터(MV)라고 불린다.
모션 보상 유닛은 인터 예측 파라미터를 획득, 예컨대, 수신하고 인터 예측 파라미터를 사용하여 또는 그에 기초하여 인터 예측을 수행하여 인터 예측 블록(265)을 획득하도록 구성된다. 모션 보상 유닛에 의해 수행되는 모션 보상은 모션 추정에 의해 결정된 모션/블록 벡터에 기초하여 예측 블록을 페치(fetch)하거나 생성하는 것을 수반할 수 있으며, 가능하게는 서브-픽셀 정밀도로 보간을 수행한다. 보간 필터링은 알려진 픽셀 샘플들로부터 부가적인 픽셀 샘플들을 생성하고, 이에 따라 화상 블록을 코딩하는 데 사용될 수 있는 후보 예측 블록들의 수를 잠재적으로 증가시킬 수 있다. 현재 화상 블록의 PU에 대한 모션 벡터의 수신 시에, 모션 보상 유닛은 기준 화상 리스트들 중 하나에서 모션 벡터가 가리키는 예측 블록을 찾을(locate) 수 있다.
모션 보상 유닛은 또한 비디오 슬라이스의 화상 블록들의 디코딩 시에 비디오 디코더(30)에 의한 사용을 위해 비디오 슬라이스들 및 블록들과 연관된 신택스 요소들을 생성할 수 있다. 슬라이스들 및 개개의 신택스 요소들에 추가로 또는 대안으로서, 타일 그룹들 및/또는 타일들 및 개개의 신택스 요소들이 생성되거나 사용될 수 있다.
엔트로피 코딩
엔트로피 인코딩 유닛(270)은 예컨대, 엔트로피 인코딩 알고리즘 또는 방식(예컨대, 가변 길이 코딩(variable length coding; VLC) 방식, 콘텍스트 적응형 VLC 방식(context adaptive VLC scheme; CAVLC), 산술 코딩 방식, 이진화, 콘텍스트 적응형 이진 산술 코딩(context adaptive binary arithmetic coding; CABAC), 신택스-기반 콘텍스트-적응형 이진 산술 코딩(syntax-based context-adaptive binary arithmetic coding; SBAC), 확률 간격 파티셔닝 엔트로피(probability interval partitioning entropy; PIPE) 코딩 또는 다른 엔트로피 인코딩 방법론 또는 기술) 또는 양자화된 계수들(209)에 대한 우회(bypass)(압축 안 함), 인터 예측 파라미터들, 인트라 예측 파라미터들, 루프 필터 파라미터들 및/또는 다른 신택스 요소들을 적용하여, 예컨대, 인코딩된 비트스트림(21)의 형태로 출력(272)을 통해 출력될 수 있는 인코딩된 화상 데이터(21)를 획득하여서, 예컨대, 비디오 디코더(30)가 디코딩을 위해 파라미터들을 수신 및 사용할 수 있게 하도록 구성된다. 인코딩된 비트스트림(21)은 비디오 디코더(30)에 송신되거나, 비디오 디코더(30)에 의한 추후 송신 또는 취득을 위해 메모리에 저장될 수 있다.
비디오 인코더(20)의 다른 구조적 변동들이 비디오 스트림을 인코딩하는데 사용될 수 있다. 예컨대, 비-변환 기반 인코더(20)는 특정한 블록들 또는 프레임들에 대한 변환 프로세싱 유닛(206) 없이 잔차 신호를 직접 양자화할 수 있다. 다른 구현에서, 인코더(20)는 단일 유닛으로 결합된 양자화 유닛(208) 및 역 양자화 유닛(210)을 가질 수 있다.
디코더 및 디코딩 방법
도 3은 본 출원의 기술들을 구현하도록 구성된 비디오 디코더(30)의 예를 도시한다. 비디오 디코더(30)는 디코딩된 화상(331)을 획득하기 위해, 예컨대, 인코더(20)에 의해 인코딩된 인코딩된 화상 데이터(21)(예컨대, 인코딩된 비트스트림(21))를 수신하도록 구성된다. 인코딩된 화상 데이터 또는 비트스트림은 인코딩된 화상 데이터를 디코딩하기 위한 정보, 예컨대, 인코딩된 비디오 슬라이스(및/또는 타일 그룹들 또는 타일들)의 화상 블록들 및 연관된 신택스 요소들을 표현하는 데이터를 포함한다.
도 3의 예에서, 디코더(30)는 엔트로피 디코딩 유닛(304), 역 양자화 유닛(310), 역 변환 프로세싱 유닛(312), 재구성 유닛(314)(예컨대, 합산기(314)), 루프 필터(320), 디코딩된 화상 버퍼(DBP)(330), 모드 적용 유닛(360), 인터 예측 유닛(344) 및 인트라 예측 유닛(354)을 포함한다. 인터 예측 유닛(344)은 모션 보상 유닛이거나 이를 포함할 수 있다. 비디오 디코더(30)는, 일부 예들에서, 도 2로부터의 비디오 인코더(100)에 대해 설명된 인코딩 패스(encoding pass)와 일반적으로 역인 디코딩 패스를 수행할 수 있다.
인코더(20)에 대해 설명된 바와 같이, 역 양자화 유닛(210), 역변환 프로세싱 유닛(212), 재구성 유닛(214), 루프 필터(220), 디코딩된 화상 버퍼(DPB)(230), 인터 예측 유닛(344) 및 인트라 예측 유닛(354)은 또한 비디오 인코더(20)의 "내장 디코더"를 형성하는 것으로 참조된다. 따라서, 역 양자화 유닛(310)은 역 양자화 유닛(110)과 기능 면에서 동일할 수 있고, 역 변환 프로세싱 유닛(312)은 역 변환 프로세싱 유닛(212)과 기능 면에서 동일할 수 있고, 재구성 유닛(314)은 재구성 유닛(214)과 기능 면에서 동일할 수 있고, 루프 필터(320)는 루프 필터(220)와 기능 면에서 동일할 수 있고, 디코딩된 화상 버퍼(330)는 디코딩된 화상 버퍼(230)와 기능 면에서 동일할 수 있다. 따라서, 비디오(20) 인코더의 개개의 유닛들 및 기능들에 대해 제공된 설명들은 비디오 디코더(30)의 개개의 유닛들 및 기능들에 상응하게 적용된다.
엔트로피 디코딩
엔트로피 디코딩 유닛(304)은 비트스트림(21)(또는 일반적으로, 인코딩된 화상 데이터(21))을 파싱(parse)하고, 예컨대, 양자화된 계수들(309) 및/또는 디코딩된 코딩 파라미터들(도 3에 도시되지 않음), 예컨대, 인터 예측 파라미터들(예컨대, 기준 화상 인덱스 및 모션 벡터), 인트라 예측 파라미터(예컨대, 인트라 예측 모드 또는 인덱스), 변환 파라미터들, 양자화 파라미터들, 루프 필터 파라미터들, 및/또는 다른 신택스 요소들 중 임의의 것 또는 전부를 획득하기 위해 예컨대, 인코딩된 화상 데이터(21)에 대한 엔트로피 디코딩을 수행하도록 구성된다. 엔트로피 디코딩 유닛(304)은 인코더(20)의 엔트로피 인코딩 유닛(270)과 관련하여 설명된 바와 같은 인코딩 방식들에 대응하는 디코딩 알고리즘들 또는 방식들을 적용하도록 구성될 수 있다. 엔트로피 디코딩 유닛(304)은 추가로, 인터 예측 파라미터들, 인트라 예측 파라미터들 및/또는 다른 신택스 요소들을 모드 적용 유닛(360)에 그리고 다른 파라미터들을 디코더(30)의 다른 유닛들에 제공하도록 구성될 수 있다. 비디오 디코더(30)는 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨에서 신택스 요소들을 수신할 수 있다. 슬라이스들 및 개개의 신택스 요소들에 추가로 또는 대안으로서, 타일 그룹들 및/또는 타일들 및 개개의 신택스 요소들이 수신 및/또는 사용될 수 있다.
역 양자화
역 양자화 유닛(310)은 (예컨대, 엔트로피 디코딩 유닛(304)에 의한 예컨대, 파싱 및/또는 디코딩에 의해) 인코딩된 화상 데이터(21)로부터 양자화 파라미터들(QP)(또는 일반적으로, 역 양자화와 관련된 정보) 및 양자화된 계수들을 수신하고 역양자화된 계수들(311)(이는 변환 계수들(311)로서 또한 지칭될 수 있음)을 획득하기 위해 양자화 파라미터들에 기초하여, 디코딩된 양자화된 계수들(309)에 역 양자화를 적용하도록 구성될 수 있다. 역 양자화 프로세스는 양자화의 정도, 및 마찬가지로 적용되어야 하는 역 양자화의 정도를 결정하기 위해 비디오 슬라이스(또는 타일 또는 타일 그룹)의 각각의 비디오 블록에 대해 비디오 인코더(20)에 의해 결정된 양자화 파라미터를 사용하는 것을 포함할 수 있다.
역 변환
역 변환 프로세싱 유닛(312)은 역양자화된 계수들(311)(변환 계수들(311)로서 또한 지칭됨)을 수신하고, 샘플 도메인에서 재구성된 잔차 블록들(213)을 획득하기 위해 역양자화된 계수들(311)에 변환을 적용하도록 구성될 수 있다. 재구성된 잔차 블록들(213)은 또한 변환 블록들(313)로서 지칭될 수 있다. 변환은 역 변환, 예컨대, 역 DCT, 역 DST, 역 정수 변환, 또는 개념적으로 유사한 역 변환 프로세스일 수 있다. 역 변환 프로세싱 유닛(312)은 추가로, 역양자화된 계수들(311)에 적용될 변환을 결정하기 위해 (예컨대, 엔트로피 디코딩 유닛(304)에 의한 예컨대, 파싱 및/또는 디코딩에 의해) 인코딩된 화상 데이터(21)로부터 변환 파라미터들 또는 대응하는 정보를 수신하도록 구성될 수 있다.
재구성
재구성 유닛(314)(예컨대, 가산기 또는 합산기(314))은 예컨대, 재구성된 잔차 블록(313)의 샘플 값들 및 예측 블록(365)의 샘플 값들을 가산함으로써, 재구성된 잔차 블록(313)을 예측 블록(365)에 가산하여 샘플 도메인에서 재구성된 블록(315)을 획득하도록 구성될 수 있다.
필터링
(코딩 루프의 또는 코딩 루프 이후의) 루프 필터 유닛(320)은 필터링된 블록(321)을 획득하기 위해 예컨대, 픽셀 트랜지션들을 평활화하거나 그렇지 않으면 비디오 품질을 개선하기 위해 재구성된 블록(315)을 필터링하도록 구성된다. 루프 필터 유닛(320)은 하나 이상의 루프 필터들 이를테면, 디-블로킹 필터, 샘플-적응형 오프셋(SAO) 필터 또는 하나 이상의 다른 필터들, 예컨대, 양측 필터, 적응형 루프 필터(ALF), 샤프닝, 평활화 필터 또는 협업 필터 또는 이들의 임의의 조합을 포함할 수 있다. 루프 필터 유닛(320)이 루프 필터인 것으로 도 3에서 도시되지만, 다른 구성들에서, 루프 필터 유닛(320)은 포스트 루프 필터로서 구현될 수 있다.
디코딩된 화상 버퍼
화상의 디코딩된 비디오 블록들(321)은 그 후 디코딩된 화상 버퍼(330)에 저장되며, 이는 각각 디스플레이 출력에 대한 그리고/또는 다른 화상들에 대한 후속 모션 보상을 위한 기준 화상들로서 디코딩된 화상들(331)을 저장한다.
디코더(30)는 사용자 보기 또는 프리젠테이션을 위해 예컨대, 출력(312)을 통해 디코딩된 화상(311)를 출력하도록 구성된다.
예측
기능 면에서, 인터 예측 유닛(344)은 인터 예측 유닛(244)(특히 움직임 보상 유닛)과 동일할 수 있고, 인트라 예측 유닛(354)은 인터 예측 유닛(254)과 동일할 수 있고, 파티셔닝 및/또는 예측 파라미터들 또는 (예컨대, 엔트로피 디코딩 유닛(304)에 의한, 예컨대, 파싱 및/또는 디코딩에 의해) 인코딩된 화상 데이터(21)로부터 수신된 개개의 정보에 기초하여, 분할 또는 파티셔닝 판단들 및 예측을 수행한다. 모드 적용 유닛(360)은 예측 블록(365)을 획득하기 위해 재구성된 화상들, 블록들 또는 개개의 샘플들(필터링되거나 필터링되지 않음)에 기초하여 블록 당 예측(인트라 또는 인터 예측)을 수행하도록 구성될 수 있다.
비디오 슬라이스가 인트라 코딩된(I) 슬라이스로서 코딩될 때, 모드 적용 유닛(360)의 인트라 예측 유닛(354)은 시그널링된 인트라 예측 모드 및 현재 화상의 이전에 디코딩된 블록들로부터의 데이터에 기초하여 현재 비디오 슬라이스의 화상 블록에 대한 예측 블록(365)을 생성하도록 구성된다. 비디오 화상이 인터 코딩된(즉, B 또는 P) 슬라이스로서 코딩될 때, 모드 적용 유닛(360)의 인터 예측 유닛(344)(예컨대, 모션 보상 유닛)은 엔트로피 디코딩 유닛(304)으로부터 수신된 모션 벡터들 및 다른 신택스 요소들에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 블록들(365)을 생성하도록 구성된다. 인터 예측을 위해, 예측 블록들은 기준 화상 리스트들 중 하나의 기준 화상 리스트 내의 기준 화상들 중 하나로부터 생성될 수 있다. 비디오 디코더(30)는 DPB(330)에 저장된 기준 화상들에 기초한 디폴트 구성 기술들을 사용하여 기준 프레임 리스트들(리스트 0 및 리스트 1)을 구성할 수 있다. 슬라이스들(예컨대, 비디오 슬라이스들)에 추가로 또는 그에 대안적으로, 타일 그룹들(예컨대, 비디오 타일 그룹들) 및/또는 타일들(예컨대, 비디오 타일들)을 사용하는 실시예들에 대해 또는 그러한 실시예들에 의해 동일하거나 유사한 것이 적용될 수 있는데, 예컨대, 비디오는 I, P 또는 B 타일 그룹들 및/또는 타일들을 사용하여 코딩될 수 있다.
모드 적용 유닛(360)은 모션 벡터들 또는 관련된 정보 및 다른 신택스 요소들을 파싱함으로써 현재 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하도록 구성되고, 예측 정보를 사용하여 디코딩되고 있는 현재 비디오 블록에 대한 예측 블록들을 생성한다. 예컨대, 모드 적용 유닛(360)은 수신된 신택스 요소들 중 일부를 사용하여 비디오 슬라이스의 비디오 블록들을 코딩하는 데 사용되는 예측 모드(예컨대, 인트라 또는 인터 예측), 인터 예측 슬라이스 유형(예컨대, B 슬라이스, P 슬라이스 또는 GPB 슬라이스), 슬라이스에 대한 기준 화상 리스트들 중 하나 이상에 대한 구성 정보, 슬라이스의 각각의 인터 인코딩된 비디오 블록에 대한 모션 벡터들, 슬라이스의 각각의 인터 코딩된 비디오 블록에 대한 인터 예측 상태, 및 현재 비디오 슬라이스의 비디오 블록들을 디코딩하기 위한 다른 정보를 결정한다. 슬라이스들(예컨대, 비디오 슬라이스들)에 추가로 또는 그에 대안적으로, 타일 그룹들(예컨대, 비디오 타일 그룹들) 및/또는 타일들(예컨대, 비디오 타일들)을 사용하는 실시예들에 대해 또는 그러한 실시예들에 의해 동일하거나 유사한 것이 적용될 수 있는데, 예컨대, 비디오는 I, P 또는 B 타일 그룹들 및/또는 타일들을 사용하여 코딩될 수 있다.
도 3에 도시된 바와 같은 비디오 디코더(30)의 실시예들은, 슬라이스(slice)들(비디오 슬라이스들로서 또한 지칭됨)을 사용하여 화상을 파티셔닝 및/또는 디코딩하도록 구성될 수 있으며, 여기서 화상은 하나 이상의 슬라이스들(통상적으로 비-중첩)을 사용하여 디코딩되거나 이러한 슬라이스들로 파티셔닝되고, 각각의 슬라이스는 하나 이상의 블록들(예컨대, CTU들)을 포함할 수 있다.
도 3에 도시된 바와 같은 비디오 디코더(30)의 실시예들은 타일 그룹들(비디오 타일 그룹들로서 또한 지칭됨) 및/또는 타일들(비디오 타일들로서 또한 지칭됨)을 사용함으로써 화상을 파티셔닝 및/또는 디코딩하도록 구성될 수 있으며, 여기서 화상은 하나 이상의 타일 그룹들(통상적으로 비-중첩)을 사용하여 디코딩되거나 그러한 타일 그룹들로 파티셔닝될 수 있고, 각각의 타일 그룹은 예컨대, 하나 이상의 블록들(예컨대, CTU들) 또는 하나 이상의 타일들을 포함할 수 있고, 각각의 타일은 예컨대, 직사각형 형상일 수 있고, 하나 이상의 블록들(예컨대, CTU들), 예컨대, 완전 또는 부분 블록들을 포함할 수 있다.
인코딩된 화상 데이터(21)를 디코딩하기 위해 비디오 디코더(30)의 다른 변동들이 사용될 수 있다. 예컨대, 디코더(30)는 루프 필터링 유닛(320) 없이 출력 비디오 스트림을 생성할 수 있다. 예컨대, 비-변환 기반 디코더(30)는 특정한 블록들 또는 프레임들에 대한 역-변환 프로세싱 유닛(312) 없이 잔차 신호를 직접 역-양자화할 수 있다. 다른 구현에서, 비디오 디코더(30)는 단일 유닛으로 결합된 역 양자화 유닛(310) 및 역 변환 프로세싱 유닛(312)을 가질 수 있다.
인코더(20) 및 디코더(30)에서, 현재 단계의 프로세싱 결과가 추가로 프로세싱되고 그 후 다음 단계로 출력될 수 있다는 것이 이해되어야 한다. 예컨대, 보간 필터링, 모션 벡터 유도 또는 루프 필터링 후, 보간 필터링, 모션 벡터 유도 또는 루프 필터링의 프로세싱 결과에 대해 클립(Clip) 또는 시프트(Shift)와 같은 추가의 동작이 수행될 수 있다.
현재 블록의 유도된 모션 벡터들(아핀 모드의 제어 포인트 모션 벡터들, 아핀, 평면, ATMVP 모드들의 서브-블록 모션 벡터들, 시간적 모션 벡터들 등을 포함함(그러나 이에 제한되지 않음))에 추가의 동작들이 적용될 수 있다는 것이 주의되어야 한다. 예컨대, 모션 벡터의 값은 그의 대표 비트에 따라 미리 정의된 범위로 제한된다. 모션 벡터의 대표 비트가 bitDepth인 경우, 범위는 -2^(bitDepth-1) ~ 2^(bitDepth-1)-1, 여기서 "^" 는 누승법(exponentiation)을 의미한다. 예컨대, bitDepth가 16으로 세팅되는 경우, 범위는 -32768 ~ 32767이고; bitDepth가 18로 세팅되는 경우, 범위는 -131072 ~ 131071이다. 예컨대, 유도된 모션 벡터의 값(예컨대, 하나의 8x8 블록 내의 4개의 4x4 서브-블록들의 MV들)은, 4개의 4x4 서브-블록 MV들의 정수 부분들 간의 최대 차이가 기껏해야 N개의 픽셀들 이하, 이를테면, 기껏해야 1개의 픽셀이 되도록 제한된다. bitDepth에 따라 모션 벡터를 제한하는 2개의 방법들이 여기에서 제공된다.
방법 1 : 연산들을 연속시킴으로써 오버플로우 MSB(최상위 비트)의 제거
여기에서, mvx는 이미지 블록 또는 서브-블록의 모션 벡터의 수평 성분이고, mvy는 이미지 블록 또는 서브-블록의 모션 벡터의 수직 성분이고, ux 및 uy는 중간 값을 나타낸다.
예컨대, mvx의 값이 -32769인 경우, 식 (1) 및 (2)를 적용한 후, 결과 값은 32767이다. 컴퓨터 시스템에서, 십진수들은 2의 보수로서 저장된다. -32769의 2의 보수는 1,0111,1111,1111,1111(17 비트)이고, MSB는 폐기되어서, 결과적인 2의 보수는 0111,1111,1111,1111(10 진수는 32767임)이며, 이는 식 (1) 및 (2)를 적용한 출력과 동일하다.
이 연산은 식 (5) 내지 (8)에서 보여지는 바와 같이 mvp 및 mvd의 합 동안 적용될 수 있다.
방법 2 : 값을 클리핑함으로써 오버플로우 MSB의 제거
여기에서, vx는 이미지 블록 또는 서브-블록의 모션 벡터의 수평 성분이고, vy는 이미지 블록 또는 서브-블록의 모션 벡터의 수직 성분이고; x, y 및 z는 각각 MV 클리핑 프로세스의 3개의 입력 값에 대응하고, 함수 Clip3의 정의는 다음과 같다:
도 4는 본 개시내용의 실시예에 따른 비디오 코딩 디바이스(400)의 개략도이다. 비디오 코딩 디바이스(400)는 본원에서 설명된 바와 같이 개시된 실시예들을 구현하기에 적합하다. 일 실시예에서, 비디오 코딩 디바이스(400)는 도 1a의 비디오 디코더(30)와 같은 디코더 또는 도 1a의 비디오 인코더(20)와 같은 인코더일 수 있다.
비디오 코딩 디바이스(400)는 데이터를 수신하기 위한 진입 포트들(410)(또는 입력 포트들(410)) 및 수신기 유닛들(Rx)(420); 데이터를 프로세싱하는 프로세서, 로직 유닛 또는 중앙 처리 장치(CPU)(430); 데이터를 송신하기 위한 송신기 유닛들(Tx)(440) 및 출구 포트들(450)(또는 출력 포트들(450)); 및 데이터를 저장하기 위한 메모리(460)를 포함한다. 비디오 코딩 디바이스(400)는 또한, 광학 또는 전기 신호들의 유출 또는 진입을 위해 진입 포트들(410), 수신기 유닛들(420), 송신기 유닛들(440) 및 출구 포트들(450)에 커플링된 광-전기(OE) 구성요소들 및 전기-광(EO) 구성요소들을 포함할 수 있다.
프로세서(430)는 하드웨어 및 소프트웨어에 의해 구현된다. 프로세서(430)는 하나 이상의 CPU 칩들, (예컨대, 멀티-코어 프로세서로서) 코어들, FPGA들, ASIC들 및 DSP들로서 구현될 수 있다. 프로세서(430)는 진입 포트들(410), 수신기 유닛들(420), 송신기 유닛들(440), 출구 포트들(450) 및 메모리(460)와 통신한다. 프로세서(430)는 코딩 모듈(470)을 포함한다. 코딩 모듈(470)은 위에서 설명된 개시된 실시예들을 구현한다. 예컨대, 코딩 모듈(470)은 다양한 코딩 동작들을 구현, 프로세싱, 준비 또는 제공한다. 따라서, 코딩 모듈(470)의 포함은 비디오 코딩 디바이스(400)의 기능에 대한 실질적인 개선을 제공하고 다른 상태로의 비디오 코딩 디바이스(400)의 변환을 달성한다. 대안적으로, 코딩 모듈(470)은 메모리(460)에 저장되고 프로세서(430)에 의해 실행되는 명령들로서 구현된다.
메모리(460)는 하나 이상의 디스크들, 테이프 드라이브들 및 솔리드-스테이트 드라이브들을 포함할 수 있고, 이러한 프로그램들이 실행을 위해 선택될 때 프로그램들을 저장하고 프로그램 실행 동안 판독된 명령들 및 데이터를 저장하도록 오버-플로우 데이터 저장 디바이스(over-flow data storage device)로서 사용될 수 있다. 메모리(460)는 예컨대, 휘발성 및/또는 비-휘발성일 수 있으며, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 터너리 콘텐츠-어드레싱 가능 메모리(TCAM; ternary content-addressable memory) 및/또는 정적 랜덤 액세스 메모리(SRAM)일 수 있다.
도 5는 예시적인 실시예에 따라, 도 1의 소스 디바이스(12) 및 목적지 디바이스(14) 중 어느 하나 또는 둘 모두로서 사용될 수 있는 장치(500)의 단순화된 블록도이다.
장치(500)의 프로세서(502)는 중앙 처리 장치일 수 있다. 대안적으로, 프로세서(502)는 현재-존재하거나 이후에 개발되는, 정보를 조작 또는 프로세싱할 수 있는 임의의 다른 유형의 디바이스 또는 다수의 디바이스들일 수 있다. 개시된 구현들이 도시된 바와 같은 단일 프로세서, 예컨대, 프로세서(502)를 이용하여 실시될 수 있지만, 하나 초과의 프로세서를 사용하여 속도 및 효율에서의 이점들이 달성될 수 있다.
장치(500)의 메모리(504)는 일 구현에서 판독 전용 메모리(ROM) 디바이스 또는 랜덤 액세스 메모리(RAM) 디바이스일 수 있다. 임의의 다른 적합한 유형의 저장 디바이스가 메모리(504)로서 사용될 수 있다. 메모리(504)는 버스(512)를 사용하여 프로세서(502)에 의해 액세스되는 코드 및 데이터(506)를 포함할 수 있다. 메모리(504)는 운영 체제(508) 및 애플리케이션 프로그램(510)을 더 포함할 수 있으며, 애플리케이션 프로그램(510)은 프로세서(502)가 여기서 설명된 방법들을 수행할 수 있게 하는 적어도 하나의 프로그램을 포함한다. 예컨대, 애플리케이션 프로그램들(510)은, 여기서 설명되는 방법들을 수행하는 비디오 코딩 애플리케이션을 더 포함하는 애플리케이션들 1 내지 N을 포함할 수 있다.
장치(500)는 또한 디스플레이(518)와 같은 하나 이상의 출력 디바이스들을 포함할 수 있다. 디스플레이(518)는 일 예에서, 터치 입력들을 감지하도록 동작 가능한 터치 감지 엘리먼트와 디스플레이를 결합한 터치 감지 디스플레이일 수 있다. 디스플레이(518)는 버스(512)를 통해 프로세서(502)에 커플링될 수 있다.
여기서는 단일 버스로서 도시되지만, 장치(500)의 버스(512)는 다수의 버스들로 구성될 수 있다. 또한, 보조 저장소(514)는 장치(500)의 다른 구성요소들에 직접 커플링될 수 있거나 네트워크를 통해 액세스될 수 있고, 메모리 카드와 같은 단일 통합 유닛 또는 다수의 메모리 카드들과 같은 다수의 유닛들을 포함할 수 있다. 따라서, 장치(500)는 매우 다양한 구성들로 구현될 수 있다.
VVC Draft 4.0(JVET-M1001)에서, 변환 코어들 DST-VII(DST 7), DCT-VIII(DCT 8) 및 DCT-II(DCT 2)이 변환 프로세스를 위해 개시된다.
HEVC에 사용된 DCT-II 외에도, 다중 변환 섹션(MTS) 방식이 인터 및 인트라 코딩된 블록들 둘 모두에 대한 잔여 코딩을 위해 사용된다. 다중 선택된 변환들 DCT8 또는 DST 7이 MTS 방식에서 사용된다. HEVC와 비교하여, DST-VII 및 DCT-VIII은 새롭게 도입된 변환 코어들이다. 표 1은 선택된 변환 코어의 기본 기능들을 보여준다. 일반적으로, 변환 코어는 변환 프로세스를 위해 사용되는 계수들의 세트를 포함한다. 변환 코어는 형식화(formulization)에 의해 표시될 수 있거나, 변환 코어는 수학적 정의 함수로부터 수학적 반올림 계수들을 포함하는 표 또는 행렬에 의해 표시될 수 있다. 반올림은 하드웨어 설계를 단순화하는 것을 목표로 한다(예컨대, 반올림 후, 더 작은 크기(예컨대, 4x4)의 변환 코어가 더 큰 크기의 변환 코어(예컨대, 16x16)로부터 직접 다운 샘플링(down sample)될 수 있음). 반올림 후, 계수들은 여전히 변환의 수학적 정의를 준수한다.
표 1 N-포인트 입력을 위한 DCT-II/VIII 및 DST-VII의 변환 기본 기능들
다른 예에서, 이러한 변환 코어는 변환 행렬에 의해 표시된다. 이 예들에서, 변수 nTbS는 스케일링된 변환 계수들의 수평 샘플 크기 또는 변환 블록 크기를 지정한다.
DST-VII:
-
nTbs가 4와 동일한 경우, 다음이 적용된다:
-
그렇지 않고, nTbs가 8과 동일한 경우, 다음이 적용된다:
-
그렇지 않고, nTbs가 16과 동일한 경우, 다음이 적용된다:
-
그렇지 않고, nTbs가 32과 동일한 경우, 다음이 적용된다:
여기서 nTbs는 변환 블록 크기이다. VVC는 단지 최대 32 포인트 DST-VII을 지원하므로, 필요한 최대 행렬은 32x32이다.
DCT-II:
변환 행렬의 직교성을 유지하기 위해, 이러한 변환 행렬들은 HEVC의 변환 행렬들보다 더 정확하게 양자화된다. 일부 예들에서, 16-비트 범위 내에서 변환된 계수들의 중간 값들을 유지하기 위해, 수평 변환 후 그리고 수직 변환 후, 모든 계수들은 10-비트를 가질 것이다.
MTS 방식을 시그널링하기 위해, 인트라 또는 인터에 대해 각각 SPS 레벨에서 별개의 인에이블링 플래그(enabling flag)들이 특정된다. MTS 방식이 SPS 레벨에서 인에이블될 때, CU 레벨 플래그가 비트스트림에서 시그널링되고, CU 레벨 플래그의 값은 MTS가 현재 CU에 적용되는지 여부를 표시하는 데 사용된다. 일 예에서, MTS는 루마 샘플에 대해서만 적용된다. 일 예에서, CU 레벨 플래그는 다음 조건들이 충족될 때 시그널링된다:
현재 CU의 폭 및 현재 CU의 높이 둘 모두가 32 이하이고,
현재 CU의 코딩된 블록 플래그인 CBF 플래그의 값은 1과 동일하다.
CU 레벨 플래그의 값이 0과 동일한 경우, DCT 2는 현재 CU의 수평 방향 및 현재 CU의 수직 방향에서 적용된다. CU 레벨 플래그의 값이 1과 동일한 경우, 수평 방향 및 수직 방향에 대한 변환 유형을 각각 표시하기 위해 부가적인 2개의 플래그들이 시그널링된다. 변환 유형 및 플래그 값에 대한 매핑 관계는 아래 표 2에서 보여지는 바와 같다. 변환 행렬 정밀도를 참조하면, 8-비트 기본 변환 코어들이 사용된다. 일 예에서, 변환 코어들은 HEVC에서 사용되는 변환 코어들과 동일하다. 일 예에서, 이러한 변환 코어들은 4-포인트 DCT-2 및 DST-7, 8-포인트, 16-포인트 및 32-포인트 DCT-2를 포함한다. 또한, 다른 변환 코어들은 64-포인트 DCT-2, 4-포인트 DCT-8, 8-포인트, 16-포인트, 32-포인트 DST-7 및 DCT-8을 포함하고, 8-비트 1차 변환 코어들을 사용한다.
표 2 변환 및 시그널링 매핑 테이블
HEVC에서와 같이, 블록의 잔차는 변환 스킵 모드로 코딩될 수 있다. 신택스 코딩의 중복을 회피하기 위해, CU 레벨 플래그인 MTS_CU_flag의 값이 0이 아닐 때 변환 스킵 플래그는 시그널링되지 않는다. 블록 폭 및 블록 높이 둘 모두가 4 이하일 때 변환 스킵 모드가 인에이블된다.
인트라 서브-파티션(ISP) 코딩 모드는 VVC Draft 4.0(JVET-M1001)에서 채택된 툴이다. ISP 코딩 모드가 적용될 때, 루마 인트라-예측 블록은, 표 3에 도시된 바와 같이 블록 크기 치수들에 의존하여, 수직으로 또는 수평으로, 2개 또는 4개의 서브-파티션들로 분할된다. 도 6 및 도 7은 2개의 가능성들의 예들을 도시한다. 각각의 서브-파티션은 최소 16개의 샘플들을 포함한다.
표 3: 블록 크기에 의존한 서브-파티션들의 수
(MTS가 현재 블록에 대해 인에이블된지 또는 디스에이블된지 여부에 관계없이) 인트라 서브-파티션 코딩 모드가 현재 블록에 대해 인에이블될 때, 변환 코어는 MTS 인덱스에 따라 선택되는 것이 아니라, 변환 코어는 현재 블록의 인트라 모드에 기초하여 선택된다. 일 예에서, 다음 표 4에 도시된 바와 같이, trTypeHor는 ISP 모드에 있어 현재 블록의 수평 방향에 대한 변환 코어를 표시하고, trTypeVer는 ISP 모드에 있어 현재 블록의 수직 방향에 대한 변환 코어를 표시한다.
표 4에 따르면, trTypeVer의 값이 0과 동일하거나 trTypeHor의 값이 0과 동일할 때, 변환 코어 DCT 2가 현재 블록에 대해 선택되고; trTypeVer의 값이 1과 동일하거나 trTypeHor의 값이 1과 동일할 때, 변환 코어 DST 7가 현재 블록에 대해 선택된다.
표 4 predModeIntra에 의존한 trTypeHor 및 trTypeVer의 사양
인트라 형상 적응형 암시적 변환 코어 선택(intra shape adaptive implicit transform core selection)이 JVET-M0303에 의해 개시된다.
인트라 형상 적응형 암시적 변환 코어 선택 방법에서, 변환 블록의 더 짧은 측에 대해 DST 7을 사용하고 변환 블록의 더 긴 측에 대해 DCT 2를 사용하는 것이 제안된다. 정사각형 블록들의 경우, MTS가 시퀀스에 대해 디스에이블된 경우, DST 7을 사용하는 것이 제안된다. 형상 적응은 공간 예측 모드들로 예측되는 인트라 블록들에 대해 사용된다(그리고 교차-구성요소 예측 블록들에 대해 디스에이블됨).
일 예에서, MTS가 디스에이블되었을 때 인트라 블록 변환 코어 선택은 아래 공식들에 기초하여 수행된다. trTypeHor는 ISP 모드에 있어 현재 블록의 수평 방향에 대한 변환 코어를 표시하고, trTypeVer는 ISP 모드에 있어 현재 블록의 수직 방향에 대한 변환 코어를 표시하며, nTbW는 변환 블록 폭이고, nTbH는 변환 블록 높이이다.
블록은 먼저 특정 코딩 모드로 코딩되고, 블록은 코딩 블록으로 이름이 지정되고, 코딩 블록은 특정 예측 방법을 사용하여 예측될 수 있으며, 오리지널 샘플들과 예측된 샘플들 간의 차이는 잔차 신호로서 이름이 지정되고, 잔차 신호들은 추가로 변환된다는 것에 주의한다. 변환된 블록들은 변환 블록으로서 정의된다. 정상적인 경우들에서, 코딩 블록 크기들(즉, 코딩 블록 폭, 코딩 블록 높이)은 변환 블록 크기들(즉, 변환 블록 폭, 변환 블록 높이)과 동일하다. 코딩 블록 크기들이 변환 블록 크기들과 동일하지 않은 다음의 예시적인 경우들이 존재한다.
1. 코딩 블록 크기는 128x128이며, 이는 크기가 64x64인 4개의 변환 블록으로 암시적으로 분할된다.
2. 코딩 블록이 ISP 모드에 의해 코딩되는 경우, 다중 변환 블록들이 대응하는 코딩 블록으로부터 분할된다.
3. 코딩 블록이 SBT 모드에 의해 코딩되는 경우, 코딩 블록의 일부만 변환되어서, 변환 블록 크기는 코딩 블록 크기보다 작다.
공식들에 따르면, trTypeVer의 값이 0과 동일하거나 trTypeHor의 값이 0과 동일할 때, 변환 코어 DCT 2가 현재 블록에 대해 선택되고; trTypeVer의 값이 1과 동일하거나 trTypeHor의 값이 1과 동일할 때, 변환 코어 DST 7이 현재 블록에 대해 선택된다.
공식-1
공식-2
공식-1 및 공식-2에서 nTbW는 현재 변환 유닛 TU의 폭을 표시하고, nTbH는 현재 TU의 높이를 표시하고, nSbTbW는 ISP 분할로 인한 서브-TU의 폭을 표시하고, nSbTbH는 ISP 분할로 인한 서브-TU의 높이를 표시한다.
여기서, 크기 제한(4 및 16)은 루마 샘플들에 대해 사용되며, 블록은 루마 성분 및 크로마 성분을 가질 수 있다. 비디오 시퀀스가 크로마 서브샘플링되지 않은 경우, 루마 샘플 크기와 크로마 샘플 크기는 동일하다. 비디오 시퀀스가 크로마 서브샘플링되는 경우(예컨대, 4:2:0 비디오), 크로마 샘플 크기는 루마 샘플 크기를 2로 나눈 것과 동일하다. 일반적으로, 언급된 임계치는 항상 루마 샘플 크기이다.
일부 예들에서, ISP의 암시적 변환 코어 선택은 매우 복잡한 표를 가진 인트라 모드에 기초한다. 이 표는 또한 변환 코어 선택과 인트라 모드 사이에 종속성을 도입했다. 부가적으로, ISP의 암시적 변환 코어 선택 및 인트라 형상 적응형 방법은 조화(harmonize)되지 않는다.
다음 제안된 솔루션들은 ISP 암시적 변환 코어 선택 복잡도, 인트라 모드의 경우 ISP 변환 코어 선택 종속성, ISP 및 인트라 형상 적응형 암시적 변환 코어 선택 조화의 문제를 해결한다. 일부 실시예들에서, 이러한 솔루션들은 DST 7에 기초하고, DCT8 변환 코어들은 높은 레벨의 플래그 케이스에 의해 인에이블된다(sps_mts_enabled_flag의 값은 1과 동일함).
실시예에서,
솔루션 1 :
솔루션 1에 따르면, 형태 적응형 암시적 변환 코어 선택은 블록 폭 및 높이 제한을 갖는 ISP 모드를 사용함으로써 프로세싱된 인트라 블록에 의존하여 적용된다.
현재 인트라 블록이 ISP 모드를 사용함으로써 프로세싱되는 경우, 현재 블록의 선택된 변환 코어를 결정하기 위해 공식들 공식-1 및 공식-2가 사용된다. 여기에서 공식-1 및 공식-2의 활용은 MTS 모드가 인에이블되는지 또는 디스에이블되는지에 의존하지 않는다.
ISP 모드를 사용함으로써 프로세싱되지 않는 현재 인트라 블록에 대해, MTS가 시퀀스 레벨에서 인에이블되는 경우, 변환 코어는 MTS 인덱스에 기초하여 선택된다. 그렇지 않으면(MTS가 시퀀스 레벨에서 디스에이블되는 경우), 변환 코어는 공식-1 및 공식-2에 기초하여 선택된다.
이 제안된 솔루션은 ISP 및 인트라 형상 적응형 암시적 변환 코어 선택을 조화시킨다. 또한, 제안된 솔루션은 ISP 모드 암시적 변환 코어 선택 복잡도를 감소시키고 최악의 경우의 변경 없이 인트라 모드 종속성을 제거하였다.
일 예에서, DST 7의 계산이 DCT 2의 계산보다 복잡하기 때문에, 그에 대한 최악의 경우는 모든 ISP 블록이 수평 및 수직 변환 코어 둘 모두에 대해 DST 7을 사용하는 것이다. 제안된 방법은 ISP 암시적 변환 코어 선택의 최악의 경우를 변경하지 않는다.
다른 실시예에서,
솔루션 2 :
솔루션 2에 따르면, 서브-블록 폭 및 높이 제한을 갖는 ISP 모드를 사용함으로써 프로세싱된 인트라 블록에 의존하여, 형태 적응형 암시적 변환 코어 선택이 적용되며, 서브-블록은 ISP 분할에 기인한다.
현재 인트라 블록이 ISP 모드를 사용함으로써 프로세싱되는 경우, 현재 블록의 변환 코어를 결정하기 위해 공식들 공식-3 및 공식-4가 사용된다. 여기에서 공식-3 및 공식-4의 활용은 MTS 모드가 인에이블되는지 또는 디스에이블되는지에 의존하지 않는다. 공식-3 및 공식-4에서 nTbW는 현재 TU의 폭을 표시하고, nTbH는 현재 TU의 높이를 표시하고, nSbTbW는 ISP 분할로 인한 서브-TU의 폭을 표시하고, nSbTbH는 ISP 분할로 인한 서브-TU의 높이를 표시한다.
공식-3
공식-4
ISP 모드를 사용함으로써 프로세싱되지 않는 현재 인트라 블록에 대해, MTS가 시퀀스 레벨에서 인에이블되는 경우, 변환 코어는 MTS 인덱스에 기초하여 선택된다. MTS가 시퀀스 레벨에서 디스에이블되는 경우, 변환 코어는 공식-1 및 공식-2에 기초하여 선택된다.
이 제안된 솔루션은 ISP 및 인트라 형상 적응형 암시적 변환 코어 선택을 조화시킨다. 또한, 제안된 솔루션은 ISP 모드 암시적 변환 코어 선택 복잡도를 감소시키고 최악의 경우의 변경 없이 인트라 모드 종속성을 제거하였다.
일 예에서, DST 7의 계산이 DCT 2의 계산보다 복잡하기 때문에, 그에 대한 최악의 경우는 모든 ISP 블록이 수평 및 수직 변환 코어 둘 모두에 대해 DST 7을 사용하는 것이다. 제안된 방법은 ISP 암시적 변환 코어 선택의 최악의 경우를 변경하지 않는다.
다른 실시예에서,
솔루션 3
솔루션 3에 따르면, 크기 제한을 갖는 ISP 모드를 사용함으로써 프로세싱되는 인트라 블록에 대해 변환 코어 DST 7을 사용하는 것이 제안된다.
현재 인트라 블록이 ISP 모드를 사용함으로써 프로세싱되는 경우, 현재 블록의 변환 코어를 결정하기 위해 공식들 공식-5 및 공식-6가 사용된다. 여기에서 공식-5 및 공식-6의 활용은 MTS 모드가 인에이블되는지 또는 디스에이블되는지에 의존하지 않는다.
공식-5
공식-6
즉, 현재 블록이 ISP 모드를 사용하여 프로세싱되는 경우,
일 예에서, TU 폭이 루마 샘플들에서 4개 이상이고, TU 폭이 16개의 샘플들 이하인 경우, DST 7이 수평 방향에 대해 사용된다. 그렇지 않으면, DCT 2가 수평 방향에 대해 사용된다. 일 예에서, 비디오의 화상은 루마 성분(Y) 및 크로마 성분(Cb, Cr)을 갖는다. 크로마가 서브샘플링된 경우(예컨대, 4:2:0 비디오), 4개의 루마 샘플들은 2개의 크로마 샘플들에 대응한다.
일 예에서, TU 높이가 루마 샘플들에서 4개 이상이고, TU 높이가 루마 샘플들에서 16개 이하인 경우, DST 7이 수직 방향에 대해 사용된다. 그렇지 않으면, DCT 2가 수직 방향에 대해 사용된다.
ISP 모드를 사용함으로써 프로세싱되지 않는 현재 인트라 블록에 대해, MTS가 시퀀스 레벨에서 인에이블되는 경우, 변환 코어는 MTS 인덱스에 기초하여 선택된다. MTS가 시퀀스 레벨에서 디스에이블되는 경우, 변환 코어는 공식-1 및 공식-2에 기초하여 선택된다.
이 제안된 솔루 션은 ISP 모드 암시적 변환 코어 선택 복잡도를 감소시키고 최악의 경우의 변경 없이 인트라 모드 종속성을 제거하였다.
일 예에서, DST 7의 계산이 DCT 2의 계산보다 복잡하기 때문에, 그에 대한 최악의 경우는 모든 ISP 블록이 수평 및 수직 변환 코어 둘 모두에 대해 DST 7을 사용하는 것이다. 제안된 방법은 ISP 암시적 변환 코어 선택의 최악의 경우를 변경하지 않는다.
다른 실시예에서, 솔루션 4 :
솔루션 4에 따르면, 블록의 인트라 예측이 평면 모드를 사용하지 않을 때, ISP 모드를 사용함으로써 프로세싱되는 인트라 블록에 대한 TU 폭 및 높이에 의존하여, 형상 적응형 암시적 변환 코어 선택이 적용된다. 블록이 평면 인트라 예측 모드를 사용하여 예측되는 경우, 수평 및 수직 변환 코어들 둘 모두는 크기 제한을 갖는 DST 7을 사용한다.
일 예에서, 현재 인트라 블록이 ISP 모드를 사용함으로써 프로세싱되는 경우, 현재 인트라 블록의 인트라 예측 모드가 평면 모드가 아니면, 현재 블록의 변환 코어를 결정하기 위해 공식들 공식-1 및 공식-2가 사용된다. 공식-1 및 공식-2의 활용은 MTS 모드가 인에이블되는지 또는 디스에이블되는지에 의존하지 않는다.
일 예에서, 현재 인트라 블록이 ISP 모드를 사용함으로써 프로세싱되는 경우, 현재 인트라 블록의 인트라 예측 모드가 평면 모드이면, 현재 블록의 변환 코어를 결정하기 위해 공식들 공식-5 및 공식-6이 사용된다. 여기에서 공식-5 및 공식-6의 활용은 MTS 모드가 인에이블되는지 또는 디스에이블되는지에 의존하지 않는다.
ISP 모드를 사용함으로써 프로세싱되지 않는 현재 인트라 블록에 대해, MTS가 시퀀스 레벨에서 인에이블되는 경우, 변환 코어는 MTS 인덱스에 기초하여 선택된다. MTS가 시퀀스 레벨에서 디스에이블되는 경우, 변환 코어는 공식-1 및 공식-2에 기초하여 선택된다.
이 제안된 솔루션은 ISP 및 인트라 형상 적응형 암시적 변환 코어 선택을 조화시킨다. 또한, 이 솔루션은 최악의 경우의 변경 없이 ISP 모드 암시적 변환 코어 선택 복잡도를 감소시켰다.
일 예에서, DST 7의 계산이 DCT 2의 계산보다 복잡하기 때문에, 그에 대한 최악의 경우는 모든 ISP 블록이 수평 및 수직 변환 코어 둘 모두에 대해 DST 7을 사용하는 것이다. 제안된 방법은 ISP 암시적 변환 코어 선택의 최악의 경우를 변경하지 않는다.
다른 실시예에서,
솔루션 5 :
솔루션 5에 따르면, ISP 분할 방향에 기초하여 변환 코어를 선택하는 것이 제안된다.
일 예에서, 현재 인트라 블록이 ISP 모드를 사용함으로써 프로세싱되는 경우, 현재 인트라 블록의 인트라 예측 모드가 평면 모드가 아니면, 현재 블록의 변환 코어를 결정하기 위해 공식들 공식-7 및 공식-8이 사용된다. 여기에서 공식-7 및 공식-8의 활용은 MTS 모드가 인에이블되는지 또는 디스에이블되는지에 의존하지 않는다.
공식-7
공식-8
IntraSubPartitionsSplitType은 ISP 모드 유형을 표시하는 데 사용된다. 일부 예들에서, ISP 모드는 4개의 subTU로의 분할, 2개의 subTU로의 분할, 수평, 수직 또는 비분할 유형들을 포함할 수 있다.
ISP_VER_SPLIT는 수직 ISP 분할 모드를 표시하는데 사용되고; ISP_HOR_SPLIT는 수평 ISP 분할 모드를 표시하는 데 사용된다.
현재 인트라 블록이 수직 ISP 분할을 사용하고 블록 폭이 루마 샘플들에서 4개 이상이고 블록 높이가 루마 샘플들에서 16개 이하일 때, 수평 변환 코어(수평 방향에 대해 사용된 변환 코어)에 대해 DST 7가 선택된다. 그렇지 않으면, 수평 변환 코어에 대해 DCT 2가 선택된다.
일 예에서, 현재 인트라 블록이 수평 ISP 분할을 사용하고 블록 높이가 루마 샘플들에서 4개 이상이고 블록 높이가 루마 샘플들에서 16개 이하인 경우, 수직 변환 코어(수직 방향에 대해 사용된 변환 코어)에 대해 DST 7가 선택된다. 그렇지 않으면, 수직 변환 코어에 대해 DCT 2가 선택된다.
ISP 모드를 사용함으로써 프로세싱되지 않는 현재 인트라 블록에 대해, MTS가 시퀀스 레벨에서 인에이블되는 경우, 변환 코어는 MTS 인덱스에 기초하여 선택된다. MTS가 시퀀스 레벨에서 디스에이블되는 경우, 변환 코어는 공식-1 및 공식-2에 기초하여 선택된다.
이 제안된 솔루션은 ISP 모드 암시적 변환 코어 선택 복잡도를 감소시키고 최악의 경우의 변경 없이 인트라 모드 종속성을 제거하였다.
일 예에서, DST 7의 계산이 DCT 2의 계산보다 복잡하기 때문에, 그에 대한 종래 기술의 최악의 경우는 모든 ISP 블록이 수평 및 수직 변환 코어 둘 모두에 대해 DST 7을 사용하는 것이다. 제안된 방법은 ISP 암시적 변환 코어 선택의 최악의 경우를 변경하지 않는다.
다른 실시예에서,
솔루션 6
솔루션 6에 따르면, MTS가 인터 및 인트라 슬라이스 둘 모두에 대해 시퀀스 레벨에서 디스에이블될 때, 인트라 블록에 대해 DST 7 코어들만을 사용하는 것이 제안된다.
일 예에서, MTS가 인터 및 인트라 슬라이스 둘 모두에 대해 시퀀스 레벨에서 디스에이블되는 경우, 현재 인트라 블록의 폭이 4개의 샘플들 이상이고, 16개의 샘플들 이하일 때 수평 방향에 대해 DST 7이 사용되고, 그렇지 않으면, 공식-9에 설명된 바와 같이 DCT 2가 선택된다.
일 예에서, MTS가 인터 및 인트라 슬라이스 둘 모두에 대해 시퀀스 레벨에서 디스에이블되는 경우, 현재 인트라 블록의 높이가 4개의 샘플들 이상이고, 16개의 샘플들 이하일 때 수직 방향에 대해 DST 7이 사용되고, 그렇지 않으면, 공식-10에 설명된 바와 같이 DCT 2가 선택된다.
공식-9
공식-10
일 실시예에서, 제안된 솔루션 6은 솔루션 3과 조화되고, 부가적인 솔루션 6은 부가적인 복잡도 없이 부가적인 코딩 이득을 가져온다.
다른 실시예에서,
솔루션 7
솔루션 7에 따르면, MTS가 인터 및 인트라 슬라이스 둘 모두에 대해 시퀀스 레벨에서 디스에이블될 때, 인트라 블록에 대한 변환 코어를 선택하기 위해 형상 및 비율 적응형 방법을 사용하는 것이 제안된다.
예컨대, 높이 및 폭 둘 모두가 루마 샘플들에서 4개 이상이고 루마 샘플들에서 16개 이하인 인트라 블록에 대해, 인터 및 인트라 슬라이스 둘 모두에 대한 시퀀스 레벨에서 MTS가 디스에이블되는 경우(예컨대, nTbW <=16 && nTbW >=4 && nTbH <=16 && nTbH >=4),
(공식-11에서 계산되는) 현재 블록의 블록 폭과 높이의 비율의 값이 2 이하라면, 수평 및 수직 방향 둘 모두에 대해 DST 7이 사용되고;
그렇지 않으면(비율 값이 2 초과이면), 더 짧은 에지에 대해 변환 코어 DST 7이 사용되고 긴 에지에 대해 변환 코어 DCT 2가 사용된다. 예컨대, 블록이 폭 16 및 높이 4를 갖는 경우, 더 짧은 에지는 4이고 더 긴 에지는 16이다. 이 예에서, 높이 4(수직 방향)를 갖는 더 짧은 에지에 대해 변환 코어 DST 7 사용되고, 폭 16(수평 방향)을 갖는 더 긴 에지에 대해 변환 코어 DCT 2가 사용된다.
방법은 공식-11 및 공식-12에 따라 설명되며, 비율은 공식-13에 따라 계산되며, 여기서 log2()는 2에 기초한 로그 스케일링(logarithm scaling)이고 abs()는 절대 값 연산자이다.
공식-11
공식-12
공식-13.
일 실시예에서, 제안된 솔루션 6은 부가적인 복잡도 없이 부가적인 코딩 이득을 가져온다.
다른 실시예에서,
솔루션 8
솔루션 8에 따르면, 솔루션 7에서 블록 폭과 높이의 비율은 공식-14에 기초하여 계산될 수 있다.
비율 = 1 << abs(log2(폭)-log2(높이)) 공식-14.
여기서 "<<"는 좌측 비트 시프트 연산이고, log2()는 2에 기초한 로그 스케일링이고 abs()는 절대 값 연산이다.
즉, 폭이 높이보다 큰 경우, 비율은 폭/높이이고; 그렇지 않으면(폭이 높이 이하이면), 비율은 높이/폭이다.
솔루션 9
솔루션 9에 따르면, 솔루션 7 또는 솔루션 8이 솔루션 1, 2 및 4와 결합되어 형상 적응 부분을 솔루션 7 또는 솔루션 8에서 제안된 형상 비율 적응 방법으로 대체할 수 있다.
예 1. 디코딩 디바이스 또는 인코딩 디바이스에 의해 구현되는 코딩 방법은,
현재 블록의 예측 모드가 인트라 예측이고 현재 블록이 인트라 서브-파티션(ISP) 코딩 모드를 사용함으로써 프로세싱될 때,
현재 블록의 폭이 제1 임계치 이상인지 여부(일 예에서, 제1 임계치는 4이고, 제1 임계치에 대한 단위는 루마 샘플들임), 및 현재 블록의 폭이 제2 임계치 이하인지 여부(일 예에서, 제2 임계치는 16이고, 제2 임계치에 대한 단위는 루마 샘플들임)를 결정하는 단계를 포함하고,
현재 블록의 폭이 제1 임계치 이상이고 제2 임계치 이하일 때, 현재 블록의 수평 변환에 대해 변환 코어 DST 7이 사용된다.
예 2. 예 1의 방법에서, 현재 블록의 폭이 제1 임계치보다 작을 때, 또는 현재 블록의 폭이 제2 임계치보다 클 때,
현재 블록의 수평 변환에 대해 변환 코어 DCT 2가 사용된다.
예 3. 디코딩 디바이스 또는 인코딩 디바이스에 의해 구현되는 코딩 방법은,
현재 블록의 예측 모드가 인트라 예측이고 현재 블록이 인트라 서브-파티션(ISP) 코딩 모드를 사용함으로써 프로세싱될 때,
현재 블록의 높이가 제3 임계치 이상인지 여부(일 예에서, 제3 임계치는 4이고, 제3 임계치에 대한 단위는 루마 샘플들임), 및 현재 블록의 높이가 제4 임계치 이하인지 여부(일 예에서, 제4 임계치는 16이고, 제4 임계치에 대한 단위는 루마 샘플들임)를 결정하는 단계를 포함하고,
현재 블록의 높이가 제3 임계치 이상이고 제4 임계치 이하일 때, 현재 블록의 수직 변환에 대해 변환 코어 DST 7이 사용된다.
예 4. 예 3의 방법에서, 현재 블록의 높이가 제3 임계치보다 작을 때, 또는 현재 블록의 높이가 제4 임계치보다 클 때,
현재 블록의 수직 변환에 대해 변환 코어 DCT 2가 사용된다.
예 5. 디코딩 디바이스 또는 인코딩 디바이스에 의해 구현되는 코딩 방법은,
현재 블록에 대해 다중 변환 선택(MTS; Multiple Transform Selection) 방식이 이용 불가능할 때(예컨대, MTS가 인터 및 인트라 슬라이스 둘 모두에 대해 시퀀스 레벨에서 턴 오프됨(turned off)),
현재 블록의 폭이 제1 임계치 이상인지 여부(일 예에서, 제1 임계치는 4이고, 제1 임계치에 대한 단위는 루마 샘플들임), 및 현재 블록의 폭이 제2 임계치 이하인지 여부(일 예에서, 제2 임계치는 16이고, 제2 임계치에 대한 단위는 루마 샘플들임)를 결정하는 단계를 포함하고,
현재 블록의 폭이 제1 임계치 이상이고 제2 임계치 이하일 때, 현재 블록의 수평 변환에 대해 변환 코어 DST 7이 사용된다.
예 6. 예 5의 방법에서, 현재 블록의 폭이 제1 임계치보다 작을 때, 또는 현재 블록의 폭이 제2 임계치보다 클 때,
현재 블록의 수평 변환에 대해 변환 코어 DCT 2가 사용된다.
예 7. 디코딩 디바이스 또는 인코딩 디바이스에 의해 구현되는 코딩 방법은,
현재 블록에 대해 다중 변환 선택(MTS; Multiple Transform Selection) 방식이 이용 불가능할 때(예컨대, MTS가 인터 및 인트라 슬라이스 둘 모두에 대해 시퀀스 레벨에서 턴 오프됨),
현재 블록의 높이가 제3 임계치 이상인지 여부(일 예에서, 제3 임계치는 4이고, 제3 임계치에 대한 단위는 루마 샘플들임), 및 현재 블록의 높이가 제4 임계치 이하인지 여부(일 예에서, 제4 임계치는 16이고, 제4 임계치에 대한 단위는 루마 샘플들임)를 결정하는 단계를 포함하고,
현재 블록의 높이가 제3 임계치 이상이고 제4 임계치 이하일 때, 현재 블록의 수직 변환에 대해 변환 코어 DST 7이 사용된다.
예 8. 예 7의 방법에서, 현재 블록의 높이가 제3 임계치보다 작을 때, 또는 현재 블록의 높이가 제4 임계치보다 클 때,
현재 블록의 수직 변환에 대해 변환 코어 DCT 2가 사용된다.
예 9. 디코딩 디바이스 또는 인코딩 디바이스에 의해 구현되는 코딩 방법은,
일 때, 현재 블록에 대해 다중 변환 선택(MTS) 방식이 이용 불가능하고(예컨대, MTS가 인터 및 인트라 슬라이스 둘 모두에 대해 시퀀스 레벨에서 턴 오프됨), 현재 블록의 폭이 제1 임계치 이상이고(일 예에서, 제1 임계치는 4이고, 제1 임계치에 대한 단위는 루마 샘플들임), 제2 임계치 이하이고(일 예에서, 제2 임계치는 16이고, 제2 임계치에 대한 단위는 루마 샘플들임),
현재 블록의 높이가 제3 임계치 이상이고(일 예에서, 제3 임계치는 4이고, 제3 임계치에 대한 단위는 루마 샘플들임), 제4 임계치 이하일 때(일 예에서, 제4 임계치는 16이고, 제4 임계치에 대한 단위는 루마 샘플들임),
현재 블록에 대응하는 블록 폭과 높이의 비율 값이 제5 임계치(일 예에서, 제5 임계치는 2임)보다 큰지 여부를 결정하는 단계를 포함하고,
블록 폭 및 높이의 비율의 값이 제5 임계치 이하일 때,
현재 블록의 수평 및 수직 변환을 위해 변환 코어 DST 7이 사용된다.
예 10. 예 9의 방법에서, 블록 폭 및 높이의 비율의 값이 제5 임계치보다 크고 블록의 폭이 블록의 높이보다 작을 때,
현재 블록의 수평 변환을 위해 변환 코어 DST 7이 사용되고 현재 블록의 수직 변환을 위해 변환 코어 DCT 2가 사용된다.
예 11. 예 9 또는 10의 방법에서, 블록 폭 및 높이의 비율의 값이 제5 임계치보다 크고 블록의 폭이 블록의 높이보다 클 때,
현재 블록의 수평 변환을 위해 변환 코어 DCT 2가 사용되고 현재 블록의 수직 변환을 위해 변환 코어 DST 7이 사용된다.
예 12. 예들 1 내지 11 중 임의의 하나에 따른 방법을 수행하기 위한 프로세싱 회로를 포함하는 인코더(20).
예 13. 예들 1 내지 11 중 임의의 하나에 따른 방법을 수행하기 위한 프로세싱 회로를 포함하는 디코더(30).
예 14. 예들 1 내지 11 중 임의의 하나에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품.
예 15. 디코더 또는 인코더는,
하나 이상의 프로세서들; 및
프로세서들에 커플링되고 프로세서들에 의한 실행을 위한 프로그래밍을 저장하는 비-일시적 컴퓨터-판독 가능 저장 매체를 포함하고, 프로그래밍은 프로세서들에 의해 실행될 때, 예들 1 내지 11 중 임의의 하나에 따른 방법을 수행하도록 디코더를 구성한다.
위에서 언급된 실시예들에서 도시된 바와 같은 인코딩 방법 및 디코딩 방법, 및 이들을 이용하는 시스템의 응용들의 설명이 이어진다.
도 8은 콘텐츠 분배 서비스를 실현하기 위한 콘텐츠 공급 시스템(3100)을 도시하는 블록도이다. 이 콘텐츠 공급 시스템(3100)은 캡처 디바이스(3102), 단말 디바이스(3106)를 포함하고 선택적으로 디스플레이(3126)를 포함한다. 캡처 디바이스(3102)는 통신 링크(3104)를 통해 단말 디바이스(3106)와 통신한다. 통신 링크는 위에서 설명된 통신 채널(13)을 포함할 수 있다. 통신 링크(3104)는 WIFI, 이더넷, 케이블, 무선(3G/4G/5G), USB 또는 이들의 임의의 종류의 조합 등을 포함(그러나 이에 제한되지 않음)한다.
캡처 디바이스(3102)는 데이터를 생성하고, 위의 실시예들에서 도시된 바와 같은 인코딩 방법에 의해 데이터를 인코딩할 수 있다. 대안적으로, 캡처 디바이스(3102)는 데이터를 스트리밍 서버(도면들에서 도시되지 않음)에 분배할 수 있고, 서버는 데이터를 인코딩하고 인코딩된 데이터를 단말 디바이스(3106)에 송신한다. 캡처 디바이스(3102)는 카메라, 스마트 폰 또는 패드, 컴퓨터 또는 랩톱, 비디오 컨퍼런스 시스템, PDA, 차량 탑재 디바이스 또는 이들 중 임의의 것의 조합 등을 포함(그러나 이에 제한되지 않음)한다. 예컨대, 캡처 디바이스(3102)는 위에서 설명된 바와 같이 소스 디바이스(12)를 포함할 수 있다. 데이터가 비디오를 포함할 때, 캡처 디바이스(3102)에 포함된 비디오 인코더(20)는 실제로 비디오 인코딩 프로세싱을 수행할 수 있다. 데이터가 오디오(즉, 음성)를 포함할 때, 캡처 디바이스(3102)에 포함된 오디오 인코더는 실제로 오디오 인코딩 프로세싱을 수행할 수 있다. 일부 실제 시나리오들의 경우, 캡처 디바이스(3102)는 인코딩된 비디오 및 오디오 데이터를 함께 멀티플렉싱함으로써 이들을 분배한다. 다른 실제 시나리오들의 경우, 예컨대, 비디오 컨퍼런스 시스템에서, 인코딩된 오디오 데이터 및 인코딩된 비디오 데이터는 멀티플렉싱되지 않는다. 캡처 디바이스(3102)는 인코딩된 오디오 데이터 및 인코딩된 비디오 데이터를 단말 디바이스(3106)에 별개로 분배한다.
콘텐츠 공급 시스템(3100)에서, 단말 디바이스(310)는 인코딩된 데이터를 수신 및 재생한다. 단말 디바이스(3106)는 데이터 수신 및 복원 능력을 갖는 디바이스, 이를테면, 스마트 폰 또는 패드(3108), 컴퓨터 또는 랩톱(3110), 네트워크 비디오 레코더(NVR)/디지털 비디오 레코더(DVR)(3112), TV(3114), 셋톱박스(STB)(3116), 비디오 컨퍼런스 시스템(3118), 비디오 감시 시스템(3120), 개인용 디지털 보조기기(PDA)(3122), 차량 탑재 디바이스(3124), 또는 위에서 언급된 인코딩된 데이터를 디코딩할 수 있는 이들의 임의의 것의 조합 등일 수 있다. 예컨대, 단말 디바이스(3106)는 위에서 설명된 바와 같은 목적지 디바이스(14)를 포함할 수 있다. 인코딩된 데이터가 비디오를 포함할 때, 단말 디바이스에 포함된 비디오 디코더(30)가 우선시되어 비디오 디코딩을 수행한다. 인코딩된 데이터가 오디오를 포함할 때, 단말 디바이스에 포함된 오디오 디코더가 우선시되어 오디오 디코딩 프로세싱을 수행한다.
자신의 디스플레이를 갖는 단말 디바이스, 예컨대, 스마트 폰 또는 패드(3108), 컴퓨터 또는 랩톱(3110), 네트워크 비디오 레코더(NVR)/디지털 비디오 레코더(DVR)(3112), TV(3114), 개인용 디지털 보조기기(PDA)(3122) 또는 차량 탑재 디바이스(3124)의 경우, 단말 디바이스는 디코딩된 데이터를 자신의 디스플레이에 공급할 수 있다. 디스플레이가 장착되지 않은 단말 디바이스 예컨대, STB(3116), 비디오 컨퍼런스 시스템(3118) 또는 비디오 감시 시스템(3120)의 경우, 외부 디스플레이(3126)가 디코딩된 데이터를 수신하고 보여주도록 내부에서 접촉된다.
본 시스템의 각각의 디바이스가 인코딩 또는 디코딩을 수행할 때, 위에서 언급된 실시예들에서 도시된 바와 같이 화상 인코딩 디바이스 또는 화상 디코딩 디바이스가 사용될 수 있다.
도 9는 단말 디바이스(3106)의 일 예의 구조를 도시하는 도면이다. 단말 디바이스(3106)가 캡처 디바이스(3102)로부터 스트림을 수신한 후, 프로토콜 진행 유닛(3202)은 스트림의 송신 프로토콜을 분석한다. 프로토콜은 RTSP(Real Time Streaming Protocol), HTTP(Hyper Text Transfer Protocol), HLS(HTTP Live Streaming Protocol), MPEG-DASH, RTP(Real-time Transport Protocol), RTMP(Real Time Messaging Protocol), 또는 이들의 임의의 종류의 조합 등을 포함(그러나 이에 제한되지 않음)한다.
프로토콜 진행 유닛(3202)이 스트림을 프로세싱한 후, 스트림 파일이 생성된다. 파일은 디멀티플렉싱 유닛(3204)으로 출력된다. 디멀티플렉싱 유닛(3204)은 멀티플렉싱된 데이터를 인코딩된 오디오 데이터 및 인코딩된 비디오 데이터로 분리할 수 있다. 위에서 설명한 바와 같이, 일부 실제 시나리오들의 경우, 예컨대, 비디오 컨퍼런스 시스템에서, 인코딩된 오디오 데이터 및 인코딩된 비디오 데이터는 멀티플렉싱되지 않는다. 이러한 상황에서, 인코딩된 데이터는 디멀티플렉싱 유닛(3204)을 통하지 않고 비디오 디코더(3206) 및 오디오 디코더(3208)로 송신된다.
디멀티플렉싱 프로세싱을 통해, 비디오 기본 스트림(ES; Elementary Stream), 오디오 ES 및 선택적으로 자막이 생성된다. 위에서 언급된 실시예들에서 설명된 바와 같은 비디오 디코더(30)를 포함하는 비디오 디코더(3206)는 위에서 언급된 실시예들에서 도시된 바와 같은 디코딩 방법에 의해 비디오 ES를 디코딩하여 비디오 프레임을 생성하고, 이 데이터를 동기 유닛(3212)에 공급한다. 오디오 디코더(3208)는 오디오 ES를 디코딩하여 오디오 프레임을 생성하고, 이 데이터를 동기 유닛(3212)에 공급한다. 대안적으로, 비디오 프레임은 동기 유닛(3212)에 공급되기 전에 버퍼(도 9에 도시되지 않음)에 저장될 수 있다. 유사하게, 오디오 프레임은 동기 유닛(3212)에 공급되기 전에 버퍼(도 9에 도시되지 않음)에 저장될 수 있다.
동기 유닛(3212)은 비디오 프레임 및 오디오 프레임을 동기화하고 비디오/오디오 디스플레이(3214)에 비디오/오디오를 공급한다. 예컨대, 동기 유닛(3212)은 비디오 및 오디오 정보의 프리젠테이션을 동기화한다. 정보는 코딩된 시청각 데이터의 프리젠테이션에 관한 타임 스탬프들 및 데이터 스트림 그 자체의 전달에 관한 타임 스탬프들을 사용하여 신택스에 코딩될 수 있다.
스트림에 자막이 포함된 경우, 자막 디코더(3210)는 자막을 디코딩하여 이를 비디오 프레임 및 오디오 프레임과 동기화하고, 비디오/오디오/자막 디스플레이(3216)에 비디오/오디오/자막을 제공한다.
본 발명은 위에서 언급된 시스템으로 제한되지 않고, 위에서 언급된 실시예들에서의 화상 인코딩 디바이스 또는 화상 디코딩 디바이스는 다른 시스템, 예컨대, 자동차 시스템에 통합될 수 있다.
수학 연산자들
본 출원에서 사용되는 수학 연산자들은 C 프로그래밍 언어에서 사용되는 연산자들과 유사하다. 그러나 정수 나눗셈(integer division) 및 산술 시프트 연산들의 결과들이 더 정밀하게 정의되고 지수 및 실수 나눗셈과 같은 부가적인 연산들이 정의된다. 넘버링 및 카운팅 규칙들은 일반적으로 0으로부터 시작하는데, 예컨대, "제1"은 0-번째에 상응하고 "제2"는 1-번째에 상응하는 식이다.
산술 연산자들
다음의 산술 연산자들은 다음과 같이 정의된다:
+
덧셈
-
뺄셈(2-인수 연산자로서) 또는 부정(negation)(단일 전위 연산자)
*
행렬 곱셈을 포함한 곱셈
xy
지수. x의 y 거듭제곱을 특정한다. 다른 맥락들에서, 그러한 표기법의 사용은 위첨자가 지수로서의 해석으로 의도되지 않는다.
/
결과를 0으로 만드는 트렁케이션(truncation)을 하는 정수 나눗셈. 예컨대, 7/4 및 -7/-4는 1로 트렁케이트되고 7/4 및 7/4는 -1로 트렁케이트된다.
÷
수학 공식들에서 나눗셈을 나타내는 데 사용되며, 여기서 트렁케이션 또는 반올림이 의도되지 않는다.
수학 공식들에서 나눗셈을 나타내는 데 사용되며, 여기서 트렁케이션 또는 반올림이 의도되지 않는다.
i가 x로부터 y(y를 포함함)까지의 모든 정수 값을 취하는 f(i)의 합계이다.
x % y
모듈러스. x >= 0 및 y > 0인 경우에, 정수들 x 및 y에 대해서만 정의되는, x를 y로 나눈 것의 나머지이다.
논리 연산자들
다음 논리 연산자들은 다음과 같이 정의된다:
x && y
x 및 y의 부울 논리(Boolean logical) "and"
x || y
x 및 y의 부울 논리 "or"
!
부울 논리 "not"
x ? y : z
x가 참(TRUE)이거나 0이 아닌 경우, y 값으로 평가되고, 그렇지 않으면, z 값으로 평가된다.
관계 연산자들
다음 관계 연산자들은 다음과 같이 정의된다:
>
초과
>=
이상
<
미만
<=
이하
==
동일함
!=
동일하지 않음
관계 연산자가 값 "na"(해당 없음)이 지정된 신택스 요소 또는 변수에 적용될 때, 값 "na"는 신택스 요소 또는 변수에 대한 고유 값으로 취급된다. 값 "na"는 어떠한 다른 값과도 동일하지 않은 것으로 간주된다.
비트-단위 연산자(bit-wise operator)들
다음 비트-단위 연산자들은 다음과 같이 정의된다:
&
비트-단위(Bit-wise) "and". 정수 인수들에 대해서 연산될 때, 정수 값의 2의 보수 표현에 대해 연산한다. 다른 인수보다 적은 비트들을 포함하는 이진 인수에 대해 연산될 때, 더 짧은 인수는 0과 동일한 더 많은 유효 비트(significant bit)들을 추가함으로써 확장된다.
|
비트-단위 "or". 정수 인수들에 대해서 연산될 때, 정수 값의 2의 보수 표현에 대해 연산한다. 다른 인수보다 적은 비트들을 포함하는 이진 인수에 대해 연산될 때, 더 짧은 인수는 0과 동일한 더 많은 중요 비트들을 추가함으로써 확장된다.
^
비트-단위 "배타적 or". 정수 인수들에 대해서 연산될 때, 정수 값의 2의 보수 표현에 대해 연산한다. 다른 인수보다 적은 비트들을 포함하는 이진 인수에 대해 연산될 때, 더 짧은 인수는 0과 동일한 더 많은 유효 비트들을 추가함으로써 확장된다.
x >> y
y 이진수들 만큼 x의 2의 보수 정수 표현의 산술 우측 시프트. 이 함수는 y의 음이 아닌 정수 값들에 대해서만 정의된다. 우측 시프트의 결과로서 최상위 비트(MSB)들로 시프트된 비트들은 시프트 연산 이전의 x의 MSB와 동일한 값을 갖는다.
x << y
y 이진수들 만큼 x의 2의 보수 정수 표현의 산술 좌측 시프트. 이 함수는 y의 음이 아닌 정수 값들에 대해서만 정의된다. 좌측 시프트의 결과로서 최하위 비트(LSB)로 시프트된 비트들은 0과 동일한 값을 갖는다.
지정 연산자들
다음의 산술 연산자들은 다음과 같이 정의된다:
=
지정 연산자
++
증가, 즉, x++는 x = x + 1과 동일하고; 어레이 인덱스에서 사용될 때, 증가 연산 이전에 변수 값으로 평가된다.
--
감소, 즉 x-- 는 x = x - 1과 동일하고; 어레이 인덱스에서 사용될 때, 감소 연산 이전의 변수의 값으로 평가된다.
+=
특정된 양만큼 증가, 즉 x += 3은 x = x + 3과 동일하며, x += (-3)은 x = x + (-3)에 상당하다.
-=
특정된 양만큼 감소, 즉 x -= 3은 x = x - 3과 동일하며, x -= (-3)은 x = x-(-3)에 상당하다.
범위 표기법
다음 표기법은 값들의 범위를 특정하는 데 사용된다.
x = y..z
x는 y로부터 z(z를 포함함)까지의 정수 값들을 취하며, x, y 및 z는 정수들이고 z는 y를 초과한다.
수학 함수들
다음 수학 함수들이 정의된다:
Asin(x)
-1.0 내지 1.0(1.0을 포함함) 범위에 있는 인수 x에 대해 연산하는 삼각 역사인 함수이며, 출력 값은 라디안 단위들로 -π÷2 내지 π÷2(π÷2를 포함함)의 범위에 있다.
Atan(x)
인수 x에 대해 연산하는 삼각 역탄젠트 함수이며, 출력 값은 라디안 단위들로 -π÷2 내지 π÷2(π÷2를 포함함)의 범위에 있다.
Ceil(x)
x 이상의 최소 정수
Cos(x)
라디안 단위들로 인수 x에 대해 연산하는 삼각 코사인 함수.
Floor(x)
x 이하의 최대 정수.
Ln(x)
x의 자연 로그(베이스-e 로그 여기서 e는 자연 로그 기본 상수 2.718 281 828...임).
Log2(x)
x의 베이스-2 로그이다.
Log10(x)
x의 베이스-10 로그이다.
Sin(x)
라디안 단위들로 인수 x에 대해 연산하는 삼각 사인 함수
Tan(x)
라디안 단위들로 인수 x에 대해 연산하는 삼각 탄젠트 함수
연산 우선 순위
표현에서 우선 순위가 괄호들을 사용하여 명시적으로 표시되지 않는 경우 다음 규칙들이 적용된다:
- 더 높은 우선 순위의 연산들이 더 낮은 우선 순위의 임의의 연산에 앞서 평가된다.
- 동일한 우선 순위의 연산들은 좌측으로부터 우측으로 순차적으로 평가된다.
아래의 표는 가장 높은 것으로부터 가장 낮은 것으로 연산들의 우선 순위를 특정하고; 표에서 더 높은 포지션은 더 높은 우선 순위를 표시한다.
C 프로그래밍 언어에서 또한 사용되는 연산자들에 대해, 본 출원에서 사용되는 우선 순위는 C 프로그래밍 언어에서 사용되는 것과 동일하다.
표: 가장 높은 것(표 상단)으로부터 가장 낮은 것(표 하단)까지의 연산 우선 순위
논리 연산들의 텍스트 설명
텍스트에서, 논리 연산들의 설명은 다음의 형식으로 수학적으로 설명될 것이다:
는 다음의 방식으로 설명될 수 있다:
텍스트의 각각의 "If ... Otherwise, if ... Otherwise, ..." 스테이트먼트는 "If ..."가 바로 뒤따르는 "... as follows" 또는 "... the following applies"인 것으로 소개된다. "If ... Otherwise, if ... Otherwise, ..."의 마지막 조건은 항상 "Otherwise, ..."이다. 인터리빙된 "If ... Otherwise, if ... Otherwise, ..." 스테이트먼트들은, "... as follows" 또는 "... the following applies"를 끝나는 "Otherwise, ..."와 매칭함으로써 식별될 수 있다.
텍스트에서, 논리 연산들의 설명은 다음의 형식으로 수학적으로 설명될 것이다:
는 다음의 방식으로 설명될 수 있다:
텍스트에서, 논리 연산들의 설명은 다음의 형식으로 수학적으로 설명될 것이다:
다음의 방식으로 설명될 수 있다:
condition 0일 때, statement 0
condition 1일 때, statement 1.
본 발명의 실시예들은 주로 비디오 코딩에 기초하여 설명되었지만, 코딩 시스템(10), 인코더(20) 및 디코더(30)(및 이에 상응하게, 시스템(10))의 실시예들 및 본원에서 설명된 다른 실시예들은 또한 정지 화상 프로세싱 또는 코딩, 즉 비디오 코딩에서와 같이 임의의 선행 또는 연속 화상에 독립적인 개별 화상의 프로세싱 또는 코딩을 위해 구성될 수 있다. 일반적으로, 화상 프로세싱 코딩이 단일 화상(17)으로 제한되는 경우에, 인터-예측 유닛들(244(인코더) 및 344(디코더))만이 이용 가능하지 않을 수 있다. 비디오 인코더(20) 및 비디오 디코더(30)의 다른 모든 기능들(툴들 또는 기술들로서 또한 지칭됨)은 정지 화상 프로세싱, 예컨대, 잔차 계산(204/304), 변환(206), 양자화(208), 역 양자화(210/310), (역) 변환(212/312), 파티셔닝(262/362), 인트라-예측(254/354), 및/또는 루프 필터링(220, 320), 및 엔트로피 코딩(270) 및 엔트로피 디코딩(304)에 대해 동일하게 사용될 수 있다.
예컨대, 인코더(20) 및 디코더(30)의 실시예들, 및 예컨대, 인코더(20) 및 디코더(30)를 참조하여 본원에서 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기능들은 컴퓨터-판독 가능 매체 상에 저장되거나 하나 이상의 명령들 또는 코드로서 통신 매체들을 통해 송신되고 하드웨어-기반 프로세싱 유닛에 의해 실행될 수 있다. 컴퓨터-판독 가능 매체들은, 데이터 저장 매체와 같은 형태가 있는(tangible) 매체에 대응하는 컴퓨터-판독 가능 저장 매체들, 또는 예컨대, 통신 프로토콜에 따라 일 장소에서 다른 장소로의 컴퓨터 프로그램의 전달을 용이하게 하는 임의의 매체를 포함하는 통신 매체들을 포함할 수 있다. 이러한 방식에서, 컴퓨터-판독 가능 매체들은 일반적으로, (1) 비-일시적인 형태가 있는 컴퓨터-판독 가능 저장 매체들, 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체들은, 본 개시내용에서 설명된 기술들의 구현을 위한 명령들, 코드, 및/또는 데이터 구조들을 취득하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용 가능한 매체들일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터-판독 가능 매체를 포함할 수 있다.
제한이 아닌 예로서, 그러한 컴퓨터-판독 가능 저장 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장소, 자기 디스크 저장, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 연결수단(connection)이 컴퓨터-판독 가능 매체로 적절히 지칭된다. 예컨대, 명령들이 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 라인(DSL), 또는 적외선, 라디오 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버 또는 다른 원격 소스로부터 송신된다면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 라디오 및 마이크로파와 같은 무선 기술들이 매체의 정의에 포함된다. 그러나, 컴퓨터-판독 가능 저장 매체들 및 데이터 저장 매체들이 연결들, 반송파들, 신호들, 또는 다른 일시적 매체들을 포함하는 것이 아니라, 대신에 비-일시적인 유형의 저장 매체들에 관한 것임이 이해되어야 한다. 본 명세서에서 사용된 바와 같이, 디스크(disk) 및 디스크(disc)는 콤팩트 디스크(disc)(CD), 레이저 디스크(disc), 광학 디스크(disc), 디지털 다기능 디스크(digital versatile disc)(DVD), 플로피 디스크(disk) 및 블루-레이 디스크(disc)를 포함하며, 여기서 디스크(disk)들은 일반적으로 데이터를 자기적으로 재생하지만, 디스크(disc)들은 레이저를 이용하여 광학적으로 데이터를 재생한다. 위의 것들의 결합들이 또한 컴퓨터-판독 가능 매체들의 범위 내에 포함되어야 한다.
명령들은, 하나 이상의 디지털 신호 프로세서(DSP)들, 범용 마이크로프로세서들, 주문형 집적 회로(ASIC)들, 필드 프로그래밍 가능 로직 어레이(FPGA)들, 또는 다른 등가의 집적 또는 이산 로직 회로와 같은 하나 이상의 프로세서들에 의해 실행될 수 있다. 따라서, 본 명세서에서 사용된 바와 같이, "프로세서"라는 용어는, 본원에서 설명된 기술들의 구현에 적합한 전술한 구조 또는 임의의 다른 구조 중 임의의 구조를 지칭할 수 있다. 부가적으로, 몇몇 양상들에서, 본원에서 설명된 기능은, 인코딩 및 디코딩을 위해 구성된 전용 하드웨어 및/또는 소프트웨어 모듈들 내에서 제공되거나, 결합된 코덱으로 포함될 수 있다. 또한, 기술들은 하나 이상의 회로들 또는 로직 엘리먼트들로 완전히 구현될 수 있다.
본 개시내용의 기술들은, 무선 핸드셋, 집적 회로(IC) 또는 IC들의 세트(예컨대, 칩셋)를 포함하는 광범위하게 다양한 디바이스들 또는 장치들에서 구현될 수 있다. 다양한 구성요소들, 모듈들, 또는 유닛들은 개시된 기술들을 수행하도록 구성된 디바이스들의 기능적 양상들을 강조하도록 본 개시내용에서 설명되지만, 반드시 상이한 하드웨어 유닛들에 의한 실현을 요구하는 것은 아니다. 오히려, 위에서 설명된 바와 같이, 다양한 유닛들이 적절한 소프트웨어 및/또는 펌웨어와 함께, 위에서 설명된 바와 같은 하나 이상의 프로세서들을 포함하는 연동 하드웨어 유닛들의 집합에 의해 제공되거나 코덱 하드웨어 유닛으로 결합될 수 있다.
Claims (10)
- 코딩 디바이스에 의해 구현되는 코딩 방법으로서,
현재 코딩 블록의 예측 모드 및 상기 현재 코딩 블록이 인트라 서브-파티션(Intra sub-partition; ISP) 코딩 모드를 사용함으로써 프로세싱되는지 여부를 결정하는 단계와,
상기 현재 코딩 블록의 예측 모드가 인트라 예측(intra prediction)이고 상기 현재 코딩 블록이 인트라 서브-파티션(Intra sub-partition; ISP) 코딩 모드를 사용함으로써 프로세싱되는 경우, 현재 변환 블록의 크기를 결정하는 단계와,
상기 현재 변환 블록의 크기가 미리 설정된 범위내인 경우, 상기 현재 변환 블록에 변환 프로세스를 수행하는 단계 - 이산 사인 변환 VII (DST 7)이 수평 또는 수직 변환 코어로 선택됨 - 를 포함하는
코딩 디바이스에 의해 구현되는 코딩 방법. - 제1 항에 있어서,
상기 현재 변환 블록의 크기는 폭 또는 높이를 포함하는
코딩 디바이스에 의해 구현되는 코딩 방법. - 제1 항 또는 제2 항에 있어서,
상기 미리 설정된 범위는 4와 16의 사이인
코딩 디바이스에 의해 구현되는 코딩 방법. - 제1 항 내지 제3 항 중 어느 한 항에 있어서,
상기 현재 변환 블록의 폭이 4와 16의 사이인 경우, 상기 현재 변환 블록에 변환 프로세스를 수행하며, 이산 사인 변환 VII (DST 7)이 수평 변환 코어로 선택되는,
코딩 디바이스에 의해 구현되는 코딩 방법. - 제1 항 내지 제4 항 중 어느 한 항에 있어서,
상기 현재 변환 블록의 높이가 4와 16의 사이인 경우, 상기 현재 변환 블록에 변환 프로세스를 수행하며, 이산 사인 변환 VII (DST 7)이 수직 변환 코어로 선택되는,
코딩 디바이스에 의해 구현되는 코딩 방법. - 제1 항 내지 제5 항 중 어느 한 항에 있어서,
상기 현재 변환 블록의 크기가 상기 미리 설정된 범위에 속하지 않는 경우, 상기 현재 변환 블록에 변환 프로세스를 수행하며, 이산 코사인 변환 II (DCT 2)이 수평 또는 수직 변환 코어로 선택되는,
코딩 디바이스에 의해 구현되는 코딩 방법. - 제1 항 내지 제5 항 중 어느 한 항에 있어서,
상기 방법은 상기 현재 코딩 블록에 대한 신택스(syntax)의 값을 획득하는 단계를 더 포함하고,
상기 현재 코딩 블록에 대한 신택스의 값은 상기 현재 코딩 블록의 예측 모드가 인트라 예측임을 표시하는 데 사용되는,
코딩 디바이스에 의해 구현되는 코딩 방법. - 제1 항 내지 제7 항 중 어느 한 항에 따른 방법을 수행하기 위한 프로세싱 회로를 포함하는 디코더(30).
- 컴퓨터 판독 가능 기록 매체에 기록된 프로그램으로서,
상기 컴퓨터 판독가능 기록 매체는 제1 항 내지 제7 항 중 어느 한 항에 따른 방법을 수행함에 의하여 획득되는 비디오 비트스트림을 저장하는
프로그램. - 인코더로서,
하나 이상의 프로세서들; 및
상기 프로세서들에 커플링되고 상기 프로세서들에 의한 실행을 위한 컴퓨터 프로그램을 저장하는 비-일시적 컴퓨터-판독 가능 저장 매체를 포함하고,
상기 컴퓨터 프로그램은 상기 프로세서들에 의해 실행될 때, 제1 항 내지 제7 항 중 어느 한 항에 따른 방법을 수행하도록 상기 디코더를 구성하는,
인코더.
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962813136P | 2019-03-03 | 2019-03-03 | |
| US62/813,136 | 2019-03-03 | ||
| US201962815293P | 2019-03-07 | 2019-03-07 | |
| US62/815,293 | 2019-03-07 | ||
| KR1020227041530A KR102657540B1 (ko) | 2019-03-03 | 2020-02-12 | 변환 프로세스를 위해 사용되는 인코더, 디코더 및 대응하는 방법 |
| PCT/CN2020/074780 WO2020177509A1 (en) | 2019-03-03 | 2020-02-12 | An encoder, a decoder, and corresponding methods that are used for transform process |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227041530A Division KR102657540B1 (ko) | 2019-03-03 | 2020-02-12 | 변환 프로세스를 위해 사용되는 인코더, 디코더 및 대응하는 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240052873A true KR20240052873A (ko) | 2024-04-23 |
Family
ID=72337366
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247011932A KR20240052873A (ko) | 2019-03-03 | 2020-02-12 | 변환 프로세스를 위해 사용되는 인코더, 디코더 및 대응하는 방법 |
| KR1020207035640A KR102475963B1 (ko) | 2019-03-03 | 2020-02-12 | 변환 프로세스를 위해 사용되는 인코더, 디코더 및 대응하는 방법 |
| KR1020227041530A KR102657540B1 (ko) | 2019-03-03 | 2020-02-12 | 변환 프로세스를 위해 사용되는 인코더, 디코더 및 대응하는 방법 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207035640A KR102475963B1 (ko) | 2019-03-03 | 2020-02-12 | 변환 프로세스를 위해 사용되는 인코더, 디코더 및 대응하는 방법 |
| KR1020227041530A KR102657540B1 (ko) | 2019-03-03 | 2020-02-12 | 변환 프로세스를 위해 사용되는 인코더, 디코더 및 대응하는 방법 |
Country Status (11)
| Country | Link |
|---|---|
| US (2) | US12047570B2 (ko) |
| EP (1) | EP3903498A4 (ko) |
| JP (2) | JP7106689B2 (ko) |
| KR (3) | KR20240052873A (ko) |
| CN (4) | CN113727120B (ko) |
| AU (2) | AU2020233004B2 (ko) |
| BR (1) | BR112020024331A2 (ko) |
| CA (1) | CA3131288A1 (ko) |
| CL (2) | CL2021002295A1 (ko) |
| MX (1) | MX2020014019A (ko) |
| WO (1) | WO2020177509A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110392256B (zh) * | 2019-03-09 | 2020-12-11 | 杭州海康威视数字技术股份有限公司 | 进行编码和解码的方法、编码端、解码端和系统 |
| CN116112689A (zh) * | 2021-11-11 | 2023-05-12 | 杭州海康威视数字技术股份有限公司 | 视频编解码方法及装置 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150013776A (ko) | 2010-04-09 | 2015-02-05 | 미쓰비시덴키 가부시키가이샤 | 동화상 부호화 장치 및 동화상 복호 장치 |
| CN108063943B (zh) * | 2011-10-17 | 2021-11-02 | 株式会社Kt | 用解码装置对待解码的具有当前块的视频信号解码的方法 |
| US9247254B2 (en) * | 2011-10-27 | 2016-01-26 | Qualcomm Incorporated | Non-square transforms in intra-prediction video coding |
| KR102061201B1 (ko) | 2012-04-12 | 2019-12-31 | 주식회사 골드피크이노베이션즈 | 블록 정보에 따른 변환 방법 및 이러한 방법을 사용하는 장치 |
| CN108712652A (zh) * | 2012-06-29 | 2018-10-26 | 韩国电子通信研究院 | 视频编码方法和计算机可读介质 |
| KR102341826B1 (ko) * | 2012-07-02 | 2021-12-21 | 엘지전자 주식회사 | 영상 정보 코딩 방법 및 이를 이용하는 장치 |
| CN107925763B (zh) | 2015-12-23 | 2020-01-10 | 华为技术有限公司 | 等级分割中的块级别变换选择和隐式信令的编码变换方法和设备 |
| CN108713320B (zh) * | 2016-03-16 | 2022-05-17 | 寰发股份有限公司 | 视频编码中限制块尺寸的视频数据处理方法与装置 |
| CN113411579B (zh) * | 2016-05-13 | 2024-01-23 | 夏普株式会社 | 图像解码装置及其方法、图像编码装置及其方法 |
| CN117221588A (zh) * | 2016-06-22 | 2023-12-12 | Lx 半导体科技有限公司 | 图像编码/解码方法以及图像数据的传输方法 |
| US11758136B2 (en) * | 2016-06-24 | 2023-09-12 | Electronics And Telecommunications Research Institute | Method and apparatus for transform-based image encoding/decoding |
| CN116708782A (zh) * | 2016-07-12 | 2023-09-05 | 韩国电子通信研究院 | 图像编码/解码方法以及用于该方法的记录介质 |
| US10972733B2 (en) | 2016-07-15 | 2021-04-06 | Qualcomm Incorporated | Look-up table for enhanced multiple transform |
| WO2018066987A1 (ko) * | 2016-10-04 | 2018-04-12 | 김기백 | 영상 데이터 부호화/복호화 방법 및 장치 |
| US10554974B2 (en) * | 2017-01-13 | 2020-02-04 | Mediatek Inc. | Method and apparatus enabling adaptive multiple transform for chroma transport blocks using control flags |
| WO2018166429A1 (en) * | 2017-03-16 | 2018-09-20 | Mediatek Inc. | Method and apparatus of enhanced multiple transforms and non-separable secondary transform for video coding |
| US10750181B2 (en) * | 2017-05-11 | 2020-08-18 | Mediatek Inc. | Method and apparatus of adaptive multiple transforms for video coding |
| CN115190296A (zh) * | 2017-12-28 | 2022-10-14 | 松下电器（美国）知识产权公司 | 编码装置、解码装置和存储介质 |
| WO2019190283A1 (ko) * | 2018-03-29 | 2019-10-03 | 엘지전자 주식회사 | 저복잡도 연산 dst7을 설계하는 방법 및 장치 |
| KR20230156805A (ko) * | 2018-06-06 | 2023-11-14 | 엘지전자 주식회사 | 인트라 예측 모드에 기초하여 변환 인덱스 코딩을 수행하는 방법 및 이를 위한 장치 |
| BR112021005238A2 (pt) * | 2018-09-20 | 2021-06-15 | Nokia Technologies Oy | um método e um aparelho para codificação e decodificação de material de imagem/vídeo digital |
| US11218694B2 (en) * | 2018-09-24 | 2022-01-04 | Qualcomm Incorporated | Adaptive multiple transform coding |
| US10904563B2 (en) * | 2019-01-02 | 2021-01-26 | Tencent America LLC | Method and apparatus for improved zero out transform |
| KR20210102468A (ko) * | 2019-02-06 | 2021-08-19 | 엘지전자 주식회사 | 축소된 변환을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치 |
| US20200288130A1 (en) * | 2019-03-07 | 2020-09-10 | Qualcomm Incorporated | Simplification of sub-block transforms in video coding |
| US11134275B2 (en) * | 2019-06-04 | 2021-09-28 | Tencent America LLC | Method and apparatus for performing primary transform based on filtering of blocks |
-
2020
- 2020-02-12 KR KR1020247011932A patent/KR20240052873A/ko active Application Filing
- 2020-02-12 CA CA3131288A patent/CA3131288A1/en active Pending
- 2020-02-12 EP EP20766583.7A patent/EP3903498A4/en active Pending
- 2020-02-12 CN CN202110835468.2A patent/CN113727120B/zh active Active
- 2020-02-12 MX MX2020014019A patent/MX2020014019A/es unknown
- 2020-02-12 CN CN202210562357.3A patent/CN115052163B/zh active Active
- 2020-02-12 CN CN202210562786.0A patent/CN115052164A/zh active Pending
- 2020-02-12 JP JP2020571578A patent/JP7106689B2/ja active Active
- 2020-02-12 BR BR112020024331-0A patent/BR112020024331A2/pt unknown
- 2020-02-12 CN CN202080005189.7A patent/CN112740703B/zh active Active
- 2020-02-12 AU AU2020233004A patent/AU2020233004B2/en active Active
- 2020-02-12 WO PCT/CN2020/074780 patent/WO2020177509A1/en unknown
- 2020-02-12 KR KR1020207035640A patent/KR102475963B1/ko active IP Right Grant
- 2020-02-12 KR KR1020227041530A patent/KR102657540B1/ko active IP Right Grant
-
2021
- 2021-01-04 US US17/141,121 patent/US12047570B2/en active Active
- 2021-09-02 CL CL2021002295A patent/CL2021002295A1/es unknown
-
2022
- 2022-07-12 JP JP2022111785A patent/JP7507813B2/ja active Active
-
2023
- 2023-01-31 US US18/162,439 patent/US20230254485A1/en active Pending
- 2023-09-22 CL CL2023002827A patent/CL2023002827A1/es unknown
-
2024
- 2024-02-29 AU AU2024201346A patent/AU2024201346A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| KR102657540B1 (ko) | 2024-04-12 |
| BR112020024331A2 (pt) | 2021-02-23 |
| JP2021531680A (ja) | 2021-11-18 |
| CN115052164A (zh) | 2022-09-13 |
| JP2022136124A (ja) | 2022-09-15 |
| CN112740703B (zh) | 2022-05-24 |
| EP3903498A4 (en) | 2022-07-06 |
| MX2020014019A (es) | 2021-03-25 |
| CL2021002295A1 (es) | 2022-04-01 |
| US20210144373A1 (en) | 2021-05-13 |
| CA3131288A1 (en) | 2020-09-10 |
| CN113727120A (zh) | 2021-11-30 |
| WO2020177509A1 (en) | 2020-09-10 |
| AU2020233004B2 (en) | 2023-11-30 |
| AU2024201346A1 (en) | 2024-03-21 |
| CN115052163B (zh) | 2024-04-09 |
| JP7507813B2 (ja) | 2024-06-28 |
| US12047570B2 (en) | 2024-07-23 |
| JP7106689B2 (ja) | 2022-07-26 |
| AU2020233004A1 (en) | 2021-09-09 |
| CL2023002827A1 (es) | 2024-01-26 |
| KR20220162882A (ko) | 2022-12-08 |
| KR20210008080A (ko) | 2021-01-20 |
| US20230254485A1 (en) | 2023-08-10 |
| CN112740703A (zh) | 2021-04-30 |
| CN115052163A (zh) | 2022-09-13 |
| EP3903498A1 (en) | 2021-11-03 |
| KR102475963B1 (ko) | 2022-12-08 |
| CN113727120B (zh) | 2022-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA3128919A1 (en) | An encoder, a decoder and corresponding methods of intra prediction | |
| CA3134398A1 (en) | An encoder, a decoder and corresponding methods for intra prediction | |
| AU2020318106B2 (en) | An encoder, a decoder and corresponding methods related to intra prediction mode | |
| JP2022522571A (ja) | 任意のｃｔｕサイズのためのｉｂｃ検索範囲最適化を用いるエンコーダ、デコーダおよび対応する方法 | |
| JP7562798B2 (ja) | イントラ・サブ・パーティション・コーディング・モードのための方法及び装置 | |
| JP7553007B2 (ja) | ビデオコーディングにおけるクロマイントラ予測のための方法及び装置 | |
| JP2024012340A (ja) | シーケンスパラメータセット内でのサブピクチャのシグナリングのためのエンコーダ、デコーダ、および対応する方法 | |
| US20230254485A1 (en) | Encoder, a decoder, and corresponding methods for transform process in video coding | |
| KR20240011253A (ko) | Cbf 플래그들의 효율적인 시그널링의 방법 | |
| CN113228632B (zh) | 用于局部亮度补偿的编码器、解码器、以及对应方法 | |
| CA3128913A1 (en) | An encoder, a decoder and corresponding methods using intra mode coding for intra prediction | |
| RU2803063C2 (ru) | Кодер, декодер и соответствующие способы, которые используются для процесса преобразования | |
| JP2022531544A (ja) | 平面モードのためのイントラ予測における複雑さ減少のエンコーダ、デコーダ、および対応する方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent |