KR20210075201A - 인트라 예측을 위한 방법 및 장치 - Google Patents
인트라 예측을 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR20210075201A KR20210075201A KR1020217017513A KR20217017513A KR20210075201A KR 20210075201 A KR20210075201 A KR 20210075201A KR 1020217017513 A KR1020217017513 A KR 1020217017513A KR 20217017513 A KR20217017513 A KR 20217017513A KR 20210075201 A KR20210075201 A KR 20210075201A
- Authority
- KR
- South Korea
- Prior art keywords
- value
- reference sample
- intra prediction
- sample
- prediction
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 139
- 239000000523 sample Substances 0.000 claims abstract description 176
- 239000013074 reference sample Substances 0.000 claims abstract description 162
- 238000012545 processing Methods 0.000 claims description 68
- 238000003860 storage Methods 0.000 claims description 24
- 230000001419 dependent effect Effects 0.000 claims description 10
- 238000013139 quantization Methods 0.000 description 79
- 238000000638 solvent extraction Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 34
- 239000000872 buffer Substances 0.000 description 27
- 238000005192 partition Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 20
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 241000023320 Luma <angiosperm> Species 0.000 description 17
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 14
- 238000003491 array Methods 0.000 description 12
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 238000001914 filtration Methods 0.000 description 8
- 230000005055 memory storage Effects 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 101150039623 Clip1 gene Proteins 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000009499 grossing Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 238000009795 derivation Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000013467 fragmentation Methods 0.000 description 4
- 238000006062 fragmentation reaction Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 101150114515 CTBS gene Proteins 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- ZBOYJODMIAUJHH-SANMLTNESA-N (2s)-1-[[2,6-dimethoxy-4-[(2-methyl-3-phenylphenyl)methoxy]phenyl]methyl]piperidine-2-carboxylic acid Chemical compound C=1C(OC)=C(CN2[C@@H](CCCC2)C(O)=O)C(OC)=CC=1OCC(C=1C)=CC=CC=1C1=CC=CC=C1 ZBOYJODMIAUJHH-SANMLTNESA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- BTCSSZJGUNDROE-UHFFFAOYSA-N gamma-aminobutyric acid Chemical compound NCCCC(O)=O BTCSSZJGUNDROE-UHFFFAOYSA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
블록을 인트라 예측하기 위한 장치들 및 방법들이 제공된다. 현재 블록을 인트라 예측하는 방법은, 인트라 예측 모드를 사용하여 하나 이상의 참조 샘플 값으로부터 예측 샘플 값을 획득하는 단계; 인트라 예측 모드에 따라 적어도 하나의 추가적 참조 샘플 값을 획득하는 단계; 및 추가적 참조 샘플 값에 기초하여 임계화된 추가적 참조 샘플 값을 획득하는 단계를 포함한다. 이러한 방법은 또한, 임계화된 추가적 참조 샘플 값으로부터 추가적 값을 계산하는 단계; 예측 샘플 값에 샘플 가중 인자를 곱하여, 가중된 예측 샘플 값을 얻는 단계; 가중된 예측 샘플 값에 추가적 값을 가산하여, 비-정규화된 예측 샘플 값을 얻는 단계; 및 비-정규화된 예측 샘플 값을 정규화하여, 정규화된 예측 샘플 값들을 얻는 단계를 포함한다. 인트라 예측에 대한 정확도가 증가된다.
Description
<관련 출원들에 대한 상호-참조>
본 출원은 2018년 12월 29일자로 출원된, 발명의 명칭이 "METHOD AND APPARATUS FOR INTRA PREDICTION"인 미국 임시 출원 제62/786,349호, 및 2019년 3월 20일자로 출원된, 발명의 명칭이 "METHOD AND APPARATUS FOR INTRA PREDICTION"인 미국 임시 출원 제62/821,422호의 혜택을 주장하며, 이러한 출원 전부는 본 명세서에 참조로 원용된다.
<기술 분야>
본 개시내용은 이미지 및/또는 비디오 코딩 및 디코딩의 기술 분야에, 특히 인트라 예측을 위한 방법 및 장치에 관련된다.
디지털 비디오는 DVD-디스크들의 도입 이후 널리 사용되어 왔다. 송신 전에, 비디오는 송신 매체를 사용하여 인코딩되고 송신된다. 시청자는 비디오를 수신하고 시청 디바이스를 사용하여 비디오를 디코딩 및 디스플레이한다. 수년에 걸쳐, 비디오의 품질은, 예를 들어, 더 높은 해상도들, 컬러 심도들 및 프레임 레이트들 때문에 개선되었다. 이러한 것은 오늘날 인터넷 및 모바일 통신 네트워크들을 통해 통상적으로 전송되는 더 큰 데이터 스트림들로 이어졌다.
그러나, 더 높은 해상도 비디오는 통상적으로 더 많은 정보를 갖기 때문에 더 많은 대역폭을 요구한다. 대역폭 요건들을 감소시키기 위해 비디오의 압축을 수반하는 비디오 코딩 표준들이 도입되었다. 비디오가 인코딩될 때, 대역폭 요건들(또는 저장의 경우에 대응하는 메모리 요건들)이 감소된다. 종종 이러한 감소는 품질의 대가로 온다. 따라서, 비디오 코딩 표준들은 대역폭 요건들과 품질 사이의 균형을 찾으려고 시도한다.
HEVC(High Efficiency Video Coding)는 해당 분야에서의 기술자들에게 통상적으로 알려진 비디오 코딩 표준의 예이다. HEVC에서, CU(coding unit)를 PU(prediction units) 또는 TU들(transform units)로 분열시킨다. VVC(Versatile Video Coding) 차세대 표준은 ITU-T VCEG(Video Coding Experts Group) 및 ISO/IEC MPEG(Moving Picture Experts Group) 표준화 기구들의 가장 최근의 공동 비디오 프로젝트이며, JVET(Joint Video Exploration Team)로 알려진 파트너십에서 함께 작동한다. VVC는 ITU-T H.266/NGVC(Next Generation Video Coding) 표준이라고 또한 지칭된다. VVC에서, 다수의 파티션 타입의 개념들이 제거될 것이다, 즉, 최대 변환 길이에 대해 너무 큰 크기를 갖고, CU 파티션 형상들에 대해 더 많은 유연성을 지원하는 CU들에 대해 필요에 따라 예외적으로 CU, PU 및 TU 개념들의 분리가 제거될 것이다.
이러한 CU들(coding units)(블록들이라고 또한 지칭됨)의 처리는 인코더에 의해 명시되는 그들의 크기, 공간적 위치 및 코딩 모드에 의존한다. 코딩 모드들은 예측의 타입에 따라 2개의 그룹들: 인트라 예측 및 인터 예측 모드들로 분류될 수 있다. 인트라 예측 모드들은 동일한 화상(프레임 또는 이미지라고 또한 지칭됨)의 샘플들을 사용하여 참조 샘플들을 생성하여, 재구성되는 블록의 샘플들에 대한 예측 값들을 계산한다. 인트라 예측은 공간적 예측이라고 또한 지칭된다. 인터 예측 모드들은 시간적 예측을 위해 설계되고, 이전 또는 다음 화상들의 참조 샘플들을 사용하여 현재 화상의 블록의 샘플들을 예측한다.
인트라 예측 프로세스의 효율적인 핸들링을 허용하는 비디오 코딩을 위한 장치들 및 방법들이 필요하다.
화상의 블록을 인트라 예측하는 방법, 인코딩 디바이스, 디코딩 디바이스 및 컴퓨터-판독가능 매체가 제공된다.
본 발명의 제1 양태의 예로서, 화상의 블록을 인트라 예측하는 방법이 제공되고, 이러한 방법은,
인트라 예측 모드를 사용하는 인트라 예측에 의해 하나 이상의 참조 샘플 값으로부터 예측 샘플 값을 획득하는 단계- 인트라 예측 모드는 DC 인트라 예측 모드, 수평 인트라 예측 모드, 또는 수직 인트라 예측 모드 중 하나임 -;
예측 샘플의 위 및 좌측에 위치되는 가장 가까운 참조 샘플들의 값들을 획득하는 단계;
인트라 예측 모드에 따라, 하나의 또는 몇몇 추가적 참조 샘플 값을 획득하는 단계
- 인트라 예측 모드가 수직일 때, 추가적 참조 값은 예측 샘플 위에 위치되는 가장 가까운 참조 샘플의 값과 좌측-상단 참조 샘플 사이의 차이와 동일하게 설정되고,
- 인트라 예측 모드가 수평일 때, 추가적 참조 값은 예측 샘플의 좌측에 위치되는 가장 가까운 참조 샘플의 값과 좌측-상단 참조 샘플 사이의 차이와 동일하게 설정되고,
- 인트라 예측 모드가 DC 인트라 예측 모드일 때, 제1 추가적 참조 샘플 값 및 제2 추가적 참조 샘플 값은
○ 제1 추가적 참조 샘플 값을 예측 샘플의 좌측에 위치되는 가장 가까운 참조 샘플과 동일하게 설정하는 단계, 및
○ 제2 추가적 참조 샘플 값을 예측 샘플 위에 위치되는 가장 가까운 참조 샘플과 동일하게 설정하는 단계에 의해 획득됨 -;
인트라 예측 모드가 수평 또는 수직일 때 추가적 참조 샘플 값을 임계화하는 단계;
추가적 값을
○ 인트라 예측 모드가 DC 인트라 예측 모드일 때 제1 추가적 참조 샘플과 제2 추가적 참조 샘플의 가중 합으로서, 또는
○ 인트라 예측 모드가 수평 또는 수직일 때 가중 인자에 추가적 참조 값을 곱하는 것에 의해 계산하는 단계;
예측 샘플 값에 샘플 가중 인자를 곱하여, 가중된 예측 샘플 값을 얻는 단계- 샘플 가중 인자는 인트라 예측 모드가 수평 또는 수직일 때 1과 동일하게 설정됨 -;
가중된 예측 샘플 값에 추가적 값을 가산하여, 비-정규화된 예측 샘플 값을 얻는 단계; 및
비-정규화된 예측 샘플 값을 비-정규화된 예측 샘플 값의 정수 표현의 산술 우측 시프트에 의해 정규화하여, 정규화된 예측 샘플 값을 얻는 단계를 포함한다.
제1 양태의 구현 형태로서, 이러한 방법은 예측 샘플의 최소 및 최대 값들의 도출을 추가로 포함하고, 여기서 추가적 참조 샘플 값을 임계화하는 단계는,
좌측-상단 참조 샘플 값을 획득하는 단계; 및
상한 값 초과인지 또는 하한 미만인지의 체크를 포함하는, 추가적 참조 샘플 값을 업데이트하는 단계
- 좌측-상단 참조 샘플이 예측 샘플 초과일 때, 상한은 예측 샘플의 최대 값으로부터 예측 샘플 값을 감산하는 것에 의해 획득되고, 업데이트된 추가적 참조 샘플 값은 2개의 값들 중 최대와 동일하게 설정되고,
○ 제1 값은 추가적 참조 샘플 값이고,
○ 제2 값은 상한이고,
- 그렇지 않으면, 하한은 예측 샘플의 최소 값으로부터 예측 샘플 값을 감산하는 것에 의해 획득되고, 업데이트된 추가적 참조 샘플 값은 2개의 값들 중 최소와 동일하게 설정되고,
○ 제1 값은 추가적 참조 샘플 값이고,
○ 제2 값은 하한임 -를 포함한다.
본 발명의 제2 양태의 예로서, 화상의 블록을 인트라 예측하는 방법이 제공되고, 이러한 방법은, 현재 블록의 인트라 예측 모드를 획득하는 단계; 및 인트라 예측 모드가 DC 모드 또는 평면 모드이고, 좌측-상단 샘플이 PDPC(position-dependent prediction combination)에 사용되지 않을 때 상단 샘플 또는 좌측 샘플에 기초하여 PDPC(position-dependent prediction combination)를 수행하는 단계를 포함한다.
본 발명의 제3 양태의 예로서, 화상의 블록을 인트라 예측하는 방법이 제공되고, 이러한 방법은, 현재 블록의 인트라 예측 모드를 획득하는 단계를 포함하고; PDPC(position-dependent prediction combination)에서의 클리핑 동작은 인트라 예측 모드가 수평 인트라 예측 모드 또는 수직 인트라 예측 모드일 때 수행되고, 인트라 예측 모드가 DC 모드 또는 평면 모드일 때 수행되지 않는다.
제3 양태의 구현 형태로서, PDPC에서의 클리핑 동작은 인트라 예측 모드가 수평 인트라 예측 모드 또는 수직 인트라 예측 모드일 때에만 수행된다. 예를 들어, predModeIntra가 INTRA_ANGULAR18 또는 INTRA_ANGULAR50과 동일할 때,
predModeIntra는 인트라 예측 모드를 표시하기 위해 사용되고, {x,y}는 예측 샘플의 위치를 정의하고, wT, wL 및 wTL은 정의된 위치에 따른 참조 샘플들과 연관된 가중치들이다.
제1 양태 또는 제1 양태의 임의의 가능한 실시예, 제2 양태 또는 제2 양태의 임의의 가능한 실시예, 또는 제3 양태 또는 제3 양태의 임의의 가능한 실시예에 따른 방법은 본 발명의 제4 양태에 따른 장치에 의해 수행될 수 있다.
제5 양태에 따르면, 본 발명은 프로세서 및 메모리를 포함하는 비디오 스트림을 디코딩하기 위한 장치에 관련된다. 메모리는 프로세서로 하여금 제1 양태 또는 제1 양태의 임의의 가능한 실시예, 제2 양태 또는 제2 양태의 임의의 가능한 실시예, 또는 제3 양태 또는 제3 양태의 임의의 가능한 실시예에 따른 방법을 수행하게 하는 명령어들을 저장하고 있다.
제6 양태에 따르면, 본 발명은 프로세서 및 메모리를 포함하는 비디오 스트림을 인코딩하기 위한 장치에 관련된다. 메모리는 프로세서로 하여금 제1 양태 또는 제1 양태의 임의의 가능한 실시예, 제2 양태 또는 제2 양태의 임의의 가능한 실시예, 또는 제3 양태 또는 제3 양태의 임의의 가능한 실시예에 따른 방법을 수행하게 하는 명령어들을 저장하고 있다.
제7 양태에 따르면, 실행될 때 하나 이상의 프로세서로 하여금 비디오 데이터를 코딩하도록 구성되게 하는 명령어들을 저장하고 있는 컴퓨터-판독가능 저장 매체가 제안된다. 이러한 명령어들은 하나 이상의 프로세서로 하여금 제1 양태 또는 제1 양태의 임의의 가능한 실시예, 제2 양태 또는 제2 양태의 임의의 가능한 실시예, 또는 제3 양태 또는 제3 양태의 임의의 가능한 실시예에 따른 방법을 수행하게 한다.
제8 양태에 따르면, 본 발명은 컴퓨터 상에서 실행될 때 제1 양태 또는 제1 양태의 임의의 가능한 실시예, 제2 양태 또는 제2 양태의 임의의 가능한 실시예, 또는 제3 양태 또는 제3 양태의 임의의 가능한 실시예에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램에 관련된다.
하나 이상의 실시예의 상세사항들이 첨부 도면들 및 아래의 설명에서 제시된다. 다른 특징들, 목적들, 및 이점들이 설명, 도면들, 및 청구항들로부터 명백할 것이다.
본 발명의 다음의 실시예들은 첨부 도면들 및 도해들을 참조하여 보다 상세히 설명된다.
도 1a는 본 발명의 실시예들을 구현하도록 구성되는 비디오 코딩 시스템의 예를 도시하는 블록도이다.
도 1b는 본 발명의 실시예들을 구현하도록 구성되는 비디오 코딩 시스템의 다른 예를 도시하는 블록도이다.
도 2는 본 발명의 실시예들을 구현하도록 구성되는 비디오 인코더의 예를 도시하는 블록도이다.
도 3은 본 발명의 실시예들을 구현하도록 구성되는 비디오 디코더의 예시적인 구조를 도시하는 블록도이다.
도 4는 인코딩 장치 또는 디코딩 장치의 예를 예시하는 블록도이다.
도 5는 인코딩 장치 또는 디코딩 장치의 다른 예를 예시하는 블록도이다.
도 6은 각도 인트라 예측 방향들과 모드들 및 수직 예측 방향들에 대한 pang의 연관된 값의 예를 예시한다.
도 7은 4 × 4 블록에 대한 pref의 p1, ref로의 변환의 예를 예시한다.
도 8은 수평 각도 예측을 위한 p1,ref의 구성의 예를 예시한다.
도 9는 수직 각도 예측을 위한 p1,ref의 구성의 예를 예시한다.
도 10a는 JEM 및 BMS-1에서의 각도 인트라 예측 방향들 및 연관된 인트라 예측 모드들의 예를 예시한다.
도 10b는 VTM-2에서의 각도 인트라 예측 방향들 및 연관된 인트라 예측 모드들의 예를 예시한다.
도 10c는 VTM-3에서의 각도 인트라 예측 방향들 및 연관된 인트라 예측 모드들의 예를 예시한다.
도 11은 HEVC에서의 각도 인트라 예측 방향들 및 연관된 인트라 예측 모드의 예를 예시한다.
도 12는 설명되는 QTBT의 예를 예시한다.
도 13a는 수직 및 수평 인트라 예측 모드들에 대한 좌표들의 예를 예시한다.
도 13b는 4x4 블록 내부의 (0, 0) 및(1, 0) 위치들에 대한 DC 모드 PDPC 가중치들의 예를 예시한다.
도 14는 주요 참조 측의 참조 샘플들로부터 블록을 인트라 예측하는 예를 예시한다.
도 15는 4x4 블록 내부의 (0, 0) 및 (1, 0) 위치들에 대한 DC 모드 PDPC 가중치들의 예를 예시한다.
도 16은 샘플들의 블록을 인트라 예측하는 예를 예시한다.
도 17은 예측 샘플을 생성하기 위해 인트라 예측 프로세스에 의해 참조 샘플이 사용되는 예를 예시한다.
도 18은 예측 샘플들을 생성하는 인트라 예측을 위한 장치 예시적인 구조를 도시하는 블록도이다.
도 19는 콘텐츠 전달 서비스를 실현하는 콘텐츠 공급 시스템(3100)의 예시적인 구조를 도시하는 블록도이다.
도 20은 단말 디바이스의 예의 구조를 도시하는 블록도이다.
다음에서 동일한 참조 부호들은 명시적으로 달리 명시되지 않으면 동일한 또는 적어도 기능적으로 동등한 특징들을 지칭한다.
도 1a는 본 발명의 실시예들을 구현하도록 구성되는 비디오 코딩 시스템의 예를 도시하는 블록도이다.
도 1b는 본 발명의 실시예들을 구현하도록 구성되는 비디오 코딩 시스템의 다른 예를 도시하는 블록도이다.
도 2는 본 발명의 실시예들을 구현하도록 구성되는 비디오 인코더의 예를 도시하는 블록도이다.
도 3은 본 발명의 실시예들을 구현하도록 구성되는 비디오 디코더의 예시적인 구조를 도시하는 블록도이다.
도 4는 인코딩 장치 또는 디코딩 장치의 예를 예시하는 블록도이다.
도 5는 인코딩 장치 또는 디코딩 장치의 다른 예를 예시하는 블록도이다.
도 6은 각도 인트라 예측 방향들과 모드들 및 수직 예측 방향들에 대한 pang의 연관된 값의 예를 예시한다.
도 7은 4 × 4 블록에 대한 pref의 p1, ref로의 변환의 예를 예시한다.
도 8은 수평 각도 예측을 위한 p1,ref의 구성의 예를 예시한다.
도 9는 수직 각도 예측을 위한 p1,ref의 구성의 예를 예시한다.
도 10a는 JEM 및 BMS-1에서의 각도 인트라 예측 방향들 및 연관된 인트라 예측 모드들의 예를 예시한다.
도 10b는 VTM-2에서의 각도 인트라 예측 방향들 및 연관된 인트라 예측 모드들의 예를 예시한다.
도 10c는 VTM-3에서의 각도 인트라 예측 방향들 및 연관된 인트라 예측 모드들의 예를 예시한다.
도 11은 HEVC에서의 각도 인트라 예측 방향들 및 연관된 인트라 예측 모드의 예를 예시한다.
도 12는 설명되는 QTBT의 예를 예시한다.
도 13a는 수직 및 수평 인트라 예측 모드들에 대한 좌표들의 예를 예시한다.
도 13b는 4x4 블록 내부의 (0, 0) 및(1, 0) 위치들에 대한 DC 모드 PDPC 가중치들의 예를 예시한다.
도 14는 주요 참조 측의 참조 샘플들로부터 블록을 인트라 예측하는 예를 예시한다.
도 15는 4x4 블록 내부의 (0, 0) 및 (1, 0) 위치들에 대한 DC 모드 PDPC 가중치들의 예를 예시한다.
도 16은 샘플들의 블록을 인트라 예측하는 예를 예시한다.
도 17은 예측 샘플을 생성하기 위해 인트라 예측 프로세스에 의해 참조 샘플이 사용되는 예를 예시한다.
도 18은 예측 샘플들을 생성하는 인트라 예측을 위한 장치 예시적인 구조를 도시하는 블록도이다.
도 19는 콘텐츠 전달 서비스를 실현하는 콘텐츠 공급 시스템(3100)의 예시적인 구조를 도시하는 블록도이다.
도 20은 단말 디바이스의 예의 구조를 도시하는 블록도이다.
다음에서 동일한 참조 부호들은 명시적으로 달리 명시되지 않으면 동일한 또는 적어도 기능적으로 동등한 특징들을 지칭한다.
두문자어들 및 용어집의 정의
JEM
Joint Exploration Model (미래의 비디오 코딩 탐색을 위한 소프트웨어 코드베이스)
JVET
Joint Video Experts Team
LUT
Look-Up Table
PDPC Position-dependent prediction combination
PPS Picture parameter set
QT
QuadTree
QTBT
QuadTree plus Binary Tree
RDO
Rate-distortion Optimization
ROM
Read-Only Memory
SPS Sequence parameter set
VTM
VVC Test Model
VVC
Versatile Video Coding, JVET에 의해 개발된 표준화 프로젝트.
CTU / CTB
-
Coding Tree Unit / Coding Tree Block
CU / CB
-
Coding Unit / Coding Block
PU / PB
-
Prediction Unit / Prediction Block
TU/TB
-
Transform Unit / Transform Block
HEVC
-
High Efficiency Video Coding
다음 설명에서는, 본 개시내용의 일부분을 형성하고, 예시의 방식에 의해, 본 발명의 실시예들의 구체적 양태들 또는 본 발명의 실시예들이 사용될 수 있는 구체적 양태들을 도시하는 첨부 도면들에 대한 참조가 이루어진다. 본 발명의 실시예들은 다른 양태들에서 사용될 수 있고 도면들에 묘사되지 않은 구조적 또는 논리적 변경들을 포함한다는 점이 이해된다. 따라서, 다음의 상세한 설명은 제한적인 의미로 취해지지 않아야 하며, 본 발명의 범위는 첨부된 청구항들에 의해서만 정의된다.
예를 들어, 설명된 방법과 관련된 개시내용은 해당 방법을 수행하도록 구성되는 대응하는 디바이스 또는 시스템에 대해 또한 유효할 수 있고 그 반대의 경우도 마찬가지라는 점이 이해된다. 예를 들어, 하나의 또는 복수의 구체적 방법 단계가 설명되면, 대응하는 디바이스는 설명된 하나의 또는 복수의 방법 단계를 수행하는 하나의 또는 복수의 유닛, 예를 들어, 기능 유닛(예를 들어, 하나의 또는 복수의 단계를 수행하는 하나의 유닛, 또는 복수의 단계 중 하나 이상을 각각 수행하는 복수의 유닛)을, 이러한 하나 이상의 유닛이 도면들에서 명시적으로 설명되거나 또는 예시되지 않더라도, 포함할 수 있다. 다른 한편으로, 예를 들어, 구체적 장치가 하나의 또는 복수의 유닛, 예를 들어, 기능 유닛들에 기초하여 설명되면, 이러한 하나의 또는 복수의 단계가 도면들에 명시적으로 설명되거나 또는 예시되지 않더라도, 대응하는 방법은 하나의 또는 복수의 유닛의 기능성을 수행하는 하나의 단계(예를 들어, 하나의 또는 복수의 유닛의 기능성을 수행하는 하나의 단계, 또는 복수의 유닛 중 하나 이상의 유닛의 기능성을 각각 수행하는 복수의 단계)를 포함할 수 있다. 추가로, 구체적으로 달리 주목되지 않는 한, 본 명세서에 설명되는 다양한 예시적인 실시예들 및/또는 양태들의 특징들은 서로 조합될 수 있다는 점이 이해된다.
비디오 코딩은, 비디오 또는 비디오 시퀀스를 형성하는, 화상들의 시퀀스의 처리를 통상적으로 지칭한다. "화상(picture)"이라는 용어 대신에 "프레임(frame)" 또는 "이미지(image)"이라는 용어가 비디오 코딩의 분야에서 동의어로서 사용될 수 있다. 비디오 코딩(또는 일반적으로 코딩)은 2개의 부분들, 즉 비디오 인코딩 및 비디오 디코딩을 포함한다. 비디오 인코딩은 소스 측에서 수행되고, (보다 효율적인 저장 및/또는 송신을 위해) 비디오 화상들을 표현하는데 요구되는 데이터의 양을 감소시키기 위해 원래의 비디오 화상들을 (예를 들어, 압축에 의해) 처리하는 것을 통상적으로 포함한다. 비디오 디코딩은 목적지 측에서 수행되고 비디오 화상들을 재구성하기 위해 인코더에 비해 역 처리를 통상적으로 포함한다. 비디오 화상들(또는 일반적으로 화상들)의 "코딩(coding)"을 참조하는 실시예들은 비디오 화상들 또는 각각의 비디오 시퀀스들의 "인코딩(encoding)" 또는 "디코딩(decoding)"에 관련되는 것으로 이해되어야 한다. 인코딩 부분과 디코딩 부분의 조합은 CODEC(Coding and Decoding)이라고 또한 지칭된다.
무손실 비디오 코딩의 경우, 원래 비디오 화상들이 재구성될 수 있다, 즉, 재구성된 비디오 화상들은 원래 비디오 화상들과 동일한 품질을 갖는다(저장 또는 송신 동안 어떠한 송신 손실 또는 다른 데이터 손실도 없다고 가정함). 손실 비디오 코딩의 경우, 디코더에서 완전히 재구성될 수 없는, 즉, 재구성된 비디오 화상들의 품질이 원래의 비디오 화상들의 품질에 비해 더 낮은 또는 더 나쁜, 비디오 화상들을 표현하는 데이터의 양을 감소시키기 위해, 예를 들어, 양자화에 의한, 추가적 압축이 수행된다.
몇몇 비디오 코딩 표준들은 "손실 하이브리드 비디오 코덱들(lossy hybrid video codecs)"의 그룹에 속한다(즉, 샘플 도메인에서의 공간적 및 시간적 예측과 변환 도메인에서의 양자화를 적용하기 위한 2D 변환 코딩을 조합함). 비디오 시퀀스의 각각의 화상은 비-중첩 블록들의 세트로 통상적으로 파티셔닝되고, 코딩은 블록 레벨에서 통상적으로 수행된다. 다시 말해서, 인코더에서는 비디오가, 예를 들어, 공간적 (인트라 화상) 예측 및/또는 시간적 (인터 화상) 예측을 사용하여 예측 블록을 생성하고, 현재 블록(현재 처리되는/처리될 블록)으로부터 예측 블록을 감산하여 잔차 블록을 획득하고, 잔차 블록을 변환하고 변환 도메인에서 잔차 블록을 양자화하여 송신될 데이터의 양을 감소(압축)시키는 것에 의해, 블록(비디오 블록) 레벨에서 통상적으로 처리, 즉, 인코딩되는 반면, 디코더에서는 인코더에 비해 역 처리가 인코딩된 또는 압축된 블록에 적용되어 표현을 위해 현재 블록을 재구성한다. 또한, 인코더는 디코더 처리 루프를 복제하여, 양자 모두가 후속 블록들을 처리, 즉, 코딩하기 위해 동일한 예측들(예를 들어, 인트라 및 인터 예측들) 및/또는 재-구성들을 생성할 것이다.
다음에서는 비디오 코딩 시스템(10), 비디오 인코더(20), 및 비디오 디코더(30)의 실시예들이 도 1 내지 도 3에 기초하여 설명된다.
도 1a는 본 출원의 기법들을 이용할 수 있는 예시적인 코딩 시스템(10), 예를 들어, 비디오 코딩 시스템(10)(줄여서 코딩 시스템(10))을 도시하는 개략 블록도이다. 비디오 코딩 시스템(10)의 비디오 인코더(20)(줄여서 인코더(20)) 및 비디오 디코더(30)(줄여서 디코더(30))는 본 출원에서 설명되는 다양한 예들에 따른 기법들을 수행하도록 구성될 수 있는 디바이스들의 예들을 표현한다.
도 1a에 도시되는 바와 같이, 코딩 시스템(10)은 인코딩된 화상 데이터(13)를 디코딩하기 위해 인코딩된 화상 데이터(21)를, 예를 들어, 목적지 디바이스(14)에 제공하도록 구성되는 소스 디바이스(12)를 포함한다.
소스 디바이스(12)는 인코더(20)를 포함하고, 추가적으로, 즉, 선택적으로, 화상 소스(16), 전처리기(또는 전처리 유닛)(18), 예를 들어, 화상 전처리기(18), 및 통신 인터페이스 또는 통신 유닛(22)을 포함할 수 있다.
화상 소스(16)는 임의의 종류의 화상 캡처 디바이스, 예를 들어, 현실-세계 화상을 캡처하기 위한 카메라, 및/또는 임의의 종류의 화상 생성 디바이스, 예를 들어, 컴퓨터 애니메이션된 화상을 생성하기 위한 컴퓨터-그래픽 프로세서, 또는 현실-세계 화상, 컴퓨터 생성된 화상(예를 들어, 스크린 콘텐츠, VR(virtual reality) 화상) 및/또는 이들의 임의의 조합(예를 들어, AR(augmented reality) 화상)을 획득 및/또는 제공하기 위한 임의의 종류의 다른 디바이스를 포함할 수 있거나 또는 이들일 수 있다. 화상 소스는 전술된 화상들 중 임의의 것을 저장하고 있는 임의의 종류의 메모리 또는 스토리지일 수 있다.
전처리기(18) 및 전처리 유닛(18)에 의해 수행되는 처리와 구별하여, 화상 또는 화상 데이터(17)는 원시 화상 또는 원시 화상 데이터(17)라고 또한 지칭될 수 있다.
전처리기(18)는 (원시) 화상 데이터(17)를 수신하도록 그리고 화상 데이터(17)에 전처리를 수행하여 전처리된 화상(19) 또는 전처리된 화상 데이터(19)를 획득하도록 구성된다. 전처리기(18)에 의해 수행되는 전처리는, 예를 들어, 트리밍, (예를 들어, RGB로부터 YCbCr로의) 컬러 포맷 변환, 컬러 보정, 또는 노이즈-제거를 포함할 수 있다. 전처리 유닛(18)은 선택적 컴포넌트일 수 있다는 점이 이해될 수 있다.
비디오 인코더(20)는 전처리된 화상 데이터(19)를 수신하도록 그리고 인코딩된 화상 데이터(21)를 제공하도록 구성될 수 있다(추가의 상세사항들은, 예를 들어, 도 2에 기초하여, 아래에서 설명될 것임).
소스 디바이스(12)의 통신 인터페이스(22)는 인코딩된 화상 데이터(21)를 수신하도록 그리고 인코딩된 화상 데이터(21)(또는 이들의 임의의 추가적 처리된 버전)를 저장 또는 직접 재구성을 위해 통신 채널(13)을 통해 다른 디바이스, 예를 들어, 목적지 디바이스(14) 또는 임의의 다른 디바이스에 송신하도록 구성될 수 있다.
목적지 디바이스(14)는 디코더(30)(예를 들어, 비디오 디코더(30))를 포함하고, 추가적으로, 즉, 선택적으로, 통신 인터페이스 또는 통신 유닛(28), 후처리기(32)(또는 후처리 유닛(32)) 및 디스플레이 디바이스(34)를 포함할 수 있다.
목적지 디바이스(14)의 통신 인터페이스(28)는 인코딩된 화상 데이터(21)(또는 이들의 임의의 추가적 처리된 버전)를, 예를 들어, 소스 디바이스(12)로부터 또는 임의의 다른 소스, 예를 들어, 인코딩된 화상 데이터 저장 디바이스와 같은, 저장 디바이스로부터 직접 수신하도록, 그리고 인코딩된 화상 데이터(21)를 디코더(30)에 제공하도록 구성될 수 있다.
통신 인터페이스(22) 및 통신 인터페이스(28)는 소스 디바이스(12)와 목적지 디바이스(14) 사이의 직접 통신 링크, 예를 들어, 직접 유선 또는 무선 접속을 통해, 또는 임의의 종류의 네트워크, 예를 들어, 유선 또는 무선 네트워크 또는 이들의 임의의 조합, 또는 임의의 종류의 사설 및 공용 네트워크, 또는 이들의 임의의 종류의 조합을 통해, 인코딩된 화상 데이터(21) 또는 인코딩된 데이터(13)를 송신 또는 수신하도록 구성될 수 있다.
통신 인터페이스(22)는 인코딩된 화상 데이터(21)를 적절한 포맷, 예를 들어, 패킷들로 패키징하도록, 및/또는 통신 링크 또는 통신 네트워크를 통한 송신을 위해 임의의 종류의 송신 인코딩 또는 처리를 사용하여 이러한 인코딩된 화상 데이터를 처리하도록 구성될 수 있다.
통신 인터페이스(22)의 상대방을 형성하는 통신 인터페이스(28)는 송신된 데이터를 수신하도록 그리고 임의의 종류의 대응하는 송신 디코딩 또는 처리 및/또는 디-패키징을 사용하여 송신 데이터를 처리하여 인코딩된 화상 데이터(21)를 획득하도록, 예를 들어, 구성될 수 있다.
통신 인터페이스(22) 및 통신 인터페이스(28) 양자 모두는 소스 디바이스(12)로부터 목적지 디바이스(14)를 포인팅하는 도 1a에서의 통신 채널(13)에 대한 화살표로 표시되는 바와 같은 단방향 통신 인터페이스들로서, 또는 양방향 통신 인터페이스들로서 구성될 수 있고, 통신 링크 및/또는 데이터 송신, 예를 들어, 인코딩된 화상 데이터 송신에 관련된 임의의 다른 정보를 확인응답하고 교환하기 위해, 예를 들어, 메시지들을 전송 및 수신하도록, 예를 들어, 접속을 셋 업하도록, 구성될 수 있다.
디코더(30)는 인코딩된 화상 데이터(21)를 수신하도록 그리고 디코딩된 화상 데이터(31) 또는 디코딩된 화상(31)을 제공하도록 구성된다(추가의 상세사항들은, 예를 들어, 도 3 또는 도 5에 기초하여 아래에 설명될 것임).
목적지 디바이스(14)의 후처리기(32)는 디코딩된 화상 데이터(31)(재구성된 화상 데이터라고 또한 불림), 예를 들어, 디코딩된 화상(31)을 후처리하여, 후처리된 화상 데이터(33), 예를 들어, 후처리된 화상(33)을 획득하도록 구성된다. 후처리 유닛(32)에 의해 수행되는 후처리는, 예를 들어, (예를 들어, YCbCr로부터 RGB로의) 컬러 포맷 변환, 컬러 보정, 트리밍, 또는 재-샘플링, 또는, 예를 들어, 디스플레이 디바이스(34)에 의한 디스플레이를 위해, 예를 들어, 디코딩된 화상 데이터(31)를 준비하기 위한, 임의의 다른 처리를 포함할 수 있다.
목적지 디바이스(14)의 디스플레이 디바이스(34)는, 예를 들어, 사용자 또는 시청자에게, 화상을 디스플레이하기 위해 후처리된 화상 데이터(33)를 수신하도록 구성된다. 디스플레이 디바이스(34)는 재구성된 화상을 표현하기 위한 임의의 종류의 디스플레이, 예를 들어, 집적된 또는 외부 디스플레이 또는 모니터이거나 또는 이를 포함할 수 있다. 이러한 디스플레이들은, 예를 들어, LCD(liquid crystal displays), OLED(organic light emitting diodes) 디스플레이들, 플라즈마 디스플레이들, 프로젝터들, 마이크로 LED 디스플레이들, LCoS(liquid crystal on silicon), DLP(digital light processor) 또는 임의의 종류의 다른 디스플레이를 포함할 수 있다.
도 1a는 소스 디바이스(12) 및 목적지 디바이스(14)를 개별 디바이스들로서 묘사하더라도, 디바이스들의 실시예들은 양자 모두 또는 양자 모두의 기능성들, 소스 디바이스(12) 또는 대응하는 기능성 및 목적지 디바이스(14) 또는 대응하는 기능성을 또한 포함할 수 있다. 이러한 실시예들에서, 소스 디바이스(12) 또는 대응하는 기능성 및 목적지 디바이스(14) 또는 대응하는 기능성은 동일한 하드웨어 및/또는 소프트웨어를 사용하여 또는 개별 하드웨어 및/또는 소프트웨어 또는 이들의 임의의 조합에 의해 구현될 수 있다.
이러한 설명에 기초하여 기술자에게는 명백할 바와 같이, 도 1a에 도시되는 바와 같은 소스 디바이스(12) 및/또는 목적지 디바이스(14) 내의 기능성들 또는 상이한 유닛들의 기능성들의 존재 및 (정확한) 분열은 실제 디바이스 및 애플리케이션에 의존하여 달라질 수 있다.
인코더(20)(예를 들어, 비디오 인코더(20)) 및 디코더(30)(예를 들어, 비디오 디코더(30)) 각각은, 하나 이상의 마이크로프로세서, DSP(digital signal processors), ASIC(application-specific integrated circuits), FPGA(field-programmable gate arrays), 이산 로직, 하드웨어, 비디오 코딩 전용 또는 이들의 임의의 조합과 같은, 도 1b에 도시되는 바와 같은 다양한 적합한 회로 중 임의의 것으로서 구현될 수 있다. 이러한 기법들이 부분적으로 소프트웨어로 구현되면, 디바이스는 소프트웨어에 대한 명령어들을 적합한, 비-일시적 컴퓨터-판독가능 저장 매체에 저장할 수 있고, 본 개시내용의 기법들을 수행하기 위해 하나 이상의 프로세서를 사용하여 하드웨어로 이러한 명령어들을 실행할 수 있다. (하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합 등을 포함하는) 전술한 것 중 임의의 것이 하나 이상의 프로세서인 것으로 고려될 수 있다. 비디오 인코더(20) 및 비디오 디코더(30) 각각은 하나 이상의 인코더 또는 디코더에 포함될 수 있고, 이들 중 어느 하나는 각각의 디바이스에서 조합된 인코더/디코더(CODEC)의 일부분으로서 집적될 수 있다.
소스 디바이스(12) 및 목적지 디바이스(14)는, 임의의 종류의 핸드헬드 또는 고정 디바이스들, 예를 들어, 노트북 또는 랩톱 컴퓨터들, 모바일 폰들, 스마트 폰들, 태블릿들 또는 태블릿 컴퓨터들, 카메라들, 데스크톱 컴퓨터들, 셋-톱 박스들, 텔레비전들, 디스플레이 디바이스들, 디지털 매체 플레이어들, 비디오 게이밍 콘솔들, (콘텐츠 서비스 서버들 또는 콘텐츠 전달 서버들과 같은) 비디오 스트리밍 디바이스들, 방송 수신기 디바이스, 방송 송신기 디바이스 등을 포함하는 광범위한 디바이스들 중 임의의 것을 포함할 수 있고, 어떠한 운영 체제도 사용하지 않거나 또는 임의의 종류의 운영 체제를 사용할 수 있다. 일부 경우들에서, 소스 디바이스(12) 및 목적지 디바이스(14)는 무선 통신을 위해 구비될 수 있다. 따라서, 소스 디바이스(12) 및 목적지 디바이스(14)는 무선 통신 디바이스들일 수 있다.
일부 경우들에서, 도 1a에 예시되는 비디오 코딩 시스템(10)은 단지 예일 뿐이고, 본 출원의 기법들은 인코딩 및 디코딩 디바이스들 사이의 임의의 데이터 통신을 반드시 포함하는 것은 아닌 비디오 코딩 설정들(예를 들어, 비디오 인코딩 또는 비디오 디코딩)에 적용될 수 있다. 다른 예들에서, 데이터는 로컬 메모리로부터 검색되거나, 네트워크를 통해 스트리밍되거나, 등이다. 비디오 인코딩 디바이스는 데이터를 인코딩하여 메모리에 저장할 수 있고, 및/또는 비디오 디코딩 디바이스는 메모리로부터 데이터를 검색하고 디코딩할 수 있다. 일부 예들에서, 인코딩 및 디코딩은 서로 통신하지 않지만 데이터를 메모리에 단순히 인코딩하고 및/또는 메모리로부터 데이터를 검색 및 디코딩하는 디바이스들에 의해 수행된다.
도 1b는 예시적인 실시예에 따른 도 2의 인코더(20) 및/또는 도 3의 디코더(30)를 포함하는 다른 예시적인 비디오 코딩 시스템(40)의 예시적인 도면이다. 이러한 시스템(40)은 본 출원에서 설명되는 다양한 예들에 따른 기법들을 구현할 수 있다. 예시된 구현에서, 비디오 코딩 시스템(40)은 이미징 디바이스(들)(41), 비디오 인코더(100), 비디오 디코더(30)(및/또는 처리 유닛(들)(46)의 로직 회로(47)를 통해 구현되는 비디오 코더), 안테나(42), 하나 이상의 프로세서(들)(43), 하나 이상의 메모리 저장소(들)(44), 및/또는 디스플레이 디바이스(45)를 포함할 수 있다.
예시되는 바와 같이, 이미징 디바이스(들)(41), 안테나(42), 처리 유닛(들)(46), 로직 회로(47), 비디오 인코더(20), 비디오 디코더(30), 프로세서(들)(43), 메모리 저장소(들)(44), 및/또는 디스플레이 디바이스(45)는 서로 통신하는 것이 가능할 수 있다. 논의되는 바와 같이, 비디오 인코더(20) 및 비디오 디코더(30) 양자 모두로 예시되더라도, 비디오 코딩 시스템(40)은 다양한 예들에서 비디오 인코더(20)만 또는 비디오 디코더(30)만을 포함할 수 있다.
도시되는 바와 같이, 일부 예들에서, 비디오 코딩 시스템(40)은 안테나(42)를 포함할 수 있다. 안테나(42)는, 예를 들어, 비디오 데이터의 인코딩된 비트스트림을 송신 또는 수신하도록 구성될 수 있다. 추가로, 일부 예들에서, 비디오 코딩 시스템(40)은 디스플레이 디바이스(45)를 포함할 수 있다. 디스플레이 디바이스(45)는 비디오 데이터를 제시하도록 구성될 수 있다. 도시되는 바와 같이, 일부 예들에서, 로직 회로(47)는 처리 유닛(들)(46)을 통해 구현될 수 있다. 처리 유닛(들)(46)은 ASIC(application-specific integrated circuit) 로직, 그래픽 프로세서(들), 범용 프로세서(들) 등을 포함할 수 있다. 비디오 코딩 시스템(40)은, ASIC(application-specific integrated circuit) 로직, 그래픽 프로세서(들), 범용 프로세서(들) 등을 유사하게 포함할 수 있는, 선택적 프로세서(들)(43)를 또한 포함할 수 있다. 일부 예들에서, 로직 회로(47)는 하드웨어, 비디오 코딩 전용 하드웨어 등을 통해 구현될 수 있고, 프로세서(들)(43)는 범용 소프트웨어, 운영 체제들 등을 통해 구현될 수 있다. 또한, 메모리 저장소(44)는 휘발성 메모리(예를 들어, SRAM(Static Random Access Memory), DRAM(Dynamic Random Access Memory) 등) 또는 비-휘발성 메모리(예를 들어, 플래시 메모리 등) 등과 같은 임의의 타입의 메모리일 수 있다. 비-제한적인 예에서, 메모리 저장소(들)(44)는 캐시 메모리에 의해 구현될 수 있다. 일부 예들에서, 로직 회로(47)는 (예를 들어, 이미지 버퍼의 구현을 위해) 메모리 저장소(들)(44)에 액세스할 수 있다. 다른 예들에서, 로직 회로(47) 및/또는 처리 유닛(들)(46)은 이미지 버퍼 등의 구현을 위해 메모리 저장소(예를 들어, 캐시 등)를 포함할 수 있다.
일부 예들에서, 로직 회로를 통해 구현되는 비디오 인코더(20)는, (예를 들어, 처리 유닛(들)(46) 또는 메모리 저장소(들)(44)를 통한) 이미지 버퍼 및 (예를 들어, 처리 유닛(들)(46)을 통한) 그래픽 처리 유닛을 포함할 수 있다. 그래픽 처리 유닛은 이미지 버퍼에 통신가능하게 연결될 수 있다. 그래픽 처리 유닛은 도 2에 관하여 논의되는 바와 같은 다양한 모듈들 및/또는 본 명세서에 설명되는 임의의 다른 인코더 시스템 또는 서브시스템을 구현하기 위해 로직 회로(47)를 통해 구현되는 바와 같은 비디오 인코더(20)를 포함할 수 있다. 로직 회로는 본 명세서에서 논의되는 바와 같은 다양한 동작들을 수행하도록 구성될 수 있다.
비디오 디코더(30)는 도 3의 디코더(30)에 관하여 논의되는 바와 같은 다양한 모듈들 및/또는 본 명세서에 설명되는 임의의 다른 디코더 시스템 또는 서브시스템을 구현하기 위해 로직 회로(47)를 통해 구현되는 것과 유사한 방식으로 구현될 수 있다. 일부 예들에서, 비디오 디코더(30)는 (예를 들어, 처리 유닛(들)(420) 또는 메모리 저장소(들)(44)를 통한) 이미지 버퍼 및 (예를 들어, 처리 유닛(들)(46)을 통한) 그래픽 처리 유닛을 포함할 수 있는 로직 회로를 통해 구현될 수 있다. 그래픽 처리 유닛은 이미지 버퍼에 통신가능하게 연결될 수 있다. 그래픽 처리 유닛은 도 3에 관하여 논의되는 바와 같은 다양한 모듈들 및/또는 본 명세서에 설명되는 임의의 다른 디코더 시스템 또는 서브시스템을 구현하기 위해 로직 회로(47)를 통해 구현되는 비디오 디코더(30)를 포함할 수 있다.
일부 예들에서, 비디오 코딩 시스템(40)의 안테나(42)는 비디오 데이터의 인코딩된 비트스트림을 수신하도록 구성될 수 있다. 논의되는 바와 같이, 인코딩된 비트스트림은, 코딩 파티션과 연관된 데이터(예를 들어, 변환 계수들 또는 양자화된 변환 계수들, (논의되는 바와 같은) 선택적 표시자들, 및/또는 코딩 파티션을 정의하는 데이터)와 같은, 본 명세서에서 논의되는 바와 같은 비디오 프레임을 인코딩하는 것과 연관된 데이터, 표시자들, 인덱스 값들, 모드 선택 데이터 등을 포함할 수 있다. 비디오 코딩 시스템(40)은 안테나(42)에 연결되는 그리고 인코딩된 비트스트림을 디코딩하도록 구성되는 비디오 디코더(30)를 또한 포함할 수 있다. 디스플레이 디바이스(45)는 비디오 프레임들을 제시하도록 구성된다.
설명의 편의를 위해, 본 발명의 실시예들은, 예를 들어, ITU-T VCEG(Video Coding Experts Group) 및 ISO/IEC MPEG(Motion Picture Experts Group)의 JCT-VC(Joint Collaboration Team on Video Coding)에 의해 개발된 차세대 비디오 코딩 표준인, HEVC(High-Efficiency Video Coding) 또는 VVC(Versatile Video coding)의 참조 소프트웨어를 참조하여 본 명세서에 설명된다. 해당 분야에서의 통상의 기술자는 본 발명의 실시예들이 HEVC 또는 VVC에 제한되지 않는다는 점을 이해할 것이다.
인코더 및 인코딩 방법
도 2는 본 출원의 기법들을 구현하도록 구성되는 예시적인 비디오 인코더(20)의 개략 블록도를 도시한다. 도 2의 예에서, 비디오 인코더(20)는 입력(201)(또는 입력 인터페이스(201)), 잔차 계산 유닛(204), 변환 처리 유닛(206), 양자화 유닛(208), 역 양자화 유닛(210), 및 역 변환 처리 유닛(212), 재구성 유닛(214), 루프 필터 유닛(220), DPB(decoded picture buffer)(230), 모드 선택 유닛(260), 엔트로피 인코딩 유닛(270) 및 출력(272)(또는 출력 인터페이스(272))을 포함한다. 모드 선택 유닛(260)은 인터 예측 유닛(244), 인트라 예측 유닛(254) 및 파티셔닝 유닛(262)을 포함할 수 있다. 인터 예측 유닛(244)은 모션 추정 유닛 및 모션 보상 유닛(도시되지 않음)을 포함할 수 있다. 도 2에 도시되는 바와 같은 비디오 인코더(20)는 하이브리드 비디오 인코더 또는 하이브리드 비디오 코덱에 따른 비디오 인코더라고 또한 지칭될 수 있다.
잔차 계산 유닛(204), 변환 처리 유닛(206), 양자화 유닛(208), 모드 선택 유닛(260)은 인코더(20)의 순방향 신호 경로를 형성하는 것으로 참조될 수 있는 반면, 역 양자화 유닛(210), 역 변환 처리 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터(220), 디코딩된 화상 버퍼 (DPB)(230), 인터 예측 유닛(244) 및 인트라 예측 유닛(254)은 비디오 인코더(20)의 역방향 신호 경로를 형성하는 것으로 참조될 수 있고, 비디오 인코더(20)의 역방향 신호 경로는 디코더(도 3의 비디오 디코더(30) 참조)의 신호 경로에 대응한다. 역 양자화 유닛(210), 역 변환 처리 유닛(212), 재구성 유닛(214), 루프 필터(220), DPB(decoded picture buffer)(230), 인터 예측 유닛(244) 및 인트라 예측 유닛(254)은 비디오 인코더(20)의 "내장 디코더(built-in decoder)"를 형성하는 것으로 또한 참조된다.
화상들 및 화상 파티셔닝 (화상들 및 블록들)
인코더(20)는, 예를 들어, 입력(201)을 통해, 화상(17)(또는 화상 데이터(17)), 예를 들어, 비디오 또는 비디오 시퀀스를 형성하는 화상들의 시퀀스의 화상을 수신하도록 구성될 수 있다. 수신된 화상 또는 화상 데이터는 또한 전처리된 화상(19)(또는 전처리된 화상 데이터(19))일 수 있다. 단순화를 위해, 다음 설명은 화상(17)을 참조한다. 화상(17)은 현재 화상 또는 (특히, 현재 화상을 다른 화상들, 예를 들어, 동일한 비디오 시퀀스, 즉, 현재 화상을 또한 포함하는 비디오 시퀀스의 이전에 인코딩된 및/또는 디코딩된 화상들과 구별하기 위해 비디오 코딩에서) 코딩될 화상이라고 또한 지칭될 수 있다.
(디지털) 화상은 강도 값들이 있는 샘플들의 2-차원 어레이 또는 행렬이거나 또는 그것으로 간주될 수 있다. 이러한 어레이에서의 샘플은 픽셀(짧은 형태의 화상 엘리먼트) 또는 화소라고 또한 지칭될 수 있다. 어레이 또는 화상의 수평 및 수직 방향(또는 축)에서의 샘플들의 수는 화상의 크기 및/또는 해상도를 정의한다. 컬러의 표현을 위해, 통상적으로 3개의 컬러 성분들이 이용된다, 즉, 화상은 3개의 샘플 어레이들로서 표현되거나 또는 이를 포함할 수 있다. RBG 포맷 또는 컬러 공간에서 화상은 대응하는 적색, 녹색 및 청색 샘플 어레이를 포함한다. 그러나, 비디오 코딩에서 각각의 픽셀은 휘도 및 색차 포맷 또는 컬러 공간, 예를 들어, Y에 의해 표시되는 휘도 성분 (때때로 또한 L이 대신 사용됨) 및 Cb 및 Cr에 의해 표시되는 2개의 색차 성분들을 포함하는, YCbCr로 통상적으로 표현된다. 휘도(줄여서 루마) 성분 Y는 (예를 들어, 그레이-스케일 화상에서와 같이) 밝기 또는 그레이 레벨 강도를 표현하고, 한편 2개의 색차(줄여서 크로마) 성분들 Cb 및 Cr은 색도 또는 컬러 정보 성분들을 표현한다. 따라서, YCbCr 포맷에서의 화상은 휘도 샘플 값들(Y)의 휘도 샘플 어레이, 및 색차 값들(Cb 및 Cr)의 2개의 색차 샘플 어레이들을 포함한다. RGB 포맷에서의 화상들은 YCbCr 포맷으로 변환될(converted or transformed) 수 있고, 그 반대의 경우도 가능하며, 이러한 프로세스는 컬러 변환(transformation or conversion)이라고 또한 알려져 있다. 화상이 흑백이면, 화상은 휘도 샘플 어레이만을 포함할 수 있다. 따라서, 화상은, 예를 들어, 흑백 포맷에서의 루마 샘플들의 어레이 또는 4:2:0, 4:2:2, 및 4:4:4 컬러 포맷에서의 루마 샘플들의 어레이 및 크로마 샘플들의 2개의 대응하는 어레이들일 수 있다.
비디오 인코더(20)의 실시예들은 화상(17)을 복수의(통상적으로 비-중첩) 화상 블록들(203)로 파티셔닝하도록 구성되는 화상 파티셔닝 유닛(도 2에 묘사되지 않음)을 포함할 수 있다. 이러한 블록들은 루트 블록들, 매크로 블록들(H.264/AVC) 또는 CTB(coding tree blocks) 또는 CTU(coding tree units)(H.265/HEVC 및 VVC)라고 또한 지칭될 수 있다. 화상 파티셔닝 유닛은 비디오 시퀀스의 모든 화상들 및 블록 크기를 정의하는 대응하는 그리드에 대해 동일한 블록 크기를 사용하도록, 또는 화상들 또는 화상들의 서브세트들 또는 그룹들 사이에서 블록 크기를 변경하도록, 그리고 각각의 화상을 대응하는 블록들로 파티셔닝하도록 구성될 수 있다.
추가 실시예들에서, 비디오 인코더는 화상(17)의 블록(203), 예를 들어, 화상(17)을 형성하는 하나의, 몇몇 또는 모든 블록을 직접 수신하도록 구성될 수 있다. 화상 블록(203)은 현재 화상 블록 또는 코딩될 화상 블록이라고 또한 지칭될 수 있다.
화상(17)과 같이, 화상 블록(203)은 다시, 화상(17)보다 더 작은 치수이더라도, 강도 값들(샘플 값들)이 있는 샘플들의 2-차원 어레이 또는 행렬이거나 또는 그것으로 간주될 수 있다. 다시 말해서, 블록(203)은, 적용된 컬러 포맷에 의존하여, 예를 들어, 하나의 샘플 어레이(예를 들어, 흑백 화상(17)의 경우에는 루마 어레이, 또는 컬러 화상의 경우에는 루마 또는 크로마 어레이) 또는 3개의 샘플 어레이들(예를 들어, 컬러 화상(17)의 경우에는 루마 및 2개의 크로마 어레이들) 또는 임의의 다른 수 및/또는 종류의 어레이들을 포함할 수 있다. 블록(203)의 수평 및 수직 방향(또는 축)에서의 샘플들의 수는 블록(203)의 크기를 정의한다. 따라서, 블록은, 예를 들어, 샘플들의 MxN(M-열 x N-행) 어레이, 또는 변환 계수들의 MxN 어레이일 수 있다.
도 2에 도시되는 바와 같은 비디오 인코더(20)의 실시예들은 화상(17)을 블록 단위로 인코딩하도록 구성될 수 있고, 예를 들어, 인코딩 및 예측이 블록(203) 당 수행된다.
잔차 계산
잔차 계산 유닛(204)은, 예를 들어, 화상 블록(203)의 샘플 값들로부터 예측 블록(265)의 샘플 값들을 샘플 단위로(픽셀 단위로) 감산하여 샘플 도메인에서 잔차 블록(205)을 획득하는 것에 의해, 화상 블록(203) 및 예측 블록(265)에 기초하여 잔차 블록(205)(잔차(205)라고 또한 지칭됨)을 계산하도록 구성될 수 있다(예측 블록(265)에 관한 추가의 상세사항들이 나중에 제공됨).
변환
변환 처리 유닛(206)은, 변환 도메인에서 변환 계수들(207)을 획득하기 위해 잔차 블록(205)의 샘플 값들에, DCT(discrete cosine transform) 또는 DST(discrete sine transform)와 같은, 변환을 적용하도록 구성될 수 있다. 변환 계수들(207)은 변환 잔차 계수들이라고 또한 지칭될 수 있고, 변환 도메인에서 잔차 블록(205)을 표현할 수 있다.
변환 처리 유닛(206)은, H.265/HEVC에 대해 명시되는 변환들과 같은, DCT/DST의 정수 근사화들을 적용하도록 구성될 수 있다. 직교 DCT 변환에 비해, 이러한 정수 근사화들은 특정 인자에 의해 통상적으로 스케일링된다. 순방향 및 역 변환들에 의해 처리되는 잔차 블록의 놈(norm)을 보존하기 위해, 추가적 스케일링 인자들이 변환 프로세스의 부분으로서 적용된다. 이러한 스케일링 인자들은 스케일링 인자들이 시프트 연산들에 대한 2의 거듭제곱, 변환 계수들의 비트 심도, 정확도와 구현 비용들 사이의 트레이드오프 등인 것과 같이 특정 제약들에 기초하여 통상적으로 선택된다. 구체적 스케일링 인자들은, 예를 들어, 역 변환 처리 유닛(212)에 의해 역 변환(및, 예를 들어, 비디오 디코더(30)에서 역 변환 처리 유닛(312)에 의해 대응하는 역 변환)에 대해, 예를 들어, 명시되고, 인코더(20)에서, 예를 들어, 변환 처리 유닛(206)에 의해, 순방향 변환에 대한 대응하는 스케일링 인자들이 따라서 명시될 수 있다.
비디오 인코더(20)의 실시예들(각각, 변환 처리 유닛(206))은, 예를 들어, 엔트로피 인코딩 유닛(270)을 통해 인코딩하여 또는 압축하여 또는 직접, 변환 파라미터들, 예를 들어, 변환 또는 변환들의 타입을 출력하도록 구성될 수 있어, 예를 들어, 비디오 디코더(30)가 디코딩을 위해 변환 파라미터들을 수신하고 사용할 수 있다.
양자화
양자화 유닛(208)은, 예를 들어, 스칼라 양자화 또는 벡터 양자화를 적용하는 것에 의해, 변환 계수들(207)을 양자화하여 양자화된 계수들(209)을 획득하도록 구성될 수 있다. 양자화된 계수들(209)은 양자화된 변환 계수들(209) 또는 양자화된 잔차 계수들(209)이라고 또한 지칭될 수 있다.
양자화 프로세스는 변환 계수들(207)의 일부 또는 전부와 연관된 비트 심도를 감소시킬 수 있다. 예를 들어, n-비트 변환 계수는 양자화 동안 m-비트 변환 계수로 라운딩 다운될 수 있으며, 여기서 n은 m 초과이다. 양자화의 정도는 QP(quantization parameter)를 조정하는 것에 의해 수정될 수 있다. 예를 들어, 스칼라 양자화에 대해, 더 미세한 또는 더 거친 양자화를 달성하기 위해 상이한 스케일링이 적용될 수 있다. 더 작은 양자화 단계 크기들은 더 미세한 양자화에 대응하는 반면, 더 큰 양자화 단계 크기들은 더 거친 양자화에 대응한다. 적용가능한 양자화 단계 크기는 QP(quantization parameter)에 의해 표시될 수 있다. 양자화 파라미터는 예를 들어, 미리 정의된 세트의 적용가능한 양자화 단계 크기들에 대한 인덱스일 수 있다. 예를 들어, 작은 양자화 파라미터들은 미세한 양자화(작은 양자화 단계 크기들)에 대응할 수 있고 큰 양자화 파라미터들은 거친 양자화(큰 양자화 단계 크기들)에 대응할 수 있거나 또는 그 반대일 수 있다. 양자화는 양자화 단계 크기에 의한 제산을 포함할 수 있고, 예를 들어, 역 양자화 유닛(210)에 의한, 대응하는 및/또는 역 양자화해제는 양자화 단계 크기에 의한 승산을 포함할 수 있다. 일부 표준들, 예를 들어, HEVC에 따른 실시예들은 양자화 파라미터를 사용하여 양자화 단계 크기를 결정하도록 구성될 수 있다. 일반적으로, 양자화 단계 크기는 제산을 포함하는 방정식의 고정 소수점 근사화를 사용하여 양자화 파라미터에 기초하여 계산될 수 있다. 잔차 블록의 놈(norm)을 복원하기 위해 양자화 및 양자화해제에 대해 추가적 스케일링 인자들이 도입될 수 있고, 이는 양자화 단계 크기 및 양자화 파라미터에 대한 방정식의 고정 소수점 근사화에서 사용되는 스케일링 때문에 수정될 수 있다. 하나의 예시적인 구현에서, 역 변환 및 양자화해제의 스케일링이 조합될 수 있다. 대안적으로, 맞춤화된 양자화 테이블들이 사용되어 인코더로부터 디코더로, 예를 들어, 비트스트림으로 시그널링될 수 있다. 양자화는 손실 연산이고, 이러한 손실은 양자화 단계 크기들이 증가함에 따라 증가한다.
비디오 인코더(20)의 실시예들(각각, 양자화 유닛(208))은, 예를 들어, 엔트로피 인코딩 유닛(270)을 통해 인코딩하여 또는 직접, QP들(quantization parameters)을 출력하도록 구성될 수 있어, 예를 들어, 비디오 디코더(30)가 디코딩을 위해 양자화 파라미터들을 수신하고 적용할 수 있다.
역 양자화
역 양자화 유닛(210)은, 예를 들어, 양자화 유닛(208)과 동일한 양자화 단계 크기에 기초하여 또는 이를 사용하여 양자화 유닛(208)에 의해 적용되는 양자화 스킴의 역을 적용하는 것에 의해, 양자화 유닛(208)의 역 양자화를 양자화된 계수들에 적용하여 양자화해제된 계수들(211)을 획득하도록 구성된다. 양자화해제된 계수들(211)은 양자화해제된 잔차 계수들(211)이라고 또한 지칭될 수 있고, - 양자화에 의한 손실로 인해 변환 계수들과 통상적으로 동일하지 않더라도 - 변환 계수들(207)에 대응할 수 있다.
역 변환
역 변환 처리 유닛(212)은 변환 처리 유닛(206)에 의해 적용되는 변환의 역 변환, 예를 들어, 역 DCT(discrete cosine transform) 또는 역 DST(discrete sine transform) 또는 다른 역 변환들을 적용하여, 샘플 도메인에서 재구성된 잔차 블록(213)(또는 대응하는 양자화해제된 계수들(213))을 획득하도록 구성된다. 재구성된 잔차 블록(213)은 변환 블록(213)이라고 또한 지칭될 수 있다.
재구성
재구성 유닛(214)(예를 들어, 가산기 또는 합산기(214))은, 예를 들어, -샘플 단위로- 재구성된 잔차 블록(213)의 샘플 값들 및 예측 블록(265)의 샘플 값들을 가산하는 것에 의해, 변환 블록(213)(즉, 재구성된 잔차 블록(213))을 예측 블록(265)에 가산하여 샘플 도메인에서 재구성된 블록(215)을 획득하도록 구성된다.
필터링
루프 필터 유닛(220)(줄여서 "루프 필터(loop filter)"(220))은, 재구성된 블록(215)을 필터링하여 필터링된 블록(221)을 획득하도록, 또는 일반적으로, 재구성된 샘플들을 필터링하여 필터링된 샘플들을 획득하도록 구성된다. 루프 필터 유닛은, 예를 들어, 픽셀 전이들을 평활화하도록, 또는 그렇지 않으면 비디오 품질을 개선하도록 구성된다. 루프 필터 유닛(220)은 블록화-해제 필터와 같은 하나 이상의 루프 필터, SAO(sample-adaptive offset) 필터 또는 쌍방 필터, ALF(adaptive loop filter), 샤프닝, 평활화 필터 또는 협업 필터와 같은 하나 이상의 다른 필터, 또는 이들의 임의의 조합을 포함할 수 있다. 루프 필터 유닛(220)이 인 루프 필터인 것으로서 도 2에 도시되더라도, 다른 구성들에서, 루프 필터 유닛(220)은 포스트 루프 필터로서 구현될 수 있다. 필터링된 블록(221)은 필터링된 재구성된 블록(221)이라고 또한 지칭될 수 있다. 루프 필터 유닛(220)이 재구성된 코딩 블록에 대해 필터링 동작을 수행한 후에, 디코딩된 화상 버퍼(230)는 재구성된 코딩 블록을 저장할 수 있다.
비디오 인코더(20)의 실시예들(각각, 루프 필터 유닛(220))은, 예를 들어, 엔트로피 인코딩 유닛(270)을 통해 인코딩하여 또는 직접, (샘플 적응적 오프셋 정보와 같은) 루프 필터 파라미터들을 출력하도록 구성될 수 있어, 예를 들어, 디코더(30)가 디코딩을 위해 동일한 루프 필터 파라미터들 또는 각각의 루프 필터들을 수신하고 적용할 수 있다.
디코딩된 화상 버퍼
DPB(decoded picture buffer)(230)는 비디오 인코더(20)에 의해 비디오 데이터를 인코딩하기 위해 참조 화상들, 또는 일반적으로 참조 화상 데이터를, 저장하고 있는 메모리일 수 있다. DPB(230)는, SDRAM(synchronous DRAM), MRAM(magnetoresistive RAM), RRAM(resistive RAM), 또는 다른 타입들의 메모리 디바이스들을 포함하는, DRAM(dynamic random access memory)과 같은, 다양한 메모리 디바이스들 중 임의의 것에 의해 형성될 수 있다. DPB(decoded picture buffer)(230)는 하나 이상의 필터링된 블록(221)을 저장하도록 구성될 수 있다. 디코딩된 화상 버퍼(230)는 동일한 현재 화상의 또는 상이한 화상들, 예를 들어, 이전에 재구성된 화상들의 다른 이전에 필터링된 블록들, 예를 들어, 이전에 재구성된 그리고 필터링된 블록들(221)을 저장하도록 추가로 구성될 수 있고, 예를 들어, 인터 예측을 위해, 완전히 이전에 재구성된, 즉, 디코딩된, 화상들(및 대응하는 참조 블록들 및 샘플들) 및/또는 부분적으로 재구성된 현재 화상(및 대응하는 참조 블록들 및 샘플들)을 제공할 수 있다. DPB(decoded picture buffer)(230)는, 예를 들어, 재구성된 블록(215)이 루프 필터 유닛(220)에 의해 필터링되지 않으면, 하나 이상의 필터링되지 않은 재구성된 블록들(215), 또는 일반적으로 필터링되지 않은 재구성된 샘플들, 또는 재구성된 블록들 또는 샘플들의 임의의 다른 추가적 처리된 버전을 저장하도록 또한 구성될 수 있다.
모드 선택 (파티셔닝 및 예측)
모드 선택 유닛(260)은 파티셔닝 유닛(262), 인터 예측 유닛(244) 및 인트라 예측 유닛(254)을 포함하고, 원래의 블록(203)(현재 화상(17)의 현재 블록(203))과 같은, 원래의 화상 데이터, 및, 동일한(현재) 화상의 필터링된 및/또는 필터링되지 않은 재구성된 샘플들 또는 블록들과 같은, 재구성된 화상 데이터를 및/또는 하나의 또는 복수의 이전에 디코딩된 화상으로부터, 예를 들어, 디코딩된 화상 버퍼(230) 또는 다른 버퍼들(예를 들어, 라인 버퍼, 도시되지 않음)로부터 수신 또는 획득하도록 구성된다. 재구성된 화상 데이터는, 예측 블록(265) 또는 예측기(265)를 획득하기 위해, 예측, 예를 들어, 인터 예측 또는 인트라 예측을 위한 참조 화상 데이터로서 사용된다.
모드 선택 유닛(260)은 현재 블록 예측 모드(어떠한 파티셔닝도 포함하지 않음) 및 예측 모드(예를 들어, 인트라 또는 인터 예측 모드)에 대한 파티셔닝을 결정 또는 선택하도록 그리고 대응하는 예측 블록(265)을 생성하도록 구성될 수 있으며, 이는 잔차 블록(205)의 계산을 위해 그리고 재구성된 블록(215)의 재구성을 위해 사용된다.
모드 선택 유닛(260)의 실시예들은 (예를 들어, 모드 선택 유닛(260)에 의해 지원되는 또는 이에 대해 이용가능한 것들로부터) 파티셔닝 및 예측 모드를 선택하도록 구성될 수 있고, 이는 최상의 매칭 또는 다시 말해서 최소 잔차(최소 잔차는 송신 또는 저장을 위한 더 양호한 압축을 의미함), 또는 최소 시그널링 오버헤드(최소 시그널링 오버헤드는 송신 또는 저장을 위한 더 양호한 압축을 의미함)를 제공하거나, 또는 이는 양자 모두를 고려하거나 또는 균형화한다. 모드 선택 유닛(260)은 RDO(rate distortion optimization)에 기초하여 파티셔닝 및 예측 모드를 결정하도록, 즉, 최소 레이트 왜곡을 제공하는 예측 모드를 선택하도록 구성될 수 있다. 이러한 맥락에서 "최상(best)", "최소(minimum)", "최적(optimum)" 등과 같은 용어들이 전체적인 "최상(best)", "최소(minimum)", "최적(optimum)" 등을 반드시 지칭하는 것은 아니라, "차선 선택(sub-optimum selection)"으로 잠재적으로 이어지지만 복잡성 및 처리 시간을 감소시키는 다른 제약들 또는 임계값을 초과하는 또는 그 아래로 떨어지는 값과 같은 종료 또는 선택 기준의 충족을 또한 지칭할 수 있다.
다시 말해서, 파티셔닝 유닛(262)은, 예를 들어, QT(quad-tree-partitioning), BT(binary-tree partitioning) 또는 TT(triple-tree-partitioning) 또는 이들의 임의의 조합을 반복적으로 사용하여, 블록(203)을 더 작은 블록 파티션들 또는 서브-블록들(블록들을 다시 형성함)로 파티셔닝하도록, 그리고 블록 파티션들 또는 서브-블록들 각각에 대한 예측을 수행하도록 구성될 수 있고, 모드 선택은 파티셔닝된 블록(203)의 트리-구조의 선택을 포함하고 예측 모드들이 블록 파티션들 또는 서브-블록들 각각에 적용된다.
다음에서는, 예시적인 비디오 인코더(20)에 의해 수행되는 파티셔닝(예를 들어, 파티셔닝 유닛(260)에 의함) 및 예측 처리(인터 예측 유닛(244) 및 인트라 예측 유닛(254)에 의함)가 보다 상세히 설명될 것이다.
파티셔닝
파티셔닝 유닛(262)은 현재 블록(203)을 더 작은 파티션들, 예를 들어, 정사각형 또는 직사각형 크기의 더 작은 블록들로 파티셔닝(또는 분열)할 수 있다. 이러한 더 작은 블록들(서브-블록들이라고 또한 지칭될 수 있음)은 훨씬 더 작은 파티션들로 추가로 파티셔닝될 수 있다. 이러한 것은 트리-파티셔닝(tree-partitioning) 또는 계층적 트리-파티셔닝(hierarchical tree-partitioning)이라고 또한 지칭되며, 예를 들어, 루트 트리-레벨 0(계층-레벨 0, 심도 0)에서의, 루트 블록은, 재귀적으로 파티셔닝될 수 있고, 예를 들어, 다음 하위 트리-레벨의 2개 이상의 블록들, 예를 들어, 트리-레벨 1(계층-레벨 1, 심도 1)에서의 노드들로 파티셔닝될 수 있으며, 이러한 블록들은, 예를 들어, 종료 기준이 충족되기 때문에, 예를 들어, 최대 트리 심도 또는 최소 블록 크기가 도달되기 때문에 파티셔닝이 종료될 때까지 다음 하위 레벨, 예를 들어, 트리-레벨 2(계층-레벨 2, 심도 2) 등의 2개 이상의 블록들로 다시 파티셔닝될 수 있다. 추가로 파티셔닝되지 않은 블록들은 트리의 리프-블록들 또는 리프 노드들이라고 또한 지칭된다. 2개의 파티션으로의 파티셔닝을 사용하는 트리는 BT(binary-tree)라고 지칭되고, 3개의 파티션으로의 파티셔닝을 사용하는 트리는 TT(ternary-tree)라고 지칭되고, 4개의 파티션으로의 파티셔닝을 사용하는 트리는 QT(quad-tree)라고 지칭된다.
전술된 바와 같이, 본 명세서에서 사용되는 바와 같은 "블록(block)"이라는 용어는 화상의 부분, 특히 정사각형 또는 직사각형 부분일 수 있다. 예를 들어, HEVC 및 VVC를 참조하면, 블록은 CTU(coding tree unit), CU(coding unit), PU(prediction unit), 또는 TU(transform unit)일 수 있거나 또는 이에 대응할 수 있고, 및/또는 대응하는 블록들, 예를 들어, CTB(coding tree block), CB(coding block), TB(transform block), 또는 PB(prediction block)일 수 있거나 또는 이에 대응할 수 있다.
예를 들어, CTU(coding tree unit)는 3개의 샘플 어레이들을 갖는 화상의 크로마 샘플들의 2개의 대응하는 CTB들 및 루마 샘플들의 CTB, 또는 샘플들을 코딩하기 위해 사용되는 3개의 개별 컬러 평면들 및 신택스 구조들을 사용하여 코딩되는 화상 또는 흑백 화상의 샘플들의 CTB이거나 또는 이를 포함할 수 있다. 대응하여, CTB(coding tree block)는 N의 일부 값에 대해 샘플들의 N×N 블록일 수 있어서 CTB들로의 컴포넌트의 분할이 파티셔닝이다. CU(coding unit)는 3개의 샘플 어레이들을 갖는 화상의 크로마 샘플들의 2개의 대응하는 코딩 블록들 및 루마 샘플들의 코딩 블록, 또는 샘플들을 코딩하기 위해 사용되는 3개의 개별 컬러 평면들 및 신택스 구조들을 사용하여 코딩되는 화상 또는 흑백 화상의 샘플들의 코딩 블록일 수 있거나 또는 이를 포함할 수 있다. 대응하여, CB(coding block)는 M 및 N의 일부 값들에 대해 샘플들의 MxN 블록일 수 있어서 코딩 블록들로의 CTB의 분할이 파티셔닝이다.
일부 실시예들에서, 예를 들어, HEVC에 따르면, CTU(coding tree unit)는 코딩 트리로서 표기되는 쿼드-트리 구조를 사용하여 CU들로 분열될 수 있다. 인터 화상 (시간적) 또는 인트라 화상 (공간적) 예측을 사용하여 화상 영역을 코딩할지의 결정은 CU 레벨에서 이루어진다. 각각의 CU는 PU 분열 타입에 따라 하나의, 2개의 또는 4개의 PU로 추가로 분열될 수 있다. 하나의 PU 내부에서, 동일한 예측 프로세스가 적용되고 관련 정보가 PU 기반으로 디코더에 송신된다. PU 분열 타입에 기초하여 예측 프로세스를 적용하는 것에 의해 잔차 블록을 획득한 후에, CU는 CU에 대한 코딩 트리와 유사한 다른 쿼드트리 구조에 따라 TU들(transform units)로 파티셔닝될 수 있다.
실시예들에서, 예를 들어, VVC(Versatile Video Coding)라고 지칭되는, 현재 개발 중인 최근 비디오 코딩 표준에 따라, 코딩 블록을 파티셔닝하기 위해 QTBT(Quad-tree and binary tree) 파티셔닝이 사용된다. QTBT 블록 구조에서, CU는 정사각형 또는 직사각형 형상을 가질 수 있다. 예를 들어, CTU(coding tree unit)가 쿼드트리 구조에 의해 먼저 파티셔닝된다. 쿼드트리 리프 노드들은 2진 트리 또는 3진(또는 3중) 트리 구조에 의해 추가로 파티셔닝된다. 파티셔닝 트리 리프 노드들은 CU들(coding units)이라고 불리고, 해당 세그먼트화는 어떠한 추가적 파티셔닝도 없이 예측 및 변환 처리를 위해 사용된다. 이러한 것은 CU, PU 및 TU가 QTBT 코딩 블록 구조에서 동일한 블록 크기를 갖는다는 점을 의미한다. 병렬로, 다수의 파티션, 예를 들어, 3중 트리 파티션이 QTBT 블록 구조와 함께 사용되도록 또한 제안되었다.
하나의 예에서, 비디오 인코더(20)의 모드 선택 유닛(260)은 본 명세서에 설명되는 파티셔닝 기법들의 임의의 조합을 수행하도록 구성될 수 있다.
위에 설명된 바와 같이, 비디오 인코더(20)는 (미리 결정된) 예측 모드들의 세트로부터 최상 또는 최적 예측 모드를 결정 또는 선택하도록 구성된다. 예측 모드들의 세트는, 예를 들어, 인트라 예측 모드들 및/또는 인터 예측 모드들을 포함할 수 있다.
인트라 예측
인트라 예측 모드들의 세트는, 예를 들어, HEVC에서 정의되는 바와 같이, DC(또는 평균) 모드 및 평면 모드와 같은 비-지향성 모드들, 또는 지향성 모드들과 같은, 35개의 상이한 인트라 예측 모드들을 포함할 수 있거나, 또는, 예를 들어, VVC에 대해 정의되는 바와 같이, DC(또는 평균) 모드 및 평면 모드와 같은 비-지향성 모드들, 또는 지향성 모드들과 같은, 67개의 상이한 인트라 예측 모드들을 포함할 수 있다.
인트라 예측 유닛(254)은 동일한 현재 화상의 이웃 블록들의 재구성된 샘플들을 사용하여 인트라 예측 모드들의 세트로부터의 인트라 예측 모드에 따라 인트라 예측 블록(265)을 생성하도록 구성된다.
인트라 예측 유닛(254)(또는 일반적으로 모드 선택 유닛(260))은 인코딩된 화상 데이터(21)로의 포함을 위해 신택스 엘리먼트들(266)의 형태로 엔트로피 인코딩 유닛(270)에 인트라 예측 파라미터들(또는 일반적으로 블록에 대한 선택된 인트라 예측 모드를 표시하는 정보)을 출력하도록 추가로 구성될 수 있어서, 예를 들어, 비디오 디코더(30)는 디코딩을 위해 예측 파라미터들을 수신하고 사용할 수 있다.
인터 예측
(또는 가능한) 인터 예측 모드들의 세트는 이용가능한 참조 화상들(즉, 예를 들어, DBP(230)에 저장되는, 이전의 적어도 부분적으로 디코딩된 화상들) 및 다른 인터 예측 파라미터들, 예를 들어, 최상의 매칭 참조 블록을 검색하기 위해, 참조 화상의, 전체 참조 화상 또는 그 일부분만, 예를 들어, 현재 블록의 영역 주위의 검색 윈도우 영역만이 사용되는지, 및/또는, 예를 들어, 1/2/반-화소 및/또는 1/4-화소 보간과 같은, 예를 들어, 픽셀 보간이 적용되는지 여부에 의존한다.
위 예측 모드들에 추가적으로, 스킵 모드 및/또는 직접 모드가 적용될 수 있다.
인터 예측 유닛(244)은 ME(motion estimation) 유닛 및 MC(motion compensation) 유닛(양자 모두 도 2에 도시되지 않음)을 포함할 수 있다. 모션 추정 유닛은, 모션 추정을 위해, 화상 블록(203)(현재 화상(17)의 현재 화상 블록(203)) 및 디코딩된 화상(231), 또는 적어도 하나의 또는 복수의 이전에 재구성된 블록, 예를 들어, 하나의 또는 복수의 다른/상이한 이전에 디코딩된 화상(231)의 재구성된 블록을 수신 또는 획득하도록 구성된다. 예를 들어, 비디오 시퀀스는 현재 화상 및 이전에 디코딩된 화상들(231)을 포함할 수 있거나, 또는 다시 말해서, 현재 화상 및 이전에 디코딩된 화상들(231)은 비디오 시퀀스를 형성하는 화상들의 부분일 수 있거나 또는 그 시퀀스를 형성할 수 있다.
인코더(20)는 복수의 다른 화상들 중 동일한 또는 상이한 화상들의 복수의 참조 블록들로부터 참조 블록을 선택하도록 그리고 참조 화상(또는 참조 화상 인덱스) 및/또는 참조 블록의 위치(x, y 좌표들)와 현재 블록의 위치 사이의 오프셋(공간적 오프셋)을 모션 추정 유닛에 인터 예측 파라미터들로서 제공하도록 구성될 수 있다. 이러한 오프셋은 MV(motion vector)라고 또한 불린다.
모션 보상 유닛은 인터 예측 파라미터를 획득하도록, 예를 들어, 수신하도록 그리고 인터 예측 파라미터에 기초하여 또는 이를 사용하여 인터 예측을 수행하여 인터 예측 블록(265)을 획득하도록 구성된다. 모션 보상 유닛에 의해 수행되는, 모션 보상은 모션 추정에 의해 결정되는 모션/블록 벡터에 기초하여 예측 블록을 페치하는 것 또는 생성하는 것, 가능하게는 서브-픽셀 정밀도에 대한 보간들을 수행하는 것을 수반할 수 있다. 보간 필터링은 알려진 픽셀 샘플들로부터 추가적 픽셀 샘플들을 생성할 수 있고, 따라서 화상 블록을 코딩하기 위해 사용될 수 있는 후보 예측 블록들의 수를 잠재적으로 증가시킨다. 현재 화상 블록의 PU에 대한 모션 벡터를 수신하면, 모션 보상 유닛은 참조 화상 리스트들 중 하나에서 모션 벡터가 포인팅하는 예측 블록의 위치를 찾아낼 수 있다.
모션 보상 유닛은 비디오 슬라이스의 화상 블록들을 디코딩함에 있어서 비디오 디코더(30)에 의해 사용하기 위한 블록들 및 비디오 슬라이스와 연관된 신택스 엘리먼트들을 또한 생성할 수 있다.
엔트로피 코딩
엔트로피 인코딩 유닛(270)은, 예를 들어, 인코딩된 비트스트림(21)의 형태로, 출력(272)을 통해 출력될 수 있는 인코딩된 화상 데이터(21)를 획득하기 위해, 양자화된 계수들(209), 인터 예측 파라미터들, 인트라 예측 파라미터들, 루프 필터 파라미터들, 및/또는 다른 신택스 엘리먼트들에 대해 엔트로피 인코딩 알고리즘 또는 스킴(예를 들어, VLC(variable length coding) 스킴, CAVLC(context adaptive VLC) 스킴, 산술 코딩 스킴, 2진화, CABAC(context adaptive binary arithmetic coding), SBAC(syntax-based context-adaptive binary arithmetic coding), PIPE(probability interval partitioning entropy) 코딩 또는 다른 엔트로피 인코딩 방법론 또는 기법) 또는 바이패스(어떠한 압축도 없음)를 적용하도록 구성되어, 예를 들어, 비디오 디코더(30)는 디코딩을 위해 파라미터들을 수신 및 사용할 수 있다. 인코딩된 비트스트림(21)은 비디오 디코더(30)에 송신될 수 있거나, 또는 비디오 디코더(30)에 의한 나중의 송신 또는 검색을 위해 메모리에 저장될 수 있다.
비디오 스트림을 인코딩하기 위해 비디오 인코더(20)의 다른 구조적 변형들이 사용될 수 있다. 예를 들어, 비-변환 기반 인코더(20)는 특정 블록들 또는 프레임들에 대해 변환 처리 유닛(206) 없이 직접 잔차 신호를 양자화할 수 있다. 다른 구현에서, 인코더(20)는 단일 유닛으로 조합되는 양자화 유닛(208) 및 역 양자화 유닛(210)을 가질 수 있다.
디코더 및 디코딩 방법
도 3은 본 출원의 기법들을 구현하도록 구성되는 비디오 디코더(30)의 예를 도시한다. 비디오 디코더(30)는, 예를 들어, 인코더(20)에 의해 인코딩되는 인코딩된 화상 데이터(21)(예를 들어, 인코딩된 비트스트림(21))를 수신하여, 디코딩된 화상(331)을 획득하도록 구성된다. 인코딩된 화상 데이터 또는 비트스트림은 인코딩된 화상 데이터를 디코딩하기 위한 정보, 예를 들어, 인코딩된 비디오 슬라이스의 화상 블록들 및 연관된 신택스 엘리먼트들을 표현하는 데이터를 포함한다.
도 3의 예에서, 디코더(30)는 엔트로피 디코딩 유닛(304), 역 양자화 유닛(310), 역 변환 처리 유닛(312), 재구성 유닛(314)(예를 들어, 합산기(314)), 루프 필터(320), DBP(decoded picture buffer)(330), 인터 예측 유닛(344) 및 인트라 예측 유닛(354)을 포함한다. 인터 예측 유닛(344)은 모션 보상 유닛이거나 또는 이를 포함할 수 있다. 비디오 디코더(30)는, 일부 예들에서, 도 2의 비디오 인코더(100)에 관하여 설명되는 인코딩 패스에 일반적으로 역관계인 디코딩 패스를 수행할 수 있다.
인코더(20)에 관하여 설명된 바와 같이, 역 양자화 유닛(210), 역 변환 처리 유닛(212), 재구성 유닛(214), 루프 필터(220), DPB(decoded picture buffer)(230), 인터 예측 유닛(344) 및 인트라 예측 유닛(354)은 비디오 인코더(20)의 "내장 디코더(built-in decoder)"를 형성하는 것으로 또한 참조된다. 따라서, 역 양자화 유닛(310)은 역 양자화 유닛(110)과 기능에 있어서 동일할 수 있고, 역 변환 처리 유닛(312)은 역 변환 처리 유닛(212)과 기능에 있어서 동일할 수 있고, 재구성 유닛(314)은 재구성 유닛(214)과 기능에 있어서 동일할 수 있고, 루프 필터(320)는 루프 필터(220)와 기능에 있어서 동일할 수 있으며, 디코딩된 화상 버퍼(330)는 디코딩된 화상 버퍼(230)와 기능에 있어서 동일할 수 있다. 따라서, 비디오 인코더(20)의 각각의 유닛들 및 기능들에 대해 제공되는 설명들은 비디오 디코더(30)의 각각의 유닛들 및 기능들에 대응하여 적용된다.
엔트로피 디코딩
엔트로피 디코딩 유닛(304)은 비트스트림(21)(또는 일반적으로 인코딩된 화상 데이터(21))을 파싱하도록 그리고, 예를 들어, 인코딩된 화상 데이터(21)에 대한 엔트로피 디코딩을 수행하여, 예를 들어, 양자화된 계수들(309) 및/또는 디코딩된 코딩 파라미터들(도 3에 도시되지 않음), 예를 들어, 인터 예측 파라미터들(예를 들어, 참조 화상 인덱스 및 모션 벡터), 인트라 예측 파라미터(예를 들어, 인트라 예측 모드 또는 인덱스), 변환 파라미터들, 양자화 파라미터들, 루프 필터 파라미터들, 및/또는 다른 신택스 엘리먼트들 중 임의의 것 또는 전부를 획득하도록 구성된다. 엔트로피 디코딩 유닛(304)은 인코더(20)의 엔트로피 인코딩 유닛(270)에 관하여 설명된 바와 같이 인코딩 스킴들에 대응하는 디코딩 알고리즘들 또는 스킴들을 적용하도록 구성될 수 있다. 엔트로피 디코딩 유닛(304)은 인터 예측 파라미터들, 인트라 예측 파라미터들 및/또는 다른 신택스 엘리먼트들을 모드 선택 유닛(360)에 그리고 다른 파라미터들을 디코더(30)의 다른 유닛들에 제공하도록 추가로 구성될 수 있다. 비디오 디코더(30)는 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨에서 신택스 엘리먼트들을 수신할 수 있다.
역 양자화
역 양자화 유닛(310)은 (예를 들어, 파싱 및/또는 디코딩에 의해, 예를 들어, 엔트로피 디코딩 유닛(304)에 의해) 인코딩된 화상 데이터(21)로부터 QP(quantization parameters)(또는 일반적으로, 역 양자화에 관련된 정보) 및 양자화된 계수들을 수신하도록 그리고, 양자화 파라미터들에 기초하여, 디코딩된 양자화된 계수들(309)에 역 양자화를 적용하여, 변환 계수들(311)이라고 또한 지칭될 수 있는, 양자화해제된 계수들(311)을 획득하도록 구성될 수 있다. 역 양자화 프로세스는, 양자화의 정도 및, 마찬가지로, 적용되어야 하는 역 양자화의 정도를 결정하기 위한, 비디오 슬라이스에서의 각각의 비디오 블록에 대해 비디오 인코더(20)에 의해 결정되는 양자화 파라미터의 사용을 포함할 수 있다.
역 변환
역 변환 처리 유닛(312)은, 변환 계수들(311)이라고 또한 지칭되는, 양자화해제된 계수들(311)을 수신하도록, 그리고 샘플 도메인에서 재구성된 잔차 블록들(213)을 획득하기 위해 양자화해제된 계수들(311)에 변환을 적용하도록 구성될 수 있다. 재구성된 잔차 블록들(213)은 변환 블록들(313)이라고 또한 지칭될 수 있다. 변환은 역 변환, 예를 들어, 역 DCT, 역 DST, 역 정수 변환, 또는 개념적으로 유사한 역 변환 프로세스일 수 있다. 역 변환 처리 유닛(312)은 양자화해제된 계수들(311)에 적용될 변환을 결정하기 위해 (예를 들어, 파싱 및/또는 디코딩에 의해, 예를 들어, 엔트로피 디코딩 유닛(304)에 의해) 인코딩된 화상 데이터(21)로부터 변환 파라미터들 또는 대응하는 정보를 수신하도록 추가로 구성될 수 있다.
재구성
재구성 유닛(314)(예를 들어, 가산기 또는 합산기(314))은, 예를 들어, 재구성된 잔차 블록(313)의 샘플 값들 및 예측 블록(365)의 샘플 값들을 가산하는 것에 의해, 재구성된 잔차 블록(313)을 예측 블록(365)에 가산하여 샘플 도메인에서 재구성된 블록(315)을 획득하도록 구성될 수 있다.
필터링
(코딩 루프에서의 또는 코딩 루프 후의) 루프 필터 유닛(320)은 재구성된 블록(315)을 필터링하여 필터링된 블록(321)을 획득하도록, 예를 들어, 픽셀 전이들을 평활화하도록, 또는 비디오 품질을 달리 개선하도록 구성된다. 루프 필터 유닛(320)은 블록화-해제 필터와 같은 하나 이상의 루프 필터, SAO(sample-adaptive offset) 필터 또는 하나 이상의 다른 필터, 예를 들어, 쌍방 필터, ALF(adaptive loop filter), 샤프닝, 평활화 필터 또는 협업 필터, 또는 이들의 임의의 조합을 포함할 수 있다. 루프 필터 유닛(320)이 인 루프 필터인 것으로서 도 3에 도시되더라도, 다른 구성들에서, 루프 필터 유닛(320)은 포스트 루프 필터로서 구현될 수 있다.
디코딩된 화상 버퍼
화상의 디코딩된 비디오 블록(321)은 다음으로, 디코딩된 화상들(331)을 다른 화상에 대한 후속 모션 보상을 위한 및/또는 출력 또는 각각 디스플레이를 위한 참조 화상들로서 저장하고 있는, 디코딩된 화상 버퍼(330)에 저장된다.
디코더(30)는 사용자에 대한 프레젠테이션 또는 뷰잉을 위해, 예를 들어, 출력(312)을 통해, 디코딩된 화상(311)을 출력하도록 구성된다.
예측
인터 예측 유닛(344)은 인터 예측 유닛(244)(특히, 모션 보상 유닛)과 동일할 수 있고, 인트라 예측 유닛(354)은 기능에 있어서 인터 예측 유닛(254)과 동일할 수 있으며, (예를 들어, 파싱 및/또는 디코딩에 의해, 예를 들어, 엔트로피 디코딩 유닛(304)에 의해) 파티셔닝 및/또는 예측 파라미터들 또는 인코딩된 화상 데이터(21)로부터 수신되는 각각의 정보에 기초하여 분열 또는 파티셔닝 결정들 및 예측을 수행한다. 모드 선택 유닛(360)은 재구성된 화상들, 블록들 또는 각각의 샘플들(필터링되거나 또는 필터링되지 않음)에 기초하여 블록 당 예측(인트라 예측 또는 인터 예측)을 수행하여 예측 블록(365)을 획득하도록 구성될 수 있다.
비디오 슬라이스가 인트라 코딩된 (I) 슬라이스로서 코딩될 때, 모드 선택 유닛(360)의 인트라 예측 유닛(354)은 현재 화상의 이전에 디코딩된 블록들로부터의 시그널링된 인트라 예측 모드 및 데이터에 기초하여 현재 비디오 슬라이스의 화상 블록에 대한 예측 블록(365)을 생성하도록 구성된다. 비디오 화상이 인터 코딩된(즉, B 또는 P) 슬라이스로서 코딩될 때, 모드 선택 유닛(360)의 인터 예측 유닛(344)(예를 들어, 모션 보상 유닛)은 엔트로피 디코딩 유닛(304)으로부터 수신되는 다른 신택스 엘리먼트들 및 모션 벡터들에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 블록(365)을 생성하도록 구성된다. 인터 예측을 위해, 예측 블록들은 참조 화상 리스트들 중 하나 내의 참조 화상들 중 하나로부터 생성될 수 있다. 비디오 디코더(30)는, DPB(330)에 저장되는 참조 화상에 기초하여 디폴트 구성 기법들을 사용하여, 참조 프레임 리스트들, 즉, List 0 및 List 1을 구성할 수 있다.
모드 선택 유닛(360)은 모션 벡터들 및 다른 신택스 엘리먼트들을 파싱하는 것에 의해 현재 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하도록 구성되고, 이러한 예측 정보를 사용하여 디코딩되고 있는 현재 비디오 블록에 대한 예측 블록들을 생성한다. 예를 들어, 모드 선택 유닛(360)은 수신된 신택스 엘리먼트들 중 일부를 사용하여, 비디오 슬라이스의 비디오 블록들을 코딩하기 위해 사용되는 예측 모드(예를 들어, 인트라 또는 인터 예측), 인터 예측 슬라이스 타입 (예를 들어, B 슬라이스, P 슬라이스, 또는 GPB 슬라이스), 슬라이스에 대한 참조 화상 리스트들 중 하나 이상에 대한 구성 정보, 슬라이스의 각각의 인터 인코딩된 비디오 블록에 대한 모션 벡터들, 슬라이스의 각각의 인터 코딩된 비디오 블록에 대한 인터 예측 상태, 및 현재 비디오 슬라이스에서의 비디오 블록들을 디코딩하기 위한 다른 정보를 결정한다.
인코딩된 화상 데이터(21)를 디코딩하기 위해 비디오 디코더(30)의 다른 변형들이 사용될 수 있다. 예를 들어, 디코더(30)는 루프 필터링 유닛(320) 없이 출력 비디오 스트림을 생성할 수 있다. 예를 들어, 비-변환 기반 디코더(30)는 특정 블록들 또는 프레임들에 대해 역-변환 처리 유닛(312) 없이 직접 잔차 신호를 역-양자화할 수 있다. 다른 구현에서, 비디오 디코더(30)는 단일 유닛으로 조합되는 역-양자화 유닛(310) 및 역-변환 처리 유닛(312)을 가질 수 있다.
도 4는 본 개시내용의 실시예에 따른 비디오 코딩 디바이스(400)의 개략도이다. 이러한 비디오 코딩 디바이스(400)는 본 명세서에 설명되는 바와 같이 개시된 실시예들을 구현하기에 적합하다. 실시예에서, 비디오 코딩 디바이스(400)는 도 1a의 비디오 디코더(30)와 같은 디코더 또는 도 1a의 비디오 인코더(20)와 같은 인코더일 수 있다.
비디오 코딩 디바이스(400)는 데이터를 수신하기 위한 입구 포트들(410)(또는 입력 포트들(410)) 및 수신기 유닛들(Rx)(420); 데이터를 처리하는 프로세서, 로직 유닛, 또는 CPU(central processing unit)(430); 데이터를 송신하기 위한 송신기 유닛들(Tx)(440) 및 출구 포트들(450)(또는 출력 포트들(450)); 및 데이터를 저장하기 위한 메모리(460)를 포함한다. 비디오 코딩 디바이스(400)는 광 또는 전기 신호들의 출구 또는 입구를 위해 입구 포트들(410), 수신기 유닛들(420), 송신기 유닛들(440), 및 출구 포트들(450)에 연결되는 OE(optical-to-electrical) 컴포넌트들 및 EO(electrical-to-optical) 컴포넌트들을 또한 포함할 수 있다.
프로세서(430)는 하드웨어 및 소프트웨어에 의해 구현된다. 프로세서(430)는 하나 이상의 CPU 칩, (예를 들어, 멀티-코어 프로세서로서의) 코어들, FPGA들, ASIC들, 및 DSP들로서 구현될 수 있다. 프로세서(430)는 입구 포트들(410), 수신기 유닛들(420), 송신기 유닛들(440), 출구 포트들(450), 및 메모리(460)와 통신한다. 프로세서(430)는 코딩 모듈(470)을 포함한다. 코딩 모듈(470)은 위에 설명된 개시된 실시예들을 구현한다. 예를 들어, 코딩 모듈(470)은 다양한 코딩 동작들을 구현, 처리, 준비, 또는 제공한다. 따라서, 코딩 모듈(470)의 포함은 비디오 코딩 디바이스(400)의 기능성에 상당한 개선을 제공하고, 비디오 코딩 디바이스(400)의 상이한 상태로의 변환에 효과가 있다. 대안적으로, 코딩 모듈(470)은 메모리(460)에 저장되는 그리고 프로세서(430)에 의해 실행되는 명령어들로서 구현된다.
메모리(460)는 하나 이상의 디스크, 테이프 드라이브, 및 솔리드-스테이트 드라이브를 포함할 수 있고, 이러한 프로그램들이 실행을 위해 선택될 때 프로그램들을 저장하고, 프로그램 실행 동안 판독되는 명령어들 및 데이터를 저장하기 위해, 오버-플로우 데이터 저장 디바이스로서 사용될 수 있다. 메모리(460)는, 예를 들어, 휘발성 및/또는 비-휘발성일 수 있고, ROM(read-only memory), RAM(random access memory), TCAM(ternary content-addressable memory), 및/또는 SRAM(static random-access memory)일 수 있다.
도 5는 예시적인 실시예에 따른 도 1로부터의 소스 디바이스(12) 및 목적지 디바이스(14) 중 어느 하나 또는 양자 모두로서 사용될 수 있는 장치(500)의 단순화된 블록도이다. 이러한 장치(500)는 위에 설명된 본 출원의 기법들을 구현할 수 있다. 이러한 장치(500)는 다수의 컴퓨팅 디바이스를 포함하는 컴퓨팅 시스템의 형태이거나, 또는, 단일 컴퓨팅 디바이스, 예를 들어, 모바일 폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터 등의 형태일 수 있다.
이러한 장치(500)에서의 프로세서(502)는 중앙 처리 유닛일 수 있다. 대안적으로, 프로세서(502)는, 지금-존재하는 또는 이후 개발될 정보를 조작 또는 처리할 수 있는, 임의의 다른 타입의 디바이스, 또는 다수의 디바이스일 수 있다. 개시된 구현들은 도시되는 바와 같이 단일 프로세서, 예를 들어, 프로세서(502)로 실시될 수 있더라도, 하나보다 많은 프로세서를 사용하여 속도 및 효율에서의 이점들이 달성될 수 있다.
이러한 장치(500)에서의 메모리(504)는 구현에서 ROM(read only memory) 디바이스 또는 RAM(random access memory) 디바이스일 수 있다. 임의의 다른 적합한 타입의 저장 디바이스가 메모리(504)로서 사용될 수 있다. 메모리(504)는 버스(512)를 사용하여 프로세서(502)에 의해 액세스되는 코드 및 데이터(506)를 포함할 수 있다. 메모리(504)는 운영 체제(508) 및 애플리케이션 프로그램들(510)을 추가로 포함할 수 있으며, 이러한 애플리케이션 프로그램들(510)은 프로세서(502)가 본 명세서에 설명되는 방법들을 수행하는 것을 허가하는 적어도 하나의 프로그램을 포함한다. 예를 들어, 애플리케이션 프로그램(510)은, 본 명세서에 설명되는 방법을 수행하는 비디오 코딩 애플리케이션을 추가로 포함하는, 애플리케이션들 1 내지 N을 포함할 수 있다. 이러한 장치(500)는, 예를 들어, 모바일 컴퓨팅 디바이스와 함께 사용되는 메모리 카드일 수 있는, 보조 스토리지(514)의 형태로 추가적 메모리를 또한 포함할 수 있다. 비디오 통신 세션들은 상당한 양의 정보를 포함할 수 있기 때문에, 이들은 보조 스토리지(514)에 전체적으로 또는 부분적으로 저장될 수 있고 처리를 위해 필요에 따라 메모리(504)에 로딩될 수 있다.
이러한 장치(500)는, 디스플레이(518)와 같은, 하나 이상의 출력 디바이스를 또한 포함할 수 있다. 디스플레이(518)는, 하나의 예에서, 터치 입력들을 감지하도록 동작가능한 터치 감응성 엘리먼트와 디스플레이를 조합하는 터치 감응성 디스플레이일 수 있다. 디스플레이(518)는 버스(512)를 통해 프로세서(502)에 연결될 수 있다. 사용자가 장치(500)를 프로그래밍하는 것 또는 그렇지 않으면 이를 사용하는 것을 허가하는 다른 출력 디바이스들이 디스플레이(518) 외에도 또는 그 대안으로서 제공될 수 있다. 출력 디바이스가 디스플레이이거나 또는 이를 포함할 때, 디스플레이는 LCD(liquid crystal display), CRT(cathode-ray tube) 디스플레이, 플라즈마 디스플레이 또는, OLED(organic LED) 디스플레이와 같은, LED(light emitting diode) 디스플레이를 포함하는, 다양한 방식들로 구현될 수 있다.
이러한 장치(500)는 이미지 감지 디바이스(520), 예를 들어, 카메라, 또는 이러한 장치(500)를 동작시키는 사용자의 이미지와 같은 이미지를 감지할 수 있는 지금 존재하는 또는 이후에 개발될 임의의 다른 이미지 감지 디바이스(520)를 또한 포함하거나 또는 그와 통신할 수 있다. 이미지 감지 디바이스(520)는 이러한 장치(500)를 동작시키는 사용자를 향해 지향되도록 위치될 수 있다. 예에서, 이미지 감지 디바이스(520)의 위치 및 광 축은 시야가 디스플레이(518)에 직접 인접하는 그리고 그로부터 디스플레이(518)가 보이는 영역을 포함하도록 구성될 수 있다.
이러한 장치(500)는 사운드 감지 디바이스(522), 예를 들어, 마이크로폰, 또는 장치(500) 근처의 사운드들을 감지할 수 있는 지금 존재하는 또는 이후에 개발될 임의의 다른 사운드 감지 디바이스를 또한 포함하거나 또는 이와 통신할 수 있다. 사운드 감지 디바이스(522)는 이러한 장치(500)를 동작시키는 사용자를 향해 지향되도록 위치될 수 있고, 사용자가 이러한 장치(500)를 동작시키는 동안 사용자에 의해 이루어지는 사운드들, 예를 들어, 음성 또는 다른 발언들을 수신하도록 구성될 수 있다.
도 5는 이러한 장치(500)의 프로세서(502) 및 메모리(504)를 단일 유닛으로 집적되는 것으로서 묘사하더라도, 다른 구성들이 이용될 수 있다. 로컬 영역 또는 다른 네트워크에 걸쳐 또는 직접 연결될 수 있는 다수의 머신들(각각의 머신이 하나 이상의 프로세서를 가짐)에 걸쳐 프로세서(502)의 동작들이 분포될 수 있다. 이러한 장치(500)의 동작들을 수행하는 다수의 머신에서의 메모리 또는 네트워크 기반 메모리와 같은 다수의 머신에 걸쳐 메모리(504)가 분포될 수 있다. 본 명세서에서는 단일 버스로서 묘사되더라도, 이러한 장치(500)의 버스(512)는 다수의 버스들로 조성될 수 있다. 추가로, 보조 스토리지(514)가 이러한 장치(500)의 다른 컴포넌트들에 직접 연결될 수 있거나 또는 네트워크를 통해 액세스될 수 있고, 메모리 카드와 같은 단일 집적 유닛 또는 다수의 메모리 카드들과 같은 다수의 유닛들을 포함할 수 있다. 따라서, 이러한 장치(500)는 매우 다양한 구성들로 구현될 수 있다.
H.264/AVC 및 HEVC와 같은 비디오 코딩 스킴들은 블록 기반 하이브리드 비디오 코딩의 성공적인 원리에 따라 설계된다. 이러한 원리를 사용하여, 화상은 먼저 블록들로 파티셔닝되고, 다음으로 각각의 블록은 인트라 화상 또는 인터 화상 예측을 사용하여 예측된다.
본 명세서에 사용되는 바와 같이, "블록(block)"이라는 용어는 화상 또는 프레임의 부분일 수 있다. 설명의 편의를 위해, 본 발명의 실시예들은, ITU-T VCEG(Video Coding Experts Group) 및 ISO/IEC MPEG(Motion Picture Experts Group)의 JCT-VC(Joint Collaboration Team on Video Coding)에 의해 개발된, HEVC(High-Efficiency Video Coding) 또는 VVC(Versatile video coding)의 참조 소프트웨어를 참조하여 본 명세서에 설명된다. 해당 분야에서의 통상의 기술자는 본 발명의 실시예들이 HEVC 또는 VVC에 제한되지 않는다는 점을 이해할 것이다. 이것은 CU, PU, 및 TU를 지칭할 수 있다. HEVC에서, CTU는 코딩 트리로서 표기되는 쿼드-트리 구조를 사용하여 CU들로 분열된다. 인터 화상 (시간적) 또는 인트라 화상 (공간적) 예측을 사용하여 화상 영역을 코딩할지의 결정은 CU 레벨에서 이루어진다. 각각의 CU는 PU 분열 타입에 따라 하나의, 2개의 또는 4개의 PU로 추가로 분열될 수 있다. 하나의 PU 내부에서, 동일한 예측 프로세스가 적용되고 관련 정보가 PU 기반으로 디코더에 송신된다. PU 분열 타입에 기초하여 예측 프로세스를 적용하는 것에 의해 잔차 블록을 획득한 후에, CU는 CU에 대한 코딩 트리와 유사한 다른 쿼드트리 구조에 따라 TU들(transform units)로 파티셔닝될 수 있다. 비디오 압축 기술의 최신 개발에서, 코딩 블록을 파티셔닝하기 위해 QTBT(Qual-tree and binary tree) 파티셔닝 프레임이 사용된다. QTBT 블록 구조에서, CU는 정사각형 또는 직사각형 형상을 가질 수 있다. 예를 들어, CTU(coding tree unit)가 쿼드트리 구조에 의해 먼저 파티셔닝된다. 쿼드트리 리프 노드들은 2진 트리 구조에 의해 추가로 파티셔닝된다. 이러한 2진 트리 리프 노드들은 CU들(coding units)이라고 불리고, 어떠한 추가의 파티셔닝도 없이 예측 및 변환 처리를 위해 해당 세그먼트화가 사용된다. 이러한 것은 CU, PU 및 TU가 QTBT 코딩 블록 구조에서 동일한 블록 크기를 갖는다는 점을 의미한다. 병렬로, 다수의 파티션, 예를 들어, 3중 트리 파티션이 QTBT 블록 구조와 함께 사용되도록 또한 제안되었다.
ITU-T VCEG(Q6/16) 및 ISO/IEC MPEG(JTC1/SC29/WG11)은 현재 HEVC(High Efficiency Video Coding) 표준의 것을 상당히 초과하는 압축 능력이 있는 미래 비디오 코딩 기술의 표준화(스크린 콘텐츠 코딩 및 하이-다이내믹-레인지 코딩을 위한 자신의 현재 확장들 및 근방 확장들을 포함함)에 대한 잠재적 필요를 연구하고 있다. 이러한 그룹들은, 이러한 영역에서 그들의 전문가들에 의해 제안되는 압축 기술 설계들을 평가하기 위해 JVET(Joint Video Exploration Team)로서 알려진 공동 협업 노력에서 이러한 탐색 활동에 대해 함께 작동하고 있다.
지향성 인트라 예측에 대해, 대각선 위로부터 대각선 아래까지의 상이한 예측 각도들을 표현하는 인트라 예측 모드들이 이용가능하다. 예측 각도들의 정의에 대해, 32-샘플 그리드 상의 오프셋 값 p ang이 정의된다. 대응하는 인트라 예측 모드에 대한 p ang의 연관성이 수직 예측 모드들에 대해 도 6에서 시각화된다. 수평 예측 모드들에 대해, 스킴이 수직 방향으로 플립되고 p ang 값들이 이에 따라서 배정된다. 위에 진술된 바와 같이, 모든 적용가능한 인트라 예측 블록 크기들에 대해 모든 각도 예측 모드들이 이용가능하다. 이들은 모두 예측 각도들의 정의를 위해 동일한 32-샘플 그리드를 사용한다. 도 6에서의 32-샘플 그리드에 걸친 p ang 값들의 분포는 수직 방향 주위의 예측 각도들의 증가된 해상도 및 대각선 방향들을 향한 예측 각도들의 더 거친 해상도를 드러낸다. 수평 방향에 대해 동일한 것이 적용된다. 이러한 설계는 많은 비디오 콘텐츠에서, 대략 수평 및 수직 구조들이 대각선 구조에 비해 중요한 역할을 한다는 관찰로부터 기인한다.
수평 및 수직 예측 방향들에 대해, 예측을 위해 사용될 샘플들의 선택은 간단하지만, 이러한 작업은 각도 예측의 경우에 더 많은 노력을 요구한다. 모드들 11-25에 대해, 각도 방향에서 예측 샘플들 p ref( 주요 참조 측 이라고 또한 알려짐)의 세트로부터 현재 블록 Bc를 예측할 때, p ref의 수직 및 수평 부분 양자 모두의 샘플들이 수반될 수 있다. p ref의 분기들 중 어느 하나 상의 각각의 샘플들의 위치의 결정은 일부 계산 노력을 요구하기 때문에, 통합된 1차원 예측 참조가 HEVC 인트라 예측을 위해 설계되었다. 이러한 스킴은 도 7에서 시각화된다. 실제 예측 연산을 수행하기 전에, 참조 샘플들의 세트 p ref는 1차원 벡터 p 1 , ref에 매핑된다. 이러한 매핑에 사용되는 투영은 각각의 인트라 예측 모드의 인트라 예측 각도에 의해 표시되는 방향에 의존한다. 예측에 사용될 p ref의 부분으로부터의 참조 샘플들만이 p 1 , ref에 매핑된다. 각각의 각도 예측 모드에 대한 참조 샘플들의 p 1 , ref로의 실제 매핑은 수평 및 수직 각도 예측 방향들에 대해 각각 도 8 및 9에 묘사된다. 참조 샘플 세트 p 1 , ref는 예측 블록에 대해 한 번 구성된다. 다음으로, 예측은 아래에 상세히 설명되는 바와 같이 세트에서의 2개의 이웃 참조 샘플들로부터 도출된다. 도 8 및 도 9로부터 알 수 있는 바와 같이, 1차원 참조 샘플 세트는 모든 인트라 예측 모드들에 대해 완전히 채워지지 않는다. 대응하는 인트라 예측 방향에 대한 투영 범위에 있는 위치들만이 세트에 포함된다.
수평 및 수직 예측 모드들 양자 모두에 대한 예측은 블록의 x 및 y 좌표들만을 스와핑하는 것과 동일한 방식으로 수행된다. p 1 , ref로부터의 예측은 1/32-화소 정확도로 수행된다. 각도 파라미터 pang의 값에 의존하여, p 1 , ref에서의 샘플 오프셋 i idx 및 위치 (x, y)에서의 샘플에 대한 가중 인자 i fact가 결정된다. 여기서, 수직 모드들에 대한 도출이 제공된다. 따라서, 수평 모드들에 대한 도출은 x 및 y를 스와핑하는 것을 따른다.
ifact가 0과 동일하지 않으면, 즉 예측이 p1,ref에서의 전체 샘플 위치에 정확히 속하지 않으면, p 1 , ref에서의 2개의 이웃 샘플 위치들 사이의 선형 가중이 다음과 같이 수행되고
여기서, 0 ≤ x, y < Nc이다. i idx 및 i fact의 값들은 y에만 의존하고, 따라서 (수직 예측 모드들에 대해) 행 당 한 번만 계산될 필요가 있다는 점이 주목되어야 한다.
VTM-1.0(Versatile Test Model)은 35개의 인트라 모드들을 사용하는 반면, BMS (Benchmark Set)는 67개의 인트라 모드들을 사용한다. 인트라 예측은 주어진 프레임만이 수반될 수 있는 경우에 압축 효율을 증가시키기 위해 많은 비디오 코딩 프레임워크에서 사용되는 메커니즘이다.
도 10a는 예를 들어, VVC에 대해 제안되는 바와 같은, 67개의 인트라 예측 모드들의 예를 도시하며, 67개의 인트라 예측 모드들의 복수의 인트라 예측 모드들은, 평면 모드(인덱스 0), dc 모드(인덱스 1), 및 인덱스들 2 내지 66을 갖는 각도 모드들을 포함하고, 도 10a에서의 좌측 하단 각도 모드는 인덱스 2를 지칭하고, 인덱스들의 넘버링은 인덱스 66이 도 10a에서의 가장 우측 상단 각도 모드일 때까지 증분된다.
도 10b 및 도 10c에 도시되는 바와 같이, JEM의 최근 버전은 스큐 인트라 예측 방향들에 대응하는 일부 모드들을 갖는다. 이러한 모드들 중 임의의 것에 대해, 블록 측 내의 대응하는 위치가 분수이면, 이웃 참조 샘플들의 세트의 블록 보간 내의 샘플들을 예측하는 것이 수행되어야 한다. HEVC 및 VVC는 2개의 인접 참조 샘플들 사이의 선형 보간을 사용한다. JEM은 보다 정교한 4-탭 보간 필터들을 사용한다. 필터 계수들은 폭 또는 높이 값에 의존하여 가우스 또는 큐빅 계수들이 되도록 선택된다. 폭 또는 높이를 사용할지에 대한 결정은 주요 참조 측 선택에 대한 결정과 조화된다: 인트라 예측 모드가 대각선 모드 이상일 때, 참조 샘플들의 상단 측은 주요 참조 측이 되도록 선택되고 폭 값은 사용 중인 보간 필터를 결정하도록 선택된다. 그렇지 않으면, 블록의 좌측으로부터 주요 측 참조가 선택되고, 높이는 필터 선택 프로세스를 제어한다. 구체적으로, 선택된 측 길이가 8개의 샘플들 이하이면, 큐빅 보간 4 탭이 적용된다. 그렇지 않으면, 보간 필터는 4-탭 가우스 필터이다.
JEM에서 사용되는 구체적 필터 계수가 표 1에 주어진다. 예측 샘플은 다음과 같이 서브픽셀 오프셋 및 필터 타입에 따라 표 1로부터 선택되는 계수들로 컨볼루션하는 것에 의해 계산된다:
이러한 방정식에서, "
"는 비트별 우측 시프트 연산을 표시한다.
큐빅 필터가 선택되면, 예측 샘플은, SPS에서 정의되는 또는 선택된 컴포넌트의 비트 심도로부터 도출되는, 허용된 값들의 범위로 추가로 클리핑된다.
6-비트 정밀도를 갖는 보간 필터들의 다른 세트가 표 2에 제시된다.
인트라 예측 샘플은 다음과 같이 서브픽셀 오프셋 및 필터 타입에 따라 표 1로부터 선택되는 계수들로 컨볼루션하는 것에 의해 계산된다:
이러한 방정식에서, "
"는 비트별 우측 시프트 연산을 표시한다.
6-비트 정밀도를 갖는 보간 필터들의 다른 세트가 표 3에 제시된다.
도 11은 HEVC UIP 스킴에서 사용되는 복수의 인트라 예측 모드들의 개략도를 예시한다. 휘도 블록들에 대해, 인트라 예측 모드들은 3개의 비-지향성 모드들 및 33개의 지향성 모드들을 포함할 수 있는 최대 36개의 인트라 예측 모드들을 포함할 수 있다. 비-지향성 모드들은 평면 예측 모드, 평균(DC) 예측 모드, 및 루마로부터의 크로마(LM) 예측 모드를 포함할 수 있다. 평면 예측 모드는 블록의 경계로부터 도출되는 수평 및 수직 기울기를 갖는 블록 진폭 표면을 가정하는 것에 의해 예측들을 수행할 수 있다. DC 예측 모드는 블록 경계의 평균 값에 매칭되는 값을 갖는 평평한 블록 표면을 가정하는 것에 의해 예측들을 수행할 수 있다. LM 예측 모드는 블록에 대한 크로마 값이 블록에 대한 루마 값에 매칭된다고 가정하는 것에 의해 예측들을 수행할 수 있다. 지향성 모드들은 도 11에 도시되는 바와 같이 인접 블록들에 기초하여 예측들을 수행할 수 있다.
H.264/AVC 및 HEVC는 저역 통과 필터가 인트라 예측 프로세스에서 사용되기 이전에 참조 샘플들에 적용될 수 있다는 점을 명시한다. 참조 샘플 필터를 사용할지 여부에 대한 결정은 인트라 예측 모드 및 블록 크기에 의해 결정된다. 이러한 메커니즘들은 MDIS(Mode Dependent Intra Smoothing)라고 지칭될 수 있다. MDIS에 관련된 복수의 방법들이 또한 존재한다. 예를 들어, ARSS(Adaptive Reference Sample Smoothing) 방법은 명시적으로(즉, 플래그가 비트스트림에 포함됨) 또는 암시적으로(즉, 예를 들어, 시그널링 오버헤드를 감소시키기 위해 플래그를 비트스트림에 넣는 것을 회피하기 위해 데이터 은닉이 사용됨) 예측 샘플들이 필터링되는지를 시그널링할 수 있다. 이러한 경우, 인코더는 모든 잠재적인 인트라 예측 모드들에 대한 RD(Rate-Distortion) 비용을 테스트하는 것에 의해 평활화에 대한 결정을 할 수 있다.
VVC에서, 쿼드-트리 및 2진 트리 양자 모두에 기초하고 QTBT로 알려진 파티셔닝 메커니즘이 사용된다. 도 12에 묘사되는 바와 같이, QTBT 파티셔닝은 단지 정사각형이 아니라 직사각형 블록들도 마찬가지로 제공할 수 있다. 물론, 인코더 측에서의 일부 시그널링 오버헤드 및 증가된 계산 복잡성은 HEVC/H.265 표준에서 사용되는 종래의 쿼드-트리 기반 파티셔닝에 비해 QTBT 파티셔닝의 대가이다. 그럼에도 불구하고, QTBT 기반 파티셔닝은 더 양호한 세그먼트화 속성들을 부여받고, 따라서, 종래의 쿼드-트리보다 상당히 더 높은 코딩 효율을 보여준다.
파티셔닝에 사용되는 트리들의 리프들은 Z-스캔 순서로 처리되고 있으므로, 현재 리프에 대응하는 현재 블록은, 현재 블록이 슬라이스의 경계에 위치되지 않는 한, 인코딩 또는 디코딩 프로세스들 동안 이미 재구성된 좌측 및 위 이웃 블록들을 가질 것이다. 이러한 것은 도 12에 또한 예시된다. 도 12의 우측 부분에 도시되는 트리의 리프들의 좌측-대-우측 스캔은 이러한 도면의 우측 부분에 도시되는 블록들의 공간적 Z-스캔 순서에 대응한다. 쿼드-트리 또는 멀티-타입 트리의 경우에 동일한 스캔이 적용된다.
지향성 인트라 예측을 위해, 이전에 재구성된 이웃 블록들의 샘플들로부터 참조 샘플들이 획득된다. 블록의 크기 및 인트라 예측 모드에 의존하여, 예측 샘플들의 값들을 획득하기 위해 사용되기 이전에 참조 샘플들에 필터가 적용될 수 있다.
경계 평활화 및 PDPC의 경우, 예측 블록의 몇몇 제1 열들 또는 몇몇 제1 행들이 이웃 샘플들로부터 생성되는 추가적 예측 신호와 조합된다.
(예를 들어, 모드 18로서 도 10c에서 예시되는 바와 같이) 수평 인트라 예측 모드를 사용하여 인트라 예측이 수행될 때, 예측 블록의 좌측으로부터의 참조 샘플들이 열별로 복제되어, 행 내의 모든 샘플들이 예측 블록의 좌측에서 이러한 행 상에 위치되는 참조 샘플과 동일하게 설정된다.
(예를 들어, 모드 50으로서 도 10c에 예시되는 바와 같이) 수직 인트라 예측 모드를 사용하여 인트라 예측이 수행될 때, 예측 블록의 상측으로부터의 참조 샘플들이 행별로 복제되어, 열 내의 모든 샘플들이 예측 블록의 상측에서 이러한 열 상에 위치되는 참조 샘플과 동일하게 설정된다.
[A. Minezawa, K. Sugimoto, and S. Sekiguchi, "An improved intra vertical and horizontal prediction," contribution JCTVC-F172 to the 6th JCT-VC meeting, Torino, Italy, July 2011]에서, 수직 및 수평 인트라 예측 모드들에 대한 도출 프로세스는 다음과 같이 명시된다:
수직 예측:
수평 예측:
여기서, (x,y)는 도 13a에 도시되는 바와 같은 루마 예측 블록 내의 예측 샘플의 위치를 표시하고, 
는 예측 샘플들을 표기하고, 
은 종래의 예측에 사용될 참조 샘플을 표기한다.
여기서, Clip3()은 클리핑 함수이다. 이러한 함수의 예시적인 정의가 추가로 주어진다.
예측 샘플 
에 대해, 예측 샘플 위에 위치되는 가장 가까운 참조 샘플은 
로서 명시될 수 있다. 이러한 가장 가까운 참조 샘플은 예측 샘플과 동일한 열에 위치된다.
유사하게, 예측 샘플의 좌측에 위치되는 가장 가까운 참조 샘플은 
로서 명시될 수 있다. 이러한 가장 가까운 참조 샘플은 예측 샘플과 동일한 행에 위치된다.
단순화된 PDPC의 특정 구현은 인트라 예측 모드에 의존하여 상이하게 수행될 수 있다.
평면, DC, HOR/VER 인트라 예측 모드들(도 10b 및 도 10c에서 각각 0, 1, 18, 50으로서 표기됨)에 대해, 다음의 단계들이 수행된다:
(x, y)에 위치되는 예측 샘플 
는 다음과 같이 계산된다:
여기서, Rx,-1, R-1,y는 현재 샘플 (x, y)의 상단 및 좌측에 위치되는 참조 샘플들을 표현하고, R-1,-1는 좌측-상단 샘플, 즉 현재 블록의 좌측-상단 코너에 위치되는 참조 샘플을 표현하고, 함수 clip1Cmp는 다음과 같이 설정된다:
- cIdx가 0과 동일하면, clip1Cmp는 Clip1Y와 동일하게 설정된다.
- 그렇지 않으면, clip1Cmp는 Clip1C와 동일하게 설정된다.
Clip1Y( x ) = Clip3( 0, ( 1 << BitDepthY ) - 1, x )
Clip1C( x ) = Clip3( 0, ( 1 << BitDepthC ) - 1, x )
Clip3( x, y, z ) = 
BitDepthY는 루마 샘플들의 비트 심도이다.
BitDepthC는 루마 샘플들의 비트 심도이다.
BitDepthY 및 BitDepthC는 비트스트림의 SPS(sequence parameter set)에서 시그널링될 수 있고;
Clip1Y( x ) 및 Clip1C( x )의 대안적인 정의들이 가능하다. 특히, 기고문 JVET-C0040 "Adaptive Clipping in JEM2.0"에서 F. Galpin, P. Bordes, 및 F. Le Leannec에 의해 설명되는 바와 같이, 
이고,
여기서 
는 컴포넌트 ID
에 대한 현재 슬라이스에서 사용되는 하위 클리핑 한계이고,
C는 컬러 성분(예를 들어, 루마에 대한 Y, 크로마에 대한 Cb 및 Cr)이고,
"x >> y"는 x y 2진 디지트들의 2의 보수 정수 표현의 산술 우측 시프트이다. 이러한 함수는 y의 음이 아닌 정수 값들에 대해서만 정의된다. 우측 시프트의 결과로서 MSB들(most significant bits)로 시프트되는 비트들은 시프트 연산 전에 x의 MSB와 동일한 값을 갖는다.
DC 모드 가중치들은 다음과 같이 계산된다:
여기서, 
평면 모드에 대해, wTL = 0인 반면, 수평 모드에 대해 wTL = wT이고 수직 모드에 대해 wTL = wL이다. 하나의 4x4 블록 내부의 (0, 0) 및 (1, 0) 위치들에 대한 DC 모드 PDPC 가중치들( wL,wT,wTL)이 도 13b에 도시된다. 이러한 도면으로부터, (1)에서의 클리핑 동작이 필수적이고 최신의 PDPC 구현이 잠재적인 결함을 갖는다는 것이 따른다. 다음의 예는 결과가 BitDepthY 또는 BitDepthC에 의해 결정되는 범위 밖에 있을 수 있는 경우를 예시한다:
도 13b에 도시되는 바와 같이, 
이다.
위 예로부터 알 수 있는 바와 같이, 음의 값 "
"은 산술 비트 시프트를 사용하여 우측 시프트되고 있다. 구현에 의존하여, 음의 값의 산술 우측 비트 시프트는 (예를 들어, C/C++ 프로그래밍 언어의 경우에) 상이한 출력으로 이어질 수 있고, 따라서 
출력이 항상 0이 되는 것이 보장될 수 없는데, 그 이유는 음의 값을 우측으로 시프트한 결과가 구체적 구현들에서 양의 부호 및 0이 아닌 크기를 가질 수 있기 때문이다.
대각선(도 10b 및 도 10c에서 2 및 66으로서 표기됨) 및 인접 모드들(도 10b 또는 도 10c에서 58 미만이 아니고 10 초과가 아닌 지향성 모드들)에 대해, 처리는 동일한 공식(1)을 사용하여 아래에 설명되는 바와 같이 수행된다.
도 14a는 PDPC의 우측-상단 대각선 모드로의 확장을 위한 참조 샘플들 R x, -1,R -1 ,y 및 R -1 , -1의 정의를 예시한다. 예측 샘플 pred(x',y')는 예측 블록 내의 ( x',y')에 위치된다. 참조 샘플 R x, -1의 좌표 x는 다음과 같이 주어진다: x = x' + y' + 1이고, 참조 샘플 R -1 ,y 의 좌표 y는 유사하게 다음과 같이 주어진다: y = x' + y' + 1.
우측-상단 대각선 모드에 대한 PDPC 가중치들은 다음과 같다:
wT = 16 >> ( ( y'<<1 ) >> shift ), wL = 16 >> ( ( x'<<1 ) >> shift ), wTL = 0.
유사하게, 도 14b는 좌측-하단 대각선 모드로의 PDPC의 확장을 위한 참조 샘플들 R x, -1, R -1 ,y 및 R -1 , -1의 정의를 예시한다. 참조 샘플 R x, -1의 좌표 x는 다음과 같이 주어지고: x = x' + y' + 1, 참조 샘플 R -1 ,y 의 좌표 y는, y = x' + y' + 1이다. 우측-상단 대각선 모드에 대한 PDPC 가중치들은 다음과 같다: wT = 16 >> ( ( y'<<1 ) >> shift ), wL = 16 >> ( ( x'<<1 ) >> shift ), wTL = 0. 인접 우측-상단 대각선 모드의 경우가 도 14c에 예시된다. 인접 우측-상단 대각선 모드에 대한 PDPC 가중치들은 다음과 같다: wT = 32 >> ( ( y'<<1 ) >> shift ), wL = 0, wTL = 0. 유사하게, 인접 좌측-하단 대각선 모드의 경우가 도 14d에 예시된다. 인접 좌측 하단 대각선 모드에 대한 PDPC 가중치들은 다음과 같다: wL = 32 >> ( ( x'<<1 ) >> shift ), wT =0, wTL = 0. 마지막 2개의 경우들에 대한 참조 샘플 좌표들은 각도 모드 인트라 예측을 위해 이미 사용된 표들을 사용하여 계산된다. 분수 참조 샘플 좌표들이 계산되면 참조 샘플들의 선형 보간이 사용된다.
VVC 사양에 명시되는 바와 같이 단순화된 PDPC가 수행될 수 있다. 추가로 다음의 표기가 사용되고:
invAngle = Round
, 이는 역 각도의 값이고,
Round( x ) = Sign( x ) * Floor( Abs( x ) + 0.5 ),
Floor ( x )는 x 이하의 가장 큰 정수이고,
Log2 ( x )는 x의 베이스-2 로그이다.
intraPredAngle는 표 6에 명시되는 각도 파라미터이고,
A = C ? B : D는 3진 배정 동작이고, 조건 C가 참이면 A는 B와 동일하게 설정된다. 그렇지 않고, 조건 C가 거짓이면, A는 D와 동일하게 설정된다.
INTRA_PLANAR은 평면 인트라 예측 모드 ()이고,
INTRA_DC는 DC 인트라 예측 모드이고,
INTRA_ANGULARXX는 지향성 인트라 예측 모드들 중 하나이고, 여기서 XX는 도 4b에 도시되는 그 수 및 대응하는 방향을 표기한다.
용어가 본 명세서에서 설명되지 않으면, 그 정의는 VVC 사양 또는 HEVC/H.265 표준 사양에서 발견될 수 있다는 점이 이해된다.
위 표기들이 주어지면, 단순화된 PDPC의 단계들은 다음과 같이 정의될 수 있다:
이러한 프로세스에 대한 입력들은 다음과 같다:
- 인트라 예측 모드 predModeIntra,
- 변환 블록 폭을 명시하는 변수 nTbW,
- 변환 블록 높이를 명시하는 변수 nTbH,
- 참조 샘플들 폭을 명시하는 변수 refW,
- 참조 샘플들 높이를 명시하는 변수 refH,
- x = 0..nTbW - 1, y = 0..nTbH - 1인, 예측 샘플들 predSamples[ x ][ y ]
- x = -1, y = -1..refH - 1 and x = 0..refW - 1, y = -1인 이웃 샘플들 p[ x ][ y ],
- 현재 블록의 컬러 성분을 명시하는 변수 cIdx.
이러한 프로세스의 출력들은 x = 0..nTbW - 1, y = 0..nTbH - 1인 수정된 예측 샘플들 predSamples[ x ][ y ]이다.
cIdx의 값에 의존하여, 함수 clip1Cmp는 다음과 같이 설정된다:
- cIdx가 0과 동일하면, clip1Cmp는 Clip1Y과 동일하게 설정된다.
- 그렇지 않으면, clip1Cmp는 Clip1C과 동일하게 설정된다.
변수 nScale는 ( ( Log2( nTbW ) + Log2( nTbH ) - 2 ) >> 2 )로 설정된다.
x = 0..refW - 1이고 y = 0..refH - 1인, 참조 샘플 어레이들 mainRef[ x ] 및 sideRef[ y ]는 다음과 같이 도출된다:
mainRef[ x ] = p[ x ][ -1 ]
sideRef[ y ] = p[ -1 ][ y ]
x = 0..nTbW - 1, y =0..nTbH - 1인, 변수들 refL[ x ][ y ], refT[ x ][ y ], wT[ y ], wL[ x ] 및 wTL[ x ][ y ]은 다음과 같이 도출된다:
- predModeIntra가 INTRA_PLANAR, INTRA_DC, INTRA_ANGULAR18, 또는 INTRA_ANGULAR50과 동일하면, 다음이 적용된다:
{x,y}는 예측 샘플의 위치를 정의하고, wT, wL 및 wTL은 정의된 위치에 따라 참조 샘플들과 연관된 가중치들이고, nScale는 전파 거리 (가중치들 wT 및 wL의 감쇠)를 제어하는 스케일링 파라미터이다.
- 그렇지 않고, predModeIntra가 INTRA_ANGULAR2 또는 INTRA_ANGULAR66과 동일하면, 다음이 적용된다:
- 그렇지 않고, predModeIntra가 INTRA_ANGULAR10 이하이면, 다음의 순서화된 단계들이 적용된다:
1. 변수들 dXPos[ y ], dXFrac[ y ], dXInt[ y ] 및 dX[ x ][ y ]는 invAngle를 사용하여 다음과 같이 도출된다:
2. 변수들 refL[ x ][ y ], refT[ x ][ y ], wT[ y ], wL[ x ] 및 wTL[ x ][ y ]는 다음과 같이 도출된다:
- 그렇지 않고, predModeIntra가 INTRA_ANGULAR58 이상이면(도 4b 참조), 다음의 순서화된 단계들이 적용된다:
1. 변수들 dYPos[ x ], dYFrac[ x ], dYInt[ x ] 및 dY[ x ][ y ]는 intraPredMode에 의존하여 아래에 명시되는 바와 같이 invAngle를 사용하여 다음과 같이 도출된다:
2. 변수들 refL[ x ][ y ], refT[ x ][ y ], wT[ y ], wL[ x ] 및 wTL[ x ][ y ]는 다음과 같이 도출된다:
- 그렇지 않으면, refL[ x ][ y ], refT[ x ][ y ], wT[ y ], wL[ x ] 및 wTL[ x ][ y ]는 모두 0과 동일하게 설정된다.
x = 0..nTbW - 1, y =0..nTbH - 1인, 수정된 예측 샘플들 predSamples[ x ][ y ]의 값들은 다음과 같이 도출된다:
위 배정 Eq. 1에서, 단순화된 PDPC는 선형 보간 대신에 가장 가까운-이웃 보간을 사용할 수 있다:
유사하게, 배정 Eq. 2는 또한 가장 가까운-이웃 보간을 사용할 수 있다:
클리핑은 단지 몇몇 모드들에 대해서만 제거될 수 있다. 구체적으로, DC 인트라 예측 모드에 대해, wTL은 0으로 설정될 수 있다. 결과적으로, 인트라 예측 모드가 DC이면, PDPC에 대해 clip1Cmp() 동작이 요구되지 않을 것이다. 다음의 규칙들 또는 방법들이 적용될 수 있다:
- DC에 대한 pdpc는 TL(top-left) 샘플을 사용하지 않는다;
- PDPC에서의 클리핑 동작은 HOR 및 VER 모드들을 제외한 임의의 인트라 예측 모드에 대해 수행되지 않는다;
- HOR 및 VER 모드에 대한 PDPC는 클리핑 동작을 사용하고, 본 출원에 설명된 임계화를 사용하지 않는다.
위 설명에 따르면, 이러한 사양은 다음의 방식으로 수정될 수 있다:
- predModeIntra가 INTRA_PLANAR 또는 INTRA_DC와 동일하면, 다음이 적용된다:
- 그렇지 않고, predModeIntra가 INTRA_ANGULAR18 또는 INTRA_ANGULAR50과 동일하면, 다음이 적용된다:
- 그렇지 않고, predModeIntra가 INTRA_ANGULAR2 또는 INTRA_ANGULAR66과 동일하면, 다음이 적용된다:
- 그렇지 않고, predModeIntra가 INTRA_ANGULAR10 이하이면, 다음의 단계들이 적용된다:
1. 변수들 dXPos[ y ], dXFrac[ y ], dXInt[ y ] 및 dX[ x ][ y ]는 intraPredMode에 의존하여 VVC 사양 드래프트에서 명시되는 바와 같이 invAngle를 사용하여 다음과 같이 도출된다:
2. 변수들 refL[ x ][ y ], refT[ x ][ y ], wT[ y ], wL[ x ] 및 wTL[ x ][ y ]는 다음과 같이 도출된다:
- 그렇지 않고, predModeIntra가 INTRA_ANGULAR58 이상이면, 다음의 순서화된 단계들이 적용된다:
1. 변수들 dYPos[ x ], dYFrac[ x ], dYInt[ x ] 및 dY[ x ][ y ]는 intraPredMode에 의존하여 VVC 사양 드래프트에서 명시되는 바와 같이 invAngle를 사용하여 다음과 같이 도출된다:
2. 변수들 refL[ x ][ y ], refT[ x ][ y ], wT[ y ], wL[ x ] 및 wTL[ x ][ y ]는 다음과 같이 도출된다:
- 그렇지 않으면, refL[ x ][ y ], refT[ x ][ y ], wT[ y ], wL[ x ] 및 wTL[ x ][ y ]는 모두 0과 동일하게 설정된다.
x = 0..nTbW - 1, y =0..nTbH - 1인, 수정된 예측 샘플들 predSamples[ x ][ y ]의 값들은 다음과 같이 도출된다:
- predModeIntra가 INTRA_ANGULAR18 또는 INTRA_ANGULAR50과 동일하면:
- 그렇지 않으면, 다음이 적용된다:
위 사양의 텍스트에 따라, PDPC 방법에 대해 다음의 수정들이 도입되었다:
- DC에 대한 PDPC를 수행할 때, 좌측-상단 샘플은 고려되지 않는다;
- 수평 및 수직 인트라 예측 모드들에 대해서만 예측 샘플들의 PDPC 출력 값에 클리핑이 적용된다. 모든 다른 인트라 예측 모드들에 대해 클리핑은 수행되지 않는다.
인코더 및 디코더 측들 양자 모두에서, 제안된 방법은 입력 데이터로서 다음을 사용한다:
● 지향성 인트라 예측 모드(도 10b 및 도 10c에 도시되는 predModeIntra로서 추가로 표기됨)
● (log2( nTbW) + Log2(nTbH) ) >> 1과 동일하게 설정되는 블록 크기 파라미터 nTbS, 여기서 nTbW 및 nTbH는 각각 예측 블록의 폭 및 높이를 표기하고, ">>"는 우측 시프트 연산을 표기함.
제안된 방법의 사용을 가능하게 하는 VVC 사양의 수정은 단순화된 PDPC를 설명하는 섹션에서 "이웃 샘플들 p[ x ][ y ](the neighbouring samples p[ x ][ y ])"를 "참조 샘플들 p[ x ][ y ](the reference samples p[ x ][ y ])"로 대체하는 것을 포함할 수 있다.
각도 파라미터 intraPredAngle는 5 비트와 동일한 분수 부분의 길이를 갖는 고정 소수점 표현에서 예측 샘플들의 2개의 인접 행들 사이의 서브픽셀 오프셋을 표기한다. 이러한 파라미터는 predModeIntra로부터 도출되는 인트라 예측 모드로부터 도출될 수 있다. predModeIntra로부터의 intraPredAngle의 예시적인 도출은, 예를 들어, 표 6에 도시되는 바와 같이, LUT로 정의될 수 있다.
현재의 HEVC 및 VVC 드래프트 사양으로부터, 평면 인트라 예측 방법이 사용된다. VVC 드래프트 3의 부분은 참조를 위해 아래에 원용된다:
8.2.4.2.5. INTRA_PLANAR 인트라 예측 모드의 사양
이러한 프로세스에 대한 입력들은 다음과 같다:
- 변환 블록 폭을 명시하는 변수 nTbW,
- 변환 블록 높이를 명시하는 변수 nTbH,
- x = -1, y = -1..nTbH 및 x = 0..nTbW, y = -1인, 이웃 샘플들 p[ x ][ y ].
이러한 프로세스의 출력들은, x = 0..nTbW - 1, y = 0..nTbH - 1인, 예측된 샘플들 predSamples[ x ][ y ]이다.
x = 0..nTbW - 1 and y = 0..nTbH - 1인, 예측 샘플들 predSamples[ x ][ y ]의 값들은 다음과 같이 도출된다:
제안된 해결책은 방정식 (1*)의 결함을 갖지 않는 대안적인 PDPC 방법이다. 구체적으로, 이러한 방법은 다음 단계들을 포함할 수 있다:
(x, y)에 위치되는 예측 샘플 
는 다음과 같이 계산된다:
여기서 Rx,-1, R-1,y는 현재 샘플 (x, y)의 위 및 좌측에 위치되는 참조 샘플을 표현한다. 예측 샘플 
의 값들이 항상 유효 값들의 범위에, 즉, 픽셀 값들의 최소와 최대 사이에 있기 때문에, 함수 clip1Cmp는 방정식 2에서 사용되지 않는다는 점에 주목할 가치가 있다.
"x >> y"는 x y 2진 디지트들의 2의 보수 정수 표현의 산술 우측 시프트이다. 이러한 함수는 y의 음이 아닌 정수 값들에 대해서만 정의된다. 우측 시프트의 결과로서 MSB들(most significant bits)로 시프트되는 비트들은 시프트 연산 전에 x의 MSB와 동일한 값을 갖는다.
DC 모드 가중치들은 다음과 같이 계산된다:
여기서 
하나의 4x4 블록 내부의 (0, 0) 및 (1, 0) 위치들에 대한 DC 모드 PDPC 가중치들( wL, wT)이 도 15에 도시된다. 도 13b와 비교하여, 좌측-상단 참조 샘플이 사용되지 않고 이러한 샘플에 대한 가중치가 명시되지 않는다는 점을 알 수 있다.
이러한 대안적인 방법은 VVC 사양의 일부분의 형태로 표현될 수 있다:
위치-의존적 인트라 예측 샘플 필터링 프로세스
이러한 프로세스에 대한 입력들은 다음과 같다:
- 인트라 예측 모드 predModeIntra,
- 변환 블록 폭을 명시하는 변수 nTbW,
- 변환 블록 높이를 명시하는 변수 nTbH,
- 참조 샘플들 폭을 명시하는 변수 refW,
- 참조 샘플들 높이를 명시하는 변수 refH,
- x = 0..nTbW - 1, y = 0..nTbH - 1인, 예측 샘플들 predSamples[ x ][ y ]
- x = -1, y = -1..refH - 1 and x = 0..refW - 1, y = -1인 이웃 샘플들 p[ x ][ y ],
- 현재 블록의 컬러 성분을 명시하는 변수 cIdx.
이러한 프로세스의 출력들은 x = 0..nTbW - 1, y = 0..nTbH - 1인 수정된 예측 샘플들 predSamples[ x ][ y ]이다.
cIdx의 값에 의존하여, 함수 clip1Cmp는 다음과 같이 설정된다:
- cIdx가 0과 동일하면, clip1Cmp는 Clip1Y과 동일하게 설정된다.
- 그렇지 않으면, clip1Cmp는 Clip1C과 동일하게 설정된다.
변수 nScale는 ( ( Log2( nTbW ) + Log2( nTbH ) - 2 ) >> 2 )로 설정된다.
x = 0..refW - 1이고 y = 0..refH - 1인, 참조 샘플 어레이들 mainRef[ x ] 및 sideRef[ y ]는 다음과 같이 도출된다:
x = 0..nTbW - 1, y =0..nTbH - 1인, 변수들 refL[ x ][ y ], refT[ x ][ y ], wT[ y ] 및 wL[ x ]은 다음과 같이 도출된다:
- predModeIntra가 INTRA_PLANAR, INTRA_DC, INTRA_ANGULAR18, 또는 INTRA_ANGULAR50과 동일하면, 다음이 적용된다:
- 그렇지 않고, predModeIntra가 INTRA_ANGULAR2 또는 INTRA_ANGULAR66과 동일하면, 다음이 적용된다:
- 그렇지 않고, predModeIntra가 INTRA_ANGULAR10 이하이면, 다음의 순서화된 단계들이 적용된다:
1. 변수들 dXPos[ y ], dXFrac[ y ], dXInt[ y ] 및 dX[ x ][ y ]는 intraPredMode에 의존하여 invAngle를 사용하여 다음과 같이 도출된다:
invAngle는 VVC 사양 드래프트에서 명시될 수 있다.
2. 변수들 refL[ x ][ y ], refT[ x ][ y ], wT[ y ], wL[ x ]는 다음과 같이 도출된다:
- 그렇지 않고, predModeIntra가 INTRA_ANGULAR58 이상이면, 다음의 순서화된 단계들이 적용된다:
1. 변수들 dYPos[ x ], dYFrac[ x ], dYInt[ x ] 및 dY[ x ][ y ]는 intraPredMode에 의존하여 invAngle를 사용하여 다음과 같이 도출된다:
invAngle는 VVC 사양 드래프트에서 명시될 수 있다.
2. 변수들 refL[ x ][ y ], refT[ x ][ y ], wT[ y ] 및 wL[ x ]는 다음과 같이 도출된다:
- 그렇지 않으면, refL[ x ][ y ], refT[ x ][ y ], wT[ y ], wL[ x ]는 모두 0과 동일하게 설정된다. x = 0..nTbW - 1, y =0..nTbH - 1인, 수정된 예측 샘플들 predSamples[ x ][ y ]의 값들은 다음과 같이 도출된다:
여기서 "( 64 - wL[ x ] - wT[ y ])"는 샘플 가중 인자를 나타낸다.
도 16은 위에 설명된 방법을 예시한다. 점선 라인에 의해, 최신의 PDPC에서 수행되는 클리핑의 단계가 도시되지만, 단지 음의 계수 wTL만이 사용되지 않기 때문에, 이것이 요구되지 않기 때문에, 제안된 방법에서는 수행되지 않는다.
도 17에서, 참조 샘플들은 예측 샘플들을 생성하기 위해 인트라 예측 프로세스에 의해 사용된다. 각각의 예측 샘플은 샘플 가중 인자를 사용하여 추가로 가중된다. 이러한 샘플 가중 인자는, 예를 들어, ( 64 - wL[ x ] - wT[ y ]) 와 동일할 수 있다. 동일한 참조 샘플들이 x 및 y에 의존하여 예측 샘플들 각각에 대한 추가적 값들을 계산하기 위해 사용되며, 여기서 x 및 y는 예측 블록 내의 예측 샘플의 위치를 정의한다. 이러한 추가적 값들은 대응하는 가중 예측 샘플들에 추가된다. 다음으로, 이러한 동작으로부터 생기는 각각의 샘플은 샘플 가중 인자의 미리 결정된 정밀도에 따라 우측 시프트하는 것에 의해 정규화된다. 예를 들어, 샘플 가중 인자가 ( 64 - wL[ x ] - wT[ y ]) )로서 정의되면 정밀도는 6-비트이다. 따라서, 이러한 단계에서, 출력 값들의 가능한 최소 및 최대 값들이 참조 샘플들의 가능한 최소 및 최대 값들과 동일한 것을 보장하기 위해 6만큼의 우측 시프트가 수행된다.
제안된 해결책의 유익한 효과들 중 하나는 PLANAR 인트라 예측 메커니즘이 추가적 값들을 계산하기 위해 재사용될 수 있다는 점이다. 구체적으로, PLANAR 인트라 예측은 수평 및 수직 예측 샘플 값들을 도출하기 위해 다음의 방정식을 사용한다:
위 2개의 방정식들로부터, predV[ x ][ y ]는 predV[ x ][ y ]가 하는 것과 동일한 열에 위치되는 참조 샘플 p[ x ][-1]을 사용하고 predH[ x ][ y ]는 predH[ x ][ y ]와 동일한 행에 위치되는 참조 샘플 p[-1][ y ]를 사용한다는 점을 알 수 있다. 게다가, 좌측 시프트 연산들은 최종 단계로서 수행되고, 따라서 이들이 재사용되는 중간 계산들에 영향을 미치지 않기 때문에 스킵될 수 있다. nTbW, nTbH, x 및 y 변수들은 PLANAR 인트라 예측 방법의 입력들이고, 따라서 그에 대응하여 조절될 수 있다. 그러한 것 때문에 ( nTbW - 1 - x )를 Dx로 그리고 ( nTbH - 1 - y )를 Dy 입력 변수들로 치환하는 것이 가능하다. 좌측-하단 및 우측-상단 참조 샘플들은 0으로 설정될 수 있고 그 이유는 이러한 것들이 파라미터가 아니기 때문이다. 유사한 수정이 수행될 수 있다.
위에 설명된 관찰들을 고려하면, 위 방정식들은 미리 결정된 그 입력들에 따라 재작성될 수 있다.
Vy= Dy * p[ x ][ -1 ]
Vx= Dx * p[ -1 ][ y ]
따라서, 다음의 통합들이 수행될 수 있다:
- 수평 모드(모드 18)의 경우의 추가적 값은 Vy= Dy * p[ x ][ -1 ] 로서 계산될 수 있고, 여기서 Dy는 wT[ y ]와 동일하게 설정된다;
- 수직 모드(모드 50)의 경우의 추가적 값은 Vx= Dx * p[ -1 ][ y ] 로서 계산될 수 있고, 여기서 Dx는 wL[ y ] 와 동일하게 설정된다;
- DC 모드(모드 1)의 경우의 추가적 값은 Vy+Vx로서 계산될 수 있고, 여기서 Dx 및 Dy는 이전의 2개의 경우에서와 같이 설정된다.
참조 샘플 선택의 교대에 의해, PDPC 프로세스에 대해 명시되는 모든 인트라 예측 모드들에 대해 통합이 수행될 수 있다는 점을 알 수 있다.
인트라 예측 모드가 DC, 수평 또는 수직 인트라 예측 모드들과 동일하도록 명시될 때, 결과적인 업데이트된 예측 샘플은 예를 들어, 도 16에서 점선 경계를 갖는 블록에 의해 도시되는 바와 같이 클리핑되어야 한다.
수평 또는 수직 인트라 예측 모드들의 경우에, 가중된 예측 샘플이 추가적 값과 합산될 때 단순화된 PDPC의 마지막 단계 전에 클리핑 동작을 재배치하는 것이 보다 유익하다. 이러한 추가적 값은 위에 설명된 바와 같이 상이한 모드들에 대해 상이하게 획득된다.
본 발명의 실시예들은 인트라 예측에서 사용되는 수직 또는 수평 인트라 예측 모드들의 경우들에 대한 추가적 값을 획득하기 위해 수행되는 중간 계산들의 임계 결과들을 제안한다. 이러한 경우들에 대해, 가중된 예측 샘플에 추가되는 방식으로 추가적 값이 계산될 수 있고, 이는 클리핑 동작을 요구하지 않을 것이다.
최신의 PDPC 방법들은 (심지어 수평 및 수직 모드들에 대해서도) 업데이트된 예측 샘플에 대해 클리핑을 적용한다. 구체적으로:
수평 인트라 예측 모드에 대해, wTL[ x ][ y ]는 wT[ y ] 와 동일하게 설정되고, 따라서 단순화된 표현으로 이어진다:
이러한 표현에서, "refT[ x ][ y ] - p[ -1 ][ -1 ]"은 실제로 추가적 참조 샘플 값이다. 즉, 인트라 예측 모드가 수평인 경우들에 대해, 추가적 참조 값은 예측 샘플 위에 위치되는 가장 가까운 참조 샘플 (refT[ x ][ y ])의 값과 좌측-상단 참조 샘플 (p[ -1 ][ -1 ]) 사이의 차이와 동일하게 설정된다.
인트라 예측 모드가 수직인 경우들에 대해, 추가적 참조 값은 예측 샘플의 좌측에 위치된 가장 가까운 참조 샘플 (refL[ x ][ y ] )의 값과 좌측-상단 참조 샘플 (p[ -1 ][ -1 ] ) 사이의 차이, 즉 "refL[ x ][ y ] - p[ -1 ][ -1 ]"와 동일하게 설정된다.
따라서, 추가적 참조 샘플 값, 즉, "refT[ x ][ y ] - p[ -1 ][ -1 ]"을 통해 임계화 연산들에 의해 clipCmp 함수를 대체하는 것이 가능하다.
수평 인트라 예측 모드에 대해:
수직 인트라 예측 모드에 대해:
T()의 예시적인 구현이 도 17에 주어진다. 추가적 참조 샘플 값의 임계화 동작 T()는 실제로 좌측-상단 참조 샘플이 예측 샘플 초과인지에 따라 추가적 참조 샘플 값을 업데이트하는 것이다. 구체적으로:
- 좌측-상단 참조 샘플이 예측 샘플 초과일 때, 하한은 예측 샘플의 최대 값으로부터 예측 샘플 값을 감산하는 것에 의해 획득되고, 업데이트된 추가적 참조 샘플 값은 2개의 값들 중 최대와 동일하게 설정되고,
○ 제1 값은 추가적 참조 샘플 값이고,
○ 제2 값은 하한이고,
- 그렇지 않으면, 상한은 예측 샘플의 최소 값으로부터 예측 샘플 값을 감산하는 것에 의해 획득되고, 업데이트된 추가적 참조 샘플 값은 2개의 값들 중 최소와 동일하게 설정되고,
○ 제1 값은 추가적 참조 샘플 값이고,
○ 제2 값은 상한이다.
도 17에서, 가장 가까운 참조 샘플은 인트라 예측이 수평일 때 예측 샘플의 좌측에 위치되는 가장 가까운 참조 샘플이다. 인트라 예측이 수직일 때, 가장 가까운 참조 샘플은 예측 샘플 위에 위치되는 가장 가까운 참조 샘플이다. 이러한 도면으로부터, 비교 결과가 아래의 양자 모두를 스위칭하기 위해 사용된다는 점을 알 수 있다.
- 임계 함수들의 결과들, 즉, 최소 및 최대, 및
- 임계화 함수의 인수들 중 하나.
Clip3() 함수는 2개의 임계화 연산들을 제공한다는 점이 주목할 만하다. 하나의 임계는 예측 샘플의 최소 값이고 다른 하나는 예측 샘플의 최대 값이다. 업데이트된 예측 샘플(도 16)에 적용되는 Clip3() 함수와 비교하여, 제안된 임계화(도 17)는 단지 하나의 임계: 예측 샘플의 최소 값 또는 예측 샘플의 최대 값 중 어느 하나만을 적용한다.
위에 설명된 임계화 재위치는 PDPC가 적용가능한 인트라 예측 모드들 전부에 대한 클리핑 없이 동일한 방정식의 사용을 가능하게 한다는 점을 또한 알 수 있다.
도 18은 화상의 블록을 인트라 예측하기 위한 장치(1800)의 예시적인 구조를 도시하는 블록도이다. 이러한 장치(1800)는 위 방법들을 수행하도록 구성되고,
인트라 예측 모드를 사용하는 인트라 예측에 의해 하나 이상의 참조 샘플 값으로부터 예측 샘플 값을 획득하도록, 인트라 예측 모드에 따라 적어도 하나의 추가적 참조 샘플 값을 획득하도록, 그리고 추가적 참조 샘플 값에 기초하여 임계화된 추가적 참조 샘플 값을 획득하도록 구성되는 획득 유닛(1810);
임계화된 추가적 참조 샘플 값으로부터 추가적 값을 계산하도록, 예측 샘플 값에 샘플 가중 인자를 곱하여, 가중된 예측 샘플 값을 얻도록, 추가적 값을 가중된 예측 샘플 값에 가산하여, 비-정규화된 예측 샘플 값을 얻도록, 그리고 비-정규화된 예측 샘플 값을 정규화하여, 정규화된 예측 샘플 값을 얻도록 구성되는 계산 유닛(1820)을 포함할 수 있다.
인트라 예측 모드가 수직 인트라 예측 모드일 때, 추가적 참조 샘플 값은 예측 샘플 위에 위치되는 가장 가까운 참조 샘플의 값과 좌측-상단 참조 샘플 사이의 차이와 동일하게 설정될 수 있다.
인트라 예측 모드가 수평 인트라 예측 모드일 때, 추가적 참조 샘플 값은 예측 샘플의 좌측에 위치되는 가장 가까운 참조 샘플의 값과 좌측-상단 참조 샘플 사이의 차이와 동일하게 설정될 수 있다.
인트라 예측 모드가 DC 인트라 예측 모드일 때, 적어도 하나의 추가적 참조 샘플 값은 제1 추가적 참조 샘플 값 및 제2 추가적 참조 샘플 값을 포함하고, 제1 추가적 참조 샘플 값 및 제2 추가적 참조 샘플 값은,
제1 추가적 참조 샘플 값을 예측 샘플의 좌측에 위치되는 가장 가까운 참조 샘플과 동일하게 설정하는 단계, 및
제2 추가적 참조 샘플 값을 예측 샘플의 위에 위치되는 가장 가까운 참조 샘플과 동일하게 설정하는 단계에 의해 획득될 수 있다.
좌측-상단 참조 샘플이 예측 샘플 이상일 때, 상한은 예측 샘플의 최대 값으로부터 예측 샘플 값을 감산하는 것에 의해 획득되고, 임계화된 추가적 참조 샘플 값은 제1 값 및 제2 값 중 최대와 동일하게 설정되고:
○ 제1 값은 추가적 참조 샘플 값이고,
○ 제2 값은 상한이다.
좌측-상단 참조 샘플이 예측 샘플 미만일 때, 하한은 예측 샘플의 최소 값으로부터 예측 샘플 값을 감산하는 것에 의해 획득되고, 임계화된 추가적 참조 샘플 값은 제1 값 및 제2 값 중 최소와 동일하게 설정되고:
○ 제1 값은 추가적 참조 샘플 값이고,
○ 제2 값은 하한이다.
다음은, 위에 언급된 실시예들에서 도시되는 바와 같은 인코딩 방법 뿐만 아니라 디코딩 방법의 적용들, 및 이들을 사용하는 시스템의 설명이다.
도 19는 콘텐츠 배포 서비스를 실현하기 위한 콘텐츠 공급 시스템(3100)을 도시하는 블록도이다. 이러한 콘텐츠 공급 시스템(3100)은, 캡처 디바이스(3102), 단말 디바이스(3106)를 포함하고, 디스플레이(3126)를 선택적으로 포함한다. 캡처 디바이스(3102)는 통신 링크(3104)를 통해 단말 디바이스(3106)와 통신한다. 통신 링크는 위에 설명된 통신 채널(13)을 포함할 수 있다. 통신 링크(3104)는 이에 제한되는 것은 아니지만 WIFI, Ethernet, Cable, 무선 (3G/4G/5G), USB, 또는 임의의 종류의 이들의 조합 등을 포함한다.
캡처 디바이스(3102)는 데이터를 생성하고, 위 실시예들에서 도시되는 바와 같은 인코딩 방법에 의해 데이터를 인코딩할 수 있다. 대안적으로, 캡처 디바이스(3102)는 데이터를 스트리밍 서버(도면들에 도시되지 않음)에 배포할 수 있고, 이러한 서버는 데이터를 인코딩하고 인코딩된 데이터를 단말 디바이스(3106)에 송신한다. 캡처 디바이스(3102)는 이에 제한되는 것은 아니지만 카메라, 스마트 폰 또는 패드, 컴퓨터 또는 랩톱, 비디오 회의 시스템, PDA, 차량 장착 디바이스, 또는 이들의 임의의 조합 등을 포함한다. 예를 들어, 캡처 디바이스(3102)는 위에 설명된 바와 같은 소스 디바이스(12)를 포함할 수 있다. 데이터가 비디오를 포함할 때, 캡처 디바이스(3102)에 포함되는 비디오 인코더(20)가 비디오 인코딩 처리를 실제로 수행할 수 있다. 데이터가 오디오(즉, 음성)를 포함할 때, 캡처 디바이스(3102)에 포함되는 오디오 인코더가 오디오 인코딩 처리를 실제로 수행할 수 있다. 일부 실제 시나리오들에 대해, 캡처 디바이스(3102)는 인코딩된 비디오 및 오디오 데이터를 함께 멀티플렉싱하는 것에 의해 이들을 배포한다. 다른 실제 시나리오들에 대해, 예를 들어, 비디오 회의 시스템에서, 인코딩된 오디오 데이터 및 인코딩된 비디오 데이터는 멀티플렉싱되지 않는다. 캡처 디바이스(3102)는 인코딩된 오디오 데이터 및 인코딩된 비디오 데이터를 개별적으로 단말 디바이스(3106)로 배포한다.
콘텐츠 공급 시스템(3100)에서, 단말 디바이스(310)는 인코딩된 데이터를 수신하고 재생성한다. 단말 디바이스(3106)는, 위에 언급된 인코딩된 데이터를 디코딩할 수 있는 스마트 폰 또는 패드(3108), 컴퓨터 또는 랩톱(3110), NVR(network video recorder)/ DVR(digital video recorder)(3112), TV(3114), STB(set top box)(3116), 비디오 회의 시스템(3118), 비디오 감시 시스템(3120), PDA(personal digital assistant)(3122), 차량 장착 디바이스(3124), 또는 이들 중 임의의 것의 조합 등과 같은, 데이터 수신 및 복구 능력이 있는 디바이스일 수 있다. 예를 들어, 단말 디바이스(3106)는 위에 설명된 바와 같은 목적지 디바이스(14)를 포함할 수 있다. 인코딩된 데이터가 비디오를 포함할 때, 단말 디바이스에 포함되는 비디오 디코더(30)는 비디오 디코딩을 수행하도록 우선순위화된다. 인코딩된 데이터가 오디오를 포함할 때, 단말 디바이스에 포함되는 오디오 디코더는 오디오 디코딩 처리를 수행하도록 우선순위화된다.
자신의 디스플레이가 있는 단말 디바이스, 예를 들어, 스마트 폰 또는 패드(3108), 컴퓨터 또는 랩톱(3110), NVR(network video recorder)/ DVR(digital video recorder)(3112), TV(3114), PDA(personal digital assistant)(3122), 또는 차량 장착 디바이스(3124)에 대해, 단말 디바이스는 디코딩된 데이터를 자신의 디스플레이에 공급할 수 있다. 디스플레이가 전혀 구비되지 않은 단말 디바이스, 예를 들어, STB(3116), 비디오 회의 시스템(3118) 또는 비디오 감시 시스템(3120)에 대해, 디코딩된 데이터를 수신하고 보여주기 위해 외부 디스플레이(3126)가 그 안에 접촉된다.
이러한 시스템에서의 각각의 디바이스가 인코딩 또는 디코딩을 수행할 때, 위에 언급된 실시예들에 도시되는 바와 같은, 화상 인코딩 디바이스 또는 화상 디코딩 디바이스가 사용될 수 있다.
도 20은 단말 디바이스(3106)의 예의 구조를 도시하는 도면이다. 단말 디바이스(3106)가 캡처 디바이스(3102)로부터 스트림을 수신한 후에, 프로토콜 진행 유닛(3202)이 스트림의 송신 프로토콜을 분석한다. 이러한 프로토콜은 이에 제한되는 것은 아니지만 RTSP(Real Time Streaming Protocol), HTTP(Hyper Text Transfer Protocol), HLS(HTTP Live streaming protocol), MPEG-DASH, RTP(Real-time Transport protocol), RTMP(Real Time Messaging Protocol), 또는 이들의 임의의 종류의 조합 등을 포함한다.
프로토콜 진행 유닛(3202)이 스트림을 처리한 후에, 스트림 파일이 생성된다. 이러한 파일은 디멀티플렉싱 유닛(3204)에 출력된다. 디멀티플렉싱 유닛(3204)은 멀티플렉싱된 데이터를 인코딩된 오디오 데이터 및 인코딩된 비디오 데이터로 분리할 수 있다. 위에 설명된 바와 같이, 일부 실제 시나리오들에 대해, 예를 들어, 비디오 회의 시스템에서, 인코딩된 오디오 데이터 및 인코딩된 비디오 데이터는 멀티플렉싱되지 않는다. 이러한 상황에서, 인코딩된 데이터는 디멀티플렉싱 유닛(3204)을 통하지 않고 비디오 디코더(3206) 및 오디오 디코더(3208)에 송신된다.
디멀티플렉싱 처리를 통해, 비디오 ES(elementary stream), 오디오 ES, 및 선택적으로 자막이 생성된다. 위에 언급된 실시예들에서 설명되는 바와 같은, 비디오 디코더(30)를 포함하는, 비디오 디코더(3206)는, 위에 언급된 실시예들에서 도시되는 바와 같은 디코딩 방법에 의해 비디오 ES를 디코딩하여 비디오 프레임을 생성하고, 이러한 데이터를 동기 유닛(3212)에 공급한다. 오디오 디코더(3208)는, 오디오 ES를 디코딩하여 오디오 프레임을 생성하고, 이러한 데이터를 동기 유닛(3212)에 공급한다. 대안적으로, 비디오 프레임은, 비디오 프레임이 동기 유닛(3212)에 공급되기 전에 버퍼(도 Y에 도시되지 않음)에 저장될 수 있다. 유사하게, 오디오 프레임은, 오디오 프레임이 동기 유닛(3212)에 공급되기 전에 버퍼(도 Y에 도시되지 않음)에 저장될 수 있다.
동기 유닛(3212)은 비디오 프레임과 오디오 프레임을 동기화하고, 비디오/오디오를 비디오/오디오 디스플레이(3214)에 공급한다. 예를 들어, 동기 유닛(3212)은 비디오 및 오디오 정보의 프레젠테이션을 동기화한다. 정보는 코딩된 오디오 및 시각적 데이터의 프레젠테이션에 관한 타임 스탬프들 및 데이터 스트림 자체의 전달에 관한 타임 스탬프들을 사용하여 신택스에서 코딩할 수 있다.
자막이 스트림에 포함되면, 자막 디코더(3210)는 자막을 디코딩하고, 그것을 비디오 프레임 및 오디오 프레임과 동기화하고, 비디오/오디오/자막을 비디오/오디오/자막 디스플레이(3216)에 공급한다.
본 발명은 위에 언급된 시스템에 제한되지 않고, 위에 언급된 실시예들에서의 화상 인코딩 디바이스 또는 화상 디코딩 디바이스는 다른 시스템, 예를 들어, 자동차 시스템에 포함될 수 있다.
본 발명의 실시예들이 비디오 코딩에 기초하여 주로 설명되었더라도, 코딩 시스템(10), 인코더(20) 및 디코더(30)(및 대응하여 시스템(10))의 실시예들 및 본 명세서에 설명되는 다른 실시예들은 정지 화상 처리 또는 코딩, 즉, 비디오 코딩에서와 같이 임의의 선행 또는 연속 화상에 독립적인 개별 화상의 처리 또는 코딩을 위해 또한 구성될 수 있다는 점이 주목되어야 한다. 일반적으로 화상 처리 코딩이 단일 화상(17)에 제한되는 경우에 인터 예측 유닛들(244(인코더) 및 344(디코더))만이 이용가능하지 않을 수 있다. 정지 화상 처리, 예를 들어, 잔차 계산(204/304), 변환(206), 양자화(208), 역 양자화(210/310), (역) 변환(212/312), 파티셔닝(262/362), 인트라 예측(254/354), 및/또는 루프 필터링(220, 320), 및 엔트로피 코딩(270) 및 엔트로피 디코딩(304)에 대해 비디오 인코더(20) 및 비디오 디코더(30)의 (툴들 또는 기술들이라고 또한 지칭되는) 모든 다른 기능성들이 동일하게 사용될 수 있다.
본 발명의 실시예들이 비디오 코딩에 기초하여 주로 설명되었더라도, 코딩 시스템(10), 인코더(20) 및 디코더(30)(및 대응하여 시스템(10))의 실시예들 및 본 명세서에 설명되는 다른 실시예들은 정지 화상 처리 또는 코딩, 즉, 비디오 코딩에서와 같이 임의의 선행 또는 연속 화상에 독립적인 개별 화상의 처리 또는 코딩을 위해 또한 구성될 수 있다는 점이 주목되어야 한다. 일반적으로 화상 처리 코딩이 단일 화상(17)에 제한되는 경우에 인터 예측 유닛들(244(인코더) 및 344(디코더))만이 이용가능하지 않을 수 있다. 정지 화상 처리, 예를 들어, 잔차 계산(204/304), 변환(206), 양자화(208), 역 양자화(210/310), (역) 변환(212/312), 파티셔닝(262/362), 인트라 예측(254/354), 및/또는 루프 필터링(220, 320), 및 엔트로피 코딩(270) 및 엔트로피 디코딩(304)에 대해 비디오 인코더(20) 및 비디오 디코더(30)의 (툴들 또는 기술들이라고 또한 지칭되는) 모든 다른 기능성들이 동일하게 사용될 수 있다.
예를 들어, 인코더(20) 및 디코더(30)의 실시예들, 및, 예를 들어, 인코더(20) 및 디코더(30)를 참조하여 본 명세서에 설명되는 기능들은, 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되면, 이러한 기능들은 컴퓨터-판독가능 매체 상에 저장될 수 있거나 또는 하나 이상의 명령어 또는 코드로서 통신 매체를 통해 송신될 수 있고 하드웨어-기반 처리 유닛에 의해 실행될 수 있다. 컴퓨터-판독가능 매체는, 데이터 저장 매체와 같은 유형의 매체에 대응하는, 컴퓨터-판독가능 저장 매체, 또는, 예를 들어, 통신 프로토콜에 따라, 하나의 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수 있다. 이러한 방식으로, 컴퓨터-판독가능 매체는 일반적으로, (1) 비-일시적인 유형의 컴퓨터-판독가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체는, 본 개시내용에서 설명되는 기법들의 구현을 위한 명령어들, 코드 및/또는 데이터 구조들을 검색하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터-판독가능 매체를 포함할 수 있다.
제한이 아니라, 예로서, 이러한 컴퓨터-판독가능 저장 매체는, RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령어들 또는 데이터 구조의 형태로 저장하기 위해 사용될 수 있는 그리고 컴퓨터에 의해 액세스될 수 있는 다른 임의의 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터-판독가능 매체라고 적절히 칭해진다. 예를 들어, 명령어들이, 동축 케이블, 광 섬유 케이블, 트위스티드 페어(twisted pair), DSL(digital subscriber line), 또는 적외선, 무선, 및 마이크로웨이브와 같은 무선 기술들을 사용하여 웹사이트, 서버 또는 다른 원격 소스로부터 송신되면, 이러한 동축 케이블, 광 섬유 케이블, 트위스티드 페어, DSL, 또는 적외선, 무선, 및 마이크로웨이브와 같은 무선 기술들은 매체의 정의에 포함된다. 그러나, 컴퓨터-판독가능 저장 매체 및 데이터 저장 매체는, 접속들, 반송파들, 신호들, 또는 다른 일시적인 매체를 포함하지 않고, 그 대신에, 비-일시적, 유형의 저장 매체와 관련된다는 점이 이해되어야 한다. 본 명세서에서 사용되는 바와 같은, 디스크(disk 및 disc)는 CD(compact disc), 레이저 디스크, 광 디스크, DVD(digital versatile disc), 플로피 디스크 및 Blu-ray 디스크를 포함하고, 여기서 disk들은 일반적으로 데이터를 자기적으로 재생성하는 반면, disc들은 데이터를 레이저들로 광학적으로 재생성한다. 위의 것의 조합들이 컴퓨터-판독가능 매체의 범위 내에 또한 포함되어야 한다.
하나 이상의 DSP(digital signal processors), 범용 마이크로프로세서, ASIC(application specific integrated circuits), FPGA(field programmable logic arrays), 또는 다른 동등한 집적 또는 이산 로직 회로와 같은, 하나 이상의 프로세서에 의해 명령어들이 실행될 수 있다. 따라서, 본 명세서에서 사용되는 바와 같은 "프로세서(processor)"이라는 용어는 본 명세서에서 설명되는 기법들의 구현에 적합한 임의의 다른 구조 또는 전술한 구조 중 임의의 것을 지칭할 수 있다. 또한, 일부 양태들에서, 본 명세서에서 설명되는 기능성은 인코딩 및 디코딩을 위해 구성되는 전용 하드웨어 및/또는 소프트웨어 모듈 내에 제공되거나, 또는 조합된 코덱에 포함될 수 있다. 또한, 이러한 기법들은 하나 이상의 회로 또는 로직 엘리먼트에서 완전히 구현될 수 있다. 본 개시내용에서 언급되는 처리 회로는 하드웨어 및 소프트웨어를 포함할 수 있다.
본 개시내용의 기법들은, 무선 핸드셋, IC(integrated circuit) 또는 IC들의 세트(예를 들어, 칩 세트)를 포함하는, 매우 다양한 디바이스들 또는 장치들에서 구현될 수 있다. 개시된 기법들을 수행하도록 구성되는 디바이스들의 기능적 양태들을 강조하기 위해 본 개시내용에서는 다양한 컴포넌트들, 모듈들, 또는 유닛들이 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 요구하지는 않는다. 오히려, 위에 설명된 바와 같이, 다양한 유닛들은, 적합한 소프트웨어 및/또는 펌웨어와 연계하여, 코덱 하드웨어 유닛에서 조합되거나 또는, 위에 설명된 하나 이상의 프로세서를 포함하는, 연동 하드웨어 유닛들의 집합에 의해 제공될 수 있다.
Claims (33)
- 화상의 블록을 인트라 예측하는 방법으로서,
인트라 예측 모드를 사용하는 인트라 예측에 의해 하나 이상의 참조 샘플 값으로부터 예측 샘플 값을 획득하는 단계;
상기 예측 샘플의 위 및 좌측에 위치되는 가장 가까운 참조 샘플들의 값들을 획득하는 단계;
상기 인트라 예측 모드에 따라 적어도 하나의 추가적 참조 샘플 값을 획득하는 단계;
상기 추가적 참조 샘플 값에 기초하여 임계화된 추가적 참조 샘플 값을 획득하는 단계;
상기 임계화된 추가적 참조 샘플 값으로부터 추가적 값을 계산하는 단계;
상기 예측 샘플 값에 샘플 가중 인자를 곱하여, 가중된 예측 샘플 값을 얻는 단계;
상기 가중된 예측 샘플 값에 추가적 값을 가산하여, 비-정규화된 예측 샘플 값을 얻는 단계; 및
상기 비-정규화된 예측 샘플 값을 정규화하여, 정규화된 예측 샘플 값을 얻는 단계를 포함하는 방법. - 제1항에 있어서, 상기 인트라 예측 모드는 수직 인트라 예측 모드이고, 상기 추가적 참조 샘플 값은 상기 예측 샘플 위에 위치되는 가장 가까운 참조 샘플의 값과 상기 좌측-상단 참조 샘플 사이의 차이와 동일하게 설정되는 방법.
- 제1항에 있어서, 상기 인트라 예측 모드는 수평 인트라 예측 모드이고, 상기 추가적 참조 샘플 값은 상기 예측 샘플의 좌측에 위치되는 가장 가까운 참조 샘플의 값과 상기 좌측-상단 참조 샘플 사이의 차이와 동일하게 설정되는 방법.
- 제1항 내지 제3항 중 어느 한 항에 있어서, 임계화된 추가적 참조 샘플 값을 획득하는 단계는,
상기 인트라 예측 모드가 수평 인트라 예측 모드 또는 수직 인트라 예측 모드일 때 상기 추가적 참조 샘플 값을 임계화하여 상기 임계화된 추가적 참조 샘플 값을 획득하는 단계를 포함하는 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서, 임계화된 추가적 참조 샘플 값을 획득하는 단계는,
좌측-상단 참조 샘플 값을 획득하는 단계; 및
상기 추가적 참조 샘플 값이 상한 초과인지 또는 하한 미만인지를 체크하는 것에 의해 상기 임계화된 추가적 참조 샘플 값을 획득하기 위해 상기 추가적 참조 샘플 값을 업데이트하는 단계- 상한과 하한 사이의 선택은 상기 좌측-상단 참조 샘플 값이 상기 예측 샘플 값 초과인지에 따라 수행됨 -를 포함하는 방법. - 제5항에 있어서, 상기 방법은 추가로,
상기 예측 샘플의 최소 및 최대 값들을 도출하는 단계를 포함하는 방법. - 제6항에 있어서, 상기 좌측-상단 참조 샘플이 상기 예측 샘플 이상일 때, 상기 상한은 상기 예측 샘플의 최대 값으로부터 예측 샘플 값을 감산하는 것에 의해 획득되고, 상기 임계화된 추가적 참조 샘플 값은 제1 값 및 제2 값 중 최대와 동일하게 설정되고:
○ 상기 제1 값은 상기 추가적 참조 샘플 값이고,
○ 상기 제2 값은 상기 상한인 방법. - 제6항에 있어서, 상기 좌측-상단 참조 샘플이 상기 예측 샘플 미만일 때, 상기 하한은 상기 예측 샘플의 최소 값으로부터 예측 샘플 값을 감산하는 것에 의해 획득되고, 상기 임계화된 추가적 참조 샘플 값은 제1 값 및 제2 값 중 최소와 동일하게 설정되고:
○ 상기 제1 값은 상기 추가적 참조 샘플 값이고,
○ 상기 제2 값은 상기 하한인 방법. - 제6항 내지 제8항 중 어느 한 항에 있어서, 상기 예측 샘플의 최대 및 최소 값들은 PPS(picture parameter set) 값들로부터 도출되는 방법.
- 제6항 내지 제9항 중 어느 한 항에 있어서, 상기 예측 샘플의 최대 값 및 최소 값은 슬라이스 헤더에 표시되는 방법.
- 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 임계화된 추가적 참조 샘플 값으로부터 추가적 값을 계산하는 단계는,
상기 인트라 예측 모드가 수평 또는 수직일 때 상기 임계화된 추가적 참조 샘플 값과 가중 인자를 곱하는 것에 의해 상기 추가적 값을 계산하는 단계를 포함하는 방법. - 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 샘플 가중 인자는 상기 인트라 예측 모드가 수평 인트라 예측 모드 또는 수직 인트라 예측 모드일 때 1과 동일하게 설정되는 방법.
- 제1항에 있어서, 상기 인트라 예측 모드는 DC 인트라 예측 모드이고, 상기 적어도 하나의 추가적 참조 샘플 값은 제1 추가적 참조 샘플 값 및 제2 추가적 참조 샘플 값을 포함하고,
상기 제1 추가적 참조 샘플 값 및 상기 제2 추가적 참조 샘플 값은,
○ 상기 제1 추가적 참조 샘플 값을 상기 예측 샘플의 좌측에 위치되는 가장 가까운 참조 샘플과 동일하게 설정하는 단계, 및
○ 상기 제2 추가적 참조 샘플 값을 상기 예측 샘플의 위에 위치되는 가장 가까운 참조 샘플과 동일하게 설정하는 단계에 의해 획득되는 방법. - 제13항에 있어서, 상기 추가적 값을 계산하는 단계는,
상기 인트라 예측 모드가 DC 인트라 예측 모드일 때 상기 제1 추가적 참조 샘플 값 및 상기 제2 추가적 참조 샘플 값의 가중 합을 계산하는 단계- 상기 가중 합은 상기 추가적 값으로서 설정됨 -를 포함하는 방법. - 제1항 내지 제14항 중 어느 한 항에 있어서, 상기 화상은 비디오 시퀀스의 일부분인 방법.
- 화상의 블록을 인트라 예측하는 방법으로서,
현재 블록의 인트라 예측 모드를 획득하는 단계;
상기 인트라 예측 모드가 DC 모드 또는 평면 모드이고, 좌측-상단 샘플이 PDPC(position-dependent prediction combination)에 사용되지 않을 때 상기 상단 샘플 또는 좌측 샘플에 기초하여 PDPC(position-dependent prediction combination)를 수행하는 단계를 포함하는 방법. - 제16항에 있어서, predModeIntra가 INTRA_PLANAR 또는 INTRA_DC와 동일할 때, 다음이 적용되고:
wT[ y ] = 32 >> ( ( y << 1 ) >> nScale );
wL[ x ] = 32 >> ( ( x << 1 ) >> nScale );
wTL[ x ][ y ] = 0;
predModeIntra는 상기 인트라 예측 모드를 표시하기 위해 사용되고, {x,y}는 예측 샘플의 위치를 정의하고, wT, wL 및 wTL은 상기 정의된 위치에 따라 참조 샘플들과 연관된 가중치들이고, nScale는 스케일링 파라미터인 방법. - 화상의 블록을 인트라 예측하는 방법으로서,
현재 블록의 인트라 예측 모드를 획득하는 단계를 포함하고;
PDPC(position-dependent prediction combination)에서의 클리핑 동작은 상기 인트라 예측 모드가 수평 인트라 예측 모드 또는 수직 인트라 예측 모드일 때 수행되고, 상기 인트라 예측 모드가 DC 모드 또는 평면 모드일 때 수행되지 않는 방법. - 제18항에 있어서, 상기 PDPC에서의 클리핑 동작은 인트라 예측 모드가 수평 인트라 예측 모드 또는 수직 인트라 예측 모드일 때에만 수행되는 방법.
- 제18항 또는 제19항에 있어서, predModeIntra가 INTRA_ANGULAR18 또는 INTRA_ANGULAR50과 동일할 때,
predModeIntra는 상기 인트라 예측 모드를 표시하기 위해 사용되고, {x,y}는 예측 샘플의 위치를 정의하고, wT, wL 및 wTL은 상기 정의된 위치에 따른 참조 샘플들과 연관된 가중치들인 방법. - 제18항 또는 제19항에 있어서, predModeIntra가 INTRA_ANGULAR18 또는 INTRA_ANGULAR50과 동일하지 않을 때, 다음이 적용되고;
predModeIntra는 상기 인트라 예측 모드를 표시하기 위해 사용되고, {x,y}는 예측 샘플의 위치를 정의하고, wT 및 wL은 상기 정의된 위치에 따른 참조 샘플들과 연관된 가중치들인 방법. - 화상의 블록을 인트라 예측하는 장치로서,
인트라 예측 모드를 사용하는 인트라 예측에 의해 하나 이상의 참조 샘플 값으로부터 예측 샘플 값을 획득하도록, 상기 인트라 예측 모드에 따라 적어도 하나의 추가적 참조 샘플 값을 획득하도록, 그리고 상기 추가적 참조 샘플 값에 기초하여 임계화된 추가적 참조 샘플 값을 획득하도록 구성되는 획득 유닛;
상기 임계화된 추가적 참조 샘플 값으로부터 추가적 값을 계산하도록, 상기 예측 샘플 값에 샘플 가중 인자를 곱하여, 가중된 예측 샘플 값을 얻도록, 상기 추가적 값을 상기 가중된 예측 샘플 값에 가산하여, 비-정규화된 예측 샘플 값을 얻도록, 그리고 상기 비-정규화된 예측 샘플 값을 정규화하여, 정규화된 예측 샘플 값을 얻도록 구성되는 계산 유닛을 포함하는 장치. - 제22항에 있어서, 상기 인트라 예측 모드는 수직 인트라 예측 모드이고, 상기 추가적 참조 샘플 값은 상기 예측 샘플 위에 위치되는 가장 가까운 참조 샘플의 값과 상기 좌측-상단 참조 샘플 사이의 차이와 동일하게 설정되는 장치.
- 제22항에 있어서, 상기 인트라 예측 모드는 수평 인트라 예측 모드이고, 상기 추가적 참조 샘플 값은 상기 예측 샘플의 좌측에 위치되는 가장 가까운 참조 샘플의 값과 상기 좌측-상단 참조 샘플 사이의 차이와 동일하게 설정되는 장치.
- 제22항에 있어서, 상기 인트라 예측 모드는 DC 인트라 예측 모드이고, 상기 적어도 하나의 추가적 참조 샘플 값은 제1 추가적 참조 샘플 값 및 제2 추가적 참조 샘플 값을 포함하고,
상기 제1 추가적 참조 샘플 값 및 상기 제2 추가적 참조 샘플 값은,
○ 상기 제1 추가적 참조 샘플 값을 상기 예측 샘플의 좌측에 위치되는 가장 가까운 참조 샘플과 동일하게 설정하는 단계, 및
○ 상기 제2 추가적 참조 샘플 값을 상기 예측 샘플의 위에 위치되는 가장 가까운 참조 샘플과 동일하게 설정하는 단계에 의해 획득되는 장치. - 제22항 내지 제25항 중 어느 한 항에 있어서, 좌측-상단 참조 샘플이 상기 예측 샘플 이상일 때, 상한은 상기 예측 샘플의 최대 값으로부터 예측 샘플 값을 감산하는 것에 의해 획득되고, 상기 임계화된 추가적 참조 샘플 값은 제1 값 및 제2 값 중 최대와 동일하게 설정되고:
○ 상기 제1 값은 상기 추가적 참조 샘플 값이고,
○ 상기 제2 값은 상기 상한인 장치. - 제22항 내지 제25항 중 어느 한 항에 있어서, 좌측-상단 참조 샘플이 상기 예측 샘플 미만일 때, 하한은 상기 예측 샘플의 최소 값으로부터 예측 샘플 값을 감산하는 것에 의해 획득되고, 상기 임계화된 추가적 참조 샘플 값은 제1 값 및 제2 값 중 최소와 동일하게 설정되고:
○ 상기 제1 값은 상기 추가적 참조 샘플 값이고,
○ 상기 제2 값은 상기 하한인 장치. - 화상을 인코딩 또는 디코딩하기 위한 디바이스로서, 제1항 내지 제21항 중 어느 한 항의 방법을 수행하도록 구성되는 처리 회로를 포함하는 디바이스.
- 제28항에 있어서, 상기 처리 회로는 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 접속되는 비-일시적 컴퓨터-판독가능 매체를 포함하고, 상기 비-일시적 컴퓨터-판독가능 매체는, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 디바이스로 하여금 상기 방법을 수행하게 하는 프로그램 코드를 운반하는 디바이스.
- 컴퓨터 디바이스에 의해 실행될 때, 상기 컴퓨터 디바이스로 하여금 제1항 내지 제21항 중 어느 한 항의 방법을 수행하게 하는 프로그램 코드를 운반하는 비-일시적 컴퓨터-판독가능 매체.
- 디코더로서,
하나 이상의 프로세서; 및
상기 프로세서들에 연결되고 상기 프로세서들에 의한 실행을 위한 프로그래밍을 저장하고 있는 비-일시적 컴퓨터-판독가능 저장 매체- 상기 프로그래밍은, 상기 프로세서들에 의해 실행될 때, 제1항 내지 제21항 중 어느 한 항에 따른 방법을 수행하도록 상기 디코더를 구성함 -를 포함하는 디코더. - 인코더로서,
하나 이상의 프로세서; 및
상기 프로세서들에 연결되고 상기 프로세서들에 의한 실행을 위한 프로그래밍을 저장하고 있는 비-일시적 컴퓨터-판독가능 저장 매체- 상기 프로그래밍은, 상기 프로세서들에 의해 실행될 때, 제1항 내지 제21항 중 어느 한 항에 따른 방법을 수행하도록 상기 인코더를 구성함 -를 포함하는 인코더. - 장치에 의해 디코딩되는 예측-인코딩된 비트 스트림을 포함하는 비-일시적 기록 매체로서, 상기 비트 스트림은 제1항 내지 제21항 중 어느 한 항에 따라 생성되는 비-일시적 기록 매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862786349P | 2018-12-29 | 2018-12-29 | |
| US62/786,349 | 2018-12-29 | ||
| US201962821422P | 2019-03-20 | 2019-03-20 | |
| US62/821,422 | 2019-03-20 | ||
| PCT/RU2019/050262 WO2020139173A1 (en) | 2018-12-29 | 2019-12-30 | Method and apparatus for intra prediction |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210075201A true KR20210075201A (ko) | 2021-06-22 |
Family
ID=71129644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217017513A KR20210075201A (ko) | 2018-12-29 | 2019-12-30 | 인트라 예측을 위한 방법 및 장치 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US11601653B2 (ko) |
| EP (1) | EP3891977A4 (ko) |
| KR (1) | KR20210075201A (ko) |
| CN (2) | CN116567207B (ko) |
| BR (1) | BR112021012949A2 (ko) |
| MX (1) | MX2021007841A (ko) |
| WO (1) | WO2020139173A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230020876A (ko) * | 2021-08-04 | 2023-02-13 | 한국과학기술원 | 인 메모리 컴퓨팅을 통해 컨벌루션 뉴럴 네트워크 연산을 수행하는 방법 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11445174B2 (en) * | 2019-05-06 | 2022-09-13 | Tencent America LLC | Method and apparatus for video coding |
| US11595665B2 (en) * | 2021-02-11 | 2023-02-28 | Qualcomm Incorporated | Upsampling reference pixels for intra-prediction in video coding |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1935182B1 (en) * | 2005-10-11 | 2016-11-23 | Nokia Technologies Oy | System and method for efficient scalable stream adaptation |
| KR102373445B1 (ko) * | 2011-11-11 | 2022-03-11 | 지이 비디오 컴프레션, 엘엘씨 | 적응적 분할 코딩 |
| US9161039B2 (en) * | 2012-09-24 | 2015-10-13 | Qualcomm Incorporated | Bitstream properties in video coding |
| WO2016108188A1 (en) * | 2014-12-31 | 2016-07-07 | Nokia Technologies Oy | Inter-layer prediction for scalable video coding and decoding |
| CN107071417B (zh) * | 2017-04-10 | 2019-07-02 | 电子科技大学 | 一种用于视频编码的帧内预测方法 |
| US10638126B2 (en) * | 2017-05-05 | 2020-04-28 | Qualcomm Incorporated | Intra reference filter for video coding |
| US10911765B2 (en) * | 2018-08-01 | 2021-02-02 | Tencent America LLC | Method and apparatus for video coding |
| US10491893B1 (en) * | 2018-08-29 | 2019-11-26 | Tencent America LLC | Method and apparatus for multi-line intra prediction |
| US11509908B2 (en) * | 2018-09-11 | 2022-11-22 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method |
| US11652984B2 (en) * | 2018-11-16 | 2023-05-16 | Qualcomm Incorporated | Position-dependent intra-inter prediction combination in video coding |
-
2019
- 2019-12-30 BR BR112021012949-9A patent/BR112021012949A2/pt unknown
- 2019-12-30 MX MX2021007841A patent/MX2021007841A/es unknown
- 2019-12-30 CN CN202211674598.3A patent/CN116567207B/zh active Active
- 2019-12-30 EP EP19905863.7A patent/EP3891977A4/en active Pending
- 2019-12-30 KR KR1020217017513A patent/KR20210075201A/ko not_active Application Discontinuation
- 2019-12-30 CN CN201980069230.4A patent/CN113170100A/zh active Pending
- 2019-12-30 WO PCT/RU2019/050262 patent/WO2020139173A1/en active Application Filing
-
2021
- 2021-06-11 US US17/345,449 patent/US11601653B2/en active Active
-
2023
- 2023-02-20 US US18/171,458 patent/US20240015304A1/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230020876A (ko) * | 2021-08-04 | 2023-02-13 | 한국과학기술원 | 인 메모리 컴퓨팅을 통해 컨벌루션 뉴럴 네트워크 연산을 수행하는 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116567207A (zh) | 2023-08-08 |
| CN116567207B (zh) | 2024-02-13 |
| EP3891977A4 (en) | 2022-06-22 |
| EP3891977A1 (en) | 2021-10-13 |
| WO2020139173A1 (en) | 2020-07-02 |
| CN113170100A (zh) | 2021-07-23 |
| US11601653B2 (en) | 2023-03-07 |
| US20240015304A1 (en) | 2024-01-11 |
| BR112021012949A2 (pt) | 2021-09-14 |
| MX2021007841A (es) | 2021-10-26 |
| US20210314576A1 (en) | 2021-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2019342803B2 (en) | Apparatus and method for inverse quantization | |
| KR20220116339A (ko) | 루마 및 크로마 성분에 대한 ibc 전용 버퍼 및 디폴트 값 리프레싱을 사용하는 인코더, 디코더 및 대응하는 방법들 | |
| KR20240015149A (ko) | 조인트 크로마 코딩을 사용하는 블록에 대해 크로마 디블로킹을 수행하기 위한 인코더, 디코더 및 대응 방법 | |
| US11750837B2 (en) | Method and apparatus for intra prediction using an interpolation filter | |
| US11553174B2 (en) | Method of intra predicting a block of a picture | |
| JP7314281B2 (ja) | イントラ・サブパーティション・コーディング・ツールによって引き起こされるサブパーティション境界のためのデブロッキングフィルタ | |
| US11601653B2 (en) | Method and apparatus for intra prediction | |
| US11843806B2 (en) | Encoder, a decoder and corresponding methods of deblocking filter adaptation | |
| JP7277586B2 (ja) | モードおよびサイズに依存したブロックレベル制限の方法および装置 | |
| KR20210126771A (ko) | 인트라 예측 모드에 관련된 인코더, 디코더 및 대응하는 방법들 | |
| KR20210151248A (ko) | 적응 루프 필터를 사용하는 인코더, 디코더 및 대응하는 방법들 | |
| CN116016932A (zh) | 用于视频译码中去块效应滤波器的装置和方法 | |
| KR20210103562A (ko) | 인트라 예측을 위한 교차-성분 선형 모델링의 방법 및 장치 | |
| US11438629B2 (en) | Method and apparatus for hierarchical signaling of enabling and disabling prediction mechanisms for video coding | |
| WO2021054868A1 (en) | Method and apparatus for intra prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal |