KR20240006079A - 보간 필터를 사용하는 인트라 예측을 위한 방법 및 장치 - Google Patents
보간 필터를 사용하는 인트라 예측을 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR20240006079A KR20240006079A KR1020237044371A KR20237044371A KR20240006079A KR 20240006079 A KR20240006079 A KR 20240006079A KR 1020237044371 A KR1020237044371 A KR 1020237044371A KR 20237044371 A KR20237044371 A KR 20237044371A KR 20240006079 A KR20240006079 A KR 20240006079A
- Authority
- KR
- South Korea
- Prior art keywords
- block
- sample
- intra prediction
- video
- picture
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 157
- 239000000523 sample Substances 0.000 claims abstract description 160
- 239000013074 reference sample Substances 0.000 claims abstract description 97
- 230000008569 process Effects 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims description 79
- 238000013139 quantization Methods 0.000 claims description 75
- 230000009466 transformation Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 abstract description 6
- 238000005192 partition Methods 0.000 description 40
- 238000004891 communication Methods 0.000 description 34
- 230000006854 communication Effects 0.000 description 34
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 22
- 241000023320 Luma <angiosperm> Species 0.000 description 19
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000001914 filtration Methods 0.000 description 15
- 238000000638 solvent extraction Methods 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 12
- 230000006835 compression Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 10
- 230000008901 benefit Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000009499 grossing Methods 0.000 description 5
- 230000005055 memory storage Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- ZBOYJODMIAUJHH-SANMLTNESA-N (2s)-1-[[2,6-dimethoxy-4-[(2-methyl-3-phenylphenyl)methoxy]phenyl]methyl]piperidine-2-carboxylic acid Chemical compound C=1C(OC)=C(CN2[C@@H](CCCC2)C(O)=O)C(OC)=CC=1OCC(C=1C)=CC=CC=1C1=CC=CC=C1 ZBOYJODMIAUJHH-SANMLTNESA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- BTCSSZJGUNDROE-UHFFFAOYSA-N gamma-aminobutyric acid Chemical compound NCCCC(O)=O BTCSSZJGUNDROE-UHFFFAOYSA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Abstract
비디오 코딩을 위한 방법, 장치, 컴퓨터 프로그램 제품 및 비일시적 컴퓨터 판독가능 매체가 제공된다. 방법은 예측될 샘플을 포함하는 블록의 인트라 예측 프로세스를 수행하는 단계를 포함하되, 블록의 인트라 예측 프로세스 동안에 블록의 참조 샘플에 보간 필터가 적용된다. 보간 필터는 참조 샘플 및 예측될 샘플 간의 서브픽셀 오프셋을 기반으로 선택되고, 인트라 예측 프로세스에서 사용되는 주 참조 측면의 크기는 보간 필터의 길이, 그리고 이용가능한 인트라 예측 모드의 세트 중에서, 상기 서브픽셀 오프셋의 최대 비정수 값을 제공하는 인트라 예측 모드에 따라 결정되되, 주 참조 측면은 참조 샘플을 포함한다.
Description
관련 출원에 대한 상호 참조
이 특허 출원은 2018년 10월 6일 출원된 미국 임시 특허 출원 제62/742,300호, 2018년 10월 10일 출원된 미국 임시 특허 출원 제62/744,096호, 2018년 10월 30일 출원된 미국 임시 특허 출원 제62/753,055호 및 2018년 11월 7일 출원된 미국 임시 특허 출원 제62/757,150호에 대한 우선권의 이익을 주장한다. 전술된 특허 출원은 이로써 참조에 의해 전체로서 포함된다.
기술 분야
본 개시는 이미지 및/또는 비디오 코딩 및 디코딩의 기술 분야에 관련되고, 특히 보간 필터(interpolation filter)의 길이와 조화된 참조 샘플 처리(reference sample processing)로써의 방향성 인트라 예측(directional intra prediction)의 방법 및 장치에 관련된다.
DVD 디스크의 도입 이래로 디지털 비디오가 널리 사용되었다. 송신 전에 비디오는 인코딩되고 송신 매체를 사용하여 송신된다. 감상자(viewer)는 비디오를 수신하고, 비디오를 디코딩하고 디스플레이하는 데에 감상 디바이스(viewing device)를 사용한다. 수년간, 예를 들어, 더 높은 해상도(resolution), 색상 깊이(color depth) 및 프레임 레이트(frame rate) 때문에 비디오의 품질이 개선되었다. 이것은 요즘 보통 인터넷 및 모바일 통신 네트워크를 통해 전송되는 더 많은 데이터 스트림으로 이어졌다.
그러나, 더 높은 해상도의 비디오는 전형적으로 그것이 더 많은 정보를 갖기에 더 많은 대역폭을 요구한다. 대역폭 요구사항을 감소시키기 위해서 비디오의 압축을 수반하는 비디오 코딩 표준이 도입되었다. 비디오가 인코딩되는 경우에 대역폭 요구사항(또는 저장의 경우에는 대응하는 메모리 요구사항)은 감소된다. 흔히 이 감소는 품질을 대가로 하게 된다. 그러므로, 비디오 코딩 표준은 대역폭 요구사항 및 품질 간의 균형을 찾기 위해 노력한다.
고효율 비디오 코딩(High Efficiency Video Coding: HEVC)은 당업자에게 통상적으로 알려진 비디오 코딩 표준의 예이다. HEVC에서, 코딩 유닛(Coding Unit: CU)을 예측 유닛(Prediction Unit: PU) 또는 변환 유닛(Transform Unit: TU)으로 분할하는(split) 것이다. 다용도 비디오 코딩(Versatile Video Coding: VVC) 차세대 표준은, 합동 비디오 탐구 팀(Joint Video Exploration Team: JVET)으로 알려진 파트너쉽에서 함께 작업하는, ITU-T 비디오 코딩 전문가 그룹(Video Coding Experts Group: VCEG) 및 ISO/IEC 동화상 전문가 그룹(Moving Picture Experts Group: MPEG) 표준화 기구의 최근의 합동 비디오 프로젝트이다. VVC는 또한 ITU-T H.266/차세대 비디오 코딩(Next Generation Video Coding: NGVC) 표준으로 지칭된다. VVC에서, 여러 구획(partition) 타입의 개념은 제거될 것이며(즉 최대 변환 길이에 있어 너무 큰 크기를 갖는 CU에 대해 필요한 때를 제외한 CU, PU 및 TU 개념의 분리), CU 구획 형상을 위한 더 많은 유연성(flexibility)을 지원한다.
이들 코딩 유닛(Coding Unit: CU)(또한 블록으로 지칭됨)의 처리는 그것의 크기, 공간적 위치 및 인코더에 의해 지정된 코딩 모드(coding mode)에 의존한다. 코딩 모드는 예측의 타입에 따라 두 그룹으로 분류될 수 있다: 인트라 예측(intra-prediction) 및 인터 예측(inter-prediction) 모드. 인트라 예측 모드는 재구성되고 있는 블록의 샘플을 위한 예측 값을 계산하기 위해 참조 샘플을 생성하는 데에 동일한 픽처(picture)(또한 프레임(frame) 또는 이미지(image)로 지칭됨)의 샘플을 사용한다. 인트라 예측은 또한 공간적 예측(spatial prediction)으로 지칭된다. 인터 예측 모드는 시간적 예측(temporal prediction)을 위해 설계되며 현재의 픽처의 블록의 샘플을 예측하는 데에 이전의 또는 다음의 픽처의 참조 샘플을 사용한다.
ITU-T VCEG(Q6/16) 및 ISO/IEC MPEG(JTC 1/SC 29/WG 11)은 현재의 HEVC 표준(스크린 콘텐트 코딩(screen content coding) 및 고 동적 범위(high-dynamic-range) 코딩을 위한 그것의 현재의 확장 및 근일의 확장을 포함함)의 압축 능력을 상당히 초과하는 압축 능력을 가진 장래의 비디오 코딩 기술의 표준화에 대한 잠재적 필요성을 연구하고 있다. 그 그룹은 이 영역에서 그들의 전문가에 의해 제안된 압축 기술 설계를 평가하기 위해 합동 비디오 탐색 팀(Joint Video Exploration Team: JVET)으로 알려진 합동 협력 노력으로 이 탐색 활동에 대해 함께 작업하고 있다.
VTM(Versatile Test Model(다용도 테스트 모델)) 표준은 35개의 인트라 모드를 사용하는 반면에 BMS(Benchmark Set(벤치마크 세트))는 67개의 인트라 모드를 사용한다.
BMS에 현재 기술된 인트라 모드 코딩 방안은 복잡하다고 간주되며 비선택 모드 세트(non-selected mode set)의 약점은 인덱스 리스트(index list)가 항상 일정하며 현재의 블록 속성(가령 그것의 이웃 블록 INTRA 모드에 있어서)에 기반하여 적응적이지(adaptive) 않다.
인트라 예측을 위한 장치 및 방법을 제공하는 본 출원의 실시예가 개시된다. 장치 및 방법은 인트라 예측을 위한 계산 절차를 단순화하기 위해 맵핑 프로세스(mapping process)를 사용하여서, 코딩 효율을 개선한다. 보호 범위는 청구항에 의해 정의된다.
전술한 목적 및 다른 목적이 독립 청구항의 주제(subject matter)에 의해 달성된다. 추가적인 구현 형태가 종속 청구항, 설명 및 도면으로부터 명백하다.
종속 청구항에서의 다른 실시예와 함께, 첨부된 독립 청구항에서 특정 실시예가 약술된다.
제1 측면에 따르면 발명은 비디오 코딩의 방법에 관련된다. 방법은 인코딩 또는 디코딩 장치에 의해 수행된다. 방법은 다음을 포함한다:
예측될 루마(luma) 샘플을 포함하는 루마 블록과 같은, 예측될 샘플을 포함하는 블록 또는 피예측(predicted) 샘플의 블록과 같은 블록의 인트라 예측 프로세스를 수행하는 것(블록의 인트라 예측 프로세스 동안에 참조 샘플(가령 휘도(luminance) 참조 샘플)에 서브픽셀 보간 필터(subpixel interpolation filter)가 적용되거나 블록의 인트라 예측 프로세스 동안에 참조 샘플(가령 색차(chrominance) 참조 샘플)에 서브픽셀 보간 필터가 적용됨);
서브픽셀 보간 필터는 서브픽셀 오프셋(subpixel offset), 가령 참조 샘플의 위치 및 보간된 샘플의 위치 간의 또는 참조 샘플 및 예측될 샘플 간의 서브픽셀 오프셋을 기반으로 선택됨; 및
인트라 예측 프로세스에서 사용되는 주 참조 측면(main reference side)의 크기는 상기 서브픽셀 오프셋의 최대 값(가령 최대 비정수(non-integer) 값)을 제공하는 인트라 예측 모드(가령 이용가능한(available) 인트라 예측 모드의 세트 중의 인트라 예측 모드) 및 서브픽셀 보간 필터의 길이에 따라 정해지되, 주 참조 측면은 참조 샘플을 포함함.
참조 샘플은 예측(여기서 특히 인트라 예측)이 수행되는 데에 기반이 되는 샘플이다. 다시 말해, 참조 샘플은 (현재의) 블록의 샘플을 예측하는 데에 사용되는 (현재의) 블록 외부의 샘플이다. 용어 "현재의 블록"은 예측을 포함하는 처리가 수행되는 대상 블록(subject block)을 뜻한다. 예를 들어, 참조 샘플은 블록 측면 중 하나 이상에서 블록에 인접한 샘플이다. 다시 말해, 현재의 블록을 예측하는 데에 사용되는 참조 샘플은 하나 이상의 블록 경계(측면)와 평행하고 하나 이상의 블록 경계(측면)에 적어도 부분적으로 인접한 샘플의 라인(line)에 포함될 수 있다.
참조 샘플은 정수 샘플 위치(integer sample position)에서의 샘플 또는 서브-샘플 위치(sub-sample position), 가령 비정수 위치에서의 보간된 샘플일 수 있다. 정수 샘플 위치는 코딩될(인코딩될 또는 디코딩될) 이미지 내의 실제의 샘플 위치를 지칭할 수 있다.
참조 측면(reference side)은 블록의 측면인데 이로부터 참조 샘플이 블록의 샘플을 예측하는 데에 사용된다. 주 참조 측면은 블록의 측면인데 이로부터 참조 샘플이 취해진다(몇몇 실시예에서는 참조 샘플이 취해지는 오직 하나의 측면이 있음). 그러나, 일반적으로, 주 참조 측면은 참조 샘플이 주로 취해지는 측면(가령 참조 샘플의 대부분이 이로부터 취해지거나, 블록 샘플의 대부분을 예측하기 위한 참조 샘플이 이로부터 취해지거나, 기타 등등임)을 지칭할 수 있다. 주 참조 측면은 참조 샘플을 포함하는데, 이는 블록의 샘플을 예측하는 데에 사용된다. 만일 주 참조 측면이 블록의 샘플을 예측하는 데에 사용되는 참조 샘플로 이루어지면, 그리고 만일 블록의 샘플을 예측하는 데에 사용되는 모든 그런 참조 샘플이 주 참조 측면에 포함되면, 메모리 절감 목적을 위해 유익할 수 있다. 그러나, 본 개시는 블록을 예측하는 데에 사용되는 참조 샘플을 포함하는 주 참조 측면과도 일반적으로 적용가능하다. 이들은 예측을 위해 직접적으로 사용되는 참조 샘플을, 또 블록 샘플의 예측에 이후에 사용되는 서브샘플을 획득하는 필터링을 위해 사용되는 참조 샘플도 포함할 수 있다.
일반적으로, 현재의 블록의 참조 샘플은 현재의 블록의 이웃하는 재구성된 샘플(neighboring reconstructed sample)을 포함한다. 이와 같이, 만일 현재의 블록이 현재의 크로마(chroma) 블록인 경우, 현재의 크로마 블록의 크로마 참조 샘플은 현재의 크로마 블록의 이웃하는 재구성된 샘플을 포함한다. 이와 같이, 만일 현재의 블록이 현재의 루마 블록인 경우, 현재의 루마 블록의 루마 참조 샘플은 현재의 루마 블록의 이웃하는 재구성된 샘플을 포함한다.
메모리 요구사항은 서브픽셀 오프셋의 최대 값에 의해 결정됨이 이해된다. 이에 따라, 본 개시에 따라 주 참조 측면의 크기를 결정함으로써, 개시는 인트라 예측을 사용하는 비디오 코딩의 메모리 효율을 제공하는 것을 수월하게 한다. 다시 말해, 앞서 언급된 제1 측면에 따라 인트라 예측 프로세스에서 사용되는 주 참조 측면의 크기를 결정함으로써, 블록을 예측하기 위해 참조 샘플을 제공(저장)하면서도 메모리 요구사항이 감소될 수 있다. 이는 결국, 이미지/비디오 인코딩 및 디코딩을 위한 인트라 예측의 더욱 효율적인 구현으로 이어질 수 있다.
이와 같은 제1 측면에 따른 방법의 가능한 구현 형태에서,
보간 필터는 참조 샘플의 위치 및 피예측 샘플의 위치 간의 서브픽셀 오프셋을 기반으로 선택된다.
피예측 샘플은, 그것이 보간 프로세스의 출력에 기반한다는 점에서, 보간된 샘플임이 이해된다.
이와 같은 제1 측면에 따른 방법의 가능한 구현 형태에서,
서브픽셀 오프셋은 참조 라인(reference line)(예를 들면 refIdx)에 기반하여 결정되거나;
서브픽셀 오프셋은 선택된 인트라 예측 모드에 의존하는 intraPredAngle에 기반하여 결정되거나;
서브픽셀 오프셋은 (참조 라인과 같은) 참조 샘플 및 피예측 샘플의 블록의 측면 간의, 또는 (참조 라인과 같은) 참조 샘플로부터 피예측 샘플의 블록의 측면까지의 거리에 기반하여 결정된다.
이와 같은 제1 측면에 따른 방법의 가능한 구현 형태에서, 상기 서브픽셀 오프셋의 최대 값은 (최대 분수부(fractional) 서브픽셀 오프셋 또는 상기 서브픽셀 오프셋의 최대 비정수 값과 같은) 최대 비정수 서브픽셀 오프셋이고, 주 참조 측면의 크기는 다음의 합과 같도록 선택된다:
최대 비정수 서브픽셀 오프셋의 정수 부분,
피예측 샘플의 블록의 측면의 크기, 그리고
(보간 필터의 길이의 절반과 같은) 보간 필터의 길이의 일부 또는 전부.
주 참조 측면의 크기의 그러한 선택의 이점 중 하나는 블록의 인트라 예측에 필요한 모든 샘플의 제공(저장/버퍼링) 및 블록(의 샘플)을 예측하기 위해 사용되지 않는 (저장된/버퍼링된) 샘플의 수의 감소이다.
이와 같은 제1 측면에 따른 방법의 가능한 구현 형태에서,
만일 인트라 예측 모드가 수직 인트라 예측 모드(VER_IDX)보다 더 큰 경우, 피예측 샘플의 블록의 측면은 피예측 샘플의 블록의 폭이다;
또는
만일 인트라 예측 모드가 수평 인트라 예측 모드(HOR_IDX)보다 더 작은 경우, 피예측 샘플의 블록의 측면은 피예측 샘플의 블록의 높이이다.
예를 들어, 도 10에서, VER_IDX는 수직 인트라 예측 모드 #50에 대응하고, HOR_IDX는 수평 인트라 예측 모드 #18에 대응한다.
이와 같은 제1 측면에 따른 방법의 가능한 구현 형태에서, 상기 블록 측면의 배가된(doubled) 크기보다 큰 위치를 가진 주 참조 측면의 참조 샘플은 상기 크기의 배가된 크기에 위치된 샘플과 같도록 설정된다.
다시 말해, 그것은 배가된 측면 길이 너머에 속하는 픽셀을 복제함(replicating)으로써 우측에 패딩(padding)하는 것이다. 메모리 버퍼 크기는 2의 멱(power)임이 바람직하며 2의 멱이 아닌 크기로 된 버퍼를 유지하는 것보다 2의 멱의 크기로 된 버퍼의 마지막 샘플(즉 상기 크기의 배가된 크기에 위치됨)을 사용하는 것이 더 낫다.
이와 같은 제1 측면에 따른 방법의 가능한 구현 형태에서, 주 참조 측면의 크기는 다음의 합으로서 결정된다:
블록 주 측면 길이(block main side length),
(보간 필터의 길이, 또는 보간 필터의 길이의 절반과 같은) 보간 필터의 길이의 일부 또는 전부 빼기(minus) 1
다음 2개의 값 중 최대치 M:
블록 주 측면 길이
최대 (또는 최대) 비정수 서브픽셀 오프셋의 정수 부분 더하기(plus) (보간 필터의 길이의 절반과 같은) 보간 필터의 길이의 일부 또는 전부, 또는 최대 (또는 최대) 비정수 서브픽셀 오프셋의 정수 부분 더하기 (보간 필터의 길이의 절반과 같은) 보간 필터의 길이의 일부 또는 전부 더하기 1.
주 참조 측면의 크기의 그러한 선택의 이점 중 하나는 블록의 인트라 예측에 필요한 모든 샘플의 제공(저장/버퍼링) 및 블록(의 샘플)을 예측하기 위해 사용되지 않는 샘플의 제공(저장/버퍼링)을 감소시키거나 심지어 방지하는 것이다.
"블록 주 측면"(block main side), "블록 측면 길이"(Block side length), "블록 주 측면 길이"(block main side length) 및 "피예측 샘플의 블록의 측면의 크기"는 본 개시 도처에서 동일한 개념임에 유의한다.
이와 같은 제1 측면에 따른 방법의 가능한 구현 형태에서, 2개의 값의 최대치 M이 블록 주 측면 길이와 같은 경우, 우측 패딩이 수행되지 않거나;
2개의 값의 최대치 M이 최대 비정수 서브픽셀 오프셋의 정수 부분 더하기 보간 필터의 길이의 절반과 같거나 서브픽셀 오프셋의 최대 비정수 값의 정수 부분 더하기 보간 필터의 길이의 절반 더하기 1과 같은 경우, 우측 패딩이 수행된다.
가능한 구현에서, 주 참조 측면의 제1 및/또는 마지막 참조 샘플을 좌측에 및/또는 우측에 각각 복제함으로써 패딩이, 특히 다음과 같이, 수행된다: 주 참조 측면을 ref로, 그리고 주 참조 측면의 크기를 refS로 표기하면, 패딩은 다음으로서 표현된다: ref[-1] = p[0] 및/또는 ref[refS+1] = p[refS], 여기서 ref[-1]은 주 참조 측면에 대한 좌측의 값을 나타내고,
p[0]은 주 참조 측면의 제1 참조 샘플의 값을 나타내고,
ref[refS+1]은 주 참조 측면에 대한 우측의 값을 나타내고,
p[refS]는 주 참조 측면의 마지막 참조 샘플의 값을 나타낸다.
다시 말해, 우측 패딩은 ref[refS+1] = p[refS]에 의해 수행될 수 있다. 추가로 또는 대안적으로, 좌측 패딩은 ref[-1] = p[0]에 의해 수행될 수 있다.
이 방식으로, 패딩은 보간 필터링을 또한 고려하는 예측에 필요한 모든 샘플의 제공을 수월하게 할 수 있다.
이와 같은 제1 측면에 따른 방법의 가능한 구현 형태에서, 인트라 예측 프로세스에서 사용되는 필터는 유한 임펄스 응답 필터(finite impulse response filter)이고 그것의 계수는 룩업 테이블(look-up table)로부터 페치된다(fetched).
이와 같은 제1 측면에 따른 방법의 가능한 구현 형태에서, 인트라 예측 프로세스에서 사용되는 보간 필터는 4 탭 필터(4 tap filter)이다.
이와 같은 제1 측면에 따른 방법의 가능한 구현 형태에서, 보간 필터의 계수는 서브픽셀 오프셋, 예를 들면 서브픽셀 오프셋의 비정수 부분에 의존하는데, 다음과 같다:
여기서 "서브픽셀 오프셋" 열은 1/32 서브픽셀 해상도로 정의된다. 다시 말해, (서브픽셀 보간 필터와 같은) 보간 필터는 위의 표에서 계수에 의해 표현된다.
이와 같은 제1 측면에 따른 방법의 가능한 구현 형태에서, 보간 필터의 계수는 서브픽셀 오프셋, 예를 들면 서브픽셀 오프셋의 비정수 부분에 의존하는데, 다음과 같다:
여기서 "서브픽셀 오프셋" 열은 1/32 서브픽셀 해상도로 정의된다. 다시 말해, (서브픽셀 보간 필터와 같은) 보간 필터는 위의 표에서 계수에 의해 표현된다.
이와 같은 제1 측면에 따른 방법의 가능한 구현 형태에서, 보간 필터의 계수는 서브픽셀 오프셋, 예를 들면 서브픽셀 오프셋의 비정수 부분에 의존하는데, 다음과 같다:
여기서 "서브픽셀 오프셋" 열은 1/32 서브픽셀 해상도로 정의된다. 다시 말해, (서브픽셀 보간 필터와 같은) 보간 필터는 위의 표에서 계수에 의해 표현된다.
이와 같은 제1 측면에 따른 방법의 가능한 구현 형태에서, 서브픽셀 보간 필터는 주어진 서브픽셀 오프셋에 대해 인트라 예측 프로세스를 위해 사용되는 필터의 세트로부터 선택된다. 다시 말해, 주어진 서브픽셀 오프셋에 대한 인트라 예측 프로세스의 필터(예를 들어, 유일한 필터 또는 필터 세트 중의 하나가 인트라 예측 프로세스를 위해 사용될 수 있음)가 필터의 세트로부터 선택된다.
이와 같은 제1 측면에 따른 방법의 가능한 구현 형태에서, 필터의 세트는 가우스 필터(Gauss filter) 및 큐빅 필터(Cubic filter)를 포함한다.
이와 같은 제1 측면에 따른 방법의 가능한 구현 형태에서, 서브픽셀 보간 필터의 수량은 N이되, N개의 서브픽셀 보간 필터는 인트라 참조 샘플 보건을 위해 사용되고 N>=1이고 양의 정수이다.
이와 같은 제1 측면에 따른 방법의 가능한 구현 형태에서, 블록의 피예측 샘플의 값을 획득하는 데에 사용되는 참조 샘플은 피예측 샘플의 블록에 인접하지 않는다. 인코더는 비트스트림(bitstream) 내에 오프셋 값을 시그널링할(signal) 수 있어서, 이 오프셋 값은 참조 샘플의 인접 라인 및 피예측 샘플의 값이 도출되는 참조 샘플의 라인 간의 거리를 표시한다(indicate). 도 24는 참조 샘플의 라인의 가능한 위치 및 ref_offset 변수의 대응하는 값을 나타낸다. 변수 "ref_offset"은 어느 참조 라인이 사용되는지를 표시하는데, 예를 들어, ref_offset=0인 경우에, 그것은 (도 24에 도시된 바와 같은) "참조 라인 0"이 사용됨을 나타낸다.
비디오 코덱(가령 비디오 인코더 또는 디코더)의 특정한 구현에서 오프셋의 값이 사용되는 예는 다음과 같다:
참조 샘플의 인접 라인을 사용함(ref_offset=0, 도 24에서 "참조 라인 0"에 의해 표기됨);
(인접 라인에 가장 가까운) 제1 라인을 사용함(ref_offset=1, 도 24에서 "참조 라인 1"에 의해 표기됨);
제3 라인을 사용함(ref_offset=3, 도 24에서 "참조 라인 3"에 의해 표기됨).
방향성 인트라 예측 모드는 피예측 샘플의 2개의 인접한 라인 간의 서브픽셀 오프셋의 값을 지정한다(deltaPos). 이 값은 5 비트 정밀도(precision)를 갖는 고정 소수점 정수 값(fixed-point integer value)에 의해 표현된다. 예를 들어, deltaPos=32는 피예측 샘플의 두 인접 라인 간의 오프셋이 정확히 하나의 샘플임을 의미한다.
만일 인트라 예측 모드가 DIA_IDX(모드 #34)보다 더 큰 경우, 위에 기술된 예에 대해, 주 참조 측면 크기의 값은 다음과 같이 계산된다. 이용가능한(즉 피예측 샘플의 블록에 대해 인코더가 표시할 수 있음) 인트라 예측된 모드의 세트 중에서, DIA_IDX보다 더 크고 최대 deltaPos 값을 제공하는 모드가 고려된다. 요망되는 서브픽셀 오프셋의 값은 다음과 같이 도출된다: 블록 높이가 ref_offset과 합산되고 deltaPos 값이 곱해진다. 만일 결과가 0의 나머지와 함께 32로 나누어지는 경우, deltaPos의 다른 최대 값은 위에서 기술된 바와 같으나, 이전에 고려된 예측된 모드는 이용가능한 인트라 예측된 모드의 세트로부터 모드를 얻는 경우에 생략된다(skipped). 그렇지 않으면, 이 곱셈의 결과는 최대 비정수 서브픽셀 오프셋이라고 간주된다. 이 오프셋의 정수 부분은 그것을 우측으로 5비트만큼 천이함(shifting)으로써 취해진다. 최대 비정수 서브픽셀 오프셋의 정수 부분과, 피예측 샘플의 블록의 폭과, 보간 필터의 길이의 절반을 합산한다.
그렇지 않으면, 만일 인트라 예측 모드가 DIA_IDX(모드 #34)보다 더 작은 경우, 위에 기술된 예에 대해, 주 참조 측면 크기의 값은 다음과 같이 계산된다. 이용가능한(즉 피예측 샘플의 블록에 대해 인코더가 표시할 수 있음) 인트라 예측된 모드의 세트 중에서, DIA_IDX보다 더 작고 최대 deltaPos 값을 제공하는 모드가 고려된다. 요망되는 서브픽셀 오프셋의 값은 다음과 같이 도출된다: 블록 폭이 ref_offset과 합산되고 deltaPos 값이 곱해진다. 만일 결과가 0의 나머지와 함께 32로 나누어지는 경우, deltaPos의 다른 최대 값은 위에서 기술된 바와 같으나, 이전에 고려된 예측된 모드는 이용가능한 인트라 예측된 모드의 세트로부터 모드를 얻는 경우에 생략된다(skipped). 아니면, 이 곱셈의 결과는 최대 비정수 서브픽셀 오프셋이라고 간주된다. 이 오프셋의 정수 부분은 그것을 우측으로 5비트만큼 천이함으로써 취해진다. 최대 비정수 서브픽셀 오프셋 정수 부분과, 피예측 샘플의 블록의 높이와, 보간 필터의 길이의 절반을 합산한다.
제2 측면에 따르면 발명은 픽처에 포함된 현재의 블록을 예측하기 위한 인트라 예측 방법에 관련된다. 방법은, 인트라 예측에서 사용되는 주 참조 측면의 크기를, 이용가능한 인트라 예측 모드 중에서, 현재의 블록 내의 타겟(target) 샘플들 중의 타겟 샘플(예를 들면 현재의 샘플들 중의 현재 샘플) 및 현재의 블록 내의 상기 타겟 샘플을 예측하기 위해 사용되는 참조 샘플(여기서 참조 샘플은 주 참조 측면에 포함된 참조 샘플들 중의 참조 샘플임) 간의 서브픽셀 오프셋의 최대 비정수 값을 제공하는 인트라 예측 모드 및 주 참조 측면에 포함된 참조 샘플들 상에 적용될 보간 필터의 크기에 기반하여 결정하는 것을 포함한다. 방법은 필터링된 참조 샘플들을 획득하기 위해 주 참조 측면에 포함된 참조 샘플들 상에 보간 필터를 적용하는 것 및 필터링된 참조 샘플들에 기반하여 현재의 블록에 포함된 샘플들(예를 들면 현재의 샘플들 또는 타겟 샘플들)을 예측하는 것을 더 포함한다.
이에 따라, 개시는 인트라 예측을 사용하는 비디오 코딩에서의 메모리 효율을 제공하는 것을 수월하게 한다.
예컨대, 주 참조 측면의 크기는 서브픽셀 오프셋의 최대 비정수 값의 정수 부분, 현재의 블록의 측면의 크기 및 보간 필터의 크기의 절반의 합으로서 결정된다. 다시 말해, 제2 측면의 이점은 제1 측면의 앞서 언급된 이점에 대응할 수 있다.
몇몇 실시예에서, 현재의 블록의 측면은 만일 인트라 예측 모드가 수직 인트라 예측 모드 VER_IDX보다 더 큰 경우에 현재의 블록의 폭이거나, 현재의 블록의 측면은 만일 인트라 예측 모드가 수평 인트라 예측 모드 HOR_IDX보다 더 작은 경우에 현재의 블록의 높이이다.
예컨대, 현재의 블록의 측면의 크기의 배(double)보다 더 큰, 주 참조 측면 내의 위치를 갖는 참조 샘플의 값은 현재의 블록의 크기의 배인 샘플 위치를 갖는 샘플의 값과 같도록 설정된다.
예컨대, 주 참조 측면의 크기는 다음의 합으로서 결정된다:
○
현재의 블록의 측면의 크기,
○
보간 필터의 길이의 절반 빼기 1, 그리고
○
다음 중 최대치:
■
블록의 측면의 크기, 그리고
■
서브픽셀 오프셋의 최대 비정수 값의 정수 부분 더하기 보간 필터의 길이의 절반(예를 들면, x = 1..( Max( 1, nTbW / nTbH ) * refIdx + 1)인 추가적인 샘플 ref[ refW + refIdx +x ]는 다음과 같이 도출됨: ref[ refW + refIdx +x ] = p[ -1 + refW ][ -1 - refIdx ]) 또는 서브픽셀 오프셋의 최대 비정수 값의 정수 부분 더하기 보간 필터의 길이의 절반 더하기 1(예를 들면, x = 1..( Max( 1, nTbW / nTbH ) * refIdx + 2)인 추가적인 샘플 ref[ refW + refIdx +x ]은 다음과 같이 도출됨: ref[ refW + refIdx +x ] = p[ -1 + refW ][ -1 - refIdx ]).
제3 측면에 따르면 발명은 발명의 제1 또는 제2 측면 또는 제1 또는 제2 측면의 임의의 가능한 실시예에 따른 방법을 수행하기 위한 처리 회로부(processing circuitry)를 포함하는 인코더에 관련된다.
제4 측면에 따르면 발명은 발명의 제1 또는 제2 측면 또는 제1 또는 제2 측면의 임의의 가능한 실시예에 따른 방법을 수행하기 위한 처리 회로부를 포함하는 디코더에 관련된다.
제5 측면에 따르면 발명은 픽처에 포함된 현재의 블록의 인트라 예측을 위한 장치에 관련되는데, 장치는 필터링된 참조 샘플에 기반하여 현재의 블록에 포함된 타겟 샘플을 예측하도록 구성된 인트라 예측 유닛(intra-prediction unit)을 포함한다. 인트라 예측 유닛은, 인트라 예측에서 사용되는 주 참조 측면의 크기를, 이용가능한 인트라 예측 모드 중에서, 현재의 블록 내의 타겟 샘플들 중의 타겟 샘플 및 현재의 블록 내의 상기 타겟 샘플을 예측하기 위해 사용되는 참조 샘플(참조 샘플은 주 참조 측면에 포함된 참조 샘플들 중의 참조 샘플임) 간의 서브픽셀 오프셋의 최대 비정수 값을 제공하는 인트라 예측 모드 및 주 참조 측면에 포함된 참조 샘플들 상에 적용될 보간 필터의 크기에 기반하여 결정하도록 구성된 결정 유닛(determination unit)과, 필터링된 참조 샘플들을 획득하기 위해 주 참조 측면에 포함된 참조 샘플들 상에 보간 필터를 적용하도록 구성된 필터링 유닛(filtering unit)을 포함한다.
이에 따라, 개시는 인트라 예측을 사용하는 비디오 코딩에서의 메모리 효율을 제공하는 것을 수월하게 한다.
몇몇 실시예에서, 결정 유닛은 주 참조 측면의 크기를 서브픽셀 오프셋의 최대 비정수 값의 정수 부분, 현재의 블록의 측면의 크기 및 보간 필터의 크기의 절반의 합으로서 결정한다.
예컨대, 현재의 블록의 측면은 만일 인트라 예측 모드가 수직 인트라 예측 모드 VER_IDX보다 더 큰 경우에 현재의 블록의 폭이거나, 현재의 블록의 측면은 만일 인트라 예측 모드가 수평 인트라 예측 모드 HOR_IDX보다 더 작은 경우에 현재의 블록의 높이이다.
예컨대, 현재의 블록의 측면의 크기의 배보다 더 큰, 주 참조 측면 내의 위치를 갖는 참조 샘플의 값은 현재의 블록의 크기의 배인 샘플 위치를 갖는 샘플의 값과 같도록 설정된다.
몇몇 실시예에서, 결정 유닛은 주 참조 측면의 크기를 다음의 합으로서 결정한다:
■
블록의 측면의 크기, 그리고
■
서브픽셀 오프셋의 최대 비정수 값의 정수 부분 더하기 보간 필터의 길이의 절반 또는 서브픽셀 오프셋의 최대 비정수 값의 정수 부분 더하기 보간 필터의 길이의 절반 더하기 1.
결정 유닛은, 2개의 값의 최대치 M이 블록의 측면의 크기와 같은 경우에, 우측 패딩을 수행하지 않도록, 또는 2개의 값의 최대치 M이 서브픽셀 오프셋의 최대 값의 정수 부분 더하기 보간 필터의 길이의 절반과 같거나 서브픽셀 오프셋의 최대 비정수 값의 정수 부분 더하기 보간 필터의 길이의 절반 더하기 1과 같은 경우에, 우측 패딩을 수행하도록 구성될 수 있다.
추가로 또는 대안적으로, 몇몇 실시예에서, 결정 유닛은 주 참조 측면의 제1 및/또는 마지막 샘플을 좌측에 및/또는 우측에 각각 복제함으로써 패딩을, 특히 다음과 같이, 수행하도록 구성된다: 주 참조 측면을 ref로, 그리고 주 참조 측면의 크기를 refS로 표기하면, 패딩은 다음으로서 표현된다: ref[-1] = p[0] 및/또는 ref[refS+1] = p[refS], 여기서 ref[-1]은 주 참조 측면에 대한 좌측의 값을 나타내고, p[0]은 주 참조 측면의 제1 참조 샘플의 값을 나타내고,
ref[refS+1]은 주 참조 측면에 대한 우측의 값을 나타내고, p[refS]는 주 참조 측면의 마지막 참조 샘플의 값을 나타낸다.
발명의 제2 측면에 따른 방법은 발명의 제5 측면에 따른 장치에 의해 수행될 수 있다. 발명의 제5 측면에 따른 장치의 추가의 특징 및 구현 형태는 발명의 제2 측면 또는 제2 측면의 임의의 가능한 실시예에 따른 방법의 특징 및 구현 형태에 대응한다.
제6 측면에 따르면, 장치가 제공되는데, 그것은 이와 같은 임의의 선행 측면 또는 임의의 선행 측면의 임의의 선행 구현에 따른 위의 방법의 단계 중 적어도 일부를 수행하는 모듈/유닛/컴포넌트/회로를 포함한다.
측면에 따른 장치는 임의의 선행 측면에 따른 방법의 구현 형태에 대응하는 구현 형태로 확장될 수 있다. 그러므로, 장치의 구현 형태는 임의의 선행 측면에 따른 방법의 대응하는 구현 형태의 특징(들)을 포함한다.
임의의 선행 측면에 따른 장치의 이점은 임의의 선행 측면에 따른 방법의 대응하는 구현 형태를 위한 것과 동일하다.
제7 측면에 따르면 발명은 비디오 스트림을 디코딩하기 위한 장치에 관련되는데 프로세서 및 메모리를 포함한다. 메모리는 프로세서로 하여금 제1 측면 또는 제1 측면의 임의의 가능한 실시예에 따른 방법을 수행하게 하는 명령어를 저장하고 있다.
제8 측면에 따르면 발명은 복수의 픽처를 비트스트림으로 인코딩하기 위한 비디오 인코더에 관련되는데, 위에서 기술된 실시예 중 임의의 것에 따른 현재의 블록의 인트라 예측을 위한 장치를 포함한다.
제9 측면에 따르면 발명은 비트스트림으로부터 복수의 픽처를 디코딩하기 위한 비디오 디코더에 관련되는데, 위에서 기술된 실시예 중 임의의 것에 따른 현재의 블록의 인트라 예측을 위한 장치를 포함한다.
제10 측면에 따르면, 실행되는 경우에 하나 이상의 프로세서로 하여금 비디오 데이터를 코딩하게 하도록 구성된 명령어가 저장된 컴퓨터 판독가능 저장 매체가 제안된다. 명령어는 하나 이상의 프로세서로 하여금 제1 측면 또는 제1 측면의 임의의 가능한 실시예에 따른 방법을 수행하게 한다.
제11 측면에 따르면, 발명은 컴퓨터 상에서 실행되는 경우에 제1 측면 또는 제1 측면의 임의의 가능한 실시예에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램에 관련된다.
본 출원의 다른 측면에서, 위의 방법을 수행하기 위해 구성된 처리 회로부를 포함하는 디코더가 개시된다.
본 출원의 다른 측면에서, 컴퓨터 프로그램 제품이 개시되는데 이는 위의 방법을 수행하기 위한 프로그램 코드를 포함한다.
본 출원의 다른 측면에서, 비디오 데이터를 디코딩하기 위한 디코더가 개시되는데, 디코더는, 하나 이상의 프로세서와, 프로세서에 커플링되고(coupled) 프로세서에 의한 실행을 위한 프로그래밍(programming)을 저장하는 비일시적 컴퓨터 판독가능 저장 매체(non-transitory computer-readable storage medium)를 포함하는데, 프로그래밍은, 프로세서에 의해 실행되는 경우에, 위의 방법을 수행하도록 디코더를 구성한다.
처리 회로부는 하드웨어로, 또는 하드웨어 및 소프트웨어의 조합으로, 예를 들어 소프트웨어 프로그램가능 프로세서(software programmable processor) 또는 유사한 것에 의해 구현될 수 있다.
본 문서에 기술된 측면, 실시예 및 구현은 제1 측면 및 제2 측면을 참조하여 앞서 언급된 유리한 효과를 제공할 수 있다.
첨부된 도면 및 아래의 설명에서 하나 이상의 실시예의 세부사항이 개진된다. 다른 특징, 목적 및 이점이 설명, 도면 및 청구항으로부터 명백할 것이다.
이하에서는 첨부된 도해와 도면을 참조하여 발명의 실시예가 더욱 상세히 기술되는데:
도 1a는 발명의 실시예를 구현하도록 구성된 비디오 코딩 시스템의 예를 도시하는 블록도이고,
도 1b는 발명의 실시예를 구현하도록 구성된 비디오 코딩 시스템의 다른 예를 도시하는 블록도이고,
도 2는 발명의 실시예를 구현하도록 구성된 비디오 인코더의 예를 도시하는 블록도이고,
도 3은 발명의 실시예를 구현하도록 구성된 비디오 디코더의 예시적인 구조를 도시하는 블록도이고,
도 4는 인코딩 장치 또는 디코딩 장치의 예를 보여주는 블록도이고,
도 5는 인코딩 장치 또는 디코딩 장치의 다른 예를 보여주는 블록도이고,
도 6은 수직 예측 방향에 대해 각도성 인트라 예측(Angular intra prediction) 방향 및 모드 및 pang의 연관된 값을 도시하고,
도 7은 4 Х 4 블록에 대한 pref 대 p1,ref의 변환을 도시하고,
도 8은 수평 각도성 예측(horizontal angular prediction)에 대한 p1,ref의 구성을 도시하고,
도 9는 수직 각도성 예측(vertical angular prediction)에 대한 p1,ref의 구성을 도시하고,
도 10a는 JEM 및 BMS-1에서의 인트라 예측 모드의 세트에 대해 각도성 인트라 예측 방향 및 모드 및 pang의 연관된 값을 도시하고,
도 10b는 VVC 초안(draft) 2에서의 인트라 예측 모드의 세트에 대해 각도성 인트라 예측 방향 및 모드 및 pang의 연관된 값을 도시하고,
도 11은 HEVC [1]에서의 인트라 예측 모드를 도시하고,
도 12는 보간 필터 선택의 예를 도시하고,
도 13은 설명된 QTBT를 도시하고,
도 14는 직사각형 블록의 배향(Orientation)을 도시하고,
도 15a, 도 15b 및 도 15c는 주 참조 측면의 참조 샘플로부터의 블록의 인트라 예측의 3개의 예를 도시하고,
도 16 내지 도 18은 주 참조 측면의 참조 샘플로부터의 블록의 인트라 예측의 몇몇 예를 도시하고,
도 19 내지 도 21은 인트라 예측에서 사용되는 보간 필터를 도시하고,
도 22 내지 도 23은 발명의 실시예를 구현하도록 구성된 인트라 예측에서 사용되는 보간 필터를 도시하고,
도 24는 참조 샘플의 라인의 가능한 위치 및 ref_offset 변수의 대응하는 값이 있는 다른 예를 도시하고,
도 25는 인트라 예측 방법을 도시하는 흐름도이고,
도 26은 인트라 예측 장치를 도시하는 흐름도이고,
도 27은 콘텐트 전달 서비스(content delivery service)를 제공하는 콘텐트 공급 시스템(content supply system)의 예시적인 구조를 도시하는 블록도이고,
도 28은 단말 디바이스의 예를 도시하는 블록도이다.
이하에서 동일한 참조 부호는 명시적으로 달리 지정되지 않는 경우 동일하거나 적어도 기능적으로 균등한 특징을 가리킨다.
도 1a는 발명의 실시예를 구현하도록 구성된 비디오 코딩 시스템의 예를 도시하는 블록도이고,
도 1b는 발명의 실시예를 구현하도록 구성된 비디오 코딩 시스템의 다른 예를 도시하는 블록도이고,
도 2는 발명의 실시예를 구현하도록 구성된 비디오 인코더의 예를 도시하는 블록도이고,
도 3은 발명의 실시예를 구현하도록 구성된 비디오 디코더의 예시적인 구조를 도시하는 블록도이고,
도 4는 인코딩 장치 또는 디코딩 장치의 예를 보여주는 블록도이고,
도 5는 인코딩 장치 또는 디코딩 장치의 다른 예를 보여주는 블록도이고,
도 6은 수직 예측 방향에 대해 각도성 인트라 예측(Angular intra prediction) 방향 및 모드 및 pang의 연관된 값을 도시하고,
도 7은 4 Х 4 블록에 대한 pref 대 p1,ref의 변환을 도시하고,
도 8은 수평 각도성 예측(horizontal angular prediction)에 대한 p1,ref의 구성을 도시하고,
도 9는 수직 각도성 예측(vertical angular prediction)에 대한 p1,ref의 구성을 도시하고,
도 10a는 JEM 및 BMS-1에서의 인트라 예측 모드의 세트에 대해 각도성 인트라 예측 방향 및 모드 및 pang의 연관된 값을 도시하고,
도 10b는 VVC 초안(draft) 2에서의 인트라 예측 모드의 세트에 대해 각도성 인트라 예측 방향 및 모드 및 pang의 연관된 값을 도시하고,
도 11은 HEVC [1]에서의 인트라 예측 모드를 도시하고,
도 12는 보간 필터 선택의 예를 도시하고,
도 13은 설명된 QTBT를 도시하고,
도 14는 직사각형 블록의 배향(Orientation)을 도시하고,
도 15a, 도 15b 및 도 15c는 주 참조 측면의 참조 샘플로부터의 블록의 인트라 예측의 3개의 예를 도시하고,
도 16 내지 도 18은 주 참조 측면의 참조 샘플로부터의 블록의 인트라 예측의 몇몇 예를 도시하고,
도 19 내지 도 21은 인트라 예측에서 사용되는 보간 필터를 도시하고,
도 22 내지 도 23은 발명의 실시예를 구현하도록 구성된 인트라 예측에서 사용되는 보간 필터를 도시하고,
도 24는 참조 샘플의 라인의 가능한 위치 및 ref_offset 변수의 대응하는 값이 있는 다른 예를 도시하고,
도 25는 인트라 예측 방법을 도시하는 흐름도이고,
도 26은 인트라 예측 장치를 도시하는 흐름도이고,
도 27은 콘텐트 전달 서비스(content delivery service)를 제공하는 콘텐트 공급 시스템(content supply system)의 예시적인 구조를 도시하는 블록도이고,
도 28은 단말 디바이스의 예를 도시하는 블록도이다.
이하에서 동일한 참조 부호는 명시적으로 달리 지정되지 않는 경우 동일하거나 적어도 기능적으로 균등한 특징을 가리킨다.
이하의 설명에서, 개시의 일부를 형성하고, 예시로서, 발명의 실시예의 구체적 측면 또는 본 발명의 실시예가 사용될 수 있는 구체적 측면을 도시하는 첨부된 도면에 대해 참조가 행해진다. 발명의 실시예는 다른 측면에서 사용될 수 있고 도면에 묘사되지 않은 구조적 또는 논리적 변경을 포함할 수 있음이 이해된다. 따라서, 이하의 상세한 설명은 한정적인 의미로 취해져서는 안 되며, 본 발명의 범위는 부기된 청구항에 의해 정의된다.
예컨대, 기술된 방법과 관련된 개시는 방법을 수행하도록 구성된 대응하는 디바이스 또는 시스템에 대해서도 들어맞을 수 있고 반대로도 마찬가지임이 이해된다. 예를 들어, 만일 하나 또는 복수의 특정 방법 단계가 기술된 경우, 대응하는 디바이스는 기술된 하나 또는 복수의 방법 단계를 수행하는 하나 또는 복수의 유닛, 가령 기능적 유닛(가령 하나 또는 복수의 단계를 수행하는 하나의 유닛, 또는 각각 복수의 단계 중 하나 이상을 수행하는 복수의 유닛)을, 설령 그러한 하나 이상의 유닛이 도면에 명시적으로 기술되거나 예시되지 않더라도, 포함할 수 있다. 다른 한편으로, 예를 들어, 만일 특정 장치가 하나 또는 복수의 유닛, 가령 기능적 유닛에 기반하여 기술된 경우, 대응하는 방법은 하나 또는 복수의 유닛의 기능을 수행하는 하나의 단계(가령 하나 또는 복수의 유닛의 기능을 수행하는 하나의 단계, 또는 각각 복수의 유닛 중의 하나 이상의 유닛의 기능을 수행하는 복수의 단계)를, 설령 그러한 하나 또는 복수의 단계가 도면에 명시적으로 기술되거나 예시되지 않더라도, 포함할 수 있다. 또한, 본 문서에 기술된 다양한 예시적인 실시예 및/또는 측면의 특징이, 구체적으로 달리 기재되지 않는 한, 서로 조합될 수 있음이 이해된다.
비디오 코딩은 전형적으로, 비디오 또는 비디오 시퀀스(sequence)를 형성하는 픽처의 시퀀스의 처리를 지칭한다. 용어 "픽처" 대신에 용어 "프레임" 또는 "이미지"가 비디오 코딩 분야에서 동의어로서 사용될 수 있다. 비디오 코딩(또는 일반적으로 코딩)은 2개의 부분, 즉 비디오 인코딩 및 비디오 디코딩을 포함한다. 비디오 인코딩은 소스 측(source side)에서 수행되는데, 전형적으로 (더 효율적인 저장 및/또는 송신을 위해) 비디오 픽처를 나타내는 데에 요구되는 데이터의 양을 감소시키기 위해 원래의 비디오 픽처를 (가령 압축에 의해) 처리하는 것을 포함한다. 비디오 디코딩은 목적지 측(destination side)에서 수행되고 전형적으로 비디오 픽처를 재구성하기 위해 인코더와 대비되는 역 처리(inverse processing)를 포함한다. 비디오 픽처(또는 일반적으로 픽처)의 "코딩"을 지칭하는 실시예는 비디오 픽처 또는 각자의 비디오 시퀀스의 "인코딩" 또는 "디코딩"에 관련된다고 이해될 것이다. 인코딩 부분 및 디코딩 부분의 조합은 또한 CODEC(Coding and Decoding(코딩 및 디코딩))으로 지칭된다.
무손실(loseless) 비디오 코딩의 경우에, 원래의 비디오 픽처가 재구성될 수 있는바, 즉 재구성된 비디오 픽처는 (저장 또는 송신 동안에 어떤 송신 손실 또는 다른 데이터 손실도 없음을 가정하면) 원래의 비디오 픽처와 동일한 품질을 갖는다. 손실성(lossy) 비디오 코딩의 경우에, 디코더에서 완벽히 재구성될 수 없는 비디오 픽처를 나타내는 데이터의 양을 감소시키기 위해, 가령 양자화(quantization)에 의한, 추가의 압축이 수행되는바, 즉 재구성된 비디오 픽처의 품질은 원래의 비디오 픽처의 품질에 비해 더 낮거나 더 나쁘다.
몇 개의 비디오 코딩 표준은 "손실성 하이브리드 비디오 코덱"의 그룹에 속한다(즉 변환 도메인(transform domain)에서 양자화를 적용하기 위한 2D 변환 코딩 및 샘플 도메인(sample domain)에서의 공간적 및 시간적 예측을 조합함). 비디오 시퀀스의 각각의 픽처는 전형적으로 비중첩(non-overlapping) 블록의 세트로 구획되고 코딩은 전형적으로 블록 레벨에 대해 수행된다. 다시 말해, 인코더에서 비디오는 전형적으로, 블록(비디오 블록) 레벨에 대해, 가령 예측 블록을 생성하기 위해 공간적(인트라 픽처) 예측 및/또는 시간적(인터 픽처) 예측을 사용하고, 잔차 블록(residual block)을 획득하기 위해 현재의 블록(현재 처리되는/처리될 블록)으로부터 예측 블록을 차감하고, 잔차 블록을 변환하고 변환 도메인에서 잔차 블록을 양자화하여 송신될 데이터의 양을 감소시킴(압축)으로써, 처리되는, 즉 인코딩되는 반면, 디코더에서 인코더에 대비되는 역 처리는 인코딩된 또는 압축된 블록에 적용되어 표현을 위한 현재의 블록을 재구성한다. 나아가, 인코더는 디코더 처리 루프를 모사하여서 양자 모두가 차후의 블록을 처리하기, 즉 코딩하기 위해 동일한 예측(가령 인트라 및 인터 예측) 및/또는 재구성을 생성할 것이다.
비디오 코딩 시스템(10)의 이하의 실시예에서, 비디오 인코더(20) 및 비디오 디코더(30)가 도 1 내지 도 3에 기반하여 기술된다.
도 1a는 예시적인 코딩 시스템(10), 가령 비디오 코딩 시스템(10)(또는 간단히 코딩 시스템(10))(이 본 출원의 기법을 활용할 수 있음)을 예시하는 개략적인 블록도이다. 비디오 코딩 시스템(10)의 비디오 인코더(20)(또는 간단히 인코더(20)) 및 비디오 디코더(30)(또는 간단히 디코더(30))는 본 출원에 기술된 다양한 예에 따라 기법을 수행하도록 구성될 수 있는 디바이스의 예를 나타낸다.
도 1a에 도시된 바와 같이, 코딩 시스템(10)은 인코딩된 픽처 데이터(21)를 인코딩된 픽처 데이터(13)를 디코딩하기 위한 목적지 디바이스(14)에 제공하도록 구성된 소스 디바이스(12)를 포함한다.
소스 디바이스(12)는 인코더(20)를 포함하며, 추가적으로, 즉 선택적으로, 픽처 소스(16), 프리-프로세서(pre-processor)(또는 전처리 유닛(pre-processing unit))(18), 가령 픽처 프리-프로세서(18) 및 통신 인터페이스 또는 통신 유닛(22)을 포함할 수 있다.
픽처 소스(16)는 임의의 종류의 픽처 포착 디바이스(picture capturing device), 예를 들어 실세계 픽처를 포착하기 위한 카메라, 및/또는 임의의 종류의 픽처 생성 디바이스(picture generating device), 예를 들어 컴퓨터 애니메이션화된 픽처(computer animated picture)를 생성하기 위한 컴퓨터 그래픽 프로세서(computer-graphics processor), 또는 실세계 픽처, 컴퓨터 생성된 픽처(가령 스크린 콘텐트, 가상 현실(Virtual Reality: VR) 픽처) 및/또는 이의 임의의 조합(가령 증강 현실(Augmented Reality: AR) 픽처)을 획득하고/거나 제공하기 위한 임의의 종류의 다른 디바이스이거나 이를 포함할 수 있다. 픽처 소스는 전술된 픽처 중 임의의 것을 저장하는 임의의 종류의 메모리 또는 스토리지(storage)일 수 있다.
프리-프로세서(18) 및 전처리 유닛(18)에 의해 수행되는 처리와 구별되어, 픽처 또는 픽처 데이터(17)는 또한 원시 픽처(raw picture) 또는 원시 픽처 데이터(17)로 지칭될 수 있다.
프리-프로세서(18)는 (원시) 픽처 데이터(17)를 수신하고 전처리된 픽처(19) 또는 전처리된 픽처 데이터(19)를 획득하기 위해 픽처 데이터(17)에 대해 전처리를 수행하도록 구성된다. 프리-프로세서(18)에 의해 수행되는 전처리는, 가령, 트리밍(trimming), 색상 포맷 전환(color format conversion)(가령 RGB로부터 YCbCr로), 색상 보정(color correction), 또는 잡음제거(de-noising)를 포함할 수 있다. 전처리 유닛(18)은 선택적인 컴포넌트일 수 있음이 이해될 수 있다.
비디오 인코더(20)는 전처리된 픽처 데이터(19)를 수신하고 인코딩된 픽처 데이터(21)를 제공하도록 구성된다(세부사항은, 가령 도 2에 기반하여, 아래에서 기술될 것임).
소스 디바이스(12)의 통신 인터페이스(22)는 인코딩된 픽처 데이터(21)를 수신하고 인코딩된 픽처 데이터(21)(또는 이의 임의의 추가로 처리된 버전)를 통신 채널(13)을 통하여 저장 또는 직접적인 재구성을 위해 다른 디바이스, 가령 목적지 디바이스(14) 또는 임의의 다른 디바이스에 송신하도록 구성될 수 있다.
목적지 디바이스(14)는 디코더(30)(가령, 비디오 디코더(30))를 포함하며, 추가적으로, 즉 선택적으로, 통신 인터페이스 또는 통신 유닛(28), 포스트-프로세서(post-processor)(32)(또는 후처리 유닛(post-processing unit)(32)) 및 디스플레이 디바이스(34)를 포함할 수 있다.
목적지 디바이스(14)의 통신 인터페이스(28)는 인코딩된 픽처 데이터(21)(또는 이의 임의의 추가로 처리된 버전)를, 가령 직접적으로 소스 디바이스(12)로부터 또는 임의의 다른 소스, 가령 저장 디바이스, 가령 인코딩된 픽처 데이터 저장 디바이스로부터 수신하고, 인코딩된 픽처 데이터(21)를 디코더(30)에 제공하도록 구성된다.
통신 인터페이스(22) 및 통신 인터페이스(28)는 인코딩된 픽처 데이터(21) 또는 인코딩된 데이터(13)를 소스 디바이스(12) 및 목적지 디바이스(14) 간의 직접적인 통신 링크(direct communication link), 가령 직접적인 유선 또는 무선 연결을 통해, 또는 임의의 종류의 네트워크, 가령 유선 또는 무선 네트워크 또는 이의 임의의 조합, 또는 임의의 종류의 사설 및 공용 네트워크, 또는 이의 임의의 종류의 조합을 통해 송신하거나 수신하도록 구성될 수 있다.
통신 인터페이스(22)는, 가령, 인코딩된 픽처 데이터(21)를 적절한 포맷, 가령 패킷(packet)으로 패키징하도록(package), 및/또는 인코딩된 픽처 데이터를 통신 링크 또는 통신 네트워크를 통한 송신을 위해 임의의 종류의 송신 인코딩 또는 처리를 사용하여 처리하도록 구성될 수 있다.
통신 인터페이스(22)의 상대를 형성하는 통신 인터페이스(28)는, 가령, 송신된 데이터를 수신하고 인코딩된 픽처 데이터(21)를 획득하기 위해 임의의 종류의 대응하는 송신 디코딩 또는 처리 및/또는 패키징제거(de-packaging)를 사용하여 송신 데이터를 처리하도록 구성될 수 있다.
두 통신 인터페이스(22) 및 통신 인터페이스(28) 전부는 도 1a에서 통신 채널(13)에 대해 소스 디바이스(12)로부터 목적지 디바이스(14)를 가리키는 화살표에 의해 표시된 바와 같은 일방향성(unidirectional) 통신 인터페이스, 또는 양방향성(bi-directional) 통신 인터페이스로서 구성될 수 있고, 가령 메시지를, 가령 연결을 셋업하여(set up), 통신 링크 및/또는 데이터 송신, 가령 인코딩된 픽처 데이터 송신에 관련된 임의의 다른 정보를 인지하고(acknowledge) 교환하기 위해, 발신하고 수신하도록 구성될 수 있다.
디코더(30)는 인코딩된 픽처 데이터(21)를 수신하고 디코딩된 픽처 데이터(31) 또는 디코딩된 픽처(31)를 제공하도록 구성된다(세부사항은, 가령 도 3 또는 도 5에 기반하여, 아래에서 기술될 것임).
목적지 디바이스(14)의 포스트-프로세서(32)는 후처리된 픽처 데이터(33), 가령 후처리된 픽처(33)를 획득하기 위해, 디코딩된 픽처 데이터(31)(또한 재구성된 픽처 데이터로 칭해짐), 가령 디코딩된 픽처(31)를 후처리하도록 구성된다. 후처리 유닛(32)에 의해 수행되는 후처리는, 가령 (가령 디스플레이 디바이스(34)에 의한) 디스플레이를 위한 디코딩된 픽처 데이터(31)를 준비하기 위해, 가령 색상 포맷 전환(가령 YCbCr로부터 RGB로), 색상 보정, 트리밍, 또는 리샘플링(re-sampling), 또는 임의의 다른 처리를 포함할 수 있다.
목적지 디바이스(14)의 디스플레이 디바이스(34)는 픽처를, 가령 사용자 또는 감상자에게 디스플레이하기 위한 후처리된 픽처 데이터(33)를 수신하도록 구성된다. 디스플레이 디바이스(34)는 재구성된 픽처를 나타내기 위한 임의의 종류의 디스플레이, 가령 통합된 또는 외부의 디스플레이 또는 모니터이거나 이를 포함할 수 있다. 디스플레이는, 가령 액정 디스플레이(Liquid Crystal Display: LCD), 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 디스플레이, 플라즈마 디스플레이, 마이크로 LED 디스플레이, 실리콘 상의 액정(Liquid Crystal on Silicon: LCoS), 디지털 광 프로세서(Digital Light Processor: DLP) 또는 임의의 종류의 다른 디스플레이를 포함할 수 있다.
도 1a는 소스 디바이스(12) 및 목적지 디바이스(14)를 별개의 디바이스로서 묘사하나, 디바이스의 실시예는 또한 양자를 또는 양자의 기능, 소스 디바이스(12) 또는 대응하는 기능 및 목적지 디바이스(14) 또는 대응하는 기능을 포함할 수 있다. 그러한 실시예에서 소스 디바이스(12) 또는 대응하는 기능 및 목적지 디바이스(14) 또는 대응하는 기능은 동일한 하드웨어 및/또는 소프트웨어를 사용하여 또는 별개의 하드웨어 및/또는 소프트웨어 또는 이의 임의의 조합에 의해 구현될 수 있다.
설명에 기반하여 당업자에 대해 명백할 바와 같이, 도 1a에 도시된 바와 같은 소스 디바이스(12) 및/또는 목적지 디바이스(14) 내의 상이한 유닛 또는 기능의 존재 및 기능의 (정확한) 분할(split)은 실제의 디바이스 및 적용에 따라서 달라질 수 있다.
인코더(20)(가령 비디오 인코더(20)) 및 디코더(30)(가령 비디오 디코더(30)는 각각 도 1b에 도시된 바와 같은 다양한 적합한 회로부 중 임의의 것, 예를 들면 하나 이상의 마이크로프로세서(microprocessor), 디지털 신호 프로세서(Digital Signal Processor: DSP), 애플리케이션 특정 집적 회로(Application-Specific Integrated Circuit: ASIC), 필드 프로그램가능 게이트 어레이(Field-Programmable Gate Array: FPGA), 이산 로직(discrete logic), 하드웨어, 또는 이의 임의의 조합으로서 구현될 수 있다. 기법이 부분적으로 소프트웨어로 구현되는 경우에, 디바이스는 소프트웨어를 위한 명령어를 적합한 비일시적 컴퓨터 판독가능 저장 매체 내에 저장하고, 이 개시의 기법을 수행하기 위해 하나 이상의 프로세서를 사용하여 하드웨어로 명령어를 실행할 수 있다. (하드웨어, 소프트웨어, 하드웨어 및 소프트웨어의 조합 등을 포함하는) 전술한 바 중 임의의 것이 하나 이상의 프로세서라고 간주될 수 있다. 비디오 인코더(20) 및 비디오 디코더(30) 각각은 하나 이상의 인코더 또는 디코더에 포함될 수 있는데, 이들 중 어느 한쪽이든 각자의 디바이스 내에 조합된 인코더/디코더(encoder/decoder)(CODEC)의 일부로서 통합될 수 있다.
소스 디바이스(12) 및 목적지 디바이스(14)는 임의의 종류의 핸드헬드(handheld) 또는 정지식(stationary) 디바이스, 가령 노트북 또는 랩톱 컴퓨터, 모바일 전화, 스마트 전화, 태블릿 또는 태블릿 컴퓨터, 카메라, 데스크톱 컴퓨터, 셋톱 박스, 텔레비전, 디스플레이 디바이스, 디지털 미디어 플레이어, 비디오 게이밍 콘솔, 비디오 스트리밍 디바이스(예를 들면 콘텐트 서비스 서버 또는 콘텐트 전달 서버), 브로드캐스트 수신기 디바이스, 브로드캐스트 송신기 디바이스, 또는 유사한 것을 포함하는 광범위한 디바이스 중 임의의 것을 포함할 수 있고 임의의 종류의 운영 체제(operating system)을 사용할 수 있거나 전혀 사용하지 않을 수 있다. 몇몇 경우에, 소스 디바이스(12) 및 목적지 디바이스(14)는 무선 통신에 대한 구비가 될 수 있다. 그러므로, 소스 디바이스(12) 및 목적지 디바이스(14)는 무선 통신 디바이스일 수 있다.
몇몇 경우에, 도 1a에 예시된 비디오 코딩 시스템(10)은 단지 예이며 본 출원의 기법은 인코딩 및 디코딩 디바이스 간의 어떤 데이터 통신도 반드시 포함하지는 않는 비디오 코딩 설정(가령, 비디오 인코딩 또는 비디오 디코딩)에 적용될 수 있다. 다른 예에서, 데이터가 로컬 메모리(local memory)로부터 인출되거나(retrieved), 네트워크를 통하여 스트리밍되거나, 기타 등등이다. 비디오 인코딩 디바이스는 데이터를 메모리에 인코딩하고 저장할 수 있고/거나, 비디오 디코딩 디바이스는 메모리로부터 데이터를 인출하고 디코딩할 수 있다. 몇몇 예에서, 인코딩 및 디코딩은 서로 통신하지 않는 디바이스에 의해 수행되되, 단순히 데이터를 메모리에 인코딩하고/거나 메모리로부터 데이터를 인출하고 디코딩한다.
도 1b는 예시적인 실시예에 따라 도 2의 인코더(20) 및/또는 도 3의 디코더(30)를 포함하는 다른 예시적인 비디오 코딩 시스템(40)의 예시도이다. 시스템(40)은 본 출원에 기술된 다양한 예에 따른 기법을 구현할 수 있다. 예시된 구현에서, 비디오 코딩 시스템(40)은 촬상 디바이스(들)(imaging device(s))(41), 비디오 인코더(100), 비디오 디코더(30)(및/또는 처리 유닛(들)(46)의 로직 회로부(logic circuitry)(47)를 통해 구현된 비디오 코더), 안테나(42), 하나 이상의 프로세서(들)(43), 하나 이상의 메모리 저장부(들)(memory store(s))(44) 및/또는 디스플레이 디바이스(45)를 포함할 수 있다.
예시된 바와 같이, 촬상 디바이스(들)(41), 안테나(42), 처리 유닛(들)(46), 로직 회로부(47), 비디오 인코더(20), 비디오 디코더(30), 프로세서(들)(43), 메모리 스토어(들)(44) 및/또는 디스플레이 디바이스(45)는 서로와의 통신이 가능할 수 있다. 논의된 바와 같이, 비록 비디오 인코더(20) 및 비디오 디코더(30) 양자 모두로써 예시되나, 비디오 코딩 시스템(40)은 다양한 예에서 오직 비디오 인코더(20)를 또는 오직 비디오 디코더(30)를 포함할 수 있다.
도시된 바와 같이, 몇몇 예에서, 비디오 코딩 시스템(40)은 안테나(42)를 포함할 수 있다. 안테나(42)는, 예를 들어, 비디오 데이터의 인코딩된 비트스트림을 송신하거나 수신하도록 구성될 수 있다. 또한, 몇몇 예에서, 비디오 코딩 시스템(40)은 디스플레이 디바이스(45)를 포함할 수 있다. 디스플레이 디바이스(45)는 비디오 데이터를 제시하도록 구성될 수 있다. 도시된 바와 같이, 몇몇 예에서, 로직 회로부(47)는 처리 유닛(들)(46)을 통해 구현될 수 있다. 처리 유닛(들)(46)은 애플리케이션 특정 집적 회로(Application-Specific Integrated Circuit: ASIC) 로직, 그래픽 프로세서(들), 일반 목적(general purpose) 프로세서(들), 또는 유사한 것을 포함할 수 있다. 비디오 코딩 시스템(40)은, 유사하게 애플리케이션 특정 집적 회로(Application-Specific Integrated Circuit: ASIC) 로직, 그래픽 프로세서(들), 일반 목적 프로세서(들), 또는 유사한 것을 포함할 수 있는 선택적인 프로세서(들)(43)를 또한 포함할 수 있다. 몇몇 예에서, 로직 회로부(47)는 하드웨어, 비디오 코딩 전용 하드웨어, 또는 유사한 것을 통해 구현될 수 있고, 프로세서(들)(43)는 일반 목적 소프트웨어, 운영 체제, 또는 유사한 것을 구현할 수 있다. 추가로, 메모리 저장부(들)(44)는 휘발성 메모리(가령, 정적 랜덤 액세스 메모리(Static Random Access Memory: SRAM), 동적 랜덤 액세스 메모리(Dynamic Random Access Memory: DRAM) 등) 또는 비휘발성 메모리(가령, 플래쉬 메모리 등) 및 기타 등등과 같은 임의의 타입의 메모리일 수 있다. 비한정적인 예에서, 메모리 저장부(들)(44)는 캐시 메모리(cache memory)에 의해 구현될 수 있다. 몇몇 예에서, 처리 회로부(47)는 (예를 들어 이미지 버퍼(image buffer)의 구현을 위해) 메모리 저장부(들)(44)를 액세스할 수 있다. 다른 예에서, 처리 회로부(47) 및/또는 처리 유닛(들)(46)은 이미지 버퍼 또는 유사한 것의 구현을 위해 메모리 저장부(가령, 캐시(cache) 또는 유사한 것)를 포함할 수 있다.
몇몇 예에서, 로직 회로부를 통해 구현된 비디오 인코더(20)는 (가령, 처리 유닛(들)(46)을 통해서든 또는 메모리 저장부(들)(44)를 통해서든) 이미지 버퍼 및 (가령, 처리 유닛(들)(46)을 통해) 그래픽 처리 유닛을 포함할 수 있다. 그래픽 처리 유닛은 이미지 버퍼에 통신가능하게 커플링될 수 있다. 그래픽 처리 유닛은 도 2에 관해서 논의된 바와 같은 다양한 모듈 및/또는 본 문서에 기술된 임의의 다른 인코더 시스템 또는 서브시스템을 체현하기(embody) 위해 로직 회로부(47)를 통해 구현된 바와 같은 비디오 인코더(20)를 포함할 수 있다. 로직 회로부는 본 문서에서 논의된 바와 같은 다양한 동작을 수행하도록 구성될 수 있다.
비디오 디코더(30)는 도 3의 디코더(30)에 관해서 논의된 바와 같은 다양한 모듈 및/또는 본 문서에 기술된 임의의 다른 디코더 시스템 또는 서브시스템을 체현하기 위해 로직 회로부(47)를 통해 구현되는 바와 같은 유사한 방식으로 구현될 수 있다. 몇몇 예에서, 비디오 디코더(30)는 로직 회로부를 통해 구현될 수 있고 (가령, 처리 유닛(들)(420)을 통해서든 또는 메모리 저장부(들)(44)를 통해서든) 이미지 버퍼 및 (가령, 처리 유닛(들)(46)을 통해) 그래픽 처리 유닛을 포함할 수 있다. 그래픽 처리 유닛은 이미지 버퍼에 통신가능하게 커플링될 수 있다. 그래픽 처리 유닛은 도 3에 관해서 논의된 바와 같은 다양한 모듈 및/또는 본 문서에 기술된 임의의 다른 디코더 시스템 또는 서브시스템을 체현하기 위해 로직 회로부(47)를 통해 구현된 바와 같은 비디오 디코더(30)를 포함할 수 있다.
몇몇 예에서, 비디오 코딩 시스템(40)의 안테나(42)는 비디오 데이터의 인코딩된 비트스트림을 수신하도록 구성될 수 있다. 논의된 바와 같이, 인코딩된 비트스트림은 본 문서에 논의된 바와 같이 비디오 프레임을 인코딩하는 것과 연관된 데이터, 표시자(indicator), 인덱스 값(index value), 모드 선택 데이터, 또는 유사한 것, 예를 들면 코딩 구획과 연관된 데이터(가령, 변환 계수 또는 양자화된 변환 계수, (논의되는 바와 같은) 선택적인 표시자, 및/또는 코딩 구획을 정의하는 데이터)을 포함할 수 있다. 비디오 코딩 시스템(40)은 안테나(42)에 커플링되고 인코딩된 비트스트림을 디코딩하도록 구성된 비디오 디코더(30)를 또한 포함할 수 있다. 디스플레이 디바이스(45)는 비디오 프레임을 제시하도록 구성된다.
설명의 편의를 위해, 예를 들어, 고효율 비디오 코딩(High-Efficiency Video Coding: HEVC)에 대한 또는 다용도 비디오 코딩(Versatile Video Coding: VVC)(ITU-T 비디오 코딩 전문가 그룹(Video Coding Experts Group: VCEG) 및 ISO/IEC 동화상 전문가 그룹(Moving Picture Experts Group: MPEG)의 비디오 코딩 합동 협력 팀(Joint Collaboration Team on Video Coding: JCT-VC)에 의해 개발된 차세대 비디오 코딩 표준)의 참조 소프트웨어에 대한 참조에 의해 발명의 실시예가 본 문서에 기술된다. 통상의 기술자는 발명의 실시예가 HEVC 또는 VVC에 한정되지 않음을 이해할 것이다.
인코더 및 인코딩 방법
도 2는 본 출원의 기법을 구현하도록 구성된 예시적인 비디오 인코더(20)의 개략적인 블록도를 도시한다. 도 2의 예에서, 비디오 인코더(20)는 입력부(201)(또는 입력 인터페이스(201)), 잔차 계산 유닛(residual calculation unit)(204), 변환 처리 유닛(transform processing unit)(206), 양자화 유닛(quantization unit)(208), 역양자화 유닛(inverse quantization unit)(210) 및 역변환 처리 유닛(inverse transform processing unit)(212), 재구성 유닛(reconstruction unit)(214), 루프 필터 유닛(loop filter unit)(220), 디코딩된 픽처 버퍼(Decoded Picture Buffer: DPB)(230), 모드 선택 유닛(mode selection unit)(260), 엔트로피 인코딩 유닛(entropy encoding unit)(270) 및 출력부(270)(또는 출력 인터페이스(272))를 포함한다. 모드 선택 유닛(260)은 인터 예측 유닛(inter prediction unit)(244), 인트라 예측 유닛(intra prediction unit)(254) 및 구획 유닛(partitioning unit)(262)을 포함할 수 있다. 인터 예측 유닛(244)은 움직임 추정 유닛(motion estimation unit) 및 움직임 보상 유닛(motion compensation unit)(도시되지 않음)을 포함할 수 있다. 도 2에 도시된 바와 같은 비디오 인코더(20)는 또한 하이브리드 비디오 인코더 또는 하이브리드 비디오 코덱에 따른 비디오 인코더로 지칭될 수 있다.
잔차 계산 유닛(204), 변환 처리 유닛(206), 양자화 유닛(208), 모드 선택 유닛(260)은 인코더(20)의 순방향 신호 경로를 형성하는 것으로서 지칭될 수 있는 반면, 역양자화 유닛(210), 역변환 처리 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터(220), 디코딩된 픽처 버퍼(Decoded Picture Buffer: DPB)(230), 인터 예측 유닛(244) 및 인트라 예측 유닛(254)은 비디오 인코더(20)의 역방향 신호 경로를 형성하는 것으로 지칭될 수 있는데, 비디오 인코더(20)의 역방향 신호 경로는 디코더의 신호 경로에 대응한다(도 3에서의 비디오 디코더(30)를 보시오). 역양자화 유닛(210), 역변환 처리 유닛(212), 재구성 유닛(214), 루프 필터(220), 디코딩된 픽처 버퍼(Decoded Picture Buffer: DPB)(230), 인터 예측 유닛(244) 및 인트라 예측 유닛(254)은 또한 비디오 인코더(20)의 "내장형 디코더"(built-in decoder)를 형성하는 것으로 지칭된다.
픽처 및 픽처 구획(픽처 및 블록)
인코더(20)는, 가령 입력부(201)를 통해, 픽처(17)(또는 픽처 데이터(17)), 가령 비디오 또는 비디오 시퀀스를 형성하는 픽처의 시퀀스의 픽처를 수신하도록 구성될 수 있다. 수신된 픽처 또는 픽처 데이터는 또한 전처리된 픽처(19)(또는 전처리된 픽처 데이터(19))일 수 있다. 단순함을 위해서 이하의 설명은 픽처(17)를 언급한다. 픽처(17)는 또한 현재의 픽처 또는 코딩될 픽처로서 (특히 비디오 코딩에서 현재의 픽처를 다른 픽처, 가령 동일한 비디오 시퀀스, 즉 현재의 픽처를 또한 포함하는 비디오 시퀀스의 이전에 인코딩되고/거나 디코딩된 픽처와 구별하기 위해) 지칭될 수 있다.
(디지털) 픽처는 강도(intensity) 값을 가진 샘플의 2차원 어레이(array) 또는 행렬(matrix)로 간주되거나 그럴 수 있다. 어레이 내의 샘플은 또한 픽셀(pixel)(픽처 요소(picture element)의 약식) 또는 화소(pel)로서 지칭될 수 있다. 어레이 또는 픽처의 수평 및 수직 방향(또는 축)에서의 샘플의 수는 픽처의 크기 및/또는 해상도를 정의한다. 색상의 표현을 위해, 전형적으로 3개의 색상 컴포넌트가 이용되는바, 즉 픽처는 3개의 샘플 어레이로 표현되거나 이를 포함할 수 있다. RBG 포맷 또는 색상 공간에서 픽처는 대응하는 적색, 녹색 및 청색 샘플 어레이를 포함한다. 그러나, 비디오 코딩에서 각각의 픽셀은 전형적으로 휘도 및 색차 포맷 또는 색상 공간, 가령 YCbCr에서 표현되는데, 이는 Y에 의해 표시되는 휘도 컴포넌트(때때로 또한 L이 대신 사용됨) 및 Cb 및 Cr에 의해 표시되는 2개의 색차 컴포넌트를 포함한다. 휘도(또는 간단히 루마) 컴포넌트 Y는 밝기 또는 그레이(grey) 레벨 강도(가령 그레이 스케일 픽처에서와 비슷함)를 나타내는 반면에, 2개의 색차(또는 간단히 크로마) 컴포넌트 Cb 및 Cr은 색도(chromaticity) 또는 색상 정보 컴포넌트를 나타낸다. 이에 따라, YCbCr 포맷에서의 픽처는 휘도 샘플 값(Y)의 휘도 샘플 어레이와, 색차 값(Cb 및 Cr) 2개의 색차 샘플 어레이를 포함한다. RGB 포맷에서의 픽처는 YCbCr 포맷으로 전환되거나 변환될 수 있고 반대로도 마찬가지인데, 프로세스는 색상 변환 또는 전환으로 알려져 있다. 만일 픽처가 단색(monochrome)인 경우, 픽처는 오직 휘도 샘플 어레이를 포함할 수 있다. 이에 따라, 픽처는, 예를 들어, 단색 포맷에서의 루마 샘플의 어레이이거나 4:2:0, 4:2:2 및 4:4:4 색상 포맷에서의 루마 샘플의 어레이 및 크로마 샘플의 2개의 대응하는 어레이일 수 있다.
비디오 인코더(20)의 실시예는 픽처(17)를 복수의 (전형적으로 비중첩인) 픽처 블록(203)으로 구획하도록 구성된 픽처 구획 유닛(도 2에 묘사되지 않음)을 포함할 수 있다. 이들 블록은 또한 루트 블록(root block), 매크로 블록(macro block)(H.264/AVC) 또는 코딩 트리 블록(Coding Tree Block: CTB) 또는 코딩 트리 유닛(Coding Tree Unit: CTU)(H.265/HEVC 및 VVC)으로서 지칭될 수 있다. 픽처 구획 유닛은 비디오 시퀀스의 모든 픽처를 위해 동일한 블록 크기 및 블록 크기를 정의하는 대응하는 그리드(grid)를 사용하거나, 픽처 또는 픽처의 서브세트 또는 그룹 간에 블록 크기를 변경하고, 각각의 픽처를 대응하는 블록으로 구획하도록 구성될 수 있다.
추가의 실시예에서, 비디오 인코더는 픽처(17)의 블록(203), 가령 픽처(17)를 형성하는 하나의, 몇 개의 또는 모든 블록을 직접적으로 수신하도록 구성될 수 있다. 픽처 블록(203)은 또한 현재의 픽처 블록 또는 코딩될 픽처 블록으로서 지칭될 수 있다.
픽처(17)와 비슷하게, 픽처 블록(203) 역시 강도 값(샘플 값)을 가진 샘플의 2차원 어레이 또는 행렬로서 간주되거나 그럴 수 있는데, 픽처(17)보다 더 작은 치수의 것이기는 하다. 다시 말해, 블록(203)은, 가령, 하나의 샘플 어레이(가령 단색 픽처(17)의 경우 루마 어레이, 또는 색상 픽처의 경우 루마 또는 크로마 어레이) 또는 3개의 샘플 어레이(가령 색상 픽처(17)의 경우 루마 및 2개의 크로마 어레이) 또는 적용되는 색상 포맷에 따라서 임의의 다른 수 및/또는 종류의 어레이를 포함할 수 있다. 블록(203)의 수평 및 수직 방향(또는 축)에서의 샘플의 수는 블록(203)의 크기를 정의한다. 이에 따라, 블록은, 예를 들어, 샘플의 MxN(M열에 N행) 어레이, 또는 변환 계수의 MxN 어레이일 수 있다.
도 2에 도시된 바와 같은 비디오 인코더(20)의 실시예는 블록 단위로 픽처(17)를 인코딩하도록 구성될 수 있는데, 가령 인코딩 및 예측은 블록(203)마다 수행된다.
잔차 계산
잔차 계산 유닛(204)은, 가령 샘플 도메인에서 잔차 블록(205)을 획득하기 위해 샘플 단위로(픽셀 단위로), 픽처 블록(203)의 샘플 값으로부터 예측 블록(265)의 샘플 값을 차감함으로써, 픽처 블록(203) 및 예측 블록(265)(예측 블록(265)에 대한 추가의 세부사항은 나중에 제공됨)에 기반하여 잔차 블록(205)(또한 잔차(205)로서 지칭됨)을 계산하도록 구성될 수 있다.
변환
변환 처리 유닛(206)은 변환 도메인에서 변환 계수(207)를 획득하기 위해 잔차 블록(205)의 샘플 값에 대해 변환, 가령 이산 코사인 변환(Discrete Cosine Transform: DCT) 또는 이산 사인 변환(Discrete Sine Transform: DST)을 적용하도록 구성될 수 있다. 변환 계수(207)는 또한 변환 잔차 계수로서 지칭되고 변환 도메인에서 잔차 블록(205)을 나타낼 수 있다.
변환 처리 유닛(206)은 H.265/HEVC를 위해 지정된 변환과 같은, DCT/DST의 정수 근사화를 적용하도록 구성될 수 있다. 직교 DCT 변환에 비해, 그러한 정수 근사화는 전형적으로 어떤 인자(factor)에 의해 스케일링된다(scaled). 순방향 및 역변환에 의해 처리되는 잔차 블록의 놈(norm)을 보존하기 위해서, 추가적인 스케일링 인자가 변환 프로세스의 일부로서 적용된다. 스케일링 인자는 전형적으로 천이 동작을 위해 스케일링 인자가 2의 멱인 것, 변환 계수의 비트 깊이(bit depth), 정확성 및 구현 비용 간의 트레이드오프(tradeoff) 등등 같은 소정의 제약에 기반하여 선정된다. 특정 스케일링 인자는, 예를 들어, 가령 역변환 처리 유닛(212)에 의한, 역변환(및 가령 비디오 디코더(30)에서의 역변환 처리 유닛(312)에 의한, 대응하는 역변환)을 위해 지정되며, 인코더(20)에서의, 가령 변환 처리 유닛(206)에 의한, 순방향 변환을 위한 대응하는 스케일링 인자는 이에 따라 지정될 수 있다.
비디오 인코더(20)의 실시예(각각 변환 처리 유닛(206))는, 가령, 비디오 디코더(30)가 디코딩을 위해 변환 파라미터를 수신하고 사용할 수 있도록, 가령 엔트로피 인코딩 유닛(270)을 통해 압축되거나 인코딩되거나 직접적으로, 변환 파라미터, 가령 어떤 타입의 변환 또는 변환들을 출력하도록 구성될 수 있다.
양자화
*양자화 유닛(208)은, 가령 스칼라(scalar) 양자화 또는 벡터(vector) 양자화를 적용함으로써, 양자화된 계수(209)를 획득하기 위해 변환 계수(207)를 양자화하도록 구성될 수 있다. 양자화된 계수(209)는 또한 양자화된 변환 계수(209) 또는 양자화된 잔차 계수(209)로서 지칭될 수 있다.
양자화 프로세스는 변환 계수(207) 중 일부 또는 전부와 연관된 비트 깊이를 감소시킬 수 있다. 예를 들어, n 비트 변환 계수는 양자화 동안에 m 비트 변환 계수로 잘라 버림될(rounded down) 수 있는데, n은 m보다 더 크다. 양자화의 정도는 양자화 파라미터(Quantization Parameter: QP)를 조절함으로써 수정될 수 있다. 예를 들어 스칼라 양자화를 위해, 더 세밀한(finer) 또는 더 조야한(coarser) 양자화를 달성하기 위해 상이한 스케일링이 적용될 수 있다. 더 작은 양자화 스텝 크기(quantization step size)는 더 세밀한 양자화에 대응하는 반면, 더 큰 양자화 스텝 크기는 더 조야한 양자화에 대응한다. 적용가능한 양자화 스텝 크기는 양자화 파라미터(Quantization Parameter: QP)에 의해 표시될 수 있다. 양자화 파라미터는 예를 들어 적용가능한 양자화 스텝 크기의 사전정의된 세트에 대한 인덱스일 수 있다. 예를 들어, 작은 양자화 파라미터는 세밀한 양자화(작은 양자화 스텝 크기)에 대응할 수 있고 큰 양자화 파라미터는 조야한 양자화(큰 양자화 스텝 크기)에 대응할 수 있거나, 반대로도 마찬가지이다. 양자화는 양자화 스텝 크기에 의한 나누기를 포함할 수 있고, 가령 역양자화 유닛(210)에 의한, 대응하고/거나 역인 양자화해제(dequantization)는 양자화 스텝 크기에 의한 곱하기를 포함할 수 있다. 몇몇 표준, 가령 HEVC에 따른 실시예는 양자화 스텝 크기를 결정하는 데에 양자화 파라미터를 사용하도록 구성될 수 있다. 일반적으로, 양자화 스텝 크기는 나누기를 포함하는 식의 고정 소수점 근사화를 사용하여 양자화 파라미터에 기반하여 계산될 수 있다. 추가적인 스케일링 인자가 양자화 및 양자화해제를 위해 도입되어 잔차 블록의 놈을 복원할 수 있는데, 이는 양자화 스텝 크기 및 양자화 파라미터를 위한 식의 고정 소수점 근사화에서 사용되는 스케일링 때문에 수정된 것일 수 있다. 하나의 예시적인 구현에서, 역변환 및 양자화해제의 스케일링은 조합될 수 있다. 대안적으로, 맞춤화된 양자화 테이블이 사용되고 인코더로부터 디코더로, 가령 비트스트림 내에, 시그널링될 수 있다. 양자화는 손실성 동작인데, 손실은 양자화 스텝 크기를 증가시킴에 따라 증가한다.
비디오 인코더(20)의 실시예(각각 양자화 유닛(208))는, 가령, 비디오 디코더(30)가 디코딩을 위해 양자화 파라미터를 수신하고 적용할 수 있도록, 가령 엔트로피 인코딩 유닛(270)을 통해 인코딩되거나 직접적으로, 양자화 파라미터(Quantization Parameter: QP)를 출력하도록 구성될 수 있다.
역양자화
역양자화 유닛(210)은 양자화해제된 계수(dequantized coefficient)(211)를 획득하기 위해, 가령 양자화 유닛(208)과 동일한 양자화 스텝 크기에 기반하여 또는 이를 사용하여 양자화 유닛(208)에 의해 적용된 양자화 방안의 역을 적용함으로써, 양자화된 계수(quantized coefficient)에 대해 양자화 유닛(208)의 역양자화를 적용하도록 구성된다. 양자화해제된 계수(211)는 또한 양자화해제된 잔차 계수(211)로서 지칭되고 - 비록 전형적으로 양자화에 의한 손실로 인해 변환 계수와 동일하지는 아니하나 - 변환 계수(207)에 대응할 수 있다.
역변환
역변환 처리 유닛(212)은, 샘플 도메인에서의 재구성된 잔차 블록(213)(또는 대응하는 양자화해제된 계수(213))를 획득하기 위해, 변환 처리 유닛(206)에 의해 적용된 변환의 역변환, 가령 역 이산 코사인 변환(Discrete Cosine Transform: DCT) 또는 역 이산 사인 변환(Discrete Sine Transform: DST) 또는 다른 역변환을 적용하도록 구성된다. 재구성된 잔차 블록(213)은 또한 변환 블록(213)으로서 지칭될 수 있다.
재구성
재구성 유닛(214)(가령 가산기 또는 합산기(214))은 샘플 도메인에서 재구성된 블록(215)을 획득하기 위해, 가령 재구성된 잔차 블록(213)의 샘플 값 및 예측 블록(265)의 샘플 값을 - 샘플 단위로 - 가산함으로써, 변환 블록(213)(즉 재구성된 잔차 블록(213))을 예측 블록(265)에 가산하도록 구성된다.
필터링
루프 필터 유닛(220)(또는 간단히 "루프 필터"(220))는, 필터링된 블록(221)을 획득하기 위해 재구성된 블록(215)을 필터링하도록, 또는 일반적으로, 필터링된 샘플을 획득하기 위해 재구성된 샘플을 필터링하도록 구성된다. 루프 필터 유닛은, 가령, 픽셀 전이(pixel transition)를 평활화하도록(smooth), 또는 달리 비디오 품질을 개선하도록 구성된다. 루프 필터 유닛(220)은 하나 이상의 루프 필터, 예를 들면 블록해제 필터(de-blocking filter), 샘플 적응적 오프셋(Sample-Adaptive Offset: SAO) 필터 또는 하나 이상의 다른 필터, 가령 쌍방 필터(bilateral filter), 적응적 루프 필터(Adaptive Loop Filter: ALF), 첨예화(sharpening), 평활화 필터(smoothing filter) 또는 협력 필터(collaborative filter), 또는 이의 임의의 조합을 포함할 수 있다. 비록 루프 필터 유닛(220)이 루프 필터인 것으로서 도 2에 도시되나, 다른 구성에서, 루프 필터 유닛(220)은 포스트 루프 필터(post loop filter)로서 구현될 수 있다. 필터링된 블록(221)은 또한 필터링된 재구성된 블록(221)으로서 지칭될 수 있다. 디코딩된 픽처 버퍼(230)는 루프 필터 유닛(220)이 재구성된 코딩 블록에 대해 필터링 동작을 수행한 후 재구성된 코딩 블록을 저장할 수 있다.
비디오 인코더(20)의 실시예(각각 루프 필터 유닛(220))는, 가령, 디코더(30)가 디코딩을 위해 동일한 루프 필터 파라미터 또는 각자의 루프 필터를 수신하고 적용할 수 있도록, 가령 엔트로피 인코딩 유닛(270)을 통해 인코딩되거나 직접적으로, (샘플 적응적 오프셋 정보와 같은) 루프 필터 파라미터를 출력하도록 구성될 수 있다.
디코딩된 픽처 버퍼
디코딩된 픽처 버퍼(Decoded Picture Buffer: DPB)(230)는 비디오 인코더(20)에 의해 비디오 데이터를 인코딩하기 위해 참조 픽처, 또는 일반적으로 참조 픽처 데이터를 저장하는 메모리일 수 있다. DPB(230)는 동적 랜덤 액세스 메모리(Dynamic Random Access Memory: DRAM)(동기식 DRAM(Synchronous DRAM: SDRAM)을 포함함), 자기저항성 RAM(Magnetoresistive RAM: MRAM), 저항성 RAM(Resistive RAM: RRAM), 또는 다른 타입의 메모리 디바이스와 같은 다양한 메모리 디바이스 중 임의의 것에 의해 형성될 수 있다. 디코딩된 픽처 버퍼(Decoded Picture Buffer: DPB)(230)는 하나 이상의 필터링된 블록(221)을 저장하도록 구성될 수 있다. 디코딩된 픽처 버퍼(230)는 동일한 현재의 픽처의 또는 상이한 픽처, 가령 이전에 재구성된 픽처의 다른 이전에 필터링된 블록, 가령 이전에 재구성되고 필터링된 블록(221)을 저장하도록 또한 구성될 수 있고, 예를 들어 인터 예측을 위해, 완전한 이전에 재구성된, 즉 디코딩된, 픽처(및 대응하는 참조 블록 및 샘플) 및/또는 부분적으로 재구성된 현재의 픽처(및 대응하는 참조 블록 및 샘플)를 제공할 수 있다. 디코딩된 픽처 버퍼(Decoded Picture Buffer: DPB)(230)는 또한 하나 이상의 필터링되지 않은 재구성된 블록(215), 또는 일반적으로, 필터링되지 않은 재구성된 샘플(가령 만일 재구성된 블록(215)이 루프 필터 유닛(220)에 의해 필터링되지 않은 경우), 또는 재구성된 블록 또는 샘플의 임의의 다른 추가로 처리된 버전을 저장하도록 구성될 수 있다.
모드 선택(구획 및 예측)
모드 선택 유닛(260)은 구획 유닛(262), 인터 예측 유닛(244) 및 인트라 예측 유닛(254)을 포함하고, 원래의 픽처 데이터, 가령 원래의 블록(203)(현재의 픽처(17)의 현재의 블록(203)), 그리고 재구성된 픽처 데이터, 가령 동일한 (현재의) 픽처의 및/또는 하나 또는 복수의 이전에 디코딩된 픽처로부터의, 가령 디코딩된 픽처 버퍼(230) 또는 다른 버퍼(가령, 도시되지 않은 라인 버퍼(line buffer))로부터의, 필터링된 및/또는 필터링되지 않은 재구성된 샘플 또는 블록을 수신하거나 획득하도록 구성된다. 재구성된 픽처 데이터는, 예측 블록(265) 또는 예측자(predictor)(265)를 획득하는 데에, 예측, 가령 인터 예측 또는 인트라 예측을 위한 참조 픽처 데이터로서 사용된다.
모드 선택 유닛(260)은 (어떤 구획도 포함하지 않는) 현재 블록 예측 모드 및 예측 모드(가령 인트라 또는 인터 예측 모드)를 위해 구획을 결정하거나 선택하고, 잔차 블록(205)의 계산을 위해, 그리고 재구성된 블록(215)의 재구성을 위해 사용되는 대응하는 예측 블록(265)을 생성하도록 구성될 수 있다.
모드 선택 유닛(260)의 실시예는 (가령 모드 선택 유닛(260)에 의해 지원되거나 이를 위해 이용가능한 것으로부터) 구획 및 예측 모드를 선택하도록 구성될 수 있는데, 이는 최선의 매치(best match) 또는 다시 말해 최소 잔차(최소 잔차는 송신 또는 저장을 위한 더 나은 압축을 의미함), 또는 최소 시그널링 오버헤드(signaling overhead)(최소 시그널링 오버헤드는 송신 또는 저장을 위한 더 나은 압축을 의미함)를 제공하거나, 이는 양자 모두를 고려하거나 균형을 잡는다. 모드 선택 유닛(260)은 레이트 왜곡 최적화(Rate Distortion Optimization: RDO)에 기반하여 구획 및 예측 모드를 결정하도록, 즉 최소의 레이트 왜곡을 제공하는 예측 모드를 선택하도록 구성될 수 있다. 이 맥락에서 "최선", "최소", "최적" 등등 같은 용어는 반드시 전반적인 "최소", "최소", "최적" 등등을 지칭하지는 않고, 또한 잠재적으로 "부 최적 선택"(sub-optimum selection)으로 이어지나 복잡도 및 처리 시간을 감소시키는 임계 또는 다른 제약을 초과하거나 하회하는 값 같은 종료 또는 선택 기준의 충족을 지칭할 수도 있다.
다시 말해, 구획 유닛(262)은, 가령 쿼드 트리 구획(quad-tree-partitioning)(QT), 이진 구획(binary partitioning)(BT) 또는 3중 트리 구획(triple-tree-partitioning)(TT) 또는 이의 임의의 조합을 반복적으로 사용하여, 블록(203)을 더 작은 블록 구획 또는 서브 블록(이는 다시 블록을 형성함)으로 구획하도록, 그리고, 가령, 블록 구획 또는 서브 블록 각각을 위한 예측을 수행하도록 구성될 수 있는데, 모드 선택은 구획된 블록(203)의 트리 구조의 선택을 포함하고 예측 모드는 블록 구획 또는 서브 블록 각각에 적용된다.
이하에서 예시적인 비디오 인코더(20)에 의해 수행되는 (가령 구획 유닛(260)에 의한) 구획 및 (인터 예측 유닛(244) 및 인트라 예측 유닛(254)에 의한) 예측 처리가 더욱 상세히 설명될 것이다.
구획
구획 유닛(262)은 현재의 블록(203)을 더 작은 구획, 가령 정사각형 또는 직사각형 크기의 더 작은 블록으로 구획할(또는 분할할) 수 있다. 이들 더 작은 블록(이는 또한 서브 블록으로서 지칭될 수 있음)은 훨씬 더 작은 구획으로 추가로 구획될 수 있다. 이것은 또한 트리 구획(tree-partitioning) 또는 위계적 트리 구획(hierarchical tree-partitioning)으로 지칭되는데, (가령 루트 트리 레벨 0(위계 레벨 0, 깊이 0)에서의) 루트 블록은 재귀적으로(recursively) 구획될, 가령 다음의 더 낮은 트리 레벨(가령 트리 레벨 1(위계 레벨 1, 깊이 1)에서의 노드)의 둘 이상의 블록으로 구획될 수 있는데, 가령 종료 기준이 충족(가령 최대 트리 깊이 또는 최소 블록 크기에 도달)되기 때문에 구획이 종료될 때까지 이들 블록은 역시 다음의 더 낮은 레벨(가령 트리 레벨 2(위계 레벨 2, 깊이 2))의 둘 이상의 블록으로 구획될 수 있고, 기타 등등이다. 더 구획되지 않는 블록은 또한 트리의 리프 블록(leaf-block) 또는 리프 노드(leaf node)로서 지칭된다. 2개의 구획으로 구획하는 것을 사용하는 트리는 이진 트리(Binary-Tree: BT)로서 지칭되고, 3개의 구획으로 구획하는 것을 사용하는 트리는 3진 트리(Ternary-Tree: TT)로서 지칭되고, 4개의 구획으로 구획하는 것을 사용하는 트리는 쿼드 트리(Quad-Tree: QT)로서 지칭된다.
앞서 언급된 바와 같이, 본 문서에서 사용되는 바와 같은 용어 "블록"은 픽처의 부분, 특히 정사각형 또는 직사각형 부분일 수 있다. 예를 들어, HEVC 및 VVC를 참조하면, 블록은 코딩 트리 유닛(Coding Tree Unit: CTU), 코딩 유닛(Coding Unit: CU), 예측 유닛(Prediction Unit: PU) 및 변환 유닛(Transform Unit: TU)이거나 이에 및/또는 대응하는 블록, 가령 코딩 트리 블록(Coding Tree Block: CTB), 코딩 블록(Coding Block: CB), 변환 블록(Transform Block: TB) 또는 예측 블록(Prediction Block: PB)에 대응할 수 있다.
예를 들어, 코딩 트리 유닛(Coding Tree Unit: CTU)은 3개의 샘플 어레이를 갖는 픽처의 루마 샘플의 CTB, 크로마 샘플의 2개의 대응하는 CTB, 또는 단색 픽처 또는 3개의 별개의 색상 평면 및 구문(syntax) 구조(샘플을 코딩하는 데에 사용됨)를 사용하여 코딩관 픽처의 샘플의 CTB이거나 이를 포함할 수 있다. 상응하여, 코딩 트리 블록(Coding Tree Block: CTB)은 CTB로의 컴포넌트의 구분이 구획이도록 N의 어떤 값에 대해 샘플의 NxN 블록일 수 있다. 코딩 유닛(Coding Unit: CU)은 3개의 샘플 어레이를 갖는 픽처의 루마 샘플의 코딩 블록, 크로마 샘플의 2개의 대응하는 코딩 블록, 또는 단색 픽처 또는 3개의 별개의 색상 평면 및 구문 구조(샘플을 코딩하는 데에 사용됨)를 사용하여 코딩된 픽처의 샘플의 코딩 블록이거나 이를 포함할 수 있다. 상응하여 코딩 블록(Coding Block: CB)은 코딩 블록으로의 CTB의 구분이 구획이도록 M 및 N의 어떤 값에 대해 샘플의 MxN 블록일 수 있다.
실시예에서, 가령 HEVC에 따라, 코딩 트리 유닛(Coding Tree Unit: CTU)은 코딩 트리로서 표기된 쿼드 트리 구조를 사용함으로써 CU로 분할될 수 있다. 인터 픽처(시간적) 또는 인트라 픽처(공간적) 예측을 사용하여 픽처 영역을 코딩할 것인지의 판단은 CU 레벨에서 행해진다. 각각의 CU는 PU 분할 타입에 따라 하나, 2개 또는 4개의 PU로 더 분할될 수 있다. 하나의 PU 내부에, 동일한 예측 프로세스가 적용되고 관련 정보가 PU별로 디코더에 송신된다. PU 분할 타입에 기반하여 예측 프로세스를 적용함으로써 잔차 블록을 획득한 후에, CU는 CU를 위한 코딩 트리와 유사하게 다른 쿼드트리 구조에 따라 변환 유닛(Transform Unit: TU)으로 구획될 수 있다.
실시예에서, 가령, 다용도 비디오 코딩(Versatile Video Coding: VVC)으로서 지칭되는, 현재 개발 중인 최신 비디오 코딩 표준에 따라, 쿼드 트리 및 이진 트리(Quad-Tree and Binary Tree: QTBT) 구획이 코딩 블록을 구획하는 데에 사용된다. QTBT 블록 구조에서, CU는 정사각형 형상이든 또는 직사각형 형상이든 가질 수 있다. 예를 들어, 쿼드트리 구조에 의해 코딩 트리 유닛(Coding Tree Unit: CTU)이 우선 구획된다. 쿼드트리 리프 노드는 이진 트리 또는 3진(또는 3중) 트리 구조에 의해 더 구획된다. 구획 트리 리프 노드는 코딩 유닛(Coding Unit: CU)으로 칭해지고, 해당 분절(segmentation)은 어떤 추가의 구획도 없이 예측 및 변환 처리를 위해 사용된다. 이것은 CU, PU 및 TU가 QTBT 코딩 블록 구조에서 동일한 블록 크기를 갖는다는 것을 의미한다. 병행하여, 다중 구획, 예를 들어, 3중 트리 구획이 QTBT 블록 구조와 함께 사용될 것이 또한 제안되었다.
하나의 예에서, 비디오 인코더(20)의 모드 선택 유닛(260)은 본 문서에 기술된 구획 기법의 임의의 조합을 수행하도록 구성될 수 있다.
위에서 기술된 바와 같이, 비디오 인코더(20)는 (사전결정된) 예측 모드의 세트로부터 최선 또는 최적 예측 모드를 결정하거나 선택하도록 구성된다. 예측 모드의 세트는, 가령, 인트라 예측 모드 및/또는 인터 예측 모드를 포함할 수 있다.
인트라 예측
인트라 예측 모드의 세트는 35개의 상이한 인트라 예측 모드, 가령 DC(또는 평균(mean)) 모드 및 평면성 모드(planar mode) 같은 비방향성(non-directional) 모드, 또는 가령 HEVC에 정의된 바와 같은 방향성 모드를 포함할 수 있거나, 67개의 상이한 인트라 예측 모드, 가령 DC(또는 평균) 모드 및 평면성 모드 같은 비방향성 모드, 또는 가령 VVC를 위해 정의된 바와 같은 방향성 모드를 포함할 수 있다.
인트라 예측 유닛(254)은 인트라 예측 모드의 세트의 인트라 예측 모드에 따라 인트라 예측 블록(265)을 생성하기 위해 동일한 현재의 픽처의 이웃 블록의 재구성된 샘플을 사용하도록 구성된다.
인트라 예측 유닛(254)(또는 일반적으로 모드 선택 유닛(260))은, 가령, 비디오 디코더(30)가 디코딩을 위해 예측 파라미터를 수신하고 사용할 수 있도록, 인트라 예측 파라미터(또는 일반적으로 블록을 위한 선택된 인트라 예측 모드를 표시하는 정보)를 인코딩된 픽처 데이터(21)에의 포함을 위한 구문 요소(266)의 형태로 엔트로피 인코딩 유닛(270)에 출력하도록 또한 구성된다.
인터 예측
인터 예측 모드의 세트(또는 가능한 인터 예측 모드)는 이용가능한 참조 픽처(즉 이전의 적어도 부분적으로 디코딩된 픽처(가령 DBP(230)에 저장됨)) 및 다른 인터 예측 파라미터, 가령 전체 참조 픽처 또는 참조 픽처의 오직 일부(가령 현재의 블록의 영역 주위의 검색 윈도우 영역(search window area))가 최선 매칭 참조 블록(best matching reference block)에 대해 검색하기 위해 사용되는지, 및/또는 가령 픽셀 보간이 적용되는지(가령 절반/반-화소(half/semi-pel) 및/또는 4분의1-화소(quarter-pel) 보간) 여부에 의존한다.
위의 예측 모드에 추가적으로, 생략 모드(skip mode) 및/또는 직접 모드(direct mode)가 적용될 수 있다.
인터 예측 유닛(244)은 움직임 추정(Motion Estimation: ME) 유닛 및 움직임 보상(Motion Compensation: MC) 유닛(양자 모두 도 2에 도시되지 않음)을 포함할 수 있다. 움직임 추정 유닛은 픽처 블록(203)(현재의 픽처(17)의 현재의 픽처 블록(203)) 및 디코딩된 픽처(231), 또는 적어도 하나의 또는 복수의 이전에 재구성된 블록, 가령 하나 또는 복수의 다른/상이한 이전에 디코딩된 픽처(231)의 재구성된 블록을, 움직임 추정을 위해, 수신하거나 획득하도록 구성될 수 있다. 가령 비디오 시퀀스는 현재의 픽처 및 이전에 디코딩된 픽처(231)를 포함할 수 있거나, 다시 말해, 현재의 픽처 및 이전에 디코딩된 픽처(231)는 비디오 시퀀스를 형성하는 픽처의 시퀀스를 형성하거나 이의 일부일 수 있다.
인코더(20)는, 가령, 복수의 다른 픽처 중의 동일하거나 상이한 픽처의 복수의 참조 블록으로부터 참조 블록을 선택하고 참조 픽처(또는 참조 픽처 인덱스) 및/또는 참조 블록의 위치 (x, y 좌표) 및 현재의 블록의 위치 간의 오프셋(공간적 오프셋)을 인터 예측 파라미터로서 움직임 추정 유닛에 제공하도록 구성될 수 있다. 이 오프셋은 또한 움직임 벡터(Motion Vector: MV)로 칭해진다.
움직임 보상 유닛은 인터 예측 파라미터를 획득, 가령 수신하도록, 그리고 인터 예측 블록(265)을 획득하기 위해 인터 예측 파라미터에 기반하여 또는 이를 사용하여 인터 예측을 수행하도록 구성된다. 움직임 보상 유닛에 의해 수행되는 움직임 보상은 움직임 추정에 의해 판정된 움직임/블록 벡터에 기반하여 예측 블록을 페치하는 것 또는 생성하는 것, 가능하게는 서브 픽셀 정밀도로 보간을 수행하는 것을 수반할 수 있다. 보간 필터링은 알려진 픽셀 샘플로부터 추가적인 픽셀 샘플을 생성할 수 있는바, 따라서 픽처 블록을 코딩하는 데에 사용될 수 있는 후보 예측 블록의 수를 잠재적으로 증가시킨다. 현재의 픽처 블록의 PU를 위한 움직임 벡터를 수신하는 때에, 움직임 보상 유닛은 움직임 벡터가 참조 픽처 리스트 중 하나에서 가리키는 예측 블록의 위치를 파악할 수 있다.
움직임 보상 유닛은 비디오 슬라이스(video slice)의 픽처 블록을 디코딩하는 데에서의 비디오 디코더(30)에 의한 사용을 위해 블록 및 비디오 슬라이스와 연관된 구문 요소를 또한 생성할 수 있다.
엔트로피 코딩
엔트로피 인코딩 유닛(270)은, 예를 들어, 엔트로피 인코딩 알고리즘 또는 방안(가령 가변 길이 코딩(Variable Length Coding: VLC) 방안, 콘텍스트 적응적 VLC 방안(Context Adaptive VLC scheme: CAVLC), 산술적 코딩(arithmetic coding) 방안, 이진화(binarization), 콘텍스트 적응적 이진 산술적 코딩(Context Adaptive Binary Arithmetic Coding: CABAC), 구문 기반 콘텍스트 적응적 이진 산술 코딩(Syntax-based context-adaptive Binary Arithmetic Coding: SBAC), 확률 간격 구획 엔트로피(Probability Interval Partitioning Entropy: PIPE) 코딩 또는 다른 엔트로피 인코딩 방법론 또는 기법)을, 또는 바이패스(bypass)(어떤 압축도 없음)를 양자화된 계수(209), 인터 예측 파라미터, 인트라 예측 파라미터, 루프 필터 파라미터 및/또는 다른 구문 요소에 적용하여, 가령 인코딩된 비트스트림(21)의 형태로, 출력부(272)를 통해 출력될 수 있는 인코딩된 픽처 데이터(21)를 획득하도록 구성되어서, 가령, 비디오 디코더(30)가 디코딩을 위해 파라미터를 수신하고 사용할 수 있다. 인코딩된 비트스트림(21)은 비디오 디코더(30)에 송신되거나, 비디오 디코더(30)에 의한 나중의 송신 또는 인출을 위해 메모리에 저장될 수 있다.
비디오 스트림을 인코딩하기 위해 비디오 인코더(20)의 다른 구조적 변형이 사용될 수 있다. 예를 들어, 비변환(non-transform) 기반 인코더(20)는 어떤 블록 또는 프레임을 위해 변환 처리 유닛(206) 없이 직접적으로 잔차 신호를 양자화할 수 있다. 다른 구현에서, 인코더(20)는 단일 유닛으로 조합된 양자화 유닛(208) 및 역양자화 유닛(210)을 가질 수 있다.
디코더 및 디코딩 방법
도 3은 이 본 출원의 기법을 구현하도록 구성된 비디오 인코더(30)의 예를 도시한다. 비디오 디코더(30)는 디코딩된 픽처(331)를 획득하기 위해, 가령 인코더(20)에 의해 인코딩된, 인코딩된 픽처 데이터(21)(가령 인코딩된 비트스트림(21))를 수신하도록 구성된다. 인코딩된 픽처 데이터 또는 비트스트림은 인코딩된 픽처 데이터를 디코딩하기 위한 정보, 가령 인코딩된 비디오 슬라이스의 픽처 블록을 나타내는 데이터 및 연관된 구문 요소를 포함한다.
도 3의 예에서, 디코더(30)는 엔트로피 디코딩 유닛(304), 역양자화 유닛(310), 역변환 처리 유닛(312), 재구성 유닛(314)(가령 합산기(314)), 루프 필터(320), 디코딩된 픽처 버퍼(Decoded Picture Buffer: DBP)(330), 인터 예측 유닛(344) 및 인트라 예측 유닛(354)을 포함한다. 인터 예측 유닛(344)은 움직임 보상 유닛이거나 이를 포함할 수 있다. 비디오 디코더(30)는, 몇몇 예에서, 도 2로부터 비디오 인코더(100)에 관해서 기술된 인코딩 패스(encoding pass)에 일반적으로 상반된(reciprocal) 디코딩 패스(decoding pass)를 수행할 수 있다.
인코더(20)에 대해서 설명된 바와 같이, 역양자화 유닛(210), 역변환 처리 유닛(212), 재구성 유닛(214), 루프 필터(220), 디코딩된 픽처 버퍼(Decoded Picture Buffer: DPB)(230), 인터 예측 유닛(344) 및 인트라 예측 유닛(354)은 또한 비디오 인코더(20)의 "내장형 디코더"(built-in decoder)를 형성하는 것으로 지칭된다. 이에 따라, 역양자화 유닛(310)은 기능에 있어서 역양자화 유닛(110)과 동일할 수 있고, 역변환 처리 유닛(312)은 기능에 있어서 역변환 처리 유닛(212)과 동일할 수 있고, 재구성 유닛(314)은 기능에 있어서 재구성 유닛(214)과 동일할 수 있고, 루프 필터(320)는 기능에 있어서 루프 필터(220)와 동일할 수 있고, 디코딩된 픽처 버퍼(330)는 기능에 있어서 디코딩된 픽처 버퍼(230)와 동일할 수 있다. 따라서, 비디오(20) 인코더의 각자의 유닛 및 기능을 위해 제공된 설명은 상응하여 비디오 디코더(30)의 각자의 유닛 및 기능에 적용된다.
엔트로피 디코딩
엔트로피 디코딩 유닛(304)은 비트스트림(21)(또는 일반적으로 인코딩된 픽처 데이터(21))을 파싱하고(parse), 예를 들어, 인코딩된 픽처 데이터(21)에 대해 엔트로피 디코딩을 수행하여, 가령, 양자화된 계수(309) 및/또는 디코딩된 코딩 파라미터(도 3에서 도시되지 않음), 가령 인터 예측 파라미터(가령 참조 픽처 인덱스 및 움직임 벡터), 인트라 예측 파라미터(가령 인트라 예측 모드 또는 인덱스), 변환 파라미터, 양자화 파라미터, 루프 필터 파라미터 및/또는 다른 구문 요소 중 임의의 것 또는 전부를 획득하도록 구성된다. 엔트로피 디코딩 유닛(304)은 인코더(20)의 엔트로피 인코딩 유닛(270)에 대해서 기술된 바와 같은 인코딩 방안에 대응하는 디코딩 알고리즘 또는 방안을 적용하도록 구성될 수 있다. 엔트로피 디코딩 유닛(304)은 인터 예측 파라미터, 인트라 예측 파라미터 및/또는 다른 구문 요소를 모드 선택 유닛(360)에, 그리고 다른 파라미터를 디코더(30)의 다른 유닛에 제공하도록 또한 구성될 수 있다. 비디오 디코더(30)는 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨에서 구문 요소를 수신할 수 있다.
역양자화
역양자화 유닛(310)은 양자화 파라미터(Quantization Parameter: QP)(또는 일반적으로 역양자화에 관련된 정보) 및 양자화된 계수를 인코딩된 픽처 데이터(21)로부터 (가령 엔트로피 디코딩 유닛(304)에 의해, 가령 파싱하고/거나 디코딩함으로써) 수신하도록, 그리고 양자화해제된 계수(311)(이는 또한 변환 계수(311)로서 지칭될 수 있음)를 획득하기 위해 역양자화를 디코딩된 양자화된 계수(309)에 대해 양자화 파라미터에 기반하여 적용하도록 구성될 수 있다. 역양자화 프로세스는 양자화의 정도와, 마찬가지로, 적용되어야 하는 역양자화의 정도를 결정하기 위해 비디오 슬라이스 내의 각각의 비디오 블록에 대해 비디오 인코더(20)에 의해 결정된 양자화 파라미터의 사용을 포함할 수 있다.
역변환
역변환 처리 유닛(312)은 양자화해제된 계수(311)(또한 변환 계수(311)로서 지칭됨)를 수신하도록, 그리고 샘플 도메인에서 재구성된 잔차 블록(213)을 획득하기 위해서 변환을 양자화해제된 계수(311)에 적용하도록 구성될 수 있다. 재구성된 잔차 블록(213)은 또한 변환 블록(313)으로서 지칭될 수 있다. 변환은 역변환, 가령, 역 DCT, 역 DST, 역 정수 변환(inverse integer transform), 또는 개념적으로 유사한 역 변환 프로세스일 수 있다. 역변환 처리 유닛(312)은 양자화해제된 계수(311)에 적용될 변환을 결정하기 위해 변환 파라미터 또는 대응하는 정보를 인코딩된 픽처 데이터(21)로부터 (가령 엔트로피 디코딩 유닛(304)에 의해, 가령 파싱하고/거나 디코딩함으로써) 수신하도록 또한 구성될 수 있다.
재구성
재구성 유닛(314)(가령, 가산기 또는 합산기(314))은, 가령 재구성된 잔차 블록(313)의 샘플 값 및 예측 블록(365)의 샘플 값을 가산함으로써, 샘플 도메인에서 재구성된 블록(315)을 획득하기 위해 예측 블록(365)에, 재구성된 잔차 블록(313)을 가산하도록 구성될 수 있다.
필터링
루프 필터 유닛(320)(코딩 루프 내에서든 또는 코딩 루프 후에든)은 필터링된 블록(321)을 획득하기 위해, 가령 픽셀 전이를 평활화하거나, 그렇지 않으면 비디오 품질을 개선하기 위해, 재구성된 블록(315)을 필터링하도록 구성된다. 루프 필터 유닛(320)은 하나 이상의 루프 필터, 예를 들면 블록해제 필터, 샘플 적응적 오프셋(Sample-Adaptive Offset: SAO) 필터 또는 하나 이상의 다른 필터, 가령 쌍방 필터, 적응적 루프 필터(Adaptive Loop Filter: ALF), 첨예화, 평활화 필터 또는 협력 필터, 또는 이의 임의의 조합을 포함할 수 있다. 비록 루프 필터 유닛(320)이 루프 필터인 것으로서 도 3에 도시되나, 다른 구성에서, 루프 필터 유닛(320)은 포스트 루프 필터로서 구현될 수 있다.
디코딩된 픽처 버퍼
픽처의 디코딩된 비디오 블록(321)은 이후에, 각각 디스플레이 출력을 위한 및/또는 다른 픽처를 위한 차후의 움직임 보상을 위한 참조 픽처로서 디코딩된 픽처(331)를 저장하는 디코딩된 픽처 버퍼(330) 내에 저장된다.
디코더(30)는 사용자에게의 제시 또는 열람을 위해, 가령 출력부(312)를 통해, 디코딩된 픽처(311)를 출력하도록 구성된다.
예측
인터 예측 유닛(344)은 인터 예측 유닛(244)과(특히 움직임 보상 유닛과) 동일할 수 있고 인트라 예측 유닛(354)은 기능에 있어서 인터 예측 유닛(254)과 동일할 수 있고, (가령 엔트로피 디코딩 유닛(304)에 의해, 가령 파싱하고/거나 디코딩함으로써) 인코딩된 픽처 데이터(21)로부터 수신된 구획 및/또는 예측 파라미터 또는 각자의 정보에 기반하여 분할 또는 구획 판단 및 예측을 수행한다. 모드 선택 유닛(360)은 예측 블록(365)을 획득하기 위해, 재구성된 픽처, 블록 또는 각자의 샘플(필터링됨 또는 필터링되지 않음)에 기반하여 블록당 예측(인트라 또는 인터 예측)을 수행하도록 구성될 수 있다.
비디오 슬라이스가 인트라 코딩된(I) 슬라이스로서 코딩된 경우에, 모드 선택 유닛(360)의 인트라 예측 유닛(354)은 현재의 픽처의 이전에 디코딩된 블록으로부터의 데이터 및 시그널링된 인트라 예측 모드에 기반하여 현재의 비디오 슬라이스의 픽처 블록을 위한 예측 블록(365)을 생성할 수 있다. 비디오 프레임이 인터 코딩된(즉, B, 또는 P) 슬라이스로서 코딩된 경우에, 모드 선택 유닛(360)의 인터 예측 유닛(344)(가령 움직임 보상 유닛)은 엔트로피 디코딩 유닛(304)으로부터 수신된 움직임 벡터 및 다른 구문 요소에 기반하여 현재의 비디오 슬라이스의 비디오 블록을 위한 예측 블록(365)을 산출하도록 구성된다. 인터 예측을 위해, 예측 블록은 참조 픽처 리스트 중 하나 내의 참조 픽처 중 하나로부터 산출될 수 있다. 비디오 디코더(30)는 DPB(330) 내에 저장된 참조 픽처에 기반하여 디폴트(default) 구성 기법을 사용하여, 참조 프레임 리스트인 리스트 0 및 리스트 1을 구성할 수 있다.
모드 선택 유닛(360)은 움직임 벡터 및 다른 구문 요소를 파싱함으로써 현재의 비디오 슬라이스의 비디오 블록을 위한 예측 정보를 판정하고, 디코딩되고 있는 현재의 비디오 블록을 위하여 예측 블록을 산출하는 데에 예측 정보를 사용한다. 예를 들어, 모드 선택 유닛(360)은 수신된 구문 요소 중 몇몇을 사용하여, 비디오 슬라이스의 비디오 블록을 코딩하는 데에 사용되는 예측 모드(가령, 인트라 또는 인터 예측), 인터 예측 슬라이스 타입(가령, B 슬라이스, P 슬라이스, 또는 GPB 슬라이스), 슬라이스를 위한 참조 픽처 리스트 중 하나 이상을 위한 구성 정보, 슬라이스의 각각의 인터 인코딩된 비디오 블록을 위한 움직임 벡터, 슬라이스의 각각의 인터 코딩된 비디오 블록을 위한 인터 예측 상태 및 다른 정보를 판정하여 현재의 비디오 슬라이스 내의 비디오 블록을 디코딩한다.
인코딩된 픽처 데이터(21)를 디코딩하기 위해 비디오 디코더(30)의 다른 변형이 사용될 수 있다. 예를 들어, 디코더(30)는 루프 필터링 유닛(320) 없이 출력 비디오 스트림을 산출할 수 있다. 예를 들어, 비변환 기반 디코더(30)는 어떤 블록 또는 프레임을 위해 역변환 처리 유닛(312) 없이 직접적으로 잔차 신호를 역양자화할 수 있다. 다른 구현에서, 비디오 디코더(30)는 단일 유닛으로 조합된 역양자화 유닛(310) 및 역변환 유닛(312)을 가질 수 있다.
도 4는 개시의 실시예에 따른 비디오 코딩 디바이스(400)의 개략도이다. 비디오 코딩 디바이스(400)는 본 문서에 기술된 바와 같은 개시된 실시예를 구현하기에 적합하다. 실시예에서, 비디오 코딩 디바이스(400)는 도 1a의 비디오 디코더(30)와 같은 디코더 또는 도 1a의 비디오 인코더(20)와 같은 인코더일 수 있다.
비디오 코딩 디바이스(400)는 유입 포트(ingress port)(410)(또는 입력 포트(410)) 및 수신기 유닛(receiver unit)(Rx)(420)(데이터를 수신하기 위함); 데이터를 처리하는 프로세서, 로직 유닛, 또는 중앙 처리 유닛(Central Processing Unit: CPU)(430); 데이터를 송신하기 위한 송신기 유닛(transmitter unit)(Tx)(440) 및 유출 포트(egress port)(450)(또는 출력 포트(450)); 및 데이터를 저장하기 위한 메모리(460)를 포함한다. 비디오 코딩 디바이스(400)는 광학 또는 전기 신호의 유출 또는 유입을 위해 유입 포트(410), 수신기 유닛(420), 송신기 유닛(440) 및 유출 포트(450)에 커플링된 광학 대 전기(Optical-to-Electrical: OE) 컴포넌트 및 전기 대 광학(Electrical-to-Optical: EO) 컴포넌트를 또한 포함할 수 있다.
프로세서(430)는 하드웨어 및 소프트웨어에 의해 구현된다. 프로세서(430)는 하나 이상의 CPU 칩, 코어(가령, 다중 코어 프로세서(multi-core processor)로서), FPGA, ASIC 및 DSP로서 구현될 수 있다. 프로세서(430)는 유입 포트(410), 수신기 유닛(420), 송신기 유닛(440), 유출 포트(450) 및 메모리(460)와의 통신이 된다. 프로세서(430)는 코딩 모듈(470)을 포함한다. 코딩 모듈(470)은 위에서 기술된 개시된 실시예를 구현한다. 예를 들어, 코딩 모듈(470)은 다양한 코딩 동작을 구현하거나, 처리하거나, 준비하거나, 제공한다. 따라서 코딩 모듈(470)의 포함은 비디오 코딩 디바이스(400)의 기능에 실질적인 개선을 제공하고 상이한 상태로의 비디오 코딩 디바이스(400)의 변환을 초래한다. 대안적으로, 코딩 모듈(470)은 메모리(460) 내에 저장되고 프로세서(430)에 의해 실행되는 명령어로서 구현된다.
메모리(460)는 하나 이상의 디스크, 테이프 드라이브 및 솔리드 스테이트 드라이브(solid-state drive)를 포함할 수 있고, 프로그램이 실행을 위해 선택되는 경우에 그러한 프로그램을 저장하기 위해, 그리고 프로그램 실행 동안에 판독되는 명령어 및 데이터를 저장하기 위해, 과잉(over-flow) 데이터 저장 디바이스로서 사용될 수 있다. 메모리(460)는, 예를 들어, 휘발성 및/또는 비휘발성일 수 있고 판독전용 메모리(Read-Only Memory: ROM), 랜덤 액세스 메모리(Random Access Memory: RAM), 3진 콘텐트 주소지정가능 메모리(Ternary Content-Addressable Memory: TCAM) 및/또는 정적 랜덤 액세스 메모리(Static Random-Access Memory: SRAM)일 수 있다.
도 5는 예시적인 실시예에 따라 도 1로부터의 소스 디바이스(12) 및 목적지 디바이스(14) 중 어느 한쪽으로서든 또는 양자 모두로서 사용될 수 있는 장치(500)의 단순화된 블록도이다. 장치(500)는 위에서 기술된 이 본 출원의 기법을 구현할 수 있다. 장치(500)는 여러 컴퓨팅 디바이스를 포함하는 컴퓨팅 시스템의 형태로 되거나, 단일 컴퓨팅 디바이스, 예를 들어, 모바일 전화, 태블릿 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터 및 유사한 것의 형태로 될 수 있다.
장치(500) 내의 프로세서(502)는 중앙 처리 유닛일 수 있다. 대안적으로, 프로세서(502)는 지금 존재하거나 이후에 개발되는 정보를 조작하거나 처리하는 것이 가능한 임의의 다른 타입의 디바이스, 또는 여러 디바이스일 수 있다. 비록 개시된 구현은 도시된 바와 같은 단일 프로세서, 가령, 프로세서(502)로써 실시될 수 있으나, 하나보다 많은 프로세서를 사용하여 속도 및 효율에서의 이점이 달성될 수 있다.
장치(500) 내의 메모리(504)는 구현에서 판독 전용 메모리(Read Only Memory: ROM) 디바이스 또는 랜덤 액세스 메모리(Random Access Memory: RAM) 디바이스일 수 있다. 임의의 다른 적합한 타입의 저장 디바이스가 메모리(504)로서 사용될 수 있다. 메모리(504)는 버스(512)를 사용하여 프로세서(502)에 의해 액세스되는 코드 및 데이터(506)를 포함할 수 있다. 메모리(504)는 운영 체제(508) 및 애플리케이션 프로그램(510)을 더 포함할 수 있는데, 애플리케이션 프로그램(510)은 프로세서(502)로 하여금 여기에 기술된 방법을 수행하도록 허용하는 적어도 하나의 프로그램을 포함한다. 예를 들어, 애플리케이션 프로그램(510)은 애플리케이션 1 내지 N을 포함하는데, 이는 여기에 기술된 방법을 수행하는 비디오 코딩 애플리케이션을 더 포함한다. 장치(500)는, 예를 들어, 모바일 컴퓨팅 디바이스와 사용되는 메모리 카드일 수 있는 부차적인 스토리지(514)의 형태로 된 추가적인 메모리를 또한 포함할 수 있다. 비디오 통신 세션이 상당한 양의 정보를 포함할 수 있기 때문에, 그것은 부차적인 스토리지(514) 내에 전체로 또는 부분적으로 저장되고 처리를 위해 필요에 따라 메모리(504) 내에 로딩될(loaded) 수 있다.
장치(500)는 하나 이상의 출력 디바이스, 예를 들면 디스플레이(518)를 또한 포함할 수 있다. 디스플레이(518)는, 하나의 예에서, 디스플레이를, 터치 입력을 센싱하도록(sense) 동작가능한 터치 감응 요소(touch sensitive element)와 조합하는 터치 감응 디스플레이일 수 있다. 디스플레이(518)는 버스(512)를 통해 프로세서(502)에 커플링될 수 있다. 사용자로 하여금 장치(500)를 프로그래밍하거나 달리 사용하도록 허용하는 다른 출력 디바이스가 디스플레이(518)에 더하여 또는 이에 대한 대안으로서 제공될 수 있다. 출력 디바이스가 디스플레이이거나 이를 포함하는 경우에, 디스플레이는 액정 디스플레이(Liquid Crystal Display: LCD), 음극선관(Cathode-Ray Tube: CRT) 디스플레이, 플라즈마 디스플레이 또는 발광 다이오드(Light Emitting Diode: LED) 디스플레이, 예를 들면 유기 LED(Organic LED: OLED) 디스플레이에 의해서를 비롯하여, 다양한 방식으로 구현될 수 있다.
장치(500)는 이미지 센싱 디바이스(520), 예를 들어 카메라, 또는 장치(500)를 동작하는 사용자의 이미지와 같은 이미지를 센싱할 수 있는 지금 존재하거나 이후에 개발되는 임의의 다른 이미지 센싱 디바이스(520)를 또한 포함하거나 이와의 통신이 될 수 있다. 이미지 센싱 디바이스(520)는 그것이 장치(500)를 동작하는 사용자를 향해 지향되도록 위치될 수 있다. 예에서, 이미지 센싱 디바이스(520)의 위치 및 광학 축은 시야(field of vision)가 영역(이는 디스플레이(518)에 직접적으로 인접하고 이로부터 디스플레이(518)가 가시적임)을 포함하도록 구성될 수 있다.
장치(500)는 소리 센싱 디바이스(sound sensing device)(522), 예를 들어 마이크(microphone), 또는 장치(500) 근처의 소리를 센싱할 수 있는 지금 존재하거나 이후에 개발되는 임의의 다른 소리 센싱 디바이스를 또한 포함하거나 이와의 통신이 될 수 있다. 소리 센싱 디바이스(522)는 그것이 장치(500)를 동작하는 사용자를 향해 지향되도록 위치될 수 있고 사용자가 장치(500)를 동작하는 동안 사용자가 내는 소리, 예를 들어, 발화(speech) 또는 다른 발성(utterance)을 수신하도록 구성될 수 있다.
비록 도 5는 장치(500)의 프로세서(502) 및 메모리(504)를 단일 유닛 내에 통합된 것으로서 묘사하나, 다른 구성이 활용될 수 있다. 프로세서(502)의 동작은 직접적으로 또는 로컬 영역 또는 다른 네트워크를 가로질러 커플링될 수 있는 여러 머신(각각의 머신은 프로세서 중 하나 이상을 가짐)에 걸쳐서 분산될 수 있다. 메모리(504)는 장치(500)의 동작을 수행하는 여러 머신 내의 메모리 또는 네트워크 기반 메모리와 같이 여러 머신에 걸쳐서 분산될 수 있다. 비록 단일 버스로서 여기에 묘사되나, 장치(500)의 버스(512)는 여러 버스로 구성될 수 있다. 또한, 부차적인 스토리지(514)는 장치(500)의 다른 컴포넌트에 직접적으로 커플링될 수 있거나 네트워크를 통해 액세스될 수 있고 메모리 카드와 같은 단일의 통합된 유닛 또는 여러 메모리 카드와 같은 여러 유닛을 포함할 수 있다. 그러므로 장치(500)는 매우 다양한 구성으로 구현될 수 있다.
두문자 및 용어집의 정의
JEM Joint Exploration Model(합동 탐색 모델) (장래의 비디오 코딩 탐색을 위한 소프트웨어 코드베이스(codebase))
JVET
Joint Video Experts Team(합동 비디오 전문가 팀)
LUT
Look-Up Table(룩업 테이블)
QT
QuadTree(쿼드트리)
QTBT
QuadTree plus Binary Tree(쿼드트리 더하기 이진 트리)
RDO
Rate-distortion Optimization(레이트-왜곡 최적화)
ROM
Read-Only Memory(판독 전용 메모리)
VTM
VVC Test Model(VVC 테스트 모델)
VVC
Versatile Video Coding(다용도 비디오 코딩), JVET에 의해 개발된 표준화 프로젝트.
CTU / CTB
Coding Tree Unit(코딩 트리 유닛) / Coding Tree Block(코딩 트리 블록)
CU / CB
Coding Unit(코딩 유닛) / Coding Block(코딩 블록)
PU / PB
Prediction Unit(예측 유닛) / Prediction Block(예측 블록)
TU/TB
Transform Unit(변환 유닛) / Transform Block(변환 블록)
HEVC
High Efficiency Video Coding(고효율 비디오 코딩)
H.264/AVC 및 HEVC와 같은 비디오 코딩 방안은 블록 기반 하이브리드 비디오 코딩의 성공적인 원리를 따라 설계된다. 이 원리를 사용하여 픽처는 우선 블록으로 구획되고 이후에 각각의 블록은 인트라 픽처 또는 인터 픽처 예측을 사용함으로써 예측된다.
H.261 이래로 몇 개의 비디오 코딩 표준은 "손실성 하이브리드 비디오 코덱"의 그룹에 속한다(즉 변환 도메인에서 양자화를 적용하기 위한 2D 변환 코딩 및 샘플 도메인에서의 공간적 및 시간적 예측을 조합함). 비디오 시퀀스의 각각의 픽처는 전형적으로 비중첩 블록의 세트로 구획되고 코딩은 전형적으로 블록 레벨에 대해 수행된다. 다시 말해, 인코더에서 비디오는 전형적으로, 블록(픽처 블록) 레벨에 대해, 가령 예측 블록을 생성하기 위해 공간적(인트라 픽처) 예측 및/또는 시간적(인터 픽처) 예측을 사용하고, 잔차 블록을 획득하기 위해 현재의 블록(현재 처리되는/처리될 블록)으로부터 예측 블록을 차감하고, 잔차 블록을 변환하고 변환 도메인에서 잔차 블록을 양자화하여 송신될 데이터의 양을 감소시킴(압축)으로써, 처리되는, 즉 인코딩되는 반면, 디코더에서 인코더에 대비되는 역 처리는 인코딩된 또는 압축된 블록에 부분적으로 적용되어 표현을 위한 현재의 블록을 재구성한다. 나아가, 인코더는 디코더 처리 루프를 모사하여서 양자 모두가 차후의 블록을 처리하기, 즉 코딩하기 위해 동일한 예측(가령 인트라 및 인터 예측) 및/또는 재구성을 생성할 것이다.
본 문서에서 사용되는 바와 같이, 용어 "블록"은 픽처 또는 프레임의 일부분일 수 있다. 설명의 편의를 위해, 고효율 비디오 코딩(High-Efficiency Video Coding: HEVC)에 대한 또는 (ITU-T 비디오 코딩 전문가 그룹(Video Coding Experts Group: VCEG) 및 ISO/IEC 동화상 전문가 그룹(Moving Picture Experts Group: MPEG)의 비디오 코딩 합동 협력 팀(Joint Collaboration Team on Video Coding: JCT-VC)에 의해 개발된 다용도 비디오 코딩(Versatile Video Coding: VVC)의 참조 소프트웨어에 대한 참조에 의해 발명의 실시예가 본 문서에 기술된다. 통상의 기술자는 발명의 실시예가 HEVC 또는 VVC에 한정되지 않음을 이해할 것이다. 그것은 CU, PU 및 TU를 지칭할 수 있다. HEVC에서, CTU는 코딩 트리로서 표기된 쿼드 트리 구조를 사용함으로써 CU로 분할될 수 있다. 인터 픽처(시간적) 또는 인트라 픽처(공간적) 예측을 사용하여 픽처 영역을 코딩할 것인지의 판단은 CU 레벨에서 행해진다. 각각의 CU는 PU 분할 타입에 따라 하나, 2개 또는 4개의 PU로 더 분할될 수 있다. 하나의 PU 내부에, 동일한 예측 프로세스가 적용되고 관련 정보가 PU별로 디코더에 송신된다. PU 분할 타입에 기반하여 예측 프로세스를 적용함으로써 잔차 블록을 획득한 후에, CU는 CU를 위한 코딩 트리와 유사하게 다른 쿼드트리 구조에 따라 변환 유닛(Transform Unit: TU)으로 구획될 수 있다. 비디오 압축 기술의 최신의 개발에서, 코딩 블록을 구획하는 데에 쿼드 트리 및 이진 트리(Quad-Tree and Binary Tree: QTBT) 구획이 사용된다. QTBT 블록 구조에서, CU는 정사각형 형상이든 또는 직사각형 형상이든 가질 수 있다. 예를 들어, 쿼드트리 구조에 의해 코딩 트리 유닛(Coding Tree Unit: CTU)이 우선 구획된다. 쿼드트리 리프 노드는 이진 트리 구조에 의해 더 구획된다. 이진 트리 리프 노드는 코딩 유닛(Coding Unit: CU)으로 칭해지고, 해당 분절은 어떤 추가의 구획도 없이 예측 및 변환 처리를 위해 사용된다. 이것은 CU, PU 및 TU가 QTBT 코딩 블록 구조에서 동일한 블록 크기를 갖는다는 것을 의미한다. 병행하여, 다중 구획, 예를 들어, 3중 트리 구획이 QTBT 블록 구조와 함께 사용될 것이 또한 제안되었다.
ITU-T VCEG(Q6/16) 및 ISO/IEC MPEG(JTC 1/SC 29/WG 11)은 현재의 HEVC 표준(스크린 콘텐트 코딩 및 고 동적 범위 코딩을 위한 그것의 현재의 확장 및 근일의 확장을 포함함)의 압축 능력을 상당히 초과하는 압축 능력을 가진 장래의 비디오 코딩 기술의 표준화에 대한 잠재적 필요성을 연구하고 있다. 그 그룹은 이 영역에서 그들의 전문가에 의해 제안된 압축 기술 설계를 평가하기 위해 합동 비디오 탐색 팀(Joint Video Exploration Team: JVET)으로 알려진 합동 협력 노력으로 이 탐색 활동에 대해 함께 작업하고 있다.
방향성 인트라 예측을 위해, 대각선 위(diagonal-up)로부터 대각선 아래(diagonal-down)로 상이한 예측 각도를 나타내는 인트라 예측 모드가 이용가능하다. 예측 각도의 정의를 위해, 32 샘플 그리드 상의 오프셋 값 pang가 정의된다. 대응하는 인트라 예측 모드에의 p ang의 연관은 수직 예측 모드를 위해 도 6에서 시각화된다. 수평 예측 모드를 위해 방안은 수직 방향으로 뒤집히고(flipped) p ang 값이 이에 따라 할당된다. 위에서 언명된 바와 같이, 모든 각도성 예측 모드(angular prediction mode)는 모든 적용가능한 인트라 예측 블록 크기를 위해 이용가능하다. 그것은 모두 예측 각도의 정의를 위해 동일한 32 샘플 그리드(32-sample grid)를 사용한다. 도 6에서의 32 샘플 그리드 상에서의 p ang 값의 분포는 수직 방향 주위의 예측 각도의 증가된 해상도 및 대각선 방향을 향한 예측 각도의 더 조야한 해상도를 드러낸다. 수평 방향도 마찬가지이다. 이 설계는 수많은 비디오 콘텐트에서, 근사적으로 수평적 및 수직적 구조가 대각선 구조에 비해 중요한 역할을 한다는 관측으로부터 유래한다.
수평 및 수직 예측 방향에 있어서, 예측을 위해 사용될 샘플의 선택은 직통인 반면, 이 작업은 각도성 예측의 경우에 더 많은 노력을 요구한다. 모드 11 내지 모드 25에 대해, 각도성 방향(angular direction)에서 (또한 주 참조 측면 으로서 알려진) 예측 샘플 p ref의 세트로부터 현재의 블록 Bc를 예측하는 경우에, p ref의 수직 및 수평 부분 양자 모두의 샘플이 수반될 수 있다. p ref의 분기(branch) 중 어느 쪽 상에서의 각 샘플의 위치의 판정이든 어떤 계산상 노력을 요구하므로, 통일된 1차원 예측 참조가 HEVC 인트라 예측을 위해 설계되었다. 방안은 도 7에 시각화된다. 실제의 예측 동작을 수행하기 전에, 참조 샘플 p ref의 세트는 1차원 벡터 p 1,ref에 맵핑된다. 맵핑을 위해 사용되는 투영(projection)은 각자의 인트라 예측 모드의 인트라 예측 각도에 의해 표시되는 방향에 의존한다. 예측을 위해 사용될 p ref의 부분으로부터의 참조 샘플만이 p 1,ref에 맵핑된다. 각각의 각도성 예측 모드를 위한 p 1,ref로의 참조 샘플의 실제의 맵핑은 각각 수평 및 수직 각도성 예측 방향에 대해 도 8 및 도 9에 묘사된다. 참조 샘플 세트 p 1,ref는 피예측 샘플의 블록에 대해 한 번 구성된다. 예측은 이후에 아래에서 상세화된 바와 같은 세트 내의 2개의 이웃하는 참조 샘플로부터 도출된다. 도 8 및 도 9로부터 볼 수 있는 바와 같이 1차원 참조 샘플 세트는 모든 인트라 예측 모드에 대해 완전히 채워지지 않는다. 대응하는 인트라 예측 방향을 위한 투영 범위 내에 있는 위치만이 세트 내에 포함된다.
수평 및 수직 예측 모드 양자 모두를 위한 예측은 블록의 x 및 y 좌표를 교환하는 것만으로써 동일한 방식으로 수행된다. p 1,ref로부터의 예측은 1/32-화소 정확도로 수행된다. 각도 파라미터 pang의 값에 따라서, p 1,ref 내의 샘플 오프셋 i idx 및 위치 (x, y)에서의 샘플을 위한 가중화 인자(weighting factor) i fact가 결정된다. 여기에서, 수직 모드를 위한 도출이 제공된다. 수평 모드를 위한 도출이 이에 따라 뒤잇는바, x 및 y를 교환한다.
만일 ifact가 0과 같지 않은 경우, 즉 예측이 p1,ref 내의 온전한(full) 샘플 위치 상에 정확히 이르지 않는 경우, p 1,ref 내의 2개의 이웃하는 샘플 위치 간의 선형 가중화(linear weighting)는 으로서 수행되는데, 0≤x, y<Nc이다. i idx 및 i fact의 값은 오직 y에 의존할 뿐이며 따라서 오직 (수직 예측 모드에 대해) 행당 한 번 계산될 필요가 있을 뿐임에 유의하여야 한다.
VTM-1.0(Versatile Test Model(다용도 테스트 모델))은 35개의 인트라 모드를 사용하는 반면에 BMS(Benchmark Set(벤치마크 세트))는 67개의 인트라 모드를 사용한다. 인트라 예측은 오직 주어진 프레임만이 수반될 수 있는 경우에 압축 효율을 증가시키기 위해 많은 비디오 코딩 프레임워크에서 사용되는 메커니즘이다.
도 10a는, 가령, VVC를 위해 제안된 바와 같은, 67개의 인트라 예측 모드의 예를 도시하는데, 67개의 인트라 예측 모드 중의 복수의 인트라 예측 모드는, 평면성 모드(인덱스 0), dc 모드(인덱스 1) 및 인덱스가 2 내지 66인 각도성 모드를 포함하되, 도 10a에서의 좌측 최하부 각도성 모드는 인덱스 2를 가리키고 인덱스의 번호매기기는 인덱스 66이 도 10a의 최상부 최우측 각도성 모드일 때까지 점증된다(incremented).
도 10b에 도시된 바와 같이, VVC의 최신 버전은 (점선으로서 도시된) 광각도(wide angle) 모드를 포함하여, 경사진(skew) 인트라 예측 방향에 대응하는 몇몇 모드를 갖는다. 이들 모드 중 임의의 것에 대해, 만일 블록 측면 내의 대응하는 위치가 분수부인 경우, 이웃하는 참조 샘플의 세트의 블록 보간 내의 샘플을 예측하는 것이 수행되어야 한다. HEVC 및 VVC는 2개의 인접한 참조 샘플 간의 선형 보간을 사용한다. JEM은 더 복잡한 4 탭 보간 필터를 사용한다. 폭 또는 높이 값에 따라서 필터 계수가 가우시안(Gaussian) 또는 큐빅(Cubic) 어느 쪽의 것으로서든 선택된다. 폭 또는 높이를 사용할 것인지에 대한 판단은 주 참조 측면 선택에 대한 판단과 조화된다: 인트라 예측 모드가 대각선 모드보다 더 크거나 같은 경우에, 참조 샘플의 최상부 측면이 주 참조 측면인 것으로 선택되고 사용에서의 보간 필터를 결정하기 위해 폭 값이 선택된다. 그렇지 않으면, 주 측면 참조가 블록의 좌측 측면으로부터 선택되고 높이가 필터 선택 프로세스를 제어한다. 구체적으로, 만일 선택된 측면 길이가 8 샘플보다 더 작거나 같은 경우, 큐빅 보간 4 탭이 적용된다. 그렇지 않으면, 보간 필터는 4 탭 가우시안인 것이다.
JEM에서 사용되는 구체적인 필터 계수가 표 1에 주어진다. 피예측 샘플은 다음과 같이 서브픽셀 오프셋 및 필터 타입에 따라 표 1로부터 선택된 계수와 콘볼루션함(convoluting)으로써 계산된다:
이 식에서, "은 비트별 우측 천이(bitwise shift-right) 동작을 표시한다.
현재의 블록 내에서 예측될 샘플(또는 약칭으로 "피예측 샘플") 및 보간된 샘플 위치 간의 오프셋은 만일 오프셋이 1/32 픽셀과 같은 서브픽셀 해상도를 갖는 경우 정수 부분 및 비정수 부분을 가질 수 있다. 표 1에서는 물론, 표 2 및 표 3에서도, 열 "서브픽셀 오프셋"은 오프셋의 비정수 부분, 가령 분수부 오프셋(fractional offset), 오프셋의 분수부 부분, 또는 분수부 샘플 위치를 지칭한다.
만일 큐빅 필터가 선택된 경우, 피예측 샘플은 값의 허용된 범위에 더 클립핑되는데(clipped), 즉 SPS 내에 정의되거나 아니면 선택된 컴포넌트의 비트 깊이로부터 도출된다.
표 1. JEM에서 사용되는 인트라 예측 보간 필터
6 비트 정밀도를 갖는 보간 필터의 다른 세트가 표 2에 제시된다.
표 2: 6 비트 정밀도를 가진 보간 필터의 세트
인트라 예측되는 샘플은 다음과 같이 서브픽셀 오프셋 및 필터 타입에 따라 표 1로부터 선택된 계수와 콘볼루션함으로써 계산된다:
이 식에서, ""은 비트별 우측 천이 동작을 표시한다.
6 비트 정밀도를 갖는 보간 필터의 다른 세트가 표 3에 제시된다.
표 3: 6 비트 정밀도를 가진 보간 필터의 세트
도 11은 HEVC UIP 방안에서 사용되는 복수의 인트라 예측 모드의 개략도를 보여준다. 휘도 블록을 위해, 인트라 예측 모드는 최대 36개의 인트라 예측 모드를 포함할 수 있는데, 이는 3개의 비방향성 모드 및 33개의 방향성 모드를 포함할 수 있다. 비방향성 모드는 평면성 예측 모드, 평균 (DC) 예측 모드 및 루마로부터의 크로마 (LM) 예측 모드를 포함할 수 있다. 평면성 예측 모드는 블록의 경계로부터 도출된 수평 및 수직 기울기를 가진 블록 진폭 표면(block amplitude surface)을 가정함으로써 예측을 수행할 수 있다. DC 예측 모드는 블록 경계의 평균 값과 매칭되는 값을 가진 평평한 블록 표면을 가정함으로써 예측을 수행할 수 있다. LM 예측 모드는 블록을 위한 크로마 값이 블록을 위한 루마 값과 매칭됨을 가정함으로써 예측을 수행할 수 있다. 방향성 모드는 도 11에 도시된 바와 같은 인접한 블록에 기반하여 예측을 수행할 수 있다.
H.264/AVC 및 HEVC는 저역 통과 필터(low-pass filter)가 인트라 예측 프로세스에서 사용되기 전에 참조 샘플에 적용될 수가 있음을 명시한다. 참조 샘플 필터를 사용할 것인지 여부에 대한 판단은 인트라 예측 모드 및 블록 크기에 의해 결정된다. 이 메커니즘은 모드 의존적 인트라 평활화(Mode Dependent Intra Smoothing: MDIS)로서 지칭될 수 있다. MDIS에 관련된 복수의 방법이 또한 존재한다. 예를 들어, 적응적 참조 샘플 평활화(Adaptive Reference Sample Smoothing: ARSS) 방법은 예측 샘플이 필터링되는지를 명시적으로(즉 플래그(flag)가 비트스트림 내에 포함됨) 또는 묵시적으로(즉, 예를 들어, 시그널링 오버헤드를 감소시키기 위해 비트스트림 내에 플래그를 두는 것을 회피하기 위해 데이터 은닉(data hiding)이 사용됨) 시그널링할 수 있다. 이 경우에, 인코더는 모든 잠재적인 인트라 예측 모드에 대해 레이트-왜곡(Rate-Distortion: RD) 비용을 테스트함으로써 평활화에 대해 판단을 행할 수 있다.
도 10b에 도시된 바와 같이, VVC의 최신 버전은 경사진 인트라 예측 방향에 대응하는 몇몇 모드를 갖는다. 이들 모드 중 임의의 것에 대해, 만일 블록 측면 내의 대응하는 위치가 분수부인 경우, 이웃하는 참조 샘플의 세트의 블록 보간 내의 샘플을 예측하는 것이 수행되어야 한다. HEVC 및 VVC는 2개의 인접한 참조 샘플 간의 선형 보간을 사용한다. JEM은 더 복잡한 4 탭 보간 필터를 사용한다. 폭 또는 높이 값에 따라서 필터 계수가 가우시안 또는 큐빅 어느 쪽의 것으로서든 선택된다. 폭 또는 높이를 사용할 것인지에 대한 판단은 주 참조 측면 선택에 대한 판단과 조화된다: 인트라 예측 모드가 대각선 모드보다 더 크거나 같은 경우에, 참조 샘플의 최상부 측면이 주 참조 측면인 것으로 선택되고 사용에서의 보간 필터를 결정하기 위해 폭 값이 선택된다. 아니면, 주 측면 참조가 블록의 좌측 측면으로부터 선택되고 높이가 필터 선택 프로세스를 제어한다. 구체적으로, 만일 선택된 측면 길이가 8 샘플보다 더 작거나 같은 경우, 큐빅 보간 4 탭이 적용된다. 아니면, 보간 필터는 4 탭 가우시안인 것이다.
32x4 블록의 경우에 (45°로서 표기된) 대각선 모드보다 더 작은 모드와 더 큰 모드에 대한 보간 필터 선택의 예가 도 12에 도시된다.
VVC에서, 쿼드트리 및 이진 트리 양자 모두에 기반하고 QTBT로서 알려진 구획 메커니즘이 사용된다. 도 13에 묘사된 바와 같이, QTBT 구획은 정사각형뿐만 아니라 직사각형 블록도 제공할 수 있다. 물론, 인코더 측에서의 어떤 시그널링 오버헤드 및 증가된 계산상 복잡도는 HEVC/H.265 표준에서 사용되는 종래의 쿼드트리 기반 구획에 비해 QTBT 구획의 대가이다. 그럼에도 불구하고, QTBT 기반 구획은 더 나은 분절 속성을 부여받으며, 따라서, 종래의 쿼드트리보다 상당히 더 높은 코딩 효율을 보여준다.
그러나, VVC는 그것의 현재의 상태에서 참조 샘플의 양 측면 모두(좌측 및 최상부 측면)에 동일한 필터를 적용한다. 블록이 수직으로 또는 수평으로 배향되든지 간에, 참조 샘플 필터는 양 참조 샘플 측면 모두에 대해 동일할 것이다.
이 문서에서, 용어 "수직으로 배향된 블록"("블록의 수직 배향") 및 "수평으로 배향된 블록"("블록의 수평 배향")은 QTBT 프레임워크에 의해 생성된 직사각형 블록에 적용된다. 이들 용어는 도 14에 도시된 바와 동일한 의미를 갖는다.
양의 서브샘플 오프셋을 가진 방향성 인트라 예측 모드를 위해, 참조 샘플의 값을 저장하는 데에 사용되는 메모리 크기를 결정하는 것이 필요하다. 그러나, 이 크기는 피예측 샘플의 블록의 치수에 의존할 뿐만 아니라, 이들 샘플에 더 적용되는 처리에도 의존한다. 구체적으로, 양의 서브샘플 오프셋의 경우에 보간 필터링은 그것이 적용되지 않는 경우에 비해 주 참조 측면의 증가된 크기를 요구할 것이다. 보간 필터링은 참조 샘플을 필터 코어(filter core)와 콘볼루션함으로써 수행된다. 그러므로, 그 증가는 주 참조 측면의 최좌측 및 최우측 부분에 대한 콘볼루션 결과를 계산하기 위해 콘볼루션 동작이 요구하는 추가적인 샘플에 의해 야기된다.
아래에서 기술되는 단계를 사용함으로써 주 참조 측면의 크기를 결정하는 것, 그리고 따라서 주 참조 측면의 샘플을 저장하는 데에 요구되는 내부 메모리의 양을 감소시키는 것이 가능하다.
도 15a, 15b, 15c 내지 도 18은 주 참조 측면의 참조 샘플로부터의 블록의 인트라 예측의 몇몇 예를 도시한다. 피예측 샘플의 블록의 샘플의 각각의 행에 대해, (가능하게는 분수부) 서브픽셀 오프셋이 결정된다. 이 오프셋은 선택된 방향성 인트라 예측 모드 M 및 직교 인트라 예측 모드 Mo (HOR_IDX이든 또는 VER_IDX이든, 그것들 중 어느 것이 선택된 인트라 예측 모드에 더 가까운지에 따라서) 간의 차이에 따라서 정수 또는 비정수 값을 가질 수 있다.
표 4 및 표 5는 피예측 샘플의 제1 행을 위한 서브픽셀 오프셋의 가능한 값을 모드 차이에 따라서 나타낸다. 피예측 샘플의 다른 행을 위한 서브픽셀 오프셋은 제1 행 및 피예측 샘플의 행의 위치 간의 차이에 대해 서브픽셀 오프셋을 곱함으로써 획득된다.
표 4. 피예측 샘플의 제1 행을 위한 모드 차이에의 서브픽셀 오프셋의 의존성
표 5. 피예측 샘플의 제1 행을 위한 모드 차이에의 서브픽셀 오프셋의 의존성 (다른 예)
만일 표 4 또는 표 5가 최하부 우측의 피예측 샘플을 위해 서브픽셀 오프셋을 결정하는 데에 사용되는 경우, 도 15a에 도시된 바와 같이, 주 참조 측면 크기는 최대 또는 최대 서브픽셀 오프셋의 정수 부분, 피예측 샘플의 블록의 측면의 크기(즉 블록 측면 길이) 및 보간 필터의 길이의 절반(즉 보간 필터 길이의 절반)의 합과 같음이 주목되어야 한다.
이하의 단계는 서브픽셀 오프셋의 양의 값을 제공하는 선택된 방향성 인트라 예측 모드를 위해 주 참조 측면의 크기를 획득하기 위해 수행될 수가 있다.
1. 단계 1은 선택된 인트라 예측 모드의 인덱스에 기반하여 주 측면으로서 블록의 어떤 측면이 취해져야 하는지 및 주 참조 측면을 생성하는 데에 어떤 이웃 샘플이 사용되어야 하는지를 결정하는 데에 있다. 주 참조 측면은 현재의 블록 내의 샘플의 예측에서 사용되는 참조 샘플의 라인이다. "주 측면"은 주 참조 측면과 평행한 블록의 측면이다. 만일 (인트라 예측) 모드가 대각선 모드(가령 도 10a에 도시된 바와 같은, 모드 34)보다 더 크거나 같은 경우, 예측되고 있는 블록(또는 현재의 블록) 위의(최상부 상의) 이웃 샘플이 주 참조 측면을 생성하는 데에 사용되고 최상부 측면이 주 측면으로서 선택되며, 그렇지 않으면 예측되고 있는 블록의 좌측에의 이웃 샘플이 주 참조 측면을 생성하는 데에 사용되고 좌측 측면이 주 측면으로서 선택된다. 요컨대, 단계 1에서, 주 측면은 현재의 블록의 인트라 예측 모드에 기반하여 현재의 블록에 대해 결정된다. 주 측면에 기반하여, 참조 샘플((이의 일부 또는 전부가) 현재의 블록의 예측을 위해 사용됨)을 포함하는 주 참조 측면이 결정된다. 가령 도 15a에 도시된 바와 같이, 주 참조 측면은 주 (블록) 측면과 평행하나, 그것은 가령 블록 측면보다 더 길 수 있다. 다시 말해, 가령, 인트라 예측 모드가 주어지면, 현재의 블록의 각각의 샘플에 대해, 참조 샘플(가령 주 참조 측면 샘플) 중의 대응하는 참조 샘플(들)이 또한 주어진다.
2. 단계 2는 비-주 측면(non-main side)의 길이에 표 4 아니면 표 5로부터의 최대 값을 곱함(이 곱셈의 결과가 비정수 서브픽셀 오프셋을 나타내도록)으로써 계산되는 최대 서브픽셀 오프셋을 결정하는 데에 있다. 표 4 및 표 5는 현재의 블록의 샘플의 제1 라인 내의 샘플(최상부 측면이 주 측면으로서 선택되는 것에 대응하는, 샘플의 최상부 행이든, 또는 좌측 측면이 주로서 선택되는 것에 대응하는 샘플의 최좌측 열이든)에 대해서 서브픽셀 오프셋의 예시적인 값을 제공한다. 이에 따라, 표 4 및 표 5에 도시된 값은 샘플의 라인마다의 서브픽셀 오프셋에 대응한다. 그러므로, 전체 블록의 예측에서 발생하는 최대 오프셋은 이 라인당 값을 비-주 측면의 길이와 곱함으로써 획득된다. 구체적으로 이 예에서, 고정 소수점 해상도가 1/32 샘플이므로, 결과가 32의 배수이어서는 안 된다. 만일 비-주 참조 측면(non-main reference side)의 길이와의 (가령 표 4 또는 표 5로부터의) 임의의 라인당 값의 곱셈이 서브픽셀 오프셋의 정수 총계 값(integer total value)(즉 정수 개의 샘플)에 대응하는 32의 배수를 산출하는 경우, 이 곱셈 결과는 폐기된다. 비-주 측면은 단계 1에서 선택되지 않은 블록의 측면(최상부 측면이든 또는 좌측 측면이든)이다. 이에 따라, 비-주 측면의 길이는 만일 최상부 측면이 주 측면으로서 선택된 경우 현재의 블록의 폭이고, 비-주 측면의 길이는 만일 좌측 측면이 주 측면으로서 선택된 경우 현재의 블록의 높이이다.
3. 단계 3은 전술된 곱셈 결과에 대응하는 단계 2에서 획득된 서브픽셀 오프셋의 정수 부분을 취하되(즉 이진 표현에서 5만큼 우측 천이함으로써), 그것을 주 측면의 길이(각각 블록 폭 또는 블록 길이) 및 보간 필터의 길이의 절반과 합산하는데, 이는 주 참조 측면의 총계 값을 초래한다. 이에 따라, 주 참조 측면은, 서브픽셀 오프셋의 비정수 부분 내의 인접 샘플 및 보간 필터의 길이의 절반 내의 추가의 인접 샘플만큼 연장된, 주 참조 측면과 평행하고 길이가 같은 샘플의 라인을 포함한다. 보간은 서브픽셀 오프셋의 정수 부분의 길이 내의 샘플 및 서브픽셀 오프셋의 길이 너머에 위치된 동일한 양의 샘플 상에서 수행되기 때문에 보간 필터의 길이의 절반만이 요구된다.
본 개시의 다른 실시예에 따르면, 피예측 픽셀의 값을 획득하는 데에 사용되는 참조 샘플은 피예측 샘플의 블록에 인접하지 않는다. 인코더는 비트스트림(bitstream) 내에 오프셋 값을 시그널링할(signal) 수 있어서, 이 오프셋 값은 참조 샘플의 인접 라인 및 피예측 샘플의 값이 도출되는 참조 샘플의 라인 간의 거리를 표시한다(indicate).
도 24는 참조 샘플의 라인의 가능한 위치 및 ref_offset 변수의 대응하는 값을 나타낸다.
비디오 코덱(가령 비디오 인코더 또는 디코더)의 특정한 구현에서 오프셋의 값이 사용되는 예는 다음과 같다:
- 참조 샘플의 인접 라인을 사용함(ref_offset=0, 도 24에서 "참조 라인 0"에 의해 표기됨);
- (인접 라인에 가장 가까운) 제1 라인을 사용함(ref_offset=1, 도 24에서 "참조 라인 1"에 의해 표기됨);
- 제3 라인을 사용함(ref_offset=3, 도 24에서 "참조 라인 3"에 의해 표기됨).
변수 "ref_offset"은 추가로 사용되는 변수 "refIdx"와 동일한 의미를 갖는다. 다시 말해, 변수 "ref_offset" 또는 변수 "refIdx"는 참조 라인을 표시하는데, 예를 들어, ref_offset=0인 경우에, 그것은 (도 24에 도시된 바와 같은) "참조 라인 0"이 사용됨을 나타낸다.
방향성 인트라 예측 모드는 피예측 샘플의 2개의 인접한 라인 간의 서브픽셀 오프셋의 값을 지정한다(deltaPos). 이 값은 5 비트 정밀도(precision)를 갖는 고정 소수점 정수 값(fixed-point integer value)에 의해 표현된다. 예를 들어, deltaPos=32는 피예측 샘플의 두 인접 라인 간의 오프셋이 정확히 하나의 샘플임을 의미한다.
만일 인트라 예측 모드가 DIA_IDX(모드 #34)보다 더 큰 경우, 위에 기술된 예에 대해, 주 참조 측면 크기의 값은 다음과 같이 계산된다. 이용가능한(즉 피예측 샘플의 블록에 대해 인코더가 표시할 수 있음) 인트라 예측된 모드의 세트 중에서, DIA_IDX보다 더 크고 최대 deltaPos 값을 제공하는 모드가 고려된다. 참조 샘플 또는 보간된 샘플 위치 및 예측될 샘플 간의 요망되는 서브픽셀 오프셋의 값은 다음과 같이 도출된다: 블록 높이가 ref_offset과 합산되고 deltaPos 값이 곱해진다. 만일 결과가 0의 나머지와 함께 32로 나누어지는 경우, deltaPos의 다른 최대 값은 위에서 기술된 바와 같으나, 이전에 고려된 예측된 모드는 이용가능한 인트라 예측된 모드의 세트로부터 모드를 얻는 경우에 생략된다. 그렇지 않으면, 이 곱셈의 결과는 최대 비정수 서브픽셀 오프셋이라고 간주된다. 이 오프셋의 정수 부분은 그것을 우측으로 5비트만큼 천이함으로써 취해진다.
주 참조 측면의 크기는 (도 15a에 도시된 바와 같이) 최대 비정수 서브픽셀 오프셋의 정수 부분과, 피예측 샘플의 블록의 폭과, 보간 필터의 길이의 절반을 합산함으로써 획득된다.
그렇지 않으면, 만일 인트라 예측 모드가 DIA_IDX(모드 #34)보다 더 작은 경우, 위에 기술된 예에 대해, 주 참조 측면 크기의 값은 다음과 같이 계산된다. 이용가능한(즉 피예측 샘플의 블록에 대해 인코더가 표시할 수 있음) 인트라 예측된 모드의 세트 중에서, DIA_IDX보다 더 작고 최대 deltaPos 값을 제공하는 모드가 고려된다. 요망되는 서브픽셀 오프셋의 값은 다음과 같이 도출된다: 블록 폭이 ref_offset과 합산되고 deltaPos 값이 곱해진다. 만일 결과가 0의 나머지와 함께 32로 나누어지는 경우, deltaPos의 다른 최대 값은 위에서 기술된 바와 같으나, 이전에 고려된 예측된 모드는 이용가능한 인트라 예측된 모드의 세트로부터 모드를 얻는 경우에 생략된다. 그렇지 않으면, 이 곱셈의 결과는 최대 비정수 서브픽셀 오프셋이라고 간주된다. 이 오프셋의 정수 부분은 그것을 우측으로 5비트만큼 천이함으로써 취해진다. 주 참조 측면의 크기는 최대 비정수 서브픽셀 오프셋의 정수 부분과, 피예측 샘플의 블록의 높이와, 보간 필터의 길이의 절반을 합산함으로써 획득된다.
도 15a, 도 15b, 도 15C 내지 도 18은 주 참조 측면의 참조 샘플로부터의 블록의 인트라 예측의 몇몇 예를 도시한다. 피예측 샘플(1120)의 블록의 샘플의 각각의 행에 대해 분수부 서브픽셀 오프셋(1150)이 결정된다. 이 오프셋은 선택된 방향성 인트라 예측 모드 M 및 직교 인트라 예측 모드 Mo (HOR_IDX이든 또는 VER_IDX이든, 그것들 중 어느 것이 선택된 인트라 예측 모드에 더 가까운지에 따라서) 간의 차이에 따라서 정수 또는 비정수 값을 가질 수 있다.
최첨단 비디오 코딩 방법 및 이들 방법의 기존의 구현은 인트라 각도성 예측의 경우에 주 참조 측면의 크기는 대응하는 블록 측면의 배가된 길이로서 결정된다는 사실을 이용한다. 예를 들어, HEVC에서, 만일 인트라 예측 모드가 34보다 더 크거나 같으면(도 10a 또는 도 10b를 보시오), 주 참조 측면 샘플은 최상부 및 최상부 우측의 이웃하는 블록으로부터, 이들 블록이 이용가능한, 즉 이미 재구성되어 있으며 처리된 슬라이스 밖에 있지 않은 경우에, 취해진다. 사용되는 이웃하는 샘플의 총 수는 블록의 배가된 폭과 같게 설정된다. 유사하게, 만일 인트라 예측 모드가 34보다 작으면(도 10을 보시오), 주 참조 측면 샘플은 좌측 및 최하부 좌측의 이웃하는 블록으로부터 취해지되, 이웃하는 샘플의 총 수는 블록의 배가된 높이와 같게 설정된다.
그러나, 서브픽셀 보간 필터를 적용하는 경우에, 주 참조 측면의 좌측 및 우측 에지(edge)에의 추가적인 샘플이 사용된다. 기존의 해결안과의 준수를 유지하기 위해서, 이들 추가적인 샘플은 주 참조 측면을 좌측 및 우측에 패딩함으로써 획득될 것이 제안된다. 패딩은 주 참조 측면의 제1 및 마지막 샘플을 각각 좌측 측면에 그리고 우측 측면에 복제함으로써 수행된다. 주 참조 측면을 ref로서, 그리고 그것의 크기를 refS로서 표기하면, 패딩은 다음의 할당 동적으로서 표현될 수가 있다:
ref[-1] = p[0],
ref[refS+1] = p[refS].
실제로, 음의 인덱스의 사용은 어레이의 요소를 지칭하는 경우에 양의 정수 오프셋을 적용함으로써 방지될 수가 있다. 특히, 이 오프셋은 주 참조 측면에 좌측 패딩된 요소의 수와 같게 설정될 수가 있다.
우측 패딩 및 좌측 패딩을 어떻게 수행하는지의 구체적인 예가 도 15b에 의해 예시된 다음 두 사례에서 주어진다.
우측 패딩 사례는, 가령, |M-Mo| 이 22와 같은 것(표 4를 보시오)이 광각도 모드 72 및 -6(도 10b)에 대해 서브픽셀 오프셋이 과 같음을 지정하는 경우에, 발생한다. 블록의 종횡비(aspect ratio)가 2인 경우에(즉 4x8, 8x16, 16x32, 32x64, 8x4, 16x8, 32x16, 64x32과 같은 피예측 블록의 치수에 대해), 대응하는 최대 서브픽셀 오프셋 값은 최하부 우측의 피예측 샘플에 대해 로서 계산되는데, 는 블록의 더 작은 측면이다.
그러므로 8x4 블록에 대해, 최대 서브픽셀 오프셋은 과 같을 것인데, 즉 이 오프셋의 정수 서브픽셀 부분의 최대 값은 7과 같다. 좌표 , 을 가진 최하부 우측 샘플의 값을 획득하기 위해 4 탭 인트라 보간 필터를 적용하는 경우에 인덱스 , , 및 를 가진 참조 샘플이 사용될 것이다. 최우측 샘플 위치 는, 주 참조 측면의 종단에서의 하나의 샘플은 위치 을 가진 참조 샘플을 복제함으로써 패딩됨을 의미하는데, 주 참조 측면이 인덱스 0..15를 가진 16개의 이웃하는 샘플을 갖기 때문이다.
표 5가 모드 71 및 -5를 위해 사용 중인 경우에 동일한 단계가 수행된다. 이 사례를 위한 서브픽셀 오프셋은 과 같은바, 의 최대 값을 초래한다.
좌측 패딩의 사례는 각도성 모드 35..65 및 19..33에 대해, 가령 서브픽셀 오프셋이 분수부이며 하나의 샘플보다 작은 경우에, 발생한다. 대응하는 서브픽셀 오프셋 값은 최상부 좌측의 피예측 샘플에 대해 계산된다. 표 4 및 표 5에 따르면, 이 오프셋은 의 범위 내에 속하는데, 0의 정수 서브샘플 오프셋에 대응한다. 좌표 , 을 가진 피예측 샘플을 계산하기 위해 4 탭 보간 필터를 적용하는 것은 인덱스 , , 및 을 가진 참조 샘플을 요구할 것이다. 최좌측 샘플 위치 이다. 이 위치에서의 샘플은 위치 를 가진 참조 샘플을 복제함으로써 패딩되는데, 주 참조 측면이 인덱스 0..15를 가진 16개의 이웃하는 샘플을 갖기 때문이다.
위의 예로부터 결론적으로, 종횡비를 가진 블록에 대해 주 참조 측면은 4 탭 필터 길이의 절반, 즉 두 샘플에 의해 패딩되는데, 그 중 하나는 주 참조 측면의 시작(좌측 에지)에 추가되고 다른 하나는 주 참조 측면의 종단(우측 에지)에 추가된다. 6 탭 보간 필터링의 경우에, 전술된 단계에 후속하여 주 참조 측면의 시작 및 종단에 두 샘플이 추가되어야 한다. 일반적으로, 만일 N 탭 인트라 보간 필터가 사용되는 경우, 주 참조 측면은 샘플로써 패딩되는데, 그 중 는 좌측에 패딩되고 는 우측에 패딩되는데, N은 짝수이되 음이 아닌 정수 값이다.
전술된 단계를 다른 블록 종횡비에 대해 반복하여, 다음의 오프셋이 획득된다(표 6을 보시오).
표 6. 상이한 블록 크기 및 2와 같은 종횡비에 대한 최대 서브픽셀 오프셋
표 6에서 주어진 값으로부터 결론적으로, 광각도성 인트라 예측 모드에 대해:
표 4가 사용 중인 경우에, 4 탭 보간 필터링의 경우 좌측 패딩 및 우측 패딩 동작이 블록 크기 4x8, 8x4, 8x16 및 16x8에 대해 요구된다.
표 5가 사용 중인 경우에, 4 탭 보간 필터링의 경우 좌측 패딩 및 우측 패딩 동작이 오직 블록 크기 4x8 및 8x4에 대해 요구된다.
제안된 방법의 세부사항은 사양의 포맷으로 표 7에 기술된다. 전술된 패딩 실시예는 VVC 초안(파트(part) 8.2.4.2.7)에 대한 이하의 수정으로서 표현될 수가 있다:
표 7
전술된 바와 같은 표 4 및 표 5는 피예측 샘플의 두 인접한 라인 간의 상기 서브픽셀 오프셋의 가능한 값을 인트라 예측 모드에 따라서 나타낸다.
최첨단 비디오 코딩 해결안은 인트라 예측에서 상이한 보간 필터를 사용한다. 특히, 도 19 내지 도 21은 보간 필터의 상이한 예를 도시한다.
본 발명에서, 도 22 또는 도 23에 예시된 바와 같이, 블록의 인트라 예측 프로세스가 수행되는데, 블록의 인트라 예측 프로세스 동안에 휘도 및 색차 참조 샘플에 서브픽셀 보간 필터가 적용되고; 서브픽셀 보간 필터(예를 들면 4 탭 필터)는 참조 샘플의 위치 및 보간된 샘플의 위치 간의 서브픽셀 오프셋을 기반으로 선택되고; 인트라 예측 프로세스에서 사용되는 주 참조 측면의 크기는 서브픽셀 보간 필터의 길이 및 상기 서브픽셀 오프셋의 최대 값을 제공하는 인트라 예측 모드에 따라 결정된다. 메모리 요구사항은 서브픽셀 오프셋의 최대 값에 의해 결정된다. 메모리 요구사항은 서브픽셀 오프셋의 최대 값에 의해 결정된다.
도 15b는 최상부 좌측 샘플이 주 참조 측면 내에 포함되지 않으나, 대신에, 주 참조 측면에 속한 최좌측 샘플을 사용하여 패딩된 경우를 예시한다. 그러나, 만일 피예측 샘플이 2 탭 서브픽셀 보간 필터(가령 선형 보간 필터)를 적용함으로써 계산된 경우, 최상부 좌측 샘플은 참조되지 않을 것이며, 따라서 이 경우에 어떤 패딩도 요구되지 않는다.
도 15c는 4 탭 서브픽셀 보간 필터(가령 가우스, DCT-IF 또는 큐빅)가 사용되는 경우를 예시한다. 이 경우에 적어도 최상부 좌측의 피예측 샘플("A"로 마킹됨)을 계산하기 위해 4개의 참조 샘플이 요구되는데 최상부 좌측 샘플("B"로 마킹됨) 및 다음의 3개의 샘플(각각 "C", "D" 및 "E"로 마킹됨)임이 주목될 수가 있다.
이 경우에 2개의 대안적인 방법이 개시된다:
C의 값을 사용하여 B의 값을 패딩하기
이웃하는 블록의 재구성된 샘플을 사용하기, 단지 주 참조 측면의 ("B", "C" 및 "D"를 포함하는) 다른 샘플이 획득되는 바와 동일한 방식으로, 이 경우에, 주 참조 측면의 크기는 다음의 합으로서 결정된다:
블록 주 측면 길이(즉 블록 측면 길이 또는 피예측 샘플의 블록의 측면의 크기),
보간 필터 길이의 절반 빼기 1
다음 2개의 값 중 최대치 M:
블록 주 측면 길이
최대 서브픽셀 오프셋의 정수 부분 더하기 보간 필터 길이의 절반, 또는 최대 서브픽셀 오프셋의 정수 부분 더하기 보간 필터 길이의 절반 더하기 1(이 합에 1을 더하는 것은 메모리 고려사항의 관점에서 포함될 수 있거나 그렇지 않을 수 있음).
"블록 주 측면", "블록 측면 길이", "블록 주 측면 길이" 및 "피예측 샘플의 블록의 측면의 크기"는 본 개시 도처에서 동일한 개념임에 유의한다.
보간 필터 길이의 절반 빼기 1은 주 참조 측면의 크기를 결정하는 데에 사용되는데, 따라서 평상의 주 참조 측면을 좌측으로 연장할 수 있게 됨이 이해될 수 있다.
상기 두 값 중 최대치 M은 주 참조 측면의 크기를 결정하는 데에 사용되는데, 따라서 평상의 주 참조 측면을 우측으로 연장할 수 있게 됨이 이해될 수 있다.
위의 설명에서, 블록 주 측면 길이는 인트라 예측 모드(도 10b)에 따라 결정된다. 만일 인트라 예측 모드가 대각선 인트라 예측 모드(#34)보다 작지 않은 경우, 블록 주 측면 길이는 피예측 샘플의 블록(즉, 예측될 블록)의 폭이다. 그렇지 않으면, 블록 주 측면 길이는 피예측 샘플의 블록의 높이이다.
서브픽셀 오프셋의 값은 더 넓은 범위의 각도에 대해 정의될 수가 있다(표 8을 보시오).
표 8. 피예측 샘플의 제1 행을 위한 모드 차이에의 서브픽셀 오프셋의 의존성 (다른 예)
종횡비에 따라서, 인트라 예측 모드 인덱스(도 10b)의 상이한 최대 및 최소 값이 허용된다. 표 9는 이 맵핑의 예를 든다.
표 9. 블록 종횡비에의 max(|M-Mo|)의 의존성
표 9에 따르면, 최대 모드 차이 값 max(|M-MO|)에 대해 정수 서브픽셀 오프셋이 보간을 위해 사용되는데(행당 최대 서브픽셀 오프셋은 32의 배수임), 이는 피예측 블록의 피예측 샘플은 대응하는 참조 샘플의 값을 복사함으로써 계산되고 서브샘플 보간 필터가 적용되지 않음을 의미한다.
표 8의 값과, 표 9의 max(|M-MO|)에 대한 제한을 고려하면, 보간을 요구하지 않는, 행당 최대 서브픽셀 오프셋은 다음과 같이 정의된다(표 10을 보시오).
표 10. 블록 종횡비에의, 보간을 요구하지 않는, 행당 최대 서브픽셀 오프셋의 의존성
표 10을 사용하여, 정사각형 4x4 블록에 대해 최대 서브픽셀 오프셋의 정수 부분의 값 더하기 보간 필터 길이의 절반은 이하의 단계를 사용하여 계산될 수가 있다:
단계 1. 블록 주 측면 길이(4와 같음)는 29와 곱해지고 결과는 32로 나뉘는바 따라서 3의 값을 줌;
단계 2. 4 탭 보간 필터 길이의 절반은 2인데, 이는 단계 1에서 획득된 값에 가산되는바, 5의 값을 초래한다
위의 예로부터 결과적인 값은 블록 주 측면 길이보다 더 큼을 볼 수가 있다. 이 예에서, 주 참조 측면의 크기는 10으로 설정되는데, 이는 다음의 합으로서 결정된다
블록 주 측면 길이(4와 같음)
보간 필터 길이의 절반 빼기 1(1과 같음)
다음 2개의 값 중 최대치 M:
블록 주 측면 길이(4와 같음)
최대 서브픽셀 오프셋의 정수 부분 더하기 보간 필터 길이의 절반(5와 같음), 또는 최대 서브픽셀 오프셋의 정수 부분 더하기 보간 필터 길이의 절반 더하기 1(6과 같음)(이 합에 1을 더하는 것은 메모리 고려사항의 관점에서 포함될 수 있거나 그렇지 않을 수 있음).
주 참조 측면 내에 포함된 참조 샘플의 총 수는 배가된 블록 주 측면 길이보다 더 크다.
2개의 값의 최대치 M이 블록 주 측면 길이와 같은 경우에, 우측 패딩이 수행되지 않는다. 그렇지 않으면, 2*nTbS보다 작지 않은(nTbS는 블록 주 측면 길이를 표기함), (도 15c에서 "A"로 표기된) 최상부 좌측의 피예측 샘플의 위치로부터 수평으로 또는 수직으로 떨어진 위치를 가진 참조 샘플에 우측 패딩이 적용된다. 우측 패딩은 2*nTbS의 범위 내의 위치를 갖는 주 블록 측면 상의 마지막 참조 샘플의 값에 패딩된 샘플의 값을 할당함으로써 수행된다.
보간 필터 길이의 절반 빼기 1이 0보다 더 큰 경우에, (도 15c에 도시된) 샘플 "B"의 값은 좌측 패딩에 의해 획득되든, 또는 대응하는 참조 샘플이, 단지 참조 샘플 "C", "D" 및 "E"가 획득되는 바와 동일한 방식으로, 획득될 수가 있다.
제안된 방법의 세부사항은 사양의 포맷으로 표 11에 기술된다. 우측 패딩 또는 좌측 패딩 대신에, 대응하는 재구성된 이웃 참조 샘플이 사용될 수가 있다. 좌측 패딩이 사용되지 않는 사례는 VVC 사양의 이하의 파트(파트 8.2)에 의해 표현될 수가 있다:
표 11
유사하게, 표 10을 사용하여, 폭에서 4개의 샘플 및 높이에서 2개의 샘플을 갖는 비-정사각형 블록(non-square block)에 대해 최대 서브픽셀 오프셋의 정수 부분의 값 더하기 보간 필터 길이의 절반은 (만일 블록 주 측면 길이가 폭인 경우) 이하의 단계를 사용하여 계산될 수가 있다:
단계 1. 블록 높이(2와 같음)는 57과 곱해지고 결과는 32로 나뉘는바 따라서 3의 값을 줌;
단계 2. 4 탭 보간 필터 길이의 절반은 2인데, 이는 단계 1에서 획득된 값에 가산되는바, 5의 값을 초래한다
주 참조 측면 내에 포함된 참조 샘플의 총 수를 계산하기 위한 단계의 나머지는 정사각형 블록의 경우에 대해서와 동일하다.
표 6으로부터의 블록 치수 및 표 10을 사용하여, 좌측 패딩 또는 우측 패딩의 대상인 참조 샘플의 최대 수는 2임이 주목될 수가 있다.
만일 예측될 블록이 인트라 예측 프로세스에서 사용되는 이웃하는 재구성된 참조 샘플과 인접하지 않는 경우(참조 라인은 도 24에 도시된 바와 같이 선택될 수가 있음), 아래에서 기술되는 실시예가 적용가능하다.
제1 단계는 블록의 종횡비를 인트라 예측 모드에 따라 피예측 블록의 주 측면에 따라서 정의하는 것이다. 만일 블록의 최상부 측면이 주 측면이라고 선택되면, 종횡비 Ra(VVC 사양에서 "whRatio"로 표기됨)는 블록의 높이(VVC 사양에서 "nTbH"로 표기됨)에 의한 블록의 폭(VVC 사양에서 "nTbW"로 표기됨)의 정수 나누기(integer division)의 결과와 같게 설정된다. 그렇지 않으면, 주 측면이 피예측 블록의 좌측 측면인 경우에, 종횡비 Ra(VVC 사양에서 "hwRatio"로 표기됨)는 블록의 폭에 의한 블록의 높이의 정수 나누기의 결과와 같게 설정된다. 두 경우 모두에서, 만일 Ra의 값이 1보다 작은 경우(즉, 정수 나누기 연산자의 분자 값이 분모의 값보다 더 작음) 그것은 1과 같게 설정된다.
제2 단계는 (VVC 사양에서 "p"로 표기된) 참조 샘플의 부분을 주 참조 측면에 추가하는 것이다. refIdx의 값에 따라서, 인접 참조 샘플이든 또는 비인접(non-adjacent) 참조 샘플이든 사용된다. 주 참조 측면에 추가되는 참조 샘플은 주 측면의 배향의 방향에서 주 블록 측면에 관한 오프셋으로써 선택된다. 구체적으로, 만일 주 측면이 피예측 블록의 최상부 측면인 경우, 오프셋은 수평이며 -refIdx 샘플로서 정의된다. 만일 주 측면이 피예측 블록의 좌측 측면인 경우, 오프셋은 수직이며 -refIdx 샘플로서 정의된다. 이 단계에서, nTbS+1 샘플이 추가되는데(nTbS는 주 측면 길이를 표기함), (도 15c에서 "B" 샘플로 표기된) 최상부 좌측 참조 샘플 더하기 전술된 오프셋의 값부터 시작한다. RefIdx의 설명 또는 정의가 도 24와의 조합으로 본 개시에 제시됨에 유의하여야 한다.
수행되는 다음 단계는 (VVC 사양에서 "intraPredAngle"로 표기된) 서브픽셀 오프셋이 양인지 또는 음인지에 의존한다. 서브픽셀 오프셋의 0 값은 (블록의 주 측면이 좌측 블록 측면인 경우에) 수평 인트라 예측 모드 또는 (블록의 주 측면이 최상부 블록 측면인 경우에) 수직 인트라 예측 모드에 대응한다.
만일 서브픽셀 오프셋이 음인 경우(가령, 단계 3, 음의 서브픽셀 오프셋), 제3 단계에서 주 참조 측면은 비-주 측면에 대응하는 참조 샘플로써 좌측으로 연장된다. 비-주 측면은 주 측면으로서 선택되지 않은 측면, 즉 인트라 예측 모드가 34보다 더 크거나 같은 경우(도 10b), 비-주 측면은 예측될 블록의 좌측 측면이고 그렇지 않으면, 비-주 측면은 블록의 좌측 측면이다. 도 7에 도시된 바와 같이 연장이 수행되고, 이 프로세스의 설명은 도 7에 관련한 설명에서 발견될 수가 있다. 비-주 측면에 대응하는 참조 샘플은 제2 단계에서 개시된 프로세스에 따라 선택되는데, 주 측면 대신에 비-주 측면이 사용되는 차이가 있다. 이 단계가 완료되는 경우에, 주 참조 측면은 각각 그것의 제1 및 마지막 샘플을 사용하여 시작으로부터 종단으로 연장되는데, 다시 말해, 단계 3에서, 음의 서브픽셀 오프셋 패딩이 수행된다.
만일 서브픽셀 오프셋이 양인 경우(가령, 단계 3, 양의 서브픽셀 오프셋), 제3 단계에서 주 참조 측면은 단계 2에서 기술되는 바와 동일한 방식으로 추가적인 nTbS개의 샘플에 의해 우측으로 연장된다. 만일 refIdx의 값이 0보다 더 큰 경우(참조 샘플이 예측될 블록에 인접하지 않음), 우측 패딩이 수행된다. 우측 패딩된 샘플의 수는 제1 단계에서 계산된 종횡비 Ra의 값에 refIdx 값이 곱해진 것과 같다. 4개 탭 필터가 사용 중인 경우에, 우측 패딩된 샘플의 수는 1만큼 증가된다.
제안된 방법의 세부사항은 사양의 포맷으로 표 12에 기술된다. 이 실시예를 위한 VVC 사양 수정은 다음과 같을 수가 있다(refW는 nTbS-1로 설정됨):
표 12
*
VVC 사양의 전술된 부분은 서브픽셀 오프셋의 양의 값을 위해 제3 단계에서 주 참조 측면이 1개 샘플만큼 좌측 패딩되는 경우를 위해서 또한 적용가능하다. 제안된 방법의 세부사항은 사양의 포맷으로 표 13에 기술된다.
표 13
본 개시는 비디오 프레임과 같은 픽처에 포함된 현재의 블록을 예측하기 위한 인트라 예측 방법을 제공한다. 인트라 예측 방법의 방법 단계가 도 25에 도시된다. 현재의 블록은 예측될 샘플(또는 "피예측 샘플" 또는 "예측 샘플"), 가령 휘도 샘플 또는 색차 샘플을 포함하는 전술된 블록이다.
방법은, (가령 도 10 내지 도 11에 도시된) 이용가능한 인트라 예측 모드 중에서, 서브픽셀 오프셋의 최대 비정수 값을 제공하는 인트라 예측 모드 및 보간 필터의 크기(또는 길이)에 기반하여 주 참조 측면의 크기를 결정하는(S2510) 단계를 포함한다.
서브픽셀 오프셋은 예측될 현재의 블록 내의 샘플(또는 "타겟 샘플") 및 참조 샘플(또는 참조 샘플 위치)(이에 기반하여 현재의 블록 내의 샘플이 예측됨) 간의 오프셋이다. 오프셋은 만일 참조 샘플이 현재의 블록의 직접적으로 또는 바로 위에(가령 대각선 모드와 같거나 이보다 더 큰 번호를 갖는 모드) 또는 좌측에(가령 대각선 모드와 같거나 이보다 더 작은 번호를 갖는 모드) 있지 않은 샘플을 포함하나, 현재의 블록의 위치에 대해서 오프셋 또는 천이된 샘플을 포함하는 경우 각도성 예측 모드와 연관될 수 있다. 모든 모드가 정수 참조 샘플 위치를 가리키지는 않으므로, 오프셋은 서브픽셀 해상도를 갖고, 이 서브픽셀 오프셋은 비정수 값을 취하고 정수 부분 더하기 비정수 부분을 가질 수 있다. 서브픽셀 오프셋의 비정수 값의 경우에, 참조 샘플 간의 보간이 수행된다. 그러므로, 오프셋은 예측될 샘플의 위치 및 보간된 참조 샘플 위치 간의 오프셋이다. 최대 비정수 값은 현재의 블록 내의 임의의 샘플에 대해서 최대 비정수 값(정수 부분 더하기 비정수 부분)일 수 있다. 예를 들면, 도 15a 내지 도 15c에 도시된 바와 같이, 최대 비정수 서브픽셀 오프셋과 연관된 타겟 샘플은 현재의 블록 내의 최하부 우측 샘플일 수 있다. 서브픽셀 오프셋의 최대 비정수 값보다 더 큰 오프셋의 정수 값을 제공하는 인트라 예측 모드는 무시됨에 유의하여야 한다.
보간 필터의 가능한 크기(또는 길이)는 4(가령 필터는 4 탭 필터임) 또는 6(가령 필터는 6 탭 필터임)을 포함한다.
방법은 주 참조 측면에 포함된 참조 샘플 상에 보간 필터를 적용하고(S2520), 필터링된 참조 샘플에 기반하여 현재의 블록에 포함된 타겟 샘플을 예측하는(S2530) 단계를 더 포함한다.
도 26에 도시된 방법과 대응하여, 픽처에 포함된 현재의 블록의 인트라 예측을 위한 장치(2600)가 또한 제공된다. 장치(2600)는 도 26에 도시되며 도 2에 도시된 비디오 인코더 또는 도 3에 도시된 비디오 디코더에 포함될 수 있다. 예에서, 장치(2600)는 도 2에서의 인트라 예측 유닛(254)에 대응하는 것일 수 있다
. 다른 예에서, 장치(2600)는 도 3에서의 인트라 예측 유닛(354)에 대응하는 것일 수 있다.
장치(2600)는 필터링된 참조 샘플에 기반하여 현재의 블록에 포함된 타겟 샘플을 예측하도록 구성된 인트라 예측 유닛(2610)을 포함한다. 인트라 예측 유닛(2610)은 도 2에 도시된 인트라 예측 유닛(254) 또는 도 3에 도시된 인트라 예측 유닛(354)일 수 있다.
인트라 예측 유닛(2610)은 인트라 예측에서 사용되는 주 참조 측면의 크기를 결정하도록 구성된 결정 유닛(2620)(또는 "주 참조 크기 결정 유닛")을 포함한다. 특히, 크기는: (이용가능한 인트라 예측 모드 중에서) 현재의 블록 내의 (타겟 샘플 중의) 타겟 샘플 및 현재의 블록 내의 상기 타겟 샘플을 예측하기 위해 사용되는 참조 샘플(아래에서 "대상 참조 샘플"로 지칭됨) 간의 서브픽셀 오프셋의 최대 비정수 값을 제공하는 인트라 예측 모드에 기반하여, 그리고 주 참조 측면에 포함된 참조 샘플 상에 적용될 보간 필터의 크기에 기반하여 결정된다. 타겟 샘플은 예측될 블록의 임의의 샘플이다. 대상 참조 샘플은 주 참조 측면의 참조 샘플 중 하나이다.
인트라 예측 유닛(2610)은 필터링된 참조 샘플을 획득하기 위해 주 참조 측면에 포함된 참조 샘플 상에 보간 필터를 적용하도록 구성된 필터링 유닛을 더 포함한다.
요약하면, 메모리 요구사항은 서브픽셀 오프셋의 최대 값에 의해 결정된다. 이에 따라, 본 개시에 따라 주 참조 측면의 크기를 결정함으로써, 개시는 인트라 예측을 사용하는 비디오 코딩의 메모리 효율을 제공하는 것을 수월하게 한다. 특히, 인트라 예측을 수행하기 위해 인코더 및/또는 디코더에 의해 사용되는 메모리(버퍼)는 주 참조 측면의 결정된 크기에 따라 효율적인 방식으로 배분될 수 있다. 이것은 첫째로 본 개시에 따라 결정된 주 참조 측면의 크기가 현재의 블록을 예측하기 위해 사용될 모든 참조 샘플을 포함하기 때문이다. 결과적으로, 인트라 예측을 수행하기 위해 추가의 샘플에의 어떤 액세스도 필요하지 않다. 둘째, 인접한 블록의 모든 이미 처리된 샘플에 대해 필요하지 않으며, 오히려, 메모리 크기는 특별히 주 참조 측면에 속한 참조 샘플을 위해, 즉 특별히 결정된 크기로, 배분될 수 있다.
이하는 앞서 언급된 실시예에서 도시된 바와 같은 디코딩 방법뿐만 아니라 인코딩 방법의 적용과, 이들을 사용하는 시스템의 설명이다.
도 27는 콘텐트 배포 서비스를 실현하기 위한 콘텐트 공급 시스템(3100)을 도시하는 블록도이다. 이 콘텐트 공급 시스템(3100)은 포착 디바이스(capture device)(3102), 단말 디바이스(terminal device)(3106)를 포함하고, 선택적으로 디스플레이(3126)를 포함한다. 포착 디바이스(3102)는 통신 링크(3104)를 통하여 단말 디바이스(3106)와 통신한다. 통신 링크는 위에서 기술된 통신 채널(13)을 포함할 수 있다. 통신 링크(3104)는 WIFI, 이더넷(Ethernet), 케이블, 무선(3G/4G/5G), USB, 또는 이의 임의의 종류의 조합, 또는 유사한 것을 포함하나 이에 한정되지 않는다.
포착 디바이스(3102)는 데이터를 생성하며, 위의 실시예에서 도시된 바와 같은 인코딩 방법에 의해 데이터를 인코딩할 수 있다. 대안적으로, 포착 디바이스(3102)는 데이터를 스트리밍 서버(도면에 도시되지 않음)에 배포할 수 있고, 서버는 데이터를 인코딩하고 인코딩된 데이터를 단말 디바이스(3106)에 송신한다. 포착 디바이스(3102)는 카메라, 스마트폰 또는 패드, 컴퓨터 또는 랩톱, 비디오 컨퍼런스 시스템(video conference system), PDA, 차량 장착형 디바이스(vehicle mounted device), 또는 그것들 중 임의의 것의 조합, 또는 유사한 것을 포함하나 이에 한정되지 않는다. 예를 들어, 포착 디바이스(3102)는 위에서 기술된 바와 같은 소스 디바이스(12)를 포함할 수 있다. 데이터가 비디오를 포함하는 경우에, 포착 디바이스(3102)에 포함된 비디오 인코더(20)는 실제로 비디오 인코딩 처리를 수행할 수 있다. 데이터가 오디오(가령, 음성)를 포함하는 경우에, 포착 디바이스(3102)에 포함된 오디오 인코더는 실제로 오디오 인코딩 처리를 수행할 수 있다. 몇몇 실제적인 시나리오를 위해, 포착 디바이스(3102)는 인코딩된 비디오 및 오디오 데이터를 그것들을 함께 다중화함으로써 배포한다. 다른 실제적인 시나리오를 위해, 예를 들어 비디오 컨퍼런스 시스템에서, 인코딩된 오디오 데이터 및 인코딩된 비디오 데이터는 다중화되지 않는다. 포착 디바이스(3102)는 인코딩된 오디오 데이터 및 인코딩된 비디오 데이터를 단말 디바이스(3106)에 별개로 배포한다.
콘텐트 공급 시스템(3100)에서, 단말 디바이스(310)는 인코딩된 데이터를 수신하고 재현한다. 단말 디바이스(3106)는 데이터 수신 및 재생 능력을 가진 디바이스, 예를 들면 스마트 폰 또는 패드(3108), 컴퓨터 또는 랩톱(3110), 네트워크 비디오 레코더(Network Video Recorder: NVR)/디지털 비디오 레코더(Digital Video Recorder: DVR)(3112), TV(3114), 셋톱 박스(Set Top Box: STB)(3116), 비디오 컨퍼런스 시스템(3118), 비디오 감시 시스템(3120), 개인용 디지털 보조기기(Personal Digital Assistant: PDA)(3122), 차량 장착형 디바이스(3124), 또는 그것들 중 임의의 것의 조합, 또는 앞서 언급된 인코딩된 데이터를 디코딩하는 것이 가능한 유사한 것일 수가 있다. 예를 들어, 단말 디바이스(3106)는 위에서 기술된 바와 같은 목적지 디바이스(14)를 포함할 수 있다. 인코딩된 데이터가 비디오를 포함하는 경우에, 단말 디바이스에 포함된 비디오 디코더(30)는 비디오 디코딩을 수행하도록 우선시된다. 인코딩된 데이터가 오디오를 포함하는 경우에, 단말 디바이스에 포함된 오디오 디코더는 오디오 디코딩 처리를 수행하도록 우선시된다.
디스플레이를 가진 단말 디바이스, 예를 들어, 스마트 폰 또는 패드(3108), 컴퓨터 또는 랩톱(3110), 네트워크 비디오 레코더(Network Video Recorder: NVR)/디지털 비디오 레코더(Digital Video Recorder: DVR)(3112), TV(3114), 개인용 디지털 보조기기(Personal Digital Assistant: PDA)(3122), 또는 차량 장착형 디바이스(3124)를 위해, 단말 디바이스는 디코딩된 데이터를 그것의 디스플레이에 공급할 수 있다. 어떤 디스플레이도 구비되지 않은 단말 디바이스, 예를 들어, STB(3116), 비디오 컨퍼런스 시스템(3118), 또는 비디오 감시 시스템(3120)을 위해, 디코딩된 데이터를 수신하고 보여주기 위해 내부에 외부 디스플레이(3126)가 접속된다.
이 시스템 내의 각각의 디바이스가 인코딩 또는 디코딩을 수행하는 경우에, 앞서 언급된 실시예에서 도시된 바와 같은 픽처 인코딩 디바이스 또는 픽처 디코딩 디바이스가 사용될 수 있다.
도 28은 단말 디바이스(3106)의 예의 구조를 도시하는 도해이다. 단말 디바이스(3106)가 포착 디바이스(3102)로부터 스트림을 수신한 후에, 프로토콜 진행 유닛(protocol proceeding unit)(3202)은 스트림의 송신 프로토콜을 분석한다. 프로토콜은 실시간 스트리밍 프로토콜(Real Time Streaming Protocol: RTSP), 하이러 텍스트 전송 프로토콜(Hyper Text Transfer Protocol: HTTP), HTTP 라이브 스트리밍 프로토콜(HTTP Live Streaming protocol: HLS), MPEG-DASH, 실시간 전송 프로토콜(Real-time Transport Protocol: RTP), 실시간 메시징 프로토콜(Real Time Messaging Protocol: RTMP), 또는 이의 임의의 종류의 조합, 또는 유사한 것을 포함하나 이에 한정되지 않는다.
프로토콜 진행 유닛(3202)이 스트림을 처리한 후에 스트림 파일이 생성된다. 파일은 역다중화 유닛(demultiplexing unit)(3204)에 출력된다. 역다중화 유닛(3204)은 다중화된 데이터를 인코딩된 오디오 데이터 및 인코딩된 비디오 데이터로 분리할 수 있다. 위에서 기술된 바와 같이, 몇몇 실제적인 시나리오를 위해, 예를 들어 비디오 컨퍼런스 시스템에서, 인코딩된 오디오 데이터 및 인코딩된 비디오 데이터는 다중화되지 않는다. 이 상황에서, 인코딩된 데이터는 역다중화 유닛(3204)을 거치지 않고서 비디오 디코더(3206) 및 오디오 디코더(3208)에 송신된다.
역다중화 처리를 통해, 비디오 기본 스트림(Elementary Stream: ES), 오디오 ES, 그리고 선택적으로 서브타이틀(subtitle)이 생성된다. 비디오 디코더(3206)는, 앞서 언급된 실시예에서 설명된 바와 같은 비디오 디코더(30)를 포함하는데, 비디오 프레임을 생성하기 위해 앞서 언급된 실시예에서 도시된 바와 같은 디코딩 방법에 의해 비디오 ES를 디코딩하고, 이 데이터를 동기 유닛(synchronous unit)(3212)에 공급한다. 오디오 디코더(3208)는, 오디오 프레임을 생성하기 위해 오디오 ES를 디코딩하고, 이 데이터를 동기 유닛(3212)에 공급한다. 대안적으로, 비디오 프레임은 그것을 동기 유닛(3212)에 공급하기 전에 (도 Y에 도시되지 않은) 버퍼에 저장할 수 있다. 유사하게, 오디오 프레임은 그것을 동기 유닛(3212)에 공급하기 전에 (도 Y에 도시되지 않은) 버퍼에 저장할 수 있다.
동기 유닛(3212)은 비디오 프레임 및 오디오 프레임을 동기화하고, 비디오/오디오를 비디오/오디오 디스플레이(3214)에 공급한다. 예를 들어, 동기 유닛(3212)은 비디오 및 오디오 정보의 제시를 동기화한다. 코딩된 오디오 및 시각적 데이터의 제시에 관한 타임 스탬프(time stamp) 및 데이터 스트림 그 자체의 전달에 관한 타임 스탬프를 사용하여 구문 내에 정보가 코딩될 수 있다.
만일 서브타이틀이 스트림에 포함된 경우, 서브타이틀 디코더(3210)가 서브타이틀을 디코딩하고, 그것을 비디오 프레임 및 오디오 프레임과 동기화하고, 비디오/오디오/서브타이틀을 비디오/오디오/서브타이틀 디스플레이(3216)에 공급한다.
본 발명은 앞서 언급된 시스템에 한정되지 않으며, 앞서 언급된 실시예에서의 픽처 인코딩 디바이스든 또는 픽처 디코딩 디바이스든 다른 시스템, 예를 들어, 자동차 시스템 내에 포함될 수 있다.
발명의 실시예가 주로 비디오 코딩에 기반하여 기술되었으나, 코딩 시스템(10), 인코더(20) 및 디코더(30)(그리고 상응하여 시스템(10))의 실시예 및 본 문서에 기술된 다른 실시예는 또한 정지 픽처(still picture) 처리 또는 코딩, 즉 비디오 코딩에서와 같이 임의의 선행 또는 연이은 픽처와는 독립적인 개별 픽처의 처리 또는 코딩을 위해 구성될 수 있음에 유의하여야 한다. 일반적으로 인터 예측 유닛(244(인코더) 및 344(디코더))만은 픽처 처리 코딩이 단일 픽처(17)에 한정되는 경우에 이용가능하지 않을 수 있다. 비디오 인코더(20) 및 비디오 디코더(30)의 모든 다른 기능(또한 툴(tool) 또는 기술로 지칭됨)은 동등하게 정지 픽처 처리, 가령 잔차 계산(204/304), 변환(206), 양자화(208), 역양자화(210/310), (역)변환(212/312), 구획(262/362), 인트라 예측(254/354) 및/또는 루프 필터링(220, 320) 및 엔트로피 코딩(270) 및 엔트로피 디코딩(304)를 위해 사용될 수 있다.
가령 인코더(20) 및 디코더(30)의 실시예 및 가령 인코더(20) 및 디코더(30)를 참조하여 본 문서에 기술된 기능은 하드웨어, 소프트웨어, 펌웨어, 또는 이의 임의의 조합으로 구현될 수 있다. 만일 소프트웨어로 구현되는 경우, 기능은 하나 이상의 명령어 또는 코드로서 컴퓨터 판독가능 매체 상에 저장되거나 통신 매체를 통하여 송신되고 하드웨어 기반 처리 유닛에 의해 실행될 수 있다. 컴퓨터 판독가능 매체는 데이터 저장 매체와 같은 유형적 매체(tangible medium)에 대응하는 컴퓨터 판독가능 저장 매체, 또는, 가령, 통신 프로토콜에 따라, 하나의 장소에서 다른 장소로의 컴퓨터 프로그램의 전송을 가능하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수 있다. 이 방식으로, 컴퓨터 판독가능 매체는 일반적으로 (1) 비일시적인 유형적 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체는 이 개시에 기술된 기법의 구현을 위한 명령어, 코드 및/또는 데이터 구조를 인출하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수 있다.
한정이 아니고 예로서, 그러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지, 또는 다른 자기 저장 디바이스, 플래쉬 메모리, 또는 요망되는 프로그램 코드를 명령어 또는 데이터 구조의 형태로 저장하는 데에 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 연결이 컴퓨터 판독가능 매체로 적절히 칭해진다. 예를 들어, 만일 명령어가 웹사이트, 서버, 또는 다른 원격 소스로부터 동축 케이블(coaxial cable), 광섬유 케이블(fiber optic cable), 꼬임쌍선(twisted pair), 디지털 가입자 라인(Digital Subscriber Line: DSL), 또는 무선 기술, 예를 들면 적외선(infrared), 무전(radio) 및 마이크로파(microwave)를 사용하여 송신되면, 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL, 또는 무선 기술, 예를 들면 적외선, 무전 및 마이크로파는 매체의 정의에 포함된다. 그러나, 컴퓨터 판독가능 저장 매체 및 데이터 저장 매체는 연결, 반송파, 신호, 또는 다른 일시적 매체를 포함하지 않고, 대신에 비일시적, 유형적 저장 매체에 지향됨이 이해되어야 한다. 디스크(disk) 및 디스크(disc)는, 본 문서에서 사용되는 바와 같이, 콤팩트 디스크(Compact Disc: CD), 레이저 디스크(laser disc), 광학 디스크(optical disc), 디지털 다용도 디스크(Digital Versatile Disc: DVD), 플로피 디스크(floppy disk) 및 블루레이 디스크(Blu-ray disc)를 포함하는데, 디스크(disk)는 통상 데이터를 자기적으로 재현하는 반면, 디스크(disc)는 레이저로써 광학적으로 데이터를 재현한다. 이상의 것의 조합이 또한 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
명령어는 하나 이상의 프로세서, 예를 들면 하나 이상의 디지털 신호 프로세서(Digital Signal Processor: DSP), 일반 목적 마이크로프로세서, 애플리케이션 특정 집적 회로(Application Specific Integrated Circuit: ASIC), 필드 프로그램가능 로직 어레이(Field Programmable Logic Array: FPGA), 또는 다른 균등한 집적 또는 이산 로직 회로부에 의해 실행될 수 있다. 이에 따라, 본 문서에서 사용되는 바와 같은 용어 "프로세서"는 전술된 구조 중 임의의 것 또는 본 문서에 기술된 기법의 구현에 적합한 임의의 다른 구조를 지칭할 수 있다. 추가로, 몇몇 측면에서, 본 문서에 기술된 기능은 조합된 코덱 내에 포함되거나, 인코딩 및 디코딩을 위해 구성된 전용 하드웨어 및/또는 소프트웨어 모듈 내에 제공될 수 있다. 또한, 기법은 하나 이상의 회로 또는 로직 요소 내에 온전히 구현될 수 있다.
이 개시의 기법은 무선 핸드세트, 집적 회로(Integrated Circuit: IC) 또는 IC의 세트(가령, 칩 세트(chip set))를 포함하는 매우 다양한 디바이스 또는 장치 내에 구현될 수 있다. 개시된 기법을 수행하도록 구성된 디바이스의 기능적 측면을 강조하기 위해 다양한 컴포넌트, 모듈, 또는 유닛이 이 개시에서 기술되나, 상이한 하드웨어 유닛에 의한 실현을 반드시 요구하지는 않는다. 오히려, 앞서 기술된 바와 같이, 다양한 유닛이 코덱 하드웨어 유닛 내에 조합되거나, 적합한 소프트웨어 및/또는 펌웨어와 함께, 전술된 바와 같은 하나 이상의 프로세서를 포함하는, 연동되는(interoperative) 하드웨어 유닛의 모음(collection)에 의해 제공될 수 있다.
Claims (15)
- 인코딩 디바이스에 의하여 수행되는 비디오 인코딩의 방법으로서,
블록의 인트라 예측 프로세스(intra-prediction process)를 수행하여 상기 블록의 예측된 샘플 값을 획득하는 단계 - 상기 블록의 상기 인트라 예측 프로세스 동안에 상기 블록의 참조 샘플에 보간 필터(interpolation filter)가 적용됨 - 와,
상기 블록의 샘플 값과 상기 블록의 상기 예측된 샘플 값에 따라 잔차 정보 (residual information)를 획득하는 단계와,
상기 잔차 정보에 변환, 양자화 및 엔트로피 코딩을 수행하여 인코딩된 비트스트림을 획득하는 단계를 포함하며,
상기 보간 필터는 상기 참조 샘플 및 예측될 샘플 간의 서브픽셀 오프셋(subpixel offset)을 기반으로 선택되고,
상기 인트라 예측 프로세스에서 사용되는 주 참조 측면(main reference side)의 크기는,
상기 서브픽셀 오프셋의 최대 비정수(non-integer) 값의 정수 부분 - 인트라 예측 모드는 이용가능한 인트라 예측 모드의 세트 중에서, 상기 서브픽셀 오프셋의 상기 최대 비정수(non-integer) 값을 제공하는 것임 - 과,
상기 블록의 측면의 크기와,
상기 보간 필터의 길이의 절반의 합으로 결정되는,
방법.
- 제1항에 있어서,
상기 인트라 예측 모드가 수직 인트라 예측 모드 VER_IDX보다 큰 경우, 예측된 샘플의 상기 블록의 상기 측면은 상기 블록의 폭이거나, 또는
상기 인트라 예측 모드가 수평 인트라 예측 모드 HOR_IDX보다 작은 경우, 상기 블록의 상기 측면은 상기 블록의 높이인,
방법.
- 제1항 또는 제2항에 있어서,
상기 주 참조 측면에서, 상기 블록의 상기 측면의 배가된(doubled) 크기보다 더 큰 위치를 가진 참조 샘플의 값은 상기 블록의 상기 측면의 상기 크기의 배가된 크기에 위치된 샘플의 값과 같도록 설정된,
방법.
- 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 주 참조 측면의 제1 참조 샘플 및/또는 마지막 참조 샘플을 좌측 및/또는 우측에 각각 복제함으로써 패딩이 수행되되,
상기 주 참조 측면을 ref로, 그리고 상기 주 참조 측면의 상기 크기를 refS로 표기하면, 상기 패딩은:
ref[-1] = p[0] 및/또는
ref[refS+1] = p[refS]으로서 표현되되,
ref[-1]은 상기 주 참조 측면에 대한 상기 좌측의 값을 나타내고,
p[0]은 상기 주 참조 측면의 상기 제1 참조 샘플의 값을 나타내고,
ref[refS+1]은 상기 주 참조 측면에 대한 상기 우측의 값을 나타내고,
p[refS]는 상기 주 참조 측면의 상기 마지막 참조 샘플의 값을 나타내는,
방법.
- 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 인트라 예측 프로세스에서 사용되는 상기 보간 필터는 유한 임펄스 응답 필터(finite impulse response filter)이고 상기 보간 필터의 계수는 룩업 테이블(look-up table)로부터 페치되는(fetched),
방법.
- 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 인트라 예측 프로세스에서 사용되는 상기 보간 필터는 4 탭 필터(4 tap filter)인,
방법.
- 제6항에 있어서,
상기 보간 필터의 계수 c0, c1, c2 및 c3는 다음과 같이 상기 서브픽셀 오프셋의 비정수 부분에 의존하되,
여기서 "서브픽셀 오프셋의 비정수 부분" 열은 1/32 서브픽셀 해상도로 정의되는,
방법.
- 제6항에 있어서,
상기 보간 필터의 계수 c0, c1, c2 및 c3는 다음과 같이 상기 서브픽셀 오프셋의 비정수 부분에 의존하되,
여기서 "서브픽셀 오프셋의 비정수 부분" 열은 1/32 서브픽셀 해상도로 정의되는,
방법.
- 제6항에 있어서,
상기 보간 필터의 계수 c0, c1, c2 및 c3는 다음과 같이 상기 서브픽셀 오프셋의 비정수 부분에 의존하되,
여기서 "서브픽셀 오프셋의 비정수 부분" 열은 1/32 서브픽셀 해상도로 정의되는,
방법.
- 제1항 내지 제9항 중 어느 한 항에 있어서,
상기 보간 필터는 주어진 서브픽셀 오프셋에 대해 상기 인트라 예측 프로세스를 위해 사용되는 필터의 세트로부터 선택되는,
방법.
- 제10항에 있어서,
필터의 상기 세트는 가우스 필터(Gauss filter) 및 큐빅 필터(Cubic filter)를 포함하는,
방법.
- 제1항 내지 제11항 중 어느 한 항에 있어서,
상기 보간 필터의 수량은 N이고, 상기 N개의 보간 필터는 인트라 참조 샘플 보간을 위해 사용되고 N>=1이고 양의 정수인,
방법.
- 제1항 내지 제12항 중 어느 한 항에 있어서,
상기 참조 샘플은 상기 블록에 인접하지 않은 샘플을 포함하는,
방법.
- 처리 회로를 포함하는 인코더로서,
상기 처리 회로는 제1항 내지 제13항 중 어느 한 항에 따른 방법을 수행하도록 구성되는,
인코더.
- 비디오 신호를 위한 인코딩된 비트스트림를 포함하는 컴퓨터 판독가능 매체로서, 상기 인코딩된 비트스트림은 비디오 인코딩 방법에 의하여 생성되며, 상기 방법은,
블록의 인트라 예측 프로세스(intra-prediction process)를 수행하여 상기 블록의 예측된 샘플 값을 획득하는 단계 - 상기 블록의 상기 인트라 예측 프로세스 동안에 상기 블록의 참조 샘플에 보간 필터(interpolation filter)가 적용됨 - 와,
상기 블록의 샘플 값과 상기 블록의 상기 예측된 샘플 값에 따라 잔차 정보 (residual information)를 획득하는 단계와,
상기 잔차 정보에 변환, 양자화 및 엔트로피 코딩을 수행하여 인코딩된 비트스트림을 획득하는 단계를 포함하며,
상기 보간 필터는 상기 참조 샘플 및 예측될 샘플 간의 서브픽셀 오프셋(subpixel offset)을 기반으로 선택되고,
상기 인트라 예측 프로세스에서 사용되는 주 참조 측면(main reference side)의 크기는,
상기 서브픽셀 오프셋의 최대 비정수(non-integer) 값의 정수 부분 - 인트라 예측 모드는 이용가능한 인트라 예측 모드의 세트 중에서, 상기 서브픽셀 오프셋의 최대 비정수(non-integer) 값을 제공하는 것임 - 과,
상기 블록의 측면의 크기와,
상기 보간 필터의 길이의 절반의 합으로 결정되는,
컴퓨터 판독가능 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020247031610A KR20240145061A (ko) | 2018-10-06 | 2019-10-07 | 보간 필터를 사용하는 인트라 예측을 위한 방법 및 장치 |
Applications Claiming Priority (10)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862742300P | 2018-10-06 | 2018-10-06 | |
| US62/742,300 | 2018-10-06 | ||
| US201862744096P | 2018-10-10 | 2018-10-10 | |
| US62/744,096 | 2018-10-10 | ||
| US201862753055P | 2018-10-30 | 2018-10-30 | |
| US62/753,055 | 2018-10-30 | ||
| US201862757150P | 2018-11-07 | 2018-11-07 | |
| US62/757,150 | 2018-11-07 | ||
| KR1020217013237A KR102618466B1 (ko) | 2018-10-06 | 2019-10-07 | 보간 필터를 사용하는 인트라 예측을 위한 방법 및 장치 |
| PCT/RU2019/050178 WO2020071969A1 (en) | 2018-10-06 | 2019-10-07 | Method and apparatus for intra prediction using an interpolation filter |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217013237A Division KR102618466B1 (ko) | 2018-10-06 | 2019-10-07 | 보간 필터를 사용하는 인트라 예측을 위한 방법 및 장치 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247031610A Division KR20240145061A (ko) | 2018-10-06 | 2019-10-07 | 보간 필터를 사용하는 인트라 예측을 위한 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20240006079A true KR20240006079A (ko) | 2024-01-12 |
| KR102710907B1 KR102710907B1 (ko) | 2024-09-26 |
Family
ID=70055104
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237044371A KR102710907B1 (ko) | 2018-10-06 | 2019-10-07 | 보간 필터를 사용하는 인트라 예측을 위한 방법 및 장치 |
| KR1020217013237A KR102618466B1 (ko) | 2018-10-06 | 2019-10-07 | 보간 필터를 사용하는 인트라 예측을 위한 방법 및 장치 |
| KR1020247031610A KR20240145061A (ko) | 2018-10-06 | 2019-10-07 | 보간 필터를 사용하는 인트라 예측을 위한 방법 및 장치 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217013237A KR102618466B1 (ko) | 2018-10-06 | 2019-10-07 | 보간 필터를 사용하는 인트라 예측을 위한 방법 및 장치 |
| KR1020247031610A KR20240145061A (ko) | 2018-10-06 | 2019-10-07 | 보간 필터를 사용하는 인트라 예측을 위한 방법 및 장치 |
Country Status (12)
| Country | Link |
|---|---|
| US (2) | US11750837B2 (ko) |
| EP (1) | EP3847813A4 (ko) |
| JP (2) | JP7250917B2 (ko) |
| KR (3) | KR102710907B1 (ko) |
| CN (4) | CN117041554A (ko) |
| AU (2) | AU2019355737B2 (ko) |
| BR (1) | BR112021006522A2 (ko) |
| CA (1) | CA3115194C (ko) |
| MX (1) | MX2021003912A (ko) |
| SG (1) | SG11202103441TA (ko) |
| WO (1) | WO2020071969A1 (ko) |
| ZA (1) | ZA202102992B (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117041554A (zh) * | 2018-10-06 | 2023-11-10 | 华为技术有限公司 | 使用插值滤波器进行帧内预测的方法和装置 |
| CN117915085A (zh) * | 2018-10-07 | 2024-04-19 | 三星电子株式会社 | 用于编码或解码视频信号的视频信号处理方法和设备 |
| PT3891980T (pt) * | 2018-12-21 | 2024-07-22 | Huawei Tech Co Ltd | Método e aparelho de filtragem de interpolação para codificação preditiva |
| CN113785572B (zh) * | 2019-05-02 | 2022-12-16 | 北京字节跳动网络技术有限公司 | 使用多个参考滤波器的帧内视频编解码 |
| KR20200127897A (ko) * | 2019-05-03 | 2020-11-11 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
| WO2020256324A1 (ko) * | 2019-06-18 | 2020-12-24 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
| WO2021126017A2 (en) * | 2020-04-29 | 2021-06-24 | Huawei Technologies Co., Ltd. | Method and apparatus of subsample interpolation filtering |
| CN113887737B (zh) * | 2021-09-23 | 2024-05-17 | 北京工商大学 | 一种基于机器学习的样本集自动生成方法 |
| WO2023219289A1 (ko) * | 2022-05-12 | 2023-11-16 | 현대자동차주식회사 | 참조 화소에 기초하는 인트라 예측모드 유도를 위한 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180091825A1 (en) * | 2016-09-28 | 2018-03-29 | Qualcomm Incorporated | Interpolation filters for intra prediction in video coding |
| KR102618466B1 (ko) * | 2018-10-06 | 2023-12-27 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 보간 필터를 사용하는 인트라 예측을 위한 방법 및 장치 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8130825B2 (en) * | 2004-05-10 | 2012-03-06 | Nvidia Corporation | Processor for video data encoding/decoding |
| US7958177B2 (en) * | 2006-11-29 | 2011-06-07 | Arcsoft, Inc. | Method of parallelly filtering input data words to obtain final output data words containing packed half-pel pixels |
| US20120243611A1 (en) * | 2009-12-22 | 2012-09-27 | Sony Corporation | Image processing apparatus and method as well as program |
| JP2011146980A (ja) * | 2010-01-15 | 2011-07-28 | Sony Corp | 画像処理装置および方法 |
| CN105049844B (zh) * | 2010-09-30 | 2017-07-28 | 三星电子株式会社 | 通过使用平滑插值滤波器对图像进行插值的方法和装置 |
| US20120163460A1 (en) * | 2010-12-23 | 2012-06-28 | Qualcomm Incorporated | Sub-pixel interpolation for video coding |
| US9172972B2 (en) * | 2011-01-05 | 2015-10-27 | Qualcomm Incorporated | Low complexity interpolation filtering with adaptive tap size |
| RU2595262C2 (ru) * | 2011-06-28 | 2016-08-27 | Самсунг Электроникс Ко., Лтд. | Способ для интерполяции изображений с использованием асимметричного интерполяционного фильтра и устройство для этого |
| JP5711098B2 (ja) * | 2011-11-07 | 2015-04-30 | 日本電信電話株式会社 | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム |
| WO2013109867A1 (en) * | 2012-01-19 | 2013-07-25 | Futurewei Technologies, Inc. | Simplification of mode dependent intra smoothing |
| US9451254B2 (en) * | 2013-07-19 | 2016-09-20 | Qualcomm Incorporated | Disabling intra prediction filtering |
| US11463689B2 (en) * | 2015-06-18 | 2022-10-04 | Qualcomm Incorporated | Intra prediction and intra mode coding |
| US10194170B2 (en) * | 2015-11-20 | 2019-01-29 | Mediatek Inc. | Method and apparatus for video coding using filter coefficients determined based on pixel projection phase |
| KR102346713B1 (ko) * | 2016-04-12 | 2022-01-03 | 세종대학교산학협력단 | 인트라 예측 기반의 비디오 신호 처리 방법 및 장치 |
| US10972733B2 (en) * | 2016-07-15 | 2021-04-06 | Qualcomm Incorporated | Look-up table for enhanced multiple transform |
| KR20200117071A (ko) * | 2017-07-17 | 2020-10-13 | 한양대학교 산학협력단 | 영상 부호화/복호화 방법 및 장치 |
| US11190764B2 (en) * | 2018-07-06 | 2021-11-30 | Qualcomm Incorporated | Merged mode dependent intra smoothing (MDIS) and intra interpolation filter switching with position dependent intra prediction combination (PDPC) |
| WO2020055208A1 (ko) * | 2018-09-14 | 2020-03-19 | 엘지전자 주식회사 | 인트라 예측을 수행하는 영상 예측 방법 및 장치 |
-
2019
- 2019-10-07 CN CN202310852078.5A patent/CN117041554A/zh active Pending
- 2019-10-07 BR BR112021006522A patent/BR112021006522A2/pt unknown
- 2019-10-07 WO PCT/RU2019/050178 patent/WO2020071969A1/en active Application Filing
- 2019-10-07 KR KR1020237044371A patent/KR102710907B1/ko active IP Right Grant
- 2019-10-07 AU AU2019355737A patent/AU2019355737B2/en active Active
- 2019-10-07 JP JP2021518698A patent/JP7250917B2/ja active Active
- 2019-10-07 CN CN201980065593.0A patent/CN112868232B/zh active Active
- 2019-10-07 KR KR1020217013237A patent/KR102618466B1/ko active IP Right Grant
- 2019-10-07 EP EP19868255.1A patent/EP3847813A4/en active Pending
- 2019-10-07 MX MX2021003912A patent/MX2021003912A/es unknown
- 2019-10-07 KR KR1020247031610A patent/KR20240145061A/ko unknown
- 2019-10-07 CA CA3115194A patent/CA3115194C/en active Active
- 2019-10-07 CN CN202310853639.3A patent/CN117041555A/zh active Pending
- 2019-10-07 SG SG11202103441TA patent/SG11202103441TA/en unknown
- 2019-10-07 CN CN202310851277.4A patent/CN117041553A/zh active Pending
-
2021
- 2021-04-06 US US17/223,758 patent/US11750837B2/en active Active
- 2021-05-04 ZA ZA2021/02992A patent/ZA202102992B/en unknown
-
2023
- 2023-03-22 JP JP2023045836A patent/JP2023088997A/ja active Pending
- 2023-09-04 US US18/460,607 patent/US20240121432A1/en active Pending
- 2023-10-05 AU AU2023241331A patent/AU2023241331B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180091825A1 (en) * | 2016-09-28 | 2018-03-29 | Qualcomm Incorporated | Interpolation filters for intra prediction in video coding |
| KR102618466B1 (ko) * | 2018-10-06 | 2023-12-27 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 보간 필터를 사용하는 인트라 예측을 위한 방법 및 장치 |
Non-Patent Citations (1)
| Title |
|---|
| Geert Van der Auwera 등, CE3: Intra reference sample interpolation filter selection using MDIS conditions(Test 3.1.2), JVET-L0324-v2, 2018.10.02. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117041555A (zh) | 2023-11-10 |
| CN117041554A (zh) | 2023-11-10 |
| CA3115194C (en) | 2024-03-05 |
| AU2023241331B2 (en) | 2024-10-10 |
| AU2019355737B2 (en) | 2023-07-06 |
| EP3847813A4 (en) | 2021-11-10 |
| KR20210068542A (ko) | 2021-06-09 |
| ZA202102992B (en) | 2022-10-26 |
| SG11202103441TA (en) | 2021-05-28 |
| KR102618466B1 (ko) | 2023-12-27 |
| CA3115194A1 (en) | 2020-04-09 |
| JP7250917B2 (ja) | 2023-04-03 |
| MX2021003912A (es) | 2021-09-08 |
| KR102710907B1 (ko) | 2024-09-26 |
| CN117041553A (zh) | 2023-11-10 |
| KR20240145061A (ko) | 2024-10-04 |
| JP2022504311A (ja) | 2022-01-13 |
| AU2019355737A1 (en) | 2021-05-13 |
| AU2023241331A1 (en) | 2023-10-26 |
| CN112868232B (zh) | 2023-07-11 |
| CN112868232A (zh) | 2021-05-28 |
| WO2020071969A1 (en) | 2020-04-09 |
| EP3847813A1 (en) | 2021-07-14 |
| US20210258608A1 (en) | 2021-08-19 |
| US20240121432A1 (en) | 2024-04-11 |
| BR112021006522A2 (pt) | 2021-07-06 |
| US11750837B2 (en) | 2023-09-05 |
| JP2023088997A (ja) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102618466B1 (ko) | 보간 필터를 사용하는 인트라 예측을 위한 방법 및 장치 | |
| JP7355829B2 (ja) | ビデオエンコーダ、ビデオデコーダ、及び対応する方法 | |
| US11856228B2 (en) | Deblocking filter for sub-partition boundaries caused by intra sub-partition coding tool | |
| US20240121446A1 (en) | Encoder, a decoder and corresponding methods of deblocking filter adaptation | |
| JP2023100834A (ja) | モードおよびサイズに依存したブロックレベル制限の方法および装置 | |
| US11503290B2 (en) | Video encoder, video decoder and methods | |
| WO2020073882A1 (en) | Video decoder and corresponding methods | |
| KR102725069B1 (ko) | 모드 및 크기 의존적 블록 레벨 제한의 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |