KR102694040B1 - 예측 방법 및 장치 - Google Patents
예측 방법 및 장치 Download PDFInfo
- Publication number
- KR102694040B1 KR102694040B1 KR1020237022401A KR20237022401A KR102694040B1 KR 102694040 B1 KR102694040 B1 KR 102694040B1 KR 1020237022401 A KR1020237022401 A KR 1020237022401A KR 20237022401 A KR20237022401 A KR 20237022401A KR 102694040 B1 KR102694040 B1 KR 102694040B1
- Authority
- KR
- South Korea
- Prior art keywords
- intra prediction
- mode
- coding block
- current coding
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 145
- 239000013074 reference sample Substances 0.000 claims abstract description 147
- 238000012545 processing Methods 0.000 claims abstract description 74
- 238000001914 filtration Methods 0.000 claims abstract description 57
- 230000008569 process Effects 0.000 claims description 79
- 238000004590 computer program Methods 0.000 claims description 17
- 230000005055 memory storage Effects 0.000 claims 2
- 239000000523 sample Substances 0.000 description 75
- 230000006854 communication Effects 0.000 description 31
- 238000004891 communication Methods 0.000 description 31
- 238000006243 chemical reaction Methods 0.000 description 17
- 241000023320 Luma <angiosperm> Species 0.000 description 15
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 15
- 230000006835 compression Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 14
- 238000000638 solvent extraction Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000013139 quantization Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 238000005192 partition Methods 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 8
- 238000003491 array Methods 0.000 description 8
- 238000009795 derivation Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 230000011664 signaling Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- IESVDEZGAHUQJU-ZLBXKVHBSA-N 1-hexadecanoyl-2-(4Z,7Z,10Z,13Z,16Z,19Z-docosahexaenoyl)-sn-glycero-3-phosphocholine Chemical compound CCCCCCCCCCCCCCCC(=O)OC[C@H](COP([O-])(=O)OCC[N+](C)(C)C)OC(=O)CC\C=C/C\C=C/C\C=C/C\C=C/C\C=C/C\C=C/CC IESVDEZGAHUQJU-ZLBXKVHBSA-N 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
본 개시는 비디오 인코딩 또는 디코딩에서 현재 블록의 인트라 예측을 위한 방법 및 장치를 제공한다. 이 방법은 하나 이상의 참조 블록에서의 참조 샘플에 적용되는 참조 샘플 필터링 또는 서브 픽셀 보간 필터링을 포함하는 방향성 인트라 예측 모드에 따라 현재 블록의 인트라 예측 처리를 수행하는 단계를 포함하며, 여기서 방향성 인트라 예측 모드는 다음 그룹: (A) 수직 또는 수평 모드, (B) 45 도의 배수인 각도를 나타내는 대각선 모드를 포함한 방향성 모드, (C) 나머지 방향성 모드 중 어느 하나로 분류되고, 방향성 인트라 예측 모드가 그룹 B에 속하는 것으로 분류되면 참조 샘플 필터가 참조 샘플에 적용되고, 방향성 인트라 예측 모드가 그룹 C에 속하는 것으로 분류되면 인트라 참조 샘플 보간 필터가 참조 샘플에 적용된다.
Description
본 개시는 이미지 및/또는 비디오 코딩 및 디코딩의 기술 분야에 관한 것으로, 특히 인트라/인터 예측을 위한 방법 및 장치에 관한 것이다.
비디오 코딩(비디오 인코딩 및 디코딩)은, 브로드 캐스트 디지털 TV, 인터넷 및 모바일 네트워크를 통한 비디오 전송, 화상 채팅과 같은 실시간 대화 애플리케이션, 화상 회의, DVD 및 블루레이 디스크, 비디오 컨텐츠 획득 및 편집 시스템, 및 보안 애플리케이션의 캠코더와 같은 광범위한 디지털 비디오 애플리케이션에 사용된다.
비교적 짧은 비디오를 묘사하는 데 필요한 비디오 데이터의 양은 상당할 수 있으며, 이는 데이터가 스트리밍되거나 대역폭 용량이 제한된 통신 네트워크를 통해 통신할 때 어려움을 초래할 수 있다. 따라서 비디오 데이터는 일반적으로 현대 통신 네트워크를 통해 통신되기 전에 압축된다. 메모리 자원이 제한될 수 있으므로 비디오가 저장 장치에 저장될 때 비디오의 크기가 문제가 될 수도 있다. 비디오 압축 장치는 종종 소스에서 소프트웨어 및/또는 하드웨어를 사용하여 전송 또는 저장 전에 비디오 데이터를 코딩하여 디지털 비디오 이미지를 표현하는 데 필요한 데이터 양을 줄이다. 압축된 데이터는 비디오 데이터를 디코딩하는 비디오 압축 해제 장치에 의해 목적지에서 수신된다. 제한된 네트워크 자원과 더 높은 비디오 품질에 대한 요구가 계속 증가함에 따라 화질을 거의 또는 전혀 희생하지 않고 압축률을 향상시키는 개선된 압축 및 압축 해제 기술이 바람직한다.
디지털 비디오는 DVD 디스크의 도입 이후 널리 사용되었다. 전송 전에 비디오는 전송 매체를 사용하여 인코딩되고 전송된다. 시청자는 비디오를 수신하고 시청 장치를 사용하여 비디오를 디코딩하고 표시한다. 예를 들어 더 높은 해상도, 색상 깊이 및 프레임 속도로 인해 비디오 품질이 수년에 걸쳐 향상되었다. 이것은 오늘날 인터넷과 이동 통신 네트워크를 통해 일반적으로 전송되는 더 큰 데이터 스트림으로 이어졌다.
그러나 고해상도 비디오는 일반적으로 정보가 많기 때문에 더 많은 대역폭이 필요하다. 대역폭 요구를 줄이기 위해 비디오 압축과 관련된 비디오 코딩 표준이 도입되었다. 비디오가 인코딩되면 대역폭 요구(또는 스토리지의 경우 해당 메모리 요구)가 줄어 든다. 종종 이러한 감소는 품질을 희생한다. 따라서 비디오 코딩 표준은 대역폭 요구와 품질 간의 균형을 찾으려 한다.
고효율 비디오 코딩(HEVC)은 통상의 기술자에게 일반적으로 알려진 비디오 코딩 표준의 예이다. HEVC에서 코딩 단위(CU)를 예측 단위(PU) 또는 변환 단위(TU)로 분할한다. VVC(Versatile Video Coding) 차세대 표준은 ITU-T VCEG(Video Coding Experts Group) 및 ISO/IEC MPEG(Moving Picture Experts Group) 표준화 조직의 가장 최근 공동 비디오 프로젝트로, JVET(Joint Video Exploration Team)으로 알려진 파트너십을 통해 함께 작업되고 있다. VVC는 ITU-T H.266/NGVC(Next Generation Video Coding) 표준이라고도 한다. VVC에서는, 다중 파티션 유형의 개념이 제거되어야 하는데, 즉 고 CU 파티션 모양에 대해 더 큰 유연성을 지원해야 하는데, 즉, 최대 변환 길이에 비해 크기가 너무 큰 CU에 대해 필요한 경우를 제외하고 CU, PU 및 TU 분리의 개념이 제거되어야 한다.
이러한 코딩 단위(CU)(블록이라고도 함)의 처리는 크기, 공간 위치 및 인코더에 의해 지정된 코딩 모드에 따라 달라진다. 코딩 모드는 예측 유형은 예측 유형에 따라 2개 그룹으로 분류될 수 있다: 인트라 예측 모드와 인터 예측 모드. 인트라 예측 모드는 재구성되는 블록의 샘플에 대한 예측 값을 계산하기 위해 참조 샘플을 생성하기 위해 동일한 픽처의 샘플(프레임 또는 이미지라고도 함)을 사용한다. 인트라 예측은 공간(적) 예측이라고도 한다. 인터 예측 모드는 시간(적) 예측을 위해 설계되었으며 이전 또는 다음 픽처의 참조 샘플을 사용하여 현재 픽처 블록의 샘플을 예측한다.
ITU-T VCEG(Q6/16) 및 ISO/IEC MPEG(JTC 1/SC 29/WG 11)는 현재 HEVC 표준을 훨씬 능가하는 압축 기능을 갖춘 미래 비디오 코딩 기술의 표준화에 대한 잠재적 필요성을 연구하고 있다(화면 컨텐츠 코딩(screen content coding) 및 높은 동적 범위 코딩(high-dynamic-range coding)을 위한 현재 확장(current extensions) 및 단기 확장(near-term extension)을 포함). 이 그룹은 이 분야의 전문가가 제안한 압축 기술 설계를 평가하기 위해 JVET(Joint Video Exploration Team)로 알려진 공동 협력 노력으로 이 연구 활동에 협력하고 있다.
VTM(Versatile Test Model) 표준은 35개의 인트라 모드를 사용하는 반면 BMS(Benchmark Set)는 67개의 인트라 모드를 사용한다.
현재 BMS에서 설명하는 인트라 모드 코딩 방식은 복잡하고, 선택되지 않은 모드 집합의 단점은 인덱스 리스트이 항상 일정하고 현재 블록 속성(예: 이웃 블록 INTRA 모드)에 따라 적응적이지 않다는 것이다.
본 출원의 실시예들은 독립 청구항에 따른 인코딩 및 디코딩 방법 및 장치를 제공한다.
상기한 그리고 기타 목적은 독립 청구항의 발명에 의해 달성된다. 추가 구현 형태는 종속 청구항, 설명 및 도면으로부터 명백하다.
제1 측면에 따르면, 본 발명은 비디오 인코딩 또는 디코딩에서 현재 블록의 인트라 예측을 위한 방법에 관한 것으로서, 이 방법은, 하나 이상의 참조 블록에서의 참조 샘플에 적용되는 참조 샘플 필터링 또는 서브 픽셀 보간 필터링(subpixel interpolation filtering)을 포함하는 방향성 인트라 예측 모드에 따라 현재 블록의 인트라 예측 처리를 수행하는 단계를 포함하고; 상기 방향성 인트라 예측 모드는 다음 그룹: A. 수직 또는 수평 모드, B. 45도의 배수인 각도를 나타내는 대각선 모드를 포함한 방향성 모드, C. 나머지 방향성 모드 중 하나로 분류되고; 상기 방향성 인트라 예측 모드가 그룹 B에 속하는 것으로 분류되면 참조 샘플 필터가 참조 샘플에 적용되고; 상기 방향성 인트라 예측 모드가 그룹 C에 속하는 것으로 분류되면 인트라 참조 샘플 보간 필터가 참조 샘플에 적용된다.
일 실시예에서, 상기 방향성 인트라 예측 모드가 그룹 A에 속하는 것으로 분류되면, 인트라 예측자를 생성하기 위해 상기 참조 샘플에 필터가 적용되지 않는다.
일 실시예에서, 상기 방향성 인트라 예측 모드가 그룹 B에 속하는 것으로 분류되면, 참조 샘플 필터를 참조 샘플에 적용하여 상기 방향성 인트라 예측 모드에 따라 필터링된 값을 인트라 예측자로 복사하고; 상기 방향성 인트라 예측 모드가 그룹 C에 속하는 것으로 분류되면, 인트라 참조 샘플 보간 필터를 참조 샘플에 적용하여 상기 방향성 인트라 예측 모드에 따라 참조 샘플들 사이의 분수 또는 정수 위치에 속하는 예측된 샘플을 생성한다.
일 실시예에서, 상기 인트라 예측 처리의 참조 샘플 필터는 3-탭 필터(3-tap filter)이다.
예를 들어, 상기 인트라 예측 처리의 참조 샘플 필터는 [1, 2, 1]의 3-탭 필터이다.
일 실시예에서, 주어진 서브 픽셀 오프셋에 대한 인트라 예측 처리의 보간 필터는 필터 세트로부터 선택되고, 그 중 하나는 인터 예측 처리를 위한 필터와 동일하다.
일 실시예에서, 보간 필터는 4개 탭의 길이와 6개 비트 계수의 정밀도를 갖는다.
일 실시예에서, 그룹 B는 광각 정수 경사 모드를 더 포함한다.
예를 들어, 상기 광각 정수 경사 모드는 수평, 수직 및 대각선 이외의 방향성 인트라 예측 모드이고, 여기서 현재 블록의 각 예측된 샘플에 대한 참조 샘플 위치는 분수가 아닌(non-fractional) 것이다.
일 실시예에서, 그룹 B는 인트라 예측 각도 파라미터의 값이 32의 0이 아닌 배수 인 인트라 예측 모드를 더 포함한다.
일 실시예에서, 상기 그룹 B는 인트라 예측 모드: [-14, -12, -10, -6, 2, 34, 66, 72, 76, 78, 80] 중 하나 또는 모두를 포함한다.
제2 측면에 따르면, 본 발명은 비디오 인코딩 또는 디코딩에서 현재 블록의 인트라 예측을 위한 장치에 관한 것으로, 이 장치는 하나 이상의 참조 블록에서의 참조 샘플에 적용되는 참조 샘플 필터링 또는 서브 픽셀 보간 필터링을 포함하는 방향성 인트라 예측 모드에 따라 현재 블록의 인트라 예측 처리를 수행하도록 구성된 처리 회로를 포함하고, 상기 방향성 인트라 예측 모드는 다음 그룹: A. 수직 또는 수평 모드, B. 45도의 배수인 각도를 나타내는 대각선 모드를 포함한 방향성 모드, C. 나머지 방향성 모드 중 하나로 분류되며, 상기 방향성 인트라 예측 모드가 그룹 B에 속하는 것으로 분류되면, 참조 샘플 필터가 참조 샘플에 적용되고, 상기 방향성 인트라 예측 모드가 그룹 C에 속하는 것으로 분류되면, 인트라 참조 샘플 보간 필터가 참조 샘플에 적용된다.
본 발명의 제2 측면에 따른 장치의 추가 특징 및 구현 형태는 본 발명의 제1 측면에 따른 장치의 특징 및 구현 형태에 대응한다.
제3 측면에 따르면, 본 발명은 컴퓨터 또는 프로세서에서 실행될 때 전술한 방법 중 어느 하나를 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품에 관한 것이다.
하나 이상의 실시예의 세부 사항은 첨부된 도면 및 아래의 설명에서 설명된다. 다른 특징, 목적 및 이점은 설명, 도면 및 청구 범위로부터 명백해질 것이다.
다음의 실시예는 첨부된 도면 및 도면을 참조하여 더 상세하게 설명된다.
도 1은 본 발명의 실시예를 구현하도록 구성된 비디오 코딩 시스템의 예를 보여주는 블록도이다.
도 2는 본 발명의 실시예를 구현하도록 구성된 비디오 인코더의 예를 보여주는 블록도이다.
도 3은 본 발명의 실시예를 구현하도록 구성된 비디오 디코더의 예시적인 구조를 나타내는 블록도이다.
도 4는 67개의 인트라 예측 모드를 예시하는 개략도를 보여준다.
도 5는 인트라 및 인터 예측에서 상이한 보간 필터의 제1 사용예를 예시한다.
도 6은 인트라 및 인터 예측에서 상이한 보간 필터의 제2 사용예를 예시한다.
도 7은 인트라 및 인터 예측에서 상이한 보간 필터의 제3 사용예를 예시한다.
도 8은 인트라 및 인터 예측된 샘플에 사용되는 공통 보간 필터의 사용을 예시한다.
도 9는 모션 보상에서 색차 샘플의 예측에 관여하고 인트라 예측을 수행할 때 휘도 및 색차 샘플을 예측하는 필터링 모듈을 사용하는 실시예를 예시한다.
도 10은 하드웨어 필터링 모듈이 ROM에 저장된 계수를 로드하는 실시예를 예시한다.
도 11은 복수의 인트라 예측 모드의 개략도를 예시한다.
도 12는 정사각형이 아닌 블록에서 대각선보다 더 작고 또 더 큰 모드에 대한 보간 필터 선택의 예를 예시한다.
도 13은 QTBT(Quadtree plus Binary Tree) 블록 파티셔닝을 보여준다.
도 14는 블록의 수평 및 수직 방향을 보여준다.
도 15는 정사각형이 아닌 블록에 대한 보간 필터의 선택을 개략적으로 예시한다.
도 16은 정사각형이 아닌 블록에 대한 참조 샘플 보간 필터 선택에 대한 실시예를 도시한다.
도 17은 정사각형이 아닌 블록에 대한 참조 샘플 보간 필터 선택에 대한 대안적인 실시예를 도시한다.
도 18은 93개의 인트라 예측 방향을 예시하는 개략도를 도시한다.
도 19는 일 실시예에 따른 장치의 블록도를 도시한다.
도 20은 다른 실시예에 따른 장치의 블록도를 보여준다.
도 21은 인트라 예측 모드를 사용하여 예측할 블록을 보여준다.
도 1은 본 발명의 실시예를 구현하도록 구성된 비디오 코딩 시스템의 예를 보여주는 블록도이다.
도 2는 본 발명의 실시예를 구현하도록 구성된 비디오 인코더의 예를 보여주는 블록도이다.
도 3은 본 발명의 실시예를 구현하도록 구성된 비디오 디코더의 예시적인 구조를 나타내는 블록도이다.
도 4는 67개의 인트라 예측 모드를 예시하는 개략도를 보여준다.
도 5는 인트라 및 인터 예측에서 상이한 보간 필터의 제1 사용예를 예시한다.
도 6은 인트라 및 인터 예측에서 상이한 보간 필터의 제2 사용예를 예시한다.
도 7은 인트라 및 인터 예측에서 상이한 보간 필터의 제3 사용예를 예시한다.
도 8은 인트라 및 인터 예측된 샘플에 사용되는 공통 보간 필터의 사용을 예시한다.
도 9는 모션 보상에서 색차 샘플의 예측에 관여하고 인트라 예측을 수행할 때 휘도 및 색차 샘플을 예측하는 필터링 모듈을 사용하는 실시예를 예시한다.
도 10은 하드웨어 필터링 모듈이 ROM에 저장된 계수를 로드하는 실시예를 예시한다.
도 11은 복수의 인트라 예측 모드의 개략도를 예시한다.
도 12는 정사각형이 아닌 블록에서 대각선보다 더 작고 또 더 큰 모드에 대한 보간 필터 선택의 예를 예시한다.
도 13은 QTBT(Quadtree plus Binary Tree) 블록 파티셔닝을 보여준다.
도 14는 블록의 수평 및 수직 방향을 보여준다.
도 15는 정사각형이 아닌 블록에 대한 보간 필터의 선택을 개략적으로 예시한다.
도 16은 정사각형이 아닌 블록에 대한 참조 샘플 보간 필터 선택에 대한 실시예를 도시한다.
도 17은 정사각형이 아닌 블록에 대한 참조 샘플 보간 필터 선택에 대한 대안적인 실시예를 도시한다.
도 18은 93개의 인트라 예측 방향을 예시하는 개략도를 도시한다.
도 19는 일 실시예에 따른 장치의 블록도를 도시한다.
도 20은 다른 실시예에 따른 장치의 블록도를 보여준다.
도 21은 인트라 예측 모드를 사용하여 예측할 블록을 보여준다.
다음의 설명에서, 본 개시의 일부를 형성하고 본 발명이 배치될 수 있는 특정 측면이 예시로서 도시된 첨부된 도면을 참조한다. 본 발명의 실시예는 다른 측면에서 사용될 수 있고 도면에 도시되지 않은 구조적 또는 논리적 변경을 포함할 수 있음을 이해해야 한다. 따라서 다음의 상세한 설명은 제한적인 의미로 받아들여서는 안되며, 본 발명의 범위는 첨부된 청구 범위에 의해 정의된다.
예를 들어, 설명된 방법과 관련된 개시는 또한 방법을 수행하도록 구성된 대응하는 장치 또는 시스템에 대해 유효할 수 있고 그 반대의 경우도 마찬가지인 것으로 이해된다. 예를 들어, 하나 또는 복수의 특정 방법 단계가 설명된 경우, 대응하는 장치는 예를 들어 설명된 하나 또는 복수의 방법 단계를 수행하기 위한 하나 또는 복수의 유닛, 예컨대 기능 유닛(예: 하나 또는 복수의 단계를 수행하는 하나의 유닛, 또는 복수의 단계 중 하나 이상을 각각 수행하는 복수의 유닛)을 포함할 수 있으며, 그러한 하나 이상의 유닛이 명시적으로 도면에 도시되지 않거나 설명되지 않더라도 그러하다. 반면에, 예를 들어, 특정 장치가 하나 또는 복수의 유닛, 예컨대 기능 유닛에 기초하여 기술되는 경우, 대응하는 방법은 하나 또는 복수의 유닛의 기능을 수행하는 하나의 단계(예를 들어, 하나 또는 복수의 유닛의 기능을 수행하는 하나의 단계, 또는 각각 하나 이상의 기능을 수행하는 복수의 단계)를 포함할 수 있으며, 그러한 하나 또는 복수의 단계가 도면에 명시적으로 도시되지 않거나 설명되지 않더라도 그러하다. 또한, 본 명세서에 설명된 다양한 예시적인 실시예들 및/또는 측면들의 특징들은 특별히 달리 언급되지 않는 한 서로 결합될 수 있다는 것을 이해해야 한다.
비디오 코딩은 일반적으로 비디오 또는 비디오 시퀀스를 형성하는 일련의 픽처를 처리하는 것을 말한다. 픽처, 이미지 또는 프레임이라는 용어는 비디오 코딩 분야 및 이 애플리케이션에서 동의어로 사용될 수 있다. 각 픽처는 일반적으로 겹치지 않는 블록 세트로 파티셔닝된다. 픽처의 인코딩/디코딩은 일반적으로 블록 레벨에서 수행된다. 예컨대, 인터 프레임 예측 또는 인트라 프레임 예측은 예측 블록을 생성하는 데 사용되며, 현재 블록(현재 처리되거나/처리될 블록)에서 예측 블록을 빼서 잔차 블록을 얻는다. 이 블록은 추가로 변환되고 양자화되어 전송(압축)될 데이터(압축) 양을 줄이고, 디코더 측에서는 이 인코딩된/압축된 블록에 역처리가 적용되어 표시를 위해 블록을 재구성한다.
무손실 비디오 코딩의 경우, 원본 비디오 픽처를 재구성할 수 있다. 즉, 재구성된 비디오 픽처는 원본 비디오 픽처와 동일한 품질을 갖는다(저장 또는 전송 중에 전송 손실이나 기타 데이터 손실이 없다고 가정). 손실 비디오 코딩의 경우 추가 압축(예: 디코더에서 완전히 재구성될 수 없는 비디오 픽처를 나타내는 데이터의 양을 줄이기 위해 양자화에 의해 수행된다. 즉, 재구성된 비디오 픽처의 품질이 원본 비디오 픽처의 품질에 비해 낮거나 나쁘다.
여러 비디오 코딩 표준은 "손실 하이브리드 비디오 코덱(lossy hybrid video codecs)"그룹에 속한다(즉, 변환 도메인에서 양자화를 적용하기 위해 샘플 도메인에서 공간 및 시간 예측과 2D 변환 코딩을 결합). 비디오 시퀀스의 각 픽처는 일반적으로 겹치지 않는 블록의 세트로 파티셔닝되고 코딩은 일반적으로 블록 레벨에서 수행된다. 즉, 인코더에서 비디오는 일반적으로 블록(비디오 블록) 레벨에서 처리된다. 공간(인트라 픽처) 예측 및/또는 시간(인터 픽처) 예측을 사용하여 예측 블록을 생성하고, 현재 블록(현재 처리되거나/처리될 블록)에서 예측 블록을 빼서 잔차 블록을 획득하고, 잔차 블록을 변환 및 전송(압축)될 데이터의 양을 감소시키기 위해 변환 도메인에서 잔차 블록을 양자화하는 단계를 포함하는 반면, 디코더에서는 인코더와 비교하여 역처리가 표현을 위해 현재 블록을 재구성하기 위해 인코딩되거나 압축된 블록에 적용된다. 더욱이, 인코더는 디코더 프로세싱 루프를 복제하여 둘 다 동일한 예측(예를 들어, 인트라 및 인터 예측) 및/또는 후속 블록을 처리, 즉 코딩하기 위한 재구성을 생성할 것이다.
비디오 코딩 시스템(10)의 다음 실시예에서, 비디오 인코더(20) 및 비디오 디코더(30)는 도 1 내지 도 3에 기초하여 설명된다.
도 1은 예시적인 코딩 시스템(10), 예컨대 본 출원(본 개시)의 기술을 이용할 수 있는 비디오 코딩 시스템을 예시하는 개념적 또는 개략적인 블록도이다. 비디오 코딩 시스템의 인코더(20)(예를 들어, 비디오 인코더(20)) 및 디코더(30)(예를 들어, 비디오 디코더(30))는 본 출원에 설명된 다양한 예에 따라 기술을 수행하도록 구 될 수 있는 장치의 예를 나타낸다. 도 1에 도시된 바와 같이, 코딩 시스템은 예를 들어 인코딩된 데이터(13), 예컨대 인코딩된 픽처(13)를 그 인코딩된 데이터(13)를 처리하는 목적지 장치(14)에 제공하도록 구성된 소스 장치(12)를 포함한다.
소스 장치(12)는 인코더(20)를 포함하고, 추가적으로, 즉 선택적으로 픽처 소스(16), 전처리 유닛(18), 예컨대, 픽처 전처리 유닛(18), 및 통신 인터페이스 또는 통신 유닛(22)을 포함한다.
픽처 소스(16)는, 예를 들어 실제 사진을 캡처하기 위한 임의의 종류의 픽처 캡처 장치 및/또는 임의의 종류의 픽처 또는 코멘트 생성 장치(화면 컨텐츠 코딩의 경우, 스크린 상의 일부 텍스트도 인코딩될 픽처 또는 이미지의 일부로 고려됨), 예를 들어 컴퓨터 애니메이션 픽처를 생성하기 위한 컴퓨터 그래픽 프로세서, 또는 실제 사진, 컴퓨터 애니메이션 픽처(예컨대, 스크린 컨텐츠, 가상 현실(VR) 픽처) 및/또는 이들의 조합(예컨대, 증간 현실(AR) 픽처)를 획득 및/또는 제공하기 위한 임의의 종류의 장치를 포함하거나 그러한 장치일 수 있다.
(디지털) 픽처는 강도 값(intensity values)이 있는 2차원 어레이 또는 행렬의 샘플이거나 이로 간주될 수 있다. 어레이의 샘플은 픽셀(픽처 요소의 짧은 형태) 또는 펠(pel)이라고도 한다. 어레이 또는 픽처의 수평 및 수직 방향(또는 축)에서의 샘플 수는 픽처의 크기 및/또는 해상도를 정의한다. 색상 표현을 위해 일반적으로 세 가지 색상 컴포넌트가 사용된다. 즉, 픽처가 세개의 샘플 어레이를 포함하거나 이것으로 표현된다. RBG 형식 또는 색 공간에서 픽처는 대응하는 빨강, 녹색 및 파랑 샘플 어레이로 구성된다. 그러나 비디오 코딩에서 각 픽셀은 일반적으로 휘도(luminance)/색차(chrominance) 형식 또는 색 공간으로 표현된다. 예컨대, Y로 표시된 휘도 컴포넌트(때때로 L이 대신 사용됨)과 Cb 및 Cr로 표시된 두개의 색차 컴포넌트를 포함하는 YCbCr이다. 휘도(또는 줄여서 루마) 컴포넌트 Y는 밝기 또는 그레이 레벨 강도(예: 그레이 스케일 픽처에서와 같이)를 나타내는 반면, 두 가지 색차(또는 줄여서 크로마) 컴포넌트 Cb 및 Cr은 색도 또는 색상 정보 컴포넌트를 나타낸다. 따라서, YCbCr 형식의 픽처는 휘도 샘플 값(Y)의 휘도 샘플 어레이와 색차 값(Cb 및 Cr)의 두개의 색차 샘플 어레이로 구성된다. RGB 형식의 픽처는 YCbCr 형식으로 변환할 수 있으며 그 반대의 경우도 마찬가지이다. 이 프로세스는 색상 변환(color transformation or conversion)이라고도 한다. 픽처가 단색이면 픽처는 휘도 샘플 어레이만 포함할 수 있다.
픽처 소스(16)(예를 들어, 비디오 소스(16))는 예를 들어 픽처를 캡처하기 위한 카메라, 메모리, 예컨대 이전에 캡처되거나 생성된 픽처를 포함하거나 저장하는 픽처 메모리, 및/또는 픽처를 획득하거나 수신하는 임의의 종류의 인터페이스(내부 또는 외부)일 수 있다. 카메라는 예를 들어 소스 장치에 통합된 로컬 또는 통합 카메라일 수 있으며, 메모리는 예를 들어 로컬 또는 통합 메모리, 예컨대 소스 장치에 통합된 메모리일 수 있다. 인터페이스는 예를 들어 외부 비디오 소스로부터 픽처를 수신하기 위한 외부 인터페이스, 예를 들어 카메라와 같은 외부 픽처 캡처 장치, 외부 메모리 또는 외부 픽처 생성 장치(예: 외부 컴퓨터 그래픽 프로세서, 컴퓨터 또는 서버)일 수 있다. 인터페이스는 모든 종류의 인터페이스, 예컨대 독점적이거나 표준화된 인터페이스 프로토콜에 따른 유선 또는 무선 인터페이스, 광학 인터페이스일 수 있다. 픽처 데이터(17)를 획득하기 위한 인터페이스는 통신 인터페이스(22)와 동일한 인터페이스이거나 그 일부일 수 있다.
전처리 유닛(18) 및 전처리 유닛(18)에 의해 수행되는 처리와 구분하여, 픽처 또는 픽처 데이터(17)(예를 들어, 비디오 데이터(16))는 또한 원시 픽처(raw picture) 또는 원시 픽처 데이터(raw picture data)(17)로 지칭될 수 있다.
전처리 유닛(18)은 (원시) 픽처 데이터(17)를 수신하고 전처리된 픽처(19) 또는 전처리된 픽처 데이터(19)를 획득하기 위해 픽처 데이터(17)에 대해 전처리를 수행하도록 구성된다. 전처리 유닛(18)에 의해 수행되는 전처리는, 예를 들어 트리밍, 컬러 포맷 변환(예를 들어 RGB에서 YCbCr로), 컬러 보정 또는 노이즈 제거를 포함할 수 있다. 전처리 유닛(18)은 선택적 컴포넌트일 수 있음을 이해할 수 있다.
인코더(20)(예를 들어, 비디오 인코더(20))는 전처리된 픽처 데이터(19)를 수신하고 인코딩된 픽처 데이터(21)를 제공하도록 구성된다(더 자세한 사항은 예를 들어, 도 2에 기초하여 후술될 것이다).
소스 장치(12)의 통신 인터페이스(22)는 인코딩된 픽처 데이터(21)를 수신하고 이를 다른 장치, 예를 들어, 목적지 장치(14) 또는 다른 임의이 장치로, 저장 또는 직접 재구성을 위해, 또는 인코딩된 데이터(13)를 저장하기 전에 및/또는 인코딩된 데이터(13)를 다른 장치, 예컨대 목적지 장치(14) 또는 디코딩 또는 저장을 위한 다른 임의의 장치로 전송하기 전에, 각각 인코딩된 픽처 데이터(21)를 처리하기 위해 전송하도록 구성될 수 있다.
목적지 장치(14)는 디코더(30)(예를 들어, 비디오 디코더(30))를 포함하고, 추가적으로, 즉 선택적으로 통신 인터페이스 또는 통신 유닛(28), 후처리 유닛(32) 및 디스플레이 장치(34)를 포함할 수 있다.
목적지 장치(14)의 통신 인터페이스(28)는 예를 들어 인코딩된 픽처 데이터(21) 또는 인코딩된 데이터(13)를, 예를 들어 소스 장치(12)로부터 직접 또는 다른 임의의 소스 장치, 예컨대, 저장 장치, 예컨대 인코딩된 픽처 데이터 저장 장치로부터 수신하도록 구성된다.
통신 인터페이스(22) 및 통신 인터페이스(28)는 예를 들어 소스 장치(12)와 목적지 장치(14) 사이의 직접 통신 링크, 예컨대 직접 유선 또는 무선 연결 또는 모든 종류의 네트워크(예: 유선 또는 무선 네트워크 또는 이들의 조합, 또는 모든 종류의 사설 및 공용 네트워크, 또는 이들의 모든 종류의 조합)를 통해 인코딩된 픽처 데이터(21) 또는 인코딩된 데이터(13)를 송신 또는 수신하도록 구성될 수 있다.
통신 인터페이스(22)는 예를 들어 인코딩된 픽처 데이터(21)를 적절한 포맷, 예를 들어, 통신 링크 또는 통신 네트워크를 통한 전송을 위한 패킷으로 패키징하도록 구성될 수 있다.
통신 인터페이스(22)의 상대인 통신 인터페이스(28)는 예를 들어, 인코딩된 픽처 데이터(21)를 획득하기 위해 인코딩된 데이터(13)를 디패키징(de-package)하도록 구성될 수 있다.
통신 인터페이스(22) 및 통신 인터페이스(28) 모두는, 도 1a에서 소스 장치(12)에서 목적지 장치(14)를 가리키는 화살표로 표시된 바와 같이, 단방향 통신 인터페이스 또는 양방향 통신 인터페이스로서 구성될 수 있고, 또 예를 들어 메시지 보내기 및 받기, 예컨대, 연결 구축, 통신 링크에 관련된 임의의 다른 정보를 수신 확인하고 교환하는 것 및/또는 데이터 전송, 예컨대 인코딩된 픽처 데이터 전송을 수행하도록 구성될 수 있다.
디코더(30)는 인코딩된 픽처 데이터(21)를 수신하고 디코딩된 픽처 데이터(31) 또는 디코딩된 픽처(31)를 제공하도록 구성된다(더 자세한 사항은 예를 들어, 도 3에 기초하여 후술 될 것이다).
목적지 장치(14)의 후처리 유닛(32)은 디코딩된 픽처 데이터(31)(또한 재구성된 픽처 데이터라고도 함), 예컨대 디코딩된 픽처(31)를 후처리하여, 후처리된 픽처 데이터(33), 예컨대 후처리된 픽처(33)를 획득하도록 구성된다. 후처리 유닛(32)에 의해 수행되는 후처리는 예를 들어 다음을 포함할 수 있다: 색상 형식 변환(예: YCbCr에서 RGB로), 색상 보정, 트리밍 또는 재샘플링 또는 기타 처리(예: 디스플레이 장치(34)에 의한 디스플레이를 위해 디코딩된 픽처 데이터(31)를 준비하기 위한 처리).
목적지 장치(14)의 디스플레이 장치(34)는 예를 들어 픽처를 사용자 또는 열람자에게 디스플레이하기 위해 후처리된 픽처 데이터(33)를 수신하도록 구성된다. 디스플레이 장치(34)는 예를 들어 재구성된 픽처를 표현하기 위한, 예컨대 통합되거나 외부의 디스플레이 또는 모니터와 같은 임의의 종류의 디스플레이이거나 이를 포함할 수 있다. 디스플레이는 예를 들어 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이, 플라즈마 디스플레이, 프로젝터, 마이크로 LED 디스플레이, 액정 온 실리콘(LCoS), 디지털 조명 프로세서(DLP) 또는 기타 모든 종류의 디스플레이로 구성된다.
도 1이 소스 장치(12) 및 목적지 장치(14)를 별개의 장치로 도시하고 있지만, 장치의 실시예는 또한 두 기능, 소스 장치(12) 또는 대응하는 기능 및 목적지 장치(14) 또는 대응하는 기능을 포함할 수 있다. 이러한 실시예에서, 소스 장치(12) 또는 대응하는 기능 및 목적지 장치(14) 또는 대응하는 기능은 동일한 하드웨어 및/또는 소프트웨어를 사용하거나 별개의 하드웨어 및/또는 소프트웨어 또는 이들의 임의의 조합에 의해 구현될 수 있다.
본 설명에 기초하여 통상의 기술자에게 명백한 바와 같이, 도 1에 도시된 바와 같이 소스 장치(12) 및/또는 목적지 장치(14) 내의 상이한 유닛의 기능 또는 기능의 포함여부 및 (정확한) 분할은 실제 장치와 적용에 따라 달라질 수 있다.
인코더(20)(예를 들어, 비디오 인코더(20)) 및 디코더(30)(예를 들어, 비디오 디코더(30))는 각각 하나 이상의 마이크로 프로세서, 디지털 신호 프로세서(DSP), 애플리케이션-특정 집적 회로(ASIC), 필드 프로그래밍 가능 게이트 어레이(FPGA), 이산 로직, 하드웨어 또는 이들의 조합과 같은 다양한 적절한 회로 중 어느 하나로 구현될 수 있다. 기술이 소프트웨어에서 부분적으로 구현되는 경우, 장치는 소프트웨어에 대한 명령을 적절한 비 일시적 컴퓨터 판독 가능 저장 매체에 저장할 수 있고 본 개시의 기술을 수행하기 위해 하나 이상의 프로세서를 사용하여 하드웨어에서 명령을 실행할 수 있다. 전술한 것 중 하나(하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합 등 포함)는 하나 이상의 프로세서로 간주될 수 있다. 비디오 인코더(20) 및 비디오 디코더(30) 각각은 하나 이상의 인코더 또는 디코더에 포함될 수 있으며, 이들 중 어느 하나는 각각의 장치에서 결합된 인코더/디코더(CODEC)의 일부로서 통합될 수 있다.
소스 장치(12) 및 목적지 장치(14)는 임의의 종류의 핸드 헬드 또는 고정 장치, 예를 들어, 노트북 또는 랩톱 컴퓨터, 휴대폰, 스마트 폰, 태블릿 또는 태블릿 컴퓨터, 카메라, 데스크톱 컴퓨터, 셋톱 박스, 텔레비전, 디스플레이 장치, 디지털 미디어 플레이어, 비디오 게임 콘솔, 비디오 스트리밍 장치(예: 컨텐츠 서비스 서버 또는 컨텐츠 전송 서버), 방송 수신기 장치, 방송 송신기 장치 등을 포함하는 광범위한 장치 중 하나를 포함할 수 있고, 운영 체제를 전혀 사용하지 않거나 임의의 운영 체제를 사용할 수 있다. 일부 경우에, 소스 장치(12) 및 목적지 장치(14)는 무선 통신을 위해 장착될 수 있다. 따라서, 소스 장치(12) 및 목적지 장치(14)는 무선 통신 장치일 수 있다.
일부 경우에, 도 1에 예시된 비디오 코딩 시스템은 단지 예시일 뿐이며 본 출원의 기술은 인코딩과 디코딩 장치 간의 모든 데이터 통신을 반드시 포함하지는 않는 비디오 코딩 설정(예: 비디오 인코딩 또는 비디오 디코딩)에 적용될 수 있다. 다른 예에서, 데이터는 로컬 메모리로부터 검색되거나, 네트워크 등을 통해 스트리밍된다. 비디오 인코딩 장치는 데이터를 인코딩하고 메모리에 저장할 수 있고/있거나 비디오 디코딩 장치는 메모리로부터 데이터를 검색하고 디코딩할 수 있다. 일부 예들에서, 인코딩 및 디코딩은 서로 통신하지 않고 단순히 데이터를 메모리로 인코딩하고 및/또는 메모리로부터 데이터를 검색 및 디코딩하는 장치에 의해 수행된다.
도 2는 본 출원의 기술을 구현하도록 구성된 예시적인 비디오 인코더(20)의 개략적/개념적 블록도를 도시한다. 도 2의 예에서, 비디오 인코더(20)는 잔차 계산 유닛(204), 변환 처리 유닛(206), 양자화 유닛(208), 역양자화 유닛(210) 및 역변환 처리 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터 유닛(220), 디코딩된 픽처 버퍼(DPB)(230), 예측 처리 유닛(260) 및 엔트로피 인코딩 유닛(270)을 포함한다. 예측 처리 유닛(260)은 인터 예측 유닛(244), 인트라 예측 유닛(254) 및 모드 선택 부(262)를 포함할 수 있다. 인터 예측 유닛(244)은 모션 추정 유닛(motion estimation unit) 및 모션 보상 유닛(motion compensation unit)(미도시)을 포함할 수 있다. 도 2에 도시된 비디오 인코더(20)는 또한 하이브리드 비디오 인코더 또는 하이브리드 비디오 코덱에 따른 비디오 인코더로 지칭될 수 있다.
예를 들어, 잔차 계산 유닛(204), 변환 처리 유닛(206), 양자화 유닛(208), 예측 처리 유닛(260) 및 엔트로피 인코딩 유닛(270)은 인코더(20)의 순방향 신호 경로를 형성하는 반면, 예를 들어 역양자화 유닛(210), 역변환 처리 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터(220), 디코딩된 픽처 버퍼(DPB)(230), 예측 처리 유닛(260)은 인코더의 역방향 신호 경로를 형성하며, 여기서 역방향 신호 경로 인코더의 신호 경로는 디코더의 신호 경로에 해당한다(도 3의 디코더(30) 참조).
인코더(20)는 예를 들어, 입력(202)에 의해, 픽처(201) 또는 픽처(201)의 블록(203), 예컨대 비디오 또는 비디오 시퀀스를 형성하는 픽처 시퀀스 중 픽처를 수신하도록 구성된다. 픽처 블록(203)은 또한 현재 픽처 블록 또는 코딩될 픽처 블록으로 지칭될 수 있고, 픽처(201)는 현재 픽처 또는 코딩될 픽처로서 지칭될 수 있다(특히, 비디오 코딩에서, 다른 픽처, 예를 들어 이전에 인코딩된 및/또는 디코딩된 동일한 비디오 시퀀스, 즉 현재 픽처를 포함하는 비디오 시퀀스의 픽처로부터 현재 픽처를 구별하기 위해).
블록 예측 처리 유닛(260)이라고도 하는 예측 처리 유닛(260)은, 블록(203)(현재 픽처(201)의 현재 블록(203)) 및 재구성된 픽처 데이터, 예를 들어, 버퍼(216)로부터의 동일(현재) 픽처의 참조 샘플 및/또는 디코딩된 픽처 버퍼(230)로부터의 이전에 디코딩된 하나 또는 복수의 픽처로부터의 참조 픽처 데이터(231)을 수신하거나 획득하고, 그 데이터를 예측을 위해 처리, 즉, 인터 예측 블록(245) 또는 인트라 예측 블록(255)일 수 있는 예측 블록(265)를 제공하도록 구성된다.
모드 선택 유닛(262)은 잔차 블록(205)의 계산 및 재구성된 블록(215)의 재구성을 위해 예측 블록(265)으로 사용될 예측 모드(예를 들어, 인트라 또는 인터 예측 모드) 및/또는 대응하는 예측 블록(245 또는 255)을 선택하도록 구성될 수 있다.
모드 선택 유닛(262)의 실시예는(예를 들어, 예측 처리 유닛(260)에 의해 지원되는 것들로부터) 예측 모드를 선택하도록 구성될 수 있으며, 이는 최상의 매칭을 제공하는데, 다른 말로 최소 잔차(최소 잔차는 전송 또는 저장을 위한 더 나은 압축을 의미함)를 제공하거나, 또는 최소 시그널링 오버 헤드(최소 시그널링 오버 헤드는 전송 또는 저장을 위한 더 나은 압축을 의미함)를 제공하거나 또는 둘 다 고려하거나 균형을 맞추는 것이다. 모드 선택 유닛(262)은 레이트 왜곡 최적화(rate distortion optimization, RDO)에 기초하여 예측 모드를 결정하도록 구성될 수 있다. 즉, 최소 레이트 왜곡 최적화를 제공하거나 연관된 레이트 왜곡이 적어도 예측 모드 선택 기준을 충족시키는 예측 모드를 선택하도록 구성될 수 있다.
인트라 예측 유닛(254)은 예를 들어 인트라 예측 파라미터, 예컨대 선택된 인트라 예측 모드, 인트라 예측 블록(255)에 기초하여 결정하도록 추가로 구성된다. 어떤 경우이든, 블록에 대한 인트라 예측 모드를 선택한 후, 인트라 예측 유닛(254)은 또한 인트라 예측 파라미터, 즉 블록에 대해 선택된 인트라 예측 모드를 나타내는 정보를 엔트로피 인코딩 유닛(270)에 제공하도록 구성된다. 일 예에서, 인트라 예측 유닛(254)은 후술하는 인트라 예측 기술의 임의의 조합을 수행하도록 구성될 수 있다.
비디오 인코더(20)의 실시예는 픽처를 복수의(전형적으로 겹치지 않는) 픽처 블록으로 파티셔닝하도록 구성된 픽처 파티셔닝 유닛(도 2에 도시되지 않음)을 포함할 수 있다. 이러한 블록은 루트 블록, 매크로 블록(H.264/AVC) 또는 코딩 트리 블록(CTB) 또는 코딩 트리 단위(CTU)(H.265/HEVC 및 VVC)라고도 한다. 픽처 파티셔닝 유닛은 비디오 시퀀스의 모든 픽처에 대해 동일한 블록 크기 및 그 블록 크기를 정의하는 대응하는 그리드를 사용하거나, 픽처 또는 픽처의 서브세트나 그룹 간에 블록 크기를 변경하고 각 픽처를 대응하는 블록을 파티셔닝하도록 구성될 수 있다.
픽처와 마찬가지로 픽처 블록은 픽처보다 작은 차원이지만 강도 값(샘플 값)을 가진 샘플의 2 차원 어레이 또는 행렬로 간주되거나 간주될 수 있다. 다시 말해, 블록은 예를 들어 하나의 샘플 어레이(예: 단색 픽처의 경우 루마 어레이, 컬러 사진의 경우 루마 또는 크로마 어레이) 또는 세개의 샘플 어레이(예: 컬러 픽처인 경우 루마 및 두개의 크로마), 또는 적용된 색상 포맷에 따라 다른 수 및/또는 종류의 어레이를 포함할 수 있다. 블록의 수평 및 수직 방향(또는 축)의 샘플 수는 블록의 크기를 정의한다. 따라서, 블록은 예를 들어 샘플의 MxN(M-열 x N-행) 어레이, 또는 변환 계수의 MxN 어레이일 수 있다.
도 2에 도시된 바와 같은 비디오 인코더의 실시예는 예를 들어 블록 단위로 픽처를 인코딩하도록 구성될 수 있다. 예컨대, 인코딩 및 예측이 블록 단위로 수행된다.
도 2에 도시된 비디오 인코더의 실시예는 슬라이스(비디오 슬라이스라고도 함)를 사용하여 픽처를 파티션 및/또는 인코딩하도록 추가로 구성될 수 있으며, 여기서 픽처는 하나 이상의 슬라이스(전형적으로 비-중첩), 각 슬라이스는 하나 이상의 블록(예: CTU)을 포함할 수 있다.
도 2에 도시된 비디오 인코더의 실시예는 타일 그룹(비디오 타일 그룹이라고도 함) 및/또는 타일(비디오 타일이라고도 함)을 사용하여 픽처를 파티셔닝 및/또는 인코딩하도록 추가로 구성될 수 있다. 픽처는 하나 이상의 타일 그룹(일반적으로 비 중첩)을 사용하여 파티셔닝되거나 인코딩될 수 있으며, 각 타일 그룹은 예를 들어 하나 이상의 블록(예: CTU) 또는 하나 이상의 타일을 포함할 수 있고, 각 타일은, 예컨대 직사각형 모양일 수 있으며 하나 이상의 블록(예: CTU), 예컨대 완전하거나 분수로 나뉘어진 블록을 포함할 수 있다.
도 3은 본 출원의 기술을 구현하도록 구성된 예시적인 비디오 디코더(30)를 도시한다. 비디오 인코더(30)는, 디코딩된 픽처(131)를 획득하기 위해, 예컨대 인코더(100)에 의해 인코딩된 픽처 데이터(예를 들어, 인코딩된 비트 스트림)(21)를 수신하도록 구성된다. 디코딩 프로세스 동안, 비디오 디코더(30)는 예를 들어 비디오 데이터, 예컨대 인코딩된 비디오 슬라이스의 픽처 블록 및 관련 신택스 요소를 나타내는 인코딩된 비디오 비트스트림과 같은 비디오 데이터를 비디오 인코더(100)로부터 수신한다.
도 3의 예에서, 디코더(30)는 엔트로피 디코딩 유닛(304), 역양자화 유닛(310), 역변환 처리 유닛(312), 재구성 유닛(314)(예를 들어, 합산기(314)), 버퍼(316), 루프 필터(320), 디코딩된 픽처 버퍼(330) 및 예측 처리 유닛(360)을 포함한다. 예측 처리 유닛(360)는 인터 예측 유닛(344), 인트라 예측 유닛(354) 및 모드 선택 유닛(362)을 포함할 수 있다. 비디오 디코더(30)는, 일부 예들에서, 도 2로부터의 비디오 인코더(20)에 대해 설명된 인코딩 경로에 일반적으로 반대인 디코딩 경로를 수행할 수 있다.
엔트로피 디코딩 유닛(304)은, 예를 들어, 양자화된 계수(309) 및/또는 디코딩된 코딩 파라미터(도 3에 도시되지 않음, 예컨대, (디코딩된) 인터 예측 파라미터, 인트라 예측 파라미터, 루프 필터 파라미터 및/또는 다른 신택스 요소 중 임의의 것 또는 모두)를 획득하기 위해, 인코딩된 픽처 데이터(21)에 대한 엔트로피 디코딩을 수행하도록 구성된다. 엔트로피 디코딩 유닛(304)은 또한 인터 예측 파라미터, 인트라 예측 파라미터 및/또는 다른 신택스 요소를 예측 처리 유닛(360)으로 전달하도록 구성된다. 비디오 디코더(30)는 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨에서 신택스 요소를 수신할 수 있다.
역양자화 유닛(310)은 역양자화 유닛(110)과 기능면에서 동일할 수 있고, 역변환 처리 유닛(312)은 역변환 처리 유닛(112)과 기능면에서 동일할 수 있고, 재구성 유닛(314)은 재구성 유닛(114)과 기능면에서 동일할 수고, 버퍼(316)는 버퍼(116)와 기능면에서 동일할 수 있고, 루프 필터(320)는 루프 필터(120)와 기능면에서 동일할 수 있으며, 디코딩된 픽처 버퍼(330)는 기능면에서 디코딩된 픽처 버퍼(130)와 동일할 수 있다.
예측 처리 유닛(360)은 인터 예측 유닛(344) 및 인트라 예측 유닛(354)을 포함할 수 있고, 인터 예측 유닛(344)은 기능적으로 인터 예측 유닛(144)과 유사할 수 있고, 인트라 예측 유닛(354)은 기능적으로 인트라 예측 유닛(154)과 유사할 수 있다. 예측 처리 유닛(360)은 일반적으로 블록 예측을 수행하고/하거나 인코딩된 데이터(21)로부터 예측 블록(365)을 획득하고 예측 관련 파라미터 및/또는 선택된 예측 모드에 대한 정보를 예컨대, 엔트로피 디코딩 유닛(304)으로부터 수신하거나 (명시적으로 또는 묵시적으로) 획득하도록 구성된다.
비디오 슬라이스가 인트라 코딩된(I) 슬라이스로서 코딩될 때, 예측 처리 유닛(360)의 인트라 예측 유닛(354)은 현재 프레임 또는 픽처의 이전에 디코딩된 블록으로부터 데이터 및 시그널링된 인트라 예측 모드에 기초하여 현재 비디오 슬라이스의 픽처 블록에 대해 예측 블록(365)을 생성하도록 구성된다. 비디오 프레임이 인터 코딩된(즉, B 또는 P) 슬라이스로서 코딩되는 때, 예측 처리 유닛(360)의 인터 예측 유닛(344)(예: 모션 보상 유닛)은, 엔트로피 디코딩 유닛(304)로부터 수신된 모션 벡터 및 다른 신택스 요소에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대해 예측 블록(365)을 생성하도록 구성된다. 인터 예측을 위해, 예측 블록은 참조 픽처 리스트 중 하나 내의 참조 픽처들 중 하나로부터 생성될 수 있다. 비디오 디코더(30)는 DPB(330)에 저장된 참조 픽처에 기초한 디폴트 구성 기술을 사용하여 참조 프레임 리스트, List 0 및 List 1을 구성할 수 있다.
예측 처리 유닛(360)은 모션 벡터 및 다른 신택스 요소를 파싱함으로써 현재 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하도록 구성되고, 디코딩되는 현재 비디오 블록에 대한 예측 블록을 생성하기 위해 예측 정보를 사용한다. 예를 들어, 예측 처리 유닛(360)은 비디오 슬라이스의 비디오 블록을 코딩하는 데 사용되는 예측 모드(예를 들어, 인트라 또는 인터 예측)를 결정하기 위해 수신된 신택스 요소, 인터 예측 슬라이스 유형(예컨대, B 슬라이스, P 슬라이스 또는 GPB 슬라이스), 슬라이스에 대한 하나 이상의 참조 픽처 리스트에 대한 구성 정보(construction information), 슬라이스의 각 인터 인코딩된 비디오 블록에 대한 모션 벡터, 슬라이스의 각 인터 코딩된 비디오 블록에 대한 인터 예측 상태 및 기타 현재 비디오 슬라이스의 비디오 블록을 디코딩하기 위한 정보 중 일부를 사용한다.
역양자화 유닛(310)은 비트 스트림 내에서 제공되고 엔트로피 디코딩 유닛(304)에 의해 디코딩된 양자화된 변환 계수를 역양자화, 즉 탈양자화(de-quantize)하도록 구성된다. 역양자화 프로세스는 양자화 정도 및 마찬가지로 적용되어야 하는 역양자화 정도를 결정하기 위해 비디오 슬라이스의 각 비디오 블록에 대해 비디오 인코더(100)에 의해 계산된 양자화 파라미터의 사용을 포함할 수 있다.
역변환 처리 유닛(312)은 픽셀 도메인에서 잔차 블록을 생성하기 위해 역변환, 예를 들어 역 DCT, 역 정수 변환(inverse integer transform), 또는 개념적으로 유사한 역변환 프로세스를 변환 계수에 적용하도록 구성된다.
재구성 유닛(314)(예를 들어, 합산기(314))은 역변환 블록(313)(즉, 재구성된 잔차 블록(313))을 예측 블록(365)에 추가하여 예를 들어, 재구성된 잔차 블록(313)의 샘플 값과 예측 블록(365)의 샘플 값을 더함으로써 샘플 도메인에서 재구성된 블록(315)을 획득하도록 구성된다.
루프 필터 유닛(320)(코딩 루프에서 또는 코딩 루프 이후)은 예를 들어 필터링된 블록(321)을 얻기 위해 재구성된 블록(315)을 필터링하도록 구성된다. 즉, 픽셀 전환을 부드럽게 하거나 그렇지 않으면 비디오 품질을 향상시킨다. 일 예에서, 루프 필터 유닛(320)은 후술하는 필터링 기술의 임의의 조합을 수행하도록 구성될 수 있다. 루프 필터 유닛(320)은 디블로킹(deblocking) 필터, 샘플 적응 오프셋(sample adaptive offset, SAO) 필터 또는, 예를 들어 양방향 필터 또는 적응형 루프 필터(adaptive loop filter, ALF) 또는 선명하게 하는 또는 스무딩하는 필터(sharpening or smoothing filter) 또는 협업 필터(collaborative filter)와 같은 다른 필터를 나타낸다. 루프 필터 유닛(320)이 도 3에서 인 루프 필터(in loop filter)인 것으로 도시되어 있지만, 다른 구성에서 루프 필터 유닛(320)은 포스트 루프 필터(post loop filter)로 구현될 수 있다.
주어진 프레임 또는 픽처 내의 디코딩된 비디오 블록(321)은 이후의 모션 보상을 위해 사용되는 참조 픽처를 저장하는 디코딩된 픽처 버퍼(330)에 저장된다.
디코더(30)는 예를 들어 디코딩된 픽처(331)를, 예컨대 출력(332)를 통해 표시 또는 시청을 위해 사용자에게 출력하도록 구성된다.
압축된 비트 스트림을 디코딩하기 위해 비디오 디코더(30)의 다른 변형이 사용될 수 있다. 예를 들어, 디코더(30)는 루프 필터 유닛(320)없이 출력 비디오 스트림을 생성할 수 있다. 예를 들어, 비 변환 기반 디코더(30)는 특정 블록 또는 프레임에 대해 역변환 처리 유닛(312)없이 직접 잔차 신호를 역양자화할 수 있다. 다른 구현에서, 비디오 디코더(30)는 단일 유닛으로 결합된 역양자화 유닛(310) 및 역변환 처리 유닛(312)을 가질 수 있다.
도 3에 도시된 바와 같은 비디오 디코더의 실시예는 슬라이스(비디오 슬라이스라고도 함)를 사용하여 픽처를 파티셔닝 및/또는 디코딩하도록 구성될 수 있으며, 여기서 픽처는 하나 이상의 슬라이스(전형적으로 중첩하지 않는)를 사용하여 파티셔닝되거나 디코딩될 수 있고, 각 슬라이스는 하나 이상의 블록(예: CTU)을 포함할 수 있다.
도 3에 도시된 비디오 디코더의 실시예는 타일 그룹(비디오 타일 그룹이라고도 함) 및/또는 타일(비디오 타일이라고도 함)을 사용하여 픽처를 파티셔닝 및/또는 디코딩하도록 구성될 수 있으며, 여기서 픽처는 하나 이상의 타일 그룹(전형적으로 중첩하지 않음)을 사용하여 파티셔닝되거나 디코딩될 수 있으며, 각 타일 그룹은 예를 들어 하나 이상의 블록(예: CTU) 또는 하나 이상의 타일을 포함할 수 있고, 각 타일은, 예컨대 직사각형 모양일 수 있고 하니 이상의 블록(예: CTU)을 예컨대 완전한 블록 또는 쪼개진 블록을 포함할 수 있다.
인코더 및 디코더에서는 현재 단계의 처리 결과를 더 처리한 후 다음 단계로 출력할 수 있음을 이해해야 한다. 예를 들어, 보간 필터링, 모션 벡터 유도 또는 루프 필터링 후, 보간 필터링, 모션 벡터 유도 또는 루프 필터링의 처리 결과에 대해 클립(Clip) 또는 시프트(Shift)와 같은 추가 연산이 수행될 수 있다.
HEVC/H.265 표준에 따라 35개의 인트라 예측 모드를 사용할 수 있다. 이 세트에는 다음 모드가 포함된다: 평면 모드(인트라 예측 모드 인덱스는 0), DC 모드(인트라 예측 모드 인덱스는 1) 및 180도 범위를 커버하고 인트라 예측 모드 인덱스 값 범위가 2-34인 방향성(각도) 모드. 자연스러운 비디오에서 존재하는 임의의 에지 방향을 캡처하기 위해 방향성 인트라 모드의 수가 HEVC에서 사용되는 33개에서 65개로 확장되었다. 추가 방향성 모드는 도 4에 나와 있으며 평면 및 DC 모드는 동일하게 유지된다. 인트라 예측 모드에서 다루는 범위가 180도보다 더 넓을 수 있다는 점은 주목할 가치가 있다. 특히 인덱스 값이 3~64인 62개의 방향성 모드는 약 230도 범위를 포함한다. 즉, 여러 쌍의 모드들은 반대 방향을 갖는다. HEVC 참조 모델(HM) 및 JEM 플랫폼의 경우 한 쌍의 각도 모드(즉, 모드 2 및 66) 만 도 4와 같이 반대 방향을 갖는다. 예측자를 구성하기 위해 기존 각도 모드는 참조 샘플을 취하고 (필요한 경우) 이를 필터링하여 샘플 예측자를 얻는다. 예측자(predictor)를 구성하는 데 필요한 참조 샘플의 수는 보간에 사용되는 필터의 길이에 따라 다르다(예: 이중 선형(bilinear) 및 입방형(cubic) 필터의 길이는 각각 2와 4 임).
도 4는 67개의 인트라 예측 모드의 예를 보여준다. 예를 들어 VVC에 대해 제안된 것처럼 67개의 인트라 예측 모드의 복수의 인트라 예측 모드는 평면 모드(인덱스 0), DC 모드(인덱스 1) 및 인덱스 2~66를 가진 각도 모드를 포함한다. 여기서 도 4의 좌측 하단 각도 모드는 인덱스 2를 나타내고, 도 4의 우측 상단 각도 모드인 인덱스 66까지 인덱스 번호가 증가한다.
H.264/AVC 및 HEVC와 같은 비디오 코딩 체계는 블록 기반 하이브리드 비디오 코딩의 성공적인 원칙에 따라 설계되었다. 이 원리를 사용하여 픽처는 먼저 블록으로 파티셔닝된 다음 각 블록은 픽처 내 또는 픽처 간 예측을 사용하여 예측된다.
본 명세서에서 사용되는 용어 "블록"은 픽처 또는 프레임의 일부일 수 있다. 설명의 편의를 위해, 본 발명의 실시예는 HEVC(High-Efficiency Video Coding) 또는 ITU-T VCEG(Video Coding Experts Group) 및 ISO/IEC MPEG(Motion Picture Experts Group)의 JCT-VC(Joint Collaboration Team on Video Coding)에 의해 개발된, VVC(Versatile Video Coding)의 참조 소프트웨어를 참조하여 설명된다. 통상의 기술자는 본 발명의 실시예가 HEVC 또는 VVC에 제한되지 않음을 이해할 것이다. CU, PU 및 TU를 참조할 수 있다. HEVC에서, CTU는 코딩 트리로 표시된 쿼드 트리 구조를 사용하여 CU로 분할된다. 픽처 간(시간적) 또는 픽처 내(공간적) 예측을 사용하여 화상 영역을 코딩할지 여부는 CU 레벨에서 결정된다. 각 CU는 PU 분할 유형에 따라 1개, 2개 또는 4개의 PU로 추가로 분할될 수 있다. 하나의 PU 내부에서는 동일한 예측 프로세스가 적용되고 관련 정보가 PU 단위로 디코더로 전송된다. PU 분할 유형에 기반한 예측 과정을 적용하여 잔차 블록을 획득한 후, CU는 CU에 대한 코딩 트리와 유사한 다른 쿼드 트리 구조에 따라 변환 단위(TU)로 파티셔닝될 수 있다. 비디오 압축 기술의 최신 개발에서 쿼드 트리 및 이진 트리(Quad-tree and binary tree, QTBT) 파티셔닝은 코딩 블록을 파티셔닝하는 데 사용된다. QTBT 블록 구조에서 CU는 정사각형 또는 직사각형 모양을 가질 수 있다. 예를 들어, 코딩 트리 단위(CTU)는 먼저 쿼드 트리 구조에 의해 파티셔닝된다. 쿼드 트리 리프 노드는 이진 트리 구조에 의해 추가로 파티셔닝된다. 이진 트리 리프 노드를 CU(코딩 단위)라고 하며 그 세그먼트화는 추가 파티셔닝없이 예측 및 변환 처리에 사용된다. 이는 CU, PU 및 TU가 QTBT 코딩 블록 구조에서 동일한 블록 크기를 가짐을 의미한다. 병렬로 다중 파티셔닝, 예를 들어 트리플 트리 파티셔닝도 QTBT 블록 구조와 함께 사용하도록 제안되었다.
ITU-T VCEG(Q6/16) 및 ISO/IEC MPEG(JTC 1/SC 29/WG 11)는 현재 HEVC 표준을 훨씬 능가하는 압축 기능을 갖춘 미래 비디오 코딩 기술의 표준화에 대한 잠재적 필요성을 연구하고 있다(스크린 컨텐츠 코딩 및 높은 동적 범위(high-dynamic-range) 코딩을 위한 단기 확장(near-term extensions) 및 현재 확장을 포함한다). 이 그룹은 이 분야의 전문가가 제안한 압축 기술 설계를 평가하기 위해 JVET(Joint Video Exploration Team)로 알려진 공동 협력 노력으로 이 연구 활동에 협력하고 있다.
VTM(Versatile Test Model)은 35개의 인트라 모드를 사용하는 반면 BMS(Benchmark Set)는 67개의 인트라 모드를 사용한다. 인트라 예측은 주어진 프레임만 포함될 수 있는 경우 압축 효율성을 높이기 위해 많은 비디오 코딩 프레임 워크에서 사용되는 메커니즘이다.
도 4에서 볼 수 있듯이 JEM의 최신 버전에는 인트라 예측 방향을 왜곡하는 모드가 있다. 이러한 모드 어느 것에 대해서도, 블록 측 내의 대응하는 위치가 분수(fractional)인 경우 인접한 참조 샘플 세트의 블록 보간 내에서 샘플을 예측해야 한다. HEVC 및 VVC는 인접한 두 참조 샘플 간의 선형 보간을 사용한다. JEM은보다 정교한 4-탭 보간 필터를 사용한다. 필터 계수는 너비 또는 높이 값에 따라 가우시안(Gaussian) 또는 큐빅(Cubic)으로 선택된다. 너비 또는 높이 사용 여부에 대한 결정은 메인 참조 측변(main reference side) 선택 결정과 어우러진다: 인트라 예측 모드가 대각선 모드보다 크거나 같을 때 참조 샘플의 상단 측변이 메인 참조 측변으로 선택되고 너비 값은 사용 중인 보간 필터를 결정하기 위해 선택된다. 그렇지 않으면 블록의 좌측 측변에서 메인 측변 참조(main side reference)가 선택되고 높이는 필터 선택 프로세스를 제어한다. 특히 선택한 측변의 길이가 8개 샘플보다 작거나 같으면 큐빅 보간 4 탭(Cubic interpolation 4 tap)이 적용된다. 그렇지 않으면 보간 필터는 4-탭 가우시안 필터(4-tap Gaussian filter)이다.
JEM에서 사용된 특정 필터 계수는 표 1에 나와 있다. 예측된 샘플은 다음과 같이 서브 픽셀 오프셋 및 필터 유형에 따라 표 1에서 선택한 계수와 컨벌루션하여 계산된다.
이 방정식에서 ">>"는 비트 우측 시프트 연산을 나타낸다. 큐빅 필터를 선택하면 SPS에서 정의되거나 선택한 컴포넌트의 비트 깊이에서 유도된 허용된 값 범위로 예측된 샘플이 추가로 잘린다(clipped).
| 서브 픽셀 오프셋 | 큐빅 필터 | 가우시안 필터 | ||||||
| c 0 | c 1 | c 2 | c 3 | c 0 | c 1 | c 2 | c 3 | |
| 0(정수) | 0 | 256 | 0 | 0 | 47 | 161 | 47 | 1 |
| 1 | -3 | 252 | 8 | -1 | 43 | 161 | 51 | 1 |
| 2 | -5 | 247 | 17 | -3 | 40 | 160 | 54 | 2 |
| 3 | -7 | 242 | 25 | -4 | 37 | 159 | 58 | 2 |
| 4 | -9 | 236 | 34 | -5 | 34 | 158 | 62 | 2 |
| 5 | -10 | 230 | 43 | -7 | 31 | 156 | 67 | 2 |
| 6 | -12 | 224 | 52 | -8 | 28 | 154 | 71 | 3 |
| 7 | -13 | 217 | 61 | -9 | 26 | 151 | 76 | 3 |
| 8 | -14 | 210 | 70 | -10 | 23 | 149 | 80 | 4 |
| 9 | -15 | 203 | 79 | -11 | 21 | 146 | 85 | 4 |
| 10 | -16 | 195 | 89 | -12 | 19 | 142 | 90 | 5 |
| 11 | -16 | 187 | 98 | -13 | 17 | 139 | 94 | 6 |
| 12 | -16 | 179 | 107 | -14 | 16 | 135 | 99 | 6 |
| 13 | -16 | 170 | 116 | -14 | 14 | 131 | 104 | 7 |
| 14 | -17 | 162 | 126 | -15 | 13 | 127 | 108 | 8 |
| 15 | -16 | 153 | 135 | -16 | 11 | 123 | 113 | 9 |
| 16(half-pel) | -16 | 144 | 144 | -16 | 10 | 118 | 118 | 10 |
| 17 | -16 | 135 | 153 | -16 | 9 | 113 | 123 | 11 |
| 18 | -15 | 126 | 162 | -17 | 8 | 108 | 127 | 13 |
| 19 | -14 | 116 | 170 | -16 | 7 | 104 | 131 | 14 |
| 20 | -14 | 107 | 179 | -16 | 6 | 99 | 135 | 16 |
| 21 | -13 | 98 | 187 | -16 | 6 | 94 | 139 | 17 |
| 22 | -12 | 89 | 195 | -16 | 5 | 90 | 142 | 19 |
| 23 | -11 | 79 | 203 | -15 | 4 | 85 | 146 | 21 |
| 24 | -10 | 70 | 210 | -14 | 4 | 80 | 149 | 23 |
| 25 | -9 | 61 | 217 | -13 | 3 | 76 | 151 | 26 |
| 26 | -8 | 52 | 224 | -12 | 3 | 71 | 154 | 28 |
| 27 | -7 | 43 | 230 | -10 | 2 | 67 | 156 | 31 |
| 28 | -5 | 34 | 236 | -9 | 2 | 62 | 158 | 34 |
| 29 | -4 | 25 | 242 | -7 | 2 | 58 | 159 | 37 |
| 30 | -3 | 17 | 247 | -5 | 2 | 54 | 160 | 40 |
| 31 | -1 | 8 | 252 | -3 | 1 | 51 | 161 | 43 |
모션 보상 프로세스는 또한 필터링을 사용하여 참조 블록의 픽셀 변위가 분수일 때 샘플 값을 예측한다. JEM에서는 휘도 컴포넌트에는 8-탭 필터링이 사용되고 색차 컴포넌트에는 4-탭 길이 필터링이 사용된다. 모션 보간 필터는 먼저 수평으로 적용되고 수평 필터링의 출력은 수직으로 더 필터링된다. 4-탭 색차 필터의 계수는 표 2에 나와 있다.
| Sub 픽셀 오프셋 | c 0 | c 1 | c 2 | c 3 |
| 0(정수) | 0 | 64 | 0 | 0 |
| 1 | -1 | 63 | 2 | 0 |
| 2 | -2 | 62 | 4 | 0 |
| 3 | -2 | 60 | 7 | -1 |
| 4 | -2 | 58 | 10 | -2 |
| 5 | -3 | 57 | 12 | -2 |
| 6 | -4 | 56 | 14 | -2 |
| 7 | -4 | 55 | 15 | -2 |
| 8 | -4 | 54 | 16 | -2 |
| 9 | -5 | 53 | 18 | -2 |
| 10 | -6 | 52 | 20 | -2 |
| 11 | -6 | 49 | 24 | -3 |
| 12 | -6 | 46 | 28 | -4 |
| 13 | -5 | 44 | 29 | -4 |
| 14 | -4 | 42 | 30 | -4 |
| 15 | -4 | 39 | 33 | -4 |
| 16(half-pel) | -4 | 36 | 36 | -4 |
| 17 | -4 | 33 | 39 | -4 |
| 18 | -4 | 30 | 42 | -4 |
| 19 | -4 | 29 | 44 | -5 |
| 20 | -4 | 28 | 46 | -6 |
| 21 | -3 | 24 | 49 | -6 |
| 22 | -2 | 20 | 52 | -6 |
| 23 | -2 | 18 | 53 | -5 |
| 24 | -2 | 16 | 54 | -4 |
| 25 | -2 | 15 | 55 | -4 |
| 26 | -2 | 14 | 56 | -4 |
| 27 | -2 | 12 | 57 | -3 |
| 28 | -2 | 10 | 58 | -2 |
| 29 | -1 | 7 | 60 | -2 |
| 30 | 0 | 4 | 62 | -2 |
| 31 | 0 | 2 | 63 | -1 |
최첨단 비디오 코딩 솔루션은 인트라 및 인터 예측에서 서로 다른 보간 필터를 사용한다. 특히 도 5 내지 7은 보간 필터의 다른 예를 보여준다.도 5는 JEM에서 사용되는 보간 필터를 개략적으로 보여준다. 도면에서 볼 수 있듯이, 인터 예측의 분수 위치에 대한 모션 보상 보간을 위해, 루마에는 6 비트 계수가 있는 8-탭 보간 필터가 사용되고, 크로마에는 6 비트 계수가 있는 4-탭 보간 필터가 사용된다. 또한, 인트라 예측에서 인트라 참조 샘플 보간을 위해 8 비트 계수를 갖는 가우시안 4-탭 보간 필터 또는 8 비트 계수를 갖는 큐빅 4-탭 보간 필터가 사용된다.
도 6은 Core Experiment CE3 3.1.3(G. Van der Auwera et al: JVET K1023 "Description of Core Experiment 3(CE3): Intra Prediction and Mode Coding", version 2)에 대해 제안된 보간 필터를 개략적으로 보여준다. 도면에서 볼 수 있듯이, 인터 예측의 분수 위치에 대한 모션 보상 보간을 위해, 루마에는 6 비트 계수가 있는 8-탭 보간 필터가 사용되고 크로마에는 6 비트 계수가 있는 4-탭 보간 필터가 사용된다. 또한 인트라 예측에서 인트라 참조 샘플 보간을 위해 8 비트 계수를 갖는 가우시안 6-탭 보간 필터 또는 8 비트 계수를 갖는 큐빅 4-탭 보간 필터가 사용된다.
도 7은 G Van der Auwera et al.: JVET K0064 "CE3-related: On MDIS and intra interpolation filter switching", version 2에서 제안된 보간 필터를 개략적으로 보여준다. 도면에서 볼 수 있듯이, 인터 예측의 분수 위치에서 모션 보상 보간을 위해, 루마에는 6 비트 계수가 있는 8-탭 보간 필터가 사용되고 크로마에는 6 비트 계수가 있는 4-탭 보간 필터가 사용된다. 또한, 인트라 예측에서 인트라 참조 샘플 보간을 위해 8 비트 계수를 갖는 가우시안 6-탭 보간 필터 또는 8 비트 계수를 갖는 큐빅 6 탭 보간 필터가 사용된다.
본 개시에 따르면, 크로마 모션 보상 서브-픽셀 필터(chroma motion compensation sub-pel filter)의 룩업 테이블 및 하드웨어 모듈은 참조 샘플 사이의 분수 위치에 속하는 경우 인트라 예측자 내에서 픽셀 값을 보간하기 위해 재사용된다. 동일한 하드웨어가 인터 예측 및 인트라 예측 모두에 사용되도록 의도되었으므로 필터 계수의 정밀도는 일관되어야 한다. 즉, 인트라 참조 샘플 보간에 대한 필터 계수를 나타내는 비트 수는 모션 서브-픽셀 모션 보상 보간 필터링의 계수 정밀도와 맞추어져야 한다.
도 8은 제공된 본 개시의 아이디어를 도시한다. 사선으로 표시된 "크로마에 대한 6 비트 계수를 가진 4-탭 보간 필터"("통합 인트라/인터 필터"라고도 함)는 두 프로세스, 즉 인트라 및 인터 예측된 샘플의 보간에 사용할 수 있다.
이 설계를 활용하는 실시예가 도 9에 나와 있다. 이 구현에서 필터링 모듈은 모션 보상에서 색차 샘플의 예측과 인트라 예측을 수행할 때 휘도 및 색차 샘플을 예측하는 두 가지 모두에 관여하는 별도의 유닛으로 구현되고 있다. 이 구현에서 하드웨어 필터링 부분은 인트라 및 인터 예측 프로세스 모두에서 사용된다.
다른 실시예는 도 10에 도시된 바와 같이 필터 계수의 LUT만이 재사용되는 경우의 구현을 보여준다. 이 실시예에서, 하드웨어 필터링 모듈은 ROM에 저장된 LUT로부터 계수를 로드한다. 인트라 예측 프로세스에 도시된 스위치는 인트라 예측 프로세스를 위해 선택된 메인 측변의 길이에 따라 사용되는 필터 유형을 결정한다.
본 출원의 실시예는 다음과 같은 계수를 사용할 수 있다(표 3 참조).
| 서브픽셀 오프셋 | 통합된 인트라/인터 필터 | 가우시안 필터 | ||||||
| c 0 | c 1 | c 2 | c 3 | c 0 | c 1 | c 2 | c 3 | |
| 0(정수) | 0 | 64 | 0 | 0 | 16 | 32 | 16 | 0 |
| 1 | -1 | 63 | 2 | 0 | 15 | 29 | 17 | 3 |
| 2 | -2 | 62 | 4 | 0 | 14 | 29 | 18 | 3 |
| 3 | -2 | 60 | 7 | -1 | 14 | 29 | 18 | 3 |
| 4 | -2 | 58 | 10 | -2 | 14 | 28 | 18 | 4 |
| 5 | -3 | 57 | 12 | -2 | 13 | 28 | 19 | 4 |
| 6 | -4 | 56 | 14 | -2 | 12 | 28 | 20 | 4 |
| 7 | -4 | 55 | 15 | -2 | 12 | 27 | 20 | 5 |
| 8 | -4 | 54 | 16 | -2 | 11 | 27 | 21 | 5 |
| 9 | -5 | 53 | 18 | -2 | 11 | 27 | 21 | 5 |
| 10 | -6 | 52 | 20 | -2 | 10 | 26 | 22 | 6 |
| 11 | -6 | 49 | 24 | -3 | 10 | 26 | 22 | 6 |
| 12 | -6 | 46 | 28 | -4 | 9 | 26 | 23 | 6 |
| 13 | -5 | 44 | 29 | -4 | 9 | 26 | 23 | 6 |
| 14 | -4 | 42 | 30 | -4 | 8 | 25 | 24 | 7 |
| 15 | -4 | 39 | 33 | -4 | 8 | 25 | 24 | 7 |
| 16(half-pel) | -4 | 36 | 36 | -4 | 7 | 25 | 25 | 7 |
| 17 | -4 | 33 | 39 | -4 | 7 | 24 | 25 | 8 |
| 18 | -4 | 30 | 42 | -4 | 7 | 24 | 25 | 8 |
| 19 | -4 | 29 | 44 | -5 | 6 | 23 | 26 | 9 |
| 20 | -4 | 28 | 46 | -6 | 6 | 23 | 26 | 9 |
| 21 | -3 | 24 | 49 | -6 | 6 | 22 | 26 | 10 |
| 22 | -2 | 20 | 52 | -6 | 6 | 22 | 26 | 10 |
| 23 | -2 | 18 | 53 | -5 | 5 | 21 | 27 | 11 |
| 24 | -2 | 16 | 54 | -4 | 5 | 21 | 27 | 11 |
| 25 | -2 | 15 | 55 | -4 | 5 | 20 | 27 | 12 |
| 26 | -2 | 14 | 56 | -4 | 4 | 20 | 28 | 12 |
| 27 | -2 | 12 | 57 | -3 | 4 | 19 | 28 | 13 |
| 28 | -2 | 10 | 58 | -2 | 4 | 18 | 28 | 14 |
| 29 | -1 | 7 | 60 | -2 | 3 | 18 | 29 | 14 |
| 30 | 0 | 4 | 62 | -2 | 3 | 18 | 29 | 14 |
| 31 | 0 | 2 | 63 | -1 | 3 | 17 | 29 | 15 |
인트라 예측된 샘플은 다음과 같이 서브 픽셀 오프셋 및 필터 유형에 따라 표 1에서 선택된 계수를 사용하여 컨볼루션에 의해 계산될 수 있다.
이 수식에서 ">>"는 비트 우측 시프트 연산을 나타낸다. "통합 인트라/인터 필터"를 선택하면 예측된 샘플이 허용된 값 범위(SPS에서 정의되거나 선택한 컴포넌트의 비트 깊이에서 도출됨)까지 추가로 잘린다(clipped).
인트라 참조 샘플 보간 및 서브 픽셀 모션 보정 보간의 경우 동일한 필터를 사용하여 하드웨어 모듈을 재사용하고 필요한 메모리의 총 크기를 줄일 수 있다.
재사용된 필터에 추가하여 인트라 참조 샘플 보간에 사용되는 필터 계수의 정밀도는 위에서 언급한 재사용된 필터의 계수 정밀도와 맞추어져야 한다.
모션 보상의 루마 처리는 반드시 8-탭 필터링을 사용하는 것은 아니지만 4-탭 필터링에서도 작동할 수 있다. 이 경우 4-탭 필터를 선택하여 통합할 수 있다.
이 방법은 보간을 포함할 수 있는 인트라 예측 프로세스의 다른 부분에 적용될 수 있다. 특히, 메인 참조 샘플을 확장할 때 통합 보간 필터를 사용하여 사이드 참조 샘플을 필터링 할 수도 있다(상세하게는, V.Drugeon: JVET-K0211 “CE3: DC mode without divisions and modifications to intra filtering(Tests 1.2.1, 2.2.2 and 2.5.1)” version 1을 참조하라).
인트라 블록 복사 연산도 또한 본 제안된 방법을 사용할 수있는 보간 단계를 포함한다([Xiaozhong Xu, Shan Liu, Tzu-Der Chuang, Yu-Wen Huang, Shawmin Lei, Krishnakanth Rapaka, Chao Pang, Vadim Seregin, Ye-Kui Wang, Marta Karczewicz: Intra Block Copy in HEVC Screen Content Coding Extensions. IEEE J. Emerg. Sel. Topics Circuits Syst. 6(4): 409-419(2016)] 참조). 인트라 예측 방법이 제공되고, 이 방법은 블록의 인트라 예측을 위해 보간 필터로서 색차 컴포넌트에 대한 보간 필터를 사용하는 단계를 포함한다.
일 실시예에서, 색차 컴포넌트에 대한 보간 필터의 룩업 테이블은 인트라 예측을 위한 보간 필터의 룩업 테이블과 동일하다.
일 실시예에서, 색차 컴포넌트에 대한 보간 필터의 룩업 테이블은 인트라 예측을 위한 보간 필터의 룩업 테이블과 동일하지 않다.
일 실시예에서, 보간 필터는 4-탭 필터이다.
일 실시예에서, 색차 컴포넌트에 대한 보간 필터의 룩업 테이블은 다음과 같다.
| 서브 픽셀 오프셋 | c 0 | c 1 | c 2 | c 3 |
| 0(정수) | 0 | 64 | 0 | 0 |
| 1 | -1 | 63 | 2 | 0 |
| 2 | -2 | 62 | 4 | 0 |
| 3 | -2 | 60 | 7 | -1 |
| 4 | -2 | 58 | 10 | -2 |
| 5 | -3 | 57 | 12 | -2 |
| 6 | -4 | 56 | 14 | -2 |
| 7 | -4 | 55 | 15 | -2 |
| 8 | -4 | 54 | 16 | -2 |
| 9 | -5 | 53 | 18 | -2 |
| 10 | -6 | 52 | 20 | -2 |
| 11 | -6 | 49 | 24 | -3 |
| 12 | -6 | 46 | 28 | -4 |
| 13 | -5 | 44 | 29 | -4 |
| 14 | -4 | 42 | 30 | -4 |
| 15 | -4 | 39 | 33 | -4 |
| 16(half-pel) | -4 | 36 | 36 | -4 |
| 17 | -4 | 33 | 39 | -4 |
| 18 | -4 | 30 | 42 | -4 |
| 19 | -4 | 29 | 44 | -5 |
| 20 | -4 | 28 | 46 | -6 |
| 21 | -3 | 24 | 49 | -6 |
| 22 | -2 | 20 | 52 | -6 |
| 23 | -2 | 18 | 53 | -5 |
| 24 | -2 | 16 | 54 | -4 |
| 25 | -2 | 15 | 55 | -4 |
| 26 | -2 | 14 | 56 | -4 |
| 27 | -2 | 12 | 57 | -3 |
| 28 | -2 | 10 | 58 | -2 |
| 29 | -1 | 7 | 60 | -2 |
| 30 | 0 | 4 | 62 | -2 |
| 31 | 0 | 2 | 63 | -1 |
블록의 인트라 예측을 위한 보간 필터 세트로부터 보간 필터를 선택하는 단계를 포함하는 인트라 예측 방법이 제공된다.일 실시예에서, 보간 필터 세트는 가우시안 필터 및 큐빅 필터를 포함한다.
일 실시예에서, 선택된 보간 필터의 룩업 테이블은 색차 컴포넌트에 대한 보간 필터의 룩업 테이블과 동일하다.
일 실시예에서, 선택된 보간 필터는 4- 탭 필터이다.
일 실시예에서, 선택된 보간 필터는 큐빅 필터이다.
일 실시예에서, 선택된 보간 필터의 룩업 테이블은 다음과 같다.
| 서브 픽셀 오프셋 | c 0 | c 1 | c 2 | c 3 |
| 0(정수) | 0 | 64 | 0 | 0 |
| 1 | -1 | 63 | 2 | 0 |
| 2 | -2 | 62 | 4 | 0 |
| 3 | -2 | 60 | 7 | -1 |
| 4 | -2 | 58 | 10 | -2 |
| 5 | -3 | 57 | 12 | -2 |
| 6 | -4 | 56 | 14 | -2 |
| 7 | -4 | 55 | 15 | -2 |
| 8 | -4 | 54 | 16 | -2 |
| 9 | -5 | 53 | 18 | -2 |
| 10 | -6 | 52 | 20 | -2 |
| 11 | -6 | 49 | 24 | -3 |
| 12 | -6 | 46 | 28 | -4 |
| 13 | -5 | 44 | 29 | -4 |
| 14 | -4 | 42 | 30 | -4 |
| 15 | -4 | 39 | 33 | -4 |
| 16(half-pel) | -4 | 36 | 36 | -4 |
| 17 | -4 | 33 | 39 | -4 |
| 18 | -4 | 30 | 42 | -4 |
| 19 | -4 | 29 | 44 | -5 |
| 20 | -4 | 28 | 46 | -6 |
| 21 | -3 | 24 | 49 | -6 |
| 22 | -2 | 20 | 52 | -6 |
| 23 | -2 | 18 | 53 | -5 |
| 24 | -2 | 16 | 54 | -4 |
| 25 | -2 | 15 | 55 | -4 |
| 26 | -2 | 14 | 56 | -4 |
| 27 | -2 | 12 | 57 | -3 |
| 28 | -2 | 10 | 58 | -2 |
| 29 | -1 | 7 | 60 | -2 |
| 30 | 0 | 4 | 62 | -2 |
| 31 | 0 | 2 | 63 | -1 |
일 실시예에서, 선택된 보간 필터의 룩업 테이블은 다음과 같다.
| 서브 픽셀 오프셋 | c 0 | c 1 | c 2 | c 3 |
| 0(정수) | 16 | 32 | 16 | 0 |
| 1 | 15 | 29 | 17 | 3 |
| 2 | 14 | 29 | 18 | 3 |
| 3 | 14 | 29 | 18 | 3 |
| 4 | 14 | 28 | 18 | 4 |
| 5 | 13 | 28 | 19 | 4 |
| 6 | 12 | 28 | 20 | 4 |
| 7 | 12 | 27 | 20 | 5 |
| 8 | 11 | 27 | 21 | 5 |
| 9 | 11 | 27 | 21 | 5 |
| 10 | 10 | 26 | 22 | 6 |
| 11 | 10 | 26 | 22 | 6 |
| 12 | 9 | 26 | 23 | 6 |
| 13 | 9 | 26 | 23 | 6 |
| 14 | 8 | 25 | 24 | 7 |
| 15 | 8 | 25 | 24 | 7 |
| 16(half-pel) | 7 | 25 | 25 | 7 |
| 17 | 7 | 24 | 25 | 8 |
| 18 | 7 | 24 | 25 | 8 |
| 19 | 6 | 23 | 26 | 9 |
| 20 | 6 | 23 | 26 | 9 |
| 21 | 6 | 22 | 26 | 10 |
| 22 | 6 | 22 | 26 | 10 |
| 23 | 5 | 21 | 27 | 11 |
| 24 | 5 | 21 | 27 | 11 |
| 25 | 5 | 20 | 27 | 12 |
| 26 | 4 | 20 | 28 | 12 |
| 27 | 4 | 19 | 28 | 13 |
| 28 | 4 | 18 | 28 | 14 |
| 29 | 3 | 18 | 29 | 14 |
| 30 | 3 | 18 | 29 | 14 |
| 31 | 3 | 17 | 29 | 15 |
상기 방법 중 어느 하나를 수행하기 위한 처리 회로를 포함하는 인코더가 제공된다.상기 방법 중 어느 하나를 수행하기 위한 처리 회로를 포함하는 디코더가 제공된다.
상기 방법 중 어느 하나를 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품이 제공된다.
디코더가 제공되고, 이 디코더는, 하나 이상의 프로세서; 및 프로세서에 결합되고 프로세서에 의해 실행되는 프로그램을 저장하는 비 일시적 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 프로그램은 프로세서에 의해 실행될 때 상기 방법 중 어느 하나를 수행하도록 구성된다.
인코더가 제공되고, 이 인코더는, 하나 이상의 프로세서; 및 프로세서에 결합되고 프로세서에 의해 실행되는 프로그래밍을 저장하는 비 일시적 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 프로그래밍은 프로세서에 의해 실행될 때 상기 방법 중 어느 하나를 수행하도록 구성된다.
예를 들어, 설명된 방법과 관련된 개시는 또한 그 방법을 수행하도록 구성된 대응하는 장치 또는 시스템에 대해 유효하고 그 반대의 경우도 마찬가지인 것으로 이해된다. 예를 들어, 특정 방법 단계가 기술된 경우, 대응하는 장치는 설명된 방법 단계를 수행하기 위한 장치를 포함할 수 있으며, 그러한 장치가 도면에 명시적으로 설명되거나 예시되지 않은 경우에도 마찬가지이다. 또한, 본 명세서에 설명된 다양한 예시적인 측면의 특징은 특별히 달리 언급되지 않는 한 서로 결합될 수 있음이 이해된다.
인트라 예측을 위한 종횡비(aspect-ratio) 의존 필터링 방법이 제공되며, 이 방법은:
블록의 종횡비에 따라 예측할 블록에 대한 보간 필터를 선택하는 단계를 포함한다.
일 예에서, 예측할 블록의 인트라 예측 모드를 임계화하는 방향에 따라 보간 필터가 선택된다.
예를 들어, 그 방향은 예측할 블록의 메인 대각선의 각도에 대응한다.
일례에서, 그 방향의 각도는 다음과 같이 계산된다:
,
여기서, 는 각각 예측할 블록의 너비와 높이이다.
예에서 종횡비는, 이고, 여기서, 는 각각 예측할 블록의 너비 및 높이이다.
일 예에서, 예측할 블록의 메인 대각선 각도는 종횡비를 기반으로 결정된다.
일 예에서, 예측할 블록의 메인 대각선 각도에 기초하여 블록의 인트라 예측 모드의 임계값이 결정된다.
예를 들어, 사용되는 참조 샘플이 어느 측에 속하는지에 따라 보간 필터가 선택된다.
일례에서, 인트라 방향에 대응하는 각도를 가진 직선은 블록을 두 영역으로 나눈다.
예를 들어, 다른 영역에 속하는 참조 샘플은 다른 보간 필터를 사용하여 예측된다.
예에서, 필터는 큐빅 보간 필터 또는 가우시안 보간 필터를 포함한다.
본 출원의 한 구현 형태에서, 프레임은 픽처와 동일하다.
본 개시의 일 구현 형태에서, VER_IDX에 해당하는 값은 50이고; HOR_IDX에 해당하는 값은 18이고; VDIA_IDX에 해당하는 값은 66이고, 이 값은 각도 모드에 해당하는 값 중 가장 큰 값일 수 있고; 인트라 모드 2에 대응하는 값 2는 각도 모드에 대응하는 값 중 가장 작은 값일 수 있고; DIA_IDX에 해당하는 값은 34이다.
본 개시는 인트라 모드 시그널링 방식의 개선을 목표로 한다. 본 개시에서는 비디오 디코딩 방법 및 비디오 디코더가 제안된다.
본 개시의 다른 측면에서는, 상기 디코딩 방법을 수행하도록 구성된 처리 회로를 포함하는 디코더가 개시된다.
본 개시의 다른 측면에서, 상기 디코딩 방법들 중 임의의 하나를 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품이 제공된다.
본 개시의 다른 측면에서, 비디오 데이터를 디코딩하기 위한 디코더가 제공되고, 이 디코더는: 하나 이상의 프로세서; 및 프로세서에 결합되고 프로세서에 의해 실행되는 프로그램을 저장하는 비 일시적 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 프로그램은 프로세서에 의해 실행될 때 상기 디코딩 방법 중 어느 하나를 수행하도록 디코더를 구성한다.
처리 회로는 예를 들어 소프트웨어 프로그래밍 가능 프로세서 등에 의해 하드웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다.
처리 회로는 예를 들어 소프트웨어 프로그래밍 가능 프로세서 등에 의해 하드웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다.
도 11은 HEVC UIP 방식에서 사용되는 복수의 인트라 예측 모드의 개략도를 예시한다. 휘도 블록의 경우, 인트라 예측 모드는 최대 36개의 인트라 예측 모드를 포함할 수 있으며, 이는 3개의 비-방향성 모드와 33개의 방향성 모드를 포함할 수 있다. 비-방향성 모드는 평면 예측 모드, 평균(DC) 예측 모드 및 루마(LM)로부터 크로마 예측 모드(chroma from luma(LM) prediction mode)를 포함할 수 있다. 평면 예측 모드는 블록의 경계에서 도출된 수평 및 수직 경사를 갖는 블록 진폭 표면(block amplitude surface)을 가정하여 예측을 수행할 수 있다. DC 예측 모드는 블록 경계의 평균값과 일치하는 값을 갖는 평평한 블록 표면을 가정하여 예측을 수행할 수 있다. LM 예측 모드는 블록에 대한 크로마 값이 블록에 대한 루마 값과 일치한다고 가정하여 예측을 수행할 수 있다. 방향성 모드는 도 11과 같이 인접 블록을 기반으로 예측을 수행할 수 있다.
H.264/AVC 및 HEVC는 인트라 예측 프로세스에 사용되기 전에 참조 샘플에 저역 통과 필터를 적용할 수 있다고 정하고 있다. 참조 샘플 필터의 사용 여부는 인트라 예측 모드와 블록 크기에 따라 결정된다. 이 메커니즘을 MDIS(Mode Dependent Intra Smoothing)라고 할 수 있다. MDIS와 관련된 방법은 여러 가지가 있다. 예를 들어, ARSS(Adaptive Reference Sample Smoothing) 방법은 명시 적으로(즉, 플래그가 비트 스트림에 포함됨) 또는 암시적으로(즉, 신호 오버 헤드를 줄이기 위해 플래그를 비트 스트림에 넣는 것을 방지하기 위해 데이터 숨김이 사용됨) 예측 샘플이 필터링되는지는 시그널링할 수 있다. 이 경우 인코더는 모든 잠재적 인트라 예측 모드에 대해 RD(Rate-Distortion) 비용을 테스트하여 스무딩(smoothing)에 대해 결정할 수 있다.
도 11에 도시된 바와 같이, JEM의 최신 버전(JEM-7.2)은 스큐(skew) 인트라 예측 방향에 대응하는 몇 가지 모드를 가진다. 이러한 모드 중 하나에 대해 블록 측 내의 대응하는 위치가 분수(fractional)인 경우 인접한 참조 샘플 세트의 블록 보간 내에서 샘플을 예측해야 한다. HEVC 및 VVC는 인접한 두 참조 샘플 간의 선형 보간을 사용한다. JEM은보다 정교한 4-탭 보간 필터를 사용한다. 필터 계수는 너비 또는 높이 값에 따라 가우시안 또는 큐빅으로 선택된다. 너비 또는 높이 사용 여부에 대한 결정은 메인 참조 측변(reference side) 선택 결정과 조화를 이룬다: 인트라 예측 모드가 대각선 모드보다 크거나 같을 때 참조 샘플의 상단 측변을 메인 참조 측변으로 선택하고 너비 값은 사용중인 보간 필터를 결정하기 위해 선택된다. 그렇지 않으면 블록의 좌측에서 메인 측변 참조가 선택되고 높이는 필터 선택 프로세스를 제어한다. 특히 선택한 측변의 길이는 8개 샘플보다 작거나 같으면 큐빅 보간 4 탭이 적용된다. 그렇지 않으면 보간 필터는 4-탭 가우시안 필터이다.
32x4 블록의 경우 대각선 하나(45도로 표시)보다 작은 모드와 큰 모드에 대한 보간 필터 선택의 예가 도 12에 도시되어 있다.
VVC에서는 쿼드 트리 및 이진 트리를 기반으로 하고 QTBT로 알려진 파티셔닝 메커니즘이 사용된다. 도 13에 도시된 것처럼 QTBT 파티셔닝은 정사각형 블록뿐만 아니라 직사각형 블록도 제공할 수 있다. 물론, 인코더 측에서 약간의 시그널링 오버 헤드와 증가된 계산 복잡성은 HEVC/H.265 표준에서 사용되는 기존의 쿼드 트리 기반 파티셔닝에 비해 QTBT 파티셔닝의 비용이다. 그럼에도 불구하고 QTBT 기반 파티셔닝에는 더 나은 세그먼트화 속성이 부여되어 기존 쿼드 트리보다 훨씬 더 높은 코딩 효율성을 보여준다.
그러나 현재 상태의 VVC는 참조 샘플의 양 측변(좌측 및 상단측)에 동일한 필터를 적용한다. 블록이 수직으로 배향되든 수평으로 배향되는 관계없이 참조 샘플 필터는 두 참조 샘플 측변에 대해 동일한다.
이 문서에서 QTBT 프레임 워크에 의해 생성된 직사각형 블록에는 "수직 배향 블록(vertically oriented block)"("블록의 수평 배향") 및 "수평 배향 블록(horizontally orented block)"("블록의 수평 배향")이라는 용어가 적용된다. 이 용어는 도 14에 도시된 것과 동일한 의미를 갖는다.
본 개시는 블록의 배향을 고려하기 위해 상이한 참조 샘플 필터를 선택하는 메커니즘을 제공한다. 구체적으로 블록의 너비와 높이를 독립적으로 검사하여 예측하고자 하는 블록의 서로 다른 측변에 위치한 참조 샘플에 서로 다른 참조 샘플 필터를 적용한다.
선행 기술 검토에서 보간 필터 선택은 메인 참조 측변 선택에 대한 결정과 조화를 이루는 것으로 설명되었다. 이 두 가지 결정 모두 현재 인트라 예측 모드와 대각선(45도) 방향의 비교에 의존한다.
그러나 이 설계는 긴 정방형 블록에 심각한 결함이 있음을 알 수 있다. 도 15에서 모드 비교 기준을 사용하여 짧은 측변을 메인 참조로 선택하더라도 대부분의 예측 픽셀은 여전히 긴 측변의 참조 샘플(점선 영역으로 표시)에서 유도된다는 것을 알 수 있다.
본 개시는 보간 필터 선택 프로세스 동안 인트라 예측 모드를 임계화하기 위한 대안적인 방향을 사용하는 것을 제안한다. 구체적으로, 방향은 예측할 블록의 메인 대각선 각도에 대응한다. 예를 들어, 크기가 32x4 및 4x32 인 블록의 경우 참조 샘플 필터를 결정하는 데 사용되는 임계값 모드 mT는 도 16과 같이 정의된다.
임계값 인트라 예측 각도의 특정 값은 다음 공식을 사용하여 계산할 수 있다.
,
여기서 W와 H는 각각 블록 너비와 높이이다.
본 개시의 다른 실시예는 사용되는 참조 샘플이 어느 측변에 속하는 지에 따라 다른 보간 필터를 사용하는 것이다. 이 결정의 예는 도 17에 나와 있다.
인트라 방향 m에 대응하는 각도의 직선은 예측 블록을 두 영역으로 나눈다 서로 다른 영역에 속하는 샘플은 서로 다른 보간 필터를 사용하여 예측된다.
mT(BMS1.0에 정의된 인트라 예측 모드 세트에 대한)의 예시적인 값과 대응하는 각도는 표 7에 나와 있다. 각도 는 도 16과 같이 제공된다.
기존 기술 및 솔루션과 비교하여 본 발명은 서로 다른 보간 필터를 사용하여 예측된 블록 내 샘플을 사용하며, 여기서 샘플을 예측하는 데 사용되는 보간 필터는 블록 형태, 수평 또는 수직인 배향, 인트라 예측 모드 각도에 따라 선택된다.
본 발명은 참조 샘플 필터링 단계에서 적용될 수 있다. 특히, 보간 필터 선택 프로세스에 대해 위에서 설명한 유사한 규칙을 사용하여 참조 샘플 스무딩 필터를 결정할 수 있다.
보간 필터링 외에도 참조 샘플 필터링은 인트라 예측기 내에서 샘플을 예측하기 직전에 참조 샘플에 적용할 수도 있다. 참조 샘플 필터링 후 얻은 필터링된 참조 샘플은 인트라 예측 모드의 선택된 방향에 따라 인트라 예측자 내에서 해당 샘플로 복사하거나 추가 보간 필터링에 사용할 수 있다. 이러한 방식으로 다음 필터를 참조 샘플에 적용할 수 있다.
| 인덱스 | 필터 길이 | 필터 계수들 |
| 0 | 1 | [1] 즉, 이 경우 필터링이 수행되지 않으므로 바이패스 모드가 적용된다 |
| 1 | 3 | [1, 2, 1] |
| 2 | 5 | [2, 3, 6, 3, 2] |
| 3 | 5 | [1, 4, 6, 4, 1] |
도 21은 샘플(1120)을 포함하는 주변 굵은 프레임으로 예시된 현재 블록(1130)을 예시한다. 또한, 이 도면은 이웃 블록의 참조 샘플(1110)을 예시한다. 예를 들어, 참조 샘플은 상단측 블록 또는 좌측 블록의 샘플일 수 있다.일 실시예에 따르면, 제공된 방법은 다음 단계를 포함한다:
선택한 각 방향의 인트라 예측 모드는 다음 그룹 중 하나로 분류된다:
A. 수직 또는 수평 모드,
B. 45도의 배수인 각도를 나타내는 대각선 모드,
C. 나머지 방향성 모드;
방향성 인트라 예측 모드가 그룹 A에 속하는 것으로 분류되면, 인트라 예측자에 속하는 샘플(1120)을 생성하기 위해 참조 샘플(1110)에 필터가 적용되지 않는다. 참조 샘플(1110)은 도 11에 도시된 바와 같이 블록 경계(1130)를 가진 예측될 블록(인트라 예측 자) 내의 샘플(1120)로부터 분리된다;
모드가 그룹 B에 속하면, 참조 샘플 필터(표 8에 표시된 참조 샘플 필터 중 하나, 예: [1, 2, 1])가, 선택된 방향에 따라 인트라 예측자로 이들 필터링된 값을 추가 복사하기 위해 참조 샘플에 적용되며, 보간 필터는 적용되지 않는다.
모드가 그룹 C에 속하는 것으로 분류된 경우, 선택된 방향에 따라 참조 샘플 사이의 분수 또는 정수 위치에 속하는 예측된 샘플을 생성하기 위해 참조 샘들에 인트라 참조 샘플 보간 필터(예: 표 3에 제시된 필터)만이 적용된다(참조 샘플 필터링은 수행되지 않음).
일 실시예에 따르면, 제공된 방법은 다음 단계를 제공한다:
현재 블록의 인트라 예측 처리를 위한 방향성 인트라 예측 모드는 다음 그룹 중 하나로 분류된다:
수직 또는 수평 모드,
45도의 배수인 각도를 나타내는 대각선 모드를 포함한 방향성 모드,
나머지 방향성 모드.
방향성 인트라 예측 모드가 그룹 B에 속하는 것으로 분류되면 참조 샘플 필터가 참조 샘플에 적용된다.
방향성 인트라 예측 모드가 그룹 C에 속하는 것으로 분류되면 인트라 참조 샘플 보간 필터가 참조 샘플에 적용된다.
즉, 현재 블록의 인트라 예측에 사용할 인트라 예측 모드의 분류에 따라 참조 샘플을 적용(분류 B)하거나 참조 샘플 보간 필터를 적용(분류 C)한다.
특히, 본 실시예에 따르면, 샘플 필터 또는 샘플 보간 필터가 적용된다. 특히, 방향성 인트라 예측 모드에 따른 참조 샘플 필터가 분수 샘플(fractional sample)이 아닌 경우 보간 필터가 적용되지 않는다. 즉, 예측 방향에 따른 참조 샘플이 정수 샘플(integer sample)에 떨어지는 경우 보간 필터를 사용하지 않아도 된다.
또한 분류에 따라 필터를 전혀 사용되지 않을 수 있다. 예를 들어, 현재 블록의 인트라 예측에 사용되는 인트라 예측 모드가 분류 A인 경우, 참조 샘플 필터나 참조 샘플 보간 필터는 사용되지 않는다.
예측된 샘플은 도 21에 예시된 바와 같이 참조 샘플의 좌측 및 상단 라인에서 얻을 수 있다. 인트라 예측 모드에 따라 각 예측된 샘플에 대해 대응하는 참조 샘플의 위치가 결정된다. 모드가 정수가 아닌 기울기를 가지면, 참조 샘플의 위치는 분수이며 참조 샘플 값은 분수 위치에 인접한 참조 샘플의 서브 세트에 보간 필터를 적용하여 얻는다.
참조 샘플 라인에서 이 참조 샘플의 위치는 예측된 샘플 위치에 대해 수평(인트라 예측 모드가 DIA_IDX보다 큰 경우) 또는 수직(인트라 예측 모드가 DIA-IDX보다 작은 경우) 오프셋을 갖는다. 이 오프셋의 값은, 모드의 각도와 예측된 샘플에서 참조 샘플 라인까지의 거리에 따라 다르다. 인트라 예측 모드가 2 또는 VDIA_IDX인 경우 예측 각도는 45도이고 오프셋 값은 참조 샘플 라인까지의 거리 값과 같다.
그룹 B의 대각선 모드는 또한 정수 경사 광각 모드(integer-slope wide-angle mode)를 포함할 수 있다. 이 경우 DIA_IDX 및 VDIA_IDX 모드와 유사하게 오프셋 값은 참조 샘플 라인까지의 거리의 배수이며 각 예측된 샘플에 대한 참조 샘플 위치는 분수가 아니다.
예를 들어, 다중 참조 라인 예측이 사용되지 않고(참조 라인 인덱스가 0과 같음) 블록 내 예측된 샘플의 위치가 위치 (0,0)을 가지는 상단-좌측 예측된 샘플에 대해 (1,3)과 같은 경우, 인트라 예측 모드가 DIA_IDX보다 클 때 참조 샘플 라인까지의 거리는 4개 샘플과 같다. 인트라 예측 모드가 DIA_IDX보다 작으면 이 거리는 2와 같다.
인트라 예측 모드가 광각 모드이고 기울기가 정수인 경우 예측된 샘플의 값은 다음과 같이 계산할 수 있다.
인트라 예측 모드가 DIA_IDX보다 클 때, 그렇지 않으면
여기서 는 오프셋 값을 나타낸다.
45-각도 모드 2 및 VDIA_IDX의 값 N은 1이다.
45도의 배수인 각도를 나타내는 모드는 동일한 표현식을 사용하여 예측된 샘플 "predSamples[x][y]"를 결정하지만 N 값은 1보다 크고 정수가 된다. 45도의 배수인 각도를 나타내는 모드는 반드시 수평 및 수직 모드를 포함하는 것은 아니다.
광각 정수 기울기 모드에 대한 오프셋 의 값은 모드 2 및 모드 VDIA_IDX에 대한 오프셋의 배수임을 알 수 있다.
일반적으로 오프셋 값은"intraPredAngle"파라미터를 사용하여 인트라 예측 모드(predModeIntra)로 매핑될 수 있다. 이 파라미터의 인트라 예측 모드에 대한 특정 매핑은 아래 표 9에 나와 있다.
역 각도 파라미터(inverse angle parameter) invAngle은 다음과 같이 intraPredAngle을 기반으로 유도된다.
예측된 샘플의 예시적인 유도는 다음과 같다.
x=0..nTbW-1, y=0..nTbH-1 인 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다.
- predModeIntra가 34보다 크거나 같으면 다음 순서의 단계가 적용된다:
1. 참조 샘플 어레이 ref[x]는 다음과 같이 지정된다:
-다음이 적용된다.
- intraPredAngle이 0보다 작 으면 메인 참조 샘플 어레이가 다음과 같이 확장된다:
- (nTbH * intraPredAngle)>>5가 -1보다 작을 때,
-그렇지 않으면,
-추가 샘플 ref [refW+refIdx+x]이고 x=1..(Max(1, nTbW/nTbH) * refIdx+1)은 다음과 같이 유도된다.
2. x=0..nTbW-1, y=0..nTbH-1 인 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:
-인덱스 변수 iIdx 및 곱셈 계수 iFact는 다음과 같이 유도된다:
-cIdx가 0이면 다음이 적용된다:
-j=0..3인 보간 필터 계수 fT [j]은 다음과 같이 유도된다:
-예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:
-그렇지 않으면(cIdx가 0이 아님) iFact의 값에 따라 다음이 적용된다:
-iFact가 0이 아닌 경우 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:
-그렇지 않으면 예측 샘플 predSamples[x][y]의 값이 다음과 같이 유도된다:
-그렇지 않으면(predModeIntra가 34보다 작음) 다음 순서의 단계가 적용된다:
3. 참조 샘플 어레이 ref[x]는 다음과 같이 지정된다:
-다음이 적용된다:
-intraPredAngle이 0보다 작 으면 메인 참조 샘플 어레이가 다음과 같이 확장된다:
-(nTbW * intraPredAngle) >> 5가 -1보다 작을 때,
-그렇지 않으면,
-추가 샘플 ref [refH+refIdx+x], x=1 ..(Max(1, nTbW/nTbH) * refIdx+1)은 다음과 같이 유도된다:
4. x=0..nTbW-1, y=0..nTbH-1 인 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다.
-인덱스 변수 iIdx 및 곱셈 계수 iFact는 다음과 같이 유도된다:
-cIdx가 0이면 다음이 적용된다:
-j=0..3인 보간 필터 계수 fT[j]는 다음과 같이 유도된다:
-예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:
-그렇지 않으면(cIdx가 0이 아님) iFact의 값에 따라 다음이 적용된다:
-iFact가 0이 아닌 경우 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:
-그렇지 않으면 예측 샘플 predSamples[x][y]의 값이 다음과 같이 유도된다:
위의 예와 위의 표에서 일부 모드에 대한 보간의 호출이 중복됨을 알 수 있다. 특히, 이는 대응하는 intraPredAngle 파라미터가 32의 배수 인 모드에서 발생한다. 값 32는 정수 45도 기울기의 모드에 해당한다. 실제로 predAngle의 값은 참조 샘플의 라인에 인접한 예측된 샘플에 사용되는 오프셋 값에 대한 5-비트 고정 지점 정수 표현이다.
특히 모드 [-14, -12, -10, -6, 2, 34, 66, 72, 76, 78, 80]의 경우 예측된 샘플 계산에 보간이 필요하지 않다. 예측된 샘플의 값은 참조 샘플을 복사하여 얻을 수 있다.
본 개시 내용의 실시예의 예시적인 구현을 포함하는 VVC 초안 사양의 버전이 아래 텍스트에 제공된다:
8.4.4.2.1 일반적인 인트라 샘플 예측
이 프로세스에 대한 입력은 다음과 같다:
-현재 픽처의 상단-좌측 샘플을 기준으로 현재 변환 블록의 좌측 상단 샘플을 지정하는 샘플 위치(xTbCmp, yTbCmp),
-인트라 예측 모드를 지정하는 변수 predModeIntra,
-변환 블록 너비를 지정하는 변수 nTbW,
-변환 블록 높이를 지정하는 변수 nTbH,
-코딩 블록 너비를 지정하는 변수 nCbW,
-코딩 블록 높이를 지정하는 변수 nCbH,
-현재 블록의 색상 컴포넌트를 지정하는 변수 cIdx.
이 프로세스의 출력은 x=0..nTbW-1, y=0..nTbH-1 인 예측된 샘플 predSamples[x][y]이다.
refW 및 refH 변수는 다음과 같이 유도된다:
-IntraSubPartitionsSplitType이 ISP_NO_SPLIT와 같거나 cIdx가 0이 아닌 경우 다음이 적용된다:
-그렇지 않으면(IntraSubPartitionsSplitType이 ISP_NO_SPLIT와 같지 않고 cIdx가 0과 같음) 다음이 적용된다:
인트라 예측 참조 라인 인덱스를 지정하는 변수 refIdx는 다음과 같이 유도된다:
x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1-refIdx를 가진 참조 샘플 p[x][y]를 생성하는 경우 , 다음 순서 단계가 적용된다:
1. Bross B 외:"Versatile Cideo Coding(Draft 4)", JVET-M1001-v7, 2019년 3월(이하, 이 문서를 JVET-M1001-v7이라고 함)의 8.4.4.2.2 절에 명시된 참조 샘플 가용성 마킹 프로세스가, 샘플 위치(xTbCmp, yTbCmp), 인트라 예측 참조 라인 인덱스 refIdx, 참조 샘플 너비 refW, 참조 샘플 높이 refH, 색상 컴포넌트 인덱스 cIdx를 입력으로 사용하여 호출되고, x=-1-refIdx, y=-1-refIdx..refH-1 및 x =-refIdx..refW-1, y=-1-refIdx를 가진 참조 샘플 refUnfilt[x][y]이 출력으로 호출된다.
2. x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1-refIdx 인 하나 이상의 샘플 refUnfilt[x][y]이 "인트라 예측에 사용할 수 없음"으로 마킹되면, JVET-M1001-v7의 8.4.4.2.3 절에 지정된 참조 샘플 대체 프로세스가 인트라 예측 참조 라인 인덱스 refIdx, 참조 샘플 너비 refW, 참조 샘플 높이 refH, 참조 샘플 refUnfilt[x][y], x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1- refIdx , 색상 컴포넌트 인덱스 cIdx를 입력으로 하여 호출되고, 수정된 참조 샘플 refUnfilt[x][y], x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1-refIdx,를 출력으로서 호출된다.
3. predModeIntra가 INTRA_DC와 같으면 RefFilterFlag는 0으로 설정된다. 그렇지 않으면, intraPredAngle, RefFilterFlag 및 InterpolationFlag 파라미터는, 아래 8.4.4.2.7 절에 지정된 대응하는 intraPredAngle 파라미터 및 필터 플래그 유도 프로세스를, 인트라 예측 모드 predModeIntra, 인트라 예측 참조 라인 인덱스 refIdx, 변환 블록 너비 nTbW, 변환 블록 높이 nTbH, 코딩 블록 너비 nCbW 및 높이 nCbH, 및 색상 컴포넌트 인덱스 cIdx와함께 호출함으로써 획득된다.
4. 아래 8.4.4.2.4 절에 명시된 참조 샘플 필터링 프로세스는 인트라 예측 참조 라인 인덱스 refIdx, 변환 블록 너비 nTbW 및 높이 nTbH, 참조 샘플 너비 refW, 참조 샘플 높이 refH, 필터링되지 않은 샘플 refUnfilt[x][y](x=-1-refIdx, y=-1-refIdx..refH-1, 및 x=-refIdx..refW-1, y=-1-refIdx), RefFilterFlag 파라미터 및 색상 컴포넌트 인덱스 cIdx를 입력으로, 참조 샘플 p[x][y](x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1-refldx)를 출력으로 하여 함께 호출된다.
predModeIntra에 따른 인트라 샘플 예측 프로세스는 다음과 같이 적용된다.
-predModeIntra가 INTRA_PLANAR과 같으면, JVET-M1001-v7의 8.4.4.2.5 절에 지정된 대응하는 인트라 예측 모드 프로세스가 변환 블록 너비 nTbW, 변환 블록 높이 nTbH 및 참조 샘플 어레이 p를 입력으로 하여 호출되고, 출력은 예측된 샘플 어레이 predSamples이다.
-그렇지 않고, predModeIntra가 INTRA_DC와 같으면 JVET-M1001-v7의 8.4.4.2.6 절에 지정된 대응하는 인트라 예측 모드 프로세스가 변환 블록 너비 nTbW, 변환 블록 높이 nTbH 및 참조 샘플 어레이 p를 입력으로 하여 호출된다. 출력은 예측된 샘플 어레이 predSamples이다.
-그렇지 않고, predModeIntra가 INTRA_LT_CCLM, INTRA_L_CCLM 또는 INTRA_T_CCLM과 같으면 8.4.4.2.8 절에 지정된 대응하는 인트라 예측 모드 프로세스가 인트라 예측 모드 predModeIntra, (xTbCmp, yTbCmp)와 같게 설정된 샘플 위치(xTbC, yTbC), 변환 블록 너비 nTbW 및 높이 nTbH, 참조 샘플 어레이 p를 입력으로 하여호출되고, 출력은 예측 샘플 어레이 predSamples이다.
-그렇지 않으면, 아래 8.4.4.2.8 절에 명시된 대응하는 인트라 예측 모드 프로세스는 트라 예측 모드 predModeIntra, 인트라 예측 참조 라인 인덱스 refIdx, 변환 블록 너비 nTbW, 변환 블록 높이 nTbH, 참조 샘플 너비 refW, 참조 샘플 높이 refH, 코딩 블록 너비 nCbW 및 높이 nCbH, 보간 필터 선택 플래그 InterpolationFlag, 참조 필터 플래그 RefFilterFlag 및 참조 샘플 어레이 p를 입력으로하고, 수정된 인트라 예측 모드 predModeIntra 및 예측 샘플 어레이 predSamples을 출력으로 하여 호출된다.
다음 조건이 모두 참이면 JVET-M1001-v7의 8.4.4.2.9 절에 지정된 위치 종속 예측 샘플 필터링 프로세스(position-dependent prediction sample filtering process)가, 인트라 예측 모드 predModeIntra, 변환 블록 너비 nTbW, 변환 블록 높이로 호출된다. nTbH, 예측 샘플 predSamples[x][y] (x=0..nTbW-1, y=0..nTbH-1), 참조 샘플 너비 refW, 참조 샘플 높이 refH, 참조 샘플 p[x][y](x=-1, y=-1..refH-1 및 x=0..refW -1, y=-1), 색상 컴포넌트 인덱스 cIdx를 입력으로 사용하여 호출되고, 출력은 수정됨 예측된 샘플 어레이 predSamples이다:
-IntraSubPartitionsSplitType이 ISP_NO_SPLIT와 같거나 cIdx가 0과 같지 않음
-refIdx가 0이거나 cIdx가 0이 아니다.
-다음 조건 중 하나에 해당한다.
- predModeIntra는 INTRA_PLANAR과 같다.
- predModeIntra는 INTRA_DC와 같다.
- predModeIntra는 INTRA_ANGULAR18과 같다.
- predModeIntra는 INTRA_ANGULAR50과 같다.
- predModeIntra가 INTRA_ANGULAR10보다 작거나 같다.
- predModeIntra가 INTRA_ANGULAR58보다 크거나 같다.
8.4.4.2.4 참조 샘플 필터링 프로세스
이 프로세스에 대한 입력은 다음과 같다.
- 인트라 예측 참조 라인 인덱스를 지정하는 변수 refIdx,
- 변환 블록 너비를 지정하는 변수 nTbW,
- 변환 블록 높이를 지정하는 변수 nTbH,
- 참조 샘플 너비를 지정하는 변수 refW,
- 참조 샘플 높이를 지정하는 변수 refH,
- (필터링되지 않은) 인접 샘플 refUnfilt[x][y], x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1- refIdx ,
- RefFilterFlag 파라미터
이 프로세스의 출력은 x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1-refIdx 인 참조 샘플 p[x][y]이다.
참조 샘플 p[x][y]의 유도에는 다음이 적용된다:
- RefFilterFlag가 1 인 경우 x=-1, y=-1..refH-1 및 x=0..refW-1, y=-1인 필터링된 샘플 값 p[x][y]는 다음과 같이 유도된다:
- p [-1] [-1] =(refUnfilt [-1] [0] 2 * refUnfilt [-1] [-1] refUnfilt [0] [-1] 2) >> 2(8,111)
- 그렇지 않으면 참조 샘플 값 p[x][y]는 필터링되지 않은 샘플 값 refUnfilt[x][y]와 동일하게 설정되며 x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1-refIdx이다.
8.4.4.2.7 intraPredAngle 파라미터 및 필터 플래그 유도 사양
이 프로세스에 대한 입력은 다음과 같다:
- 인트라 예측 모드 predModeIntra,
- 변환 블록 너비를 지정하는 변수 nTbW,
- 변환 블록 높이를 지정하는 변수 nTbH,
- 코딩 블록 너비를 지정하는 변수 nCbW,
- 코딩 블록 높이를 지정하는 변수 nCbH,
- 색상 컴포넌트 인덱스 cIdx
이 프로세스의 출력은 수정된 인트라 예측 모드 predModeIntra, intraPredAngle 파라미터 RefFilterFlag 및 InterpolationFlag 변수이다.
nW 및 nH 변수는 다음과 같이 유도된다:
- IntraSubPartitionsSplitType이 ISP_NO_SPLIT와 같거나 cIdx가 0이 아닌 경우 다음이 적용된다.
- 그렇지 않으면(IntraSubPartitionsSplitType이 ISP_NO_SPLIT와 같지 않고 cIdx가 0과 같음) 다음이 적용된다:
변수 whRatio는 Abs(Log2(nW/nH))와 동일하게 설정된다.
정사각형이 아닌 블록(nW는 nH와 같지 않음)의 경우 인트라 예측 모드 predModeIntra가 다음과 같이 수정된다:
- 다음 조건이 모두 참이면 predModeIntra는(predModeIntra 65)와 동일하게 설정된다.
- nW는 nH보다 크다.
- predModeIntra가 2보다 크거나 같다.
- predModeIntra는 (whRatio>1)?(8+2*whRatio):8보다 작다.
- 그렇지 않고 다음 조건이 모두 참이면 predModeIntra는 (predModeIntra-67)로 설정된다.
- nH가 nW보다 크다.
- predModeIntra가 66보다 작거나 같다.
- predModeIntra가(whRatio>1)?(60-2*whRatio):60보다 크다.
각도 파라미터 intraPredAngle은 predModeIntra 값을 사용하여 표 10에 지정된대로 결정된다.
filterFlag 변수는 다음과 같이 유도된다.
- 다음 조건 중 하나 이상이 참이면 filterFlag가 0으로 설정된다.
- cIdx가 0이 아니다.
- refIdx가 0이 아니다.
- IntraSubPartitionsSplitType은 ISP_NO_SPLIT와 같지 않고 cIdx는 0과 같고 predModeIntra는 INTRA_ANGULAR34보다 크거나 같고 nW는 8보다 크다.
- IntraSubPartitionsSplitType은 ISP_NO_SPLIT와 같지 않고 cIdx는 0이며 predModeIntra는 INTRA_ANGULAR34보다 작고 nH는 8보다 크다.
-그렇지 않고 predModeIntra가 INTRA_PLANAR이면 변수 filterFlag는 nTbS>5? 1: 0과 동일하게 설정된다.
-그렇지 않고 intraPredAngle이 32보다 크면 변수 filterFlag는 1로 설정된다.
-그렇지 않으면 다음이 적용된다.
- minDistVerHor 변수는 Min(Abs(predModeIntra-50), Abs(predModeIntra-18))와 동일하게 설정된다.
- intraHorVerDistThres[nTbS] 변수는 표 11에 지정되어 있다.
- filterFlag 변수는 다음과 같이 유도된다.
- minDistVerHor가 intraHorVerDistThres[nTbS]보다 크거나 또는 Abs(intraPredAngle)>32이면, filterFlag는 1로 설정된다.
출력 변수 RefFilterFlag 및 InterpolationFlag는 다음과 같이 유도된다:
- predModeIntra가 INTRA_PLANAR이거나 predIntraAng가 32의 정수 배수 인 경우 변수 RefFilterFlag는 filterFlag와 동일하게 설정되고 InterpolationFlag는 0으로 설정된다.
- 그렇지 않으면 RefFilterFlag 변수는 0으로 설정되고 InterpolationFlag는 filterFlag와 동일하게 설정된다.
정보: RefFilterFlag 및 InterpolationFlag는 모든 predModeIntra에 대해 둘 다 1이 될 수 없다(표 12 참조).
8.4.4.2.8 각도 인트라 예측 모드의 사양
이 프로세스에 대한 입력은 다음과 같다.
- 인트라 예측 모드 predModeIntra,
- intraPredAngle 파라미터
- 인트라 예측 참조 라인 인덱스를 지정하는 변수 refIdx,
- 변환 블록 너비를 지정하는 변수 nTbW,
- 변환 블록 높이를 지정하는 변수 nTbH,
- 참조 샘플 너비를 지정하는 변수 refW,
- 참조 샘플 높이를 지정하는 변수 refH,
- 코딩 블록 너비를 지정하는 변수 nCbW,
- 코딩 블록 높이를 지정하는 변수 nCbH,
- 4-탭 필터 보간 사용을 지정하는 변수 InterpolationFlag,
- 인접 샘플이 필터링되는지 여부를 지정하는 변수 RefFilterFlag
- x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1-refIdx인 인접 샘플 p[x][y].
이 프로세스의 출력은 수정된 인트라 예측 모드 predModeIntra 및 예측된 샘플 predSamples[x][y], x=0..nTbW-1, y=0..nTbH-1이다.
nTbS 변수는(Log2(nTbW) + Log2(nTbH)) >> 1로 설정된다.
도 18은 93개의 예측 방향을 나타내며, 점선 방향은 정사각형이 아닌 블록에만 적용되는 광각 모드와 연관된다.
역 각도 파라미터 invAngle은 다음과 같이 intraPredAngle을 기반으로 유도된다:
보간 필터 계수 fC [phase] [j] 및 fG [phase] [j](phase=0..31, j=0..3)는 표 13에 지정되어 있다.
| 분수의 샘플 위치 p | fC 보간 필터 계수 | fG 보간 필터 계수 | ||||||
| f C [p][0] | f C [p][1] | f C [p][2] | f C [p][3] | fG[p][0] | fG[p][1] | fG[p][2] | fG[p][3] | |
| 0 | 0 | 64 | 0 | 0 | 16 | 32 | 16 | 0 |
| 1 | -1 | 63 | 2 | 0 | 15 | 29 | 17 | 3 |
| 2 | -2 | 62 | 4 | 0 | 15 | 29 | 17 | 3 |
| 3 | -2 | 60 | 7 | -1 | 14 | 29 | 18 | 3 |
| 4 | -2 | 58 | 10 | -2 | 13 | 29 | 18 | 4 |
| 5 | -3 | 57 | 12 | -2 | 13 | 28 | 19 | 4 |
| 6 | -4 | 56 | 14 | -2 | 13 | 28 | 19 | 4 |
| 7 | -4 | 55 | 15 | -2 | 12 | 28 | 20 | 4 |
| 8 | -4 | 54 | 16 | -2 | 11 | 28 | 20 | 5 |
| 9 | -5 | 53 | 18 | -2 | 11 | 27 | 21 | 5 |
| 10 | -6 | 52 | 20 | -2 | 10 | 27 | 22 | 5 |
| 11 | -6 | 49 | 24 | -3 | 9 | 27 | 22 | 6 |
| 12 | -6 | 46 | 28 | -4 | 9 | 26 | 23 | 6 |
| 13 | -5 | 44 | 29 | -4 | 9 | 26 | 23 | 6 |
| 14 | -4 | 42 | 30 | -4 | 8 | 25 | 24 | 7 |
| 15 | -4 | 39 | 33 | -4 | 8 | 25 | 24 | 7 |
| 16 | -4 | 36 | 36 | -4 | 8 | 24 | 24 | 8 |
| 17 | -4 | 33 | 39 | -4 | 7 | 24 | 25 | 8 |
| 18 | -4 | 30 | 42 | -4 | 7 | 24 | 25 | 8 |
| 19 | -4 | 29 | 44 | -5 | 6 | 23 | 26 | 9 |
| 20 | -4 | 28 | 46 | -6 | 6 | 23 | 26 | 9 |
| 21 | -3 | 24 | 49 | -6 | 6 | 22 | 27 | 9 |
| 22 | -2 | 20 | 52 | -6 | 5 | 22 | 27 | 10 |
| 23 | -2 | 18 | 53 | -5 | 5 | 21 | 27 | 11 |
| 24 | -2 | 16 | 54 | -4 | 5 | 20 | 28 | 11 |
| 25 | -2 | 15 | 55 | -4 | 4 | 20 | 28 | 12 |
| 26 | -2 | 14 | 56 | -4 | 4 | 19 | 28 | 13 |
| 27 | -2 | 12 | 57 | -3 | 4 | 19 | 28 | 13 |
| 28 | -2 | 10 | 58 | -2 | 4 | 18 | 29 | 13 |
| 29 | -1 | 7 | 60 | -2 | 3 | 18 | 29 | 14 |
| 30 | 0 | 4 | 62 | -2 | 3 | 17 | 29 | 15 |
| 31 | 0 | 2 | 63 | -1 | 3 | 17 | 29 | 15 |
x=0..nTbW-1, y=0..nTbH-1인 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:-predModeIntra가 34보다 크거나 같으면 다음 순서의 단계가 적용된다:
1. 참조 샘플 어레이 ref[x]는 다음과 같이 지정된다:
- 다음이 적용된다.
ref[x]=p[-1 - refIdx x] [-1 - refIdx], x=0..nTbW+refIdx
- intraPredAngle이 0보다 작 으면 메인 참조 샘플 어레이가 다음과 같이 확장된다:
- (nTbH * intraPredAngle) >> 5가 -1보다 작을 때,
- 그렇지 않으면,
-추가 샘플 ref [refW + refIdx + x], x=1 ..(Max(1, nTbW/nTbH) * refIdx+1)은 다음과 같이 유도된다:
2. x=0..nTbW-1, y=0..nTbH-1인 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:
- 인덱스 변수 iIdx 및 곱셈 계수 iFact는 다음과 같이 유도된다:
- RefFilterFlag가 0이면 다음이 적용된다:
- j=0..3인 보간 필터 계수 fT[j]는 다음과 같이 유도된다:
- 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:
- 그렇지 않으면(RefFilterFlag가 0이 아님) iFact의 값에 따라 다음이 적용된다:
- iFact가 0이 아닌 경우 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:
- 그렇지 않으면 예측 샘플 predSamples[x][y]의 값이 다음과 같이 유도된다:
- 그렇지 않으면(predModeIntra가 34보다 작음) 다음 순서 단계가 적용된다:
1. 참조 샘플 어레이 ref[x]는 다음과 같이 지정된다:
- 다음이 적용된다.
- intraPredAngle이 0보다 작으면 메인 참조 샘플 어레이가 다음과 같이 확장된다:
- (nTbW * intraPredAngle) >> 5가 -1보다 작을 때,
- 그렇지 않으면,
- 추가 샘플 ref [refH+refIdx+x], x=1 ..(Max(1, nTbW/nTbH) * refIdx+1)은 다음과 같이 유도된다:
2. x=0..nTbW-1, y=0..nTbH-1 인 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:
- 인덱스 변수 iIdx 및 곱셈 계수 iFact는 다음과 같이 유도된다:
- RefFilterFlag가 0이면 다음이 적용된다:
- j=0..3 인 보간 필터 계수 fT [j]는 다음과 같이 유도된다:
- 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:
- 그렇지 않으면(RefFilterFlag가 0이 아님) iFact의 값에 따라 다음이 적용된다:
- iFact가 0이 아닌 경우 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:
- 그렇지 않으면 예측 샘플 predSamples[x][y]의 값이 다음과 같이 유도된다:
예측 블록의 크기에 따라 광각 모드는 다른 그룹으로 분류될 수 있다. 아래 주어진 예에서 이러한 모드는 비-분수 기울기가 있는지 여부에 따라 그룹 "B"또는 그룹 "C"에 속한다. 그러나 그룹 "C"모드에 대한 보간 필터의 선택과 그룹 "B"모드에 대한 참조 샘플 필터링 단계의 존재 여부는 블록 크기에 따라 달라진다. filterFlag 유도 부분은 다음과 같이 수정할 수 있다:
변수 filterFlag는 다음과 같이 유도된다.
- 다음 조건 중 하나 이상이 참이면 filterFlag가 0으로 설정된다:
- cIdx가 0이 아니다.
- refIdx가 0이 아니다.
- IntraSubPartitionsSplitType은 ISP_NO_SPLIT와 같지 않고 cIdx는 0과 같고 predModeIntra는 INTRA_ANGULAR34보다 크거나 같고 nW는 8보다 크다.
- IntraSubPartitionsSplitType은 ISP_NO_SPLIT와 같지 않고 cIdx는 0이며 predModeIntra는 INTRA_ANGULAR34보다 작고 nH는 8보다 크다.
- 그렇지 않으면 predModeIntra가 INTRA_PLANAR이면 변수 filterFlag는 nTbS> 5? 1: 0과 동일하게 설정된다.
- 그렇지 않으면 intraPredAngle이 32보다 크고 nTbW*nTbH가 32보다 크면 변수 filterFlag가 1로 설정된다.
- 그렇지 않으면 다음이 적용된다.
- minDistVerHor 변수는 Min(Abs(predModeIntra-50), Abs(predModeIntra-18))와 동일하게 설정된다.
- intraHorVerDistThres[nTbS] 변수는 표 14에 지정되어 있다.
- filterFlag 변수는 다음과 같이 유도된다:
- minDistVerHor가 intraHorVerDistThres[nTbS]보다 크거나 Abs(intraPredAngle)> 32이면, filterFlag는 1로 설정된다.
광각 모드는 좌하 사분면 또는 우하 사분면 또는 우상 사분면 내에서 방향을 나타내는 모드 일 수 있다. 구체적으로, 도 18의 예에서 광각 모드는 모드 -14~-1과 모드 67~80이다.
본 개시 내용의 실시예의 예시적인 구현을 포함하는 VVC 초안 사양의 다른 버전은 참조 샘플 필터링과 관련된 다음 부분을 포함한다:
x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1-refIdx를 사용하여 참조 샘플 p[x][y]를 생성하는 경우 , 다음 순서 단계가 적용된다:
1. JVET-M1001-v7의 8.4.4.2.2 절에 명시된 참조 샘플 가용성 마킹 프로세스는 샘플 위치(xTbCmp, yTbCmp), 인트라 예측 참조 라인 인덱스 refIdx, 참조 샘플 너비 refW, 참조 샘플 높이 refH, 색상 컴포넌트 인덱스 cIdx를 입력으로, 참조 샘플 refUnfilt[x][y](x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx .. refW-1, y=- 1-refIdx)를 출력으로 가지고 호출된다.
2. x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1- refIdx 인 하나 이상의 샘플 refUnfilt[x][y]가 "인트라 예측에 사용할 수 없음"으로 마킹되면, JVET-M1001-v7의 8.4.4.2.3 절에 지정된 참조 샘플 대체 프로세스가 인트라 예측 참조 라인 인덱스 refIdx, 참조 샘플 너비 refW, 참조 샘플 높이 refH, 참조 샘플 refUnfilt[x][y](x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1-refIdx), 색상 컴포넌트 인덱스 cIdx를 입력으로, 수정된 참조 샘플 refUnfilt[x][y](x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1-refIdx)를 출력으로 하여 호출되고, 만일 predModeIntra가 INTRA_PLANAR과 같지 않고 predModeIntra가 INTRA_DC와 같지 않다면, 파라미터 intraPredAngle은 아래 8.4.4.2.7 절에 명시된 대응하는 인트라 예측 모드 프로세스를 호출하여 획득되고, 그렇지 않으면, predModeIntra가 INTRA_PLANAR과 같으면, intraPredAngle은 32로 설정되고 그렇지 않으면 intraPredAngle은 0으로 설정된다.
3. 아래 8.4.4.2.4 절에 명시된 참조 샘플 필터링 프로세스는 인트라 예측 참조 라인 인덱스 refIdx, 변환 블록 너비 nTbW 및 높이 nTbH, 참조 샘플 너비 refW, 참조 샘플 높이 refH, 필터링되지 않은 샘플 refUnfilt[x][y](x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1-refIdx), intraPredAngle 파라미터, 및 색상 컴포넌트 인덱스 cIdx를 입력으로, 참조 샘플 p[x][y](x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1- refIdx)를 출력으로 호출된다.
predModeIntra에 따른 인트라 샘플 예측 프로세스는 다음과 같이 적용된다:
- predModeIntra가 INTRA_PLANAR과 같으면 JVET-M1001-v7의 8.4.4.2.5 절에 지정된 해당 인트라 예측 모드 프로세스가 변환 블록 너비 nTbW, 변환 블록 높이 nTbH 및 참조 샘플 어레이 p를 입력으로 하여 호출된다. 출력은 예측된 샘플 어레이 predSamples이다.
- 그렇지 않고, predModeIntra가 INTRA_DC와 같으면 JVET-M1001-v7의 8.4.4.2.6 절에 지정된 해당 인트라 예측 모드 프로세스가 변환 블록 너비 nTbW, 변환 블록 높이 nTbH 및 참조 샘플 어레이 p를 입력으로 호출된다. 출력은 예측된 샘플 어레이 predSamples이다.
- 그렇지 않으면 predModeIntra가 INTRA_LT_CCLM, INTRA_L_CCLM 또는 INTRA_T_CCLM과 같으면, 아래 8.4.4.2.8 절에 지정된 해당 인트라 예측 모드 프로세스가 인트라 예측 모드 predModeIntra, 호출된다. (xTbCmp , yTbCmp)와 같이 설정된 샘플 위치(xTbC, yTbC), 변환 블록 너비 nTbW 및 높이 nTbH, 참조 샘플 어레이 p를 입력으로 호출되고, 출력은 예측 샘플 어레이 predSamples이다.
- 그렇지 않으면 다음 조건 중 하나 이상이 참이면 fourTapFlag가 0으로 설정된다:
- 색상 컴포넌트 인덱스 cIdx가 0이 아니다.
- intraPredAngle은 32의 배수이다.
- 그렇지 않으면, 아래 8.4.4.2.7 절에 명시된 대응하는 인트라 예측 모드 프로세스는, 인트라 예측 모드 predModeIntra, 인트라 예측 참조 라인 인덱스 refIdx, 변환 블록 너비 nTbW, 변환 블록 높이 nTbH, 참조 샘플 너비 refW, 참조 샘플 높이 refH, 코딩 블록 너비 nCbW 및 높이 nCbH, four TapFlag 및 참조 샘플 어레이 p를 입력으로호출되고, 수정된 인트라 예측 모드 predModeIntra 및 예측된 샘플 어레이 predSamples를 출력으로 호출된다.
8.4.4.2.4 참조 샘플 필터링 프로세스
이 프로세스에 대한 입력은 다음과 같다:
- 인트라 예측 참조 라인 인덱스를 지정하는 변수 refIdx,
- 변환 블록 너비를 지정하는 변수 nTbW,
- 변환 블록 높이를 지정하는 변수 nTbH,
- 참조 샘플 너비를 지정하는 변수 refW,
- 참조 샘플 높이를 지정하는 변수 refH,
- (필터링되지 않은) 인접 샘플 refUnfilt[x][y], x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1- refIdx ,
- predIntraAngle 파라미터
- 현재 블록의 색상 컴포넌트를 지정하는 변수 cIdx.
이 프로세스의 출력은 x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1-refldx인 참조 샘플 p[x][y]이다.
filterFlag 변수는 다음과 같이 유도된다:
- 다음 조건이 모두 참이면 filterFlag는 1로 설정된다.
- refIdx는 0과 같다.
- nTbW * nTbH가 32보다 크다.
- cIdx는 0과 같다.
- IntraSubPartitionsSplitType은 ISP_NO_SPLIT와 같다.
- predIntraAngle은 0이 아니고 32의 배수이다.
- 그렇지 않으면 filterFlag가 0으로 설정된다.
참조 샘플 p[x][y]의 유도에는 다음이 적용된다:
- filterFlag가 1이면 x=-1, y=-1..refH-1 및 x=0..refW-1, y=-1인 필터링된 샘플 값 p[x][y]는 다음과 같이 도출된다:
- 그렇지 않으면 참조 샘플 값 p[x][y]는 필터링되지 않은 샘플 값 refUnfilt[x][y]와 동일하게 설정되며 x=-1-refIdx, y=-1-refIdx..refH-1 및 x=-refIdx..refW-1, y=-1-refIdx이다.
8.4.4.2.7 intraPredAngle 파라미터의 사양
이 프로세스에 대한 입력은 다음과 같다.
- 인트라 예측 모드 predModeIntra,
- 변환 블록 너비를 지정하는 변수 nTbW,
- 변환 블록 높이를 지정하는 변수 nTbH,
- 코딩 블록 너비를 지정하는 변수 nCbW,
- 코딩 블록 높이를 지정하는 변수 nCbH,
이 프로세스의 출력은 수정된 인트라 예측 모드 predModeIntra, intraPredAngle 파라미터 및 filterFlag 변수이다.
nW 및 nH 변수는 다음과 같이 유도된다:
- IntraSubPartitionsSplitType이 ISP_NO_SPLIT와 같거나 cIdx가 0이 아닌 경우 다음이 적용된다:
- 그렇지 않으면(IntraSubPartitionsSplitType이 ISP_NO_SPLIT와 같지 않고 cIdx가 0과 같음) 다음이 적용된다:
변수 whRatio는 Abs(Log2(nW/nH))와 동일하게 설정된다.
정사각형이 아닌 블록(nW는 nH와 같지 않음)의 경우 인트라 예측 모드 predModeIntra가 다음과 같이 수정된다:
- 다음 조건이 모두 참이면 predModeIntra는(predModeIntra+65)와 동일하게 설정된다:
- nW는 nH보다 크다.
- predModeIntra가 2보다 크거나 같다.
- predModeIntra가 (whRatio> 1)?(8+2*whRatio):8보다 작다.
- 그렇지 않고 다음 조건이 모두 참이면 predModeIntra는(predModeIntra-67)로 설정된다:
- nH가 nW보다 크다.
- predModeIntra가 66보다 작거나 같다.
- predModeIntra가(whRatio> )?(60-2*whRatio):60보다 크다.
각도 파라미터 intraPredAngle은 predModeIntra 값을 사용하여 표 15에 지정된대로 결정된다.
filterFlag 변수는 다음과 같이 유도된다:
- 다음 조건 중 하나 이상이 참이면 filterFlag가 0으로 설정된다:
- refIdx가 0이 아니다.
- IntraSubPartitionsSplitType은 ISP_NO_SPLIT와 같지 않고 cIdx는 0과 같고 predModeIntra는 INTRA_ANGULAR34보다 크거나 같고 nW는 8보다 크다.
- IntraSubPartitionsSplitType은 ISP_NO_SPLIT와 같지 않고 cIdx는 0이며 predModeIntra는 INTRA_ANGULAR34보다 작고 nH는 8보다 크다.
- 그렇지 않으면 다음이 적용된다:
- minDistVerHor 변수는 Min(Abs(predModeIntra-50), Abs(predModeIntra-18))와 동일하게 설정된다.
- intraHorVerDistThres[nTbS] 변수는 표 14에 지정되어 있다.
- filterFlag 변수는 다음과 같이 유도된다:
- minDistVerHor가 intraHorVerDistThres[nTbS]보다 크거나 또는 Abs(intraPredAngle)> 32이면, filterFlag는 1로 설정된다.
8.4.4.2.8 각도 인트라 예측 모드의 사양
이 프로세스에 대한 입력은 다음과 같다:
- 인트라 예측 모드 predModeIntra,
- intraPredAngle 파라미터,
- 인트라 예측 참조 라인 인덱스를 지정하는 변수 refIdx,
- 변환 블록 너비를 지정하는 변수 nTbW,
- 변환 블록 높이를 지정하는 변수 nTbH,
- 참조 샘플 너비를 지정하는 변수 refW,
- 참조 샘플 높이를 지정하는 변수 refH,
- 코딩 블록 너비를 지정하는 변수 nCbW,
- 코딩 블록 높이를 지정하는 변수 nCbH,
- 4-탭 필터 보간 사용을 지정하는 변수 fourTapFlag,
- 변수 filterFlag
- x=-1-refIdx, y=-1-refIdx..refH - 1 및 x=-refIdx..refW-1, y=-1-refIdx 인 인접 샘플 p[x][y].
이 프로세스의 출력은 수정된 인트라 예측 모드 predModeIntra 및 예측된 샘플 predSamples[x][y], x=0..nTbW-1, y=0..nTbH-1이다.
nTbS 변수는(Log2(nTbW) + Log2(nTbH)) >> 1로 설정된다.
filterFlag 변수는 다음과 같이 유도된다:
- 다음 조건 중 하나 이상이 참이면 filterFlag가 0으로 설정된다.
- refIdx가 0이 아니다.
- IntraSubPartitionsSplitType은 ISP_NO_SPLIT와 같지 않고 cIdx는 0과 같고 predModeIntra는 INTRA_ANGULAR34보다 크거나 같고 nW는 8보다 크다.
- IntraSubPartitionsSplitType은 ISP_NO_SPLIT와 같지 않고 cIdx는 0이며 predModeIntra는 INTRA_ANGULAR34보다 작고 nH는 8보다 크다.
- 그렇지 않으면 다음이 적용된다:
- minDistVerHor 변수는 Min(Abs(predModeIntra-50), Abs(predModeIntra-18))와 동일하게 설정된다.
- intraHorVerDistThres[nTbS] 변수는 표 16에 지정되어 있다.
- filterFlag 변수는 다음과 같이 유도된다.
- minDistVerHor가 intraHorVerDistThres[nTbS]보다 크거나 Abs(intraPredAngle)가 32보다 크면 filterFlag는 1로 설정된다.
- 그렇지 않으면 filterFlag가 0으로 설정된다.
도 18은 93개의 예측 방향을 나타내며, 점선 방향은 정사각형이 아닌 블록에만 적용되는 광각 모드와 연관된다.
역 각도 파라미터 invAngle은 다음과 같이 intraPredAngle을 기반으로 유도된다.
보간 필터 계수 fC [phase] [j] 및 fG [phase] [j](phase=0..31, j=0..3)이 표 17에 명시되어 있다.
| 분수의 샘플 위치 p | fC 보간 필터 계수 | fG 보간 필터 계수 | ||||||
| f C [p][0] | f C [p][1] | f C [p][2] | f C [p][3] | fG[p][0] | fG[p][1] | fG[p][2] | fG[p][3] | |
| 0 | 0 | 64 | 0 | 0 | 16 | 32 | 16 | 0 |
| 1 | -1 | 63 | 2 | 0 | 15 | 29 | 17 | 3 |
| 2 | -2 | 62 | 4 | 0 | 15 | 29 | 17 | 3 |
| 3 | -2 | 60 | 7 | -1 | 14 | 29 | 18 | 3 |
| 4 | -2 | 58 | 10 | -2 | 13 | 29 | 18 | 4 |
| 5 | -3 | 57 | 12 | -2 | 13 | 28 | 19 | 4 |
| 6 | -4 | 56 | 14 | -2 | 13 | 28 | 19 | 4 |
| 7 | -4 | 55 | 15 | -2 | 12 | 28 | 20 | 4 |
| 8 | -4 | 54 | 16 | -2 | 11 | 28 | 20 | 5 |
| 9 | -5 | 53 | 18 | -2 | 11 | 27 | 21 | 5 |
| 10 | -6 | 52 | 20 | -2 | 10 | 27 | 22 | 5 |
| 11 | -6 | 49 | 24 | -3 | 9 | 27 | 22 | 6 |
| 12 | -6 | 46 | 28 | -4 | 9 | 26 | 23 | 6 |
| 13 | -5 | 44 | 29 | -4 | 9 | 26 | 23 | 6 |
| 14 | -4 | 42 | 30 | -4 | 8 | 25 | 24 | 7 |
| 15 | -4 | 39 | 33 | -4 | 8 | 25 | 24 | 7 |
| 16 | -4 | 36 | 36 | -4 | 8 | 24 | 24 | 8 |
| 17 | -4 | 33 | 39 | -4 | 7 | 24 | 25 | 8 |
| 18 | -4 | 30 | 42 | -4 | 7 | 24 | 25 | 8 |
| 19 | -4 | 29 | 44 | -5 | 6 | 23 | 26 | 9 |
| 20 | -4 | 28 | 46 | -6 | 6 | 23 | 26 | 9 |
| 21 | -3 | 24 | 49 | -6 | 6 | 22 | 27 | 9 |
| 22 | -2 | 20 | 52 | -6 | 5 | 22 | 27 | 10 |
| 23 | -2 | 18 | 53 | -5 | 5 | 21 | 27 | 11 |
| 24 | -2 | 16 | 54 | -4 | 5 | 20 | 28 | 11 |
| 25 | -2 | 15 | 55 | -4 | 4 | 20 | 28 | 12 |
| 26 | -2 | 14 | 56 | -4 | 4 | 19 | 28 | 13 |
| 27 | -2 | 12 | 57 | -3 | 4 | 19 | 28 | 13 |
| 28 | -2 | 10 | 58 | -2 | 4 | 18 | 29 | 13 |
| 29 | -1 | 7 | 60 | -2 | 3 | 18 | 29 | 14 |
| 30 | 0 | 4 | 62 | -2 | 3 | 17 | 29 | 15 |
| 31 | 0 | 2 | 63 | -1 | 3 | 17 | 29 | 15 |
x=0..nTbW-1, y=0..nTbH-1인 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:- predModeIntra가 34보다 크거나 같으면 다음 순서의 단계가 적용된다:
1. 참조 샘플 어레이 ref[x]는 다음과 같이 지정된다:
- 다음이 적용된다:
- intraPredAngle이 0보다 작 으면 메인 참조 샘플 어레이가 다음과 같이 확장된다:
- (nTbH * intraPredAngle) >> 5가 -1보다 작을 때,
- 그렇지 않으면,
- 추가 샘플 ref [refW refIdx x] with x=1 ..(Max(1, nTbW/nTbH) * refIdx+1)은 다음과 같이 유도된다:
2. x=0..nTbW-1, y=0..nTbH-1인 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:
- 인덱스 변수 iIdx 및 곱셈 계수 iFact는 다음과 같이 유도된다:
fourTapFlag가 1이면 다음이 적용된다:
- j=0..3인 보간 필터 계수 fT[j]가 다음과 같이 유도된다:
- 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:
그렇지 않으면(fourTapFlag가 1이 아님), iFact의 값에 따라 다음이 적용된다:
- iFact가 0이 아닌 경우 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:
- 그렇지 않으면 예측 샘플 predSamples[x][y]의 값이 다음과 같이 유도된다:
- 그렇지 않으면(predModeIntra가 34보다 작음) 다음 순서 단계가 적용된다:
1. 참조 샘플 어레이 ref[x]는 다음과 같이 지정된다:
- 다음이 적용된다:
- intraPredAngle이 0보다 작으면 메인 참조 샘플 어레이가 다음과 같이 확장된다.
- (nTbW * intraPredAngle) >> 5가 -1보다 작을 때,
ref[x]=p [-1 - refIdx((x * invAngle 128) >> 8)] [-1 - refIdx],
- 그렇지 않으면,
- 추가 샘플 ref [refH refIdx x] with x=1 ..(Max(1, nTbW/nTbH)*refIdx+1)은 다음과 같이 유도된다:
2. x=0..nTbW-1, y=0..nTbH-1인 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:
- 인덱스 변수 iIdx 및 곱셈 계수 iFact는 다음과 같이 유도된다:
- fourTapFlag가 1이면 다음이 적용된다:
- j=0..3 인 보간 필터 계수 fT [j]는 다음과 같이 유도된다:
- 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:
- 그렇지 않으면(fourTapFlag가 1이 아님) iFact의 값에 따라 다음이 적용된다:
- iFact가 0이 아닌 경우 예측 샘플 predSamples[x][y]의 값은 다음과 같이 유도된다:
- 그렇지 않으면 예측 샘플 predSamples[x][y]의 값이 다음과 같이 유도된다:
도 19는 본 개시의 실시예에 따른 네트워크 장치(1300)(예를 들어, 코딩 장치)의 개략도이다. 네트워크 장치(1300)는 여기에 설명된 바와 같이 개시된 실시예들을 구현하기에 적합하다. 네트워크 장치(1300)는 데이터를 수신하기 위한 인입 포트(1310) 및 수신기 유닛(Rx)(1320); 데이터를 처리하는 프로세서, 로직 유닛 또는 중앙 처리 장치(CPU)(1330); 데이터를 전송하기 위한 송신기 유닛(Tx)(1340) 및 출구 포트(1350); 및 데이터를 저장하기 위한 메모리(1360)를 포함한다. 네트워크 장치(1300)는 또한 광학 또는 전기 신호의 유입 및 출사를 위해, 인입 포트(1310), 수신기 유닛(1320), 송신기 유닛(1340) 및 출구 포트(1350)에 결합된 광-전기(optical-to-electrical, OE) 컴포넌트 및 전기-광(electrical-to-optical, EO) 컴포넌트를 포함할 수 있다.
프로세서(1330)는 하드웨어 및 소프트웨어로 구현된다. 프로세서(1330)는 하나 이상의 CPU 칩, 코어(예를 들어, 멀티 코어 프로세서), FPGA(field-programmable gate array), ASIC(application specific integrated circuits) 및 DSP(digital signal processor)로 구현될 수 있다. 프로세서(1330)는 인입 포트(1310), 수신기 유닛(1320), 송신기 유닛(1340), 출구 포트(1350) 및 메모리(1360)와 통신한다. 프로세서(1330)는 코딩 모듈(1370)을 포함한다. 코딩 모듈(1370)은 위에서 설명된 개시된 실시예들을 구현한다. 예를 들어, 코딩 모듈(1370)은 다양한 네트워킹 기능을 구현, 처리, 준비 또는 제공한다. 따라서 코딩 모듈(1370)의 포함은 네트워크 장치(1300)의 기능에 실질적인 개선을 제공하고 네트워크 장치(1300)의 다른 상태로의 변환에 영향을 미친다. 대안적으로, 코딩 모듈(1370)은 메모리(1360)에 저장되고 프로세서(1330)에 의해 실행되는 명령어로 구현된다.
메모리(1360)는 하나 이상의 디스크, 테이프 드라이브 및 솔리드 스테이트 드라이브를 포함하고 오버 플로우 데이터 저장 장치로 사용될 수 있으며, 이러한 프로그램이 실행을 위해 선택될 때 프로그램을 저장하고, 판독된 명령 및 데이터를 프로그램 실행 중 저장하기 위해 사용될 수 있다. 메모리(1360)는 휘발성 및/또는 비휘발성일 수 있으며, ROM(read-only memory), RAM(random access memory), TCAM(ternary content-addressable memory) 및/또는 SRAM(static random-access memory)일 수 있다.
상기 방법 중 어느 하나를 수행하도록 구성된 처리 회로를 포함하는 디코더가 제공된다.
본 개시에서, 컴퓨터 프로그램 제품이 제공되고, 상기 방법 중 어느 하나를 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품이 개시된다.
본 개시에서, 비디오 데이터를 디코딩하기 위한 디코더가 제공되며, 디코더는 하나 이상의 프로세서; 및 프로세서에 결합되고 프로세서에 의해 실행되는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 프로그램은 프로세서에 의해 실행될 때 상기 방법 중 어느 하나를 수행하도록 디코더를 구성한다.
본 명세서에 설명된 바와 같이 개시된 실시예를 구현하기에 적합한 네트워크 장치가 다음에 설명된다. 네트워크 장치는 데이터를 수신하기 위한 인입 포트 및 수신기 장치(Rx)를 포함한다. 데이터를 처리하는 프로세서, 논리 장치 또는 중앙 처리 장치(CPU); 데이터를 전송하기 위한 송신기 유닛(Tx) 및 출구 포트; 및 데이터를 저장하기 위한 메모리를 포함한다. 네트워크 장치는 또한 광 또는 전기 신호의 인입 및 출사를 위해 입구 포트에 연결된 전기-광(EO) 컴포넌트구성 요소, 수신기 장치, 송신기 장치, 및 출구 포트에 연결된 광-전기(OE) 컴포넌트 및 전기-광(EO) 컴포넌트를 포함할 수 있다.
프로세서는 하드웨어와 소프트웨어로 구현된다. 프로세서는 하나 이상의 CPU 칩, 코어(예를 들어, 멀티 코어 프로세서), FPGA(field-programmable gate array), ASIC(application specific integrated circuits) 및 DSP(digital signal processor)로 구현될 수 있다. 프로세서는 수신 포트, 수신기 장치, 송신기 장치, 송신 포트 및 메모리와 통신한다. 프로세서는 코딩 모듈을 포함한다. 코딩 모듈은 위에서 설명된 개시된 실시예들을 구현한다. 예를 들어, 코딩 모듈은 다양한 네트워킹 기능을 구현, 처리, 준비 또는 제공한다. 따라서 코딩 모듈의 포함은 네트워크 장치의 기능에 상당한 개선을 제공하고 네트워크 장치를 다른 상태로 변환하는 데 영향을 준다. 대안적으로, 코딩 모듈은 메모리에 저장되고 프로세서에 의해 실행되는 명령어로 구현된다.
메모리는 하나 이상의 디스크, 테이프 드라이브 및 솔리드 스테이트 드라이브로 구성되며 오버 플로 데이터 저장 장치로 사용될 수 있으며, 이러한 프로그램이 실행을 위해 선택될 때 프로그램을 저장하고, 프로그램 실행 동안 판독한 명령과 데이터를 저장하는 데 사용할 수 있다. 메모리는 휘발성 및/또는 비 휘발성일 수 있으며 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), TCAM(ternary content-addressable memory) 및/또는 정적 랜덤 액세스 메모리(SRAM)일 수 있다.
도 20은 다양한 실시예를 구현하는데 사용될 수있는 장치(1500)의 블록도이다. 장치(1500)는 도 1에 도시된 소스 장치(12), 도 2에 도시된 비디오 인코더(20), 또는 도 1에 도시된 목적지 장치(14), 또는 도 3에 도시된 비디오 디코더(30)일 수 있다. 추가로, 장치(1500)는 설명된 요소 중 하나 이상을 호스팅할 수 있다. 일부 실시예에서, 장치(1500)는 스피커, 마이크로폰, 마우스, 터치 스크린, 키패드, 키보드, 프린터, 디스플레이 등과 같은 하나 이상의 입력/출력 장치를 갖추고 있다. 장치(1500)는 버스에 연결된 하나 이상의 중앙 처리 장치(CPU)(1510), 메모리(1520), 대용량 저장 장치(1530), 비디오 어댑터(1540) 및 I/O 인터페이스(1560)를 포함할 수 있다. 버스는 메모리 버스 또는 메모리 컨트롤러, 주변 버스, 비디오 버스 등을 포함하는 여러 버스 아키텍처 중 하나 이상이다.
CPU(1510)는 임의의 유형의 전자 데이터 프로세서를 가질 수 있다. 메모리(1520)는 정적 랜덤 액세스 메모리(SRAM), 동적 랜덤 액세스 메모리(DRAM), 동기식 DRAM(SDRAM), 읽기 전용 메모리(ROM), 이들의 조합 등과 같은 임의의 유형의 시스템 메모리이거나 이를 가질 수 있다. 일 실시예에서, 메모리(1520)는 부팅시 사용하기 위한 ROM, 프로그램을 실행하는 동안 사용하기 위한 프로그램 및 데이터 저장을 위한 DRAM을 포함할 수 있다. 실시예에서, 메모리(1520)는 비 일시적이다. 대용량 저장 장치(1530)는 데이터, 프로그램 및 기타 정보를 저장하고 데이터, 프로그램 및 기타 정보를 버스를 통해 액세스할 수 있도록 하는 임의의 유형의 저장 장치를 포함한다. 대용량 저장 장치(1530)는 예를 들어, 솔리드 스테이트 드라이브, 하드 디스크 드라이브, 자기 디스크 드라이브, 광 디스크 드라이브 등 중 하나 이상을 포함한다.
비디오 어댑터(1540) 및 I/O 인터페이스(1560)는 장치(1500)에 외부 입력 및 출력 장치를 연결하기 위한 인터페이스를 제공한다. 예를 들어, 장치(1100)는 클라이언트에게 SQL 명령 인터페이스를 제공할 수 있다. 도시된 바와 같이, 입력 및 출력 장치의 예는 비디오 어댑터(1540)에 결합된 디스플레이(1590) 및 I/O 인터페이스(1560)에 결합된 마우스/키보드/프린터(1570)의 임의의 조합을 포함한다. 다른 장치가 장치(1500)에 결합될 수 있고, 추가 또는 더 적은 인터페이스 카드가 이용될 수 있다. 예를 들어, 직렬 인터페이스 카드(미도시)는 프린터에 직렬 인터페이스를 제공하는 데 사용될 수 있다.
장치(1100)는 또한 이더넷 케이블 등과 같은 유선 링크 및/또는 액세스 노드 또는 하나 이상의 네트워크(1580)에 대한 무선 링크를 포함하는 하나 이상의 네트워크 인터페이스(1550)를 포함한다. 네트워크 인터페이스(1550)는 장치(1500)가 네트워크(1580)를 통해 원격 유닛과 통신할 수 있게 한다. 예를 들어, 네트워크 인터페이스(1550)는 데이터베이스에 통신을 제공할 수 있다. 일 실시예에서, 장치(1500)는 데이터 처리 및 다른 처리 유닛, 인터넷, 원격 저장 설비 등과 같은 원격 장치와의 통신을 위해 근거리 네트워크 또는 광역 네트워크에 결합된다.
주어진 블록 내에서 픽셀을 예측하는 데 필요한 가중치 계수 값을 계산하기 위해 조각별 선형 근사(piecewise linear approximation)가 도입된다. 한편으로 조각별 선형 근사는 간단한 가중치 계수 계산과 비교하여 거리 가중치 예측 메커니즘의 계산 복잡성을 크게 줄이고 다른 한편으로는 종래 기술의 간단함에 비교해서 이전 가중치 계수 값에 비해 더 높은 정확도를 달성하는 데 도움을 준다.
본 실시예들은 한 픽셀에서 다른 픽셀까지의 거리에 의존하는 가중치 계수를 사용하여 픽처의 다른 부분을 블렌딩하는 메커니즘(예: 이미지 처리의 일부 블렌딩 방법)뿐 아니라 다른 양방향 및 위치 의존적 인트라 예측 기술(예를 들어, PDPC의 다른 변형)에도 적용될 수 있다.
본 개시에서 여러 실시예가 제공되었지만, 개시된 시스템 및 방법은 본 개시의 사상 또는 범위를 벗어나지 않고 많은 다른 특정 형태로 구현될 수 있음을 이해해야 한다. 본 실시예는 제한적이지 않고 예시적인 것으로 간주되어야 하며, 의도는 여기에 제공된 세부 사항에 제한되지 않는다. 예를 들어, 다양한 요소 또는 구성 요소는 다른 시스템에서 결합 또는 통합될 수 있으며, 특정 기능은 생략되거나 구현되지 않을 수 있다.
또한, 다양한 실시예에서 개별적 또는 별개로 설명되고 예시된 기술, 시스템, 서브 시스템 및 방법은 다른 시스템, 모듈, 기술 또는 방법과 결합되거나 통합될 수 있다. 결합되거나 직접 결합되거나 서로 통신하는 것으로 도시되거나 논의된 다른 항목은 간접적으로 결합되거나 전기적, 기계적으로 또는 다른 방식으로 일부 인터페이스, 장치 또는 중간 구성 요소를 통해 통신할 수 있다. 변경, 대체 및 변형의 다른 예는 통상의 기술자에 의해 확인될 수 있고 만들어 질 수 있다.
본 개시에 설명된 발명 및 동작의 구현은 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌웨어, 또는 본 개시에 개시된 구조 및 그 구조적 등가물을 포함하는 하드웨어에서, 또는 그들의 하나 이상의 조합으로 구현될 수 있다. 본 개시에 설명된 발명의 구현은 하나 이상의 컴퓨터 프로그램, 즉, 데이터 처리 장치에 의해 실행되거나 데이터 처리 장치의 동작을 제어하기 위해 컴퓨터 저장 매체 상에 인코딩된 컴퓨터 프로그램 명령의 하나 이상의 모듈로서 구현될 수 있다. 대안적으로 또는 추가로, 프로그램 명령은 인공적으로 생성된 전파 신호, 예를 들어 데이터 처리 장치에 의한 실행을 위해 적절한 수신기 장치로의 전송을 위해 정보를 인코딩하도록 생성된 기계 생성 전기, 광학 또는 전자기 신호에 인코딩될 수 있다. 컴퓨터 저장 매체, 예를 들어 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 저장 장치, 컴퓨터 판독 가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 어레이 또는 장치, 또는 이들 중 하나 이상의 조합일 수 있거나 여기에 포함될 수 있다. 더욱이, 컴퓨터 저장 매체는 전파된 신호가 아니지만, 컴퓨터 저장 매체는 인위적으로 생성된 전파 신호로 인코딩된 컴퓨터 프로그램 명령의 소스 또는 목적지일 수 있다. 컴퓨터 저장 매체는 또한 하나 이상의 별개의 물리적 및/또는 비 일시적 구성 요소 또는 매체(예를 들어, 다수의 CD, 디스크 또는 기타 저장 장치) 일 수 있거나 그 안에 포함될 수 있다.
일부 구현에서, 본 개시에 설명된 동작은 클라우드 컴퓨팅 네트워크의 서버에서 제공되는 호스팅된 서비스로서 구현될 수 있다. 예를 들어, 컴퓨터 판독 가능 저장 매체는 클라우드 컴퓨팅 네트워크 내에서 논리적으로 그룹화되고 액세스 가능할 수 있다. 클라우드 컴퓨팅 네트워크 내의 서버는 클라우드 기반 서비스를 제공하기 위한 클라우드 컴퓨팅 플랫폼을 포함할 수 있다. 용어 "클라우드", "클라우드 컴퓨팅"및 "클라우드 기반"은 본 개시의 범위를 벗어나지 않고 적절하게 상호 교환적으로 사용될 수 있다. 클라우드 기반 서비스는 클라이언트 컴퓨터에서 로컬로 실행되는 응용 프로그램을 향상, 보완 또는 대체하기 위해 서버에서 제공하고 네트워크를 통해 클라이언트 플랫폼에 전달하는 호스팅 서비스일 수 있다. 회로는 클라우드 기반 서비스를 사용하여 자원이 회로에 전달되기까지 오랜 시간이 소요되는 소프트웨어 업그레이드, 애플리케이션 및 기타 자원을 신속하게 수신할 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 응용 프로그램, 스크립트 또는 코드라고도 함)은 컴파일 또는 해석 언어, 선언적 또는 절차적 언어를 포함하여 모든 형태의 프로그래밍 언어로 작성될 수 있으며, 이것은 독립 실행형 프로그램 또는 모듈, 컴포넌트, 서브 루틴, 오브젝트 또는 컴퓨팅 환경에서 사용하기에 적합한 기타 유닛을 포함한 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 해당할 수 있지만 반드시 그럴 필요는 없다. 프로그램은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예: 마크업(markup) 언어 문서에 저장된 하나 이상의 스크립트), 해당 프로그램 전용 단일 파일 또는 여러 개의 조정된 파일(예를 들어, 하나 이상의 모듈, 하위 프로그램 또는 코드 일부를 저장하는 파일)내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 또는 한 사이트에 위치하거나 여러 사이트에 분산되고 통신 네트워크로 상호 연결된 여러 컴퓨터에서 실행되도록 배포될 수 있다.
본 개시에 설명된 프로세스 및 로직 흐름은 입력 데이터에 대해 동작하고 출력을 생성함으로써 동작을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래머블 프로세서에 의해 수행될 수 있다. 프로세스 및 로직 흐름은 또한 예를 들어 FPGA(필드 프로그래밍 가능 게이트 어레이) 또는 ASIC(애플리케이션 특정 집적 회로)과 같은 특수 목적 로직 회로에 의해 수행될 수 있고, 장치는 이러한 회로로 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서는 예를 들어 범용 및 특수 목적의 마이크로 프로세서와 모든 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로 프로세서는 읽기 전용 메모리나 랜덤 액세스 메모리 또는 둘 다에서 명령과 데이터를 수신한다. 컴퓨터의 필수 요소는 명령에 따라 동작을 수행하기 위한 프로세서와 명령 및 데이터를 저장하기 위한 하나 이상의 메모리 장치이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치, 예를 들어 자기, 광 자기 디스크 또는 광 디스크로부터 데이터를 수신하거나 데이터를 전송하거나 둘 모두를 포함하거나 작동 가능하게 결합된다. 그러나 컴퓨터에는 이러한 장치가 필요하지 않는다. 또한 컴퓨터는 휴대 전화, PDA(Personal Digital Assistant), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, GPS(Global Positioning System) 수신기 또는 휴대용 스토리지(예: 범용 직렬 버스(USB) 플래시 드라이브)와 같은 다른 장치에 내장될 수 있다. 컴퓨터 프로그램 명령 및 데이터를 저장하기에 적합한 장치는 예를 들어 EPROM, EEPROM 및 플래시 메모리 장치와 같은 반도체 메모리 장치, 내부 하드 디스크나 탈착 가능한 디스크, 자기-광 디스크과 같은 자기 디스크, 그리고 CD-ROM과 DVD-ROM 디스크를 포함하는, 모든 형태의 비 휘발성 메모리, 매체 및 메모리 장치를 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보완되거나 통합될 수 있다.
본 개시는 많은 특정 구현 세부 사항을 포함하지만, 이들은 임의의 구현 또는 청구될 수 있는 범위에 대한 제한으로 해석되어서는 안되며, 특정 구현의 특정 구현에 특정한 특징의 설명으로 해석되어야 한다. 별개의 구현의 맥락에서 본 개시에 설명된 특정 특징은 또한 단일 구현에서 조합하여 구현될 수 있다. 반대로, 단일 구현의 맥락에서 설명되는 다양한 특징은 또한 여러 구현에서 개별적으로 또는 임의의 적절한 하위 조합으로 구현될 수 있다. 더욱이, 특징이 특정 조합으로 작용하는 것으로 위에서 설명될 수 있고 심지어 처음에 그렇게 주장 될 수도 있지만, 청구된 조합으로부터의 하나 이상의 특징은 경우에 따라 조합으로부터 절제될 수 있고 청구된 조합은 하위 조합 또는 그 변형으로 될 수 있다.
유사하게, 동작이 특정 순서로 도면에 도시되어 있지만, 이는 바람직한 결과를 달성하기 위해 그러한 동작이 도시된 특정 순서 또는 순차적 인 순서로 수행되거나 모든 예시된 동작이 수행될 것을 요구하는 것으로 이해되어서는 안된다. 특정 상황에서는 멀티 태스킹 및 병렬 처리가 유리할 수 있다. 더욱이, 위에서 설명된 구현에서 다양한 시스템 컴포넌트의 분리는 모든 구현에서 그러한 분리를 요구하는 것으로 이해되어서는 안되며, 설명된 프로그램 구성 요소 및 시스템은 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 여러 소프트웨어 제품으로 패키지로 통합될 수 있음을 이해해야 한다.
따라서, 발명의 특정 구현이 설명되었다. 다른 구현은 다음 청구항의 범위 내에 있다. 일부 경우에, 청구항에 언급된 동작은 다른 순서로 수행될 수 있으며 여전히 바람직한 결과를 얻을 수 있다. 또한, 첨부된 도면에 도시된 프로세스는 바람직한 결과를 얻기 위해 도시된 특정 순서 또는 순차적 인 순서를 반드시 필요로 하지 않는다. 특정 구현에서, 멀티 태스킹 및 병렬 처리가 유리할 수 있다.
본 개시에서 여러 실시예가 제공되었지만, 개시된 시스템 및 방법은 본 개시의 사상 또는 범위를 벗어나지 않고 많은 다른 특정 형태로 구현될 수 있음을 이해해야 한다. 본 실시예는 제한적이지 않고 예시적인 것으로 간주되어야 하며, 의도는 여기에 제공된 세부 사항에 제한되지 않는다. 예를 들어, 다양한 요소 또는 구성 요소는 다른 시스템에서 결합 또는 통합될 수 있으며, 특정 기능은 생략되거나 구현되지 않을 수 있다.
또한, 다양한 실시예에서 개별적 또는 별개로 설명되고 예시된 기술, 시스템, 서브 시스템 및 방법은 본 개시의 범위를 벗어나지 않고 다른 시스템, 모듈, 기술 또는 방법과 결합되거나 통합될 수 있다. 결합되거나 직접 결합되거나 서로 통신하는 것으로 도시되거나 논의된 다른 항목은 간접적으로 결합되거나 전기적, 기계적으로 또는 다른 방식으로 일부 인터페이스, 장치 또는 중간 구성 요소를 통해 통신할 수 있다. 변경, 대체 및 변형의 다른 예는 통상의 기술자에 의해 확인될 수 있고 여기에 개시된 정신 및 범위를 벗어나지 않고 이루어질 수 있다.
약어의 정의
JEM Joint Exploration Model(향후 비디오 코딩 탐색을 위한 소프트웨어 코드베이스)
JVET Joint Video Experts Team
LUT Look-Up Table
QT QuadTree
QTBT QuadTree plus Binary Tree
RDO Rate-distortion Optimization
ROM Read-Only Memory
VTM VVC Test Model
VVC Versatile Video Coding, the standardization project developed by JVET.
CTU/CTB Coding Tree Unit/Coding Tree Block
CU/CB Coding Unit/Coding Block
PU/PB Prediction Unit/Prediction Block
TU/TB Transform Unit/Transform Block
HEVC High Efficiency Video Coding
Claims (10)
- 현재 코딩 블록의 인트라 예측 처리를 수행하기 위한 비디오 코딩 방법으로서,
상기 현재 코딩 블록의 인트라 예측 모드를 획득하는 단계;
상기 현재 코딩 블록의 인트라 예측 모드에 따라 상기 현재 코딩 블록의 인트라 예측 처리를 수행하는 단계 - 상기 현재 코딩 블록의 인트라 예측 처리는:
상기 현재 코딩 블록의 인트라 예측 모드이 대각선 모드일 때, 상기 현재 코딩 블록의 참조 블록에 대해 참조 샘플 필터링 프로세스를 수행하는 단계 - 상기 대각선 모드는 45도의 배수인 각도를 나타내고, 상기 대각선 모드는 수직 모드 및 수평 모드를 포함하지 않으며, 상기 참조 샘플 필터링 프로세스는 3-탭, [1,2,1] 필터를 사용하여 수행됨 - ;
상기 현재 코딩 블록의 인트라 예측 모드가 방향성 인트라 예측 모드이지만, 수직 모드, 수평 모드 및 대각선 모드 중 하나가 아닐 때, 상기 현재 코딩 블록에 대한 참조 샘플에 대해 보간 필터링 프로세스를 수행하는 단계;
상기 현재 코딩 블록의 인트라 예측 모드가 수직 모드 또는 수평 모드일 때, 상기 현재 코딩 블록에 대한 참조 샘플에 필터링 프로세스를 적용하지 않는 단계
를 포함함 -
를 포함하고,
상기 보간 필터링 프로세스는 가우시안 필터 또는 큐빅 필터를 사용하여 수행되는, 비디오 코딩 방법. - 제1항에 있어서,
상기 보간 필터링 프로세스는 4-탭 필터를 사용하여 수행되는, 비디오 코딩 방법. - 비디오 인코딩 또는 디코딩에서 현재 코딩 블록의 인트라 예측을 위한 장치로서,
하나 이상의 프로세서; 및
컴퓨터가 실행 가능한 명령을 저장하는 컴퓨터가 판독 가능한 비일시적인 저장 매체
를 포함하고,
상기 컴퓨터가 실행 가능한 명령이 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서가 다음의 작동:
상기 현재 코딩 블록의 인트라 예측 모드를 획득하는 단계;
상기 현재 코딩 블록의 인트라 예측 모드에 따라 상기 현재 코딩 블록의 인트라 예측 처리를 수행하는 단계 - 상기 현재 코딩 블록의 인트라 예측 처리는:
상기 현재 코딩 블록의 인트라 예측 모드이 대각선 모드일 때, 상기 현재 코딩 블록의 참조 블록에 대해 참조 샘플 필터링 프로세스를 수행하는 단계 - 상기 대각선 모드는 45도의 배수인 각도를 나타내고, 상기 대각선 모드는 수직 모드 및 수평 모드를 포함하지 않으며, 상기 참조 샘플 필터링 프로세스는 3-탭, [1,2,1] 필터를 사용하여 수행됨 - ;
상기 현재 코딩 블록의 인트라 예측 모드가 방향성 인트라 예측 모드이지만, 수직 모드, 수평 모드 및 대각선 모드 중 하나가 아닐 때, 상기 현재 코딩 블록에 대한 참조 샘플에 대해 보간 필터링 프로세스를 수행하는 단계;
상기 현재 코딩 블록의 인트라 예측 모드가 수직 모드 또는 수평 모드일 때, 상기 현재 코딩 블록에 대한 참조 샘플에 필터링 프로세스를 적용하지 않는 단계
를 포함함 -
을 수행하도록 야기하는, 장치. - 제3항에 있어서,
상기 보간 필터링 프로세스는 가우시안 필터 또는 큐빅 필터를 사용하여 수행되는, 장치. - 제3항 또는 제4항에 있어서,
상기 보간 필터링 프로세스는 4-탭 필터를 사용하여 수행되는, 장치. - 전자 디바이스로서,
비트스트림의 형태로 비디오 데이터를 저장하도록 구성된 비일시적인 메모리 스토리지; 및 상기 비일시적인 메모리 스토리지에 결합된 하나 이상의 프로세서를 포함하고,
상기 하나 이상의 프로세서는, 상기 전자 디바이스로 하여금 다음의 작동:
현재 코딩 블록의 인트라 예측 모드를 획득하는 단계;
상기 현재 코딩 블록의 인트라 예측 모드에 따라 상기 현재 코딩 블록의 인트라 예측 처리를 수행하는 단계 - 상기 현재 코딩 블록의 인트라 예측 처리는:
상기 현재 코딩 블록의 인트라 예측 모드이 대각선 모드일 때, 상기 현재 코딩 블록의 참조 블록에 대해 참조 샘플 필터링 프로세스를 수행하는 단계 - 상기 대각선 모드는 45도의 배수인 각도를 나타내고, 상기 대각선 모드는 수직 모드 및 수평 모드를 포함하지 않으며, 상기 참조 샘플 필터링 프로세스는 3-탭, [1,2,1] 필터를 사용하여 수행됨 - ;
상기 현재 코딩 블록의 인트라 예측 모드가 방향성 인트라 예측 모드이지만, 수직 모드, 수평 모드 및 대각선 모드 중 하나가 아닐 때, 상기 현재 코딩 블록에 대한 참조 샘플에 대해 보간 필터링 프로세스를 수행하는 단계;
상기 현재 코딩 블록의 인트라 예측 모드가 수직 모드 또는 수평 모드일 때, 상기 현재 코딩 블록에 대한 참조 샘플에 필터링 프로세스를 적용하지 않는 단계
를 포함함 -
을 수행하도록 구성되는, 전자 디바이스. - 제6항에 있어서,
상기 보간 필터링 프로세스는 가우시안 필터 또는 큐빅 필터를 사용하여 수행되는, 전자 디바이스. - 제6항 또는 제7항에 있어서,
상기 보간 필터링 프로세스는 4-탭 필터를 사용하여 수행되는, 전자 디바이스. - 컴퓨터가 판독 가능한 비일시적인 저장 매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터 또는 프로세서상에서 실행될 때 제1항 또는 제2항의 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램.
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020247026481A KR20240124432A (ko) | 2018-09-16 | 2019-09-13 | 예측 방법 및 장치 |
Applications Claiming Priority (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862731970P | 2018-09-16 | 2018-09-16 | |
| US62/731,970 | 2018-09-16 | ||
| US201962822775P | 2019-03-22 | 2019-03-22 | |
| US62/822,775 | 2019-03-22 | ||
| US201962822868P | 2019-03-23 | 2019-03-23 | |
| US62/822,868 | 2019-03-23 | ||
| PCT/RU2019/050153 WO2020055292A1 (en) | 2018-09-16 | 2019-09-13 | Method and apparatus for prediction |
| KR1020217010979A KR102551917B1 (ko) | 2018-09-16 | 2019-09-13 | 예측 방법 및 장치 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217010979A Division KR102551917B1 (ko) | 2018-09-16 | 2019-09-13 | 예측 방법 및 장치 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247026481A Division KR20240124432A (ko) | 2018-09-16 | 2019-09-13 | 예측 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230105003A KR20230105003A (ko) | 2023-07-11 |
| KR102694040B1 true KR102694040B1 (ko) | 2024-08-08 |
Family
ID=69778614
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247026481A Pending KR20240124432A (ko) | 2018-09-16 | 2019-09-13 | 예측 방법 및 장치 |
| KR1020237022401A Active KR102694040B1 (ko) | 2018-09-16 | 2019-09-13 | 예측 방법 및 장치 |
| KR1020217010979A Active KR102551917B1 (ko) | 2018-09-16 | 2019-09-13 | 예측 방법 및 장치 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247026481A Pending KR20240124432A (ko) | 2018-09-16 | 2019-09-13 | 예측 방법 및 장치 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217010979A Active KR102551917B1 (ko) | 2018-09-16 | 2019-09-13 | 예측 방법 및 장치 |
Country Status (16)
| Country | Link |
|---|---|
| US (2) | US11647185B2 (ko) |
| EP (2) | EP4270958A3 (ko) |
| JP (2) | JP7651819B2 (ko) |
| KR (3) | KR20240124432A (ko) |
| CN (5) | CN119052472A (ko) |
| AU (2) | AU2019340292B2 (ko) |
| BR (1) | BR112021004679A2 (ko) |
| CA (1) | CA3112913C (ko) |
| ES (1) | ES2966083T3 (ko) |
| HU (1) | HUE063986T2 (ko) |
| IL (1) | IL281544B2 (ko) |
| MX (2) | MX2021002953A (ko) |
| PL (1) | PL3847815T3 (ko) |
| PT (1) | PT3847815T (ko) |
| UA (1) | UA128291C2 (ko) |
| WO (1) | WO2020055292A1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BR112021004679A2 (pt) * | 2018-09-16 | 2021-06-01 | Huawei Technologies Co., Ltd. | método e aparelho para predição |
| US11445185B2 (en) * | 2018-09-19 | 2022-09-13 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device, and recording medium in which bitstream is stored |
| US10469845B1 (en) * | 2018-09-21 | 2019-11-05 | Tencent America, Llc | Method and apparatus for intra mode coding |
| WO2020197154A1 (ko) * | 2019-03-22 | 2020-10-01 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인트라 예측 기반 영상 디코딩 방법 및 그 장치 |
| US20240236311A9 (en) * | 2021-02-25 | 2024-07-11 | Interdigital Ce Patent Holdings, Sas | Methods and apparatuses for encoding/decoding a video |
| KR102615727B1 (ko) | 2021-04-28 | 2023-12-20 | 주식회사 넥스트바이오메디컬 | 분해시간 조절이 가능한 색전용 수화겔 및 이의 제조방법 |
| KR102792611B1 (ko) * | 2021-11-26 | 2025-04-08 | 한국전자기술연구원 | 깊이 영상 화면 내 예측 방법 및 장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170034536A1 (en) | 2014-05-23 | 2017-02-02 | Huawei Technologies Co., Ltd. | Method and Apparatus for Pre-Prediction Filtering for Use in Block-Prediction Techniques |
| US20180262756A1 (en) | 2015-11-17 | 2018-09-13 | Huawei Technologies Co., Ltd. | Method and apparatus for video coding |
| KR102551917B1 (ko) * | 2018-09-16 | 2023-07-04 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 예측 방법 및 장치 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5597968B2 (ja) * | 2009-07-01 | 2014-10-01 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| CN101895751B (zh) * | 2010-07-06 | 2012-02-08 | 北京大学 | 帧内预测的方法及装置、基于帧内预测的编/解码方法及系统 |
| KR102062821B1 (ko) * | 2010-09-29 | 2020-01-07 | 한국전자통신연구원 | 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치 |
| RU2647704C1 (ru) * | 2011-11-08 | 2018-03-16 | Кт Корпорейшен | Способ декодирования видеосигнала |
| CN102984523B (zh) * | 2012-12-14 | 2015-12-09 | 北京大学 | 一种多方向的帧内预测编解码方法及装置 |
| CN103248892A (zh) * | 2013-05-07 | 2013-08-14 | 北京大学 | 一种帧内预测方法及装置 |
| US20180035112A1 (en) * | 2015-02-13 | 2018-02-01 | Lg Electronics Inc. | METHOD AND APPARATUS FOR ENCODING AND DECODING VIDEO SIGNAL USING NON-UNIFORM PHASE INTERPOLATION (As Amended) |
| US20160373770A1 (en) * | 2015-06-18 | 2016-12-22 | Qualcomm Incorporated | Intra prediction and intra mode coding |
| US10574984B2 (en) * | 2015-09-10 | 2020-02-25 | Lg Electronics Inc. | Intra prediction method and device in video coding system |
| US10194170B2 (en) * | 2015-11-20 | 2019-01-29 | Mediatek Inc. | Method and apparatus for video coding using filter coefficients determined based on pixel projection phase |
| US10362314B2 (en) * | 2015-11-27 | 2019-07-23 | Mediatek Inc. | Apparatus and method for video coding by intra-prediction |
| US10382781B2 (en) * | 2016-09-28 | 2019-08-13 | Qualcomm Incorporated | Interpolation filters for intra prediction in video coding |
| CN116320497A (zh) * | 2016-11-28 | 2023-06-23 | 韩国电子通信研究院 | 用于滤波的方法和装置 |
| EP3651459A4 (en) * | 2017-07-03 | 2021-03-24 | Industry-University Cooperation Foundation Hanyang University | PROCESS AND DEVICE FOR IMAGE DECODING BY MEANS OF A PARTITION UNIT INCLUDING AN ADDITIONAL REGION |
| CN118413668A (zh) * | 2017-11-28 | 2024-07-30 | Lx 半导体科技有限公司 | 图像编码/解码方法、图像数据的传输方法和存储介质 |
| US11128872B2 (en) * | 2018-07-16 | 2021-09-21 | Qualcomm Incorporated | Position dependent intra prediction combination with wide angle intra prediction |
| US20220201286A1 (en) * | 2019-04-25 | 2022-06-23 | Mediatek Inc. | Method and Apparatus of Encoding or Decoding with Mode Dependent Intra Smoothing Filter in Intra Prediction |
-
2019
- 2019-09-13 BR BR112021004679-8A patent/BR112021004679A2/pt unknown
- 2019-09-13 WO PCT/RU2019/050153 patent/WO2020055292A1/en active Application Filing
- 2019-09-13 KR KR1020247026481A patent/KR20240124432A/ko active Pending
- 2019-09-13 JP JP2021514316A patent/JP7651819B2/ja active Active
- 2019-09-13 CN CN202411101584.1A patent/CN119052472A/zh active Pending
- 2019-09-13 CN CN202110961636.2A patent/CN114143539B/zh active Active
- 2019-09-13 CA CA3112913A patent/CA3112913C/en active Active
- 2019-09-13 MX MX2021002953A patent/MX2021002953A/es unknown
- 2019-09-13 EP EP23198133.3A patent/EP4270958A3/en active Pending
- 2019-09-13 PL PL19859474.9T patent/PL3847815T3/pl unknown
- 2019-09-13 CN CN201980005488.8A patent/CN111543061B/zh active Active
- 2019-09-13 EP EP19859474.9A patent/EP3847815B1/en active Active
- 2019-09-13 HU HUE19859474A patent/HUE063986T2/hu unknown
- 2019-09-13 IL IL281544A patent/IL281544B2/en unknown
- 2019-09-13 KR KR1020237022401A patent/KR102694040B1/ko active Active
- 2019-09-13 ES ES19859474T patent/ES2966083T3/es active Active
- 2019-09-13 AU AU2019340292A patent/AU2019340292B2/en active Active
- 2019-09-13 CN CN202010747327.0A patent/CN112040228B/zh active Active
- 2019-09-13 KR KR1020217010979A patent/KR102551917B1/ko active Active
- 2019-09-13 UA UAA202101955A patent/UA128291C2/uk unknown
- 2019-09-13 CN CN202411099065.6A patent/CN119052471A/zh active Pending
- 2019-09-13 PT PT198594749T patent/PT3847815T/pt unknown
-
2021
- 2021-03-11 MX MX2024005693A patent/MX2024005693A/es unknown
- 2021-03-15 US US17/201,228 patent/US11647185B2/en active Active
-
2023
- 2023-03-28 US US18/191,267 patent/US12177427B2/en active Active
- 2023-09-08 JP JP2023146149A patent/JP2023169242A/ja active Pending
- 2023-10-13 AU AU2023248190A patent/AU2023248190B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170034536A1 (en) | 2014-05-23 | 2017-02-02 | Huawei Technologies Co., Ltd. | Method and Apparatus for Pre-Prediction Filtering for Use in Block-Prediction Techniques |
| US20180262756A1 (en) | 2015-11-17 | 2018-09-13 | Huawei Technologies Co., Ltd. | Method and apparatus for video coding |
| KR102551917B1 (ko) * | 2018-09-16 | 2023-07-04 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 예측 방법 및 장치 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7342188B2 (ja) | ビデオコーディングにおけるイントラ予測およびインター予測のための補間フィルタリングのための方法および装置 | |
| KR102694040B1 (ko) | 예측 방법 및 장치 | |
| KR102725069B1 (ko) | 모드 및 크기 의존적 블록 레벨 제한의 방법 및 장치 | |
| JP2022517488A (ja) | エンコーダ、デコーダ、および対応するブロック解除フィルタ適応の方法 | |
| JP2023169226A (ja) | 現在のブロックについての補間フィルタインデックスを導出するための方法および装置 | |
| JP7597772B2 (ja) | イントラ予測のための方法及び機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| PA0104 | Divisional application for international application |
Comment text: Divisional Application for International Patent Patent event code: PA01041R01D Patent event date: 20230630 Application number text: 1020217010979 Filing date: 20210413 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20240119 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20240522 |
|
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant | ||
| PA0104 | Divisional application for international application |
Comment text: Divisional Application for International Patent Patent event code: PA01041R01D Patent event date: 20240806 Application number text: 1020217010979 Filing date: 20210413 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20240806 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20240806 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |