KR20230111255A - 인트라 프레임 예측 방법, 장치 및 디코더와 인코더 - Google Patents
인트라 프레임 예측 방법, 장치 및 디코더와 인코더 Download PDFInfo
- Publication number
- KR20230111255A KR20230111255A KR1020237022446A KR20237022446A KR20230111255A KR 20230111255 A KR20230111255 A KR 20230111255A KR 1020237022446 A KR1020237022446 A KR 1020237022446A KR 20237022446 A KR20237022446 A KR 20237022446A KR 20230111255 A KR20230111255 A KR 20230111255A
- Authority
- KR
- South Korea
- Prior art keywords
- intra
- frame prediction
- prediction
- block
- modes
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 235
- 239000011159 matrix material Substances 0.000 claims abstract description 170
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000009795 derivation Methods 0.000 claims description 47
- 238000001914 filtration Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000002156 mixing Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 238000007906 compression Methods 0.000 abstract description 17
- 230000006835 compression Effects 0.000 abstract description 16
- 238000013139 quantization Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 13
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 11
- 238000000638 solvent extraction Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000005192 partition Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 2
- 201000009794 Idiopathic Pulmonary Fibrosis Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Abstract
인트라 프레임 예측 방법, 장치 및 인코더와 디코더를 제공하고, 본 출원의 실시예는 두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 두 가지 이상의 예측 블록을 획득하고; 가중 매트릭스에 따라, 얻은 두 가지 이상의 예측 블록에 대해 콤비네이션을 수행하여 처리될 블록의 예측 블록을 얻는다. 본 출원의 실시예는 다양한 인트라 프레임 예측 모드를 통해 복수 개의 예측 블록을 결정하므로, 복잡한 텍스쳐의 예측 처리를 구현하고, 인트라 프레임 예측의 품질을 향상시킴으로써, 압축 성능을 향상시킨다. 더 나아가, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법은, 다양한 가중 매트릭스를 통해, 더욱 복잡한 텍스쳐의 예측을 처리하기 위한 보장을 제공하여, 인트라 프레임 예측의 품질을 향상시킴으로써, 압축 성능을 향상시킨다.
Description
본 발명의 실시예는 비디오 처리 기술에 관한 것으로서, 구체적으로 인트라 프레임 예측 방법, 장치 및 디코더와 인코더에 관한 것이다.
비디오의 하나의 프레임에서의 인접 픽셀 사이에는 매우 강한 연관성이 존재하며, 비디오 코딩 및 디코딩 기술에서 인트라 프레임 예측의 방법을 사용하는 것을 통해 인접 픽셀 사이의 공간 중복을 소거하여, 코딩 효율을 향상시킨다.
일반적인 인트라 프레임 예측 모드는 간단한 텍스쳐에 대해 예측을 수행할 수 있지만, 복잡한 텍스쳐의 경우, 더욱 작은 블록으로 구획해야 하거나, 더욱 많은 잔차에 대해 코딩을 수행해야 하므로, 의심의 여지가 없이 인트라 프레임 예측의 복잡도가 향상된다. 즉, 관련된 인트라 프레임 예측 방안에 있어서, 왜곡 비용이 비교적 크거나, 복잡도가 비교적 큼으로써, 인트라 프레임 예측의 품질이 비교적 낮은 문제를 초래한다.
아래는 본 명세서에 자세하게 설명된 주제에 대한 약술이다. 본 약술은 청구항의 보호 범위를 한정하기 위한 것이 아니다.
본 출원은 인트라 프레임 예측 방법, 장치 및 디코더와 인코더를 제공하므로, 인트라 프레임 예측의 품질을 향상시킬 수 있다.
본 출원의 실시예는 인트라 프레임 예측 방법을 제공하고, 디코더에 적용되며, 상기 방법은,
두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하는 단계; 및
가중 매트릭스와 얻은 두 가지 이상의 예측 블록에 따라 처리될 블록의 타깃 예측 블록을 얻는 단계를 포함한다.
본 출원의 실시예는 컴퓨터 실행 가능한 명령어가 저장된 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 실행 가능 명령어는 상기 인트라 프레임 예측 방법을 실행하기 위한 것이다.
본 출원의 실시예는 디코더를 제공하고, 메모리와 프로세서를 포함하며, 여기서, 메모리에는 프로세서에 의해 실행 가능한, 상기 인트라 프레임 예측 방법의 단계를 실행하기 위한 명령어가 저장된다.
본 출원의 실시예는 디코더를 제공하고, 디코딩 모듈, 예측 모듈, 콤비네이션 모듈을 포함하며; 여기서,
디코딩 모듈은, 수신된 비트 스트림에 대해 디코딩을 수행하여, 두 가지 이상의 상이한 인트라 프레임 예측 모드, 처리될 블록 및 가중 매트릭스를 획득하도록 설정되고;
예측 모듈은, 두 가지 이상의 상이한 인트라 프레임 예측 모드로 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하도록 설정되며;
콤비네이션 모듈은, 가중 매트릭스와 얻은 두 가지 이상의 예측 블록에 따라 처리될 블록의 타깃 예측 블록을 얻도록 설정된다.
본 출원의 실시예는 인트라 프레임 예측 방법을 제공하고, 인코더에 적용되며, 상기 방법은,
두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하는 단계; 및
가중 매트릭스와 얻은 두 가지 이상의 예측 블록에 따라 처리될 블록의 타깃 예측 블록을 얻는 단계를 포함한다.
본 출원의 실시예는 컴퓨터 실행 가능 명령어가 저장된 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 실행 가능 명령어는 상기 코딩 엔드의 전술한 인트라 프레임 예측 방법을 실행하기 위한 것이다.
본 출원의 실시예는 인코더를 제공하고, 메모리와 프로세서를 포함하며, 여기서, 메모리에는 프로세서에 의해 실행 가능한, 코딩 엔드의 전술한 인트라 프레임 예측 방법의 단계를 실행하기 위한 명령어가 저장된다.
본 출원의 실시예는 인코더를 제공하고, 예측 모듈, 콤비네이션 모듈, 처리 모듈을 포함하며; 여기서,
예측 모듈은, 두 가지 이상의 상이한 인트라 프레임 예측 모드로 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하도록 설정되며;
콤비네이션 모듈은, 가중 매트릭스와 얻은 두 가지 이상의 예측 블록에 따라 처리될 블록의 타깃 예측 블록을 얻도록 설정되며;
처리 모듈은, 전부 또는 일부의 가능한 예측 모드와 가중 매트릭스 도출 모드의 콤비네이션을 시도하고, 손실 비용을 계산하며, 손실 비용이 작은 콤비네이션을 선택하고; 콤비네이션에서의 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스를 인트라 프레임 예측을 수행하기 위한 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스로 사용하며; 결정된 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스 도출 모드 등 정보를, 신텍스에 따라 비트 스트림에 기입하도록 설정된다.
본 출원의 실시예는 인트라 프레임 예측 방법을 제공하고,
두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 단계;
각 인트라 프레임 예측 모드의 예측의 경우, 기설정 개수 개의 픽셀 포인트를 예측 완료하면, 가중 매트릭스와 예측 완료된 각 인트라 프레임 예측 모드에 대응되는 픽셀 포인트에 따라 처리될 블록의 기설정 개수 개의 예측 픽셀 포인트를 얻는 단계; 및
얻은 복수 개의 기설정 개수 개의 예측 픽셀 포인트에 따라 처리될 블록의 타깃 예측 블록을 획득하는 단계를 포함한다.
본 출원의 실시예는 인트라 프레임 예측 장치를 제공하고, 예측 모듈, 콤비네이션 모듈을 포함하고; 여기서,
예측 모듈은, 디코딩하여 얻은 두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하도록 설정되고;
콤비네이션 모듈은, 가중 매트릭스와 얻은 두 가지 이상의 예측 블록에 따라 처리될 블록의 타깃 예측 블록을 얻도록 설정된다.
본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법, 장치 및 인코더와 디코더는, 두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 두 가지 이상의 예측 블록을 획득하고; 다음 가중 매트릭스에 따라, 얻은 두 가지 이상의 예측 블록에 대해 콤비네이션을 수행하여 처리될 블록의 예측 블록을 얻는다. 본 출원의 실시예는 다양한 인트라 프레임 예측 모드를 통해 복수 개의 예측 블록을 결정하므로, 복잡한 텍스쳐의 예측 처리를 구현하고, 인트라 프레임 예측의 품질을 향상시킴으로써, 압축 성능을 향상시킨다.
더 나아가, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법은, 다양한 가중 매트릭스를 통해, 더욱 복잡한 텍스쳐의 예측을 처리하기 위한 보장을 제공하여, 인트라 프레임 예측의 품질을 향상시킴으로써, 압축 성능을 향상시킨다. 또한, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법이 더욱 많은 시나리오에 적용될 수 있도록 한다.
본 발명의 실시예의 다른 특징과 장점은 다음의 명세서에서 반복 설명하며, 또한, 부분적으로 명세서로부터 명백해지거나 본 발명에 대한 실시를 통해 이해될 것이다. 본 발명의 목적 및 다른 장점은 명세서, 청구 범위 및 도면에서 구체적으로 나타난 구조를 통해 구현되고 획득될 수 있다.
도면과 상세한 설명을 읽고 이해하면 다른 측면을 이해할 수 있다.
본 발명에서 도시된 도면은 본 발명에 대한 추가적인 이해를 제공하고, 본 출원의 일부를 구성하며, 본 발명의 예시적인 실시예 및 그 설명은 본 발명을 해석하기 위한 것이지, 본 발명에 대한 부적절한 한정을 구성하지 않는다. 도면에서,
도 1(a)는 본 출원의 실시예 중 블록에 기반하는 하이브리드 코딩 프레임워크의 예시도이다.
도 1(b)는 본 출원의 실시예 중 비디오 코딩 시스템의 구성 블록 예시도이다.
도 1(c)는 본 출원의 실시예 중 비디오 디코딩 시스템의 구성 블록 예시도이다.
도 2는 본 출원의 실시예 중 인트라 프레임 예측 방법의 실시예 예시도이다.
도 3은 본 출원의 실시예 중 4 개의 참고 행/열을 사용하여 인트라 프레임 예측을 구현하는 실시예의 예시도이다.
도 4는 본 출원의 실시예 H.264 중 4Х4의 블록에 대해 인트라 프레임 예측을 수행하는 9 가지 모드의 예시도이다.
도 5는 본 출원의 실시예 중 정사각형인 블록에서의 GPM의 64 가지 모드의 가중도이다.
도 6은 본 출원의 실시예 중 정사각형인 블록에서의 AWP의 56 가지 모드의 가중도이다.
도 7은 본 출원의 실시예 중 인트라 프레임 예측 방법의 흐름 예시도이다.
도 8은 본 출원의 실시예 중 두 가지 상이한 인트라 프레임 예측 모드를 채택하여 인트라 프레임 예측을 수행하는 예시도이다.
도 9(a)는 본 출원의 실시예 중 가중 변화의 위치가 직선을 나타내는 예시도이다.
도 9(b)는 본 출원의 실시예 중 가중 변화의 위치가 커브 라인을 나타내는 예시도이다.
도 10은 본 출원의 상호 배타적인 경우에서 제1 실시예를 처리하는 과정 예시도이다.
도 11은 본 출원의 상호 배타적인 경우에서 제2 실시예를 처리하는 과정 예시도이다.
도 12는 본 출원의 실시예 중 인트라 프레임 예측 모드를 저장하는 예시도이다.
도 13은 본 출원의 실시예 중 인트라 프레임 예측 장치의 구성 구조 예시도이다.
도 14는 본 출원의 실시예 중 다른 인트라 프레임 예측 방법의 흐름 예시도이다.
도 1(a)는 본 출원의 실시예 중 블록에 기반하는 하이브리드 코딩 프레임워크의 예시도이다.
도 1(b)는 본 출원의 실시예 중 비디오 코딩 시스템의 구성 블록 예시도이다.
도 1(c)는 본 출원의 실시예 중 비디오 디코딩 시스템의 구성 블록 예시도이다.
도 2는 본 출원의 실시예 중 인트라 프레임 예측 방법의 실시예 예시도이다.
도 3은 본 출원의 실시예 중 4 개의 참고 행/열을 사용하여 인트라 프레임 예측을 구현하는 실시예의 예시도이다.
도 4는 본 출원의 실시예 H.264 중 4Х4의 블록에 대해 인트라 프레임 예측을 수행하는 9 가지 모드의 예시도이다.
도 5는 본 출원의 실시예 중 정사각형인 블록에서의 GPM의 64 가지 모드의 가중도이다.
도 6은 본 출원의 실시예 중 정사각형인 블록에서의 AWP의 56 가지 모드의 가중도이다.
도 7은 본 출원의 실시예 중 인트라 프레임 예측 방법의 흐름 예시도이다.
도 8은 본 출원의 실시예 중 두 가지 상이한 인트라 프레임 예측 모드를 채택하여 인트라 프레임 예측을 수행하는 예시도이다.
도 9(a)는 본 출원의 실시예 중 가중 변화의 위치가 직선을 나타내는 예시도이다.
도 9(b)는 본 출원의 실시예 중 가중 변화의 위치가 커브 라인을 나타내는 예시도이다.
도 10은 본 출원의 상호 배타적인 경우에서 제1 실시예를 처리하는 과정 예시도이다.
도 11은 본 출원의 상호 배타적인 경우에서 제2 실시예를 처리하는 과정 예시도이다.
도 12는 본 출원의 실시예 중 인트라 프레임 예측 모드를 저장하는 예시도이다.
도 13은 본 출원의 실시예 중 인트라 프레임 예측 장치의 구성 구조 예시도이다.
도 14는 본 출원의 실시예 중 다른 인트라 프레임 예측 방법의 흐름 예시도이다.
아래에 도면을 참조하고 실시예를 결합하여 본 발명을 자세하게 설명한다. 설명해야 할 것은, 충돌되지 않는 경우, 본 출원에서의 실시예 및 실시예에서의 특징은 서로 조합될 수 있다.
본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법은, 도 6(a)에 도시된 블록에 기반하는 하이브리드 코딩 프레임워크 하에서의 비디오 코덱의 기본 플로우에 적용되지만, 상기 프레임워크 및 플로우에 한정되지 않는다.
도 1(a)에 도시된 블록에 기반하는 하이브리드 코딩 프레임워크 하에서의 비디오 코덱의 기본 작업 원리는, 코딩 엔드에서, 하나의 프레임의 이미지를 블록으로 구획하고, 현재 블록에 인트라 프레임 예측을 사용하여 현재 블록의 예측 블록을 생성하고, 현재 블록의 초기 블록에서 예측 블록을 감하여 잔차 블록을 얻고, 잔차 블록에 대해 변환, 양자화를 수행하여 양자화 계수 매트릭스를 얻고, 양자화 계수 매트릭스에 대해 엔트로피 코딩을 수행하여 비트 스트림에 출력한다.
여기서, 상기 이미지 프레임의 블록의 구획에 있어서, 각 프레임은 동일한 크기(예를 들어, 128Х128, 64Х64 등)인 정사각형의 최대 코딩 유닛(Largest Coding Unit, LCU)으로 구획된다. 각 최대 코딩 유닛은 규칙에 따라 직사각형의 코딩 유닛(Coding Unit, CU)으로 구획될 수 있다. 코딩 유닛은 또한, 예측 유닛(Prediction Unit, PU), 변환 유닛(Transform Unit, TU) 등으로 구획될 수 있다.
디코딩 엔드에 있어서, 일 측면으로 현재 블록에 대해 인트라 프레임 예측 또는 인터 프레임 예측을 사용하여 현재 블록의 예측 블록을 생성하고, 다른 한 측면으로 비트 스트림을 파싱하여 양자화 계수 매트릭스를 얻고, 양자화 계수 매트릭스에 대해 역양자화, 역변환을 수행하여 잔차 블록을 얻고, 예측 블록과 잔차 블록을 합하여 재구축 블록을 얻는다. 재구축 블록은 재구축 이미지를 구성하고, 이미지에 기반하거나 블록에 기반하여 재구축 이미지에 대해 루프 필터링을 수행하여 디코딩 이미지를 얻는다. 코딩 엔드은 마찬가지로 디코딩 엔드과 유사한 동작으로 디코딩 이미지를 획득해야 한다. 디코딩 이미지는 향후의 프레임을 위해, 예측된 참조 프레임으로 사용될 수 있다. 코딩 엔드에서 획득된 디코딩 이미지는 통상적으로 재구축 이미지로도 불린다. 예측할 때 현재 블록을 예측 유닛으로 구획할 수 있고, 변환할 때 현재 블록을 변환 유닛으로 구획할 수 있으며, 예측 유닛과 변환 유닛의 구획은 상이할 수 있다. 코딩 엔드에 의해 결정된 블록 구획 정보, 예측, 변환, 양자화, 엔트로피 코딩, 루프 필터링 등 모드 정보 또는 파라미터 정보는 필요에 따라 비트 스트림으로 출력되어야 한다. 디코딩 엔드는 파싱 및 기존 정보에 따라 분석을 수행하는 것을 통해 코딩 엔드와 동일한 블록 구획 정보, 예측, 변환, 양자화, 엔트로피 코딩, 루프 필터링 등 모드 정보 또는 파라미터 정보를 결정함으로써, 코딩 엔드가 획득한 디코딩 이미지와 디코딩 엔드가 획득한 디코딩 이미지가 동일하도록 보장한다.
본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법은 도 1(a)에 도시된 프레임워크에서의 인트라 프레임 예측 모듈에 사용되고, 코딩 엔드에 적용될 수 있으며, 디코딩 엔드에 적용될 수도 있다. 코딩 엔드에 있어서, 채택된 인트라 프레임 예측 모드, 가중 매트릭스 등 정보를 결정하고, 다음, 결정된 인트라 프레임 예측 모드, 가중 매트릭스 등에 따라 본 출원의 인트라 프레임 예측을 완료하며; 디코딩 엔드에 있어서, 비트 스트림에 대한 디코딩을 통해 채택된 인트라 프레임 예측 모드, 가중 매트릭스 등 정보를 획득하고, 다음, 획득된 인트라 프레임 예측 모드, 가중 매트릭스 등에 따라 본 출원의 인트라 프레임 예측을 완료한다.
도 1(b)는 본 출원의 실시예의 비디오 코딩 시스템의 구성 블록 예시도이고, 도 1(b)에 도시된 바와 같이, 상기 비디오 코딩 시스템(11)은, 변환 유닛(111), 양자화 유닛(112), 모드 선택과 코딩 제어 논리 유닛(113), 인트라 프레임 예측 유닛(114), 인터 프레임 예측 유닛(115)(움직임 보상과 움직임 추정을 포함함), 역양자화 유닛(116), 역변환 유닛(117), 루프 필터링 유닛(118), 코딩 유닛(119)과 디코딩 이미지 버퍼 유닛(110)을 포함할 수 있고; 입력된 초기 비디오 시그널의 경우, 코딩 트리 블록(Coding Tree Unit, CTU)의 구획을 통해 하나의 비디오 재구축 블록을 얻을 수 있고, 모드 선택과 코딩 제어 논리 유닛(113)을 통해 코딩 모드를 결정하고, 다음, 인트라 프레임 또는 인터 프레임 예측을 거친 후 얻은 잔차 픽셀 정보에 대해, 변환 유닛(111), 양자화 유닛(112)을 통해 상기 비디오 재구축 블록에 대해 변환을 수행하며, 잔차 정보를 픽셀 도메인으로부터 변환 도메인으로 변환시키는 것을 포함하며, 얻은 변환 계수에 대해 양자화를 수행하여, 추가적으로 비트 레이트르 감소시키고; 인트라 프레임 예측 유닛(114)은 상기 비디오 재구축 블록에 대해 인트라 프레임 예측을 수행하기 위한 것이며; 여기서, 인트라 프레임 예측 유닛(114)은 상기 비디오 재구축 블록의 최적화 인트라 프레임 예측 모드(즉, 타깃 예측 모드)를 결정하기 위한 것이고; 인터 프레임 예측 유닛(115)은 수신된 비디오 재구축 블록이 하나 또는 복수 개의 참조 프레임에서의 하나 또는 복수 개의 블록에 대한 인터 프레임 예측 코딩을 실행하여, 시간 예측 정보를 제공하기 위한 것이며; 여기서, 움직임 추정은 움직임 벡터를 생성하는 과정이고, 움직임 벡터는 상기 비디오 재구축 블록의 움직임을 추정할 수 있으며, 다음, 움직임 보상은 움직임 추정에 의해 결정된 움직임 벡터에 기반하여 움직임 보상을 실행하며; 인터 프레임 예측 모드를 결정한 후, 인터 프레임 예측 유닛(115)은 또한 선택된 인터 프레임 예측 데이터를 코딩 유닛(119)에 제공하기 위한 것이고, 또한, 계산하여 결정된 움직임 벡터 데이터도 코딩 유닛(119)에 송신하기 위한 것이며; 또한, 역양자화 유닛(116)과 역변환 유닛(117)은 상기 비디오 재구축 블록의 재구축, 픽셀 도메인 중 잔차 블록의 재구축을 위한 것이고, 상기 잔차 블록의 재구축은 루프 필터링 유닛(118)을 통해 블록 효과 아티팩트를 제거하고, 다음, 상기 재구축된 잔차 블록을 디코딩 이미지 버퍼 유닛(110)의 프레임에서의 하나의 예측성 블록에 추가하여, 재구축을 거친 비디오 재구축 블록을 생성하기 위한 것이며; 코딩 유닛(119)은 다양한 코딩 파라미터 및 양자화된 변환 계수를 코딩하기 위한 것이다. 디코딩 이미지 버퍼 유닛(110)은 재구축된 비디오 재구축 블록을 저장하여, 예측 참조를 수행하기 위한 것이다. 비디오 이미지 코딩의 수행에 따라, 새로운 재구축된 비디오 재구축 블록을 부단히 생성하며, 이러한 재구축된 비디오 재구축 블록은 모두 디코딩 이미지 버퍼 유닛(110)에 저장된다.
도 1(c)은 본 출원의 실시예의 비디오 디코딩 시스템의 구성 블록 예시도이고, 도 1(c)에 도시된 바와 같이, 상기 비디오 디코딩 시스템(12)은, 디코딩 유닛(121), 역변환 유닛(127), 역양자화 유닛(122), 인트라 프레임 예측 유닛(123), 움직임 보상 유닛(124), 루프 필터링 유닛(125)과 디코딩 이미지 버퍼 유닛(126)을 포함할 수 있고; 입력된 비디오 시그널은 비디오 코딩 시스템(11)을 거쳐 코딩 처리를 수행한 후, 상기 비디오 시그널의 비트 스트림을 출력하고; 상기 비트 스트림은 비디오 디코딩 시스템(12)에 입력되고, 먼저 디코딩 유닛(121)을 거치고, 디코딩된 이후의 변환 계수를 얻기 위한 것이며; 상기 변환 계수에 대해 역변환 유닛(127)과 역양자화 유닛(122)을 통해 처리를 수행하여, 픽셀 도메인에서 잔차 블록을 생성하는데 용이하며; 인트라 프레임 예측 유닛(123)은 결정된 인트라 프레임 예측 방향과 현재 프레임 또는 이미지로부터의 이전에 디코딩 블록을 거친 데이터에 기반하여 현재 비디오 디코딩 블록의 예측 데이터를 생성하기 위한 것일 수 있고; 움직임 보상 유닛(124)은 움직임 벡터와 다른 관련 신텍스 요소를 파싱하는 것을 통해 비디오 디코딩 블록에 사용되는 예측 정보를 결정하고, 상기 예측 정보를 사용하여 디코딩되고 있는 비디오 디코딩 블록의 예측성 블록을 생성하며; 역변환 유닛(127)과 역양자화 유닛(122)으로부터의 잔차 블록과 인트라 프레임 예측 유닛(123) 또는 움직임 보상 유닛(124)에 의해 생성된 대응되는 예측성 블록의 합을 구하는 것을 통해, 디코딩된 비디오 블록을 형성하며; 상기 디코딩된 비디오 시그널은 루프 필터링 유닛(125)을 통해 블록 효과 아티팩트를 용이하게 제거하므로, 비디오 품질을 개선시킬 수 있고; 다음, 디코딩을 거친 비디오 블록을 디코딩 이미지 버퍼 유닛(126)에 저장하며, 디코딩 이미지 버퍼 유닛(126)은 향후 인트라 프레임 예측 또는 움직임 보상을 위한 참조 이미지를 저장하며, 동시에 비디오 시그널을 출력하기 위한 것이며, 복구된 초기 비디오 시그널을 얻는다.
본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법은 비디오 코딩 시스템(11)의 인트라 프레임 예측 유닛(114)과 비디오 디코딩 시스템(12)의 인트라 프레임 예측 유닛(123)에 사용되고, 현재 블록(코딩될 블록 또는 디코딩될 블록)에 대해 예측을 수행하여, 대응되는 예측 블록을 획득한다. 즉, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법은 비디오 코딩 방법에서의 인트라 프레임 예측에 기반한 것일 수 있고, 또한, 비디오 디코딩 방법에서의 인트라 프레임 예측에 기반한 것일 수도 있다.
인트라 프레임 예측 방법은, 현재 블록 주변의 이미 코딩 및 디코딩된 재구축 픽셀을 참조 픽셀로 사용하여 현재 블록에 대해 예측을 수행하는 것이다. 예를 들어, 도 2에 도시된 바와 같이, 흰색의 4Х4 블록은 현재 블록이고, 현재 블록의 좌측 행과 윗측 열의 그레이의 픽셀은 현재 블록의 참조 픽셀이고, 인트라 프레임 예측은 이러한 참조 픽셀을 사용하여 현재 블록에 대해 예측을 수행하다. 이러한 참조 픽셀은 전부 얻었을 수 있고, 즉, 전부 이미 코딩 및 디코딩되었을 수 있고, 또는 일부는 얻을 수 없을 수도 있으며, 예를 들어 현재 블록이 전체 프레임의 가장 좌측이면, 현재 블록의 왼쪽의 참조 픽셀은 얻을 수 없다. 또는, 현재 블록을 코딩 및 디코딩할 때, 현재 블록의 좌측 아래의 부분은 아직 코딩 및 디코딩되지 않았으므로, 좌측 아래의 참조 픽셀도 얻을 수 없다. 참조 픽셀을 얻을 수 없는 경우, 얻을 수 있는 참조 픽셀 또는 특정 일부 값 또는 특정 일부 방법을 사용하여 충진을 수행할 수 있고, 또는 충진을 수행하지 않을 수 있다. 다중 참조 행(Multiple reference line, MRL) 인트라 프레임 예측 방법은, 더욱 많은 참조 픽셀을 사용하여 코딩 효율을 향상시킬 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 이는 관련 기술의 4 개의 참조 행/열을 사용하여 인트라 프레임 예측을 구현하는 실시예의 예시도이다.
인트라 프레임 예측은 다양한 모드가 있으며, 도 4에 도시된 바와 같이, 이는 H.264 중 4Х4인 블록에 대한 인트라 프레임 예측의 9 가지 모드를 디스플레이한다. 여기서, 모드 0은 현재 블록의 윗면의 픽셀을 수직 방향에 따라 현재 블록에 복사하여 예측값으로 사용하며; 모드 1은 좌측의 참조 픽셀을 수평 방향에 따라 현재 블록에 복사하여 예측값으로 사용하며; 모드 2 DC는 A~D와 I~L인 8 개의 포인트의 평균값을 모든 포인트의 예측값으로 사용하며; 모드 3~8은 각각 특정 하나의 각도에 따라 참조 픽셀을 현재 블록의 대응되는 위치에 복사한다. 현재 블록의 특정 일부 위치는 참조 픽셀에 정확하게 대응되지 않으므로, 참조 픽셀의 가중 평균값, 또는 보간의 참조 픽셀의 서브 픽셀을 사용해야 할 수 있다. 이외에도, 관련 기술에는 Plane, Planar 등 모드가 더 존재한다. 기술의 발전 및 블록의 스케일 업에 따라, 각도 예측 모드도 점점 더 많아진다. 예를 들어, 고효율 비디오 코딩(High Efficiency Video Coding, HEVC)에 사용되는 인트라 프레임 예측 모드는 Planar, DC와 33 가지 각도 모드, 즉 총 35 가지 예측 모드를 가진다. 또 예를 들어, VVC에 사용되는 인트라 모드는 Planar, DC와 65 가지 각도 모드, 즉 총 67 가지 예측 모드를 가진다. 또 예를 들어, AVS3은 DC, Plane, Bilinear와 63 가지 각도 모드, 즉 총 66 가지 예측 모드를 사용한다.
또 일부 기술은 인트라 프레임 예측에 대해 개선을 수행하며, 예를 들어, 참조 픽셀의 서브 픽셀 보간을 개선하고, 예측 픽셀에 대해 필터링을 수행하는 등이다. 예를 들어, AVS3에서의 다중 콤비네이션 인트라 프레임 예측 필터(Multiple Intra Prediction Filter, MIPF)는 상이한 블록 크기에 대해, 상이한 필터를 사용하여 예측값을 생성한다. 동일한 블록 내의 상이한 위치의 픽셀의 경우, 참조 픽셀과 비교적 가까운 픽셀은 하나의 필터를 사용하여 예측값을 생성하고, 참조 픽셀과 비교적 먼 픽셀은 다른 하나의 필터를 사용하여 예측값을 생성한다. 예측 픽셀에 대해 필터링을 수행하는 기술은, AVS3에서의 인트라 프레임 예측 필터(Intra Prediction Filter, IPF)를 포함할 수 있고, 예측값에 대해 참조 픽셀을 사용하여 필터링을 수행할 수 있다.
인트라 프레임 예측은 방향 각도(DC) 모드, 평면(Plane) 모드, 평활(Planar)모드, 이중 선형(Bilinear) 모드 등 인트라 프레임 예측 모드를 포함하지만, 이러한 모드는 모두 간단한 텍스쳐의 예측만 처리할 수 있다. 각도 모드는 비록 점점 많아지지만, 이러한 모드의 예측은 다만 하나의 각도의 직선을 따라 수행할 수 있다.
다기능 비디오 코딩(Versatile Video Coding, VVC, H.266으로도 지칭됨) 표준의 제정에 있어서, 기하학적 분할 모드(Geometric Partitioning Mode, GPM)의 인터 프레임 예측 모드를 도입한다. 우리 나라에서 자체 연구 개발한 오디오 비디오 코딩 표준(Audio Video coding Standard, AVS3)의 제정에 있어서, 각도 가중 예측(Angular Weighted Prediction, AWP)의 인터 프레임 예측 모드를 도입하였다.
GPM 또는 AWP는 현재 블록 크기와 동일한 두 개의 참조 블록을 사용하지만, 특정 일부 픽셀 위치는 100% 첫 번째 참조 블록에 대응되는 위치의 픽셀값을 사용하고, 특정 일부 픽셀 위치는 100% 두 번째 참조 블록에 대응되는 위치의 픽셀값을 사용하며, 경계 영역에서는, 일정한 비율에 따라 이 두 개의 참조 블록에 대응되는 위치의 픽셀값을 사용한다. 구체적으로 이러한 가중의 할당 방법은, GPM 또는 AWP의 모드에 의해 결정된다. 또한, GPM 또는 AWP가 현재 블록 크기와 상이한 두 개의 참조 블록을 사용하는 것으로 간주할 수 있고, 즉, 각각 수요되는 일부를 참조 블록으로 사용하며, 가중이 0이 아닌 부분을 참조 블록으로 사용하고, 가중이 0인 부분을 제거한다.
도 5는 본 출원의 실시예의 정사각형인 블록에서의 GPM의 64 가지 모드의 가중도이고, 도 5에 도시된 바와 같이, 블랙은 첫 번째 참조 블록에 대응되는 위치의 가중치가 0%인 것을 나타내고, 흰색은 첫 번째 참조 블록에 대응되는 위치의 가중치가 100%인 것을 나타내며, 그레이 영역은 컬러의 색감의 상이함에 따라 첫 번째 참조 블록에 대응되는 위치의 가중치가 0%보다 크고 100%보다 작은 특정 하나의 가중치를 나타낸다. 두 번째 참조 블록에 대응되는 위치의 가중치는 100%에서 첫 번째 참조 블록에 대응되는 위치의 가중치를 덜어낸 것이다.
도 6은 본 출원의 실시예 중 정사각형인 블록에서의 AWP의 56 가지 모드의 가중도이고, 도 6에 도시된 바와 같이, 블랙은 첫 번째 참조 블록에 대응되는 위치의 가중치가 0%인 것을 나타내고, 흰색은 첫 번째 참조 블록에 대응되는 위치의 가중치가 100%인 것을 나타내며, 그레이 영역은 컬러의 색감의 상이함에 따라 첫 번째 참조 블록에 대응되는 위치의 가중치가 0%보다 크고 100%보다 작은 특정 하나의 가중치보다 작은 것을 나타낸다. 두 번째 참조 블록에 대응되는 위치의 가중치는 100%에서 첫 번째 참조 블록에 대응되는 위치의 가중치를 감한 값이다.
GPM과 AWP의 가중 도출 방법은 상이하다. GPM은 각 모드에 따라 각도 및 옵셋양을 결정하고, 다음, 각 모드의 가중 매트릭스를 계산한다. AWP는 먼저 1차원의 가중 라인을 형성하고, 다음 인트라 프레임 각도 예측 방법과 유사한 방법을 사용하여 1차원의 가중 라인으로 전체 매트릭스를 오버스프레드한다.
CU, PU 또는 TU의 구획을 막론하고, 초기의 코딩 및 디코딩 기술에는 직사각형의 구획 방식만 존재한다. 그러나 GPM와 AWP는 구획이 없는 경우, 예측된 비직사각형의 구획 효과를 구현한다. GPM과 AWP는 2 개의 참조 블록의 가중의 마스크(mask)를 사용하며, 즉 상기 가중도를 사용한다. 상기 마스크는 두 개의 참조 블록이 예측 블록을 생성할 때의 가중을 결정하고, 또는 예측 블록의 일부 위치가 첫 번째 참조 블록으로부터 온 것이고, 일부 위치가 두 번째 참조 블록으로부터 온 것으로 간단하게 이해할 수 있고, 블렌딩 영역(blending area)은 두 개의 참조 블록에 대응되는 위치를 가중화하여 얻음으로써, 블렌딩이 더 평활하도록 한다. GPM과 AWP는 구획 라인에 따라 현재 블록을 두 개의 CU 또는 PU로 구획하지 않으므로, 예측 이후의 잔차의 변환, 양자화, 역변환, 역양자화 등도 현재 블록을 하나의 전체로 사용하여 처리한다.
본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법은, 두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하는 단계; 및 가중 매트릭스에 따라, 얻은 두 가지 이상의 예측 블록에 대해 콤비네이션을 수행하여 처리될 블록의 예측 블록을 얻는 단계를 포함할 수 있다. 본 출원의 실시예는 다양한 인트라 프레임 예측 모드를 통해 복수 개의 예측 블록을 결정하므로, 복잡한 텍스쳐의 예측 처리를 구현하고, 인트라 프레임 예측의 품질을 향상시킴으로써, 압축 성능을 향상시킨다.
더 나아가, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법은, 다양한 가중 매트릭스를 통해, 더욱 복잡한 텍스쳐의 예측을 처리하기 위한 보장을 제공하여, 인트라 프레임 예측의 품질을 향상시킴으로써, 압축 성능을 향상시킨다. 또한, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법이 더 많은 시나리오에 적용될 수 있도록 한다.
도 7은 본 출원의 실시예의 인트라 프레임 예측 방법의 흐름 예시도이고, 도 7에 도시된 바와 같이, 아래의 단계를 포함한다.
단계 700에 있어서, 두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득한다.
본 출원의 실시예에 있어서, 처리될 블록은 인코더에 의해 처리된 코딩될 블록일 수 있고, 디코더에 의해 처리된 디코딩될 블록일 수도 있다.
예시적 실시예에 있어서, 인트라 프레임 예측 모드는 DC 모드, Planar 모드, Plane 모드, Bilinear 모드, 각도 예측(AP) 모드 등과 같은 인트라 프레임 예측 모드, 및 참조 픽셀의 서브 픽셀 보간의 개선, 예측 픽셀에 대한 필터링 수행 등과 같은 인트라 프레임 예측에 대해 개선을 수행하는 기술을 포함할 수 있지만 이에 한정되지 않고, 상기 예측 픽셀에 대한 필터링 수행은, 예를 들어 복수 개의 콤비네이션 인트라 프레임 예측 필터(Multiple Intra Prediction Filter, MIPF), 인트라 프레임 예측 필터(Intra Prediction Filter, IPF)이다.
다른 인트라 프레임 예측 모드에 의존하지 않고 독립적으로 예측 블록을 생성하는 인트라 프레임 예측 모드를 제1 인트라 프레임 예측 모드(본 문에서는 기본 인트라 프레임 예측 모드로도 지칭됨)로 지칭하고, DC 모드, Planar 모드, Plane 모드, Bilinear 모드, 각도 예측 모드 등과 같은 인트라 프레임 예측 모드를 포함할 수 있고, 즉, 기본 인트라 프레임 예측 모드에 있어서, 참조 픽셀과 기본 인트라 프레임 예측 모드를 결정하면, 예측 블록을 결정할 수 있다. 기본 인트라 프레임 예측 모드에 의존하여야만 예측 블록을 결정할 수 있는 인트라 프레임 예측 모드는 제2 인트라 프레임 예측 모드(본 문에서는 개선된 인트라 프레임 예측 모드로도 지칭됨)로 지칭되고, MIPF, IPF 등과 같이 인트라 프레임 예측에 대해 개선을 수행하는 기술이 포함될 수 있고, 즉, 개선된 인트라 프레임 예측 모드는 독립적으로 예측 블록을 생성할 수 없다. 예를 들어, 특정 타입의 각도 예측 모드와 같은 기본 인트라 프레임 예측 모드에 있어서, 참조 픽셀에 따라 예측 블록의 생성을 결정할 수 있지만, MIPF와 같은 개선된 인트라 프레임 예측 모드에 있어서, 상기 각도 예측 모드의 기초 위에서 상이한 위치의 픽셀에 대해 상이한 필터를 사용하여, 예측 블록을 생성하거나 결정할 수 있다.
예시적 실시예에 있어서, 두 가지 이상의 상이한 인트라 프레임 예측 모드에는 적어도 하나의 기본 인트라 프레임 예측 모드가 포함된다.
예시적 실시예에 있어서, 두 가지 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것으로 예를 들면, 두 가지 상이한 인트라 프레임 예측 모드는 모두 기본 인트라 프레임 예측 모드이다.
예시적 실시예에 있어서, 기본 인트라 프레임 예측 모드에 개선된 인트라 프레임 예측 모드를 중첩하며, 즉, 채택된 기본 인트라 프레임 예측 모드에 대해, 개선된 인트라 프레임 예측 모드와 콤비네이션을 추가로 수행하여 처리될 블록에 대해 예측을 수행할 수도 있다.
예시적 실시예에 있어서, 두 가지 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 예로 들면, 두 가지 상이한 인트라 프레임 예측 모드는, 하나의 기본 인트라 프레임 예측 모드와 하나의 개선된 인트라 프레임 예측 모드를 포함한다. 예를 들어, 제1 인트라 프레임 예측 모드와 제2 인트라 프레임 예측 모드는 모두 동일한 각도 예측 모드를 사용하지만, 제1 인트라 프레임 예측 모드는 특정 타입의 개선된 인트라 프레임 예측 모드를 사용하지 않으며, 예를 들어, 특정 타입의 개선된 인트라 프레임 예측 모드의 IPF를 사용하지 않으면, 제2 인트라 프레임 예측 모드는 이러한 개선된 인트라 프레임 예측 모드를 사용하며, 예를 들어 개선된 인트라 프레임 예측 모드의 IPF를 사용한다. 또 예를 들어, 제1 인트라 프레임 예측 모드와 제2 인트라 프레임 예측 모드는 모두 동일한 하나의 각도 예측 모드를 사용하지만, 제1 인트라 프레임 예측 모드는 특정 타입의 개선된 인트라 프레임 예측 모드인 특정 타입의 선택을 사용하고, 제2 인트라 프레임 예측 모드는 이러한 개선된 인트라 프레임 예측 모드인 다른 하나의 선택을 사용한다.
본 출원의 실시예에 있어서, 처리될 블록의 예측에 대해 적어도 두 가지 상이한 인트라 프레임 예측 모드를 채택함으로써, 다각도로 처리될 블록에 대해 예측을 수행할 수 있으므로, 복잡한 텍스쳐의 예측을 처리하는데 적합하고, 인트라 프레임 예측의 품질을 향상시키는데 유리하다.
상기 인트라 프레임 예측 방법의 과정은 인코더에 적용되고 또한 디코더에 적용된다.
예시적 실시예에 있어서, 디코더 엔드에 있어서, 처리될 블록은 디코딩될 블록이고, 단계 700 이전, 상기 방법은,
비트 스트림을 파싱하여, 두 가지 이상의 상이한 인트라 프레임 예측 모드, 처리될 블록 및 가중 매트릭스를 획득하는 단계를 더 포함한다.
예시적 실시예에 있어서, 인코더 엔드에 있어서, 단계 700 이전, 상기 방법은,
전부 또는 일부의 가능한 예측 모드와 가중 매트릭스 도출 모드의 콤비네이션을 시도하고, 손실 비용을 계산하며, 손실 비용이 작은 콤비네이션을 선택하는 단계; 및 콤비네이션에서의 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스를 인트라 프레임 예측을 수행하기 위한 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스로 사용하는 단계를 더 포함한다.
상기 방법은, 결정된 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스 도출 모드 등 정보를, 신텍스에 따라 비트 스트림에 기입하는 단계를 더 포함한다.
여기서, 가능한 전부 경우는, 제1 인트라 프레임 예측 모드의 모든 가능한 모드, 제2 인트라 프레임 예측 모드의 모든 가능한 모드 및 가중 매트릭스 도출 모드의 모든 가능한 모드의 콤비네이션을 포함한다. 예를 들어, 모든 가능한 인트라 프레임 예측 모드가 66 가지 존재하는 것으로 가정하면, 첫 번째 인트라 프레임 예측 모드는 66가지 가능성을 가지고, 제2 인트라 프레임 예측 모드는 당연히 제1 인트라 프레임 예측 모드와 동일하지 않으며, 65 가지 가능성을 가지고; 가중 매트릭스 도출 모드는 56 가지(AWP를 예로 함)를 가지므로, 임의의 2 가지의 상이한 인트라 프레임 예측 모드 및 어느 하나의 가중 매트릭스 도출 모드를 사용하는 콤비네이션은 총 66Х65Х56 가지 가능성을 가질 수 있다.
예시적 실시예에 있어서, 손실 비용을 계산하는 방식은, 절대차 합(Sum of Absolute Differences, SAD), 절대 변환 차의 합(Sum of Absolute Transformed Difference, SATD), 비율 왜곡 최적화(Rate Distortion Optimation, RDO) 등 알고리즘 중의 하나 또는 임의의 조합을 포함할 수 있다.
예시적 실시예에 있어서, SATD 및 SAD 중 적어도 하나를 채택하여 코어스 선별과 같은 제1 선별을 수행하여, 전부 또는 일부의 가능한 예측 모드와 가중 매트릭스 도출 모드의 콤비네이션으로부터 후보 콤비네이션을 결정하고; 다음, RDO를 채택하여 파인 선별과 같은 제2 선별을 수행하여, 후보 콤비네이션으로부터 손실 비용이 가장 작은 콤비네이션을 결정한다.
실시예에 있어서, 코어스 선별할 때 또한, 일부 쾌속 알고리즘을 사용하여 시도하는 횟수를 줄이는 것을 포함할 수 있으며, 예를 들어, 특정된 인트라 프레임 각도 예측 모드가 매우 큰 비용을 초래할 때, 상기 인트라 프레임 각도 예측 모드에 인접하는 기설정 개수 개의 인트라 프레임 예측 모드는 모두 시도하지 않는 것 등이다.
예시적 실시예에 있어서, 상기 예측 모드와 가중 매트릭스 도출 모드의 콤비네이션을 시도하기 전, 상기 방법은 또한,
기울기를 사용하여 분석을 수행하는 등과 같이, 현재 처리될 블록의 텍스쳐에 대해 분석을 수행하는 단계를 포함할 수 있다.
상기 예측 모드와 가중 매트릭스 도출 모드의 콤비네이션에 대한 시도는 또한,
텍스쳐에 대해 분석을 수행한 결과에 따라 시도할 인트라 프레임 예측 모드를 결정하는 단계를 포함할 수 있다.
예를 들어, 현재 처리될 블록의 텍스쳐가 비교적 강한(예를 들어, 기설정된 고임계값보다 큼) 방향의 경우, 예측 모드와 가중 매트릭스 도출 모드의 콤비네이션을 시도하는 코어스 선별에서, 텍스쳐가 비교적 강한 방향에 가까운(즉, 상기 방향에서 특정된 설정 각도값을 더하거나 덜어낸 범위) 인트라 프레임 예측 모드를 가능한 많이 선택하여 시도한다. 또 예를 들어, 현재 처리될 블록의 텍스쳐가 비교적 약한(예를 들어, 기설정된 저임계값보다 낮음) 방향의 경우, 가능한 텍스쳐가 비교적 약한 방향에 가까운 인트라 프레임 예측 모드를 선택하여 시도하지 않는다.
설명해야 할 것은, 손실 비용은 제1 인트라 프레임 예측 모드, 제2 인트라 프레임 예측 모드, 가중 매트릭스 도출 모드가 비트 스트림에서 차지하는 코드 워드의 비용을 포함하는 것 이외에, 예를 들어 예측 잔차의 변환 양자화, 엔트로피 코딩 수행 등과 같은 비트 스트림에서 전송되어야 할 각 플래그 및 양자화 계수의 비용, 및 재구축 블록의 왜곡 비용 등을 더 포함한다. 일반적으로, 코드는 공간을 차지하는 크기가 아니라, 왜곡 비용을 나타내며, 즉, 예측 블록과 초기 블록 사이의 차이이거나, 원래의 이미지와 코딩 및 디코딩을 거친 후 얻은 이미지 사이의 왜곡 차이값이다. 여기서 선택된 비용이 가장 작은 것은, 왜곡이 가장 작은 것을 가리키며, 즉, 압축 과정에서의 손실이 가장 작고, 코딩 품질이 가장 높다.
예시적 실시예에 있어서, 손실 비용이 가장 작은 콤비네이션을 결정한 후, 단계 700 전, 상기 방법은,
선택된 가장 작은 손실 비용이 다른 예측 모드의 비용보다 작거나 같으면, 다른 예측 모드는 다른 인트라 프레임 예측 모드 또는 인터 프레임 예측 모드 등을 포함할 수 있으므로, 인코더 엔드는 본 출원에서 선택된 손실 비용이 가장 작은 콤비네이션에서의 인트라 프레임 예측 모드를 선택하여 처리될 블록의 예측 모드로 사용하는 단계; 및 선택된 가장 작은 손실 비용이 다른 예측 모드의 비용보다 크면, 인코더는 다른 특정 타입의 예측 모드를 선택하여 처리될 블록의 예측 모드로 사용하는 단계를 더 포함한다.
예시적 실시예에 있어서, 인코더 엔드는 또한,
최종적으로 결정된 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스 도출 모드 등 정보를, 신텍스에 따라 비트 스트림에 기입하는 단계를 더 포함할 수 있다.
상기 방법은 또한, 결정된 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스에 따라, 본 출원의 인트라 프레임 예측 방법에 따라 처리될 블록에 대해 인트라 프레임 예측 및 향후의 코딩 처리를 수행하는 단계를 포함할 수 있다.
단계 701에 있어서, 가중 매트릭스와 얻은 두 가지 이상의 예측 블록에 따라 처리될 블록의 타깃 예측 블록을 얻는다.
예시적 실시예에 있어서, 코딩 엔드에 있어서, 단계 700에 전술한 바와 같이, 손실 비용을 계산하는 방식을 통해 가중 매트릭스를 결정할 수 있다. 디코딩 엔드에 있어서, 신텍스에 따라 비트 스트림을 파싱하고, 획득된 가중 매트릭스 도출 모드에 따라 가중 매트릭스를 얻는다.
가중 매트릭스의 결정 방법은, 인터 프레임 예측에서의 GPM 또는 AWP의 가중 도출 방법을 참조하여 구현될 수 있다. 동일한 하나의 코딩 및 디코딩 표준 또는 코덱에서 GPM 또는 AWP의 예측 모드를 사용하였으면, 본 출원의 실시예에서 GPM 또는 AWP의 가중 도출 방법을 사용하여 가중 매트릭스를 결정할 수 있으므로, 동일한 논리를 재사용할 수 있다. 예를 들어, AVS3 인터 프레임 예측이 AWP를 사용하였으면, AVS3 중 본 출원의 실시예는 AWP의 가중 도출 방법을 사용하여 가중 매트릭스를 결정할 수 있다. 상이한 모드 넘버를 사용할 수 있고, 또는 상이한 블렌딩 영역 알고리즘을 사용할 수 있으며, 또는 상이한 파라미터를 사용할 수 있는 등과 같이, 본 출원의 실시예에서 가중 매트릭스를 결정하는 방법 및 동일한 코딩 및 디코딩 표준 또는 코덱에서 사용된 GPM 또는 AWP의 방법은 상이할 수도 있다.
예시적 실시예에 있어서, 도 8에 도시된 바와 같이, 두 가지 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여 제1 예측 블록과 제2 예측 블록을 획득하는 것을 예로 들면, 단계 701은,
제1 예측 블록에 대응되는 매트릭스와 제1 가중 매트릭스의 제1 곱을 계산하고, 제2 예측 블록에 대응되는 매트릭스와 제2 가중 매트릭스의 제2 곱을 계산하는 단계;
제1 곱, 제2 곱과 기설정 값의 합값을 계산하는 단계; 및
계산하여 얻은 합값을 정규화 처리하여, 상기 타깃 예측 블록을 얻는 단계를 포함할 수 있다.
예시적 실시예에 있어서, 제2 가중 매트릭스는 최대 가중치(예를 들어, 8)와 제1 가중 매트릭스의 차이값이고;
정규화 처리는, 계산하여 얻은 합값을 기설정 비트수(예를 들어 3 비트 등)만큼 우측으로 이동하여, 처리될 블록의 타깃 예측 블록을 얻는 것을 포함한다.
예를 들어, predMatrixSawp에서의 요소 predMatrixSawp[x][y]의 값= ((predMatrix0[x][y] * AwpWeightArrayY[x][y] + predMatrix1[x][y] * ( 8 - AwpWeightArrayY[x][y] ) + 4 ) >> 3) 이다. 여기서, predMatrixSawp는 타깃 예측 블록을 나타내고, predMatrixSawp[x][y]는 타깃 예측 블록 매트릭스를 나타내며, predMatrix0[x][y]는 제1 예측 블록에 대응되는 매트릭스를 나타내고, predMatrix1[x][y]는 제2 예측 블록에 대응되는 매트릭스를 나타내며, AwpWeightArrayY[x][y]는 제1 가중 매트릭스를 나타낸다.
예시적 실시예에 있어서, 단계 701 이후, 상기 방법은 또한,
개선된 인트라 프레임 예측 모드를 채택하여, 얻은 처리될 블록의 타깃 예측 블록에 대해 인트라 프레임 예측을 수행하고, 예측하여 얻은 결과를 상기 처리될 블록의 타깃 예측 블록으로 사용하는 단계를 포함할 수 있다.
예시적 실시예에 있어서, 결정된 모든 가능한 가중 매트릭스에서 각 가중 매트릭스의 모든 포인트의 가중이 모두 같은 것은 아니다. 즉, 모든 가능한 가중 매트릭스에는, 적어도 2 개의 상이한 가중치가 포함되는 적어도 하나의 가능한 가중 매트릭스가 존재한다.
예시적 실시예에 있어서, 모든 가능한 가중 매트릭스에는 모두 적어도 2 개의 상이한 가중치가 포함된다.
예시적 실시예에 있어서, 모든 가능한 가중 매트릭스에는, 적어도 2 개의 상이한 가중치를 포함하는 적어도 하나의 가중 매트릭스가 존재하고, 또한 동일한 가중치만 포함하는 적어도 하나의 가중 매트릭스가 존재한다. 예를 들어, 최소 가중치가 0이면, 최대 가중치는 8이고, 예를 들어, 하나의 가중 매트릭스에서 일부 포인트의 가중치가 0이면, 일부 포인트의 가중치는 8이고; 하나의 가중 매트릭스에서 모든 포인트가 모두 4이면, 하나의 가중치만 포함하는 가중 매트릭스의 값은 최소 가중치보다 크고 최대 가중치보다 작은 임의의 값일 수 있다.
예시적 실시예에 있어서, 적어도 2 개의 상이한 가중치를 포함하는 특정 하나 또는 특정 일부의 가중 매트릭스의 경우, 최소 가중치와 최대 가중치에 따라, 처리될 블록에서의 각 포인트가 모두 2 개의 인트라 프레임 예측 모드에 의해 도출된 예측값을 가중화하여 얻은 것이도록 한다. 예를 들어, 가중은 8 개의 값이 설정되고, 0~8이다. 두 가지 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 예로 들면, 0은 이 포인트가 완전히 하나의 인트라 프레임 예측 모드로 도출한 예측값에 의해 얻어진 것을 나타내고, 8은 이 포인트가 완전히 다른 하나의 인트라 프레임 예측 모드로 도출한 예측값에 의해 얻어진 것을 나타낸다. 최소 가중치를 1로 설정하고, 최대 가중치를 7로 설정하는 것으로 가정하면, 이러한 가중 매트릭스의 모든 포인트는 모두 2 개의 인트라 프레임 예측 모드로 도출한 예측값을 가중화해야 얻는다. 그러나, 모든 포인트의 가중이 모두 동일한 것은 아니다.
예시적 실시예에 있어서, 두 가지 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 예로 들면, 모든 가능한 가중 매트릭스에는, 두 가지 가중치만 포함하는 단 하나의 가중 매트릭스가 존재하고, 그 중 하나의 가중치는 대응되는 포인트의 예측값이 완전히 제1 예측 블록에 대응되는 포인트의 값으로부터 온 것을 나타내고, 다른 하나의 가중치는 대응되는 포인트의 예측값이 완전히 제2 예측 블록에 대응되는 포인트의 값으로부터 온 것을 나타낸다. 예를 들어, 이 2 가지 가중치는 각각 0과 1이다.
예시적 실시예에 있어서, 두 가지 상이한 인트라 프레임 예측 모드를 채택하여 디코딩될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 예로 들면, 모든 가능한 가중 매트릭스에서, 하나의 가중 매트릭스에는 여러 가지 가중치가 포함될 수 있고, 여기서, 가중치에서의 최대치와 가중치에서의 최소치(예를 들어, 0)는 각각, 대응되는 포인트의 예측값이 완전히 제1 예측 블록에 대응되는 포인트의 값과 제2 예측 블록에 대응되는 포인트의 값으로부터 온 것을 나타내고, 비가중치에서의 최대치 또는 비가중치에서의 최소치의 가중치는 대응되는 포인트의 예측값이 제1 예측 블록과 제2 예측 블록에 대응되는 포인트의 값의 가중 평균으로부터 온 것을 나타낸다. 여기서, 최대치, 최소치 이외의 가중치로 구성된 영역은 블렌딩 영역(blending area)으로 지칭될 수 있다.
예시적 실시예에 있어서, 도 9(a)에 도시된 바와 같이, 모든 가능한 가중 매트릭스에서, 가중 매트릭스가 2 가지 가중치만 포함하는 경우, 가중치 변화의 위치는 하나의 직선을 나타내고; 가중 매트릭스가 여러 가지 가중치를 포함하는 경우, 블렌딩 영역의 가중치의 동일한 위치는 하나의 직선을 나타낸다. 실시예에 있어서, 상기 직선은 전부 수평 수직인 것이고, 또는, 상기 직선이 전부 수평 수직인 것은 아니다.
예시적 실시예에 있어서, 도 9(b)에 도시된 바와 같이, 모든 가능한 가중 매트릭스에서, 가중 매트릭스가 2 가지 가중치만 포함하는 경우, 가중치 변화의 위치는 하나의 커브 라인을 형성하고; 가중 매트릭스가 여러 가지 가중을 포함하는 경우, 블렌딩 영역 중 가중치가 동일한 위치는 하나의 커브 라인을 나타낸다.
본 출원의 실시예에서 제공하는 다양한 가중 매트릭스는, 더욱 다양한 예측 블록을 예측하기 위한 보장을 제공하며, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법이 더 많은 시나리오에 적용될 수 있도록 한다.
실시예에 있어서, AVS3 중 인터 프레임 예측에서 AWP 모드를 사용하는 것을 예로 들면, AWP의 가중 매트릭스는 56 가지를 포함하고; 본 출원의 실시예에서, 인트라 프레임 예측에서 64 가지 가중 매트릭스를 사용하며, 여기서, 56 가지는 AWP의 가중 매트릭스와 동일하며, 예를 들어, 이전의 56 가지와 AWP의 가중 매트릭스는 동일하고, 나머지 8 가지의 가중 매트릭스는, 각 가중 매트릭스가 모두 한 가지 가중치만 포함하며, 상기 가중치는 각각 1, 2, ......, 7, 8이다. 상기 8 가지 가중 매트릭스의, 총 가중치는 16이며, 즉, 가중치가 1이면 1≥15 가중을 나타내고, 가중치가 2이면 2≥14 가중을 나타낸다. 이로써, 64 가지 가중 매트릭스의 모드 넘버에 대해 이진화를 수행할 때, 모두 6 개 비트의 코드 워드를 사용할 수 있다. 또 하나의 가능성에 있어서, 총 가중치가 8이면, 8이 최대 가중치이고, 즉, 가중치가 1이면 1:7 가중을 나타내고, 가중치가 2이면 2:6 가중을 나타낸다,
인터 프레임 예측이 시간 도메인에서의 연관성을 이용하였으므로, 참조 프레임 중 이미 재구축된 이미지를 사용하여 참조 블록으로 사용한다. 인트라 프레임 예측은 공간 도메인에서의 연관성을 이용하며, 처리될 블록 주변의 이미 재구축된 픽셀을 사용하여 참조 픽셀로 사용한다. 공간 도메인에서 거리가 가까울수록 연관성이 더 강하고, 거리가 멀수록 연관성이 더 약하다. 따라서, 특정 타입의 가중 매트릭스가 하나의 예측 블록이 사용하는 얻은 픽셀 위치가 모두 참조 픽셀과 거리가 멀도록 하면, 인트라 프레임 예측의 효과를 보장하기 위해, 본 출원의 실시예에서는 이러한 가중 매트릭스를 사용하지 않을 수 있다.
예시적 실시예에 있어서, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법에서, 블록(예를 들어, 처리될 블록)의 크기는 아래와 같은 것을 포함할 수 있지만 이에 한정되지 않는다.
블록의 너비는 제1 임계값 TH1보다 크거나 같고, 블록의 높이는 제2 임계값 TH2보다 크거나 같으며, 제1 임계값 TH1과 제2 임계값 TH2의 값은 8, 16, 32, 64, 128 등일 수 있고, 제1 임계값 TH1은 제2 임계값 TH2과 같을 수 있고, 예를 들어, 제1 임계값 TH1 = 제2 임계값 TH2 =8이며; 또는, 블록의 픽셀 수는 제3 임계값 TH3보다 크거나 같고, 제3 임계값 TH3의 값은 8, 16, 32, 64, 128 등일 수 있으며;
또는, 블록의 너비는 제4 임계값 TH4보다 작거나 같고, 블록의 높이는 제5 임계값 TH5보다 작거나 같으며, 제4 임계값 TH4와 제5 임계값 TH5의 값은 8, 16, 32, 64, 128 등일 수 있고, 제4 임계값 TH4은 제5 임계값 TH5과 같을 수 있으며; 또는, 블록의 픽셀 수가 제6 임계값 TH6보다 작거나 같은 경우, 제6 임계값 TH6의 값은 8, 16, 32, 64, 128 등일 수 있다.
블록의 크기에 대한 한정을 통해, 복수 개의 예측 모드를 채택하여 예측을 수행하는 것에 의해 초래되는 복잡도가 전체 시스템에 대한 영향을 줄이고, 특정 일부 크기에 적용되지 않는 블록을 한정하는 것을 통해, 압축 성능과 복잡도에 대한 트레이드 오프를 효과적으로 구현함으로써, 본 출원의 적용성을 더욱 잘 보장한다,
예시적 실시예에 있어서, 기술의 발전에 따라, 블록의 구획은 더 유연해진다. 정사각형의 블록 이외에, 구획 방법은 또한, 종횡비가 예를 들어, 1：2, 1：4, 1：8, 2：1, 4：1, 8：1 등 형태인 블록을 지원할 수 있다. 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법에서, 본 출원의 발명인은, 특정 일부 종횡비의 블록, 또는 특정 일부 크기의 종횡비의 블록, 예를 들어 1：4 또는 4：1인 블록 및 1：8 또는 8：1인 블록, 또는 8Х32, 8Х64, 32Х8, 64Х8 등인 블록이 가져다주는 압축 성능이 너무 좋지 않거나 명확하지 않은 것을 발견하였으므로, 본 출원의 실시예에 있어서, 블록의 종횡비를 설정하는 것을 통해 블록의 크기를 설정할 수 있으며, 예를 들어, 너비와 높이의 비율값은 기설정된 비율값 임계값 THR보다 작거나 같고, 너비와 높이의 비율값은 상기 비율값 임계값 THR보다 작거나 같다.
예시적 실시예에 있어서, 블록의 크기 및 블록의 종횡비의 설정은 동시에 사용될 수 있다. 예를 들어, 블록의 크기가 아래와 같은 조건, 즉 블록의 높이가 8보다 크거나 같고, 블록의 너비가 8보다 크거나 같으며, 블록의 너비와 블록의 높이의 비율값이 4보다 작거나 같으며, 블록의 높이와 블록의 너비의 비율값이 4보다 작거나 같은 것을 만족할 때, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법을 사용할 수 있고, 그렇지 않은 경우, 디폴트로 본 출원의 실시예에서의 인트라 프레임 예측 방법을 사용하지 않는다.
예시적 실시예에 있어서, 인코더 엔드에 있어서, 본 출원의 단계 700 전, 상기 방법은 또한,
프레임 레벨의 플래그를 설정하는 단계를 포함할 수 있고, 상기 프레임 레벨의 플래그는 현재 처리될 프레임이 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하는지 여부를 나타내기 위한 것이며, 즉, 단계 700을 계속 실행하는지 여부를 나타내고, 또한 상기 플래그를 신텍스에 따라 비트 스트림에 기입하여, 디코더 엔드에서 상기 플래그에 따라 인트라 프레임 예측 방법을 실행하도록 한다.
하나의 실시예에 있어서, 인트라 픽쳐(예를 들어, I 픽쳐)에 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하고, 인터 픽쳐(예를 들어, B 픽쳐, P 픽쳐)에 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하지 않으면, 플래그가 현재 처리될 프레임이 인트라 픽쳐인 것을 디스플레이할 때, 디코딩 엔드가 단계 700을 계속 실행하는 것을 나타내고; 플래그가 현재 처리될 프레임을 인터 픽쳐인 것을 디스플레이할 때, 디코딩 엔드는 본 출원의 플로우를 따르지 않고, 관련 기술을 채택하여 인트라 프레임 예측을 수행할 수 있는 것을 나타낸다.
또 예를 들어, 인트라 픽쳐(예를 들어, I 픽쳐)에 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하지 않고, 인터 픽쳐(예를 들어, B 픽쳐, P 픽쳐)에 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하면, 플래그가 현재 처리될 프레임이 인트라 픽쳐인 것을 디스플레이할 때, 디코딩 엔드는 본 출원의 플로우를 따르지 않고, 관련 기술을 채택하여 인트라 프레임 예측을 수행할 수 있는 것을 나타내고; 플래그가 현재 처리될 프레임이 인터 픽쳐인 것을 디스플레이할 때, 디코딩 엔드가 단계 700을 계속 실행하는 것을 나타낸다.
또 예를 들어, 특정 일부 인터 픽쳐에 본 발명을 사용하고, 다른 일부 인터 픽쳐에 본 발명을 사용하지 않으면, 플래그가 현재 처리될 프레임이 특정 일부 인터 픽쳐인 것을 디스플레이할 때, 디코딩 엔드가 단계 600을 계속 실행하는 것을 나타내고; 플래그가 현재 처리될 프레임이 다른 일부 인터 픽쳐인 것을 디스플레이할 때, 디코딩 엔드는 본 출원의 플로우를 따르지 않고, 관련 기술을 채택하여 인트라 프레임 예측을 수행할 수 있는 것을 나타낸다.
상응하게, 디코더 엔드에 있어서, 상기 도 7에 도시된 인트라 프레임 예측 방법의 단계 700 전 상기 방법은 또한, 신텍스에 따라 비트 스트림을 파싱하여, 플래그를 획득하는 단계를 포함할 수 있다.
예를 들어, 인트라 픽쳐(예를 들어, I 픽쳐)에 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하고, 인터 픽쳐(예를 들어, B 픽쳐, P 픽쳐)에 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하지 않으면, 디코딩하여 획득된 플래그가 현재 처리될 프레임이 인트라 픽쳐인 것을 디스플레이할 때, 단계 700을 계속 실행하고; 디코딩하여 획득된 플래그가 현재 처리될 프레임이 인터 픽쳐인 것을 디스플레이할 때, 본 출원의 플로우를 따르지 않고, 관련 기술을 채택하여 인트라 프레임 예측을 수행할 수 있다.
또 예를 들어, 인트라 픽쳐(예를 들어, I 픽쳐)에 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하지 않고, 인터 픽쳐(예를 들어, B 픽쳐, P 픽쳐)에 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하면, 디코딩하여 획득된 플래그가 현재 처리될 프레임이 인트라 픽쳐인 것을 디스플레이할 때, 본 출원의 플로우를 따르지 않고, 관련 기술을 채택하여 인트라 프레임 예측을 수행할 수 있는 것을 나타내고; 디코딩하여 획득된 플래그가 현재 처리될 프레임이 인터 픽쳐인 것을 디스플레이할 때, 단계 700을 계속 실행하는 것을 나타낸다.
또 예를 들어, 특정 일부 인터 픽쳐에 본 발명을 사용하고, 다른 일부 인터 픽쳐에 본 발명을 사용하지 않으면, 디코딩하여 획득된 플래그가 현재 처리될 프레임이 특정 일부 인터 픽쳐인 것을 디스플레이할 때, 단계 700을 계속 실행하는 것을 나타내고; 디코딩하여 획득된 플래그가 현재 처리될 프레임이 다른 일부 인터 픽쳐인 것을 디스플레이할 때, 본 출원의 플로우를 따르지 않고, 관련 기술을 채택하여 인트라 프레임 예측을 수행할 수 있는 것을 나타낸다.
예시적 실시예에 있어서, 인코더 엔드에 있어서, 본 출원의 단계 700 전, 상기 방법은 또한,
프레임 레벨 이하, CU 레벨 이상(예를 들어, tile, slice, patch, LCU 등)인 플래그를 설정하는 단계를 포함할 수 있고, 상기 플래그는 지시하는 영역에 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하는지 여부를 나타내기 위한 것이고, 플래그를 신텍스에 따라 비트 스트림에 기입하여, 디코더 엔드에 상기 플래그에 따라 상응하는 인트라 프레임 예측 방법을 실행하도록 지시한다.
본 출원의 실시예에서의 상이한 레벨의 플래그의 설정을 통해, 일 측면으로, 상이한 응용 시나리오, 비디오 내용에 따라 최적화 구성을 설정하는 것을 유연하게 구현하고; 다른 일 측면으로, 추가적으로 코드 레이트를 절약하는 효과를 달성한다. 예를 들어, 하나의 LCU에 복수 개의 CU가 포함되고, 이러한 CU가 모두 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법을 사용하지 않았으면, LCU 레벨의 하나의 플래그를 상기 LCU 내의 모든 CU가 모두 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법을 모두 사용하지 않는 것을 나타내도록 설정하면 되고, 즉, 각 CU에 독립적으로 플래그를 설정할 필요가 없으며, 즉, 하나의 플래그의 설정이 N 개의 플래그의 설정을 대체한다.
상응하게, 디코더 엔드에 있어서, 단계 700 이전, 상기 방법은 또한, 신텍스에 따라 비트 스트림을 파싱하여, 플래그를 획득하는 단계를 포함할 수 있다.
예시적 실시예에 있어서, 인코더 엔드에 있어서, 본 출원의 단계 700 전, 상기 방법은 또한,
인트라 프레임 예측 과정에서 인트라 프레임 예측 모드를 더욱 잘 결정하도록, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법과 상호 배타적인 개선된 예측 모드를 설정하는 단계를 포함할 수 있다.
디코더 엔드에 있어서, 비트 스트림을 파싱하는 것을 통해 설정된 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법과 상호 배타적인 개선된 예측 모드를 획득한다. 처리될 블록에 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하는 것으로 결정하면, 상호 배타적인 개선된 예측 모드를 사용하지 않고; 또는, 처리될 블록에 상호 배타적인 개선된 예측 모드를 사용하는 것으로 결정하면, 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하지 않는다. 상호 배타적인 개선된 예측 모드에 대한 설정을 통해, 비트 스트림에서 상기 상호 배타적인 개선된 예측 모드를 사용하는지 여부를 나타내는 플래그를 전송할 필요가 없으므로, 불필요한 플래그가 비트 스트림에서의 전송을 절약하며, 전반적으로 더 좋은 압축 성능을 획득한다.
예시적 실시예에 있어서, 상호 배타적인 개선된 예측 모드는, IPF, DT 등을 포함할 수 있다.
상호 배타적인 개선된 예측 모드가 파생 트리(Derived Tree, DT)인 것을 예로 들면, DT는 AVS3에서의 기술이고, DT는 현재 CU를 직사각형의 PU로 구획할 수 있고, 상응하게 더 작은 TU로 구획해야 하며, 본 출원의 실시예에서 DT와 적층되어 사용되는 경우, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법은 DT 구획의 특정 하나의 또는 특정 개수의 PU에서 사용될 수 있지만, 복잡도를 증가시킬 수 있다. 상호 배타적인 개선된 예측 모드가 인트라 프레임 개선 예측(Improved Intra Prediction, IIP)인 것을 예로 들면, IIP는 AVS3에서의 기술이고, IIP는 더 복잡한 필터로 예측값을 획득할 수 있다.
본 출원의 발명인은 본 출원의 실시예에서 제공하는 인트라 프레임 예측에 대한 테스트 과정에서, IIP, DT 또는 IPF를 사용할 때, 인트라 프레임 예측의 계산량 또는 복잡도가 증가되는 것을 발견하였으므로, 본 실시예를 통해 이러한 개선된 예측 모드와 본 출원의 인트라 프레임 예측의 상호 배타적인 관계를 설정하여, 성능과 복잡도의 관계를 더 잘 트레이드 오프함으로써, 본 출원의 적용성을 더 잘 보장한다.
본 출원의 인트라 프레임 예측 방법과 IPF를 예로 들어, 상호 배타적인 경우에 대한 처리를 설명한다.
예시적 실시예에 있어서, 본 출원의 인트라 프레임 예측 방법과 IPF가 상호 배타적인 것으로 가정하고, 또한 본 출원의 실시예에서 현재 처리될 프레임이 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하는지 여부를 나타내기 위한 플래그를 먼저 디코딩하고, 다음, IPF의 플래그를 디코딩하는 것을 예로 들면, 도 10에 도시된 바와 같이, 과정은 대체적으로 아래와 같다.
현재 블록이 본 출원의 인트라 프레임 예측 방법을 사용하면, IPF의 플래그를 디코딩할 필요가 없고, 즉, 비트 스트림에서 IPF의 플래그를 다시 전송할 필요가 없다. 현재 블록이 본 출원의 인트라 프레임 예측 방법을 사용하지 않으면, IPF의 플래그를 추가로 디코딩하여 IPF를 사용해야 되는지 여부를 판단하고, 현재 블록이 IPF를 사용하면, 현재 블록이 다른 인트라 프레임 예측 방법을 사용하며 IPF를 적층하여 예측을 수행하고, 현재 블록이 IPF를 사용하지 않으면, 현재 블록은 다른 인트라 프레임 예측 방법을 사용한다.
예시적 실시예에 있어서, 본 출원의 인트라 프레임 예측 방법과 IPF가 상호 배타적이지 않는 것으로 가정하고, 또한 본 출원의 실시예에서 현재 처리될 프레임이 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하는지 여부를 나타내기 위한 플래그를 먼저 디코딩하고, 다음, IPF의 플래그를 디코딩하는 것을 예로 들면, 도 11에 도시된 바와 같이, 과정은 대체적으로 아래와 같다.
본 출원의 인트라 프레임 예측 방법을 사용하는지 여부를 막론하고, 모두 IPF의 플래그를 디코딩해야 한다. 또한, 본 출원의 인트라 프레임 예측 방법과 IPF를 모두 사용하면, 현재 블록은 본 출원의 인트라 프레임 예측 방법을 사용하며 IPF를 적층하여 예측을 수행한다.
설명해야 할 것은, 도 10과 도 11에 도시된 실시예는, 다만 본 출원의 인트라 프레임 예측 방법이 하나의 기술과 상호 배타적인지 여부를 예로 들고, 본 출원의 인트라 프레임 예측 방법과 이러한 기술이 또한 다른 기술과 상호 배타적인 관계가 존재하면, 플로우는 더 복잡하지만, 원리는 같으며, 본 출원의 도 10과 도 11에 도시된 실시예의 기초 위에, 본 분야의 기술자는 더욱 쉽게 이해할 수 있으므로, 여기서 더 이상 반복 설명하지 않는다.
예시적 실시예에 있어서, 본 출원의 실시예는 또한, 인트라 프레임 예측에서 사용되는 인트라 프레임 예측 모드 정보를 저장하여, 인접 블록이 코딩 및 디코딩의 과정에서 사용되는 것을 포함할 수 있고, 예를 들어, MPM 모드에서, 인접 블록의 인트라 프레임 예측 모드를 참조해야 한다. 즉, 현재 프레임의 향후 코딩 및 디코딩되는 블록은 인접된 위치 관계에 따라 인접 블록의 인트라 프레임 예측 모드와 같은 앞에서 이미 코딩 및 디코딩된 블록을 사용할 수 있다. 색도 블록(코딩 유닛)은 위치에 따라 앞에서 이미 코딩 및 디코딩된 휘도 블록(코딩 유닛)의 인트라 프레임 예측 모드를 사용할 수 있다. 여기서 저장된 이러한 정보는 향후 코딩 및 디코딩되는 블록을 위해 참조로 사용되는 것이고, 동일한 하나의 블록(코딩 유닛)에서의 코딩 모드 정보는 직접 획득될 수 있지만, 상이한 블록(코딩 유닛)에서의 코딩 모드 정보는 직접 획득되지 않을 수 있으므로, 인트라 프레임 예측에서 사용되는 인트라 프레임 예측 모드 정보를 저장해야 한다. 이로써, 향후 코딩 및 디코딩된 블록은 위치에 따라 이러한 정보를 판독할 수 있다.
예시적 실시예에 있어서, 두 가지 상이한 인트라 프레임 예측 모드를 채택하여 디코딩될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 예로 들어, 인트라 프레임 예측에서 사용되는 인트라 프레임 예측 모드를 저장하는 단계는,
두 가지 상이한 인트라 프레임 예측 모드에서의 하나의 인트라 프레임 예측 모드를 저장하는 적어도 하나의 최소 유닛이 존재하고, 두 가지 상이한 인트라 프레임 예측 모드에서의 다른 하나의 인트라 프레임 예측 모드를 저장하는 적어도 하나의 최소 유닛이 존재하며, 즉, 저장한 인트라 프레임 예측 모드가 상이한 적어도 두 개의 최소 유닛이 존재하는 것을 포함한다. 최소 유닛은 기설정된 하나의 고정된 크기의 매트릭스(예를 들어, 4Х4인 매트릭스 등)일 수 있다. 각 최소 유닛은 독립적으로 하나의 인트라 프레임 예측 모드를 저장한다. 이로써, 하나의 블록을 코딩 및 디코딩할때마다, 그 위치에 대응되는 최소 유닛은 이 블록의 인트라 프레임 예측 모드를 저장할 수 있다.
예를 들어, 도 12에 도시된 바와 같이, 하나의 16Х16인 현재 블록의 휘도 예측이 인트라 프레임 예측 모드 5를 사용하면, 이 블록에 대응되는 모든 4Х4 개의 최소 유닛의 인트라 프레임 예측 모드는 모두 5를 저장한다. YUV 포맷을 예로 들면, 일반적으로 휘도의 인트라 프레임 예측 모드를 저장하고, 휘도 컴퍼넌트를 포함할 뿐만 아니라 색도 컴퍼넌트의 블록의 휘도의 인트라 프레임 예측 모드를 포함하며, 또한 휘도 컴퍼넌트의 블록의 휘도 인트라 프레임 예측 모드만 포함할 수 있다.
또 예를 들어, AVS3에서 본 출원의 실시예는 AWP가 2 개의 상이한 움직임 정보를 저장하는 것과 유사한 논리로 2 개의 상이한 인트라 프레임 예측 모드를 저장하는 방법을 사용할 수 있다. 즉, 하나의 최소 유닛에 대응되는 위치에서 두 가지 인트라 프레임 예측 모드에서의 하나의 인트라 프레임 예측 모드에 의해 결정된 예측 블록만 사용하였으면, 이 최소 유닛은 이러한 인트라 프레임 예측 모드를 저장하고; 하나의 최소 유닛에 대응되는 위치에서 두 가지 인트라 프레임 예측 모드에서의 다른 하나의 인트라 프레임 예측 모드에 의해 결정된 예측 블록을 사용하였으면, 이 최소 유닛은 상기 다른 하나의 인트라 프레임 예측 모드를 저장하며; 하나의 최소 유닛에 대응되는 위치에서 첫 번째 타입의 인트라 프레임 예측 모드에 의해 결정된 예측 블록을 사용할 뿐만 아니라, 또한, 두 번째 인트라 프레임 예측 모드에 의해 결정된 예측 블록을 사용하였으면, 기설정된 판단 방법에 따라 그 중의 하나를 선택하여 저장할 수 있다. 예를 들어, 최소 유닛이 4Х4인 것에 대해, 특정 하나의 포인트를 선택하고, 예를 들어 (2, 2)인 포인트의 경우, 이 포인트에서 첫 번째 타입의 인트라 프레임 예측 모드의 가중이 두 번째 타입의 인트라 프레임 예측 모드의 가중보다 크거나 같으면, 첫 번째 타입의 인트라 프레임 예측 모드를 저장하고, 그렇지 않은 경우 두 번째 타입의 인트라 프레임 예측 모드를 저장하고; 또 예를 들어, 최소 유닛의 블록 내의 모든 포인트의 첫 번째 타입의 인트라 프레임 예측 모드의 가중과 첫 번째 타입의 인트라 프레임 예측 모드의 가중의 합을 구하고, 첫 번째 타입의 인트라 프레임 예측 모드의 가중의 합이 두 번째 타입의 인트라 프레임 예측 모드의 가중보다 크거나 같으면, 첫 번째 타입의 인트라 프레임 예측 모드를 저장하고, 그렇지 않은 경우 두 번째 타입의 인트라 프레임 예측 모드를 저장한다. 본 출원의 실시예에서는 GPM 또는 AWP의 관련 정보의 저장 방법을 사용한다. 이로써, 동일한 논리의 일부는 재사용된다.
예시적 실시예에 있어서, 두 가지 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 예로 들어, 인트라 프레임 예측에서 사용되는 인트라 프레임 예측 모드를 저장하는 단계는,
전체 처리될 블록에 대응되는 모든 최소 유닛에 대해 동일한 하나의 인트라 프레임 예측 모드를 모두 선택하여 저장을 수행하는 단계를 포함한다. 이로써 복잡성을 낮출 수 있다.
예시적 실시예에 있어서, 전체 처리될 블록에 대응되는 모든 최소 유닛에 대해 동일한 하나의 인트라 프레임 예측 모드를 모두 선택하여 저장을 수행하는 단계는,
비트 스트림을 파싱하여 얻은 가중 매트릭스 도출 모드에 따라 처리될 블록의 모든 최소 유닛은 두 가지 인트라 프레임 예측 모드에서의 하나의 인트라 프레임 예측 모드를 모두 저장할 것인지 또는 두 가지 인트라 프레임 예측 모드에서의 다른 하나의 인트라 프레임 예측 모드를 모두 저장할 것인지를 결정하는 단계를 포함할 수 있다. 예를 들어, 모든 가중 매트릭스 도출 모드는 첫 번째 타입의 인트라 프레임 예측 모드를 전부 선택하고; 또 예를 들어, 모든 가중 매트릭스 도출 모드는 두 번째 타입의 인트라 프레임 예측 모드를 전부 선택하며; 또 예를 들어, 특정 일부 가중 매트릭스 도출 모드의 모든 최소 유닛은 첫 번째 타입의 인트라 프레임 예측 모드를 모두 선택하고, 다른 일부 가중 매트릭스 도출 모드의 모든 최소 유닛은 두 번째 타입의 인트라 프레임 예측 모드를 모두 선택한다.
여기서, 가중 매트릭스 도출 모드는 가중 매트릭스를 도출하는 모드이다. 너비와 높이가 주어진 하나의 블록에 있어서, 각 가중 매트릭스 도출 모드는 하나의 가중 매트릭스를 도출할 수 있고, 상이한 가중 매트릭스 도출 모드가 동일한 크기의 블록에 대해 도출한 가중 매트릭스는 상이하다. 예를 들어, AVS3의 AWP는 56 가지 가중 매트릭스 도출 모드를 가지고, VVC의 GPM은 64 가지 가중 매트릭스 도출 모드를 가지는 것 등이다.
예시적 실시예에 있어서, 전체 처리될 블록에 대응되는 모든 최소 유닛에 대해 동일한 하나의 인트라 프레임 예측 모드를 모두 선택하여 저장을 수행하는 단계는,
비트 스트림을 파싱하여 얻은 가중 매트릭스의 도출 모드의 모드 넘버에 따라, 처리될 블록의 모든 최소 유닛이 두 가지 인트라 프레임 예측 모드에서의 한 가지 인트라 프레임 예측 모드를 모두 저장할 것인지, 두 가지 인트라 프레임 예측 모드에서의 다른 하나의 인트라 프레임 예측 모드를 모두 저장할 것인지를 결정하는 단계를 포함할 수 있다. 실시예에 있어서, 가중 매트릭스 도출 모드의 모드 넘버에 따라 표를 검색하여 처리될 블록의 모든 최소 유닛이 첫 번째 타입의 인트라 프레임 예측 모드를 모두 저장한 것인지 또는 두 번째 타입의 인트라 프레임 예측 모드를 모두 저장한 것인지를 얻을 수 있다. 여기서 본 출원의 실시예에서 AWP와 동일한 가중 매트릭스의 도출 모드를 사용한 것을 예로 들면, 표 1에 도시된 바와 같이, 표 1에서 모드 넘버가 0인 매트릭스 도출 모드에 대응되는 모든 최소 유닛은 첫 번째 인트라 프레임 예측 모드를 선택하여 저장할 수 있고, 표 1에서 모드 넘버가 1인 매트릭스 도출 모드에 대응되는 모든 최소 유닛은 두 번째 타입의 인트라 프레임 예측 모드를 선택하여 저장할 수 있다.
| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 |
| 1 | 0 | 0 | 1 | 1 | 1 | 0 | 1 |
| 1 | 1 | 0 | 1 | 1 | 1 | 0 | 1 |
하나의 실시예에 있어서, 코딩 방법을 제공하고, 상기 방법은,
타깃 이미지 프레임을 획득하고, 타깃 이미지 프레임에 대해 블록 구획을 수행하여, 처리될 블록을 얻는 단계;
두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하는 단계; 가중 매트릭스와 얻은 두 가지 이상의 예측 블록에 따라 처리될 블록의 타깃 예측 블록을 얻는 단계; 및
상기 처리될 블록과 상기 타깃 예측 블록에 기반하여 코딩을 수행하여, 비트 스트림을 생성하는 단계를 포함한다.
다른 실시예에 있어서, 디코딩 방법을 제공하고,
비트 스트림을 파싱하여, 처리될 블록과 가중 매트릭스를 획득하는 단계;
두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하는 단계; 및
가중 매트릭스와 얻은 두 가지 이상의 예측 블록에 따라 처리될 블록의 타깃 예측 블록을 얻는 단계; 및
상기 타깃 예측 블록과 상기 처리될 블록에 따라 디코딩을 수행하여, 상기 처리될 블록과 대응되는 재구축 블록을 획득하는 단계를 포함한다.
본 출원의 실시예는 컴퓨터 실행 가능한 명령어가 저장된 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 실행 가능 명령어는 상기 디코더 엔드에 적용되는 전술한 인트라 프레임 예측 방법 또는 디코딩 방법을 실행하기 위한 것이다.
본 출원의 실시예는 컴퓨터 실행 가능한 명령어가 저장된 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 실행 가능 명령어는 상기 인코더 엔드에 적용되는 전술한 인트라 프레임 예측 방법 또는 코딩 방법을 실행하기 위한 것이다.
본 출원의 실시예는 디코더를 제공하고, 메모리와 프로세서를 포함하며, 여기서, 메모리에는 프로세서에 의해 실행 가능한, 상기 디코더 엔드에 적용되는 전술한 인트라 프레임 예측 방법 또는 디코딩 방법의 단계를 실행하기 위한 명령어가 저장된다.
본 출원의 실시예는 인코더를 제공하고, 메모리와 프로세서를 포함하며, 여기서, 메모리에는 프로세서에 의해 실행 가능한, 상기 인코더 엔드에 적용되는 전술한 인트라 프레임 예측 방법 또는 코딩 방법의 단계를 실행하기 위한 명령어가 저장된다.
도 13은 본 출원의 인트라 프레임 예측 장치의 구성 구조 예시도이고, 도 13에 도시된 바와 같이, 적어도 예측 모듈, 콤비네이션 모듈을 포함하며; 여기서,
예측 모듈은, 두 가지 이상의 상이한 인트라 프레임 예측 모드로 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하도록 설정되며;
콤비네이션 모듈은, 가중 매트릭스와 얻은 두 가지 이상의 예측 블록에 따라 처리될 블록의 타깃 예측 블록을 얻도록 설정된다.
본 출원의 실시예에서 제공하는 인트라 프레임 예측 장치는 인코더에 설정될 수 있고, 디코더에 설정될 수도 있다.
본 출원의 실시예에서 제공하는 인트라 프레임 예측 장치는 디코더에 설정되고, 디코딩 모듈을 더 포함하며;
디코딩 모듈은, 수신된 비트 스트림에 대해 디코딩을 수행하여, 두 가지 이상의 상이한 인트라 프레임 예측 모드, 처리될 블록 및 가중 매트릭스를 획득하도록 설정된다.
본 출원의 실시예에서 제공하는 인트라 프레임 예측 장치는 인코더에 설정되고, 처리 모듈을 더 포함하며;
처리 모듈은, 전부 또는 일부의 가능한 예측 모드와 가중 매트릭스 도출 모드의 콤비네이션을 시도하고, 손실 비용을 계산하며, 손실 비용이 작은 콤비네이션을 선택하고; 콤비네이션에서의 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스를 인트라 프레임 예측을 수행하기 위한 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스로 사용하며; 결정된 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스 도출 모드등 정보를, 신텍스에 따라 비트 스트림에 기입하도록 설정된다.
예시적 실시예에 있어서, 두 가지 이상의 상이한 인트라 프레임 예측 모드에는 적어도 하나의 기본 인트라 프레임 예측 모드가 포함된다.
예시적 실시예에 있어서, 두 가지 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 예로 들면, 두 가지 상이한 인트라 프레임 예측 모드는 모두 기본 인트라 프레임 예측 모드이다.
예시적 실시예에 있어서, 채택된 기본 인트라 프레임 예측 모드에 있어서, 추가적으로 개선된 인트라 프레임 예측 모드와 콤비네이션을 수행하여 처리될 블록에 대해 예측을 수행할 수 있다.
예시적 실시예에 있어서, 두 가지 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 예로 들면, 두 가지 상이한 인트라 프레임 예측 모드는, 하나의 기본 인트라 프레임 예측 모드와 하나의 개선된 인트라 프레임 예측 모드를 포함한다.
본 출원의 실시예에 있어서, 처리될 블록의 예측에 대해 적어도 두 가지 상이한 인트라 프레임 예측 모드를 채택함으로써, 다각도로 처리될 블록에 대해 예측을 수행할 수 있으므로, 복잡한 텍스쳐의 예측을 처리하는데 적합하고, 인트라 프레임 예측의 품질을 향상시키는데 유리하다.
예시적 실시예에 있어서, 모든 가능한 가중 매트릭스에서 각 가중 매트릭스의 모든 포인트의 가중이 모두 같은 것은 아니다. 즉, 모든 가능한 가중 매트릭스에는, 적어도 2 개의 상이한 가중치가 포함되는 적어도 하나의 가능한 가중 매트릭스가 존재한다.
예시적 실시예에 있어서, 모든 가능한 가중 매트릭스에는 적어도 2 개의 상이한 가중치가 모두 포함된다.
예시적 실시예에 있어서, 모든 가능한 가중 매트릭스에는, 적어도 2 개의 상이한 가중치를 포함하는 적어도 하나의 가중 매트릭스가 존재하고, 동일한 가중치만 포함하는 적어도 하나의 가중 매트릭스가 존재한다.
예시적 실시예에 있어서, 두 가지 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 예로 들면, 모든 가능한 가중 매트릭스에는, 두 가지 가중치만 포함하는 단 하나의 가중 매트릭스가 존재하고, 그 중 하나의 가중치는 대응되는 포인트의 예측값이 완전히 제1 예측 블록에 대응되는 포인트의 값으로부터 온 것을 나타내고, 다른 하나의 가중치는 대응되는 포인트의 예측값이 완전히 제2 예측 블록에 대응되는 포인트의 값으로부터 온 것을 나타낸다.
예시적 실시예에 있어서, 두 가지 상이한 인트라 프레임 예측 모드를 채택하여 디코딩될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 예로 들면, 모든 가능한 가중 매트릭스에서, 하나의 가중 매트릭스에는 여러 가지 가중치가 포함될 수 있고, 여기서, 가중치에서의 최대치와 가중치에서의 최소치(예를 들어, 0)는 각각, 대응되는 포인트의 예측값이 완전히 제1 예측 블록에 대응되는 포인트의 값과 제2 예측 블록에 대응되는 포인트의 값으로부터 온 것을 나타내고, 비가중치에서의 최대치 또는 비가중치에서의 최소치의 가중치는 대응되는 포인트의 예측값이 제1 예측 블록과 제2 예측 블록에 대응되는 포인트의 값의 가중 평균으로부터 온 것을 나타낸다. 여기서, 최대치, 최소치 이외의 가중치로 구성된 영역은 블렌딩 영역으로 지칭될 수 있다.
예시적 실시예에 있어서, 모든 가능한 가중 매트릭스에서, 가중 매트릭스가 2 가지 가중치만 포함하는 경우, 가중치 변화의 위치는 하나의 직선을 나타내고; 가중 매트릭스가 여러 가지 가중치를 포함하는 경우, 블렌딩 영역 중 가중치가 동일한 위치는 하나의 직선을 나타낸다. 실시예에 있어서, 상기 직선은 전부 수평 수직인 것이고, 또는, 상기 직선이 전부 수평 수직인 것은 아니다.
예시적 실시예에 있어서, 모든 가능한 가중 매트릭스에서, 가중 매트릭스에 2 가지 가중치만 포함되는 경우, 가중치 변화의 위치는 하나의 커브 라인을 나타내고; 가중 매트릭스가 다양한 가중을 포함하는 경우, 블렌딩 영역 중 가중치가 동일한 위치는 하나의 커브 라인을 나타낸다.
본 출원의 실시예에서 제공하는 다양한 가중 매트릭스는, 더욱 다양한 예측 블록을 예측하기 위한 보장을 제공하며, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법이 더 많은 시나리오에 적용될 수 있도록 한다.
예시적 실시예에 있어서, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 장치에서, 블록의 크기는 아래와 같은 것을 포함할 수 있지만 이에 한정되지 않는다.
블록의 너비는 제1 임계값 TH1보다 크거나 같고, 블록의 높이는 제2 임계값 TH2보다 크거나 같으며, 제1 임계값 TH1과 제2 임계값 TH2의 값은 8, 16, 32, 64, 128 등일 수 있고, 제1 임계값 TH1은 제2 임계값 TH2과 같을 수 있고, 예를 들어, 제1 임계값 TH1 = 제2 임계값 TH2 =8이며; 또는, 블록의 픽셀 개수는 제3 임계값 TH3보다 크거나 같고, 제3 임계값 TH3의 값은 8, 16, 32, 64, 128 등일 수 있으며;
또는, 블록의 너비는 제4 임계값 TH4보다 작거나 같고, 블록의 높이는 제5 임계값 TH5보다 작거나 같으며, 제4 임계값 TH4와 제5 임계값 TH5의 값은 8, 16, 32, 64, 128 등일 수 있고, 제4 임계값 TH4은 제5 임계값 TH5과 같을 수 있으며; 또는, 블록의 픽셀 개수가 제6 임계값 TH6보다 작거나 같은 경우, 제6 임계값 TH6의 값은 8, 16, 32, 64, 128 등일 수 있다.
블록의 크기에 대한 한정을 통해, 복수 개의 예측 모드를 채택하여 예측을 수행하는 것에 의해 초래되는 복잡도가 전체 시스템에 대한 영향을 줄이고, 특정 일부 크기에 적용되지 않는 블록을 한정하는 것을 통해, 압축 성능과 복잡도에 대한 트레이드 오프를 효과적으로 구현함으로써, 본 출원의 적용성을 더욱 잘 보장한다,
예시적 실시예에 있어서, 기술의 발전에 따라, 블록의 구획은 더 유연해진다. 정사각형의 블록 이외에, 구획 방법은 또한, 종횡비가 예를 들어, 1：2, 1：4, 1：8, 2：1, 4：1, 8：1 등 형태인 블록을 지원할 수 있다. 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법에서, 본 출원의 발명인은, 특정 일부 종횡비의 블록, 또는 특정 일부 크기의 종횡비의 블록, 예를 들어 1：4 또는 4：1인 블록 및 1：8 또는 8：1인 블록, 또는 8Х32, 8Х64, 32Х8, 64Х8 등인 블록이 가져다주는 압축 성능이 너무 좋지 않거나 명확하지 않은 것을 발견하였으므로, 본 출원의 실시예에 있어서, 블록의 종횡비를 설정하는 것을 통해 블록의 크기를 설정할 수 있으며, 예를 들어, 너비와 높이의 비율값은 기설정된 비율값 임계값 THR보다 작거나 같고, 너비와 높이의 비율값은 상기 비율값 임계값 THR보다 작거나 같다.
예시적 실시예에 있어서, 블록의 크기 및 블록의 종횡비의 설정은 동시에 사용될 수 있다. 예를 들어, 블록의 크기가 아래와 같은 조건, 즉 블록의 높이가 8보다 크거나 같고, 블록의 너비가 8보다 크거나 같으며, 블록의 너비와 블록의 높이의 비율값이 4보다 작거나 같으며, 블록의 높이와 블록의 너비의 비율값이 4보다 작거나 같은 것을 만족할 때, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법을 사용할 수 있고, 그렇지 않은 경우, 디폴트로 본 출원의 실시예에서의 인트라 프레임 예측 방법을 사용하지 않는다.
예시적 실시예에 있어서, 두 가지 상이한 인트라 프레임 예측 모드를 채택하여 디코딩될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 예로 들면, 콤비네이션 모듈은 구체적으로,
제1 예측 블록에 대응되는 매트릭스와 제1 가중 매트릭스의 제1 곱을 계산하고, 제2 예측 블록에 대응되는 매트릭스와 제2 가중 매트릭스의 제2 곱을 계산하고;
제1 곱, 제2 곱과 기설정 값의 합값을 계산하며;
계산하여 얻은 합값을 정규화 처리하여, 상기 타깃 예측 블록을 얻도록 구성된다.
예시적 실시예에 있어서, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 장치는 인코더에 설정되고, 처리 모듈은 또한,
프레임 레벨의 플래그를 설정하도록 설정되고, 상기 플래그는 현재 처리될 프레임에 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하는지 여부를 나타내기 위한 것이며; 상응하게,
디코더에서의 디코딩 모듈은 또한, 플래그에 따라, 디코딩하여 얻은 두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 계속 실행할지 여부를 판단하도록 구성된다.
예시적 실시예에 있어서, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 장치는 인코더에 설정되고, 처리 모듈은 또한,
프레임 레벨 이하, CU 레벨 이상(예를 들어, tile, slice, patch, LCU 등)인 플래그를 설정하도록 구성되고, 상기 플래그는 지시하는 영역에 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하는지 여부를 나타내기 위한 것이다. 상응하게,
디코더에서의 디코딩 모듈은 또한, 플래그에 따라, 디코딩하여 얻은 두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 계속 실행할지 여부를 판단하도록 구성된다.
본 출원의 실시예에서의 상이한 레벨의 플래그의 설정을 통해, 일 측면에 있어서, 상이한 응용 시나리오, 비디오 내용에 따라 최적화된 구성을 설정하는 것을 유연하게 구현하고; 다른 일 측면에 있어서, 추가적으로 코드 레이트를 절약하는 효과를 달성한다.
예시적 실시예에 있어서, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 장치는 인코더에 설정되고, 처리 모듈은 또한,
본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법과 상호 배타적인 개선된 예측 모드를 설정하도록 설정된다. 상응하게,
디코더에서의 디코딩 모듈은 또한, 비트 스트림을 파싱하여 설정된 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법과 상호 배타적인 개선된 예측 모드를 획득하도록 설정되고, 처리될 블록이 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하는 것으로 결정하면, 상호 배타적인 개선된 예측 모드를 사용하지 않고; 또는, 처리될 블록이 상호 배타적인 개선된 예측 모드를 사용하는 것으로 결정하면, 본 출원의 실시예의 인트라 프레임 예측 방법을 사용하지 않는다. 상호 배타적인 개선된 예측 모드에 대한 설정을 통해, 비트 스트림에 상기 상호 배타적인 개선된 예측 모드를 사용하는지 여부를 나타내는 플래그를 전송할 필요가 없으므로, 불필요한 플래그가 비트 스트림에서의 전송을 절약하며, 전반적으로 더 좋은 압축 성능을 획득한다.
본 실시예를 통해 이러한 개선된 예측 모드와 본 출원의 인트라 프레임 예측과 상호 배타적인 관계를 설정하여, 성능과 복잡도의 관계를 더 잘 트레이드 오프함으로써, 본 출원의 적용성을 더 잘 보장한다.
예시적 실시예에 있어서, 콤비네이션 모듈은 또한,
인트라 프레임 예측에서 사용되는 인트라 프레임 예측 모드 등 정보를 저장하여, 인접 블록이 코딩 및 디코딩의 과정에 사용되도록 설정된다.
예시적 실시예에 있어서, 두 가지 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 예로 들어, 인트라 프레임 예측에서 사용되는 인트라 프레임 예측 모드를 저장하는 단계는,
두 가지 상이한 인트라 프레임 예측 모드에서의 하나의 인트라 프레임 예측 모드를 저장하는 것을 선택하는 적어도 하나의 최소 유닛이 존재하고, 두 가지 상이한 인트라 프레임 예측 모드에서의 다른 하나의 인트라 프레임 예측 모드를 저장하는 것을 선택하는 적어도 하나의 최소 유닛이 존재하며, 즉, 저장한 인트라 프레임 예측 모드가 상이한 적어도 두 개의 최소 유닛이 존재하는 것을 포함한다.
예시적 실시예에 있어서, 두 가지 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 예로 들어, 인트라 프레임 예측에서 사용되는 인트라 프레임 예측 모드를 저장하는 단계는,
전체 처리될 블록에 대응되는 모든 최소 유닛에 대해 모두 동일한 하나의 인트라 프레임 예측 모드를 선택하여 저장을 수행하는 단계를 포함한다.
본 출원의 실시예에서 제공하는 디코더는, 두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 두 가지 이상의 예측 블록을 획득하고; 가중 매트릭스에 따라, 얻은 두 가지 이상의 예측 블록에 대해 콤비네이션을 수행하여 처리될 블록의 예측 블록을 얻는다. 본 출원의 실시예는 다양한 인트라 프레임 예측 모드를 통해 복수 개의 예측 블록을 결정하므로, 복잡한 텍스쳐의 예측 처리를 구현하고, 인트라 프레임 예측의 품질을 향상시킴으로써, 압축 성능을 향상시킨다.
더 나아가, 본 출원의 실시예에서 제공하는 디코더는, 다양한 가중 매트릭스를 통해, 더 복잡한 텍스쳐의 예측을 처리하기 위한 보장을 제공하여, 인트라 프레임 예측의 품질을 향상시킴으로써, 압축 성능을 향상시킨다. 또한, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법이 더 많은 시나리오에 적용될 수 있도록 한다.
본 출원의 실시예는 디코더를 더 제공하고, 디코딩 모듈, 예측 모듈, 콤비네이션 모듈을 포함하며; 여기서,
디코딩 모듈은, 수신된 비트 스트림에 대해 디코딩을 수행하여, 두 가지 이상의 상이한 인트라 프레임 예측 모드, 처리될 블록 및 가중 매트릭스를 획득하도록 설정되고;
예측 모듈은, 두 가지 이상의 상이한 인트라 프레임 예측 모드로 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하도록 설정되며;
콤비네이션 모듈은, 가중 매트릭스와 얻은 두 가지 이상의 예측 블록에 따라 처리될 블록의 타깃 예측 블록을 얻도록 설정된다.
예시적 실시예에 있어서, 디코딩 모듈은 또한,
프레임 레벨의 플래그에 따라, 디코딩하여 얻은 두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 계속 실행할지 여부를 판단하도록 설정된다.
예시적 실시예에 있어서, 디코딩 모듈은 또한, 프레임 레벨 이하, CU 레벨 이상 플래그에 따라, 디코딩하여 얻은 두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 계속 실행할지 여부를 판단하도록 설정된다.
본 출원의 실시예는 인코더를 더 제공하고, 예측 모듈, 콤비네이션 모듈, 처리 모듈을 포함하며; 여기서,
예측 모듈은, 두 가지 이상의 상이한 인트라 프레임 예측 모드로 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하도록 설정되며;
콤비네이션 모듈은, 가중 매트릭스와 얻은 두 가지 이상의 예측 블록에 따라 처리될 블록의 타깃 예측 블록을 얻도록 설정되며;
처리 모듈은, 전부 또는 일부의 가능한 예측 모드와 가중 매트릭스 도출 모드의 콤비네이션을 시도하고, 손실 비용을 계산하며, 손실 비용이 작은 콤비네이션을 선택하고; 콤비네이션에서의 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스를 인트라 프레임 예측을 수행하기 위한 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스로 사용하며; 결정된 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스 도출 모드 등 정보를, 신텍스에 따라 비트 스트림에 기입하도록 설정된다.
예시적 실시예에 있어서, 처리 모듈은 또한, 플래크를 설정하도록 설정되고;
상기 플래그는 프레임 레벨이고, 디코더가 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하는 것을 계속 실행할지 여부를 나타내기 위한 것; 및
상기 플래그는 프레임 레벨 이하, 코딩 유닛(CU) 레벨 이상의 플래그이며, 지시하는 영역의 경우, 디코더가 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하는 것을 계속 실행할지 여부를 나타내기 위한 것 중 적어도 하나이다.
예시적 실시예에 있어서, 처리 모듈은 또한,
상기 인트라 프레임 예측과 상호 배타적인 예측 모드를 설정하도록 설정되고;
상기 처리될 블록이 상기 인트라 프레임 예측을 사용하면, 상호 배타적인 예측 모드를 사용하지 않고; 또는, 상기 처리될 블록이 상호 배타적인 예측 모드를 사용하면, 상기 인트라 프레임 예측을 사용하지 않는다.
예시적 실시예에 있어서, 콤비네이션 모듈은 또한, 인트라 프레임 예측에서 사용되는 인트라 프레임 예측 모드 정보를 저장하도록 구성된다.
도 14는 본 출원의 실시예의 다른 하나의 인트라 프레임 예측 방법의 흐름 예시도이고, 도 14에 도시된 바와 같이, 아래의 단계를 포함한다.
단계 1400에 있어서, 두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행한다.
단계 1401에 있어서, 각 인트라 프레임 예측 모드의 예측의 경우, 기설정 개수 개의 픽셀 포인트를 예측 완료하면, 가중 매트릭스와 예측 완료된 각 인트라 프레임 예측 모드에 대응되는 픽셀 포인트에 따라 처리될 블록의 기설정 개수 개의 예측 픽셀 포인트를 얻는다.
단계 1402에 있어서, 얻은 복수 개의 기설정 개수 개의 예측 픽셀 포인트에 따라 처리될 블록의 타깃 예측 블록을 획득한다.
본 실시예에서 제공하는 인트라 프레임 예측 방법과 도 7에 도시된 실시예의 구별점은, 도 7에 도시된 실시예의 처리 대상은 블록이지만, 도 14에 도시된 실시예의 처리 대상은 픽셀 포인트인 것이다. 마찬가지로, 도 14에 도시된 실시예에 있어서, 두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하고, 기설정 개수 개의 픽셀 포인트를 예측 완료하면, 가중 매트릭스에 따라, 예측 완료된 각 인트라 프레임 예측 모드에 대응되는 픽셀 포인트에 대해 콤비네이션을 수행하여 처리될 블록의 기설정 개수 개의 예측 픽셀 포인트를 얻고; 마지막으로, 얻은 복수 개의 설정 개수 개의 예측 픽셀 포인트를 병합하여 처리될 블록의 예측 블록을 얻는다. 본 출원의 실시예는 다양한 인트라 프레임 예측 모드를 통해 복수 개의 예측 블록을 결정하므로, 복잡한 텍스쳐의 예측 처리를 구현하고, 인트라 프레임 예측의 품질을 향상시킴으로써, 압축 성능을 향상시킨다.
더 나아가, 도 14에 도시된 실시예에서의 가중 매트릭스는 구체적으로 도 7에 도시된 바와 같은 실시예의 상기 다양화한 가중 매트릭스를 구현하여, 더 복잡한 텍스쳐의 예측을 처리하기 위한 보장을 제공하여, 인트라 프레임 예측의 품질을 향상시킴으로써, 압축 성능을 향상시킨다. 또한, 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법이 더 많은 시나리오에 적용될 수 있도록 한다.
아래에, AVS3에서 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법을 적용하는 것을 예로 들어, 하나의 디코딩 실시예를 소개한다. AVS3에서 AWP 기술을 사용하므로, 본 실시예에서, 본 출원의 인트라 프레임 예측을 공간 도메인 각도 가중 예측(Spatial Angular Weighted Prediction, SAWP)으로 지칭한다. 본 실시예에서 일부 AVS3 표준 텍스트를 사용하고, 예를 들어, 본 실시예에서의 예측 샘플 매트릭스는 전술한 예측 블록이고, "블록"은 "샘플 매트릭스"로 이해할 수 있으며; 또 예를 들어, 본 실시예에서의 어레이는 매트릭스이다. 본 실시예에서 SAWP를 휘도 컴퍼넌트로 사용하는 것을 예로 들면, 본 출원의 실시예는 휘도 컴퍼넌트에 한정되지 않고, 색도 컴퍼넌트 및 다른 임의의 포맷의 임의의 컴퍼넌트에 사용될 수 있다.
본 실시예에서, 하나의 방식의 인코더 엔드는 하나의 시퀀스 레벨의 플래그(flag)를 설정하여 디코더 엔드의 현재의 디코딩될 시퀀스가 SAWP를 사용하는지 여부를 결정할 수 있다. 시퀀스 헤더(sequence_header)의 정의는 표 2에 도시된 바와 같다.
| 시퀀스 헤드 정의 | 설명 심볼 |
| sequence_header( ) { | |
| ...... | |
| sawp_enable_flag | u(1) |
| ...... |
표 2에 있어서, sawp_enable_flag는 공간 도메인 각도 가중 예측 허용 플래그이고, 하나의 이진 변수이다. 예를 들어, 값이 1인 것은, 공간 도메인 각도 가중 예측을 사용할 수 있는 것을 나타내고; 값이 0인 것은, 공간 도메인 각도 가중 예측을 사용할 수 없는 것을 나타낸다.
본 실시예에 있어서, 다른 하나의 방식의 인코더 엔드는 하나의 프레임 레벨의 플래그를 설정하여 디코더 엔드의 현재 디코딩될 프레임에 SAWP를 사용하는지 여부를 결정할 수 있다. 예를 들어, 인트라 픽쳐(예를 들어, I 픽쳐)에 SAWP를 사용하고, 인터 픽쳐(예를 들어, B 픽쳐, P 픽쳐)에 SAWP를 사용하지 않는 것으로 구성할 수 있고; 또 예를 들어, 인트라 픽쳐에 SAWP를 사용하지 않고, 인터 픽쳐에 SAWP를 사용하는 것으로 구성할 수 있으며; 또 예를 들어, 특정 일부 인터 픽쳐에 SAWP를 사용하고, 특정 일부 인터 픽쳐에 SAWP를 사용하지 않는 것으로 구성할 수 있다.
본 실시예에 있어서, 또 하나의 방식의 인코더 엔드는 프레임 레벨 이하, CU 레벨 이상(예를 들어, tile, slice, patch, LCU 등)인 플래그를 설정하여 디코더 엔드가 이 영역에서 SAWP를 사용하는지 여부를 결정하도록 한다.
설명해야 할 것은, 본 실시예에서 상기 플래그를 설정하지 않을 수도 있다.
디코더가 현재 CU를 디코딩하고, 현재 CU가 인트라 프레임 예측을 사용하면, 현재 CU의 SAWP 사용 플래그를 디코딩하고, 그렇지 않은 경우, 현재 CU의 SAWP 사용 플래그를 디코딩할 필요가 없다. DT, IPF에 관련된 정보와 SAWP가 상호 배타적이므로, 현재 CU가 SAWP를 사용하면, DT, IPF에 관련된 정보를 처리할 필요가 없다.
| ...... |
| if (! DirectFlag && (mode == 'PRED_No_Constraint')) |
| intra_cu_flag |
| } |
| } |
| PartSize = 'SIZE_2Mx2N' |
| If(SawpEnableFlag&& IntraCuFlag&&width>=SawpMinSize&& height>=SawpMinSize&&width*SawpMaxRatio>=height&&height*SawpMaxRatio>=width){ |
| sawp_flag |
| } |
| if (DtEnableFlag && IntraCuFlag&&!SawpFlag) { |
| dt_split_flag |
| ...... |
여기서 SawpMinSize는 길이와 너비의 최소치이고, SawpMaxRatio는 최대의 종횡비이다.
표 3에 있어서, sawp_flag는 공간 도메인 각도 가중 예측 플래그를 나타내고, 하나의 이진 변수이다. 예를 들어, 값이 1인 것은 공간 도메인 각도 가중 예측을 수행하는 것을 나타내고; 값이 0인 것은 공간 도메인 각도 가중 예측을 수행하지 않는 것을 나타낸다. SawpFlag의 값은 sawp_flag의 값과 같다. 비트 스트림에 sawp_flag가 존재하지 않으면, SawpFlag의 값은 0이다.
표 3에 있어서, SawpEnableFlag의 값은 표 2에서의 sawp_enable_flag의 값과 같다. 비트 스트림에 sawp_enable_flag가 존재하지 않으면, SawpEnableFlag의 값은 0이다.
본 실시예에 있어서, 현재 CU가 SAWP를 사용하면, 가중 매트릭스 도출 모드와 2 개의 인트라 프레임 예측 모드(본 실시예에서 두 가지 인트라 프레임 예측 모드를 예로 함)를 디코딩해야 한다. 본 실시예에 있어서, 가중 매트릭스 도출 모드가 AWP를 재사용한 가중 매트릭스 도출 모드인 것을 예로 들면, SAWP의 2 개의 인트라 프레임 예측 모드의 디코딩 재사용 관련 기술에서의 인트라 프레임 예측 모드의 디코딩을 예로 든다.
| ...... |
| if ((SawpFlag) { |
| sawp_idx |
| intra_luma_pred_mode0 |
| intra_luma_pred_mode1 |
| } |
| ...... |
표 4에 있어서, sawp_idx는 공간 도메인 각도 가중 예측 모드 인덱스를 나타내고, 이는 공간 도메인 각도 가중 예측의 가중 매트릭스를 결정하기 위한 것이며, SawpIdx의 값은 sawp_idx의 값과 같다. 비트 스트림에 sawp_idx가 존재하지 않으면, SawpIdx의 값은 0과 같다.
표 4에 있어서, intra_luma_pred_mode0은 공간 도메인 각도 가중 예측 제1 휘도 예측 모드를 나타내고, 공간 도메인 각도 가중 예측의 휘도 블록의 제1 인트라 프레임 예측 모드를 결정하기 위한 것이고; intra_luma_pred_mode1은 공간 도메인 각도 가중 예측 제2 휘도 예측 모드를 나타내고, 공간 도메인 각도 가중 예측의 휘도 블록의 제2 인트라 프레임 예측 모드를 결정하기 위한 것이다.
실시예에 있어서, sawp_idx의 파싱 방법은 관련 기술에서 awp_idx의 방법과 동일할 수 있고; intra_luma_pred_mode0의 파싱 방법은 관련기술에서 intra_luma_pred_mode의 방법과 동일할 수 있으며, intra_luma_pred_mode1의 파싱 방법은 관련기술에서 intra_luma_pred_mode의 방법과 동일할 수 있다.
실시예에 있어서, intra_luma_pred_mode1의 파싱 방법은, intra_luma_pred_mode0과 intra_luma_pred_mode1이 모두 최고 확률 모드(MPM)를 사용하면, intra_luma_pred_mode1은 MPM의 제1 인트라 프레임 예측 모드인지 아니면 제2 인트라 프레임 예측 모드인지를 파싱할 필요가 없는 방법을 포함할 수도 있다. 즉, 상기 디코딩된 제1 인트라 프레임 예측 모드의 정보에 따라, 상기 제2 인트라 프레임 예측 모드를 결정한다. AVS3의 MPM이 2 개의 인트라 프레임 예측 모드만 가지므로, intra_luma_pred_mode0이 그 중 하나의 인트라 프레임 예측 모드를 사용하면, intra_luma_pred_mode1은 디폴트로 다른 하나의 인트라 프레임 예측 모드를 사용한다.
Intra_luma_pred_mode0의 이진화 방법은 표 5에 도시된 바와 같으며, intra_luma_pred_mode0의 값이 0 또는 1인 것은 사용한 것이 MPM인지 여부를 나타내고, 구체적으로, 이진 심볼 스트링의 첫 번째 이진 심볼이 "1"인 것은 MPM인 것을 나타내고, "0"이면 MPM이 아닌 것을 나타낸다. 첫 번째 이진 심볼이 MPM인 것을 나타내면, 이진 심볼 스트링의 두 번째 이진 심볼은 어떤 MPM인지를 나타낸다.
| Intra_luma_pred_mode0 | 이진 심볼 스트링 |
| 0 | 10 |
| 1 | 11 |
| 2 | 0...... |
| ...... | ...... |
Intra_luma_pred_mode1의 이진화 방법은 표 6에 도시된 바와 같고, intra_luma_pred_mode1의 값이 0또는 1이면 MPM을 사용하는지 여부를 나타내고, 구체적으로, 이진 심볼 스트링의 첫 번째 이진 심볼이 "1"일 때, 두 번째 이진 심볼이 더 이상 필요하지 않다. Intra_luma_pred_mode0의 값이 1이면, intra_luma_pred_mode1의 값은 0이다. Intra_luma_pred_mode0의 값이 0이면, intra_luma_pred_mode1의 값은 1이다.
| Intra_luma_pred_mode1 | 이진 심볼 스트링 |
| 0 | 1 (또한 intra_luma_pred_mode0은 1임) |
| 1 | 1 (또한 intra_luma_pred_mode0은 0임) |
| 2 | 0...... |
| ...... | ...... |
계속하여 AVS3에서 본 출원의 실시예에서 제공하는 인트라 프레임 예측 방법을 적용하는 것을 예로 들면, 다른 하나의 비트 스트림 파싱 구조와 디코딩된 실시예를 소개한다.
디코더는 현재 CU를 디코딩하고, 현재 CU가 인트라 프레임 예측을 사용하면, 현재 CU의 DT, IPF의 사용 플래그, 및 현재 인트라 프레임 예측 방법에서 각 예측 유닛의 유일한 휘도 예측 모드 intra_luma_pred_mode를 디코딩하고;
현재 CU가 DT를 사용하지 않고, IPF도 사용하지 않았으면, 현재 CU의 SAWP 사용 플래그를 디코딩한다. 현재 CU가 SAWP를 사용하면, 가중 매트릭스 도출 모드와 1 개의 인트라 프레임 예측 모드 intra_luma_pred_mode1을 추가로 디코딩하고, 디코딩된 intra_luma_pred_mode를 intra_luma_pred_mode0으로 사용한다.
| ...... |
| dt_split_flag |
| ...... |
| intra_luma_pred_mode |
| ...... |
| ipf_flag |
| ...... |
| If(SawpEnableFlag&&！ DtSplitFlag &&!IpfFlag && IntraCuFlag&&width>=SawpMinSize&& height>=SawpMinSize&&width*SawpMaxRatio>=height&&height*SawpMaxRatio>=width){ |
| sawp_flag |
| } |
| if ((SawpFlag) { |
| sawp_idx |
| intra_luma_pred_mode1 |
| } |
| ...... |
각각 intra_luma_pred_mode0와 intra_luma_pred_mode1에 따라 IntraLumaPredMode0和IntraLumaPredMode1을 결정함으로써, 인트라 프레임 예측 샘플 매트릭스 predMatrix0과 predMatrix1을 결정한다.
SawpIdx에 따라 가중 매트릭스 SawpWeightArrayY를 결정하고, 여기서 입력된 인덱스는 SawpIdx이다.
두 개의 인트라 프레임 예측 샘플 매트릭스 predMatrix0과 predMatrix1, 및 결정된 가중 매트릭스 SawpWeightArrayY에 따라, 새로운 예측 샘플 매트릭스 predMatrixSawp를 결정한다.
공간 도메인 각도 가중 예측 모드의 예측 샘플 매트릭스 predMatrixSawp에서의 요소 predMatrixSawp[x][y]의 값이 ((predMatrix0[x][y] * AwpWeightArrayY[x][y] + predMatrix1[x][y] * ( 8 - AwpWeightArrayY[x][y] ) + 4 ) >> 3)인 것을 포함한다.
SAWP의 예측 블록, 즉, 공간 도메인 각도 가중 예측 모드의 예측 샘플 매트릭스 predMatrixSawp를 결정한 후, 향후의 처리는 또한, 양자화 계수의 디코딩, 역변환, 역양자화로 잔차 블록을 결정하는 것, 및 잔차 블록과 예측 블록을 재구축 블록으로 콤비네이션하는 것, 및 향후의 루프 필터링 등을 포함할 수 있다. 구체적인 구현은 본 출원의 보호 범위를 한정하기 위한 것이 아니며, 여기서 더이상 설명하지 않는다.
본 실시예에서의 SAWP의 인트라 프레임 예측 모드 저장 방법은, AWP의 움직임 정보의 저장 방법과 유사한 방법을 사용할 수 있고, 다만 입력된 인덱스를 SawpIdx로 대체하고, 출력된 인트라 프레임 예측 참조 모드(interPredAwpRefMode)를 sawpRefMode로 대체하면 된다. 특정 하나의 4Х4 블록의 sawpRefMode가 0이면, IntraLumaPredMode0을 저장하고; 그렇지 않은 경우, 상기 4Х4 블록의 sawpRefMode는 1이면, IntraLumaPredMode1을 저장한다.
AVS3의 첫 번째 버전이 다만 34 가지 인트라 프레임 예측 모드를 지원하므로, 여기서 34 번째(인덱스가 0으로부터 시작되면, 인덱스 넘버는 33임) 모드는 PCM 모드이다. AVS3의 두 번째 버전에 더 많은 인트라 프레임 예측 모드가 추가되므로, 66 가지 인트라 프레임 예측 모드로 확장된다. 두 번째 버전은 첫 번째 버전과 호환하기 위해, 원래의 intra_luma_pred_mode의 디코딩 방법을 변경하지 않고, intra_luma_pred_mode가 1보다 클 때, 하나의 플래그를 증가해야 하는 것으로 제기하며, 표 8에 도시된 바와 같이, 즉 인트라 휘도 예측 모드 확장 플래그 eipm_pu_flag이다.
| intra_luma_pred_mode |
| if (EipmEnableFlag && intra_luma_pred_mode > 1) { |
| eipm_pu_flag |
| } |
인트라 휘도 예측 모드 확장 플래그 eipm_pu_flag는 하나의 이진 변수이다. eipm_pu_flag의 값이 1일 때, 인트라 각도 예측 확장 모드를 사용해야 하는 것을 나타내고; eipm_pu_flag으 값이 0일 때, 인트라 휘도 예측 확장 모드를 사용하지 않는 것을 나타낸다. EipmPuFlag의 값은 eipm_pu_flag의 값과 같다. 비트 스트림에 eipm_pu_flag가 존재하지 않으면, EipmPuFlag의 값은 0이다.
따라서, AVS3 두 번째 버전에 대응되는 텍스트 설명이면, 상기 실시예에서의 신텍스 intra_luma_pred_mode, intra_luma_pred_mode0, intra_luma_pred_mode1 이후 모두 표 8과 같이 eipm_pu_flag, eipm_pu_flag0, eipm_pu_flag1의 설명을 추가해야 한다. 또한, IntraLumaPredMode0은 intra_luma_pred_mode0와 eipm_pu_flag0에 따라 결정되고, IntraLumaPredMode1은 intra_luma_pred_mode1과 eipm_pu_flag1에 따라 결정된다.
본 출원의 실시예에 있어서, PCM 모드를 시용하지 않는 실시예에 있어서, 또는, 제1 버전의 앞 33 가지 또는 34 가지 모드만 사용하는 실시예에 있어서, eipm_pu_flag를 전송할 필요가 없다.
자명한 것은, 본 분야의 기술자는, 상기의 본 발명의 각 모듈 또는 각 단계는 통용되는 컴퓨팅 장치로 구현될 수 있고, 이런 모듈 또는 단계는 단일 컴퓨팅 장치에 집중될 수 있으며, 또는 복수 개의 컴퓨팅 장치로 구성된 네트워크에 분산될 수 있고, 선택 가능하게, 컴퓨팅 장치로 실행 가능한 프로그램 코드에 의해 구현될 수 있음으로써, 저장 장치에 저장하며 컴퓨팅 장치에 의해 실행되고, 일부 경우, 이 부분의 순서와 상이하게 도시되거나 설명된 단계를 실행될 수 있으며, 각각 각 집성 회로 모듈로 제조되거나 각 모듈 또는 각 단계에서의 복수 개의 모듈 또는 단계를 단일 집성 회로 모듈로 제조하여 구현할 수 있음을 알아야 한다. 이로써, 본 발명은 임의의 특정된 하드웨어 및 소프트웨어 결합에 한정되지 않는다.
이상은 다만 본 발명의 바람직한 실시예일 뿐, 본 발명을 한정하는 것은 아니며, 본 분야의 기술자에 있어서, 본 발명은 각 변경과 변화가 있을 수 있다. 본 발명의 사상 및 원칙 내에서 이루어진 임의의 수정, 동등한 교체, 개선 등은 모두 본 개시의 보호범위 내에 포함되는 것으로 간주되어야 한다.
Claims (60)
- 인트라 프레임 예측 방법으로서,
디코더에 적용되고,
두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하는 단계; 및
가중 매트릭스와 얻은 두 가지 이상의 예측 블록에 따라 처리될 블록의 타깃 예측 블록을 얻는 단계를 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제1항에 있어서,
상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하기 전, 상기 인트라 프레임 예측 방법은,
비트 스트림을 파싱하여, 상기 두 가지 이상의 상이한 인트라 프레임 예측 모드, 상기 처리될 블록 및 상기 가중 매트릭스를 획득하는 단계를 더 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제1항에 있어서,
상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하기 전, 상기 인트라 프레임 예측 방법은,
비트 스트림을 파싱하여, 플래그를 획득하는 단계를 더 포함하고;
상기 플래그는 프레임 레벨 플래그이며, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록의 획득을 계속 실행할지 여부를 나타내기 위한 것; 및
상기 플래그는 프레임 레벨 이하, 코딩 유닛(CU) 레벨 이상의 플래그이며, 지시하는 영역에 대해 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록의 획득을 계속 실행할지 여부를 나타내기 위한 것 중 적어도 하나인 것을 특징으로 하는 인트라 프레임 예측 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 두 가지 이상의 상이한 인트라 프레임 예측 모드는, 제1 인트라 프레임 예측 모드를 포함하거나, 제1 인트라 프레임 예측 모드 및 제2 인트라 프레임 예측 모드를 포함하고;
제1 인트라 프레임 예측 모드는 다른 인트라 프레임 예측 모드에 의존하지 않고 독립적으로 예측 블록의 인트라 프레임 예측 모드를 생성하고; 제2 인트라 프레임 예측 모드는 기본 인트라 프레임 예측 모드에 의존하여 예측 블록의 인트라 프레임 예측 모드를 결정하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제4항에 있어서,
상기 두 가지 이상의 상이한 인트라 프레임 예측 모드에는 하나의 상기 제1 인트라 프레임 예측 모드가 적어도 포함되는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제5항에 있어서,
상기 인트라 프레임 예측 모드는 두 가지 상이한 인트라 프레임 예측 모드를 포함하고;
두 가지 상이한 인트라 프레임 예측 모드는 모두 상기 제1 인트라 프레임 예측 모드인 것을 특징으로 하는 인트라 프레임 예측 방법. - 제5항에 있어서,
상기 인트라 프레임 예측 모드는 두 가지 상이한 인트라 프레임 예측 모드를 포함하고;
두 가지 상이한 인트라 프레임 예측 모드는, 하나의 상기 제1 인트라 프레임 예측 모드와 하나의 상기 제2 인트라 프레임 예측 모드를 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제5항에 있어서,
상기 제1 인트라 프레임 예측 모드는, 방향 각도(DC) 모드, 평활(Planar) 모드, 평면(Plane) 모드, 이중 선형(Bilinear) 모드, 각도 예측(AC) 모드를 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제5항에 있어서,
상기 제2 인트라 프레임 예측 모드는, 참조 픽셀의 서브 픽셀 보간의 개선, 예측 픽셀에 대한 필터링을 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제6항에 있어서,
상기 인트라 프레임 예측 방법은,
상기 제2 인트라 프레임 예측 모드를 채택하여 상기 타깃 예측 블록에 대해 인트라 프레임 예측을 수행하고, 예측하여 얻은 결과를 상기 타깃 예측 블록으로 사용하는 단계를 더 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 인트라 프레임 예측 모드는 두 가지 상이한 인트라 프레임 예측 모드를 포함하고; 상기 예측 블록은, 제1 예측 블록과 제2 예측 블록을 포함하며; 상기 가중 매트릭스는 제1 가중 매트릭스와 제2 가중 매트릭스를 포함하고;
상기 가중 매트릭스와 얻은 두 가지 이상의 예측 블록에 따라 처리될 블록의 타깃 예측 블록을 얻는 단계는,
제1 예측 블록과 제1 가중 매트릭스의 제1 곱을 계산하고, 제2 예측 블록과 제2 가중 매트릭스의 제2 곱을 계산하는 단계;
제1 곱, 제2 곱과 기설정 값의 합값을 계산하는 단계; 및
계산하여 얻은 합값에 따라, 상기 타깃 예측 블록을 얻는 단계를 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제11항에 있어서,
상기 제2 가중 매트릭스는 최대 가중치와 상기 제1 가중 매트릭스의 차이값이고;
상기 정규화 처리는, 계산하여 얻은 합값을 기설정 비트수만큼 우측으로 이동하여, 상기 디코딩될 블록의 예측 블록을 얻는 단계를 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제12항에 있어서,
상기 최대 가중치는 8이고; 상기 기설정 값은 4이며; 상기 기설정 비트수는 3인 것을 특징으로 하는 인트라 프레임 예측 방법. - 제11항에 있어서,
모든 가능한 상기 가중 매트릭스에는, 적어도 2 개의 상이한 가중치가 포함되는 적어도 하나의 가중 매트릭스가 존재하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제14항에 있어서,
모든 가능한 상기 가중 매트릭스에는, 적어도 2 개의 상이한 가중치가 포함되는 적어도 하나의 가중 매트릭스가 존재하고, 또한 동일한 가중치만 포함하는 적어도 하나의 가중 매트릭스가 존재하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제14항에 있어서,
적어도 2 개의 상이한 가중치를 포함하는 특정 하나 또는 특정 일부의 상기 가중 매트릭스에 대해, 최소 가중치와 최대 가중치에 따라, 상기 처리될 블록에서의 각 포인트가 모두 2 개의 인트라 프레임 예측 모드에 의해 도출된 예측값을 가중화하여 얻은 것이도록 하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제14항에 있어서,
모든 가능한 상기 가중 매트릭스에서, 2 가지 가중치만 포함하는 단 하나의 가중 매트릭스가 존재하고; 하나의 가중치는 대응되는 포인트의 예측값이 완전히 제1 예측 블록에 대응되는 포인트의 값으로부터 온 것임을 나타내고, 다른 하나의 가중치는 대응되는 포인트의 예측값이 완전히 제2 예측 블록에 대응되는 포인트의 값으로부터 온 것임을 나타내는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제14항에 있어서,
모든 가능한 상기 가중 매트릭스에서, 하나의 가중 매트릭스에는 여러 가지 가중치가 포함되고, 가중치에서의 최대치와 가중치에서의 최소치는 대응되는 포인트의 예측값이 완전히 상기 제1 예측 블록에 대응되는 포인트의 값과 상기 제2 예측 블록에 대응되는 포인트의 값으로부터 온 것임을 각각 나타내며; 비가중치에서의 최대치 또는 비가중치에서의 최소치의 가중치는 대응되는 포인트의 예측값이 상기 제1 예측 블록과 상기 제2 예측 블록에 대응되는 포인트의 값의 가중 평균으로부터 온 것임을 나타내는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제14항에 있어서,
모든 가능한 상기 가중 매트릭스에서, 가중 매트릭스가 다만 2 가지 가중치만 포함하면, 가중치 변화 위치는 하나의 직선을 나타내고;
가중 매트릭스가 여러 가지 가중치를 포함하면, 블렌딩 영역 중 가중치가 동일한 위치는 하나의 직선을 나타내는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제14항에 있어서,
모든 가능한 상기 가중 매트릭스에서, 가중 매트릭스가 다만 2 가지 가중치만 포함하면, 가중치 변화 위치는 하나의 커브 라인을 나타내고;
가중 매트릭스가 여러 가지 가중치를 포함하면, 블렌딩 영역 중 가중치가 동일한 위치는 하나의 커브 라인을 형성하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제1항에 있어서,
상기 처리될 블록 또는 타깃 예측 블록의 너비와 높이는,
너비가 제1 임계값 TH1보다 크거나 같고, 높이가 제2 임계값 TH2보다 크거나 같은 것; 또는
너비가 제4 임계값 TH4보다 작거나 같고, 높이가 제5 임계값 TH5보다 작거나 같은 것을 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제21항에 있어서,
상기 제1 임계값 TH1은 상기 제2 임계값 TH2와 동일하고, 상기 제1 임계값 TH1은 8인 것을 특징으로 하는 인트라 프레임 예측 방법. - 제1항 또는 제21항에 있어서,
상기 처리될 블록 또는 타깃 예측 블록의 너비와 높이는,
너비와 높이의 비율값이 기설정된 비율값 임계값 THR보다 작거나 같고, 높이와 너비의 비율값이 비율값 임계값 THR보다 작거나 같은 것을 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제23항에 있어서,
상기 비율값 임계값 THR은 4인 것을 특징으로 하는 인트라 프레임 예측 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 인트라 프레임 예측 방법은,
상기 인트라 프레임 예측 방법에서 사용되는 상기 인트라 프레임 예측 모드 정보를 저장하는 단계를 더 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제25항에 있어서,
상기 인트라 프레임 예측 모드는 두 가지 상이한 인트라 프레임 예측 모드를 포함하고;
상기 인트라 프레임 예측 방법에서 사용되는 상기 인트라 프레임 예측 모드 정보를 저장하는 단계는,
상이한 인트라 프레임 예측 모드를 적어도 두 개의 최소 유닛에 저장하는 단계를 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제25항에 있어서,
상기 인트라 프레임 예측 방법에서 사용되는 상기 인트라 프레임 예측 모드를 저장하는 단계는,
전체 상기 처리될 블록에 대응되는 모든 최소 유닛에 대해 모두 동일한 하나의 인트라 프레임 예측 모드를 선택하여 저장을 수행하는 단계를 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제27항에 있어서,
상기 인트라 프레임 예측 모드는 두 가지 상이한 인트라 프레임 예측 모드를 포함하고;
상기 전체 상기 디코딩될 블록에 대응되는 모든 최소 유닛에 대해 모두 동일한 하나의 인트라 프레임 예측 모드를 선택하여 저장을 수행하는 단계는,
비트 스트림을 파싱하여 얻은 상기 가중 매트릭스 도출 모드에 따라 상기 처리될 블록의 모든 최소 유닛에는 두 가지 인트라 프레임 예측 모드에서의 하나의 인트라 프레임 예측 모드가 모두 저장되고, 또는 두 가지 인트라 프레임 예측 모드에서의 다른 하나의 인트라 프레임 예측 모드가 모두 저장되는 것으로 결정하는 단계; 또는
상기 가중 매트릭스의 도출 모드의 모드 넘버에 따라, 상기 처리될 블록의 모든 최소 유닛이 두 가지 인트라 프레임 예측 모드에서의 하나의 인트라 프레임 예측 모드를 모두 저장하고, 또는 두 가지 인트라 프레임 예측 모드에서의 다른 하나의 인트라 프레임 예측 모드를 모두 저장하는 것으로 결정하는 단계를 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제2항에 있어서,
상기 인트라 프레임 예측 모드는 두 가지 상이한 인트라 프레임 예측 모드를 포함하고;
상기 디코딩된 인트라 프레임 예측 모드 중 한 가지 인트라 프레임 예측 모드의 정보에 따라, 다른 하나의 인트라 프레임 예측 모드를 결정하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제29항에 있어서,
상기 제1 인트라 프레임 예측 모드와 상기 제2 인트라 프레임 예측 모드는 모두 최고 확률 모드(MPM)를 사용하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 컴퓨터 판독 가능 저장 매체로서,
컴퓨터 실행 가능 명령어가 저장되고, 상기 컴퓨터 실행 가능 명령어는 제1항 내지 제30항 중 어느 한 항에 따른 인트라 프레임 예측 방법을 실행하기 위한 것임을 특징으로 하는 컴퓨터 판독 가능 저장 매체. - 디코더로서,
메모리와 프로세서를 포함하고, 메모리에는 프로세서에 의해 실행 가능한, 제1항 내지 제30항 중 어느 한 항에 따른 인트라 프레임 예측 방법의 단계를 실행하기 위한 명령어가 저장되는 것을 특징으로 하는 디코더. - 디코더로서,
디코딩 모듈, 예측 모듈, 콤비네이션 모듈을 포함하고;
디코딩 모듈은, 수신된 비트 스트림에 대해 디코딩을 수행하여, 두 가지 이상의 상이한 인트라 프레임 예측 모드, 처리될 블록 및 가중 매트릭스를 획득하도록 설정되고;
예측 모듈은, 두 가지 이상의 상이한 인트라 프레임 예측 모드로 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하도록 설정되며;
콤비네이션 모듈은, 가중 매트릭스와 얻은 두 가지 이상의 예측 블록에 따라 처리될 블록의 타깃 예측 블록을 얻도록 설정되는 것을 특징으로 하는 디코더. - 제33항에 있어서,
상기 디코딩 모듈은 또한,
프레임 레벨의 플래그에 따라, 디코딩하여 얻은 두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 계속 실행할지 여부를 판단하도록 설정되는 것을 특징으로 하는 디코더. - 제33항에 있어서,
상기 디코딩 모듈은 또한, 프레임 레벨 이하, CU 레벨 이상의 플래그에 따라, 디코딩하여 얻은 두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 계속 실행할지 여부를 판단하도록 설정되는 것을 특징으로 하는 디코더. - 인트라 프레임 예측 방법으로서,
인코더에 적용되고,
두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하는 단계; 및
가중 매트릭스와 얻은 두 가지 이상의 예측 블록에 따라 처리될 블록의 타깃 예측 블록을 얻는 단계를 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제36항에 있어서,
상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하기 전, 상기 인트라 프레임 예측 방법은,
전부 또는 일부의 가능한 예측 모드와 가중 매트릭스 도출 모드의 콤비네이션을 시도하고, 손실 비용을 계산하며, 손실 비용이 작은 콤비네이션을 선택하는 단계; 및 콤비네이션에서의 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스를 인트라 프레임 예측을 수행하기 위한 상기 두 가지 이상의 상이한 인트라 프레임 예측 모드, 상기 가중 매트릭스로 사용하는 단계를 더 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제37항에 있어서,
상기 시도 단계 이전, 상기 인트라 프레임 예측 방법은,
상기 처리될 블록의 텍스쳐에 대해 분석을 수행하는 단계를 더 포함하고;
상기 시도 단계는, 텍스쳐에 대해 분석을 수행한 결과에 따라 상기 시도할 인트라 프레임 예측 모드를 결정하는 단계를 더 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제37항에 있어서,
상기 시도 단계 이후, 상기 인트라 프레임 예측 방법은,
선택된 콤비네이션의 손실 비용이 다른 예측 모드의 비용보다 작거나 같으면, 상기 선택된 콤비네이션에서의 인트라 프레임 예측 모드를 상기 처리될 블록의 예측 모드로 사용하는 것으로 결정하는 단계; 및 선택된 콤비네이션의 손실 비용이 다른 예측 모드의 비용보다 크면, 다른 특정 타입의 예측 모드를 선택하여 상기 처리될 블록의 예측 모드로 사용하는 단계를 더 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제37항 또는 제38항 또는 제39항에 있어서,
상기 손실 비용을 계산하는 방식은,
절대차 합(SAD), 절대 변환 차의 합(SATD), 비율 왜곡 최적화(RDO) 중 적어도 하나 또는 임의의 콤비네이션을 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제37항 또는 제38항 또는 제39항에 있어서,
상기 손실 비용이 작은 콤비네이션을 선택하는 단계는,
SATD 및 SAD 중 적어도 하나를 채택하여 제1 선별 작업을 수행하고, 상기 전부 또는 일부의 가능한 예측 모드와 가중 매트릭스 도출 모드의 콤비네이션으로부터 후보 콤비네이션을 결정하는 단계; 및
RDO를 채택하여 제2 선별 작업을 수행하고, 후보 콤비네이션으로부터 손실 비용이 가장 작은 콤비네이션을 결정하는 단계를 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제37항에 있어서,
특정된 인트라 각도 예측 모드가 큰 비용을 조성할 때, 상기 인트라 각도 예측 모드와, 상기 인트라 각도 예측 모드에 인접한 기설정 개수 개의 인트라 프레임 예측 모드를 상기 후보 콤비네이션에서 제거하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제36항에 있어서,
상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하기 전, 상기 인트라 프레임 예측 방법은,
플래그를 설정하는 단계 - 상기 플래그는 프레임 레벨이며, 디코더가 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하는 것을 계속 실행할지 여부를 나타내기 위한 것; 및 상기 플래그는 프레임 레벨 이하, 코딩 유닛(CU) 레벨 이상의 플래그이며, 지시하는 영역에 대해, 디코더가 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하는 것을 계속 실행할지 여부를 나타내기 위한 것 중 적어도 하나임 - ; 및
상기 플래그를 비트 스트림에 기입하는 단계를 더 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 제36항에 있어서,
상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하기 전, 상기 인트라 프레임 예측 방법은,
상기 인트라 프레임 예측 방법과 상호 배타적인 예측 모드를 획득하는 단계; 및
상기 인트라 프레임 예측 방법을 사용하여, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하는 단계를 계속 실행하는 것으로 결정하는 단계; 또는, 상호 배타적인 예측 모드를 사용하는 것으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 컴퓨터 판독 가능 저장 매체로서,
컴퓨터 실행 가능 명령어가 저장되고, 상기 컴퓨터 실행 가능 명령어는 제36항 내지 제44항 중 어느 한 항에 따른 인트라 프레임 예측 방법을 실행하기 위한 것임을 특징으로 하는 컴퓨터 판독 가능 저장 매체. - 인코더로서,
메모리와 프로세서를 포함하고, 메모리에는 프로세서에 의해 실행 가능한, 제36항 내지 제44항 중 어느 한 항에 따른 인트라 프레임 예측 방법의 단계를 실행하기 위한 명령어가 저장되는 것을 특징으로 하는 인코더. - 인코더로서,
예측 모듈, 콤비네이션 모듈, 처리 모듈을 포함하고;
예측 모듈은, 두 가지 이상의 상이한 인트라 프레임 예측 모드로 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하도록 설정되며;
콤비네이션 모듈은, 가중 매트릭스와 얻은 두 가지 이상의 예측 블록에 따라 처리될 블록의 타깃 예측 블록을 얻도록 설정되고;
처리 모듈은, 전부 또는 일부의 가능한 예측 모드와 가중 매트릭스 도출 모드의 콤비네이션을 시도하고, 손실 비용을 계산하며, 손실 비용이 작은 콤비네이션을 선택하고; 콤비네이션에서의 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스를 인트라 프레임 예측을 수행하기 위한 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스로 사용하며; 결정된 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스 도출 모드 등 정보를, 신텍스에 따라 비트 스트림에 기입하도록 설정되는 것을 특징으로 하는 인코더. - 제47항에 있어서,
상기 처리 모듈은 또한, 플래그를 설정하도록 설정되며;
상기 플래그는 프레임 레벨이고, 디코더가 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하는 것을 계속 실행할지 여부를 나타내기 위한 것; 및
상기 플래그는 프레임 레벨 이하, 코딩 유닛(CU) 레벨 이상의 플래그이며, 지시하는 영역에 대해, 디코더가 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하는 것을 계속 실행할지 여부를 나타내기 위한 것 중 적어도 하나인 것을 특징으로 하는 인코더. - 제47항에 있어서,
상기 처리 모듈은 또한,
상기 인트라 프레임 예측과 상호 배타적인 예측 모드를 설정하도록 설정되고;
상기 처리될 블록이 상기 인트라 프레임 예측을 사용하면, 상호 배타적인 예측 모드를 사용하지 않고; 또는, 상기 처리될 블록이 상호 배타적인 예측 모드를 사용하면, 상기 인트라 프레임 예측을 사용하지 않는 것을 특징으로 하는 인코더. - 제47항에 있어서,
상기 콤비네이션 모듈은 또한,
인트라 프레임 예측에서 사용되는 인트라 프레임 예측 모드 정보를 저장하도록 설정되는 것을 특징으로 하는 인코더. - 인트라 프레임 예측 방법으로서,
두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 단계;
각 인트라 프레임 예측 모드의 예측의 경우, 기설정 개수 개의 픽셀 포인트를 예측 완료하면, 가중 매트릭스와 예측 완료된 각 인트라 프레임 예측 모드에 대응되는 픽셀 포인트에 따라 처리될 블록의 기설정 개수 개의 예측 픽셀 포인트를 얻는 단계; 및
얻은 복수 개의 기설정 개수 개의 예측 픽셀 포인트에 따라 처리될 블록의 타깃 예측 블록을 획득하는 단계를 포함하는 것을 특징으로 하는 인트라 프레임 예측 방법. - 인트라 프레임 예측 장치로서,
예측 모듈, 콤비네이션 모듈을 포함하고;
예측 모듈은, 디코딩하여 얻은 두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하여, 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하도록 설정되고;
콤비네이션 모듈은, 가중 매트릭스와 얻은 두 가지 이상의 예측 블록에 따라 처리될 블록의 타깃 예측 블록을 얻도록 설정되는 것을 특징으로 하는 인트라 프레임 예측 장치. - 제52항에 있어서,
상기 인트라 프레임 예측 장치는 인코더에 설정되거나, 디코더에 설정되는 것을 특징으로 하는 인트라 프레임 예측 장치. - 제53항에 있어서,
상기 인트라 프레임 예측 장치는 디코더에 설정되고; 상기 인트라 프레임 예측 장치는 디코딩 모듈을 더 포함하며;
디코딩 모듈은, 수신된 비트 스트림에 대해 디코딩을 수행하여, 상기 두 가지 이상의 상이한 인트라 프레임 예측 모드, 상기 처리될 블록 및 상기 가중 매트릭스를 획득하도록 설정되는 것을 특징으로 하는 인트라 프레임 예측 장치. - 제54항에 있어서,
상기 디코딩 모듈은 또한,
프레임 레벨의 플래그에 따라, 디코딩하여 얻은 두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 계속 실행할지 여부를 판단하도록 설정되는 것을 특징으로 하는 인트라 프레임 예측 장치. - 제54항에 있어서,
상기 디코딩 모듈은 또한, 프레임 레벨 이하, CU 레벨 이상 플래그에 따라, 디코딩하여 얻은 두 가지 이상의 상이한 인트라 프레임 예측 모드를 채택하여 처리될 블록에 대해 각각 인트라 프레임 예측을 수행하는 것을 계속 실행할지 여부를 판단하도록 설정되는 것을 특징으로 하는 인트라 프레임 예측 장치. - 제53항에 있어서,
상기 인트라 프레임 예측 장치는 인코더에 설정되고; 상기 인트라 프레임 예측 장치는 처리 모듈을 더 포함하며;
처리 모듈은, 전부 또는 일부의 가능한 예측 모드와 가중 매트릭스 도출 모드의 콤비네이션을 시도하고, 손실 비용을 계산하며, 손실 비용이 작은 콤비네이션을 선택하고; 콤비네이션에서의 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스를 인트라 프레임 예측을 수행하기 위한 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스로 사용하며; 결정된 두 가지 이상의 상이한 인트라 프레임 예측 모드, 가중 매트릭스 도출 모드 등 정보를, 신텍스에 따라 비트 스트림에 기입하도록 설정되는 것을 특징으로 하는 인트라 프레임 예측 장치. - 제57항에 있어서,
상기 처리 모듈은 또한, 플래그를 설정하도록 설정되며;
상기 플래그는 프레임 레벨이고, 디코더가 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하는 것을 계속 실행할지 여부를 나타내기 위한 것; 및
상기 플래그는 프레임 레벨 이하, 코딩 유닛(CU) 레벨 이상의 플래그이며, 지시하는 영역에 대해, 디코더가 상기 상이한 인트라 프레임 예측 모드에 대응되는 두 가지 이상의 예측 블록을 획득하는 것을 계속 실행할지 여부를 나타내기 위한 것 중 적어도 하나인 것을 특징으로 하는 인트라 프레임 예측 장치. - 제57항에 있어서,
상기 처리 모듈은 또한,
상기 인트라 프레임 예측과 상호 배타적인 예측 모드를 설정하도록 설정되고;
상기 처리될 블록이 상기 인트라 프레임 예측을 사용하면, 상호 배타적인 예측 모드를 사용하지 않고; 또는, 상기 처리될 블록이 상호 배타적인 예측 모드를 사용하면, 상기 인트라 프레임 예측을 사용하지 않는 것을 특징으로 하는 인트라 프레임 예측 장치. - 제52항에 있어서,
상기 콤비네이션 모듈은 또한,
인트라 프레임 예측에서 사용되는 인트라 프레임 예측 모드 정보를 저장하도록 설정되는 것을 특징으로 하는 인트라 프레임 예측 장치.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/133692 WO2022116113A1 (zh) | 2020-12-03 | 2020-12-03 | 一种帧内预测方法、装置及解码器和编码器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230111255A true KR20230111255A (ko) | 2023-07-25 |
Family
ID=81852820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237022446A KR20230111255A (ko) | 2020-12-03 | 2020-12-03 | 인트라 프레임 예측 방법, 장치 및 디코더와 인코더 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20230319265A1 (ko) |
| JP (1) | JP2024503193A (ko) |
| KR (1) | KR20230111255A (ko) |
| CN (2) | CN116601957A (ko) |
| MX (1) | MX2023003166A (ko) |
| WO (1) | WO2022116113A1 (ko) |
| ZA (1) | ZA202301911B (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024007128A1 (zh) * | 2022-07-04 | 2024-01-11 | Oppo广东移动通信有限公司 | 视频编解码方法、装置、设备、系统、及存储介质 |
| CN114885164B (zh) * | 2022-07-12 | 2022-09-30 | 深圳比特微电子科技有限公司 | 确定帧内预测模式的方法、装置及电子设备和存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105979261B (zh) * | 2016-06-21 | 2019-03-26 | 浙江大华技术股份有限公司 | 一种帧内预测模式的选择方法及装置 |
| US10757420B2 (en) * | 2017-06-23 | 2020-08-25 | Qualcomm Incorporated | Combination of inter-prediction and intra-prediction in video coding |
| WO2019017694A1 (ko) * | 2017-07-18 | 2019-01-24 | 엘지전자 주식회사 | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
| US11350107B2 (en) * | 2017-11-16 | 2022-05-31 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device, and recording medium storing bitstream |
| EP3567860A1 (en) * | 2018-05-09 | 2019-11-13 | InterDigital VC Holdings, Inc. | Method and apparatus for blended intra prediction |
| KR20210089149A (ko) * | 2018-11-16 | 2021-07-15 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 인터 및 인트라 통합 예측 모드 가중치 |
-
2020
- 2020-12-03 JP JP2023533963A patent/JP2024503193A/ja active Pending
- 2020-12-03 CN CN202080107556.4A patent/CN116601957A/zh active Pending
- 2020-12-03 MX MX2023003166A patent/MX2023003166A/es unknown
- 2020-12-03 WO PCT/CN2020/133692 patent/WO2022116113A1/zh active Application Filing
- 2020-12-03 CN CN202311103342.1A patent/CN117354511A/zh active Pending
- 2020-12-03 KR KR1020237022446A patent/KR20230111255A/ko unknown
-
2023
- 2023-02-16 ZA ZA2023/01911A patent/ZA202301911B/en unknown
- 2023-06-02 US US18/205,109 patent/US20230319265A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN116601957A (zh) | 2023-08-15 |
| WO2022116113A1 (zh) | 2022-06-09 |
| MX2023003166A (es) | 2023-03-27 |
| JP2024503193A (ja) | 2024-01-25 |
| US20230319265A1 (en) | 2023-10-05 |
| ZA202301911B (en) | 2024-01-31 |
| CN117354511A (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11375234B2 (en) | Method and apparatus for decoding video signal | |
| JP6820115B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び符号化ビットストリームを記録した記録媒体 | |
| JP6412910B2 (ja) | ビデオを復号化する方法、ビデオを符号化する方法、デコーダ、エンコーダ、復号プログラムを記録したコンピュータ読み取り可能な記録媒体、および符号化プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US10499053B2 (en) | Method of improved directional intra prediction for video coding | |
| US20180242024A1 (en) | Methods and Apparatuses of Candidate Set Determination for Quad-tree Plus Binary-tree Splitting Blocks | |
| RU2658178C1 (ru) | Устройство декодирования изображений, устройство кодирования изображений, способ декодирования изображений и способ кодирования изображений | |
| KR20190016983A (ko) | 인트라 예측 정보 부호화 방법 및 장치 | |
| EP3007447A1 (en) | Method for improving intra-prediction of diagonal mode in video coding | |
| KR20130045150A (ko) | 영상 복호화 방법 및 장치 | |
| KR20190052097A (ko) | 영상 처리 방법 및 이를 위한 장치 | |
| US20230319265A1 (en) | Intra prediction method and device, decoder, and encoder | |
| KR20190096432A (ko) | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 | |
| CN115037946A (zh) | 编码或解码视频数据的方法和装置 | |
| JPWO2012008054A1 (ja) | 動画像復号装置、動画像復号方法及び動画像符号化装置ならびに動画像符号化方法 | |
| US20150256827A1 (en) | Video encoding device, video decoding device, video encoding method, and video decoding method | |
| JP2023090929A (ja) | ビデオ復号化方法、ビデオ復号化装置及び記憶媒体 | |
| KR20230111254A (ko) | 인트라 예측 방법, 인코더, 디코더 및 저장 매체 | |
| US11089326B2 (en) | Moving image encoding device, moving image encoding method, moving image decoding device, and moving image decoding method | |
| JP2022186939A (ja) | 符号化装置、復号装置及びプログラム | |
| CN113395520A (zh) | 解码预测方法、装置及计算机存储介质 | |
| WO2022140905A1 (zh) | 预测方法、编码器、解码器以及存储介质 | |
| US20230403392A1 (en) | Intra prediction method and decoder | |
| WO2022188114A1 (zh) | 帧内预测方法、编码器、解码器以及存储介质 | |
| WO2024007116A1 (zh) | 解码方法、编码方法、解码器以及编码器 | |
| KR20230137232A (ko) | 컨텍스트 모델 초기화를 사용하는 비디오 코딩방법 및 장치 |