KR20220021036A - 인트라 서브-파티션 코딩 모드를 이용한 비디오 코딩 - Google Patents

인트라 서브-파티션 코딩 모드를 이용한 비디오 코딩 Download PDF

Info

Publication number
KR20220021036A
KR20220021036A KR1020227003953A KR20227003953A KR20220021036A KR 20220021036 A KR20220021036 A KR 20220021036A KR 1020227003953 A KR1020227003953 A KR 1020227003953A KR 20227003953 A KR20227003953 A KR 20227003953A KR 20220021036 A KR20220021036 A KR 20220021036A
Authority
KR
South Korea
Prior art keywords
sub
mode
block
prediction
intra
Prior art date
Application number
KR1020227003953A
Other languages
English (en)
Inventor
위-엔 첸
시아오유 시우
시앙린 왕
충-추안 마
Original Assignee
베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드
Publication of KR20220021036A publication Critical patent/KR20220021036A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process

Abstract

비디오 코딩 방법은 복수의 대응하는 서브-파티션 각각에 대해 각각의 인트라 예측을 독립적으로 생성하는 단계를 포함한다. 각각의 인트라 예측은 현재 코딩 블록으로부터의 복수의 참조 샘플들을 사용하여 생성된다. 예시적으로, 복수의 대응하는 서브-파티션들의 제 1 서브-파티션으로부터의 재구성된 샘플은 복수의 대응하는 서브-파티션의 임의의 다른 서브-파티션에 대한 각각의 인트라 예측을 생성하는데 사용되지 않으며, 복수의 대응하는 서브 파티션들 각각의 폭은 2 이하이다.

Description

인트라 서브-파티션 코딩 모드를 이용한 비디오 코딩{VIDEO CODING USING INTRA SUB-PARTITION CODING MODE}
관련 출원들에 대한 상호 참조
본 출원은 2019년 2월 5일자로 미국에 출원된 미국 가특허출원(출원번호 62/801,214)의 우선권을 주장하며, 상기 미국 가출원의 전체 내용은 참조로서 본 명세서에 통합된다.
일반적으로 본 발명은 비디오 코딩 및 압축에 관한 것이다. 보다 구체적으로, 본 발명은 인트라 서브-파티션 코딩 모드를 사용하여 비디오 코딩을 수행하기 위한 시스템 및 방법에 관한 것이다.
본 섹션은 본 발명과 관련된 배경 정보를 제공한다. 본 섹션에 포함된 정보는 반드시 선행 기술로만 해석될 필요는 없다.
다양한 비디오 코딩 기술들 중 임의의 것이 비디오 데이터를 압축하는데 사용될 수 있다. 비디오 코딩은 하나 이상의 비디오 코딩 표준에 따라 수행될 수 있다. 일부 예시적인 비디오 코딩 표준들은, 다목적 비디오 코딩(VVC: versatile video coding), JEM(Joint exploration test model) 코딩, 고효율 비디오 코딩(high-efficiency video coding)(H.265/HEVC), 고급 비디오 코딩(advanced video coding)(H.264/AVC) 및 동영상 전문가 그룹(MPEG) 코딩을 포함한다.
비디오 코딩은 일반적으로 비디오 이미지 또는 시퀀스에 내재된 리던던시를 이용하는 예측 방법(예를 들어, 인터-예측, 인트라-예측 등)을 사용한다. 비디오 코딩 기술의 목표 중 하나는 비디오 품질의 저하를 방지하거나 최소화하면서도, 비디오 데이터를 더 낮은 비트 전송률을 사용하는 포맷으로 압축하는 것이다.
2013년 10월에 완성된 HEVC 표준의 첫 번째 버전은 이전 세대 비디오 코딩 표준(H.264/MPEG AVC)에 비해 약 50 %의 비트 레이트 절약 또는 동등한 인지 품질을 제공한다. 비록, HEVC 표준이 이전 버전에 비해 상당한 코딩 향상을 제공하지만, 추가적인 코딩 툴들을 이용하여 HEVC 보다 우수한 코딩 효율성을 달성할 수 있다는 증거가 존재한다. 이러한 증거를 바탕으로, 비디오 코딩 전문가 그룹(VCEG: Video Coding Experts Group)과 동영상 전문가 그룹(MPEG: Moving Picture Experts Group)은 향후 비디오 코딩 표준화를 위한 새로운 코딩 기술을 개발하기 위한 탐색 작업을 시작했다. 조인트 비디오 탐구 팀(JVET: Joint Video Exploration Team)이 ITU-T VECG 및 ISO/IEC MPEG에 의해 2015년 10월에 구성되어 코딩 효율성을 크게 향상시킬 수 있는 고급 기술에 대한 중요한 연구를 시작했다. JEM(Joint Exploration Model)이라 지칭되는 하나의 참조 소프트웨어 모델은 HEVC 테스트 모델(HM) 위에 몇 가지 추가 코딩 툴들을 통합함으로써 JVET에 의해서 관리되었다.
2017년 10월, HEVC 이상의 능력을 가진 비디오 압축에 대한 공동 제안 요청(CfP)이 ITU-T 및 ISO/IEC에 의해 발표되었다. 2018년 4월, 제10차 JVET 회의에서 23 개의 CfP 응답들이 접수되고 평가되었다. 이러한 응답들은 HEVC 표준에 비해 대략 40 %의 압축 효율성 향상을 보여주었다. 이러한 평가 결과에 기초하여, JVET는 다목적 비디오 코딩(VVC: Versatile Video Coding)이라는 차세대 비디오 코딩 표준을 개발하기 위한 새로운 프로젝트를 시작하였다. 또한, 2018년 4월 동안, VVC 표준에 대한 참조 구현을 시연하기 위해, VVC 테스트 모델(VTM)이라 지칭되는 하나의 참조 소프트웨어 코드베이스가 구축되었다.
본 섹션은 본 발명의 일반적인 요약을 제공하며, 본 개시 내용의 전체 범위 또는 모든 피처들에 대한 포괄적인 공개가 아니다.
본 개시의 제 1 양태에 따르면, 비디오 코딩 방법은 하나 이상의 프로세서에 의해 실행될 복수의 프로그램을 저장하는 메모리 및 하나 이상의 프로세서를 갖는 컴퓨팅 디바이스에서 수행된다. 상기 방법은 복수의 서브-파티션들 각각에 대해 각각의 인트라 예측을 독립적으로 생성하는 단계를 포함하며, 각각의 인트라 예측은 현재 코딩 블록으로부터의 복수의 참조 샘플들을 사용하여 생성된다.
본 개시의 제 2 양태에 따르면, 비디오 코딩 방법은 하나 이상의 프로세서에 의해 실행될 복수의 프로그램을 저장하는 메모리 및 하나 이상의 프로세서를 갖는 컴퓨팅 디바이스에서 수행된다. 상기 방법은 인트라 서브 파티션(ISP) 코딩된 블록의 루마 성분에 대해 M 개의 가능한 인트라 예측 모드들 중 N 개의 모드들만을 사용하여 복수의 서브-파티션들 각각에 대한 각각의 인트라 예측을 생성하는 단계를 포함하며, 여기서 M 및 N은 양의 정수이고 N은 M보다 작다.
본 개시의 제 3 양태에 따르면, 비디오 코딩 방법은 하나 이상의 프로세서에 의해 실행될 복수의 프로그램을 저장하는 메모리 및 하나 이상의 프로세서를 갖는 컴퓨팅 디바이스에서 수행된다. 상기 방법은 인트라 서브 파티션(ISP) 코딩된 블록의 크로마 성분에 대해 M 개의 가능한 인트라 예측 모드들 중 N 개의 모드들만을 사용하여 인트라 예측을 생성하는 단계를 포함하며, 여기서 M과 N은 양의 정수이고 N은 M보다 작다.
본 개시의 제 4 양태에 따르면, 비디오 코딩 방법은 하나 이상의 프로세서에 의해 실행될 복수의 프로그램을 저장하는 메모리 및 하나 이상의 프로세서를 갖는 컴퓨팅 디바이스에서 수행된다. 상기 방법은 루마 컴포넌트에 대해, 전체 인트라 서브 파티션(ISP) 코딩된 블록의 복수의 서브-파티션들 각각에 대해 각각의 루마 인트라 예측을 생성하고, 크로마 컴포넌트에 대해, 전체 인트라 서브 파티션(ISP) 코딩된 블록에 대한 크로마 인트라 예측을 생성하는 단계를 포함한다.
본 개시의 제 5 양태에 따르면, 비디오 코딩 방법은 하나 이상의 프로세서에 의해 실행될 복수의 프로그램을 저장하는 메모리 및 하나 이상의 프로세서를 갖는 컴퓨팅 디바이스에서 수행된다. 상기 방법은 인트라 서브 파티션 모드를 사용하여 제 1 예측을 생성하는 단계; 인터 예측 모드를 사용하여 제 2 예측을 생성하는 단계; 및 상기 제 1 및 제 2 예측에 가중 평균을 적용함으로써 최종 예측을 생성하기 위해 상기 제 1 및 제 2 예측을 결합하는 단계를 포함한다.
이하, 본 발명의 예시적이고 비제한적인 실시예들의 세트가 첨부된 도면들과 관련하여 설명될 것이다. 구조, 방법 또는 기능에 대한 변형들은 여기에 제시된 일례에 기초하여 관련 기술 분야의 통상의 기술자에 의해 구현될 수 있으며, 이러한 변형예들은 모두 본 개시의 범위 내에 포함된다. 상충이 존재하지 않는 경우, 다른 실시예의 교시는 서로 결합될 수 있지만 반드시 필요한 것은 아니다.
도 1은 많은 비디오 코딩 표준과 함께 사용될 수 있는 예시적인 인코더를 설명하는 블록도이다.
도 2는 많은 비디오 코딩 표준과 함께 사용될 수 있는 예시적인 디코더를 설명하는 블록도이다.
도 3은 다중 유형 트리 구조에 대한 5 가지 유형의 예시적인 블록 파티션을 도시한다.
도 4는 VVC 표준과 함께 사용하기 위한 예시적인 인트라 모드 세트를 도시한다.
도 5는 인트라 예측을 수행하기 위한 다수의 참조 라인들의 세트를 예시한다.
도 6a는 제 1 직사각형 블록의 인트라 예측을 수행하기 위해 사용되는 제 1 세트의 참조 샘플 및 각도 방향을 예시한다.
도 6b는 제 2 직사각형 블록의 인트라 예측을 수행하기 위해 사용되는 제 2 참조 샘플 세트 및 각도 방향을 예시한다.
도 6c는 정사각형 블록의 인트라 예측을 수행하기 위해 사용되는 제 3 세트의 참조 샘플 및 각도 방향을 예시한다.
도 7은 하나의 코딩 블록의 위치-의존적 인트라 예측 조합(PDPC)을 위해 이용되는 이웃하는 재구성된 샘플들에 대한 예시적인 위치 세트를 도시한다.
도 8a는 8x4 블록에 대한 단거리 인트라 예측(SDIP) 파티션들의 예시적인 세트를 도시한다.
도 8b는 4x8 블록에 대한 단거리 인트라 예측(SDIP) 파티션들의 예시적인 세트를 도시한다.
도 8c는 임의의 크기의 블록에 대한 단거리 인트라 예측(SDIP) 파티션들의 예시적인 세트를 도시한다.
도 9a는 루마 값들의 함수로서 크로마 값들의 플롯이며, 여기서 플롯은 선형 모델 파라미터들의 세트를 유도하는데 사용된다.
도 9b는 도 9a의 선형 모델 파라미터들의 유도에 사용되는 샘플의 위치를 나타낸다.
도 10은 현재 코딩 블록 외부의 참조 샘플들만을 사용하여 모든 서브-파티션들에 대한 인트라 예측을 위한 참조 샘플들의 생성을 예시한다.
도 11은 도 10의 제 1 서브-파티션에 대한 인터 예측자 샘플들 및 인트라 예측자 샘플들의 조합을 예시한다.
도 12는 도 10의 제 2 서브-파티션에 대한 인터 예측자 샘플들 및 인트라 예측자 샘플들의 조합을 예시한다.
본 개시에서 사용되는 용어는 본 개시를 제한하기보다는 특정 일례를 예시하기 위한 것이다. 본 명세서 및 첨부된 청구 범위에서 사용되는 단수형 "a" , "an" 및 "the"는 다른 의미가 문맥에 명확히 포함하지 않는한 또한 복수형도 지칭한다. 본 명세서에서 사용되는 용어 "및/또는"은 하나 이상의 연관된 나열 항목들의 임의의 조합 또는 가능한 모든 조합을 지칭한다는 것을 이해해야 한다.
본 명세서에서는 다양한 정보를 설명하기 위해 "제 1", "제 2", "제 3" 등의 용어가 사용될 수 있지만, 상기 정보는 이러한 용어들에 의해 제한되어서는 안된다는 점을 이해해야한다. 이들 용어들은 정보의 하나의 카테고리를 다른 카테고리와 구별하는데만 사용된다. 예를 들어, 본 개시의 범위를 벗어나지 않으면서, 제 1 정보는 제 2 정보로 지칭될 수 있고; 유사하게, 제 2 정보는 또한 제 1 정보로 지칭될 수 있다. 본 명세서에서 사용된 용어 "if"는 문맥에 따라 "언제" 또는 "~하면" 또는 "~에 응답하여"를 의미하는 것으로 이해될 수 있다.
본 명세서 전반에 걸쳐 단수 또는 복수형의 "일 실시예", "실시예", "다른 실시예" 등의 언급은 실시예와 관련하여 설명된 하나 이상의 특정한 피처들, 구조들 또는 특성들이 다음과 같다는 것을 의미한다. 본 개시의 적어도 하나의 실시예에 포함됨을 의미한다. 따라서, 본 명세서 전체에 걸쳐 여러 곳에서 단수 또는 복수형으로 "일 실시예에서" 또는 "실시예에서", "다른 실시예에서" 등의 문구가 출현하는 것은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다. 더욱이, 하나 이상의 실시예에서의 특정 피처들, 구조들 또는 특성들은 임의의 적절한 방식으로 결합될 수 있다.
개념적으로, 배경 섹션에서 이전에 언급된 것들을 포함하여, 많은 비디오 코딩 표준들은 유사하다. 예를 들어, 거의 모든 비디오 코딩 표준들은 블록 기반 프로세싱을 사용하고 비디오 압축을 달성하기 위해 유사한 비디오 코딩 블록 다이어그램을 공유한다. HEVC와 마찬가지로, VVC 표준은 블록 기반 하이브리드 비디오 코딩 프레임 워크를 기반으로 한다.
도 1은 많은 비디오 코딩 표준들과 함께 사용될 수 있는 예시적인 인코더(100)의 블록도를 도시한다. 인코더(100)에서, 비디오 프레임은 프로세싱을 위해 복수의 비디오 블록으로 분할된다. 각각의 주어진 비디오 블록에 대해, 인터 예측 접근법 또는 인트라 예측 접근법에 기초하여 예측이 형성된다. 인터 예측에서는, 이전에 재구성된 프레임들의 픽셀들에 기반하여 모션 추정 및 모션 보상을 통해 하나 이상의 예측자들(predictors)이 형성된다. 인트라 예측에서는, 현재 프레임의 재구성된 픽셀들에 기초하여 예측자들이 형성된다. 모드 결정을 통해, 현재 블록을 예측하기 위한 최상의 예측자를 선택할 수 있다. 현재 비디오 블록과 그것의 예측자 사이의 차이를 나타내는 예측 잔차는 변환(102) 회로로 전송된다. 그 후, 변환 계수는 엔트로피 감소를 위해 변환(102) 회로로부터 양자화(104) 회로로 전송된다. 이후, 양자화된 계수가 엔트로피 코딩(106) 회로에 공급되어 압축된 비디오 비트 스트림을 생성한다. 도 1에 도시된 바와 같이, 비디오 블록 파티션 정보, 모션 벡터, 참조 픽처 인덱스 및 인트라 예측 모드와 같은, 인터 예측 회로 및/또는 인트라 예측 회로(112)로부터의 예측 관련 정보(110)도 엔트로피 코딩 회로(106)를 통해 공급되고 그리고 압축된 비디오 비트 스트림(114)에 저장된다.
인코더(100)에서, 예측을 위한 목적으로 픽셀들을 재구성하기 위하여, 디코더 관련 회로들도 또한 필요하다. 먼저, 예측 잔차는 역 양자화(116) 회로 및 역변환(118) 회로를 통해 재구성된다. 이러한 재구성된 예측 잔차는 블록 예측자(120)와 결합되어, 현재 비디오 블록에 대한 필터링되지 않은 재구성된 픽셀들을 생성한다.
코딩 효율과 시각적 품질을 향상시키기 위해 인-루프(In-Loop) 필터(115)가 일반적으로 사용된다. 예를 들어, 디블로킹 필터는 AVC, HEVC 및 현재 버전의 VVC에서 사용될 수 있다. HEVC에서는, 코딩 효율성을 더욱 향상시키기 위해, SAO(샘플 적응형 오프셋: Sample Adaptive Offset)라 지칭되는 추가적인 인-루프 필터가 정의된다. 현재의 VVC 표준 버전에서는, ALF(적응형 루프 필터: Adaptive Loop Filter)라 지칭되는 또 다른 인-루프 필터가 적극적으로 연구되고 있으며, 이는 최종 표준에 포함될 가능성이 높다. 이러한 인-루프 필터 동작들은 선택적이다. 이러한 작업들을 수행하면 코딩 효율성과 시각적 품질을 개선하는데 도움이 된다. 이들은 또한 계산 복잡성을 절약하기 위해 인코더(100)에 의해 렌더링된 결정으로서 턴 오프될 수 있다.
다음을 유의해야 하는바, 인트라 예측은 일반적으로 필터링되지 않은 재구성된 픽셀들에 기반하는 반면, 인터 예측은 이러한 필터 옵션들이 인코더(100)에 의해 턴 온된 경우, 필터링된 재구성된 픽셀들에 기반한다.
도 2는 많은 비디오 코딩 표준들과 함께 사용될 수 있는 예시적인 디코더(200)를 설명하는 블록도이다. 디코더(200)는 도 1의 인코더(100)에 존재하는 재구성 관련 섹션과 유사하다. 디코더(200)(도 2)에서, 입력 비디오 비트 스트림(201)은 먼저 엔트로피 디코딩(202) 회로를 통해 디코딩되어 양자화된 계수 레벨들 및 예측 관련 정보를 도출한다. 양자화된 계수 레벨들은 재구성된 예측 잔차를 얻기 위해, 역 양자화(204) 회로 및 역 변환(206) 회로를 통해 프로세싱된다. 인트라/인터 모드 선택기(212)에서 구현되는 블록 예측자 메커니즘은 디코딩된 예측 정보에 기초하여, 인트라 예측(208) 절차 또는 모션 보상(210) 절차를 수행하도록 구성된다. 필터링되지 않은 재구성된 픽셀들의 세트는 합산기(Summer)(214)를 이용하여, 역변환(206) 회로로부터의 재구성된 예측 잔차와 블록 예측자 메커니즘에 의해 생성된 예측 출력을 합산함으로써 획득된다. 재구성된 블록은 픽처 버퍼(213)에 저장되기 전에 인-루프 필터(209)를 또한 통과할 수 있으며, 픽처 버퍼(213)는 참조 픽처 스토어로서 기능한다. 다음으로, 픽처 버퍼(213) 내의 재구성된 비디오는 디스플레이 디바이스를 구동하기 위해 전송될 수 있을 뿐만 아니라, 미래의 비디오 블록을 예측하는데 사용될 수 있다. 인-루프 필터(209)가 턴 온된 상황에서, 최종 재구성된 비디오 출력(222)을 유도하기 위해 이들 재구성된 픽셀들에 대해 필터링 동작이 수행된다.
이제 도 1로 돌아간다. 도 1에서, 인코더(100)로 입력되는 비디오 신호는 블록 단위로 프로세싱된다. 각각의 블록은 코딩 단위(CU: coding unit)로 지칭된다. VTM-1.0에서, CU는 최대 128x128 픽셀이 될 수 있다. HEVC(High Efficiency Video Encoding), JEM(Joint Exploration Test Model) 및 VVC(Versatile Video Encoding)에서, 압축의 기본 단위는 코딩 트리 단위(CTU: coding tree unit)라고 지칭된다. 하지만, 쿼드-트리만을 기반으로 블록을 분할하는 HEVC 표준과 달리, VVC 표준에서는, 하나의 코딩 트리 단위(CTU)가 CU들로 분할되어, 쿼드/바이너리/터너리 트리 구조(quad/binary/ternary-tree structure)에 기초하여 다양한 로컬 특성에 적응될 수 있다. 또한, HEVC 표준에서의 다중 파티션 단위 타입의 개념은 VVC 표준에 존재하지 않는다. 즉, CU(coding unit), 예측 단위(PU: prediction unit) 및 변환 단위(TU: transform unit)의 분리는 VVC 표준에는 존재하지 않는다. 대신에, 각각의 CU는 더 이상의 파티션 없이 예측 및 변환 둘다를 위한 기본 단위로 항상 사용된다. HEVC 및 JEM의 최대 CTU 크기는, 4 : 2 : 0 크로마 포맷에 대하여, 최대 64 x 64 루마 픽셀들과 32 x 32 크로마 픽셀들의 2개의 블록들로 정의된다. CTU에서 허용되는 최대 루마 블록 크기는 128 x 128로 지정된다(루마 변환 블록의 최대 크기는 64 x 64 임).
도 3은 다중-유형 트리 구조에 대한 5 가지 유형의 예시적인 블록 파티션을 도시한다. 5 가지 유형의 예시적인 블록 파티션은 4 분할(quaternary partitioning)(301), 수평 2진 분할(horizontal binary partitioning)(302), 수직 2진 분할(303), 수평 3진 분할(horizontal ternary partitioning)(304) 및 수직 3진 분할(305)을 포함한다. 다중 유형 트리 구조가 활용되는 상황에서, 하나의 CTU가 먼저 쿼드 트리 구조에 의해 분할된다. 그런 다음, 각각의 쿼드 트리 리프 노드(quad-tree leaf node)는 2진 및 3진 트리 구조로 더 분할될 수 있다.
도 3의 예시적인 블록 분할들(301, 302, 303, 304 또는 305) 중 하나 이상을 사용하면, 도 1에 도시된 구성을 이용하여 공간적 예측(spatial prediction) 및/또는 시간적 예측(temporal prediction)이 수행될 수 있다. 공간적 예측(또는 "인트라 예측")은 현재 비디오 블록을 예측하기 위해, 동일한 비디오 픽처/슬라이스에서 이미 코딩된 이웃 블록들의 샘플들(참조 샘플들이라 지칭됨)로부터의 픽셀들을 이용한다. 공간적 예측은 비디오 신호에 내재하는 공간 리던던시를 감소시킨다.
시간적 예측("인터 예측"또는 "모션 보상 예측"이라고도 함)은 현재 비디오 블록을 예측하기 위해 이미 코딩된 비디오 픽처들로부터의 재구성된 픽셀들을 사용한다. 시간적 예측은 비디오 신호에 내재된 시간 리던던시를 감소시킨다. 주어진 CU에 대한 시간적 예측 신호는 일반적으로, 현재 CU와 그 시간적 기준 사이의 모션의 분량과 방향을 나타내는 하나 이상의 모션 벡터(MV)에 의해 시그널링된다. 또한, 다수의 참조 픽처들이 지원되는 경우, 하나의 참조 픽처 인덱스가 추가로 전송되며, 이는 참조 픽처 스토어의 어느 참조 픽처로부터 시간 예측 신호가 오는지를 식별하는데 사용된다.
공간적 예측 및/또는 시간적 예측이 수행된 후, 인코더(100)의 인트라/인터 모드 결정(121) 회로는 예를 들어, 레이트-왜곡 최적화 방법(rate-distortion optimization method)에 기초하여 최상의 예측 모드를 선택한다. 그 후 블록 예측자(120)는 현재 비디오 블록에서 감산된다; 결과적인 예측 잔차는 변환(102) 회로 및 양자화(104) 회로를 사용하여 상관-해제된다(de-correlated). 결과적인 양자화된 잔차 계수들은 역 양자화(116) 회로에 의해 역 양자화되고 그리고 역 변환(118) 회로(118)에 의해 역 변환되어 재구성된 잔차를 형성하고, 이는 다시 예측 블록에 다시 부가되어 CU의 재구성된 신호를 형성한다. 디블로킹 필터, 샘플 적응형 오프셋(SAO) 및/또는 적응형 인-루프 필터(ALF)와 같은 추가적인 인-루프 필터링(115)은, 그것이 픽처 버퍼(117)의 참조 픽처 스토어에 투입되고 그리고 미래의 비디오 블록을 코딩하는데 사용되기 전에, 재구성된 CU에 적용될 수 있다. 출력 비디오 비트 스트림(114)을 형성하기 위하여, 코딩 모드(인터 또는 인트라), 예측 모드 정보, 모션 정보, 및 양자화된 잔차 계수들 모두가 엔트로피 코딩 유닛(106)으로 전송되어 비트 스트림을 형성하기 위해 추가로 압축되고 패킹된다.
VVC 표준에서 적용되는 기본 인트라 예측 방식은 일반적으로 HEVC 표준의 그것과 동일하게 유지되지만, 인트라 서브-파티션(ISP) 코딩 모드, 광각 인트라 방향을 사용한 확장된 인트라 예측, 위치-의존적 인트라 예측 조합(PDPC: position-dependent intra prediction combination) 및 4-탭 인트라 보간(4-tap intra interpolation)과 같이, 여러 모듈들이 VVC 표준에서 추가로 확장 및/또는 개선된다는 점이 다르다. 본 개시의 하나의 넓은 측면은 VVC 표준에서 기존의 ISP 설계를 개선하는 것에 관한 것이다. 또한, VVC 표준에 포함되고 본 개시에서 제안된 기술과 밀접하게 관련된 다른 코딩 툴들(예를 들어, 인트라 예측 및 변환 코딩 프로세스의 툴들)이 이하에서 더 상세히 논의된다.
광각 인트라 방향을 사용한 인트라 예측 모드(Intra prediction modes with wide-angle intra directions)
HEVC 표준의 경우와 같이, VVC 표준은 CU의 샘플을 예측하기 위해 하나의 현재 CU에 인접한(즉, 위 또는 왼쪽) 이전에 디코딩된 샘플들의 세트를 사용한다. 하지만, 자연스러운 비디오(특히 4K와 같은 고해상도 비디오 콘텐츠의 경우)에 존재하는 보다 미세한 에지 방향(finer-edge directions)을 캡처하기 위하여, 앵귤러(angular) 인트라 모드들의 분량이 HEVC 표준의 33 개 모드에서 VVC 표준의 93 개 모드로 확장되었다. 각도 방향 외에도 HEVC 표준 및 VVC 표준 둘다는 평면 모드(경계들로부터 파생된 수평 및 수직 기울기가 있는 점진적으로 변화화는 표면을 가정함) 및 DC 모드(평평한 표면을 가정함)를 제공한다.
도 4는 VVC 표준과 함께 사용하기 위한 예시적인 인트라 모드들의 세트(400)를 도시한다. 도 5는 인트라 예측을 수행하기 위한 다수의 참조 라인들(reference lines)의 세트를 예시한다. 도 4를 참조하면, 예시적인 인트라 모드들의 세트(400)는 모드 0, 1, -14, -12, -10, -8, -6, -4, -2, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 30, 32, 34, 36, 38, 40, 42, 44, 46, 48, 50, 52, 54, 56, 58, 60, 62, 64, 66, 68, 70, 72, 74, 76, 78 및 80을 포함한다. 모드 0은 평면 모드에 해당하고 모드 1은 DC 모드에 해당한다. HEVC 표준의 인트라 예측 프로세스와 유사하게, VVC 표준에서 정의된 모든 인트라 모드들(즉, 평면, DC 및 각도 방향들)은 인트라에 대한 참조로서 예측된 블록의 위와 왼쪽에 있는 인접한 재구성된 샘플들의 세트를 사용한다. 하지만, 재구성된 샘플들 중 가장 가까운 로우/컬럼(도 5의 라인 0, 501)만이 참조로서 사용되는 HEVC 표준과 달리, VVC에서는 다중 참조 라인(MRL)이 도입되며, 2개의 추가적인 로우들/컬럼들(도 5의 라인 1, 503 및 라인 3, 505)이 인트라 예측 프로세스를 위해 이용된다. 선택된 참조 로우/컬럼의 인덱스는 인코더(100)(도 1)로부터 디코더(200)(도 2)로 시그널링된다. 가령, 라인 1(503) 또는 라인 3(505)과 같이 도 5에서 가장 가까운 로우/컬럼이 선택되지 않은 경우, 도 5의 평면 모드 및 DC 모드는 현재 블록을 예측하는데 이용될 수 있는 인트라 모드들의 세트에서 제외된다.
도 6a는 직사각형 블록(폭 W를 높이 H로 나눈 값은 2와 같다)의 인트라 예측에 사용되는 참조 샘플들의 제 1 세트 및 각도 방향들(602, 604)을 예시한다. 참조 샘플들의 제 1 세트는 제 1 샘플(601) 및 제 2 샘플(603)을 포함한다. 도 6b는 높은 직사각형 블록(W/H = ½)의 인트라 예측에 사용되는 참조 샘플들의 제 2 세트 및 각도 방향들(606, 608)을 도시한다. 참조 샘플들의 제 2 세트는 제 3 샘플(605) 및 제 4 샘플(607)을 포함한다. 도 6c는 정사각형 블록(W = H)의 인트라 예측에 사용되는 참조 샘플들의 제 3 세트 및 각도 방향들(610 및 612)을 도시한다. 참조 샘플들의 제 3 세트는 제 5 샘플(609) 및 제 6 샘플(610)을 포함한다. 가장 가까운 이웃들을 사용한다고 가정하면, 도 6c는 하나의 인트라 블록의 예측된 샘플을 도출하기 위해 VVC 표준에서 사용될 수 있는 제 3 참조 샘플들의 위치들을 예시한다. 도 6c에 도시된 바와 같이 쿼드/바이너리/터너리 트리 파티션 구조가 적용되기 때문에, 정사각형 형태의 코딩 블록 이외에도, VVC 표준의 맥락에서 인트라 예측 절차를 위해 직사각형 코딩 블록들도 또한 존재한다.
하나의 주어진 블록의 폭과 높이가 동일하지 않기 때문에, 다양한 각도 방향들의 세트가 상이한 블록 형상들에 대해 선택되며, 이는 또한 광각(wide-angle) 인트라 예측이라 지칭된다. 특히, 정사각형 및 직사각형 코딩 블록들 모두에 대해 평면 모드 및 DC 모드 외에도, 각각의 블록 형상에 대해 93개의 각도 방향 중 65개가 표 1에 도시된 것처럼 지원된다. 이러한 설계는 비디오에 통상적으로 존재하는 방향성 구조들(directional structures)을 효율적으로 캡처할 수 있을 뿐만 아니라(블록 형상들에 기초하여 각도 방향들을 적응적으로 선택함으로써), 총 67개의 인트라 모드들(즉, 평면 모드, DC 모드, 및 65개의 각도 방향들)이 각각의 코딩 블록에 대해 이용가능함을 보장한다. 이는 다양한 블록 사이즈들에 걸쳐 일관된 설계를 제공하는 동시에, 인트라 모드들의 시그널링에 대한 우수한 효율성을 달성할 수 있다.
VVC에서 상이한 블록 형상들의 인트라 예측을 위한 선택된 각도 방향들
블록 형상 종횡비 선택된 각도 방향들
정사각형, W = H W / H == 1 2 ~ 66
평평한 직사각형, W > H W / H == 2 8 ~ 72
W / H == 4 12 ~ 76
W / H == 8 14 ~ 78
W / H == 16 16 ~ 80
W / H == 32 17 ~ 81
높은 직사각형, W < H W / H == 1/2 -4 ~ 60
W / H == 1/4 -8 ~ 56
W / H == 1/8 -10 ~ 54
W / H == 1/16 -12 ~ 52
W / H == 1/32 -13 ~ 51
위치-의존적 인트라 예측 조합앞서 언급한 바와 같이, 이웃한 참조 샘플들의 필터링되지 않은 세트 또는 필터링된 세트 중 어느 하나로부터 인트라 예측 샘플들이 생성되며, 이는 현재 코딩 블록과 그 이웃들 사이의 블록 경계들을 따라 불연속성을 도입할 수 있다. 이러한 문제를 해결하기 위해, 2 탭 필터(DC 모드용) 또는 그래디언트 기반 평활화 필터(수평 및 수직 예측 모드용)를 사용하여, DC, 수평(즉, 도 4의 모드 18) 및 수직(즉, 모드 50) 예측 모드들의 예측 샘플들의 제 1 로우/컬럼과 필터링되지 않은 참조 샘플들을 조합함으로써, HEVC 표준에서 경계 필터링이 적용된다.
VVC 표준에서 위치-의존적 인트라 예측 조합(PDPC) 툴은 필터링되지 않은 참조 샘플들과 인트라 예측 샘플들의 가중 조합을 사용함으로써 전술한 개념을 확장한다. 현재 VVC 작업 초안에서는, PDPC는 시그널링 없이 다음의 인트라 모드들에 대해 이용가능하다: 평면, DC, 수평(즉, 모드 18), 수직(즉, 모드 50), 하단 좌측 대각선 방향들에 가까운 각도들(즉, 모드 2, 3, 4,…, 10) 및 상단 우측 대각선 방향들에 가까운 각도 방향들(즉, 모드 58, 59, 60,…, 66).
좌표(x, y)에 위치한 예측 샘플이 pred(x, y)라고 가정하면, PDPC 이후의 그것의 해당 값은 다음과 같이 계산된다:
pred(x, y) =(wL × R-1,y + wT × Rx,-1 - wTL × R-1,-1 +(64 - wL - wT + wTL) × pred(x, y ) + 32) >> 6 방정식 (1)
여기서 Rx,-1, R-1,y는 각각 현재 샘플(x, y)의 상단과 왼쪽에 위치한 참조 샘플을 각각 나타내고, R-1,-1은 현재 블록의 상단 좌측 코너에 위치한 참조 샘플을 나타낸다.
도 7은 하나의 코딩 블록의 위치-의존적 인트라 예측 조합(PDPC)에 사용되는 이웃하는 재구성된 샘플들에 대한 예시적인 위치들의 세트를 도시한다. 제 1 참조 샘플(701)(Rx,-1)은 현재 예측 샘플(x, y)의 상단(top)에 위치한 참조 샘플을 나타낸다. 제 2 참조 샘플(703)(R-1,y)은 현재 예측 샘플(x, y)의 좌측에 위치한 참조 샘플을 나타낸다. 제 3 참조 샘플(705)(R-1,-1)은 현재 예측 샘플(x, y)의 상단 좌측 코너에 위치한 참조 샘플을 나타낸다.
제 1, 제 2 및 제 3 참조 샘플(701, 703 및 705)을 포함하는 참조 샘플들은 PDPC 프로세스 동안 현재 예측 샘플(x, y)과 조합된다. 방정식(1)의 가중치 wL, wT 및 wTL은, 예측 모드 및 샘플 위치에 따라 아래에 서술되는 바와 같이(현재 코딩 블록은 W × H 크기로 가정됨), 적응적으로 선택된다:
● DC 모드의 경우,
wT = 32 >> (( y<<1 ) >> shift), wL = 32 >> (( x<<1 ) >> shift ), wTL = ( wL>>4 ) +( wT>>4 )
방정식 (2)
● 평면 모드의 경우,
wT = 32 >>(( y<<1 ) >> shift ), wL = 32 >>(( x<<1 ) >> shift ), wTL = 0 방정식 (3)
● 수평 모드의 경우,
wT = 32 >>(( y<<1 ) >> shift ), wL = 32 >>(( x<<1 ) >> shift ), wTL = wT
방정식 (4)
● 수직 모드의 경우,
wT = 32 >>(( y<<1 ) >> shift ), wL = 32 >>(( x<<1 ) >> shift ), wTL = wL
방정식 (5)
● 하단 좌측 대각셩 방향들의 경우,
wT = 16 >>(( y<<1 ) >> shift ), wL = 16 >>(( x<<1 ) >> shift ), wTL = 0 방정식 (6)
● 상단 우측 대각셩 방향들의 경우,
wT = 16 >>(( y<<1 ) >> shift ), wL = 16 >>(( x<<1 ) >> shift ), wTL = 0 방정식 (7)
여기서, shift = (log2(W) - 2 + log2(H) - 2 + 2 ) >> 2.
다중 변환 선택 및 형상 적응형 변환 선택
HEVC 표준에서 사용되는 DCT-II 변환에 추가하여, VVC 표준에서는 DCT-VIII 및 DST-VII의 추가적인 코어 변환을 도입함으로써 다중 변환 선택(MTS) 툴을 사용할 수 있다. VVC 표준에서는 하나의 MTS 플래그를 비트스트림에 시그널링함으로써, 코딩 블록 레벨에서 변환들의 적응형 선택이 가능하다. 구체적으로, MTS 플래그가 하나의 블록에 대해 0이면, 한 쌍의 고정 변환들(예컨대, DCT-II)이 수평 및 수직 방향에 적용된다. 그렇지 않으면(즉, MTS 플래그가 1인 경우), 각 방향에 대한 변환 유형(DCT-VIII 또는 DST-VII)을 나타내기 위하여, 2개의 추가적인 플래그들이 블록에 대해 추가로 시그널링될 것이다.
한편, 쿼드/바이너리/터너리 트리 기반 블록 파티셔닝 구조를 VVC 표준에 도입됨에 따라, 인트라 예측의 잔차들의 분포는 블록 형상과 높은 상관 관계가 있다. 따라서, MTS가 비활성화된 경우(즉, MTS 플래그가 하나의 코딩 블록에 대해 0과 같음), 현재 블록의 너비와 높이에 기초하여 DCT-II 및 DST-VII 변환들이 암시적으로 이용가능한 모든 인트라 코딩된 블록들에 하나의 형태 적응형 변환 선택 방법이 적용된다. 보다 구체적으로, 각 직사각형 블록에 대해, 상기 방법은 한 블록의 짧은 변과 관련된 방향으로 DST-VII 변환을 사용하고, 상기 블록의 긴 변과 관련된 방향으로 DCT-II 변환을 사용한다. 각 사각형 블록에 대해, DST-VII는 양방향으로 적용된다. 또한, 상이한 블록 사이즈들에 새로운 변환들이 도입되는 것을 방지하기 위해 DST-VII 변환은 하나의 인트라 코딩된 블록의 짧은 변이 16 이하일 때만 활성화된다. 그렇지 않으면, DCT-II 변환이 항상 적용된다.
표 2는 VVC에서 형상 적응형 변환 선택 방법에 기초하여 인트라 코딩된 블록에 대해 이용가능해진 수평 및 수직 변환들을 예시한다.
VVC에서 인트라 블록들에 대한 형상 적응형 변환 선택
블록 사이즈 수평 변환 수직 변환
min(W, H) > 16 DCT-II DCT-II
min(W, H) ≤16 W = H DST-VII DST-VII
W > H DCT-II DST-VII
W < H DST-VII DCT-II
인트라 서브-파티션 코딩 모드종래의 인트라 모드는 하나의 코딩 블록에 인접한 재구성된 샘플들만을 이용하여 그 블록의 인트라 예측 샘플들을 생성한다. 이러한 방법에 기초여, 예측된 샘플들과 참조 샘플들 사이의 공간적 상관관계(spatial correlation))는 예측된 샘플들과 참조 샘플들 사이의 거리에 대략 비례한다. 따라서, 안쪽 부분(inner portion)의 샘플들(특히 블록의 하단 우측 코너에 있는 샘플들)은 일반적으로 블록 경계들에 가까운 샘플들 보다 낮은 예측 품질을 갖는다. 인트라 예측 효율성을 더욱 향상시키기 위해, 단거리 인트라 예측(SDIP)이 제안되었으며 잘 연구되었다. 이 방법은 예측을 위해 하나의 인트라 코딩 블록을 수평으로 또는 수직으로 여러 개의 서브 블록들로 분할한다. 일반적으로, 정사각형 블록은 4개의 서브 블록들로 나뉘어진다. 예를 들어, 8x8 블록은 4 개의 2x8 서브 블록 또는 4 개의 8x2 서브 블록으로 분할될 수 있다. 이러한 서브 블록 기반 인트라 예측의 극단적인 경우는 소위 라인 기반 예측이며, 여기서는 예측을 위해 블록이 1-D 라인/컬럼으로 분할된다. 예를 들어, 하나의 W × H(너비 × 높이) 블록은 인트라 예측을 위해, W × 1 크기의 H 개의 서브 블록들 또는 1 × H 크기의 W 개의 서브 블록들로 분할될 수 있다. 결과적인 라인들/컬럼들 각각은, 일반 2 차원(2-D) 블록과 동일한 방식으로 코딩된다(도 6A, 6B, 6C 및 7에 도시된 바와 같이). 즉, 이것은 인트라 모드들 중 하나에 의해 예측되며 그리고 예측 오류는 변환 및 양자화에 기초하여 상관해제되고(decorrelate), 재구성을 위해 디코더(200)(도 2)로 전송된다. 결과적으로, 하나의 서브-블록(예컨대, 라인/컬럼)의 재구성된 샘플들은 다음 서브-블록의 샘플들을 예측하기 위한 참조로서 사용될 수 있다. 위의 프로세스는 현재 블록 내의 모든 서브-블록들이 예측되고 코딩될 때까지 반복된다. 또한 시그널링 오버헤드를 줄이기 위해, 하나의 코딩 블록 내의 모든 서브-블록들은 동일한 인트라 모드를 공유한다.
SDIP와 함께, 상이한 서브-블록 파티션들은 상이한 코딩 효율들을 제공할 수 있다. 일반적으로, 라인-기반 예측은 서로 다른 파티션들 사이의 "가장 짧은 예측 거리"를 제공하므로 최상의 코딩 효율성을 제공한다. 반면에, 이것은 또한, 코덱 하드웨어 구현을 위한 가장 열화된 인코딩/디코딩 처리량(throughput)을 갖는다. 예를 들어, 4 × 4 서브 블록이 있는 블록과 4 × 1 또는 1 × 4 서브 블록이 있는 동일한 블록을 비교하여 고려하면, 후자의 경우는 전자의 처리량의 1/4에 불과하다. HEVC에서 루마(luma)에 대한 가장 작은 인트라 예측 블록 크기는 4 × 4 이다.
도 8a는 8x4 블록(801)에 대한 단거리 인트라 예측(SDIP) 파티션들의 예시적인 세트를 도시하고, 도 8b는 4x8 블록(803)에 대한 단거리 인트라 예측(SDIP) 파티션들의 예시적인 세트를 도시하며, 도 8c는 임의의 크기의 블록(805)에 대한 단거리 인트라 예측(SDIP) 파티션들의 예시적인 세트를 도시한다. 최근에, 서브 파티션 예측(ISP)이라 지칭되는 비디오 코딩 툴이 VVC 표준에 도입되었다. 개념적으로, ISP는 SDIP와 매우 유사하다. 특히, 블록 크기에 따라, ISP는 현재 코딩 블록을 수평 또는 수직 방향으로 2 개 또는 4 개의 서브 블록으로 분할하고, 각각의 서브 블록은 최소 16 개의 샘플을 포함한다.
종합하면, 도 8a, 8b 및 8c는 상이한 코딩 블록 크기들에 대해 가능한 모든 파티션 사례들을 예시한다. 또한, VVC 표준의 다른 코딩 툴들과의 상호작용을 처리하기 위해 다음과 같은 주요 양상들도 현재의 ISP 설계에 포함된다:
광각 인트라 방향의 상호 작용(Interaction with wide-angle intra direction:
ISP는 광각 인트라 방향과 조합된다. 현재 설계에서, 일반 인트라 방향 또는 그것의 대응 광각 인트라 방향을 적용할지 여부를 결정하는데 사용되는 블록 크기(즉, 너비/높이 비율)는 오리지널 코딩 블록 즉, 서브-블록 파티션들 이전의 블록 중 하나이다.
다수의 참조 라인들과의 상호 작용:
ISP는 다수의 참조 라인들과 공동으로 활성화될 수 없다. 특히, 현재의 VVC 시그널링 설계에서, ISP 활성화/비활성화 플래그는 MRL 인덱스 이후에 시그널링된다. 하나의 인트라 블록이 하나의 비-제로(non-zero) MRL 인덱스(즉, 가장 근접하지 않은(non-nearest) 인접한 샘플들 참조)를 갖는 경우, ISP 활성화/비활성화 플래그는 시그널링되지 않지만, 0으로 추론된다. 즉, ISP는 이 경우 코딩 블록에 대해 자동으로 비활성화된다.
가장 가능성이 있는 모드와의 상호 작용(Interaction with most probable mode):
일반 인트라 모드와 유사하게, 하나의 ISP 블록에 사용되는 인트라 모드는 MPM(가장 가능성이 있는 모드) 메커니즘을 통해 시그널링된다. 하지만, 일반 인트라 모드와 비교하여, 다음의 수정 사항들이 ISP를 위해 MPM 방법에 적용된다: 1) 각 ISP 블록은 MPM 목록에 포함된 인트라 모드들만을 활성화하고 MPM 목록에 포함된 다른 모든 인트라 모드들은 비활성화시킨다. 2) 각 ISP 블록에 대해, MPM 목록은 DC 모드를 배제하고 그리고 ISP 수평 파티션에 대한 수평 인트라 모드들과 ISP 수직 파티션에 대한 수직 인트라 모드들으 각각 우선순위로 지정한다.
적어도 하나의 비-제로(non-zero) 계수 블록 플래그(CBF):
현재 VVC에서, CBF 플래그가 각각의 변환 단위(TU)에 대해 시그널링되어, 변환 블록이 0이 아닌 하나 이상의 변환 계수 레벨들을 포함하도록 지정한다. ISP를 사용하는 특정 블록에서, 디코더는 서브 파티션들 중 적어도 하나가 비-제로 CBF를 갖는다고 가정할 것이다. 이러한 이유로, 만일 n 이 서브 파티션들의 개수이고 그리고 제 1 n-1 서브 파티션들이 제로 CBF를 생성한 경우, n 번째 서브 파티션의 CBF는 1로 추론될 것이다. 따라서, 이를 전송 및 디코딩할 필요가 없다.
다중 변환 선택과의 상호 작용:
ISP는 MTS와 함께 독점적으로(exclusively) 적용된다. 즉, 하나의 코딩 블록이 ISP를 사용하는 경우, 그것의 MTS 플래그는 시그널링되지 않지만, 항상 0으로 추론된다(즉, 비활성화 됨). 그러나, 항상 DCT-II 변환을 사용하는 대신에, 고정된 코어 변환들(DST-VII 및 DCT-II 포함)의 고정 세트가 블록 크기에 따라 ISP 코딩 블록에 암시적으로 적용된다. 특히, W와 H가 하나의 ISP 서브 파티션의 너비와 높이라고 가정하면, 표 3에 설명된 바와 같은 다음의 규칙들에 따라 수평 및 수직 변환들이 선택된다.
ISP 블록을 위해 선택된 수평 및 수직 변환들
서브 블록 크기 인트라 모드 수평 변환 수직 변환
W = 2 or W > 32 모두 인트라 모들을 이용가능함 DCT-II DCT-II
H = 2 or H > 32 모두 인트라 모들을 이용가능함 DCT-II DCT-II
The other sub-block sizes 평면
31,32,34,36,37
DCT-II DCT-II
DC, 33, 35 DST-VII DCT-II
2, 4, 6, ..., 28,30, 39, 41, 43, ... 63,65 DST-VII DCT-II
교차 성분 선형 모델 예측(Cross-component linear mode partition)도 9a는 루마 값들의 함수로서 크로마(chroma) 값들의 플롯이며, 플롯은 선형 모델 파라미터들의 세트를 유도하는데 사용된다. 보다 구체적으로, 크로마 값과 루마 값 사이의 직선(901) 관계는 다음과 같이 선형 모델 파라미터들 α 및 β의 세트를 도출하는데 사용된다. 교차 성분 리던던시(cross-component redundancy)를 줄이기 위해 교차 성분 선형 모델(CCLM) 예측 모드가 VVC에서 사용되며, 이 모드에서는 다음과 같이 선형 모델을 사용하여 동일한 CU의 재구성된 루마 샘플들에 기초하여 크로마 샘플들이 예측된다.
Figure pat00001
방정식 (8)
여기서,
Figure pat00002
는 CU 내의 예측된 크로마 샘플을 나타내고,
Figure pat00003
는 동일한 CU의 다운샘플링된 재구성된 루마 샘플을 나타낸다. 선형 모델 파라미터들 α 및 β는 2개의 샘플들의 루마 값들과 크로마 값들 사이의 직선(901) 관계로부터 도출되며, 상기 2개의 샘플들은 도 9a에 예시된 바와 같이 인접 루마 샘플 세트 내의 최소 루마 샘플 A(XA, YA) 및 최대 루마 샘플 B(XB, YB)이다. 여기서, XA, YA는 샘플 A에 대한 x 좌표(즉, 루마 값) 및 y 좌표(즉, 크로마 값) 값이고, XB, YB는 샘플 B에 대한 x 좌표 및 y 좌표 값이다. 선형 모델 파라미터들 α 및 β는 다음의 방정식들에 따라 구해진다.
Figure pat00004
이러한 방법은 최소-최대 방법이라 지칭되기도 한다. 위 방정식의 나눗셈은곱셈과 시프트에 의해 회피 및 대체될 수 있다.
도 9b는 도 9a의 선형 모델 파라미터의 유도에 사용되는 샘플들의 위치들을 나타낸다. 정사각형 모양의 코딩 블록의 경우, 선형 모델 파라미터들 α 및 β에 대한 위의 2개의 방정식들이 직접 적용된다. 정사각형이 아닌 코딩 블록의 경우, 더 긴 경계의 인접 샘플들이 더 짧은 경계와 동일한 수의 샘플들을 갖도록 먼저 서브 샘플링된다. 도 9b는 좌측 및 위쪽의 샘플들 및 현재 블록의 샘플의 위치들을 도시하며, NxN 세트의 크로마 샘플들(903) 및 2Nx2N 세트의 루마 샘플들(905)을 포함한다. 선형 모델 계수들을 함께 계산하기 위하여, 위쪽 템플릿 및 좌측 템플릿을 이용하는 것 이외에도, 이들 템플릿들은 LM_A 및 LM_L 모드라 지칭되는 다른 2개의 LM 모드들에서도 대안적으로 사용될 수 있다.
LM_A 모드에서는, 위쪽 템플릿의 픽셀 샘플들만이 선형 모델 계수를 계산하는데 사용된다. 더 많은 샘플들을 얻기 위하여, 위쪽 템플릿이 (W + W)로 확장된다. LM_L 모드에서는 좌측 템플릿의 픽셀 샘플들만이 선형 모델 계수를 계산하는데 사용된다. 더 많은 샘플을 얻기 위하여, 좌측 템플릿이 (H + H)로 확장된다. 다음을 유의해야 하는바, 상위 참조 라인이 CTU 경계에 있는 경우, 오직 하나의 루마 라인(인트라 예측의 일반 라인 버퍼)만이 다운-샘플링된 루마 샘플들을 만드는데 사용된다.
크로마 인트라 모드 코딩의 경우, 크로마 인트라 모드 코딩을 위해 총 8 개의 인트라 모드들이 허용된다. 이러한 모드들은 5 개의 기존 인트라 모드들과 3 개의 교차-컴포넌트 선형 모델 모드(CCLM, LM_A 및 LM_L)를 포함한다. 크로마 모드 시그널링 및 유도 프로세스가 표 4에 도시된다. 크로마 모드 코딩은 해당 루마 블록에 대한 인트라 예측 모드에 직접적으로 의존한다. 루마 및 크로마 컴포넌트들에 대한 별도의 블록 파티셔닝 구조가 I 슬라이스들에서 활성화되기 때문에, 하나의 크로마 블록이 여러 개의 루마 블록들에 대응할 수 있다. 따라서, 크로마 DM 모드의 경우, 현재 크로마 블록의 중심 위치를 커버하는 해당 루마 블록의 인트라 예측 모드가 직접 상속된다.
CCLM 이 인에이블된 경우, 루마 모드로부터 크로마 예측 모드의 유도
크로마 예측 모드 해당 루마 인트라 예측 모드
0 50 18 1 X (0 <= X <= 66)
0 66 0 0 0 0
1 50 66 50 50 50
2 18 18 66 18 18
3 1 1 1 66 1
4 81 81 81 81 81
5 82 82 82 82 82
6 83 83 83 83 83
7 0 50 18 1 X
비록, VVC에서 ISP 툴이 인트라 예측 효율성을 향상시킬 수 있지만, VVC의 성능을 더욱 향상시킬 여지가 존재한다. 한편, 기존 ISP의 일부분들은 보다 효율적인 코덱 하드웨어 구현을 제공하고 및/또는 향상된 코딩 효율성을 제공하기 위하여, 추가적인 단순화의 이점을 누릴 수 있다. 본 개시에서, ISP 코딩 효율을 더욱 향상시키고, 기존 ISP 설계를 단순화하고, 및/또는 개선된 하드웨어 구현을 용이하게하기 위해 여러 방법들이 제안된다. ISP를 위한 독립(또는 병렬) 서브-파티션 예측자 생성
도 10은 현재 코딩 블록(1000) 외부의 참조 샘플들만을 사용하여 모든 서브-파티션들에 대한 인트라 예측(1007)을 위한 참조 샘플들의 생성을 예시한다. 현재 코딩 블록(1000)은 제 1 서브-파티션 1(1001), 제 2 서브-파티션 2(1002), 제 3 서브-파티션 3(1003), 제 4 서브-파티션 4(1004)을 포함한다. 본 명세서에서는 각각의 서브 파티션(1001, 1002, 1003, 1004)에 대한 인트라 예측을 독립적으로 생성하는 것이 제안된다. 달리 말하면, 서브 파티션들(1001, 1002, 1003 및 1004)에 대한 모든 예측자들은 병렬 방식으로 생성될 수 있다. 일 실시예에서, 모든 서브-파티션들에 대한 예측자들은, 종래의 비-서브-파티션(non-sub-partition) 인트라 모드에서 사용되는 것과 동일한 접근법을 사용하여 생성된다. 특히, 하나의 서브-파티션의 재구성된 샘플들은, 동일한 코딩 단위 내의 임의의 다른 서브-파티션에 대한 인트라 예측 샘플들을 생성하는데 사용되지 않는다; 각각의 서브-파티션(1001, 1002, 1003, 1004)의 모든 예측자들은 도 10에 도시된 바와 같이 현재 코딩 블록(1000)의 참조 샘플들을 사용하여 생성된다.
VVC 표준에서 ISP 모드의 경우, 각 서브 파티션의 폭은 2 보다 작거나 같을 수 있다. 자세한 일례는 다음과 같다. VVC 표준의 ISP 모드에 따라, 코딩 블록의 이전에 디코딩된 2xN 서브블록들의 재구성된 값들에 대한 2xN (너비 곱하기 높이) 서브블록 예측의 의존성이 허용되지 않으므로, 서브블록들에 대한 예측을 위한 최소 너비는 4 개의 샘플이 된다. 예를 들어, 수직 분할로 ISP를 이용하여 코딩된 8x8 코딩 블록은 각각의 크기가 2x8 인 4 개의 예측 영역들로 분할되고, 좌측 2개의 2x8 예측 영역들은 인트라 예측을 수행하도록 제 1 4x8 예측 영역으로 병합된다. 변환(102)(도 1) 회로는 각각의 2x8 파티션에 적용된다.
본 일례에 따르면, 우측 2 개의 2x8 예측 영역들은 제 2 4x8 예측 영역으로 병합되어 인트라 예측을 수행한다. 변환(102) 회로는 각 2x8 파티션에 적용된다. 다음을 유의해야 하는바, 제 1 4x8 예측 영역은 현재 코딩 블록의 인접 픽셀들을 사용하여 인트라 예측자들을 생성하는 반면, 제 2 4x8 영역은 제 1 4x8 영역으로부터의 재구성된 픽셀들(제 2 4x8 영역의 왼쪽에 위치)을 이용하거나 또는 현재 코딩 블록의 이웃 픽셀들(제 2 4x8 영역의 상단에 위치)을 이용한다.
다른 실시예에서, 오직 수평(HOR) 예측 모드(도 4에서 모드 18로 도시됨) 뿐만 아니라 18보다 작은 모드 인덱스(도 4에 도시된 바와 같이)를 갖는 예측 모드 만이 수평 서브-파티션들의 인트라 예측을 형성하는데 이용될 수 있으며; 오직 수직(VER) 예측 모드(즉, 도 4의 모드 50) 및 50 보다 큰 모드 인덱스를 갖는 예측 모드(도 4에 도시된 바와 같이)만이 수직 서브-파티션들의 인트라 예측을 형성하는데 사용될 수 있다. 그 결과, HOR 예측 모드(도 4에서 모드 18로 표시됨) 및 모드가 18 보다 작은 모든 각도 예측 모드들을 사용하여, 각각의 수평 서브-파티션에 대한 인트라 예측이 독립적으로 및 병렬로 수행될 수 있다. 마찬가지로, VER 예측 모드(도 4의 모드 50) 및 모드가 50 보다 큰 모든 각도 예측 모드들을 사용하여, 각각의 수직 서브-파티션에 대한 인트라 예측이 독립적으로 및 병렬로 수행될 수 있다.
ISP용 루마 컴포넌트를 위한 인트라 예측 모드 코딩
본 개시에서는, ISP-코딩된 블록에 대한 루마 컴포넌트에 대한 가능한 모든 인트라 예측 모드들 중에서 N개의 모드들만을 허용하는 것이 제안된다(N은 양의 정수). 일 실시예에서, ISP-코딩된 블록의 루마 컴포넌트에 대해 오직 하나의 모드만이 허용된다. 예를 들어, 이러한 하나의 허용된 모드는 평면 모드일 수 있다. 다른 예에서, 이러한 하나의 허용된 모드는 DC 모드일 수 있다. 세 번째 일례에서, 이러한 하나의 허용된 모드는 HOR 예측 모드, VER 예측 모드, 또는 대각선(DIA) 모드(도 4의 모드 34) 인트라 예측 모드 중 하나 일 수 있다.
다른 실시예에서, ISP 코딩된 블록의 루마 컴포넌트에 대해 하나의 모드만이 허용되고, 이러한 허용된 모드는 서브-파티션 방향(orientation), 즉 그것이 수평 서브-파티션인지 또는 수직 서브-파티션인지에 따라 다를 수 있다. 예를 들어, 오직 HOR 예측 모드만이 수평 서브-파티셔닝에는 허용되는 반면에, 오직 VER 예측 모드만이 수직 서브-파티셔닝에 허용된다. 또 다른 일례에서, 수평 서브-파티셔닝에는 VER 예측 모드만 허용되고, 수직 서브-파티셔닝에는 HOR 예측 모드만 허용된다.
또 다른 실시예에서, ISP 코딩된 블록의 루마 컴포넌트에 대해 2 개의 모드들만이 허용된다. 각각의 모드는 대응하는 서브 파티션 방향, 즉 서브 파티션의 방향이 수평인지 수직인지에 따라 선택될 수 있다. 예를 들어, 수평 서브 파티션에는 평면 모드 및 HOR 예측 모드만 허용되는 반면에, 수직 서브 파티션에는 평면 및 VER 예측 모드만 허용된다.
ISP 코딩된 블록의 루마 컴포넌트들에 대해 허용된 N 개의 모드들을 시그널링하기 위해, 종래의 MPM(most probable modes) 메커니즘은 사용되지 않는다. 대신에, 우리는 각 인트라 모드에 대해 결정된 이진 코드워드들을 사용하여 ISP 코딩된 블록에 대한 인트라 모드들을 시그널링하는 것을 제안한다. 코드워드들은 TB(Truncated Binary) 이진화(binarization) 프로세스, 고정-길이 이진화 프로세스, Truncated Rice(TR) 이진화 프로세스, k차 Exp-Golomb 이진화 프로세스, Limited EGk 이진화 프로세스 등을 포함하는 다양한 상이한 프로세스들 중 임의의 것을 이용하여 생성될 수 있다. 이들 이진 코드워드 생성 프로세스들은 HEVC 사양서에 잘 정의되어 있다. Rice 파라미터가 0 인 truncated Rice는 truncated unary binarization 이라 지칭되기도 한다. 상이한 이진화 방법들을 사용하는 코드워드들의 예시적인 세트가 표 5에 제시된다.
Figure pat00005
ISP를 위한 독립(또는 병렬) 서브 파티션 예측자 생성
또 다른 실시예에서, 정규 인트라 모드에 대한 MPM 유도 프로세스는 ISP 모드에 대해 직접적으로 재사용되며, 그리고 MPM 플래그 및 MPM 인덱스의 시그널링 방법은 기존 ISP 설계에서와 동일하게 유지된다.
ISP를 위한 크로마 컴포넌트를 위한 인트라 예측 모드 코딩
본 개시에서는, ISP-코딩된 블록에 대한 크로마 컴포넌트에 대해 가능한 모든 크로마 인트라 예측 모드들 중에서 NC 개의 모드들만을 허용하는 것이 제안된다(NC 는 양의 정수). 일 실시예에서, ISP-코딩된 블록의 크로마 컴포넌트에 대해 오직 하나의 모드만이 허용된다. 예를 들어, 이러한 하나의 허용된 모드는 직접 모드(DM: Direct Mode)일 수 있다. 다른 예에서, 이러한 하나의 허용된 모드는 LM 모드일 수 있다. 세 번째 일례에서, 이러한 하나의 허용된 모드는 HOR 예측 모드 또는 VER 예측 모드 중 하나일 수 있다. 직접 모드(DM)는 해당 루마 블록에서 사용하는 동일한 인트라 예측 모드를 크로마 블록에 적용하도록 구성된다.
다른 실시예에서, ISP 코딩된 블록의 크로마 컴포넌트에 대해 2 개의 모드 만이 허용된다. 일례로, ISP 코딩된 블록의 크로마 컴포넌트에는 DM과 LM 만 허용된다.
또 다른 실시예에서, ISP 코딩된 블록의 크로마 컴포넌트에 대해 4 개의 모드만이 허용된다. 일례로, ISP 코딩된 블록의 크로마 컴포넌트에는 DM, LM, LM_L 및 LM_A 만 허용된다.
ISP 코딩된 블록의 크로마 컴포넌트에 대한 Nc 모드들을 시그널링하기 위해, 통상적인 MPM 메커니즘이 사용되지 않는다. 대신에, 고정 바이너리 코드워드들을 사용하여 비트스트림에서 선택된 크로마 모드들을 표시한다. 예를 들어, ISP 코딩된 블록에 대한 크로마 인트라 예측 모드는 결정된 이진 코드워드를 사용하여 시그널링될 수 있다. 코드 워드는 TB(Truncated Binary) 이진화 프로세스, 고정 길이 이진화 프로세스, Truncated Rice(TR) 이진화 프로세스, k 차 Exp-Golomb 이진화 프로세스, Limited EGk 이진화 프로세스, 등을 포함한 다양한 프로세스를 사용하여 생성될 수 있다.
ISP 코딩 블록에 대한 크로마 컴포넌트에 대한 코딩 블록 크기
본 개시에서는, ISP 코딩된 블록에 대한 크로마 컴포넌트에 대한 서브-파티션 코딩을 허용하지 않는 것이 제안된다. 대신에, ISP 코딩 블록의 크로마 컴포넌트에 대해, 일반적인 전체 블록-기반 인트라 예측이 사용된다. 즉, ISP 코딩된 블록의 경우, 크로마 컴포넌트에 대한 서브 파티셔닝 없이 루마 컴포넌트에 대해서만 서브 파티셔닝이 수행된다.
ISP와 인터 예측의 조합
도 11은 도 10의 제 1 서브-파티션(1001)에 대한 인터 예측자 샘플들 및 인트라 예측자 샘플들의 조합을 예시한다. 마찬가지로, 도 12는 도 10의 제 2 서브-파티션(1002)에 대한 인터 예측자 샘플들 및 인트라 예측자 샘플들의 조합을 예시한다. 더 구체적으로, 코딩 효율을 더욱 향상시키기 위해, ISP 모드와 인터 예측 모드의 가중 조합(예를 들어, 가중 평균)으로서 예측이 생성되는 새로운 예측 모드가 제공된다. ISP 모드를 위한 인트라 예측자 생성은 도 10과 관련하여 이전에 예시된 것과 동일하다. 인터 예측자는 병합 모드 또는 인터 모드의 프로세스를 통해 생성될 수 있다.
도 11의 예시적인 일례에서, 현재 블록(모든 서브 파티션들을 포함)에 대한 인터 예측자 샘플들(1101)은, 병합 인덱스가 나타내는 병합 후보들을 사용하여 모션 보상을 수행함으로써 생성된다. 인트라 예측자 샘플(1103)은 시그널링된 인트라 모드를 사용하여 인트라 예측을 수행함으로써 생성된다. 이러한 프로세스는 도 12에 도시된 바와 같이 비-제 1 서브-파티션(즉, 제 2 서브-파티션(1002))에 대한 인트라 예측자 샘플들을 생성하도록 이전 서브-파티션의 재구성된 샘플들을 사용할 수 있다는 점에 유의해야 한다. 인터 및 인트라 예측자 샘플들이 생성된 이후에, 이들은 가중 평균화되어 서브 파티션에 대한 최종 예측자 샘플들을 생성한다. 조합된 모드들은 인트라 모드로 취급될 수 있다. 대안적으로, 조합된 모드들은 인트라 모드 대신에 인터 모드 또는 병합 모드로 취급될 수 있다.
ISP 코딩된 블록에 대한 CBF 시그널링
ISP의 설계를 단순화하기 위해, 본 개시에서 마지막 서브 파티션에 대해 항상 CBF를 시그널링하는 것이 제안된다.
본 개시의 다른 실시예에서, 마지막 서브-파티션의 CBF를 시그널링하지 않고 디코더 측에서 그 값을 추론하는 것이 제안된다. 예를 들어, 마지막 서브 파티션에 대한 CBF 값은 항상 1로 추론된다. 다른 예에서, 마지막 서브 파티션에 대한 CBF 값은 항상 0으로 추론된다.
본 개시 내용의 일 실시예에 따르면, 비디오 코딩 방법이 제공되고, 상기 방법은 복수의 서브-파티션들 각각에 대한 각각의 인트라 예측을 독립적으로 생성하는 단계를 포함하고, 각각의 인트라 예측은 현재 코딩 블록으로부터의 복수의 참조 샘플들을 사용하여 생성된다.
일부 일례들에서, 복수의 서브-파티션들 중 제 1 서브-파티션으로부터의 재구성된 샘플이, 상기 복수의 서브-파티션들의 임의의 다른 서브-파티션에 대한 각각의 인트라 예측을 생성하는데 사용되지 않는다.
일부 일례들에서, 상기 복수의 서브-파티션들 각각은 2 이하의 폭을 갖는다.
일부 일례들에서, 상기 복수의 서브-파티션들은 복수의 수직 서브-파티션들 및 복수의 수평 서브-파티션들을 포함하고, 상기 방법은 수평 예측 모드만을 사용하여 복수의 수평 서브-파티션들에 대한 제 1 세트의 인트라 예측들을 생성하고, 수직 예측 모드만을 사용하여 복수의 수직 서브-파티션들에 대한 제 2 세트의 인트라 예측들을 생성하는 단계를 더 포함한다.
일부 일례들에서, 수평 예측 모드는 18 보다 작은 모드 인덱스를 사용하여 수행된다.
일부 일례들에서, 수직 예측 모드는 50 보다 큰 모드 인덱스를 사용하여 수행된다.
일부 일례들에서, 수평 예측 모드는 상기 복수의 수평 서브-파티션들 각각에 대해 독립적으로 그리고 병렬로 수행된다.
일부 일례들에서, 수직 예측 모드는 상기 복수의 수직 서브-파티션들 각각에 대해 독립적으로 그리고 병렬로 수행된다.
일부 일례들에서, 상기 복수의 서브-파티션들은 마지막 서브-파티션을 포함하고, 상기 방법은 마지막 서브-파티션에 대한 계수 블록 플래그(CBF: coefficient block flag) 값을 시그널링하는 단계를 더 포함한다.
일부 일례들에서, 상기 복수의 서브-파티션들은 마지막 서브-파티션을 포함하고, 상기 방법은 디코더에서 마지막 서브-파티션에 대한 계수 블록 플래그(CBF) 값을 추론하는 단계를 더 포함한다.
일부 일례들에서, 상기 계수 블록 플래그(CBF) 값은 항상 1로 추론된다.
일부 일례들에서, 상기 계수 블록 플래그(CBF) 값은 항상 0으로 추론된다.
본 개시의 다른 실시예에 따르면, 비디오 코딩 방법이 제공되며, 상기 방법은, 인트라 서브 파티션(ISP) 코딩된 블록의 루마 컴포넌트에 대한 M 개의 가능한 인트라 예측 모드들 중에서 N 개의 모드들만을 사용하여, 복수의 서브-파티션들 각각에 대한 각각의 인트라 예측을 생성하는 단계를 포함하며, M과 N은 양의 정수이고 N은 M보다 작다.
일부 일례들에서, 상기 복수의 서브-파티션들 각각은 2 이하의 폭을 갖는다.
일부 일례들에서, 상기 루마 컴포넌트에 대해 단일 모드만이 허용되도록 N은 1과 동일하다.
일부 일례들에서, 상기 단일 모드는 평면 모드이다.
일부 일례들에서, 상기 단일 모드는 DC 모드이다.
일부 일례들에서, 상기 단일 모드는 수평(HOR) 예측 모드, 수직(VER) 예측 모드 또는 대각선(DIA) 예측 모드 중 어느 하나이다.
일부 일례들에서, 상기 단일 모드는 서브-파티션 방향에 응답하여 선택되고, 상기 수평(HOR) 예측 모드는 서브-파티션 방향이 수평인 것에 응답하여 선택되고, 상기 수직(VER) 예측 모드는 서브-파티션 방향이 수직인 것에 응답하여 선택된다.
일부 일례들에서, 상기 단일 모드는 서브-파티션 방향에 응답하여 선택되고, 상기 수평(HOR) 예측 모드는 서브-파티션 방향이 수직인 것에 응답하여 선택되고, 상기 수직(VER) 예측 모드는 서브-파티션 방향이 수평인 것에 응답하여 선택된다.
일부 일례들에서, 루마 컴포넌트에 대해 2개의 모드들이 허용되도록 N은 2와 같다.
일부 일례들에서, 제 1 세트의 2개의 모드들은 제 1 서브-파티션 방향에 응답하여 선택되고, 제 2 세트의 2개의 모드들은 제 2 서브-파티션 방향에 응답하여 선택된다.
일부 일례들에서, 상기 제 1 세트의 2개의 모드들은 평면 모드 및 수평(HOR) 예측 모드를 포함하고, 상기 제 1 서브-파티션 방향은 수평 서브-파티셔닝을 포함하며, 상기 제 2 세트의 2개의 모드들은 평면 모드 및 수직(VER) 예측 모드를 포함하고, 상기 제 2 서브-파티션 방향은 수직 서브-파티셔닝을 포함한다.
일부 일례들에서, 상기 N 개의 모드들의 각각의 모드는, 미리 결정된 이진 코드워드들의 세트로부터 대응하는 이진 코드워드를 사용하여 시그널링된다.
일부 일례들에서, 상기 미리 결정된 이진 코드워드들의 세트는 truncated binary(TB) 이진화(binarization) 프로세스, 고정-길이 이진화 프로세스, truncated Rice(TR) 이진화 프로세스, truncated unary 이진화 프로세스, k차 Exp-Golumb 이진화 프로세스, Limited EGk 이진화 프로세스 중 적어도 하나를 이용하여 생성된다.
본 개시의 또 다른 실시예에 따르면, 비디오 코딩 방법이 제공되며, 상기 방법은, 인트라 서브 파티션(ISP) 코딩된 블록의 크로마 컴포넌트에 대한 M 개의 가능한 인트라 예측 모드들 중에서 N 개의 모드들만을 사용하여, 인트라 예측을 생성하는 단계를 포함하고, 여기서 M과 N은 양의 정수이고 N은 M보다 작다.
일부 일례들에서, 크로마 컴포넌트에 대해 단일 모드만이 허용되도록 N은 1과 동일하다.
일부 일례들에서, 상기 단일 모드는 직접 모드(DM), 선형 모델(LM) 모드, 수평(HOR) 예측 모드, 또는 수직(VER) 예측 모드이다.
일부 일례들에서, 크로마 컴포넌트에 대해 2 개의 모드가 허용되도록 N은 2와 같다.
일부 일례들에서, 크로마 컴포넌트에 대해 4 개의 모드가 허용되도록 N은 4와 같다.
일부 일례들에서, 상기 N 개의 모드들의 각각의 모드는, 미리 결정된 이진 코드워드들의 세트로부터 대응하는 이진 코드워드를 사용하여 시그널링된다.
일부 일례들에서, 상기 미리 결정된 이진 코드워드들의 세트는 truncated binary(TB) 이진화(binarization) 프로세스, 고정-길이 이진화 프로세스, truncated Rice(TR) 이진화 프로세스, truncated unary 이진화 프로세스, k차 Exp-Golumb 이진화 프로세스, Limited EGk 이진화 프로세스 중 적어도 하나를 이용하여 생성된다.
본 개시의 또 다른 실시예에 따르면, 비디오 코딩 방법이 제공되며, 상기 방법은, 루마 컴포넌트에 대해, 전체 인트라 서브 파티션(ISP) 코딩된 블록의 복수의 서브-파티션들 각각에 대해 각각의 루마 인트라 예측을 생성하고, 크로마 컴포넌트에 대해, 전체 인트라 서브 파티션(ISP) 코딩된 블록에 대한 크로마 인트라 예측을 생성하는 단계를 포함한다.
일부 일례들에서, 상기 복수의 서브-파티션들 각각은 2 이하의 폭을 갖는다.
본 개시의 또 다른 실시예에 따르면, 비디오 코딩 방법이 제공되며, 상기 방법은 인트라 서브 파티션 모드를 사용하여 제 1 예측을 생성하는 단계; 인터 예측 모드를 사용하여 제 2 예측을 생성하는 단계; 및 제 1 예측 및 제 2 예측에 가중 평균을 적용함으로써 최종 예측을 생성하도록 상기 제 1 및 제 2 예측을 결합하는 단계를 포함한다.
일부 일례들에서, 상기 제 2 예측은 병합 모드 또는 인터 모드 중 적어도 하나를 사용하여 생성된다.
하나 이상의 일례들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 상기 기능들은 하나 이상의 명령 또는 코드로서 컴퓨터 판독가능 매체에 저장되거나 전송될 수 있으며 하드웨어 기반 프로세싱 유닛에 의해 실행될 수 있다. 컴퓨터 판독가능 매체는 데이터 저장 매체와 같은 유형의 매체에 해당하는 컴퓨터 판독가능 저장 매체 또는 예를 들어 통신 프로토콜에 따라 컴퓨터 프로그램을 한 장소에서 다른 장소로 전송하는 것을 용이하게하는 임의의 매체를 포함하는 통신 매체를 포함할 수 있다. 이러한 방식으로, 컴퓨터 판독 가능 매체는 일반적으로 (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 해당할 수 있다. 데이터 저장 매체는 본 출원에서 설명된 실시예들의 구현을 위한 명령어, 코드 및/또는 데이터 구조를 검색하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수 있다.
또한, 상기 방법은 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 프로세싱 장치(DSPD), 프로그래밍가능 논리 디바이스(PLDs), FPGA(Field Programmable Gate Array), 컨트롤러, 마이크로-컨트롤러, 마이크로프로세서 또는 기타 전자 부품을 포함하는 하나 이상의 회로를 포함하는 장치를 사용하여 구현될 수 있다. 장치는 전술한 방법을 수행하기 위해 다른 하드웨어 또는 소프트웨어 컴포넌트와 조합하여 회로들을 사용할 수 있다. 위에 개시된 각 모듈, 서브-모듈, 유닛 또는 서브-유닛은 하나 이상의 회로를 사용하여 적어도 부분적으로 구현될 수 있다.
본 발명의 다른 실시예는 여기에 개시된 본 발명의 명세서 및 실행을 고려함으로써 당업자에게 명백할 것이다. 본 출원은 본 발명의 일반적인 원리에 따라 본 발명의 임의의 변형, 사용 또는 개조를 포함하고 본 개시로부터의 이러한 이탈을 포함하여 당해 기술 분야에서 공지된 또는 관례적인 실행을 포함하도록 의도된다. 명세서 및 실시예는 단지 예시적인 것으로 간주되며, 본 발명의 진정한 범위 및 정신은 다음의 청구 범위에 의해 표시된다.
본 발명은 상기 설명되고 첨부된 도면에 도시된 정확한 일례에 한정되지 않으며, 그 범위를 벗어나지 않고 다양한 수정들 및 변경들이 가능함을 이해할 것이다. 본 발명의 범위는 첨부된 청구 범위에 의해서만 제한되는 것으로 의도된다.

Claims (5)

  1. 비디오 디코딩 방법으로서,
    인트라 서브 파티션(ISP) 코딩된 블록의 루마 컴포넌트에 대한 M 개의 인트라 예측 모드들 중에서 N 개의 모드들만을 사용하여, 복수의 서브-파티션들에 대한 인트라 예측을 수행하는 단계를 포함하며, M과 N은 양의 정수이고 N은 M보다 작은 것을 특징으로 하는 비디오 디코딩 방법.
  2. 제1항에 있어서,
    상기 복수의 서브-파티션들 각각은 2 이하의 폭을 갖는 것을 특징으로 하는 비디오 디코딩 방법.
  3. 비디오 디코딩 장치로서,
    하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 의해 실행가능한 명령들을 저장하는 비일시적인 컴퓨터 판독가능 메모리를 포함하고,
    상기 하나 이상의 프로세서들은,
    인트라 서브 파티션(ISP) 코딩된 블록의 루마 컴포넌트에 대한 M 개의 인트라 예측 모드들 중에서 N 개의 모드들만을 사용하여, 복수의 서브-파티션들에 대한 인트라 예측을 수행하도록 구성되며, M과 N은 양의 정수이고 N은 M보다 작은 것을 특징으로 하는 비디오 디코딩 장치.
  4. 제3항에 있어서,
    상기 복수의 서브-파티션들 각각은 2 이하의 폭을 갖는 것을 특징으로 하는 비디오 디코딩 장치.
  5. 하나 이상의 프로세서들을 갖는 비디오 디코딩 장치에 의한 실행을 위해 복수의 프로그램들을 저장하는 비일시적인 컴퓨터 판독가능 저장 매체로서, 상기 복수의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행될 때 상기 비디오 디코딩 장치로 하여금 제1항 또는 제2항의 방법을 수행하게 하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 저장 매체.
KR1020227003953A 2019-02-05 2020-02-05 인트라 서브-파티션 코딩 모드를 이용한 비디오 코딩 KR20220021036A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962801214P 2019-02-05 2019-02-05
US62/801,214 2019-02-05
KR1020217024197A KR102517389B1 (ko) 2019-02-05 2020-02-05 인트라 서브-파티션 코드 모드를 이용한 비디오 코딩
PCT/US2020/016888 WO2020163535A1 (en) 2019-02-05 2020-02-05 Video coding using intra sub-partition coding mode

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217024197A Division KR102517389B1 (ko) 2019-02-05 2020-02-05 인트라 서브-파티션 코드 모드를 이용한 비디오 코딩

Publications (1)

Publication Number Publication Date
KR20220021036A true KR20220021036A (ko) 2022-02-21

Family

ID=71947318

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020237010889A KR20230049758A (ko) 2019-02-05 2020-02-05 인트라 서브-파티션 코드 모드를 이용한 비디오 코딩
KR1020227003953A KR20220021036A (ko) 2019-02-05 2020-02-05 인트라 서브-파티션 코딩 모드를 이용한 비디오 코딩
KR1020217024197A KR102517389B1 (ko) 2019-02-05 2020-02-05 인트라 서브-파티션 코드 모드를 이용한 비디오 코딩

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237010889A KR20230049758A (ko) 2019-02-05 2020-02-05 인트라 서브-파티션 코드 모드를 이용한 비디오 코딩

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217024197A KR102517389B1 (ko) 2019-02-05 2020-02-05 인트라 서브-파티션 코드 모드를 이용한 비디오 코딩

Country Status (7)

Country Link
US (2) US20210368205A1 (ko)
EP (1) EP3922029A4 (ko)
JP (2) JP2022518612A (ko)
KR (3) KR20230049758A (ko)
CN (2) CN113630607A (ko)
MX (1) MX2021009355A (ko)
WO (1) WO2020163535A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11706405B2 (en) * 2018-03-30 2023-07-18 Lg Electronics Inc. Image/video coding method based on intra prediction involving parsing of MPM index, and apparatus thereof
WO2020163535A1 (en) * 2019-02-05 2020-08-13 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using intra sub-partition coding mode
WO2020197031A1 (ko) * 2019-03-22 2020-10-01 엘지전자 주식회사 영상 코딩 시스템에서 다중 참조 라인 기반의 인트라 예측 방법 및 장치
KR20220019241A (ko) * 2019-07-08 2022-02-16 엘지전자 주식회사 적응적 루프 필터 기반 비디오 또는 영상 코딩
WO2023132622A1 (ko) * 2022-01-04 2023-07-13 엘지전자 주식회사 Dimd 모드 기반 인트라 예측 방법 및 장치

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8976870B1 (en) * 2006-08-30 2015-03-10 Geo Semiconductor Inc. Block and mode reordering to facilitate parallel intra prediction and motion vector prediction
KR101432775B1 (ko) * 2008-09-08 2014-08-22 에스케이텔레콤 주식회사 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
EP3657788B1 (en) 2011-11-11 2021-08-04 GE Video Compression, LLC Effective prediction using partition coding
US9491457B2 (en) * 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
KR102257542B1 (ko) 2012-10-01 2021-05-31 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
KR20170081183A (ko) 2014-11-04 2017-07-11 삼성전자주식회사 인트라 예측을 이용하는 비디오 부호화/복호화 방법 및 장치
US10638132B2 (en) * 2015-10-15 2020-04-28 Lg Electronics Inc. Method for encoding and decoding video signal, and apparatus therefor
US11277615B2 (en) 2016-02-16 2022-03-15 Samsung Electronics Co., Ltd. Intra-prediction method for reducing intra-prediction errors and device for same
JP2019515570A (ja) * 2016-05-02 2019-06-06 漢陽大学校産学協力団Industry−University Cooperation Foundation Hanyang University 画面内予測を利用した映像符号化/復号化方法および装置
CA3025520A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Improved weighted angular prediction coding for intra coding
CN116744022A (zh) 2016-11-25 2023-09-12 株式会社Kt 用于对视频进行编码和解码的方法
US11140387B2 (en) * 2016-12-07 2021-10-05 Kt Corporation Method and apparatus for processing video signal
KR20230030054A (ko) * 2018-02-09 2023-03-03 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 파티션 기반 인트라 코딩 개념
EP3821605A1 (en) * 2018-07-13 2021-05-19 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Partitioned intra coding concept
IL281823B2 (en) * 2018-10-12 2024-01-01 Guangdong Oppo Mobile Telecommunications Corp Ltd A method for encoding/decoding an image signal and a device for it
CN112514384A (zh) * 2019-01-28 2021-03-16 株式会社 Xris 视频信号编码/解码方法及其装置
US11272198B2 (en) * 2019-01-30 2022-03-08 Tencent America LLC Method and apparatus for improved sub-block partitioning intra sub-partitions coding mode
US20200252608A1 (en) * 2019-02-05 2020-08-06 Qualcomm Incorporated Sub-partition intra prediction
WO2020163535A1 (en) * 2019-02-05 2020-08-13 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using intra sub-partition coding mode
WO2020185022A1 (ko) * 2019-03-12 2020-09-17 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
US11284073B2 (en) * 2019-07-08 2022-03-22 Hyundai Motor Company Method and apparatus for intra prediction coding of video data involving matrix based intra-prediction

Also Published As

Publication number Publication date
KR20210113259A (ko) 2021-09-15
KR20230049758A (ko) 2023-04-13
KR102517389B1 (ko) 2023-04-03
EP3922029A1 (en) 2021-12-15
US20210368193A1 (en) 2021-11-25
US20210368205A1 (en) 2021-11-25
JP2022518612A (ja) 2022-03-15
CN113630607A (zh) 2021-11-09
MX2021009355A (es) 2021-09-14
CN113348671A (zh) 2021-09-03
EP3922029A4 (en) 2022-08-24
WO2020163535A1 (en) 2020-08-13
US11936890B2 (en) 2024-03-19
JP2023090929A (ja) 2023-06-29

Similar Documents

Publication Publication Date Title
KR102557090B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US9264739B2 (en) Method and apparatus for encoding/decoding image information
KR102517389B1 (ko) 인트라 서브-파티션 코드 모드를 이용한 비디오 코딩
US20220124357A1 (en) Image processing method and apparatus therefor
US20210243429A1 (en) Method for encoding/decoding video signal and apparatus therefor
US10893267B2 (en) Method for processing image on basis of intra-prediction mode and apparatus therefor
US20190200011A1 (en) Intra-prediction mode-based image processing method and apparatus therefor
US10554980B2 (en) Method for processing image on basis of intra prediction mode and device therefor
KR20190096432A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR102654647B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN113473133A (zh) 利用几何分区geo模式进行预测的方法和装置
US20210409731A1 (en) Coding of transform coefficients in video coding
WO2023158765A1 (en) Methods and devices for geometric partitioning mode split modes reordering with pre-defined modes order
WO2023154574A1 (en) Methods and devices for geometric partitioning mode with adaptive blending
KR20240024755A (ko) 영상 신호 부호화/복호화 방법 및 이를 기초로 생성된 비트스트림을 저장하는 기록 매체
KR20230063314A (ko) 영상 신호 부호화/복호화 방법 및 이를 기초로 생성된 비트스트림을 저장하는 기록 매체
KR20230063322A (ko) 영상 신호 부호화/복호화 방법 및 이를 기초로 생성된 비트스트림을 저장하는 기록 매체
WO2021081410A1 (en) Methods and devices for lossless coding modes in video coding

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination