KR20230104895A - 기하학적 파티션을 사용한 인트라 예측 - Google Patents

기하학적 파티션을 사용한 인트라 예측 Download PDF

Info

Publication number
KR20230104895A
KR20230104895A KR1020237016659A KR20237016659A KR20230104895A KR 20230104895 A KR20230104895 A KR 20230104895A KR 1020237016659 A KR1020237016659 A KR 1020237016659A KR 20237016659 A KR20237016659 A KR 20237016659A KR 20230104895 A KR20230104895 A KR 20230104895A
Authority
KR
South Korea
Prior art keywords
intra prediction
partition
prediction mode
mode
intra
Prior art date
Application number
KR1020237016659A
Other languages
English (en)
Inventor
야 첸
가간 비하리 라스
카람 나세르
앙투안느 로버트
Original Assignee
인터디지털 브이씨 홀딩스 프랑스 에스에이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 브이씨 홀딩스 프랑스 에스에이에스 filed Critical 인터디지털 브이씨 홀딩스 프랑스 에스에이에스
Publication of KR20230104895A publication Critical patent/KR20230104895A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Prostheses (AREA)

Abstract

하나의 구현예에서, 인트라 예측 모드에서 블록을 코딩할 때, 블록은 기하학적으로 위치된 직선 라인에 의해 2개의 서브파티션들로 분할될 수 있다. CU 내의 각각의 기하학적 파티션은 그 자신의 인트라 모드를 사용하여 그의 이용가능한 기준 샘플로 인트라 예측된다. 하나의 서브파티션은 부모 블록으로부터 인트라 예측 모드를 복사하여 사용하고; 다른 서브파티션은 다른 암시적 또는 명시적 시그널링된 인트라 예측 모드를 사용한다. 기하학적 파티션을 예측한 후에, 분할 경계를 따르는 샘플 값들은 적응적 가중치들을 사용한 블렌딩 프로세스를 사용하여 조정된다. 기하학적 파티션 기반 인트라 예측은 하나의 각도 인트라 예측 모드에, 또는 하나의 네거티브 방향 인트라 예측 모드에만, 또는 하나의 특정적 인트라 예측 모드(예컨대, 모드 34)에만 적용될 수 있다. 기하학적 파티션 기반 인트라 예측을 위해 변환 선택 또는 다른 인트라 코딩 툴들(즉, 인트라 서브파티션)이 적응될 수 있다.

Description

기하학적 파티션을 사용한 인트라 예측
본 실시예들은 대체적으로, 비디오 인코딩 또는 디코딩에서의 기하학적 파티션을 사용한 인트라 예측을 위한 방법 및 장치에 관한 것이다.
높은 압축 효율을 달성하기 위해, 이미지 및 비디오 코딩 스킴들은 일반적으로, 예측을 채용하고, 비디오 콘텐츠에서 공간적 및 시간적 리던던시를 레버리징하도록 변환한다. 대체적으로, 인트라 또는 인터 예측은 인트라 또는 인터 픽처 상관관계를 이용하는 데 사용되고, 이어서, 종종 예측 에러들 또는 예측 잔차들로 표시되는, 원래 블록과 예측된 블록 사이의 차이들은 변환되고, 양자화되고, 엔트로피 코딩된다. 비디오를 재구성하기 위해, 압축 데이터는 엔트로피 코딩, 양자화, 변환, 및 예측에 대응하는 역 프로세스들에 의해 디코딩된다.
일 실시예에 따르면, 비디오 인코딩 또는 디코딩의 방법이 제공되고, 방법은 픽처의 블록을 직선 라인에 의해 적어도 2개의 파티션들로 분할하는 단계; 상기 적어도 2개의 파티션들 중 제1 파티션에 대해 제1 인트라 예측 모드를 사용하여 인트라 예측을 수행하여, 상기 제1 파티션에 대한 예측 샘플들을 획득하는 단계; 상기 적어도 2개의 파티션들 중 제2 파티션에 대해 제2 인트라 예측 모드를 사용하여 인트라 예측을 수행하여, 상기 제2 파티션에 대한 예측 샘플들을 획득하는 단계; 및 적응적 가중치들을 사용한 블렌딩 프로세스를 사용하여 상기 직선 라인을 따르는 예측 샘플 값들을 조정하는 단계를 포함한다.
다른 실시예에 따르면, 비디오 인코딩 또는 디코딩을 위한 장치가 제시되고, 장치는 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은, 픽처의 블록을 직선 라인에 의해 적어도 2 개의 파티션들로 분할하도록; 상기 적어도 2개의 파티션들 중 제1 파티션에 대해 제1 인트라 예측 모드를 사용하여 인트라 예측을 수행하여, 상기 제1 파티션에 대한 예측 샘플들을 획득하도록; 상기 적어도 2개의 파티션들 중 제2 파티션에 대해 제2 인트라 예측 모드를 사용하여 인트라 예측을 수행하여, 상기 제2 파티션에 대한 예측 샘플들을 획득하도록; 그리고 적응적 가중치들을 사용한 블렌딩 프로세스를 사용하여 상기 직선 라인을 따르는 예측 샘플 값들을 조정하도록 구성된다.
다른 실시예에 따르면, 비디오 인코딩 또는 디코딩을 위한 장치가 제공되고, 장치는 픽처의 블록을 직선 라인에 의해 적어도 2개의 파티션들로 분할하기 위한 수단; 상기 적어도 2개의 파티션들 중 제1 파티션에 대해 제1 인트라 예측 모드를 사용하여 인트라 예측을 수행하여, 상기 제1 파티션에 대한 예측 샘플들을 획득하기 위한 수단; 상기 적어도 2개의 파티션들 중 제2 파티션에 대해 제2 인트라 예측 모드를 사용하여 인트라 예측을 수행하여, 상기 제2 파티션에 대한 예측 샘플들을 획득하기 위한 수단; 및 적응적 가중치들을 사용한 블렌딩 프로세스를 사용하여 상기 직선 라인을 따르는 예측 샘플 값들을 조정하기 위한 수단을 포함한다.
하나 이상의 실시예들은 또한, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 전술된 실시예들 중 임의의 것에 따른 인코딩 방법 또는 디코딩 방법을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램을 제공한다. 본 실시예 중 하나 이상은 또한 전술한 방법에 따라 비디오 데이터를 인코딩 또는 디코딩하기 위한 명령이 저장된 컴퓨터 판독 가능한 저장 매체를 제공한다.
하나 이상의 실시예들은 또한, 전술된 방법들에 따라 생성된 비트스트림이 저장된 컴퓨터 판독가능 저장 매체를 제공한다. 하나 이상의 실시예들은 또한, 전술된 방법들에 따라 생성된 비트스트림을 송신하거나 수신하기 위한 방법 및 장치를 제공한다.
도 1은 본 실시예들의 태양들이 구현될 수 있는 시스템의 블록도를 도시한다.
도 2는 비디오 인코더의 일 실시예의 블록도를 도시한다.
도 3은 비디오 디코더의 일 실시예의 블록도를 도시한다.
도 4는 압축된 범용 비디오 코딩(Versatile Video Coding, VVC) 픽처를 표현하기 위한 코딩 트리 단위(Coding Tree Unit, CTU) 및 코딩 단위(Coding Unit, CU) 개념들을 도시한다.
도 5는 VVC에서의 인트라 예측을 위한 기준 샘플들을 도시한다.
도 6은 정사각형 타깃 블록에 대한 VVC에서의 인트라 예측 방향들을 도시한다.
도 7은 VVC에서의 인터 예측을 위한 기하학적 모드에서의 32개의 각도들을 도시한다.
도 8은 기하학적 분할 설명을 도시한다.
도 9는 각도 12 및 거리 0 내지 3을 갖는 기하학적 파티션을 도시한다.
도 10은 픽처의 일부분에 대한 비-직사각형 파티셔닝 예를 도시한다.
도 11은 구간별(piecewise) 평활 이미지 모델의 일례를 도시한다.
도 12는 대각선 파티션 기반 인트라 예측을 도시한다.
도 13은 일 실시예에 따른, 인코더에서의 대각선 파티션 기반 인트라 예측의 방법을 도시한다.
도 14는 일 실시예에 따른, 대각선 파티션 기반 인트라 예측된 블록의 생성 프로세스를 도시한다.
도 15는 일 실시예에 따른, 디코더에서의 제안된 대각선 파티션 기반 인트라 예측 프로세스를 도시한다.
도 16은 일 실시예에 따른, 부모 인트라 CU의 네거티브 방향 인트라 예측 모드에 따라 파티션 0을 결정하는 방법을 도시한다.
도 17은 파티션 1이 대칭 삼각형 형상 파티션인 일례를 도시한다.
도 18은 파티션 1이 비대칭 삼각형 형상 파티션인 예들을 도시한다.
도 19는 파티션 1이 비대칭 삼각형 형상 파티션일 때 cu_sbp_mode가 수평/수직 모드로서 내포되는 일례를 도시한다.
도 20은 Left 및 Above 모드들 둘 모두가 이용가능한 일례를 도시한다.
도 21의 (a)는 Left 이웃 모드만이 이용가능한 일례를 도시하고, 도 21의 (b)는 Above 이웃 모드만이 이용가능한 일례를 도시하고, 도 21의 (c)는 모드들 Left 및 Above이 동일한 일례를 도시한다.
도 22는 일 실시예에 따른, 인트라 대각선 파티션에 대한 블렌딩 마스크의 일례를 도시한다.
도 23은 일 실시예에 따른, 인트라 대각선 파티션에 대한 블렌딩 마스크들의 다른 예를 도시한다.
도 24는 일 실시예에 따른, 인트라 대각선 파티션에 대한 블렌딩 인자들의 다른 예를 도시한다.
도 25는 일 실시예에 따른, 분할 경계가 인트라 기하학적 파티션에 대한 인트라 예측 모드에 평행한 일례를 도시한다.
도 26은 일 실시예에 따른, 분할 경계가 인트라 기하학적 파티션에 대한 cu_sbp_boundary에 의해 표시되는 일례를 도시한다.
도 27은 일 실시예에 따른, 기하학적 파티션 기반 인트라 예측을 위한 3개의 미리정의된 분할 시작 포지션들을 도시한다.
도 28은 일 실시예에 따른, 기하학적 파티션 기반 인트라 예측을 위한 임의의 분할 시작 포지션들을 도시한다.
도 29는 일 실시예에 따른, 이러한 2개의 자식 파티션들의 영역에 따라 파티션 0을 결정하기 위한 일례를 도시한다.
도 30은 일 실시예에 따른, 포지티브 방향 인트라 예측 모드에 대한 기하학적 파티션의 일례를 도시한다.
도 31은 일 실시예에 따른, 분할 경계가 포지티브 방향 인트라 예측 모드에 대한 cu_sbp_boundary에 의해 표시되는 일례를 도시한다.
도 32는 일 실시예에 따른, 인코더에서의 인트라 예측 모드 검색 프로세스를 도시한다.
도 1은 다양한 태양들 및 실시예들이 구현될 수 있는 시스템의 일례의 블록도를 도시한다. 시스템(100)은 후술되는 다양한 컴포넌트들을 포함하는 디바이스로서 구현될 수 있으며, 본 출원에 기술된 태양들 중 하나 이상을 수행하도록 구성된다. 그러한 디바이스들의 예들에는 개인용 컴퓨터들, 랩톱 컴퓨터들, 스마트폰들, 태블릿 컴퓨터들, 디지털 멀티미디어 셋톱 박스들, 디지털 텔레비전 수신기들, 개인용 비디오 녹화 시스템들, 연결형 가전 제품들, 및 서버들과 같은 다양한 전자 디바이스들이 포함되지만, 이들로 제한되지 않는다. 시스템(100)의 요소들은 단일 집적 회로, 다수의 IC들, 및/또는 별개의 컴포넌트들에, 단독으로 또는 조합되어 구현될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 시스템(100)의 프로세싱 및 인코더/디코더 요소들은 다수의 IC들 및/또는 별개의 컴포넌트들에 걸쳐 분산된다. 다양한 실시예들에서, 시스템(100)은, 예를 들어 통신 버스를 통해 또는 전용 입력 및/또는 출력 포트들을 통해, 다른 시스템들에 또는 다른 전자 디바이스들에 통신가능하게 커플링된다. 다양한 실시예들에서, 시스템(100)은 본 출원에 기술된 태양들 중 하나 이상을 구현하도록 구성된다.
시스템(100)은, 예를 들어 본 출원에 기술된 다양한 태양들을 구현하기 위해 내부에 로딩된 명령어들을 실행하도록 구성된 적어도 하나의 프로세서(110)를 포함한다. 프로세서(110)는 임베딩된 메모리, 입출력 인터페이스 및 당업계에 알려진 바와 같은 다양한 다른 회로부들을 포함할 수 있다. 시스템(100)은 적어도 하나의 메모리(120)(예컨대, 휘발성 메모리 디바이스, 및/또는 비휘발성 메모리 디바이스)를 포함한다. 시스템(100)은 저장 디바이스(140)를 포함하며, 이는 EEPROM, ROM, PROM, RAM, DRAM, SRAM, 플래시, 자기 디스크 드라이브, 및/또는 광학 디스크 드라이브를 포함하지만 이들로 제한되지 않는 비휘발성 메모리 및/또는 휘발성 메모리를 포함할 수 있다. 비제한적인 예로서, 저장 디바이스(140)는 내부 저장 디바이스, 부착된 저장 디바이스 및/또는 네트워크 액세스가능 저장 디바이스를 포함할 수 있다.
예를 들어, 시스템(100)은 데이터를 프로세싱하여 인코딩된 비디오 또는 디코딩된 비디오를 제공하도록 구성된 인코더/디코더 모듈(130)을 포함하고, 인코더/디코더 모듈(130)은 그 자신의 프로세서 및 메모리를 포함할 수 있다. 인코더/디코더 모듈(130)은 인코딩 및/또는 디코딩 기능들을 수행하기 위해 디바이스에 포함될 수 있는 모듈(들)을 나타낸다. 알려진 바와 같이, 디바이스는 인코딩 및 디코딩 모듈들 중 하나 또는 둘 모두를 포함할 수 있다. 또한, 인코더/디코더 모듈(130)은 시스템(100)의 별개의 요소로서 구현될 수 있거나, 또는 당업자에게 알려진 바와 같이 하드웨어와 소프트웨어의 조합으로서 프로세서(110) 내에 통합될 수 있다.
본 출원에 기술된 다양한 태양들을 수행하기 위해 프로세서(110) 또는 인코더/디코더(130) 상에 로딩될 프로그램 코드는 저장 디바이스(140)에 저장되고, 이어서 프로세서(110)에 의한 실행을 위해 메모리(120) 상에 로딩될 수 있다. 다양한 실시예들에 따르면, 프로세서(110), 메모리(120), 저장 디바이스(140) 및 인코더/디코더 모듈(130) 중 하나 이상은 본 출원에 기술된 프로세스들의 수행 동안 다양한 항목들 중 하나 이상을 저장할 수 있다. 저장된 그러한 항목들은 입력 비디오, 디코딩된 비디오 또는 디코딩된 비디오의 부분, 비트스트림, 매트릭스, 변수, 및 방정식, 공식, 연산 및 연산 로직의 프로세싱으로부터의 중간 또는 최종 결과들을 포함할 수 있지만, 이들로 제한되지 않는다.
여러 실시예들에서, 프로세서(110) 및/또는 인코더/디코더 모듈(130) 내부의 메모리는 명령어들을 저장하기 위해 그리고 인코딩 또는 디코딩 동안 필요한 프로세싱을 위한 작업 메모리를 제공하기 위해 사용된다. 그러나, 다른 실시예들에서, 프로세싱 디바이스(예를 들어, 프로세싱 디바이스는 프로세서(110) 또는 인코더/디코더 모듈(130) 중 어느 하나일 수 있음) 외부의 메모리가 이러한 기능들 중 하나 이상에 사용된다. 외부 메모리는 메모리(120) 및/또는 저장 디바이스(140), 예를 들어, 동적 휘발성 메모리 및/또는 비휘발성 플래시 메모리일 수 있다. 여러 실시예들에서, 외부 비휘발성 플래시 메모리가 텔레비전의 운영 체제를 저장하는 데 사용된다. 적어도 하나의 실시예에서, RAM과 같은 고속, 외부 동적 휘발성 메모리는 MPEG-2, 고효율 비디오 코딩(High Efficiency Video Coding, HEVC), 또는 VVC에 대한 것과 같은 비디오 코딩 및 디코딩 동작들을 위한 작업 메모리로서 사용된다.
시스템(100)의 요소들에 대한 입력은 블록(105)에 나타낸 바와 같은 다양한 입력 디바이스들을 통해 제공될 수 있다. 그러한 입력 디바이스들은 (i) 예를 들어, 브로드캐스터에 의해 무선으로 송신되는 RF 신호를 수신하는 RF 부분, (ii) 복합 입력 단자(Composite input terminal), (iii) USB 입력 단자, 및/또는 (iv) HDMI 입력 단자를 포함하지만, 이들로 제한되지 않는다.
다양한 실시예들에서, 블록(105)의 입력 디바이스들은 당업계에 알려진 바와 같은 연관된 각자의 입력 프로세싱 요소들을 갖는다. 예를 들어, RF 부분은, (i) 원하는 주파수를 선택하는 것(신호를 선택하는 것, 또는 신호를 주파수들의 대역으로 대역-제한하는 것으로도 지칭됨), (ii) 선택된 신호를 하향 변환(downconvert)하는 것, (iii) (예를 들어) 소정 실시예들에서 채널로 지칭될 수 있는 신호 주파수 대역을 선택하기 위해 주파수들의 더 좁은 대역으로 다시 대역-제한하는 것, (iv) 하향 변환되고 대역-제한된 신호를 복조하는 것, (v) 에러 보정을 수행하는 것, 및 (vi) 데이터 패킷들의 원하는 스트림을 선택하기 위해 역다중화하는 것에 적합한 요소들과 연관될 수 있다. 다양한 실시예들의 RF 부분은 이러한 기능들을 수행하기 위한 하나 이상의 요소들, 예를 들어 주파수 선택기들, 신호 선택기들, 대역-제한기들, 채널 선택기들, 필터들, 하향변환기들, 복조기들, 에러 보정기들, 및 역다중화기들을 포함한다. RF 부분은, 예를 들어, 수신된 신호를 더 낮은 주파수(예를 들어, 중간 주파수 또는 기저대역 근접 주파수(near-baseband frequency))로 또는 기저대역으로 하향 변환하는 것을 포함하여, 다양한 이들 기능들을 수행하는 튜너를 포함할 수 있다. 하나의 셋톱 박스 실시예에서, RF 부분 및 그의 연관된 입력 프로세싱 요소는 유선(예를 들어, 케이블) 매체를 통해 송신된 RF 신호를 수신하고, 원하는 주파수 대역에 대해 필터링, 하향 변환, 및 다시 필터링함으로써 주파수 선택을 수행한다. 다양한 실시예들은 전술한(및 다른) 요소들의 순서를 재배열하고, 이들 요소들 중 일부를 제거하고/하거나 유사하거나 상이한 기능들을 수행하는 다른 요소들을 추가한다. 요소들을 추가하는 것은 기존 요소들 사이에 요소들을 삽입하는 것, 예를 들어, 증폭기들 및 아날로그-대-디지털 변환기를 삽입하는 것을 포함할 수 있다. 다양한 실시예들에서, RF 부분은 안테나를 포함한다.
추가로, USB 및/또는 HDMI 단자들은 USB 및/또는 HDMI 접속을 통해 다른 전자 디바이스들에 시스템(100)을 접속시키기 위한 각자의 인터페이스 프로세서들을 포함할 수 있다. 입력 프로세싱, 예를 들어, 리드 솔로몬(Reed-Solomon) 에러 보정의 다양한 태양들이, 예를 들어, 필요에 따라, 별개의 입력 프로세싱 IC 내에서 또는 프로세서(110) 내에서 구현될 수 있다는 것이 이해되어야 한다. 유사하게, USB 또는 HDMI 인터페이스 프로세싱의 태양들이, 필요에 따라, 별개의 인터페이스 IC들 내에서 또는 프로세서(110) 내에서 구현될 수 있다. 복조되고, 에러 보정되고, 역다중화된 스트림은, 출력 디바이스 상의 프레젠테이션을 위해 필요에 따라 데이터스트림을 프로세싱하기 위해, 예를 들어, 프로세서(110), 및 메모리 및 저장 요소들과 조합하여 동작하는 인코더/디코더(130)를 포함하는 다양한 프로세싱 요소들에 제공된다.
시스템(100)의 다양한 요소들이 집적 하우징 내에 제공될 수 있다. 집적 하우징 내에서, 다양한 요소들은 I2C 버스, 배선 및 인쇄 회로 기판들을 포함한 적합한 접속 배열물(115), 예를 들어, 당업계에 알려져 있는 바와 같은 내부 버스를 사용하여, 상호접속될 수 있고 그들 사이에서 데이터를 송신할 수 있다.
시스템(100)은 통신 채널(190)을 통해 다른 디바이스들과의 통신을 가능하게 하는 통신 인터페이스(150)를 포함한다. 통신 인터페이스(150)는 통신 채널(190)을 통해 데이터를 송수신하도록 구성되는 송수신기를 포함할 수 있지만, 이로 제한되지 않는다. 통신 인터페이스(150)는 모뎀 또는 네트워크 카드를 포함할 수 있지만 이로 제한되지 않으며, 예를 들어, 통신 채널(190)이 유선 및/또는 무선 매체 내에서 구현될 수 있다.
데이터는, 다양한 실시예들에서, IEEE 802.11과 같은 Wi-Fi 네트워크를 사용하여 시스템(100)으로 스트리밍된다. 이러한 실시예들의 Wi-Fi 신호는 Wi-Fi 통신들에 대해 적응된 통신 채널(190) 및 통신 인터페이스(150)를 통해 수신된다. 이러한 실시예들의 통신 채널(190)은 전형적으로, 스트리밍 애플리케이션들 및 다른 오버더톱(over-the-top) 통신들을 허용하기 위한 인터넷을 포함하는 외부 네트워크들에 대한 액세스를 제공하는 액세스 포인트 또는 라우터에 접속된다. 다른 실시예들은 입력 블록(105)의 HDMI 접속을 통해 데이터를 전달하는 셋톱 박스를 사용하여 스트리밍된 데이터를 시스템(100)에 제공한다. 또 다른 실시예들은 입력 블록(105)의 RF 접속을 사용하여 스트리밍된 데이터를 시스템(100)에 제공한다.
시스템(100)은 디스플레이(165), 스피커(175), 및 다른 주변 디바이스들(185)을 포함하는 다양한 출력 디바이스들에 출력 신호를 제공할 수 있다. 다른 주변 디바이스들(185)은, 실시예들의 다양한 예들에서, 독립형 DVR, 디스크 플레이어, 스테레오 시스템, 조명 시스템, 및 시스템(100)의 출력에 기초하여 기능을 제공하는 다른 디바이스들 중 하나 이상을 포함한다. 다양한 실시예들에서, 제어 신호들은, 사용자 개입으로 또는 사용자 개입 없이 디바이스-대-디바이스 제어를 가능하게 하는 AV.Link, CEC, 또는 다른 통신 프로토콜들과 같은 시그널링을 사용하여 시스템(100)과 디스플레이(165), 스피커들(175), 또는 다른 주변 디바이스들(185) 사이에서 통신된다. 출력 디바이스들은 각자의 인터페이스들(160, 170, 180)을 통한 전용 접속들을 통해 시스템(100)에 통신가능하게 커플링될 수 있다. 대안적으로, 출력 디바이스들은 통신 인터페이스(150)를 통해 통신 채널(190)을 사용하여 시스템(100)에 접속될 수 있다. 디스플레이(165) 및 스피커(175)는 전자 디바이스, 예를 들어, 텔레비전에서 시스템(100)의 다른 컴포넌트들과 단일 유닛으로 통합될 수 있다. 다양한 실시예들에서, 디스플레이 인터페이스(160)는 디스플레이 드라이버, 예를 들어 타이밍 제어기(T Con) 칩을 포함한다.
예를 들어, 디스플레이(165) 및 스피커(175)는 대안적으로 입력(105)의 RF 부분이 별개의 셋톱 박스의 일부인 경우, 다른 컴포넌트들 중 하나 이상과 별개일 수 있다. 디스플레이(165) 및 스피커들(175)이 외부 컴포넌트들인 다양한 실시예들에서, 출력 신호는, 예를 들어 HDMI 포트들, USB 포트들, 또는 COMP 출력들을 포함하는 전용 출력 접속들을 통해 제공될 수 있다.
도 2는 범용 비디오 코딩(VVC) 인코더와 같은 예시적인 비디오 인코더(200)를 도시한다. 도 2는 또한, VVC 표준에 대한 개선들이 이루어지는 인코더, 또는 VVC와 유사한 기술들을 채용하는 인코더를 도시할 수 있다.
본 출원에서, "재구성된" 및 "디코딩된"이라는 용어들은 상호교환 가능하게 사용될 수 있고, "인코딩된" 또는 "코딩된"이라는 용어들은 상호교환 가능하게 사용될 수 있으며, "이미지", "픽처" 및 "프레임"이라는 용어들은 상호교환 가능하게 사용될 수 있다. 반드시 그렇지는 않지만, 일반적으로, "재구성된"이라는 용어는 인코더 측에서 사용되는 반면, "디코딩된"은 디코더 측에서 사용된다.
인코딩되기 전에, 비디오 시퀀스는, 예를 들어, 입력 컬러 픽처에 컬러 변환을 적용하거나(예를 들어, RGB 4:4:4로부터 YCbCr 4:2:0으로의 변환), 또는 (예를 들어, 컬러 성분들 중 하나의 성분의 히스토그램 등화를 사용하여) 압축에 더 탄력적인 신호 분포를 얻기 위해 입력 픽처 성분들의 재맵핑(remapping)을 수행하는, 사전 인코딩 프로세싱(201)을 거칠 수 있다. 메타데이터는 사전-프로세싱과 연관될 수 있고, 비트스트림에 부착될 수 있다.
인코더(200)에서 픽처는 후술되는 바와 같이 인코더 요소들에 의해 인코딩된다. 인코딩될 픽처는, 예를 들어 CU들의 단위들로 파티셔닝(202) 및 프로세싱된다. 각각의 유닛은, 예를 들어 인트라 또는 인터 모드를 사용하여 인코딩된다. 유닛이 인트라 모드에서 인코딩될 때, 그것은 인트라 예측을 수행한다(260). 인터 모드에서는 모션 추정(275) 및 보상(270)이 수행된다. 인코더는 유닛을 인코딩하기 위해 인트라 모드 또는 인터 모드 중 어느 것을 사용할지를 결정하고(205), 예를 들어 예측 모드 플래그에 의해 인트라/인터 결정을 나타낸다. 예측 잔차들은, 예를 들어 오리지널 이미지 블록에서 예측된 블록을 감산함으로써(210) 계산된다.
이어서, 예측 잔차들은 변환되고(225) 양자화된다(230). 양자화된 변환 계수들뿐만 아니라 모션 벡터들 및 다른 신택스 요소들은 엔트로피 코딩되어(245) 비트스트림을 출력한다. 인코더는 변환을 스킵할 수 있고, 비변환된 잔차 신호에 직접 양자화를 적용할 수 있다. 인코더는 변환 및 양자화 모두를 스킵할 수 있으며, 즉, 잔차는 변환 또는 양자화 프로세스들의 적용 없이 직접 코딩된다.
인코더는 인코딩된 블록을 디코딩하여 추가 예측들을 위한 기준을 제공한다. 양자화된 변환 계수들은 예측 잔차들을 디코딩하기 위해 역양자화되고(240) 역변환된다(250). 디코딩된 예측 잔차들 및 예측된 블록을 조합하여(255), 이미지 블록이 재구성된다. 인루프(in-loop) 필터들(265)이, 예를 들어, 인코딩 아티팩트들을 감소시키기 위해 디블록킹(deblocking)/SAO(Sample Adaptive Offset) 필터링을 수행하도록 재구성된 픽처에 적용된다. 필터링된 이미지는 기준 픽처 버퍼(280)에 저장된다.
도 3은 예시적인 비디오 디코더(300)의 블록도를 도시한다. 디코더(300)에서, 비트스트림은 후술되는 바와 같이 디코더 요소들에 의해 디코딩된다. 비디오 디코더(300)는 대체적으로 도 2에 기술된 바와 같은 인코딩 패스에 상반적인 디코딩 패스를 수행한다. 인코더(200)는 또한 대체적으로, 비디오 데이터를 인코딩하는 것의 일부로서 비디오 디코딩을 수행한다.
특히, 디코더의 입력은 비디오 인코더(200)에 의해 생성될 수 있는 비디오 비트스트림을 포함한다. 비트스트림은 변환 계수들, 모션 벡터들, 및 다른 코딩된 정보를 획득하기 위해 먼저 엔트로피 디코딩된다(330). 픽처 파티션 정보는 픽처가 어떻게 파티셔닝되는지를 나타낸다. 따라서, 디코더는 디코딩된 픽처 파티셔닝 정보에 따라 픽처를 분할할 수 있다(335). 변환 계수들은 예측 잔차들을 디코딩하기 위해 역양자화되고(340) 역변환된다(350). 디코딩된 예측 잔차들 및 예측된 블록을 조합하여(355) 이미지 블록이 재구성된다. 예측된 블록은 인트라 예측(360) 또는 모션 보상된 예측(즉, 인터 예측)(375)으로부터 획득될 수 있다(370). 재구성된 이미지에 인루프 필터들(365)이 적용된다. 필터링된 이미지는 기준 픽처 버퍼(380)에 저장된다.
디코딩된 픽처는 사후 디코딩 프로세싱(385), 예를 들어, 역 컬러 변환(예를 들어, YCbCr 4:2:0으로부터 RGB 4:4:4로의 변환) 또는 사전 인코딩 프로세싱(201)에서 수행된 재맵핑 프로세스의 역을 수행하는 역 재맵핑을 추가로 거칠 수 있다. 사후 디코딩 프로세싱은 사전 인코딩 프로세싱에서 도출되고 비트스트림에서 시그널링된 메타데이터를 사용할 수 있다.
전술된 바와 같이, VVC 비디오 압축에서, 픽처는 소위 코딩 트리 단위(CTU)로 분할되고, 각각의 CTU는 도 4에 도시된 바와 같이, 압축된 도메인에서 하나 이상의 코딩 단위(CU)들에 의해 표현된다. 이어서, 각각의 CU는 일부 인트라 또는 인터 예측 파라미터들(예측 정보)을 제공받는다.
인트라 예측에서, CU는 인과성 이웃 CU들, 즉 현재 CU의 상단 및 좌측의 디코딩된 CU들로부터 공간적으로 예측된다. 그러한 목적을 위해, VVC는 예측 모드들로 불리는 간단한 공간 모델들을 사용한다. 기준 픽셀들로 불리는 상단 및 좌측 CU들에서의 디코딩된 픽셀 값들에 기초하여, 인코더는 타깃 블록에 대해 상이한 예측들을 구성하고, 최상의 레이트 왜곡(Rate-Distortion, RD) 성능에 이르게 하는 것을 선택한다. 95개의 미리정의된 모드들 중 하나의 모드는 평면 모드(모드 0으로서 인덱싱됨)이고, 하나의 모드는 DC 모드(모드 1로서 인덱싱됨)이고, 나머지 93개의 모드(모드 -14…-1, 2…80로서 인덱싱됨)는 각도 모드들이다. 각도 모드들은 프레임 내의 객체들의 방향 구조체들을 모델링하는 것을 목표로 한다. 따라서, 상단 및 좌측 CU들에서의 디코딩된 픽셀 값들은 미리정의된 방향들을 따라 단순히 반복되어 타깃 CU를 채운다.
각도 예측 모드들은 상이한 방향성들을 갖는 객체 구조체들을 포함하는 이미지 영역들을 설명할 수 있다. PLANAR 및 DC 모드들은 임의의 특정 방향성 없이 일정하고 점진적으로 변화하는 영역들을 설명한다. 그러나, 프레임 내부에는 객체 및 배경의 일부를 포함하는 블록들, 또는 상이한 방향성들을 갖는 동일한 또는 다수의 객체들의 부분들이 있을 수 있다. 그러한 블록들은 대체적으로, 단일 각도 모드 또는 비-각도 모드(즉, PLANAR 및 DC 모드들)에 의해 부적절하게 설명될 수 없다. 하기에서, VVC에서 인트라 예측 및 기하학적 파티션을 간략하게 제시한다. 더 용이한 참조를 위해, 텍스트 전체에 걸쳐 "CU" 및 "블록"을 상호교환적으로 사용할 것이다.
VVC에서의 인트라 예측
VVC에서의 인트라 예측 프로세스는 3개의 단계들로 이루어진다: (1) 기준 샘플 생성, (2) 인트라 샘플 예측, 및 (3) 예측된 샘플들의 포스트-프로세싱. 기준 샘플 생성 프로세스는 도 5에 도시되어 있다. 공동 좌표들(x,y)에서의 기준 픽셀 값들은 도면에서 R(x,y)에 의해 표시된다. 크기 WxH의 CU에 대해, W 및 H가 각각 폭 및 높이를 나타내는 경우, 상단의 2W개의 디코딩된 샘플들의 행은 이전에 재구성된 상단 및 상단 우측 픽셀들로부터 현재 CU까지 형성된다. 유사하게, 좌측의 2H개의 샘플들의 열은 재구성된 좌측 및 하단 좌측 픽셀들로부터 형성된다. 상단 좌측 포지션에 있는 코너 픽셀은 또한, 상단 행 기준과 좌측 열 기준 사이의 갭을 채우는 데 사용된다.
다음 단계, 즉, 인트라 샘플 예측은 기준 샘플들에 기초하여 타깃 CU의 픽셀들을 예측하는 것으로 이루어진다. 이전에 언급된 바와 같이, 상이한 종류들의 콘텐츠를 효율적으로 예측하기 위해, VVC는 일정 범위의 예측 모드들을 지원한다. 평면 및 DC 예측 모드들은 매끄럽게 그리고 점진적으로 변화하는 영역들을 예측하는 데 사용되는 반면, 각도 예측 모드들은 상이한 지향성 구조들을 캡처하는 데 사용된다. VVC는 -14 내지 -1로 그리고 2 내지 80으로 인덱싱되는 95개의 방향 예측 모드들을 지원한다. 정사각형 CU에 대해서는, 예측 모드 2 내지 예측 모드 66만이 사용된다. 이러한 예측 모드들은 도 6에 도시된 바와 같이, 시계방향으로 45도 내지 -135도의 상이한 예측 방향들에 대응한다. 숫자는 대응하는 방향과 연관된 예측 모드 인덱스를 표기한다. 모드 2 내지 모드 33은 수평 예측들을 표시하고, 모드 34 내지 모드 66은 수직 예측들을 표시한다.
모드들은 intraPredAngle (A), 즉 표 1에서 보여진 바와 같이 수평/수직 방향의 (0, 0) 포지션에 대한 예측자의 오프셋에 의해 정의된다. intraPredAngle (A)가 0과 동일할 때, 예측 모드는 엄밀히 수평 모드(모드 18) 또는 수직 모드(모드 50)일 수 있고; intraPredAngle (A)의 값이 네거티브일 때, 예측 모드는 네거티브 방향인데, 즉, 범위 19 내지 49의 모드이고, intraPredAngle (A)의 값이 포지티브일 때, 예측 모드는 포지티브 방향인데, 즉, 나머지 각도 모드들 중 임의의 것이다.
[표 1]
Figure pct00001
제2 단계 후에, 일부 예측 모드들은 상단 및 좌측 기준 경계들을 따라 불연속들에 이르게 할 수 있고, 따라서 그러한 예측 모드들은 포지션 의존적 인트라 예측 조합(position dependent intra prediction combination, PDPC)으로서 알려진 후속 포스트-프로세싱을 포함하는데, 이는 그러한 경계들 근처의 예측된 픽셀 값들을 평활화하는 것을 목표로 한다.
VVC에서의 기하학적 파티션
객체들과의 인터 예측 경계의 더 양호한 정렬을 위해, JVET-P0068(문헌[Han Gao, et al., "CE4: CE4-1.1, CE4-1.2 and CE4-1.14: Geometric Merge Mode (GEO)", Document JVET-P0068, 16th Meeting: Geneva, CH, 1―11 October 2019)] 참조)에서, VVC에 대한 인터 예측에서 32개의 각도들 및 5개의 거리들을 사용하는 기하학적 병합 모드가 제안되었다. 기하학적 병합 모드가 사용될 때, CU는 2개의 파티션들로 분할된다. CU에서의 각각의 파티션은 그 자신의 모션 파라미터들을 사용하여 인터 예측되고; 각각의 파티션에 대해 단방향-예측만이 허용되는데, 즉, 각각의 파티션은 하나의 모션 벡터 및 하나의 기준 인덱스를 갖는다. 파티션들 각각을 예측한 후에, 분할 에지를 따르는 샘플 값들은 적응적 가중치들을 사용한 블렌딩 프로세스를 사용하여 조정된다.
분할 경계는 각도 φ i 및 거리 오프셋 ρ i 에 의해 설명될 수 있다. 각도 φ i 는 11.25도와 동일한 단차로 0로 내지 360도로 양자화된다. 전체적으로, 도 7에 도시된 바와 같이, 32개의 각도들이 제안된다. 각도 φ i 및 거리 ρ i 를 사용하는 기하학적 분할의 설명이 도 8에 도시되어 있다. 거리 ρ i 는 최대 가능 거리 ρ max 로부터 고정 단차로 양자화되는데, 이는 블록의 중심으로부터의 거리를 표시한다. 거리 ρ i = 0에 대해, 각도들 중 처음 절반만이 이용가능한데, 이는 분할들이 이러한 경우에 대칭적이기 때문이다. 각도 12 및 거리 0 내지 3을 사용한 기하학적 파티셔닝의 결과들이 도 9에 묘사되어 있다.
도 10에 도시된 바와 같이, 인터 예측에서의 비-직사각형 파티셔닝, 예컨대 대각선 파티셔닝(1010) 및 일반적인 기하학적 파티셔닝(1020)의 일부 예들은 배경으로부터의 객체들 또는 다른 객체들의 복잡한 형상들을 아웃라이닝(outlining)하는 데 매우 유용하다. VVC에서, 직사각형(정사각형을 포함함) 파티셔닝만이 인트라 프레임들에 적용되고, 따라서 매우 상이한 특징부들을 갖는 객체들은 하나의 인트라 코딩된 블록 내부에 포함될 수 있다. 임의의 블록이 일정한 변화하는 영역 및 소정 방향들을 따르는 변화하는 영역을 동시에 갖는 경우, 또는 임의의 블록이 상이한 방향들을 따르는 하나 초과의 변화하는 영역들을 갖는 경우, 그들은 대체로, 단일의 대응하는 각도 모드, 또는 PLANAR 또는 DC 모드 중 어느 하나에 의해 부적절하게 설명될 수 없다.
예를 들어, 도 11에 도시된 바와 같은 구간별 평활 이미지 모델을 고려하되, 여기서 상이한 평활 속성들을 갖는 2개의 상이한 평활 영역들이 에지(1110)에 의해 분리되는 경우, 단일 인트라 예측 모델을 사용하여 영역들 둘 모두를 예측하는 것은 덜 정확하다. 에지 근처 영역들에서, 이들은 더 작은 정사각형/직사각형 블록들로 지속적으로 파티셔닝될 수 있고, 더 작은 블록들로서 별개로 코딩될 수 있다. 그러나, 유사한 데이터를 갖는 이러한 더 작은 예측 블록들은 불필요한 오버헤드를 초래할 수 있다.
그러한 블록들을 더 잘 모델링하기 위해, 사용될 인트라 기하학적 파티션을 제안한다. 특히, 자연스러운 이미지들의 복잡한 특징부들에 적응시키기 위해 기하학적/대각선 파티션 기반 인트라 예측을 제안한다. 하기 중 하나 이상을 포함할 수 있는 상이한 실시예들이 제공된다:
1. 인트라 예측된 CU를 기하학적으로 위치된 직선 라인(대각선 분할을 포함함)에 의해 2개 이상의 서브파티션들로 분할한다.
2. CU 내의 각각의 기하학적 파티션은 그 자신의 인트라 모드를 사용하여 그의 이용가능한 기준 샘플들로 각각 인트라 예측된다. 하나의 서브파티션은 부모 CU로부터 인트라 예측 모드를 복사하여 사용하고; 다른 서브파티션은 다른 암시적 또는 명시적 시그널링된 인트라 예측 모드를 사용한다.
3. 각각의 기하학적 파티션을 예측한 후에, 분할 경계를 따르는 샘플 값들은 적응적 가중치들을 사용한 블렌딩 프로세스를 사용하여 조정된다.
4. 기하학적 파티션 기반 인트라 예측은 하나의 각도 인트라 예측 모드에, 또는 하나의 네거티브 방향 인트라 예측 모드에만, 또는 하나의 특정적 인트라 예측 모드(예컨대, 모드 34)에만 적용될 수 있다.
5. 기하학적 파티션 기반 인트라 예측의 레이트 왜곡(RD) 비용은 최적의 인트라 예측 모드가 선택된 후에 또는 그 전에 체크될 수 있다.
6. 기하학적 파티션 기반 인트라 예측을 위해 변환 선택 또는 다른 인트라 코딩 툴들(즉, 인트라 서브파티션)을 적응시킨다.
하기에서, 기하학적 파티션과 관련한 여러 실시예들이 상세히 기술된다.
네거티브 방향 모드에 대한 대각선 파티션 기반 인트라 예측
이러한 실시예에서, 최상의 RD 성능에 이르게 하는 타깃 CU에 대한 이러한 정의된 모드들 중에서 하나의 네거티브 방향 인트라 예측 모드가 선택된 후에, 이러한 타깃 CU는 도 12에 예시된 바와 같이, 상단 좌측 포지션으로부터의 대각선 분할을 사용하여, 2개의 삼각형 형상 파티션들로 분할될 수 있다. 구체적으로, 서브파티션 플래그 cu_sbp_flag가 인트라 CU에 대해 시그널링되며, cu_sbp_flag가 1과 동일한 경우에 이러한 인트라 CU에 대각선 파티션이 추가로 적용된다.
도 13은 일 실시예에 따른, 인코더에서의 이미지 블록에 대한 대각선 파티션 기반 인트라 예측의 방법(1300)을 도시한다. 방법(1300)은 단계(1305)에서 시작한다. 단계(1310)에서, 가장 가능성있는 모드(most probable mode, MPM) 후보 목록이 생성된다. 단계들(1320, 1330)에서, 인코더는, 예측 블록들 P(n)을 생성하고 각각의 잠재적 인트라 예측 모드 n에 대한 RD 비용 COST(n)를 계산함으로써, 모든 잠재적 인트라 예측 모드들을 체크한다. 최적의 인트라 예측 모드 m(예컨대, 최소 RD 비용을 갖는 것)은 현재 블록을 인코딩하는 데 사용된다(1340). 이러한 미리정의된 모드들 중에서 네거티브 방향 인트라 예측 모드가 선택되는 경우(1350), 대각선 파티션이 체크된다. 단계(1360)에서, 블록이 대각선으로 2개의 서브파티션들로 분할되는지의 여부를 표시하기 위한 서브파티션 플래그 cu_sbp_flag가 0으로 초기화된다. 단계(1370)에서, 블록은 대각선으로 분할되고, 분할을 사용한 관련 RD 비용이 계산된다. 분할을 사용한 RD 비용과 분할을 사용하지 않은 RD 비용이 비교된다(1380). 제안된 대각선 파티션 기반 인트라 예측이 더 작은 RD 비용을 갖는 경우, 대각선 파티션이 인트라 블록에 대해 적용되고, 서브파티션 플래그 cu_sbp_flag가 1로서 인코딩된다(1390). 방법(1300)은 단계(1399)에서 종료한다.
도 14는 일 실시예에 따른, 대각선 파티션 기반 인트라 예측된 블록의 생성 프로세스(1400)를 도시한다. 방법(1400)은 단계(1370)에서 인트라 대각선 파티션을 적용하기 위해 사용될 수 있다. 이러한 대각선 파티션이 사용될 때, 인트라 CU는 2개의 삼각형 형상 자식 파티션들로 분할된다: 파티션 0 및 파티션 1(1410). 파티션 0은 부모 CU의 네거티브 방향 인트라 예측 모드를 사용하는 것으로 추론된다. 이어서, 다른 자식 파티션 1이 다른 디폴트 또는 시그널링된 인트라 예측 모드를 사용하여 인트라 예측된다. 상이한 평활 속성들을 갖는 2개의 영역들을 갖는 인트라 블록에 대한 2개의 상이한 인트라 예측 모드들을 허용함으로써, 더 정확한 예측이 예상될 수 있다.
어느 자식 파티션이 파티션 0인지를 표시하기 위해 파티션 포지션 플래그 cu_sbp_pos가 시그널링된다(1420). 도 12의 (a) 및 도 12의 (b)에 각각 도시된 바와 같이, 파티션 0은 cu_sbp_pos가 0과 동일할 때 좌측 경계 근처에 위치된 영역이고; 그와는 반대로, 파티션 0은 cu_sbp_pos가 1과 동일할 때 상측 경계 근처에 위치된 영역이다. 코딩 효율을 추가로 개선하고 코딩 프로세스를 단순화하기 위해, 파티션 포지션 플래그 cu_sbp_pos는 또한, 후술되는 바와 같이 일부 조건들 하에서 암시적일 수 있고, 시그널링은 스킵될 수 있다.
파티션 0의 인트라 예측 모드는 현재 CU로부터 직접 복사된다(1430). 상이한 설계 구성 철학들에 따라, 파티션 1의 인트라 예측 모드는 명시적으로 시그널링될 수 있거나, 또는 디폴트 인트라 예측 모드로서 암시적으로 시그널링될 수 있다(1440).
각각의 자식 파티션은 그의 인트라 예측 모드 및 그의 이용가능한 기준 샘플들로 각각 인트라 예측된다. 삼각형 파티션들 각각을 예측한 후에, 적응적 가중화 마스크들 또는 인자들을 사용한 블렌딩 프로세스를 사용하여 대각선 에지/경계를 따르는 샘플 값들이 조정된다(1450). 단계들(1420, 1440, 1450)에 대한 추가 세부사항들이 후술될 것이다.
도 15는 일 실시예에 따른, 디코더에서의 대각선 파티션 기반 인트라 예측을 수행하기 위한 방법(1500)을 도시한다. 방법(1500)은 단계(1505)에서 시작한다. CU에 대한 인트라 예측 모드 m이 단계(1510)에서 디코딩된다. 이러한 인트라 예측 모드가 네거티브 방향 인트라 예측 모드인 경우(1520), 블록이 대각선으로 2개의 서브파티션들로 분할되는지 아닌지의 여부를 표시하기 위해 서브파티션 플래그 cu_sbp_flag가 디코딩된다(1530). 인트라 예측 모드 m이 네거티브 방향이 아니거나, 또는 cu_sbp_flag가 0과 동일한 경우, 이러한 CU는 그의 인트라 모드 m으로 인트라 예측될 것이다(1570). CU가 대각선 분할인 경우(1535), 어느 자식 파티션이 파티션 0인지를 표시하기 위해 파티션 포지션 플래그 cu_sbp_pos가 명시적으로 또는 암시적으로 디코딩된다(1540). 파티션 1에 대해, 추가적인 인트라 예측 모드 cu_sbp_mode가 명시적으로 또는 암시적으로 디코딩되고(1550), 그것은 파티션 1의 인트라 예측에 사용되고(1565); 파티션 0에 대해, 그것은 인트라 예측 모드 m으로 인트라 예측되는데, 이는 그의 부모 CU로부터 직접 복사된다(1560). 예측된 파티션 0 및 파티션 1을 획득한 후에, 그들은 최종 예측된 CU를 얻기 위해 블렌딩된다(1580). 방법(1500)은 단계(1599)에서 종료한다.
네거티브 방향 인트라 예측 모드들에만 추가 대각선 파티션을 적용하는 것에 대한 한 가지 이유는, 삼각형 형상 파티션들 둘 모두를 예측하는 데 이용가능한 기준 샘플들이 있음을 확실히 하기 위한 것이다. 이러한 실시예의 변형예에 따르면, 제안된 대각선 인트라 파티션은 인트라 예측 모드 34가 선택되는 경우에만 인에이블된다.
파티션 포지션 플래그 cu_sbp_pos 를 사용한 파티션 0 및 파티션 1의 결정(1420)
도 14 및 도 15에 기술된 바와 같이, 부모 CU로부터 복사된 인트라 예측 모드를 사용하여 부모 인트라 CU의 어느 영역(파티션 0)이 인트라 예측되는지를 표시하기 위해 파티션 포지션 플래그 cu_sbp_pos가 시그널링된다. 나머지 영역(파티션 1)은 다른 디폴트 또는 시그널링된 모드를 사용하여 인트라 예측된다.
도 12에 도시된 바와 같이, 파티션 0은 cu_sbp_pos가 0과 동일할 때 좌측 경계 근처에 위치된 영역이고; 그와는 반대로, 파티션 0은 cu_sbp_pos가 1과 동일할 때 상측 경계 근처에 위치된 영역이다.
파티션 포지션 플래그 cu_sbp_pos를 시그널링하는 것 대신, 추론된 모드를 사용하여 인트라 예측된 파티션(파티션 0)의 위치는, 코딩 효율을 추가로 개선하고 코딩 프로세스를 단순화하기 위해 일부 조건들 하에서 암시적일 수 있다.
하나의 예에서, 파티션 0은 도 16에 도시된 바와 같이, 부모 인트라 CU의 네거티브 방향 인트라 예측 모드에 따라 암시적일 수 있다. 부모 인트라 CU의 인트라 예측 모드가 수평 네거티브 방향들에 속하는 경우(예컨대, 도 6에 도시된 바와 같은 모드 19 내지 모드 33모드), 파티션 0은 좌측 경계 근처에 위치된 영역이고; 그렇지 않은 경우, 수직 네거티브 방향들에 대해(예컨대, 도 6에 도시된 바와 같은 모드 34 내지 모드 49), 파티션 0은 상측 경계 근처에 위치된 영역이다. 이러한 암시적 시그널링의 한 가지 이유는, 대각선 파티션이 인트라 CU에 추가로 적용되는 경우, 이러한 CU의 인트라 예측 모드가 수평 방향들에 속할 때, 좌측 기준 어레이를 사용하여 좌측 경계 근처의 영역에 대해 수평 인트라 예측을 수행할 가능성이 있고; 상이한 변화하는 속성을 갖는 나머지 영역은 다른 디폴트 또는 시그널링된 모드를 사용하여 더 잘 인트라 예측될 수 있다.
이러한 암시적 시그널링 방법에 대해 정의된 수평 및 수직 네거티브 방향들의 범위는 추가로 감소되거나 증가될 수 있다. 예를 들어, 도 6에 도시된 바와 같은 모드 19 내지 모드 26만이 P0/P1 파티션의 암시적 시그널링이 적용될 수평 네거티브 방향들로 분류될 수 있고, 도 6에 도시된 바와 같은 모드 42 내지 모드 49는 P0/P1 파티션의 암시적 시그널링이 적용될 수직 네거티브 방향들에 포함된다.
파티션 1의 인트라 예측 모드 cu_sbp_mode (1440)
도 14 및 도 15에 기술된 바와 같이, 타깃 인트라 CU의 자식 파티션인 파티션 0은 그의 부모 CU로부터 인트라 예측 모드를 사용하여 인트라 예측되고; 타깃 인트라 CU의 나머지 자식 파티션인 파티션 1은, 1) 디폴트 인트라 예측 모드(즉, DC/수평/수직 모드), 또는 2) 나머지 미리정의된 인트라 예측 모드들 중의 시그널링된 인트라 예측 모드를 사용하여 인트라 예측된다.
단순화를 위해, 파티션 1은 DC 모드를 사용하여 자동으로 인트라 예측될 수 있다. 이러한 경우에, cu_sbp_mode는 1로서 설정된다(DC 모드). 현재 파티션 1의 샘플 값들은 좌측 또는/및 상측 이웃들로부터의 기준 샘플들의 평균을 계산함으로써 예측되고, 상단 좌측 코너 기준 샘플은 DC 모드가 인가되는 경우에 그의 예측에 사용되지 않을 것이다. 이러한 구현예는 블록이 일정한 변화하는 영역 및 소정 방향들을 따르는 변화하는 영역을 동시에 갖는 경우를 해결할 수 있다.
타깃 인트라 CU가 정사각형 블록인 경우, 파티션 1은 도 17에 도시된 바와 같이 대칭 삼각형 형상 파티션이다(파티션 1에 사용되는 기준 샘플들은 짙은 회색으로 마킹되어 있음). 길이 L을 따르는 좌측 및 상측 이웃들 둘 모두로부터의 기준 샘플들은 둘 모두가 하기의 수학식에 따라 평균을 계산하는 데 사용된다:
Figure pct00002
,
여기서 길이 L은 정사각형 블록의 폭/높이와 동일하다(L = W 또는 H). 파티션 1의 예측에 사용되는 기준 샘플들은 이러한 예에서 짙은 회색으로 마킹되어 있다.
타깃 인트라 CU가 직사각형 블록인 경우, DC 예측을 생성하기 위한 분할 동작들을 회피하기 위해, 좌측 및 상측 이웃들을 따르는 더 긴 측만이 도 18에 도시된 바와 같은 비대칭 삼각형 형상 파티션에 대한 평균을 계산하는 데 사용된다.
파티션 1의 수평 측이 더 긴 경우, 하기의 수학식에 따라 길이 L을 따르는 상단 이웃들로부터의 기준 샘플들을 평균함으로써 인트라 예측 p(x,y)가 도출된다:
Figure pct00003
.
유사하게, 파티션 1의 수직 측이 더 긴 경우, 하기의 수학식에 따라 길이 L을 따르는 좌측 이웃들로부터의 기준 샘플들을 평균함으로써 인트라 예측 p(x,y)가 도출된다:
Figure pct00004
.
비대칭 삼각형 형상 파티션에 대한 변형예에 따르면, DC 모드를 사용하는 것 대신, 파티션 1의 샘플 값들은 수평 모드(cu_sbp_mode = 18) 또는 수직 모드(cu_sbp_mode = 50)를 사용함으로써 예측될 수 있다.
좌측 및 상측 이웃들을 따르는 파티션 1의 수직 측이 더 긴 경우, 수평 모드(모드 18)는 파티션 1의 인트라 예측 모드로서 암시적이다. 인트라 예측 p(x,y)는 도 19에 도시된 바와 같이 기준 샘플들을 수평 방향으로 복사함으로써 도출된다. 유사하게, 수직 모드(모드 50)는 좌측 및 상측 이웃들을 따르는 파티션 1의 수평 측이 더 긴 경우에 적용되고, 수직 방향으로 기준 샘플들을 복사함으로써 인트라 예측 p(x,y)가 도출된다.
다른 변형예에 따르면, 비대칭 삼각형 형상 파티션에 대해, 현재 파티션 1의 샘플 값들은 DC 및 수평/수직 모드들로부터 선택된 하나의 모드를 사용함으로써 예측될 수 있다. 이러한 경우에, cu_sbp_mode가 비트스트림으로 하나의 추가적인 비트를 갖고서 시그널링된다.
다른 변형예에 따르면, 파티션 1을 더 정확하고 유연하게 예측하기 위해, 파티션 1은 최적의 RD 비용에 기초하여 나머지 미리정의된 모드들 중에서 시그널링된 인트라 예측 모드 cu_sbp_mode를 사용하여 인트라 예측될 수 있다. 이러한 경우에, 파티션 1의 모드 cu_sbp_mode가 DC 또는 수평/수직 모드들에 속하는 경우, 상단 좌측 코너 기준 샘플은 예측에 사용되지 않을 것이고; 모드 cu_sbp_mode가 다른 인트라 모드들 중 하나인 경우, 상단 좌측 코너 기준 샘플이 사용될 수 있다.
인코더에서 모드 선택 프로세스를 가속화하기 위해, 인트라 예측 모드들의 후보 개수가 제한될 수 있거나, 또는 다른 가장 가능성있는 모드(MPM) 목록이 파티션 1의 인트라 예측 모드 cu_sbp_mode에 사용될 수 있다. 예를 들어, 파티션 1의 좌측 및 상측 이웃 블록의 인트라 모드들을 고려함으로써 3개의 MPM들을 갖는 목록이 생성된다. 좌측의 모드가 Left로서 표기되고 상측 블록의 모드가 Above로서 표기됨을 가정한다.
모드들 Left 및 Above 둘 모두가 이용가능하고 그들이 도 20에 도시된 바와 같이 상이한 경우, MPM 목록은 하기와 같이 구성된다:
- 모드들 Left 및 Above 둘 모두가 비-각도 모드들인 경우:
- MPM 목록 → {DC, V, H}
- 모드들 Left 및 Above 중 하나가 각도 모드이고, 다른 하나가 비-각도 모드인 경우:
- 모드 Max를 Left 및 Above 중에서 더 큰 모드로서 설정함
- MPM 목록 → {Max, DC, Max-1}
- 모드들 Left 및 Above 둘 모두가 각도 모드들인 경우:
- 파티션 1이 대칭 삼각형 형상 파티션인 경우
- MPM 목록 → {DC, Left, Above}
- 파티션 1이 비대칭 삼각형 형상 파티션이고, 좌측 및 상측 이웃들을 따르는 파티션 1의 수평 측이 더 긴 경우
- MPM 목록 → {Left, H, Above}
- 그렇지 않은 경우
- MPM 목록 → {Above, V, Left}
모드들 Left 및 Above 중 하나만이 이용가능한 경우, 또는 모드들 Left 및 Above 둘 모두가 각도이고 그들이 동일한 경우, 파티션 1은 도 21에 도시된 바와 같은 인트라 예측을 위해 이러한 이용가능한 모드 Left 또는 Above를 바로 추론할 수 있다.
적응적 가중치들을 사용한 블렌딩 프로세스(1450)
파티션들 각각을 예측한 후에, 분할 에지 상의 샘플 값들은 하기의 수학식을 사용하여 P0에 대한 예측 pred p 0(x,y) 및 P1에 대한 예측 pred p 1(x,y)와 적응적 인자 W의 블렌딩 프로세스를 사용하여 조정된다.
Figure pct00005
,
여기서 가중화 인자는 도 22에 도시된 바와 같이, 1/2 또는 3/4, 또는 다른 값들일 수 있다.
삼각형 파티셔닝 모드(Triangle Partitioning mode, TPM)와 동일한, 2개의 파티션들 P0 및 P1을 따르는 경계 효과들을 추가로 감소시키기 위해, 제안된 대각선 파티션 기반 인트라 예측은 2개의 인트라 예측 모드들 m 및 cu_sbp_mode를 사용하여 동작하여, 하기의 수학식에서와 같이 블렌딩 마스크들 W 0 및 W 1을 사용하여 CU에 대한 2개의 예측들 pred 0(x,y) 및 pred 1(x,y)로 최종 예측된 블록 pred final (x,y)를 생성할 수 있다:
Figure pct00006
.
제안된 인트라 대각선 파티션의 블렌딩 마스크들 W 0 및 W 1은 도 23에 도시된 바와 같이 샘플 포지션과 분할 경계 사이의 거리로부터 도출된다. 이러한 예에서, 가중치들{7/8, 6/8, 5/8, 4/8, 3/8, 2/8, 1/8}이 블렌딩 프로세스에서 사용된다.
변형예에 따르면, 인트라 예측 파티션의 블렌딩 마스크들 W 0 및 W 1은 또한, 도 24에 도시된 바와 같이 대각선 에지 주위에서 비대칭적일 수 있다. 예측 pred 0(x,y)(여기서, 파티션의 인트라 예측 모드는 블록의 인트라 모드로부터 추론됨)는 블렌딩을 위해 더 큰 가중치를 사용할 수 있다. 이러한 예에서, 가중치들{3/4, 2/4, 1/4}이 블렌딩 프로세스에서 사용된다.
다른 변형예에 따르면, 블렌딩은 하기의 수학식을 사용하여 가중화 인자W로 대각선 에지에서만 프로세싱될 수 있다:
Figure pct00007
.
가중화 인자는 1/2 또는 3/4, 또는 다른 값들일 수 있다.
네거티브 방향 인트라 예측 모드에 대한 기하학적 파티션
상기에서, CU는 대각선 라인에 의해 2개의 부분들로 분할된다. 더 대체적으로, 2개의 영역들의 에지/경계를 더 잘 정렬하기 위해 인트라 예측된 CU를 기하학적으로 위치된 직선 라인에 의해 2개의 부분들로 분할하는 것을 제안한다. 분할 라인은 인트라 예측 모드에 평행할 수 있거나, 또는 여러 특정적 파티션들로부터 선택될 수 있고; 분할 라인은 상단 좌측 포지션 (0, 0)으로부터 또는 오프셋을 갖고서 시작할 수 있다.
대각선 파티션 기반 인트라 예측과 유사하게, 제안된 기하학적 파티션 기반 인트라 예측은 인트라 예측된 CU를 2개의 파티션들로 추가로 분할할 수 있다. 이어서, CU 내의 각각의 기하학적 파티션, 즉 파티션 0 및 파티션 1은 각각 그의 이용가능한 기준 샘플들을 사용하여 그 자신의 인트라 모드로 인트라 예측된다. 각각의 기하학적 파티션을 예측한 후에, 분할 경계를 따르는 샘플 값들은 적응적 가중치들을 사용한 블렌딩 프로세스를 사용하여 조정된다. 가중화 인자들은 샘플 포지션 및 분할 경계의 거리로부터 도출될 수 있다.
기하학적 파티션 기반 인트라 예측을 위한 분할 경계 도출
전술된 바와 같이, 기하학적 파티션은 이러한 CU의 인트라 예측 모드와 연관된 방향에 평행한 분할 라인에 의해 타깃 CU를 2개의 부분들로 분할할 수 있다.
도 25의 (a)의 예들에 도시된 바와 같이, 인트라 예측 모드가 모드 19인 경우, 분할 경계(2510)는 수평 네거티브 방향에 평행하거나; 또는 인트라 예측 모드가 도 25의 (b)에 도시된 바와 같이 모드 49인 경우, 분할 경계(2520)는 수직 네거티브 방향에 평행하다. 타깃 인트라 CU의 인트라 예측 방향이 도 25의 (c)에 도시된 바와 같이 모드 34인 경우, 이전에 설명된 바와 같은 대각선 분할(2530)이 정사각형 블록에 적용되고; 모드 34에 평행한 45도 분할이 직사각형 블록에 적용된다.
제안된 인트라 기하학적 파티션의 분할 유연성을 추가로 증가시키기 위해, 분할 경계는 도 26에 도시된 바와 같은 여러 미리정의된 파티션들로부터 선택될 수 있다. 이러한 예에서, 7개의 미리정의된 분할 경계들이 있는데, 이들 각각은 11.25도 단차들로 0도 내지 -90도의 각도를 표현한다. 이러한 예에 대해, 어느 분할 경계가 적용되는지를 표시하기 위해 신택스 요소 cu_sbp_boundary가 시그널링된다.
다른 변형예에 따르면, 미리정의된 분할 경계들의 수는 7 이외의 임의의 다른 값일 수 있고, 그것은 또한 인트라 예측 모드에 적응하는 상이한 값일 수 있다. 예를 들어, 인트라 예측 모드가 수평 네거티브 방향들(도 6에 도시된 바와 같은 모드 19 내지 모드 33)에 속하는 경우, 도 26에서 상측 부분에 가까운 분할 경계들의 절반만이 적용될 것이다.
기하학적 파티션에 대한 분할 라인 시작 포지션 cu_sbp_start
상기에서 언급된 바와 같이, 타깃 CU의 기하학적 파티션에 대한 분할 라인은 상단 좌측 포지션 (0, 0)으로부터 시작할 수 있거나, 또는 분할 시작 포지션은 2개의 자식 파티션들의 기하학적 에지/경계와 더 잘 정렬하기 위해 오프셋으로 시프트될 수 있다.
이러한 경우, 분할 시작 포지션이 어디에 위치되는지를 표시하기 위해 신택스 요소 cu_sbp_start가 시그널링된다. 도 27에 도시된 바와 같은 예로서 모드 34가 취해지면, 3개의 미리정의된 분할 시작 포지션들이 있다. cu_sbp_start가 0과 동일할 때 45도 분할 라인이 상단 좌측 포지션 p(0,0)으로부터 시작된다. cu_sbp_start가 1과 동일한 경우, 45도 분할 라인이 좌측 경계
Figure pct00008
의 중간으로부터 시작될 것이다. 유사하게, cu_sbp_start가 2와 동일한 경우, 45도 분할 라인이 상측 경계
Figure pct00009
의 중간으로부터 시작될 것이다. 더 많은 분할 시작 포지션들이 유사한 규칙에서 미리정의될 수 있다. 예를 들어, 분할 시작 포지션은 좌측 또는 상측 경계의 1/4인
Figure pct00010
에 위치될 수 있다.
다른 변형예에 따르면, 타깃 CU의 45도 분할은 좌표 정보가 도 28에 도시된 바와 같이 비트스트림으로 시그널링되는 좌측 또는 상측 경계에 있는 임의적 포지션으로부터 시작될 수 있다. 이러한 변형예에 대해, 분할 시작 포지션이 좌측 경계에 위치되는지의 여부를 표시하기 위해 신택스 플래그 cu_sbp_start_left가 시그널링되고; 이어서, 분할 시작 포지션과 상단 좌측 포지션 사이의 거리를 표시하기 위해 다른 신택스 요소 cu_sbp_start_offset가 후속적으로 시그널링된다. cu_sbp_start_left가 1과 동일한 경우, 기하학적 파티션은 좌측 경계 p(0,y)에 있는 임의적인 포지션으로부터 시작될 것이고, 거리 y가 cu_sbp_start_offset로서 비트스트림으로 시그널링된다. 유사하게, cu_sbp_start_left가 0과 동일하고, 거리 x가 cu_sbp_start_offset로서 시그널링되는 경우, 기하학적 파티션은 상측 경계 p(x,0)에 있는 임의적인 포지션으로부터 시작될 것이다. 이러한 변형예는 기하학적 에지/경계와 정렬하기에 더 유연하지만, cu_sbp_start_offset의 시그널링은 비용이 매우 많이 들 수 있다.
영역에 기초한 파티션 0 및 파티션 1의 결정
기하학적 파티션이 타깃 CU를 2개의 비대칭 부분들로 분할할 수 있기 때문에, 파티션 0은 도 29에 도시된 바와 같이 타깃 인트라 CU의 이러한 2개의 자식 파티션들의 영역에 따라 암시적일 수 있다. 이러한 변형예의 개념은 이러한 2개의 자식 파티션들 중 더 큰 영역을 갖는 영역을 파티션 0으로서 자동으로 설정하는 것이다.
이러한 제안된 변형예에 대한 이유는, 타깃 인트라 CU의 대부분의 영역들이 이러한 CU의 인트라 모드를 사용하여 예측될 가능성이 있고; 상이한 변화하는 속성을 갖는 나머지 더 작은 영역들만이 다른 모드를 사용하여 인트라 예측될 필요가 있을 수 있다는 것이다. 그렇지 않은 경우, 이러한 타깃 CU에는 다른 인트라 예측 모드가 배정되었어야 한다.
각도 모드에 대한 기하학적 파티션 기반 인트라 예측
네거티브 방향 인트라 예측 모드가 전술된 바와 같이 선택된 후에 기하학적 파티션만을 체크하는 것 대신, 제3 실시예에서, 하나의 각도 인트라 예측 모드가 선택되고 2개의 영역들에 대한 기준 이웃 샘플들이 이용가능하게 된 후에, 인트라 예측된 CU를 기하학적으로 위치된 직선 라인에 의해 2개의 부분들로 분할하는 것을 제안한다.
네거티브 방향 인트라 예측 모드가 선택된 후의 기하학적 파티션 기반 인트라 예측을 위한 보완책으로서, 포지티브 방향 인트라 예측 모드가 선택된 후에, 기하학적 파티션 기반 인트라 예측이 인트라 예측된 CU를, 오프셋을 갖는 상단 우측 포지션으로부터 또는 오프셋을 갖는 하단 좌측 포지션으로부터 2개의 파티션들로 추가로 분할할 수 있다는 것이 제안된다. 더 많은 세부사항들이 후술된다.
기하학적 파티션 기반 포지티브 방향 인트라 예측을 위한 분할 경계 및 분할 시작 포지션
전술된 바와 같이, 네거티브 방향 인트라 예측 모드가 선택된 후에, 기하학적 파티션은 이러한 CU의 인트라 예측 모드에 평행한 분할 라인에 의해 타깃 CU를 2개의 부분들로 분할할 수 있다.
포지티브 방향 인트라 예측 모드들에 대한 보완책으로서, 기하학적 파티션 기반 인트라 예측은 인트라 예측된 CU를 이러한 CU의 인트라 예측 모드에 평행한 분할 라인에 의해 2개의 파티션들로 추가로 분할할 수 있다. 분할 시작 포지션은 오프셋을 갖는 상단 우측 포지션으로부터 또는 오프셋을 갖는 하단 좌측 포지션으로부터 중 어느 하나일 수 있다.
도 30에 도시된 예들로서, 분할 라인은 타깃 CU의 포지티브 방향 인트라 예측 모드에 평행할 수 있다. 인트라 예측 모드가 수평 포지티브 방향에 속하는 모드 8인 경우, 분할 라인은 수평 포지티브 방향에 평행하거나; 또는 인트라 예측 모드가 수직 포지티브 방향 모드들 중 하나인 모드 60인 경우, 분할 라인은 수직 포지티브 방향에 평행하다. 타깃 인트라 CU의 인트라 예측 방향이 모드 2 또는 모드 66인 경우, 135도 분할이 적용된다.
포지티브 방향 인트라 예측 모드들에 대한 분할 라인은 또한, 분할 유연성을 추가로 증가시키기 위해 도 31의 예에 도시된 바와 같이 여러 미리정의된 파티션들로부터 선택될 수 있다. 수평/수직 포지티브 방향 모드들에 대해 각각 4개의 미리정의된 분할 경계들이 있다. 도 31의 (a)의 4개의 미리정의된 분할 경계들이 수평 포지티브 방향 모드들에 사용되는데, 이들 각각은 11.25도 단차들로 0 내지 45도의 각도를 표현한다. 도 31의 (b)의 다른 4개의 미리정의된 분할 경계들이 수직 포지티브 방향 모드들에 사용되는데, 이들은 11.25도 단차들로 -45 내지 -90도의 각도를 표현한다. 이러한 변형예에 대해, 어느 분할 경계가 적용되는지를 표시하기 위해 신택스 요소 cu_sbp_boundary가 시그널링된다.
최적의 인트라 예측 모드가 선택되기 전의 각도 인트라 예측 모드들에 대한 기하학적 또는 대각선 파티션 기반 인트라 예측 체크
상기에서, 제안된 실시예들은 모두, 각도 인트라 예측 모드가 재귀적 RDO 검색을 통해 선택된 후에만 적용된다. 하나의 이점은, 그것이 인트라 모드 선택을 위한 검색 복잡도를 제한한다는 것이다.
각도 인트라 예측 모드가 선택된 후에만 CU를 2개의 부분들로 분할할지의 여부를 체크하는 것 대신, 제4 실시예에서, 최상의 인트라 예측 모드가 선택되기 전에 재귀적 RDO 검색 동안 기하학적/대각선 인트라 파티션이 각도 인트라 예측 모드 후보들에 대해 체크될 수 있다는 것을 제안한다. 즉, 기하학적/대각선 인트라 파티션을 사용하는 경우 또는 사용하지 않는 경우 둘 모두의 일부 또는 모든 각도 인트라 예측 모드들의 RD 비용이 계산될 수 있고, 나머지 인트라 예측 모드들은 분할 없이 RD 비용만을 계산할 것이다. 최종 인트라 예측 모드는 이러한 가능한 상황들 모두로부터 선택되는데, 이는 최상의 RD 성능에 이르게 할 수 있다.
분할을 체크하는 데 필요한 모드들에 속하는 또는 속하지 않는 각도 인트라 예측 모드를 사용하여 인트라 예측된 CU에 대해 서브파티션 플래그 cu_sbp_flag가 시그널링된다. 제안된 기하학적/대각선 인트라 파티션은 cu_sbp_flag가 1과 동일한 경우에 이러한 인트라 CU에 추가로 적용된다.
도 32는 일 실시예에 따른, 인코더에서의 인트라 예측 모드 검색을 수행하기 위한 방법(3200)을 도시한다. 방법(3200)은 단계(3205)에서 시작한다. 단계(3210)에서, 가장 가능성있는 모드(MPM) 후보 목록이 생성된다. 단계(3220)에서, 인코더는, 예측 블록들 P(m)을 생성하고 RD 비용 COST(m)를 계산함으로써, 잠재적 인트라 예측 모드 m을 체크한다. 기하학적 인트라 파티션을 체크하기 위한 후보들 중 하나인 인트라 모드에 대해(3230), 블록이 대각선으로 2개의 서브파티션들로 분할되는지의 여부를 표시하기 위한 서브파티션 플래그 cu_sbp_flag가 0으로 초기화되고(3240), 블록이 2개의 서브파티션들로 분할되고 RD 비용 COST(m_sbp)이 계산된다(3250). 기하학적 파티션 기반 인트라 예측이 더 작은 RD 비용을 갖는 경우(3260), 기하학적 파티션이 인트라 블록에 대해 적용되고, 서브파티션 플래그 cu_sbp_flag가 1로서 인코딩되고, 최적의 비용이 COST(m_sbp)로 업데이트된다(3270). 단계(3280)에서, 인코더는 모든 모드들이 체크되는지의 여부를 체크한다. 그렇지 않은 경우, 제어는 단계(3220)로 복귀한다. 그 외에는, 인코더는 최적의 인트라 예측 모드를 사용하여 현재 블록을 인코딩한다(3290). 방법(3200)은 단계(3299)에서 종료한다.
방법(1300)과 비교하여, 이러한 실시예(3200)는 검색 복잡도 및 cu_sbp_flag의 시그널링 비용을 증가시키는 한편, 그것은 최상의 인트라 예측 모드 검색을 최적화한다. 복잡도 및 코딩 효율을 균형화하기 위해, 일부 검색 가속화 스킴들이 하기의 변형예들에서 기술된다.
이러한 실시예의 변형예에 따르면, 하나의 특정적 인트라 예측 모드(예컨대, 모드 34)가 체크될 때에만, 제안된 기하학적/대각선 인트라 파티션이 체크되도록 인에이블될 수 있다.
이러한 실시예의 다른 변형예에 따르면, 하나의 네거티브 방향 인트라 예측 모드가 체크될 때에만, 제안된 기하학적/대각선 인트라 파티션이 체크되도록 인에이블될 수 있다.
이러한 실시예의 다른 변형예에 따르면, 그의 좌측 또는 상측 이웃 블록 중 하나가 기하학적/대각선 인트라 파티션을 적용할 때에만, 기하학적/대각선 인트라 파티션이 체크되도록 인에이블될 수 있다.
이러한 실시예의 다른 변형예에 따르면, 그의 좌측 및 상측 이웃 블록들 둘 모두가 기하학적/대각선 인트라 파티션을 적용할 때에만, 기하학적/대각선 인트라 파티션이 체크되도록 인에이블될 수 있다.
제안된 인트라 기하학적/대각선 파티션에 대한 변환 선택
전체 CU에 대한 최종 예측 신호가 전술된 프로세스에 의해 획득된 후에, 다른 인트라 예측 모드들에서와 같이 전체 CU에 변환 및 양자화 프로세스가 적용될 것이다. 변환 선택은 이러한 실시예에서의 인트라 기하학적 파티션에 적응될 수 있다.
VVC에서, DCT2에 더하여, 다중 변환 선택(Multiple Transform Selection, MTS) 스킴이 인트라 및 인터 코딩된 블록들 둘 모두에서의 잔차 코딩에 사용된다. 그것은 DCT8/DST7로부터의 다수의 선택된 변환들을 사용한다. 변환 및 시그널링 맵핑 표가 표 2에 보여진다. MTS의 도입은 VVC에서의 변환의 효율을 개선하는 한편, 최적의 변환 후보들에 대한 철저한 RDO 검색은 VVC 인코더에 큰 계산 부담을 가져온다.
[표 2]
Figure pct00011
VVC에서, MTS가 적용되는지의 여부를 표시하기 위해 CU 레벨 플래그가 시그널링된다. 제5 실시예에서, 제안된 인트라 기하학적/대각선 파티션이 적용될 때, MTS CU 레벨 플래그가 시그널링되는 것이 아니라 추론된다는 것을 제안한다.
2개의 분할 파티션들(파티션 0 및 파티션 1)의 인트라 예측 모드 사이의 차이가 미리정의된 임계치보다 작은 경우 또는 파티션 1이 DC 모드를 사용하여 인트라 예측되는 경우, MTS CU 레벨 플래그는 0으로서 추론되며, 여기서 DCT2는 방향들 둘 모두로 적용된다. 콘텐츠들이 대체적으로 매우 복잡한 텍스처들을 갖는 나머지 경우들에 대해, 단지 하나의 단일 변환(DCT2)만으로는 상이한 통계적 변화들을 모델링하는 데 효율적이지 않으며, 이어서 MTS를 적용할 가능성이 매우 높다. MTS CU 레벨 플래그는 1로서 추론되고, 이어서 표 3에 보여진 바와 같이 수평 및 수직 방향들에 대한 변환 유형을 각각 표시하기 위해 2개의 플래그들이 직접 시그널링된다.
[표 3]
Figure pct00012
이러한 실시예의 변형예에 따르면, 인트라 기하학적 파티션을 사용하는 인트라 CU에 대한 변환 유형은 타깃 인트라 CU의 인트라 예측 모드로부터 암시적으로 도출될 수 있다. 상이한 코딩 파라미터들을 사용함으로써 동일한 로직들이 실제로 상이하게 구현될 수 있다.
앞서 언급된 실시예들의 변형예에 따르면, 그것은 방향 인트라 예측 모드들의 범위를 추가로 좁힐 수 있으며, 여기서 제안된 기하학적/대각선 인트라 파티션이 인에이블될 수 있다. 예를 들어, 모드 26 내지 모드 42로부터의 하나의 인트라 예측 모드가 선택된 후에만, 제안된 기하학적/대각선 인트라 파티션이 인에이블될 수 있다.
앞서 언급된 실시예들의 다른 변형예에 따르면, 타깃 CU는 2개 초과의 부분들로 분할될 수 있다.
앞서 언급된 실시예들의 다른 변형예에 따르면, 제안된 기하학적/대각선 인트라 파티션이 현재 CU에 적용될 때 인트라 서브파티션(ISP)은 허용되지 않는다.
다양한 방법들이 본 명세서에 기술되고, 각각의 방법은 기술된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 방법의 적절한 동작을 위해 단계들 또는 액션들의 특정 순서가 요구되지 않는 한, 특정 단계들 및/또는 액션들의 순서 및/또는 사용은 수정되거나 조합될 수 있다. 부가적으로, "제1", "제2" 등의 용어는 다양한 실시예들에서 예를 들어, "제1 디코딩" 및 "제2 디코딩"과 같이 요소, 컴포넌트, 단계, 동작 등을 수식하는 데 사용될 수 있다. 그러한 용어들의 사용은, 구체적으로 요구되지 않는 한 수식된 동작들에 대한 순서화를 의미하지 않는다. 따라서, 이러한 예에서, 제1 디코딩은 제2 디코딩 전에 수행될 필요가 없고, 예를 들어, 제2 디코딩 전에, 그 동안, 또는 그와 중첩되는 기간에 발생할 수 있다.
본 출원에서 기술된 다양한 방법들 및 다른 태양들은 모듈들, 예를 들어 도 2 및 도 3에 도시된 바와 같은 비디오 인코더(200) 및 디코더(300)의 인트라 예측 모듈들(260, 360)을 수정하는 데 사용될 수 있다. 또한, 본 태양들은 VVC 또는 HEVC로 제한되지 않으며, 예를 들어, 다른 표준들 및 권고들, 및 임의의 그러한 표준들 및 권고들의 확장들에 적용될 수 있다. 달리 나타내지 않거나, 또는 기술적으로 배제되지 않는 한, 본 출원에 기술되는 태양들은 개별적으로 또는 조합하여 사용될 수 있다.
다양한 수치 값들이 본 출원에서 사용된다. 특정 값들은 예시적인 목적들을 위한 것이며, 기술된 태양들은 이들 특정 값들로 제한되지 않는다.
다양한 구현예들이 디코딩을 수반한다. 본 출원에서 사용된 바와 같은 "디코딩"은, 디스플레이에 적합한 최종 출력을 생성하기 위해 예를 들어, 수신된 인코딩된 시퀀스에 대해 수행된 프로세스들의 전부 또는 일부를 포함할 수 있다. 다양한 실시예들에서, 그러한 프로세스들은 디코더에 의해 전형적으로 수행되는 프로세스들 중 하나 이상의 프로세스들, 예를 들어, 엔트로피 디코딩, 역양자화, 역변환, 및 차동 디코딩을 포함한다. 어구 "디코딩 프로세스"가 동작들의 서브세트를 구체적으로 나타내기 위한 것인지, 또는 대체적으로 보다 광의의 디코딩 프로세스를 나타내기 위한 것인지 여부는 특정 설명들의 맥락에 기초하여 명확할 것이며, 당업자에 의해 잘 이해될 것으로 여겨진다.
다양한 구현예들이 인코딩을 수반한다. "디코딩"에 관한 상기의 논의와 유사한 방식으로, 본 출원에서 사용된 바와 같은 "인코딩"은 인코딩된 비트스트림을 생성하기 위해 예를 들어, 입력 비디오 시퀀스에 대해 수행된 프로세스들의 전부 또는 일부를 포함할 수 있다.
본 명세서에 사용된 바와 같은 신택스 요소들은 설명적 용어들임에 유의한다. 이와 같이, 이들은 다른 신택스 요소 명칭들의 사용을 배제하지 않는다.
본 명세서에 기술된 구현예들 및 태양들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호에서 구현될 수 있다. 단일 형태의 구현예의 맥락에서만 논의되더라도(예를 들어, 방법으로서만 논의됨), 논의된 특징들의 구현예는 또한 다른 형태들(예를 들어, 장치 또는 프로그램)로 구현될 수 있다. 장치는, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법들은, 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그램가능 로직 디바이스를 포함하는, 대체적으로 프로세싱 디바이스들로 지칭되는 프로세서와 같은 장치에서 구현될 수 있다. 프로세서들은 또한 예를 들어 컴퓨터, 셀룰러폰, 휴대용/개인 휴대 정보 단말기("PDA"), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스와 같은 통신 디바이스들을 포함한다.
"하나의 실시예" 또는 "일 실시예" 또는 "하나의 구현예" 또는 "일 구현예"뿐만 아니라 그의 다른 변형들에 대한 언급은, 실시예와 관련하여 기술된 특정 특징부, 구조, 특성 등이 적어도 하나의 실시예에 포함됨을 의미한다. 따라서, 본 출원 전반에 걸친 다양한 곳에서 나타나는 "하나의 실시예에서" 또는 "일 실시예에서" 또는 "하나의 구현예에서" 또는 "일 구현예에서"라는 문구뿐만 아니라 임의의 다른 변형예들의 출현들은 반드시 모두 동일한 실시예를 언급하는 것은 아니다.
또한, 본 출원은 다양한 피스들의 정보들을 "결정하는 것"을 언급할 수 있다. 정보를 결정하는 것은, 예를 들어, 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 또는 메모리로부터 정보를 검색하는 것 중 하나 이상을 포함할 수 있다.
또한, 본 출원은 다양한 피스들의 정보에 "액세스하는 것"을 언급할 수 있다. 정보에 액세스하는 것은, 예를 들어, 정보를 수신하는 것, (예를 들어, 메모리로부터) 정보를 검색하는 것, 정보를 저장하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.
또한, 본 출원은 다양한 피수들의 정보들을 "수신하는 것"을 언급할 수 있다. 수신하는 것은 "액세스하는 것"과 마찬가지로 광의의 용어인 것으로 의도된다. 정보를 수신하는 것은, 예를 들어, 정보에 액세스하는 것, 또는 (예를 들어, 메모리로부터) 정보를 검색하는 것 중 하나 이상을 포함할 수 있다. 또한, "수신"하는 것은 전형적으로 예를 들어 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 소거하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것과 같은 동작들 동안, 하나의 방식으로 또는 다른 방식으로 수반된다.
예를 들어 다음의 "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나"의 경우들에서 "/", "및/또는", 및 "적어도 하나" 중 임의의 것의 사용은 제1 열거된 옵션(A) 단독의 선택, 또는 제2 열거된 옵션(B) 단독의 선택, 또는 옵션들(A 및 B) 둘 모두의 선택을 포함하도록 의도됨을 이해해야 한다. 또 다른 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 하나"의 경우들에서, 그러한 어구는 제1 열거된 옵션(A) 단독의 선택, 또는 제2 열거된 옵션(B) 단독의 선택, 또는 제3 열거된 옵션(C) 단독의 선택, 또는 제1 및 제2 열거된 옵션들(A 및 B) 단독의 선택, 또는 제1 및 제3 열거된 옵션들(A 및 C) 단독의 선택, 또는 제2 및 제3 열거된 옵션들(B 및 C) 단독의 선택, 또는 3개의 모든 옵션들(A, B 및 C)의 선택을 포함하도록 의도된다. 이는, 본 명세서에 기술된 바와 같은 많은 항목들에 대해, 본 명세서 및 관련 분야의 당업자에게 명백한 바와 같이 확장될 수 있다.
또한, 본 명세서에 사용된 바와 같이, 용어 "신호"는 특히 대응하는 디코더에게 무언가를 나타내는 것을 지칭한다. 예를 들어, 소정 실시예들에서, 인코더는 탈양자화를 위한 양자화 매트릭스를 시그널링한다. 이러한 방식으로, 일 실시예에서, 동일한 파라미터가 인코더 측 및 디코더 측 둘 모두에서 사용된다. 따라서, 예를 들어, 인코더는 디코더가 동일한 특정 파라미터를 사용할 수 있도록 디코더에 특정 파라미터를 송신할 수 있다(명시적 시그널링). 반대로, 디코더가 이미 특정 파라미터뿐만 아니라 다른 것들을 갖고 있다면, 단순히 디코더가 특정 파라미터를 알고 선택할 수 있게 하기 위해 송신 없이 시그널링이 사용될 수 있다(암시적 시그널링). 임의의 실제 기능들의 송신을 회피함으로써, 다양한 실시예들에서 비트 절약이 실현된다. 시그널링은 다양한 방식들로 달성될 수 있다는 것이 이해되어야 한다. 예를 들어, 하나 이상의 신택스 요소들, 플래그들 등이 다양한 실시예들에서 대응하는 디코더에 정보를 시그널링하는 데 사용된다. 전술된 표현이 단어 "신호"의 동사 형태와 관련되지만, 단어 "신호"는 또한 명사로서 본 명세서에서 사용될 수 있다.
당업자에게 명백한 바와 같이, 구현예들은, 예를 들어 저장되거나 송신될 수 있는 정보를 전달하도록 포맷화된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어들, 또는 기술된 구현예들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 기술된 실시예의 비트스트림을 전달하도록 포맷화될 수 있다. 그러한 신호는, 예를 들어, 전자기파로서(예를 들어, 스펙트럼의 무선 주파수 부분을 사용함) 또는 기저대역 신호로서 포맷화될 수 있다. 포맷화는, 예를 들어, 데이터 스트림을 인코딩하는 것, 및 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 전달하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 알려진 바와 같이, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.

Claims (31)

  1. 비디오 인코딩 또는 디코딩을 위한 방법으로서,
    픽처의 블록을 직선 라인에 의해 적어도 2개의 파티션들로 분할하는 단계;
    상기 적어도 2개의 파티션들 중 제1 파티션에 대해 제1 인트라 예측 모드를 사용하여 인트라 예측을 수행하여, 상기 제1 파티션에 대한 예측 샘플들을 획득하는 단계;
    상기 적어도 2개의 파티션들 중 제2 파티션에 대해 제2 인트라 예측 모드를 사용하여 인트라 예측을 수행하여, 상기 제2 파티션에 대한 예측 샘플들을 획득하는 단계; 및
    적응적 가중치들을 사용한 블렌딩 프로세스를 사용하여 상기 직선 라인을 따르는 예측 샘플 값들을 조정하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 제1 파티션은 상기 블록에 대한 인트라 예측 모드로부터 상기 제1 인트라 예측 모드를 복사하는, 방법.
  3. 제2항에 있어서, 상기 적어도 2개의 파티션들 중 어느 하나의 파티션이 상기 제1 파티션임을 표시하기 위해 신택스가 시그널링되는, 방법.
  4. 제2항에 있어서,
    상기 블록에 대한 상기 인트라 예측 모드에 기초하여 상기 적어도 2개의 파티션들 중 하나의 파티션을 상기 제1 파티션으로 결정하는 단계를 추가로 포함하는, 방법.
  5. 제2항에 있어서,
    상기 적어도 2개의 파티션들의 크기들에 기초하여 상기 적어도 2개의 파티션들 중 하나의 파티션을 상기 제1 파티션으로 결정하는 단계를 추가로 포함하는, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 제2 인트라 예측 모드는 명시적으로 시그널링되는, 방법.
  7. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 제2 인트라 예측 모드는 암시적으로 시그널링되는, 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 제1 파티션에 대한 상기 제1 인트라 예측 모드를 디코딩하는 단계를 추가로 포함하고, 상기 분할하는 단계, 수행하는 단계, 및 조정하는 단계는 상기 제1 인트라 예측 모드가 각도 예측 모드일 때에만 적용되는, 방법.
  9. 제8항에 있어서, 상기 분할하는 단계, 수행하는 단계, 및 조정하는 단계는 상기 제1 인트라 예측 모드가 네거티브 방향 각도 예측 모드일 때에만 적용되는, 방법.
  10. 제8항에 있어서, 상기 분할하는 단계, 수행하는 단계, 및 조정하는 단계는 상기 제1 인트라 예측 모드가 미리정의된 각도 예측 모드일 때에만 적용되는, 방법.
  11. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 블록에 대한 최적의 인트라 예측 모드를 선택하는 단계를 추가로 포함하고, 상기 분할하는 단계, 수행하는 단계, 및 조정하는 단계는 상기 최적의 인트라 예측 모드가 각도 예측 모드일 때에만 적용되는, 방법.
  12. 제11항에 있어서, 상기 분할하는 단계, 수행하는 단계, 및 조정하는 단계는 상기 최적의 인트라 예측 모드가 네거티브 방향 각도 예측 모드일 때에만 적용되는, 방법.
  13. 제11항에 있어서, 상기 분할하는 단계, 수행하는 단계, 및 조정하는 단계는 상기 최적의 인트라 예측 모드가 미리정의된 각도 예측 모드일 때에만 적용되는, 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서, 상기 분할하는 단계, 수행하는 단계, 및 조정하는 단계는 상기 제1 및 제2 파티션들에 대한 기준 샘플들이 이용가능할 때에만 적용되는, 방법.
  15. 제12항 또는 제13항에 있어서, 상기 제2 인트라 예측 모드는 DC 모드인, 방법.
  16. 제15항에 있어서, 상기 제2 파티션에 대한 상기 예측 샘플들은 비대칭 형상 파티션에 대해 좌측 및 상측 이웃들 중 더 긴 측만을 사용함으로써 획득되는, 방법.
  17. 제12항 또는 제13항에 있어서, 상기 제2 인트라 예측 모드는 수평 또는 수직 모드인, 방법.
  18. 제12항 또는 제13항에 있어서, 상기 제2 인트라 예측 모드는 DC 모드, 수평 모드 또는 수직 모드로부터만 선택되는, 방법.
  19. 제1항 내지 제18항 중 어느 한 항에 있어서, 상기 적응적 가중치들은 0 내지 1인, 방법.
  20. 제19항에 있어서, 상기 적응적 가중치들은 상기 직선 라인 주위에서 비대칭적인, 방법.
  21. 제1항 내지 제20항 중 어느 한 항에 있어서, 상기 직선 라인은 대각선 라인인, 방법.
  22. 제1항 내지 제20항 중 어느 한 항에 있어서, 상기 직선 라인은 상기 블록의 인트라 예측 모드와 연관된 방향에 평행한, 방법.
  23. 제1항 내지 제22항 중 어느 한 항에 있어서,
    상기 제1 및 제2 인트라 예측 모드들 중 적어도 하나의 인트라 예측 모드에 기초하여 상기 블록에 대한 하나 이상의 변환들을 선택하는 단계를 추가로 포함하는, 방법.
  24. 제23항에 있어서, 상기 변환들의 선택은 상기 제1 인트라 예측 모드와 상기 제2 인트라 예측 모드의 차이에 기초하는, 방법.
  25. 제24항에 있어서, DCT2는 상기 차이가 임계치보다 작은 것에 응답하여 상기 블록에 적용되는, 방법.
  26. 제24항에 있어서, DCT2는 상기 제2 인트라 예측 모드가 DC 모드인 것에 응답하여 상기 블록에 적용되는, 방법.
  27. 제23항 내지 제26항 중 어느 한 항에 있어서, 다중 변환 선택이 사용되는지의 여부는 명시적으로 시그널링되지 않는, 방법.
  28. 제1항 내지 제27항 중 어느 한 항에 있어서, 인트라 서브파티션은 디스에이블되는, 방법.
  29. 하나 이상의 프로세서들을 포함하는 장치로서, 상기 하나 이상의 프로세서들은 제1항 내지 제28항 중 어느 한 항의 방법을 수행하도록 구성되는, 장치.
  30. 비트스트림을 포함하는 신호로서, 제1항 내지 제28항 중 어느 한 항의 방법을 수행함으로써 형성되는, 신호.
  31. 제1항 내지 제28항 중 어느 한 항의 방법에 따라 비디오를 인코딩하거나 디코딩하기 위한 명령어들이 저장되는 컴퓨터 판독가능 저장 매체.
KR1020237016659A 2020-11-18 2021-11-10 기하학적 파티션을 사용한 인트라 예측 KR20230104895A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20306397 2020-11-18
EP20306397.9 2020-11-18
PCT/EP2021/081266 WO2022106281A1 (en) 2020-11-18 2021-11-10 Intra prediction with geometric partition

Publications (1)

Publication Number Publication Date
KR20230104895A true KR20230104895A (ko) 2023-07-11

Family

ID=73654732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237016659A KR20230104895A (ko) 2020-11-18 2021-11-10 기하학적 파티션을 사용한 인트라 예측

Country Status (8)

Country Link
US (1) US20240031560A1 (ko)
EP (1) EP4248650A1 (ko)
JP (1) JP2024505322A (ko)
KR (1) KR20230104895A (ko)
CN (1) CN116458154A (ko)
AU (1) AU2021381550A1 (ko)
MX (1) MX2023005592A (ko)
WO (1) WO2022106281A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023239347A1 (en) * 2022-06-06 2023-12-14 Google Llc Enhanced multi-stage intra prediction
WO2024080849A1 (ko) * 2022-10-14 2024-04-18 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024099334A1 (en) * 2022-11-08 2024-05-16 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing
WO2024144319A1 (ko) * 2022-12-29 2024-07-04 엘지전자 주식회사 Gpm을 이용한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101415121B (zh) * 2007-10-15 2010-09-29 华为技术有限公司 一种自适应的帧预测的方法及装置
CN103748877B (zh) * 2011-08-17 2017-05-10 联发科技（新加坡）私人有限公司 帧内预测方法和装置
WO2016145162A2 (en) * 2015-03-12 2016-09-15 NGCodec Inc. Intra-picture prediction processor with progressive block size computations and dual stage computations

Also Published As

Publication number Publication date
EP4248650A1 (en) 2023-09-27
AU2021381550A1 (en) 2023-06-08
WO2022106281A1 (en) 2022-05-27
AU2021381550A9 (en) 2024-06-06
US20240031560A1 (en) 2024-01-25
MX2023005592A (es) 2023-07-27
CN116458154A (zh) 2023-07-18
JP2024505322A (ja) 2024-02-06

Similar Documents

Publication Publication Date Title
JP7526857B2 (ja) 隣接サンプルに応じた線形モデルに基づく映像符号化及び復号のための方法と装置
JP7488256B2 (ja) 隣接サンプル依存パラメトリックモデルに基づいたコーディングモードの簡易化
US20220159277A1 (en) Method and apparatus for video encoding and decoding with subblock based local illumination compensation
US20230164314A1 (en) Method and apparatus for deblocking an image
CN112956192A (zh) 多参考行帧内预测和最可能的模式
KR20230104895A (ko) 기하학적 파티션을 사용한 인트라 예측
US11985306B2 (en) Method and apparatus for video encoding and decoding with matrix based intra-prediction
CN112703732A (zh) 使用存储的参数对视频编码和解码进行局部照明补偿
CN117597933A (zh) 空间局部光照补偿
CN112425162A (zh) 宽角帧内预测和位置依赖性帧内预测组合
EP3675500A1 (en) Quantization parameter prediction in video encoding and decoding
EP3706419A1 (en) Multi-model local illumination compensation for video encoding or decoding
WO2024208639A1 (en) Weighted planar and dc modes for intra prediction
WO2024078896A1 (en) Template type selection for video coding and decoding
WO2024083500A1 (en) Methods and apparatuses for padding reference samples
WO2020072397A1 (en) Block size based motion vector coding in affine mode
WO2020086448A1 (en) Quantization parameter prediction in video encoding and decoding

Legal Events

Date Code Title Description
N231 Notification of change of applicant