KR20220113851A - 코딩 방법 및 장치 - Google Patents

코딩 방법 및 장치 Download PDF

Info

Publication number
KR20220113851A
KR20220113851A KR1020227027125A KR20227027125A KR20220113851A KR 20220113851 A KR20220113851 A KR 20220113851A KR 1020227027125 A KR1020227027125 A KR 1020227027125A KR 20227027125 A KR20227027125 A KR 20227027125A KR 20220113851 A KR20220113851 A KR 20220113851A
Authority
KR
South Korea
Prior art keywords
transform
mode
residual
block
dst
Prior art date
Application number
KR1020227027125A
Other languages
English (en)
Other versions
KR102555673B1 (ko
Inventor
인 자오
하이타오 양
젠러 천
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Priority to KR1020237023378A priority Critical patent/KR102653815B1/ko
Publication of KR20220113851A publication Critical patent/KR20220113851A/ko
Application granted granted Critical
Publication of KR102555673B1 publication Critical patent/KR102555673B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Abstract

본 개시내용은 비디오 디코딩 방법을 개시하고, 이러한 방법은, 수신된 비트스트림을 파싱하여 CU의 예측 정보를 획득하는 단계; 잔여 TU의 타겟 변환 모드를 획득하는 단계; 수신된 비트스트림을 파싱하여 잔여 TU의 변환 계수들을 획득하는 단계; 잔여 TU의 변환 계수들에 역 양자화를 적용하여 양자화해제된 계수들을 획득하는 단계; 타겟 변환 모드에 기초하여, 양자화해제된 계수들에 역 변환을 적용하여 잔여 TU의 잔여 블록을 획득하는 단계; 예측 정보에 기초하여 CU의 예측 블록을 획득하는 단계; 및 잔여 블록 및 예측 블록에 기초하여 비디오 블록을 획득하는 단계; 및 비디오 시퀀스를 출력하는 단계- 비디오 시퀀스는 비디오 블록을 포함하는 비디오 프레임을 포함함 -를 포함한다.

Description

코딩 방법 및 장치{CODING METHOD AND APPARATUS}
본 출원은 2018년 2월 23일자로 미국 특허청에 출원된 미국 특허 출원 제62/634,613호, 2018년 5월 31일자로 미국 특허청에 출원된 미국 특허 출원 제62/678,738호, 및 2017년 10월 16일자로 미국 특허청에 출원된 미국 특허 출원 제62/572,987호, 및 2018년 8월 27일자로 중국 특허청에 출원된 PCT/CN2018/102524에 대한 우선권을 청구한다.
<기술 분야>
본 발명은 통신 분야에, 특히, 코딩 방법 및 장치에 관련된다.
심지어 비교적 짧은 비디오를 묘사하기 위해 필요한 비디오 데이터의 양은 상당할 수 있으며, 이는 대역폭 용량이 제한된 통신 네트워크에 걸쳐 데이터가 스트리밍되거나 또는 다른 방식으로 통신될 때 어려움을 초래할 수 있다. 따라서, 비디오 데이터는 일반적으로 현대 하루 통신 네트워크들에 걸쳐 통신되기 전에 압축된다. 비디오가 저장 디바이스 상에 저장될 때 비디오의 크기가 또한 쟁점일 수 있는데 그 이유는 메모리 리소스들이 제한될 수 있기 때문이다. 비디오 압축 디바이스들은 송신 또는 저장 전에 비디오 데이터를 코딩하기 위해 소스에서 소프트웨어 및/또는 하드웨어를 종종 사용하고, 그렇게 함으로써 디지털 비디오 이미지들을 표현하는데 필요한 데이터의 수량을 감소시킨다. 다음으로, 압축된 데이터는 비디오 데이터를 디코딩하는 비디오 압축해제 디바이스에 의해 목적지에서 수신된다.
제한된 네트워크 리소스들 및 계속 증가하는 더 높은 비디오 품질의 수요들에 의해, 이미지 품질에서의 희생이 거의 없거나 전혀 없는 압축 비율 개선하는 개선된 압축 및 압축해제 기술들이 바람직하다.
본 발명의 실시예들은 코딩 방법 및 장치를 제공하며, 이는 오디오 신호의 스펙트럼 계수들에 대해 적절한 양자화 비트 할당을 수행할 수 있고, 그렇게 함으로써 디코딩에 의하여 디코더에 의해 획득되는 신호의 품질을 개선한다.
전술한 목적을 달성하기 위해, 본 발명의 실시예들에서는 다음의 기술적 해결책들이 사용된다:
제1 양태에 따르면, 본 발명의 실시예는 비디오 디코딩 방법을 제공하며, 이는, 수신된 비트스트림을 파싱하여 CU(coding unit)의 예측 정보를 획득하는 단계; CU가 단 하나의 잔여 TU(transform unit)을 갖고 잔여 TU의 크기가 CU의 크기 미만일 때, 잔여 TU의 타겟 변환 모드를 획득하는 단계- 타겟 변환 모드는 CU의 TU 파티셔닝 모드, 잔여 TU의 위치, 및 잔여 TU의 변환 타입을 명시함 -; 수신된 비트스트림을 파싱하여 잔여 TU의 변환 계수들을 획득하는 단계; 잔여 TU의 변환 계수들에 역 양자화를 적용하여 양자화해제된 계수들을 획득하는 단계; 타겟 변환 모드에 기초하여, 양자화해제된 계수들에 역 변환을 적용하여 잔여 TU의 잔여 블록을 획득하는 단계; 예측 정보에 기초하여 CU의 예측 블록을 획득하는 단계; 잔여 블록 및 예측 블록에 기초하여 비디오 블록을 획득하는 단계; 및 비디오 시퀀스를 출력하는 단계- 비디오 시퀀스는 비디오 블록을 포함하는 비디오 프레임을 포함함 -를 포함한다.
타겟 변환 모드는 CU의 TU 파티셔닝 모드, 잔여 TU의 위치, 및 잔여의 변환 타입을 명시할 수 있기 때문에, 디코딩 효율이 개선될 수 있을 뿐만 아니라, 디코딩 품질이 또한 개선될 수 있고; 타겟 변환 모드에 대해서는 위 정보를 명시할 수 있고, 따라서 위 정보를 송신하기 위해 필요한 비트들을 감소시킬 수 있어, 인코딩된 오디오 데이터를 송신하기 위한 송신 리소스, 예를 들어, 대역폭을 절약한다.
제1 양태의 제1 가능한 구현 방식에서, CU의 크기는 W×H로 표기되고; 잔여 TU의 타겟 변환 모드는 다음 모드들:
CU의 TU 파티셔닝 모드는 CU를 크기 (W/2)×(H/2)의 4개의 TU들로 파티셔닝하는 것이고, 잔여 TU의 위치는 상부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-8이고 잔여 TU의 수직 변환이 DCT-8이라는 점을 명시하는, 변환 모드 Q0;
CU의 TU 파티셔닝 모드는 CU를 크기 (W/2)×(H/2)의 4개의 TU들로 파티셔닝하는 것이고, 잔여 TU의 위치는 상부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DCT-8이라는 점을 명시하는, 변환 모드 Q1;
CU의 TU 파티셔닝 모드는 CU를 크기 (W/2)×(H/2)의 4개의 TU들로 파티셔닝하는 것이고, 잔여 TU의 위치는 하부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-8이고 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 Q2;
CU의 TU 파티셔닝 모드는 CU를 크기 (W/2)×(H/2)의 4개의 TU들로 파티셔닝하는 것이고, 잔여 TU의 위치는 하부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 Q3;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 상부에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 하부에 있고 W×(H/2)의 크기를 가짐 -, 잔여 TU의 위치는 상부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-8이고 잔여 TU의 수직 변환이 DCT-8이라는 점을 명시하는, 변환 모드 QH0;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 상부에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 하부에 있고 W×(H/2)의 크기를 가짐 -, 잔여 TU의 위치는 상부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DCT-8이라는 점을 명시하는, 변환 모드 QH1;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 하부에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 상부에 있고 W×(H/2)의 크기를 가짐 -, 잔여 TU의 위치는 하부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-8이고 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 QH2;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 하부에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 상부에 있고 W×(H/2)의 크기를 가짐 -, 잔여 TU의 위치는 하부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 QH3;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 좌측에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 우측에 있고 (W/2)×H의 크기를 가짐 -, 잔여 TU의 위치는 상부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-8이고 잔여 TU의 수직 변환이 DCT-8이라는 점을 명시하는, 변환 모드 QV0;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 우측에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 좌측에 있고 (W/2)×H의 크기를 가짐 -, 잔여 TU의 위치는 상부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DCT-8이라는 점을 명시하는, 변환 모드 QV1;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 좌측에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 우측에 있고 (W/2)×H의 크기를 가짐 -, 잔여 TU의 위치는 하부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-8이고 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 QV2;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 우측에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 좌측에 있고 (W/2)×H의 크기를 가짐 -, 잔여 TU의 위치는 하부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 QV3;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 상부 TU의 크기는 하부 TU의 크기보다 작음 -, 잔여 TU의 위치는 상부이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7 또는 DCT-2이고, 잔여 TU의 수직 변환이 DCT-8이라는 점을 명시하는, 변환 모드 HQ0;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 하부 TU의 크기는 상부 TU의 크기보다 작음 -, 잔여 TU의 위치는 하부이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7 또는 DCT-2이고, 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 HQ1;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 좌측 TU의 크기는 우측 TU의 크기보다 작음 -, 잔여 TU의 위치는 좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-8이고 잔여 TU의 수직 변환이 DST-7 또는 DCT-2라는 점을 명시하는, 변환 모드 VQ0;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 우측 TU의 크기는 좌측 TU의 크기보다 작음 -, 잔여 TU의 위치는 우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DST-7 또는 DCT-2라는 점을 명시하는, 변환 모드 VQ1;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 상부 TU의 크기는 하부 TU의 크기와 동일함 -, 잔여 TU의 위치는 상부이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7 또는 DCT-2이고, 잔여 TU의 수직 변환이 DCT-8이라는 점을 명시하는, 변환 모드 HH0;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 상부 TU의 크기는 하부 TU의 크기와 동일함 -, 잔여 TU의 위치는 하부이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7 또는 DCT-2이고, 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 HH1;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 상부 TU의 크기는 하부 TU의 크기와 동일하고, 상부 TU의 크기는 중앙 TU의 크기 미만임 -, 잔여 TU의 위치는 중앙이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DCT-2이거나 또는 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DST-1이라는 점을 명시하는, 변환 모드 HH2;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 좌측 TU의 크기는 우측 TU의 크기와 동일함 -, 잔여 TU의 위치는 좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-8이고 잔여 TU의 수직 변환이 DST-7 또는 DCT-2라는 점을 명시하는, 변환 모드 VH0;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 좌측 TU의 크기는 우측 TU의 크기와 동일함 -, 잔여 TU의 위치는 우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DST-7 또는 DCT-2라는 점을 명시하는, 변환 모드 VH1; 또는
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 좌측 TU의 크기는 우측 TU의 크기와 동일하고 좌측 TU의 크기는 중앙 TU의 크기 미만임 -, 잔여 TU의 위치는 중앙이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-2이고 잔여 TU의 수직 변환이 DST-7이거나 또는 잔여 TU의 수평 변환이 DST-1이고 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 VH2 변환 모드 HH2 중 하나이다. 대안적인 구현 방식에서, 본 개시내용 전반적으로 DST-7은 DST-4로 대체될 수 있고, DCT-8은 DCT-4로 대체될 수 있다. 따라서, 제1 양태의 다른 가능한 구현 방식에서, CU의 크기는 W×H로 표기되고; 잔여 TU의 타겟 변환 모드는 다음 모드들:
CU의 TU 파티셔닝 모드는 CU를 크기 (W/2)×(H/2)의 4개의 TU들로 파티셔닝하는 것이고, 잔여 TU의 위치는 상부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-4이고 잔여 TU의 수직 변환이 DCT-4라는 점을 명시하는, 변환 모드 Q0;
CU의 TU 파티셔닝 모드는 CU를 크기 (W/2)×(H/2)의 4개의 TU들로 파티셔닝하는 것이고, 잔여 TU의 위치는 상부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DCT-4라는 점을 명시하는, 변환 모드 Q1;
CU의 TU 파티셔닝 모드는 CU를 크기 (W/2)×(H/2)의 4개의 TU들로 파티셔닝하는 것이고, 잔여 TU의 위치는 하부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-4이고 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 Q2;
CU의 TU 파티셔닝 모드는 CU를 크기 (W/2)×(H/2)의 4개의 TU들로 파티셔닝하는 것이고, 잔여 TU의 위치는 하부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 Q3;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 상부에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 하부에 있고 W×(H/2)의 크기를 가짐 -, 잔여 TU의 위치는 상부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-4이고 잔여 TU의 수직 변환이 DCT-4라는 점을 명시하는, 변환 모드 QH0;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 상부에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 하부에 있고 W×(H/2)의 크기를 가짐 -, 잔여 TU의 위치는 상부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DCT-4라는 점을 명시하는, 변환 모드 QH1;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 하부에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 상부에 있고 W×(H/2)의 크기를 가짐 -, 잔여 TU의 위치는 하부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-4이고 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 QH2;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 하부에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 상부에 있고 W×(H/2)의 크기를 가짐 -, 잔여 TU의 위치는 하부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 QH3;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 좌측에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 우측에 있고 (W/2)×H의 크기를 가짐 -, 잔여 TU의 위치는 상부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-4이고 잔여 TU의 수직 변환이 DCT-4라는 점을 명시하는, 변환 모드 QV0;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 우측에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 좌측에 있고 (W/2)×H의 크기를 가짐 -, 잔여 TU의 위치는 상부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DCT-4라는 점을 명시하는, 변환 모드 QV1;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 좌측에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 우측에 있고 (W/2)×H의 크기를 가짐 -, 잔여 TU의 위치는 하부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-4이고 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 QV2;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 우측에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 좌측에 있고 (W/2)×H의 크기를 가짐 -, 잔여 TU의 위치는 하부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 QV3;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 상부 TU의 크기는 하부 TU의 크기보다 작음 -, 잔여 TU의 위치는 상부이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4 또는 DCT-2이고, 잔여 TU의 수직 변환이 DCT-4라는 점을 명시하는, 변환 모드 HQ0;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 하부 TU의 크기는 상부 TU의 크기보다 작음 -, 잔여 TU의 위치는 하부이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4 또는 DCT-2이고, 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 HQ1;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 좌측 TU의 크기는 우측 TU의 크기보다 작음 -, 잔여 TU의 위치는 좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-4이고 잔여 TU의 수직 변환이 DST-4 또는 DCT-2라는 점을 명시하는, 변환 모드 VQ0;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 우측 TU의 크기는 좌측 TU의 크기보다 작음 -, 잔여 TU의 위치는 우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DST-4 또는 DCT-2라는 점을 명시하는, 변환 모드 VQ1;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 상부 TU의 크기는 하부 TU의 크기와 동일함 -, 잔여 TU의 위치는 상부이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4 또는 DCT-2이고, 잔여 TU의 수직 변환이 DCT-4라는 점을 명시하는, 변환 모드 HH0;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 상부 TU의 크기는 하부 TU의 크기와 동일함 -, 잔여 TU의 위치는 하부이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4 또는 DCT-2이고, 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 HH1;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 상부 TU의 크기는 하부 TU의 크기와 동일하고, 상부 TU의 크기는 중앙 TU의 크기 미만임 -, 잔여 TU의 위치는 중앙이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DCT-2이거나 또는 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DST-1이라는 점을 명시하는, 변환 모드 HH2;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 좌측 TU의 크기는 우측 TU의 크기와 동일함 -, 잔여 TU의 위치는 좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-4이고 잔여 TU의 수직 변환이 DST-4 또는 DCT-2라는 점을 명시하는, 변환 모드 VH0;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 좌측 TU의 크기는 우측 TU의 크기와 동일함 -, 잔여 TU의 위치는 우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DST-4 또는 DCT-2라는 점을 명시하는, 변환 모드 VH1; 또는
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 좌측 TU의 크기는 우측 TU의 크기와 동일하고 좌측 TU의 크기는 중앙 TU의 크기 미만임 -, 잔여 TU의 위치는 중앙이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-2이고 잔여 TU의 수직 변환이 DST-4이거나 또는 잔여 TU의 수평 변환이 DST-1이고 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 VH2 변환 모드 HH2 중 하나이다.
제1 양태 또는 제1 양태의 제1 가능한 구현 방식을 참조하여, 제2 가능한 구현 방식에서, 잔여 TU의 타겟 변환 모드를 획득하는 단계는, 비트스트림을 파싱하여 잔여 TU의 타겟 변환 모드를 표시하기 위한 모드 인덱스를 획득하는 단계; 및 모드 인덱스에 기초하여 잔여 TU의 타겟 변환 모드를 획득하는 단계를 포함한다.
타겟 변환 모드는 모드 인덱스에 의해 인덱싱될 수 있고, 따라서 획득되는데 필요한 단 하나의 인덱스에 대해 디코딩 효율이 개선될 수 있다.
제1 양태의 제2 가능한 구현 방식을 참조하여, 제3 가능한 구현 방식에서, 비트스트림을 파싱하여 잔여 TU의 타겟 변환 모드를 표시하기 위한 모드 인덱스를 획득하는 단계 전에, 이러한 방법은, CU의 크기에 기초하여 잔여 TU의 후보 타겟 변환 모드들을 결정하는 단계를 추가로 포함하고; 비트스트림을 파싱하여 잔여 TU의 타겟 변환 모드를 표시하기 위한 모드 인덱스를 획득하는 단계는, 잔여 TU의 후보 타겟 변환 모드들에 기초하여, 비트스트림을 파싱하여 잔여 TU의 타겟 변환 모드를 표시하기 위한 모드 인덱스를 획득하는 단계를 포함한다.
후보 타겟 변환 모드들을 결정하는 것은 잔여 TU에 대한 후보 타겟 변환 모드들의 수량을 감소시킬 수 있어서, 모드 인덱스를 송신하기 위해 필요한 비트들을 감소시킨다.
제1 양태의 제3 가능한 구현 방식을 참조하여, 제4 가능한 구현 방식에서, CU의 크기에 기초하여 잔여 TU의 후보 타겟 변환 모드들을 결정하는 단계는 다음:
CU의 폭이 [Th1×2, Th3]의 범위에 있고 CU의 높이가 [Th1×2, Th3]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2 및 변환 모드 Q3을 포함함;
CU의 폭이 [Th1×4, Th3]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 VQ0, 변환 모드 VQ1 및 변환 모드 VH2를 포함함;
CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 VH0 및 변환 모드 VH1을 포함함;
CU의 높이가 [Th1×4, Th3]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 HQ0, 변환 모드 HQ1 및 변환 모드 HH2를 포함함;
CU의 높이가 [Th1×2, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 HH0 및 변환 모드 HH1을 포함함;
CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1×2, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 모드 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2 및 변환 모드 Q3을 포함함;
CU의 폭이 [Th1×4, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 VQ0, 변환 모드 VQ1, 및 변환 모드 VH2를 포함함;
CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 VH0 및 변환 모드 VH1을 포함함;
CU의 높이가 [Th1×4, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 HQ0, 변환 모드 HQ1 및 변환 모드 HH2를 포함함; 또는
CU의 높이가 [Th1×2, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 HH0 및 변환 모드 HH1을 포함함 중 적어도 하나를 포함하고;
Th1, Th2 및 Th3은 미리 정의된 정수 값들이다.
제1 양태 또는 제1 양태의 제1 가능한 구현 방식을 참조하여, 제5 가능한 구현 방식에서, 잔여 TU의 타겟 변환 모드를 획득하는 단계는, 비트스트림을 파싱하여 타겟 변환 모드의 어느 모드 그룹이 속하는지를 표시하기 위한 그룹 인덱스를 획득하는 단계; 비트스트림을 파싱하여 모드 그룹에서 타겟 변환 모드를 표시하기 위한 모드 인덱스를 획득하는 단계; 및 그룹 인덱스 및 모드 인덱스에 기초하여 타겟 변환 모드를 획득하는 단계를 포함한다.
이러한 변환 모드들은 미리 그룹화되고, 따라서 하나의 CU에 적합한 변환 모드들의 수량을 감소시킬 수 있고, 디코딩 효율을 개선할 수 있을 뿐만 아니라 송신 리소스를 또한 절약할 수 있다.
제1 양태의 제5 가능한 구현 방식을 참조하여, 제6 가능한 구현 방식에서, 타겟 변환 모드는 다음:
모드 그룹은 변환 모드 HH0, 변환 모드 HH1, 변환 모드 HH2, 변환 모드 VH0, 변환 모드 VH1 및 변환 모드 VH2를 포함함;
모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2, 변환 모드 Q3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0 및 변환 모드 VQ1을 포함함;
모드 그룹은 변환 모드 HH0, HH1, HH2, VH0, VH1 및 VH2를 포함함;
모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2, 변환 모드 Q3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0 및 변환 모드 VQ1을 포함함;
모드 그룹은 변환 모드 QH0, 변환 모드 QH1, 변환 모드 QH2, 변환 모드 QH3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0, 및 변환 모드 VQ1을 포함함;
모드 그룹은 변환 모드 QV0, 변환 모드 QV1, 변환 모드 QV2, 변환 모드 QV3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0, 및 변환 모드 VQ1을 포함함;
모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2, 변환 모드 Q3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0, 변환 모드 VQ1, 변환 모드 HH0, 변환 모드 HH1, 변환 모드 VH0 및 변환 모드 VH1을 포함함;
모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2, 변환 모드 Q3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0, 변환 모드 VQ1, 변환 모드 HH0, 변환 모드 HH1, 변환 모드 HH2, 변환 모드 VH0, 변환 모드 VH1 및 변환 모드 VH2를 포함함;
모드 그룹은 변환 모드 QH0, 변환 모드 QH1, 변환 모드 QH2, 변환 모드 QH3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0, 변환 모드 VQ1, 변환 모드 HH0, 변환 모드 HH1, 변환 모드 HH2, 변환 모드 VH0, 변환 모드 VH1 및 변환 모드 VH2를 포함함;
모드 그룹은 변환 모드 HH0, 변환 모드 HH1, 변환 모드 VH0 및 변환 모드 VH1을 포함함;
모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2 및 변환 모드 Q3을 포함함; 또는
모드 그룹은 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0 및 변환 모드 VQ1을 포함함과 같이 임의의 모드 그룹에 속한다.
제1 양태의 제5 가능한 구현 방식을 참조하여, 제7 가능한 구현 방식에서, 비트스트림을 파싱하여 타겟 변환 모드의 어느 모드 그룹이 속하는지를 표시하기 위한 그룹 인덱스를 획득하는 단계 전에, 이러한 방법은, CU의 크기에 기초하여 잔여 TU의 적어도 하나의 후보 모드 그룹을 결정하는 단계를 추가로 포함하고; 비트스트림을 파싱하여 타겟 변환 모드의 어느 모드 그룹이 속하는지를 표시하기 위한 그룹 인덱스를 획득하는 단계는, 잔여 TU의 적어도 하나의 후보 모드 그룹에 기초하여, 비트스트림을 파싱하여 타겟 변환 모드의 어느 모드 그룹이 속하는지를 표시하기 위한 그룹 인덱스를 획득하는 단계를 포함한다.
후보 타겟 변환 모드들을 결정하는 것은 잔여 TU에 대한 후보 타겟 변환 모드들의 수량을 감소시킬 수 있어서, 모드 인덱스를 송신하기 위해 필요한 비트들을 감소시킨다.
제1 양태의 제7 가능한 구현 방식을 참조하여, 제8 가능한 구현 방식에서, CU의 크기에 기초하여 잔여 TU의 적어도 하나의 후보 모드 그룹을 결정하는 단계는 다음:
CU의 폭이 [Th1×2, Th3]의 범위에 있고 CU의 높이가 [Th1×2, Th3]의 범위에 있을 때, 모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2 및 변환 모드 Q3을 포함한다는 것을 후보 모드 그룹들이 포함함;
CU의 폭이 [Th1×4, Th3]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 VQ0, 변환 모드 VQ1 및 변환 모드 VH2를 포함한다는 것을 후보 모드 그룹들이 포함함;
CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 VH0 및 변환 모드 VH1을 포함한다는 것을 후보 모드 그룹들이 포함함;
CU의 높이가 [Th1×4, Th3]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 HQ0, 변환 모드 HQ1 및 변환 모드 HH2를 포함한다는 것을 후보 모드 그룹들이 포함함;
CU의 높이가 [Th1×2, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 모드 그룹이 변환 모드 HH0 및 변환 모드 HH1을 포함한다는 것을 후보 모드 그룹들이 포함함;
CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1×2, Th2]의 범위에 있을 때, 모드는 모드 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2 및 변환 모드 Q3을 포함한다는 것을 후보 모드 그룹들이 포함함;
CU의 폭이 [Th1×4, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 VQ0, 변환 모드 VQ1 및 변환 모드 VH2를 포함한다는 것을 후보 모드 그룹들이 포함함;
CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 VH0 및 변환 모드 VH1을 포함한다는 것을 후보 모드 그룹들이 포함함;
CU의 높이가 [Th1×4, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 HQ0, 변환 모드 HQ1 및 변환 모드 HH2를 포함한다는 것을 후보 모드 그룹들이 포함함; 또는
CU의 높이가 [Th1×2, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 모드 그룹이 변환 모드 HH0 및 변환 모드 HH1을 포함한다는 것을 후보 모드 그룹들이 포함함 중 적어도 하나를 포함하고;
Th1, Th2 및 Th3은 미리 정의된 정수 값들이다.
제1 양태의 제4 가능한 구현 방식 또는 제8 가능한 구현 방식을 참조하여, 제9 가능한 구현 방식에서, Th1은 4, 8 또는 16이거나; Th2는 32, 64 또는 128이거나; 또는 Th3은 64, 128 또는 256이다.
제1 양태 또는 제1 양태의 제1 내지 제9 가능한 구현 방식 중 임의의 것을 참조하여, 제10 가능한 구현 방식에서, 잔여 TU의 타겟 변환 모드를 획득하는 단계 전에, 이러한 방법은, CU의 예측 정보에 기초하여, 잔여 TU의 타겟 변환 모드를 획득할지를 결정하는 단계를 추가로 포함한다.
제1 양태의 제10 가능한 구현 방식을 참조하여, 제11 가능한 구현 방식에서, CU의 예측 정보에 기초하여, 잔여 TU의 타겟 변환 모드를 획득할지를 결정하는 단계는 다음:
CU의 예측 모드가 인트라 예측 모드일 때, 잔여 TU의 타겟 변환 모드를 획득하기로 결정하는 단계;
CU의 예측 모드가 인터 예측 모드일 때, 잔여 TU의 타겟 변환 모드를 획득하기로 결정하는 단계;
CU의 예측 방법이 미리 설정된 포지티브 예측 방법일 때, 잔여 TU의 타겟 변환 모드를 획득하기로 결정하는 단계; 또는
CU의 예측 방법이 미리 설정된 네거티브 예측 방법일 때, 잔여 TU의 타겟 변환 모드를 획득하지 않기로 결정하는 단계 중 적어도 하나를 포함한다.
제1 양태의 제11 가능한 구현 방식을 참조하여, 제12 가능한 구현 방식에서, 미리 설정된 포지티브 예측 방법은 다음: 번역 모델 기반 모션 보상 방법; Merge 예측 방법; 1/4-화소 모션 벡터 차이 정밀도가 있는 진보된 모션 벡터 예측 방법; 또는 병합 인덱스가 2보다 작은 Merge 예측 방법 중 적어도 하나를 포함한다.
제1 양태의 제11 또는 제12 가능한 구현 방식을 참조하여, 제13 가능한 구현 방식에서, 미리 설정된 네거티브 예측 방법은 다음: 아핀 모델 기반 모션 보상 방법; 아핀 병합 예측 방법; 아핀 인터 예측 모드; 1-화소 또는 4-화소 모션 벡터 차이 정밀도가 있는 진보된 모션 벡터 예측 방법; 또는 병합 인덱스가 2보다 작지 않은 Merge 예측 방법 중 적어도 하나를 포함한다.
제1 양태 또는 제1 양태의 제1 내지 제13 가능한 구현 방식들 중 어느 하나를 참조하여, 제14 가능한 구현 방식에서, 잔여 TU의 타겟 변환 모드를 획득하는 단계 전에, 이러한 방법은, CU의 크기에 기초하여, 잔여 TU의 타겟 변환 모드를 획득할지를 결정하는 단계를 추가로 포함한다.
제1 양태의 제14 가능한 구현 방식을 참조하여, 제15 가능한 구현 방식에서, CU의 크기에 기초하여, 잔여 TU의 타겟 변환 모드를 획득할지를 결정하는 단계는 다음:
CU의 폭 또는 높이가 미리 설정된 CU 임계값보다 클 때, 잔여 TU의 타겟 변환 모드를 획득하지 않기로 결정하는 단계;
CU의 TU의 폭 또는 높이가 미리 설정된 최소 TU 임계값 미만일 때, 잔여 TU의 타겟 변환 모드를 획득하지 않기로 결정하는 단계; 또는
CU의 TU의 폭 또는 높이가 미리 설정된 최대 TU 임계값보다 클 때, 잔여 TU의 타겟 변환 모드를 획득하지 않기로 결정하는 단계 중 적어도 하나를 포함한다.
제1 양태의 제15 가능한 구현 방식을 참조하여, 제16 가능한 구현 방식에서, 미리 설정된 CU 임계값은 32개의 루마 픽셀들, 64개의 루마 픽셀들 또는 128개의 루마 픽셀들이거나; 또는 미리 설정된 최소 TU 임계값은 4개의 루마 픽셀들, 8개의 루마 픽셀들 또는 16개의 루마 픽셀들이거나; 또는, 미리 설정된 최대 TU 임계값은 32개의 루마 픽셀들, 64개의 루마 픽셀들 또는 128개의 루마 픽셀들이다.
제2 양태에 따르면, 본 발명의 실시예는 비디오 디코더를 제공하며, 이는, 수신된 비트스트림을 파싱하여 CU(coding unit)의 예측 정보를 획득하도록; 잔여 TU가 CU의 유일한 잔여 TU이고 잔여 TU의 크기가 CU의 크기 미만일 때 잔여 TU(transform unit)의 타겟 변환 모드를 획득하도록- 타겟 변환 모드는 CU의 TU 파티셔닝 모드, 잔여 TU의 위치, 및 잔여 TU의 변환 타입을 명시함 -; 그리고 수신된 비트스트림을 파싱하여 잔여 TU의 변환 계수들을 획득하도록 구성되는 엔트로피 디코딩 유닛; 잔여 TU의 변환 계수들에 역 양자화를 적용하여 양자화해제된 계수들을 획득하도록 구성되는 역 양자화 처리 유닛; 타겟 변환 모드에 기초하여, 양자화해제된 계수들에 역 변환을 적용하여 잔여 TU의 잔여 블록을 획득하도록 구성되는 역 변환 처리 유닛; 예측 정보에 기초하여 CU의 예측 블록을 획득하도록 구성되는 예측 처리 유닛; 잔여 블록 및 예측 블록에 기초하여 비디오 블록을 획득하도록 구성되는 재구성 유닛; 비디오 시퀀스를 출력하도록 구성되는- 비디오 시퀀스는 비디오 블록을 포함하는 비디오 프레임을 포함함 - 출력을 포함한다.
제2 양태의 제1 가능한 구현 방식에서, CU의 크기는 W×H로 표기되고; 잔여 TU의 타겟 변환 모드는 다음 모드들:
CU의 TU 파티셔닝 모드는 CU를 크기 (W/2)×(H/2)의 4개의 TU들로 파티셔닝하는 것이고, 잔여 TU의 위치는 상부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-8이고 잔여 TU의 수직 변환이 DCT-8이라는 점을 명시하는, 변환 모드 Q0;
CU의 TU 파티셔닝 모드는 CU를 크기 (W/2)×(H/2)의 4개의 TU들로 파티셔닝하는 것이고, 잔여 TU의 위치는 상부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DCT-8이라는 점을 명시하는, 변환 모드 Q1;
CU의 TU 파티셔닝 모드는 CU를 크기 (W/2)×(H/2)의 4개의 TU들로 파티셔닝하는 것이고, 잔여 TU의 위치는 하부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-8이고 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 Q2;
CU의 TU 파티셔닝 모드는 CU를 크기 (W/2)×(H/2)의 4개의 TU들로 파티셔닝하는 것이고, 잔여 TU의 위치는 하부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 Q3;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 상부에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 하부에 있고 W×(H/2)의 크기를 가짐 -, 잔여 TU의 위치는 상부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-8이고 잔여 TU의 수직 변환이 DCT-8이라는 점을 명시하는, 변환 모드 QH0;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 상부에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 하부에 있고 W×(H/2)의 크기를 가짐 -, 잔여 TU의 위치는 상부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DCT-8이라는 점을 명시하는, 변환 모드 QH1;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 하부에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 상부에 있고 W×(H/2)의 크기를 가짐 -, 잔여 TU의 위치는 하부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-8이고 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 QH2;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 하부에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 상부에 있고 W×(H/2)의 크기를 가짐 -, 잔여 TU의 위치는 하부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 QH3;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 좌측에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 우측에 있고 (W/2)×H의 크기를 가짐 -, 잔여 TU의 위치는 상부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-8이고 잔여 TU의 수직 변환이 DCT-8이라는 점을 명시하는, 변환 모드 QV0;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 우측에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 좌측에 있고 (W/2)×H의 크기를 가짐 -, 잔여 TU의 위치는 상부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DCT-8이라는 점을 명시하는, 변환 모드 QV1;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 좌측에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 우측에 있고 (W/2)×H의 크기를 가짐 -, 잔여 TU의 위치는 하부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-8이고 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 QV2;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 우측에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 좌측에 있고 (W/2)×H의 크기를 가짐 -, 잔여 TU의 위치는 하부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 QV3;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 상부 TU의 크기는 하부 TU의 크기보다 작음 -, 잔여 TU의 위치는 상부이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7 또는 DCT-2이고, 잔여 TU의 수직 변환이 DCT-8이라는 점을 명시하는, 변환 모드 HQ0;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 하부 TU의 크기는 상부 TU의 크기보다 작음 -, 잔여 TU의 위치는 하부이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7 또는 DCT-2이고, 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 HQ1;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 좌측 TU의 크기는 우측 TU의 크기보다 작음 -, 잔여 TU의 위치는 좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-8이고 잔여 TU의 수직 변환이 DST-7 또는 DCT-2라는 점을 명시하는, 변환 모드 VQ0;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 우측 TU의 크기는 좌측 TU의 크기보다 작음 -, 잔여 TU의 위치는 우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DST-7 또는 DCT-2라는 점을 명시하는, 변환 모드 VQ1;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 상부 TU의 크기는 하부 TU의 크기와 동일함 -, 잔여 TU의 위치는 상부이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7 또는 DCT-2이고, 잔여 TU의 수직 변환이 DCT-8이라는 점을 명시하는, 변환 모드 HH0;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 상부 TU의 크기는 하부 TU의 크기와 동일함 -, 잔여 TU의 위치는 하부이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7 또는 DCT-2이고, 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 HH1;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 상부 TU의 크기는 하부 TU의 크기와 동일하고, 상부 TU의 크기는 중앙 TU의 크기 미만임 -, 잔여 TU의 위치는 중앙이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DCT-2이거나 또는 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DST-1이라는 점을 명시하는, 변환 모드 HH2;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 좌측 TU의 크기는 우측 TU의 크기와 동일함 -, 잔여 TU의 위치는 좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-8이고 잔여 TU의 수직 변환이 DST-7 또는 DCT-2라는 점을 명시하는, 변환 모드 VH0;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 좌측 TU의 크기는 우측 TU의 크기와 동일함 -, 잔여 TU의 위치는 우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-7이고 잔여 TU의 수직 변환이 DST-7 또는 DCT-2라는 점을 명시하는, 변환 모드 VH1; 또는
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 좌측 TU의 크기는 우측 TU의 크기와 동일하고 좌측 TU의 크기는 중앙 TU의 크기 미만임 -, 잔여 TU의 위치는 중앙이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-2이고 잔여 TU의 수직 변환이 DST-7이거나 또는 잔여 TU의 수평 변환이 DST-1이고 잔여 TU의 수직 변환이 DST-7이라는 점을 명시하는, 변환 모드 VH2 변환 모드 HH2 중 하나이다.
대안적인 구현 방식에서, 본 개시내용 전반적으로 DST-7은 DST-4로 대체될 수 있고, DCT-8은 DCT-4로 대체될 수 있다. 따라서, 제2 양태의 다른 가능한 구현 방식에서, CU의 크기는 W×H로 표기되고; 잔여 TU의 타겟 변환 모드는 다음 모드들:
CU의 TU 파티셔닝 모드는 CU를 크기 (W/2)×(H/2)의 4개의 TU들로 파티셔닝하는 것이고, 잔여 TU의 위치는 상부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-4이고 잔여 TU의 수직 변환이 DCT-4라는 점을 명시하는, 변환 모드 Q0;
CU의 TU 파티셔닝 모드는 CU를 크기 (W/2)×(H/2)의 4개의 TU들로 파티셔닝하는 것이고, 잔여 TU의 위치는 상부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DCT-4라는 점을 명시하는, 변환 모드 Q1;
CU의 TU 파티셔닝 모드는 CU를 크기 (W/2)×(H/2)의 4개의 TU들로 파티셔닝하는 것이고, 잔여 TU의 위치는 하부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-4이고 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 Q2;
CU의 TU 파티셔닝 모드는 CU를 크기 (W/2)×(H/2)의 4개의 TU들로 파티셔닝하는 것이고, 잔여 TU의 위치는 하부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 Q3;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 상부에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 하부에 있고 W×(H/2)의 크기를 가짐 -, 잔여 TU의 위치는 상부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-4이고 잔여 TU의 수직 변환이 DCT-4라는 점을 명시하는, 변환 모드 QH0;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 상부에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 하부에 있고 W×(H/2)의 크기를 가짐 -, 잔여 TU의 위치는 상부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DCT-4라는 점을 명시하는, 변환 모드 QH1;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 하부에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 상부에 있고 W×(H/2)의 크기를 가짐 -, 잔여 TU의 위치는 하부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-4이고 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 QH2;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 하부에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 상부에 있고 W×(H/2)의 크기를 가짐 -, 잔여 TU의 위치는 하부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 QH3;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 좌측에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 우측에 있고 (W/2)×H의 크기를 가짐 -, 잔여 TU의 위치는 상부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-4이고 잔여 TU의 수직 변환이 DCT-4라는 점을 명시하는, 변환 모드 QV0;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 우측에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 좌측에 있고 (W/2)×H의 크기를 가짐 -, 잔여 TU의 위치는 상부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DCT-4라는 점을 명시하는, 변환 모드 QV1;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 좌측에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 우측에 있고 (W/2)×H의 크기를 가짐 -, 잔여 TU의 위치는 하부-좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-4이고 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 QV2;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 3개의 TU들 중 2개의 TU들은 우측에 있고 (W/2)×(H/2)의 크기를 갖고, 3개의 TU들 중 다른 TU는 좌측에 있고 (W/2)×H의 크기를 가짐 -, 잔여 TU의 위치는 하부-우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 QV3;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 상부 TU의 크기는 하부 TU의 크기보다 작음 -, 잔여 TU의 위치는 상부이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4 또는 DCT-2이고, 잔여 TU의 수직 변환이 DCT-4라는 점을 명시하는, 변환 모드 HQ0;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 하부 TU의 크기는 상부 TU의 크기보다 작음 -, 잔여 TU의 위치는 하부이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4 또는 DCT-2이고, 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 HQ1;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 좌측 TU의 크기는 우측 TU의 크기보다 작음 -, 잔여 TU의 위치는 좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-4이고 잔여 TU의 수직 변환이 DST-4 또는 DCT-2라는 점을 명시하는, 변환 모드 VQ0;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 우측 TU의 크기는 좌측 TU의 크기보다 작음 -, 잔여 TU의 위치는 우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DST-4 또는 DCT-2라는 점을 명시하는, 변환 모드 VQ1;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 상부 TU의 크기는 하부 TU의 크기와 동일함 -, 잔여 TU의 위치는 상부이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4 또는 DCT-2이고, 잔여 TU의 수직 변환이 DCT-4라는 점을 명시하는, 변환 모드 HH0;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 상부 TU의 크기는 하부 TU의 크기와 동일함 -, 잔여 TU의 위치는 하부이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4 또는 DCT-2이고, 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 HH1;
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 상부 TU의 크기는 하부 TU의 크기와 동일하고, 상부 TU의 크기는 중앙 TU의 크기 미만임 -, 잔여 TU의 위치는 중앙이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DCT-2이거나 또는 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DST-1이라는 점을 명시하는, 변환 모드 HH2;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 좌측 TU의 크기는 우측 TU의 크기와 동일함 -, 잔여 TU의 위치는 좌측이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-4이고 잔여 TU의 수직 변환이 DST-7 또는 DCT-2라는 점을 명시하는, 변환 모드 VH0;
CU의 TU 파티셔닝 모드는 CU를 2개의 TU들로 파티셔닝하는 것이고- 좌측 TU의 크기는 우측 TU의 크기와 동일함 -, 잔여 TU의 위치는 우측이며, 변환 타입은 잔여 TU의 수평 변환이 DST-4이고 잔여 TU의 수직 변환이 DST-7 또는 DCT-2라는 점을 명시하는, 변환 모드 VH1; 또는
CU의 TU 파티셔닝 모드는 CU를 3개의 TU들로 파티셔닝하는 것이고- 좌측 TU의 크기는 우측 TU의 크기와 동일하고 좌측 TU의 크기는 중앙 TU의 크기 미만임 -, 잔여 TU의 위치는 중앙이며, 변환 타입은 잔여 TU의 수평 변환이 DCT-2이고 잔여 TU의 수직 변환이 DST-4이거나 또는 잔여 TU의 수평 변환이 DST-1이고 잔여 TU의 수직 변환이 DST-4라는 점을 명시하는, 변환 모드 VH2 변환 모드 HH2 중 하나이다.
제1 양태 또는 제2 양태의 제1 가능한 구현 방식을 참조하여, 제2 가능한 구현 방식에서, 엔트로피 디코딩 유닛은 비트스트림을 파싱하여 잔여 TU의 타겟 변환 모드를 표시하기 위한 모드 인덱스를 획득하도록; 그리고 모드 인덱스에 기초하여 잔여 TU의 타겟 변환 모드를 획득하도록 추가로 구성된다.
제2 양태의 제2 가능한 구현 방식을 참조하여, 제3 가능한 구현 방식에서, 엔트로피 디코딩 유닛은 CU의 크기에 기초하여 잔여 TU의 후보 타겟 변환 모드들을 결정하도록; 그리고, 잔여 TU의 후보 타겟 변환 모드들에 기초하여, 비트스트림을 파싱하여 잔여 TU의 타겟 변환 모드를 표시하기 위한 모드 인덱스를 획득하도록 추가로 구성된다.
제2 양태의 제3 가능한 구현 방식을 참조하여, 제4 가능한 구현 방식에서, 엔트로피 디코딩 유닛은 다음:
CU의 폭이 [Th1×2, Th3]의 범위에 있고 CU의 높이가 [Th1×2, Th3]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2 및 변환 모드 Q3을 포함함;
CU의 폭이 [Th1×4, Th3]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 VQ0, 변환 모드 VQ1 및 변환 모드 VH2를 포함함;
CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 VH0 및 변환 모드 VH1을 포함함;
CU의 높이가 [Th1×4, Th3]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 HQ0, 변환 모드 HQ1 및 변환 모드 HH2를 포함함;
CU의 높이가 [Th1×2, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 HH0 및 변환 모드 HH1을 포함함;
CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1×2, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 모드 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2 및 변환 모드 Q3을 포함함;
CU의 폭이 [Th1×4, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 VQ0, 변환 모드 VQ1, 및 변환 모드 VH2를 포함함;
CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 VH0 및 변환 모드 VH1을 포함함;
CU의 높이가 [Th1×4, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 HQ0, 변환 모드 HQ1 및 변환 모드 HH2를 포함함; 또는
CU의 높이가 [Th1×2, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 HH0 및 변환 모드 HH1을 포함함 중 적어도 하나에 따라 잔여 TU의 후보 타겟 변환 모드들을 결정하도록 추가로 구성되고;
Th1, Th2 및 Th3은 미리 정의된 정수 값들이다.
제2 양태 또는 제2 양태의 제1 가능한 구현 방식을 참조하여, 제5 가능한 구현 방식에서, 엔트로피 디코딩 유닛은 비트스트림을 파싱하여 타겟 변환 모드의 어느 모드 그룹이 속하는지를 표시하기 위한 그룹 인덱스를 획득하도록; 그리고 비트스트림을 파싱하여 모드 그룹에서 타겟 변환 모드를 표시하기 위한 모드 인덱스를 획득하도록; 그룹 인덱스 및 모드 인덱스에 기초하여 타겟 변환 모드를 획득하도록 추가로 구성된다.
제2 양태의 제5 가능한 구현 방식을 참조하여, 제6 가능한 구현 방식에서, 타겟 변환 모드는 다음:
모드 그룹은 변환 모드 HH0, 변환 모드 HH1, 변환 모드 HH2, 변환 모드 VH0, 변환 모드 VH1 및 변환 모드 VH2를 포함함;
모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2, 변환 모드 Q3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0 및 변환 모드 VQ1을 포함함;
모드 그룹은 변환 모드 HH0, HH1, HH2, VH0, VH1 및 VH2를 포함함;
모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2, 변환 모드 Q3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0 및 변환 모드 VQ1을 포함함;
모드 그룹은 변환 모드 QH0, 변환 모드 QH1, 변환 모드 QH2, 변환 모드 QH3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0, 및 변환 모드 VQ1을 포함함;
모드 그룹은 변환 모드 QV0, 변환 모드 QV1, 변환 모드 QV2, 변환 모드 QV3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0, 및 변환 모드 VQ1을 포함함;
모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2, 변환 모드 Q3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0, 변환 모드 VQ1, 변환 모드 HH0, 변환 모드 HH1, 변환 모드 VH0 및 변환 모드 VH1을 포함함;
모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2, 변환 모드 Q3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0, 변환 모드 VQ1, 변환 모드 HH0, 변환 모드 HH1, 변환 모드 HH2, 변환 모드 VH0, 변환 모드 VH1 및 변환 모드 VH2를 포함함;
모드 그룹은 변환 모드 QH0, 변환 모드 QH1, 변환 모드 QH2, 변환 모드 QH3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0, 변환 모드 VQ1, 변환 모드 HH0, 변환 모드 HH1, 변환 모드 HH2, 변환 모드 VH0, 변환 모드 VH1 및 변환 모드 VH2를 포함함;
모드 그룹은 변환 모드 HH0, 변환 모드 HH1, 변환 모드 VH0 및 변환 모드 VH1을 포함함;
모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2 및 변환 모드 Q3을 포함함; 또는
모드 그룹은 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0 및 변환 모드 VQ1을 포함함과 같이 임의의 모드 그룹에 속한다.
제2 양태의 제5 가능한 구현 방식을 참조하여, 제7 가능한 구현 방식에서, 엔트로피 디코딩 유닛은 CU의 크기에 기초하여 잔여 TU의 적어도 하나의 후보 모드 그룹을 결정하도록; 그리고 잔여 TU의 적어도 하나의 후보 모드 그룹에 기초하여, 비트스트림을 파싱하여 타겟 변환 모드의 어느 모드 그룹이 속하는지를 표시하기 위한 그룹 인덱스를 획득하도록 추가로 구성된다.
제2 양태의 제7 가능한 구현 방식을 참조하여, 제8 가능한 구현 방식에서, 엔트로피 디코딩 유닛은 다음:
CU의 폭이 [Th1×2, Th3]의 범위에 있고 CU의 높이가 [Th1×2, Th3]의 범위에 있을 때, 모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2 및 변환 모드 Q3을 포함한다는 것을 후보 모드 그룹들이 포함함;
CU의 폭이 [Th1×4, Th3]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 VQ0, 변환 모드 VQ1 및 변환 모드 VH2를 포함한다는 것을 후보 모드 그룹들이 포함함;
CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 VH0 및 변환 모드 VH1을 포함한다는 것을 후보 모드 그룹들이 포함함;
CU의 높이가 [Th1×4, Th3]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 HQ0, 변환 모드 HQ1 및 변환 모드 HH2를 포함한다는 것을 후보 모드 그룹들이 포함함;
CU의 높이가 [Th1×2, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 모드 그룹이 변환 모드 HH0 및 변환 모드 HH1을 포함한다는 것을 후보 모드 그룹들이 포함함;
CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1×2, Th2]의 범위에 있을 때, 모드는 모드 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2 및 변환 모드 Q3을 포함한다는 것을 후보 모드 그룹들이 포함함;
CU의 폭이 [Th1×4, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 VQ0, 변환 모드 VQ1 및 변환 모드 VH2를 포함한다는 것을 후보 모드 그룹들이 포함함;
CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 VH0 및 변환 모드 VH1을 포함한다는 것을 후보 모드 그룹들이 포함함;
CU의 높이가 [Th1×4, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 HQ0, 변환 모드 HQ1 및 변환 모드 HH2를 포함한다는 것을 후보 모드 그룹들이 포함함; 또는
CU의 높이가 [Th1×2, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 모드 그룹이 변환 모드 HH0 및 변환 모드 HH1을 포함한다는 것을 후보 모드 그룹들이 포함함 중 적어도 하나에 따라 적어도 하나의 후보 모드 그룹을 결정하도록 추가로 구성되고;
Th1, Th2 및 Th3은 미리 정의된 정수 값들이다.
제2 양태의 제5 또는 제8 가능한 구현 방식을 참조하여, 제9 가능한 구현 방식에서, Th1은 4, 8 또는 16이거나; Th2는 32, 64 또는 128이거나; 또는 Th3은 64, 128 또는 256이다.
제2 양태 또는 제2 양태의 제1 내지 제9 가능한 구현 방식들 중 어느 하나를 참조하여, 제10 가능한 구현 방식에서, 엔트로피 디코딩 유닛은, CU의 예측 정보에 기초하여, 잔여 TU의 타겟 변환 모드를 획득할지를 결정하도록 추가로 구성된다.
제2 양태의 제10 가능한 구현 방식을 참조하여, 제11 가능한 구현 방식에서, 엔트로피 디코딩 유닛은 다음:
CU의 예측 모드가 인트라 예측 모드일 때, 잔여 TU의 타겟 변환 모드를 획득하기로 결정함;
CU의 예측 모드가 인터 예측 모드일 때, 잔여 TU의 타겟 변환 모드를 획득하기로 결정함;
CU의 예측 방법이 미리 설정된 포지티브 예측 방법일 때, 잔여 TU의 타겟 변환 모드를 획득하기로 결정함; 또는
CU의 예측 방법이 미리 설정된 네거티브 예측 방법일 때, 잔여 TU의 타겟 변환 모드를 획득하지 않기로 결정함 중 적어도 하나에 따라 잔여 TU의 타겟 변환 모드를 획득할지를 결정하도록 추가로 구성된다.
제2 양태의 제11 가능한 구현 방식을 참조하여, 제12 가능한 구현 방식에서, 미리 설정된 포지티브 예측 방법은 다음: 번역 모델 기반 모션 보상 방법; Merge 예측 방법; 1/4-화소 모션 벡터 차이 정밀도가 있는 진보된 모션 벡터 예측 방법; 또는 병합 인덱스가 2보다 작은 Merge 예측 방법 중 적어도 하나를 포함한다.
제2 양태의 제11 또는 제12 가능한 구현 방식을 참조하여, 제13 가능한 구현 방식에서, 미리 설정된 네거티브 예측 방법은 다음: 아핀 모델 기반 모션 보상 방법; 아핀 병합 예측 방법; 아핀 인터 예측 모드; 1-화소 또는 4-화소 모션 벡터 차이 정밀도가 있는 진보된 모션 벡터 예측 방법; 또는 병합 인덱스가 2보다 작지 않은 Merge 예측 방법 중 적어도 하나를 포함한다.
제2 양태 또는 제2 양태의 제1 내지 제13 가능한 구현 방식 중 어느 하나를 참조하여, 제14 가능한 구현 방식에서, 엔트로피 디코딩 유닛은, CU의 크기에 기초하여, 잔여 TU의 타겟 변환 모드를 획득할지를 결정하도록 추가로 구성된다.
제2 양태의 제14 가능한 구현 방식을 참조하여, 제15 가능한 구현 방식에서, 엔트로피 디코딩 유닛은 다음:
CU의 폭 또는 높이가 미리 설정된 CU 임계값보다 클 때, 잔여 TU의 타겟 변환 모드를 획득하지 않기로 결정함;
CU의 TU의 폭 또는 높이가 미리 설정된 최소 TU 임계값 미만일 때, 잔여 TU의 타겟 변환 모드를 획득하지 않기로 결정함; 또는
CU의 TU의 폭 또는 높이가 미리 설정된 최대 TU 임계값보다 클 때, 잔여 TU의 타겟 변환 모드를 획득하지 않기로 결정함 중 적어도 하나에 따라 잔여 TU의 타겟 변환 모드를 획득할지를 결정하도록 추가로 구성된다.
제2 양태의 제15 가능한 구현 방식을 참조하여, 제16 가능한 구현 방식에서, 미리 설정된 CU 임계값은 32개의 루마 픽셀들, 64개의 루마 픽셀들 또는 128개의 루마 픽셀들이거나; 또는 미리 설정된 최소 TU 임계값은 4개의 루마 픽셀들, 8개의 루마 픽셀들 또는 16개의 루마 픽셀들이거나; 또는, 미리 설정된 최대 TU 임계값은 32개의 루마 픽셀들, 64개의 루마 픽셀들 또는 128개의 루마 픽셀들이다.
제3 양태에 따르면, 본 발명의 실시예는 제1 양태 및 제1 양태의 제1 내지 제16 불가능한 구현 방식들 중 어느 하나에 따른 방법을 수행하기 위한 처리 회로를 포함하는 디코더를 제공한다.
제4 양태에 따르면, 본 발명의 실시예는 제1 양태 및 제1 양태의 제1 내지 제16 불가능한 구현 방식들 중 어느 하나에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품을 제공한다.
제5 양태에 따르면, 본 발명의 실시예는 디코더를 제공하며, 이는, 하나 이상의 프로세서; 및 프로세서들에 결합되고 프로세서들에 의한 실행을 위한 프로그래밍을 저장하는 비-일시적 컴퓨터-판독가능 저장 매체- 이러한 프로그래밍은, 프로세서들에 의해 실행될 때, 제1 양태 및 제1 양태의 제1 내지 제16 불가능한 구현 방식들 중 어느 하나에 따른 방법을 수행하도록 디코더를 구성함 -를 포함한다.
본 개시내용에 의해 제공되는 방법들을 수행하는 것에 의해, 타겟 변환 모드는 CU의 TU 파티셔닝 모드, 잔여 TU의 위치, 및 잔여의 변환 타입을 명시할 수 있어서, 디코딩 효율이 개선될 수 있을 뿐만 아니라, 디코딩 품질이 또한 개선될 수 있고; 타겟 변환 모드에 대해서는 위 정보를 명시할 수 있고, 따라서 위 정보를 송신하기 위해 필요한 비트들을 감소시킬 수 있어, 인코딩된 오디오 데이터를 송신하기 위한 송신 리소스, 예를 들어, 대역폭을 절약한다.
본 발명의 실시예들에서의 또는 종래 기술에서의 기술적 해결책들을 보다 명확하게 설명하기 위해서, 다음은 이러한 실시예들 또는 종래 기술을 설명하기 위해 요구되는 첨부 도면들을 간단히 소개한다. 명백히, 다음의 설명에서의 첨부 도면들은 본 발명의 일부 실시예들을 단지 도시하며, 해당 분야에서의 통상의 기술자는 창의적 노력들 없이 이러한 첨부 도면들로부터 다른 도면들을 여전히 도출할 수 있다.
도 1a는 예시적인 코딩 시스템을 예시하는 개념적 또는 개략적 블록도이다.
도 1b는 다른 예시적인 비디오 코딩 시스템의 예시도이다.
도 2는 예시적인 비디오 인코더의 개략적/개념적 블록도이다.
도 3은 예시적인 비디오 디코더의 개략적/개념적 블록도이다.
도 4는 비디오 코딩 디바이스의 개략도이다.
도 5는 장치의 블록도이다.
도 6은 변환 모드들 Q0, Q1, Q2 및 Q3을 예시한다.
도 7은 변환 모드들 HQ0, HQ1, VQ0 및 VQ1을 예시한다.
도 8은 변환 모드들 HH0, HH1, VH0 및 VH1을 예시한다.
도 9는 변환 모드들 HH2 및 VH2를 예시한다.
도 10은 변환 모드들 QH0, QH1, QH2 및 QH3을 예시한다.
도 11은 변환 모드들 QV0, QV1, QV2 및 QV3을 예시한다.
도 12는 비디오 디코딩 방법의 개략도이다.
도 13은 비디오 코딩에서의 인트라-예측의 예를 예시한다.
도 14는 예시적인 비디오 인코딩 메커니즘의 개략도이다.
도 15 내지 도 16은 예시적인 SVT(spatial varying transform) 변환들을 예시한다.
도 17은 잔여 블록에 상대적인 예시적인 SVT 변환 후보 위치들을 예시한다.
도 18은 잔여 블록에 상대적인 예시적인 SVT 변환 위치들을 예시한다.
도 19는 잔여 샘플 수평 플립핑의 예를 예시한다.
도 20은 위치 의존적 SVT가 있는 비디오 디코딩의 예시적인 방법의 흐름도이다.
도 21은 SVT-V 및 SVT-H 블록들의 후보 위치들의 예시이다(M1=M2=8).
도 22는 3개의 후보 위치들이 있는 SVT-V 및 SVT-H의 예시이다.
도 23은 SVT-H 및 SVT-V의 예시이다.
도 24는 SVT-V 및 SVT-H 블록들의 후보 위치들의 예시이다(M1=M2=8).
도 25는 제1 그룹의 변환 계수들 및 제2 그룹의 변환 계수들의 예시이다.
다음 설명에서는, 본 개시내용의 일부분을 형성하고, 예시의 방식에 의해, 본 발명의 실시예들의 구체적 양태들 또는 본 발명의 실시예들이 사용될 수 있는 구체적 양태들을 도시하는 첨부 도면들에 대한 참조가 이루어진다. 본 발명의 실시예들은 다른 양태들에서 사용될 수 있고 도면들에 묘사되지 않은 구조적 또는 논리적 변경들을 포함한다는 점이 이해된다. 따라서, 다음 상세한 설명은 제한적인 의미로 취해져서는 안 되며, 본 발명의 범위는 첨부된 청구항들에 의해 정의된다.
예를 들어, 설명된 방법과 관련된 개시내용은 해당 방법을 수행하도록 구성되는 대응하는 디바이스 또는 시스템에 대해 또한 유효할 수 있고 그 반대도 마찬가지라는 점이 이해된다. 예를 들어, 하나의 또는 복수의 구체적 방법 단계가 설명되면, 이러한 하나 이상의 유닛이 도면들에 명시적으로 설명되거나 또는 예시되지 않더라도, 대응하는 디바이스는 설명된 하나의 또는 복수의 방법 단계들을 수행하는 하나의 또는 복수의 유닛, 예를 들어, 기능 유닛(예를 들어, 하나의 또는 복수의 단계를 수행하는 하나의 유닛, 또는 복수의 단계들 중 하나 이상을 각각 수행하는 복수의 유닛들)을 포함할 수 있다. 다른 한편, 예를 들어, 구체적 장치가 하나의 또는 복수의 유닛, 예를 들어, 기능 유닛에 기초하여 설명되면, 이러한 하나의 또는 복수의 단계가 도면들에 명시적으로 설명되거나 또는 예시되지 않더라도, 대응하는 방법은 하나의 또는 복수의 유닛의 기능성을 수행하는 하나의 단계(예를 들어, 하나의 또는 복수의 유닛의 기능성을 수행하는 하나의 단계, 또는 복수의 유닛들 중 하나 이상의 기능성을 각각 수행하는 복수의 단계들)를 포함할 수 있다. 추가로, 본 명세서에 설명되는 다양한 예시적인 실시예들 및/또는 양태들의 특징들은, 구체적으로 다른 방식으로 주목되지 않는 한, 서로 조합될 수 있다는 점이 이해된다.
비디오 코딩은, 비디오 또는 비디오 시퀀스를 형성하는, 픽처들의 시퀀스의 처리를 통상적으로 지칭한다. "픽처(picture)"라는 용어 대신에 "프레임(frame)" 또는 "이미지(image)"라는 용어가 비디오 코딩의 분야에서 동의어로서 사용될 수 있다. 본 출원(또는 본 개시내용)에서 사용되는 비디오 코딩은 비디오 인코딩 또는 비디오 디코딩 중 어느 하나를 표시한다. 비디오 인코딩은 소스 측에서 수행되고, (보다 효율적인 저장 및/또는 송신을 위해) 비디오 픽처들을 표현하기 위해 요구되는 데이터의 양을 감소시키기 위해 원래의 비디오 픽처들을 (예를 들어, 압축에 의해) 처리하는 것을 통상적으로 포함한다. 비디오 디코딩은 목적지 측에서 수행되고, 비디오 픽처들을 재구성하기 위해 인코더에 비해 역 처리를 통상적으로 포함한다. 비디오 픽처들(또는, 차후 설명될 바와 같이, 일반적으로 픽처들)의 "코딩(coding)"을 참조하는 실시예들은 비디오 시퀀스에 대한 "인코딩(encoding)" 또는 "디코딩(decoding)" 중 어느 하나에 관련되는 것으로 이해될 것이다. 인코딩 부분과 디코딩 부분의 조합은 CODEC(Coding and Decoding)이라고 또한 지칭된다.
무손실 비디오 코딩의 경우, 원래의 비디오 픽처들이 재구성될 수 있다, 즉, 재구성된 비디오 픽처들은 원래의 비디오 픽처들과 동일한 품질을 갖는다(저장 또는 송신 동안 송신 손실 또는 다른 데이터 손실이 없다고 가정함). 손실 비디오 코딩의 경우, 디코더에서 완전히 재구성될 수 없는, 즉, 재구성된 비디오 픽처들의 품질이 원래의 비디오 픽처들의 품질에 비해 더 낮은 또는 더 나쁜, 비디오 픽처들을 표현하는 데이터의 양을 감소시키기 위해, 예를 들어, 양자화에 의한, 추가의 압축이 수행된다.
H.261 이후 몇몇 비디오 코딩 표준들은 "손실 하이브리드 비디오 코덱들(lossy hybrid video codecs)"의 그룹에 속한다(즉, 변환 도메인에서 양자화를 적용하기 위해 샘플 도메인 및 2D 변환 코딩에서 공간적 및 시간적 예측을 조합함). 비디오 시퀀스의 각각의 픽처는 비-중첩 블록들의 세트로 통상적으로 파티셔닝되고, 이러한 코딩은 블록 레벨 상에서 통상적으로 수행된다. 다시 말해서, 인코더에서는, 예를 들어, 공간적 (인트라 픽처) 예측 및 시간적 (인터 픽처) 예측을 사용하여 예측 블록을 생성하는 것, 현재 블록(현재 처리되는/처리될 블록)으로부터 예측 블록을 감산하여 잔여 블록을 획득하는 것, 잔여 블록을 변환하는 것 및 변환 도메인에서 잔여 블록을 양자화하여 송신될 데이터의 양을 감소시키는 것(압축)에 의해, 블록(비디오 블록) 레벨 상에서 비디오가 통상적으로 처리되고, 즉, 인코딩되고, 반면 디코더에서는 인코딩된 또는 압축된 블록에 인코더에 비해 역 처리가 부분적으로 적용되어 표현을 위해 현재 블록을 재구성한다. 또한, 인코더는 디코더 처리 루프를 복제하여, 양자 모두가 후속 블록들을 처리하기, 즉, 코딩하기 위한 동일한 예측들(예를 들어, 인트라- 및 인터 예측들) 및/또는 재-구성들을 생성할 것이다.
본 명세서에서 사용되는 바와 같이, "블록(block)"이라는 용어는 픽처 또는 프레임의 일부분일 수 있다. 설명의 편의를 위해, 본 발명의 실시예들은, ITU-T VCEG(Video Coding Experts Group) 및 ISO/IEC MPEG(Motion Picture Experts Group)의 JCT-VC(Joint Collaboration Team on Video Coding)에 의해 개발된, HEVC(High-Efficiency Video Coding) 또는 VVC(Versatile video coding)의 참조 소프트웨어를 참조하여 본 명세서에 설명된다. 해당 분야에서의 통상의 기술자는 본 발명의 실시예들이 HEVC 또는 VVC로 제한되는 것은 아니라는 점을 이해할 것이다. 이것은 CU, PU, 및 TU를 지칭할 수 있다. HEVC에서, CTU는 코딩 트리로서 표기되는 쿼드-트리 구조를 사용하여 CU들로 분열된다. 인터-픽처(시간적) 또는 인트라-픽처(공간적) 예측을 사용하여 픽처 영역을 코딩할지의 결정은 CU 레벨로 이루어진다. 각각의 CU는 PU 분열 타입에 따라 하나의, 2개의 또는 4개의 PU로 추가로 분열될 수 있다. 하나의 PU 내부에서, 동일한 예측 프로세스가 적용되고, 관련 정보가 PU 기반으로 디코더에 송신된다. PU 분열 타입에 기초하여 예측 프로세스를 적용하는 것에 의해 잔여 블록을 획득한 후에, CU는 CU에 대한 코딩 트리와 유사한 다른 쿼드트리 구조에 따라 TU들(transform units)로 파티셔닝될 수 있다. 비디오 압축 기술의 가장 새로운 개발에서는, 코딩 블록을 파티셔닝하기 위해 QTBT(Qual-tree and binary tree) 파티셔닝 프레임이 사용된다. QTBT 블록 구조에서, CU는 정사각형 또는 직사각형 형상 중 어느 하나를 가질 수 있다. 예를 들어, CTU(coding tree unit)가 쿼드트리 구조에 의해 먼저 파티셔닝된다. 쿼드트리 리프 노드들이 바이너리 트리 구조에 의해 추가로 파티셔닝된다. 바이너리 트리 리프 노드들은 CU들(coding units)이라고 불리우고, 임의의 추가의 파티셔닝 없이 예측 및 변환 처리를 위해 그 세그먼트화가 사용된다. 이러한 것은 CU, PU 및 TU가 QTBT 코딩 블록 구조에서 동일한 블록 크기를 갖는다는 점을 의미한다. 병행하여, 승산 파티션, 예를 들어, 트리플 트리 파티션이 QTBT 블록 구조와 함께 사용되도록 또한 제안되었다.
다음에는 인코더(20), 디코더(30) 및 코딩 시스템(10)의 실시예들이 도 1 내지 도 3에 기초하여 설명된다.
도 1a는 예시적인 코딩 시스템(10), 예를 들어, 본 출원(본 개시내용)의 기술들을 이용할 수 있는 비디오 코딩 시스템(10)을 예시하는 개념적 또는 개략적 블록도이다. 비디오 코딩 시스템(10)의 인코더(20)(예를 들어, 비디오 인코더(20)) 및 디코더(30)(예를 들어, 비디오 디코더(30))는 본 출원에서 설명되는 다양한 예들에 따른 기술들을 수행하도록 구성될 수 있는 디바이스들의 예들을 표현한다. 도 1a예 도시되는 바와 같이, 코딩 시스템(10)은 인코딩된 데이터(13), 예를 들어, 인코딩된 픽처(13)를, 예를 들어, 인코딩된 데이터(13)를 디코딩하기 위한 목적지 디바이스(14)에 제공하도록 구성되는 소스 디바이스(12)를 포함한다.
소스 디바이스(12)는 인코더(20)를 포함하고, 픽처 소스(16), 전처리 유닛(18), 예를 들어, 픽처 전처리 유닛(18), 및 통신 인터페이스 또는 통신 유닛(22)을 추가적으로, 즉, 선택적으로, 포함할 수 있다.
픽처 소스(16)는, 예를 들어, 현실-세계 픽처를 캡처하기 위한 임의의 종류의 픽처 캡처 디바이스, 및/또는 (스크린 콘텐츠 코딩을 위한, 이러한 스크린 상의 일부 텍스트들은 인코딩될 픽처 또는 이미지의 부분으로 또한 고려됨) 임의의 종류의 픽처 또는 코멘트 생성 디바이스, 예를 들어, 컴퓨터 애니메이션 픽처를 생성하기 위한 컴퓨터 그래픽 프로세서, 또는 현실-세계 픽처, 컴퓨터 애니메이션 픽처(예를 들어, 스크린 콘텐츠, VR(virtual reality) 픽처) 및/또는 이들의 임의의 조합(예를 들어, AR(augmented reality) 픽처)을 획득 및/또는 제공하기 위한 임의의 종류의 디바이스를 포함하거나 또는 이들일 수 있다.
(디지털) 픽처는 강도 값들이 있는 샘플들의 2-차원 어레이 또는 매트릭스이거나 또는 이들로서 간주될 수 있다. 이러한 어레이에서의 샘플은 픽셀(픽처 엘리먼트의 줄임형) 또는 화소라고 또한 지칭될 수 있다. 어레이 또는 픽처의 수평 및 수직 방향(또는 축)에서의 샘플들의 수는 픽처의 크기 및/또는 해상도를 정의한다. 컬러의 표현을 위해, 통상적으로 3개의 컬러 성분들이 이용된다, 즉, 픽처는 3개의 샘플 어레이들로 표현될 수 있거나 또는 이들을 포함할 수 있다. RBG 포맷 또는 컬러 공간에서 픽처는 대응하는 적색, 녹색 및 청색 샘플 어레이를 포함한다. 그러나, 비디오 코딩에서 각각의 픽셀은 휘도/색차 포맷 또는 컬러 공간, 예를 들어, Y(때때로 L이 또한 대신 사용됨)에 의해 표시되는 휘도 성분 및 Cb 및 Cr에 의해 표시되는 2개의 색차 성분들을 포함하는 YCbCr에서 통상적으로 표현된다. 휘도(또는 줄여서 루마) 성분 Y는 밝기 또는 그레이 레벨 강도(예를 들어, 그레이 스케일 픽처에서와 같이)를 표현하고, 2개의 색차(또는 줄여서 크로마) 성분들 Cb 및 Cr은 색도 또는 컬러 정보 성분들을 표현한다. 따라서, YCbCr 포맷에서의 픽처는 휘도 샘플 값들(Y)의 휘도 샘플 어레이, 및 색차 값들(Cb 및 Cr)의 2개의 색차 샘플 어레이들을 포함한다. RGB 포맷에서의 픽처들은 YCbCr 포맷으로 전환되거나 또는 변환될 수 있고 그 반대도 마찬가지이며, 이러한 프로세스는 컬러 변환 또는 전환으로서 또한 알려져 있다. 픽처가 흑백이면, 이러한 픽처는 휘도 샘플 어레이만을 포함할 수 있다.
픽처 소스(16)(예를 들어, 비디오 소스(16))는, 예를 들어, 픽처를 캡처하기 위한 카메라, 메모리, 예를 들어, 이전에 캡처된 또는 생성된 픽처를 포함하거나 또는 저장하는 픽처 메모리, 및/또는 픽처를 획득하거나 또는 수신하기 위한 임의의 종류의 인터페이스(내부 또는 외부)일 수 있다. 이러한 카메라는, 예를 들어, 소스 디바이스에서 통합되는 로컬 또는 통합형 카메라일 수 있고, 이러한 메모리는, 예를 들어, 소스 디바이스에서 통합되는 로컬 또는 통합형 메모리일 수 있다. 이러한 인터페이스는, 예를 들어, 외부 비디오 소스, 예를 들어, 카메라와 같은 외부 픽처 캡처 디바이스, 외부 메모리, 또는 외부 픽처 생성 디바이스, 예를 들어, 외부 컴퓨터-그래픽 프로세서, 컴퓨터 또는 서버로부터 픽처를 수신하는 외부 인터페이스일 수 있다. 이러한 인터페이스는 임의의 종류의 인터페이스, 예를 들어, 임의의 독점적 또는 표준화된 인터페이스 프로토콜에 따른, 유선 또는 무선 인터페이스, 광학적 인터페이스일 수 있다. 픽처 데이터(17)를 획득하기 위한 인터페이스는 통신 인터페이스(22)와 동일한 인터페이스 또는 그 일부분일 수 있다.
전처리 유닛(18) 및 전처리 유닛(18)에 의해 수행되는 처리와 구별하여, 픽처 또는 픽처 데이터(17)(예를 들어, 비디오 데이터(16))는 원시 픽처 또는 원시 픽처 데이터(17)라고 또한 지칭될 수 있다.
전처리 유닛(18)은 (원시) 픽처 데이터(17)를 수신하도록 그리고 픽처 데이터(17)에 대한 전처리를 수행하여 전처리된 픽처(19) 또는 전처리된 픽처 데이터(19)를 획득하도록 구성된다. 전처리 유닛(18)에 의해 수행되는 전처리는, 예를 들어, 트리밍, (예를 들어, RGB로부터 YCbCr으로의) 컬러 포맷 전환, 컬러 정정, 또는 노이즈-제거를 포함할 수 있다. 전처리 유닛(18)은 선택적 성분일 수 있다는 점이 이해될 수 있다.
인코더(20)(예를 들어, 비디오 인코더(20))는 전처리된 픽처 데이터(19)를 수신하고 인코딩된 픽처 데이터(21)를 제공하도록 구성된다(추가의 상세사항들은, 예를 들어, 도 2 또는 도 4에 기초하여 아래에 설명될 것임).
소스 디바이스(12)의 통신 인터페이스(22)는, 인코딩된 픽처 데이터(21)를 수신하도록 그리고 이를, 저장 또는 직접 재구성을 위해, 다른 디바이스, 예를 들어, 목적지 디바이스(14) 또는 임의의 다른 디바이스에 송신하도록, 또는 인코딩된 데이터(13)를 저장하고 및/또는 인코딩된 데이터(13)를 다른 디바이스, 예를 들어, 목적지 디바이스(14) 또는 디코딩 또는 저장을 위한 임의의 다른 디바이스에 송신하기 전에 각각에 대해 인코딩된 픽처 데이터(21)를 처리하도록 구성될 수 있다.
목적지 디바이스(14)는 디코더(30)(예를 들어, 비디오 디코더(30))를 포함하고, 통신 인터페이스 또는 통신 유닛(28), 후처리 유닛(32) 및 디스플레이 디바이스(34)를 추가적으로, 즉, 선택적으로, 포함할 수 있다.
목적지 디바이스(14)의 통신 인터페이스(28)는 인코딩된 픽처 데이터(21) 또는 인코딩된 데이터(13)를, 예를 들어, 소스 디바이스(12)로부터 직접 또는 임의의 다른 소스, 예를 들어, 저장 디바이스, 예를 들어, 인코딩된 픽처 데이터 저장 디바이스로부터 수신하도록 구성된다.
통신 인터페이스(22) 및 통신 인터페이스(28)는 소스 디바이스(12)와 목적지 디바이스(14) 사이의 직접 통신 링크, 예를 들어, 직접 유선 또는 무선 접속을 통해, 또는 임의의 종류의 네트워크, 예를 들어, 유선 또는 무선 네트워크 또는 이들의 임의의 조합, 또는 임의의 종류의 사설 및 공용 네트워크, 또는 임의의 종류의 이들의 조합을 통해, 인코딩된 픽처 데이터(21) 또는 인코딩된 데이터(13)를 송신 또는 수신하도록 구성될 수 있다.
통신 인터페이스(22)는, 예를 들어, 인코딩된 픽처 데이터(21)를 통신 링크 또는 통신 네트워크를 통한 송신에 적절한 포맷, 예를 들어, 패킷들로 패키징하도록 구성될 수 있다.
통신 인터페이스(22)의 상대방을 형성하는 통신 인터페이스(28)는, 예를 들어, 인코딩된 데이터(13)를 패키징-해제하여 인코딩된 픽처 데이터(21)를 획득하도록 구성될 수 있다.
통신 인터페이스(22) 및 통신 인터페이스(28) 양자 모두는, 소스 디바이스(12)로부터 목적지 디바이스(14)까지 포인팅하는 도 1a에서의 인코딩된 픽처 데이터(13)에 대한 화살표에 의해 표시되는 바와 같은 단방향 통신 인터페이스들, 또는 양방향 통신 인터페이스들로서 구성될 수 있고, 예를 들어, 메시지들을 전송 및 수신하여, 예를 들어, 접속을 셋 업하여, 통신 링크 및/또는 데이터 송신, 예를 들어, 인코딩된 픽처 데이터 송신에 관련된 임의의 다른 정보를 수신확인 및 교환하도록 구성될 수 있다.
디코더(30)는 인코딩된 픽처 데이터(21)를 수신하도록 그리고 디코딩된 픽처 데이터(31) 또는 디코딩된 픽처(31)를 제공하도록 구성된다(추가의 상세사항들은, 예를 들어, 도 3 또는 도 5에 기초하여 아래에 설명될 것임).
목적지 디바이스(14)의 후처리기(32)는 디코딩된 픽처 데이터(31)(재구성된 픽처 데이터라고 또한 불리움), 예를 들어, 디코딩된 픽처(31)를 후처리하여, 후처리된 픽처 데이터(33), 예를 들어, 후처리된 픽처(33)를 획득하도록 구성된다. 후처리 유닛(32)에 의해 수행되는 후처리는, 예를 들어, (예를 들어, YCbCr로부터 RGB로의) 컬러 포맷 전환, 컬러 정정, 트리밍, 또는 재-샘플링, 또는, 예를 들어, 디스플레이 디바이스(34)에 의한, 예를 들어, 디스플레이를 위해 디코딩된 픽처 데이터(31)를 준비하기 위한, 임의의 다른 처리를 포함할 수 있다.
목적지 디바이스(14)의 디스플레이 디바이스(34)는, 예를 들어, 사용자 또는 시청자에게, 픽처를 디스플레이하기 위해 후처리된 픽처 데이터(33)를 수신하도록 구성된다. 디스플레이 디바이스(34)는 재구성된 픽처를 표현기 위한 임의의 종류의 디스플레이, 예를 들어, 통합형 또는 외부 디스플레이 또는 모니터일 수 있거나 또는 이를 포함할 수 있다. 디스플레이들은, 예를 들어, LCD(liquid crystal displays), OLED(organic light emitting diodes) 디스플레이들, 플라즈마 디스플레이들, 프로젝터들, 마이크로 LED 디스플레이들, LCoS(liquid crystal on silicon), DLP(digital light processor) 또는 임의의 종류의 다른 디스플레이를 포함할 수 있다.
도 1a가 소스 디바이스(12) 및 목적지 디바이스(14)를 별개의 디바이스들로서 묘사하더라도, 디바이스들의 실시예들은 양자 모두 또는 양자 모두의 기능성들, 소스 디바이스(12) 또는 대응하는 기능성 및 목적지 디바이스(14) 또는 대응하는 기능성을 또한 포함할 수 있다. 이러한 실시예들에서, 소스 디바이스(12) 또는 대응하는 기능성 및 목적지 디바이스(14) 또는 대응하는 기능성은 동일한 하드웨어 및/또는 소프트웨어를 사용하여 또는 별개의 하드웨어 및/또는 소프트웨어 또는 이들의 임의의 조합에 의해 구현될 수 있다.
이러한 설명에 기초하여 기술자에 대해 명백할 바와 같이, 도 1a에 도시되는 바와 같은 소스 디바이스(12) 및/또는 목적지 디바이스(14) 내의 기능성들 또는 상이한 유닛들의 기능성들의 존재 및 (정확한) 분열은 실제 디바이스 및 애플리케이션에 의존하여 다를 수 있다.
인코더(20)(예를 들어, 비디오 인코더(20)) 및 디코더(30)(예를 들어, 비디오 디코더(30)) 각각은, 하나 이상의 마이크로프로세서, DSP(digital signal processors), ASIC(application-specific integrated circuits), FPGA(field-programmable gate arrays), 이산 로직, 하드웨어, 또는 이들의 임의의 조합과 같은, 다양한 적합한 회로 중 임의의 것으로서 구현될 수 있다. 이러한 기술들이 부분적으로 소프트웨어로 구현되면, 디바이스는 소프트웨어에 대한 명령어들을 적합한, 비-일시적 컴퓨터-판독가능 저장 매체에 저장할 수 있고, 하나 이상의 프로세서를 사용하여 하드웨어에서의 명령어들을 실행하여 본 개시내용의 기술들을 수행할 수 있다. (하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합 등을 포함하는) 전술한 것 중 임의의 것이 하나 이상의 프로세서인 것으로 고려될 수 있다. 비디오 인코더(20) 및 비디오 디코더(30) 각각은 하나 이상의 인코더 또는 디코더에 포함될 수 있고, 이들 중 어느 하나는 각각의 디바이스에서 조합형 인코더/디코더(CODEC)의 부분으로서 통합될 수 있다.
소스 디바이스(12)는 비디오 인코딩 디바이스 또는 비디오 인코딩 장치라고 지칭될 수 있다. 목적지 디바이스(14)는 비디오 디코딩 디바이스 또는 비디오 디코딩 장치라고 지칭될 수 있다. 소스 디바이스(12) 및 목적지 디바이스(14)는 비디오 코딩 디바이스들 또는 비디오 코딩 장치들의 예들일 수 있다.
소스 디바이스(12) 및 목적지 디바이스(14)는, 임의의 종류의 핸드헬드 또는 고정 디바이스들, 예를 들어, 노트북 또는 랩톱 컴퓨터들, 모바일 폰들, 스마트 폰들, 태블릿들 또는 태블릿 컴퓨터들, 카메라들, 데스크톱 컴퓨터들, 셋-톱 박스들, 텔레비전들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게임 콘솔들, (콘텐츠 서비스 서버들 또는 콘텐츠 전달 서버들과 같은) 비디오 스트리밍 디바이스들, 방송 수신기 디바이스, 방송 송신기 디바이스 등을 포함하는, 광범위한 디바이스들 중 임의의 것을 포함할 수 있고, 어떠한 종류의 운영 체제도 사용하지 않거나 또는 임의의 종류의 운영 체제를 사용할 수 있다.
일부 경우들에서, 소스 디바이스(12) 및 목적지 디바이스(14)는 무선 통신을 위해 구비될 수 있다. 따라서, 소스 디바이스(12) 및 목적지 디바이스(14)는 무선 통신 디바이스들일 수 있다.
일부 경우들에서, 도 1a에 예시되는 비디오 코딩 시스템(10)은 단지 예이고, 본 출원의 기술들은 인코딩 및 디코딩 디바이스들 사이의 임의의 데이터 통신을 반드시 포함하는 것은 아닌 비디오 코딩 설정들(예를 들어, 비디오 인코딩 또는 비디오 디코딩)에 적용될 수 있다. 다른 예들에서, 데이터는 로컬 메모리로부터 검색되거나, 네트워크를 통해 스트리밍되거나, 등등이다. 비디오 인코딩 디바이스는 메모리에 데이터를 인코딩 및 저장할 수 있고, 및/또는 비디오 디코딩 디바이스는 메모리로부터 데이터를 검색 및 디코딩할 수 있다. 일부 예들에서, 서로 통신하지 않지만, 단순히 메모리에 데이터를 인코딩하는 및/또는 메모리로부터 데이터를 검색 및 디코딩하는 디바이스들에 의해 인코딩 및 디코딩이 수행된다.
비디오 인코더(20)를 참조하여 설명된 위 예들 각각에 대해, 비디오 디코더(30)는 역 프로세스를 수행하도록 구성될 수 있다는 점이 이해되어야 한다. 신택스 엘리먼트들을 시그널링하는 것에 관하여, 비디오 디코더(30)는 이러한 신택스 엘리먼트를 수신하고 파싱하도록 그리고 이에 따라서 연관된 비디오 데이터를 디코딩하도록 구성될 수 있다. 일부 예들에서, 비디오 인코더(20)는 하나 이상의 신택스 엘리먼트를 인코딩된 비디오 비트스트림으로 엔트로피 인코딩할 수 있다. 이러한 예들에서, 비디오 디코더(30)는 이러한 신택스 엘리먼트를 파싱하고 이에 따라서 연관된 비디오 데이터를 디코딩할 수 있다.
도 1b는 예시적인 실시예에 따른 도 2의 인코더(20) 및/또는 도 3의 디코더(30)를 포함하는 다른 예시적인 비디오 코딩 시스템(40)의 예시도이다. 이러한 시스템(40)은 본 출원에서 설명되는 다양한 예들에 따른 기술들을 구현할 수 있다. 예시되는 구현에서, 비디오 코딩 시스템(40)은, 이미징 디바이스(들)(41), 비디오 인코더(100), 비디오 디코더(30)(및/또는 처리 유닛(들)(46)의 로직 회로(47)를 통해 구현되는 비디오 코더), 안테나(42), 하나 이상의 프로세서(들)(43), 하나 이상의 메모리 저장소(들)(44), 및/또는 디스플레이 디바이스(45)를 포함할 수 있다.
예시되는 바와 같이, 이미징 디바이스(들)(41), 안테나(42), 처리 유닛(들)(46), 로직 회로(47), 비디오 인코더(20), 비디오 디코더(30), 프로세서(들)(43), 메모리 저장소(들)(44), 및/또는 디스플레이 디바이스(45)는 서로 통신할 수 있다. 논의되는 바와 같이, 비디오 인코더(20) 및 비디오 디코더(30) 양자 모두와 함께 예시되더라도, 비디오 코딩 시스템(40)은 다양한 예들에서 비디오 인코더(20)만을 또는 오직 비디오 디코더(30)만을 포함할 수 있다.
도시되는 바와 같이, 일부 예들에서, 비디오 코딩 시스템(40)은 안테나(42)를 포함할 수 있다. 안테나(42)는 예를 들어, 비디오 데이터의 인코딩된 비트스트림을 송신 또는 수신하도록 구성될 수 있다. 추가로, 일부 예들에서, 비디오 코딩 시스템(40)은 디스플레이 디바이스(45)를 포함할 수 있다. 디스플레이 디바이스(45)는 비디오 데이터를 제시하도록 구성될 수 있다. 도시되는 바와 같이, 일부 예들에서, 로직 회로(47)는 처리 유닛(들)(46)을 통해 구현될 수 있다. 처리 유닛(들)(46)은 ASIC(application-specific integrated circuit)로직, 그래픽 프로세서(들), 범용 프로세서(들) 등을 포함할 수 있다. 비디오 코딩 시스템(40)은, ASIC(application-specific integrated circuit)로직, 그래픽 프로세서(들), 범용 프로세서(들) 등을 유사하게 포함할 수 있는, 선택적 프로세서(들)(43)를 또한 포함할 수 있다. 일부 예들에서, 로직 회로(47)는 하드웨어, 비디오 코딩 전용 하드웨어 등을 통해 구현될 수 있고, 프로세서(들)(43)는 범용 소프트웨어, 운영 체제들 등을 구현할 수 있다. 또한, 메모리 저장소(44)는 휘발성 메모리(예를 들어, SRAM(Static Random Access Memory), DRAM(Dynamic Random Access Memory) 등) 또는 비-휘발성 메모리(예를 들어, 플래시 메모리 등) 등과 같은 임의의 타입의 메모리일 수 있다. 비-제한적인 예에서, 메모리 저장소(들)(44)는 캐시 메모리에 의해 구현될 수 있다. 일부 예들에서, 로직 회로(47)는 (예를 들어, 이미지 버퍼의 구현을 위해) 메모리 저장소(들)(44)에 액세스할 수 있다. 다른 예들에서, 로직 회로(47) 및/또는 처리 유닛(들)(46)은 이미지 버퍼 등의 구현을 위해 메모리 저장소들(예를 들어, 캐시 등)을 포함할 수 있다.
일부 예들에서, 로직 회로를 통해 구현되는 비디오 인코더(100)는 이미지 버퍼(예를 들어, 처리 유닛(들)(46) 또는 메모리 저장소(들)(44) 중 어느 하나를 통해) 및 그래픽 처리 유닛(예를 들어, 처리 유닛(들)(46)을 통해)을 포함할 수 있다. 그래픽 처리 유닛은 이미지 버퍼에 통신가능하게 결합될 수 있다. 그래픽 처리 유닛은 도 2에 관하여 논의되는 바와 같은 다양한 모듈들 및/또는 본 명세서에 설명되는 임의의 다른 인코더 시스템 또는 서브시스템을 구현하기 위해 로직 회로(47)를 통해 구현되는 비디오 인코더(100)를 포함할 수 있다. 이러한 로직 회로는 본 명세서에서 논의되는 바와 같이 다양한 동작들을 수행하도록 구성될 수 있다.
비디오 디코더(30)는 도 3의 디코더(30) 및/또는 본 명세서에 설명되는 임의의 다른 디코더 시스템 또는 서브시스템에 관하여 논의되는 바와 같은 다양한 모듈들을 구현하기 위해 로직 회로(47)를 통해 구현되는 것과 유사한 방식으로 구현될 수 있다. 일부 예들에서, 비디오 디코더(30)는 로직 회로를 통해 구현될 수 있고 이미지 버퍼(예를 들어, 처리 유닛(들)(420) 또는 메모리 저장소(들)(44) 중 어느 하나를 통해) 및 그래픽 처리 유닛(예를 들어, 처리 유닛(들)(46)을 통해)을 포함할 수 있다. 그래픽 처리 유닛은 이미지 버퍼에 통신가능하게 결합될 수 있다. 그래픽 처리 유닛은 도 3에 관하여 논의되는 바와 같은 다양한 모듈들 및/또는 본 명세서에 설명되는 임의의 다른 디코더 시스템 또는 서브시스템을 구현하기 위해 로직 회로(47)를 통해 구현되는 바와 같은 비디오 디코더(30)를 포함할 수 있다.
일부 예들에서, 비디오 코딩 시스템(40)의 안테나(42)는 비디오 데이터의 인코딩된 비트스트림을 수신하도록 구성될 수 있다. 논의되는 바와 같이, 인코딩된 비트스트림은, 코딩 파티션과 연관된 데이터(예를 들어, 변환 계수들 또는 양자화된 변환 계수들, (논의되는 바와 같은) 선택적 표시자들, 및/또는 코딩 파티션을 정의하는 데이터)와 같은, 본 명세서에서 논의되는 바와 같이 비디오 프레임을 인코딩하는 것과 연관된 데이터, 표시자들, 인덱스 값들, 모드 선택 데이터 등을 포함할 수 있다. 비디오 코딩 시스템(40)은 안테나(42)에 결합되는 그리고 인코딩된 비트스트림을 디코딩하도록 구성되는 비디오 디코더(30)를 또한 포함할 수 있다. 디스플레이 디바이스(45)는 비디오 프레임들을 제시하도록 구성된다.
인코더 및 인코딩 방법
도 2는 본 출원의 기술들을 구현하도록 구성되는 예시적인 비디오 인코더(20)의 개략적/개념적 블록도를 도시한다. 도 2의 예에서, 비디오 인코더(20)는 잔여 계산 유닛(204), 변환 처리 유닛(206), 양자화 유닛(208), 역 양자화 유닛(210), 및 역 변환 처리 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터 유닛(220), DPB(decoded picture buffer)(230), 예측 처리 유닛(260) 및 엔트로피 인코딩 유닛(270)을 포함한다. 예측 처리 유닛(260)은 인터 예측 유닛(244), 인트라 예측 유닛(254) 및 모드 선택 유닛(262)을 포함할 수 있다. 인터 예측 유닛(244)은 모션 추정 유닛 및 모션 보상 유닛(도시되지 않음)을 포함할 수 있다. 도 2에 도시되는 바와 같은 비디오 인코더(20)는 하이브리드 비디오 인코더 또는 하이브리드 비디오 코덱에 따른 비디오 인코더라고 또한 지칭될 수 있다.
예를 들어, 잔여 계산 유닛(204), 변환 처리 유닛(206), 양자화 유닛(208), 예측 처리 유닛(260) 및 엔트로피 인코딩 유닛(270)은 인코더(20)의 순방향 신호 경로를 형성하고, 반면, 예를 들어, 역 양자화 유닛(210), 역 변환 처리 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터(220), DPB(decoded picture buffer)(230), 예측 처리 유닛(260)은 인코더의 역방향 신호 경로를 형성하며, 인코더의 역방향 신호 경로는 디코더의 신호 경로에 대응한다(도 3에서의 디코더(30) 참조),
인코더(20)는, 예를 들어, 입력(202)에 의해, 픽처(201), 또는 픽처(201)의 블록(203), 예를 들어, 비디오 또는 비디오 시퀀스를 형성하는 픽처들의 시퀀스의 픽처를 수신하도록 구성된다. 픽처 블록(203)은 현재 픽처 블록 또는 코딩될 픽처 블록이라고 또한 지칭될 수 있고, 픽처(201)는 현재 픽처 또는 코딩될 픽처(특히 비디오 코딩에서 다른 픽처들로부터 현재 픽처를 구별하기 위해, 예를 들어, 동일한 비디오 시퀀스, 즉, 현재 픽처를 또한 포함하는 비디오 시퀀스의 이전에 인코딩된 및/또는 디코딩된 픽처들)라고 지칭될 수 있다.
파티셔닝
인코더(20)의 실시예들은, 픽처(201)를 복수의 블록들, 예를 들어, 블록(203)과 같은 블록들로, 통상적으로 복수의 비-중첩 블록들로 파티셔닝하도록 구성되는 파티셔닝 유닛(도 2에 묘사되지 않음)을 포함할 수 있다. 파티셔닝 유닛은 비디오 시퀀스의 모든 픽처들에 대해 동일한 블록 크기를 그리고 이러한 블록 크기를 정의하는 대응하는 그리드를 사용하도록, 또는 픽처들 또는 서브세트들 또는 픽처들의 그룹들 사이의 블록 크기를 변경하고, 각각의 픽처를 대응하는 블록들로 파티셔닝하도록 구성될 수 있다.
하나의 예에서, 비디오 인코더(20)의 예측 처리 유닛(260)은 위에 설명된 파티셔닝 기술들의 임의의 조합을 수행하도록 구성될 수 있다.
픽처(201)와 같이, 블록(203)은 다시, 픽처(201)보다 작은 치수이더라도, 강도 값들(샘플 값들)이 있는 샘플들의 2-차원 어레이 또는 매트릭스이거나 또는 이로서 간주될 수 있다. 다시 말해서, 블록(203)은, 예를 들어, 적용된 컬러 포맷에 의존하여 하나의 샘플 어레이(예를 들어, 흑백 픽처(201)의 경우에 루마 어레이) 또는 3개의 샘플 어레이들(예를 들어, 컬러 픽처(201)의 경우에 루마 및 2개의 크로마 어레이들) 또는 임의의 다른 수 및/또는 종류의 어레이들을 포함할 수 있다. 블록(203)의 수평 및 수직 방향(또는 축)에서의 샘플들의 수는 블록(203)의 크기를 정의한다.
도 2에 도시되는 바와 같은 인코더(20)는 블록 단위로 픽처(201)를 인코딩하도록 구성된다, 예를 들어, 인코딩 및 예측이 블록(203) 당 수행된다.
잔여 계산
잔여 계산 유닛(204)은 픽처 블록(203) 및 예측 블록(265)에 기초하여, 예를 들어, 예측 블록(265)의 샘플 값들을 픽처 블록(203)의 샘플 값들로부터 샘플 단위로 감산하여(픽셀 단위로) 샘플 도메인에서 잔여 블록(205)을 획득하는 것에 의해, 잔여 블록(205)을 계산하도록 구성된다(예측 블록(265)에 관한 추가의 상세 사항들은 차후에 제공됨).
변환
변환 처리 유닛(206)은 잔여 블록(205)의 샘플 값들에 대해 변환, 예를 들어, DCT(discrete cosine transform) 또는 DST(discrete sine transform)을 적용하여, 변환 도메인에서 변환 계수들(207)을 획득하도록 구성된다. 변환 계수들(207)은 변환 잔여 계수들이라고 또한 지칭될 수 있고, 변환 도메인에서 잔여 블록(205)을 표현한다.
변환 처리 유닛(206)은, HEVC/H.265에 대해 명시되는 변환들과 같이, DCT/DST의 정수 근사화들을 적용하도록 구성될 수 있다. 직교 DCT 변환에 비해, 이러한 정수 근사화들은 특정 인자에 의해 통상적으로 스케일링된다. 순방향 및 역 변환들에 의해 처리되는 잔여 블록의 기준을 보존하기 위해, 추가적인 스케일링 인자들이 변환 프로세스의 부분으로서 적용된다. 이러한 스케일링 인자들은, 시프트 동작, 변환 계수들의 비트 심도, 정확도와 구현 비용들 사이의 트레이드오프 등을 위해 2의 멱수인 스케일링 인자들과 같은 특정 제약들에 기초하여 통상적으로 선택된다. 예를 들어, 구체적인 스케일링 인자들이, 예를 들어, 역 변환 처리 유닛(212)에 의해, 디코더(30)에서, 역 변환(및, 예를 들어, 인코더(20)에서 역 변환 처리 유닛(212)에 의해, 대응하는 역 변환)에 대해 명시되고, 순방향 변환에 대한 대응하는 스케일링 인자들이, 예를 들어, 변환 처리 유닛(206)에 의해, 인코더(20)에서 이에 따라서 명시될 수 있다.
양자화
양자화 유닛(208)은, 예를 들어, 스칼라 양자화 또는 벡터 양자화를 적용하는 것에 의해, 변환 계수들(207)을 양자화하여 양자화된 변환 계수들(209)을 획득하도록 구성된다. 양자화된 변환 계수들(209)은 양자화된 잔여 계수들(209)이라고 또한 지칭될 수 있다. 양자화 프로세스는 변환 계수들(207)의 일부 또는 전부와 연관된 비트 심도를 감소시킬 수 있다. 예를 들어, n-비트 변환 계수는 양자화 동안 m-비트 변환 계수로 라운딩 다운될 수 있으며, n은 m보다 크다. 양자화의 정도는 QP(quantization parameter)를 조정하는 것에 의해 수정될 수 있다. 예를 들어, 스칼라 양자화에 대해, 더 미세한 또는 더 거친 양자화를 달성하기 위해 상이한 스케일링이 적용될 수 있다. 더 작은 양자화 단계 크기들은 더 미세한 양자화에 대응하는 반면, 더 큰 양자화 단계 크기들은 더 거친 양자화에 대응한다. 적용가능한 양자화 단계 크기는 QP(quantization parameter)에 의해 표시될 수 있다. 양자화 파라미터는 예를 들어 적용가능한 양자화 단계 크기들의 미리 정의된 세트에 대한 인덱스일 수 있다. 예를 들어, 작은 양자화 파라미터들은 미세 양자화(작은 양자화 단계 크기들)에 대응할 수 있고, 큰 양자화 파라미터들은 거친 양자화(큰 양자화 단계 크기들)에 대응할 수 있거나 또는 그 반대일 수 있다. 양자화는 양자화 단계 크기에 의한 제산을 포함할 수 있고, 예를 들어, 역 양자화(210)에 의한, 대응하는 또는 역 양자화해제는 양자화 단계 크기에 의한 승산을 포함할 수 있다. 일부 표준들, 예를 들어, HEVC에 따른 실시예들은 양자화 파라미터를 사용하여 양자화 단계 크기를 결정하도록 구성될 수 있다. 일반적으로, 양자화 단계 크기는 제산을 포함하는 수학식의 고정 소수점 근사화를 사용하여 양자화 파라미터에 기초하여 계산될 수 있다. 잔여 블록의 기준을 복원하기 위해 양자화 및 양자화해제에 대해 추가적인 스케일링 인자들이 도입될 수 있으며, 이는 양자화 단계 크기 및 양자화 파라미터에 대한 수학식의 고정 소수점 근사화에서 사용되는 스케일링 때문에 수정될 수 있다. 하나의 예시적인 구현에서는, 역 변환 및 양자화해제의 스케일링이 조합될 수 있다. 대안적으로, 맞춤화된 양자화 테이블들이 사용되고 인코더로부터 디코더로, 예를 들어, 비트스트림으로 시그널링될 수 있다. 양자화는 손실 동작이며, 손실은 양자화 단계 크기들이 증가함에 따라 증가한다.
역 양자화 유닛(210)은 양자화 유닛(208)의 역 양자화를 양자화 계수들에 적용하여, 예를 들어, 양자화 유닛(208)과 동일한 양자화 단계 크기에 기초하여 또는 이를 사용하여 양자화 유닛(208)에 의해 적용되는 양자화 스킴의 역을 적용하는 것에 의해, 양자화해제된 계수들(211)을 획득하도록 구성된다. 양자화해제된 계수들(211)은 양자화해제된 잔여 계수들(211)이라고 또한 지칭될 수 있고, 양자화에 의한 손실로 인해 변환 계수들과는 통상적으로 동일하지 않더라도 변환 계수들(207)에 대응할 수 있다.
역 변환 처리 유닛(212)은 변환 처리 유닛(206)에 의해 적용되는 변환의 역 변환, 예를 들어, 역 DCT(discrete cosine transform) 또는 역 DST(discrete sine transform)를 적용하여, 샘플 도메인에서 역 변환 블록(213)을 획득하도록 구성된다. 역 변환 블록(213)은 역 변환 양자화해제된 블록(213) 또는 역 변환 잔여 블록(213)이라고 또한 지칭될 수 있다.
재구성 유닛(214)(예를 들어, 합산기(214))은, 예를 들어, 재구성된 잔여 블록(213)의 샘플 값들 및 예측 블록(265)의 샘플 값들을 가산하는 것에 의해, 역 변환 블록(213)(즉, 재구성된 잔여 블록(213))을 예측 블록(265)에 가산하여 샘플 도메인에서 재구성된 블록(215)을 획득하도록 구성된다.
선택적으로, 버퍼 유닛(216)(또는 줄여서 "버퍼(buffer)"(216)), 예를 들어, 라인 버퍼(216)는, 재구성된 블록(215) 및 각각의 샘플 값들을, 예를 들어, 인트라 예측을 위해 버퍼링하도록 또는 저장하도록 구성된다. 추가의 실시예들에서, 인코더는 임의의 종류의 추정 및/또는 예측, 예를 들어, 인트라 예측을 위해 필터링되지 않은 재구성된 블록들 및/또는 버퍼 유닛(216)에 저장되는 각각의 샘플 값들을 사용하도록 구성될 수 있다.
인코더(20)의 실시예들은, 예를 들어, 버퍼 유닛(216)이 인트라 예측(254)을 위해 재구성된 블록들(215)을 저장하기 위해서 뿐만 아니라 루프 필터 유닛(220)(도 2에 도시되지 않음)을 위해 사용되도록 및/또는, 예를 들어, 버퍼 유닛(216) 및 디코딩된 픽처 버퍼 유닛(230)이 하나의 버퍼를 형성하도록 구성될 수 있다. 추가의 실시예들은 필터링된 블록들(221) 및/또는 디코딩된 픽처 버퍼(230)로부터의 블록들 또는 샘플들(양자 모두 도 2에 도시되지 않음)을 인트라 예측(254)을 위한 입력 또는 기초로서 사용하도록 구성될 수 있다.
루프 필터 유닛(220)(또는 줄여서 "루프 필터"(220))은 재구성된 블록(215)을 필터링하여 필터링된 블록(221)을 획득하도록, 예를 들어, 픽셀 전이들을 평활화하도록, 또는 다른 방식으로 비디오 품질을 개선하도록 구성된다. 루프 필터 유닛(220)은 디블로킹 필터(de-blocking filter), SAO(sample-adaptive offset) 필터, 또는 다른 필터들, 예를 들어, 쌍방 필터 또는 ALF(adaptive loop filter) 또는 샤프닝 또는 평활 필터들 또는 협업 필터들과 같은 하나 이상의 루프 필터를 표현하도록 의도된다. 루프 필터 유닛(220)이 루프 필터에서의 것으로서 도 2에 도시되더라도, 다른 구성들에서는, 루프 필터 유닛(220)이 포스트 루프 필터로서 구현될 수 있다. 필터링된 블록(221)은 필터링된 재구성된 블록(221)이라고 또한 지칭될 수 있다. 루프 필터 유닛(220)이 재구성된 코딩 블록들에 대해 필터링 동작들을 수행한 후에 디코딩된 픽처 버퍼(230)는 재구성된 코딩 블록을 저장할 수 있다.
인코더(20)의 실시예들(각각 루프 필터 유닛(220))은, 예를 들어, 엔트로피 인코딩 유닛(270) 또는 임의의 다른 엔트로피 코딩 유닛을 통해 직접 또는 엔트로피 인코딩되는, (샘플 적응적 오프셋 정보와 같은) 루프 필터 파라미터들을 출력하도록 구성될 수 있어, 예를 들어, 디코더(30)는 디코딩을 위해 동일한 루프 필터 파라미터들을 수신하고 적용할 수 있다.
DPB(decoded picture buffer)(230)는 비디오 인코더(20)에 의해 비디오 데이터를 인코딩함에 있어서 사용하기 위한 참조 픽처 데이터를 저장하는 참조 픽처 메모리일 수 있다. DPB(230)는 SDRAM(synchronous DRAM), MRAM(magnetoresistive RAM), RRAM(resistive RAM), 또는 다른 타입들의 메모리 디바이스들을 포함하는, DRAM(dynamic random access memory)과 같은, 다양한 메모리 디바이스들 중 임의의 것에 의해 형성될 수 있다. DPB(230) 및 버퍼(216)는 동일한 메모리 디바이스 또는 별개의 메모리 디바이스들에 의해 제공될 수 있다. 일부 예들에서, DPB(Decoded Picture Buffer)(230)는 필터링된 블록(221)을 저장하도록 구성된다. 디코딩된 픽처 버퍼(230)는 동일한 현재 픽처의 또는 상이한 픽처들, 예를 들어, 이전에 재구성된 픽처들의 다른 이전에 필터링된 블록들, 예를 들어 이전에 재구성된 및 필터링된 블록들(221)을 저장하도록 추가로 구성될 수 있고, 예를 들어, 인터 예측을 위해, 완전한 이전에 재구성된, 즉, 디코딩된 픽처들(및 대응하는 참조 블록들 및 샘플들) 및/또는 부분적으로 재구성된 현재 픽처(및 대응하는 참조 블록들 및 샘플들)를 제공할 수 있다. 일부 예들에서, 재구성된 블록(215)이 재구성되지만 인-루프 필터링이 없으면, DPB(decoded picture buffer)(230)는 재구성된 블록(215)을 저장하도록 구성된다.
블록 예측 처리 유닛(260)이라고 또한 지칭되는, 예측 처리 유닛(260)은, 블록(203)(현재 픽처(201)의 현재 블록(203)) 및 재구성된 픽처 데이터, 예를 들어, 버퍼(216)로부터의 동일한 (현재) 픽처의 참조 샘플들 및/또는 디코딩된 픽처 버퍼(230)로부터의 하나의 또는 복수의 이전에 디코딩된 픽처로부터의 참조 픽처 데이터(231)를 수신 또는 획득하도록, 그리고 예측을 위해 이러한 데이터를 처리하도록, 즉, 인터-예측 블록(245) 또는 인트라-예측 블록(255)일 수 있는, 예측 블록(265)을 제공하도록 구성된다.
모드 선택 유닛(262)은 잔여 블록(205)의 계산을 위한 그리고 재구성된 블록(215)의 재구성을 위한 예측 블록(265)으로서 사용될 예측 모드(예를 들어, 인트라 또는 인터 예측 모드) 및/또는 대응하는 예측 블록(245 또는 255)을 선택하도록 구성될 수 있다.
모드 선택 유닛(262)의 실시예들은 (예를 들어, 예측 처리 유닛(260)에 의해 지원되는 것들로부터) 예측 모드를 선택하도록 구성될 수 있고, 이는 최상의 매칭 또는 다시 말해서 최소 잔여(최소 잔여는 송신 또는 저장을 위해 더 나은 압축을 의미함), 또는 최소 시그널링 오버헤드(최소 시그널링 오버헤드는 송신 또는 저장을 위해 더 나은 압축을 의미함)를 제공하거나, 또는 이는 양자 모두를 고려하거나 또는 균형화한다. 모드 선택 유닛(262)은 RDO(rate distortion optimization)에 기초하여 예측 모드를 결정하도록, 즉 최소 레이트 왜곡 최적화를 제공하는 예측 모드 또는 어느 연관된 레이트 왜곡이 예측 모드 선택 기준을 적어도 충족시키는지를 선택하도록 구성될 수 있다.
다음에는 예시적인 인코더(20)에 의해 수행되는 (예를 들어, 예측 처리 유닛(260)에 의한) 예측 처리 및 (예를 들어, 모드 선택 유닛(262)에 의한) 모드 선택이 더 상세히 설명될 것이다.
위에 설명된 바와 같이, 인코더(20)는 (미리 결정된) 예측 모드들의 세트로부터 최상의 또는 최적의 예측 모드를 결정하도록 또는 선택하도록 구성된다. 예측 모드들의 세트는, 예를 들어, 인트라-예측 모드들 및/또는 인터-예측 모드들을 포함할 수 있다.
인트라-예측 모드들의 세트는 35개의 상이한 인트라-예측 모드들, 예를 들어, H.265에서 정의되는 바와 같은, 예를 들어, DC(또는 평균) 모드와 평면 모드와 같은 비-지향성 모드들, 또는 지향성 모드들을 포함할 수 있거나, 또는 67개의 상이한 인트라-예측 모드들, 예를 들어, 개발 중인 H.266에서 정의되는 바와 같은, 예를 들어, DC(또는 평균) 모드 또는 평면 모드와 같은 비-지향성 모드들, 또는 지향성 모드들을 포함할 수 있다.
(또는 가능한) 인터-예측 모드들의 세트는 이용가능한 참조 픽처들(즉, 예를 들어, DBP(230)에 저장되는, 이전의 적어도 부분적으로 디코딩된 픽처들) 및 다른 인터-예측 파라미터들, 예를 들어, 최상의 매칭 참조 픽처 블록을 검색하기 위해 전체 참조 픽처 또는 참조 픽처의 부분, 예를 들어, 현재 블록의 영역 주위의 검색 윈도우 영역만이 사용되는지, 및/또는, 예를 들어, 픽셀 보간, 예를 들어, 1/2/반-화소 및/또는 1/4-화소 보간이 적용되는지 여부에 의존한다.
위 예측 모드들에 추가적으로, 스킵 모드 및/또는 직접 모드가 적용될 수 있다.
예측 처리 유닛(260)은, 예를 들어, QT(quad-tree-partitioning), BT(binary partitioning) 또는 TT(triple-tree-partitioning) 또는 이들의 임의의 조합을 반복적으로 사용하여, 블록(203)을 더 작은 블록 파티션들 또는 서브-블록들로 파티셔닝하도록, 그리고, 예를 들어, 블록 파티션들 또는 서브-블록들 각각에 대한 예측을 수행하도록 추가로 구성될 수 있으며, 모드 선택은 파티셔닝된 블록(203)의 트리-구조의 선택 및 블록 파티션들 또는 서브-블록들 각각에 적용되는 예측 모드들을 포함한다.
인터 예측 유닛(244)은 ME(motion estimation) 유닛(도 2에 도시되지 않음) 및 MC(motion compensation) 유닛(도 2에 도시되지 않음)을 포함할 수 있다. 모션 추정 유닛은, 모션 추정을 위해, 픽처 블록(203)(현재 픽처(201)의 현재 픽처 블록(203)) 및 디코딩된 픽처(231), 또는 적어도 하나의 또는 복수의 이전에 재구성된 블록들, 예를 들어, 하나의 또는 복수의 다른/상이한 이전에 디코딩된 픽처(231)의 재구성된 블록을 수신 또는 획득하도록 구성된다. 예를 들어, 비디오 시퀀스는 현재 픽처 및 이전에 디코딩된 픽처들(231)을 포함할 수 있거나, 또는 다시 말해서, 현재 픽처 및 이전에 디코딩된 픽처들(231)은 비디오 시퀀스를 형성하는 픽처들의 부분일 수 있거나 또는 그 시퀀스를 형성할 수 있다.
인코더(20)는, 예를 들어, 복수의 다른 픽처들의 동일한 또는 상이한 픽처들의 복수의 참조 블록들로부터 참조 블록을 선택하고, 참조 픽처(또는 참조 픽처 인덱스, ...) 및/또는 참조 블록의 위치(x, y 좌표들)와 현재 블록의 위치 사이의 오프셋(공간적 오프셋)을 모션 추정 유닛(도 2에 도시되지 않음)에 인터 예측 파라미터들로서 제공하도록 구성될 수 있다. 이러한 오프셋은 MV(motion vector)라고 또한 불리운다.
모션 보상 유닛은 인터 예측 파라미터를 획득하도록, 예를 들어, 수신하도록 그리고, 이러한 인터 예측 파라미터에 기초하여 또는 이를 사용하여 인터 예측을 수행하여 인터 예측 블록(245)을 획득하도록 구성된다. 모션 보상 유닛(도 2에 도시되지 않음)에 의해 수행되는, 모션 보상은 모션 추정에 의해 결정되는 모션/블록 벡터에 기초하여 예측 블록을 페치하는 것 또는 생성하는 것, 가능하게는 서브-픽셀 정밀도에 대한 보간들을 수행하는 것을 수반할 수 있다. 보간 필터링은 알려진 픽셀 샘플들로부터 추가적인 픽셀 샘플들을 생성할 수 있고, 따라서 픽처 블록을 코딩하기 위해 사용될 수 있는 후보 예측 블록들의 수를 잠재적으로 증가시킨다. 현재 픽처 블록의 PU에 대한 모션 벡터를 수신하면, 모션 보상 유닛(246)은 참조 픽처 리스트들 중 하나에서 모션 벡터가 포인팅하는 예측 블록의 위치를 찾아낼 수 있다. 모션 보상 유닛(246)은 비디오 슬라이스의 픽처 블록들을 디코딩함에 있어서 비디오 디코더(30)에 의해 사용하기 위한 블록들 및 비디오 슬라이스와 연관된 신택스 엘리먼트들을 또한 생성할 수 있다.
인트라 예측 유닛(254)은 인트라 추정을 위해 픽처 블록(203)(현재 픽처 블록) 및 동일한 픽처의 하나의 또는 복수의 이전에 재구성된 블록, 예를 들어, 재구성된 이웃 블록을 획득하도록, 예를 들어, 수신하도록 구성된다. 인코더(20)는, 예를 들어, 복수의 (미리 결정된) 인트라 예측 모드들로부터 인트라 예측 모드를 선택하도록 구성될 수 있다.
인코더(20)의 실시예들은 최적화 기준, 예를 들어, 최소 잔여(예를 들어, 현재 픽처 블록(203)과 가장 유사한 예측 블록(255)을 제공하는 인트라-예측 모드) 또는 최소 레이트 왜곡에 기초하여 인트라-예측 모드를 선택하도록 구성될 수 있다.
인트라 예측 유닛(254)은 인트라 예측 파라미터, 예를 들어, 선택된 인트라 예측 모드에 기초하여 인트라 예측 블록(255)을 결정하도록 추가로 구성된다. 임의의 경우에, 블록에 대한 인트라 예측 모드를 선택한 후에, 인트라 예측 유닛(254)은 인트라 예측 파라미터, 즉, 블록에 대한 선택된 인트라 예측 모드를 표시하는 정보를 엔트로피 인코딩 유닛(270)에 제공하도록 또한 구성된다. 하나의 예에서, 인트라 예측 유닛(254)은 차후 설명되는 인트라 예측 기술들의 임의의 조합을 수행하도록 구성될 수 있다.
엔트로피 인코딩 유닛(270)은, 예를 들어, 인코딩된 비트스트림(21)의 형태로, 출력(272)에 의해 출력될 수 있는 인코딩된 픽처 데이터(21)를 개별적으로 또는 합동으로(또는 전혀) 획득하기 위해, 양자화된 잔여 계수들(209), 인터 예측 파라미터들, 인트라 예측 파라미터, 및/또는 루프 필터 파라미터들에 대해 엔트로피 인코딩 알고리즘 또는 스킴(예를 들어, VLC(variable length coding) 스킴, CALVC(context adaptive VLC) 스킴, 산술 코딩 스킴, CABAC(context adaptive binary arithmetic coding), SBAC(syntax-based context-adaptive binary arithmetic coding), PIPE(probability interval partitioning entropy) 코딩 또는 다른 엔트로피 인코딩 방법론 또는 기술)을 적용하도록 구성된다. 인코딩된 비트스트림(21)은 비디오 디코더(30)에 송신되거나, 또는 비디오 디코더(30)에 의한 차후의 송신 또는 검색을 위해 보관될 수 있다. 엔트로피 인코딩 유닛(270)은 코딩되고 있는 현재 비디오 슬라이스에 대해 다른 신택스 엘리먼트들을 엔트로피 인코딩하도록 추가로 구성될 수 있다.
비디오 스트림을 인코딩하기 위해 비디오 인코더(20)의 다른 구조적 변형들이 사용될 수 있다. 예를 들어, 비-변환 기반 인코더(20)는 특정 블록들 또는 프레임들에 대해 변환 처리 유닛(206) 없이 직접 잔여 신호를 양자화할 수 있다. 다른 구현에서, 인코더(20)는 단일 유닛으로 조합되는 양자화 유닛(208) 및 역 양자화 유닛(210)을 가질 수 있다.
도 3은 본 출원의 기술들을 구현하도록 구성되는 예시적인 비디오 디코더(30)를 도시한다. 비디오 디코더(30)는, 예를 들어, 인코더(100)에 의해 인코딩되는, 인코딩된 픽처 데이터(예를 들어, 인코딩된 비트스트림)(21)를 수신하여, 디코딩된 픽처(131)를 획득하도록 구성된다. 디코딩 프로세스 동안, 비디오 디코더(30)는 비디오 인코더(100)로부터 비디오 데이터, 예를 들어, 인코딩된 비디오 슬라이스의 픽처 블록들 및 연관된 신택스 엘리먼트들을 표현하는 인코딩된 비디오 비트스트림을 수신한다.
도 3의 예에서, 디코더(30)는 엔트로피 디코딩 유닛(304), 역 양자화 유닛(310), 역 변환 처리 유닛(312), 재구성 유닛(314)(예를 들어, 합산기(314)), 버퍼(316), 루프 필터(320), 디코딩된 픽처 버퍼(330) 및 예측 처리 유닛(360)을 포함한다. 예측 처리 유닛(360)은 인터 예측 유닛(344), 인트라 예측 유닛(354), 및 모드 선택 유닛(362)을 포함할 수 있다. 비디오 디코더(30)는, 일부 예들에서, 도 2로부터 비디오 인코더(100)에 관하여 설명되는 인코딩 패스에 일반적으로 역인 디코딩 패스를 수행할 수 있다.
엔트로피 디코딩 유닛(304)은 인코딩된 픽처 데이터(21)에 대해 엔트로피 디코딩을 수행하여, 예를 들어, 양자화된 계수들(309) 및/또는 디코딩된 코딩 파라미터들(도 3에 도시되지 않음), 예를 들어, 인터 예측 파라미터들, 인트라 예측 파라미터, 루프 필터 파라미터들, 및/또는 다른 신택스 엘리먼트들 중 (디코딩된) 임의의 것 또는 전부를 획득하도록 구성된다. 엔트로피 디코딩 유닛(304)은 인터 예측 파라미터들, 인트라 예측 파라미터 및/또는 다른 신택스 엘리먼트들을 예측 처리 유닛(360)에 전달하도록 추가로 구성된다. 비디오 디코더(30)는 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨로 신택스 엘리먼트들을 수신할 수 있다.
역 양자화 유닛(310)은 기능에서 역 양자화 유닛(110)과 동일할 수 있고, 역 변환 처리 유닛(312)은 기능에서 역 변환 처리 유닛(112)과 동일할 수 있고, 재구성 유닛(314)은 기능에서 재구성 유닛(114)과 동일할 수 있고, 버퍼(316)는 기능에서 버퍼(116)과 동일할 수 있고, 루프 필터(320)는 기능에서 루프 필터(120)와 동일할 수 있고, 디코딩된 픽처 버퍼(330)는 기능에서 디코딩된 픽처 버퍼(130)와 동일할 수 있다.
예측 처리 유닛(360)은 인터 예측 유닛(344) 및 인트라 예측 유닛(354)을 포함할 수 있으며, 인터 예측 유닛(344)은 기능에서 인터 예측 유닛(144)과 유사할 수 있고, 인트라 예측 유닛(354)은 기능에서 인트라 예측 유닛(154)과 유사할 수 있다. 예측 처리 유닛(360)은 블록 예측을 수행하고 및/또는 인코딩된 데이터(21)로부터 예측 블록(365)을 획득하도록 그리고, 예를 들어, 엔트로피 디코딩 유닛(304)으로부터, 예측 관련 파라미터들 및/또는 선택된 예측 모드에 관한 정보를 (명시적으로 또는 암시적으로) 수신하거나 또는 획득하도록 통상적으로 구성된다.
비디오 슬라이스가 인트라 코딩된(I) 슬라이스로서 코딩될 때, 예측 처리 유닛(360)의 인트라 예측 유닛(354)은 현재 프레임 또는 픽처의 이전에 디코딩된 블록들로부터의 시그널링된 인트라 예측 모드 및 데이터에 기초하여 현재 비디오 슬라이스의 픽처 블록에 대한 예측 블록(365)을 생성하도록 구성된다. 비디오 프레임이 인터 코딩된(즉, B, 또는 P) 슬라이스로서 코딩될 때, 예측 처리 유닛(360)의 인터 예측 유닛(344)(예를 들어, 모션 보상 유닛)은 엔트로피 디코딩 유닛(304)으로부터 수신되는 모션 벡터들 및 다른 신택스 엘리먼트들에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 블록들(365)을 생산하도록 구성된다. 인터 예측을 위해, 예측 블록들은 참조 픽처 리스트들 중 하나 내의 참조 픽처들 중 하나로부터 생산될 수 있다. 비디오 디코더(30)는, DPB(330)에 저장되는 참조 픽처들에 기초하여 디폴트 구성 기술들을 사용하여, 참조 프레임 리스트들, 리스트 0 및 리스트 1을 구성할 수 있다.
예측 처리 유닛(360)은 모션 벡터들 및 다른 신택스 엘리먼트들을 파싱하는 것에 의해 현재 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하도록 구성되고, 이러한 예측 정보를 사용하여, 디코딩되고 있는 현재 비디오 블록에 대한 예측 블록들을 생산한다. 예를 들어, 예측 처리 유닛(360)은 수신된 신택스 엘리먼트들 중 일부를 사용하여, 비디오 슬라이스의 비디오 블록들, 인터 예측 슬라이스 타입(예를 들어, B 슬라이스, P 슬라이스, 또는 GPB 슬라이스), 슬라이스에 대한 참조 픽처 리스트들 중 하나 이상에 대한 구성 정보, 슬라이스의 각각의 인터 인코딩된 비디오 블록에 대한 모션 벡터들, 슬라이스의 각각의 인터 코딩된 비디오 블록에 대한 인터 예측 상태, 및 현재 비디오 슬라이스에서의 비디오 블록들을 디코딩하기 위한 다른 정보를 코딩하기 위해 사용되는 예측 모드(예를 들어, 인트라 또는 인터 예측)를 결정한다.
역 양자화 유닛(310)은, 비트스트림에서 제공되는 그리고 엔트로피 디코딩 유닛(304)에 의해 디코딩되는 양자화된 변환 계수들을 역 양자화, 즉, 양자화-해제하도록 구성된다. 역 양자화 프로세스는 비디오 슬라이스에서의 각각의 비디오 블록에 대해 비디오 인코더(100)에 의해 계산되는 양자화 파라미터의 사용을 포함하여, 양자화의 정도 및, 마찬가지로, 적용되어야 하는 역 양자화의 정도를 결정할 수 있다.
역 변환 처리 유닛(312)은 픽셀 도메인에서 잔여 블록들을 생산하기 위해 역 변환, 예를 들어, 역 DCT, 역 정수 변환, 또는 개념적으로 유사한 역 변환 프로세스를 변환 계수들에 적용하도록 구성된다.
재구성 유닛(314)(예를 들어, 합산기(314))은, 예를 들어, 재구성된 잔여 블록(313)의 샘플 값들 및 예측 블록(365)의 샘플 값들을 가산하는 것에 의해, 역 변환 블록(313)(즉, 재구성된 잔여 블록(313))을 예측 블록(365)에 가산하여 샘플 도메인에서 재구성된 블록(315)을 획득하도록 구성된다.
(코딩 루프에서의 또는 코딩 루프 후의) 루프 필터 유닛(320)은 재구성된 블록(315)을 필터링하여 필터링된 블록(321)을 획득하도록, 예를 들어, 픽셀 전이들을 평활화하도록, 또는 다른 방식으로 비디오 품질을 개선하도록 구성된다. 하나의 예에서, 루프 필터 유닛(320)은 차후 설명되는 필터링 기술들의 임의의 조합을 수행하도록 구성될 수 있다. 루프 필터 유닛(320)은 디블로킹 필터(de-blocking filter), SAO(sample-adaptive offset) 필터, 또는 다른 필터들, 예를 들어, 쌍방 필터 또는 ALF(adaptive loop filter) 또는 샤프닝 또는 평활 필터들 또는 협업 필터들과 같은 하나 이상의 루프 필터를 표현하도록 의도된다. 루프 필터 유닛(320)이 루프 필터에서의 것으로서 도 3에 도시되더라도, 다른 구성들에서는, 루프 필터 유닛(320)이 포스트 루프 필터로서 구현될 수 있다.
다음으로, 주어진 프레임 또는 픽처에서의 디코딩된 비디오 블록들(321)은, 후속 모션 보상에 대해 사용되는 참조 픽처들을 저장하는, 디코딩된 픽처 버퍼(330)에 저장된다.
디코더(30)는, 사용자에게로의 제시 또는 보여주기를 위해, 예를 들어, 출력(332)을 통해, 디코딩된 픽처(331)를 출력하도록 구성된다.
압축된 비트스트림을 디코딩하기 위해 비디오 디코더(30)의 다른 변형들이 사용될 수 있다. 예를 들어, 디코더(30)는 루프 필터링 유닛(320) 없이 출력 비디오 스트림을 생성할 수 있다. 예를 들어, 비-변환 기반 디코더(30)는 특정 블록들 또는 프레임들에 대해 역-변환 처리 유닛(312) 없이 직접 잔여 신호를 역-양자화할 수 있다. 다른 구현에서, 비디오 디코더(30)는 단일 유닛으로 조합되는 역-양자화 유닛(310) 및 역-변환 처리 유닛(312)을 가질 수 있다.
도 4는 본 개시내용의 실시예에 따른 비디오 코딩 디바이스(400)의 개략도이다. 이러한 비디오 코딩 디바이스(400)는 본 명세서에 설명되는 바와 같이 개시되는 실시예들을 구현하기에 적합하다. 실시예에서, 비디오 코딩 디바이스(400)는 도 1a의 비디오 디코더(30)와 같은 디코더 또는 도 1a의 비디오 인코더(20)와 같은 인코더일 수 있다. 실시예에서, 비디오 코딩 디바이스(400)는 위에 설명된 바와 같은 도 1a의 비디오 디코더(30) 또는 도 1a의 비디오 인코더(20)의 하나 이상의 성분일 수 있다.
비디오 코딩 디바이스(400)는 데이터를 수신하기 위한 입구 포트들(410) 및 수신기 유닛들(Rx)(420); 데이터를 처리하기 위한 프로세서, 로직 유닛, 또는 CPU(central processing unit)(430); 데이터를 송신하기 위한 송신기 유닛들(Tx)(440) 및 출구 포트들(450); 및 데이터를 저장하기 위한 메모리(460)를 포함한다. 비디오 코딩 디바이스(400)는 광학적 또는 전기적 신호들의 출구 또는 입구에 대해 입구 포트들(410), 수신기 유닛들(420), 송신기 유닛들(440), 및 출구 포트들(450)에 결합되는 OE(optical-to-electrical) 성분들 및 EO(electrical-to-optical) 성분들을 또한 포함할 수 있다.
프로세서(430)는 하드웨어 및 소프트웨어에 의해 구현된다. 프로세서(430)는 하나 이상의 CPU 칩, (예를 들어, 멀티-코어 프로세서로서의) 코어, FPGA, ASIC, 및 DSP로서 구현될 수 있다. 프로세서(430)는 입구 포트들(410), 수신기 유닛들(420), 송신기 유닛들(440), 출구 포트들(450), 및 메모리(460)와 통신한다. 프로세서(430)는 코딩 모듈(470)을 포함한다. 이러한 코딩 모듈(470)은 위에 설명된 개시된 실시예들을 구현한다. 예를 들어, 코딩 모듈(470)은 다양한 코딩 동작들을 구현, 처리, 준비, 또는 제공한다. 따라서, 코딩 모듈(470)의 포함은 비디오 코딩 디바이스(400)의 기능성에 상당한 개선을 제공하고, 비디오 코딩 디바이스(400)의 상이한 상태로의 변환을 효과적이게 한다. 대안적으로, 코딩 모듈(470)은 메모리(460)에 저장되는 그리고 프로세서(430)에 의해 실행되는 명령어들로서 구현된다.
메모리(460)는 하나 이상의 디스크, 테이프 드라이브, 및 솔리드-스테이트 드라이브를 포함하고, 프로그램들이 실행을 위해 선택될 때 이러한 프로그램들을 저장하기 위해, 그리고 프로그램 실행 동안 판독되는 명령어들 및 데이터를 저장하기 위해, 오버-플로우 데이터 저장 디바이스로서 사용될 수 있다. 메모리(460)는 휘발성 및/또는 비-휘발성일 수 있고, ROM(read-only memory), RAM(random access memory), TCAM(ternary content-addressable memory), 및/또는 SRAM(static random-access memory)일 수 있다.
도 5는 예시적인 실시예에 따른 도 1로부터의 소스 디바이스(310) 및 목적지 디바이스(320) 중 어느 하나 또는 양자 모두로서 사용될 수 있는 장치(500)의 간략화된 블록도이다. 이러한 장치(500)는 위에 설명된 본 출원의 기술들을 구현할 수 있다. 장치(500)는 다수의 컴퓨팅 디바이스들을 포함하는 컴퓨팅 시스템의 형태이거나, 또는, 단일 컴퓨팅 디바이스, 예를 들어, 모바일 폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터 등의 형태일 수 있다.
장치(500)에서의 프로세서(502)는 중앙 처리 유닛일 수 있다. 대안적으로, 프로세서(502)는 지금-존재하는 또는 이후 개발될, 정보를 조작 또는 처리할 수 있는, 임의의 다른 타입의 디바이스, 또는 다수의 디바이스들일 수 있다. 개시된 구현들은 도시되는 바와 같이 단일 프로세서, 예를 들어, 프로세서(502)로 실시될 수 있더라도, 속도 및 효율에서의 이점들은 하나보다 많은 프로세서를 사용하여 달성될 수 있다.
장치(500)에서의 메모리(504)는 구현에서 ROM(read only memory) 디바이스 또는 RAM(random access memory) 디바이스일 수 있다. 임의의 다른 적합한 타입의 저장 디바이스가 메모리(504)로서 사용될 수 있다. 메모리(504)는 버스(512)를 사용하여 프로세서(502)에 의해 액세스되는 코드 및 데이터(506)를 포함할 수 있다. 메모리(504)는 운영 체제(508) 및 애플리케이션 프로그램들(510)을 추가로 포함할 수 있으며, 애플리케이션 프로그램들(510)은 프로세서(502)가 본 명세서에 설명되는 방법들을 수행하는 것을 허가하는 적어도 하나의 프로그램을 포함한다. 예를 들어, 애플리케이션 프로그램들(510)은, 본 명세서에 설명되는 방법을 수행하는 비디오 코딩 애플리케이션을 추가로 포함하는, 애플리케이션들 1 내지 N을 포함할 수 있다. 장치(500)는, 예를 들어, 모바일 컴퓨팅 디바이스와 함께 사용되는 메모리 카드일 수 있는, 보조 스토리지(514) 형태로 추가적 메모리를 또한 포함할 수 있다. 비디오 통신 세션들은 상당한 양의 정보를 포함할 수 있기 때문에, 이들은 보조 스토리지(514)에 전체적으로 또는 부분적으로 저장될 수 있고, 처리를 위해 필요에 따라 메모리(504) 내로 로딩될 수 있다.
장치(500)는, 디스플레이(518)와 같은, 하나 이상의 출력 디바이스를 또한 포함할 수 있다. 디스플레이(518)는, 하나의 예에서, 터치 입력들을 감지하도록 동작가능한 터치 감지 엘리먼트와 디스플레이를 조합하는 터치 감지 디스플레이일 수 있다. 디스플레이(518)는 버스(512)를 통해 프로세서(502)에 결합될 수 있다. 사용자가 장치(500)를 프로그램하는 것 또는 다른 방식으로 사용하는 것을 허가하는 다른 출력 디바이스들이 디스플레이(518)에 추가로 또는 이에 대한 대안으로서 제공될 수 있다. 출력 디바이스가 디스플레이이거나 또는 이를 포함할 때, 이러한 디스플레이는, LCD(liquid crystal display), CRT(cathode-ray tube) 디스플레이, 플라즈마 디스플레이 또는, OLED(organic LED) 디스플레이와 같은, LED(light emitting diode) 디스플레이에 의해서를 포함하는, 다양한 방식들로 구현될 수 있다.
장치(500)는 이미지-감지 디바이스(520), 예를 들어, 카메라, 또는 장치(500)를 동작시키는 사용자의 이미지와 같은 이미지를 감지할 수 있는 지금 존재하는 또는 이후에 개발될 임의의 다른 이미지-감지 디바이스(520)를 또한 포함할 수 있거나 또는 이와 통신할 수 있다. 이미지-감지 디바이스(520)는 장치(500)를 동작시키는 사용자를 향해 지향되도록 배치될 수 있다. 예에서, 디스플레이(518)에 직접 인접하는 그리고 그로부터 디스플레이(518)가 가시적인 영역을 시야가 포함하도록 이미지-감지 디바이스(520)의 위치 및 광학 축이 구성될 수 있다.
장치(500)는 사운드-감지 디바이스(522), 예를 들어, 마이크로폰, 또는 장치(500) 근처의 사운드들을 감지할 수 있는 지금 존재하는 또는 이후 개발될 임의의 다른 사운드-감지 디바이스를 또한 포함할 수 있거나, 또는 이들과 통신할 수 있다. 사운드-감지 디바이스(522)는 장치(500)를 동작시키는 사용자를 향해 지향되도록 배치될 수 있고, 사용자가 장치(500)를 동작시키는 동안 사용자에 의해 이루어지는 사운드들, 예를 들어, 말 또는 다른 발언을 수신하도록 구성될 수 있다.
도 5가 장치(500)의 프로세서(502) 및 메모리(504)를 단일 유닛에 통합되는 것으로 묘사하더라도, 다른 구성들이 이용될 수 있다. 프로세서(502)의 동작들은 직접 결합될 수 있는 다수의 머신들(각각의 머신은 하나 이상의 프로세서를 가짐)에 걸쳐 또는 로컬 영역 또는 다른 네트워크를 걸쳐 분포될 수 있다. 메모리(504)는 장치(500)의 동작들을 수행하는 다수의 머신들에서의 메모리 또는 네트워크-기반 메모리와 같은 다수의 머신들에 걸쳐 분포될 수 있다. 본 명세서에서 단일 버스로서 묘사되더라도, 장치(500)의 버스(512)는 다수의 버스들로 구성될 수 있다. 추가로, 보조 스토리지(514)는 장치(500)의 다른 성분들에 직접 결합될 수 있거나 또는 네트워크를 통해 액세스될 수 있고, 메모리 카드와 같은 단일의 통합형 유닛 또는 다수의 메모리 카드들과 같은 다수의 유닛들을 포함할 수 있다. 장치(500)는 따라서 매우 다양한 구성들로 구현될 수 있다.
H.265/HEVC 또는 H.266/VVC와 같은 비디오 코딩은 하이브리드 예측 플러스 변환 프레임워크에 기초한다. CTU(Coding Tree Unit)는 하나 이상의 CU(coding unit)로 분할된다. CU는 하나의 루마 블록 및 2개의 크로마 블록들(예를 들어, YUV4:2:0 또는 YUV4:4:4 포맷)을 포함할 수 있거나, 또는 CU는 하나의 루마 블록만을 포함할 수 있거나, 또는 CU는 2개의 크로마 블록들만을 포함할 수 있다. CU는 PU(prediction unit) 및 TU(transform unit)에 대응할 수 있거나, 또는 예측 유닛 및 다수의 변환 유닛들에 대응할 수 있다. 예측 유닛은 예측 샘플들의 예측 블록들을 포함하고, 변환 유닛은 잔여 샘플들의 변환 블록들을 포함한다. CU의 재구성된 샘플들은 예측 샘플들을 대응하는 잔여 샘플들과 가산하는 것에 의해 획득된다.
인코더에서, CU의 예측 정보(예를 들어, 예측 모드 및 모션 벡터 정보) 및 잔여 정보(예를 들어, 변환 모드, 변환 계수 및 양자화 파라미터)는 레이트 왜곡 최적화에 의해 결정되고 다음으로 비트스트림으로 인코딩된다. 디코더에서, 예측 정보 및 잔여 정보가 파싱된다. 예측 정보에 따라, 인트라 또는 인터 예측이 수행되어 예측 유닛의 예측 샘플들을 생성한다. 잔여 정보에 따라, 역 양자화 및 역 변환이 수행되어 변환 유닛의 잔여 샘플들을 생성한다. 예측 샘플들 및 잔여 샘플들이 추가되어 코딩 유닛의 재구성된 샘플들을 획득한다.
기본 변환 모드는 하나의 TU에서 변환되고 있는 CU의 잔여이다, 즉, CU 크기는 TU 크기와 동일하다. HEVC에서의 RQT(Residual Quad-Tree)에서, CU는 동일한 크기의 4개의 TU들로 분할될 수 있고, 각각의 TU가 잔여를 갖는지 여부의 정보는 각각의 TU의 cbf(coded block flags)에 의해 시그널링된다. CU가 잔여를 갖는지의 정보는 CU의 루트 cbf(예를 들어, HEVC에서의 rqt_root_cbf 신택스 엘리먼트)에 의해 시그널링된다.
VTM에서의 AMT(Adaptive Multiple core Transform)는 변환 타입들의 세트 중 하나의 변환 타입을 사용하여 하나의 변환 블록을 인에이블한다. 이러한 변환 타입은 비트스트림에서 시그널링되고, 변환 타입은 변환 블록의 수평 변환(또는 행 변환) 및 수직 변환(또는 열 변환)을 명시한다. 수평/수직 변환에 대한 가능한 코어 변환들은 DST(Discrete Sine Transform) 및 DCT(Discrete Cosine Transform), 예를 들어, DST-7(DST 타입 7), DST-1, DCT-8, DCT-2 및 DCT5를 포함한다.
대안적인 구현 방식에서, 본 개시내용 전반적으로 DST-7은 DST-4로 대체될 수 있고, DCT-8은 DCT-4로 대체될 수 있다. 따라서, 수평/수직 변환에 대한 가능한 코어 변환들은 DST(Discrete Sine Transform) 및 DCT(Discrete Cosine Transform), 예를 들어, DST-4(DST 타입 4), DST-1, DCT-4, DCT-2 및 DCT5를 포함한다.
변환 코딩 효율을 개선하기 위해, CU에 대한 새로운 변환 모드들이 본 발명에서 도입된다. 새로운 변환 모드들 각각에 대해, CU는 N(N=2, 3, 또는 4)개의 TU들로 타일링되고, CU의 단 하나의 TU만이 잔여를 갖고 CU의 나머지 N-1개의 TU들은 잔여를 갖지 않는 것으로 추론된다. 게다가, 잔여가 있는 TU의 변환 타입(즉, 수평 및 수직 변환)은 변환 모드에 의해 명시된다. 다시 말해서, 새로운 변환 모드들 각각은 TU 파티셔닝, 잔여가 있는 단 하나의 TU, 및 잔여가 있는 TU의 변환 타입을 명시한다.
본 개시내용의 실시예는 코딩 유닛을 디코딩하는 프로세스를 설명한다. 비디오 데이터의 적어도 하나의 픽처를 포함하는 비트스트림이 디코딩된다. 픽처는 복수의 직사각형 이미지 영역들로 분열되고, 각각의 영역은 CTU(Coding Tree Unit)에 대응한다. CTU는, 비트스트림에 포함되는 블록 파티션 정보에 따라, 복수의 코딩 유닛들로 파티셔닝된다. 코딩 유닛들의 코딩 정보가 비트스트림으로부터 파싱되고, 코딩 유닛들의 픽셀들이 이러한 코딩 정보에 기초하여 재구성된다. 이러한 코딩 정보는 예측 정보 및 변환 정보를 포함한다.
예측 정보는 CU의 예측 모드(즉, 인터 예측 또는 인트라 예측)를 표시한다. 예측 모드가 인트라 예측이면, 예측 정보는, HEVC 및 VVC에서의 평면 모드, DC 모드, 및 각도 모드와 같은, 인트라 예측 모드를 추가로 포함할 수 있다. 예측 모드가 인터 예측이면, 예측 정보는, Skip 모드 또는 Merge 모드 또는 AMVP(advanced motion vector prediction) 모드를 사용하는지, 병합 후보 인덱스, 인터 예측 방향, 참조 프레임 인덱스, 모션 벡터, 아핀-모델 기반 예측을 사용하는지 등을 추가로 포함할 수 있다.
변환 정보는 CU의 변환 모드 및 CU에서 하나 이상의 TU와 연관된 변환 계수들을 표시한다. CU의 잔여가 CU의 것과 동일한 크기의 TU에서 변환되는 종래의 변환 모드 외에도, 본 실시예는 새로운 변환 모드들을 또한 이용한다. 새로운 변환 모드들 각각에 대해, CU는 N(N=2, 3, 또는 4)개의 TU들로 타일링되고, 단 하나의 TU만이 잔여를 갖고 나머지 N-1개의 TU들은 잔여를 갖지 않는 것으로 추론된다. 게다가, 잔여가 있는 TU의 변환 타입(즉, 수평 및 수직 변환)은 변환 모드에 의해 명시된다.
하나의 예에서, 새로운 변환 모드들은, 도 6에 예시되는 바와 같이, 다음의 4개의 모드들 Q0, Q1, Q2 및 Q3을 포함한다. 4개의 모드들 각각에 대해, 크기 W×H의 CU는 크기 (W/2)×(H/2)의 4개의 TU들, 즉, 상부-좌측 TU0, 상부-우측 TU1, 하부-좌측 TU2 및 하부-우측 TU3로 분할된다. TU0, TU1, TU2 및 TU3 중 단 하나만이 잔여를 갖는다.
1) 변환 모드 Q0: TU0은 잔여를 갖고, TU0의 수평 변환 및 수직 변환은 각각 DCT-8 및 DCT-8임.
2) 변환 모드 Q1: TU1은 잔여를 갖고; TU1의 수평 변환 및 수직 변환은 각각 DST-7 및 DCT-8임.
3) 변환 모드 Q2: TU2는 잔여를 갖고; TU2의 수평 변환 및 수직 변환은 각각 DCT-8 및 DST-7임.
4) 변환 모드 Q3: TU3은 잔여를 갖고; TU3의 수평 변환 및 수직 변환은 각각 DST-7 및 DST-7임.
대안적인 구현 방식에서, 본 개시내용 전반적으로 DST-7은 DST-4로 대체될 수 있고, DCT-8은 DCT-4로 대체될 수 있다. 따라서, 다른 예에서, 새로운 변환 모드들은, 도 6에 예시되는 바와 같이, 다음의 4개의 모드들 Q0, Q1, Q2 및 Q3을 포함한다. 4개의 모드들 각각에 대해, 크기 W×H의 CU는 크기 (W/2)×(H/2)의 4개의 TU들, 즉, 상부-좌측 TU0, 상부-우측 TU1, 하부-좌측 TU2 및 하부-우측 TU3로 분할된다. TU0, TU1, TU2 및 TU3 중 단 하나만이 잔여를 갖는다.
1) 변환 모드 Q0: TU0은 잔여를 갖고, TU0의 수평 변환 및 수직 변환은 각각 DCT-4 및 DCT-4임.
2) 변환 모드 Q1: TU1은 잔여를 갖고; TU1의 수평 변환 및 수직 변환은 각각 DST-4 및 DCT-4임.
3) 변환 모드 Q2: TU2는 잔여를 갖고; TU2의 수평 변환 및 수직 변환은 각각 DCT-4 및 DST-4임.
4) 변환 모드 Q3: TU3은 잔여를 갖고; TU3의 수평 변환 및 수직 변환은 각각 DST-4 및 DST-4임.
잔여를 갖는 TU에 대해, 3개의 성분들, 즉, Cb, Cr 및 Y 성분들의 cbf(coded block flags)가 비트스트림으로부터 파싱될 수 있고, 이러한 3개의 성분들의 적어도 하나의 cbf의 값은 1이다. 잔여가 없는 나머지 TU들 각각에 대해, 모든 컬러 성분들의 cbf들은 0인 것으로 추론된다, 즉, cbf들이 비트스트림으로부터 파싱되지 않는다.
다른 예에서, 새로운 변환 모드들은, 도 7에 예시되는 바와 같이, 다음의 4개의 모드들 HQ0, HQ1, VQ0 및 VQ1을 포함한다. 4개의 모드들 각각에 대해, 크기 W×H의 CU는 동일하지 않은 크기의 2개의 TU들로 분할되고, 더 작은 크기의 TU만이 잔여를 갖는다.
1) 변환 모드 HQ0: CU는 수평 분열에 의해 2개의 TU들, 크기 W×(H/4)의 TU0 및 크기 W×(3H/4)의 TU1로 분할되고; 상부 TU0은 잔여를 갖고; TU0의 수평 변환은 미리 정의된 코어 변환, 예를 들어, DST-7 또는 DCT-2이고, TU0의 수직 변환은 DCT-8임.
2) 변환 모드 HQ1: CU는 수평 분열에 의해 2개의 TU들, 크기 W×(3H/4)의 TU0 및 크기 W×(H/4)의 TU1로 분할되고; 하부 TU1은 잔여를 갖고; TU1의 수평 변환은 미리 정의된 코어 변환, 예를 들어, DST-7 또는 DCT-2이고, TU1의 수직 변환은 DST-7임.
3) 변환 모드 VQ0: CU는 수직 분열에 의해 2개의 TU들, 크기 (W/4)×H의 TU0 및 크기 (3W/4)×H의 TU1로 분할되고; 좌측 TU0은 잔여를 갖고; TU0의 수평 변환은 DCT-8이고, TU0의 수직 변환은 미리 정의된 코어 변환, 예를 들어, DST-7 또는 DCT-2임.
4) 변환 모드 VQ1: CU는 수직 분열에 의해 2개의 TU들, 크기 (3W/4)×H의 TU0 및 크기 (W/4)×H의 TU1로 분할되고; 우측 TU1은 잔여를 갖고; TU1의 수평 변환은 DST-7이고, TU1의 수직 변환은 미리 정의된 코어 변환, 예를 들어, DST-7 또는 DCT-2임.
대안적인 구현 방식에서, 본 개시내용 전반적으로 DST-7은 DST-4로 대체될 수 있고, DCT-8은 DCT-4로 대체될 수 있다. 따라서, 다른 예에서, 새로운 변환 모드들은, 도 7에 예시되는 바와 같이, 다음의 4개의 모드들 HQ0, HQ1, VQ0 및 VQ1을 포함한다. 4개의 모드들 각각에 대해, 크기 W×H의 CU는 동일하지 않은 크기의 2개의 TU들로 분할되고, 더 작은 크기의 TU만이 잔여를 갖는다.
1) 변환 모드 HQ0: CU는 수평 분열에 의해 2개의 TU들, 크기 W×(H/4)의 TU0 및 크기 W×(3H/4)의 TU1로 분할되고; 상부 TU0은 잔여를 갖고; TU0의 수평 변환은 미리 정의된 코어 변환, 예를 들어, DST-4 또는 DCT-2이고, TU0의 수직 변환은 DCT-4임. 예로서, TU0의 수평 변환은 항상 DST-4이거나 또는 항상 DCT-2이다. 다른 예로서, TU0의 폭이 임계값 MaxMtsSize(예를 들어, MaxMtsSize = 32)보다 크면 TU0의 수평 변환은 DCT-2이고, TU0의 폭이 임계값 MaxMtsSize 이하이면 TU0의 수평 변환은 DST-4이다.
2) 변환 모드 HQ1: CU는 수평 분열에 의해 2개의 TU들, 크기 W×(3H/4)의 TU0 및 크기 W×(H/4)의 TU1로 분할되고; 하부 TU1은 잔여를 갖고; TU1의 수평 변환은 미리 정의된 코어 변환, 예를 들어, DST-4 또는 DCT-2이고, TU1의 수직 변환은 DST-4임.
3) 변환 모드 VQ0: CU는 수직 분열에 의해 2개의 TU들, 크기 (W/4)×H의 TU0 및 크기 (3W/4)×H의 TU1로 분할되고; 좌측 TU0은 잔여를 갖고; TU0의 수평 변환은 DCT-4이고, TU0의 수직 변환은 미리 정의된 코어 변환, 예를 들어, DST-4 또는 DCT-2임. 예로서, TU0의 수직 변환은 항상 DST-4이거나 또는 항상 DCT-2이다. 다른 예로서, TU0의 높이가 임계값 MaxMtsSize보다 크면 TU0의 수직 변환은 DCT-2이고, TU0의 높이가 임계값 MaxMtsSize 이하이면 TU0의 수직 변환은 DST-4임.
4) 변환 모드 VQ1: CU는 수직 분열에 의해 2개의 TU들, 크기 (3W/4)×H의 TU0 및 크기 (W/4)×H의 TU1로 분할되고; 우측 TU1은 잔여를 갖고; TU1의 수평 변환은 DST-4이고, TU1의 수직 변환은 미리 정의된 코어 변환, 예를 들어, DST-4 또는 DCT-2임.
하나의 예에서, 새로운 변환 모드들은, 도 8에 예시되는 바와 같이, 다음의 4개의 모드들 HH0, HH1, VH0 및 VH1을 포함한다. 4개의 모드들 각각에 대해, 크기 W×H의 CU는 동일한 크기의 2개의 TU들로 분할되고, 단 하나의 TU만이 잔여를 갖는다.
1) 변환 모드 HH0: CU는 수평 분열에 의해 2개의 TU들, 크기 W×(H/2)의 TU0 및 크기 W×(H/2)의 TU1로 분할되고; 상부 TU0은 잔여를 갖고; TU0의 수평 변환은 미리 정의된 코어 변환, 예를 들어, DST-7 또는 DCT-2이고, TU0의 수직 변환은 DCT-8임.
2) 변환 모드 HH1: CU는 수평 분열에 의해 2개의 TU들, 크기 W×(H/2)의 TU0 및 크기 W×(H/2)의 TU1로 분할되고; 하부 TU1은 잔여를 갖고; TU1의 수평 변환은 미리 정의된 코어 변환, 예를 들어, DST-7 또는 DCT-2이고, TU1의 수직 변환은 DST-7임.
3) 변환 모드 VH0: CU는 수직 분열에 의해 2개의 TU들, 크기 (W/2)×H의 TU0 및 크기 (W/2)×H의 TU1로 분할되고; 좌측 TU0은 잔여를 갖고; TU0의 수평 변환은 DCT-8이고, TU0의 수직 변환은 미리 정의된 코어 변환, 예를 들어, DST-7 또는 DCT-2임.
4) 변환 모드 VH1: CU는 수직 분열에 의해 2개의 TU들, 크기 (W/2)×H의 TU0 및 크기 (W/2)×H의 TU1로 분할되고; 우측 TU1은 잔여를 갖고; TU1의 수평 변환은 DST-7이고, TU1의 수직 변환은 미리 정의된 코어 변환, 예를 들어, DST-7 또는 DCT-2임.
대안적인 구현 방식에서, 본 개시내용 전반적으로 DST-7은 DST-4로 대체될 수 있고, DCT-8은 DCT-4로 대체될 수 있다. 따라서, 하나의 예에서, 새로운 변환 모드들은, 도 8에 예시되는 바와 같이, 다음의 4개의 모드들 HH0, HH1, VH0 및 VH1을 포함한다. 4개의 모드들 각각에 대해, 크기 W×H의 CU는 동일한 크기의 2개의 TU들로 분할되고, 단 하나의 TU만이 잔여를 갖는다.
1) 변환 모드 HH0: CU는 수평 분열에 의해 2개의 TU들, 크기 W×(H/2)의 TU0 및 크기 W×(H/2)의 TU1로 분할되고; 상부 TU0은 잔여를 갖고; TU0의 수평 변환은 미리 정의된 코어 변환, 예를 들어, DST-4 또는 DCT-2이고, TU0의 수직 변환은 DCT-4임. 예로서, TU0의 수평 변환은 항상 DST-4이거나 또는 항상 DCT-2이다. 다른 예로서, TU0의 폭이 임계값 MaxMtsSize(예를 들어, MaxMtsSize = 32)보다 크면 TU0의 수평 변환은 DCT-2이고, TU0의 폭이 임계값 MaxMtsSize 이하이면 TU0의 수평 변환은 DST-4이다.
2) 변환 모드 HH1: CU는 수평 분열에 의해 2개의 TU들, 크기 W×(H/2)의 TU0 및 크기 W×(H/2)의 TU1로 분할되고; 하부 TU1은 잔여를 갖고; TU1의 수평 변환은 미리 정의된 코어 변환, 예를 들어, DST-4 또는 DCT-2이고, TU1의 수직 변환은 DST-4임.
3) 변환 모드 VH0: CU는 수직 분열에 의해 2개의 TU들, 크기 (W/2)×H의 TU0 및 크기 (W/2)×H의 TU1로 분할되고; 좌측 TU0은 잔여를 갖고; TU0의 수평 변환은 DCT-4이고, TU0의 수직 변환은 미리 정의된 코어 변환, 예를 들어, DST-4 또는 DCT-2임. 예로서, TU0의 수직 변환은 항상 DST-4이거나 또는 항상 DCT-2이다. 다른 예로서, TU0의 높이가 임계값 MaxMtsSize보다 크면 TU0의 수직 변환은 DCT-2이고, TU0의 높이가 임계값 MaxMtsSize 이하이면 TU0의 수직 변환은 DST-4임.
4) 변환 모드 VH1: CU는 수직 분열에 의해 2개의 TU들, 크기 (W/2)×H의 TU0 및 크기 (W/2)×H의 TU1로 분할되고; 우측 TU1은 잔여를 갖고; TU1의 수평 변환은 DST-4이고, TU1의 수직 변환은 미리 정의된 코어 변환, 예를 들어, DST-4 또는 DCT-2임.
다른 예에서, 새로운 변환 모드들은, 도 9에 예시되는 바와 같이, 다음의 2개의 모드들 HH2, 및 VH2를 포함한다. 이러한 2개의 모드들 각각에 대해, 크기 W×H의 CU는 3개의 TU들로 분할되고, CU의 1/2 크기의 TU만이 잔여를 갖는다.
1) 변환 모드 HH2: CU는 3개의 TU들, 크기 W×(H/4)의 TU0, 크기 W×(H/2)의 TU1, 크기 W×(H/4)의 TU2로 수평 방향으로 분할되고; 중앙 TU1은 잔여를 갖고; TU0의 수평 변환 및 수직 변환은 각각 DST-7 및 DCT-2(또는 DST-7 및 DST-1)임.
2) 변환 모드 VH2: CU는 3개의 TU들, 크기 (W/4)×H의 TU0, 크기 (W/2)×H의 TU1, 및 크기 (W/4)×H의 TU2로 수직 방향으로 분할되고; 중앙 TU1은 잔여를 갖고; TU1의 수평 변환 및 수직 변환은 각각 DCT-2 및 DST-7(또는 DST-1 및 DST-7)임.
대안적인 구현 방식에서, 본 개시내용 전반적으로 DST-7은 DST-4로 대체될 수 있고, DCT-8은 DCT-4로 대체될 수 있다. 따라서, 다른 예에서, 새로운 변환 모드들은, 도 9에 예시되는 바와 같이, 다음의 2개의 모드들 HH2, 및 VH2를 포함한다. 이러한 2개의 모드들 각각에 대해, 크기 W×H의 CU는 3개의 TU들로 분할되고, CU의 1/2 크기의 TU만이 잔여를 갖는다.
1) 변환 모드 HH2: CU는 3개의 TU들, 크기 W×(H/4)의 TU0, 크기 W×(H/2)의 TU1, 크기 W×(H/4)의 TU2로 수평 방향으로 분할되고; 중앙 TU1은 잔여를 갖고; TU0의 수평 변환 및 수직 변환은 각각 DST-4 및 DCT-2(또는 DST-4 및 DST-1)임.
2) 변환 모드 VH2: CU는 3개의 TU들, 크기 (W/4)×H의 TU0, 크기 (W/2)×H의 TU1, 및 크기 (W/4)×H의 TU2로 수직 방향으로 분할되고; 중앙 TU1은 잔여를 갖고; TU1의 수평 변환 및 수직 변환은 각각 DCT-2 및 DST-4(또는 DST-1 및 DST-4)임.
다른 예에서, 새로운 변환 모드들은, 도 10에 예시되는 바와 같이, 다음의 4개의 모드들 QH0, QH1, QH2 및 QH3을 포함한다. 이러한 4개의 모드들 각각에 대해, 크기 W×H의 CU는 3개의 TU들로 분할되고, 이들 중 2개는 크기 (W/2)×(H/2)의 것이고, 다른 하나는 크기 W×(H/2)의 것이다, 즉 TU0, TU1 및 TU2이다. 크기 (W/2)×(H/2)의 TU들 중 단 하나만이 잔여를 갖는다.
1) 변환 모드 QH0: 상부-좌측 TU0은 잔여를 갖고; TU0의 수평 변환 및 수직 변환은 각각 DCT-8 및 DCT-8임.
2) 변환 모드 QH1: 상부-우측 TU1은 잔여를 갖고; TU1의 수평 변환 및 수직 변환은 각각 DST-7 및 DCT-8임.
3) 변환 모드 QH2: 하부-좌측 TU1은 잔여를 갖고; TU1의 수평 변환 및 수직 변환은 각각 DCT-8 및 DST-7임.
4) 변환 모드 QH3: 하부-우측 TU2는 잔여를 갖고; TU2의 수평 변환 및 수직 변환은 각각 DST-7 및 DST-7임.
대안적인 구현 방식에서, 본 개시내용 전반적으로 DST-7은 DST-4로 대체될 수 있고, DCT-8은 DCT-4로 대체될 수 있다. 따라서, 다른 예에서, 새로운 변환 모드들은, 도 10예 예시되는 바와 같이, 다음의 4개의 모드들 QH0, QH1, QH2 및 QH3을 포함한다. 이러한 4개의 모드들 각각에 대해, 크기 W×H의 CU는 3개의 TU들로 분할되고, 이들 중 2개는 크기 (W/2)×(H/2)의 것이고, 다른 하나는 크기 W×(H/2)의 것이다, 즉 TU0, TU1 및 TU2이다. 크기 (W/2)×(H/2)의 TU들 중 단 하나만이 잔여를 갖는다.
1) 변환 모드 QH0: 상부-좌측 TU0은 잔여를 갖고; TU0의 수평 변환 및 수직 변환은 각각 DCT-4 및 DCT-4임.
2) 변환 모드 QH1: 상부-우측 TU1은 잔여를 갖고; TU1의 수평 변환 및 수직 변환은 각각 DST-4 및 DCT-4임.
3) 변환 모드 QH2: 하부-좌측 TU1은 잔여를 갖고; TU1의 수평 변환 및 수직 변환은 각각 DCT-4 및 DST-4임.
4) 변환 모드 QH3: 하부-우측 TU2는 잔여를 갖고; TU2의 수평 변환 및 수직 변환은 각각 DST-4 및 DST-4임.
하나의 예에서, 새로운 변환 모드는, 도 11예 예시되는 바와 같이, 다음의 4개의 모드들 QV0, QV1, QV2 및 QV3을 포함한다. 이러한 4개의 모드들 각각에 대해, 크기 W×H의 CU는 3개의 TU들로 분할되고, 이들 중 2개는 크기 (W/2)×(H/2)의 것이고, 다른 하나는 크기 (W/2)×H의 것이다, 즉 TU0, TU1 및 TU2이다. 크기 (W/2)×(H/2)의 TU들 중 단 하나만이 잔여를 갖는다.
1) 변환 모드 QV0: 상부-좌측 TU0은 잔여를 갖고; TU0의 수평 변환 및 수직 변환은 각각 DCT-8 및 DCT-8임.
2) 변환 모드 QV1: 상부-우측 TU1은 잔여를 갖고; TU1의 수평 변환 및 수직 변환은 각각 DST-7 및 DCT-8임.
3) 변환 모드 QV2: 하부-좌측 TU1은 잔여를 갖고; TU1의 수평 변환 및 수직 변환은 각각 DCT-8 및 DST-7임.
4) 변환 모드 QV3: 하부-우측 TU2는 잔여를 갖고; TU2의 수평 변환 및 수직 변환은 각각 DST-7 및 DST-7임.
대안적인 구현 방식에서, 본 개시내용 전반적으로 DST-7은 DST-4로 대체될 수 있고, DCT-8은 DCT-4로 대체될 수 있다. 따라서, 하나의 예에서, 새로운 변환 모드는, 도 11예 예시되는 바와 같이, 다음의 4개의 모드들 QV0, QV1, QV2 및 QV3을 포함한다. 이러한 4개의 모드들 각각에 대해, 크기 W×H의 CU는 3개의 TU들로 분할되고, 이들 중 2개는 크기 (W/2)×(H/2)의 것이고, 다른 하나는 크기 (W/2)×H의 것이다, 즉 TU0, TU1 및 TU2이다. 크기 (W/2)×(H/2)의 TU들 중 단 하나만이 잔여를 갖는다.
1) 변환 모드 QV0: 상부-좌측 TU0은 잔여를 갖고; TU0의 수평 변환 및 수직 변환은 각각 DCT-4 및 DCT-4임.
2) 변환 모드 QV1: 상부-우측 TU1은 잔여를 갖고; TU1의 수평 변환 및 수직 변환은 각각 DST-4 및 DCT-4임.
3) 변환 모드 QV2: 하부-좌측 TU1은 잔여를 갖고; TU1의 수평 변환 및 수직 변환은 각각 DCT-4 및 DST-4임.
4) 변환 모드 QV3: 하부-우측 TU2는 잔여를 갖고; TU2의 수평 변환 및 수직 변환은 각각 DST-4 및 DST-4임.
하나의 예에서, CU들에 대해 허용되는 새로운 변환 모드들은 위에 언급된 모드들 중에서 6개의 모드들: HH0, HH1, HH2, VH0, VH1 및 VH2를 포함한다. 슬라이스-레벨 플래그는 6개의 변환 모드들이 특정 슬라이스에 대해 허용되는지를 시그널링하기 위해 사용될 수 있다. CU들에 대해 허용되는 새로운 변환 모드들은 CU를 디코딩할 때, CU의 잔여 TU에 대한 타겟 변환 모드가 CU들에 대해 허용되는 새로운 변환 모드들 중에서 획득될 수 있다는 점을 의미한다. CU들에 대해 허용되는 새로운 변환 모드들은 위에 언급된 22개의 변환 모드들의 서브세트일 수 있고, 따라서, 디코딩 효율을 개선하기 위해, 타겟 변환 모드에 대한 후보 변환 모드들을 감소시킬 수 있고, 인코딩된 비디오 데이터를 송신하기 위해 필요한 대역폭을 절약하기 위해, 타겟 변환 모드를 표시하기 위한 인덱스/인덱스들을 송신하기 위해 필요한 비트들을 감소시킬 수 있다. CU들에 대해 허용되는 새로운 변환 모드들이 미리 정의/미리 설정되거나 또는 실시간으로 결정될 수 있고, CU들에 대해 허용되는 새로운 변환 모드들이 미리 정의/미리 설정/결정될 때, 디코더는 어느 새로운 변환 모드들이 CU의 잔여 TU에 대한 후보 변환 모드들인지를 알 것이라는 점이 주목되어야 한다.
하나의 예에서, CU들에 대해 허용되는 새로운 변환 모드들은 위에 언급된 모드들 중에서 8개의 모드들: Q0, Q1, Q2, Q3, HQ0, HQ1, VQ0 및 VQ1을 포함한다.
하나의 예에서, CU들에 대해 허용되는 새로운 변환 모드들은 위에 언급된 모드들 중에서 8개 모드들: QH0, QH1, QH2, QH3, HQ0, HQ1, VQ0 및 VQ1을 포함한다.
하나의 예에서, CU들에 대해 허용되는 새로운 변환 모드들은 위에 언급된 모드들 중에서 8개 모드들: QV0, QV1, QV2, QV3, HQ0, HQ1, VQ0 및 VQ1을 포함한다.
하나의 예에서, CU들에 대해 허용되는 새로운 변환 모드들은 위에 언급된 변환 모드들 중에서 8개 모드들: HH0, HH1, VH0, VH1, HQ0, HQ1, VQ0, 및 VQ1을 포함한다.
하나의 예에서, CU들에 대해 허용되는 새로운 변환 모드들은 위에 언급된 모드들 중에서 12개의 모드들: Q0, Q1, Q2, Q3, HQ0, HQ1, VQ0, VQ1, HH0, HH1, VH0 및 VH1을 포함한다.
하나의 예에서, CU들에 허용되는 새로운 변환 모드들은 위에 언급된 모드들 중에서 14개의 모드들: Q0, Q1, Q2, Q3, HQ0, HQ1, VQ0, VQ1, HH0, HH1, HH2, VH0, VH1 및 VH2를 포함한다.
하나의 예에서, CU들에 허용되는 새로운 변환 모드들은 위에 언급된 모드들 중에서 14개의 모드들: QH0, QH1, QH2, QH3, HQ0, HQ1, VQ0, VQ1, HH0, HH1, HH2, VH0, VH1 및 VH2를 포함한다.
하나의 예에서, 슬라이스에서 복수의 CU들에 대해 허용되는 새로운 변환 모드들은 SPS(sequence parameter set) 또는 슬라이스의 슬라이스 헤더에서 시그널링된다. 모드들 HH0, HH1, HH2, VH0, VH1 및 VH2는 제1 그룹으로서 그룹화된다. 모드들 Q0, Q1, Q2, Q3, HQ0, HQ1, VQ0 및 VQ1은 제2 그룹으로서 그룹화된다. 각각의 그룹의 인에이블은 하나의 플래그에 의한 시그널링이다, 즉, 제1 그룹의 모드들이 허용되는지를 표시하기 위해 제1 플래그가 시그널링되고, 제2 그룹의 모드들이 허용되는지를 표시하기 위해 제2 플래그가 시그널링된다.
하나의 예에서, 슬라이스에서 복수의 CU들에 대해 허용되는 새로운 변환 모드들은 시퀀스 파라미터 세트 또는 슬라이스의 슬라이스 헤더에서 시그널링된다. 모드들 HH0, HH1, VH0 및 VH1은 제1 그룹으로서 그룹화된다. 모드들 Q0, Q1, Q2 및 Q3은 제2 그룹으로서 그룹화된다. 모드들 HQ0, HQ1, VQ0, 및 VQ1은 제3 그룹으로서 그룹화된다. 3개의 그룹 중 어느 것이 허용되는지를 표시하기 위해 하나의 인덱스가 시그널링된다. 인덱스 값 0은 모든 3개의 그룹들이 허용되지 않는다는 것을 표시하고, 인덱스 값 1은 제1 그룹만이 허용된다는 것을 표시하고, 인덱스 값 2는 제2 그룹이 허용된다는 것을 표시하고, 인덱스 값 3은 제3 그룹이 허용된다는 것을 표시하고, 인덱스 값 4는 제2 및 제3 그룹들이 허용된다는 것을 표시하고, 인덱스 값 5는 모든 3개의 그룹들이 허용된다는 것을 표시한다.
새로운 변환 모드들은 모든 CU들에 적용되거나 또는 CU의 예측 정보에 따라 CU들에 적용될 수 있다. 하나의 예에서, 새로운 변환 모드들은 인트라-예측 CU들에만 적용된다. 다른 예에서, 새로운 변환 모드들은 인터-예측 CU들에만 적용된다. 다른 예에서, 새로운 변환 모드들은 구체적 인터 예측 방법(예를 들어, 번역 모델 기반 모션 보상)을 사용하는 CU들에 허용되지만 다른 인터 예측 방법(예를 들어, 아핀 모델 기반 모션 보상)을 사용하는 CU들에 허용되지 않을 수 있다. 다른 예에서, 새로운 변환 모드들은 Merge 모드에 의해 또는 1/4-화소 모션 벡터 차이 정밀도가 있는 AMVP(advanced motion vector prediction) 모드에 의해 예측되는 CU들에 대해 허용되지만, 아핀 병합 모드, 아핀 인터 모드 또는 1-화소 또는 4-화소 모션 벡터 차이 정밀도가 있는 AMVP 모드를 사용하는 CU들에 대해 허용되지 않을 수 있다. 다른 예에서, 새로운 변환 모드들은 병합 인덱스가 2보다 작은 Merge 모드를 사용하는 CU들에 대해 허용되지만, 병합 인덱스가 2보다 작지 않은 Merge 모드를 사용하는 CU들에 대해 허용되지 않을 수 있다. Merge 모드 및 AMVP 모드는 H.265/HEVC 표준에서 참조될 수 있다. 아핀 병합 모드 및 아핀 인터 모드는 JVET(Joint Video Exploration Team)로부터의 JEM(Joint Exploration Model) 코덱에서 참조될 수 있다.
새로운 변환 모드들은 CU의 크기에 따라 허용될 수 있다. 하나의 예에서, 변환 모드 중 하나에 의해 타일링되고 있는 CU가 하나의 측이 임계값보다 작은 TU를 초래하면(예를 들어, 4개의, 또는 8개의, 또는 16개의 루마 픽셀들 등), 변환 모드는 CU에 대해 허용되지 않는다. 하나의 예에서, 변환 모드 중 하나에 의해 타일링되고 있는 CU가 하나의 측이 임계값보다 큰 TU를 초래하면(예를 들어, 32개의, 또는 64개의, 또는 128개의 루마 픽셀들 등), 변환 모드는 CU에 대해 허용되지 않는다. 하나의 예에서, 하나의 측(즉, 폭 또는 높이)이 임계값보다 큰 CU는(예를 들어, 32개의 또는 64개의 루마 픽셀들) 새로운 변환 모드들을 사용하는 것이 허용되지 않는다.
도 12는 본 개시내용의 실시예의 디코딩 방법을 예시하고, 다음을 포함한다:
1201. 수신된 비트스트림을 파싱하여 CU의 예측 정보를 획득하는 단계;
이러한 것은, H.265/HEVC 또는 H.266/VVC에서 코딩 유닛 및 예측 유닛 신택스 구조를 파싱하는 것과 같이, 비디오 디코딩에서 보통 사용되는 프로세스이다.
1202. CU가 단 하나의 잔여 TU(transform unit)를 갖고 잔여 TU의 크기가 CU의 크기 미만일 때 잔여 TU의 타겟 변환 모드를 획득하는 단계; 타겟 변환 모드는 CU의 TU 파티셔닝 모드, 잔여 TU의 위치(예를 들어, CU의 모든 TU들 중 잔여 TU의 인덱스에 의해 설명되거나, 또는 잔여 TU의 상부-좌측 코너의 좌표들 및 잔여 TU의 폭 및 높이에 의해 설명됨), 및 잔여 TU의 변환 타입을 명시함;
타겟 변환 모드는 위에 언급된 모드들: Q0, Q1, Q2, Q3, HQ0, HQ1, VQ0, VQ1, HH0, HH1, VH0, VH1, HH2, VH2, QH0, QH1, QH2, QH3, QV0, QV1, QV2 및 QV3 중 어느 하나이다.
일부 구현 방식들에서는, 디코딩 효율을 개선하기 위해, CU에서의 변환 유닛 정보의 존재가 먼저 체크된다. 변환 유닛 정보의 존재는 루트 cbf 신택스 엘리먼트에 의해 표시될 수 있다. 0과 동일한 루트 cbf는 CU의 변환 유닛 정보가 비트스트림에 존재하지 않는다는 것(즉, CU가 잔여를 갖지 않는다는 것)을 표시하고, 한편 1과 동일한 루트 cbf는 CU의 변환 유닛 정보가 비트스트림에 존재한다는 것을 표시한다. 인터-예측 CU에 대해, 1과 동일한 루트 cbf는 CU가 잔여를 갖는다는 점을 암시한다. 단계 1102는 CU가 변환 유닛 정보를 가질 때 수행된다. CU가 변환 유닛 정보를 갖지 않을 때, CU의 잔여는 0으로서 설정되고, 단계 1105를 직접 수행한다.
1203. 수신된 비트스트림을 파싱하여 잔여 TU의 변환 계수들을 획득하는 단계;
이러한 것은 비디오 디코딩에서 보통 사용되는 프로세스이다.
1204. 잔여 TU의 변환 계수들에 역 양자화를 적용하여 양자화해제된 계수들을 획득하는 단계.
이러한 것은 비디오 디코딩에서 보통 사용되는 프로세스이다.
1205. 타겟 변환 모드에 기초하여, 양자화해제된 계수들에 역 변환을 적용하여 잔여 TU의 잔여 블록을 획득하는 단계.
이러한 것은 비디오 디코딩에서 보통 사용되는 프로세스이다. 잔여 TU 외에, CU의 다른 TU들의 잔여들이 0으로서 설정된다.
1206. 예측 정보에 기초하여 CU의 예측 블록을 획득하는 단계;
이러한 것은, HEVC 및 VVC에서의 인트라 예측 및 인터 예측과 같이, 비디오 디코딩에서 보통 사용되는 프로세스이다.
1207. 잔여 블록 및 예측 블록에 기초하여 비디오 블록을 획득하는 단계;
이러한 것은 비디오 디코딩에서 보통 사용되는 프로세스이다. 하나의 구현 방식에서, 비디오 블록은 CU의 잔여를 CU의 예측과 가산하는 것에 의해 획득된다.
1208. 비디오 시퀀스를 출력하는 단계- 비디오 시퀀스는 비디오 블록을 포함하는 비디오 프레임을 포함함 -.
이러한 것은 비디오 디코딩에서 보통 사용되는 프로세스이다.
하나의 구현 방식에서, 잔여 TU의 타겟 변환 모드를 획득하는 단계는, 비트스트림을 파싱하여 잔여 TU의 타겟 변환 모드를 표시하기 위한 모드 인덱스를 획득하는 단계; 및 모드 인덱스에 기초하여 잔여 TU의 타겟 변환 모드를 획득하는 단계를 포함한다. 예를 들어, 위에 언급된 22개의 타겟 변환 모드들 중에서 8개의 모드들이 슬라이스에서 사용되는 것이 허용되면, 모드 인덱스는 M개의 빈들(예를 들어, M=3, 4 또는 5)이 있는 모드 인덱스에 의해 표시될 수 있다, 즉, 모드 인덱스는 CABAC(Context-based Adaptive Binary Arithmetic Coding) 프로세스에서 M 개의 빈들로 바이너리화될 수 있거나(M은 상이한 바이너리화 스킴들에 대해 상이할 수 있음), 또는 모드 인덱스는 M개의 플래그들에 의해 표현될 수 있다.
모드 인덱스의 비트 예산을 감소시키기 위해, 다른 구현 방식에서는, 비트스트림을 파싱하여 잔여 TU의 타겟 변환 모드를 표시하기 위한 모드 인덱스를 획득하는 단계 전에, 이러한 방법은, CU의 크기에 기초하여 잔여 TU의 후보 타겟 변환 모드들을 결정하는 단계를 추가로 포함하고; 비트스트림을 파싱하여 잔여 TU의 타겟 변환 모드를 표시하기 위한 모드 인덱스를 획득하는 단계는, 잔여 TU의 후보 타겟 변환 모드들에 기초하여, 비트스트림을 파싱하여 잔여 TU의 타겟 변환 모드를 표시하기 위한 모드 인덱스를 획득하는 단계를 포함한다. 따라서, CU의 크기에 의존하여, 후보 타겟 변환 모드들의 수량은 8보다 작을 수 있고, 따라서 모드 플래그의 1개 이상의 빈이 절약될 수 있다.
후보 타겟 변환 모드들은 CU 크기에 기초할 수 있다. 예를 들어, CU의 폭이 [Th1×2, Th3]의 범위에 있고 CU의 높이가 [Th1×2, Th3]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2 및 변환 모드 Q3을 포함할 수 있다.
예를 들어, CU의 폭이 [Th1×4, Th3]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 VQ0, 변환 모드 VQ1, 및 변환 모드 VH2를 포함할 수 있고;
예를 들어, CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 VH0 및 변환 모드 VH1을 포함할 수 있고;
예를 들어, CU의 높이가 [Th1×4, Th3]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 HQ0, 변환 모드 HQ1 및 변환 모드 HH2를 포함할 수 있고;
예를 들어, CU의 높이가 [Th1×2, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 HH0 및 변환 모드 HH1을 포함할 수 있고;
예를 들어, CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1×2, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 모드 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2 및 변환 모드 Q3을 포함할 수 있고;
예를 들어, CU의 폭이 [Th1×4, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 VQ0, 변환 모드 VQ1, 및 변환 모드 VH2를 포함할 수 있고;
예를 들어, CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 VH0 및 변환 모드 VH1을 포함할 수 있고;
예를 들어, CU의 높이가 [Th1×4, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 HQ0, 변환 모드 HQ1 및 변환 모드 HH2를 포함할 수 있거나; 또는
예를 들어, CU의 높이가 [Th1×2, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 후보 타겟 변환 모드들은 변환 모드 HH0 및 변환 모드 HH1을 포함할 수 있다.
Th1, Th2 및 Th3은 미리 정의된 정수 값들이고, 예를 들어, Th1은 4, 8 또는 16이고; Th2는 32, 64 또는 128이고; Th3은 64, 128 또는 256이다.
다른 구현 방식에서, 타겟 변환 모드를 표시하기 위한 비트 예산을 감소시키기 위해, 위에 언급된 22개의 모드들은 모드 그룹들로 그룹화된다. 예를 들어, 모드들 그룹은 다음:
모드 그룹은 변환 모드 HH0, 변환 모드 HH1, 변환 모드 HH2, 변환 모드 VH0, 변환 모드 VH1 및 변환 모드 VH2를 포함함;
모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2, 변환 모드 Q3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0 및 변환 모드 VQ1을 포함함;
모드 그룹은 변환 모드 HH0, HH1, HH2, VH0, VH1 및 VH2를 포함함;
모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2, 변환 모드 Q3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0 및 변환 모드 VQ1을 포함함;
모드 그룹은 변환 모드 QH0, 변환 모드 QH1, 변환 모드 QH2, 변환 모드 QH3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0, 및 변환 모드 VQ1을 포함함;
모드 그룹은 변환 모드 QV0, 변환 모드 QV1, 변환 모드 QV2, 변환 모드 QV3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0, 및 변환 모드 VQ1을 포함함;
모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2, 변환 모드 Q3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0, 변환 모드 VQ1, 변환 모드 HH0, 변환 모드 HH1, 변환 모드 VH0 및 변환 모드 VH1을 포함함;
모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2, 변환 모드 Q3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0, 변환 모드 VQ1, 변환 모드 HH0, 변환 모드 HH1, 변환 모드 HH2, 변환 모드 VH0, 변환 모드 VH1 및 변환 모드 VH2를 포함함;
모드 그룹은 변환 모드 QH0, 변환 모드 QH1, 변환 모드 QH2, 변환 모드 QH3, 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0, 변환 모드 VQ1, 변환 모드 HH0, 변환 모드 HH1, 변환 모드 HH2, 변환 모드 VH0, 변환 모드 VH1 및 변환 모드 VH2를 포함함;
모드 그룹은 변환 모드 HH0, 변환 모드 HH1, 변환 모드 VH0 및 변환 모드 VH1을 포함함;
모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2 및 변환 모드 Q3을 포함함; 또는
모드 그룹은 변환 모드 HQ0, 변환 모드 HQ1, 변환 모드 VQ0, 및 변환 모드 VQ1을 포함함과 같이 적어도 하나의 그룹을 포함할 수 있고;
잔여 TU의 타겟 변환 모드를 획득하는 단계는, 비트스트림을 파싱하여 타겟 변환 모드의 어느 모드 그룹이 속하는지를 표시하기 위한 그룹 인덱스를 획득하는 단계; 비트스트림을 파싱하여 모드 그룹에서 타겟 변환 모드를 표시하기 위한 모드 인덱스를 획득하는 단계; 및 그룹 인덱스 및 모드 인덱스에 기초하여 타겟 변환 모드를 획득하는 단계를 포함할 수 있다.
하나의 구현 방식에서, 비트스트림을 파싱하여 타겟 변환 모드의 어느 모드 그룹이 속하는지를 표시하기 위한 그룹 인덱스를 획득하는 단계 전에, 이러한 방법은, CU의 크기에 기초하여 잔여 TU의 적어도 하나의 후보 모드 그룹을 결정하는 단계; 그에 대응하여, 잔여 TU의 적어도 하나의 후보 모드 그룹에 기초하여, 비트스트림을 파싱하여 타겟 변환 모드의 어느 모드 그룹이 속하는지를 표시하기 위한 그룹 인덱스를 획득하는 단계를 추가로 포함한다.
예를 들어, CU의 폭이 [Th1×2, Th3]의 범위에 있고 CU의 높이가 [Th1×2, Th3]의 범위에 있을 때, 모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2 및 변환 모드 Q3을 포함한다는 것을 후보 모드 그룹들이 포함하거나;
예를 들어, CU의 폭이 [Th1×4, Th3]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 VQ0, 변환 모드 VQ1 및 변환 모드 VH2를 포함한다는 것을 후보 모드 그룹들이 포함하거나;
예를 들어, CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 VH0 및 변환 모드 VH1을 포함한다는 것을 후보 모드 그룹들이 포함하거나;
예를 들어, CU의 높이가 [Th1×4, Th3]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 HQ0, 변환 모드 HQ1 및 변환 모드 HH2를 포함한다는 것을 후보 모드 그룹들이 포함하거나;
예를 들어, CU의 높이가 [Th1×2, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 HH0 및 변환 모드 HH1을 포함한다는 것을 후보 모드 그룹들이 포함하거나;
예를 들어, CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1×2, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 Q0, 변환 모드 Q1, 변환 모드 Q2 및 변환 모드 Q3을 포함한다는 것을 후보 모드 그룹들이 포함하거나;
예를 들어, CU의 폭이 [Th1×4, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 VQ0, 변환 모드 VQ1 및 변환 모드 VH2를 포함한다는 것을 후보 모드 그룹들이 포함하거나;
예를 들어, CU의 폭이 [Th1×2, Th2]의 범위에 있고 CU의 높이가 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 VH0 및 변환 모드 VH1을 포함한다는 것을 후보 모드 그룹들이 포함하거나;
예를 들어, CU의 높이가 [Th1×4, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 HQ0, 변환 모드 HQ1 및 변환 모드 HH2를 포함한다는 것을 후보 모드 그룹들이 포함하거나; 또는
예를 들어, CU의 높이가 [Th1×2, Th2]의 범위에 있고 CU의 폭이 [Th1, Th2]의 범위에 있을 때, 모드 그룹은 변환 모드 HH0 및 변환 모드 HH1을 포함한다는 것을 후보 모드 그룹들이 포함한다.
임계값 Th1, Th2 및 Th3은 미리 정의된 정수 값들이다. 예를 들어, Th1은 4, 8 또는 16이고; Th2는 32, 64 또는 128이고; Th3은 64, 128 또는 256이다.
다른 구현 방식에서, 잔여 TU의 타겟 변환 모드를 획득하는 단계 전에, 이러한 방법은, CU의 예측 정보에 기초하여, 잔여 TU의 타겟 변환 모드를 획득할지를 결정하는 단계를 추가로 포함한다.
예를 들어, CU의 예측 모드가 인트라 예측 모드일 때, 잔여 TU의 타겟 변환 모드를 획득하기로 결정한다.
예를 들어, CU의 예측 모드가 인터 예측 모드일 때, 잔여 TU의 타겟 변환 모드를 획득하기로 결정한다.
예를 들어, CU의 예측 방법이 미리 설정된 포지티브 예측 방법일 때, 잔여 TU의 타겟 변환 모드를 획득하기로 결정한다. 미리 설정된 포지티브 예측 방법은 다음: 번역 모델 기반 모션 보상 방법; Merge 예측 방법; 1/4-화소 모션 벡터 차이 정밀도가 있는 진보된 모션 벡터 예측 방법; 또는 병합 인덱스가 2보다 작은 Merge 예측 방법 중 적어도 하나를 포함한다.
예를 들어, CU의 예측 방법이 미리 설정된 네거티브 예측 방법일 때, 잔여 TU의 타겟 변환 모드를 획득하지 않기로 결정한다. 미리 설정된 네거티브 예측 방법은 다음: 아핀 모델 기반 모션 보상 방법; 아핀 병합 예측 방법; 아핀 인터 예측 모드; 1-화소 또는 4-화소 모션 벡터 차이 정밀도가 있는 진보된 모션 벡터 예측 방법; 또는 병합 인덱스가 2보다 작지 않은 Merge 예측 방법 중 적어도 하나를 포함한다.
다른 구현 방식에서, 잔여 TU의 타겟 변환 모드를 획득하는 단계 전에, 이러한 방법은, CU의 크기에 기초하여, 잔여 TU의 타겟 변환 모드를 획득할지를 결정하는 단계를 추가로 포함한다.
예를 들어, CU의 폭 또는 높이가 미리 설정된 CU 임계값보다 클 때, 잔여 TU의 타겟 변환 모드를 획득하지 않기로 결정한다. 미리 설정된 CU 임계값은 32개의 루마 픽셀들, 64개의 루마 픽셀들 또는 128개의 루마 픽셀들일 수 있다.
예를 들어, CU의 TU의 폭 또는 높이가 미리 설정된 최소 TU 임계값 미만일 때, 잔여 TU의 타겟 변환 모드를 획득하지 않기로 결정한다. 미리 설정된 최소 TU 임계값은 4개의 루마 픽셀들, 8개의 루마 픽셀들 또는 16개의 루마 픽셀들일 수 있다.
예를 들어, CU의 TU의 폭 또는 높이가 미리 설정된 최대 TU 임계값보다 클 때, 잔여 TU의 타겟 변환 모드를 획득하지 않기로 결정한다. 미리 설정된 최대 TU 임계값은 32개의 루마 픽셀들, 64개의 루마 픽셀들 또는 128개의 루마 픽셀들이다.
심지어 CU의 예측 정보 및/또는 CU의 크기에 따라, 잔여 TU의 타겟 변환 모드를 획득하기로 결정하더라도, 이것은 타겟 변환 모드가 획득될 수 있다는 것만을 의미하지만, 타겟 변환 모드가 실제로 획득될 것이라는 점을 의미하지는 않는다는 점이 주목되어야 한다. 인코더 측에서, 변환이 어느 변환 모드를 행하기로 선택하는 지는 많은 인자들에 의존하기 때문이다. 즉, 위에 언급된 새로운 변환 모드들(위에 언급된 22개의 변환 모드들)이 후보로서 추가되고, 이미 존재하는 변환 모드들(오래된 변환 모드), 예를 들어, CU가 CU 크기의 하나의 TU에 의해 변환되는 것이, 여전히 사용될 수 있다.
따라서, CU가 변환 유닛 정보를 갖는 것에 기초하여, CU의 예측 정보 및/또는 CU의 크기에 따라, 잔여 TU의 타겟 변환 모드를 획득하기로 결정할 때; 비트스트림을 파싱하는 것은 오래된 변환 모드들을 표시하는 모드 플래그를 획득할 수 있다. 따라서, 잔여 TU의 타겟 변환 모드를 획득하지 않기로 결정할 때, 이것은 오래된 변환 모드들이 CU에 대해 사용된다는 점을 의미한다. CU가 CU 크기의 하나의 TU에 의해 변환되면, 잔여 TU는 CU 크기의 것이고, 디폴트로 잔여 TU의 변환 타입은 수평 변환에 대한 DCT-2 및 수직 변환에 대한 DCT-2일 수 있거나 또는 비트스트림으로 시그널링될 수 있다(예를 들어, TU에 대해 다수의 변환 타입들이 허용되고 TU에 의해 사용되는 변환 타입이 시그널링되는, VTM 소프트웨어에서의 AMT 방법).
예를 들어, Q0, Q1, Q2, Q3, VQ0, VQ1, HQ0, HQ1, VH0, VH1, VH2, HH0, HH1 및 HH2의 변환 모드들이 CU의 후보 타겟 변환 모드들이면, 디코더는 먼저 비트스트림을 파싱하여 CU가 후보 타겟 변환 모드들 중 하나를 사용하는지 또는 CU가 CU 크기의 하나의 TU에 의해 변환되는지를 결정할 수 있다. 예를 들어, 플래그는 CU가 후보 타겟 변환 모드들 중 하나를 사용하는지 또는 CU가 CU 크기의 하나의 TU에 의해 변환되는지를 표시하기 위해 사용될 수 있다.
CU가 후보 타겟 변환 모드들 중 하나를 사용하면, 비트스트림을 파싱하여 CU의 변환 모드를 획득한다. 하나의 방법에서, Q0, Q1, Q2 및 Q3은 그룹 A로 그룹화되고, VQ0 및 VQ1은 그룹 B로 그룹화되고, HQ0 및 HQ1은 그룹 C로 그룹화되고, VH0, VH1 및 VH2는 그룹 D로 그룹화되고, HH0, HH1 및 HH2는 그룹 E 그룹으로 그룹화된다. 그룹 인덱스를 파싱하는 것에 의해, CU의 변환 모드가 속하는 그룹이 먼저 결정되고, 다음으로 다른 인덱스를 파싱하는 것에 의해 그룹 내부에서 타겟 변환 모드를 결정한다.
그룹 인덱스를 파싱하는 것은 어느 모드 그룹들이 후보 모드 그룹들로서 결정되는지/미리 설정되는지에 기초할 수 있다. 예를 들어, 그룹 A 및 임의의 다른 그룹이 후보 모드 그룹들일 때, 타겟 변환 모드가 그룹 A에 속하는지 여부를 결정하기 위해 제1 플래그가 파싱되고; 그렇지 않고, 제1 플래그가 비트스트림에 존재하지 않으면, 변환 모드는 그룹 A가 후보 모드 그룹이면 그룹 A에 속하는 것으로 추론되거나, 또는 그룹 A가 후보 모드 그룹이 아니면 그룹들 B, C, D 및 E에 속하는 것으로 추론된다. 타겟 변환 모드가 그룹 B, C, D 및 E에 속하면, 그룹 B/D 및 C/E 양자 모두가 후보이면 타겟 변환 모드가 B/D(즉, 그룹 B 또는 D) 또는 C/E에 속하는지를 결정하기 위해 제2 플래그가 파싱되고, 제2 플래그는 B/D만이 후보이면 또는 C/E만이 후보이면 추론될 수 있다. 변환 모드가 B/D에 속하면, 타겟 변환 모드가 B에 속하는지를 결정하기 위해 제3 플래그가 파싱될 수 있다. 유사하게, 타겟 변환 모드가 C/E에 속하면, 변환 모드가 C에 속하는지를 결정하기 위해 제3 플래그가 파싱될 수 있다.
그룹 인덱스를 파싱하는 것과 유사하게, 그룹 내부에서 타겟 변환 모드의 인덱스를 파싱하는 것은 어느 변환 모드들이 그룹 내에 있는지에 기초할 수 있다.
예를 들어, 변환 모드들 Q0, Q1, Q2, Q3, VQ0, VQ1, HQ0 및 HQ1이 CU의 후보 타겟 변환 모드들이면, 디코더는 먼저 비트스트림을 파싱하여 CU가 후보 변환 모드들 중 하나를 사용하는지 또는 CU가 CU 크기의 하나의 TU에 의해 변환되는지를 결정할 수 있다. 예를 들어, 플래그는 CU가 후보 타겟 변환 모드들 중 하나를 사용하는지 또는 CU가 CU 크기의 하나의 TU에 의해 변환되는지를 표시하기 위해 사용될 수 있다.
CU가 후보 타겟 변환 모드들 중 하나를 사용하면, 비트스트림을 파싱하여 CU의 변환 모드를 획득한다. 하나의 방법에서, 변환 모드들 Q0, Q1, Q2 및 Q3은 그룹 A로 그룹화되고, VQ0 및 VQ1은 그룹 B로 그룹화되고, HQ0 및 HQ1은 그룹 C로 그룹화된다. 그룹 인덱스를 파싱하는 것에 의해, 타겟 변환 모드가 속하는 그룹이 먼저 결정되고, 다음으로 모드 인덱스를 파싱하는 것에 의해 그룹 내부에서 타겟 변환 모드를 결정한다.
본 개시내용은 비디오 디코더를 추가로 개시하고, 이러한 디코더의 구조는 도 3에 예시되고, 이러한 비디오 디코더는,
엔트로피 디코딩 유닛(304)을 포함하고, 이는, 수신된 비트스트림을 파싱하여 CU(coding unit)의 예측 정보를 획득하도록; 잔여 TU가 CU의 유일한 잔여 TU이고 잔여 TU의 크기가 CU의 크기 미만일 때 잔여 TU(transform unit)의 타겟 변환 모드를 획득하도록- 타겟 변환 모드는 CU의 TU 파티셔닝 모드, 잔여 TU의 위치, 및 잔여 TU의 변환 타입을 명시함 -; 수신된 비트스트림을 파싱하여 잔여 TU의 변환 계수들을 획득하도록 구성된다. 타겟 변환 모드는 위에 언급된 것과 동일하다.
역 양자화 처리 유닛(310)은 잔여 TU의 변환 계수들에 역 양자화를 적용하여 양자화해제된 계수들을 획득하도록 구성되고;
역 변환 처리 유닛(312)은 타겟 변환 모드에 기초하여 양자화해제된 계수들에 역 변환을 적용하여 잔여 TU의 잔여 블록을 획득하도록 구성되고;
예측 처리 유닛(360)은 예측 정보에 기초하여 CU의 예측 블록을 획득하도록 구성되고;
재구성 유닛(314)은 잔여 블록 및 예측 블록에 기초하여 비디오 블록을 획득하도록 구성되고; 및
출력(332)은 비디오 시퀀스를 출력하도록 구성되고, 이러한 비디오 시퀀스는 비디오 블록을 포함하는 비디오 프레임을 포함한다.
하나의 구현 방식에서, 엔트로피 디코딩 유닛(304)은 비트스트림을 파싱하여 잔여 TU의 타겟 변환 모드를 표시하기 위한 모드 인덱스를 획득하도록; 그리고 모드 인덱스에 기초하여 잔여 TU의 타겟 변환 모드를 획득하도록 추가로 구성된다.
하나의 구현 방식에서, 엔트로피 디코딩 유닛(304)은 CU의 크기에 기초하여 잔여 TU의 후보 타겟 변환 모드들을 결정하도록; 그리고,
잔여 TU의 후보 타겟 변환 모드들에 기초하여, 비트스트림을 파싱하여 잔여 TU의 타겟 변환 모드를 표시하기 위한 모드 인덱스를 획득하도록 추가로 구성된다.
하나의 구현 방식에서, 엔트로피 디코딩 유닛(304)은 위에 언급된 바와 같은 방법에 따라 잔여 TU의 후보 타겟 변환 모드들을 결정하도록 추가로 구성된다.
하나의 구현 방식에서, 엔트로피 디코딩 유닛(304)은 비트스트림을 파싱하여 타겟 변환 모드의 어느 모드 그룹이 속하는지를 표시하기 위한 그룹 인덱스를 획득하도록; 그리고 비트스트림을 파싱하여 모드 그룹에서 타겟 변환 모드를 표시하기 위한 모드 인덱스를 획득하도록; 그리고
그룹 인덱스 및 모드 인덱스에 기초하여 타겟 변환 모드를 획득하도록 추가로 구성된다.
타겟 변환 모드는 위에 언급된 바와 같은 임의의 모드 그룹에 속한다.
하나의 구현 방식에서, 엔트로피 디코딩 유닛(304)은 CU의 크기에 기초하여 잔여 TU의 적어도 하나의 후보 모드 그룹을 결정하도록; 그리고,
잔여 TU의 적어도 하나의 후보 모드 그룹에 기초하여, 비트스트림을 파싱하여 타겟 변환 모드의 어느 모드 그룹이 속하는지를 표시하기 위한 그룹 인덱스를 획득하도록 추가로 구성된다.
엔트로피 디코딩 유닛은 위에 언급된 바와 같은 방법의 적어도 하나에 따라 적어도 하나의 후보 모드 그룹을 결정하도록 추가로 구성된다.
하나의 구현 방식에서, 엔트로피 디코딩 유닛(304)은, CU의 예측 정보에 기초하여, 잔여 TU의 타겟 변환 모드를 획득할지를 결정하도록 추가로 구성된다.
엔트로피 디코딩 유닛(304)은, 위에 언급된 바와 같은 방법들 중 적어도 하나에 따라 잔여 TU의 타겟 변환 모드를 획득할지를 결정하도록 추가로 구성된다.
하나의 구현 방식에서, 엔트로피 디코딩 유닛(304)은, CU의 크기에 기초하여, 잔여 TU의 타겟 변환 모드를 획득할지를 결정하도록 추가로 구성된다.
엔트로피 디코딩 유닛(304)은 위에 언급된 바와 같은 방법들 중 적어도 하나에 따라 잔여 TU의 타겟 변환 모드를 획득할지를 결정하도록 추가로 구성된다.
본 개시내용은 위에 언급된 바와 같은 방법을 수행하기 위한 처리 회로를 포함하는 디코더를 추가로 개시한다.
본 개시내용은 위에 언급된 바와 같은 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품을 추가로 개시한다.
본 개시내용은 디코더를 추가로 개시하며, 이는,
하나 이상의 프로세서; 및
프로세서들에 결합되고 프로세서들에 의한 실행을 위한 프로그래밍을 저장하는 비-일시적 컴퓨터-판독가능 저장 매체- 이러한 프로그래밍은, 프로세서들에 의해 실행될 때, 위에 언급된 바와 같은 방법을 수행하도록 디코더를 구성함 -를 포함한다.
도 13은 인트라-예측 모드들을 이용하는 비디오 코딩에서의 인트라-예측(1300)의 예를 예시한다. 도시되는 바와 같이, 현재 블록(1301)은 이웃 블록들(1310)에서의 샘플들에 의해 예측될 수 있다. 인코더들은 이미지를 상부-좌측으로부터 하부 우측으로 일반적으로 인코딩할 수 있다. 그러나, 인코더들은 아래에 논의되는 바와 같이 일부 경우들에서 우측으로부터 좌측으로 인코딩할 수 있다. 본 명세서에서 사용되는 바와 같이 우측은 인코딩된 이미지의 우측을 지칭하고, 좌측은 인코딩된 이미지의 좌측을 지칭하고, 상부는 인코딩된 이미지의 상측을 지칭하고, 하부는 인코딩된 이미지의 하측을 지칭한다는 점이 주목되어야 한다.
현재 블록(1301)은 이웃 블록(1310)으로부터의 샘플과 항상 정확히 매칭되는 것은 아닐 수 있다는 점이 주목되어야 한다. 이러한 경우에, 예측 모드는 가장 가까운 매칭하는 이웃 블록(1310)으로부터 인코딩된다. 디코더가 적절한 값을 결정하는 것을 허용하기 위해, 예측 값과 실제 값 사이의 차이가 유지된다. 이러한 것은 잔여 정보라고 지칭된다. 잔여 정보는 인트라-예측(1300) 뿐만 아니라 인터-예측 양자 모두에서 발생한다.
도 14는, 인트라-예측(1300) 및/또는 인터-예측에 기초하는, 예시적인 비디오 인코딩 메커니즘(1400)의 개략도이다. 이미지 블록(1401)은 하나 이상의 프레임으로부터 인코더에 의해 획득될 수 있다. 예를 들어, 이미지는 복수의 직사각형 이미지 영역들로 분열될 수 있다. 이미지의 각각의 영역은 CTU(Coding Tree Unit)에 대응한다. CTU는, HEVC에서의 코딩 유닛들과 같은, 복수의 블록들로 파티셔닝된다. 다음으로, 블록 파티션 정보가 비트스트림(1411)에서 인코딩된다. 따라서, 이미지 블록(301)은 이미지의 파티셔닝된 부분이고, 이미지의 대응하는 부분에서 루마 성분들 및/또는 크로마 성분들을 표현하는 픽셀들을 포함한다. 인코딩 동안, 이미지 블록(1401)은 인트라-예측에 대한 예측 모드들 및/또는 인터-예측에 대한 모션 벡터들과 같은 예측 정보를 포함하는 예측 블록(303)으로서 인코딩된다. 다음으로, 이미지 블록(1401)을 예측 블록(1403)으로서 인코딩하는 것은 예측 블록(1403)과 이미지 블록(1401) 사이의 차이를 표시하는 잔여 정보를 포함하는 잔여 블록(1405)을 남길 수 있다.
이미지 블록(1401401)은 하나의 예측 블록(1403) 및 하나의 잔여 블록(1405)을 포함하는 코딩 유닛으로서 파티셔닝될 수 있다는 점이 주목되어야 한다. 예측 블록(1403)은 코딩 유닛의 모든 예측 샘플들을 포함할 수 있고, 잔여 블록(1405)은 코딩 유닛의 모든 잔여 샘플들을 포함할 수 있다. 이러한 경우에, 예측 블록(1403)은 잔여 블록(1405)과 동일한 크기의 것이다. 다른 예에서, 이미지 블록(1401)은 2개의 예측 블록들(1403) 및 하나의 잔여 블록(1405)을 포함하는 코딩 유닛으로서 파티셔닝될 수 있다. 이러한 경우에, 각각의 예측 블록(1405)은 코딩 유닛의 예측 샘플들의 일부분을 포함하고, 잔여 블록(1405)은 코딩 유닛의 잔여 샘플들 전부를 포함한다. 또 다른 예에서, 이미지 블록(1401)은 2개의 예측 블록들(1403) 및 4개의 잔여 블록들(1405)을 포함하는 코딩 유닛으로 파티셔닝된다. 코딩 유닛에서의 잔여 블록들(1405)의 파티션 패턴은 비트스트림(1411)에서 시그널링될 수 있다. 이러한 위치 패턴들은 HEVC에서의 RQT(Residual Quad-Tree)를 포함할 수 있다. 추가로, 이미지 블록(1401)은 이미지 샘플들(또는 픽셀들)의, Y 성분들로 표기되는, 루마 성분들(예를 들어, 광)만을 포함할 수 있다. 다른 경우들에서, 이미지 블록(1401)은 이미지 샘플들의 Y, U 및 V 성분들을 포함할 수 있으며, U 및 V는 청색 휘도 및 적색 휘도 (UV) 컬러공간에서의 색차 성분들(예를 들어, 컬러)을 표시한다.
정보를 추가로 압축하기 위해 SVT가 이용될 수 있다. 구체적으로, SVT는 변환 블록(1407)을 이용하여 잔여 블록(1405)을 추가로 압축한다. 변환 블록(1407)은, 역 DCT 및/또는 역 DST와 같은, 변환을 포함한다. 예측 블록(1403)과 이미지 블록(1401) 사이의 차이는 변환 계수들을 이용하는 것에 의한 변환으로의 피팅이다. 변환 블록(1407)의 변환 모드(예를 들어, 역 DCT 및/또는 역 DST) 및 대응하는 변환 계수들을 표시하는 것에 의해, 디코더는 잔여 블록(1405)을 재구성할 수 있다. 정확한 재생이 요구되지 않을 때, 변환 계수들은 특정 값들을 라운딩하는 것에 의해 추가로 압축되어 변환에 대한 더 나은 피팅을 생성할 수 있다. 이러한 프로세스는 양자화로서 알려져 있으며, 허용가능 양자화를 설명하는 양자화 파라미터들에 따라 수행된다. 따라서, 변환 블록(1407)의 변환 모드들, 변환 계수들, 및 양자화 파라미터들은 변환된 잔여 정보로서 변환된 잔여 블록(1409)에 저장되고, 이는 일부 경우들에서는 단순히 잔여 블록이라고 또한 지칭될 수 있다.
예측 블록(1403)의 예측 정보 및 변환된 잔여 블록(1409)의 변환된 잔여 정보가 다음으로 비트스트림(1411)에서 인코딩될 수 있다. 이러한 비트스트림(1411)은 디코더에 저장 및/또는 송신될 수 있다. 다음으로, 디코더는 프로세스를 역방향으로 수행하여 이미지 블록(1401)을 복구할 수 있다. 구체적으로, 디코더는 변환된 잔여 정보를 이용하여 변환 블록(1407)을 결정할 수 있다. 다음으로, 변환 블록(1407)은 변환된 잔여 블록(1409)과 함께 이용되어 잔여 블록(1405)을 결정할 수 있다. 다음으로, 잔여 블록(1405) 및 예측 블록(1403)이 이용되어 이미지 블록(1401)을 재구성할 수 있다. 다음으로, 이미지 블록(1401)이 다른 디코딩된 이미지 블록들(1401)에 상대적으로 배치되어 프레임들을 재구성하고 이러한 프레임들을 위치시켜 인코딩된 비디오를 복구할 수 있다.
SVT가 이제 더 상세히 설명된다. SVT를 수행하기 위해, 변환 블록(1407)은 잔여 블록(1405)보다 작도록 선택된다. 변환 블록(1407)은 잔여 블록(1405)의 대응하는 부분을 변환하고, 추가적인 코딩/압축 없이 잔여 블록의 나머지를 남기기 위해 이용된다. 이러한 것은 잔여 정보가 일반적으로 잔여 블록(1405)에 걸쳐 균등하게 분포되지 않기 때문이다. SVT는, 전체 잔여 블록(1405)이 변환될 것을 요구하지 않고, 적응적 위치가 있는 더 작은 변환 블록(1407)을 이용하여 잔여 블록(1405)에서 잔여 정보의 대부분을 캡처한다. 이러한 접근법은 잔여 블록(1405)에서 모든 잔여 정보를 변환하는 것보다 더 나은 코딩 효율을 달성할 수 있다. 변환 블록(1407)이 잔여 블록(1405)보다 작으므로, SVT는 잔여 블록(1405)에 상대적인 변환의 위치를 시그널링하기 위한 메커니즘을 이용한다. 예를 들어, SVT가 크기 w×h(예를 들어, 폭 곱하기 높이)의 잔여 블록(1405)에 대해 적용될 때, 변환 블록(1407)의 크기 및 위치 정보는 비트스트림(1411)으로 코딩될 수 있다. 이러한 것은 디코더가 변환 블록(1407)을 재구성하는 것, 및 잔여 블록(1405)의 재구성을 위해 변환 블록(1407)을 변환된 잔여 블록(1409)에 상대적인 올바른 위치로 구성하는 것을 허용한다.
일부 예측 블록들(1403)은 잔여 블록(1405)을 초래하지 않고 인코딩될 수 있다는 점이 주목되어야 한다. 그러나, 이러한 경우는 SVT의 사용을 초래하지 않으며, 그러므로 추가로 논의되지 않는다. 위에 주목된 바와 같이, 인터-예측 블록들 또는 인트라-예측 블록들에 대해 SVT가 이용될 수 있다. 추가로, SVT는 명시된 인터-예측 메커니즘들(예를 들어, 번역 모델 기반 모션 보상)에 의해 생성되는 잔여 블록들(1405) 상에서 이용될 수 있지만, 다른 명시된 인터-예측 메커니즘들(예를 들어, 아핀 모델 기반 모션 보상)에 의해 생성되는 잔여 블록들(1405)에 이용되지 않을 수 있다.
도 15는 잔여 블록(305)을 인코딩하기 위한 변환 블록(307)으로서 이용될 수 있는 예시적인 SVT 변환들(1500)을 예시한다. SVT 변환들(1500)은 SVT-I, SVT-II, 및 SVT-III이라고 지칭된다. SVT-I는 w_t=w/2, h_t=h/2로서 설명되며, w_t 및 h_t는 각각 변환 블록의 폭 및 높이를 표기하고, w 및 h는 각각 잔여 블록의 폭 및 높이를 표기한다. 예를 들어, 변환 블록의 폭 및 높이는 양자 모두 잔여 블록의 폭 및 높이의 1/2이다. SVT-II는 w_t=w/4, h_t=h로서 설명되며, 이러한 변수들은 위에 설명된 바와 같다. 예를 들어, 변환 블록 폭은 잔여 블록의 폭의 1/4이고, 변환 블록의 높이는 잔여 블록의 높이와 동일하다. SVT-III은 w_t=w, h_t=h/4로서 설명되며, 이러한 변수들은 위에 설명된 바와 같다. 예를 들어, 변환 블록의 폭은 잔여 블록의 폭과 동일하고, 변환 블록의 높이는 잔여 블록의 높이의 1/4이다. SVT 블록의 타입(예를 들어, SVT-I, SVT-II, 또는 SVT-III)을 표시하는 타입 정보는 비트스트림으로 코딩되어 디코더에 의한 재구성을 지원한다.
도 15에 의해 알 수 있는 바와 같이, 각각의 변환은 잔여 블록에 상대적인 다양한 위치들에 배치될 수 있다. 변환 블록의 위치는 위치 오프셋(x, y)에 의해, 잔여 블록의 상부-좌측 코너에 표현되며, x는 변환 블록의 상부-좌측 코너와 잔여 블록의 것 사이의 수평 거리를 픽셀들의 단위로 표시하고, y는 변환 블록의 상부-좌측 코너와 잔여 블록의 것 사이의 수직 거리를 픽셀들의 단위로 표시한다. 잔여 블록 내부의 변환 블록의 각각의 잠재적 위치는 후보 위치라고 지칭된다. 잔여 블록에 대해, 후보 위치들의 수는 SVT의 타입에 대해 (w-w_t+1)×(h-h_t+1)이다. 보다 구체적으로는, 16×16 잔여 블록에 대해, SVT-I가 사용될 때, 81개의 후보 위치들이 존재한다. SVT-II 또는 SVT-III이 사용될 때, 13개의 후보 위치들이 존재한다. 일단 결정되면, 위치 오프셋의 x 및 y 값들은 이용되는 SVT 블록의 타입과 함께 비트스트림으로 코딩된다. SVT-I에 대한 복잡도를 감소시키기 위해, 32개의 위치들의 서브세트가 81개의 가능한 후보 위치들로부터 선택될 수 있다. 다음으로, 이러한 서브세트는 SVT-I에 대한 허용된 후보 위치들로서 작용한다.
SVT 변환들(1500)을 이용하는 SVT 스킴의 하나의 단점은 SVT 위치 정보를 잔여 정보로서 인코딩하는 것이 상당한 시그널링 오버헤드를 초래한다는 점이다. 또한, 인코더 복잡도는, RDO(Rate-Distortion Optimization)와 같은, 압축 품질 프로세스들에 의해 테스트되는 위치들의 수가 증가함에 따라 상당히 증가될 수 있다. 후보 위치들의 수가 잔여 블록의 크기에 따라 증가하므로, 시그널링 오버헤드는, 32×32 또는 64×128과 같은, 더 큰 잔여 블록들에 대해 훨씬 더 클 수 있다. SVT 변환들(1500)을 이용하는 다른 단점은 변환 블록의 크기가 잔여 블록의 크기의 1/4이라는 점이다. 이러한 크기의 변환 블록은 많은 경우들에서 잔여 블록에서의 주요 잔여 정보를 커버하기에 충분히 크지 않을 수 있다.
도 16은 잔여 블록(305)을 인코딩하기 위한 변환 블록(307)으로서 이용될 수 있는 추가적인 예시적인 SVT 변환들(1600)을 예시한다. SVT 변환들(1600)은 SVT-V(SVT vertical) 및 SVT-H(SVT horizontal)라고 지칭된다. SVT 변환들(1600)은 SVT 변환들(1500)과 유사하지만, 인코더에 대한 감소된 시그널링 오버헤드 및 덜 복잡한 처리 요건들을 지원하도록 설계된다.
SVT-V는 w_t = w/2 및 h_t = h로서 설명되며, 이러한 변수들은 위에 설명된 바와 같다. 변환 블록의 폭은 잔여 블록의 폭의 1/2이고, 변환 블록의 높이는 잔여 블록의 높이와 동일하다. SVT-H는 w_t = w 및 h_t = h/2로서 설명되며, 이러한 변수들은 위에 설명된 바와 같다. 예를 들어, 변환 블록의 폭은 잔여 블록의 폭과 동일하고, 변환 블록의 높이는 잔여 블록의 높이의 1/2이다. SVT-V는 SVT-II와 유사하고, SVT-H는 SVT-III과 유사하다. SVT-II 및 SVT-III과 비교하여, SVT-V 및 SVT-H에서의 변환 블록은 잔여 블록의 1/2로 확대되고, 이는 잔여 블록에서의 더 많은 잔여 정보를 커버할 수 있다.
SVT 변환들(1500)과 같이, SVT 변환들(1600)은 몇몇 후보 위치들을 포함할 수 있으며, 후보 위치들은 잔여 블록에 상대적인 변환 블록의 가능한 허용가능 위치이다. 후보 위치들은 CPSS(Candidate Position Step Size)에 따라 결정된다. 후보 위치들은 CPSS에 의해 명시되는 동일 공간으로 분리될 수 있다. 이러한 경우, 후보 위치들의 수는 5개 이하로 감소된다. 후보 위치들의 감소된 수는, 변환을 위한 선택된 위치가 더 적은 비트들로 시그널링될 수 있기 때문에, 위치 정보와 연관된 시그널링 오버헤드를 완화시킨다. 추가로, 후보 위치들의 수를 감소시키는 것은 변환 위치의 선택을 알고리즘적으로 더 단순하게 하며, 이는 인코더 복잡도가 감소되는 것을 허용한다(예를 들어, 더 적은 컴퓨팅 리소스딜이 인코딩하기 위해 이용되는 것을 초래함).
도 17은 잔여 블록에 상대적인 예시적인 SVT 변환 후보 위치들(1700)을 예시한다. 구체적으로, SVT 변환 후보 위치들(1700)은 잔여 블록에 상대적으로 배치되는 SVT-V 및 SVT-H(예를 들어, SVT 변환들(1600))를 이용한다. 변환에 대한 허용가능 후보 위치들은 CPSS에 의존하며, 이는 변환 블록이 커버해야 하는 잔여 블록의 부분 및/또는 후보 위치들 사이의 단계 크기에 추가로 의존한다. 예를 들어, CPSS는 SVT-V에 대해 s = w/M1로서 또는 SVT-H에 대해 s = h/M2로서 계산될 수 있으며, w 및 h는 각각 잔여 블록의 폭 및 높이이고, M1 및 M2는 2 내지 8의 범위에 있는 미리 결정된 정수들이다. 더 큰 M1 또는 M2 값들로 더 많은 후보 위치들이 허용된다. 예를 들어, M1 및 M2는 양자 모두 8로서 설정될 수 있다. 이러한 경우, 잔여 블록에 상대적인 변환 블록의 위치를 설명하는 위치 인덱스(P)의 값은 0과 4 사이에 있다.
다른 예에서, CPSS는 SVT-V에 대해 s = max(w/M1, Th1)로서 또는 SVT-H에 대해 s = max(h/M2, Th2)로서 계산되며, Th1 및 Th2는 최소 단계 크기를 명시하는 미리 정의된 정수들이다. Th1 및 Th2는 2보다 작지 않은 정수일 수 있다. 이러한 예에서, Th1 및 Th2는 4로서 설정되고, M1 및 M2는 8로서 설정된다. 이러한 예에서, 상이한 블록 크기들은 상이한 수의 후보 위치들을 가질 수 있다. 예를 들어, 잔여 블록의 폭이 8일 때, 2개의 후보 위치들이 SVT-V에 대해 이용가능하고, 구체적으로는 후보 위치들(1700 (a) 및 (e))이다. 예를 들어, 단계 크기가, Th1에 의해 표시되는 바와 같이, 크고, 변환이 커버하는 잔여 블록의 부분이, w/M1에 의해 표시되는 바와 같이, 또한 클 때 2개의 후보 위치들만이 CPSS를 충족시킨다. 그러나, w가 16으로 설정될 때, 변환이 커버하는 잔여 블록의 부분은 w/M1에서의 변경으로 인해 감소한다. 이러한 것은 더 많은 후보 위치들, 이러한 경우에 3개의 후보 위치들(1700 (a), (c), 및 (e))을 초래한다. 잔여 블록의 폭이 16보다 크고 한편 Th1 및 M1의 값들이 위에 논의된 바와 같을 때, 모든 5개의 후보 위치들이 이용가능하다.
CPSS가 다른 메커니즘들에 따라 계산될 때 다른 예들을 또한 알 수 있다. 구체적으로, CPSS는 SVT-V에 대해 s = w/M1로서 또는 SVT-H에 대해 s = h/M2로서 계산될 수 있다. 이러한 경우에, SVT-V에 대해 3개의 후보 위치들(예를 들어, 후보 위치들 1700 (a), (c), 및 (e))이 허용되고, M1 및 M2가 4로서 설정될 때 SVT-H에 대해 3개의 후보 위치들(예를 들어, 후보 위치들 1700 (f), (h), 및 (j))이 허용된다. 추가로, M1 및 M2가 4로서 설정될 때, 변환이 커버하는 잔여 블록의 부분이 증가하여 SVT-V의 2개의 허용가능 후보 위치들(예를 들어, 후보 위치들(1700 (a) 및(e)) 및 SVT-H에 대한 2개의 허용가능 후보 위치들(예를 들어, 후보 위치들(1700 (f) 및 (e))을 초래한다.
다른 예에서, CPSS는 위에 논의된 바와 같이 SVT-V에 대해 s = max(w/M1, Th1)로서 또는 SVT-H에 대해 s = max(h/M2, Th2)로서 계산된다. 이러한 경우, T1 및 T2는 미리 정의된 정수, 예를 들어, 2로서 설정되고, M1은 w ≥ h이면 8로서 설정되거나 또는 w < h일 때 4로서 설정되고, M2는 h ≥ w일 때 8로서 설정되거나 또는 h < w일 때 4로서 설정된다. 예를 들어, 변환이 커버하는 잔여 블록의 부분은 잔여 블록의 높이가 잔여 블록의 폭보다 큰지에 의존적이거나, 또는 그 반대도 가능하다. 따라서, SVT-H 또는 SVT-V에 대한 후보 위치들의 수는 잔여 블록의 종횡비에 추가로 의존한다.
다른 예에서, CPSS는 위에 논의된 바와 같이, SVT-V에 대해 s = max(w/M1, Th1) 또는 SVT-H에 대해 s = max(h/M2, Th2)로서 계산된다. 이러한 경우, M1, M2, Th1 및 Th2의 값들은 비트스트림에서의 하이-레벨 신택스 구조(예를 들어, 시퀀스 파라미터 세트)로부터 도출된다. 예를 들어, CPSS를 도출하기 위해 이용되는 값들은 비트스트림에서 시그널링될 수 있다. M1 및 M2는 신택스 엘리먼트로부터 파싱되는 동일한 값을 공유할 수 있고, Th1 및 Th2는 다른 신택스 엘리먼트로부터 파싱되는 동일한 값을 공유할 수 있다.
도 18은 잔여 블록에 상대적인 예시적인 SVT 변환 위치들(1800)을 예시한다. SVT 변환 위치들(1800)은, SVT 변환 후보 위치들(1700)과 같은, 후보 위치들로부터 선택된다. 구체적으로, 선택된 SVT 변환 위치들(1800)은 위치 인덱스 P에 관해 인코딩될 수 있다. 위치 인덱스 P는 잔여 블록의 상부-좌측 코너에 상대적인 변환 블록의 상부-좌측 코너의 위치 오프셋(Z)을 결정하기 위해 이용될 수 있다. 예를 들어, 이러한 위치 상관은 Z = s × P에 따라 결정될 수 있으며, s는 SVT 타입에 기초하는 변환 블록에 대한 CPSS이고, 도 6에 관하여 논의되는 바와 같이 계산된다. 변환 블록이 SVT-V 타입일 때, P의 값은 0, 1, ...,
Figure pat00001
로서 인코딩될 수 있다. 변환 블록이 SVT-H 타입일 때, P의 값은 0, 1, ...,
Figure pat00002
로서 인코딩될 수 있다. 더 구체적으로, (0, 0)은 잔여 블록의 상부-좌측 코너의 좌표를 표현할 수 있다. 이러한 경우에, 변환 블록의 상부-좌측 코너의 좌표는 SVT-V에 대해 (Z, 0)이거나 또는 SVT-H에 대해 (0, Z)이다.
아래에 더 상세히 논의되는 바와 같이, 인코더는 플래그들을 이용하는 것에 의해 비트스트림에서 SVT 변환 타입(예를 들어, SVT-H 또는 SVT-T) 및 잔여 블록 크기를 인코딩할 수 있다. 다음으로, 디코더는 SVT 변환 크기 및 잔여 블록 크기에 기초하여 SVT 변환 크기를 결정할 수 있다. 일단 SVT 변환 크기가 결정되면, 디코더는, CPSS 기능에 따라, SVT 변환 후보 위치들(1700)과 같은, SVT 변환의 허용가능 후보 위치들을 결정할 수 있다. 디코더가 SVT 변환의 후보 위치를 결정할 수 있으므로, 인코더는 위치 오프셋의 좌표들을 시그널링하지 않을 수 있다. 대신에, 후보 위치들 중 어느 것이 대응하는 변환을 위해 이용되는지를 표시하기 위해 코드가 이용될 수 있다. 예를 들어, 위치 인덱스 P는 증가된 압축에 대해 절단된 단항 코드를 사용하여 하나 이상의 빈으로 바이너리화될 수 있다. 특정 예로서, P 값이 0 내지 4의 범위에 있을 때, P 값 0, 4, 2, 3 및 1은 각각 0, 01, 001, 0001 및 0000으로서 바이너리화될 수 있다. 이러한 바이너리 코드는 위치 인덱스의 베이스 10 값을 표현하는 것보다 더 압축된다. 다른 예로서, P 값이 0 내지 1의 범위에 있을 때, P 값 0 및 1은 각각 0과 1로 바이너리화될 수 있다. 이와 같이, 위치 인덱스는 변환 블록에 대해 가능한 후보 위치들에 비추어 특정 변환 블록 위치를 시그널링하기 위해 원하는 대로 크기에 있어서 성장하거나 또는 수축할 수 있다.
위치 인덱스 P는 가장 가능성 있는 위치 및 덜 가능성 있게 남아있는 위치들을 이용하는 것에 의해 하나 이상의 빈으로 바이너리화될 수 있다. 예를 들어, 좌측 및 상부 이웃 블록들이 디코더에서 이미 디코딩되었고, 그러므로 예측을 위해 이용가능할 때, 가장 가능성 있는 위치는 잔여 블록의 하부-우측 코너를 커버하는 위치로서 설정될 수 있다. 하나의 예에서, P 값이 0 내지 4의 범위에 있고 위치 4가 가장 가능성 있는 위치로서 설정될 때, P 값 4, 0, 1, 2 및 3은 각각 1, 000, 001, 010 및 011로서 바이너리화된다. 추가로, P 값이 0 내지 2의 범위에 있고 위치 2가 가장 가능성 있는 위치로서 설정될 때, P 값 2, 0 및 1은 각각 1, 01 및 00으로서 바이너리화된다. 따라서, 후보 위치들의 가장 가능성 있는 위치 인덱스는 가장 보통의 경우들에 대해 시그널링 오버헤드를 감소시키기 위해 가장 적은 비트들로 표기된다. 이러한 확률은 인접한 재구성된 블록들의 코딩 순서에 기초하여 결정될 수 있다. 따라서, 디코더는 이용되는 디코딩 스킴에 기초하여 대응하는 블록에 대해 이용될 코드 워드 스킴을 추론할 수 있다.
예를 들어, HEVC에서 코딩 유닛 코딩 순서는 일반적으로 상부로부터 하부로 그리고 좌측으로부터 우측으로이다. 이러한 경우에, 현재의 인코딩/디코딩 코딩 유닛의 우측은 상부-우측 코너를 더 가능성 있는 변환 위치로 렌더링하는데 이용가능하지 않다. 그러나, 좌측 및 상부 공간적 이웃들로부터 모션 벡터 예측기들이 도출된다. 이러한 경우에, 잔여 정보는 통계적으로 하부-우측 코너를 향해 더 강력하다. 이러한 경우, 하부-우측 부분을 커버하는 후보 위치가 가장 가능성 있는 위치이다. 추가로, 적응적 코딩 유닛 코딩 순서가 이용될 때, 하나의 노드는 2개의 자식 노드들로 수직으로 분열될 수 있고 우측 자식 노드는 좌측의 것 전에 코딩될 수 있다. 이러한 경우, 좌측 자식 노드의 우측 이웃은 좌측 자식 노드의 디코딩/인코딩 전에 재구성되었다. 추가로, 이러한 경우에, 좌측 이웃 픽셀들은 이용가능하지 않다. 우측 이웃이 이용가능하고 좌측 이웃이 이용가능하지 않을 때, 잔여 블록의 하부-좌측 부분은 많은 양의 잔여 정보를 포함할 가능성이 있고, 따라서 잔여 블록의 하부-좌측 포션을 커버하는 후보 위치는 가장 가능성 있는 위치가 된다.
따라서, 위치 인덱스 P는 잔여 블록 다음의 우측이 재구성되었는지에 따라 하나 이상의 빈으로 바이너리화될 수 있다. 하나의 예에서, P 값은, SVT 변환 위치들(1800)에 의해 도시되는 바와 같이, 0 내지 2의 범위에 있다. 잔여 블록 다음의 우측이 재구성되었을 때, P 값 0, 2 및 1은 0, 01 및 00으로서 바이너리화된다. 그렇지 않으면, P 값 2, 0 및 1은 0, 01 및 00으로서 바이너리화된다. 다른 예에서, 잔여 블록 다음의 우측이 재구성되었지만, 잔여 블록 다음의 좌측이 재구성되지 않았을 때, P 값 0, 2 및 1은 0, 00 및 01로서 바이너리화된다. 그렇지 않으면, P 값 2, 0 및 1은 0, 00 및 01로서 바이너리화된다. 이러한 예들에서, 단일 빈에 대응하는 위치가 가장 가능성 있는 위치이고 다른 2개의 위치들이 남아있는 위치들이다. 예를 들어, 가장 가능성 있는 위치는 우측 이웃의 이용가능성에 의존적이다.
레이트-왜곡 성능의 의미에서 최상의 위치의 확률 분포는 인터-예측 모드들에 걸쳐 꽤 상이할 수 있다. 예를 들어, 잔여 블록이 템플릿으로서 공간적으로 이웃하는 재구성된 픽셀들과의 템플릿 매칭에 의해 생성되는 예측 블록에 대응할 때, 최상의 위치는 가장 가능하게는 위치 2이다. 다른 인터-예측 모드들에 대해, 위치 2(또는 우측 이웃이 이용가능하고 좌측 이웃이 이용가능하지 않을 때의 위치 0)가 최상의 위치일 확률은 템플릿 매칭 모드의 것보다 더 낮다. 이러한 것을 고려하여, 위치 인덱스 P의 제1 빈에 대한 컨텍스트 모델은 잔여 블록과 연관된 인터-예측 모드에 따라 결정될 수 있다. 보다 구체적으로는, 잔여 블록이 템플릿 매칭 기반 인터-예측과 연관될 때, 위치 인덱스 P의 제1 빈은 제1 컨텍스트 모델을 사용한다. 그렇지 않으면, 이러한 빈을 인코딩/디코딩하기 위해 제2 컨텍스트 모델이 사용된다.
다른 예에서, 잔여 블록이 템플릿 매칭 기반 인터-예측과 연관될 때, 가장 가능성 있는 위치(예를 들어, 우측 이웃이 이용가능하지만 좌측 이웃이 이용가능하지 않을 때 위치 2, 또는 위치 0)가 변환 블록 위치로서 직접 설정되고, 위치 정보가 비트스트림에서 시그널링되지 않는다. 그렇지 않으면, 위치 인덱스는 비트스트림에서 명시적으로 시그널링된다.
잔여 블록에 상대적인 변환 블록의 위치에 의존하여 상이한 변환들이 이용될 수 있다는 점이 또한 주목되어야 한다. 예를 들어, 잔여 블록의 좌측은 재구성되고 잔여 블록의 우측은 재구성되지 않으며, 이는 좌측으로부터 우측으로 그리고 상부로부터 하부로 고정 코딩 유닛 코딩 순서(예를 들어, HEVC에서의 코딩 순서)로 비디오 코딩에 대해 발생한다. 이러한 경우, 잔여 블록의 하부-우측 코너를 커버하는 후보 위치는 인코딩시 변환 블록에서의 변환에 대해 DST(예를 들어, DST 타입 7(DST-7) 또는 DST 타입 1(DST-1) 또는 DST 타입 4(DST-4))를 이용할 수 있다. 따라서, 대응하는 후보 위치에 대해 디코더에서 역 DST 변환이 이용된다. 추가로, 잔여 블록의 상부-좌측 코너를 커버하는 후보 위치는 인코딩시 변환 블록에서의 변환에 대해 DCT(예를 들어, DCT 타입 8(DCT-8) 또는 DCT 타입 2(DCT-2) 또는 DCT 타입 4(DCT-4))를 이용할 수 있다. 따라서, 대응하는 후보 위치에 대해 디코더에서 역 DCT 변환이 이용된다. 이러한 것은 하부-우측 코너가 이러한 경우에 4개의 코너들 중에서 공간적으로 재구성된 영역에 가장 멀기 때문이다. 추가로, DST는 변환 블록이 잔여 블록의 하부-우측 코너를 커버할 때 잔여 정보 분포를 변환하기 위해 DCT보다 더 효과적이다. 그러나, DCT는 변환 블록이 잔여 블록의 상부-좌측 코너를 커버할 때 잔여 정보 분포를 변환하기 위해 DST보다 더 효과적이다. 나머지 후보 위치들에 대해, 변환 타입은 역 DST 또는 DCT일 수 있다. 예를 들어, 후보 위치가 상부-좌측 코너보다 하부-우측 코너에 더 가까울 때, 변환 타입으로서 역 DST가 이용된다. 그렇지 않으면 역 DCT가 변환 타입에 이용된다.
구체적인 예로서, 변환 블록에 대한 3개의 후보 위치들이 도 18에 도시되는 바와 같이 허용될 수 있다. 이러한 경우, 위치 0은 상부-좌측 코너를 커버하고 위치 2는 하부-우측 코너를 커버한다. 위치 1은 잔여 블록의 중간에 있고 좌측 및 우측 코너들 양자 모두에 등거리이다. 인코더에서 위치 0, 위치 1 및 위치 2에 대해 각각 DCT-8, DST-7 및 DST-7로서 변환 타입들이 선택될 수 있다. 위치 0, 위치 1, 및 위치 2에 대해 각각 디코더에서 역 변환들 DCT-8, DST-7 및 DST-7이 다음으로 이용될 수 있다. 다른 예에서, 위치 0, 위치 1, 및 위치 2에 대한 변환 타입들은 인코더에서 각각 DCT-2, DCT-2 및 DST-7이다. 위치 0, 위치 1, 및 위치 2에 대해 각각 디코더에서 역 변환 DCT-2, DCT-2 및 DST-7이 다음으로 이용될 수 있다. 이와 같이, 대응하는 후보 위치들에 대한 변환 타입들이 미리 결정될 수 있다.
일부 경우들에서, 위에 설명된 위치-의존적 다수의 변환들은 루마 변환 블록들에만 적용될 수 있다. 대응하는 크로마 변환 블록들은 변환/역 변환 프로세스에서 역 DCT-2를 항상 사용할 수 있다.
도 19는 잔여 샘플 수평 플립핑의 예(1900)를 예시한다. 일부 경우들에서는, 인코더에서 변환 블록(예를 들어, 변환 블록(307))을 적용하기 전에 잔여 블록(예를 들어, 잔여 블록(305))에서 잔여 정보를 수평으로 플립핑하는 것에 의해 유익한 잔여 압축이 달성될 수 있다. 예(1900)은 이러한 수평 플립핑을 예시한다. 이와 관련하여, 수평 플립핑은 잔여 블록의 좌측과 잔여 블록의 우측 사이의 축 절반 주위의 잔여 블록에서 잔여 샘플들을 회전시키는 것을 지칭한다. 이러한 수평 플립핑은 인코더에서 변환(예를 들어, 변환 블록)을 적용하기 전에 그리고 디코더에서 역 변환(예를 들어, 변환 블록)을 적용한 후에 발생한다. 이러한 플립핑은 명시된 미리 정의된 조건이 발생할 때 이용될 수 있다.
하나의 예에서, 수평 플립핑은 변환 블록이 변환 프로세스에서 DST/역 DST를 이용할 때 발생한다. 이러한 경우, 잔여 블록의 우측 이웃은 현재 블록 전에 인코딩/재구성되고, 좌측 이웃은 현재 블록 이전에 인코딩/재구성되지 않는다. 수평 플립핑 프로세스는 잔여 블록의 열 i에서의 잔여 샘플들을 잔여 블록의 열 w-1-i에서의 잔여 샘플들과 교환한다. 이와 관련하여, w는 변환 블록의 폭이고 i=0,1, ..., (w/2)-1이다. 잔여 샘플들의 수평 플립핑은 잔여 분포가 DST 변환에 더 잘 피팅되게 하는 것에 의해 코딩 효율을 증가시킬 수 있다.
도 20은 위에 논의된 메커니즘들을 이용하는 위치 의존적 SVT가 있는 비디오 디코딩의 예시적인 방법(2000)의 흐름도이다. 방법(2000)은, 비트스트림(311)과 같은, 비트스트림을 수신하는 경우 디코더에서 착수될 수 있다. 방법(2000)은 비트스트림을 이용하여, 예측 블록(303) 및 변환된 잔여 블록(309)과 같은, 예측 블록들 및 변환된 잔여 블록들을 결정한다. 방법(2000)은, 변환 블록(307)과 같은, 변환 블록들을 또한 결정하고, 이는, 잔여 블록(305)과 같은, 잔여 블록들을 결정하기 위해 이용된다. 다음으로, 잔여 블록들 및 예측 블록들은, 이미지 블록(301)과 같은, 이미지 블록들을 재구성하기 위해 이용된다. 방법(2000)이 디코더의 관점에서 설명되지만, SVT를 이용하는 것에 의해 비디오를 인코딩하기 위해 (예를 들어, 역방향으로) 유사한 방법이 이용될 수 있다는 점이 주목되어야 한다.
블록 2001에서는, 디코더에서 비트스트림이 획득된다. 이러한 비트스트림은 메모리로부터 또는 스트리밍 소스로부터 수신될 수 있다. 이러한 비트스트림은 인코더로부터의 비디오 데이터에 대응하는 적어도 하나의 이미지로 디코딩될 수 있는 데이터를 포함한다. 구체적으로, 이러한 비트스트림은 메커니즘(300)에서 설명되는 바와 같이 비트스트림으로부터 예측 블록들 및 잔여 블록들을 포함하는 코딩 유닛을 결정하기 위해 이용될 수 있는 블록 파티션 정보를 포함한다. 이와 같이, 코딩 유닛들에 관련된 코딩 정보가 비트스트림으로부터 파싱될 수 있고, 코딩 유닛들의 픽셀들이 아래에 논의되는 바와 같이 코딩 정보에 기초하여 재구성될 수 있다.
블록 2003에서는, 블록 파티션 정보에 기초하여 비트스트림으로부터 예측 블록 및 대응하는 변환된 잔여 블록이 획득된다. 이러한 예에 대해, 변환된 잔여 블록은 위의 메커니즘(300)에 관하여 논의되는 바와 같이 SVT에 따라 인코딩되었다. 다음으로, 방법(2000)은 아래에 논의되는 바와 같이 변환된 잔여 블록으로부터 크기 w×h의 잔여 블록을 재구성한다.
블록 2005에서는, SVT 사용, SVT의 타입, 및 변환 블록 크기가 결정된다. 예를 들어, 디코더는 SVT가 인코딩에서 사용되었는지를 먼저 결정한다. 이러한 것은 일부 인코딩들이 잔여 블록의 크기인 변환들을 이용하기 때문이다. SVT의 사용은 비트스트림에서의 신택스 엘리먼트에 의해 시그널링될 수 있다. 구체적으로, 잔여 블록이 SVT를 이용하는 것이 허용될 때, svt_flag와 같은, 플래그가 비트스트림으로부터 파싱된다. 잔여 블록은 변환된 잔여 블록이 0이 아닌 변환 계수들(예를 들어, 임의의 루마 또는 크로마 성분들에 대응함)을 가질 때 SVT를 이용하는 것이 허용된다. 예를 들어, 잔여 블록이 임의의 잔여 데이터를 포함할 때 잔여 블록이 SVT를 이용할 수 있다. SVT 플래그는 잔여 블록이 잔여 블록에 대한 동일 크기의 변환 블록을 사용하여 코딩되는지(예를 들어, svt_flag가 0으로서 설정됨) 또는 잔여 블록이 잔여 블록보다 작은 크기의 변환 블록으로 코딩되는지(예를 들어, svt_flag가 1로서 설정됨)를 표시한다. cbf(coded block flag)는, HEVC에서 사용되는 바와 같이, 잔여 블록이 컬러 성분의 0이 아닌 변환 계수들을 포함하는지를 표시하기 위해 이용될 수 있다. 또한, 루트 코딩된 블록(루트 cbf) 플래그는, HEVC에서 사용되는 바와 같이, 잔여 블록이 임의의 컬러 성분의 0이 아닌 변환 계수들을 포함하는지를 표시할 수 있다. 특정 예로서, 잔여 블록은 이미지 블록이 인터-예측을 사용하여 예측될 때 SVT를 사용하는 것이 허용되고 잔여 블록 폭 또는 잔여 블록 높이는 [a1, a2]의 미리 결정된 범위에 속하며, a1=16 및 a2=64, a1=8 및 a2=64, 또는 a1=16 및 a2=128이다. a1 및 a2의 값들은 미리 결정된 고정 값들일 수 있다. 이러한 값들은 비트스트림에서의 SPS(sequence parameter set) 또는 슬라이스 헤더로부터 또한 도출될 수 있다. 잔여 블록이 SVT를 이용하지 않을 때, 변환 블록 크기는 잔여 블록 크기의 폭 및 높이로서 설정된다. 그렇지 않으면, 변환 크기는 SVT 변환 타입에 기초하여 결정된다.
SVT가 잔여 블록에 대해 사용되었다고 일단 디코더가 결정하면, 디코더는 사용된 SVT 변환 블록의 타입을 결정하고 이러한 SVT 타입에 따라 변환 블록 크기를 도출한다. 잔여 블록에 대해 허용된 SVT 타입들이 잔여 블록의 폭 및 높이에 기초하여 결정된다. 이러한 값들이 위에서 정의되는 바와 같이 잔여 블록의 폭이 범위 [a1, a2]에 있으면 도 16에 도시된 바와 같은 SVT-V 변환이 허용된다. 이러한 값들이 위에서 정의되는 바와 같이, 잔여 블록의 높이가 범위 [a1, a2]에 있으면 도 16에 도시된 바와 같은 SVT-H 변환이 허용된다. SVT는 잔여 블록에서의 루마 성분들에 대해서만 사용될 수 있거나, 또는 SVT는 잔여 블록에서의 루마 및 크로마 성분들 양자 모두에 대해 이용될 수 있다. SVT가 루마 성분에 대해서만 사용될 때, 루마 성분 잔여 정보는 SVT에 의해 변환되고 크로마 성분들은 잔여 블록의 크기 변환에 의해 변환된다. SVT-V 및 SVT-H 양자 모두가 허용될 때, svt_type_flag와 같은, 플래그가 비트스트림으로 인코딩될 수 있다. svt_type_flag는 잔여 블록에 대해 SVT-V가 사용되는지(예를 들어, svt_type_flag는 0으로서 설정됨) 또는 잔여 블록에 대해 SVT-H가 사용되는지(예를 들어, svt_type_flag는 1로서 설정됨)를 표시한다. 일단 SVT 변환의 타입이 결정되면, 변환 블록 크기는 시그널링된 SVT 타입에 따라 설정된다(예를 들어, SVT-V에 대해 w_t=w/2 및 h_t=h이고, SVT-H에 대해 w_t=w이고 h_t=h/2임). SVT-V만이 허용되거나 또는 SVT-H만이 허용될 때, svt_type_flag는 비트스트림으로 인코딩되지 않을 수 있다. 이러한 경우에, 디코더는 허용된 SVT 타입에 기초하여 변환 블록 크기를 추론할 수 있다.
일단 SVT 타입 및 크기가 결정되면, 디코더는 블록 2007로 진행한다. 블록 2007에서는, 디코더가 변환의 타입(예를 들어, DST 또는 DCT) 뿐만 아니라 잔여 블록에 상대적인 변환의 위치를 결정한다. 변환 블록의 위치는 비트스트림에서의 신택스 엘리먼트에 따라 결정될 수 있다. 예를 들어, 일부 예들에서는 위치 인덱스가 직접 시그널링되고 그러므로 비트스트림으로부터 파싱될 수 있다. 다른 예들에서, 위치는 도 5 내지 도 7에 관하여 논의되는 바와 같이 추론될 수 있다. 구체적으로, 변환에 대한 후보 위치들이 CPSS 기능에 따라 결정될 수 있다. CPSS 기능은 잔여 블록의 폭, 잔여 블록의 높이, 블록 2005에 의해 결정되는 바와 같은 SVT 타입, 변환의 단계 크기, 및/또는 변환이 커버하는 잔여 블록의 부분을 고려하는 것에 의해 후보 위치들을 결정할 수 있다. 다음으로, 디코더는 위의 도 18에 관하여 논의되는 바와 같이 후보 위치 선택 확률에 따라 올바른 후보 위치를 시그널링하는 코드를 포함하는 p-인덱스를 획득하는 것에 의해 후보 위치들로부터 변환 블록 위치를 결정할 수 있다. 일단 변환 블록 위치가 알려지면, 디코더는 위의 도 18에 관하여 논의되는 바와 같이 변환 블록에 의해 이용되는 변환의 타입을 추론할 수 있다. 따라서, 인코더는 대응하는 역 변환을 선택할 수 있다.
블록 2009에서는, 디코더가 블록 2005에서 결정되는 변환 블록 크기에 기초하여 변환 블록의 변환 계수들을 파싱한다. 이러한 프로세스는 HEVC, H.264 및/또는 AVC(advance video coding)에서 이용되는 변환 계수들 파싱 메커니즘들에 따라 달성될 수 있다. 변환 계수들은 실행-길이 코딩을 사용하여 및/또는 변환 CG(coefficient groups)의 세트로서 코딩될 수 있다. 블록 2009은 일부 예들에서 블록 2007 전에 수행될 수 있다는 점이 주목되어야 한다.
블록 2011에서는, 위에 결정된 바와 같은 변환 위치, 변환 계수들, 및 변환 타입에 기초하여 잔여 블록이 재구성된다. 구체적으로, 크기 w_t×h_t의 역 양자화 및 역 변환이 변환 계수들에 적용되어 잔여 블록의 잔여 샘플들을 복구한다. 잔여 샘플들이 있는 잔여 블록의 크기는 w_t×h_t이다. 역 변환은, 블록 2007에서 결정되는 위치-의존적 변환 타입에 따라, 역 DCT 또는 역 DST일 수 있다. 잔여 샘플들은, 변환 블록 위치에 따라, 잔여 블록 내부의 대응하는 영역에 배정된다. 잔여 블록 내부의 및 변환 블록 외부의 임의의 잔여 샘플들은 0으로서 설정될 수 있다. 예를 들어, SVT-V가 이용되고, 후보 위치들의 수는 5이고, 위치 인덱스는 제5 변환 블록 위치를 표시할 때, 재구성된 잔여 샘플들은 변환 후보 위치들(1700(e))에서의 영역 A에 배정되고, 영역 A의 좌측으로의 크기 (w/2)×h의 영역은 제로 잔여 샘플들을 갖는다.
선택적 블록 2013에서는, 재구성된 블록의 잔여 블록 정보가 도 19에 관하여 논의되는 바와 같이 수평으로 플립핑될 수 있다. 위에 주목된 바와 같이, 이러한 것은 디코더에서의 변환 블록이 역 DST를 이용하고, 우측 이웃 블록이 이미 재구성되고, 좌측 이웃이 이미 재구성되지 않을 때 발생할 수 있다. 구체적으로, 인코더는 코딩 효율을 증가시키기 위해 위에 언급된 경우에 DST 변환을 적용하기 전에 잔여 블록을 수평으로 플립핑할 수 있다. 따라서, 선택적 블록 2013은 인코더에서 이러한 수평 플립핑을 정정하여 정확한 재구성된 블록을 생성하기 위해 이용될 수 있다.
블록 2015에서는, 재구성된 잔여 블록이 예측 블록으로 구성되어 코딩 유닛의 부분으로서 샘플들을 포함하는 재구성된 이미지 블록을 생성할 수 있다. HEVC에서의 디블록킹 필터 및 SAO(sample adaptive offset) 처리와 같은, 재구성된 샘플들에 필터링 프로세스가 또한 적용될 수 있다. 다음으로, 재구성된 이미지 블록은 유사한 방식으로 디코딩되는 다른 이미지 블록들과 조합되어 미디어/비디오 파일의 프레임들을 생성할 수 있다. 다음으로, 재구성된 미디어 파일은 모니터 또는 다른 디스플레이 디바이스 상에서 사용자에게 디스플레이될 수 있다.
방법(2000)의 등가 구현이 잔여 블록에서 재구성된 샘플들을 생성하기 위해 이용될 수 있다는 점이 주목되어야 한다. 구체적으로, 변환 블록의 잔여 샘플들은, 잔여 블록을 먼저 복구하지 않고, 변환 블록 위치 정보에 의해 표시되는 위치에서 예측 블록으로 직접 구성될 수 있다.
요약하면, 위 개시내용은 상이한 위치들에서 변환 블록에 대해 다수의 변환 타입들을 적응적으로 이용하는 메커니즘들을 포함한다. 추가로, 본 개시내용은 코딩 효율을 지원하기 위해 잔여 블록에서 잔여 샘플들을 수평으로 플립핑하는 것을 허용한다. 이러한 것은 변환 블록이 인코더 및 디코더에서 각각 DST 및 역 DST를 사용할 때 그리고 우측 이웃 블록이 이용가능하고 좌측 이웃이 이용가능하지 않을 때 발생한다. 추가로, 본 개시내용은 잔여 블록과 연관된 인터-예측 모드에 기초하여 비트스트림에서 코딩 위치 정보를 지원하는 메커니즘들을 포함한다.
추가적인 실시예들이 다음의 예들에서 발견될 수 있다.
예 1. 컴퓨팅 디바이스에서 구현되는 방법으로서, 이러한 방법은,
컴퓨팅 디바이스의 프로세서에서 비트스트림을 수신하는 단계- 이러한 비트스트림은 컴퓨팅 디바이스의 메모리에 저장되고 컴퓨팅 디바이스의 수신기를 통해 수신됨 -;
프로세서에서, 비트스트림으로부터 예측 블록 및 대응하는 변환된 잔여 블록을 수신하는 단계;
프로세서에 의해, 변환된 잔여 블록을 생성하기 위해 이용되는 SVT(spatial varying transform) 변환의 타입을 결정하는 단계;
프로세서에 의해, 변환된 잔여 블록에 상대적인 SVT 변환의 위치를 결정하는 단계;
프로세서에 의해, 변환된 잔여 블록에 SVT 변환의 역을 적용하여 재구성된 잔여 블록을 재구성하는 단계; 및
프로세서에 의해, 예측 블록으로 재구성된 잔여 블록을 구성하여 모니터 상의 디스플레이를 위해 이미지 블록을 재구성하는 단계를 포함한다.
예 2. 예 1의 방법으로서, SVT 변환의 타입은 SVT-V(SVT vertical) 타입 또는 SVT-H(SVT horizontal) 타입이며, SVT-V 타입은 변환된 잔여 블록의 높이와 동일한 높이 및 변환된 잔여 블록의 폭의 1/2인 폭을 포함하고, SVT_H 타입은 변환된 잔여 블록의 높이의 1/2인 높이 및 변환된 잔여 블록의 폭과 동일한 폭을 포함한다.
예 3. 예들 1-2 중 어느 하나의 방법으로서, SVT 변환의 타입은 비트스트림으로부터 svt_type_flag를 파싱하는 것에 의해 결정된다.
예 4. 예들 1-3 중 어느 하나의 방법으로서, SVT 변환의 타입은 잔여 블록에 대해 SVT 변환의 단 하나의 타입만이 허용될 때 추론에 의해 프로세서에 의해 결정된다.
예 5. 예들 1-4 중 어느 하나의 방법으로서, SVT 변환의 위치는 비트스트림으로부터 위치 인덱스를 파싱하는 것에 의해 프로세서에 의해 결정된다.
예 6. 예들 1-5 중 어느 하나의 방법으로서, 위치 인덱스는 CPSS(candidate position step size)에 따라 결정되는 후보 위치들의 세트로부터의 위치를 표시하는 바이너리 코드를 포함한다.
예 7. 예들 1-6 중 어느 하나의 방법으로서, SVT 변환의 가장 가능성 있는 위치는 위치 인덱스를 표시하는 바이너리 코드에서 가장 적은 수의 비트들을 배정받는다.
예 8. 예들 1-7 중 어느 하나의 방법으로서, SVT 변환의 위치는 SVT 변환에 대해 단일 후보 위치가 이용가능할 때 프로세서에 의해 추론된다.
예 9. 예들 1-8 중 어느 하나의 방법으로서, SVT 변환의 위치는 잔여 블록이 인터-예측 모드에서 템플릿 매칭에 의해 생성되었을 때 프로세서에 의해 추론된다.
예 10. 예들 1-9 중 어느 하나의 방법으로서, 프로세서에 의해, SVT 변환의 위치에 기초하여 SVT 변환의 역을 결정하는 단계를 추가로 포함한다.
예 11. 예들 1-10 중 어느 하나의 방법으로서, 프로세서에 의해, 잔여 블록의 좌측 경계에 배치되는 SVT-V(SVT vertical) 타입 변환에 대해, 역 DST(Discrete Sine Transform)가 이용되거나, 프로세서에 의해, 잔여 블록의 상부 경계에 배치되는 SVT-H(SVT horizontal) 타입 변환에 대해, 역 DST가 이용되거나, 프로세서에 의해, 잔여 블록의 우측 경계에 배치되는 SVT-V 타입 변환에 대해, 역 DCT(Discrete Cosine Transform)가 이용되거나, 또는, 프로세서에 의해, 잔여 블록의 하부 경계에 배치되는 SVT-H 타입 변환에 대해, 역 DCT가 이용된다.
예 12. 예들 1-11 중 어느 하나의 방법으로서, 재구성된 잔여 블록과 연관된 코딩 유닛의 우측 이웃이 재구성되었고 이러한 코딩 유닛의 좌측 이웃이 재구성되지 않았을 때 예측 블록으로 재구성된 잔여 블록을 구성하기 전에 재구성된 잔여 블록에서의 샘플들을, 프로세서에 의해, 수평으로 플립핑하는 단계를 추가로 포함한다.
예 13. 컴퓨팅 디바이스에서 구현되는 방법으로서, 이러한 방법은,
컴퓨팅 디바이스의 프로세서에서, 비디오 캡처 디바이스로부터 비디오 신호를 수신하는 단계- 이러한 비디오 신호는 이미지 블록을 포함함 -;
프로세서에 의해, 예측 블록 및 잔여 블록을 생성하여 이미지 블록을 표현하는 단계;
프로세서에 의해, SVT(spatial varying transform) 변환을 이용하여 잔여 블록을 변환된 잔여 블록으로 전환하는 단계;
프로세서에 의해, SVT 변환의 타입을 비트스트림으로 표시하는 단계;
프로세서에 의해, 비트스트림에서의 SVT 변환의 위치를 표시하는 단계; 및
프로세서에 의해, 예측 블록 및 변환된 잔여 블록을 디코더에 의한 사용을 위해 비트스트림으로 인코딩하는 단계- 이러한 비트스트림은 송신기를 통한 디코더로의 송신을 위해 컴퓨팅 디바이스의 메모리에 저장됨 -를 포함한다.
예 14. 예 13의 방법으로서, SVT 변환의 타입은 SVT-V(SVT vertical) 타입 또는 SVT-H(SVT horizontal)이며, SVT-V 타입은 잔여 블록의 높이와 동일한 높이 및 잔여 블록의 폭의 1/2인 폭을 포함하고, SVT_H 타입은 잔여 블록의 높이의 1/2인 높이 및 잔여 블록의 폭과 동일한 폭을 포함한다.
예 15. 예들 13-14 중 어느 하나의 방법으로서, SVT 변환의 위치는 위치 인덱스에서 인코딩된다.
예 16. 예들 13-15 중 어느 하나의 방법으로서, 위치 인덱스는 CPSS(candidate position step size)에 따라 결정되는 후보 위치들의 세트로부터의 위치를 표시하는 바이너리 코드를 포함한다.
예 17. 예들 13-16 중 어느 하나의 방법으로서, SVT 변환의 가장 가능성 있는 위치는, 프로세서에 의해, 위치 인덱스를 표시하는 바이너리 코드에서 가장 적은 수의 비트들을 배정받는다.
예 18. 예들 13-17 중 어느 하나의 방법으로서, 프로세서에 의해, SVT 변환의 위치에 기초하여 SVT 변환을 위한 변환 알고리즘을 선택하는 단계를 추가로 포함한다.
예 19. 예들 13-18 중 어느 하나의 방법으로서, 잔여 블록의 좌측 경계에 배치되는 SVT-V(SVT vertical) 타입 변환에 대해 프로세서에 의해 DST(Discrete Sine Transform) 알고리즘이 이용되거나, 잔여 블록의 상부 경계에 배치되는 SVT-H(SVT horizontal) 타입 변환에 대해 프로세서에 의해 DST 알고리즘이 선택되거나, 잔여 블록의 우측 경계에 배치되는 SVT-V 타입 변환에 대해 프로세서에 의해 DCT(Discrete Cosine Transform) 알고리즘이 선택되거나, 또는 잔여 블록의 하부 경계에 배치되는 SVT-H 타입 변환에 대해 프로세서에 의해 DCT 알고리즘이 선택된다.
예 20. 예들 13-19 중 어느 하나의 방법으로서, 잔여 블록과 연관된 코딩 유닛의 우측 이웃이 인코딩되었고 이러한 코딩 유닛의 좌측 이웃이 인코딩되지 않았을 때, 프로세서에 의해, 잔여 블록을 변환된 잔여 블록으로 전환하기 전에, 프로세서에 의해, 잔여 블록에서의 샘플들을 수평으로 플립핑하는 단계를 추가로 포함한다.
다음의 문헌이 참조로 본 명세서에 원용된다: C. Zhang, K. Ugur, J. Lainema, A. Hallapuro and M. Gabbouj, "Video Coding Using Spatially Varying Transform", IEEE Trans. Image Process., vol. 21, no.2, Feb. 2011, pp. 127-140.
본 개시내용은 다른 개선된 SVT 스킴을 추가로 도입한다. 이러한 개선은 SVT 블록의 수평 변환의 타입 및 수직 변환의 타입이 SVT 타입 및 SVT 블록 위치에 기초하여 결정된다는 점이다. 수평 변환은 수직 변환과 상이할 수 있다. 이전에, SVT 블록의 수평 변환의 타입 및 수직 변환의 타입은 SVT 블록 위치에만 기초하여 결정되었고, 이들은 항상 동일하다.
제1 실시예는 잔여 블록을 디코딩하는 프로세스를 설명한다. 비디오 데이터의 적어도 하나의 픽처를 포함하는 비트스트림이 디코딩된다. 픽처는 복수의 직사각형 이미지 영역들로 분열되고, 각각의 영역은 CTU(Coding Tree Unit)에 대응한다. CTU는, 비트스트림에 포함되는 블록 파티션 정보에 따라, HEVC에서의 코딩 유닛들과 같은, 복수의 블록들로 파티셔닝된다. 블록들의 코딩 정보는 비트스트림으로부터 파싱되고 블록들의 픽셀들은 코딩 정보에 기초하여 재구성된다.
이러한 실시예에서, SVT는 인터-예측 블록들에 대해 사용되는 것으로 제한된다. SVT는 인트라-예측 블록들에 대해 또한 사용될 수 있다. 더 진보된 방법에서, SVT는 구체적인 인터 예측 방법(예를 들어, 번역 모델 기반 모션 보상)을 사용하는 블록들에 대해 허용되지만 일부 다른 인터 예측 방법(예를 들어, 아핀 모델 기반 모션 보상)을 사용하는 블록들에 대해 허용되지 않을 수 있다. 다른 예에서, SVT는 1/4-화소 모션 벡터 차이 정밀도가 있는 Merge 모드 또는 AMVP(advanced motion vector prediction) 모드를 사용하는 예측 블록들에 대해 허용되지만, 1-화소 또는 4-화소 모션 벡터 차이 정밀도가 있는 아핀 병합 모드, 아핀 인터 모드 또는 AMVP 모드를 사용하는 예측 블록들에 대해 허용되지 않을 수 있다. 다른 예에서, SVT는 병합 인덱스가 2보다 작은 Merge 모드를 사용하는 예측 블록들에 대해 허용되지만, 병합 인덱스가 2보다 작지 않은 Merge 모드를 사용하는 예측 블록들에 대해 허용되지 않을 수 있다. Merge 모드 및 AMVP 모드는 H.265/HEVC 표준에서 참조될 수 있다. 아핀 병합 모드 및 아핀 인터 모드는 JVET(Joint Video Exploration Team)로부터의 JEM(Joint Exploration Model) 코덱에서 참조될 수 있다.
하나의 예에서, 블록은 코딩 유닛을 지칭할 수 있으며, 이러한 코딩 유닛은 하나의 예측 블록 및 하나의 잔여 블록을 포함할 수 있다. 예측 블록은 코딩 유닛의 모든 예측 샘플들을 포함할 수 있고, 잔여 블록은 코딩 유닛의 모든 잔여 샘플들을 포함할 수 있고, 예측 블록은 잔여 블록과 동일한 크기의 것이다. 다른 예에서, 블록은 코딩 유닛을 지칭할 수 있고, 코딩 유닛은 2개의 예측 블록들 및 하나의 잔여 블록을 포함할 수 있고, 각각의 예측 블록은 코딩 유닛의 예측 샘플들의 부분을 포함할 수 있고, 잔여 블록은 코딩 유닛의 모든 잔여 샘플들을 포함할 수 있다. 다른 예에서, 블록은 코딩 유닛을 지칭할 수 있고, 코딩 유닛은 2개의 예측 블록들 및 4개의 잔여 블록들을 포함할 수 있다. 코딩 유닛에서의 잔여 블록들의 파티션 패턴은, HEVC에서의 RQT(Residual Quad-Tree)와 같은, 비트스트림에서 시그널링될 수 있다.
블록은 이미지 샘플들(또는 픽셀들)의 Y 성분만을 포함할 수 있거나, 또는 이것은 이미지 샘플들의 Y, U 및 V 성분들을 포함할 수 있다.
크기 w×h의 잔여 블록 Ro는 다음 단계들에 의해 재구성될 수 있다.
단계 1. 잔여 블록 Ro의 변환 블록 크기를 결정함.
단계 1.1. 신택스 엘리먼트에 따라 SVT의 사용을 결정함. SVT를 사용하는 것이 허용되는 잔여 블록에 대해, 잔여 블록이 Y 성분의 0이 아닌 변환 계수들을 가지면(또는 이것이 임의의 컬러 성분의 0이 아닌 변환 계수들을 가지면), 플래그(즉, svt_flag)가 비트스트림으로부터 파싱된다. 이러한 플래그는 잔여 블록이 잔여 블록과 동일한 크기의 변환 블록을 사용하여 코딩되는지(예를 들어, svt_flag = 0) 또는 잔여 블록이 잔여 블록보다 작은 크기의 변환 블록으로 코딩되는지(예를 들어, svt_flag = 1)를 표시한다. 블록이 컬러 성분의 0이 아닌 변환 계수들을 갖는지는, HEVC에서 사용되는 바와 같이, 컬러 성분의 cbf(coded block flag)에 의해 표시될 수 있다. 블록이 임의의 컬러 성분의 0이 아닌 변환 계수들을 갖는지는, HEVC에서 사용되는 바와 같이, root cbf(root coded block flag)에 의해 표시될 수 있다.
하나의 예에서, 블록은 다음의 조건들이 충족되면 SVT를 사용하는 것이 허용된다:
1) 블록이 인터 예측을 사용하여 예측됨;
2) 블록 폭 또는 블록 높이가 미리 결정된 범위 [a1, a2], 예를 들어, a1=16 및 a2=64, 또는 a1=8 및 a2=64, 또는 a1=16 및 a2=128에 속함. a1 및 a2의 값은 고정 값들일 수 있다. 이러한 값은 SPS(sequence parameter set) 또는 슬라이스 헤더로부터 또한 도출될 수 있다.
다른 예에서, 블록은 다음의 조건들이 충족되면 SVT를 사용하는 것이 허용된다:
1) 블록이 병합 인덱스가 임계값(예를 들어, 1 또는 2 또는 3)보다 작은 Merge 모드를 사용하여 또는 1/4-화소 모션 벡터 차이 정밀도가 있는 AMVP 모드를 사용하여 예측됨;
2) 블록의 하나의 치수가 미리 결정된 범위 [a1, a2]에 속하고, 블록의 다른 치수가 임계값 a3보다 크지 않음, 예를 들어, a1=8, a2=32 및 a3=32임. 파라미터 a1은 최소 변환 크기의 2배로서 설정될 수 있고, a2 및 a3은 양자 모두 최대 변환 크기로서 설정될 수 있다. a1, a2 및 a3의 값은 고정 값들일 수 있다. 이러한 값은 SPS(sequence parameter set) 또는 슬라이스 헤더로부터 또한 도출될 수 있다.
블록이 SVT를 사용하지 않으면, 변환 블록 크기는 w×h로서 설정된다. 그렇지 않으면, 단계 1.2가 적용되어 변환 크기를 결정한다.
단계 1.2. 신택스 엘리먼트에 따라 SVT의 타입을 결정하고, SVT 타입에 따라 변환 블록 크기를 도출함. 잔여 블록에 대해 허용된 SVT 타입들이 잔여 블록의 폭 및 높이에 기초하여 결정된다. w가 범위 [a1, a2]에 있고 h가 a3보다 크지 않으면 SVT-V가 허용되고; h가 범위 [a1, a2]에 있고 w가 a3보다 크지 않으면 SVT-H가 허용된다. SVT는 Y 성분에 대해서만 사용될 수 있거나, 또는 이것은 모든 3개의 성분들에 대해 사용될 수 있다. SVT가 Y 성분에 대해서만 사용될 때, Y 성분 잔여는 SVT에 의해 변환되고 U 및 V 성분들은 잔여 블록의 크기에 따라 변환된다.
SVT-V 및 SVT-H 양자 모두가 허용될 때, 하나의 플래그(즉, svt_type_flag)가 비트스트림으로부터 파싱되고, 이는 잔여 블록에 대해 SVT-V가 사용되는지(예를 들어, svt_type_flag = 0) 또는 SVT-H가 사용되는지(예를 들어, svt_type_flag = 1)를 표시하고, 변환 블록 크기는 시그널링된 SVT 타입에 따라 설정된다(즉, SVT-V에 대해 w_t=w/2 및 h_t=h이고, SVT-H에 대해 w_t=w 및 h_t=h/2임). SVT-V만이 허용되거나 또는 SVT-H만이 허용될 때, svt_type_flag는 비트스트림으로부터 파싱되지 않고, 변환 블록 크기는 허용된 SVT 타입에 따라 설정된다.
단계 2. 신택스 엘리먼트에 따라 변환 블록 위치를 결정하고, SVT의 타입 및 변환 블록 위치 정보에 기초하여 변환 블록에 대한 변환 타입을 결정함.
단계 2.1: 신택스 엘리먼트에 따라 변환 블록 위치를 결정함.
위치 인덱스 P가 비트스트림으로부터 파싱되고, 변환 블록의 상부 좌측 코너 대 잔여 블록의 상부 좌측 코너의 위치 오프셋 Z가 Z = s × P로서 결정되며, s는 CPSS(candidate position step size)이다. SVT-V가 사용되면 P의 값은 0, 1, ...,
Figure pat00003
중에 있거나, 또는 SVT-H가 사용되면 P의 값은 0, 1, ...,
Figure pat00004
중에 있다. 더 구체적으로, (0, 0)이 잔여 블록의 상부 좌측 코너의 좌표를 표현한다면, 변환 블록의 상부 좌측 코너의 좌표는 SVT-V에 대해 (Z, 0)이거나 또는 SVT-H에 대해 (0, Z)이다.
하나의 예에서, CPSS는 SVT-V에 대해 s = w/M1로서 또는 SVT-H에 대해 s = h/M2로서 계산되며, w 및 h는 각각 잔여 블록의 폭 및 높이이고, M1 및 M2는 2 내지 8의 범위에 있는 미리 결정된 정수들이다. 더 큰 M1 또는 M2 값들로 더 많은 후보 위치들이 허용된다. 이러한 예에서, M1 및 M2는 양자 모두 8로서 설정된다. 따라서, P의 값은 0 내지 4 중에 있다. 후보 위치들이 도 21에 예시된다.
다른 예에서, CPSS는 SVT-V에 대해 s = max(w/M1, Th1)로서 또는 SVT-H에 대해 s = max(h/M2, Th2)로서 계산되며, Th1 및 Th2는 최소 단계 크기를 명시하는 미리 정의된 정수들이다. Th1 및 Th2는 2보다 작지 않은 정수들이다. 이러한 예에서, Th1 및 Th2는 4로서 설정되고, M1 및 M2는 8로서 설정된다. 이러한 예에서, 상이한 블록 크기들은 상이한 수의 후보 위치들을 가질 수 있다. 예를 들어, w=8일 때, (도 21의 (a) 및 도 21의 (e)에 의해 예시되는 바와 같이) 2개의 후보 위치들이 선택에 이용가능하고; w=16일 때, (도 21의 (a), 도 21의 (c), 및 도 21의 (e)에 의해 예시되는 바와 같이) 3개의 후보 위치들이 선택에 이용가능하고; w>16일 때, 5개의 위치들이 선택에 이용가능하다.
다른 예에서, CPSS는 SVT-V에 대해 s = w/M1로서 또는 SVT-H에 대해 s = h/M2로서 계산되며, M1 및 M2는 4로서 설정된다. 따라서, 3개의 후보 위치들이 허용된다.
다른 예에서, CPSS는 SVT-V에 대해 s = w/M1로서 또는 SVT-H에 대해 s = h/M2로서 계산되며, M1 및 M2는 2로서 설정된다. 따라서, 2개의 후보 위치들이 허용된다.
다른 예에서, CPSS는 SVT-V에 대해 s = max(w/M1, Th1)로서 또는 SVT-H에 대해 s = max(h/M2, Th2)로서 계산되며, T1 및 T2는 2로서 설정되고, M1은 w ≥ h이면 8로서 설정되거나 또는 w < h이면 4로서 설정되고, M2는 h ≥ w이면 8로서 설정되거나 또는 h < w이면 4로서 설정된다. 이러한 경우, SVT-H 또는 SVT-V에 대한 후보 위치들의 수는 잔여 블록의 종횡비에 추가로 의존할 수 있다.
다른 예에서, CPSS는 SVT-V에 대해 s = max(w/M1, Th1)로서 또는 SVT-H에 대해 s = max(h/M2, Th2)로서 계산되며, M1, M2, Th1 및 Th2의 값들은 비트스트림에서 하이-레벨 신택스 구조(예를 들어, 시퀀스 파라미터 세트)로부터 도출된다. M1 및 M2는 신택스 엘리먼트로부터 파싱되는 동일한 값을 공유할 수 있고, Th1 및 Th2는 다른 신택스 엘리먼트로부터 파싱되는 동일한 값을 공유할 수 있다.
위치 인덱스 P는 절단된 단항 코드를 사용하여 하나 이상의 빈으로 바이너리화될 수 있다. 예를 들어, P 값이 0 내지 4의 범위에 있으면, P 값 0, 4, 2, 3 및 1은 0, 01, 001, 0001 및 0000으로서 각각 바이너리화되고; P 값이 0 내지 1의 범위에 있으면, P 값 0 및 1은 각각 0과 1로서 바이너리화된다.
위치 인덱스 P는 하나의 가장 가능성 있는 위치 및 몇몇 남아있는 위치를 사용하여 하나 이상의 빈으로 바이너리화될 수 있다. 좌측 및 상부 이웃들이 이용가능할 때, 가장 가능성 있는 위치는 잔여 블록의 하부-우측 코너를 커버하는 위치로서 설정될 수 있다. 하나의 예에서, P 값이 0 내지 4의 범위에 있고 위치 4가 가장 가능성 있는 위치로서 설정되면, P 값 4, 0, 1, 2 및 3은 각각 1, 000, 001, 010 및 011로서 바이너리화되고; P 값이 0 내지 2의 범위에 있고 위치 2가 가장 가능성 있는 위치로서 설정되면, P 값 2, 0 및 1은 각각 1, 01 및 00으로서 바이너리화된다.
단계 2.2: SVT의 타입 및 변환 블록 위치 정보에 기초하여 변환 블록에 대한 변환 타입을 결정함. 이러한 변환 타입은 2-D 분리가능 변환의 수평 변환 및 수직 변환을 포함한다.
도 22에 도시되는 바와 같이, 3개의 후보 위치들이 예에 대해 허용되는 경우를 취한다. 위치 0은 상부-좌측 코너를 커버하고, 위치 2는 하부-우측 코너를 커버한다. 위치 1은 잔여 블록의 중간에 있다. 도 22에 도시되는 바와 같이, SVT-V 및 SVT-H 양자 모두에 대해 3개의 위치들이 존재한다.
2-차원 변환은 1-차원 수평 변환 및 수직 변환으로 분리가능할 수 있다. 잔여를 변환 계수들로 전환하는 순방향 2D 변환은, JEM 코덱에서 구현되는 바와 같이, 잔여 블록에 대해 수평 변환을 먼저 적용하여 블록 TA를 생성하고, 블록 TA에 대해 다음으로 수직 변환을 적용하여 변환 계수 블록을 생성하는 것에 의해 실현될 수 있다. 따라서, 변환 계수들을 다시 잔여들로 전환하는 역 2D 변환은, JEM 코덱에서 구현되는 바와 같이, 변환 계수 블록에 대해 역 수직 변환을 먼저 적용하여 블록 TB를 생성하고, 블록 TB에 대해 역 수평 변환을 다음으로 적용하여 잔여 블록을 생성하는 것에 의해 실현될 수 있다.
하나의 예에서, 표 I에 열거되는 바와 같이, SVT-V 위치 0에 대한 수평 및 수직 변환은 DCT-8 및 DST-7이고; SVT-V 위치 1에 대한 수평 및 수직 변환은 DST-1 및 DST-7이고; SVT-V 위치 2에 대한 수평 및 수직 변환은 DST-7 및 DST-7이고; SVT-H 위치 0에 대한 수평 및 수직 변환은 DST-7 및 DCT-8이고; SVT-H 위치 1에 대한 수평 및 수직 변환은 DST-7 및 DST-1이고; SVT-H 위치 2에 대한 수평 및 수직 변환은 DST-7 및 DST-7이다. 이러한 예에서, SVT-V에 대한 수직 변환 및 SVT-H에 대한 수평 변환은 DST-7로서 설정되고, 다른 변환은 SVT 위치에 기초한다.
Figure pat00005
대안적인 구현 방식에서, 본 개시내용 전반적으로 DST-7은 DST-4로 대체될 수 있고, DCT-8은 DCT-4로 대체될 수 있다. 따라서, 하나의 예에서, 표 I에 열거되는 바와 같이, SVT-V 위치 0에 대한 수평 및 수직 변환은 DCT-4 및 DST-4이고; SVT-V 위치 1에 대한 수평 및 수직 변환은 DST-1 및 DST-4이고; SVT-V 위치 2에 대한 수평 및 수직 변환은 DST-4 및 DST-4이고; SVT-H 위치 0에 대한 수평 및 수직 변환은 DST-4 및 DCT-4이고; SVT-H 위치 1에 대한 수평 및 수직 변환은 DST-4 및 DST-1이고; SVT-H 위치 2에 대한 수평 및 수직 변환은 DST-4 및 DST-4이다. 이러한 예에서, SVT-V에 대한 수직 변환 및 SVT-H에 대한 수평 변환은 DST-4로서 설정되고, 다른 변환은 SVT 위치에 기초한다.
Figure pat00006
다른 예에서, 상이한 SVT 타입들 및 위치들에 대한 수평 변환 및 수직 변환이 표 II에 열거된다. 이러한 예에서, SVT-V에 대한 수직 변환 및 SVT-H에 대한 수평 변환은 DCT-2로서 설정되고, 다른 변환은 SVT 위치에 기초한다.
Figure pat00007
대안적인 구현 방식에서, 본 개시내용 전반적으로 DST-7은 DST-4로 대체될 수 있고, DCT-8은 DCT-4로 대체될 수 있다. 따라서,
Figure pat00008
다른 예에서, 상이한 SVT 타입들 및 위치들에 대한 수평 변환 및 수직 변환이 표 III에 열거된다. 이러한 예에서, 수평 변환 및 수직 변환은 SVT 위치에 의해서만 결정된다.
Figure pat00009
대안적인 구현 방식에서, 본 개시내용 전반적으로 DST-7은 DST-4로 대체될 수 있고, DCT-8은 DCT-4로 대체될 수 있다. 따라서,
Figure pat00010
다른 예에서, 상이한 SVT 타입들 및 위치들에 대한 수평 변환 및 수직 변환이 표 IV에 열거된다.
Figure pat00011
대안적인 구현 방식에서, 본 개시내용 전반적으로 DST-7은 DST-4로 대체될 수 있고, DCT-8은 DCT-4로 대체될 수 있다. 따라서,
Figure pat00012
다른 예에서, 상이한 SVT 타입들 및 위치들에 대한 수평 변환 및 수직 변환이 표 V에 열거된다.
Figure pat00013
대안적인 구현 방식에서, 본 개시내용 전반적으로 DST-7은 DST-4로 대체될 수 있고, DCT-8은 DCT-4로 대체될 수 있다. 따라서,
Figure pat00014
다른 예에서, 상이한 SVT 타입들 및 위치들에 대한 수평 변환 및 수직 변환이 표 VI에 열거된다.
Figure pat00015
대안적인 구현 방식에서, 본 개시내용 전반적으로 DST-7은 DST-4로 대체될 수 있고, DCT-8은 DCT-4로 대체될 수 있다. 따라서,
Figure pat00016
위치-의존적 다수의 변환들은 루마 변환 블록에만 적용될 수 있고, 대응하는 크로마 변환 블록들은 역 변환 프로세스에서 역 DCT-2를 항상 사용한다.
단계 3. 변환 블록 크기에 기초하여 변환 블록의 변환 계수들을 파싱함.
이러한 것은, HEVC 또는 H.264/AVC에서의 변환 계수 파싱과 같은, 비디오 디코딩에서 보통 사용되는 프로세스이다. 변환 계수들은 런-길이 코딩을 사용하여 코딩되거나 또는 변환 CG(coefficient groups)의 세트로서 더 복잡하게 코딩될 수 있다.
단계 3은 단계 2 전에 수행될 수 있다.
단계 4. 변환 계수들 및 변환 블록 위치 및 역 변환의 타입에 기초하여 잔여 블록 Ro를 재구성함.
크기 w_t×h_t의 역 양자화 및 역 변환이 변환 계수들에 적용되어 잔여 샘플들을 복구한다. 잔여 샘플들의 크기는 변환 블록 크기와 동일한w_t×h_t이다. 역 변환은 2-D 분리가능 변환이다. 양자화해제된 변환 계수 블록이 역 수직 변환에 의해 먼저 변환되어 블록 TC를 생성하고 다음으로 블록 TC가 역 수평 변환에 의해 변환되며, 역 수평 변환 및 역 수직 변환은 변환 블록 위치에 기초하여 또는 변환 블록 위치 및 변환 블록의 SVT 타입 양자 모두에 기초하여 단계 2.2에서 결정된다.
잔여 샘플들이, 변환 블록 위치에 따라, 잔여 블록 Ro 내부의 대응하는 영역에 배정되고, 잔여 블록 내부의 나머지 샘플들이 0으로서 설정된다. 예를 들어, SVT-V가 사용되고 후보 위치의 수가 5이고 위치 인덱스가 4이면, 재구성된 잔여 샘플들이 도 21의 (e)에서의 영역 A에 배정되고, 영역 A의 좌측으로의 크기 (w/2)×h의 영역은 제로 잔여를 갖는다.
단계 1 내지 단계 4를 수행한 후, 재구성된 잔여 블록이 예측 블록으로 구성되어 코딩 유닛에서 재구성된 샘플들을 생성할 수 있다. 필터링 프로세스가, HEVC에서의 디블록킹 필터 및 SAO(sample adaptive offset) 처리와 같이, 재구성된 샘플들에 차후 적용될 수 있다.
기존 해결책들과 달리, 본 해결책은 SVT 타입 및 위치 정보에 기초하여 변환 블록에 대해 다수의 변환 타입들을 적응적으로 사용한다.
본 개시내용은 개선된 SVT 스킴을 도입한다. 도 23에 도시되는 바와 같이, SVT-H 및 SVT-V로서 표기되는, 2개의 타입들의 SVT 블록들이 잔여 코딩에 대해 사용된다. 이들은 (1) SVT-V: w_t=w/2 및 h_t=h; 및 (2) SVT-H: w_t=w 및 h_t=h/2이다.
SVT-V는 SVT-II와 유사하고, SVT-H는 SVT-III과 유사하다. SVT-II 및 SVT-III와 비교하여, SVT-V 및 SVT-H에서의 변환 블록은 잔여 블록의 1/2로 확대되고, 이는 잔여 블록에서 더 많은 잔여를 커버할 수 있다. SVT-II 또는 SVT-H는 SVT-V 또는 SVT-H를 대체하기 위해 사용될 수 있다는 점에 주목한다.
후보 위치들은 CPSS(Candidate Position Step Size)에 의해 결정된다. 따라서, 후보 위치들은 CPSS에 의해 명시되는 동일 공간으로 분리된다. 후보 위치의 수는 상이한 실시예들에서 5 이하로 감소되는데, 이는 최상의 변환 블록 위치를 결정하기 위한 인코더 복잡도 뿐만 아니라 위치 정보의 오버헤드를 완화시킨다.
CPSS는 2개의 인접한 후보 위치들 사이의 거리(예를 들어, [1]에서의 1)를 표기하고, 잔여 블록의 폭 또는 높이에 기초하여 계산된다. 보다 구체적으로, SVT-V에 대한 후보 위치 단계 크기는 h_b = max(w/M1, Th1)로서 결정되며, M1 및 Th1은 미리 정의된 정수들이고, max(a, b)는 a와 b 사이의 최대값을 선택하는 동작이다. 유사하게, SVT-H에 대한 후보 위치 단계 크기들은 w_b = max(w/M2, Th2)로서 결정되며, M2 및 Th2는 미리 정의된 정수들이다. M1 및 M2는 2와 8 사이의 정수들이다, 예를 들어, M1=M2=8, 또는 M1=M2=4, 또는 M1=M2=2이다. Th1 및 Th2는 2보다 작지 않은 정수들이다. M1, M2, Th1 및 Th2는 고정 값들로서 설정될 수 있거나 또는 이들은 비트스트림에서의 하이-레벨 신택스 구조(예를 들어, 시퀀스 파라미터 세트)로부터 도출될 수 있다.
SVT 정보(예를 들어, 잔여 블록에 대한 SVT의 사용, SVT의 타입, 및 변환 블록의 위치)의 코딩은 [1]에서의 것과 상이하고, 잔여 블록의 변환 계수들을 분석하는 것에 의해 추가로 개선된다.
SVT-V: w_t = w/2 및 h_t = h인 경우에 대해, SVT 정보는 디코딩된 변환 계수들로부터 부분적으로 도출될 수 있다. 하나의 예에서, 위치 정보는 변환 계수 레벨들의 합으로부터 도출될 수 있다. 다른 예에서, SVT 타입 정보는 제1 그룹의 변환 계수들(예를 들어, 스캔 순서에서의 처음 16개 계수들)의 합으로부터 도출되고, 위치 정보는 제2 그룹의 변환 계수들(예를 들어, 변환 블록에서의 나머지 계수들)의 합으로부터 도출된다.
SVT-H: w_t = w 및 h_t = h/2인 경우에 대해, 후보 위치들의 수는 변환 계수 정보에 따라 결정되고, 위치 정보는 후보 위치들의 수에 기초하여 디코딩된다.
실시예 1
이러한 실시예는 잔여 블록을 디코딩하는 프로세스를 설명한다. 비디오 데이터의 적어도 하나의 픽처를 포함하는 비트스트림이 디코딩된다. 픽처는 복수의 직사각형 이미지 영역들로 분열되고, 각각의 영역은 CTU(Coding Tree Unit)에 대응한다. CTU는, 비트스트림에 포함되는 블록 파티션 정보에 따라, HEVC(High Efficiency Video Coding)에서의 코딩 유닛들과 같은, 복수의 블록들로 파티셔닝된다. 블록들의 코딩 정보는 비트스트림으로부터 파싱되고 블록들의 픽셀들은 코딩 정보에 기초하여 재구성된다.
이러한 실시예에서, SVT는 인터-예측 블록들에 대해 사용되는 것으로 제한된다. SVT는 인트라-예측 블록들에 대해 또한 사용될 수 있다. 더 진보된 방법에서, SVT는 구체적인 인터 예측 방법(예를 들어, 번역 모델 기반 모션 보상)을 사용하는 블록들에 대해 허용되지만 일부 다른 인터 예측 방법(예를 들어, 아핀 모델 기반 모션 보상)을 사용하는 블록들에 대해 허용되지 않을 수 있다.
하나의 예에서, 블록은 코딩 유닛을 지칭할 수 있으며, 이러한 코딩 유닛은 하나의 예측 블록 및 하나의 잔여 블록을 포함할 수 있다. 예측 블록은 코딩 유닛의 모든 예측 샘플들을 포함할 수 있고, 잔여 블록은 코딩 유닛의 모든 잔여 샘플들을 포함할 수 있고, 예측 블록은 잔여 블록과 동일한 크기의 것이다. 다른 예에서, 블록은 코딩 유닛을 지칭할 수 있고, 코딩 유닛은 2개의 예측 블록들 및 하나의 잔여 블록을 포함할 수 있고, 각각의 예측 블록은 코딩 유닛의 예측 샘플들의 부분을 포함할 수 있고, 잔여 블록은 코딩 유닛의 모든 잔여 샘플들을 포함할 수 있다. 다른 예에서, 블록은 코딩 유닛을 지칭할 수 있고, 코딩 유닛은 2개의 예측 블록들 및 4개의 잔여 블록들을 포함할 수 있다. 코딩 유닛에서의 잔여 블록들의 파티션 패턴은, HEVC에서의 RQT(Residual Quad-Tree)와 같은, 비트스트림에서 시그널링될 수 있다.
블록은 이미지 샘플들(또는 픽셀들)의 Y 성분만을 포함할 수 있거나, 또는 이것은 이미지 샘플들의 Y, U 및 V 성분들을 포함할 수 있다.
크기 w×h의 잔여 블록 Ro는 다음 단계들에 의해 재구성될 수 있다.
단계 1. 잔여 블록 Ro의 변환 블록 크기를 결정함.
단계 1.1. 신택스 엘리먼트에 따라 SVT의 사용을 결정함. SVT를 사용하는 것이 허용되는 잔여 블록에 대해, 잔여 블록이 Y 성분의 0이 아닌 변환 계수들을 가지면(또는 이것이 임의의 컬러 성분의 0이 아닌 변환 계수들을 가지면), 플래그(즉, svt_flag)가 비트스트림으로부터 파싱되고, 이는 잔여 블록이 잔여 블록과 동일한 크기의 변환 블록을 사용하여 코딩되는지(예를 들어, svt_flag = 0) 또는 잔여 블록이 잔여 블록보다 작은 크기의 변환 블록으로 코딩되는지(예를 들어, svt_flag = 1)를 표시한다. 블록이 컬러 성분의 0이 아닌 변환 계수들을 갖는지는, HEVC에서 사용되는 바와 같이, 컬러 성분의 cbf(coded block flag)에 의해 표시될 수 있다. 블록이 임의의 컬러 성분의 0이 아닌 변환 계수들을 갖는지는, HEVC에서 사용되는 바와 같이, root cbf(root coded block flag)에 의해 표시될 수 있다.
하나의 예에서, 블록은 다음 조건들이 충족되면 SVT를 사용하는 것이 허용된다.
1) 블록이 인터 예측을 사용하여 예측됨;
2) 블록 폭 또는 블록 높이가 미리 결정된 범위 [a1, a2], 예를 들어, a1=16 및 a2=64, 또는 a1=8 및 a2=64, 또는 a1=16 및 a2=128에 속함. a1 및 a2의 값은 고정 값들일 수 있다. 이러한 값은 SPS(sequence parameter set) 또는 슬라이스 헤더로부터 또한 도출될 수 있다.
블록이 SVT를 사용하지 않으면, 변환 블록 크기는 w×h로서 설정된다. 그렇지 않으면, 단계 1.2가 적용되어 변환 크기를 결정한다.
단계 1.2. 신택스 엘리먼트에 따라 SVT의 타입을 결정하고, SVT 타입에 따라 변환 블록 크기를 도출함. 잔여 블록에 대해 허용된 SVT 타입들이 잔여 블록의 폭 및 높이에 기초하여 결정된다. w가 범위 [a1, a2]에 있으면 SVT-V가 허용되고; h가 범위 [a1, a2]에 있으면 SVT-H가 허용된다. SVT는 Y 성분에 대해서만 사용될 수 있거나, 또는 이것은 모든 3개의 성분들에 대해 사용될 수 있다. SVT가 Y 성분에 대해서만 사용될 때, Y 성분 잔여는 SVT에 의해 변환되고 U 및 V 성분들은 잔여 블록의 크기에 따라 변환된다.
SVT-V 및 SVT-H 양자 모두가 허용될 때, 하나의 플래그(즉, svt_type_flag)가 비트스트림으로부터 파싱되고, 이는 잔여 블록에 대해 SVT-V가 사용되는지(예를 들어, svt_type_flag = 0) 또는 SVT-H가 사용되는지(예를 들어, svt_type_flag = 1)를 표시하고, 변환 블록 크기는 시그널링된 SVT 타입에 따라 설정된다(즉, SVT-V에 대해 w_t=w/2 및 h_t=h이고, SVT-H에 대해 w_t=w 및 h_t=h/2임). SVT-V만이 허용되거나 또는 SVT-H만이 허용될 때, svt_type_flag는 비트스트림으로부터 파싱되지 않고, 변환 블록 크기는 허용된 SVT 타입에 따라 설정된다.
단계 2. 신택스 엘리먼트에 따라 변환 블록 위치를 결정함.
위치 인덱스 P가 비트스트림으로부터 파싱되고, 변환 블록의 상부 좌측 코너 대 잔여 블록의 상부 좌측 코너의 위치 오프셋 Z가 Z = s × P로서 결정되며, s는 CPSS이다. SVT-V가 사용되면 P의 값은 0, 1, ...,
Figure pat00017
중에 있거나, 또는 SVT-H가 사용되면 P의 값은 0, 1, ...,
Figure pat00018
중에 있다. 더 구체적으로, (0, 0)이 잔여 블록의 상부 좌측 코너의 좌표를 표현한다면, 변환 블록의 상부 좌측 코너의 좌표는 SVT-V에 대해 (Z, 0)이거나 또는 SVT-H에 대해 (0, Z)이다.
하나의 예에서, CPSS는 SVT-V에 대해 s = w/M1로서 또는 SVT-H에 대해 s = h/M2로서 계산되며, w 및 h는 각각 잔여 블록의 폭 및 높이이고, M1 및 M2는 2 내지 8의 범위에 있는 미리 결정된 정수들이다. 더 큰 M1 또는 M2 값들로 더 많은 후보 위치들이 허용된다. 이러한 예에서, M1 및 M2는 양자 모두 8로서 설정된다. 따라서, P의 값은 0 내지 4 중에 있다. 후보 위치들이 도 24에 도시된다.
다른 예에서, CPSS는 SVT-V에 대해 s = max(w/M1, Th1)로서 또는 SVT-H에 대해 s = max(h/M2, Th2)로서 계산되며, Th1 및 Th2는 최소 단계 크기를 명시하는 미리 정의된 정수들이다. Th1 및 Th2는 2보다 작지 않은 정수들이다. 이러한 예에서, Th1 및 Th2는 4로서 설정되고, M1 및 M2는 8로서 설정된다. 이러한 예에서, 상이한 블록 크기들은 상이한 수의 후보 위치들을 가질 수 있다. 예를 들어, w=8일 때, (도 24의 (a) 및 도 24의 (e)에 의해 예시되는 바와 같이) 2개의 후보 위치들이 선택에 이용가능하고; w=16일 때, (도 24의 (a), 도 24의 (c), 및 도 24의 (e)에 의해 예시되는 바와 같이) 3개의 후보 위치들이 선택에 이용가능하고; w>16일 때, 5개의 위치들이 선택에 이용가능하다.
다른 예에서, CPSS는 SVT-V에 대해 s = w/M1로서 또는 SVT-H에 대해 s = h/M2로서 계산되며, M1 및 M2는 4로서 설정된다. 따라서, 3개의 후보 위치들이 허용된다.
다른 예에서, CPSS는 SVT-V에 대해 s = w/M1로서 또는 SVT-H에 대해 s = h/M2로서 계산되며, M1 및 M2는 2로서 설정된다. 따라서, 2개의 후보 위치들이 허용된다.
다른 예에서, CPSS는 SVT-V에 대해 s = max(w/M1, Th1)로서 또는 SVT-H에 대해 s = max(h/M2, Th2)로서 계산되며, T1 및 T2는 2로서 설정되고, M1은 w ≥ h이면 8로서 설정되거나 또는 w < h이면 4로서 설정되고, M2는 h ≥ w이면 8로서 설정되거나 또는 h < w이면 4로서 설정된다. 이러한 경우, SVT-H 또는 SVT-V에 대한 후보 위치들의 수는 잔여 블록의 종횡비에 추가로 의존할 수 있다.
다른 예에서, CPSS는 SVT-V에 대해 s = max(w/M1, Th1)로서 또는 SVT-H에 대해 s = max(h/M2, Th2)로서 계산되며, M1, M2, Th1 및 Th2의 값들은 비트스트림에서 하이-레벨 신택스 구조(예를 들어, 시퀀스 파라미터 세트)로부터 도출된다. M1 및 M2는 신택스 엘리먼트로부터 파싱되는 동일한 값을 공유할 수 있고, Th1 및 Th2는 다른 신택스 엘리먼트로부터 파싱되는 동일한 값을 공유할 수 있다.
위치 인덱스 P는 절단된 단항 코드를 사용하여 하나 이상의 빈으로 바이너리화될 수 있다. 예를 들어, P 값이 0 내지 4의 범위에 있으면, P 값 0, 4, 2, 3 및 1은 0, 01, 001, 0001 및 0000으로서 각각 바이너리화되고; P 값이 0 내지 1의 범위에 있으면, P 값 0 및 1은 각각 0과 1로서 바이너리화된다.
단계 3. 변환 블록 크기에 기초하여 변환 블록의 변환 계수들을 파싱함.
이러한 것은, HEVC 또는 H.264/AVC(Advanced Video Coding)에서의 변환 계수 파싱과 같은, 비디오 디코딩에서 보통 사용되는 프로세스이다. 변환 계수들은 런-길이 코딩을 사용하여 코딩되거나 또는 변환 그룹들의 세트로서 더 복잡하게 코딩될 수 있다.
단계 3은 단계 2 전에 수행될 수 있다.
단계 4. 변환 계수들 및 변환 블록 위치에 기초하여 잔여 블록 Ro를 재구성함.
크기 w_t×h_t의 역 양자화 및 역 변환이 변환 계수들에 적용되어 잔여 샘플들을 복구한다. 잔여 샘플들의 크기는 변환 블록 크기와 동일한w_t×h_t이다. 역 변환은 역 DCT(Discrete Cosine Transform) 또는 역 DST(Discrete Sine Transform)일 수 있다.
잔여 샘플들이, 변환 블록 위치에 따라, 잔여 블록 Ro 내부의 대응하는 영역에 배정되고, 잔여 블록 내부의 나머지 샘플들이 0으로서 설정된다. 예를 들어, SVT-V가 사용되고 후보 위치의 수가 5이고 위치 인덱스가 4이면, 재구성된 잔여 샘플들이 도 24의 (e)에서의 영역 A에 배정되고, 영역 A의 좌측으로의 크기 (w/2)×h의 영역은 제로 잔여를 갖는다.
단계 1 내지 단계 4를 수행한 후, 재구성된 잔여 블록이 예측 블록으로 구성되어 코딩 유닛에서 재구성된 샘플들을 생성할 수 있다. 필터링 프로세스가, HEVC에서의 디블록킹 필터 및 SAO(sample adaptive offset) 처리와 같이, 재구성된 샘플들에 차후 적용될 수 있다.
실시예 2
다른 실시예에서, 변환 위치 정보는 잔여 블록의 변환 계수들로부터 도출된다. 크기 w×h의 잔여 블록 Ro는 다음 단계들에 의해 재구성될 수 있다.
단계 1. 잔여 블록 Ro의 변환 블록 크기를 결정함.
실시예 1의 단계 1에서 설명되는 동일한 프로세스가 적용될 수 있다.
단계 2. 변환 블록 크기에 기초하여 변환 블록의 변환 계수들을 파싱함.
실시예 1의 단계 3에서 설명되는 동일한 프로세스가 적용될 수 있다.
단계 3. 변환 계수들의 합에 기초하여 변환 블록 위치를 도출함.
하나의 예에서, 변환 계수들의 합은 Y 성분의 모든 변환 계수들을 가산하는 것에 의해 계산된다. 다른 예에서, 변환 계수들의 합은 Y, U 및 V 성분들의 모든 변환 계수들을 가산하는 것에 의해 계산된다. 다른 예에서, 변환 계수들의 합은 (예를 들어, 지그-재그 스캔을 사용하여) 계수들 스캔 순서로 Y 성분의 처음 N개의 변환 계수들을 가산하는 것에 의해 계산되며, N은 16 또는 32로서 설정될 수 있다.
(실시예 1에서 설명되는 바와 같이, 변환 블록 위치를 표시하는) 위치 인덱스 P는, 다음의 수식에 따라, 변환 블록과 연관된 후보 위치들 Nt의 수 및 변환 계수들 St의 합에 의해 도출된다:
P = St % Nt,
%는 St를 Nt로 제산한 후의 나머지를 구하는 모듈로 동작을 표기한다.
보다 구체적으로, 하나의 예에서, 파라미터 M1 및 M2는 4로서 설정되고, SVT-H 또는 SVT-V에 대한 3개의 후보 위치들이 존재한다(즉, SVT-H 또는 SVT-V에 대한 Nt는 3임). P는 St를 3으로 제산한 나머지로서 계산된다. 다른 예에서, 파라미터 M1 및 M2는 2로서 설정되고, SVT-H 또는 SVT-V에 대한 2개의 후보 위치들이 존재한다(즉, SVT-H 또는 SVT-V에 대한 Nt는 2임). P는 St를 2로 제산한 나머지로서 계산된다.
다른 예에서, 위치 인덱스는 변환 계수 합에 의해 부분적으로 결정될 수 있다. 파라미터 M1 및 M2는 8로서 설정되고, SVT-H 또는 SVT-V에 대한 5개의 후보 위치들이 존재한다. St%3이 0과 동일하면, P는 0으로서 결정되고; St%3이 1과 동일하면, P는 4로서 결정되고; 그렇지 않으면, P 값은 1, 2 및 3 중에 있다(그러나 아직 결정되지 않음). 다음으로, 3개의 가능한 값들을 갖는 신택스 엘리먼트가 파싱되어 신택스 엘리먼트의 값에 기초하여 P가 1 또는 2 또는 3과 동일한지를 결정한다(예를 들어, 신택스 엘리먼트 값이 0, 1 또는 2이면, P는 1, 2 또는 3으로서 설정됨).
위치 인덱스 정보가 계수 합에서 은닉되는지를 결정하기 위한 일부 조건 체크가 존재할 수 있다. 예를 들어, 변환 계수들의 수가 임계값(예를 들어, 4 또는 6)보다 작거나 또는 처음과 마지막 계수들 사이의 거리가 임계값(예를 들어, 5 또는 6)보다 작을 때, 위치 인덱스는 계수 합에 의존하지 않고 명시적으로 시그널링되고, 실시예 1에서의 파싱 프로세스가 적용되어 위치 인덱스를 결정한다.
단계 4. 변환 계수들 및 변환 블록 위치에 기초하여 잔여 블록 Ro를 재구성함.
실시예 1의 단계 4에서 설명되는 동일한 프로세스가 적용될 수 있다.
실시예 3
다른 실시예에서, SVT의 타입은 제1 그룹의 변환 계수에 기초하여 도출되고, 위치 정보는 잔여 블록의 제2 그룹의 변환 계수들로부터 도출된다.
크기 w×h의 잔여 블록 Ro는 다음 단계들에 의해 재구성될 수 있다.
단계 1. 단계 1.1 및 단계 1.2에 의해, 잔여 블록 Ro의 변환 블록 크기를 결정함.
단계 1.1. SVT의 사용을 결정함. 이러한 것은 실시예 1에서의 단계 1.1과 동일하다.
단계 1.2. 제1 그룹의 변환 계수들을 파싱하고, 제1 그룹의 변환 계수들의 합에 기초하여 SVT의 타입을 결정함.
제1 그룹의 변환 계수들은, 도 25에서 솔리드 영역(1)에 의해 예시되는 바와 같이, 변환 블록의 상부 좌측 부분(더 낮은 주파수 변환 계수들에 대응함)에서의 크기 w_t1×h_t1의 영역에 있을 수 있다. 하나의 예에서, w_t1 및 h_t1은 양자 모두 4로서 설정된다. 다른 예에서, w_t1 = max(w/8, 4) 및 h_t1 = max(h/8, 4)이다.
제1-그룹 계수들의 합이 짝수이면, SVT-V(또는 SVT-H)가 사용되고; 그렇지 않으면, SVT-H(또는 SVT-V)가 사용된다.
단계 2. 변환 블록 크기에 기초하여 변환 블록에서의 나머지 변환 계수들을 파싱함.
계수 스캔 순서는 변환 블록의 폭 및 높이에 기초하여 도출된다. 변환 계수들을 파싱할 때, 제1 그룹의 변환 계수들에 의해 커버되는 위치들에서의 계수들은 스킵되고, 이들은 제1 그룹의 변환 계수들이 되도록 배정된다.
단계 3. 제2 그룹의 변환 계수들의 합에 기초하여 변환 블록 위치를 도출함.
합을 계산하기 위해 제2 그룹의 변환 계수들이 사용된다. 이러한 합에 기초하여, 위치 인덱스가 도출되며, 실시예 2에서 설명되는 방법이 사용될 수 있다. 제2 그룹의 변환 계수들은, 도 25에서 점선 영역(2)으로 예시되는 바와 같이, 제1 그룹의 변환 계수들 외의 변환 블록의 상부 좌측 부분에서 크기 w_t2×h_t2의 영역에 있을 수 있다. 하나의 예에서, w_t2=w_t 및 h_t2=h_t이다, 즉, 제1-그룹 계수들 외의 모든 계수들이 제2 그룹에 속한다. 다른 예에서, w_t2 = max(w_t/2, w_t1) 및 h_t2 = max(h_t/2, h_t1)이다.
단계 4. 변환 계수들 및 변환 블록 위치에 기초하여 잔여 블록 Ro를 재구성함. 실시예 1의 단계 4에서의 처리가 사용될 수 있다.
실시예 4
다른 실시예에서, 변환 계수의 분포에 기초하여 SVT를 사용하는 잔여 블록에 대한 후보 위치들의 수가 도출된다.
크기 w×h의 잔여 블록 Ro는 다음 단계들에 의해 재구성될 수 있다.
단계 1. 잔여 블록 Ro의 변환 블록 크기를 결정함.
실시예 1의 단계 1에서 설명되는 동일한 프로세스가 적용될 수 있다.
단계 2. 변환 블록 크기에 기초하여 변환 블록의 변환 계수들을 파싱함.
실시예 1의 단계 3에서 설명되는 동일한 프로세스가 적용될 수 있다.
단계 3. 변환 계수들의 분포에 기초하여 변환 블록 위치를 도출함.
하나의 예에서, 후보 위치들의 수를 결정하기 위해 0이 아닌 변환 계수들의 수 Nnz가 사용된다. Nnz가 임계값보다 작으면(예를 들어, 4 또는 5 또는 8), 후보 위치 단계 크기는 SVT-V에 대해 w/4로서 그리고 SVT-H에 대해 h/4로서 설정되고, 따라서 후보 위치들의 수는 3이고; 그렇지 않으면, 후보 위치 단계 크기는 SVT-V에 대해 w/8로서 또는 SVT-H에 대해 h/8로서 설정되고, 따라서 후보 위치들의 수는 5이다.
다른 예에서, 마지막 0이 아닌 변환 계수들이 변환 블록에서의 상부 좌측 4×4 영역 내부에 있으면, 후보 위치 단계 크기는 SVT-V에 대해 w/4로서 그리고 SVT-H에 대해 h/4로서 설정되고, 따라서 후보 위치들의 수는 3이고; 그렇지 않으면, 후보 위치 단계 크기는 SVT-V에 대해 w/8로서 또는 SVT-H에 대해 h/8로서 설정되고, 따라서 후보 위치들의 수는 5이다.
후보 위치들의 수에 기초하여, 위치 인덱스는 가장 큰 가능한 값이 후보 위치들의 수 마이너스 1인 절단된 단항 코드로 디코딩된다.
단계 4. 변환 계수들 및 변환 블록 위치에 기초하여 잔여 블록 Ro를 재구성함. 실시예 1의 단계 4에서의 처리가 사용될 수 있다.
본 개시내용은 알려진 해결책들에 상대적인 다음의 이점들 및 장점들을 제공한다.
SVT 블록들에 대한 후보 위치들은 잔여 블록의 폭 및 높이에 관련된 단계 크기에 의해 결정되고, 5 이하인 것으로 제한되며, 이는 [1]과 비교하여 변환 블록 정보를 감소시키고 시그널링 오버헤드와 잔여 코딩 효율 사이의 더 나은 균형을 달성한다.
SVT 정보는 [1]과 상이하게 코딩된다, 즉, 이것은 SVT 사용 정보, SVT 타입 정보, 및 SVT 위치 정보로서 편성된다.
SVT 위치 정보는 잔여 블록의 복수의 변환 계수들의 합에 기초하여 도출될 수 있다.
SVT 타입 정보는 잔여 블록의 복수의 변환 계수들의 합에 기초하여 도출될 수 있다.
간편하고 간단한 설명의 목적을 위해, 전술한 기능 모듈들의 분할이 예시를 위해 예로서 취해진다는 점이 해당 분야에서의 기술자에 의해 명확하게 이해될 수 있다. 실제 적용에서는, 전술한 기능들이 요건에 따라 상이한 기능 모듈들에 할당되고 구현될 수 있다, 즉, 장치의 내부 구조가 상이한 기능 모듈들로 분할되어 위에 설명된 기능들의 전부 또는 일부를 구현한다. 전술한 시스템, 장치 및 유닛의 상세한 작업 프로세스에 대해, 전술한 방법 실시예들에서의 대응하는 프로세스가 참조될 수 있으며, 상세사항들이 본 명세서에 다시 설명되지는 않는다.
본 출원에서 제공되는 몇몇 실시예들에서, 개시된 시스템, 장치 및 방법은 다른 방식들로 구현될 수 있다는 점이 이해되어야 한다. 예를 들어, 설명된 장치 실시예는 단지 예시적일 뿐이다. 예를 들어, 모듈 또는 유닛 분할은 단지 논리적인 기능 분할일 뿐이며 실제 구현에서는 다른 분할일 수 있다. 예를 들어, 복수의 유닛들 또는 성분들이 조합되거나 또는 다른 시스템에 통합되거나, 또는 일부 특징들이 무시되거나 또는 수행되지 않을 수 있다. 또한, 디스플레이된 또는 논의된 상호 결합들 또는 직접 결합들 또는 통신 접속들은 일부 인터페이스들을 사용하여 구현될 수 있다. 장치들 또는 유닛들 사이의 간접 결합들 또는 통신 접속들은 전자적, 기계적 또는 다른 형태들로 구현될 수 있다.
별개의 부분들로서 설명되는 유닛들은 물리적으로 별개일 수 있거나 또는 그렇지 않을 수 있고, 유닛들로서 디스플레이되는 부분들은 물리적 유닛들일 수 있거나 또는 그렇지 않을 수 있고, 하나의 위치에 위치될 수 있거나, 또는 복수의 네트워크 유닛들 상에 분포될 수 있다. 이러한 유닛들의 전부 또는 일부는 실시예들의 해결책들의 목적들을 달성하기 위해 실제 요구들에 따라 선택될 수 있다.
또한, 본 발명의 실시예들에서의 기능 유닛들은 하나의 처리 유닛으로 통합될 수 있거나, 또는 이러한 유닛들 각각은 물리적으로 단독으로 존재할 수 있거나, 또는 2개 이상의 유닛들이 하나의 유닛으로 통합된다. 이러한 통합된 유닛은 하드웨어의 형태로 구현될 수 있거나, 또는 소프트웨어 기능 유닛의 형태로 구현될 수 있다.
이러한 통합 유닛이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로서 판매 또는 사용될 때, 이러한 통합 유닛은 컴퓨터-판독가능 저장 매체에 저장될 수 있다. 이러한 이해에 기초하여, 본질적으로 본 발명의 기술적 해결책들, 또는 종래 기술에 기여하는 부분, 또는 기술적 해결책들의 전부 또는 일부는 소프트웨어 제품의 형태로 구현될 수 있다. 이러한 컴퓨터 소프트웨어 제품은 저장 매체에 저장되고, (개인용 컴퓨터, 서버, 또는 네트워크 디바이스일 수 있는) 컴퓨터 디바이스 또는 프로세서(processor)에게 본 발명의 실시예들에서 설명되는 방법들의 단계들의 전부 또는 일부를 수행하라고 명령하기 위한 몇몇 명령어들을 포함한다. 전술한 저장 매체는, USB 플래시 드라이브, 이동식 하드 디스크, 판독-전용 메모리(ROM, Read-Only Memory), 랜덤 액세스 메모리(RAM, Random Access Memory), 자기 디스크, 또는 광학 디스크와 같이, 프로그램 코드를 저장할 수 있는 임의의 매체를 포함한다.
전술한 설명들은 단지 본 발명의 구체적인 구현 방식들일 뿐이며, 본 발명의 보호 범위를 제한하는 것으로 의도되는 것은 아니다. 본 발명에서 개시되는 기술적 범위 내에서 해당 분야에서의 기술자에 의해 쉽게 안출되는 임의의 변형 또는 대체는 본 발명의 보호 범위에 있을 것이다. 따라서, 본 발명의 보호 범위는 청구항들의 보호 범위의 대상일 것이다.

Claims (9)

  1. 비디오 처리 방법으로서,
    코딩 단위(CU)의 예측 정보를 획득하는 단계;
    상기 CU가 하나의 잔여 변환 유닛(TU)만을 포함하고, 상기 잔여 TU의 크기가 상기 CU의 크기 미만일 때, 상기 CU의 TU 파티셔닝 모드 및 상기 잔여 TU의 잔여 위치를 획득하는 단계;
    상기 TU 파티셔닝 모드 및 상기 잔여 위치에 기초하여, 변환 타입 세트로부터 상기 잔여 TU의 변환 타입을 선택하는 단계;
    상기 잔여 TU의 상기 변환 타입에 기초하여, 상기 잔여 TU의 양자화해제된 계수들에 역 변환을 적용하여 상기 잔여 TU의 잔여 블록을 획득하는 단계;
    상기 예측 정보에 기초하여 상기 CU의 예측 블록을 획득하는 단계; 및
    상기 잔여 블록 및 상기 예측 블록에 기초하여 비디오 블록을 획득하는 단계를 포함하는, 비디오 처리 방법.
  2. 제1항에 있어서, 상기 변환 타입 세트는 2개 이상의 변환 타입을 포함하는, 비디오 처리 방법.
  3. 제2항에 있어서, 상기 2개 이상의 변환 타입은:
    수평 변환이 이산 사인 변환(DST) 타입 VII(DST-7)에 기초하고 수직 변환이 DST-7에 기초하는, DST-7/DST-7로 표시되는 변환 타입 1;
    수평 변환이 DST-7에 기초하고 수직 변환이 이산 코사인 변환(DCT) 타입 VIII(DCT-8)에 기초하는, DST-7/DCT-8로 표시되는 변환 타입 2;
    수평 변환이 DCT-8에 기초하고 수직 변환이 DST-7에 기초하는, DCT-8/DST-7로 표시되는 변환 타입 3; 및
    수평 변환이 DCT-8에 기초하고 수직 변환이 DCT-8에 기초하는, DCT-8/DCT-8로 표시되는 변환 타입 4를 포함하는, 비디오 처리 방법.
  4. 제1항에 있어서,
    상기 TU 파티셔닝 모드는 상기 CU가 수평으로 배열되는 2개의 TU- 좌측 TU의 크기는 우측 TU의 크기보다 작거나, 크거나, 동일함 -로 파티셔닝된다는 것을 명시하거나;
    상기 TU 파티셔닝 모드는 상기 CU가 수직으로 배열되는 2개의 TU- 상부 TU의 크기는 하부 TU의 크기보다 작거나, 크거나, 동일함 -로 파티셔닝된다는 것을 명시하는, 비디오 처리 방법.
  5. 제4항에 있어서,
    상기 CU가 수평으로 배열되는 2개의 TU로 파티셔닝될 때 상기 잔여 위치는 좌측 또는 우측이거나;
    상기 CU가 수직으로 배열되는 2개의 TU로 파티셔닝될 때 상기 잔여 위치는 상부 또는 하부인, 비디오 처리 방법.
  6. 제5항에 있어서, 상기 CU의 크기는 W×H로 표시되고,
    상기 CU가 수직으로 배열되는 2개의 TU로 파티셔닝되고 상기 잔여 위치가 상부일 때 상기 변환 타입은 DST-7/DCT-8이고;
    상기 CU가 수직으로 배열되는 2개의 TU로 파티셔닝되고 상기 잔여 위치가 하부일 때 상기 변환 타입은 DST-7/DST-7이고;
    상기 CU가 수평으로 배열되는 2개의 TU로 파티셔닝되고 상기 잔여 위치가 좌측일 때 상기 변환 타입은 DCT-8/DST-7이고;
    상기 CU가 수평으로 배열되는 2개의 TU로 파티셔닝되고 상기 잔여 위치가 우측일 때 상기 변환 타입은 DST-7/DST-7인, 비디오 처리 방법.
  7. 제1항에 있어서, 상기 잔여 TU는 Cb, Cr 및 Y 성분들 중 적어도 하나에 대한 잔여를 포함하는, 비디오 처리 방법.
  8. 컴퓨터로 하여금 제1항 내지 제7항 중 어느 한 항에 따른 방법을 실행하게 하도록 구성된 컴퓨터 판독가능 저장 매체상에 저장된 컴퓨터 프로그램.
  9. 디코더로서,
    코딩 유닛(CU)의 예측 정보를 포함하는 비트스트림을 저장하는 저장 매체;
    상기 저장 매체에 결합되고, 프로그래밍을 실행할 때, 제1항 내지 제7항 중 어느 한 항에 따른 방법을 수행하도록 상기 디코더를 구성하는 하나 이상의 프로세서를 포함하는, 디코더.
KR1020227027125A 2017-10-16 2018-10-07 코딩 방법 및 장치 KR102555673B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237023378A KR102653815B1 (ko) 2017-10-16 2018-10-07 코딩 방법 및 장치

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201762572987P 2017-10-16 2017-10-16
US62/572,987 2017-10-16
US201862634613P 2018-02-23 2018-02-23
US62/634,613 2018-02-23
US201862678738P 2018-05-31 2018-05-31
US62/678,738 2018-05-31
PCT/CN2018/102524 WO2019076138A1 (en) 2017-10-16 2018-08-27 METHOD AND APPARATUS FOR ENCODING
CNPCT/CN2018/102524 2018-08-27
KR1020207011652A KR102431538B1 (ko) 2017-10-16 2018-10-07 코딩 방법 및 장치
PCT/CN2018/109256 WO2019076201A1 (en) 2017-10-16 2018-10-07 METHOD AND APPARATUS FOR ENCODING

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207011652A Division KR102431538B1 (ko) 2017-10-16 2018-10-07 코딩 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237023378A Division KR102653815B1 (ko) 2017-10-16 2018-10-07 코딩 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220113851A true KR20220113851A (ko) 2022-08-16
KR102555673B1 KR102555673B1 (ko) 2023-07-18

Family

ID=66173106

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020237023378A KR102653815B1 (ko) 2017-10-16 2018-10-07 코딩 방법 및 장치
KR1020247010533A KR20240046630A (ko) 2017-10-16 2018-10-07 코딩 방법 및 장치
KR1020227027125A KR102555673B1 (ko) 2017-10-16 2018-10-07 코딩 방법 및 장치
KR1020207011652A KR102431538B1 (ko) 2017-10-16 2018-10-07 코딩 방법 및 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020237023378A KR102653815B1 (ko) 2017-10-16 2018-10-07 코딩 방법 및 장치
KR1020247010533A KR20240046630A (ko) 2017-10-16 2018-10-07 코딩 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207011652A KR102431538B1 (ko) 2017-10-16 2018-10-07 코딩 방법 및 장치

Country Status (12)

Country Link
US (5) US11343523B2 (ko)
EP (4) EP3679715B1 (ko)
JP (3) JP7087071B2 (ko)
KR (4) KR102653815B1 (ko)
CN (6) CN111226438A (ko)
DK (1) DK3679715T3 (ko)
ES (1) ES2939184T3 (ko)
FI (1) FI3679715T3 (ko)
HU (1) HUE060716T2 (ko)
PL (1) PL3679715T3 (ko)
PT (2) PT3679715T (ko)
WO (4) WO2019076138A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019076138A1 (en) 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING
AU2019277966A1 (en) 2018-05-31 2020-11-26 Huawei Technologies Co., Ltd. Spatially varying transform with adaptive transform type
US11240500B2 (en) * 2018-06-01 2022-02-01 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus
US10986340B2 (en) 2018-06-01 2021-04-20 Qualcomm Incorporated Coding adaptive multiple transform information for video coding
WO2020003268A2 (en) * 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Definition of zero unit
CN112753220A (zh) * 2018-09-02 2021-05-04 Lg电子株式会社 基于多重变换选择的图像编码方法及其装置
CA3113988A1 (en) * 2018-09-23 2020-03-26 Lg Electronics Inc. Method for encoding/decoding video signals and apparatus therefor
EP3866468A4 (en) 2018-10-12 2022-07-27 Wilus Institute of Standards and Technology Inc. VIDEO SIGNAL PROCESSING METHOD AND APPARATUS USING MULTI-ASSUMPTION PREDICTION
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
CN113711615A (zh) * 2019-02-15 2021-11-26 北京字节跳动网络技术有限公司 视频压缩中的非二次幂分割树
US11153563B2 (en) * 2019-03-12 2021-10-19 Qualcomm Incorporated Combined in-loop filters for video coding
US11025937B2 (en) * 2019-03-16 2021-06-01 Tencent America LLC Method and apparatus for video coding
US11290731B2 (en) * 2019-05-22 2022-03-29 Tencent America LLC Method and apparatus for video coding
CN113950829A (zh) * 2019-06-06 2022-01-18 北京字节跳动网络技术有限公司 简化的变换编解码工具
CN113940076A (zh) * 2019-06-06 2022-01-14 北京字节跳动网络技术有限公司 应用隐式变换选择
CN110324541B (zh) * 2019-07-12 2021-06-15 上海集成电路研发中心有限公司 一种滤波联合去噪插值方法及装置
WO2022109910A1 (zh) * 2020-11-26 2022-06-02 深圳市大疆创新科技有限公司 视频编码方法、装置、编码器和存储介质
CN113242430A (zh) * 2021-05-31 2021-08-10 杭州当虹科技股份有限公司 视频编码方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2610430T3 (es) * 2001-12-17 2017-04-27 Microsoft Technology Licensing, Llc Codificación por omisión de macrobloques
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
KR100927733B1 (ko) * 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
KR101403338B1 (ko) 2007-03-23 2014-06-09 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
CN102165771A (zh) 2008-08-12 2011-08-24 诺基亚公司 使用空间可变变换的视频编码
GB0906058D0 (en) 2009-04-07 2009-05-20 Nokia Corp An apparatus
CN101668205B (zh) 2009-09-25 2011-04-20 南京邮电大学 基于残差宏块自适应下采样立体视频压缩编码方法
US8885714B2 (en) * 2010-01-14 2014-11-11 Texas Instruments Incorporated Method and system for intracoding in video encoding
KR101487687B1 (ko) * 2010-01-14 2015-01-29 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
KR101791078B1 (ko) 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
US9172968B2 (en) 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
KR20120070479A (ko) * 2010-12-21 2012-06-29 한국전자통신연구원 화면 내 예측 방향 정보 부호화/복호화 방법 및 그 장치
PL3668095T3 (pl) * 2011-01-13 2021-12-13 Canon Kabushiki Kaisha Urządzenie do kodowania obrazu, sposób kodowania obrazu i program, oraz urządzenie do dekodowania obrazu, sposób dekodowania obrazu i program
EP2719184B1 (en) 2011-06-10 2018-09-12 HFI Innovation Inc. Method and apparatus of scalable video coding
KR101943049B1 (ko) * 2011-06-30 2019-01-29 에스케이텔레콤 주식회사 영상 부호화/복호화 방법 및 장치
RU2719302C2 (ru) * 2011-10-18 2020-04-17 Кт Корпорейшен Способ декодирования видеосигнала
JP5711098B2 (ja) * 2011-11-07 2015-04-30 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
KR20130050404A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
KR101830352B1 (ko) * 2011-11-09 2018-02-21 에스케이 텔레콤주식회사 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
US9549182B2 (en) * 2012-07-11 2017-01-17 Qualcomm Incorporated Repositioning of prediction residual blocks in video coding
CN103581676B (zh) * 2012-08-10 2016-12-28 联发科技股份有限公司 视频编码变换系数的解码方法及装置
US20140056347A1 (en) * 2012-08-23 2014-02-27 Microsoft Corporation Non-Transform Coding
US20140307780A1 (en) * 2013-04-11 2014-10-16 Mitsubishi Electric Research Laboratories, Inc. Method for Video Coding Using Blocks Partitioned According to Edge Orientations
CN103716623B (zh) 2013-12-17 2017-02-15 北京大学深圳研究生院 基于加权量化的视频压缩编解码方法及编解码器
KR101737861B1 (ko) * 2014-01-20 2017-05-19 한국전자통신연구원 변환 깊이 기반 dct 사이즈 결정 장치 및 방법
CN104935927A (zh) * 2014-03-17 2015-09-23 上海京知信息科技有限公司 一种基于流水线的hevc视频序列编解码加速方法
CN103997650B (zh) * 2014-05-30 2017-07-14 华为技术有限公司 一种视频解码的方法和视频解码器
CN104125466B (zh) * 2014-07-10 2017-10-10 中山大学 一种基于gpu的hevc并行解码方法
CN105530518B (zh) * 2014-09-30 2019-04-26 联想(北京)有限公司 一种视频编码、解码方法及装置
US10785475B2 (en) 2014-11-05 2020-09-22 Mediatek Singapore Pte. Ltd. Method and apparatus of video coding with prediction offset
CN110855988B (zh) * 2014-11-28 2021-09-07 联发科技股份有限公司 用于视频编码的替代变换的方法及装置
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
CN106254870B (zh) * 2015-06-08 2020-08-18 财团法人工业技术研究院 采用自适性色彩转换的视频编码方法、系统和计算机可读取记录介质
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
CN108605129A (zh) 2016-01-28 2018-09-28 日本放送协会 编码装置、解码装置以及程序
ES2710807B1 (es) 2016-03-28 2020-03-27 Kt Corp Metodo y aparato para procesar senales de video
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
CN113518221B (zh) * 2016-10-14 2024-03-01 联发科技股份有限公司 视频编码或解码方法及相应装置
US10666937B2 (en) * 2016-12-21 2020-05-26 Qualcomm Incorporated Low-complexity sign prediction for video coding
WO2019076138A1 (en) 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Cixun Zhang, et al. Video coding using Variable Block-Size Spatially Varying Transforms, 2009 IEEE International Conference on Acoustics, Speech and Signal Processing, 2009-04-19, pp.905-908* *
Jianle chen, et al. Algorithm description of Joint Exploration Test Model 2, Joint Video exploration Team(JVET), JVET-B1001-v1, 2016-03-08, pp. 1-30* *
Jicheng An, et al. Non-CE7: Boundary-Dependent Transform for Inter-Predicted Residue, JCT-VC of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, JCTVC-G281, 2011-11-22, pp.1-11* *
Xiang Li, et al. Multi-Type-tree, Joint Video exploration Team(JVET), JVET-D0117, 2016-10-06, pp. 1-3* *
Xin Zhao, et al. Enhanced Multiple Transform for Video Coding, IEEE, 2016 Data Compression Conference (DCC), 2016-12-19, pp.73-82* *

Also Published As

Publication number Publication date
KR102555673B1 (ko) 2023-07-18
CN112243124B (zh) 2021-08-20
CN111133760B (zh) 2021-06-08
EP4319161A2 (en) 2024-02-07
EP3679715A1 (en) 2020-07-15
WO2019076200A1 (en) 2019-04-25
HUE060716T2 (hu) 2023-04-28
KR20240046630A (ko) 2024-04-09
US20200329253A1 (en) 2020-10-15
KR102431538B1 (ko) 2022-08-12
ES2939184T3 (es) 2023-04-19
CN111226438A (zh) 2020-06-02
WO2019076206A1 (en) 2019-04-25
JP2022125049A (ja) 2022-08-26
DK3679715T3 (da) 2023-01-09
KR20200053602A (ko) 2020-05-18
US20230069387A1 (en) 2023-03-02
JP7087071B2 (ja) 2022-06-20
EP4145830A1 (en) 2023-03-08
JP2020537451A (ja) 2020-12-17
US20220264134A1 (en) 2022-08-18
US11006139B2 (en) 2021-05-11
CN113573074B (zh) 2022-12-06
US11343523B2 (en) 2022-05-24
US11956455B2 (en) 2024-04-09
US20210243462A1 (en) 2021-08-05
US11523129B2 (en) 2022-12-06
CN113411577A (zh) 2021-09-17
EP3677032A4 (en) 2020-10-21
PT3679715T (pt) 2023-02-28
US20210006809A9 (en) 2021-01-07
EP4319161A3 (en) 2024-04-17
KR102653815B1 (ko) 2024-04-03
FI3679715T3 (fi) 2023-01-31
PT3677032T (pt) 2024-03-19
JP7381660B2 (ja) 2023-11-15
CN113573074A (zh) 2021-10-29
CN111133760A (zh) 2020-05-08
EP3677032B1 (en) 2024-02-07
CN113411577B (zh) 2023-10-20
CN112243124A (zh) 2021-01-19
EP3679715A4 (en) 2020-10-21
KR20230107722A (ko) 2023-07-17
WO2019076138A1 (en) 2019-04-25
EP3677032A1 (en) 2020-07-08
JP2024015480A (ja) 2024-02-02
CN113573073A (zh) 2021-10-29
EP3679715B1 (en) 2022-12-07
WO2019076201A1 (en) 2019-04-25
US20200304816A1 (en) 2020-09-24
US20220191534A9 (en) 2022-06-16
PL3679715T3 (pl) 2023-04-11

Similar Documents

Publication Publication Date Title
KR102431538B1 (ko) 코딩 방법 및 장치
CA3119397C (en) Video encoder, video decoder and methods of encoding or decoding a picture
WO2020073882A1 (en) Video decoder and corresponding methods
WO2020069632A1 (en) A video encoder, a video decoder and corresponding methods

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant