KR101671080B1 - 비디오 코딩에서 비정방형 변환 유닛들 및 예측 유닛들 - Google Patents
비디오 코딩에서 비정방형 변환 유닛들 및 예측 유닛들 Download PDFInfo
- Publication number
- KR101671080B1 KR101671080B1 KR1020147009756A KR20147009756A KR101671080B1 KR 101671080 B1 KR101671080 B1 KR 101671080B1 KR 1020147009756 A KR1020147009756 A KR 1020147009756A KR 20147009756 A KR20147009756 A KR 20147009756A KR 101671080 B1 KR101671080 B1 KR 101671080B1
- Authority
- KR
- South Korea
- Prior art keywords
- intra prediction
- partitions
- partition
- unit
- prediction
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 개시물은 인트라 예측 비디오 코딩 프로세스에서 변환 파티셔닝을 위한 기법들을 제안한다. 일 예에서, 주어진 인트라 예측된 블록에 대해, 감소된 수의 변환 유닛 파티션 옵션들이 특정 조건들에 기초하여 허용된다. 다른 예에서, 변환 유닛들은 인트라 예측된 블록에 대한 예측 유닛들로부터 디커플링된다. 주어진 예측 유닛에 대해, 예측 유닛과는 상이한 사이즈들 및 형상들의 변환들이 적용될 수도 있다. 다른 예에서, 감소된 수의 인트라 예측 모드들은 비정방형 형상을 갖는 예측 유닛에 대해 허용된다.
Description
본 출원은 2011년 9 월 12 일에 출원된 미국 가출원 제 61/533,703 호, 2011 년 9 월 19 일에 출원된 미국 가출원 제 61/536,414 호, 및 2011 년 10 월 27 일에 출원된 미국 가출원 제 61/552,216 호의 혜택을 주장한다.
본 개시물은 비디오 코딩에 관한 것이고, 보다 구체적으로는, 비디오 데이터를 코딩할 때 인트라 예측 블록에 대한 변환 유닛 및 예측 유닛 파티션들을 선택하고 시그널링하는 기법들에 관한 것이다.
본 개시물은 비디오 코딩에 관한 것이고, 보다 구체적으로는, 비디오 데이터를 코딩할 때 인트라 예측 블록에 대한 변환 유닛 및 예측 유닛 파티션들을 선택하고 시그널링하는 기법들에 관한 것이다.
디지털 비디오 성능들은, 디지털 텔레비전, 디지털 다이렉트 브로드캐스트 시스템들, 무선 브로드캐스트 시스템들, PDA들 (personal digital assistants), 랩톱 또는 데스크톱 컴퓨터들, 디지털 카메라들, 디지털 레코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게임 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화들, 화상 원격회의 디바이스들 등을 포함하는 광범위한 디바이스들에 통합될 수 있다. 디지털 비디오 디바이스들은 MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, 파트 10, 고급 비디오 코딩 (Advanced Video Coding; AVC), 현재 개발 중에 있는 고효율 비디오 코딩(High Efficiency Video Coding; HEVC) 표준에 의해 규정된 표준들 및 이러한 표준들의 확장안들에 기재된 것들과 같은 비디오 압축 기술들을 구현하여, 디지털 비디오 정보를 더 효율적으로 송신하고 수신한다.
비디오 압축 기법들은 비디오 시퀀스들에 내재한 리던던시를 감소시키거나 또는 제거하기 위해 공간적 예측 및/또는 시간적 예측을 포함한다. 블록 기반 비디오 코딩에 대해, 비디오 프레임 또는 슬라이스가 블록들로 파티셔닝될 수도 있다. 각각의 블록은 더 파티셔닝될 수 있다. 인트라 코딩된 (I) 프레임 또는 슬라이스 내의 블록들은 동일한 프레임 또는 슬라이스 내의 이웃하는 블록들 내의 참조 샘플들에 대한 공간적 예측을 이용하여 인코딩된다. 인터 코딩된 (P 또는 B) 프레임 또는 슬라이스 내의 블록들은 동일한 프레임 또는 슬라이스 내의 이웃하는 블록들에서의 참조 샘플들에 대한 대한 공간적 예측 또는 다른 참조 프레임들에서의 참조 샘플들에 대한 시간적 예측을 이용할 수도 있다. 공간적 또는 시간적 예측은 코딩될 블록에 대한 예측 블록을 생성한다. 잔차 데이터는 코딩될 오리지널 블록과 예측 블록 사이의 픽셀 차이들을 나타낸다.
인터 코딩된 블록은 예측 블록을 형성하는 기준 샘플들의 블록을 가리키는 모션 벡터, 및 코딩된 블록과 예측 블록 사이의 차이를 나타내는 잔차 데이터에 따라 인코딩된다. 인트라 코딩된 블록은 인트라 코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가 압축을 위해, 잔차 데이터는 픽셀 도메인으로부터 변환 도메인으로 변환되어, 잔차 변환 계수들로 될 수도 있고, 그 후 양자화될 수도 있다. 2 차원 어레이에 최초로 배열된 양자화된 변환 계수들은 특정 순서로 스캔되어 엔트로피 코딩에 대한 변환 계수들의 1 차원 벡터를 생성할 수도 있다.
비디오 압축 기법들은 비디오 시퀀스들에 내재한 리던던시를 감소시키거나 또는 제거하기 위해 공간적 예측 및/또는 시간적 예측을 포함한다. 블록 기반 비디오 코딩에 대해, 비디오 프레임 또는 슬라이스가 블록들로 파티셔닝될 수도 있다. 각각의 블록은 더 파티셔닝될 수 있다. 인트라 코딩된 (I) 프레임 또는 슬라이스 내의 블록들은 동일한 프레임 또는 슬라이스 내의 이웃하는 블록들 내의 참조 샘플들에 대한 공간적 예측을 이용하여 인코딩된다. 인터 코딩된 (P 또는 B) 프레임 또는 슬라이스 내의 블록들은 동일한 프레임 또는 슬라이스 내의 이웃하는 블록들에서의 참조 샘플들에 대한 대한 공간적 예측 또는 다른 참조 프레임들에서의 참조 샘플들에 대한 시간적 예측을 이용할 수도 있다. 공간적 또는 시간적 예측은 코딩될 블록에 대한 예측 블록을 생성한다. 잔차 데이터는 코딩될 오리지널 블록과 예측 블록 사이의 픽셀 차이들을 나타낸다.
인터 코딩된 블록은 예측 블록을 형성하는 기준 샘플들의 블록을 가리키는 모션 벡터, 및 코딩된 블록과 예측 블록 사이의 차이를 나타내는 잔차 데이터에 따라 인코딩된다. 인트라 코딩된 블록은 인트라 코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가 압축을 위해, 잔차 데이터는 픽셀 도메인으로부터 변환 도메인으로 변환되어, 잔차 변환 계수들로 될 수도 있고, 그 후 양자화될 수도 있다. 2 차원 어레이에 최초로 배열된 양자화된 변환 계수들은 특정 순서로 스캔되어 엔트로피 코딩에 대한 변환 계수들의 1 차원 벡터를 생성할 수도 있다.
전반적으로, 이 개시물은 비디오 데이터를 코딩하는 기법들을 설명한다. 본 개시물은 비정방형 변환 파티션들을 허용하는 비디오 인코딩 프로세스들에서 변환 파티션들을 선택하고 시그널링하는 기법들을 설명한다. 몇몇 예들에서, 변환 파티션들은 인트라 예측 코딩 모드에 기초하여 선택된다. 다른 예들에서, 변환 파티션들은 예측 유닛의 사이즈 또는 형상에 의존하지 않지만, 예측 잔차들에 대한 테스트로부터 독립적으로 선택될 수도 있다. 추가로, 본 개시물은 인코딩된 비디오 비트 레이트를 감소시키기 위한 그리고 단거리 인트라 예측 (SDIP) 파티션들에 이용가능한 인트라 모드 세트들의 수를 감소시키는 것에 의해 인코더 복잡도를 감소시키기 위한 기법들을 설명한다.
본 개시물의 일 예에서, 비디오 인코더는, 비디오 데이터의 블록에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 파티션을 결정하고 그 결정된 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하도록 구성될 수도 있다. 일 예에서, 결정된 예측 유닛 파티션은 수직 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수직 배향 인트라 예측 모드들을 포함한다. 다른 예에서, 결정된 예측 유닛 파티션은 수평 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수평 배향 인트라 예측 모드들을 포함한다.
본 개시물의 다른 실시예에서, 비디오 인코더는, 비디오 데이터의 블록에 대한 인트라 예측 모드들의 세트로부터 인트라 예측 모드를 결정하고, 그 결정된 인트라 예측 모드에 기초하여 비디오 데이터의 블록에 대한 변환 유닛 파티션을 결정하고, 그 결정된 변환 유닛 파티션을 이용하여 비디오 데이터의 블록을 인코딩하도록 추가로 구성될 수도 있다.
본 개시물의 다른 실시예에서, 비디오 인코더는 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션을 결정하도록 구성될 수도 있다. 일 예에서, 결정된 인트라 예측 모드는 수직 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수직 배향 비정방형 변환 유닛 파티션들을 포함한다. 다른 실시예에서, 결정된 인트라 예측 모드는 수평 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수평 배향 비정방형 변환 유닛 파티션들을 포함한다. 또 다른 실시예에서, 결정된 인트라 예측 모드는 DC 모드, 평면 모드, 또는 대각선 모드이고, 변환 유닛 파티션들의 세트는 정방형 변환 유닛 파티션들을 포함한다.
본 개시물의 다른 실시예에서, 비디오 디코더는, 비디오 데이터의 블록에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 파티션의 표시를 수신하고 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하도록 구성될 수도 있다. 일 실시예에서, 예측 유닛 파티션은 수직 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수직 배향 인트라 예측 모드들을 포함한다. 다른 예에서, 결정된 예측 유닛 파티션은 수평 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수평 배향 인트라 예측 모드들을 포함한다.
본 개시물의 다른 실시예에서, 비디오 디코더는, 비디오 데이터의 블록에 대한 인트라 예측 모드들의 세트로부터 인트라 예측 모드의 표시를 수신하고, 그 결정된 인트라 예측 모드에 기초하여 비디오 데이터의 블록에 대한 변환 유닛 파티션을 결정하고, 그 결정된 변환 유닛 파티션을 이용하여 비디오 데이터의 블록을 디코딩하도록 추가로 구성될 수도 있다.
본 개시물의 다른 실시예에서, 비디오 디코더는 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션을 결정하도록 구성될 수도 있다. 일 예에서, 결정된 인트라 예측 모드는 수직 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수직 배향 비정방형 변환 유닛 파티션들을 포함한다. 다른 예에서, 결정된 인트라 예측 모드는 수평 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수평 배향 비정방형 변환 유닛 파티션들을 포함한다. 또 다른 실시예에서, 결정된 인트라 예측 모드는 DC 모드, 평면 모드, 또는 대각선 모드이고, 변환 유닛 파티션들의 세트는 정방형 변환 유닛 파티션들을 포함한다.
본 개시물의 예들은 또한 방법들, 장치들, 디바이스들, 및 컴퓨터 판독가능 저장 매체들과 관련하여 설명될 것이다.
하나 이상의 예들의 세부사항들은 첨부된 도면과 하기의 설명으로부터 설명된다. 다른 특징들, 목적들 및 이점들은 하기의 설명 및 도면들, 및 하기의 특허청구범위로부터 명확해질 것이다.
본 개시물의 일 예에서, 비디오 인코더는, 비디오 데이터의 블록에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 파티션을 결정하고 그 결정된 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하도록 구성될 수도 있다. 일 예에서, 결정된 예측 유닛 파티션은 수직 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수직 배향 인트라 예측 모드들을 포함한다. 다른 예에서, 결정된 예측 유닛 파티션은 수평 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수평 배향 인트라 예측 모드들을 포함한다.
본 개시물의 다른 실시예에서, 비디오 인코더는, 비디오 데이터의 블록에 대한 인트라 예측 모드들의 세트로부터 인트라 예측 모드를 결정하고, 그 결정된 인트라 예측 모드에 기초하여 비디오 데이터의 블록에 대한 변환 유닛 파티션을 결정하고, 그 결정된 변환 유닛 파티션을 이용하여 비디오 데이터의 블록을 인코딩하도록 추가로 구성될 수도 있다.
본 개시물의 다른 실시예에서, 비디오 인코더는 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션을 결정하도록 구성될 수도 있다. 일 예에서, 결정된 인트라 예측 모드는 수직 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수직 배향 비정방형 변환 유닛 파티션들을 포함한다. 다른 실시예에서, 결정된 인트라 예측 모드는 수평 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수평 배향 비정방형 변환 유닛 파티션들을 포함한다. 또 다른 실시예에서, 결정된 인트라 예측 모드는 DC 모드, 평면 모드, 또는 대각선 모드이고, 변환 유닛 파티션들의 세트는 정방형 변환 유닛 파티션들을 포함한다.
본 개시물의 다른 실시예에서, 비디오 디코더는, 비디오 데이터의 블록에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 파티션의 표시를 수신하고 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하도록 구성될 수도 있다. 일 실시예에서, 예측 유닛 파티션은 수직 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수직 배향 인트라 예측 모드들을 포함한다. 다른 예에서, 결정된 예측 유닛 파티션은 수평 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수평 배향 인트라 예측 모드들을 포함한다.
본 개시물의 다른 실시예에서, 비디오 디코더는, 비디오 데이터의 블록에 대한 인트라 예측 모드들의 세트로부터 인트라 예측 모드의 표시를 수신하고, 그 결정된 인트라 예측 모드에 기초하여 비디오 데이터의 블록에 대한 변환 유닛 파티션을 결정하고, 그 결정된 변환 유닛 파티션을 이용하여 비디오 데이터의 블록을 디코딩하도록 추가로 구성될 수도 있다.
본 개시물의 다른 실시예에서, 비디오 디코더는 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션을 결정하도록 구성될 수도 있다. 일 예에서, 결정된 인트라 예측 모드는 수직 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수직 배향 비정방형 변환 유닛 파티션들을 포함한다. 다른 예에서, 결정된 인트라 예측 모드는 수평 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수평 배향 비정방형 변환 유닛 파티션들을 포함한다. 또 다른 실시예에서, 결정된 인트라 예측 모드는 DC 모드, 평면 모드, 또는 대각선 모드이고, 변환 유닛 파티션들의 세트는 정방형 변환 유닛 파티션들을 포함한다.
본 개시물의 예들은 또한 방법들, 장치들, 디바이스들, 및 컴퓨터 판독가능 저장 매체들과 관련하여 설명될 것이다.
하나 이상의 예들의 세부사항들은 첨부된 도면과 하기의 설명으로부터 설명된다. 다른 특징들, 목적들 및 이점들은 하기의 설명 및 도면들, 및 하기의 특허청구범위로부터 명확해질 것이다.
도 1 은 본 개시물의 예들에 따라 동작하는 예시적인 비디오 인코딩 및 디코딩 시스템을 예시한 블록도이다.
도 2 는 예시적인 인트라 예측 모드 방향들을 나타낸 개념도이다.
도 3 은 예시적인 쿼드트리 블록 구조의 개념도이다.
도 4a 는 예시적인 수직 배향 비정방형 변환 및 예측 파티션들의 개념도이다.
도 4b 는 예시적인 수평 배향 비정방형 변환 및 예측 파티션들의 개념도이다.
도 5a 는 인트라 예측된 블록들에 대한 예시적인 정방형 변환 유닛 파티션들의 개념도이다.
도 5b 는 인트라 예측된 블록들에 대한 예시적인 비정방형 변환 유닛 파티션들의 개념도이다.
도 6 은 인트라 예측에 대한 예시적인 예측 유닛들의 개념도이다.
도 7 은 본 개시물의 예들에 따라 동작하는 예시적인 비디오 인코더를 예시한 블록도이다.
도 8 은 본 개시물의 예들에 따라 동작하는 예시적인 비디오 디코더를 예시한 블록도이다.
도 9 는 본 개시물의 예들에 따른 예시적인 비디오 인코딩 방법을 묘사한 플로우차트이다.
도 10 은 본 개시물의 예들에 따른 예시적인 비디오 디코딩 방법을 묘사한 플로우차트이다.
도 2 는 예시적인 인트라 예측 모드 방향들을 나타낸 개념도이다.
도 3 은 예시적인 쿼드트리 블록 구조의 개념도이다.
도 4a 는 예시적인 수직 배향 비정방형 변환 및 예측 파티션들의 개념도이다.
도 4b 는 예시적인 수평 배향 비정방형 변환 및 예측 파티션들의 개념도이다.
도 5a 는 인트라 예측된 블록들에 대한 예시적인 정방형 변환 유닛 파티션들의 개념도이다.
도 5b 는 인트라 예측된 블록들에 대한 예시적인 비정방형 변환 유닛 파티션들의 개념도이다.
도 6 은 인트라 예측에 대한 예시적인 예측 유닛들의 개념도이다.
도 7 은 본 개시물의 예들에 따라 동작하는 예시적인 비디오 인코더를 예시한 블록도이다.
도 8 은 본 개시물의 예들에 따라 동작하는 예시적인 비디오 디코더를 예시한 블록도이다.
도 9 는 본 개시물의 예들에 따른 예시적인 비디오 인코딩 방법을 묘사한 플로우차트이다.
도 10 은 본 개시물의 예들에 따른 예시적인 비디오 디코딩 방법을 묘사한 플로우차트이다.
전반적으로, 이 개시물은 비디오 데이터를 코딩하는 기법들을 설명한다. 본 개시물은 비디오 코딩 프로세스들에서 변환 유닛 (TU) 파티션들 및/또는 예측 유닛 (PU) 파티션들을 선택하고 시그널링하는 기법들을 설명한다. 특히, 본 개시물의 예시적인 기법들은 비정방형 TU 파티션들 및/또는 비정방형 PU 변환들의 이용을 허용한다.
인트라 예측된 블록에 대해, TU 가 PU 와 함께 커플링되므로 (즉, 그들이 동일한 사이즈 및/또는 형상을 가지므로), 블록 내에서 TU 파티션의 상이한 옵션들을 검사하는 것은, 각각의 고유한 TU 파티션이 고유한 PU 파티션과 매칭할 때, 다수의 예측들 및 복원들을 수행하는 것을 포함할 수도 있다. 그 결과, 인코딩 복잡도는 상당히 보다 높아지게 되고, 추가의 비정방형 파티션들이 검사되고 시그널링된다. 이러한 높은 인코더 복잡도는 몇몇 상황들에서 인트라 예측된 블록을 코딩하기 위한 정방형 변환들 외에도 비정방형 변환들을 이용하는 것을 비실용적이게 할 수도 있다. 이러한 단점들의 관점에서, 본 개시물은 코딩 효율을 보존하면서 감소된 복잡도로 인트라 예측된 블록들에 대한 비정방형 TU 파티션들을 가능하게 하는 데 목적이 있다.
본 개시물은 이러한 단점들을 해결하기 위한 여러 기법들을 제시한다. 일 예로서, 주어진 인트라 예측된 블록에 대해, 감소된 수의 TU 파티션 옵션들이 특정 조건들에 기초하여 허용된다. 다른 예에서, 본 개시물은 인트라 예측된 블록들에 대해 TU들을 PU들로부터 분리하는 것을 제안한다. 주어진 PU 에 대해, 대응하는 PU 와는 상이한 사이즈들 및 형상들의 TU들이 적용될 수도 있다. 이 경우에 있어서, 특정 PU들에 대한 잔차 데이터를 변환하는 데 이용되는 적어도 몇몇의 TU들은 그러한 PU들과는 상이한 사이즈들 및/또는 형상들을 가질 수도 있다. 그 결과, 상이한 TU 파티션들을 검사하는 것은 블록의 대응하는 예측을 개별적으로 획득할 것을 요구하지 않을 것인데, 이는 상이한 TU 형상들이 하나의 PU 사이즈 및 형상으로부터 획득된 예측에 적용될 수도 있기 때문이다.
예를 들어 짧은 거리의 인트라 예측 (SDIP) 을 갖는 비정방형 PU들을 사용할 때, 각각의 PU 는 복수의 인트라 예측 모드들/방향들 (예컨대, 도 2 의 35 개의 모드들) 중 하나를 이용할 수도 있다. 이러한 배열에는 여러 단점들이 있다. 첫째, 선택된 모드를 각각의 PU 에 대한 디코더로 시그널링하기 위해, 선택된 모드에 대한 인덱스는 인코딩된 비디오 비트스트림에서 시그널링된다. 인트라 예측이 이용될 불확실성이 높으므로 (즉, 35 개의 모드들이 있을 수도 있으므로), 비교적 큰 수의 비트들이 인덱스를 인코딩하는 데 이용되며, 이는 압축된 비디오에 대한 비트 레이트를 증가시킨다. 둘째, 인코더는, 사용하기에 최상의 것을 결정하기 위해 모든 모드를 검사해야 할 수도 있고, 또는 요건, 이를테면, 예컨대 레이트 왜곡 임계치를 충족하는 모드를 적어도 식별하도록 해야 할 수도 있다. 각각의 PU 에 대해 가능한 모든 인트라 예측 모드들/방향들로, 이러한 검사 프로세스는 인코더에서 계산 부담을 증가시킨다.
본 개시물은 인코딩된 비디오 비트 레이트를 감소시키기 위한 그리고 정방형 및 비정방형 SDIP 파티션들에 대한 가능한 인트라 예측 모드들의 수를 감소시키는 것에 의해 인코더 복잡도를 감소시키기 위한 기법들을 제안한다. 가능한 인트라 예측 모드들의 개수 면에서의 이러한 감소는, 수직으로 파티셔닝된 CU들 (예컨대, hNx2N PU) 에 대해, 수직의 또는 거의 수직의 인트라 예측 모드들 (예컨대, 모드들 1, 22, 23 ...) 이 최상의 모드로서 선택될 가능성이 더 많다는 견해들에 기초한다. 마찬가지로, 수평으로 파티셔닝된 CU들 (예컨대, 2NxhN PU) 에 대해, 수평의 또는 거의 수평의 인트라 예측 모드들 (예컨대, 모드들 2, 30, 31 ...) 이 최상의 모드로서 선택될 가능성이 더 많다. 즉, 이러한 모드들은, 그들이 주어진 파티션 타입들에 대해 보다 바람직한 레이트 왜곡 결과들을 생성할 가능성이 더 많기 때문에, 선택될 가능성이 더 많다.
도 1 은 본 개시물의 실시예들에 따른 인트라 예측 코딩에 대한 기법들을 이용하도록 구성될 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템 (10) 을 예시한 블록도이다. 도 1 에 도시된 바와 같이, 시스템 (10) 은 통신 채널 (16) 을 통해 목적지 디바이스 (14) 에 인코딩된 비디오를 송신하는 소스 디바이스 (12) 를 포함한다. 인코딩된 비디오 데이터는 또한 저장 매체 (34) 또는 파일 서버 (36) 에 또한 저장될 수도 있고, 희망 시, 목적지 디바이스 (14) 에 의해 액세스될 수도 있다. 저장 매체 또는 파일 서버에 저장될 때, 비디오 인코더 (20) 는 코딩된 비디오 데이터를 다른 디바이스 (이를테면 네트워크 인터페이스, 콤팩트 디스크 (CD), 블루레이 또는 디지털 비디오 디스크 (DVD) 버너 또는 스탬핑 기능 디바이스, 또는 코딩된 비디오 데이터를 저장 매체에 저장시키는 다른 디바이스들) 에 제공할 수도 있다. 마찬가지로, 비디오 디코더 (30) 와는 별개인 디바이스, 이를테면 네트워크 인터페이스, CD 또는 DVD 리더 등은 코딩된 비디오 데이터를 저장 매체로부터 취출할 수도 있고, 취출된 데이터를 비디오 디코더 (30) 에 제공할 수도 있다.
소스 디바이스 (12) 및 목적지 디바이스 (14)는, 데스크톱 컴퓨터들, 노트북 (즉, 랩톱) 컴퓨터들, 태블릿 컴퓨터들, 셋톱박스들, 소위 스마트폰들과 같은 전화 핸드셋들, 텔레비젼들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들 등을 포함하는 매우 다양한 디바이스들 중 임의의 것을 포함할 수도 있다. 많은 경우들에 있어서, 이러한 디바이스들은 무선 통신을 위해 구비될 수도 있다. 그러므로, 통신 채널 (16) 은 인코딩된 비디오 데이터의 송신에 적합한 무선 채널, 유선 채널, 또는 무선 및 유선 채널들의 조합을 포함할 수도 있다. 마찬가지로, 파일 서버 (36) 는 인터넷 접속을 포함하는 임의의 표준 데이터 접속을 통해 목적지 디바이스 (14) 에 의해 액세스될 수도 있다. 이것은 파일 서버에 저장된 인코딩된 비디오 데이터에 액세스하는데 적합한 무선 채널(예컨대, Wi-Fi 접속), 유선 접속 (예컨대, DSL, 케이블 모뎀 등), 또는 이들의 조합을 포함할 수도 있다.
본 개시물의 실시예들에 따른, 인트라 예측 코딩을 위한 기법들은, 임의의 다양한 멀티미디어 애플리케이션들, 이를테면 OTA (over-the-air) 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 예컨대 인터넷을 통한, 스트리밍 비디오 송신들, 데이터 저장 매체에의 저장을 위한 디지털 비디오의 인코딩, 데이터 저장 매체에 저장된 디지털 비디오의 디코딩, 또는 다른 애플리케이션들을 지원하여, 비디오 코딩에 적용될 수도 있다. 몇몇 실시형태들에서, 시스템 (10) 은, 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 및/또는 영상 전화와 같은 애플리케이션들을 지원하기 위해 일방향 또는 양방향 비디오 송신을 지원하도록 구성될 수도 있다.
도 1 의 실시예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 변조기/복조기 (22) 및 송신기 (24) 를 포함할 수도 있다. 소스 디바이스 (12) 에서, 비디오 소스 (18) 는 비디오 캡쳐 디바이스, 이를테면 비디오 카메라와 같은 소스, 이전에 캡쳐된 비디오를 포함하는 비디오 아카이브, 비디오 콘텐츠 공급자로부터 비디오를 수신하는 비디오 공급 인터페이스, 및/또는 소스 비디오로서 컴퓨터 그래픽 데이터를 생성하는 컴퓨터 그래픽 시스템, 또는 이러한 소스들의 조합을 포함할 수도 있다. 일 실시예로서, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 소위 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 그러나, 본 개시물에서 설명되는 기법들은 전반적으로 비디오 코딩에 적용가능할 수도 있으며, 무선 및/또는 유선 애플리케이션들 또는 인코딩된 비디오 데이터가 로컬 디스크 상에 저장되는 애플리케이션에 적용될 수도 있다.
캡처된, 사전캡처된, 또는 컴퓨터 생성된 비디오는 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 인코딩된 비디오 정보는 통신 표준, 이를테면 무선 통신 프로토콜에 따라 모뎀 (22) 에 의해 변조될 수도 있고, 송신기 (24) 를 통해 목적지 디바이스 (14) 로 송신될 수도 있다. 모뎀 (22) 은 다양한 믹서들, 필터들, 증폭기들 또는 신호 변조를 위해 설계된 다른 콤포넌트들을 포함할 수도 있다. 송신기 (24) 는, 증폭기들, 필터들, 및 하나 이상의 안테나들을 포함하는, 데이터를 송신하기 위해 설계된 회로들을 포함할 수도 있다.
비디오 인코더 (20) 에 의해 인코딩된, 캡처된, 사전캡처된 또는 컴퓨터 생성된 비디오는 또한 추후 소비를 위해 저장 매체 (34) 또는 파일 서버 (36) 에 저장될 수도 있다. 저장 매체 (34) 는 블루레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 또는 인코딩된 비디오를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들을 포함할 수도 있다. 그 후, 저장 매체 (34) 에 저장된 인코딩된 비디오는 디코딩 및 플레이백을 위해 목적지 디바이스 (14) 에 의해 액세스될 수도 있다.
파일 서버 (36) 는 인코딩된 비디오를 저장할 수 있고 그 인코딩된 비디오를 목적지 디바이스 (14) 로 송신할 수 있는 임의의 타입의 서버일 수도 있다. 예시적인 파일 서버들은 웹 서버 (예컨대, 웹사이트용), FTP 서버, 네트워크 부착 저장 (network attached storage: NAS) 디바이스들, 로컬 디스크 드라이브, 또는 인코딩된 비디오 데이터를 저장할 수 있고 그것을 목적지 디바이스로 송신할 수 있는 임의의 다른 타입의 디바이스를 포함한다. 파일 서버 (36) 로부터의 인코딩된 비디오 데이터의 송신은 스트리밍 송신, 다운로드 송신, 또는 이들 양측 모두의 조합일 수도 있다. 파일 서버 (36) 는 인터넷 접속을 포함하는 임의의 표준 데이터 접속을 통해 목적지 디바이스 (14) 에 의해 액세스될 수도 있다. 이것은 파일 서버에 저장된 인코딩된 비디오 데이터에 액세스하는 데 적합한 무선 채널 (예컨대, Wi-Fi 접속), 유선 접속 (예컨대, DSL, 케이블 모뎀, 이더넷, USB 등), 또는 이들의 조합을 포함할 수도 있다.
목적지 디바이스 (14) 는, 도 1 의 실시예에서, 수신기 (26), 모뎀 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함한다. 목적지 디바이스 (14) 의 수신기 (26) 는 채널 (16) 을 통해 정보를 수신하고, 모뎀 (28) 은 그 정보를 복조하여 비디오 디코더 (30) 에 대한 복조된 비트스트림을 생성한다. 채널 (16) 을 통해 통신된 정보는, 비디오 데이터를 디코딩하는 데 있어서 비디오 디코더 (30) 에 의한 사용을 위해 비디오 인코더 (20) 에 의해 생성되는 다양한 신택스 정보를 포함할 수도 있다. 이러한 신택스는 또한 저장 매체 (34) 또는 파일 서버 (36) 에 저장된 인코딩된 비디오 데이터와 함께 포함될 수도 있다. 비디오 인코더(20) 및 비디오 디코더(30) 각각은 비디오 데이터를 인코딩 또는 디코딩할 수 있는 각각의 인코더-디코더 (CODEC) 의 일부를 형성할 수도 있다.
디스플레이 디바이스 (32) 는 목적지 디바이스 (14) 와 통합될 수도 있고, 또는 목적지 디바이스 (14) 외부에 있을 수도 있다. 몇몇 실시예들에서, 목적지 디바이스 (14) 는 통합된 디스플레이 디바이스를 포함할 수도 있고, 또한 외부 디스플레이 디바이스와 인터페이싱하도록 또한 구성될 수도 있다. 다른 실시예들에서, 목적지 디바이스 (14) 는 디스플레이 디바이스일 수도 있다. 일반적으로, 디스플레이 디바이스 (32) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 것을 포함할 수도 있다.
도 1 의 실시예에서, 통신 채널 (16) 은 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들과 같은 임의의 무선 또는 유선 통신 매체, 또는 무선 및 유선 매체들의 임의의 조합을 포함할 수도 있다. 통신 채널 (16) 은 패킷 기반 네트워크, 이를테면 근거리 통신망, 원거리 통신망, 또는 인터넷과 같은 글로벌 네트워크의 일부를 형성할 수도 있다. 통신 채널 (16) 은, 일반적으로, 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 비디오 데이터를 송신하기 위한, 유선 또는 무선 매체들의 임의의 적합한 조합을 포함하는, 임의의 적합한 통신 매체 또는 상이한 통신 매체들의 집합을 나타낸다. 통신 채널 (16) 은 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는 데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 비디오 압축 표준, 이를테면 현재 개발 중에 있는 HEVC (High Efficiency Video Coding) 표준에 따라 동작할 수도 있고, HEVC 테스트 모델 (HEVC Test Model: HM) 을 준수할 수도 있다. 대안으로, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 ITU-T H.264 표준과 같은 다른 독점 또는 산업 표준들 (대안으로, MPEG-4, 파트 10, 고급 비디오 코딩 (AVC) 이라고 지치됨), 또는 그러한 표준들의 확장안들에 따라 동작할 수도 있다. 그러나, 본 개시물의 기법들은 임의의 특정 코딩 표준으로 제한되는 것은 아니다. 다른 실시예들은 MPEG-2 및 ITU-T H.263 을 포함한다.
도 1 에는 도시되어 있지 않지만, 몇몇 양태들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 각각 오디오 인코더 및 디코더와 통합될 수도 있고, 공통 데이터 스트림 또는 개별적인 데이터 스트림들에서 오디오 및 비디오 양측 모두의 인코딩을 핸들링하기 위해 적절한 MUX-DEMUX 유닛들, 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용가능하다면, 몇몇 실시예들에서, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜을 준수할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 다양한 적합한 인코더 회로부, 이를테면 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSPs), 주문형 반도체들 (application specific integrated circuits: ASICs), 필드 프로그래밍가능 게이트 어레이들 (FPGAs), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들 중 임의의 것으로서 구현될 수도 있다. 그 기법들이 부분적으로 소프트웨어로 구현되는 경우, 디바이스는 그 소프트웨어에 대한 명령들을 적합한 비일시적 컴퓨터 판독가능 매체에 저장할 수도 있고, 본 개시물의 기법들을 수행하기 위해 하나 이상의 프로세서들을 사용하는 하드웨어에서 그 명령들을 실행할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있으며, 이들 중 어느 하나는 결합된 인코더/디코더 (CODEC) 의 일부로서 각각의 디바이스에 통합될 수도 있다.
비디오 인코더 (20) 는 비디오 인코딩 프로세스에서 인트라 예측 코딩에 대한 본 개시물의 기법들 중 임의의 또는 모든 것을 구현할 수도 있다. 마찬가지로, 비디오 디코더 (30) 는 비디오 코딩 프로세스에서 인트라 예측 코딩에 대한 이들 기법들 중 임의의 것 또는 모든 것을 구현할 수도 있다. 본 개시물에서 설명된 바와 같이, 비디오 코더는 비디오 인코더 또는 비디오 디코더를 지칭할 수도 있다. 마찬가지로, 비디오 코딩 유닛은 비디오 인코더 또는 비디오 디코더를 지칭할 수도 있다. 마찬가지로, 비디오 코딩은 비디오 인코딩 또는 비디오 디코딩을 지칭할 수도 있다.
이하에서 더 상세히 설명되는 본 개시물의 실시예들에 따르면, 비디오 인코더 (20) 는, 비디오 데이터의 블록에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 파티션을 결정하고 그 결정된 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하도록 구성될 수도 있다. 일 예에서, 결정된 예측 유닛 파티션은 수직 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수직 배향 인트라 예측 모드들을 포함한다. 다른 실시예에서, 결정된 예측 유닛 파티션은 수평 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수평 배향 인트라 예측 모드들을 포함한다.
본 개시물의 다른 실시예에서, 비디오 인코더 (20) 는, 비디오 데이터의 블록에 대한 인트라 예측 모드들의 세트로부터 인트라 예측 모드를 결정하고, 그 결정된 인트라 예측 모드에 기초하여 비디오 데이터의 블록에 대한 변환 유닛 파티션을 결정하고, 그 결정된 변환 유닛 파티션을 이용하여 비디오 데이터의 블록을 인코딩하도록 추가로 구성될 수도 있다.
본 개시물의 다른 실시예에서, 비디오 인코더 (20) 는 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션을 결정하도록 구성될 수도 있다. 일 실시예에서, 결정된 인트라 예측 모드는 수직 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수직 배향 비정방형 변환 유닛 파티션들을 포함한다. 다른 실시예에서, 결정된 인트라 예측 모드는 수평 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수평 배향 비정방형 변환 유닛 파티션들을 포함한다. 또 다른 실시예에서, 결정된 인트라 예측 모드는 DC 모드, 평면 모드, 또는 대각선 모드이고, 변환 유닛 파티션들의 세트는 정방형 변환 유닛 파티션들을 포함한다.
본 개시물의 다른 실시예에서, 비디오 디코더 (30) 는, 비디오 데이터의 블록에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 파티션의 표시를 수신하고 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하도록 구성될 수도 있다. 일 실시예에서, 예측 유닛 파티션은 수직 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수직 배향 인트라 예측 모드들을 포함한다. 다른 실시예에서, 예측 유닛 파티션은 수평 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수평 배향 인트라 예측 모드들을 포함한다.
본 개시물의 다른 실시예에서, 비디오 디코더 (30) 는, 비디오 데이터의 블록에 대한 인트라 예측 모드들의 세트로부터 인트라 예측 모드의 표시를 수신하고, 그 결정된 인트라 예측 모드에 기초하여 비디오 데이터의 블록에 대한 변환 유닛 파티션을 결정하고, 그 결정된 변환 유닛 파티션을 이용하여 비디오 데이터의 블록을 디코딩하도록 추가로 구성될 수도 있다.
본 개시물의 다른 실시예에서, 비디오 디코더 (30) 는 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션을 결정하도록 구성될 수도 있다. 일 예에서, 결정된 인트라 예측 모드는 수직 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수직 배향 비정방형 변환 유닛 파티션들을 포함한다. 다른 실시예에서, 결정된 인트라 예측 모드는 수평 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수평 배향 비정방형 변환 유닛 파티션들을 포함한다. 또 다른 실시예에서, 결정된 인트라 예측 모드는 DC 모드, 평면 모드, 또는 대각선 모드이고, 변환 유닛 파티션들의 세트는 정방형 변환 유닛 파티션들을 포함한다.
디지털 비디오 디바이스들은 디지털 비디오 정보를 보다 효율적으로 인코딩하고 디코딩하는 비디오 압축 기법들을 구현한다. 비디오 압축은 비디오 시퀀스들에 내재한 리던던시를 감소시키거나 또는 제거하는 데 공간적 (인트라 프레임) 예측 및/또는 시간적 (인터 프레임) 예측 기법들을 적용할 수도 있다.
일반적인 비디오 인코더는 오리지널 비디오 시퀀스의 각각의 프레임을 "블록들" 또는 "코딩 유닛들" 이라고 지칭되는 인접한 직사각형 지역들로 파티셔닝한다. 이들 블록들은 "인트라 모드" (I 모드) 또는 "인터 모드" (P 모드 또는 B 모드) 에서 인코딩된다.
P 모드에 대해, 인코더는 먼저 Fref 로 표기되는 "참조 프레임" 에서 인코딩되고 있는 것과 유사한 블록을 검색한다. 검색은 인코딩될 블록으로부터의 특정 공간 변위에서만으로 제한되는 것이 일반적이다. 최상의 매칭 또는 "예측" 이 식별되었을 때, 그것은 2 차원 (2D) 모션 벡터 (Δx,Δy) 의 형태로 표현되며, 여기서 Δx 는 수평 변위이고 Δy 는 수직 변위이다. 모션 벡터들은, 참조 프레임과 함께, 예측 블록 Fpred 을 다음과 같이 구성하는 데 이용된다:
Fpred(x,y) = Fref(x+Δx, y+Δy)
프레임 내에서 픽셀의 로케이션은 (x, y) 로 표기된다. I 모드에서 인코딩된 블록들의 경우, 예측 블록은 동일한 프레임 내에서 이전에 인코딩된 이웃 블록들로부터의 공간 예측을 이용하여 형성된다. I 모드 및 P 또는 B 모드 양측에 대해, 예측 에러, 즉 인코딩되고 있는 블록에서의 픽셀 값들과 예측 블록세어의 픽셀 값들 사이의 차이는 이산 코사인 변환 (CDT) 과 같은 몇몇 이산 변환의 가중된 기본 함수들의 세트로서 표현된다. 변환들은, 이를테면 4x4, 8x8, 또는 16x16 이상과 같은 상이한 사이즈의 블록들에 기초하여 수행될 수도 있다. 변환 블록의 형상은 항상 정방형인 것은 아니다. 정사각형 형상의 변환 블록들이, 예컨대 16x4 의 변환 블록 사이즈로 또한 이용될 수 있다.
가중치들 (즉, 변환 계수들) 이 후속으로 양자화된다. 양자화는 정보의 손실을 도입하고, 이와 같이, 양자화된 계수들은 오리지널 변환 계수들보다 낮은 정밀도를 갖는다. 픽셀들의 루마 및 크로마 콤포넌트들은 개별적으로 예측, 양자화, 및 변환될 수도 있다. 즉, 코딩 프로세스는 픽셀들의 루마 콤포넌트들 뿐 아니라 픽셀의 하나 이상의 크로마 콤포넌트들의 블록에 적용될 수도 있다.
양자화된 변환 계수들 및 모션 벡터들은 "신택스 엘리먼트들" 의 실시예들이다. 이러한 신택스 엘리먼트들 플러스 몇몇 제어 정보는 비디오 시퀀스의 코딩된 표현을 형성한다. 신택스 엘리먼트들은 또한 엔트로피 코딩되어 그들의 표현을 위해 필요한 비트들의 수를 더욱 감소시킬 수도 있다. 엔트로피 코딩은 송신되거나 또는 저장된 심볼들 (본 경우에는, 신택스 엘리먼트들) 의 분포의 속성들을 이용하는 것에 의해 그러한 심볼들을 표현하는 데 필요한 비트들의 수를 최소화시키는 것을 목표로 하는 무손실 동작이다.
디코더에서, 현재 프레임에서의 블록은 인코더에서와 동일한 방식으로 그의 예측을 먼저 구성하는 것에 의해 그리고 그 예측에 압축된 예측 에러를 추가하는 것에 의해 획득된다. 압축된 예측 에러는 양자화된 계수들을 이용하여 픽셀 차이 값들을 생성하는 변환 기반 함수들을 가중화하는 것에 의해 발견된다. 재구성된 프레임과 오리지널 프레임 사이의 차이는 재구성 에러로 지칭된다.
압축 비율, 즉 오리지널 시퀀스를 표현하는 데 사용되는 비트들의 수와 압축된 것을 표현하는 데 사용되는 비트들의 수의 비율은, 변환 계수들을 양자화할 때 사용되는 양자화 파라미터 (QP) 의 값을 조절함으로써 제어될 수도 있다. 압축 비율은 채용된 엔트로피 코딩의 방법에 의존할 수도 있다.
ITU-T VCEG (Video Coding Experts Grou) 의 JCT-VC (Joint Collaboration Team on Video Coding) 및 ISO/IEC MPEG 에 의해 개발되고 있는 새로운 비디오 코딩 표준, 소위 HEVC (High-Efficiency Video Coding) 가 있다. "HEVC Working Draft 7" 또는 "WD7" 라고 지칭되는 HEVC 표준의 최신 드래프트는, http://phenix.int-evry.fr/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v6.zip 로부터 현재 다운로드될 수 있는 문헌 JCTVC-I1003, Bross 등의 "High efficiency video coding (HEVC)text specification draft 7" (Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 및 ISO/IEC JTC1/SC29/WG11, 9th Meeting: Geneva, CH, 27 April - 7 May 2012, which, as of August 21, 2012) 에 기술되어 있다.
JCT-VC 에 의해 현재 개발 중인 HEVC 표준에 따른 비디오 코딩에 대해, 비디오 프레임은 코딩 유닛들로 파티셔닝될 수도 있다. 코딩 유닛 (CU) 은 다양한 코딩 툴들이 비디오 압축을 위해 적용되는 기본 유닛으로서 기능하는 이미지 영역을 지칭하는 것이 일반적이다. 통상, CU 는 Y 로 표기되는 루미넌스 콤포넌트와 U 및 V 로 표기되는 2 개의 크로마 콤포넌트들을 갖는다. 비디오 샘플링 포맷에 따라, 샘플들의 개수와 관련하여, U 및 V 콤포넌트들의 사이즈는 Y 콤포넌트의 사이즈와 동일할 수도 있고 또는 그와는 상이할 수도 있다. CU 는 일반적으로 정사각형이며, 예컨대 ITU-T H.264 와 같은 다른 비디오 코딩 표준들 하의, 소위 매크로블록과 유사한 것으로 간주될 수도 있다.
코딩 효율을 보다 우수하게 달성하기 위해, 코딩 유닛은 비디오 콘텐츠에 따른 가변 사이즈들을 가질 수도 있다. 추가로, CU 는 예측 또는 변환을 위한 보다 작은 블록들로 스플릿될 수도 있다. 구체적으로, 각각의 CU 는 예측 유닛들 (PU들) 및 변환 유닛들 (TU들) 로 더 파티셔닝될 수도 있다. PU들은 H.264 와 같은 다른 비디오 코딩 표준들 하에서의 소위 파티션들과 유사한 것으로 간주될 수도 있다. 변환 유닛들 (TU들) 은 변환 계수들을 생성하도록 변환이 적용되는 잔차 데이터의 블록들을 지칭한다.
개발 중인 HEVC 표준의 현재 제안된 양태들 중 일부에 따른 코딩은 본 출원에서 예시를 목적으로 설명될 것이다. 그러나, 본 개시물에서 설명되는 기법들은 ITU-T H.264 또는 다른 표준이나 사유 비디오 코딩 프로세스들에 따라 정의된 것들과 같은 다른 비디오 코딩 프로세스들에 유용할 수도 있다.
HEVC 표준화 노력들은 HEVC 테스트 모델 (HEVC Test Model: HM) 로 지칭되는 비디오 코딩 디바이스의 모델에 기초한다. HM 은, 예컨대 ITU-T H.264/AVC 에 따른 디바이스들에 비해 비디오 코딩 디바이스들의 여러 기능들을 전제로 한다. 예를 들어, H.264 가 9 개의 인트라 예측 인코딩 모드들을 제공하는 반면, HM 은 35 개 정도로 많은 인트라 예측 인코딩 모드들을 제공한다.
HEVC 에서의 35 개의 인트라 예측 모드들은 하나의 DC 모드, 하나의 평면 모드, 및 33 개의 상이한 방향 예측 모드들을 포함한다. 방향 예측 모드로, 예측은 그 모드에 의해 나타내지는 특정 방향을 따라 이웃 블록 재구성된 픽셀들에 기초하여 수행된다. 상이한 예측 모드들과 관련된 방향들 (0-34) 은 도 2 에 도시되어 있다.
HM 에 따르면, CU 는 하나 이상의 PU들 및/또는 하나 이상의 TU들을 포함할 수도 있다. 비트스트림 내의 신택스 데이터는 최대 코딩 유닛 (LCU) 을 정의할 수도 있는데, 이는 픽셀들의 수와 관련하여 최대 CU 이다. 일반적으로, CU 가 사이즈 특이성을 갖지 않는다는 점을 제외하면, CU 는 H.264 의 매크로 블록과 유사한 목적을 갖는다. 따라서, CU는 서브 CU들로 스플릿될 수도 있다. 일반적으로, CU 에 대한 본 개시물에서의 언급은 픽처의 최대 코딩 유닛 또는 LCU 의 서브 CU 를 지칭할 수도 있다. LCU는 서브 CU들로 스플릿될 수도 있고, 각각의 서브 CU는 서브 CU들로 더 스플릿될 수도 있다. 비트스트림에 대한 신택스 데이터는 LCU 가 스플릿될 수도 있는 최대 횟수 (CU 깊이라고 지칭됨) 를 정의할 수도 있다. 따라서, 비트스트림은 최소 코딩 단위(SCU) 를 또한 정의할 수도 있다. 본 개시물은 또한 CU, PU, 또는 TU 중 임의의 것을 지칭하는 데 용어 "블록", "파티션" 또는 "부분" 을 사용한다. 일반적으로, "부분" 은 비디오 프레임의 임의의 서브세트를 지칭할 수도 있다.
LCU 는 쿼드트리 데이터 구조와 관련될 수도 있다. 일반적으로, 쿼드트리 데이터 구조는 CU 당 하나의 노드를 포함하며, 여기서 루트 노드는 LCU 에 대응한다. CU 가 4 개의 서브 CU들로 스플릿되면, CU 에 대응하는 노드는 4 개의 리프 노드들을 포함하며, 리프 노드 각각은 서브 CU들 중의 하나에 대응한다. 쿼드트리 데이터 구조의 노드 각각은 대응하는 CU 에 신택스 데이터를 제공할 수도 있다. 예를 들어, 쿼드트리에서의 노드는 그 노드에 대응하는 CU 가 서브 CU들로 스플릿되는지를 나타내는 스플릿 플래그를 포함할 수도 있다. CU에 대한 신택스 엘리먼트들은 재귀적으로 정의될 수도 있으며, CU 가 서브 CU들로 스플릿되는지에 의존할 수도 있다. CU 가 더 스플릿되지 않는다면, 그것은 리프 CU 로 지칭된다.
또한, 리프 CU들의 TU들은 각각의 쿼드트리 데이터 구조들과 역시 관련될 수도 있다. 즉, 리프 CU 는 그 리프 CU 가 TU들로 얼마나 파티셔닝되는지를 나타내는 쿼드트리를 포함할 수도 있다. 본 개시물은 LCU 가 CU 쿼드트리로서 얼마나 파티셔닝되는지를 나타내는 쿼드트리 및 리프 CU 가 TU 쿼드트리로서 얼마나 TU들로 어떻게 파티셔닝되는지를 나타내느 쿼드트리를 언급한다. TU 쿼드트리의 루트 노드는 일반적으로 리프 CU 에 대응하지만, CU 쿼드트리의 루트 노드는 일반적으로 LCU 에 대응한다. 스플릿되지 않은 TU 쿼드트리의 TU들은 리프 TU들로 지칭된다.
리프 CU 는 하나 이상의 예측 유닛들 (PU들) 을 포함할 수도 있다. 일반적으로, PU 는 대응하는 CU 의 모두 또는 일부를 나타내며, PU 에 대한 참조 샘플을 취출하기 위한 데이터를 포함할 수도 있다. 예를 들어, PU 가 인터 모드 인코딩되면, PU 는 PU 에 대한 모션 벡터를 정의하는 데이터를 포함할 수도 있다. 모션 벡터를 정의하는 데이터는, 예를 들어 모션 벡터의 수평 콤포넌트, 모션 벡터의 수직 콤포넌트, 모션 벡터에 대한 해상도 (예컨대, 정수 픽셀 정밀도, 1/4 픽셀 정밀도 또는 1/8 픽셀 정밀도), 모션 벡터가 가리키는 참조 프레임, 및/또는 모션 벡터에 대한 참조 리스트 (예컨대, 리스트 0 또는 리스트 1) 를 설명할 수도 있다. PU(들)를 정의하는 리프 CU 에 대한 데이터는, 예를 들어 하나 이상의 PU들로의 CU 의 파티셔닝을 또한 설명할 수도 있다. 파티셔닝 모드들은, CU 가 예측적으로 코딩, 인트라 예측 모드 인코딩, 또는 인터 모드 예측 인코딩되지 않는지에 따라 상이할 수도 있다. 인트라 코딩의 경우, PU 는 아래에서 설명되는 리프 변환 유닛과 동일하게 취급될 수도 있다.
HEVC 는 또한 쿼트드리 스타일 변환 유닛 파티션 구조를 허용한다. 도 3 에 도시된 바와 같이, 예를 들어 외부 블록은 오리지널 CU 이다. 내부 블록들은 쿼드트리 구조에 따라 변환 블록 분해의 결과를 나타낸다. 물론, 이러한 결과는 많은 가능한 분해들로부터 하나에 불과하다. 도 3 의 예에서, 변환 분해의 3 개의 레벨들이 존재한다. 레벨-1 분해로, 전체 변환 블록은 4 개의 1/4 사이즈 블록들로 스플릿된다. 그 후, 레벨-2 에서, 제 2 의 1/4 사이즈 변환 블록 (상부 우측) 이 4 개의 1/16 사이즈 변환 블록들로 더 스플릿된다. 그 후, 레벨-3 에서, 4 개의 1/16 사이즈 변환 블록이 4 개의 보다 작은 변환 블록들로 더 스플릿된다. 레벨-0 에서의 변환 유닛은 전체 코딩 유닛이 추가 스플릿 없이 함께 변환된다는 것을 의미한다. 이 경우에 있어서, 변환 유닛은 동일한 사이즈의 코딩 유닛을 갖는다. 실제로, 변환 유닛이 더 스플릿되는지의 여부는 레이트 왜곡 최적화에 기초하여 결정된다.
HEVC 에 대한 한 가지 제안에 있어서, 정방형 형상의 변환 유닛들 (예컨대, 도 3 에 도시된 것들) 외에도, 비정방형 형상의 TU들이 또한 사용될 수 있다. 도 4a 의 블록 (1) 은 예시적인 수직 배향 비정방형 변환 파티션들의 개념도이다. 예를 들어, 사이즈 2Nx2N 의 인터 예측된 블록에 대해, 블록 (1) 에 도시된 바와 같이, 0.5Nx2N 의 사이즈인 4 개의 변환 블록들 (또한 변환 유닛들이라고 지칭될 수도 있음) 이 사용될 수도 있다. 이러한 변환들은 2Nx2N PU 파티션과 함께 사용될 수도 있으며, 또는 PU 파티션이 블록들 (2, 3, 또는 4) 의 형태인 경우에 사용될 수도 있다. 블록 (2) 은 2 개의 파티션들로 분리되는 2Nx2N PU 이며, 각각의 파티션은 오리지널 블록 사이즈의 절반의 사이즈를 갖는다. 블록 (2) 에서의 파티션들은 때때로 Nx2N 파티션들이라고 지칭된다. 블록들 (3, 4) 의 PU들은 각각 오리지널 블록 사이즈의 1/4 및 3/4 의 사이즈를 갖는 2 개의 파티션들로 분리된다. 블록 (3) 의 좌측 파티션은 때때로 0.5Nx2N 파티션이라고 지칭되고, 블록 (3) 의 우측 파티션은 때때로 1.5Nx2N 파티션이라고 지칭된다. 마찬가지로, 블록 (4) 의 좌측 파티션은 때때로 1.5Nx2N 파티션이라고 지칭되고, 블록 (4) 의 우측 파티션은 때때로 0.5Nx2N 파티션이라고 지칭된다.
도 4a 에서, PU들의 파티션은 수직으로 배향된다. 유사한 TU 파티셔닝은, 도 4b 에 도시된 바와 같이, PU들의 파티션들이 수평으로 배향되는 경우에 사용될 수도 있다. 도 4b 의 블록 (5) 은 예시적인 수평 배향 비정방형 변환 파티션들의 개념도이다. 예를 들어, 사이즈 2Nx2N 의 인터 예측된 블록에 대해, 블록 (5) 에 도시된 바와 같이, 2Nx0.5N 의 사이즈인 4 개의 변환 블록들 (또한 변환 유닛들이라고 지칭될 수도 있음) 이 사용될 수도 있다. 이러한 변환들은 2Nx2N PU 파티션과 함께 사용될 수도 있으며, 또는 PU 파티션이 블록들 (6, 7, 또는 8) 의 형태인 경우에 사용될 수도 있다. 블록 (6) 은 2 개의 파티션들로 분리되는 2Nx2N PU 이며, 각각의 파티션은 오리지널 블록 사이즈의 절반의 사이즈를 갖는다. 블록 (6) 에서의 파티션들은 때때로 2NxN 파티션들이라고 지칭된다. 블록들 (7, 8) 의 PU들은 각각 오리지널 블록 사이즈의 1/4 및 3/4 의 사이즈를 갖는 2 개의 파티션들로 분리된다. 블록 (7) 의 상부 파티션은 때때로 2Nx0.5N 파티션이라고 지칭되고, 블록 (7) 의 하부 파티션은 때때로 2Nx1.5N 파티션이라고 지칭된다. 마찬가지로, 블록 (8) 의 상부 파티션은 때때로 2Nx1.5N 파티션이라고 지칭되고, 블록 (8) 의 하부 파티션은 때때로 2Nx0.5N 파티션이라고 지칭된다.
인트라 예측된 블록에 대한 HEVC 에 따르면, 비정방형 변환들은 현재 블록의 파티션 모드에 의존하여 이용된다는 것을 알 수 있다. PU 가 수직 배향 방식으로 파티셔닝되면, 도 4a 의 블록들 (2, 3, 4) 에 도시된 바와 같이, 수직 방향 변환 블록들이 사용될 수도 있다. PU 가 수평 배향 방식으로 파티셔닝되면, 도 4b 의 블록들 (6, 7, 8) 에 도시된 바와 같이, 수평 방향 변환 블록들이 사용될 수도 있다.
인터 예측된 블록들과는 반대로, HEVC 에 대한 이전의 제안들은 인트라 예측된 블록들에 대한 정방형 형상의 TU들만을 허용했다. 추가로, TU들의 형상 및 사이즈는 인트라 예측된 블록에 사용된 PU들의 형상 및 사이즈에 정렬된다. 인트라 예측된 블록들에 대한 TU들 및 PU들의 예들이 도 5a 에 도시되어 있다. 블록 (11) 은 4 개의 1/4 사이즈 파티션들로 파티셔닝된다. 블록 (13) 에서, 제 2 의 1/4 사이즈 파티션 (상부 우측) 이 오리지널 블록 사이즈의 1/16 의 사이즈를 갖는 4 개의 보다 작은 파티션들로 더 파티셔닝된다. HEVC 에 대한 조기 제안들에 기초하여, 도 5a 에 도시된 각각의 블록은 개별적으로 예측, 변환, 및 재구성된다. TU 사이즈는 각각의 경우에 PU 사이즈와 동일하다.
HEVC 에서의 최근 제안들은 인트라 예측된 블록들에서 비정방형 변환들의 사용을 필요로 한다. 도 5b 는 인트라 예측된 블록들에 사용될 수도 있는 비정방형 TU들 및 PU들의 예들을 도시한다. 도 5b 의 예에서, PU들은 또한 직사각형 형상을 가질 수도 있다. 또한, TU들은 PU들과 정렬되고, 동일한 사이즈 및 형상을 갖는다. 블록 (15) 은 수직 배향 직사각형 형상을 갖는 TU들 및 PU들을 나타내고, 블록 (17) 은 수평 배향 직사각형 형상을 갖는 TU들 및 PU들을 나타낸다. 차례로, 각각의 파티션은 재구성된 픽셀들의 이웃 블록으로부터 예측되고 (즉, 인트라 예측을 이용하여 예측되고), 예측 잔차들은 예측에 사용된 PU 와 동일한 사이즈의 TU 를 사용하여 변환되었다.
도 5b 에 도시된 예시적인 비정방형 TU들 및 PU들은 도 5a 의 정방형 형상의 TU들 및 PU들에 더해 사용될 수도 있다. 다시 말해, 주어진 블록에 대해, 도 5a 및 도 5b 양측 모두에서 예시된 경우들이 허용된다. 예를 들어, 쿼드트리 분해 레벨-1 에서, 블록 (11) 에서 도시된 변환 파티션이 선택될 수도 있다. 다른 경우에 있어서, 블록들 (15 또는 17) 에 도시된 변환 파티션이 선택될 수도 있다. 인코더 측에서, 도 5a 및 도 5b 에 도시된 것들을 포함하는 모든 허용가능한 PU 및 TU 파티션들이 가장 최적의 레이트 왜곡 메트릭을 보이는 (또는 규정된 레이트 왜곡 임계치를 충족하는) 파티션 모드를 결정하도록 테스트되며, 인코딩된 비트스트림에서 최상의 파티션 모드가 시그널링된다. 테스팅은 정방형 형상의 변환들에 더해 비정방형 형상의 변환들을 인에이블하는 것이 인트라 예측된 블록들에 대한 코딩 효율을 개선할 수 있다는 것을 보여 주었다.
인트라 예측된 블록에 대해, TU 가 PU 와 함께 커플링되므로, 블록 내에서 TU 파티션들의 상이한 옵션들을 검사하는 것은, 각각의 고유한 TU 파티션이 고유한 PU 파티션과 매칭할 때, 다수의 예측들 및 재구성들을 수행하는 것을 포함할 수도 있다. 그 결과, 인코딩 복잡도는 상당히 보다 높아지게 되고, 추가의 비정방형 파티션들이 검사되고 시그널링된다. 이러한 높은 인코더 복잡도는 몇몇 상황들에서 인트라 예측된 블록을 코딩하기 위한 정방형 변환들 외에도 비정방형 변환들을 이용하는 것을 비실용적이게 할 수도 있다. 이러한 단점들의 관점에서, 본 개시물은 코딩 효율을 보존하면서 감소된 복잡도로 인트라 예측된 블록들에 대한 비정방형 변환들을 가능하게 하는 데 목적이 있다.
본 개시물은 이러한 단점들을 해결하기 위한 여러 기법들을 제시한다. 일 예로서, 주어진 인트라 예측된 블록에 대해, 감소된 수의 변환 유닛 파티션 옵션들이 특정 조건들에 기초하여 허용된다. 다른 예에서, 본 개시물은 인트라 예측된 블록들에 대한 PU 사이즈 및 형상으로부터 TU 사이즈 및 형상을 디커플링하는 것을 제안한다. 즉, 주어진 PU 에 대해, PU 와는 상이한 사이즈들 및 형상들의 TU들이 적용될 수도 있다. 그 결과, 상이한 TU 파티션들을 검사하는 것은 모든 환경들에서 블록의 대응하는 예측을 개별적으로 획득하는 것을 요구하지 않을 수도 있다.
본 개시물의 일 실시예에 따르면, 인트라 예측된 블록에 대해, 감소된 수의 TU 파티션 옵션들은 대응하는 PU 에 사용되는 인트라 예측 방향 (또는 인트라 예측 모드) 에 기초하여 허용된다. 예를 들어, 현재 PU 의 인트라 예측 모드가, PU 가 수직 방향으로부터 예측되는 것을 나타내면, 예컨대 인트라 예측 모드 0 이면, 수직 배향 비정방형 변환들 (예컨대, 도 5b 에서 블록 (15) 의 TU 파티션들) 만이 허용된다. 정방형 형상의 변환들은 수직 배향 인트라 예측 모드를 이용하여 예측된 PU 에 대해 허용되지 않는다. 추가로, 수평 배향 비정방형 TU들 (예컨대, 도 5b 에서 블록 (17) 의 TU 파티션들) 은 허용되지 않는다. 일반적으로, 이러한 제한은 모드들 0, 21, 22, 11 및 22 와 같은, 주로 수직으로 배향되는 모든 인트라 예측 방향들에 적용될 수도 있다. 모드들 0, 21, 22, 11 및 12 는 단지 예시적인 수직 배향 인트라 예측 모드들에 불과하다. 다른 예들에서, 추가적인 인트라 예측 모드들은 수직으로 배향되는 것으로 분류될 수도 있다.
마찬가지로, 본 개시물의 다른 예에 따르면, 현재 PU 의 인트라 예측 모드가, PU 가 수평 방향으로부터 예측되는 것을 나타내면, 예컨대 인트라 예측 모드 1 이면, 수평 배향 비정방형 TU들 (예컨대, 도 5b 에서 블록 (17) 의 TU 파티션들) 만이 허용된다. 정방형 형상의 변환들은 수평 배향 인트라 예측 모드를 이용하여 예측된 PU 에 대해 허용되지 않는다. 추가로, 수직 배향 비정방형 TU들 (예컨대, 도 5b 에서 블록 (15) 의 TU 파티션들) 은 허용되지 않는다. 일반적으로, 이러한 제한은 모드들 1, 29, 30, 15, 및 16 과 같은, 주로 수평으로 배향되는 모든 인트라 예측 방향들에 적용될 수도 있다. 모드들 1, 29, 30, 15, 및 16 은 단지 예시적인 수평 배향 인트라 예측 모드들에 불과하다. 다른 예들에서, 추가적인 인트라 예측 모드들은 수평으로 배향되는 것으로 분류될 수도 있다.
본 개시물의 다른 예에서, 현재 PU 에 대한 인트라 예측 모드가 어떠한 명확한 방향 선호도도 갖지 않는다면, 예컨대 DC 모드 2 또는 평면 모드 34 이면, 정방형 형상의 TU들만이 그 블록에 대해 허용된다. 일반적으로, 이러한 제한은 수평 또는 수직 중 어느 방향으로도 배향되지 않는 모든 인트라 예측 방향들에 적용될 수도 있다. 예를 들어, 정방형 형상의 TU들에 대한 제한은, 또한, 모드들 3, 18 및 26 과 같이, 주로 대각선으로 배향되는 그러한 인트라 예측 방향들에 적용될 수도 있다. 모드들 3, 18 및 26 은 단지 대각선 방향 인트라 예측 모드들의 예에 불과하다. 다른 예들에서, 추가적인 인트라 예측 모드들은 대각선으로 배향되는 것으로 분류될 수도 있다.
도 2 에 도시된 것들과 같이, 특별하게 전술되지 않은 다른 인트라 예측 모드들은 허용가능한 TU 파티션들의 타입들에 대해 어떠한 제한도 갖지 않을 수도 있다. 예를 들어, 정방형 TU 파티션들, 비정방형 수직 방향 TU 파티션들, 및 비정방형 수평 방향 TU 파티션들이 허용될 수도 있다.
전술된 인트라 예측 모드 기반 TU 파티션 제한들 (즉, 각각의 인트라 예측 모드에 대한 특정 TU 파티션들의 제한) 은 모드 결정 스테이지 (즉, 인트라 예측 모드를 선택하는 것) 에서 행해질 수 있고, 또는 전체 인코딩 프로세스에 (즉, 모드 결정 스테이지 및 엔트로피 코딩 스테이지 양측 모두에서) 이용될 수 있다.
모드 결정 스테이지 (예컨대, 도 7 의 모드 선택 유닛 (40) 은 인코더가 가능한 TU 파티션들을 테스트하고 비트 레이트/왜곡 기준에 기초하여 하나를 선택하는 스테이지를 지칭한다. TU 제한이 모드 결정 스테이지에서만 적용되면, 비디오 인코더 (20) 는 선택된 인트라 예측 모드에 대해 허용되는 선택된 TU들 (모든 가능한 TU들의 서브세트일 수도 있음) 만을 테스트한다. 엔트로피 코딩 스테이지 (예컨대, 도 7 의 엔트로피 인코딩 유닛 (56)) 에서, 비디오 인코더 (20) 는, 시그널링에 이용가능하다면, 선택된 인트라 예측에 대해 허용되는 서브세트만이 아니라, 모든 가능한 TU들을 고려한다. 예를 들어, 총 3 개의 가능한 TU 파티션들 (예컨대, 수직 배향 (파티션 A), 수평 배향 (파티션 B), 및 정방형 (파티션 C)) 이 있는 것으로 가정한다. 인트라 모드 k 에 대해, 변환 A 만이 모드 결정 스테이지에서 고려되는 것으로 가정한다. 그러나, 엔트로피 코딩 스테이지에서는, 비디오 인코더 (20) 가 모든 파티션들 A, B 및 C 가 이용가능하고 그에 따라 모든 그러한 가능성들의 관점에서 파티션 A 의 선택을 시그널링하는 것을 상정한다. 예를 들어, 비디오 인코더 (20) 는 파티션 C 가 선택되는 것을 나타내는 square_tranform_flag = 1 을 시그널링할 수도 있고, 또는 비정방형 변환을 나타내는 square_tranform_flag = 0 (즉, A 또는 B) 그리고 변환들 A 또는 B 중에서 선택되는 변환을 나타내는 transform_dir_flag = 1 (또는 0) 을 시그널링할 수도 있다. 신택스 엘리먼트 transform_dir_flag = 1 은 수평 배향 TU 에 대응할 수도 있고, transform_dir_flag = 0 은 수직 배향 TU 에 대응할 수도 있으며, 그 반대로 될 수도 있다.
TU 파티션 제한을 전체 인코딩 프로세스에 적용하는 것은, 이용가능한 변환들의 제한이 (전술된 바와 같은) 모드 결정 스테이지 및 또한 엔트로피 코딩 스테이지 양측 모두에 적용된다는 것을 의미한다. 엔트로피 코딩 스테이지에서, TU 파티션 선택을 시그널링할 때에는 선택된 인트라 예측 모드에 대한 허용된 변환들만이 고려된다. 예를 들어, 인트라 모드 k 에 대해, 변환들 A 및 C 만이 허용되면 (B 는 허용되지 않음), 비디오 인코더 (20) 는 하나의 플래그 (플래그 = 1, A 선택됨; 플래그 = 0, C 선택됨) 를 시그널링한다. 다른 예에서, 모드 k 에 대해, 변환 A 만이 허용되면, 비디오 인코더 (20) 는 어떠한 플래그들도 전송할 필요가 없을 것인데, 이는 변환이 인트라 모드로부터 디코더로부터 추론될 수도 있기 때문이다.
본 개시물의 일 예에 따르면, 사용에 이용가능한 TU 파티션(들)은 비디오 인코더 (20) 에서의 사용을 위해 선택되는 인트라 예측 모드에 의존한다. 이 예에서, 각각의 인트라 예측 모드에 대해, 단 하나의 TU 파티션이 특정된다. 이용가능한 타입의 TU 파티션들은 정방형 TU 파티션들, 수직 배향 비정방형 TU 파티션들, 및 수평방향 비정방형 TU 파티션들을 포함할 수도 있다.
인트라 예측 모드와 TU 파티션 사이의 의존성은, 예컨대 메모리에 저장된 맵핑 테이블의 형태로 또는 구현된 공식들 또는 규칙들의 세트로서, 비디오 인코더 (20) 및 비디오 디코더 (20) 양측 모두에서 이용가능하게 될 수도 있다. 그 결과, 이 예에서, 인코더로부터 사용된 TU 파티션의 타입을 디코더로 시그널링할 필요가 없다. 대신, 비디오 디코더 (30) 에서, 일단 블록 또는 PU 인트라 예측 모드가 디코딩되면, 그의 의존적인 TU 파티션은, 인트라 예측 모드에 기초하여 맵핑 테이블 또는 규칙으로부터, 인코더와 동일한 방식으로 결정될 수도 있다.
본 개시물의 다른 예에 따르면, 선택된 TU 파티션은 현재 블록/PU 의 선택된 인트라 예측 모드에 여전히 의존하지만, 각각의 예측 방향에 대해, 특정되고 허용되는 하나 이상의 TU 파티션들이 있을 수도 있다. 특정 인트라 예측 모드에 대해 특정된 2 개 이상의 TU 파티션이 있을 때, 인코딩된 비디오 비트스트림에서 선택된 인트라 예측 모드를 시그널링하는 것 외에도, 추가적인 비트 또는 플래그가, 선택된 인트라 예측 모드에 대해 특정된 어떠한 TU 파티션이 사용될 것인지를 나타내도록 시그널링된다. 예를 들어, 수직 예측 방향들 (예컨대, 모드 0) 에 대해, 수직 배향 비정방형 TU 파티션들 또는 정방형 TU 파티션들 중 어느 하나가 사용될 수도 있다. 수평 방향 예측 방향들 (예컨대, 모드 1) 에 대해, 수평 배향 비정방형 TU 파티션들 또는 정방형 TU 파티션이 사용될 수도 있다.
이러한 맥락에서, 인코딩된 비트스트림에서 TU 파티션을 시그널링하는 것은 인코더로부터 디코더로의 그러한 엘리먼트들의 실시간 송신을 요구하지는 않지만, 그러한 신택스 엘리먼트들이 비트스트림 내로 인코딩되고 임의의 방식으로 디코더에 액세스가능하게 되는 것을 의미한다. 이것은, (예컨대, 화상 회의에서의) 실시간 송신 뿐 아니라 (예컨대, 스트리밍, 다운로딩, 디스크 액세스, 카드 액세스, DVD, 블루레이 등에서) 디코더에 의한 향후 사용을 위해 컴퓨터 판독가능 매체 상에 인코딩된 비트스트림을 저장하는 것을 포함할 수도 있다.
인트라 예측 모드에 대해, 특정된 TU 파티션이 단 하나가 있으면, 그러한 인트라 예측 모드가 선택될 때 TU 파티션을 나타내는 추가적인 비트 또는 플래그를 인코더로부터 디코더로 시그널링할 필요가 없다. 대신, 관련된 TU 파티션은 인코더 및 디코더 양측 모두에서 추론될 수 있다. 예를 들어, DC 모드 또는 평면 모드 하에서, 정방형 TU 파티션들만이 사용하는 데에 이용가능하게 될 수도 있다. 또한, 인트라 예측 모드 사이에서의 의존성, 허용된 TU 파티션들의 수 뿐 아니라 허용된 TU 파티션들의 타입은, 예컨대 메모리에 저장된 맵핑 테이블의 형태로 또는 구현된 공식들 또는 규칙들의 세트로서, 인코더 및 디코더 양측 모두에서 이용가능하게 될 수도 있다.
본 개시물의 또 다른 예에 따르면, 선택된 TU 파티션은 현재 블록의 인트라 예측 모드에 여전히 의존적이지만, 각각의 인트라 예측 방향에 대해, 특정되고 허용되는 동일한 수의 TU 파티션들이 존재한다. 예를 들어, 각각의 예측 모드에 대해, 특정되고 허용되는 2 개의 TU 파티션들이 존재한다.
그와 같이 하는 동기는 CABAC 와 같은 엔트로피 코더가 사용될 때 제 2 의 예의 방식과 관련된 파싱 문제를 피하는 것이다. 전술된 제 2 의 예에 따르면, 인트라 예측 모드에 의존하여, 변환 파티션을 나타내는 추가적인 비트 또는 플래그를 전송할 필요가 있을 수도 있고 또는 없을 수도 있다. 비디오 디코더 (20) 에서, 현재 블록에 대한 추가적인 하나의 비트 또는 플래그를 파싱할 것인지의 여부를 알기 위해, 인트라 예측 모드는 전체적으로 디코딩되어야 한다. 이것은 CABAC 와 같은 엔트로피 코더가 사용될 때 디코더에서 문제를 일으킬 수도 있다.
모든 인트라 예측 모드가 동일한 수의 특정된 TU 파티션들 (예컨대, 2 개의 TU 파티션들) 을 갖는 예에서, 어떤 인트라 예측 모드가 선택되는지와는 무관하게, 블록/PU 에 사용되는 TU 파티션을 나타내도록 하나의 추가적인 비트 또는 플래그가 시그널링된다. 그래서, 디코더 측에서의 이러한 추가적인 비트 또는 플래그의 파싱은 블록의 실제 이내트라 예측 모드에 의존하지 않는데, 이는 추가적인 비트 또는 플래그가 항상 전송될 것이기 때문이다.
본 개시물의 다른 예에 따르면, 인트라 예측된 블록에 대해, TU들은 사이즈 및/또는 형상에 관해 PU들과 더 이상 커플링되지 않는다. 다시 말해, TU 는 대응하는 PU 와는 상이한 사이즈 및/또는 형상을 가질 수도 있다. 예를 들어, 도 6 에 도시된 바와 같이, 2Nx2N 파티셔닝 모드를 갖는 인트라 예측된 블록의 PU (19) 는 CU 와 동일한 사이즈를 가질 수도 있다. NxN 파티셔닝 모드를 갖는 인트라 예측된 블록의 PU (21) 의 파티션 각각은 CU 사이즈의 1/4 인 사이즈를 가질 수도 있다.
각각의 PU 에 대해, 어떤 TU 파티션이 PU 에 대해 사용될 것인지와는 무관하게, 제구성된 픽셀들의 이웃 블록을먼 먼저 사용하는 수행된다. 일단 예측 잔차들이 PU 에 대해 이용가능하다면, PU 내의 TU 파티션들이 추가로 결정되고 시그널링될 수도 있다.
이러한 기법으로, TU들 및 PU들이 더 이상 함께 커플링되지 않기 때문에, 예측 잔차들은 TU 파티션 중 어느 것이 특정 PU 에 대한 것인지와는 무관하게, 변화되지 않은 상태로 유지된다. 그 결과, 인코더 측에서, 상이한 TU 파티션들은 예측 및 예측 잔차들을 매 시간 재계산하지 않고 테스트될 수도 있다. 이와 같이, 인코더 복잡도가 감소할 수 있다.
예를 들어, 도 6 에서 PU (19) 의 파티셔닝을 이용할 때, 전체 CU 에 대한 예측 방향이 먼저 획득된다. 그 후, 잔차들이 전체 CU 에 대해 계산된다. 그러면, 예측 잔차에 기초하여, 도 4a 및 도 4b 에 도시된 바와 같은 상이한 TU 파티션들이 테스트될 수 있고, 최상의 것은 인코딩된 비디오 비트스트림에서 시그널링된다.
본 개시물의 또 다른 예에 따르면, 인트라 예측된 블록에 대해, TU들은 PU들과 커플링되지 않는다. 다시 말해, TU 는 대응하는 PU 와는 상이한 사이즈 또는 형상을 가질 수도 있다. 그러나, 선택된 인트라 예측 모드에 따라, 감소된 수의 TU 파티션들이 허용될 수도 있다.
예를 들어, 주어진 인트라 예측 모드에 대해, 특정 TU 파티션들이 가장 최적인 레이트 왜곡 메트릭을 초래할 가능성이 거의 없을 수도 있다. 이 경우에 있어서, 주어진 인트라 예측 모드에 대해 가능성이 적게 사용된 TU 파티션들을 제거하는 것에 의해 허용된 TU 파티션들의 수를 감소시키는 것은 TU 파티션들에 대한 시그널링 오버헤드를 감소시킬 수도 있고 코딩 효율을 증가시킬 수도 있다.
주어진 인트라 예측 모드에 대해 이용가능한 TU 파티션들의 2 개 이상의 옵션이 있는 경우, 현재 블록/PU 에 대한 최상의 TU 파티션의 인덱스는 인코딩된 비디오 비트스트림에서 시그널링된다. 예를 들어, 특정 인트라 예측 모드에 대해 이용가능한 TU 파티션들의 3 개의 옵션들이 있는 경우, 0, 1, 또는 2 의 인덱스 값은 어떤 TU 파티션이 블록/PU 에 대해 선택되는지를 각각 나타내도록 시그널링될 수도 있다.
그러한 인덱스 값을 시그널링하는 데 있어서의 코딩 효율을 개선하기 위해, 현재 블록의 인트라 예측 모드가 콘텍스트로서 사용될 수도 있다. 인트라 예측 모드에 따라, 적응적 코딩 (예컨대, CABAC) 에서 사용되는 상이한 확률 모델들은 TU 파티션의 인덱스 값을 시그널링하는 데 사용될 수도 있다. 즉, 주어진 인트라 예측 모드에 대해, 최상의 레이트 왜곡 메트릭을 가질 보다 높은 가능성을 갖는 것으로 보인 TU 파티션들은 이러한 보다 높은 가능성을 고려하는 확률 모델로 CABAC 를 이용하여 코딩될 것이다. 본 개시물의 다른 예에 따르면, 현재 블록의 이웃 블록에 사용되는 TU 파티션의 인덱스 값은 현재 블록에 대한 변환 유닛 파티션의 인덱스 값을 코딩하는 데 있어서 콘텍스트로서 사용될 수도 있다.
본 개시물의 다른 예들에 따르면, 비정방형 PU들을 시그널링하는 기법들이 설명된다. 특히, 본 개시물은 인코딩된 비디오 비트 레이트를 감소시키기 위한 그리고 비정방형 단거리 인트라 예측 파티션들에 대한 인트라 모드 세트들을 감소시키는 것에 의해 인코더 복잡도를 감소시키기 위한 기법들을 설명한다.
전술된 바와 같이, HEVC, H.264 및 다른 비디오 코딩 표준들에서 이전 블록 기반 인트라 코딩은 하나의 NxN 정방형 블록을 재구성 유닛 및 예측 유닛으로서 사용한다. 정방형 블록 내부의 픽셀들은 이웃하는 재구성된 블록들의 경계들로부터 예측된다. 이것은 정방형 블록들의 우측 하부 부분 상의 픽셀들에 대해 시퀀스들의 몇몇 지역들 내의 다른 것들보다 덜 최적인 예측들을 초래할 수도 있다. 공간 상관성들을 더욱 잘 활용하기 위해, 최근에는, 단거리 인트라 예측 (SDIP) 코딩 방식이 HEVC 표준에서의 사용을 위해 제안되고 있다. SDIP 기법들은 하나의 NxN 정방형 블록을 여러 개의 라인들 또는 정사각형 형상들을 갖는 비정방형 블록들로 파티셔닝하는 것을 포함한다. 그 블록에서, 픽셀들은 라인별로 또는 직사각형별로 예측되고 재구성된다. 따라서, 예측 거리는 단축된다.
SDIP 의 일 예에서, 32x32 보다 작은 하나의 NxN 정방형 블록은 여러 라인들의 픽셀들 또는 비정방형 정사각형 형상을 갖는 비정방형 블록들로 분할된다. 그 블록에서, 픽셀들은 라인별로 또는 직사각형별로 예측되고 재구성된다.
SDIP 의 다른 예에서, 64x64 보다 작은 하나의 CU 는 라인들로서 또는 직사각형 형상을 갖는 비정방형 블록들로서 파티셔닝될 수 있다. 예를 들어, 32x32 CU 는 4 개의 8x32 PU들 또는 4 개의 32x8 PU들로서 파티셔닝될 수 있다. 다른 예에서, 16x16 CU 은 4 개의 8x8 PU들로 분할될 수 있을 뿐 아니라 4 개의 4x16/16x4 PU들로도 분할될 수 있고, 4x16/16x4 PU 는 4 개의 1x16/16x1 파티션들로 더 스플릿될 수 있다. 마찬가지로, 하나의 8x8 CU 는 또한 4 개의 2x8/8x2 PU들로 분할될 수 있고, 모든 4x4 PU 는 4 개의 1x4/4x1 파티션들로 더 분할될 수 있다.
보다 일반적으로 말하면, 사이즈 2Nx2N 의 인트라 CU 에 대해, HEVC 에서 이전에 사용된 2 개의 PU 사이즈들이 있다: 2Nx2N 및 NxN (현재 NxN 은 최소 CU 레벨에서만 허용된다). 예를 들어, 2Nx2N 및 NxN 파티션들이 도 5 에 도시되어 있다. 2Nx2N 파티션 (19) 으로, 전체 CU 는 단 하나의 PU (사이즈 2Nx2N) 만을 갖는다. SDIP 의 도입으로, 2 개의 새로운 예측 유닛들이 추가된다: 2NxhN 및 hNx2N. 2NxhN 파티션에 대해, CU 는 4 개의 2NxhN PU들을 갖고, CU 는 4 개의 hNx2N PU들을 갖는다. 각각의 PU 는 자신의 인트라 예측 모드 (즉, 도 2 에 도시된 바와 같은 35 개 모드들 중 하나) 를 갖는다. 도 4b 의 블록 (17) 은 예시적인 2NxhN PU 파티션들을 나타낸다. 도 4b 의 블록 (15) 은 예시적인 hNx2N PU 파티션들을 나타낸다.
예를 들어 SDIP 를 갖는 비정방형 PU들을 사용할 때, 각각의 PU 는 복수의 인트라 예측 모드들/방향들 (예컨대, 도 2 의 35 개의 모드들) 중 하나를 이용할 수도 있다. 이러한 배열에는 여러 단점들이 있다. 첫째, 선택된 모드를 각각의 PU 에 대한 디코더로 시그널링하기 위해, 선택된 모드에 대한 인덱스는 인코딩된 비디오 비트스트림에서 시그널링된다. 모드가 선택될 불확실성이 높으므로 (즉, 35 개의 모드들이 있을 수도 있으므로), 비교적 큰 수의 비트들이 인덱스를 인코딩하는 데 이용되며, 이는 압축된 비디오에 대한 비트 레이트를 증가시킨다. 둘째, 인코더는, 사용하기에 최상의 것을 결정하기 위해 모든 모드를 검사해야 할 수도 있고, 또는 요건, 예컨대 레이트 왜곡 임계치를 충족하는 모드를 적어도 식별하도록 해야 할 수도 있다. 각각의 PU 에 대해 허용된 모든 인트라 예측 모드들/방향들로, 이러한 검사 프로세스는 인코더에서 계산 부담을 증가시킨다.
본 개시물은 인코딩된 비디오 비트 레이트를 감소시키기 위한 그리고 정방형 및 비정방형 SDIP 파티션들에 대한 가능한 인트라 예측 모드들의 수를 감소시키는 것에 의해 인코더 복잡도를 감소시키기 위한 기법들을 제안한다. 가능한 인트라 예측 모드들의 개수 면에서의 이러한 감소는, 수직으로 파티셔닝된 CU들 (예컨대, hNx2N PU) 에 대해, 수직의 또는 거의 수직의 인트라 예측 모드들 (예컨대, 모드들 1, 22, 23 ...) 이 최상의 모드로서 선택될 가능성이 더 많다는 견해들에 기초한다. 마찬가지로, 수평으로 파티셔닝된 CU들 (예컨대, 2NxhN PU) 에 대해, 수평의 또는 거의 수평의 인트라 예측 모드들 (예컨대, 모드들 2, 30, 31 ...) 이 최상의 모드로서 선택될 가능성이 더 많다.
본 개시물에서, SDIP 파티션 의존적 인트라 예측 모드 세트들이 제안된다. SDIP PU 파티션들 (예컨대, 2NxhN 및 hHx2N 파티션들) 의 인트라 예측 모드 세트들은 정방형 PU 파티션들 (예컨대, 2Nx2N 및 NxN 파티션들) 에 사용되는 인트라 예측 모드 세트들과는 상이할 수도 있다. 예를 들어, SDIP PU 파티션의 인트라 예측 모드 세트는 정방형 PU 파티션들에 이용가능한 모드들의 총 개수 (예컨대, 도 2 의 35 개 모드들) 의 서브세트일 수도 있다. 다시 말해, SDIP PU 파티션의 인트라 예측 모드 세트는 정방형 PU 파티션들에 사용되는 인트라 예측 모드 세트보다 더 적은 모드들을 포함할 수도 있다. 또한, 인트라 예측 모드 세트들은 SDIP 파티션 방향에 의존할 수도 있다. 예를 들어, 수직으로 파티셔닝된 hNx2N 파티션들 및 수평으로 파티셔닝된 2NxhN 파티션들은 상이한 인트라 예측 모드 세트들을 가질 수도 있다.
특정 SDIP 파티션들에 대한 주어진 세트에서 인트라 예측 모드들의 양을 감소시킴으로써, 선택된 인트라 예측 모드를 인코딩하는 데 사용되는 코드워드는 더 짧을 수 있고, 그에 따라 비트들이 절약될 수 있고, 비트 레이트가 감소할 수 있다. 추가로, 보다 적은 인트라 예측 모드들이 SDIP 파티션들에 대해 검사되므로, 인코딩 프로세스에서의 계산 부담이 감소하고 인코딩이 가속화될 수도 있다. 인트라 예측 모드 세트가 SDIP 파티션 방향에 의존하는 함으로써, 35 개의 인트라 예측 모드들의 전체 보수 (full complement) 에 의해 제공되는 인코딩 이득의 대부분은 선택된 인트라 예측 모드 후보들 (즉, 감소된 인트라 예측 모드 세트) 과 함께 유지될 수 있음이 예상된다.
본 개시물의 일 예에서, hNx2N PU 파티션에 대해, 인트라 예측 모드 세트는 그러한 수직의 또는 거의 수직의 인트라 예측 모드들을 포함할 수 있고, 인트라 예측 모드들 0, 21, 22, 11 및 12 를 포함하지만 다른 인트라 예측 모드들 (예컨대, 수평의 또는 거의 수평의 모드들, DC 모드들, 평면 모드들, 및 다른 각도 모드들) 을 배제한다. 2NxhN PU 에 대해, 인트라 예측 모드 세트는 그러한 수평의 또는 거의 수평의 인트라 예측 모드들을 포함할 수 있고, 모드들 1, 29, 30, 15 및 16 을 포함하지만 다른 인트라 예측 모드들 (예컨대, 수직의 또는 거의 수직의 모드들, DC 모드들, 평면 모드들, 및 다른 각도 모드들) 을 배제한다.
본 개시물의 다른 예에서, hNx2N PU 파티션에 대해, 인트라 예측 모드 세트는 그러한 수직의 또는 거의 수직의 인트라 예측 모드들 뿐 아니라 강한 방향성을 갖는 것 (예컨대, DC 모드 및/또는 평면 모드) 이 아니라 다른 인트라 예측 모드들을 배제하는 다른 모드들 (예컨대, 수평의 또는 거의 수평의 모드들 및 다른 각도 모드들) 을 포함할 수 있다. 강한 방향성을 갖는 모드들은 수직인 또는 거의 수직인 모드들 및 수평인 또는 거의 수평인 모드들이다. 2NxhN PU 파티션에 대해, 인트라 예측 모드 세트는 그러한 수평의 또는 거의 수평의 인트라 예측 모드들 뿐 아니라 강한 방향성을 갖는 것 (예컨대, DC 모드 및/또는 평면 모드) 이 아니라 다른 인트라 예측 모드들을 배제하는 다른 모드들 (예컨대, 수직의 또는 거의 수직의 모드들 및 다른 각도 모드들) 을 포함할 수 있다.
본 개시물의 다른 예에서, hNx2N PU 파티션에 대해, 인트라 예측 모드 세트는 그러한 수직의 또는 거의 수직의 인트라 모드들, 강한 방향성을 갖지 않는 다른 모드들 (예컨대, DC 모드 및/또는 평면 모드) 및 몇몇 수평의 또는 거의 수평의 모드들 (예컨대, 모드 2) 을 포함할 수 있다. 이 인트라 모드 세트에서의 모드들의 총 개수는 정방형 파티션들에 대한 모드들의 총 개수 (예컨대, 모두 35 개의 모드들) 보다 작을 수 있다. 2NxhN PU 파티션에 대해, 인트라 예측 모드 세트는 그러한 수평의 또는 거의 수평의 인트라 모드들, 강한 방향성을 갖지 않는 다른 모드들 (예컨대, DC 모드 및/또는 평면 모드), 및 몇몇 수직의 또는 거의 수직인 모드들 (예컨대, 모드 1) 을 포함할 수 있다. 이 인트라 모드 세트에서의 모드들의 총 개수는 정방형 파티션들에 대한 모드들의 총 개수보다 작을 수 있다 (예컨대, 모두 35 개의 모드들을 포함하는 세트보다 작을 수 있다).
본 개시물은 또한 특정 PU 파티션에 대한 이용가능한 인트라 예측 모드 세트를 CU 사이즈에 의존하게 하는 기법들을 제안한다. 예를 들어, hNx2N SDIP PU 파티션을 갖는 32x32 CU 는 hNx2N SDIP PU 파티션을 갖는 6x16 CU 와는 상이한 인트라 모드 세트를 가질 수도 있다. 이 예에서, 32x32 CU (hNx2N SDIP PU 파티션을 가짐) 에 대해, 인트라 모드 세트들은 모드 0, 21, 22 를 포함하고; 16x16 CU (hNx2N SDIP PU 파티션을 가짐) 에 대해, 인트라 모드 세트들은 모드 0, 21, 22, 11, 12, 20 및 23 을 포함한다. 또한, 인트라 예측 모드 세트는 픽처 타입과 같은 다른 부수 정보에 의존할 수도 있다. 예를 들어, 인트라 슬라이스/픽처에 대해, hNx2N SDIP PU 파티션을 갖는 CU 의 인트라 예측 모드 세트는 모드 0, 21, 22, 11, 12, 20 및 23 을 포함한다. P 또는 B 슬라이스들에 대해, hNx2N SDIP PU 파티션을 갖는 CU 의 인트라 예측 모드 세트는 모두 35 개의 모드들을 포함한다.
몇몇 예들에서, SDIP 파티션들에 대한 인트라 예측 모드 세트들은 고정된 세트들일 수도 있고, 비디오 인코더 (20) 및 비디오 디코더 (30) 양측 모두에서 저장될 수도 있다. 다른 예들에서, 인트라 예측 모드 세트들은 몇몇 고레벨 신택스를 사용하여, 인코딩된 비트스트림에서 시그널링될 수도 있다. 예를 들어, 이러한 신택스는 SPS (sequence parameter set) 및/또는 PPS (picture parameterset) 에서 시그널링될 수도 있다.
본 개시물의 다른 예에서, SDIP 인트라 예측 모드 세트들에서의 모드들은 엔트로피 코딩이 보다 쉽고 보다 효율적일 수 있도록 (예컨대, 0 으로부터 연속으로 시작하여) 리넘버링될 수도 있다. 예를 들어, hNx2N 파티션에 대한 인트라 예측 모드 세트가 3 개의 모드들: 0, 21 및 22 (도 2 에 도시됨) 를 포함하는 것을 가정한다. 모드들 0, 21 및 22 는 엔트로피 코딩을 위해 0, 1 및 2 (예컨대, 0->0, 21->1, 22->2) 로 리넘버링된다. 비디오 디코더 (30) 에서, 리넘버링된 인트라 예측 모드들은 정확한 방향을 갖는 인트라 예측이 수행될 수 있도록 오리지널 모드 번호들 (이 예에서는, 0, 21 및 22) 과 리맵핑될 수 있다.
가장 가능성이 있는 모드들 (Most probable modes: MPM) 이 인트라 예측 모드들을 시그널링하는 데 사용된다. HM 소프트웨어의 일 버전에서는, 2 개의 MPM들이 존재한다. 하나의 MPM 은 최상단 PU 의 모드 (즉, 현재 PU 의 바로 위에 있는 PU) 이고, 다른 MPM 은 좌측 PU 의 모드 (즉, 현재 PU 의 바로 좌측에 있는 PU) 이다. 플래그는 현재 PU 의 모드가 MPM PU들 중 하나에 대한 모드와 동일하면, 인코딩된 비디오 비트스트림에서 시그널링된다. 사실이라면, 현재 PU 의 모드가 매칭하는 MPM 을 나타내는 다른 플래그가, 인코딩된 비디오 비트스트림에서 시그널링될 것이다. MPM 시그널링 기법들을 이용하는 것은 PU 에 대한 선택된 인트라 예측 모드를 시그널링하는 데 필요한 비트들의 양을 감소시킨다.
본 개시물에서 제안되는 바와 같이, 2 개의 SDIP PU들 (즉, hNx2N 및 2NxhN) 및 정방형 PU들은 상이한 인트라 예측 모드 세트들을 가질 수 있다. 이것은 MPM 기반 인트라 예측 모드에서 몇몇 문제들 및/또는 비효율성들을 야기할 수도 있다. 예를 들어, 좌측 PU 및 최상단 PU 가 현재 PU 의 것과는 상이한 인트라 예측 모드 세트들을 갖는다면, 좌측 및 최상단 PU 로부터 유도된 MPM들이 현재 PU 에 이용가능한 임의의 인트라 예측 모드와는 상이하고 그에 따라 MPM 코딩이 유용하지 않게 된다는 것이 가능하다.
이러한 단점의 관점에서, 본 개시물은 PU(A) 및 PU(B) 에 대한 인트라 예측 모드 세트들이 상이한 경우에 PU(A) 의 모드가 다른 PU(B) 에 대한 MPM 으로서 사용되는 때에 모드 맵핑/양자화를 수행하는 것을 제안한다.추가로 PU(A) 의 인트라 예측 모드 세트로서 S(A) 를 정의하고, PU(A) 에 사용되는 모드로서 m(A) 를 정의한다. 마찬가지로, PU(B) 의 인트라 예측 모드 세트로서 S(B) 를 정의하고, PU(B) 에 사용되는 모드로서 m(B) 를 정의한다. 맵핑은 m(A) 를 S(B) 에서의 모드 Y 에 매핑하도록 수행될 수도 있고, Y 는 m(B) 를 인코딩하기 위한 MPM 으로서 사용된다. 비디오 인코더 (20) 는 이 순방향 맵핑을 수행할 수도 있다. 추가로, 비디오 디코더 (30) 는 또한 오리지널 인트라 예측 모드를 획득하도록 순방향 맵핑을 수행할 수도 있다.
일 예에서, Y 는 m(A) 로서 가장 유사한 방향을 갖는 S(B)에서의 모드로서 정의된다. 다른 예에서, S(B) 에서의 모드들에 대한 S(A) 에서의 모드들로의 맵핑은 고정되며, 인코더 및 디코더 양측 모두에서 이용가능하다. 다른 예에서, S(B) 에서의 모드들에 대한 S(A) 에서의 모드들로의 맵핑은 몇몇 고레벨 신택스를 사용하여 (예컨대, SPS 에서 또는 PPS 에서) 인코더 정의되고 송신된다. 즉, 맵핑은 맵핑 알고리즘에 따라 인코더에서 수행되며, 맵핑을 수행하는 데 사용되는 알고리즘 (또는 알고리즘에 대한 인덱스) 은 인코딩된 비디오 비트스트림에서 시그널링된다. 다른 예에서, S(A) 에서의 모드들에 대한 S(B) 에서의 모드들로의 맵핑은 부수 정보 (예컨대, CU/PU 사이즈, 픽처 타입 등) 에 의존적이다.
도 7 은 본 개시물에서 설명되는 바와 같은 시그널링과 TU 및 PU 선택에 대한 기법들을 이용할 수도 있는 비디오 인코더 (20) 의 일 예를 나타낸 블록도이다. 비디오 인코더 (20) 는 변환 계수들의 코딩을 요구할 수도 있는 다른 코딩 표준들 또는 방법들에 대해 본 개시물의 제한 없이 예시를 목적으로 HEVC 코딩의 맥락에서 설명될 것이다. 비디오 인코더 (20) 는 비디오 프레임들 내에서 CU들의 인트라 및 인터 코딩을 수행할 수도 있다. 인트라 코딩은 주어진 비디오 프레임 내의 비디오 데이터에서의 공간적 리던던시를 감소시키거나 또는 제거하기 위해 공간적 예측에 의존한다. 인터 코딩은 비디오 시퀀스의 현재 프레임과 이전에 코딩된 프레임들 사이의 시간적 리던던시를 감소시키거나 또는 제거하기 위해 시간적 예측에 의존한다. 인트라 모드 (I 모드) 는 여러 공간 기반 비디오 압축 모드들 중 임의의 것을 지칭할 수도 있다. 단방향 예측 (P 모드) 또는 양방향 예측 (B 모드) 와 같은 인터 모드들은 여러 시간 기반 비디오 압축 모드들 중 임의의 것을 지칭할 수도 있다.
도 7 에 도시된 바와 같이, 비디오 인코더 (20) 는 인코딩될 비디오 프레임 내에서 현재 비디오 블록을 수신한다. 도 7 의 예에서, 비디오 인코더 (20) 는 모션 보상 유닛 (44), 모션 추정 유닛 (42), 인트라 예측 모듈 (46), 참조 프레임 버퍼 (64), 합산기 (50), 변환 모듈 (52), 양자화 유닛 (54), 및 엔트로피 인코딩 유닛 (56) 을 포함한다. 비디오 블록 재구성을 위해, 비디오 인코더(20)는 역양자화 유닛(58), 역변환 모듈(60), 및 합산기(62)를 또한 포함한다. 재구성된 비디오에서 블록화 아티팩트들 (blockiness artifacts) 을 제거하도록 블록 경계들을 필터링하기 위해 디블록화 필터 (deblocking filter)(도 7 에서 미도시) 가 또한 포함될 수도 있다. 원한다면, 디블록화 필터는 통상적으로 합산기 (62) 의 출력을 필터링할 것이다.
모드 선택 유닛 (40) 은, 예컨대 각각의 모드에 대한 레이트 왜곡 분석에 기초하여, 코딩 모드들 중 하나, 인트라 또는 인터를 선택할 수도 있고, 결과적으로 생성된 인트라 또는 인터 예측된 블록 (예컨대, 예측 유닛 (PU)) 을 합산기 (50) 에 제공하여, 잔차 블록 데이터를 생성하고 합산기 (62) 에 제공하여 참조 프레임에서의 사용을 위한 인코딩된 블록을 재구성한다. 합산기 (62) 는, 하기에서 더 상세히 설명되는 바와 같이, 인코딩된 블록을 재구성하도록, 예측된 블록을 그 블록에 대한 역변환 모듈 (60) 로부터의 역양자화되고 역변환된 데이터와 조합한다. 몇몇 비디오 프레임들은 I 프레임들로서 지정될 수도 있고, 여기서 I 프레임의 모든 블록들은 인트라 예측 모드에서 인코딩된다. 몇몇 경우들에 있어서, 인트라 예측 모듈 (46) 은, 예컨대 모션 추정 유닛 (42) 에 의해 수행되는 모션 검색이 블록의 충분한 예측을 초래하지 않을 때, P 또는 B 프레임에서의 블록의 인트라 예측 인코딩을 수행할 수도 있다.
인코딩 프로세스 동안, 비디오 인코더 (20) 는 코딩될 비디오 프레임 또는 슬라이스를 수신한다. 프레임 또는 슬라이스는 다수의 비디오 블록들, 예컨대 최대 코딩 유닛들 (LCU들) 로 분할될 수도 있다. 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 시간적 압축을 제공하기 위해 하나 이상의 참조 프레임들에서 하나 이상의 블록들에 대하여 수신된 비디오 블록의 인터 예측 코딩을 수행한다. 인트라 예측 모듈 (46) 은 공간적 압축을 제공하기 위해 코딩될 블록과 동일한 프레임 또는 슬라이스에서의 하나 이상의 이웃하는 블록들에 대하여 수신된 비디오 블록의 인트라 예측 코딩을 수행할 수도 있다.
모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 고도로 집적될 수도 있지만, 개념적 목적들을 위해 별개로 예시되어 있다. 모션 추정 (또는 모션 검색) 은 모션 벡터들을 생성하는 프로세스이며, 모션 벡터들은 비디오 블록들에 대한 모션을 추정한다. 모션 벡터는, 예를 들어 참조 프레임의 참조 샘플에 대한 현재 프레임 내의 예측 유닛의 변위를 나타낼 수도 있다. 모션 추정 유닛 (42) 은 예측 유닛을 참조 프레임 버퍼 (64) 에 저장된 참조 프레임의 참조 샘플들과 비교함으로써 인터 코딩된 프레임의 예측 유닛에 대한 모션 벡터를 계산한다. 참조 샘플은 픽셀 차이와 관련하여 코딩되고 있는 PU 를 포함하는 CU 의 부분에 밀접하게 매칭하는 것으로 발견된 블록일 수도 있는데, 이는 절대 차의 합 (SAD), 제곱 차의 합 (SSD), 또는 다른 차이 메트릭들에 의해 결정될 수도 있다. 참조 샘플은 참조 프레임 또는 참조 슬라이스 내의 어느 곳에서나 발생할 수도 있으며, 반드시 참조 프레임 또는 슬라이스의 블록 (예컨대, 코딩 유닛) 경계에서 있는 것은 아니다. 몇몇 실시예들에서, 참조 샘플은 부분 픽셀 포지션에서 발생할 수도 있다.
모션 추정 유닛 (42) 은 계산된 모션 벡터를 엔트로피 인코딩 유닛 (56) 및 모션 보상 유닛 (44) 으로 전송한다. 모션 벡터에 의해 식별된 참조 프레임의 부분은 참조 샘플로 지칭될 수도 있다. 모션 보상 유닛 (44) 은, 예컨대 PU 에 대한 모션 벡터에 의해 식별된 참조 샘플을 취출함으로써, 현재 CU 의 예측 유닛에 대한 예측 값을 계산할 수도 있다.
인트라 예측 모듈 (46) 은 수신된 블록에 대해 인트라 예측을, 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 수행된 인터 예측에 대한 대안으로서 수행할 수도 있다. 인트라 예측 모듈 (46) 은, 블록들에 대해 좌-우, 상-하 인코딩 순서를 가정하면, 이웃하는 이전에 코딩된 블록들, 예컨대 현재 블록의 위, 위쪽 우측, 위쪽 좌측, 또는 좌측의 블록들에 대해 수신된 블록을 예측할 수도 있다. 인트라 예측 모듈 (46) 은 여러 가지 상이한 인트라 예측 모드들 중 하나에 따라 인트라 예측을 수행하도록 구성될 수도 있다. 예를 들어, 인트라 예측 모듈 (46) 은 인코딩되고 있는 CU 의 사이즈에 기초하여 특정 수의 방향 예측 모드들, 예컨대 35 개의 방향 예측 모드들로 구성될 수도 있다.
인트라 예측 모듈 (46) 은, 예를 들어 다양한 인트라 예측 모드들에 대한 예측 에러 값들을 계산함으로써 그리고 최저 에러 값을 산출하는 모드를 선택함으로써, 인트라 예측 모드를 선택할 수도 있다. 방향 예측 모드들은 공간적으로 이웃하는 픽셀들의 값들을 조합하고, 그리고 조합된 값들을 PU 에서의 하나 이상의 픽셀 위치들에 적용하는 기능들을 포함할 수도 있다. 일단 PU 에서의 모든 픽셀 위치들에 대한 값들이 계산되었으면, PU 에 대한 예측 블록이 획득되고, 인트라 예측 모듈 (46) 은 예측 블록과 인코딩될 수신된 블록 사이의 픽셀 차이들에 기초하여 예측 모드에 대한 에러 값을 계산할 수도 있다. 인트라 예측 모듈 (46) 은 수용가능한 에러 값을 산출하는 인트라 예측 모드가 발견될 때까지 인트라 예측 모드들을 계속해서 테스트할 수도 있다. 인트라 예측 모듈 (46) 은 그 후 예측 블록을 합산기 (50) 에 전송할 수도 있다.
비디오 인코더 (20) 는 코딩되고 있는 오리지널 비디오 블록으로부터 모션 보상 유닛 (44) 또는 인트라 예측 모듈 (46) 에 의해 계산된 예측 데이터를 감산함으로써 잔차 블록을 형성한다. 합산기 (50) 는 이 감산 동작을 수행하는 콤포넌트 또는 콤포넌트들을 나타낸다. 잔차 블록은 픽셀 차이 값들의 2 차원 매트릭스에 대응할 수도 있으며, 잔차 블록에서의 값들의 개수는 잔차 블록에 대응하는 예측 블록에서의 픽셀들의 개수와 동일하다. 잔차 블록에서의 값들은 예측 블록에서와 코딩될 오리지널 블록에서의 공동위치된 픽셀들의 값들 사이의 차이들, 즉 에러에 대응할 수도 있다. 차이들은 코딩되는 블록의 타입에 따라 크로마 또는 루마 차이들일 수도 있다.
변환 모듈 (52) 은 잔차 블록으로부터 하나 이상의 TU들을 형성할 수도 있다. 변환 모듈 (52) 은 복수의 변환들 중에서 변환을 선택한다. 변환은 블록 사이즈, 코딩 모드 등과 같은 하나 이상의 특성들에 기초하여 선택될 수도 있다. 그 후, 변환 모듈 (52) 은 TU 에 선택된 변환을 적용하여, 변환 계수들의 2 차원 어레이를 포함하는 비디오 블록을 생성한다. 변환 모듈 (52) 은 본 개시물의 전술된 기법들에 따라 변환 파티션을 선택할 수도 있다. 추가로, 변환 모듈 (52) 은 선택된 변환 파티션을 인코딩된 비디오 비트스트림에서 시그널링할 수도 있다.
변환 모듈 (52) 은 결과적으로 생성된 변환 계수들을 양자화 유닛 (54) 으로 전송할 수도 있다. 그 후, 양자화 유닛 (54) 은 변환 계수들을 양자화할 수도 있다. 그 후, 엔트로피 인코딩 유닛 (56) 은 스캐닝 모드에 따라 매트릭스에서의 양자화된 변환 계수들의 스캔을 수행할 수도 있다. 본 개시물은 스캔을 수행할 때의 엔트로피 인코딩 유닛 (56) 을 설명한다. 그러나, 다른 실시예들에서, 양자화 유닛 (54) 과 같은 다른 프로세싱 유닛들이 스캔을 수행할 수 있음을 이해해야 한다.
일단 변환 계수들이 1 차원 어레이로 스캐닝되면, 엔트로피 인코딩 유닛 (56) 은 CAVLC, CABAC, 신택스 기반 콘텍스트 적응적 이진 산술 코딩 (SBAC), 또는 다른 엔트로피 코딩 방법론과 같은 엔트로피 코딩을 계수들에 적용할 수도 있다.
CAVLC 를 수행하기 위해, 엔트로피 인코딩 유닛 (56) 은 송신될 심볼에 대한 가변 길이 코드를 선택할 수도 있다. VLC 에서의 코드워드들은, 상대적으로 더 짧은 코드들이 고확률 (more lilkely) 심볼들에 대응하고, 상대적으로 더 긴 코드들이 저확률 (less likely) 심볼들에 대응하도록 구성될 수도 있다. 이 방식으로, VLC 의 사용은, 예를 들면, 송신될 각각의 심볼에 대해 동일한 길이의 코드워드들을 사용하는 것을 통해 비트 절감을 달성할 수도 있다.
CABAC 를 수행하기 위해, 엔트로피 인코딩 유닛 (56) 은 송신될 심볼들을 인코딩하기 위해 특정 콘텍스트에 적용할 콘텍스트 모델을 선택할 수도 있다. 콘텍스트는, 예를 들어 이웃하는 값들이 비제로 (non-zero) 인지의 여부에 관련될 수도 있다. 엔트로피 인코딩 유닛 (56) 은 또한 선택된 변환을 나타내는 신호와 같은 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다. 본 개시물의 기법들에 따르면, 엔트로피 인코딩 유닛 (56) 은 콘텍스트 모델 선택에 이용되는 다른 인자들 중에서, 예를 들어 인트라 예측 모드들, 신택스 엘리먼트들에 대응하는 계수의 스캔 위치, 블록 타입, 및/또는 변환 타입에 기초하여 이들 신택스 엘리먼트들을 인코딩하는 데 사용되는 콘텍스트 모델을 선택할 수도 있다.
엔트로피 인코딩 유닛 (56) 에 의한 엔트로피 코딩에 이어, 결과로서 생성된 인코딩된 비디오는 비디오 디코더 (30) 와 같은 다른 디바이스에 송신될 수도 있고, 또는 추후 송신 또는 취출을 위해 아카이브될 수도 있다.
몇몇 경우들에 있어서, 비디오 인코더 (20) 의 엔트로피 인코딩 유닛 (56) 또는 다른 유닛은 엔트로피 코딩 외에도 다른 코딩 기능들을 수행하도록 구성될 수도 있다. 예를 들어, 엔트로피 인코딩 유닛 (56) 은 CU들 및 PU들에 대한 코딩된 블록 패턴 (CBP) 값들을 결정하도록 구성될 수도 있다. 또한, 몇몇 경우들에 있어서, 엔트로피 인코딩 유닛 (56) 은 계수들의 런 길이 코딩을 수행할 수도 있다.
역양자화 유닛 (58) 및 역변환 모듈 (60) 은, 예컨대 참조 블록으로서의 추후 사용을 위해, 픽셀 도메인에서 잔차 블록을 재구성하도록 역양자화 및 역변환을 각각 적용한다. 모션 보상 유닛 (44) 은 참조 프레임 버퍼 (64) 의 프레임들 중 하나의 프레임의 형성된 예측 블록에 잔차 블록을 추가함으로써 참조 블록을 계산할 수도 있다. 모션 보상 유닛 (44) 은 모션 추정에서 사용하기 위한 서브-정수 픽셀 값들을 계산하기 위해, 재구성된 잔차 블록에 하나 이상의 보간 필터들을 또한 적용할 수도 있다. 합산기 (62) 는 재구성된 잔차 블록을 모션 보상 유닛 (44) 에 의해 생성된 모션 보상된 예측 블록에 가산하여, 참조 프레임 버퍼 (64) 에 저장하기 위한 재구성된 비디오 블록을 생성한다. 참조 프레임 버퍼 (64) 는 디코딩된 픽처 버퍼 (DPB) 로 때때로 지칭된다. 재구성된 비디오 블록은 후속하는 비디오 프레임에서의 블록을 인터 코딩하기 위한 참조 블록으로서 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 사용될 수도 있다.
도 8 은 인코딩된 비디오 시퀀스를 디코딩하는 비디오 디코더 (30) 의 일 예를 예시한 블록도이다. 도 8 의 예에서, 비디오 디코더 (30) 는 엔트로피 디코딩 유닛 (70), 모션 보상 유닛 (72), 인트라 예측 모듈 (74), 역양자화 유닛 (76), 역변환 유닛 (78), 참조 프레임 버퍼 (82) 및 합산기 (80) 를 포함한다. 비디오 디코더 (30) 는, 몇몇 실시형태들에서, 비디오 인코더 (20) 에 대해 설명된 인코딩 패스에 일반적으로 상호적인 디코딩 패스를 수행할 수도 있다.
엔트로피 디코딩 유닛 (70) 은 변환 계수들의 1 차원 어레이를 취출하기 위해, 인코딩된 비트스트림에 대해 엔트로피 디코딩 프로세스를 수행한다. 이용된 엔트로피 디코딩 프로세스는 비디오 인코더 (20)(예컨대, CABAC, CAVLC 등) 에 의해 사용된 엔트로피 코딩에 의존한다. 인코더에 의해 이용되는 엔트로피 코딩 프로세스는 인코딩된 비트스트림에서 시그널링될 수도 있고, 또는 미리 정해진 프로세스일 수도 있다.
몇몇 예들에서, 엔트로피 디코딩 유닛 (70)(또는 역양자화 유닛 (76)) 은 비디오 인코더 (20) 의 엔트로피 인코딩 유닛 (56)(또는 양자화 유닛 (54)) 에 의해 이용된 스캐닝 모드를 미러링하는 스캔을 이용하여, 수신된 값들을 스캔할 수도 있다. 계수들의 스캐닝이 역양자화 유닛 (76) 에서 수행될 수도 있지만, 스캐닝은 예시를 목적으로 엔트로피 디코딩 유닛 (70) 에 의해 수행되는 것으로 설명될 것이다. 추가로, 설명의 용이성을 위해 개별 기능 유닛들로 도시되어 있지만, 비디오 디코더 (30) 의 엔트로피 디코딩 유닛 (70), 역양자화 유닛 (76), 및 다른 유닛들의 구조 및 기능성은 서로 고도로 통합될 수도 있다.
역양자화 유닛 (76) 은 비트스트림에서 제공되고 엔트로피 디코딩 유닛 (70) 에 의해 디코딩된 양자화된 변환 계수들을 역양자화, 즉, 탈양자화한다 (dequantize). 역양자화 프로세스는, 예컨대 HEVC 에 대해 제안되거나 또는 H.264 디코딩 표준에 의해 정의된 프로세스들과 유사한 종래의 프로세스를 포함할 수도 있다. 역양자화 프로세스는 양자화의 정도, 및, 마찬가지로, 적용되어야 하는 역양자화의 정도를 결정하기 위해, CU 에 대해 비디오 인코더 (20) 에 의해 계산된 양자화 파라미터 (QP) 의 사용을 포함할 수도 있다. 역양자화 유닛 (76) 은 계수들이 1 차원 어레이로부터 2 차원 어레이로 변환되기 전 또는 변환된 후 변환 계수들을 역양자화할 수도 있다.
역변환 모듈 (78) 은 역양자화된 변환 계수들에 역변환을 적용한다. 몇몇 예들에서, 역변환 모듈 (78) 은 비디오 인코더 (20) 로부터의 시그널링에 기초하여, 또는 블록 사이즈, 코딩 모드 등과 같은 하나 이상의 코딩 특성들로부터 변환을 추론함으로써, 역변환을 결정할 수도 있다. 몇몇 실시예들에서, 역변환 모듈 (78) 은 현재 블록을 포함하는 LCU 에 대한 쿼드트리의 루트 노드에서의 시그널링된 변환에 기초하여 현재 블록에 적용할 변환을 결정할 수도 있다. 대안으로, 변환은 LCU 쿼드트리에서 리프 노드 CU 에 대한 TU 쿼드트리의 루트에서 시그널링될 수도 있다. 몇몇 실시예들에서, 역변환 모듈 (78) 은 역변환 모듈 (78) 이 디코딩되고 있는 현재 블록의 변환 계수들에 2 개 이상의 역변환들을 적용하는, 캐스케이드된 역변환을 적용할 수도 있다.
또한, 역변환 모듈 (78) 은 본 개시물의 전술된 기법들에 따라 변환 유닛 파티션을 생성하도록 역변환을 적용할 수도 있다. 즉, 역변환 모듈 (74) 은 본 개시물의 교시에 따라 시그널링되는 것처럼 정방형 및 비정방형 TU 파티션들에 변환을 적용할 수도 있다.
인트라 예측 유닛 (74) 은 시그널링된 인트라 예측 모드 및 현재 프레임의 이전에 디코딩된 블록으로부터의 데이터에 기초하여 현재 프레임의 현재 블록에 대한 예측 데이터를 생성할 수도 있다.
취출된 모션 예측 방향, 참조 프레임 인덱스, 및 계산된 현재 모션 벡터에 기초하여, 모션 보상 유닛은 현재 부분에 대한 모션 보상된 블록을 생성한다. 이들 모션 보상된 블록들은 본질적으로 잔차 데이터를 생성하는 데 사용되는 예측 블록을 재생성한다.
모션 보상 유닛 (72) 은 모션 보상된 블록들을 생성하여, 가능하게는 보간 필터들에 기초하여 보간을 수행할 수도 있다. 서브 픽셀 정밀도를 갖는 모션 추정에 사용될 보간 필터들에 대한 식별자들은 신택스 엘리먼트들에 포함될 수도 있다. 모션 보상 유닛 (72) 은 비디오 블록의 인코딩 동안 비디오 인코더 (20) 에 의해 사용되는 것과 같이 보간 필터들을 사용하여 참조 블록의 서브-정수 픽셀들에 대한 보간된 값들을 계산할 수도 있다. 모션 보상 모듈 (72) 은 수신된 신택스 정보에 따라 비디오 인코더 (20) 에 의해 사용되는 보간 필터들을 결정하고, 예측 블록들을 생성하기 위해 그 보간 필터들을 사용할 수도 있다.
추가로, HEVC 예에서, 모션 보상 유닛 (72) 및 인트라 예측 유닛 (74) 은 인코딩된 비디오 시퀀스의 프레임(들)을 인코딩하는 데 사용되는 LCU들의 사이즈들을 결정하기 위해 (예컨대, 쿼드트리에 의해 제공된) 신택스 정보 중 일부를 사용할 수도 있다. 모션 보상 유닛 (72) 및 인트라 예측 유닛 (74) 은 또한 인코딩된 비디오 시퀀스의 프레임의 각각의 CU 가 얼마나 분할되는지 (그리고 마찬가지로 서브 CU들이 얼마나 스플릿되는지) 를 설명하는 스플릿 정보를 결정하는 데 신택스 정보를 이용할 수도 있다. 특히, 인트라 예측 모듈 (74) 은 본 개시물에서 전술된 바와 같이 비정방형 SDIP PU 파티션들에 대해 인트라 예측을 수행하는 데 감소된 수의 인트라 예측 모드들을 사용할 수도 있다. 신택스 정보는 또한 각각의 스플릿이 어떻게 인코딩되는지를 나타내는 모드들 (예컨대, 인트라 또는 인터 예측, 그리고 인트라 예측에 대해서는, 인트라 예측 인코딩 모드), 각각의 인터 인코딩된 PU 에 대해 하나 이상의 참조 프레임들 (및/또는 참조 프레임들에 대한 식별자들을 포함하는 참조 리스트들), 및 인코딩된 비디오 시퀀스를 디코딩하기 위한 다른 정보를 포함할 수도 있다.
합산기 (80) 는 디코딩된 블록들을 형성하기 위해 모션 보상 유닛 (72) 또는 인트라 예측 모듈 (74) 에 의해 생성된 대응하는 예측 블록들과 잔차 블록들을 조합한다. 원하는 경우, 블록화 아티팩트들을 제거하도록 디코딩된 블록들을 필터링하기 위해 디블록화 필터가 또한 적용될 수도 있다. 디코딩된 비디오 블록들은, 그 후, 참조 프레임 버퍼 (82) 에 저장되며, 이러한 버퍼는 후속하는 모션 보상을 위한 참조 블록들을 제공하고, 또한 (도 1 의 디스플레이 디바이스 (32) 와 같은) 디스플레이 디바이스 상에서의 프레젠테이션을 위한 디코딩된 비디오를 생성한다.
도 9 는 본 개시물의 예들에 따른 예시적인 비디오 인코딩 방법을 묘사한 플로우차트이다. 도 9 의 방법은 비디오 인코더 (20) 의 하나 이상의 구조들에 의해 수행될 수도 있다.
먼저, 선택적인 단계들로서, 비디오 인코더 (20) 는 비디오 데이터의 블록에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 (PU) 파티션을 결정하고 (920) 그리고 결정된 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하도록 (922) 구성될 수도 있다.
일 예에서, 결정된 예측 유닛 파티션은 수직 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수직 배향 인트라 예측 모드들을 포함한다. 다른 예에서, 결정된 예측 유닛 파티션은 수평 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수평 배향 인트라 예측 모드들을 포함한다.
비디오 인코더 (20) 는, 비디오 데이터의 블록에 대한 인트라 예측 모드들의 세트로부터 인트라 예측 모드를 결정하고 (924), 그 결정된 인트라 예측 모드에 기초하여 비디오 데이터의 블록에 대한 변환 유닛 (TU) 파티션을 결정하고 (926), 그 결정된 변환 유닛 파티션을 이용하여 비디오 데이터의 블록을 인코딩하도록 (928) 추가로 구성될 수도 있다. 그후, 비디오 인코더 (20) 는 인코딩된 비디오 비트스트림에서 그 결정된 변환 파티션을 시그널링하도록 (930) 구성될 수도 있다.
일 예에서, 비디오 데이터의 블록은 예측 유닛이고, 예측 유닛 파티션은 결정된 변환 유닛 파티션과 동일한 사이즈 및 형상을 갖는다. 다른 예에서, 비디오 데이터의 블록은 예측 유닛이고, 예측 유닛 파티션은 결정된 변환 유닛과는 상이한 사이즈 및 형상을 갖는다.
본 개시물의 다른 실시예에서, 비디오 인코더 (20) 는 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션을 결정하도록 구성될 수도 있다. 일 예에서, 결정된 인트라 예측 모드는 수직 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수직 배향 비정방형 변환 유닛 파티션들을 포함한다. 다른 실시예에서, 결정된 인트라 예측 모드는 수평 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수평 배향 비정방형 변환 유닛 파티션들을 포함한다. 또 다른 실시예에서, 결정된 인트라 예측 모드는 DC 모드, 평면 모드, 또는 대각선 모드이고, 변환 유닛 파티션들의 세트는 정방형 변환 유닛 파티션들을 포함한다.
변환 유닛 파티션들의 세트는 변화하는 수의 파티션들을 가질 수도 있다. 일 예에서, 변환 유닛 파티션들의 세트는 인트라 예측 모드 당 단 하나의 변환 유닛만을 포함한다. 다른 예에서, 동일한 수의 변환 유닛 파티션들이 복수의 인트라 예측 모드들 각각에 대한 변환 유닛 파티션들의 세트 각각에 존재한다.
본 개시물의 다른 예에서, 변환 유닛 파티션을 결정하는 것 (926) 은 비디오 데이터의 블록에 대해, 결정된 인트라 예측 모드에 따른 인트라 예측을 수행하여 예측 잔차를 생성하는 것, 예측 잔차에 대해 복수의 파티션들을 테스트하는 것, 및 테스팅에 기초하여 복수의 변환 파티션들 중 하나를 선택하는 것을 포함할 수도 있다.
도 10 은 본 개시물의 예들에 따른 예시적인 비디오 디코딩 방법을 묘사한 플로우차트이다. 도 10 의 방법은 비디오 디코더 (30) 의 하나 이상의 구조들에 의해 수행될 수도 있다.
먼저, 선택적인 단계들로서, 비디오 디코더 (30) 는 비디오 데이터의 블록에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 (PU) 파티션의 표시를 수신하고 (1020) 그리고 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하도록 (1022) 구성될 수도 있다.
일 예에서, 예측 유닛 파티션은 수직 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수직 배향 인트라 예측 모드들을 포함한다. 다른 실시예에서, 예측 유닛 파티션은 수평 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수평 배향 인트라 예측 모드들을 포함한다.
비디오 디코더 (30) 는, 비디오 데이터의 블록에 대한 인트라 예측 모드들의 세트로부터 인트라 예측 모드의 표시를 수신하고 (1024), 그 결정된 인트라 예측 모드에 기초하여 비디오 데이터의 블록에 대한 변환 유닛 파티션을 결정하고 (1026), 그 결정된 변환 유닛 파티션을 이용하여 비디오 데이터의 블록을 디코딩하도록 (1028) 추가로 구성될 수도 있다.
일 예에서, 비디오 데이터의 블록은 예측 유닛이고, 예측 유닛 파티션은 결정된 변환 유닛 파티션과 동일한 사이즈 및 형상을 갖는다. 일 예에서, 비디오 데이터의 블록은 예측 유닛이고, 예측 유닛 파티션은 결정된 변환 유닛 파티션과는 상이한 사이즈 및 형상을 갖는다.
본 개시물의 다른 실시예에서, 비디오 디코더 (20) 는 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션을 결정하도록 구성될 수도 있다. 일 예에서, 결정된 인트라 예측 모드는 수직 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수직 배향 비정방형 변환 유닛 파티션들을 포함한다. 다른 실시예에서, 결정된 인트라 예측 모드는 수평 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수평 배향 비정방형 변환 유닛 파티션들을 포함한다. 또 다른 실시예에서, 결정된 인트라 예측 모드는 DC 모드, 평면 모드, 또는 대각선 모드이고, 변환 유닛 파티션들의 세트는 정방형 변환 유닛 파티션들을 포함한다.
변환 유닛 파티션들의 세트는 변화하는 수의 파티션들을 가질 수도 있다. 일 예에서, 변환 유닛 파티션들의 세트는 인트라 예측 모드 당 단 하나의 변환 유닛만을 포함한다. 다른 예에서, 동일한 수의 변환 유닛 파티션들이 복수의 인트라 예측 모드들 각각에 대한 변환 유닛 파티션들의 세트 각각에 존재한다.
하나 이상의 실시형태들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 상기 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체상에 저장되거나 또는 컴퓨터 판독가능 매체를 통해 송신되며 하드웨어 기반의 처리 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체들은, 데이터 저장 매체들과 같은 유형의 매체, 또는 예를 들어, 통신 프로토콜에 따라, 한 곳에서 다른 곳으로 컴퓨터 프로그램의 전송을 가능하게 하는 임의의 매체를 포함하는 통신 매체들에 대응하는 컴퓨터 판독가능 저장 매체들일 포함할 수도 있다. 컴퓨터 판독 가능한 매체는, 데이터 저장 매체와 같이 실체가 있는 매체에 대응하는 컴퓨터 판독 가능한 저장 매체, 또는 예를 들면, 통신 프로토콜에 따라, 한 장소에서 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수도 있다. 데이터 기록 매체는, 본 개시에서 설명된 기술들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 검색하기 위한 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.
비제한적인 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지, 또는 다른 자기 스토리지 디바이스들, 플래시 메모리, 또는 요구되는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 칭해진다. 예를 들면, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 명령들이 송신되면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 그러나, 컴퓨터 판독가능 저장 매체들 및 데이터 저장 매체들은 접속들, 반송파들, 신호들, 또는 다른 일시적 매체들을 포함하지 않고, 대신에 비일시적, 유형의 저장 매체들이다. 본원에서 이용된 디스크 (disk) 와 디스크 (disc) 는, 컴팩트 디스크(CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크, 및 블루레이 디스크를 포함하며, 여기서 디스크 (disk) 들은 통상 자기적으로 데이터를 재생하는 반면, 디스크(disc) 들은 레이저들을 이용하여 광학적으로 데이터를 재생한다. 위의 조합들도 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
명령들은, 하나 이상의 디지털 신호 프로세서들(DSPs), 범용 마이크로프로세서들, 주문형 집적 회로들(ASICs), 필드 프로그래머블 로직 어레이(FPGAs), 또는 다른 등가의 집적 또는 이산 로직 회로와 같은, 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 본원에서 사용된 용어 "프로세서"는 임의의 앞서 설명된 구조 또는 본원에서 설명된 기술들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 따라서, 본원에서 사용된 용어 "프로세서"는 임의의 앞서 설명된 구조 또는 본원에서 설명된 기술들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 또한, 본원에서 개시된 기술들은 하나 이상의 회로들 또는 로직 소자들에서 완전히 구현될 수 있다.
본 개시의 기술들은, 무선 핸드셋, 집적 회로(IC) 또는 ICs의 세트를 포함하는 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 개시된 기술들을 수행하도록 구성된 디바이스들의 기능적 양태를 강조하기 위해 다양한 소자들, 모듈들, 또는 유닛들이 본 개시에서 설명되었지만, 반드시 상이한 하드웨어 유닛들에 의해 실현될 필요는 없다. 대신, 상술한 바와 같이, 다양한 유닛들은, 적절한 소프트웨어 및/또는 펌웨어와 연계하여, 코덱 하드웨어 유닛에 통합되거나 또는 상술한 하나 이상의 프로세서들을 포함하여 상호 동작적인 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.
다양한 실시형태들을 설명하였다. 이들 및 다른 실시형태들은 하기의 특허청구범위 내에 있다.
인트라 예측된 블록에 대해, TU 가 PU 와 함께 커플링되므로 (즉, 그들이 동일한 사이즈 및/또는 형상을 가지므로), 블록 내에서 TU 파티션의 상이한 옵션들을 검사하는 것은, 각각의 고유한 TU 파티션이 고유한 PU 파티션과 매칭할 때, 다수의 예측들 및 복원들을 수행하는 것을 포함할 수도 있다. 그 결과, 인코딩 복잡도는 상당히 보다 높아지게 되고, 추가의 비정방형 파티션들이 검사되고 시그널링된다. 이러한 높은 인코더 복잡도는 몇몇 상황들에서 인트라 예측된 블록을 코딩하기 위한 정방형 변환들 외에도 비정방형 변환들을 이용하는 것을 비실용적이게 할 수도 있다. 이러한 단점들의 관점에서, 본 개시물은 코딩 효율을 보존하면서 감소된 복잡도로 인트라 예측된 블록들에 대한 비정방형 TU 파티션들을 가능하게 하는 데 목적이 있다.
본 개시물은 이러한 단점들을 해결하기 위한 여러 기법들을 제시한다. 일 예로서, 주어진 인트라 예측된 블록에 대해, 감소된 수의 TU 파티션 옵션들이 특정 조건들에 기초하여 허용된다. 다른 예에서, 본 개시물은 인트라 예측된 블록들에 대해 TU들을 PU들로부터 분리하는 것을 제안한다. 주어진 PU 에 대해, 대응하는 PU 와는 상이한 사이즈들 및 형상들의 TU들이 적용될 수도 있다. 이 경우에 있어서, 특정 PU들에 대한 잔차 데이터를 변환하는 데 이용되는 적어도 몇몇의 TU들은 그러한 PU들과는 상이한 사이즈들 및/또는 형상들을 가질 수도 있다. 그 결과, 상이한 TU 파티션들을 검사하는 것은 블록의 대응하는 예측을 개별적으로 획득할 것을 요구하지 않을 것인데, 이는 상이한 TU 형상들이 하나의 PU 사이즈 및 형상으로부터 획득된 예측에 적용될 수도 있기 때문이다.
예를 들어 짧은 거리의 인트라 예측 (SDIP) 을 갖는 비정방형 PU들을 사용할 때, 각각의 PU 는 복수의 인트라 예측 모드들/방향들 (예컨대, 도 2 의 35 개의 모드들) 중 하나를 이용할 수도 있다. 이러한 배열에는 여러 단점들이 있다. 첫째, 선택된 모드를 각각의 PU 에 대한 디코더로 시그널링하기 위해, 선택된 모드에 대한 인덱스는 인코딩된 비디오 비트스트림에서 시그널링된다. 인트라 예측이 이용될 불확실성이 높으므로 (즉, 35 개의 모드들이 있을 수도 있으므로), 비교적 큰 수의 비트들이 인덱스를 인코딩하는 데 이용되며, 이는 압축된 비디오에 대한 비트 레이트를 증가시킨다. 둘째, 인코더는, 사용하기에 최상의 것을 결정하기 위해 모든 모드를 검사해야 할 수도 있고, 또는 요건, 이를테면, 예컨대 레이트 왜곡 임계치를 충족하는 모드를 적어도 식별하도록 해야 할 수도 있다. 각각의 PU 에 대해 가능한 모든 인트라 예측 모드들/방향들로, 이러한 검사 프로세스는 인코더에서 계산 부담을 증가시킨다.
본 개시물은 인코딩된 비디오 비트 레이트를 감소시키기 위한 그리고 정방형 및 비정방형 SDIP 파티션들에 대한 가능한 인트라 예측 모드들의 수를 감소시키는 것에 의해 인코더 복잡도를 감소시키기 위한 기법들을 제안한다. 가능한 인트라 예측 모드들의 개수 면에서의 이러한 감소는, 수직으로 파티셔닝된 CU들 (예컨대, hNx2N PU) 에 대해, 수직의 또는 거의 수직의 인트라 예측 모드들 (예컨대, 모드들 1, 22, 23 ...) 이 최상의 모드로서 선택될 가능성이 더 많다는 견해들에 기초한다. 마찬가지로, 수평으로 파티셔닝된 CU들 (예컨대, 2NxhN PU) 에 대해, 수평의 또는 거의 수평의 인트라 예측 모드들 (예컨대, 모드들 2, 30, 31 ...) 이 최상의 모드로서 선택될 가능성이 더 많다. 즉, 이러한 모드들은, 그들이 주어진 파티션 타입들에 대해 보다 바람직한 레이트 왜곡 결과들을 생성할 가능성이 더 많기 때문에, 선택될 가능성이 더 많다.
도 1 은 본 개시물의 실시예들에 따른 인트라 예측 코딩에 대한 기법들을 이용하도록 구성될 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템 (10) 을 예시한 블록도이다. 도 1 에 도시된 바와 같이, 시스템 (10) 은 통신 채널 (16) 을 통해 목적지 디바이스 (14) 에 인코딩된 비디오를 송신하는 소스 디바이스 (12) 를 포함한다. 인코딩된 비디오 데이터는 또한 저장 매체 (34) 또는 파일 서버 (36) 에 또한 저장될 수도 있고, 희망 시, 목적지 디바이스 (14) 에 의해 액세스될 수도 있다. 저장 매체 또는 파일 서버에 저장될 때, 비디오 인코더 (20) 는 코딩된 비디오 데이터를 다른 디바이스 (이를테면 네트워크 인터페이스, 콤팩트 디스크 (CD), 블루레이 또는 디지털 비디오 디스크 (DVD) 버너 또는 스탬핑 기능 디바이스, 또는 코딩된 비디오 데이터를 저장 매체에 저장시키는 다른 디바이스들) 에 제공할 수도 있다. 마찬가지로, 비디오 디코더 (30) 와는 별개인 디바이스, 이를테면 네트워크 인터페이스, CD 또는 DVD 리더 등은 코딩된 비디오 데이터를 저장 매체로부터 취출할 수도 있고, 취출된 데이터를 비디오 디코더 (30) 에 제공할 수도 있다.
소스 디바이스 (12) 및 목적지 디바이스 (14)는, 데스크톱 컴퓨터들, 노트북 (즉, 랩톱) 컴퓨터들, 태블릿 컴퓨터들, 셋톱박스들, 소위 스마트폰들과 같은 전화 핸드셋들, 텔레비젼들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들 등을 포함하는 매우 다양한 디바이스들 중 임의의 것을 포함할 수도 있다. 많은 경우들에 있어서, 이러한 디바이스들은 무선 통신을 위해 구비될 수도 있다. 그러므로, 통신 채널 (16) 은 인코딩된 비디오 데이터의 송신에 적합한 무선 채널, 유선 채널, 또는 무선 및 유선 채널들의 조합을 포함할 수도 있다. 마찬가지로, 파일 서버 (36) 는 인터넷 접속을 포함하는 임의의 표준 데이터 접속을 통해 목적지 디바이스 (14) 에 의해 액세스될 수도 있다. 이것은 파일 서버에 저장된 인코딩된 비디오 데이터에 액세스하는데 적합한 무선 채널(예컨대, Wi-Fi 접속), 유선 접속 (예컨대, DSL, 케이블 모뎀 등), 또는 이들의 조합을 포함할 수도 있다.
본 개시물의 실시예들에 따른, 인트라 예측 코딩을 위한 기법들은, 임의의 다양한 멀티미디어 애플리케이션들, 이를테면 OTA (over-the-air) 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 예컨대 인터넷을 통한, 스트리밍 비디오 송신들, 데이터 저장 매체에의 저장을 위한 디지털 비디오의 인코딩, 데이터 저장 매체에 저장된 디지털 비디오의 디코딩, 또는 다른 애플리케이션들을 지원하여, 비디오 코딩에 적용될 수도 있다. 몇몇 실시형태들에서, 시스템 (10) 은, 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 및/또는 영상 전화와 같은 애플리케이션들을 지원하기 위해 일방향 또는 양방향 비디오 송신을 지원하도록 구성될 수도 있다.
도 1 의 실시예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 변조기/복조기 (22) 및 송신기 (24) 를 포함할 수도 있다. 소스 디바이스 (12) 에서, 비디오 소스 (18) 는 비디오 캡쳐 디바이스, 이를테면 비디오 카메라와 같은 소스, 이전에 캡쳐된 비디오를 포함하는 비디오 아카이브, 비디오 콘텐츠 공급자로부터 비디오를 수신하는 비디오 공급 인터페이스, 및/또는 소스 비디오로서 컴퓨터 그래픽 데이터를 생성하는 컴퓨터 그래픽 시스템, 또는 이러한 소스들의 조합을 포함할 수도 있다. 일 실시예로서, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 소위 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 그러나, 본 개시물에서 설명되는 기법들은 전반적으로 비디오 코딩에 적용가능할 수도 있으며, 무선 및/또는 유선 애플리케이션들 또는 인코딩된 비디오 데이터가 로컬 디스크 상에 저장되는 애플리케이션에 적용될 수도 있다.
캡처된, 사전캡처된, 또는 컴퓨터 생성된 비디오는 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 인코딩된 비디오 정보는 통신 표준, 이를테면 무선 통신 프로토콜에 따라 모뎀 (22) 에 의해 변조될 수도 있고, 송신기 (24) 를 통해 목적지 디바이스 (14) 로 송신될 수도 있다. 모뎀 (22) 은 다양한 믹서들, 필터들, 증폭기들 또는 신호 변조를 위해 설계된 다른 콤포넌트들을 포함할 수도 있다. 송신기 (24) 는, 증폭기들, 필터들, 및 하나 이상의 안테나들을 포함하는, 데이터를 송신하기 위해 설계된 회로들을 포함할 수도 있다.
비디오 인코더 (20) 에 의해 인코딩된, 캡처된, 사전캡처된 또는 컴퓨터 생성된 비디오는 또한 추후 소비를 위해 저장 매체 (34) 또는 파일 서버 (36) 에 저장될 수도 있다. 저장 매체 (34) 는 블루레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 또는 인코딩된 비디오를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들을 포함할 수도 있다. 그 후, 저장 매체 (34) 에 저장된 인코딩된 비디오는 디코딩 및 플레이백을 위해 목적지 디바이스 (14) 에 의해 액세스될 수도 있다.
파일 서버 (36) 는 인코딩된 비디오를 저장할 수 있고 그 인코딩된 비디오를 목적지 디바이스 (14) 로 송신할 수 있는 임의의 타입의 서버일 수도 있다. 예시적인 파일 서버들은 웹 서버 (예컨대, 웹사이트용), FTP 서버, 네트워크 부착 저장 (network attached storage: NAS) 디바이스들, 로컬 디스크 드라이브, 또는 인코딩된 비디오 데이터를 저장할 수 있고 그것을 목적지 디바이스로 송신할 수 있는 임의의 다른 타입의 디바이스를 포함한다. 파일 서버 (36) 로부터의 인코딩된 비디오 데이터의 송신은 스트리밍 송신, 다운로드 송신, 또는 이들 양측 모두의 조합일 수도 있다. 파일 서버 (36) 는 인터넷 접속을 포함하는 임의의 표준 데이터 접속을 통해 목적지 디바이스 (14) 에 의해 액세스될 수도 있다. 이것은 파일 서버에 저장된 인코딩된 비디오 데이터에 액세스하는 데 적합한 무선 채널 (예컨대, Wi-Fi 접속), 유선 접속 (예컨대, DSL, 케이블 모뎀, 이더넷, USB 등), 또는 이들의 조합을 포함할 수도 있다.
목적지 디바이스 (14) 는, 도 1 의 실시예에서, 수신기 (26), 모뎀 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함한다. 목적지 디바이스 (14) 의 수신기 (26) 는 채널 (16) 을 통해 정보를 수신하고, 모뎀 (28) 은 그 정보를 복조하여 비디오 디코더 (30) 에 대한 복조된 비트스트림을 생성한다. 채널 (16) 을 통해 통신된 정보는, 비디오 데이터를 디코딩하는 데 있어서 비디오 디코더 (30) 에 의한 사용을 위해 비디오 인코더 (20) 에 의해 생성되는 다양한 신택스 정보를 포함할 수도 있다. 이러한 신택스는 또한 저장 매체 (34) 또는 파일 서버 (36) 에 저장된 인코딩된 비디오 데이터와 함께 포함될 수도 있다. 비디오 인코더(20) 및 비디오 디코더(30) 각각은 비디오 데이터를 인코딩 또는 디코딩할 수 있는 각각의 인코더-디코더 (CODEC) 의 일부를 형성할 수도 있다.
디스플레이 디바이스 (32) 는 목적지 디바이스 (14) 와 통합될 수도 있고, 또는 목적지 디바이스 (14) 외부에 있을 수도 있다. 몇몇 실시예들에서, 목적지 디바이스 (14) 는 통합된 디스플레이 디바이스를 포함할 수도 있고, 또한 외부 디스플레이 디바이스와 인터페이싱하도록 또한 구성될 수도 있다. 다른 실시예들에서, 목적지 디바이스 (14) 는 디스플레이 디바이스일 수도 있다. 일반적으로, 디스플레이 디바이스 (32) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 것을 포함할 수도 있다.
도 1 의 실시예에서, 통신 채널 (16) 은 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들과 같은 임의의 무선 또는 유선 통신 매체, 또는 무선 및 유선 매체들의 임의의 조합을 포함할 수도 있다. 통신 채널 (16) 은 패킷 기반 네트워크, 이를테면 근거리 통신망, 원거리 통신망, 또는 인터넷과 같은 글로벌 네트워크의 일부를 형성할 수도 있다. 통신 채널 (16) 은, 일반적으로, 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 비디오 데이터를 송신하기 위한, 유선 또는 무선 매체들의 임의의 적합한 조합을 포함하는, 임의의 적합한 통신 매체 또는 상이한 통신 매체들의 집합을 나타낸다. 통신 채널 (16) 은 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는 데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 비디오 압축 표준, 이를테면 현재 개발 중에 있는 HEVC (High Efficiency Video Coding) 표준에 따라 동작할 수도 있고, HEVC 테스트 모델 (HEVC Test Model: HM) 을 준수할 수도 있다. 대안으로, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 ITU-T H.264 표준과 같은 다른 독점 또는 산업 표준들 (대안으로, MPEG-4, 파트 10, 고급 비디오 코딩 (AVC) 이라고 지치됨), 또는 그러한 표준들의 확장안들에 따라 동작할 수도 있다. 그러나, 본 개시물의 기법들은 임의의 특정 코딩 표준으로 제한되는 것은 아니다. 다른 실시예들은 MPEG-2 및 ITU-T H.263 을 포함한다.
도 1 에는 도시되어 있지 않지만, 몇몇 양태들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 각각 오디오 인코더 및 디코더와 통합될 수도 있고, 공통 데이터 스트림 또는 개별적인 데이터 스트림들에서 오디오 및 비디오 양측 모두의 인코딩을 핸들링하기 위해 적절한 MUX-DEMUX 유닛들, 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용가능하다면, 몇몇 실시예들에서, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜을 준수할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 다양한 적합한 인코더 회로부, 이를테면 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSPs), 주문형 반도체들 (application specific integrated circuits: ASICs), 필드 프로그래밍가능 게이트 어레이들 (FPGAs), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들 중 임의의 것으로서 구현될 수도 있다. 그 기법들이 부분적으로 소프트웨어로 구현되는 경우, 디바이스는 그 소프트웨어에 대한 명령들을 적합한 비일시적 컴퓨터 판독가능 매체에 저장할 수도 있고, 본 개시물의 기법들을 수행하기 위해 하나 이상의 프로세서들을 사용하는 하드웨어에서 그 명령들을 실행할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있으며, 이들 중 어느 하나는 결합된 인코더/디코더 (CODEC) 의 일부로서 각각의 디바이스에 통합될 수도 있다.
비디오 인코더 (20) 는 비디오 인코딩 프로세스에서 인트라 예측 코딩에 대한 본 개시물의 기법들 중 임의의 또는 모든 것을 구현할 수도 있다. 마찬가지로, 비디오 디코더 (30) 는 비디오 코딩 프로세스에서 인트라 예측 코딩에 대한 이들 기법들 중 임의의 것 또는 모든 것을 구현할 수도 있다. 본 개시물에서 설명된 바와 같이, 비디오 코더는 비디오 인코더 또는 비디오 디코더를 지칭할 수도 있다. 마찬가지로, 비디오 코딩 유닛은 비디오 인코더 또는 비디오 디코더를 지칭할 수도 있다. 마찬가지로, 비디오 코딩은 비디오 인코딩 또는 비디오 디코딩을 지칭할 수도 있다.
이하에서 더 상세히 설명되는 본 개시물의 실시예들에 따르면, 비디오 인코더 (20) 는, 비디오 데이터의 블록에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 파티션을 결정하고 그 결정된 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하도록 구성될 수도 있다. 일 예에서, 결정된 예측 유닛 파티션은 수직 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수직 배향 인트라 예측 모드들을 포함한다. 다른 실시예에서, 결정된 예측 유닛 파티션은 수평 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수평 배향 인트라 예측 모드들을 포함한다.
본 개시물의 다른 실시예에서, 비디오 인코더 (20) 는, 비디오 데이터의 블록에 대한 인트라 예측 모드들의 세트로부터 인트라 예측 모드를 결정하고, 그 결정된 인트라 예측 모드에 기초하여 비디오 데이터의 블록에 대한 변환 유닛 파티션을 결정하고, 그 결정된 변환 유닛 파티션을 이용하여 비디오 데이터의 블록을 인코딩하도록 추가로 구성될 수도 있다.
본 개시물의 다른 실시예에서, 비디오 인코더 (20) 는 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션을 결정하도록 구성될 수도 있다. 일 실시예에서, 결정된 인트라 예측 모드는 수직 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수직 배향 비정방형 변환 유닛 파티션들을 포함한다. 다른 실시예에서, 결정된 인트라 예측 모드는 수평 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수평 배향 비정방형 변환 유닛 파티션들을 포함한다. 또 다른 실시예에서, 결정된 인트라 예측 모드는 DC 모드, 평면 모드, 또는 대각선 모드이고, 변환 유닛 파티션들의 세트는 정방형 변환 유닛 파티션들을 포함한다.
본 개시물의 다른 실시예에서, 비디오 디코더 (30) 는, 비디오 데이터의 블록에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 파티션의 표시를 수신하고 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하도록 구성될 수도 있다. 일 실시예에서, 예측 유닛 파티션은 수직 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수직 배향 인트라 예측 모드들을 포함한다. 다른 실시예에서, 예측 유닛 파티션은 수평 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수평 배향 인트라 예측 모드들을 포함한다.
본 개시물의 다른 실시예에서, 비디오 디코더 (30) 는, 비디오 데이터의 블록에 대한 인트라 예측 모드들의 세트로부터 인트라 예측 모드의 표시를 수신하고, 그 결정된 인트라 예측 모드에 기초하여 비디오 데이터의 블록에 대한 변환 유닛 파티션을 결정하고, 그 결정된 변환 유닛 파티션을 이용하여 비디오 데이터의 블록을 디코딩하도록 추가로 구성될 수도 있다.
본 개시물의 다른 실시예에서, 비디오 디코더 (30) 는 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션을 결정하도록 구성될 수도 있다. 일 예에서, 결정된 인트라 예측 모드는 수직 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수직 배향 비정방형 변환 유닛 파티션들을 포함한다. 다른 실시예에서, 결정된 인트라 예측 모드는 수평 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수평 배향 비정방형 변환 유닛 파티션들을 포함한다. 또 다른 실시예에서, 결정된 인트라 예측 모드는 DC 모드, 평면 모드, 또는 대각선 모드이고, 변환 유닛 파티션들의 세트는 정방형 변환 유닛 파티션들을 포함한다.
디지털 비디오 디바이스들은 디지털 비디오 정보를 보다 효율적으로 인코딩하고 디코딩하는 비디오 압축 기법들을 구현한다. 비디오 압축은 비디오 시퀀스들에 내재한 리던던시를 감소시키거나 또는 제거하는 데 공간적 (인트라 프레임) 예측 및/또는 시간적 (인터 프레임) 예측 기법들을 적용할 수도 있다.
일반적인 비디오 인코더는 오리지널 비디오 시퀀스의 각각의 프레임을 "블록들" 또는 "코딩 유닛들" 이라고 지칭되는 인접한 직사각형 지역들로 파티셔닝한다. 이들 블록들은 "인트라 모드" (I 모드) 또는 "인터 모드" (P 모드 또는 B 모드) 에서 인코딩된다.
P 모드에 대해, 인코더는 먼저 Fref 로 표기되는 "참조 프레임" 에서 인코딩되고 있는 것과 유사한 블록을 검색한다. 검색은 인코딩될 블록으로부터의 특정 공간 변위에서만으로 제한되는 것이 일반적이다. 최상의 매칭 또는 "예측" 이 식별되었을 때, 그것은 2 차원 (2D) 모션 벡터 (Δx,Δy) 의 형태로 표현되며, 여기서 Δx 는 수평 변위이고 Δy 는 수직 변위이다. 모션 벡터들은, 참조 프레임과 함께, 예측 블록 Fpred 을 다음과 같이 구성하는 데 이용된다:
Fpred(x,y) = Fref(x+Δx, y+Δy)
프레임 내에서 픽셀의 로케이션은 (x, y) 로 표기된다. I 모드에서 인코딩된 블록들의 경우, 예측 블록은 동일한 프레임 내에서 이전에 인코딩된 이웃 블록들로부터의 공간 예측을 이용하여 형성된다. I 모드 및 P 또는 B 모드 양측에 대해, 예측 에러, 즉 인코딩되고 있는 블록에서의 픽셀 값들과 예측 블록세어의 픽셀 값들 사이의 차이는 이산 코사인 변환 (CDT) 과 같은 몇몇 이산 변환의 가중된 기본 함수들의 세트로서 표현된다. 변환들은, 이를테면 4x4, 8x8, 또는 16x16 이상과 같은 상이한 사이즈의 블록들에 기초하여 수행될 수도 있다. 변환 블록의 형상은 항상 정방형인 것은 아니다. 정사각형 형상의 변환 블록들이, 예컨대 16x4 의 변환 블록 사이즈로 또한 이용될 수 있다.
가중치들 (즉, 변환 계수들) 이 후속으로 양자화된다. 양자화는 정보의 손실을 도입하고, 이와 같이, 양자화된 계수들은 오리지널 변환 계수들보다 낮은 정밀도를 갖는다. 픽셀들의 루마 및 크로마 콤포넌트들은 개별적으로 예측, 양자화, 및 변환될 수도 있다. 즉, 코딩 프로세스는 픽셀들의 루마 콤포넌트들 뿐 아니라 픽셀의 하나 이상의 크로마 콤포넌트들의 블록에 적용될 수도 있다.
양자화된 변환 계수들 및 모션 벡터들은 "신택스 엘리먼트들" 의 실시예들이다. 이러한 신택스 엘리먼트들 플러스 몇몇 제어 정보는 비디오 시퀀스의 코딩된 표현을 형성한다. 신택스 엘리먼트들은 또한 엔트로피 코딩되어 그들의 표현을 위해 필요한 비트들의 수를 더욱 감소시킬 수도 있다. 엔트로피 코딩은 송신되거나 또는 저장된 심볼들 (본 경우에는, 신택스 엘리먼트들) 의 분포의 속성들을 이용하는 것에 의해 그러한 심볼들을 표현하는 데 필요한 비트들의 수를 최소화시키는 것을 목표로 하는 무손실 동작이다.
디코더에서, 현재 프레임에서의 블록은 인코더에서와 동일한 방식으로 그의 예측을 먼저 구성하는 것에 의해 그리고 그 예측에 압축된 예측 에러를 추가하는 것에 의해 획득된다. 압축된 예측 에러는 양자화된 계수들을 이용하여 픽셀 차이 값들을 생성하는 변환 기반 함수들을 가중화하는 것에 의해 발견된다. 재구성된 프레임과 오리지널 프레임 사이의 차이는 재구성 에러로 지칭된다.
압축 비율, 즉 오리지널 시퀀스를 표현하는 데 사용되는 비트들의 수와 압축된 것을 표현하는 데 사용되는 비트들의 수의 비율은, 변환 계수들을 양자화할 때 사용되는 양자화 파라미터 (QP) 의 값을 조절함으로써 제어될 수도 있다. 압축 비율은 채용된 엔트로피 코딩의 방법에 의존할 수도 있다.
ITU-T VCEG (Video Coding Experts Grou) 의 JCT-VC (Joint Collaboration Team on Video Coding) 및 ISO/IEC MPEG 에 의해 개발되고 있는 새로운 비디오 코딩 표준, 소위 HEVC (High-Efficiency Video Coding) 가 있다. "HEVC Working Draft 7" 또는 "WD7" 라고 지칭되는 HEVC 표준의 최신 드래프트는, http://phenix.int-evry.fr/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v6.zip 로부터 현재 다운로드될 수 있는 문헌 JCTVC-I1003, Bross 등의 "High efficiency video coding (HEVC)text specification draft 7" (Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 및 ISO/IEC JTC1/SC29/WG11, 9th Meeting: Geneva, CH, 27 April - 7 May 2012, which, as of August 21, 2012) 에 기술되어 있다.
JCT-VC 에 의해 현재 개발 중인 HEVC 표준에 따른 비디오 코딩에 대해, 비디오 프레임은 코딩 유닛들로 파티셔닝될 수도 있다. 코딩 유닛 (CU) 은 다양한 코딩 툴들이 비디오 압축을 위해 적용되는 기본 유닛으로서 기능하는 이미지 영역을 지칭하는 것이 일반적이다. 통상, CU 는 Y 로 표기되는 루미넌스 콤포넌트와 U 및 V 로 표기되는 2 개의 크로마 콤포넌트들을 갖는다. 비디오 샘플링 포맷에 따라, 샘플들의 개수와 관련하여, U 및 V 콤포넌트들의 사이즈는 Y 콤포넌트의 사이즈와 동일할 수도 있고 또는 그와는 상이할 수도 있다. CU 는 일반적으로 정사각형이며, 예컨대 ITU-T H.264 와 같은 다른 비디오 코딩 표준들 하의, 소위 매크로블록과 유사한 것으로 간주될 수도 있다.
코딩 효율을 보다 우수하게 달성하기 위해, 코딩 유닛은 비디오 콘텐츠에 따른 가변 사이즈들을 가질 수도 있다. 추가로, CU 는 예측 또는 변환을 위한 보다 작은 블록들로 스플릿될 수도 있다. 구체적으로, 각각의 CU 는 예측 유닛들 (PU들) 및 변환 유닛들 (TU들) 로 더 파티셔닝될 수도 있다. PU들은 H.264 와 같은 다른 비디오 코딩 표준들 하에서의 소위 파티션들과 유사한 것으로 간주될 수도 있다. 변환 유닛들 (TU들) 은 변환 계수들을 생성하도록 변환이 적용되는 잔차 데이터의 블록들을 지칭한다.
개발 중인 HEVC 표준의 현재 제안된 양태들 중 일부에 따른 코딩은 본 출원에서 예시를 목적으로 설명될 것이다. 그러나, 본 개시물에서 설명되는 기법들은 ITU-T H.264 또는 다른 표준이나 사유 비디오 코딩 프로세스들에 따라 정의된 것들과 같은 다른 비디오 코딩 프로세스들에 유용할 수도 있다.
HEVC 표준화 노력들은 HEVC 테스트 모델 (HEVC Test Model: HM) 로 지칭되는 비디오 코딩 디바이스의 모델에 기초한다. HM 은, 예컨대 ITU-T H.264/AVC 에 따른 디바이스들에 비해 비디오 코딩 디바이스들의 여러 기능들을 전제로 한다. 예를 들어, H.264 가 9 개의 인트라 예측 인코딩 모드들을 제공하는 반면, HM 은 35 개 정도로 많은 인트라 예측 인코딩 모드들을 제공한다.
HEVC 에서의 35 개의 인트라 예측 모드들은 하나의 DC 모드, 하나의 평면 모드, 및 33 개의 상이한 방향 예측 모드들을 포함한다. 방향 예측 모드로, 예측은 그 모드에 의해 나타내지는 특정 방향을 따라 이웃 블록 재구성된 픽셀들에 기초하여 수행된다. 상이한 예측 모드들과 관련된 방향들 (0-34) 은 도 2 에 도시되어 있다.
HM 에 따르면, CU 는 하나 이상의 PU들 및/또는 하나 이상의 TU들을 포함할 수도 있다. 비트스트림 내의 신택스 데이터는 최대 코딩 유닛 (LCU) 을 정의할 수도 있는데, 이는 픽셀들의 수와 관련하여 최대 CU 이다. 일반적으로, CU 가 사이즈 특이성을 갖지 않는다는 점을 제외하면, CU 는 H.264 의 매크로 블록과 유사한 목적을 갖는다. 따라서, CU는 서브 CU들로 스플릿될 수도 있다. 일반적으로, CU 에 대한 본 개시물에서의 언급은 픽처의 최대 코딩 유닛 또는 LCU 의 서브 CU 를 지칭할 수도 있다. LCU는 서브 CU들로 스플릿될 수도 있고, 각각의 서브 CU는 서브 CU들로 더 스플릿될 수도 있다. 비트스트림에 대한 신택스 데이터는 LCU 가 스플릿될 수도 있는 최대 횟수 (CU 깊이라고 지칭됨) 를 정의할 수도 있다. 따라서, 비트스트림은 최소 코딩 단위(SCU) 를 또한 정의할 수도 있다. 본 개시물은 또한 CU, PU, 또는 TU 중 임의의 것을 지칭하는 데 용어 "블록", "파티션" 또는 "부분" 을 사용한다. 일반적으로, "부분" 은 비디오 프레임의 임의의 서브세트를 지칭할 수도 있다.
LCU 는 쿼드트리 데이터 구조와 관련될 수도 있다. 일반적으로, 쿼드트리 데이터 구조는 CU 당 하나의 노드를 포함하며, 여기서 루트 노드는 LCU 에 대응한다. CU 가 4 개의 서브 CU들로 스플릿되면, CU 에 대응하는 노드는 4 개의 리프 노드들을 포함하며, 리프 노드 각각은 서브 CU들 중의 하나에 대응한다. 쿼드트리 데이터 구조의 노드 각각은 대응하는 CU 에 신택스 데이터를 제공할 수도 있다. 예를 들어, 쿼드트리에서의 노드는 그 노드에 대응하는 CU 가 서브 CU들로 스플릿되는지를 나타내는 스플릿 플래그를 포함할 수도 있다. CU에 대한 신택스 엘리먼트들은 재귀적으로 정의될 수도 있으며, CU 가 서브 CU들로 스플릿되는지에 의존할 수도 있다. CU 가 더 스플릿되지 않는다면, 그것은 리프 CU 로 지칭된다.
또한, 리프 CU들의 TU들은 각각의 쿼드트리 데이터 구조들과 역시 관련될 수도 있다. 즉, 리프 CU 는 그 리프 CU 가 TU들로 얼마나 파티셔닝되는지를 나타내는 쿼드트리를 포함할 수도 있다. 본 개시물은 LCU 가 CU 쿼드트리로서 얼마나 파티셔닝되는지를 나타내는 쿼드트리 및 리프 CU 가 TU 쿼드트리로서 얼마나 TU들로 어떻게 파티셔닝되는지를 나타내느 쿼드트리를 언급한다. TU 쿼드트리의 루트 노드는 일반적으로 리프 CU 에 대응하지만, CU 쿼드트리의 루트 노드는 일반적으로 LCU 에 대응한다. 스플릿되지 않은 TU 쿼드트리의 TU들은 리프 TU들로 지칭된다.
리프 CU 는 하나 이상의 예측 유닛들 (PU들) 을 포함할 수도 있다. 일반적으로, PU 는 대응하는 CU 의 모두 또는 일부를 나타내며, PU 에 대한 참조 샘플을 취출하기 위한 데이터를 포함할 수도 있다. 예를 들어, PU 가 인터 모드 인코딩되면, PU 는 PU 에 대한 모션 벡터를 정의하는 데이터를 포함할 수도 있다. 모션 벡터를 정의하는 데이터는, 예를 들어 모션 벡터의 수평 콤포넌트, 모션 벡터의 수직 콤포넌트, 모션 벡터에 대한 해상도 (예컨대, 정수 픽셀 정밀도, 1/4 픽셀 정밀도 또는 1/8 픽셀 정밀도), 모션 벡터가 가리키는 참조 프레임, 및/또는 모션 벡터에 대한 참조 리스트 (예컨대, 리스트 0 또는 리스트 1) 를 설명할 수도 있다. PU(들)를 정의하는 리프 CU 에 대한 데이터는, 예를 들어 하나 이상의 PU들로의 CU 의 파티셔닝을 또한 설명할 수도 있다. 파티셔닝 모드들은, CU 가 예측적으로 코딩, 인트라 예측 모드 인코딩, 또는 인터 모드 예측 인코딩되지 않는지에 따라 상이할 수도 있다. 인트라 코딩의 경우, PU 는 아래에서 설명되는 리프 변환 유닛과 동일하게 취급될 수도 있다.
HEVC 는 또한 쿼트드리 스타일 변환 유닛 파티션 구조를 허용한다. 도 3 에 도시된 바와 같이, 예를 들어 외부 블록은 오리지널 CU 이다. 내부 블록들은 쿼드트리 구조에 따라 변환 블록 분해의 결과를 나타낸다. 물론, 이러한 결과는 많은 가능한 분해들로부터 하나에 불과하다. 도 3 의 예에서, 변환 분해의 3 개의 레벨들이 존재한다. 레벨-1 분해로, 전체 변환 블록은 4 개의 1/4 사이즈 블록들로 스플릿된다. 그 후, 레벨-2 에서, 제 2 의 1/4 사이즈 변환 블록 (상부 우측) 이 4 개의 1/16 사이즈 변환 블록들로 더 스플릿된다. 그 후, 레벨-3 에서, 4 개의 1/16 사이즈 변환 블록이 4 개의 보다 작은 변환 블록들로 더 스플릿된다. 레벨-0 에서의 변환 유닛은 전체 코딩 유닛이 추가 스플릿 없이 함께 변환된다는 것을 의미한다. 이 경우에 있어서, 변환 유닛은 동일한 사이즈의 코딩 유닛을 갖는다. 실제로, 변환 유닛이 더 스플릿되는지의 여부는 레이트 왜곡 최적화에 기초하여 결정된다.
HEVC 에 대한 한 가지 제안에 있어서, 정방형 형상의 변환 유닛들 (예컨대, 도 3 에 도시된 것들) 외에도, 비정방형 형상의 TU들이 또한 사용될 수 있다. 도 4a 의 블록 (1) 은 예시적인 수직 배향 비정방형 변환 파티션들의 개념도이다. 예를 들어, 사이즈 2Nx2N 의 인터 예측된 블록에 대해, 블록 (1) 에 도시된 바와 같이, 0.5Nx2N 의 사이즈인 4 개의 변환 블록들 (또한 변환 유닛들이라고 지칭될 수도 있음) 이 사용될 수도 있다. 이러한 변환들은 2Nx2N PU 파티션과 함께 사용될 수도 있으며, 또는 PU 파티션이 블록들 (2, 3, 또는 4) 의 형태인 경우에 사용될 수도 있다. 블록 (2) 은 2 개의 파티션들로 분리되는 2Nx2N PU 이며, 각각의 파티션은 오리지널 블록 사이즈의 절반의 사이즈를 갖는다. 블록 (2) 에서의 파티션들은 때때로 Nx2N 파티션들이라고 지칭된다. 블록들 (3, 4) 의 PU들은 각각 오리지널 블록 사이즈의 1/4 및 3/4 의 사이즈를 갖는 2 개의 파티션들로 분리된다. 블록 (3) 의 좌측 파티션은 때때로 0.5Nx2N 파티션이라고 지칭되고, 블록 (3) 의 우측 파티션은 때때로 1.5Nx2N 파티션이라고 지칭된다. 마찬가지로, 블록 (4) 의 좌측 파티션은 때때로 1.5Nx2N 파티션이라고 지칭되고, 블록 (4) 의 우측 파티션은 때때로 0.5Nx2N 파티션이라고 지칭된다.
도 4a 에서, PU들의 파티션은 수직으로 배향된다. 유사한 TU 파티셔닝은, 도 4b 에 도시된 바와 같이, PU들의 파티션들이 수평으로 배향되는 경우에 사용될 수도 있다. 도 4b 의 블록 (5) 은 예시적인 수평 배향 비정방형 변환 파티션들의 개념도이다. 예를 들어, 사이즈 2Nx2N 의 인터 예측된 블록에 대해, 블록 (5) 에 도시된 바와 같이, 2Nx0.5N 의 사이즈인 4 개의 변환 블록들 (또한 변환 유닛들이라고 지칭될 수도 있음) 이 사용될 수도 있다. 이러한 변환들은 2Nx2N PU 파티션과 함께 사용될 수도 있으며, 또는 PU 파티션이 블록들 (6, 7, 또는 8) 의 형태인 경우에 사용될 수도 있다. 블록 (6) 은 2 개의 파티션들로 분리되는 2Nx2N PU 이며, 각각의 파티션은 오리지널 블록 사이즈의 절반의 사이즈를 갖는다. 블록 (6) 에서의 파티션들은 때때로 2NxN 파티션들이라고 지칭된다. 블록들 (7, 8) 의 PU들은 각각 오리지널 블록 사이즈의 1/4 및 3/4 의 사이즈를 갖는 2 개의 파티션들로 분리된다. 블록 (7) 의 상부 파티션은 때때로 2Nx0.5N 파티션이라고 지칭되고, 블록 (7) 의 하부 파티션은 때때로 2Nx1.5N 파티션이라고 지칭된다. 마찬가지로, 블록 (8) 의 상부 파티션은 때때로 2Nx1.5N 파티션이라고 지칭되고, 블록 (8) 의 하부 파티션은 때때로 2Nx0.5N 파티션이라고 지칭된다.
인트라 예측된 블록에 대한 HEVC 에 따르면, 비정방형 변환들은 현재 블록의 파티션 모드에 의존하여 이용된다는 것을 알 수 있다. PU 가 수직 배향 방식으로 파티셔닝되면, 도 4a 의 블록들 (2, 3, 4) 에 도시된 바와 같이, 수직 방향 변환 블록들이 사용될 수도 있다. PU 가 수평 배향 방식으로 파티셔닝되면, 도 4b 의 블록들 (6, 7, 8) 에 도시된 바와 같이, 수평 방향 변환 블록들이 사용될 수도 있다.
인터 예측된 블록들과는 반대로, HEVC 에 대한 이전의 제안들은 인트라 예측된 블록들에 대한 정방형 형상의 TU들만을 허용했다. 추가로, TU들의 형상 및 사이즈는 인트라 예측된 블록에 사용된 PU들의 형상 및 사이즈에 정렬된다. 인트라 예측된 블록들에 대한 TU들 및 PU들의 예들이 도 5a 에 도시되어 있다. 블록 (11) 은 4 개의 1/4 사이즈 파티션들로 파티셔닝된다. 블록 (13) 에서, 제 2 의 1/4 사이즈 파티션 (상부 우측) 이 오리지널 블록 사이즈의 1/16 의 사이즈를 갖는 4 개의 보다 작은 파티션들로 더 파티셔닝된다. HEVC 에 대한 조기 제안들에 기초하여, 도 5a 에 도시된 각각의 블록은 개별적으로 예측, 변환, 및 재구성된다. TU 사이즈는 각각의 경우에 PU 사이즈와 동일하다.
HEVC 에서의 최근 제안들은 인트라 예측된 블록들에서 비정방형 변환들의 사용을 필요로 한다. 도 5b 는 인트라 예측된 블록들에 사용될 수도 있는 비정방형 TU들 및 PU들의 예들을 도시한다. 도 5b 의 예에서, PU들은 또한 직사각형 형상을 가질 수도 있다. 또한, TU들은 PU들과 정렬되고, 동일한 사이즈 및 형상을 갖는다. 블록 (15) 은 수직 배향 직사각형 형상을 갖는 TU들 및 PU들을 나타내고, 블록 (17) 은 수평 배향 직사각형 형상을 갖는 TU들 및 PU들을 나타낸다. 차례로, 각각의 파티션은 재구성된 픽셀들의 이웃 블록으로부터 예측되고 (즉, 인트라 예측을 이용하여 예측되고), 예측 잔차들은 예측에 사용된 PU 와 동일한 사이즈의 TU 를 사용하여 변환되었다.
도 5b 에 도시된 예시적인 비정방형 TU들 및 PU들은 도 5a 의 정방형 형상의 TU들 및 PU들에 더해 사용될 수도 있다. 다시 말해, 주어진 블록에 대해, 도 5a 및 도 5b 양측 모두에서 예시된 경우들이 허용된다. 예를 들어, 쿼드트리 분해 레벨-1 에서, 블록 (11) 에서 도시된 변환 파티션이 선택될 수도 있다. 다른 경우에 있어서, 블록들 (15 또는 17) 에 도시된 변환 파티션이 선택될 수도 있다. 인코더 측에서, 도 5a 및 도 5b 에 도시된 것들을 포함하는 모든 허용가능한 PU 및 TU 파티션들이 가장 최적의 레이트 왜곡 메트릭을 보이는 (또는 규정된 레이트 왜곡 임계치를 충족하는) 파티션 모드를 결정하도록 테스트되며, 인코딩된 비트스트림에서 최상의 파티션 모드가 시그널링된다. 테스팅은 정방형 형상의 변환들에 더해 비정방형 형상의 변환들을 인에이블하는 것이 인트라 예측된 블록들에 대한 코딩 효율을 개선할 수 있다는 것을 보여 주었다.
인트라 예측된 블록에 대해, TU 가 PU 와 함께 커플링되므로, 블록 내에서 TU 파티션들의 상이한 옵션들을 검사하는 것은, 각각의 고유한 TU 파티션이 고유한 PU 파티션과 매칭할 때, 다수의 예측들 및 재구성들을 수행하는 것을 포함할 수도 있다. 그 결과, 인코딩 복잡도는 상당히 보다 높아지게 되고, 추가의 비정방형 파티션들이 검사되고 시그널링된다. 이러한 높은 인코더 복잡도는 몇몇 상황들에서 인트라 예측된 블록을 코딩하기 위한 정방형 변환들 외에도 비정방형 변환들을 이용하는 것을 비실용적이게 할 수도 있다. 이러한 단점들의 관점에서, 본 개시물은 코딩 효율을 보존하면서 감소된 복잡도로 인트라 예측된 블록들에 대한 비정방형 변환들을 가능하게 하는 데 목적이 있다.
본 개시물은 이러한 단점들을 해결하기 위한 여러 기법들을 제시한다. 일 예로서, 주어진 인트라 예측된 블록에 대해, 감소된 수의 변환 유닛 파티션 옵션들이 특정 조건들에 기초하여 허용된다. 다른 예에서, 본 개시물은 인트라 예측된 블록들에 대한 PU 사이즈 및 형상으로부터 TU 사이즈 및 형상을 디커플링하는 것을 제안한다. 즉, 주어진 PU 에 대해, PU 와는 상이한 사이즈들 및 형상들의 TU들이 적용될 수도 있다. 그 결과, 상이한 TU 파티션들을 검사하는 것은 모든 환경들에서 블록의 대응하는 예측을 개별적으로 획득하는 것을 요구하지 않을 수도 있다.
본 개시물의 일 실시예에 따르면, 인트라 예측된 블록에 대해, 감소된 수의 TU 파티션 옵션들은 대응하는 PU 에 사용되는 인트라 예측 방향 (또는 인트라 예측 모드) 에 기초하여 허용된다. 예를 들어, 현재 PU 의 인트라 예측 모드가, PU 가 수직 방향으로부터 예측되는 것을 나타내면, 예컨대 인트라 예측 모드 0 이면, 수직 배향 비정방형 변환들 (예컨대, 도 5b 에서 블록 (15) 의 TU 파티션들) 만이 허용된다. 정방형 형상의 변환들은 수직 배향 인트라 예측 모드를 이용하여 예측된 PU 에 대해 허용되지 않는다. 추가로, 수평 배향 비정방형 TU들 (예컨대, 도 5b 에서 블록 (17) 의 TU 파티션들) 은 허용되지 않는다. 일반적으로, 이러한 제한은 모드들 0, 21, 22, 11 및 22 와 같은, 주로 수직으로 배향되는 모든 인트라 예측 방향들에 적용될 수도 있다. 모드들 0, 21, 22, 11 및 12 는 단지 예시적인 수직 배향 인트라 예측 모드들에 불과하다. 다른 예들에서, 추가적인 인트라 예측 모드들은 수직으로 배향되는 것으로 분류될 수도 있다.
마찬가지로, 본 개시물의 다른 예에 따르면, 현재 PU 의 인트라 예측 모드가, PU 가 수평 방향으로부터 예측되는 것을 나타내면, 예컨대 인트라 예측 모드 1 이면, 수평 배향 비정방형 TU들 (예컨대, 도 5b 에서 블록 (17) 의 TU 파티션들) 만이 허용된다. 정방형 형상의 변환들은 수평 배향 인트라 예측 모드를 이용하여 예측된 PU 에 대해 허용되지 않는다. 추가로, 수직 배향 비정방형 TU들 (예컨대, 도 5b 에서 블록 (15) 의 TU 파티션들) 은 허용되지 않는다. 일반적으로, 이러한 제한은 모드들 1, 29, 30, 15, 및 16 과 같은, 주로 수평으로 배향되는 모든 인트라 예측 방향들에 적용될 수도 있다. 모드들 1, 29, 30, 15, 및 16 은 단지 예시적인 수평 배향 인트라 예측 모드들에 불과하다. 다른 예들에서, 추가적인 인트라 예측 모드들은 수평으로 배향되는 것으로 분류될 수도 있다.
본 개시물의 다른 예에서, 현재 PU 에 대한 인트라 예측 모드가 어떠한 명확한 방향 선호도도 갖지 않는다면, 예컨대 DC 모드 2 또는 평면 모드 34 이면, 정방형 형상의 TU들만이 그 블록에 대해 허용된다. 일반적으로, 이러한 제한은 수평 또는 수직 중 어느 방향으로도 배향되지 않는 모든 인트라 예측 방향들에 적용될 수도 있다. 예를 들어, 정방형 형상의 TU들에 대한 제한은, 또한, 모드들 3, 18 및 26 과 같이, 주로 대각선으로 배향되는 그러한 인트라 예측 방향들에 적용될 수도 있다. 모드들 3, 18 및 26 은 단지 대각선 방향 인트라 예측 모드들의 예에 불과하다. 다른 예들에서, 추가적인 인트라 예측 모드들은 대각선으로 배향되는 것으로 분류될 수도 있다.
도 2 에 도시된 것들과 같이, 특별하게 전술되지 않은 다른 인트라 예측 모드들은 허용가능한 TU 파티션들의 타입들에 대해 어떠한 제한도 갖지 않을 수도 있다. 예를 들어, 정방형 TU 파티션들, 비정방형 수직 방향 TU 파티션들, 및 비정방형 수평 방향 TU 파티션들이 허용될 수도 있다.
전술된 인트라 예측 모드 기반 TU 파티션 제한들 (즉, 각각의 인트라 예측 모드에 대한 특정 TU 파티션들의 제한) 은 모드 결정 스테이지 (즉, 인트라 예측 모드를 선택하는 것) 에서 행해질 수 있고, 또는 전체 인코딩 프로세스에 (즉, 모드 결정 스테이지 및 엔트로피 코딩 스테이지 양측 모두에서) 이용될 수 있다.
모드 결정 스테이지 (예컨대, 도 7 의 모드 선택 유닛 (40) 은 인코더가 가능한 TU 파티션들을 테스트하고 비트 레이트/왜곡 기준에 기초하여 하나를 선택하는 스테이지를 지칭한다. TU 제한이 모드 결정 스테이지에서만 적용되면, 비디오 인코더 (20) 는 선택된 인트라 예측 모드에 대해 허용되는 선택된 TU들 (모든 가능한 TU들의 서브세트일 수도 있음) 만을 테스트한다. 엔트로피 코딩 스테이지 (예컨대, 도 7 의 엔트로피 인코딩 유닛 (56)) 에서, 비디오 인코더 (20) 는, 시그널링에 이용가능하다면, 선택된 인트라 예측에 대해 허용되는 서브세트만이 아니라, 모든 가능한 TU들을 고려한다. 예를 들어, 총 3 개의 가능한 TU 파티션들 (예컨대, 수직 배향 (파티션 A), 수평 배향 (파티션 B), 및 정방형 (파티션 C)) 이 있는 것으로 가정한다. 인트라 모드 k 에 대해, 변환 A 만이 모드 결정 스테이지에서 고려되는 것으로 가정한다. 그러나, 엔트로피 코딩 스테이지에서는, 비디오 인코더 (20) 가 모든 파티션들 A, B 및 C 가 이용가능하고 그에 따라 모든 그러한 가능성들의 관점에서 파티션 A 의 선택을 시그널링하는 것을 상정한다. 예를 들어, 비디오 인코더 (20) 는 파티션 C 가 선택되는 것을 나타내는 square_tranform_flag = 1 을 시그널링할 수도 있고, 또는 비정방형 변환을 나타내는 square_tranform_flag = 0 (즉, A 또는 B) 그리고 변환들 A 또는 B 중에서 선택되는 변환을 나타내는 transform_dir_flag = 1 (또는 0) 을 시그널링할 수도 있다. 신택스 엘리먼트 transform_dir_flag = 1 은 수평 배향 TU 에 대응할 수도 있고, transform_dir_flag = 0 은 수직 배향 TU 에 대응할 수도 있으며, 그 반대로 될 수도 있다.
TU 파티션 제한을 전체 인코딩 프로세스에 적용하는 것은, 이용가능한 변환들의 제한이 (전술된 바와 같은) 모드 결정 스테이지 및 또한 엔트로피 코딩 스테이지 양측 모두에 적용된다는 것을 의미한다. 엔트로피 코딩 스테이지에서, TU 파티션 선택을 시그널링할 때에는 선택된 인트라 예측 모드에 대한 허용된 변환들만이 고려된다. 예를 들어, 인트라 모드 k 에 대해, 변환들 A 및 C 만이 허용되면 (B 는 허용되지 않음), 비디오 인코더 (20) 는 하나의 플래그 (플래그 = 1, A 선택됨; 플래그 = 0, C 선택됨) 를 시그널링한다. 다른 예에서, 모드 k 에 대해, 변환 A 만이 허용되면, 비디오 인코더 (20) 는 어떠한 플래그들도 전송할 필요가 없을 것인데, 이는 변환이 인트라 모드로부터 디코더로부터 추론될 수도 있기 때문이다.
본 개시물의 일 예에 따르면, 사용에 이용가능한 TU 파티션(들)은 비디오 인코더 (20) 에서의 사용을 위해 선택되는 인트라 예측 모드에 의존한다. 이 예에서, 각각의 인트라 예측 모드에 대해, 단 하나의 TU 파티션이 특정된다. 이용가능한 타입의 TU 파티션들은 정방형 TU 파티션들, 수직 배향 비정방형 TU 파티션들, 및 수평방향 비정방형 TU 파티션들을 포함할 수도 있다.
인트라 예측 모드와 TU 파티션 사이의 의존성은, 예컨대 메모리에 저장된 맵핑 테이블의 형태로 또는 구현된 공식들 또는 규칙들의 세트로서, 비디오 인코더 (20) 및 비디오 디코더 (20) 양측 모두에서 이용가능하게 될 수도 있다. 그 결과, 이 예에서, 인코더로부터 사용된 TU 파티션의 타입을 디코더로 시그널링할 필요가 없다. 대신, 비디오 디코더 (30) 에서, 일단 블록 또는 PU 인트라 예측 모드가 디코딩되면, 그의 의존적인 TU 파티션은, 인트라 예측 모드에 기초하여 맵핑 테이블 또는 규칙으로부터, 인코더와 동일한 방식으로 결정될 수도 있다.
본 개시물의 다른 예에 따르면, 선택된 TU 파티션은 현재 블록/PU 의 선택된 인트라 예측 모드에 여전히 의존하지만, 각각의 예측 방향에 대해, 특정되고 허용되는 하나 이상의 TU 파티션들이 있을 수도 있다. 특정 인트라 예측 모드에 대해 특정된 2 개 이상의 TU 파티션이 있을 때, 인코딩된 비디오 비트스트림에서 선택된 인트라 예측 모드를 시그널링하는 것 외에도, 추가적인 비트 또는 플래그가, 선택된 인트라 예측 모드에 대해 특정된 어떠한 TU 파티션이 사용될 것인지를 나타내도록 시그널링된다. 예를 들어, 수직 예측 방향들 (예컨대, 모드 0) 에 대해, 수직 배향 비정방형 TU 파티션들 또는 정방형 TU 파티션들 중 어느 하나가 사용될 수도 있다. 수평 방향 예측 방향들 (예컨대, 모드 1) 에 대해, 수평 배향 비정방형 TU 파티션들 또는 정방형 TU 파티션이 사용될 수도 있다.
이러한 맥락에서, 인코딩된 비트스트림에서 TU 파티션을 시그널링하는 것은 인코더로부터 디코더로의 그러한 엘리먼트들의 실시간 송신을 요구하지는 않지만, 그러한 신택스 엘리먼트들이 비트스트림 내로 인코딩되고 임의의 방식으로 디코더에 액세스가능하게 되는 것을 의미한다. 이것은, (예컨대, 화상 회의에서의) 실시간 송신 뿐 아니라 (예컨대, 스트리밍, 다운로딩, 디스크 액세스, 카드 액세스, DVD, 블루레이 등에서) 디코더에 의한 향후 사용을 위해 컴퓨터 판독가능 매체 상에 인코딩된 비트스트림을 저장하는 것을 포함할 수도 있다.
인트라 예측 모드에 대해, 특정된 TU 파티션이 단 하나가 있으면, 그러한 인트라 예측 모드가 선택될 때 TU 파티션을 나타내는 추가적인 비트 또는 플래그를 인코더로부터 디코더로 시그널링할 필요가 없다. 대신, 관련된 TU 파티션은 인코더 및 디코더 양측 모두에서 추론될 수 있다. 예를 들어, DC 모드 또는 평면 모드 하에서, 정방형 TU 파티션들만이 사용하는 데에 이용가능하게 될 수도 있다. 또한, 인트라 예측 모드 사이에서의 의존성, 허용된 TU 파티션들의 수 뿐 아니라 허용된 TU 파티션들의 타입은, 예컨대 메모리에 저장된 맵핑 테이블의 형태로 또는 구현된 공식들 또는 규칙들의 세트로서, 인코더 및 디코더 양측 모두에서 이용가능하게 될 수도 있다.
본 개시물의 또 다른 예에 따르면, 선택된 TU 파티션은 현재 블록의 인트라 예측 모드에 여전히 의존적이지만, 각각의 인트라 예측 방향에 대해, 특정되고 허용되는 동일한 수의 TU 파티션들이 존재한다. 예를 들어, 각각의 예측 모드에 대해, 특정되고 허용되는 2 개의 TU 파티션들이 존재한다.
그와 같이 하는 동기는 CABAC 와 같은 엔트로피 코더가 사용될 때 제 2 의 예의 방식과 관련된 파싱 문제를 피하는 것이다. 전술된 제 2 의 예에 따르면, 인트라 예측 모드에 의존하여, 변환 파티션을 나타내는 추가적인 비트 또는 플래그를 전송할 필요가 있을 수도 있고 또는 없을 수도 있다. 비디오 디코더 (20) 에서, 현재 블록에 대한 추가적인 하나의 비트 또는 플래그를 파싱할 것인지의 여부를 알기 위해, 인트라 예측 모드는 전체적으로 디코딩되어야 한다. 이것은 CABAC 와 같은 엔트로피 코더가 사용될 때 디코더에서 문제를 일으킬 수도 있다.
모든 인트라 예측 모드가 동일한 수의 특정된 TU 파티션들 (예컨대, 2 개의 TU 파티션들) 을 갖는 예에서, 어떤 인트라 예측 모드가 선택되는지와는 무관하게, 블록/PU 에 사용되는 TU 파티션을 나타내도록 하나의 추가적인 비트 또는 플래그가 시그널링된다. 그래서, 디코더 측에서의 이러한 추가적인 비트 또는 플래그의 파싱은 블록의 실제 이내트라 예측 모드에 의존하지 않는데, 이는 추가적인 비트 또는 플래그가 항상 전송될 것이기 때문이다.
본 개시물의 다른 예에 따르면, 인트라 예측된 블록에 대해, TU들은 사이즈 및/또는 형상에 관해 PU들과 더 이상 커플링되지 않는다. 다시 말해, TU 는 대응하는 PU 와는 상이한 사이즈 및/또는 형상을 가질 수도 있다. 예를 들어, 도 6 에 도시된 바와 같이, 2Nx2N 파티셔닝 모드를 갖는 인트라 예측된 블록의 PU (19) 는 CU 와 동일한 사이즈를 가질 수도 있다. NxN 파티셔닝 모드를 갖는 인트라 예측된 블록의 PU (21) 의 파티션 각각은 CU 사이즈의 1/4 인 사이즈를 가질 수도 있다.
각각의 PU 에 대해, 어떤 TU 파티션이 PU 에 대해 사용될 것인지와는 무관하게, 제구성된 픽셀들의 이웃 블록을먼 먼저 사용하는 수행된다. 일단 예측 잔차들이 PU 에 대해 이용가능하다면, PU 내의 TU 파티션들이 추가로 결정되고 시그널링될 수도 있다.
이러한 기법으로, TU들 및 PU들이 더 이상 함께 커플링되지 않기 때문에, 예측 잔차들은 TU 파티션 중 어느 것이 특정 PU 에 대한 것인지와는 무관하게, 변화되지 않은 상태로 유지된다. 그 결과, 인코더 측에서, 상이한 TU 파티션들은 예측 및 예측 잔차들을 매 시간 재계산하지 않고 테스트될 수도 있다. 이와 같이, 인코더 복잡도가 감소할 수 있다.
예를 들어, 도 6 에서 PU (19) 의 파티셔닝을 이용할 때, 전체 CU 에 대한 예측 방향이 먼저 획득된다. 그 후, 잔차들이 전체 CU 에 대해 계산된다. 그러면, 예측 잔차에 기초하여, 도 4a 및 도 4b 에 도시된 바와 같은 상이한 TU 파티션들이 테스트될 수 있고, 최상의 것은 인코딩된 비디오 비트스트림에서 시그널링된다.
본 개시물의 또 다른 예에 따르면, 인트라 예측된 블록에 대해, TU들은 PU들과 커플링되지 않는다. 다시 말해, TU 는 대응하는 PU 와는 상이한 사이즈 또는 형상을 가질 수도 있다. 그러나, 선택된 인트라 예측 모드에 따라, 감소된 수의 TU 파티션들이 허용될 수도 있다.
예를 들어, 주어진 인트라 예측 모드에 대해, 특정 TU 파티션들이 가장 최적인 레이트 왜곡 메트릭을 초래할 가능성이 거의 없을 수도 있다. 이 경우에 있어서, 주어진 인트라 예측 모드에 대해 가능성이 적게 사용된 TU 파티션들을 제거하는 것에 의해 허용된 TU 파티션들의 수를 감소시키는 것은 TU 파티션들에 대한 시그널링 오버헤드를 감소시킬 수도 있고 코딩 효율을 증가시킬 수도 있다.
주어진 인트라 예측 모드에 대해 이용가능한 TU 파티션들의 2 개 이상의 옵션이 있는 경우, 현재 블록/PU 에 대한 최상의 TU 파티션의 인덱스는 인코딩된 비디오 비트스트림에서 시그널링된다. 예를 들어, 특정 인트라 예측 모드에 대해 이용가능한 TU 파티션들의 3 개의 옵션들이 있는 경우, 0, 1, 또는 2 의 인덱스 값은 어떤 TU 파티션이 블록/PU 에 대해 선택되는지를 각각 나타내도록 시그널링될 수도 있다.
그러한 인덱스 값을 시그널링하는 데 있어서의 코딩 효율을 개선하기 위해, 현재 블록의 인트라 예측 모드가 콘텍스트로서 사용될 수도 있다. 인트라 예측 모드에 따라, 적응적 코딩 (예컨대, CABAC) 에서 사용되는 상이한 확률 모델들은 TU 파티션의 인덱스 값을 시그널링하는 데 사용될 수도 있다. 즉, 주어진 인트라 예측 모드에 대해, 최상의 레이트 왜곡 메트릭을 가질 보다 높은 가능성을 갖는 것으로 보인 TU 파티션들은 이러한 보다 높은 가능성을 고려하는 확률 모델로 CABAC 를 이용하여 코딩될 것이다. 본 개시물의 다른 예에 따르면, 현재 블록의 이웃 블록에 사용되는 TU 파티션의 인덱스 값은 현재 블록에 대한 변환 유닛 파티션의 인덱스 값을 코딩하는 데 있어서 콘텍스트로서 사용될 수도 있다.
본 개시물의 다른 예들에 따르면, 비정방형 PU들을 시그널링하는 기법들이 설명된다. 특히, 본 개시물은 인코딩된 비디오 비트 레이트를 감소시키기 위한 그리고 비정방형 단거리 인트라 예측 파티션들에 대한 인트라 모드 세트들을 감소시키는 것에 의해 인코더 복잡도를 감소시키기 위한 기법들을 설명한다.
전술된 바와 같이, HEVC, H.264 및 다른 비디오 코딩 표준들에서 이전 블록 기반 인트라 코딩은 하나의 NxN 정방형 블록을 재구성 유닛 및 예측 유닛으로서 사용한다. 정방형 블록 내부의 픽셀들은 이웃하는 재구성된 블록들의 경계들로부터 예측된다. 이것은 정방형 블록들의 우측 하부 부분 상의 픽셀들에 대해 시퀀스들의 몇몇 지역들 내의 다른 것들보다 덜 최적인 예측들을 초래할 수도 있다. 공간 상관성들을 더욱 잘 활용하기 위해, 최근에는, 단거리 인트라 예측 (SDIP) 코딩 방식이 HEVC 표준에서의 사용을 위해 제안되고 있다. SDIP 기법들은 하나의 NxN 정방형 블록을 여러 개의 라인들 또는 정사각형 형상들을 갖는 비정방형 블록들로 파티셔닝하는 것을 포함한다. 그 블록에서, 픽셀들은 라인별로 또는 직사각형별로 예측되고 재구성된다. 따라서, 예측 거리는 단축된다.
SDIP 의 일 예에서, 32x32 보다 작은 하나의 NxN 정방형 블록은 여러 라인들의 픽셀들 또는 비정방형 정사각형 형상을 갖는 비정방형 블록들로 분할된다. 그 블록에서, 픽셀들은 라인별로 또는 직사각형별로 예측되고 재구성된다.
SDIP 의 다른 예에서, 64x64 보다 작은 하나의 CU 는 라인들로서 또는 직사각형 형상을 갖는 비정방형 블록들로서 파티셔닝될 수 있다. 예를 들어, 32x32 CU 는 4 개의 8x32 PU들 또는 4 개의 32x8 PU들로서 파티셔닝될 수 있다. 다른 예에서, 16x16 CU 은 4 개의 8x8 PU들로 분할될 수 있을 뿐 아니라 4 개의 4x16/16x4 PU들로도 분할될 수 있고, 4x16/16x4 PU 는 4 개의 1x16/16x1 파티션들로 더 스플릿될 수 있다. 마찬가지로, 하나의 8x8 CU 는 또한 4 개의 2x8/8x2 PU들로 분할될 수 있고, 모든 4x4 PU 는 4 개의 1x4/4x1 파티션들로 더 분할될 수 있다.
보다 일반적으로 말하면, 사이즈 2Nx2N 의 인트라 CU 에 대해, HEVC 에서 이전에 사용된 2 개의 PU 사이즈들이 있다: 2Nx2N 및 NxN (현재 NxN 은 최소 CU 레벨에서만 허용된다). 예를 들어, 2Nx2N 및 NxN 파티션들이 도 5 에 도시되어 있다. 2Nx2N 파티션 (19) 으로, 전체 CU 는 단 하나의 PU (사이즈 2Nx2N) 만을 갖는다. SDIP 의 도입으로, 2 개의 새로운 예측 유닛들이 추가된다: 2NxhN 및 hNx2N. 2NxhN 파티션에 대해, CU 는 4 개의 2NxhN PU들을 갖고, CU 는 4 개의 hNx2N PU들을 갖는다. 각각의 PU 는 자신의 인트라 예측 모드 (즉, 도 2 에 도시된 바와 같은 35 개 모드들 중 하나) 를 갖는다. 도 4b 의 블록 (17) 은 예시적인 2NxhN PU 파티션들을 나타낸다. 도 4b 의 블록 (15) 은 예시적인 hNx2N PU 파티션들을 나타낸다.
예를 들어 SDIP 를 갖는 비정방형 PU들을 사용할 때, 각각의 PU 는 복수의 인트라 예측 모드들/방향들 (예컨대, 도 2 의 35 개의 모드들) 중 하나를 이용할 수도 있다. 이러한 배열에는 여러 단점들이 있다. 첫째, 선택된 모드를 각각의 PU 에 대한 디코더로 시그널링하기 위해, 선택된 모드에 대한 인덱스는 인코딩된 비디오 비트스트림에서 시그널링된다. 모드가 선택될 불확실성이 높으므로 (즉, 35 개의 모드들이 있을 수도 있으므로), 비교적 큰 수의 비트들이 인덱스를 인코딩하는 데 이용되며, 이는 압축된 비디오에 대한 비트 레이트를 증가시킨다. 둘째, 인코더는, 사용하기에 최상의 것을 결정하기 위해 모든 모드를 검사해야 할 수도 있고, 또는 요건, 예컨대 레이트 왜곡 임계치를 충족하는 모드를 적어도 식별하도록 해야 할 수도 있다. 각각의 PU 에 대해 허용된 모든 인트라 예측 모드들/방향들로, 이러한 검사 프로세스는 인코더에서 계산 부담을 증가시킨다.
본 개시물은 인코딩된 비디오 비트 레이트를 감소시키기 위한 그리고 정방형 및 비정방형 SDIP 파티션들에 대한 가능한 인트라 예측 모드들의 수를 감소시키는 것에 의해 인코더 복잡도를 감소시키기 위한 기법들을 제안한다. 가능한 인트라 예측 모드들의 개수 면에서의 이러한 감소는, 수직으로 파티셔닝된 CU들 (예컨대, hNx2N PU) 에 대해, 수직의 또는 거의 수직의 인트라 예측 모드들 (예컨대, 모드들 1, 22, 23 ...) 이 최상의 모드로서 선택될 가능성이 더 많다는 견해들에 기초한다. 마찬가지로, 수평으로 파티셔닝된 CU들 (예컨대, 2NxhN PU) 에 대해, 수평의 또는 거의 수평의 인트라 예측 모드들 (예컨대, 모드들 2, 30, 31 ...) 이 최상의 모드로서 선택될 가능성이 더 많다.
본 개시물에서, SDIP 파티션 의존적 인트라 예측 모드 세트들이 제안된다. SDIP PU 파티션들 (예컨대, 2NxhN 및 hHx2N 파티션들) 의 인트라 예측 모드 세트들은 정방형 PU 파티션들 (예컨대, 2Nx2N 및 NxN 파티션들) 에 사용되는 인트라 예측 모드 세트들과는 상이할 수도 있다. 예를 들어, SDIP PU 파티션의 인트라 예측 모드 세트는 정방형 PU 파티션들에 이용가능한 모드들의 총 개수 (예컨대, 도 2 의 35 개 모드들) 의 서브세트일 수도 있다. 다시 말해, SDIP PU 파티션의 인트라 예측 모드 세트는 정방형 PU 파티션들에 사용되는 인트라 예측 모드 세트보다 더 적은 모드들을 포함할 수도 있다. 또한, 인트라 예측 모드 세트들은 SDIP 파티션 방향에 의존할 수도 있다. 예를 들어, 수직으로 파티셔닝된 hNx2N 파티션들 및 수평으로 파티셔닝된 2NxhN 파티션들은 상이한 인트라 예측 모드 세트들을 가질 수도 있다.
특정 SDIP 파티션들에 대한 주어진 세트에서 인트라 예측 모드들의 양을 감소시킴으로써, 선택된 인트라 예측 모드를 인코딩하는 데 사용되는 코드워드는 더 짧을 수 있고, 그에 따라 비트들이 절약될 수 있고, 비트 레이트가 감소할 수 있다. 추가로, 보다 적은 인트라 예측 모드들이 SDIP 파티션들에 대해 검사되므로, 인코딩 프로세스에서의 계산 부담이 감소하고 인코딩이 가속화될 수도 있다. 인트라 예측 모드 세트가 SDIP 파티션 방향에 의존하는 함으로써, 35 개의 인트라 예측 모드들의 전체 보수 (full complement) 에 의해 제공되는 인코딩 이득의 대부분은 선택된 인트라 예측 모드 후보들 (즉, 감소된 인트라 예측 모드 세트) 과 함께 유지될 수 있음이 예상된다.
본 개시물의 일 예에서, hNx2N PU 파티션에 대해, 인트라 예측 모드 세트는 그러한 수직의 또는 거의 수직의 인트라 예측 모드들을 포함할 수 있고, 인트라 예측 모드들 0, 21, 22, 11 및 12 를 포함하지만 다른 인트라 예측 모드들 (예컨대, 수평의 또는 거의 수평의 모드들, DC 모드들, 평면 모드들, 및 다른 각도 모드들) 을 배제한다. 2NxhN PU 에 대해, 인트라 예측 모드 세트는 그러한 수평의 또는 거의 수평의 인트라 예측 모드들을 포함할 수 있고, 모드들 1, 29, 30, 15 및 16 을 포함하지만 다른 인트라 예측 모드들 (예컨대, 수직의 또는 거의 수직의 모드들, DC 모드들, 평면 모드들, 및 다른 각도 모드들) 을 배제한다.
본 개시물의 다른 예에서, hNx2N PU 파티션에 대해, 인트라 예측 모드 세트는 그러한 수직의 또는 거의 수직의 인트라 예측 모드들 뿐 아니라 강한 방향성을 갖는 것 (예컨대, DC 모드 및/또는 평면 모드) 이 아니라 다른 인트라 예측 모드들을 배제하는 다른 모드들 (예컨대, 수평의 또는 거의 수평의 모드들 및 다른 각도 모드들) 을 포함할 수 있다. 강한 방향성을 갖는 모드들은 수직인 또는 거의 수직인 모드들 및 수평인 또는 거의 수평인 모드들이다. 2NxhN PU 파티션에 대해, 인트라 예측 모드 세트는 그러한 수평의 또는 거의 수평의 인트라 예측 모드들 뿐 아니라 강한 방향성을 갖는 것 (예컨대, DC 모드 및/또는 평면 모드) 이 아니라 다른 인트라 예측 모드들을 배제하는 다른 모드들 (예컨대, 수직의 또는 거의 수직의 모드들 및 다른 각도 모드들) 을 포함할 수 있다.
본 개시물의 다른 예에서, hNx2N PU 파티션에 대해, 인트라 예측 모드 세트는 그러한 수직의 또는 거의 수직의 인트라 모드들, 강한 방향성을 갖지 않는 다른 모드들 (예컨대, DC 모드 및/또는 평면 모드) 및 몇몇 수평의 또는 거의 수평의 모드들 (예컨대, 모드 2) 을 포함할 수 있다. 이 인트라 모드 세트에서의 모드들의 총 개수는 정방형 파티션들에 대한 모드들의 총 개수 (예컨대, 모두 35 개의 모드들) 보다 작을 수 있다. 2NxhN PU 파티션에 대해, 인트라 예측 모드 세트는 그러한 수평의 또는 거의 수평의 인트라 모드들, 강한 방향성을 갖지 않는 다른 모드들 (예컨대, DC 모드 및/또는 평면 모드), 및 몇몇 수직의 또는 거의 수직인 모드들 (예컨대, 모드 1) 을 포함할 수 있다. 이 인트라 모드 세트에서의 모드들의 총 개수는 정방형 파티션들에 대한 모드들의 총 개수보다 작을 수 있다 (예컨대, 모두 35 개의 모드들을 포함하는 세트보다 작을 수 있다).
본 개시물은 또한 특정 PU 파티션에 대한 이용가능한 인트라 예측 모드 세트를 CU 사이즈에 의존하게 하는 기법들을 제안한다. 예를 들어, hNx2N SDIP PU 파티션을 갖는 32x32 CU 는 hNx2N SDIP PU 파티션을 갖는 6x16 CU 와는 상이한 인트라 모드 세트를 가질 수도 있다. 이 예에서, 32x32 CU (hNx2N SDIP PU 파티션을 가짐) 에 대해, 인트라 모드 세트들은 모드 0, 21, 22 를 포함하고; 16x16 CU (hNx2N SDIP PU 파티션을 가짐) 에 대해, 인트라 모드 세트들은 모드 0, 21, 22, 11, 12, 20 및 23 을 포함한다. 또한, 인트라 예측 모드 세트는 픽처 타입과 같은 다른 부수 정보에 의존할 수도 있다. 예를 들어, 인트라 슬라이스/픽처에 대해, hNx2N SDIP PU 파티션을 갖는 CU 의 인트라 예측 모드 세트는 모드 0, 21, 22, 11, 12, 20 및 23 을 포함한다. P 또는 B 슬라이스들에 대해, hNx2N SDIP PU 파티션을 갖는 CU 의 인트라 예측 모드 세트는 모두 35 개의 모드들을 포함한다.
몇몇 예들에서, SDIP 파티션들에 대한 인트라 예측 모드 세트들은 고정된 세트들일 수도 있고, 비디오 인코더 (20) 및 비디오 디코더 (30) 양측 모두에서 저장될 수도 있다. 다른 예들에서, 인트라 예측 모드 세트들은 몇몇 고레벨 신택스를 사용하여, 인코딩된 비트스트림에서 시그널링될 수도 있다. 예를 들어, 이러한 신택스는 SPS (sequence parameter set) 및/또는 PPS (picture parameterset) 에서 시그널링될 수도 있다.
본 개시물의 다른 예에서, SDIP 인트라 예측 모드 세트들에서의 모드들은 엔트로피 코딩이 보다 쉽고 보다 효율적일 수 있도록 (예컨대, 0 으로부터 연속으로 시작하여) 리넘버링될 수도 있다. 예를 들어, hNx2N 파티션에 대한 인트라 예측 모드 세트가 3 개의 모드들: 0, 21 및 22 (도 2 에 도시됨) 를 포함하는 것을 가정한다. 모드들 0, 21 및 22 는 엔트로피 코딩을 위해 0, 1 및 2 (예컨대, 0->0, 21->1, 22->2) 로 리넘버링된다. 비디오 디코더 (30) 에서, 리넘버링된 인트라 예측 모드들은 정확한 방향을 갖는 인트라 예측이 수행될 수 있도록 오리지널 모드 번호들 (이 예에서는, 0, 21 및 22) 과 리맵핑될 수 있다.
가장 가능성이 있는 모드들 (Most probable modes: MPM) 이 인트라 예측 모드들을 시그널링하는 데 사용된다. HM 소프트웨어의 일 버전에서는, 2 개의 MPM들이 존재한다. 하나의 MPM 은 최상단 PU 의 모드 (즉, 현재 PU 의 바로 위에 있는 PU) 이고, 다른 MPM 은 좌측 PU 의 모드 (즉, 현재 PU 의 바로 좌측에 있는 PU) 이다. 플래그는 현재 PU 의 모드가 MPM PU들 중 하나에 대한 모드와 동일하면, 인코딩된 비디오 비트스트림에서 시그널링된다. 사실이라면, 현재 PU 의 모드가 매칭하는 MPM 을 나타내는 다른 플래그가, 인코딩된 비디오 비트스트림에서 시그널링될 것이다. MPM 시그널링 기법들을 이용하는 것은 PU 에 대한 선택된 인트라 예측 모드를 시그널링하는 데 필요한 비트들의 양을 감소시킨다.
본 개시물에서 제안되는 바와 같이, 2 개의 SDIP PU들 (즉, hNx2N 및 2NxhN) 및 정방형 PU들은 상이한 인트라 예측 모드 세트들을 가질 수 있다. 이것은 MPM 기반 인트라 예측 모드에서 몇몇 문제들 및/또는 비효율성들을 야기할 수도 있다. 예를 들어, 좌측 PU 및 최상단 PU 가 현재 PU 의 것과는 상이한 인트라 예측 모드 세트들을 갖는다면, 좌측 및 최상단 PU 로부터 유도된 MPM들이 현재 PU 에 이용가능한 임의의 인트라 예측 모드와는 상이하고 그에 따라 MPM 코딩이 유용하지 않게 된다는 것이 가능하다.
이러한 단점의 관점에서, 본 개시물은 PU(A) 및 PU(B) 에 대한 인트라 예측 모드 세트들이 상이한 경우에 PU(A) 의 모드가 다른 PU(B) 에 대한 MPM 으로서 사용되는 때에 모드 맵핑/양자화를 수행하는 것을 제안한다.추가로 PU(A) 의 인트라 예측 모드 세트로서 S(A) 를 정의하고, PU(A) 에 사용되는 모드로서 m(A) 를 정의한다. 마찬가지로, PU(B) 의 인트라 예측 모드 세트로서 S(B) 를 정의하고, PU(B) 에 사용되는 모드로서 m(B) 를 정의한다. 맵핑은 m(A) 를 S(B) 에서의 모드 Y 에 매핑하도록 수행될 수도 있고, Y 는 m(B) 를 인코딩하기 위한 MPM 으로서 사용된다. 비디오 인코더 (20) 는 이 순방향 맵핑을 수행할 수도 있다. 추가로, 비디오 디코더 (30) 는 또한 오리지널 인트라 예측 모드를 획득하도록 순방향 맵핑을 수행할 수도 있다.
일 예에서, Y 는 m(A) 로서 가장 유사한 방향을 갖는 S(B)에서의 모드로서 정의된다. 다른 예에서, S(B) 에서의 모드들에 대한 S(A) 에서의 모드들로의 맵핑은 고정되며, 인코더 및 디코더 양측 모두에서 이용가능하다. 다른 예에서, S(B) 에서의 모드들에 대한 S(A) 에서의 모드들로의 맵핑은 몇몇 고레벨 신택스를 사용하여 (예컨대, SPS 에서 또는 PPS 에서) 인코더 정의되고 송신된다. 즉, 맵핑은 맵핑 알고리즘에 따라 인코더에서 수행되며, 맵핑을 수행하는 데 사용되는 알고리즘 (또는 알고리즘에 대한 인덱스) 은 인코딩된 비디오 비트스트림에서 시그널링된다. 다른 예에서, S(A) 에서의 모드들에 대한 S(B) 에서의 모드들로의 맵핑은 부수 정보 (예컨대, CU/PU 사이즈, 픽처 타입 등) 에 의존적이다.
도 7 은 본 개시물에서 설명되는 바와 같은 시그널링과 TU 및 PU 선택에 대한 기법들을 이용할 수도 있는 비디오 인코더 (20) 의 일 예를 나타낸 블록도이다. 비디오 인코더 (20) 는 변환 계수들의 코딩을 요구할 수도 있는 다른 코딩 표준들 또는 방법들에 대해 본 개시물의 제한 없이 예시를 목적으로 HEVC 코딩의 맥락에서 설명될 것이다. 비디오 인코더 (20) 는 비디오 프레임들 내에서 CU들의 인트라 및 인터 코딩을 수행할 수도 있다. 인트라 코딩은 주어진 비디오 프레임 내의 비디오 데이터에서의 공간적 리던던시를 감소시키거나 또는 제거하기 위해 공간적 예측에 의존한다. 인터 코딩은 비디오 시퀀스의 현재 프레임과 이전에 코딩된 프레임들 사이의 시간적 리던던시를 감소시키거나 또는 제거하기 위해 시간적 예측에 의존한다. 인트라 모드 (I 모드) 는 여러 공간 기반 비디오 압축 모드들 중 임의의 것을 지칭할 수도 있다. 단방향 예측 (P 모드) 또는 양방향 예측 (B 모드) 와 같은 인터 모드들은 여러 시간 기반 비디오 압축 모드들 중 임의의 것을 지칭할 수도 있다.
도 7 에 도시된 바와 같이, 비디오 인코더 (20) 는 인코딩될 비디오 프레임 내에서 현재 비디오 블록을 수신한다. 도 7 의 예에서, 비디오 인코더 (20) 는 모션 보상 유닛 (44), 모션 추정 유닛 (42), 인트라 예측 모듈 (46), 참조 프레임 버퍼 (64), 합산기 (50), 변환 모듈 (52), 양자화 유닛 (54), 및 엔트로피 인코딩 유닛 (56) 을 포함한다. 비디오 블록 재구성을 위해, 비디오 인코더(20)는 역양자화 유닛(58), 역변환 모듈(60), 및 합산기(62)를 또한 포함한다. 재구성된 비디오에서 블록화 아티팩트들 (blockiness artifacts) 을 제거하도록 블록 경계들을 필터링하기 위해 디블록화 필터 (deblocking filter)(도 7 에서 미도시) 가 또한 포함될 수도 있다. 원한다면, 디블록화 필터는 통상적으로 합산기 (62) 의 출력을 필터링할 것이다.
모드 선택 유닛 (40) 은, 예컨대 각각의 모드에 대한 레이트 왜곡 분석에 기초하여, 코딩 모드들 중 하나, 인트라 또는 인터를 선택할 수도 있고, 결과적으로 생성된 인트라 또는 인터 예측된 블록 (예컨대, 예측 유닛 (PU)) 을 합산기 (50) 에 제공하여, 잔차 블록 데이터를 생성하고 합산기 (62) 에 제공하여 참조 프레임에서의 사용을 위한 인코딩된 블록을 재구성한다. 합산기 (62) 는, 하기에서 더 상세히 설명되는 바와 같이, 인코딩된 블록을 재구성하도록, 예측된 블록을 그 블록에 대한 역변환 모듈 (60) 로부터의 역양자화되고 역변환된 데이터와 조합한다. 몇몇 비디오 프레임들은 I 프레임들로서 지정될 수도 있고, 여기서 I 프레임의 모든 블록들은 인트라 예측 모드에서 인코딩된다. 몇몇 경우들에 있어서, 인트라 예측 모듈 (46) 은, 예컨대 모션 추정 유닛 (42) 에 의해 수행되는 모션 검색이 블록의 충분한 예측을 초래하지 않을 때, P 또는 B 프레임에서의 블록의 인트라 예측 인코딩을 수행할 수도 있다.
인코딩 프로세스 동안, 비디오 인코더 (20) 는 코딩될 비디오 프레임 또는 슬라이스를 수신한다. 프레임 또는 슬라이스는 다수의 비디오 블록들, 예컨대 최대 코딩 유닛들 (LCU들) 로 분할될 수도 있다. 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 시간적 압축을 제공하기 위해 하나 이상의 참조 프레임들에서 하나 이상의 블록들에 대하여 수신된 비디오 블록의 인터 예측 코딩을 수행한다. 인트라 예측 모듈 (46) 은 공간적 압축을 제공하기 위해 코딩될 블록과 동일한 프레임 또는 슬라이스에서의 하나 이상의 이웃하는 블록들에 대하여 수신된 비디오 블록의 인트라 예측 코딩을 수행할 수도 있다.
모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 고도로 집적될 수도 있지만, 개념적 목적들을 위해 별개로 예시되어 있다. 모션 추정 (또는 모션 검색) 은 모션 벡터들을 생성하는 프로세스이며, 모션 벡터들은 비디오 블록들에 대한 모션을 추정한다. 모션 벡터는, 예를 들어 참조 프레임의 참조 샘플에 대한 현재 프레임 내의 예측 유닛의 변위를 나타낼 수도 있다. 모션 추정 유닛 (42) 은 예측 유닛을 참조 프레임 버퍼 (64) 에 저장된 참조 프레임의 참조 샘플들과 비교함으로써 인터 코딩된 프레임의 예측 유닛에 대한 모션 벡터를 계산한다. 참조 샘플은 픽셀 차이와 관련하여 코딩되고 있는 PU 를 포함하는 CU 의 부분에 밀접하게 매칭하는 것으로 발견된 블록일 수도 있는데, 이는 절대 차의 합 (SAD), 제곱 차의 합 (SSD), 또는 다른 차이 메트릭들에 의해 결정될 수도 있다. 참조 샘플은 참조 프레임 또는 참조 슬라이스 내의 어느 곳에서나 발생할 수도 있으며, 반드시 참조 프레임 또는 슬라이스의 블록 (예컨대, 코딩 유닛) 경계에서 있는 것은 아니다. 몇몇 실시예들에서, 참조 샘플은 부분 픽셀 포지션에서 발생할 수도 있다.
모션 추정 유닛 (42) 은 계산된 모션 벡터를 엔트로피 인코딩 유닛 (56) 및 모션 보상 유닛 (44) 으로 전송한다. 모션 벡터에 의해 식별된 참조 프레임의 부분은 참조 샘플로 지칭될 수도 있다. 모션 보상 유닛 (44) 은, 예컨대 PU 에 대한 모션 벡터에 의해 식별된 참조 샘플을 취출함으로써, 현재 CU 의 예측 유닛에 대한 예측 값을 계산할 수도 있다.
인트라 예측 모듈 (46) 은 수신된 블록에 대해 인트라 예측을, 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 수행된 인터 예측에 대한 대안으로서 수행할 수도 있다. 인트라 예측 모듈 (46) 은, 블록들에 대해 좌-우, 상-하 인코딩 순서를 가정하면, 이웃하는 이전에 코딩된 블록들, 예컨대 현재 블록의 위, 위쪽 우측, 위쪽 좌측, 또는 좌측의 블록들에 대해 수신된 블록을 예측할 수도 있다. 인트라 예측 모듈 (46) 은 여러 가지 상이한 인트라 예측 모드들 중 하나에 따라 인트라 예측을 수행하도록 구성될 수도 있다. 예를 들어, 인트라 예측 모듈 (46) 은 인코딩되고 있는 CU 의 사이즈에 기초하여 특정 수의 방향 예측 모드들, 예컨대 35 개의 방향 예측 모드들로 구성될 수도 있다.
인트라 예측 모듈 (46) 은, 예를 들어 다양한 인트라 예측 모드들에 대한 예측 에러 값들을 계산함으로써 그리고 최저 에러 값을 산출하는 모드를 선택함으로써, 인트라 예측 모드를 선택할 수도 있다. 방향 예측 모드들은 공간적으로 이웃하는 픽셀들의 값들을 조합하고, 그리고 조합된 값들을 PU 에서의 하나 이상의 픽셀 위치들에 적용하는 기능들을 포함할 수도 있다. 일단 PU 에서의 모든 픽셀 위치들에 대한 값들이 계산되었으면, PU 에 대한 예측 블록이 획득되고, 인트라 예측 모듈 (46) 은 예측 블록과 인코딩될 수신된 블록 사이의 픽셀 차이들에 기초하여 예측 모드에 대한 에러 값을 계산할 수도 있다. 인트라 예측 모듈 (46) 은 수용가능한 에러 값을 산출하는 인트라 예측 모드가 발견될 때까지 인트라 예측 모드들을 계속해서 테스트할 수도 있다. 인트라 예측 모듈 (46) 은 그 후 예측 블록을 합산기 (50) 에 전송할 수도 있다.
비디오 인코더 (20) 는 코딩되고 있는 오리지널 비디오 블록으로부터 모션 보상 유닛 (44) 또는 인트라 예측 모듈 (46) 에 의해 계산된 예측 데이터를 감산함으로써 잔차 블록을 형성한다. 합산기 (50) 는 이 감산 동작을 수행하는 콤포넌트 또는 콤포넌트들을 나타낸다. 잔차 블록은 픽셀 차이 값들의 2 차원 매트릭스에 대응할 수도 있으며, 잔차 블록에서의 값들의 개수는 잔차 블록에 대응하는 예측 블록에서의 픽셀들의 개수와 동일하다. 잔차 블록에서의 값들은 예측 블록에서와 코딩될 오리지널 블록에서의 공동위치된 픽셀들의 값들 사이의 차이들, 즉 에러에 대응할 수도 있다. 차이들은 코딩되는 블록의 타입에 따라 크로마 또는 루마 차이들일 수도 있다.
변환 모듈 (52) 은 잔차 블록으로부터 하나 이상의 TU들을 형성할 수도 있다. 변환 모듈 (52) 은 복수의 변환들 중에서 변환을 선택한다. 변환은 블록 사이즈, 코딩 모드 등과 같은 하나 이상의 특성들에 기초하여 선택될 수도 있다. 그 후, 변환 모듈 (52) 은 TU 에 선택된 변환을 적용하여, 변환 계수들의 2 차원 어레이를 포함하는 비디오 블록을 생성한다. 변환 모듈 (52) 은 본 개시물의 전술된 기법들에 따라 변환 파티션을 선택할 수도 있다. 추가로, 변환 모듈 (52) 은 선택된 변환 파티션을 인코딩된 비디오 비트스트림에서 시그널링할 수도 있다.
변환 모듈 (52) 은 결과적으로 생성된 변환 계수들을 양자화 유닛 (54) 으로 전송할 수도 있다. 그 후, 양자화 유닛 (54) 은 변환 계수들을 양자화할 수도 있다. 그 후, 엔트로피 인코딩 유닛 (56) 은 스캐닝 모드에 따라 매트릭스에서의 양자화된 변환 계수들의 스캔을 수행할 수도 있다. 본 개시물은 스캔을 수행할 때의 엔트로피 인코딩 유닛 (56) 을 설명한다. 그러나, 다른 실시예들에서, 양자화 유닛 (54) 과 같은 다른 프로세싱 유닛들이 스캔을 수행할 수 있음을 이해해야 한다.
일단 변환 계수들이 1 차원 어레이로 스캐닝되면, 엔트로피 인코딩 유닛 (56) 은 CAVLC, CABAC, 신택스 기반 콘텍스트 적응적 이진 산술 코딩 (SBAC), 또는 다른 엔트로피 코딩 방법론과 같은 엔트로피 코딩을 계수들에 적용할 수도 있다.
CAVLC 를 수행하기 위해, 엔트로피 인코딩 유닛 (56) 은 송신될 심볼에 대한 가변 길이 코드를 선택할 수도 있다. VLC 에서의 코드워드들은, 상대적으로 더 짧은 코드들이 고확률 (more lilkely) 심볼들에 대응하고, 상대적으로 더 긴 코드들이 저확률 (less likely) 심볼들에 대응하도록 구성될 수도 있다. 이 방식으로, VLC 의 사용은, 예를 들면, 송신될 각각의 심볼에 대해 동일한 길이의 코드워드들을 사용하는 것을 통해 비트 절감을 달성할 수도 있다.
CABAC 를 수행하기 위해, 엔트로피 인코딩 유닛 (56) 은 송신될 심볼들을 인코딩하기 위해 특정 콘텍스트에 적용할 콘텍스트 모델을 선택할 수도 있다. 콘텍스트는, 예를 들어 이웃하는 값들이 비제로 (non-zero) 인지의 여부에 관련될 수도 있다. 엔트로피 인코딩 유닛 (56) 은 또한 선택된 변환을 나타내는 신호와 같은 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다. 본 개시물의 기법들에 따르면, 엔트로피 인코딩 유닛 (56) 은 콘텍스트 모델 선택에 이용되는 다른 인자들 중에서, 예를 들어 인트라 예측 모드들, 신택스 엘리먼트들에 대응하는 계수의 스캔 위치, 블록 타입, 및/또는 변환 타입에 기초하여 이들 신택스 엘리먼트들을 인코딩하는 데 사용되는 콘텍스트 모델을 선택할 수도 있다.
엔트로피 인코딩 유닛 (56) 에 의한 엔트로피 코딩에 이어, 결과로서 생성된 인코딩된 비디오는 비디오 디코더 (30) 와 같은 다른 디바이스에 송신될 수도 있고, 또는 추후 송신 또는 취출을 위해 아카이브될 수도 있다.
몇몇 경우들에 있어서, 비디오 인코더 (20) 의 엔트로피 인코딩 유닛 (56) 또는 다른 유닛은 엔트로피 코딩 외에도 다른 코딩 기능들을 수행하도록 구성될 수도 있다. 예를 들어, 엔트로피 인코딩 유닛 (56) 은 CU들 및 PU들에 대한 코딩된 블록 패턴 (CBP) 값들을 결정하도록 구성될 수도 있다. 또한, 몇몇 경우들에 있어서, 엔트로피 인코딩 유닛 (56) 은 계수들의 런 길이 코딩을 수행할 수도 있다.
역양자화 유닛 (58) 및 역변환 모듈 (60) 은, 예컨대 참조 블록으로서의 추후 사용을 위해, 픽셀 도메인에서 잔차 블록을 재구성하도록 역양자화 및 역변환을 각각 적용한다. 모션 보상 유닛 (44) 은 참조 프레임 버퍼 (64) 의 프레임들 중 하나의 프레임의 형성된 예측 블록에 잔차 블록을 추가함으로써 참조 블록을 계산할 수도 있다. 모션 보상 유닛 (44) 은 모션 추정에서 사용하기 위한 서브-정수 픽셀 값들을 계산하기 위해, 재구성된 잔차 블록에 하나 이상의 보간 필터들을 또한 적용할 수도 있다. 합산기 (62) 는 재구성된 잔차 블록을 모션 보상 유닛 (44) 에 의해 생성된 모션 보상된 예측 블록에 가산하여, 참조 프레임 버퍼 (64) 에 저장하기 위한 재구성된 비디오 블록을 생성한다. 참조 프레임 버퍼 (64) 는 디코딩된 픽처 버퍼 (DPB) 로 때때로 지칭된다. 재구성된 비디오 블록은 후속하는 비디오 프레임에서의 블록을 인터 코딩하기 위한 참조 블록으로서 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 사용될 수도 있다.
도 8 은 인코딩된 비디오 시퀀스를 디코딩하는 비디오 디코더 (30) 의 일 예를 예시한 블록도이다. 도 8 의 예에서, 비디오 디코더 (30) 는 엔트로피 디코딩 유닛 (70), 모션 보상 유닛 (72), 인트라 예측 모듈 (74), 역양자화 유닛 (76), 역변환 유닛 (78), 참조 프레임 버퍼 (82) 및 합산기 (80) 를 포함한다. 비디오 디코더 (30) 는, 몇몇 실시형태들에서, 비디오 인코더 (20) 에 대해 설명된 인코딩 패스에 일반적으로 상호적인 디코딩 패스를 수행할 수도 있다.
엔트로피 디코딩 유닛 (70) 은 변환 계수들의 1 차원 어레이를 취출하기 위해, 인코딩된 비트스트림에 대해 엔트로피 디코딩 프로세스를 수행한다. 이용된 엔트로피 디코딩 프로세스는 비디오 인코더 (20)(예컨대, CABAC, CAVLC 등) 에 의해 사용된 엔트로피 코딩에 의존한다. 인코더에 의해 이용되는 엔트로피 코딩 프로세스는 인코딩된 비트스트림에서 시그널링될 수도 있고, 또는 미리 정해진 프로세스일 수도 있다.
몇몇 예들에서, 엔트로피 디코딩 유닛 (70)(또는 역양자화 유닛 (76)) 은 비디오 인코더 (20) 의 엔트로피 인코딩 유닛 (56)(또는 양자화 유닛 (54)) 에 의해 이용된 스캐닝 모드를 미러링하는 스캔을 이용하여, 수신된 값들을 스캔할 수도 있다. 계수들의 스캐닝이 역양자화 유닛 (76) 에서 수행될 수도 있지만, 스캐닝은 예시를 목적으로 엔트로피 디코딩 유닛 (70) 에 의해 수행되는 것으로 설명될 것이다. 추가로, 설명의 용이성을 위해 개별 기능 유닛들로 도시되어 있지만, 비디오 디코더 (30) 의 엔트로피 디코딩 유닛 (70), 역양자화 유닛 (76), 및 다른 유닛들의 구조 및 기능성은 서로 고도로 통합될 수도 있다.
역양자화 유닛 (76) 은 비트스트림에서 제공되고 엔트로피 디코딩 유닛 (70) 에 의해 디코딩된 양자화된 변환 계수들을 역양자화, 즉, 탈양자화한다 (dequantize). 역양자화 프로세스는, 예컨대 HEVC 에 대해 제안되거나 또는 H.264 디코딩 표준에 의해 정의된 프로세스들과 유사한 종래의 프로세스를 포함할 수도 있다. 역양자화 프로세스는 양자화의 정도, 및, 마찬가지로, 적용되어야 하는 역양자화의 정도를 결정하기 위해, CU 에 대해 비디오 인코더 (20) 에 의해 계산된 양자화 파라미터 (QP) 의 사용을 포함할 수도 있다. 역양자화 유닛 (76) 은 계수들이 1 차원 어레이로부터 2 차원 어레이로 변환되기 전 또는 변환된 후 변환 계수들을 역양자화할 수도 있다.
역변환 모듈 (78) 은 역양자화된 변환 계수들에 역변환을 적용한다. 몇몇 예들에서, 역변환 모듈 (78) 은 비디오 인코더 (20) 로부터의 시그널링에 기초하여, 또는 블록 사이즈, 코딩 모드 등과 같은 하나 이상의 코딩 특성들로부터 변환을 추론함으로써, 역변환을 결정할 수도 있다. 몇몇 실시예들에서, 역변환 모듈 (78) 은 현재 블록을 포함하는 LCU 에 대한 쿼드트리의 루트 노드에서의 시그널링된 변환에 기초하여 현재 블록에 적용할 변환을 결정할 수도 있다. 대안으로, 변환은 LCU 쿼드트리에서 리프 노드 CU 에 대한 TU 쿼드트리의 루트에서 시그널링될 수도 있다. 몇몇 실시예들에서, 역변환 모듈 (78) 은 역변환 모듈 (78) 이 디코딩되고 있는 현재 블록의 변환 계수들에 2 개 이상의 역변환들을 적용하는, 캐스케이드된 역변환을 적용할 수도 있다.
또한, 역변환 모듈 (78) 은 본 개시물의 전술된 기법들에 따라 변환 유닛 파티션을 생성하도록 역변환을 적용할 수도 있다. 즉, 역변환 모듈 (74) 은 본 개시물의 교시에 따라 시그널링되는 것처럼 정방형 및 비정방형 TU 파티션들에 변환을 적용할 수도 있다.
인트라 예측 유닛 (74) 은 시그널링된 인트라 예측 모드 및 현재 프레임의 이전에 디코딩된 블록으로부터의 데이터에 기초하여 현재 프레임의 현재 블록에 대한 예측 데이터를 생성할 수도 있다.
취출된 모션 예측 방향, 참조 프레임 인덱스, 및 계산된 현재 모션 벡터에 기초하여, 모션 보상 유닛은 현재 부분에 대한 모션 보상된 블록을 생성한다. 이들 모션 보상된 블록들은 본질적으로 잔차 데이터를 생성하는 데 사용되는 예측 블록을 재생성한다.
모션 보상 유닛 (72) 은 모션 보상된 블록들을 생성하여, 가능하게는 보간 필터들에 기초하여 보간을 수행할 수도 있다. 서브 픽셀 정밀도를 갖는 모션 추정에 사용될 보간 필터들에 대한 식별자들은 신택스 엘리먼트들에 포함될 수도 있다. 모션 보상 유닛 (72) 은 비디오 블록의 인코딩 동안 비디오 인코더 (20) 에 의해 사용되는 것과 같이 보간 필터들을 사용하여 참조 블록의 서브-정수 픽셀들에 대한 보간된 값들을 계산할 수도 있다. 모션 보상 모듈 (72) 은 수신된 신택스 정보에 따라 비디오 인코더 (20) 에 의해 사용되는 보간 필터들을 결정하고, 예측 블록들을 생성하기 위해 그 보간 필터들을 사용할 수도 있다.
추가로, HEVC 예에서, 모션 보상 유닛 (72) 및 인트라 예측 유닛 (74) 은 인코딩된 비디오 시퀀스의 프레임(들)을 인코딩하는 데 사용되는 LCU들의 사이즈들을 결정하기 위해 (예컨대, 쿼드트리에 의해 제공된) 신택스 정보 중 일부를 사용할 수도 있다. 모션 보상 유닛 (72) 및 인트라 예측 유닛 (74) 은 또한 인코딩된 비디오 시퀀스의 프레임의 각각의 CU 가 얼마나 분할되는지 (그리고 마찬가지로 서브 CU들이 얼마나 스플릿되는지) 를 설명하는 스플릿 정보를 결정하는 데 신택스 정보를 이용할 수도 있다. 특히, 인트라 예측 모듈 (74) 은 본 개시물에서 전술된 바와 같이 비정방형 SDIP PU 파티션들에 대해 인트라 예측을 수행하는 데 감소된 수의 인트라 예측 모드들을 사용할 수도 있다. 신택스 정보는 또한 각각의 스플릿이 어떻게 인코딩되는지를 나타내는 모드들 (예컨대, 인트라 또는 인터 예측, 그리고 인트라 예측에 대해서는, 인트라 예측 인코딩 모드), 각각의 인터 인코딩된 PU 에 대해 하나 이상의 참조 프레임들 (및/또는 참조 프레임들에 대한 식별자들을 포함하는 참조 리스트들), 및 인코딩된 비디오 시퀀스를 디코딩하기 위한 다른 정보를 포함할 수도 있다.
합산기 (80) 는 디코딩된 블록들을 형성하기 위해 모션 보상 유닛 (72) 또는 인트라 예측 모듈 (74) 에 의해 생성된 대응하는 예측 블록들과 잔차 블록들을 조합한다. 원하는 경우, 블록화 아티팩트들을 제거하도록 디코딩된 블록들을 필터링하기 위해 디블록화 필터가 또한 적용될 수도 있다. 디코딩된 비디오 블록들은, 그 후, 참조 프레임 버퍼 (82) 에 저장되며, 이러한 버퍼는 후속하는 모션 보상을 위한 참조 블록들을 제공하고, 또한 (도 1 의 디스플레이 디바이스 (32) 와 같은) 디스플레이 디바이스 상에서의 프레젠테이션을 위한 디코딩된 비디오를 생성한다.
도 9 는 본 개시물의 예들에 따른 예시적인 비디오 인코딩 방법을 묘사한 플로우차트이다. 도 9 의 방법은 비디오 인코더 (20) 의 하나 이상의 구조들에 의해 수행될 수도 있다.
먼저, 선택적인 단계들로서, 비디오 인코더 (20) 는 비디오 데이터의 블록에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 (PU) 파티션을 결정하고 (920) 그리고 결정된 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하도록 (922) 구성될 수도 있다.
일 예에서, 결정된 예측 유닛 파티션은 수직 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수직 배향 인트라 예측 모드들을 포함한다. 다른 예에서, 결정된 예측 유닛 파티션은 수평 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수평 배향 인트라 예측 모드들을 포함한다.
비디오 인코더 (20) 는, 비디오 데이터의 블록에 대한 인트라 예측 모드들의 세트로부터 인트라 예측 모드를 결정하고 (924), 그 결정된 인트라 예측 모드에 기초하여 비디오 데이터의 블록에 대한 변환 유닛 (TU) 파티션을 결정하고 (926), 그 결정된 변환 유닛 파티션을 이용하여 비디오 데이터의 블록을 인코딩하도록 (928) 추가로 구성될 수도 있다. 그후, 비디오 인코더 (20) 는 인코딩된 비디오 비트스트림에서 그 결정된 변환 파티션을 시그널링하도록 (930) 구성될 수도 있다.
일 예에서, 비디오 데이터의 블록은 예측 유닛이고, 예측 유닛 파티션은 결정된 변환 유닛 파티션과 동일한 사이즈 및 형상을 갖는다. 다른 예에서, 비디오 데이터의 블록은 예측 유닛이고, 예측 유닛 파티션은 결정된 변환 유닛과는 상이한 사이즈 및 형상을 갖는다.
본 개시물의 다른 실시예에서, 비디오 인코더 (20) 는 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션을 결정하도록 구성될 수도 있다. 일 예에서, 결정된 인트라 예측 모드는 수직 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수직 배향 비정방형 변환 유닛 파티션들을 포함한다. 다른 실시예에서, 결정된 인트라 예측 모드는 수평 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수평 배향 비정방형 변환 유닛 파티션들을 포함한다. 또 다른 실시예에서, 결정된 인트라 예측 모드는 DC 모드, 평면 모드, 또는 대각선 모드이고, 변환 유닛 파티션들의 세트는 정방형 변환 유닛 파티션들을 포함한다.
변환 유닛 파티션들의 세트는 변화하는 수의 파티션들을 가질 수도 있다. 일 예에서, 변환 유닛 파티션들의 세트는 인트라 예측 모드 당 단 하나의 변환 유닛만을 포함한다. 다른 예에서, 동일한 수의 변환 유닛 파티션들이 복수의 인트라 예측 모드들 각각에 대한 변환 유닛 파티션들의 세트 각각에 존재한다.
본 개시물의 다른 예에서, 변환 유닛 파티션을 결정하는 것 (926) 은 비디오 데이터의 블록에 대해, 결정된 인트라 예측 모드에 따른 인트라 예측을 수행하여 예측 잔차를 생성하는 것, 예측 잔차에 대해 복수의 파티션들을 테스트하는 것, 및 테스팅에 기초하여 복수의 변환 파티션들 중 하나를 선택하는 것을 포함할 수도 있다.
도 10 은 본 개시물의 예들에 따른 예시적인 비디오 디코딩 방법을 묘사한 플로우차트이다. 도 10 의 방법은 비디오 디코더 (30) 의 하나 이상의 구조들에 의해 수행될 수도 있다.
먼저, 선택적인 단계들로서, 비디오 디코더 (30) 는 비디오 데이터의 블록에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 (PU) 파티션의 표시를 수신하고 (1020) 그리고 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하도록 (1022) 구성될 수도 있다.
일 예에서, 예측 유닛 파티션은 수직 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수직 배향 인트라 예측 모드들을 포함한다. 다른 실시예에서, 예측 유닛 파티션은 수평 배향 비정방형 예측 유닛 파티션이고, 인트라 예측 모드들의 세트는 수평 배향 인트라 예측 모드들을 포함한다.
비디오 디코더 (30) 는, 비디오 데이터의 블록에 대한 인트라 예측 모드들의 세트로부터 인트라 예측 모드의 표시를 수신하고 (1024), 그 결정된 인트라 예측 모드에 기초하여 비디오 데이터의 블록에 대한 변환 유닛 파티션을 결정하고 (1026), 그 결정된 변환 유닛 파티션을 이용하여 비디오 데이터의 블록을 디코딩하도록 (1028) 추가로 구성될 수도 있다.
일 예에서, 비디오 데이터의 블록은 예측 유닛이고, 예측 유닛 파티션은 결정된 변환 유닛 파티션과 동일한 사이즈 및 형상을 갖는다. 일 예에서, 비디오 데이터의 블록은 예측 유닛이고, 예측 유닛 파티션은 결정된 변환 유닛 파티션과는 상이한 사이즈 및 형상을 갖는다.
본 개시물의 다른 실시예에서, 비디오 디코더 (20) 는 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션을 결정하도록 구성될 수도 있다. 일 예에서, 결정된 인트라 예측 모드는 수직 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수직 배향 비정방형 변환 유닛 파티션들을 포함한다. 다른 실시예에서, 결정된 인트라 예측 모드는 수평 배향 인트라 예측 모드이고, 변환 유닛 파티션들의 세트는 수평 배향 비정방형 변환 유닛 파티션들을 포함한다. 또 다른 실시예에서, 결정된 인트라 예측 모드는 DC 모드, 평면 모드, 또는 대각선 모드이고, 변환 유닛 파티션들의 세트는 정방형 변환 유닛 파티션들을 포함한다.
변환 유닛 파티션들의 세트는 변화하는 수의 파티션들을 가질 수도 있다. 일 예에서, 변환 유닛 파티션들의 세트는 인트라 예측 모드 당 단 하나의 변환 유닛만을 포함한다. 다른 예에서, 동일한 수의 변환 유닛 파티션들이 복수의 인트라 예측 모드들 각각에 대한 변환 유닛 파티션들의 세트 각각에 존재한다.
하나 이상의 실시형태들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 상기 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체상에 저장되거나 또는 컴퓨터 판독가능 매체를 통해 송신되며 하드웨어 기반의 처리 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체들은, 데이터 저장 매체들과 같은 유형의 매체, 또는 예를 들어, 통신 프로토콜에 따라, 한 곳에서 다른 곳으로 컴퓨터 프로그램의 전송을 가능하게 하는 임의의 매체를 포함하는 통신 매체들에 대응하는 컴퓨터 판독가능 저장 매체들일 포함할 수도 있다. 컴퓨터 판독 가능한 매체는, 데이터 저장 매체와 같이 실체가 있는 매체에 대응하는 컴퓨터 판독 가능한 저장 매체, 또는 예를 들면, 통신 프로토콜에 따라, 한 장소에서 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수도 있다. 데이터 기록 매체는, 본 개시에서 설명된 기술들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 검색하기 위한 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.
비제한적인 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지, 또는 다른 자기 스토리지 디바이스들, 플래시 메모리, 또는 요구되는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 칭해진다. 예를 들면, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 명령들이 송신되면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 그러나, 컴퓨터 판독가능 저장 매체들 및 데이터 저장 매체들은 접속들, 반송파들, 신호들, 또는 다른 일시적 매체들을 포함하지 않고, 대신에 비일시적, 유형의 저장 매체들이다. 본원에서 이용된 디스크 (disk) 와 디스크 (disc) 는, 컴팩트 디스크(CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크, 및 블루레이 디스크를 포함하며, 여기서 디스크 (disk) 들은 통상 자기적으로 데이터를 재생하는 반면, 디스크(disc) 들은 레이저들을 이용하여 광학적으로 데이터를 재생한다. 위의 조합들도 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
명령들은, 하나 이상의 디지털 신호 프로세서들(DSPs), 범용 마이크로프로세서들, 주문형 집적 회로들(ASICs), 필드 프로그래머블 로직 어레이(FPGAs), 또는 다른 등가의 집적 또는 이산 로직 회로와 같은, 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 본원에서 사용된 용어 "프로세서"는 임의의 앞서 설명된 구조 또는 본원에서 설명된 기술들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 따라서, 본원에서 사용된 용어 "프로세서"는 임의의 앞서 설명된 구조 또는 본원에서 설명된 기술들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 또한, 본원에서 개시된 기술들은 하나 이상의 회로들 또는 로직 소자들에서 완전히 구현될 수 있다.
본 개시의 기술들은, 무선 핸드셋, 집적 회로(IC) 또는 ICs의 세트를 포함하는 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 개시된 기술들을 수행하도록 구성된 디바이스들의 기능적 양태를 강조하기 위해 다양한 소자들, 모듈들, 또는 유닛들이 본 개시에서 설명되었지만, 반드시 상이한 하드웨어 유닛들에 의해 실현될 필요는 없다. 대신, 상술한 바와 같이, 다양한 유닛들은, 적절한 소프트웨어 및/또는 펌웨어와 연계하여, 코덱 하드웨어 유닛에 통합되거나 또는 상술한 하나 이상의 프로세서들을 포함하여 상호 동작적인 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.
다양한 실시형태들을 설명하였다. 이들 및 다른 실시형태들은 하기의 특허청구범위 내에 있다.
Claims (56)
- 비디오 인코딩 방법으로서,
비디오 데이터의 예측 유닛에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 파티션을 결정하는 단계;
결정된 상기 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하는 단계;
비디오 데이터의 상기 예측 유닛에 대한 상기 인트라 예측 모드들의 세트로부터 인트라 예측 모드를 결정하는 단계;
결정된 상기 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션들의 서브세트를 결정하는 단계;
상기 변환 유닛 파티션들의 서브세트로부터 비디오 데이터의 상기 예측 유닛에 대한 변환 유닛 파티션을 결정하는 단계; 및
결정된 상기 변환 유닛 파티션을 사용하여 비디오 데이터의 상기 예측 유닛을 인코딩하는 단계를 포함하는, 비디오 인코딩 방법. - 삭제
- 제 1 항에 있어서,
상기 결정된 인트라 예측 모드는 수직 방향 인트라 예측 모드이고, 상기 변환 유닛 파티션들의 서브세트는 수직 방향 비정방형 변환 유닛 파티션들을 포함하는, 비디오 인코딩 방법. - 제 1 항에 있어서,
상기 결정된 인트라 예측 모드는 수평 방향 인트라 예측 모드이고, 상기 변환 유닛 파티션들의 서브세트는 수평 방향 비정방형 변환 유닛 파티션들을 포함하는, 비디오 인코딩 방법. - 제 1 항에 있어서,
상기 결정된 인트라 예측 모드는 DC 모드, 평면 모드, 또는 대각선 모드이고, 상기 변환 유닛 파티션들의 서브세트는 정방형 변환 유닛 파티션들을 포함하는, 비디오 인코딩 방법. - 제 1 항에 있어서,
상기 변환 유닛 파티션들의 서브세트는 인트라 예측 모드 당 단 하나의 변환 유닛 파티션을 포함하는, 비디오 인코딩 방법. - 제 1 항에 있어서,
동일한 수의 변환 유닛 파티션들이 상기 인트라 예측 모드들의 세트에서 인트라 예측 모드 각각에 대한 변환 유닛 파티션들의 서브세트 각각에 존재하는, 비디오 인코딩 방법. - 제 1 항에 있어서,
상기 예측 유닛의 파티션은 결정된 상기 변환 유닛 파티션과는 상이한 사이즈 및 형상을 갖는, 비디오 인코딩 방법. - 제 1 항에 있어서,
예측 잔차를 생성하기 위해 비디오 데이터의 상기 예측 유닛에 대해 상기 결정된 인트라 예측 모드에 따라 인트라 예측을 수행하는 단계를 더 포함하고,
상기 변환 유닛 파티션을 결정하는 단계는:
상기 예측 잔차에 대한 결정된 상기 변환 유닛 파티션들의 서브세트의 복수의 변환 파티션들을 테스트하는 단계; 및
상기 테스트에 기초하여 상기 복수의 변환 유닛 파티션들 중 하나를 상기 결정된 변환 파티션으로서 선택하는 단계를 포함하는, 비디오 인코딩 방법. - 제 1 항에 있어서,
인코딩된 비디오 비트스트림에서 상기 결정된 변환 유닛 파티션을 시그널링하는 단계를 더 포함하는, 비디오 인코딩 방법. - 삭제
- 제 1 항에 있어서,
상기 결정된 예측 유닛 파티션은 수직 방향 비정방형 예측 유닛 파티션이고, 상기 인트라 예측 모드들의 세트는 수직 방향 인트라 예측 모드들을 포함하는, 비디오 인코딩 방법. - 제 1 항에 있어서,
상기 결정된 예측 유닛 파티션은 수평 방향 비정방형 예측 유닛 파티션이고, 상기 인트라 예측 모드들의 세트는 수평 방향 인트라 예측 모드들을 포함하는, 비디오 인코딩 방법. - 비디오 디코딩 방법으로서,
비디오 데이터의 예측 유닛에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 파티션의 표시를 수신하는 단계;
상기 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하는 단계;
비디오 데이터의 상기 예측 유닛에 대한 상기 인트라 예측 모드들의 세트 중에서 인트라 예측 모드의 표시를 수신하는 단계;
상기 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션들의 서브세트를 결정하는 단계;
상기 변환 유닛 파티션들의 서브세트로부터 비디오 데이터의 상기 예측 유닛에 대한 변환 유닛 파티션을 결정하는 단계; 및
결정된 상기 변환 유닛 파티션을 사용하여 비디오 데이터의 상기 예측 유닛을 디코딩하는 단계를 포함하는, 비디오 디코딩 방법. - 삭제
- 제 14 항에 있어서,
상기 인트라 예측 모드는 수직 방향 인트라 예측 모드이고, 상기 변환 유닛 파티션들의 서브세트는 수직 방향 비정방형 변환 유닛 파티션들을 포함하는, 비디오 디코딩 방법. - 제 14 항에 있어서,
상기 인트라 예측 모드는 수평 방향 인트라 예측 모드이고, 상기 변환 유닛 파티션들의 서브세트는 수평 방향 비정방형 변환 유닛 파티션들을 포함하는, 비디오 디코딩 방법. - 제 14 항에 있어서,
상기 인트라 예측 모드는 DC 모드, 평면 모드, 또는 대각선 모드이고, 상기 변환 유닛 파티션들의 서브세트는 정방형 변환 유닛 파티션들을 포함하는, 비디오 디코딩 방법. - 제 14 항에 있어서,
상기 변환 유닛 파티션들의 서브세트는 인트라 예측 모드 당 단 하나의 변환 유닛 파티션을 포함하는, 비디오 디코딩 방법. - 제 14 항에 있어서,
동일한 수의 변환 유닛 파티션들이 상기 인트라 예측 모드들의 세트에서 인트라 예측 모드 각각에 대한 변환 유닛 파티션들의 서브세트 각각에 존재하는, 비디오 디코딩 방법. - 제 14 항에 있어서,
상기 예측 유닛의 파티션은 결정된 상기 변환 유닛 파티션과는 상이한 사이즈 및 형상을 갖는, 비디오 디코딩 방법. - 삭제
- 제 14 항에 있어서,
상기 예측 유닛 파티션은 수직 방향 비정방형 예측 유닛 파티션이고, 상기 인트라 예측 모드들의 세트는 수직 방향 인트라 예측 모드들을 포함하는, 비디오 디코딩 방법. - 제 14 항에 있어서,
상기 예측 유닛 파티션은 수평 방향 비정방형 예측 유닛 파티션이고, 상기 인트라 예측 모드들의 세트는 수평 방향 인트라 예측 모드들을 포함하는, 비디오 디코딩 방법. - 비디오 인코딩 장치로서,
비디오 데이터를 저장하도록 구성된 메모리; 및
상기 메모리와 통신하는 비디오 인코더를 포함하되,
상기 비디오 인코더는:
상기 비디오 데이터의 예측 유닛에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 파티션을 결정하고;
결정된 상기 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하고;
상기 비디오 데이터의 상기 예측 유닛에 대한 상기 인트라 예측 모드들의 세트로부터 인트라 예측 모드를 결정하고;
결정된 상기 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션들의 서브세트를 결정하고;
결정된 상기 변환 유닛 파티션들의 서브세트로부터 상기 비디오 데이터의 상기 예측 유닛에 대한 변환 유닛 파티션을 결정하고;
결정된 상기 변환 유닛 파티션을 사용하여 상기 비디오 데이터의 상기 예측 유닛을 인코딩하도록 구성된, 비디오 인코딩 장치. - 삭제
- 제 25 항에 있어서,
상기 결정된 인트라 예측 모드는 수직 방향 인트라 예측 모드이고, 상기 변환 유닛 파티션들의 서브세트는 수직 방향 비정방형 변환 유닛 파티션들을 포함하는, 비디오 인코딩 장치. - 제 25 항에 있어서,
상기 결정된 인트라 예측 모드는 수평 방향 인트라 예측 모드이고, 상기 변환 유닛 파티션들의 서브세트는 수평 방향 비정방형 변환 유닛 파티션들을 포함하는, 비디오 인코딩 장치. - 제 25 항에 있어서,
상기 결정된 인트라 예측 모드는 DC 모드, 평면 모드, 또는 대각선 모드이고, 상기 변환 유닛 파티션들의 서브세트는 정방형 변환 유닛 파티션들을 포함하는, 비디오 인코딩 장치. - 제 25 항에 있어서,
상기 변환 유닛 파티션들의 서브세트는 인트라 예측 모드 당 단 하나의 변환 유닛 파티션을 포함하는, 비디오 인코딩 장치. - 제 25 항에 있어서,
동일한 수의 변환 유닛 파티션들이 상기 인트라 예측 모드들의 세트에서 인트라 예측 모드 각각에 대한 변환 유닛 파티션들의 서브세트 각각에 존재하는, 비디오 인코딩 장치. - 제 25 항에 있어서,
상기 예측 유닛의 파티션은 상기 결정된 변환 유닛 파티션과는 상이한 사이즈 및 형상을 갖는, 비디오 인코딩 장치. - 제 25 항에 있어서,
상기 비디오 인코더는:
예측 잔차를 생성하기 위해 상기 비디오 데이터의 상기 예측 유닛에 대해 상기 결정된 인트라 예측 모드에 따라 인트라 예측을 수행하고;
상기 예측 잔차에 대한 결정된 상기 변환 유닛 파티션들의 서브세트의 복수의 변환 파티션들을 테스트하고;
상기 테스트에 기초하여 상기 복수의 변환 유닛 파티션들 중 하나를 상기 결정된 변환 유닛 파티션으로서 선택하도록 추가로 구성된, 비디오 인코딩 장치. - 제 25 항에 있어서,
상기 비디오 인코더는:
인코딩된 비디오 비트스트림에서 상기 결정된 변환 유닛 파티션을 시그널링하도록 추가로 구성된, 비디오 인코딩 장치. - 삭제
- 제 34 항에 있어서,
상기 결정된 예측 유닛 파티션은 수직 방향 비정방형 예측 유닛 파티션이고, 상기 인트라 예측 모드들의 세트는 수직 방향 인트라 예측 모드들을 포함하는, 비디오 인코딩 장치. - 제 34 항에 있어서,
상기 결정된 예측 유닛 파티션은 수평 방향 비정방형 예측 유닛 파티션이고, 상기 인트라 예측 모드들의 세트는 수평 방향 인트라 예측 모드들을 포함하는, 비디오 인코딩 장치. - 비디오 디코딩 장치로서,
비디오 데이터를 저장하도록 구성된 메모리; 및
상기 메모리와 통신하는 비디오 디코더를 포함하되,
상기 비디오 디코더는:
상기 비디오 데이터의 예측 유닛에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 파티션의 표시를 수신하고;
상기 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하고;
상기 비디오 데이터의 상기 예측 유닛에 대한 복수의 상기 인트라 예측 모드들의 세트 중에서 인트라 예측 모드의 표시를 수신하고;
결정된 상기 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션들의 서브세트를 결정하고;
상기 변환 유닛 파티션들의 서브세트로부터 상기 비디오 데이터의 상기 예측 유닛에 대한 변환 유닛 파티션을 결정하고;
결정된 상기 변환 유닛 파티션을 사용하여 상기 비디오 데이터의 상기 예측 유닛을 디코딩하도록 구성된, 비디오 디코딩 장치. - 삭제
- 제 38 항에 있어서,
상기 인트라 예측 모드는 수직 방향 인트라 예측 모드이고, 상기 변환 유닛 파티션들의 서브세트는 수직 방향 비정방형 변환 유닛 파티션들을 포함하는, 비디오 디코딩 장치. - 제 38 항에 있어서,
상기 인트라 예측 모드는 수평 방향 인트라 예측 모드이고, 상기 변환 유닛 파티션들의 서브세트는 수평 방향 비정방형 변환 유닛 파티션들을 포함하는, 비디오 디코딩 장치. - 제 38 항에 있어서,
상기 인트라 예측 모드는 DC 모드, 평면 모드, 또는 대각선 모드이고, 상기 변환 유닛 파티션들의 서브세트는 정방형 변환 유닛 파티션들을 포함하는, 비디오 디코딩 장치. - 제 38 항에 있어서,
상기 변환 유닛 파티션들의 서브세트는 인트라 예측 모드 당 단 하나의 변환 유닛 파티션을 포함하는, 비디오 디코딩 장치. - 제 38 항에 있어서,
동일한 수의 변환 유닛 파티션들이 상기 인트라 예측 모드들의 세트에서 인트라 예측 모드 각각에 대한 변환 유닛 파티션들의 서브세트 각각에 존재하는, 비디오 디코딩 장치. - 제 38 항에 있어서,
상기 예측 유닛의 파티션은 상기 결정된 변환 유닛 파티션과는 상이한 사이즈 및 형상을 갖는, 비디오 디코딩 장치. - 삭제
- 제 38 항에 있어서,
상기 예측 유닛 파티션은 수직 방향 비정방형 예측 유닛 파티션이고, 상기 인트라 예측 모드들의 세트는 수직 방향 인트라 예측 모드들을 포함하는, 비디오 디코딩 장치. - 제 38 항에 있어서,
상기 예측 유닛 파티션은 수평 방향 비정방형 예측 유닛 파티션이고, 상기 인트라 예측 모드들의 세트는 수평 방향 인트라 예측 모드들을 포함하는, 비디오 디코딩 장치. - 비디오 인코딩 장치로서,
비디오 데이터의 예측 유닛에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 파티션을 결정하는 수단;
결정된 상기 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하는 수단;
비디오 데이터의 상기 예측 유닛에 대한 상기 인트라 예측 모드들의 세트로부터 인트라 예측 모드를 결정하는 수단;
결정된 상기 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션들의 서브세트를 결정하는 수단;
상기 변환 유닛 파티션들의 서브세트로부터 비디오 데이터의 상기 예측 유닛에 대한 변환 유닛 파티션을 결정하는 수단; 및
결정된 상기 변환 유닛 파티션을 사용하여 비디오 데이터의 상기 예측 유닛을 인코딩하는 수단을 포함하는, 비디오 인코딩 장치. - 비디오 디코딩 장치로서,
비디오 데이터의 예측 유닛에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 파티션의 표시를 수신하는 수단;
상기 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하는 수단;
비디오 데이터의 상기 예측 유닛에 대한 복수의 인트라 예측 모드들 중에서 인트라 예측 모드의 표시를 수신하는 수단;
결정된 상기 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션들의 서브세트를 결정하는 수단;
상기 변환 유닛 파티션들의 서브세트로부터 비디오 데이터의 상기 예측 유닛에 대한 변환 유닛 파티션을 결정하는 수단; 및
결정된 상기 변환 유닛 파티션을 사용하여 비디오 데이터의 상기 예측 유닛을 디코딩하는 수단을 포함하는, 비디오 디코딩 장치. - 명령들을 저장하는 컴퓨터 판독가능 저장 매체로서,
상기 명령들은, 실행 시, 비디오 데이터를 인코딩하도록 구성된 하나 이상의 프로세서들로 하여금,
비디오 데이터의 예측 유닛에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 파티션을 결정하고;
결정된 상기 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하고;
비디오 데이터의 상기 예측 유닛에 대한 상기 인트라 예측 모드들의 세트로부터 인트라 예측 모드를 결정하고;
결정된 상기 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션들의 서브세트를 결정하고;
상기 변환 유닛 파티션들의 서브세트로부터 비디오 데이터의 상기 예측 유닛에 대한 변환 유닛 파티션을 결정하고;
상기 결정된 변환 유닛 파티션을 사용하여 비디오 데이터의 상기 예측 유닛을 인코딩하게 하는, 명령들을 저장하는 컴퓨터 판독가능 저장 매체. - 명령들을 저장하는 컴퓨터 판독가능 저장 매체로서,
상기 명령들은, 실행 시, 비디오 데이터를 디코딩하도록 구성된 하나 이상의 프로세서들로 하여금,
비디오 데이터의 예측 유닛에 대한 복수의 예측 유닛 파티션들 중에서 예측 유닛 파티션의 표시를 수신하고;
상기 예측 유닛 파티션에 기초하여 인트라 예측 모드들의 세트를 결정하고;
비디오 데이터의 상기 예측 유닛에 대한 복수의 인트라 예측 모드들 중에서 인트라 예측 모드의 표시를 수신하고;
결정된 상기 인트라 예측 모드에 기초하여 변환 유닛 파티션들의 세트로부터 변환 유닛 파티션들의 서브세트를 결정하고;
상기 변환 유닛 파티션들의 서브세트로부터 비디오 데이터의 상기 예측 유닛에 대한 변환 유닛 파티션을 결정하고;
결정된 상기 변환 유닛 파티션을 사용하여 비디오 데이터의 상기 예측 유닛을 디코딩하도록 구성된, 명령들을 저장하는 컴퓨터 판독가능 저장 매체.
- 제 14 항에 있어서,
상기 방법은 무선 통신 디바이스 상에서 실행가능하고,
상기 무선 통신 디바이스는,
상기 비디오 데이터를 저장하도록 구성된 메모리;
상기 메모리에 저장된 상기 비디오 데이터를 프로세싱하는 명령들을 실행하도록 구성된 프로세서;
상기 비디오 데이터를 수신하고, 상기 인트라-예측 모드의 상기 표시를 수신하도록 구성된 수신기를 포함하는, 비디오 디코딩 방법. - 제 53 항에 있어서,
상기 무선 통신 디바이스는 셀룰러 전화이고,
상기 비디오 데이터는 상기 수신기에 의해 수신되고 셀룰러 통신 표준에 따라 변조되는, 비디오 디코딩 방법. - 제 38 항에 있어서,
상기 비디오 디코딩 장치는 무선 통신 디바이스이고,
상기 비디오 데이터를 수신하고 상기 인트라-예측 모드의 상기 표시를 수신하도록 구성된 수신기를 더 포함하는, 비디오 디코딩 장치. - 제 55 항에 있어서,
상기 무선 통신 디바이스는 셀룰러 전화이고, 상기 비디오 데이터는 상기 수신기에 의해 수신되고 셀룰러 통신 표준에 따라 변조되는, 비디오 디코딩 장치.
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161533703P | 2011-09-12 | 2011-09-12 | |
| US61/533,703 | 2011-09-12 | ||
| US201161536414P | 2011-09-19 | 2011-09-19 | |
| US61/536,414 | 2011-09-19 | ||
| US201161552216P | 2011-10-27 | 2011-10-27 | |
| US61/552,216 | 2011-10-27 | ||
| US13/608,380 | 2012-09-10 | ||
| US13/608,380 US9787982B2 (en) | 2011-09-12 | 2012-09-10 | Non-square transform units and prediction units in video coding |
| PCT/US2012/054654 WO2013039908A2 (en) | 2011-09-12 | 2012-09-11 | Non-square transform units and prediction units in video coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140049098A KR20140049098A (ko) | 2014-04-24 |
| KR101671080B1 true KR101671080B1 (ko) | 2016-10-31 |
Family
ID=46852425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020147009756A KR101671080B1 (ko) | 2011-09-12 | 2012-09-11 | 비디오 코딩에서 비정방형 변환 유닛들 및 예측 유닛들 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9787982B2 (ko) |
| EP (1) | EP2756676B1 (ko) |
| JP (2) | JP6022579B2 (ko) |
| KR (1) | KR101671080B1 (ko) |
| CN (1) | CN103797801B (ko) |
| WO (1) | WO2013039908A2 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018199675A1 (ko) * | 2017-04-28 | 2018-11-01 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
| KR20200107745A (ko) * | 2019-03-08 | 2020-09-16 | 소니 주식회사 | 임베디드 이미지 코덱을 위한 서브-블록 기반 엔트로피 코딩 |
Families Citing this family (91)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130089136A1 (en) * | 2011-10-10 | 2013-04-11 | Texas Instruments Incorporated | Spatial Intra Prediction Estimation Based on Mode Suppression in Macroblocks of a Video Frame |
| CN104126303B (zh) * | 2011-11-29 | 2018-03-06 | 华为技术有限公司 | 用于高效率视频译码的统一分割结构和信令方法 |
| WO2013106986A1 (en) * | 2012-01-16 | 2013-07-25 | Mediatek Singapore Pte. Ltd. | Methods and apparatuses of intra mode coding |
| AU2012200319B2 (en) | 2012-01-19 | 2015-11-26 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit |
| AU2012200345B2 (en) * | 2012-01-20 | 2014-05-01 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding the significance map residual coefficients of a transform unit |
| US10091515B2 (en) * | 2012-03-21 | 2018-10-02 | Mediatek Singapore Pte. Ltd | Method and apparatus for intra mode derivation and coding in scalable video coding |
| GB2501535A (en) * | 2012-04-26 | 2013-10-30 | Sony Corp | Chrominance Processing in High Efficiency Video Codecs |
| US9344742B2 (en) * | 2012-08-10 | 2016-05-17 | Google Inc. | Transform-domain intra prediction |
| CN104704827B (zh) * | 2012-11-13 | 2019-04-12 | 英特尔公司 | 用于下一代视频的内容自适应变换译码 |
| US10291912B2 (en) * | 2013-01-16 | 2019-05-14 | Blackberry Limited | Context determination for entropy coding of run-length encoded transform coefficients |
| US9967559B1 (en) | 2013-02-11 | 2018-05-08 | Google Llc | Motion vector dependent spatial transformation in video coding |
| US9544597B1 (en) * | 2013-02-11 | 2017-01-10 | Google Inc. | Hybrid transform in video encoding and decoding |
| US9674530B1 (en) | 2013-04-30 | 2017-06-06 | Google Inc. | Hybrid transforms in video coding |
| JP6337380B2 (ja) * | 2013-07-31 | 2018-06-06 | サン パテント トラスト | 画像符号化方法および画像符号化装置 |
| CN113784124B (zh) * | 2014-01-01 | 2024-03-19 | 上海天荷电子信息有限公司 | 使用多种形状子块进行精细划分的块匹配编码和解码方法 |
| WO2015139173A1 (en) * | 2014-03-17 | 2015-09-24 | Mediatek Singapore Pte. Ltd. | Improved method for block vector coding |
| US9565451B1 (en) | 2014-10-31 | 2017-02-07 | Google Inc. | Prediction dependent transform coding |
| GB201421095D0 (en) * | 2014-11-27 | 2015-01-14 | British Broadcasting Corp | HEVC Optimization techniques |
| CN111885381B (zh) * | 2015-03-23 | 2023-10-13 | Lg 电子株式会社 | 在内预测模式的基础上处理图像的方法及其装置 |
| WO2016154963A1 (en) * | 2015-04-01 | 2016-10-06 | Mediatek Inc. | Methods for chroma coding in video codec |
| CN115134595A (zh) | 2015-06-05 | 2022-09-30 | 杜比实验室特许公司 | 用于执行帧间预测的图像编解码方法、比特流存储方法 |
| US9769499B2 (en) | 2015-08-11 | 2017-09-19 | Google Inc. | Super-transform video coding |
| CN115278236A (zh) | 2015-08-28 | 2022-11-01 | 株式会社Kt | 对图像进行解码或编码的方法和非暂态计算机可读介质 |
| CA2998098C (en) * | 2015-09-11 | 2023-05-02 | Kt Corporation | Method and device for processing video signal |
| US10277905B2 (en) | 2015-09-14 | 2019-04-30 | Google Llc | Transform selection for non-baseband signal coding |
| WO2017052118A1 (ko) * | 2015-09-23 | 2017-03-30 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인트라 예측 방법 및 장치 |
| US10638132B2 (en) | 2015-10-15 | 2020-04-28 | Lg Electronics Inc. | Method for encoding and decoding video signal, and apparatus therefor |
| US9807423B1 (en) | 2015-11-24 | 2017-10-31 | Google Inc. | Hybrid transform scheme for video coding |
| US20170150176A1 (en) | 2015-11-25 | 2017-05-25 | Qualcomm Incorporated | Linear-model prediction with non-square prediction units in video coding |
| US10560702B2 (en) * | 2016-01-22 | 2020-02-11 | Intel Corporation | Transform unit size determination for video coding |
| US10525222B2 (en) | 2016-01-28 | 2020-01-07 | Invent Medical Corporation | System and method for preventing cross-contamination in flow generation systems |
| CN105578190B (zh) * | 2016-02-03 | 2018-05-04 | 珠海全志科技股份有限公司 | 应用于视频硬解码的无损压缩方法及系统 |
| US11778190B2 (en) * | 2016-02-12 | 2023-10-03 | Interdigital Vc Holdings, Inc. | Method and device for intra-predictive encoding/decoding a coding unit comprising picture data, said intra-predictive encoding depending on a prediction tree and a transform tree |
| US10992933B2 (en) | 2016-02-16 | 2021-04-27 | Samsung Electronics Co., Ltd. | Video decoding method and device for same and video encoding method and device for same |
| US11032550B2 (en) * | 2016-02-25 | 2021-06-08 | Mediatek Inc. | Method and apparatus of video coding |
| CN109155857B (zh) | 2016-03-11 | 2023-05-30 | 数字洞察力有限公司 | 视频编码方法以及装置 |
| WO2017176030A1 (ko) | 2016-04-06 | 2017-10-12 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
| KR20180129863A (ko) * | 2016-04-25 | 2018-12-05 | 엘지전자 주식회사 | 영상 코딩 시스템에서 영상 디코딩 방법 및 장치 |
| CN113810707B (zh) * | 2016-04-29 | 2024-06-18 | 世宗大学校产学协力团 | 用于对图像信号进行编码和解码的方法和装置 |
| GB2550579A (en) * | 2016-05-23 | 2017-11-29 | Sony Corp | Image data encoding and decoding |
| US11736712B2 (en) | 2016-05-28 | 2023-08-22 | Industry Academy Cooperation Foundation Of Sejong University | Method and apparatus for encoding or decoding video signal |
| WO2017209455A2 (ko) * | 2016-05-28 | 2017-12-07 | 세종대학교 산학협력단 | 비디오 신호의 부호화 또는 복호화 방법 및 장치 |
| US11647228B2 (en) * | 2016-07-15 | 2023-05-09 | Lg Electronics Inc. | Method and apparatus for encoding and decoding video signal using transform domain prediction for prediction unit partition |
| CN116634139A (zh) * | 2016-08-03 | 2023-08-22 | 株式会社Kt | 用于对视频进行编码和解码的方法和装置 |
| WO2018030599A1 (ko) * | 2016-08-08 | 2018-02-15 | 엘지전자(주) | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
| CN109661819B (zh) | 2016-08-31 | 2023-11-07 | 株式会社Kt | 用于处理视频信号的方法和设备 |
| CN109952761B (zh) * | 2016-09-20 | 2022-04-15 | 株式会社Kt | 用于处理视频信号的方法和装置 |
| JP6792996B2 (ja) * | 2016-10-12 | 2020-12-02 | 日本放送協会 | 符号化装置、復号装置及びプログラム |
| CN109997359B (zh) * | 2016-11-21 | 2023-05-09 | 松下电器（美国）知识产权公司 | 编码装置、解码装置、编码方法及解码方法 |
| EP3528498A4 (en) | 2016-11-21 | 2019-08-21 | Panasonic Intellectual Property Corporation of America | CODING DEVICE, DECODING DEVICE, CODING METHOD AND DECODING METHOD |
| WO2018105759A1 (ko) * | 2016-12-05 | 2018-06-14 | 엘지전자(주) | 영상 부호화/복호화 방법 및 이를 위한 장치 |
| DK3552393T3 (da) * | 2016-12-23 | 2023-05-30 | Huawei Tech Co Ltd | Indkodningsapparat til signalering af en retningsbestemt udvidelses-intraforudsigelsestilstand inden for et sæt af retningsbestemte intraforudsigelsestilstande |
| FI20175006A1 (en) * | 2017-01-03 | 2019-02-15 | Nokia Technologies Oy | Video and image coding using wide-angle intra-prediction |
| WO2018164504A1 (ko) | 2017-03-09 | 2018-09-13 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
| US11399187B2 (en) * | 2017-03-10 | 2022-07-26 | Intel Corporation | Screen content detection for adaptive encoding |
| WO2018181448A1 (ja) * | 2017-03-31 | 2018-10-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
| JP2020109884A (ja) * | 2017-04-28 | 2020-07-16 | シャープ株式会社 | 動画像符号化装置及び動画像復号装置 |
| EP3451663A1 (en) * | 2017-08-31 | 2019-03-06 | Thomson Licensing | Pools of transforms for local selection of a set of transforms in video coding |
| EP3711294A4 (en) * | 2017-11-17 | 2021-07-28 | Fg Innovation Company Limited | DEVICE AND METHOD FOR CODING VIDEO DATA ON THE BASIS OF AN ADAPTED INTRAMODUS LIST |
| WO2019107997A1 (ko) * | 2017-11-30 | 2019-06-06 | 엘지전자 주식회사 | 비디오 신호의 처리 방법 및 장치 |
| CN108172168B (zh) * | 2017-12-22 | 2019-11-15 | 深圳市华星光电半导体显示技术有限公司 | 一种补偿表压缩方法 |
| US10652550B2 (en) | 2017-12-22 | 2020-05-12 | Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. | Compensation table compressing method |
| US20190045195A1 (en) * | 2018-03-30 | 2019-02-07 | Intel Corporation | Reduced Partitioning and Mode Decisions Based on Content Analysis and Learning |
| CN112042190B (zh) | 2018-04-24 | 2024-01-23 | 三星电子株式会社 | 视频编码方法和装置以及视频解码方法和装置 |
| KR102617359B1 (ko) * | 2018-05-10 | 2023-12-21 | 삼성전자주식회사 | 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
| WO2019222042A1 (en) * | 2018-05-14 | 2019-11-21 | Interdigital Vc Holdings, Inc. | Block shape adaptive intra prediction directions for quadtree-binary tree |
| US10778971B2 (en) * | 2018-06-01 | 2020-09-15 | Tencent America LLC | Method and apparatus for video coding |
| WO2020017987A1 (en) | 2018-06-29 | 2020-01-23 | Huawei Technologies Co., Ltd | Intra-prediction apparatus, encoding apparatus, decoding apparatus and methods |
| TWI731361B (zh) * | 2018-07-01 | 2021-06-21 | 大陸商北京字節跳動網絡技術有限公司 | 依賴形狀的幀內編碼 |
| US10284866B1 (en) | 2018-07-02 | 2019-05-07 | Tencent America LLC | Method and apparatus for video coding |
| US10284844B1 (en) | 2018-07-02 | 2019-05-07 | Tencent America LLC | Method and apparatus for video coding |
| CN108989801B (zh) * | 2018-07-27 | 2021-10-08 | 福州大学至诚学院 | 一种基于时空特性的自适应模式选择快速方法 |
| KR20230104769A (ko) * | 2018-08-24 | 2023-07-10 | 삼성전자주식회사 | 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 |
| FR3086485A1 (fr) * | 2018-09-21 | 2020-03-27 | Orange | Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image. |
| WO2020102067A1 (en) * | 2018-11-12 | 2020-05-22 | Interdigital Vc Holdings, Inc. | Virtual pipeline for video encoding and decoding |
| GB2579824B (en) | 2018-12-14 | 2022-05-18 | British Broadcasting Corp | Video encoding and video decoding |
| CN116962710A (zh) * | 2018-12-15 | 2023-10-27 | 华为技术有限公司 | 图像重建方法和装置 |
| GB2580326A (en) | 2018-12-28 | 2020-07-22 | British Broadcasting Corp | Video encoding and video decoding |
| US11445203B2 (en) * | 2019-01-04 | 2022-09-13 | Qualcomm Incorporated | Sub-partition intra prediction in video coding |
| US11172197B2 (en) | 2019-01-13 | 2021-11-09 | Tencent America LLC | Most probable mode list generation scheme |
| JP2022518612A (ja) * | 2019-02-05 | 2022-03-15 | ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド | ビデオ復号化方法、ビデオ復号化装置、及び非一時的コンピュータ可読記憶媒体 |
| US11533506B2 (en) * | 2019-02-08 | 2022-12-20 | Tencent America LLC | Method and apparatus for video coding |
| WO2020180151A1 (ko) * | 2019-03-07 | 2020-09-10 | 엘지전자 주식회사 | 비디오 신호를 처리하기 위한 방법 및 장치 |
| GB2582023A (en) * | 2019-03-08 | 2020-09-09 | British Broadcasting Corp | Method of signalling in a video codec |
| CN113661712A (zh) * | 2019-03-12 | 2021-11-16 | 夏普株式会社 | 在视频编码中用于执行帧内预测编码的系统和方法 |
| US11122297B2 (en) | 2019-05-03 | 2021-09-14 | Google Llc | Using border-aligned block functions for image compression |
| WO2020256523A1 (ko) * | 2019-06-20 | 2020-12-24 | 엘지전자 주식회사 | 광각 화면 내 예측을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법 |
| CN112135147B (zh) * | 2019-06-24 | 2023-02-28 | 杭州海康威视数字技术股份有限公司 | 编码方法、解码方法及装置 |
| US11363295B2 (en) | 2019-11-27 | 2022-06-14 | Tencent America LLC | Method and system for intra mode coding |
| US20220150518A1 (en) * | 2020-11-11 | 2022-05-12 | Tencent America LLC | Method and apparatus for video coding |
| CN117716692A (zh) * | 2021-06-30 | 2024-03-15 | 抖音视界有限公司 | 递归预测单元在视频编解码中的应用 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110038412A1 (en) * | 2009-08-14 | 2011-02-17 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video in consideration of scanning order of coding units having hierarchical structure, and method and apparatus for decoding video in consideration of scanning order of coding units having hierarchical structure |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1209928C (zh) | 2003-07-04 | 2005-07-06 | 清华大学 | 一种基于预测块组的采用帧内预测的帧内编码帧编码方法 |
| US8582663B2 (en) * | 2006-08-08 | 2013-11-12 | Core Wireless Licensing S.A.R.L. | Method, device, and system for multiplexing of video streams |
| US8571104B2 (en) * | 2007-06-15 | 2013-10-29 | Qualcomm, Incorporated | Adaptive coefficient scanning in video coding |
| KR101379187B1 (ko) | 2008-06-23 | 2014-04-15 | 에스케이 텔레콤주식회사 | 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를이용한 영상 부호화/복호화 방법 및 장치 |
| JP4937224B2 (ja) | 2008-09-30 | 2012-05-23 | 株式会社東芝 | 画像符号化装置 |
| US8503527B2 (en) * | 2008-10-03 | 2013-08-06 | Qualcomm Incorporated | Video coding with large macroblocks |
| RU2497303C2 (ru) | 2008-10-03 | 2013-10-27 | Квэлкомм Инкорпорейтед | Видео кодирование с использованием преобразования больше чем 4×4 и 8×8 |
| US8483285B2 (en) * | 2008-10-03 | 2013-07-09 | Qualcomm Incorporated | Video coding using transforms bigger than 4×4 and 8×8 |
| US20100098156A1 (en) * | 2008-10-16 | 2010-04-22 | Qualcomm Incorporated | Weighted prediction based on vectorized entropy coding |
| US8611435B2 (en) * | 2008-12-22 | 2013-12-17 | Qualcomm, Incorporated | Combined scheme for interpolation filtering, in-loop filtering and post-loop filtering in video coding |
| BRPI1014257B1 (pt) | 2009-04-08 | 2021-03-09 | Sharp Kabushiki Kaisha | aparelho de codificação de vídeo e aparelho de decodificação de vídeo |
| EP2493198B1 (en) | 2009-10-20 | 2019-04-17 | Sharp Kabushiki Kaisha | Moving image coding device, moving image decoding device, moving image coding/decoding system, moving image coding method and moving image decoding method |
| KR101841783B1 (ko) * | 2009-12-04 | 2018-03-23 | 톰슨 라이센싱 | 비디오 인코딩 및 디코딩에서 인터 프레임을 위한 개선된 색차 변환을 위한 방법 및 장치 |
| KR101700358B1 (ko) * | 2009-12-09 | 2017-01-26 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| WO2011083573A1 (ja) | 2010-01-07 | 2011-07-14 | 株式会社 東芝 | 動画像符号化装置及び動画像復号化装置 |
| KR101503269B1 (ko) | 2010-04-05 | 2015-03-17 | 삼성전자주식회사 | 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치 |
| US20110249743A1 (en) | 2010-04-09 | 2011-10-13 | Jie Zhao | Super-block for high performance video coding |
| KR101789634B1 (ko) | 2010-04-09 | 2017-10-25 | 엘지전자 주식회사 | 비디오 데이터 처리 방법 및 장치 |
| SG10201503178RA (en) | 2010-04-23 | 2015-06-29 | M&K Holdings Inc | Apparatus For Encoding A Moving Picture |
| US8344917B2 (en) * | 2010-09-30 | 2013-01-01 | Sharp Laboratories Of America, Inc. | Methods and systems for context initialization in video coding and decoding |
| US8494290B2 (en) * | 2011-05-05 | 2013-07-23 | Mitsubishi Electric Research Laboratories, Inc. | Method for coding pictures using hierarchical transform units |
-
2012
- 2012-09-10 US US13/608,380 patent/US9787982B2/en not_active Expired - Fee Related
- 2012-09-11 JP JP2014530737A patent/JP6022579B2/ja not_active Expired - Fee Related
- 2012-09-11 WO PCT/US2012/054654 patent/WO2013039908A2/en active Application Filing
- 2012-09-11 CN CN201280044246.8A patent/CN103797801B/zh not_active Expired - Fee Related
- 2012-09-11 KR KR1020147009756A patent/KR101671080B1/ko active IP Right Grant
- 2012-09-11 EP EP12759619.5A patent/EP2756676B1/en active Active
-
2016
- 2016-06-22 JP JP2016123785A patent/JP2016201808A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110038412A1 (en) * | 2009-08-14 | 2011-02-17 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video in consideration of scanning order of coding units having hierarchical structure, and method and apparatus for decoding video in consideration of scanning order of coding units having hierarchical structure |
Non-Patent Citations (2)
| Title |
|---|
| CHUO-LING CHANG et al: "Directional adaptive partitioned Block trasnform for color image coding", IEEE Trans.on Image Processing, vol.18, no.7, JULY 2010. pages 1740-1755. |
| Xiaoran Cao, Tsinghua "CE6.b1 Report on Short Distance Intra Prediction Method", Geneva, 16-23 March, 2011. JCTVC-E278. |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018199675A1 (ko) * | 2017-04-28 | 2018-11-01 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
| US11102509B2 (en) | 2017-04-28 | 2021-08-24 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device, and recording medium storing bit stream |
| US11558640B2 (en) | 2017-04-28 | 2023-01-17 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device, and recording medium storing bit stream |
| US11943475B2 (en) | 2017-04-28 | 2024-03-26 | Intellectual Discovery Co., Ltd. | Image encoding/decoding method and device, and recording medium storing bitstream |
| KR20200107745A (ko) * | 2019-03-08 | 2020-09-16 | 소니 주식회사 | 임베디드 이미지 코덱을 위한 서브-블록 기반 엔트로피 코딩 |
| KR102267212B1 (ko) * | 2019-03-08 | 2021-06-22 | 소니그룹주식회사 | 임베디드 이미지 코덱을 위한 서브-블록 기반 엔트로피 코딩 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130136175A1 (en) | 2013-05-30 |
| JP2016201808A (ja) | 2016-12-01 |
| US9787982B2 (en) | 2017-10-10 |
| WO2013039908A2 (en) | 2013-03-21 |
| KR20140049098A (ko) | 2014-04-24 |
| EP2756676A2 (en) | 2014-07-23 |
| WO2013039908A3 (en) | 2013-05-10 |
| CN103797801A (zh) | 2014-05-14 |
| CN103797801B (zh) | 2017-10-17 |
| JP2014530537A (ja) | 2014-11-17 |
| JP6022579B2 (ja) | 2016-11-09 |
| EP2756676B1 (en) | 2022-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101671080B1 (ko) | 비디오 코딩에서 비정방형 변환 유닛들 및 예측 유닛들 | |
| DK2904790T3 (en) | CODED BLOCK FLAG (CBF) CODING 4: 2: 2 VIDEO CODING SIZE SIZE | |
| US9247254B2 (en) | Non-square transforms in intra-prediction video coding | |
| US9807403B2 (en) | Adaptive loop filtering for chroma components | |
| KR101536540B1 (ko) | 비디오 코딩을 위한 병렬화 친화적인 병합 후보들 | |
| JP6174123B2 (ja) | ビデオコーディングにおける量子化パラメータ（ｑｐ）コーディング | |
| KR101642629B1 (ko) | 비디오 코딩에서의 바이패스 코딩된 구문 엘리먼트들의 그룹화 | |
| RU2601843C2 (ru) | Расширенная сигнализация режима внутреннего предсказания для кодирования видео, использующего режим соседства | |
| KR20170016994A (ko) | 일원화된 병합 모드 및 적응적 모션 벡터 예측 모드 후보 선택 | |
| AU2011308653A1 (en) | Intra smoothing filter for video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190924 Year of fee payment: 4 |