KR20180109927A - 예측 트리 및 변환 트리에 의존하는, 픽처 데이터를 포함하는 코딩 단위를 인트라-예측 인코딩/디코딩하기 위한 방법 및 디바이스 - Google Patents
예측 트리 및 변환 트리에 의존하는, 픽처 데이터를 포함하는 코딩 단위를 인트라-예측 인코딩/디코딩하기 위한 방법 및 디바이스 Download PDFInfo
- Publication number
- KR20180109927A KR20180109927A KR1020187022871A KR20187022871A KR20180109927A KR 20180109927 A KR20180109927 A KR 20180109927A KR 1020187022871 A KR1020187022871 A KR 1020187022871A KR 20187022871 A KR20187022871 A KR 20187022871A KR 20180109927 A KR20180109927 A KR 20180109927A
- Authority
- KR
- South Korea
- Prior art keywords
- tree
- prediction
- intra
- leaves
- transform
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000005192 partition Methods 0.000 claims abstract description 47
- 238000000638 solvent extraction Methods 0.000 claims abstract description 22
- 230000001419 dependent effect Effects 0.000 claims abstract description 9
- 230000011664 signaling Effects 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 3
- 230000015654 memory Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 9
- 241000023320 Luma <angiosperm> Species 0.000 description 8
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000985610 Forpus Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
본 원리들은 픽처 데이터를 포함하는 코딩 단위를 인트라-예측 인코딩하기 위한 방법에 관한 것으로, 상기 인트라-예측 인코딩은 예측 트리 및 변환 트리에 의존하고, 방법은, 비-정사각형 파티션 타입에 따라 코딩 단위를 공간적으로 파티셔닝함으로써 상기 예측 트리를 획득하는 단계; 잎들 각각이 상기 획득된 예측 트리의 고유 단위에 임베딩되도록 하기 위해 상기 코딩 단위로부터 상기 변환 트리를 결정하는 단계; 및 상기 변환 트리의 잎들의 크기 및 상기 비-정사각형 파티션 타입을 신호에서 시그널링하는 단계를 더 포함하는 것을 특징으로 한다.
Description
본 원리들은 일반적으로 픽처/비디오 인트라-인코딩 및 인트라-디코딩에 관한 것이다.
본 란은 이하에서 설명되고/되거나 청구되는 본 원리들의 다양한 양태들과 관련될 수 있는 관련 기술의 다양한 양태들을 독자에게 소개하기 위해 의도된 것이다. 본 논의는 독자에게 본 원리들의 다양한 양태들의 보다 나은 이해를 용이하게 하는 배경 정보를 제공하는데 도움이 될 것으로 믿어진다. 따라서, 이러한 진술들이 종래 기술의 인정이 아니라 이런 관점에서 읽혀져야 한다는 점을 이해해야 한다.
다음으로, 픽처는 픽처(또는 비디오)의 픽셀 값들과 관련된 모든 정보, 및 예를 들어, 픽처(또는 비디오)를 시각화 및/또는 디코딩하기 위해 디스플레이 및/또는 다른 디바이스에 의해 사용될 수 있는 모든 정보를 특정하는 특정 픽처/비디오 포맷으로 샘플들(픽셀 데이터)의 하나의 또는 몇몇 어레이들을 포함한다. 픽처는, 샘플들의 제1 어레이의 형상에, 통상적으로 루마(또는 휘도) 성분인 적어도 하나의 성분, 및 가능하게는, 샘플들의 적어도 하나의 다른 어레이의 형상에, 통상적으로는 컬러 성분인 적어도 하나의 다른 성분을 포함한다. 또는, 동등하게, 동일한 정보가 또한, 전통적인 3색 RGB 표현과 같은 컬러 샘플들의 어레이들의 세트에 의해 표현될 수 있다.
픽셀 데이터는 C개의 값들의 벡터로 표현될 수 있고, 여기서 C는 성분들의 수이다. 벡터의 각각의 값은 픽셀 값들의 최대 다이나믹 범위를 정의하는 다수의 비트들로 표현된다.
픽처 블록은, 이러한 픽처에 속하는 픽셀들의 세트를 의미하고, 픽처 블록의 픽셀 데이터는 이러한 픽처 블록에 속하는 픽셀들의 값들을 의미한다.
H.265/HEVC(High Efficiency Video Coding (HEVC), Recommendation ITU-T H.265 | International Standard ISO/IEC 23008-2, 10/2014) 또는 JEM("Algorithm Description of Joint Exploration Test Model 1 (JEM 1)", ISO/IEC JTC1/SC29/WG11/N15790, October 2015, Geneva, CH)과 같은 일부 비디오 압축 표준들에서, 픽처(비디오)의 시퀀스의 픽처는 통상적으로 64x64, 128x128 또는 256x256 픽셀 크기의 소위 코딩 트리 단위들(CTU)로 분할된다.
각각의 CTU는 도 1에 도시된 바와 같이 압축 도메인에서 코딩 트리에 의해 표현된다. 이는 CTU의 쿼드-트리(quad-tree) 부분이고, 여기서 각각의 잎은 코딩 단위(CU)로 지칭된다.
코딩 단위(CU)는 픽처 블록을 코딩하기 위한 주요 정보를 포함하며 예측 단위들(PU) 및 변환 단위들(TU)로 더 파티셔닝될 수 있다.
그 다음, 각각의 CU에는 일부 인트라 또는 인터 예측 파라미터들(예측 정보)이 부여된다. 이를 수행하기 위해, 각각의 CU는 특정 파티션 타입에 따라 하나 이상의 예측 단위(PU)들로 공간적으로 파티셔닝되며 각각의 PU에는 일부 예측 정보가 할당된다. 인트라 또는 인터 코딩 모드는 CU 레벨에서 할당된다.
따라서, 예측 단위(PU)는 픽처 블록 내의 픽셀 값들을 예측하기 위한 정보를 포함하고, 변환 단위(TU)는 변환이 적용되는 픽처 블록의 픽셀들을 표현하고, 따라서 인코딩 프로세스의 나머지를 표현한다.
도 2는 CU를 HEVC에 따른 예측 단위들로 파티셔닝하는 예들을 도시한다.
파티션 타입들은, 오직 인트라 및 인터-예측 CU들 둘 모두에 대해서만 사용되는 것들인 정사각형 파티션 타입들(2Nx2N 및 NxN), 오직 인터-예측 CU들에 대해서만 사용되는 대칭적 비-정사각형 파티션 타입들(2NxN, Nx2N), 및 오직 인터-예측 CU들에 대해서만 사용되는 비대칭적 파티션들(nLx2N, nRx2N, 2NxnD; 2NxnU)을 포함한다.
HEVC는 인터-예측 CU들에 대해 모션 정보 파티셔닝이 수행될 수 있음을 개시한다. 실제로, 인터-예측 CU들에 대해 존재하는 2NxN, Nx2N 및 비대칭적 파티션들은 CU에 포함된 예측 정보를 표현하는 비-정사각형 파티션 타입들의 예들이다.
또한, HEVC는 인트라 또는 인터-예측 CU들에 대한 파티션 타입의 선택에 다음과 같은 제약을 부과한다:
CU의 루마 성분을 인트라-예측하기 위한 파티션 타입이 정사각형 파티션 타입이 아닌 경우, 크로마 성분을 인트라-예측하기 위한 파티션 타입은 정사각형 파티션 타입 2Nx2N과 동일하게 설정된다.
비-정사각형 파티션 타입이 CU를 인터-예측하기 위해 사용되는 경우, CU를 변환 단위(TU)들로 추가로 분할하기 위해 사용되는 변환 트리는 각각의 TU가 예측 단위에 공간적으로 임베딩되도록 제한된다.
또한, 현재 버전의 HEVC에 따르면, 비-정사각형 파티셔닝 타입이 주어진 CU에 대해 사용되는 경우, 변환 트리의 단위들의 크기는 예측 트리와 독립적으로 결정된다.
본 원리들에 의해 해결되는 문제점은 인트라 코딩 단위들에서 압축 효율을 향상시키는 방식으로 압축 도메인에서 코딩된 픽처를 효율적으로 표현하는 방법이다.
하기 내용은 본 원리들의 일부 양태들의 기본적인 이해를 제공하기 위해 본 원리들의 단순화된 요약을 제시한다. 이러한 요약은 본 원리들의 광범위한 개요가 아니다. 이는 본 원리들의 핵심적이거나 중요한 요소들을 식별하는 것으로 의도되지 않는다. 하기 요약은 단지 아래에 제공된 보다 상세한 설명의 서두로서 단순화된 형태로 본 원리들의 일부 양태들을 제시한다.
본 원리들은 픽처 데이터를 포함하는 코딩 단위를 인트라-예측 인코딩하기 위한 방법으로 종래 기술의 단점들 중 적어도 하나를 해결하기 위해 기술되었고, 상기 인트라-예측 인코딩은 예측 트리 및 변환 트리에 의존한다. 이 방법은,
비-정사각형 파티션 타입에 따라 코딩 단위를 공간적으로 파티셔닝함으로써 상기 예측 트리를 획득하는 단계;
잎들 각각이 상기 획득된 예측 트리의 고유 단위에 임베딩되도록 하기 위해 상기 코딩 단위로부터 상기 변환 트리를 결정하는 단계; 및
상기 변환 트리의 잎들의 크기 및 상기 비-정사각형 파티션 타입을 신호에서 시그널링하는 단계를 더 포함한다.
상기 비-정사각형 파티션 타입은 비-정사각형 파티션 타입일 수 있다. 따라서, 새로운 비-정사각형 파티션 타입들이 현재 HEVC에 의해 추천되는 2Nx2N 및 NxN의 기존 인트라 타입에 추가된다.
이들은 인터-예측에 대해 이미 존재하는 타입들 2NxnU, 2NxnD, nLx2N, nRx2N을 포함한다. 또한, 다른 PU 형상들이 이러한 세트에 추가될 수 있다.
이러한 본 원리들의 기본적 아이디어는, 가능한 PU 형상들의 더 풍부한 세트가 압축 도메인에서 픽처 데이터를 보다 정확하게 표현하는데 도움이 된다는 점이다.
아래에서 상세히 설명되는 바와 같이, 본 원리들은 코덱 설계에서 2Nx2N 및 NxN과 상이한 인트라 파티션들을 지원하는 것을 가능하게 하는 기술적 수단을 포함한다.
특히, 본 원리들은 PU가 정확히 하나의 또는 몇몇 TU를 임베딩하면 임의의 인트라-예측 단위 형상을 지원한다. TU는 몇몇 상이한 PU들과 공간적으로 중첩할 수 없다.
CU들의 인트라-인코딩에 적응되게 하기 위해, 예측 단위의 형상에 따라 변환 트리를 프로세싱하는 특정 방법들이 아래에 제안된다.
게다가, 본 원리들은 또한, PU들에 대한 비-정사각형 파티셔닝이 루마 성분에 대해 사용되는 경우, 루마 및 크로마 성분들에서 CU들의 파티셔닝을 상관해제하도록 제안한다.
본 원리들의 양태들 중 다른 양태에 따르면, 본 원리들은, 상기 방법을 구현하도록 구성되는 프로세서를 포함하는 디바이스, 이러한 프로그램이 컴퓨터 상에서 실행될 때 상기 방법의 단계들을 실행하기 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품, 프로세서로 하여금 적어도 상기 방법의 단계들을 수행하게 하기 위한 명령어들이 저장된 프로세서 판독가능 매체, 및 상기 프로그램이 컴퓨팅 디바이스 상에서 실행될 때 상기 방법의 단계들을 실행하기 위한 프로그램 코드의 명령어들을 반송하는 비일시적 저장 매체에 관한 것이다.
본 원리들의 특정한 성질뿐만 아니라 본 원리들의 다른 목적들, 이점들, 특징들 및 용도들은 첨부 도면들과 관련하여 행해지는 예들의 다음의 설명으로부터 명확해질 것이다.
도면들에서, 본 원리들의 예들이 예시된다.
도 1은 HEVC에 따른 코딩 상황에서 픽처 데이터의 파티셔닝을 예시한다.
도 2는 CU를 HEVC에 따른 예측 단위들로 파티셔닝하는 예들을 도시한다.
도 3a 및 도 3b는 CU를 인트라-예측하기 위해 사용되는 비-정사각형 파티션 타입들의 예들을 도시한다.
도 4 내지 도 9는 CU와 관련된 변환 트리 잎들을 스캐닝하기 위한 예들을 도시한다.
도 10은 본 원리들의 예에 따른 디바이스의 아키텍처의 예를 도시한다.
도 11은 본 원리들의 예에 따라 통신 네트워크를 통해 통신하는 2개의 원격 디바이스들을 도시한다.
도 12는 본 원리들의 예에 따른 신호의 신택스를 도시한다.
유사하거나 동일한 요소들은 동일한 참조 부호들로 참조된다.
도 1은 HEVC에 따른 코딩 상황에서 픽처 데이터의 파티셔닝을 예시한다.
도 2는 CU를 HEVC에 따른 예측 단위들로 파티셔닝하는 예들을 도시한다.
도 3a 및 도 3b는 CU를 인트라-예측하기 위해 사용되는 비-정사각형 파티션 타입들의 예들을 도시한다.
도 4 내지 도 9는 CU와 관련된 변환 트리 잎들을 스캐닝하기 위한 예들을 도시한다.
도 10은 본 원리들의 예에 따른 디바이스의 아키텍처의 예를 도시한다.
도 11은 본 원리들의 예에 따라 통신 네트워크를 통해 통신하는 2개의 원격 디바이스들을 도시한다.
도 12는 본 원리들의 예에 따른 신호의 신택스를 도시한다.
유사하거나 동일한 요소들은 동일한 참조 부호들로 참조된다.
본 원리들은 본 원리들의 예들이 도시되어 있는 첨부된 도면들을 참조하여 이하에서 보다 상세히 설명될 것이다. 그러나, 본 원리들은 많은 대안적 형태들로 구현될 수 있으며 본 명세서에 개시된 예들에 제한되는 것으로 해석되어서는 안 된다. 따라서, 본 원리들은 다양한 수정들 및 대안적인 형태들이 가능하지만, 그 특정한 예들은 도면들에서 예들로서 도시되며 본 명세서에 상세히 설명될 것이다. 그러나, 본 원리들을 개시된 특정한 형태들로 제한할 의도는 없고, 반대로, 본 개시내용은 청구항들에 의해 정의된 바와 같은 본 원리들의 사상 및 범위 내에 속하는 모든 수정들, 균등물들, 및 대안들을 포괄하는 것으로 이해되어야 한다.
본 명세서에서 사용되는 용어는 특정한 예들을 설명하기 위한 것일 뿐이며, 본 원리들을 제한하는 것으로 의도되지 않는다. 본 명세서에서 사용될 때, 단수 형태들은, 문맥상 명확하게 달리 나타내지 않는 한, 복수 형태들도 포함하는 것으로 의도된다. "포함하고" 및/또는 "포함하는"이란 용어들은, 본 명세서에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들 및/또는 구성요소들의 존재를 지정하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 구성요소 및/또는 그 그룹의 존재 또는 추가를 배제하지는 않는다는 것이 또한 이해될 것이다. 더구나, 요소가 다른 요소에 "응답하는" 또는 "연결되는" 것으로서 언급될 때, 그 요소는 다른 요소에 직접적으로 응답하거나 연결될 수 있거나, 또는 개재하는 요소들이 존재할 수 있다. 반면에, 요소가 다른 요소에 "직접적으로 응답하는" 또는 "직접적으로 연결되는" 것으로서 언급될 때에는, 개재하는 요소들이 존재하지 않는다. 본 명세서에서 사용될 때, "및/또는"이라는 용어는 나열된 관련 항목들 중 하나 이상의 임의의 및 모든 조합들을 포함하며, "/"로서 축약될 수 있다.
다양한 요소들을 설명하기 위해 제1, 제2 등의 용어들이 본 명세서에서 사용될 수 있기는 하지만, 이러한 요소들은 이런 용어들에 의해 제한되지 않아야 한다는 것을 이해할 것이다. 이러한 용어들은 하나의 요소와 다른 요소를 구별하는데 사용될 뿐이다. 예를 들어, 본 원리들의 교시들로부터 벗어나지 않고, 제1 요소는 제2 요소라 명명될 수 있고, 유사하게, 제2 요소는 제1 요소라 명명될 수 있다.
일부 도면들이 통신의 주요 방향을 나타내기 위해 통신 경로들 상에 화살표들을 포함하고 있지만, 통신은 묘사된 화살표들과 반대 방향으로 일어날 수 있다는 것을 이해해야 한다.
일부 예들은 블록도들 및 동작 흐름도들과 관련하여 설명되며, 각각의 블록은 회로 요소, 모듈, 또는 지정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행가능한 명령어를 포함하는 코드의 일부를 나타낸다. 다른 구현예들에서, 블록들에서 언급된 기능(들)은 언급된 순서에서 벗어나서 발생할 수 있음에 또한 유의해야 한다. 예를 들면, 연속해서 도시된 2개의 블록은, 실제로는 실질적으로 동시에 실행될 수 있거나 또는 그 블록들은 때때로 수반된 기능에 따라 역순으로 실행될 수 있다.
본 명세서에서 "일 예에 따라" 또는 "일 예에서"라는 언급은 이 예와 관련하여 설명된 특정한 특징, 구조 또는 특성이 본 원리들의 적어도 하나의 구현예에 포함될 수 있음을 의미한다. 본 명세서의 여러 곳들에서의 문구 "일 예에 따라" 또는 "일 예에서"라는 표현들은 반드시 모두 동일한 예를 언급하고 있는 것도 아니며, 별개의 또는 대안적인 예들이 다른 예들과 반드시 상호 배타적이지도 않다.
청구항들에서 나타나는 참조 번호들은 단지 예시에 의한 것이며, 청구항들의 범위에 대한 제한적인 영향을 주지 않는다.
명시적으로 설명되지 않을지라도, 본 예들 및 변형예들은 임의의 조합 또는 하위 조합으로 사용될 수 있다.
본 원리들은 픽처를 인코딩/디코딩하는 것으로 설명되지만, 아래에서 설명되는 바와 같이 시퀀스의 각각의 픽처가 순차적으로 인코딩/디코딩되기 때문에 시퀀스들(비디오)의 시퀀스의 인코딩/디코딩으로 확장된다.
본 원리들은 인트라-예측 코딩 단위들에 대한 인트라 파티션 타입들의 풍부한 세트로 이루어진다. 먼저, HEVC에서 정의된 바와 같이 인터-예측 CU들에 대해 이미 존재하는 2Nx2N 및 NxN과 상이한 모든 파티션 타입들이 도 3a에 도시된 바와 같이 기존 코덱 설계에 추가된다.
추가적으로, 본 원리들은 새로운 비-정사각형 파티션 타입들을 지원하는 것을 가능하게 한다. 실제로, HEVC 및 JEM에서 지금까지 수행된 바와 같이, 변환 트리가 예측 단위(PU)들로의 파티셔닝로부터 완전히 독립적으로 남아 있다면, 이러한 새로운 인트라 파티션들을 지원하는 것은 가능하지 않다. 인트라에서 이러한 새로운 인트라 파티션들을 지원하는 것을 가능하게 하는 기술적 수단이 아래에 설명된다.
본 원리들은 픽처 데이터를 포함하는 코딩 단위 CU를 인트라-예측 인코딩하기 위한 방법에 관한 것이며, 상기 인트라-예측 인코딩은 예측 트리 및 변환 트리에 의존한다. 이 방법은,
비-정사각형 파티션 타입에 따라 코딩 단위를 공간적으로 파티셔닝함으로써 상기 예측 트리를 획득하는 단계;
잎들 각각이 상기 획득된 예측 트리의 고유 단위에 임베딩되도록 하기 위해 상기 변환 트리를 결정하는 단계; 및
상기 변환 트리의 잎들의 크기 및 상기 비-정사각형 파티션 타입을 신호에서 시그널링하는 단계를 더 포함한다.
일 실시예에 따르면, 이 방법은, 상기 획득된 예측 트리의 동일한 단위에 임베딩되는 상기 변환 트리의 잎들 모두가, 상기 획득된 예측 트리의 다른 단위에 임베딩되는 변환 트리의 잎들의 스캐닝을 시작하기 전에 스캐닝되도록, 상기 비-정사각형 파티션 타입에 따라 변환 트리 스캐닝 순서를 결정하는 단계를 더 포함한다.
일 실시예에 따르면, 변환 트리 스캐닝 순서는 Z-스캔 순서이다.
일 실시예에 따르면, 동일한 변환 트리의 잎들은 동일한 크기를 갖는다.
여기서의 방법의 이러한 실시예들의 세부사항들
인트라-예측 CU들에 대해 비-정사각형 파티션 타입을 지원하는 제1 기술적 수단은 인트라-예측된 CU에 포함된 임의의 TU가 동일 위치의 PU 내에 공간적으로 임베딩되는 것을 보장하는 것을 목표로 한다. 이는, 완전히 재구성된 버전에서 이용가능한 주변 참조 샘플들에 기초하여 인트라 예측을 수행하는 것을 가능하게 하기 위해 인트라에서 강제적이다(인터-예측에서는 아님).
이를 수행하기 위해, 본 원리들은 인트라-예측을 위해 비-정사각형 파티션 타입이 고려되면 다음의 방식으로 CU를 파티셔닝하는 것을 강제한다:
CU는, 이러한 잎들이 CU의 예측 단위들에 임베딩되는 경우 최대 크기를 갖는 잎들로 구성된 하나의 변환 트리로 분할된다. 변환 트리 잎들로의 이러한 분할은 인코더 및 디코더 측에서 동기식으로 수행되며 CU(코딩 단위) 및 PU(예측 트리의 단위)들의 크기들 및 형상들의 함수로서 완전히 추론된다.
이러한 특성들의 장점은, 현재의 인트라 CU에 대해 비-정사각형 PU들이 선택되는 경우에도, 인트라 예측이 폐쇄 루프 방식으로 TU(변환 트리의 단위) 단위로 수행될 수 있는 것을 보장하는 것이다.
변환 트리 잎들은 변환 트리 스캐닝 순서에 따라 프로세싱되며(인코더 및 디코더 측들), 이 순서는 PU들의 타입들에 의존한다. 이러한 스캐닝 순서는 디코더에 공지된다. 이는, 주어진 예측 단위에 공간적으로 위치되는 모든 변환 트리 잎들이 다른 PU에 공간적으로 위치된 변환 트리 잎들의 프로세싱을 시작하기 전에 프로세싱되도록 설계된다. PU 인덱싱 순서는 변환 트리 잎들의 프로세싱(디코딩 또는 코딩) 동안 준수된다.
이러한 특성의 장점은 비-정사각형 인트라 PU들이 사용되는 경우 인코더 측에서 인트라 예측 모드의 레이트 왜곡 최적화를 관리가능하게 한다는 점이다. 실제로, 이는, 다음 PU의 프로세싱을 시작하기 전에 주어진 예측 단위와 연관된 인트라 예측 모드를 선택하는 것을 허용한다. 이는, 기존의 Z-스캔 스캐닝 순서가 이용된 경우에는 그렇지 않을 것이다. 초기 2Nx2N 및 NxN에 있어서, 주어진 CU의 변환 트리를 프로세싱하기 위한 HEVC Z-스캔 순서는 자연스럽게 PU 인덱싱 순서와 동일한 순서를 따른다.
도 4는 CU와 관련된 변환 트리 잎들을 스캐닝하기 위한 예들을 도시하며: 좌측은 종래 기술이고 우측은 임베딩된 쿼드-트리이다.
제1 실시예(실시예 TU-1)에 따르면, 각각의 변환 트리의 잎에 포함된 변환 단위는 쿼드-트리 방식으로 프로세싱(디코딩 및 코딩)된다. 이것은, 각각의 변환 트리 잎이 쿼드-트리에 후속하여 더 작은 TU들로 분리된다는 것을 의미한다. 이러한 쿼드-트리는, 쿼드-트리 방식으로 분리되는 앞서 소개된 변환 트리 잎들을 넘어 변환 트리를 확장한다. 이는 도 4의 우측에 예시되어 있다. TU 크기는 인코더 측의 레이트 왜곡 최적화 프로세스에 의해 결정되며, 기존의 변환 트리 코딩 신택스를 통해 신호로 시그널링된다. 각각의 변환 트리의 디코딩 또는 코딩 동안 이용되는 TU 스캐닝 순서는 HEVC 또는 JEM의 경우에서와 같이 Z-스캔 순서(도 4의 우측 참조)일 수 있다.
이러한 특성의 장점은 주어진 CU 및 PU 타입과 연관된 변환 단위들의 레이트 왜곡 최적 세트를 찾는 것을 허용한다는 점이다. 특히, 가능한 경우에는 항상, 가능한 한 큰 변환 단위들이 사용될 수 있다.
파티션 타입의 함수로서 변환 트리의 추론된 표현의 다른 예가 2NxnU 파티션 타입에 대해 도 5에 예시되어 있다. 볼 수 있는 바와 같이, 일 실시예(TT-1)에 따르면, 변환 트리 잎들은, 고유한 예측 단위에 임베딩된 각각의 변환 트리 잎이 가능한 한 큰 크기를 갖는 방식으로 추론된다.
주어진 실시예(TTS-1)에 따르면, 예측 단위 내에서 각각의 변환 트리 잎을 연속적으로 프로세싱하기 위해 사용되는 스캐닝 순서는 변환 트리 잎들 사이에서 Z-스캔 순서를 따른다(도 5의 중간 참조).
도 5: 좌측: 코딩 단위(CU)의 비대칭적 파티셔닝(2NxnU). 중간: 각각의 PU(중간)에 공간적으로 포함된 변환 트리 잎들을 디코딩 및 인코딩하기 위해 사용된 Z-스캔 순서(TTS-1). 우측: 고려된 CU에 포함된 TU들 사이에 사용된 결과적인 스캐닝 순서.
다른 실시예(TTS-2)에 따르면, 비-정사각형 예측 단위에 포함된 변환 트리 잎들의 프로세싱은 이러한 변환 트리 잎들 사이의 래스터 스캔 순서를 따른다. 이는 도 6의 중간에 예시되어 있다.
도 6: 좌측: 코딩 단위(CU)의 비대칭적 파티셔닝(2NxnU). 중간: 각각의 PU(중간)에 공간적으로 포함된 변환 트리 잎들을 디코딩 및 인코딩하기 위해 사용된 래스터-스캔 순서(TTS-2). 우측: 고려된 CU에 포함된 TU들 사이에 사용된 결과적인 스캐닝 순서.
다른 실시예(TT-2)에 따르면, 변환 트리 잎들은 코딩 단위를 분할하여, 각각의 예측 단위가 동일한 크기들을 갖는 변환 트리 잎들에 의해 공간적으로 커버링된다. 이는 도 7 및 도 8의 중간에 도시되어 있다.
도 7: 코딩 단위(CU)의 비대칭적 파티셔닝(2NxnU). 중간: 동일한 크기들을 갖는(TT-2) 각각의 PU(중간)에 공간적으로 포함된 변환 트리 잎들을 디코딩 및 인코딩하기 위해 사용된 Z-스캔 순서(TTS-1). 우측: 고려된 CU에 포함된 TU들 사이에 사용된 결과적인 스캐닝 순서.
이러한 마지막(TT-2) 실시예에서, 고유한 PU에 공간적으로 포함된 각각의 변환 트리 잎을 인코딩 및 디코딩하기 위한 스캐닝 순서는 Z-스캔 순서(실시예 TTS-1, 도 7의 중간), 또는 래스터-스캔 순서(실시예 TTS-2, 도 8의 중간)를 따를 수 있다.
도 8: 좌측: 코딩 단위(CU)의 비대칭적 파티셔닝(2NxnU). 중간: 동일한 크기들을 갖는(TT-2) 각각의 PU(중간)에 공간적으로 포함된 변환 트리 잎들을 디코딩 및 인코딩하기 위해 사용된 래스터-스캔 순서(TTS-2). 우측: 고려된 CU에 포함된 TU들 사이에 사용된 결과적인 스캐닝 순서.
또한, 인트라 CU에 대해 선택된 파티셔닝에 기초한 크로마 성분들의 PU 타입의 추론에 관한 것이다. 도 9의 좌측 바닥에 예시된 바와 같이, 2Nx2N 예측 단위 타입은 CU의 루마 성분을 분리하기 위해 비-정사각형 파티셔닝이 선택되는 경우, CU의 크로마 성분들을 분리하기 위해 사용된다.
또한, 크로마 변환 트리에 대해, 이는 루마 성분에서 결정되는 변환 트리 구조로부터 여전히 완전히 추론될 수 있다. 이는 HEVC 및 JEM에 이미 특정된 규칙들을 따른다. 이는 도 9의 바닥-우측에 예시되어 있다.
도 9: 상단-좌측: 코딩 단위(CU)의 비대칭적 파티셔닝(2NxnU). 상단-중간: 각각의 PU(중간)에 포함된 변환 트리 잎들을 디코딩 및 인코딩하기 위해 사용된 Z-스캔 순서(TTS-1). 상단-우측: 고려된 CU에 포함된 TU들 사이에 사용된 결과적인 스캐닝 순서. 바닥-좌측: 비-정사각형 루마 파티셔닝의 경우 크로마 PU 타입. 바닥-우측: 루마 변환 트리들로부터 추론되는 크로마 변환 단위들.
본 원리들은 추가적으로 픽처 데이터를 인코딩하기 위한 방법에 관한 것으로, 상기 픽처 데이터는 적어도 하나의 코딩 단위를 형성한다. 그 다음, 상기 코딩 단위들 중 적어도 하나는 본 원리들에 따라 앞서 설명된 인코딩 방법에 따라 인코딩된다.
본 원리들은 추가적으로 픽처 데이터를 포함하는 코딩 단위를 인트라-예측 디코딩하기 위한 방법에 관한 것이며, 상기 인트라-예측 디코딩은 예측 트리 및 변환 트리에 의존한다. 이 방법은,
상기 변환 트리의 잎들의 크기들 및 비-정사각형 파티션 타입을 획득하는 단계;
상기 비-정사각형 파티션 타입에 따라 예측 트리를 구축하는 단계;
변환 트리의 잎들에 따라 그리고 그 잎들 각각이 상기 구축된 예측 트리의 고유 단위에 임베딩되도록 하기 위해 상기 변환 트리를 구축하는 단계를 더 포함한다.
본 원리들은 추가적으로 픽처 데이터를 디코딩하기 위한 방법에 관한 것으로, 상기 픽처 데이터는 적어도 하나의 코딩 단위를 형성한다. 그 다음, 상기 코딩 단위들 중 적어도 하나는 본 원리들에 따라 앞서 설명된 디코딩 방법에 따라 디코딩된다.
디코딩 방법의 다양한 실시예들 및 변형들은 상기 설명, 특히 도 1 내지 도 9의 설명으로부터 용이하게 추론될 수 있다.
도 1 내지 도 9에서, 모듈은 식별가능한 물리적 유닛들과 관련이 있거나 그렇지 않을 수도 있는 기능 유닛들이다. 예를 들어, 이러한 모듈들 또는 이들 중 일부는 고유 컴포넌트 또는 회로에 통합되거나 소프트웨어의 기능들에 기여할 수 있다. 대조적으로, 일부 모듈들은 잠재적으로 별개의 물리적 엔티티들로 구성될 수 있다. 본 원리들과 호환가능한 장치는 순수한 하드웨어, 예를 들어 ASIC 또는 FPGA 또는 VLSI와 같은 전용 하드웨어(각각 ≪ Application Specific Integrated Circuit ≫, ≪ Field-Programmable Gate Array ≫, ≪ Very Large Scale Integration ≫)를 사용하여, 또는 디바이스에 내장된 몇몇 통합 전자 컴포넌트들로부터 또는 하드웨어와 소프트웨어 컴포넌트들의 혼합으로부터 구현된다.
도 10은 도 1 내지 도 9와 관련하여 설명된 방법을 구현하도록 구성될 수 있는 디바이스(100)의 예시적인 아키텍처를 표현한다.
디바이스(100)는 데이터 및 어드레스 버스(101)에 의해 함께 링크되는 하기 요소들을 포함한다:
- 예를 들어, DSP(즉, Digital Signal Processor)인 마이크로프로세서(102)(또는 CPU);
- ROM (즉, Read Only Memory)(103);
- RAM (즉, Random Access Memory)(104);
- 애플리케이션으로부터, 송신할 데이터의 수신을 위한 I/O 인터페이스(105); 및
- 배터리(106).
일 예에 따르면, 배터리(106)는 디바이스 외부에 있다. 언급된 메모리 각각에서, 본 명세서에서 사용되는 용어 ≪ 레지스터 ≫는 작은 용량(일부 비트들)의 영역에 또는 매우 큰 영역(예를 들어, 전체 프로그램 또는 대량의 수신 또는 디코딩된 데이터)에 대응할 수 있다. ROM(103)은 적어도 프로그램 및 파라미터들을 포함한다. ROM(103)은 본 원리들에 따른 기술들을 수행하기 위한 알고리즘들 및 명령어들을 저장할 수 있다. 스위치 온되는 경우, CPU(102)는 RAM에 프로그램을 업로드하고, 대응하는 명령어들을 실행한다.
RAM(104)은, 레지스터에서, CPU(102)에 의해 실행되고 디바이스(100)의 스위치 온 후에 업로드되는 프로그램, 레지스터 내의 입력 데이터, 레지스터 내의 방법의 다른 상태들의 중간적 데이터 및 레지스터 내의 방법의 실행을 위해 사용되는 다른 변수들을 포함한다.
본원에서 설명되는 구현들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호에서 구현될 수 있다. 오직 단일 형태의 구현의 상황에서 논의되는(예를 들어, 오직 방법 또는 디바이스로서만 논의되는) 경우에도, 논의되는 특징들의 구현은 또한 다른 형태들(예를 들어, 프로그램)로 구현될 수 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 예를 들어, 방법들은, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능 로직 디바이스를 포함하는 일반적인 프로세싱 디바이스들을 지칭하는, 예를 들어, 프로세서와 같은 장치로 구현될 수 있다. 프로세서들은 또한, 예를 들어, 컴퓨터들, 셀 폰들, 휴대용/개인 휴대 정보 단말("PDA들"), 및 최종 사용자들 사이에서 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.
인코딩 또는 인코더의 예에 따르면, 인코딩될 픽처 데이터 또는 코딩 단위는 소스로부터 획득된다. 예를 들어, 소스는 다음을 포함하는 세트에 속한다:
로컬 메모리(103 또는 104), 예를 들어, 비디오 메모리 또는 RAM(즉, Random Access Memory), 플래시 메모리, ROM(즉, Read Only Memory), 하드 디스크;
저장 인터페이스(105), 예를 들어, 대용량 저장소, RAM, 플래시 메모리, ROM, 광 디스크 또는 자기 지원부와의 인터페이스;
통신 인터페이스(105), 예를 들어, 유선 인터페이스(예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스) 또는 무선 인터페이스(예를 들어, IEEE 802.11 인터페이스 또는 Bluetooth® 인터페이스); 및
픽처 캡처 회로(예를 들어, CCD(즉, Charge-Coupled Device) 또는 CMOS(즉, Complementary Metal-Oxide-Semiconductor)와 같은 센서).
디코딩 또는 디코더의 예에 따르면, 디코딩된 픽처 데이터 또는 디코딩된 코딩 단위는 목적지로 전송되고; 구체적으로, 목적지는 다음을 포함하는 세트에 속한다:
로컬 메모리(103 또는 104), 예를 들어, 비디오 메모리 또는 RAM, 플래시 메모리, 하드 디스크;
저장 인터페이스(105), 예를 들어, 대용량 저장소, RAM, 플래시 메모리, ROM, 광 디스크 또는 자기 지원부와의 인터페이스;
통신 인터페이스(105), 예를 들어, 유선 인터페이스(예를 들어, 버스 인터페이스(예를 들어, USB(즉, Universal Serial Bus)), 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스, HDMI(High Definition Multimedia Interface) 인터페이스) 또는 무선 인터페이스(예를 들어, IEEE 802.11 인터페이스, WiFi ® 또는 Bluetooth ® 인터페이스); 및
디스플레이.
인코딩 또는 인코더의 예들에 따르면, 신호 S가 생성된다.
신호 S는 픽처 데이터를 포함하는 코딩 단위를 인트라-예측 디코딩하기 위한 방법에 관한 디코딩 파라미터들을 갖는다. 상기 인트라-예측 디코딩은 예측 트리 및 변환 트리에 의존한다. 신호 S는 상기 변환 트리를 구축하기 위해 사용되는 상기 변환 트리의 잎들의 크기들을 기술하는 정보 데이터 및 상기 예측 트리를 구축하기 위해 사용되는 비-정사각형 파티션 타입을 포함하도록 포맷된다.
변형에 따르면, 정보 데이터는, 상기 획득된 예측 트리의 동일한 단위에 임베딩되는 변환 트리의 잎들 모두가, 상기 획득된 예측 트리의 다른 단위에 임베딩되는 변환 트리의 잎들의 스캐닝을 시작하기 전에 스캐닝되도록, 변환 트리 스캐닝 순서를 결정하기 위해 사용되는 것으로 추가로 의도된다.
신호 S는 목적지로 전송된다. 일 예로, 신호 S는 로컬 또는 원격 메모리, 예를 들어, 비디오 메모리(104) 또는 RAM(104), 하드 디스크(103)에 저장된다. 변형에서, 하나의 또는 2개의 비트스트림들 모두는 저장 인터페이스(105), 예를 들어, 대용량 저장소, 플래시 메모리, ROM, 광 디스크 또는 자기 지원부와의 인터페이스에 전송되고 그리고/또는 통신 인터페이스(105), 예를 들어, 포인트 투 포인트 링크, 통신 버스, 포인트 투 멀티포인트 링크 또는 브로드캐스트 네트워크로의 인터페이스를 통해 송신된다.
디코딩 또는 디코더의 예들에 따르면, 신호 S는 소스로부터 획득된다. 예시적으로, 신호 S는 로컬 메모리, 예를 들어, 비디오 메모리(104), RAM(104), ROM(103), 플래시 메모리(103) 또는 하드 디스크(103)로부터 판독된다. 변형으로, 신호 S는 저장 인터페이스(105), 예를 들어, 대용량 저장소, RAM, ROM, 플래시 메모리, 광 디스크 또는 자기 지원부와의 인터페이스로부터 수신되고 그리고/또는 통신 인터페이스(105), 예를 들어, 포인트 투 포인트 링크, 버스, 포인트 투 멀티포인트 링크 또는 브로드캐스트 네트워크로의 인터페이스로부터 수신된다.
예들에 따르면, 도 1 내지 도 9와 관련하여 설명된 인코딩 방법을 구현하도록 구성된 디바이스(100)는 다음을 포함하는 세트에 속한다:
- 모바일 디바이스;
- 통신 디바이스;
- 게임 디바이스;
- 태블릿(또는 태블릿 컴퓨터);
- 랩탑;
- 스틸 픽처 카메라;
- 비디오 카메라;
- 인코딩 칩;
- 스틸 픽처 서버; 및
- 비디오 서버(예를 들어, 브로드캐스트 서버, 비디오-온-디맨드 서버 또는 웹 서버).
예들에 따르면, 앞서 설명된 디코딩 방법을 구현하도록 구성된 디바이스(100)는 다음을 포함하는 세트에 속한다:
- 모바일 디바이스;
- 통신 디바이스;
- 게임 디바이스;
- 셋탑 박스;
- TV 세트;
- 태블릿(또는 태블릿 컴퓨터);
- 랩탑;
- 디스플레이 및
- 디코딩 칩.
도 11에 예시된 본 원리들의 예에 따르면, 통신 네트워크 NET를 통한 2개의 원격 디바이스들 A 및 B 사이의 송신 상황에서, 디바이스 A는 앞서 설명된 바와 같이 픽처 데이터 또는 코딩 단위를 인코딩하기 위한 방법을 구현하도록 구성되는 메모리 RAM 및 ROM과 관련된 프로세서를 포함하고, 디바이스 B는 앞서 설명된 바와 같은 디코딩하기 위한 방법을 구현하도록 구성되는 메모리 RAM 및 ROM과 관련된 프로세서를 포함한다.
일 예에 따르면, 네트워크는 디바이스 A로부터 디바이스 B를 포함하는 디코딩 디바이스들로 스틸 픽처들 또는 비디오 픽처들을 브로드캐스트하도록 적응된 브로드캐스트 네트워크이다.
신호 S는 디바이스 A에 의해 송신되고 디바이스 B에 의해 수신되도록 의도된다.
도 12는 데이터가 패킷 기반 송신 프로토콜을 통해 전송되는 경우 이러한 신호의 신택스의 예를 도시한다. 각각의 송신된 패킷 P는 헤더 H 및 페이로드 PAYLOAD를 포함한다. 예를 들어, 헤더 H의 비트는 신호 S에 의해 반송되는 정보 데이터를 표현하도록 전용된다. 변형에서, 다수의 플래그들이 신호 S에 의해 반송되는 정보 데이터를 표현하기 위해 사용될 수 있으며, 각각의 플래그는 예를 들어, 변환 및/또는 예측 트리의 노드와 연관된다.
본 명세서에서 설명되는 다양한 프로세스들 및 특징들의 구현예들은 다양하고 상이한 장비 또는 애플리케이션들에서 구현될 수 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 처리하는 사후 프로세서, 인코더에 입력을 제공하는 사전 프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 개인용 컴퓨터, 셀 폰, PDA, 및 픽처 또는 비디오를 처리하기 위한 임의의 다른 디바이스 또는 다른 통신 디바이스들을 포함한다. 명백한 바와 같이, 이러한 장비는 이동식일 수 있으며, 심지어 이동식 차량에 설치될 수 있다.
게다가, 이 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 이러한 명령어들(및/또는 구현예에 의해 생성된 데이터 값들)은 컴퓨터 판독가능한 저장 매체 상에 저장될 수 있다. 컴퓨터 판독가능한 저장 매체는 하나 이상의 컴퓨터 판독가능한 매체(들) 내에 구현되고 컴퓨터에 의해 실행가능한 컴퓨터 판독가능한 프로그램 코드가 구현되는 컴퓨터 판독가능한 프로그램 제품의 형태를 취할 수 있다. 본 명세서에 사용되는 컴퓨터 판독가능한 저장 매체는 그 안에 정보를 저장하기 위한 고유 능력은 물론 그로부터 정보의 검색을 제공하기 위한 고유 능력이 주어지는 비일시적 저장 매체로 간주된다. 컴퓨터 판독가능한 저장 매체는, 예를 들어 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치, 디바이스, 또는 이들의 임의의 적합한 조합일 수 있지만, 이들로 제한되지 않는다. 휴대용 컴퓨터 디스켓, 하드 디스크, ROM, 소거가능한 프로그램가능한 판독 전용 메모리(EPROM 또는 플래시 메모리), 휴대용 컴팩트 디스크 판독 전용 메모리(CD-ROM), 광학 저장 디바이스, 자기 저장 디바이스 또는 이들의 임의의 적합한 조합은, 본 원리들이 적용될 수 있는 컴퓨터 판독가능한 저장 매체의 보다 구체적인 예들을 제공하지만, 관련 기술분야의 통상의 기술자가 용이하게 이해할 수 있는 단지 예시적인 것이며 포괄적인 목록이 아님을 이해해야 한다.
명령어들은 프로세서 판독가능한 매체 상에 유형적으로 구현되는 애플리케이션 프로그램을 형성할 수 있다.
명령어들은 예를 들어 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합일 수 있다. 명령어들은 예를 들어 운영 체계, 별도의 애플리케이션, 또는 이 둘의 조합에서 발견될 수 있다. 따라서, 프로세서는 예를 들어 프로세스를 수행하도록 구성된 디바이스 및 프로세스를 수행하기 위한 명령어들을 갖는 (저장 디바이스와 같은) 프로세서 판독가능한 매체를 포함하는 디바이스 모두로서 특징지어질 수 있다. 또한, 프로세서 판독가능한 매체는 명령어들에 추가하여 또는 명령어들을 대신하여, 구현예에 의해 생성된 데이터 값들을 저장할 수 있다.
관련 기술분야의 통상의 기술자에게 명백한 바와 같이, 구현예들은 예를 들어 저장되거나 전송될 수 있는 정보를 운반하도록 포맷팅된 다양한 신호들을 생성할 수 있다. 이 정보는 예를 들어 방법을 수행하기 위한 명령어들 또는 설명된 구현예들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 본 원리들의 설명된 예의 신택스를 기입 또는 판독하기 위한 규칙들을 데이터로서 운반하거나 또는 본 원리들의 설명된 예에 의해 기입된 실제 신택스 값들을 데이터로서 운반하도록 포맷팅될 수 있다. 이러한 신호는, 예를 들어 전자기파로서(예를 들어, 스펙트럼의 무선 주파수 부분을 사용) 또는 기저 대역 신호로서 포맷팅될 수 있다. 포맷팅은, 예를 들어 데이터 스트림을 인코딩하고 인코딩된 데이터 스트림으로 반송파를 변조하는 것을 포함할 수 있다. 신호가 운반하는 정보는 예를 들어 아날로그 또는 디지털 정보일 수 있다. 신호는 알려진 바와 같이 다양하고 상이한 유선 또는 무선 연결들을 통해 전송될 수 있다. 신호는 프로세서 판독가능한 매체 상에 저장될 수 있다.
다수의 구현예들이 설명되었다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수 있음이 이해될 것이다. 예를 들어, 상이한 구현예들의 요소들은 결합, 보충, 수정, 또는 제거되어 다른 구현예들을 생성할 수 있다. 게다가, 통상의 기술자는 다른 구조들 및 프로세스들이 개시된 것들에 대체될 수 있고 그 결과의 구현예들이 적어도 실질적으로 개시된 구현예들과 동일한 결과(들)를 달성하기 위해 적어도 실질적으로 동일한 기능(들)을 적어도 실질적으로 동일한 방식(들)으로 수행할 것이라는 점을 이해할 것이다. 따라서, 이들 및 다른 구현예들이 본 출원에 의해 고려된다.
Claims (16)
- 픽처 데이터를 포함하는 코딩 단위를 인트라-예측 인코딩하기 위한 방법으로서,
상기 인트라-예측 인코딩은 예측 트리 및 변환 트리에 의존하고, 상기 방법은,
비-정사각형 파티션 타입에 따라 코딩 단위를 공간적으로 파티셔닝함으로써 상기 예측 트리를 획득하는 단계;
잎들 각각이 상기 획득된 예측 트리의 고유 단위에 임베딩되도록 하기 위해 상기 코딩 단위로부터 상기 변환 트리를 결정하는 단계; 및
상기 변환 트리의 잎들의 크기 및 상기 비-정사각형 파티션 타입을 신호에서 시그널링하는 단계
를 더 포함하는 것을 특징으로 하는, 방법. - 제1항에 있어서,
상기 방법은 상기 획득된 예측 트리의 동일한 단위에 임베딩되는 변환 트리의 잎들 모두가, 상기 획득된 예측 트리의 다른 단위에 임베딩되는 변환 트리의 잎들의 스캐닝을 시작하기 전에 스캐닝되도록, 상기 비-정사각형 파티션 타입에 따라 변환 트리 스캐닝 순서를 결정하는 단계를 더 포함하는, 방법. - 제1항에 있어서,
상기 변환 트리 스캐닝 순서는 Z-스캔 순서인, 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
동일한 변환 트리의 잎들은 동일한 크기를 갖는, 방법. - 픽처 데이터를 포함하는 코딩 단위를 인트라-예측 인코딩하기 위한 디바이스로서,
상기 인트라-예측 인코딩은 예측 트리 및 변환 트리에 의존하고, 상기 디바이스는,
비-정사각형 파티션 타입에 따라 코딩 단위를 공간적으로 파티셔닝함으로써 상기 예측 트리를 획득하고;
잎들 각각이 상기 획득된 예측 트리의 고유 단위에 임베딩되도록 하기 위해 상기 코딩 단위로부터 상기 변환 트리를 결정하고;
상기 변환 트리의 잎들의 크기 및 상기 비-정사각형 파티션 타입을 신호에서 시그널링하도록
구성되는 프로세서를 더 포함하는 것을 특징으로 하는, 방법. - 픽처 데이터를 인트라-예측 인코딩하기 위한 방법으로서,
상기 픽처 데이터는 적어도 하나의 코딩 단위를 형성하고, 상기 코딩 단위들 중 적어도 하나는 제1항 내지 제4항 중 어느 한 항의 방법에 따라 인트라-예측 인코딩되는 것을 특징으로 하는, 방법. - 픽처 데이터를 인트라-예측 인코딩하기 위한 디바이스로서,
상기 픽처 데이터는 적어도 하나의 코딩 단위를 형성하고, 상기 디바이스는 제6항의 방법에 따라 상기 코딩 단위들 중 적어도 하나를 인트라-예측 인코딩하도록 구성되는 프로세서를 포함하는 것을 특징으로 하는, 디바이스. - 픽처 데이터를 포함하는 코딩 단위를 인트라-예측 디코딩하기 위한 방법으로서,
상기 인트라-예측 디코딩은 예측 트리 및 변환 트리에 의존하고, 상기 방법은,
상기 변환 트리의 잎들의 크기들 및 비-정사각형 파티션 타입을 획득하는 단계;
상기 비-정사각형 파티션 타입에 따라 예측 트리를 구축하는 단계;
변환 트리의 잎들에 따라 그리고 그 잎들 각각이 상기 구축된 예측 트리의 고유 단위에 임베딩되도록 하기 위해 상기 변환 트리를 구축하는 단계
를 더 포함하는 것을 특징으로 하는, 방법. - 제8항에 있어서,
상기 방법은 상기 획득된 예측 트리의 동일한 단위에 임베딩되는 변환 트리의 잎들 모두가, 상기 획득된 예측 트리의 다른 단위에 임베딩되는 변환 트리의 잎들의 스캐닝을 시작하기 전에 스캐닝되도록, 상기 비-정사각형 파티션 타입에 따라 변환 트리 스캐닝 순서를 결정하는 단계를 더 포함하는, 방법. - 픽처 데이터를 포함하는 코딩 단위를 인트라-예측 디코딩하기 위한 디바이스로서,
상기 인트라-예측 디코딩은 예측 트리 및 변환 트리에 의존하고, 상기 디바이스는,
상기 변환 트리의 잎들의 크기들 및 비-정사각형 파티션 타입을 획득하고;
상기 비-정사각형 파티션 타입에 따라 예측 트리를 구축하고;
변환 트리의 잎들에 따라 그리고 그 잎들 각각이 상기 구축된 예측 트리의 고유 단위에 임베딩되도록 하기 위해 상기 변환 트리를 구축하도록
구성되는 프로세서를 포함하는 것을 특징으로 하는, 디바이스. - 적어도 하나의 코딩 유닛을 형성하는 픽처 데이터를 인트라-예측 디코딩하기 위한 방법으로서,
상기 코딩 단위들 중 적어도 하나는 제8항 또는 제9항의 방법에 따라 인트라-예측 디코딩되는 것을 특징으로 하는, 방법. - 적어도 하나의 코딩 단위를 형성하는 픽처 데이터를 인트라-예측 디코딩하기 위한 디바이스로서,
상기 디바이스는 제8항 또는 제9항의 방법에 따라 상기 코딩 단위들 중 적어도 하나를 인트라-예측 디코딩하도록 구성되는 프로세서를 포함하는 것을 특징으로 하는, 디바이스. - 픽처 데이터를 포함하는 코딩 단위를 인트라-예측 디코딩하기 위한 방법과 관련된 디코딩 파라미터들을 갖는 신호로서,
상기 인트라-예측 디코딩은 예측 트리 및 변환 트리에 의존하고, 상기 신호는 상기 변환 트리를 구축하기 위해 사용되는 상기 변환 트리의 잎들의 크기들을 기술하는 정보 데이터 및 상기 예측 트리를 구축하기 위해 사용되는 비-정사각형 파티션 타입을 포함하도록 포맷되는 것을 특징으로 하는, 신호. - 제13항에 있어서,
상기 비-정사각형 파티션 타입은, 상기 획득된 예측 트리의 동일한 단위에 임베딩되는 상기 변환 트리의 잎들 모두가, 상기 획득된 예측 트리의 다른 단위에 임베딩되는 변환 트리의 잎들의 스캐닝을 시작하기 전에 스캐닝되도록, 변환 트리 스캐닝 순서를 결정하기 위해 사용되도록 추가로 의도되는, 신호. - 컴퓨터 프로그램 제품으로서, 컴퓨터 상에서 이 프로그램이 실행될 때, 제1항, 제7항, 제8항 또는 제11항 중 어느 한 항에 따른 방법의 단계들을 실행하기 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품.
- 프로그램 코드의 명령어들을 반송하는 비일시적 저장 매체로서, 상기 명령어들은 컴퓨팅 디바이스 상에서 상기 프로그램이 실행될 때, 제1항, 제7항, 제8항 또는 제11항 중 어느 한 항의 방법의 단계들을 실행하기 위한 비일시적 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16305160.0 | 2016-02-12 | ||
| EP16305160 | 2016-02-12 | ||
| PCT/EP2017/052322 WO2017137312A1 (en) | 2016-02-12 | 2017-02-03 | A method and device for intra-predictive encoding/decoding a coding unit comprising picture data, said intra-predictive encoding depending on a prediction tree and a transform tree |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180109927A true KR20180109927A (ko) | 2018-10-08 |
Family
ID=55404664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187022871A KR20180109927A (ko) | 2016-02-12 | 2017-02-03 | 예측 트리 및 변환 트리에 의존하는, 픽처 데이터를 포함하는 코딩 단위를 인트라-예측 인코딩/디코딩하기 위한 방법 및 디바이스 |
Country Status (11)
| Country | Link |
|---|---|
| US (2) | US11778190B2 (ko) |
| EP (1) | EP3414902A1 (ko) |
| JP (3) | JP7023236B2 (ko) |
| KR (1) | KR20180109927A (ko) |
| CN (2) | CN108702508B (ko) |
| BR (1) | BR112018015266A2 (ko) |
| CA (1) | CA3014259A1 (ko) |
| MX (1) | MX2018009722A (ko) |
| RU (1) | RU2018132266A (ko) |
| TW (1) | TW201740731A (ko) |
| WO (1) | WO2017137312A1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021215811A1 (ko) * | 2020-04-24 | 2021-10-28 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| WO2021246837A1 (ko) * | 2020-06-05 | 2021-12-09 | 엘지전자 주식회사 | 포인트 클라우드 데이터 처리 디바이스 및 처리 방법 |
| WO2021246839A1 (ko) * | 2020-06-05 | 2021-12-09 | 엘지전자 주식회사 | 포인트 클라우드 데이터 처리 디바이스 및 처리 방법 |
| WO2021256887A1 (ko) * | 2020-06-18 | 2021-12-23 | 엘지전자 주식회사 | 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| WO2021256873A1 (ko) * | 2020-06-17 | 2021-12-23 | 엘지전자 주식회사 | 포인트 클라우드 데이터 처리 디바이스 및 처리 방법 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3804313A1 (en) | 2018-06-29 | 2021-04-14 | Huawei Technologies Co., Ltd. | Device and method for intra-prediction |
| AU2018217336A1 (en) * | 2018-08-17 | 2020-03-05 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding a transformed block of video samples |
| JP2022016726A (ja) * | 2018-11-16 | 2022-01-25 | ソニーグループ株式会社 | 画像処理装置および方法 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101456498B1 (ko) | 2009-08-14 | 2014-10-31 | 삼성전자주식회사 | 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
| KR101484280B1 (ko) * | 2009-12-08 | 2015-01-20 | 삼성전자주식회사 | 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치 |
| US10397577B2 (en) | 2011-03-08 | 2019-08-27 | Velos Media, Llc | Inverse scan order for significance map coding of transform coefficients in video coding |
| US9807426B2 (en) * | 2011-07-01 | 2017-10-31 | Qualcomm Incorporated | Applying non-square transforms to video data |
| JP5541240B2 (ja) | 2011-07-12 | 2014-07-09 | コニカミノルタ株式会社 | 画像形成装置および画像処理方法 |
| US8964833B2 (en) * | 2011-07-19 | 2015-02-24 | Qualcomm Incorporated | Deblocking of non-square blocks for video coding |
| CN103748877B (zh) | 2011-08-17 | 2017-05-10 | 联发科技（新加坡）私人有限公司 | 帧内预测方法和装置 |
| US9787982B2 (en) | 2011-09-12 | 2017-10-10 | Qualcomm Incorporated | Non-square transform units and prediction units in video coding |
| BR112014007494B1 (pt) | 2011-09-29 | 2022-05-31 | Sharp Kabushiki Kaisha | Dispositivo de decodificação de imagem, método de decodificação de imagem, e dispositivo de codificação de imagem |
| US9838692B2 (en) | 2011-10-18 | 2017-12-05 | Qualcomm Incorporated | Detecting availabilities of neighboring video units for video coding |
| US20130136180A1 (en) * | 2011-11-29 | 2013-05-30 | Futurewei Technologies, Inc. | Unified Partitioning Structures and Signaling Methods for High Efficiency Video Coding |
| CN107734346B (zh) | 2012-02-04 | 2020-11-20 | Lg 电子株式会社 | 视频编码方法、视频解码方法和使用其的设备 |
| GB2501535A (en) | 2012-04-26 | 2013-10-30 | Sony Corp | Chrominance Processing in High Efficiency Video Codecs |
| GB2508339A (en) * | 2012-11-22 | 2014-06-04 | Sony Corp | Manipulation of transform coefficient blocks in high-efficiency video coding (HEVC) |
| US11284103B2 (en) | 2014-01-17 | 2022-03-22 | Microsoft Technology Licensing, Llc | Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning |
| US10306229B2 (en) * | 2015-01-26 | 2019-05-28 | Qualcomm Incorporated | Enhanced multiple transforms for prediction residual |
| WO2016137368A1 (en) * | 2015-02-25 | 2016-09-01 | Telefonaktiebolaget Lm Ericsson (Publ) | Encoding and decoding of inter pictures in a video |
-
2017
- 2017-02-03 KR KR1020187022871A patent/KR20180109927A/ko active Search and Examination
- 2017-02-03 WO PCT/EP2017/052322 patent/WO2017137312A1/en active Application Filing
- 2017-02-03 EP EP17702391.8A patent/EP3414902A1/en active Pending
- 2017-02-03 CN CN201780010858.8A patent/CN108702508B/zh active Active
- 2017-02-03 CA CA3014259A patent/CA3014259A1/en not_active Abandoned
- 2017-02-03 CN CN202310309329.5A patent/CN116389729A/zh active Pending
- 2017-02-03 BR BR112018015266-8A patent/BR112018015266A2/pt not_active IP Right Cessation
- 2017-02-03 US US16/077,471 patent/US11778190B2/en active Active
- 2017-02-03 MX MX2018009722A patent/MX2018009722A/es unknown
- 2017-02-03 JP JP2018540127A patent/JP7023236B2/ja active Active
- 2017-02-03 RU RU2018132266A patent/RU2018132266A/ru not_active Application Discontinuation
- 2017-02-10 TW TW106104321A patent/TW201740731A/zh unknown
-
2022
- 2022-02-08 JP JP2022017660A patent/JP2022065033A/ja active Pending
-
2023
- 2023-07-13 JP JP2023115058A patent/JP2023139081A/ja active Pending
- 2023-08-03 US US18/229,987 patent/US20230412810A1/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021215811A1 (ko) * | 2020-04-24 | 2021-10-28 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| WO2021246837A1 (ko) * | 2020-06-05 | 2021-12-09 | 엘지전자 주식회사 | 포인트 클라우드 데이터 처리 디바이스 및 처리 방법 |
| WO2021246839A1 (ko) * | 2020-06-05 | 2021-12-09 | 엘지전자 주식회사 | 포인트 클라우드 데이터 처리 디바이스 및 처리 방법 |
| WO2021256873A1 (ko) * | 2020-06-17 | 2021-12-23 | 엘지전자 주식회사 | 포인트 클라우드 데이터 처리 디바이스 및 처리 방법 |
| WO2021256887A1 (ko) * | 2020-06-18 | 2021-12-23 | 엘지전자 주식회사 | 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023139081A (ja) | 2023-10-03 |
| WO2017137312A1 (en) | 2017-08-17 |
| US20190052881A1 (en) | 2019-02-14 |
| CN116389729A (zh) | 2023-07-04 |
| BR112018015266A2 (pt) | 2018-12-18 |
| MX2018009722A (es) | 2019-01-24 |
| JP7023236B2 (ja) | 2022-02-21 |
| RU2018132266A3 (ko) | 2020-06-01 |
| JP2019511153A (ja) | 2019-04-18 |
| JP2022065033A (ja) | 2022-04-26 |
| EP3414902A1 (en) | 2018-12-19 |
| TW201740731A (zh) | 2017-11-16 |
| CN108702508B (zh) | 2023-04-11 |
| CA3014259A1 (en) | 2017-08-17 |
| US11778190B2 (en) | 2023-10-03 |
| RU2018132266A (ru) | 2020-03-12 |
| US20230412810A1 (en) | 2023-12-21 |
| CN108702508A (zh) | 2018-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4040789B1 (en) | Method and device for encoding/decoding an image unit comprising image data represented by a luminance channel and at least one chrominance channel | |
| KR20180109927A (ko) | 예측 트리 및 변환 트리에 의존하는, 픽처 데이터를 포함하는 코딩 단위를 인트라-예측 인코딩/디코딩하기 위한 방법 및 디바이스 | |
| CA3105383C (en) | Position dependent intra prediction combination with wide angle intra prediction | |
| CN113115047B (zh) | 视频编解码方法和设备 | |
| EP2986005B1 (en) | Apparatus for entropy-decoding slice segments | |
| CN107566848B (zh) | 编解码的方法及装置 | |
| ES2633947T3 (es) | Predicción de paletas en la codificación de vídeo basada en paleta | |
| KR20210020915A (ko) | 이미지 블록들의 비대칭 이진 파티셔닝에 기초한 비디오 인코딩 및 디코딩을 위한 방법 및 장치 | |
| EP4162681A1 (en) | General constraints of syntax elements for video coding | |
| CN112166606A (zh) | 用于处理图像的方法及其设备 | |
| TW202127891A (zh) | 用於視訊編碼的高階語法中子圖像的訊令編號 | |
| TW202234887A (zh) | 用於視訊譯碼中的多顏色分量的符號預測 | |
| TW202232954A (zh) | 用於視訊譯碼的訊框內預測的最可能模式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |