KR102102029B1 - 서브-예측 유닛 기반 어드밴스드 시간 모션 벡터 예측 - Google Patents
서브-예측 유닛 기반 어드밴스드 시간 모션 벡터 예측 Download PDFInfo
- Publication number
- KR102102029B1 KR102102029B1 KR1020177020567A KR20177020567A KR102102029B1 KR 102102029 B1 KR102102029 B1 KR 102102029B1 KR 1020177020567 A KR1020177020567 A KR 1020177020567A KR 20177020567 A KR20177020567 A KR 20177020567A KR 102102029 B1 KR102102029 B1 KR 102102029B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- block
- candidate
- video
- delete delete
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
일 예에서, 비디오 데이터를 코딩하기 위한 디바이스는 비디오 데이터를 저장하도록 구성된 메모리, 및 비디오 코더를 포함하고, 비디오 코더는, 비디오 데이터의 현재 블록에 대해, 복수의 병합 후보들을 포함하는 병합 후보 리스트를 형성하는 것으로서, 복수의 병합 후보들은 현재 블록에 대해 4 개의 이웃하는 블록들로부터의 4 개의 공간적 이웃하는 후보들, 및 4 개의 공간적 이웃하는 후보들 바로 다음의, 어드밴스드 시간 모션 벡터 예측 (ATMVP) 후보를 포함하는, 상기 병합 후보 리스트를 형성하고, 병합 후보 리스트에서의 복수의 병합 후보들 중 병합 후보를 식별하는 인덱스를 병합 후보 리스트로 코딩하며, 식별된 병합 후보의 모션 정보를 사용하여 비디오 데이터의 현재 블록을 코딩하도록 구성된다.
Description
본 출원은 2015 년 1 월 26 일자로 출원된 미국 가출원 제 62/107,933 호의 이익을 주장하며, 그 전체 내용이 여기에 참조로서 포함된다.
본 개시물은 비디오 코딩에 관한 것이다.
디지털 비디오 능력들은 디지털 텔레비전들, 디지털 직접 브로드캐스트 시스템들, 무선 브로드캐스트 시스템들, PDA (personal digital assistant) 들, 랩톱 또는 데스크톱 컴퓨터들, 태블릿 컴퓨터들, 전자책 리더들, 디지털 카메라들, 디지털 녹음 디바이스들, 디지털 미디어 재생기들, 비디오 게임 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화들, 소위 "스마트 폰들", 비디오 원격화상회의 디바이스들, 비디오 스트리밍 디바이스들 등을 포함하는 광범위한 디바이스들에 포함될 수 있다. 디지털 비디오 디바이스들은 MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, 파트 10, 어드밴스드 비디오 코딩 (AVC), 또한, 고효율 비디오 코딩 (HEVC) 으로서 지칭된 ITU-T H.265 에 의해 정의된 표준들, 및 이러한 표준들의 확장들에서 설명된 바와 같은 비디오 코딩 기법들을 구현한다. 비디오 디바이스들은 이러한 비디오 코딩 기법들을 구현함으로써, 디지털 비디오 정보를 보다 효율적으로 송신, 수신, 인코딩, 디코딩, 및/또는 저장할 수도 있다.
비디오 코딩 기법들은 비디오 시퀀스들에 내재하는 리던던시를 감소시키기나 제거하기 위한 공간 (인트라-픽처) 예측 및/또는 시간 (인터-픽처) 예측을 포함한다. 블록-기반 비디오 코딩에 있어서, 비디오 슬라이스 (예를 들어, 비디오 프레임 또는 비디오 프레임의 일부분) 는 비디오 블록들로 파티셔닝될 수도 있으며, 이 비디오 블록들은 일부 기법들에 대해 또한 트리블록들, 코딩 유닛 (CU) 들 및/또는 코딩 노드들로 지칭될 수도 있다. 픽처의 인트라-코딩된 (I) 슬라이스 내의 비디오 블록들은 동일한 픽처 내의 이웃하는 블록들 내의 레퍼런스 샘플들에 대하여 공간 예측을 사용하여 인코딩된다. 픽처의 인터-코딩된 (P 또는 B) 슬라이스 내의 비디오 블록들은 동일한 픽처 내의 이웃하는 블록들 내의 레퍼런스 샘플들에 대하여 공간 예측을, 또는 다른 레퍼런스 픽처들 내의 레퍼런스 샘플들에 대하여 시간 예측을 사용할 수도 있다. 픽처들은 프레임들로서 지칭될 수도 있고, 레퍼런스 픽처들은 레퍼런스 프레임들로 지칭될 수도 있다.
공간 또는 시간 예측은 코딩될 블록에 대한 예측 블록을 초래한다. 잔차 데이터는 코딩될 원래의 블록과 예측 블록 간의 픽셀 차이들을 나타낸다. 인터-코딩된 블록은 예측 블록을 형성하는 레퍼런스 샘플들의 블록을 가리키는 모션 벡터, 및 코딩된 블록과 예측 블록 간의 차이를 나타내는 잔차 데이터에 따라 인코딩된다. 인트라-코딩된 블록은 인트라-코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가의 압축을 위해, 잔차 데이터는 픽셀 도메인에서 변환 도메인으로 변환되어, 잔차 변환 계수들을 초래하고 이 변환 계수들은, 그 후 양자화될 수도 있다. 처음에 2 차원 어레이로 배열된 양자화된 변환 계수들은, 변환 계수들의 1 차원 벡터를 생성하도록 스캐닝될 수도 있고, 엔트로피 코딩이 적용되어 보다 많은 압축을 달성할 수도 있다.
일반적으로, 본 개시물은 비디오 데이터의 블록에 대한 모션 정보의 코딩 (예를 들어, 인코딩 또는 디코딩) 에 관련된 기법들을 설명한다. 보다 구체적으로, 비디오 코더 (예를 들어, 비디오 인코더 또는 비디오 디코더) 는 어드밴스드 시간 모션 벡터 예측 (ATMVP) 을 사용하여 현재 블록 (예를 들어, 현재 예측 유닛 (PU)) 에 대한 모션 정보를 코딩하도록 구성될 수도 있다. ATMVP 는 일반적으로, 시간 모션 벡터를 사용하여 서브-PU들로 스플릿되는 대응하는 예측 유닛을 식별하는 것을 수반한다. 현재 PU 를 서브-PU들로 스플릿하기 보다는, 시간 모션 벡터는 각각 그 자신의 모션 정보를 갖는 서브-PU들로 스플릿되는 대응하는 블록을 단순히 식별할 수도 있고, 비디오 코더는 개별의 서브-PU들의 모션 정보를 사용하여 현재 블록의 대응하는 부분들을 예측하도록 구성될 수도 있다. 현재 블록을 능동적으로 스플릿하는 것을 회피함으로써, 오버헤드 시그널링 정보가 현재 블록에 대해 감소될 수도 있으면서, 현재 블록을 서브-PU들로 스플릿하는 것에서 비롯될 수도 있는 현재 블록의 부분들에 대한 미세한 그레인 예측을 여전히 달성할 수도 있다.
일 예에서, 비디오 데이터를 코딩하는 방법은, 비디오 데이터의 현재 블록에 대해, 복수의 병합 후보들을 포함하는 병합 후보 리스트를 형성하는 단계로서, 복수의 병합 후보들은 현재 블록에 대해 4 개의 이웃하는 블록들로부터의 4 개의 공간적 이웃하는 후보들, 및 4 개의 공간적 이웃하는 후보들 바로 다음의, 어드밴스드 시간 모션 벡터 예측 (ATMVP) 후보를 포함하는, 상기 병합 후보 리스트를 형성하는 단계, 병합 후보 리스트에서의 복수의 병합 후보들 중 병합 후보를 식별하는 인덱스를 병합 후보 리스트로 코딩하는 단계, 및 식별된 병합 후보의 모션 정보를 사용하여 비디오 데이터의 현재 블록을 코딩하는 단계를 포함한다.
다른 예에서, 비디오 데이터를 코딩하기 위한 디바이스는, 비디오 데이터를 저장하도록 구성된 메모리, 및 비디오 코더를 포함하고, 비디오 코더는, 비디오 데이터의 현재 블록에 대해, 복수의 병합 후보들을 포함하는 병합 후보 리스트를 형성하는 것으로서, 복수의 병합 후보들은 현재 블록에 대해 4 개의 이웃하는 블록들로부터의 4 개의 공간적 이웃하는 후보들, 및 4 개의 공간적 이웃하는 후보들 바로 다음의, 어드밴스드 시간 모션 벡터 예측 (ATMVP) 후보를 포함하는, 상기 병합 후보 리스트를 형성하고, 병합 후보 리스트에서의 복수의 병합 후보들 중 병합 후보를 식별하는 인덱스를 병합 후보 리스트로 코딩하며, 식별된 병합 후보의 모션 정보를 사용하여 비디오 데이터의 현재 블록을 코딩하도록 구성된다.
다른 예에서, 비디오 데이터를 코딩하기 위한 디바이스는, 비디오 데이터의 현재 블록에 대해, 복수의 병합 후보들을 포함하는 병합 후보 리스트를 형성하기 위한 수단으로서, 복수의 병합 후보들은 현재 블록에 대해 4 개의 이웃하는 블록들로부터의 4 개의 공간적 이웃하는 후보들, 및 4 개의 공간적 이웃하는 후보들 바로 다음의, 어드밴스드 시간 모션 벡터 예측 (ATMVP) 후보를 포함하는, 상기 병합 후보 리스트를 형성하기 위한 수단, 병합 후보 리스트에서의 복수의 병합 후보들 중 병합 후보를 인덱스를 식별하는 병합 후보 리스트로 코딩하기 위한 수단, 및 식별된 병합 후보의 모션 정보를 사용하여 비디오 데이터의 현재 블록을 코딩하기 위한 수단을 포함한다.
다른 예에서, 컴퓨터 판독가능 저장 매체는 명령들이 저장되어 있고, 이 명령들은, 실행되는 경우, 프로세서로 하여금, 비디오 데이터의 현재 블록에 대해, 복수의 병합 후보들을 포함하는 병합 후보 리스트를 형성하게 하는 것으로서, 복수의 병합 후보들은 현재 블록에 대해 4 개의 이웃하는 블록들로부터의 4 개의 공간적 이웃하는 후보들, 및 4 개의 공간적 이웃하는 후보들 바로 다음의, 어드밴스드 시간 모션 벡터 예측 (ATMVP) 후보를 포함하는, 상기 병합 후보 리스트를 형성하게 하고, 병합 후보 리스트에서의 복수의 병합 후보들 중 병합 후보를 식별하는 인덱스를 병합 후보 리스트로 코딩하게 하며, 식별된 병합 후보의 모션 정보를 사용하여 비디오 데이터의 현재 블록을 코딩하게 한다.
하나 이상의 예들의 상세들이 첨부되는 도면들 및 하기의 상세한 설명들에서 기술된다. 다른 특성들, 목적들 및 이점들은 상세한 설명 및 도면들로부터, 그리고 청구범위로부터 명확해질 것이다.
도 1 은 어드밴스드 시간 모션 벡터 예측 (ATMVP) 을 구현하기 위한 기법들을 이용할 수도 있는 예시의 비디오 인코딩 및 디코딩 시스템을 예시하는 블록도이다.
도 2 는 어드밴스드 시간 모션 벡터 예측 (ATMVP) 에 대한 기법들을 구현할 수도 있는 비디오 인코더의 일 예를 예시하는 블록도이다.
도 3 은 어드밴스드 시간 모션 벡터 예측 (ATMVP) 에 대한 기법들을 구현할 수도 있는 비디오 디코더의 일 예를 예시하는 블록도이다.
도 4 는 고효율 비디오 코딩 (HEVC) 에서 공간적 이웃하는 후보들을 예시하는 개념도이다.
도 5 는 HEVC 에서 시간 모션 벡터 예측 (TMVP) 을 예시하는 개념도이다.
도 6 은 3D-HEVC 에 대한 예시의 예측 구조를 예시하는 개념도이다.
도 7 은 3D-HEVC 에서 서브-PU 기반 인터-뷰 모션 예측을 예시하는 개념도이다.
도 8 은 레퍼런스 픽처로부터 서브-PU 모션 예측을 예시하는 개념도이다.
도 9 는 (TMVP 와 유사한) ATMVP 에서 관련 픽처들을 예시하는 개념도이다.
도 10 은 본 개시물의 기법들에 따른 인코딩 프로세스 동안 후보 리스트에 ATMVP 후보를 추가하는 예시의 방법을 예시하는 플로우차트이다.
도 11 은 본 개시물의 기법들에 따른 디코딩 프로세스 동안 후보 리스트에 ATMVP 후보를 추가하는 예시의 방법을 예시하는 플로우차트이다.
도 2 는 어드밴스드 시간 모션 벡터 예측 (ATMVP) 에 대한 기법들을 구현할 수도 있는 비디오 인코더의 일 예를 예시하는 블록도이다.
도 3 은 어드밴스드 시간 모션 벡터 예측 (ATMVP) 에 대한 기법들을 구현할 수도 있는 비디오 디코더의 일 예를 예시하는 블록도이다.
도 4 는 고효율 비디오 코딩 (HEVC) 에서 공간적 이웃하는 후보들을 예시하는 개념도이다.
도 5 는 HEVC 에서 시간 모션 벡터 예측 (TMVP) 을 예시하는 개념도이다.
도 6 은 3D-HEVC 에 대한 예시의 예측 구조를 예시하는 개념도이다.
도 7 은 3D-HEVC 에서 서브-PU 기반 인터-뷰 모션 예측을 예시하는 개념도이다.
도 8 은 레퍼런스 픽처로부터 서브-PU 모션 예측을 예시하는 개념도이다.
도 9 는 (TMVP 와 유사한) ATMVP 에서 관련 픽처들을 예시하는 개념도이다.
도 10 은 본 개시물의 기법들에 따른 인코딩 프로세스 동안 후보 리스트에 ATMVP 후보를 추가하는 예시의 방법을 예시하는 플로우차트이다.
도 11 은 본 개시물의 기법들에 따른 디코딩 프로세스 동안 후보 리스트에 ATMVP 후보를 추가하는 예시의 방법을 예시하는 플로우차트이다.
일반적으로, 본 개시물은 비디오 코덱들에서의 모션 벡터 예측에 관련된다. 보다 구체적으로, 어드밴스드 시간 모션 벡터 예측은 소정의 블록 (예측 유닛) 에 대한 서브-블록 (서브-PU) 레벨에서 모션 벡터들을 수집함으로써 달성된다.
비디오 코딩 표준들은 ITU-T H.261, ISO/IEC MPEG-1 비주얼, ITU-T H.262 또는 ISO/IEC MPEG-2 비주얼, ITU-T H.263, ISO/IEC MPEG-4 비주얼 및 그 자신의 SVC (Scalable Video Coding) 및 MVC (Multiview Video Coding) 확장들을 포함하는 ITU-T H.264 (또한, ISO/IEC MPEG-4 AVC 로 알려짐) 을 포함한다. MVC 의 하나의 공동 초안은 『"Advanced video coding for generic audiovisual services," ITU-T Recommendation H.264, March 2010』에서 설명된다.
또한, ITU-T 비디오 코딩 전문가 그룹 (VCEG) 및 ISO/IEC 모션 픽처 전문가 그룹 (MPEG) 의 JCT-VC (Joint Collaboration Team on Video Coding) 에 의해 개발되고 있는 새롭게 개발된 비디오 코딩 표준, 즉 고효율 비디오 코딩 (HEVC) 이 있다. HEVC 의 최근 초안은 http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip 로부터 입수 가능하다. HEVC 표준은 또한, 양자 모두 "High efficiency video coding" 라는 제목으로 양자 모두 2014년 10월에 공개된 권고 ITU-T H.265 및 국제 표준 ISO/IEC 23008-2 에서 공동으로 제시된다.
모션 정보: 각각의 블록에 대해, 모션 정보의 세트가 이용 가능할 수 있다. 모션 정보의 세트는 순방향 및 역방향 예측 방향들에 대한 모션 정보를 포함한다. 여기서, 순방향 및 역방향 예측 방향들은 양-방향 예측 모드의 2 개의 예측 방향들이고, 용어들 "순방향" 및 "역방향" 이 반드시 지오메트리 의미를 갖는 것은 아니며; 대신에 이들이 현재 픽처의 레퍼런스 픽처 리스트 0 (RefPicList0) 및 레퍼런스 픽처 리스트 1 (RefPicList1) 에 대응한다. 단지 하나의 레퍼런스 픽처 리스트가 픽처 또는 슬라이스에 대해 이용 가능한 경우, 단지RefPicListO 가 이용 가능하고, 슬라이스의 각각의 블록의 모션 정보는 항상 순방향이다.
각각의 예측 방향에 대해, 모션 정보는 레퍼런스 인덱스 및 모션 벡터를 포함해야 한다. 일부 경우들에서, 간략함을 위해, 모션 벡터 자체는, 그것이 연관된 레퍼런스 인덱스를 갖는다고 가정하는 방식으로 지칭될 수도 있다. 레퍼런스 인덱스는 현재 레퍼런스 픽처 리스트 (RefPicListO 또는 RefPicList1) 에서 레퍼런스 픽처를 식별하는데 사용된다. 모션 벡터는 수평 및 수직 컴포넌트를 갖는다.
픽처 순서 카운트 (POC) 는 픽처의 디스플레이 순서를 식별하기 위해 비디오 코딩 표준들에서 광범위하게 사용된다. 하나의 코딩된 비디오 시퀀스 내의 2 개의 픽처들이 동일한 POC 값을 가질 수도 있는 경우들이 존재하지만, 이것은 통상적으로 코딩된 비디오 시퀀스 내에서 일어나지 않는다. 다수의 코딩된 비디오 시퀀스들이 비트스트림으로 존재하는 경우, POC 의 동일한 값을 갖는 픽처들은 디코딩 순서의 관점들에서 서로 더 가까울 수도 있다. 픽처들의 POC 값들은 통상적으로, HEVC 및 모션 벡터 스케일링에서와 같이 레퍼런스 픽처 세트들의 도출, 레퍼런스 픽처 리스트 구성을 위해 사용된다.
어드밴스드 비디오 코딩 (AVC) (H.264) 에서의 매크로블록 (MB) 구조: H.264/AVC 에서, 각각의 인터 매크로블록 (MB) 은 4 개의 상이한 방식들로 파티셔닝될 수도 있다:
하나의 MB 에서 상이한 MB 파티션들은 각각의 방향에 대해 상이한 레퍼런스 인덱스 값들 (RefPicListO 또는 RefPicList1) 을 가질 수도 있다.
MB 가 4 개의 8x8 MB 파티션들로 파티셔닝되지 않는 경우, 이것은 각각의 방향에서 각각의 MB 파티션에 대해 단지 하나의 모션 벡터를 갖는다.
MB 가 4 개의 8x8 MB 파티션들로 파티셔닝되는 경우, 각각의 8x8 MB 파티션은 또한, 서브-블록들로 파티셔닝될 수 있고, 이 서브 블록들 각각은 각각의 방향에서 상이한 모션 벡터를 가질 수 있다. 8x8 MB 파티션으로부터 서브-블록들을 얻기 위해 4 개의 상이한 방식들이 존재한다:
각각의 서브-블록은 각각의 방향에서 상이한 모션 벡터를 가질 수 있다. 따라서, 모션 벡터는 서브-블록보다 더 높은 것과 동일한 레벨에 존재한다.
AVC 에서의 시간적 직접 모드: AVC 에서, 시간적 직접 모드는 B 슬라이스들에서 스킵 또는 직접 모드에 대해 MB 또는 MB 파티션 레벨 중 어느 하나에서 인에이블될 수 있다. 각각의 MB 파티션에 대해, 현재 블록의 RefPicList1[0] 에서 현재 MB 파티션과 함께-위치된 블록의 모션 벡터들이 모션 벡터들을 도출하는데 사용된다. 함께-위치된 블록의 각각의 모션 벡터는 POC 거리들에 기초하여 스케일링된다.
AVC 에서의 공간적 직접 모드: AVC 에서, 직접 모드는 또한, 공간적 이웃들로부터 모션 정보를 예측할 수 있다.
고효율 비디오 코딩 (HEVC) 에서의 코딩 유닛 (CU) 구조: HEVC 에서, 슬라이스의 최대 코딩 유닛은 코딩 트리 블록 (CTB) 또는 코딩 트리 유닛 (CTU) 으로 지칭된다. CTB 는 쿼드-트리를 포함하고, 이 쿼드-트리의 노드들은 코딩 유닛들이다.
CTB 의 사이즈는 HEVC 메인 프로파일에서 16x16 내지 64x64 의 범위일 수 있다 (하지만, 기술적으로 8x8 CTB 사이즈들이 지원될 수 있다). 코딩 유닛 (CU) 은 CTB 의 동일한 사이즈일 수 있지만, 8x8 만큼 작을 수 있다. 각각의 코딩 유닛은 하나의 모드로 코딩된다. CU 가 인터-코딩되는 경우, 이것은 또한 2 또는 4 개의 예측 유닛들 (PUs) 로 파티셔닝되거나 또는 추가의 파티션이 적용되지 않는 경우 단지 하나의 PU 가 될 수도 있다. 하나의 CU 에서 2 개의 PU들이 존재하는 경우, 이들은 CU 의 절반 사이즈 직사각형들 또는 ¼ 또는 ¾ 사이즈를 갖는 2 개의 직사각형 사이즈일 수 있다.
CU 가 인터 코딩되는 경우, 모션 정보의 하나의 세트가 각각의 PU 에 대해 존재한다. 또한, 각각의 PU 는 고유한 인터-예측 모드로 코딩되어 모션 정보의 세트를 도출한다.
HEVC 에서의 모션 예측: HEVC 표준에서, 예측 유닛 (PU) 에 대해 병합 (병합의 특별한 경우로서 스킵이 고려됨) 및 어드밴스드 모션 벡터 예측 (AMVP) 모드들로 각각 명명된, 2 개의 인터 예측 모드들이 존재한다.
AMVP 나 병합 모드에서, 모션 벡터 (MV) 후보 리스트는 다수의 모션 벡터 예측자들에 대해 유지된다. 현재 PU 의 모션 벡터(들), 뿐만 아니라 병합 모드에서 레퍼런스 인덱스들은 MV 후보 리스트로부터 하나의 후보를 취함으로써 생성된다.
MV 후보 리스트는 병합 모드에 대해 최대 5 개의 후보들 및 AMVP 모드에 대해 단지 2 개의 후보들을 포함한다. 병합 후보는 모션 정보의 세트, 예를 들어 레퍼런스 픽처 리스트들 (list 0 및 list 1) 양자 모두에 대응하는 모션 벡터들 및 레퍼런스 인덱스들을 포함할 수도 있다. 병합 후보가 병합 인덱스에 의해 식별되면, 레퍼런스 픽처들은 현재 블록들의 예측을 위해 사용되고, 뿐만 아니라 연관된 모션 벡터들이 결정된다. 그러나, 리스트 0 또는 리스트 1 중 어느 하나로부터 각각의 잠재적인 예측 방향에 대해 AMVP 하에서, 레퍼런스 인덱스는, AMVP 후보가 단지 모션 벡터를 포함하기 때문에 MV 후보 리스트에 MVP 인덱스와 함께 명백하게 시그널링될 필요가 있다. AMVP 모드에서, 예측된 모션 벡터들이 또한, 리파이닝될 수 있다.
위에서 알 수 있는 바와 같이, 병합 후보는 모션 정보의 풀 세트에 대응하는 한편, AMVP 후보는 레퍼런스 인덱스 및 특정 예측 방향에 대한 단지 하나의 모션 벡터를 포함한다.
양자 모두의 모드들에 대한 후보들은 동일한 공간적 및 시간적 이웃하는 블록들로부터 유사하게 도출된다.
2D 비디오 코덱에 대한 서브-PU 설계, 특히 어드밴스드 TMVP 에 관련된 것은 다음의 문제들을 직면할 수도 있다. 서브-PU 기반의 시간 모션 벡터 예측 프로세스는 추가의 후보, 즉 ATMVP 후보로서 이러한 프로세스를 정의함으로써 달성될 수 있다. 그러나, 이러한 ATMVP 후보에 대해 다음의 설계 이슈들이 존재한다:
1. ATMVP 후보는 TMVP 와 같이 추가의 후보로서 삽입될 수도 있지만, 이러한 ATMVP 후보의 포지션, 뿐만 아니라 더 높은 코딩 효율성을 달성하기 위한 TMVP 후보와의 상호작용은 알려져 있지 않다.
2. ATMVP 후보의 이용 가능성을 정의하는 방법이 명확하지 않다; ATMVP 후보가 이용 불가능하고 따라서 ATMVP 후보 안으로 삽입될 수 있는지 여부를 결정하도록 모든 서브-PU들의 모든 모션 벡터들이 체크되어야 한다면 이것은 매우 복잡할 것이다.
3. ATMVP 후보와의 프루닝 프로세스가 필요할 수도 있다; 그러나, 이러한 후보와의 프루닝은 복잡할 수도 있다.
4. 코딩 효율성과 복잡성 간의 최선의 트레이드-오프를 달성하기 위한 ATMVP 후보에 대한 다양한 다른 설계 상세들은 여전히 알려져 있지 않다.
도 1 은 어드밴스드 시간 모션 벡터 예측 (ATMVP) 을 구현하기 위한 기법들을 이용할 수도 있는 예시의 비디오 인코딩 및 디코딩 시스템 (10) 을 예시하는 블록도이다. 도 1 에 도시된 바와 같이, 시스템 (10) 은 목적지 디바이스 (14) 에 의해 나중에 디코딩될 인코딩된 비디오 데이터를 제공하는 소스 디바이스 (12) 를 포함한다. 특히, 소스 디바이스 (12) 는 컴퓨터 판독가능 매체 (16) 를 통해 목적지 디바이스 (14) 에 비디오 데이터를 제공한다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는, 데스크톱 컴퓨터들, 노트북 (즉, 랩톱) 컴퓨터들, 태블릿 컴퓨터들, 셋톱 박스들, 전화 핸드셋들, 이를 테면 소위 "스마트" 폰들, 소위 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게임용 콘솔들, 비디오 스트리밍 디바이스 등을 포함하는 광범위한 디바이스들 중 임의의 것을 포함할 수도 있다. 일부 경우들에서, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 무선 통신을 위해 구비될 수도 있다.
목적지 디바이스 (14) 는 디코딩될 인코딩된 비디오 데이터를 컴퓨터 판독가능 매체 (16) 를 통해 수신할 수도 있다. 컴퓨터 판독가능 매체 (16) 는 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 이동시킬 수 있는 임의의 유형의 매체 또는 디바이스를 포함할 수도 있다. 일 예에서, 컴퓨터 판독가능 매체 (16) 는 소스 디바이스 (12) 로 하여금 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 실시간으로 직접 송신하게 하는 통신 매체를 포함할 수도 있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은 통신 표준에 따라 변조되고, 목적지 디바이스 (14) 로 송신될 수도 있다. 통신 매체는 임의의 무선 또는 유선 통신 매체, 예컨대 무선 주파수(RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들을 포함할 수도 있다. 통신 매체는 패킷-기반 네트워크, 예컨대 근거리 네트워크, 광대역 네트워크, 또는 인터넷과 같은 글로벌 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.
일부 예들에서, 인코딩된 데이터는 출력 인터페이스 (22) 로부터 저장 디바이스로 출력될 수도 있다. 유사하게, 인코딩된 데이터는 입력 인터페이스에 의해 저장 디바이스로부터 액세스될 수도 있다. 저장 디바이스는 하드 드라이브, 블루레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비휘발성 메모리와 같은 임의의 다양한 분산된 또는 로컬하게 액세스된 데이터 저장 매체, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체를 포함할 수도 있다. 추가의 예에서, 저장 디바이스는 소스 디바이스 (12) 에 의해 생성된 인코딩된 비디오를 저장할 수도 있는 다른 중간 저장 디바이스 또는 파일 서버에 대응할 수도 있다. 목적지 디바이스 (14) 는 스트리밍 또는 다운로드를 통해 저장 디바이스로부터의 저장된 비디오 데이터에 액세스할 수도 있다. 파일 서버는 인코딩된 비디오 데이터를 저장할 수 있고 그 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 송신할 수 있는 임의의 유형의 서버일 수도 있다. 예시의 파일 서버들은 (예를 들어 웹사이트용의) 웹서버, FTP 서버, NAS (network attached storage) 디바이스들, 또는 로컬 디스크 드라이브를 포함한다. 목적지 디바이스 (14) 는 인터넷 접속을 포함하는 임의의 표준 데이터 접속을 통해 인코딩된 비디오 데이터에 액세스할 수도 있다. 이것은 파일 서버에 저장된 인코딩된 비디오 데이터를 액세스하는데 적합한 무선 채널 (예를 들어, Wi-Fi 접속), 유선 접속 (예를 들어, DSL, 케이블 모뎀 등), 또는 양자 모두의 조합을 포함할 수도 있다. 저장 디바이스로부터의 인코딩된 비디오 데이터의 송신은 스트리밍 송신, 다운로드 송신, 또는 그 조합일 수도 있다.
본 개시물의 기법들은 무선 애플리케이션들 또는 설정들에 반드시 제한되는 것은 아니다. 기법들은 다양한 멀티미디어 애플리케이션들, 예컨대 지상파 (over-the-air) 텔레비전 방송들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, HTTP 를 통한 동적 적응형 스트리밍 (DASH) 과 같은 인터넷 스트리밍 비디오 송신들, 데이터 저장 매체 상에 인코딩되는 디지털 비디오, 데이터 저장 매체 상에 저장된 디지털 비디오의 디코딩, 또는 다른 애플리케이션들 중 임의의 것을 지원하는 비디오 코딩에 적용될 수도 있다. 일부 예들에서, 시스템 (10) 은, 비디오 스트리밍, 비디오 재생, 비디오 브로드캐스팅, 및/또는 비디오 텔레포니와 같은 애플리케이션들을 지원하기 위해 일방향 또는 양방향 비디오 송신을 지원하도록 구성될 수도 있다.
도 1 의 예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 및 출력 인터페이스 (22) 를 포함한다. 목적지 디바이스 (14) 는 입력 인터페이스 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함하다. 본 개시물에 따르면, 소스 디바이스 (12) 의 비디오 인코더 (20) 는 어드밴스드 시간 모션 벡터 예측 (ATMVP) 을 위한 기법들을 적용하도록 구성될 수도 있다. 다른 예들에서, 소스 디바이스 및 목적지 디바이스는 다른 컴포넌트들 또는 어레인지먼트들을 포함할 수도 있다. 예를 들어, 소스 디바이스 (12) 는 외부 비디오 소스 (18), 예컨대 외부 카메라로부터 비디오 데이터를 수신할 수도 있다. 마찬가지로, 목적지 디바이스 (14) 는 집적 디스플레이 디바이스를 포함하기 보다는, 외부 디스플레이 디바이스와 인터페이스할 수도 있다.
도 1 의 예시된 시스템 (10) 은 단지 일 예이다. 어드밴스드 시간 모션 벡터 예측 (ATMVP) 에 대한 기법들은 임의의 디지털 비디오 인코딩 및/또는 디코딩 디바이스에 의해 수행될 수도 있다. 일반적으로, 본 개시물의 기법들은 비디오 인코딩 디바이스에 의해 수행되지만, 그 기법들은 통상적으로 "CODEC" 으로서 지칭된 비디오 인코더/디코더에 의해 또한 수행될 수도 있다. 또한, 본 개시물의 기법들은 비디오 프리프로세서에 의해 또한 수행될 수도 있다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는, 소스 디바이스 (12) 가 목적지 디바이스 (14) 로의 송신을 위한 코딩된 비디오 데이터를 생성하는 이러한 코딩 디바이스들의 단지 예들이다. 일부 예들에서, 디바이스들 (12, 14) 은, 디바이스들 (12, 14) 각각이 비디오 인코딩 및 디코딩 컴포넌트들을 포함하도록 실질적으로 대칭적인 방식으로 동작할 수도 있다. 따라서, 시스템 (10) 은, 예를 들어 비디오 스트리밍, 비디오 재생, 비디오 브로드캐스팅, 또는 비디오 텔레포니를 위해 비디오 디바이스들 (12, 14) 간의 일방향 또는 양방향 비디오 송신을 지원할 수도 있다.
소스 디바이스 (12) 의 비디오 소스 (18) 는 비디오 캡처 디바이스, 예컨대 비디오 카메라, 이전에 캡처된 비디오를 포함하는 비디오 아카이브, 및/또는 비디오 콘텐트 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스를 포함할 수도 있다. 다른 대안으로서, 비디오 소스 (18) 는 소스 비디오와 같은 컴퓨터 그래픽 기반 데이터, 또는 라이브 비디오, 아카이브된 비디오, 및 컴퓨터 생성된 비디오의 조합을 생성할 수도 있다. 일부 경우들에서, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 소위 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 그러나, 전술된 바와 같이, 본 개시물에서 설명된 기법들은 일반적으로 비디오 코딩에 적용가능할 수도 있으며, 무선 및/또는 유선 애플리케이션들에 적용될 수도 있다. 각각의 경우에서, 캡처된, 미리캡처된, 또는 컴퓨터 생성된 비디오는 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 인코딩된 비디오 정보는 그 다음에, 컴퓨터 판독가능 매체 (16) 상으로 출력 인터페이스 (22) 에 의해 출력될 수도 있다.
컴퓨터 판독가능 매체 (16) 는 트랜션트 (transient) 매체, 예컨대 무선 브로드캐스트 또는 유선 네트워크 송신, 또는 저장 매체 (즉, 비일시적 저장 매체), 예컨대 하드 디스크, 플래시 드라이브, 컴팩트 디스크, 디지털 비디오 디스크, 블루레이 디스크, 또는 다른 컴퓨터 판독가능 매체를 포함할 수도 있다. 일부 예들에서, 네트워크 서버 (미도시) 는 소스 디바이스 (12) 로부터 인코딩된 비디오 데이터를 수신하고, 예를 들어 네트워크 송신을 통해 인코딩된 비디오 데이터를 목적지 디바이스 (14) 에 제공할 수도 있다. 유사하게, 디스크 스탬핑 기능과 같은 매체 생성 기능의 컴퓨팅 디바이스가 소스 디바이스 (12) 로부터 인코딩된 비디오 데이터를 수신하고, 인코딩된 비디오 데이터를 포함하는 디스크를 생성할 수도 있다. 따라서, 컴퓨터 판독가능 매체 (16) 는, 다양한 예들에서, 다양한 형태들의 하나 이상의 컴퓨터 판독가능 매체를 포함하는 것으로 이해될 수도 있다.
목적지 디바이스 (14) 의 입력 인터페이스 (28) 는 컴퓨터 판독가능 매체 (16) 로부터 정보를 수신한다. 컴퓨터 판독가능 매체 (16) 의 정보는 비디오 인코더 (20) 에 의해 정의된 신택스 정보를 포함할 수도 있는데, 이것은 비디오 디코더 (30) 에 의해 또한 사용되며, 특징들 및/또는 블록들 및 다른 코딩된 유닛들, 예를 들어, GOP 들의 프로세싱을 설명하는 신택스 엘리먼트들을 포함한다. 디스플레이 디바이스 (32) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 음극선관 (CRT), 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 유형의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 것을 포함할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 비디오 코딩 표준, 예컨대 고효율 비디오 코딩 (HEVC) 표준, HEVC 표준에 대한 확장들, 또는 후속의 표준들, 예컨대 ITU-T H.266 에 따라 동작할 수도 있다. 대안으로, 비디오 인코더 (20) 및 비디오 디코더 (30) 는, 다르게는 MPEG-4, 파트 10, 어드밴스드 비디오 코딩 (AVC) 으로도 지칭된 ITU-T H.264 표준과 같은 다른 사설 표준 또는 산업 표준, 또는 이러한 표준들의 확장들에 따라 동작할 수도 있다. 그러나, 본 개시의 기법들은 임의의 특정 코딩 표준에 제한되지 않는다. 비디오 코딩 표준들의 다른 예들은 MPEG-2 및 ITU-T H.263 을 포함한다. 도 1 에 도시되지 않았으나, 일부 양태들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 각각 오디오 인코더 및 디코더와 통합될 수도 있고, 공통 데이터 스트림 또는 별개의 데이터 스트림들에서 오디오 및 비디오 양자 모두의 인코딩을 핸들링하기 위해 적합한 MUX-DEMUX 유닛들, 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용 가능하다면, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜을 준수할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 임의의 다양한 적합한 인코더 회로부, 예컨대 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서 (DSP) 들, 주문형 집적 회로들 (ASIC) 들, 필드 프로그램가능 게이트 어레이 (FPGA) 들, 이산 로직, 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 임의의 조합들로서 구현될 수도 있다. 이 기법들이 부분적으로 소프트웨어로 구현되는 경우, 디바이스는 그 소프트웨어에 대한 명령들을 적합한 비일시적 컴퓨터 판독가능 매체에 저장하고, 하나 이상의 프로세서들을 사용하는 하드웨어에서 그 명령들을 실행하여 본 개시물의 기법들을 수행할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있고, 이들 중 어느 하나가 결합된 인코더/디코더 (CODEC) 의 부분으로서 개별의 디바이스에 통합될 수도 있다.
JCT-VC 는 HEVC 표준의 개발에 노력하고 있다. HEVC 표준화 노력들은 HEVC 테스트 모델 (HM)로 지칭된 비디오 코딩 디바이스의 진화 모델에 기초한다. HM 은, 예를 들어 ITU-T H.264/AVC 에 따른 기존 디바이스들에 비해 비디오 코딩 디바이스들의 여러 추가적인 성능들을 가정한다. 예를 들어, H.264 가 9 개의 인트라-예측 인코딩 모드들을 제공하는 반면에, HEVC HM 은 33 개만큼 많은 인트라-예측 인코딩 모드들을 제공할 수도 있다.
일반적으로, HM 의 작업 모델은, 비디오 프레임 또는 픽처가 루마 및 크로마 샘플들 양자 모두를 포함하는 최대 코딩 유닛 (LCU) 들 또는 트리블록들의 시퀀스로 분할될 수도 있다는 것을 설명한다. 비트스트림 내의 신택스 데이터는 LCU 에 대한 사이즈를 정의할 수도 있는데, 이것은 픽셀들의 수의 관점에서 최대 코딩 유닛이다. 슬라이스는 코딩 순서에서 다수의 연속적인 트리블록들을 포함한다. 비디오 프레임 또는 픽처는 하나 이상의 슬라이스들로 파티셔닝될 수도 있다. 각각의 트리블록은 쿼드트리에 따라 코딩 유닛 (CU) 들로 스플릿될 수도 있다. 일반적으로, 쿼드트리 데이터 구조는 CU 당 하나의 노드를 포함하는데, 여기서 루트 노드는 트리블록에 대응한다. CU 가 4 개의 서브-CU 들로 스플릿되면, 그 CU 에 대응하는 노드는 4 개의 리프 노드들을 포함하고, 리프 노드들 각각은 서브-CU들 중 하나에 대응한다.
쿼드트리 데이터 구조의 각 노드는 대응하는 CU 에 대한 신택스 데이터를 제공할 수도 있다. 예를 들어, 쿼드트리 내의 노드는, 그 노드에 대응하는 CU 가 서브-CU 들로 스플릿되는지 여부를 나타내는 스플릿 플래그를 포함할 수도 있다. CU 에 대한 신택스 엘리먼트들은 재귀적으로 정의될 수도 있고, CU 가 서브-CU 들로 스플릿되는지 여부에 의존할 수도 있다. CU 가 더 스플릿되지 않으면, 그것은 리프-CU 로서 지칭된다. 본 개시물에서, 리프-CU 의 4 개의 서브 CU들은, 원래의 리프-CU 의 명백한 스플릿이 없더라도 리프-CU 들로서 또한 지칭될 것이다. 예를 들어, 16x16 사이즈에서 CU 가 더 스플릿되지 않으면, 4 개의 8x8 서브-CU들은, 16x16 CU 가 절대 스플릿되지 않았더라도, 리프-CU 들로서 또한 지칭될 것이다.
CU 가 사이즈 구별을 갖지 않는다는 점을 제외하면, CU 는 H.264 표준의 매크로 블록과 유사한 목적을 갖는다. 예를 들어, 트리블록은 (서브 CU 들로도 지칭된) 4 개의 자식 (child) 노드들로 스플릿될 수도 있고, 각각의 자식 노드는 결과적으로 부모 (parent) 노드일 수도 있고 다른 4 개의 자식 노드들로 스플릿될 수도 있다. 쿼드트리의 리프 노드로서 지칭되는 최종의 분할되지 않는 자식 노드는 리프-CU 로도 지칭된 코딩 노드를 포함한다. 코딩된 비트스트림과 연관된 신택스 데이터는, 최대 CU 심도로서 지칭된, 트리블록이 스플릿될 수도 있는 최대 횟수를 정의할 수도 있고, 또한 코딩 노드들의 최소 사이즈를 정의할 수도 있다. 따라서, 비트스트림은 최소 코딩 유닛 (SCU) 을 또한 정의할 수도 있다. 본 개시물은 HEVC 의 맥락에서 CU, PU, 또는 TU, 또는 다른 표준들의 맥락에서 유사한 데이터 구조들 (예를 들어, H.264/AVC 에서의 매크로블록들 및 그 서브 블록들) 중 임의의 것을 지칭하기 위해 용어 "블록" 을 사용한다.
CU 는 코딩 노드 및 코딩 노드와 연관된 변환 유닛 (TU) 들 및 예측 유닛 (PU) 들을 포함한다. CU 의 사이즈는 코딩 노드의 사이즈에 대응하고 정사각형 형상이어야 한다. CU 의 사이즈는 8x8 픽셀들에서 64x64 픽셀들 이상의 최대값을 갖는 트리블록의 사이즈까지의 범위에 있을 수도 있다. 각각의 CU 는 하나 이상의 PU 들 및 하나 이상의 TU 들을 포함할 수도 있다. CU 와 연관된 신택스 데이터는, 예를 들어 CU 를 하나 이상의 PU 들로 파티셔닝하는 것을 설명할 수도 있다. 파티셔닝 모드들은, CU 가 스킵 또는 다이렉트 모드 인코딩되는지, 인트라-예측 모드 인코딩되는지, 또는 인터 예측 모드 인코딩되는지 여부 사이에서 상이할 수도 있다. PU 들은 비정사각형의 형상으로 파티셔닝될 수도 있다. CU 와 연관된 신택스 데이터는, 예를 들어 CU 를 쿼드트리에 따라 하나 이상의 TU 들로 파티셔닝하는 것을 또한 설명할 수도 있다. TU 는 정사각형 또는 비정사각형 (예를 들어, 직사각형) 형상일 수 있다.
HEVC 표준은 TU 들에 따른 변환들을 허용하는데, 이것은 상이한 CU 들에 대해 상이할 수도 있다. TU 들은 통상적으로, 파티셔닝된 LCU 에 대해 정의된 소정의 CU 내의 PU 들의 사이즈에 기초하여 크기가 정해지지만, 이것이 항상 그러한 경우는 아닐 수도 있다. TU 들은 통상적으로, PU 들과 동일한 사이즈이거나 또는 더 작다. 일부 예들에서, CU 에 대응하는 잔차 샘플들은, "잔차 쿼드 트리 (RQT)" 로서 알려진 쿼드트리 구조를 사용하여 더 작은 유닛들로 세분될 수도 있다. RQT 의 리프 노드들은 변환 유닛들 (TU들) 로서 지칭될 수도 있다. TU 들과 연관된 픽셀 차이값들이 변환되어 변환 계수들을 생성할 수도 있고, 변환 계수는 양자화될 수도 있다.
리프-CU 는 하나 이상의 예측 유닛 (PU) 들을 포함할 수도 있다. 일반적으로, PU 는 대응하는 CU 의 모두 또는 일부에 대응하는 공간 영역을 나타내고, PU 에 대한 레퍼런스 샘플을 취출하는 데이터를 포함할 수도 있다. 또한, PU 는 예측과 관련된 데이터를 포함한다. 예를 들어, PU 가 인트라-모드 인코딩된 경우, PU 에 대한 데이터는 잔차 쿼드트리 (RQT) 에 포함될 수도 있으며, 잔차 쿼드트리는 PU 에 대응하는 TU 에 대한 인트라-예측 모드를 설명하는 데이터를 포함할 수도 있다. 다른 예로서, PU 가 인터-모드 인코딩되는 경우, PU 는 PU 에 대한 하나 이상의 모션 벡터들을 정의하는 데이터를 포함할 수도 있다. PU 에 대한 모션 벡터를 정의하는 데이터는, 예를 들어 모션 벡터의 수평 컴포넌트, 모션 벡터의 수직 컴포넌트, 모션 벡터에 대한 레졸루션 (예를 들어, 1/4 픽셀 정확도 또는 8/1 픽셀 정확도), 모션 벡터가 가리키는 레퍼런스 픽처, 및/또는 모션 벡터에 대한 레퍼런스 픽처 리스트 (예를 들어, List 0, List 1, 또는 List C) 를 설명할 수도 있다.
하나 이상의 PU 들을 갖는 리프-CU 는 하나 이상의 변환 유닛 (TU) 들을 또한 포함할 수도 있다. 변환 유닛들은, 위에서 논의된 바와 같이, (TU 쿼드트리 구조로서 지칭되는) RQT 를 이용하여 지정될 수도 있다. 예를 들어, 리프-CU 가 4 개의 변환 유닛들로 스플릿되는지의 여부를 스플릿 플래그가 표시할 수도 있다. 그 후, 각각의 변환 유닛은 4 개의 서브 TU들로 더 스플릿될 수도 있다. TU 가 더 스플릿되지 않는 경우, 이것은 리프-TU 로서 지칭될 수도 있다. 일반적으로, 인트라-코딩에 대해, 리프-CU 에 속하는 모든 리프-TU들은 동일한 인트라-예측 모드를 공유한다. 즉, 리프-CU 의 모든 TU들에 대한 예측된 값들을 계산하기 위해 동일한 인트라-예측 모드가 일반적으로 적용된다. 인트라-코딩에 대해, 비디오 인코더는, TU 에 대응하는 CU 의 부분과 원래의 블록 간의 차이로서, 인트라-예측 모드를 사용하여 각각의 리프-TU 에 대한 잔차 값을 계산할 수도 있다. TU 는 PU 의 사이즈에 반드시 제한되는 것은 아니다. 따라서, TU들은 PU 보다 더 크거나 더 작을 수도 있다. 인트라-코딩에 있어서, PU 는 동일한 CU 에 대한 대응하는 리프 TU 와 콜로케이팅 (collocate) 될 수도 있다. 일부 예들에서, 리프-TU 의 최대 사이즈는 대응하는 리프-CU 의 사이즈에 대응할 수도 있다.
또한, 리프-CU 들의 TU 들은 또한 잔차 쿼드트리 (RQT) 들로서 지칭되는 개별의 쿼드트리 데이터 구조들과 연관될 수도 있다. 즉, 리프-CU 는 리프-CU 가 TU들로 어떻게 파티셔닝되는지를 나타내는 쿼드트리를 포함할 수도 있다. TU 쿼드트리의 루트 노드는 일반적으로 리프-CU 에 대응하지만, CU 쿼드트리의 루트 노드는 일반적으로 트리블록 (또는 LCU) 에 대응한다. 스플릿되지 않은 RQT 의 TU 들은 리프-TU 들로서 지칭된다. 일반적으로, 다르게 지시되지 않는 한, 본 개시물은 리프-CU 및 리프-TU 를 각각 지칭하기 위해 용어 CU 및 TU 를 사용한다.
비디오 시퀀스는 통상적으로, 일련의 비디오 프레임들 또는 픽처들을 포함한다. 픽처들의 그룹 (GOP) 은 일반적으로, 일련의 하나 이상의 비디오 픽처들을 포함한다. GOP 는 GOP 의 헤더, 픽처들의 하나 이상의 헤더, 또는 그 외의 곳에서 GOP 에 포함된 픽처들의 수를 설명하는 신택스 데이터를 포함할 수도 있다. 픽처의 각각의 슬라이스는 개별의 슬라이스에 대한 인코딩 모드를 설명하는 슬라이스 신택스 데이터를 포함할 수도 있다. 비디오 인코더 (20) 는 통상적으로, 비디오 데이터를 인코딩하기 위해 개개의 비디오 슬라이스들 내의 비디오 블록들에 대해 동작한다. 비디오 블록은 CU 내의 코딩 노드에 대응할 수도 있다. 비디오 블록들은 고정된 또는 가변적인 사이즈들을 가질 수도 있고, 지정된 코딩 표준에 따라 사이즈가 상이할 수도 있다.
일 예로써, HM 은 다양한 PU 사이즈들에서의 예측을 지원한다. 특정 CU 의 사이즈가 2Nx2N 이라고 가정하면, HM 은 2Nx2N 또는 NxN 의 PU 사이즈들에서의 인트라-예측, 및 2Nx2N, 2NxN, Nx2N, 또는 NxN 의 대칭적 PU 사이즈들에서의 인터-예측을 지원한다. HM 은 2NxnU, 2NxnD, nLx2N, 및 nRx2N 의 PU 사이즈들에서의 인터-예측에 대한 비대칭적 파티셔닝을 또한 지원한다. 비대칭적 파티셔닝에서, CU 의 일 방향은 파티셔닝되지 않지만, 다른 방향은 25% 및 75% 로 파티셔닝된다. 25% 파티션에 대응하는 CU 의 일부분은 "n" 다음에 "Up (상부)", "Down (하부)", "(Left) 좌측", 또는 "(Right) 우측" 의 표시에 의해 표시된다. 따라서, 예를 들어 "2NxnU" 은 위쪽의 2Nx0.5N PU 와 아래쪽의 2Nx1.5N PU 로 수평적으로 파티셔닝되는 2Nx2N CU 를 지칭한다.
본 개시물에서, "NxN" 및 "N 바이 N" 은 수직 및 수평 디멘젼들의 관점에서 비디오 블록의 픽셀 디멘젼들, 예를 들어 16x16 픽셀들 또는 16 바이 16 픽셀들을 지칭하기 위해 상호 교환적으로 사용될 수도 있다. 일반적으로, 16x16 블록은 수직 방향으로 16 픽셀들 (y=16) 및 수평 방향으로 16 픽셀들 (x=16) 을 가질 것이다. 마찬가지로, NxN 블록은 일반적으로 수직 방향으로 N 픽셀들 및 수평 방향으로 N 픽셀들을 갖는데, 여기서 N 은 음이 아닌 정수 값을 나타낸다. 블록에서의 픽셀들은 행들 및 열들로 배열될 수도 있다. 또한, 블록들은 수평 방향에서의 픽셀들의 수가 수직 방향에서의 것과 반드시 동일할 필요는 없다. 예를 들어, 블록들은 NxM 픽셀들을 포함할 수도 있으며, 여기서 M 은 N 과 반드시 동일하지는 않다.
CU 의 PU 들을 사용하는 인트라 예측 또는 인터 예측 코딩 다음에, 비디오 인코더 (20) 는 CU 의 TU 들에 대한 잔차 데이터를 계산할 수도 있다. PU 들은 공간 도메인 (픽셀 도메인으로도 지칭됨) 에서의 예측적 픽셀 데이터를 생성하는 방법 또는 모드를 설명하는 신택스 데이터를 포함할 수도 있고, TU 들은 잔차 비디오 데이터에 대한, 예를 들어 이산 코사인 변환 (DCT), 정수 변환, 웨이블릿 변환, 또는 개념적으로 유사한 변환과 같은 변환의 적용에 후속하는 변환 도멘인에서의 계수들을 포함할 수도 있다. 잔차 데이터는 인코딩되지 않은 픽처의 픽셀들과 PU 들에 대응하는 예측 값들 간의 픽셀 차이들에 대응할 수도 있다. 비디오 인코더 (20) 는 CU 에 대한 잔차 데이터를 포함하는 TU 들을 형성하고, 그 후 TU 들을 변환하여 CU 에 대한 변환 계수들을 생성할 수도 있다.
변환 계수들을 생성하기 위한 임의의 변환들 다음에, 비디오 인코더 (20) 는 변환 계수들의 양자화를 수행할 수도 있다. 양자화는 일반적으로, 계수들을 표현하는데 사용된 데이터의 양을 가능한 감소시키기 위해 변환 계수들이 양자화되어, 추가의 압축을 제공하는 프로세스를 지칭한다. 양자화 프로세스는 계수들의 일부 또는 전부와 연관된 비트 심도를 감소시킬 수도 있다. 예를 들어, n-비트 값은 양자화 동안 m-비트 값으로 내림 (round down) 될 수도 있는데, 여기서 n 은 m 보다 더 크다.
양자화 다음에, 비디오 인코더는 변환 계수들을 스캐닝하여, 양자화된 변환 계수들을 포함하는 2 차원 매트릭스로부터 1 차원 벡터를 생성할 수도 있다. 스캔은 어레이의 앞쪽에 보다 높은 에너지 (따라서 보다 낮은 주파수) 계수들을 배치하고, 어레이의 뒤쪽에 보다 낮은 에너지 (따라서 보다 높은 주파수) 계수들을 배치하도록 설계될 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는 엔트로피 인코딩될 수 있는 직렬화된 벡터를 생성하기 위해 양자화된 변환 계수들을 스캔하기 위해 미리 정의된 스캔 순서를 이용할 수도 있다. 다른 예들에서, 비디오 인코더 (20) 는 적응 스캔 (adaptive scan) 을 수행할 수도 있다. 양자화된 변환 계수들을 스캐닝하여 1-차원 벡터를 형성한 후에, 비디오 인코더 (20) 는, 예를 들어 콘텍스트 적응 가변 길이 코딩 (CAVLC), 콘텍스트 적응 이진 산술 코딩 (CABAC), 신택스-기반 콘텍스트-적응 이진 산술 코딩 (SBAC), 확률 인터벌 파티셔닝 엔트로피 (PIPE) 코딩 또는 다른 엔트로피 인코딩 방법론에 따라 1-차원 벡터를 엔트로피 인코딩할 수도 있다. 비디오 인코더 (20) 는 또한, 비디오 데이터를 디코딩함에 있어서 비디오 디코더 (30) 에 의해 사용하기 위한 인코딩된 비디오 데이터와 연관된 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다.
CABAC 를 수행하기 위해, 비디오 인코더 (20) 는 콘텍스트 모델 내의 콘텍스트를 송신될 심볼에 할당할 수도 있다. 콘텍스트는, 예를 들어 심볼의 이웃하는 값들이 넌제로 (non-zero) 인지 또는 아닌지 여부에 관련될 수도 있다. CAVLC 를 수행하기 위해, 비디오 인코더 (20) 는 송신될 심볼에 대한 가변 길이 코드를 선택할 수도 있다. VLC 에서의 코드워드들은, 상대적으로 더 짧은 코드들이 고확률 (more probable) 심볼들에 대응하고, 더 긴 코드들이 저확률 (less probable) 심볼들에 대응하도록 구성될 수도 있다. 이 방식에서, VLC 의 사용은 예를 들어 송신될 각각의 심볼에 대해 동일한 길이의 코드워드들을 사용하는 것에 비해 비트 절감을 달성할 수도 있다. 확률 결정은 심볼에 할당된 콘텍스트에 기초할 수도 있다.
본 개시물의 기법들에 따르면, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 단독으로 또는 임의의 조합으로, 이하에 열거된 리스트에 나타낸 다음의 기법들 중 어느 하나 또는 모두를 수행하도록 구성될 수도 있다:
1. 예를 들어, 병합 후보 리스트로서 삽입되면, ATMVP 후보의 포지션.
a. 공간 후보들 및 TMVP 후보가 소정 순서로 병합 후보 리스트 안에 삽입된다고 가정한다. ATMVP 후보는 이들 후보들의 임의의 상대적으로 고정된 포지션에 삽입될 수도 있다.
i. 하나의 대안으로, 예를 들어 ATMVP 후보는 첫 번째 2 개의 공간 후보들, 예를 들어 A1 및 B1 후에 병합 후보 리스트에 삽입될 수 있다;
ii. 하나의 대안으로, 예를 들어 ATMVP 후보는 첫 번째 3 개의 공간 후보들, 예를 들어 A1 및 B1 및 B0 후에 삽입될 수 있다;
iii. 하나의 대안으로, 예를 들어 ATMVP 후보는 첫 번째 4 개의 공간 후보들, 예를 들어 A1, B1, B0, 및 A0 후에 삽입될 수 있다;
iv. 하나의 대안으로, 예를 들어 ATMVP 후보는 TMVP 후보 직전에 삽입될 수 있다.
v. 하나의 대안으로, 예를 들어 ATMVP 후보는 TMVP 후보 직후에 삽입될 수 있다.
b. 대안으로, 후보 리스트에서 ATMVP 후보의 포지션은 비트스트림으로 시그널링될 수 있다. TMVP 후보를 포함하는, 다른 후보들의 포지션들은 추가적으로 시그널링될 수 있다.
2. ATMVP 후보의 이용 가능성 체크는 모션 정보의 단지 하나의 세트에 액세스함으로써 적용할 수 있다. 이러한 정보의 세트가 이용 불가능한 경우, 예를 들어 하나의 블록이 인트라-코딩되는 경우, 전체 ATMVP 후보는 이용 불가능한 것으로서 고려된다. 그 경우에서, ATMVP 는 병합 리스트 안에 삽입되지 않을 것이다.
a. 센터 포지션, 또는 센터 서브-PU 가 순전히, ATMVP 후보의 이용 가능성을 체크하는데 사용된다. 센터 서브-PU 가 사용되는 경우, 센터 서브-PU 는 센터 포지션을 커버하는 것이도록 선택된다 (예를 들어, PU 의 상부-좌측 샘플에 대해 (W/2, H/2) 의 상대적 좌표를 갖는 센터 3 포지션, 여기서 WxH 는 PU 의 사이즈임). 이러한 포지션 또는 센터 서브-PU 는 모션 소스 픽처에서 대응하는 블록을 식별하도록 시간적 벡터와 함께 사용될 수도 있다. 대응하는 블록의 센터 포지션을 커버하는 블록으로부터 모션 정보의 세트가 식별된다.
3. 서브-PU 로부터 ATMVP 코딩된 PU 에 대한 모션 정보의 대표적인 세트.
a. ATMVP 후보를 형성하기 위해, 모션 정보의 대표적인 세트가 먼저 형성된다.
b. 모션 정보의 이러한 대표적인 세트는 고정된 포지션 또는 고정된 서브-PU 로부터 도출될 수도 있다. 이것은, 블릿 #2 에서 설명된 바와 같이, ATMVP 후보의 이용 가능성을 결정하는데 사용된 모션 정보의 세트와 동일한 방식으로 선택될 수 있다.
c. 서브-PU 가 모션 정보의 그 자신의 세트를 식별하였고 이용 불가능하면, 이것은 모션 정보의 대표적인 세트와 동일한 것으로 설정된다.
d. 모션 정보의 대표적인 세트가 서브-PU 의 것이도록 설정되면, 최악의 경우 시나리오에서 현재의 CTU 또는 슬라이스에 대해 디코더 측에서 추가의 모션 스토리지가 전혀 필요하지 않다.
e. 프로세스가 결합된 양방향-예측 병합 후보들을 생성하는데 사용되도록, 전체 PU 가 프루닝을 포함하는, 모션 정보의 하나의 세트에 의해 표현될 것을 디코딩 프로세스들이 요구하는 경우, 모든 시나리오들에서 모션 정보의 이러한 대표적인 세트가 사용된다.
4. ATMVP 후보는 TMVP 후보와 프루닝되고, TMVP 와 ATMVP 간의 상호작용들이 고려될 수 있고; 상세한 기법들은 이하에서 열거된다:
a. 서브-PU 기반 후보, 예를 들어 정규 후보를 갖는 ATMVP 후보의 프루닝은 이러한 서브-PU 기반 후보에 대한 (블릿 #3 에서와 같은) 모션 정보의 대표적인 세트를 사용함으로써 구성될 수도 있다. 모션 정보의 이러한 세트가 정규 병합 후보와 동일한 것이면, 2 개의 후보들은 동일한 것으로서 고려된다.
b. 대안으로, 추가하여, ATMVP 가 다수의 서브-PU들에 대한 모션 정보의 다수의 상이한 세트들을 포함하는지 여부를 결정하도록 체크가 수행된다; 적어도 2 개의 상이한 세트가 식별되면, 서브-PU 기반 후보는 프루닝을 위해 사용되지 않고, 즉 임의의 다른 후보와 상이한 것으로 고려되고; 그렇지 않으면, 이것은 프루닝을 위해 사용될 수도 있다 (예를 들어, 프루닝 프로세스 동안 프루닝될 수도 있다).
c. 대안으로, 추가하여, ATMVP 후보는 공간 후보들, 예를 들어 A1 및 B1 으로서 표기된 포지션들을 갖는 단지 좌측 및 상부 후보들로 프루닝될 수도 있다.
d. 대안으로, ATMVP 후보 또는 TMVP 후보 중 어느 하나인 단지 하나의 후보가 시간적 레퍼런스로부터 형성된다. ATMVP 가 이용 가능한 경우, 후보는 ATMVP 이고; 그렇지 않으면, 후보는 TMVP 이다. 이러한 후보는 TMVP 의 포지션과 유사한 포지션에서 병합 후보 리스트 안에 삽입된다. 이 경우에서, 후보들의 최대 수는 변하지 않고 유지될 수도 있다.
i. 대안으로, TMVP 는 항상, ATMVP 가 이용 불가능한 경우에도 디스에이블된다.
ii. 대안으로, TMVP 는, ATMVP 가 이용 불가능한 경우에만 사용된다.
e. 대안으로, ATMVP 가 이용 가능하고 TMVP 가 이용 불가능한 경우, 하나의 서브-PU 의 모션 정보의 하나의 세트가 TMVP 후보로서 사용된다. 이 경우에서, 또한, ATMVP 와 TMVP 간의 프루닝 프로세스가 적용되지 않는다.
f. 대안으로 또는 부가적으로, ATMVP 에 대해 사용된 시간적 벡터는 또한, HEVC 에서 현재 TMVP 에 대해 사용된 바와 같이 하부-우측 포지션 또는 센터 3 포지션이 사용될 필요가 없도록, TMVP 에 대해 사용될 수도 있다.
i. 대안으로, 시간적 벡터에 의해 식별된 포지션 및 하부-우측 및 센터 3 포지션들은 이용 가능한 TMVP 후보를 제공하도록 합동으로 고려된다.
5. ATMVP 에 대한 다수의 이용 가능성 체크들은 ATMVP 후보가 보다 정확하고 효율적이도록 더 높은 기회를 제공하도록 지원된다. (예를 들어, 도 9 에 도시된 바와 같이) 제 1 시간적 벡터에 의해 식별된 바와 같은 모션 소스 픽처로부터 현재의 ATMVP 후보가 이용 불가능한 경우, 다른 픽처들이 모션 소스 픽처로서 고려될 수 있다. 다른 픽처가 고려되는 경우, 이것은 상이한 제 2 의 시간적 벡터와 연관될 수도 있고, 또는 이용 불가능한 ATMVP 후보를 가리키는 제 1 시간적 벡터로부터 스케일링된 제 2 시간적 벡터와 단순히 연관될 수도 있다.
a. 제 2 시간적 벡터는 제 2 모션 소스 픽처에서 ATMVP 후보를 식별할 수 있고, 동일한 이용 가능성 체크가 적용할 수 있다. 제 2 모션 소스 픽처로부터 도출된 바와 같은 ATMVP 후보가 이용 가능하면, ATMVP 후보가 도출되고 다른 픽처들은 체크될 필요가 없다; 그렇지 않은 경우, 모션 소스 픽처들과 같이 다른 픽처들이 체크될 필요가 있다.
b. 체크될 픽처들은, 소정 순서로 현재의 픽처의 레퍼런스 픽처 리스트들에서의 것들일 수도 있다. 각각의 리스트에 대해, 픽처들은 레퍼런스 인덱스의 올림 차순으로 체크된다. 리스트 X 가 먼처 체크되고, (1-X 인) 리스트 Y 에서의 픽처들이 뒤따른다.
i. 리스트 X 는, 리스트 X 가 TMVP 에 대해 사용된 함께-위치된 픽처를 포함하는 리스트이도록 선택된다.
ii. 대안으로, X 는 단순히, 1 또는 0 으로 설정된다.
c. 체크될 픽처들은 소정의 순서로, 공간적 이웃들의 모션 벡터들에 의해 식별된 것들이다.
6. 현재 ATMVP 가 적용할 PU 의 파티션은 2Nx2N, NxN, 2NxN, Nx2N 또는 비대칭 모션 파티션 (AMP) 파티션들, 예컨대 2NxN/2 일 수도 있다.
a. 대안으로, 추가하여, 다른 파티션 사이즈들이 허용될 수 있으면, ATMVP 가 또한 지원될 수 있고, 이러한 사이즈는 예를 들어, 64x8 을 포함할 수도 있다.
b. 대안으로, 모드는 소정의 파티션들, 예를 들어 2Nx2N 에만 적용될 수도 있다.
7. ATMVP 후보는 병합 후보의 상이한 유형으로서 마크된다.
8. 이웃들로부터 벡터 (제 1 스테이지에서와 같은 시간적 벡터) 를 식별하는 경우, 다수의 이웃하는 포지션들, 예를 들어 병합 후보 리스트 구성에서 사용된 것들이 순서대로 체크될 수 있다. 이웃들 각각에 대해, 레퍼런스 픽처 리스트 0 (list 0) 또는 레퍼런스 픽처 리스트 1 (list 1) 에 대응하는 모션 벡터들이 순서대로 체크될 수 있다. 2 개의 모션 벡터들이 이용 가능한 경우, 리스트 X 가 TMVP 에 대해 사용된 함께-위치된 픽처를 포함하는 리스트이도록, 리스트 X 에서 모션 벡터들이 먼저 체크되고, 그 다음에 리스트 Y (Y 는 1-X 과 동일함) 에서의 모션 벡터들이 체크될 수 있다. ATMVP 에서, 시간적 벡터는 서브-PU 의 임의의 센터 포지션의 시프트로서 추가되도록 사용되고, 여기서 시간적 벡터의 컴포넌트들은 정수들로 시프트될 필요가 있을 수도 있다. 이러한 시프트된 센터 포지션은, 모션 벡터들이, 예를 들어 현재의 센터 포지션을 커버하는 4x4 의 사이즈로, 할당될 수 있는 최소 유닛을 식별하는데 사용된다.
a. 대안으로, 리스트 0 에 대응하는 모션 벡터들은, 리스트 1 에 대응하는 것들 전에 체크될 수도 있다;
b. 대안으로, 리스트 1 에 대응하는 모션 벡터들은, 리스트 0 에 대응하는 것들 전에 체크될 수도 있다;
c. 대안으로, 모든 공간적 이웃들에서 리스트 X 에 대응하는 모든 모션 벡터들이 순서대로 체크되고, 그 다음에 리스트 Y (Y 는 1-X 과 동일함) 에 대응하는 모션 벡터들이 체크된다. 여기서, 리스트 "X" 는, 함께-위치된 픽처가 속하는, 또는 단지 단순히 0 또는 1 로 설정되는 곳을 나타내는 리스트일 수 있다.
d. 공간적 이웃들의 순서는 HEVC 병합 모드로 사용된 것과 동일할 수 있다.
9. 시간적 벡터를 식별하는 제 1 스테이지가 레퍼런스 픽처를 식별하는 정보를 포함하지 않는 경우, 도 9 에 도시된 바와 같은 모션 소스 픽처는 고정된 픽처, 예를 들어 TMVP 에 대해 사용된 함께-위치된 픽처로 단순히 설정될 수도 있다.
a. 이러한 경우에서, 벡터는 단지, 이러한 고정된 픽처를 가리키는 모션 벡터들로부터 식별될 수도 있다.
b. 이러한 경우에서, 벡터는 단지, 임의의 픽처를 가리키는 모션 벡터들로부터 식별되지만 고정된 픽처를 향해 추가로 스케일링될 수도 있다.
10. 벡터를 식별하는 제 1 스테이지가 레퍼런스 픽처, 도 9 에 도시된 바와 같은 모션 소스 픽처를 식별하는 것으로 이루어지는 경우, 다음의 추가의 체크들 중 하나 이상이 후보 모션 벡터에 대해 적용할 수도 있다.
a. 모션 벡터가 인트라-코딩되는 슬라이스 또는 픽처와 연관되면, 이러한 모션 벡터는 이용 불가능한 것으로 고려되고, 벡터로 변환되도록 사용될수 없다.
b. 모션 벡터가 연관된 픽처에서 (예를 들어, 모션 벡터로 현재 센터 좌표를 추가함으로써) 인트라 블록을 식별하면, 이러한 모션 벡터는 이용 불가능한 것으로 고려되고 벡터로 변환되는데 사용될 수 없다.
11. 벡터를 식별하는 제 1 스테이지에서의 경우, 벡터의 컴포넌트들은, 그것이 모션 소스 픽처에서 하부-우측 픽셀 포지션을 식별하기 위해 (현재 PU 의 절반 폭, 현재 PU 의 절반 높이) 이도록 설정될 수도 있다. 여기서, (x, y) 는 하나의 모션 벡터의 수평 및 수직 컴포넌트들을 나타낸다.
a. 대안으로, 벡터의 컴포넌트들은 (sum(현재 PU 의 절반 폭, M), sum(현재 PU 의 절반 높이, N)) 이도록 설정될 수도 있고, 여기서 함수 sum(a, b) 는 a 및 b 의 합을 리턴한다. 일 예에서, 모션 정보가 4x4 유닛에 저장되는 경우, M 및 N 은 양자 모두 2 와 동일하도록 설정된다. 다른 예에서, 모션 정보가 8x8 유닛에 저장되는 경우, M 및 N 은 양자 모두 4 와 동일하도록 설정된다.
12. ATMVP 가 적용하는 경우 서브-블록/서브-PU 사이즈는 파라미터 세트, 예를 들어 픽처 파라미터 세트의 시퀀스 파라미터 세트에서 시그널링된다. 이 사이즈는 최소 PU 사이즈에서 CTU 사이즈 까지의 범위이다. 사이즈는 또한, 미리-정의 또는 시그널링될 수 있다. 사이즈는, 예를 들어 4x4 만큼 작을 수 있다. 대안으로, 서브-블록/서브-PU 사이즈는 PU 또는 CU 의 사이즈에 기초하여 도출될 수 있다. 예를 들어, 서브-블록/서브-PU 는 max(4x4, (CU 의 폭)＞＞ M) 와 동일하게 설정될 수 있다. M 의 값은 미리정의되거나 또는 비트스트림으로 시그널링될 수 있다.
13. 병합 후보들의 최대 수는, ATMVP 가 새로운 병합 후보로서 고려될 수 있다는 사실로 인해 1 만큼 증가될 수도 있다. 예를 들어, 프루닝 후에 병합 후보 리스트에서 최대 5 개의 후보들을 취하는 HEVC 에 비교하여, 병합 후보들의 최대 수는 6 으로 증가될 수 있다.
a. 대안으로, 종래의 TMVP 후보로 프루닝 또는 종래의 TMVP 후보와의 통합은, 병합 후보들의 최대 수가 변하지 않고 유지될 수 있도록 ATMVP 에 대해 수행될 수도 있다.
b. 대안으로, ATMVP 가 이용 가능한 것으로 식별되는 경우, 공간적 이웃하는 후보는 병합 후보 리스트로부터 배제되고, 예를 들어 페칭 순서에서 최종 공간적 이웃하는 후보가 배제된다.
14. 다수의 공간적 이웃하는 모션 벡터들이 시간적 벡터를 도출하는 것으로 고려되는 경우, 모션 벡터 유사성은 현재 PU 의 이웃하는 모션 벡터들 뿐만 아니라 모션 벡터와 동일하게 설정되는 특정 시간적 벡터에 의해 식별된 이웃하는 모션 벡터들에 기초하여 계산될 수도 있다. 최고 모션 유사성을 초래하는 것은 최종 시간적 벡터로서 선택될 수도 있다.
a. 하나의 대안에서, 이웃하는 포지션 N 으로부터 각각의 모션 벡터에 대해, 모션 벡터는 모션 소스 픽처에서 블록 (현재 PU 와 동일한 사이즈) 을 식별하고, 여기서 그 이웃하는 포지션 N 은 모션 정보의 세트를 포함한다. 모션 벡터의 이 세트는 현재 블록의 이웃하는 포지션 N 에서와 같이 모션 정보의 세트와 비교된다.
b. 다른 대안에서, 이웃하는 포지션 N 으로부터 각각의 모션 벡터에 대해, 모션 벡터는 모션 소스 픽처에서 블록을 식별하고, 여기서 그 이웃하는 포지션들은 모션 정보의 다수의 세트들을 포함한다. 모션 벡터의 이들 다수의 세트들은 동일한 상대적 포지션들에서 현재 PU 의 이웃하는 포지션들로부터 모션 정보의 다수의 세트들과 비교된다. 모션 정보 유사성이 계산된다. 예를 들어, 현재 PU 는 MIA1, MIB1, MIA0 및 MIB0 로서 표기된, A1, B1, A0 및 B0 로부터 모션 정보의 다음의 세트들을 갖는다. 시간적 벡터 TV 에 대해, 이것은 모션 소스 픽처에서 PU 에 대응하는 블록을 식별한다. 이러한 블록은 동일한 상대적 A1, B1, A0 및 B0 포지션들로부터의 모션 정보를 갖고, TMIA1, TMIB1, TMIA0 및 TMIB0 로 표기된다. TV 에 의해 결정된 바와 같은 모션 유사성은 
로서 계산되고, 여기서, MVSim 은 모션 정보의 2 개의 세트들 간의 유사성을 정의한다.
c. 위의 경우들 양자 모두에서, 모션 유사성 MVSim 이 사용될 수 있고, 여기서 2 개의 입력 파라미터들은 모션 정보의 2 개의 세트들이고, 각각은 최대 2 개의 모션 벡터들 및 2 개의 레퍼런스 인덱스들을 포함한다. 리스트 X 에서 모션 벡터들의 각각의 쌍은 실제로, 상이한 픽처들의 상이한 리스트 X 에서 레퍼런스 픽처들, 현재 픽처 및 모션 소스 픽처와 연관된다. 2 개의 모션 벡터들 MVXN 및 TMVXN (X 는 0 또는 1 과 동일함) 각각에 대해, 모션 벡터 차이 MVDXN 은 MVXN - TMVXN 로서 계산될 수 있다. 그 후에, 차이 MVSimX 는, 예를 들어 
, 또는 
로서 계산된다. 모션 정보의 세트들 양자 모두가 이용 가능한 모션 벡터들을 포함하면, MVSim 은 MVSimO + MVSim 1 과 동일하게 설정된다.
i. 모션 차이의 통합된 계산을 갖기 위해, 모션 벡터들 양자 모두는, 예를 들어 현재 픽처의 리스트 X 의 제 1 레퍼런스 픽처 RefPicListX[0] 일 수 있는 동일한 고정된 픽처를 향해 스케일링될 필요가 있다.
ii. 제 1 세트로부터 리스트 X 에서 모션 벡터의 이용 가능성 및 제 2 세트로부터 리스트 X 에서 모션 벡터의 이용 가능성이 상이하면, 즉 하나의 레퍼런스 인덱스가 -1 인 한편 다른 것은 -1 이 아니면, 이러한 모션 정보의 2 개의 세트들은 방향 X 에서 유사하지 않은 것으로서 고려된다. 2 개의 세트들이 양자 모두의 세트들에서 유사하지 않으면, 최종 MVSim 함수는, 예를 들어, 무한대로서 고려될 수도 있는 큰 값 T 를 리턴할 수도 있다.
iii. 대안으로, 모션 정보의 세트들의 쌍에 대해, 하나가 리스트 X (X 는 0 또는 1 과 동일함) 로부터 예측되지만 리스트 Y (Y 는 1-X 과 동일함) 로부터 예측되지 않고 다른 것이 동일한 스테이터스를 가지면, 1 과 2 사이의 가중화 (예를 들어, MVSim 은 MVSimX * 1.5 과 동일함) 가 사용될 수도 있다. 하나의 세트가 단지, 리스트 X 로부터 예측되고 다른 것이 리스트 Y 로부터 예측되는 경우, MVSim 은 큰 값 T 로 설정된다.
iv. 대안으로, 모션 정보의 임의의 세트에 대해, 하나의 모션 벡터가 이용 가능한 한, 양자 모두의 모션 벡터들이 생성될 것이다. (리스트 X 에 대응하는) 단지 하나의 모션 벡터가 이용 가능한 경우에서, 이것은 다른 리스트 Y 에 대응하는 모션 벡터를 형성하도록 스케일링된다.
d. 대안으로, 모션 벡터는 모션 벡터에 의해 식별된 블록 (현재 PU 와 동일한 사이즈) 의 이웃하는 픽셀들과 현재 PU 의 이웃하는 픽셀들 간의 차이들에 기초하여 측정될 수도 있다. 최소 차이를 초래하는 모션 벡터는 최종 시간적 벡터로서 선택될 수도 있다.
15. 현재 블록의 시간적 벡터를 도출하는 경우, ATMVP 로 코딩되는 이웃하는 블록들로부터의 시간적 벡터들 및/또는 모션 벡터들은 다른 이웃하는 블록들로부터의 모션 벡터들보다 상위의 우선순위를 가질 수도 있다.
a. 일 예에서, 이웃하는 블록들 중 단지 시간적 벡터들이 먼저, 체크되고, 제 1 이용 가능한 것은 현재 블록의 시간적 벡터로 설정될 수 있다. 단지 이러한 시간적 벡터들이 존재하지 않는 경우, 정규 모션 벡터들이 추가로 체크된다. 이 경우에서, ATMVP 코딩된 블록들에 대한 시간적 벡터들이 저장될 필요가 있다.
b. 다른 예에서, ATMVP 코딩된 이웃하는 블록들로부터 단지 모션 벡터들이 먼저, 체크되고, 제 1 이용 가능한 것은 현재 블록의 시간적 벡터로 설정될 수 있다. 단지 이러한 시간적 벡터들이 존재하지 않는 경우, 정규 모션 벡터들이 추가로 체크된다.
c. 다른 예에서, ATMVP 코딩된 이웃하는 블록들로부터 단지 모션 벡터들이 먼저, 체크되고, 제 1 이용 가능한 것은 현재 블록의 시간적 벡터로 설정될 수 있다. 이러한 모션 벡터들이 이용 가능하지 않으면, 시간적 벡터의 체크가 블릿 15a 에서와 유사하게 계속된다.
d. 다른 예에서, 이웃하는 블록들로부터 시간적 벡터들이 먼저, 체크되고, 제 1 이용 가능한 것은 현재 블록의 시간적 벡터로 설정될 수 있다. 이러한 모션 벡터들이 이용 가능하지 않으면, 시간적 벡터의 체크가 블릿 15b 에서와 유사하게 계속된다.
e. 다른 예에서, ATMVP 코딩된 이웃하는 블록들 중 시간적 벡터들 및 모션 벡터들이 먼저, 체크되고, 제 1 이용 가능한 것은 현재 블록의 시간적 벡터로 설정될 수 있다. 단지 이러한 시간적 벡터들 및 모션 벡터들이 존재하지 않는 경우, 정규 모션 벡터들이 추가로 체크된다.
16. 다수의 공간적 이웃하는 모션 벡터들이 시간적 벡터를 도출하도록 고려되는 경우, 모션 벡터는 그것이, 픽셀 도메인으로부터 계산되는 왜곡을 최소화하도록 선택될 수도 있고, 예를 들어 템플릿 매칭은, 최소의 매칭 비용을 초래하는 것이 최종 시간적 벡터로서 선택되도록 시간적 벡터를 도출하는데 사용될 수도 있다.
17. (모션 소스 픽처에서) 대응하는 블록으로부터 모션 정보의 세트의 도출은, 모션 벡터가 임의의 리스트 X 에 대해 대응하는 블록에서 이용 가능한 경우 (모션 벡터를 MVX 인 것으로 표기함), ATMVP 후보의 현재 서브-PU 에 대해, 모션 벡터가 (MVX 를 스케일링함으로써) 리스트 X 에 대해 이용 가능한 것으로서 고려되는 방식으로 행해진다. 모션 벡터가 임의의 리스트 X 에 대해 대응하는 블록에서 이용 불가능하면, 모션 벡터는 리스트 X 에 대해 이용 불가능한 것으로서 고려된다.
a. 대안으로, 대응하는 블록에서 모션 벡터가 리스트 X 에 대해 이용 불가능하지만 리스트 1 - X 에 대해 이용 가능하면 (1 - X 바이 Y 로 표기되고, 모션 벡터를 MVY 인 것으로 표기함), 모션 벡터는 여전히, (리스트 X 에서 타겟 레퍼런스 픽처를 향해 MVY 를 스케일링함으로써) 리스트 X 에 대해 이용 가능한 것으로서 고려된다.
b. 대안으로, 또는 추가하여, 리스트 X 및 리스트 Y (1-X 와 동일함) 에 대한 대응하는 블록에서 양자 모두의 모션 벡터들이 이용 가능한 경우, 리스트 X 및 리스트 Y 로부터의 모션 벡터들은 직접적으로 스케일링하는데 사용될 필요는 없고, 스케일링함으로써 현재 서브-PU 의 2 개의 모션 벡터들을 생성한다.
i. 일 예에서, ATMVP 후보를 포뮬레이팅할 때, TMVP 에서 행해진 것과 같은 저-지연 체크가 각각의 서브-PU 에 적용한다. (refPic 로 표기된) 모든 픽처에 대해, 현재 슬라이스의 모든 레퍼런스 픽처 리스트에서, refPic 의 픽처 순서 카운트 (POC) 가 현재 슬라이스의 POC 보다 작으면, 현재 슬라이스는 저-지연 모드로 고려된다. 이 저-지연 모드에서, 리스트 X 및 리스트 Y 로부터의 모션 벡터들이 스케일링되어, 리스트 X 및 리스트 Y 각각에 대한 현재 서브-PU 의 모션 벡터들을 생성한다. 저-지연 모드에 있지 않은 경우, MVX 또는 MVY 로부터의 단지 하나의 모션 벡터 MVZ 가 선택되고 스케일링되어 현재 서브-PU 에 대한 2 개의 모션 벡터들을 생성한다. TMVP 와 유사하게, 이러한 경우에서 Z 는 collocated_from_10_flag 와 동일하게 설정되고, 이것은 TMVP 에서와 같이 함께-위치된 픽처가 현재 픽처의 리스트 X 또는 리스트 Y 에 있는지 여부에 의존한다는 것을 의미한다. 대안으로, Z 는 다음과 같이 설정된다: 모션 소스 픽처가 리스트 X 로부터 식별되면, Z 는 X 로 설정된다.
대안으로, 추가하여, 모션 소스 픽처들이 양자 모두의 레퍼런스 픽처 리스트들에 속하고 RefPicListO[idxO] 이 리스트 0 에 먼저 존재하는 모션 소스 픽처이고 RefPicList(1)[Idx1] 이 리스트 1 에 먼저 존재하는 모션 소스 픽처인 경우, idxO 가 Idx1 이하이면 Z 는 0 으로 설정되고, 그렇지 않은 경우 Z 는 1 로 설정된다.
18. 모션 소스 픽처는 시그널링, 예를 들어 코딩된 비트스트림으로 비디오 인코더 (20) 에 의해 생성될 수도 있다. 상세에서, 모션 소스 픽처가 리스트 0 또는 리스트 1 로부터의 것인지 여부를 나타내는 플래그는 B 슬라이스에 대해 시그널링된다. 대안으로, 추가하여, 현재 픽처의 리스트 0 또는 리스트 1 에 대한 레퍼런스 인덱스는 모션 소스 픽처를 식별하도록 시그널링될 수도 있다.
19. 시간적 벡터를 식별하는 경우, 벡터는, 그것이 연관된 모션 소스 픽처에서 인트라-코딩된 블록을 가리키면, 이용 불가능한 것으로서 고려된다 (따라서, 다른 것들이 고려될 수 있다).
본 개시물의 다양한 기법들의 구현이 이하에서 논의된다. ATMVP 는 HEVC 버전 1 의 상부 상에서 구현된다고 가정된다. 모션 압축은 레퍼런스 픽처들에 적용하지 않을 수도 있고, 양방향 모션 보상을 갖는 더 작은 블록들이 인에이블될 수도 있다.
SPS 에서 ATMVP 의 시그널링:
atmvp_sub_pu_size 는 SPS 에 존재할 수도 있다.
atmvp_sub_pu_size 는 ATMVP 모드로 코딩된 PU 의 서브-PU들의 사이즈를 지정할 수도 있다. 이것은, 2 내지 6 을 포함하는 범위에 있다. ATMVP 에 대한 서브-PU, (spuWidth, spuHeight) 는 min(w, 1＜＜atmvp_sub_pu_size) 곱하기 min(h, 1＜＜atmvp_sub_pu_size) 로서 도출되고, 여기서 w x h 는 현재 PU 의 사이즈이다.
대안으로, 서브-PU 사이즈들의 폭 및 높이 양자 모두는 SPS 에서 별개로 시그널링된다.
대안으로, 서브-PU 사이즈들은 최소 코딩 유닛 사이즈 또는 CTU 사이즈와 대조적으로 시그널링된다.
변수 atmvpEnableFlag 은, atmvp_sub_pu_size 가 CTU 사이즈보다 더 작으면 (예를 들어, HEVC 버전 1 에서와 같이 6), 1 과 동일한 것으로, 그리고 그렇지 않은 경우 0 과 동일한 것으로 도출된다.
슬라이스 헤더에서 ATMVP 의 시그널링: five_minus_max_num_merge_cand 는 5 에서 감산된 슬라이스에서 지원된 병합 MVP 후보들의 최대 수를 지정한다. 병합 MVP 후보들의 최대 수, MaxNumMergeCand 는 다음과 같이 도출된다:
five_minus_max_num_merge_cand 의 값은, MaxNumMergeCand 이 1 내지 (atmvpEnableFlag? 6: 5) 을 포함하는 범위에 있도록 제한될 것이다.
대안으로, five_minus_max_num_merge_cand 는 six_minus_max_num_merge_cand 로 변경되고, 시맨틱들은 다음과 같다:
six_minus_max_num_merge_cand 는 6 에서 감산된 슬라이스에서 지원된 병합 MVP 후보들의 최대 수를 지정한다. 병합 MVP 후보들의 최대 수, MaxNumMergeCand 는
MaxNumMergeCand = 6 - six_minus_max_num_merge_cand (7-41)
로서 도출된다.
대안으로, max_num_merge_cand_minus1 는 직접 시그널링된다.
일부 예들에서, 다른 신택스 변화들이 불필요하고, ATMVP 후보는, 0 내지 5 를 포함하는 범위에 있을 수도 있는 merge_idx 에 의해 식별된다.
ATMVP 에 관련된 디코딩 프로세스들: 다음의 디코딩 프로세스들은, 예를 들어 비디오 디코더 (30) 에 의해 구현되어, ATMVP 후보를 포뮬레이팅하고, 병합 후보 리스트의 부분으로서 그것을 포함한다:
제 1 스테이지 시간적 벡터의 식별:
변수 mtSrcPOC 를 TMVP 에 사용된 함께-위치된 픽처의 POC 값으로, tV 를 0 벡터로 설정하고, atmvpAvaFlag 는 0 으로 설정된다.
A1, B1, B0, A0, 및 B2 인 공간적 이웃하는 포지션들의 포지션 N 각각에 대해, 다음을 적용한다:
■ mtSrcPOC 은 RefPicListX[RefIdxX[ N ]] 의 POC 값과 동일하게 설정된다;
■ tV 는 MVLX[ N ] 와 동일하게 설정되고;
■ atmvpAvaFlag 는 1 로 설정되고;
■ 이 프로세스를 종료한다.
이용 가능한 모션 소스의 식별:
픽처들의 리스트를 엠프티 리스트이도록 CanPicATMVP 인 것으로 설정.
CanPicATMVP[ 0 ] 는 mtSrcPOC 와 동일한 POC 값을 갖는 픽처인 것으로 설정된다.
i 는 1 과 동일하게 설정된다;
MotionSrcPic 는 엠프티 픽처이고, 이하에서 지정된 바와 같이 업데이트될 수 있다.
이용 가능한 레퍼런스 픽처 리스트 X 각각에 대해, 다음을 적용한다:
o 현재 슬라이스가 B 슬라이스이면, X 는 dir 내지 (1-dir) 를 포함하는 것과 동일하고, 또는 현재 슬라이스가 B 슬라이스가 아니면 단지 X 는 0 과 동일하고, 다음을 적용한다:
o 0 내지 num_ref_active_1X_minus1 의 각각의 idx 에 대해;
■ CanPicATMVP[i++] = RefPicListX[idx];
현재 PU 의 상단-좌측 픽셀 포지션의 좌표를 (CurrPosX, CurrPosY) 로 한다.
0 내지 i 를 포함하는 것과 동일한 n 에 대해, 다음을 적용한다.
o centerPosX =CurrPosX+= ((tScaledVector[ 0 ]+2)＞＞2);
o centerPosY =CurrPosY+= ((tScaledVector[ 1 ]+2)＞＞2);
o 센터 서브-PU 및 현재 PU 사이즈의 대응하는 블록을 폭 곱하기 높이인 것으로 식별하는 포지션을 (centerPosX, centerPosY) 라 한다.
o centerPosX += CurrPosX + ((width/spuWidth)＞＞1) * spuWidth + (min(spuWidth, width)＞＞1);
o centerPosY += CurrPosX + ((height/spuHeight)＞＞1) * spuHeight + (min(spuHeight, height)＞＞1) ;
o 모션 정보를 그랩하는 모션 정보 페칭 프로세스를 인보크, 픽처 mtnSrcPic 는 CanPicATMVP[n] 와 동일하고, 포지션 (posX, posY) 는 입력으로서 (centerPosX, centerPosY) 과 동일하고, 출력으로서 서브-PU 모션 이용 가능한 플래그 SubPuMtnAvaFlag, 레퍼런스 인덱스들의 쌍 sColRefIdxO 및 sColRefIdx1, 및 모션 벡터들의 쌍 sColMVO, sColMV1 과 동일하다.
o SubPuMtnAvaFlag 가 1 과 동일하면, 다음을 적용한다.
■ MotionSrcPic 는 CanPicATMVP[ n ] 로 설정
■ tV 는 tScaledVector 로 설정
■ 이 루프를 종료.
모션 정보 페칭 프로세스:
이 프로세스의 입력은 픽처 mtnSrcPic 및 픽처를 갖는 포지션 (posX, posY) 이고, 이 프로세스의 출력은 모션 이용 가능한 플래그 mtnAvaFlag, 레퍼런스 인덱스들의 쌍 refIdxO 및 refIdx1, 및 모션 벡터들의 쌍 mvO, MV1 이다.
(posX, posY) 는 픽처 mtnSrcPic 내에 있도록 먼저, 클립된다.
포지션 (posX, posY) 을 포함하는, 4x4 (또는 모션 정보를 저장하는 다른 최소 사이즈) 블록 blkT 가 식별된다.
mtnAvaFlag 는 0 과 동일하게 설정된다.
blkT 는 인트라-코딩되지 않고, 그 모션 정보가 blkTRefIdxO, blkTRefIdx1, blkTMvO, 및 blkTMv1 를 포함하면, 다음을 적용한다.
mtnAvaFlag 는 1 로 동일하게 설정되고, 0 내지 1 인 X 에 대해 다음을 적용한다.
o refIdxX 는 blkTRefIdxX 과 동일하게 설정된다
o mvX 는 blkTMvX 과 동일하게 설정된다
ATMVP 에 대한 서브-PU 의 생성:
SubPuMtnAvaFlag 가 1 과 동일하면, 다음의 프로세스가 인보크된다.
o 현재 서브-PU 의 수평 인덱스 및 수직 인덱스를 k 및 l 로서 각각 표기하고, k 는 0 내지 width/spuWidth-1 를 포함하는 범위이고 l 은 0 내지 height/spuHeight-1 를 포함하는 범위이다. 예를 들어, 16x16 PU 가 4 개의 8x8 서브-PU 들로 분할되면, 래스터 스캔 순서에서 4 개의 서브-PU 들의 (k, l) 값들은 각각 (0, 0), (1, 0), (0, 1) 및 (1, 1) 이다.
o Sub-PU 의 좌표 (tempPosX, tempPosY) 는 (tempPosX, tempPosY) = (CurrPosX, CurrPosY)+ (k* spuWidth, l* spuHeight) 로서 계산된다.
o tempPosX += (( tV [ 0 ] +2)＞＞2);
o tempPosY += (( tV [ 1 ] +2)＞＞2);
o 모션 정보를 그랩하는 모션 정보 페칭 프로세스를 인보크 , 픽처 mtnSrcPic 는 MotionSrcPic 와 동일하고, 포지션 ( posX , posY ) 는 입력으로서 (tempPosX, tempPosY ) 및 출력으로서 서브- PU 모션 이용 가능한 플래그 currSubPuMtnAvaFlag, 레퍼런스 인덱스들의 쌍 currSubRefIdxO 및 currSubRefIdx1 , 및 모션 벡터들의 쌍 currSubMVO , currSubMV1 과 동일하다.
o
currSubPuMtnAvaFlag
는 0 과 동일한 경우, 0 내지 1 과 동일한 X 에 대해, currSubRefIdxX 는
cColRefIdxX
과 동일하게 설정되고
currSubMVX
는
cColMVX
와 동일하게 설정된다.
o 0 내지 1 과 동일한 X 에 대해, TMVP 에서와 유사한, RefPicListX [O] 인, 현재 픽처의 디폴트 타겟 레퍼런스 픽처에 대해, 모션 벡터 currSubMVX 를 스케일링. 현재 서브-PU 에 대한 도출된 레퍼런스 인덱스 및 모션 벡터를 cSpuRefIdxX 및 cSpuMVX 으로서 표기하고, 이들은 다음과 같이 도출된다:
■ cSpuRefIdxX =( currSubRefIdxX>=0 ? 0:-1);
■ cSpuMVX 는, TMVP 에서와 유사한, currSubMVX 의 스케일링된 벡터인 것으로 설정된다.
이 ATMVP 후보에 대한 모션 정보의 대표적인 세트, aRefIdxX, 및 (0 내지 1 과 동일한 X 에 대해) aMVX 는 다음과 같이 도출된다:
대안으로,
모션
페칭
프로세스 및
모션
스케일링 프로세스는
HEVC
버전
1 의
TMVP, 즉
HEVC
버전
1 의
하위조항 8.5.3.2.
8 에서와
같이 동일하다 (또는 유사하다): "
Derivation
process
for
collocated
motion
vectors
" 는 이 서브-섹션에서 하이라이트된 텍스트를 대체하도록 적용한다. 이 경우에서,
TMVP
(하위조항 8.5.3.2.8)
에서와
같이
모션
페칭
및
모션
스케일링 프로세스는 (
이탤릭체로된
텍스트에 의해 표시된 바를 포함하는) 위에 정의된
모션
페칭
프로세스 및
모션
스케일링 프로세스를 대체한다.
병합 후보 리스트에 ATMVP 후보의 삽입:
SubPuMtnAvaFlag 가 1 과 동일한 경우, ATMVP 후보는, A0 (또는 대안으로 B0) 후보가 테스트되고 가능하게는 병합 후보 리스트 안에 삽입된 후에 병합 후보 안에 삽입된다.
이 후보에 대한 모션 정보는 aRefIdxX, 및 aMVX (X 는 0 또는 1 과 동일함) 에 의해 형성되는 것으로 고려된다.
TMVP 후보가 이용 가능한 경우, 이것은 또한, ATMVP 후보 (aRefIdxX, 및 aMVX) 의 대표적인 정보와 비교된다; 단지, TMVP 후보가 aRefIdxX 와 동일하지 않은 refIdxX 또는 aMVX (X 는 0 또는 1 과 동일함) 와 동일하지 않은 모션 벡터를 가지면, 이것은 또한, 병합 후보 리스트 안에 삽입된다.
ATMVP 후보를 포함하는 모든 후보들이 모션 정보의 하나의 단일 세트 (최대 2 개의 레퍼런스 인덱스들 및 2 개의 연관된 모션 벡터들) 로 표현된 바와 같이 분명하게 고려되는 경우, ATMVP 후보에 대한 대표적인 정보가 사용된다. 예를 들어, 결합형 양방향-예측 병합 후보들에 대한 도출 프로세스에서, ATMVP 의 대표적인 모션 정보가 사용된다.
또한, 각각의 병합 후보에는, 이러한 후보가 ATMVP 후보인지 여부를 나타내는 (플래그 또는 유형일 수 있는) 태그가 어태치된다.
또한, ATMVP 후보에 대해, 0 및 1 과 동일한 X 에 대해 cSpuRefIdxX 및 cSpuMVX 로서 상기 표기된, 그리고 현재 PU 에 대해 저장될 필요가 있는 각각의 서브-PU 에 대해 모션 정보 세트들이 디코딩된다.
ATMVP 후보에 기초한 모션 보상: 현재 PU 가 병합 모드 및 각각의 서브-PU 에 대해 ATMVP 후보로서 표시된 후보로 지정된 merge_idx 로 코딩되는 경우, (0 및 1 과 동일한 X 에 대한) 모션 정보 cSpuRefIdxX 및 cSpuMVX 가 도출되어 현재 서브-PU 에 대한 모션 보상을 수행하도록 사용된다. 모션 보상이 행해진 후에, 잔차 디코딩 및 다른 프로세스들이 다른 인터 모드들과 동일한 방식으로 행해진다.
비디오 인코더 (20) 는 또한, 신택스 데이터, 예컨대 블록-기반 신택스 데이터, 프레임-기반 신택스 데이터, 및 GOP-기반 신택스 데이터를 예를 들어, 프레임 헤더, 블록 헤더, 슬라이스 헤더, 또는 GOP 헤더에서 비디오 디코더 (30) 로 전송할 수도 있다. GOP 신택스 데이터는 개별의 GOP 에서 프레임들의 수를 설명할 수도 있고, 프레임 신택스 데이터는 대응하는 프레임을 인코딩하는데 사용된 인코딩/예측 모드를 나타낼 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 임의의 다양한 적합한 인코더 또는 디코더 회로부, 적용 가능한 바와 같이, 예컨대 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서 (DSP) 들, 주문형 집적 회로들 (ASIC) 들, 필드 프로그램가능 게이트 어레이 (FPGA) 들, 이산 로직 회로부, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들로서 구현될 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있고, 이들 중 어느 하나는 결합형 비디오 인코더/디코더 (CODEC) 의 부분으로서 통합될 수도 있다. 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 를 포함하는 디바이스는 집적 회로, 마이크로프로세서, 및/또는 무선 통신 디바이스, 예컨대 셀룰러 전화기를 포함할 수도 있다.
도 2 는 어드밴스드 시간 모션 벡터 예측 (ATMVP) 에 대한 기법들을 구현할 수도 있는 비디오 인코더 (20) 의 일 예를 예시하는 블록도이다. 비디오 인코더 (20) 는 비디오 슬라이스들 내에서 비디오 블록들의 인트라- 및 인터-코딩을 수행할 수도 있다. 인트라-코딩은 소정의 비디오 프레임 또는 픽처 내의 비디오에서 공간적 리던던시를 감소시키거나 제거하기 위해 공간 예측에 의존한다. 인터-코딩은 비디오 시퀀스의 인접한 프레임들 또는 픽처들 내의 비디오에서 시간적 리던던시를 감소시키거나 제거하기 위해 시간 예측에 의존한다. 인트라-모드 (I 모드) 는 여러 공간 기반의 코딩 모드들 중 임의의 것을 지칭할 수도 있다. 단방향 예측 (P 모드) 및 양방향 예측 (B 모드) 과 같은 인터 모드들은 여러 시간 기반의 코딩 모드들 중 임의의 것을 지칭할 수도 있다.
도 2 에 도시된 바와 같이, 비디오 인코더 (20) 는 인코딩될 비디오 프레임 내에서 현재 비디오 블록을 수신한다. 도 2 의 예에서, 비디오 인코더 (20) 는 모드 선택 유닛 (40), 레퍼런스 픽처 메모리 (64), 합산기 (50), 변환 프로세싱 유닛 (52), 양자화 유닛 (54), 및 엔트로피 인코딩 유닛 (56) 을 포함한다. 모드 선택 유닛 (40) 은 또한, 모션 보상 유닛 (44), 모션 추정 유닛 (42), 인트라-예측 유닛 (46), 및 파티션 유닛 (48) 을 포함한다. 비디오 블록 복원을 위해, 비디오 인코더 (20) 는 또한, 역양자화 유닛 (58), 역변환 유닛 (60), 및 합산기 (62) 를 포함한다. 디블록킹 필터 (도 2 에 도시되지 않음) 는 또한, 복원된 비디오로부터 블록화 아티팩트들을 제거하기 위해 블록 경계들을 필터링하도록 포함될 수도 있다. 원하는 경우, 디블록킹 필터는 통상적으로 합산기 (62) 의 출력을 필터링할 것이다. 추가의 필터들 (인 루프 또는 포스트 루프) 이 또한, 디블록킹 필터에 추가되어 사용될 수도 있다. 이러한 필터들은 간결함을 위해 도시되지 않았으나, 원한다면 (인-루프 필터와 같이) 합산기 (50) 의 출력을 필터링할 수도 있다.
인코딩 프로세스 동안, 비디오 인코더 (20) 는 코딩될 비디오 프레임 또는 슬라이스를 수신한다. 프레임 또는 슬라이스는 다수의 비디오 블록들로 분할될 수도 있다. 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 하나 이상의 레퍼런스 프레임들에서의 하나 이상의 블록들에 대한 수신된 비디오 블록의 인터-예측 코딩을 수행하여, 시간 예측을 제공한다. 인트라-예측 유닛 (46) 은 대안으로, 코딩될 블록과 동일한 프레임 또는 슬라이스에서의 하나 이상의 이웃하는 블록들에 대한 수신된 비디오 블록의 인트라-예측 코딩을 수행하여 공간 예측을 제공할 수도 있다. 비디오 인코더 (20) 는, 예를 들어 비디오 데이터의 각각의 블록에 대한 적합한 코딩 모드를 선택하기 위해 다수의 코딩 패스들을 수행할 수도 있다.
또한, 파티션 유닛 (48) 은 이전의 코딩 패스들에서 이전의 파티셔닝 스킴들의 평가에 기초하여, 비디오 데이터의 블록들을 서브-블록들로 파티셔닝할 수도 있다. 예를 들어, 파티션 유닛 (48) 은 초기에, 프레임 또는 슬라이스를 LCU들로 파티셔닝하고, 이 LCU들 각각을 레이트-왜곡 분석 (예를 들어, 레이트-왜곡 최적화) 에 기초하여 서브-CU들로 파티셔닝할 수도 있다. 모드 선택 유닛 (40) 은 또한, 서브-CU 들로의 LCU 의 파티셔닝을 나타내는 쿼드트리 데이터 구조를 생성할 수도 있다. 쿼드트리의 리프-노드 CU들은 하나 이상의 PU들 및 하나 이상의 TU들을 포함할 수도 있다.
모드 선택 유닛 (40) 은, 예를 들어 에러 결과들에 기초하여 코딩 모드들, 인트라 또는 인터 중 하나를 선택하고, 이 결과의 인트라- 또는 인터-코딩된 블록을 합산기 (50) 에 제공하여 잔차 블록 데이터를 생성하고 합산기 (62) 에 제공하여 레퍼런스 프레임으로서 사용하기 위한 인코딩된 블록을 복원할 수도 있다. 모드 선택 유닛 (40) 은 또한, 신택스 엘리먼트들, 예컨대 모션 벡터들, 인트라-모드 표시자들, 파티션 정보, 및 다른 이러한 신택스 정보를 엔트로피 인코딩 유닛 (56) 에 제공한다.
모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 고도로 통합될 수도 있지만, 개념적 목적들을 위해 별개로 예시되어 있다. 모션 추정 유닛 (42) 에 의해 수행된 모션 추정은 모션 벡터들을 생성하는 프로세스이며, 이 모션 벡터들은 비디오 블록들에 대한 모션을 추정한다. 모션 벡터는, 예를 들어 현재 프레임 (또는 다른 코딩된 유닛) 내에서 코딩되고 있는 현재 블록에 대해 레퍼런스 프레임 (또는 다른 코딩된 유닛) 내에서 예측 블록에 대한 현재 비디오 프레임 또는 픽처 내의 비디오 블록의 PU 의 변위를 나타낼 수도 있다. 예측 블록은 픽셀 차이의 관점에서 코딩된 블록과 밀접하게 일치하는 것으로 발견되는 블록이고, 픽셀 차이는 절대 차의 합 (SAD), 제곱 차의 합 (SSD), 또는 다른 차이 메트릭들에 의해 결정될 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는 레퍼런스 픽처 메모리 (64) 에 저장된 레퍼런스 픽처들의 서브-정수 픽셀 포지션들에 대한 값들을 계산할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 레퍼런스 픽처의 1/4 픽셀 포지션들, 1/8 픽셀 포지션들, 또는 다른 분수의 픽셀 포지션들의 값들을 보간할 수도 있다. 따라서, 모션 추정 유닛 (42) 은 전픽셀 (full pixel) 포지션들 및 분수적 (fractionA1) 픽셀 포지션들에 대한 모션 검색을 수행하고 분수적 픽셀 정확도를 갖는 모션 벡터를 출력한다.
모션 추정 유닛 (42) 은 PU 의 포지션을 레퍼런스 픽처의 예측 블록의 포지션에 비교함으로써 인터-코딩된 슬라이스에서의 비디오 블록의 PU 에 대한 모션 벡터를 계산한다. 레퍼런스 픽처는 제 1 레퍼런스 픽처 리스트 (List 0) 또는 제 2 레퍼런스 픽처 리스트 (List 1) 로부터 선택될 수도 있는데, 이들 각각은 레퍼런스 픽처 메모리 (64) 에 저장된 하나 이상의 레퍼런스 픽처들을 식별한다. 모션 추정 유닛 (42) 은 계산된 모션 벡터를 엔트로피 인코딩 유닛 (56) 및 모션 보상 유닛 (44) 으로 전송한다.
모션 보상 유닛 (44) 에 의해 수행된 모션 보상은 모션 추정 유닛 (42) 에 의해 결정된 모션 벡터에 기초한 예측 블록의 페치 (fetch) 또는 생성을 수반할 수도 있다. 다시, 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 일부 예들에서, 기능적으로 통합될 수도 있다. 현재 비디오 블록의 PU 에 대한 모션 벡터를 수신 시에, 모션 보상 유닛 (44) 은 레퍼런스 픽처 리스트들 중 하나에 모션 벡터가 가리키는 예측 블록을 위치시킬 수도 있다. 합산기 (50) 는, 이하에서 논의되는 바와 같이, 픽셀 차이 값들을 형성하는, 코딩되고 있는 현재 비디오 블록의 픽셀 값들로부터 예측 블록의 픽셀 값들을 감산함으로써 잔차 비디오 블록을 형성한다. 일반적으로, 모션 추정 유닛 (42) 은 루마 컴포넌트들에 대해 모션 추정을 수행하고, 모션 보상 유닛 (44) 은 크로마 컴포넌트들 및 루마 컴포넌트들 양자 모두에 대해 루마 컴포넌트들에 기초하여 계산된 모션 벡터들을 사용한다. 모션 선택 유닛 (40) 은 또한, 비디오 슬라이스의 비디오 블록들을 디코딩함에 있어서 비디오 디코더 (30) 에 의한 사용을 위해 비디오 블록들 및 비디오 슬라이스와 연관된 신택스 엘리먼트들을 생성할 수도 있다.
비디오 인코더 (20) 는 도 1 에 대하여 위에서 논의된 본 개시물의 다양한 기법들 중 어느 하나를 수행하도록 구성될 수도 있다. 예를 들어, 모션 보상 유닛 (44) 은 본 개시물의 기법들에 따라 병합 모드 또는 AMVP 를 사용하여 비디오 데이터의 블록에 대한 모션 정보를 코딩하도록 구성될 수도 있다.
모션 보상 유닛 (44) 이 병합 모드를 수행하기를 택한다고 가정하면, 모션 보상 유닛 (44) 은 병합 후보들의 세트를 포함하는 후보 리스트를 형성할 수도 있다. 모션 보상 유닛 (44) 은 특정한, 미리결정된 순서에 기초하여 후보 리스트에 후보들을 추가할 수도 있다. 일 예에서, 모션 보상 유닛 (44) 은 A1, B1, BO, AO 의 순서로 후보 리스트에 후보들을, 그 후 어드밴스드 시간 모션 벡터 예측 (ATMVP) 후보를 추가한다. 모션 보상 유닛 (44) 은 또한, 위에서 논의된 바와 같이, 추가의 후보들을 추가하고 후보 리스트의 프루닝을 수행할 수도 있다. 궁극적으로, 모드 선택 유닛 (40) 은, 후보들 중 어느 것이 현재 블록의 모션 정보를 인코딩하는데 사용되는지를 결정하고, 선택된 후보를 나타내는 병합 인덱스를 인코딩할 수도 있다.
또한, 일부 예들에서, 모션 보상 유닛 (44) 은 먼저, ATMVP 후보가 이용 가능한지 여부를 결정할 수도 있다. 예를 들어, 모션 보상 유닛은 레퍼런스 픽처에서 현재 블록에 대해 대응하는 블록을 결정하고, 대응하는 블록에 대해 모션 정보가 이용 가능한지 여부를 결정할 수도 있다. 모션 보상 유닛 (44) 은 그 후, 모션 정보가 대응하는 블록에 대해 이용가능한 경우 ATMVP 후보 (즉, 대응하는 블록) 가 이용 가능하다는 것을 결정할 수도 있다. 일부 예들에서, 모션 보상 유닛 (44) 은, 모션 정보가, 전체 대응하는 블록 (예를 들어, 이하의 도 5(a) 에 도시된 바와 같은, 센터 포지션 블록) 이 인트라-예측의 사용 없이 예측되는 경우 대응하는 블록에 대해 이용 가능하지만, 대응하는 블록의 적어도 일부가 인트라-예측을 사용하여 예측되는 경우 이용 가능하지 않다는 것을 결정할 수도 있다.
유사하게, 일부 예들에서, 모션 보상 유닛 (44) 은, 2 개의 잠재적인 ATMVP 후보들 중 어느 것이 후보 리스트에 궁극적으로 추가된 ATMVP 후보로서 사용되어야 하는지를 결정할 수도 있다. 예를 들어, 모션 보상 유닛 (44) 은, 제 1 모션 소스 픽처, 즉 제 1 레퍼런스 픽처에서 제 1 ATMVP 후보를 식별하는 현재 블록에 대한 제 1 시간 모션 벡터를 형성할 수도 있다. 모션 정보가 제 1 ATMVP 후보에 대해 이용 가능하지 않으면, 모션 보상 유닛 (44) 은, 모션 정보가 제 2 의, 상이한 ATMVP 후보에 대해 이용 가능한지 여부를 결정할 수도 있다. 제 2 ATMVP 후보는 제 2 의, 상이한 레퍼런스 픽처를 참조하는 동일한 시간 모션 벡터, 동일한 (즉, 제 1) 레퍼런스 픽처를 참조하는 상이한 시간 모션 벡터, 또는 제 2 의, 상이한 레퍼런스 픽처를 참조하는 상이한 시간 모션 벡터를 사용하여 식별될 수도 있다. 위에서 논의된 바와 같이, 체크될 레퍼런스 픽처들은 레퍼런스 픽처 리스트에서 레퍼런스 인덱스들의 올림 차순으로 있을 수도 있다. 마찬가지로, 상이한 시간 모션 벡터들이 사용되면, 시간 모션 벡터들은 현재 블록에 이웃하는 블록들의 시간적 벡터들로부터 미리결정된 순서로 선택될 수도 있다.
또한, 모션 보상 유닛 (44) 은 특정 레퍼런스 픽처 리스트에 대한 ATMVP 후보에서 서브-PU 에 대해 모션 벡터가 이용 가능한지 여부를 결정할 수도 있다. 그렇다면, 모션 벡터는 그 레퍼런스 픽처 리스트에 대해 이용 가능한 것으로 고려된다. 그렇지 않으면, 모션 벡터는 그 레퍼런스 픽처 리스트에 대해 이용 불가능한 것으로 고려된다. 대안으로, 모션 벡터가 다른 레퍼런스 픽처 리스트에 대해 이용 가능하면, 모션 보상 유닛 (44) 은, 위에서 논의된 바와 같이 제 1 레퍼런스 픽처 리스트에서 타겟 레퍼런스 픽처를 가리키도록 모션 벡터를 스케일링함으로써 모션 정보를 수정할 수도 있다.
인트라-예측 유닛 (46) 은, 전술된 바와 같이 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 수행된 인터-예측에 대한 대안으로서, 현재 블록을 인트라-예측할 수도 있다. 특히, 인트라-예측 유닛 (46) 은 현재 블록을 인코딩하는데 사용할 인트라-예측 모드를 결정할 수도 있다. 일부 예들에서, 인트라-예측 유닛 (46) 은, 예를 들어 별개의 인코딩 패스들 동안 다양한 인트라-예측 모드들을 사용하여 현재 블록을 인코딩할 수도 있고, 인트라-예측 유닛 (46) (또는, 일부 예들에서 모드 선택 유닛 (40)) 은 테스트된 모드들로부터 사용할 적합한 인트라-예측 모드를 선택할 수도 있다.
예를 들어, 인트라-예측 유닛 (46) 은 다양한 테스트된 인트라-예측 모드들에 대한 레이트 왜곡 분석을 사용하여 레이트 왜곡 값들을 계산하고, 테스트된 모드들 중에서 최선의 레이트 왜곡 특성들을 갖는 인트라-예측 모드를 선택할 수도 있다. 레이트 왜곡 분석은 일반적으로, 인코딩된 블록과 인코딩된 블록을 생성하도록 인코딩되었던 원래의, 인코딩되지 않은 블록 사이의 왜곡 (또는 오류) 의 양, 뿐만 아니라 인코딩된 블록을 생성하는데 사용된 비트레이트 (즉, 비트들의 수) 를 결정한다. 인트라-예측 유닛 (46) 은 다양한 인코딩된 블록들에 대한 레이트들 및 왜곡들로부터의 비율들을 계산하여 어느 인트라-예측 모드가 블록에 대한 최선의 레이트-왜곡 값을 보이는지를 결정할 수도 있다.
블록에 대한 인트라-예측 모드를 선택한 후에, 인트라-예측 유닛 (46) 은 블록에 대해 선택된 인트라-예측 모드를 나타내는 정보를 엔트로피 인코딩 유닛 (56) 에 제공할 수도 있다. 엔트로피 인코딩 유닛 (56) 은 선택된 인트라-예측 모드를 나타내는 정보를 인코딩할 수도 있다. 비디오 인코더 (20) 는 송신된 비트스트림에서 구성 데이터를 포함할 수도 있는데, 이 구성 데이터는 복수의 인트라-예측 모드 인덱스 테이블들 및 복수의 수정된 인트라-예측 모드 인덱스 테이블들 (또한, 코드워드 맵핑 테이블들로서 지칭됨), 각종 블록들에 대한 인코딩 콘텍스트들의 정의들, 및 가장 가능성 있는 인트라-예측 모드의 표시들, 인트라-예측 모드 인덱스 테이블, 및 콘텍스트들 각각에 대해 사용하기 위한 수정된 인트라-예측 모드 인덱스 테이블을 포함할 수도 있다.
비디오 인코더 (20) 는 코딩되고 있는 원래의 비디오 블록으로부터 모드 선택 유닛 (40) 으로부터의 예측 데이터를 감산함으로써 잔차 비디오 블록을 형성한다. 합산기 (50) 는 이 감산 동작을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 변환 프로세싱 유닛 (52) 은 변환, 예컨대 이산 코사인 변환 (DCT) 또는 개념적으로 유사한 변환을 잔차 블록에 적용하여, 잔차 변환 계수 값들을 포함하는 비디오 블록을 생성한다. 변환 프로세싱 유닛 (52) 은 개념적으로 DCT 와 유사한 다른 변환들을 수행할 수도 있다. 웨이블릿 변환들, 정수 변환들, 서브-대역 변환들 또는 다른 유형들의 변환들이 또한 사용될 수 있다.
임의의 경우에서, 변환 프로세싱 유닛 (52) 은 잔차 블록에 변환을 적용하여, 잔차 변환 계수들의 블록을 생성한다. 변환은 픽셀 값 도메인에서 변환 도메인, 예컨대 주파수 도메인으로 잔차 정보를 변환할 수도 있다. 변환 프로세싱 유닛 (52) 은 결과의 변환 계수들을 양자화 유닛 (54) 으로 전송할 수도 있다. 양자화 유닛 (54) 은 변환 계수들을 양자화하여 비트 레이트를 더 감소시킬 수도 있다. 양자화 프로세스는 계수들의 일부 또는 전부와 연관된 비트 심도를 감소시킬 수도 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수도 있다. 일부 예들에서, 양자화 유닛 (54) 은 그 후, 양자화된 변환 계수들을 포함하는 매트릭스의 스캔을 수행할 수도 있다. 대안으로, 엔트로피 인코딩 유닛 (56) 은 스캔을 수행할 수도 있다.
양자화 다음에, 엔트로피 인코딩 유닛 (56) 은 양자화된 변환 계수들을 엔트로피 코딩한다. 예를 들어, 엔트로피 인코딩 유닛 (56) 은 콘텍스트 적응 가변 길이 코딩 (CAVLC), 콘텍스트 적응 이진 산술 코딩 (CABAC), 신택스 기반 콘텍스트 적응 이진 산술 코딩 (SBAC), 확률 구간 파티셔닝 엔트로피 (PIPE) 코딩, 또는 다른 엔트로피 코딩 기법을 수행할 수도 있다. 콘텍스트-기반 엔트로피 코딩의 경우에서, 콘텍스트는 이웃하는 블록들에 기초할 수도 있다. 엔트로피 인코딩 유닛 (56) 에 의한 엔트로피 코딩 다음에, 인코딩된 비트스트림은 다른 디바이스 (예를 들어, 비디오 디코더 (30)) 로 송신되거나 나중의 송신 또는 취출을 위해 아키이빙될 수도 있다.
역양자화 유닛 (58) 및 역변환 유닛 (60) 은, 각각 역양자화 및 역변환을 적용하여, 예를 들어 레퍼런스 블록으로서 추후 사용을 위해 픽셀 도메인에서 잔차 블록을 복원한다. 모션 보상 유닛 (44) 은 레퍼런스 픽처 메모리 (64) 의 프레임들 중 하나의 예측 블록에 잔차 블록을 가산함으로써 레퍼런스 블록을 계산할 수도 있다. 모션 보상 유닛 (44) 은 또한, 모션 추정에서 사용하기 위한 서브-정수 픽셀 값들을 계산하기 위해 복원된 잔차 블록에 하나 이상의 보간 필터들을 적용할 수도 있다. 합산기 (62) 는 복원된 잔차 블록을 모션 보상 유닛 (44) 에 의해 생성된 모션 보상된 예측 블록에 추가하여 레퍼런스 픽처 메모리 (64) 에 저장하기 위한 복원된 비디오 블록을 생성한다. 복원된 비디오 블록은 후속하는 비디오 프레임에서의 블록을 인터-코딩하기 위한 레퍼런스 블록으로서 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 사용될 수도 있다.
이 방식에서, 도 2 의 비디오 인코더 (20) 는, 비디오 데이터의 현재 블록에 대해, 복수의 병합 후보들을 포함하는 병합 후보 리스트를 형성하는 것으로서, 복수의 병합 후보들은 현재 블록에 대해 4 개의 이웃하는 블록들로부터의 4 개의 공간적 이웃하는 후보들, 및 4 개의 공간적 이웃하는 후보들 바로 다음의, 어드밴스드 시간 모션 벡터 예측 (ATMVP) 후보를 포함하는, 상기 병합 후보 리스트를 형성하고, 병합 후보 리스트에서의 복수의 병합 후보들 중 병합 후보를 식별하는 인덱스를 병합 후보 리스트로 코딩하며, 식별된 병합 후보의 모션 정보를 사용하여 비디오 데이터의 현재 블록을 코딩하도록 구성된 비디오 코더의 예를 나타낸다.
도 3 은 어드밴스드 시간 모션 벡터 예측 (ATMVP) 에 대한 기법들을 구현할 수도 있는 비디오 디코더 (30) 의 일 예를 예시하는 블록도이다. 도 3 의 예에서, 비디오 디코더 (30) 는 엔트로피 디코딩 유닛 (70), 모션 보상 유닛 (72), 인트라-예측 유닛 (74), 역양자화 유닛 (76), 역변환 유닛 (78), 레퍼런스 픽처 메모리 (82) 및 합산기 (80) 를 포함한다. 비디오 디코더 (30) 는, 일부 예들에서 비디오 인코더 (20)(도 2) 에 대하여 설명된 인코딩 패스에 일반적으로 상반된 디코딩 패스를 수행할 수도 있다. 모션 보상 유닛 (72) 은 엔트로피 디코딩 유닛 (70) 으로부터 수신된 모션 벡터들에 기초하여 예측 데이터를 생성할 수도 있는 한편, 인트라-예측 유닛 (74) 은 엔트로피 디코딩 유닛 (70) 으로부터 수신된 인트라-예측 모드 표시자들에 기초하여 예측 데이터를 생성할 수도 있다.
디코딩 프로세스 동안, 비디오 디코더 (30) 는 비디오 인코더 (20) 로부터 인코딩된 비디오 슬라이스의 비디오 블록들 및 연관된 신택스 엘리먼트들을 나타내는 인코딩된 비디오 비트스트림을 수신한다. 비디오 디코더 (30) 의 엔트로피 디코딩 유닛 (70) 은 비트스트림을 엔트로피 디코딩하여 양자화된 계수들, 모션 벡터들 또는 인트라-예측 모드 표시자들, 및 다른 신택스 엘리먼트들을 생성한다. 엔트로피 디코딩 유닛 (70) 은 모션 벡터들 및 다른 신택스 엘리먼트들을 모션 보상 유닛 (72) 으로 포워딩한다. 비디오 디코더 (30) 는 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨에서의 신택스 엘리먼트들을 수신할 수도 있다.
비디오 슬라이스가 인트라-코딩된 (I) 슬라이스로서 코딩되는 경우, 인트라-예측 유닛 (74) 은 현재 프레임 또는 픽처의 이전에 디코딩된 블록들로부터의 데이터 및 시그널링된 인트라-예측 모드에 기초하여 현재의 비디오 슬라이스의 비디오 블록에 대한 예측 데이터를 생성할 수도 있다. 비디오 프레임이 인터-코딩된 (즉, B, P 또는 GPB) 슬라이스로서 코딩되는 경우, 모션 보상 유닛 (72) 은 엔트로피 디코딩 유닛 (70) 으로부터 수신된 다른 신택스 엘리먼트들 및 모션 벡터들에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 블록들을 생성한다. 예측 블록들은 레퍼런스 픽처 리스트들 중 하나 내의 레퍼런스 픽처들 중 하나로부터 생성될 수도 있다. 비디오 디코더 (30) 는, 레퍼런스 픽처 메모리 (82) 에 저장된 레퍼런스 픽처들에 기초하여 디폴트 구성 기법들을 사용하여 레퍼런스 프레임 리스트들, 리스트 0 및 리스트 1 을 구성할 수도 있다.
모션 보상 유닛 (72) 은 모션 벡터들 및 다른 신택스 엘리먼트들을 파싱함으로써 현재의 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하고, 예측 정보를 사용하여 디코딩되고 있는 현재 비디오 블록에 대한 예측 블록들을 생성한다. 예를 들어, 모션 보상 유닛 (72) 은 비디오 슬라이스의 비디오 블록들을 코딩하기 위해 사용된 예측 모드 (예를 들어, 인트라-예측 또는 인터-예측), 인터-예측 슬라이스 유형 (예를 들어, B 슬라이스, P 슬라이스, 또는 GPB 슬라이스), 슬라이스에 대한 레퍼런스 픽처 리스트들 중 하나 이상에 대한 구성 정보, 슬라이스의 각각의 인터-인코딩된 비디오 블록에 대한 모션 벡터들, 슬라이스의 각각의 인터-코딩된 비디오 블록에 대한 인터-예측 스테이터스, 및 현재 비디오 슬라이스의 비디오 블록들을 디코딩하기 위한 다른 정보를 결정하기 위해, 수신된 신택스 엘리먼트들 중 일부를 사용한다.
모션 보상 유닛 (72) 은 또한, 보간 필터들에 기초하여 보간을 수행할 수도 있다. 모션 보상 유닛 (72) 은 비디오 블록들의 인코딩 동안 비디오 인코더 (20) 에 의해 사용되는 것과 같이 보간 필터들을 사용하여 레퍼런스 블록들의 서브-정수 픽셀들에 대한 보간된 값들을 계산할 수도 있다. 이 경우, 모션 보상 유닛 (72) 은 수신된 신택스 엘리먼트들로부터 비디오 인코더 (20) 에 의해 사용된 보간 필터들을 결정하고, 이 보간 필터들을 사용하여 예측 블록들을 생성할 수도 있다.
비디오 디코더 (30) 는 도 1 에 대하여 위에서 논의된 본 개시물의 다양한 기법들 중 어느 하나를 수행하도록 구성될 수도 있다. 예를 들어, 모션 보상 유닛 (72) 은 본 개시물의 기법들에 따라 병합 모드 또는 AMVP 를 사용하여 비디오 데이터의 블록에 대한 모션 정보가 코딩되는지 여부를 결정하도록 구성될 수도 있다. 보다 구체적으로, 엔트로피 디코딩 유닛 (70) 은, 현재 블록에 대해 모션 정보가 어떻게 코딩되는지를 나타내는 하나 이상의 신택스 엘리먼트들을 디코딩할 수도 있다.
신택스 엘리먼트들이, 병합 모드가 수행된다는 것을 나타낸다고 가정하면, 모션 보상 유닛 (72) 은 병합 후보들의 세트를 포함하는 후보 리스트를 형성할 수도 있다. 모션 보상 유닛 (72) 은 특정한, 미리결정된 순서에 기초하여 후보 리스트에 후보들을 추가할 수도 있다. 일 예에서, 모션 보상 유닛 (72) 은 A1, B1, BO, AO 의 순서로 후보 리스트에 후보들을, 그 후 어드밴스드 시간 모션 벡터 예측 (ATMVP) 후보를 추가한다. 모션 보상 유닛 (72) 은 또한, 위에서 논의된 바와 같이, 추가의 후보들을 추가하고 후보 리스트의 프루닝을 수행할 수도 있다. 궁극적으로, 모션 보상 유닛 (72) 은, 후보들 중 어느 것이 현재 블록에 대한 모션 정보를 코딩하는데 사용되는지를 나타내는 병합 인덱스를 디코딩할 수도 있다.
또한, 일부 예들에서, 모션 보상 유닛 (72) 은 먼저, ATMVP 후보가 이용 가능한지 여부를 결정할 수도 있다. 예를 들어, 모션 보상 유닛은 레퍼런스 픽처에서 현재 블록에 대해 대응하는 블록을 결정하고, 대응하는 블록에 대해 모션 정보가 이용 가능한지 여부를 결정할 수도 있다. 모션 보상 유닛 (72) 은 그 후, 대응하는 블록에 대해 모션 정보가 이용가능한 경우 ATMVP 후보 (즉, 대응하는 블록) 가 이용 가능하다는 것을 결정할 수도 있다. 일부 예들에서, 모션 보상 유닛 (72) 은, 모션 정보가, 전체 대응하는 블록이 인트라-예측의 사용 없이 예측되는 경우 대응하는 블록에 대해 이용 가능하지만, 대응하는 블록의 적어도 일부가 인트라-예측을 사용하여 예측되는 경우 이용 가능하지 않다는 것을 결정할 수도 있다.
유사하게, 일부 예들에서, 모션 보상 유닛 (72) 은, 2 개의 잠재적인 ATMVP 후보들 중 어느 것이 후보 리스트에 궁극적으로 추가된 ATMVP 후보로서 사용되어야 하는지를 결정할 수도 있다. 예를 들어, 모션 보상 유닛 (72) 은, 제 1 모션 소스 픽처, 즉 제 1 레퍼런스 픽처에서 제 1 ATMVP 후보를 식별하는 현재 블록에 대한 제 1 시간 모션 벡터를 형성할 수도 있다. 모션 정보가 제 1 ATMVP 후보에 대해 이용 가능하지 않으면, 모션 보상 유닛 (72) 은, 모션 정보가 제 2 의, 상이한 ATMVP 후보에 대해 이용 가능한지 여부를 결정할 수도 있다. 제 2 ATMVP 후보는 제 2 의, 상이한 레퍼런스 픽처를 참조하는 동일한 시간 모션 벡터, 동일한 (즉, 제 1) 레퍼런스 픽처를 참조하는 상이한 시간 모션 벡터, 또는 제 2 의, 상이한 레퍼런스 픽처를 참조하는 상이한 시간 모션 벡터를 사용하여 식별될 수도 있다. 위에서 논의된 바와 같이, 체크될 레퍼런스 픽처들은 레퍼런스 픽처 리스트에서 레퍼런스 인덱스들의 올림 차순으로 있을 수도 있다. 마찬가지로, 상이한 시간 모션 벡터들이 사용되면, 시간 모션 벡터들은 현재 블록에 대해 이웃하는 블록들의 시간적 벡터들로부터 미리결정된 순서로 선택될 수도 있다.
또한, 모션 보상 유닛 (72) 은 특정 레퍼런스 픽처 리스트에 대한 ATMVP 후보에서 서브-PU 에 대해 모션 벡터가 이용 가능한지 여부를 결정할 수도 있다. 그렇다면, 모션 벡터는 그 레퍼런스 픽처 리스트에 대해 이용 가능한 것으로 고려된다. 그렇지 않으면, 모션 벡터는 그 레퍼런스 픽처 리스트에 대해 이용 불가능한 것으로 고려된다. 대안으로, 모션 벡터가 다른 레퍼런스 픽처 리스트에 대해 이용 가능하면, 모션 보상 유닛 (72) 은, 위에서 논의된 바와 같이 제 1 레퍼런스 픽처 리스트에서 타겟 레퍼런스 픽처를 가리키도록 모션 벡터를 스케일링함으로써 모션 정보를 수정할 수도 있다.
역양자화 유닛 (76) 은 비트스트림으로 제공되고 엔트로피 디코딩 유닛 (70) 에 의해 엔트로피 디코딩된 양자화된 변환 계수들을 역양자화, 즉 양자화해제한다. 역양자화 프로세스는 양자화의 정도, 및 마찬가지로 적용되어야 하는 역양자화의 정도를 결정하기 위해, 비디오 슬라이스의 각각의 비디오 블록에 대해 비디오 디코더 (30) 에 의해 계산된 양자화 파라미터 (QPY) 의 사용을 포함할 수도 있다.
역변환 유닛 (78) 은, 픽셀 도메인에서 잔차 블록들을 생성하기 위해 변환 계수들에 대해 역변환, 예를 들어, 역 DCT, 역 정수 변환, 또는 개념적으로 유사한 역변환 프로세스를 적용한다.
모션 보상 유닛 (72) 이 모션 벡터들 및 다른 신택스 엘리먼트들에 기초하여 현재의 비디오 블록에 대한 예측 블록을 생성한 후에, 비디오 디코더 (30) 는 역변환 유닛 (78) 들로부터의 잔차 블록들을 모션 보상 유닛 (72) 에 의해 생성된 대응하는 예측 블록들과 합함으로써 디코딩된 비디오 블록을 형성한다. 합산기 (80) 는 이 합산 동작을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 원하는 경우, 블록화 아티팩트들을 제거하기 위해 디코딩된 블록들을 필터링하도록 디블록킹 필터가 또한 적용될 수도 있다. (코딩 루프에서 또는 코딩 루프 후에) 다른 루프 필터들이 또한, 픽셀 트랜지션들을 평활화하는데 사용되거나, 그렇지 않으면 비디오 품질을 개선시킬 수도 있다. 그 후, 소정의 프레임 또는 픽처에서의 디코딩된 비디오 블록들은 레퍼런스 픽처 메모리 (82) 에 저장되고, 이 레퍼런스 픽처 메모리 (82) 는 후속의 모션 보상을 위해 사용된 레퍼런스 픽처들을 저장한다. 레퍼런스 픽처 메모리 (82) 는 또한, 도 1 의 디스플레이 디바이스 (32) 와 같은 디스플레이 디바이스 상에서의 추후의 프리젠테이션을 위해 디코딩된 비디오를 저장한다.
이 방식에서, 비디오 디코더 (30) 는, 비디오 데이터의 현재 블록에 대해, 복수의 병합 후보들을 포함하는 병합 후보 리스트를 형성하는 것으로서, 복수의 병합 후보들은 현재 블록에 대해 4 개의 이웃하는 블록들로부터의 4 개의 공간적 이웃하는 후보들, 및 4 개의 공간적 이웃하는 후보들 바로 다음의, 어드밴스드 시간 모션 벡터 예측 (ATMVP) 후보를 포함하는, 상기 병합 후보 리스트를 형성하고, 병합 후보 리스트에서의 복수의 병합 후보들 중 병합 후보를 식별하는 인덱스를 병합 후보 리스트로 코딩하며, 식별된 병합 후보의 모션 정보를 사용하여 비디오 데이터의 현재 블록을 코딩하도록 구성된 비디오 코더의 예를 나타낸다.
도 4 는 HEVC 에서 공간적 이웃하는 후보들을 예시하는 개념도이다. 공간적 MV 후보들은 특정 PU (PU0) 에 대해, 도 4 상에 도시된 이웃하는 블록들로부터 도출되지만, 블록들로부터 후보들을 생성하는 방법들은 병합 및 AMVP 모드들에 대해 상이하다.
병합 모드에서, 최대 4 개의 공간적 MV 후보들이 넘버들을 갖고 도 4(a) 에 도시된 순서들로 도출될 수 있고, 이 순서는 다음과 같다: 도 4(a) 에 도시된 바와 같이, 좌측 (0, A1), 상부 (1, B1), 상부-우측 (2, B0), 하부-좌측 (3, AO), 및 상부 좌측 (4, B2). 즉, 도 4(a) 에서, 블록 (100) 은 PU0 (104A) 및 PU1 (104B) 를 포함한다. 비디오 코더가 병합 모드를 사용하여 PU0 (104A) 에 대한 모션 정보를 코딩하는 경우, 비디오 코더는 공간적 이웃하는 블록들 (108A, 108B, 108C, 108D, 및 108E) 로부터의 모션 정보를, 그 순서로 후보 리스트에 추가한다. 블록들 (108A, 108B, 108C, 108D, 및 108E) 은 또한, HEVC 에서와 같이, 블록들 (A1, B1, B0, AO, 및 B2) 로서 각각 지칭될 수도 있다.
AVMP 모드에서, 이웃하는 블록들은 2 개의 그룹들로 분할된다: 도 4(b) 상에 도시된 바와 같이 좌측 그룹은 블록들 0 및 1 을 포함하고, 상부의 그룹은 블록들 2, 3, 및 4 를 포함한다. 이들 블록들은, 각각 도 4(b) 에서 블록들 (11OA, 11OB, 110C, 11OD, 및 110E) 로서 라벨링된다. 특히, 도 4(b) 에서, 블록 (102) 은 PU0 (106A) 및 PU1 (106B) 를 포함하고, 블록들 (110A, 11OB, 11OC, 11OD, 및 110E) 은 PU0 (106A) 에 대한 공간적 이웃들을 나타낸다. 각각의 그룹에 대해, 시그널링된 레퍼런스 인덱스에 의해 표시된 것과 동일한 레퍼런스 픽처를 참조하는 이웃하는 블록에서의 잠재적인 후보는 그룹의 최종 후보를 형성하도록 선택될 최고 우선순위를 갖는다. 모든 이웃하는 블록들은 동일한 레퍼런스 픽처를 가리키는 모션 벡터를 포함하지 않는다는 것이 가능하다. 따라서, 이러한 후보가 발견될 수 없으면, 제 1 이용 가능한 후보가 최종 후보를 형성하도록 스케일링될 것이고; 따라서 시간적 거리 차이들이 보상될 수 있다.
도 5 는 HEVC 에서 시간 모션 벡터 예측을 예시하는 개념도이다. 특히, 도 5(a) 는 PUO (122A) 및 PU1 (122B) 을 포함하는 예시의 CU (120) 를 예시한다. PUO (122A) 는 PU (122A) 에 대한 센터 블록 (126) 및 PUO (122A) 에 대한 하부-우측 블록 (124) 을 포함한다. 도 5(a) 는 또한, 이하에서 논의된 바와 같이 모션 정보가 PUO (122A) 의 모션 정보로부터 예측될 수도 있는 외부 블록 (128) 을 나타낸다. 도 5(b) 는, 모션 정보가 예측될 현재 블록 (138) 을 포함하는 현재 픽처 (130) 를 예시한다. 특히, 도 5(b) 는 (현재 블록 (138) 에 대해 콜로케이팅된 블록 (140) 을 포함하는) 현재 픽처 (130) 에 대해 콜로케이팅된 픽처 (134), 현재 레퍼런스 픽처 (132), 및 콜로케이팅된 레퍼런스 픽처 (136) 를 예시한다. 콜로케이팅된 블록 (140) 은, 블록 (138) 의 모션 정보에 대해 시간 모션 벡터 예측자 (TMVP)(142) 로서 사용되는 모션 벡터 (144) 를 사용하여 예측된다.
TMVP 가 인에이블되고 TMVP 후보가 이용 가능하면 임의의 공간 모션 벡터 후보들 후에, 비디오 코더는 TMVP 후보 (예를 들어, TMVP 후보 (142)) 를 MV 후보 리스트 안에 추가할 수도 있다. TMVP 후보에 대한 모션 벡터 도출의 프로세스는 병합 및 AMVP 모드들 양자 모두에 대해 동일하다. 그러나, 병합 모드에서 TMVP 후보에 대한 타겟 레퍼런스 인덱스는 HEVC 에 따라 0 으로 설정된다.
공간적 이웃하는 후보들을 생성하는데 사용된 위 및 좌측 블록들에 대한 바이어스를 보상하기 위해, 블록 (124) 으로서 도 5(a) 에 도시된 바와 같이, PUO (122A) 에 대해 콜로케이팅된 PU 의 외측의 하부 우측 블록에 TMVP 후보 도출에 대한 프라이머리 블록 로케이션이 있다. 그러나, 블록 (124) 이 현재 CTB 로우의 외측에 위치되거나 또는 모션 정보가 블록 (124) 에 대해 이용 가능하지 않으면, 블록은 도 5(a) 에 도시된 바와 같이 PU 의 센터 블록 (126) 으로 대체된다.
TMVP 후보 (142) 에 대한 모션 벡터는, 슬라이스 레벨 정보에 표시된 바와 같이, 함께-위치된 픽처 (134) 의 함께-위치된 블록 (140) 으로부터 도출된다.
AVC 에서 시간적 직접 모드와 유사하게, TMVP 후보의 모션 벡터는 모션 벡터 스케일링을 받을 수도 있고, 이것은 현재 픽처 (130) 와 현재 레퍼런스 픽처 (132), 및 콜로케이팅된 픽처 (134) 및 콜로케이팅된 레퍼런스 픽처 (136) 간의 픽처 순서 카운트 (POC) 거리 차이들을 보상하도록 수행된다. 즉, 모션 벡터 (144) 는, 이들 POC 차이들에 기초하여 TMVP 후보 (142) 를 생성하도록 스케일링될 수도 있다.
HEVC 의 병합 및 AMVP 모드들의 여러 양태들은 이하에서 논의된다.
모션 벡터 스케일링: 모션 벡터의 값은 제시 시간에서 픽처들 간의 거리에 비례하는 것으로 가정된다. 모션 벡터는 2 개의 픽처들: 레퍼런스 픽처 및 모션 벡터를 포함하는 (즉, 픽처를 포함하는) 픽처를 연관시킨다. 모션 벡터가 다른 모션 벡터를 예측하기 위해 비디오 인코더 (20) 또는 비디오 디코더 (30) 에 의해 사용되는 경우, 포함하는 픽처 및 레퍼런스 픽처 간의 차이는 픽처 순서 카운트 (POC) 값들에 기초하여 계산된다.
예측될 모션 벡터에 대해, 그 연관된 포함하는 픽처 및 레퍼런스 픽처는 상이하다. 즉, 2 개의 별개의 모션 벡터들: 예측될 제 1 모션 벡터, 및 제 1 모션 벡터를 예측하는데 사용된 제 2 모션 벡터에 대해 2 개의 POC 차이 값들이 존재한다. 또한, 제 1 POC 차이는 제 1 모션 벡터의 레퍼런스 픽처와 현재 픽처 간의 차이이고, 제 2 POC 차이는 제 2 모션 벡터가 참조하는 레퍼런스 픽처와 제 2 모션 벡터를 포함하는 픽처 간의 차이이다. 제 2 모션 벡터는 이들 2 개의 POC 거리들에 기초하여 스케일링될 수도 있다. 공간적 이웃하는 후보에 대해, 2 개의 모션 벡터들에 대해 포함하는 픽처들은 동일한 한편, 레퍼런스 픽처들은 상이하다. HEVC 에서, 모션 벡터 스케일링은 공간적 및 시간적 이웃하는 후보들에 대한 TMVP 및 AMVP 양자 모두에 적용한다.
인공 모션 벡터 후보 생성: 모션 벡터 후보 리스트가 완료되지 않으면, 인공 모션 벡터 후보들이 생성되어, 리스트가 미리결정된 수의 후보들을 포함할 때까지 리스트의 끝에 삽입될 수도 있다.
병합 모드에는, 2 개 유형들의 인공 MV 후보들이 존재한다: 결합된 후보들은 단지 B-슬라이스들에 대해서만 도출되고 0 후보들은 제 1 유형이 충분한 인공 후보들을 제공하지 않으면 AMVP 에 대해서만 사용된다.
이미 후보 리스트에 있고 필요한 모션 정보를 갖는 후보들의 각각의 쌍에 대해, 양-방향 결합된 모션 벡터 후보들은 리스트 0 에서 픽처를 참조하는 제 1 후보의 모션 벡터 및 리스트 1 에서 픽처를 참조하는 제 2 후보의 모션 벡터의 결합에 의해 도출된다.
후보 삽입을 위한 프루닝 프로세스: 상이한 블록들로부터의 후보들은 동일한 것으로 발생할 수도 있고, 이것은 병합/AMVP 후보 리스트의 효율성을 감소시킨다. 프루닝 프로세스는 이 문제를 해결하기 위해 적용될 수도 있다. 프루닝 프로세스에 따르면, 비디오 코더는 소정 범위로, 동일한 후보를 삽입하는 것을 회피하기 위해 현재 후보 리스트에서 다른 것들에 하나의 후보를 비교한다. 복잡성을 감소시키기 위해, 리스트에 이미 있는 모든 다른 기존의 후보들과 각각의 잠재적 후보를 비교하는 대신에 단지 제한된 수의 프루닝 프로세스들이 적용된다.
도 6 은 3D-HEVC 에 대한 예시의 예측 구조를 예시한다. 3D-HEVC 는 JCT-3V 에 의한 개발 하에서 HEVC 의 3D 비디오 확장이다. 본 개시물의 기법들에 관련된 소정 기법들은 이하의 도 6 및 도 7 에 대하여 설명된다.
도 6 은 3-뷰 케이스에 대한 멀티뷰 예측 구조를 나타낸다. V3 는 베이스 뷰를 표기하고, 비-베이스 뷰 (V1 또는 V5) 에서의 픽처는 동일한 시간 경우의 종속적인 (베이스) 뷰에서의 픽처들로부터 예측될 수 있다.
(복원된 샘플들로부터) 인터-뷰 샘플 예측은 도 8 에 도시되는 MV-HEVC, 통상적인 예측 구조에서 지원된다.
MV-HEVC 및 3D-HEVC 양자 모두는, 베이스 (텍스처) 뷰가 HEVC (버전 1) 디코더에 의해 디코딩 가능한 방식으로 HEVC 와 호환 가능하다. MV-HEVC 및 3D-HEVC 에 대한 테스트 모델은 『Zhang et al., "Test Model 6 of 3D-HEVC and MV-HEVC," JCT-3V document ISO/IEC JTC1/SC29/WG11 N13940』에서 설명되고, 2015년 1월 26일자로 웹사이트 mpeg.chiariglione.org/standards/mpeg-h/high-efficiency-video-coding/test-model-6-3d-hevc-and-mv-hevc 에서 입수 가능하다.
MV-HEVC 에서, 비-베이스 뷰에서 현재 픽처는, 픽처의 레퍼런스 픽처 리스트들에 이들 픽처들 모두를 놓음으로써, 동일한 시간 경우의 레퍼런스 뷰에서의 픽처들 및 동일한 뷰에서의 픽처들 양자 모두에 의해 예측될 수도 있다. 따라서, 현재 픽처의 레퍼런스 픽처 리스트는 시간적 레퍼런스 픽처들 및 인터-뷰 레퍼런스 픽처들 양자 모두를 포함한다.
시간적 레퍼런스 픽처에 대응하는 레퍼런스 인덱스와 연관된 모션 벡터는 시간 모션 벡터로 표기된다.
인터뷰 레퍼런스 픽처에 대응하는 레퍼런스 인덱스와 연관된 모션 벡터는 디스패리티 모션 벡터로 표기된다.
3D-HEVC 는 MV-HEVC 에서 모든 특성들을 지원한다. 따라서, 위에서 언급된 바와 같이 인터-뷰 샘플 예측이 인에이블된다.
또한, 더 진보된 텍스처 전용 코딩 툴들 및 심도 관련/종속적인 코딩 툴들이 지원된다.
텍스처-전용 코딩 툴들은 종종, 동일한 오브젝트에 속할 수도 있는 (뷰들 간의) 대응하는 블록들의 식별을 요구한다. 따라서, 디스패리티 벡터 도출은 3D-HEVC 에서 기본적인 기술이다.
도 7 은 3D-HEVC 에서 서브-PU 기반 인터-뷰 모션 예측을 예시하는 개념도이다. 도 7 은 현재 뷰 (V1) 의 현재 픽처 (160) 및 레퍼런스 뷰 (V0) 에서의 콜로케이팅된 픽처 (162) 를 나타낸다. 현재 픽처 (160) 는 4 개의 서브-PU들 (166A-166D)(서브-PU들 (166)) 을 포함하는 현재 PU (164) 를 포함한다. 개별의 디스패리티 벡터들 (174A-174D)(디스패리티 벡터들 (174)) 은 콜로케이팅된 픽처 (162) 에서 서브-PU들 (166) 에 대해 대응하는 서브-PU들 (168A-168D) 을 식별한다. 3D-HEVC 에서, 인터-뷰 병합 후보, 즉 레퍼런스 뷰에서 레퍼런스 블록으로부터 도출된 후보에 대한 서브-PU 레벨 인터-뷰 모션 예측 방법.
이러한 모드가 인에이블되는 경우, 현재의 PU (164) 는 레퍼런스 뷰에서의 (디스패리티 벡터에 의해 식별된 현재의 PU 와 동일한 사이즈를 갖는) 레퍼런스 영역에 대응할 수도 있고, 레퍼런스 영역은 통상적으로 PU 에 대한 모션 정보의 하나의 세트의 생성에 필요한 것 보다 더 풍부한 모션 정보를 가질 수도 있다. 따라서, 서브-PU 레벨 인터-뷰 모션 예측 (SPIVMP) 방법은 도 7 에 도시된 바와 같이, 사용될 수도 있다.
이 모드는 또한, 특별한 병합 후보로서 시그널링될 수도 있다. 서브-PU들 각각은 모션 정보의 풀 세트를 포함한다. 따라서, PU 는 모션 정보의 다수의 세트들을 포함할 수도 있다.
3D-HEVC 에서의 서브-PU 기반 모션 파라미터 계승 (MPI): 유사하게, 3D-HEVC 에서, MPI 후보는 또한, 서브-PU 레벨 인터-뷰 모션 예측과 유사한 방식으로 확장될 수 있다. 예를 들어, 현재 심도 PU 가 다수의 PU들을 포함하는 함께-위치된 영역을 가지면, 현재 심도 PU 는 서브-PU들로 분리될 수도 있고, 서브-PU들 각각은 모션 정보의 상이한 세트를 가질 수도 있다. 이 방법은 서브-PU MPI 로 지칭된다. 즉, 도 7 에 도시된 바와 같이, 대응하는 서브-PU들 (168A-168D) 의 모션 벡터들 (172A-172D) 은 모션 벡터들 (170A-170D) 로서, 서브-PU들 (166A-166D) 에 의해 계승될 수도 있다.
2D 비디오 코딩에 대한 서브-PU 관련 정보: 그 전체가 참조로서 여기에 포함되는 미국 특허출원번호 제 61/883,111 호에서, 서브-PU 기반의 어드밴스드 TMVP 설계가 설명된다. 단일-계층 코딩에서, 2-스테이지의 어드밴스드 시간 모션 벡터 예측 설계가 제안된다.
제 1 스테이지는 레퍼런스 픽처에서 현재 예측 유닛 (PU) 의 대응하는 블록을 식별하는 벡터를 도출하는 것이고, 제 2 스테이지는 대응하는 블록으로부터 다수의 세트 모션 정보를 추출하고 이들을 PU 의 서브-PU들에 할당하는 것이다. PU 의 각각의 서브-PU 는 따라서, 별개로 모션 보상된다. ATMVP 의 개념은 다음과 같이 요약된다:
1. 제 1 스테이지에서 벡터는 현재 PU 의 공간적 및 시간적 이웃하는 블록들로부터 도출될 수 있다.
2. 이 프로세스는 모든 다른 병합 후보들 중에서 병합 후보를 활성화하는 것으로서 달성될 수도 있다.
단일-계층 코딩 및 서브-PU 시간 모션 벡터 예측에 적용 가능한 것으로서, PU 또는 CU 는 예측자들의 상부로 전달될 모션 리파인먼트 데이터를 가질 수도 있다.
제 61/883,111 출원의 여러 설계 양태들은 다음과 같이 하이라이트된다:
1. 벡터 도출의 제 1 스테이지는 또한, 단지 0 벡터에 의해 단순화될 수 있다.
2. 벡터 도출의 제 1 스테이지는 모션 벡터 및 그 연관된 픽처를 합동으로 식별하는 것을 포함할 수도 있다. 연관된 픽처를 선택하고 제 1 스테이지 벡터인 것으로 모션 벡터를 추가로 결정하는 다양한 방식들이 제안되어 있다.
3. 위의 프로세스 동안 모션 정보가 이용 불가능하면, "제 1 스테이지 벡터" 가 치환을 위해 사용된다.
4. 시간적 이웃으로부터 식별된 모션 벡터는 TMVP 에서 모션 벡터 스케일링과 유사한 방식으로, 현재 서브-PU 에 대해 사용되도록 스케일링되어야 한다. 그러나, 이러한 모션 벡터가 스케일링될 수도 있는 레퍼런스 픽처는 다음의 방식들 중 하나로 설계될 수 있다:
a. 픽처는 현재 픽처의 고정된 레퍼런스 인덱스에 의해 식별된다.
b. 픽처는, 현재 픽처의 레퍼런스 픽처 리스트에서 또한, 이용 가능하다면 대응하는 시간적 이웃의 레퍼런스 픽처인 것으로 식별된다.
c. 픽처는 제 1 스테이지에서 식별된 함께-위치된 픽처인 것으로 설정되고, 여기서부터 모션 벡터들이 그랩 (grab) 된다.
도 8 은 레퍼런스 픽처로부터 서브-PU 모션 예측을 예시하는 개념도이다. 이 예에서, 현재 픽처 (180) 는 현재 PU (184)(예를 들어, PU) 를 포함한다. 이 예에서, 모션 벡터 (192) 는 PU (184) 에 대해 레퍼런스 픽처 (182) 의 PU (186) 를 식별한다. PU (186) 는 서브-PU들 (188A-188D) 로 파티셔닝되고, 이들 각각은 개별의 모션 벡터들 (190A-190D) 을 갖는다. 따라서, 현재 PU (184) 가 별개의 서브-PU들로 실제로 파티셔닝되지 않더라도, 이 예에서 현재 PU (184) 는 서브-PU들 (188A-188D) 로부터의 모션 정보를 사용하여 예측될 수도 있다. 특히, 비디오 코더는 개별의 모션 벡터들 (190A-190D) 을 사용하여 현재 PU (184) 의 서브-PU들을 코딩할 수도 있다. 그러나, 비디오 코더는, 현재 PU (184) 가 서브-PU 들로 스플릿된다는 것을 나타내는 신택스 엘리먼트들을 코딩할 필요가 없다. 이 방식에서, 현재 PU (184) 는, 현재 PU (184) 를 다수의 서브-PU들로 스플릿하는데 사용된 신택스 엘리먼트들의 오버헤드의 시그널링 없이, 개별의 서브-PU들 (188A-188D) 로부터 계승된, 다수의 모션 벡터들 (190A-190D) 을 사용하여 효율적으로 예측될 수도 있다.
도 9 는 (TMVP 와 유사한) ATMVP 에서 관련 픽처들을 예시하는 개념도이다. 특히, 도 9 는 현재 픽처 (204), 모션 소스 픽처 (206), 및 레퍼런스 픽처들 (200, 202) 을 예시한다. 보다 구체적으로, 현재 픽처 (204) 는 현재 블록 (208) 을 포함한다. 시간 모션 벡터 (212) 는 현재 블록 (208) 에 대해 모션 소스 픽처 (206) 의 대응하는 블록 (210) 을 식별한다. 대응하는 블록 (210) 은 또한, 레퍼런스 픽처 (202) 를 참조하고 현재 블록의 적어도 일부, 예를 들어 현재 블록 (208) 의 서브-PU들에 대한 어드밴스드 시간 모션 벡터 예측자로서 작용하는 모션 벡터 (214) 를 포함한다. 즉, 모션 벡터 (214) 는 현재 블록 (208) 에 대한 후보 모션 벡터 예측자로서 추가될 수도 있다. 선택되면, 현재 블록 (208) 의 적어도 일부는 대응하는 모션 벡터, 즉 레퍼런스 픽처 (200) 를 참조하는 모션 벡터 (216) 를 사용하여 예측될 수도 있다.
도 10 은 본 개시물의 기법들에 따른 인코딩 프로세스 동안 후보 리스트에 ATMVP 후보를 추가하는 예시의 방법을 예시하는 플로우차트이다. 도 10 의 방법은 비디오 인코더 (20)(도 1 및 도 2) 에 의해 수행되는 것으로서 설명된다. 그러나, 다른 인코딩 디바이스들이 이것 또는 유사한 방법을 수행하도록 구성될 수도 있다는 것이 이해되어야 한다.
먼저, 비디오 인코더 (20) 는 (도 10 에 도시되지 않은) 인코딩될 비디오 데이터의 블록을 획득한다. 블록은 도 4(a) 및 도 4(b) 에 도시된 바와 같은, 공간적 이웃들의 세트를 포함할 수도 있다. 모션 보상 유닛 (44) 은, 좌측 공간 후보를 후보 리스트에 먼저 추가함으로써 (250) 후보 리스트를 구성할 수도 있다. 즉, 도 4(a) 에 대하여, PU0 (104A) 가 인코딩될 블록이라고 가정하면, 비디오 인코더 (20) 는 공간적 이웃 (108A) 을 후보 리스트에 먼저, 삽입할 수도 있다.
다음으로, 모션 보상 유닛 (44) 은 상부의 공간 후보를 후보 리스트에 추가할 수도 있다 (252). 도 4(a) 에 대하여, 비디오 인코더 (20) 는 공간적 이웃 (108B) 을 후보 리스트에 삽입할 수도 있다.
다음으로, 모션 보상 유닛 (44) 은 상부-우측 공간 후보를 후보 리스트에 추가할 수도 있다 (254). 도 4(a) 에 대하여, 비디오 인코더 (20) 는 공간적 이웃 (108C) 을 후보 리스트에 삽입할 수도 있다.
다음으로, 모션 보상 유닛 (44) 은 하부-좌측 공간 후보를 후보 리스트에 추가할 수도 있다 (256). 도 4(a) 에 대하여, 비디오 인코더 (20) 는 공간적 이웃 (108D) 을 후보 리스트에 삽입할 수도 있다.
다음으로, 모션 보상 유닛 (44) 은 어드밴스드 시간 모션 벡터 예측자 (ATMVP) 후보를 후보 리스트에 추가할 수도 있다 (258). 위에서 논의된 바와 같이, ATMVP 후보는 예를 들어, 도 8 및 도 9 에 대하여 논의되고 이에 도시된 바와 같이 시간적 벡터에 의해 식별된 대응하는 블록을 나타낼 수도 있다. 또한, 일부 예들에서, 모션 보상 유닛 (44) 은 먼저, ATMVP 후보가 이용 가능한지 여부를 결정할 수도 있다. 예를 들어, 모션 보상 유닛은 레퍼런스 픽처에서 현재 블록에 대해 대응하는 블록을 결정하고, 대응하는 블록에 대해 모션 정보가 이용 가능한지 여부를 결정할 수도 있다. 모션 보상 유닛 (44) 은 그 후, 대응하는 블록에 대해 모션 정보가 이용가능한 경우 ATMVP 후보 (즉, 대응하는 블록) 가 이용 가능하다는 것을 결정할 수도 있다. 일부 예들에서, 모션 보상 유닛 (44) 은, 모션 정보가, 전체 대응하는 블록이 인트라-예측의 사용 없이 예측되는 경우 대응하는 블록에 대해 이용 가능하지만, 대응하는 블록의 적어도 일부가 인트라-예측을 사용하여 예측되는 경우 이용 가능하지 않다는 것을 결정할 수도 있다.
유사하게, 일부 예들에서, 모션 보상 유닛 (44) 은, 2 개의 잠재적인 ATMVP 후보들 중 어느 것이 후보 리스트에 궁극적으로 추가된 ATMVP 후보로서 사용되어야 하는지를 결정할 수도 있다. 예를 들어, 모션 보상 유닛 (44) 은, 제 1 모션 소스 픽처, 즉 제 1 레퍼런스 픽처에서 제 1 ATMVP 후보를 식별하는 현재 블록에 대한 제 1 시간 모션 벡터를 형성할 수도 있다. 모션 정보가 제 1 ATMVP 후보에 대해 이용 가능하지 않으면, 모션 보상 유닛 (44) 은, 모션 정보가 제 2 의, 상이한 ATMVP 후보에 대해 이용 가능한지 여부를 결정할 수도 있다. 제 2 ATMVP 후보는 제 2 의, 상이한 레퍼런스 픽처를 참조하는 동일한 시간 모션 벡터, 동일한 (즉, 제 1) 레퍼런스 픽처를 참조하는 상이한 시간 모션 벡터, 또는 제 2 의, 상이한 레퍼런스 픽처를 참조하는 상이한 시간 모션 벡터를 사용하여 식별될 수도 있다. 위에서 논의된 바와 같이, 체크될 레퍼런스 픽처들은 레퍼런스 픽처 리스트에서 레퍼런스 인덱스들의 올림 차순으로 있을 수도 있다. 마찬가지로, 상이한 시간 모션 벡터들이 사용되면, 시간 모션 벡터들은 현재 블록에 이웃하는 블록들의 시간적 벡터들로부터 미리결정된 순서로 선택될 수도 있다.
또한, 모션 보상 유닛 (44) 은 특정 레퍼런스 픽처 리스트에 대한 ATMVP 후보에서 서브-PU 에 대해 모션 벡터가 이용 가능한지 여부를 결정할 수도 있다. 그렇다면, 모션 벡터는 그 레퍼런스 픽처 리스트에 대해 이용 가능한 것으로 고려된다. 그렇지 않으면, 모션 벡터는 그 레퍼런스 픽처 리스트에 대해 이용 불가능한 것으로 고려된다. 대안으로, 모션 벡터가 다른 레퍼런스 픽처 리스트에 대해 이용 가능하면, 모션 보상 유닛 (44) 은, 위에서 논의된 바와 같이 제 1 레퍼런스 픽처 리스트에서 타겟 레퍼런스 픽처를 가리키도록 모션 벡터를 스케일링함으로써 모션 정보를 수정할 수도 있다.
비디오 인코더 (20) 는 그 후, 후보 리스트로부터 후보들 중 하나를 선택할 수도 있다 (260). 예를 들어, 비디오 인코더 (20) 는 후보 리스트 내의 후보들 중 어느 하나 또는 모두를 사용하여 블록의 인코딩을 테스트할 수도 있다. 부가적으로 또는 대안으로, 비디오 인코더 (20) 의 모션 추정 유닛 (42) 은 모션 검색을 수행하고 블록에 대한 모션 벡터를 결정하며, 어드밴스드 모션 벡터 예측 (AMVP) 또는 병합 모드를 사용하여 모션 벡터를 인코딩할지 여부를 결정할 수도 있다. 도 10 의 예에서, 비디오 인코더 (20) 가 병합 모드를 사용하여 모션 정보를 인코딩하기를 택한다고 가정된다. 일반적으로, 비디오 인코더 (20)(보다 특히, 모드 선택 유닛 (40)) 는, 후보 리스트에서 후보들 중 어느 것이 최선의 레이트-왜곡 특징을 산출할지를 결정하고, 블록을 예측하는데 사용될 그 후보를 선택할 수도 있다.
따라서, 비디오 인코더 (20) 는 선택된 후보를 사용하여 현재 블록을 예측할 수도 있다 (262). 즉, 모션 보상 유닛 (44) 은 선택된 후보의 모션 정보에 의해 식별된 하나 이상의 레퍼런스 블록들을 취출하고, 일부 예들에서, 모션 정보가 서브-픽셀 정확도를 가지면 분수적 픽셀들에 대한 값들을 보간할 수도 있다.
비디오 인코더 (20) 는 그 후, 현재 블록에 대한 잔차 블록을 형성할 수도 있다 (264). 위에서 논의된 바와 같이, 합산기 (50) 는 현재 블록과 예측된 블록 간의 픽셀 별 차이들을 계산하여, 잔차 블록을 형성할 수도 있다. 비디오 인코더 (20) 는 그 후, 잔차 블록의 잔차 정보를 인코딩하고 병합 인덱스를 인코딩할 수도 있다 (266). 즉, 변환 프로세싱 유닛 (52) 은 잔차 블록을 변환하여, 잔차 정보를 나타내는 변환 계수들을 생성할 수도 있다. 양자화 유닛 (54) 은 그 후, 변환 계수들을 양자화할 수도 있다. 엔트로피 인코딩 유닛 (56) 은 그 후, 양자화된 변환 계수들 뿐만 아니라 모션 정보 코딩 모드 (이 예에서, 병합 모드) 를 나타내는 신택스 엘리먼트들 및 후보 리스트로부터 선택된 후보를 나타내는 병합 인덱스를 엔트로피 인코딩할 수도 있다.
이 방식에서, 도 10 의 방법은, 비디오 데이터의 현재 블록에 대해, 복수의 병합 후보들을 포함하는 병합 후보 리스트를 형성하는 것으로서, 복수의 병합 후보들은 현재 블록에 대해 4 개의 이웃하는 블록들로부터의 4 개의 공간적 이웃하는 후보들, 및 4 개의 공간적 이웃하는 후보들 바로 다음의, 어드밴스드 시간 모션 벡터 예측 (ATMVP) 후보를 포함하는, 상기 병합 후보 리스트를 형성하는 것, 병합 후보 리스트에서의 복수의 병합 후보들 중 병합 후보를 식별하는 인덱스를 병합 후보 리스트로 코딩하는 것, 및 식별된 병합 후보의 모션 정보를 사용하여 비디오 데이터의 현재 블록을 코딩하는 것을 포함하는 방법의 일 예를 나타낸다.
도 11 은 본 개시물의 기법들에 따른 디코딩 프로세스 동안 후보 리스트에 ATMVP 후보를 추가하는 예시의 방법을 예시하는 플로우차트이다. 도 11 의 방법은 비디오 디코더 (30)(도 1 및 도 3) 에 의해 수행되는 것으로서 설명된다. 그러나, 다른 디코딩 디바이스들이 이것 또는 유사한 방법을 수행하도록 구성될 수도 있다는 것이 이해되어야 한다.
먼저, 비디오 디코더 (30) 는 (도 11 에 도시되지 않은) 인코딩될 비디오 데이터의 블록을 획득한다. 블록은 도 4(a) 및 도 4(b) 에 도시된 바와 같은, 공간적 이웃들의 세트를 포함할 수도 있다. 모션 보상 유닛 (72) 은, 좌측 공간 후보를 후보 리스트에 먼저 추가함으로써 (270) 후보 리스트를 구성할 수도 있다. 즉, 도 4(a) 에 대하여, PU0 (104A) 가 인코딩될 블록이라고 가정하면, 비디오 디코더 (30) 는 공간적 이웃 (108A) 을 후보 리스트에 먼저, 삽입할 수도 있다.
다음으로, 모션 보상 유닛 (72) 은 상부의 공간 후보를 후보 리스트에 추가할 수도 있다 (272). 도 4(a) 에 대하여, 비디오 디코더 (30) 는 공간적 이웃 (108B) 을 후보 리스트에 삽입할 수도 있다.
다음으로, 모션 보상 유닛 (72) 은 상부-우측 공간 후보를 후보 리스트에 추가할 수도 있다 (274). 도 4(a) 에 대하여, 비디오 디코더 (30) 는 공간적 이웃 (108C) 을 후보 리스트에 삽입할 수도 있다.
다음으로, 모션 보상 유닛 (72) 은 하부-좌측 공간 후보를 후보 리스트에 추가할 수도 있다 (276). 도 4(a) 에 대하여, 비디오 디코더 (30) 는 공간적 이웃 (108D) 을 후보 리스트에 삽입할 수도 있다.
다음으로, 모션 보상 유닛 (72) 은 어드밴스드 시간 모션 벡터 예측자 (ATMVP) 후보를 후보 리스트에 추가할 수도 있다 (278). 위에서 논의된 바와 같이, ATMVP 후보는 예를 들어, 도 8 및 도 9 에 대하여 논의되고 이에 도시된 바와 같이 시간적 벡터에 의해 식별된 대응하는 블록을 나타낼 수도 있다. 또한, 일부 예들에서, 모션 보상 유닛 (72) 은 먼저, ATMVP 후보가 이용 가능한지 여부를 결정할 수도 있다. 예를 들어, 모션 보상 유닛은 레퍼런스 픽처에서 현재 블록에 대해 대응하는 블록을 결정하고, 대응하는 블록에 대해 모션 정보가 이용 가능한지 여부를 결정할 수도 있다. 모션 보상 유닛 (72) 은 그 후, 대응하는 블록에 대해 모션 정보가 이용가능한 경우 ATMVP 후보 (즉, 대응하는 블록) 가 이용 가능하다는 것을 결정할 수도 있다. 일부 예들에서, 모션 보상 유닛 (72) 은, 모션 정보가, 전체 대응하는 블록이 인트라-예측의 사용 없이 예측되는 경우 대응하는 블록에 대해 이용 가능하지만, 대응하는 블록의 적어도 일부가 인트라-예측을 사용하여 예측되는 경우 이용 가능하지 않다는 것을 결정할 수도 있다.
유사하게, 일부 예들에서, 모션 보상 유닛 (72) 은, 2 개의 잠재적인 ATMVP 후보들 중 어느 것이 후보 리스트에 궁극적으로 추가된 ATMVP 후보로서 사용되어야 하는지를 결정할 수도 있다. 예를 들어, 모션 보상 유닛 (72) 은, 제 1 모션 소스 픽처, 즉 제 1 레퍼런스 픽처에서 제 1 ATMVP 후보를 식별하는 현재 블록에 대한 제 1 시간 모션 벡터를 형성할 수도 있다. 모션 정보가 제 1 ATMVP 후보에 대해 이용 가능하지 않으면, 모션 보상 유닛 (72) 은, 모션 정보가 제 2 의, 상이한 ATMVP 후보에 대해 이용 가능한지 여부를 결정할 수도 있다. 제 2 ATMVP 후보는 제 2 의, 상이한 레퍼런스 픽처를 참조하는 동일한 시간 모션 벡터, 동일한 (즉, 제 1) 레퍼런스 픽처를 참조하는 상이한 시간 모션 벡터, 또는 제 2 의, 상이한 레퍼런스 픽처를 참조하는 상이한 시간 모션 벡터를 사용하여 식별될 수도 있다. 위에서 논의된 바와 같이, 체크될 레퍼런스 픽처들은 레퍼런스 픽처 리스트에서 레퍼런스 인덱스들의 올림 차순으로 있을 수도 있다. 마찬가지로, 상이한 시간 모션 벡터들이 사용되면, 시간 모션 벡터들은 현재 블록에 이웃하는 블록들의 시간적 벡터들로부터 미리결정된 순서로 선택될 수도 있다.
또한, 모션 보상 유닛 (72) 은 특정 레퍼런스 픽처 리스트에 대한 ATMVP 후보에서 서브-PU 에 대해 모션 벡터가 이용 가능한지 여부를 결정할 수도 있다. 그렇다면, 모션 벡터는 그 레퍼런스 픽처 리스트에 대해 이용 가능한 것으로 고려된다. 그렇지 않으면, 모션 벡터는 그 레퍼런스 픽처 리스트에 대해 이용 불가능한 것으로 고려된다. 대안으로, 모션 벡터가 다른 레퍼런스 픽처 리스트에 대해 이용 가능하면, 모션 보상 유닛 (72) 은, 위에서 논의된 바와 같이 제 1 레퍼런스 픽처 리스트에서 타겟 레퍼런스 픽처를 가리키도록 모션 벡터를 스케일링함으로써 모션 정보를 수정할 수도 있다.
비디오 디코더 (30) 는 그 후, 후보 리스트로부터의 후보들 중 하나를 선택하도록 병합 인덱스를 디코딩할 수도 있다 (280). 보다 구체적으로, 비디오 디코더 (30) 의 엔트로피 디코딩 유닛 (70) 은, 병합 모드를 사용하여 현재 블록의 모션 정보가 인코딩되는지 여부를 나타내는 하나 이상의 신택스 엘리먼트들, 뿐만 아니라 후보 리스트로부터 선택된 후보를 나타내는 병합 인덱스를 엔트로피 디코딩할 수도 있다.
따라서, 비디오 디코더 (30) 는 선택된 후보를 사용하여 현재 블록을 예측할 수도 있다 (282). 즉, 모션 보상 유닛 (72) 은 선택된 후보의 모션 정보에 의해 식별된 하나 이상의 레퍼런스 블록들을 취출하고, 일부 예들에서, 모션 정보가 서브-픽셀 정확도를 가지면 분수적 픽셀들에 대한 값들을 보간할 수도 있다.
비디오 디코더 (30) 는 또한, 현재 블록에 대한 잔차 블록을 디코딩할 수도 있다 (284). 특히, 엔트로피 디코딩 유닛 (70) 은 양자화된 변환 계수들을 디코딩할 수도 있고, 이 역양자화 유닛 (76) 은 변환 블록을 형성하도록 역양자화할 수도 있다. 역변환 유닛 (78) 은 그 후, 변환 블록을 역변환하여 잔차 블록을 재생성할 수도 있다. 합산기 (80) 는 그 후, 특히 현재 블록을 복원함으로써 잔차 블록과 예측된 블록을 결합하여 현재 블록을 디코딩할 수도 있다 (286).
이 방식에서, 도 11 의 방법은, 비디오 데이터의 현재 블록에 대해, 복수의 병합 후보들을 포함하는 병합 후보 리스트를 형성하는 것으로서, 복수의 병합 후보들은 현재 블록에 대해 4 개의 이웃하는 블록들로부터의 4 개의 공간적 이웃하는 후보들, 및 4 개의 공간적 이웃하는 후보들 바로 다음의, 어드밴스드 시간 모션 벡터 예측 (ATMVP) 후보를 포함하는, 상기 병합 후보 리스트를 형성하는 것, 병합 후보 리스트에서의 복수의 병합 후보들 중 병합 후보를 식별하는 인덱스를 병합 후보 리스트로 코딩하는 것, 및 식별된 병합 후보의 모션 정보를 사용하여 비디오 데이터의 현재 블록을 코딩하는 것을 포함하는 방법의 일 예를 나타낸다.
예에 따라, 본원에서 설명된 임의의 방법들의 소정의 액트들 또는 이벤트들은 상이한 시퀀스로 수행될 수도 있고, 추가, 병합될 수도 있거나, 또는 함께 제거될 수도 있다 (예를 들어, 설명된 모든 액트들 또는 이벤트들이 기법의 실시를 위해 반드시 필요한 것은 아니다) 는 것이 인지된다. 또한, 소정 예들에서, 액트들 또는 이벤트들은, 순차적이기 보다는, 예를 들어 멀티-스레디드 프로세싱, 인터럽트 프로세싱, 또는 다중 프로세서들을 통해 동시에 수행될 수도 있다.
하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 이 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상에 저장되거나 송신될 수도 있고, 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체는, 데이터 저장 매체와 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체, 또는 예를 들어 통신 프로토콜에 따라, 한 곳에서 다른 곳으로 컴퓨터 프로그램의 전송을 가능하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수도 있다. 이 방식으로, 컴퓨터 판독가능 매체는 일반적으로 (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체는 본 개시물에 설명된 기법들의 구현을 위한 명령들, 코드, 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.
비제한적인 예로서, 이러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장 디바이스, 자기 디스크 저장 디바이스 또는 다른 자기 저장 디바이스, 플래시 메모리, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체라고 적절히 지칭된다. 예를 들어, 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 명령들이 송신되면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 그러나, 컴퓨터 판독가능 저장 매체 및 데이터 저장 매체는 접속들, 반송파들, 신호들, 또는 다른 일시적 매체들을 포함하지 않고, 대신에 비일시적인, 유형의 저장 매체들에 관련된다. 본원에서 사용된 디스크 (disk) 및 디스크 (disc) 는, 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크, 및 블루레이 디스크를 포함하며, 여기서 디스크 (disk) 들은 통상 자기적으로 데이터를 재생하는 한편, 디스크 (disc) 들은 레이저들을 이용하여 광학적으로 데이터를 재생한다. 상기의 조합들이 또한, 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
명령들은, 하나 이상의 디지털 신호 프로세서 (DSP) 들, 범용 마이크로프로세서들, 주문형 집적 회로 (ASIC) 들, 필드 프로그래머블 게이트 어레이 (FPGA) 들, 또는 다른 등가의 집적 또는 이산 로직 회로부와 같은, 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 본원에서 사용되는 바와 같은 용어 "프로세서" 는 상기의 구조 또는 본원에 설명된 기법들의 구현에 적합한 임의의 다른 구조 중 임의의 것을 지칭할 수도 있다. 또한, 일부 양태들에서, 본원에 설명된 기능성은 인코딩 및 디코딩을 위해 구성된 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공될 수도 있고, 또는 결합형 코덱에 통합될 수도 있다. 또한, 본 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
본 개시물의 기법들은 무선 핸드셋, 집적 회로 (IC), 또는 IC 들의 세트 (예를 들어, 칩 세트) 를 포함하는 광범위한 디바이스들 또는 장치들로 구현될 수도 있다. 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태를 강조하기 위해 다양한 컴포넌트들, 모듈들, 또는 유닛들이 본 개시물에서 설명되었지만, 반드시 상이한 하드웨어 유닛들에 의해 실현될 필요는 없다. 차라리, 전술된 바와 같이 다양한 유닛들은 적합한 소프트웨어 및/또는 펌웨어와 관련되어, 전술된 하나 이상의 프로세서들을 포함하는, 상호 동작적인 하드웨어 유닛들의 집합에 의해 제공되고 또는 코덱 하드웨어 유닛으로 결합될 수도 있다.
다양한 예들이 설명되었다. 이들 및 다른 예들은 다음의 특허청구범위 내에 있다.
Claims (57)
- 비디오 데이터를 코딩하기 위한 디바이스로서,
상기 디바이스는,
비디오 데이터를 저장하도록 구성된 메모리; 및
상기 비디오 데이터의 현재 블록에 대해, 복수의 병합 후보들을 포함하는 병합 후보 리스트를 형성하는 것으로서, 상기 복수의 병합 후보들은 상기 현재 블록에 대해 4 개의 이웃하는 블록들로부터의 4 개의 공간적 이웃하는 후보들을 포함하는, 상기 병합 후보 리스트를 형성하도록 구성된 비디오 코더
를 포함하고,
상기 비디오 코더는 추가로,
상기 4 개의 공간적 이웃하는 후보들 바로 다음의, 어드밴스드 시간 모션 벡터 예측 (ATMVP) 후보를 포함하는 것에 의해, 상기 병합 후보 리스트를 형성하는 것으로서, 상기 ATMVP 후보는, 상기 현재 블록이 복수의 서브-블록들로 스플릿되는 상기 ATMVP 후보에 의해 식별된 블록을 사용하여 예측될 것임을 나타내고, 상기 복수의 서브-블록들의 각각은 모션 정보의 개별의 세트들을 갖는, 상기 병합 후보 리스트를 형성하고;
상기 병합 후보 리스트에서의 상기 복수의 병합 후보들 중 상기 ATMVP 후보를 식별하는 인덱스를 상기 병합 후보 리스트로 코딩하며;
상기 ATMVP 후보를 식별하는 상기 인덱스에 기초하여, 상기 비디오 데이터의 현재 블록을 코딩하는 것으로서, 상기 비디오 데이터의 현재 블록을 코딩하기 위해, 상기 비디오 코더는 상기 ATMVP 후보에 의해 식별된 상기 블록의 상기 서브-블록들의 개별의 모션 정보를 사용하여 상기 현재 블록의 서브-블록들을 코딩하도록 구성되는, 상기 현재 블록을 코딩하도록
구성되는 것을 특징으로 하는 비디오 데이터를 코딩하기 위한 디바이스. - 제 1 항에 있어서,
상기 병합 후보 리스트를 형성하기 위해, 상기 비디오 코더는,
상기 현재 블록에 대해, 레퍼런스 픽처에서 대응하는 블록을 결정하고;
상기 대응하는 블록에 대해 모션 정보가 이용 가능한지 여부를 결정하며;
상기 대응하는 블록에 대해 모션 정보가 이용 가능하다는 결정 후에, 상기 ATMVP 후보를 포함하도록 상기 병합 후보 리스트를 형성하도록 구성되는, 비디오 데이터를 코딩하기 위한 디바이스. - 제 2 항에 있어서,
상기 대응하는 블록에 대해 모션 정보가 이용 가능한지 여부를 결정하기 위해, 상기 비디오 코더는, 상기 대응하는 블록의 일부가 인트라-예측되는지 여부를 결정하도록 구성되는, 비디오 데이터를 코딩하기 위한 디바이스. - 제 1 항에 있어서,
상기 병합 후보 리스트를 형성하기 위해, 상기 비디오 코더는, 레퍼런스 픽처에서 상기 현재 블록에 대해 대응하는 블록에 대한 모션 정보의 대표적인 세트로부터 상기 ATMVP 후보를 형성하도록 구성되는, 비디오 데이터를 코딩하기 위한 디바이스. - 제 4 항에 있어서,
상기 모션 정보의 대표적인 세트로부터 상기 ATMVP 후보를 형성하기 위해, 상기 비디오 코더는, 상기 대응하는 블록의 미리결정된 포지션에 대한 또는 상기 대응하는 블록의 미리결정된 서브-예측 유닛 (서브-PU) 에 대한 모션 정보로부터 상기 ATMVP 후보를 형성하도록 구성되는, 비디오 데이터를 코딩하기 위한 디바이스. - 제 1 항에 있어서,
상기 병합 후보 리스트를 형성하기 위해, 상기 비디오 코더는,
상기 현재 블록에 관하여, 제 1 시간 모션 벡터를 사용하여, 제 1 모션 소스 픽처에서 제 1 어드밴스드 시간 모션 벡터 예측 (ATMVP) 후보를 식별하고;
상기 제 1 ATMVP 후보가 이용 가능한 경우, 상기 ATMVP 후보로서 상기 병합 후보 리스트에 상기 제 1 ATMVP 후보를 추가하고;
상기 제 1 ATMVP 후보가 이용 가능하지 않은 경우:
상기 현재 블록에 관하여, 제 2 시간 모션 벡터를 사용하여, 제 2 모션 소스 픽처에서 제 2 ATMVP 후보를 식별하며;
상기 ATMVP 후보로서 상기 병합 후보 리스트에 상기 제 2 ATMVP 후보를 추가하도록 구성되는, 비디오 데이터를 코딩하기 위한 디바이스. - 제 6 항에 있어서,
상기 제 1 시간 모션 벡터 및 상기 제 2 시간 모션 벡터는 동일한 시간 모션 벡터를 포함하고,
상기 제 1 모션 소스 픽처 및 상기 제 2 모션 소스 픽처는 상이한 모션 소스 픽처들을 포함하는, 비디오 데이터를 코딩하기 위한 디바이스. - 제 6 항에 있어서,
상기 제 1 시간 모션 벡터 및 상기 제 2 시간 모션 벡터는 상이한 시간 모션 벡터들을 포함하는, 비디오 데이터를 코딩하기 위한 디바이스. - 제 6 항에 있어서,
상기 비디오 코더는 또한, 상기 이웃하는 블록들의 시간 벡터들로부터 미리결정된 순서에 따라 상기 제 1 시간 모션 벡터 및 상기 제 2 시간 모션 벡터를 선택하도록 구성되는, 비디오 데이터를 코딩하기 위한 디바이스. - 제 1 항에 있어서,
상기 병합 후보 리스트를 형성하기 위해, 상기 비디오 코더는,
레퍼런스 픽처 리스트 X 에 대한 상기 ATMVP 후보의 서브-블록에 대해 모션 벡터가 이용 가능한지 여부를 결정하며;
상기 모션 벡터가 이용 가능하다는 결정 후에, 상기 후보 리스트에 상기 ATMVP 후보를 추가하도록 구성되는, 비디오 데이터를 코딩하기 위한 디바이스. - 제 10 항에 있어서,
상기 모션 벡터가 레퍼런스 픽처 리스트 X 에 대해 이용 가능하지 않지만 레퍼런스 픽처 리스트 Y 에 대해 이용 가능한 경우, 상기 비디오 코더는, 상기 모션 벡터를 레퍼런스 픽처 리스트 X 에 대해 이용 가능한 것으로 설정하고 상기 모션 벡터를 레퍼런스 픽처 리스트 X 에서 레퍼런스 픽처로 스케일링하도록 구성되고,
Y 는 레퍼런스 픽처 리스트 X 외의 레퍼런스 픽처 리스트를 포함하는, 비디오 데이터를 코딩하기 위한 디바이스. - 제 1 항에 있어서,
상기 비디오 코더는 상기 인덱스를 디코딩하도록 구성된 비디오 디코더를 포함하고,
상기 현재 블록을 코딩하기 위해, 상기 비디오 디코더는,
상기 ATMVP 후보에 의해 식별된 상기 블록의 상기 서브-블록들의 상기 모션 정보를 사용하여 상기 현재 블록을 예측하여 예측된 블록을 형성하고;
상기 현재 블록에 대한 잔차 정보를 디코딩하며;
디코딩된 상기 잔차 정보 및 상기 예측된 블록을 사용하여 상기 현재 블록을 디코딩하도록 구성되는, 비디오 데이터를 코딩하기 위한 디바이스. - 제 1 항에 있어서,
상기 비디오 코더는 상기 인덱스를 인코딩하도록 구성된 비디오 인코더를 포함하고,
상기 현재 블록을 코딩하기 위해, 상기 비디오 인코더는,
상기 ATMVP 후보에 의해 식별된 상기 블록의 상기 서브-블록들의 상기 모션 정보를 사용하여 상기 현재 블록을 예측하여 예측된 블록을 형성하고;
상기 현재 블록과 상기 예측된 블록 간의 차이를 나타내는 잔차 블록을 형성하며;
잔차 정보를 인코딩하도록 구성되는, 비디오 데이터를 코딩하기 위한 디바이스. - 제 1 항에 있어서,
상기 비디오 코더는 비디오 인코더이며,
상기 비디오 데이터를 코딩하기 위한 디바이스는, 인코딩된 상기 비디오 데이터를 송신하기 위한 송신기를 더 포함하는, 비디오 데이터를 코딩하기 위한 디바이스. - 비디오 데이터를 코딩하는 방법으로서,
비디오 데이터의 현재 블록에 대해, 복수의 병합 후보들을 포함하는 병합 후보 리스트를 형성하는 단계로서, 상기 복수의 병합 후보들은 상기 현재 블록에 대해 4 개의 이웃하는 블록들로부터의 4 개의 공간적 이웃하는 후보들을 포함하고, 상기 4 개의 공간적 이웃하는 후보들 바로 다음의, 어드밴스드 시간 모션 벡터 예측 (ATMVP) 후보를 포함하고, 상기 ATMVP 후보는, 상기 현재 블록이 복수의 서브-블록들로 스플릿되는 상기 ATMVP 후보에 의해 식별된 블록을 사용하여 예측될 것임을 나타내고, 상기 복수의 서브-블록들의 각각은 모션 정보의 개별의 세트들을 갖는, 상기 병합 후보 리스트를 형성하는 단계;
상기 병합 후보 리스트에서의 상기 복수의 병합 후보들 중 상기 ATMVP 후보를 식별하는 인덱스를 상기 병합 후보 리스트로 코딩하는 단계; 및
상기 ATMVP 후보를 식별하는 상기 인덱스에 기초하여, 상기 비디오 데이터의 현재 블록을 코딩하는 단계로서, 상기 현재 블록을 코딩하는 단계는 상기 ATMVP 후보에 의해 식별된 상기 블록의 상기 서브-블록들의 개별의 모션 정보를 사용하여 상기 현재 블록의 서브-블록들을 코딩하는 단계를 포함하는, 상기 현재 블록을 코딩하는 단계를 포함하는 것을 특징으로 하는 비디오 데이터를 코딩하는 방법. - 실행될 경우, 프로세서로 하여금, 제 15 항에 기재된 방법을 수행하게 하는 명령들을 저장한 컴퓨터 판독가능 저장 매체.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562107933P | 2015-01-26 | 2015-01-26 | |
| US62/107,933 | 2015-01-26 | ||
| US15/005,564 US11477477B2 (en) | 2015-01-26 | 2016-01-25 | Sub-prediction unit based advanced temporal motion vector prediction |
| US15/005,564 | 2016-01-25 | ||
| PCT/US2016/014875 WO2016123081A1 (en) | 2015-01-26 | 2016-01-26 | Sub-prediction unit based advanced temporal motion vector prediction |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170108010A KR20170108010A (ko) | 2017-09-26 |
| KR102102029B1 true KR102102029B1 (ko) | 2020-04-17 |
Family
ID=56433539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177020567A KR102102029B1 (ko) | 2015-01-26 | 2016-01-26 | 서브-예측 유닛 기반 어드밴스드 시간 모션 벡터 예측 |
Country Status (13)
| Country | Link |
|---|---|
| US (1) | US11477477B2 (ko) |
| EP (1) | EP3251361B1 (ko) |
| JP (1) | JP6636530B2 (ko) |
| KR (1) | KR102102029B1 (ko) |
| CN (1) | CN107211156B (ko) |
| BR (1) | BR112017015890B1 (ko) |
| CA (1) | CA2971636C (ko) |
| EA (1) | EA035270B1 (ko) |
| ES (1) | ES2755573T3 (ko) |
| HU (1) | HUE047034T2 (ko) |
| TN (1) | TN2017000288A1 (ko) |
| TW (1) | TWI696382B (ko) |
| WO (1) | WO2016123081A1 (ko) |
Families Citing this family (120)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10230980B2 (en) | 2015-01-26 | 2019-03-12 | Qualcomm Incorporated | Overlapped motion compensation for video coding |
| US10187653B2 (en) * | 2015-05-18 | 2019-01-22 | Avago Technologies International Sales Pte. Limited | Motor vector prediction using co-located prediction units |
| WO2017069505A1 (ko) * | 2015-10-19 | 2017-04-27 | 엘지전자(주) | 영상의 부호화/복호화 방법 및 이를 위한 장치 |
| US10560718B2 (en) | 2016-05-13 | 2020-02-11 | Qualcomm Incorporated | Merge candidates for motion vector prediction for video coding |
| CN116708785A (zh) * | 2016-07-12 | 2023-09-05 | 韩国电子通信研究院 | 图像编码/解码方法以及用于该方法的记录介质 |
| US10721489B2 (en) | 2016-09-06 | 2020-07-21 | Qualcomm Incorporated | Geometry-based priority for the construction of candidate lists |
| US10477238B2 (en) | 2016-09-07 | 2019-11-12 | Qualcomm Incorporated | Sub-PU based bi-directional motion compensation in video coding |
| US10812791B2 (en) | 2016-09-16 | 2020-10-20 | Qualcomm Incorporated | Offset vector identification of temporal motion vector predictor |
| JP7048503B2 (ja) * | 2016-09-27 | 2022-04-05 | シャープ株式会社 | 復号装置、符号化装置、復号方法、および、符号化方法 |
| CN106507111B (zh) * | 2016-11-17 | 2019-11-15 | 上海兆芯集成电路有限公司 | 使用残差补偿的视频编码方法以及使用该方法的装置 |
| CN109983773A (zh) * | 2016-11-29 | 2019-07-05 | 联发科技股份有限公司 | 用于合并模式推导的视频编解码方法和装置 |
| TWI721670B (zh) | 2017-04-21 | 2021-03-11 | 美商時美媒體公司 | 用於藉由預測運動向量及/或快取重複運動向量的玩家輸入運動補償的系統及方法 |
| TWI646823B (zh) * | 2017-04-27 | 2019-01-01 | 晨星半導體股份有限公司 | 視訊壓縮方法及視訊壓縮裝置 |
| CN110546956B (zh) * | 2017-06-30 | 2021-12-28 | 华为技术有限公司 | 一种帧间预测的方法及装置 |
| WO2019074273A1 (ko) * | 2017-10-10 | 2019-04-18 | 한국전자통신연구원 | 인터 예측 정보를 사용하는 방법 및 장치 |
| CN111567045A (zh) | 2017-10-10 | 2020-08-21 | 韩国电子通信研究院 | 使用帧间预测信息的方法和装置 |
| US10785494B2 (en) * | 2017-10-11 | 2020-09-22 | Qualcomm Incorporated | Low-complexity design for FRUC |
| US20190116374A1 (en) * | 2017-10-17 | 2019-04-18 | Qualcomm Incorporated | Coding motion information of video data using coding structure-based candidate list construction |
| CN111480341A (zh) * | 2017-11-01 | 2020-07-31 | Vid拓展公司 | 用于合并模式的解码器侧运动矢量细化和子块运动导出 |
| EP3711299A1 (en) * | 2017-11-14 | 2020-09-23 | Qualcomm Incorporated | Unified merge candidate list usage |
| TW201924349A (zh) * | 2017-11-17 | 2019-06-16 | 晨星半導體股份有限公司 | 與移動補償相關之影像處理裝置及影像處理方法 |
| US10623746B2 (en) * | 2017-12-07 | 2020-04-14 | Tencent America LLC | Method and apparatus for video coding |
| CN108347616B (zh) * | 2018-03-09 | 2020-02-14 | 中南大学 | 一种基于可选时域运动矢量预测的深度预测方法及装置 |
| WO2019194502A1 (ko) * | 2018-04-01 | 2019-10-10 | 엘지전자 주식회사 | 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
| WO2019194514A1 (ko) | 2018-04-01 | 2019-10-10 | 엘지전자 주식회사 | 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
| WO2019199141A1 (ko) * | 2018-04-13 | 2019-10-17 | 엘지전자 주식회사 | 비디오 코딩 시스템에서 인터 예측 방법 및 장치 |
| US11297348B2 (en) * | 2018-04-13 | 2022-04-05 | Mediatek Inc. | Implicit transform settings for coding a block of pixels |
| US10999604B2 (en) | 2018-04-13 | 2021-05-04 | Mediatek Inc. | Adaptive implicit transform setting |
| US10397603B1 (en) * | 2018-05-08 | 2019-08-27 | Tencent America LLC | Method and apparatus for video coding |
| US11259015B2 (en) | 2018-05-24 | 2022-02-22 | Kt Corporation | Method and apparatus for processing video signal |
| CN117956182A (zh) * | 2018-06-04 | 2024-04-30 | 华为技术有限公司 | 获取运动矢量的方法和装置 |
| US11109025B2 (en) * | 2018-06-04 | 2021-08-31 | Tencent America LLC | Method and apparatus for sub-block based temporal motion vector prediction |
| KR20210016581A (ko) | 2018-06-05 | 2021-02-16 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Ibc 및 atmvp 간의 상호 작용 |
| CN113115046A (zh) | 2018-06-21 | 2021-07-13 | 北京字节跳动网络技术有限公司 | 分量相关的子块分割 |
| TWI739120B (zh) | 2018-06-21 | 2021-09-11 | 大陸商北京字節跳動網絡技術有限公司 | 合併仿射模式與非合併仿射模式的統一拘束 |
| AU2019295574B2 (en) * | 2018-06-27 | 2023-01-12 | Vid Scale, Inc. | Methods and apparatus for reducing the coding latency of decoder-side motion refinement |
| CN110662059B (zh) | 2018-06-29 | 2021-04-20 | 北京字节跳动网络技术有限公司 | 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置 |
| CN114466197A (zh) | 2018-06-29 | 2022-05-10 | 北京字节跳动网络技术有限公司 | 用于查找表更新的编码的运动信息的选择 |
| WO2020003283A1 (en) | 2018-06-29 | 2020-01-02 | Beijing Bytedance Network Technology Co., Ltd. | Conditions for updating luts |
| CN110662053B (zh) | 2018-06-29 | 2022-03-25 | 北京字节跳动网络技术有限公司 | 使用查找表的视频处理方法、装置和存储介质 |
| CN110662064B (zh) | 2018-06-29 | 2022-06-14 | 北京字节跳动网络技术有限公司 | Lut中的运动候选的检查顺序 |
| CN110662054B (zh) | 2018-06-29 | 2023-01-06 | 北京字节跳动网络技术有限公司 | 用于视频处理的方法、装置、计算机可读存储介质 |
| CA3105330C (en) | 2018-06-29 | 2023-12-05 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between lut and amvp |
| EP3794825A1 (en) | 2018-06-29 | 2021-03-24 | Beijing Bytedance Network Technology Co. Ltd. | Update of look up table: fifo, constrained fifo |
| EP4362468A3 (en) * | 2018-07-02 | 2024-06-26 | Huawei Technologies Co., Ltd. | Motion vector prediction method and device, and codec |
| TWI734133B (zh) | 2018-07-02 | 2021-07-21 | 大陸商北京字節跳動網絡技術有限公司 | 更新查找表的規則 |
| KR20230022267A (ko) * | 2018-07-02 | 2023-02-14 | 엘지전자 주식회사 | 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
| WO2020017861A1 (ko) * | 2018-07-16 | 2020-01-23 | 엘지전자 주식회사 | 서브블록 단위의 시간적 움직임 정보 예측을 위한 인터 예측 방법 및 그 장치 |
| US11539958B2 (en) | 2018-07-17 | 2022-12-27 | Lg Electronics Inc. | Method for predicting subblock-based temporal motion vector and apparatus therefor |
| CN112425172A (zh) * | 2018-07-18 | 2021-02-26 | 北京达佳互联信息技术有限公司 | 使用基于历史的运动向量预测进行视频编码的方法和装置 |
| KR20210115053A (ko) * | 2018-07-27 | 2021-09-24 | 삼성전자주식회사 | 서브 블록 기반으로 영상을 복호화하는 방법 및 장치, 부호화 방법 및 장치 |
| US11539977B2 (en) * | 2018-07-31 | 2022-12-27 | Hfi Innovation Inc. | Method and apparatus of merge with motion vector difference for video coding |
| CN117241039A (zh) | 2018-08-28 | 2023-12-15 | 华为技术有限公司 | 帧间预测方法、装置以及视频编码器和视频解码器 |
| CN117319650A (zh) * | 2018-08-28 | 2023-12-29 | 华为技术有限公司 | 编码方法、解码方法以及编码装置、解码装置 |
| CN116980591B (zh) * | 2018-08-29 | 2024-03-15 | 北京达佳互联信息技术有限公司 | 视频编码的方法、计算设备和存储介质 |
| TW202025760A (zh) | 2018-09-12 | 2020-07-01 | 大陸商北京字節跳動網絡技術有限公司 | 要檢查多少個hmvp候選 |
| KR102467326B1 (ko) | 2018-09-12 | 2022-11-16 | 엘지전자 주식회사 | 영상 코딩 시스템에서 서브 블록 단위의 움직임 예측에 기반한 영상 디코딩 방법 및 장치 |
| GB2579763B (en) * | 2018-09-21 | 2021-06-09 | Canon Kk | Video coding and decoding |
| WO2020060344A1 (ko) * | 2018-09-21 | 2020-03-26 | 엘지전자 주식회사 | 영상 신호를 처리하기 위한 방법 및 장치 |
| WO2020061395A1 (en) * | 2018-09-21 | 2020-03-26 | Interdigital Vc Holdings, Inc. | Motion vector prediction in video encoding and decoding |
| CN110944193B (zh) | 2018-09-24 | 2023-08-11 | 北京字节跳动网络技术有限公司 | 视频编码和解码中的加权双向预测 |
| KR102354489B1 (ko) * | 2018-10-08 | 2022-01-21 | 엘지전자 주식회사 | Atmvp 후보를 기반으로 영상 코딩을 수행하는 장치 |
| CN111010571B (zh) | 2018-10-08 | 2023-05-16 | 北京字节跳动网络技术有限公司 | 组合仿射Merge候选的生成和使用 |
| US11051034B2 (en) * | 2018-10-08 | 2021-06-29 | Qualcomm Incorporated | History-based motion vector predictor |
| GB2595053B (en) | 2018-10-18 | 2022-07-06 | Canon Kk | Video coding and decoding |
| GB2578151B (en) | 2018-10-18 | 2021-06-09 | Canon Kk | Video coding and decoding |
| WO2020084474A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Gradient computation in bi-directional optical flow |
| WO2020084556A1 (en) * | 2018-10-24 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Sub-block motion candidate list in video coding |
| EP3847814A4 (en) * | 2018-11-06 | 2021-07-14 | Beijing Bytedance Network Technology Co. Ltd. | POSITION DEPENDENT STORAGE, MOVEMENT INFORMATION |
| WO2020094151A1 (en) | 2018-11-10 | 2020-05-14 | Beijing Bytedance Network Technology Co., Ltd. | Rounding in pairwise average candidate calculations |
| WO2020098647A1 (en) * | 2018-11-12 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Bandwidth control methods for affine prediction |
| WO2020098695A1 (en) * | 2018-11-13 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Construction method for a single type motion candidate list |
| CN112997496B (zh) * | 2018-11-14 | 2024-05-14 | 北京字节跳动网络技术有限公司 | 仿射预测模式的改进 |
| CN113056914B (zh) | 2018-11-20 | 2024-03-01 | 北京字节跳动网络技术有限公司 | 基于部分位置的差计算 |
| EP4325849A3 (en) | 2018-11-22 | 2024-04-17 | Beijing Bytedance Network Technology Co., Ltd. | Coordination method for sub-block based inter prediction |
| CN113170099B (zh) | 2018-11-29 | 2024-03-29 | 北京字节跳动网络技术有限公司 | 块内拷贝模式和帧间预测工具之间的交互 |
| CN113170182B (zh) * | 2018-12-03 | 2024-01-26 | 北京字节跳动网络技术有限公司 | 不同预测模式下的修剪方法 |
| US11122288B2 (en) * | 2018-12-06 | 2021-09-14 | Qualcomm Incorporated | Spatio-temporal motion vector prediction patterns for video coding |
| EP3716626A4 (en) * | 2018-12-12 | 2021-05-19 | LG Electronics Inc. | METHOD AND DEVICE FOR PROCESSING VIDEO SIGNAL BASED ON A TRANSFORM OF HISTORY-BASED MOTION VECTORS |
| WO2020130520A1 (ko) * | 2018-12-16 | 2020-06-25 | 엘지전자 주식회사 | 화면간 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치 |
| US11902566B2 (en) * | 2018-12-28 | 2024-02-13 | Telefonaktiebolaget Lm Ericsson (Publ) | Generating a motion vector predictor list |
| JP2020108083A (ja) * | 2018-12-28 | 2020-07-09 | 株式会社Ｊｖｃケンウッド | 画像符号化装置、画像符号化方法及び画像符号化プログラム |
| BR112021012462A2 (pt) * | 2018-12-29 | 2021-09-08 | Vid Scale, Inc. | Dispositivo e método de codificação de vídeo |
| WO2020141886A1 (ko) * | 2019-01-02 | 2020-07-09 | 엘지전자 주식회사 | Sbtmvp 기반 인터 예측 방법 및 장치 |
| WO2020140242A1 (zh) * | 2019-01-03 | 2020-07-09 | 北京大学 | 视频处理方法和装置 |
| CN111357288B (zh) * | 2019-01-03 | 2021-08-31 | 深圳市大疆创新科技有限公司 | 视频图像处理方法与装置 |
| WO2020140243A1 (zh) * | 2019-01-03 | 2020-07-09 | 北京大学 | 视频图像处理方法与装置 |
| JP7275286B2 (ja) | 2019-01-10 | 2023-05-17 | 北京字節跳動網絡技術有限公司 | Ｌｕｔ更新の起動 |
| CN113383554B (zh) | 2019-01-13 | 2022-12-16 | 北京字节跳动网络技术有限公司 | LUT和共享Merge列表之间的交互 |
| WO2020147773A1 (en) | 2019-01-16 | 2020-07-23 | Beijing Bytedance Network Technology Co., Ltd. | Inserting order of motion candidates in lut |
| JP2022521554A (ja) | 2019-03-06 | 2022-04-08 | 北京字節跳動網絡技術有限公司 | 変換された片予測候補の利用 |
| US20200288175A1 (en) * | 2019-03-06 | 2020-09-10 | Qualcomm Incorporated | Signaling of triangle merge mode indexes in video coding |
| JP6897885B2 (ja) * | 2019-03-08 | 2021-07-07 | 株式会社Ｊｖｃケンウッド | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム |
| CN112954329B (zh) | 2019-03-11 | 2022-08-26 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
| WO2020182147A1 (en) * | 2019-03-11 | 2020-09-17 | Beijing Bytedance Network Technology Co., Ltd. | Improvement on motion candidate list construction |
| CN113826397A (zh) * | 2019-03-15 | 2021-12-21 | 交互数字Vc控股公司 | 用于图像编码和解码的方法和设备 |
| WO2020192611A1 (en) | 2019-03-22 | 2020-10-01 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between merge list construction and other tools |
| CN111953995A (zh) * | 2019-05-17 | 2020-11-17 | 华为技术有限公司 | 一种帧间预测的方法和装置 |
| WO2020233662A1 (en) | 2019-05-21 | 2020-11-26 | Beijing Bytedance Network Technology Co., Ltd. | Syntax signaling for optical-flow based inter coding |
| CN113994698B (zh) | 2019-06-04 | 2023-11-24 | 北京字节跳动网络技术有限公司 | 有条件地实施运动候选列表构建过程 |
| EP3963890A4 (en) | 2019-06-04 | 2022-11-02 | Beijing Bytedance Network Technology Co., Ltd. | BUILDING A LIST OF MOVEMENT CANDIDATES USING NEIGHBOR BLOCK INFORMATION |
| WO2020244660A1 (en) | 2019-06-06 | 2020-12-10 | Beijing Bytedance Network Technology Co., Ltd. | Motion candidate list construction for video coding |
| CN114026852A (zh) * | 2019-06-07 | 2022-02-08 | 北京达佳互联信息技术有限公司 | 用于视频编解码的子块时间运动矢量预测 |
| JP7198949B2 (ja) * | 2019-06-13 | 2023-01-04 | ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド | ビデオ符号化のための動きベクトル予測 |
| WO2020251319A1 (ko) * | 2019-06-13 | 2020-12-17 | 엘지전자 주식회사 | Sbtmvp를 이용한 인터 예측 기반 영상 또는 비디오 코딩 |
| CN112118447B (zh) * | 2019-06-19 | 2023-06-20 | 华为技术有限公司 | 融合候选运动信息列表的构建方法、装置及编解码器 |
| EP3987797A4 (en) | 2019-06-24 | 2023-03-22 | FG Innovation Company Limited | DEVICE AND METHOD FOR ENCODING VIDEO DATA |
| CN114342405A (zh) | 2019-06-24 | 2022-04-12 | Lg电子株式会社 | 图像解码方法和用于该图像解码方法的装置 |
| CN114128295B (zh) | 2019-07-14 | 2024-04-12 | 北京字节跳动网络技术有限公司 | 视频编解码中几何分割模式候选列表的构建 |
| CN114208184A (zh) | 2019-08-13 | 2022-03-18 | 北京字节跳动网络技术有限公司 | 基于子块的帧间预测中的运动精度 |
| CN110740317B (zh) * | 2019-09-18 | 2021-10-15 | 浙江大华技术股份有限公司 | 子块运动预测、编码方法、编码器及存储装置 |
| WO2021052504A1 (en) | 2019-09-22 | 2021-03-25 | Beijing Bytedance Network Technology Co., Ltd. | Scaling method for sub-block based inter prediction |
| WO2021057996A1 (en) | 2019-09-28 | 2021-04-01 | Beijing Bytedance Network Technology Co., Ltd. | Geometric partitioning mode in video coding |
| KR20220070530A (ko) * | 2019-10-10 | 2022-05-31 | 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 | 삼각형 분할을 이용한 비디오 코딩을 위한 방법 및 장치 |
| CN110691253B (zh) * | 2019-10-17 | 2022-03-01 | 北京大学深圳研究生院 | 一种基于帧间预测的编解码方法及装置 |
| EP4032290A4 (en) | 2019-10-18 | 2022-11-30 | Beijing Bytedance Network Technology Co., Ltd. | SYNTAX CONSTRAINTS IN REPORTING SUBPICTURE PARAMETER SETS |
| EP4082202A4 (en) * | 2019-12-24 | 2023-05-10 | Beijing Dajia Internet Information Technology Co., Ltd. | MOTION ESTIMATION AREA FOR MERGER CANDIDATES |
| US11375231B2 (en) * | 2020-01-14 | 2022-06-28 | Tencent America LLC | Method and apparatus for video coding |
| US20230104476A1 (en) * | 2021-10-05 | 2023-04-06 | Tencent America LLC | Grouping based adaptive reordering of merge candidate |
| WO2024078331A1 (en) * | 2022-10-14 | 2024-04-18 | Mediatek Inc. | Method and apparatus of subblock-based motion vector prediction with reordering and refinement in video coding |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120287999A1 (en) | 2011-05-11 | 2012-11-15 | Microsoft Corporation | Syntax element prediction in error correction |
| KR101960034B1 (ko) | 2011-09-09 | 2019-03-19 | 엘지전자 주식회사 | 인터 예측 방법 및 그 장치 |
| US9736489B2 (en) * | 2011-09-17 | 2017-08-15 | Qualcomm Incorporated | Motion vector determination for video coding |
| US9571833B2 (en) | 2011-11-04 | 2017-02-14 | Nokia Technologies Oy | Method for coding and an apparatus |
| KR20130050406A (ko) | 2011-11-07 | 2013-05-16 | 오수미 | 머지 모드에서의 움직임 정보 생성 방법 |
| US9729873B2 (en) | 2012-01-24 | 2017-08-08 | Qualcomm Incorporated | Video coding using parallel motion estimation |
| US9325990B2 (en) | 2012-07-09 | 2016-04-26 | Qualcomm Incorporated | Temporal motion vector prediction in video coding extensions |
| US9699450B2 (en) | 2012-10-04 | 2017-07-04 | Qualcomm Incorporated | Inter-view predicted motion vector for 3D video |
| CN103841425B (zh) | 2012-10-08 | 2017-04-05 | 华为技术有限公司 | 用于运动矢量预测的运动矢量列表建立的方法、装置 |
| US9762927B2 (en) | 2013-09-26 | 2017-09-12 | Qualcomm Incorporated | Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC |
| US9667996B2 (en) | 2013-09-26 | 2017-05-30 | Qualcomm Incorporated | Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC |
-
2016
- 2016-01-25 US US15/005,564 patent/US11477477B2/en active Active
- 2016-01-26 ES ES16705364T patent/ES2755573T3/es active Active
- 2016-01-26 WO PCT/US2016/014875 patent/WO2016123081A1/en active Application Filing
- 2016-01-26 KR KR1020177020567A patent/KR102102029B1/ko active IP Right Grant
- 2016-01-26 TW TW105102383A patent/TWI696382B/zh active
- 2016-01-26 CN CN201680006068.8A patent/CN107211156B/zh active Active
- 2016-01-26 EA EA201791449A patent/EA035270B1/ru unknown
- 2016-01-26 JP JP2017538966A patent/JP6636530B2/ja active Active
- 2016-01-26 HU HUE16705364A patent/HUE047034T2/hu unknown
- 2016-01-26 BR BR112017015890-6A patent/BR112017015890B1/pt active IP Right Grant
- 2016-01-26 CA CA2971636A patent/CA2971636C/en active Active
- 2016-01-26 TN TNP/2017/000288A patent/TN2017000288A1/en unknown
- 2016-01-26 EP EP16705364.4A patent/EP3251361B1/en active Active
Non-Patent Citations (1)
| Title |
|---|
| JCTVC-S1002 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201640893A (zh) | 2016-11-16 |
| EA201791449A1 (ru) | 2017-12-29 |
| EA035270B1 (ru) | 2020-05-22 |
| EP3251361A1 (en) | 2017-12-06 |
| CN107211156B (zh) | 2019-08-30 |
| JP2018506908A (ja) | 2018-03-08 |
| HUE047034T2 (hu) | 2020-04-28 |
| CA2971636C (en) | 2021-10-12 |
| BR112017015890A2 (pt) | 2018-04-10 |
| TWI696382B (zh) | 2020-06-11 |
| EP3251361B1 (en) | 2019-08-14 |
| JP6636530B2 (ja) | 2020-01-29 |
| US20160219278A1 (en) | 2016-07-28 |
| TN2017000288A1 (en) | 2019-01-16 |
| CA2971636A1 (en) | 2016-08-04 |
| ES2755573T3 (es) | 2020-04-22 |
| US11477477B2 (en) | 2022-10-18 |
| WO2016123081A1 (en) | 2016-08-04 |
| BR112017015890B1 (pt) | 2023-10-17 |
| CN107211156A (zh) | 2017-09-26 |
| KR20170108010A (ko) | 2017-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102102029B1 (ko) | 서브-예측 유닛 기반 어드밴스드 시간 모션 벡터 예측 | |
| KR102094588B1 (ko) | 공간적 및/또는 시간적 모션 정보를 사용하는 서브-예측 유닛 모션 벡터 예측 | |
| CA3074701C (en) | Coding affine prediction motion information for video coding | |
| KR102374495B1 (ko) | 비디오 코딩을 위한 모션 벡터 예측용 병합 후보들 | |
| KR102033206B1 (ko) | 3d 비디오에 대한 진보된 병합/스킵 모드 및 진보된 모션 벡터 예측 (amvp) 모드 | |
| US9420286B2 (en) | Temporal motion vector prediction in HEVC and its extensions | |
| EP2984838B1 (en) | Backward view synthesis prediction | |
| KR101751145B1 (ko) | 3d 비디오에 대한 인터-뷰 예측된 모션 벡터 | |
| KR102312766B1 (ko) | 비디오 코딩을 위한 디스패리티 벡터 및/또는 진보된 레지듀얼 예측 | |
| KR20190041480A (ko) | 후보 리스트들의 구성을 위한 지오메트리 기반의 우선순위 | |
| KR20180061281A (ko) | 비디오 코딩을 위한 향상된 양방향 광학 흐름 | |
| CA2865949A1 (en) | High-level syntax extensions for high efficiency video coding | |
| KR20140146605A (ko) | 3d-hevc를 위한 디스패리티 벡터 구성 방법 | |
| JP2021527999A (ja) | シグナリングサブ予測ユニット動きベクトル予測子 | |
| OA18314A (en) | Sub-prediction unit based advanced temporal motion vector prediction. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |