KR101574866B1 - 비디오 코딩을 위한 모션 벡터 예측의 수행 - Google Patents

비디오 코딩을 위한 모션 벡터 예측의 수행 Download PDF

Info

Publication number
KR101574866B1
KR101574866B1 KR1020137022566A KR20137022566A KR101574866B1 KR 101574866 B1 KR101574866 B1 KR 101574866B1 KR 1020137022566 A KR1020137022566 A KR 1020137022566A KR 20137022566 A KR20137022566 A KR 20137022566A KR 101574866 B1 KR101574866 B1 KR 101574866B1
Authority
KR
South Korea
Prior art keywords
candidate motion
motion vectors
motion vector
spatial candidate
spatial
Prior art date
Application number
KR1020137022566A
Other languages
English (en)
Other versions
KR20130126691A (ko
Inventor
웨이-정 치엔
페이송 천
무하메드 제이드 코반
마르타 카르체비츠
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130126691A publication Critical patent/KR20130126691A/ko
Application granted granted Critical
Publication of KR101574866B1 publication Critical patent/KR101574866B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

일반적으로, 비디오 코딩을 위한 모션 벡터 예측을 수행하는 기법들이 설명된다. 모션 보상 유닛을 구비하는 장치는 상기 기법들을 구현할 수도 있다. 모션 보상 유닛은 비디오 프레임의 현재의 부분과 연관된 공간 후보 모션 벡터 (MVP) 들을 결정하고, 시간 후보 모션 벡터를 제거하지 않고 그 공간 후보 모션 벡터들을 잘라내어 중복된 것들 (duplicates) 을 제거한다. 모션 보상 유닛은 비트스트림으로 시그널링된 모션 벡터 예측자 (MVP) 인덱스에 기초하여 선택된 후보 모션 벡터로서 시간 후보 모션 벡터 또는 잘라낸 후 남은 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터 중 하나를 선택하고, 그 선택된 후보 모션 벡터에 기초하여 모션 보상을 수행한다.

Description

비디오 코딩을 위한 모션 벡터 예측의 수행{PERFORMING MOTION VECTOR PREDICTION FOR VIDEO CODING}
본 출원은 2011년 1월 27일자로 출원된 미국 가출원 제61/436,997호, 2011년 3월 7일자로 출원된 미국 가출원 제61/449,985호, 및 2011년 11월 18일자로 출원된 미국 가출원 제61/561,601호의 이익을 주장하며, 이들의 각각은 본원에 완전히 참고로 포함된다.
본 개시물은 비디오 코딩에 관한 것으로, 좀더 자세하게는, 비디오 코딩의 모션 보상 양태들에 관한 것이다.
디지털 비디오 능력들은 디지털 텔레비전들, 디지털 직접 브로드캐스트 시스템들, 무선 브로드캐스트 시스템들, 개인 휴대정보 단말기 (PDA) 들, 랩탑 또는 데스크탑 컴퓨터들, 디지털 카메라들, 디지털 리코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화기들, 원격 화상회의 디바이스들 등을 포함한, 매우 다양한 디바이스들에 포함될 수 있다. 디지털 비디오 디바이스들은 디지털 비디오 정보를 보다 효율적으로 송수신하기 위해서, MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, 파트 10, AVC (Advanced Video Coding) 에 의해 정의된 표준들, 및 이러한 표준들의 확장판들에 기술된 기법들과 같은 비디오 압축 기법들을 구현한다. MPEG 와 ITU-T 사이의 공동연구의 성과인 "Joint Collaborative Team-Video Coding" (JCT-VC) 에 의해 개발 중인 HEVC (High Efficiency Video Coding) 표준과 같은, 새로운 비디오 코딩 표준들이 개발되고 있다. 차기 HEVC 표준은 때때로 H.265 로 지칭되지만, 이러한 명칭은 공식적으로 이루어지지 않았다.
일반적으로, 본 개시물은 모션 벡터 예측자 (motion vector predictor; MVP) 들을 특정하는 기법들을 기술한다. MVP들은 보통 비디오 코딩에서, 모션 보상이 수행되는 효율을 향상시키는 방식으로서 채용된다. 현재의 블록과 매칭하는 참조 프레임들의 블록들에 대해 탐색을 수행하는 대신, 비디오 인코더는 MVP들의 리스트로부터 현재의 블록에 대한 모션 벡터를 선택할 수도 있다. 일부 예들에서, MVP들의 리스트는 현재의 블록의 공간적 이웃들인 4개의 블록들로부터의 모션 벡터들을 포함할 수도 있으며, 참조 프레임으로부터 동일 위치에 배치된 블록으로부터의 모션 벡터는 시간적으로 현재의 프레임 전후이다. MVP들 중 선택된 하나가 그 후 현재의 블록에 대해 이용되어, 제거하지 않으면 모션 보상의 프로세스를 감소시킨다.
일 예에서, 비디오 데이터를 인코딩하는 방법은, 현재의 비디오 프레임의 현재의 부분과 연관된 공간 후보 모션 벡터들을 결정하는 단계로서, 공간 후보 모션 벡터들은 현재의 부분에 인접한 현재의 비디오 프레임의 이웃하는 부분들에 대해 결정된 모션 벡터들을 포함하는, 상기 공간 후보 모션 벡터들을 결정하는 단계; 공간 후보 모션 벡터들 중 적어도 하나를 제거하기 위해 공간 후보 모션 벡터들을 잘라내는 단계; 및 현재의 비디오 프레임의 현재의 부분과 연관된 시간 후보 모션 벡터를 결정하는 단계를 포함한다. 시간 후보 모션 벡터는 참조 비디오 프레임의 부분에 대해 결정된 모션 벡터를 포함한다. 이 방법은 또한 시간 후보 모션 벡터 또는 잘라낸 후 남은 공간 후보 모션 벡터들 중 하나를 선택된 후보 모션 벡터로서 선택하는 단계; 및 그 선택된 후보 모션 벡터를 비트스트림으로 시그널링하는 단계를 더 포함한다.
또다른 예에서, 비디오 데이터를 인코딩하는 장치는, 현재의 비디오 프레임의 현재의 부분과 연관된 공간 후보 모션 벡터들을 결정하는 수단으로서, 공간 후보 모션 벡터들은 현재의 부분에 인접한 현재의 비디오 프레임의 이웃하는 부분들에 대해 결정된 모션 벡터들을 포함하는, 상기 공간 후보 모션 벡터들을 결정하는 수단; 공간 후보 모션 벡터들 중 적어도 하나를 제거하기 위해 공간 후보 모션 벡터들을 잘라내는 수단; 및 현재의 비디오 프레임의 현재의 부분과 연관된 시간 후보 모션 벡터를 결정하는 수단을 포함한다. 시간 후보 모션 벡터는 참조 비디오 프레임의 부분에 대해 결정된 모션 벡터를 포함한다. 이 장치는 시간 후보 모션 벡터 또는 잘라낸 후 남은 공간 후보 모션 벡터들 중 하나를 선택된 후보 모션 벡터로서 선택하는 수단; 및 그 선택된 후보 모션 벡터를 비트스트림으로 시그널링하는 수단을 더 포함한다.
또다른 예에서, 비디오 데이터를 인코딩하는 장치는, 현재의 비디오 프레임의 현재의 부분과 연관된 공간 후보 모션 벡터들을 결정하는 것으로서, 공간 후보 모션 벡터들은 현재의 부분에 인접한 현재의 비디오 프레임의 이웃하는 부분들에 대해 결정된 모션 벡터들을 포함하는, 상기 공간 후보 모션 벡터들을 결정하고; 공간 후보 모션 벡터들 중 적어도 하나를 제거하기 위해 공간 후보 모션 벡터들을 잘라내며, 현재의 비디오 프레임의 현재의 부분과 연관된 시간 후보 모션 벡터를 결정하는 모션 보상 유닛을 포함한다. 시간 후보 모션 벡터는 참조 비디오 프레임의 부분에 대해 결정된 모션 벡터를 포함한다. 이 장치는 또한 시간 후보 모션 벡터 또는 잘라낸 후 남은 공간 후보 모션 벡터들 중 하나를 선택된 후보 모션 벡터로서 선택하는 모드 선택 유닛; 및 그 선택된 후보 모션 벡터를 비트스트림으로 시그널링하는 엔트로피 코딩 유닛을 포함한다.
또다른 예에서, 비일시적 (non-transitory) 컴퓨터 판독가능 매체는, 실행될 때, 하나 이상의 프로세서들로 하여금, 현재의 비디오 프레임의 현재의 부분과 연관된 공간 후보 모션 벡터들을 결정하는 것으로서, 공간 후보 모션 벡터들은 현재의 부분에 인접한 현재의 비디오 프레임의 이웃하는 부분들에 대해 결정된 모션 벡터들을 포함하는, 상기 공간 후보 모션 벡터들을 결정하도록 하고; 공간 후보 모션 벡터들 중 적어도 하나를 제거하기 위해 공간 후보 모션 벡터들을 잘라내도록 하고; 현재의 비디오 프레임의 현재의 부분과 연관된 시간 후보 모션 벡터를 결정하는 것으로서, 시간 후보 모션 벡터는 참조 비디오 프레임의 부분에 대해 결정된 모션 벡터를 포함하는, 상기 시간 후보 모션 벡터를 결정하도록 하고; 시간 후보 모션 벡터 또는 잘라낸 후 남은 공간 후보 모션 벡터들 중 하나를 선택된 후보 모션 벡터로서 선택하도록 하며; 그 선택된 후보 모션 벡터를 비트스트림으로 시그널링하도록 하는 명령들을 포함한다.
또다른 예에서, 비디오 데이터를 디코딩하는 방법은, 현재의 비디오 프레임의 현재의 부분과 연관된 공간 후보 모션 벡터들을 결정하는 단계로서, 공간 후보 모션 벡터들은 현재의 부분에 인접한 현재의 비디오 프레임의 이웃하는 부분들에 대해 결정된 모션 벡터들을 포함하는, 상기 공간 후보 모션 벡터들을 결정하는 단계; 및 현재의 비디오 프레임의 현재의 부분에 대해 결정된 시간 후보 모션 벡터를 제거하지 않고, 공간 후보 모션 벡터들 중 적어도 하나를 제거하기 위해 공간 후보 모션 벡터들을 잘라내는 단계를 포함한다. 시간 후보 모션 벡터는 현재의 부분이 현재의 비디오 프레임 내에 있을 때와 동일한 참조 비디오 프레임의 로케이션에 동일 위치에 배치된 참조 비디오 프레임의 부분에 대해 결정된 모션 벡터를 포함한다. 이 방법은 또한 비트스트림으로 시그널링된 모션 벡터 예측자 (MVP) 인덱스에 기초하여, 시간 후보 모션 벡터 또는 잘라낸 후 남은 공간 후보 모션 벡터들 중 하나 중 하나를 선택된 후보 모션 벡터로서 선택하는 단계; 및 그 선택된 후보 모션 벡터에 기초하여 모션 보상을 수행하는 단계를 포함한다.
또다른 예에서, 비디오 데이터를 디코딩 장치는, 현재의 비디오 프레임의 현재의 부분과 연관된 공간 후보 모션 벡터들을 결정하는 수단으로서, 공간 후보 모션 벡터들은 현재의 부분에 인접한 현재의 비디오 프레임의 이웃하는 부분들에 대해 결정된 모션 벡터들을 포함하는, 상기 공간 후보 모션 벡터들을 결정하는 수단; 및 현재의 비디오 프레임의 현재의 부분에 대해 결정된 시간 후보 모션 벡터를 제거하지 않고, 공간 후보 모션 벡터들 중 적어도 하나를 제거하기 위해 공간 후보 모션 벡터들을 잘라내는 수단을 포함한다. 시간 후보 모션 벡터는 참조 비디오 프레임의 부분에 대해 결정된 모션 벡터를 포함한다. 이 장치는 또한 비트스트림으로 시그널링된 모션 벡터 예측자 (MVP) 인덱스에 기초하여, 시간 후보 모션 벡터 또는 잘라낸 후 남은 공간 후보 모션 벡터들 중 하나 중 하나를 선택된 후보 모션 벡터로서 선택하는 수단; 및 그 선택된 후보 모션 벡터에 기초하여 모션 보상을 수행하는 수단을 포함한다.
또다른 예에서, 비디오 데이터를 디코딩 장치는, 현재의 비디오 프레임의 현재의 부분과 연관된 공간 후보 모션 벡터들을 결정하는 것으로서, 공간 후보 모션 벡터들은 현재의 부분에 인접한 현재의 비디오 프레임의 이웃하는 부분들에 대해 결정된 모션 벡터들을 포함하는, 상기 공간 후보 모션 벡터들을 결정하고; 현재의 비디오 프레임의 현재의 부분에 대해 결정된 시간 후보 모션 벡터를 제거하지 않고, 공간 후보 모션 벡터들 중 적어도 하나를 제거하기 위해 공간 후보 모션 벡터들을 잘라내는 것으로서, 시간 후보 모션 벡터는 참조 비디오 프레임의 부분에 대해 결정된 모션 벡터를 포함하는, 상기 공간 후보 모션 벡터들을 잘라내고; 비트스트림으로 시그널링된 모션 벡터 예측자 (MVP) 인덱스에 기초하여, 시간 후보 모션 벡터 또는 잘라낸 후 남은 공간 후보 모션 벡터들 중 하나 중 하나를 선택된 후보 모션 벡터로서 선택하며; 그 선택된 후보 모션 벡터에 기초하여 모션 보상을 수행하는 모션 보상 유닛을 포함한다.
또다른 예에서, 비일시적 컴퓨터 판독가능 매체는, 실행될 때, 하나 이상의 프로세서들로 하여금, 현재의 비디오 프레임의 현재의 부분과 연관된 공간 후보 모션 벡터들을 결정하는 것으로서, 공간 후보 모션 벡터들은 현재의 부분에 인접한 현재의 비디오 프레임의 이웃하는 부분들에 대해 결정된 모션 벡터들을 포함하는, 상기 공간 후보 모션 벡터들을 결정하도록 하고; 현재의 비디오 프레임의 현재의 부분에 대해 결정된 시간 후보 모션 벡터를 제거하지 않고, 공간 후보 모션 벡터들 중 적어도 하나를 제거하기 위해 공간 후보 모션 벡터들을 잘라내는 것으로서, 시간 후보 모션 벡터는 참조 비디오 프레임의 부분에 대해 결정된 모션 벡터를 포함하는, 상기 공간 후보 모션 벡터들을 잘라내도록 하고; 비트스트림으로 시그널링된 모션 벡터 예측자 (MVP) 인덱스에 기초하여, 시간 후보 모션 벡터 또는 잘라낸 후 남은 공간 후보 모션 벡터들 중 하나 중 하나를 선택된 후보 모션 벡터로서 선택하도록 하며; 그 선택된 후보 모션 벡터에 기초하여 모션 보상을 수행하도록 하는 명령들을 포함한다.
하나 이상의 예들의 세부 사항들이 첨부 도면들 및 아래의 상세한 설명에서 개시된다. 다른 특징들, 목적들, 및 이점들은 상세한 설명 및 도면들로부터, 그리고 청구항들로부터 명백히 알 수 있을 것이다.
도 1 은 모션 벡터 예측자 (MVP) 들을 특정하는 본 개시물에서 설명하는 기법들을 이용하도록 구성될 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템을 예시하는 블록도이다.
도 2 는 모션 벡터 예측자들을 특정하는 본 개시물에서 설명하는 기법들을 구현할 수도 있는 비디오 인코더의 일 예를 예시하는 블록도이다.
도 3 은 본 개시물에서 설명하는 모션 벡터 예측 기법들을 구현하는 비디오 디코더의 일 예를 예시하는 블록도이다.
도 4 는 본 개시물에서 설명하는 모션 벡터 예측 기법들을 수행할 때에 비디오 인코더의 예시적인 동작을 예시하는 플로우차트이다.
도 5 는 본 개시물에서 설명하는 모션 벡터 예측 기법들을 구현할 때에 비디오 디코더의 예시적인 동작을 예시하는 플로우차트이다.
도 6 은 인접한 이웃하는 예측 유닛 (PU) 들 및 현재의 PU 에 대해 시간적으로 동일 위치에 배치된 PU 의 예시적인 배열을 예시하는 다이어그램이다.
본 개시물에서 설명하는 기법들의 실시형태들은 잘라내는 프로세스 (pruning process) 동안 시간적으로 동일 위치에 배치된 MVP 를 포함하지 않고 여분의 공간 MVP들을 잘라냄으로써, 비디오 인코더들이 MVP들을 강건 (robust) 하지만 효율적인 방식으로 특정할 수 있게 한다. 즉, 이 기법들은 오직 공간 MVP들만을 포함하는 MVP들의 중간 리스트를 형성하고, 이 MVP들의 중간 리스트에 대해서 잘라내기를 수행하고, 그 후 시간적으로 동일 위치에 배치된 MVP 를 잘라낸 MVP들의 중간 리스트에 부가하여, 잘라낸 MVP들의 리스트를 형성한다. 이 방식으로, 시간적으로 동일 위치에 배치된 MVP 를 특정하는 참조 프레임의 손실이, 종래의 시스템들에서 일반적인 것처럼, 비트스트림의 파싱 (parcing) 을 방해하지 않을 수도 있으며, 잘라내는 프로세스의 적용을 통하여 가능하게 되는 코딩 효율 이득들이 여전히 유지될 수 있다.
도 1 은 모션 벡터 예측자 (MVP) 들을 특정하는 본 개시물에서 설명하는 기법들을 이용하도록 구성될 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템 (10) 을 예시하는 블록도이다. 도 1 의 예에 나타낸 바와 같이, 시스템 (10) 은 목적지 디바이스 (14) 에 의한 디코딩을 위해 인코딩된 비디오를 생성하는 소스 디바이스 (12) 를 포함한다. 소스 디바이스 (12) 는 그 인코딩된 비디오를 통신 채널 (16) 을 통해 목적지 디바이스 (14) 로 송신할 수도 있거나, 또는 그 인코딩된 비디오가 원하는 바에 따라서 목적지 디바이스 (14) 에 의해 액세스될 수 있도록, 그 인코딩된 비디오를 저장 매체 (34) 또는 파일 서버 (36) 상에 저장할 수도 있다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 데스크탑 컴퓨터들, 노트북 (즉, 랩탑) 컴퓨터들, 태블릿 컴퓨터들, 셋-탑 박스들, 전화기 핸드셋들 (셀룰러 전화기들 또는 핸드셋들 및 소위 스마트폰들을 포함함), 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들 등을 포함한, 매우 다양한 디바이스들 중 임의의 디바이스를 포함할 수도 있다.
많은 경우에, 이런 디바이스들은 무선 통신을 위해 장착될 수도 있다. 그러므로, 통신 채널 (16) 은 무선 채널을 포함할 수도 있다. 대안으로, 통신 채널 (16) 은 유선 채널, 무선 채널과 유선 채널의 조합, 또는 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들과 같은 인코딩된 비디오 데이터의 송신에 적합한 임의의 다른 유형의 통신 채널 또는 통신 채널들의 조합을 포함할 수도 있다. 일부 예들에서, 통신 채널 (16) 은 근거리 네트워크 (LAN), 광역 네트워크 (WAN), 또는 인터넷과 같은 글로벌 네트워크와 같은, 패킷-기반 네트워크의 부분을 형성할 수도 있다. 따라서, 통신 채널 (16) 은 일반적으로 비디오 데이터를 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 송신하기 위한, 유선 또는 무선 매체들의 임의의 적합한 조합을 포함한, 임의의 적합한 통신 매체, 또는 상이한 통신 매체들의 컬렉션을 나타낸다. 통신 채널 (16) 은 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.
도 1 의 예에서 추가로 나타낸 바와 같이, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 변조기/복조기 (22) ("모뎀 (22)") 및 송신기 (24) 를 포함한다. 소스 디바이스 (12) 에서, 비디오 소스 (18) 는 비디오 캡쳐 디바이스와 같은 소스를 포함할 수도 있다. 비디오 캡쳐 디바이스는, 일 예로, 비디오 카메라, 이전에 캡쳐된 비디오를 포함하는 비디오 아카이브, 비디오 콘텐츠 제공자로부터 비디오를 수신하는 비디오 공급 인터페이스, 및/또는 컴퓨터 그래픽스 데이터를 소스 비디오로서 생성하는 컴퓨터 그래픽스 시스템 중 하나 이상을 포함할 수도 있다. 일 예로서, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 소위 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 그러나, 본 개시물에서 설명하는 기법들은 무선 애플리케이션들 또는 설정들에 한정되지 않으며, 비디오 인코딩 및/또는 디코딩 능력들을 포함하는 비-무선 디바이스들에 적용될 수도 있다. 따라서, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 단지 본원에서 설명되는 기법들을 지원할 수 있는 코딩 디바이스들의 예들이다.
비디오 인코더 (20) 는 캡쳐된, 사전-캡쳐된, 또는 컴퓨터-생성된 비디오를 인코딩할 수도 있다. 일단 인코딩되면, 비디오 인코더 (20) 는 이 인코딩된 비디오를 모뎀 (22) 으로 출력할 수도 있다. 모뎀 (22) 은 그 후 그 인코딩된 비디오를 무선 통신 프로토콜과 같은 통신 표준에 따라 변조할 수도 있으며, 이에 따라서, 송신기 (24) 가 그 변조된 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 송신할 수도 있다. 모뎀 (22) 은 여러 믹서들, 필터들, 증폭기들 또는 신호 변조용으로 설계된 다른 구성요소들을 포함할 수도 있다. 송신기 (24) 는 증폭기들, 필터들, 및 하나 이상의 안테나들을 포함한, 데이터를 송신하도록 설계된 회로들을 포함할 수도 있다.
비디오 인코더 (20) 에 의해 인코딩되는 캡쳐된, 사전-캡쳐된, 또는 컴퓨터-생성된 비디오는 또한 추후 취출, 디코딩 및 소비를 위해 저장 매체 (34) 또는 파일 서버 (36) 상에 저장될 수도 있다. 저장 매체 (34) 는 블루-레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 또는 인코딩된 비디오를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들을 포함할 수도 있다. 목적지 디바이스 (14) 는 저장 매체 (34) 또는 파일 서버 (36) 상에 저장되는 인코딩된 비디오에 액세스하고, 이 인코딩된 비디오를 디코딩하여 디코딩된 비디오를 생성하며, 이 디코딩된 비디오를 플레이백할 수도 있다.
파일 서버 (36) 는 인코딩된 비디오를 저장하고 그 인코딩된 비디오를 목적지 디바이스 (14) 로 송신할 수 있는 임의의 유형의 서버일 수도 있다. 예시적인 파일 서버들은 (예컨대, 웹사이트용) 웹 서버, FTP 서버, 네트워크 부착된 스토리지 (network attached storage; NAS) 디바이스들, 로컬 디스크 드라이브, 또는 인코딩된 비디오 데이터를 저장하고 이를 목적지 디바이스로 송신할 수 있는 임의의 다른 유형의 디바이스를 포함한다. 파일 서버 (36) 로부터의 인코딩된 비디오 데이터의 송신은 스트리밍 송신, 다운로드 송신, 또는 이 양자의 조합일 수도 있다. 목적지 디바이스 (14) 는 파일 서버 (36) 에 인터넷 접속을 포함한, 임의의 표준 데이터 접속에 따라서 액세스할 수도 있다. 이 접속은 무선 채널 (예컨대, Wi-Fi 접속 또는 무선 셀룰러 데이터 접속), 유선 접속 (예컨대, DSL, 케이블 모뎀 등), 유선 채널과 무선 채널 양자의 조합, 또는 파일 서버 상에 저장되는 인코딩된 비디오 데이터에 액세스하는데 적합한 임의의 다른 유형의 통신 채널을 포함할 수도 있다.
목적지 디바이스 (14) 는, 도 1 의 예에서, 수신기 (26), 모뎀 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함한다. 목적지 디바이스 (14) 의 수신기 (26) 는 채널 (16) 을 통해서 정보를 수신하고, 모뎀 (28) 은 그 정보를 복조하여, 비디오 디코더 (30) 를 위한 복조된 비트스트림을 생성한다. 채널 (16) 을 통해서 통신된 정보는 그 연관된 인코딩된 비디오 데이터를 디코딩할 때에 비디오 디코더 (30) 에 의한 이용을 위해 비디오 인코더 (20) 에 의해 생성된 다양한 구문 정보를 포함할 수도 있다. 이러한 구문에는 또한 저장 매체 (34) 또는 파일 서버 (36) 상에 저장되는 인코딩된 비디오 데이터가 포함될 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 비디오 데이터를 인코딩 또는 디코딩할 수 있는 각각의 인코더-디코더 (코덱) 의 부분을 형성할 수도 있다.
목적지 디바이스 (14) 의 디스플레이 디바이스 (32) 는 뷰어 (viewer) 에 의한 소비를 위한 비디오 데이터를 제시할 수 있는 임의의 유형의 디스플레이를 나타낸다. 목적지 디바이스 (14) 와 통합된 것으로 도시되지만, 디스플레이 디바이스 (32) 는 목적지 디바이스 (14) 와 통합되거나 또는 그 외부에 있을 수도 있다. 일부 예들에서, 목적지 디바이스 (14) 는 통합된 디스플레이 디바이스를 포함하며, 또한 외부 디스플레이 디바이스와 인터페이스하도록 구성될 수도 있다. 다른 예들에서, 목적지 디바이스 (14) 는 디스플레이 디바이스일 수도 있다. 일반적으로, 디스플레이 디바이스 (32) 는 그 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 또다른 유형의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 디바이스를 포함할 수도 있다.
본 개시물은 일반적으로 구문 정보를 비디오 디코더 (30) 와 같은 또다른 디바이스로 "시그널링하는" 비디오 인코더 (20) 를 참조할 수도 있다. 그러나, 비디오 인코더 (20) 는 구문 엘리먼트들을 비디오 데이터의 여러 인코딩된 부분들과 연관시킴으로써 정보를 시그널링할 수도 있는 것으로 이해되어야 한다. 즉, 비디오 인코더 (20) 는 소정의 구문 엘리먼트들을 비디오 데이터의 여러 인코딩된 부분들의 헤더들에 저장함으로써 데이터를 "시그널링" 할 수도 있다. 일부의 경우, 이러한 구문 엘리먼트들은 비디오 디코더 (30) 에 의해 수신되어 디코딩되기 전에, 인코딩되어 저장될 수도 있다 (예컨대, 저장 매체 (34) 또는 파일 서버 (36) 에 저장될 수도 있다). 따라서, 용어 "시그널링" 은, 인코딩 시에 구문 엘리먼트들을 매체에 저장할 때 일어날 수도 있는 바와 같이, 통신이 실시간 또는 거의 실시간으로 일어나든 어떤 기간에 걸쳐 일어나든 간에, 압축된 비디오 데이터를 디코딩하는데 이용되는 구문 또는 다른 데이터의 통신을 일반적으로 지칭할 수도 있으며, 그 구문 엘리먼트들은 후에 이 매체에 저장되는 후의 임의의 시간에 디코딩 디바이스에 의해 취출될 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 현재 개발중인 HEVC (High Efficiency Video Coding) 표준과 같은 비디오 압축 표준에 따라 동작할 수도 있으며, HEVC 테스트 모델 (HM) 에 따를 수도 있다. 대안으로, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 MPEG-4, 파트 10, AVC (Advanced Video Coding) 로서 대안적으로 지칭되는 ITU-T H.264 표준, 또는 이러한 표준들의 확장판들과 같은 다른 사유 (proprietary) 또는 산업 표준들에 따라 동작할 수도 있다. 그러나, 본 개시물의 기법들은 임의의 특정 코딩 표준에 한정되지 않는다. 다른 예들은 MPEG-2 및 ITU-T H.263 을 포함한다.
HM 은 비디오 데이터의 블록을 코딩 유닛 (CU) 으로 지칭한다. 일반적으로, CU 는 CU 가 H.264 의 매크로블록들과 연관된 사이즈 차이 (size distinction) 를 갖지 않는다는 것을 제외하면, H.264 에 따라 코딩된 매크로블록과 유사한 목적을 갖는다. 따라서, CU 는 서브-CU들로 분할될 수도 있다. 일반적으로, CU 에 대한 본 개시물에서의 언급들은 화상의 최대 코딩 유닛 (largest coding unit; LCU) 또는 LCU 의 서브-CU 를 지칭할 수도 있다. 예를 들어, 비트스트림 내의 구문 데이터는 LCU 를 정의할 수도 있으며, 이 LCU 는 픽셀들의 개수의 관점에서 가장 큰 코딩 유닛이다. LCU 는 서브-CU들로 분할될 수도 있으며, 각각의 서브-CU 는 서브-CU들로 분할될 수도 있다. 비트스트림에 대한 구문 데이터는 LCU 가 분할될 수도 있는 최대 횟수를 정의할 수도 있으며, 이는 최대 CU 깊이로 지칭된다. 따라서, 비트스트림은 또한 최소 코딩 유닛 (smallest coding unit; SCU) 을 정의할 수도 있다.
LCU 는 계층적 쿼드트리 데이터 구조와 연관될 수도 있다. 일반적으로, 쿼드트리 데이터 구조는 CU 당 하나의 노드를 포함하며, 여기서, 루트 노드는 LCU 에 대응한다. CU 가 4개의 서브-CU들로 분할되면, CU 에 대응하는 노드는 서브-CU들에 대응하는 4개의 노드들 각각에 대한 참조를 포함한다. 쿼드트리 데이터 구조의 각각의 노드는 대응하는 CU에 대해 구문 데이터를 제공할 수도 있다. 예를 들어, 쿼드트리에서 노드는 그 노드에 대응하는 CU 가 서브-CU들로 분할되는지 여부를 나타내는 분할 플래그 (split flag) 를 포함할 수도 있다. CU 에 대한 구문 엘리먼트들은 회귀적으로 정의될 수도 있으며, CU 가 서브-CU들로 분할되는지 여부에 의존할 수도 있다.
분할되지 않은 CU 는 하나 이상의 예측 유닛 (PU) 들을 포함할 수도 있다. 일반적으로, PU 는 대응하는 CU 의 모두 또는 부분을 나타내며, PU 에 대한 참조 샘플을 취출하기 위한 데이터를 포함한다. 예를 들어, PU 가 인트라-모드 인코딩될 때, PU 는 PU 에 대한 인트라-예측 모드를 기술하는 데이터를 포함할 수도 있다. 또 다른 예로서, PU 가 인터-모드 인코딩될 때, PU 는 PU 에 대한 하나 이상의 모션 벡터들을 정의하는 데이터를 포함할 수도 있다. 모션 벡터는 일반적으로 하나 이상의 참조 프레임들에서 동일 위치에 배치된 CU 를 식별하며, 용어 "참조 프레임" 은 시간적으로 PU 가 위치되는 프레임 전후에 발생하는 프레임을 지칭한다. PU(들)를 정의하는 CU 에 대한 데이터는 또한 예를 들어, 하나 이상의 PU들로의 CU 의 파티셔닝을 기술할 수도 있다. 모드들을 파티셔닝하는 것은 CU 가 코딩되지 않거나, 인트라-예측 모드 인코딩되거나, 또는 인터-예측 모드 인코딩되는지 여부에 따라 상이할 수도 있다.
모션 벡터를 정의하는 데이터는 예를 들어, 모션 벡터의 수평 성분, 모션 벡터의 수직 성분, 모션 벡터에 대한 해상도 (예컨대, 1/4 픽셀 정밀도 또는 1/8 픽셀 정밀도), 모션 벡터가 가리키는 참조 프레임, 식별된 참조 프레임이 현재의 프레임 전후에 있는지 여부를 식별하는 예측 방향, 및/또는 모션 벡터에 대한 참조 리스트 (예컨대, 리스트 0 또는 리스트 1) 를 기술할 수도 있다. 대안으로, 모션 벡터를 정의하는 데이터는 모션 벡터 예측자 (MVP) 로서 지칭되는 것의 관점에서 모션 벡터를 기술할 수도 있다. 모션 벡터 예측자는 이웃하는 PU 또는 시간적으로 동일 위치에 배치된 PU 의 모션 벡터를 포함할 수도 있다. 통상, 5개의 MVP들의 리스트는 (가장 큰 크기를 갖는 것들로부터 시작해서 가장 작은 크기를 갖는 것들로, 즉, 코딩될 현재의 PU 와 참조 PU 사이의 최대 또는 최소 변위로 MVP들을 리스팅하거나, 또는 로케이션, 즉 상부 블록들, 좌측 블록들, 모서리 (corner) 블록들, 시간 (temporal) 블록들에 기초하여 MVP들을 리스팅하는 것과 같이) 정의된 방식으로 형성되며, 여기서, 5개의 MVP들 중 4개는 4개의 이웃하는 PU들로부터 선택된 공간 MVP들이고, 제 5 MVP 는 참조 프레임에서 시간적으로 동일 위치에 배치된 PU 로부터 선택된 시간적으로 동일 위치에 배치된 MVP 이다.
통상 시간 후보 모션 벡터는 현재의 프레임 내의 현재의 부분의 것과 동일한 참조 프레임의 부분에서 동일 위치에 배치되지만, 이 기법들은 동일 위치에 배치된 시간 후보 모션 벡터들에 엄격히 한정되어서는 안된다. 대신, 이 기법들은 동일 위치에 배치되든 아니든 간에, 임의의 시간 후보 모션 벡터에 대해 구현될 수도 있다. 일부의 경우, 비디오 인코더는 현재의 프레임의 현재의 블록 또는 부분과 동일 위치에 배치되지 않은 시간 후보 모션 벡터를 식별하고 이 시간 후보 모션 벡터를 시간 MVP 로서 선택할 수도 있다. 일반적으로, 비디오 인코더는 동일 위치에 배치되지 않은 시간 MVP 가 이용된다는 것을 시그널링할 수도 있거나, 또는, 일부 경우, 주어진 컨텍스트는 동일 위치에 배치되지 않은 시간 MVP 가 이용된다는 것을 나타낼 수도 있다 (이 경우, 비디오 인코더는 동일 위치에 배치되지 않은 시간 MVP 가 선택되었는지 선택되지 않았는지 여부를 시그널링하지 않을 수도 있다).
5개의 MVP들의 리스트를 형성한 후, 비디오 인코더 (20) 는 MVP들의 각각을 평가하여, 어느 MVP 가 비디오를 인코딩하기 위해 선택된 주어진 레이트 및 왜곡 프로파일에 최상으로 매칭하는 최상의 레이트 및 왜곡 특성들을 제공하는지를 결정할 수도 있다. 비디오 인코더 (20) 는 5개의 MVP들의 각각에 대해 레이트-왜곡 최적화 (rate-distortion optimization; RDO) 프로시저를 수행하여, 최상의 RDO 결과들을 갖는 MVP들 중 하나를 선택할 수도 있다. 대안으로, 비디오 인코더 (20) 는 현재의 PU 에 대해 결정된 모션 벡터에 최상으로 근사하는, 리스트에 저장된 5개의 MVP들 중 하나를 선택할 수도 있다.
어쨌든, 비디오 인코더 (20) 는 5개의 MVP들의 리스트에서 MVP들 중 선택된 하나를 식별하는 인덱스, 모션 벡터가 가리키는 하나 이상의 참조 프레임들 (종종, 리스트 형태) 및 그 예측이 단방향인지 또는 양방향인지를 식별하는 예측 방향을 포함하는 데이터를 이용하여 모션 벡터를 특정할 수도 있다. 대안으로, 모션 벡터를 정의하는 데이터는 참조 프레임 및 예측 방향을 특정하지 않고 5개의 MVP들의 리스트에서 그 선택된 MVP 의 인덱스를 오직 특정할 수도 있으며, 이는 MVP 중 선택된 하나가 현재의 PU 에 대해 완전히 이용될 것이라는 것을 비디오 디코더들로 시그널링한다.
하나 이상의 모션 벡터들을 정의하는 하나 이상의 PU들을 갖는 것에 더해서, CU 는 하나 이상의 변환 유닛 (TU) 들을 포함할 수도 있다. PU 를 이용한 예측 이후, 비디오 인코더는 PU 에 대응하는 CU 의 부분에 대한 잔여 값을 계산할 수도 있으며, 여기서 이 잔여 값은 잔여 데이터로도 지칭될 수도 있다. 잔여 값은 변환되고, 양자화되고, 스캐닝될 수도 있다. TU 는 PU 의 사이즈에 반드시 한정될 필요는 없다. 따라서, TU들은 동일한 CU 에 대한 대응하는 PU들보다 더 크거나 또는 더 작을 수도 있다. 일부 예들에서, TU 의 최대 사이즈는 대응하는 CU 의 사이즈일 수도 있다. 본 개시물은 또한 용어 "블록" 을 이용하여 CU, PU, 및/또는 TU 중 임의의 하나 또는 조합을 지칭한다.
일반적으로, 인코딩된 비디오 데이터는 예측 데이터 및 잔여 데이터를 포함할 수도 있다. 비디오 인코더 (20) 는 인트라-예측 모드 또는 인터-예측 모드 동안 예측 데이터를 생성할 수도 있다. 인트라-예측은 일반적으로 동일한 화상의 이웃하는 이전에 코딩된 블록들에서의 참조 샘플들에 대하여 화상의 블록에서의 픽셀 값들을 예측하는 것을 수반한다. 인터-예측은 일반적으로 이전에 코딩된 화상의 데이터에 대하여 화상의 블록에서의 픽셀 값들을 예측하는 것을 수반한다.
인트라- 또는 인터-예측에 이어서, 비디오 인코더 (20) 는 블록에 대한 잔여 픽셀 값들을 계산할 수도 있다. 잔여 값들은 일반적으로 블록에 대한 예측된 픽셀 값 데이터와 블록의 트루 픽셀 값 데이터 사이의 차이들에 대응한다. 예를 들어, 잔여 값들은 코딩된 픽셀들과 예측 픽셀들 사이의 차이들을 나타내는 픽셀 차이 값들을 포함할 수도 있다. 일부 예들에서, 코딩된 픽셀들은 코딩될 픽셀들의 블록과 연관될 수도 있으며, 예측 픽셀들은 코딩된 블록을 예측하는데 이용되는 픽셀들의 하나 이상의 블록들과 연관될 수도 있다.
블록의 잔여 값을 추가로 압축하기 위해, 잔여 값은 가능한 한 많은 데이터 ("에너지" 로도 지칭됨) 를 가능한 한 적은 계수들로 압축시키는 변환 계수들의 세트로 변환될 수도 있다. 변환 기법들은 이산 코사인 변환 (DCT) 프로세스 또는 개념적으로 유사한 프로세스, 정수 변환들, 웨이블릿 변환들, 또는 다른 유형들의 변환들을 포함할 수도 있다. 이 변환은 픽셀들의 잔여 값들을 공간 도메인으로부터 변환 도메인으로 컨버팅한다. 변환 계수들은 보통은 원래 블록과 동일한 사이즈인 계수들의 2차원 매트릭스에 대응한다. 즉, 꼭 원래 블록에서의 픽셀들 만큼이나 많은 변환 계수들이 존재한다. 그러나, 이 변환으로 인해, 많은 변환 계수들이 0 과 동일한 값들을 가질 수도 있다.
비디오 인코더 (20) 는 그 후 비디오 데이터를 추가로 압축하기 위해서 변환 계수들을 양자화할 수도 있다. 양자화는 일반적으로 상대적으로 큰 범위 내의 값들을 상대적으로 작은 범위의 값들에 맵핑하는 것을 수반하며, 따라서, 양자화된 변환 계수들을 나타내는데 필요한 데이터의 양을 감소시킨다. 좀더 구체적으로는, 양자화는 양자화 파라미터 (quantization parameter; QP) 에 따라 적용될 수도 있으며, 이 양자화 파라미터는 LCU 레벨에서 정의될 수도 있다. 따라서, 동일한 레벨의 양자화가 LCU 내의 CU들의 상이한 PU들과 연관된 TU들의 모든 변환 계수들에 적용될 수도 있다. 그러나, QP 자체를 시그널링하는 대신, QP 의 변화 (즉, 델타 (delta)) 가 LCU 와 함께 시그널링될 수도 있다. 델타 QP 는 이전에 통신된 LCU 의 QP 와 같은 일부 참조 QP 에 대한, LCU 에 대한 양자화 파라미터의 변화를 정의한다.
양자화 이후, 비디오 인코더 (20) 는 변환 계수들을 스캐닝하여, 양자화된 변환 계수들을 포함하는 2차원 매트릭스로부터 1차원 벡터를 생성할 수도 있다. 비디오 인코더 (20) 는 그 후 데이터를 더욱더 압축하기 위해서 통계적 무손실 인코딩 (부적절한 명칭 "엔트로피 인코딩" 으로 통칭됨) 을 수행하여 결과의 어레이를 인코딩할 수도 있다. 일반적으로, 엔트로피 코딩은 양자화되는 변환 계수들 및/또는 다른 구문 정보의 시퀀스를 일괄 압축하는 하나 이상의 프로세스들을 포함한다. 예를 들어, 델타 QP들, 예측 벡터들, 코딩 모드들, 필터들, 오프셋들, 또는 다른 정보와 같은, 구문 엘리먼트들은 또한 엔트로피 코딩된 비트스트림에 포함될 수도 있다. 스캐닝된 계수들은 그 후, 임의의 구문 정보와 함께, 예컨대, 콘텐츠 적응적 가변 길이 코딩 (content adaptive variable length coding; CAVLC), 컨텍스트 적응적 2진 산술 코딩 (context adaptive binary arithmetic coding; CABAC), 또는 임의의 다른 통계적 무손실 코딩 프로세스를 통해서 엔트로피 코딩된다.
위에서 언급한 바와 같이, PU들에 대한 모션 벡터들을 정의하는 데이터는 다수의 형태들을 취할 수도 있다. 비디오 인코더 (20) 는 모션 벡터 데이터를 압축하기 위해서 모션 벡터들이 표현될 수 있는 상이한 방식들을 구현할 수도 있다. 비디오 인코더 (20) 는 정의된 방식으로 구성된 MVP들의 리스트에 저장된 것으로 MVP 를 식별하는 인덱스로서 모션 벡터들을 표현하기 위해서, 병합 모드로서 지칭되는 것을 구현할 수도 있다. 비디오 디코더 (30) 는, 이 병합 모드의 역 (inverse) 을 구현할 때에, 이 인덱스를 수신하고, 정의된 방식에 따라 5개의 MVP들의 리스트를 재구성하고, 인덱스로 나타낸 리스트에서 5개의 MVP들 중 하나를 선택한다. 비디오 디코더 (30) 는 그 후 MVP들 중 선택된 하나의 동일한 해상도에서 MVP들 중 선택된 하나를 그 연관된 PU 에 대한 모션 벡터로서 인스턴스화하고, MVP들 중 선택된 하나가 가리키는 동일한 참조 프레임을 가리킨다. 병합 모드를 구현할 때에, 비디오 인코더 (20) 는 모션 벡터를 유도하는데 필요한 풀 범위 (full extent) 까지 모션 추정을 수행할 필요가 없고, 모션 벡터의 수평 및 수직 성분들, 모션 벡터 해상도, 모션 벡터 방향 (그 모션 벡터가 시간적으로 현재의 프레임 전후의 프레임을 가리킨다는 것을 의미함) 또는 참조 프레임 인덱스를 특정할 필요가 없어, 잠재적으로는 모션 벡터를 결정하는데 요구되는 프로세서 사이클들을 감소시키고 모션 벡터 데이터를 압축시킬 수도 있다.
비디오 인코더 (20) 는 또한 병합 모드와 유사하게, 정의된 방식으로 구성된 MVP들의 리스트에 저장된 것으로 MVP 를 식별하는 인덱스로서 모션 벡터들을 표현하는 것을 포함하는 적응적 모션 벡터 예측 (adaptive motion vector prediction; AMVP) 모드를 구현할 수도 있다. 그러나, 병합 모드와 반대로, 비디오 인코더 (20) 는 또한 예측 방향 및 참조 프레임을 특정하여, 효과적으로 MVP들 중 선택된 하나의 이들 부분들을 오버라이드할 수도 있다. AMVP 모드를 구현할 때에, 비디오 인코더 (20) 는 모션 벡터를 유도하는데 필요한 풀 범위까지 모션 추정을 수행할 필요가 없고, 모션 벡터의 수평 및 수직 성분들, 및 모션 벡터 해상도를 특정할 필요가 없어, 잠재적으로는 모션 벡터를 결정하는데 요구되는 프로세서 사이클들을 감소시키고 모션 벡터 데이터를 압축시킬 수도 있다.
여러 코딩 표준들이 발달함에 따라, 모션 벡터들의 더욱더 효율적인 표현들이 발달하였다. 예를 들어, 차기 HEVC 표준들에 대한 제안들은 MVP 인덱스가 "잘라내기 (pruning)" 또는 "MVP 잘라내기" 로 지칭된 프로세스를 통하여 압축될 수도 있는 방식들을 제안하고 있다. 이 잘라내는 프로세스를 수행할 때에, 비디오 인코더 (20) 는 5개의 MVP들의 리스트를 정의된 방식으로 구성하고 그 후 임의의 여분의 MVP들을 잘라내거나 또는 제거한다. 즉, 비디오 인코더 (20) 는 X 및 Y 성분들 양자 상에서 동일한 크기를 갖는 임의의 MVP들을 제거하고 동일한 참조 프레임을 참조할 수도 있으며, 본 개시물에서 이들 MVP들은 "여분의 (redundant) MVP들" 로 간주된다. 대안으로, 비디오 인코더 (20) 는 오직 MVP들을 "고유한 (unique)" 리스트에만 부가할 수도 있는데, 이는 이들 MVP들이 그 리스트에 이미 포함되어 있는 모든 다른 MVP 와는 상이한 X 및 Y 방향의 크기들을 가지며 및/또는 상이한 참조 프레임을 참조한다는 것을 의미한다. 리스트에 부가된 후 잘라내든 또는 리스트를 생성할 때 잘라내든 간에, 잘라내는 프로세스는, 더 짧은 리스트가 일반적으로 가장 큰 인덱스 값을 표현하는데 더 작은 개수의 비트들을 필요로 하기 때문에, 더 적은 비트들이 시그널링하거나 아니면 MVP들 중 선택된 하나를 특정하는데 이용될 수도 있다는 결과로, 리스트의 사이즈를 감소시킬 수도 있다.
예를 들어, 예시의 목적을 위해, 5개의 MVP들 중 어느 것도 잘라내지 않는다는 것을 가정한다. 이 경우, 비디오 인코더는 특정 MVP 가 선택되는 것을 표시하기 위해, 많아야 4 비트들을 포함하는 절단된 단항의 코드 (truncated unary code) 를 이용하여, 인덱스를 이 5개의 MVP들의 리스트로 시그널링할 수도 있다. 이 제안들에서, 5개의 MVP들의 리스트에서 제 5 MVP 의 선택을 시그널링하는데 이용되는 절단된 단항의 코드는 1111 이고, 5개의 MVP들의 리스트에서 제 4 MVP 는 1110 이고, 5개의 MVP들의 리스트에서 제 3 MVP 는 110 이고, 5개의 MVP들의 리스트에서 제 2 MVP 는 10 이며, 5개의 MVP들의 리스트에서 제 1 MVP 는 0 이다. 그러나, MVP들의 리스트가 3개의 MVP들로 잘라내질 수 있으면 (MVP들 중 2개가 여분임을 의미함), 비디오 인코더 (20) 는 많아야 2 비트들을 소비하는 절단된 단항의 코드를 이용하여 (예컨대, 여기서, 제 3 MVP 는 11 의 코드를 이용하여 시그널링될 수도 있다), 잘라내기가 채용되지 않거나 또는 가능하지 않고 (이를 테면, 여분의 MVP들이 없을 때) 5개의 MVP들의 리스트에서 제 5 또는 제 4 MVP 가 선택되는 경우에 비해, 잠재적으로 하나의 비트를 절감할 수도 있다. 따라서, 어느 정도까지, 코드는 MVP들의 리스트의 사이즈에 의존하며, 여기서, MVP들의 더 작은 리스트 (더 적은 MVP들을 갖는 리스트를 의미함) 는 더 작은 코드를 초래한다 (이는, 그 코드가 MVP들의 잘라낸 리스트로부터 선택된 MVP 를 표현하는데 더 적은 비트들을 필요로 함을 의미한다).
잘라내기 (pruning) 는 MVP들의 리스트에서 선택된 MVP의 인덱스를 시그널링하는데 이용되는 코드 길이들을 감소시킴으로써 코딩 효율을 향상시킬 수도 있지만, 이 잘라내기는 또한 비디오 디코더 (30) 가 성공적으로 비트스트림을 파싱하는 능력에 영향을 미칠 수도 있다. 코드가 잘라낸 MVP들의 리스트의 사이즈에 의존하기 때문에, 비디오 디코더 (30) 는 잘라낸 MVP들의 리스트에 있는 MVP들의 개수를 알 필요가 있다. 그러나, 참조 프레임으로부터, 시간적으로 동일 위치에 배치된 MVP 가 손실될 때, 이 시간적으로 동일 위치에 배치된 MVP 는 이용불가능하며 비디오 디코더 (30) 는 이 MVP 가 고유한지 또는 여분인지 여부를 결정할 수 없다. 그 결과, 비디오 디코더 (30) 는 잘라낸 MVP들의 리스트가 이 시간적으로 동일 위치에 배치된 MVP 에 포함되는지 여부를 결정할 수 없으며, 따라서, 잘라낸 MVP들의 리스트의 사이즈를 결정할 수 없다. 잘라낸 MVP 의 리스트의 사이즈를 결정할 수 없으면, 비디오 디코더 (30) 는 그 후 코드에 대한 최대 길이를 결정할 수 없고, 결국, 비디오 디코더 (30) 가 비트스트림으로부터 코드를 파싱하는 것을 방해한다.
본 개시물에서 설명하는 기법들에 따르면, 비디오 인코더 (20) 는 잘라내는 프로세스 동안 시간적으로 동일 위치에 배치된 MVP 를 포함하지 않고 여분의 공간 MVP들을 잘라냄으로써, MVP들을 잠재적으로 강건하지만 효율적인 방식으로 특정할 수도 있다. 즉, 비디오 인코더 (20) 는, 본 개시물에서 설명하는 기법들을 구현을 구현하여, 오직 공간 MVP들만을 포함하는 MVP들의 중간 리스트 (intermediate list) 를 형성하고 이 MVP들의 중간 리스트에 대해서 잘라내기를 수행하고 그 후 시간적으로 동일 위치에 배치된 MVP 를 잘라낸 MVP들의 중간 리스트와 결합하여 잘라낸 MVP들의 리스트를 형성할 수도 있다. 이 방식으로, 시간적으로 동일 위치에 배치된 MVP 를 특정하는 참조 프레임의 손실은, 종래의 시스템들에서 일반적인 것처럼, 비트스트림의 파싱을 방해하지 않을 수도 있으며, 동시에, 잘라내는 프로세스를 채용함으로써 가능하게 되는 코딩 효율 이득들의 적어도 일부를 여전히 유지할 수도 있다.
예시하기 위하여, 비디오 인코더 (20) 는 현재의 비디오 프레임의 현재의 부분, 예컨대 CU 와 연관된 공간 후보 모션 벡터들을 먼저 결정한다. 또, 공간 후보 모션 벡터들은 대응하는 CU 와 연관된 현재의 PU 에 인접한 이웃하는 PU들에 대해 결정된 이웃하는 모션 벡터들을 포함한다. 통상, 이들 이웃하는 PU 는 도 6 의 예에 대해 좀더 자세히 나타낸 바와 같이, 현재의 PU 의 좌측에, 상부 좌측에, 바로 상부 및 상부 우측에 인접하게 위치된다. 비디오 인코더 (20) 는 이들 공간 후보 모션 벡터들이 이미 이들 블록들에 대해 결정되어 있기 때문에, 이들 공간 후보 모션 벡터들을 이용한다. 현재의 PU 의 바로 우측 또는 하부에 위치된 임의의 블록들에 대해, 비디오 인코더 (20) 가 일반적으로 모션 추정/보상을 상하, 좌우로 수행한다는 것을 고려하여, 비디오 인코더 (20) 는 이제부터 이들 블록들에 대한 모션 벡터를 계산해야 한다. 그러나, 이들 공간 모션 벡터들에 대해 설명하지만, 이 기법들은 모션 추정/보상을 상이한 순서로 (예컨대, 상하, 우좌로 (right-to-left)) 수행하는 비디오 인코더들 (20) 에서 구현될 수도 있다. 게다가, 이 기법들은 더 많거나 또는 더 적은 공간 또는 시간 모션 벡터들에 대해서 구현될 수도 있다.
이들 공간 모션 벡터들을 결정한 후, 비디오 인코더 (20) 는 그 후 공간 후보 모션 벡터들을 잘라내어, 공간 후보 모션 벡터들 중 중복된 공간 후보 모션 벡터들을 제거한다. 비디오 인코더 (20) 는 중복된 공간 후보 모션 벡터들을, 후보 모션 벡터들의 x-축 및 y-축 성분들 양자에 대해 동일한 크기를 갖고 동일한 참조 프레임으로부터 비롯되는 후보 공간 모션 벡터들 중 임의의 벡터로서 식별할 수도 있다. 비디오 인코더 (20) 는 공간 후보 모션 벡터들의 중간 리스트로 지칭될 수도 있는 것들로부터 중복된 것들을 제거하거나, 또는 이 리스트에 부가되는 후보 공간 모션 벡터가 중복된 것이 아니라는 것을 결정하자 마자 오직 후보 공간 모션 벡터를 이 중간 리스트에 부가함으로써 잘라내기를 수행한다.
이 방식으로 공간 후보 모션 벡터들을 잘라낸 후, 비디오 인코더 (20) 는 그 후 현재의 비디오 프레임의 현재의 PU에 대한 시간 후보 모션 벡터를 결정할 수도 있다. 또, 시간 후보 모션 벡터는 현재의 비디오 프레임에서 현재의 PU 와 동일한 로케이션에 동일 위치에 배치된 참조 비디오 프레임의 PU 에 대해 결정된 모션 벡터를 포함한다. 비디오 인코더 (20) 는 그 후 시간 후보 모션 벡터 또는 잘라내는 프로세스를 수행한 후 남은 공간 후보 모션 벡터들 중 하나를 선택된 후보 모션 벡터로서 선택할 수도 있다. 비디오 인코더 (20) 는 그 후 그 선택된 후보 모션 벡터를 비트스트림으로 시그널링한다.
일부의 경우, 비디오 인코더 (20) 는 그 결정된 공간 후보 모션 벡터들 각각이 공간적으로 예측되는지 또는 시간적으로 예측되는지 여부를 결정할 수도 있다. 즉, 결정된 공간 후보 모션 벡터들 자체는 참조 프레임에서 동일 위치에 배치된 블록으로부터 시간적으로 예측되거나 또는 공간 후보 모션 벡터들의 각각이 결정되는 블록에 인접한 블록으로부터 공간적으로 예측될 수도 있다. 비디오 인코더 (20) 는 이 결정에 응답하여, 그 잘라내는 프로세스로부터 그 결정된 공간 후보 모션 벡터들 중 하나 이상을 추가로 제거할 수도 있다. 비디오 인코더 (20) 는 예를 들어, 이들 시간적으로 예측된 공간 후보 모션 벡터들이 예측되는 참조 프레임의 부분이 손실되어 이들 시간적으로 예측된 공간 후보 모션 벡터들이 디코더에 이용불가능할 수도 있기 때문에, 공간 후보 모션 벡터들 자신들 중, 잘라내는 프로세스로부터 시간적으로 예측될 것으로 결정되는 공간 후보 모션 벡터들을 제거할 수도 있다. 비디오 인코더 (20) 는 그 후 시간 후보 모션 벡터들, 시간적으로 예측된 공간 후보 모션 벡터들 중 하나, 또는 잘라낸 후 남은 공간적으로 예측된 공간 후보 모션 벡터들 중 하나를 선택하고, 이 선택된 후보 모션 벡터를 비트스트림으로 시그널링할 수도 있다.
대안으로, 비디오 인코더 (20) 는 잘라내는 프로세스로부터 시간적으로 예측된 공간 후보 모션 벡터들을 제거하는 대신, 이들 시간적으로 예측된 공간 후보 모션 벡터들을, 디폴트 모션 정보를 정의하는 디폴트 후보 모션 벡터들로 대체할 수도 있다. 이 디폴트 모션 벡터 정보는 예를 들어, 모션 벡터 크기 (motion vector amplitude), 참조 프레임이 현재의 프레임을 시간적으로 선행하는지 또는 후행하는지를 식별하는 예측 방향, 및 참조 프레임을 식별하는 참조 인덱스를 포함할 수도 있다. 비디오 인코더 (20) 는 몇 개 예를 들면, 그들 이용가능한 공간적으로 예측된 공간 후보 모션 벡터들을 평균하거나, 제 1 이용가능한 공간적으로 예측된 공간 후보 모션 벡터를 선정하거나, 또는 비디오 인코더 (20) 및 비디오 디코더 (30) 양자 내에서 정적으로 구성되는 디폴트 모션 벡터 정보를 이용함으로써, 이 디폴트 모션 벡터 정보를 결정할 수도 있다.
잘라내는 프로세스로부터, 공간 후보 모션 벡터들 중에서 (예컨대, 압축된 비디오 데이터의 송신 시의 에러들 또는 비디오 인코더 (20) 또는 비디오 디코더 (30) 에서의 저장 에러들로 인해) 손실되거나 비디오 디코더 (30) 에 이용불가능할 수도 있는 공간 후보 모션 벡터들을 제거함으로써, 비디오 인코더 (20) 는 이들 시간적으로 예측된 공간 후보 모션 벡터들이 손실되거나 또는 이용불가능하게 된 경우에 비디오 디코더 (30) 가 비트스트림을 적절히 파싱할 수 있도록 하는 방식으로 그 선택된 후보 모션 벡터를 시그널링할 수도 있다. 이와 유사하게, 대안으로, 시간적으로 예측된 공간 후보 모션 벡터들을 디폴트 후보 모션 벡터로 대체함으로써, 비디오 인코더 (20) 는 이들 시간적으로 예측된 공간 후보 모션 벡터들이 손실되거나 또는 이용불가능하게 된 경우에 비디오 디코더 (30) 가 비트스트림을 적절히 파싱할 수 있도록 하는 방식으로 그 선택된 후보 모션 벡터를 시그널링할 수도 있다.
통상, 비디오 인코더 (20) 는 그 선택된 후보 모션 벡터의 인덱스를 나타내는 단항의 코드를 이용하여 리스트에 배열된 대로 그 선택된 후보 모션 벡터를 시그널링한다. 비디오 인코더 (20) 는 시간 후보 모션 벡터 및 잘라내는 프로세스를 수행한 후 남은 공간 후보 모션 벡터들을 설정된 또는 정의된 방식으로 배열하여 (예컨대, 먼저, 시간 모션 벡터를 최고 크기로부터 최저 크기로, 최저 크기로부터 최고 크기로 배열한 후, 최고 크기로부터 최저 크기로 또는 최저 크기로부터 최고 크기로 순서정렬된 남은 공간 모션 벡터들을 배열하며, 등등), 후보 모션 벡터들의 리스트를 형성할 수도 있다. 대안으로, 비디오 인코더 (20) 는 모션 벡터들이 어떻게 리스트에 배열되는지를 나타내는 일부 식별자를 시그널링할 수도 있다. 여하튼, 비디오 인코더 (20) 는 그 후 이 리스트에 저장된 후보 모션 벡터들 중 하나를 식별하여, 위에서 설명한 방식으로 단항의 코드를 이용하여 이 리스트에 저장한 대로 후보 모션 벡터들 중 선택된 하나의 인덱스를 인코딩한다.
비디오 디코더 (30) 는 이 비트스트림을 수신하고, 인덱스를 디코딩하고, 이용가능한 경우, 공간 후보 모션 벡터들의 중간 리스트를 형성한다. 위에서 언급한 바와 같이, 비디오 인코더 (20) 가 이웃하는 블록에 대한 모션 벡터를 인코딩하는데 모션 벡터 예측을 채용하고 시간 모션 벡터를 선택한 경우에는, 이 시간 모션 벡터를 정의하는 참조 프레임이 (예컨대, 메모리 변형, 버스 에러 또는 송신 에러로 인해) 손실되는 경우, 공간 후보 모션 벡터들 중 하나 이상이 이용가능하지 않을 수도 있다. 대안으로, 비디오 인코더 (20) 가 이 이웃하는 PU 에 대한 모션 벡터를 인코딩하는데 모션 벡터 예측을 채용하고 시간 모션 벡터로부터 예측된 모션 벡터 자신이었던 공간 모션 벡터들 중 하나를 선택할 때, 이 시간 모션 벡터를 정의하는 참조 프레임이 (예컨대, 메모리 변형, 버스 에러 또는 송신 에러로 인해) 손실된 경우, 공간 후보 모션 벡터들 중 하나 이상이 이용가능하지 않을 수도 있다. 비디오 디코더 (30) 는 잘라내는 프로세스로부터 이용불가능한 시간적으로 예측된 후보 모션 벡터들을 제거하거나, 또는 대안으로는, 이들 이용불가능한 시간적으로 예측된 공간 후보 모션 벡터들을 디폴트 후보 모션 벡터로 대체함으로써 이 이슈를 극복할 수도 있다. 이렇게, 비디오 디코더 (30) 는 비트스트림으로부터 그 시그널링된 선택된 후보 모션 벡터를 적절히 파싱하도록, 비디오 인코더 (20) 에 대해 위에서 설명한 기법들을 실질적으로 유사한 방식으로 구현한다.
어쨌든, 하나 이상의 후보 모션 벡터들이 손실된다고 가정하더라도, 이 기법들은 MVP들이 비트스트림의 파싱을 용이하게 하는 방식으로 시그널링되도록 할 수 있다. 잘라낸 후의 리스트에 시간 후보 모션 벡터가 항상 존재하도록 보장함으로써, 비디오 인코더 (20) 는 비디오 디코더 (30) 가 이용가능한 모션 벡터들의 개수를 결정하고 이에 따라서 비트스트림으로부터 인덱스를 파싱할 수 있다는 것을 보장한다. 이와 유사하게, 시간적으로 예측된 공간 후보 모션 벡터들이 항상 리스트에 있거나 또는 비디오 디코더 (30) 가 항상 재생할 수 있는 디폴트 후보 모션 벡터들로 대체되는 것을 보장함으로써, 비디오 인코더 (20) 는 비디오 디코더 (30) 가 이용가능한 모션 벡터들의 개수를 결정하고 이에 따라서 비트스트림으로부터 인덱스를 파싱할 수 있다는 것을 보장한다. 이러한 방식으로, 시간 후보 모션 벡터 및/또는 시간적으로 예측된 공간 후보 모션 벡터를 저장한 슬라이스가 손실되더라도, 비디오 디코더 (30) 는 단항의 코드들이 이용되는지 여부에 상관없이 비트스트림을 여전히 파싱할 수도 있다. 특히, 비디오 디코더 (30) 는 시간 후보 모션 벡터 및/또는 시간적으로 예측된 공간 후보 모션 벡터들이 MVP 리스트에 항상 포함되어 있고 MVP 리스트로부터 절대 잘라내어지지 않는다는 인식 (knowledge) 하에서, 비트스트림을 파싱할 수 있다. 대안으로, 시간적으로 예측된 공간 후보 모션 벡터들이 디폴트 후보 모션 벡터들로 대체되는 경우, 비디오 인코더 (20) 가 이 디폴트 후보 모션 벡터를 결정하기 위해 수행한 것과 동일한 기법들을 이용하여 이들 모션 벡터들을 항상 결정할 수 있게 하는 방식으로 비디오 디코더 (30) 가 구성되기 때문에, 비디오 인코더 (20) 는 이러한 시간적으로 예측된 공간 후보 모션 벡터들이 손실될 수 없다는 것을 효과적으로 보장한다.
시간 후보 모션 벡터가 손실되는 경우를 예시하기 위해, 공간 후보 모션 벡터들의 크기들 (amplitudes) 이 1, 1, 1, 및 1 이고, 시간 후보 모션 벡터의 크기가 -1 인 경우를 고려한다. 비디오 디코더 (30) 는 MVP 리스트가 1, 1, 1 및 1 이 되도록, MVP 리스트로 지칭될 수도 있는, 처음에 오직 공간 후보 모션 벡터들만을 갖는 리스트를 형성하기 위해 기법들을 구현할 수도 있다. 디코더는 그 후 이 MVP 리스트가 1 로서 정의되도록 이 공간-단독 MVP 리스트를 잘라낸다. 디코더는 그 후 MVP 리스트가 -1 및 1 로서 정의되도록 시간 후보 모션 벡터를 MVP 리스트에 부가한다. 인코더는 그 후 이들 모션 벡터들 중 하나가 선택되었다는 것을 나타내기 위해서 0 또는 1 의 mvp_idx (또는, 절단된 단항의 코드를 이용하지 않을 경우 0 및 10 의 mvp_idx) 를 시그널링할 수도 있다. 위에서 설명한 단항의 코드들에 대해서, 본 개시물의 기법들은 적어도 하나의 공간 후보 모션 벡터 및 시간 후보 공간 모션 벡터가 항상 존재할 것이기 때문에, 잘라낸 후에 오직 하나의 후보 모션 벡터만이 이용가능하였다고 추정해야 하는 가능성을 제거한다.
이 방식으로, 이 기법들은 잘라내는 프로세스 동안 시간적으로 동일 위치에 배치된 MVP 를 고려하지 않고 여분의 공간 MVP들을 잘라냄으로써, 비디오 인코더들이 MVP들을 잠재적으로 강건하지만 효율적인 방식으로 특정할 수 있게 한다. 즉, 이 기법들은 오직 공간 MVP들만을 포함하는 MVP들의 중간 리스트를 형성하고, 이 MVP들의 중간 리스트에 대해 잘라내기를 수행하고, 그 후 시간적으로 동일 위치에 배치된 MVP 를 잘라낸 MVP들의 중간 리스트에 부가하여, 잘라낸 MVP들의 리스트를 형성한다. 이 방식으로, 시간적으로 동일 위치에 배치된 MVP 를 특정하는 참조 프레임의 손실이 종래의 시스템들에서 일반적인 것처럼, 비트스트림의 파싱을 방해하지 않을 수도 있으며, 동시에, 잘라내는 프로세스를 채용함으로써 가능하게 되는 코딩 효율 이득들을 여전히 유지할 수도 있다.
일부의 경우, 이 기법들은 다른 상황들에서 적용될 수도 있다. 예를 들어, HEVC 테스트 모델의 제 4 버전 (HM 4.0) 은 MVP들을 잘라내고, 그 후 잘라낸 후 남은 MVP들의 총 개수가 5개 미만이면 추가적인 MVP들을 부가하는 것을 제안한다. 즉, HM 4.0 은 5개의 MVP들 (즉, 하나의 시간 및 4개의 공간) 를 잘라내어, 잘라낸 MVP들의 리스트를 생성할 것이다. 이 잘라낸 MVP들 리스트에서의 MVP들의 개수가 5개 미만이면, HM 4.0 은 잘라낸 리스트에서의 MVP들의 총 개수가 5와 동일할 때까지 비-여분의 MVP들을 부가한다. 이들 비-여분의 MVP들은 다른 공간 또는 시간 블록들로부터 선택될 수도 있거나 또는 잘라낸 MVP들의 리스트에서의 MVP들에 기초하여 생성될 수도 있다 (예컨대, 잘라낸 MVP들의 리스트에서 하나의 MVP 의 y 성분 및 잘라낸 MVP들의 리스트에서 또다른 상이한 MVP 로부터의 x 성분을 선택함). 이 상황에서, 비디오 인코더는 이들 추가적인 비-여분의 MVP들을 생성하는데 오직 공간 MVP들만이 선택되거나 및/또는 이용되도록 추가적인 비-여분의 MVP들을 선택하기 위해서 본 개시물에서 설명하는 기법들을 구현할 수도 있다.
이들 추가적인 비-여분의 MVP들을 생성하는데 공간 MVP들을 단지 선택하거나 또는 잘라낸 후 남은 기존 공간 MVP들을 이용함으로써, 비디오 인코더는 비디오 디코더가 MVP들 중 선택된 하나를 적절히 결정할 수 있는 것을 보장할 수도 있다. 즉, 5개의 MVP들을 항상 갖게 함으로써, 비디오 디코더가 비트스트림으로부터 MVP 인덱스를 항상 파싱할 수도 있는 것을 비디오 인코더가 보장하지만, 시간 MVP 가 손실되면, 비디오 디코더는 시간 MVP 가 손실될 때 MVP 가 서로에 대해 MVP들의 순서를 결정할 수 없기 때문에 MVP 리스트를 정확하게 구성할 수 없을 수도 있다. 본 개시물에서 설명하는 기법들은, 임의의 시간 MVP들, 또는 시간 MVP들 자신들로부터 추가적인 비-여분의 MVP들로서 예측되는 공간 MVP들을 선택하지 않음으로써, 시간 MVP들을 손실하는 것으로부터의 영향을 감소시키거나 또는 잠재적으로는 제거할 수도 있다.
본 개시물의 예들에 대해 설명한 모션 벡터 예측들을 특정하는 기법들은, 오버-디-에어 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 스트리밍 비디오 송신들과 같은 다양한 멀티미디어 애플리케이션들 중 임의의 애플리케이션의 지원 하에, 예컨대, 인터넷, 데이터 저장 매체 상에의 저장을 위한 디지털 비디오의 인코딩, 데이터 저장 매체 상에 저장된 디지털 비디오의 디코딩, 또는 다른 애플리케이션들을 통해서, 비디오 코딩에 적용될 수도 있다. 일부 예들에서, 시스템 (10) 은 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 및/또는 비디오 전화 통신과 같은 애플리케이션들을 위한 1-방향 또는 2-방향 비디오 송신을 지원하도록 구성될 수도 있다.
도 1 에 나타내지는 않지만, 일부 양태들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 오디오 인코더 및 디코더와 각각 통합될 수도 있으며, 오디오 및 비디오 양자의 인코딩을 공통 데이터 스트림 또는 별개의 데이터 스트림들로 처리하기에 적합한 MUX-DEMUX 유닛들, 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용가능한 경우, 일부 예들에서, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 다른 프로토콜들, 예컨대, 사용자 데이터그램 프로토콜 (UDP) 에 따를 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서 (DSP) 들, 주문형 집적회로 (ASIC) 들, 필드 프로그래밍가능 게이트 어레이 (FPGA) 들, 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 임의의 이들의 조합들과 같은 다양한 적합한 인코더 회로 중 임의의 회로로서 구현될 수도 있다. 이 기법들이 소프트웨어로 부분적으로 구현되는 경우, 디바이스는 본 개시물의 기법들을 수행하기 위해 소프트웨어용 명령들을 적합한 비일시적 컴퓨터 판독가능 매체에 저장하고, 그 명령들을 하드웨어에서 하나 이상의 프로세서들을 이용하여 실행할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있으며, 이들 중 어느 쪽이든 각각의 디바이스에서 결합된 인코더/디코더 (코덱) 의 부분으로서 통합될 수도 있다.
도 2 는 모션 벡터 예측자들을 특정하는 기법들을 구현할 수도 있는 비디오 인코더 (20) 의 일 예를 예시하는 블록도이다. 비디오 인코더 (20) 는 매크로블록들, 또는 매크로블록들의 파티션들 또는 서브-파티션들을 포함한, 비디오 프레임들 내의 블록들의 인트라-코딩 및 인터-코딩을 수행할 수도 있다. 인트라-코딩은 주어진 비디오 프레임 내의 비디오에서 공간 리던던시를 감소시키거나 제거하기 위해 공간 예측에 의존한다. 인터-코딩은 비디오 시퀀스의 인접 프레임들 내의 비디오에서 시간 리던던시를 감소시키거나 제거하기 위해 시간 예측에 의존한다. 인트라-모드 (I-모드) 는 여러 공간 기반의 압축 모드들 중 임의의 압축 모드를 지칭할 수도 있으며, 단-방향 예측 (P-모드) 또는 양방향 예측 (B-모드) 과 같은 인터-모드들은 여러 시간 기반의 압축 모드들 중 임의의 압축 모드를 지칭할 수도 있다. 인터-모드 인코딩을 위한 구성요소들이 도 2 에 도시되지만, 비디오 인코더 (20) 는 인트라-모드 인코딩을 위한 구성요소들을 더 포함할 수도 있는 것으로 이해되어야 한다. 그러나, 이러한 구성요소들은 간결성과 명확성을 위해 예시되지 않는다.
도 2 에 나타낸 바와 같이, 비디오 인코더 (20) 는 인코딩될 비디오 프레임 내에서 현재의 비디오 블록을 수신한다. 도 2 의 예에서, 비디오 인코더 (20) 는 모션 보상 유닛 (44), 모션 추정 유닛 (42), 메모리 (64), 합산기 (50), 변환 유닛 (52), 양자화 유닛 (54), 및 엔트로피 코딩 유닛 (56) 을 포함한다. 비디오 블록 재구성을 위해, 비디오 인코더 (20) 는 또한 역양자화 유닛 (58), 역변환 유닛 (60), 및 합산기 (62) 를 포함한다. 또한 블록 경계들을 필터링하여 재구성된 비디오로부터 블록킹 현상 아티팩트 (blockiness artifact) 들을 제거하기 위해서, 디블로킹 필터 (deblocking filter) (도 2 에 미도시) 가 포함될 수도 있다. 원할 경우, 디블로킹 필터는 통상 합산기 (62) 의 출력을 필터링할 것이다. 일반적으로 랜덤 액세스 메모리 (RAM), 동적 RAM (DRAM), 정적 RAM (SRAM), 플래시 메모리 또는 다른 지속성 또는 비-지속성 칩-기반 저장 매체로 지칭되는 메모리 (64) 를 포함하는 것으로 설명되지만, 하드-드라이브들, 광학 드라이브들, 디스크 드라이브들 등을 포함한, 임의의 유형의 비일시적 컴퓨터 판독가능 매체가 이용될 수도 있다.
인코딩 프로세스 동안, 비디오 인코더 (20) 는 코딩될 비디오 프레임 또는 슬라이스를 수신한다. 이 프레임 또는 슬라이스는 다수의 비디오 블록들로 분할될 수도 있다. 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 시간 압축을 제공하기 위해 하나 이상의 참조 프레임들에서의 하나 이상의 블록들에 대해 그 수신된 비디오 블록의 인터-예측 코딩을 수행한다. 인트라 예측 유닛 (46) 은 또한 코딩되는 블록과 동일한 프레임 또는 슬라이스에서의 하나 이상의 이웃하는 블록들에 대해 그 수신된 비디오 블록의 인트라-예측 코딩을 수행하여, 공간 압축을 제공할 수도 있다.
도 2 의 예에서 추가로 나타낸 바와 같이, 비디오 인코더 (20) 는 또한 모드 선택 유닛 (40) 을 포함한다. 모드 선택 유닛 (40) 은 에러 결과들에 기초하여 코딩 모드들, 즉 인트라 또는 인터 중 하나를 선택할 수도 있으며, 결과의 인트라- 또는 인터-코딩된 블록을 합산기 (50) 에 제공하여 잔여 블록 데이터를 생성하고, 그리고 합산기 (62) 에 제공하여 참조 프레임으로서 이용을 위해 그 인코딩된 블록을 재구성한다.
모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 고도로 통합될 수도 있지만, 개념적인 목적들을 위해 별개로 예시된다. 모션 추정은 비디오 블록들에 대한 모션을 추정하는 모션 벡터들을 생성하는 프로세스이다. 모션 벡터는, 예를 들어, 현재의 프레임 내 코딩중인 현재의 블록 (또는, 다른 코딩된 유닛) 에 대한 예측 참조 프레임 내 예측 블록 (또는, 다른 코딩된 유닛) 의 변위를 나타낼 수도 있다. 예측 블록은 픽셀 차이의 관점에서, 코딩될 블록과 가깝게 매칭하는 것으로 확인되는 블록이며, SAD (sum of absolute difference), SSD (sum of square difference), 또는 다른 차이 메트릭들에 의해 결정될 수도 있다. 모션 벡터는 또한 매크로블록의 파티션의 변위를 나타낼 수도 있다. 모션 보상은 예측 블록을 모션 추정에 의해 결정된 모션 벡터에 기초하여 페치하거나 또는 생성하는 것을 수반할 수도 있다. 또, 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 일부 예들에서, 기능적으로 통합될 수도 있다.
모션 추정 유닛 (42) 은 비디오 블록을 메모리 (64) 에서의 참조 프레임의 비디오 블록들과 비교함으로써, 인터-코딩된 프레임의 비디오 블록에 대한 모션 벡터를 계산한다. 모션 보상 유닛 (44) 은 또한 참조 프레임, 예컨대, I-프레임 또는 P-프레임의 서브-정수 픽셀들을 보간할 수도 있다. 차기 HEVC 표준 (및 ITU H.264 표준) 은 "리스트들" 로 통칭되는, 하나 이상의 리스트 데이터 구조들에 의해 참조 프레임들을 저장한다. 따라서, 메모리 (64) 에 저장된 데이터는 또한 리스트들로서 간주될 수도 있다. 모션 추정 유닛 (42) 은 메모리 (64) 로부터의 하나 이상의 참조 프레임들 (또는, 리스트들) 의 블록들을 현재의 프레임, 예컨대, P-프레임 또는 B-프레임의 인코딩되는 블록과 비교한다. 메모리 (64) 에서의 참조 프레임들이 서브-정수 픽셀들에 대한 값들을 포함하는 경우, 모션 추정 유닛 (42) 에 의해 계산된 모션 벡터는 참조 프레임의 서브-정수 픽셀 로케이션을 참조할 수도 있다. 모션 추정 유닛 (42) 은 그 계산된 모션 벡터를 엔트로피 코딩 유닛 (56) 및 모션 보상 유닛 (44) 으로 전송한다. 모션 벡터에 의해 식별되는 참조 프레임 블록 (CU 를 포함할 수도 있음) 은 예측 블록으로 지칭될 수도 있다. 모션 보상 유닛 (44) 은 참조 프레임의 예측 블록에 대한 에러 값들을 계산한다.
모션 보상 유닛 (44) 은 예측 블록에 기초하여 예측 데이터를 계산할 수도 있다. 비디오 인코더 (20) 는 코딩중인 원래 비디오 블록으로부터 모션 보상 유닛 (44) 으로부터의 예측 데이터를 감산함으로써 잔여 비디오 블록 (residual video block) 을 형성한다. 합산기 (50) 는 이 감산 동작을 수행하는 구성요소 또는 구성요소들을 나타낸다. 변환 유닛 (52) 은 이산 코사인 변환 (DCT) 또는 개념적으로 유사한 변환과 같은 변환을 잔여 블록에 적용하여, 잔여 변환 계수 값들을 포함하는 비디오 블록을 생성한다. 변환 유닛 (52) 은 DCT 와 개념적으로 유사한, H.264 표준에 정의된 변환들과 같은, 다른 변환들을 수행할 수도 있다. 웨이블릿 변환들, 정수 변환들, 서브밴드 변환들 또는 다른 유형들의 변환들이 또한 이용될 수 있다. 어쨌든, 변환 유닛 (52) 은 그 변환을 잔여 블록에 적용하여, 잔여 변환 계수 (residual transform coefficient) 들의 블록을 생성한다. 이 변환은 잔여 정보를 픽셀 값 도메인으로부터 변환 도메인, 예컨대 주파수 도메인으로 컨버팅할 수도 있다. 양자화 유닛 (54) 은 비트 레이트를 추가로 감소시키기 위해 잔여 변환 계수들을 양자화한다. 양자화 프로세스는 그 계수들의 일부 또는 모두와 연관되는 비트 깊이를 감소시킬 수도 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 변경될 수도 있다.
양자화 이후, 엔트로피 코딩 유닛 (56) 은 양자화된 변환 계수들을 엔트로피 코딩한다. 예를 들어, 엔트로피 코딩 유닛 (56) 은 콘텐츠 적응적 가변 길이 코딩 (CAVLC), 컨텍스트 적응적 2진 산술 코딩 (CABAC), 또는 또다른 엔트로피 코딩 기법을 수행할 수도 있다. 엔트로피 코딩 유닛 (56) 에 의한 엔트로피 코딩 이후, 인코딩된 비디오가 또다른 디바이스로 송신되거나 또는 추후 송신 또는 취출을 위해 아카이브될 수도 있다. 컨텍스트 적응적 2진 산술 코딩의 경우, 컨텍스트는 이웃하는 매크로블록들에 기초할 수도 있다.
일부의 경우, 엔트로피 코딩 유닛 (56) 또는 비디오 인코더 (20) 의 또다른 유닛은 엔트로피 코딩에 더해서, 다른 코딩 기능들을 수행하도록 구성될 수도 있다. 예를 들어, 엔트로피 코딩 유닛 (56) 은 매크로블록들 및 파티션들에 대한 CBP 값들을 결정하도록 구성될 수도 있다. 또한, 일부의 경우, 엔트로피 코딩 유닛 (56) 은 매크로블록 또는 그의 파티션에서 계수들의 런 길이 코딩 (run length coding) 을 수행할 수도 있다. 특히, 엔트로피 코딩 유닛 (56) 은 지그-재그 스캔 또는 다른 스캔 패턴을 적용하여, 매크로블록 또는 파티션에서 변환 계수들을 스캐닝하고, 추가적인 압축을 위해 제로들의 런들을 인코딩할 수도 있다. 엔트로피 코딩 유닛 (56) 은 또한 헤더 정보를 인코딩된 비디오 비트스트림으로의 송신에 적합한 구문 엘리먼트들로 구성할 수도 있다.
역양자화 유닛 (58) 및 역변환 유닛 (60) 은 역양자화 및 역변환을 각각 적용하여, 예컨대, 참조 블록으로 추후 사용을 위해, 픽셀 도메인에서 잔여 블록을 재구성한다. 모션 보상 유닛 (44) 은 잔여 블록을 메모리 (64) 에서의 참조 프레임 스토어의 프레임들 중 하나의 예측 블록에 가산함으로써, 참조 블록을 계산할 수도 있다. 모션 보상 유닛 (44) 은 또한 하나 이상의 보간 필터들을 그 재구성된 잔여 블록에 적용하여, 모션 추정에 이용하기 위한 서브-정수 픽셀 값들을 계산할 수도 있다. 합산기 (62) 는 재구성된 잔여 블록을 모션 보상 유닛 (44) 에 의해 생성된 모션 보상된 예측 블록에 가산하여, 메모리 (64) 의 참조 프레임 스토어에의 저장을 위해, 재구성된 비디오 블록을 생성한다. 재구성된 비디오 블록은 후속 비디오 프레임에서의 블록을 인터-코딩하기 위해서 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 참조 블록으로서 이용될 수도 있다.
위에서 언급한 바와 같이, 모션 추정 유닛 (42) 은 일부 경우, 모션 벡터를 계산하지 않고, 대신 모션 벡터 예측자들의 리스트를 결정할 수도 있으며, 이 중 4개는 공간 후보 모션 벡터들이고 이 중 하나는 시간 후보 모션 벡터이다. 통상, 모션 추정 유닛 (42) 은 모션 추정의 계산 복잡성을 감소시키고 이에 의해 비디오 데이터가 인코딩될 수 있는 속도를 향상시킴과 동시에 또한 소비 전력을 감소시키기 위해, 모션 벡터 계산을 삼가한다. 본 개시물에서 설명하는 기법들에 따르면, 모션 추정 유닛 (42) 은 4개의 (또는, 공간 후보 모션 벡터들 자신들 중 하나 이상이 시간적으로 예측된다고 결정하자 마자, 이러한 시간적으로 예측된 공간 후보 모션 벡터들이 잘라내는 프로세스로부터 제거될 경우에는 더 적은) 공간 후보 모션 벡터들의 중간 리스트를 결정하고, 이 (잠재적으로 오직 공간적으로 예측된) 공간 후보 모션 벡터들의 리스트를 잘라내고, 시간 후보 모션 벡터 (및 잠재적으로 시간적으로 예측된 공간 후보 모션 벡터들) 을 잘라낸 (잠재적으로 오직 공간적으로 예측된) 공간 후보 모션 벡터들의 리스트에 부가할 수도 있다. 대안으로, 모션 추정 유닛 (42) 은 (이들 시간적으로 예측된 공간 후보 모션 벡터들을 디폴트 후보 모션 벡터들로 대체하는 경우) 4개의 공간 후보 모션 벡터들의 중간 리스트를 결정하고, 이 공간 후보 모션 벡터들 (그 결정된 디폴트 후보 모션 벡터들 중 하나 이상을 포함함) 의 리스트를 잘라내고, 시간 후보 모션 벡터를 잘라낸 공간 후보 모션 벡터들의 리스트에 부가할 수도 있다. 모션 추정 유닛 (42) 은 시간 모션 벡터 후보 및 잘라낸 공간 모션 벡터 후보를 포함하는 이 리스트를 모션 보상 유닛 (44) 으로 출력할 수도 있다.
모션 보상 유닛 (44) 은 그 후 리스트에 포함된 각각의 후보 모션 벡터들에 대한 (또다시 예측 블록으로 지칭될 수도 있는) 참조 프레임 블록을 식별할 수도 있다. 모션 보상 유닛 (44) 은 그 후 후보 모션 벡터들의 각각에 대해 결정된 예측 블록에 기초하여 예측 데이터를 계산할 수도 있다. 비디오 인코더 (20) 는 그 후 후보 모션 벡터들 중 대응하는 후보 모션 벡터에 대해 컴퓨팅된 각각의 예측 데이터에 대해 잔여 데이터를 결정하고, 그 잔여 데이터를 변환하고, 트랜스코딩된 (transcoded) 잔여 데이터를 양자화하고, 그 후 양자화된 잔여 데이터를 위에서 설명한 방식으로 엔트로피 인코딩할 수도 있다. 비디오 인코더 (20) 는 그 후 잘라낸 후 남은 후보 모션 벡터들의 각각에 대해 생성된 이 엔트로피 인코딩된 잔여 데이터를 디코딩하는 역 동작들을 수행하여, 참조 데이터를 재구성된 비디오 블록들의 형태로 재생할 수도 있다. 모드 선택 유닛 (40) 은 후보 모션 벡터들의 각각에 대해 생성된 재구성된 비디오 블록들 각각을 분석하여, 후보 모션 벡터들 중 하나를 선택할 수도 있다. 모드 선택 유닛 (40) 은 "RDO" 로 통상 약칭되는, "레이트-왜곡 최적화 (rate-distortion optimization)" 로 통칭되는 프로세스를 통해서 최상의 레이트-대-왜곡 비를 제공하는 후보 모션 벡터들 중 하나를 선택할 수도 있다.
RDO 는 일반적으로 소정의 레이트 (일반적으로, 압축된 프레임, 슬라이스 또는 블록을 포함하는 압축된 비디오 데이터가 전송될 수 있는 비트레이트를 지칭함) 를 달성하도록 압축된 재구성된 프레임, 슬라이스 또는 블록을 원래 프레임, 슬라이스 또는 블록과 비교하고, 주어진 레이트에서 원래 프레임, 슬라이스 또는 블록과, 그 재구성된 프레임, 슬라이스 또는 블록 사이의 왜곡의 양을 결정하는 것을 수반한다. 모드 선택 유닛 (40) 은 주어진 레이트를 달성하거나 또는 달성하려고 시도하는 다수의 상이한 메트릭들을 이용하여 동일한 비디오 데이터를 인코딩하여, 이들 여러 메트릭들에 대해 왜곡 최적화 프로세스를 수행할 수도 있다. 이 경우, 모드 선택 유닛 (40) 은 각각의 재구성된 비디오 블록의 RD 출력을 비교하고, 목표 레이트에서 최소 왜곡을 제공하는 출력을 선택할 수도 있다.
모드 선택 유닛 (40) 은 그 후 이 선택을 모션 추정 유닛 (42) 에 표시할 수도 있으며, 이는 계속해서 엔트로피 코딩 유닛 (56) 과 인터페이스하여, 엔트로피 코딩 유닛 (56) 에게 이 선택을 통지한다. 통상, 모션 추정 유닛 (42) 은, 엔트로피 코딩 유닛 (56) 과 인터페이스하여, 모션 벡터 예측이 그 선택된 후보 모션 벡터를 식별하는 인덱스와 함께 수행되었다는 것을 표시한다. 위에서 언급한 바와 같이, 모션 추정 유닛 (42) 은 후보 모션 벡터들을 정의된 방식으로, 예컨대, 최고 크기로부터 최저 크기로 또는 최저 크기로부터 최고 크기로 또는 임의의 다른 정의된 방식으로 배열할 수도 있다. 대안으로, 모션 추정 유닛 (42) 은 또한 MVP 리스트로도 지칭될 수도 있는 이 리스트에서 후보 모션 벡터들이 배열된 방식을 엔트로피 코딩 유닛 (56) 으로 시그널링할 수도 있다. 엔트로피 코딩 유닛 (56) 은 그 후 모션 데이터를 인코딩하는데 MVP 가 수행되었다는 것을 표시하는데 필요로 할 수도 있는 임의의 다른 정보와 함께 단항의 또는 절단된 단항의 코드를 이용하여 이 인덱스를 인코딩할 수도 있다. 엔트로피 코딩 유닛 (56) 은 그 인코딩된 인덱스를 구문 엘리먼트 ("mvp_idx" 로서 표시될 수도 있음) 로서 비트스트림으로 출력할 수도 있으며, 이 비트스트림은 도 1 의 예에 대해 위에서 설명한 방식으로 저장되거나 또는 송신될 수도 있다.
일부의 경우, 엔트로피 코딩 유닛 (56) 은 컨텍스트 적응적 2진 산술 코딩 (CABAC) 으로 지칭되는 일종의 엔트로피 코딩을 수행한다. CABAC 를 수행할 때에, 엔트로피 코딩 유닛 (56) 은 소위 복수의 컨텍스트들 (대응하는 컨텍스트와 연관되는 비디오 데이터를 보다 효율적으로 압축하기 위해서 상이한 컨텍스트에 대해 특정된 상이한 코드 테이블들임) 중 하나를 선택하고, 그 선택된 컨텍스트에 대해 정의된 코드 테이블에 따라 그 압축된 잔여 데이터를 인코딩할 수도 있다. 엔트로피 코딩 유닛 (56) 은 그 컨텍스트 정보에 기초하여 컨텍스트들 중 하나를 선택할 수도 있으며, 이 컨텍스트 정보는 모션 벡터 예측을 수행할 때 결정된 참조 인덱스, 고유한 모션 벡터 후보들의 개수 및 모션 벡터 예측을 수행할 때 결정된 예측 방향을 포함할 수도 있다.
도 3 은 인코딩된 비디오 시퀀스를 디코딩하는 비디오 디코더 (30) 의 일 예를 예시하는 블록도이다. 도 3 의 예에서, 비디오 디코더 (30) 는 엔트로피 디코딩 유닛 (70), 모션 보상 유닛 (72), 인트라 예측 유닛 (74), 역양자화 유닛 (76), 역변환 유닛 (78), 메모리 (82) 및 합산기 (80) 를 포함한다. 비디오 디코더 (30) 는 일부 예들에서, 도 1 및 도 2 의 예들에 나타낸 비디오 인코더 (20) 와 같은 비디오 인코더에 대해 설명한 인코딩 패스와는 일반적으로 반대인 디코딩 패스를 수행할 수도 있다. 일반적으로 반대이지만, 비디오 디코더 (30) 는 일부 경우, 비디오 인코더 (20) 에 의해 수행되는 기법들과 유사한 기법들을 수행할 수도 있다. 즉, 비디오 디코더 (30) 는 비디오 인코더 (20) 에 의해 수행되는 프로세스들과 실질적으로 유사한 프로세스들을 수행할 수도 있다. 더욱이, 위에서 설명한 바와 같이, 비디오 인코더 (20) 는 비디오 인코딩을 수행하는 프로세스에서 비디오 디코딩을 수행할 수도 있다. 예시하기 위하여, 비디오 인코더 (20) 의 역양자화 유닛 (58), 역변환 유닛 (60), 및 합산기 (62) 는 비디오 디코더 (30) 의 역양자화 유닛 (76), 역변환 유닛 (78) 및 합산기 (80) 와 실질적으로 유사한 동작들을 수행할 수도 있다.
도 3 의 예에 나타낸 바와 같이, 엔트로피 디코딩 유닛 (70) 은 인코딩된 비트스트림을 수신하며, 이 인코딩된 비트스트림은 예시의 목적을 위해, 선택된 후보 모션 벡터를 식별하는 단항의 또는 절단된 단항의 코딩된 인덱스를 포함하는 것으로 가정된다 (여기서, 또다시, 이들 후보 모션 벡터들은 모션 벡터 예측자들 또는 MVP들로 지칭될 수도 있다). 엔트로피 디코딩 유닛 (70) 은, 비디오 인코더 (20) 의 엔트로피 코딩 유닛 (56) 에 일반적으로 반대인 프로세스를 수행할 때에, 현재의 PU에 대한 모션 벡터를 결정하기 위해 모션 벡터 예측이 수행되었다는 것을 표시하는, 현재의 PU 에 대한 구문 엘리먼트 또는 다른 코딩 데이터를 수신할 수도 있다. 이 구문 엘리먼트 또는 다른 코딩 데이터에 응답하여, 엔트로피 디코딩 유닛 (70) 은 잘라낸 후 남은 후보 모션 벡터들의 개수를 결정하기 위해서, 본 개시물에서 설명하는 기법들을 구현하여 비트스트림으로부터 단항의 또는 절단된 단항의 코드를 적절히 파싱한다.
후보 모션 벡터들의 개수를 결정하기 위해, 엔트로피 코딩 유닛 (70) 은 모션 보상 유닛 (72) 과 인터페이스하여, 모션 보상 유닛 (72) 에게 본 개시물에서 설명하는 기법들에 따라서 후보 모션 벡터들의 개수를 결정하도록 명령할 수도 있다. 모션 보상 유닛 (72) 은 현재의 PU 에 인접한 PU들에 대한 공간 후보 모션 벡터들, 및 참조 프레임에서 동일 위치에 배치된 PU 에 대한 시간 후보 모션 벡터를 취출한다. 엔트로피 코딩 유닛 (70) 은 모션 보상 유닛 (72) 에 현재의 PU 에 대해 식별된 참조 프레임을 (통상 비트스트림에서 또다른 구문 엘리먼트로서) 제공할 수도 있다. 대안으로, 모션 보상 유닛 (72) 은 AMVP 또는 병합 모드에 대해 (예컨대, 현재의 PU 가 위치되는 현재의 프레임으로부터 앞 또는 뒤로 1개, 2개 또는 임의의 다른 개수와 같이) 설정된 방식으로 식별되는 참조 프레임으로부터 시간 후보 모션 벡터를 취출하도록 구성될 수도 있다.
모션 보상 유닛 (72) 은 그 후 4개의 (또는, 공간 후보 모션 벡터들 자신들 중 하나 이상이 시간적으로 예측된다고 결정하자 마자, 이러한 시간적으로 예측된 공간 후보 모션 벡터들이 잘라내는 프로세스로부터 제거될 경우에는 더 적은) 공간 후보 모션 벡터들을 포함하는 중간 리스트를 구성하고, 이 (잠재적으로 오직 공간적으로 예측된) 공간 후보 모션 벡터들의 리스트를 잘라내고, 비디오 인코더 (20) 의 모션 보상 유닛 (44) 에 대해 위에서 설명한 방식과 실질적으로 유사한 방식으로 시간 후보 모션 벡터 (및 잠재적으로 시간적으로 예측된 공간 후보 모션 벡터들) 를 이 잘라낸 (잠재적으로 오직 공간적으로 예측된) 공간 후보 모션 벡터들의 리스트와 결합할 수도 있다. 대안으로, 모션 보상 유닛 (72) 은 (시간적으로 예측된 공간 후보 모션 벡터들을 디폴트 후보 모션 벡터들로 대체한) 4개의 공간 후보 모션 벡터들의 중간 리스트를 결정하고, (그 결정된 디폴트 후보 모션 벡터들 중 하나 이상을 포함하는) 공간 후보 모션 벡터들의 이 리스트를 잘라내고, 비디오 인코더 (20) 의 모션 보상 유닛 (44) 에 대해 위에서 설명한 방식과 실질적으로 유사한 방식으로, 시간 후보 모션 벡터를 잘라낸 공간 후보 모션 벡터들의 리스트와 결합할 수도 있다. 각 경우에, 모션 보상 유닛 (72) 은 이 잘라내기를 수행한 후에 결정된 후보 모션 벡터들의 리스트를 잘라낸 MVP 리스트로서 출력한다. 이 잘라낸 MVP 리스트를 생성한 후, 모션 보상 유닛 (72) 은 이 리스트에서 후보 모션 벡터들의 개수를 카운트하고 이 개수를 엔트로피 코딩 유닛 (70) 으로 시그널링한다. 엔트로피 코딩 유닛 (70) 은 그 후 위에서 설명한 이유들로 그 제공된 비트스트림으로부터 단항의 또는 절단된 단항의 코딩된 인덱스를 적절히 파싱할 수도 있다.
단항의 또는 절단된 단항의 코딩된 인덱스를 파싱한 후, 엔트로피 코딩 유닛 (70) 은 그 후 단항의 또는 절단된 단항의 코딩된 인덱스를 디코딩하여, MVP 리스트로의 인덱스를 생성할 수도 있다. 엔트로피 코딩 유닛 (70) 은 그 후 이 인덱스를 모션 보상 유닛 (72) 으로 전달하고, 모션 보상 유닛은 그 후 그 인덱스에 의해 식별되는 잘라낸 MVP 리스트로부터 후보 모션 벡터들 중 하나를 선택한다. 인터-코딩된 블록에 대해, 모션 보상 유닛 (72) 은 그 후 그 식별된 모션 벡터에 기초하여 인터-예측 데이터를 생성할 수도 있다. 모션 보상 유닛 (72) 은 이 모션 벡터를 이용하여, 메모리 (82) 에 저장된 참조 프레임들에서 예측 블록을 식별할 수도 있다. 인트라-코딩된 블록들에 대해, 인트라 예측 유닛 (74) 은 비트스트림으로 수신된 인트라 예측 모드들을 이용하여 공간적으로 인접한 블록들로부터 예측 블록을 형성할 수도 있다. 역양자화 유닛 (76) 은 비트스트림으로 제공되어 엔트로피 디코딩 유닛 (70) 에 의해 디코딩된 양자화된 블록 계수들을 역양자화, 즉 양자화해제 (de-quantize) 한다. 역양자화 프로세스는 예컨대, H.264 디코딩 표준에 의해 정의된 바와 같은, 종래의 프로세스를 포함할 수도 있다. 역양자화 프로세스는 또한 양자화의 정도, 그리고, 이와 유사하게, 적용되어야 하는 역양자화의 정도를 결정하기 위해 각각의 매크로블록에 대해 합산기 (50) 에 의해 계산된 양자화 파라미터 QPY 의 사용을 포함할 수도 있다.
역변환 유닛 (60) 은 역 DCT, 역 정수 변환, 또는 개념적으로 유사한 역변환 프로세스와 같은 역변환을 변환 계수들에 적용하여, 픽셀 도메인에서 잔여 블록들을 생성한다. 모션 보상 유닛 (72) 은 될 수 있는 한 보간 필터들에 기초하여 보간을 수행하여, 모션 보상된 블록들을 생성한다. 서브-픽셀 정밀도를 갖는 모션 추정에 이용되는 보간 필터들에 대한 식별자들이 구문 엘리먼트들에 포함될 수도 있다. 모션 보상 유닛 (72) 은 비디오 블록의 인코딩 동안 비디오 인코더 (20) 에 의해 이용될 때와 같은 보간 필터들을 이용하여 참조 블록의 서브-정수 픽셀들에 대한 보간된 값들을 계산할 수도 있다. 모션 보상 유닛 (72) 은 비디오 인코더 (20) 에 의해 이용된 보간 필터들을 수신된 구문 정보에 따라 결정하고, 그 보간 필터들을 이용하여 예측 블록들을 생성할 수도 있다.
모션 보상 유닛 (72) 은 구문 정보의 일부를 이용하여, 인코딩된 비디오 시퀀스의 프레임(들)을 인코딩하는데 이용되는 CU들의 사이즈들, 인코딩된 비디오 시퀀스의 프레임의 각각의 CU 가 어떻게 파티셔닝되는지를 기술하는 파티션 정보, 각각의 CU 가 어떻게 인코딩되는지를 나타내는 모드들, 각각의 인터-인코딩된 CU 에 대한 하나 이상의 참조 프레임들 (또는, 리스트들), 및 인코딩된 비디오 시퀀스를 디코딩하기 위한 다른 정보를 결정할 수도 있다.
합산기 (80) 는 잔여 블록들을 모션 보상 유닛 (72) 또는 인트라-예측 유닛에 의해 생성된 대응하는 예측 블록들과 합산하여, 디코딩된 블록들을 형성한다. 원할 경우, 블록킹 현상 아티팩트들을 제거하기 위해 디블로킹 필터가 또한 그 디코딩된 블록들을 필터링하는데 적용될 수도 있다. 디코딩된 비디오 블록들은 그 후 메모리 (82) 내 참조 프레임 스토어에 저장되며, 이 메모리는 HEVC 표준에서 디코딩된 화상 버퍼로 지칭될 수도 있으며, 이는 후속 모션 보상을 위해 참조 블록들을 제공하고 또한 (도 1 의 디스플레이 디바이스 (32) 와 같은) 디스플레이 디바이스 상에의 프리젠테이션을 위해 디코딩된 비디오를 생성한다.
일부의 경우, 일 예로, 시간 후보 모션 벡터를 특정하는 슬라이스가 손실되는, 즉, 인코딩된 비트스트림으로 복구 또는 수신되지 않을 때와 같이, 시간 후보 모션 벡터가 이용가능하지 않을 수도 있다. 이 시간 후보 모션 벡터가 이용불가능할 때, 모션 보상 유닛 (72) 은 이 시간 후보 모션 벡터를 디폴트 값으로 설정하거나 또는 아니면 이 시간 후보 모션 벡터에 대한 디폴트 모션 벡터 정보를 결정할 수도 있다. 일부의 경우, 시간 후보 모션 벡터에 대한 이 디폴트 모션 벡터 정보는 참조 프레임이 인트라-코딩되었는지 여부에 따라서 재구성될 수도 있다. 참조 프레임이 인트라-코딩되는 것으로 결정되는 경우, 모션 보상 유닛 (72) 은 현재의 부분이 현재의 프레임 내에 있을 때와 동일한 참조 프레임의 로케이션에 동일 위치에 배치된 참조 프레임의 부분에 대해 결정된 공간 모션 벡터들에 기초하여, 디폴트 후보 모션 벡터에 대한 디폴트 모션 벡터 정보를 유도할 수도 있다. 이와 유사하게, 시간적으로 예측된 공간 후보 모션 벡터들 중 하나 이상이 이용불가능하거나 또는 손실될 수도 있으며, 현재의 부분이 현재의 프레임 내에 있을 때와 동일한 참조 프레임의 로케이션에 동일 위치에 배치된 참조 프레임의 부분에 대해 결정된 공간 모션 벡터들에 기초하여, 디폴트 후보 모션 벡터에 대한 디폴트 모션 벡터 정보를 유도할 수도 있다.
본 개시물에 개시한 기법들의 여러 양태들은, 또한 손실된 또는 분실된 시간 모션 벡터들 자신으로부터 예측된 공간 후보 모션 벡터들의 결과로서, CABAC 또는 임의의 다른 컨텍스트-의존적인 무손실 통계 코딩 프로세스를 수행할 때에 일어나는 이슈들을 해결할 수도 있다. 엔트로피 코딩 유닛 (70) 은 본 기법들의 이들 양태들에 따라서, 손실된 공간 후보 모션 벡터를 사용불능시킴으로써 이 이슈를 극복할 수도 있다. 대안으로, 엔트로피 코딩 유닛 (70) 은 이 손실된 공간 후보 모션 벡터를 디폴트 모션 정보로 대체할 수도 있다. 엔트로피 코딩 유닛 (70) 은 모션 보상 유닛 (72) 과 인터페이스하여 이 디폴트 모션 정보를 결정할 수도 있다. 이 디폴트 모션 정보는 디폴트 모션 벡터, 예측 방향 및 참조 인덱스를 특정할 수도 있다. 일부의 경우, 모션 보상 유닛 (72) 은 (현재의 슬라이스가 인트라- 또는 인터-예측되는지 여부 등을 나타내는) 슬라이스 유형, (현재의 PU 가 존재하는 위에서 언급한 쿼드트리 계층구조에서의 CU 의 깊이와 같은) 현재의 CU 깊이, 현재의 PU 사이즈 또는 임의의 다른 이용가능한 정보에 기초하여 이 교체 모션 정보를 생성한다. 모션 보상 유닛 (72) 은 그 후 이 디폴트 모션 정보를 엔트로피 코딩 유닛 (70) 에 제공할 수도 있다. 이 디폴트 모션 정보를 이용함으로써, 엔트로피 코딩 유닛 (70) 은 CABAC 프로세스를 여전히 수행할 수도 있다.
본 개시물에서 설명하는 기법들은, 일부 예들에서, 또한 모션 보상 유닛 (72) 이 (그의 시간 후보 모션 벡터가 손실되었을 때와 같이) 공간 후보 모션 벡터 자신이 공간 후보 모션 벡터 또는 시간 후보 모션 벡터로부터 예측되었는지 여부를 결정할 수 없을 때 일어나는 이슈들을 극복할 수도 있다. 공간 후보 모션 벡터들 중 하나가 이용불가능한 이들 경우에, 모션 보상 유닛 (72) 은 본 개시물의 기법들을 구현하여, 공간 모션 벡터 예측을 사용불능시킬 수도 있다 (그리고, 이에 따라서, 무엇이 인코더에 의해 시그널링되었는지에 상관없이, 동일 위치에 배치된 시간 후보 모션 벡터를 이용할 수도 있다). 대안으로, 모션 보상 유닛 (72) 은 위에서 설명한 방식으로 디폴트 모션 정보를 결정할 수도 있다.
이 기법들은 (그의 시간 후보 모션 벡터가 손실되었을 때와 같이) 공간 후보 모션 벡터 자신이 시간 후보 모션 벡터로부터 예측되었는지 여부를 모션 보상 유닛 (72) 이 결정할 수 없을 때 일어나는 이슈들을 추가로 극복할 수도 있다. 이들의 경우, 공간 후보 모션 벡터들 중 하나가 이용불가능할 때, 모션 보상 유닛 (72) 은 본 개시물의 기법들을 구현하여, 공간 모션 벡터 예측을 사용불능시킬 수도 있다 (그리고, 이에 따라서, 무엇이 인코더에 의해 시그널링되었는지에 상관없이, 동일 위치에 배치된 시간 후보 모션 벡터를 이용할 수도 있다). 대안으로, 모션 보상 유닛 (72) 은 위에서 설명한 방식으로 디폴트 모션 정보를 결정하여, 디폴트 후보 모션 벡터의 이 디폴트 모션 정보에 대해 잘라내기를 수행하거나 또는 전체적으로 잘라내기로부터 이 디폴트 후보 모션 벡터를 제거할 수도 있다 (그러나, 비트스트림의 파싱을 가능하게 하도록 따로 특정할 수도 있다).
위에서 언급한 바와 같이, 2개의 모션 벡터 예측의 유형들, 즉, 병합 모드 및 AMVP 가 존재한다. 병합 모드에 대해, 모션 보상 유닛 (72) 은 디폴트 모션 정보를 결정할 때 모션 벡터 크기, 예측 방향 및 참조 인덱스를 결정한다. AMVP 에 대해, 모션 보상 유닛 (72) 은 모션 벡터 크기를 결정하지만, 이들이 현재의 PU 에 대한 비트스트림에서 따로 시그널링되기 때문에, 예측 방향 및 참조 인덱스를 결정할 필요는 없다. 따라서, 모션 보상 유닛 (72) 은 모션 벡터 예측을 수행하기 위해 시그널링된 모드, 즉, 시그널링된 모션 벡터 예측의 유형이 현재의 PU에 대한 병합 모드인지 또는 AMVP 인지 여부에 기초하여, 디폴트 모션 정보의 결정을 할 수도 있다.
도 4 는 본 개시물에서 설명하는 모션 벡터 예측 기법들을 수행할 때에 도 2 의 예에 나타낸 비디오 인코더 (20) 와 같은 비디오 인코더의 예시적인 동작을 예시하는 플로우차트이다. 먼저, 모션 추정 유닛 (42) 은 위에서 설명한 바와 같이, 현재의 CU 에 대응하는 현재의 PU 에 대한 공간 후보 모션 벡터들을 결정할 수도 있다 (90). 모션 추정 유닛 (42) 은 이들 공간 후보 모션 벡터들을 저장하는 중간 리스트 또는 중간 공간 MVP 리스트로 지칭될 수도 있는 것을 인스턴스화할 수도 있다. 모션 추정 유닛 (42) 은 그 후 여분의 공간 후보 모션 벡터들을 위에서 설명한 방식들 중 하나로 잘라낼 수도 있다 (92). 이런 의미에서, 모션 추정 유닛 (42) 은 남은 공간 후보 모션 벡터들의 중간 공간 MVP 리스트를 생성할 수도 있다.
이 남은 공간 후보 모션 벡터들의 중간 공간 MVP 리스트를 생성한 후, 모션 추정 유닛 (42) 은 또다시, 위에서 설명한 바와 같이, 참조 프레임에서 동일 위치에 배치된 PU 로부터 현재의 PU 에 대한 시간 후보 모션 벡터를 결정할 수도 있다 (94). 다음으로, 모션 추정 유닛 (42) 은 남은 공간 후보 모션 벡터들 및 시간 후보 모션 벡터를 포함하는 MVP 리스트를 형성할 수도 있다 (96). 모션 추정 유닛 (42) 은 이 MVP 리스트를 모션 보상 유닛 (44) 에 제공할 수도 있으며, 이 모션 보상 유닛은 MVP 리스트에 포함된 각각의 후보 모션 벡터들에 대해서 위에서 설명한 방식으로 모션 보상을 수행한다. 비디오 인코더 (20) 는 그 후 MVP 리스트에 포함된 후보 모션 벡터들의 각각에 대해 수행되는 모션 보상에 의해 생성된 예측 데이터에 기초하여 잔여 데이터를 생성한다. 비디오 인코더 (20) 는 하나 이상의 변환들을 잔여 데이터에 적용하고, 그 변환된 잔여 데이터를 양자화하고, 그 후 잔여 데이터를 재구성한다. 재구성된 잔여 데이터는 그 후 재구성된 비디오 데이터를 생성하기 위해서, MVP 리스트에 포함된 후보 모션 벡터들 각각에 기초하여 생성된 예측 데이터에 의해 증대된다.
모드 선택 유닛 (40) 은 그 후 그 재구성된 비디오 데이터에 기초하여 현재의 PU 에 대한 MVP 리스트로부터 후보 모션 벡터들 중 하나를 선택할 수도 있다 (98). 예를 들어, 모드 선택 유닛 (40) 은 MVP 리스트 내 후보 모션 벡터들 각각에 대해 재구성한 재구성된 비디오 데이터에 대해서 일부 유형의 레이트-왜곡 분석을 수행하고 최상의 레이트-대-왜곡 메트릭을 제공하는 리스트로부터 후보 모션 벡터들 중 하나를 선택할 수도 있다. 모드 선택 유닛 (40) 은 그 후 모션 추정 유닛 (42) 과 인터페이스하여, 그 후보 모션 벡터 선택을 표시할 수도 있다. 모션 추정 유닛 (42) 은 그 후 위에서 설명한 바와 같이, 후보 모션 벡터들 중 선택된 하나를 식별하는 MVP 리스트로의 인덱스를 결정할 수도 있다 (100). 모션 추정 유닛 (42) 은 그 후 이 인덱스를 엔트로피 코딩 유닛 (56) 에 제공할 수도 있다. 엔트로피 코딩 유닛 (56) 은 그 후 위에서 추가로 설명한 바와 같이 MVP 리스트에서 후보 모션 벡터들 중 선택된 하나를 식별하는 인덱스를 코딩할 수도 있다 (102). 엔트로피 코딩 유닛 (56) 은 그 후 이 코딩된 인덱스를 비트스트림에 삽입한다 (104).
도 5 는 본 개시물에서 설명하는 모션 벡터 예측 기법들을 구현할 때에 도 3 의 예에 나타낸 비디오 디코더 (30) 와 같은 비디오 디코더의 예시적인 동작을 예시하는 플로우차트이다. 위에서 설명한 바와 같이, 비디오 디코더 (30) 의 엔트로피 디코딩 유닛 (70) 은 먼저 "mvp_idx" 또는 "MVP 인덱스" 의 그 구문 엘리먼트 이름으로 통칭되는 코딩된 인덱스를 포함하는 비트스트림을 수신한다 (110). 엔트로피 디코딩 유닛 (70) 은 또한 현재의 PU 가 모션 벡터 예측들로서 표현된 모션 벡터들을 갖는다는 것을 표시하는 이 MVP 인덱스 전후에, 다른 구문 엘리먼트들을 디코딩한다. 이 MVP 인덱스를 비트스트림으로부터 파싱하기 위해, 엔트로피 디코딩 유닛 (70) 은 먼저 잘라내는 프로세스를 수행한 후에 남은 후보 모션 벡터들의 개수를 결정해야 한다. 후보 모션 벡터들의 개수를 결정하기 위해, 엔트로피 디코딩 유닛 (70) 은 모션 보상 유닛 (72) 과 인터페이스하여, 모션 보상 유닛 (72) 이 현재의 PU 에 대한 이 후보 모션 벡터들의 개수를 제공하는 것을 요청한다.
이 요청에 응답하여, 모션 보상 유닛 (72) 은 위에서 설명한 방식으로 현재의 PU 에 대한 공간 후보 모션 벡터들을 결정한다 (112). 공간 후보 모션 벡터들 중 하나 이상이 위에서 보다 자세하게 개시한 이유들로 이용불가능하면 ("예", 114), 모션 보상 유닛 (72) 은 위에서 설명한 방식들 중 임의의 방식으로 (디폴트 모션 정보와 같은) 모션 정보를 생성하고 그 생성된 모션 정보에 기초하여 모션 보상을 수행할 수도 있다 (116, 118). 공간 후보 모션 벡터들 모두가 이용가능하면 ("아니오", 114), 모션 보상 유닛 (72) 은 위에서 추가로 설명한 바와 같이 여분의 공간 후보 모션 벡터들을 잘라낸다 (120).
여분의 공간 후보 모션 벡터들을 잘라낸 후, 모션 보상 유닛 (72) 은 그 후 위에서 설명한 바와 같이 참조 프레임에서 동일 위치에 배치된 PU 로부터 현재의 PU 에 대한 시간 후보 모션 벡터를 결정한다 (122). 이 시간 후보 모션 벡터가 위에서 설명한 이유들로 이용불가능하면 ("예", 124), 모션 보상 유닛 (72) 은 모션 정보를 생성하고, 그 생성된 모션 정보에 기초하여 모션 보상을 수행한다 (116, 118). 그러나, 시간 후보 모션 벡터가 이용가능하면 ("아니오", 124), 모션 보상 유닛 (72) 은 남은 공간 후보 모션 벡터들 및 시간 후보 모션 벡터를 포함하는 MVP 리스트를 형성한다 (126). 모션 보상 유닛 (72) 은 그 후 MVP 리스트에서 후보 모션 벡터들의 개수를 결정하여 (128), 이 개수를 엔트로피 디코딩 유닛 (70) 으로 전달할 수도 있다.
엔트로피 디코딩 유닛 (70) 은 그 후 그 결정된 개수에 기초하여 비트스트림으로부터 MVP 인덱스를 파싱할 수도 있다 (130). 엔트로피 디코딩 유닛 (70) 은 그 후 그 코딩된 MVP 인덱스를 디코딩한다 (131). 엔트로피 디코딩 유닛 (70) 은 그 디코딩된 MVP 인덱스를 모션 보상 유닛 (72) 으로 전달하고, 이 모션 보상 유닛은 위에서 설명한 바와 같이 그 디코딩된 MVP 인덱스에 기초하여 MVP 리스트로부터 후보 모션 벡터들 중 하나를 선택한다 (132). 모션 보상 유닛 (72) 은 그 후 후보 모션 벡터들 중 선택된 하나에 기초하여 위에서 설명한 방식으로 모션 보상을 수행한다 (134). 모션 보상 유닛 (72) 은 병합 모드 또는 AMVP 에 따라서, 어느 모드가 비트스트림으로 시그널링되거나 또는 어느 모드가 모션 보상 유닛 (72) 에 의해 결정되는 지에 의존하여, 모션 보상을 수행할 수도 있다.
도 6 은 현재의 PU (144) 에 대한, 인접한 이웃하는 PU들 (140A 내지 140D) 및 시간적으로 동일 위치에 배치된 PU (142A) 의 예시적인 배열을 예시하는 다이어그램이다. 도 6 의 예에 나타낸 바와 같이, 현재의 PU (144) 가 현재의 프레임 (146A) 내에 포함된다. 시간적으로, 먼저 참조 프레임 (146B) 그리고 더 앞서 참조 프레임 (146C) 이 현재의 프레임 (146A) 보다 선행된다. 인접한 이웃하는 PU (140A) 는 현재의 PU (144) 의 좌측에 공간적으로 인접하게 존재한다. 인접한 이웃하는 PU (140B) 는 현재의 PU (144) 의 상부-좌측에 공간적으로 인접하게 존재한다. 인접한 이웃하는 PU (140C) 는 현재의 PU (144) 의 최상부에 공간적으로 인접하게 존재한다. 인접한 이웃하는 PU (140D) 는 현재의 PU (144) 의 최상부-우측에 공간적으로 인접하게 존재한다. 시간적으로 동일 위치에 배치된 PU (142A) 는 시간적으로 현재의 PU (144) 보다 선행하며, 현재의 PU (144) 가 현재의 프레임 (146A) 내에 위치되는 것과 같이 동일한 로케이션에서 참조 프레임 (146B) 내에 위치된다.
인접한 이웃하는 PU들 (140A 내지 140D) 각각은 현재의 PU (144) 에 대한 공간 후보 모션 벡터를 저장하거나 또는 아니면 제공하는 한편, 시간적으로 동일 위치에 배치된 PU (142A) 는 현재의 PU (144) 에 대한 시간 후보 모션 벡터를 저장하거나 아니면 제공한다. 비디오 디코더들의 모션 보상 유닛들, 예컨대 도 2 의 예에 나타낸 비디오 디코더 (30) 의 모션 보상 유닛 (72) 은 PU들 (140A 내지 140D 및 142A) 로부터 각각 이들 공간 및 시간 후보 모션 벡터들을 취출할 수도 있다. 시간적으로 동일 위치에 배치된 PU (142A) 가 현재의 PU (144) 의 참조 프레임과는 상이한 참조 프레임 (146B) 내에 포함되기 때문에, 이 시간적으로 동일 위치에 배치된 PU (142A) 는 통상 상이한 독립적으로 디코딩가능한 부분 (차기 HEVC 표준에서 종종 슬라이스로 지칭됨) 과 연관된다. 이 참조 프레임 (146B) 의 슬라이스는 (예컨대, 송신 시에 또는 메모리 또는 저장 디바이스에서의 변형 (corruption) 으로 인해) 손실될 수도 있으며, 모션 보상 유닛 (72) 은 현재의 PU (144) 에 대한 시간 후보 모션 벡터를 저장하는 이 시간적으로 동일 위치에 배치된 PU (142A) 를 취출할 수 없을 수도 있다. 이 시간 후보 모션 벡터를 손실하는 것은 위에서 언급한 이유들로 엔트로피 디코딩 유닛 (70) 이 비트스트림을 파싱하는 것을 방해할 수도 있다. 본 개시물에서 설명하는 기법들은 모션 보상 유닛 (72) 이 잘라내는 프로세스에 시간 후보 모션 벡터를 포함하지 않음으로써 이 이슈를 극복할 수 있게 할 수도 있다.
이와 유사하게, 현재의 PU (144) 에 대한 공간 후보 모션 벡터들은, 시간 후보 모션 벡터가 선택되고 시간 후보 모션 벡터를 저장하는 그 시간적으로 동일 위치에 배치된 PU 가 손실되는 결과로, MVP 가 인접한 이웃하는 PU들 (140A 내지 140D) 중 하나에 대한 모션 벡터를 결정하도록 수행될 때, 손실될 수도 있다. 예시하기 위하여, 도 6 의 예에서 시간적으로 동일 위치에 배치된 PU 가 시간적으로 동일 위치에 배치된 PU (142B) 로서 식별되는 인접한 이웃하는 PU (140A) 를 고려한다. PU (142B) 가 손실되고 공간 이웃 PU (140A) 에 대한 모션 벡터가 PU (142B) 와 연관되는 시간 후보 모션 벡터로서 선택되면, 어떠한 PU (140A) 에 대한 모션 벡터 정보도 존재하지 않는다. 그 결과, 현재의 PU (144) 에 대한 공간 후보 모션 벡터가 또한 손실된다. 이 손실된 공간 후보 모션 벡터를 잠재적으로 극복하기 위해, 이 기법들은 모션 보상 유닛 (72) 이 (디폴트 모션 정보와 같은) 모션 정보를 생성할 수 있게 하며, 이 모션 정보는 현재의 PU (144) 에 대한 공간 후보 모션 벡터로서 이용될 수도 있다.
더욱이, 이 손실된 공간 후보 모션 벡터 (또는, 그 점에 대해서는, 손실된 시간 후보 모션 벡터) 는 MVP 가 수행되고 다수의 시간적으로 동일 위치에 배치된 PU들에 대해 시간 후보 모션 벡터가 선택될 때 발생할 수도 있다. 예시하기 위하여, PU (140A) 와 시간적으로 동일 위치에 배치된 PU (142B) 에 대한 모션 벡터를 결정하기 위해 MVP 가 수행되고, 그의 시간적으로 동일 위치에 배치된 PU, 즉, 도 6 의 예에서 PU (142C) 가 손실된다고 가정한다. 이 손실은, 본 개시물에서 설명하는 기법들이 없다면, MVP 인덱스가 비트스트림으로부터 파싱되는 것을 잠재적으로 방해할 뿐만 아니라 PU (142B) 에 대한 모션 벡터의 손실을 초래할 것이다. PU (142B) 에 대한 모션 벡터의 손실은, 본 개시물에서 설명하는 기법들이 없다면, PU (140A) 에 대한 모션 벡터를 결정하기 위해 MVP 가 수행되었고 시간적으로 동일 위치에 배치된 PU (142B) 가 선택되었다고 가정하면, PU (140A) 에 대한 모션 벡터의 손실을 초래한다. 이 모션 벡터의 손실은 공간 후보 모션 벡터가 이용불가능하다는 점에서 현재의 PU (144) 에 영향을 미친다. 이러한 이유로, 이 기법들은 다중 손실 효과로 지칭될 수도 있는 것을 방지하기 위해서, 모션 보상 유닛 (72) 이 모션 정보를 생성할 수 있게 한다 (또는, 일부 경우, 손실된 모션 정보를 재생성할 수 있게 한다).
위에서 설명한 예들은 중복된 (duplicate) 공간 후보 모션 벡터들을 제거하는 것을 참조하지만, 이 기법들은 반드시 오직 중복된 공간 후보 모션 벡터들만이 제거되는 것을 필요로 하지 않을 수도 있다. 이 기법들은 일반적으로 공간 후보 모션 벡터들 중 적어도 하나를 제거하기 위해서 잘라내기를 수행하도록 구현될 수도 있다. 예를 들어, 비디오 인코더는 몇 개의 예들을 들면, 가장 큰 크기 또는 가장 작은 크기를 갖는 공간 후보 모션 벡터가 잘라내어 진다는 것을 화상, 프레임, 슬라이스 또는 블록 레벨에서 시그널링할 수도 있다. 대안으로, 비디오 인코더는 임계치와 같은 임의의 기준들을 비트스트림으로 시그널링할 수도 있으며, 이 임계치에 의해 MVP들이 잘라내기를 위한 기준들로서 특정될 수도 있다. 일부 실시형태들에서, 비디오 인코더 및 비디오 디코더는 후보 모션 벡터들이 잘라내어질 수도 있는 소정의 프로파일 또는 다른 구성에 따를 수도 있다. 일부의 경우, 비디오 디코더는 컨텍스트 또는 다른 정보에 기초하여 소정의 후보 모션 벡터들이 잘라내어질 시점을 암시할 수도 있다. 이 기법들은, 따라서, 오직 중복된 공간 후보 모션 벡터들만을 제거하기 위해 잘라내기를 수행하는데 엄밀히 한정되어서는 안되고, 적어도 하나의 공간 후보 모션 벡터를 잘라내도록 구현될 수도 있는 임의의 기법들을 포괄해야 한다.
하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 그 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나 또는 송신될 수도 있다. 컴퓨터 판독가능 매체는 한 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 컴퓨터 매체 또는 컴퓨터 데이터 저장 매체를 포함할 수도 있다. 데이터 저장 매체는 본 개시물에서 설명하는 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 가용 매체들일 수도 있다. 제한이 아닌 일 예로서, 이러한 컴퓨터 판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 저장, 자기 디스크 저장, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 전달하거나 또는 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 지칭된다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 트위스티드 페어, 디지털 가입자 회선 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신된다면, 매체의 정의에는, 동축 케이블, 광섬유 케이블, 트위스티드 페어, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들이 포함된다. 디스크 (disk) 및 디스크 (disc) 는, 본원에서 사용한 바와 같이, 콤팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루-레이 디스크를 포함하며, 여기서 디스크 (disk) 들은 보통 데이터를 자기적으로 재생시키는 한편, 디스크 (disc) 들은 레이저를 이용하여 데이터를 광학적으로 재생시킨다. 앞에서 언급한 것들의 조합들이 또한 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
코드는 하나 이상의 디지털 신호 프로세서 (DSP) 들, 범용 마이크로프로세서들, 주문형 집적회로 (ASIC) 들, 필드 프로그래밍가능 로직 어레이 (FPGA) 들, 또는 다른 등가의 집적 또는 이산 로직 회로와 같은, 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 용어 “프로세서" 는, 본원에서 사용한 바와 같이, 전술한 구조 또는 본원에서 설명하는 기법들의 구현에 적합한 임의의 다른 구조 중 임의의 구조를 지칭할 수도 있다. 게다가, 일부 양태들에서, 본원에서 설명하는 기능성은 인코딩 및 디코딩을 위해 구성되는 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공되거나, 또는 결합된 코덱에 포함될 수도 있다. 또한, 이 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들로 완전히 구현될 수 있다.
본 개시물의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예컨대, 칩 세트) 를 포함한, 매우 다양한 디바이스들 또는 장치들로 구현될 수도 있다. 개시한 기법들을 수행하도록 구성되는 디바이스들의 기능적 양태들을 강조하기 위해서 여러 구성요소들, 모듈들, 또는 유닛들이 본 개시물에서 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 필요로 하지는 않는다. 더 정확히 말하면, 위에서 설명한 바와 같이, 여러 유닛들이 코덱 하드웨어 유닛에 결합되거나 또는 적합한 소프트웨어 및/또는 펌웨어와 함께 위에서 설명한 바와 같은 하나 이상의 프로세서들을 포함한, 상호작용하는 하드웨어 유닛들의 컬렉션에 의해 제공될 수도 있다.
여러 예들이 설명되었다. 이들 및 다른 예들은 다음 특허청구의 범위 이내이다.

Claims (63)

  1. 비디오 데이터를 인코딩하는 방법으로서,
    현재의 비디오 프레임의 현재의 부분과 연관된 공간 후보 모션 벡터들을 결정하는 단계로서, 상기 공간 후보 모션 벡터들은 상기 현재의 부분에 인접한 상기 현재의 비디오 프레임의 이웃하는 부분들에 대해 결정된 모션 벡터들을 포함하는, 상기 공간 후보 모션 벡터들을 결정하는 단계;
    상기 현재의 비디오 프레임의 상기 현재의 부분과 연관된 시간 후보 모션 벡터를 결정하는 단계로서, 상기 시간 후보 모션 벡터는 참조 비디오 프레임의 부분에 대해 결정된 모션 벡터를 포함하는, 상기 시간 후보 모션 벡터를 결정하는 단계;
    잘라내는 프로세스 동안 상기 시간 후보 모션 벡터를 고려하지 않고, 상기 공간 후보 모션 벡터들 중 중복된 공간 후보 모션 벡터들을 제거하기 위해 오직 상기 공간 후보 모션 벡터들만을 잘라내는 단계;
    모션 벡터 예측 프로세스를 위해 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 단계;
    상기 시간 후보 모션 벡터 및 잘라낸 후 남은 상기 공간 후보 모션 벡터들의 리스트에서 상기 후보 모션 벡터들 중 선택된 후보 모션 벡터의 로케이션을 식별하는 인덱스를 결정하는 단계; 및
    비트스트림으로 상기 인덱스를 시그널링하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 현재의 부분은 현재의 코딩 유닛 (CU) 을 포함하며,
    상기 참조 비디오 프레임의 상기 부분은 상기 참조 비디오 프레임의 CU 를 포함하는, 비디오 데이터를 인코딩하는 방법.
  4. 제 1 항에 있어서,
    적어도 상기 선택된 후보 모션 벡터를 포함하는 예측 데이터를 포함하는 예측 유닛 (PU) 을 생성하는 단계를 더 포함하며,
    상기 인덱스를 시그널링하는 단계는, 상기 비트스트림으로 상기 PU 를 시그널링하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
  5. 제 1 항에 있어서,
    상기 인덱스를 시그널링하는 단계는, 상기 시간 후보 모션 벡터 및 잘라낸 후 남은 상기 공간 후보 모션 벡터들의 상기 리스트에서 상기 선택된 후보 모션 벡터의 상기 로케이션을 식별하는 모션 벡터 예측자 (motion vector predictor; MVP) 인덱스를 시그널링하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
  6. 제 1 항에 있어서,
    인코딩된 인덱스를 생성하기 위해, 단항의 코드 또는 절단된 (truncated) 단항의 코드 중 하나를 이용하여 상기 인덱스를 인코딩하는 단계를 더 포함하며,
    상기 인덱스를 시그널링하는 단계는, 상기 비트스트림으로 상기 인코딩된 인덱스를 시그널링하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
  7. 제 1 항에 있어서,
    상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 단계는,
    상기 시간 후보 모션 벡터 및 잘라낸 후 남은 상기 공간 후보 모션 벡터들 각각에 대해서 레이트-왜곡 분석을 수행하는 단계; 및
    상기 레이트-왜곡 분석에 기초하여 상기 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
  8. 제 1 항에 있어서,
    결정된 상기 공간 후보 모션 벡터들 각각이 공간적으로 예측되었는지 또는 시간적으로 예측되었는지 여부를 결정하는 단계를 더 포함하며,
    상기 공간 후보 모션 벡터들 중 중복된 공간 후보 모션 벡터들을 제거하기 위해 상기 공간 후보 모션 벡터들을 잘라내는 단계는, 결정된 상기 공간 후보 모션 벡터들 중 시간적으로 예측되는 것으로 결정된 공간 후보 모션 벡터들의 임의의 것을 잘라내지 않고, 결정된 상기 공간 후보 모션 벡터들 중 오직 공간적으로 예측되는 것으로 결정된 공간 후보 모션 벡터들만을 잘라내는 단계를 포함하며,
    상기 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 단계는, 상기 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터, 상기 공간 후보 모션 벡터들 중 시간적으로 예측되는 것으로 결정된 공간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 공간적으로 예측되는 것으로 결정된 공간 후보 모션 벡터를 선택하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
  9. 제 1 항에 있어서,
    결정된 상기 공간 후보 모션 벡터들 각각이 공간적으로 예측되었는지 또는 시간적으로 예측되었는지 여부를 결정하는 단계; 및
    상기 공간 후보 모션 벡터들 중 시간적으로 예측되는 것으로 결정된 임의의 공간 후보 모션 벡터를 디폴트 후보 모션 벡터로 대체하는 단계로서, 상기 디폴트 후보 모션 벡터는 디폴트 모션 벡터 정보를 포함하며, 상기 디폴트 모션 벡터 정보는 모션 벡터 크기 (motion vector amplitude), 상기 참조 비디오 프레임이 상기 현재의 비디오 프레임을 시간적으로 선행하는지 또는 후행하는지 여부를 식별하는 예측 방향, 및 상기 참조 비디오 프레임을 식별하는 참조 인덱스를 포함하는, 상기 공간 후보 모션 벡터를 디폴트 후보 모션 벡터로 대체하는 단계를 더 포함하며,
    상기 공간 후보 모션 벡터들 중 중복된 공간 후보 모션 벡터들을 제거하기 위해 상기 공간 후보 모션 벡터들을 잘라내는 단계는, 상기 공간 후보 모션 벡터들 중 상기 중복된 공간 후보 모션 벡터들을 제거하기 위해 상기 디폴트 후보 모션 벡터들 중 하나 이상의 디폴트 후보 모션 벡터들을 포함하는 상기 공간 후보 모션 벡터들을 잘라내는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
  10. 제 1 항에 있어서,
    시간적으로 예측되지 않고 상기 시간 후보 모션 벡터 및 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 임의의 것과는 상이한 하나 이상의 추가적인 공간 후보 모션 벡터들을 결정하는 단계를 더 포함하며,
    상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 단계는, 상기 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터, 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터 또는 상기 추가적인 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
  11. 비디오 데이터를 인코딩하는 장치로서,
    현재의 비디오 프레임의 현재의 부분과 연관된 공간 후보 모션 벡터들을 결정하는 수단으로서, 상기 공간 후보 모션 벡터들은 상기 현재의 부분에 인접한 상기 현재의 비디오 프레임에 대한 이웃하는 부분들에 대해 결정된 모션 벡터들을 포함하는, 상기 공간 후보 모션 벡터들을 결정하는 수단;
    상기 현재의 비디오 프레임의 상기 현재의 부분과 연관된 시간 후보 모션 벡터를 결정하는 수단으로서, 상기 시간 후보 모션 벡터는 참조 비디오 프레임의 부분에 대해 결정된 모션 벡터를 포함하는, 상기 시간 후보 모션 벡터를 결정하는 수단;
    잘라내는 프로세스 동안 상기 시간 후보 모션 벡터를 고려하지 않고, 상기 공간 후보 모션 벡터들 중 중복된 공간 후보 모션 벡터들을 제거하기 위해 오직 상기 공간 후보 모션 벡터들만을 잘라내는 수단;
    모션 벡터 예측 프로세스를 위해 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 수단;
    상기 시간 후보 모션 벡터 및 잘라낸 후 남은 상기 공간 후보 모션 벡터들의 리스트에서 상기 후보 모션 벡터들 중 선택된 후보 모션 벡터의 로케이션을 식별하는 인덱스를 결정하는 수단; 및
    비트스트림으로 상기 인덱스를 시그널링하는 수단을 포함하는, 비디오 데이터를 인코딩하는 장치.
  12. 삭제
  13. 제 11 항에 있어서,
    결정된 상기 공간 후보 모션 벡터들 각각이 공간적으로 예측되었는지 또는 시간적으로 예측되었는지 여부를 결정하는 수단을 더 포함하며,
    상기 공간 후보 모션 벡터들 중 중복된 공간 후보 모션 벡터들을 제거하기 위해 상기 공간 후보 모션 벡터들을 잘라내는 수단은, 결정된 상기 공간 후보 모션 벡터들 중 시간적으로 예측되는 것으로 결정된 공간 후보 모션 벡터들의 임의의 것을 잘라내지 않고, 결정된 상기 공간 후보 모션 벡터들 중 오직 공간적으로 예측되는 것으로 결정된 공간 후보 모션 벡터들만을 잘라내는 수단을 포함하며,
    상기 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 수단은, 상기 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터, 상기 공간 후보 모션 벡터들 중 시간적으로 예측되는 것으로 결정된 공간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 공간적으로 예측되는 것으로 결정된 공간 후보 모션 벡터를 선택하는 수단을 포함하는, 비디오 데이터를 인코딩하는 장치.
  14. 제 11 항에 있어서,
    결정된 상기 공간 후보 모션 벡터들 각각이 공간적으로 예측되었는지 또는 시간적으로 예측되었는지 여부를 결정하는 수단; 및
    상기 공간 후보 모션 벡터들 중 시간적으로 예측되는 것으로 결정된 임의의 공간 후보 모션 벡터를 디폴트 후보 모션 벡터로 대체하는 수단으로서, 상기 디폴트 후보 모션 벡터는 디폴트 모션 벡터 정보를 포함하며, 상기 디폴트 모션 벡터 정보는 모션 벡터 크기 (motion vector amplitude), 상기 참조 비디오 프레임이 상기 현재의 비디오 프레임을 시간적으로 선행하는지 또는 후행하는지 여부를 식별하는 예측 방향, 및 상기 참조 비디오 프레임을 식별하는 참조 인덱스를 포함하는, 상기 공간 후보 모션 벡터를 디폴트 후보 모션 벡터로 대체하는 수단을 더 포함하며,
    상기 공간 후보 모션 벡터들 중 중복된 공간 후보 모션 벡터들을 제거하기 위해 상기 공간 후보 모션 벡터들을 잘라내는 수단은, 상기 공간 후보 모션 벡터들 중 상기 중복된 공간 후보 모션 벡터들을 제거하기 위해 상기 디폴트 후보 모션 벡터들 중 하나 이상의 디폴트 후보 모션 벡터들을 포함하는 상기 공간 후보 모션 벡터들을 잘라내는 수단을 포함하는, 비디오 데이터를 인코딩하는 장치.
  15. 제 11 항에 있어서,
    시간적으로 예측되지 않고 상기 시간 후보 모션 벡터 및 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 임의의 것과는 상이한 하나 이상의 추가적인 공간 후보 모션 벡터들을 결정하는 수단을 더 포함하며,
    상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 수단은, 상기 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터, 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터 또는 상기 추가적인 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 수단을 포함하는, 비디오 데이터를 인코딩하는 장치.
  16. 비디오 데이터를 인코딩하는 장치로서,
    현재의 비디오 프레임의 현재의 부분과 연관된 공간 후보 모션 벡터들을 결정하는 것으로서, 상기 공간 후보 모션 벡터들은 상기 현재의 부분에 인접한 상기 현재의 비디오 프레임에 대한 이웃하는 부분들에 대해 결정된 모션 벡터들을 포함하는, 상기 공간 후보 모션 벡터들을 결정하고, 상기 현재의 비디오 프레임의 상기 현재의 부분과 연관된 시간 후보 모션 벡터를 결정하는 것으로서, 상기 시간 후보 모션 벡터는 참조 비디오 프레임의 부분에 대해 결정된 모션 벡터를 포함하는, 상기 시간 후보 모션 벡터를 결정하며, 잘라내는 프로세스 동안 상기 시간 후보 모션 벡터를 고려하지 않고, 상기 공간 후보 모션 벡터들 중 중복된 공간 후보 모션 벡터들을 제거하기 위해 오직 상기 공간 후보 모션 벡터들만을 잘라내는 모션 보상 유닛;
    모션 벡터 예측 프로세스를 위해 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하고 상기 시간 후보 모션 벡터 및 잘라낸 후 남은 상기 공간 후보 모션 벡터들의 리스트에서 상기 후보 모션 벡터들 중 선택된 후보 모션 벡터의 로케이션을 식별하는 인덱스를 결정하는 모드 선택 유닛; 및
    비트스트림으로 상기 인덱스를 시그널링하는 엔트로피 코딩 유닛을 포함하는, 비디오 데이터를 인코딩하는 장치.
  17. 삭제
  18. 제 16 항에 있어서,
    상기 현재의 부분은 현재의 코딩 유닛 (CU) 을 포함하며,
    상기 참조 비디오 프레임의 상기 부분은 상기 참조 비디오 프레임의 CU 를 포함하는, 비디오 데이터를 인코딩하는 장치.
  19. 제 16 항에 있어서,
    상기 모션 보상 유닛은 또한, 적어도 상기 선택된 후보 모션 벡터를 포함하는 예측 데이터를 포함하는 예측 유닛 (PU) 을 생성하며,
    상기 엔트로피 코딩 유닛은 상기 비트스트림으로 상기 PU 를 시그널링하는, 비디오 데이터를 인코딩하는 장치.
  20. 제 16 항에 있어서,
    상기 엔트로피 코딩 유닛은 상기 시간 후보 모션 벡터 및 잘라낸 후 남은 상기 공간 후보 모션 벡터들의 상기 리스트에서 상기 선택된 후보 모션 벡터의 상기 로케이션을 식별하는 모션 벡터 예측자 (motion vector predictor; MVP) 인덱스를 시그널링하는, 비디오 데이터를 인코딩하는 장치.
  21. 제 16 항에 있어서,
    상기 엔트로피 코딩 유닛은 인코딩된 인덱스를 생성하기 위해, 단항의 코드 또는 절단된 (truncated) 단항의 코드 중 하나를 이용하여 상기 인덱스를 인코딩하고, 상기 비트스트림으로 상기 인코딩된 인덱스를 시그널링하는, 비디오 데이터를 인코딩하는 장치.
  22. 제 16 항에 있어서,
    상기 모드 선택 유닛은 상기 시간 후보 모션 벡터 및 잘라낸 후 남은 상기 공간 후보 모션 벡터들 각각에 대해서 레이트-왜곡 분석을 수행하고, 상기 레이트-왜곡 분석에 기초하여 상기 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는, 비디오 데이터를 인코딩하는 장치.
  23. 제 16 항에 있어서,
    상기 모션 보상 유닛은 또한, 결정된 상기 공간 후보 모션 벡터들 각각이 공간적으로 예측되었는지 또는 시간적으로 예측되었는지 여부를 결정하고, 결정된 상기 공간 후보 모션 벡터들 중 시간적으로 예측되는 것으로 결정된 공간 후보 모션 벡터들의 임의의 것을 잘라내지 않고, 결정된 상기 공간 후보 모션 벡터들 중 오직 공간적으로 예측되는 것으로 결정된 공간 후보 모션 벡터들만을 잘라내며,
    상기 모드 선택 유닛은 상기 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터, 상기 공간 후보 모션 벡터들 중 시간적으로 예측되는 것으로 결정된 공간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 공간적으로 예측되는 것으로 결정된 공간 후보 모션 벡터를 선택하는, 비디오 데이터를 인코딩하는 장치.
  24. 제 16 항에 있어서,
    상기 모션 보상 유닛은 결정된 상기 공간 후보 모션 벡터들 각각이 공간적으로 예측되었는지 또는 시간적으로 예측되었는지 여부를 결정하고, 상기 공간 후보 모션 벡터들 중 시간적으로 예측되는 것으로 결정된 임의의 공간 후보 모션 벡터를 디폴트 후보 모션 벡터로 대체하는 것으로서, 상기 디폴트 후보 모션 벡터는 디폴트 모션 벡터 정보를 포함하며, 상기 디폴트 모션 벡터 정보는 모션 벡터 크기 (motion vector amplitude), 상기 참조 비디오 프레임이 상기 현재의 비디오 프레임을 시간적으로 선행하는지 또는 후행하는지 여부를 식별하는 예측 방향, 및 상기 참조 비디오 프레임을 식별하는 참조 인덱스를 포함하는, 상기 공간 후보 모션 벡터를 디폴트 후보 모션 벡터로 대체하며, 상기 공간 후보 모션 벡터들 중 상기 중복된 공간 후보 모션 벡터들 제거하기 위해 상기 디폴트 후보 모션 벡터들 중 하나 이상의 디폴트 후보 모션 벡터들을 포함하는 상기 공간 후보 모션 벡터들을 잘라내는, 비디오 데이터를 인코딩하는 장치.
  25. 제 16 항에 있어서,
    상기 모션 보상 유닛은 또한, 시간적으로 예측되지 않고 상기 시간 후보 모션 벡터 및 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 임의의 것과는 상이한 하나 이상의 추가적인 공간 후보 모션 벡터들을 결정하며,
    상기 모드 선택 유닛은 상기 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터, 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터 또는 상기 추가적인 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는, 비디오 데이터를 인코딩하는 장치.
  26. 명령들을 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령들은, 실행될 때, 하나 이상의 프로세서들로 하여금,
    현재의 비디오 프레임의 현재의 부분과 연관된 공간 후보 모션 벡터들을 결정하는 것으로서, 상기 공간 후보 모션 벡터들은 상기 현재의 부분에 인접한 상기 현재의 비디오 프레임의 이웃하는 부분들에 대해 결정된 모션 벡터들을 포함하는, 상기 공간 후보 모션 벡터들을 결정하도록 하고;
    상기 현재의 비디오 프레임의 상기 현재의 부분과 연관된 시간 후보 모션 벡터를 결정하는 것으로서, 상기 시간 후보 모션 벡터는 참조 비디오 프레임의 부분에 대해 결정된 모션 벡터를 포함하는, 상기 시간 후보 모션 벡터를 결정하도록 하고;
    잘라내는 프로세스 동안 상기 시간 후보 모션 벡터를 고려하지 않고, 상기 공간 후보 모션 벡터들 중 중복된 공간 후보 모션 벡터들을 제거하기 위해 오직 상기 공간 후보 모션 벡터들만을 잘라내도록 하고;
    모션 벡터 예측 프로세스를 위해 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하도록 하고;
    상기 시간 후보 모션 벡터 및 잘라낸 후 남은 상기 공간 후보 모션 벡터들의 리스트에서 상기 후보 모션 벡터 중 선택된 후보 모션 벡터의 로케이션을 식별하는 인덱스를 결정하도록 하며;
    비트스트림으로 상기 인덱스를 시그널링하도록 하는, 비일시적 컴퓨터 판독가능 매체.
  27. 비디오 데이터를 디코딩하는 방법으로서,
    현재의 비디오 프레임의 현재의 부분과 연관된 공간 후보 모션 벡터들을 결정하는 단계로서, 상기 공간 후보 모션 벡터들은 상기 현재의 비디오 프레임 내의 상기 현재의 부분에 인접한 공간적으로 이웃하는 부분들에 대해 결정된 이웃 모션 벡터들을 포함하는, 상기 공간 후보 모션 벡터들을 결정하는 단계;
    잘라내는 프로세스 동안 상기 현재의 비디오 프레임의 상기 현재의 부분에 대해 결정된 시간 후보 모션 벡터를 고려하지 않고, 상기 공간 후보 모션 벡터들 중 중복된 공간 후보 모션 벡터들을 제거하기 위해 오직 상기 공간 후보 모션 벡터들만을 잘라내는 단계로서, 상기 시간 후보 모션 벡터는 참조 비디오 프레임의 부분에 대해 결정된 모션 벡터를 포함하는, 상기 공간 후보 모션 벡터들만을 잘라내는 단계;
    비트스트림으로 시그널링된 모션 벡터 예측자 (motion vector predictor; MVP) 인덱스에 기초하여 모션 벡터 예측 프로세스를 위해 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 단계; 및
    상기 선택된 후보 모션 벡터에 기초하여 모션 보상을 수행하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
  28. 삭제
  29. 제 27 항에 있어서,
    상기 시간 후보 모션 벡터 더하기 상기 공간 후보 모션 벡터들 중 잘라낸 후 남은 공간 후보 모션 벡터들로서 후보 모션 벡터들의 개수를 결정하는 단계;
    결정된 상기 후보 모션 벡터들의 개수에 기초하여 상기 비트스트림으로부터 코딩된 MVP 인덱스를 파싱하는 단계로서, 상기 코딩된 MVP 인덱스는 단항의 코딩된 MVP 인덱스 및 절단된 (truncated) 단항의 코딩된 MVP 인덱스 중 하나를 포함하는, 상기 코딩된 MVP 인덱스를 파싱하는 단계; 및
    상기 MVP 인덱스를 결정하기 위해 상기 코딩된 MVP 인덱스를 디코딩하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
  30. 제 27 항에 있어서,
    상기 현재의 비디오 프레임의 상기 현재의 부분에 대한 상기 시간 후보 모션 벡터가 이용불가능하다는 것을 결정하는 단계; 및
    상기 시간 후보 모션 벡터가 이용불가능하다는 것을 결정하는 것에 응답하여, 상기 시간 후보 모션 벡터에 대한 디폴트 모션 벡터 정보를 결정하는 단계를 더 포함하며,
    상기 디폴트 모션 벡터 정보는 모션 벡터 크기 (motion vector amplitude), 상기 참조 비디오 프레임이 상기 현재의 비디오 프레임을 시간적으로 선행하는지 또는 후행하는지 여부를 식별하는 예측 방향, 및 상기 참조 비디오 프레임을 식별하는 참조 인덱스를 포함하는, 비디오 데이터를 디코딩하는 방법.
  31. 제 30 항에 있어서,
    결정된 상기 디폴트 모션 벡터 정보에 기초하여 컨텍스트 적응적 무손실 통계 디코딩을 수행하기 위한 컨텍스트를 결정하는 단계를 더 포함하며,
    상기 컨텍스트는 상기 비디오 데이터를 디코딩하는데 이용할 코딩 테이블을 식별하는, 비디오 데이터를 디코딩하는 방법.
  32. 제 30 항에 있어서,
    상기 디폴트 모션 벡터 정보를 결정하는 단계는,
    상기 참조 비디오 프레임이 인트라-코딩되었는지 여부를 결정하는 단계; 및
    상기 참조 비디오 프레임이 인트라-코딩되는 것으로 결정될 때, 상기 참조 비디오 프레임의 상기 부분에 대해 결정된 공간 모션 벡터들에 기초하여 상기 디폴트 모션 벡터 정보를 유도하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
  33. 제 27 항에 있어서,
    상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터가 이용불가능하다는 것을 결정하는 단계; 및
    상기 공간 후보 모션 벡터들 중 상기 하나의 공간 후보 모션 벡터가 이용불가능하다는 것을 결정하는 것에 응답하여, 모션 벡터 예측 모드에 기초하여 상기 공간 후보 모션 벡터들 중 상기 하나의 공간 후보 모션 벡터에 대한 디폴트 모션 벡터 정보를 포함하는 디폴트 후보 모션 벡터를 결정하는 단계를 더 포함하며,
    상기 공간 후보 모션 벡터들 중 중복된 공간 후보 모션 벡터들을 제거하기 위해 상기 공간 후보 모션 벡터들을 잘라내는 단계는, 상기 공간 후보 모션 벡터들 중 상기 중복된 공간 후보 모션 벡터들을 제거하기 위해 상기 디폴트 후보 모션 벡터들 중 하나 이상의 디폴트 후보 모션 벡터들을 포함하는 상기 공간 후보 모션 벡터들을 잘라내는 단계를 포함하며,
    상기 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 단계는, 상기 비트스트림으로 시그널링된 상기 모션 벡터 예측자 (MVP) 인덱스에 기초하여 상기 시간 후보 모션 벡터 또는 이용불가능한 것으로 결정된 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
  34. 제 33 항에 있어서,
    상기 디폴트 후보 모션 벡터를 결정하는 단계는, 상기 모션 벡터 예측 모드가 적응적 모션 벡터 예측 (AMVP) 모드일 때, 상기 참조 비디오 프레임이 상기 현재의 비디오 프레임을 시간적으로 선행하는지 또는 후행하는지 여부를 식별하는 예측 방향 또는 상기 참조 비디오 프레임을 식별하는 참조 인덱스를 결정하지 않고, 모션 벡터 크기 (motion vector amplitude) 를 결정하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
  35. 제 33 항에 있어서,
    상기 디폴트 후보 모션 벡터를 결정하는 단계는, 상기 모션 벡터 예측 모드가 병합 모드일 때, 모션 벡터 크기, 상기 참조 비디오 프레임이 상기 현재의 비디오 프레임을 시간적으로 선행하는지 또는 후행하는지 여부를 식별하는 예측 방향, 및 상기 참조 비디오 프레임을 식별하는 참조 인덱스를 결정하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
  36. 제 33 항에 있어서,
    결정된 상기 디폴트 후보 모션 벡터에 기초하여 컨텍스트 적응적 무손실 통계 디코딩을 수행하기 위한 컨텍스트를 결정하는 단계를 더 포함하며,
    상기 컨텍스트는 상기 비디오 데이터를 디코딩하는데 이용할 코딩 테이블을 식별하는, 비디오 데이터를 디코딩하는 방법.
  37. 제 27 항에 있어서,
    상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터가 이용불가능하다는 것을 결정하는 단계; 및
    상기 공간 후보 모션 벡터들 중 상기 하나의 공간 후보 모션 벡터가 이용불가능하다는 것을 결정하는 것에 응답하여, 상기 공간 후보 모션 벡터들 중 상기 잘라내는 프로세스로부터 이용불가능한 것으로 결정되는 공간 후보 모션 벡터를 제거하는 단계를 더 포함하며,
    상기 공간 후보 모션 벡터들을 잘라내는 단계는, 상기 현재의 비디오 프레임의 상기 현재의 부분에 대해 결정된 시간 후보 모션 벡터 또는 상기 공간 후보 모션 벡터들 중 이용불가능한 것으로 결정되는 공간 후보 모션 벡터를 제거하지 않고, 상기 공간 후보 모션 벡터들 중 상기 중복된 공간 후보 모션 벡터들을 제거하기 위해 상기 공간 후보 모션 벡터들 중 오직 이용가능한 것으로 결정된 공간 후보 모션 벡터들만을 잘라내는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
  38. 제 27 항에 있어서,
    시간적으로 예측되지 않고 상기 시간 후보 모션 벡터 및 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 임의의 것과는 상이한 하나 이상의 추가적인 공간 후보 모션 벡터들을 결정하는 단계를 더 포함하며,
    상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 단계는, 상기 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터, 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터 또는 상기 추가적인 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
  39. 비디오 데이터를 디코딩하는 장치로서,
    현재의 비디오 프레임의 현재의 부분과 연관된 공간 후보 모션 벡터들을 결정하는 수단으로서, 상기 공간 후보 모션 벡터들은 상기 현재의 부분에 인접한 상기 현재의 비디오 프레임의 이웃하는 부분들에 대해 결정된 모션 벡터들을 포함하는, 상기 공간 후보 모션 벡터들을 결정하는 수단;
    잘라내는 프로세스 동안 상기 현재의 비디오 프레임의 상기 현재의 부분에 대해 결정된 시간 후보 모션 벡터를 고려하지 않고, 상기 공간 후보 모션 벡터들 중 중복된 공간 후보 모션 벡터들을 제거하기 위해 오직 상기 공간 후보 모션 벡터들만을 잘라내는 수단으로서, 상기 시간 후보 모션 벡터는 참조 비디오 프레임의 부분에 대해 결정된 모션 벡터를 포함하는, 상기 공간 후보 모션 벡터들만을 잘라내는 수단;
    비트스트림으로 시그널링된 모션 벡터 예측자 (motion vector predictor; MVP) 인덱스에 기초하여 모션 벡터 예측 프로세스를 위해 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터 중 하나를 선택하는 수단; 및
    상기 선택된 후보 모션 벡터에 기초하여 모션 보상을 수행하는 수단을 포함하는, 비디오 데이터를 디코딩하는 장치.
  40. 삭제
  41. 제 39 항에 있어서,
    상기 시간 후보 모션 벡터 더하기 상기 공간 후보 모션 벡터들 중 잘라낸 후 남은 공간 후보 모션 벡터들로서 후보 모션 벡터들의 개수를 결정하는 수단;
    결정된 상기 후보 모션 벡터들의 개수에 기초하여 상기 비트스트림으로부터 코딩된 MVP 인덱스를 파싱하는 수단으로서, 상기 코딩된 MVP 인덱스는 단항의 코딩된 MVP 인덱스 및 절단된 (truncated) 단항의 코딩된 MVP 인덱스 중 하나를 포함하는, 상기 코딩된 MVP 인덱스를 파싱하는 수단; 및
    상기 MVP 인덱스를 결정하기 위해 상기 코딩된 MVP 인덱스를 디코딩하는 수단을 더 포함하는, 비디오 데이터를 디코딩하는 장치.
  42. 제 39 항에 있어서,
    상기 현재의 비디오 프레임의 상기 현재의 부분에 대한 상기 시간 후보 모션 벡터가 이용불가능하다는 것을 결정하는 수단; 및
    상기 시간 후보 모션 벡터가 이용불가능하다는 것을 결정하는 것에 응답하여, 상기 시간 후보 모션 벡터에 대한 디폴트 모션 벡터 정보를 결정하는 수단을 더 포함하며,
    상기 디폴트 모션 벡터 정보는 모션 벡터 크기 (motion vector amplitude), 상기 참조 비디오 프레임이 상기 현재의 비디오 프레임을 시간적으로 선행하는지 또는 후행하는지 여부를 식별하는 예측 방향, 및 상기 참조 비디오 프레임을 식별하는 참조 인덱스를 포함하는, 비디오 데이터를 디코딩하는 장치.
  43. 제 42 항에 있어서,
    결정된 상기 디폴트 모션 벡터 정보에 기초하여 컨텍스트 적응적 무손실 통계 디코딩을 수행하기 위한 컨텍스트를 결정하는 수단을 더 포함하며,
    상기 컨텍스트는 상기 비디오 데이터를 디코딩하는데 이용할 코딩 테이블을 식별하는, 비디오 데이터를 디코딩하는 장치.
  44. 제 42 항에 있어서,
    상기 디폴트 모션 벡터 정보를 결정하는 수단은,
    상기 참조 비디오 프레임이 인트라-코딩되었는지 여부를 결정하는 수단; 및
    상기 참조 비디오 프레임이 인트라-코딩되는 것으로 결정될 때, 상기 참조 비디오 프레임의 상기 부분에 대해 결정된 공간 모션 벡터들에 기초하여 상기 디폴트 모션 벡터 정보를 유도하는 수단을 포함하는, 비디오 데이터를 디코딩하는 장치.
  45. 제 39 항에 있어서,
    상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터가 이용불가능하다는 것을 결정하는 수단; 및
    상기 공간 후보 모션 벡터들 중 상기 하나의 공간 후보 모션 벡터가 이용불가능하다는 것을 결정하는 것에 응답하여, 모션 벡터 예측 모드에 기초하여 상기 공간 후보 모션 벡터들 중 상기 하나의 공간 후보 모션 벡터에 대한 디폴트 모션 벡터 정보를 포함하는 디폴트 후보 모션 벡터를 결정하는 수단을 더 포함하며,
    상기 공간 후보 모션 벡터들 중 중복된 공간 후보 모션 벡터들을 제거하기 위해 상기 공간 후보 모션 벡터들을 잘라내는 수단은, 상기 공간 후보 모션 벡터들 중 상기 중복된 공간 후보 모션 벡터들을 제거하기 위해 상기 디폴트 후보 모션 벡터들 중 하나 이상의 디폴트 후보 모션 벡터들을 포함하는 상기 공간 후보 모션 벡터들을 잘라내는 수단을 포함하며,
    상기 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 수단은, 상기 비트스트림으로 시그널링된 상기 모션 벡터 예측자 (MVP) 인덱스에 기초하여 상기 시간 후보 모션 벡터 또는 이용불가능한 것으로 결정된 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 수단을 포함하는, 비디오 데이터를 디코딩하는 장치.
  46. 제 45 항에 있어서,
    상기 디폴트 후보 모션 벡터를 결정하는 수단은, 상기 모션 벡터 예측 모드가 적응적 모션 벡터 예측 (AMVP) 모드일 때, 상기 참조 비디오 프레임이 상기 현재의 비디오 프레임을 시간적으로 선행하는지 또는 후행하는지 여부를 식별하는 예측 방향 또는 상기 참조 비디오 프레임을 식별하는 참조 인덱스를 결정하지 않고, 모션 벡터 크기 (motion vector amplitude) 를 결정하는 수단을 포함하는, 비디오 데이터를 디코딩하는 장치.
  47. 제 45 항에 있어서,
    상기 디폴트 후보 모션 벡터를 결정하는 수단은, 상기 모션 벡터 예측 모드가 병합 모드일 때, 모션 벡터 크기, 상기 참조 비디오 프레임이 상기 현재의 비디오 프레임을 시간적으로 선행하는지 또는 후행하는지 여부를 식별하는 예측 방향, 및 상기 참조 비디오 프레임을 식별하는 참조 인덱스를 결정하는 수단을 포함하는, 비디오 데이터를 디코딩하는 장치.
  48. 제 45 항에 있어서,
    결정된 상기 디폴트 후보 모션 벡터에 기초하여 컨텍스트 적응적 무손실 통계 디코딩을 수행하기 위한 컨텍스트를 결정하는 수단을 더 포함하며,
    상기 컨텍스트는 상기 비디오 데이터를 디코딩하는데 이용할 코딩 테이블을 식별하는, 비디오 데이터를 디코딩하는 장치.
  49. 제 39 항에 있어서,
    상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터가 이용불가능하다는 것을 결정하는 수단; 및
    상기 공간 후보 모션 벡터들 중 상기 하나의 공간 후보 모션 벡터가 이용불가능하다는 것을 결정하는 것에 응답하여, 상기 공간 후보 모션 벡터들 중 상기 잘라내는 프로세스로부터 이용불가능한 것으로 결정되는 공간 후보 모션 벡터를 제거하는 수단을 더 포함하며,
    오직 상기 공간 후보 모션 벡터들만을 잘라내는 수단은, 상기 현재의 비디오 프레임의 상기 현재의 부분에 대해 결정된 시간 후보 모션 벡터 또는 상기 공간 후보 모션 벡터들 중 이용불가능한 것으로 결정되는 공간 후보 모션 벡터를 제거하지 않고, 상기 공간 후보 모션 벡터들 중 상기 중복된 공간 후보 모션 벡터들을 제거하기 위해 공간 후보 모션 벡터들 중 오직 이용가능한 것으로 결정된 공간 후보 모션 벡터들만을 잘라내는 수단을 포함하는, 비디오 데이터를 디코딩하는 장치.
  50. 제 39 항에 있어서,
    시간적으로 예측되지 않고 상기 시간 후보 모션 벡터 및 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 임의의 것과는 상이한 하나 이상의 추가적인 공간 후보 모션 벡터들을 결정하는 수단을 더 포함하며,
    상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 수단은, 상기 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터, 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터 또는 상기 추가적인 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는 수단을 포함하는, 비디오 데이터를 디코딩하는 장치.
  51. 비디오 데이터를 디코딩하는 장치로서,
    현재의 비디오 프레임의 현재의 부분과 연관된 공간 후보 모션 벡터들을 결정하는 것으로서, 상기 공간 후보 모션 벡터들은 상기 현재의 부분에 인접한 이웃하는 부분들에 대해 결정된 이웃 모션 벡터들을 포함하는, 상기 공간 후보 모션 벡터들을 결정하고, 잘라내는 프로세스 동안 상기 현재의 비디오 프레임의 상기 현재의 부분에 대해 결정된 시간 후보 모션 벡터를 고려하지 않고, 상기 공간 후보 모션 벡터들 중 중복된 공간 후보 모션 벡터들을 제거하기 위해 오직 상기 공간 후보 모션 벡터들만을 잘라내는 것으로서, 상기 시간 후보 모션 벡터는 참조 비디오 프레임의 부분에 대해 결정된 모션 벡터를 포함하는, 상기 공간 후보 모션 벡터들만을 잘라내고, 비트스트림으로 시그널링된 모션 벡터 예측자 (motion vector predictor; MVP) 인덱스에 기초하여 모션 벡터 예측 프로세스를 위해 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터 중 하나를 선택하며, 상기 선택된 후보 모션 벡터에 기초하여 모션 보상을 수행하는 모션 보상 유닛을 포함하는, 비디오 데이터를 디코딩하는 장치.
  52. 삭제
  53. 제 51 항에 있어서,
    상기 모션 보상 유닛은 상기 시간 후보 모션 벡터 더하기 상기 공간 후보 모션 벡터들 중 잘라낸 후 남은 공간 후보 모션 벡터들로서 후보 모션 벡터들의 개수를 결정하며,
    상기 장치는 결정된 상기 후보 모션 벡터들의 개수에 기초하여 상기 비트스트림으로부터 코딩된 MVP 인덱스를 파싱하는 것으로서, 상기 코딩된 MVP 인덱스는 단항의 코딩된 MVP 인덱스 및 절단된 (truncated) 단항의 코딩된 MVP 인덱스 중 하나를 포함하는, 상기 코딩된 MVP 인덱스를 파싱하고, 상기 MVP 인덱스를 결정하기 위해 상기 코딩된 MVP 인덱스를 디코딩하는 엔트로피 디코딩 유닛을 더 포함하는, 비디오 데이터를 디코딩하는 장치.
  54. 제 51 항에 있어서,
    상기 현재의 비디오 프레임의 상기 현재의 부분에 대한 상기 시간 후보 모션 벡터가 이용불가능하다는 것을 결정하는 것; 및
    상기 시간 후보 모션 벡터가 이용불가능하다는 것을 결정하는 것에 응답하여, 상기 시간 후보 모션 벡터에 대한 디폴트 모션 벡터 정보를 결정하는 것을 더 포함하며,
    상기 디폴트 모션 벡터 정보는 모션 벡터 크기 (motion vector amplitude), 상기 참조 비디오 프레임이 상기 현재의 비디오 프레임을 시간적으로 선행하는지 또는 후행하는지 여부를 식별하는 예측 방향, 및 상기 참조 비디오 프레임을 식별하는 참조 인덱스를 포함하는, 비디오 데이터를 디코딩하는 장치.
  55. 제 54 항에 있어서,
    결정된 상기 디폴트 모션 벡터 정보에 기초하여 컨텍스트 적응적 무손실 통계 디코딩을 수행하기 위한 컨텍스트를 결정하는 엔트로피 디코딩 유닛을 더 포함하며,
    상기 컨텍스트는 상기 비디오 데이터를 디코딩하는데 이용할 코딩 테이블을 식별하는, 비디오 데이터를 디코딩하는 장치.
  56. 제 54 항에 있어서,
    상기 모션 보상 유닛은 또한, 상기 참조 비디오 프레임이 인트라-코딩되었는지 여부를 결정하고, 상기 참조 비디오 프레임이 인트라-코딩되는 것으로 결정될 때, 상기 현재의 부분이 상기 현재의 비디오 프레임 내에 있을 때와 동일한 참조 비디오 프레임의 로케이션에 동일 위치에 배치된 상기 참조 비디오 프레임의 상기 부분에 대해 결정된 공간 모션 벡터들에 기초하여 상기 디폴트 모션 벡터 정보를 유도하는, 비디오 데이터를 디코딩하는 장치.
  57. 제 51 항에 있어서,
    상기 모션 보상 유닛은,
    상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터가 이용불가능하다는 것을 결정하고,
    상기 공간 후보 모션 벡터들 중 상기 하나의 공간 후보 모션 벡터가 이용불가능하다는 것을 결정하는 것에 응답하여, 모션 벡터 예측 모드에 기초하여 상기 공간 후보 모션 벡터들 중 상기 하나의 공간 후보 모션 벡터에 대한 디폴트 모션 벡터 정보를 포함하는 디폴트 후보 모션 벡터를 결정하고,
    상기 공간 후보 모션 벡터들 중 상기 중복된 공간 후보 모션 벡터들을 제거하기 위해 상기 디폴트 후보 모션 벡터들 중 하나 이상의 디폴트 후보 모션 벡터들을 포함하는 상기 공간 후보 모션 벡터들을 잘라내며,
    비트스트림으로 시그널링된 상기 모션 벡터 예측자 (MVP) 인덱스에 기초하여 상기 시간 후보 모션 벡터들 중 하나의 시간 후보 모션 벡터, 이용불가능한 것으로 결정된 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는, 비디오 데이터를 디코딩하는 장치.
  58. 제 57 항에 있어서,
    상기 모션 보상 유닛은, 상기 모션 벡터 예측 모드가 적응적 모션 벡터 예측 (AMVP) 모드일 때, 상기 참조 비디오 프레임이 상기 현재의 비디오 프레임을 시간적으로 선행하는지 또는 후행하는지 여부를 식별하는 예측 방향 또는 상기 참조 비디오 프레임을 식별하는 참조 인덱스를 결정하지 않고, 모션 벡터 크기 (motion vector amplitude) 를 결정하는, 비디오 데이터를 디코딩하는 장치.
  59. 제 57 항에 있어서,
    상기 모션 보상 유닛은, 상기 모션 벡터 예측 모드가 병합 모드일 때, 모션 벡터 크기, 상기 참조 비디오 프레임이 상기 현재의 비디오 프레임을 시간적으로 선행하는지 또는 후행하는지 여부를 식별하는 예측 방향, 및 상기 참조 비디오 프레임을 식별하는 참조 인덱스를 결정하는, 비디오 데이터를 디코딩하는 장치.
  60. 제 57 항에 있어서,
    결정된 상기 디폴트 후보 모션 벡터에 기초하여 컨텍스트 적응적 무손실 통계 디코딩을 수행하기 위한 컨텍스트를 결정하는 엔트로피 디코딩 유닛을 더 포함하며,
    상기 컨텍스트는 상기 비디오 데이터를 디코딩하는데 이용할 코딩 테이블을 식별하는, 비디오 데이터를 디코딩하는 장치.
  61. 제 51 항에 있어서,
    상기 모션 보상 유닛은,
    상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터가 이용불가능하다는 것을 결정하고,
    상기 공간 후보 모션 벡터들 중 상기 하나의 공간 후보 모션 벡터가 이용불가능하다는 것을 결정하는 것에 응답하여, 상기 공간 후보 모션 벡터들 중 상기 잘라내는 프로세스로부터 이용불가능한 것으로 결정되는 공간 후보 모션 벡터를 제거하며,
    상기 현재의 비디오 프레임의 상기 현재의 부분에 대해 결정된 시간 후보 모션 벡터 또는 상기 공간 후보 모션 벡터들 중 이용불가능한 것으로 결정되는 공간 후보 모션 벡터를 제거하지 않고, 상기 공간 후보 모션 벡터들 중 상기 중복된 공간 후보 모션 벡터들을 제거하기 위해 상기 공간 후보 모션 벡터들 중 오직 이용가능한 것으로 결정된 공간 후보 모션 벡터들만을 잘라내는, 비디오 데이터를 디코딩하는 장치.
  62. 제 51 항에 있어서,
    상기 모션 보상 유닛은 또한,
    시간적으로 예측되지 않고 상기 시간 후보 모션 벡터 및 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 임의의 것과는 상이한 하나 이상의 추가적인 공간 후보 모션 벡터들을 결정하며,
    상기 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터, 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터 또는 상기 추가적인 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터를 선택하는, 비디오 데이터를 디코딩하는 장치.
  63. 명령들을 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령들은, 실행될 때, 하나 이상의 프로세서들로 하여금,
    현재의 비디오 프레임의 현재의 부분과 연관된 공간 후보 모션 벡터들을 결정하는 것으로서, 상기 공간 후보 모션 벡터들은 상기 현재의 부분에 인접한 상기 현재의 비디오 프레임의 이웃하는 부분들에 대해 결정된 모션 벡터들을 포함하는, 상기 공간 후보 모션 벡터들을 결정하도록 하고;
    잘라내는 프로세스 동안 상기 현재의 비디오 프레임의 상기 현재의 부분에 대해 결정된 시간 후보 모션 벡터를 고려하지 않고, 상기 공간 후보 모션 벡터들 중 중복된 공간 후보 모션 벡터들을 제거하기 위해 오직 상기 공간 후보 모션 벡터들만을 잘라내는 것으로서, 상기 시간 후보 모션 벡터는 참조 비디오 프레임의 부분에 대해 결정된 모션 벡터를 포함하는, 상기 공간 후보 모션 벡터들만을 잘라내도록 하고;
    비트스트림으로 시그널링된 모션 벡터 예측자 (motion vector predictor; MVP) 인덱스에 기초하여 모션 벡터 예측 프로세스를 위해 선택된 후보 모션 벡터로서 상기 시간 후보 모션 벡터 또는 잘라낸 후 남은 상기 공간 후보 모션 벡터들 중 하나의 공간 후보 모션 벡터 중 하나를 선택하도록 하며;
    상기 선택된 후보 모션 벡터에 기초하여 모션 보상을 수행하도록 하는, 비일시적 컴퓨터 판독가능 매체.
KR1020137022566A 2011-01-27 2012-01-18 비디오 코딩을 위한 모션 벡터 예측의 수행 KR101574866B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201161436997P 2011-01-27 2011-01-27
US61/436,997 2011-01-27
US201161449985P 2011-03-07 2011-03-07
US61/449,985 2011-03-07
US201161561601P 2011-11-18 2011-11-18
US61/561,601 2011-11-18
US13/351,980 US9319716B2 (en) 2011-01-27 2012-01-17 Performing motion vector prediction for video coding
US13/351,980 2012-01-17
PCT/US2012/021742 WO2012102927A1 (en) 2011-01-27 2012-01-18 Performing motion vector prediction for video coding

Publications (2)

Publication Number Publication Date
KR20130126691A KR20130126691A (ko) 2013-11-20
KR101574866B1 true KR101574866B1 (ko) 2015-12-04

Family

ID=46577354

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137022566A KR101574866B1 (ko) 2011-01-27 2012-01-18 비디오 코딩을 위한 모션 벡터 예측의 수행

Country Status (20)

Country Link
US (1) US9319716B2 (ko)
EP (1) EP2668784B1 (ko)
JP (1) JP5813784B2 (ko)
KR (1) KR101574866B1 (ko)
CN (1) CN103339938B (ko)
AU (1) AU2012209403B2 (ko)
BR (1) BR112013018816B1 (ko)
CA (1) CA2825154C (ko)
DK (1) DK2668784T3 (ko)
ES (1) ES2684522T3 (ko)
HU (1) HUE039019T2 (ko)
IL (1) IL227287A (ko)
MY (1) MY164598A (ko)
PL (1) PL2668784T3 (ko)
PT (1) PT2668784T (ko)
RU (1) RU2550554C2 (ko)
SG (1) SG191824A1 (ko)
SI (1) SI2668784T1 (ko)
WO (1) WO2012102927A1 (ko)
ZA (1) ZA201306423B (ko)

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474875B2 (en) 2010-06-07 2019-11-12 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
AR083954A1 (es) 2010-11-24 2013-04-10 Panasonic Corp Metodo para calcular vectores de movimiento, metodo para codificar imagenes, metodo para decodificar imagenes y aparato y sistema de calculo de vectores de movimiento
GB2487197B (en) * 2011-01-11 2015-06-17 Canon Kk Video encoding and decoding with improved error resilience
CN106851306B (zh) 2011-01-12 2020-08-04 太阳专利托管公司 动态图像解码方法和动态图像解码装置
US10404998B2 (en) * 2011-02-22 2019-09-03 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, and moving picture decoding apparatus
WO2012117728A1 (ja) 2011-03-03 2012-09-07 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、及び動画像符号化復号装置
US9066110B2 (en) 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding
US9143795B2 (en) 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
ES2685945T3 (es) 2011-04-12 2018-10-15 Sun Patent Trust Procedimiento de codificación de video de movimiento, y aparato de codificación de video de movimiento
DK2717575T3 (en) 2011-05-27 2019-01-28 Sun Patent Trust PICTURE CODING PROCEDURE AND PICTURE CODES
US9485518B2 (en) * 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
KR101889582B1 (ko) 2011-05-31 2018-08-20 선 페이턴트 트러스트 동화상 부호화 방법, 동화상 부호화 장치, 동화상 복호화 방법, 동화상 복호화 장치, 및, 동화상 부호화 복호화 장치
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
US9866859B2 (en) * 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
US9918068B2 (en) * 2011-06-15 2018-03-13 Media Tek Inc. Method and apparatus of texture image compress in 3D video coding
KR101900986B1 (ko) 2011-06-30 2018-09-20 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치, 및, 화상 부호화 복호 장치
AU2012291454B2 (en) 2011-08-03 2016-11-17 Sun Patent Trust Video encoding method, video encoding apparatus, video decoding method, video decoding apparatus, and video encoding/decoding apparatus
GB2493755B (en) * 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images
CN107483925B (zh) 2011-09-09 2020-06-19 株式会社Kt 用于解码视频信号的方法
IN2014CN02602A (ko) 2011-10-19 2015-08-07 Panasonic Corp
RU2577181C2 (ru) * 2011-10-21 2016-03-10 Нокиа Текнолоджиз Ой Способ и устройство для кодирования видеосигналов
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
US9088796B2 (en) * 2011-11-07 2015-07-21 Sharp Kabushiki Kaisha Video decoder with enhanced CABAC decoding
CN107396100B (zh) * 2011-11-08 2020-05-05 株式会社Kt 利用解码装置对视频信号进行解码的方法
JP2013141078A (ja) * 2011-12-28 2013-07-18 Jvc Kenwood Corp 動画像復号装置、動画像復号方法及び動画像復号プログラム
BR112014013969B1 (pt) * 2011-12-28 2022-05-10 JVC Kenwood Corporation Dispositivo de codificação de vídeo, método de codificação de vídeo, programa de codificação de vídeo, dispositivo de decodificação de vídeo, método de decodificação de vídeo, programa de decodificação de vídeo
JP5617834B2 (ja) * 2011-12-28 2014-11-05 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2013141077A (ja) * 2011-12-28 2013-07-18 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP5747816B2 (ja) * 2011-12-28 2015-07-15 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
TWI647950B (zh) * 2011-12-28 2019-01-11 日商Ｊｖｃ建伍股份有限公司 Dynamic image decoding device, dynamic image decoding method, and recording medium
WO2013107028A1 (en) * 2012-01-19 2013-07-25 Mediatek Singapore Pte. Ltd. Methods and apparatuses of amvp simplification
CN108055550B (zh) * 2012-01-19 2021-10-01 韩国电子通信研究院 用于图像编码/解码的方法和设备
US9729873B2 (en) 2012-01-24 2017-08-08 Qualcomm Incorporated Video coding using parallel motion estimation
US9426463B2 (en) 2012-02-08 2016-08-23 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9451277B2 (en) 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
CN104170386A (zh) * 2012-03-16 2014-11-26 松下电器产业株式会社 图像解码装置以及图像解码方法
US9584802B2 (en) * 2012-04-13 2017-02-28 Texas Instruments Incorporated Reducing context coded and bypass coded bins to improve context adaptive binary arithmetic coding (CABAC) throughput
US9838685B2 (en) * 2012-06-15 2017-12-05 Google Technology Holdings LLC Method and apparatus for efficient slice header processing
US20140079135A1 (en) * 2012-09-14 2014-03-20 Qualcomm Incoporated Performing quantization to facilitate deblocking filtering
US10178410B2 (en) * 2012-10-03 2019-01-08 Mediatek Inc. Method and apparatus of motion information management in video coding
CN102883163B (zh) * 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
AU2013330031B2 (en) * 2012-10-09 2016-06-30 Hfi Innovation Inc. Method and apparatus for motion information prediction and inheritance in video coding
US9826244B2 (en) * 2013-01-08 2017-11-21 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
CN103079067B (zh) * 2013-01-09 2016-03-09 华为技术有限公司 运动矢量预测值列表构建方法和视频编解码方法及装置
JP5983430B2 (ja) * 2013-01-25 2016-08-31 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
FR3011429A1 (fr) * 2013-09-27 2015-04-03 Orange Codage et decodage video par heritage d'un champ de vecteurs de mouvement
MX368934B (es) 2013-10-14 2019-10-22 Microsoft Technology Licensing Llc Caracteristicas de modo de mapa de indice de color base para codificacion y descodificacion de video e imagen.
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
RU2654129C2 (ru) 2013-10-14 2018-05-16 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Функциональные возможности режима внутреннего предсказания с блочным копированием для кодирования и декодирования видео и изображений
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
CN105917650B (zh) 2014-01-03 2019-12-24 微软技术许可有限责任公司 视频和图像编/解码的方法、计算设备及计算机可读介质
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
WO2015131323A1 (en) 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Block flipping and skip mode in intra block copy prediction
US9479788B2 (en) * 2014-03-17 2016-10-25 Qualcomm Incorporated Systems and methods for low complexity encoding and background detection
EP4354856A3 (en) 2014-06-19 2024-06-19 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
JP5874790B2 (ja) * 2014-09-08 2016-03-02 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5874791B2 (ja) * 2014-09-08 2016-03-02 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5874792B2 (ja) * 2014-09-08 2016-03-02 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5874793B2 (ja) * 2014-09-08 2016-03-02 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2017535145A (ja) 2014-09-30 2017-11-24 マイクロソフト テクノロジー ライセンシング，エルエルシー 波面並列処理が可能にされた場合のピクチャ内予測モードに関する規則
US9992512B2 (en) * 2014-10-06 2018-06-05 Mediatek Inc. Method and apparatus for motion vector predictor derivation
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
JP5975146B2 (ja) * 2015-05-14 2016-08-23 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
US10187653B2 (en) * 2015-05-18 2019-01-22 Avago Technologies International Sales Pte. Limited Motor vector prediction using co-located prediction units
KR102162856B1 (ko) 2015-05-21 2020-10-07 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 모션 보상을 위한 장치 및 방법
CN106664405B (zh) 2015-06-09 2020-06-09 微软技术许可有限责任公司 用调色板模式对经逸出编码的像素的稳健编码/解码
CN106559669B (zh) 2015-09-29 2018-10-09 华为技术有限公司 预测图像编解码方法及装置
US10225572B2 (en) * 2015-09-30 2019-03-05 Apple Inc. Configurable motion estimation search systems and methods
US10477233B2 (en) * 2015-09-30 2019-11-12 Apple Inc. Predictor candidates for motion estimation search systems and methods
JP6037061B2 (ja) * 2016-01-18 2016-11-30 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5962877B1 (ja) * 2016-04-26 2016-08-03 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP5962876B1 (ja) * 2016-04-26 2016-08-03 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP5962875B1 (ja) * 2016-04-26 2016-08-03 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP6183505B2 (ja) * 2016-06-29 2017-08-23 株式会社Ｊｖｃケンウッド 動画像符号化装置
US10567461B2 (en) * 2016-08-04 2020-02-18 Twitter, Inc. Low-latency HTTP live streaming
CN109644271B (zh) * 2016-09-06 2021-04-13 联发科技股份有限公司 用于二叉树分割块的确定候选集的方法及装置
KR20180103733A (ko) * 2017-03-09 2018-09-19 주식회사 케이티 영상 부호화 또는 복호화 방법 및 장치
EP3410717A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing Methods and apparatus for candidate list pruning
CN116389748A (zh) * 2017-09-13 2023-07-04 三星电子株式会社 编码设备和方法以及解码设备和方法
JP6406409B2 (ja) * 2017-09-28 2018-10-17 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び、動画像復号プログラム
JP6406408B2 (ja) * 2017-09-28 2018-10-17 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び、動画像復号プログラム
KR102347598B1 (ko) * 2017-10-16 2022-01-05 삼성전자주식회사 영상 부호화 장치 및 인코더
KR102476204B1 (ko) * 2017-10-19 2022-12-08 삼성전자주식회사 멀티 코덱 인코더 및 이를 포함하는 멀티 코덱 인코딩 시스템
KR102604775B1 (ko) * 2017-11-09 2023-11-21 삼성전자주식회사 움직임 정보의 부호화 장치 및 방법, 및 복호화 장치 및 방법
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
KR20190113652A (ko) * 2018-03-27 2019-10-08 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN114900694A (zh) 2018-06-29 2022-08-12 抖音视界(北京)有限公司 哪个查找表需要更新或不更新
KR20210025537A (ko) 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념
CN110662063B (zh) 2018-06-29 2020-12-15 北京字节跳动网络技术有限公司 视频处理方法、装置和计算机可读存储介质
CN115988203A (zh) * 2018-06-29 2023-04-18 北京字节跳动网络技术有限公司 用于视频处理的方法、装置、计算机可读存储介质
JP7328330B2 (ja) 2018-06-29 2023-08-16 北京字節跳動網絡技術有限公司 Ｌｕｔにおける動き候補のチェック順序
GB2588006B (en) 2018-06-29 2023-03-22 Beijing Bytedance Network Tech Co Ltd Number of motion candidates in a look up table to be checked according to mode
CN114125450B (zh) 2018-06-29 2023-11-17 北京字节跳动网络技术有限公司 一种用于处理视频数据的方法、装置和计算机可读介质
CN110662052B (zh) 2018-06-29 2022-07-08 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
CN110662039B (zh) 2018-06-29 2022-06-07 北京字节跳动网络技术有限公司 查找表的更新：fifo、约束的fifo
TWI723446B (zh) 2018-07-02 2021-04-01 大陸商北京字節跳動網絡技術有限公司 具有lic的lut
WO2020043004A1 (zh) 2018-08-28 2020-03-05 华为技术有限公司 候选运动信息列表的构建方法、帧间预测方法及装置
CN110868601B (zh) 2018-08-28 2024-03-15 华为技术有限公司 帧间预测方法、装置以及视频编码器和视频解码器
WO2020055169A1 (ko) * 2018-09-11 2020-03-19 김기백 인터 예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2020053800A1 (en) 2018-09-12 2020-03-19 Beijing Bytedance Network Technology Co., Ltd. How many hmvp candidates to be checked
CN111147847B (zh) 2018-11-02 2024-05-10 北京字节跳动网络技术有限公司 几何分割模式中基于历史的运动矢量预测候选的使用
EP3888355A4 (en) 2019-01-10 2022-03-23 Beijing Bytedance Network Technology Co., Ltd. LOOKUP TABLE UPDATE INVOCATION
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
CN113330739A (zh) 2019-01-16 2021-08-31 北京字节跳动网络技术有限公司 Lut中的运动候选的插入顺序
US10979716B2 (en) * 2019-03-15 2021-04-13 Tencent America LLC Methods of accessing affine history-based motion vector predictor buffer
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
CN111741304A (zh) * 2019-03-25 2020-10-02 四川大学 一种基于运动矢量细化的帧率上变换与hevc相结合的方法
WO2020248925A1 (en) 2019-06-08 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. History-based motion vector prediction with default parameters
US20240080451A1 (en) * 2022-09-02 2024-03-07 Tencent America LLC Systems and methods for temporal motion vector prediction candidate derivation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090304084A1 (en) * 2008-03-19 2009-12-10 Nokia Corporation Combined motion vector and reference index prediction for video coding

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6968008B1 (en) * 1999-07-27 2005-11-22 Sharp Laboratories Of America, Inc. Methods for motion estimation with adaptive motion accuracy
US6671321B1 (en) 1999-08-31 2003-12-30 Mastsushita Electric Industrial Co., Ltd. Motion vector detection device and motion vector detection method
JP2001251632A (ja) 1999-12-27 2001-09-14 Toshiba Corp 動きベクトル検出方法および装置並びに動きベクトル検出プログラム
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7408986B2 (en) 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
US20040258147A1 (en) 2003-06-23 2004-12-23 Tsu-Chang Lee Memory and array processor structure for multiple-dimensional signal processing
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US20080144716A1 (en) 2004-03-11 2008-06-19 Gerard De Haan Method For Motion Vector Determination
KR100587562B1 (ko) 2004-04-13 2006-06-08 삼성전자주식회사 비디오 프레임에 대한 움직임 추정 방법 및 비디오 인코더
US9100535B2 (en) 2008-10-22 2015-08-04 Entropic Communications, Llc Device and method for motion estimation and compensation
CN102860006B (zh) * 2010-02-05 2016-11-23 瑞典爱立信有限公司 管理预测运动向量候选
ES2622732T3 (es) 2011-01-07 2017-07-07 Ntt Docomo, Inc. Procedimiento de codificación predictiva, dispositivo de codificación predictiva y programa de codificación predictiva de un vector de movimiento, y procedimiento de descodificación predictiva, dispositivo de descodificación predictiva y programa de descodificación predictiva de un vector de movimiento
JP2012151576A (ja) 2011-01-18 2012-08-09 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
JP2013141077A (ja) 2011-12-28 2013-07-18 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090304084A1 (en) * 2008-03-19 2009-12-10 Nokia Corporation Combined motion vector and reference index prediction for video coding

Also Published As

Publication number Publication date
SI2668784T1 (en) 2018-08-31
PL2668784T3 (pl) 2018-12-31
DK2668784T3 (en) 2018-08-20
JP2014509480A (ja) 2014-04-17
KR20130126691A (ko) 2013-11-20
ZA201306423B (en) 2014-04-30
CN103339938A (zh) 2013-10-02
US9319716B2 (en) 2016-04-19
EP2668784A1 (en) 2013-12-04
AU2012209403B2 (en) 2015-10-01
PT2668784T (pt) 2018-10-09
IL227287A (en) 2016-10-31
JP5813784B2 (ja) 2015-11-17
AU2012209403A1 (en) 2013-08-01
MY164598A (en) 2018-01-30
US20120195368A1 (en) 2012-08-02
WO2012102927A1 (en) 2012-08-02
RU2550554C2 (ru) 2015-05-10
IL227287A0 (en) 2013-09-30
RU2013139569A (ru) 2015-03-10
CN103339938B (zh) 2016-10-05
BR112013018816B1 (pt) 2022-07-19
ES2684522T3 (es) 2018-10-03
SG191824A1 (en) 2013-08-30
CA2825154C (en) 2016-10-04
CA2825154A1 (en) 2012-08-02
BR112013018816A2 (pt) 2017-07-25
HUE039019T2 (hu) 2018-12-28
EP2668784B1 (en) 2018-05-30

Similar Documents

Publication Publication Date Title
KR101574866B1 (ko) 비디오 코딩을 위한 모션 벡터 예측의 수행
JP6284954B2 (ja) イントラ予測のためのモード決定の簡略化
US9762904B2 (en) Performing motion vector prediction for video coding
AU2012273399B2 (en) Unified merge mode and adaptive motion vector prediction mode candidates selection
KR101536540B1 (ko) 비디오 코딩을 위한 병렬화 친화적인 병합 후보들
JP5866453B2 (ja) イントラモードコーディングにおける参照モード選択
KR20130126688A (ko) 모션 벡터 예측
RU2574280C2 (ru) Выбор единых кандидатов режима слияния и адаптивного режима предсказания вектора движения

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190924

Year of fee payment: 5