KR20210024501A - Lut에서의 모션 후보들의 검사 순서 - Google Patents

Lut에서의 모션 후보들의 검사 순서 Download PDF

Info

Publication number
KR20210024501A
KR20210024501A KR1020207037995A KR20207037995A KR20210024501A KR 20210024501 A KR20210024501 A KR 20210024501A KR 1020207037995 A KR1020207037995 A KR 1020207037995A KR 20207037995 A KR20207037995 A KR 20207037995A KR 20210024501 A KR20210024501 A KR 20210024501A
Authority
KR
South Korea
Prior art keywords
motion
candidates
block
candidate
motion candidates
Prior art date
Application number
KR1020207037995A
Other languages
English (en)
Other versions
KR102646649B1 (ko
Inventor
리 장
카이 장
훙빈 류
웨 왕
Original Assignee
베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
바이트댄스 아이엔씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드, 바이트댄스 아이엔씨 filed Critical 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
Priority to KR1020237045265A priority Critical patent/KR20240005240A/ko
Priority to KR1020237045268A priority patent/KR20240007298A/ko
Publication of KR20210024501A publication Critical patent/KR20210024501A/ko
Application granted granted Critical
Publication of KR102646649B1 publication Critical patent/KR102646649B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/557—Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

비디오 처리 방법은 테이블들을 유지하는 단계- 각각의 테이블은 모션 후보들의 세트를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관됨 -; 및 하나 이상의 테이블 중 적어도 일부에 기초하여, 제1 비디오 블록과 제1 비디오 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계- 수행하는 단계는 검사 종료 기준이 충족될 때까지 규칙에서 정의된 순서대로 테이블의 모션 후보들을 검사하는 단계를 포함함 -를 포함한다.

Description

LUT에서의 모션 후보들의 검사 순서
관련 출원들에 대한 상호 참조
파리 조약에 따른 적용가능한 특허법 및/또는 규칙들 하에서, 본 출원은 2018년 6월 29일자로 출원된 국제 특허 출원 제PCT/CN2018/093663호, 2018년 8월 18일자로 출원된 국제 특허 출원 제PCT/CN2018/101220호, 2018년 9월 12일자로 출원된 국제 특허 출원 제PCT/CN2018/105193호 및 2018년 11월 27일자로 출원된 국제 특허 출원 제PCT/CN2018/117627호에 대한 우선권 및 이익을 적시에 주장하도록 이루어진다. 미국 법 하에서 모든 목적을 위해, 국제 특허 출원 번호 PCT/CN2018/093663, 국제 특허 출원 번호 PCT/CN2018/101220, 국제 특허 출원 번호 PCT/CN2018/105193 및 국제 특허 출원 번호 PCT/CN2018/117627의 전체 개시내용은 본 출원의 개시내용의 일부로서 참조로 포함된다.
기술 분야
본 특허 문서는 비디오 코딩 및 디코딩 기술, 디바이스 및 시스템에 관련한 것이다.
비디오 압축의 발전에도 불구하고, 디지털 비디오는 인터넷 및 다른 디지털 통신 네트워크들에서 여전히 가장 큰 대역폭 사용을 차지한다. 비디오를 수신 및 디스플레이할 수 있는 연결된 사용자 디바이스들의 수가 증가함에 따라, 디지털 비디오 사용에 대한 대역폭 수요가 계속 증가할 것으로 예상된다.
본 문서는 디지털 비디오를 인코딩 및 디코딩하기 위한 방법들, 시스템들 및 디바이스들을 개시한다.
하나의 예시적인 양태에서, 비디오 처리 방법이 개시된다. 이 방법은 테이블들을 유지하는 단계- 각각의 테이블은 모션 후보들의 세트를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관됨 -; 및 하나 이상의 테이블 중 적어도 일부에 기초하여, 제1 비디오 블록과 제1 비디오 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계- 수행하는 단계는 검사 종료 기준이 충족될 때까지 규칙에서 정의된 순서대로 테이블의 모션 후보들을 검사하는 단계를 포함함 -를 포함한다.
또 다른 예시적인 양태에서, 본 명세서에 설명된 비디오 인코딩 방법을 구현하는 비디오 인코더 디바이스가 개시된다.
또 다른 대표적인 양태에서, 본 명세서에 설명된 다양한 기술들이 비일시적 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 프로그램 제품으로서 구현될 수 있다. 컴퓨터 프로그램 제품은 본 명세서에 설명된 방법들을 수행하기 위한 프로그램 코드를 포함한다.
또 다른 대표적인 양태에서, 비디오 디코더 장치는 본 명세서에 설명된 방법을 구현할 수 있다.
하나 이상의 구현의 세부사항들이 이하의 첨부물들, 도면들 및 설명에서 기재되어 있다. 다른 특징들은 설명 및 도면들로부터 그리고 청구항들로부터 명백히 알 수 있을 것이다.
도 1은 비디오 인코더 구현의 예를 나타내는 블록도이다.
도 2는 H.264 비디오 코딩 표준의 매크로블록 파티셔닝을 도시한다.
도 3은 코딩 블록(CB)들을 예측 블록(PU)들로 분할하는 예를 도시한다.
도 4는 CTB를 CB들 및 변환 블록(TB)들로 세분화하기 위한 예시적인 구현을 도시한다. 실선들은 CB 경계들을 나타내고, 점선들은 그 파티셔닝을 갖는 예시적인 CTB, 및 대응하는 쿼드트리를 포함하는 TB 경계들을 나타낸다.
도 5는 비디오 데이터를 파티셔닝하기 위한 QTBT(Quad Tree Binary Tree) 구조의 예를 도시한다.
도 6은 비디오 블록 파티셔닝의 예를 도시한다.
도 7은 쿼드-트리 파티셔닝의 예를 도시한다.
도 8은 트리-타입 시그널링의 예를 도시한다.
도 9는 병합 후보 리스트 구성을 위한 도출 프로세스의 예를 도시한다.
도 10은 공간 병합 후보들의 예시적인 위치들을 도시한다.
도 11은 공간 병합 후보들의 중복 검사를 위해 고려되는 후보 쌍들의 예들을 도시한다.
도 12는 Nx2N 및 2NxN 파티션의 제2 PU에 대한 위치의 예를 도시한다.
도 13은 시간 병합 후보들에 대한 모션 벡터 스케일링을 예시한다.
도 14는 시간 병합 후보들 및 그들의 병치된 픽처에 대한 후보 위치들을 도시한다.
도 15는 조합된 양방향 예측 병합 후보의 예를 도시한다.
도 16은 모션 벡터 예측 후보에 대한 도출 프로세스의 예를 도시한다.
도 17은 공간 모션 벡터 후보에 대한 모션 벡터 스케일링의 예를 도시한다.
도 18은 CU의 모션 예측을 위한 예시적인 ATMVP(Alternative Temporal Motion Vector Prediction)를 도시한다.
도 19는 소스 블록 및 소스 픽처의 식별의 예를 도식적으로 도시한다.
도 20은 4개의 서브 블록 및 이웃 블록들을 갖는 하나의 CU의 예를 도시한다.
도 21은 양방향 매칭의 예를 도시한다.
도 22는 템플릿 매칭의 예를 도시한다.
도 23은 FRUC(Frame Rate Up Conversion)에서의 단방향 모션 추정(ME)의 예를 도시한다.
도 24는 양방향 템플릿 매칭에 기초한 DMVR의 예를 도시한다.
도 25는 공간 병합 후보들을 도출하는 데 사용되는 공간 이웃 블록들의 예를 도시하는 도면이다.
도 26은 룩업 테이블 업데이트들을 위한 대표적인 위치의 선택 방법의 예를 도시한다.
도 27a 및 도 27b는 새로운 모션 정보 세트로 룩업 테이블을 업데이트하는 예를 도시하는 도면이다.
도 28은 본 문서에 설명된 비주얼 미디어 디코딩 또는 비주얼 미디어 인코딩 기술을 구현하는 하드웨어 플랫폼의 예의 블록도이다.
도 29는 예시적인 비디오 비트스트림 처리 방법에 대한 흐름도이다.
도 30은 제안된 HMVP 방법을 갖는 디코딩 흐름도의 예를 도시한다.
도 31은 제안된 HMVP 방법을 사용하여 테이블들을 업데이트하는 예들을 도시한다.
도 32a 및 도 32b는 (하나의 중복 모션 후보가 제거된) 중복 제거 기반 LUT 업데이트 방법의 예들을 도시한다.
도 33a 및 도 33b는 (다수의 중복 모션 후보들이 제거된) 중복 제거 기반 테이블 업데이트 방법의 예들을 도시한다.
비디오의 압축비를 향상시키기 위해, 연구자들은 비디오를 인코딩하는 새로운 기술들을 계속 찾고 있다.
1. 도입
본 문서는 비디오 코딩 기술들에 관련한 것이다. 구체적으로, 이는 비디오 코딩에서의 모션 정보 코딩(예를 들어 병합 모드, AMVP 모드)에 관련된다. 이는 HEVC와 같은 기존의 비디오 코딩 표준, 또는 완성될 표준(다용도 비디오 코딩(Versatile Video Coding))에 적용될 수 있다. 이는 또한 장래의 비디오 코딩 표준들 또는 비디오 코덱에도 적용가능할 수 있다.
간략한 설명
비디오 코딩 표준들은 주로 알려진 ITU-T 및 ISO/IEC 표준들의 개발을 통해 발전했다. ITU-T는 H.261 및 H.263를 생성하고, ISO/IEC는 MPEG-1 및 MPEG-4 Visual을 생성하였으며, 두 기구가 공동으로 H.262/MPEG-2 비디오 및 H.264/MPEG-4 AVC(Advanced Video Coding) 및 H.265/HEVC 표준들을 생성하였다. H.262 이래로, 비디오 코딩 표준들은 시간 예측 + 변환 코딩이 이용되는 하이브리드 비디오 코딩 구조에 기초한다. 전형적인 HEVC 인코더 프레임워크의 예가 도 1에 도시된다.
2.1 파티션 구조
2.1.1 H.264/AVC에서의 파티션 트리 구조
이전 표준들에서의 코딩 층의 코어는 루마 샘플들의 16Х16 블록 및, 4:2:0 컬러 샘플링의 일반적인 경우에, 크로마 샘플들의 2개의 대응하는 8Х8 블록들을 포함하는 매크로블록이었다.
인트라-코딩된 블록은 픽셀들 간의 공간 상관을 활용하기 위해 공간 예측을 사용한다. 2개의 파티션, 즉 16x16 및 4x4가 정의된다.
인터-코딩된 블록은 픽처들 간의 모션을 추정함으로써 공간 예측 대신에 시간 예측을 사용한다. 모션은 16x16 매크로블록 또는 그의 서브-매크로블록 파티션들- 16x8, 8x16, 8x8, 8x4, 4x8, 4x4(도 2 참조) - 중 임의의 것 중 어느 쪽이든에 대해 독립적으로 추정될 수 있다: 서브-매크로블록 파티션당 단 하나의 모션 벡터(MV) 만이 허용된다.
2.1.2 HEVC에서의 파티션 트리 구조
HEVC에서, CTU는 다양한 로컬 특성들에 적응하기 위해 코딩 트리로서 표시된 쿼드트리 구조를 사용함으로써 CU들로 분할된다. 인터-픽처(시간) 또는 인트라-픽처(공간) 예측 중 어느쪽을 사용하여 픽처 영역을 코딩할지의 결정은 CU 레벨에서 이루어진다. 각각의 CU는 PU 분할 타입에 따라 1개, 2개 또는 4개의 PU로 추가로 분할될 수 있다. 하나의 PU 내부에서, 동일한 예측 프로세스가 적용되고 관련 정보가 PU 기준으로 디코더에 송신된다. PU 분할 타입에 기초하여 예측 프로세스를 적용함으로써 잔차 블록을 획득한 이후에, CU는 CU에 대한 코딩 트리와 유사한 다른 쿼드트리 구조에 따라 변환 유닛(TU)들로 파티셔닝될 수 있다. HEVC 구조의 주요 특징 중 하나는 그것이 CU, PU, 및 TU를 포함하는 다수의 파티션 개념들을 갖는다는 것이다.
이하에서, HEVC를 사용하는 하이브리드 비디오 코딩에 수반되는 다양한 특징들이 다음과 같이 강조된다.
1) 코딩 트리 유닛 및 코딩 트리 블록(CTB) 구조: HEVC에서의 유사한 구조는 인코더에 의해 선택된 크기를 가지며 전통적인 매크로블록보다 클 수 있는 코딩 트리 유닛(CTU)이다. CTU는 루마 CTB 및 대응하는 크로마 CTB들 및 신택스 엘리먼트들로 구성된다. 루마 CTB의 크기 LХL은 L= 16, 32 또는 64 샘플로서 선택될 수 있고, 더 큰 크기들은 전형적으로 더 양호한 압축을 가능하게 한다. HEVC는 이어서 트리 구조 및 쿼드트리형 시그널링을 사용하여 CTB들의 더 작은 블록들로의 파티셔닝을 지원한다.
2) 코딩 유닛(CU)들 및 코딩 블록(CB)들: CTU의 쿼드트리 신택스는 그 루마 및 크로마 CB들의 크기 및 위치들을 지정한다. 쿼드트리의 루트는 CTU와 연관된다. 따라서, 루마 CTB의 크기는 루마 CB에 대해 가장 큰 지원되는 크기이다. 루마 및 크로마 CB들로의 CTU의 분할은 공동으로 시그널링된다. 하나의 루마 CB 및 통상적으로 2개의 크로마 CB들은 연관된 신택스와 함께 코딩 유닛(CU)을 형성한다. CTB는 단 하나의 CU만을 포함할 수 있거나 다수의 CU들을 형성하도록 분할될 수 있고, 각각의 CU는 예측 유닛(PU)들 및 변환 유닛(TU)들의 트리로의 연관된 파티셔닝을 갖는다.
3) 예측 유닛들 및 예측 블록(PB)들: 인터 픽처 또는 인트라 픽처 예측 중 어느 쪽을 사용하여 픽처 영역을 코딩할지의 결정은 CU 레벨에서 이루어진다. PU 파티셔닝 구조는 CU 레벨에서 그의 루트를 갖는다. 기본 예측 타입 결정에 따라, 루마 및 크로마 CB들은 이어서 크기가 추가로 분할되고 루마 및 크로마 예측 블록(PB)들로부터 예측될 수 있다. HEVC는 64Х64에서 4Х4 샘플까지의 가변 PB 크기들을 지원한다. 도 3은 MxM CU에 대한 허용된 PB들의 예들을 도시한다.
4) TU들 및 변환 블록들: 예측 잔차는 블록 변환을 사용하여 코딩된다. TU 트리 구조는 CU 레벨에서 그의 루트를 갖는다. 루마 CB 잔차는 루마 변환 블록(TB)과 동일하거나 더 작은 루마 TB들로 추가로 분할될 수 있다. 이는 크로마 TB에도 적용된다. 이산 코사인 변환(DCT)의 것들과 유사한 정수 기저 함수들은 정사각형 TB 크기들 4Х4, 8Х8, 16Х16 및 32Х32에 대해 정의된다. 루마 인트라 픽처 예측 잔차들의 4Х4 변환의 경우, 이산 사인 변환(DST)의 형태로부터 도출된 정수 변환이 대안적으로 지정된다.
도 4는 CTB의 CB들[및 변환 블록(TB들)]로의 세분화의 예를 도시한다. 실선들은 CB 경계들을 나타내고 점선들은 TB 경계들을 나타낸다. (a) 자신의 파티셔닝을 갖는 CTB. (b) 대응하는 쿼드트리
2.1.2.1 변환 블록들 및 유닛들로의 트리-구조 파티셔닝
잔차 코딩의 경우, CB는 변환 블록(TB)들로 재귀적으로 파티셔닝될 수 있다. 파티셔닝은 잔차 쿼드트리에 의해 시그널링된다. 정사각형 CB 및 TB 파티셔닝만이 지정되며, 여기서 블록은 도 4에 도시된 바와 같이 사분면들로 재귀적으로 분할될 수 있다. 크기 MХM의 주어진 루마 CB에 대해, 플래그는 그것이 크기 M/2ХM/2의 4개의 블록들로 분할되는지 여부를 시그널링한다. SPS에 표시되는 잔차 쿼드트리의 최대 깊이에 의해 시그널링되는 바와 같이, 추가의 분할이 가능하면, 각각의 사분면에는 이것이 4개의 사분면으로 분할되는지 여부를 표시하는 플래그가 할당된다. 잔차 쿼드트리로부터 얻어지는 리프 노드 블록들은 변환 코딩에 의해 추가로 처리되는 변환 블록들이다. 인코더는 사용할 최대 및 최소 루마 TB 크기를 나타낸다. CB 크기가 최대 TB 크기보다 클 때 분할은 암시적이다. 분할이 표시된 최소값보다 작은 루마 TB 크기를 초래할 때는 분할은 암시적이지 않다. 크로마 TB 크기는, 루마 TB 크기가 4Х4인 경우를 제외하고, 각 차원에서 루마 TB 크기의 절반이며, 이 경우 단일 4Х4 크로마 TB가 4개의 4Х4 루마 TB들에 의해 커버되는 영역에 사용된다. 인트라-픽처-예측된 CU들의 경우, (CB 내 또는 외부의) 가장 가까운-이웃하는 TB들의 디코딩된 샘플들이 인트라 픽처 예측을 위한 기준 데이터로서 사용된다.
이전의 표준들과 대조적으로, HEVC 설계는 TB가 쿼드트리 구조 TB 파티셔닝의 잠재적 코딩 효율 이점들을 최대화하기 위해 인터-픽처 예측 CU들에 대해 다수의 PB들에 걸쳐질 수 있게 한다.
2.1.2.2 부모 및 자식 노드들
CTB는 그 노드들이 코딩 유닛들인 쿼드-트리 구조에 따라 분할된다. 쿼드-트리 구조 내의 복수의 노드들은 리프 노드들 및 비-리프 노드들을 포함한다. 리프 노드들은 트리 구조에서 자식 노드들을 갖지 않는다(즉, 리프 노드들은 추가로 분할되지 않는다). 비-리프 노드들은 트리 구조의 루트 노드를 포함한다. 루트 노드는 비디오 데이터(예를 들어, CTB)의 초기 비디오 블록에 대응한다. 복수의 노드들의 각각의 비루트 노드 각각에 대해, 각각의 비루트 노드는 각각의 비루트 노드의 트리 구조 내의 부모 노드에 대응하는 비디오 블록의 서브 블록인 비디오 블록에 대응한다. 복수의 비-리프 노드 중 각각의 비-리프 노드 각각은 트리 구조에서 하나 이상의 자식 노드를 갖는다.
2.1.3 JEM에서 더 큰 CTU들을 갖는 쿼드트리 + 이진 트리 블록 구조
HEVC를 넘어서는 장래의 비디오 코딩 기술들을 탐구하기 위해, JVET(Joint Video Exploration Team)가 2015년에 VCEG 및 MPEG에 의해 공동으로 설립되었다. 그 후, 많은 새로운 방법들이 JVET에 의해 채택되어 JEM(Joint Exploration Model)이라 명명된 참조 소프트웨어에 들어갔다.
2.1.3.1 QTBT 블록 파티셔닝 구조
HEVC와 달리, QTBT 구조는 다수의 파티션 타입들의 개념들을 제거하며, 즉, 이는 CU, PU 및 TU 개념들의 분리를 제거하고, CU 파티션 형상들에 대한 더 많은 유연성을 지원한다. QTBT 블록 구조에서, CU는 정사각형 또는 직사각형 형상 어느 쪽이든 가질 수 있다. 도 5에 도시된 바와 같이, 코딩 트리 유닛(CTU)이 쿼드트리 구조에 의해 먼저 파티셔닝된다. 쿼드트리 리프 노드들은 이진 트리 구조에 의해 추가로 파티셔닝된다. 이진 트리 분할에는 대칭 수평 분할 및 대칭 수직 분할의 2가지 분할 타입이 있다. 이진 트리 리프 노드들은 코딩 유닛(CU)들이라고 불리며, 이러한 세그먼트화는 어떠한 추가적인 파티셔닝도 없이 예측 및 변환 처리를 위해 사용된다. 이는 CU, PU 및 TU가 QTBT 코딩 블록 구조에서 동일한 블록 크기를 갖는다는 것을 의미한다. JEM에서, CU는 때때로 상이한 컬러 성분들의 코딩 블록(CB)들로 구성되고, 예를 들어, 하나의 CU는 4:2:0 크로마 포맷의 P 및 B 슬라이스들의 경우에 하나의 루마 CB 및 2개의 크로마 CB를 포함하고, 때때로 단일 성분의 CB로 구성되며, 예를 들어, 하나의 CU는 I 슬라이스들의 경우에 단 하나의 루마 CB 또는 단지 2개의 크로마 CB를 포함한다.
QTBT 파티셔닝 방식에 대해 다음 파라미터들이 정의된다:
- CTU 크기: 쿼드트리의 루트 노드 크기, HEVC에서와 동일한 개념
- MinQTSize: 최소 허용 쿼드트리 리프 노드 크기
- MaxBTSize: 최대 허용 이진 트리 루트 노드 크기
- MaxBTDepth: 최대 허용 이진 트리 깊이
- MinBTSize: 최소 허용 이진 트리 리프 노드 크기
QTBT 파티셔닝 구조의 일 예에서, CTU 크기는 128Х128 루마 샘플들과 2개의 대응하는 64Х64 블록의 크로마 샘플들로서 설정되고, MinQTSize은 16Х16으로 설정되고, MaxBTSize는 64Х64로 설정되고, MinBTSize (폭과 높이 둘 다에 대해)는 4Х4로 설정되고, MaxBTDepth는 4로 설정된다. 쿼드트리 파티셔닝이 먼저 CTU에 적용되어 쿼드트리 리프 노드들을 생성한다. 쿼드트리 리프 노드들은 16Х16(즉, MinQTSize) 내지 128Х128(즉, CTU 크기)의 크기를 가질 수 있다. 리프 쿼드트리 노드가 128Х128이면, 크기는 MaxBTSize(즉, 64Х64)를 초과하기 때문에 이진 트리에 의해 추가로 분할되지 않을 것이다. 그렇지 않으면, 리프 쿼드트리 노드는 이진 트리에 의해 추가로 파티셔닝될 수 있다. 따라서, 쿼드트리 리프 노드는 또한 이진 트리에 대한 루트 노드이고 그것은 0으로서 이진 트리 깊이를 갖는다. 이진 트리 깊이가 MaxBTDepth(즉, 4)에 도달할 때, 더 이상의 분할이 고려되지 않는다. 이진 트리 노드가 MinBTSize(즉, 4)와 동일한 폭을 가질 때, 더 이상 수평 분할이 고려되지 않는다. 유사하게, 이진 트리 노드가 MinBTSize와 동일한 높이를 갖는 경우, 더 이상 수직 분할이 고려되지 않는다. 이진 트리의 리프 노드들은 임의의 추가적인 파티셔닝 없이 예측 및 변환 처리에 의해 추가로 처리된다. JEM에서, 최대 CTU 크기는 256Х256 루마 샘플들이다.
도 5는 QTBT를 사용한 블록 파티셔닝의 예를 예시하고(좌측), 도 5는 대응하는 트리 표현을 예시한다(우측). 실선들은 쿼드트리 분할을 나타내고 점선들은 이진 트리 분할을 나타낸다. 이진 트리의 각각의 분할(즉, 비-리프) 노드에서, 어느 분할 타입(즉, 수평 또는 수직)이 사용되는지를 나타내기 위해 하나의 플래그가 시그널링되며, 여기서 0은 수평 분할을 나타내고 1은 수직 분할을 나타낸다. 쿼드트리 분할의 경우, 분할 타입을 나타낼 필요가 없는데, 그 이유는 쿼드트리 분할이 항상 블록을 수평 및 수직 양자 모두로 분할하여 동일한 크기를 갖는 4개의 서브 블록을 생성하기 때문이다.
또한, QTBT 방식은 루마 및 크로마가 별개의 QTBT 구조를 갖는 능력을 지원한다. 현재, P 및 B 슬라이스들에 대해, 하나의 CTU 내의 루마 및 크로마 CTB들은 동일한 QTBT 구조를 공유한다. 그러나, I 슬라이스들에 대해, 루마 CTB는 QTBT 구조에 의해 CU들로 파티셔닝되고, 크로마 CTB들은 다른 QTBT 구조에 의해 크로마 CU들로 파티셔닝된다. 이것은 I 슬라이스 내의 CU가 루마 성분의 코딩 블록 또는 2개의 크로마 성분의 코딩 블록들로 구성되고, P 또는 B 슬라이스 내의 CU가 3개의 컬러 성분 모두의 코딩 블록들로 구성된다는 것을 의미한다.
HEVC에서, 작은 블록들에 대한 인터 예측이 제한되어 모션 보상의 메모리 액세스를 감소시키며, 그래서, 양방향 예측은 4Х8 및 8Х4 블록들에 대해 지원되지 않고, 인터 예측은 4Х4 블록들에 대해 지원되지 않는다. JEM의 QTBT에서, 이러한 제한들은 제거된다.
2.1.4 VVC를 위한 삼진-트리
일부 구현들에서, 쿼드-트리 및 이진-트리 이외의 트리 타입들이 지원된다. 이 구현에서, 도 6의 (d) 및 (e)로 표시된 도면에 도시된 바와 같이, 2개의 더 많은 삼진 트리(TT) 파티션, 즉, 수평 및 수직 중심측 삼진-트리가 도입된다.
도 6은 다음을 도시한다: (a) 쿼드-트리 파티셔닝 (b) 수직 이진-트리 파티셔닝 (c) 수평 이진-트리 파티셔닝 (d) 수직 중심측 삼진-트리 파티셔닝 (e) 수평 중심측 삼진-트리 파티셔닝.
일부 구현들에서, 영역 트리(쿼드-트리) 및 예측 트리(이진-트리 또는 삼진-트리)의 2개의 레벨들의 트리들이 존재한다. CTU는 먼저 영역 트리(RT)에 의해 파티셔닝된다. RT 리프는 예측 트리(PT)로 추가로 분할될 수 있다. PT 리프는 또한 최대 PT 깊이에 도달할 때까지 PT로 추가로 분할될 수 있다. PT 리프는 기본 코딩 유닛이다. 이는 편의상 여전히 CU라고 불린다. CU는 추가로 분할될 수 없다. 예측 및 변환은 둘 다 JEM과 동일한 방식으로 CU에 적용된다. 전체 파티션 구조는 "다중 타입 트리"로 명명된다.
2.1.5 파티셔닝 구조의 예들
MTT(Multi-Tree Type)라고 불리는, 이 응답에 사용되는 트리 구조는 QTBT의 일반화이다. QTBT에서, 도 5에 도시된 바와 같이, 코딩 트리 유닛(CTU)은 먼저 쿼드-트리 구조에 의해 파티셔닝된다. 쿼드-트리 리프 노드들은 이진-트리 구조에 의해 추가로 파티셔닝된다.
MTT의 기본 구조는 2가지 타입의 트리 노드로 구성된다: 도 7에 도시된 바와 같이, 9개의 타입의 파티션을 지원하는 영역 트리(RT) 및 예측 트리(PT).
도 7은 다음을 도시한다: (a) 쿼드-트리 파티셔닝(b) 수직 이진-트리 파티셔닝(c) 수평 이진-트리 파티셔닝(d) 수직 삼진-트리 파티셔닝(e) 수평 삼진-트리 파티셔닝(f) 수평-상측 비대칭 이진-트리 파티셔닝(g) 수평-하측 비대칭 이진-트리 파티셔닝(h) 수직-좌측 비대칭 이진-트리 파티셔닝(i) 수직-우측 비대칭 이진-트리 파티셔닝.
영역 트리는 CTU를 4x4 크기 영역 트리 리프 노드로 정사각형 블록들로 재귀적으로 분할할 수 있다. 영역 트리 내의 각각의 노드에서, 예측 트리는 3개의 트리 타입 중 하나로부터 형성될 수 있다: 이진 트리(BT), 삼진-트리(TT) 및 비대칭 이진 트리(ABT). PT 분할에서, 예측 트리의 분기들에 쿼드트리 파티션을 갖는 것이 금지된다. JEM에서와 같이, 루마 트리 및 크로마 트리는 I 슬라이스들에서 분리된다. RT 및 PT에 대한 시그널링 방법이 도 8에 예시된다.
2.2 HEVC/H.265에서의 인터 예측
각각의 인터-예측된 PU는 하나 또는 2개의 참조 픽처 리스트에 대한 모션 파라미터를 갖는다. 모션 파라미터들은 모션 벡터 및 참조 픽처 인덱스를 포함한다. 2개의 참조 픽처 리스트 중 하나의 사용은 또한 inter_pred_idc을 사용하여 시그널링될 수 있다. 모션 벡터들은 예측자들에 대한 델타들로서 명시적으로 코딩될 수 있고, 이러한 코딩 모드는 AMVP 모드로 불린다.
CU가 스킵 모드로 코딩될 때, 하나의 PU가 CU와 연관되고, 유의한 잔차 계수들이 없고, 코딩된 모션 벡터 델타 또는 참조 픽처 인덱스가 없다. 병합 모드가 지정되고, 이에 의해, 공간 및 시간 후보들을 포함하는 이웃하는 PU들로부터 현재 PU에 대한 모션 파라미터들이 획득된다. 병합 모드는 스킵 모드에 대해서뿐만 아니라 임의의 인터-예측된 PU에 적용될 수 있다. 병합 모드에 대한 대안은 모션 파라미터들의 명시적 송신이며, 여기서 모션 벡터, 각각의 참조 픽처 리스트에 대한 대응하는 참조 픽처 인덱스 및 참조 픽처 리스트 사용은 각각의 PU마다 명시적으로 시그널링된다.
시그널링이 2개의 참조 픽처 리스트 중 하나가 사용될 것임을 나타낼 때, PU는 샘플들의 하나의 블록으로부터 생성된다. 이것은 "단방향 예측"이라고 지칭된다. P-슬라이스 및 B-슬라이스 둘 다에 대해 단방향 예측이 사용가능하다.
시그널링이 양자 모두의 참조 픽처 리스트가 사용될 것을 나타내는 경우, PU는 샘플들의 2개의 블록으로부터 생성된다. 이것은 "양방향 예측"이라고 지칭된다. 양방향 예측은 B-슬라이스들에 대해서만 사용가능하다.
다음 텍스트는 HEVC[2]에서 지정된 인터 예측 모드들에 대한 세부사항들을 제공한다. 설명은 병합 모드에서 시작할 것이다.
2.2.1 병합 모드
2.2.1.1 병합 모드에 대한 후보들의 도출
PU가 병합 모드를 사용하여 예측될 때, 병합 후보 리스트 내의 엔트리를 가리키는 인덱스가 비트스트림으로부터 파싱되고 모션 정보를 검색하는 데 사용된다. 이 리스트의 구성은 HEVC 표준에서 지정되고 다음 단계들의 시퀀스에 따라 요약될 수 있다:
· 단계 1: 초기 후보 도출
- 단계 1.1: 공간 후보 도출
- 단계 1.2: 공간 후보에 대한 중복 검사
- 단계 1.3: 시간 후보 도출
· 단계 2: 추가 후보 삽입
- 단계 2.1: 양방향 예측 후보들의 생성
- 단계 2.2: 제로 모션 후보들의 삽입
이러한 단계들은 또한 도 9에 개략적으로 도시된다. 공간 병합 후보 도출의 경우, 5개의 상이한 위치에 위치하는 후보들 중에서 최대 4개의 병합 후보가 선택된다. 시간 병합 후보 도출의 경우, 2개의 후보 중에서 최대 하나의 병합 후보가 선택된다. 각각의 PU에 대한 일정한 수의 후보들이 디코더에서 가정되기 때문에, 후보들의 수가 슬라이스 헤더에서 시그널링되는 병합 후보의 최대 수(MaxNumMergeCand)에 도달하지 않을 때 추가 후보들이 생성된다. 후보들의 수가 일정하기 때문에, 최상의 병합 후보의 인덱스는 절단 단항 이진화(TU)를 사용하여 인코딩된다. CU의 크기가 8과 동일한 경우, 현재 CU의 모든 PU들은 2NХ2N 예측 유닛의 병합 후보 리스트와 동일한 단일 병합 후보 리스트를 공유한다.
이하에서는, 전술한 단계들과 연관된 동작들이 상세히 설명된다.
2.2.1.2 공간 후보 도출
공간 병합 후보들의 도출에서, 도 10에 도시된 위치들에 배치된 후보들 중에서 최대 4개의 병합 후보가 선택된다. 도출 순서는 A1, B1, B0, A0 및 B2이다. 위치 B2는 위치 A1, B1, B0, A0의 임의의 PU가 사용가능하지 않을 때(예를 들어, 그것이 다른 슬라이스 또는 타일에 속하기 때문에) 또는 인트라 코딩될 때에만 고려된다. 위치 A1에서의 후보가 추가된 이후에, 나머지 후보들의 추가는 동일한 모션 정보를 갖는 후보들이 리스트로부터 배제되어 코딩 효율이 향상되도록 보장하는 중복 검사를 받는다. 계산 복잡성을 감소시키기 위해, 모든 가능한 후보 쌍들이 언급된 중복 검사에서 고려되지는 않는다. 대신에, 도 11에서 화살표로 연결된 쌍들만이 고려되고, 중복 검사를 위해 사용되는 대응하는 후보가 동일한 모션 정보를 갖지 않는 경우에만 후보가 리스트에 추가된다. 이중 모션 정보의 다른 소스는 2Nx2N과는 상이한 파티션들과 연관된 "제2 PU"이다. 예로서, 도 12는 각각 NХ2N 및 2NХN의 경우에 대한 제2 PU를 도시한다. 현재 PU가 NХ2N으로 파티셔닝되면, 위치 A1에서의 후보는 리스트 구성을 위해 고려되지 않는다. 실제로, 이 후보를 추가하는 것은 동일한 모션 정보를 갖는 2개의 예측 유닛으로 이어질 것이고, 이는 코딩 유닛에서 단지 하나의 PU를 가지는 경우 중복된다. 유사하게, 현재 PU가 2NХN으로 파티셔닝될 때, 위치 B1은 고려되지 않는다.
2.2.1.3 시간 후보 도출
이 단계에서, 하나의 후보만이 리스트에 추가된다. 상세하게는, 이 시간 병합 후보의 도출에서, 주어진 참조 픽처 리스트 내의 현재 픽처와 가장 작은 POC 차이를 갖는 픽처에 속하는 병치된 PU에 기초하여 스케일링된 모션 벡터가 도출된다. 병치된 PU의 도출에 사용될 참조 픽처 리스트는 슬라이스 헤더에서 명시적으로 시그널링된다. 시간 병합 후보에 대한 스케일링된 모션 벡터는, POC 거리들 tb 및 td를 사용하여 병치된 PU의 모션 벡터로부터 스케일링되는, 도 13에서 점선으로 예시된 바와 같이 획득되고, 여기서 tb는 현재 픽처의 참조 픽처와 현재 픽처 사이의 POC 차이인 것으로 정의되고, td는 병치된 픽처의 참조 픽처와 병치된 픽처 사이의 POC 차이인 것으로 정의된다. 시간 병합 후보의 참조 픽처 인덱스는 제로와 동일하게 설정된다. 스케일링 프로세스의 실제적인 실현은 HEVC 사양에서 설명된다. B-슬라이스의 경우, 2개의 모션 벡터- 하나는 참조 픽처 리스트 0에 대한 것이고 다른 하나는 참조 픽처 리스트 1에 대한 것임 -가 획득되고 조합되어 양방향 예측 병합 후보를 구성한다. 시간 병합 후보에 대한 모션 벡터 스케일링의 예시.
참조 프레임에 속하는 병치된 PU(Y)에서, 시간 후보에 대한 위치는 도 14에 도시된 바와 같이 후보들 C0과 C1 사이에서 선택된다. 위치 C0에서의 PU가 사용가능하지 않거나, 인트라 코딩되거나, 또는 현재 CTU의 외부에 있으면, 위치 C1가 사용된다. 그렇지 않으면, 위치 C0가 시간 병합 후보의 도출에서 사용된다.
2.2.1.4 추가 후보 삽입
공간-시간 병합 후보들 이외에, 2개의 추가적인 타입의 병합 후보가 있다: 조합된 양방향 예측 병합 후보 및 제로 병합 후보. 조합된 양방향 예측 병합 후보들은 공간-시간 병합 후보들을 이용함으로써 생성된다. 조합된 양방향 예측 병합 후보는 B-슬라이스에 대해서만 사용된다. 조합된 양방향 예측 후보들은 초기 후보의 제1 참조 픽처 리스트 모션 파라미터들을 다른 후보의 제2 참조 픽처 리스트 모션 파라미터들과 조합함으로써 생성된다. 이들 2개의 튜플이 상이한 모션 가설을 제공하는 경우, 이들은 새로운 양방향 예측 후보를 형성할 것이다. 일 예로서, 도 15는 mvL0 및 refIdxL0 또는 mvL1 및 refIdxL1을 갖는, 원본 리스트(좌측) 내의 2개의 후보가 최종 리스트(우측)에 추가된 조합된 양방향 예측 병합 후보를 생성하는 데 사용되는 경우를 도시한다. 이러한 추가적인 병합 후보들을 생성하는 것으로 고려되는 조합들에 관련한 다수의 규칙들이 존재한다.
병합 후보들 리스트 내의 나머지 엔트리들을 채우기 위해 제로 모션 후보들이 삽입되며, 따라서 MaxNumMergeCand 용량에 도달한다. 이러한 후보들은 제로 공간 변위 및 제로로부터 시작하고 새로운 제로 모션 후보가 리스트에 추가될 때마다 증가하는 참조 픽처 인덱스를 갖는다. 이러한 후보들에 의해 사용되는 참조 프레임들의 수는 단방향 및 양방향 예측을 위해 각각 1개 및 2개이다. 마지막으로, 이러한 후보들에 대해 중복 검사가 수행되지 않는다.
2.2.1.5 병렬 처리를 위한 모션 추정 영역
인코딩 프로세스의 속도를 높이기 위해, 모션 추정이 병렬로 수행될 수 있고, 그에 의해 주어진 영역 내의 모든 예측 유닛들에 대한 모션 벡터들이 동시에 도출된다. 공간적 이웃으로부터의 병합 후보들의 도출은 병렬 처리를 방해할 수 있는데, 그 이유는 하나의 예측 유닛이 그의 연관된 모션 추정이 완료될 때까지 인접한 PU로부터 모션 파라미터들을 도출할 수 없기 때문이다. 코딩 효율과 처리 레이턴시 사이의 트레이드-오프를 완화하기 위해, HEVC는 "log2_parallel_merge_level_minus2" 신택스 엘리먼트를 사용하여 픽처 파라미터 세트에서 그 크기가 시그널링되는 모션 추정 영역(MER)을 정의한다. MER이 정의될 때, 동일한 영역에 속하는 병합 후보들은 사용 불가능한 것으로 표시되고, 따라서 리스트 구성에서 고려되지 않는다.
7.3.2.3 픽처 파라미터 세트 RBSP 신택스
7.3.2.3.1 일반 픽처 파라미터 세트 RBSP 신택스
Figure pct00001
log2_parallel_merge_level_minus2 + 2는, 8.5.3.2.2 절에 명시된 병합 모드에 대한 루마 모션 벡터들에 대한 도출 프로세스 및 8.5.3.2.3 절에 명시된 공간 병합 후보들에 대한 도출 프로세스에서 사용되는, 변수 Log2ParMrgLevel의 값을 지정한다. log2_parallel_merge_level_minus2의 값은 0 내지 CtbLog2SizeY - 2(경계값 포함)의 범위에 있을 것이다.
변수 Log2ParMrgLevel은 다음과 같이 도출된다:
Log2ParMrgLevel = log2_parallel_merge_level_minus2 + 2 (7-37)
주 3 - Log2ParMrgLevel의 값은 병합 후보 리스트들의 병렬 도출의 내장 능력을 나타낸다는 점에 유의한다. 예를 들어, Log2ParMrgLevel이 6과 같을 때, 64x64 블록에 포함된 모든 예측 유닛(PU)들 및 코딩 유닛(CU)들에 대한 병합 후보 리스트들이 병렬로 도출될 수 있다.
2.2.2 AMVP 모드에서의 모션 벡터 예측
모션 벡터 예측은 모션 파라미터의 명시적 송신을 위해 사용되는 이웃 PU와의 모션 벡터의 공간-시간 상관을 이용한다. 이것은 먼저 좌측, 상위의 시간적으로 이웃하는 PU 위치들에서 가용성을 검사하고, 중복 후보들을 제거하고, 제로 벡터를 추가하여 후보 리스트가 일정한 길이가 되게 함으로써 모션 벡터 후보 리스트를 구성한다. 이어서, 인코더는 후보 리스트로부터 최상의 예측자를 선택하고 선택된 후보를 나타내는 대응하는 인덱스를 송신할 수 있다. 병합 인덱스 시그널링과 유사하게, 최상의 모션 벡터 후보의 인덱스는 절단 단항(truncated unary)을 사용하여 인코딩된다. 이 경우에 인코딩될 최대값은 2이다(예를 들어, 도 2 내지 도 8). 다음 섹션들에서, 모션 벡터 예측 후보의 도출 프로세스에 관련한 세부사항들이 제공된다.
2.2.2.1 모션 벡터 예측 후보들의 도출
도 16은 모션 벡터 예측 후보에 대한 도출 프로세스를 요약한다.
모션 벡터 예측에서, 2가지 타입의 모션 벡터 후보가 고려된다: 공간 모션 벡터 후보 및 시간 모션 벡터 후보. 공간 모션 벡터 후보 도출의 경우, 2개의 모션 벡터 후보가 결국 도 11에 도시된 바와 같이 5개의 상이한 위치에 위치하는 각각의 PU의 모션 벡터에 기초하여 도출된다.
시간 모션 벡터 후보 도출에 대해, 2개의 상이한 병치된 위치에 기초하여 도출되는 2개의 후보로부터 하나의 모션 벡터 후보가 선택된다. 공간-시간 후보들의 제1 리스트가 형성된 이후에, 리스트 내의 이중화된 모션 벡터 후보들이 제거된다. 잠재적 후보들의 수가 2보다 큰 경우, 연관된 참조 픽처 리스트 내의 참조 픽처 인덱스가 1보다 큰 모션 벡터 후보들이 리스트로부터 제거된다. 공간-시간 모션 벡터 후보들의 수가 2보다 작으면, 추가적인 제로 모션 벡터 후보들이 리스트에 추가된다.
2.2.2.2 공간 모션 벡터 후보들
공간 모션 벡터 후보들의 도출에서, 최대 2개의 후보들이 5개의 잠재적 후보들 중에서 고려되며, 이 후보들은 도 11에 도시된 바와 같은 위치들에 위치된 PU들로부터 도출되며, 그 위치들은 모션 병합의 위치들과 동일하다. 현재 PU의 좌측 측면에 대한 도출 순서는 A0, A1 및 스케일링된 A0, 스케일링된 A1로서 정의된다. 현재 PU의 상위 측면에 대한 도출 순서는 B0, B1, B2, 스케일링된 B0, 스케일링된 B1, 스케일링된 B2로서 정의된다. 따라서, 각각의 측면에 대해, 모션 벡터 후보로서 사용될 수 있는 4개의 경우가 있으며, 2개의 경우는 공간 스케일링을 사용할 필요가 없고, 2개의 경우는 공간 스케일링이 사용된다. 4개의 상이한 경우들이 다음과 같이 요약된다.
· 공간 스케일링 없음
- (1) 동일한 참조 픽처 리스트, 및 동일한 참조 픽처 인덱스(동일한 POC)
- (2) 상이한 참조 픽처 리스트, 그러나 동일한 참조 픽처(동일한 POC)
· 공간 스케일링
- (3) 동일한 참조 픽처 리스트, 그러나 상이한 참조 픽처(상이한 POC)
- (4) 상이한 참조 픽처 리스트, 및 상이한 참조 픽처(상이한 POC)
공간 스케일링이 없는 경우들이 먼저 검사되고 이어서 공간 스케일링이 후속된다. 참조 픽처 리스트에 관계없이 이웃 PU의 참조 픽처와 현재 PU의 참조 픽처 사이에 POC가 상이할 때 공간 스케일링이 고려된다. 좌측 후보들의 모든 PU들이 사용가능하지 않거나 인트라 코딩되는 경우, 좌측 및 상위 MV 후보들의 병렬 도출을 돕기 위해 상위 모션 벡터에 대한 스케일링이 허용된다. 그렇지 않으면, 상위 모션 벡터에 대해 공간 스케일링이 허용되지 않는다.
공간 스케일링 프로세스에서, 이웃 PU의 모션 벡터는 도 17에 도시된 바와 같이 시간 스케일링에 대한 것과 유사한 방식으로 스케일링된다. 주된 차이는 현재 PU의 참조 픽처 리스트 및 인덱스가 입력으로서 주어진다는 것이며; 실제 스케일링 프로세스는 시간 스케일링의 것과 동일하다.
2.2.2.3 시간 모션 벡터 후보들
참조 픽처 인덱스 도출 이외에, 시간 병합 후보들의 도출을 위한 모든 프로세스들은 공간 모션 벡터 후보들의 도출(예를 들어, 도 6 참조)과 동일하다. 참조 픽처 인덱스는 디코더에 시그널링된다.
2.2.2.4 AMVP 정보의 시그널링
AMVP 모드의 경우, 4개의 부분, 즉 예측 방향, 참조 인덱스, MVD 및 mv 예측자 후보 인덱스가 비트스트림에서 시그널링될 수 있다.
신택스 테이블
Figure pct00002
7.3.8.9 모션 벡터 차이 신택스
Figure pct00003
2.3 JEM(Joint Exploration Model)에서의 새로운 인터 예측 방법들
2.3.1 서브-CU 기반 모션 벡터 예측
QTBT를 갖는 JEM에서, 각각의 CU는 각각의 예측 방향에 대해 많아야 하나의 모션 파라미터 세트를 가질 수 있다. 큰 CU를 서브-CU들로 분할하고 큰 CU의 모든 서브-CU들에 대한 모션 정보를 도출함으로써 2개의 서브-CU 레벨 모션 벡터 예측 방법들이 인코더에서 고려된다. ATMVP(alternative temporal motion vector prediction) 방법은 각각의 CU가 병치된 참조 픽처에서 현재 CU보다 작은 다수의 블록들로부터 모션 정보의 다수의 세트들을 페치할 수 있게 한다. STMVP(spatial-temporal motion vector prediction) 방법에서, 서브-CU들의 모션 벡터들은 시간 모션 벡터 예측자 및 공간 이웃 모션 벡터를 사용함으로써 재귀적으로 도출된다.
서브-CU 모션 예측을 위한 더 정확한 모션 필드를 보존하기 위해, 참조 프레임들에 대한 모션 압축은 현재 디스에이블된다.
2.3.1.1 대체 시간 모션 벡터 예측
ATMVP(alternative temporal motion vector prediction) 방법에서, 모션 벡터들 TMVP(temporal motion vector prediction)은 현재 CU보다 작은 블록들로부터 (모션 벡터들 및 참조 인덱스들을 포함하는) 모션 정보의 다수의 세트를 페치함으로써 수정된다. 도 18에 도시된 바와 같이, 서브-CU들은 정사각형 NХN 블록들(N은 디폴트로 4로 설정됨) 이다.
ATMVP는 2개의 단계들에서 CU 내의 서브-CU들의 모션 벡터들을 예측한다. 제1 단계는 소위 시간 벡터로 참조 픽처에서 대응하는 블록을 식별하는 것이다. 참조 픽처는 모션 소스 픽처라고 불린다. 제2 단계는 도 18에 도시된 바와 같이 현재 CU를 서브-CU들로 분할하고, 각각의 서브-CU에 대응하는 블록으로부터 각각의 서브-CU의 참조 인덱스들뿐만 아니라 모션 벡터들을 획득하는 것이다.
제1 단계에서, 참조 픽처 및 대응하는 블록은 현재 CU의 공간 이웃 블록들의 모션 정보에 의해 결정된다. 이웃 블록들의 반복 스캐닝 프로세스를 피하기 위해, d CU의 병합 후보 리스트 내의 제1 병합 후보가 사용된다. 제1 사용가능한 모션 벡터 및 그의 관련 참조 인덱스는 시간 벡터 및 모션 소스 픽처에 대한 인덱스가 되도록 설정된다. 이러한 방식으로, ATMVP에서, 대응하는 블록은 TMVP와 비교하여 더 정확하게 식별될 수 있고, 대응하는 블록(때때로 병치된 블록이라고 불림)은 항상 현재 CU에 대해 하단-우측 또는 중심 위치에 있다. 일 예에서, 제1 병합 후보가 좌측 이웃 블록으로부터 온 것인 경우(즉, 도 19에서 A1), 소스 블록 및 소스 픽처를 식별하기 위해 연관된 MV 및 참조 픽처가 이용된다.
도 19는 소스 블록 및 소스 픽처의 식별의 예를 도시한다.
제2 단계에서, 서브-CU의 대응하는 블록은 현재 CU의 좌표에 시간 벡터를 추가함으로써 모션 소스 픽처 내의 시간 벡터에 의해 식별된다. 각각의 서브-CU에 대하여, 그 대응하는 블록의 모션 정보(중심 샘플을 커버하는 최소 모션 그리드)는 서브-CU에 대한 모션 정보를 도출하기 위하여 사용된다. 대응하는 NХN 블록의 모션 정보가 식별된 이후에, 그것은 HEVC의 TMVP와 동일한 방식으로, 현재 서브-CU의 모션 벡터들 및 참조 인덱스들로 변환되고, 모션 스케일링 및 다른 절차들이 적용된다. 예를 들어, 디코더는 저지연 조건(즉, 현재 픽처의 모든 참조 픽처들의 POC들이 현재 픽처의 POC보다 작음)이 충족되는지를 검사하고, 가능하게는 모션 벡터 MVx(참조 픽처 리스트 X에 대응하는 모션 벡터)를 사용하여 각각의 서브-CU에 대한 모션 벡터 MVy(X는 0 또는 1과 같고 Y는 1-X와 같음)를 예측한다.
2.3.1.2 공간-시간 모션 벡터 예측
이 방법에서, 서브-CU들의 모션 벡터들은, 래스터 스캔 순서에 따라, 재귀적으로 도출된다. 도 20은 이 개념을 도시한다. 4개의 4Х4 서브-CU들 A, B, C, 및 D를 포함하는 8Х8 CU를 고려한다. 현재 프레임 내의 이웃 4Х4 블록들은 a, b, c 및 d로 표시된다.
서브-CU A에 대한 모션 도출은 그의 2개의 공간 이웃들을 식별함으로써 시작된다. 제1 이웃은 서브-CU A 위의 NХN 블록이다(블록 c). 이 블록 c가 사용가능하지 않거나 인트라 코딩된 경우, 서브-CU A 위의 다른 NХN 블록들이 검사된다(블록 c에서 시작하여 좌측으로부터 우측으로). 제2 이웃은 서브-CU A의 좌측의 블록(블록 b) 이다. 블록 b가 사용가능하지 않거나 인트라 코딩된 경우, 서브-CU A의 좌측에 있는 다른 블록들이 검사된다(상단에서 하단으로, 블록 b에서 시작). 각각의 리스트에 대해 이웃 블록들로부터 획득된 모션 정보는 주어진 리스트에 대해 제1 참조 프레임으로 스케일링된다. 다음으로, 서브 블록 A의 시간 모션 벡터 예측자(TMVP)는 HEVC에서 지정된 바와 같은 TMVP 도출의 동일한 절차를 따라 도출된다. 위치 D에서의 병치된 블록의 모션 정보가 그에 따라 페치되고 스케일링된다. 마지막으로, 모션 정보를 검색하고 스케일링한 이후에, 모든 사용가능한 모션 벡터(최대 3)는 각각의 참조 리스트에 대해 개별적으로 평균화된다. 평균 모션 벡터는 현재 서브-CU의 모션 벡터로서 할당된다.
도 20은 4개의 서브 블록(A-D) 및 그 이웃 블록(a-d)을 갖는 하나의 CU의 예를 도시한다.
2.3.1.3 서브-CU 모션 예측 모드 시그널링
서브-CU 모드들은 추가적인 병합 후보들로서 인에이블되고 모드들을 시그널링하는데 요구되는 추가적인 신택스 엘리먼트가 없다. 각각의 CU의 병합 후보 리스트에 2개의 추가적인 병합 후보가 추가되어 ATMVP 모드 및 STMVP 모드를 표현한다. 시퀀스 파라미터 세트가 ATMVP 및 STMVP가 인에이블되는 것을 나타내는 경우, 최대 7개의 병합 후보가 사용된다. 추가적인 병합 후보들의 인코딩 로직은 HM 내의 병합 후보들에 대한 것과 동일하며, 이는 P 또는 B 슬라이스 내의 각각의 CU에 대해, 2개의 추가적인 병합 후보에 대해 2회의 더 많은 RD 검사가 필요함을 의미한다.
JEM에서, 병합 인덱스의 모든 빈들은 CABAC에 의해 컨텍스트 코딩된다. HEVC에서는 제1 빈만이 컨텍스트 코딩되고, 나머지 빈들은 컨텍스트 바이패스 코딩된다.
2.3.2 적응 모션 벡터 차이 분해능
HEVC에서, (PU의 모션 벡터와 예측된 모션 벡터 사이의) 모션 벡터 차이(MVD)들은 use_integer_mv_flag가 슬라이스 헤더에서 0과 동일할 때 쿼터 루마 샘플들의 유닛들로 시그널링된다. JEM에서, LAMVR(locally adaptive motion vector resolution)이 도입된다. JEM에서, MVD는 쿼터 루마 샘플, 정수 루마 샘플 또는 4 루마 샘플의 유닛으로 코딩될 수 있다. MVD 분해능은 코딩 유닛(CU) 레벨에서 제어되고, MVD 분해능 플래그들은 적어도 하나의 비-제로 MVD 성분을 갖는 각각의 CU에 대해 조건부로 시그널링된다.
적어도 하나의 비-제로 MVD 성분을 갖는 CU에 대해, 제1 플래그는 CU에서 쿼터 루마 샘플 MV 정밀도가 사용되는지를 나타내기 위해 시그널링된다. 제1 플래그(1과 동일)가 쿼터 루마 샘플 MV 정밀도가 사용되지 않는다는 것을 나타낼 때, 정수 루마 샘플 MV 정밀도 또는 4 루마 샘플 MV 정밀도가 사용되는지를 나타내기 위해 다른 플래그가 시그널링된다.
CU의 제1 MVD 분해능 플래그가 0이거나 CU에 대해 코딩되지 않을 때(CU에서의 모든 MVD들이 0임을 의미함), 쿼터 루마 샘플 MV 분해능이 CU에 대해 사용된다. CU가 정수 루마 샘플 MV 정밀도 또는 4 루마 샘플 MV 정밀도를 사용할 때, CU에 대한 AMVP 후보 리스트 내의 MVP들은 대응하는 정밀도로 라운딩된다.
인코더에서, 어느 MVD 분해능이 CU에 대해 사용되어야 하는지를 결정하기 위해 CU-레벨 RD 검사들이 사용된다. 즉, CU-레벨 RD 검사는 각각의 MVD 분해능에 대해 3회 수행된다. 인코더 속도를 가속화하기 위해, 다음 인코딩 방식들이 JEM에서 적용된다:
정상 쿼터 루마 샘플 MVD 분해능을 갖는 CU의 RD 검사 동안, 현재 CU의 모션 정보(정수 루마 샘플 정확도)가 저장된다. (라운딩 이후의) 저장된 모션 정보는 정수 루마 샘플 및 4 루마 샘플 MVD 분해능을 갖는 동일한 CU에 대한 RD 검사 동안 추가의 작은 범위 모션 벡터 정제를 위한 시작점으로서 사용되어, 시간 소모적인 모션 추정 프로세스가 3회 이중화되지 않도록 한다.
4 루마 샘플 MVD 분해능을 갖는 CU에 대한 RD 검사가 조건부로 호출된다. CU의 경우, RD 비용 정수 루마 샘플 MVD 분해능이 쿼터 루마 샘플 MVD 분해능보다 훨씬 더 클 때, CU에 대한 4 루마 샘플 MVD 분해능의 RD 검사는 스킵된다.
2.3.3 패턴 매칭 모션 벡터 도출
PMMVD(pattern matched motion vector derivation) 모드는 FRUC(frame-rate up conversion) 기술들에 기초한 특별한 병합 모드이다. 이 모드에 의하면, 블록의 모션 정보가 시그널링되지 않고 디코더 측에서 도출된다.
FRUC 플래그는 그 병합 플래그가 참일 때 CU에 대해 시그널링된다. FRUC 플래그가 거짓일 때, 병합 인덱스가 시그널링되고 정규 병합 모드가 사용된다. FRUC 플래그가 참일 때, 블록에 대한 모션 정보를 도출하기 위해 어느 방법(양방향 매칭 또는 템플릿 매칭)이 사용되어야 하는지를 나타내기 위해 추가의 FRUC 모드 플래그가 시그널링된다.
인코더 측에서, CU에 대해 FRUC 병합 모드를 사용하는지에 대한 결정은 정상 병합 후보에 대해 행해진 RD 비용 선택에 기초한다. 즉, 2개의 매칭 모드들(양방향 매칭 및 템플릿 매칭) 양자 모두가 RD 비용 선택을 사용하여 CU에 대해 검사된다. 최소 비용으로 이어지는 것이 다른 CU 모드들과 추가로 비교된다. FRUC 매칭 모드가 가장 효율적인 모드이면, CU에 대해 FRUC 플래그가 참으로 설정되고 관련된 매칭 모드가 사용된다.
FRUC 병합 모드에서의 모션 도출 프로세스는 2개의 단계들을 가진다. CU-레벨 모션 검색이 먼저 수행되고, 이어서 서브-CU 레벨 모션 정제가 뒤따른다. CU 레벨에서, 양방향 매칭 또는 템플릿 매칭에 기초하여 전체 CU에 대해 초기 모션 벡터가 도출된다. 먼저, MV 후보들의 리스트가 생성되고, 최소 매칭 비용을 초래하는 후보가 추가의 CU 레벨 정제를 위한 시작점으로서 선택된다. 그 후, 시작점 주위의 양방향 매칭 또는 템플릿 매칭에 기초한 로컬 검색이 수행되고, 최소 매칭 비용을 초래하는 MV가 전체 CU에 대한 MV로서 취해진다. 후속하여, 모션 정보는 도출된 CU 모션 벡터들을 시작점들로 하여 서브-CU 레벨에서 추가로 정제된다.
예를 들어, 다음의 도출 프로세스가
Figure pct00004
CU 모션 정보 도출에 대해 수행된다. 제1 스테이지에서, 전체
Figure pct00005
CU에 대한 MV가 도출된다. 제2 스테이지에서, CU는
Figure pct00006
서브-CU들로 추가로 분할된다.
Figure pct00007
의 값은 (16)에서와 같이 계산되고,
Figure pct00008
는 JEM에서 디폴트로 3으로 설정되는 미리 정의된 분할 깊이이다. 이어서, 각각의 서브-CU에 대한 MV가 도출된다.
Figure pct00009
} (1)
도 21에 도시된 바와 같이, 양방향 매칭이 사용되어 2개의 상이한 참조 픽처에서 현재 CU의 모션 궤적을 따라 2개의 블록 사이의 가장 가까운 매칭을 발견함으로써 현재 CU의 모션 정보를 도출한다. 연속 모션 궤적의 가정 하에, 2개의 참조 블록들을 가리키는 모션 벡터들 MV0 및 MV1은 현재 픽처와 2개의 참조 픽처들 사이의 시간 거리들, 즉, TD0 및 TD1에 비례하여야 한다. 특별한 경우로서, 현재 픽처가 시간적으로 2개의 참조 픽처 사이에 있고 현재 픽처로부터 2개의 참조 픽처까지의 시간 거리가 동일할 때, 양방향 매칭은 미러 기반 양방향 MV가 된다.
도 22에 도시된 바와 같이, 템플릿 매칭은 현재 픽처 내의 템플릿(현재 CU의 상단 및/또는 좌측 이웃 블록들)과 참조 픽처 내의 블록(템플릿과 동일한 크기) 사이의 가장 가까운 매칭을 발견함으로써 현재 CU의 모션 정보를 도출하는데 사용될 수 있다. 전술한 FRUC 병합 모드를 제외하고, 템플릿 매칭은 AMVP 모드에도 적용된다. JEM에서, HEVC에서 행해진 바와 같이, AMVP는 2개의 후보를 갖는다. 템플릿 매칭 방법을 사용하여, 새로운 후보가 도출된다. 템플릿 매칭에 의해 새롭게 도출된 후보가 제1 기존의 AMVP 후보와 상이하면, 이는 AMVP 후보 리스트의 바로 시작점에 삽입되고, 그 다음으로, 리스트 크기는 2로 설정된다(제2 기존의 AMVP 후보를 제거함을 의미). AMVP 모드에 적용될 때, CU 레벨 검색만이 적용된다.
2.3.3.1 CU 레벨 MV 후보 세트
CU 레벨에서의 MV 후보 세트는 다음으로 구성된다:
(i) 현재 CU가 AMVP 모드에 있는 경우의 원래 AMVP 후보들
(ii) 모든 병합 후보들,
(iii) 보간된 MV 필드 내의 몇몇 MV들
(iv) 상단 및 좌측 이웃 모션 벡터
양방향 매칭을 사용할 때, 병합 후보의 각각의 유효 MV는 양방향 매칭을 가정하여 MV 쌍을 생성하기 위한 입력으로서 사용된다. 예를 들어, 병합 후보의 하나의 유효 MV는 참조 리스트 A에서 (MVa, refa)이다. 이어서, 그의 쌍을 이룬 양방향 MV의 참조 픽처 refb는, refa 및 refb가 현재 픽처의 시간적으로 상이한 측면들에 있도록, 다른 참조 리스트 B에서 발견된다. 이러한 refb가 참조 리스트 B에서 사용가능하지 않다면, refb는 refa과는 상이한 참조로서 결정되고, 현재 픽처까지의 그 시간 거리는 리스트 B에서의 최소 거리이다. refb가 결정된 이후, MVb는 현재 픽처와 refa, refb 사이의 시간 거리에 기초하여 MVa를 스케일링함으로써 도출된다.
보간된 MV 필드로부터의 4개의 MV가 또한 CU 레벨 후보 리스트에 추가된다. 보다 구체적으로, 현재 CU의 위치(0, 0), (W/2, 0), (0, H/2) 및 (W/2, H/2)에서의 보간된 MV들이 추가된다.
FRUC가 AMVP 모드에서 적용될 때, 원래의 AMVP 후보들이 또한 CU 레벨 MV 후보 세트에 추가된다.
CU 레벨에서, AMVP CU들에 대한 최대 15개의 MV들 및 병합 CU들에 대한 최대 13개의 MV들이 후보 리스트에 추가된다.
2.3.3.2 서브-CU 레벨 MV 후보 세트
서브-CU 레벨에서의 MV 후보 세트는 다음으로 구성된다:
(i) CU-레벨 검색으로부터 결정된 MV,
(ii) 상단, 좌측, 상단-좌측 및 상단-우측 이웃 MV들,
(iii) 참조 픽처들로부터의 병치된 MV들의 스케일링된 버전들,
(iv) 최대 4개의 ATMVP 후보,
(v) 최대 4개의 STMVP 후보
참조 픽처들로부터의 스케일링된 MV들은 다음과 같이 도출된다. 양자 모두의 리스트 내의 모든 참조 픽처는 순회된다. 참조 픽처에서의 서브-CU의 병치된 위치에서의 MV들은 시작 CU-레벨 MV의 참조에 대해 스케일링된다.
ATMVP 및 STMVP 후보들은 4개의 첫 번째 후보들로 제한된다.
서브-CU 레벨에서, 최대 17개의 MV들이 후보 리스트에 추가된다.
2.3.3.3 보간된 MV 필드의 생성
프레임을 코딩하기 전에, 단방향 ME에 기초하여 전체 픽처에 대해 보간된 모션 필드가 생성된다. 이어서, 모션 필드는 나중에 CU 레벨 또는 서브-CU 레벨 MV 후보로서 사용될 수 있다.
먼저, 양자 모두의 참조 리스트 내의 각 참조 픽처의 모션 필드는 4Х4 블록 레벨에서 순회된다. 각각의 4Х4 블록에 대해, 모션이 현재 픽처 내의 4Х4 블록을 통과하는 블록과 연관되고(도 23에 도시된 바와 같이), 블록이 어떠한 보간된 모션도 할당받지 않은 경우, 참조 블록의 모션은 시간 거리 TD0 및 TD1에 따라 현재 픽처에 대해 스케일링되고(HEVC에서 TMVP의 MV 스케일링의 방식과 동일한 방식), 스케일링된 모션은 현재 프레임 내의 블록에 할당된다. 스케일링된 MV가 4Х4 블록에 할당되지 않으면, 블록의 모션은 보간된 모션 필드에서 사용 불가능한 것으로 표시된다.
2.3.3.4 보간 및 매칭 비용
모션 벡터가 분수 샘플 위치를 가리킬 때, 모션 보상된 보간이 필요하다. 복잡도를 감소시키기 위해, 정규 8-탭 HEVC 보간 대신에 이중 선형 보간이 양방향 매칭 및 템플릿 매칭 둘 다를 위해 사용된다.
매칭 비용의 계산은 상이한 단계들에서 다소 상이하다. CU 레벨에서 후보 세트로부터 후보를 선택할 때, 매칭 비용은 양방향 매칭 또는 템플릿 매칭의 SAD(absolute sum difference)이다. 시작 MV가 결정된 이후에, 서브-CU 레벨 검색에서의 양방향 매칭의 매칭 비용
Figure pct00010
는 다음과 같이 계산된다:
Figure pct00011
(2)
여기서
Figure pct00012
은 경험적으로 4로 설정된 가중 인자이고,
Figure pct00013
및
Figure pct00014
는 각각 현재 MV 및 시작 MV를 나타낸다. SAD는 여전히 서브-CU 레벨 검색에서의 템플릿 매칭의 매칭 비용으로서 사용된다.
FRUC 모드에서, MV는 루마 샘플들만을 사용하여 도출된다. 도출된 모션은 MC 인터 예측을 위해 루마와 크로마 양자 모두에 사용될 것이다. MV가 결정된 이후에, 최종 MC는 루마에 대한 8-탭 보간 필터 및 크로마에 대한 4-탭 보간 필터를 사용하여 수행된다.
2.3.3.5 MV 정제
MV 정제는 양방향 매칭 비용 또는 템플릿 매칭 비용의 기준을 갖는 패턴 기반 MV 검색이다. JEM에서, 2개의 검색 패턴- UCBDS(unrestricted center-biased diamond search) 및 CU 레벨 및 서브-CU 레벨 각각에서의 MV 정제를 위한 적응적 교차 검색 -이 지원된다. CU 및 서브-CU 레벨 MV 정제 둘 다에 대해, MV는 쿼터 루마 샘플 MV 정확도에서 직접 검색되고, 이것에 이어서 1/8 루마 샘플 MV 정제가 뒤따른다. CU 및 서브-CU 단계에 대한 MV 정제의 검색 범위는 8 루마 샘플들과 동일하게 설정된다.
2.3.3.6 템플릿 매칭 FRUC 병합 모드에서의 예측 방향의 선택
양방향 매칭 병합 모드에서, CU의 모션 정보가 2개의 상이한 참조 픽처들에서의 현재 CU의 모션 궤적을 따라 2개의 블록들 사이의 가장 가까운 매칭에 기초하여 도출되기 때문에 양방향 예측이 항상 적용된다. 템플릿 매칭 병합 모드에 대한 이러한 제한은 없다. 템플릿 매칭 병합 모드에서, 인코더는 list0으로부터의 단방향 예측, list1로부터의 단방향 예측, 또는 CU에 대한 양방향 예측 중에서 선택할 수 있다. 선택은 다음과 같은 템플릿 매칭 비용에 기초한다:
만약, costBi <= factor * min (cost0, cost1)이면
양방향 예측 사용;
그렇지 않고, cost0 <= cost1이면
list0으로부터의 단방향 예측 사용;
그 이외의 경우,
list1로부터의 단방향 예측 사용;
여기서, cost0은 list0 템플릿 매칭의 SAD이고, cost1은 list1 템플릿 매칭의 SAD이고, costBi는 양방향 예측 템플릿 매칭의 SAD이다. 예를 들어, 인자의 값이 1.25와 같은 경우, 이는 선택 프로세스가 양방향 예측을 향해 바이어싱된다는 것을 의미한다.
인터 예측 방향 선택은 CU-레벨 템플릿 매칭 프로세스에만 적용된다.
2.3.4 디코더측 모션 벡터 정제
양방향 예측 동작에서, 하나의 블록 영역의 예측에 대해, 각각 list0의 모션 벡터(MV) 및 list1의 MV를 사용하여 형성된 2개의 예측 블록이 조합되어 단일 예측 신호를 형성한다. DMVR(decoder-side motion vector refinement) 방법에서, 양방향 예측의 2개의 모션 벡터는 양방향 템플릿 매칭 프로세스에 의해 추가로 정제된다. 양방향 템플릿 매칭은 추가적인 모션 정보의 송신 없이 정제된 MV를 획득하기 위해 참조 픽처들 내의 재구성 샘플들과 양방향 템플릿 사이의 왜곡 기반 검색을 수행하기 위해 디코더에 적용된다.
DMVR에서, 양방향 템플릿은 도 23에 도시된 바와 같이, list0의 초기 MV0 및 list1의 MV1로부터, 각각, 2개의 예측 블록의 가중된 조합(즉, 평균)으로서 생성된다. 템플릿 매칭 동작은 생성된 템플릿과 참조 픽처에서의 (초기 예측 블록 주위의) 샘플 영역 사이의 비용 측정치들을 계산하는 것으로 구성된다. 2개의 참조 픽처 각각에 대해, 최소 템플릿 비용을 산출하는 MV가 원래의 것을 대체하기 위해 그 리스트의 업데이트된 MV로서 고려된다. JEM에서, 9개의 MV 후보가 각각의 리스트에 대해 검색된다. 9개의 MV 후보는 원래의 MV 및 수평 또는 수직 방향 중 어느 하나 또는 양자 모두에서 원래의 MV에 대한 하나의 루마 샘플 오프셋을 갖는 8개의 주위의 MV를 포함한다. 마지막으로, 2개의 새로운 MV들, 즉, 도 24에 도시된 바와 같은 MV0' 및 MV1' 이 최종 양방향 예측 결과들을 생성하기 위해 사용된다. SAD(sum of absolute differences)가 비용 측정치로서 사용된다.
DMVR은, 추가적인 신택스 엘리먼트들의 송신 없이, 과거의 참조 픽처로부터의 하나의 MV와 장래의 참조 픽처로부터의 다른 MV에 의한 양방향 예측의 병합 모드에 적용된다. JEM에서, LIC, 아핀 모션, FRUC, 또는 서브-CU 병합 후보가 CU에 대해 인에이블될 때, DMVR은 적용되지 않는다.
2.3.5 양방향 매칭 정제를 사용한 병합/스킵 모드 [8]
사용가능한 후보들의 수가 19의 최대 후보 크기에 도달할 때까지 중복 검사와 함께 공간 이웃 및 시간 이웃 블록들의 모션 벡터들 및 참조 인덱스들을 후보 리스트에 삽입함으로써 병합 후보 리스트가 먼저 구성된다. 병합/스킵 모드에 대한 병합 후보 리스트는 미리 정의된 삽입 순서에 따라 HEVC(조합된 후보들 및 제로 후보들)에서 사용되는 바와 같이 공간 후보들, 시간 후보들, 아핀 후보들, ATMVP(advanced temporal MVP) 후보, STMVP(spatial temporal MVP) 후보 및 추가 후보들을 삽입함으로써 구성된다(도 11).
- 블록들 1-4에 대한 공간 후보들.
- 블록들 1-4에 대한 외삽된 아핀 후보들.
- ATMVP.
- STMVP.
- 가상 아핀 후보.
- 공간 후보(블록 5)(사용가능한 후보들의 수가 6보다 작을 때에만 사용됨).
- 외삽된 아핀 후보(블록 5)
- 시간 후보(HEVC에서와 같이 도출됨).
- 외삽된 아핀 후보가 뒤따르는 비인접 공간 후보들(도 25에 도시된 바와 같이, 블록들 6 내지 49).
- 조합된 후보들.
- 제로 후보들
IC 플래그들은 또한 STMVP 및 아핀을 제외한 병합 후보들로부터 상속된다는 점에 유의한다. 또한, 처음 4개의 공간 후보에 대해, 양방향 예측 후보들은 단방향 예측을 갖는 후보들 전에 삽입된다.
일부 구현들에서, 현재 블록과 연결되지 않은 블록들이 액세스될 수 있다. 비인접 블록이 비-인트라 모드로 코딩되면, 연관된 모션 정보가 추가적인 병합 후보로서 추가될 수 있다.
3. 본 명세서에 개시된 실시예들에 의해 해결되는 문제점들의 예들
현재 HEVC 설계는 모션 정보를 더 양호하게 코딩하기 위해 (현재 블록 옆의) 그의 이웃 블록들의 현재 블록의 상관을 취할 수 있다. 그러나, 이웃 블록들은 상이한 모션 궤적들을 갖는 상이한 객체들에 대응하는 것이 가능하다. 이 경우, 그의 이웃 블록들로부터의 예측은 효율적이지 않다.
비인접 블록들의 모션 정보로부터의 예측은 모든 모션 정보(전형적으로 4x4 레벨)를 캐시에 저장하는 것을 댓가로 추가적인 코딩 이득을 발생시킬 수 있고, 이러한 저장은 하드웨어 구현에 대한 복잡도를 상당히 증가시킨다.
4. 일부 예들
기존 구현들의 단점들을 극복하기 위해, 블록의 모션 정보를 예측하기 위해 저장된 적어도 하나의 모션 후보를 갖는 하나 이상의 테이블(예를 들어, 룩업 테이블)을 사용하는 LUT-기반 모션 벡터 예측 기술들이 보다 높은 코딩 효율들을 갖는 비디오 코딩을 제공하기 위해 다양한 실시예들에서 구현될 수 있다. 룩업 테이블은 블록의 모션 정보를 예측하기 위한 모션 후보들을 포함하도록 사용될 수 있는 테이블의 예이고, 다른 구현들이 또한 가능하다. 각각의 LUT는 각각이 대응하는 모션 정보와 연관되어 있는 하나 이상의 모션 후보를 포함할 수 있다. 모션 후보의 모션 정보는 예측 방향, 참조 인덱스들/픽처들, 모션 벡터들, LIC 플래그들, 아핀 플래그들, 모션 벡터 도출(MVD) 정밀도들, 및/또는 MVD 값들 중 일부 또는 전부를 포함할 수 있다. 모션 정보는 모션 정보가 어느 것으로부터 오는지를 나타내기 위해 블록 위치 정보를 추가로 포함할 수 있다.
기존 및 장래의 비디오 코딩 표준 양자 모두를 향상시킬 수 있는, 개시된 기술에 기초한 LUT-기반 모션 벡터 예측이 다양한 구현들에 대해 설명된 이하의 예들에서 설명된다. LUT들은 인코딩/디코딩 프로세스가 이력 데이터(예를 들어, 처리된 블록들)에 기초하여 수행될 수 있게 하기 때문에, LUT-기반 모션 벡터 예측은 또한 HMVP(History-based Motion Vector Prediction) 방법이라고도 지칭될 수 있다. LUT-기반 모션 벡터 예측 방법에서, 이전에 코딩된 블록들로부터의 모션 정보를 갖는 하나 또는 다수의 테이블이 인코딩/디코딩 프로세스 동안 유지된다. LUT들에 저장된 이러한 모션 후보들은 HMVP 후보들로 명명된다. 하나의 블록의 인코딩/디코딩 동안, LUT들에서의 연관된 모션 정보가 모션 후보 리스트들(예를 들어, 병합/AMVP 후보 리스트들)에 추가될 수 있고, 하나의 블록을 인코딩/디코딩한 이후에, LUT들이 업데이트될 수 있다. 업데이트된 LUT는 이어서 후속 블록을 코딩하는 데 사용된다. 즉, LUT들에서의 모션 후보들의 업데이트는 블록들의 인코딩/디코딩 순서에 기초한다.
아래의 예들은 일반적인 개념들을 설명하기 위한 예들로서 고려되어야 한다. 이러한 예들은 좁은 방식으로 해석되지 않아야 한다. 또한, 이러한 예들은 임의의 방식으로 조합될 수 있다.
일부 실시예들은 블록의 모션 정보를 예측하기 위해 적어도 하나의 모션 후보가 저장된 하나 이상의 룩업 테이블을 사용할 수 있다. 실시예들은 룩업 테이블에 저장된 모션 정보 세트를 나타내기 위해 모션 후보를 사용할 수 있다. 종래의 AMVP 또는 병합 모드들에 대하여, 실시예들은 모션 정보를 저장하기 위해 AMVP 또는 병합 후보들을 사용할 수도 있다.
아래의 예들은 일반적인 개념들을 설명한다.
룩업 테이블의 예들
예 A1: 각각의 룩업 테이블은 하나 이상의 모션 후보를 포함할 수 있고 여기서 각각의 후보는 그 모션 정보와 연관된다.
a. 여기서 모션 후보의 모션 정보는 예측 방향, 참조 인덱스들/픽처들, 모션 벡터들, LIC 플래그, 아핀 플래그, MVD 정밀도, MVD 값들의 일부 또는 전부를 포함할 수 있다.
b. 모션 정보는 모션 정보가 오는 곳을 나타내기 위해 블록 위치 정보 및/또는 블록 형상을 추가로 포함할 수 있다.
LUT들의 선택
예 B1: 블록을 코딩하기 위해, 하나의 룩업 테이블로부터의 모션 후보들의 일부 또는 전부가 순서대로 검사될 수 있다. 블록을 코딩하는 동안 하나의 모션 후보가 검사될 때, 이는 모션 후보 리스트(예를 들어, AMVP, 병합 후보 리스트들)에 추가될 수 있다.
예 B2: 룩업 테이블의 선택은 블록의 위치에 의존할 수 있다.
룩업 테이블의 사용
예 C1: 검사될 룩업 테이블 내의 모션 후보들의 총 수는 미리 정의될 수 있다.
예 C2: 룩업 테이블에 포함된 모션 후보(들)는 블록에 의해 직접 상속될 수 있다.
a. 이들은 병합 모드 코딩을 위해 사용될 수 있는데, 즉, 모션 후보들이 병합 후보 리스트 도출 프로세스에서 검사될 수 있다.
b. 이들은 아핀 병합 모드 코딩에 사용될 수 있다.
i. 룩업 테이블 내의 모션 후보는 그 아핀 플래그가 1인 경우에 아핀 병합 후보로서 추가될 수 있다.
c. 룩업 테이블 내의 모션 후보들의 검사는 다음과 같은 경우에 가능해질 수 있다:
i. TMVP 후보를 삽입한 이후에 병합 후보 리스트가 가득 차 있지 않은 경우;
ii. 공간 병합 후보 도출을 위해 특정 공간 이웃 블록을 검사한 이후에 병합 후보 리스트는 가득 차 있지 않은 경우;
iii. 모든 공간 병합 후보들 이후에 병합 후보 리스트가 가득 차 있지 않은 경우;
iv. 조합된 양방향 예측 병합 후보들 이후에 병합 후보 리스트가 가득 차 있지 않은 경우;
v. 다른 코딩 방법들(예를 들어, HEVC 설계, 또는 JEM 설계의 병합 도출 프로세스)로부터 병합 후보 리스트에 넣어진 공간 또는 시간(예를 들어, 인접한 공간 및 비인접 공간, TMVP, STMVP, ATMVP 등을 포함함) 병합 후보들의 수가 최대 허용 병합 후보들에서 주어진 임계값을 뺀 값보다 더 작은 경우.
1. 일 예에서, 임계값은 1 또는 0으로 설정된다.
2. 대안적으로, 임계값은 SPS/PPS/시퀀스, 픽처, 슬라이스 헤더/타일에서 시그널링되거나 미리 정의될 수 있다.
3. 대안적으로, 임계값은 블록마다 적응적으로 변경될 수 있다. 예를 들어, 이는 블록 크기/블록 형상/슬라이스 타입과 같은 코딩된 블록 정보에 의존하거나 및/또는 사용가능한 공간 또는 시간 병합 후보들의 수에 의존할 수 있다.
4. 다른 예에서, 병합 후보 리스트에 넣어진 특정 종류의 병합 후보들의 수가 최대 허용 병합 후보들에서 주어진 임계값을 뺀 값보다 작은 경우. "특정 종류의 병합 후보들"은 HEVC 또는 비인접 병합 후보들에서와 같이 공간 후보들일 수 있다.
vi. 병합 후보 리스트에 모션 후보를 추가하기 전에 프루닝이 적용될 수 있다. 본 특허 문서의 이 예 및 다른 예들의 다양한 구현들에서, 프루닝은 a) 모션 정보를 고유성을 위해 기존의 엔트리들과 비교하는 것, 또는 b) 고유하면, 모션 정보를 리스트에 추가하는 것, 또는 c) 고유하지 않으면, 그 후, c1) 모션 정보를 추가하지 않거나, 또는 c2) 모션 정보를 추가하고 매칭된 기존의 엔트리를 삭제하는 것 중 적어도 하나를 포함할 수 있다.
1. 일 예에서, 모션 후보는 병합 후보 리스트 내의 다른 코딩 방법들로부터의 사용가능한 공간 또는 시간(예를 들어, 인접 공간 및 비인접 공간, TMVP, STMVP, ATMVP 등을 포함함) 병합 후보들의 전부 또는 일부에 대해 프루닝될 수 있다.
2. 모션 후보는 서브 블록 기반 모션 후보들, 예를 들어, ATMVP, STMVP에 대해 프루닝되지 않을 수 있다.
3. 일 예에서, 현재 모션 후보가 병합 후보 리스트 내의 사용가능한 모션 후보들(현재 모션 후보 이전에 삽입됨)의 전부 또는 일부에 대해 프루닝될 수 있다.
4. 모션 후보들에 관련된 프루닝 동작들의 수(예를 들어, 모션 후보들이 병합 리스트 내의 다른 후보들과 비교될 필요가 있는 횟수)는 사용가능한 공간 또는 시간 병합 후보들의 수에 의존할 수 있다. 예를 들어, 새로운 모션 후보를 검사할 때, 병합 리스트에 사용가능한 M개의 후보가 있는 경우, 새로운 모션 후보는 처음 K(K<=M) 후보들과만 비교될 수 있다. 프루닝 함수가 거짓(예를 들어, 처음 K개의 후보 중 어느 것과도 동일하지 않음)을 반환하는 경우, 새로운 모션 후보는 모든 M개의 후보와 상이한 것으로 고려되고 이는 병합 후보 리스트에 추가될 수 있다.
5. 일 예에서, 새롭게 첨부된 모션 후보는 병합 후보 리스트 내의 처음 N 후보와만 비교된다. 예를 들어, N= 3, 4 또는 5이다. N은 인코더로부터 디코더로 시그널링될 수 있다.
6. 일 예에서, 검사될 새로운 모션 후보는 단지 병합 후보 리스트 내의 마지막 N 후보와 비교된다. 예를 들어, N= 3, 4 또는 5이다. N은 인코더로부터 디코더로 시그널링될 수 있다.
7. 일 예에서, 테이블로부터의 새로운 모션 후보와 비교될 리스트에 이전에 추가된 후보들을 선택하는 방법은 이전에 추가된 후보들이 어디로부터 도출되는지에 의존할 수 있다.
a. 일 예에서, 룩업 테이블 내의 모션 후보는 주어진 시간 및/또는 공간 이웃 블록으로부터 도출된 후보들과 비교될 수 있다.
b. 일 예에서, 룩업 테이블 내의 모션 후보들의 상이한 엔트리들은 상이한 이전에 추가된 후보들(즉, 상이한 위치들로부터 도출됨)과 비교될 수 있다.
예 C3: 룩업 테이블에 포함되는 모션 후보(들)는 블록의 모션 정보를 코딩하기 위한 예측자로서 사용될 수 있다.
a. 이들은 AMVP 모드 코딩을 위해 사용될 수 있는데, 즉, 모션 후보들이 AMVP 후보 리스트 도출 프로세스에서 검사될 수 있다.
b. 룩업 테이블 내의 모션 후보들의 검사는 다음과 같은 경우에 가능해질 수 있다:
i. TMVP 후보를 삽입한 이후에 AMVP 후보 리스트가 가득 차 있지 않은 경우;
ii. 공간 이웃들로부터의 선택 및 프루닝 이후 TMVP 후보를 삽입하기 직전에 AMVP 후보 리스트가 가득 차 있지 않은 경우;
iii. 스케일링 없이 상위 이웃 블록들로부터 AMVP 후보가 없을 때 및/또는 스케일링 없이 좌측의 이웃 블록들로부터 AMVP 후보가 없을 때;
iv. 프루닝은 모션 후보를 AMVP 후보 리스트에 추가하기 전에 적용될 수 있다.
v. 예 C2의 부분에 언급된 것과 유사한 규칙들이 AMVP 모드에 적용될 수 있다.
c. 현재 참조 픽처와 동일한 참조 픽처를 갖는 모션 후보들이 검사된다.
i. 대안적으로, 또한, 현재 참조 픽처로와 상이한 참조 픽처들을 갖는 모션 후보들이 또한 검사된다(MV가 스케일링됨).
ii. 대안적으로, 현재 참조 픽처와 동일한 참조 픽처를 갖는 모든 모션 후보들이 먼저 검사되고, 그 후 현재 참조 픽처와 상이한 참조 픽처들을 갖는 모션 후보들이 검사된다.
iii. 대안적으로, 모션 후보들이 병합에서의 동일한 것에 후속하여 검사된다.
예 C4: 룩업 테이블 내의 모션 후보들의 검사 순서는 다음과 같이 정의된다(K(K>=1) 모션 후보들이 검사되도록 허용된다고 가정함):
a. 예를 들어, LUT에 대한 엔트리 인덱스들의 내림차순의 룩업 테이블 내의 마지막 K개의 모션 후보.
b. 첫 번째 K%L 후보들- L은, 예를 들어 LUT에 대한 엔트리 인덱스들의 내림차순으로, K>=L일 때의 룩업 테이블 크기임 -.
c. 순서에 기초하여 K>=L일 때 룩업 테이블 내의 모든 후보들(L개의 후보들). 일 예에서, 테이블 내의 처음 K%L 개의 후보가 LUT에 대한 엔트리 인덱스들의 내림차순으로 검사되고, 이어서 엔트리 인덱스들의 내림차순으로 마지막 (L-K%L) 개의 후보를 검사한다.
d. 대안적으로, 또한, 모션 후보 인덱스들(즉, LUT에 대한 엔트리 인덱스들)의 내림차순에 기초함.
e. 대안적으로, 또한, 모션 후보 인덱스들의 오름차순에 기초함.
f. 대안적으로, 모션 후보들 및 현재 블록과 연관된 위치들의 거리와 같은, 후보 정보에 기초하여 K개의 모션 후보를 선택함.
i. 일 예에서, K개의 가장 가까운 모션 후보가 선택된다.
ii. 일 예에서, 후보 정보는 거리를 계산할 때 블록 형상을 추가로 고려할 수 있다.
g. 일 예에서, L개의 후보를 포함하는 테이블로부터의 모션 후보 중 K개의 검사 순서는 다음과 같이 정의될 수 있다: a0, a0+T0, a0+T0+T1, a0+ T0+ T1+T2, ... a0+T0+T1+T2+..+TK-1와 동일한 인덱스를 갖는 후보를 순서대로 선택하고, 여기서, a0 및 Ti(i는 0 ... K-1)은 정수 값임.
i. 일 예에서, a0은 0(즉, 테이블에서의 모션 후보의 첫 번째 엔트리)으로 설정된다. 대안적으로, a0는 (K-L/K)로 설정된다. 산술 연산 '/'는 0을 향한 결과를 절단한 정수 나눗셈으로 정의된다. 대안적으로, a0는 0과 L/K 사이의 임의의 정수로 설정된다.
1. 대안적으로, a0의 값은 현재 블록 및 이웃 블록들의 코딩 정보에 의존할 수 있다.
ii. 일 예에서, 모든 간격들 Ti(i는 0... K-1임)은 L/K와 같이 동일하다. 산술 연산 '/'는 0을 향한 결과를 절단한 정수 나눗셈으로 정의된다.
iii. 일 예에서, (K, L, a0, Ti)은 (4, 16, 0, 4), 또는 (4, 12, 0, 3) 또는 (4, 8, 0, 1) 또는 (4, 16, 3, 4) 또는 (4, 12, 2, 3), 또는 (4, 8, 1, 2)로 설정된다. Ti는 모든 i에 대해 동일하다.
iv. 이러한 방법은 K가 L보다 작을 때에만 적용될 수 있다.
v. 대안적으로, 또한, K가 임계값 이상인 경우, 예 C4 불릿 c의 불릿 c가적용될 수 있다. 임계값은 L로서 정의될 수 있거나, K에 의존하거나 블록마다 적응적으로 변경될 수 있다. 일 예에서, 임계값은 룩업 테이블로부터 새로운 모션 후보를 추가하기 전에 리스트 내의 사용가능한 모션 후보의 수에 의존할 수 있다.
h. 일 예에서, L개의 후보를 포함하는 테이블로부터의 모션 후보 중 K개의 검사 순서는 다음과 같이 정의될 수 있다: a0, a0-T0, a0-T0-T1, a0-T0- T1-T2, ... a0-T0-T1-T2-..-TK-1와 동일한 인덱스를 갖는 후보를 순서대로 선택하고, 여기서, a0 및 Ti(i는 0 ... K-1)은 정수 값임.
i. 일 예에서, a0은 L-1(즉, 테이블에서의 모션 후보의 마지막 엔트리)로 설정된다. 대안적으로, a0는 L-1-L/K와 L-1 사이의 임의의 정수로 설정된다.
ii. 일 예에서, 모든 간격들 Ti(i는 0... K-1임)은 L/K와 같이 동일하다.
iii. 일 예에서, (K, L, a0, Ti)은 (4, 16, L-1, 4), 또는 (4, 12, L-1, 3) 또는 (4, 8, L-1, 1) 또는 (4, 16, L-4, 4) 또는 (4, 12, L-3, 3), 또는 (4, 8, L-2, 2)으로 설정된다. Ti는 모든 i에 대해 동일하다.
iv.이러한 방법은 K가 L보다 작을 때에만 적용될 수 있다.
대안적으로, 또한, K가 임계값 이상일 때, 예 C4의 불릿 c가 적용될 수 있다. 임계값은 L로서 정의될 수 있거나, K에 의존하거나 블록마다 적응적으로 변경될 수 있다. 일 예에서, 임계값은 룩업 테이블로부터 새로운 모션 후보를 추가하기 전에 리스트 내의 사용가능한 모션 후보의 수에 의존할 수 있다.
i. 참조 테이블로부터 모션 후보들을 얼마나 많이 및/또는 어떻게 선택할지는 블록 크기/블록 형상과 같은 코딩된 정보에 의존할 수 있다.
i. 일 예에서, 더 작은 블록 크기에 대해, 마지막 K개의 모션 후보를 선택하는 대신에, (마지막 것으로부터 시작하지 않는) 다른 K개의 모션 후보가 선택될 수 있다.
ii. 일 예에서, 코딩된 정보는 AMVP 또는 병합 모드일 수도 있다.
iii. 일 예에서, 코딩된 정보는 아핀 모드 또는 비-아핀 AMVP 모드 또는 비-아핀 병합 모드일 수 있다.
iv. 일 예에서, 코딩된 정보는 아핀 AMVP(인터) 모드 아핀 병합 모드 또는 비-아핀 AMVP 모드 또는 비-아핀 병합 모드일 수 있다.
v. 일 예에서, 코딩된 정보는 현재 픽처 참조(CPR) 모드이거나 CPR 모드가 아닐 수 있다.
vi. 대안적으로, 룩업 테이블로부터 모션 후보들을 선택하는 방법은 룩업 테이블로부터 새로운 모션 후보를 추가하기 전에 룩업 테이블 내의 모션 후보들의 수 및/또는 리스트 내의 사용가능한 모션 후보들의 수에 추가로 의존할 수 있다.
j.일 예에서, 검사될 룩업 테이블 내의 모션 후보들의 (즉, 병합/AMVP 후보 리스트에 추가될 수 있는) 최대 수는 룩업 테이블 내의 사용가능한 모션 후보들의 수(NavaiMCinLUT로 표시됨), 및/또는 룩업 테이블로부터의 (미리 정의되거나 시그널링될 수 있는) 추가될 최대 허용 모션 후보들의 수(NUMmaxMC로 표시됨), 및/또는 룩업 테이블로부터 후보들을 검사하기 전의 후보 리스트 내의 사용가능한 후보들의 수(NavaiC로 표시됨)에 의존할 수 있다.
i. 일 예에서, 검사될 룩업 테이블 내의 모션 후보들의 최대 수는 (NavaiMCinLUT , NUMmaxMC , NavaiC)의 최소 값으로 설정된다.
ii. 대안적으로, 검사될 룩업 테이블 내의 모션 후보들의 최대 수는 (NavaiMCinLUT , NUMmaxMC - NavaiC)의 최소 값으로 설정된다.
iii. 일 예에서, NavaiC은 공간 또는 시간(인접 및/또는 비인접) 이웃 블록들로부터 도출된 삽입된 후보들의 수를 나타낸다. 대안적으로, 또한, (AMTVP, STMVP와 유사하게) 서브 블록 후보들의 수는 NavaiC에서 카운트되지 않는다.
iv. NUMmaxMC은 코딩 모드에 의존할 수 있고, 예를 들어, 병합 모드 및 AMVP 모드에 대해, NUMmaxMC는 상이한 값들로 설정될 수 있다. 일 예에서, 병합 모드의 경우, NUMmaxMC는 4, 6, 8, 10 등으로 설정될 수 있고, AMVP 모드의 경우, NUMmaxMC는 1, 2, 4 등으로 설정될 수 있다.
v. 대안적으로, NUMmaxMC은 블록 크기, 블록 형상, 슬라이스 타입 등과 같은 다른 코딩된 정보에 의존할 수 있다.
k. 다음 서브섹션에서 룩업 테이블들의 사용시에 상이한 룩업 테이블들의 검사 순서가 정의된다.
l. 검사 프로세스는 병합/AMVP 후보 리스트가 최대 허용 후보 수들에 도달하고 나면 종료될 것이다.
m. 검사 프로세스는 병합/AMVP 후보 리스트가 최대 허용 후보 수에서 임계값(Th)을 뺀 값에 도달하면 종료될 것이다. 일 예에서, Th는 양의 정수 값, 예를 들어, 1, 또는 2, 또는 3으로서 미리 정의될 수 있다. 대안적으로, Th는 블록마다 적응적으로 변경될 수 있다. 대안적으로, Th는 SPS/PPS/슬라이스 헤더 등에서 시그널링될 수 있다. 대안적으로, Th는 블록 형상/블록 크기/코딩 모드들 등에 추가로 의존할 수 있다. 대안적으로, Th는 LUT들로부터 모션 후보들을 추가하기 전에 얼마나 많은 사용가능한 후보들이 있는지에 의존할 수 있다.
n. 대안적으로, 이는 추가된 모션 후보들의 수가 최대 허용 모션 후보 수들에 도달하면 종료될 것이다. 최대 허용 모션 후보 수들은 시그널링되거나 미리 정의될 수 있다. 대안적으로, 최대 허용 모션 후보 수들은 블록 형상/블록 크기/코딩 모드들 등에 추가로 의존할 수 있다.
o. 검사되도록 허용된 모션 후보들의 수(즉, K=L) 뿐만 아니라 테이블 크기를 나타내기 위한 하나의 신택스 엘리먼트가 SPS, PPS, 슬라이스 헤더, 타일 헤더에서 시그널링될 수 있다.
예 C5: 블록의 모션 정보 코딩을 위한 룩업 테이블들의 사용을 인에이블/디스에이블하는 것은 SPS, PPS, 슬라이스 헤더, 타일 헤더, CTU, CTB, CU 또는 PU, 다수의 CTU/CTB/CU/PU들을 커버하는 영역에서 시그널링될 수 있다.
예 C6: 룩업 테이블들로부터의 예측을 적용할지 여부는 코딩된 정보에 추가로 의존할 수 있다. 블록에 적용되지 않는 것으로 추론될 때, 예측의 지시들의 추가적인 시그널링이 스킵된다. 대안적으로, 블록에 적용되지 않는 것으로 추론될 때, 룩업 테이블들의 모션 후보들에 액세스할 필요가 없고, 관련 모션 후보들의 검사는 생략된다.
예 C7: 이전에 코딩된 프레임들/슬라이스들/타일들에서의 룩업 테이블의 모션 후보들은 상이한 프레임/슬라이스/타일에서의 블록의 모션 정보를 예측하는 데 사용될 수 있다.
룩업 테이블의 업데이트
예 D1: 모션 정보(즉, IntraBC 모드, 인터 코딩 모드)를 갖는 블록을 코딩한 이후에, 하나 또는 다수의 룩업 테이블이 업데이트될 수 있다.
추가의 예시적인 실시예들
HMVP 후보가 이전에 코딩된 블록의 모션 정보로서 정의되는 이력-기반 MVP(HMVP) 방법이 제안된다. 인코딩/디코딩 프로세스 동안 다수의 HMVP 후보들을 갖는 테이블이 유지된다. 새로운 슬라이스를 만날 때 테이블이 비워진다. 인터-코딩된 블록이 있을 때마다, 연관된 모션 정보가 새로운 HMVP 후보로서 테이블의 마지막 엔트리에 추가된다. 전체 코딩 흐름이 도 30에 도시된다.
일 예에서, 테이블 크기는 L(예를 들어, L= 16 또는 6, 또는 44)로 설정되고, 이는 최대 L개의 HMVP 후보가 테이블에 추가될 수 있다는 것을 나타낸다.
일 실시예에서(예 11.g.i에 대응), 이전에 코딩된 블록들로부터 L개보다 많은 HMVP 후보들이 있는 경우, 테이블이 가장 최근의 이전에 코딩된 L 모션 후보들을 항상 포함하도록 FIFO(First-In-First-Out) 규칙이 적용된다. 도 31은 FIFO 규칙이 적용되어 HMVP 후보를 제거하고 제안된 방법에서 사용된 테이블에 새로운 것을 추가하는 예를 도시한다.
또 다른 실시예에서(예 11.g.iii에 대응), (현재 블록이 인터-코딩되고 비-아핀 모드인 것과 같은) 새로운 모션 후보를 추가할 때마다, 테이블(예를 들어, LUT들)에 동일하거나 유사한 모션 후보들이 있는지를 식별하기 위해 중복 검사 프로세스가 먼저 적용된다.
일부 예들은 다음과 같이 도시된다:
도 32a는 새로운 모션 후보를 추가하기 전에 테이블이 가득 찬 경우의 예를 도시한다.
도 32b는 새로운 모션 후보를 추가하기 전에 테이블이 가득 차 있지 않을 때의 예를 도시한다.
도 32a 및 도 32b는 함께 (하나의 중복 모션 후보가 제거된) 중복 제거 기반 테이블 업데이트 방법의 예를 도시한다. 도 32a에 도시된 바와 같이(상단), 업데이트 이전에 L개의 테이블 엔트리가 있다. 중복 검사 동안, HMVP2는 중복(예를 들어, 이중)인 것으로 발견되고 제거되며, 따라서 L-1개의 엔트리(하단)를 생성하며, 이에 새로운 엔트리들이 추가될 수 있다. 도 32b는 유사하게 중복 후보들의 제거를 도시한다.
도 33a 및 도 33b는 중복 제거 기반 테이블 업데이트 방법의 2개의 경우에 대한 예시적인 구현을 도시한다(다수의 중복 모션 후보가 제거됨, 도면들에서 2개의 후보).
도 33a는 새로운 모션 후보를 추가하기 전에 테이블이 가득 찼을 때의 예시적인 경우를 도시한다.
도 33b는 새로운 모션 후보를 추가하기 전에 테이블이 가득 차지 않은 경우의 예시적인 경우를 도시한다.
병합 후보 리스트 구성 프로세스에서 HMVP 후보들이 사용될 수 있다. 테이블에서의 마지막 엔트리로부터 첫 번째 엔트리(또는 마지막 K0 HMVP, 예를 들어, K0는 16 또는 6과 같음)까지의 모든 HMVP 후보들은 TMVP 후보 이후에 삽입된다. 프루닝은 HMVP 후보들에 적용된다. 사용가능한 병합 후보들의 총 수가 시그널링된 최대 허용 병합 후보들에 도달하면, 병합 후보 리스트 구성 프로세스가 종료된다. 대안적으로, 추가된 모션 후보들의 총 수가 주어진 값에 도달하면, LUT들로부터의 모션 후보들의 페치가 종료된다.
유사하게, HMVP 후보들은 또한 AMVP 후보 리스트 구성 프로세스에서 사용될 수 있다. 테이블에서의 마지막 K1 HMVP 후보들의 모션 벡터들은 TMVP 후보 이후에 삽입된다. AMVP 타겟 참조 픽처와 동일한 참조 픽처를 갖는 HMVP 후보들만이 AMVP 후보 리스트를 구성하기 위해 사용된다. 프루닝은 HMVP 후보들에 적용된다. 일 예에서, K1는 4로 설정된다.
도 28은 비디오 처리 장치(2800)의 블록도이다. 장치(2800)는 본 명세서에 설명된 방법들 중 하나 이상을 구현하는 데 사용될 수 있다. 장치(2800)는 스마트폰, 태블릿, 컴퓨터, 사물 인터넷(IoT) 수신기 등에서 구현될 수 있다. 장치(2800)는 하나 이상의 프로세서(2802), 하나 이상의 메모리(2804) 및 비디오 처리 하드웨어(2806)를 포함할 수 있다. 프로세서(들)(2802)는 본 문서에서 설명된 하나 이상의 방법을 구현하도록 구성될 수 있다. 메모리(메모리들)(2804)는 본 명세서에 설명된 방법들 및 기술들을 구현하는 데 사용되는 데이터 및 코드를 저장하는 데 사용될 수 있다. 비디오 처리 하드웨어(2806)는 본 문서에 설명된 일부 기술들을 하드웨어 회로에서 구현하는 데 사용될 수 있다.
도 29는 비디오 처리 방법(2900)의 일 예에 대한 흐름도이다. 방법(2900)은, 단계 2902에서, 테이블들을 유지하는 단계를 포함하고, 여기서, 각각의 테이블은 모션 후보들의 세트를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관된다. 방법(2900)은 하나 이상의 테이블 중 적어도 일부에 기초하여, 제1 비디오 블록과 제1 비디오 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계(2904)를 더 포함하고, 수행하는 단계는 검사 종료 기준이 충족될 때까지 규칙에서 정의된 순서대로 테이블의 모션 후보들을 검사하는 단계를 포함한다.
전술한 방법들/기술들의 특징들 및 실시예들이 후술된다.
1. 비디오 처리 방법으로서, 테이블을 유지하는 단계- 각각의 테이블은 모션 후보들의 세트를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관됨 -; 및 하나 이상의 테이블 중 적어도 일부에 기초하여, 제1 비디오 블록과 제1 비디오 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계- 수행하는 단계는 검사 종료 기준이 충족될 때까지 규칙에서 정의된 순서대로 테이블의 모션 후보들을 검사하는 단계를 포함함 -를 포함하는, 방법.
2. 조항 1에 있어서, 규칙은 테이블 내의 마지막 K개의 모션 후보가 검사되는 것을 지정하며, K는 1 이상인 방법.
3. 조항 1에 있어서, 규칙은 테이블 내의 처음 K개의 모듈로 L(K%L) 후보가 검사되는 것을 지정하며, K는 1 이상이고, L은 테이블 내의 엔트리들의 수를 나타내는 방법.
4. 조항 1에 있어서, 규칙은 테이블에서의 L개의 모션 후보들 전부가 검사되는 것을 지정하고, L은 테이블에서의 엔트리들의 수를 나타내는, 방법.
5. 조항 1에 있어서, 규칙은 테이블에서의 모션 후보들이 모션 후보 인덱스들의 내림차순에 기초하여 검사되는 것을 지정하는, 방법.
6. 조항 1에 있어서, 규칙은 테이블에서의 모션 후보들이 모션 후보 인덱스들의 오름차순에 기초하여 검사되는 것을 지정하는, 방법.
7. 조항 1에 있어서, 규칙은 후보 정보에 기초하여 K개의 모션 후보를 선택하는 것을 지정하고, K는 1 이상인, 방법.
8. 조항 7에 있어서, 후보 정보는 제1 비디오 블록과 모션 후보들과 연관된 위치들 사이의 거리를 포함하는, 방법.
9. 조항 7에 있어서, K개의 가장 가까운 모션 후보가 선택되는, 방법.
10. 조항 8에 있어서, 후보 정보는 거리를 계산하는 데 고려되는 블록 형상을 포함하는, 방법.
11. 조항 7에 있어서, K개의 모션 후보를 선택하는 단계는 제1 비디오 블록의 코딩된 정보에 의존하는, 방법.
12. 조항 11에 있어서, 코딩된 정보는 블록 크기 또는 블록 형상 중 적어도 하나를 포함하는, 방법.
13. 조항 11에 있어서, 제1 비디오 블록의 코딩된 정보는 AMVP 모드, 병합 모드, 아핀 모드, 비-아핀 AMVP 모드, 비-아핀 병합 모드, 아핀 AMVP(인터) 모드, 아핀 병합 모드, 비-아핀 AMVP 모드, 비-아핀 병합 모드, 현재 픽처 참조(CPR) 모드, 또는 비-CPR 모드 중 적어도 하나를 나타내는, 방법.
14. 조항 7에 있어서, K개의 모션 후보를 선택하는 단계는, i) 테이블 내의 모션 후보들의 수 또는 ii) 테이블로부터 새로운 것을 추가하기 전에 모션 후보 리스트 내의 사용가능한 후보들의 수 중 적어도 하나에 의존하는, 방법.
15. 조항 11에 있어서, 더 작은 블록 크기에 대해, 선택된 K개의 모션 후보는 테이블 내의 마지막 K개의 모션 후보에 대응하지 않는, 방법.
16. 조항 1에 있어서, 다른 테이블에서의 모션 후보들이 다른 순서로 검사되는, 방법.
17. 조항 1 내지 16 중 어느 하나에 있어서, 검사 종료 기준은 병합 또는 AMVP(Advanced Motion Vector Prediction) 후보 리스트 중 적어도 하나를 포함하는 모션 후보 리스트가 최대 허용 후보 수에 도달할 때 충족되는, 방법.
18. 조항 1 내지 16 중 어느 하나에 있어서, 검사될 테이블들로부터의 추가된 모션 후보들의 수가 최대 허용 모션 후보 수에 도달할 때 검사 종료 기준들이 충족되는, 방법.
19. 조항 18에 있어서, 검사될 최대 허용 모션 후보 수는 미리 정의되거나 시그널링되는, 방법.
20. 조항 18에 있어서, 검사될 테이블들로부터의 최대 허용 모션 후보 수는 블록 형상, 블록 크기, 또는 코딩 모드 중 적어도 하나에 의존하는, 방법.
21. 조항 1에 있어서, i) 테이블의 크기 또는 ii) 검사될 테이블로부터의 모션 후보들의 수 중 적어도 하나를 시그널링하는 단계를 더 포함하는, 방법.
22. 조항 1 내지 16 중 어느 하나에 있어서, 검사 종료 기준은 후보 리스트 내의 후보들의 수가 후보 리스트의 최대 허용 후보 수에서 임계값(Th)을 뺀 값에 도달할 때 충족되는, 방법.
23. 조항 22에 있어서, 임계값(Th)은 양의 정수로서 미리 정의되는, 방법.
24. 조항 22에 있어서, 임계값(Th)은 블록에 따라 변경되는, 방법.
25. 조항 22에 있어서, 임계값(Th)은 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 슬라이스 헤더, 또는 타일 헤더 중 하나 이상에서 시그널링되는, 방법.
26. 조항 22에 있어서, 임계값(Th)은 블록 형상, 블록 크기, 또는 코딩 모드 중 적어도 하나에 의존하는, 방법.
27. 조항 22에 있어서, 임계값(Th)은 테이블로부터 모션 후보들을 추가하기 전에 사용가능한 후보들의 수에 의존하는, 방법.
28. 조항 1 내지 16 중 어느 하나에 있어서, 검사 종료 기준은 테이블 내의 사용가능한 모션 후보들의 수, 테이블로부터 추가될 최대 허용 모션 후보들, 테이블로부터 모션 후보들을 검사하기 전에 모션 후보 리스트 내의 사용가능한 후보들의 수 중 적어도 하나에 의존하는, 방법.
29. 조항 1에 있어서, 순서는 a0, a0+T0, a0+T0+T1, a0+ T0+ T1+T2, ... a0+T0+T1+T2+..+TK-1와 동일한 인덱스들을 갖는 K개의 모션 후보들을 순서대로 선택하는 것에 의한 L개의 후보들을 포함하는 테이블로부터의 K개의 모션 후보들의 검사 순서를 포함하고, 여기서, a0 및 Ti(i는 0... K-1임)는 정수 값들인, 방법.
30. 조항 29에 있어서, a0는 테이블 내의 모션 후보들의 첫 번째 엔트리로서 0으로 설정되는, 방법.
31. 조항 29에 있어서, a0는 (K-L/K)로 설정되고, 산술 연산 '/'는 0을 향해 결과를 절단한 정수 나눗셈으로서 정의되는, 방법.
32. 조항 29에 있어서, a0는 0과 L/K 사이의 임의의 정수로 설정되고, 산술 연산 '/'는 0을 향해 결과를 절단한 정수 나눗셈으로서 정의되는, 방법.
33. 조항 29에 있어서, a0는 제1 비디오 블록 및 이웃 블록들의 코딩 정보에 의존하는 방법.
34. 조항 29에 있어서, Ti(i는 0과 K-1 사이의 정수임)는 동일한 값을 갖는, 방법.
35. 조항 34에 있어서, 동일한 값은 L/K이고, 산술 연산 '/'는 0을 향해 결과를 절단한 정수 나눗셈으로서 정의되는, 방법.
36. 조항 29에 있어서, (K, L, a0, Ti)는 (4, 16, 0, 4), (4, 12, 0, 3), (4, 8, 0, 1), (4, 16, 3, 4), (4, 12, 2, 3), 또는 (4, 8, 1, 2) 중 적어도 하나로 설정되는, 방법.
37. 조항 29에 있어서, 검사 순서는 K가 L보다 작을 때 적용되는, 방법.
38. 조항 29에 있어서, 규칙은 K가 임계값 이상일 때 테이블 내의 L개의 모션 후보 모두가 검사되는 것을 지정하는, 방법.
39. 조항 38에 있어서, 임계값은 L인, 방법.
40. 조항 38에 있어서, 임계값은 K에 의존하거나 블록에 의존하여 변경되는, 방법.
41. 조항 1에 있어서, 순서는 a0, a0-T0, a0-T0-T1, a0-T0- T1-T2, ... a0-T0-T1-T2-..-TK-1와 동일한 인덱스들을 갖는 K개의 모션 후보들을 순서대로 선택하는 것에 의한 L개의 후보들을 포함하는 테이블로부터의 K개의 모션 후보들의 검사 순서를 포함하고, 여기서, a0 및 Ti(i는 0... K-1임)는 정수 값들인, 방법.
42. 조항 41에 있어서, a0는 테이블 내의 모션 후보들의 마지막 엔트리로서 L-1로 설정되는, 방법.
43. 조항 41에 있어서, a0는 L-1-L/K와 L-1 사이의 임의의 정수로 설정되고, 산술 연산 '/'은 0을 향해 결과를 절단한 정수 나눗셈으로서 정의되는, 방법.
44. 조항 41에 있어서, Ti(i는 0과 K-1 사이의 정수임)는 동일한 값을 갖는, 방법.
45. 조항 44에 있어서, 동일한 값 L/K이고, 산술 연산 '/'은 0을 향해 결과를 절단한 정수 나눗셈으로서 정의되는, 방법.
46. 조항 41에 있어서, (K, L, a0, Ti)는 (4, 16, L-1, 4), (4, 12, L-1, 3), (4, 8, L-1, 1), (4, 16, L-4, 4), (4, 12, L-3, 3), 또는 (4, 8, L-2, 2) 중 적어도 하나로 설정되는, 방법.
47. 조항 41에 있어서, 검사 순서는 K가 L보다 작을 때 적용되는, 방법.
48. 조항 41에 있어서, 규칙은 K가 임계값 이상일 때 테이블 내의 L개의 모션 후보 모두가 검사되는 것을 지정하는, 방법.
49. 조항 48에 있어서, 임계값은 L인, 방법.
50. 조항 48에 있어서, 임계값은 K에 의존하거나 블록에 의존하여 변경되는, 방법.
51. 조항 1 내지 50 중 어느 하나에 있어서, 모션 후보는 예측 방향, 참조 픽처 인덱스, 모션 벡터 값, 강도 보상 플래그, 아핀 플래그, 모션 벡터 차이 정밀도 또는 모션 벡터 차이 값 중 적어도 하나를 포함하는 모션 정보와 연관되는, 방법.
52. 조항 1 내지 50 중 어느 하나에 있어서, 검사된 모션 후보들을 병합 후보 리스트에 추가하는 단계를 더 포함하는, 방법.
53. 조항 52에 있어서, 병합 후보 리스트에 추가된 모션 후보들의 검사 순서는 모션 후보 인덱스들의 내림차순에 기초하는, 방법.
54. 조항 1 내지 50 중 어느 하나에 있어서, 검사된 모션 후보들의 모션 벡터들을 AMVP 후보 리스트에 추가하는 단계를 더 포함하는, 방법.
55. 조항 54에 있어서, AMVP 후보 리스트에 추가된 모션 후보들의 검사 순서는 모션 후보 인덱스들의 오름차순에 기초하는, 방법.
56. 조항 54에 있어서, 검사될 모션 후보들의 수는 4 이하인, 방법.
57. 조항 1에 있어서, 검사될 테이블 내의 모션 후보들의 최대 수는, N에 의해 인덱싱된 테이블 내의 사용가능한 모션 후보들의 수, M에 의해 인덱싱된 테이블로부터 추가될 최대 허용된 모션 후보들, 또는 K에 의해 인덱싱된 테이블로부터 모션 후보들을 검사하기 전의 후보 리스트 내의 사용가능한 후보들의 수 중 적어도 하나에 의존하며, N, M, K는 정수들인, 방법.
58. 조항 57에 있어서, 검사될 테이블 내의 모션 후보들의 최대 수는 (N, M, K)의 최소 값으로 설정되는, 방법.
59. 조항 57에 있어서, 검사될 테이블 내의 모션 후보들의 최대 수는 (N, M-K)의 최소 값으로 설정되는, 방법.
60. 조항 57에 있어서, K는 공간 또는 시간 이웃 블록들로부터 도출된 삽입된 후보들의 수를 나타내는, 방법.
61. 조항 57에 있어서, K를 카운트하는 데 고려되는, 테이블로부터 모션 후보들을 검사하기 전에 후보 리스트 내의 사용가능한 후보들은 AMTVP(alternative temporal motion vector prediction) 및 STMVP(spatial-temporal motion vector prediction)를 포함하는 서브 블록 후보들을 포함하지 않는, 방법.
62. 조항 57에 있어서, M은 비디오의 코딩 모드 중 적어도 하나에 의존하는, 방법.
63. 조항 62에 있어서, M은 병합 모드에 대해 4, 6, 8, 또는 10으로 설정되고, M은 AMVP(advanced motion vector prediction) 모드에 대해 1, 2, 또는 4로 설정되는, 방법.
64. 조항 57에 있어서, M은 제1 비디오 블록의 블록 크기, 제1 비디오 블록의 블록 형상, 슬라이스 타입을 포함하는 비디오의 코딩된 정보에 의존하는, 방법.
65. 조항 1 내지 64 중 어느 하나에 있어서, 테이블은 룩업 테이블에 대응하는, 방법.
66. 조항 1 내지 65 중 어느 하나에 있어서, 변환에 기초하여, 하나 이상의 테이블을 업데이트하는 단계를 더 포함하는, 방법.
67. 조항 66에 있어서, 하나 이상의 테이블을 업데이트하는 단계는 변환을 수행한 이후에 제1 비디오 블록의 모션 정보에 기초하여 하나 이상의 테이블을 업데이트하는 단계를 포함하는, 방법.
68. 조항 67에 있어서, 업데이트된 테이블들에 기초하여 비디오의 후속 비디오 블록과 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 더 포함하는, 방법.
69. 프로세서 및 명령어들을 갖는 비일시적 메모리를 포함하는 비디오 시스템 내의 장치로서, 명령어들은 프로세서에 의한 실행 시에, 프로세서로 하여금 조항 1 내지 68 중 어느 하나의 방법을 구현하게 하는, 장치.
70. 비일시적 컴퓨터 판독가능 매체 상에 저장되는 컴퓨터 프로그램 제품으로서, 컴퓨터 프로그램 제품은 조항 1 내지 68 중 어느 하나의 방법을 수행하기 위한 프로그램 코드를 포함하는, 컴퓨터 프로그램 제품.
전술한 설명으로부터, 현재 개시된 기술의 특정한 실시예들이 예시의 목적으로 본 명세서에 설명되었지만, 본 발명의 범위를 벗어나지 않고서 다양한 수정들이 이루어질 수 있다는 것을 알 것이다. 따라서, 현재 개시된 기술은 첨부된 청구항들에 의한 것을 제외하고는 제한되지 않는다.
본 문서에 설명된 개시된 및 다른 실시예들, 모듈들 및 기능 동작들은 본 문서에 개시된 구조들 및 그들의 구조적 등가물들을 포함하는 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어로, 또는 이들 중 하나 이상의 조합들로 구현될 수 있다. 개시된 및 다른 실시예들은 하나 이상의 컴퓨터 프로그램 제품들, 즉 데이터 처리 장치에 의한 실행을 위해 또는 데이터 처리 장치의 동작을 제어하기 위해 컴퓨터 판독가능 매체 상에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈들로서 구현될 수 있다. 컴퓨터 판독가능 매체는 머신 판독가능 저장 디바이스, 머신 판독가능 저장 기판, 메모리 디바이스, 머신 판독가능 전파 신호에 영향을 주는 물질의 조성, 또는 이들 중 하나 이상의 조합일 수 있다. 용어 "데이터 처리 장치"는 예로서 프로그램가능 프로세서, 컴퓨터, 또는 다수의 프로세서들 또는 컴퓨터들을 포함하는, 데이터를 처리하기 위한 모든 장치, 디바이스들, 및 머신들을 포함한다. 장치는 하드웨어에 더하여, 해당 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 이들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 전파 신호는 적합한 수신기 장치로의 송신을 위해 정보를 인코딩하도록 생성되는 인위적으로 생성된 신호, 예를 들어 머신 생성 전기, 광 또는 전자기 신호이다.
컴퓨터 프로그램(또한, 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트, 또는 코드라고도 알려져 있음)은 컴파일된 또는 해석된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 작성될 수 있고, 이는 독립형 프로그램(stand-alone program)으로서, 또는 모듈, 컴포넌트, 서브루틴, 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 유닛으로서를 포함하여 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은 파일 시스템 내의 파일에 반드시 대응하지는 않는다. 프로그램은 다른 프로그램들 또는 데이터(예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트들)를 보유하는 파일의 일부 내에, 해당 프로그램에 전용된 단일 파일 내에, 또는 다수의 협력하는 파일들(예를 들어, 하나 이상의 모듈들, 서브 프로그램들, 또는 코드의 부분들을 저장하는 파일들) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 상에서, 또는 한 장소에 위치하거나 다수의 위치에 걸쳐 분산되어 통신 네트워크에 의해 상호접속되는 다수의 컴퓨터 상에서 실행되도록 배치될 수 있다.
본 문서에 설명된 프로세스들 및 로직 흐름들은 입력 데이터에 대해 동작하고 출력을 생성함으로써 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램가능 프로세서에 의해 수행될 수 있다. 프로세스들 및 로직 흐름들은 또한 특수 목적 로직 회로, 예를 들어, FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)에 의해 수행될 수 있고, 장치는 또한 그들로서 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서들은, 예로서, 범용 및 특수 목적 마이크로프로세서 양자 모두, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 필수 요소들은 명령어들을 수행하기 위한 프로세서 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스, 예를 들어, 자기, 광자기 디스크들, 또는 광 디스크들을 포함하거나, 또는 이들로부터 데이터를 수신하거나 데이터를 이에 전송하거나, 또는 양자 모두를 수행하도록 동작적으로 결합될 것이다. 그러나, 컴퓨터가 이러한 디바이스들을 가질 필요는 없다. 컴퓨터 프로그램 명령어들 및 데이터를 저장하기에 적합한 컴퓨터 판독가능 매체는 예로서 반도체 메모리 디바이스들, 예를 들어 EPROM, EEPROM 및 플래시 메모리 디바이스들; 자기 디스크들, 예를 들어, 내부 하드 디스크들 또는 이동식 디스크들; 광자기 디스크들; 및 CD ROM 및 DVD-ROM 디스크들을 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스들을 포함한다. 프로세서 및 메모리는 특수 목적 로직 회로에 의해 보완되거나 그에 통합될 수 있다.
본 특허 문서가 많은 세부사항을 포함하고 있지만, 이들은 임의의 발명 또는 청구될 수 있는 것의 범위에 대한 제한으로서 해석되어서는 안되며, 오히려 특정의 발명의 특정 실시예에 특정될 수 있는 특징들에 대한 설명으로서 해석되어야 한다. 개별 실시예들에 관련하여 본 특허 문서에 설명되는 특정 특징들은 또한 단일 실시예에서 조합하여 구현될 수 있다. 반대로, 단일 실시예에 관련하여 설명되는 다양한 특징들은 또한 다수의 실시예들에서 개별적으로 또는 임의의 적절한 하위조합으로 구현될 수 있다. 또한, 특징들이 특정 조합들로 작용하는 것으로 앞서 설명되고 심지어 처음에 이와 같이 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징은 일부 경우들에서 조합으로부터 삭제될 수 있고, 청구된 조합은 하위조합 또는 하위조합의 변형에 관련될 수 있다.
유사하게, 동작들이 특정 순서로 도면들에 도시되지만, 이것은 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정 순서로 또는 순차적인 순서로 수행되거나, 모든 예시된 동작들이 수행되는 것을 요구하는 것으로 이해되어서는 안 된다. 또한, 본 특허 문서에 설명된 실시예들에서의 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 이러한 분리가 요구되는 것으로 이해하여서는 안 된다.
몇몇 구현들 및 예들만이 설명되고, 본 특허 문서에서 설명되고 예시된 것에 기초하여 다른 구현들, 향상들 및 변형들이 이루어질 수 있다.

Claims (70)

  1. 비디오 처리 방법으로서,
    테이블을 유지하는 단계- 각각의 테이블은 모션 후보들의 세트를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관됨 -; 및
    하나 이상의 테이블 중 적어도 일부에 기초하여, 제1 비디오 블록과 상기 제1 비디오 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계- 상기 수행하는 단계는 검사 종료 기준이 충족될 때까지 규칙에서 정의된 순서대로 테이블의 모션 후보들을 검사하는 단계를 포함함 -를 포함하는, 방법.
  2. 제1항에 있어서, 상기 규칙은 상기 테이블 내의 마지막 K개의 모션 후보가 검사되는 것을 지정하며, K는 1 이상인, 방법.
  3. 제1항에 있어서, 상기 규칙은 상기 테이블 내의 처음 K개의 모듈로 L(K%L) 후보가 검사되는 것을 지정하며, K는 L 이상이고, L은 상기 테이블 내의 엔트리들의 수를 나타내는, 방법.
  4. 제1항에 있어서, 상기 규칙은 상기 테이블에서의 L개의 모션 후보들 전부가 검사되는 것을 지정하고, L은 상기 테이블 내의 엔트리들의 수를 나타내는, 방법.
  5. 제1항에 있어서, 상기 규칙은 상기 테이블에서의 상기 모션 후보들이 모션 후보 인덱스들의 내림차순에 기초하여 검사되는 것을 지정하는, 방법.
  6. 제1항에 있어서, 상기 규칙은 상기 테이블에서의 상기 모션 후보들이 모션 후보 인덱스들의 오름차순에 기초하여 검사되는 것을 지정하는, 방법.
  7. 제1항에 있어서, 상기 규칙은 후보 정보에 기초하여 K개의 모션 후보를 선택하는 것을 지정하고, K는 1 이상인, 방법.
  8. 제7항에 있어서, 상기 후보 정보는 상기 제1 비디오 블록과 상기 모션 후보들과 연관된 위치들 사이의 거리를 포함하는, 방법.
  9. 제7항에 있어서, K개의 가장 가까운 모션 후보가 선택되는, 방법.
  10. 제7항에 있어서, 상기 후보 정보는 상기 제1 비디오 블록의 블록 형상을 포함하고, 상기 블록 형상은 상기 거리를 계산하는 데 고려되는, 방법.
  11. 제7항에 있어서, K개의 모션 후보를 선택하는 상기 단계는 상기 제1 비디오 블록의 코딩된 정보에 의존하는, 방법.
  12. 제11항에 있어서, 상기 코딩된 정보는 상기 제1 비디오 블록의 블록 크기 또는 블록 형상 중 적어도 하나를 포함하는, 방법.
  13. 제11항에 있어서, 상기 제1 비디오 블록의 상기 코딩된 정보는 AMVP 모드, 병합 모드, 아핀 모드, 비-아핀 AMVP 모드, 비-아핀 병합 모드, 아핀 AMVP(인터) 모드, 아핀 병합 모드, 비-아핀 AMVP 모드, 비-아핀 병합 모드, 현재 픽처 참조(CPR) 모드, 또는 비-CPR 모드 중 적어도 하나를 나타내는, 방법.
  14. 제7항에 있어서, K개의 모션 후보를 선택하는 상기 단계는, i) 상기 테이블 내의 모션 후보들의 수 또는 ii) 상기 테이블로부터 새로운 것을 추가하기 전에 모션 후보 리스트 내의 사용가능한 후보들의 수 중 적어도 하나에 의존하는, 방법.
  15. 제11항에 있어서, 더 작은 블록 크기에 대해, 상기 선택된 K개의 모션 후보는 상기 테이블 내의 마지막 K개의 모션 후보에 대응하지 않는, 방법.
  16. 제1항에 있어서, 다른 테이블에서의 모션 후보들이 다른 순서로 검사되는, 방법.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서, 상기 검사 종료 기준은 병합 또는 AMVP(Advanced Motion Vector Prediction) 후보 리스트 중 적어도 하나를 포함하는 모션 후보 리스트가 최대 허용 후보 수에 도달할 때 충족되는, 방법.
  18. 제1항 내지 제16항 중 어느 한 항에 있어서, 검사될 테이블들로부터의 추가된 모션 후보들의 수가 최대 허용 모션 후보 수에 도달할 때 상기 검사 종료 기준들이 충족되는, 방법.
  19. 제18항에 있어서, 상기 검사될 최대 허용 모션 후보 수는 미리 정의되거나 시그널링되는, 방법.
  20. 제18항에 있어서, 검사될 테이블들로부터의 상기 최대 허용 모션 후보 수는 블록 형상, 블록 크기, 또는 코딩 모드 중 적어도 하나에 의존하는, 방법.
  21. 제1항에 있어서, i) 상기 테이블의 크기 또는 ii) 검사될 상기 테이블로부터의 모션 후보들의 수 중 적어도 하나를 시그널링하는 단계를 더 포함하는, 방법.
  22. 제1항 내지 제16항 중 어느 한 항에 있어서, 상기 검사 종료 기준은 상기 후보 리스트 내의 후보들의 수가 상기 후보 리스트의 최대 허용 후보 수에서 임계값(Th)을 뺀 값에 도달할 때 충족되는, 방법.
  23. 제22항에 있어서, 상기 임계값(Th)은 양의 정수로서 미리 정의되는, 방법.
  24. 제22항에 있어서, 상기 임계값(Th)은 블록에 따라 변경되는, 방법.
  25. 제22항에 있어서, 상기 임계값(Th)은 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 슬라이스 헤더, 또는 타일 헤더 중 하나 이상에서 시그널링되는, 방법.
  26. 제22항에 있어서, 상기 임계값(Th)은 블록 형상, 블록 크기, 또는 코딩 모드 중 적어도 하나에 의존하는, 방법.
  27. 제22항에 있어서, 상기 임계값(Th)은 테이블로부터 모션 후보들을 추가하기 전에 사용가능한 후보들의 수에 의존하는, 방법.
  28. 제1항 내지 제16항 중 어느 한 항에 있어서, 상기 검사 종료 기준은 테이블 내의 사용가능한 모션 후보들의 수, 테이블로부터 추가될 최대 허용 모션 후보들, 테이블로부터 모션 후보들을 검사하기 전에 모션 후보 리스트 내의 사용가능한 후보들의 수 중 적어도 하나에 의존하는, 방법.
  29. 제1항에 있어서, 상기 순서는 a0, a0+T0, a0+T0+T1, a0+ T0+ T1+T2, ... a0+T0+T1+T2+..+TK-1와 동일한 인덱스들을 갖는 상기 K개의 모션 후보들을 순서대로 선택하는 것에 의한 L개의 후보들을 포함하는 테이블로부터의 K개의 모션 후보들의 검사 순서를 포함하고, 여기서, a0 및 Ti(i는 0... K-1임)는 정수 값들인, 방법.
  30. 제29항에 있어서, a0는 상기 테이블 내의 모션 후보들의 첫 번째 엔트리로서 0으로 설정되는, 방법.
  31. 제29항에 있어서, a0는 (K-L/K)로 설정되고, 산술 연산 '/'는 0을 향해 결과를 절단한 정수 나눗셈으로서 정의되는, 방법.
  32. 제29항에 있어서, a0는 0과 L/K 사이의 임의의 정수로 설정되고, 산술 연산 '/'는 0을 향해 결과를 절단한 정수 나눗셈으로서 정의되는, 방법.
  33. 제29항에 있어서, a0는 상기 제1 비디오 블록 및 이웃 블록들의 코딩 정보에 의존하는 방법.
  34. 제29항에 있어서, Ti(i는 0과 K-1 사이의 정수임)는 동일한 값을 갖는, 방법.
  35. 제34항에 있어서, 상기 동일한 값은 L/K이고, 산술 연산 '/'는 0을 향해 결과를 절단한 정수 나눗셈으로서 정의되는, 방법.
  36. 제29항에 있어서, (K, L, a0, Ti)는 (4, 16, 0, 4), (4, 12, 0, 3), (4, 8, 0, 1), (4, 16, 3, 4), (4, 12, 2, 3), 또는 (4, 8, 1, 2) 중 적어도 하나로 설정되는, 방법.
  37. 제29항에 있어서, 상기 검사 순서는 K가 L보다 작을 때 적용되는, 방법.
  38. 제29항에 있어서, 상기 규칙은 K가 임계값 이상일 때 상기 테이블 내의 L개의 모션 후보 모두가 검사되는 것을 지정하는, 방법.
  39. 제38항에 있어서, 상기 임계값은 L인, 방법.
  40. 제38항에 있어서, 상기 임계값은 K에 의존하거나 블록에 의존하여 변경되는, 방법.
  41. 제1항에 있어서, 순서는 a0, a0-T0, a0-T0-T1, a0-T0- T1-T2, ... a0-T0-T1-T2-..-TK-1와 동일한 인덱스들을 갖는 K개의 모션 후보들을 순서대로 선택하는 것에 의한 L개의 후보들을 포함하는 테이블로부터의 K개의 모션 후보들의 검사 순서를 포함하고, 여기서, a0 및 Ti(i는 0... K-1임)는 정수 값들인, 방법.
  42. 제41항에 있어서, a0는 상기 테이블 내의 모션 후보들의 마지막 엔트리로서 L-1로 설정되는, 방법.
  43. 제41항에 있어서, a0는 L-1-L/K와 L-1 사이의 임의의 정수로 설정되고, 산술 연산 '/'은 0을 향해 결과를 절단한 정수 나눗셈으로서 정의되는, 방법.
  44. 제41항에 있어서, Ti(i는 0과 K-1 사이의 정수임)는 동일한 값을 갖는, 방법.
  45. 제44항에 있어서, 상기 동일한 값은 L/K이고, 산술 연산 '/'는 0을 향해 결과를 절단한 정수 나눗셈으로서 정의되는, 방법.
  46. 제42항에 있어서, (K, L, a0, Ti)는 (4, 16, L-1, 4), (4, 12, L-1, 3), (4, 8, L-1, 1), (4, 16, L-4, 4), (4, 12, L-3, 3), 또는 (4, 8, L-2, 2) 중 적어도 하나로 설정되는, 방법.
  47. 제41항에 있어서, 상기 검사 순서는 K가 L보다 작을 때 적용되는, 방법.
  48. 제41항에 있어서, 상기 규칙은 K가 임계값 이상일 때 상기 테이블 내의 L개의 모션 후보 모두가 검사되는 것을 지정하는, 방법.
  49. 제48항에 있어서, 상기 임계값은 L인, 방법.
  50. 제48항에 있어서, 상기 임계값은 K에 의존하거나 블록에 의존하여 변경되는, 방법.
  51. 제1항 내지 제50항 중 어느 한 항에 있어서, 모션 후보는 예측 방향, 참조 픽처 인덱스, 모션 벡터 값, 강도 보상 플래그, 아핀 플래그, 모션 벡터 차이 정밀도, 또는 모션 벡터 차이 값 중 적어도 하나를 포함하는 모션 정보와 연관되는, 방법.
  52. 제1항 내지 제50항 중 어느 한 항에 있어서, 상기 검사된 모션 후보들을 병합 후보 리스트에 추가하는 단계를 더 포함하는, 방법.
  53. 제52항에 있어서, 상기 병합 후보 리스트에 추가된 상기 모션 후보들의 검사 순서는 모션 후보 인덱스들의 내림차순에 기초하는, 방법.
  54. 제1항 내지 제50항 중 어느 한 항에 있어서, 상기 검사된 모션 후보들의 상기 모션 벡터들을 AMVP 후보 리스트에 추가하는 단계를 더 포함하는, 방법.
  55. 제54항에 있어서, 상기 AMVP 후보 리스트에 추가된 상기 모션 후보들의 검사 순서는 모션 후보 인덱스들의 오름차순에 기초하는, 방법.
  56. 제54항에 있어서, 상기 검사될 모션 후보들의 수는 4 이하인, 방법.
  57. 제1항에 있어서, 검사될 상기 테이블 내의 모션 후보들의 최대 수는, N에 의해 인덱싱된 상기 테이블 내의 상기 사용가능한 모션 후보들의 수, M에 의해 인덱싱된 상기 테이블로부터 추가될 최대 허용된 모션 후보들, 또는 K에 의해 인덱싱된 상기 테이블로부터 상기 모션 후보들을 검사하기 전의 후보 리스트 내의 상기 사용가능한 후보들의 수 중 적어도 하나에 의존하며, N, M, K는 정수들인, 방법.
  58. 제57항에 있어서, 검사될 상기 테이블 내의 모션 후보들의 상기 최대 수는 (N, M, K)의 최소 값으로 설정되는, 방법.
  59. 제57항에 있어서, 검사될 상기 테이블 내의 모션 후보들의 상기 최대 수는 (N, M-K)의 최소 값으로 설정되는, 방법.
  60. 제57항에 있어서, K는 공간 또는 시간 이웃 블록들로부터 도출된 삽입된 후보들의 수를 나타내는, 방법.
  61. 제57항에 있어서, K를 카운트하는 데 고려되는, 상기 테이블로부터 상기 모션 후보들을 검사하기 전에 후보 리스트 내의 상기 사용가능한 후보들은 AMTVP(alternative temporal motion vector prediction) 및 STMVP(spatial-temporal motion vector prediction)를 포함하는 서브 블록 후보들을 포함하지 않는, 방법.
  62. 제57항에 있어서, M은 비디오의 코딩 모드 중 적어도 하나에 의존하는, 방법.
  63. 제62항에 있어서, M은 병합 모드에 대해 4, 6, 8, 또는 10으로 설정되고, M은 AMVP(advanced motion vector prediction) 모드에 대해 1, 2, 또는 4로 설정되는, 방법.
  64. 제57항에 있어서, M은 상기 제1 비디오 블록의 블록 크기, 상기 제1 비디오 블록의 블록 형상, 슬라이스 타입을 포함하는 상기 비디오의 코딩된 정보에 의존하는, 방법.
  65. 제1항 내지 제64항 중 어느 한 항에 있어서, 상기 테이블은 룩업 테이블에 대응하는, 방법.
  66. 제1항 내지 제65항 중 어느 한 항에 있어서, 상기 변환에 기초하여, 하나 이상의 테이블을 업데이트하는 단계를 더 포함하는, 방법.
  67. 제66항에 있어서, 하나 이상의 테이블을 업데이트하는 상기 단계는 상기 변환을 수행한 이후에 상기 제1 비디오 블록의 상기 모션 정보에 기초하여 하나 이상의 테이블을 업데이트하는 단계를 포함하는, 방법.
  68. 제67항에 있어서,
    업데이트된 테이블들에 기초하여 비디오의 후속 비디오 블록과 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 더 포함하는, 방법.
  69. 프로세서 및 명령어들을 갖는 비일시적 메모리를 포함하는 장치로서, 상기 명령어들은 상기 프로세서에 의한 실행 시에 상기 프로세서로 하여금 제1항 내지 제68항 중 어느 하나 이상에 기재된 방법을 구현하게 하는, 장치.
  70. 비일시적 컴퓨터 판독가능 매체 상에 저장되는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은 제1항 내지 제68항 중 어느 하나 이상에 기재된 방법을 수행하기 위한 프로그램 코드를 포함하는, 컴퓨터 프로그램 제품.
KR1020207037995A 2018-06-29 2019-07-01 Lut에서의 모션 후보들의 검사 순서 KR102646649B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020237045265A KR20240005240A (ko) 2018-06-29 2019-07-01 Lut에서의 모션 후보들의 검사 순서
KR1020237045268A KR20240007298A (ko) 2018-06-29 2019-07-01 Lut에서의 모션 후보들의 검사 순서

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
CNPCT/CN2018/093663 2018-06-29
CN2018093663 2018-06-29
CN2018101220 2018-08-18
CNPCT/CN2018/101220 2018-08-18
CN2018105193 2018-09-12
CNPCT/CN2018/105193 2018-09-12
CNPCT/CN2018/117627 2018-11-27
CN2018117627 2018-11-27
PCT/IB2019/055581 WO2020003274A1 (en) 2018-06-29 2019-07-01 Checking order of motion candidates in lut

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020237045265A Division KR20240005240A (ko) 2018-06-29 2019-07-01 Lut에서의 모션 후보들의 검사 순서
KR1020237045268A Division KR20240007298A (ko) 2018-06-29 2019-07-01 Lut에서의 모션 후보들의 검사 순서

Publications (2)

Publication Number Publication Date
KR20210024501A true KR20210024501A (ko) 2021-03-05
KR102646649B1 KR102646649B1 (ko) 2024-03-13

Family

ID=67297215

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020237045268A KR20240007298A (ko) 2018-06-29 2019-07-01 Lut에서의 모션 후보들의 검사 순서
KR1020237045265A KR20240005240A (ko) 2018-06-29 2019-07-01 Lut에서의 모션 후보들의 검사 순서
KR1020207037995A KR102646649B1 (ko) 2018-06-29 2019-07-01 Lut에서의 모션 후보들의 검사 순서

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020237045268A KR20240007298A (ko) 2018-06-29 2019-07-01 Lut에서의 모션 후보들의 검사 순서
KR1020237045265A KR20240005240A (ko) 2018-06-29 2019-07-01 Lut에서의 모션 후보들의 검사 순서

Country Status (8)

Country Link
US (4) US11146786B2 (ko)
EP (3) EP4322533A3 (ko)
JP (2) JP7328330B2 (ko)
KR (3) KR20240007298A (ko)
CN (3) CN114885173A (ko)
GB (1) GB2589487B (ko)
TW (1) TWI728388B (ko)
WO (1) WO2020003274A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023191585A1 (ko) * 2022-03-31 2023-10-05 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
WO2023191587A1 (ko) * 2022-04-01 2023-10-05 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114885173A (zh) 2018-06-29 2022-08-09 抖音视界(北京)有限公司 Lut中的运动候选的检查顺序
KR20210025537A (ko) 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념
TWI744661B (zh) 2018-06-29 2021-11-01 大陸商北京字節跳動網絡技術有限公司 要根據模式檢查的查找表中的運動候選的數量
CN110662052B (zh) 2018-06-29 2022-07-08 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
KR20240005239A (ko) 2018-06-29 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut와 amvp 사이의 상호작용
CN114845108A (zh) 2018-06-29 2022-08-02 抖音视界(北京)有限公司 查找表的更新：fifo、约束的fifo
CN110662056B (zh) 2018-06-29 2022-06-07 北京字节跳动网络技术有限公司 哪个查找表需要更新或不更新
BR112020024142A2 (pt) 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório
TWI731364B (zh) 2018-07-02 2021-06-21 大陸商北京字節跳動網絡技術有限公司 Hmvp+非相鄰運動
GB2590310B (en) 2018-09-12 2023-03-22 Beijing Bytedance Network Tech Co Ltd Conditions for starting checking HMVP candidates depend on total number minus K
US11212550B2 (en) * 2018-09-21 2021-12-28 Qualcomm Incorporated History-based motion vector prediction for affine mode
KR20210089133A (ko) * 2018-11-06 2021-07-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측에 대한 단순화된 파라미터 유도
WO2020108591A1 (en) 2018-12-01 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
WO2020114405A1 (en) 2018-12-03 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Indication method of maximum number of candidates
CA3121671A1 (en) 2018-12-07 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
KR20240010576A (ko) 2019-01-10 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
CA3128769C (en) 2019-02-24 2023-01-24 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
WO2020192642A1 (en) 2019-03-24 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Conditions in parameter derivation for intra prediction
CN117354507A (zh) * 2019-06-06 2024-01-05 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建
CN111163322B (zh) * 2020-01-08 2022-08-30 绍兴文理学院 对基于历史运动矢量的索引进行映射的编码及解码方法
CN113141507B (zh) * 2020-01-17 2022-07-15 腾讯科技（深圳）有限公司 视频编解码中的运动信息列表构建方法、装置及设备
WO2023060911A1 (en) * 2021-10-15 2023-04-20 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110194609A1 (en) * 2010-02-05 2011-08-11 Thomas Rusert Selecting Predicted Motion Vector Candidates
US20120320984A1 (en) * 2011-06-14 2012-12-20 Minhua Zhou Inter-Prediction Candidate Index Coding Independent of Inter-Prediction Candidate List Construction in Video Coding

Family Cites Families (258)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7023922B1 (en) 2000-06-21 2006-04-04 Microsoft Corporation Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information
CN100545892C (zh) 2003-12-18 2009-09-30 汤姆森特许公司 生成视频图像场中的查找表的方法和装置
KR20070037649A (ko) * 2004-07-23 2007-04-05 사이트릭스 시스템스, 인크. 게이트웨이에서 종단으로 패킷을 라우팅하기 위한 방법 및시스템
US7801220B2 (en) 2005-01-07 2010-09-21 Microsoft Corporation In-band wavelet video coding with spatial scalability
WO2006109143A1 (en) 2005-04-13 2006-10-19 Nokia Corporation Fgs identification in scalable video coding
US20070025444A1 (en) 2005-07-28 2007-02-01 Shigeyuki Okada Coding Method
CN100539693C (zh) 2005-08-30 2009-09-09 深圳清华大学研究院 快速运动估计方法
EP2080383A4 (en) 2006-10-20 2009-12-09 Nokia Corp GENERIC INDICATION OF ADJUSTMENT GUIDE FOR SCALABLE MULTIMEDIA
KR100856411B1 (ko) 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
US8228990B2 (en) 2008-01-16 2012-07-24 Sony Corporation Template matching scheme using multiple predictors as candidates for intra-prediction
EP2245857B1 (en) 2008-01-22 2015-06-03 Dolby Laboratories Licensing Corporation Adaptive motion information cost estimation with dynamic look-up table updating
EP2530937B1 (en) 2009-06-18 2015-03-18 Kabushiki Kaisha Toshiba Video encoding apparatus and video decoding apparatus
WO2011003326A1 (en) 2009-07-06 2011-01-13 Mediatek Singapore Pte. Ltd. Single pass adaptive interpolation filter
KR20110008653A (ko) 2009-07-20 2011-01-27 삼성전자주식회사 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법
HUE051313T2 (hu) 2009-10-01 2021-03-01 Sk Telecom Co Ltd Eljárás és készülék képek változtatható méretû makroblokkok használatával történõ kódolására/dekódolására
KR101600818B1 (ko) 2009-11-06 2016-03-09 삼성디스플레이 주식회사 3차원 광학 모듈 및 이를 포함하는 디스플레이 장치
JP5338684B2 (ja) 2010-01-08 2013-11-13 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
WO2011146451A1 (en) 2010-05-20 2011-11-24 Thomson Licensing Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding
US10104391B2 (en) 2010-10-01 2018-10-16 Dolby International Ab System for nested entropy encoding
US8711940B2 (en) 2010-11-29 2014-04-29 Mediatek Inc. Method and apparatus of motion vector prediction with extended motion vector predictor
WO2012074344A2 (ko) 2010-12-03 2012-06-07 엘지전자 주식회사 움직임 정보 리스트 인덱싱 방법 및 이러한 방법을 사용하는 장치
CN107105280B (zh) 2010-12-14 2020-01-03 M&K控股株式会社 用于编码运动画面的设备
US9049455B2 (en) 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
GB2492778A (en) * 2011-07-11 2013-01-16 Canon Kk Motion compensated image coding by combining motion information predictors
US9319716B2 (en) 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
CN103444182B (zh) 2011-02-09 2017-09-12 Lg电子株式会社 存储运动信息的方法和使用该方法导出时间运动矢量预测值的方法
EP2490448A1 (de) 2011-02-18 2012-08-22 Siemens Aktiengesellschaft Kodierverfahren und Bildkodiervorrichtung zur Kompression einer Bildsequenz
US10171813B2 (en) 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks
US9066110B2 (en) 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding
GB2488815C (en) 2011-03-09 2018-03-28 Canon Kk Video decoding
US9143795B2 (en) 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
US9247266B2 (en) 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
US20120287999A1 (en) 2011-05-11 2012-11-15 Microsoft Corporation Syntax element prediction in error correction
KR102015674B1 (ko) 2011-05-24 2019-08-28 벨로스 미디어 인터내셔널 리미티드 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 화상 복호 장치, 및, 화상 부호화 복호 장치
TW201304552A (zh) 2011-05-31 2013-01-16 Panasonic Corp 動態圖像編碼方法、動態圖像編碼裝置、動態圖像解碼方法、動態圖像解碼裝置、及動態圖像編碼解碼裝置
BR122020013893B1 (pt) 2011-05-31 2022-08-23 JVC Kenwood Corporation Dispositivo de codificação de imagem móvel e método de codificação de imagem móvel
WO2012172668A1 (ja) 2011-06-15 2012-12-20 株式会社 東芝 動画像符号化方法及び装置並びに動画復号化方法及び装置
JP5786478B2 (ja) 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
US9762900B2 (en) 2011-06-17 2017-09-12 Lg Electronics Inc. Method and apparatus for encoding/decoding video in intra prediction mode
US9131239B2 (en) 2011-06-20 2015-09-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
IN2014CN00479A (ko) 2011-06-28 2015-04-03 Samsung Electronics Co Ltd
CN106851269B (zh) 2011-06-30 2019-11-15 太阳专利托管公司 图像解码方法及装置、图像编码方法及装置、编解码装置
PL3419289T3 (pl) 2011-06-30 2021-04-19 JVC Kenwood Corporation Urządzenie do dekodowania obrazu, sposób dekodowania obrazu i program do dekodowania obrazu
CN103636218B (zh) 2011-06-30 2017-07-28 Jvc建伍株式会社 图像解码装置和图像解码方法
US20130188013A1 (en) 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
IN2014CN00729A (ko) 2011-08-03 2015-04-03 Panasonic Corp
GB2493755B (en) 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images
MX343471B (es) * 2011-08-29 2016-11-07 Ibex Pt Holdings Co Ltd Metodo para generar un bloque de prediccion en modo de prediccion de vector de movimiento avanzada (amvp).
US8804816B2 (en) 2011-08-30 2014-08-12 Microsoft Corporation Video encoding enhancements
KR101960034B1 (ko) 2011-09-09 2019-03-19 엘지전자 주식회사 인터 예측 방법 및 그 장치
US20130070855A1 (en) 2011-09-17 2013-03-21 Qualcomm Incorporated Hybrid motion vector coding modes for video coding
EP2763414B1 (en) 2011-09-29 2020-09-23 Sharp Kabushiki Kaisha Image decoding device and image decoding method for performing bi-prediction to uni-prediction conversion
AU2012323631B2 (en) 2011-10-11 2015-09-17 Mediatek Inc. Method and apparatus of motion and disparity vector derivation for 3D video coding and HEVC
RU2715382C2 (ru) * 2011-10-18 2020-02-27 Кт Корпорейшен Способ декодирования видеосигнала
US9838692B2 (en) 2011-10-18 2017-12-05 Qualcomm Incorporated Detecting availabilities of neighboring video units for video coding
CN108881903B (zh) 2011-10-19 2022-01-04 太阳专利托管公司 图像编码方法及装置、图像解码方法及装置、编解码装置
EP2716047A4 (en) 2011-10-19 2015-03-18 Mediatek Inc METHOD AND DEVICE FOR DERIVING MOTION VECTOR PREVIEW CANDIDATE SETS
US20140286433A1 (en) 2011-10-21 2014-09-25 Dolby Laboratories Licensing Corporation Hierarchical motion estimation for video compression and motion analysis
US9462298B2 (en) 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
RU2646328C1 (ru) 2011-10-28 2018-03-02 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений
US9571833B2 (en) * 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
KR20130050407A (ko) 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
US20130114717A1 (en) 2011-11-07 2013-05-09 Qualcomm Incorporated Generating additional merge candidates
KR20130050406A (ko) 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
KR101662918B1 (ko) 2011-11-11 2016-10-05 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US9762904B2 (en) 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
US9900615B2 (en) 2011-12-28 2018-02-20 Microsoft Technology Licensing, Llc Representative motion information for temporal motion prediction in video encoding and decoding
RU2623796C9 (ru) 2011-12-28 2017-11-15 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство кодирования движущегося изображения, способ кодирования движущегося изображения и программа кодирования движущегося изображения, а также устройство декодирования движущегося изображения, способ декодирования движущегося изображения и программа декодирования движущегося изображения
US20130188715A1 (en) 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
SI3767952T1 (sl) 2012-01-19 2022-01-31 Electronics And Telecommunications Research Institute Naprava za kodiranje/dekodiranje slike
KR101718488B1 (ko) 2012-01-20 2017-03-21 지이 비디오 컴프레션, 엘엘씨 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
CN109413429B (zh) 2012-01-20 2022-05-17 杜比实验室特许公司 解码方法、视频解码设备及编码方法
SG11201404509QA (en) 2012-02-01 2014-08-28 Nokia Corp Method and apparatus for video coding
US9544592B2 (en) 2012-02-10 2017-01-10 Texas Instruments Incorporated Methods and systems for encoding pictures associated with video data
US9445076B2 (en) 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
WO2013140807A1 (ja) 2012-03-23 2013-09-26 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
US9264706B2 (en) 2012-04-11 2016-02-16 Qualcomm Incorporated Bypass bins for reference index coding in video coding
US9325991B2 (en) 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
EP3716621B1 (en) 2012-04-12 2021-12-01 JVCKENWOOD Corporation Moving picture coding device, moving picture coding method, moving picture coding program, and moving picture decoding device, moving picture decoding method, moving picture decoding program
US20130272412A1 (en) 2012-04-12 2013-10-17 Qualcomm Incorporated Common motion information candidate list construction process
US9338451B2 (en) 2012-04-12 2016-05-10 Qualcomm Incorporated Common spatial candidate blocks for parallel motion estimation
US9503702B2 (en) 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
CN104365102B (zh) 2012-05-10 2018-01-02 Lg 电子株式会社 处理视频信号的方法和装置
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9258562B2 (en) 2012-06-13 2016-02-09 Qualcomm Incorporated Derivation of depth map estimate
US20130336406A1 (en) 2012-06-14 2013-12-19 Qualcomm Incorporated Redundancy removal for merge/skip mode motion information candidate list construction
US20130343459A1 (en) * 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
RU2624578C2 (ru) * 2012-07-02 2017-07-04 Самсунг Электроникс Ко., Лтд. Способ и устройство для прогнозирования вектора движения для кодирования видео или декодирования видео
US20140071235A1 (en) 2012-09-13 2014-03-13 Qualcomm Incorporated Inter-view motion prediction for 3d video
KR102238567B1 (ko) 2012-09-19 2021-04-08 퀄컴 인코포레이티드 디스패리티 벡터 유도를 위한 화상들의 선택
US9998727B2 (en) 2012-09-19 2018-06-12 Qualcomm Incorporated Advanced inter-view residual prediction in multiview or 3-dimensional video coding
WO2014049196A1 (en) 2012-09-27 2014-04-03 Nokia Corporation Method and techniqal equipment for scalable video coding
CN104704835B (zh) 2012-10-03 2017-11-24 联发科技股份有限公司 视频编码中运动信息管理的装置与方法
US9699450B2 (en) 2012-10-04 2017-07-04 Qualcomm Incorporated Inter-view predicted motion vector for 3D video
CN102883163B (zh) 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
US9854234B2 (en) 2012-10-25 2017-12-26 Qualcomm Incorporated Reference picture status for video coding
US9357214B2 (en) 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video
EP2932472B1 (en) 2012-12-14 2018-07-18 Qualcomm Incorporated Inside view motion prediction among texture and depth view components with asymmetric spatial resolution
US9350970B2 (en) 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
US10021414B2 (en) 2013-01-04 2018-07-10 Qualcomm Incorporated Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures
US9357199B2 (en) 2013-01-04 2016-05-31 Qualcomm Incorporated Separate track storage of texture and depth views for multiview coding plus depth
WO2014107720A1 (en) 2013-01-07 2014-07-10 Vid Scale, Inc. Motion information signaling for scalable video coding
EP2944080B1 (en) 2013-01-11 2018-09-12 HFI Innovation Inc. Method and apparatus for efficient coding of depth lookup table
TWI652936B (zh) 2013-04-02 2019-03-01 Ｖｉｄ衡器股份有限公司 針對可縮放視訊編碼的增強型時間運動向量預測
US10158876B2 (en) 2013-04-10 2018-12-18 Qualcomm Incorporated Backward view synthesis prediction
CN104125463A (zh) 2013-04-26 2014-10-29 华为技术有限公司 一种图像预测编码方法及图像编码器
WO2014186542A1 (en) 2013-05-15 2014-11-20 Vid Scale, Inc. Single loop decoding based inter layer prediction
US9667990B2 (en) 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
WO2015000108A1 (en) 2013-07-01 2015-01-08 Mediatek Singapore Pte. Ltd. An improved texture merging candidate in 3dvc
WO2015006920A1 (en) * 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. An adaptive disparity vector derivation method
DK3047639T3 (en) 2013-09-20 2018-10-15 Vid Scale Inc Video Codes and Methods to Provide 3D Lookup Table Encoding for Color Game Scalability
US9667996B2 (en) 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
GB2519514A (en) 2013-10-11 2015-04-29 Canon Kk Method and apparatus for displacement vector component prediction in video coding and decoding
JP6545672B2 (ja) 2013-10-18 2019-07-17 エルジー エレクトロニクス インコーポレイティド マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法
CN104717510B (zh) 2013-12-13 2018-08-17 华为技术有限公司 用于图像处理的方法和装置
KR102258427B1 (ko) 2014-01-03 2021-06-01 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측
US9967592B2 (en) 2014-01-11 2018-05-08 Qualcomm Incorporated Block-based advanced residual prediction for 3D video coding
KR101847899B1 (ko) 2014-02-12 2018-04-12 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
CN105556971B (zh) 2014-03-04 2019-07-30 微软技术许可有限责任公司 针对帧内块复制预测中的块翻动和跳跃模式的编码器侧判定
EP3114839A4 (en) 2014-03-07 2018-02-14 Qualcomm Incorporated Simplified sub-prediction unit (sub-pu) motion parameter inheritence (mpi)
US10187657B2 (en) 2014-03-14 2019-01-22 Samsung Electronics Co., Ltd. Method and device for configuring merge candidate list for decoding and encoding of interlayer video
WO2015139187A1 (en) 2014-03-17 2015-09-24 Mediatek Inc. Low latency encoder decision making for illumination compensation and depth look-up table transmission in video coding
WO2015139203A1 (en) 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. Dlt signaling in 3d video coding
US10554967B2 (en) 2014-03-21 2020-02-04 Futurewei Technologies, Inc. Illumination compensation (IC) refinement based on positional pairings among pixels
US10666968B2 (en) * 2014-05-06 2020-05-26 Hfi Innovation Inc. Method of block vector prediction for intra block copy mode coding
US10382749B2 (en) 2014-05-23 2019-08-13 Qualcomm Incorporated Coding run values based on palette index in palette-based video coding
CN106471806B (zh) 2014-06-16 2019-06-04 高通股份有限公司 3d-hevc中的简化移位合并候选者及合并列表导出
EP3158744A4 (en) 2014-06-19 2017-07-26 HFI Innovation Inc. Method and apparatus of candidate generation for single sample mode in video coding
JP6401309B2 (ja) 2014-06-19 2018-10-10 ヴィド スケール インコーポレイテッド ３次元ベースのカラーマッピングでのモデルパラメータ最適化のためのシステムおよび方法
KR102287779B1 (ko) 2014-06-23 2021-08-06 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 해시 기반의 블록 매칭의 결과에 기초한 인코더 결정
CN104079944B (zh) 2014-06-30 2017-12-01 华为技术有限公司 视频编码的运动矢量列表构建方法和系统
WO2016008161A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Temporal derived bi-directional motion vector predictor
WO2016008157A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
KR102276854B1 (ko) 2014-07-31 2021-07-13 삼성전자주식회사 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN107079161B (zh) 2014-09-01 2020-11-20 寰发股份有限公司 用于屏幕内容以及视频编码的帧内图片块复制的方法
EP3178228B1 (en) 2014-09-15 2023-10-04 HFI Innovation Inc. Method of deblocking for intra block copy in video coding
CN106471807B (zh) 2014-10-09 2019-08-23 寰发股份有限公司 包括视角合成预测的三维或多视角视频的编码方法
US10531113B2 (en) 2014-10-31 2020-01-07 Samsung Electronics Co., Ltd. Method and device for encoding/decoding motion vector
SG11201703454XA (en) 2014-11-18 2017-06-29 Mediatek Inc Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
BR112017011890A2 (pt) 2014-12-09 2018-07-03 Mediatek Inc método de derivação de preditor de vetor de movimento ou de candidato a fusão em codificação de vídeo
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10230980B2 (en) 2015-01-26 2019-03-12 Qualcomm Incorporated Overlapped motion compensation for video coding
US11477477B2 (en) 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
US10070130B2 (en) 2015-01-30 2018-09-04 Qualcomm Incorporated Flexible partitioning of prediction units
EP3254463A4 (en) 2015-02-06 2018-02-21 Microsoft Technology Licensing, LLC Skipping evaluation stages during media encoding
US10200711B2 (en) 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
CN111818344B (zh) 2015-04-08 2022-05-24 寰发股份有限公司 视频编解码中调色板模式上下文编解码和二值化的方法
CN104915966B (zh) 2015-05-08 2018-02-09 上海交通大学 基于卡尔曼滤波的帧率上变换运动估计方法及系统
US10200713B2 (en) 2015-05-11 2019-02-05 Qualcomm Incorporated Search region determination for inter coding within a particular picture of video data
US10368072B2 (en) 2015-05-29 2019-07-30 Qualcomm Incorporated Advanced arithmetic coder
US10356416B2 (en) 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US10887597B2 (en) 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
US10271064B2 (en) 2015-06-11 2019-04-23 Qualcomm Incorporated Sub-prediction unit motion vector prediction using spatial and/or temporal motion information
US9918102B1 (en) 2015-06-22 2018-03-13 Ambarella, Inc. Inter-prediction candidate selection in a mode decision
WO2017043734A1 (ko) 2015-09-07 2017-03-16 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017045101A1 (en) 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
US10812822B2 (en) 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region
WO2017059415A1 (en) 2015-10-02 2017-04-06 Vid Scale, Inc. Color correction with a lookup table
WO2017086746A1 (ko) 2015-11-19 2017-05-26 한국전자통신연구원 화면내 예측 모드 부호화/복호화 방법 및 장치
CN105681807B (zh) 2016-01-06 2018-11-02 福州瑞芯微电子股份有限公司 一种基于h264协议的分像素运动矢量计算方法和装置
WO2017142448A1 (en) * 2016-02-17 2017-08-24 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices for encoding and decoding video pictures
KR102402045B1 (ko) 2016-04-06 2022-05-25 주식회사 케이티 비디오 신호 처리 방법 및 장치
US20200169726A1 (en) 2016-04-08 2020-05-28 Electronics And Telecommunications Research Institute Method and device for inducing motion prediction information
CN114189681A (zh) 2016-04-26 2022-03-15 英迪股份有限公司 图像解码方法、图像编码方法以及传输比特流的方法
US10142652B2 (en) 2016-05-05 2018-11-27 Google Llc Entropy coding motion vector residuals obtained using reference motion vectors
EP3453178A1 (en) 2016-05-06 2019-03-13 VID SCALE, Inc. Systems and methods for motion compensated residual prediction
US10547854B2 (en) 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
US10419755B2 (en) 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
JP6921870B2 (ja) 2016-05-24 2021-08-18 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 画像復号方法、画像符号化方法及び記録媒体
CN116708783A (zh) 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
US11509930B2 (en) 2016-07-12 2022-11-22 Electronics And Telecommunications Research Institute Image encoding/decoding method and recording medium therefor
US11638027B2 (en) 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
WO2018045944A1 (en) 2016-09-06 2018-03-15 Mediatek Inc. Methods and apparatuses of candidate set determination for binary-tree splitting blocks
US10721489B2 (en) 2016-09-06 2020-07-21 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
US10812791B2 (en) 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
BR112019005678B1 (pt) 2016-09-30 2023-12-12 Huawei Technologies Co., Ltd Método e aparelho para codificação e decodificação de imagem através de interpredição
US10631002B2 (en) 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
EP3509297B1 (en) 2016-09-30 2021-06-23 Huawei Technologies Co., Ltd. Video encoding method, decoding method and terminal
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US11343530B2 (en) 2016-11-28 2022-05-24 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium having bitstream stored thereon
KR102572286B1 (ko) 2016-12-05 2023-08-29 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
KR20180073499A (ko) 2016-12-22 2018-07-02 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20180074000A (ko) 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
CN106851046A (zh) 2016-12-28 2017-06-13 中国科学院自动化研究所 视频动态超分辨率处理方法及系统
US10681370B2 (en) * 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
US20180192071A1 (en) 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
US10701366B2 (en) 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10491917B2 (en) 2017-03-22 2019-11-26 Qualcomm Incorporated Decoder-side motion vector derivation
US10595035B2 (en) 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
US10805650B2 (en) 2017-03-27 2020-10-13 Qualcomm Incorporated Signaling important video information in network video streaming using mime type parameters
US11102509B2 (en) 2017-04-28 2021-08-24 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium storing bit stream
US10742975B2 (en) 2017-05-09 2020-08-11 Futurewei Technologies, Inc. Intra-prediction with multiple reference lines
US20180332312A1 (en) 2017-05-09 2018-11-15 Futurewei Technologies, Inc. Devices And Methods For Video Processing
US10523934B2 (en) 2017-05-31 2019-12-31 Mediatek Inc. Split based motion vector operation reduction
EP3410717A1 (en) 2017-05-31 2018-12-05 Thomson Licensing Methods and apparatus for candidate list pruning
EP4351139A2 (en) 2017-06-09 2024-04-10 Electronics and Telecommunications Research Institute Video encoding/decoding method and device, and recording medium storing bit stream
US10602180B2 (en) 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
CN109089119B (zh) 2017-06-13 2021-08-13 浙江大学 一种运动矢量预测的方法及设备
US10911769B2 (en) 2017-06-23 2021-02-02 Qualcomm Incorporated Motion-based priority for the construction of candidate lists in video coding
US10757420B2 (en) 2017-06-23 2020-08-25 Qualcomm Incorporated Combination of inter-prediction and intra-prediction in video coding
US10687077B2 (en) 2017-06-26 2020-06-16 Qualcomm Incorporated Motion information propagation in video coding
EP3422716A1 (en) 2017-06-26 2019-01-02 Thomson Licensing Method and apparatus for most probable mode (mpm) sorting and signaling in video encoding and decoding
CN107295348A (zh) 2017-07-31 2017-10-24 南通海鑫信息科技有限公司 一种图像编码方法
US10284869B2 (en) 2017-09-28 2019-05-07 Google Llc Constrained motion field estimation for hardware efficiency
CN111345041B (zh) 2017-09-28 2024-01-26 Vid拓展公司 解码、编码视频数据的方法和设备
KR102427789B1 (ko) 2017-10-10 2022-08-02 한국전자통신연구원 인터 예측 정보를 사용하는 방법 및 장치
US20190116374A1 (en) 2017-10-17 2019-04-18 Qualcomm Incorporated Coding motion information of video data using coding structure-based candidate list construction
CN111279695B (zh) 2017-10-26 2024-03-29 韩国电子通信研究院 用于基于非对称子块的图像编码/解码的方法及装置
KR102387363B1 (ko) 2017-11-30 2022-04-18 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
CN109963155B (zh) 2017-12-23 2023-06-06 华为技术有限公司 图像块的运动信息的预测方法、装置及编解码器
US11172229B2 (en) 2018-01-12 2021-11-09 Qualcomm Incorporated Affine motion compensation with low bandwidth
US11265551B2 (en) 2018-01-18 2022-03-01 Qualcomm Incorporated Decoder-side motion vector derivation
US10652571B2 (en) 2018-01-25 2020-05-12 Qualcomm Incorporated Advanced motion vector prediction speedups for video coding
US11303929B2 (en) 2018-04-02 2022-04-12 Lg Electronics Inc. Image coding method using lookup table for intra prediction mode and apparatus therefor
US10986343B2 (en) 2018-04-15 2021-04-20 Arris Enterprises Llc Reducing overhead for multiple-hypothesis temporal prediction
WO2019223746A1 (en) 2018-05-23 2019-11-28 Mediatek Inc. Method and apparatus of video coding using bi-directional cu weight
WO2019234676A1 (en) 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Mv precision refine
CN114845108A (zh) 2018-06-29 2022-08-02 抖音视界(北京)有限公司 查找表的更新：fifo、约束的fifo
KR20240005239A (ko) 2018-06-29 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut와 amvp 사이의 상호작용
CN114885173A (zh) 2018-06-29 2022-08-09 抖音视界(北京)有限公司 Lut中的运动候选的检查顺序
KR102648120B1 (ko) 2018-06-29 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 슬라이스/타일/lcu 행마다의 룩업 테이블 리셋
BR112020024142A2 (pt) 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório
CN110662052B (zh) 2018-06-29 2022-07-08 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
KR20210025537A (ko) 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념
CN110662056B (zh) 2018-06-29 2022-06-07 北京字节跳动网络技术有限公司 哪个查找表需要更新或不更新
TWI731358B (zh) 2018-06-29 2021-06-21 大陸商北京字節跳動網絡技術有限公司 改進的時域運動向量預測推導
TWI744661B (zh) 2018-06-29 2021-11-01 大陸商北京字節跳動網絡技術有限公司 要根據模式檢查的查找表中的運動候選的數量
TWI731364B (zh) 2018-07-02 2021-06-21 大陸商北京字節跳動網絡技術有限公司 Hmvp+非相鄰運動
BR112021000004A8 (pt) 2018-07-06 2023-02-07 Mediatek Inc Informações de movimento herdadas para decodificar uma unidade de codificação atual em um sistema de codificação de vídeo
US10491902B1 (en) 2018-07-16 2019-11-26 Tencent America LLC Method and apparatus for history-based motion vector prediction
US10440378B1 (en) 2018-07-17 2019-10-08 Tencent America LLC Method and apparatus for history-based motion vector prediction with parallel processing
US11381833B2 (en) 2018-07-19 2022-07-05 Tencent America LLC Method and apparatus for video coding
US10958934B2 (en) 2018-07-27 2021-03-23 Tencent America LLC History-based affine merge and motion vector prediction
US10362330B1 (en) 2018-07-30 2019-07-23 Tencent America LLC Combining history-based motion vector prediction and non-adjacent merge prediction
WO2020031061A2 (en) 2018-08-04 2020-02-13 Beijing Bytedance Network Technology Co., Ltd. Mvd precision for affine
EP3821626A4 (en) 2018-08-09 2021-08-04 Huawei Technologies Co., Ltd. HISTORY-BASED INTRA MODE CODING PROCESS AND APPARATUS
WO2020050678A1 (ko) 2018-09-06 2020-03-12 엘지전자 주식회사 Mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 그 장치
GB2590310B (en) 2018-09-12 2023-03-22 Beijing Bytedance Network Tech Co Ltd Conditions for starting checking HMVP candidates depend on total number minus K
US11212550B2 (en) * 2018-09-21 2021-12-28 Qualcomm Incorporated History-based motion vector prediction for affine mode
US20200112715A1 (en) 2018-10-05 2020-04-09 Qualcomm Incorporated History-based motion vector prediction for inter prediction coding
US11051034B2 (en) 2018-10-08 2021-06-29 Qualcomm Incorporated History-based motion vector predictor
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
WO2020084461A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on coding information
CN112913249B (zh) 2018-10-22 2022-11-08 北京字节跳动网络技术有限公司 广义双向预测索引的简化编解码
WO2020084553A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Motion candidate derivation based on multiple information in sub-block motion vector prediction
BR112021007863A2 (pt) 2018-11-02 2021-07-27 Beijing Bytedance Network Technology Co., Ltd. método e aparelho para processar dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
WO2020094049A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Extensions of inter prediction with geometric partitioning
CN117768658A (zh) 2018-11-06 2024-03-26 北京字节跳动网络技术有限公司 依赖位置的对运动信息的存储
KR20230170819A (ko) 2018-11-22 2023-12-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 처리에서 펄스 코드 변조 기술
WO2020103934A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Construction method for inter prediction with geometry partition
US11184633B2 (en) 2018-11-27 2021-11-23 Qualcomm Incorporated Simplification of history-based motion vector prediction
KR20240010576A (ko) 2019-01-10 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110194609A1 (en) * 2010-02-05 2011-08-11 Thomas Rusert Selecting Predicted Motion Vector Candidates
US20120320984A1 (en) * 2011-06-14 2012-12-20 Minhua Zhou Inter-Prediction Candidate Index Coding Independent of Inter-Prediction Candidate List Construction in Video Coding

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023191585A1 (ko) * 2022-03-31 2023-10-05 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
WO2023191587A1 (ko) * 2022-04-01 2023-10-05 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Also Published As

Publication number Publication date
EP4325862A2 (en) 2024-02-21
WO2020003274A1 (en) 2020-01-02
EP4322533A3 (en) 2024-03-06
CN110662064A (zh) 2020-01-07
EP4325862A3 (en) 2024-03-06
GB202020091D0 (en) 2021-02-03
JP7464770B2 (ja) 2024-04-09
CN110662064B (zh) 2022-06-14
KR20240005240A (ko) 2024-01-11
US11245892B2 (en) 2022-02-08
KR102646649B1 (ko) 2024-03-13
CN114885173A (zh) 2022-08-09
JP2021530183A (ja) 2021-11-04
US20200396446A1 (en) 2020-12-17
KR20240007298A (ko) 2024-01-16
TWI728388B (zh) 2021-05-21
US20200404319A1 (en) 2020-12-24
US20200396447A1 (en) 2020-12-17
CN114900696A (zh) 2022-08-12
GB2589487B (en) 2023-02-08
JP2023065532A (ja) 2023-05-12
JP7328330B2 (ja) 2023-08-16
GB2589487A (en) 2021-06-02
US20220094915A1 (en) 2022-03-24
US11140385B2 (en) 2021-10-05
EP3791588A1 (en) 2021-03-17
EP4322533A2 (en) 2024-02-14
TW202015419A (zh) 2020-04-16
US11146786B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
KR102646649B1 (ko) Lut에서의 모션 후보들의 검사 순서
KR102641872B1 (ko) Lut와 amvp 사이의 상호작용
KR102648120B1 (ko) 슬라이스/타일/lcu 행마다의 룩업 테이블 리셋
KR102627814B1 (ko) 룩업 테이블의 업데이트: fifo, 제약된 fifo
KR102611261B1 (ko) 업데이트 대상 lut 또는 비업데이트 lut의 구별
TWI752331B (zh) 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
KR20210110814A (ko) Lut 업데이트의 호출
WO2020003271A1 (en) Interaction between lut and merge: insert hmvp as a merge candidate, position of hmvp

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right