KR20210025538A - 룩업 테이블의 업데이트: fifo, 제약된 fifo - Google Patents

룩업 테이블의 업데이트: fifo, 제약된 fifo Download PDF

Info

Publication number
KR20210025538A
KR20210025538A KR1020207037976A KR20207037976A KR20210025538A KR 20210025538 A KR20210025538 A KR 20210025538A KR 1020207037976 A KR1020207037976 A KR 1020207037976A KR 20207037976 A KR20207037976 A KR 20207037976A KR 20210025538 A KR20210025538 A KR 20210025538A
Authority
KR
South Korea
Prior art keywords
motion
candidates
candidate
current
motion information
Prior art date
Application number
KR1020207037976A
Other languages
English (en)
Other versions
KR102627814B1 (ko
Inventor
리 장
카이 장
훙빈 류
웨 왕
Original Assignee
베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
바이트댄스 아이엔씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드, 바이트댄스 아이엔씨 filed Critical 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
Priority to KR1020237045270A priority Critical patent/KR20240007299A/ko
Publication of KR20210025538A publication Critical patent/KR20210025538A/ko
Application granted granted Critical
Publication of KR102627814B1 publication Critical patent/KR102627814B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/557—Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 처리 방법이 제공되고, 이는 하나 이상의 테이블을 유지하는 단계- 각각의 테이블은 하나 이상의 모션 후보를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관됨 -; 테이블 내의 모션 정보를 사용하여 현재 블록과 현재 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계; 및 변환을 수행한 이후에, 현재 블록과 연관된 M개의 추가적인 모션 정보 세트에 기초하여 하나 이상의 테이블을 업데이트하는 단계- M은 정수임 -를 포함한다.

Description

룩업 테이블의 업데이트: FIFO, 제약된 FIFO
관련 출원들에 대한 상호 참조
파리 조약에 따른 적용가능한 특허법 및/또는 규칙들 하에서, 본 출원은 2018년 6월 29일자로 출원된 국제 특허 출원 제PCT/CN2018/093663호, 2018년 7월 7일자로 출원된 국제 특허 출원 제PCT/CN2018/094929호, 2018년 8월 18일자로 출원된 국제 특허 출원 제PCT/CN2018/101220호, 2018년 11월 27일자로 출원된 국제 특허 출원 제PCT/CN2018/117627호 및 2019년 1월 10일자로 출원된 국제 특허 출원 제PCT/CN2019/071214호에 대한 우선권 및 이익을 적시에 주장하도록 이루어진다. 미국 법 하에서 모든 목적을 위해, 국제 특허 출원 제PCT/CN2018/093663호, 국제 특허 출원 제PCT/CN2018/094929호, 국제 특허 출원 제PCT/CN2018/101220호, 국제 특허 출원 제PCT/CN2018/117627호 및 국제 특허 출원 제PCT/CN2019/071214호의 전체 개시내용은 본 출원의 개시내용의 일부로서 참조로 포함된다.
기술 분야
본 특허 문서는 비디오 코딩 및 디코딩 기술, 디바이스 및 시스템에 관련한 것이다.
비디오 압축의 발전에도 불구하고, 디지털 비디오는 인터넷 및 다른 디지털 통신 네트워크들에서 여전히 가장 큰 대역폭 사용을 차지한다. 비디오를 수신 및 디스플레이할 수 있는 연결된 사용자 디바이스들의 수가 증가함에 따라, 디지털 비디오 사용에 대한 대역폭 수요가 계속 증가할 것으로 예상된다.
본 문서는 디지털 비디오를 인코딩 및 디코딩하기 위한 방법들, 시스템들 및 디바이스들을 개시한다.
하나의 예시적인 양태에서, 비디오 처리 방법이 제공되고, 이는 하나 이상의 테이블을 유지하는 단계- 각각의 테이블은 하나 이상의 모션 후보를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관됨 -; 테이블 내의 모션 정보를 사용하여 현재 블록과 현재 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계; 및 변환을 수행한 이후에, 현재 블록과 연관된 M개의 추가적인 모션 정보 세트에 기초하여 하나 이상의 테이블을 업데이트하는 단계- M은 정수임 -를 포함한다.
다른 예시적인 양태에서, 다른 비디오 처리 방법이 제공되고, 이는 하나 이상의 테이블을 사용하여 현재 블록과 현재 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계- 각각의 테이블은 하나 이상의 모션 후보를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관됨 -; 및 변환에 기초하여, 현재 블록과 연관된 M개의 추가적인 모션 정보 세트에 기초하여 하나 이상의 테이블을 업데이트하는 단계- M은 정수임 -를 포함한다.
또 다른 예시적인 양태에서, 본 명세서에 설명된 비디오 인코딩 방법을 구현하는 비디오 인코더 디바이스가 개시된다.
또 다른 대표적인 양태에서, 본 명세서에 설명된 다양한 기술들이 비일시적 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 프로그램 제품으로서 구현될 수 있다. 컴퓨터 프로그램 제품은 본 명세서에 설명된 방법들을 수행하기 위한 프로그램 코드를 포함한다.
또 다른 대표적인 양태에서, 비디오 디코더 장치는 본 명세서에 설명된 방법을 구현할 수 있다.
하나 이상의 구현의 세부사항들이 이하의 첨부물들, 도면들 및 설명에서 기재되어 있다. 다른 특징들은 설명 및 도면들로부터 그리고 청구항들로부터 명백히 알 수 있을 것이다.
도 1은 비디오 인코더 구현의 예를 나타내는 블록도이다.
도 2는 H.264 비디오 코딩 표준의 매크로블록 파티셔닝을 도시한다.
도 3은 코딩 블록(CB)들을 예측 블록(PU)들로 분할하는 예를 도시한다.
도 4는 CTB를 CB들 및 변환 블록(TB)들로 세분화하기 위한 예시적인 구현을 도시한다. 실선들은 CB 경계들을 나타내고, 점선들은 그 파티셔닝을 갖는 예시적인 CTB, 및 대응하는 쿼드트리를 포함하는 TB 경계들을 나타낸다.
도 5는 비디오 데이터를 파티셔닝하기 위한 QTBT(Quad Tree Binary Tree) 구조의 예를 도시한다.
도 6은 비디오 블록 파티셔닝의 예를 도시한다.
도 7은 쿼드-트리 파티셔닝의 예를 도시한다.
도 8은 트리-타입 시그널링의 예를 도시한다.
도 9는 병합 후보 리스트 구성을 위한 도출 프로세스의 예를 도시한다.
도 10은 공간 병합 후보들의 예시적인 위치들을 도시한다.
도 11은 공간 병합 후보들의 중복 검사를 위해 고려되는 후보 쌍들의 예들을 도시한다.
도 12는 Nx2N 및 2NxN 파티션의 제2 PU에 대한 위치의 예를 도시한다.
도 13은 시간 병합 후보들에 대한 모션 벡터 스케일링을 예시한다.
도 14는 시간 병합 후보들 및 그들의 병치된 픽처에 대한 후보 위치들을 도시한다.
도 15는 조합된 양방향 예측 병합 후보의 예를 도시한다.
도 16은 모션 벡터 예측 후보에 대한 도출 프로세스의 예를 도시한다.
도 17은 공간 모션 벡터 후보에 대한 모션 벡터 스케일링의 예를 도시한다.
도 18은 CU의 모션 예측을 위한 예시적인 ATMVP(Alternative Temporal Motion Vector Prediction)를 도시한다.
도 19는 소스 블록 및 소스 픽처의 식별의 예를 도식적으로 도시한다.
도 20은 4개의 서브 블록 및 이웃 블록들을 갖는 하나의 CU의 예를 도시한다.
도 21은 양방향 매칭의 예를 도시한다.
도 22는 템플릿 매칭의 예를 도시한다.
도 23은 FRUC(Frame Rate Up Conversion)에서의 단방향 모션 추정(ME)의 예를 도시한다.
도 24는 양방향 템플릿 매칭에 기초한 DMVR의 예를 도시한다.
도 25는 공간 병합 후보들을 도출하는 데 사용되는 공간 이웃 블록들의 예를 도시하는 도면이다.
도 26은 룩업 테이블 업데이트들을 위한 대표적인 위치의 선택 방법의 예를 도시한다.
도 27a 및 도 27b는 새로운 모션 정보 세트로 룩업 테이블을 업데이트하는 예를 도시하는 도면이다.
도 28은 본 문서에 설명된 비주얼 미디어 디코딩 또는 비주얼 미디어 인코딩 기술을 구현하는 하드웨어 플랫폼의 예의 블록도이다.
도 29는 예시적인 비디오 비트스트림 처리 방법에 대한 흐름도이다.
도 30은 비디오 비트스트림 처리의 다른 예시적인 방법에 대한 흐름도이다.
도 31은 제안된 HMVP 방법을 갖는 디코딩 흐름도의 예를 도시한다.
도 32는 제안된 HMVP 방법을 사용하여 테이블들을 업데이트하는 예들을 도시한다.
도 33a 및 도 33b는 (하나의 중복 모션 후보가 제거된) 중복 제거 기반 LUT 업데이트 방법의 예들을 도시한다.
도 34a 및 도 34b는 (다수의 중복 모션 후보들이 제거된) 중복 제거 기반 LUT 업데이트 방법의 예들을 도시한다.
비디오의 압축비를 향상시키기 위해, 연구자들은 비디오를 인코딩하는 새로운 기술들을 계속 찾고 있다.
1. 도입
본 문서는 비디오 코딩 기술들에 관련한 것이다. 구체적으로, 이는 비디오 코딩에서의 모션 정보 코딩(예를 들어 병합 모드, AMVP 모드)에 관련된다. 이는 HEVC와 같은 기존의 비디오 코딩 표준, 또는 완성될 표준(다용도 비디오 코딩(Versatile Video Coding))에 적용될 수 있다. 이는 또한 장래의 비디오 코딩 표준들 또는 비디오 코덱에도 적용가능할 수 있다.
간략한 설명
비디오 코딩 표준들은 주로 알려진 ITU-T 및 ISO/IEC 표준들의 개발을 통해 발전했다. ITU-T는 H.261 및 H.263를 생성하고, ISO/IEC는 MPEG-1 및 MPEG-4 Visual을 생성하였으며, 두 기구가 공동으로 H.262/MPEG-2 비디오 및 H.264/MPEG-4 AVC(Advanced Video Coding) 및 H.265/HEVC 표준들을 생성하였다. H.262 이래로, 비디오 코딩 표준들은 시간 예측 + 변환 코딩이 이용되는 하이브리드 비디오 코딩 구조에 기초한다. 전형적인 HEVC 인코더 프레임워크의 예가 도 1에 도시된다.
2.1 파티션 구조
2.1.1 H.264/AVC에서의 파티션 트리 구조
이전 표준들에서의 코딩 층의 코어는 루마 샘플들의 16Х16 블록 및, 4:2:0 컬러 샘플링의 일반적인 경우에, 크로마 샘플들의 2개의 대응하는 8Х8 블록들을 포함하는 매크로블록이었다.
인트라-코딩된 블록은 픽셀들 간의 공간 상관을 활용하기 위해 공간 예측을 사용한다. 2개의 파티션, 즉 16x16 및 4x4가 정의된다.
인터-코딩된 블록은 픽처들 간의 모션을 추정함으로써 공간 예측 대신에 시간 예측을 사용한다. 모션은 16x16 매크로블록 또는 그의 서브-매크로블록 파티션들- 16x8, 8x16, 8x8, 8x4, 4x8, 4x4(도 2 참조) - 중 임의의 것 중 어느 쪽이든에 대해 독립적으로 추정될 수 있다: 서브-매크로블록 파티션당 단 하나의 모션 벡터(MV) 만이 허용된다.
2.1.2 HEVC에서의 파티션 트리 구조
HEVC에서, CTU는 다양한 로컬 특성들에 적응하기 위해 코딩 트리로서 표시된 쿼드트리 구조를 사용함으로써 CU들로 분할된다. 인터-픽처(시간) 또는 인트라-픽처(공간) 예측 중 어느쪽을 사용하여 픽처 영역을 코딩할지의 결정은 CU 레벨에서 이루어진다. 각각의 CU는 PU 분할 타입에 따라 1개, 2개 또는 4개의 PU로 추가로 분할될 수 있다. 하나의 PU 내부에서, 동일한 예측 프로세스가 적용되고 관련 정보가 PU 기준으로 디코더에 송신된다. PU 분할 타입에 기초하여 예측 프로세스를 적용함으로써 잔차 블록을 획득한 이후에, CU는 CU에 대한 코딩 트리와 유사한 다른 쿼드트리 구조에 따라 변환 유닛(TU)들로 파티셔닝될 수 있다. HEVC 구조의 주요 특징 중 하나는 그것이 CU, PU, 및 TU를 포함하는 다수의 파티션 개념들을 갖는다는 것이다.
이하에서, HEVC를 사용하는 하이브리드 비디오 코딩에 수반되는 다양한 특징들이 다음과 같이 강조된다.
1) 코딩 트리 유닛 및 코딩 트리 블록(CTB) 구조: HEVC에서의 유사한 구조는 인코더에 의해 선택된 크기를 가지며 전통적인 매크로블록보다 클 수 있는 코딩 트리 유닛(CTU)이다. CTU는 루마 CTB 및 대응하는 크로마 CTB들 및 신택스 엘리먼트들로 구성된다. 루마 CTB의 크기 LХL은 L= 16, 32 또는 64 샘플로서 선택될 수 있고, 더 큰 크기들은 전형적으로 더 양호한 압축을 가능하게 한다. HEVC는 이어서 트리 구조 및 쿼드트리형 시그널링을 사용하여 CTB들의 더 작은 블록들로의 파티셔닝을 지원한다.
2) 코딩 유닛(CU)들 및 코딩 블록(CB)들: CTU의 쿼드트리 신택스는 그 루마 및 크로마 CB들의 크기 및 위치들을 지정한다. 쿼드트리의 루트는 CTU와 연관된다. 따라서, 루마 CTB의 크기는 루마 CB에 대해 가장 큰 지원되는 크기이다. 루마 및 크로마 CB들로의 CTU의 분할은 공동으로 시그널링된다. 하나의 루마 CB 및 통상적으로 2개의 크로마 CB들은 연관된 신택스와 함께 코딩 유닛(CU)을 형성한다. CTB는 단 하나의 CU만을 포함할 수 있거나 다수의 CU들을 형성하도록 분할될 수 있고, 각각의 CU는 예측 유닛(PU)들 및 변환 유닛(TU)들의 트리로의 연관된 파티셔닝을 갖는다.
3) 예측 유닛들 및 예측 블록(PB)들: 인터 픽처 또는 인트라 픽처 예측 중 어느 쪽을 사용하여 픽처 영역을 코딩할지의 결정은 CU 레벨에서 이루어진다. PU 파티셔닝 구조는 CU 레벨에서 그의 루트를 갖는다. 기본 예측 타입 결정에 따라, 루마 및 크로마 CB들은 이어서 크기가 추가로 분할되고 루마 및 크로마 예측 블록(PB)들로부터 예측될 수 있다. HEVC는 64Х64에서 4Х4 샘플까지의 가변 PB 크기들을 지원한다. 도 3은 MxM CU에 대한 허용된 PB들의 예들을 도시한다.
4) TU들 및 변환 블록들: 예측 잔차는 블록 변환을 사용하여 코딩된다. TU 트리 구조는 CU 레벨에서 그의 루트를 갖는다. 루마 CB 잔차는 루마 변환 블록(TB)과 동일하거나 더 작은 루마 TB들로 추가로 분할될 수 있다. 이는 크로마 TB에도 적용된다. 이산 코사인 변환(DCT)의 것들과 유사한 정수 기저 함수들은 정사각형 TB 크기들 4Х4, 8Х8, 16Х16 및 32Х32에 대해 정의된다. 루마 인트라 픽처 예측 잔차들의 4Х4 변환의 경우, 이산 사인 변환(DST)의 형태로부터 도출된 정수 변환이 대안적으로 지정된다.
도 4는 CTB의 CB들[및 변환 블록(TB들)]로의 세분화의 예를 도시한다. 실선들은 CB 경계들을 나타내고 점선들은 TB 경계들을 나타낸다. (a) 자신의 파티셔닝을 갖는 CTB. (b) 대응하는 쿼드트리
2.1.2.1 변환 블록들 및 유닛들로의 트리-구조 파티셔닝
잔차 코딩의 경우, CB는 변환 블록(TB)들로 재귀적으로 파티셔닝될 수 있다. 파티셔닝은 잔차 쿼드트리에 의해 시그널링된다. 정사각형 CB 및 TB 파티셔닝만이 지정되며, 여기서 블록은 도 4에 도시된 바와 같이 사분면들로 재귀적으로 분할될 수 있다. 크기 MХM의 주어진 루마 CB에 대해, 플래그는 그것이 크기 M/2ХM/2의 4개의 블록들로 분할되는지 여부를 시그널링한다. SPS에 표시되는 잔차 쿼드트리의 최대 깊이에 의해 시그널링되는 바와 같이, 추가의 분할이 가능하면, 각각의 사분면에는 이것이 4개의 사분면으로 분할되는지 여부를 표시하는 플래그가 할당된다. 잔차 쿼드트리로부터 얻어지는 리프 노드 블록들은 변환 코딩에 의해 추가로 처리되는 변환 블록들이다. 인코더는 사용할 최대 및 최소 루마 TB 크기를 나타낸다. CB 크기가 최대 TB 크기보다 클 때 분할은 암시적이다. 분할이 표시된 최소값보다 작은 루마 TB 크기를 초래할 때는 분할은 암시적이지 않다. 크로마 TB 크기는, 루마 TB 크기가 4Х4인 경우를 제외하고, 각 차원에서 루마 TB 크기의 절반이며, 이 경우 단일 4Х4 크로마 TB가 4개의 4Х4 루마 TB들에 의해 커버되는 영역에 사용된다. 인트라-픽처-예측된 CU들의 경우, (CB 내 또는 외부의) 가장 가까운-이웃하는 TB들의 디코딩된 샘플들이 인트라 픽처 예측을 위한 기준 데이터로서 사용된다.
이전의 표준들과 대조적으로, HEVC 설계는 TB가 쿼드트리 구조 TB 파티셔닝의 잠재적 코딩 효율 이점들을 최대화하기 위해 인터-픽처 예측 CU들에 대해 다수의 PB들에 걸쳐질 수 있게 한다.
2.1.2.2 부모 및 자식 노드들
CTB는 그 노드들이 코딩 유닛들인 쿼드-트리 구조에 따라 분할된다. 쿼드-트리 구조 내의 복수의 노드들은 리프 노드들 및 비-리프 노드들을 포함한다. 리프 노드들은 트리 구조에서 자식 노드들을 갖지 않는다(즉, 리프 노드들은 추가로 분할되지 않는다). 비-리프 노드들은 트리 구조의 루트 노드를 포함한다. 루트 노드는 비디오 데이터(예를 들어, CTB)의 초기 비디오 블록에 대응한다. 복수의 노드들의 각각의 비루트 노드 각각에 대해, 각각의 비루트 노드는 각각의 비루트 노드의 트리 구조 내의 부모 노드에 대응하는 비디오 블록의 서브 블록인 비디오 블록에 대응한다. 복수의 비-리프 노드 중 각각의 비-리프 노드 각각은 트리 구조에서 하나 이상의 자식 노드를 갖는다.
2.1.3 JEM에서 더 큰 CTU들을 갖는 쿼드트리 + 이진 트리 블록 구조
HEVC를 넘어서는 장래의 비디오 코딩 기술들을 탐구하기 위해, JVET(Joint Video Exploration Team)가 2015년에 VCEG 및 MPEG에 의해 공동으로 설립되었다. 그 후, 많은 새로운 방법들이 JVET에 의해 채택되어 JEM(Joint Exploration Model)이라 명명된 참조 소프트웨어에 들어갔다.
2.1.3.1 QTBT 블록 파티셔닝 구조
HEVC와 달리, QTBT 구조는 다수의 파티션 타입들의 개념들을 제거하며, 즉, 이는 CU, PU 및 TU 개념들의 분리를 제거하고, CU 파티션 형상들에 대한 더 많은 유연성을 지원한다. QTBT 블록 구조에서, CU는 정사각형 또는 직사각형 형상 어느 쪽이든 가질 수 있다. 도 5에 도시된 바와 같이, 코딩 트리 유닛(CTU)이 쿼드트리 구조에 의해 먼저 파티셔닝된다. 쿼드트리 리프 노드들은 이진 트리 구조에 의해 추가로 파티셔닝된다. 이진 트리 분할에는 대칭 수평 분할 및 대칭 수직 분할의 2가지 분할 타입이 있다. 이진 트리 리프 노드들은 코딩 유닛(CU)들이라고 불리며, 이러한 세그먼트화는 어떠한 추가적인 파티셔닝도 없이 예측 및 변환 처리를 위해 사용된다. 이는 CU, PU 및 TU가 QTBT 코딩 블록 구조에서 동일한 블록 크기를 갖는다는 것을 의미한다. JEM에서, CU는 때때로 상이한 컬러 성분들의 코딩 블록(CB)들로 구성되고, 예를 들어, 하나의 CU는 4:2:0 크로마 포맷의 P 및 B 슬라이스들의 경우에 하나의 루마 CB 및 2개의 크로마 CB를 포함하고, 때때로 단일 성분의 CB로 구성되며, 예를 들어, 하나의 CU는 I 슬라이스들의 경우에 단 하나의 루마 CB 또는 단지 2개의 크로마 CB를 포함한다.
QTBT 파티셔닝 방식에 대해 다음 파라미터들이 정의된다:
- CTU 크기: 쿼드트리의 루트 노드 크기, HEVC에서와 동일한 개념
- MinQTSize: 최소 허용 쿼드트리 리프 노드 크기
- MaxBTSize: 최대 허용 이진 트리 루트 노드 크기
- MaxBTDepth: 최대 허용 이진 트리 깊이
- MinBTSize: 최소 허용 이진 트리 리프 노드 크기
QTBT 파티셔닝 구조의 일 예에서, CTU 크기는 128Х128 루마 샘플들과 2개의 대응하는 64Х64 블록의 크로마 샘플들로서 설정되고, MinQTSize은 16Х16으로 설정되고, MaxBTSize는 64Х64로 설정되고, MinBTSize (폭과 높이 둘 다에 대해)는 4Х4로 설정되고, MaxBTDepth는 4로 설정된다. 쿼드트리 파티셔닝이 먼저 CTU에 적용되어 쿼드트리 리프 노드들을 생성한다. 쿼드트리 리프 노드들은 16Х16(즉, MinQTSize) 내지 128Х128(즉, CTU 크기)의 크기를 가질 수 있다. 리프 쿼드트리 노드가 128Х128이면, 크기는 MaxBTSize(즉, 64Х64)를 초과하기 때문에 이진 트리에 의해 추가로 분할되지 않을 것이다. 그렇지 않으면, 리프 쿼드트리 노드는 이진 트리에 의해 추가로 파티셔닝될 수 있다. 따라서, 쿼드트리 리프 노드는 또한 이진 트리에 대한 루트 노드이고 그것은 0으로서 이진 트리 깊이를 갖는다. 이진 트리 깊이가 MaxBTDepth(즉, 4)에 도달할 때, 더 이상의 분할이 고려되지 않는다. 이진 트리 노드가 MinBTSize(즉, 4)와 동일한 폭을 가질 때, 더 이상 수평 분할이 고려되지 않는다. 유사하게, 이진 트리 노드가 MinBTSize와 동일한 높이를 갖는 경우, 더 이상 수직 분할이 고려되지 않는다. 이진 트리의 리프 노드들은 임의의 추가적인 파티셔닝 없이 예측 및 변환 처리에 의해 추가로 처리된다. JEM에서, 최대 CTU 크기는 256Х256 루마 샘플들이다.
도 5는 QTBT를 사용한 블록 파티셔닝의 예를 예시하고(좌측), 도 5는 대응하는 트리 표현을 예시한다(우측). 실선들은 쿼드트리 분할을 나타내고 점선들은 이진 트리 분할을 나타낸다. 이진 트리의 각각의 분할(즉, 비-리프) 노드에서, 어느 분할 타입(즉, 수평 또는 수직)이 사용되는지를 나타내기 위해 하나의 플래그가 시그널링되며, 여기서 0은 수평 분할을 나타내고 1은 수직 분할을 나타낸다. 쿼드트리 분할의 경우, 분할 타입을 나타낼 필요가 없는데, 그 이유는 쿼드트리 분할이 항상 블록을 수평 및 수직 양자 모두로 분할하여 동일한 크기를 갖는 4개의 서브 블록을 생성하기 때문이다.
또한, QTBT 방식은 루마 및 크로마가 별개의 QTBT 구조를 갖는 능력을 지원한다. 현재, P 및 B 슬라이스들에 대해, 하나의 CTU 내의 루마 및 크로마 CTB들은 동일한 QTBT 구조를 공유한다. 그러나, I 슬라이스들에 대해, 루마 CTB는 QTBT 구조에 의해 CU들로 파티셔닝되고, 크로마 CTB들은 다른 QTBT 구조에 의해 크로마 CU들로 파티셔닝된다. 이것은 I 슬라이스 내의 CU가 루마 성분의 코딩 블록 또는 2개의 크로마 성분의 코딩 블록들로 구성되고, P 또는 B 슬라이스 내의 CU가 3개의 컬러 성분 모두의 코딩 블록들로 구성된다는 것을 의미한다.
HEVC에서, 작은 블록들에 대한 인터 예측이 제한되어 모션 보상의 메모리 액세스를 감소시키며, 그래서, 양방향 예측은 4Х8 및 8Х4 블록들에 대해 지원되지 않고, 인터 예측은 4Х4 블록들에 대해 지원되지 않는다. JEM의 QTBT에서, 이러한 제한들은 제거된다.
2.1.4 VVC를 위한 삼진-트리
[6]에서 제안된 바와 같이, 쿼드-트리 및 이진-트리 이외의 트리 타입들이 지원된다. 이 구현에서, 도 6의 (d) 및 (e)에 도시된 바와 같이, 2개의 더 많은 삼진 트리(TT) 파티션, 즉, 수평 및 수직 중심측 삼진-트리가 도입된다.
도 6은 다음을 도시한다: (a) 쿼드-트리 파티셔닝 (b) 수직 이진-트리 파티셔닝 (c) 수평 이진-트리 파티셔닝 (d) 수직 중심측 삼진-트리 파티셔닝 (e) 수평 중심측 삼진-트리 파티셔닝.
[6]에서, 영역 트리(쿼드-트리) 및 예측 트리(이진-트리 또는 삼진-트리)의 2개의 레벨의 트리가 존재한다. CTU는 먼저 영역 트리(RT)에 의해 파티셔닝된다. RT 리프는 예측 트리(PT)로 추가로 분할될 수 있다. PT 리프는 또한 최대 PT 깊이에 도달할 때까지 PT로 추가로 분할될 수 있다. PT 리프는 기본 코딩 유닛이다. 이는 편의상 여전히 CU라고 불린다. CU는 추가로 분할될 수 없다. 예측 및 변환은 둘 다 JEM과 동일한 방식으로 CU에 적용된다. 전체 파티션 구조는 "다중 타입 트리"로 명명된다.
2.1.5 파티셔닝 구조의 예
MTT(Multi-Tree Type)라고 불리는, 이 응답에 사용되는 트리 구조는 QTBT의 일반화이다. QTBT에서, 도 5에 도시된 바와 같이, 코딩 트리 유닛(CTU)은 먼저 쿼드-트리 구조에 의해 파티셔닝된다. 쿼드-트리 리프 노드들은 이진-트리 구조에 의해 추가로 파티셔닝된다.
MTT의 기본 구조는 2가지 타입의 트리 노드로 구성된다: 도 7에 도시된 바와 같이, 9개의 타입의 파티션을 지원하는 영역 트리(RT) 및 예측 트리(PT).
도 7은 다음을 도시한다: (a) 쿼드-트리 파티셔닝(b) 수직 이진-트리 파티셔닝(c) 수평 이진-트리 파티셔닝(d) 수직 삼진-트리 파티셔닝(e) 수평 삼진-트리 파티셔닝(f) 수평-상측 비대칭 이진-트리 파티셔닝(g) 수평-하측 비대칭 이진-트리 파티셔닝(h) 수직-좌측 비대칭 이진-트리 파티셔닝(i) 수직-우측 비대칭 이진-트리 파티셔닝.
영역 트리는 CTU를 4x4 크기 영역 트리 리프 노드로 정사각형 블록들로 재귀적으로 분할할 수 있다. 영역 트리 내의 각각의 노드에서, 예측 트리는 3개의 트리 타입 중 하나로부터 형성될 수 있다: 이진 트리(BT), 삼진-트리(TT) 및 비대칭 이진 트리(ABT). PT 분할에서, 예측 트리의 분기들에 쿼드트리 파티션을 갖는 것이 금지된다. JEM에서와 같이, 루마 트리 및 크로마 트리는 I 슬라이스들에서 분리된다. RT 및 PT에 대한 시그널링 방법이 도 8에 예시된다.
2.2 HEVC/H.265에서의 인터 예측
각각의 인터-예측된 PU는 하나 또는 2개의 참조 픽처 리스트에 대한 모션 파라미터를 갖는다. 모션 파라미터들은 모션 벡터 및 참조 픽처 인덱스를 포함한다. 2개의 참조 픽처 리스트 중 하나의 사용은 또한 inter_pred_idc을 사용하여 시그널링될 수 있다. 모션 벡터들은 예측자들에 대한 델타들로서 명시적으로 코딩될 수 있고, 이러한 코딩 모드는 AMVP 모드로 불린다.
CU가 스킵 모드로 코딩될 때, 하나의 PU가 CU와 연관되고, 유의한 잔차 계수들이 없고, 코딩된 모션 벡터 델타 또는 참조 픽처 인덱스가 없다. 병합 모드가 지정되고, 이에 의해, 공간 및 시간 후보들을 포함하는 이웃하는 PU들로부터 현재 PU에 대한 모션 파라미터들이 획득된다. 병합 모드는 스킵 모드에 대해서뿐만 아니라 임의의 인터-예측된 PU에 적용될 수 있다. 병합 모드에 대한 대안은 모션 파라미터들의 명시적 송신이며, 여기서 모션 벡터, 각각의 참조 픽처 리스트에 대한 대응하는 참조 픽처 인덱스 및 참조 픽처 리스트 사용은 각각의 PU마다 명시적으로 시그널링된다.
시그널링이 2개의 참조 픽처 리스트 중 하나가 사용될 것임을 나타낼 때, PU는 샘플들의 하나의 블록으로부터 생성된다. 이것은 "단방향 예측"이라고 지칭된다. P-슬라이스 및 B-슬라이스 둘 다에 대해 단방향 예측이 사용가능하다.
시그널링이 양자 모두의 참조 픽처 리스트가 사용될 것을 나타내는 경우, PU는 샘플들의 2개의 블록으로부터 생성된다. 이것은 "양방향 예측"이라고 지칭된다. 양방향 예측은 B-슬라이스들에 대해서만 사용가능하다.
다음 텍스트는 HEVC[2]에서 지정된 인터 예측 모드들에 대한 세부사항들을 제공한다. 설명은 병합 모드에서 시작할 것이다.
2.2.1 병합 모드
2.2.1.1 병합 모드에 대한 후보들의 도출
PU가 병합 모드를 사용하여 예측될 때, 병합 후보 리스트 내의 엔트리를 가리키는 인덱스가 비트스트림으로부터 파싱되고 모션 정보를 검색하는 데 사용된다. 이 리스트의 구성은 HEVC 표준에서 지정되고 다음 단계들의 시퀀스에 따라 요약될 수 있다:
· 단계 1: 초기 후보 도출
- 단계 1.1: 공간 후보 도출
- 단계 1.2: 공간 후보에 대한 중복 검사
- 단계 1.3: 시간 후보 도출
· 단계 2: 추가 후보 삽입
- 단계 2.1: 양방향 예측 후보들의 생성
- 단계 2.2: 제로 모션 후보들의 삽입
이러한 단계들은 또한 도 9에 개략적으로 도시된다. 공간 병합 후보 도출의 경우, 5개의 상이한 위치에 위치하는 후보들 중에서 최대 4개의 병합 후보가 선택된다. 시간 병합 후보 도출의 경우, 2개의 후보 중에서 최대 하나의 병합 후보가 선택된다. 각각의 PU에 대한 일정한 수의 후보들이 디코더에서 가정되기 때문에, 후보들의 수가 슬라이스 헤더에서 시그널링되는 병합 후보의 최대 수(MaxNumMergeCand)에 도달하지 않을 때 추가 후보들이 생성된다. 후보들의 수가 일정하기 때문에, 최상의 병합 후보의 인덱스는 절단 단항 이진화(TU)를 사용하여 인코딩된다. CU의 크기가 8과 동일한 경우, 현재 CU의 모든 PU들은 2NХ2N 예측 유닛의 병합 후보 리스트와 동일한 단일 병합 후보 리스트를 공유한다.
이하에서는, 전술한 단계들과 연관된 동작들이 상세히 설명된다.
2.2.1.2 공간 후보 도출
공간 병합 후보들의 도출에서, 도 10에 도시된 위치들에 배치된 후보들 중에서 최대 4개의 병합 후보가 선택된다. 도출 순서는 A1, B1, B0, A0 및 B2이다. 위치 B2는 위치 A1, B1, B0, A0의 임의의 PU가 사용가능하지 않을 때(예를 들어, 그것이 다른 슬라이스 또는 타일에 속하기 때문에) 또는 인트라 코딩될 때에만 고려된다. 위치 A1에서의 후보가 추가된 이후에, 나머지 후보들의 추가는 동일한 모션 정보를 갖는 후보들이 리스트로부터 배제되어 코딩 효율이 향상되도록 보장하는 중복 검사를 받는다. 계산 복잡성을 감소시키기 위해, 모든 가능한 후보 쌍들이 언급된 중복 검사에서 고려되지는 않는다. 대신에, 도 11에서 화살표로 연결된 쌍들만이 고려되고, 중복 검사를 위해 사용되는 대응하는 후보가 동일한 모션 정보를 갖지 않는 경우에만 후보가 리스트에 추가된다. 이중 모션 정보의 다른 소스는 2Nx2N과는 상이한 파티션들과 연관된 "제2 PU"이다. 예로서, 도 12는 각각 NХ2N 및 2NХN의 경우에 대한 제2 PU를 도시한다. 현재 PU가 NХ2N으로 파티셔닝되면, 위치 A1에서의 후보는 리스트 구성을 위해 고려되지 않는다. 실제로, 이 후보를 추가하는 것은 동일한 모션 정보를 갖는 2개의 예측 유닛으로 이어질 것이고, 이는 코딩 유닛에서 단지 하나의 PU를 가지는 경우 중복된다. 유사하게, 현재 PU가 2NХN으로 파티셔닝될 때, 위치 B1은 고려되지 않는다.
2.2.1.3 시간 후보 도출
이 단계에서, 하나의 후보만이 리스트에 추가된다. 상세하게는, 이 시간 병합 후보의 도출에서, 주어진 참조 픽처 리스트 내의 현재 픽처와 가장 작은 POC 차이를 갖는 픽처에 속하는 병치된 PU에 기초하여 스케일링된 모션 벡터가 도출된다. 병치된 PU의 도출에 사용될 참조 픽처 리스트는 슬라이스 헤더에서 명시적으로 시그널링된다. 시간 병합 후보에 대한 스케일링된 모션 벡터는, POC 거리들 tb 및 td를 사용하여 병치된 PU의 모션 벡터로부터 스케일링되는, 도 13에서 점선으로 예시된 바와 같이 획득되고, 여기서 tb는 현재 픽처의 참조 픽처와 현재 픽처 사이의 POC 차이인 것으로 정의되고, td는 병치된 픽처의 참조 픽처와 병치된 픽처 사이의 POC 차이인 것으로 정의된다. 시간 병합 후보의 참조 픽처 인덱스는 제로와 동일하게 설정된다. 스케일링 프로세스의 실제적인 실현은 HEVC 사양[1]에서 설명된다. B-슬라이스의 경우, 2개의 모션 벡터- 하나는 참조 픽처 리스트 0에 대한 것이고 다른 하나는 참조 픽처 리스트 1에 대한 것임 -가 획득되고 조합되어 양방향 예측 병합 후보를 구성한다. 시간 병합 후보에 대한 모션 벡터 스케일링의 예시.
참조 프레임에 속하는 병치된 PU(Y)에서, 시간 후보에 대한 위치는 도 14에 도시된 바와 같이 후보들 C0과 C1 사이에서 선택된다. 위치 C0에서의 PU가 사용가능하지 않거나, 인트라 코딩되거나, 또는 현재 CTU의 외부에 있으면, 위치 C1가 사용된다. 그렇지 않으면, 위치 C0가 시간 병합 후보의 도출에서 사용된다.
2.2.1.4 추가 후보 삽입
공간-시간 병합 후보들 이외에, 2개의 추가적인 타입의 병합 후보가 있다: 조합된 양방향 예측 병합 후보 및 제로 병합 후보. 조합된 양방향 예측 병합 후보들은 공간-시간 병합 후보들을 이용함으로써 생성된다. 조합된 양방향 예측 병합 후보는 B-슬라이스에 대해서만 사용된다. 조합된 양방향 예측 후보들은 초기 후보의 제1 참조 픽처 리스트 모션 파라미터들을 다른 후보의 제2 참조 픽처 리스트 모션 파라미터들과 조합함으로써 생성된다. 이들 2개의 튜플이 상이한 모션 가설을 제공하는 경우, 이들은 새로운 양방향 예측 후보를 형성할 것이다. 일 예로서, 도 15는 mvL0 및 refIdxL0 또는 mvL1 및 refIdxL1을 갖는, 원본 리스트(좌측) 내의 2개의 후보가 최종 리스트(우측)에 추가된 조합된 양방향 예측 병합 후보를 생성하는 데 사용되는 경우를 도시한다. 이러한 추가적인 병합 후보들을 생성하는 것으로 고려되는 조합들에 관련한 다수의 규칙들이 존재한다.
병합 후보들 리스트 내의 나머지 엔트리들을 채우기 위해 제로 모션 후보들이 삽입되며, 따라서 MaxNumMergeCand 용량에 도달한다. 이러한 후보들은 제로 공간 변위 및 제로로부터 시작하고 새로운 제로 모션 후보가 리스트에 추가될 때마다 증가하는 참조 픽처 인덱스를 갖는다. 이러한 후보들에 의해 사용되는 참조 프레임들의 수는 단방향 및 양방향 예측을 위해 각각 1개 및 2개이다. 마지막으로, 이러한 후보들에 대해 중복 검사가 수행되지 않는다.
2.2.1.5 병렬 처리를 위한 모션 추정 영역
인코딩 프로세스의 속도를 높이기 위해, 모션 추정이 병렬로 수행될 수 있고, 그에 의해 주어진 영역 내의 모든 예측 유닛들에 대한 모션 벡터들이 동시에 도출된다. 공간적 이웃으로부터의 병합 후보들의 도출은 병렬 처리를 방해할 수 있는데, 그 이유는 하나의 예측 유닛이 그의 연관된 모션 추정이 완료될 때까지 인접한 PU로부터 모션 파라미터들을 도출할 수 없기 때문이다. 코딩 효율과 처리 레이턴시 사이의 트레이드-오프를 완화하기 위해, HEVC는 "log2_parallel_merge_level_minus2" 신택스 엘리먼트를 사용하여 픽처 파라미터 세트에서 그 크기가 시그널링되는 모션 추정 영역(MER)을 정의한다. MER이 정의될 때, 동일한 영역에 속하는 병합 후보들은 사용 불가능한 것으로 표시되고, 따라서 리스트 구성에서 고려되지 않는다.
7.3.2.3 픽처 파라미터 세트 RBSP 신택스
7.3.2.3.1 일반 픽처 파라미터 세트 RBSP 신택스
Figure pct00001
log2_parallel_merge_level_minus2 + 2는, 8.5.3.2.2 절에 명시된 병합 모드에 대한 루마 모션 벡터들에 대한 도출 프로세스 및 8.5.3.2.3 절에 명시된 공간 병합 후보들에 대한 도출 프로세스에서 사용되는, 변수 Log2ParMrgLevel의 값을 지정한다. log2_parallel_merge_level_minus2의 값은 0 내지 CtbLog2SizeY - 2(경계값 포함)의 범위에 있을 것이다.
변수 Log2ParMrgLevel은 다음과 같이 도출된다:
Log2ParMrgLevel = log2_parallel_merge_level_minus2 + 2 (7-37)
주 3 - Log2ParMrgLevel의 값은 병합 후보 리스트들의 병렬 도출의 내장 능력을 나타낸다는 점에 유의한다. 예를 들어, Log2ParMrgLevel이 6과 같을 때, 64x64 블록에 포함된 모든 예측 유닛(PU)들 및 코딩 유닛(CU)들에 대한 병합 후보 리스트들이 병렬로 도출될 수 있다.
2.2.2 AMVP 모드에서의 모션 벡터 예측
모션 벡터 예측은 모션 파라미터의 명시적 송신을 위해 사용되는 이웃 PU와의 모션 벡터의 공간-시간 상관을 이용한다. 이것은 먼저 좌측, 상위의 시간적으로 이웃하는 PU 위치들에서 가용성을 검사하고, 중복 후보들을 제거하고, 제로 벡터를 추가하여 후보 리스트가 일정한 길이가 되게 함으로써 모션 벡터 후보 리스트를 구성한다. 이어서, 인코더는 후보 리스트로부터 최상의 예측자를 선택하고 선택된 후보를 나타내는 대응하는 인덱스를 송신할 수 있다. 병합 인덱스 시그널링과 유사하게, 최상의 모션 벡터 후보의 인덱스는 절단 단항(truncated unary)을 사용하여 인코딩된다. 이 경우에 인코딩될 최대값은 2이다(예를 들어, 도 2 내지 도 8). 다음 섹션들에서, 모션 벡터 예측 후보의 도출 프로세스에 관련한 세부사항들이 제공된다.
2.2.2.1 모션 벡터 예측 후보들의 도출
도 16은 모션 벡터 예측 후보에 대한 도출 프로세스를 요약한다.
모션 벡터 예측에서, 2가지 타입의 모션 벡터 후보가 고려된다: 공간 모션 벡터 후보 및 시간 모션 벡터 후보. 공간 모션 벡터 후보 도출의 경우, 2개의 모션 벡터 후보가 결국 도 11에 도시된 바와 같이 5개의 상이한 위치에 위치하는 각각의 PU의 모션 벡터에 기초하여 도출된다.
시간 모션 벡터 후보 도출에 대해, 2개의 상이한 병치된 위치에 기초하여 도출되는 2개의 후보로부터 하나의 모션 벡터 후보가 선택된다. 공간-시간 후보들의 제1 리스트가 형성된 이후에, 리스트 내의 이중화된 모션 벡터 후보들이 제거된다. 잠재적 후보들의 수가 2보다 큰 경우, 연관된 참조 픽처 리스트 내의 참조 픽처 인덱스가 1보다 큰 모션 벡터 후보들이 리스트로부터 제거된다. 공간-시간 모션 벡터 후보들의 수가 2보다 작으면, 추가적인 제로 모션 벡터 후보들이 리스트에 추가된다.
2.2.2.2 공간 모션 벡터 후보들
공간 모션 벡터 후보들의 도출에서, 최대 2개의 후보들이 5개의 잠재적 후보들 중에서 고려되며, 이 후보들은 도 11에 도시된 바와 같은 위치들에 위치된 PU들로부터 도출되며, 그 위치들은 모션 병합의 위치들과 동일하다. 현재 PU의 좌측 측면에 대한 도출 순서는 A0, A1 및 스케일링된 A0, 스케일링된 A1로서 정의된다. 현재 PU의 상위 측면에 대한 도출 순서는 B0, B1, B2, 스케일링된 B0, 스케일링된 B1, 스케일링된 B2로서 정의된다. 따라서, 각각의 측면에 대해, 모션 벡터 후보로서 사용될 수 있는 4개의 경우가 있으며, 2개의 경우는 공간 스케일링을 사용할 필요가 없고, 2개의 경우는 공간 스케일링이 사용된다. 4개의 상이한 경우들이 다음과 같이 요약된다.
· 공간 스케일링 없음
- (1) 동일한 참조 픽처 리스트, 및 동일한 참조 픽처 인덱스(동일한 POC)
- (2) 상이한 참조 픽처 리스트, 그러나 동일한 참조 픽처(동일한 POC)
· 공간 스케일링
- (3) 동일한 참조 픽처 리스트, 그러나 상이한 참조 픽처(상이한 POC)
- (4) 상이한 참조 픽처 리스트, 및 상이한 참조 픽처(상이한 POC)
공간 스케일링이 없는 경우들이 먼저 검사되고 이어서 공간 스케일링이 후속된다. 참조 픽처 리스트에 관계없이 이웃 PU의 참조 픽처와 현재 PU의 참조 픽처 사이에 POC가 상이할 때 공간 스케일링이 고려된다. 좌측 후보들의 모든 PU들이 사용가능하지 않거나 인트라 코딩되는 경우, 좌측 및 상위 MV 후보들의 병렬 도출을 돕기 위해 상위 모션 벡터에 대한 스케일링이 허용된다. 그렇지 않으면, 상위 모션 벡터에 대해 공간 스케일링이 허용되지 않는다.
공간 스케일링 프로세스에서, 이웃 PU의 모션 벡터는 도 17에 도시된 바와 같이 시간 스케일링에 대한 것과 유사한 방식으로 스케일링된다. 주된 차이는 현재 PU의 참조 픽처 리스트 및 인덱스가 입력으로서 주어진다는 것이며; 실제 스케일링 프로세스는 시간 스케일링의 것과 동일하다.
2.2.2.3 시간 모션 벡터 후보들
참조 픽처 인덱스 도출 이외에, 시간 병합 후보들의 도출을 위한 모든 프로세스들은 공간 모션 벡터 후보들의 도출(예를 들어, 도 6 참조)과 동일하다. 참조 픽처 인덱스는 디코더에 시그널링된다.
2.2.2.4 AMVP 정보의 시그널링
AMVP 모드의 경우, 4개의 부분, 즉 예측 방향, 참조 인덱스, MVD 및 mv 예측자 후보 인덱스가 비트스트림에서 시그널링될 수 있다.
신택스 테이블
Figure pct00002
7.3.8.9 모션 벡터 차이 신택스
Figure pct00003
2.3 JEM(Joint Exploration Model)에서의 새로운 인터 예측 방법들
2.3.1 서브-CU 기반 모션 벡터 예측
QTBT를 갖는 JEM에서, 각각의 CU는 각각의 예측 방향에 대해 많아야 하나의 모션 파라미터 세트를 가질 수 있다. 큰 CU를 서브-CU들로 분할하고 큰 CU의 모든 서브-CU들에 대한 모션 정보를 도출함으로써 2개의 서브-CU 레벨 모션 벡터 예측 방법들이 인코더에서 고려된다. ATMVP(alternative temporal motion vector prediction) 방법은 각각의 CU가 병치된 참조 픽처에서 현재 CU보다 작은 다수의 블록들로부터 모션 정보의 다수의 세트들을 페치할 수 있게 한다. STMVP(spatial-temporal motion vector prediction) 방법에서, 서브-CU들의 모션 벡터들은 시간 모션 벡터 예측자 및 공간 이웃 모션 벡터를 사용함으로써 재귀적으로 도출된다.
서브-CU 모션 예측을 위한 더 정확한 모션 필드를 보존하기 위해, 참조 프레임들에 대한 모션 압축은 현재 디스에이블된다.
2.3.1.1 대체 시간 모션 벡터 예측
ATMVP(alternative temporal motion vector prediction) 방법에서, 모션 벡터들 TMVP(temporal motion vector prediction)은 현재 CU보다 작은 블록들로부터 (모션 벡터들 및 참조 인덱스들을 포함하는) 모션 정보의 다수의 세트를 페치함으로써 수정된다. 도 18에 도시된 바와 같이, 서브-CU들은 정사각형 NХN 블록들(N은 디폴트로 4로 설정됨) 이다.
ATMVP는 2개의 단계들에서 CU 내의 서브-CU들의 모션 벡터들을 예측한다. 제1 단계는 소위 시간 벡터로 참조 픽처에서 대응하는 블록을 식별하는 것이다. 참조 픽처는 모션 소스 픽처라고 불린다. 제2 단계는 도 18에 도시된 바와 같이 현재 CU를 서브-CU들로 분할하고, 각각의 서브-CU에 대응하는 블록으로부터 각각의 서브-CU의 참조 인덱스들뿐만 아니라 모션 벡터들을 획득하는 것이다.
제1 단계에서, 참조 픽처 및 대응하는 블록은 현재 CU의 공간 이웃 블록들의 모션 정보에 의해 결정된다. 이웃 블록들의 반복 스캐닝 프로세스를 피하기 위해, 현재 CU의 병합 후보 리스트 내의 제1 병합 후보가 사용된다. 제1 사용가능한 모션 벡터 및 그의 관련 참조 인덱스는 시간 벡터 및 모션 소스 픽처에 대한 인덱스가 되도록 설정된다. 이러한 방식으로, ATMVP에서, 대응하는 블록은 TMVP와 비교하여 더 정확하게 식별될 수 있고, 대응하는 블록(때때로 병치된 블록이라고 불림)은 항상 현재 CU에 대해 하단-우측 또는 중심 위치에 있다. 일 예에서, 제1 병합 후보가 좌측 이웃 블록으로부터 온 것인 경우(즉, 도 19에서 A1), 소스 블록 및 소스 픽처를 식별하기 위해 연관된 MV 및 참조 픽처가 이용된다.
도 19는 소스 블록 및 소스 픽처의 식별의 예를 도시한다.
제2 단계에서, 서브-CU의 대응하는 블록은 현재 CU의 좌표에 시간 벡터를 추가함으로써 모션 소스 픽처 내의 시간 벡터에 의해 식별된다. 각각의 서브-CU에 대하여, 그 대응하는 블록의 모션 정보(중심 샘플을 커버하는 최소 모션 그리드)는 서브-CU에 대한 모션 정보를 도출하기 위하여 사용된다. 대응하는 NХN 블록의 모션 정보가 식별된 이후에, 그것은 HEVC의 TMVP와 동일한 방식으로, 현재 서브-CU의 모션 벡터들 및 참조 인덱스들로 변환되고, 모션 스케일링 및 다른 절차들이 적용된다. 예를 들어, 디코더는 저지연 조건(즉, 현재 픽처의 모든 참조 픽처들의 POC들이 현재 픽처의 POC보다 작음)이 충족되는지를 검사하고, 가능하게는 모션 벡터 MVx(참조 픽처 리스트 X에 대응하는 모션 벡터)를 사용하여 각각의 서브-CU에 대한 모션 벡터 MVy(X는 0 또는 1과 같고 Y는 1-X와 같음)를 예측한다.
2.3.1.2 공간-시간 모션 벡터 예측
이 방법에서, 서브-CU들의 모션 벡터들은, 래스터 스캔 순서에 따라, 재귀적으로 도출된다. 도 20은 이 개념을 도시한다. 4개의 4Х4 서브-CU들 A, B, C, 및 D를 포함하는 8Х8 CU를 고려한다. 현재 프레임 내의 이웃 4Х4 블록들은 a, b, c 및 d로 표시된다.
서브-CU A에 대한 모션 도출은 그의 2개의 공간 이웃들을 식별함으로써 시작된다. 제1 이웃은 서브-CU A 위의 NХN 블록이다(블록 c). 이 블록 c가 사용가능하지 않거나 인트라 코딩된 경우, 서브-CU A 위의 다른 NХN 블록들이 검사된다(블록 c에서 시작하여 좌측으로부터 우측으로). 제2 이웃은 서브-CU A의 좌측의 블록(블록 b) 이다. 블록 b가 사용가능하지 않거나 인트라 코딩된 경우, 서브-CU A의 좌측에 있는 다른 블록들이 검사된다(상단에서 하단으로, 블록 b에서 시작). 각각의 리스트에 대해 이웃 블록들로부터 획득된 모션 정보는 주어진 리스트에 대해 제1 참조 프레임으로 스케일링된다. 다음으로, 서브 블록 A의 시간 모션 벡터 예측자(TMVP)는 HEVC에서 지정된 바와 같은 TMVP 도출의 동일한 절차를 따라 도출된다. 위치 D에서의 병치된 블록의 모션 정보가 그에 따라 페치되고 스케일링된다. 마지막으로, 모션 정보를 검색하고 스케일링한 이후에, 모든 사용가능한 모션 벡터(최대 3)는 각각의 참조 리스트에 대해 개별적으로 평균화된다. 평균 모션 벡터는 현재 서브-CU의 모션 벡터로서 할당된다.
도 20은 4개의 서브 블록(A-D) 및 그 이웃 블록(a-d)을 갖는 하나의 CU의 예를 도시한다.
2.3.1.3 서브-CU 모션 예측 모드 시그널링
서브-CU 모드들은 추가적인 병합 후보들로서 인에이블되고 모드들을 시그널링하는데 요구되는 추가적인 신택스 엘리먼트가 없다. 각각의 CU의 병합 후보 리스트에 2개의 추가적인 병합 후보가 추가되어 ATMVP 모드 및 STMVP 모드를 표현한다. 시퀀스 파라미터 세트가 ATMVP 및 STMVP가 인에이블되는 것을 나타내는 경우, 최대 7개의 병합 후보가 사용된다. 추가적인 병합 후보들의 인코딩 로직은 HM 내의 병합 후보들에 대한 것과 동일하며, 이는 P 또는 B 슬라이스 내의 각각의 CU에 대해, 2개의 추가적인 병합 후보에 대해 2회의 더 많은 RD 검사가 필요함을 의미한다.
JEM에서, 병합 인덱스의 모든 빈들은 CABAC에 의해 컨텍스트 코딩된다. HEVC에서는 제1 빈만이 컨텍스트 코딩되고, 나머지 빈들은 컨텍스트 바이패스 코딩된다.
2.3.2 적응 모션 벡터 차이 분해능
HEVC에서, (PU의 모션 벡터와 예측된 모션 벡터 사이의) 모션 벡터 차이(MVD)들은 use_integer_mv_flag가 슬라이스 헤더에서 0과 동일할 때 쿼터 루마 샘플들의 유닛들로 시그널링된다. JEM에서, LAMVR(locally adaptive motion vector resolution)이 도입된다. JEM에서, MVD는 쿼터 루마 샘플, 정수 루마 샘플 또는 4 루마 샘플의 유닛으로 코딩될 수 있다. MVD 분해능은 코딩 유닛(CU) 레벨에서 제어되고, MVD 분해능 플래그들은 적어도 하나의 비-제로 MVD 성분을 갖는 각각의 CU에 대해 조건부로 시그널링된다.
적어도 하나의 비-제로 MVD 성분을 갖는 CU에 대해, 제1 플래그는 CU에서 쿼터 루마 샘플 MV 정밀도가 사용되는지를 나타내기 위해 시그널링된다. 제1 플래그(1과 동일)가 쿼터 루마 샘플 MV 정밀도가 사용되지 않는다는 것을 나타낼 때, 정수 루마 샘플 MV 정밀도 또는 4 루마 샘플 MV 정밀도가 사용되는지를 나타내기 위해 다른 플래그가 시그널링된다.
CU의 제1 MVD 분해능 플래그가 0이거나 CU에 대해 코딩되지 않을 때(CU에서의 모든 MVD들이 0임을 의미함), 쿼터 루마 샘플 MV 분해능이 CU에 대해 사용된다. CU가 정수 루마 샘플 MV 정밀도 또는 4 루마 샘플 MV 정밀도를 사용할 때, CU에 대한 AMVP 후보 리스트 내의 MVP들은 대응하는 정밀도로 라운딩된다.
인코더에서, 어느 MVD 분해능이 CU에 대해 사용되어야 하는지를 결정하기 위해 CU-레벨 RD 검사들이 사용된다. 즉, CU-레벨 RD 검사는 각각의 MVD 분해능에 대해 3회 수행된다. 인코더 속도를 가속화하기 위해, 다음 인코딩 방식들이 JEM에서 적용된다:
정상 쿼터 루마 샘플 MVD 분해능을 갖는 CU의 RD 검사 동안, 현재 CU의 모션 정보(정수 루마 샘플 정확도)가 저장된다. (라운딩 이후의) 저장된 모션 정보는 정수 루마 샘플 및 4 루마 샘플 MVD 분해능을 갖는 동일한 CU에 대한 RD 검사 동안 추가의 작은 범위 모션 벡터 정제를 위한 시작점으로서 사용되어, 시간 소모적인 모션 추정 프로세스가 3회 이중화되지 않도록 한다.
4 루마 샘플 MVD 분해능을 갖는 CU에 대한 RD 검사가 조건부로 호출된다. CU의 경우, RD 비용 정수 루마 샘플 MVD 분해능이 쿼터 루마 샘플 MVD 분해능보다 훨씬 더 클 때, CU에 대한 4 루마 샘플 MVD 분해능의 RD 검사는 스킵된다.
2.3.3 패턴 매칭 모션 벡터 도출
PMMVD(pattern matched motion vector derivation) 모드는 FRUC(frame-rate up conversion) 기술들에 기초한 특별한 병합 모드이다. 이 모드에 의하면, 블록의 모션 정보가 시그널링되지 않고 디코더 측에서 도출된다.
FRUC 플래그는 그 병합 플래그가 참일 때 CU에 대해 시그널링된다. FRUC 플래그가 거짓일 때, 병합 인덱스가 시그널링되고 정규 병합 모드가 사용된다. FRUC 플래그가 참일 때, 블록에 대한 모션 정보를 도출하기 위해 어느 방법(양방향 매칭 또는 템플릿 매칭)이 사용되어야 하는지를 나타내기 위해 추가의 FRUC 모드 플래그가 시그널링된다.
인코더 측에서, CU에 대해 FRUC 병합 모드를 사용하는지에 대한 결정은 정상 병합 후보에 대해 행해진 RD 비용 선택에 기초한다. 즉, 2개의 매칭 모드들(양방향 매칭 및 템플릿 매칭) 양자 모두가 RD 비용 선택을 사용하여 CU에 대해 검사된다. 최소 비용으로 이어지는 것이 다른 CU 모드들과 추가로 비교된다. FRUC 매칭 모드가 가장 효율적인 모드이면, CU에 대해 FRUC 플래그가 참으로 설정되고 관련된 매칭 모드가 사용된다.
FRUC 병합 모드에서의 모션 도출 프로세스는 2개의 단계들을 가진다. CU-레벨 모션 검색이 먼저 수행되고, 이어서 서브-CU 레벨 모션 정제가 뒤따른다. CU 레벨에서, 양방향 매칭 또는 템플릿 매칭에 기초하여 전체 CU에 대해 초기 모션 벡터가 도출된다. 먼저, MV 후보들의 리스트가 생성되고, 최소 매칭 비용을 초래하는 후보가 추가의 CU 레벨 정제를 위한 시작점으로서 선택된다. 그 후, 시작점 주위의 양방향 매칭 또는 템플릿 매칭에 기초한 로컬 검색이 수행되고, 최소 매칭 비용을 초래하는 MV가 전체 CU에 대한 MV로서 취해진다. 후속하여, 모션 정보는 도출된 CU 모션 벡터들을 시작점들로 하여 서브-CU 레벨에서 추가로 정제된다.
예를 들어, 다음의 도출 프로세스가
Figure pct00004
CU 모션 정보 도출에 대해 수행된다. 제1 스테이지에서, 전체
Figure pct00005
CU에 대한 MV가 도출된다. 제2 스테이지에서, CU는
Figure pct00006
서브-CU들로 추가로 분할된다.
Figure pct00007
의 값은 (16)에서와 같이 계산되고,
Figure pct00008
는 JEM에서 디폴트로 3으로 설정되는 미리 정의된 분할 깊이이다. 이어서, 각각의 서브-CU에 대한 MV가 도출된다.
Figure pct00009
} (1)
도 21에 도시된 바와 같이, 양방향 매칭이 사용되어 2개의 상이한 참조 픽처에서 현재 CU의 모션 궤적을 따라 2개의 블록 사이의 가장 가까운 매칭을 발견함으로써 현재 CU의 모션 정보를 도출한다. 연속 모션 궤적의 가정 하에, 2개의 참조 블록들을 가리키는 모션 벡터들 MV0 및 MV1은 현재 픽처와 2개의 참조 픽처들 사이의 시간 거리들, 즉, TD0 및 TD1에 비례하여야 한다. 특별한 경우로서, 현재 픽처가 시간적으로 2개의 참조 픽처 사이에 있고 현재 픽처로부터 2개의 참조 픽처까지의 시간 거리가 동일할 때, 양방향 매칭은 미러 기반 양방향 MV가 된다.
도 22에 도시된 바와 같이, 템플릿 매칭은 현재 픽처 내의 템플릿(현재 CU의 상단 및/또는 좌측 이웃 블록들)과 참조 픽처 내의 블록(템플릿과 동일한 크기) 사이의 가장 가까운 매칭을 발견함으로써 현재 CU의 모션 정보를 도출하는데 사용될 수 있다. 전술한 FRUC 병합 모드를 제외하고, 템플릿 매칭은 AMVP 모드에도 적용된다. JEM에서, HEVC에서 행해진 바와 같이, AMVP는 2개의 후보를 갖는다. 템플릿 매칭 방법을 사용하여, 새로운 후보가 도출된다. 템플릿 매칭에 의해 새롭게 도출된 후보가 제1 기존의 AMVP 후보와 상이하면, 이는 AMVP 후보 리스트의 바로 시작점에 삽입되고, 그 다음으로, 리스트 크기는 2로 설정된다(제2 기존의 AMVP 후보를 제거함을 의미). AMVP 모드에 적용될 때, CU 레벨 검색만이 적용된다.
2.3.3.1 CU 레벨 MV 후보 세트
CU 레벨에서의 MV 후보 세트는 다음으로 구성된다:
(i) 현재 CU가 AMVP 모드에 있는 경우의 원래 AMVP 후보들
(ii) 모든 병합 후보들,
(iii) 보간된 MV 필드 내의 몇몇 MV들
(iv) 상단 및 좌측 이웃 모션 벡터
양방향 매칭을 사용할 때, 병합 후보의 각각의 유효 MV는 양방향 매칭을 가정하여 MV 쌍을 생성하기 위한 입력으로서 사용된다. 예를 들어, 병합 후보의 하나의 유효 MV는 참조 리스트 A에서 (MVa, refa)이다. 이어서, 그의 쌍을 이룬 양방향 MV의 참조 픽처 refb는, refa 및 refb가 현재 픽처의 시간적으로 상이한 측면들에 있도록, 다른 참조 리스트 B에서 발견된다. 이러한 refb가 참조 리스트 B에서 사용가능하지 않다면, refb는 refa과는 상이한 참조로서 결정되고, 현재 픽처까지의 그 시간 거리는 리스트 B에서의 최소 거리이다. refb가 결정된 이후, MVb는 현재 픽처와 refa, refb 사이의 시간 거리에 기초하여 MVa를 스케일링함으로써 도출된다.
보간된 MV 필드로부터의 4개의 MV가 또한 CU 레벨 후보 리스트에 추가된다. 보다 구체적으로, 현재 CU의 위치(0, 0), (W/2, 0), (0, H/2) 및 (W/2, H/2)에서의 보간된 MV들이 추가된다.
FRUC가 AMVP 모드에서 적용될 때, 원래의 AMVP 후보들이 또한 CU 레벨 MV 후보 세트에 추가된다.
CU 레벨에서, AMVP CU들에 대한 최대 15개의 MV들 및 병합 CU들에 대한 최대 13개의 MV들이 후보 리스트에 추가된다.
2.3.3.2 서브-CU 레벨 MV 후보 세트
서브-CU 레벨에서의 MV 후보 세트는 다음으로 구성된다:
(i) CU-레벨 검색으로부터 결정된 MV,
(ii) 상단, 좌측, 상단-좌측 및 상단-우측 이웃 MV들,
(iii) 참조 픽처들로부터의 병치된 MV들의 스케일링된 버전들,
(iv) 최대 4개의 ATMVP 후보,
(v) 최대 4개의 STMVP 후보
참조 픽처들로부터의 스케일링된 MV들은 다음과 같이 도출된다. 양자 모두의 리스트 내의 모든 참조 픽처는 순회된다. 참조 픽처에서의 서브-CU의 병치된 위치에서의 MV들은 시작 CU-레벨 MV의 참조에 대해 스케일링된다.
ATMVP 및 STMVP 후보들은 4개의 첫 번째 후보들로 제한된다.
서브-CU 레벨에서, 최대 17개의 MV들이 후보 리스트에 추가된다.
2.3.3.3 보간된 MV 필드의 생성
프레임을 코딩하기 전에, 단방향 ME에 기초하여 전체 픽처에 대해 보간된 모션 필드가 생성된다. 이어서, 모션 필드는 나중에 CU 레벨 또는 서브-CU 레벨 MV 후보로서 사용될 수 있다.
먼저, 양자 모두의 참조 리스트 내의 각 참조 픽처의 모션 필드는 4Х4 블록 레벨에서 순회된다. 각각의 4Х4 블록에 대해, 모션이 현재 픽처 내의 4Х4 블록을 통과하는 블록과 연관되고(도 23에 도시된 바와 같이), 블록이 어떠한 보간된 모션도 할당받지 않은 경우, 참조 블록의 모션은 시간 거리 TD0 및 TD1에 따라 현재 픽처에 대해 스케일링되고(HEVC에서 TMVP의 MV 스케일링의 방식과 동일한 방식), 스케일링된 모션은 현재 프레임 내의 블록에 할당된다. 스케일링된 MV가 4Х4 블록에 할당되지 않으면, 블록의 모션은 보간된 모션 필드에서 사용 불가능한 것으로 표시된다.
2.3.3.4 보간 및 매칭 비용
모션 벡터가 분수 샘플 위치를 가리킬 때, 모션 보상된 보간이 필요하다. 복잡도를 감소시키기 위해, 정규 8-탭 HEVC 보간 대신에 이중 선형 보간이 양방향 매칭 및 템플릿 매칭 둘 다를 위해 사용된다.
매칭 비용의 계산은 상이한 단계들에서 다소 상이하다. CU 레벨에서 후보 세트로부터 후보를 선택할 때, 매칭 비용은 양방향 매칭 또는 템플릿 매칭의 SAD(absolute sum difference)이다. 시작 MV가 결정된 이후에, 서브-CU 레벨 검색에서의 양방향 매칭의 매칭 비용
Figure pct00010
는 다음과 같이 계산된다:
Figure pct00011
(2)
여기서
Figure pct00012
은 경험적으로 4로 설정된 가중 인자이고,
Figure pct00013
및
Figure pct00014
는 각각 현재 MV 및 시작 MV를 나타낸다. SAD는 여전히 서브-CU 레벨 검색에서의 템플릿 매칭의 매칭 비용으로서 사용된다.
FRUC 모드에서, MV는 루마 샘플들만을 사용하여 도출된다. 도출된 모션은 MC 인터 예측을 위해 루마와 크로마 양자 모두에 사용될 것이다. MV가 결정된 이후에, 최종 MC는 루마에 대한 8-탭 보간 필터 및 크로마에 대한 4-탭 보간 필터를 사용하여 수행된다.
2.3.3.5 MV 정제
MV 정제는 양방향 매칭 비용 또는 템플릿 매칭 비용의 기준을 갖는 패턴 기반 MV 검색이다. JEM에서, 2개의 검색 패턴- UCBDS(unrestricted center-biased diamond search) 및 CU 레벨 및 서브-CU 레벨 각각에서의 MV 정제를 위한 적응적 교차 검색 -이 지원된다. CU 및 서브-CU 레벨 MV 정제 둘 다에 대해, MV는 쿼터 루마 샘플 MV 정확도에서 직접 검색되고, 이것에 이어서 1/8 루마 샘플 MV 정제가 뒤따른다. CU 및 서브-CU 단계에 대한 MV 정제의 검색 범위는 8 루마 샘플들과 동일하게 설정된다.
2.3.3.6 템플릿 매칭 FRUC 병합 모드에서의 예측 방향의 선택
양방향 매칭 병합 모드에서, CU의 모션 정보가 2개의 상이한 참조 픽처들에서의 현재 CU의 모션 궤적을 따라 2개의 블록들 사이의 가장 가까운 매칭에 기초하여 도출되기 때문에 양방향 예측이 항상 적용된다. 템플릿 매칭 병합 모드에 대한 이러한 제한은 없다. 템플릿 매칭 병합 모드에서, 인코더는 list0으로부터의 단방향 예측, list1로부터의 단방향 예측, 또는 CU에 대한 양방향 예측 중에서 선택할 수 있다. 선택은 다음과 같은 템플릿 매칭 비용에 기초한다:
만약, costBi <= factor * min (cost0, cost1)이면
양방향 예측 사용;
그렇지 않고, cost0 <= cost1이면
list0으로부터의 단방향 예측 사용;
그 이외의 경우,
list1로부터의 단방향 예측 사용;
여기서, cost0은 list0 템플릿 매칭의 SAD이고, cost1은 list1 템플릿 매칭의 SAD이고, costBi는 양방향 예측 템플릿 매칭의 SAD이다. 예를 들어, 인자의 값이 1.25와 같은 경우, 이는 선택 프로세스가 양방향 예측을 향해 바이어싱된다는 것을 의미한다.
인터 예측 방향 선택은 CU-레벨 템플릿 매칭 프로세스에만 적용된다.
2.3.4 디코더측 모션 벡터 정제
양방향 예측 동작에서, 하나의 블록 영역의 예측에 대해, 각각 list0의 모션 벡터(MV) 및 list1의 MV를 사용하여 형성된 2개의 예측 블록이 조합되어 단일 예측 신호를 형성한다. DMVR(decoder-side motion vector refinement) 방법에서, 양방향 예측의 2개의 모션 벡터는 양방향 템플릿 매칭 프로세스에 의해 추가로 정제된다. 양방향 템플릿 매칭은 추가적인 모션 정보의 송신 없이 정제된 MV를 획득하기 위해 참조 픽처들 내의 재구성 샘플들과 양방향 템플릿 사이의 왜곡 기반 검색을 수행하기 위해 디코더에 적용된다.
DMVR에서, 양방향 템플릿은 도 23에 도시된 바와 같이, list0의 초기 MV0 및 list1의 MV1로부터, 각각, 2개의 예측 블록의 가중된 조합(즉, 평균)으로서 생성된다. 템플릿 매칭 동작은 생성된 템플릿과 참조 픽처에서의 (초기 예측 블록 주위의) 샘플 영역 사이의 비용 측정치들을 계산하는 것으로 구성된다. 2개의 참조 픽처 각각에 대해, 최소 템플릿 비용을 산출하는 MV가 원래의 것을 대체하기 위해 그 리스트의 업데이트된 MV로서 고려된다. JEM에서, 9개의 MV 후보가 각각의 리스트에 대해 검색된다. 9개의 MV 후보는 원래의 MV 및 수평 또는 수직 방향 중 어느 하나 또는 양자 모두에서 원래의 MV에 대한 하나의 루마 샘플 오프셋을 갖는 8개의 주위의 MV를 포함한다. 마지막으로, 2개의 새로운 MV들, 즉, 도 24에 도시된 바와 같은 MV0' 및 MV1' 이 최종 양방향 예측 결과들을 생성하기 위해 사용된다. SAD(sum of absolute differences)가 비용 측정치로서 사용된다.
DMVR은, 추가적인 신택스 엘리먼트들의 송신 없이, 과거의 참조 픽처로부터의 하나의 MV와 장래의 참조 픽처로부터의 다른 MV에 의한 양방향 예측의 병합 모드에 적용된다. JEM에서, LIC, 아핀 모션, FRUC, 또는 서브-CU 병합 후보가 CU에 대해 인에이블될 때, DMVR은 적용되지 않는다.
2.3.5 양방향 매칭 정제를 사용한 병합/스킵 모드
사용가능한 후보들의 수가 19의 최대 후보 크기에 도달할 때까지 중복 검사와 함께 공간 이웃 및 시간 이웃 블록들의 모션 벡터들 및 참조 인덱스들을 후보 리스트에 삽입함으로써 병합 후보 리스트가 먼저 구성된다. 병합/스킵 모드에 대한 병합 후보 리스트는 미리 정의된 삽입 순서에 따라 HEVC(조합된 후보들 및 제로 후보들)에서 사용되는 바와 같이 공간 후보들, 시간 후보들, 아핀 후보들, ATMVP(advanced temporal MVP) 후보, STMVP(spatial temporal MVP) 후보 및 추가 후보들을 삽입함으로써 구성된다(도 11).
- 블록들 1-4에 대한 공간 후보들.
- 블록들 1-4에 대한 외삽된 아핀 후보들.
- ATMVP.
- STMVP.
- 가상 아핀 후보.
- 공간 후보(블록 5)(사용가능한 후보들의 수가 6보다 작을 때에만 사용됨).
- 외삽된 아핀 후보(블록 5)
- 시간 후보(HEVC에서와 같이 도출됨).
- 외삽된 아핀 후보가 뒤따르는 비인접 공간 후보들(도 25에 도시된 바와 같이, 블록들 6 내지 49).
- 조합된 후보들.
- 제로 후보들
IC 플래그들은 또한 STMVP 및 아핀을 제외한 병합 후보들로부터 상속된다는 점에 유의한다. 또한, 처음 4개의 공간 후보에 대해, 양방향 예측 후보들은 단방향 예측을 갖는 후보들 전에 삽입된다.
[8]에서, 현재 블록과 연결되지 않은 블록들이 액세스될 수 있다. 비인접 블록이 비-인트라 모드로 코딩되면, 연관된 모션 정보가 추가적인 병합 후보로서 추가될 수 있다.
3. 본 명세서에 개시된 실시예들에 의해 해결되는 문제점들의 예들
현재 HEVC 설계는 모션 정보를 더 양호하게 코딩하기 위해 (현재 블록 옆의) 그의 이웃 블록들의 현재 블록의 상관을 취할 수 있다. 그러나, 이웃 블록들은 상이한 모션 궤적들을 갖는 상이한 객체들에 대응하는 것이 가능하다. 이 경우, 그의 이웃 블록들로부터의 예측은 효율적이지 않다.
비인접 블록들의 모션 정보로부터의 예측은 모든 모션 정보(전형적으로 4x4 레벨)를 캐시에 저장하는 것을 댓가로 추가적인 코딩 이득을 발생시킬 수 있고, 이러한 저장은 하드웨어 구현에 대한 복잡도를 상당히 증가시킨다.
4. 일부 예들
현재 개시된 기술의 실시예들은 기존 구현들의 단점들을 극복하고, 그에 의해 보다 높은 코딩 효율들을 갖는 비디오 코딩을 제공한다.
기존 구현들의 단점들을 극복하기 위해, 블록의 모션 정보를 예측하기 위해 저장된 적어도 하나의 모션 후보를 갖는 하나 이상의 테이블(예를 들어, 룩업 테이블)을 사용하는 LUT-기반 모션 벡터 예측 기술들이 보다 높은 코딩 효율들을 갖는 비디오 코딩을 제공하기 위해 다양한 실시예들에서 구현될 수 있다. 룩업 테이블은 블록의 모션 정보를 예측하기 위한 모션 후보들을 포함하도록 사용될 수 있는 테이블의 예이고, 다른 구현들이 또한 가능하다. 각각의 LUT는 각각이 대응하는 모션 정보와 연관되어 있는 하나 이상의 모션 후보를 포함할 수 있다. 모션 후보의 모션 정보는 예측 방향, 참조 인덱스들/픽처들, 모션 벡터들, LIC 플래그들, 아핀 플래그들, 모션 벡터 도출(MVD) 정밀도들, 및/또는 MVD 값들 중 일부 또는 전부를 포함할 수 있다. 모션 정보는 모션 정보가 어느 것으로부터 오는지를 나타내기 위해 블록 위치 정보를 추가로 포함할 수 있다.
기존 및 장래의 비디오 코딩 표준 양자 모두를 향상시킬 수 있는, 개시된 기술에 기초한 LUT-기반 모션 벡터 예측이 다양한 구현들에 대해 설명된 이하의 예들에서 설명된다. LUT들은 인코딩/디코딩 프로세스가 이력 데이터(예를 들어, 처리된 블록들)에 기초하여 수행될 수 있게 하기 때문에, LUT-기반 모션 벡터 예측은 또한 HMVP(History-based Motion Vector Prediction) 방법이라고도 지칭될 수 있다. LUT-기반 모션 벡터 예측 방법에서, 이전에 코딩된 블록들로부터의 모션 정보를 갖는 하나 또는 다수의 테이블이 인코딩/디코딩 프로세스 동안 유지된다. LUT들에 저장된 이러한 모션 후보들은 HMVP 후보들로 명명된다. 하나의 블록의 인코딩/디코딩 동안, LUT들에서의 연관된 모션 정보가 모션 후보 리스트들(예를 들어, 병합/AMVP 후보 리스트들)에 추가될 수 있고, 하나의 블록을 인코딩/디코딩한 이후에, LUT들이 업데이트될 수 있다. 업데이트된 LUT는 이어서 후속 블록을 코딩하는 데 사용된다. 즉, LUT들에서의 모션 후보들의 업데이트는 블록들의 인코딩/디코딩 순서에 기초한다. 아래의 예들은 일반적인 개념들을 설명하기 위한 예들로서 고려되어야 한다. 이러한 예들은 좁은 방식으로 해석되지 않아야 한다. 또한, 이러한 예들은 임의의 방식으로 조합될 수 있다.
아래의 예들은 일반적인 개념들을 설명하기 위한 예들로서 고려되어야 한다. 이러한 예들은 좁은 방식으로 해석되지 않아야 한다. 또한, 이러한 예들은 임의의 방식으로 조합될 수 있다.
일부 실시예들은 블록의 모션 정보를 예측하기 위해 적어도 하나의 모션 후보가 저장된 하나 이상의 룩업 테이블을 사용할 수 있다. 실시예들은 룩업 테이블에 저장된 모션 정보 세트를 나타내기 위해 모션 후보를 사용할 수 있다. 종래의 AMVP 또는 병합 모드들에 대하여, 실시예들은 모션 정보를 저장하기 위해 AMVP 또는 병합 후보들을 사용할 수도 있다.
아래의 예들은 일반적인 개념들을 설명한다.
테이블들의 예들
예 A1: 각각의 룩업 테이블은 하나 이상의 모션 후보를 포함할 수 있고 여기서 각각의 후보는 그 모션 정보와 연관된다.
a. 여기서 모션 후보의 모션 정보는 예측 방향, 참조 인덱스들/픽처들, 모션 벡터들, LIC 플래그, 아핀 플래그, MVD 정밀도, MVD 값들의 일부 또는 전부를 포함할 수 있다.
b. 모션 정보는 모션 정보가 오는 곳을 나타내기 위해 블록 위치 정보 및/또는 블록 형상을 추가로 포함할 수 있다.
c. 카운터는 각각의 룩업 테이블에 대해 추가로 할당될 수 있다.
d. 테이블 크기(허용된 모션 후보들의 수) 및/또는 테이블들의 수는 고정되어 있거나 적응적일 수 있다. 테이블 크기는 모든 테이블에 대해 동일하거나 상이한 테이블들에 대해 상이할 수 있다.
LUT들의 선택
예 B1: 블록을 코딩하기 위해, 하나의 룩업 테이블로부터의 모션 후보들의 일부 또는 전부가 순서대로 검사될 수 있다. 블록을 코딩하는 동안 하나의 모션 후보가 검사될 때, 이는 모션 후보 리스트(예를 들어, AMVP, 병합 후보 리스트들)에 추가될 수 있다.
룩업 테이블의 사용
예 C1: 검사될 룩업 테이블 내의 모션 후보들의 총 수는 미리 정의될 수 있다.
예 C2: 룩업 테이블에 포함된 모션 후보(들)는 블록에 의해 직접 상속될 수 있다.
a. 이들은 병합 모드 코딩을 위해 사용될 수 있는데, 즉, 모션 후보들이 병합 후보 리스트 도출 프로세스에서 검사될 수 있다.
예 C3: 룩업 테이블에 포함되는 모션 후보(들)는 블록의 모션 정보를 코딩하기 위한 예측자로서 사용될 수 있다.
a. 이들은 AMVP 모드 코딩을 위해 사용될 수 있는데, 즉, 모션 후보들이 AMVP 후보 리스트 도출 프로세스에서 검사될 수 있다.
예 C4: 룩업 테이블 내의 모션 후보들의 검사 순서는 다음과 같이 정의된다(K(K>=1) 모션 후보들이 검사되도록 허용된다고 가정함):
a. 예를 들어, LUT에 대한 엔트리 인덱스들의 내림차순의 룩업 테이블 내의 마지막 K개의 모션 후보.
예 C5: 블록의 모션 정보 코딩을 위한 룩업 테이블들의 사용을 인에이블/디스에이블하는 것은 SPS, PPS, 슬라이스 헤더, 타일 헤더, CTU, CTB, CU 또는 PU, 다수의 CTU/CTB/CU/PU들을 커버하는 영역에서 시그널링될 수 있다.
예 C6: 룩업 테이블들로부터의 예측을 적용할지 여부는 코딩된 정보에 추가로 의존할 수 있다. 블록에 적용되지 않는 것으로 추론될 때, 예측의 지시들의 추가적인 시그널링이 스킵된다. 대안적으로, 블록에 적용되지 않는 것으로 추론될 때, 룩업 테이블들의 모션 후보들에 액세스할 필요가 없고, 관련 모션 후보들의 검사는 생략된다.
예 C7: 이전에 코딩된 프레임들/슬라이스들/타일들에서의 룩업 테이블의 모션 후보들은 상이한 프레임/슬라이스/타일에서의 블록의 모션 정보를 예측하는 데 사용될 수 있다.
룩업 테이블의 업데이트
예 D1: 모션 정보(즉, IntraBC 모드, 인터 코딩 모드)를 갖는 블록을 코딩한 이후에, 하나 또는 다수의 룩업 테이블이 업데이트될 수 있다.
a. 일 예에서, 룩업 테이블을 업데이트할지 여부는 룩업 테이블들을 선택하기 위한 규칙들을 재사용할 수 있는데, 예를 들어, 룩업 테이블이 현재 블록을 코딩하기 위해 선택될 수 있는 경우, 블록을 코딩/디코딩한 이후에, 선택된 룩업 테이블이 추가로 업데이트될 수 있다.
b. 업데이트될 룩업 테이블들은 코딩된 정보, 및/또는 블록/LCU의 위치들에 기초하여 선택될 수 있다.
c. 블록이 (AMVP 모드, 정상/아핀 인터 모드에 대한 MMVD 모드, 정상/아핀 인터 모드에 대한 AMVR 모드와 같이) 직접 시그널링된 모션 정보로 코딩되는 경우, 블록에 대한 모션 정보가 룩업 테이블에 추가될 수 있다.
i. 대안적으로, 블록이 어떠한 정제도 없이 공간 이웃 블록으로부터 직접 상속된 모션 정보로 코딩되면(예를 들어, 정제 없는 공간 병합 후보), 블록에 대한 모션 정보는 룩업 테이블에 추가되지 않아야 한다.
ii. 대안적으로, 블록이 정제를 갖는 공간 이웃 블록으로부터 직접 상속된 모션 정보로 코딩되면(예컨대, DMVR, FRUC와 같은), 블록에 대한 모션 정보는 임의의 룩업 테이블에 추가되지 않아야 한다.
iii. 대안적으로, 블록이 룩업 테이블에 저장된 모션 후보로부터 직접 상속된 모션 정보로 코딩되면, 블록에 대한 모션 정보는 임의의 룩업 테이블에 추가되지 않아야 한다.
iv. 일 예에서, 이러한 모션 정보는 룩업 테이블에, 예컨대, 테이블의 마지막 엔트리 또는 다음 사용가능한 모션 후보를 저장하는 데 사용되는 엔트리에 직접 추가될 수 있다.
v. 대안적으로, 이러한 모션 정보는 프루닝 없이, 예를 들어 어떠한 프루닝도 없이 룩업 테이블에 직접 추가될 수 있다.
vi. 대안적으로, 이러한 모션 정보는 룩업 테이블을 재순서화하기 위해 사용될 수 있다.
vii. 대안적으로, 이러한 모션 정보는 제한된 프루닝으로 룩업 테이블을 업데이트하는 데 사용될 수 있다. 다양한 구현들에서, 프루닝은 a) 모션 정보를 고유성을 위해 기존의 엔트리들과 비교하는 것, b) 고유하면, 모션 정보를 리스트에 추가하는 것, c) 고유하지 않으면, 그 후, c1) 모션 정보를 추가하지 않거나, 또는 c2) 모션 정보를 추가하고 매칭된 기존의 엔트리를 삭제하는 것을 포함할 수 있다.
d. 블록 내의 M(M>=1) 개의 대표적인 위치가 선택되고, 이 대표적인 위치와 연관된 모션 정보가 룩업 테이블들을 업데이트하는 데 사용된다.
i. 일 예에서, 대표적인 위치는 블록 내의 4개의 모서리 위치(예를 들어, 도 26의 C0-C3) 중 하나로서 정의된다.
ii. 일 예에서, 대표적인 위치는 블록 내의 중심 위치(예를 들어, 도 26의 Ca-Cd)로서 정의된다.
iii. 서브 블록 예측이 블록에 대해 허용되지 않을 때, M은 1로 설정된다.
iv. 서브 블록 예측이 블록에 대해 허용될 때, M은 1 또는 서브 블록들의 총 수 또는 [1, 서브 블록들의 수](경계값 제외) 사이의 임의의 다른 값으로 설정될 수 있다.
v. 대안적으로, 서브 블록 예측이 블록에 대해 허용될 때, M은 1로 설정될 수 있고, 대표 서브 블록의 선택은 다음에 기초한다:
1. 사용된 모션 정보의 빈도,
2. 그것이 양방향 예측 블록인지 여부
3. 참조 픽처 인덱스/참조 픽처에 기초
4. 다른 모션 벡터들과 비교되는 모션 벡터 차이들(예를 들어, 최대 MV 차이들을 선택)
5. 다른 코딩된 정보.
e. 룩업 테이블들을 업데이트하기 위해 M(M>=1) 개의 대표적인 위치 세트가 선택될 때, 이들을 룩업 테이블들에 대한 추가 모션 후보들로서 추가하기 전에 추가 조건들이 검사될 수 있다.
i. 프루닝은 룩업 테이블 내의 기존 모션 후보들에 대한 새로운 모션 정보 세트들에 적용될 수 있다.
ii. 일 예에서, 새로운 모션 정보 세트는 룩업 테이블 내의 기존 모션 후보들 중 임의의 것 또는 그 일부와 동일하지 않아야 한다.
iii. 대안적으로, 새로운 모션 정보 세트 및 하나의 기존 모션 후보로부터의 동일한 참조 픽처들에 대해, MV 차이는 하나/다수의 임계값들보다 더 작지 않아야 한다. 예를 들어, MV 차이의 수평 및/또는 수직 성분이 1-픽셀 거리보다 더 커야 한다.
iv. 대안적으로, 이전의 모션 후보를 재활성화시키는 것을 가능하게 하기 위해 K > L일 때 새로운 모션 정보 세트가 마지막 K개의 후보 또는 처음 K%L개의 기존 모션 후보만으로 프루닝된다.
v. 대안적으로, 프루닝이 적용되지 않는다.
f. M개의 모션 정보 세트가 룩업 테이블을 업데이트하는 데 사용되는 경우, 대응하는 카운터는 M만큼 증가되어야 한다.
g. 업데이트될 룩업 테이블의 카운터가 현재 블록을 코딩하기 전에 K로 표시되는 것으로 가정하면, 블록을 코딩한 이후에, 하나의 선택된 모션 정보 세트(위의 0에서 언급된 방법에서)에 대해, 이는 K%L과 동일한 인덱스를 갖는 추가적인 모션 후보로서 추가된다(여기서 L은 룩업 테이블 크기이다). 예들이 도 27a 및 도 27b에 도시된다.
i. 대안적으로, 이는 min(K+1, L-1)과 동일한 인덱스를 갖는 추가적인 모션 후보로서 추가된다. 대안적으로, 또한, K>=L이면, 제1 모션 후보(0과 동일한 인덱스)는 룩업 테이블로부터 제거되고, 다음 K개의 후보 인덱스는 1만큼 감소된다.
ii. 위의 양자 모두의 방법에 대해(K%L과 동일한 엔트리 인덱스에 새로운 모션 후보를 추가하거나 min(K+1, L-1)과 동일한 인덱스와 함께 이를 추가함), 이들은 동일한/유사한 모션 후보들이 있는지 여부에 관계없이 이전에 코딩된 블록들로부터 가장 최근의 몇몇 모션 정보 세트를 유지하려고 시도한다.
iii. 대안적으로, 모션 후보로서 새로운 모션 정보 세트를 LUT에 추가할 때, 중복 검사가 먼저 적용된다. 이 경우에, LUT는 이전에 코딩된 블록들로부터의 최근의 몇몇 모션 정보 세트들을 유지할 것이지만, 그러나, 중복된 것들은 LUT들로부터 제거될 수 있다. 이러한 방법은 중복 제거 기반 LUT 업데이트 방법이라고 불린다.
1. LUT에 중복 모션 후보들이 있는 경우, LUT와 연관된 카운터가 증가되거나 감소되지 않을 수 있다.
2. 중복 검사는 병합 후보 리스트 구성 프로세스에서 프루닝 프로세스로서 정의될 수 있는데, 예를 들어 참조 픽처들/참조 픽처 인덱스들이 동일한지 및 모션 벡터 차이들이 범위 내에 있거나 동일한지를 검사한다.
3. LUT에서 발견된 중복 모션 후보가 있는 경우, 중복 모션 후보가 그의 현재 위치로부터 LUT 중 마지막 위치로 이동된다.
a. 이와 유사하게, LUT에서 중복 모션 후보가 발견되는 경우, 이 중복 모션 후보가 LUT로부터 제거된다. 또한, 중복 모션 후보 이후의 LUT에 삽입된 모든 모션 후보가 앞으로 이동하여 중복 모션 후보의 제거된 엔트리를 다시 채운다. 시프팅 이후에, 새로운 모션 후보가 LUT에 추가된다.
b. 이 경우, 카운터는 변경되지 않은 채로 유지된다.
c. 중복 모션 후보가 LUT에서 식별되면, 중복 검사 프로세스는 종료된다.
4. 다수의 중복 모션 후보들이 식별될 수 있다. 이 경우, 이들 모두는 LUT로부터 제거된다. 또한, 나머지 모션 후보들 모두는 순서대로 앞으로 이동할 수 있다.
a. 이 경우, 카운터는 (중복 모션 후보들의 수 빼기 1) 만큼 감소된다.
b. 중복 검사 프로세스는 maxR 중복 모션 후보들을 식별한 이후에 종료된다(maxR는 양의 정수 변수이다).
5. 중복 검사 프로세스는 첫 번째 모션 후보로부터 마지막 모션 후보까지(즉, LUT들에 추가되는 순서로, 모션 정보가 나오는 블록들의 디코딩 프로세스의 순서로) 시작할 수 있다.
6. 대안적으로, LUT에 중복 모션 후보들이 있을 때, LUT들로부터의 중복 모션 후보들 중 하나 또는 다수를 제거하는 대신에, 가상 모션 후보들이 중복 모션 후보들로부터 도출될 수 있고 가상 모션 후보들이 중복 모션 후보들을 대체하도록 사용될 수 있다.
a. 가상 모션 후보는 하나 또는 다수의 모션 벡터의 수평 및/또는 수직 성분에 오프셋(들)을 추가함으로써, 또는 동일한 참조 픽처를 가리키는 경우에 2개의 모션 벡터의 평균에 의해 중복 모션 후보로부터 도출될 수 있다. 대안적으로, 가상 모션 후보는 입력으로서 룩업 테이블 내의 모션 벡터들을 갖는 임의의 함수로부터 도출될 수 있다. 예시적인 함수들은 다음과 같다: 2개 이상의 모션 벡터들을 함께 가산하는 것; 2개 이상의 모션 벡터들을 평균화하는 것. 모션 벡터는 함수에 입력되기 전에 스케일링될 수 있다.
b. 가상 모션 후보들은 중복 모션 후보들과 동일한 위치에 추가될 수 있다.
c. 가상 모션 후보들은 모든 다른 모션 후보들 이전에(예를 들어, 제로와 같은 가장 작은 엔트리 인덱스들로부터 시작하여) 추가될 수 있다.
d. 일 예에서, 이는, 현재 LUT가 가득 차 있지 않을 때와 같은, 특정 조건들 하에서만 적용된다.
7. 중복 제거 기반 LUT 업데이트 방법은, 다음과 같은, 특정 조건들 하에서 호출될 수 있다.
a. 현재 블록이 병합 모드로 코딩됨,
b. 현재 블록이 AMVP 모드로 코딩되지만 MV 차이의 적어도 하나의 성분이 비-제로임;
c. 현재 블록이 서브 블록 기반 모션 예측/모션 보상 방법들로 코딩되거나 그렇지 않음(예를 들어, 아핀 모드로 코딩되지 않음)
d. 현재 블록이 병합 모드로 코딩되고, 모션 정보는 특정 타입과 연관됨(예를 들어, 공간 이웃 블록들로부터, 좌측 이웃 블록으로부터, 시간 블록으로부터).
h. 하나의 블록을 인코딩/디코딩한 이후에, 하나 이상의 룩업 테이블들은 단지 M개의 모션 정보 세트를 테이블의 끝에, 즉 모든 기존의 후보들 이후에 삽입함으로써 업데이트될 수 있다.
i. 대안적으로, 또한, 테이블에서의 일부 기존 모션 후보들이 제거될 수 있다.
1. 일 예에서, M개의 모션 정보 세트를 삽입한 이후에 테이블이 가득 차면, 처음 몇몇 모션 후보 엔트리가 테이블로부터 제거될 수 있다.
2. 일 예에서, M개의 모션 정보 세트를 삽입하기 전에 테이블이 가득 차면, 처음 몇몇 모션 후보 엔트리가 테이블로부터 제거될 수 있다.
ii. 대안적으로, 또한, 블록이 테이블로부터의 모션 후보로 코딩되면, 테이블 내의 모션 후보들은 선택된 모션 후보가 테이블의 마지막 엔트리에 놓여지도록 재순서화될 수 있다.
1. 일 예에서, 블록을 인코딩/디코딩하기 전에, 룩업 테이블은 HMVP0, HMVP1, HMVP2, ..., HMVPK-1, HMVPK, HMVPK+1, ..., HMVPL-1에 의해 표시되는 모션 후보들을 포함할 수 있고, 여기서, HMVPi는 룩업 테이블 내의 i번째 엔트리를 표시한다. 블록이 HMVPK(K는 범위 [0, L-1](경계값 포함) 내에 있다)로부터 예측되면, 이 블록을 인코딩/디코딩한 이후에, 룩업 테이블은 다음과 같이 재순서화된다: HMVP0, HMVP1, HMVP2, ..., HMVPK-1,
Figure pct00015
, HMVPK+1, ..., HMVPL-1, HMVPK.
i. 룩업 테이블은 하나의 인트라-제약된 블록을 코딩한 이후에 비워질 수 있다.
j. 모션 정보의 엔트리가 룩업 테이블에 추가되면, 모션 정보로부터의 도출에 의해 모션 정보의 더 많은 엔트리들이 또한 테이블에 추가될 수도 있다. 이 경우, 룩업 테이블과 연관된 카운터는 1보다 더 증가될 수 있다.
i. 일 예에서, 모션 정보의 엔트리의 MV가 스케일링되어 테이블에 넣어진다;
ii. 일 예에서, 모션 정보의 엔트리의 MV는 (dx, dy)에 의해 추가되고, 테이블에 넣어진다;
iii. 일 예에서, 모션 정보의 2개 이상의 엔트리들의 MV들의 평균이 계산되어 테이블에 넣어진다.
예 D2: 하나의 블록이 픽처/슬라이스/타일 경계에 위치하는 경우, 룩업 테이블들의 업데이트는 항상 허용되지 않을 수 있다.
예 D3: 현재 LCU 행을 코딩하기 위해 LCU 행들의 모션 정보가 디스에이블될 수 있다.
a. 이 경우에, 새로운 슬라이스/타일/LCU 행의 시작에서, 사용가능한 모션 후보들의 수는 0으로 리셋될 수 있다.
예 D4: 새로운 시간 레이어 인덱스로 슬라이스/타일을 코딩하는 시작부에서, 사용가능한 모션 후보들의 수는 0으로 리셋될 수 있다.
예 D5: 룩업 테이블은 동일한 시간 레이어 인덱스를 갖는 하나의 슬라이스/타일/LCU 행/슬라이스들로 연속적으로 업데이트될 수 있다.
a. 대안적으로, 룩업 테이블은 각각의 S(S>=1) CTU들/CTB들/CU들/CB들을 코딩/디코딩한 이후에만 또는 특정 영역(예를 들어, 8x8 또는 16x16과 동일한 크기)을 코딩/디코딩한 이후에만 업데이트될 수 있다.
b. 대안적으로, 룩업 테이블은 특정 모드들(예를 들어, S 인터-코딩된 블록들)을 갖는 각각의 S(S>=1) 블록들(예를 들어, CU들/CB들)을 코딩/디코딩한 이후에만 업데이트될 수 있다. 대안적으로, 룩업 테이블은 서브 블록 기반 모션 예측/모션 보상 방법으로 코딩되지 않은(예를 들어, 아핀 및/또는 ATMVP 모드로 코딩되지 않은) 각각의 S(S>=1) 인터-코딩된 블록들(예를 들어, CU들/CB들)을 코딩/디코딩한 이후에만 업데이트될 수 있다.
c. 대안적으로, 룩업 테이블은 코딩된/디코딩된 블록의 좌측-상단 좌표가 일부 조건들을 만족시킬 때에만 업데이트될 수 있다. 예를 들어, 룩업 테이블은 (x&M==0)&&(y&M==0)인 경우에만 업데이트되며, 여기서 (x, y)는 코딩된/디코딩된 블록의 좌측-상단 좌표이다. M은 2, 4, 8, 16, 32 또는 64와 같은 정수이다.
d. 대안적으로, 하나의 룩업 테이블은 그것이 최대 허용 카운터에 도달하면 업데이트를 중단할 수 있다.
e. 일 예에서, 카운터는 미리 정의될 수 있다. 대안적으로, 이는 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 슬라이스 헤더, 타일 헤더, 코딩 트리 유닛(CTU), 코딩 트리 블록(CTB), 코딩 유닛(CU) 또는 예측 유닛(PU), 다수의 CTU/CTB/CU/PU들을 커버하는 영역에서 시그널링된다.
예 D6: 룩업 테이블 업데이트 프로세스는 상이한 절차들 내에서 호출될 수 있다.
a. 일 예에서, 병합 모드로 코딩된 블록에 대해, 룩업 테이블 업데이트 프로세스는 병합 후보를 디코딩한 이후에 또는 병합 리스트를 구성한 이후에 또는 정제를 사용하여 및/또는 정제를 사용하지 않고 모션 정보를 디코딩한 이후에 호출될 수 있다.
b. 일 예에서, AMVP 모드로 코딩된 블록에 대해, 룩업 테이블 업데이트 프로세스는 정제를 사용하여 및/또는 정제를 사용하지 않고 모션 정보를 디코딩한 이후에 호출될 수 있다.
c. 룩업 테이블을 언제 및/또는 어떻게 업데이트할지는 코딩 모드, 블록 규모, 비디오 처리 데이터 유닛, 저지연 검사 등에 의존할 수 있다.
i. 일 예에서, 하나의 블록이 AMVP 모드로 코딩될 때, 룩업 테이블은 프루닝 없이 직접 업데이트될 수 있다.
ii. 대안적으로, 하나의 블록이 병합 모드로 코딩될 때, 룩업 테이블은 프루닝을 사용하여 업데이트될 수 있다.
iii. 대안적으로, 하나의 블록이 병합 모드로 코딩되고 그의 모션 정보가 공간 및/또는 시간 블록들로부터 도출될 때, 룩업 테이블이 프루닝을 사용하여 업데이트될 수 있다.
iv. 대안적으로, 하나의 블록이 병합 모드로 코딩되고 그의 모션 정보가 룩업 테이블 내의 모션 후보들로부터 도출될 때, 룩업 테이블은 프루닝 없이 재순서화될 수 있다.
v. 대안적으로, 하나의 블록이 병합 모드로 코딩되고 그의 모션 정보가 룩업 테이블 내의 가상 후보들(예를 들어, 조합된 bi, 페어와이즈, 제로 모션 벡터 후보들)로부터 도출될 때, 룩업 테이블이 업데이트되지 않을 수 있다.
vi. 대안적으로, 하나의 블록이 서브 블록 병합 모드 및/또는 삼각 병합 모드로 코딩될 때, 룩업 테이블은 업데이트되지 않을 수 있다.
vii. 대안적으로, 하나의 블록이 MMVD(motion vector difference) 모드를 사용한 병합으로 코딩되고 그의 모션 정보가 공간 및/또는 시간 블록들로부터 도출될 때, 룩업 테이블이 직접 업데이트될 수 있다.
viii. 일 예에서, 하나의 블록이 조도 보상(IC) 모드 및/또는 OBMC(Overlapped Block Motion Compensation) 모드 및/또는 DMVD(Decode-side Motion Vector Derivation) 모드로 코딩될 때, 룩업 테이블이 업데이트되지 않을 수 있다. 대안적으로, 하나의 블록이 이러한 모드로 코딩될 때, 룩업 테이블이 업데이트될 수 있다.
추가의 예시적인 실시예들
HMVP 후보가 이전에 코딩된 블록의 모션 정보로서 정의되는 이력-기반 MVP(HMVP) 방법이 제안된다. 인코딩/디코딩 프로세스 동안 다수의 HMVP 후보들을 갖는 테이블이 유지된다. 새로운 슬라이스를 만날 때 테이블이 비워진다. 인터-코딩된 블록이 있을 때마다, 연관된 모션 정보가 새로운 HMVP 후보로서 테이블의 마지막 엔트리에 추가된다. 전체 코딩 흐름이 도 31에 도시된다.
일 예에서, 테이블 크기는 L(예를 들어, L= 16 또는 6, 또는 44)로 설정되고, 이는 최대 L개의 HMVP 후보가 테이블에 추가될 수 있다는 것을 나타낸다.
일 실시예에서(예 D1.g.i에 대응), 이전에 코딩된 블록들로부터 L개보다 많은 HMVP 후보들이 있는 경우, 테이블이 가장 최근의 이전에 코딩된 L 모션 후보들을 항상 포함하도록 FIFO(First-In-First-Out) 규칙이 적용된다. 도 32는 FIFO 규칙이 적용되어 HMVP 후보를 제거하고 제안된 방법에서 사용된 테이블에 새로운 것을 추가하는 예를 도시한다.
또 다른 실시예에서(예 D1.g.iii에 대응), (현재 블록이 인터-코딩되고 비-아핀 모드인 것과 같은) 새로운 모션 후보를 추가할 때마다, LUT들에 동일하거나 유사한 모션 후보들이 있는지를 식별하기 위해 중복 검사 프로세스가 먼저 적용된다.
일부 예들은 다음과 같이 도시된다:
도 33a는 새로운 모션 후보를 추가하기 전에 LUT가 가득 찬 경우의 예를 도시한다.
도 33b는 새로운 모션 후보를 추가하기 전에 LUT가 가득 차 있지 않을 때의 예를 도시한다.
도 33a 및 도 33b는 함께 (하나의 중복 모션 후보가 제거된) 중복 제거 기반 LUT 업데이트 방법의 일 예를 도시한다.
도 34a 및 도 34b는 중복 제거 기반 LUT 업데이트 방법의 2개의 경우에 대한 예시적인 구현을 도시한다(다수의 중복 모션 후보가 제거됨, 도면들에서 2개의 후보).
도 34a는 새로운 모션 후보를 추가하기 전에 LUT가 가득 찼을 때의 예시적인 경우를 도시한다.
도 34b는 새로운 모션 후보를 추가하기 전에 LUT가 가득 차지 않은 경우의 예시적인 경우를 도시한다.
병합 후보 리스트 구성 프로세스에서 HMVP 후보들이 사용될 수 있다. 테이블에서의 마지막 엔트리로부터 첫 번째 엔트리(또는 마지막 K0 HMVP, 예를 들어, K0는 16 또는 6과 같음)까지의 모든 HMVP 후보들은 TMVP 후보 이후에 삽입된다. 프루닝은 HMVP 후보들에 적용된다. 사용가능한 병합 후보들의 총 수가 시그널링된 최대 허용 병합 후보들에 도달하면, 병합 후보 리스트 구성 프로세스가 종료된다. 대안적으로, 추가된 모션 후보들의 총 수가 주어진 값에 도달하면, LUT들로부터의 모션 후보들의 페치가 종료된다.
유사하게, HMVP 후보들은 또한 AMVP 후보 리스트 구성 프로세스에서 사용될 수 있다. 테이블에서의 마지막 K1 HMVP 후보들의 모션 벡터들은 TMVP 후보 이후에 삽입된다. AMVP 타겟 참조 픽처와 동일한 참조 픽처를 갖는 HMVP 후보들만이 AMVP 후보 리스트를 구성하기 위해 사용된다. 프루닝은 HMVP 후보들에 적용된다. 일 예에서, K1는 4로 설정된다.
도 28은 비디오 처리 장치(2800)의 블록도이다. 장치(2800)는 본 명세서에 설명된 방법들 중 하나 이상을 구현하는 데 사용될 수 있다. 장치(2800)는 스마트폰, 태블릿, 컴퓨터, 사물 인터넷(IoT) 수신기 등에서 구현될 수 있다. 장치(2800)는 하나 이상의 프로세서(2802), 하나 이상의 메모리(2804) 및 비디오 처리 하드웨어(2806)를 포함할 수 있다. 프로세서(들)(2802)는 본 문서에서 설명된 하나 이상의 방법을 구현하도록 구성될 수 있다. 메모리(메모리들)(2804)는 본 명세서에 설명된 방법들 및 기술들을 구현하는 데 사용되는 데이터 및 코드를 저장하는 데 사용될 수 있다. 비디오 처리 하드웨어(2806)는 본 문서에 설명된 일부 기술들을 하드웨어 회로에서 구현하는 데 사용될 수 있다.
도 29는 비디오 디코딩 방법(2900)의 일 예에 대한 흐름도이다. 방법(2900)은, 단계 2902에서, 하나 이상의 테이블을 유지하는 단계를 포함하며, 여기서, 각각의 테이블은 하나 이상의 모션 후보를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관된다. 방법(2900)은, 단계 2904에서, 테이블 내의 모션 정보를 사용하여 현재 블록과 현재 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 더 포함한다. 방법(2900)은, 단계 2906에서, 변환의 수행 이후에, 현재 블록과 연관된 M개의 추가적인 모션 정보 세트- M은 정수임 -에 기초하여 하나 이상의 테이블을 업데이트하는 단계를 더 포함한다.
도 30은 비디오 디코딩 방법(3000)의 일 예에 대한 흐름도이다. 방법(3000)은, 단계 3002에서, 하나 이상의 테이블을 사용하여 현재 블록과 현재 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고, 여기서, 각각의 테이블은 하나 이상의 모션 후보를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관된다. 방법(3000)은, 단계 3004에서, 변환에 기초하여, 현재 블록과 연관된 M개의 추가적인 모션 정보 세트에 기초하여 하나 이상의 테이블을 업데이트하는 단계- M은 정수임 -를 더 포함한다.
방법들(2900 및 3000)과 관련하여, 일부 실시예들에서, 모션 정보는 예측 방향, 참조 픽처 인덱스, 모션 벡터 값, 강도 보상 플래그, 아핀 플래그, 모션 벡터 차이 정밀도, 및 모션 벡터 차이 값 중 적어도 하나를 포함한다. 또한, 모션 정보는 모션 정보의 소스를 나타내는 블록 위치 정보를 추가로 포함할 수 있다. 일부 실시예들에서, 비디오 블록은 CU 또는 PU일 수 있고, 비디오의 부분은 하나 이상의 비디오 슬라이스 또는 하나 이상의 비디오 픽처에 대응할 수 있다.
일부 실시예들에서, 각각의 LUT는 연관된 카운터를 포함하고, 카운터는 비디오의 해당 부분의 시작부에서 0의 값으로 초기화되고 비디오의 해당 부분 내의 각각의 인코딩된 비디오 영역에 대해 증가된다. 비디오 영역은 코딩 트리 유닛, 코딩 트리 블록, 코딩 유닛, 코딩 블록 또는 예측 유닛 중 하나를 포함한다. 일부 실시예들에서, 카운터는, 대응하는 LUT에 대해, 대응하는 LUT로부터 제거된 모션 후보들의 수를 나타낸다. 일부 실시예들에서, 모션 후보들의 세트는 모든 LUT들에 대해 동일한 크기를 가질 수 있다. 일부 실시예에서, 비디오의 해당 부분은 비디오의 슬라이스에 대응하고, LUT의 수는 N*P와 동일하며, 여기서, N은 디코딩 스레드 마다의 LUT들을 나타내는 정수이고, P는 비디오의 슬라이스 내의 타일들의 수 또는 최대 코딩 유닛 행들의 수를 나타내는 정수이다. 방법(2900 및 3000)의 추가적인 상세는 섹션 4에 제공된 예 및 이하에 열거된 예에서 설명된다.
전술한 방법들/기술들의 추가적인 특징들 및 실시예들이 조항 기반 설명 포맷을 사용하여 후술된다.
1. 비디오 처리 방법으로서, 하나 이상의 테이블을 유지하는 단계- 각각의 테이블은 하나 이상의 모션 후보를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관됨 -; 테이블 내의 모션 정보를 사용하여 현재 블록과 현재 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계; 및 변환을 수행한 이후에, 현재 블록과 연관된 M개의 추가적인 모션 정보 세트에 기초하여 하나 이상의 테이블을 업데이트하는 단계- M은 정수임 -를 포함하는, 방법.
2. 비디오 처리 방법으로서, 하나 이상의 테이블을 사용하여 현재 블록과 현재 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계- 각각의 테이블은 하나 이상의 모션 후보를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관됨 -; 및 변환에 기초하여, 현재 블록과 연관된 M개의 추가적인 모션 정보 세트에 기초하여 하나 이상의 테이블을 업데이트하는 단계- M은 정수임 -를 포함하는, 방법.
3. 조항 1 또는 2에 있어서, M은 1과 동일한, 방법.
4. 조항 1 또는 2에 있어서, M개의 모션 정보 세트를 M개의 추가적인 모션 후보로서 테이블에 추가하는 단계를 더 포함하는, 방법.
5. 조항 4에 있어서, 테이블을 업데이트하는 단계는, 모션 정보 세트가 테이블에 추가적인 모션 후보로서 추가되기 전에, M개의 모션 정보 세트 내의 세트에 비교 동작을 적용하는 단계를 더 포함하는, 방법.
6. 조항 5에 있어서, 모션 정보 세트는 마지막 K개의 후보 또는 처음 K%L개의 기존 모션 후보를 사용하여 프루닝되고, 여기서 K는 테이블에 대응하는 모션 후보들의 카운터를 나타내는 정수이고, L은 테이블의 크기를 나타내는, 방법.
7. 조항 4에 있어서, M개의 모션 정보 세트 내의 세트가 테이블에 대한 추가적인 모션 후보로서 추가되고, 어떠한 비교 동작도 적용되지 않는, 방법.
8. 조항 4에 있어서, M개의 모션 정보 세트 내의 세트를 테이블에 추가할 때, 모션 정보 세트는 테이블 내의 현재 모션 후보들 중 임의의 것 또는 일부와는 상이한 모션 정보를 포함하는, 방법.
9. 조항 4에 있어서, M개의 모션 정보 세트 내의 세트를 추가할 때, 테이블에서의 현재 모션 후보의 MV와 모션 정보 세트로부터의 동일한 참조 픽처의 MV 사이의 모션 벡터(MV) 차이는 하나 또는 다수의 임계값 이상인 것을 더 포함하는, 방법.
10. 조항 1 또는 2에 있어서, 각각의 테이블은 대응하는 카운터를 갖고, 대응하는 카운터는 M만큼 증가되는, 방법.
11. 조항 4에 있어서, 테이블 에서 K%L과 동일한 인덱스를 갖는 추가적인 모션 후보가 추가되고, K는 업데이트될 테이블에 대응하는 모션 후보들의 카운터를 나타내고, L은 테이블의 크기를 나타내는, 방법.
12. 조항 4에 있어서, 테이블에서 min(K+1, L-1)과 동일한 인덱스를 갖는 추가적인 모션 후보가 추가되고, K는 업데이트될 테이블에 대응하는 모션 후보들의 카운터를 나타내고, L은 테이블의 크기를 나타내는, 방법.
13. 조항 4에 있어서, K가 L 이상인 경우, 0의 인덱스를 갖는 제1 모션 후보가 테이블로부터 제거되는, 방법.
14. 조항 11 또는 12에 있어서, 이전에 코딩된 블록들로부터의 최근 모션 정보 세트들은 동일하거나 유사한 모션 후보들이 있는지에 관계없이 유지되는, 방법.
15. 조항 4에 있어서, 하나 이상의 테이블을 업데이트하는 단계는 추가적인 모션 후보와의 테이블 내의 현재 모션 후보들의 중복을 검사하는 단계를 포함하는, 방법.
16. 조항 15에 있어서, 하나 이상의 테이블을 업데이트하는 단계는, 하나 이상의 중복 현재 모션 후보들이 테이블로부터 제거되고 이전 코딩된 블록들로부터의 최근 모션 정보 세트들이 유지되는 중복 제거 기반 테이블 업데이트를 수행하는 단계를 포함하는, 방법.
17. 조항 16에 있어서, 최근 모션 정보 세트들은 이중화되지 않은 모션 정보를 포함하는, 방법.
18. 조항 16에 있어서, 테이블 내의 현재 모션 후보들 중 적어도 하나가 추가적인 모션 후보에 중복될 때, 테이블과 연관된 카운터는 증가되지 않는, 방법.
19. 조항 16에 있어서, 중복 제거 기반 테이블 업데이트 프로세스는 테이블에 추가될 추가적인 모션 후보에 대해 테이블 내의 현재 모션 후보들에 대한 비교 동작을 수행하는 단계를 포함하는, 방법.
20. 조항 19에 있어서, 중복의 검사는 테이블 내의 중복 현재 모션 후보를 식별하며, 식별된 중복 현재 모션 후보는 현재 위치로부터 테이블 내의 나머지 현재 모션 후보들 이후의 최종 위치로 이동되는, 방법.
21. 조항 19에 있어서, 중복의 검사는 테이블에서 중복 현재 모션 후보를 식별하며, 식별된 중복 현재 모션 후보는 테이블에서 빈 엔트리를 제공하기 위해 테이블로부터 제거되고, 테이블에서 식별된 중복 현재 모션 후보 이후의 비중복 현재 모션 후보가 빈 엔트리를 채우기 위해 앞으로 이동되는, 방법.
22. 조항 21에 있어서, 추가적인 모션 후보의 추가는 테이블에서의 비중복 현재 모션 후보들의 이동 이후에 수행되는, 방법.
23. 조항 16에 있어서, 중복 제거 기반 테이블 업데이트를 수행하는 단계는, 다수의 중복 모션 후보들을 식별하기 위해 테이블 내의 현재 모션 후보들의 중복을 검사하는 단계 및 식별된 다수의 중복 모션 후보들 모두를 제거하는 단계를 포함하는, 방법.
24. 조항 23에 있어서, 테이블에 대응하는 카운터는 식별된 다수의 중복 모션 후보들의 수로부터 1을 감산하여 획득된 값만큼 감소되는, 방법.
25. 조항 23에 있어서, 중복의 검사는 식별된 다수의 중복 모션 후보들의 수가 최대값 maxR에 도달한 이후에 종료되며, maxR은 양의 정수 변수인, 방법.
26. 조항 16에 있어서, 중복의 검사는 중복 현재 모션 후보가 식별될 때 종료되는, 방법.
27. 조항 16에 있어서, 중복의 검사는 테이블에서의 첫 번째 현재 모션 후보로부터 마지막 현재 모션 후보까지 순서대로 수행되는, 방법.
28. 조항 16에 있어서, 중복의 검사는 현재 모션 후보들이 테이블에 추가되는 순서대로 또는 현재 모션 후보들이 획득되는 블록들의 디코딩 프로세스의 순서대로 수행되는, 방법.
29. 조항 16에 있어서, 중복의 검사는 테이블 내의 중복 현재 모션 후보를 식별하고, 식별된 중복 후보로부터 가상 모션 후보가 도출되며, 식별된 다수의 중복 후보가 테이블로부터 제거되는, 방법.
30. 조항 29에 있어서, 가상 모션 후보는 i) 하나 이상의 모션 벡터의 수평 또는 수직 성분에 오프셋(들)을 추가하거나 ii) 동일한 참조 픽처를 가리키는 2개의 모션 벡터를 평균화함으로써 도출되는, 방법.
31. 조항 29에 있어서, 가상 모션 후보는 테이블 내의 현재 모션 후보와 연관된 모션 벡터의 함수로부터 도출되는, 방법.
32. 조항 29에 있어서, 가상 모션 후보들은 테이블 내의 식별된 중복 모션 후보들의 위치들에 추가되는, 방법.
33. 조항 16에 있어서, 가상 모션 후보들이 테이블 내의 현재 모션 후보들 이전에 추가되고, 현재 모션 후보들은 식별된 중복 모션 후보를 제외한 테이블 내의 모션 후보들에 대응하는, 방법.
34. 조항 16에 있어서, 중복 제거 기반 테이블 업데이트 프로세스는 특정 조건들의 결정이 충족되면 호출되는, 방법.
35. 조항 34에 있어서, 조건은 현재 블록이 병합 모드로 코딩될 때를 포함하는, 방법.
36. 조항 35에 있어서, 조건은 현재 블록이 서브 블록 기반 모션 예측으로도 서브 블록 기반 모션 보상 방법으로도 코딩되지 않을 때를 포함하는, 방법.
37. 조항 1 또는 2에 있어서, 하나 이상의 테이블의 업데이트는 S개의 블록들의 변환의 수행 이후에만 수행되고, S는 >=1인, 방법.
38. 조항 37에 있어서, S개의 블록들은 인터-코딩된 블록들인, 방법.
39. 조항 37에 있어서, S개의 블록들은 서브 블록 기반 모션 예측으로도 서브 블록 기반 모션 보상 방법으로도 코딩되지 않는, 방법.
40. 조항 39에 있어서, 조건은 현재 블록이 병합 모드로 코딩되고, 대응하는 모션 후보의 모션 정보의 소스가 특정 타입을 갖는 때를 포함하는, 방법.
41. 조항 40에 있어서, 대응하는 모션 후보의 모션 정보의 소스는 시간 블록 또는 좌측 이웃 블록을 포함하는 공간 이웃 블록으로부터의 것인, 방법.
42. 조항 4에 있어서, M개의 추가적인 모션 후보들은 M개의 추가적인 모션 후보들 이전에 테이블에 추가된 현재 모션 후보들 이후에 추가되는, 방법.
43. 조항 42에 있어서, 현재 모션 후보들 중 일부가 테이블로부터 제거되는 것을 더 포함하는, 방법.
44. 조항 43에 있어서, M개의 모션 정보 세트를 삽입하기 전 또는 후에 테이블이 가득 찼을 때, 모션 후보들의 세트 내의 처음 하나 또는 다수의 엔트리가 테이블로부터 제거되는, 방법.
45. 조항 1 또는 2에 있어서, 현재 블록이 직접 시그널링된 모션 정보로 코딩될 때, 모션 정보가 테이블에 추가되는, 방법.
46. 조항 41에 있어서, 현재 블록은 AMVP 모드, 정상/아핀 인터 모드에 대한 MMVD(motion vector differences) 모드를 사용한 병합, 또는 정상/아핀 인터 모드에 대한 AMVR(advanced motion vector prediction) 모드로 코딩되는, 방법.
47. 조항 45에 있어서, 모션 정보는 테이블의 마지막 엔트리에 또는 다음 사용가능한 모션 후보를 저장하는 데 사용되는 엔트리에 추가되는, 방법.
48. 조항 1, 2 또는 16에 있어서, M개의 모션 정보 세트에 기초한 모션 정보 도출 프로세스에 의해 추가적인 모션 후보들을 테이블에 추가하는 단계를 더 포함하는, 방법.
49. 조항 44에 있어서, 테이블에 대응하는 카운터는 1보다 큰 값만큼 증가되는, 방법.
50. 조항 44에 있어서, 모션 정보 도출 프로세스는 M개의 모션 정보 세트 내의 세트의 모션 벡터를 스케일링하는 단계를 포함하는, 방법.
51. 조항 48에 있어서, 모션 정보 도출 프로세스는 M개의 모션 정보 세트 내의 세트의 모션 벡터에 모션 벡터 오프셋(dx, dy)을 추가하는 단계를 포함하는, 방법.
52. 조항 48에 있어서, 모션 정보 도출 프로세스는 M개의 모션 정보 세트 중 2개 이상의 세트의 모션 벡터들의 평균값을 사용하는 단계를 포함하는, 방법.
53. 조항 1 내지 52 중 어느 하나에 있어서, 업데이트는 테이블들에 추가되기 전에 M개의 모션 정보 세트를 수정하는 단계를 포함하는, 방법.
54. 조항 1 또는 2에 있어서, 변환을 수행하는 단계는 현재 블록으로부터 비트스트림 표현을 생성하는 단계를 포함하는, 방법.
55. 조항 1 또는 2에 있어서, 변환을 수행하는 단계는 비트스트림 표현으로부터 현재 블록을 생성하는 단계를 포함하는, 방법.
56. 조항 1 내지 55 중 어느 하나에 있어서, 모션 후보는 예측 방향, 참조 픽처 인덱스, 모션 벡터 값, 강도 보상 플래그, 아핀 플래그, 모션 벡터 차이 정밀도 또는 모션 벡터 차이 값 중 적어도 하나를 포함하는 모션 정보와 연관되는, 방법.
57. 조항 1-55 중 어느 하나에 있어서, 모션 후보들은 인트라 모드 코딩을 위한 인트라 예측 모드들에 대한 모션 후보들에 대응하는, 방법.
58. 조항 1 내지 55 중 어느 하나에 있어서, 모션 후보들은 IC 파라미터 코딩을 위한 조도 보상 파라미터들을 포함하는 모션 후보들에 대응하는, 방법.
59. 조항 1 내지 58 중 어느 하나에 있어서, 업데이트된 테이블들에 기초하여 비디오의 후속 비디오 블록과 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 더 포함하는, 방법.
60. 프로세서 및 명령어들을 갖는 비일시적 메모리를 포함하는 장치로서, 명령어들은 프로세서에 의한 실행 시에, 프로세서로 하여금 조항 1 내지 59 중 어느 하나의 방법을 구현하게 하는, 장치.
61. 비일시적 컴퓨터 판독가능 매체 상에 저장되는 컴퓨터 프로그램 제품으로서, 컴퓨터 프로그램 제품은 조항 1 내지 59 중 어느 하나의 방법을 수행하기 위한 프로그램 코드를 포함하는, 컴퓨터 프로그램 제품.
전술한 설명으로부터, 현재 개시된 기술의 특정한 실시예들이 예시의 목적으로 본 명세서에 설명되었지만, 본 발명의 범위를 벗어나지 않고서 다양한 수정들이 이루어질 수 있다는 것을 알 것이다. 따라서, 현재 개시된 기술은 첨부된 청구항들에 의한 것을 제외하고는 제한되지 않는다.
본 문서에 설명된 개시된 및 다른 실시예들, 모듈들 및 기능 동작들은 본 문서에 개시된 구조들 및 그들의 구조적 등가물들을 포함하는 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어로, 또는 이들 중 하나 이상의 조합들로 구현될 수 있다. 개시된 및 다른 실시예들은 하나 이상의 컴퓨터 프로그램 제품들, 즉 데이터 처리 장치에 의한 실행을 위해 또는 데이터 처리 장치의 동작을 제어하기 위해 컴퓨터 판독가능 매체 상에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈들로서 구현될 수 있다. 컴퓨터 판독가능 매체는 머신 판독가능 저장 디바이스, 머신 판독가능 저장 기판, 메모리 디바이스, 머신 판독가능 전파 신호에 영향을 주는 물질의 조성, 또는 이들 중 하나 이상의 조합일 수 있다. 용어 "데이터 처리 장치"는 예로서 프로그램가능 프로세서, 컴퓨터, 또는 다수의 프로세서들 또는 컴퓨터들을 포함하는, 데이터를 처리하기 위한 모든 장치, 디바이스들, 및 머신들을 포함한다. 장치는 하드웨어에 더하여, 해당 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 이들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 전파 신호는 적합한 수신기 장치로의 송신을 위해 정보를 인코딩하도록 생성되는 인위적으로 생성된 신호, 예를 들어 머신 생성 전기, 광 또는 전자기 신호이다.
컴퓨터 프로그램(또한, 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트, 또는 코드라고도 알려져 있음)은 컴파일된 또는 해석된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 작성될 수 있고, 이는 독립형 프로그램(stand-alone program)으로서, 또는 모듈, 컴포넌트, 서브루틴, 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 유닛으로서를 포함하여 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은 파일 시스템 내의 파일에 반드시 대응하지는 않는다. 프로그램은 다른 프로그램들 또는 데이터(예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트들)를 보유하는 파일의 일부 내에, 해당 프로그램에 전용된 단일 파일 내에, 또는 다수의 협력하는 파일들(예를 들어, 하나 이상의 모듈들, 서브 프로그램들, 또는 코드의 부분들을 저장하는 파일들) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 상에서, 또는 한 장소에 위치하거나 다수의 위치에 걸쳐 분산되어 통신 네트워크에 의해 상호접속되는 다수의 컴퓨터 상에서 실행되도록 배치될 수 있다.
본 문서에 설명된 프로세스들 및 로직 흐름들은 입력 데이터에 대해 동작하고 출력을 생성함으로써 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램가능 프로세서에 의해 수행될 수 있다. 프로세스들 및 로직 흐름들은 또한 특수 목적 로직 회로, 예를 들어, FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)에 의해 수행될 수 있고, 장치는 또한 그들로서 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서들은, 예로서, 범용 및 특수 목적 마이크로프로세서 양자 모두, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 필수 요소들은 명령어들을 수행하기 위한 프로세서 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스, 예를 들어, 자기, 광자기 디스크들, 또는 광 디스크들을 포함하거나, 또는 이들로부터 데이터를 수신하거나 데이터를 이에 전송하거나, 또는 양자 모두를 수행하도록 동작적으로 결합될 것이다. 그러나, 컴퓨터가 이러한 디바이스들을 가질 필요는 없다. 컴퓨터 프로그램 명령어들 및 데이터를 저장하기에 적합한 컴퓨터 판독가능 매체는 예로서 반도체 메모리 디바이스들, 예를 들어 EPROM, EEPROM 및 플래시 메모리 디바이스들; 자기 디스크들, 예를 들어, 내부 하드 디스크들 또는 이동식 디스크들; 광자기 디스크들; 및 CD ROM 및 DVD-ROM 디스크들을 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스들을 포함한다. 프로세서 및 메모리는 특수 목적 로직 회로에 의해 보완되거나 그에 통합될 수 있다.
본 특허 문서가 많은 세부사항을 포함하고 있지만, 이들은 임의의 발명 또는 청구될 수 있는 것의 범위에 대한 제한으로서 해석되어서는 안되며, 오히려 특정의 발명의 특정 실시예에 특정될 수 있는 특징들에 대한 설명으로서 해석되어야 한다. 개별 실시예들에 관련하여 본 특허 문서에 설명되는 특정 특징들은 또한 단일 실시예에서 조합하여 구현될 수 있다. 반대로, 단일 실시예에 관련하여 설명되는 다양한 특징들은 또한 다수의 실시예들에서 개별적으로 또는 임의의 적절한 하위조합으로 구현될 수 있다. 또한, 특징들이 특정 조합들로 작용하는 것으로 앞서 설명되고 심지어 처음에 이와 같이 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징은 일부 경우들에서 조합으로부터 삭제될 수 있고, 청구된 조합은 하위조합 또는 하위조합의 변형에 관련될 수 있다.
유사하게, 동작들이 특정 순서로 도면들에 도시되지만, 이것은 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정 순서로 또는 순차적인 순서로 수행되거나, 모든 예시된 동작들이 수행되는 것을 요구하는 것으로 이해되어서는 안 된다. 또한, 본 특허 문서에 설명된 실시예들에서의 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 이러한 분리가 요구되는 것으로 이해하여서는 안 된다.
몇몇 구현들 및 예들만이 설명되고, 본 특허 문서에서 설명되고 예시된 것에 기초하여 다른 구현들, 향상들 및 변형들이 이루어질 수 있다.

Claims (61)

  1. 비디오 처리 방법으로서,
    하나 이상의 테이블을 유지하는 단계- 각각의 테이블은 하나 이상의 모션 후보를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관됨 -;
    테이블 내의 모션 정보를 사용하여 현재 블록과 상기 현재 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계; 및
    상기 변환을 수행한 이후에, 상기 현재 블록과 연관된 M개의 추가적인 모션 정보 세트에 기초하여 하나 이상의 테이블을 업데이트하는 단계- M은 정수임 -를 포함하는, 방법.
  2. 비디오 처리 방법으로서,
    하나 이상의 테이블을 사용하여 현재 블록과 상기 현재 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계- 각각의 테이블은 하나 이상의 모션 후보를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관됨 -; 및
    상기 변환에 기초하여, 상기 현재 블록과 연관된 M개의 추가적인 모션 정보 세트에 기초하여 하나 이상의 테이블을 업데이트하는 단계- M은 정수임 -를 포함하는, 방법.
  3. 제1항 또는 제2항에 있어서, M은 1과 동일한, 방법.
  4. 제1항 또는 제2항에 있어서, 상기 M개의 모션 정보 세트를 M개의 추가적인 모션 후보로서 테이블에 추가하는 단계를 더 포함하는, 방법.
  5. 제4항에 있어서, 테이블을 업데이트하는 상기 단계는, 상기 모션 정보 세트가 테이블에 추가적인 모션 후보로서 추가되기 전에, 상기 M개의 모션 정보 세트 내의 세트에 비교 동작을 적용하는 단계를 더 포함하는, 방법.
  6. 제5항에 있어서, 상기 모션 정보 세트는 마지막 K개의 후보 또는 처음 K%L개의 기존 모션 후보를 사용하여 프루닝되고, 여기서 K는 테이블에 대응하는 모션 후보들의 카운터를 나타내는 정수이고, L은 테이블의 크기를 나타내는, 방법.
  7. 제4항에 있어서, 상기 M개의 모션 정보 세트 내의 세트가 테이블에 대한 추가적인 모션 후보로서 추가되고, 어떠한 비교 동작도 적용되지 않는, 방법.
  8. 제4항에 있어서, 상기 M개의 모션 정보 세트 내의 세트를 테이블에 추가할 때, 상기 모션 정보 세트는 상기 테이블 내의 현재 모션 후보들 중 임의의 것 또는 일부와는 상이한 모션 정보를 포함하는 것을 더 포함하는, 방법.
  9. 제4항에 있어서, 상기 M개의 모션 정보 세트 내의 세트를 추가할 때, 테이블에서의 현재 모션 후보의 MV와 상기 모션 정보 세트로부터의 동일한 참조 픽처의 MV 사이의 모션 벡터(MV) 차이는 하나 또는 다수의 임계값 이상인 것을 더 포함하는, 방법.
  10. 제1항 또는 제2항에 있어서, 각각의 테이블은 대응하는 카운터를 갖고, 상기 대응하는 카운터는 M만큼 증가되는, 방법.
  11. 제4항에 있어서, 상기 테이블 에서 K%L과 동일한 인덱스를 갖는 추가적인 모션 후보가 추가되고, K는 업데이트될 테이블에 대응하는 모션 후보들의 카운터를 나타내고, L은 테이블의 크기를 나타내는, 방법.
  12. 제4항에 있어서, 상기 테이블에서 min(K+1, L-1)과 동일한 인덱스를 갖는 추가적인 모션 후보가 추가되고, K는 업데이트될 테이블에 대응하는 모션 후보들의 카운터를 나타내고, L은 테이블의 크기를 나타내는, 방법.
  13. 제4항에 있어서, K가 L 이상인 경우, 0의 인덱스를 갖는 제1 모션 후보가 테이블로부터 제거되는, 방법.
  14. 제11항 또는 제12항에 있어서, 이전에 코딩된 블록들로부터의 최근 모션 정보 세트들은 동일하거나 유사한 모션 후보들이 있는지에 관계없이 유지되는, 방법.
  15. 제4항에 있어서, 상기 하나 이상의 테이블을 업데이트하는 상기 단계는 추가적인 모션 후보와의 상기 테이블 내의 현재 모션 후보들의 중복을 검사하는 단계를 포함하는, 방법.
  16. 제15항에 있어서, 상기 하나 이상의 테이블을 업데이트하는 상기 단계는, 하나 이상의 중복 현재 모션 후보들이 테이블로부터 제거되고 이전 코딩된 블록들로부터의 최근 모션 정보 세트들이 유지되는 중복 제거 기반 테이블 업데이트를 수행하는 단계를 포함하는, 방법.
  17. 제16항에 있어서, 상기 최근 모션 정보 세트들은 이중화되지 않은 모션 정보를 포함하는, 방법.
  18. 제16항에 있어서, 상기 테이블 내의 현재 모션 후보들 중 적어도 하나가 상기 추가적인 모션 후보에 중복될 때, 상기 테이블과 연관된 상기 카운터는 증가되지 않는, 방법.
  19. 제16항에 있어서, 상기 중복 제거 기반 테이블 업데이트 프로세스는 테이블에 추가될 추가적인 모션 후보에 대해 테이블 내의 상기 현재 모션 후보들에 대한 비교 동작을 수행하는 단계를 포함하는, 방법.
  20. 제19항에 있어서, 상기 중복의 검사는 상기 테이블 내의 중복 현재 모션 후보를 식별하며, 상기 식별된 중복 현재 모션 후보는 현재 위치로부터 상기 테이블 내의 상기 나머지 현재 모션 후보들 이후의 최종 위치로 이동되는, 방법.
  21. 제19항에 있어서, 상기 중복의 검사는 상기 테이블에서 중복 현재 모션 후보를 식별하며, 상기 식별된 중복 현재 모션 후보는 상기 테이블에서 빈 엔트리를 제공하기 위해 테이블로부터 제거되고, 상기 테이블에서 상기 식별된 중복 현재 모션 후보 이후의 비중복 현재 모션 후보가 상기 빈 엔트리를 채우기 위해 앞으로 이동되는, 방법.
  22. 제21항에 있어서, 상기 추가적인 모션 후보를 추가하는 상기 단계는 상기 테이블에서의 상기 비중복 현재 모션 후보들의 이동 이후에 수행되는, 방법.
  23. 제16항에 있어서, 상기 중복 제거 기반 테이블 업데이트를 수행하는 상기 단계는, 다수의 중복 모션 후보들을 식별하기 위해 상기 테이블 내의 현재 모션 후보들의 중복을 검사하는 단계 및 상기 식별된 다수의 중복 모션 후보들 모두를 제거하는 단계를 포함하는, 방법.
  24. 제23항에 있어서, 상기 테이블에 대응하는 카운터는 상기 식별된 다수의 중복 모션 후보들의 수로부터 1을 감산하여 획득된 값만큼 감소되는, 방법.
  25. 제23항에 있어서, 상기 중복을 검사하는 상기 단계는 상기 식별된 다수의 중복 모션 후보들의 수가 최대값 maxR에 도달한 이후에 종료되며, maxR은 양의 정수 변수인, 방법.
  26. 제16항에 있어서, 상기 중복을 검사하는 상기 단계는 중복 현재 모션 후보가 식별될 때 종료되는, 방법.
  27. 제16항에 있어서, 상기 중복을 검사하는 상기 단계는 테이블에서의 첫 번째 현재 모션 후보로부터 마지막 현재 모션 후보까지 순서대로 수행되는, 방법.
  28. 제16항에 있어서, 상기 중복을 검사하는 상기 단계는 상기 현재 모션 후보들이 상기 테이블에 추가되는 순서대로 또는 상기 현재 모션 후보들이 획득되는 블록들의 디코딩 프로세스의 순서대로 수행되는, 방법.
  29. 제16항에 있어서, 상기 중복을 검사하는 상기 단계는 상기 테이블 내의 중복 현재 모션 후보를 식별하고, 상기 식별된 중복 후보로부터 가상 모션 후보가 도출되며, 상기 식별된 다수의 중복 후보가 테이블로부터 제거되는, 방법.
  30. 제29항에 있어서, 상기 가상 모션 후보는 i) 하나 이상의 모션 벡터의 수평 또는 수직 성분에 오프셋(들)을 추가하거나 ii) 동일한 참조 픽처를 가리키는 2개의 모션 벡터를 평균화함으로써 도출되는, 방법.
  31. 제29항에 있어서, 상기 가상 모션 후보는 상기 테이블 내의 현재 모션 후보와 연관된 모션 벡터의 함수로부터 도출되는, 방법.
  32. 제29항에 있어서, 상기 가상 모션 후보들은 상기 테이블 내의 상기 식별된 중복 모션 후보들의 위치들에 추가되는, 방법.
  33. 제16항에 있어서, 상기 가상 모션 후보들이 상기 테이블 내의 현재 모션 후보들 이전에 추가되고, 상기 현재 모션 후보들은 상기 식별된 중복 모션 후보를 제외한 상기 테이블 내의 모션 후보들에 대응하는, 방법.
  34. 제16항에 있어서, 상기 중복 제거 기반 테이블 업데이트 프로세스는 특정 조건들의 결정이 충족되면 호출되는, 방법.
  35. 제34항에 있어서, 상기 조건은 상기 현재 블록이 병합 모드로 코딩될 때를 포함하는, 방법.
  36. 제34항에 있어서, 상기 조건은 상기 현재 블록이 서브 블록 기반 모션 예측으로도 서브 블록 기반 모션 보상 방법으로도 코딩되지 않을 때를 포함하는, 방법.
  37. 제1항 또는 제2항에 있어서, 상기 하나 이상의 테이블을 업데이트하는 상기 단계는 S개의 블록들의 상기 변환의 수행 이후에만 수행되고, S는 1 이상의 정수인, 방법.
  38. 제37항에 있어서, 상기 S개의 블록들은 인터-코딩된 블록들인, 방법.
  39. 제37항에 있어서, 상기 S개의 블록들은 서브 블록 기반 모션 예측으로도 서브 블록 기반 모션 보상 방법으로도 코딩되지 않는, 방법.
  40. 제39항에 있어서, 상기 조건은 상기 현재 블록이 병합 모드로 코딩되고, 대응하는 모션 후보의 모션 정보의 소스가 특정 타입을 갖는 때를 포함하는, 방법.
  41. 제40항에 있어서, 대응하는 모션 후보의 모션 정보의 상기 소스는 시간 블록 또는 좌측 이웃 블록을 포함하는 공간 이웃 블록으로부터의 것인, 방법.
  42. 제4항에 있어서, 상기 M개의 추가적인 모션 후보들은 상기 M개의 추가적인 모션 후보들 이전에 상기 테이블에 추가된 상기 현재 모션 후보들 이후에 추가되는, 방법.
  43. 제42항에 있어서, 상기 현재 모션 후보들 중 일부가 상기 테이블로부터 제거되는 것을 더 포함하는, 방법.
  44. 제43항에 있어서, 상기 M개의 모션 정보 세트를 삽입하기 전 또는 후에 상기 테이블이 가득 찼을 때, 모션 후보들의 상기 세트 내의 처음 하나 또는 다수의 엔트리가 상기 테이블로부터 제거되는, 방법.
  45. 제1항 또는 제2항에 있어서, 상기 현재 블록이 직접 시그널링된 모션 정보로 코딩될 때, 상기 모션 정보가 테이블에 추가되는, 방법.
  46. 제45항에 있어서, 상기 현재 블록은 AMVP 모드, 정상/아핀 인터 모드에 대한 MMVD(motion vector differences) 모드를 사용한 병합, 또는 정상/아핀 인터 모드에 대한 AMVR(advanced motion vector prediction) 모드로 코딩되는, 방법.
  47. 제45항에 있어서, 상기 모션 정보는 상기 테이블의 마지막 엔트리에 또는 다음 사용가능한 모션 후보를 저장하는 데 사용되는 엔트리에 추가되는, 방법.
  48. 제1항, 제2항 또는 제16항에 있어서, 상기 M개의 모션 정보 세트에 기초한 모션 정보 도출 프로세스에 의해 추가적인 모션 후보들을 상기 테이블에 추가하는 단계를 더 포함하는, 방법.
  49. 제48항에 있어서, 상기 테이블에 대응하는 카운터는 1보다 큰 값만큼 증가되는, 방법.
  50. 제48항에 있어서, 상기 모션 정보 도출 프로세스는 상기 M개의 모션 정보 세트 내의 세트의 모션 벡터를 스케일링하는 단계를 포함하는, 방법.
  51. 제48항에 있어서, 상기 모션 정보 도출 프로세스는 상기 M개의 모션 정보 세트 내의 세트의 모션 벡터에 모션 벡터 오프셋(dx, dy)을 추가하는 단계를 포함하는, 방법.
  52. 제48항에 있어서, 상기 모션 정보 도출 프로세스는 상기 M개의 모션 정보 세트 내의 2개 이상의 세트의 모션 벡터들의 평균값을 사용하는 단계를 포함하는, 방법.
  53. 제1항 내지 제52항 중 어느 한 항에 있어서, 상기 업데이트하는 단계는 상기 테이블들에 추가되기 전에 상기 M개의 모션 정보 세트를 수정하는 단계를 포함하는, 방법.
  54. 제1항 또는 제2항에 있어서, 상기 변환을 수행하는 상기 단계는 상기 현재 블록으로부터 상기 비트스트림 표현을 생성하는 단계를 포함하는, 방법.
  55. 제1항 또는 제2항에 있어서, 상기 변환을 수행하는 상기 단계는 상기 비트스트림 표현으로부터 상기 현재 블록을 생성하는 단계를 포함하는, 방법.
  56. 제1항 내지 제55항 중 어느 한 항에 있어서, 모션 후보는 예측 방향, 참조 픽처 인덱스, 모션 벡터 값, 강도 보상 플래그, 아핀 플래그, 모션 벡터 차이 정밀도 또는 모션 벡터 차이 값 중 적어도 하나를 포함하는 모션 정보와 연관되는, 방법.
  57. 제1항 내지 제55항 중 어느 한 항에 있어서, 상기 모션 후보들은 인트라 모드 코딩을 위한 인트라 예측 모드들에 대한 모션 후보들에 대응하는, 방법.
  58. 제1항 내지 제55항 중 어느 한 항에 있어서, 상기 모션 후보들은 IC 파라미터 코딩을 위한 조도 보상 파라미터들을 포함하는 모션 후보들에 대응하는, 방법.
  59. 제1항 내지 제58항 중 어느 한 항에 있어서,
    상기 업데이트된 테이블들에 기초하여 상기 비디오의 후속 비디오 블록과 상기 비디오의 상기 비트스트림 표현 사이의 변환을 수행하는 단계를 더 포함하는, 방법.
  60. 프로세서 및 명령어들을 갖는 비일시적 메모리를 포함하는 장치로서, 상기 명령어들은 상기 프로세서에 의한 실행 시에 상기 프로세서로 하여금 제1항 내지 제59항 중 어느 하나 이상에 기재된 방법을 구현하게 하는, 장치.
  61. 비일시적 컴퓨터 판독가능 매체 상에 저장되는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은 제1항 내지 제59항 중 어느 하나 이상에 기재된 방법을 수행하기 위한 프로그램 코드를 포함하는, 컴퓨터 프로그램 제품.
KR1020207037976A 2018-06-29 2019-07-01 룩업 테이블의 업데이트: fifo, 제약된 fifo KR102627814B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237045270A KR20240007299A (ko) 2018-06-29 2019-07-01 룩업 테이블의 업데이트: fifo, 제약된 fifo

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
CNPCT/CN2018/093663 2018-06-29
CN2018093663 2018-06-29
CN2018094929 2018-07-07
CNPCT/CN2018/094929 2018-07-07
CNPCT/CN2018/101220 2018-08-18
CN2018101220 2018-08-18
CN2018117627 2018-11-27
CNPCT/CN2018/117627 2018-11-27
CNPCT/CN2019/071214 2019-01-10
CN2019071214 2019-01-10
PCT/IB2019/055586 WO2020003278A1 (en) 2018-06-29 2019-07-01 Update of look up table: fifo, constrained fifo

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237045270A Division KR20240007299A (ko) 2018-06-29 2019-07-01 룩업 테이블의 업데이트: fifo, 제약된 fifo

Publications (2)

Publication Number Publication Date
KR20210025538A true KR20210025538A (ko) 2021-03-09
KR102627814B1 KR102627814B1 (ko) 2024-01-23

Family

ID=67441544

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237045270A KR20240007299A (ko) 2018-06-29 2019-07-01 룩업 테이블의 업데이트: fifo, 제약된 fifo
KR1020207037976A KR102627814B1 (ko) 2018-06-29 2019-07-01 룩업 테이블의 업데이트: fifo, 제약된 fifo

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237045270A KR20240007299A (ko) 2018-06-29 2019-07-01 룩업 테이블의 업데이트: fifo, 제약된 fifo

Country Status (12)

Country Link
US (3) US20200404285A1 (ko)
EP (2) EP4325860A3 (ko)
JP (2) JP7256265B2 (ko)
KR (2) KR20240007299A (ko)
CN (2) CN114845108A (ko)
AU (1) AU2019293670B2 (ko)
BR (1) BR112020024202A2 (ko)
PH (1) PH12020552216A1 (ko)
SG (1) SG11202012293RA (ko)
TW (1) TWI723445B (ko)
WO (1) WO2020003278A1 (ko)
ZA (1) ZA202007990B (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102660666B1 (ko) 2018-06-29 2024-04-26 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut들을 업데이트하기 위한 조건들
KR20240005240A (ko) 2018-06-29 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
KR20210024502A (ko) 2018-06-29 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Hmvp 후보를 병합/amvp에 추가할 때의 부분/풀 프루닝
CN110662053B (zh) 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 使用查找表的视频处理方法、装置和存储介质
WO2020003280A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Which lut to be updated or no updating
BR112020024202A2 (pt) 2018-06-29 2021-02-17 Beijing Bytedance Network Technology Co., Ltd. método de processamento de dados de vídeo, aparelho de processamento de vídeo e meios de armazenamento e gravação legíveis por computador não transitório
WO2020003284A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and amvp
KR20210025537A (ko) 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념
EP4307679A2 (en) 2018-07-02 2024-01-17 Beijing Bytedance Network Technology Co., Ltd. Luts with intra prediction modes and intra mode prediction from non-adjacent blocks
TWI820211B (zh) 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 取決於總數減去k的開始檢查hmvp候選的條件
WO2020114407A1 (en) 2018-12-03 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Partial pruning method for hmvp mode
WO2020137857A1 (ja) * 2018-12-28 2020-07-02 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
BR112021012481A2 (pt) * 2018-12-28 2021-09-08 Jvckenwood Corporation Dispositivo de codificação de imagem em movimento, método de codificação de imagem em movimento, programa de codificação de imagem em movimento, dispositivo de decodificação de imagem em movimento, método de decodificação de imagem em movimento, e programa de decodificação de imagem em movimento
CN112470476A (zh) * 2018-12-28 2021-03-09 Jvc建伍株式会社 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
KR102601014B1 (ko) 2018-12-28 2023-11-09 고도 가이샤 아이피 브릿지 1 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
EP3731522A4 (en) * 2019-01-01 2021-04-14 LG Electronics Inc. METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL BASED ON HISTORY-BASED MOTION VECTOR PREDICTION
EP3888355A4 (en) * 2019-01-10 2022-03-23 Beijing Bytedance Network Technology Co., Ltd. LOOKUP TABLE UPDATE INVOCATION
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
CN111698506B (zh) * 2019-03-11 2022-04-26 杭州海康威视数字技术股份有限公司 运动信息候选者列表构建方法、三角预测解码方法及装置
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
US11451809B2 (en) * 2019-08-28 2022-09-20 Tencent America LLC Method and apparatus for video coding
EP4088464A4 (en) 2020-02-05 2023-06-07 Beijing Bytedance Network Technology Co., Ltd. DEBLOCKING PARAMETERS FOR A CHROMA COMPONENT
EP4088456A4 (en) * 2020-02-05 2023-06-21 Beijing Bytedance Network Technology Co., Ltd. PALETTE MODE FOR A LOCAL DUAL TREE
US11936899B2 (en) * 2021-03-12 2024-03-19 Lemon Inc. Methods and systems for motion candidate derivation
US11671616B2 (en) 2021-03-12 2023-06-06 Lemon Inc. Motion candidate derivation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110194609A1 (en) * 2010-02-05 2011-08-11 Thomas Rusert Selecting Predicted Motion Vector Candidates
US20170332099A1 (en) * 2016-05-13 2017-11-16 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding

Family Cites Families (318)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7023922B1 (en) 2000-06-21 2006-04-04 Microsoft Corporation Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information
US7623719B2 (en) 2003-09-26 2009-11-24 The Regents Of The University Of California Video encoding methods and devices
CN100545892C (zh) 2003-12-18 2009-09-30 汤姆森特许公司 生成视频图像场中的查找表的方法和装置
US7801220B2 (en) 2005-01-07 2010-09-21 Microsoft Corporation In-band wavelet video coding with spatial scalability
EP1878254A4 (en) 2005-04-13 2011-05-18 Nokia Corp FGS IDENTIFICATION IN SCALABLE VIDEO CODING
US20070025444A1 (en) 2005-07-28 2007-02-01 Shigeyuki Okada Coding Method
CN100539693C (zh) 2005-08-30 2009-09-09 深圳清华大学研究院 快速运动估计方法
CN101601305B (zh) 2006-10-20 2013-01-23 诺基亚公司 用于可伸缩多媒体的自适应路径的通用指示
KR100856411B1 (ko) 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
US8228990B2 (en) 2008-01-16 2012-07-24 Sony Corporation Template matching scheme using multiple predictors as candidates for intra-prediction
CN101933328B (zh) 2008-01-22 2014-11-19 杜比实验室特许公司 利用动态查询表更新的自适应运动信息成本估计
US8724697B2 (en) 2008-09-26 2014-05-13 Qualcomm Incorporated Locating motion vectors for video data units
EP2765778B1 (en) 2009-06-18 2016-08-17 Kabushiki Kaisha Toshiba Video encoding apparatus
CN102037732B (zh) 2009-07-06 2013-03-27 联发科技（新加坡）私人有限公司 一种执行单循环自适应内插滤波的方法、编码器和译码器
KR20110008653A (ko) 2009-07-20 2011-01-27 삼성전자주식회사 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법
PL3595311T3 (pl) 2009-10-01 2021-01-25 Sk Telecom Co., Ltd Sposób i urządzenie do kodowania/dekodowania obrazu z zastosowaniem makrobloków o zmiennym rozmiarze
KR101600818B1 (ko) 2009-11-06 2016-03-09 삼성디스플레이 주식회사 3차원 광학 모듈 및 이를 포함하는 디스플레이 장치
JP5338684B2 (ja) 2010-01-08 2013-11-13 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR101630688B1 (ko) 2010-02-17 2016-06-16 삼성전자주식회사 움직임 예측 장치 및 방법과 영상 처리 장치
US9510009B2 (en) 2010-05-20 2016-11-29 Thomson Licensing Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding
KR20120016991A (ko) 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
US10104391B2 (en) 2010-10-01 2018-10-16 Dolby International Ab System for nested entropy encoding
US8711940B2 (en) 2010-11-29 2014-04-29 Mediatek Inc. Method and apparatus of motion vector prediction with extended motion vector predictor
WO2012074344A2 (ko) 2010-12-03 2012-06-07 엘지전자 주식회사 움직임 정보 리스트 인덱싱 방법 및 이러한 방법을 사용하는 장치
CN103370940B (zh) 2010-12-14 2016-10-12 M&K控股株式会社 以帧间预测模式编码的运动画面的解码方法
US10397599B2 (en) * 2010-12-17 2019-08-27 Electronics And Telecommunications Research Institute Method and apparatus for inter prediction using motion vector candidate based on temporal motion prediction
KR20120070479A (ko) 2010-12-21 2012-06-29 한국전자통신연구원 화면 내 예측 방향 정보 부호화/복호화 방법 및 그 장치
US9049455B2 (en) 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
US20130301734A1 (en) 2011-01-12 2013-11-14 Canon Kabushiki Kaisha Video encoding and decoding with low complexity
GB2492778A (en) 2011-07-11 2013-01-16 Canon Kk Motion compensated image coding by combining motion information predictors
US9319716B2 (en) 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
US20120195366A1 (en) 2011-02-01 2012-08-02 Mediatek Singapore Pte. Ltd. Method and Apparatus of Adaptive Inter Mode Coding Using Variable Length Codes
KR20220070072A (ko) 2011-02-09 2022-05-27 엘지전자 주식회사 움직임 정보 저장 방법 및 이를 이용한 시간적 움직임 벡터 예측자 유도 방법
EP2490448A1 (de) 2011-02-18 2012-08-22 Siemens Aktiengesellschaft Kodierverfahren und Bildkodiervorrichtung zur Kompression einer Bildsequenz
US10171813B2 (en) 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks
US9066110B2 (en) 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding
GB2488816A (en) 2011-03-09 2012-09-12 Canon Kk Mapping motion vectors from a plurality of reference frames to a single reference frame
GB2501836B (en) 2011-03-09 2014-08-06 Canon Kk Video encoding
EP3937497B1 (en) 2011-03-21 2023-02-22 LG Electronics, Inc. Motion vector predictor selection
US9143795B2 (en) 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
US9247266B2 (en) 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
US20120287999A1 (en) 2011-05-11 2012-11-15 Microsoft Corporation Syntax element prediction in error correction
CA2833893C (en) 2011-05-24 2024-02-27 Panasonic Corporation Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus
CA2834191C (en) 2011-05-31 2019-04-09 Panasonic Corporation Video encoding method, video encoding device, video decoding method, video decoding device, and video encoding/decoding device
ES2861773T3 (es) 2011-05-31 2021-10-06 Jvc Kenwood Corp Dispositivo de decodificación de imágenes en movimiento, procedimiento de decodificación de imágenes en movimiento y programa de decodificación de imágenes en movimiento
US9866859B2 (en) 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
JP5786478B2 (ja) 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
WO2012172668A1 (ja) 2011-06-15 2012-12-20 株式会社 東芝 動画像符号化方法及び装置並びに動画復号化方法及び装置
US9762900B2 (en) 2011-06-17 2017-09-12 Lg Electronics Inc. Method and apparatus for encoding/decoding video in intra prediction mode
US9131239B2 (en) 2011-06-20 2015-09-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
TR201906149T4 (tr) 2011-06-28 2019-05-21 Samsung Electronics Co Ltd İç tahmin ile video kodlamak için usul ve cihaz.
PL3419290T3 (pl) 2011-06-30 2021-05-31 JVC Kenwood Corporation Urządzenie do kodowania obrazu, sposób kodowania obrazu, program do kodowania obrazu, urządzenie do dekodowania obrazu, sposób dekodowania obrazu i program do dekodowania obrazu
KR20150088909A (ko) * 2011-06-30 2015-08-03 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
KR101900986B1 (ko) 2011-06-30 2018-09-20 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치, 및, 화상 부호화 복호 장치
US20130188013A1 (en) 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
IN2014CN00729A (ko) 2011-08-03 2015-04-03 Panasonic Corp
GB201113527D0 (en) 2011-08-04 2011-09-21 Imagination Tech Ltd External vectors in a motion estimation system
GB2493755B (en) 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images
MX351933B (es) 2011-08-29 2017-11-01 Ibex Pt Holdings Co Ltd Método para generar un bloque de predicción en modo de predicción de vector de movimiento avanzada (amvp).
US8804816B2 (en) 2011-08-30 2014-08-12 Microsoft Corporation Video encoding enhancements
EP3179723B1 (en) 2011-09-09 2023-01-25 KT Corporation Method for deriving a temporal predictive motion vector, and apparatus using the method
ES2713477T3 (es) 2011-09-09 2019-05-22 Lg Electronics Inc Método de predicción inter y aparato correspondiente
US20130070855A1 (en) 2011-09-17 2013-03-21 Qualcomm Incorporated Hybrid motion vector coding modes for video coding
JP5884697B2 (ja) * 2011-09-28 2016-03-15 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP5976658B2 (ja) 2011-09-29 2016-08-24 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
AU2012323631B2 (en) 2011-10-11 2015-09-17 Mediatek Inc. Method and apparatus of motion and disparity vector derivation for 3D video coding and HEVC
KR101539110B1 (ko) 2011-10-18 2015-07-29 주식회사 케이티 영상 부호화 방법, 영상 복호화 방법, 영상 부호화기 및 영상 복호화기
US9838692B2 (en) 2011-10-18 2017-12-05 Qualcomm Incorporated Detecting availabilities of neighboring video units for video coding
EP2716047A4 (en) 2011-10-19 2015-03-18 Mediatek Inc METHOD AND DEVICE FOR DERIVING MOTION VECTOR PREVIEW CANDIDATE SETS
KR101999869B1 (ko) 2011-10-19 2019-07-12 선 페이턴트 트러스트 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 및, 화상 복호 장치
US9462298B2 (en) 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
US20140286433A1 (en) 2011-10-21 2014-09-25 Dolby Laboratories Licensing Corporation Hierarchical motion estimation for video compression and motion analysis
RU2646328C1 (ru) 2011-10-28 2018-03-02 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
US20130114717A1 (en) 2011-11-07 2013-05-09 Qualcomm Incorporated Generating additional merge candidates
KR20130050407A (ko) 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
KR20130050406A (ko) 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
US20140307783A1 (en) 2011-11-08 2014-10-16 Samsung Electronics Co., Ltd. Method and apparatus for motion vector determination in video encoding or decoding
CN107396100B (zh) 2011-11-08 2020-05-05 株式会社Kt 利用解码装置对视频信号进行解码的方法
CN110198448B (zh) 2011-11-08 2021-12-31 韩国电子通信研究院 用于共享候选者列表的方法和装置
KR20240027889A (ko) 2011-11-11 2024-03-04 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
WO2013081365A1 (ko) 2011-11-28 2013-06-06 에스케이텔레콤 주식회사 개선된 머지를 이용한 영상 부호화/복호화 방법 및 장치
US9762904B2 (en) 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
US9900615B2 (en) 2011-12-28 2018-02-20 Microsoft Technology Licensing, Llc Representative motion information for temporal motion prediction in video encoding and decoding
WO2013099244A1 (ja) 2011-12-28 2013-07-04 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
US20130188715A1 (en) 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
CN108235032B (zh) 2012-01-18 2022-01-07 Jvc 建伍株式会社 动图像解码装置以及动图像解码方法
EP2806637B1 (en) 2012-01-19 2020-10-21 Electronics And Telecommunications Research Institute Method for image coding/decoding
CN109194961B (zh) 2012-01-20 2022-05-17 杜比实验室特许公司 解码方法、视频解码设备及编码方法
TWI559744B (zh) 2012-01-20 2016-11-21 Ｇｅ影像壓縮有限公司 允許平行處理之編碼器、解碼器、傳送解多工器、系統、儲存媒體、方法及電腦程式
JP5947405B2 (ja) 2012-02-01 2016-07-06 ノキア テクノロジーズ オーユー ビデオ符号化方法および装置
US9544592B2 (en) 2012-02-10 2017-01-10 Texas Instruments Incorporated Methods and systems for encoding pictures associated with video data
US9445076B2 (en) 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
WO2013140807A1 (ja) 2012-03-23 2013-09-26 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
US9325991B2 (en) 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
US9264706B2 (en) 2012-04-11 2016-02-16 Qualcomm Incorporated Bypass bins for reference index coding in video coding
EP2838261B1 (en) 2012-04-12 2020-06-17 JVC KENWOOD Corporation Video decoding device, video decoding method, video decoding program
US9338451B2 (en) 2012-04-12 2016-05-10 Qualcomm Incorporated Common spatial candidate blocks for parallel motion estimation
US20130272412A1 (en) 2012-04-12 2013-10-17 Qualcomm Incorporated Common motion information candidate list construction process
US9503702B2 (en) 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
WO2013157251A1 (ja) 2012-04-16 2013-10-24 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
CN104170389B (zh) 2012-04-24 2018-10-26 联发科技股份有限公司 运动向量预测器的产生方法和装置及视点间运动向量预测器候选的产生方法
JP6039793B2 (ja) * 2012-05-10 2016-12-07 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9258562B2 (en) 2012-06-13 2016-02-09 Qualcomm Incorporated Derivation of depth map estimate
US20130336406A1 (en) 2012-06-14 2013-12-19 Qualcomm Incorporated Redundancy removal for merge/skip mode motion information candidate list construction
US20130343459A1 (en) 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
AU2013285749B2 (en) 2012-07-02 2016-06-16 Samsung Electronics Co., Ltd. Method and apparatus for predicting motion vector for coding video or decoding video
JP6085601B2 (ja) 2012-07-03 2017-02-22 シャープ株式会社 画像復号装置、および画像符号化装置
US20140071235A1 (en) 2012-09-13 2014-03-13 Qualcomm Incorporated Inter-view motion prediction for 3d video
WO2014047351A2 (en) 2012-09-19 2014-03-27 Qualcomm Incorporated Selection of pictures for disparity vector derivation
US9998727B2 (en) 2012-09-19 2018-06-12 Qualcomm Incorporated Advanced inter-view residual prediction in multiview or 3-dimensional video coding
WO2014049196A1 (en) 2012-09-27 2014-04-03 Nokia Corporation Method and techniqal equipment for scalable video coding
WO2014054267A1 (ja) 2012-10-01 2014-04-10 パナソニック株式会社 画像符号化装置及び画像符号化方法
WO2014053085A1 (en) 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus of motion information management in video coding
US9699450B2 (en) 2012-10-04 2017-07-04 Qualcomm Incorporated Inter-view predicted motion vector for 3D video
CN102883163B (zh) 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
CN104396248B (zh) 2012-10-12 2019-11-08 韩国电子通信研究院 图像编码/解码方法和使用其的装置
US9854234B2 (en) 2012-10-25 2017-12-26 Qualcomm Incorporated Reference picture status for video coding
US9357214B2 (en) 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video
CN104838658B (zh) 2012-12-14 2018-07-20 高通股份有限公司 具有不对称空间分辨率的纹理和深度视图分量当中的内部视图运动预测
US9350970B2 (en) 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
US10021414B2 (en) 2013-01-04 2018-07-10 Qualcomm Incorporated Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures
US9648299B2 (en) 2013-01-04 2017-05-09 Qualcomm Incorporated Indication of presence of texture and depth views in tracks for multiview coding plus depth
JP6139701B2 (ja) 2013-01-07 2017-05-31 ヴィド スケール インコーポレイテッド スケーラブルビデオ符号化のための動き情報シグナリング
US9762882B2 (en) 2013-01-11 2017-09-12 Hfi Innovation Inc. Method and apparatus for efficient coding of depth lookup table
JP5692262B2 (ja) 2013-03-06 2015-04-01 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法、及び受信プログラム
EP2982116A1 (en) 2013-04-02 2016-02-10 VID SCALE, Inc. Enhanced temporal motion vector prediction for scalable video coding
CN105324996B (zh) 2013-04-10 2018-12-21 寰发股份有限公司 三维视频编码的视图间候选推导的方法及其装置
US10158876B2 (en) 2013-04-10 2018-12-18 Qualcomm Incorporated Backward view synthesis prediction
CN104125463A (zh) 2013-04-26 2014-10-29 华为技术有限公司 一种图像预测编码方法及图像编码器
EP2997732A1 (en) 2013-05-15 2016-03-23 VID SCALE, Inc. Single loop decoding based inter layer prediction
US9667990B2 (en) 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
WO2015000108A1 (en) 2013-07-01 2015-01-08 Mediatek Singapore Pte. Ltd. An improved texture merging candidate in 3dvc
KR101854003B1 (ko) 2013-07-02 2018-06-14 경희대학교 산학협력단 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
WO2015006920A1 (en) 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. An adaptive disparity vector derivation method
SG11201510554RA (en) 2013-07-24 2016-02-26 Qualcomm Inc Simplified advanced motion prediction for 3d-hevc
EP3047639B1 (en) 2013-09-20 2018-07-18 VID SCALE, Inc. Video encoder and methods providing 3d look-up table coding for color gamut scalability
US9667996B2 (en) 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
GB2519514A (en) 2013-10-11 2015-04-29 Canon Kk Method and apparatus for displacement vector component prediction in video coding and decoding
JP6545672B2 (ja) 2013-10-18 2019-07-17 エルジー エレクトロニクス インコーポレイティド マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法
CN104717510B (zh) 2013-12-13 2018-08-17 华为技术有限公司 用于图像处理的方法和装置
JP6355744B2 (ja) 2014-01-03 2018-07-11 マイクロソフト テクノロジー ライセンシング，エルエルシー ビデオ及び画像符号化／デコーディングにおけるブロックベクトル予測
US9967592B2 (en) 2014-01-11 2018-05-08 Qualcomm Incorporated Block-based advanced residual prediction for 3D video coding
CN106464894B (zh) 2014-02-12 2019-10-18 明达半导体股份有限公司 视频处理方法及装置
CN105556971B (zh) 2014-03-04 2019-07-30 微软技术许可有限责任公司 针对帧内块复制预测中的块翻动和跳跃模式的编码器侧判定
US9591313B2 (en) 2014-03-04 2017-03-07 Vixs Systems, Inc. Video encoder with transform size preprocessing and methods for use therewith
EP3114839A4 (en) 2014-03-07 2018-02-14 Qualcomm Incorporated Simplified sub-prediction unit (sub-pu) motion parameter inheritence (mpi)
KR102329126B1 (ko) 2014-03-14 2021-11-19 삼성전자주식회사 인터 레이어 비디오의 복호화 및 부호화를 위한 머지 후보 리스트 구성 방법 및 장치
WO2015139187A1 (en) 2014-03-17 2015-09-24 Mediatek Inc. Low latency encoder decision making for illumination compensation and depth look-up table transmission in video coding
US9756354B2 (en) 2014-03-17 2017-09-05 Qualcomm Incorporated Block vector predictor for intra block copying
WO2015139203A1 (en) 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. Dlt signaling in 3d video coding
CN106105191B (zh) 2014-03-19 2018-08-10 株式会社Kt 用于处理多视图视频信号的方法和装置
US10554967B2 (en) 2014-03-21 2020-02-04 Futurewei Technologies, Inc. Illumination compensation (IC) refinement based on positional pairings among pixels
JP6345805B2 (ja) 2014-05-06 2018-06-20 寰發股▲ふん▼有限公司ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ． Ｉｎｔｒａブロックコピーモード符号化のブロックベクトル予測の方法
US10382749B2 (en) 2014-05-23 2019-08-13 Qualcomm Incorporated Coding run values based on palette index in palette-based video coding
WO2015180014A1 (en) 2014-05-26 2015-12-03 Mediatek Singapore Pte. Ltd. An improved merge candidate list construction method for intra block copy
US10567789B2 (en) 2014-06-16 2020-02-18 Qualcomm Incorporated Simplified shifting merge candidate and merge list derivation in 3D-HEVC
CA2950964C (en) 2014-06-19 2018-10-30 Hfi Innovation Inc. Method and apparatus of candidate generation for single sample mode in video coding
JP6401309B2 (ja) 2014-06-19 2018-10-10 ヴィド スケール インコーポレイテッド ３次元ベースのカラーマッピングでのモデルパラメータ最適化のためのシステムおよび方法
US10681372B2 (en) 2014-06-23 2020-06-09 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
CN104079944B (zh) 2014-06-30 2017-12-01 华为技术有限公司 视频编码的运动矢量列表构建方法和系统
WO2016008157A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
WO2016008161A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Temporal derived bi-directional motion vector predictor
KR102276854B1 (ko) 2014-07-31 2021-07-13 삼성전자주식회사 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US10027981B2 (en) 2014-09-01 2018-07-17 Hfi Innovation Inc. Method of intra picture block copy for screen content and video coding
WO2016043933A1 (en) 2014-09-15 2016-03-24 Mediatek Inc. Method of deblocking for intra block copy in video coding
US9743110B2 (en) 2014-10-09 2017-08-22 Hfi Innovation Inc. Method of 3D or multi-view video coding including view synthesis prediction
US9854237B2 (en) 2014-10-14 2017-12-26 Qualcomm Incorporated AMVP and merge candidate list derivation for intra BC and inter prediction unification
WO2016068685A1 (ko) 2014-10-31 2016-05-06 삼성전자 주식회사 고정밀 스킵 부호화를 이용한 비디오 부호화 장치 및 비디오 복호화 장치 및 그 방법
CN111741310B (zh) 2014-10-31 2024-03-19 三星电子株式会社 用于对运动矢量进行编码/解码的方法和装置
US10182240B2 (en) 2014-11-18 2019-01-15 Mediatek Inc. Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
US20170310988A1 (en) 2014-12-09 2017-10-26 Mediatek Inc. Method of Motion Vector Predictor or Merge Candidate Derivation in Video Coding
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US11477477B2 (en) 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
US10230980B2 (en) 2015-01-26 2019-03-12 Qualcomm Incorporated Overlapped motion compensation for video coding
US10070130B2 (en) 2015-01-30 2018-09-04 Qualcomm Incorporated Flexible partitioning of prediction units
WO2016123792A1 (en) 2015-02-06 2016-08-11 Microsoft Technology Licensing, Llc Skipping evaluation stages during media encoding
US10057574B2 (en) 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
US10958927B2 (en) 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding
EP3262839B1 (en) 2015-04-08 2021-06-16 HFI Innovation Inc. Methods for palette mode context coding and binarization in video coding
CN104915966B (zh) 2015-05-08 2018-02-09 上海交通大学 基于卡尔曼滤波的帧率上变换运动估计方法及系统
US10200713B2 (en) 2015-05-11 2019-02-05 Qualcomm Incorporated Search region determination for inter coding within a particular picture of video data
US10148961B2 (en) 2015-05-29 2018-12-04 Qualcomm Incorporated Arithmetic coder with multiple window sizes
US10356416B2 (en) 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US10887597B2 (en) 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
US10271064B2 (en) 2015-06-11 2019-04-23 Qualcomm Incorporated Sub-prediction unit motion vector prediction using spatial and/or temporal motion information
US9918102B1 (en) 2015-06-22 2018-03-13 Ambarella, Inc. Inter-prediction candidate selection in a mode decision
WO2017043734A1 (ko) 2015-09-07 2017-03-16 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017045101A1 (en) 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
US20170094288A1 (en) 2015-09-25 2017-03-30 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
CN108141507B (zh) 2015-10-02 2020-02-07 Vid拓展公司 利用查找表进行颜色校正
US10812822B2 (en) * 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region
EP3357245A4 (en) 2015-11-05 2019-03-13 MediaTek Inc. METHOD AND DEVICE OF INTERPRESSATION USING AN AVERAGE MOTION VECTOR FOR VIDEO CODING
KR20170058871A (ko) 2015-11-19 2017-05-29 한국전자통신연구원 화면내 예측 모드 부호화/복호화 방법 및 장치
CN108293131B (zh) 2015-11-20 2021-08-31 联发科技股份有限公司 基于优先级运动矢量预测子推导的方法及装置
JP6495835B2 (ja) 2016-01-06 2019-04-03 日本電信電話株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
CN105681807B (zh) 2016-01-06 2018-11-02 福州瑞芯微电子股份有限公司 一种基于h264协议的分像素运动矢量计算方法和装置
US10368083B2 (en) 2016-02-15 2019-07-30 Qualcomm Incorporated Picture order count based motion vector pruning
US10200715B2 (en) 2016-02-17 2019-02-05 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices for encoding and decoding video pictures
ES2711189R1 (es) 2016-04-06 2020-02-04 Kt Corp Metodo y aparato para procesar senales de video
CN116546206A (zh) 2016-04-08 2023-08-04 韩国电子通信研究院 用于导出运动预测信息的方法和装置
EP3451668A4 (en) 2016-04-26 2020-04-15 Intellectual Discovery Co., Ltd. METHOD AND DEVICE FOR CODING / DECODING AN IMAGE
US10142652B2 (en) 2016-05-05 2018-11-27 Google Llc Entropy coding motion vector residuals obtained using reference motion vectors
US10694204B2 (en) 2016-05-06 2020-06-23 Vid Scale, Inc. Systems and methods for motion compensated residual prediction
US10547854B2 (en) 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10419755B2 (en) 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
CN116567260A (zh) 2016-05-24 2023-08-08 韩国电子通信研究院 图像编码/解码方法和用于所述方法的记录介质
CN116614641A (zh) 2016-07-12 2023-08-18 韩国电子通信研究院 图像编码/解码方法和用于所述方法的记录介质
KR102275420B1 (ko) 2016-07-12 2021-07-09 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체
US11638027B2 (en) 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
US10721489B2 (en) 2016-09-06 2020-07-21 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
WO2018049594A1 (en) 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure
US10812791B2 (en) 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
WO2018061522A1 (ja) 2016-09-27 2018-04-05 シャープ株式会社 動きベクトル生成装置、予測画像生成装置、動画像復号装置、および動画像符号化装置
EP3968633A1 (en) 2016-09-30 2022-03-16 Huawei Technologies Co., Ltd. Video encoding method, video decoding method, and terminal
US10778999B2 (en) 2016-09-30 2020-09-15 Qualcomm Incorporated Frame rate up-conversion coding mode with affine motion model
AU2016425069B2 (en) 2016-09-30 2022-03-03 Huawei Technologies Co., Ltd. Method and apparatus for image coding and decoding through inter prediction
EP3301919A1 (en) 2016-10-03 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
JP2019216294A (ja) 2016-10-14 2019-12-19 シャープ株式会社 エントロピー復号装置、エントロピー符号化装置、画像復号装置および画像符号化装置
CN117528107A (zh) 2016-11-28 2024-02-06 英迪股份有限公司 图像编码方法、图像解码方法及用于传送比特流的方法
KR102572286B1 (ko) 2016-12-05 2023-08-29 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
KR20180073499A (ko) 2016-12-22 2018-07-02 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20180074000A (ko) 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
CN106851046A (zh) 2016-12-28 2017-06-13 中国科学院自动化研究所 视频动态超分辨率处理方法及系统
US10681370B2 (en) 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
EP3343925A1 (en) 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US20180192071A1 (en) 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
US20180242024A1 (en) 2017-02-21 2018-08-23 Mediatek Inc. Methods and Apparatuses of Candidate Set Determination for Quad-tree Plus Binary-tree Splitting Blocks
US10701366B2 (en) 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10595035B2 (en) 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
US10491917B2 (en) 2017-03-22 2019-11-26 Qualcomm Incorporated Decoder-side motion vector derivation
US10805650B2 (en) 2017-03-27 2020-10-13 Qualcomm Incorporated Signaling important video information in network video streaming using mime type parameters
WO2018199675A1 (ko) 2017-04-28 2018-11-01 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10742975B2 (en) 2017-05-09 2020-08-11 Futurewei Technologies, Inc. Intra-prediction with multiple reference lines
US20180332312A1 (en) 2017-05-09 2018-11-15 Futurewei Technologies, Inc. Devices And Methods For Video Processing
EP3410717A1 (en) 2017-05-31 2018-12-05 Thomson Licensing Methods and apparatus for candidate list pruning
US10523934B2 (en) 2017-05-31 2019-12-31 Mediatek Inc. Split based motion vector operation reduction
KR102438181B1 (ko) 2017-06-09 2022-08-30 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10602180B2 (en) 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
CN109089119B (zh) 2017-06-13 2021-08-13 浙江大学 一种运动矢量预测的方法及设备
US10757420B2 (en) 2017-06-23 2020-08-25 Qualcomm Incorporated Combination of inter-prediction and intra-prediction in video coding
US10911769B2 (en) 2017-06-23 2021-02-02 Qualcomm Incorporated Motion-based priority for the construction of candidate lists in video coding
US10687077B2 (en) 2017-06-26 2020-06-16 Qualcomm Incorporated Motion information propagation in video coding
EP3422716A1 (en) 2017-06-26 2019-01-02 Thomson Licensing Method and apparatus for most probable mode (mpm) sorting and signaling in video encoding and decoding
US20200154124A1 (en) 2017-07-04 2020-05-14 Lg Electronics Inc. Image decoding method based on inter prediction and image decoding apparatus therefor
CN107295348A (zh) 2017-07-31 2017-10-24 南通海鑫信息科技有限公司 一种图像编码方法
US10284869B2 (en) 2017-09-28 2019-05-07 Google Llc Constrained motion field estimation for hardware efficiency
WO2019067879A1 (en) 2017-09-28 2019-04-04 Vid Scale, Inc. REDUCTION OF COMPLEXITY COMPENSATION OF BLOCK MOVEMENT OF OVERLAPPING BLOCKS
CN111567045A (zh) 2017-10-10 2020-08-21 韩国电子通信研究院 使用帧间预测信息的方法和装置
US20190116374A1 (en) 2017-10-17 2019-04-18 Qualcomm Incorporated Coding motion information of video data using coding structure-based candidate list construction
US11563954B2 (en) 2017-10-26 2023-01-24 Electronics And Telecommunications Research Institute Method and device for image encoding/decoding on basis of asymmetric sub-block
WO2019107916A1 (ko) * 2017-11-30 2019-06-06 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
CN109963155B (zh) 2017-12-23 2023-06-06 华为技术有限公司 图像块的运动信息的预测方法、装置及编解码器
US11172229B2 (en) 2018-01-12 2021-11-09 Qualcomm Incorporated Affine motion compensation with low bandwidth
US11265551B2 (en) 2018-01-18 2022-03-01 Qualcomm Incorporated Decoder-side motion vector derivation
US10652571B2 (en) 2018-01-25 2020-05-12 Qualcomm Incorporated Advanced motion vector prediction speedups for video coding
US11303929B2 (en) 2018-04-02 2022-04-12 Lg Electronics Inc. Image coding method using lookup table for intra prediction mode and apparatus therefor
US10986343B2 (en) 2018-04-15 2021-04-20 Arris Enterprises Llc Reducing overhead for multiple-hypothesis temporal prediction
KR20190133629A (ko) * 2018-05-23 2019-12-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN112154660B (zh) 2018-05-23 2023-07-14 寰发股份有限公司 使用双向编码单元加权的视频编码方法和装置
WO2019234668A1 (en) 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Sub-block dmvr
WO2020003255A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Mer improvements
BR112020024202A2 (pt) 2018-06-29 2021-02-17 Beijing Bytedance Network Technology Co., Ltd. método de processamento de dados de vídeo, aparelho de processamento de vídeo e meios de armazenamento e gravação legíveis por computador não transitório
WO2020003266A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Resetting of look up table per slice/tile/lcu row
KR20240005240A (ko) 2018-06-29 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
WO2020003280A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Which lut to be updated or no updating
KR20210024502A (ko) 2018-06-29 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Hmvp 후보를 병합/amvp에 추가할 때의 부분/풀 프루닝
WO2020003284A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and amvp
KR20210025537A (ko) 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념
KR102660666B1 (ko) 2018-06-29 2024-04-26 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut들을 업데이트하기 위한 조건들
CN110662053B (zh) 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 使用查找表的视频处理方法、装置和存储介质
EP4307679A2 (en) 2018-07-02 2024-01-17 Beijing Bytedance Network Technology Co., Ltd. Luts with intra prediction modes and intra mode prediction from non-adjacent blocks
BR112021000004A8 (pt) 2018-07-06 2023-02-07 Mediatek Inc Informações de movimento herdadas para decodificar uma unidade de codificação atual em um sistema de codificação de vídeo
US11606575B2 (en) 2018-07-10 2023-03-14 Qualcomm Incorporated Multiple history based non-adjacent MVPs for wavefront processing of video coding
US11051036B2 (en) 2018-07-14 2021-06-29 Mediatek Inc. Method and apparatus of constrained overlapped block motion compensation in video coding
US10491902B1 (en) 2018-07-16 2019-11-26 Tencent America LLC Method and apparatus for history-based motion vector prediction
US10440378B1 (en) 2018-07-17 2019-10-08 Tencent America LLC Method and apparatus for history-based motion vector prediction with parallel processing
US11381833B2 (en) 2018-07-19 2022-07-05 Tencent America LLC Method and apparatus for video coding
US10958934B2 (en) 2018-07-27 2021-03-23 Tencent America LLC History-based affine merge and motion vector prediction
US10362330B1 (en) 2018-07-30 2019-07-23 Tencent America LLC Combining history-based motion vector prediction and non-adjacent merge prediction
WO2020031061A2 (en) 2018-08-04 2020-02-13 Beijing Bytedance Network Technology Co., Ltd. Mvd precision for affine
WO2020030002A1 (en) 2018-08-09 2020-02-13 Huawei Technologies Co., Ltd. Method and apparatus of history-based intra mode coding
BR122021008224A2 (pt) 2018-08-13 2021-05-04 Lg Electronics Inc. método de decodificação de imagem realizado por um aparelho de decodificação, método de codificação de imagem realizado por um aparelho de codificação e mídia de armazenamento legível por computador não transitória
EP3844950A4 (en) 2018-08-28 2022-05-25 FG Innovation Company Limited DEVICE AND METHOD FOR ENCODING VIDEO DATA
WO2020050678A1 (ko) 2018-09-06 2020-03-12 엘지전자 주식회사 Mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 그 장치
TWI820211B (zh) 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 取決於總數減去k的開始檢查hmvp候選的條件
US11212550B2 (en) 2018-09-21 2021-12-28 Qualcomm Incorporated History-based motion vector prediction for affine mode
US20210400298A1 (en) 2018-09-28 2021-12-23 Lg Electronics Inc. Method and apparatus for processing video signal by using affine prediction
US20200112715A1 (en) 2018-10-05 2020-04-09 Qualcomm Incorporated History-based motion vector prediction for inter prediction coding
WO2020069673A1 (en) 2018-10-06 2020-04-09 Mediatek Inc. Method and apparatus of shared merge candidate list region for video coding
US11051034B2 (en) 2018-10-08 2021-06-29 Qualcomm Incorporated History-based motion vector predictor
US11284066B2 (en) 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
SG11202103661XA (en) 2018-10-10 2021-05-28 Huawei Tech Co Ltd Inter prediction method and apparatus
WO2020084461A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on coding information
CN112913239A (zh) 2018-10-22 2021-06-04 北京字节跳动网络技术有限公司 基于参考图片的解码器侧运动矢量推导
US11758164B2 (en) 2018-10-23 2023-09-12 Tencent America LLC Method and apparatus for video coding
WO2020084556A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block motion candidate list in video coding
EP3854092A4 (en) 2018-11-02 2021-11-17 Beijing Bytedance Network Technology Co. Ltd. KEEPING TABLES FOR THE STORAGE OF HMVP CANDIDATES
WO2020094074A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Position-depending ordering of motion candidate list for geometric partitioning mode
CN113056917B (zh) 2018-11-06 2024-02-06 北京字节跳动网络技术有限公司 为视频处理使用具有几何分割的帧间预测
KR102636813B1 (ko) 2018-11-22 2024-02-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 처리에서 펄스 코드 변조 기술
WO2020103935A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Blending method for inter prediction with geometry partition
US11146810B2 (en) 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement
US11184633B2 (en) 2018-11-27 2021-11-23 Qualcomm Incorporated Simplification of history-based motion vector prediction
CA3190343A1 (en) 2018-12-12 2020-06-18 Lg Electronics Inc. Method and apparatus for processing video signal based on history based motion vector prediction
KR102601014B1 (ko) 2018-12-28 2023-11-09 고도 가이샤 아이피 브릿지 1 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
EP3731522A4 (en) 2019-01-01 2021-04-14 LG Electronics Inc. METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL BASED ON HISTORY-BASED MOTION VECTOR PREDICTION
US11234007B2 (en) 2019-01-05 2022-01-25 Tencent America LLC Method and apparatus for video coding
EP3888355A4 (en) 2019-01-10 2022-03-23 Beijing Bytedance Network Technology Co., Ltd. LOOKUP TABLE UPDATE INVOCATION
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110194609A1 (en) * 2010-02-05 2011-08-11 Thomas Rusert Selecting Predicted Motion Vector Candidates
US20170332099A1 (en) * 2016-05-13 2017-11-16 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding

Also Published As

Publication number Publication date
TW202015421A (zh) 2020-04-16
SG11202012293RA (en) 2021-01-28
US20200404320A1 (en) 2020-12-24
KR102627814B1 (ko) 2024-01-23
JP2023078444A (ja) 2023-06-06
AU2019293670A1 (en) 2021-01-14
EP3794825A1 (en) 2021-03-24
KR20240007299A (ko) 2024-01-16
US11134267B2 (en) 2021-09-28
CN114845108A (zh) 2022-08-02
TWI723445B (zh) 2021-04-01
PH12020552216A1 (en) 2021-08-02
US20200404285A1 (en) 2020-12-24
US20220094967A1 (en) 2022-03-24
EP4325860A2 (en) 2024-02-21
AU2019293670B2 (en) 2023-06-08
CN110662039A (zh) 2020-01-07
BR112020024202A2 (pt) 2021-02-17
EP4325860A3 (en) 2024-03-06
JP2021530936A (ja) 2021-11-11
ZA202007990B (en) 2022-04-28
WO2020003278A1 (en) 2020-01-02
US11877002B2 (en) 2024-01-16
CN110662039B (zh) 2022-06-07
JP7256265B2 (ja) 2023-04-11

Similar Documents

Publication Publication Date Title
KR102627814B1 (ko) 룩업 테이블의 업데이트: fifo, 제약된 fifo
KR102648120B1 (ko) 슬라이스/타일/lcu 행마다의 룩업 테이블 리셋
KR102611261B1 (ko) 업데이트 대상 lut 또는 비업데이트 lut의 구별
KR102646649B1 (ko) Lut에서의 모션 후보들의 검사 순서
KR102641872B1 (ko) Lut와 amvp 사이의 상호작용
JP7100200B2 (ja) マージ／ａｍｖｐにｈｍｖｐ候補を追加する際の一部／全部プルーニング
TWI820211B (zh) 取決於總數減去k的開始檢查hmvp候選的條件
KR102648159B1 (ko) Lut 업데이트의 호출
CN113383554A (zh) LUT和共享Merge列表之间的交互
KR20210025537A (ko) 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념
KR20210025536A (ko) Lut들을 업데이트하기 위한 조건들

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant