KR20230161543A - 적응적 움직임 벡터 해상도를 갖는 움직임 벡터 수정 - Google Patents

적응적 움직임 벡터 해상도를 갖는 움직임 벡터 수정 Download PDF

Info

Publication number
KR20230161543A
KR20230161543A KR1020237039683A KR20237039683A KR20230161543A KR 20230161543 A KR20230161543 A KR 20230161543A KR 1020237039683 A KR1020237039683 A KR 1020237039683A KR 20237039683 A KR20237039683 A KR 20237039683A KR 20230161543 A KR20230161543 A KR 20230161543A
Authority
KR
South Korea
Prior art keywords
motion vector
precision
motion
mvd
block
Prior art date
Application number
KR1020237039683A
Other languages
English (en)
Inventor
홍빈 리우
리 장
카이 장
유에 왕
Original Assignee
베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
바이트댄스 아이엔씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드, 바이트댄스 아이엔씨 filed Critical 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
Publication of KR20230161543A publication Critical patent/KR20230161543A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria

Abstract

적응적 움직임 벡터 해상도를 갖는 움직임 벡터의 변경을 포함하는 디지털 비디오 코딩을 위한 장치, 시스템 및 방법이 개시된다. 비디오 처리를 위한 방법의 일 실시예는, 현재 비디오 블록과 상기 현재 비디오 블록 간의 변환을 위하여, 상기 현재 비디오 블록과 연관된 각 움직임 벡터의 해상도를 적응적으로 선택하는 코딩 도구를 이용하여 상기 현재 비디오 블록 최종 움직임 벡터를 결정하는 단계, 상기 최종 움직임 벡터에 기반하여 상기 비트스트림 표현 간 상기 현재 비디오 블록 간의 변환을 수행하는 단계를 포함하되, 여기서 상기 현재 비디오 블록의 저장된 움직임 벡터의 정밀도와 상기 최종 움직임 벡터의 정밀도는 동일하다.

Description

적응적 움직임 벡터 해상도를 갖는 움직임 벡터 수정 {MODIFICATION OF MOTION VECTOR WITH ADAPTIVE MOTION VECTOR RESOLUTION}
본 출원은 2018년 9월 23일 제출된 국제출원 No. PCT/CN2018/107168의 우선권 혜택을 주장하는 2019년 9월 23일 제출된 국제출원 No. PCT/IB2019/058034의 국내단계 특허출원 No. 10-2021-7006476에 대한 분할출원이다. 상기 언급된 특허출원들의 모든 개시 내용은 본 개시의 일부로서 참고로 통합된다
본 출원은 비디오 코딩 기술, 장치, 시스템에 대한 것이다.
비디오 압축 분야에서의 기술적 진보에도 불구하고, 디지털 비디오는 지금도 인터넷 및 다른 디지털 통신 네트워크에서 가장 넓은 대역폭 사용하고 있다. 비디오를 표시(display)하고, 수신할 수 있는 사용자 접속 장치(connected device)의 수가 증가함에 따라, 디지털 비디오 이용을 위한 대역폭에 대한 수요는 계속적으로 증가할 것으로 예측된다.
움직임 벡터 예측자(motion vector predictor, MVP)의 유도 및 적응적 움직임 벡터 해상도(AMVR)의 어파인 모드(affine) 시그널링(signalling)에 대한 디지털 비디오 코딩에 대한 장치, 시스템 및 방법을 포함한 기술이 설명된다. 설명되는 방법은 이미 존재하는 비디오 코딩 표준 기술(예를 들어, 고효율 비디오 코딩 기술(HEVC))과 향후 개발될 비디오 코딩 표준 기술 및 비디오 코덱 모두에 적용될 수 있다.
본 개시의 예시적인 일 양상으로서, 본 명세서에서 개시된 기술은 비디오 처리 방법으로서 이용될 수 있다. 본 개시에 따른 비디오 처리 방법은, 현재 비디오 블록에 대한 각각의 움직임 벡터 해상도를 적응적으로 선택하는 코딩 도구(coding tool)를 통한 상기 현재 비디오 블록의 비트스트림 표현과 상기 현재 비디오 블록 간의 변환을 위하여, 최종 움직임 벡터를 결정하는 단계와, 최종 움직임 벡터에 기반하여, 상기 현재 비디오 블록과 비트스트림 표현 간의 변환을 수행하는 단계를 포함하며, 상기 최종 움직임 벡터의 정밀도는 상기 현재 비디오 블록의 저장된 움직임 벡터의 정밀도와 동일할 수 있다.
예시적인 다른 일 양상으로서, 본 명세서에서 개시된 기술은 비디오 처리 방법으로서 이용될 수 있다. 본 출원에 따른 비디오 처리 방법에는 현재 비디오 블록에 대한 각각의 움직임 벡터 해상도를 적응적으로 선택하는 코딩 도구를 통한 상기 현재 비디오 블록과 상기 현재 비디오 블록의 비트스트림 표현 간의 변환을 위하여, 최종 움직임 벡터를 결정하는 단계와, 상기 최종 움직임 벡터를 기반으로, 상기 비트스트림 표현과 상기 현재 비디오 블록 간의 변환을 수행하는 단계가 포함되되, 상기 현재 비디오 블록은 어파인 모드(affine mode)로 코딩되고, 상기 비트스트림 표현은 상기 현재 비디오 블록에 대한 움직임 벡터 차분 값 혹은 움직임 벡터의 정밀도를 지시하는 1 비트 이상의 필드를 포함한다.
예시적인 또 다른 일 양상으로서, 상기에서 설명된 방법은 프로세서-실행 가능한 코드의 형태로 구현되고, 컴퓨터-읽기 가능한 프로그램 매체에 저장된다.
예시적인 또 다른 일 양상으로서, 상기에서 설명된 방법을 실시하도록 구성되거나, 실시할 수 있는 장치가 개시된다. 상기 장치는 상기에서 설명된 방법을 실행하기 위하여 프로그래밍된 프로세서를 포함할 수 있다.
예시적인 또 다른 일 양상으로서, 비디오 디코더 장치는 여기에서 설명되는 방법을 실행할 수 있다.
본 명세서에서 개시되는 기술의 상기 언급된 양상 및 다른 양상과 특징은, 하기에서 도면, 발명의 상세한 설명 및 청구항을 통해 더욱 상세히 설명될 것이다.
본 발명에 따르면, 비디오의 디지털 표현을 포함하는 비트 스트림을 디코딩하는 방법이 제공될 수 있다.
도 1은 머지 후보 리스트의 구성에 대한 일 예를 나타낸 도면이다.
도 2는 공간적 후보들의 위치들에 대한 일 예를 나타낸 도면이다.
도 3은 공간적 머지 후보들의 중복성 검사(redundancy check)의 대상이 되는 후보 쌍들의 일 예를 나타낸 도면이다.
도 4A 및 4B는 현재 블록의 형태 및 크기를 기반으로 한 제2 예측 유닛(PU)의 위치의 예들을 나타낸 도면이다.
도 5는 시간적 머지 후보들에 대한 움직임 벡터 스케일링의 일 예를 나타낸 도면이다.
도 6은 시간적 머지 후보들의 후보 위치들에 대한 일 예를 나타낸 도면이다.
도 7은 결합된 양방향 예측 머지 후보의 생성에 대한 일 예를 나타낸 도면이다.
도 8은 움직임 벡터 예측 후보들의 구성의 일 예를 나타낸 도면이다.
도 9는 공간적 움직임 벡터 후보들을 위한 움직임 벡터 스케일링의 일 예를 나타낸 도면이다.
도 10은 코딩 유닛(CU)에 대한 대안적인 시간적 움직임 벡터 예측(alternative temporal vector prediction, ATMVP) 알고리즘을 이용한 움직임 예측의 일 예를 나타낸 도면이다.
도 11은 공간적-시간적 움직임 벡터 예측(STMVP) 알고리즘을 이용한 이웃 블록과 서브블록을 갖는 코딩 유닛(CU)의 일 예를 나타낸 도면이다.
도 12A 및 12B는 중첩된 블록 움직임 보상(overlapped block motion compensation, OBMC) 알고리즘 이용 시 서브 블록의 스냅샷들의 예를 나타낸 도면이다.
도 13은 지역 조명 보상(LIC) 알고리즘을 위한 파라미터들을 유도하기 위하여 사용되는 인접 샘플의 일 예를 나타낸 도면이다.
도 14는 단순화된 어파인 움직임 모델의 일 예를 나타낸 도면이다.
도 15는 서브 블록 당 어파인 움직임 벡터 필드(MVF)의 일 예를 나타낸 도면이다.
도 16은 AF_INTER 어파인 움직임 모드에서 움직임 벡터 예측(MVP)의 일 예를 나타낸 도면이다.
도 17A 및 17B는 각각 4-파라미터 및 6-파라미터 어파인 모델들의 예들을 나타낸 도면이다.
도 18A 및 18B는 AF_MERGE 어파인 움직임 모드의 후보들의 예를 나타낸 도면이다.
도 19는 프레임 비율 증강 변환(FRUC) 알고리즘에 기반한 특수 머지 모드인 패턴 정합 움직임 벡터 유도(PMMVD) 모드에서 양방향 매칭의 일 예를 나타낸 도면이다.
도 20은 FRUC 알고리즘에서 템플릿 매칭(template matching)의 일 예를 나타낸 도면이다.
도 21은 FRUC 알고리즘에서 단방향 움직임 추정의 일 예를 나타낸 도면이다.
도 22는 비디오 처리 방법의 일 예를 흐름도로 나타낸 도면이다.
도 23은 비디오 처리 방법의 다른 일 예를 흐름도로 나타낸 도면이다.
도 24는 본 개시에서 설명되는 시각적 매체 디코딩 및 인코딩 기술을 구현하기 위한 하드웨어 플랫폼에 대한 블록 다이어그램의 일 예를 나타낸 도면이다.
도 25는 본 개시에서 설명되는 기술이 실시될 수 있는 비디오 처리 시스템에 대한 블록 다이어그램의 일 예를 나타낸 도면이다.
고해상도 비디오에 대한 수요가 증가함에 따라, 비디오 코딩 방법 및 기술은 현대 기술의 발달과 필수적인 기술로 떠오르고 있다. 비디오 코덱은 일반적으로 디지털 비디오를 압축하거나 복원하기 위한 전자 회로나 소프트 웨어를 포함하는 개념이며, 코딩 효율을 증가시키는 방향으로 지속적으로 발전되고 있다. 비디오 코덱은 압축되지 않은 원본 비디오를 압축된 포맷으로 변환하거나, 반대의 변환을 수행한다. 비디오의 질, 비트율로 결정되는 비디오를 나타내기 위한 데이터의 양, 인코딩 및 디코딩 알고리즘의 복잡도, 데이터 손실 및 에러에 대한 민감도, 편집의 용이성, 임의 접근, 말단 간 지연 (지연 시간) 간에는 복잡한 관계가 존재한다. 비디오의 압축된 포맷은 대개 H.265 표준 혹은 MPEG-H 파트 2라고도 하는 고효율 비디오 코딩 기술인 HEVC(High Efficiency Video Coding)나, 마무리될 다용도 비디오 코딩 기술인 VVC(Versatile Video Coding)를 포함한 다른 비디오 코딩 표준이나, 미래에 개발될 비디오 코딩 표준의 사양을 따르게 된다.
본 출원에 개시되는 기술의 실시예들은 압축 성능을 향상시키기 위하여 현존하는 비디오 코딩 표준(예를 들어, HEVC, H.265) 및 미래의 표준에 적용될 수 있다. 또한, 본 개시에 있어서 붙여진 섹션 번호는 설명의 가독성 및 이해의 편의를 향상시키기 위한 것일 뿐, 섹션 번호 내의 설명이나 실시예 등이 해당 섹션에만 한정되는 것은 아니라 할 것이다.
1. HEVC/H.265에서 화면간 예측의 예들
비디오 코딩 표준은 해를 거쳐가며 지대한 발전을 이루고 있으며, 높은 코딩 효율 및 고해상도 지원을 제공하고 있다. HEVC, H.265와 같은 최근의 표준은 변환 코딩과 시간적 예측이 활용되는 하이브리드 비디오 코딩 구조를 기반으로 한다.
1.1 예측 모드들의 예들
화면간 예측된 각각의 예측 유닛(prediction unit, PU)은 하나 혹은 두 개의 참조 픽처 리스트에 대한 움직임 파라미터를 갖는다. 일 실시예로서, 움직임 파라미터는 움직임 벡터와 참조 픽처 인덱스를 포함한다. 한편, 다른 일 실시예에서는, 두 참조 픽처 리스트 중 하나의 사용 여부는 inter_pred_idc에의해 시그널링될 수 있다. 또한, 다른 일 실시예로서, 움직임 벡터는 예측자에 대한 델타 값으로 명시적으로 코딩될 수 있다.
코딩 유닛(CU)이 스킵 모드에서 코딩 되면, 하나의 PU가 CU와 연관되고, 유효 잔차 계수, 코딩된 델타 움직임 벡터, 혹은 참조 픽처 인덱스는 존재하지 않는다. 머지 모드가 지정되면, 현재 PU에 대한 움직임 파라미터들이 공간적 및 시간적 후보들을 포함하여 인접 PU들로부터 획득된다. 머지 모드는 스킵 모드에 대해서 뿐만 아니라, 어떤 화면 간 예측된 PU에도 적용될 수 있다. 머지 모드의 대안은 움직임 파라미터들의 명시적인 전송으로서, 이 경우 움직임 벡터, 각 참조 픽처 리스트에 대한 해당 참조 픽처 인덱스, 그리고 참조 픽처 리스트 사용이 각각의 PU별로 명시적으로 시그널링된다.
시그널링이 두 참조 픽처 리스트 중 하나를 사용해야 함을 지시할 경우, PU는 하나의 샘플들의 블록에서 생성된다. 이것을 '단방향 예측'(uni-prediction)이라고 한다. 단방향 예측은 P 슬라이스와 B 슬라이스 모두에 대해 적용할 수 있다.
시그널링이 두 참조 픽처 리스트 모두 사용되어야 함을 나타내면, PU는 샘플들의 두 개의 샘플들의 블록에서 생성된다. 이를 '양방향 예측'(bi-prediction)이라고 한다. 양방향 예측은 B-슬라이스에 대해서만 사용할 수 있다.
1.1.1 머지 모드에서 후보들을 구성하는 구체적인 실시예들
머지 모드를 사용하여 PU가 예측되는 경우, 머지 후보 리스트(merge candidates list)의 항목을 가리키는 인덱스가 비트 스트림으로부터 파싱되어 움직임 정보를 검색하는 데 사용된다. 이 리스트의 구성은 HEVC 표준에 규정되어 있으며, 아래와 같은 단계들의 순서에 따라 요약될 수 있다.
단계 1: 초기 후보들 유도
단계 1.1: 공간적 후보들 유도
단계 1.2: 공간적 후보들에 대한 중복성 검사
단계 1.3: 시간적 후보들 유도
단계 2: 추가 후보들 삽입
단계 2.1: 양예측(bi-predictive) 후보들 생성
단계 2.2: 제로 움직임 후보들 삽입
도 1은 상기에 요약된 단계의 순서를 기반으로 하는 머지 후보 리스트의 구성에 대한 일 예를 나타낸 도면이다. 공간적 머지 후보 유도를 위해, 5개의 상이한 위치에 있는 후보 중에서 최대 4개의 머지 후보가 선택된다 시간적 머지 후보 유도를 위해, 두 후보 중 최대 하나의 머지 후보가 선택된다. 각 PU에 대해 일정한 수의 후보가 디코더에서 가정되기 때문에, 단계 1에서 획득된 후보의 수가 슬라이스 헤더에서 시그널링되는 머지 후보의 최대 수(MaxNumMergeCand)에 미치지 않으면, 추가 후보가 생성된다. 후보의 수가 일정하기 때문에 최적 머지 후보의 인덱스는 절단된 단항 이진화(truncated unary binarization, TU)를 사용하여 인코딩 된다. 만약 CU의 크기가 8이면, 현재 CU의 모든 PU는 2N X 2N 예측 유닛의 머지 후보 리스트와 동일한 단일 머지 후보 리스트를 공유한다.
1.1.2 공간적 머지 후보들 구성
공간적 머지 후보들 유도 시, 최대 4개의 머지 후보들이 도 2에 도시된 위치들에 위치한 후보들 가운데에서 선택된다. 유도 순서는 A1, B1, B0, A0 및 B2 순이다. 위치 A1, B1, B0의 어느 한 PU가 사용할 수 없는 경우(예를 들어, 다른 슬라이스 또는 타일에 속하기 때문) 또는 화면 내 코딩된 경우에만, 위치 B2가 고려된다. 위치 A1의 후보가 추가된 후 나머지 후보들의 추가는 중복성 검사를 거친다. 이를 통해, 동일한 움직임 정보를 가진 후보가 리스트에서 제외되어 코딩 효율이 향상된다.
계산 복잡성을 줄이기 위해, 상기 언급된 중복성 검사에서 가능한 모든 후보 쌍이 고려되는 것은 아니다. 그 대신, 도 3에서 화살표로 연결된 쌍들만이 고려되고, 중복 검사에 사용되는 해당 후보가 동일한 움직임 정보를 가지고 있지 않은 경우에만 후보가 리스트에 추가된다. 중복되는 운동 정보의 다른 소스는 2Nx2N와는 상이한 분할들과 관련된 "제2 PU " 이다. 일 예로, 도 4는 각각 Nx2N 및 2NxN의 경우에 대한 제2 PU를 도시한다. 현재 PU가 Nx2N으로 분할되면, A1 위치의 후보는 리스트 구성에 고려되지 않는다. 일부 실시예에서, 이 후보를 추가하는 것은 2개의 예측 유닛이 동일한 움직임 정보를 갖게 하며, 이는 코딩 유닛에 단지 하나의 PU만을 갖도록 중복된다. 마찬가지로, 현재 PU가 2NxN으로 분할되는 경우, 위치 B1 은 고려되지 않는다.
1.1.3 시간적 머지 후보들의 구성
이 단계에서는, 오직 하나의 후보만이 리스트에 추가된다. 특히, 이 시간적 머지 후보의 유도 시, 주어진 참조 픽처 리스트 내에서 현재 픽처와 가장 작은 POC 차이를 갖는 픽처에 속하는 동일 위치의(co-located) PU를 기반으로, 스케일링된 움직임 벡터가 유도된다. 상기 동일 위치 PU의 유도에 사용될 상기 참조 픽처 리스트는 슬라이스 헤더에서 명시적으로 시그널링된다.
도 5는 점선으로 나타난 시간적 머지 후보에 대한 스케일링된 움직임 벡터의 일 예를 나타낸 것으로서, 여기서 스케일링된 움직임 벡터는 POC 거리들인 tb 및 td를 이용하여, 상기 동일 위치 PU의 움직임 벡터로부터 스케일링된 것이다. 이 때, tb는 현재 픽처의 참조 픽처와 현재 픽처 간의 POC 차이로 정의되고, td는 동일 위치 픽처(co-located picture)의 참조 픽처와 동일 위치 픽처 사이의 POC 차이로 정의된다. 시간적 머지 후보의 참조 픽처 인덱스는 0으로 설정된다. B-슬라이스의 경우, 하나는 참조 픽쳐 리스트 0에 대해 다른 하나는 참조 픽처 리스트 1에 대한, 2개의 움직임 벡터들이 획득되고, 이것들이 결합되어 양방향 예측(bi-predictive) 머지 후보가 만들어진다.
참조 프레임에 속하는 동일 위치 PU(Y)에서, 시간적 후보에 대한 위치는 도 6에 도시 된 바와 같이 후보들인 및 중에서 선택된다. 위치 의 PU를 사용할 수 없거나, 화면 내 코딩되었거나, 현재 CTU의 외부에 있는 경우, 위치 이 사용된다. 그 외의 경우, 위치 은 시간적 머지 후보의 유도에 사용된다.
1.1.4 머지 후보들의 추가적인 유형들 구성
공간적 및 시간적 머지 후보들 외에, 결합 양방향 예측 머지 후보 및 제로 머지 후보라는 두 가지 추가 유형의 머지 후보들이 있다. 결합 양방향 예측 머지 후보들은 공간적 및 시간적 머지 후보를 활용하여 생성된다. 결합 양방향 예측 머지 후보는 오직 B-슬라이스에 대해서만 사용된다. 결합된 양방향 예측 후보들은 초기 후보의 제1 참조 픽처 리스트 움직임 파라미터들과 다른 후보의 제2 참조 픽처 리스트 움직임 파라미터들을 결합하여 생성된다. 이 두 튜플들(tuples)이 상이한 움직임 추정들(motion hypotheses)을 제공하는 경우, 그것들은 새로운 양방향 예측 후보를 형성한다.
도 7은 mvL0 및 refldxL0또는 mvL1 및 relfdxL1을 갖는 원본 리스트(710, 좌측)의 두 후보들이 최종 리스트(720, 우측)에 추가된 결합 양방향 예측 머지 후보를 생성하는데 사용되는 과정의 일 예를 나타낸 도면이다.
제로 움직임 후보들이 머지 후보 리스트의 나머지 항목들을 채우기 위하여 삽입되면 비로소 MaxNumMergeCand 용량에 도달한다. 이 후보들은 0에서 시작하여 새로운 제로 움직임 후보가 리스트에 추가될 때마다 증가하는 참조 픽처 인덱스와 제로 공간 변위를 갖는다. 이러한 후보들이 사용하는 참조 프레임의 수는 단방향 예측 및 양방향 예측에 대해 각각 1개 및 2개가 된다. 일 실시예로서, 이러한 후보들에 대해서는 중복성 검사가 수행되지 않는다.
1.1.5 병렬 처리를 위한 움직임 추정 영역들의 예들
코딩 프로세스의 속도를 높이기 위해, 움직임 추정은 병렬로 수행될 수 있으며, 이를 통해 주어진 영역 내의 모든 예측 유닛들에 대한 움직임 벡터들이 동시에 유도된다. 연관된 움직임 추정이 완료되기 전에는 하나의 예측 유닛이 인접 PU로부터 움직임 파라미터들을 도출할 수 없기 때문에, 공간적 이웃으로부터 머지 후보들의 유도는 병렬 처리를 방해할 수 있다. 코딩 효율과 처리 지연 사이의 상충관계를 완화하기 위하여, 움직임 추정 영역(motion estimation region, MER)이 정의될 수 있다. MER의 크기는 구문 요소 "log2_parallel_merge_level_minus2"를 이용한 픽처 파라미트 세트(picture parameter set, PPS)로서 시그널링 될 수 있다. MER이 정의되는 경우, 동일한 영역에 속하는 머지 후보들은 사용 불가능(unavailable)한 것으로 표시되고, 리스트 구성에서 고려되지 않는다.
1.2 개선된 움직임 벡터 예측(advanced motion vector prediction, AMVP)의 실시예들
*AMVP는 움직임 파라미터들의 명시적 전송에 사용되는, 움직임 벡터와 인접 PU들의 시공간적 상관 관계를 활용한다. 각 참조 픽처 리스트에 대해, 먼저 좌측, 상측의 시간적으로 인접한 PU 위치들의 가용성을 확인하고, 중복되는 후보들을 제거하고, 후보 리스트가 일정한 길이가 되도록 제로 벡터를 추가함으로써 움직임 벡터 후보 리스트가 구성된다. 이후, 인코더는 후보 리스트로부터 최상의 예측자를 선택할 수 있고, 선택된 후보를 지시하는 해당 인덱스를 전송할 수 있다. 머지 인덱스 시그널링과 마찬가지로, 최상의 움직임 벡터 후보의 인덱스는 절단된 단항(truncated unary)을 사용하여 인코딩된다. 이 경우, 인코딩되는 최대 값은 2 (도 8 참조)이다. 이하의 섹션들에서는, 움직임 벡터 예측 후보 유도 과정에 대해 상세히 설명한다.
1.2.1 움직임 벡터 예측 후보들 구성의 예들
도 8은 움직임 벡터 예측 후보의 유도 과정을 요약한 것으로, refidx을 입력으로 하여 각각의 참조 픽처 리스트에 대해 실시될 수 있다.
움직임 벡터 예측 시, 공간적 움직임 벡터 후보와 시간적 움직임 벡터 후보라는 두 가지 유형의 움직임 벡터 후보들이 고려된다. 공간적 움직임 벡터 후보의 유도를 위하여, 두 움직임 벡터 후보는 앞선 도 2에 나타난 서로 다른 다섯 개의 위치에 있는 각 PU의 움직임 벡터들에 기반하여 두 움직임 벡터 후보들이 최종적으로 유도된다.
시간적 움직임 벡터 후보 유도를 위해, 하나의 움직임 벡터 후보가 2개의 상이한 동등 위치들을(co-located positions) 기반으로 도출된 2개의 후보들 중에서 선택된다. 시공간 후보들의 제1 리스트가 생성된 후, 중복된 움직임 벡터 후보들이 상기 리스트에서 제거된다. 만약 잠재적 후보의 수가 2보다 크면, 관련 참조 픽처 리스트 내의 참조 픽처 인덱스가 1보다 큰 움직임 벡터 후보는 상기 리스트에서 제거된다. 시공간적 움직임 벡터 후보들의 수가 2 미만인 경우, 추가적인 제로 움직임 벡터 후보가 상기 리스트에 추가된다.
1.2.2 공간적인 움직임 벡터 후보들 구성
공간적 움직임 벡터 후보의 유도 시, 최대 2개의 후보가 5개의 잠재적 후보 가운데에서 고려되며, 이 잠재적 후보들은 앞선 도 2에 나타난 위치들에 있는 PU들로부터 유도된다. 이 위치들은 움직임 머지의 위치들과 동일하다. 현재 PU의 좌측에 대한 유도 순서는 A0, A1, 스케일링된 A0, 스케일링된 A1 순으로 정의된다. 현재 PU의 상측에 대한 유도 순서는 B0, B1, B2, 스케일링된 B0, 스케일링된 B1, 스케일링된 B2 순으로 정의된다. 따라서, 각 측면에 대해 움직임 벡터 후보로 사용할 수 있는 4개의 경우가 있으며, 2개의 경우는 공간적 스케일링을 사용할 필요가 없는 경우이고, 2개의 경우는 공간적 스케일링이 사용되는 경우이다. 상기 4개의 서로 다른 경우들은 아래와 같이 요약된다:
- 공간적 스케일링이 없는 경우
(1) 동일한 참조 픽처 리스트 및 동일한 참조 픽처 인덱스 (동일한 POC)
(2) 상이한 참조 픽처 리스트, 그러나 동일한 참조 픽처 (동일한 POC)
- 공간적 스케일링이 있는 경우
(3) 동일한 참조 픽처 리스트, 그러나 상이한 참조 픽처 (상이한 POC)
(4) 상이한 참조 픽처 리스트 및 상이한 참조 픽처 (상이한 POC)
공간적 스케일링이 없는 경우를 먼저 확인한 다음 공간적 스케일링을 허용하는 경우를 확인한다. 공간적 스케일링은 참조 픽처 리스트에 무관하게 주변 PU의 참조 픽처와 현재 PU의 참조 픽처 사이의 POC가 상이할 때 고려된다. 좌측 후보들의 모든 PU들이 사용 불가능하거나, 화면 내 코딩된 경우, 좌측 및 상측 MV 후보들의 병렬적 유도를 돕기 위하여 상측 움직임 벡터에 대한 스케일링이 허용된다. 그렇지 않은 경우, 공간적 스케일링은 상측 움직임 벡터에 대해 허용되지 않는다.
공간적 스케일링의 경우, 주변 PU의 움직임 벡터는, 도 9에 도시된 것처럼, 시간적 스케일링에서와 유사한 방식으로 스케일링된다. 한 가지 차이점은 현재 PU의 참조 픽처 리스트와 인덱스가 입력으로 제공된다는 것이다; 실제 스케일링 프로세스는 시간적 스케일링 프로세스와 동일하다.
1.2.3 시간적 움직임 벡터 후보들의 구성
참조 픽처 인덱스 유도와는 별개로, 시간적 머지 후보의 유도를 위한 모든 프로세스는 공간적 움직임 벡터 후보의 유도를 위한 프로세스와 동일하다(도 6 참조). 일부 실시예에서, 참조 픽처 인덱스는 디코더로 시그널링된다.
2. JEM(Joint Exploration Model)에서 화면 간 예측 방법의 예
일부 실시예들에서, 미래의 비디오 코딩 기술은 JEM(Joint Exploration Model)로 알려진 참조 소프트웨어를 통해 연구되고 있다. JEM에서, 서브블록 기반 예측은 어파인 예측(affine prediction), 대안적인 시간적 움직임 벡터 예측(alternative temporal motion vector prediction, ATMVP), 시공간적 움직임 벡터 예측 (spatial-temporal motion vector prediction, STMVP), 양방향 광학 흐름(bi-directional optical flow, BIO), 프레임 비율 증강 변환(frame-rate up conversion, FRUC), 지역 적응적 움직임 벡터 해상도(locally adaptive motion vector resolution, LAMVR), 중첩된 블록 움직임 보상 (overlapped block motion compensation, OBMC), 지역 조명 보상(Local illumination compensation, LIC) 및 디코더 측의 움직임 벡터 보정(decoder-side motion vector refinement, DMVR)와 같은 수많은 코딩 도구에서 채택된다.
2.1 서브 CU 기반의 움직임 벡터 예측의 예들
QTBT(Quadtrees plus binary trees) 구조의 JEM에서, 각 CU는 각 예측 방향에 대한 최대 하나의 움직임 파라미터 세트를 가질 수 있다. 일 실시예로서, 인코더에서 큰 CU를 복수 개의 서브 CU로 분할하고 큰 CU의 모든 서브 CU들을 위한 움직임 정보 유도하여 두 서브 CU 레벨의 움직임 벡터 예측 방법을 고려한다. 대안적인 시간적 움직임 벡터 예측(ATMVP) 방법에 의하면 각 CU가 동일 위치 참조 픽처의 현재 CU 보다 작은 다수의 블록으로부터 다수의 움직임 정보 세트를 획득할 수 있다. 시공간적 움직임 벡터 예측(STMVP) 방법에서는, 서브 CU들의 움직임 벡터들은 공간적으로 인접한 움직임 벡터와 시간적 움직임 벡터 예측자를 이용하여 재귀적으로 유도된다. 일부 실시예에서, 서브 CU 움직임 예측을 위한 보다 정확한 움직임 필드 보존을 위하여, 참조 프레임들에 대한 움직임 압축은 비활성화될 수 있다.
2.1.1 대안적인 시간적 움직임 벡터 예측(ATMVP)의 예들
ATMVP 방법에서는, 시간적 움직임 벡터 예측(temporal motion vector prediction, TMVP) 방법은 현재 CU 보다 작은 블록들로부터, 참조 인덱스들과 움직임 벡터들을 포함하는 다수의 움직임 정보 세트를 획득하는 방식으로 변경된다.
도 10은 CU(1000)에 대한 ATMVP 움직임 예측 과정의 일 예를 나타낸 도면이다. ATMVP 방법에 의하면, CU에 포함된 서브 CU들(1001)의 움직임 벡터들을 두 단계로 예측할 수 있다. 제1 단계는, 시간적 벡터를 통해 참조 픽처(1050)의 대응하는 블록(1051)을 식별하는 단계이다. 참조 픽처(1050)는 움직임 소스 픽처로도 지시된다. 제2 단계는, 현재 CU(1000)를 다수의 서브 CU(1001)로 분할하고, 각 서브 CU에 대응되는 블록으로부터 각 서브 CU의 참조 인덱스뿐 아니라 움직임 벡터들을 획득하는 단계이다.
제1 단계에서, 참조 픽처(1050)와 대응 블록은 현재 CU(1000)에 공간적으로 이웃하는 블록들의 움직임 정보에 의해 결정된다. 이웃하는 블록들에 대한 반복적인 스캐닝 과정을 지양하기 위해, 현재 CU(1000)의 머지 후보 리스트에 있는 제1 머지 후보가 사용된다. 사용 가능한 제1 움직임 벡터뿐 아니라 이와 관련된 참조 인덱스는 시간적 벡터와 움직임 소스 픽처의 인덱스로 설정된다. 이러한 방식으로, 대응되는 블록은 TMVP에 비해 보다 명확하게 식별될 수 있으며, 때때로 동일 위치 블록(collocated block)으로 불릴 수 있고, 현재 CU에 대하여 언제나 중앙 위치에 있거나, 우측 하단에 위치한다.
제2 단계에서, 서브 CU(1051)에 대응되는 블록은 현재 CU의 좌표에 시간적 벡터를 가산함으로써 움직임 소스 픽처(1050)의 시간적 벡터에 의해 식별된다. 각 서브 CU에 대해, 그에 대응되는 블록(예를 들어, 중앙의 샘플을 커버하는 가장 작은 움직임 그리드)의 움직임 정보는 그 서브 CU에 대한 움직임 정보를 유도하기 위해 사용된다. 대응되는NxN 블록의 움직임 정보가 식별되고 나면, HEVC의 TMVP와 동일한 방식으로, 현재 서브 CU의 참조 인덱스들과 움직임 벡터들로 변환되고, 움직임 스케일링 및 다른 과정들이 적용된다. 예를 들어, 디코더는 저지연 조건(예를 들어, 현재 픽처의 모든 참조 픽처의 POC들이 현재 픽처의 POC보다 작을 때)이 만족 되는지 여부와, 움직임 벡터 MVx (예를 들어, 참조 픽처 리스트 X에 대응되는 움직임 벡터)를 움직임 벡터 MVy(예를 들어, X는 0 혹은 1이고 Y는 1-X임)를 예측하기 위해 사용할 수 있는지 여부를 각 서브 CU에 대해 확인한다.
2.1.2 시공간적 움직임 벡터 예측(STMVP)의 예들
STMVP 방식에서는, 서브 CU들의 움직임 벡터들은 래스터 스캔(raster scan) 순서를 따라 재귀적으로 유도된다. 도 11은 네 개의 서브 블록들과 이웃한 블록들을 갖는 하나의 CU에 대한 일 예를 나타낸 도면이다. 네 개의 4x4 서브 CU 들인 A(1101), B(1102), C(1103) 및 D(1104)를 포함하는 8x8 CU(1100)이 고려된다. 현재 프레임의 이웃하는 4x4 블록들은 a(1111), b(1112), c(1113), 및 d(1114)로 표시된다.
서브 CU에 대한 움직임 유도는 두 공간적 이웃을 식별하는 것으로 시작한다. 제1 이웃은 서브 CU A(1101) 상부의 NxN 블록(블록 c, 1113) 이다. 만약 블록 c(1113)가 사용 불가능하거나 화면내 코딩 된 경우, 서브 CU A(1101) 상부의 다른 NxN 블록들이 확인(좌측에서 우측으로, 블록 c 1113으로부터 시작)된다. 제2 이웃은 서브 CU A(1101) 좌측의 블록(블록 b, 1112)이다. 블록 b(1112)가 사용 불가능하거나 화면내 코딩된 경우, 서브 CU A(1101)의 좌측에 있는 다른 블록들이 확인(상부에서 하부로, 블록b(1112)로부터 시작)된다. 각 리스트에 대한 이웃 블록들로부터 획득된 움직임 정보는 주어진 리스트에 대한 제1 참조 프레임으로 스케일링된다. 그 다음, 서브 블록 A(1101)의 시간적 움직임 벡터 예측자(TMVP)는 HEVC에 명시된 TMVP 유도와 동일한 과정을 거침으로서 유도된다. 블록 D(1104)의 동일 위치 블록에 대한 정보는 그에 따라 획득되고, 스케일링 된다. 마지막으로, 움직임 정보를 조회하고 스케일링한 이후, 모든 사용 가능한 움직임 벡터들이 각 참조 리스트에 대하여 개별적으로 평균화된다. 평균화된 움직임 벡터는 현재 서브 CU의 움직임 벡터로 할당된다.
2.1.3 서브 CU 움직임 예측 모드 시그널링의 예들
일 실시예로서, 서브 CU 모드들은 추가적인 머지 후보들로서 활성화되며 이러한 모드들을 시그널링 하기 위한 필요한 추가적인 구문 요소들은 존재하지 않는다. 두 개의 추가적인 머지 후보들은 STMVP 모드 및 ATMVP 모드를 표현하기 위한 각 CU의 머지 후보 리스트에 추가된다. 다른 실시예로서, 시퀀스 파라미터 세트가 ATMVP 및 STMVP가 활성화되어 있음을 지시하는 경우, 최대 7개의 머지 후보들이 사용될 수 있다. 추가적인 머지 후보들의 인코딩 로직은 HM에서 머지 후보들과 동일하다. 즉, P 또는 B 슬라이스의 각 CU에 대해서 두 개의 추가적인 머지 후보에 대한 두 번의 RD 검사가 필요할 수 있다. 예를 들어, JEM과 같은 실시예에서, 머지 인덱스의 모든 빈(bin)들은 CABAC(Context-based Adaptive Binary Arithmetic Coding)에 의해 컨텍스트 코딩된다. 다른 일 실시예에서는, 예를 들어, HEVC에서 오직 제1 빈(bin) 만이 컨텍스트 코딩되고 나머지 빈 값들은 컨텍스트 우회 코딩 될 수 있다.
2.2 적응적 움직임 벡터 차분 해상도의 예들
일부 실시예들에서, 슬라이스 헤더에서 use_integer_my_flag가 0일 때 움직임 벡터 차분들(MVDs)(움직임 벡터와 PU의 예측된 움직임 벡터 사이의 차분)은 쿼터 휘도 샘플들 단위로 시그널링된다. JEM에서, 지역 적응적 움직임 벡터 해상도(LAMVR)이 개시된다. JEM에서, MVD는 쿼터 휘도 샘플들, 정수 휘도 샘플들 혹은 4 휘도 샘플들의 단위로 코딩될 수 있다. MVD 해상도는 CU 레벨에서 제어되며, MVD 해상도 플래그들은 0이 아닌(non-zero) MVD 요소들을 적어도 하나 이상 갖는 각 CU에 대해 조건부 시그널링된다.
0이 아닌 MVD 요소들을 적어도 하나 이상 갖는 CU에 대해, 쿼터 휘도 샘플 MV 정밀도가 CU에서 사용되는지 여부를 지시하는 제1 플래그가 시그널링 된다. 제1 플래그(1과 동일)가 쿼터 휘도 샘플 MV 정밀도가 사용되지 않음을 지시하는 경우, 정수 휘도 샘플 MV 정밀도나 4 휘도 샘플 MV 정밀도가 사용되었는지 여부를 지시하는 다른 플래그가 시그널링 된다.
CU의 제1 MVD 해상도 플래그가 0이거나, CU에 대해 코딩되지 않은 경우(CU에서 모든 MVD가 0인 경우를 의미), 쿼터 휘도 샘플 MV 해상도가 CU에 대해 사용된다. CU가 정수 휘도 샘플 MV 정밀도 혹은 4 휘도 샘플 MV 정밀도를 이용하는 경우, CU에 대한 AMVP 후보 리스트의 MVP들은 대응되는 정밀도로 반올림된다.
인코더에서, CU-레벨 RD 검사는 CU에 대해 MVD 해상도가 사용되는지를 결정하기 위해 사용된다. 이에 따르면, CU-레벨 RD 검사가 각 MVD 해상도에 대해 세 번 수행된다. 인코더의 속도를 향상시키기 위해, JEM에서 하기와 같은 인코딩 방식이 적용된다:
-- 일반 쿼터 휘도 샘플 MVD 해상도(normal quarter luma sample MVD resolution)를 갖는 CU에 대한 RD 검사 동안, 현재 CU의 움직임 정보 (정수 휘도 샘플 정확도)가 저장된다. 정수 휘도 샘플 및 4 휘도 샘플 MVD 해상도를 갖는 동일한 CU에 대한 RD 검사 중에, 저장된 움직임 정보(반올림 이후)는 더 작은 범위의 움직임 벡터 보정(small range motion vector refinement)을 위한 시작점으로 사용되므로, 시간 소모적인 움직임 추정 과정이 세 번씩 중복되지 않게 된다.
-- 4 휘도 샘플 MVD 해상도(4 luma sample MVD resolution)를 갖는 CU에 대한 RD 검사는 조건부 호출된다. CU에 대해, RD 비용 정수 휘도 샘플 MVD 해상도(RD cost integer luma sample MVD resolution)가 쿼터 휘도 샘플 MVD 해상도(quarter luma sample MVD resolution)의 그것보다 훨씬 큰 경우, CU에 대한 4 휘도 샘플 MVD 해상도의 RD 검사는 건너뛰게 된다.
2.3 더 높은 움직임 벡터 저장소 정확도(higher motion vector storage accuracy)의 예들
HEVC에서, 움직임 벡터 정확도는 1/4 픽셀 (4:2:0 비디오 용 1/4 휘도 샘플 및 1/8 색차 샘플)이다. JEM에서, 내부 움직임 벡터 저장소와 머지 후보에 대한 정확도가 1/16 픽셀(pel)로 증가한다. 더 높은 움직임 벡터 정확도 (1/16 픽셀)는 스킵/머지 모드로 코딩된 CU에 대해 움직임 보상 화면 간 예측에서 사용된다. 일반 AMVP 모드로 코딩된 CU에 대해, 정수-픽셀(integer-pel) 혹은 쿼터-픽셀(quarter-pel) 움직임이 이용된다.
HEVC 움직임 보상 보간 필터들(HEVC motion compensation interpolation filters)과 동일한 필터 길이 및 정규화 인자를 갖는 SHVC 업샘플링(upsampling) 보간(interpolation) 필터들은 추가적인 분수 픽셀(fractional pel) 위치에 대한 움직임 보상 보간 필터들로서 사용된다. 색차 요소 움직임 벡터 정확도는 JEM에서 1/32 샘플이며, 1/32 픽셀 분수 위치들의 추가적인 보간 필터들은 두 개의 이웃한 1/16 픽셀 분수 위치들의 필터들의 평균을 사용함으로서 유도된다.
2.4 중첩된 블록 움직임 보상(overlapped block motion compensation, OBMC)의 예들
JEM에서, OBMC는 CU 레벨의 구문을 사용하여 작동되거나, 비작동(on/off)될 수 있다. OBMC가 JEM에서 사용될 때, OBMC는 CU의 우측 및 하측 경계들을 제외한 모든 움직임 보상(Motion compensation, MC) 블록 경계들을 위해 수행될 수 있다. 또한, 휘도 및 색차 성분 모두에 적용된다. JEM에서, MC 블록은 코딩 블록에 대응된다. CU가 서브-CU 모드로 코딩되면(서브 CU 머지, 어파인 및 FRUC 모드를 포함), CU의 각 서브 블록은 MC 블록이다. 일정한 방식에 따라 CU 경계들을 처리하기 위하여, OBMC는 모든 MC 블록 경계들에 대한 서브 블록 레벨에서 수행되며, 도 12A 및 도 12B에 나타난 바와 같이 서브 블록의 사이즈는 4x4로 설정된다.
도 12A는 CU/PU 경계에서의 서브 블록들을 나타내며, 빗금 친 서브 블록들은 OMBC가 적용되는 서브 블록들을 나타낸 것이다. 유사하게, 도 12B는 AMTVP 모드에서 서브 PU들을 나타낸다.
OBMC가 현재 서브 블록에 적용될 때, 현재 움직임 벡터들 외에, 사용 가능한 경우 현재 움직임 벡터와 동일하지 않은 네 개의 연결된 이웃 서브 블록들의 움직임 벡터들도 현재 서브 블록에 대한 예측 블록을 유도하는 데 사용된다. 복수의 움직임 벡터들에 기반한 복수의 예측 블록들은 현재 서브 블록을 위한 최종 예측 신호를 생성하기 위해 결합된다.
인접 서브블록의 움직임 벡터들을 기반으로 하는 예측 블록은 PN으로 표기되며, N은 상부, 하부, 좌측 및 우측에 인접한 서브 블록들에 대한 인덱스(index)를 지시한다. 또한, 현재 서브 블록의 움직임 벡터들을 기반으로 하는 예측 블록은 PC로 표기된다. PN이 현재 서브 블록과 동일한 움직임 정보를 포함하는 인접 서브 블록의 움직임 정보를 기반으로 하는 경우, OBMC는 PN에서 수행되지 않는다. 그렇지 않은 경우, PN의 모든 샘플들은 PC의 동일한 샘플들에 추가되는데, 예를 들어, PN의 4 개 행/열이 PC에 추가된다. {1/4, 1/8, 1/16, 1/32} 가중치 인자들은 PN에 대해 사용되며 {3/4, 7/8, 15/16, 31/32} 가중치 인자들은 PC에 대해 사용된다. 작은 MC 블록들은 예외로서, (예를 들어, 코딩 블록의 너비 혹은 높이가 4이거나 CU가 서브 CU 모드로 코딩 되는 경우) PN의 오직 2 개 행/열만이 PC에 추가된다. 이 경우 {1/4, 1/8}가중치 인자들은 PN에 대해 사용되고, {3/4, 7/8} 가중치 인자들은 PC에 대해 사용된다. 수직적으로(수평적으로) 인접한 서브 블록의 움직임 벡터들을 기반으로 생성된 PN에 대해, PN의 동일 행(열)의 샘플들은 동일한 가중치 인자로 PC에 추가된다.
JEM에서, 256 휘도 샘플들 이하인 사이즈의 CU에 대해, CU 레벨 플래그는 현재 블록에 대해 OBMC가 적용되는지 여부를 지시하기 위해 시그널링 된다. AMVP 모드로 코딩 되지 않았거나, 256 휘도 샘플들보다 큰 사이즈의 CU들은, OBMC는 기본적으로(default) 적용된다. 인코더에서, OBMC가 CU에 대해 적용되는 때, 그 영향은 움직임 추정 단계에서 고려된다. 상부 인접 블록 및 좌측 인접 블록의 움직임 정보를 사용하여 OBMC에 의해 형성된 예측 신호는 현재 CU의 원본 신호의 상부 및 좌측 경계들을 보상하기 위해 사용된다. 그리고 일반적인 움직임 추정 과정이 적용된다.
2.5 지역 조명 보상(local illumination compensation, LIC)의 예들
LIC는 스케일링 인자 a 및 오프셋 b를 사용하는, 조명 변화에 대한 선형 모델을 기반으로 한다. 그리고, 각 화면간 모드로 코딩된 코딩 유닛(CU)에 대해 적응적으로 활성화되거나 비활성화된다.
LIC가 CU에 대해 적용될 때, 현재 CU의 인접 샘플들 및 그에 대응되는 참조 샘플들을 이용하여 파라미터 a 및 b를 유도하기 위해 최소 자승 오차법(least square error method)이 사용된다. 도 13은 IC 알고리즘의 파라미터들을 유도하기 위해 사용되는 인접 샘플들의 일 예를 나타낸다. 특히, 도 13로 도시된 바와 같이, CU의 서브샘플링된 (2:1 서브샘플링) 인접 샘플들과 참조 픽처의 해당 샘플들(현재 CU 혹은 서브 CU의 움직임 정보에 의해 식별됨)이 사용된다. IC 파라미터들이 개별적으로 각 예측 방향에 대해 유도되며, 적용된다.
CU가 머지 모드로 코딩될 때, LIC 플래그는 머지 모드에서 움직임 정보 복사 방식과 유사한 방식으로 인접 블록에서 복사된다; 그렇지 않은 경우, CU에 대해 LIC가 적용되는지 여부를 지시하는 LIC 플래그가 시그널링 된다.
LIC가 픽처에 대해 활성화되면, 추가적인 CU 레벨 RD 검사는 CU에 대해 LIC가 적용되는지 여부를 결정하기 위하여 요구된다. LIC가 CU에 대해 활성화되면, SAD 및 SATD 대신, MR-SAD(mean-removed sum of absolute difference)와 MR-SATD(mean-removed sum of absolute Hadamard-transformed difference)가 정수 픽셀 움직임 탐색(integer pel motion search) 및 분수 픽셀 움직임 탐색(fractional pel motion search)에 대해 각각 사용된다.
인코딩 복잡도를 감소시키기 위하여, 하기의 인코딩 방식이 JEM에서 적용된다:
-- LIC는 현재 픽처와 현재 픽처의 참조 픽처들 간의 분명한 조명 변화가 없는 경우, 모든 픽처에 대해 비활성화 된다. 이러한 경우를 식별하기 위해, 현재 픽처의 히스토그램들(histograms)과 현재 픽처의 모든 참조 픽처는 인코더에서 계산된다. 현재 픽처와 현재 픽처의 모든 참조 픽처 간의 히스토그램 차이가 주어진 임계값보다 작은 경우, LIC는 현재 픽처에 대해 비활성화 된다; 그렇지 않은 경우, LIC는 현재 픽처에 대해 활성화된다.
2.6 어파인 움직임 보상 예측의 예들
HEVC에서, 오직 병진 움직임 모델(translation motion model)만이 움직임 보상 예측(motion compensation prediction, MCP)을 위해 적용된다. 그러나, 카메라 및 객체들은, 예를 들어, 줌 인/아웃, 회전, 원근 움직임들(perspective motions), 및/혹은 기타 불규칙한 움직임을 포함한 다양한 움직임 양상을 가질 수 있다. 반면에, JEM은 단순화된 어파인 변환 움직임 보상 예측(simplified affine transform motion compensation prediction)을 적용한다. 도 14는 두 제어 점(control point) 움직임 벡터들인 V0 , V1에 의해 설명되는 블록(1400)의 어파인 움직임 필드(affine motion field)의 일 예를 나타낸 도면이다. 블록 (1400)의 움직임 벡터 필드(motion vector field, MVF)는 하기 공식에 의해 설명될 수 있다.
도 14에 나타난 바와 같이, (v0x, v0y)는 좌상 모서리 제어점(top-left corner control point)의 움직임 벡터이고, (v1x, v1y)는 우상 모서리 제어점(top-right corner control point)의 움직임 벡터이다. 움직임 보상 예측을 단순화하기 위해, 서브 블록 기반 어파인 변환 예측이 적용될 수 있다. 서브 블록의 사이즈 MxN은 하기와 같이 유도된다:
여기서, MvPre는 움직임 벡터 분수 정확도(예를 들어, JEM에서 1/16)이다. (v2x, v2y)는 좌측 하부 제어점의 움직임 벡터이며, 식(1)에 의해 계산된다. M과 N은 필요한 경우 각각 w와 h의 제수(divisor)로 만들기 위하여 하향 조정(adjusted downward)될 수 있다.
도 15는 블록(1500)의 서브 블록 별 어파인 MVF의 일 예를 나타내는 도면이다. 각 MxN 서브 블록의 움직임 벡터를 유도하기 위해, 각 서브 블록의 중앙 샘플의 움직임 벡터는 식 (1)에 의해 계산될 수 있으며, 움직임 벡터 분수 정확도(예를 들어, JEM에서 1/16)로 반올림 될 수 있다. 그런 다음, 움직임 보상 보간 필터는 유도된 움직임 벡터로 각 서브 블록의 예측을 생성하기 위해 적용될 수 있다. MCP 이후, 각 서브블록의 고정확 움직임 벡터는 반올림되며 일반 움직임 벡터(normal motion vector)와 동일한 정확도로 저장된다.
2.6.1 AF_INTER 모드의 실시예들
JEM에는 두 개의 어파인 움직임 모드: AF_INTER 모드와 AF_MERGE 모드가 존재한다. 너비와 높이 모두가 8보다 큰 CU들의 경우, AF_INTER 모드가 적용될 수 있다. CU 레벨의 어파인 플래그는 비트스트림에서 AF_INTER 모드가 사용되는지 여부를 지시하기 위해 시그널링된다. AF_INTER 모드에서, 움직임 벡터 쌍 를 갖는 후보 리스트는 인접 블록들을 사용하여 구성된다.
도 16은 AF_INTER 모드에서 블록(1600)에 대한 움직임 벡터 예측(motion vector prediction, MVP)에 대한 일 예를 나타내는 도면이다. 도 16에 나타난 바와 같이, v0 은 서브 블록 A, B 혹은 C의 움직임 벡터들에서 선택된다. 인접 블록들의 움직임 벡터들은 참조 리스트에 따라 스케일링될 수 있다. 움직임 벡터들은 인접 블록, 현재 블록에 대한 참조의 픽처 순서 카운트(Picture Order Count, POC), 현재 CU에 대한 참조의 POC, 현재 CU의 POC 간의 관계에 따라 스케일링될 수 있다.
인접 서브 블록 D 및 E에서 v1을 선택하는 방법은 유사하다. 후보 리스트의 수가 2보다 작으면, 후보 리스트는 각 AMVP 후보들을 복제하여 구성된 움직임 벡터 쌍으로 채워진다. 후보 리스트가 2보다 크면, 후보들은 먼저 인접 움직임 벡터들에 따라 분류된다(예를 들어, 후보 쌍의 두 움직임 벡터들의 유사성에 기반하여). 일부 실시예에서는, 처음 두 후보들이 유지된다. 일부 실시예에서, 비율 왜곡(rate distortion, RD) 비용 검사는 현재 CU의 제어점 움직임 벡터 예측(control point motion vector prediction, CPMVP)으로 어떤 움직임 벡터 쌍 후보가 선택되는지를 결정하는 데 사용된다. 후보 리스트에서 CPMVP의 위치를 지시하는 인덱스는 비트스트림에서 시그널링될 수 있다. 현재 어파인 CU의 CPMVP 가 결정된 이후, 어파인 움직임 추정이 적용되며, 제어점 움직임 벡터(control point motion vector, CPMV)가 발견된다. CPMV와 CPMVP의 차분은 비트스트림에서 시그널링될 수 있다.
AF_INTER 모드에서, 4/6 파라미터 어파인 모드가 사용될 때, 2/3 제어점들이 요구되므로, 2/3 MVD는 도 17A 및 17B에 나타난 바와 같이 이 제어점들에 대해 코딩되어야 한다. 기재된 실시예 [5]에서, MV가 하기와 같이 유도될 수 있는데, 예를 들어, mvd0 로부터 mvd1 , mvd2 를 예측한다.
여기서, , mvdi 및 mv1 는 도 18B에 도시된 바와 같이, 각각, 예측된 움직임 벡터, 움직임 벡터 차분, 좌측 상단의 픽셀(i=0), 우측 상단의 픽셀(i=1), 혹은 좌측 하단의 픽셀(i=2)의 움직임 벡터이다. 일부 실시예에서, 두 움직임 벡터들의 추가(예를 들어, mvA(xA, yA) 및 mvB(xB, yB))는 개별적으로 두 개의 성분들의 합과 동일하다. 예를 들어, newMV = mvA + mvB는 newMV의 두 성분이 각각 (xA + xB) 및 (yA + yB)로 설정됨을 의미한다.
2.6.2 AF_INTER 모드에서 고속 어파인 ME 알고리즘의 예들
어파인 모드의 일부 실시예에서는, 2 혹은 3 제어점들의 MV는 공동으로 결정되어야 한다. 직접적으로 복수 개의 MV들을 공동으로 탐색하는 것은 계산적으로 복잡하다. 일 실시예로서, 고속 어파인 ME 알고리즘 [6]이 제안되고, VTM/BMS에 채택된다.
예를 들어, 고속 어파인 ME 알고리즘은 4-파라미터 어파인 모델에 대해 설명되고, 이에 대한 아이디어는 6-파라미터 어파인 모델로 확장될 수 있다:
(a-1)을 a' 로 대체하면 움직임 벡터들은 하기와 같이 기재될 수 있다:
두 제어점 (0, 0) 및 (0, w)의 움직임 벡터들이 존재한다고 가정할 때, 식 (5)에서, 어파인 파라미터들은 하기와 같이 유도될 수 있다:
움직임 벡터들은 다음와 같은 벡터 형태로 재작성될 수 있다:
여기서, P =(x,y)는 픽셀 위치를 나타낸다.
일부 실시예에서, 인코더에서는 AF_INTER의 MVD는 반복적으로 유도될 수 있다. MVi(P)는 위치 P에서 i번째 반복을 통해 얻어진 MV이고, dMVC i 는 i번째 반복에서 MVC 에 대해 업데이트된 델타 값이다. 이 때, i+1번째 반복과정은,
는 참조픽처이고, 는 현재 픽처이며, 를 나타낸다. MSE가 매칭 기준으로서 사용되면, 최소화되어야하는 함수는 하기와 같이 작성될 수 있다:
가 충분히 작다고 가정하면, 는 1차 테일러 전개(1-st order taylor expansion)에 기반하여, 하기와 같은 근사식으로 다시 기재될 수 있다:
여기서, 이 채택되면:
는 하기와 같이 오차 함수의 미분 값을 0으로 설정하고, 에 따라, 제어 점들인 (0, 0) 및 (0, w)의 델타 MV를 계산함에 따라 유도된다:
일부 실시예에서, MVD 유도 과정은 n번 반복될 수 있으며, 최종 MVD는 하기와 같이 계산될 수 있다:
앞서 언급된 실시예 [5]에서, mvd0로 표기된 제어점 (0, 0)의 델타 MV에서 mvd1 로 표시된 제어점 (0, w)의 델타 MV를 예측하면 mvd1에 대해 만이 인코딩된다.
2.6.3 AF_MERGE 모드의 실시예들
CU가 AF_MERGE 모드에서 적용되면, 유효한 인접한 재구성된 블록들로부터 어파인 모드로 코딩된 제1 블록이 획득된다. 도 18A는 현재 CU(1800)에 대한 후보 블록들의 선택 순서의 일 예를 나타낸 것이다. 도 18A에 나타난 바와 같이, 선택 순서는 현재 CU(1800)의 좌측(1801), 상단(1802), 우측 상단(1803), 좌측 하단(1804)에서 좌측 상단(1805)까지일 수 있다. 도 18B는 AF_MERGE 모드에서 현재 CU(1800)에 대한 후보 블록들의 다른 일 실시예를 나타낸 것이다. 인접한 좌측 하단의 블록(1801)이 도 18B에 도시된 바와 같이 어파인 모드로 코딩되면, 서브 블록 (1801)을 포함하는 CU의 좌측 상단 모서리, 우측 상단 모서리 및 좌측 하단 모서리의 움직임 벡터들 v2, v3 및 v4가 유도된다. 현재 CU(1800)의 좌측 상단 모서리의 움직임 벡터 v0는 v2, v3, 및 v4를 기반으로 계산된다. 현재 CU의 우측 상단의 움직임 벡터 v1는 이에 따라 계산될 수 있다.
식 (1)의 어파인 움직임 모델에 따라 현재 CU v0, v1의 CPMV가 계산되고 나면, 현재 CU의 MVF가 생성될 수 있다. AF_MERGE 모드로 현재 CU가 코딩 되었는지 여부를 식별하기 위해, 어파인 모드로 코딩된 인접 블록이 하나 이상 존재하는 경우, 어파인 플래그는 비트스트림에서 시그널링될 수 있다.
2.7 패턴 매치된 움직임 벡터 유도(pattern matched motion vector derivation, PMMVD)의 예들
PMMVD 모드는 프레임 비율 증강 변환(Frame-Rate up Conversion, FRUC)기법 기반의 특별한 머지 모드이다. 이 모드에서, 블록의 움직임 정보는 시그널링되지 않으며 디코더 측에서 유도된다.
FRUC 플래그는 머지 플래그가 참인 경우 CU에 대해 시그널링 될 수 있다. FRUC 플래그가 거짓(false)인 경우, 머지 인덱스가 시그널링될 수 있고, 일반 머지 모드가 사용된다. FRUC 플래그가 참인 경우, 추가적인 FRUC 모드 플래그가 블록의 움직임 정보를 유도하기 위해 어떤 기법(예를 들어, 양방향 매칭 혹은 탬플릿 매칭)이 사용될지를 지시하기 위해 시그널링될 수 있다.
인코더 측에서, CU에 대한 FRUC 머지 모드 사용 여부에 대한 결정은 일반 머지 후보에 대해 수행된 RD 비용 선택을 기반으로 한다. 예를 들어, 다양한 매칭 모드(예를 들어, 양방향 매칭 및 탬플릿 매칭)가 RD 비용 선택을 사용하여 CU에 대해 확인된다. 최소 비용을 초래하는 모드는 다른 CU 모드들과 더 비교된다. FRUC 매칭 모드가 가장 효율적인 경우, FRUC 플래그는 CU에 대해 참으로 설정되고 연관된 매칭 모드가 사용된다.
일반적으로, FRUC 머지 모드에서의 움직임 유도 과정에는 두 단계가 있다: CU 레벨 움직임 탐색이 먼저 수행되고, 서브 CU 레벨 움직임 보정(refinement)이 수행된다. CU 레벨에서, 초기 움직임 벡터는 전체 CU에 대해 양방향 매칭 혹은 탬플릿 매칭을 기반으로 유도된다. 먼저, MV 후보의 리스트가 생성되고, 최소 매칭 비용을 가져오는 후보는 이후의 CU 레벨 보정을 위한 시작점으로서 선택된다. 그런 다음, 시작점을 중심으로 양방향 매칭 혹은 탬플릿 매칭을 기반으로 한 지역 탐색이 수행된다. 최소 매칭 비용의 MV 결과들은 전체 CU에 대한 MV가 된다. 그 후, 움직임 정보는 서브 CU 레벨에서 유도된 CU 움직임 벡터들을 시작점들로 하여 더 보정된다.
예를 들어, CU 움직임 정보를 위해 하기의 유도 과정이 수행된다. 제1 단계로, 전체 CU에 대한 MV가 유도된다. 제2 단계로, CU는 의 서브 CU들로 더 분할된다. M의 값은 식 (3)과 같이 계산되며, D는 JEM에서 기본 값인 3으로 기 정의된 분할 깊이이다. 이후, 각 서브 CU에 대한 MV가 유도된다.
도 19는 프레임 비율 증강 변환(FRUC) 기법에서 사용되는 양방향 매칭(bilateral matching)의 일 예를 나타낸 것이다. 양방향 매칭은 서로 다른 참조 픽처들(1910, 1911)에서 현재 CU(1900)의 움직임 궤적에 따라 두 블록들 간의 최근접 매칭을 찾아 현재 CU의 움직임 정보를 유도하기 위해 사용된다. 연속적인 움직임 궤적이라는 가정 하에, 두 참조 블록들을 가리키는 움직임 벡터들 MV0(1901) 및 MV1(1902)은 현재 픽처와 두 참조 픽처들 간의 시간적인 거리들, 예를 들어, TD0(1903) 및 TD1(1904)에 비례한다. 일부 실시예에서, 현재 픽처(1900)가 시간적으로 두 참조 픽처들(1910, 1911)사이에 있고 현재 픽처에서 두 참조 픽처까지의 시간적 거리가 동일한 경우, 양방향 매칭은 미러 기반 양 방향 MV(Mirror based bi-directional MV)가 된다.
도 20은 프레임 비율 증강 변환(FRUC) 기법에서 사용되는 탬플릿 매칭(template matching)의 일 예를 나타낸 도면이다. 탬플릿 매칭은 현재 픽처의 탬플릿(예를 들어, 현재 CU의 상부 및/혹은 좌측 인접 블록들)과 참조 픽처(2010)에 있는 블록(예를 들어, 탬플릿과 동일한 사이즈) 사이의 최근접 매칭을 찾아 현재 CU(2000)의 움직임 정보를 유도하는 데 사용될 수 있다. 상기에서 언급한 FRUC 머지 모드를 제외하고, 탬플릿 매칭은 AMVP 모드에도 적용될 수 있다. JEM 및 HEVC 모두에서, AMVP는 두 개의 후보를 갖는다. 탬플릿 매칭 기법에 의하면, 새로운 후보가 유도될 수 있다. 탬플릿 매칭에 의해 새롭게 유도된 후보가 첫번째 기존 AMVP 후보와 다른 경우, AMVP 후보 리스트의 맨 처음에 삽입되고, 리스트의 사이즈는 2로 설정된다(예를 들어, 두번째 기존 AMVP 후보는 삭제함). AMVP 모드 적용 시, 오직 CU 레벨 탐색만이 적용된다.
CU 레벨의 MV 후보 세트는 다음을 포함할 수 있다: (1) 현재 CU가 AMVP 모드이면, 원본 AMVP 후보들, (2) 모든 머지 후보들, (3) 보간된 MV 필터의 다수 MV들(후술함), 및 상부 및 좌측의 인접 움직임 벡터들.
양방향 매칭을 사용할 때, 머지 후보의 유효한 각각의 MV는 양방향 매칭을 가정하여 MV 쌍을 생성하기 위한 입력값으로 사용될 수 있다. 예를 들어, 머지 후보의 한 유효한 MV는 참조 리스트 A의 (MVa, refa)이다. 그러면 그 양방향 MV 쌍의 참조 픽처 refb는 다른 참조 리스트 B에서 발견되어 refa 및 refb는 현재 픽처의 시간적으로 다른 측면에 존재한다. 참조 리스트 B에서 이러한 refb가 사용 불가능한 경우, refb는 refa 와 다른 참조로 결정되며 현재 픽처까지의 시간적 거리는 리스트 B에서 가장 작은 값이 된다. refb가 결정된 이후, MVb는 현재 픽처와 refa 및 refb 간의 시간적 거리에 기초하여 MVa를 스케일링 함으로서 유도된다.
일부 실시예에서, 보간된 MV 필드에서 네 개의 MV들이 CU 레벨 후보 리스트에 추가될 수 있다. 보다 상세하게는, 현재 CU의 (0, 0), (W/2, 0), (0, H/2) 및 (W/2, H/2) 위치에 있는 보간된 MV들이 추가된다. FRUC가 AMVP 모드에서 적용되면, 원본 AMVP 후보들은 CU 레벨 MV 후보 세트에도 추가된다. 일부 실시예에서는, CU 레벨에서 AMVP CU들에 대한 15 MV들과 머지 CU들에 대한 13 MV들이 후보 리스트에 추가될 수 있다.
서브 CU 레벨에서 MV 후보 세트는 (1)CU 레벨 탐색으로부터 결정된 MV, (2) 상단, 좌측, 좌측 상단, 우측 상단 인접 MV들, (3) 참조 픽처에서 동일 위치 MV들((collocate MVs)의 스케일링된 버전들(scaled versions), (4) 하나 혹은 그 이상의 ATMVP 후보들 (예를 들어, 최대 4개), 및 (5) 하나 혹은 그 이상의 STMVP 후보들 (예를 들어, 최대 4개)를 포함한다. 참조 픽처들에서 스케일링된 MV들은 다음과 같이 유도된다. 두 리스트들의 참조 픽처들이 횡단된다. 참조 픽처에서 서브 CU의 동일 위치(collocated position)에 있는 MV들은 시작 CU 레벨 MV(starting CU-level MV)의 참조로 스케일링 된다. ATMVP 및 STMVP 후보들은 4개의 첫 번째 후보들이 될 수 있다. 서브 CU 레벨에서 하나 혹은 그 이상의 MV들(예를 들어, 최대 17개) 이 후보 리스트에 추가된다.
보간된 MV 필드의 생성. 프레임을 코딩 하기 전에, 보간된 움직임 필드는 단방향 ME를 기반으로 하여 전체 픽처에 대해 생성된다. 그런 다음, 움직임 필드는 이후에 CU 레벨 혹은 서브 CU 레벨 MV 후보들로서 사용될 수 있다.
일부 실시예에서, 두 개의 참조 리스트에서 참조 픽처들의 움직임 필드는 4x4 블록 레벨에서 횡단된다. 도 21은 FRUC 기법에서 단방향 움직임 추정(motion estimation, ME)(2100)의 일 예를 나타낸 것이다. 각 4x4 블록에 대해, 현재 픽처에서 4x4 블록을 통과하는 블록에 연관된 움직임과 그 블록에 보간된 움직임이 할당되지 않은 경우 참조 블록의 움직임은 시간적 거리 TD0 및 TD1 (HEVC에서 TMVP의 MV 스케일링 방식과 동일한 방식)에 따라 현재 픽처로 스케일링되며, 스케일링된 움직임은 현재 프레임에의 블록에 할당된다. 4x4 블록에 스케일링된 MV가 할당되지 않은 경우, 블록의 움직임은 보간된 움직임 필드에서 사용 불가능한 것으로 표시된다.
보간 및 매칭 비용. 움직임 벡터가 분수 샘플 위치를 가리키는 경우, 움직임 보상 보간이 필요하다. 복잡도를 감소시키기 위해, 일반 8-탭 HEVC 보간 대신 쌍선형 보간(bi-linear interpolation)이 양방향 매칭 및 탬플릿 매칭 모두를 위해 사용될 수 있다.
매칭 비용의 계산은 단계마다 상이하다. CU 레벨에서 설정된 후보 세트로부터 후보를 선택할 때, 매칭 비용은 양방향 매칭 혹은 탬플릿 매칭의 절대 차 합(sum of absolute difference, SAD)일 수 있다. 시작 MV가 결정된 이후, 서브 CU 레벨 탐색에서 양방향 매칭의 매칭 비용 C는 다음과 같이 계산된다:
여기서 w는 가중치 인자이다. 일부 실시예에서, w는 경험적으로 4로 설정될 수 있다. MV 및 MVs는 현재 MV 및 시작 MV를 각각 지시한다. SAD는 서브 CU 레벨 탐색에서 탬플릿 매칭의 매칭 비용으로 계속 사용될 수 있다.
FRUC 모드에서, MV는 휘도 샘플들만을 사용하여 유도된다. 유도된 움직임은 MC 화면간 예측을 위한 휘도 및 색차 모두에 사용된다. MV가 결정된 이후, 최종 MC는 색차에 대한 4-탭스(taps) 보간 필터 및 휘도에 대한 8-탭스(taps) 보간 필터를 이용하여 수행된다.
MV 보정은 양방향 매칭 비용 혹은 탬플릿 매칭 비용을 기준으로 하는 패턴 기반 MV 탐색이다. JEM에서, 두 개의 탐색 패턴들 - UCBDS (unrestricted center-biased diamond search) 및 서브 CU 레벨 및 CU 레벨에서 각각 MV 보정을 위한 적응적 교차 탐색(adaptive cross search for MV refinement at the CU level and sub-CU level)-이 지원된다. CU 레벨 및 서브 CU 레벨 MV 보정 모두에 대해, MV는 쿼터(quarter, 1/4) 휘도 샘플 MV 정확도로 직접 탐색되며, 1/8 휘도 샘플 MV 보정이 그 이후에 수행된다. CU 및 서브 CU 단계에 대한 MV 보정의 탐색 범위는 8 휘도 샘플들과 동일하게 설정된다.
양방향 매칭 머지 모드에서, 두 개의 서로 다른 참조 픽처들에서 현재 CU의 움직임 궤적을 따라 두 개의 블록들간의 최근접 매칭을 기반으로 CU의 움직임 정보가 유도되기 때문에, 양방향 예측이 적용된다. 탬플릿 매칭 머지 모드에서, 인코더는 list0에서 단방향 예측, list1에서 단방향 예측, 혹은 CU에 대한 양방향 예측 가운데 선택할 수 있다. 이러한 선택은 다음과 같은 탬플릿 매칭 비용을 기반으로 할 수 있다:
여기서 w는 가중치 인자이다. 일부 실시예에서, w는 경험적으로 4로 설정될 수 있다. MV 및 MVs는 현재 MV 및 시작 MV를 각각 지시한다. SAD는 서브 CU 레벨 탐색에서 탬플릿 매칭의 매칭 비용으로 계속 사용될 수 있다.
FRUC 모드에서, MV는 휘도 샘플들만을 사용하여 유도된다. 유도된 움직임은 MC 화면간 예측을 위한 휘도 및 색차 모두에 사용된다. MV가 결정된 이후, 최종 MC는 색차에 대한 4-탭스(taps) 보간 필터 및 휘도에 대한 8-탭스(taps) 보간 필터를 이용하여 수행된다.
MV 보정은 양방향 매칭 비용 혹은 탬플릿 매칭 비용을 기준으로 하는 패턴 기반 MV 탐색이다. JEM에서, 두 개의 탐색 패턴들 - UCBDS (unrestricted center-biased diamond search) 및 서브 CU 레벨 및 CU 레벨에서 각각 MV 보정을 위한 적응적 교차 탐색(adaptive cross search for MV refinement at the CU level and sub-CU level)-이 지원된다. CU 레벨 및 서브 CU 레벨 MV 보정 모두에 대해, MV는 쿼터(quarter, 1/4) 휘도 샘플 MV 정확도로 직접 탐색되며, 1/8 휘도 샘플 MV 보정이 그 이후에 수행된다. CU 및 서브 CU 단계에 대한 MV 보정의 탐색 범위는 8 휘도 샘플들과 동일하게 설정된다.
양방향 매칭 머지 모드에서, 두 개의 서로 다른 참조 픽처들에서 현재 CU의 움직임 궤적을 따라 두 개의 블록들간의 최근접 매칭을 기반으로 CU의 움직임 정보가 유도되기 때문에, 양방향 예측이 적용된다. 탬플릿 매칭 머지 모드에서, 인코더는 list0에서 단방향 예측, list1에서 단방향 예측, 혹은 CU에 대한 양방향 예측 가운데 선택할 수 있다. 이러한 선택은 다음과 같은 탬플릿 매칭 비용을 기반으로 할 수 있다:
여기서, cost0은list0 탬플릿 매칭의 SAD, cost1은 list1 탬플릿 매칭의 SAD이고, costBi는 양방향 예측 탬플릿 매칭의 SAD이다. 예를 들어, factor 값이 1.25이면, 선택 과정이 양방향 예측으로 편향되어 있음을 의미한다. 화면간 예측 방향 선택은 CU 레벨 탬플릿 매칭 과정에 적용될 수 있다.
3. 기존 구현 예들의 단점들
일부 기존 구현에서, MV/MV 차분(MVD)이 어파인 코딩된 블록들에 대한 다수의 MV/MVD 정밀도의 세트에서 선택될 수 있을 때, 얼마나 더 정확한 움직임 벡터들이 획득될 지는 불확실하게 남게 된다.
다른 기존 구현에서, MV/MVD 정밀도 정보는 어파인 모드에 적용된 AMVR의 전체적인 코딩 이득의 결정에 있어서 중요한 역할을 하나, 위와 같은 목표를 달성할 수 있을지는 불확실하게 남게 된다.
4. AMVR을 사용하는 어파인 모드에 대한 MV 예측자들을 위한 예제 방법들
현재 개시된 기술의 실시예들은 기존 구현의 단점들을 극복하여 보다 높은 코딩 효율의 비디오 코딩을 제공한다. 개시된 기술에 기초한 적응적 움직임 백터 해상도(AMVR)를 갖는 어파인 모드에 대한 움직임 벡터 예측자 유도 및 시그널링은 기존 및 미래의 비디오 코딩 표준 모두를 향상시킬 수 있으며, 다양한 구현에 대해 설명될 하기의 예에서 설명된다. 하기에 개시된 기술의 예들은 일반적인 개념을 설명하기 위한 것이며 이에 제한되는 것으로 해석되지 않는다. 일 예로서, 반대의 예를 명시적으로 표기하지 않는 한, 다양한 예들에서 설명된 다양한 특징들은 결합될 수 있다.
일부 구현 예들에서, AMVR이 적용될 때 어파인 모드 혹은 일반 모드에 하기의 예들이 적용될 수 있다. 이러한 예들은 정밀도 Prec(예를 들어, MV는 1 / (2^Prec) 정밀도)가 AF_INTER 모드에서 MVD를 인코딩하거나 일반 화면간 모드에서 MVD를 인코딩하는 데 사용된다고 가정한다. 움직임 벡터 예측자 (예를 들어, 인접 블록 MV에서 상속) 및 그 정밀도는 각각 및 로 표기된다.
예 1. 최종 MV 정밀도가, 예를 들어, 저장된 움직임 벡터들의 정밀도와 동일하게, 변경되지 않고 유지될 수 있다.
(a) 일 예로서, 최종 MV 정밀도는 1/16-픽셀 혹은 1/8-픽셀로 설정될 수 있다.
(b) 일 예로서, 시그널링된 MVD는 먼저 스케일링되고 이후 하나의 블록에 대한 최종 MV를 구성하기 위해 MVP에 추가될 수 있다.
예 2. MVP는 인접 블록들(예를 들어, 공간적 혹은 시간적)로부터 직접적으로 유도되거나 기본(default) MVP들이 먼저 수정되고, 이후 (현재) 블록에 대한 최종 MV를 구성하기 위해 시그널링된 MVD에 추가될 수 있다.
(a) 대안적으로, MVP의 변경 적용 여부 및 변경 적용 방식은 Prec의 값에 따라 다를 수 있다.
(b) 일 예로서, Prec이 1보다 크면(예를 들어, MVD가 분수 정밀도를 갖는 경우), 인접 MV의 정밀도는 변경되지 않으며 스케일링도 수행되지 않는다.
(c) 일 예로서, Prec이 1이면(예를 들어, MVD가 1-픽셀 정밀도를 갖는 경우), MV 예측자(예를 들어, 인접 블록들의 MV)는 스케일링되어야 한다.
(d) 일 예로서, Prec이 1보다 작으면(예를 들어, MVD가 4-pel 정밀도를 갖는 경우), MV 예측자(예를 들어, 인접 블록들의 MV)는 스케일링되어야 한다.
예 3. 일 예로서, 시그널링된 MVD 정밀도가 저장된 MV들의 정밀도와 동일한 경우, 어파인 MV들이 재구성된 이후 스케일링이 필요하지 않다. 반면에, MV가 시그널링된 MVD의 정밀도를 갖도록 재구성되면, 저장된 MV들의 정밀도로 스케일링된다.
예 4. 일 예로서, 일반 인터 모드와 AF_INTER 모드는 상기에서 언급된 다른 예들에 기반하여 구현 예들을 선택할 수 있다.
예 5. 일 예로서, 어파인 모드에 대한 MV/MVD 정밀도들을 지시하는 구문 요소(혹은 하나 이상의 비트를 갖는 필드, 예를 들어, 2비트)가 시그널링될 수 있으며, 하기의 시맨틱에 의할 수 있다:
(a) 일 예로서, 0, 1, 및 2와 동일한 구문 요소는 각각 1/4-픽셀, 1/16-픽셀 및 1-픽셀 MV 정밀도를 지시한다.
(b) 혹은 대안적으로, 어파인 모드에서, 0, 1, 및 2와 동일한 구문 요소는 각각 1/4-픽셀, 1-픽셀, 및 1/16-픽셀 MV 정밀도를 지시한다.
(c) 혹은 대안적으로, 어파인 모드에서, 0, 1, 및 2와 동일한 구문 요소는 각각1/16-픽셀, 1/4-픽셀 및 1-픽셀 MV 정밀도를 지시한다.
예 6. 일 예로서, 어파인 모드에 대해 AMVR이 활성화될지 혹은 비활성화될지 여부는 SPS, PPS, VPS, 시퀀스/픽처/슬라이스/헤더/타일 (sequence/picture/slice/header/tile) 등에서 시그널링될 수 있다.
예 7. 일 예로서, 허용된(allowed) MV/MVD 정밀도들의 지시는 SPS, PPS, VPS, 시퀀스/픽처/슬라이스/헤더/타일(sequence/picture/slice/header/tile) 등에서 시그널링될 수 있다.
(a) 선택된 MVD 정밀도의 지시들은 각 코딩 트리 유닛(CTU) 및/혹은 각 영역에 대해 시그널링될 수 있다.
(b) 허용된 MV/MVD 정밀도들의 세트는 현재 블록의 코딩된 모드(예를 들어, 어파인 혹은 논-어파인)에 따를 수 있다.
(c) 허용된 MV/MVD 정밀도들의 세트는 슬라이스 타입/시간적 레이어 인덱스/저지연 검사 플래그(slice type/temporal layer index/low delay check flag)에 따를 수 있다.
(d) 허용된 MV/MVD 정밀도들의 세트는 현재 혹은 인접 블록의 블록 사이즈 및/혹은 블록 형태들에 따를 수 있다.
(e) 허용된 MV/MVD 정밀도들의 세트는 디코딩된 픽처 버퍼에 저장될 MV들의 정밀도에 따를 수 있다.
(i) 일 예로서, 저장된 MV가 X-픽셀이면, 허용된 MV/MVD 정밀도 세트는 적어도 X-픽셀을 가질 수 있다.
상기에 언급된 예들은 하기에 언급될, 비디오 인코더 혹은 비디오 디코더에서 구현될 수 있는 방법(예를 들어, 방법(2200, 2300))의 맥락으로 통합될 수 있다.
도 22는 예제적인 비디오 디코딩 방법의 흐름도를 나타낸 것이다. 방법(2200)은 단계 (2210)에서, 현재 비디오 블록에 연관된 각 움직임 벡터에 대한 해상도를 적응적으로 선택하는 코딩 도구를 사용하여 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 간의 변환을 위해 최종 움직임 벡터를 결정하는 단계를 포함한다. 여기서, 최종 움직임 벡터의 정밀도는 현재 비디오 블록의 저장된 움직임 벡터의 정밀도와 동일하다.
방법 (2200)은, 단계 (2220)에서, 최종 움직임 벡터에 기반하여, 비트스트림 표현과 현재 비디오 블록 간의 변환을 수행하는 단계를 포함한다.
도 23은 예제적인 비디오 디코딩 방법의 흐름도를 나타낸 것이다. 방법(2300)은 단계(2310)에서, 현재 비디오 블록과 연관된 각 움직임 벡터에 대한 해상도를 적응적으로 선택하는 코딩 도구를 사용하여 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 간의 변환을 위해, 최종 움직임 벡터를 결정하는 단계를 포함한다. 여기서, 현재 비디오 블록은 어파인 모드로 코딩되고, 비트스트림 표현은 현재 비디오 블록과 연관된 움직임 벡터 정밀도 혹은 움직임 벡터 차분을 지시하는 하나 이상의 비트를 갖는 필드를 포함한다.
방법(2300)은 단계(2320)에서, 최종 움직임 벡터에 기반하여 비트스트림 표현과 현재 비디오 블록 간의 변환을 수행하는 단계를 포함한다.
일부 구현에서, 하기와 같은 기술적 해결책들이 구현될 수 있다:
A1. 비디오 처리 방법(예를 들어, 도 22의 방법(2200))은, 현재 비디오 블록과 상기 현재 비디오 블록의 비트스트림 표현간의 변환을 위해 상기 현재 비디오와 연관된 각 움직임 벡터에 대한 해상도를 적응적으로 선택하는 코딩 도구를 사용하여, 최종 움직임 벡터를 결정(2210)하는 단계, 여기서 상기 최종 움직임 벡터의 정밀도는 상기 현재 비디오 블록의 저장된 움직임 벡터의 정밀도와 동일하고; 상기 최종 움직임 벡터에 기반하여, 상기 비트스트림 표현과 상기 현재 비디오 블록 간의 변환을 수행(2220)하는 단계를 포함한다.
A2. A1의 방법에 있어서, 상기 최종 움직임 벡터의 정밀도는 1/16-픽셀이다.
A3. A1의 방법에 있어서, 상기 최종 움직임 벡터의 정밀도는 1/8-픽셀이다.
A4. A1 부터 A3 중 어느 한 방법에 있어서, 상기 최종 움직임 벡터는 움직임 벡터 예측자(motion vector predictor, MVP)을 움직임 벡터 차분(MVD)에 가산하는 것을 기반으로 한다.
A5. A4의 방법에 있어서, 상기 MVD는 상기 MVP를 상기 MVD에 가산함에 앞서 스케일링된다.
A6. A4의 방법에 있어서, 상기 MVP는 공간적으로 혹은 시간적으로 이웃한 블록으로부터 유도된다.
A7. A4의 방법에 있어서, 상기 MVP는 기본(default) MVP이다.
A8. A6 혹은 A7중 어느 하나의 방법에 있어서, 상기 MVP는 상기 MVP를 상기 MVD에 가산하기에 앞서 변경된다.
A9. A7의 방법에 있어서, 상기 MVP의 변경은 상기 MVD의 정밀도에 기반한다.
A10. A9의 방법에 있어서, 상기 MVD의 정밀도가 분수라는 결정에 따라 상기 MVP 스케일링 작업을 우회하는 단계;를 더 포함한다.
A11. A9의 방법에 있어서, 상기 MVD의 정밀도가 1 이하라는 결정에 따라 상기 MVP를 스케일링 하는 단계;를 더 포함한다.
A12. A4의 방법에 있어서, 상기 MVD의 정밀도가 상기 저장된 움직임 벡터의 정밀도와 동일하다는 결정에 따라 상기 최종 움직임 벡터에 대한 스케일링 작업을 우회하는 단계;를 더 포함한다.
*A13. A4의 방법에 있어서, 상기 저장된 움직임 벡터의 정밀도와 상기 MVD 의 정밀도가 상이하다는 결정에 따라 상기 최종 움직임 벡터를 스케일링하는 단계;를 더 포함한다.
A14. A1에서 A13 중 어느 한 방법에 있어서, 상기 현재 비디오 블록은 논-어파인 화면간 모드(non-affine inter mode)혹은 어파인 화면간 모드(affine inter mode)로 코딩된다.
A15. A1에서 A14 중 어느 한 방법에 있어서, 각 움직임 벡터의 해상도를 적응적으로 선택하는 상기 코딩 도구는 적응적 움직임 벡터 해상도(adaptive motion vector resolution, AMVR) 도구이다.
A16. A1에서 A15 중 어느 한 방법에 있어서, 상기 변환은 상기 비트스트림 표현으로부터 상기 현재 비디오 블록을 생성한다.
A17. A1에서 A15중 어느 한 방법에 있어서, 상기 변환은 상기 현재 비디오 블록으로부터 상기 비트스트림 표현을 생성한다.
A18. 비디오 시스템에서, 복수의 명령어를 포함하는 비-일시적 메모리 및 프로세서를 포함하는 장치에 있어서, 상기 명령어는 상기 프로세서에 의해 실행되고, 상기 프로세서가 상기 명령어에 의해 A1부터 A17중 어느 한 방법을 실행한다.
A19. 비-일시적 컴퓨터 읽기 가능한 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램은 A1부터 A17 중 어느 한 방법을 실행하기 위한 프로그램 코드를 포함한다.
또한, 상기 기술적 해결책들에 더하여, 일부 실시예에서, 다음 해결책들도 구현될 수 있다.
B1. 비디오 처리 방법은, 현재 비디오 블록과 상기 현재 비디오 블록의 비트스트림 표현간의 변환을 위해 상기 현재 비디오 블록과 연관된 각 움직임 벡터의 해상도를 적응적으로 선택하는 코딩 도구를 사용하여 최종 움직임 벡터를 결정하는 단계, 여기서 상기 현재 비디오 블록은 어파인 모드로 코딩되고, 상기 비트스트림 표현은 상기 현재 비디오 블록과 연관된 움직임 벡터 차분 혹은 움직임 벡터 정밀도를 지시하는 하나 이상의 비트를 갖는 필드를 포함한다; 또한, 상기 최종 움직임 벡터에 기반하여, 상기 비트스트림 표현과 상기 현재 비디오 블록 간의 변환을 수행하는 단계를 포함한다.
B2. B1의 방법에 있어서, 상기 필드의 서로 다른 값들은 상기 움직임 벡터 차분 혹은 상기 움직임 벡터의 정밀도가 1/4-픽셀, 1/16픽셀 혹은 1-픽셀임을 지시한다.
B3. B2의 방법에 있어서, 상기 필드 값이 0, 1, 혹은 2이면 상기 움직임 벡터의 정밀도는 각각 1/4-픽셀, 1/16-픽셀 및 1-픽셀임에 대응된다.
B4. B2의 방법에 있어서, 상기 필드 값이 0, 1, 혹은 2 이면 상기 움직임 벡터의 정밀도는 각각 1/4-픽셀, 1/16-픽셀 및 1-픽셀임에 대응된다.
B5. B2의 방법에 있어서, 상기 필드 값이 0, 1, 혹은 2 이면 상기 움직임 벡터의 정밀도는 각각 1/16-픽셀, 1/4-픽셀 및 1-픽셀임에 대응된다.
B6. B1 부터 B5 중 어느 한 방법에 있어서, 어파인 모드를 위한 상기 코딩 도구는 시퀀스 파라미터 세트(Sequence parameter set, SPS), 픽처 파라미터 세트(Picture parameter set, PPS), 비디오 파라미터 세트(Video Parameter set, VPS), 슬라이스 헤더, 타일 헤더, 시퀀스 헤더 혹은 픽처 헤더에서의 시그널링을 기반으로 활성화된다.
B7. B1부터 B5중 어느 한 방법에 있어서, 어파인 모드 혹은 논-어파인 모드를 위한 상기 움직임 벡터의 정밀도 혹은 상기 움직임 벡터 차분에 대해 허용된 값들의 세트는 시퀀스 파라미터 세트(Sequence parameter set, SPS), 픽처 파라미터 세트(Picture parameter set, PPS), 비디오 파라미터 세트(Video Parameter set, VPS), 슬라이스 헤더, 타일 헤더, 시퀀스 헤더 혹은 픽처 헤더에서 시그널링 된다.
B8. B7의 방법에 있어서, 상기 허용된 값들의 세트는 상기 현재 블록의 각 코딩 트리 유닛(coding tree unit, CTU)에 대해 시그널링 된다.
B8. B7의 방법에 있어서, 상기 허용된 값들의 세트는 상기 현재 블록의 각 코딩 트리 유닛(coding tree unit, CTU)에 대해 시그널링 된다.
B9. B7의 방법에 있어서, 상기 허용된 값들의 세트는 상기 현재 블록의 코딩 모드 혹은 차원에 기반한다.
B10. B9의 방법에 있어서, 상기 코딩 모드는 어파인 모드 혹은 논-어파인 모드이다.
B11. B7의 방법에 있어서, 상기 허용된 값들의 세트는 슬라이스 타입, 시간적 레이어 인덱스(temporal layer index) 혹은 저지연 검사 플래그(low delay check flag)를 기반으로 한다.
B12. B7의 방법에 있어서, 상기 허용된 값들의 세트는 디코딩된 픽처 버퍼에 저장된 움직임 벡터의 정밀도에 기반한다.
B13. B1부터 B12 중 어느 한 방법에 있어서, 각 움직임 벡터의 해상도를 적응적으로 선택하는 상기 코딩 도구는 적응적 움직임 벡터 해상도(adaptive motion vector resolution, AMVR) 도구이다.
B14. B1 부터 B13 중 어느 한 방법에 있어서, 상기 변환은 상기 비트스트림 표현으로부터 상기 현재 비디오 블록을 생성한다.
B15. B1부터 B13 중 어느 한 방법에 있어서, 상기 변환은 상기 현재 비디오 블록으로부터 상기 비트스트림 표현을 생성한다.
B16. 비디오 시스템에서, 프로세서 및 복수의 명령어가 저장된 비-일시적 메모리를 포함하는 장치에 있어서, 상기 명령어는 상기 프로세서에 의해 실행되고, 상기 프로세서가 상기 명령어에 의해 상기 B1부터 B15 중 어느 한 방법을 실행한다.
B17. 비-일시적 컴퓨터 읽기 가능한 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램은 B1 부터 B15 중 어느 한 방법을 실행하기 위한 프로그램 코드를 포함한다.
5. 개시된 기술의 구현 예들
도 25는 비디오 처리 장치(2400)의 블록도를 나타낸 것이다. 장치(2400)는 여기서 개시된 하나 혹은 그 이상의 방법을 실시할 수 있다. 장치(2400)은 스마트폰, 타블렛(tablet), 컴퓨터, IoT 수신기(IoT receiver) 등등으로 구현될 수 있다. 장치(2400)는 하나 혹은 그 이상의 프로세서(2402)를 포함할 수 있으며, 하나 혹은 그 이상의 메모리 (2404), 및 비디오 처리 하드웨어(2406)를 포함할 수 있다. 프로세서(들)(2402)는 본 명세서에 개시된 하나 혹은 그 이상의 방법(방법(2200, 2300)을 포함하나, 이에 제한되는 것은 아님)을 실시할 수 있다. 메모리(메모리들)(2404)는 본 명세서에 개시된 데이터나, 방법 혹은 기술들을 구현하기 위한 코드를 저장하기 위해 사용될 수 있다. 비디오 처리 하드웨어(2406)는 본 명세서에서 개시된 기술을 하드웨어 회로 내에서 구현하는 데 사용될 수 있다.
일부 실시예에서, 비디오 코딩 방법은 도 24를 참조하여 개시된 하드웨어 플랫폼 상에서 구현된 장치를 사용하여 구현될 수 있다.
도 25는 본 명세서에서 개시된 다양한 기술이 구현될 수 있는 비디오 처리 시스템(2500)의 일 예를 블록도로 나타낸 것이다. 다양한 실시예들이 이 시스템(2500)의 일부 혹은 전체의 컴포넌트들을 포함할 수 있다. 시스템(2500)은 비디오 컨텐츠를 수신하기 위한 입력(2502)을 포함할 수 있다. 비디오 컨텐츠는 raw 포맷 혹은 압축되지 않은(uncompressed) 포맷, 예를 들어, 8 혹은 10 비트 멀티-컴포넌트 픽셀 값들로 수신될 수 있으며, 혹은, 압축된(compressed) 포맷 및 인코딩된 포맷일 수 있다. 입력(2502)는 네트워크 인터페이스를 표현할 수 있으며, 주변의 버스 인터페이스, 혹은 스토리지 인터페이스일 수 있다. 네트워크 인터페이스의 예에는 PON(passive optical network), 이더넷(Ethernet) 등과 같은 유선 인터페이스들이 포함되며, Wi-Fi나 셀룰러 인터페이스와 같은 무선 인터페이스들도 포함된다.
시스템(2500)은 본 개시에서 설명한 다양한 코딩 혹은 인코딩 방법을 실시할 수 있는 코딩 컴포넌트(2504)를 포함할 수 있다. 코딩 컴포넌트(2504)는 비디오의 코딩된 표현을 생성하기 위해, 입력(2502)으로부터 코딩 컴포넌트(2504)의 출력까지의 비디오의 평균 비트율을 감소시킬 수 있다. 그래서 코딩 기술은 비디오 압축 혹은 비디오 트랜스코딩 기술로 불리기도 한다. 코딩 컴포넌트(2504)의 출력은 컴포넌트(2506)에서 표현된 바와 같이, 저장되거나, 연결된 통신을 통해 전송될 수 있다. 입력 (2502)에서 수신된 비디오의 저장된 혹은 통신된 비트스트림(혹은 코딩된) 표현은 픽셀 값들이나, 디스플레이 인터페이스(2510)에 전송되는 디스플레이할 수 있는 비디오를 생성하기 위해 컴포넌트(2508)에 의해 사용될 수 있다. 사용자가 볼 수 있는 비디오를 비트스트림 표현으로부터 생성하는 과정은 비디오 압축 해제(decompression) 과정으로 불리기도 한다. 또한, 특정 비디오 처리 작업은 코딩 작업 혹은 코딩 도구로 지칭되지만, 이러한 코딩 도구 혹은 코딩 작업은 인코더에서 사용 되고, 디코더에서 수행되는 코딩 결과를 반전시키는 해당 디코더 도구 혹은 작업에서 디코더에 의해 수행될 것으로 이해된다.
주변의 버스 인터페이스(peripheral bus interface) 혹은 디스플레이 인터페이스의 예에는 USB(universal serial bus) 혹은 HDMI(high definition multimedia interface) 혹은 DisplayPort 등이 포함된다. 스토리지 인터페이스의 예들에는 SATA (serial advanced technology attachment), PCI, IDE 인퍼페이스(interface) 등이 포함된다. 본 개시에서 설명된 기술은 모바일 폰(mobile phones), 랩탑(laptops) 및 디지털 데이터 처리 및/혹은 비디오 디스플레이가 가능한 다른 기기와 같은 다양한 전자 기기에서 구체화될 수 있다.
상기로부터, 현재 개시된 기술의 구체적인 실시예들은 여기서 설명의 목적을 위해 기재되었으며, 본 발명의 범위에서 벗어나지 않는 한 다양한 수정이 이루어질 수 있다는 점이 이해될 것이다. 따라서, 현재 개시된 기술은 첨부된 청구항들에 의하는 바를 제외하고는 한정되지 않는다.
개시된 실시예들 및 다른 실시예들, 그리고 본 문서에 기재된 모듈 및 기능적 작업들은 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있으며, 여기에는 본 문서에서 개시된 구조들 및 구조적 등가물들, 또는 그 중 하나 이상의 조합이 포함될 수 있다. 개시된 실시예들 및 다른 실시예들은 하나 이상의 컴퓨터 프로그램 제품들로, 즉, 컴퓨터 판독 가능한 매체에 코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈들로서 구현되어, 데이터 처리 장치에 의해 실행하거나, 또는 상기 장치의 작동을 제어할 수 있다. 상기 컴퓨터 판독 가능한 매체는 기계 판독 가능한 저장 디바이스, 기계 판독 가능한 저장 기판, 메모리 디바이스, 기계 판독 가능한 전파된 신호를 달성하는 물질의 조성, 또는 이들 중 하나 이상의 조합일 수 있다. 용어 "데이터 처리 장치"는, 데이터를 처리하기 위한 모든 장치, 디바이스 및 기계를 포괄하며, 예를 들어, 프로그래머블 프로세서, 컴퓨터, 또는 다중 프로세서 또는 컴퓨터들을 포함한다. 상기 장치는, 장치는 또한 하드웨어 외에도, 당해 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드를 포함할 수 있고, 코드는 예를 들어, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 시스템, 또는 이들 중 하나 이상의 조합을 구성한다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드로도 알려짐)은 컴파일 또는 인터프리터 언어를 포함하는 모든 형태의 프로그래밍 언어로 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 또는 컴퓨터 환경에서 사용하기에 적합한 그 밖의 유닛을 포함하는 임의의 형태로도 배치될 수 있다. 컴퓨터 프로그램이 파일 시스템의 파일에 반드시 상응해야 하는 것은 아니다. 프로그램은 다른 프로그램 또는 데이터를 보유하는 파일의 일부에 저장되거나(예를 들어, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트), 당해 프로그램 전용의 단일 파일에 저장되거나, 또는 다수의 조직화된 파일들(예를 들어, 하나 이상의 모듈, 서브프로그램, 코드의 부분을 저장하는 파일)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터에서, 또는 한 위치에 배치되거나 또는 다수의 위치에 걸쳐서 분산되고 통신 네트워크에 의해 접속된 다수의 컴퓨터에서 실행되도록 배치될 수 있다.
본 문서에서 설명된 프로세스와 논리 흐름은 하나 이상의 프로그래밍 가능한 프로세서에 의해 수행될 수 있고, 이 프로그래머블 프로세서는 입력 데이터에 작용하여 출력을 생성함으로써 기능을 수행하는 하나 이상의 컴퓨터 프로그램들을 실행한다. 예를 들어, FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)과 같은 전용 논리 회로가 프로세스와 논리 흐름을 수행하고 장치로서 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서에는, 예를 들어, 범용 및 전용 마이크로프로세서 및 임의 종류의 디지털 컴퓨터 중 하나 이상의 프로세서가 있다. 일반적으로, 프로세서는 판독 전용 메모리(ROM), 또는 랜덤 액세스 메모리(RAM), 또는 양자로부터 명령어들과 데이터를 수신한다. 컴퓨터의 필수 구성요소는 명령을 실행하는 프로세서 및 명령어와 데이터를 저장하는 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스, 예를 들어, 자기 디스크, 광자기 디스크, 또는 광디스크를 포함하거나, 또는 이 디바이스와 데이터를 송수신하기 위하여 동작적으로(operatively) 결합될 수 있다. 하지만 컴퓨터는 이러한 디바이스를 구비할 필요는 없다. 컴퓨터 프로그램 명령어들과 데이터를 저장하기 적합한 컴퓨터 판독가능 매체에는, 예를 들어, 반도체 메모리 디바이스(예를 들어, EPROM, EEPROM, 플래시 메모리 디바이스), 자기 디스크(예를 들어, 내부 하드디스크, 착탈식 디스크), 광자기 디스크 및 CD ROM과 DVD-ROM 디스크를 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스가 포함된다. 프로세서와 메모리는 전용 논리 회로에 의해 보완되거나 또는 전용 논리 회로에 통합될 수 있다.
첨부된 도면과 함께 본 명세서는 단지 예시적인 것으로 간주되며, 여기서 예시(exemplary)는 예(example)를 의미한다. 본 명세서에서 "또는(혹은, or)"은 문맥이 달리 명백하게 나타내지 않는 한 "및/또는"으로 사용된다.
본 특허문서가 다수의 특정한 구현 세부사항을 포함하고 있지만, 이는 임의 구현예의 범위나 청구할 사항의 범위에 대한 어떠한 제한으로서도 이해되어서는 안 되며, 특정한 구현예들의 특정한 실시예에 고유할 수 있는 특징의 설명으로서 이해되어야 한다. 별개의 실시예들의 맥락에서 본 특허 문서에서 설명된 소정의 특징들은 조합되어 단일 실시예로 구현될 수도 있다. 반대로, 단일 실시예의 맥락에서 설명한 다양한 특징들은 복수의 실시예에서 별개로 구현되거나 어떤 적당한 하위 조합으로서도 구현 가능하다. 또한, 앞에서 특징들이 특정 조합에서 동작하는 것으로서 설명되고 그와 같이 청구되기까지 하였지만, 청구된 조합으로부터의 하나 이상의 특징은 일부 경우에 해당 조합으로부터 삭제될 수 있으며, 청구된 조합은 하위 조합이나 하위 조합의 변형으로 될 수 있다.
마찬가지로, 동작들이 도면들에서 특정한 순서로 묘사되고 있지만, 이는 그러한 동작들이 바람직한 결과를 얻기 위해, 도시한 특정 순서나 순차적인 순서로 수행되어야 한다거나, 도시된 모든 동작들이 수행되어야 한다는 것을 의미하지 않는다. 더욱이, 본 특허 문서에 기재된 실시예에 있어서 다양한 시스템 구성요소들의 분리는 모든 실시예에서 그러한 분리를 요구하는 것으로 이해되어서는 안 된다.
단지 몇 가지 구현들 및 예시들이 기술되었으며, 기타 구현, 개선 및 변형은 본 특허 문서에 기술되고 도시된 것에 기초하여 이루어질 수 있다.

Claims (16)

  1. 비디오 처리 방법에 있어서,
    현재 비디오 블록의 시그널링된 움직임 벡터 차분(MVD)을 위해, 정밀도 세트로부터 제1 정밀도를 결정하는 단계;
    상기 제1 정밀도를 기반으로, 기정의된 제2 정밀도를 갖는 움직임 벡터를 획득하는 단계, 여기서 상기 제2 정밀도는 블록들의 예측을 위해 저장된 움직임 벡터들의 정밀도와 동일하고, 상기 움직임 벡터는 상기 움직임 벡터 차분(MVD)에 움직임 벡터 예측자(MVP)를 더하는 것을 기반으로 하며; 및
    상기 움직임 벡터를 기반으로 상기 현재 비디오 블록을 코딩하는 단계를 포함하는, 비디오 처리 방법.
  2. 제1항에 있어서,
    상기 제2 정밀도는 1/16-픽셀 정밀도인, 비디오 처리 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 움직임 벡터 차분(MVD)은 상기 MVP가 상기 MVD에 더해지기 이전에 스케일링되는, 비디오 처리 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 MVP는 상기 제1 정밀도에 기반하여 상기 MVP를 상기 MVD에 더하기 이전에 수정되는, 비디오 처리 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 MVP의 수정 여부 및 수정 방법은 상기 제1 정밀도를 기반으로 하는, 비디오 처리 방법.
  6. 제5항에 있어서,
    상기 제1 정밀도가 1-픽셀 정밀도보다 거칠거나(coarse) 같다는 결정에 따라 상기 MVP를 스케일링하는 단계를 더 포함하는, 비디오 처리 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 MVP는 공간적 인접 블록 혹은 시간적 인접 블록 중 적어도 하나로부터 유도되거나, 또는 기본(default) MVP인, 비디오 처리 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 정밀도 세트는 1/16-픽셀 정밀도, 1/4-픽셀 정밀도 및 1-픽셀 정밀도를 포함하는, 비디오 처리 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 제1 정밀도는 비트스트림에서 지시되는, 비디오 처리 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 현재 비디오 블록은 어파인 화면 간 모드로 코딩되는, 비디오 처리 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 제1 정밀도는 적응적 움직임 벡터 해상도(AMVR) 툴을 사용하여 결정되는, 비디오 처리 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 코딩하는 단계는 상기 현재 비디오 블록을 비트스트림으로 인코딩하는 것을 포함하는, 비디오 처리 방법.
  13. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 코딩하는 단계는, 비트스트림으로부터 상기 현재 비디오 블록을 디코딩하는 것을 포함하는, 비디오 처리 방법.
  14. 프로세서 및 명령을 갖는 비-일시적 메모리를 포함하는 비디오 처리 장치에 있어서, 상기 명령은 상기 프로세서에 의해 실행되며 상기 프로세서로 하여금,
    현재 비디오 블록의 시그널링된 움직임 벡터 차분(MVD)을 위해, 정밀도 세트로부터 제1 정밀도를 결정하게 하고;
    상기 제1 정밀도를 기반으로, 기정의된 제2 정밀도를 갖는 움직임 벡터를 획득하게 하고, 여기서 상기 제2 정밀도는 블록들의 예측을 위해 저장된 움직임 벡터들의 정밀도와 동일하고, 상기 움직임 벡터는 상기 움직임 벡터 차분(MVD)에 움직임 벡터 예측자(MVP)를 더하는 것을 기반으로 하며; 및
    상기 움직임 벡터를 기반으로 상기 현재 비디오 블록을 코딩하게 하는, 비디오 처리 장치.
  15. 명령이 저장된 비-일시적 컴퓨터 판독 가능한 저장 매체에 있어서, 상기 명령은 프로세서로 하여금,
    현재 비디오 블록의 시그널링된 움직임 벡터 차분(MVD)을 위해, 정밀도 세트로부터 제1 정밀도를 결정하게 하고;
    상기 제1 정밀도를 기반으로, 기정의된 제2 정밀도를 갖는 움직임 벡터를 획득하게 하고, 여기서 상기 제2 정밀도는 블록들의 예측을 위해 저장된 움직임 벡터들의 정밀도와 동일하고, 상기 움직임 벡터는 상기 움직임 벡터 차분(MVD)에 움직임 벡터 예측자(MVP)를 더하는 것을 기반으로 하며; 및
    상기 움직임 벡터를 기반으로 상기 현재 비디오 블록을 코딩하게 하는, 저장 매체.
  16. 비디오 처리 장치가 수행하는 방법에 의해 생성된 비트스트림을 저장하는 비 일시적 컴퓨터 판독 가능한 기록 매체에 있어서, 상기 방법은,
    현재 비디오 블록의 시그널링된 움직임 벡터 차분(MVD)을 위해, 정밀도 세트로부터 제1 정밀도를 결정하는 단계;
    상기 제1 정밀도를 기반으로, 기정의된 제2 정밀도를 갖는 움직임 벡터를 획득하는 단계, 여기서 상기 제2 정밀도는 블록들의 예측을 위해 저장된 움직임 벡터들의 정밀도와 동일하고, 상기 움직임 벡터는 상기 움직임 벡터 차분(MVD)에 움직임 벡터 예측자(MVP)를 더하는 것을 기반으로 하며; 및
    상기 움직임 벡터를 기반으로 상기 현재 비디오 블록의 비트스트림을 생성하는 단계를 포함하는, 기록 매체.
KR1020237039683A 2018-09-23 2019-09-23 적응적 움직임 벡터 해상도를 갖는 움직임 벡터 수정 KR20230161543A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN2018107168 2018-09-23
CNPCT/CN2018/107168 2018-09-23
KR1020217006476A KR102613889B1 (ko) 2018-09-23 2019-09-23 적응적 움직임 벡터 해상도를 갖는 움직임 벡터 수정
PCT/IB2019/058034 WO2020058961A1 (en) 2018-09-23 2019-09-23 Modification of motion vector with adaptive motion vector resolution

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217006476A Division KR102613889B1 (ko) 2018-09-23 2019-09-23 적응적 움직임 벡터 해상도를 갖는 움직임 벡터 수정

Publications (1)

Publication Number Publication Date
KR20230161543A true KR20230161543A (ko) 2023-11-27

Family

ID=68136475

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237039683A KR20230161543A (ko) 2018-09-23 2019-09-23 적응적 움직임 벡터 해상도를 갖는 움직임 벡터 수정
KR1020217006476A KR102613889B1 (ko) 2018-09-23 2019-09-23 적응적 움직임 벡터 해상도를 갖는 움직임 벡터 수정

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217006476A KR102613889B1 (ko) 2018-09-23 2019-09-23 적응적 움직임 벡터 해상도를 갖는 움직임 벡터 수정

Country Status (7)

Country Link
US (1) US10841609B1 (ko)
EP (1) EP3834418A1 (ko)
JP (2) JP7307154B2 (ko)
KR (2) KR20230161543A (ko)
CN (3) CN110944191A (ko)
TW (2) TWI815973B (ko)
WO (2) WO2020058962A1 (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2588003B (en) 2018-06-05 2023-04-19 Beijing Bytedance Network Tech Co Ltd Interaction between pairwise average merging candidates and IBC
CN110620933B (zh) * 2018-06-19 2022-05-31 北京字节跳动网络技术有限公司 不同参考列表的不同精度
WO2019244118A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Component-dependent sub-block dividing
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
TW202017377A (zh) 2018-09-08 2020-05-01 大陸商北京字節跳動網絡技術有限公司 視頻編碼和解碼中的仿射模式
TWI815967B (zh) 2018-09-19 2023-09-21 大陸商北京字節跳動網絡技術有限公司 仿射模式編解碼的模式相關自適應調整運動矢量分辨率
WO2020058955A1 (en) 2018-09-23 2020-03-26 Beijing Bytedance Network Technology Co., Ltd. Multiple-hypothesis affine mode
CN110944204B (zh) 2018-09-23 2023-06-09 北京字节跳动网络技术有限公司 简化的空时运动矢量预测
WO2020058957A1 (en) 2018-09-23 2020-03-26 Beijing Bytedance Network Technology Co., Ltd. General applications related to affine motion
WO2020065518A1 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
CN111083485A (zh) 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 仿射模式的运动信息的利用
CN112970262B (zh) 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 三角预测模式中的取整
CN112997487A (zh) 2018-11-15 2021-06-18 北京字节跳动网络技术有限公司 仿射模式与其他帧间编解码工具之间的协调
CN113170105A (zh) 2018-11-16 2021-07-23 北京字节跳动网络技术有限公司 基于历史的仿射参数继承
CN113039796B (zh) * 2018-11-17 2023-09-19 北京字节跳动网络技术有限公司 视频处理中的广义双向预测模式
WO2020125751A1 (en) 2018-12-21 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Information signaling in current picture referencing mode
EP3895429A4 (en) 2019-01-31 2022-08-10 Beijing Bytedance Network Technology Co., Ltd. CONTEXT FOR CODE AN ADAPTIVE MOTION VECTOR RESOLUTION IN AFFINE MODE
CN113491125A (zh) 2019-02-22 2021-10-08 北京字节跳动网络技术有限公司 基于历史的仿射模式子表
CN113647108A (zh) 2019-03-27 2021-11-12 北京字节跳动网络技术有限公司 基于历史的运动矢量预测
KR102609947B1 (ko) 2019-04-02 2023-12-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 양방향 광학 흐름 기반 비디오 코딩 및 디코딩
WO2020211864A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Region based gradient calculation in different motion vector refinements
WO2020211866A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
CN113711609B (zh) 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
SG11202112279WA (en) 2019-05-11 2021-12-30 Beijing Bytedance Network Technology Co Ltd Selective use of coding tools in video processing
KR20220009952A (ko) 2019-05-21 2022-01-25 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브블록 머지 모드에서의 신택스 시그널링
CN114175655B (zh) 2019-07-27 2024-01-02 北京字节跳动网络技术有限公司 根据参考图片类型使用工具的限制
CN114365490A (zh) 2019-09-09 2022-04-15 北京字节跳动网络技术有限公司 高精度图像和视频编解码的系数缩放
CN117376550A (zh) 2019-09-21 2024-01-09 北京字节跳动网络技术有限公司 用于图像和视频编解码的高精度变换和量化
KR20220073752A (ko) 2019-10-12 2022-06-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩 툴들을 위한 상위 레벨 신택스
KR20220078600A (ko) 2019-10-18 2022-06-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처들의 파라미터 세트 시그널링에서의 신택스 제약들
JP7464742B2 (ja) 2020-03-21 2024-04-09 北京字節跳動網絡技術有限公司 参照ピクチャリサンプリング
KR20230002446A (ko) * 2020-04-19 2023-01-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 변환 스킵 잔차 코딩
WO2021254379A1 (en) 2020-06-20 2021-12-23 Beijing Bytedance Network Technology Co., Ltd. Inter layer prediction with different coding block size
US11758151B2 (en) 2020-12-29 2023-09-12 Qualcomm Incorporated Template matching in video coding
WO2022206987A1 (en) * 2021-04-02 2022-10-06 Beijing Bytedance Network Technology Co., Ltd. Adaptive dependent quantization
US11936877B2 (en) * 2021-04-12 2024-03-19 Qualcomm Incorporated Template matching based affine prediction for video coding
US20230093129A1 (en) * 2021-09-17 2023-03-23 Tencent America LLC Method and apparatus for intra block copy mode coding with search range switching
US20230089594A1 (en) * 2021-09-17 2023-03-23 Tencent America LLC Joint motion vector difference coding
WO2023140635A1 (ko) * 2022-01-21 2023-07-27 주식회사 윌러스표준기술연구소 경계 밖 블록을 이용하는 비디오 신호 처리 방법 및 이를 위한 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4355319B2 (ja) * 2002-01-24 2009-10-28 株式会社日立製作所 動画像復号化方法
US8175159B2 (en) * 2002-01-24 2012-05-08 Hitachi, Ltd. Moving picture signal coding method, decoding method, coding apparatus, and decoding apparatus
US10531116B2 (en) * 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
WO2016078599A1 (en) * 2014-11-20 2016-05-26 Mediatek Inc. Method of motion vector and block vector resolution control
US20160337662A1 (en) * 2015-05-11 2016-11-17 Qualcomm Incorporated Storage and signaling resolutions of motion vectors
WO2017156705A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Affine prediction for video coding
RU2696551C1 (ru) * 2016-03-15 2019-08-02 МедиаТек Инк. Способ и устройство для кодирования видео с компенсацией аффинного движения
US10979732B2 (en) * 2016-10-04 2021-04-13 Qualcomm Incorporated Adaptive motion vector precision for video coding
KR102543752B1 (ko) * 2016-12-22 2023-06-14 주식회사 케이티 비디오 신호 처리 방법 및 장치
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
CN112640452A (zh) * 2018-08-29 2021-04-09 Vid拓展公司 用于基于仿射运动模型的视频译码的自适应运动向量精度

Also Published As

Publication number Publication date
CN110944195B (zh) 2023-05-09
TW202025753A (zh) 2020-07-01
JP7307154B2 (ja) 2023-07-11
WO2020058961A1 (en) 2020-03-26
JP2022503715A (ja) 2022-01-12
CN116647697A (zh) 2023-08-25
JP2023078364A (ja) 2023-06-06
EP3834418A1 (en) 2021-06-16
US20200359045A1 (en) 2020-11-12
KR102613889B1 (ko) 2023-12-13
WO2020058962A1 (en) 2020-03-26
CN110944195A (zh) 2020-03-31
CN110944191A (zh) 2020-03-31
TW202019182A (zh) 2020-05-16
TWI815973B (zh) 2023-09-21
KR20210059709A (ko) 2021-05-25
TWI815974B (zh) 2023-09-21
US10841609B1 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
KR102613889B1 (ko) 적응적 움직임 벡터 해상도를 갖는 움직임 벡터 수정
US11451819B2 (en) Clipping of updated MV or derived MV
KR102635047B1 (ko) 적응적 움직임 벡터 해상도를 가지는 어파인 모드에 대한 구문 재사용
US11778170B2 (en) Temporal gradient calculations in bio
US20230388488A1 (en) Harmonized Local Illumination Compensation and Modified Inter Coding Tools
US11729377B2 (en) Affine mode in video coding and decoding
US20220264144A1 (en) Context for coding affine mode adaptive motion vector resolution
US20210360279A1 (en) Fast algorithms for symmetric motion vector difference coding mode
WO2020156525A1 (en) Multiple syntax elements for adaptive motion vector resolution
WO2020070730A2 (en) Size restriction based on affine motion information

Legal Events

Date Code Title Description
A107 Divisional application of patent