KR20210006306A - 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치 - Google Patents

인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치 Download PDF

Info

Publication number
KR20210006306A
KR20210006306A KR1020200083980A KR20200083980A KR20210006306A KR 20210006306 A KR20210006306 A KR 20210006306A KR 1020200083980 A KR1020200083980 A KR 1020200083980A KR 20200083980 A KR20200083980 A KR 20200083980A KR 20210006306 A KR20210006306 A KR 20210006306A
Authority
KR
South Korea
Prior art keywords
prediction
block
sample
control point
motion vectors
Prior art date
Application number
KR1020200083980A
Other languages
English (en)
Inventor
강제원
박승욱
임화평
Original Assignee
현대자동차주식회사
이화여자대학교 산학협력단
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 이화여자대학교 산학협력단, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to PCT/KR2020/008917 priority Critical patent/WO2021006614A1/ko
Priority to US17/263,597 priority patent/US11432002B2/en
Publication of KR20210006306A publication Critical patent/KR20210006306A/ko
Priority to US17/868,953 priority patent/US11785247B2/en
Priority to US17/868,972 priority patent/US11997309B2/en
Priority to US17/868,893 priority patent/US11838538B2/en
Priority to US17/868,990 priority patent/US11849140B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 인터 예측을 이용하여 픽처들을 복호화하는 영상 복호화 장치에 관한 것으로, 상기 영상 복호화 장치는 예측부를 포함한다. 상기 예측부는, 복호화하고자 하는 현재 픽처 내 대상블록의 코너(corner)의 제어점 움직임벡터들을 이용하여 서브블록 단위로 아핀 움직임 예측을 수행함으로써 상기 대상블록 내의 각 서브블록에 대한 아핀 예측샘플들을 생성하고, 상기 제어점 움직임벡터들을 이용하여 상기 각 서브블록들 내의 샘플 위치에 따른 움직임을 보상하는 제1 코딩 툴을 실행함으로써 상기 아핀 예측샘플들의 샘플값들을 수정한다.

Description

인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치{Method and Apparatus for Encoding and Decoding Video by Using Inter Prediction}
본 발명은 영상(비디오)의 부호화 및 복호화에 관한 것으로서, 특히, 인터 예측의 압축 성능을 개선하는 코딩 툴(coding tool)과 관련된다.
비디오 데이터는 음성 데이터나 정지 영상 데이터 등에 비하여 많은 데이터량을 가지기 때문에, 압축을 위한 처리 없이 그 자체를 저장하거나 전송하기 위해서는 메모리를 포함하여 많은 하드웨어 자원을 필요로 한다.
따라서, 통상적으로 비디오 데이터를 저장하거나 전송할 때에는 부호화기를 사용하여 비디오 데이터를 압축하여 저장하거나 전송하며, 복호화기에서는 압축된 비디오 데이터를 수신하여 압축을 해제하고 재생한다. 이러한 비디오 압축 기술로는 H.264/AVC를 비롯하여, H.264/AVC에 비해 약 40% 정도의 부호화 효율을 향상시킨 HEVC(High Efficiency Video Coding)가 존재한다.
그러나, 영상의 크기 및 해상도, 프레임율이 점차 증가하고 있고, 이에 따라 부호화해야 하는 데이터량도 증가하고 있으므로 기존의 압축 기술보다 더 부호화 효율이 좋고 화질 개선 효과도 높은 새로운 압축 기술이 요구된다.
영상(비디오) 부호화에서는 압축 성능의 개선을 위해 예측 부호화가 주로 사용된다. 현재 픽처 내의 기복원된 샘플들을 이용하여 부호화하고자 하는 대상블록을 예측하는 인트라 예측과, 먼저 복원된 참조 픽처 내를 이용하여 현재블록을 예측하는 인터 예측이 존재한다. 특히, 인터 예측은 인트라 예측과 비교하여 압축 성능이 우수하여 비디오 부호화에 많이 사용되고 있다.
본 개시에서는 기존의 인터 예측의 압축 성능을 개선하는 코딩 툴을 제안한다.
본 개시는 인터 예측의 압축 성능을 개선하는 코딩 툴에 관한 것으로, 일 측면으로서, 병진 움직임(translation motion)뿐만 아니라 객체의 다양한 움직임에 대한 보상이 가능한 코딩 툴과 관련된다.
본 개시의 일 측면은, 인터 예측을 이용하여 픽처들을 복호화하는 영상 복호화 장치를 제공한다. 상기 장치는, 복호화하고자 하는 현재 픽처 내 대상블록의 코너(corner)의 제어점 움직임벡터들을 이용하여 서브블록 단위로 아핀 움직임 예측을 수행함으로써 상기 대상블록 내의 각 서브블록에 대한 아핀 예측샘플들을 생성하고, 상기 제어점 움직임벡터들을 이용하여 상기 각 서브블록들 내의 샘플 위치에 따른 움직임을 보상하는 제1 코딩 툴을 실행함으로써 상기 아핀 예측샘플들의 샘플값들을 수정하는 예측부를 포함한다. 상기 예측부는, 상기 제어점 움직임벡터들의 값들 또는 상기 제어점 움직임벡터들 간의 각도 중 적어도 하나에 기반하여 상기 제1 코딩 툴의 실행 여부를 결정한다.
본 개시의 다른 측면은, 인터 예측을 이용하여 픽처들을 부호화하는 영상 부호화 장치를 제공한다. 상기 장치는, 부호화하고자 하는 현재 픽처로부터 분할된 대상블록의 코너(corner)의 제어점 움직임벡터들을 결정하고 상기 제어점 움직임벡터들을 이용하여 서브블록 단위로 아핀 움직임 예측을 수행함으로써 상기 대상블록 내의 각 서브블록에 대한 아핀 예측샘플들을 생성하고, 상기 제어점 움직임벡터들을 이용하여 상기 각 서브블록들 내의 샘플 위치에 따른 움직임을 보상하는 제1 코딩 툴을 실행함으로써 상기 아핀 예측샘플들의 샘플값들을 수정하는 예측부를 포함한다. 상기 예측부는, 상기 제어점 움직임벡터들의 값들 또는 상기 제어점 움직임벡터들 간의 각도 중 적어도 하나에 기반하여 상기 제1 코딩 툴의 실행 여부를 결정한다.
본 개시의 또 다른 측면은, 인터 예측을 이용한 영상 복호화 방법을 제공한다. 상기 방법은, 복호화하고자 하는 대상블록의 코너(corner)의 제어점 움직임벡터들을 이용하여 서브블록 단위로 아핀 움직임 예측을 수행함으로써 상기 대상블록 내의 각 서브블록에 대한 아핀 예측샘플들을 생성하는 단계; 상기 제어점 움직임벡터들의 값들 또는 상기 제어점 움직임벡터들 간의 각도 중 적어도 하나에 기반하여 제1 코딩 툴의 실행 여부를 결정하는 단계; 및, 상기 제1 코딩 툴이 실행될 때, 상기 제어점 움직임벡터들을 이용하여 상기 각 서브블록들 내의 샘플 위치에 따른 움직임을 보상함으로써 상기 아핀 예측샘플들의 샘플값들을 수정하는 단계를 포함한다.
도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다.
도 2는 QTBTTT 구조를 이용하여 블록을 분할하는 방법을 설명하기 위한 도면이다.
도 3은 복수의 인트라 예측 모드들을 나타낸 도면이다.
도 4는 현재블록의 주변블록에 대한 예시도이다.
도 5는 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 블록도이다.
도 6은 본 개시가 제공하는 양방향 옵티컬 플로우(bi-prediction optical flow)의 개념을 설명하기 위한 예시도이다.
도 7은 양방향 옵티컬 플로우에서 블록 경계 샘플에 대한 그래디언트(gradient)를 유도하는 방법을 설명하기 위한 예시도이다.
도 8 및 도 9는 본 개시가 제공하는 아핀 움직임 예측(affine motion prediction)을 설명하기 위한 예시도이다.
도 10은 주변블록의 병진 움직임벡터(translation motion vector)로부터 아핀 움직임 예측을 위한 머지 후보들을 유도하는 방법을 설명하기 위한 예시도이다.
도 11은 본 개시가 제공하는 조명 보상의 일 실시예에 따라 조명 보상 파라미터를 유도하는 방법을 설명하기 위한 예시도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 식별 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다. 이하에서는 도 1을 참조하여 영상 부호화 장치와 이 장치의 하위 구성들에 대하여 설명하도록 한다.
영상 부호화 장치는 블록 분할부(110), 예측부(120), 감산기(130), 변환부(140), 양자화부(145), 재정렬부(150), 엔트로피 부호화부(155), 역양자화부(160), 역변환부(165), 가산기(170), 루프 필터부(180) 및 메모리(190)를 포함하여 구성될 수 있다.
영상 부호화 장치의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
하나의 영상(비디오)는 복수의 픽처들을 포함하는 하나 이상의 시퀀스로 구성된다. 각 픽처들은 복수의 영역으로 분할되고 각 영역마다 부호화가 수행된다. 예를 들어, 하나의 픽처는 하나 이상의 타일(Tile) 또는/및 슬라이스(Slice)로 분할된다. 여기서, 하나 이상의 타일을 타일 그룹(Tile Group)으로 정의할 수 있다. 각 타일 또는/슬라이스는 하나 이상의 CTU(Coding Tree Unit)로 분할된다. 그리고 각 CTU는 트리 구조에 의해 하나 이상의 CU(Coding Unit)들로 분할된다. 각 CU에 적용되는 정보들은 CU의 신택스로서 부호화되고, 하나의 CTU에 포함된 CU들에 공통적으로 적용되는 정보는 CTU의 신택스로서 부호화된다. 또한, 하나의 슬라이스 내의 모든 블록들에 공통적으로 적용되는 정보는 슬라이스 헤더의 신택스로서 부호화되며, 하나 이상의 픽처들을 구성하는 모든 블록들에 적용되는 정보는 픽처 파라미터 셋(PPS, Picture Parameter Set) 혹은 픽처 헤더에 부호화된다. 나아가, 복수의 픽처로 구성된 시퀀스에 공통으로 참조하는 정보들은 시퀀스 파라미터 셋(SPS, Sequence Parameter Set)에 부호화된다. 또한, 하나의 타일 또는 타일 그룹에 공통으로 적용되는 정보는 타일 또는 타일 그룹 헤더의 신택스로서 부호화될 수도 있다. SPS, PPS, 슬라이스 헤더, 타일 또는 타일 그룹 헤더에 포함되는 신택스들은 하이-레벨(high level) 신택스로 칭할 수 있다.
블록 분할부(110)는 CTU(Coding Tree Unit)의 크기를 결정한다. CTU의 크기에 대한 정보(CTU size)는 SPS 또는 PPS의 신택스로서 부호화되어 영상 복호화 장치로 전달된다.
블록 분할부(110)는 영상을 구성하는 각 픽처(picture)를 미리 결정된 크기를 가지는 복수의 CTU(Coding Tree Unit)들로 분할한 이후에, 트리 구조(tree structure)를 이용하여 CTU를 반복적으로(recursively) 분할한다. 트리 구조에서의 리프 노드(leaf node)가 부호화의 기본 단위인 CU(coding unit)가 된다.
트리 구조로는 상위 노드(혹은 부모 노드)가 동일한 크기의 네 개의 하위 노드(혹은 자식 노드)로 분할되는 쿼드트리(QuadTree, QT), 또는 상위 노드가 두 개의 하위 노드로 분할되는 바이너리트리(BinaryTree, BT), 또는 상위 노드가 1:2:1 비율로 세 개의 하위 노드로 분할되는 터너리트리(TernaryTree, TT), 또는 이러한 QT 구조, BT 구조 및 TT 구조 중 둘 이상을 혼용한 구조일 수 있다. 예컨대, QTBT(QuadTree plus BinaryTree) 구조가 사용될 수 있고, 또는 QTBTTT(QuadTree plus BinaryTree TernaryTree) 구조가 사용될 수 있다. 여기서, BTTT를 합쳐서 MTT(Multiple-Type Tree)라 지칭될 수 있다.
도 2는 QTBTTT 분할 트리 구조를 보인다. 도 2에서 보는 바와 같이, CTU는 먼저 QT 구조로 분할될 수 있다. 쿼드트리 분할은 분할 블록(splitting block)의 크기가 QT에서 허용되는 리프 노드의 최소 블록 크기(MinQTSize)에 도달할 때까지 반복될 수 있다. QT 구조의 각 노드가 하위 레이어의 4개의 노드들로 분할되는지 여부를 지시하는 제1 플래그(QT_split_flag)는 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 시그널링된다. QT의 리프 노드가 BT에서 허용되는 루트 노드의 최대 블록 크기(MaxBTSize)보다 크지 않은 경우, BT 구조 또는 TT 구조 중 어느 하나 이상으로 더 분할될 수 있다. BT 구조 및/또는 TT 구조에서는 복수의 분할 방향이 존재할 수 있다. 예컨대, 해당 노드의 블록이 가로로 분할되는 방향과 세로로 분할되는 방향 두 가지가 존재할 수 있다. 도 2와 같이, MTT 분할이 시작되면, 노드들이 분할되었는지 여부를 지시하는 제2 플래그(mtt_split_flag)와, 분할이 되었다면 추가적으로 분할 방향(vertical 혹은 horizontal)을 나타내는 플래그 및/또는 분할 타입(Binary 혹은 Ternary)을 나타내는 플래그가 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 시그널링된다. 대안적으로, 각 노드가 하위 레이어의 4개의 노드들로 분할되는지 여부를 지시하는 제1 플래그(QT_split_flag)를 부호화하기에 앞서, 그 노드가 분할되는지 여부를 지시하는 CU 분할 플래그(split_cu_flag)가 부호화될 수도 있다. CU 분할 플래그(split_cu_flag) 값이 분할되지 않았음을 지시하는 경우, 해당 노드의 블록이 분할 트리 구조에서의 리프 노드(leaf node)가 되어 부호화의 기본 단위인 CU(coding unit)가 된다. CU 분할 플래그(split_cu_flag) 값이 분할됨을 지시하는 경우, 영상 부호화 장치는 전술한 방식으로 제1 플래그부터 부호화를 시작한다.
트리 구조의 다른 예시로서 QTBT가 사용되는 경우, 해당 노드의 블록을 동일 크기의 두 개 블록으로 가로로 분할하는 타입(즉, symmetric horizontal splitting)과 세로로 분할하는 타입(즉, symmetric vertical splitting) 두 가지가 존재할 수 있다. BT 구조의 각 노드가 하위 레이어의 블록으로 분할되는지 여부를 지시하는 분할 플래그(split_flag) 및 분할되는 타입을 지시하는 분할 타입 정보가 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 전달된다. 한편, 해당 노드의 블록을 서로 비대칭 형태의 두 개의 블록으로 분할하는 타입이 추가로 더 존재할 수도 있다. 비대칭 형태에는 해당 노드의 블록을 1:3의 크기 비율을 가지는 두 개의 직사각형 블록으로 분할하는 형태가 포함될 수 있고, 혹은 해당 노드의 블록을 대각선 방향으로 분할하는 형태가 포함될 수도 있다.
CU는 CTU로부터의 QTBT 또는 QTBTTT 분할에 따라 다양한 크기를 가질 수 있다. 이하에서는, 부호화 또는 복호화하고자 하는 CU(즉, QTBTTT의 리프 노드)에 해당하는 블록을 '현재블록'이라 칭한다. QTBTTT 분할의 채용에 따라, 현재블록의 모양은 정사각형뿐만 아니라 직사각형일 수도 있다.
예측부(120)는 현재블록을 예측하여 예측블록을 생성한다. 예측부(120)는 인트라 예측부(122)와 인터 예측부(124)를 포함한다.
인트라 예측부(122)는 현재블록이 포함된 현재 픽처 내에서 현재블록의 주변에 위치한 샘플(참조 샘플)들을 이용하여 현재블록 내의 샘플들을 예측한다. 예측 방향에 따라 복수의 인트라 예측모드가 존재한다. 예컨대, 도 3a에서 보는 바와 같이, 복수의 인트라 예측모드는 planar 모드와 DC 모드를 포함하는 2개의 비방향성 모드와 65개의 방향성 모드를 포함할 수 있다. 각 예측모드에 따라 사용할 주변 샘플과 연산식이 다르게 정의된다.
인트라 예측부(122)는 현재블록을 부호화하는데 사용할 인트라 예측모드를 결정할 수 있다. 일부 예들에서, 인트라 예측부(122)는 여러 인트라 예측모드들을 사용하여 현재블록을 인코딩하고, 테스트된 모드들로부터 사용할 적절한 인트라 예측모드를 선택할 수도 있다. 예를 들어, 인트라 예측부(122)는 여러 테스트된 인트라 예측모드들에 대한 레이트 왜곡(rate-distortion) 분석을 사용하여 레이트 왜곡 값들을 계산하고, 테스트된 모드들 중 최선의 레이트 왜곡 특징들을 갖는 인트라 예측모드를 선택할 수도 있다.
인트라 예측부(122)는 복수의 인트라 예측모드 중에서 하나의 인트라 예측모드를 선택하고, 선택된 인트라 예측모드에 따라 결정되는 주변 샘플(참조 샘플)과 연산식을 사용하여 현재블록을 예측한다. 선택된 인트라 예측모드에 대한 정보는 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 전달된다.
인터 예측부(124)는 움직임 보상 과정을 통해 현재블록에 대한 예측블록을 생성한다. 인터 예측부(124)는 현재 픽처보다 먼저 부호화 및 복호화된 참조픽처 내에서 현재블록과 가장 유사한 블록을 탐색하고, 그 탐색된 블록을 이용하여 현재블록에 대한 예측블록을 생성한다. 그리고, 현재 픽처 내의 현재블록과 참조픽처 내의 예측블록 간의 변위(displacement)에 해당하는 움직임벡터(motion vector)를 생성한다. 일반적으로, 움직임 추정은 루마(luma) 성분에 대해 수행되고, 루마 성분에 기초하여 계산된 모션 벡터는 루마 성분 및 크로마 성분 모두에 대해 사용된다. 현재블록을 예측하기 위해 사용된 참조픽처에 대한 정보 및 움직임벡터에 대한 정보를 포함하는 움직임 정보는 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 전달된다.
인터 예측부(124)는, 예측의 정확성을 높이기 위해, 참조 픽처 또는 참조 블록에 대한 보간을 수행할 수도 있다. 즉, 연속한 두 정수 샘플 사이의 서브 샘플들은 그 두 정수 샘플을 포함한 연속된 복수의 정수 샘플들에 필터 계수들을 적용하여 보간된다. 보간된 참조 픽처에 대해서 현재블록과 가장 유사한 블록을 탐색하는 과정을 수행하면, 움직임 벡터는 정수 샘플 단위의 정밀도(precision)가 아닌 소수 단위의 정밀도까지 표현될 수 있다. 움직임벡터의 정밀도 또는 해상도(resolution)은 부호화하고자 하는 대상 영역, 예컨대, 슬라이스, 타일, CTU, CU 등의 단위마다 다르게 설정될 수 있다. 이와 같은 적응적 움직임벡터 해상도가 적용되는 경우 각 대상 영역에 적용할 움직임벡터 해상도에 대한 정보는 대상 영역마다 시그널링되어야 한다. 예컨대, 대상 영역이 CU인 경우, 각 CU마다 적용된 움직임벡터 해상도에 대한 정보가 시그널링된다. 움직임벡터 해상도에 대한 정보는 후술할 차분 움직임벡터의 정밀도를 나타내는 정보일 수 있다.
한편, 인터 예측부(124)는 양방향 예측(bi-prediction)을 이용하여 인터 예측을 수행할 수 있다. 양방향 예측의 경우, 두 개의 참조 픽처와 각 참조 픽처 내에서 현재블록과 가장 유사한 블록 위치를 나타내는 두 개의 움직임벡터가 이용된다. 인터 예측부(124)는 참조픽처 리스트 0(RefPicList0) 및 참조픽처 리스트 1(RefPicList1)로부터 각각 제1 참조픽처 및 제2 참조픽처를 선택하고, 각 참조픽처 내에서 현재블록과 유사한 블록을 탐색하여 제1 참조블록과 제2 참조블록을 생성한다. 그리고, 제1 참조블록과 제2 참조블록을 평균 또는 가중 평균하여 현재블록에 대한 예측블록을 생성한다. 그리고 현재블록을 예측하기 위해 사용한 두 개의 참조픽처에 대한 정보 및 두 개의 움직임벡터에 대한 정보를 포함하는 움직임 정보를 부호화부(150)로 전달한다. 여기서, 참조픽처 리스트 0은 기복원된 픽처들 중 디스플레이 순서에서 현재 픽처 이전의 픽처들로 구성되고, 참조픽처 리스트 1은 기복원된 픽처들 중 디스플레이 순서에서 현재 픽처 이후의 픽처들로 구성될 수 있다. 그러나 반드시 이에 한정되는 것은 아니며, 디스플레이 순서 상으로 현재 픽처 이후의 기복원 픽처들이 참조픽처 리스트 0에 추가로 더 포함될 수 있고, 역으로 현재 픽처 이전의 기복원 픽처들이 참조픽처 리스트 1에 추가로 더 포함될 수도 있다.
움직임 정보를 부호화하는 데에 소요되는 비트량을 최소화하기 위해 다양한 방법이 사용될 수 있다.
예컨대, 현재블록의 참조픽처와 움직임벡터가 주변블록의 참조픽처 및 움직임벡터와 동일한 경우에는 그 주변블록을 식별할 수 있는 정보를 부호화함으로써, 현재블록의 움직임 정보를 복호화 장치로 전달할 수 있다. 이러한 방법을 '머지 모드 (merge mode)'라 한다.
머지 모드에서, 인터 예측부(124)는 현재블록의 주변블록들로부터 기 결정된 개수의 머지 후보블록(이하, '머지 후보'라 함)들을 선택한다.
머지 후보를 유도하기 위한 주변블록으로는, 도 4에 도시된 바와 같이, 현재 픽처 내에서 현재블록에 인접한 좌측블록(L), 상단블록(A), 우상단블록(AR), 좌하단블록(BL), 좌상단블록(AL) 중에서 전부 또는 일부가 사용될 수 있다. 또한, 현재블록이 위치한 현재 픽처가 아닌 참조픽처(현재블록을 예측하기 위해 사용된 참조픽처와 동일할 수도 있고 다를 수도 있음) 내에 위치한 블록이 머지 후보로서 사용될 수도 있다. 예컨대, 참조픽처 내에서 현재블록과 동일 위치에 있는 블록(co-located block) 또는 그 동일 위치의 블록에 인접한 블록들이 머지 후보로서 추가로 더 사용될 수 있다.
인터 예측부(124)는 이러한 주변블록들을 이용하여 기 결정된 개수의 머지 후보를 포함하는 머지 리스트를 구성한다. 머지 리스트에 포함된 머지 후보들 중에서 현재블록의 움직임정보로서 사용할 머지 후보를 선택하고 선택된 후보를 식별하기 위한 머지 인덱스 정보를 생성한다. 생성된 머지 인덱스 정보는 부호화부(150)에 의해 부호화되어 복호화 장치로 전달된다.
움직임 정보를 부호화하기 위한 또 다른 방법은 AMVP 모드이다.
AMVP 모드에서, 인터 예측부(124)는 현재블록의 주변블록들을 이용하여 현재블록의 움직임벡터에 대한 예측 움직임벡터 후보들을 유도한다. 예측 움직임벡터 후보들을 유도하기 위해 사용되는 주변블록으로는, 도 2에 도시된 현재 픽처 내에서 현재블록에 인접한 좌측블록(L), 상단블록(A), 우상단블록(AR), 좌하단블록(BL), 좌상단블록(AL) 중에서 전부 또는 일부가 사용될 수 있다. 또한, 현재블록이 위치한 현재 픽처가 아닌 참조픽처(현재블록을 예측하기 위해 사용된 참조픽처와 동일할 수도 있고 다를 수도 있음) 내에 위치한 블록이 예측 움직임벡터 후보들을 유도하기 위해 사용되는 주변블록으로서 사용될 수도 있다. 예컨대, 참조픽처 내에서 현재블록과 동일 위치에 있는 블록(co-located block) 또는 그 동일 위치의 블록에 인접한 블록들이 사용될 수 있다.
인터 예측부(124)는 이 주변블록들의 움직임벡터를 이용하여 예측 움직임벡터 후보들을 유도하고, 예측 움직임벡터 후보들을 이용하여 현재블록의 움직임벡터에 대한 예측 움직임벡터를 결정한다. 그리고, 현재블록의 움직임벡터로부터 예측 움직임벡터를 감산하여 차분 움직임벡터를 산출한다.
예측 움직임벡터는 예측 움직임벡터 후보들에 기 정의된 함수(예컨대, 중앙값, 평균값 연산 등)를 적용하여 구할 수 있다. 이 경우, 영상 복호화 장치도 기 정의된 함수를 알고 있다. 또한, 예측 움직임벡터 후보를 유도하기 위해 사용하는 주변블록은 이미 부호화 및 복호화가 완료된 블록이므로 영상 복호화 장치도 그 주변블록의 움직임벡터도 이미 알고 있다. 그러므로 영상 부호화 장치는 예측 움직임벡터 후보를 식별하기 위한 정보를 부호화할 필요가 없다. 따라서, 이 경우에는 차분 움직임벡터에 대한 정보와 현재블록을 예측하기 위해 사용한 참조픽처에 대한 정보가 부호화된다.
한편, 예측 움직임벡터는 예측 움직임벡터 후보들 중 어느 하나를 선택하는 방식으로 결정될 수도 있다. 이 경우에는 차분 움직임벡터에 대한 정보 및 현재블록을 예측하기 위해 사용한 참조픽처에 대한 정보와 함께, 선택된 예측 움직임벡터 후보를 식별하기 위한 정보가 추가로 부호화된다.
감산기(130)는 현재블록으로부터 인트라 예측부(122) 또는 인터 예측부(124)에 의해 생성된 예측블록을 감산하여 잔차블록을 생성한다.
변환부(140)는 잔차블록을 하나 이상의 서브블록들로 나누고, 변환을 하나 이상의 서브블록들에 적용하여, 변환블록들의 잔차 값들을 샘플 도메인에서 주파수 도메인으로 변환한다. 주파수 도메인에서, 변환된 블록들은 하나 이상의 변환 계수 값들을 포함하는 계수블록(coefficient block)들 또는 변환블록(transform block)이라고 지칭된다. 변환에는 2차원 변환 커널이 사용될 수 있으며, 수평 방향 변환과 수직 방향 방향에 각각 1차원 변환 커널이 사용될 수도 있다. 변환 커널은 이산 코사인 변환(DCT), 이산 사인 변환(DST) 등에 기반할 수 있다.
변환부(140)는 잔차블록의 전체 크기를 변환 단위로 사용하여 잔차블록 내의 잔차 신호들을 변환할 수 있다. 또는, 잔차블록을 복수 개의 서브블록으로 분할하고 그 서브블록을 변환 단위로 사용하여 서브블록 내의 잔차 신호들을 변환할 수도 있다.
한편, 변환부(140)는 잔차블록에 대해 가로 방향과 세로 방향으로 개별적으로 변환을 수행할 수 있다. 변환을 위해, 다양한 타입의 변환 함수 또는 변환 매트릭스가 사용될 수 있다. 예컨대, 가로 방향 변환과 세로 방향 변환을 위한 변환 함수의 쌍을 MTS(Multiple Transform Set)로 정의할 수 있다. 변환부(140)는 MTS 중 변환 효율이 가장 좋은 하나의 변환 함수 쌍을 선택하고 가로 및 세로 방향으로 각각 잔차블록을 변환할 수 있다. MTS 중에서 선택된 변환 함수 쌍에 대한 정보(mts_idx)는 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 시그널링된다.
양자화부(145)는 변환부(140)로부터 출력되는 변환 계수들을 양자화 파라미터를 이용하여 양자화하고, 양자화된 변환 계수들을 엔트로피 부호화부(155)로 출력한다. 양자화부(145)는, 어떤 블록 혹은 프레임에 대해, 변환 없이, 관련된 잔차 블록을 곧바로 양자화할 수도 있다. 양자화부(145)는 변환블록 내의 변환 계수들의 위치에 따라 서로 다른 양자화 계수(스케일링 값)을 적용할 수도 있다. 2차원으로 배열된 양자화된 변환 계수들에 적용되는 양자화 계수들의 행렬은 부호화되어 영상 복호화 장치로 시그널링될 수 있다.
재정렬부(150)는 양자화된 잔차값에 대해 계수값의 재정렬을 수행할 수 있다. 재정렬부(150)는 계수 스캐닝(coefficient scanning)을 통해 2차원의 계수 어레이를 1차원의 계수 시퀀스로 변경할 수 있다. 예를 들어, 재정렬부(150)에서는 지그-재그 스캔(zig-zag scan) 또는 대각선 스캔(diagonal scan)을 이용하여 DC 계수부터 고주파수 영역의 계수까지 스캔하여 1차원의 계수 시퀀스를 출력할 수 있다. 변환 단위의 크기 및 인트라 예측모드에 따라 지그-재그 스캔 대신 2차원의 계수 어레이를 열 방향으로 스캔하는 수직 스캔, 2차원의 블록 형태 계수를 행 방향으로 스캔하는 수평 스캔이 사용될 수도 있다. 즉, 변환 단위의 크기 및 인트라 예측모드에 따라 지그-재그 스캔, 대각선 스캔, 수직 방향 스캔 및 수평 방향 스캔 중에서 사용될 스캔 방법이 결정될 수도 있다.
엔트로피 부호화부(155)는, CABAC(Context-based Adaptive Binary Arithmetic Code), 지수 골롬(Exponential Golomb) 등의 다양한 부호화 방식을 사용하여, 재정렬부(150)로부터 출력된 1차원의 양자화된 변환 계수들의 시퀀스를 부호화함으로써 비트스트림을 생성한다.
또한, 엔트로피 부호화부(155)는 블록 분할과 관련된 CTU size, CU 분할 플래그, QT 분할 플래그, MTT 분할 타입, MTT 분할 방향 등의 정보를 부호화하여, 영상 복호화 장치가 영상 부호화 장치와 동일하게 블록을 분할할 수 있도록 한다. 또한, 엔트로피 부호화부(155)는 현재블록이 인트라 예측에 의해 부호화되었는지 아니면 인터 예측에 의해 부호화되었는지 여부를 지시하는 예측 타입에 대한 정보를 부호화하고, 예측 타입에 따라 인트라 예측정보(즉, 인트라 예측모드에 대한 정보) 또는 인터 예측정보(머지 모드의 경우 머지 인덱스, AMVP 모드의 경우 참조픽처 인덱스 및 차분 움직임벡터에 대한 정보)를 부호화한다. 또한, 엔트로피 부호화부(155)는 양자화와 관련된 정보, 즉, 양자화 파라미터에 대한 정보 및 양자화 행렬에 대한 정보를 부호화한다.
역양자화부(160)는 양자화부(145)로부터 출력되는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 생성한다. 역변환부(165)는 역양자화부(160)로부터 출력되는 변환 계수들을 주파수 도메인으로부터 공간 도메인으로 변환하여 잔차블록을 복원한다.
가산부(170)는 복원된 잔차블록과 예측부(120)에 의해 생성된 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 샘플들은 다음 순서의 블록을 인트라 예측할 때 참조 샘플로서 사용된다.
루프(loop) 필터부(180)는 블록 기반의 예측 및 변환/양자화로 인해 발생하는 블록킹 아티팩트(blocking artifacts), 링잉 아티팩트(ringing artifacts), 블러링 아티팩트(blurring artifacts) 등을 줄이기 위해 복원된 샘플들에 대한 필터링을 수행한다. 루프 필터부(180)는 디블록킹 필터(182), SAO(Sample Adaptive Offset) 필터(184) 및 ALF(Adaptive Loop Filter, 186) 중 하나 이상을 포함할 수 있다.
디블록킹 필터(182)는 블록 단위의 부호화/복호화로 인해 발생하는 블록킹 현상(blocking artifact)을 제거하기 위해 복원된 블록 간의 경계를 필터링하고, SAO 필터(184)는 디블록킹 필터링된 영상에 대해 추가적인 필터링을 수행한다. SAO 필터(184)는 손실 부호화(lossy coding)로 인해 발생하는 복원된 샘플과 원본 샘플 간의 차이를 보상하기 위해 사용되는 필터로서, 각 복원된 샘플들에 그에 대응하는 오프셋에 가산되는 방식으로 수행된다. ALF(186)는 필터링을 수행할 대상 샘플 및 그 대상 샘플의 주변샘플들에 필터 계수들을 적용하여 대상 샘플에 대한 필터링을 수행한다. ALF(186)는 영상에 포함된 샘플을 소정의 그룹으로 나눈 후 해당 그룹에 적용될 하나의 필터를 결정하여 그룹마다 차별적으로 필터링을 수행할 수 있다. ALF에 사용될 필터 계수들에 대한 정보는 부호화되어 영상 복호화 장치로 시그널링될 수 있다.
루프 필터부(180)를 통해 필터링된 복원블록은 메모리(190)에 저장된다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용될 수 있다.
도 5는 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 기능 블록도이다. 이하에서는 도 5를 참조하여 영상 복호화 장치와 이 장치의 하위 구성들에 대하여 설명하도록 한다.
영상 복호화 장치는 엔트로피 복호화부(510), 재정렬부(515), 역양자화부(520), 역변환부(530), 예측부(540), 가산기(550), 루프 필터부(560) 및 메모리(570)를 포함하여 구성될 수 있다.
도 1의 영상 부호화 장치와 마찬가지로, 영상 복호화 장치의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
엔트로피 복호화부(510)는 영상 부호화 장치에 의해 생성된 비트스트림을 복호화하여 블록 분할과 관련된 정보를 추출함으로써 복호화하고자 하는 현재블록을 결정하고, 현재블록을 복원하기 위해 필요한 예측정보와 잔차신호에 대한 정보 등을 추출한다.
엔트로피 복호화부(510)는 SPS(Sequence Parameter Set) 또는 PPS(Picture Parameter Set)로부터 CTU size에 대한 정보를 추출하여 CTU의 크기를 결정하고, 픽처를 결정된 크기의 CTU로 분할한다. 그리고, CTU를 트리 구조의 최상위 레이어, 즉, 루트 노드로 결정하고, CTU에 대한 분할정보를 추출함으로써 트리 구조를 이용하여 CTU를 분할한다.
예컨대, QTBTTT 구조를 사용하여 CTU를 분할하는 경우, 먼저 QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 MTT의 분할과 관련된 제2 플래그(MTT_split_flag) 및 분할 방향(vertical / horizontal) 및/또는 분할 타입(binary / ternary) 정보를 추출하여 해당 리프 노드를 MTT 구조로 분할한다. 이를 통해 QT의 리프 노드 이하의 각 노드들을 BT 또는 TT 구조로 반복적으로(recursively) 분할한다.
또 다른 예로서, QTBTTT 구조를 사용하여 CTU를 분할하는 경우, 먼저 CU의 분할 여부를 지시하는 CU 분할 플래그(split_cu_flag)를 추출하고, 해당 블록이 분할된 경우, 제1 플래그(QT_split_flag)를 추출할 수도 있다. 분할 과정에서 각 노드는 0번 이상의 반복적인 QT 분할 후에 0번 이상의 반복적인 MTT 분할이 발생할 수 있다. 예컨대, CTU는 바로 MTT 분할이 발생하거나, 반대로 다수 번의 QT 분할만 발생할 수도 있다.
다른 예로서, QTBT 구조를 사용하여 CTU를 분할하는 경우, QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 BT로 더 분할되는지 여부를 지시하는 분할 플래그(split_flag) 및 분할 방향 정보를 추출한다.
한편, 엔트로피 복호화부(510)는 트리 구조의 분할을 통해 복호화하고자 하는 현재블록을 결정하게 되면, 현재블록이 인트라 예측되었는지 아니면 인터 예측되었는지를 지시하는 예측 타입에 대한 정보를 추출한다. 예측 타입 정보가 인트라 예측을 지시하는 경우, 엔트로피 복호화부(510)는 현재블록의 인트라 예측정보(인트라 예측모드)에 대한 신택스 요소(elemenet)를 추출한다. 예측 타입 정보가 인터 예측을 지시하는 경우, 엔트로피 복호화부(510)는 인터 예측정보에 대한 신택스 요소, 즉, 움직임벡터 및 그 움직임벡터가 참조하는 참조픽처를 나타내는 정보를 추출한다.
또한, 엔트로피 복호화부(510)는 양자화와 관련된 정보, 및 잔차신호에 대한 정보로서 현재블록의 양자화된 변환계수들에 대한 정보를 추출한다.
재정렬부(515)는, 영상 부호화 장치에 의해 수행된 계수 스캐닝 순서의 역순으로, 엔트로피 복호화부(510)에서 엔트로피 복호화된 1차원의 양자화된 변환계수들의 시퀀스를 다시 2차원의 계수 어레이(즉, 블록)로 변경할 수 있다.
역양자화부(520)는 양자화 파라미터를 이용하여 양자화된 변환계수들을 역양자화한다. 역양자화부(520)는 2차원으로 배열된 양자화된 변환계수들에 대해 서로 다른 양자화 계수(스케일링 값)을 적용할 수도 있다. 역양자화부(520)는 영상 부호화 장치로부터 양자화 계수(스케일링 값)들의 행렬을 양자화된 변환계수들의 2차원 어레이에 적용하여 역양자화를 수행할 수 있다.
역변환부(530)는 역양자화된 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원함으로써 현재블록에 대한 복원된 잔차블록을 생성한다. 또한, MTS가 적용된 경우, 역변환부(530)는 영상 부호화 장치로부터 시그널링된 MTS 정보(mts_idx)를 이용하여 가로 및 세로 방향으로 각각 적용할 변환 함수 또는 변환 매트릭스를 결정하고, 결정된 변환 함수를 이용하여 가로 및 세로 방향으로 변환블록 내의 변환계수들에 대해 역변환을 수행한다.
예측부(540)는 인트라 예측부(542) 및 인터 예측부(544)를 포함할 수 있다. 인트라 예측부(542)는 현재블록의 예측 타입이 인트라 예측일 때 활성화되고, 인터 예측부(544)는 현재블록의 예측 타입이 인터 예측일 때 활성화된다.
인트라 예측부(542)는 엔트로피 복호화부(510)로부터 추출된 인트라 예측모드에 대한 신택스 요소로부터 복수의 인트라 예측모드 중 현재블록의 인트라 예측모드를 결정하고, 인트라 예측모드에 따라 현재블록 주변의 참조 샘플들을 이용하여 현재블록을 예측한다.
인터 예측부(544)는 엔트로피 복호화부(510)로부터 추출된 인트라 예측모드에 대한 신택스 요소를 이용하여 현재블록의 움직임벡터와 그 움직임벡터가 참조하는 참조픽처를 결정하고, 움직임벡터와 참조픽처를 이용하여 현재블록을 예측한다.
가산기(550)는 역변환부로부터 출력되는 잔차블록과 인터 예측부 또는 인트라 예측부로부터 출력되는 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 샘플들은 이후에 복호화할 블록을 인트라 예측할 때의 참조샘플로서 활용된다.
루프 필터부(560)는 디블록킹 필터(562), SAO 필터(564) 및 ALF(566) 중 적어도 하나를 포함할 수 있다. 디블록킹 필터(562)는 블록 단위의 복호화로 인해 발생하는 블록킹 현상(blocking artifact)를 제거하기 위해, 복원된 블록 간의 경계를 디블록킹 필터링한다. SAO 필터(564)는 손실 부호화(lossy coding)으로 인해 발생하는 복원된 샘플과 원본 샘플 간의 차이를 보상하기 위해, 디블록킹 필터링 이후의 복원된 블록에 그에 대응하는 오프셋에 가산되는 방식으로 필터링을 수행한다. ALF(566)는 필터링을 수행할 대상 샘플 및 그 대상 샘플의 주변샘플들에 필터 계수들을 적용하여 대상 샘플에 대한 필터링을 수행한다. ALF(566)는 영상에 포함된 샘플을 소정의 그룹으로 나눈 후 해당 그룹에 적용될 하나의 필터를 결정하여 그룹마다 차별적으로 필터링을 수행할 수 있다. ALF의 필터 계수는 비스트림으로부터 복호화한 필터 계수에 대한 정보를 이용하여 결정된다.
루프 필터부(560)를 통해 필터링된 복원블록은 메모리(570)에 저장된다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
이하의 개시는 인터 예측의 압축 성능을 향상시키기 위한 코딩 툴과 관련되며, 영상 부호화 장치의 인터 예측부(124) 및 영상 복호화 장치의 인터 예측부(544)에서 수행될 수 있다. 이하에서 사용하는 '대상블록(target block)'이라는 용어는 위에서 사용한 현재블록 또는 코딩 유닛(CU)과 동일한 의미로 사용될 수 있고, 또는 코딩 유닛의 일부 영역을 의미할 수도 있다.
I. 인터-인트라 병합 예측 (Combined Inter-intra Prediction)
전술한 바와 같이, 대상블록은 인터 예측과 인트라 예측 중 어느 하나의 방법을 통해 예측된다. 본 개시에서 기술하는 인터-인트라 병합 예측은 인터 예측 신호를 인트라 예측 신호를 이용하여 보완하는 기법이다. 인터-인트라 병합 예측이 적용되는 경우, 영상 부호화 장치의 인터 예측부(124)는 대상블록의 움직임벡터를 결정하고 결정된 움직임벡터를 이용하여 대상블록을 예측하여 제1 예측블록을 생성한다. 한편, 영상 부호화 장치의 인트라 예측부(124)는 대상블록 주위의 참조샘플들을 이용하여 대상블록을 예측하고 제2 예측블록을 생성한다. 제2 예측블록을 생성하기 위해 사용되는 인트라 예측모드는 전술한 복수의 인트라 예측모드들 중에서 어느 하나의 모드가 고정적으로 사용될 수 있다. 예컨대, Planar 모드 또는 DC 모드가 제2 예측블록을 생성하기 위한 예측모드로 사용될 수 있다. 최종 예측블록은 제1 예측블록과 제2 예측블록 간의 평균 또는 가중평균에 의해 생성된다. 인터-인트라 병합 예측에서 최종 예측블록을 연산하는 수학식은 다음과 같다.
Figure pat00001
여기서, Pinter는 인터 예측을 통해 생성된 제1 예측블록을, Pintra는 인트라 예측을 통해 생성된 제2 예측블록을 나타낸다. wt는 가중치를 나타낸다. +2는 반올림 연산을 위한 오프셋이다.
가중치는 대상블록에 인접한 먼저 부호화/복호화된 주변블록들이 인터와 인트라 중 어떤 예측 방법을 사용하여 예측되었는지 여부에 따라 결정될 수 있다. 예컨대, 대상블록의 좌측블록과 상측블록이 모두 인트라 예측된 경우 제2 예측블록(Pintra)에 더 큰 가중치를 부여한다. 예컨대, wt = 3으로 설정한다. 좌측블록과 상측블록 중 어느 하나만 인트라 예측된 경우 제1 예측블록(Pinter)과 제2 예측블록(Pintra)에 동일한 가중치를 부여한다. 예컨대, wt = 2로 설정한다. 좌측블록과 상측블록 모두 인트라 예측되지 않은 경우에는, 제1 예측블록(Pinter)에 더 큰 가중치를 부여한다. 예컨대, wt = 1로 설정한다.
대상블록이 인터-인트라 병합 예측을 통해 예측된 경우, 영상 복호화 장치의 인터 예측부(544)는 비트스트림으로부터 대상블록의 움직임벡터에 대한 정보를 추출하여 대상블록의 움직임벡터를 결정한다. 그리고, 영상 부호화 장치와 동일한 방법으로 대상블록을 예측한다.
한편, 인터-인트라 병합 예측은 인터 예측 신호를 인트라 예측 신호를 통해 보완하는 기법이므로, 인터 예측이 다소 부정확한 경우, 예컨대 대상블록의 움직임벡터가 머지 모드에 의해 결정되는 경우 등에 효율적일 수 있다. 따라서, 인터-인트라 병합 예측은 대상블록의 움직임벡터가 머지 모드에 의해 결정되는 경우에 한하여 적용될 수 있다.
II. 양방향 옵티컬 플로우(Bi-directional Optical Flow)
양방향 옵티컬 플로우는, 영상을 구성하는 샘플 또는 객체가 일정한 속도로 이동하고 샘플 값의 변화가 거의 없다는 가정을 기반으로, 양방향 움직임 예측을 이용하여 예측된 샘플들의 움직임을 추가로 보상하는 기술이다.
도 6는 BIO의 기본적인 개념을 설명하기 위한 참조도이다.
대상블록에 대한 (통상의) 양방향 움직임 예측에 의하여 참조픽처들(Ref0과 Ref1)에서 현재 픽처의 부호화되는 대상블록과 가장 유사한 대응 영역들(즉, 참조 블록들)을 가리키는 양방향의 움직임 벡터들(MV0, MV1)이 결정되었다고 가정하자. 해당 두 개의 움직임 벡터들은 대상블록 전체의 움직임을 나타내는 값이다. 도 6의 예시에서, 대상블록 내 샘플 P와 대응되는 것으로 움직임 벡터(MV0)가 가리키는 참조픽처(Ref0)내 샘플은 P0이며, 대상블록 내 샘플 P와 대응되는 것으로 움직임 벡터(MV1)가 가리키는 참조픽처(Ref1)내 샘플은 P1이다. 그리고, 도 6에서 샘플 P에 대한 움직임은 대상블록의 전체적인 움직임과는 조금 상이하다라고 가정하자. 예컨대, 도 6의 Ref0 내 샘플 A에 위치하는 물체가 현재 픽처의 대상블록 내 샘플 P를 지나 Ref1 내 샘플 B로 움직였다면, 샘플 A 및 샘플 B는 상당히 유사한 값을 가지게 된다. 또한, 이 경우, 대상블록 내 샘플 P와 가장 유사한 Ref0 내 지점은 양방향 움직임 벡터(MV0)가 가리키는 P0이 아니라, P0를 소정의 변위 벡터(vxt0, vyt1)만큼 이동시킨 A이며, 대상블록 내 샘플 P와 가장 유사한 Ref1 내 지점은 양방향 움직임 벡터(MV1)가 가리키는 P1이 아니라, P1를 소정의 변위 벡터(-vxt0, -vyt1)만큼 이동시킨 B이다. t0와 t1은 현재 픽처를 기준으로 각각 Ref0와 Ref1에 대한 시간축 거리를 의미하며, POC (Picture Order Count)를 기반으로 계산된다. 이하에서는 (vx, vy)를 "옵티컬 플로우(optical flow)" 라고 지칭한다.
현재 픽처 내 대상블록의 샘플(P)값을 예측함에 있어서, 두 참조 샘플(A, B)의 값을 이용하면, 양방향 움직임 벡터(MV0, MV1)가 가리키는 참조 샘플(P0, P1)을 이용하는 것보다 좀 더 정확한 예측이 가능하다.
대상블록 내 샘플 (i,j)와 대응되는 것으로 움직임 벡터(MV0)가 가리키는 참조픽처(Ref0)내 샘플의 값을 I(0)(i,j)라고 정의하고, 대상블록 내 샘플 (i,j)와 대응되는 것으로 움직임 벡터(MV1)가 가리키는 참조픽처(Ref1)내 샘플의 값을 I(1)(i,j)라고 정의한다.
BIO 움직임 벡터 (vx, vy)가 대상블록 내 샘플에 대응되는 것으로 가리키는 참조픽처 Ref0 내의 샘플 A의 값은 I(0)(i + vxt0, j + vyt0)로 정의될 수 있으며, 참조픽처 Ref1 내의 샘플 B의 값은 I(1)(i - vxt1, j - vyt1)로 정의될 수 있다. 여기서, 테일러 급수의 1차 항만을 사용하여 선형 근사(linear approximation)를 수행하면, A와 B를 수학식 2와 같이 표현할 수 있다.
Figure pat00002
여기서, Ix (k)와 Iy (k) (k = 0, 1)는 Ref0 및 Ref1의 (i, j) 위치에서의 수평 및 수직 방향의 그래디언트 값을 나타낸다. t0와 t1은 현재 픽처를 기준으로 각각 Ref0와 Ref1에 대한 시간축 거리를 의미하며, POC (Picture Order Count)를 기반으로 계산된다. 수식으로 t0 = POC(current) - POC(Ref0), t1 = POC(Ref1) - POC(current) 이다.
블록 내 각 샘플의 양방향 옵티컬 플로우 (vx, vy)는 샘플 A와 샘플 B의 차이값으로 정의되는 △를 최소화하는 해로 결정한다. 수학식 2에서 유도된 A와 B의 선형 근사를 이용하여 △를 수학식 3으로 정의할 수 있다.
Figure pat00003
간략하게 표기하기 위해, 위 수학식 3의 각 항에서 샘플의 위치 (i, j)는 생략되었다.
보다 강건한(robust) 옵티컬 플로우 추정을 위해 움직임이 지역적으로 주변 샘플들과 일관성이 있다는 가정을 도입한다. 현재 예측하고자 하는 샘플 (i, j)에 대한 BIO 움직임 벡터는 샘플 (i, j)를 중심으로 하는 일정한 크기의 마스크 Ω 내 존재하는 모든 샘플 (i', j')에 대한 수학식 3의 차이값 △들을 고려한다. 즉, 현재 샘플 (i, j)에 대한 옵티컬 플로우는 다음의 수학식 4와 같이, 마스크 Ω 내의 각 샘플에 대하여 획득된 차이값 △[i',j']의 제곱합인 목적함수 Φ(vx, vy)를 최소로 하는 벡터로 결정될 수 있다.
Figure pat00004
본 개시의 양방향 옵티컬 플로우는 양방향 예측에 사용되는 두 개의 참조 픽처 중 하나는 현재 픽처보다 디스플레이 순서 상 앞서고 다른 하나는 현재 픽처보다 늦으며, 두 참조 픽처로부터 현재 픽처까지의 거리들이 서로 동일한, 즉, 각 참조 픽처와 현재 픽처 간의 POC(picture order count)의 차이가 동일한 경우에 적용될 수 있다. 따라서, t0와 t1은 무시될 수 있다.
또한, 본 개시의 양방향 옵티컬 플로우는 루마(luma) 성분에 대해서만 적용될 수도 있다.
본 개시의 양방향 옵티컬 플로우는 양방향 예측이 적용되는 대상블록에 대해 픽셀 기반이 아닌 서브블록 기반으로 수행된다. 서브블록의 크기는 2x2, 4x4, 8x8 등은 다양한 크기를 가질 수 있지만, 이하에서는 설명의 편의를 위해 서브블록의 크기를 4x4로 가정된다.
옵티컬 플로우를 수행하기에 앞서, 영상 부호화 장치의 인터 예측부(124)는, 전술한 양방향 예측을 이용하여, 대상블록에 대한 두 개의 참조블록을 생성한다. 두 개의 참조블록 중 제1 참조블록은 대상블록의 제1 움직임벡터(MV0)를 이용하여 참조픽처(Ref0)로부터 생성한 예측샘플들로 구성된 블록을 의미하고, 제2 참조블록은 대상블록의 제2 움직임벡터(MV1)를 이용하여 참조픽처(Ref1)로부터 생성한 예측샘플들로 구성된 블록을 의미한다.
인터 예측부(124)는, 제1 참조블록과 제2 참조블록 내의 예측샘플들의 수평 및 수직 방향 그래디언트 값들을 이용하여, 대상블록을 구성하는 4x4 서브블록들 각각에 대해 옵티컬 플로우로 지칭되는 (vx, vy)를 연산한다. 옵티컬 플로우 (vx, vy)는 참조픽처(Ref0)로부터 예측샘플들과 참조픽처(Ref1)로부터의 예측샘플들 간의 차이가 최소가 되도록 결정된다. 인터 예측부(124)는 4x4 서브블록에 대해 산출된 (vx, vy)와 는 4x4 서브블록 내의 예측샘플들의 그래디언트들을 이용하여, 서브블록 에 대한 양방향 예측샘플들을 수정하기 위한 샘플 오프셋을 유도한다.
구체적으로, 인터 예측부(124)는 수학식 5를 이용하여 (i, j) 위치의 샘플 값들의 수평 및 수직 방향 그래디언트들 연산한다.
Figure pat00005
k는 0 또는 1이고, I(0)(i,j) 및 I(1)(i,j)은 각각 제1 참조블록과 제2 참조블록 내 (i,j) 위치의 샘플 값들을 의미한다. Shift1은, shift1 = max(6, bitDepth-6)와 같이, 루마 성분에 대한 비트-뎁스(bit-depth)로부터 유도되는 값이다.
각 참조블록의 경계에 위치한 샘플의 그래디언트를 유도하기 위해 제1 참조블록과 제2 참조블록의 경계 외곽의 샘플이 필요하다. 따라서, 도 6에서 보는 바와 같이, 각 참조블록은 좌우로 각각 1열씩 그리고 상하로 각각 1행씩 확장된다. 계산량 감소를 위하여, 확장된 부분의 각 샘플은 참조블록 내의 가장 가까운 위치의 샘플 또는 정수 샘플로 패딩될 수 있다. 또한, 각 참조블록의 경계 외곽의 샘플 위치에서의 그래디언트들도 가장 가까운 위치의 샘플에 해당하는 그래디언트들로 패딩될 수 있다.
인터 예측부(124)는, 도 7에 도시된 바와 같은 4x4 서브블록을 커버하는 6x6 윈도우 내의 수평 및 수직 그래디언트들을 이용하여, 그래디언트들의 자기상관(auto-correlation)과 교차상관(cross-correlation)에 해당하는 S1, S2, S3, S5, S6을 연산한다.
Figure pat00006
여기서, Ω는 서브블록을 커버하는 윈도우를 의미한다. 또한, 아래 수학식 7에서 보는 바와 같이, Ψx(i,j)는 제1 참조블록과 제2 참조블록 내의 (i,j) 위치에서의 수평 방향 그래디언트 값들의 합을, Ψy(i,j)는 제1 참조블록과 제2 참조블록 내의 (i,j) 위치에서의 수직 방향 그래디언트 값들의 합을 의미하며, θ(i,j)는 제2 참조블록 내의 (i,j) 위치의 샘플값과 제1 참조블록 내의 (i,j) 위치의 샘플값 간의 차이를 의미한다.
Figure pat00007
여기서, na와 nb는 비트뎁스로부터 유도되는 값으로, min(1, bitDepth-11) 및 min(4, bitDepth-8)의 값을 갖는다.
인터 예측부(124)는 S1, S2, S3, S5, S6을 이용하여, 수학식 8을 통해, 4x4 서브블록에 대한 옵티컬 플로우 (vx, vy)을 연산한다.
Figure pat00008
여기서,
Figure pat00009
,
Figure pat00010
,
Figure pat00011
이다.
Figure pat00012
는 내림함수이다.
Figure pat00013
이다.
대상블록의 4x4 서브블록 내의 각 샘플 위치 (x, y)에서의 예측샘플을 수정하기 위한 샘플 오프셋은, 수학식 9와 같이, 그 4x4 서브블록에 대해 연산된 옵티컬 플로우 및 샘플 위치 (x, y)에서의 그래디언트 값들을 이용하여 연산될 수 있다. 수학식 9에서 rnd()는 반올림(round-off) 연산을 의미한다.
Figure pat00014
인터 예측부(124)는 (x, y) 위치에서 샘플 오프셋 b(x,y)과, 제1 참조블록 및 제2 참조블록 내의 예측샘플 I(0)(x,y) 및 I(1)(x,y)를 이용하여 수학식 10과 같이 최종 예측샘플 pred(x,y)을 생성한다.
Figure pat00015
여기서, shift는 Max(3, 15 - BitDepth)이고, Ooffset은 반올림 연산을 위한 값으로 shift의 절반이다.
이상에서 설명한 바와 같이 양방향 옵티컬 플로우 기법은 양방향 예측에 사용되었던 움직임 정보(두 개의 움직임벡터 및 두 개의 참조픽처)를 이용하여 예측된 예측샘플들의 값을 이용한다. 따라서, 영상 복호화 장치의 인터 예측부(544)도, 영상 부호화 장치로부터 수신한 양방향 예측에 사용되는 움직임 정보(움직임벡터, 참조픽처)를 이용하여 영상 부호화 장치와 동일한 방식으로 양방향 옵티컬 플로우를 수행할 수 있다. 영상 부호화 장치로부터 영상 복호화 장치로의, 양방향 옵티컬 플로우 프로세스를 위한 추가적인 정보의 시그널링은 요구되지 않는다.
전술한 양방향 옵티컬 플로우 기법은 색차(chroma) 성분에 대해 확장 적용될 수도 있다. 이 경우, 연산 복잡도를 줄이기 위해, 색차 성분에 대한 옵티컬 플로우 (vx, vy)를 다시 계산하지 않고 루마 성분에 대해 연산되었던 옵티컬 플로우를 색차 성분에 대한 옵티컬 플로우로 사용할 수 있다. 따라서, 색차(chroma) 성분에 대해 양방향 옵티컬 플로우를 적용하는 경우, 각 샘플의 색차 성분의 수평 및 수직 방향 그레디언트만을 연산하면 된다.
한편, 양방향 옵티컬 플로우는 인터-인트라 병합 예측 기법과 함께 사용되지 않도록 제약될 수 있다. 인트라 예측은 대상블록 주변의 기복원된 샘플들을 이용하므로, 주변 블록들에 대한 복호화(샘플 복원)가 모두 완료된 이후에 대상블록의 예측이 가능하다. 따라서, 인터-인트라 병합 예측과 양방향 옵티컬 플로우를 모두 적용하는 경우, 대상블록의 주변블록들의 복호화가 모두 완료된 후 대상블록에 대한 인트라 예측이 수행될 때까지 양방향 옵티컬 플로우 프로세서를 중단해야 하고, 그에 따라 복호화 프로세스에 심각한 지연을 초래할 수 있다. 따라서, 인터-인트라 병합 예측이 적용되는 블록에 대해서는 양방향 옵티컬 플로우를 적용하지 않을 수 있다.
또한, 양방향 옵티컬 플로우는 후술할 지역 조명 보상과 함께 사용되지 않도록 제약될 수도 있다. 예컨대, 지역 조명 보상이 적용되는 경우, 양방향 옵티컬 플로우는 적용되지 않는다.
또한, 양방향 옵티컬 플로우는 대상블록의 크기에 따라 그 적용이 제약될 수 있다. 예컨대, 대상블록의 높이가 4인 경우 또는 대상블록의 폭 및 높이가 각각 4 및 8인 경우 양방향 옵티컬 플로우는 적용되지 않을 수 있다.
III. 아핀 움직임 예측 (Affine Motion Prediction)
지금까지 전술한 인터 예측은 병진 운동(translation motion) 모델을 반영한 움직임 예측이다. 즉, 수평방향(x축 방향) 및 수직방향(y축 방향)으로의 움직임을 예측하는 기법이다. 그러나, 실제로는 병진 운동 이외에 회전(rotation), 줌-인(zoom-in) 또는 줌-아웃(zoom-out)과 같은 다양한 형태의 움직임이 존재할 수 있다. 본 개시의 일 측면은 이러한 다양한 형태의 움직임을 커버할 수 있는 아핀 움직임 예측을 제공한다.
도 8은 아핀 움직임 예측을 설명하기 위한 예시도이다.
아핀 움직임 예측을 위한 두 가지 타입의 모델이 존재할 수 있다. 하나는, 도 8(A)에서 보는 바와 같이, 현재 부호화하고자 하는 대상블록의 좌상귀(top-left corner)와 우상귀(top-right corner) 두 개의 제어점(control point)의 움직임벡터들, 즉, 4개의 파라미터를 이용하는 모델이다. 다른 하나는, 도 8(B)에서 보는 바와 같이, 대상블록의 좌상귀, 우상귀, 좌하귀(bottom-left corner)의 세 개의 제어점의 움직임벡터들, 즉, 6개의 파라미터를 이용하는 모델이다.
4 파라미터 아핀 모델은 수학식 11과 같이 표현된다. 대상블록 내의 샘플 위치 (x, y)에서의 움직임은 수학식 11에 의해 연산될 수 있다. 여기서, 대상블록의 좌상단 샘플의 위치는 (0,0)으로 가정된다.
Figure pat00016
6 파라미터 아핀 모델은 수학식 12와 같이 표현된다. 대상블록 내의 샘플 위치 (x, y)에서의 움직임은 수학식 12에 의해 연산될 수 있다.
Figure pat00017
여기서, (mv0x, mv0y) 는 좌상귀 제어점의 움직임 벡터, (mv1x, mv1y)는 우상귀 제어점의 움직임 벡터, (mv2x, mv2y)는 좌하귀 제어점의 움직임 벡터이다. W는 대상블록의 가로 길이로부터 결정되는 상수, H는 대상블록의 세로 길이로부터 결정되는 상수이다.
아핀 움직임 예측은 대상블록 내의 각 샘플마다 수학식 11 또는 수학식 12를 통해 연산된 움직임 벡터를 이용하여 수행될 수 있다.
대안적으로, 연산의 복잡도를 줄이기 위해, 도 9에서 보는 바와 같이, 대상블록으로부터 분할된 서브블록 단위로 수행될 수도 있다. 예시적으로, 서브블록의 크기는 4x4일 수 있고, 또는 2x2나 8x8일 수도 있다. 이하에서는, 대상블록에 대해 4x4 서브블록 단위로 아핀 움직임 예측을 수행하는 것을 예로 들어 설명한다. 이 예시는 설명의 편의를 위한 것일 뿐, 본 발명을 제한하는 것은 아니다.
서브블록 단위 아핀 움직임 예측에서, 각 서브블록의 움직임벡터(아핀 움직임벡터)는 수학식 11 또는 12의 (x, y)에 각 서브블록의 중심 위치를 대입함으로써 연산된다. 여기서, 중심 위치는 서브블록의 실제 중심점(center point)일 수도 있고 그 중심점의 우하단 샘플 위치일 수도 있다. 예컨대, 좌하단 샘플의 좌표가 (0,0)인 4x4 서브블록의 경우, 서브블록의 중심 위치는 (1.5, 1.5)일 수 있고 또는 (2,2)일 수 있다. 각 서브블록에 대한 예측블록은 해당 서브블록의 아핀 움직임벡터 (mvx, mvy)를 이용하여 생성된다.
움직임벡터 (mvx, mvy)는 1/16 샘플 정확도(precision)을 갖도록 설정될 수 있다. 이 경우, 수학식 11 또는 12를 통해 산출된 움직임벡터 (mvx, mvy)는 1/16 샘플 단위로 반올림될 수 있다. 한편, 아핀 움직임 예측에서도 일반 인터 예측에서와 마찬가지로 적응적 움직임벡터 해상도가 적용될 수 있다. 이 경우, 대상블록의 움직임벡터 해상도, 즉, 움직임벡터의 정밀도에 대한 정보는 대상블록마다 시그널링된다.
아핀 움직임 예측은 휘도(luma) 성분뿐만 아니라 색차(chroma) 성분에 대해서도 수행될 수 있다. 4:2:0 비디오 포맷의 경우, 휘도 성분에 대해 4x4 서브블록 단위의 아핀 움직임 예측이 수행되었다면, 색차 성분에 대한 아핀 움직임 예측은 2x2 서브블록 단위로 수행될 수 있다. 색차 성분의 각 서브블록의 움직임벡터 (mvx, mvy)는 대응하는 휘도 성분의 움직임벡터로부터 유도될 수 있다. 대안적으로, 색차 성분의 아핀 움직임 예측을 위한 서브블록의 크기는 휘도 성분의 경우와 동일할 수도 있다. 휘도 성분에 대해 4x4 서브블록 단위로 아핀 움직임 예측이 수행되었다면, 색차 성분에 대해서도 4x4 서브블록 크기로 아핀 움직임 예측이 수행된다. 이 경우, 색차 성분에 대한 4x4 크기의 서브블록은 휘도 성분에 대한 네 개의 4x4 서브블록에 대응하므로, 색차 성분의 서브블록에 대한 움직임벡터 (mvx, mvy)는 대응하는 휘도 성분의 네 개의 서브블록의 움직임벡터들의 평균 연산을 통해 산출될 수 있다.
영상 부호화 장치는 인트라 예측, 인터 예측(병진 움직임 예측), 아핀 움직임 예측 등을 수행하고, RD(rate-distortion) 코스트(cost)를 연산하여 최적의 예측 방법을 선택한다. 아핀 움직임 예측을 수행하기 위해, 영상 부호화 장치의 인터 예측부(124)는 두 가지 타입의 모델 중 어느 타입을 사용할지 여부를 결정하고, 결정된 타입에 따라 두 개 또는 세 개의 제어점들을 결정한다. 인터 예측부(1214)는 제어점들의 움직임벡터들을 이용하여 대상블록 내의 4x4 서브블록들 각각에 대한 움직임벡터 (mvx, mvy)를 연산한다. 그리고, 각 서브블록의 움직임벡터 (mvx, mvy)를 이용하여 서브블록 단위로 참조 픽처 내에서 움직임 보상을 수행함으로써, 대상블록 내의 각 서브블록에 대한 예측블록을 생성한다.
영상 부호화 장치의 엔트로피 부호화부(155)는 대상블록에 아핀 움직임 예측이 적용되었는지 여부를 나타내는 플래그, 아핀 모델의 타입을 나타내는 타입 정보, 및 각 제어점의 움직임 벡터를 나타내는 움직임 정보 등을 포함하는 아핀 관련 신택스 요소들을 부호화하여 영상 복호화 장치로 전달한다. 타입 정보와 제어점들의 움직임 정보는 아핀 움직임 예측이 수행되는 경우에 시그널링될 수 있고, 제어점들의 움직임벡터들은 타입 정보에 따라 결정된 개수만큼 시그널링될 수 있다. 또한, 적응적 움직임벡터 해상도가 적용되는 경우, 대상블록의 아핀 움직임벡터에 대한 움직임벡터 해상도 정보가 시그널링된다.
영상 복호화 장치는 시그널링된 신택스들을 이용하여 아핀 모델의 타입과 제어점 움직임벡터(control point motion vector)들을 결정하고, 수학식 11 또는 12를 이용하여 대상블록 내의 각 4x4 서브블록에 대한 움직임벡터 (mvx, mvy)를 연산한다. 만약, 대상블록의 아핀 움직임벡터에 대한 움직임벡터 해상도 정보가 시그널링된 경우, 움직임벡터 (mvx, mvy)는 반올림 등의 연산을 통해 움직임벡터 해상도 정보에 의해 식별되는 정밀도로 수정된다.
영상 복호화 장치는 각 서브블록에 대한 움직임벡터 (mvx, mvy)를 이용하여 참조 픽처 내에서 움직임 보상을 수행함으로써, 각 서브블록에 대한 예측블록을 생성한다.
제어점들의 움직임벡터들을 부호화하기 위해 소요되는 비트량을 줄이기 위해, 는 전술한 일반 인트라 예측(병진 움직임 예측)과 같은 방식이 적용될 수 있다.
하나의 예시로서, 머지 모드의 경우, 영상 부호화 장치의 인터 예측부(124)는 대상블록의 주변블록들로부터 각 제어점의 움직임벡터를 유도한다. 인터 예측부(124)는, 예컨대, 도 4에 도시된 대상블록의 주변샘플들(L, BL, A, AR, AL)로부터 기 정의된 개수의 머지 후보들을 유도함으로써, 머지 후보 리스트를 생성한다. 리스트에 포함되는 머지 후보들 각각은 두 개 또는 세 개의 제어점들의 움직임벡터들의 쌍에 대응한다.
먼저, 인터 예측부(124)는 아핀 모드로 결정된 주변블록들 중 아핀 모드로 예측된 주변블록의 제어점 움직임벡터들로부터 머지 후보를 유도한다. 일부 실시예에서, 아핀 모드로 예측된 주변블록들로부터 유도되는 머지 후보의 개수는 제한될 수 있다. 예컨대, 인터 예측부(124)는 L과 BL 중에서 하나, 그리고 A, AR, 및 AL 중에서 하나, 총 두 개의 머지 후보를 아핀 모드로 예측된 주변블록으로부터 유도할 수 있다. 우선순위는 L, BL의 순서, 그리고 A, AR, AL의 순서일 수 있다.
한편, 머지 후보의 총 개수가 3개 이상인 경우, 인터 예측부(124)는 주변블록의 병진 움직임벡터(translational motion vector)로부터 부족한 개수만큼의 머지 후보들을 유도할 수 있다.
도 10은 주변블록의 병진 움직임벡터(translation motion vector)로부터 아핀 움직임 예측을 위한 머지 후보들을 유도하는 방법을 설명하기 위한 예시도이다.
인터 예측부(124)는 주변블록 그룹 {B2, B3, A2}, 주변블록 그룹 {B1, B0}, 주변블록 그룹{A1, A0}로부터 각각 하나씩의 제어점 움직임벡터 CPMV1, CPMV2, CPMV3을 유도한다. 하나의 예시로서, 각 주변블록 그룹 내에서의 우선 순위는, B2, B3, A2의 순서, B1, B0의 순서, 그리고 A1, A0의 순서일 수 있다. 또한, 참조 픽처 내의 동일 위치 블록(collocated block) T로부터 또 하나의 제어점 움직임벡터 CPMV4를 유도한다. 인터 예측부(124)는 네 개의 제어점 움직임벡터 중에서 두 개 또는 세 개의 제어점 움직임벡터들을 조합하여 부족한 개수만큼의 머지 후보를 생성한다. 조합의 우선순위는 아래와 같다. 각 그룹 내의 요소들은 좌상귀, 우상귀, 좌하귀 제어점 움직임벡터의 순서로 나열되어 있다.
{CPMV1, CPMV2, CPMV3}, {CPMV1, CPMV2, CPMV4}, {CPMV1, CPMV3, CPMV4},
{CPMV2, CPMV3, CPMV4}, {CPMV1, CPMV2}, {CPMV1, CPMV3}
인터 예측부(124)는 머지 후보 리스트로부터 머지 후보를 선택하여 대상블록에 대한 아핀 움직임 예측을 수행한다. 선택된 후보가 두 개의 제어점 움직임벡터로 이루어진 경우 4 파라미터 모델을 이용하여 아핀 움직임 예측을 수행한다. 반면, 선택된 후보가 세 개의 제어점 움직임벡터로 구성된 경우 6 파라미터 모델을 이용하여 아핀 움직임 예측을 수행한다. 영상 부호화 장치의 엔트로피 부호화부(155)는 머지 후보 리스트 내 머지 후보들 중 선택된 머지 후보를 나타내는 인덱스 정보를 부호화하여 영상 복호화 장치로 시그널링한다.
영상 복호화 장치의 엔트로피 복호화부(510)은 영상 부호화 장치로부터 시그널링된 인덱스 정보를 복호화한다. 영상 복호화 장치의 인터 예측부(544)는 영상 부호화 장치와 동일한 방식으로 머지 후보 리스트를 구성하고, 인덱스 정보에 의해 지시되는 머지 후보에 대응하는 제어점 움직임벡터들을 이용하여 아핀 움직임 예측을 수행한다.
다른 예시로서, AMVP 모드의 경우, 영상 부호화 장치의 인터 예측부(124)는 대상블록에 대한 아핀 모델의 타입과 제어점 움직임벡터들을 결정한다. 그리고, 대상블록의 실제 제어점 움직임벡터들과 각 제어점의 예측 움직임벡터들 간의 차이인 차분 움직임벡터(motion vector difference)를 연산하고 각 제어점에 대한 차분 움직임벡터를 부호화하여 전송한다. 이를 위해, 영상 부호화 장치의 인터 예측부(124)는 기 정의된 개수의 아핀 AMVP 리스트를 구성한다. 대상블록이 4 파라미터 타입인 경우, 리스트에 포함된 후보들은 각각 두 개의 제어점 움직임벡터의 쌍으로 이루어진다. 반면, 대상블록이 6 파라미터 타입인 경우, 리스트에 포함된 후보들은 각각 세 개의 제어점 움직임벡터들의 쌍으로 이루어진다. 아핀 AMVP 리스트는 전술한 머지 후보 리스트를 구성하는 방법과 유사하게 주변블록들의 제어점 움직임벡터들 또는 병진 움직임벡터를 이용하여 유도될 수 있다.
그러나, 아핀 AMVP 리스트에 포함될 후보를 유도하기 위해, 도 4의 주변블록들 중에서 대상블록과 동일한 참조 픽처를 참조하는 주변블록들만이 고려되는 제약사항이 존재할 수 있다.
또한, AMVP 모드에서는 대상블록의 아핀 모델 타입이 고려되어야 한다. 영상 부호화 장치는 대상블록의 아핀 모델 타입이 4 파라미터 타입인 경우, 주변블록의 아핀 모델을 이용하여 두 개의 제어점 움직임벡터들(대상블록의 좌상귀 및 우상귀 제어점 움직임벡터들)을 유도한다. 대상블록의 아핀 모델 타입이 6 파라미터 타입인 경우, 주변블록의 아핀 모델을 이용하여 세 개의 제어점 움직임벡터들(대상블록의 좌상귀, 우상귀 및 좌하귀 제어점 움직임벡터들)을 유도한다.
주변블록이 4 파라미터 타입인 경우, 주변블록의 두 개의 제어점 움직임벡터를 이용하여, 대상 블록의 아핀 모델 타입에 따라 두 개 또는 세 개의 제어점 움직임벡터들이 예측된다. 예컨대, 수학식 11로 표현된 주변블록의 아핀 모델이 이용될 수 있다. 수학식 11에서 (mv0x, mv0y)와 (mv1x, mv1y)는 각각 주변블록의 좌상귀(top-left corner) 및 우상귀 제어점 움직임벡터로 대체된다. W는 주변블록의 가로 길이로 대체된다. 대상블록의 각 제어점에 대한 예측 움직임벡터는, (x, y)에 대상블록의 해당 제어점의 위치와 주변블록의 좌상귀 위치 간의 차이를 입력함으로써, 유도될 수 있다.
주변블록이 6 파라미터 타입인 경우, 주변블록의 세 개의 제어점 움직임벡터를 이용하여, 대상 블록의 아핀 모델 타입에 따라 두 개 또는 세 개의 제어점 움직임벡터들이 예측된다. 예컨대, 수학식11로 표현된 주변블록의 아핀 모델이 이용될 수 있다. 수학식 12에서 (mv0x, mv0y), (mv1x, mv1y), 및 (mv2x, mv2y)는 각각 주변블록의 좌상귀, 우상귀 및 좌하귀의 제어점 움직임벡터로 대체된다. W와 H는 각각 주변블록의 가로 및 세로 길이로 대체된다. 대상블록의 각 제어점에 대한 예측 움직임벡터는, (x, y)에 대상블록의 해당 제어점의 위치와 주변블록의 좌상귀 위치 간의 차이를 입력함으로써, 유도될 수 있다.
영상 부호화 장치의 인터 예측부(124)는 아핀 AMVP 리스트로부터 하나의 후보를 선택하고, 실제 각 제어점의 움직임벡터들과 선택된 후보의 대응하는 제어점의 예측움직임벡터 간의 차분 움직임벡터를 생성한다. 영상 부호화 장치의 엔트로피 부호화부(155)는 대상블록의 아핀 모델 타입을 나타내는 타입 정보, 아핀 AMVP 리스트 내의 후보들 중에서 선택된 후보를 지시하는 인덱스 정보, 및 각 제어점에 대응하는 차분 움직임벡터를 부호화하여 영상 복호화 장치로 전달한다.
영상 복호화 장치의 인터 예측부(544)는 영상 부호화 장치로부터 시그널링된 정보를 이용하여 아핀 모델 타입을 결정하고, 각 제어점의 차분 움직임벡터를 생성한다. 그리고, 영상 부호화 장치와 동일한 방식으로 아핀 AMVP 리스트를 생성하고, 아핀 AMVP 리스트 내에서 시그널링된 인덱스 정보에 의해 지시되는 후보를 선택한다. 영상 복호화 장치의 인터 예측부(544)는 선택된 후보의 각 제어점의 예측 움직임벡터와 대응하는 차분 움직임벡터를 가산하여 각 제어점의 움직임벡터를 산출한다.
IV. 아핀 움직임 예측 샘플들에 대한 샘플 단위(sample-by-sample) 조정
대상블록에 대한 서브블록 단위 아핀 움직임 예측이 전술되었다. 본 개시의 또 다른 측면은, 서브블록 단위 아핀 움직임 예측으로부터 생성된 예측샘플들의 샘플값들을 샘플 단위로 조정하는 것과 관련된다. 아핀 움직임 예측이 수행된 단위인 서브블록 내에서 각 샘플의 위치에 따른 움직임이 추가로 보상된다.
대상블록에 대한 서브블록 단위 아핀 움직임 예측의 결과로서 생성된 어느 한 서브블록 내의 샘플값들을 I(x, y)라고 할 때, 영상 부호화 장치는 각 샘플 위치에서의 수평 방향 및 수직 방향 그래디언트 gx(i,j) 및 gy(i,j)들을 계산한다. 그래디언트 연산을 위해 수학식 13이 사용될 수 있다.
Figure pat00018
예측샘플을 조정하기 위한 샘플 오프셋(sample offset) ΔI(i,j)는 다음 수학식과 같이 계산한다.
Figure pat00019
여기서, Δmv(i,j)는 샘플 (i,j)에서의 아핀 움직임 벡터와 서브블록의 중심 위치에서의 아핀 움직임 벡터 간의 차이, 즉, 움직임 오프셋을 의미하며, 대상블록의 아핀 모델 타입에 따라 수학식 11 또는 수학식 12를 적용하여 연산될 수 있다. 즉, 수학식 11 또는 12의 (x,y)=(i,j)를 입력했을 때의 움직임벡터로부터 (x,y)에 서브블록 중심 위치를 입력했을 때의 움직임벡터를 감산하여 계산될 수 있다. 다시 말해, Δmv(i,j)는, 수학식 11 및 12의 (x, y)를 서브블록 중심 위치로부터 샘플 위치 (i,j)까지의 수평 및 수직 방향으로의 오프셋으로 대체하고 마지막 항인 "+ mv0x"와 "+ mv0y"를 제외한, 수학식을 통해 연산될 수 있다. 중심 위치는 서브블록의 실제 중심점(center point)일 수도 있고 그 중심점의 우하단 샘플 위치일 수도 있다.
한편, Δmv(i,j)의 연산에 사용되는 대상블록의 각 제어점의 움직임벡터 및, 샘플 위치 (i,j)와 서브블록 중심 위치 간의 차이는 모든 서브블록에 대해 동일하다. 따라서, Δmv(i,j) 값들은 하나의 서브블록, 예컨대, 첫번째 서브블록에 대해서만 연산되고, 다른 서브블록에 대해서 재사용될 수 있다.
본 개시의 기법은 객체가 일정한 속도로 이동하고 샘플값들의 변화가 일정(smooth)하다는 가정에 기반한다. 따라서, Δmv(i,j)의 x 성분(Δmvx)과 y성분(Δmvy)에 각각 수평 및 수직방향으로 샘플 그래디언트 값을 곱하여 수평방향으로의 샘플 변화량과 수직방향으로의 샘플 변화량을 구하고, 두 변화량을 더하여 샘플 오프셋 ΔI(i,j)를 계산한다.
최종적으로 예측샘플의 값은 다음과 같이 연산된다.
Figure pat00020
아핀 움직임 예측 샘플들에 대한 샘플 단위 조정이 적용되는 경우, 영상 부호화 장치의 인터 예측부(124) 및 영상 복호화 장치의 인터 예측부(544)는 전술한 바와 같은 프로세스를 수행하여 아핀 움직임 예측을 통해 생성한 예측샘플들의 샘플값들을 수정한다. 그래디언트 값들은 아핀 움직임 예측을 통해 생성한 예측샘플들로부터 유도되고 Δmv(i,j)는 대상블록의 제어점 움직임벡터들로부터 유도된다. 따라서 영상 부호화 장치로부터 영상 복호화 장치로 본 기법의 프로세스를 위한 추가적인 정보의 시그널링은 요구되지 않는다.
이상에서 설명한 아핀 움직임 예측 샘플들에 대한 샘플 단위 조정 기법은 루마 성분에 대해 적용된다. 추가적으로, 본 기법은 색차 성분에 대해서도 확장 적용될 수 있다. 확장 적용의 경우, 색차 성분에 대한 Δmvx와 Δmvy는 별도의 연산 없이 루마 성분에 대해 연산되었던 Δmvx와 Δmvy가 그대로 사용될 수 있다. 즉, 영상 부호화 장치와 영상 복호화 장치는 아핀 움직임 예측을 통해 생성된 색차 성분의 예측 샘플들에 대해 그레디언트 값들을 연산한다. 그리고 그 색차 성분의 그레디언트 값들과 루마 성분에 대해 연산되었던 Δmvx와 Δmvy을 수학식 14 및 15에 대입함으로써, 아핀 움직임 예측을 통해 생성된 색차 성분의 예측 샘플들을 조정할 수 있다.
한편, 아핀 움직임 예측 샘플들에 대한 샘플 단위 조정 기법의 실행으로 인한 지연을 방지하기 위해서, 본 기법을 실행하기 이전에 본 기법의 적용이 적절한지 여부를 미리 판단하여 본 기법의 실행을 배제할 수 있다.
하나의 예시로서, 영상 부호화 장치는 기 정의된 이미지 영역의 단위로 본 기법의 적용 여부를 결정하고, 그 적용 여부를 나타내는 플래그를 영상 복호화 장치로 시그널링할 수 있다. 여기서, 기 정의된 이미지 영역은 픽처들의 시퀀스, 픽처, 또는 슬라이스일 수 있다. 본 기법의 적용 여부가 시퀀스, 픽처, 또는 슬라이스 단위로 결정될 때, 그 플래그는 각각 시퀀스의 헤더(SPS), 픽처의 헤더(PPS), 또는 슬라이스 헤더에 포함될 수 있다. 영상 복호화 장치는 비트스트림에 포함된 해당 플래그를 추출하고, 추출한 플래그에 대응하는 이미지 영역 내의 블록들에 본 기법이 적용되는지 여부를 판단할 수 있다.
다른 예시로서, 대상블록의 제어점 움직임벡터들에 근거하여 대상블록에 본 기법을 적용할지 여부를 사전에 결정할 수 있다. 대상블록의 제어점 움직임벡터들의 값이 모두 동일한 경우, 본 기법은 적용되지 않는다. 대상블록의 아핀 타입이 4 파라미터 모델인 경우 좌상귀 및 우상귀의 제어점 움직임벡터가 서로 동일한 경우 본 기법은 실행되지 않는다. 6 파라미터 모델인 경우, 좌상귀, 우상귀 및 좌하귀의 제어점 움직임벡터들이 서로 동일한 경우 본 기법은 실행되지 않는다.
또 다른 예시로서, 제어점 움직임벡터들 간의 각도에 근거하여 본 기법의 적용 여부를 결정할 수도 있다. 예컨대, 제어점 움직임벡터들 간의 각도가 둔각인 경우(즉, 벡터들 간의 내적이 음수인 경우) 본 기법이 적용되지 않을 수 있다. 대안적으로, 제어점 움직임벡터들이 서로 예각인 경우(즉, 벡터들 간의 내적이 양수인 경우) 본 기법이 적용되지 않도록 제약될 수도 있다.
다른 예시로서, 대상블록의 제어점 움직임벡터들이 서로 다른 참조픽처 리스트 내의 참조픽처를 참조하는 경우 본 기법의 적용이 배제될 수 있다.
또 다른 예시로서, 지연 문제를 최소화하기 위해, 본 기법은, 양방향 옵티컬 플로우의 경우와 마찬가지로, 인터-인트라 병합 예측 기법과 함께 사용되지 않도록 제약될 수 있다. 또한, 아래에서 설명하는 지역 조명 보상이 적용되는 경우나 또는 양방향 예측의 경우에는 본 기법의 적용이 배제될 수 있다.
한편, 아핀 움직임 예측 샘플들에 대한 샘플 단위 조정 기법이 실행된 후에도, Δmvx와 Δmvy의 값이 기결정된 임계값보다 작은 경우 본 기법이 실행이 중단될 수 있다.
V. 지역 조명 보상 (Local Illumination Compensation)
지역 조명 보상 기술은 현재 블록과 예측 블록의 조명 변화에 관한 선형 모델을 이용하여 변화량을 보상하는 부호화 기술이다. 영상 부호화 장치의 인터 예측부(124)는 대상블록의 움직임벡터(병진 움직임벡터)를 이용하여 참조 픽처 내에서 참조블록을 결정하고, 참조블록 주변(상측과 좌측)의 기복원된 샘플들을 및 대상블록 주변(상측과 좌측)의 기복원된 샘플들을 이용하여 조명 보상을 위한 선형 모델의 파라미터를 구한다.
참조블록 주변의 기복원된 샘플들을 x, 대상블록 주변의 대응하는 기복원된 샘플들을 y라고 할 때, 수학식 16과 같이 y와 (Ax + b)의 차이의 제곱합을 최소로 하는 파라미터 A, b가 유도된다.
Figure pat00021
최종 예측샘플들은, 수학식 17과 같이, 대상블록의 움직임벡터에 의해 생성된 예측블록(참조블록) 내의 샘플들에 A의 가중치와 b의 오프셋을 적용하여 생성된다. 수학식 17에서 pred[x][y]는 대상블록의 움직임벡터에 의해 생성된 (x, y) 위치의 예측샘플이고, predLIC[x][y]는 조명 보상 이후의 최종 예측샘플이다.
Figure pat00022
본 개시의 또 다른 측면은 이러한 조명 보상 기술을 아핀 움직임 예측과 결합하는 기술과 관련된다.
전술한 바와 같이, 대상블록에 대해 서브블록 단위 아핀 움직임 예측을 적용하는 경우, 서브블록들 각각에 대해 움직임벡터들이 생성된다. 각 서브블록마다 해당 움직임벡터를 이용하여 조명 보상 파라미터를 유도하고 조명 보상을 수행하는 경우, 연산의 복잡도가 증가할 뿐만 아니라 심각한 지연 문제 발생한다. 각 서브블록 내의 복원된 샘플들이 다음 번 서브블록의 조명 보상을 위해 필요하므로, 인접한 서브블록이 복원될 때까지(즉, 서브블록에 대한 예측블록과 잔차블록이 모두를 복원될 때까지) 다음 번 서브블록에 대한 조명 보상 프로세스를 보류해야 하기 때문이다. 본 개시는 이러한 문제들의 개선에 대한 것이다.
도 11은 본 개시의 일 실시예에 따라 조명 보상 파라미터를 유도하기 위해 참조블록의 위치를 결정하는 다양한 예시를 보여준다. 본 실시예는 대상블록에 대해 하나의 조명 보상 파라미터 셋(A, b)를 유도하고, 대상블록 내의 모든 서브블록들에 대하여 동일한 파라미터를 적용한다. 즉, 대상블록 전체가 하나의 조명 보상 파라미터를 통해 수정된다.
도 11(A)에서 보는 바와 같이, 영상 부호화 장치의 인터 예측부(124)는 대상블록 내의 좌상단에 위치한 서브블록의 아핀 움직임벡터 또는 대상블록의 좌상귀 제어점 움직임벡터를 이용하여 참조픽처 내의 참조블록의 위치를 결정할 수 있다. 결정된 참조블록 주변의 기복원된 샘플들이 파라미터 유도에 사용된다. 대안적으로, 도 11(B)에서 보는 바와 같이, 대상블록 내의 중앙 서브블록의 아핀 움직임벡터를 이용하여 참조블록의 위치가 결정될 수 있다. 참조블록의 위치가 결정되면 참조블록의 상측과 좌측에 인접한 기복원된 샘플들 및 대상블록의 상측과 좌측에 인접한 대응하는 기복원된 샘플들을 이용하여 조명 보상 파라미터가 유도된다.
또 다른 예시로서, 대상블록 내의 복수의 서브블록들이 사용될 수도 있다. 도 11(C)와 같이, 인터 예측부(124)는 대상블록 내의 경계에 위치한 서브블록(경계 서브블록)들의 아핀 움직임벡터들을 이용하여 경계 서브블록 각각에 대응하는 참조 서브블록들을 결정한다. 조명 보상 파라미터를 유도하기 위한 샘플들은 대상블록 내의 경계 서브블록들 및 그에 대응하는 참조 서브블록들에 각각 인접한 기복원 샘플들로부터 추출된다. 대상블록 내에서 상측 경계에 위치한 서브블록들 및 그에 대응하는 참조 서브블록들에 대해서는 상측에 인접한 기복원된 샘플들로부터 추출되고, 대상블록 내에서 좌측 경계에 위치한 서브블록들 및 그에 대응하는 참조 서브블록들에 대해서는 좌측에 인접한 기복원된 샘플들로부터 추출된다.
이상에서 설명한 하나 이상의 코딩 툴들이 인터 예측의 예측 성능을 향상시키기 위해 사용될 수 있으며, 복잡도 또는 지연 등의 문제를 해결하기 위해 일부 코딩 툴의 적용은 다른 코딩 툴의 적용을 배제하는 제약이 존재할 수도 있다.
추가로, 아핀 예측 샘플에 대한 샘플 단위 조정 및 양방향 옵티컬 플로우는 모두 예측 이후에 예측샘플들을 수정하는 기법이고, 수정을 위해 샘플들의 그레디언트가 이용된다. 따라서, 계산량과 하드웨어 복잡도를 감소시키기 위해, 양방향 옵티컬 플로우의 계산식은 양방향 예측에서의 아핀 예측 샘플에 대한 샘플 단위 조정을 위한 계산식의 형태로 수정될 수 있다. 또는, 역으로 양방향 예측에서의 아핀 예측 샘플에 대한 샘플 단위 조정을 위한 계산식을 양방향 옵티컬 플로우의 계산식의 형태로 표현하는 것도 가능하다.
예컨대, 양방향 예측의 경우, 영상 부호화 장치와 영상 복호화 장치는, 참조픽처 리스트 0의 참조픽처 및 참조픽처 리스트 1의 참조픽처 각각에 대해, 아핀 예측 샘플에 대한 샘플 단위 조정을 수행하여 두 개의 예측블록들을 생성한다. 그 두 개의 예측블록들은 수학식 14 내지 15에 의해 생성된다. 대상블록에 대한 최종 예측블록은 두 개의 예측블록들 간의 평균 연산에 의해 생성될 수 있다. 비트 뎁스가 10인 경우, 최종 예측블록을 생성하는 과정을 수학식으로 표현하면 다음과 같다.
Figure pat00023
수학식 18에서 "I0(i,j) + clip3()"은 참조픽처 리스트 0의 참조픽처로부터의 예측블록이고, "I1(i,j) + clip3()"은 참조픽처 리스트 1의 참조픽처로부터의 예측블록이다.
한편, 수학식 9를 수학식 10에 대입하면, 양방향 옵티컬 플로우에서의 최종 예측샘플을 구하는 식은 다음과 같이 표현될 수 있다.
Figure pat00024
수학식 19를 수학식 18의 형식으로 표현하면 다음과 같다.
Figure pat00025
즉, 양방향 옵티컬 플로우가 적용된 최종 예측샘플은 수학식 19 대신 수학식 20을 통해 연산될 수 있다. 수학식 20은 아핀 예측 샘플에 대한 샘플 단위 조정 기법과 유사한 형태로 표현되므로, 양방향 옵티컬 플로우 기법에 따른 수학식 연산을 위해 별도로 하드웨어를 설계할 필요가 없다. 또한, 수학식 20은 참조픽처 리스트 0의 참조픽처로부터의 예측블록과 참조픽처 리스트 1의 참조픽처로부터의 예측블록의 평균의 형태로 표현되므로, 하드웨어 설계가 간소해진다.
이상의 설명에서 예시적인 실시예들은 많은 다른 방식으로 구현될 수 있다는 것을 이해해야 한다. 하나 이상의 예시들에서 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 본 명세서에서 설명된 기능적 컴포넌트들은 그들의 구현 독립성을 특히 더 강조하기 위해 "...부(unit)" 로 라벨링되었음을 이해해야 한다.
한편, 본 개시에서 설명된 다양한 기능들 혹은 방법들은 하나 이상의 프로세서에 의해 판독되고 실행될 수 있는 비일시적 기록매체에 저장된 명령어들로 구현될 수도 있다. 비일시적 기록매체는, 예를 들어, 컴퓨터 시스템에 의하여 판독가능한 형태로 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 예를 들어, 비일시적 기록매체는 EPROM(erasable programmable read only memory), 플래시 드라이브, 광학 드라이브, 자기 하드 드라이브, 솔리드 스테이트 드라이브(SSD)와 같은 저장매체를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (17)

  1. 인터 예측을 이용하여 픽처들을 복호화하는 영상 복호화 장치에 있어서,
    복호화하고자 하는 현재 픽처 내 대상블록의 코너(corner)의 제어점 움직임벡터들을 이용하여 서브블록 단위로 아핀 움직임 예측을 수행함으로써 상기 대상블록 내의 각 서브블록에 대한 아핀 예측샘플들을 생성하고,
    상기 제어점 움직임벡터들을 이용하여 상기 각 서브블록들 내의 샘플 위치에 따른 움직임을 보상하는 제1 코딩 툴을 실행함으로써 상기 아핀 예측샘플들의 샘플값들을 수정하는 예측부를 포함하고,
    상기 예측부는,
    상기 제어점 움직임벡터들의 값들 또는 상기 제어점 움직임벡터들 간의 각도 중 적어도 하나에 기반하여 상기 제1 코딩 툴의 실행 여부를 결정하는 것을 특징으로 하는 영상 복호화 장치.
  2. 제1항에 있어서,
    상기 제1 코딩 툴이 실행될 때, 상기 예측부는,
    상기 대상블록의 제어점 움직임벡터들을 이용하여, 수정하고자 하는 대상 서브블록 내의 샘플 위치 및 상기 대상 서브블록의 중심 간의 차이에 기인하는 움직임 오프셋을 생성하고,
    상기 대상 서브블록 내의 샘플 위치에 대한 수평 및 수직 방향의 그래디언트(gradient)들을 생성하며,
    상기 수평 및 수직 방향 그래디언트들 및 상기 움직임 오프셋을 이용하여 상기 대상 서브블록 내의 샘플 위치에 대응하는 아핀 예측샘플에 대한 샘플 오프셋을 생성하고,
    상기 샘플 위치에 대응하는 아핀 예측샘플의 샘플값에 상기 샘플 오프셋을 가산하는 것을 특징으로 하는 영상 복호화 장치.
  3. 제1항에 있어서,
    상기 예측부는, 상기 제어점 움직임벡터들의 값들이 서로 동일한 경우, 상기 제1 코딩 툴을 실행하지 않는 것을 특징으로 하는 영상 복호화 장치.
  4. 제1항에 있어서,
    상기 예측부는, 상기 제어점 움직임벡터들의 내적이 음수인 경우 상기 제1 코딩 툴을 실행하지 않는 것을 것을 특징으로 하는 영상 복호화 장치.
  5. 제1항에 있어서,
    비트스트림의 각 픽처의 헤더로부터 상기 헤더와 관련된 픽처에 상기 제1 코딩 툴이 허용되는지 여부를 나타내는 픽처 레벨 플래그를 복호화하는 복호화부를 더 포함하고,
    상기 예측부는,
    상기 대상블록이 포함된 상기 현재 픽처의 헤더로부터 추출된 픽처 레벨 플래그의 값에 따라 상기 대상블록에 대한 상기 제1 코딩 툴의 실행 여부를 결정하는 것을 특징으로 하는 영상 복호화 장치.
  6. 제2항에 있어서,
    상기 움직임 오프셋의 수평 및 수평 성분이 기정의된 임계값보다 작은 경우, 상기 제1 코딩 툴의 실행을 중단하는 것을 특징으로 하는 영상 복호화 장치.
  7. 제1항에 있어서,
    상기 예측부는,
    상기 대상블록을 인터 예측하여 인터 예측블록을 생성하고 상기 대상블록을 인트라 예측하여 인트라 예측블록을 생성하며, 상기 인터 예측블록과 상기 인트라 예측블록을 가중 평균하여 상기 대상블록의 예측샘플들을 생성하는 제2 코딩 툴을 포함하는 것을 특징으로 하는 영상 복호화 장치.
  8. 제7항에 있어서,
    상기 제1 코딩 툴과 상기 제2 코딩 툴 중 어느 하나의 코딩 툴의 실행은 다른 하나의 코딩 툴의 실행을 제약하는 것을 특징으로 하는 영상 복호화 장치.
  9. 인터 예측을 이용하여 픽처들을 부호화하는 영상 부호화 장치에 있어서,
    부호화하고자 하는 현재 픽처로부터 분할된 대상블록의 코너(corner)의 제어점 움직임벡터들을 결정하고 상기 제어점 움직임벡터들을 이용하여 서브블록 단위로 아핀 움직임 예측을 수행함으로써 상기 대상블록 내의 각 서브블록에 대한 아핀 예측샘플들을 생성하고,
    상기 제어점 움직임벡터들을 이용하여 상기 각 서브블록들 내의 샘플 위치에 따른 움직임을 보상하는 제1 코딩 툴을 실행함으로써 상기 아핀 예측샘플들의 샘플값들을 수정하는 예측부를 포함하고,
    상기 예측부는,
    상기 제어점 움직임벡터들의 값들 또는 상기 제어점 움직임벡터들 간의 각도 중 적어도 하나에 기반하여 상기 제1 코딩 툴의 실행 여부를 결정하는 것을 특징으로 하는 영상 부호화 장치.
  10. 제9항에 있어서,
    상기 제1 코딩 툴의 실행될 때, 상기 예측부는,
    상기 대상블록의 제어점 움직임벡터들을 이용하여, 수정하고자 하는 대상 서브블록 내의 샘플 위치 및 상기 대상 서브블록의 중심 간의 차이에 기인하는 움직임 오프셋을 생성하고,
    상기 대상 서브블록 내의 샘플 위치에 대한 수평 및 수직 방향의 그래디언트(gradient)들을 생성하며,
    상기 수평 및 수직 방향 그래디언트들 및 상기 움직임 오프셋을 이용하여 상기 대상 서브블록 내의 샘플 위치에 대응하는 아핀 예측샘플에 대한 샘플 오프셋을 생성하고,
    상기 샘플 위치에 대응하는 아핀 예측샘플의 샘플값에 상기 샘플 오프셋을 가산하는 것을 특징으로 하는 영상 부호화 장치.
  11. 제9항에 있어서,
    상기 예측부는, 상기 제어점 움직임벡터들의 값들이 서로 동일한 경우, 상기 제1 코딩 툴을 실행하지 않는 것을 특징으로 하는 영상 부호화 장치.
  12. 제9항에 있어서,
    상기 예측부는, 상기 제어점 움직임벡터들의 내적이 음수인 경우 상기 제1 코딩 툴을 실행하지 않는 것을 것을 특징으로 하는 영상 부호화 장치.
  13. 제9항에 있어서,
    상기 제1 코딩 툴이 허용되는지 여부를 나타내는 픽처 레벨 플래그를 상기 픽처들 각각의 헤더에 부호화하는 부호화부를 더 포함하고,
    상기 예측부는,
    상기 대상블록이 포함된 상기 현재 픽처의 헤더에 포함된 픽처 레벨 플래그의 값에 따라 상기 대상블록에 대한 상기 제1 코딩 툴의 실행 여부를 결정하는 것을 특징으로 하는 영상 부호화 장치.
  14. 제10항에 있어서,
    상기 움직임 오프셋의 수평 및 수평 성분이 기정의된 임계값보다 작은 경우, 상기 제1 코딩 툴의 실행을 중단하는 것을 특징으로 하는 영상 복호화 장치.
  15. 제9항에 있어서,
    상기 예측부는,
    상기 대상블록을 인터 예측하여 인터 예측블록을 생성하고 상기 대상블록을 인트라 예측하여 인트라 예측블록을 생성하며, 상기 인터 예측블록과 상기 인트라 예측블록을 가중 평균하여 상기 대상블록의 예측샘플들을 생성하는 제2 코딩 툴을 포함하는 것을 특징으로 하는 영상 부호화 장치.
  16. 제15항에 있어서,
    상기 제1 코딩 툴과 상기 제2 코딩 툴 중 어느 하나의 코딩 툴의 실행은 다른 하나의 코딩 툴의 실행을 제약하는 것을 특징으로 하는 영상 부호화 장치.
  17. 인터 예측을 이용한 영상 복호화 방법에 있어서,
    복호화하고자 하는 대상블록의 코너(corner)의 제어점 움직임벡터들을 이용하여 서브블록 단위로 아핀 움직임 예측을 수행함으로써 상기 대상블록 내의 각 서브블록에 대한 아핀 예측샘플들을 생성하는 단계;
    상기 제어점 움직임벡터들의 값들 또는 상기 제어점 움직임벡터들 간의 각도 중 적어도 하나에 기반하여 제1 코딩 툴의 실행 여부를 결정하는 단계; 및
    상기 제1 코딩 툴이 실행될 때, 상기 제어점 움직임벡터들을 이용하여 상기 각 서브블록들 내의 샘플 위치에 따른 움직임을 보상함으로써 상기 아핀 예측샘플들의 샘플값들을 수정하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
KR1020200083980A 2019-07-08 2020-07-08 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치 KR20210006306A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/KR2020/008917 WO2021006614A1 (ko) 2019-07-08 2020-07-08 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
US17/263,597 US11432002B2 (en) 2019-07-08 2020-07-08 Method and apparatus for encoding and decoding video using inter-prediction
US17/868,953 US11785247B2 (en) 2019-07-08 2022-07-20 Method and apparatus for encoding and decoding video using inter-prediction
US17/868,972 US11997309B2 (en) 2019-07-08 2022-07-20 Method and apparatus for encoding and decoding video using inter-prediction
US17/868,893 US11838538B2 (en) 2019-07-08 2022-07-20 Method and apparatus for encoding and decoding video using inter-prediction
US17/868,990 US11849140B2 (en) 2019-07-08 2022-07-20 Method and apparatus for encoding and decoding video using inter-prediction

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190081925 2019-07-08
KR1020190081925 2019-07-08

Publications (1)

Publication Number Publication Date
KR20210006306A true KR20210006306A (ko) 2021-01-18

Family

ID=74236992

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200083980A KR20210006306A (ko) 2019-07-08 2020-07-08 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치

Country Status (2)

Country Link
US (1) US11432002B2 (ko)
KR (1) KR20210006306A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023055191A1 (ko) * 2021-09-30 2023-04-06 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021060825A1 (ko) * 2019-09-23 2021-04-01 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2021129627A1 (en) * 2019-12-27 2021-07-01 Zhejiang Dahua Technology Co., Ltd. Affine prediction method and related devices
WO2023078449A1 (en) * 2021-11-08 2023-05-11 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023193804A1 (en) * 2022-04-08 2023-10-12 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101003105B1 (ko) 2008-01-29 2010-12-21 한국전자통신연구원 어파인 변환 기반의 움직임 보상을 이용한 비디오 부호화 및 복호화 방법 및 장치
SG10202111537RA (en) 2015-03-10 2021-11-29 Huawei Tech Co Ltd Picture prediction method and related apparatus
US20170150186A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Flexible transform tree structure in video coding
WO2017130696A1 (ja) * 2016-01-29 2017-08-03 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置
RU2696551C1 (ru) * 2016-03-15 2019-08-02 МедиаТек Инк. Способ и устройство для кодирования видео с компенсацией аффинного движения
EP3497932A4 (en) 2016-08-15 2020-03-25 Nokia Technologies Oy VIDEO CODING AND DECODING
US10701391B2 (en) * 2017-03-23 2020-06-30 Qualcomm Incorporated Motion vector difference (MVD) prediction
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
EP3468195A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Improved predictor candidates for motion compensation
US11877001B2 (en) * 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
EP3711299A1 (en) * 2017-11-14 2020-09-23 Qualcomm Incorporated Unified merge candidate list usage
CN111656783B (zh) * 2018-01-25 2024-03-08 三星电子株式会社 使用基于子块的运动补偿进行视频信号处理的方法和装置
US10798394B2 (en) * 2018-06-27 2020-10-06 Avago Technologies International Sales Pte. Limited Low complexity affine merge mode for versatile video coding
US10863193B2 (en) * 2018-06-29 2020-12-08 Qualcomm Incorporated Buffer restriction during motion vector prediction for video coding
US20210274217A1 (en) * 2018-06-29 2021-09-02 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus for throughput enhancement, and recording medium storing bitstream
KR20210038846A (ko) * 2018-06-29 2021-04-08 브이아이디 스케일, 인크. Affine motion 모델 기반 비디오 코딩을 위한 적응형 제어 포인트 선택

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023055191A1 (ko) * 2021-09-30 2023-04-06 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Also Published As

Publication number Publication date
US11432002B2 (en) 2022-08-30
US20210306658A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
US11683482B2 (en) Method and apparatus for encoding and decoding video using inter-prediction
KR20210006306A (ko) 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
US11785251B2 (en) Method and apparatus for encoding and decoding video using inter-prediction
KR20210040787A (ko) 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
EP3993423A1 (en) Method and device for encoding and decoding videoby using inter-prediction
KR20230105646A (ko) 크로마 성분을 위한 템플릿 기반 인트라 모드 유도 방법
US20220385940A1 (en) Method and apparatus for encoding and decoding video using inter-prediction
KR20210038377A (ko) 다른 해상도를 가지는 픽처들에 대한 인터 예측 방법 및 장치
RU2806280C2 (ru) Способ и устройство для кодирования и декодирования видео с использованием интер-предсказания
US11997309B2 (en) Method and apparatus for encoding and decoding video using inter-prediction
RU2802844C2 (ru) Способ и устройство для кодирования и декодирования видео с использованием интер-предсказания
RU2806279C2 (ru) Способ и устройство для кодирования и декодирования видео с использованием интер-предсказания
RU2801342C2 (ru) Способ и устройство для кодирования и декодирования видео с использованием интер-предсказания
RU2778099C9 (ru) Способ и устройство для кодирования и декодирования видео с использованием интер-предсказания
RU2778099C1 (ru) Способ и устройство для кодирования и декодирования видео с использованием интерпредсказания
KR20220137553A (ko) 디코더 측면의 움직임 보상을 이용하는 비디오 코딩방법 및 장치
KR20230105648A (ko) 공간적 상관성을 이용하는 디코더측 움직임벡터 유도 방법
KR20220017372A (ko) 영상 부/복호화 장치에서 이용하는 양자화 파라미터 예측 방법
KR20210088448A (ko) 이종 해상도를 갖는 참조 픽처 기반의 영상 부호화 및 복호화
KR20220118349A (ko) 인터 예측 기반의 비디오 부호화 및 복호화