KR102498289B1 - 인터 예측 방법 및 그 장치 - Google Patents

인터 예측 방법 및 그 장치 Download PDF

Info

Publication number
KR102498289B1
KR102498289B1 KR1020227009656A KR20227009656A KR102498289B1 KR 102498289 B1 KR102498289 B1 KR 102498289B1 KR 1020227009656 A KR1020227009656 A KR 1020227009656A KR 20227009656 A KR20227009656 A KR 20227009656A KR 102498289 B1 KR102498289 B1 KR 102498289B1
Authority
KR
South Korea
Prior art keywords
merge
block
merge candidate
prediction
parallel
Prior art date
Application number
KR1020227009656A
Other languages
English (en)
Other versions
KR20220043236A (ko
Inventor
전용준
박승욱
박준영
전병문
임재현
김정선
박내리
헨드리헨드리
김철근
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20220043236A publication Critical patent/KR20220043236A/ko
Application granted granted Critical
Publication of KR102498289B1 publication Critical patent/KR102498289B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 인터 예측 방법은, 현재 예측 유닛에 대응하는 예측 대상 블록의 머지 후보 리스트를 생성하는 단계, 머지 후보 리스트를 구성하는 복수의 머지 후보 중 하나를 기반으로, 예측 대상 블록의 움직임 정보를 도출하는 단계 및 도출된 움직임 정보를 기반으로 예측 대상 블록에 대해 예측을 수행함으로써, 현재 예측 유닛에 대응하는 예측 블록을 생성하는 단계를 포함한다.

Description

인터 예측 방법 및 그 장치{INTER PREDICTION METHOD AND APPARATUS THEREFOR}
본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 인터 예측 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 전송되는 정보량 또는 비트량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 영상 데이터를 저장하는 경우, 전송 비용과 저장 비용이 증가된다. 이러한 문제들을 해결하기 위해서 고효율의 영상 압축 기술들이 이용될 수 있다.
영상 압축 기술에는 현재 픽쳐의 이전 및/또는 이후 픽쳐로부터 현재 픽쳐에 포함된 픽셀값을 예측하는 인터 예측(inter prediction) 기술, 현재 픽쳐 내의 픽셀 정보를 이용하여 현재 픽쳐에 포함된 픽셀값을 예측하는 인트라 예측(intra prediction) 기술, 출현 빈도가 높은 값에 짧은 코드워드를 할당하고 출현 빈도가 낮은 값에 긴 코드워드를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재한다. 이러한 영상 압축 기술을 이용해 영상 데이터가 효과적으로 압축되어 전송 또는 저장될 수 있다.
본 발명의 기술적 과제는 복잡도를 감소시키고 부호화/복호화 효율을 향상시킬 수 있는 영상 부호화 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 복잡도를 감소시키고 부호화/복호화 효율을 향상시킬 수 있는 영상 복호화 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 복잡도를 감소시키고 부호화/복호화 효율을 향상시킬 수 있는 인터 예측 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 복잡도를 감소시키고 부호화/복호화 효율을 향상시킬 수 있는 머지 후보 리스트 생성 방법 및 장치를 제공함에 있다.
본 발명의 일 실시 형태는 인터 예측 방법이다. 상기 방법은, 현재 예측 유닛(current Prediction Unit: current PU)에 대응하는 예측 대상 블록의 머지 후보 리스트(merge candidate list)를 생성하는 단계, 상기 머지 후보 리스트를 구성하는 복수의 머지 후보 중 하나를 기반으로, 상기 예측 대상 블록의 움직임 정보를 도출하는 단계 및 상기 도출된 움직임 정보를 기반으로 상기 예측 대상 블록에 대해 예측을 수행함으로써, 상기 현재 예측 유닛에 대응하는 예측 블록을 생성하는 단계를 포함하되, 상기 현재 예측 유닛은 머지 후보 공유 단위에 속한 예측 유닛이고, 상기 머지 후보 리스트 생성 단계에서는, 복수의 제1 머지 후보로 구성된 제1 머지 후보 리스트 및 복수의 제2 머지 후보로 구성된 제2 머지 후보 리스트 중에서 하나를 선택적으로 생성하고, 상기 복수의 제1 머지 후보는, 상기 예측 대상 블록의 위치 및 크기를 기반으로 결정된 복수의 제1 블록의 움직임 정보이고, 상기 복수의 제2 머지 후보는, 상기 머지 후보 공유 단위에 대응하는 블록의 위치 및 크기를 기반으로 결정된 복수의 제2 블록의 움직임 정보일 수 있다.
상기 머지 후보 리스트 생성 단계에서, 상기 제1 머지 후보 리스트가 생성되는지 또는 상기 제2 머지 후보 리스트가 생성되는지 여부는 상기 머지 후보 공유 단위로 결정될 수 있고, 상기 제2 머지 후보 리스트가 생성되는 것으로 결정된 경우, 상기 머지 후보 공유 단위 내의 모든 예측 유닛은 상기 제2 머지 후보 리스트를 공유할 수 있다.
상기 머지 후보 공유 단위는 상기 현재 예측 유닛이 속한 현재 부호화 유닛(current Coding Unit: current CU)일 수 있고, 상기 복수의 제2 머지 후보는, 상기 현재 부호화 유닛에 대응하는 복호화 대상 블록의 위치 및 크기를 기반으로 결정된 복수의 제2 블록의 움직임 정보일 수 있다.
상기 복수의 제1 블록은, 상기 예측 대상 블록 외부의 좌측 하단 코너에 가장 가까이 위치한 블록, 상기 예측 대상 블록의 좌측에 인접한 블록 중에서 가장 하단에 위치한 블록, 상기 예측 대상 블록 외부의 좌측 상단 코너에 가장 가까이 위치한 블록, 상기 예측 대상 블록의 상단에 인접한 블록 중에서 가장 우측에 위치한 블록 및 상기 예측 대상 블록의 우측 상단 코너에 가장 가까이 위치한 블록을 포함할 수 있고, 상기 복수의 제2 블록은, 상기 복호화 대상 블록 외부의 좌측 하단 코너에 가장 가까이 위치한 블록, 상기 복호화 대상 블록의 좌측에 인접한 블록 중에서 가장 하단에 위치한 블록, 상기 복호화 대상 블록 외부의 좌측 상단 코너에 가장 가까이 위치한 블록, 상기 복호화 대상 블록의 상단에 인접한 블록 중에서 가장 우측에 위치한 블록 및 상기 복호화 대상 블록의 우측 상단 코너에 가장 가까이 위치한 블록을 포함할 수 있다.
상기 머지 후보 리스트 생성 단계에서, 상기 제1 머지 후보 리스트가 생성되는 것으로 결정된 경우, 상기 복수의 제1 블록 중에서 상기 복호화 대상 블록 내에 위치한 블록의 움직임 정보는 상기 제1 머지 후보로 사용하지 않을 수 있다.
상기 머지 후보 리스트 생성 단계에서, 상기 제1 머지 후보 리스트가 생성되는 것으로 결정되고, 상기 현재 예측 유닛의 분할 모드가 2NxN, 2NxnU 또는 2NxnD이고, 상기 현재 예측 유닛이 상기 현재 부호화 유닛 내의 하단에 위치한 예측 유닛인 경우, 상기 예측 대상 블록의 상단에 인접한 블록 중에서 가장 우측에 위치한 블록의 움직임 정보는 상기 제1 머지 후보로 사용하지 않을 수 있다.
상기 머지 후보 리스트 생성 단계에서, 상기 제1 머지 후보 리스트가 생성되는 것으로 결정되고, 상기 현재 예측 유닛의 분할 모드가 Nx2N, nLx2N 또는 nRx2N 이고, 상기 현재 예측 유닛이 상기 현재 부호화 유닛 내의 우측에 위치한 예측 유닛인 경우, 상기 예측 대상 블록의 좌측에 인접한 블록 중에서 가장 하단에 위치한 블록의 움직임 정보는 상기 제1 머지 후보로 사용하지 않을 수 있다.
상기 머지 후보 리스트 생성 단계 및 상기 움직임 정보 도출 단계는, 상기 현재 예측 유닛이 속한 병렬 처리 단위 내의 모든 예측 유닛에 대해 병렬적으로 수행될 수 있고, 상기 병렬 처리 단위는 상기 병렬 처리 단위의 크기를 지시하는 병렬 처리 레벨(parallel processing level)을 기반으로 결정될 수 있고, 상기 병렬 처리 레벨에 관한 정보는 PPS(Picture Parameter Set)에 포함되어 부호화기로부터 복호화기로 전송될 수 있다.
상기 머지 후보 리스트 생성 단계에서, 상기 제1 머지 후보 리스트가 생성되는지 또는 상기 제2 머지 후보 리스트가 생성되는지 여부는 상기 복호화 대상 블록의 크기 및 상기 병렬 처리 레벨을 기반으로 결정될 수 있다.
상기 머지 후보 리스트 생성 단계에서는, 상기 복호화 대상 블록의 크기가 8x8이고, 상기 병렬 처리 단위의 크기가 4x4보다 큰 경우에 상기 제2 머지 후보 리스트를 생성할 수 있다.
본 발명의 다른 실시 형태는 영상 복호화 방법이다. 상기 방법은, 현재 예측 유닛(current Prediction Unit: current PU)에 대응하는 예측 대상 블록의 머지 후보 리스트(merge candidate list)를 생성하는 단계, 상기 머지 후보 리스트를 구성하는 복수의 머지 후보 중 하나를 기반으로, 상기 예측 대상 블록의 움직임 정보를 도출하는 단계, 상기 도출된 움직임 정보를 기반으로 상기 예측 대상 블록에 대해 예측을 수행함으로써, 상기 현재 예측 유닛에 대응하는 예측 블록을 생성하는 단계 및 상기 생성된 예측 블록을 기반으로 복원 블록을 생성하는 단계를 포함하되, 상기 현재 예측 유닛은 머지 후보 공유 단위에 속한 예측 유닛일 수 있고, 상기 머지 후보 리스트 생성 단계에서는, 복수의 제1 머지 후보로 구성된 제1 머지 후보 리스트 및 복수의 제2 머지 후보로 구성된 제2 머지 후보 리스트 중에서 하나를 선택적으로 생성할 수 있고, 상기 복수의 제1 머지 후보는, 상기 예측 대상 블록의 위치 및 크기를 기반으로 결정된 복수의 제1 블록의 움직임 정보이고, 상기 복수의 제2 머지 후보는, 상기 머지 후보 공유 단위에 대응하는 블록의 위치 및 크기를 기반으로 결정된 복수의 제2 블록의 움직임 정보일 수 있다.
상기 머지 후보 리스트 생성 단계에서, 상기 제1 머지 후보 리스트가 생성되는지 또는 상기 제2 머지 후보 리스트가 생성되는지 여부는 상기 머지 후보 공유 단위로 결정될 수 있고, 상기 제2 머지 후보 리스트가 생성되는 것으로 결정된 경우, 상기 머지 후보 공유 단위 내의 모든 예측 유닛은 상기 제2 머지 후보 리스트를 공유할 수 있다.
상기 머지 후보 공유 단위는 상기 현재 예측 유닛이 속한 현재 부호화 유닛(current Coding Unit: current CU)일 수 있고, 상기 복수의 제2 머지 후보는, 상기 현재 부호화 유닛에 대응하는 복호화 대상 블록의 위치 및 크기를 기반으로 결정된 복수의 제2 블록의 움직임 정보일 수 있다.
상기 복수의 제1 블록은, 상기 예측 대상 블록 외부의 좌측 하단 코너에 가장 가까이 위치한 블록, 상기 예측 대상 블록의 좌측에 인접한 블록 중에서 가장 하단에 위치한 블록, 상기 예측 대상 블록 외부의 좌측 상단 코너에 가장 가까이 위치한 블록, 상기 예측 대상 블록의 상단에 인접한 블록 중에서 가장 우측에 위치한 블록 및 상기 예측 대상 블록의 우측 상단 코너에 가장 가까이 위치한 블록을 포함할 수 있고, 상기 복수의 제2 블록은, 상기 복호화 대상 블록 외부의 좌측 하단 코너에 가장 가까이 위치한 블록, 상기 복호화 대상 블록의 좌측에 인접한 블록 중에서 가장 하단에 위치한 블록, 상기 복호화 대상 블록 외부의 좌측 상단 코너에 가장 가까이 위치한 블록, 상기 복호화 대상 블록의 상단에 인접한 블록 중에서 가장 우측에 위치한 블록 및 상기 복호화 대상 블록의 우측 상단 코너에 가장 가까이 위치한 블록을 포함할 수 있다.
상기 머지 후보 리스트 생성 단계에서, 상기 제1 머지 후보 리스트가 생성되는 것으로 결정된 경우, 상기 복수의 제1 블록 중에서 상기 복호화 대상 블록 내에 위치한 블록의 움직임 정보는 상기 제1 머지 후보로 사용하지 않을 수 있다.
상기 머지 후보 리스트 생성 단계에서, 상기 제1 머지 후보 리스트가 생성되는 것으로 결정되고, 상기 현재 예측 유닛의 분할 모드가 2NxN, 2NxnU 또는 2NxnD이고, 상기 현재 예측 유닛이 상기 현재 부호화 유닛 내의 하단에 위치한 예측 유닛인 경우, 상기 예측 대상 블록의 상단에 인접한 블록 중에서 가장 우측에 위치한 블록의 움직임 정보는 상기 제1 머지 후보로 사용하지 않을 수 있다.
상기 머지 후보 리스트 생성 단계에서, 상기 제1 머지 후보 리스트가 생성되는 것으로 결정되고, 상기 현재 예측 유닛의 분할 모드가 Nx2N, nLx2N 또는 nRx2N 이고, 상기 현재 예측 유닛이 상기 현재 부호화 유닛 내의 우측에 위치한 예측 유닛인 경우, 상기 예측 대상 블록의 좌측에 인접한 블록 중에서 가장 하단에 위치한 블록의 움직임 정보는 상기 제1 머지 후보로 사용하지 않을 수 있다.
상기 머지 후보 리스트 생성 단계 및 상기 움직임 정보 도출 단계는, 상기 현재 예측 유닛이 속한 병렬 처리 단위 내의 모든 예측 유닛에 대해 병렬적으로 수행될 수 있고, 상기 병렬 처리 단위는 상기 병렬 처리 단위의 크기를 지시하는 병렬 처리 레벨(parallel processing level)을 기반으로 결정될 수 있고, 상기 병렬 처리 레벨에 관한 정보는 PPS(Picture Parameter Set)에 포함되어 부호화기로부터 복호화기로 전송될 수 있다.
상기 머지 후보 리스트 생성 단계에서, 상기 제1 머지 후보 리스트가 생성되는지 또는 상기 제2 머지 후보 리스트가 생성되는지 여부는 상기 복호화 대상 블록의 크기 및 상기 병렬 처리 레벨을 기반으로 결정될 수 있다.
상기 머지 후보 리스트 생성 단계에서는, 상기 복호화 대상 블록의 크기가 8x8이고, 상기 병렬 처리 단위의 크기가 4x4보다 큰 경우에 상기 제2 머지 후보 리스트를 생성할 수 있다.
본 발명에 따른 영상 부호화 방법에 의하면, 복잡도가 감소되고 부호화/복호화 효율이 향상될 수 있다.
본 발명에 따른 영상 복호화 방법에 의하면, 복잡도가 감소되고 부호화/복호화 효율이 향상될 수 있다.
본 발명에 따른 인터 예측 방법에 의하면, 복잡도가 감소되고 부호화/복호화 효율이 향상될 수 있다.
본 발명에 따른 머지 후보 리스트 생성 방법에 의하면, 복잡도가 감소되고 부호화/복호화 효율이 향상될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 예측부를 개략적으로 도시한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 영상 복호화 장치의 예측부를 개략적으로 나타낸 개념도이다.
도 5는 본 발명이 적용되는 시스템에서 처리 유닛의 쿼드 트리 구조에 관한 일 예를 개략적으로 도시하는 개념도이다.
도 6은 머지 모드에서의 인터 예측 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 7은 머지 후보 리스트 생성에 사용되는 머지 후보들의 실시예를 개략적으로 나타내는 도면이다.
도 8은 머지 모드 및 스킵 모드에서 병렬 처리 단위의 일 실시예를 개략적으로 나타내는 도면이다.
도 9는 머지 모드에서 병렬 움직임 수행시 발생하는 문제점을 개략적으로 설명하기 위한 도면이다.
도 10은 병렬 움직임 예측을 가능하게 하기 위한 머지 후보 도출 방법의 일 실시예를 개략적으로 나타내는 도면이다.
도 11은 병렬 움직임 예측을 가능하게 하기 위한 머지 후보 도출 방법의 다른 실시예를 개략적으로 나타내는 도면이다.
도 12는 병렬 움직임 예측을 가능하게 하기 위한 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다.
도 13은 머지 후보 공유 단위 내의 예측 유닛들에 대한 공통 머지 후보 도출 방법의 일 실시예를 개략적으로 나타내는 도면이다.
도 14는 머지 후보 공유 단위 내의 예측 유닛들에 대한 공통 머지 후보 도출 방법의 다른 실시예를 개략적으로 나타내는 도면이다.
도 15는 MER 머지 후보 도출 방법의 실시예를 개략적으로 나타내는 도면이다.
도 16은 MER 머지 후보 도출 방법의 다른 실시예를 개략적으로 나타내는 도면이다.
도 17은 MER 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다.
도 18은 MER 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다.
도 19는 MER 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다.
도 20은 MER 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다.
도 21은 MER 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다.
도 22는 MER 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다.
도 23은 MER 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다.
도 24는 MER 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 영상 부호화/복호화 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리 범위에 포함된다.
*이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 영상 부호화 장치(100)는 픽쳐 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 부호화부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 포함한다.
픽쳐 분할부(105)는 입력된 픽쳐를 적어도 하나의 처리 단위로 분할할 수 있다. 이때, 처리 단위는 예측 유닛(Prediction Unit: PU)일 수도 있고, 변환 유닛(Transform Unit: TU)일 수도 있으며, 부호화 유닛(Coding Unit: CU)일 수도 있다.
예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함할 수 있다. 예측부(110)는, 픽쳐 분할부(105)에서의 픽쳐의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성할 수 있다. 예측부(110)에서 픽쳐의 처리 단위는 부호화 유닛일 수도 있고, 변환 유닛일 수도 있고, 예측 유닛일 수도 있다. 또한, 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)를 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 예측 유닛 단위로 결정되고, 예측의 수행은 변환 유닛 단위로 수행될 수도 있다. 생성된 예측 블록과 원본 블록 사이의 잔차값(잔차 블록: residual block)은 변환부(115)로 입력될 수 있다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터(motion vector) 정보 등은 잔차값과 함께 엔트로피 부호화부(130)에서 부호화되어 복호화기에 전달될 수 있다.
변환부(115)는 변환 단위로 잔차 블록에 대한 변환(transform)을 수행하고 변환 계수를 생성한다. 변환부(115)에서의 변환 단위는 변환 유닛일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다. 이때, 변환 단위의 크기는 소정의 최대 및 최소 크기의 범위 내에서 정해질 수 있다. 변환부(115)는 잔차 블록을 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform)를 이용하여 변환할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 잔차값들을 양자화하여 양자화 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공될 수 있다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화 계수를 재정렬할 수 있다. 양자화 계수를 재정렬함으로써 엔트로피 부호화부(130)에서의 부호화의 효율을 높일 수 있다. 재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 재정렬부(125)에서는 양자화부에서 전송된 계수들의 확률적인 통계를 기반으로 계수 스캔닝의 순서를 변경함으로써 엔트로피 부호화부(130)에서의 엔트로피 부호화 효율을 높일 수도 있다.
엔트로피 부호화부(130)는 재정렬부(125)에 의해 재정렬된 양자화 계수들에 대한 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 부호화 유닛의 양자화 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, 예측 유닛 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽쳐 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 부호화할 수 있다.
엔트로피 부호화에는 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding) 및/또는 CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 부호화 방법들이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(130)에는 가변길이 부호화(VLC: Variable Length Coding, 이하 'VLC'라 함.) 테이블과 같은 엔트로피 부호화를 수행하기 위한 테이블이 저장될 수 있고, 엔트로피 부호화부(130)는 저장된 VLC 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 다른 예로서 CABAC 엔트로피 부호화 방법에서, 엔트로피 부호화부(130)는 심볼을 이진화하여 빈(bin)으로 변환한 후 빈의 발생 확률에 따라 빈에 대한 산술 부호화(arithmetic encoding)를 수행하여 비트스트림을 생성할 수도 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 낮은 값의 인덱스(index) 및 이에 대응하는 짧은 코드워드(codeword)가 할당되고, 낮은 발생 확률을 갖는 심볼에 높은 값의 인덱스 및 이에 대응하는 긴 코드워드가 할당될 수 있다. 따라서 부호화 대상 심볼들에 대한 비트량이 감소될 수 있고, 엔트로피 부호화에 의해 영상 압축 성능이 향상될 수 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환할 수 있다. 역양자화부(135) 및 역변환부(140)에서 생성된 잔차값(Residual)은 예측부(110)에서 예측된 예측 블록과 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
필터부(145)는 복원된 블록 및/또는 픽쳐에 인 루프 필터(In-loop filter)를 적용할 수 있다. 인 루프 필터는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset) 및/또는 적응적 루프 필터(ALF) 등을 포함할 수 있다.
디블록킹 필터는 복원된 픽쳐에서 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF(Adaptive Loop Filter)는, 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다.
한편, 인트라 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수도 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽쳐를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽쳐는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 예측부를 개략적으로 도시한 개념도이다. 도 2를 참조하면 예측부(200)는 인터 예측부(210) 및 인트라 예측부(220) 를 포함할 수 있다.
인터 예측부(210)는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측부(220)는 현재 픽쳐 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측부(210)는 예측 유닛에 대하여, 참조 픽쳐를 선택하고 예측 유닛과 동일한 크기의 참조 블록을 정수 픽셀 샘플 단위로 선택할 수 있다. 이어서, 인터 예측부(210)는 1/2 픽셀 샘플 단위와 1/4 픽셀 샘플 단위와 같이 정수 이하 샘플 단위로 현재 예측 유닛과 가장 유사하여 잔차 신호가 최소화되며 부호화되는 움직임 벡터 크기 역시 최소가 될 수 있는 예측 블록을 생성할 수 있다. 이때, 움직임 벡터는 정수 픽셀 이하의 단위로 표현될 수 있다.
인터 예측부(210)가 선택한 참조 픽쳐의 인덱스와 움직임 벡터에 관한 정보는 부호화되어 복호화기에 전달될 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 나타낸 블록도이다. 도 3을 참조하면, 영상 복호화기(300)는 엔트로피 복호화부(310), 재정렬부(315), 역양자화부(320), 역변환부(325), 예측부(330), 필터부(335) 및 메모리(340)를 포함할 수 있다.
영상 복호화기에 영상 비트 스트림이 입력된 경우, 입력된 비트 스트림은 영상 부호화기에서 영상 정보가 처리된 절차에 따라서 복호화될 수 있다.
엔트로피 복호화부(310)는 입력된 비트스트림에 대하여 엔트로피 복호화를 수행할 수 있으며, 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다. 엔트로피 복호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 낮은 값의 인덱스(index) 및 이에 대응하는 짧은 코드워드(codeword)가 할당되고, 낮은 발생 확률을 갖는 심볼에 높은 값의 인덱스 및 이에 대응하는 긴 코드워드가 할당될 수 있다. 따라서 부호화 대상 심볼들에 대한 비트량이 감소될 수 있고, 엔트로피 부호화에 의해 영상 압축 성능이 향상될 수 있다.
엔트로피 복호화부(310)에서 복호화된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(330)로 제공되고 엔트로피 복호화부에서 엔트로피 복호화가 수행된 잔차값은 재정렬부(315)로 입력될 수 있다.
재정렬부(315)는, 엔트로피 복호화부(310)에서 엔트로피 복호화된 비트 스트림을 영상 부호화기에서 재정렬한 방법을 기초로 재정렬할 수 있다. 재정렬부(315)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(315)는 부호화기에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 해당 부호화부에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(320)는 부호화기에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(325)는, 영상 부호화기에서 수행된 양자화 결과에 대해 부호화기의 변환부가 수행한 DCT 및 DST에 대해, 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 부호화기에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 부호화기의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및/또는 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 복호화기의 역변환부(325)는 부호화기의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(330)는 엔트로피 복호화부(310)에서 제공된 예측 블록 생성 관련 정보와 메모리(340)에서 제공된 이전에 복호화된 블록 및/또는 픽쳐 정보를 기초로 예측 블록을 생성할 수 있다. 복원 블록은 예측부(330)에서 생성된 예측 블록과 역변환부(325)에서 제공된 잔차 블록을 이용해 생성될 수 있다.
복원된 블록 및/또는 픽쳐는 필터부(335)로 제공될 수 있다. 필터부(335)는 복원된 블록 및/또는 픽쳐에 인 루프 필터(In-loop filter)를 적용할 수 있다. 상기 인 루프 필터는 디블록킹 필터, SAO(Sample Adaptive Offset) 및/또는 적응적 루프 필터(ALF) 등을 포함할 수 있다.
메모리(340)는 복원된 픽쳐 또는 블록을 저장하여 참조 픽쳐 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽쳐를 출력부로 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 복호화 장치의 예측부를 개략적으로 나타낸 개념도이다.
도 4를 참조하면, 예측부(400)는 인트라 예측부(410) 및 인터 예측부(420)를 포함할 수 있다.
인트라 예측부(410)는 해당 예측 유닛에 대한 예측 모드가 인트라 예측(intra prediction) 모드(화면 내 예측 모드)인 경우에, 현재 픽쳐 내의 픽셀 정보를 기초로 예측 블록을 생성할 수 있다.
인터 예측부(420)는 해당 예측 유닛에 대한 예측 모드가 인터 예측(inter prediction) 모드(화면 간 예측 모드)인 경우에, 영상 부호화기에서 제공된 현재 예측 유닛의 인터 예측에 필요한 정보, 예컨대 움직임 벡터, 참조 픽쳐 인덱스 등에 관한 정보를 이용해 현재 예측 유닛이 포함된 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐에 포함된 정보를 기초로 현재 예측 유닛에 대한 인터 예측을 수행할 수 있다.
이때, 움직임 정보는, 부호화기로부터 수신되는 부호화 유닛의 스킵 플래그, 머지 플래그 등이 확인된 경우, 이에 대응하여 유도될 수 있다.
이하, 발명의 구성 또는 표현에 따라 "영상" 또는 "화면"이 "픽쳐"와 같은 의미를 나타낼 수 있는 경우,"픽쳐"는 "영상" 또는 "화면"으로 기술될 수 있다. 또한 인터 예측(inter prediction)과 화면 간 예측은 동일한 의미를 가지며, 인트라 예측(intra prediction)과 화면 내 예측은 동일한 의미를 가진다.
도 5는 본 발명이 적용되는 시스템에서 처리 유닛의 쿼드 트리 구조에 관한 일 예를 개략적으로 도시하는 개념도이다.
부호화 유닛(Coding Unit: CU)은 픽쳐의 부호화/복호화가 수행되는 단위를 의미할 수 있다. 부호화 대상 픽쳐 내의 하나의 코딩 블록은 쿼드 트리 구조(Quad Tree Structure)를 기반으로 깊이(Depth)를 가지며 반복적으로 분할될 수 있다. 이 때, 더 이상 분할되지 않는 코딩 블록은 상기 부호화 유닛에 해당될 수 있으며, 부호화기는 상기 부호화 유닛에 대한 부호화 과정을 수행할 수 있다. 부호화 유닛은 64x64, 32x32, 16x16, 8x8 등의 여러 크기를 가질 수 있다.
여기서, 쿼드 트리 구조를 기반으로 반복적으로 분할되는 코딩 블록은 코딩 트리 블록(CTB: Coding Tree Block)으로 불릴 수 있다. 하나의 코딩 트리 블록은 추가로 분할되지 않을 수도 있으며, 이 경우 코딩 트리 블록 자체가 하나의 부호화 유닛에 해당될 수도 있다. 따라서, 코딩 트리 블록은 최대 크기의 부호화 유닛인 최대 부호화 유닛(Largest Coding Unit: LCU)에 대응될 수 있다. 한편, 코딩 트리 블록 내에서 가장 작은 크기를 갖는 부호화 유닛은 최소 부호화 유닛(Smallest Coding Unit: SCU)으로 불릴 수 있다.
도 5를 참조하면, 코딩 트리 블록(500)은 분할을 통해서 더 작은 부호화 유닛(510)들로 이루어진 계층적 구조를 가질 수 있으며, 코딩 트리 블록(500)의 계층적 구조는 크기 정보, 깊이 정보, 분할 플래그 정보 등을 기반으로 특정될 수 있다. 코딩 트리 블록의 크기에 관련된 정보, 분할 깊이 정보 및 분할 플래그 정보 등은 비트 스트림 상의 시퀀스 파라미터 셋(SPS: Sequence Parameter Set)에 포함되어 부호화기로부터 복호화기로 전송될 수 있다.
한편, 인터 예측과 인트라 예측 중에서 어떤 예측이 수행될 것인지는 부호화 유닛 단위로 결정될 수 있다. 인터 예측이 수행되는 경우에는 예측 유닛 단위로 인터 예측 모드 및 움직임 정보 등이 결정될 수 있고, 인트라 예측이 수행되는 경우에는 예측 유닛 단위로 인트라 예측 모드가 결정될 수 있다. 이 때, 상술한 바와 같이 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 같을 수 있으나 서로 다를 수도 있다. 예컨대, 예측의 방법과 예측 모드 등은 예측 유닛 단위로 결정되고, 예측의 수행은 변환 유닛 단위로 수행될 수도 있다.
도 5를 참조하면, 하나의 부호화 유닛(510)은 하나의 예측 유닛으로 사용되거나 복수의 예측 유닛으로 분할될 수 있다. 인트라 예측(520)의 경우에 부호화 유닛(및/또는 예측 유닛)의 분할 모드(partitioning mode)는 2N×2N 또는 N×N (N은 정수)일 수 있다. 여기서, 2Nx2N 모드에서 예측 유닛은 2Nx2N의 크기를 가질 수 있고, NxN 모드에서 예측 유닛은 NxN의 크기를 가질 수 있다. 인터 예측(530)의 경우에 부호화 유닛(및/또는 예측 유닛)의 분할 모드는 2Nx2N, 2NxN, Nx2N, NxN, 2NxnU, 2NxnD, nLx2N 또는 nRx2N (N은 정수)일 수 있다. 여기서, 2NxN 모드에서 예측 유닛은 2NxN 의 크기를 가질 수 있고, Nx2N 모드에서 예측 유닛은 Nx2N 의 크기를 가질 수 있다. 또한, 2NxnU 모드에서 하나의 부호화 유닛은 2Nx(1/2)N 크기의 예측 유닛 및 2Nx(3/2)N 크기의 예측 유닛으로 분할될 수 있고, 이 때 2Nx(1/2)N 크기 예측 유닛이 2Nx(3/2)N 크기 예측 유닛의 상단에 위치할 수 있다. 2NxnD 모드에서 하나의 부호화 유닛은 2Nx(3/2)N 크기의 예측 유닛 및 2Nx(1/2)N 크기의 예측 유닛으로 분할될 수 있고, 이 때 2Nx(1/2)N 크기 예측 유닛이 2Nx(3/2)N 크기 예측 유닛의 하단에 위치할 수 있다. 또한, nLx2N 모드에서 하나의 부호화 유닛은 (1/2)Nx2N 크기의 예측 유닛 및 (3/2)Nx2N 크기의 예측 유닛으로 분할될 수 있고, 이 때 (1/2)Nx2N 크기 예측 유닛이 (3/2)Nx2N 크기 예측 유닛의 좌측에 위치할 수 있다. nRx2N 모드에서 하나의 부호화 유닛은 (3/2)Nx2N 크기의 예측 유닛 및 (1/2)Nx2N 크기의 예측 유닛으로 분할될 수 있고, 이 때 (1/2)Nx2N 크기 예측 유닛이 (3/2)Nx2N 크기 예측 유닛의 우측에 위치할 수 있다.
상술한 분할 모드는 하나의 실시예에 해당되며, 부호화 유닛이 예측 유닛으로 분할되는 방식은 상기 실시예에 한정되지 않는다. 예를 들어, 인터 예측(530)의 경우에 부호화 유닛(및/또는 예측 유닛)의 분할 모드는 2Nx2N, 2NxN, Nx2N, NxN 네 가지만이 사용될 수도 있으며, 또는 상술한 8가지의 분할 모드 외에 다른 분할 모드가 추가로 사용될 수도 있다.
현재 부호화 유닛(및/또는 예측 유닛)에 적용되는 분할 모드는 부호화기에서 결정될 수 있다. 부호화기에서 결정된 분할 모드에 관한 정보는 부호화되어 복호화기로 전송될 수 있으며, 복호화기는 상기 전송된 분할 모드 정보를 기반으로 현재 부호화 유닛(및/또는 예측 유닛)의 분할 모드를 결정할 수 있다. 일례로, 상기 분할 모드 정보는 part_mode 신택스(syntax)를 통해 복호화기로 전송될 수 있다.
한편, 도 5의 520 및 530에 도시된 각 예측 유닛에 할당된 번호는, 예측 유닛의 분할 인덱스(partition index)를 나타낸다. 여기서, 분할 인덱스는 현재 예측 유닛이 현재 부호화 유닛에 속한 예측 유닛 중에서 어떤 예측 유닛에 해당되는지를 지시하는 인덱스를 의미할 수 있다. 상기 분할 인덱스는 일례로 partIdx 로 나타내어질 수 있다.
도 5를 참조하면, 일례로 도 5의 520의 NxN 분할 모드에서 부호화 유닛 내의 우측 상단에 위치한 예측 유닛의 분할 인덱스는 1에 해당될 수 있다. 따라서, 현재 예측 유닛의 분할 인덱스에 1이 할당된 경우, 상기 분할 인덱스의 값은 현재 예측 유닛이 현재 부호화 유닛 내의 우측 상단에 위치한 예측 유닛임을 나타낼 수 있다. 다른 예로, 도 5의 530의 2NxnU 분할 모드에서 부호화 유닛 내의 좌측에 위치한 예측 유닛의 분할 인덱스는 0에 해당될 수 있다. 따라서, 현재 예측 유닛의 분할 인덱스에 0이 할당된 경우, 상기 분할 인덱스의 값은 현재 예측 유닛이 현재 부호화 유닛 내의 좌측에 위치한 예측 유닛임을 나타낼 수 있다.
도 5에 도시된 각 분할 모드에서의 분할 인덱스 할당 방법은 하나의 실시예에 불과하며, 분할 인덱스의 할당 여부 및 할당 방법은 상술한 실시예에서와 다르게 정해질 수도 있다. 일례로, 도 5의 530의 2NxnU 분할 모드에서, 부호화 유닛 내의 좌측에 위치한 예측 유닛의 분할 인덱스가 1에 해당될 수도 있다. 다른 예로, 2Nx2N 분할 모드에서는 부호화 유닛이 복수의 예측 유닛으로 분할되지 않으므로, 예측 유닛에 분할 인덱스가 할당되지 않을 수도 있다. 이하, 본 명세서의 후술되는 실시예에서는 설명의 편의상, 부호화 및 복호화시에 도 5에 도시된 분할 모드 및 분할 인덱스가 적용된다고 가정한다.
이하, 본 명세서에서 현재 블록은 현재 부호화, 복호화 및/또는 예측 과정이 수행되는 블록으로서, 상기 부호화, 복호화 및/또는 예측 과정이 수행될 때의 처리 단위에 대응하는 블록을 의미할 수 있다. 일례로, 현재 블록에 대해 예측 과정이 수행되는 경우, 상기 현재 블록은 현재 예측 유닛에 대응하는 예측 대상 블록에 해당될 수 있다. 그리고, 본 명세서에서는 예측에 의해 생성된 블록은 예측 블록이라 한다.
'유닛'은 부호화 및 복호화 등이 수행될 때의 처리 단위를 의미하므로 픽셀 및/또는 샘플의 집합을 나타내는 '블록'과 구별될 수도 있으나, 본 명세서에서는 설명의 편의상 '유닛'이 경우에 따라 상기 '유닛'에 대응하는'블록'을 지칭할 수도 있다. 일례로, 이하 본 명세서에서는 하나의 예측 유닛에 대응하는 예측 대상 블록이 예측 유닛으로 지칭될 수 있고, 하나의 부호화 유닛에 대응하는 부호화/복호화 대상 블록이 부호화 유닛으로 지칭될 수도 있다. 이러한 구별은 해당 기술 분야의 통상의 지식을 가진 자라면 명확하게 이해할 수 있을 것이다.
한편, 현재 블록에 대해 인터 예측이 수행되는 경우, 예측에 따른 전송 정보량을 감소시키기 위해 AMVP(Advanced Motion Vector Prediction), 머지(merge) 모드 및/또는 스킵(skip) 모드 등의 예측 모드가 이용될 수 있다.
머지 모드에서 현재 블록은, 현재 픽쳐 및/또는 참조 픽쳐 내의 다른 블록(예를 들어, 주변 블록. 여기서, 주변 블록은 현재 블록에 인접한 블록 및/또는 현재 블록의 외부 코너에 가장 가까이 위치한 블록을 포함함)에 머지될 수 있다. 이 때, 머지(merge)된다는 것은, 현재 블록의 인터 예측에 있어서, 움직임 정보가 현재 픽쳐 및/또는 참조 픽쳐 내의 다른 블록의 움직임 정보로부터 얻어지는 것을 말한다.
현재 블록의 머지 관련 정보에는, 현재 블록에 대한 예측 모드가 머지 모드인지 여부를 나타내는 정보, 현재 블록이 머지 후보 리스트에 포함된 머지 후보들 중에서 어떤 머지 후보에 머지되는지를 나타내는 정보 등이 있을 수 있다. 이하, 현재 블록에 대한 예측 모드가 머지 모드인지 여부를 나타내는 정보는 머지 플래그라 하고, 현재 블록이 머지 후보 리스트에 포함된 머지 후보들 중에서 어떤 머지 후보에 머지되는지를 나타내는 정보는 머지 인덱스라 한다. 예를 들어, 머지 플래그는 merge_flag에 의해 나타내어질 수 있고, 머지 인덱스는 merge_idx에 의해 나타내어질 수 있다. 이 때 머지 인덱스는, 머지 플래그가 현재 블록에 대한 예측 모드가 머지 모드임을 지시하는 경우(예를 들어, merge_flag=1)에만 획득되도록 할 수도 있다.
스킵 모드는 예측 블록과 현재 블록의 차이인 레지듀얼(residual) 신호의 전송이 생략되는 예측 모드이다. 스킵 모드에서는 예측 블록과 현재 블록의 레지듀얼 신호의 값이 0일 수 있다. 따라서, 스킵 모드에서 부호화기는 복호화기로 레지듀얼 신호를 전송하지 않을 수 있으며, 복호화기는 레지듀얼 신호와 움직임 정보 중 움직임 정보만을 이용하여 예측 블록을 생성할 수 있다. 스킵 모드에서 부호화기는 움직임 정보를 복호화기로 전송할 수 있다. 이 때, 움직임 정보는 현재 블록의 주변 블록들 중에서 어느 한 블록을 지정하여 해당 블록의 움직임 정보를 현재 블록에 이용하도록 하는 방식으로 전송될 수도 있다.
상술한 스킵 모드에서는 현재 블록의 움직임 정보를 획득하기 위해, 상기 머지 모드에서 사용되는 방법과 동일한 방법이 사용될 수 있다. 이 때, 스킵 모드와 머지 모드에서는 동일한 주변 블록들이 움직임 정보 도출을 위한 후보 블록으로 사용될 수 있다. 예를 들어, 스킵 모드에서도, 머지 후보 리스트에 포함된 머지 후보들 중 머지 인덱스에 의해 지시된 머지 후보 블록의 움직임 정보가, 그대로 현재 블록의 움직임 정보로 사용될 수 있다. 이러한 경우의 스킵 모드는 머지 스킵(merge skip) 모드로도 불릴 수 있다. 이하, 본 명세서에서 스킵 모드는 상술한 머지 스킵 모드를 의미한다. 머지 모드에서의 인터 예측 방법의 구체적인 실시예는 도 6에서 후술된다.
도 6은 머지 모드에서의 인터 예측 방법의 일 실시예를 개략적으로 나타내는 흐름도이다. 도 6의 실시예는 부호화기 및 복호화기에 적용될 수 있으며, 이하 도 6의 실시예는 편의상 복호화기를 중심으로 서술된다.
도 6을 참조하면, 복호화기는 복수의 머지 후보로 구성된 머지 후보 리스트를 생성할 수 있다(S610). 복호화기는 소정의 프로세스를 통하여 복수의 머지 후보를 도출할 수 있고, 도출된 머지 후보를 기반으로 머지 후보 리스트를 생성할 수 있다. 이 때, 현재 픽쳐 내의 블록 및/또는 현재 픽쳐가 아닌 참조 픽쳐 내의 콜 블록(col block) 등에 포함된 움직임 정보가 머지 후보로 사용되거나 및/또는 머지 후보 도출을 위해 사용될 수 있다. 이하, 본 명세서에서는 설명의 편의상 머지 후보로 사용되는 움직임 정보를 포함하는 블록은 '머지 후보 블록'이라 한다. 머지 후보 리스트 생성을 위해 사용되는 머지 후보들의 실시예는 후술하기로 한다.
다시 도 6을 참조하면, 복호화기는 생성된 머지 후보 리스트를 기반으로 현재 블록의 움직임 정보를 도출할 수 있다(S620).
구체적으로, 복호화기는 머지 후보 리스트를 구성하는 머지 후보들 중에서 현재 블록의 움직임 정보 도출에 사용되는 머지 후보를 선택할 수 있다. 일 실시예로, 복호화기는 부호화기로부터 전송된 머지 인덱스가 지시하는 머지 후보를 현재 블록의 움직임 정보 도출에 사용되는 머지 후보로 선택할 수 있다. 이 때, 복호화기는 선택된 머지 후보를 기반으로 현재 블록의 움직임 정보를 도출할 수 있다. 예를 들어, 복호화기는 선택된 머지 후보의 움직임 정보를 그대로 현재 블록의 움직임 정보로서 사용할 수 있다.
현재 블록의 움직임 정보가 도출되면, 부호화기는 도출된 움직임 정보를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다(S630).
도 7은 머지 후보 리스트 생성에 사용되는 머지 후보들의 실시예를 개략적으로 나타내는 도면이다.
상술한 바와 같이 머지 모드가 적용되는 경우, 머지 후보 리스트에 포함된 머지 후보들 중 어느 하나의 움직임 정보를 기반으로 현재 블록의 움직임 정보가 도출될 수 있다. 예를 들어, 머지 후보 리스트에 포함된 머지 후보들 중 어느 하나의 움직임 정보가 현재 블록의 움직임 정보로 사용될 수 있다. 이 때, 움직임 정보와 함께 레지듀얼 신호가 전송될 수도 있고, 예측 블록의 픽셀값이 그대로 현재 블록의 픽셀값으로 사용되는 경우에는 레지듀얼 신호가 전송되지 않을 수도 있다.
도 7의 710은 머지 후보 리스트 생성에 사용되는 머지 후보들의 일 실시예를 나타낸다. 도 7의 710을 참조하면, 현재 블록의 좌측 주변 블록(A) 및/또는 현재 블록의 상단 주변 블록(B)이 머지 후보 블록으로 이용될 수 있다. 이 때, 도시된 바와 같이, 현재 블록의 좌측 주변 블록은 현재 블록의 좌측에 인접한 블록들 중에서 가장 상단에 위치한 블록일 수 있고, 현재 블록의 상단 주변 블록은 현재 블록의 상단에 인접한 블록들 중 가장 좌측에 위치한 블록일 수 있다. 그리고, 좌측 하단 코너 블록(C) 및/또는 우측 상단 코너 블록(D)이 머지 후보 블록으로 이용될 수 있다. 상술한 좌측 주변 블록(A), 상단 주변 블록(B), 좌측 하단 코너 블록(C) 및 우측 상단 코너 블록(D)은, 현재 픽쳐 내에 위치한 현재 블록의 주변 블록에 해당될 수 있다. 따라서, 상기 머지 후보 블록들로부터 도출되는 머지 후보들은 공간적 머지 후보(spatial merge candidate)로 불릴 수 있다. 또한, 다른 관점에서 상기 공간적 머지 후보는 현재 블록의 움직임 벡터 예측에 사용될 수 있으므로, 공간적 움직임 벡터 예측자(Spatial Motion Vector Predictor: SMVP)로 불릴 수도 있다.
또한, 도 7의 710에서는 콜 블록(col)이 머지 후보 블록으로 이용될 수 있다. 상기 콜 블록은 현재 픽쳐가 아닌 참조 픽쳐 내의 블록에 해당될 수 있다. 구체적으로, 부호화기 및 복호화기는 참조 픽쳐 내의 소정의 위치 및/또는 소정의 프로세스에 의해 정해진 위치의 블록을 콜 블록으로 선택할 수 있다. 여기서, 상기 콜 블록의 위치는 현재 블록 및/또는 상기 현재 블록과 동일 위치에 있는(co-located) 참조 픽쳐 내의 블록(이하, 설명의 편의를 위해 '동일 위치 블록'(co-located block)이라 함)을 기반으로 도출될 수 있다. 상술한 콜 블록은 참조 픽쳐로부터 도출되는 블록이다. 따라서, 상기 콜 블록으로부터 도출되는 머지 후보는 시간적 머지 후보(temporal merge candidate)로 불릴 수 있다. 또한, 다른 관점에서 상기 시간적 머지 후보는 현재 블록의 움직임 벡터 예측에 사용될 수 있으므로, 시간적 움직임 벡터 예측자(Temporal Motion Vector Predictor: TMVP)로 불릴 수도 있다.
도 7의 720은 머지 후보 리스트 생성에 사용되는 머지 후보들의 다른 실시예를 나타낸다. 도 7의 720을 참조하면, 머지 후보 리스트에는 좌측 하단 코너 블록(A0), 우측 상단 코너 블록(B0) 및/또는 좌측 상단 코너 블록(B2)의 움직임 정보가 머지 후보로서 포함될 수 있다. 또한 머지 후보 리스트에는 현재 블록의 좌측 주변 블록(A1) 및/또는 현재 블록의 상단 주변 블록(B1)의 움직임 정보가 머지 후보로 포함될 수 있다. 이 때, 좌측 주변 블록(A1)은 현재 블록의 좌측에 인접한 블록들 중 가장 하단에 위치한 블록일 수 있으며, 상단 주변 블록(B1)은 현재 블록의 상단에 인접한 블록들 중 가장 우측에 위치한 블록일 수 있다. 상술한 좌측 하단 코너 블록(A0), 좌측 주변 블록(A1), 우측 상단 코너 블록(B0), 상단 주변 블록(B1) 및 좌측 상단 코너 블록(B2)은, 현재 픽쳐 내에 위치한 현재 블록의 주변 블록에 해당될 수 있다. 따라서, 상기 머지 후보 블록들로부터 도출되는 머지 후보들은 공간적 머지 후보(spatial merge candidate)로 불릴 수 있다. 또한, 다른 관점에서 상기 공간적 머지 후보는 현재 블록의 움직임 벡터 예측에 사용될 수 있으므로, 공간적 움직임 벡터 예측자(Spatial Motion Vector Predictor: SMVP)로 불릴 수도 있다.
또한, 도 7의 720에서는 도 7의 710에서와 마찬가지로 콜 블록의 움직임 정보가 머지 후보 리스트에 포함되는 머지 후보로 이용될 수 있다. 상술한 바와 같이, 콜 블록은 현재 픽쳐가 아닌 참조 픽쳐 내의 블록에 해당될 수 있다. 여기서, 콜 블록의 위치는 현재 블록 및/또는 동일 위치 블록을 기반으로 도출될 수 있다. 상술한 콜 블록은 참조 픽쳐로부터 도출되는 블록이다. 따라서, 상기 콜 블록으로부터 도출되는 머지 후보는 시간적 머지 후보(temporal merge candidate)로 불릴 수 있다. 또한, 다른 관점에서 상기 시간적 머지 후보는 현재 블록의 움직임 벡터 예측에 사용될 수 있으므로, 시간적 움직임 벡터 예측자(Tpatial Motion Vector Predictor: TMVP)로 불릴 수도 있다.
본 명세서에서 머지 후보 리스트 생성에 사용되는 머지 후보들은 상술한 실시예에 한정되는 것은 아니며, 필요에 따라 머지 후보들은 상술한 실시예에서와 다른 방식으로 도출될 수도 있다. 다만, 이하 본 명세서에서는 다른 언급이 없는 경우, 예측 대상 블록(및/또는 현재 블록)을 기준으로 도 7의 720에 도시된 것과 같은 위치의 머지 후보들이 머지 모드 예측을 위해 사용된다고 가정한다. 또한, 이하 본 명세서에서 머지/스킵 대상이 되는 예측 유닛의 머지 후보에 관한 내용이 서술되는 경우, 상기 예측 유닛 외부의 좌측 하단 코너에 가장 가까이 위치한 블록은 A0, 상기 예측 유닛의 좌측에 인접한 블록들 중 가장 하단에 위치한 블록은 A1, 상기 예측 유닛 외부의 우측 상단 코너에 가장 가까이 위치한 블록은 B0, 상기 예측 유닛의 상단에 인접한 블록들 중 가장 우측에 위치한 블록은 B1 및 상기 예측 유닛 외부의 좌측 상단 코너에 가장 가까이 위치한 블록은 B2로 표시하기로 한다.
도 7의 실시예를 참조하면, 머지 후보 리스트를 구성하는 머지 후보들의 선택 방법은 다양하게 확장될 수 있다. 부호화기 및 복호화기는 상술한 도 7의 실시예에 따라 머지 후보들을 선택하여 머지 후보 리스트를 구성할 수 있다. 이 때, 부호화기 및 복호화기는 머지 후보들이 선택되면, 중복성(redundancy)을 줄이기 위해 중복되는 후보들을 배제하고 머지 후보 리스트를 구성할 수도 있다.
또한, 상술한 도 7의 실시예에서, 머지 후보 리스트를 구성하는 머지 후보의 개수는 소정의 고정된 개수로 제한될 수 있다. 예를 들어, 도 7의 720의 실시예에서 머지 후보의 개수가 5개로 제한되고, 머지 후보 리스트에 머지 후보가 {A1, B1, B0, A0, B2, col}의 순서로 추가 및/또는 삽입된다고 가정한다. 이 때, A1, B1, B0, A0, B2, col 블록이 모두 유효(available)하면, A1, B1, B0, A0, col 블록의 움직임 정보만이 머지 후보 리스트에 포함되는 머지 후보들로 결정될 수 있다. 다른 예로, A1, B1, B0, A0, B2, col 블록 중에서 유효한 블록의 개수는 5개 미만일 수도 있다. 이 경우, 부호화기 및 복호화기는 유효한 머지 후보를 기반으로 소정의 프로세스를 통해 새로운 머지 후보를 유도함으로써, 최종적으로 도출되는 머지 후보의 개수가 5개가 되도록 할 수 있다.
한편, 일례로 머지 모드 및/또는 스킵 모드에서의 인터 예측(inter prediction) 수행시, 부호화기 및 복호화기는 각각의 예측 유닛에 대해 순차적으로(sequentially) 움직임 예측(Motion Estimation: ME)을 수행할 수 있다. 그러나, 다른 예로 부호화/복호화 성능을 향상시키기 위해, 부호화기 및 복호화기는 복수의 예측 유닛에 대해 동시에 움직임 예측을 수행할 수도 있다. 즉, 머지 모드 및/또는 스킵 모드에서의 움직임 예측은 복수의 예측 유닛에 대해 병렬적(parallel)으로 수행될 수 있으며, 이러한 경우의 움직임 예측은 병렬 움직임 예측(parallel Motion Estimation)으로 불릴 수 있다. 이하, 본 명세서에서 병렬 움직임 예측이 적용되는 머지 모드는 병렬 머지(parallel merge) 모드 및/또는 병렬 머지라 하고, 병렬 움직임 예측이 적용되는 스킵 모드는 병렬 스킵(parallel skip) 모드 및/또는 병렬 스킵이라 한다.
후술되는 실시예들은 설명의 편의상 병렬 머지 모드를 중심으로 서술된다. 그러나, 후술되는 실시예들은 병렬 머지 모드에 한정되는 것이 아니며, 병렬 스킵 모드에 대해서도 동일하거나 유사한 방법으로 적용될 수 있다.
도 8은 머지 모드 및 스킵 모드에서 병렬 처리 단위의 일 실시예를 개략적으로 나타내는 도면이다.
도 8에 도시된 전체 블록은 하나의 코딩 트리 블록(CTB)을 나타내고, 상기 코딩 트리 블록은 최대 부호화 유닛(LCU)에 대응될 수 있다. 상술한 바와 같이, 코딩 트리 블록은 분할을 통해서 더 작은 부호화 유닛들로 이루어진 계층적 구조를 가질 수 있으며, 각각의 부호화 유닛은 하나의 예측 유닛으로 사용되거나 복수의 예측 유닛으로 분할될 수 있다. 따라서, 도 8의 코딩 트리 블록을 구성하는 정방형 블록들 및 직사각형의 블록들 각각은 하나의 예측 유닛에 해당될 수 있다.
한편, 도 8에 도시된 810, 820, 830 및 840의 정방형 블록은 각각 병렬 움직임 예측이 수행되는 병렬 처리 단위를 나타낼 수 있다. 즉, 최대 부호화 유닛(LCU)은 서로 겹치지 않는 복수의 병렬 처리 단위로 분할될 수 있다. 여기서, 일례로 상기 복수의 병렬 처리 단위는 서로 동일한 크기를 가질 수 있다. 이 때, 부호화기 및 복호화기는 하나의 병렬 처리 단위 내의 모든 예측 유닛에 대해 동시에 움직임 예측을 수행할 수 있다. 예를 들어, 병렬 처리 단위 810 에 포함된 예측 유닛 A 및 예측 유닛 B 에 대해서는 움직임 예측이 병렬적으로 수행될 수 있다. 상기 병렬 처리 단위는 병렬 움직임 예측이 적용되는 영역에 해당되므로, 움직임 예측 영역(Motion Estimation Region: MER)으로도 불릴 수 있다. 이하, 본 명세서에서는 설명의 편의상 병렬 움직임 예측이 수행되는 병렬 처리 단위는 MER이라 한다.
머지 모드 및/또는 스킵 모드에서 병렬 움직임 예측이 적용되는 경우, 부호화기는 병렬 움직임 예측에 관련된 정보를 복호화기로 전송할 필요가 있다. 상술한 바와 같이, 병렬 움직임 예측은 MER 내의 모든 예측 유닛에 대해 적용될 수 있으므로, 부호화기에서 복호화기로 전송되는 정보는 머지 모드 및/또는 스킵 모드에서의 병렬 처리 레벨(parallel processing level)에 해당될 수 있다. 여기서, 병렬 처리 레벨은 병렬 움직임 예측이 수행되는 병렬 처리 단위의 크기에 해당될 수 있고, 따라서 MER의 크기에도 해당될 수 있다. 예를 들어, 32x32 크기의 블록 단위로 병렬 움직임 예측이 수행되는 경우, 즉 MER의 크기가 32x32에 해당되는 경우에, 상기 병렬 움직임 예측은 32x32 병렬 처리 레벨에서 수행된다고 할 수 있다. 상기 병렬 처리 레벨은 머지 모드 및/또는 머지 스킵 모드에서의 병렬 처리 레벨을 나타내므로, 병렬 머지 레벨(parallel merge level)로 불릴 수도 있다.
여기서, 병렬 처리 레벨은 일정 범위 이내로 제한될 수도 있다. 예를 들어, 병렬 처리 레벨은 4x4 내지 LCU 크기 이하의 크기로 제한될 수 있다. 이 때, MER은 LCU 크기 및/또는 CTB 크기 이하의 크기를 가질 수 있다.
상술한 병렬 처리 레벨에 관한 정보는 비트 스트림 상의 시퀀스 파라미터 셋(Sequence Parameter Set: SPS, 이하 SPS라 함) 또는 픽쳐 파라미터 셋(Picture Parameter Set: PPS, 이하 PPS라 함)에 포함되어 부호화기로부터 복호화기로 전송될 수 있다. PPS에 포함되는 병렬 처리 레벨 관련 정보는, 일 실시예로 아래의 표 1에 포함된 것과 같은 신택스 요소(syntax element)에 의해 정의될 수 있다.
Figure 112022031190800-pat00001
여기서, log2_parallel_merge_level_minus2 는 머지 모드 및/또는 스킵 모드에서의 병렬 처리 레벨을 나타낼 수 있다. 정확하게는, log2_parallel_merge_level_minus2 에 할당되는 값은 실제 병렬 처리 레벨의 로그 값, 즉 실제 MER 크기의 로그 값에서 2를 뺀 값에 해당될 수 있다. 예측 유닛의 최소 크기가 4x4 인 경우 병렬 처리 레벨의 로그 값의 최소값은 2에 해당될 수 있다. 따라서, 전송 정보량 감소를 위해, log2_parallel_merge_level_minus2 에는 실제 병렬 처리 레벨의 로그 값에서 2를 뺀 값이 할당될 수 있다.
PPS 에서 정의되는 병렬 처리 레벨 정보는 상술한 실시예에 한정되지 않는다. 표 1의 실시예에서, 병렬 처리 레벨에 관한 정보를 제외한 다른 정보를 나타내는 신택스들은 필요에 따라 다르게 적용될 수도 있다.
한편, 표 1 에서의 log2_parallel_merge_level_minus2 은 할당되는 값에 따라 다음 표 2의 실시예에서와 같은 의미를 가질 수 있다.
Figure 112022031190800-pat00002
표 2를 참고하면, log2_parallel_merge_level_minus2 에 0의 값이 할당된 경우, MER의 크기는 4x4에 해당될 수 있다. 이 경우, 최소 예측 유닛의 크기가 4x4이므로, 부호화기 및 복호화기는 LCU 내의 모든 예측 유닛에 대해, 순차적으로(sequentially) 움직임 예측을 수행할 수 있다. 다른 예로, log2_parallel_merge_level_minus2 에 2의 값이 할당된 경우, MER의 크기는 16x16에 해당될 수 있다. 이 경우, 부호화기 및 복호화기는 16x16 병렬 처리 레벨에서 병렬 움직임 예측을 수행할 수 있다. 즉, 부호화기 및 복호화기는 16x16 블록 내의 모든 예측 유닛에 대해, 병렬적으로 움직임 예측을 수행할 수 있다. 마찬가지로, log2_parallel_merge_level_minus2 에 다른 값이 할당된 경우에도, 부호화기 및 복호화기는 할당된 값에 따라 유사한 방식으로 병렬 움직임 예측을 수행할 수 있다.
한편, 하나의 코딩 트리 블록은 복수 개의 부호화 유닛(CU)을 포함할 수 있다. 이 때, 한 개의 병렬 처리 단위, 즉 한 개의 MER은 하나의 예측 유닛(PU)을 포함할 수도 있고, 한 개의 부호화 유닛과 동일한 크기를 가질 수도 있다. 또한, 한 개의 MER은 복수의 부호화 유닛을 포함할 수도 있다.
예를 들어, 도 8을 참조하면, MER 810 은 예측 유닛 A 및 예측 유닛 B로 구성된 하나의 부호화 유닛과 동일한 크기를 가진다. 또한, MER 830 및 MER 840 은 각각 부호화 유닛 G 및 부호화 유닛 H 와 동일한 크기를 가진다. 이와 같이, 하나의 부호화 유닛이 MER과 동일한 크기를 갖는 경우, 그 부호화 유닛에 대한 병렬 움직임 예측은 부호화 유닛 단위로 수행되는 것으로 볼 수도 있다. 반면에, MER 820 은 부호화 유닛 C(부호화 유닛 C는 예측 유닛 C에 대응함), 부호화 유닛 D(부호화 유닛 D는 예측 유닛 D1, 예측 유닛D2를 포함함), 부호화 유닛 E(부호화 유닛 E는 예측 유닛 E에 대응함) 및 부호화 유닛 F(부호화 유닛 F 는 예측 유닛 F1, 예측 유닛 F2를 포함함)를 포함할 수 있다. 이 때, 머지 모드 및/또는 스킵 모드에서의 움직임 예측은 MER 820 내의 예측 유닛 C, D1, D2, E, F1 및 F2 모두에 대해 병렬적으로 수행될 수 있다.
한편, 상술한 도 8의 실시예에서와 같이, 머지 모드 및/또는 스킵 모드에서 병렬 움직임 예측이 수행되기 위해서는 병렬 처리 단위, 즉 MER 내의 모든 예측 유닛에 대해 각각 독립적으로 인터 예측(inter prediction) 및/또는 움직임 예측(motion estimation)이 수행될 수 있어야 한다. 그러나, 상술한 머지 모드 및/또는 스킵 모드에서는 병렬 움직임 예측과 관련하여 문제점이 발생할 수 있다.
도 9는 머지 모드에서 병렬 움직임 수행시 발생하는 문제점을 개략적으로 설명하기 위한 도면이다. 도 9의 910, 920, 930 및 940은 각각 하나의 부호화 유닛을 도시한다.
도 8에서 상술한 바와 같이 병렬 처리 단위, 즉 MER은 현재 부호화 유닛과 동일한 크기를 가질 수도 있고, 그렇지 않을 수도 있다. 도 9의 실시예에서는 MER의 크기가 현재 부호화 유닛과 동일하다고 가정한다. 이 때, 도 9에 도시된 각각의 부호화 유닛은 병렬 처리 단위에 해당될 수 있으며, 이 경우 병렬 움직임 예측은 부호화 유닛 단위로 수행될 수 있다. 다만, 도 9에서 후술되는 문제점들은 MER의 크기가 현재 부호화 유닛보다 큰 경우에도 동일하거나 유사하게 발생할 수 있다.
도 9의 910에서 부호화 유닛(및/또는 예측 유닛)의 분할 모드는 2Nx2N 이다. 따라서, 하나의 부호화 유닛이 분할되지 않은 채로 예측 유닛(A)으로 사용될 수 있으므로, 병렬 움직임 예측에 따른 문제점이 발생하지 않을 수 있다.
도 9의 920에서 부호화 유닛(및/또는 예측 유닛)의 분할 모드는 2NxN 이다. 이 경우에는, 병렬 움직임 예측을 위해서 상단 예측 유닛(B1) 및 하단 예측 유닛(B2)에 대한 움직임 예측이 동시에 수행되어야 한다. 그러나, 하단 예측 유닛(B2)에 대한 머지 후보들 중에서 상기 하단 예측 유닛(B2) 상단에 인접하여 가장 좌측에 위치한 블록(925)의 움직임 정보는 상단 예측 유닛(B1)의 부호화/복호화가 완료되어야 하단 예측 유닛(B2)의 머지 후보로 사용될 수 있다. 이와 같이, 하단 예측 유닛(B2)은 상단 예측 유닛(B1)에 속한 움직임 정보를 사용하므로, 도 9의 920의 부호화 유닛에 속한 예측 유닛들에 대해서는 동시에 움직임 예측이 수행될 수 없다.
도 9의 930에서 부호화 유닛(및/또는 예측 유닛)의 분할 모드는 Nx2N 이다. 이 경우에는, 병렬 움직임 예측을 위해서 좌측 예측 유닛(C1) 및 우측 예측 유닛(C2)에 대한 움직임 예측이 동시에 수행되어야 한다. 그러나, 우측 예측 유닛(C2)에 대한 머지 후보들 중에서 상기 우측 예측 유닛(C2) 좌측에 인접하여 가장 하단에 위치한 블록(935)의 움직임 정보는 좌측 예측 유닛(C1)의 부호화/복호화가 완료되어야 우측 예측 유닛(C2)의 머지 후보로 사용될 수 있다. 이와 같이, 우측 예측 유닛(C2)은 좌측 예측 유닛(C1)에 속한 움직임 정보를 사용하므로, 도 9의 930의 부호화 유닛에 속한 예측 유닛들에 대해서는 동시에 움직임 예측이 수행될 수 없다.
도 9의 940에서 부호화 유닛(및/또는 예측 유닛)의 분할 모드는 NxN 이다. 이 경우에는, 병렬 움직임 예측을 위해서 좌측 상단 예측 유닛(D1), 우측 상단 예측 유닛(D2), 좌측 하단 예측 유닛(D3) 및 우측 하단 예측 유닛(D4)에 대한 움직임 예측이 동시에 수행되어야 한다. 그러나 일례로, 우측 하단 예측 유닛(D4)에 대한 머지 후보들 중에서, 우측 하단 예측 유닛(D4)의 좌측 상단 코너에 위치한 블록(941), 우측 하단 예측 유닛(D4)의 상단에 인접하여 가장 좌측에 위치한 블록(943) 및 우측 하단 예측 유닛(D4)의 좌측에 인접하여 가장 하단에 위치한 블록(945)의 움직임 정보는, 각각 좌측 상단 예측 유닛(D1), 우측 상단 예측 유닛(D2) 및 좌측 하단 예측 유닛(D3)의 부호화/복호화가 완료되어야 우측 하단 예측 유닛(D4)의 머지 후보로 사용될 수 있다. 또한, 도 9의 940에서는 우측 상단 예측 유닛(D2) 및 좌측 하단 예측 유닛(D3)에서도 상술한 우측 하단 예측 유닛(D4)에서와 유사한 문제점이 발생할 수 있다. 이와 같이, 좌측 상단 예측 유닛(D1)을 제외한 예측 유닛들은 다른 예측 유닛에 속한 움직임 정보를 사용하므로, 도 9의 940의 부호화 유닛에 속한 예측 유닛들에 대해서는 동시에 움직임 예측이 수행될 수 없다.
상술한 실시예에서는 부호화 유닛(및/또는 예측 유닛)의 분할 모드가 2Nx2N, 2NxN, Nx2N 및 NxN 인 경우의 문제점만이 서술되고 있으나, 이러한 문제점은 다른 분할 모드(예를 들어, 2NxnU, 2NxnD, nLx2N 또는 nRx2N)에서도 동일하거나 유사하게 발생할 수 있다. 이하, 도 9에서 서술된 문제점을 해결하기 위한 머지 후보 도출 방법 및 머지 후보 리스트 구성 방법의 실시예들이 서술된다.
도 10은 병렬 움직임 예측을 가능하게 하기 위한 머지 후보 도출 방법의 일 실시예를 개략적으로 나타내는 도면이다. 도 10의 1010 내지 1060은 각각 하나의 부호화 유닛을 나타내며, 각 부호화 유닛에 속한 예측 유닛 각각에 표시된 숫자는 분할 인덱스(partition index)를 나타낸다.
도 10의 실시예에서는 설명의 편의상, MER의 크기가 현재 부호화 유닛과 동일하다고 가정한다. 이 때, 도 10에 도시된 각각의 부호화 유닛은 병렬 처리 단위에 해당될 수 있으며, 이 경우 병렬 움직임 예측은 부호화 유닛 단위로 수행될 수 있다. 그러나, 후술되는 도 10의 실시예들은 MER의 크기, 즉 병렬 처리 레벨이 부호화 유닛보다 큰 경우에도 병렬 처리 레벨에 속하는 부호화 유닛 각각에 대해 동일하게 적용될 수 있다.
한편, 도 9에서 상술한 바와 같이, 병렬 움직임 예측이 수행되는 MER 내에는, 아직 부호화/복호화가 완료되지 않은 다른 블록(및/또는 예측 유닛)의 움직임 정보를 사용하는 예측 유닛이 존재할 수 있다. 이러한 경우, 상기 MER에 속한 예측 유닛들에 대해서는 동시에 움직임 예측이 수행될 수 없다. 따라서, 이러한 문제점을 해결하기 위해, 부호화기 및 복호화기는 움직임 정보가 유효하지 않은(not available) 블록은 머지 후보 블록으로 사용하지 않을 수 있다. 즉, 부호화기 및 복호화기는 머지 후보 도출 과정에서 상기 블록을 유효하지 않은 것으로 처리하고, 상기 블록의 움직임 정보를 머지 후보 리스트에 추가하지 않을 수 있다.
도 10의 1010에서, 부호화 유닛(및/또는 예측 유닛)의 분할 모드는 2NxN 이고, 분할 인덱스가 1인 하단 예측 유닛의 머지 후보들이 도시된다. 이 때, 머지 후보 블록으로 사용되는 블록 A0, A1, B0, B1 및 B2 중에서 블록 B1은 동일 부호화 유닛 내의 다른 예측 유닛에 속하는 블록이다. 따라서, 상기 블록 B1 은 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있고, 하단 예측 유닛의 머지 후보 블록으로 사용되지 않을 수 있다. 이 경우, 상기 블록의 움직임 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
또한, 분할 인덱스가 1인 하단 예측 유닛의 움직임 예측 시에는, 블록 A0 및 블록 B0 의 움직임 정보가 유효하지 않을 수 있다. 이는 부호화/복호화 순서상 상기 블록들의 부호화 및/또는 복호화가 완료되지 않은 상태일 수 있기 때문이다. 이 때, 상기 블록 A0 및 블록 B0 는 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있고, 하단 예측 유닛의 머지 후보 블록으로 사용되지 않을 수 있다. 이 경우, 상기 블록의 움직임 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
도 10의 1010의 실시예에서와 같이, 병렬 움직임 예측 시에 사용될 수 없는 블록이 유효하지 않은 것으로 처리되는 경우, 분할 인덱스가 1인 하단 예측 유닛에 대해 도출되는 공간적 머지 후보의 개수는 2개일 수 있다. 이 때, 시간적 머지 후보를 고려하여 상기 공간적 머지 후보의 개수에 1이 더해지는 경우, 하단 예측 유닛에 대해 도출되는 유효한 머지 후보의 최대 개수는 3개일 수 있다.
도 10의 1020에서, 부호화 유닛(및/또는 예측 유닛)의 분할 모드는 2NxnU 이고, 분할 인덱스가 1인 하단 예측 유닛의 머지 후보들이 도시된다. 이 때, 머지 후보 블록으로 사용되는 블록 A0, A1, B0, B1 및 B2 중에서 블록 B1은 동일 부호화 유닛 내의 다른 예측 유닛에 속하는 블록이다. 따라서, 상기 블록 B1 은 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있고, 하단 예측 유닛의 머지 후보 블록으로 사용되지 않을 수 있다. 이 경우, 상기 블록의 움직임 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
또한, 분할 인덱스가 1인 하단 예측 유닛의 움직임 예측 시에는, 블록 A0 및 블록 B0 의 움직임 정보가 유효하지 않을 수 있다. 이는 부호화/복호화 순서상 상기 블록들의 부호화 및/또는 복호화가 완료되지 않은 상태일 수 있기 때문이다. 이 때, 상기 블록 A0 및 블록 B0 는 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있고, 하단 예측 유닛의 머지 후보 블록으로 사용되지 않을 수 있다. 이 경우, 상기 블록의 움직임 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
도 10의 1020의 실시예에서와 같이, 병렬 움직임 예측 시에 사용될 수 없는 블록이 유효하지 않은 것으로 처리되는 경우, 분할 인덱스가 1인 하단 예측 유닛에 대해 도출되는 공간적 머지 후보의 개수는 2개일 수 있다. 이 때, 시간적 머지 후보를 고려하여 상기 공간적 머지 후보의 개수에 1이 더해지는 경우, 하단 예측 유닛에 대해 도출되는 유효한 머지 후보의 최대 개수는 3개일 수 있다.
도 10의 1030에서, 부호화 유닛(및/또는 예측 유닛)의 분할 모드는 2NxnD 이고, 분할 인덱스가 1인 하단 예측 유닛의 머지 후보들이 도시된다. 이 때, 머지 후보 블록으로 사용되는 블록 A0, A1, B0, B1 및 B2 중에서 블록 B1은 동일 부호화 유닛 내의 다른 예측 유닛에 속하는 블록이다. 따라서, 상기 블록 B1 은 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있고, 하단 예측 유닛의 머지 후보 블록으로 사용되지 않을 수 있다. 이 경우, 상기 블록의 움직임 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
또한, 분할 인덱스가 1인 하단 예측 유닛의 움직임 예측 시에는, 블록 A0 및 블록 B0 의 움직임 정보가 유효하지 않을 수 있다. 이는 부호화/복호화 순서상 상기 블록들의 부호화 및/또는 복호화가 완료되지 않은 상태일 수 있기 때문이다. 이 때, 상기 블록 A0 및 블록 B0 는 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있고, 하단 예측 유닛의 머지 후보 블록으로 사용되지 않을 수 있다. 이 경우, 상기 블록의 움직임 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
도 10의 1030의 실시예에서와 같이, 병렬 움직임 예측 시에 사용될 수 없는 블록이 유효하지 않은 것으로 처리되는 경우, 분할 인덱스가 1인 하단 예측 유닛에 대해 도출되는 공간적 머지 후보의 개수는 2개일 수 있다. 이 때, 시간적 머지 후보를 고려하여 상기 공간적 머지 후보의 개수에 1이 더해지는 경우, 하단 예측 유닛에 대해 도출되는 유효한 머지 후보의 최대 개수는 3개일 수 있다.
도 10의 1040에서, 부호화 유닛(및/또는 예측 유닛)의 분할 모드는 Nx2N 이고, 분할 인덱스가 1인 우측 예측 유닛의 머지 후보들이 도시된다. 이 때, 머지 후보 블록으로 사용되는 블록 A0, A1, B0, B1 및 B2 중에서 블록 A1은 동일 부호화 유닛 내의 다른 예측 유닛에 속하는 블록이다. 따라서, 상기 블록 A1 은 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있고, 우측 예측 유닛의 머지 후보 블록으로 사용되지 않을 수 있다. 이 경우, 상기 블록의 움직임 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
또한, 분할 인덱스가 1인 우측 예측 유닛의 움직임 예측 시에는, 블록 A0 의 움직임 정보가 유효하지 않을 수 있다. 이는 부호화/복호화 순서상 상기 블록들의 부호화 및/또는 복호화가 완료되지 않은 상태일 수 있기 때문이다. 이 때, 상기 블록 A0 는 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있고, 우측 예측 유닛의 머지 후보 블록으로 사용되지 않을 수 있다. 이 경우, 상기 블록의 움직임 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
*도 10의 1040의 실시예에서와 같이, 병렬 움직임 예측 시에 사용될 수 없는 블록이 유효하지 않은 것으로 처리되는 경우, 분할 인덱스가 1인 우측 예측 유닛에 대해 도출되는 공간적 머지 후보의 개수는 3개일 수 있다. 이 때, 시간적 머지 후보를 고려하여 상기 공간적 머지 후보의 개수에 1이 더해지는 경우, 우측 예측 유닛에 대해 도출되는 유효한 머지 후보의 최대 개수는 4개일 수 있다.
도 10의 1050에서, 부호화 유닛(및/또는 예측 유닛)의 분할 모드는 nLx2N 이고, 분할 인덱스가 1인 우측 예측 유닛의 머지 후보들이 도시된다. 이 때, 머지 후보 블록으로 사용되는 블록 A0, A1, B0, B1 및 B2 중에서 블록 A1은 동일 부호화 유닛 내의 다른 예측 유닛에 속하는 블록이다. 따라서, 상기 블록 A1 은 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있고, 우측 예측 유닛의 머지 후보 블록으로 사용되지 않을 수 있다. 이 경우, 상기 블록의 움직임 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
또한, 분할 인덱스가 1인 우측 예측 유닛의 움직임 예측 시에는, 블록 A0 의 움직임 정보가 유효하지 않을 수 있다. 이는 부호화/복호화 순서상 상기 블록들의 부호화 및/또는 복호화가 완료되지 않은 상태일 수 있기 때문이다. 이 때, 상기 블록 A0 는 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있고, 우측 예측 유닛의 머지 후보 블록으로 사용되지 않을 수 있다. 이 경우, 상기 블록의 움직임 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
*도 10의 1050의 실시예에서와 같이, 병렬 움직임 예측 시에 사용될 수 없는 블록이 유효하지 않은 것으로 처리되는 경우, 분할 인덱스가 1인 우측 예측 유닛에 대해 도출되는 공간적 머지 후보의 개수는 3개일 수 있다. 이 때, 시간적 머지 후보를 고려하여 상기 공간적 머지 후보의 개수에 1이 더해지는 경우, 우측 예측 유닛에 대해 도출되는 유효한 머지 후보의 최대 개수는 4개일 수 있다.
도 10의 1060에서, 부호화 유닛(및/또는 예측 유닛)의 분할 모드는 nRx2N 이고, 분할 인덱스가 1인 우측 예측 유닛의 머지 후보들이 도시된다. 이 때, 머지 후보 블록으로 사용되는 블록 A0, A1, B0, B1 및 B2 중에서 블록 A1은 동일 부호화 유닛 내의 다른 예측 유닛에 속하는 블록이다. 따라서, 상기 블록 A1 은 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있고, 우측 예측 유닛의 머지 후보 블록으로 사용되지 않을 수 있다. 이 경우, 상기 블록의 움직임 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
또한, 분할 인덱스가 1인 우측 예측 유닛의 움직임 예측 시에는, 블록 A0 의 움직임 정보가 유효하지 않을 수 있다. 이는 부호화/복호화 순서상 상기 블록들의 부호화 및/또는 복호화가 완료되지 않은 상태일 수 있기 때문이다. 이 때, 상기 블록 A0 는 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있고, 우측 예측 유닛의 머지 후보 블록으로 사용되지 않을 수 있다. 이 경우, 상기 블록의 움직임 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
*도 10의 1060의 실시예에서와 같이, 병렬 움직임 예측 시에 사용될 수 없는 블록이 유효하지 않은 것으로 처리되는 경우, 분할 인덱스가 1인 우측 예측 유닛에 대해 도출되는 공간적 머지 후보의 개수는 3개일 수 있다. 이 때, 시간적 머지 후보를 고려하여 상기 공간적 머지 후보의 개수에 1이 더해지는 경우, 우측 예측 유닛에 대해 도출되는 유효한 머지 후보의 최대 개수는 4개일 수 있다.
상술한 실시예에 따라, 공간적 머지 후보 도출 과정에서 부호화기 및 복호화기는 소정의 조건에 따라 예측 유닛의 주변 블록을 유효하지 않은 것으로 처리할 수 있다. 이는 다음과 같이 나타내어질 수 있다.
Figure 112022031190800-pat00003
여기서, availableFlagN 은 블록 N(N은 A0, A1, B0, B1 및 B2 중에서 하나임)이 머지 후보 블록으로 사용될 수 있는 유효한 블록인지 여부를 지시하는 플래그이다. 또한, mvLXN 은 블록 N의 움직임 벡터를 나타내고, refIdxLXN 은 블록 N의 참조 픽쳐 인덱스를 나타낸다. 여기서, X는 0 또는 1의 값을 가질 수 있다. 그리고, predFlagLXN 은 블록 N에 대해 LX 예측이 수행되는지 여부를 지시하는 플래그에 해당될 수 있다.
예측 유닛의 주변 블록을 유효하지 않은 것으로 처리하기 위한 조건에는 여러 가지가 있을 수 있다. 일례로, 블록 N이 블록 B2이고 블록 A0, A1, B0, B1이 모두 유효한 경우에는, 콜 블록을 포함하여 5개의 머지 후보 개수를 유지하기 위해, 상기 블록 B2 가 유효하지 않은 것으로 처리될 수 있다. 또한, 주변 블록의 예측 모드가 인트라 모드인 경우에도 그 블록은 유효하지 않은 것으로 처리될 수 있다. 이는 다음과 같이 나타내어질 수 있다.
Figure 112022031190800-pat00004
또한, 상술한 실시예에서와 같이, 현재 부호화 유닛(및/또는 예측 유닛)의 분할 모드가 2NxN, 2NxnU 또는 2NxnD 이고 현재 예측 유닛의 분할 인덱스가 1인 경우, 블록 B1은 유효하지 않은 것으로 처리될 수 있다. 그리고 현재 부호화 유닛(및/또는 예측 유닛)의 분할 모드가 Nx2N, nLx2N 또는 nRx2N 이고 현재 예측 유닛의 분할 인덱스가 1인 경우, 블록 A1 은 유효하지 않은 것으로 처리될 수 있다. 이는 다음과 같이 나타내어질 수 있다.
Figure 112022031190800-pat00005
상술한 마지막 두 가지의 조건은, 동일 부호화 유닛에 속한 예측 유닛들이 서로 종속성(dependency)을 갖지 않도록 함으로써, 동일 부호화 유닛에 속한 모든 예측 유닛에 대한 병렬 움직임 예측을 가능하게 할 수 있다. 또한, 하나의 예측 유닛이 동일 부호화 유닛 내의 다른 예측 유닛에 속하는 움직임 정보를 사용하는 경우에는, 동일 부호화 유닛 내의 직사각형 예측 유닛들이 서로 동일한 움직임 정보를 가지게 됨으로써 결과적으로 2Nx2N 분할 모드에서와 동일한 움직임 정보를 가지게 될 수 있다. 이 때, 상술한 마지막 두 가지의 조건은, 동일 부호화 유닛 내의 직사각형 예측 유닛들이 2Nx2N 분할 모드에서와 동일한 움직임 정보를 가지는 것을 방지할 수 있다.
*도 11은 병렬 움직임 예측을 가능하게 하기 위한 머지 후보 도출 방법의 다른 실시예를 개략적으로 나타내는 도면이다. 도 11의 1110 내지 1130은 각각 하나의 부호화 유닛을 나타내며, 각 부호화 유닛에 속한 예측 유닛 각각에 표시된 숫자는 분할 인덱스를 나타낸다.
도 11의 실시예에서는 설명의 편의상, MER의 크기가 현재 부호화 유닛과 동일하다고 가정한다. 이 때, 도 11에 도시된 각각의 부호화 유닛은 병렬 처리 단위에 해당될 수 있으며, 이 경우 병렬 움직임 예측은 부호화 유닛 단위로 수행될 수 있다. 그러나, 후술되는 도 11의 실시예들은 MER의 크기, 즉 병렬 처리 레벨이 부호화 유닛보다 큰 경우에도 병렬 처리 레벨에 속하는 부호화 유닛 각각에 대해 동일하게 적용될 수 있다.
한편, 도 10의 실시예에서는 부호화 유닛(및/또는 예측 유닛)의 분할 모드가 2NxN, 2NxnU, 2NxnD, Nx2N, nLx2N 및 nRx2N 인 경우의 실시예들이 서술된 바 있다. 그러나, 부호화 유닛(및/또는 예측 유닛)의 분할 모드가 NxN 인 경우에도 병렬 움직임 예측이 수행되는 MER 내에는, 아직 부호화/복호화가 완료되지 않은 다른 블록(및/또는 예측 유닛)의 움직임 정보를 사용하는 예측 유닛이 존재할 수 있다. 이러한 경우, 상기 MER에 속한 예측 유닛들에 대해서는 동시에 움직임 예측이 수행될 수 없다. 따라서, 이러한 문제점을 해결하기 위해, 부호화기 및 복호화기는 움직임 정보가 유효하지 않은(not available) 블록의 움직임 정보는 머지 후보로 사용하지 않을 수 있다. 즉, 부호화기 및 복호화기는 머지 후보 도출 과정에서 상기 블록을 유효하지 않은 것으로 처리하고, 상기 블록의 움직임 정보를 머지 후보 리스트에 추가하지 않을 수 있다.
도 11의 1110에서, 부호화 유닛(및/또는 예측 유닛)의 분할 모드는 NxN 이고, 분할 인덱스가 1인 우측 상단 예측 유닛의 머지 후보들이 도시된다. 이 때, 머지 후보 블록으로 사용되는 블록 A0, A1, B0, B1 및 B2 중에서 블록 A0 및 블록 A1 은 동일 부호화 유닛 내의 다른 예측 유닛에 속하는 블록이다. 이 경우, 상기 우측 상단 예측 유닛은 동일 부호화 유닛 내의 다른 예측 유닛과 종속성을 가지게 된다. 따라서, 상기 블록 A0 및 블록 A1 은 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있고, 우측 상단 예측 유닛의 머지 후보 블록으로 사용되지 않을 수 있다. 이 경우, 상기 블록의 움직임 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
도 11의 1110의 실시예에서와 같이, 병렬 움직임 예측 시에 사용될 수 없는 블록이 유효하지 않은 것으로 처리되는 경우, 분할 인덱스가 1인 우측 상단 예측 유닛에 대해 도출되는 공간적 머지 후보의 개수는 3개일 수 있다. 이 때, 시간적 머지 후보를 고려하여 상기 공간적 머지 후보의 개수에 1이 더해지는 경우, 우측 상단 예측 유닛에 대해 도출되는 유효한 머지 후보의 최대 개수는 4개일 수 있다.
도 11의 1120에서, 부호화 유닛(및/또는 예측 유닛)의 분할 모드는 NxN 이고, 분할 인덱스가 2인 좌측 하단 예측 유닛의 머지 후보들이 도시된다. 이 때, 머지 후보 블록으로 사용되는 블록 A0, A1, B0, B1 및 B2 중에서 블록 B0 및 블록 B1 은 동일 부호화 유닛 내의 다른 예측 유닛에 속하는 블록이다. 이 경우, 상기 좌측 하단 예측 유닛은 동일 부호화 유닛 내의 다른 예측 유닛과 종속성을 가지게 된다. 따라서, 상기 블록 B0 및 블록 B1 은 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있고, 좌측 하단 예측 유닛의 머지 후보 블록으로 사용되지 않을 수 있다. 이 경우, 상기 블록의 움직임 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
또한, 분할 인덱스가 2인 좌측 하단 예측 유닛의 움직임 예측 시에는, 블록 A0 의 움직임 정보가 유효하지 않을 수 있다. 이는 부호화/복호화 순서상 상기 블록들의 부호화 및/또는 복호화가 완료되지 않은 상태일 수 있기 때문이다. 이 때, 상기 블록 A0 는 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있고, 좌측 하단 예측 유닛의 머지 후보 블록으로 사용되지 않을 수 있다. 이 경우, 상기 블록의 움직임 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
도 11의 1120의 실시예에서와 같이, 병렬 움직임 예측 시에 사용될 수 없는 블록이 유효하지 않은 것으로 처리되는 경우, 분할 인덱스가 2인 좌측 하단 예측 유닛에 대해 도출되는 공간적 머지 후보의 개수는 2개일 수 있다. 이 때, 시간적 머지 후보를 고려하여 상기 공간적 머지 후보의 개수에 1이 더해지는 경우, 좌측 하단 예측 유닛에 대해 도출되는 유효한 머지 후보의 최대 개수는 3개일 수 있다.
도 11의 1130에서, 부호화 유닛(및/또는 예측 유닛)의 분할 모드는 NxN 이고, 분할 인덱스가 3인 우측 하단 예측 유닛의 머지 후보들이 도시된다. 이 때, 머지 후보 블록으로 사용되는 블록 A0, A1, B0, B1 및 B2 중에서 블록 A1, 블록 B1 및 블록 B2 는 동일 부호화 유닛 내의 다른 예측 유닛에 속하는 블록이다. 이 경우, 상기 우측 하단 예측 유닛은 동일 부호화 유닛 내의 다른 예측 유닛과 종속성을 가지게 된다. 따라서, 상기 블록 A1, 블록 B1 및 블록 B2 는 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있고, 우측 하단 예측 유닛의 머지 후보 블록으로 사용되지 않을 수 있다. 이 경우, 상기 블록의 움직임 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
또한, 분할 인덱스가 3인 우측 하단 예측 유닛의 움직임 예측 시에는, 블록 A0 및 블록 B0 의 움직임 정보가 유효하지 않을 수 있다. 이는 부호화/복호화 순서상 상기 블록들의 부호화 및/또는 복호화가 완료되지 않은 상태일 수 있기 때문이다. 이 때, 상기 블록 A0 및 블록 B0 는 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있고, 우측 하단 예측 유닛의 머지 후보 블록으로 사용되지 않을 수 있다. 이 경우, 상기 블록의 움직임 정보는 머지 후보 리스트에 추가되지 않을 수 있다.
도 11의 1130의 실시예에서와 같이, 병렬 움직임 예측 시에 사용될 수 없는 블록이 유효하지 않은 것으로 처리되는 경우, 분할 인덱스가 3인 우측 하단 예측 유닛에 대해 도출되는 공간적 머지 후보의 개수는 0개일 수 있다. 이 때, 시간적 머지 후보를 고려하여 상기 공간적 머지 후보의 개수에 1이 더해지는 경우, 우측 하단 예측 유닛에 대해 도출되는 유효한 머지 후보의 최대 개수는 1개일 수 있다.
상술한 실시예에 따라, 공간적 머지 후보 도출 과정에서 부호화기 및 복호화기는 소정의 조건에 따라 예측 유닛의 주변 블록을 유효하지 않은 것으로 처리할 수 있다. 도 10에서 상술한 바와 같이, 예측 유닛의 주변 블록을 유효하지 않은 것으로 처리하기 위한 조건에는 여러 가지가 있을 수 있다.
도 11의 실시예에 의하면, 현재 부호화 유닛(및/또는 예측 유닛)의 분할 모드가 NxN 이고 현재 예측 유닛의 분할 인덱스가 1인 경우, 블록 A0 및 블록 A1 은 유효하지 않은 것으로 처리될 수 있다. 그리고 현재 부호화 유닛(및/또는 예측 유닛)의 분할 모드가 NxN 이고 현재 예측 유닛의 분할 인덱스가 2인 경우, 블록 B0 및 블록 B1 은 유효하지 않은 것으로 처리될 수 있다. 또한, 현재 부호화 유닛(및/또는 예측 유닛)의 분할 모드가 NxN 이고 현재 예측 유닛의 분할 인덱스가 3인 경우, 블록 A1,블록 B1 및 블록 B2 는 유효하지 않은 것으로 처리될 수 있다. 상기 세 가지 조건은 도 10에서 서술된 실시예에 다음과 같이 추가될 수 있다.
Figure 112022031190800-pat00006
상술한 실시예에 추가된 세 가지의 조건은, 부호화 유닛에 속한 하나의 예측 유닛이 동일 부호화 유닛에 속한 다른 예측 유닛의 움직임 정보를 참조하는 것을 방지할 수 있다. 따라서, 상술한 실시예에 의하면, 동일 부호화 유닛에 속한 모든 예측 유닛에 대해 공간적 머지 후보들의 병렬적 유도가 가능해질 수 있다.
한편, 병렬 머지 모드 및/또는 병렬 스킵 모드에서 상술한 도 10 및 도 11의 실시예가 적용되는 경우에는, 분할 모드 및 분할 인덱스에 따라 각각의 예측 유닛에 대해 도출될 수 있는 유효한 머지 후보의 최대 개수가 유추될 수 있다. 각 예측 유닛에 대한 유효한 머지 후보의 최대 개수는, 병렬 움직임 예측에 사용될 수 있는 유효한 공간적 머지 후보의 개수에 시간적 머지 후보의 개수(예를 들어, 1개)를 더함으로써 유추될 수 있다. 예를 들어, 도 10 및 도 11에 도시된 각 분할 모드에서, 분할 인덱스 값이 0인 예측 유닛에 대해서는 최대 5개의 유효한 머지 후보가 도출될 수 있다. 다른 예로, 도 10의 1010에서와 같이 2NxN 의 분할 모드에서, 분할 인덱스가 1인 예측 유닛에 대해서는 최대 3개의 유효한 머지 후보가 도출될 수 있다. 분할 모드 및 분할 인덱스에 따라 각 예측 유닛에 대해 도출되는 유효한 머지 후보의 최대 개수는 일 실시예로 다음 표 3 에서와 같이 나타내어질 수 있다.
Figure 112022031190800-pat00007
여기서, PartMode 는 부호화 유닛(및/또는 예측 유닛)의 분할 모드를 나타내고, partIdx 는 예측 유닛의 분할 인덱스를 나타낸다. 그리고 maxNumMergeCand 는 해당 예측 유닛에 대해 도출되는 유효한 머지 후보의 최대 개수를 나타낸다.
그런데, 도 7에서 상술한 바와 같이 머지 후보의 개수가 5개로 제한되는 경우, 머지 인덱스는 5개의 머지 후보 중에서 하나를 지시하게 된다. 이 경우에는, 5개의 머지 후보에 대응하는 비트량이 머지 인덱스의 전송을 위해 사용될 수 있다. 그러나, 상술한 바와 같이 예측 유닛에 대해 도출되는 유효한 머지 후보의 최대 개수는 5개보다 적을 수 있고, 이 경우 머지 인덱스의 전송을 위해 필요한 비트량은 5개의 머지 후보에 대응하는 비트량보다 적을 수 있다. 즉, 유효하지 않은 것으로 처리되는 블록의 개수가 많아질수록 머지 인덱스의 전송에 필요한 실제 비트량이 감소될 수 있다. 이 때, 머지 인덱스의 전송에 필요한 실제 비트량을 초과하여 사용되는 비트는 상기 머지 인덱스에 대해 낭비되는 비트로 볼 수 있다.
상술한 문제점을 해결하기 위해, 부호화기 및 복호화기는 분할 모드 및 분할 인덱스에 따라 최적화된 머지 후보의 개수를 적용하여 머지 인덱스를 부호화/복호화 함으로써, 머지 인덱스의 전송에 사용되는 비트량을 감소시키거나 절약할 수 있다.
일 실시예로 부호화기 및 복호화기에는 표 3 과 같은 테이블이 동일하게 저장되어 있을 수 있다. 이 때, 부호화기는 상기 테이블을 기반으로 분할 모드 및 분할 인덱스에 따라 임의의 예측 유닛에 대해 도출되는 유효한 머지 후보의 최대 개수를 결정할 수 있다. 그리고 부호화기는 상기 최대 개수를 기반으로 상기 예측 유닛에 대한 머지 인덱스를 부호화하여 복호화기로 전송할 수 있다. 이 경우에는, 상기 최대 개수에 대응하는 비트량만이 머지 인덱스의 전송에 사용되므로, 머지 인덱스의 전송에 사용되는 비트량이 감소될 수 있다. 복호화기에는 상기 테이블이 동일하게 저장되어 있으므로, 부호화기에서와 동일한 방법으로 임의의 예측 유닛에 대해 도출되는 유효한 머지 후보의 최대 개수를 결정할 수 있다. 이 때, 복호화기는 상기 최대 개수를 기반으로, 부호화기로부터 전송된 머지 인덱스를 복호화할 수 있다.
한편, 도 11의 1130 및 표 3을 참조하면, 부호화 유닛(및/또는 예측 유닛)의 분할 모드가 NxN이고 상기 부호화 유닛에 속한 예측 유닛의 분할 인덱스 값이 3인 경우, 시간적 머지 후보 1개만이 상기 예측 유닛에 대한 유효한 머지 후보에 해당될 수 있다. 이 때, 상기 예측 유닛에 대해 도출되는 유효한 머지 후보의 최대 개수는 1개일 수 있다. 유효한 머지 후보의 최대 개수가 1개인 경우, 복호화기는 머지 인덱스 없이도 예측 유닛의 움직임 정보 도출에 사용되는 머지 후보가 어떤 것인지를 알 수 있다. 따라서, 부호화기는 부호화 유닛(및/또는 예측 유닛)의 분할 모드가 NxN이고 상기 부호화 유닛에 속한 예측 유닛의 분할 인덱스 값이 3인 경우, 해당 예측 유닛에 대한 머지 인덱스를 복호화기로 전송하지 않을 수 있다.
도 12는 병렬 움직임 예측을 가능하게 하기 위한 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다. 도 12의 1210은 하나의 부호화 유닛을 나타내며, 상기 부호화 유닛에 속한 예측 유닛 각각에 표시된 숫자는 분할 인덱스를 나타낸다.
도 12의 실시예에서는 설명의 편의상, MER의 크기가 현재 부호화 유닛과 동일하다고 가정한다. 이 때, 도 12에 도시된 부호화 유닛은 병렬 처리 단위에 해당될 수 있으며, 이 경우 병렬 움직임 예측은 부호화 유닛 단위로 수행될 수 있다. 그러나, 후술되는 도 12의 실시예는 MER의 크기, 즉 병렬 처리 레벨이 부호화 유닛보다 큰 경우에도, 병렬 처리 레벨에 속하는 부호화 유닛 각각에 대해 유사한 방식으로 적용될 수 있다.
상술한 도 10 및 도 11의 실시예에서, 병렬 움직임 예측 수행 시에 움직임 정보가 유효하지 않은 블록에 대응하는 머지 후보들은, 유효하지 않은 것으로 처리되어 머지 후보 리스트에 추가되지 않을 수 있다. 이 때, 유효하지 않은 것으로 처리되는 머지 후보들은, 현재 부호화 유닛(및/또는 예측 유닛)의 분할 모드가 2Nx2N인 경우에 사용되는 머지 후보로 대체될 수 있다.
도 12의 1210에서, 현재 부호화 유닛(및/또는 예측 유닛)의 분할 모드는 2NxN 이고, 현재 움직임 예측 대상이 되는 예측 유닛은 분할 인덱스가 1인 하단 예측 유닛이다. 이 경우, 도 10에서 상술한 바와 같이, 머지 후보 블록으로 사용되는 블록 A0, A1, B0, B1 및 B2 중에서 블록 A0, 블록 B0 및 블록 B1 은 병렬 움직임 예측 시에 사용될 수 없는 블록이므로 유효하지 않은 것으로 처리될 수 있다.
그러나, 현재 부호화 유닛(및/또는 예측 유닛)의 분할 모드가 2Nx2N인 경우에 머지 후보 블록으로 사용되는 블록 B0'(현재 부호화 유닛 외부의 우측 상단 코너에 가장 가까이 위치한 블록) 및 블록 B1'(현재 부호화 유닛의 상단에 인접한 블록들 중 가장 우측에 위치한 블록)은, 병렬 움직임 예측 수행 시에 유효한 움직임 정보를 가질 수도 있다. 따라서, 부호화기 및 복호화기는 블록 B0 대신 블록 B0'를 하단 예측 유닛의 머지 후보 블록으로 사용할 수 있고, 블록 B1 대신 블록 B1'를 하단 예측 유닛의 머지 후보 블록으로 사용할 수 있다.
상술한 실시예는 현재 부호화 유닛(및/또는 예측 유닛)의 분할 모드가 2NxN 인 경우에 한정되어 서술되고 있으나, 본 발명은 이에 한정되지 않는다. 즉, 상술한 머지 후보 도출 방법은 현재 부호화 유닛의 분할 모드가 Nx2N, NxN, 2NxnU, 2NxnD, nLx2N 또는 nRx2N 등인 경우에도 유사한 방식으로 적용될 수 있다.
한편, 부호화기 및 복호화기는 병렬 움직임 예측이 수행되는 복수의 예측 유닛에 대해, 공통의 머지 후보 및/또는 공통의 머지 후보 리스트를 도출하여 사용함으로써, 병렬 움직임 예측이 가능하도록 할 수도 있다. 공통의 머지 후보 및/또는 공통의 머지 후보 리스트에 기반한 병렬 움직임 예측 방식은, 상술한 도 10 및/또는 도 11의 실시예와는 별개로 독립적으로 적용될 수도 있으나, 도 10 및/또는 도 11의 실시예와 결합되어 부호화기/복호화기에 함께 적용될 수도 있다. 이하, 본 명세서에서 복수의 예측 유닛에 대해 공통적으로 사용되는 머지 후보는 '공통 머지 후보(common merge candidate)'라 하고, 상기 복수의 예측 유닛에 대해 공통적으로 사용되는 머지 후보 리스트는 '단일 머지 후보 리스트(single merge candidate list)'라 한다.
이 때, 공통 머지 후보 및/또는 단일 머지 후보 리스트가 유도되는 단위는 미리 정의된 소정의 단위일 수 있다. 여기서, 상기 소정의 단위는 숫자로 정해질 수도 있고, CU, MER 및/또는 LCU 단위일 수 있다. 또한, 공통 머지 후보 및/또는 단일 머지 후보 리스트가 유도되는 단위는 부호화기에서 결정될 수도 있다. 이 경우, 부호화기는 상기 단위에 대한 정보를 부호화하여 복호화기로 전송할 수 있다. 이 때, 복호화기는 상기 전송된 정보를 기반으로 공통 머지 후보 및/또는 단일 머지 후보 리스트가 유도되는 단위를 결정할 수 있다. 이하 본 명세서에서, 상술한 공통 머지 후보 및/또는 단일 머지 후보 리스트가 유도되는 단위는 '머지 후보 공유 단위'라 한다.
예를 들어, 머지 후보 공유 단위가 CU인 경우, 하나의 CU 내의 모든 예측 유닛(머지 모드 및/또는 스킵 모드를 갖는 예측 유닛)은 상기 CU에 대한 공통 머지 후보 및/또는 상기 CU에 대한 단일 머지 후보 리스트를 공유할(share) 수 있다. 이 때, 상기 단일 머지 후보 리스트는 상기 CU(및/또는 상기 CU에 속한 PU)의 분할 모드가 2Nx2N인 경우에 상기 CU에 속한 예측 유닛이 갖는 머지 후보 리스트와 동일할 수 있다. 다른 예로, 머지 후보 공유 단위가 LCU인 경우, 하나의 LCU 내의 모든 예측 유닛(머지 모드 및/또는 스킵 모드를 갖는 예측 유닛)은 상기 LCU에 대한 공통 머지 후보 및/또는 상기 LCU에 대한 단일 머지 후보 리스트를 공유할(share) 수 있다. 또 다른 예로, 머지 후보 공유 단위가 MER인 경우, 하나의 MER 내의 모든 예측 유닛(머지 모드 및/또는 스킵 모드를 갖는 예측 유닛)은 상기 MER에 대한 공통 머지 후보 및/또는 상기 MER에 대한 단일 머지 후보 리스트를 공유할(share) 수 있다.
하나의 머지 후보 공유 단위 내의 모든 예측 유닛이 공통 머지 후보 및/또는 단일 머지 후보 리스트를 공유하는 경우에는, 약간의 부호화 손실이 발생될 수 있다. 따라서, 부호화기 및 복호화기는 머지 후보 공유 플래그를 기반으로, 머지 후보 도출 방식 및/또는 머지 후보 리스트 도출 방식을 선택적으로 결정할 수도 있다. 여기서, 머지 후보 공유 플래그는 머지 후보 공유 단위 내에서 모든 예측 유닛에 대해 단일 머지 후보 리스트가 도출되어 사용되는지, 또는 각각의 예측 유닛에 대해 별개의 머지 후보 리스트가 도출되어 사용되는지 여부를 지시하는 플래그에 해당될 수 있다. 상기 머지 후보 공유 플래그는 예를 들어, parallel_merge_cand_flag, parallel_merge_derivation_flag 또는 singleMCLFlag 로 나타내어질 수 있다.
일례로, 머지 후보 공유 플래그의 값이 1인 경우, 상기 플래그는 머지 후보 공유 단위 내의 모든 예측 유닛이 공통 머지 후보 및/또는 단일 머지 후보 리스트를 공유함을 지시할 수 있다. 즉, 이 경우 상기 플래그는, 머지 후보(공간적 머지 후보 및/또는 시간적 머지 후보)의 위치가 머지 후보 공유 단위 내의 모든 예측 유닛에 대해 동일하다는 것을 지시할 수 있다. 또한, 머지 후보 공유 플래그의 값이 0인 경우, 상기 플래그는 각각의 예측 유닛에 대해 별개의 머지 후보 리스트가 도출되어 사용된다는 것을 지시할 수 있다.
상술한 머지 후보 공유 플래그는 일 실시예로 부호화기에서 부호화되어 복호화기로 전송되는 플래그일 수 있다. 이 때, 상기 머지 후보 공유 플래그는 SPS, PPS, APS(adaptation Parameter Set) 또는 슬라이스 헤더(slice header)에서 정의될 수 있다. 즉, 상기 머지 후보 공유 플래그는 비트 스트림 상의 SPS, PPS, APS 또는 슬라이스 헤더에 포함되어 부호화기로부터 복호화기로 전송될 수 있다. 이 경우, 복호화기는 상기 전송된 플래그를 기반으로 머지 후보 도출 방식 및/또는 머지 후보 리스트 도출 방식을 결정할 수 있다.
다른 실시예로 머지 후보 공유 플래그에 할당되는 값은 부호화기 및 복호화기에서 동일한 방식으로 도출될 수도 있다. 이 경우 부호화기는 머지 후보 공유 플래그에 관한 정보를 복호화기로 전송하지 않을 수 있다.
일례로, 머지 후보 공유 단위가 CU라 가정한다. 이 때, 머지 후보 공유 플래그에 할당되는 값은, MER의 크기 및/또는 현재 CU의 크기를 기반으로 결정될 수 있다. 예를 들어, 부호화기 및 복호화기는 MER의 크기, 즉 병렬 처리 레벨이 4x4보다 크고, 현재 부호화 유닛의 크기가 8x8인 경우에만 머지 후보 공유 플래그에 1의 값을 할당할 수 있다. 여기서, 머지 후보 공유 플래그의 값이 1인 경우, 상기 플래그는 머지 후보 공유 단위 내의 모든 예측 유닛이 공통 머지 후보 및/또는 단일 머지 후보 리스트를 공유함을 지시할 수 있다. 즉, 부호화기 및 복호화기는 병렬 처리 레벨이 4x4보다 크고 현재 부호화 유닛의 크기가 8x8인 경우에만, 현재 부호화 유닛 내의 모든 예측 유닛들이 공통 머지 후보 및/또는 단일 머지 후보 리스트를 공유하도록 수 있다. 이 때, 병렬 처리 레벨이 4x4 이거나 현재 부호화 유닛의 크기가 8x8이 아닌 경우, 머지 후보 공유 플래그에는 0의 값이 할당될 수 있다. 여기서, 머지 후보 공유 플래그의 값이 0인 경우, 상기 플래그는 각각의 예측 유닛에 대해 별개의 머지 후보 리스트가 도출되어 사용됨을 지시할 수 있다.
이하, 머지 후보 공유 단위 내의 예측 유닛들에 대한 공통 머지 후보 도출 방법의 실시예들이 서술된다.
도 13은 머지 후보 공유 단위 내의 예측 유닛들에 대한 공통 머지 후보 도출 방법의 일 실시예를 개략적으로 나타내는 도면이다.
도 13의 1310 내지 1330은 하나의 동일한 부호화 유닛을 나타내며, 상기 부호화 유닛(및/또는 예측 유닛)의 분할 모드는 Nx2N 에 해당한다. 또한, PartIdx는 분할 인덱스를 나타내며, PU0은 분할 인덱스 값이 0인 예측 유닛, PU1은 분할 인덱스 값이 1인 예측 유닛을 나타낸다.
한편, 도 13의 실시예에서는 설명의 편의상, 머지 후보 공유 단위가 CU라 가정한다. 이 때, 도 13에 도시된 각각의 부호화 유닛은 머지 후보 공유 단위에 해당될 수 있다. 상기 머지 후보 공유 단위의 크기는 MER, 즉 병렬 처리 단위의 크기와 동일할 수도 있고, 다를 수도 있다.
도 13의 1310은 분할 인덱스가 0인 좌측 예측 유닛의 머지 후보들을 도시한다. 또한, 도 13의 1320은 분할 인덱스가 1인 좌측 예측 유닛의 머지 후보들을 도시한다. 도 13의 1310 및 1320을 참조하면, 부호화 유닛(머지 후보 공유 단위) 내의 예측 유닛들 각각이 독립적으로 머지 후보 리스트를 가질 수 있다.
이 경우, 도 13의 1320의 블록 A1 은 우측 예측 유닛에 속하는 블록일 수 있다. 따라서, 우측 예측 유닛은 좌측 예측 유닛에 속한 움직임 정보를 사용하므로, 좌측 예측 유닛 및 우측 예측 유닛에 대해서는 동시에 움직임 예측이 수행될 수 없다. 이 때, 부호화기 및 복호화기는 블록 A1을 유효하지 않은 것으로 처리하여 병렬 움직임 예측이 가능하게 할 수도 있으나, 유효한 움직임 정보를 갖는 블록의 움직임 정보를 공통 머지 후보로 사용함으로써 병렬 움직임 예측이 가능하게 할 수도 있다.
도 13의 1330을 참조하면, 부호화 유닛(머지 후보 공유 단위) 내의 예측 유닛들은 공통 머지 후보(및/또는 공통의 머지 후보 리스트)를 가질 수 있다. 즉, 도 13의 1330에서 부호화 유닛 내의 모든 예측 유닛은 공통 머지 후보(및/또는 단일 머지 후보 리스트)를 공유할 수 있다.
여기서, 일례로 공통 머지 후보는 현재 부호화 유닛(1330)의 분할 모드가 2Nx2N 인 경우에 도출되는 머지 후보와 동일할 수 있다. 구체적으로, 부호화기 및 복호화기는 부호화 유닛(1330) 외부의 좌측 하단 코너에 가장 가까이 위치한 블록(A0), 부호화 유닛(1330)의 좌측에 인접한 블록들 중 가장 하단에 위치한 블록(A1), 부호화 유닛(1330) 외부의 우측 상단 코너에 가장 가까이 위치한 블록(B0), 부호화 유닛(1330)의 상단에 인접한 블록들 중 가장 우측에 위치한 블록(B1), 및 부호화 유닛(1330) 외부의 좌측 상단 코너에 가장 가까이 위치한 블록(B2)의 움직임 정보를 좌측 예측 유닛(PU0) 및 우측 예측 유닛(PU1)에 대한 공통 머지 후보로 사용할 수 있다.
상술한 1330의 실시예에서는, 하나의 부호화 유닛(머지 후보 공유 단위) 내의 모든 예측 유닛들이 공통 머지 후보(현재 부호화 유닛(1330)의 분할 모드가 2Nx2N 인 경우에 도출되는 머지 후보) 및/또는 단일 머지 후보 리스트를 공유할 수 있다. 즉, 부호화 유닛(머지 후보 공유 단위) 내의 모든 예측 유닛들이 동일한 위치의 머지 후보를 사용할 수 있다. 따라서 상술한 공통 머지 후보 도출 방법은 부호화 복잡도를 감소시킬 수 있고 병렬 움직임 예측을 용이하게 할 수 있다.
상술한 공통 머지 후보 도출 방법은 하나의 실시예에 불과하며, 공통 머지 후보 도출 방법이 적용되는 분할 모드는 Nx2N 에 한정되지 않는다. 상술한 공통 머지 후보 도출 방법은 현재 부호화 유닛(및/또는 예측 유닛)의 분할 모드가 2Nx2N 모드, 2NxN 모드, NxN 모드, 2NxnU 모드, 2NxnD 모드, nLx2N 모드 또는 nRx2N 모드 등인 경우에도, 동일하거나 유사한 방식으로 적용될 수 있다. 즉, 하나의 부호화 유닛 내의 모든 예측 유닛은 상기 부호화 유닛(및/또는 상기 예측 유닛)의 분할 모드에 관계 없이, 공통 머지 후보 및/또는 단일 머지 후보 리스트를 공유할 수 있다. 이 때, 부호화기 및 복호화기는 상기 부호화 유닛(및/또는 상기 예측 유닛)의 분할 모드가 2Nx2N 인 경우에 사용되는 머지 후보와 동일한 위치의 블록을 공통 머지 후보로 사용할 수 있다.
예를 들어, 현재 부호화 유닛(및/또는 예측 유닛)의 분할 모드가 NxN 모드인 경우에도, 현재 부호화 유닛 내의 모든 예측 유닛(분할 인덱스가 0인 예측 유닛, 분할 인덱스가 1인 예측 유닛, 분할 인덱스가 2인 예측 유닛 및 분할 인덱스가 3인 예측 유닛)은 공통 머지 후보 및/또는 단일 머지 후보 리스트를 공유할 수 있다. 또한, 이 때 현재 부호화 유닛(및/또는 예측 유닛)의 분할 모드가 2Nx2N 인 경우에 사용되는 머지 후보 블록과 동일한 위치에 존재하는 블록의 움직임 정보가 공통 머지 후보로 도출될 수 있다.
일반적으로 예측 유닛의 머지 후보 블록 및/또는 머지 후보는 상기 예측 유닛에 대한 상대적인 위치에 의해 특정될 수 있다. 따라서, 하나의 예측 유닛의 머지 후보들은 상기 예측 유닛 내의 가장 좌측 상단에 위치한 픽셀의 좌표(예를 들어, (xP, yP)), 상기 예측 유닛의 폭(예를 들어, nPbW) 및 상기 예측 유닛의 높이(예를 들어, nPbH)를 기준으로 결정될 수 있다.
그러나, 공통 머지 후보 및/또는 단일 머지 후보 리스트가 사용되는 경우, 상기 공통 머지 후보는 부호화 유닛(및/또는 예측 유닛)의 분할 모드가 2Nx2N 인 경우에 도출되는 머지 후보와 동일하므로, 상기 부호화 유닛에 대한 상대적인 위치에 의해 특정될 수 있다. 따라서, 공통 머지 후보 및/또는 단일 머지 후보 리스트가 사용되는 경우, 부호화기 및 복호화기는 예측 유닛 내의 가장 좌측 상단에 위치한 픽셀의 좌표를 상기 예측 유닛이 속한 부호화 유닛 내의 가장 좌측 상단에 위치한 픽셀의 좌표(예를 들어, (xC, yC))로 재설정할 수 있다. 또한, 부호화기 및 복호화기는 상기 예측 유닛의 폭 및 상기 예측 유닛의 높이를 상기 부호화 유닛의 폭(예를 들어, nCS) 및 상기 부호화 유닛의 높이(예를 들어, nCS)로 재설정할 수 있다. 이 때, 부호화기 및 복호화기는 상기 재설정된 값을 기반으로 예측 유닛의 머지 후보를 결정함으로써, 상기 예측 유닛이 병렬 움직임 예측 시에 공통 머지 후보를 사용하도록 할 수 있다.
한편, 상술한 바와 같이 하나의 머지 후보 공유 단위 내의 모든 예측 유닛이 공통 머지 후보 및/또는 단일 머지 후보 리스트를 공유하는 경우에는, 약간의 부호화 손실이 발생될 수 있다. 따라서, 부호화기 및 복호화기는 머지 후보 공유 플래그를 기반으로, 머지 후보 도출 방식 및/또는 머지 후보 리스트 도출 방식을 선택적으로 결정할 수도 있다.
일례로, 머지 후보 공유 플래그의 값이 1인 경우, 상기 플래그는 머지 후보 공유 단위 내의 모든 예측 유닛이 공통 머지 후보 및/또는 단일 머지 후보 리스트를 공유함을 지시할 수 있다. 이는 도 13의 1330에 도시된 공통 머지 후보 도출 방식에 해당될 수 있다. 또한, 머지 후보 공유 플래그의 값이 0인 경우, 상기 플래그는 각각의 예측 유닛에 대해 별개의 머지 후보 리스트가 도출되어 사용된다는 것을 지시할 수 있다. 이는 도 13의 1310 및 1320에 도시된 머지 후보 도출 방식에 해당될 수 있다.
*머지 후보 공유 플래그에 대한 구체적인 내용은 상술하였으므로, 여기서는 생략하기로 한다.
도 14는 머지 후보 공유 단위 내의 예측 유닛들에 대한 공통 머지 후보 도출 방법의 다른 실시예를 개략적으로 나타내는 도면이다.
도 14의 1410 및 1430은 각각 하나의 LCU(및/또는 코딩 트리 블록)를 도시한다. 도 14의 1430은 도 14의 1410에 도시된 LCU와 동일한 LCU를 다시 도시한 것이므로, 이하 도 14의 1410 및 1430에서 서로 동일한 구성 요소는 동일한 도면 부호에 의해 지시될 수 있다.
한편, 도 14의 실시예에서는 설명의 편의상, 하나의 LCU가 서로 동일한 크기를 갖는 네 개의 정방형의 MER로 구성되고, 상기 LCU 내의 예측 유닛에 대한 머지 후보 공유 단위는 상기 MER 단위와 동일하다고 가정한다. 이 때, 상기 MER은 코딩 트리 블록을 구성하는 각각의 부호화 유닛의 크기에 따라, 부호화 유닛과 동일한 크기를 가질 수도 있고 부호화 유닛과는 다른 크기를 가질 수도 있다. 도 14의 실시예에서 MER은 머지 후보 공유 단위에 해당되므로, 부호화 유닛이 MER 과 동일한 크기를 가지는 경우 상기 부호화 유닛은 머지 후보 공유 단위에 해당될 수도 있다. 예를 들어, MER의 크기가 8x8 일 때, 현재 부호화 유닛의 크기가 8x8이면 상기 현재 부호화 유닛은 머지 후보 공유 단위에 해당될 수도 있다. 도 14의 실시예는 비록 머지 후보 공유 단위가 MER 단위인 경우를 기준으로 서술되지만, 머지 후보 공유 단위가 부호화 유닛인 경우에도 동일하거나 유사한 방식으로 적용될 수 있다.
도 14의 1410을 참조하면, 움직임 예측 대상이 되는 현재 예측 유닛(1415)은 하나의 MER(1413)에 포함될 수 있다. 이하, 도 14의 실시예에서 현재 예측 유닛(1415)이 속한 MER은 현재 MER(1413)이라 한다. 도 14의 1410에서는 현재 예측 유닛(1415)의 머지 후보들(1421, 1423, 1425, 1427 및 1429)이 도시된다.
머지 후보 블록으로 사용되는 블록(1421, 1423, 1425, 1427 및 1429) 중에서 블록 1423, 1425 및 1427은 현재 MER(1413)에 속한 블록으로서, 현재 예측 유닛(1415)과 동일한 MER에 속한 블록일 수 있다. 따라서, 상기 블록 1423, 1425 및 1427은 병렬 움직임 예측 시에 부호화/복호화가 완료되지 않은 블록에 해당되므로, 현재 예측 유닛(1415)의 병렬 움직임 예측에 사용될 수 없다. 또한, 현재 예측 유닛(1415)의 움직임 예측 시에는 블록 1421 및 1429 의 움직임 정보가 유효하지 않을 수 있다. 이는 부호화/복호화 순서상 상기 블록들의 부호화 및/또는 복호화가 완료되지 않은 상태일 수 있기 때문이다. 따라서, 현재 예측 유닛에 대해 머지 모드(및/또는 스킵 모드) 움직임 예측이 수행되는 경우, 상술한 머지 후보 블록들(현재 예측 유닛(1415)과 동일한 MER에 속한 블록 및/또는 병렬 움직임 예측 시에 부호화/복호화가 완료되지 않은 블록)은 유효하지 않은 것으로 처리될 수 있다.
또한, 상술한 바와 같이 부호화기 및 복호화기는 머지 후보 공유 단위 내의 복수의 예측 유닛에 대해, 공통 머지 후보 및/또는 단일 머지 후보 리스트를 도출하여 사용함으로써, 병렬 움직임 예측이 가능하도록 할 수 있다.
도 14의 1430을 참조하면, MER(머지 후보 공유 단위) 내의 예측 유닛들은 공통 머지 후보(및/또는 단일 머지 후보 리스트)를 가질 수 있다. 즉, 도 14의 1430에서 MER 내의 모든 예측 유닛은 공통 머지 후보(예를 들어, 블록 1441, 1443, 1445, 1447 및 1449)를 공유할 수 있다. 이 때, 현재 예측 유닛(1415)은 도 14의 1410에 도시된 머지 후보들(1421, 1423, 1425, 1427 및 1429) 대신에 상기 공통 머지 후보를 사용할 수 있다.
여기서, 일례로 공통 머지 후보는 현재 MER(1413)과 동일한 크기의 부호화 유닛(및/또는 상기 부호화 유닛에 속한 예측 유닛)이 2Nx2N 의 분할 모드를 가지는 경우에 도출되는 머지 후보와 동일할 수 있다. 즉, 부호화기 및 복호화기는 현재 MER(1413) 외부에 위치한 블록을 공통 머지 후보로 사용할 수 있으며, 상기 공통 머지 후보는 현재 MER(1413)에 대한 상대적인 위치에 의해 특정될 수 있다.
일 실시예로, 부호화기 및 복호화기는 현재 MER(1413) 외부의 좌측 하단 코너에 가장 가까이 위치한 블록(1441), 현재 MER(1413)의 좌측에 인접한 블록들 중 가장 하단에 위치한 블록(1443), 현재 MER(1413) 외부의 우측 상단 코너에 가장 가까이 위치한 블록(1449), 현재 MER(1413)의 상단에 인접한 블록들 중 가장 우측에 위치한 블록(1447), 및 현재 MER(1413) 외부의 좌측 상단 코너에 가장 가까이 위치한 블록(1445)의 움직임 정보를 현재 예측 유닛(1415)의 머지 후보(공통 머지 후보)로 사용할 수 있다. 이 때, 상기 블록들 중에서 유효한 움직임 정보를 갖지 않는 블록(예를 들어, 현재 MER(1413) 외부의 우측 상단 코너에 가장 가까이 위치한 블록(1449))이 존재하는 경우, 부호화기 및 복호화기는 해당 블록을 유효하지 않은 것으로 처리하거나 또는 현재 예측 유닛(1415)의 머지 후보 블록으로 사용하지 않을 수 있다. 다른 실시예로, 부호화기 및 복호화기는 현재 MER(1413) 외부의 좌측 상단 코너에 가장 가까이 위치한 블록(1445) 대신에, 현재 MER(1413)의 좌측에 인접한 블록(1444)을 현재 예측 유닛(1415)의 머지 후보 블록으로 사용할 수도 있다. 이 때, 상기 블록 1444는 현재 MER(1413)의 좌측에 인접한 블록 중에서 가운데에 위치한 블록일 수 있고, 상기 가운데에 위치한 블록의 개수가 2개인 경우, 상기 2개의 블록 중에서 상단에 위치한 블록일 수 있다.
도 14의 1430의 실시예에서와 같이, 하나의 머지 후보 공유 단위 내의 모든 예측 유닛에 대해 공통 머지 후보(및/또는 단일 머지 후보 리스트)가 사용되는 경우에는, 유효하지 않은 것으로 처리되는 블록 대신 유효한 움직임 정보를 포함하는 블록이 머지 후보 블록으로 사용될 수 있다. 따라서, 이러한 경우에는 공통 머지 후보(및/또는 단일 머지 후보 리스트)가 사용되지 않는 경우에 비해 부호화/복호화 성능이 향상될 수 있다.
상술한 바와 같이, 부호화기 및 복호화기는 예측 유닛 주변에 위치한 블록들(예를 들어, 상기 예측 유닛 외부의 좌측 하단 코너에 가장 가까이 위치한 블록, 상기 예측 유닛의 좌측에 인접한 블록들 중 가장 하단에 위치한 블록, 상기 예측 유닛 외부의 우측 상단 코너에 가장 가까이 위치한 블록, 상기 예측 유닛의 상단에 인접한 블록들 중 가장 우측에 위치한 블록 및 상기 예측 유닛 외부의 좌측 상단 코너에 가장 가까이 위치한 블록) 대신에 상기 예측 유닛이 속한 MER의 외부에 위치한 블록을 상기 예측 유닛의 머지 후보 블록으로 사용할 수 있다. 이하, 본 명세서에서는 예측 유닛 주변에 위치한 블록으로부터 도출되는 머지 후보를 대체하기 위해, 상기 예측 유닛이 속한 MER의 외부에 위치한 블록으로부터 도출되는 머지 후보는 MER 머지 후보라 한다.
도 14의 실시예는 MER 머지 후보 도출 방법의 실시예로 볼 수도 있다. 도 14의 실시예에서는 하나의 머지 후보 공유 단위 내의 모든 예측 유닛이 공통 머지 후보(및/또는 단일 머지 후보 리스트)를 공유할 수 있다. 따라서, 도 14에서는 하나의 MER(머지 후보 공유 단위) 내의 모든 예측 유닛이 동일한 MER 머지 후보를 가질 수 있다. MER 머지 후보는, 도 14의 실시예에서와 같이 하나의 MER 내의 모든 예측 유닛에 대한 공통 머지 후보로서 도출될 수도 있고, 하나의 MER에 포함된 예측 유닛 각각에 대해 별개로 도출될 수도 있다. 이와 관련하여, 이하 MER 머지 후보 도출 방법의 실시예들이 추가로 서술된다.
도 15는 MER 머지 후보 도출 방법의 실시예를 개략적으로 나타내는 도면이다. 도 15의 1510 및 1520은 각각 하나의 MER을 도시한다.
도 15의 1510을 참조하면, 현재 MER(1510)에 포함된 현재 예측 유닛(1515)은 다섯 개의 공간적 머지 후보(A0, A1, B0, B1 및 B2)를 가질 수 있다. 그러나, 도 14에서 상술한 바와 같이 상기 공간적 머지 후보에 대응하는 블록들은 병렬 움직임 예측 시에 유효한 움직임 정보를 포함하지 않을 수 있으므로, 유효하지 않은 것으로 처리될 수 있다. 이 때, 상기 공간적 머지 후보(A0, A1, B0, B1 및 B2)는 각각 도 15의 1510에 도시된 MER 머지 후보들(A0', A1', B0', B1' 및 B2')로 대체될 수 있다. 즉, 부호화기 및 복호화기는 MER 머지 후보 A0', A1', B0', B1' 및 B2'를 현재 예측 유닛(1515)의 머지 후보로 사용할 수 있다. 도 15의 1510에 도시된 MER 머지 후보의 위치는 도 14의 실시예에서와 실질적으로 동일하므로, 이에 대한 구체적인 설명은 생략하기로 한다.
도 15의 1520을 참조하면, 현재 MER(1520)에 포함된 현재 예측 유닛(1525)은 도 15의 1510에서와 마찬가지로 다섯 개의 공간적 머지 후보(A0, A1, B0, B1 및 B2)를 가질 수 있다. 이 때, 머지 후보 A0, A1, B0 및 B1의 위치는 다음 좌표에 의해 특정되거나 나타내어질 수 있다.
A0: (x-1, y+nPSH-1)
A1: (x-1, y+nPSH)
B0: (x+nPSW-1, y-1)
B1: (x+nPSW, y-1)
여기서, (x,y)는 현재 예측 유닛(1525) 내의 가장 좌측 상단에 위치한 픽셀의 좌표를 나타내며, 상기 좌표는 현재 예측 유닛(1525)이 속한 픽쳐의 가장 좌측 상단 위치를 기준으로 정해질 수 있다. 또한, nPSH 는 현재 예측 유닛(1525)의 높이를 나타내고 nPSW 는 현재 예측 유닛(1525)의 폭을 나타낸다.
한편, 도 15의 1510에서와 마찬가지로, 상기 공간적 머지 후보에 대응하는 블록들은 병렬 움직임 예측 시에 유효한 움직임 정보를 포함하지 않을 수 있으므로, 유효하지 않은 것으로 처리될 수 있다. 이 때, 상기 공간적 머지 후보(A0, A1, B0, B1 및 B2)는 각각 도 15의 1510에 도시된 MER 머지 후보들(A0', A1', B0', B1' 및 B2')로 대체될 수 있다. 즉, 부호화기 및 복호화기는 MER 머지 후보 A0', A1', B0', B1' 및 B2'를 현재 예측 유닛(1515)의 머지 후보로 사용할 수 있다.
여기서, MER 머지 후보 A0'는 현재 MER(1520)의 좌측에 인접한 블록 중에서 블록 A0 와 동일한 수평 위치를 갖는 블록(A0')을 기반으로 도출될 수 있고, MER 머지 후보 A1'는 현재 MER(1520)의 좌측에 인접한 블록 중에서 블록 A1 와 동일한 수평 위치를 갖는 블록(A1')을 기반으로 도출될 수 있다. 또한, MER 머지 후보 B1'는 현재 MER(1520)의 상단에 인접한 블록 중에서 블록 B0 와 동일한 수직 위치를 갖는 블록(B1')을 기반으로 도출될 수 있고, MER 머지 후보 B0'는 상기 블록 B1'의 우측에 인접한 블록(B0')을 기반으로 도출될 수 있다. 이 때, MER 머지 후보 A0', A1', B0'및 B1'의 위치는 다음 좌표에 의해 특정되거나 나타내어질 수 있다.
A0': (((x＞＞nMER)＜＜nMER)-1, y+nPSH-1)
A1': (((x＞＞nMER)＜＜nMER)-1, y+nPSH)
B0': (x+nPSW-1, ((y＞＞nMER)＜＜nMER)-1)
B1': (x+nPSW, ((y＞＞nMER)＜＜nMER)-1)
여기서, nMER 은 MER 의 크기(폭/높이)의 로그 값을 나타낼 수 있다.
또한, 도 15의 1520에서 부호화기 및 복호화기는 머지 후보 B2 를 유효하지 않은 것으로 처리하고 사용하지 않을 수도 있고, MER 머지 후보 B2'으로 대체할 수도 있다. MER 머지 후보 B2'이 현재 예측 유닛(1525)의 머지 후보로 사용되는 경우, 상기 MER 머지 후보 B2'은, 현재 MER(1520)의 좌측에 인접한 블록 중에서 블록 B2 와 동일한 수평 위치를 갖는 좌측 블록(1531) 또는 현재 MER(1520)의 상단에 인접한 블록 중에서 블록 B2 와 동일한 수직 위치를 갖는 상단 블록(1533)을 기반으로 도출될 수 있다. 일례로, 부호화기 및 복호화기는 좌측 블록(1531)이 유효한지(available) 여부를 체크할 수 있다. 이 때, 부호화기 및 복호화기는 좌측 블록(1531)이 유효한 경우 좌측 블록(1531)을 기반으로 MER 머지 후보 B2'을 도출하고, 좌측 블록(1531)이 유효하지 않은 경우 상단 블록(1533)을 기반으로 MER 머지 후보 B2'을 도출할 수 있다.
도 15의 1520의 실시예에서는, 도 15의 1510의 실시예에 비해 현재 예측 유닛(1520)에 더 가까이 위치한 블록이 머지 후보 블록으로 사용될 수 있으므로, 부호화 효율이 향상될 수 있다.
한편, 현재 예측 유닛(1525)의 MER 머지 후보가 도출되면, 부호화기 및 복호화기는 도출된 MER 머지 후보를 기반으로 머지 후보 리스트를 생성할 수 있다. 이 때, 복수의 MER 머지 후보는 소정의 순서로 머지 후보 리스트에 추가되거나 및/또는 삽입될 수 있다. 머지 후보 리스트에 먼저 추가되는 MER 머지 후보에는 작은 값의 머지 인덱스가 할당되므로, 현재 예측 유닛의 움직임 도출에 사용될 가능성이 높은 MER 머지 후보를 우선적으로 머지 후보 리스트에 추가함으로써, 부호화기에서 복호화기로 전송되는 정보량을 감소시킬 수 있다. 이를 위해, 부호화기 및 복호화기는 현재 예측 유닛(1520)에 더 가까이 위치한 블록에 대응하는 MER 머지 후보를 우선적으로 머지 후보 리스트에 추가할 수 있다.
현재 예측 유닛(1520)에서 MER까지의 수평 거리는 현재 예측 유닛(1520) 내의 가장 좌측 상단에 위치한 픽셀로부터 MER의 왼쪽 경계(boundary)까지의 거리에 의해 나타내어질 수 있다. 또한, 현재 예측 유닛(1520)에서 MER까지의 수직 거리는 현재 예측 유닛(1520) 내의 가장 좌측 상단에 위치한 픽셀로부터 MER의 상단 경계(boundary)까지의 거리에 의해 나타내어질 수 있다. 따라서, 현재 예측 유닛(1520)에서 MER까지의 수평 거리 및 수직 거리는 일례로, 다음 수학식 1에 의해 나타내어질 수 있다.
Figure 112022031190800-pat00008
여기서, distX는 현재 예측 유닛(1520)에서 MER까지의 수평 거리를 나타내고, distY는 현재 예측 유닛(1520)에서 MER까지의 수평 거리를 나타낸다. (x,y)는 현재 예측 유닛(1520) 내의 가장 좌측 상단에 위치한 픽셀의 좌표를 나타내고, nMER은 MER의 크기를 나타낼 수 있다.
예를 들어, distX 의 값이 distY 의 값보다 작은 경우에는 MER의 좌측에 인접한 블록이 MER의 상단에 인접한 블록보다 현재 예측 유닛(1520)에 가까우므로, 부호화기 및 복호화기는 MER 머지 후보 A1'및 A0'을 각각 B1'및 B0'보다 먼저 머지 후보 리스트에 추가할 수 있다. 일 실시예로, distX 의 값이 distY 의 값보다 작으면, MER 머지 후보는 A1', A0', B1', B0' 의 순서로 머지 후보 리스트에 추가될 수 있다. 그렇지 않으면(distX 의 값이 distY 의 값보다 크거나 같은 경우), MER 머지 후보는 B1', B0', A1', A0'의 순서로 머지 후보 리스트에 추가될 수 있다. 다른 실시예로, distX 의 값이 distY 의 값보다 작으면, MER 머지 후보는 A1', B1', A0', B0'의 순서로 머지 후보 리스트에 추가될 수 있다. 그렇지 않으면(distX 의 값이 distY 의 값보다 크거나 같은 경우), MER 머지 후보는 B1', A1' B0', A0'의 순서로 머지 후보 리스트에 추가될 수 있다.
도 16은 MER 머지 후보 도출 방법의 다른 실시예를 개략적으로 나타내는 도면이다. 도 16의 1610은 하나의 MER을 나타낸다.
도 16을 참조하면, 하나의 MER(1610)은 복수의 예측 유닛을 포함할 수 있다. 이하, 도 16의 실시예에 한하여, 예측 유닛 내의 가장 좌측 상단에 위치한 픽셀은 좌측 상단 픽셀이라 하고, 예측 유닛 내의 가장 우측 상단에 위치한 픽셀은 우측 상단 픽셀이라 하며, 예측 유닛 내의 가장 좌측 하단에 위치한 픽셀은 좌측 하단 픽셀이라 한다. 도 16의 실시예에서는 MER(1610)에 속한 복수의 예측 유닛 각각에 대해, 네 개의 MER 머지 후보가 도출될 수 있다.
도 16에서는 MER의 상단에 인접한 두 개의 블록의 움직임 정보 및 MER의 좌측에 인접한 두 개의 블록의 움직임 정보가 하나의 예측 유닛에 대한 MER 머지 후보로 사용될 수 있다. 여기서, MER의 상단에 인접한 두 개의 블록은 각각, 상기 예측 유닛의 좌측 상단 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록 및 상기 예측 유닛의 우측 상단 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다. 또한, MER의 좌측에 인접한 두 개의 블록은 각각, 상기 예측 유닛의 좌측 상단 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록 및 상기 예측 유닛의 좌측 하단 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록일 수 있다.
도 16을 참조하면, 예측 유닛 PU0는 MER의 상단에 인접한 두 개의 블록(T0, T1)의 움직임 정보 및 MER의 좌측에 인접한 두 개의 블록(L0, L1)의 움직임 정보를 MER 머지 후보로 사용할 수 있다. 여기서, 블록 T0는 예측 유닛 PU0의 좌측 상단 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록이고, 블록 T1은 예측 유닛 PU0의 우측 상단 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다. 또한, 블록 L0는 예측 유닛 PU0의 좌측 상단 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록이고, 블록 L1은 예측 유닛 PU0의 좌측 하단 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록일 수 있다.
다시 도 16을 참조하면, 예측 유닛 PU1은 MER의 상단에 인접한 두 개의 블록(T2, T3)의 움직임 정보 및 MER의 좌측에 인접한 두 개의 블록(L2, L3)의 움직임 정보를 MER 머지 후보로 사용할 수 있다. 여기서, 블록 T2는 예측 유닛 PU1의 좌측 상단 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록이고, 블록 T3은 예측 유닛 PU1의 우측 상단 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다. 또한, 블록 L2는 예측 유닛 PU1의 좌측 상단 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록이고, 블록 L3은 예측 유닛 PU1의 좌측 하단 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록일 수 있다.
도 17은 MER 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다. 도 17의 1710은 하나의 MER을 나타낸다.
도 17을 참조하면, 하나의 MER(1710)은 복수의 예측 유닛을 포함할 수 있다. 이하, 도 17의 실시예에 한하여, 예측 유닛 내의 가장 좌측 상단에 위치한 픽셀은 좌측 상단 픽셀이라 하고, 예측 유닛 내의 가장 우측 상단에 위치한 픽셀은 우측 상단 픽셀이라 하며, 예측 유닛 내의 가장 좌측 하단에 위치한 픽셀은 좌측 하단 픽셀이라 한다. 도 17의 실시예에서는 도 16의 실시예에서와 마찬가지로, MER(1710)에 속한 복수의 예측 유닛 각각에 대해, 네 개의 MER 머지 후보가 도출될 수 있다.
도 17에서는 MER의 상단에 인접한 두 개의 블록(여기서, 상기 두 개의 블록은 각각 MER 외부의 좌측 상단 코너에 가장 가까이 위치한 블록 또는 MER 외부의 우측 상단 코너에 가장 가까이 위치한 블록일 수 있음. 이하 동일함)의 움직임 정보 및 MER의 좌측에 인접한 두 개의 블록(여기서, 상기 두 개의 블록은 각각 MER 외부의 좌측 상단 코너에 가장 가까이 위치한 블록 또는 MER 외부의 좌측 하단 코너에 가장 가까이 위치한 블록일 수 있음. 이하 동일함)의 움직임 정보가 하나의 예측 유닛에 대한 MER 머지 후보로 사용될 수 있다. 여기서, MER의 상단에 인접한 두 개의 블록은 각각, 좌측 상단 픽셀(상기 예측 유닛 내의 픽셀)의 좌측에 인접한 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록, 및 우측 상단 픽셀(상기 예측 유닛 내의 픽셀)의 우측에 인접한 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다. 또한, MER의 좌측에 인접한 두 개의 블록은 각각, 좌측 상단 픽셀(상기 예측 유닛 내의 픽셀)의 상단에 인접한 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록, 및 좌측 하단 픽셀(상기 예측 유닛 내의 픽셀)의 하단에 인접한 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록일 수 있다.
도 17을 참조하면, 예측 유닛 PU0는 MER의 상단에 인접한 두 개의 블록(T0, T1)의 움직임 정보 및 MER의 좌측에 인접한 두 개의 블록(L0, L1)의 움직임 정보를 MER 머지 후보로 사용할 수 있다. 여기서, 블록 T0는 좌측 상단 픽셀(예측 유닛 PU0 내의 픽셀)의 좌측에 인접한 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다. 블록 T1은 우측 상단 픽셀(예측 유닛 PU0 내의 픽셀)의 우측에 인접한 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다. 또한, 블록 L0는 좌측 상단 픽셀(예측 유닛 PU0 내의 픽셀)의 상단에 인접한 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록일 수 있다. 그리고 블록 L1은 좌측 하단 픽셀(예측 유닛 PU0 내의 픽셀)의 하단에 인접한 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록일 수 있다.
도 18은 MER 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다. 도 18의 1810은 하나의 MER을 나타낸다.
도 18을 참조하면, 하나의 MER(1810)은 복수의 예측 유닛을 포함할 수 있다. 이하, 도 18의 실시예에 한하여, 예측 유닛 내의 가장 좌측 상단에 위치한 픽셀은 좌측 상단 픽셀이라 한다. 도 18의 실시예에서는 MER(1810)에 속한 복수의 예측 유닛 각각에 대해, 두 개의 MER 머지 후보가 도출될 수 있다.
도 18의 실시예에서는 MER의 상단에 인접한 한 개의 블록의 움직임 정보 및 MER의 좌측에 인접한 한 개의 블록의 움직임 정보가 하나의 예측 유닛에 대한 MER 머지 후보로 사용될 수 있다. 여기서, MER의 상단에 인접한 블록은 상기 예측 유닛의 좌측 상단 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다. 또한, MER의 좌측에 인접한 블록은 상기 예측 유닛의 좌측 상단 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록일 수 있다.
도 18을 참조하면, 예측 유닛 PU0는 MER의 상단에 인접한 한 개의 블록(T)의 움직임 정보 및 MER의 좌측에 인접한 한 개의 블록(L)의 움직임 정보를 MER 머지 후보로 사용할 수 있다. 여기서, 블록 T는 예측 유닛 PU0의 좌측 상단 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다. 또한, 블록 L은 예측 유닛 PU0의 좌측 상단 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록일 수 있다.
도 19는 MER 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다. 도 19의 1910은 하나의 MER을 나타낸다.
도 19를 참조하면, 하나의 MER(1910)은 복수의 예측 유닛을 포함할 수 있다. 이하, 도 19의 실시예에 한하여, 예측 유닛 내의 가장 우측 상단에 위치한 픽셀은 우측 상단 픽셀이라 하고, 예측 유닛 내의 가장 좌측 하단에 위치한 픽셀은 좌측 하단 픽셀이라 한다. 도 19의 실시예에서는 도 18의 실시예에서와 마찬가지로, MER(1910)에 속한 복수의 예측 유닛 각각에 대해, 두 개의 MER 머지 후보가 도출될 수 있다.
도 19의 실시예에서는 MER의 상단에 인접한 한 개의 블록의 움직임 정보 및 MER의 좌측에 인접한 한 개의 블록의 움직임 정보가 하나의 예측 유닛에 대한 MER 머지 후보로 사용될 수 있다. 여기서, MER의 상단에 인접한 블록은 상기 예측 유닛의 우측 상단 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다. 또한, MER의 좌측에 인접한 블록은 상기 예측 유닛의 좌측 하단 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록일 수 있다.
도 19를 참조하면, 예측 유닛 PU0는 MER의 상단에 인접한 한 개의 블록(T)의 움직임 정보 및 MER의 좌측에 인접한 한 개의 블록(L)의 움직임 정보를 MER 머지 후보로 사용할 수 있다. 여기서, 블록 T는 예측 유닛 PU0의 우측 상단 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다. 또한, 블록 L은 예측 유닛 PU0의 좌측 하단 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록일 수 있다.
도 20은 MER 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다. 도 20의 2010은 하나의 MER을 나타낸다.
도 20을 참조하면, 하나의 MER(2010)은 복수의 예측 유닛을 포함할 수 있다. 이하, 도 20의 실시예에 한하여, 예측 유닛 내의 가장 좌측 상단에 위치한 픽셀은 좌측 상단 픽셀이라 하고, 예측 유닛 내의 가장 우측 상단에 위치한 픽셀은 우측 상단 픽셀이라 하며, 예측 유닛 내의 가장 좌측 하단에 위치한 픽셀은 좌측 하단 픽셀이라 한다. 도 20의 실시예에서는 MER(2010)에 속한 복수의 예측 유닛 각각에 대해, 네 개의 MER 머지 후보가 도출될 수 있다.
도 20에서는 MER 내의 예측 유닛의 위치를 기반으로, 상기 예측 유닛의 MER 머지 후보가 도출될 수 있다. 즉, 예측 유닛의 MER 머지 후보는 상기 예측 유닛에서 MER까지의 수평 거리 및 수직 거리를 기반으로 도출될 수 있다. 여기서, 예측 유닛에서 MER까지의 수평 거리는 상기 예측 유닛의 좌측 상단 픽셀로부터 MER의 왼쪽 경계(boundary)까지의 거리를 의미할 수 있다. 또한, 예측 유닛에서 MER까지의 수직 거리는 상기 예측 유닛의 좌측 상단 픽셀로부터 MER의 상단 경계(boundary)까지의 거리를 의미할 수 있다.
일례로, 예측 유닛에서 MER까지의 수평 거리가 수직 거리보다 가까운 경우에는 MER의 좌측에 인접한 네 개의 블록(여기서, 상기 네 개의 블록 중에서 두 개의 블록은 각각 MER 외부의 좌측 상단 코너에 가장 가까이 위치한 블록 또는 MER 외부의 좌측 하단 코너에 가장 가까이 위치한 블록일 수 있음. 이하 동일함)의 움직임 정보가 상기 예측 유닛의 MER 머지 후보로 사용될 수 있다. MER의 좌측에 인접한 네 개의 블록은 각각, 좌측 상단 픽셀(상기 예측 유닛 내의 픽셀)의 상단에 인접한 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록, 좌측 상단 픽셀(상기 예측 유닛 내의 픽셀)과 동일 수평선상에 위치한 픽셀을 포함하는 블록, 좌측 하단 픽셀(상기 예측 유닛 내의 픽셀)과 동일 수평선상에 위치한 픽셀을 포함하는 블록, 및 좌측 하단 픽셀(상기 예측 유닛 내의 픽셀)의 하단에 인접한 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록일 수 있다.
그렇지 않으면, MER의 상단에 인접한 네 개의 블록(여기서, 상기 네 개의 블록 중에서 두 개의 블록은 각각 MER 외부의 좌측 상단 코너에 가장 가까이 위치한 블록 또는 MER 외부의 우측 상단 코너에 가장 가까이 위치한 블록일 수 있음. 이하 동일함)의 움직임 정보가 상기 예측 유닛의 MER 머지 후보로 사용될 수 있다. 여기서, MER의 상단에 인접한 네 개의 블록은 각각, 좌측 상단 픽셀(상기 예측 유닛 내의 픽셀)의 좌측에 인접한 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록, 좌측 상단 픽셀(상기 예측 유닛 내의 픽셀)과 동일 수직선상에 위치한 픽셀을 포함하는 블록, 및 우측 상단 픽셀(상기 예측 유닛 내의 픽셀)과 동일 수직선상에 위치하는 블록, 및 우측 상단 픽셀(상기 예측 유닛 내의 픽셀)의 우측에 인접한 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다.
도 20을 참조하면, 예측 유닛 PU0에 대해서는 MER까지의 수직 거리가 수평 거리보다 더 가까울 수 있다. 따라서, 예측 유닛 PU0는 MER의 상단에 인접한 네 개의 블록(T0, T1, T2, T3)의 움직임 정보를 MER 머지 후보로 사용할 수 있다. 여기서, 블록 T0는 좌측 상단 픽셀(예측 유닛 PU0 내의 픽셀)의 좌측에 인접한 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다. 블록 T1은 좌측 상단 픽셀(예측 유닛 PU0 내의 픽셀)과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다. 또한, 블록 T2는 우측 상단 픽셀(예측 유닛 PU0 내의 픽셀)과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다. 그리고 블록 T3는 우측 상단 픽셀(예측 유닛 PU0 내의 픽셀)의 우측에 인접한 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다.
다시 도 20을 참조하면, 예측 유닛 PU1에 대해서는 MER까지의 수평 거리가 수직 거리보다 더 가까울 수 있다. 따라서, 예측 유닛 PU1은 MER의 좌측에 인접한 네 개의 블록(L0, L1, L2, L3)의 움직임 정보를 MER 머지 후보로 사용할 수 있다. 여기서, 블록 L0는 좌측 상단 픽셀(예측 유닛 PU1 내의 픽셀)의 상단에 인접한 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록일 수 있다. 블록 L1은 좌측 상단 픽셀(예측 유닛 PU1 내의 픽셀)과 동일 수평선상에 위치한 픽셀을 포함하는 블록일 수 있다. 또한, 블록 L2는 좌측 하단 픽셀(예측 유닛 PU1 내의 픽셀)과 동일 수평선상에 위치한 픽셀을 포함하는 블록일 수 있다. 그리고 블록 L3는 좌측 하단 픽셀(예측 유닛 PU1 내의 픽셀)의 하단에 인접한 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다.
도 21은 MER 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다. 도 21의 2110은 하나의 MER을 나타낸다.
도 21을 참조하면, 하나의 MER(2110)은 복수의 예측 유닛을 포함할 수 있다. 이하, 도 21의 실시예에 한하여, 예측 유닛 내의 가장 좌측 상단에 위치한 픽셀은 좌측 상단 픽셀이라 하고, 예측 유닛 내의 가장 우측 상단에 위치한 픽셀은 우측 상단 픽셀이라 하며, 예측 유닛 내의 가장 좌측 하단에 위치한 픽셀은 좌측 하단 픽셀이라 한다. 도 21의 실시예에서는 MER(2110)에 속한 복수의 예측 유닛 각각에 대해, 두 개의 MER 머지 후보가 도출될 수 있다.
도 21에서는 MER 내의 예측 유닛의 위치를 기반으로, 상기 예측 유닛의 MER 머지 후보가 도출될 수 있다. 즉, 예측 유닛의 MER 머지 후보는 상기 예측 유닛에서 MER까지의 수평 거리 및 수직 거리를 기반으로 도출될 수 있다. 여기서, 예측 유닛에서 MER까지의 수평 거리는 상기 예측 유닛의 좌측 상단 픽셀로부터 MER의 왼쪽 경계(boundary)까지의 거리를 의미할 수 있다. 또한, 예측 유닛에서 MER까지의 수직 거리는 상기 예측 유닛의 좌측 상단 픽셀로부터 MER의 상단 경계(boundary)까지의 거리를 의미할 수 있다.
일례로, 예측 유닛에서 MER까지의 수평 거리가 수직 거리보다 가까운 경우에는 MER의 좌측에 인접한 두 개의 블록(여기서, 상기 두 개의 블록은 각각 MER 외부의 좌측 상단 코너에 가장 가까이 위치한 블록 또는 MER 외부의 좌측 하단 코너에 가장 가까이 위치한 블록일 수 있음. 이하 동일함)의 움직임 정보가 상기 예측 유닛의 MER 머지 후보로 사용될 수 있다. MER의 좌측에 인접한 두 개의 블록은 각각, 상기 예측 유닛의 좌측 상단 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록, 및 상기 예측 유닛의 좌측 하단 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록일 수 있다.
그렇지 않으면, MER의 상단에 인접한 두 개의 블록(여기서, 상기 두 개의 블록은 각각 MER 외부의 좌측 상단 코너에 가장 가까이 위치한 블록 또는 MER 외부의 우측 상단 코너에 가장 가까이 위치한 블록일 수 있음. 이하 동일함)의 움직임 정보가 상기 예측 유닛의 MER 머지 후보로 사용될 수 있다. 여기서, MER의 상단에 인접한 두 개의 블록은 각각, 상기 예측 유닛의 좌측 상단 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록, 및 상기 예측 유닛의 우측 상단 픽셀과 동일 수직선상에 위치하는 블록일 수 있다.
도 21을 참조하면, 예측 유닛 PU0에 대해서는 MER까지의 수직 거리가 수평 거리보다 더 가까울 수 있다. 따라서, 예측 유닛 PU0는 MER의 상단에 인접한 두 개의 블록(T0, T1)의 움직임 정보를 MER 머지 후보로 사용할 수 있다. 여기서, 블록 T0는 예측 유닛 PU0의 좌측 상단 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다. 또한, 블록 T1은 예측 유닛 PU0의 우측 상단 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록일 수 있다.
다시 도 21을 참조하면, 예측 유닛 PU1에 대해서는 MER까지의 수평 거리가 수직 거리보다 더 가까울 수 있다. 따라서, 예측 유닛 PU1은 MER의 좌측에 인접한 두 개의 블록(L0, L1)의 움직임 정보를 MER 머지 후보로 사용할 수 있다. 여기서, 블록 L0는 예측 유닛 PU1의 좌측 상단 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록일 수 있다. 또한, 블록 L1은 예측 유닛 PU1의 좌측 하단 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록일 수 있다.
도 22는 MER 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다. 도 22의 2210은 하나의 MER을 나타낸다.
도 22를 참조하면, 하나의 MER(2210)은 복수의 예측 유닛을 포함할 수 있다. 이하, 도 22의 실시예에 한하여, 예측 유닛 내의 가장 우측 상단에 위치한 픽셀은 우측 상단 픽셀이라 하고, 예측 유닛 내의 가장 좌측 하단에 위치한 픽셀은 좌측 하단 픽셀이라 한다.
다시 도 22를 참조하면, 예측 유닛 PU0는 다섯 개의 공간적 머지 후보 A0, A1, B0, B1 및 B2를 가질 수 있다. 그러나, 상술한 바와 같이 상기 공간적 머지 후보는 머지 모드 및/또는 스킵 모드에서의 병렬 움직임 예측 시에 유효하지 않을 수도 있다. 일례로, 머지 후보로 사용되는 블록이 예측 유닛 PU0와 동일한 MER에 포함된 경우, 상기 블록은 움직임 예측 시에 부호화/복호화가 완료되지 않은 블록에 해당되므로, 예측 유닛 PU0의 병렬 움직임 예측에 사용될 수 없다. 또한, 머지 후보로 사용되는 블록은 부호화/복호화 순서상 예측 유닛 PU0의 병렬 움직임 예측 시에 부호화 및/또는 복호화가 완료되지 않은 상태일 수도 있다.
*한편, 도 22의 실시예에서는, MER(2210)에 속한 예측 유닛 PU0에 대해, 최대 4개의 MER 머지 후보가 도출될 수 있다. 상기 4개의 MER 머지 후보는 MER의 상단에 인접한 두 개의 블록 T0, T1(여기서, 상기 두 개의 블록 중에서 하나는 MER 외부의 우측 상단 코너에 가장 가까이 위치한 블록일 수 있음. 이하 동일함)의 움직임 정보, 및 MER의 좌측에 인접한 두 개의 블록 L0, L1(여기서, 상기 두 개의 블록 중에서 하나는 MER 외부의 좌측 하단 코너에 가장 가까이 위치한 블록일 수 있음. 이하 동일함)의 움직임 정보일 수 있다. 여기서, MER의 상단에 인접한 두 개의 블록은 각각, 우측 상단 픽셀(상기 예측 유닛 PU0 내의 픽셀)과 동일 수직선상에 위치하는 블록(T0), 및 우측 상단 픽셀(상기 예측 유닛 PU0 내의 픽셀)의 우측에 인접한 픽셀과 동일 수직선상에 위치한 픽셀을 포함하는 블록(T1)일 수 있다. 또한, MER의 좌측에 인접한 두 개의 블록은 각각, 좌측 하단 픽셀(상기 예측 유닛 PU0 내의 픽셀)과 동일 수평선상에 위치하는 블록(L0), 및 좌측 하단 픽셀(상기 예측 유닛 PU0 내의 픽셀)의 하단에 인접한 픽셀과 동일 수평선상에 위치한 픽셀을 포함하는 블록(L1)일 수 있다.
이 때, 부호화기 및 복호화기는 예측 유닛 PU0가 갖는 머지 후보 A0, A1, B0 및 B1 중에서 유효하지 않은 머지 후보에 대해서만 이에 대응하는 MER 머지 후보를 도출할 수 있다. MER 내의 예측 유닛이 갖는 공간적 머지 후보 각각이 병렬 움직임 예측 시에 유효한지 여부는 상기 예측 유닛의 위치에 따라 결정되므로, 이 경우 예측 유닛 PU0에 대해 도출되는 MER 머지 후보는 예측 유닛의 위치를 기반으로 결정된다고 볼 수도 있다.
도 22를 참조하면, 예측 유닛 PU0의 머지 후보 A1이 병렬 머지 모드/병렬 스킵 모드 움직임 예측 시에 유효하지 않은 경우, L0 블록의 움직임 정보가 예측 유닛 PU0의 MER 머지 후보로 사용될 수 있다. 또한, 예측 유닛 PU0의 머지 후보 A0이 병렬 머지 모드/병렬 스킵 모드 움직임 예측 시에 유효하지 않은 경우, L1 블록의 움직임 정보가 예측 유닛 PU0의 MER 머지 후보로 사용될 수 있다. 그리고, 예측 유닛 PU0의 머지 후보 B1이 병렬 머지 모드/병렬 스킵 모드 움직임 예측 시에 유효하지 않은 경우, T0 블록의 움직임 정보가 예측 유닛 PU0의 MER 머지 후보로 사용될 수 있으며, 예측 유닛 PU0의 머지 후보 B0이 병렬 머지 모드/병렬 스킵 모드 움직임 예측 시에 유효하지 않은 경우에는, T1 블록의 움직임 정보가 예측 유닛 PU0의 MER 머지 후보로 사용될 수 있다.
도 23은 MER 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다. 도 23의 2310은 하나의 MER을 나타낸다.
도 23을 참조하면, MER(2310)에 포함된 예측 유닛 PU0(2320)는 다섯 개의 공간적 머지 후보 A0, A1, B0, B1 및 B2를 가질 수 있다. 또한, 도 23에 도시되어 있지는 않지만, 도 7에서 상술한 바와 같이, 예측 유닛 PU0(2320)는 시간적 머지 후보도 가질 수 있다.
도 22에서 상술한 바와 같이 MER 내의 임의의 예측 유닛의 공간적 머지 후보는, 머지 모드 및/또는 스킵 모드에서의 병렬 움직임 예측 시에 유효하지 않을 수 있다. 도 23의 실시예에서 예측 유닛 PU0(2320)의 공간적 머지 후보 도출에 사용되는 블록은 모두 예측 유닛 PU0(2320)와 동일한 MER에 포함되어 있으므로, 예측 유닛 PU0(2320)의 공간적 머지 후보들은 유효하지 않은 것으로 처리되어 머지 후보 리스트에 포함되지 않을 수 있다.
한편, 상술한 바와 같이 머지 후보 리스트를 구성하는 머지 후보의 개수는 소정의 고정된 개수로 제한될 수 있다. 도 23의 실시예에서는, 설명의 편의상 머지 후보 리스트를 구성하는 머지 후보의 개수는 5개로 제한된다고 가정한다. 이 때, 예측 유닛에 대해 도출되는 유효한 머지 후보(공간적 머지 후보 및 시간적 머지 후보)의 개수는 상술한 이유로 5개보다 적을 수 있고, 유효한 공간적 머지 후보 및 시간적 머지 후보들이 모두 머지 후보 리스트에 추가되어도 머지 후보 리스트가 완전히 채워지지 않을 수 있다. 이 때, 시간적 머지 후보가 마지막으로 머지 후보 리스트에 추가된 후, 부호화기 및 복호화기는 MER 머지 후보를 도출하여 소정의 순서로 머지 후보 리스트에 추가로 삽입함으로써, 머지 후보 리스트를 구성하는 머지 후보의 개수가 5개가 되도록 할 수 있다. 즉, 부호화기 및 복호화기는 머지 후보 리스트를 구성하는 머지 후보의 개수가 5개가 될 때까지 MER 머지 후보를 머지 후보 리스트에 추가하거나 삽입할 수 있다.
도 23을 참조하면, 블록 L0, L1, T0 및 T1의 움직임 정보가, 예측 유닛 PU0(2320)의 머지 후보 리스트에 추가로 삽입되는 MER 머지 후보로 사용될 수 있다. 여기서, 블록 L0는 MER의 좌측에 인접한 블록 중에서 가장 상단에 위치한 블록이고, 블록 L1은 MER의 좌측에 인접한 블록 중에서 가장 하단에 위치한 블록일 수 있다. 또한 블록 T0는 MER의 상단에 인접한 블록 중에서 가장 좌측에 위치한 블록이고, 블록 T1은 MER의 상단에 인접한 블록 중에서 가장 우측에 위치한 블록일 수 있다.
머지 후보 리스트를 구성하는 머지 후보의 개수가 5개가 되도록 하기 위해 머지 후보 리스트에 추가로 삽입되는 MER 머지 후보의 개수는 예측 유닛의 위치 등에 따라 가변적일 수 있다. 따라서, 상술한 MER 머지 후보가 머지 후보 리스트에 삽입되는 순서는 미리 정해져 있을 수 있다. 일 실시예로, 부호화기 및 복호화기는 블록 L1에 대응하는 MER 머지 후보, 블록 T1에 대응하는 MER 머지 후보, 블록 L0에 대응하는 MER 머지 후보, 블록 T0에 대응하는 MER 머지 후보의 순서로, MER 머지 후보를 머지 후보 리스트에 추가로 삽입할 수 있다.
도 24는 MER 머지 후보 도출 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다. 도 24의 2410은 하나의 MER을 나타낸다.
도 24를 참조하면, MER(2410)에 포함된 예측 유닛 PU0(2420)는 다섯 개의 공간적 머지 후보 A0, A1, B0, B1 및 B2를 가질 수 있다. 또한, 도 24에 도시되어 있지는 않지만, 도 7에서 상술한 바와 같이, 예측 유닛 PU0(2420)는 시간적 머지 후보도 가질 수 있다. 그러나, 도 23에서 상술한 바와 같이, MER 내의 임의의 예측 유닛의 공간적 머지 후보는, 머지 모드 및/또는 스킵 모드에서의 병렬 움직임 예측 시에 유효하지 않은 것으로 처리되어 머지 후보 리스트에 포함되지 않을 수 있다.
이 때, 부호화기 및 복호화기는 도 23의 실시예에서와 동일한 방식으로 MER 머지 후보를 도출하여 소정의 순서로 머지 후보 리스트에 추가로 삽입할 수 있다. 예를 들어, 머지 후보 리스트를 구성하는 머지 후보의 개수가 5개로 제한되는 경우, 부호화기 및 복호화기는 머지 후보 리스트를 구성하는 머지 후보의 개수가 5개가 될 때까지 MER 머지 후보를 머지 후보 리스트에 추가하거나 삽입할 수 있다.
도 24를 참조하면, 블록 L1 및 T1의 움직임 정보가, 예측 유닛 PU0(2420)의 머지 후보 리스트에 추가로 삽입되는 MER 머지 후보로 사용될 수 있다. 여기서, 블록 L1은 MER의 좌측에 인접한 블록 중에서 가장 하단에 위치한 블록일 수 있다. 또한 블록 T1은 MER의 상단에 인접한 블록 중에서 가장 우측에 위치한 블록일 수 있다.
또한, 도 23에서 상술한 바와 같이, 머지 후보 리스트에 추가로 삽입되는 MER 머지 후보의 개수는 예측 유닛의 위치 등에 따라 가변적일 수 있다. 따라서, 도 24의 실시예에서 MER 머지 후보가 머지 후보 리스트에 삽입되는 순서는 미리 정해져 있을 수 있다. 일 실시예로, 부호화기 및 복호화기는 블록 L1에 대응하는 MER 머지 후보, 블록 T1에 대응하는 MER 머지 후보의 순서로, MER 머지 후보를 머지 후보 리스트에 추가로 삽입할 수 있다.
한편, 상술한 도 13 내지 도 24의 실시예에서와 같이 하나의 예측 유닛에 대해 공통 머지 후보 및/또는 MER 머지 후보가 도출된 경우, 도출된 공통 머지 후보 및/또는 MER 머지 후보는 상기 예측 유닛의 머지 후보 리스트에 추가되거나 삽입될 수 있다. 이하, 후술되는 실시예에서는 설명의 편의상 공통 머지 후보 및 MER 머지 후보는 병렬 머지 후보로 총칭하기로 한다.
병렬 머지 후보가 적용되지 않는 경우, 예측 유닛의 공간적 머지 후보는 도 7에서 상술한 바와 같이, 상기 예측 유닛에 인접하여 위치한 블록 및 현재 블록 외부 코너에 가장 가까이 위치한 블록으로부터 도출될 수 있다. 또한, 예측 유닛의 시간적 머지 후보는 참조 픽쳐에 포함된 콜 블록으로부터 도출될 수 있다. 이하, 도 7의 실시예에서와 같이 병렬 머지 후보가 적용되지 않는 경우에 예측 유닛을 위해 사용되는 머지 후보는 PU 머지 후보라 한다.
상술한 바와 같이, 하나의 예측 유닛의 PU 머지 후보에 해당하는 공간적 후보 중에는 상기 예측 유닛과 동일한 MER에 포함된 머지 후보가 있을 수 있다. 이 때, 상기 예측 유닛과 동일한 MER에 포함된 머지 후보는 병렬 움직임 예측 시에 유효한 움직임 정보를 포함하지 않을 수 있다. 따라서, 예측 유닛에 대해 도출되는 유효한 PU 머지 후보의 개수는 머지 후보 리스트를 구성하기 위해 필요한 머지 후보의 개수보다 적을 수 있다. 여기서, 머지 후보 리스트를 구성하기 위해 필요한 머지 후보의 개수는 미리 정해진 값일 수 있다. 예를 들어, 머지 후보 리스트를 구성하는 머지 후보의 개수는 5개일 수 있다.
이 경우, 부호화기 및 복호화기는 병렬 머지 후보를 소정의 순서로 머지 후보 리스트에 추가로 삽입할 수 있다. 이 때, 머지 후보 리스트에 추가로 삽입되는 병렬 머지 후보는 머지 후보 리스트 내에서 유효한 PU 머지 후보의 뒤에 위치할 수 있다. 즉, 머지 후보는 PU 머지 후보, 병렬 머지 후보의 순서로 머지 후보 리스트에 삽입될 수 있다.
예를 들어, 현재 예측 유닛에 대해 도 7의 720에서와 같은 PU 머지 후보가 적용된다고 가정한다. 이 때, 부호화기 및 복호화기는 현재 예측 유닛 외부의 좌측 하단 코너에 가장 가까이 위치한 블록(A0), 현재 예측 유닛의 좌측에 인접한 블록들 중 가장 하단에 위치한 블록(A1), 현재 예측 유닛 외부의 우측 상단 코너에 가장 가까이 위치한 블록(B0), 현재 예측 유닛의 상단에 인접한 블록들 중 가장 우측에 위치한 블록(B1), 현재 예측 유닛 외부의 좌측 상단 코너에 가장 가까이 위치한 블록 (B2)및 콜 블록(COL)의 움직임 정보를 현재 예측 유닛의 PU 머지 후보로 사용할 수 있다. 이 때, 일례로 머지 후보 리스트에는 PU 머지 후보가 A1, B1, B0, A0, B2, COL 의 순서로 추가되거나 및/또는 삽입될 수 있다.
그런데, 상기 현재 예측 유닛이 MER의 내부에 존재하는 경우, 머지 모드 및/또는 스킵 모드 병렬 움직임 예측 수행 시에, PU 머지 후보에 해당되는 공간적 머지 후보들(A1, B1, B0, A0, B2)이 유효하지 않을 수도 있다. 이 경우, PU 머지 후보에 해당되는 시간적 머지 후보(COL)만이 머지 후보 리스트에 추가될 수 있다.
이 때, 부호화기 및 복호화기는 머지 후보 리스트에 추가된 PU 머지 후보 뒤에 병렬 머지 후보들을 삽입할 수 있다. 예를 들어, 현재 예측 유닛에 대해 도출된 병렬 머지 후보들을 각각 A1', B1', B0', A0'및 B2'이라 한다. 이 때, PU 머지 후보에 해당되는 시간적 머지 후보 및 병렬 머지 후보들은 COL, A1', B1', B0', A0'및 B2'의 순서로 머지 후보 리스트에 추가되거나 및/또는 삽입될 수 있다. 이 때, 부호화기 및 복호화기는 머지 후보 리스트를 구성하는 머지 후보의 개수가 최대 개수(예를 들어, 5개)가 될 때까지 병렬 머지 후보를 추가할 수 있다.
한편, 유효한 PU 머지 후보 및 유효한 병렬 머지 후보가 모두 머지 후보 리스트에 추가된 경우에도, 머지 후보 리스트가 완전히 채워지지 않는 경우가 발생할 수 있다. 이러한 경우, 부호화기 및 복호화기는 이미 머지 후보 리스트에 추가된 머지 후보를 기반으로 새로운 머지 후보를 도출하여 머지 후보 리스트에 추가할 수 있다. 이 때, 부호화기는 PU 머지 후보뿐만 아니라, 병렬 머지 후보도 새로운 머지 후보를 도출하기 위해 사용할 수 있다.
이미 머지 후보 리스트에 추가된 머지 후보를 기반으로 도출되는 새로운 머지 후보에는 CB(combined bi-predictive candidate), NB(non-scaled bi-predictive candidate) 및/또는 Zero(zero motion candidate) 등이 있을 수 있다. 여기서, CB는 이미 머지 후보 리스트에 추가된 머지 후보 중에서 두 개의 머지 후보를 기반으로 도출될 수 있다. 예를 들어, CB의 L0 움직임 정보는 상기 두 개의 머지 후보 중에서 하나를 기반으로 도출되고, CB의 L1 움직임 정보는 상기 두 개의 머지 후보 중에서 다른 하나를 기반으로 도출될 수 있다. 즉, CB는 상기 두 개의 머지 후보 각각의 움직임 정보를 조합함으로써 도출될 수 있다. 또한, NB의 L0 움직임 정보 및 L1 움직임 정보는 이미 머지 후보 리스트에 추가된 머지 후보 중에서 한 개의 머지 후보를 기반으로 소정의 조건 및 연산을 통해 도출될 수 있다. 그리고 상기 Zero는 영 벡터(0,0)를 포함하는 움직임 정보를 의미할 수 있다.
새로이 도출되어 머지 후보 리스트에 추가로 삽입되는 머지 후보 CB, NB 및 Zero는, 머지 후보 리스트 내에서 유효한 PU 머지 후보 및 유효한 병렬 머지 후보의 뒤에 위치할 수 있다. 즉, 머지 후보는 PU 머지 후보, 병렬 머지 후보, 및 상기 PU 머지 후보와 상기 병렬 머지 후보를 기반으로 도출된 CB, NB, Zero의 순서로 머지 후보 리스트에 삽입될 수 있다. 예를 들어, 하나의 예측 유닛에 대해 세 개의 CB(CB0, CB1, CB2), 한 개의 NB(NB0), 한 개의 Zero가 유도된다고 가정하면, 머지 후보 리스트에는 머지 후보가 COL, A1', B1', B0', A0', B2', CB0, CB1, CB2, NB0 및 Zero의 순서로 추가되거나 및/또는 삽입될 수 있다. 이 때, 부호화기 및 복호화기는 머지 후보 리스트를 구성하는 머지 후보의 개수가 최대 개수(예를 들어, 5개)가 될 때까지 병렬 머지 후보를 추가할 수 있다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (14)

  1. 디코딩 장치에 의하여 수행되는 픽처 디코딩 방법에 있어서,
    병렬 머지 레벨에 대한 정보 및 머지 인덱스 정보를 포함하는 비트스트림을 수신하는 단계;
    현재 블록에 대한 머지 후보 리스트를 구성하되, 상기 머지 후보 리스트는 공간적 머지 후보들을 포함하는 단계;
    상기 머지 후보 리스트 및 상기 머지 인덱스 정보를 기반으로 움직임 정보를 도출하는 단계;
    상기 도출된 움직임 정보를 기반으로 상기 현재 블록의 예측된 블록을 도출하는 단계; 및
    상기 예측된 블록을 기반으로 복원 픽처를 생성하는 단계를 포함하고,
    상기 현재 블록은 코딩 유닛(coding unit, CU)로부터 파티셔닝되는 파티션들 중 적어도 하나의 파티션에 관련되고,
    상기 CU 내 파티션들은 병렬 머지 유닛 영역 속하고, 상기 병렬 머지 유닛 영역은 상기 병렬 머지 레벨에 대한 정보를 기반으로 결정되고,
    상기 적어도 하나의 파티션에 대한 상기 공간적 머지 후보들은 상기 병렬 머지 유닛 영역의 사이즈와 동일한 사이즈의 블록의 공간적 머지 후보들과 동일하고,
    상기 적어도 하나의 파티션에 대한 상기 공간적 머지 후보들은 상기 병렬 머지 유닛 영역의 좌하측 코너 주변 블록, 좌측 주변 블록, 우상측 코너 주변 블록, 상측 주변 블록, 및 좌상측 코너 주변 블록을 기반으로 도출되는 것을 특징으로 하는, 픽처 디코딩 방법.
  2. 제1항에 있어서,
    상기 머지 인덱스 정보는 상기 파티션들 중 제1 파티션에 대한 제1 머지 인덱스 정보 및 제2 파티션에 대한 제2 머지 인덱스 정보를 포함하고,
    상기 제1 머지 인덱스 정보 및 상기 제2 머지 인덱스 정보는 하나의 상기 머지 후보 리스트 내에서 다른 머지 후보를 가리키는 것을 특징으로 하는, 픽처 디코딩 방법.
  3. 제1항에 있어서,
    상기 CU로부터 파티셔닝된 파티션들 중 상기 병렬 머지 유닛 영역 내에 위치하는 파티션들에 대하여 머지 후보 리스트의 생성이 병렬적으로 수행되는 것을 특징으로 하는 픽처 디코딩 방법.
  4. 제1항에 있어서,
    상기 CU의 사이즈는 8Х8이고, 상기 병렬 머지 유닛 영역의 사이즈는 4Х4보다 큰 것을 특징으로 하는 픽처 디코딩 방법.
  5. 제1항에 있어서,
    상기 머지 후보 리스트를 생성함에 있어서, 제1 머지 후보 리스트 또는 제2 머지 후보 리스트가 상기 머지 후보 리스트로 사용되고,
    상기 제1 머지 후보 리스트에 대하여, 상기 적어도 하나의 파티션의 주변 블록들을 기반으로 공간적 머지 후보들이 도출되고,
    상기 제2 머지 후보 리스트에 대하여, 상기 병렬 머지 유닛 영역의 주변 블록들을 기반으로 공간적 머지 후보들이 도출되고,
    상기 제1 머지 후보 리스트를 사용할지 또는 상기 제2 머지 후보 리스트를 사용할지 여부는 상기 CU의 사이즈 및 상기 병렬 머지 유닛 영역을 기반으로 결정됨을 특징으로 하는 픽처 디코딩 방법.
  6. 제1항에 있어서,
    상기 병렬 머지 레벨에 대한 정보의 값이 0인 경우를 기반으로, 상기 병렬 머지 유닛 영역의 사이즈는 4Х4인 것을 특징으로 하는 픽처 디코딩 방법.
  7. 제1항에 있어서,
    상기 병렬 머지 레벨에 대한 정보의 값이 0보다 큰 경우를 기반으로, 상기 병렬 머지 유닛 영역 내 포함된 상기 파티션들 각각에 대한 움직임 정보는 병렬로 도출되는 것을 특징으로 하는 픽처 디코딩 방법.
  8. 제1항에 있어서,
    상기 병렬 머지 레벨에 대한 정보의 값이 1인 경우를 기반으로, 상기 병렬 머지 유닛 영역의 사이즈는 8Х8이고,
    상기 병렬 머지 레벨에 대한 정보의 값이 2인 경우를 기반으로, 상기 병렬 머지 유닛 영역의 사이즈는 16Х16이고,
    상기 병렬 머지 레벨에 대한 정보의 값이 3인 경우를 기반으로, 상기 병렬 머지 유닛 영역의 사이즈는 32Х32이고,
    상기 병렬 머지 레벨에 대한 정보의 값이 4인 경우를 기반으로, 상기 병렬 머지 유닛 영역의 사이즈는 64Х64인 것을 특징으로 하는 픽처 디코딩 방법.
  9. 인코딩 장치에 의하여 수행되는 픽처 인코딩 방법에 있어서,
    현재 블록에 대한 머지 후보 리스트를 구성하되, 상기 머지 후보 리스트는 공간적 머지 후보들을 포함하는 단계;
    상기 머지 후보 리스트를 기반으로 상기 현재 블록에 대한 머지 인덱스 정보를 생성하는 단계;
    병렬 머지 유닛 영역의 사이즈를 나타내는 병렬 머지 레벨을 도출하는 단계;
    상기 병렬 머지 레벨에 대한 정보를 생성하는 단계; 및
    상기 머지 인덱스 정보 및 상기 병렬 머지 레벨에 대한 정보를 포함하는 영상 정보를 인코딩하는 단계를 포함하며,
    상기 현재 블록은 코딩 유닛(coding unit, CU)로부터 파티셔닝되는 파티션들 중 적어도 하나의 파티션에 관련되고,
    상기 CU 내 파티션들은 병렬 머지 유닛 영역 속하고, 상기 병렬 머지 유닛 영역은 상기 병렬 머지 레벨에 대한 정보를 기반으로 결정되고,
    상기 적어도 하나의 파티션에 대한 상기 공간적 머지 후보들은 상기 병렬 머지 유닛 영역의 사이즈와 동일한 사이즈의 블록의 공간적 머지 후보들과 동일하고,
    상기 적어도 하나의 파티션에 대한 상기 공간적 머지 후보들은 상기 병렬 머지 유닛 영역의 좌하측 코너 주변 블록, 좌측 주변 블록, 우상측 코너 주변 블록, 상측 주변 블록, 및 좌상측 코너 주변 블록을 기반으로 도출되는 것을 특징으로 하는 픽처 인코딩 방법.
  10. 제9항에 있어서,
    상기 머지 인덱스 정보는 상기 파티션들 중 제1 파티션에 대한 제1 머지 인덱스 정보 및 제2 파티션에 대한 제2 머지 인덱스 정보를 포함하고,
    상기 제1 머지 인덱스 정보 및 상기 제2 머지 인덱스 정보는 하나의 상기 머지 후보 리스트 내에서 다른 머지 후보를 가리키는 것을 특징으로 하는, 픽처 인코딩 방법.
  11. 제9항에 있어서,
    상기 CU로부터 파티셔닝된 파티션들 중 상기 병렬 머지 유닛 영역 내에 위치하는 파티션들에 대하여 머지 후보 리스트의 생성이 병렬적으로 수행되는 것을 특징으로 하는 픽처 인코딩 방법.
  12. 제9항에 있어서,
    상기 CU의 사이즈는 8Х8이고, 상기 병렬 머지 유닛 영역의 사이즈는 4Х4보다 큰 것을 특징으로 하는 픽처 인코딩 방법.
  13. 컴퓨터 판독 가능한 디지털 저장 매체로서, 상기 디지털 저장 매체는 특정 방법에 의하여 생성된 비트스트림을 저장하고, 상기 특정 방법은,
    현재 블록에 대한 머지 후보 리스트를 구성하되, 상기 머지 후보 리스트는 공간적 머지 후보들을 포함하는 단계;
    상기 머지 후보 리스트를 기반으로 상기 현재 블록에 대한 머지 인덱스 정보를 생성하는 단계;
    병렬 머지 유닛 영역의 사이즈를 나타내는 병렬 머지 레벨을 도출하는 단계;
    상기 병렬 머지 레벨에 대한 정보를 생성하는 단계; 및
    상기 머지 인덱스 정보 및 상기 병렬 머지 레벨에 대한 정보를 포함하는 영상 정보를 인코딩하여 상기 비트스트림을 생성하는 단계를 포함하며,
    상기 현재 블록은 코딩 유닛(coding unit, CU)로부터 파티셔닝되는 파티션들 중 적어도 하나의 파티션에 관련되고,
    상기 CU 내 파티션들은 병렬 머지 유닛 영역 속하고, 상기 병렬 머지 유닛 영역은 상기 병렬 머지 레벨에 대한 정보를 기반으로 결정되고,
    상기 적어도 하나의 파티션에 대한 상기 공간적 머지 후보들은 상기 병렬 머지 유닛 영역의 사이즈와 동일한 사이즈의 블록의 공간적 머지 후보들과 동일하고,
    상기 적어도 하나의 파티션에 대한 상기 공간적 머지 후보들은 상기 병렬 머지 유닛 영역의 좌하측 코너 주변 블록, 좌측 주변 블록, 우상측 코너 주변 블록, 상측 주변 블록, 및 좌상측 코너 주변 블록을 기반으로 도출되는 것을 특징으로 하는 컴퓨터 판독 가능한 디지털 저장 매체.
  14. 영상에 대한 데이터의 전송 방법에 있어서,
    상기 영상에 대한 비트스트림을 획득하되, 상기 비트스트림은, 현재 블록에 대한 머지 후보 리스트를 구성하되, 상기 머지 후보 리스트는 공간적 머지 후보들을 포함하는 단계, 상기 머지 후보 리스트를 기반으로 상기 현재 블록에 대한 머지 인덱스 정보를 생성하는 단계, 병렬 머지 유닛 영역의 사이즈를 나타내는 병렬 머지 레벨을 도출하는 단계, 상기 병렬 머지 레벨에 대한 정보를 생성하는 단계, 및 상기 머지 인덱스 정보 및 상기 병렬 머지 레벨에 대한 정보를 포함하는 영상 정보를 인코딩하는 단계를 기반으로 생성되는 단계; 및
    상기 비트스트림을 포함하는 상기 데이터를 전송하는 단계를 포함하고,
    상기 현재 블록은 코딩 유닛(coding unit, CU)로부터 파티셔닝되는 파티션들 중 적어도 하나의 파티션에 관련되고,
    상기 CU 내 파티션들은 병렬 머지 유닛 영역 속하고, 상기 병렬 머지 유닛 영역은 상기 병렬 머지 레벨에 대한 정보를 기반으로 결정되고,
    상기 적어도 하나의 파티션에 대한 상기 공간적 머지 후보들은 상기 병렬 머지 유닛 영역의 사이즈와 동일한 사이즈의 블록의 공간적 머지 후보들과 동일하고,
    상기 적어도 하나의 파티션에 대한 상기 공간적 머지 후보들은 상기 병렬 머지 유닛 영역의 좌하측 코너 주변 블록, 좌측 주변 블록, 우상측 코너 주변 블록, 상측 주변 블록, 및 좌상측 코너 주변 블록을 기반으로 도출되는 것을 특징으로 하는 전송 방법.
KR1020227009656A 2011-09-09 2012-09-07 인터 예측 방법 및 그 장치 KR102498289B1 (ko)

Applications Claiming Priority (18)

Application Number Priority Date Filing Date Title
US201161532562P 2011-09-09 2011-09-09
US61/532,562 2011-09-09
US201161540543P 2011-09-29 2011-09-29
US61/540,543 2011-09-29
US201161557337P 2011-11-08 2011-11-08
US61/557,337 2011-11-08
US201161557861P 2011-11-09 2011-11-09
US61/557,861 2011-11-09
US201161563817P 2011-11-27 2011-11-27
US61/563,817 2011-11-27
US201161578832P 2011-12-21 2011-12-21
US61/578,832 2011-12-21
US201261583622P 2012-01-06 2012-01-06
US61/583,622 2012-01-06
US201261585654P 2012-01-12 2012-01-12
US61/585,654 2012-01-12
PCT/KR2012/007224 WO2013036071A2 (ko) 2011-09-09 2012-09-07 인터 예측 방법 및 그 장치
KR1020217022401A KR102379457B1 (ko) 2011-09-09 2012-09-07 인터 예측 방법 및 그 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217022401A Division KR102379457B1 (ko) 2011-09-09 2012-09-07 인터 예측 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20220043236A KR20220043236A (ko) 2022-04-05
KR102498289B1 true KR102498289B1 (ko) 2023-02-09

Family

ID=47832725

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020197007391A KR102073405B1 (ko) 2011-09-09 2012-09-07 인터 예측 방법 및 그 장치
KR1020147009476A KR101960034B1 (ko) 2011-09-09 2012-09-07 인터 예측 방법 및 그 장치
KR1020207030187A KR102280242B1 (ko) 2011-09-09 2012-09-07 인터 예측 방법 및 그 장치
KR1020217022401A KR102379457B1 (ko) 2011-09-09 2012-09-07 인터 예측 방법 및 그 장치
KR1020207002851A KR102170513B1 (ko) 2011-09-09 2012-09-07 인터 예측 방법 및 그 장치
KR1020227009656A KR102498289B1 (ko) 2011-09-09 2012-09-07 인터 예측 방법 및 그 장치

Family Applications Before (5)

Application Number Title Priority Date Filing Date
KR1020197007391A KR102073405B1 (ko) 2011-09-09 2012-09-07 인터 예측 방법 및 그 장치
KR1020147009476A KR101960034B1 (ko) 2011-09-09 2012-09-07 인터 예측 방법 및 그 장치
KR1020207030187A KR102280242B1 (ko) 2011-09-09 2012-09-07 인터 예측 방법 및 그 장치
KR1020217022401A KR102379457B1 (ko) 2011-09-09 2012-09-07 인터 예측 방법 및 그 장치
KR1020207002851A KR102170513B1 (ko) 2011-09-09 2012-09-07 인터 예측 방법 및 그 장치

Country Status (14)

Country Link
US (7) US9621888B2 (ko)
EP (4) EP4231647A3 (ko)
JP (6) JP2014529254A (ko)
KR (6) KR102073405B1 (ko)
CN (5) CN103931196B (ko)
DK (2) DK3468197T3 (ko)
ES (3) ES2961675T3 (ko)
FI (1) FI4009641T3 (ko)
HR (1) HRP20231384T1 (ko)
HU (3) HUE064151T2 (ko)
PL (3) PL2755389T3 (ko)
PT (2) PT3468197T (ko)
SI (2) SI4009641T1 (ko)
WO (1) WO2013036071A2 (ko)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014523708A (ja) * 2011-07-01 2014-09-11 モトローラ モビリティ エルエルシー 動きベクトル予測設計の簡易化
WO2013036071A2 (ko) * 2011-09-09 2013-03-14 엘지전자 주식회사 인터 예측 방법 및 그 장치
US9736489B2 (en) * 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
CN107105279B (zh) * 2011-09-23 2020-03-06 株式会社Kt 用于引导合并候选块的方法和使用该方法的设备
JP2013118627A (ja) * 2011-10-31 2013-06-13 Jvc Kenwood Corp 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
CN110446037B (zh) * 2011-11-08 2022-01-04 韩国电子通信研究院 用于共享候选者列表的方法和装置
CN107566836B (zh) 2011-12-23 2020-04-07 韩国电子通信研究院 图像解码方法、图像编码方法和记录介质
JP5835208B2 (ja) * 2011-12-28 2015-12-24 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
US9674527B2 (en) * 2012-01-31 2017-06-06 Qualcomm Incorporated Implicit derivation of parallel motion estimation range size
US9544592B2 (en) 2012-02-10 2017-01-10 Texas Instruments Incorporated Methods and systems for encoding pictures associated with video data
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
CN102883163B (zh) 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
WO2014058280A1 (ko) * 2012-10-12 2014-04-17 한국전자통신연구원 영상의 부호화/복호화 방법 및 이를 이용하는 장치
US9832478B2 (en) * 2013-05-14 2017-11-28 Mediatek Inc. Video encoding method and apparatus for determining size of parallel motion estimation region based on encoding related information and related video decoding method and apparatus
US20150271512A1 (en) * 2014-03-18 2015-09-24 Texas Instruments Incorporated Dynamic frame padding in a video hardware engine
US20160105678A1 (en) * 2014-10-13 2016-04-14 Microsoft Technology Licensing, Llc Video Parameter Techniques
US11477477B2 (en) 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
WO2016154930A1 (en) 2015-03-31 2016-10-06 Realnetworks, Inc. Motion vector selection and prediction in video coding systems and methods
WO2016175550A1 (ko) * 2015-04-27 2016-11-03 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
JP6078138B1 (ja) * 2015-10-30 2017-02-08 Ｎｔｔエレクトロニクス株式会社 動画像符号化装置及び動画像符号化方法
WO2017086746A1 (ko) * 2015-11-19 2017-05-26 한국전자통신연구원 화면내 예측 모드 부호화/복호화 방법 및 장치
WO2017107072A1 (en) 2015-12-22 2017-06-29 Realnetworks, Inc. Motion vector selection and prediction in video coding systems and methods
CN116708782A (zh) 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
JP6938612B2 (ja) * 2016-07-12 2021-09-22 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読の記録媒体
US11503305B2 (en) 2016-08-03 2022-11-15 Kt Corporation Method and apparatus for processing video signal
KR20190053238A (ko) 2016-10-06 2019-05-17 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2018174617A1 (ko) 2017-03-22 2018-09-27 한국전자통신연구원 블록 형태에 기반한 예측 방법 및 장치
CN117255197A (zh) * 2017-03-22 2023-12-19 韩国电子通信研究院 基于块形式的预测方法和装置
CN110546956B (zh) 2017-06-30 2021-12-28 华为技术有限公司 一种帧间预测的方法及装置
KR102427789B1 (ko) * 2017-10-10 2022-08-02 한국전자통신연구원 인터 예측 정보를 사용하는 방법 및 장치
WO2019074273A1 (ko) * 2017-10-10 2019-04-18 한국전자통신연구원 인터 예측 정보를 사용하는 방법 및 장치
US10623746B2 (en) * 2017-12-07 2020-04-14 Tencent America LLC Method and apparatus for video coding
CN111886861B (zh) * 2018-02-22 2023-12-22 Lg电子株式会社 根据图像编码系统中的块划分结构的图像解码方法和设备
CN118118661A (zh) * 2018-03-19 2024-05-31 株式会社Kt 对图像进行解码或编码的方法以及非暂态计算机可读介质
WO2019194653A1 (ko) * 2018-04-06 2019-10-10 가온미디어 주식회사 움직임 정보의 복합적 머지 모드 처리를 제공하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
CN112166612A (zh) * 2018-05-23 2021-01-01 株式会社Kt 用于处理视频信号的方法和设备
KR20190134521A (ko) 2018-05-24 2019-12-04 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10587885B2 (en) * 2018-06-04 2020-03-10 Tencent America LLC Method and apparatus for merge mode with additional middle candidates in video coding
CN117499638A (zh) * 2018-06-27 2024-02-02 数字洞察力有限公司 对图像进行编码/解码的方法和发送比特流的方法
CN110662057B (zh) 2018-06-29 2022-06-21 北京字节跳动网络技术有限公司 视频处理方法、装置、设备以及存储比特流的方法
EP3791588A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Checking order of motion candidates in lut
CN110662056B (zh) 2018-06-29 2022-06-07 北京字节跳动网络技术有限公司 哪个查找表需要更新或不更新
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Ｌｕｔ更新条件
TWI750486B (zh) 2018-06-29 2021-12-21 大陸商北京字節跳動網絡技術有限公司 運動資訊共用的限制
TWI723444B (zh) 2018-06-29 2021-04-01 大陸商北京字節跳動網絡技術有限公司 使用一個或多個查找表來按順序存儲先前編碼的運動信息並使用它們來編碼後面的塊的概念
WO2020003278A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: fifo, constrained fifo
CN110662076B (zh) * 2018-06-29 2022-10-04 北京字节跳动网络技术有限公司 子块的边界增强
KR20210024502A (ko) 2018-06-29 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Hmvp 후보를 병합/amvp에 추가할 때의 부분/풀 프루닝
EP3797516A1 (en) 2018-06-29 2021-03-31 Beijing Bytedance Network Technology Co. Ltd. Interaction between lut and amvp
CN118803270A (zh) * 2018-06-29 2024-10-18 株式会社Kt 解码图像和编码图像的方法以及用于传送压缩视频数据的设备
EP4307679A3 (en) 2018-07-02 2024-06-19 Beijing Bytedance Network Technology Co., Ltd. Luts with intra prediction modes and intra mode prediction from non-adjacent blocks
US11671619B2 (en) 2018-07-02 2023-06-06 Intellectual Discovery Co., Ltd. Video coding method and device using merge candidate
US10531090B1 (en) * 2018-07-02 2020-01-07 Tencent America LLC Method and apparatus for video coding
CN112369030B (zh) * 2018-07-06 2023-11-10 寰发股份有限公司 解码器的视频解码方法及装置
WO2020054784A1 (ja) * 2018-09-11 2020-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
TW202025760A (zh) 2018-09-12 2020-07-01 大陸商北京字節跳動網絡技術有限公司 要檢查多少個hmvp候選
CN114125467A (zh) * 2018-09-13 2022-03-01 华为技术有限公司 一种预测运动信息的解码方法及装置
CN118055249A (zh) 2018-09-22 2024-05-17 Lg 电子株式会社 使用间预测处理视频信号的方法和装置
EP3857888A4 (en) * 2018-10-06 2022-08-03 HFI Innovation Inc. METHOD AND APPARATUS FOR AN AREA OF A SHARED MERGER CANDIDATE LIST FOR ENABLING VIDEO CODING
CN117082259A (zh) * 2018-10-10 2023-11-17 华为技术有限公司 帧间预测方法及装置
JP7416781B2 (ja) 2018-11-08 2024-01-17 オッポ広東移動通信有限公司 ビデオ信号符号化／復号方法及びその機器
CN112956194A (zh) * 2018-11-08 2021-06-11 Oppo广东移动通信有限公司 图像信号编码/解码方法及其设备
WO2020103935A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Blending method for inter prediction with geometry partition
US11172214B2 (en) * 2018-12-21 2021-11-09 Qualcomm Incorporated Derivation of processing area for parallel processing in video coding
CN113261290B (zh) 2018-12-28 2024-03-12 北京字节跳动网络技术有限公司 基于修改历史的运动预测
WO2020133518A1 (zh) * 2018-12-29 2020-07-02 深圳市大疆创新科技有限公司 视频处理方法和设备
CN113273186A (zh) 2019-01-10 2021-08-17 北京字节跳动网络技术有限公司 Lut更新的调用
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
CN113302937B (zh) 2019-01-16 2024-08-02 北京字节跳动网络技术有限公司 运动候选推导
US11533506B2 (en) * 2019-02-08 2022-12-20 Tencent America LLC Method and apparatus for video coding
CN113424535A (zh) * 2019-02-13 2021-09-21 北京字节跳动网络技术有限公司 基于运动矢量预测表的历史更新
CN117714694A (zh) * 2019-02-17 2024-03-15 北京字节跳动网络技术有限公司 处理视频数据的方法、装置和计算机可读记录介质
WO2020184979A1 (ko) * 2019-03-11 2020-09-17 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
CN111698506B (zh) 2019-03-11 2022-04-26 杭州海康威视数字技术股份有限公司 运动信息候选者列表构建方法、三角预测解码方法及装置
US11418807B2 (en) * 2019-03-15 2022-08-16 Tencent America LLC Temporal motion vector derivation in shared merge region at picture boundary
CN113615193B (zh) 2019-03-22 2024-06-25 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
US20230040697A1 (en) 2019-10-31 2023-02-09 Kuraray Co., Ltd. Plastic scintillating fiber and its manufacturing method
US11539982B2 (en) * 2019-11-01 2022-12-27 Qualcomm Incorporated Merge estimation region for multi-type-tree block structure

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3640318B2 (ja) 1995-09-01 2005-04-20 インターナショナル・ビジネス・マシーンズ・コーポレーション ディジタル画像の符号化方法及びシステム
KR100961036B1 (ko) * 2002-07-11 2010-06-01 파나소닉 주식회사 화상 복호화 방법 및 화상 복호화 장치
KR100694059B1 (ko) 2004-09-30 2007-03-12 삼성전자주식회사 멀티 타임 스캔 방식에 기초한 인터 모드 인코딩 및디코딩 방법 및 장치
CN101268698A (zh) * 2005-05-19 2008-09-17 Lg电子株式会社 用于视频数据编码/解码的方法
WO2007092215A2 (en) * 2006-02-02 2007-08-16 Thomson Licensing Method and apparatus for adaptive weight selection for motion compensated prediction
CN101026761B (zh) * 2006-02-17 2010-05-12 中国科学院自动化研究所 一种具有最小误差的快速变尺寸块匹配的运动估计方法
CN100471275C (zh) * 2006-09-08 2009-03-18 清华大学 用于h.264/avc编码器的运动估计方法
JP4898415B2 (ja) * 2006-12-19 2012-03-14 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
JP5666293B2 (ja) * 2007-04-12 2015-02-12 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオ・エンコーディング、およびデコーディングのためのスキップ／ダイレクトモードのコンテクストに依存するマージのための方法と装置
KR101348613B1 (ko) * 2009-12-23 2014-01-10 한국전자통신연구원 영상의 부호화/복호화 장치 및 그 방법
HUE061303T2 (hu) * 2010-05-04 2023-06-28 Lg Electronics Inc Eljárás és berendezés videojel kódolására és dekódolására
US8271920B2 (en) * 2010-08-25 2012-09-18 International Business Machines Corporation Converged large block and structured synthesis for high performance microprocessor designs
KR101033243B1 (ko) * 2010-11-17 2011-05-06 엘아이지넥스원 주식회사 객체 추적 방법 및 장치
US9066110B2 (en) * 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding
US9143795B2 (en) * 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
SG194746A1 (en) * 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
FR2979241B1 (fr) * 2011-08-30 2014-05-09 Nutrialys Medical Nutrition Sa Utilisation de compositions a faible teneur en polyamines dans la prevention ou le traitement des effets indesirables lies a un traitement anti-cancereux
WO2013036071A2 (ko) 2011-09-09 2013-03-14 엘지전자 주식회사 인터 예측 방법 및 그 장치
CN107105279B (zh) * 2011-09-23 2020-03-06 株式会社Kt 用于引导合并候选块的方法和使用该方法的设备
WO2013057877A1 (ja) * 2011-10-19 2013-04-25 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、および、画像復号装置
CN110446037B (zh) * 2011-11-08 2022-01-04 韩国电子通信研究院 用于共享候选者列表的方法和装置
EP2942961A1 (en) * 2011-11-23 2015-11-11 HUMAX Holdings Co., Ltd. Methods for encoding/decoding of video using common merging candidate set of asymmetric partitions
KR101934277B1 (ko) * 2011-11-28 2019-01-04 에스케이텔레콤 주식회사 개선된 머지를 이용한 영상 부호화/복호화 방법 및 장치
JP5809613B2 (ja) 2012-09-10 2015-11-11 日本電信電話株式会社 仮想マシンチューニング値計算装置および仮想マシンチューニング値計算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Minhua Zhou, Parallelized merge/skip mode for HEVC, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting, 2011.07.14-22, JCTVC-F069*

Also Published As

Publication number Publication date
HRP20231384T1 (hr) 2024-02-16
ES2961675T3 (es) 2024-03-13
CN107197302B (zh) 2020-03-06
EP3468197B1 (en) 2022-03-02
KR102170513B1 (ko) 2020-10-27
US10652551B2 (en) 2020-05-12
US20200280724A1 (en) 2020-09-03
EP2755389A2 (en) 2014-07-16
EP4231647A2 (en) 2023-08-23
CN107257476B (zh) 2020-11-06
PL2755389T3 (pl) 2019-06-28
KR20140064944A (ko) 2014-05-28
KR102379457B1 (ko) 2022-03-28
KR20220043236A (ko) 2022-04-05
US11949883B2 (en) 2024-04-02
HUE059055T2 (hu) 2022-10-28
JP2023115133A (ja) 2023-08-18
US20210329260A1 (en) 2021-10-21
US9621888B2 (en) 2017-04-11
JP7350826B2 (ja) 2023-09-26
DK2755389T3 (en) 2019-04-01
SI4009641T1 (sl) 2023-12-29
JP2020205627A (ja) 2020-12-24
PL3468197T3 (pl) 2022-07-11
EP4009641A1 (en) 2022-06-08
SI3468197T1 (sl) 2022-06-30
KR20190029789A (ko) 2019-03-20
CN107197303B (zh) 2020-03-06
US20240223779A1 (en) 2024-07-04
HUE064151T2 (hu) 2024-02-28
KR102073405B1 (ko) 2020-02-04
KR20210092337A (ko) 2021-07-23
WO2013036071A3 (ko) 2013-05-02
US20140301461A1 (en) 2014-10-09
JP2019198101A (ja) 2019-11-14
KR20200013119A (ko) 2020-02-05
EP3468197A1 (en) 2019-04-10
CN103931196B (zh) 2017-05-17
US20170214922A1 (en) 2017-07-27
PL4009641T3 (pl) 2024-02-26
US20190068978A1 (en) 2019-02-28
CN107257476A (zh) 2017-10-17
KR20200122434A (ko) 2020-10-27
CN107197302A (zh) 2017-09-22
EP2755389B1 (en) 2019-01-02
US10116941B2 (en) 2018-10-30
PT2755389T (pt) 2019-02-27
ES2713477T3 (es) 2019-05-22
US11570446B2 (en) 2023-01-31
CN103931196A (zh) 2014-07-16
EP2755389A4 (en) 2015-04-15
JP2022050410A (ja) 2022-03-30
KR101960034B1 (ko) 2019-03-19
WO2013036071A2 (ko) 2013-03-14
CN107197301B (zh) 2020-03-03
JP6995952B2 (ja) 2022-01-17
US11082704B2 (en) 2021-08-03
PT3468197T (pt) 2022-05-31
CN107197303A (zh) 2017-09-22
JP2017069971A (ja) 2017-04-06
FI4009641T3 (fi) 2023-11-09
KR102280242B1 (ko) 2021-07-21
US20230147872A1 (en) 2023-05-11
HUE043007T2 (hu) 2019-07-29
DK3468197T3 (da) 2022-05-16
JP2014529254A (ja) 2014-10-30
EP4009641B1 (en) 2023-08-09
EP4231647A3 (en) 2023-08-30
ES2913828T3 (es) 2022-06-06
JP6764507B2 (ja) 2020-09-30
CN107197301A (zh) 2017-09-22

Similar Documents

Publication Publication Date Title
KR102498289B1 (ko) 인터 예측 방법 및 그 장치
KR20240037912A (ko) 영상 부호화/복호화 방법 및 장치
KR20190102167A (ko) 영상 복호화 방법 및 장치
KR102546142B1 (ko) 비디오 코딩 시스템에서 블록 구조 도출 방법 및 장치
KR20190031598A (ko) 영상 부호화 및 복호화 방법과 이를 이용한 장치
KR102634795B1 (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant