KR20200027487A - 인터 예측 방법 및 그 장치 - Google Patents

인터 예측 방법 및 그 장치 Download PDF

Info

Publication number
KR20200027487A
KR20200027487A KR1020200026055A KR20200026055A KR20200027487A KR 20200027487 A KR20200027487 A KR 20200027487A KR 1020200026055 A KR1020200026055 A KR 1020200026055A KR 20200026055 A KR20200026055 A KR 20200026055A KR 20200027487 A KR20200027487 A KR 20200027487A
Authority
KR
South Korea
Prior art keywords
motion information
prediction
block
reference picture
motion
Prior art date
Application number
KR1020200026055A
Other languages
English (en)
Other versions
KR102157121B1 (ko
Inventor
김휘용
박광훈
김경용
임성창
이진호
최진수
김진웅
Original Assignee
한국전자통신연구원
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 경희대학교 산학협력단 filed Critical 한국전자통신연구원
Publication of KR20200027487A publication Critical patent/KR20200027487A/ko
Application granted granted Critical
Publication of KR102157121B1 publication Critical patent/KR102157121B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)

Abstract

본 발명에 따른 인터 예측 방법은, 현재 블록의 움직임 정보를 도출하는 단계 및 도출된 움직임 정보에 기반하여 현재 블록에 대한 예측 블록을 생성하는 단계를 포함한다. 본 발명에 의하면, 계산 복잡도가 감소되고 부호화 효율이 향상될 수 있다.

Description

인터 예측 방법 및 그 장치 {METHOD FOR INTER PREDICTION AND APPARATUS THEREOF}
본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 인터 예측 방법 및 그 장치에 관한 것이다.
최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기의 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.
영상 압축을 위해, 시간적으로 이전 및/또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 픽셀값을 예측하는 인터(inter) 예측 기술, 현재 픽쳐 내의 픽셀 정보를 이용하여 현재 픽쳐에 포함된 픽셀값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 사용될 수 있다.
본 발명의 기술적 과제는 계산 복잡도를 감소시키고 부호화 효율을 향상시킬 수 있는 영상 부호화 방법 및 그 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 계산 복잡도를 감소시키고 부호화 효율을 향상시킬 수 있는 영상 복호화 방법 및 그 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 계산 복잡도를 감소시키고 부호화 효율을 향상시킬 수 있는 인터 예측 방법 및 그 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 계산 복잡도를 감소시키고 부호화 효율을 향상시킬 수 있는 머지 후보 결정 방법 및 그 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 계산 복잡도를 감소시키고 부호화 효율을 향상시킬 수 있는 움직임 정보 결정 방법 및 그 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 계산 복잡도를 감소시키고 부호화 효율을 향상시킬 수 있는 시간적 움직임 정보 도출 방법 및 그 장치를 제공함에 있다.
1. 본 발명의 일 실시 형태는 인터 예측 방법이다. 상기 방법은, 현재 블록의 움직임 정보를 도출하는 단계 및 상기 도출된 움직임 정보에 기반하여 상기 현재 블록에 대한 예측 블록을 생성하는 단계를 포함하되, 상기 도출된 움직임 정보는 L0 움직임 정보 및 L1 움직임 정보를 모두 포함하고, 상기 예측 블록 생성 단계에서는, 단예측(uni-prediction) 및 쌍예측(bi-prediction) 중에서 하나를 선택적으로 수행하고, 상기 단예측은 상기 L0 움직임 정보를 기반으로 수행되는 예측이고, 상기 쌍예측은 상기 L0 움직임 정보 및 상기 L1 움직임 정보를 기반으로 수행되는 예측이다.
2. 1에 있어서, 상기 L0 움직임 정보는 L0 움직임 벡터 및 L0 참조 픽쳐 번호를 포함하고, 상기 L0 참조 픽쳐 번호는 POC(Picture Order Count) 순서에 따라 L0 참조 픽쳐에 할당된 번호이고, 상기 L1 움직임 정보는 L1 움직임 벡터 및 L1 참조 픽쳐 번호를 포함하고, 상기 L1 참조 픽쳐 번호는 POC 순서에 따라 L1 참조 픽쳐에 할당된 번호이고, 상기 예측 블록 생성 단계에서는, 상기 L0 움직임 정보와 상기 L1 움직임 정보가 동일한지 여부에 따라, 상기 단예측 및 상기 쌍예측 중에서 하나를 선택적으로 수행하고, 상기 L0 움직임 벡터 및 상기 L1 움직임 벡터가 동일하고 상기 L0 참조 픽쳐 번호 및 상기 L1 참조 픽쳐 번호가 동일한 경우에, 상기 L0 움직임 정보 및 상기 L1 움직임 정보가 동일한 것으로 판단할 수 있다.
3. 2에 있어서, 상기 L0 움직임 정보 및 상기 L1 움직임 정보가 동일한 경우, 상기 예측 블록 생성 단계에서는, 상기 L0 움직임 정보에 기반하여 상기 현재 블록에 대해 L0 움직임 보상을 수행함으로써 상기 예측 블록을 생성할 수 있다.
4. 2에 있어서, 상기 L0 움직임 정보 및 상기 L1 움직임 정보가 동일하지 않은 경우, 상기 예측 블록 생성 단계는, 상기 L0 움직임 정보에 기반하여 상기 현재 블록에 대해 L0 움직임 보상을 수행함으로써 L0 움직임 보상된 블록을 생성하는 단계, 상기 L1 움직임 정보에 기반하여 상기 현재 블록에 대해 L1 움직임 보상을 수행함으로써 L1 움직임 보상된 블록을 생성하는 단계 및 상기 L0 움직임 보상된 블록 및 상기 L1 움직임 보상된 블록에 대해 가중치 평균을 수행함으로써 상기 예측 블록을 생성하는 단계를 더 포함할 수 있다.
5. 2에 있어서, 상기 L0 움직임 정보 및 상기 L1 움직임 정보가 동일한 경우, 상기 예측 블록 생성 단계는, 상기 L0 참조 픽쳐에 기반하여, 상기 현재 블록에 대해 L0 움직임 보상을 수행함으로써 L0 움직임 보상된 블록을 생성하는 단계, L1 참조 픽쳐 리스트를 구성하는 참조 픽쳐 중에서 상기 L1 참조 픽쳐와 동일하지 않은 참조 픽쳐에 기반하여, 상기 현재 블록에 대해 L1 움직임 보상을 수행함으로써 L1 움직임 보상된 블록을 생성하는 단계 및 상기 L0 움직임 보상된 블록 및 상기 L1 움직임 보상된 블록에 대해 가중치 평균을 수행함으로써 상기 예측 블록을 생성하는 단계를 더 포함할 수 있다.
6. 5에 있어서, 상기 L1 참조 픽쳐 리스트에 포함된 참조 픽쳐의 개수가 1개 이하인 경우, 상기 예측 블록 생성 단계에서는, 상기 L0 움직임 정보에 기반하여 상기 현재 블록에 대해 L0 움직임 보상을 수행함으로써 상기 예측 블록을 생성할 수 있다.
7. 1에 있어서, 상기 방법은 상기 현재 블록에 대해 디폴트(default) 가중치 예측이 적용되는지 또는 넌-디폴트(non-default) 가중치 예측이 적용되는지 여부를 판단하는 단계를 더 포함할 수 있고, 상기 예측 블록 생성 단계에서는, 상기 판단 결과에 따라 상기 디폴트 가중치 예측 및 상기 넌-디폴트 가중치 예측 중에서 하나를 선택적으로 수행할 수 있다.
8. 7에 있어서, 상기 현재 블록에 대해 상기 디폴트 가중치 예측이 적용되는지 또는 상기 넌-디폴트 가중치 예측이 적용되는지 여부는 가중치 예측 인덱스에 의해 지시될 수 있다.
9. 1에 있어서, 상기 예측 블록 생성 단계에서는, 상기 현재 블록의 크기가 소정의 크기보다 작은지 여부에 따라, 상기 단예측 및 상기 쌍예측 중에서 하나를 선택적으로 수행할 수 있다.
10. 9에 있어서, 상기 현재 블록의 크기가 8x8보다 작은 경우, 상기 방법은 상기 L0 움직임 정보 및 상기 L1 움직임 정보 중에서 상기 L0 움직임 정보만을 상기 현재 블록의 움직임 정보로 설정하는 단계를 더 포함할 수 있고, 상기 예측 블록 생성 단계에서는, 상기 L0 움직임 정보에 기반하여 상기 현재 블록에 대해 L0 움직임 보상을 수행함으로써 상기 예측 블록을 생성할 수 있다.
11. 본 발명의 다른 실시 형태는 인터 예측 장치이다. 상기 장치는, 현재 블록의 움직임 정보를 도출하는 움직임 예측부(motion estimator) 및 상기 도출된 움직임 정보에 기반하여 상기 현재 블록에 대한 예측 블록을 생성하는 움직임 보상부(motion compensator)를 포함하되, 상기 도출된 움직임 정보는 L0 움직임 정보 및 L1 움직임 정보를 모두 포함하고, 상기 움직임 보상부는 단예측(uni-prediction) 및 쌍예측(bi-prediction) 중에서 하나를 선택적으로 수행하고, 상기 단예측은 상기 L0 움직임 정보를 기반으로 수행되는 예측이고, 상기 쌍예측은 상기 L0 움직임 정보 및 상기 L1 움직임 정보를 기반으로 수행되는 예측이다.
12. 본 발명의 또 다른 실시 형태는 영상 복호화 방법이다. 상기 방법은, 현재 블록의 움직임 정보를 도출하는 단계, 상기 도출된 움직임 정보에 기반하여 상기 현재 블록에 대한 예측 블록을 생성하는 단계 및 상기 생성된 예측 블록을 기반으로 상기 현재 블록에 대한 복원 블록을 생성하는 단계를 포함하되, 상기 도출된 움직임 정보는 L0 움직임 정보 및 L1 움직임 정보를 모두 포함하고, 상기 예측 블록 생성 단계에서는, 단예측(uni-prediction) 및 쌍예측(bi-prediction) 중에서 하나를 선택적으로 수행하고, 상기 단예측은 상기 L0 움직임 정보를 기반으로 수행되는 예측이고, 상기 쌍예측은 상기 L0 움직임 정보 및 상기 L1 움직임 정보를 기반으로 수행되는 예측이다.
13. 12에 있어서, 상기 L0 움직임 정보는 L0 움직임 벡터 및 L0 참조 픽쳐 번호를 포함하고, 상기 L0 참조 픽쳐 번호는 POC(Picture Order Count) 순서에 따라 L0 참조 픽쳐에 할당된 번호이고, 상기 L1 움직임 정보는 L1 움직임 벡터 및 L1 참조 픽쳐 번호를 포함하고, 상기 L1 참조 픽쳐 번호는 POC 순서에 따라 L1 참조 픽쳐에 할당된 번호이고, 상기 예측 블록 생성 단계에서는, 상기 L0 움직임 정보와 상기 L1 움직임 정보가 동일한지 여부에 따라, 상기 단예측 및 상기 쌍예측 중에서 하나를 선택적으로 수행하고, 상기 L0 움직임 벡터 및 상기 L1 움직임 벡터가 동일하고 상기 L0 참조 픽쳐 번호 및 상기 L1 참조 픽쳐 번호가 동일한 경우에, 상기 L0 움직임 정보 및 상기 L1 움직임 정보가 동일한 것으로 판단할 수 있다.
14. 13에 있어서, 상기 L0 움직임 정보 및 상기 L1 움직임 정보가 동일한 경우, 상기 예측 블록 생성 단계에서는, 상기 L0 움직임 정보에 기반하여 상기 현재 블록에 대해 L0 움직임 보상을 수행함으로써 상기 예측 블록을 생성할 수 있다.
15. 13에 있어서, 상기 L0 움직임 정보 및 상기 L1 움직임 정보가 동일하지 않은 경우, 상기 예측 블록 생성 단계는, 상기 L0 움직임 정보에 기반하여 상기 현재 블록에 대해 L0 움직임 보상을 수행함으로써 L0 움직임 보상된 블록을 생성하는 단계, 상기 L1 움직임 정보에 기반하여 상기 현재 블록에 대해 L1 움직임 보상을 수행함으로써 L1 움직임 보상된 블록을 생성하는 단계 및 상기 L0 움직임 보상된 블록 및 상기 L1 움직임 보상된 블록에 대해 가중치 평균을 수행함으로써 상기 예측 블록을 생성하는 단계를 더 포함할 수 있다.
16. 12에 있어서, 상기 방법은 상기 현재 블록에 대해 디폴트(default) 가중치 예측이 적용되는지 또는 넌-디폴트(non-default) 가중치 예측이 적용되는지 여부를 판단하는 단계를 더 포함할 수 있고, 상기 예측 블록 생성 단계에서는, 상기 판단 결과에 따라 상기 디폴트 가중치 예측 및 상기 넌-디폴트 가중치 예측 중에서 하나를 선택적으로 수행할 수 있다.
17. 16에 있어서, 상기 현재 블록에 대해 상기 디폴트 가중치 예측이 적용되는지 또는 상기 넌-디폴트 가중치 예측이 적용되는지 여부는 가중치 예측 인덱스에 의해 지시될 수 있다.
본 발명에 따른 영상 부호화 방법에 의하면, 계산 복잡도가 감소되고 부호화 효율이 향상될 수 있다.
본 발명에 따른 영상 복호화 방법에 의하면, 계산 복잡도가 감소되고 부호화 효율이 향상될 수 있다.
본 발명에 따른 인터 예측 방법에 의하면, 계산 복잡도가 감소되고 부호화 효율이 향상될 수 있다.
본 발명에 따른 머지 후보 결정 방법에 의하면, 계산 복잡도가 감소되고 부호화 효율이 향상될 수 있다.
본 발명에 따른 움직임 정보 결정 방법에 의하면, 계산 복잡도가 감소되고 부호화 효율이 향상될 수 있다.
본 발명에 따른 시간적 움직임 정보 도출 방법에 의하면, 계산 복잡도가 감소되고 부호화 효율이 향상될 수 있다.
도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 인터 예측 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 4는 양방향 예측이 적용되는 경우, 인터 예측 방법의 실시예를 개략적으로 나타내는 도면이다.
도 5는 양방향 예측이 적용되는 경우, 인터 예측 방법의 다른 실시예를 개략적으로 나타내는 도면이다.
도 6은 부호화된 영상의 움직임 정보의 일 실시예를 개략적으로 나타내는 도면이다.
도 7은 본 발명에 따른 인터 예측 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 8은 본 발명에 따른 인터 예측 방법의 다른 실시예를 개략적으로 나타내는 개념도이다.
도 9는 도 7의 실시예에 따른 디폴트 가중치 예측을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다.
도 10은 본 발명에 따른 인터 예측 방법의 또 다른 실시예를 개략적으로 나타내는 흐름도이다.
도 11은 도 10의 실시예에 따른 인터 예측을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다.
도 12는 본 발명에 따른 인터 예측 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 13은 본 발명에 따른 인터 예측 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 14는 도 12의 실시예에 따른 디폴트 가중치 예측을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다.
도 15는 현재 블록에 대해 머지(merge)가 적용되는 경우, 본 발명에 따른 머지 후보 결정 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 16은 도 15의 실시예에 따른 머지 후보 결정 과정을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다.
도 17은 본 발명에 따른 시간적 움직임 정보 도출 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 18은 도 17의 실시예에 따른 시간적 움직임 정보 도출 과정을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다.
도 19는 본 발명에 따른 현재 블록의 시간적 움직임 정보 도출 방법의 다른 실시예를 개략적으로 나타내는 흐름도이다.
도 20은 도 19의 실시예에 따른 시간적 움직임 정보 도출 과정을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다.
도 21은 현재 블록의 시간적 움직임 정보를 도출할 때, 콜 픽쳐를 결정하는 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 22는 도 21의 실시예에 따른 콜 픽쳐 결정 과정을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다.
도 23은 움직임 정보 후보 도출에 사용되는 모든 블록이 움직임 정보를 가지고 있지 않은 경우, 현재 블록의 움직임 정보를 결정하는 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 24는 도 23의 실시예에 따른 움직임 정보 결정 과정을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다.
도 25는 움직임 정보 후보 도출에 사용되는 모든 블록이 움직임 정보를 가지고 있지 않은 경우, 현재 블록의 움직임 정보를 결정하는 방법의 다른 실시예를 개략적으로 나타내는 흐름도이다.
도 26은 도 25의 실시예에 따른 움직임 정보 결정 과정을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽쳐 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 모드인 경우, 움직임 예측부(motion estimator)(111)는, 움직임 예측 과정에서 참조 픽쳐 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다. 변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값(예를 들어, 양자화된 계수)들 및/또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bit stream)을 출력할 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.
도 1의 실시예에 따른 영상 부호화 장치는 인터 예측 부호화, 즉 화면 간(inter-frame) 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성된다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡 및/또는 블록킹 아티팩트(blocking artifact)를 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있으며, 고효율이 적용되는 경우에만 수행될 수도 있다. 필터부(180)를 거친 복원 블록은 참조 픽쳐 버퍼(190)에 저장될 수 있다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 픽쳐 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 잔차 블록(residual block)을 얻고 예측 블록을 생성한 후 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.
엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 복호화 방법을 통해서 영상 복호화의 압축 성능이 높아질 수 있다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 잔차 블록(residual block)이 생성될 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽쳐 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
잔차 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 참조 픽쳐 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.
이하, 블록은 영상 부호화 및 복호화의 단위를 의미한다. 영상 부호화 및 복호화 시 부호화 혹은 복호화 단위는, 영상을 분할하여 부호화 혹은 복호화 할 때 그 분할된 단위를 의미하므로, 부호화 유닛 (CU: Coding Unit), 예측 유닛 (PU: Prediction Unit), 변환 유닛(TU: Transform Unit), 변환 블록(transform block) 등으로 불릴 수 있다. 하나의 블록은 크기가 더 작은 하위 블록으로 더 분할될 수 있다. 또한, 본 명세서에서 “픽쳐”는 문맥에 따라 “프레임”, “필드” 및/또는 “슬라이스”로 대체되어 사용될 수 있으며, 이러한 구분은 해당 기술 분야에서 통상의 지식을 가진 자라면 용이하게 할 수 있을 것이다. 예를 들어, 후술되는 P 픽쳐, B 픽쳐, 순방향 B 픽쳐는 문맥에 따라 각각 P 슬라이스, B 슬라이스, 순방향 B 슬라이스로 대체되어 사용될 수 있다.
도 3은 인터 예측 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 3을 참조하면, 부호화기 및 복호화기는 현재 블록에 대한 움직임 정보를 도출할 수 있다(S310).
인터 모드에서 부호화기 및 복호화기는 현재 블록의 움직임 정보를 도출한 후, 상기 도출된 움직임 정보에 기반하여 인터 예측 및/또는 움직임 보상을 수행할 수 있다. 이 때, 부호화기 및 복호화기는 복원된 주변 블록(neighboring block) 및/또는 이미 복원된 참조 픽쳐 내에서 현재 블록에 대응되는 콜(col) 블록(collocated block)의 움직임 정보를 이용함으로써, 부호화/복호화 효율을 향상시킬 수 있다. 여기서, 복원된 주변 블록은 이미 부호화 및/또는 복호화되어 복원된 현재 픽쳐 내의 블록으로서, 현재 블록에 인접한 블록 및/또는 현재 블록의 외부 코너에 위치한 블록을 포함할 수 있다. 또한 부호화기 및 복호화기는, 참조 픽쳐 내에서 현재 블록과 공간적으로 동일한 위치에 존재하는 블록을 기준으로 소정의 상대적인 위치를 결정할 수 있고, 상기 결정된 소정의 상대적인 위치(상기 현재 블록과 공간적으로 동일한 위치에 존재하는 블록의 내부 및/또는 외부의 위치)를 기반으로 상기 콜 블록을 도출할 수 있다.
한편, 움직임 정보 도출 방식은 현재 블록의 예측 모드에 따라 달라질 수 있다. 인터 예측을 위해 적용되는 예측 모드에는 AMVP(Advanced Motion Vector Predictor), 머지(merge) 등이 있을 수 있다.
일례로, AMVP(Advanced Motion Vector Predictor)가 적용되는 경우, 부호화기 및 복호화기는 복원된 주변 블록의 움직임 벡터 및/또는 콜 블록의 움직임 벡터를 이용하여, 예측 움직임 벡터 후보 리스트를 생성할 수 있다. 즉, 복원된 주변 블록의 움직임 벡터 및/또는 콜 블록의 움직임 벡터는 예측 움직임 벡터 후보로 사용될 수 있다. 부호화기는 상기 리스트에 포함된 예측 움직임 벡터 후보 중에서 선택된 최적의 예측 움직임 벡터를 지시하는 예측 움직임 벡터 인덱스를 복호화기로 전송할 수 있다. 이 때, 복호화기는 상기 예측 움직임 벡터 인덱스를 이용하여, 예측 움직임 벡터 후보 리스트에 포함된 예측 움직임 벡터 후보 중에서, 현재 블록의 예측 움직임 벡터를 선택할 수 있다.
부호화기는 현재 블록의 움직임 벡터와 예측 움직임 벡터 간의 움직임 벡터 차분(MVD: Motion Vector Difference)을 구할 수 있고, 이를 부호화하여 복호화기로 전송할 수 있다. 이 때, 복호화기는 수신된 움직임 벡터 차분을 복호화할 수 있고, 복호화된 움직임 벡터 차분과 예측 움직임 벡터의 합을 통해 현재 블록의 움직임 벡터를 도출할 수 있다.
다른 예로, 머지(merge)가 적용되는 경우, 부호화기 및 복호화기는 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보를 이용하여, 머지 후보 리스트를 생성할 수 있다. 즉, 부호화기 및 복호화기는 복원된 주변 블록 및/또는 콜 블록의 움직임 정보가 존재하는 경우, 이를 현재 블록에 대한 머지 후보로 사용할 수 있다.
부호화기는 머지 후보 리스트에 포함된 머지 후보 중에서 최적의 부호화 효율을 제공할 수 있는 머지 후보를 현재 블록에 대한 움직임 정보로 선택할 수 있다. 이 때, 상기 선택된 머지 후보를 지시하는 머지 인덱스가 비트스트림에 포함되어 복호화기로 전송될 수 있다. 복호화기는 상기 전송된 머지 인덱스를 이용하여, 머지 후보 리스트에 포함된 머지 후보 중에서 하나를 선택할 수 있으며, 상기 선택된 머지 후보를 현재 블록의 움직임 정보로 결정할 수 있다. 따라서, 머지 모드가 적용되는 경우, 복원된 주변 블록 및/또는 콜 블록의 움직임 정보가 현재 블록의 움직임 정보로 그대로 사용될 수 있다.
상술한 AMVP 및 머지 모드에서는, 현재 블록의 움직임 정보를 도출하기 위해, 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보가 사용될 수 있다. 이하, 후술되는 실시예들에서, 복원된 주변 블록으로부터 도출되는 움직임 정보는 공간적 움직임 정보라 하고, 콜 블록으로부터 도출되는 움직임 정보는 시간적 움직임 정보라 한다. 예를 들어, 복원된 주변 블록으로부터 도출되는 움직임 벡터는 공간적 움직임 벡터, 콜 블록으로부터 도출되는 움직임 벡터는 시간적 움직임 벡터로 불릴 수 있다.
다시 도 3을 참조하면, 부호화기 및 복호화기는 상기 도출된 움직임 정보에 기반하여 현재 블록에 대한 움직임 보상을 수행함으로써, 현재 블록의 예측 블록을 생성할 수 있다(S320). 여기서, 예측 블록은 현재 블록에 대한 움직임 보상 수행 결과 생성된, 움직임 보상된 블록을 의미할 수 있다. 또한, 복수의 움직임 보상된 블록은 하나의 움직임 보상된 영상을 구성할 수 있다. 따라서, 후술되는 실시예들에서 예측 블록은 문맥에 따라 ‘움직임 보상된 블록’ 및/또는 ‘움직임 보상된 영상’으로 지칭될 수 있으며, 이러한 구분은 해당 기술 분야에서 통상의 지식을 가진 자라면 용이하게 할 수 있을 것이다.
한편, 인터 예측이 수행되는 픽쳐에는 P 픽쳐 및 B 픽쳐가 있을 수 있다. P 픽쳐는 하나의 참조 픽쳐를 이용한 단방향 예측이 수행되는 픽쳐를 의미할 수 있고, B 픽쳐는 하나 이상, 예를 들어 두 개의 참조 픽쳐를 이용한 순방향, 역방향 또는 양방향 예측이 수행될 수 있는 픽쳐를 의미할 수 있다. 예를 들어, B 픽쳐에서는 1개의 순방향 참조 픽쳐(과거 픽쳐) 및 1개의 역방향 참조 픽쳐(미래 픽쳐)를 이용하여 인터 예측이 수행될 수 있다. 또한, B 픽쳐에서는 2개의 순방향 참조 픽쳐를 이용하여 예측이 수행되거나, 2개의 역방향 참조 픽쳐를 이용하여 예측이 수행될 수도 있다.
여기서, 참조 픽쳐들은 참조 픽쳐 리스트(reference picture list)에 의해 관리될 수 있다. P 픽쳐에서는 1개의 참조 픽쳐가 사용되고, 상기 참조 픽쳐는 참조 픽쳐 리스트0(L0 또는 List0)에 할당될 수 있다. B 픽쳐에서는 2개의 참조 픽쳐가 사용되고, 상기 2개의 참조 픽쳐는 각각 참조 픽쳐 리스트0 및 참조 픽쳐 리스트1(L1 또는 List1)에 할당될 수 있다. 이하, L0 참조 픽쳐 리스트는 참조 픽쳐 리스트0과 동일한 의미를 가질 수 있으며, L1 참조 픽쳐 리스트는 참조 픽쳐 리스트1과 동일한 의미를 가질 수 있다.
일반적으로 순방향 참조 픽쳐는 참조 픽쳐 리스트0에 할당되고 역방향 참조 픽쳐는 참조 픽쳐 리스트1에 할당될 수 있다. 그러나, 참조 픽쳐의 할당 방법은 이에 한정되는 것이 아니며, 순방향 참조 픽쳐가 참조 픽쳐 리스트1에 할당될 수도 있고, 역방향 참조 픽쳐가 참조 픽쳐 리스트0에 할당될 수도 있다. 이하, 참조 픽쳐 리스트0에 할당된 참조 픽쳐는 L0 참조 픽쳐, 참조 픽쳐 리스트1에 할당된 참조 픽쳐는 L1 참조 픽쳐라 한다.
참조 픽쳐들은 일반적으로 참조 픽쳐 번호에 따라, 내림차순으로 참조 픽쳐 리스트에 할당될 수 있다. 여기서, 참조 픽쳐 번호는 각 참조 픽쳐에 POC(Picture Order Count) 순서로 할당된 번호를 의미할 수 있으며, 상기 POC 순서는 픽쳐의 표시 순서 및/또는 시간 순서를 의미할 수 있다. 예를 들어, 참조 픽쳐 번호가 동일한 2개의 참조 픽쳐는 서로 동일한 참조 픽쳐에 해당될 수 있다. 참조 픽쳐 리스트에 할당된 참조 픽쳐들은 참조 픽쳐 리스트 재배열(RPLR: Reference Picture List Reordering) 또는 메모리 관리 컨트롤(MMCO: Memory Management Control Operation) 명령에 의해 재배열될 수 있다.
상술한 바와 같이, P 픽쳐에서는 1개의 L0 참조 픽쳐를 이용한 단방향 예측이 수행될 수 있고, B 픽쳐에서는 1개의 L0 참조 픽쳐 및 1개의 L1 참조 픽쳐, 즉 2개의 참조 픽쳐를 이용한 순방향, 역방향 또는 양방향 예측이 수행될 수 있다. 1개의 참조 픽쳐를 이용한 예측은 단예측(uni-prediction)으로 불릴 수 있고, L0 참조 픽쳐 및 L1 참조 픽쳐를 포함한 2개의 참조 픽쳐를 이용한 예측은 쌍예측(bi-prediction)으로 불릴 수 있다.
쌍예측은 순방향 예측, 역방향 예측 및 양방향 예측을 모두 포함하는 개념으로 사용될 수 있으나, 후술되는 실시예들에서는 편의상 2개의 참조 픽쳐(L0 참조 픽쳐 및 L1 참조 픽쳐)를 이용한 예측은 양방향 예측이라 한다. 즉, 후술되는 실시예들에서 양방향 예측은 쌍예측을 의미할 수 있고, 2개의 참조 픽쳐(L0 참조 픽쳐 및 L1 참조 픽쳐)를 이용한 순방향, 역방향, 양방향 예측을 모두 포함하는 개념으로 이해될 수 있다. 또한 쌍예측이 수행되는 경우에도 순방향 예측 또는 역방향 예측이 수행될 수 있으나, 후술되는 실시예들에서는 편의상 1개의 참조 픽쳐만을 이용한 예측을 단방향 예측이라 한다. 즉, 후술되는 실시예들에서 단방향 예측은 단예측을 의미할 수 있고, 1개의 참조 픽쳐를 이용한 예측만을 포함하는 개념으로 이해되어야 할 것이다. 또한, 이하 예측이 수행되는 블록에 대해 단방향 예측(단예측)이 적용되는지 또는 양방향 예측(쌍예측)이 적용되는지 여부를 지시하는 정보는 예측 방향 정보라 한다.
도 4는 양방향 예측이 적용되는 경우, 인터 예측 방법의 실시예를 개략적으로 나타내는 도면이다.
상술한 바와 같이, 부호화기 및 복호화기는 인터 예측시 단방향 예측뿐만 아니라 양방향 예측을 수행할 수 있다. 양방향 예측이 적용되는 경우, 예측이 수행되는 각각의 블록은 두 개의 참조 픽쳐(L0 참조 픽쳐 및 L1 참조 픽쳐)를 가질 수 있다. 또한 이 때, 양방향 예측이 수행되는 각각의 블록은 두 개의 움직임 정보를 가질 수 있다. 여기서, 움직임 정보는 참조 픽쳐 번호 및 움직임 벡터 등을 포함할 수 있다.
양방향 예측이 수행되는 경우, 부호화기 및 복호화기는 참조 픽쳐 리스트0 및 참조 픽쳐 리스트1에서 각각 하나의 참조 픽쳐를 선택하여 예측에 사용할 수 있다. 즉, L0 참조 픽쳐 및 L1 참조 픽쳐를 포함하는 2 개의 참조 픽쳐가 양방향 예측에 사용될 수 있다. 이하, L0 참조 픽쳐에 대응되는 움직임 정보는 L0 움직임 정보라 하고, L1 참조 픽쳐에 대응되는 움직임 정보는 L1 움직임 정보라 한다. 또한, L0 움직임 정보를 이용한 움직임 보상은 L0 움직임 보상이라 하고, L1 움직임 정보를 이용한 움직임 보상은 L1 움직임 보상이라 한다.
도 4를 참조하면, 부호화기 및 복호화기는 L0 움직임 정보 및 L0 참조 픽쳐 리스트를 이용하여 현재 블록에 대한 L0 움직임 보상(410)을 수행함으로써, L0 움직임 보상된 블록을 생성할 수 있다. 또한, 부호화기 및 복호화기는 L1 움직임 정보 및 L1 참조 픽쳐 리스트를 이용하여 L1 움직임 보상(420)을 수행함으로써, L1 움직임 보상된 블록을 생성할 수 있다. 이 때, L0 움직임 보상(410) 및 L1 움직임 보상(420) 과정은 서로 독립적으로 수행될 수 있다.
부호화기 및 복호화기는 L0 움직임 보상된 블록 및 L1 움직임 보상된 블록에 대해 가중치 평균(430)을 수행하여, 최종적으로 하나의 움직임 보상된 블록을 생성할 수 있다. 일례로, 상기 가중치 평균(430)은 L0 움직임 보상된 블록 및 L1 움직임 보상된 블록 내의 픽셀 단위로 수행될 수 있다. 이 때, 최종적으로 생성된 하나의 움직임 보상된 블록은 현재 블록의 예측 블록에 해당될 수 있다.
이하, 양방향 예측시에 적용되는 움직임 보상은 양방향 움직임 보상이라 한다. 이에 대응하여, 단방향 예측시에 적용되는 움직임 보상은 단방향 움직임 보상으로 불릴 수 있다.
도 5는 양방향 예측이 적용되는 경우, 인터 예측 방법의 다른 실시예를 개략적으로 나타내는 도면이다.
양방향 움직임 보상시에는 라운딩 에러(rounding error)가 발생할 수 있다. 따라서, 부호화기 및 복호화기는 라운딩 에러를 제거하기 위해, 라운딩 조절(rounding control)을 수행할 수 있다.
도 5를 참조하면, 부호화기 및 복호화기는 라운딩 에러 제거를 위해, 고정확도(HA: High Accuracy) 픽셀 보간 필터(IF: Interpolation Filter)를 이용하여 움직임 보상을 수행할 수 있다. 고정확도 픽셀 보간 방법 또는 고정확도 움직임 보상 방법이 적용되는 경우, 부호화기 및 복호화기는 움직임 보상 수행 전에 영상의 비트 깊이(bit depth)를 증가시킬 수 있고, 마지막으로 가중치 평균이 수행될 때 다시 영상의 비트 깊이를 감소시킬 수 있다. 또한, 부호화기 및 복호화기는 L0 움직임 보상된 블록 및 L1 움직임 보상된 블록에 대해 고정확도(HA) 가중치 평균을 수행하여, 최종적으로 하나의 움직임 보상된 블록을 생성할 수 있다.
상술한 바와 같이 라운딩 조절 프로세스가 적용되는 경우, 단방향 움직임 보상과 양방향 움직임 보상 간에 움직임 보상 방법의 차이가 발생할 수도 있다.
도 6은 부호화된 영상의 움직임 정보의 일 실시예를 개략적으로 나타내는 도면이다. 도 6은 부호화된 영상을 구성하는 복수의 블록 및 상기 복수의 블록 각각의 움직임 정보를 도시한다.
도 6에서 부호화된 영상은 BasketballDrill에 해당된다. 여기서, BasketballDrill은 영상 부호화/복호화 실험에 사용되는 테스트 시퀀스(test sequence)의 명칭을 나타낸다. 부호화된 영상의 크기는 832x480이고, POC(Picture Order Count)는 2이다. 또한, 도 6의 영상에 적용된 양자화 파라미터(QP: Quantization Parameter) 값은 32이다.
부호화기 및 복호화기는 저지연 응용 환경에서의 인터 예측 효율을 높이기 위해, 순방향 B 픽쳐를 이용할 수 있다. 여기서, 순방향 B 픽쳐는 순방향 예측만이 수행되는 B 픽쳐를 의미할 수 있다. 순방향 B 픽쳐가 사용되는 경우, 예측이 수행되는 각각의 블록은 두 개의 움직임 정보(L0 움직임 정보, L1 움직임 정보)를 가질 수 있다. 순방향 B 픽쳐에서는 일반적으로 L0 참조 픽쳐 리스트 및 L1 참조 픽쳐 리스트가 동일하게 설정될 수 있다. 이하 본 명세서에서, 순방향 B 픽쳐가 사용되는 경우에는 L0 참조 픽쳐 리스트 및 L1 참조 픽쳐 리스트가 동일하다고 가정한다.
복호화기는 L0 참조 픽쳐 리스트 및 L1 참조 픽쳐 리스트를 기반으로, 현재 픽쳐가 순방향 B 픽쳐인지 여부를 직접 판단할 수도 있으나, 부호화기로부터 전송된 정보를 기반으로 현재 픽쳐가 순방향 B 픽쳐인지 여부를 판단할 수도 있다. 예를 들어, 부호화기는 L0 참조 픽쳐 리스트 및 L1 참조 픽쳐 리스트가 동일한지 여부를 지시하는 플래그를 부호화하여 복호화기로 전송할 수 있다. 이 때, 복호화기는 상기 플래그를 수신하여 복호화한 후, 복호화된 플래그를 기반으로, 현재 픽쳐가 순방향 B 픽쳐인지 여부를 판단할 수 있다. 또 다른 예로, 부호화기는 순방향 B 픽쳐에 해당하는 NAL 유닛 타입 값 또는 슬라이스 타입 값을 복호화기로 전송할 수 있고, 복호화기는 상기 값을 수신하여 이를 기반으로 순방향 B 픽쳐 여부를 판단할 수도 있다.
도 6에 도시된 영상은 순방향 B 픽쳐를 사용하여 부호화된 영상이다. 따라서, 부호화된 영상 내의 각각의 블록은 최대 두 개의 움직임 정보를 가질 수 있다. 여기서, 움직임 정보는 참조 픽쳐 번호, 움직임 벡터 등을 포함할 수 있다. 도 6을 참조하면, 두 개의 움직임 정보를 갖는 블록들 중에서 L0 움직임 정보(예를 들어, 참조 픽쳐 번호, 움직임 벡터)와 L1 움직임 정보(예를 들어, 참조 픽쳐 번호, 움직임 벡터)가 동일한 블록이 다수 존재할 수 있다.
순방향 B 픽쳐에서 L0 움직임 정보(예를 들어, 참조 픽쳐 번호, 움직임 벡터)와 L1 움직임 정보(예를 들어, 참조 픽쳐 번호, 움직임 벡터)가 동일한 블록은, 시간적 움직임 정보 도출 방법에 기인하여 발생할 수 있다. 상술한 바와 같이, 시간적 움직임 정보는 이미 복원된 참조 픽쳐 내에서 현재 블록에 대응하는 콜 블록의 움직임 정보로부터 도출될 수 있다. 예를 들어, 현재 블록의 L0 시간적 움직임 정보를 도출할 때, 부호화기 및 복호화기는 참조 픽쳐 내에서 현재 블록에 대응하는 콜 블록의 L0 움직임 정보를 사용할 수 있다. 그러나, 상기 콜 블록에 L0 움직임 정보가 존재하지 않는 경우, 부호화기 및 복호화기는 상기 콜 블록의 L1 움직임 정보를 현재 블록의 L0 시간적 움직임 정보로 사용할 수 있다. 반대로, 현재 블록의 L1 시간적 움직임 정보를 도출할 때, 부호화기 및 복호화기는 참조 픽쳐 내에서 현재 블록에 대응하는 콜 블록의 L1 움직임 정보를 사용할 수 있다. 그러나, 상기 콜 블록에 L1 움직임 정보가 존재하지 않는 경우, 부호화기 및 복호화기는 상기 콜 블록의 L0 움직임 정보를 현재 블록의 L1 시간적 움직임 정보로 사용할 수 있다. 상술한 프로세스 수행 결과, 현재 블록의 L0 움직임 정보와 L1 움직임 정보가 동일해지는 현상이 발생할 수 있다.
또한, L0 움직임 정보와 L1 움직임 정보가 동일한 블록이 발생된 경우, 상기 블록은 이후에 부호화되는 블록에 영향을 미칠 수 있다. 예를 들어, 머지(merge)가 적용되는 경우, 복원된 주변 블록 및/또는 콜 블록의 움직임 정보(L0 움직임 정보 및 L1 움직임 정보)가 현재 블록의 움직임 정보로 그대로 사용될 수 있다. 따라서, L0 움직임 정보와 L1 움직임 정보가 동일한 블록이 발생된 경우, L0 움직임 정보와 L1 움직임 정보가 동일한 다른 블록이 더 많이 발생될 수 있다.
L0 움직임 정보와 L1 움직임 정보가 동일한 블록에 대해 움직임 보상이 수행되는 경우에는, 하나의 블록에서 동일한 프로세스가 두 번 반복하여 수행될 수 있다. 이는 부호화 관점에서 매우 비효율적이므로, 상술한 문제점을 해결하여 계산 복잡도를 감소시키고 부호화 효율을 향상시킬 수 있는 인터 예측 방법 및/또는 움직임 보상 방법이 제공될 수 있다. 일례로, L0 움직임 정보(예를 들어, 참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(예를 들어, 참조 픽쳐 번호 및 움직임 벡터)가 동일한 경우, 부호화기 및 복호화기는 움직임 보상 과정을 한 번만 수행함으로써 계산 복잡도를 감소시킬 수 있다.
도 7은 본 발명에 따른 인터 예측 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 7에서 현재 블록은 두 개의 움직임 정보(L0 움직임 정보 및 L1 움직임 정보)를 갖는다고 가정한다. L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한 경우, 부호화기 및 복호화기는 현재 블록에 대해 단방향 움직임 보상 과정을 수행함으로써 계산 복잡도를 감소시킬 수 있다.
도 7을 참조하면, 움직임 정보 판단 과정(710)에서는 L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한지 여부가 판단될 수 있다. 움직임 보상 과정은 상기 판단 결과에 따라 선택적으로 수행될 수 있다. 일례로, L0 참조 픽쳐 및 L1 참조 픽쳐가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일한 경우, 부호화기 및 복호화기는 단방향 움직임 보상 과정(720)을 수행할 수 있다. 그렇지 않으면 부호화기 및 복호화기는 양방향 움직임 보상 과정(730)을 수행할 수 있다.
단방향 움직임 보상 과정(720)에서, 부호화기 및 복호화기는 참조 픽쳐 버퍼로부터 획득한 L0 참조 픽쳐 및 L0 움직임 정보를 이용하여 현재 블록에 대한 L0 움직임 보상을 수행할 수 있다. 부호화기 및 복호화기는 L0 움직임 보상을 수행함으로써 L0 움직임 보상된 블록을 생성할 수 있다. 이 때, L0 움직임 보상된 블록은 현재 블록의 예측 블록에 해당될 수 있다.
양방향 움직임 보상 과정(730)에서, 부호화기 및 복호화기는 참조 픽쳐 버퍼로부터 획득한 L0 참조 픽쳐 및 L0 움직임 정보를 이용하여 현재 블록에 대해 L0 움직임 보상을 수행함으로써, L0 움직임 보상된 블록을 생성할 수 있다. 또한, 부호화기 및 복호화기는 참조 픽쳐 버퍼로부터 획득한 L1 참조 픽쳐 및 L1 움직임 정보를 이용하여 현재 블록에 대해 L1 움직임 보상을 수행함으로써, L1 움직임 보상된 블록을 생성할 수 있다.
양방향 움직임 보상 과정(730)이 적용되는 경우, 부호화기 및 복호화기는 L0 움직임 보상된 블록 및 L1 움직임 보상된 블록에 대해 가중치 평균을 수행하여, 최종적으로 하나의 움직임 보상된 블록을 생성할 수 있다. 일례로, 상기 가중치 평균은 픽셀 단위로 수행될 수 있으며, 예를 들어 L0 움직임 보상된 블록 내의 임의의 픽셀 및 이에 대응되는 L1 움직임 보상된 블록 내의 픽셀에 대해 수행될 수도 있다. 이 때, 최종적으로 생성된 하나의 움직임 보상된 블록은 현재 블록의 예측 블록에 해당될 수 있다.
상술한 실시예에서는 가중치 평균에 의해 최종 예측 블록이 생성되므로, 상술한 인터 예측 방법은 가중치 예측으로 불릴 수도 있다. 이하, 도 7에서와 같이 가중치 평균 과정에서 디폴트로 적용되거나 기본적으로 적용되는 가중치는 ‘디폴트(default) 가중치’라 한다. 디폴트 가중치만이 적용되는 예측은 가중치 예측이 아닌 것으로 평가될 수도 있으나, 본 명세서에서는 디폴트 가중치 외의 가중치가 별도로 또는 추가로 적용되는 ‘넌-디폴트(non-default) 가중치 예측’과 마찬가지로, 디폴트 가중치만이 적용되는 인터 예측도 가중치 예측이라 지칭하기로 한다. 다만, 넌-디폴트 가중치 예측(예를 들어, 후술되는 도 8의 가중치 예측)과 구별하기 위해, 이하 디폴트 가중치만이 적용되는 가중치 예측은 ‘디폴트(default) 가중치 예측’이라 한다.
도 8은 본 발명에 따른 인터 예측 방법의 다른 실시예를 개략적으로 나타내는 개념도이다.
도 8에서 현재 블록은 두 개의 움직임 정보(L0 움직임 정보 및 L1 움직임 정보)를 갖는다고 가정한다. 도 7에서 상술한 인터 예측 방법은 디폴트 가중치 예측 외에 도 8의 실시예와 같은 넌-디폴트 가중치 예측에도 동일하게 적용될 수 있다. 즉, L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한 경우, 부호화기 및 복호화기는 현재 블록에 대해 단방향 움직임 보상 과정을 수행함으로써 계산 복잡도를 감소시킬 수 있다.
도 8을 참조하면, 부호화기 및 복호화기는 현재 블록에 대해 넌-디폴트 가중치 예측이 사용되는지 또는 디폴트 가중치 예측이 사용되는지 여부를 판단할 수 있다(810). 일례로 이는 가중치 예측 인덱스에 의해 지시될 수 있다. 가중치 예측 인덱스의 구체적인 실시예는 후술하기로 한다.
넌-디폴트 가중치 예측이 사용되는 경우, 부호화기 및 복호화기는 움직임 보상을 수행함에 있어, 디폴트 가중치 외의 가중치를 L0 움직임 보상된 블록 및/또는 L1 움직임 보상된 블록에 적용할 수 있다. 이하, 디폴트 가중치가 아닌 가중치는 넌-디폴트 가중치라 한다.
예를 들어, 넌-디폴트 가중치 예측이 사용되는 경우, 움직임 정보 판단 과정(820)에서는 L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한지 여부가 판단될 수 있다. 움직임 보상 과정은 상기 판단 결과에 따라 선택적으로 수행될 수 있다. 일례로, L0 참조 픽쳐 및 L1 참조 픽쳐가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일한 경우, 부호화기 및 복호화기는 단방향 움직임 보상 과정(830)을 수행할 수 있다. 그렇지 않으면 부호화기 및 복호화기는 양방향 움직임 보상 과정(840)을 수행할 수 있다.
단방향 움직임 보상 과정(830)에서, 부호화기 및 복호화기는 참조 픽쳐 버퍼로부터 획득한 L0 참조 픽쳐 및 L0 움직임 정보를 이용하여 현재 블록에 대한 L0 움직임 보상을 수행할 수 있다. 이 때, 부호화기 및 복호화기는 L0 움직임 보상된 블록에 대해 소정의 넌-디폴트 가중치 및/또는 소정의 오프셋(offset)을 적용함으로써 최종 예측 블록을 생성할 수 있다. 소정의 넌-디폴트 가중치 및/또는 소정의 오프셋이 적용되는 L0 움직임 보상은 L0 가중치 움직임 보상으로 불릴 수도 있다. 마찬가지로, 소정의 넌-디폴트 가중치 및/또는 소정의 오프셋이 적용되는 L1 움직임 보상은 L1 가중치 움직임 보상으로 불릴 수 있다.
넌-디폴트 가중치 예측이 사용되는 경우, 단방향 움직임 보상 과정(830)이 수행되는 방법은 다양하게 정해질 수 있다. 이하, 후술되는 실시예들에서 LX 움직임 정보(X는 0 또는 1)에 대응되는 넌-디폴트 가중치는 LX 가중치라 하고, LX 움직임 정보에 대응되는 오프셋은 LX 오프셋이라 한다.
상술한 바와 같이, 단방향 움직임 보상 과정(830)에서, 부호화기 및 복호화기는 참조 픽쳐 버퍼로부터 획득한 L0 참조 픽쳐 및 L0 움직임 정보를 이용하여 현재 블록에 대한 L0 움직임 보상을 수행할 수 있다. 부호화기 및 복호화기는 현재 블록에 대해 L0 움직임 보상을 수행함으로써 L0 움직임 보상된 블록을 생성할 수 있다. 이 때 일례로, 부호화기 및 복호화기는 상기 L0 움직임 보상된 블록(및/또는 상기 블록 내의 각각의 픽셀)에 대해 L0 가중치를 적용하고, L0 오프셋을 더하여 최종 예측 블록을 생성할 수 있다. 다른 예로, 부호화기 및 복호화기는 상기 L0 움직임 보상된 블록(및/또는 상기 블록 내의 각각의 픽셀)에 L0 가중치 및 L1 가중치를 더한 값을 곱하고 L0 오프셋 및 L1 오프셋 값을 더한 후, 전체에 대한 평균값을 구함으로써 최종 예측 블록을 생성할 수 있다. 또 다른 예로, 부호화기 및 복호화기는 상기 L0 움직임 보상된 블록(및/또는 상기 블록 내의 각각의 픽셀)에 L0 가중치를 곱하고 L0 오프셋 및 L1오프셋의 평균값을 더함으로써 최종 예측 블록을 생성할 수 있다. 단방향 움직임 보상(830) 수행 방법은 상술한 실시예에 한정되는 것은 아니며, 구현 및/또는 필요에 따라 다른 다양한 방법으로 정해질 수 있다.
넌-디폴트 가중치 예측이 사용되는 경우, 양방향 움직임 보상 과정(840)에서는 L0 가중치 움직임 보상 과정 및 L1 가중치 움직임 보상 과정이 모두 수행될 수 있다. L0 가중치 움직임 보상 과정에서, 부호화기 및 복호화기는 참조 픽쳐 버퍼로부터 획득한 L0 참조 픽쳐 및 L0 움직임 정보를 이용하여 L0 움직임 보상된 블록을 생성할 수 있다. 이 때, 부호화기 및 복호화기는 상기 L0 움직임 보상된 블록에 L0 가중치를 적용하여 L0 가중치 움직임 보상된 블록을 생성할 수 있다. 또한, L1 가중치 움직임 보상 과정에서, 부호화기 및 복호화기는 참조 픽쳐 버퍼로부터 획득한 L1 참조 픽쳐 및 L1 움직임 정보를 이용하여 L1 움직임 보상된 블록을 생성할 수 있다. 이 때, 부호화기 및 복호화기는 상기 L1 움직임 보상된 블록에 L1 가중치를 적용하여 L1 가중치 움직임 보상된 블록을 생성할 수 있다.
넌-디폴트 가중치 예측에서 양방향 움직임 보상 과정(840)이 적용되는 경우, 부호화기 및 복호화기는 L0 가중치 움직임 보상된 블록, L0 오프셋, L1 가중치 움직임 보상된 블록 및 L1 오프셋에 기반하여 가중치 평균을 수행함으로써, 최종적으로 하나의 움직임 보상된 블록을 생성할 수 있다. 일례로, 상기 가중치 평균은 L0 움직임 보상된 블록 및 L1 움직임 보상된 블록 내의 픽셀 단위로 수행될 수 있다. 이 때, 최종적으로 생성된 하나의 움직임 보상된 블록은 현재 블록의 예측 블록에 해당될 수 있다.
상술한 양방향 움직임 보상 과정(840)에서는 L0 움직임 보상 과정에서 L0 가중치가 적용되고 L1 움직임 보상 과정에서 L1 가중치가 적용되는 것으로 서술되고 있으나, 양방향 움직임 보상(840) 방법은 상술한 실시예에 한정되지 않는다. 예를 들어, L0 가중치 및 L1 가중치는 L0, L1 움직임 보상 과정이 아닌 가중치 평균 과정에서, 각각 L0 움직임 보상된 블록 및 L1 움직임 보상된 블록에 대해 적용될 수도 있다.
디폴트 가중치 예측이 사용되는 경우에는 상술한 도 7의 실시예에서와 같은 일반적인 움직임 보상 과정이 수행될 수 있다.
예를 들어, 디폴트 가중치 예측이 사용되는 경우, 움직임 정보 판단 과정(850)에서는 L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한지 여부가 판단될 수 있다. 움직임 보상 과정은 상기 판단 결과에 따라 선택적으로 수행될 수 있다. 일례로, L0 참조 픽쳐 및 L1 참조 픽쳐가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일한 경우, 부호화기 및 복호화기는 단방향 움직임 보상 과정(860)을 수행할 수 있다. 그렇지 않으면 부호화기 및 복호화기는 양방향 움직임 보상 과정(870)을 수행할 수 있다.
단방향 움직임 보상 과정(860)에서, 부호화기 및 복호화기는 참조 픽쳐 버퍼로부터 획득한 L0 참조 픽쳐 및 L0 움직임 정보를 이용하여 현재 블록에 대한 L0 움직임 보상을 수행할 수 있다. 부호화기 및 복호화기는 L0 움직임 보상을 수행함으로써 L0 움직임 보상된 블록을 생성할 수 있다. 이 때, L0 움직임 보상된 블록은 현재 블록의 예측 블록에 해당될 수 있다.
양방향 움직임 보상 과정(870)에서, 부호화기 및 복호화기는 참조 픽쳐 버퍼로부터 획득한 L0 참조 픽쳐 및 L0 움직임 정보를 이용하여 현재 블록에 대해 L0 움직임 보상을 수행함으로써, L0 움직임 보상된 블록을 생성할 수 있다. 또한, 부호화기 및 복호화기는 참조 픽쳐 버퍼로부터 획득한 L1 참조 픽쳐 및 L1 움직임 정보를 이용하여 현재 블록에 대해 L1 움직임 보상을 수행함으로써, L1 움직임 보상된 블록을 생성할 수 있다.
양방향 움직임 보상 과정(870)이 적용되는 경우, 부호화기 및 복호화기는 L0 움직임 보상된 블록 및 L1 움직임 보상된 블록에 대해 가중치 평균을 수행하여, 최종적으로 하나의 움직임 보상된 블록을 생성할 수 있다. 일례로, 상기 가중치 평균은 픽셀 단위로 수행될 수 있으며, 예를 들어 L0 움직임 보상된 블록 내의 임의의 픽셀 및 이에 대응되는 L1 움직임 보상된 블록 내의 픽셀에 대해 수행될 수도 있다. 이 때, 최종적으로 생성된 하나의 움직임 보상된 블록은 현재 블록의 예측 블록에 해당될 수 있다.
상술한 실시예에서는, L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한 경우, 단방향 움직임 보상 과정이 수행되는 것으로 서술되고 있으나, 본 발명은 이에 한정되는 것은 아니다. 예를 들어, L0 움직임 정보와 L1 움직임 정보가 동일한 경우, 부호화기 및 복호화기는 양방향 움직임 보상을 수행할 수도 있다.
이하, 복호화기 입장에서 도 7 및 도 8의 실시예에 따른 인터 예측 및/또는 움직임 보상 과정의 실시예들이 서술된다.
상술한 바와 같이, 현재 블록에 대해 넌-디폴트 가중치 예측이 적용되는지 또는 디폴트 가중치 예측이 적용되는지 여부는 가중치 예측 인덱스에 의해 지시될 수 있다. 후술되는 실시예에서, weighted_bipred_idc는 상기 가중치 예측 인덱스를 의미할 수 있다. 예를 들어, weighted_bipred_idc 값이 ‘0’일 때에는 현재 블록에 대해 디폴트 가중치 예측이 수행될 수 있다. 또한, weighted_bipred_idc 값이 ‘1’일 때에는 명시적(explicit) 넌-디폴트 가중치 예측이 수행될 수 있고, weighted_bipred_idc 값이 ‘2’일 때에는 묵시적(implicit) 넌-디폴트 가중치 예측이 수행될 수 있다.
또한, 후술되는 실시예에서 사용되는 Clip1H에서, 루마(luma) 성분 신호의 경우에 H는 Y로 대체될 수 있고, 크로마(chroma) 성분 신호의 경우에 H는 C로 대체될 수 있다. Clip1Y, Clip1C 및 Clip3는 각각 다음 수학식 1에서와 같은 의미를 가질 수 있다.
[수학식 1]
Figure pat00001
여기서, BitDepthY는 루마 성분의 비트 깊이를 나타낼 수 있다. 그리고 BitDepthC는 크로마 성분의 비트 깊이를 나타낼 수 있다.
또한, 후술되는 실시예에서 변수 shift1은 일례로 14-bitDepth의 값을 가질 수 있으며, 변수 shift2는 일례로 15-bitDepth의 값을 가질 수 있다. 그리고 변수 offset1은 1 << (shift1-1)의 값을 가질 수 있고, offset2는 1 << (shift2-1)의 값을 가질 수 있다.
1. 디폴트 가중치 샘플 예측의 실시예
이하, 복호화기 입장에서 도 7의 실시예에 따른 디폴트 가중치 예측(디폴트 가중치 샘플 예측으로도 불릴 수 있음.)의 일 실시예가 서술된다. 상기 디폴트 가중치 예측 프로세스는 상술한 weighted_bipred_idc의 값이 ‘0’일 때 수행될 수 있다. 또한, 후술되는 실시예들에서 ‘픽셀’은 ‘샘플’로 지칭될 수도 있다.
상기 디폴트 가중치 예측 프로세스를 위한 입력에는, 현재 CU의 최좌상단 샘플을 기준으로 한 현재 PU의 최좌상단 샘플의 위치 (xB, yB), 현재 PU의 폭과 높이를 지시하는 변수 (nPSW, nPSH), 샘플에 대한 L0 움직임 벡터 mvL0, 샘플에 대한 L1 움직임 벡터 mvL1, L0 참조 픽쳐 인덱스 refIdxL0, L1 참조 픽쳐 인덱스 refIdxL1, L0 예측이 수행되는지(L0 참조 픽쳐 리스트가 사용되는지) 여부를 지시하는 플래그 predFlagL0, L1 예측이 수행되는지(L1 참조 픽쳐 리스트가 사용되는지) 여부를 지시하는 플래그 predFlagL1, 샘플의 비트 깊이를 나타내는 bitDepth 등이 있을 수 있다. 여기서, L0 참조 픽쳐 인덱스는 L0 참조 픽쳐 리스트에 포함된 참조 픽쳐들 중에서 현재 PU의 인터 예측에 사용되는 참조 픽쳐를 지시하는 인덱스를 나타내고, L1 참조 픽쳐 인덱스는 L1 참조 픽쳐 리스트에 포함된 참조 픽쳐들 중에서 현재 PU의 인터 예측에 사용되는 참조 픽쳐를 지시하는 인덱스를 나타낼 수 있다. 또한, L0 예측은 L0 참조 픽쳐 리스트로부터 선택된 참조 픽쳐를 사용하는 인터 예측을 의미하고, L1 예측은 L1 참조 픽쳐 리스트로부터 선택된 참조 픽쳐를 사용하는 인터 예측을 의미할 수 있다. 상기 프로세스의 출력은 (nPSW)x(nPSH) 크기의 예측 블록 내의 예측 샘플 값 predSamples[x, y]일 수 있다.
복호화기는 mvL0, mvL1, refIdxL0, refIdxL1, PredFlagL0, PredFlagL1 등에 기반하여 다음과 같이 predSamples[x, y] 값을 도출할 수 있다.
만일 PredFlagL0가 1이고 PredFlagL1가 0이라면, 복호화기는 다음 과정을 수행할 수 있다.
predSamples[x, y] = Clip3(0, (1 << bitDepth) - 1, (predSamplesL0[x, y] + offset1) >> shift1)
그렇지 않고, 만일 PredFlagL0가 0이고 PredFlagL1가 1이라면, 복호화기는 다음 과정을 수행할 수 있다.
predSamples[x, y] = Clip3(0, (1 << bitDepth) - 1, (predSamplesL1[x, y] + offset1) >> shift1)
그렇지 않고, 만일 PredFlagL0가 1이고 PredFlagL1가 1이고, 움직임 벡터 mvL0와 mvL1이 동일하고, RefPicOrderCnt(currPic, refIdxL0, L0)와 RefPicOrderCnt(currPic, refIdxL1, L1)이 동일하다면(즉, L0 참조 픽쳐 번호와 L1 참조 픽쳐 번호가 동일하다면), 복호화기는 다음 과정을 수행할 수 있다.
predSamples[x, y] = Clip3(0, (1 << bitDepth) - 1, (predSamplesL0[x, y] + offset1) >> shift1)
그렇지 않다면, 복호화기는 다음 과정을 수행할 수 있다.
predSamples[x, y] = Clip3(0, (1 << bitDepth) - 1, (predSamplesL0[x, y] + predSamplesL1[x, y] + offset2) >> shift2)
2. 넌-디폴트 가중치 샘플 예측의 실시예(방법 1)
이하, 복호화기 입장에서 도 8의 실시예에 따른 넌-디폴트 가중치 예측(넌-디폴트 가중치 샘플 예측으로도 불릴 수 있음.)의 일 실시예가 서술된다. 상기 넌-디폴트 가중치 예측 프로세스는 상술한 weighted_bipred_idc의 값이 ‘0’이 아닐 때 수행될 수 있다.
상기 넌-디폴트 가중치 예측 프로세스를 위한 입력에는, 현재 CU의 최좌상단 샘플을 기준으로 한 현재 PU의 최좌상단 샘플의 위치 (xB, yB), 현재 PU의 폭과 높이를 지시하는 변수 (nPSW, nPSH), 샘플에 대한 L0 움직임 벡터 mvL0, 샘플에 대한 L1 움직임 벡터 mvL1, L0 참조 픽쳐 인덱스 refIdxL0, L1 참조 픽쳐 인덱스 refIdxL1, L0 예측이 수행되는지(L0 참조 픽쳐 리스트가 사용되는지) 여부를 지시하는 플래그 predFlagL0, L1 예측이 수행되는지(L1 참조 픽쳐 리스트가 사용되는지) 여부를 지시하는 플래그 predFlagL1, 샘플의 비트 깊이를 나타내는 bitDepth 및 가중치 예측 변수인 logWDC, w0C, w1C, o0C, 01C 등이 있을 수 있다. 여기서, C는 루마 성분의 경우 L을 나타내고, 크로마 Cb 성분의 경우 Cb를 나타내고, 크로마 Cr 성분의 경우, Cr을 나타낼 수 있다. 또한, logWDC는 가중치 팩터(weighting factor)의 분모를 나타낼 수 있고, w0C는 L0 가중치 값, w1C는 L1 가중치 값, o0C는 L0 오프셋 값, o1C는 L1 오프셋 값을 나타낼 수 있다. 상기 프로세스의 출력은 (nPSW)x(nPSH) 크기의 예측 블록 내의 예측 샘플 값 predSamples[x, y]일 수 있다.
복호화기는 mvL0, mvL1, refIdxL0, refIdxL1, PredFlagL0, PredFlagL1 등에 기반하여 다음과 같이 predSamples[x, y] 값을 도출할 수 있다.
만일 PredFlagL0가 1이고 PredFlagL1가 0이라면, 복호화기는 다음 과정을 수행할 수 있다.
일례로, logWDC 값이 1 이상이면 predSamples[x, y] 값은 다음과 같이 도출될 수 있다.
predSamples[x, y] = Clip1H(((predSamplesL0[x, y] * w0C + 2logWDC - 1) >> logWDC) + o0C)
다른 예로, logWDC 값이 1 미만이면 predSamples[x, y] 값은 다음과 같이 도출될 수 있다.
predSamples[x, y] = Clip1H(predSamplesL0[x, y] * w0C + o0C)
그렇지 않고, 만일 PredFlagL0가 0이고 PredFlagL1가 1이라면 복호화기는 다음 과정을 수행할 수 있다.
일례로, logWDC 값이 1 이상이면 predSamples[x, y] 값은 다음과 같이 도출될 수 있다.
predSamples[x, y] = Clip1H(((predSamplesL1[x, y] * w1C + 2logWDC - 1) >> logWDC) + o1C)
다른 예로, logWDC 값이 1 미만이면 predSamples[x, y] 값은 다음과 같이 도출될 수 있다.
predSamples[x, y] = Clip1H(predSamplesL1[x, y] * w1C + o1C)
그렇지 않고, 만일 PredFlagL0가 1이고 PredFlagL1가 1이고, 움직임 벡터 mvL0와 mvL1이 동일하고, RefPicOrderCnt(currPic, refIdxL0, L0)와 RefPicOrderCnt(currPic, refIdxL1, L1)이 동일하다면(즉, L0 참조 픽쳐 번호와 L1 참조 픽쳐 번호가 동일하다면), 복호화기는 다음 과정을 수행할 수 있다.
predSamples[x, y] = Clip1H(((predSamplesL0[x, y] * (w0C + w1C) + 2logWDC) >> (logWDC + 1)) + ((o0C + o1C + 1) >> 1))
그렇지 않다면, 복호화기는 다음 과정을 수행할 수 있다.
predSamples[x, y] = Clip1H(((predSamplesL0[x, y] * w0C + predSamplesL1[x, y] * w1C + 2logWDC) >> (logWDC + 1)) + ((o0C + o1C + 1) >> 1))
3. 넌-디폴트 가중치 샘플 예측의 실시예(방법 2)
이하, 복호화기 입장에서 도 8의 실시예에 따른 넌-디폴트 가중치 예측(넌-디폴트 가중치 샘플 예측으로도 불릴 수 있음.)의 다른 실시예가 서술된다. 상기 넌-디폴트 가중치 예측 프로세스는 상술한 weighted_bipred_idc의 값이 ‘0’이 아닐 때 수행될 수 있다.
상기 넌-디폴트 가중치 예측 프로세스를 위한 입력에는, 현재 CU의 최좌상단 샘플을 기준으로 한 현재 PU의 최좌상단 샘플의 위치 (xB, yB), 현재 PU의 폭과 높이를 지시하는 변수 (nPSW, nPSH), 샘플에 대한 L0 움직임 벡터 mvL0, 샘플에 대한 L1 움직임 벡터 mvL1, L0 참조 픽쳐 인덱스 refIdxL0, L1 참조 픽쳐 인덱스 refIdxL1, L0 예측이 수행되는지(L0 참조 픽쳐 리스트가 사용되는지) 여부를 지시하는 플래그 predFlagL0, L1 예측이 수행되는지(L1 참조 픽쳐 리스트가 사용되는지) 여부를 지시하는 플래그 predFlagL1, 샘플의 비트 깊이를 나타내는 bitDepth 및 가중치 예측 변수인 logWDC, w0C, w1C, o0C, 01C 등이 있을 수 있다. 여기서, C는 루마 성분의 경우 L을 나타내고, 크로마 Cb 성분의 경우 Cb를 나타내고, 크로마 Cr 성분의 경우, Cr을 나타낼 수 있다. 또한, logWDC는 가중치 팩터(weighting factor)의 분모를 나타낼 수 있고, w0C는 L0 가중치 값, w1C는 L1 가중치 값, o0C는 L0 오프셋 값, o1C는 L1 오프셋 값을 나타낼 수 있다. 상기 프로세스의 출력은 (nPSW)x(nPSH) 크기의 예측 블록 내의 예측 샘플 값 predSamples[x, y]일 수 있다.
복호화기는 mvL0, mvL1, refIdxL0, refIdxL1, PredFlagL0, PredFlagL1 등에 기반하여 다음과 같이 predSamples[x, y] 값을 도출할 수 있다.
만일 PredFlagL0가 1이고 PredFlagL1가 0이라면, 복호화기는 다음 과정을 수행할 수 있다.
일례로, logWDC 값이 1 이상이면 predSamples[x, y] 값은 다음과 같이 도출될 수 있다.
predSamples[x, y] = Clip1H(((predSamplesL0[x, y] * w0C + 2logWDC - 1) >> logWDC) + o0C)
다른 예로, logWDC 값이 1 미만이면 predSamples[x, y] 값은 다음과 같이 도출될 수 있다.
predSamples[x, y] = Clip1H(predSamplesL0[x, y] * w0C + o0C)
그렇지 않고, 만일 PredFlagL0가 0이고 PredFlagL1가 1이라면 복호화기는 다음 과정을 수행할 수 있다.
일례로, logWDC 값이 1 이상이면 predSamples[x, y] 값은 다음과 같이 도출될 수 있다.
predSamples[x, y] = Clip1H(((predSamplesL1[x, y] * w1C + 2logWDC - 1) >> logWDC) + o1C)
다른 예로, logWDC 값이 1 미만이면 predSamples[x, y] 값은 다음과 같이 도출될 수 있다.
predSamples[x, y] = Clip1H(predSamplesL1[x, y] * w1C + o1C)
그렇지 않고, 만일 PredFlagL0가 1이고 PredFlagL1가 1이고, 움직임 벡터 mvL0와 mvL1이 동일하고, RefPicOrderCnt(currPic, refIdxL0, L0)와 RefPicOrderCnt(currPic, refIdxL1, L1)이 동일하다면(즉, L0 참조 픽쳐 번호와 L1 참조 픽쳐 번호가 동일하다면), 복호화기는 다음 과정을 수행할 수 있다.
일례로, logWDC 값이 1 이상이면 predSamples[x, y] 값은 다음과 같이 도출될 수 있다.
predSamples[x, y] = Clip1H(((predSamplesL0[x, y] * w0C + 2logWDC-1) >> logWDC) + o0C)
다른 예로, logWDC 값이 1 미만이면 predSamples[x, y] 값은 다음과 같이 도출될 수 있다.
predSamples[x, y] = Clip1H(predSamplesL0[x, y] * w0C + o0C)
그렇지 않다면, 복호화기는 다음 과정을 수행할 수 있다.
predSamples[x, y] = Clip1H(((predSamplesL0[x, y] * w0C + predSamplesL1[x, y] * w1C + 2logWDC) >> (logWDC + 1)) + ((o0C + o1C + 1) >> 1))
도 9는 도 7의 실시예에 따른 디폴트 가중치 예측을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다.
도 9의 실시예에 따른 인터 예측 장치는 L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)를 입력 받아, 현재 블록에 대한 예측 블록을 생성할 수 있다. 상기 인터 예측 장치는 움직임 정보 판단부(910), 단방향 움직임 보상부(920) 및 양방향 움직임 보상부(930)를 포함할 수 있다. 여기서, 단방향 움직임 보상부(920)는 L0 움직임 보상부(925)를 포함할 수 있고, 양방향 움직임 보상부(930)는 L0 움직임 부상부(933), L1 움직임 보상부(936) 및 가중치 평균부(939)를 포함할 수 있다.
도 9에서 현재 블록은 두 개의 움직임 정보(L0 움직임 정보 및 L1 움직임 정보)를 갖는다고 가정한다. L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한 경우, 상기 인터 예측 장치는 현재 블록에 대해 단방향 움직임 보상 과정을 수행함으로써 계산 복잡도를 감소시킬 수 있다.
도 9를 참조하면, 움직임 정보 판단부(910)는 L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한지 여부를 판단할 수 있다. 움직임 보상 과정은 상기 판단 결과에 따라 선택적으로 수행될 수 있다. 일례로, L0 참조 픽쳐 및 L1 참조 픽쳐가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일한 경우, 인터 예측 장치는 단방향 움직임 보상부(920)에 의한 단방향 움직임 보상 과정을 수행할 수 있다. 그렇지 않으면 인터 예측 장치는 양방향 움직임 보상부(930)에 의한 양방향 움직임 보상 과정을 수행할 수 있다. 단방향 움직임 보상 과정에서 단방향 움직임 보상부(920)는 L0 움직임 정보를 입력 받아, 단방향 움직임 보상을 수행하고, 양방향 움직임 보상 과정에서 양방향 움직임 보상부(930)는 L0 움직임 정보 및 L1 움직임 정보를 입력 받아 양방향 움직임 보상을 수행할 수 있다.
단방향 움직임 보상 과정에서 L0 움직임 보상부(925)는 L0 참조 픽쳐 및 L0 움직임 정보를 기반으로 현재 블록에 대한 L0 움직임 보상을 수행할 수 있다. L0 움직임 보상부(925)는 L0 움직임 보상을 수행함으로써 L0 움직임 보상된 블록을 생성할 수 있다. 이 때, L0 움직임 보상된 블록은 현재 블록의 예측 블록에 해당될 수 있다.
양방향 움직임 보상 과정에서 L0 움직임 보상부(933)는 L0 참조 픽쳐 및 L0 움직임 정보를 기반으로 현재 블록에 대한 L0 움직임 보상을 수행함으로써, L0 움직임 보상된 블록을 생성할 수 있다. 또한, L1 움직임 보상부(936)는 L1 참조 픽쳐 및 L1 움직임 정보를 기반으로 현재 블록에 대한 L1 움직임 보상을 수행함으로써, L1 움직임 보상된 블록을 생성할 수 있다. 여기서, 고정확도 움직임 보상이 적용되는 경우, L0 움직임 보상부(933)는 L0 HA(High Accuracy) 움직임 보상부로 불릴 수 있고, L1 움직임 보상부(936)는 L1 HA 움직임 보상부로 불릴 수도 있다.
가중치 평균부(939)는 L0 움직임 보상된 블록 및 L1 움직임 보상된 블록에 대해 가중치 평균을 수행하여, 최종적으로 하나의 움직임 보상된 블록을 생성할 수 있다. 여기서, 고정확도 움직임 보상이 적용되는 경우, 가중치 평균부(939)는 HA 가중치 평균부로 불릴 수 있다. 이 때, 최종적으로 생성된 하나의 움직임 보상된 블록은 현재 블록의 예측 블록에 해당될 수 있다.
상술한 인터 예측 장치는, L0 움직임 정보와 L1 움직임 정보가 동일한 경우, 현재 블록에 대해 움직임 보상 과정을 한 번만 수행할 수 있다. 따라서, 상기 인터 예측 장치는 계산 복잡도를 감소시킬 수 있다.
도 10은 본 발명에 따른 인터 예측 방법의 또 다른 실시예를 개략적으로 나타내는 흐름도이다.
도 10의 실시예에서, 움직임 정보는 예측 방향 정보, L0 참조 픽쳐 번호, L1 참조 픽쳐 번호, L0 움직임 벡터 및 L1 움직임 벡터 등을 포함할 수 있다. 도 10의 프로세스에 입력되는 움직임 정보의 예측 방향 정보는 양방향 예측을 지시하고, 현재 블록은 두 개의 움직임 정보(L0 움직임 정보 및 L1 움직임 정보)를 갖는다고 가정한다. 이 때, L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한 경우, 부호화기 및 복호화기는 L0 움직임 정보만을 현재 블록의 움직임 정보로 사용함으로써 계산 복잡도를 감소시킬 수 있다.
도 10을 참조하면, 부호화기 및 복호화기는 L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한지 여부를 판단할 수 있다(S1010). 즉, 부호화기 및 복호화기는 L0 참조 픽쳐 번호 및 L1 참조 픽쳐 번호가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일한지 여부를 판단할 수 있다.
L0 참조 픽쳐 번호와 L1 참조 픽쳐 번호가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일한 경우, 부호화기 및 복호화기는 현재 블록의 예측 방향 정보를 단방향 예측으로 다시 설정할 수 있다(S1020). 이 때, 현재 블록 이후에 부호화 또는 복호화되는 블록이 상기 현재 블록의 예측 방향 정보를 이용하는 경우, 상기 현재 블록 이후에 부호화 또는 복호화되는 블록의 예측 방향 정보는 양방향 예측이 아닌 단방향 예측으로 설정될 수 있다. 또한 이 때, 부호화기 및 복호화기는 L0 움직임 정보만을 현재 블록의 움직임 정보로 사용할 수 있다. 예를 들어, 부호화기 및 복호화기는 L0 움직임 정보에 기반하여 현재 블록에 대해 단방향 움직임 보상을 수행함으로써, 예측 블록을 생성할 수 있다.
L0 참조 픽쳐 번호와 L1 참조 픽쳐 번호가 동일하지 않거나 및/또는 L0 움직임 벡터와 L1 움직임 벡터가 동일하지 않은 경우, 부호화기 및 복호화기는 L0 움직임 정보 및 L1 움직임 정보를 현재 블록의 움직임 정보로 사용할 수 있다(S1030). 예를 들어, 부호화기 및 복호화기는 L0 움직임 정보 및 L1 움직임 정보에 기반하여 현재 블록에 대해 양방향 움직임 보상을 수행함으로써, 예측 블록을 생성할 수 있다.
한편, 상술한 실시예에서는 L0 움직임 정보와 L1 움직임 정보의 동일성을 기반으로 예측 방향 정보가 설정되지만, 부호화기 및 복호화기는 현재 블록의 크기를 기반으로 예측 방향 정보를 설정할 수도 있다.
일 실시예로, 부호화기 및 복호화기는 현재 블록의 크기가 소정의 크기보다 작은지 여부를 판단할 수 있다. 여기서, 상기 현재 블록은 CU, PU 및/또는 TU일 수 있으며, 상기 소정의 크기는 예를 들어 8x8, 16x16 또는 32x32 등 중에서 하나일 수 있다.
현재 블록의 크기가 소정의 크기보다 작은 경우, 부호화기 및 복호화기는 현재 블록의 예측 방향 정보를 단방향 예측으로 다시 설정할 수 있다. 예를 들어, 부호화기 및 복호화기는 L0 움직임 정보 및 L1 움직임 정보 중에서 L0 움직임 정보만을 현재 블록의 움직임 정보로 설정할 수 있다. 이를 위해, 부호화기 및 복호화기는 현재 블록의 움직임 정보 중에서 L1 움직임 정보 값을 제거하거나 0 및/또는 1로 설정하는 방법을 이용할 수도 있다. 이 때, 부호화기 및 복호화기는 L0 움직임 정보만을 현재 블록의 움직임 정보로 사용할 수 있다. 예를 들어, 부호화기 및 복호화기는 L0 움직임 정보에 기반하여 현재 블록에 대해 단방향 움직임 보상을 수행함으로써, 예측 블록을 생성할 수 있다.
현재 블록의 크기가 소정의 크기 이상인 경우, 부호화기 및 복호화기는 L0 움직임 정보 및 L1 움직임 정보를 현재 블록의 움직임 정보로 사용할 수 있다. 예를 들어, 부호화기 및 복호화기는 L0 움직임 정보 및 L1 움직임 정보에 기반하여 현재 블록에 대해 양방향 움직임 보상을 수행함으로써, 예측 블록을 생성할 수 있다.
도 11은 도 10의 실시예에 따른 인터 예측을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다.
도 11의 실시예에 따른 인터 예측 장치는 움직임 정보 판단부(1110), L0 움직임 정보 및 L1 움직임 정보 등록부(1120) 및 예측 방향 정보 재설정 및 L0 움직임 정보 등록부(1130)를 포함할 수 있다.
도 11의 실시예에서, 움직임 정보는 예측 방향 정보, L0 참조 픽쳐 번호, L1 참조 픽쳐 번호, L0 움직임 벡터 및 L1 움직임 벡터 등을 포함할 수 있다. 도 11의 움직임 정보 판단부(1110)에 입력되는 움직임 정보의 예측 방향 정보는 양방향 예측을 지시하고, 현재 블록은 두 개의 움직임 정보(L0 움직임 정보 및 L1 움직임 정보)를 갖는다고 가정한다. L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한 경우, 상기 인터 예측 장치는 L0 움직임 정보만을 현재 블록의 움직임 정보로 사용함으로써 계산 복잡도를 감소시킬 수 있다.
도 11을 참조하면, 움직임 정보 판단부(1110)는 L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한지 여부를 판단할 수 있다. 즉, 움직임 정보 판단부(1110)는 L0 참조 픽쳐 번호 및 L1 참조 픽쳐 번호가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일한지 여부를 판단할 수 있다.
L0 참조 픽쳐 번호와 L1 참조 픽쳐 번호가 동일하지 않거나 및/또는 L0 움직임 벡터와 L1 움직임 벡터가 동일하지 않은 경우에는, L0 움직임 정보 및 L1 움직임 정보 등록부(1120)에 의한 동작 및/또는 연산이 수행될 수 있다. L0 움직임 정보 및 L1 움직임 정보 등록부(1120)는 L0 움직임 정보 및 L1 움직임 정보를 현재 블록에 대해 사용되는 움직임 정보로 결정할 수 있다. 이 경우, 일례로 부호화기 및 복호화기는 L0 움직임 정보 및 L1 움직임 정보에 기반하여 현재 블록에 대해 양방향 움직임 보상을 수행함으로써, 예측 블록을 생성할 수 있다.
L0 참조 픽쳐 번호와 L1 참조 픽쳐 번호가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일한 경우에는, 예측 방향 정보 재설정 및 L0 움직임 정보 등록부(1130)에 의한 동작 및/또는 연산이 수행될 수 있다. L0 참조 픽쳐 번호와 L1 참조 픽쳐 번호가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일한 경우, 예측 방향 정보 재설정 및 L0 움직임 정보 등록부(1130)는 현재 블록의 예측 방향 정보를 단방향 예측으로 다시 설정할 수 있다. 이 때, 현재 블록 이후에 부호화 또는 복호화되는 블록이 상기 현재 블록의 예측 방향 정보를 이용하는 경우, 상기 현재 블록 이후에 부호화 또는 복호화되는 블록의 예측 방향 정보는 양방향 예측이 아닌 단방향 예측으로 설정될 수 있다. 또한 이 때, 예측 방향 정보 재설정 및 L0 움직임 정보 등록부(1130)는 L0 움직임 정보만을 현재 블록에 대해 사용되는 움직임 정보로 결정할 수 있다. 이 경우, 일례로 부호화기 및 복호화기는 L0 움직임 정보에 기반하여 현재 블록에 대해 단방향 움직임 보상을 수행함으로써, 예측 블록을 생성할 수 있다.
한편, 상술한 실시예에서는 L0 움직임 정보와 L1 움직임 정보의 동일성을 기반으로 예측 방향 정보가 설정되지만, 인터 예측 장치는 현재 블록의 크기를 기반으로 예측 방향 정보를 설정할 수도 있다.
*일 실시예로, 움직임 정보 판단부(1110)는 현재 블록의 크기가 소정의 크기보다 작은지 여부를 판단할 수 있다. 여기서, 상기 현재 블록은 CU, PU 및/또는 TU일 수 있으며, 상기 소정의 크기는 예를 들어 8x8, 16x16 또는 32x32 등 중에서 하나일 수 있다.
현재 블록의 크기가 소정의 크기 이상인 경우에는, L0 움직임 정보 및 L1 움직임 정보 등록부(1120)에 의한 동작 및/또는 연산이 수행될 수 있다. L0 움직임 정보 및 L1 움직임 정보 등록부(1120)는 L0 움직임 정보 및 L1 움직임 정보를 현재 블록에 대해 사용되는 움직임 정보로 결정할 수 있다. 이 경우, 일례로 부호화기 및 복호화기는 L0 움직임 정보 및 L1 움직임 정보에 기반하여 현재 블록에 대해 양방향 움직임 보상을 수행함으로써, 예측 블록을 생성할 수 있다.
현재 블록의 크기가 소정의 크기보다 작은 경우에는, 예측 방향 정보 재설정 및 L0 움직임 정보 등록부(1130)에 의한 동작 및/또는 연산이 수행될 수 있다. 현재 블록의 크기가 소정의 크기보다 작은 경우, 예측 방향 정보 재설정 및 L0 움직임 정보 등록부(1130)는 현재 블록의 예측 방향 정보를 단방향 예측으로 다시 설정할 수 있다. 예를 들어, 예측 방향 정보 재설정 및 L0 움직임 정보 등록부(1130)는 L0 움직임 정보 및 L1 움직임 정보 중에서 L0 움직임 정보만을 현재 블록의 움직임 정보로 설정할 수 있다. 이를 위해, 예측 방향 정보 재설정 및 L0 움직임 정보 등록부(1130)는 현재 블록의 움직임 정보 중에서 L1 움직임 정보 값을 제거하거나 0 및/또는 1로 설정하는 방법을 이용할 수도 있다. 이 때, 예측 방향 정보 재설정 및 L0 움직임 정보 등록부(1130)는 L0 움직임 정보만을 현재 블록에 대해 사용되는 움직임 정보로 결정할 수 있다. 이 경우, 일례로 부호화기 및 복호화기는 L0 움직임 정보에 기반하여 현재 블록에 대해 단방향 움직임 보상을 수행함으로써, 예측 블록을 생성할 수 있다.
도 12는 본 발명에 따른 인터 예측 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다. 도 12는 디폴트 가중치 예측이 적용되는 경우의 실시예를 도시한다. 도 12에서 현재 블록은 두 개의 움직임 정보(L0 움직임 정보 및 L1 움직임 정보)를 갖는다고 가정한다.
도 12를 참조하면, 움직임 정보 및 참조 픽쳐 판단 과정(1210)에서는 L0 움직임 정보(L0 움직임 벡터 및 L0 참조 픽쳐 번호), L1 움직임 정보(L1 움직임 벡터 및 L1 참조 픽쳐 번호) 및/또는 L1 참조 픽쳐 리스트를 기반으로 단방향 움직임 보상이 수행되는지 또는 양방향 움직임 보상이 수행되는지 여부가 결정될 수 있다. 움직임 정보 및 참조 픽쳐 판단 과정(1210)에서는 L0 움직임 정보(L0 움직임 벡터 및 L0 참조 픽쳐 번호)와 L1 움직임 정보(L1 움직임 벡터 및 L1 참조 픽쳐 번호)가 동일한지 여부가 판단될 수 있다. 움직임 보상 과정은 상기 판단 결과에 따라 선택적으로 수행될 수 있다.
일례로, L0 참조 픽쳐 및 L1 참조 픽쳐가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일할 때, 부호화기 및 복호화기는 L1 참조 픽쳐 리스트에 포함된 참조 픽쳐의 개수가 1개 이하인 경우 단방향 움직임 보상 과정(1220)을 수행할 수 있고, L1 참조 픽쳐 리스트에 포함된 참조 픽쳐의 개수가 2개 이상인 경우 양방향 움직임 보상 과정(1230)을 수행할 수 있다.
L0 참조 픽쳐 및 L1 참조 픽쳐가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일하고 L1 참조 픽쳐 리스트에 포함된 참조 픽쳐의 개수가 2개 이상인 경우, 부호화기 및 복호화기는 L1 참조 픽쳐 리스트 내의 참조 픽쳐 중에서 상기 L1 참조 픽쳐를 제외한 다른 하나의 참조 픽쳐를 새로운 L1 참조 픽쳐로 설정할 수 있다. 이 경우에는, 기존의 L1 참조 픽쳐가 아닌 새로이 설정된 L1 참조 픽쳐를 기반으로 양방향 움직임 보상 과정(1230)이 수행될 수 있다. 또한 이 때, 부호화기 및 복호화기는 상기 L1 움직임 벡터를 그대로 사용할 수도 있고, 새로이 설정된 L1 참조 픽쳐에서 새로운 L1 움직임 벡터를 찾아서 기존의 L1 움직임 벡터 대신 양방향 움직임 보상(1230)에 사용할 수도 있다.
또한, L0 참조 픽쳐와 L1 참조 픽쳐가 동일하지 않거나 및/또는 L0 움직임 벡터와 L1 움직임 벡터가 동일하지 않은 경우, 부호화기 및 복호화기는 양방향 움직임 보상 과정(1230)을 수행할 수 있다.
단방향 움직임 보상 과정(1220)에서, 부호화기 및 복호화기는 L0 참조 픽쳐 및 L0 움직임 정보를 이용하여 현재 블록에 대한 L0 움직임 보상을 수행할 수 있다. 부호화기 및 복호화기는 L0 움직임 보상을 수행함으로써 L0 움직임 보상된 블록을 생성할 수 있다. 이 때, L0 움직임 보상된 블록은 현재 블록의 예측 블록에 해당될 수 있다.
*양방향 움직임 보상 과정(1230)에서, 부호화기 및 복호화기는 L0 참조 픽쳐 및 L0 움직임 정보를 이용하여 현재 블록에 대해 L0 움직임 보상을 수행함으로써, L0 움직임 보상된 블록을 생성할 수 있다. 또한, 부호화기 및 복호화기는 L1 참조 픽쳐 및 L1 움직임 정보를 이용하여 현재 블록에 대해 L1 움직임 보상을 수행함으로써, L1 움직임 보상된 블록을 생성할 수 있다.
양방향 움직임 보상 과정(1230)이 적용되는 경우, 부호화기 및 복호화기는 L0 움직임 보상된 블록 및 L1 움직임 보상된 블록에 대해 가중치 평균을 수행하여, 최종적으로 하나의 움직임 보상된 블록을 생성할 수 있다. 이 때, 최종적으로 생성된 하나의 움직임 보상된 블록은 현재 블록의 예측 블록에 해당될 수 있다.
도 13은 본 발명에 따른 인터 예측 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 13에서 현재 블록은 두 개의 움직임 정보(L0 움직임 정보 및 L1 움직임 정보)를 갖는다고 가정한다. 도 12에서 상술한 인터 예측 방법은 디폴트 가중치 예측 외에 도 13의 실시예와 같은 넌-디폴트 가중치 예측에도 동일하거나 유사한 방법으로 적용될 수 있다.
*도 13을 참조하면, 부호화기 및 복호화기는 현재 블록에 대해 넌-디폴트 가중치 예측이 사용되는지 또는 디폴트 가중치 예측이 사용되는지 여부를 판단할 수 있다(1310). 일례로 이는 가중치 예측 인덱스에 의해 지시될 수 있다. 가중치 예측 인덱스의 구체적인 실시예는 상술한 바 있으므로, 생략하기로 한다.
넌-디폴트 가중치 예측이 사용되는 경우, 움직임 정보 판단 과정(1320)에서는 L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한지 여부가 판단될 수 있다. 움직임 보상 과정은 상기 판단 결과에 따라 선택적으로 수행될 수 있다.
일례로, L0 참조 픽쳐 및 L1 참조 픽쳐가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일할 때, 부호화기 및 복호화기는 L1 참조 픽쳐 리스트에 포함된 참조 픽쳐의 개수가 1개 이하인 경우 단방향 움직임 보상 과정(1330)을 수행할 수 있고, L1 참조 픽쳐 리스트에 포함된 참조 픽쳐의 개수가 2개 이상인 경우 양방향 움직임 보상 과정(1340)을 수행할 수 있다.
L0 참조 픽쳐 및 L1 참조 픽쳐가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일하고 L1 참조 픽쳐 리스트에 포함된 참조 픽쳐의 개수가 2개 이상인 경우, 부호화기 및 복호화기는 L1 참조 픽쳐 리스트 내의 참조 픽쳐 중에서 상기 L1 참조 픽쳐를 제외한 다른 하나의 참조 픽쳐를 새로운 L1 참조 픽쳐로 설정할 수 있다. 이 경우에는, 기존의 L1 참조 픽쳐가 아닌 새로이 설정된 L1 참조 픽쳐를 기반으로 양방향 움직임 보상 과정(1340)이 수행될 수 있다. 또한 이 때, 부호화기 및 복호화기는 상기 L1 움직임 벡터를 그대로 사용할 수도 있고, 새로이 설정된 L1 참조 픽쳐에서 새로운 L1 움직임 벡터를 찾아서 기존의 L1 움직임 벡터 대신 양방향 움직임 보상(1340)에 사용할 수도 있다.
넌-디폴트 가중치 예측이 사용되는 경우, 부호화기 및 복호화기는 움직임 보상을 수행함에 있어, 디폴트 가중치 외의 가중치, 즉 넌-디폴트 가중치를 L0 움직임 보상된 블록 및/또는 L1 움직임 보상된 블록에 적용할 수 있다. 넌-디폴트 가중치 예측이 적용되는 경우의 단방향 움직임 보상(1330) 및 양방향 움직임 보상(1340) 수행 과정은, 상술한 내용을 제외하고는 도 8에서와 동일하므로, 여기서는 생략하기로 한다.
디폴트 가중치 예측이 적용되는 경우에는, 상술한 도 12의 실시예에서와 동일한 움직임 보상 과정이 수행될 수 있다. 따라서, 디폴트 가중치 예측이 적용되는 경우의 움직임 보상 과정의 구체적인 실시예는, 여기서는 생략하기로 한다.
상술한 도 12, 도 13의 인터 예측 방법에서는, L0 움직임 정보와 L1 움직임 정보가 동일한 블록의 경우, L0 참조 픽쳐 및 이와 동일하지 않은 L1 참조 픽쳐를 기반으로 양방향 움직임 보상이 수행될 수 있다. 따라서, 상기 인터 예측 방법에서는 동일한 프로세스가 반복하여 수행되는 문제점이 해결될 수 있고, 부호화/복호화 효율이 향상될 수 있다.
도 14는 도 12의 실시예에 따른 디폴트 가중치 예측을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다.
도 14에서 현재 블록은 두 개의 움직임 정보(L0 움직임 정보 및 L1 움직임 정보)를 갖는다고 가정한다. 도 14의 실시예에 따른 인터 예측 장치는 L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터), L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터) 및 L1 참조 픽쳐 리스트를 입력 받아, 현재 블록에 대한 예측 블록을 생성할 수 있다. 상기 인터 예측 장치는 움직임 정보 및 참조 픽쳐 판단부(1410), 단방향 움직임 보상부(1420) 및 양방향 움직임 보상부(1430)를 포함할 수 있다. 여기서, 단방향 움직임 보상부(1420)는 L0 움직임 보상부(1425)를 포함할 수 있고, 양방향 움직임 보상부(1430)는 L0 움직임 부상부(1433), L1 움직임 보상부(1436) 및 가중치 평균부(1439)를 포함할 수 있다.
도 14를 참조하면, 움직임 정보 및 참조 픽쳐 판단부(1410)는 L0 움직임 정보(L0 움직임 벡터 및 L0 참조 픽쳐 번호), L1 움직임 정보(L1 움직임 벡터 및 L1 참조 픽쳐 번호) 및/또는 L1 참조 픽쳐 리스트를 기반으로 단방향 움직임 보상이 수행되는지 또는 양방향 움직임 보상이 수행되는지 여부를 결정할 수 있다.
일례로, L0 참조 픽쳐 및 L1 참조 픽쳐가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일할 때, 상기 인터 예측 장치는 L1 참조 픽쳐 리스트에 포함된 참조 픽쳐의 개수가 1개 이하인 경우 단방향 움직임 보상부(1420)에 의한 단방향 움직임 보상 과정을 수행할 수 있고, L1 참조 픽쳐 리스트에 포함된 참조 픽쳐의 개수가 2개 이상인 경우 양방향 움직임 보상부(1430)에 의한 양방향 움직임 보상 과정을 수행할 수 있다.
L0 참조 픽쳐 및 L1 참조 픽쳐가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일하고 L1 참조 픽쳐 리스트에 포함된 참조 픽쳐의 개수가 2개 이상인 경우, 움직임 정보 및 참조 픽쳐 판단부(1410)는 L1 참조 픽쳐 리스트 내의 참조 픽쳐 중에서 상기 L1 참조 픽쳐를 제외한 다른 하나의 참조 픽쳐를 새로운 L1 참조 픽쳐로 설정할 수 있다. 이 경우에는, 기존의 L1 참조 픽쳐가 아닌 새로이 설정된 L1 참조 픽쳐를 기반으로 양방향 움직임 보상 과정이 수행될 수 있다. 또한 이 때, 상기 인터 예측 장치는 상기 L1 움직임 벡터를 그대로 사용할 수도 있고, 새로이 설정된 L1 참조 픽쳐에서 새로운 L1 움직임 벡터를 찾아서 기존의 L1 움직임 벡터 대신 양방향 움직임 보상에 사용할 수도 있다.
또한, L0 참조 픽쳐와 L1 참조 픽쳐가 동일하지 않거나 및/또는 L0 움직임 벡터와 L1 움직임 벡터가 동일하지 않은 경우, 상기 인터 예측 장치는 양방향 움직임 보상부(1430)에 의한 양방향 움직임 보상 과정을 수행할 수 있다.
단방향 움직임 보상 과정에서 L0 움직임 보상부(1425)는 L0 참조 픽쳐 및 L0 움직임 정보를 기반으로 현재 블록에 대한 L0 움직임 보상을 수행할 수 있다. L0 움직임 보상부(1425)는 L0 움직임 보상을 수행함으로써 L0 움직임 보상된 블록을 생성할 수 있다. 이 때, L0 움직임 보상된 블록은 현재 블록의 예측 블록에 해당될 수 있다.
양방향 움직임 보상 과정에서 L0 움직임 보상부(1433)는 L0 참조 픽쳐 및 L0 움직임 정보를 기반으로 현재 블록에 대한 L0 움직임 보상을 수행함으로써, L0 움직임 보상된 블록을 생성할 수 있다. 또한, L1 움직임 보상부(1436)는 L1 참조 픽쳐 및 L1 움직임 정보를 기반으로 현재 블록에 대한 L1 움직임 보상을 수행함으로써, L1 움직임 보상된 블록을 생성할 수 있다. 여기서, 고정확도 움직임 보상이 적용되는 경우, L0 움직임 보상부(1433)는 L0 HA(High Accuracy) 움직임 보상부로 불릴 수 있고, L1 움직임 보상부(1436)는 L1 HA 움직임 보상부로 불릴 수도 있다.
가중치 평균부(1439)는 L0 움직임 보상된 블록 및 L1 움직임 보상된 블록에 대해 가중치 평균을 수행하여, 최종적으로 하나의 움직임 보상된 블록을 생성할 수 있다. 여기서, 고정확도 움직임 보상이 적용되는 경우, 가중치 평균부(1439)는 HA 가중치 평균부로 불릴 수 있다. 이 때, 최종적으로 생성된 하나의 움직임 보상된 블록은 현재 블록의 예측 블록에 해당될 수 있다.
상술한 인터 예측 장치는, L0 움직임 정보와 L1 움직임 정보가 동일한 경우, L0 참조 픽쳐 및 이와 동일하지 않은 L1 참조 픽쳐를 기반으로, 현재 블록에 대해 양방향 움직임 보상을 수행할 수 있다. 따라서, 상기 인터 예측 장치는 부호화/복호화 효율을 향상시킬 수 있다.
도 15는 현재 블록에 대해 머지(merge)가 적용되는 경우, 본 발명에 따른 머지 후보 결정 방법의 일 실시예를 개략적으로 나타내는 흐름도이다. 여기서, 머지 후보는 움직임 정보 후보로도 불릴 수 있다. 이하, L0 움직임 정보에 대응하는 머지 후보는 L0 머지 후보라 하고, L1 움직임 정보에 대응하는 머지 후보는 L1 머지 후보라 한다.
상술한 바와 같이, 머지(merge)가 적용되는 경우, 부호화기 및 복호화기는 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보가 존재하는 경우, 이를 현재 블록에 대한 머지 후보로 결정하거나 등록할 수 있다. 도 15는 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보가 현재 블록에 대한 머지 후보로 결정되거나 등록되는 과정을 도시한다. 도 15의 실시예에서, 움직임 정보는 예측 방향 정보, L0 참조 픽쳐 번호, L1 참조 픽쳐 번호, L0 움직임 벡터 및 L1 움직임 벡터 등을 포함할 수 있다. 또한 이하, 참조 블록은 복원된 주변 블록 및/또는 콜 블록을 의미할 수 있고, 참조 움직임 정보는 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보를 의미할 수 있다.
머지 후보가 결정되거나 등록되면, 부호화기는 상기 결정되거나 등록된 머지 후보 중에서 최적의 부호화 효율을 제공할 수 있는 머지 후보를 현재 블록에 대한 움직임 정보로 선택할 수 있다. 이 때, 상기 선택된 머지 후보를 지시하는 머지 인덱스가 비트스트림에 포함되어 복호화기로 전송될 수 있다. 복호화기는 상기 전송된 머지 인덱스를 이용하여, 상기 결정되거나 등록된 머지 후보 중에서 하나의 머지 후보를 선택할 수 있고, 상기 선택된 머지 후보를 현재 블록의 움직임 정보로 결정할 수 있다.
L0 움직임 정보와 L1 움직임 정보가 동일한 블록이 발생된 경우, 상기 발생된 블록은 이후에 부호화되는 블록에 영향을 미칠 수 있다. 예를 들어, 머지(merge)가 적용되는 경우, 상술한 바와 같이 복원된 주변 블록 및/또는 콜 블록의 움직임 정보(L0 움직임 정보 및 L1 움직임 정보)가 현재 블록의 움직임 정보로 그대로 사용될 수 있다. 따라서, L0 움직임 정보와 L1 움직임 정보가 동일한 블록이 발생된 경우, L0 움직임 정보와 L1 움직임 정보가 동일한 다른 블록이 더 많이 발생될 수 있다.
상술한 문제점을 해결하기 위해, 참조 블록의 L0 움직임 정보(L0 참조 픽쳐 번호, L0 움직임 벡터)와 L1 움직임 정보(L1 참조 픽쳐 번호, L1 움직임 벡터)가 동일한 경우, 부호화기 및 복호화기는 상기 참조 블록의 L0 움직임 정보만을 현재 블록의 머지 후보로 결정하거나 등록할 수 있다.
도 15를 참조하면, 부호화기 및 복호화기는 현재 블록에 대한 머지 후보의 예측 방향을 참조 블록의 예측 방향으로 설정할 수 있다(S1510). 상술한 바와 같이, 예측 방향 정보는 예측이 수행되는 블록에 대해 단방향 예측이 적용되는지 또는 양방향 예측이 적용되는지 여부를 지시하는 정보를 의미할 수 있다. 따라서, 상기 예측 방향은 단방향 예측 또는 양방향 예측에 해당될 수 있다. 또한, 부호화기 및 복호화기는 현재 블록에 대한 참조 블록의 L0 움직임 정보를 현재 블록에 대한 L0 머지 후보로 결정하거나 등록할 수 있다(S1520).
다시 도 15를 참조하면, 부호화기 및 복호화기는 현재 픽쳐가 B 픽쳐인지 여부를 판단할 수 있다(S1530). 여기서, 현재 픽쳐는 현재 블록을 포함하는 픽쳐를 의미할 수 있다. 현재 픽쳐가 B 픽쳐가 아닌 경우, 부호화기 및 복호화기는 L1 머지 후보 결정 과정을 수행하지 않을 수 있다. 현재 픽쳐가 B 픽쳐인 경우, 부호화기 및 복호화기는 참조 블록의 L0 움직임 정보와 참조 블록의 L1 움직임 정보가 동일한지 여부를 판단할 수 있다(S1540).
참조 블록의 L0 움직임 정보와 참조 블록의 L1 움직임 정보가 동일한 경우, 부호화기 및 복호화기는 현재 블록에 대한 머지 후보의 예측 방향을 단방향 예측으로 설정할 수 있다(S1550). 이 때, 부호화기 및 복호화기는 참조 블록의 L1 움직임 정보를 현재 블록에 대한 L1 머지 후보로 등록하지 않을 수 있다. 즉, 이 경우에는 참조 블록의 L0 움직임 정보만이 현재 블록에 대한 머지 후보로 결정되거나 등록될 수 있다. 참조 블록의 L0 움직임 정보와 참조 블록의 L1 움직임 정보가 동일하지 않은 경우, 부호화기 및 복호화기는 현재 블록에 대한 머지 후보의 예측 방향을 양방향 예측으로 설정할 수 있고, 참조 블록의 L1 움직임 정보를 현재 블록에 대한 L1 머지 후보로 결정하거나 등록할 수 있다(S1560).
도 16은 도 15의 실시예에 따른 머지 후보 결정 과정을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다. 도 16의 인터 예측 장치는 예측 방향 설정부(1610), L0 머지 후보 결정부(1620), 움직임 정보 판단부(1630), L1 머지 후보 결정부(1640) 및 예측 방향 재설정부(1650)를 포함할 수 있다.
도 16의 실시예에 따른 인터 예측 장치는 참조 블록의 L0 움직임 정보, 참조 블록의 L1 움직임 정보 및 참조 블록의 예측 방향 정보를 기반으로, 현재 블록에 대한 머지 후보를 결정할 수 있다. 이 때, 상기 인터 예측 장치는, 참조 블록의 L0 움직임 정보(L0 참조 픽쳐 번호, L0 움직임 벡터)와 L1 움직임 정보(L1 참조 픽쳐 번호, L1 움직임 벡터)가 동일한 경우, 상기 참조 블록의 L0 움직임 정보만을 현재 블록의 머지 후보로 결정하거나 등록할 수 있다. 도 16의 실시예에서, 움직임 정보는 L0 참조 픽쳐 번호, L1 참조 픽쳐 번호, L0 움직임 벡터 및 L1 움직임 벡터 등을 포함할 수 있다.
도 16을 참조하면, 예측 방향 설정부(1610)는 현재 블록에 대한 머지 후보의 예측 방향을 참조 블록의 예측 방향으로 설정할 수 있다. 또한, L0 머지 후보 결정부(1620)는 참조 블록의 L0 움직임 정보를 현재 블록에 대한 L0 머지 후보로 결정하거나 등록할 수 있다. 움직임 정보 판단부(1630)는 참조 블록의 L0 움직임 정보와 참조 블록의 L1 움직임 정보가 동일한지 여부를 판단할 수 있다.
참조 블록의 L0 움직임 정보와 참조 블록의 L1 움직임 정보가 동일하지 않은 경우, L1 머지 후보 결정부(1640)는 참조 블록의 L1 움직임 정보를 현재 블록에 대한 L1 머지 후보로 결정하거나 등록할 수 있다. 참조 블록의 L0 움직임 정보와 참조 블록의 L1 움직임 정보가 동일한 경우, 예측 방향 재설정부(1650)는 현재 블록에 대한 머지 후보의 예측 방향을 단방향 예측으로 설정할 수 있다. 이 때, 인터 예측 장치는 참조 블록의 L1 움직임 정보를 현재 블록에 대한 L1 머지 후보로 등록하지 않을 수 있다. 즉, 이 경우에는 참조 블록의 L0 움직임 정보만이 현재 블록에 대한 머지 후보로 결정되거나 등록될 수 있다.
도 17은 본 발명에 따른 시간적 움직임 정보 도출 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
상술한 바와 같이, AMVP 및 머지 모드에서는 현재 블록의 움직임 정보를 도출하기 위해, 복원된 주변 블록의 움직임 정보 및/또는 콜(col) 블록의 움직임 정보가 사용될 수 있다. 여기서, 콜 블록으로부터 도출되는 움직임 정보는 시간적 움직임 정보로 불릴 수 있다.
시간적 움직임 정보는 이미 복원된 참조 픽쳐 내에서 현재 블록에 대응하는 콜 블록의 움직임 정보로부터 도출될 수 있다. 예를 들어, 현재 블록의 L0 시간적 움직임 정보를 도출할 때, 부호화기 및 복호화기는 참조 픽쳐 내에서 현재 블록에 대응하는 콜 블록의 L0 움직임 정보를 사용할 수 있다. 그러나, 상기 콜 블록에 L0 움직임 정보가 존재하지 않는 경우, 부호화기 및 복호화기는 상기 콜 블록의 L1 움직임 정보를 현재 블록의 L0 시간적 움직임 정보로 사용할 수 있다. 반대로, 현재 블록의 L1 시간적 움직임 정보를 도출할 때, 부호화기 및 복호화기는 참조 픽쳐 내에서 현재 블록에 대응하는 콜 블록의 L1 움직임 정보를 사용할 수 있다. 그러나, 상기 콜 블록에 L1 움직임 정보가 존재하지 않는 경우, 부호화기 및 복호화기는 상기 콜 블록의 L0 움직임 정보를 현재 블록의 L1 시간적 움직임 정보로 사용할 수 있다. 상술한 프로세스 수행 결과, 현재 블록의 L0 움직임 정보와 L1 움직임 정보가 동일해지는 현상이 발생할 수 있다.
상술한 문제점을 해결하기 위해, 리스트 정보에 따라 현재 블록에 대한 시간적 움직임 정보를 도출하는 시간적 움직임 정보 도출 방법이 제공될 수 있다. 도 17의 실시예에서, 리스트 정보는 콜 블록에 L0 움직임 정보 및/또는 L1 움직임 정보가 존재하는지 여부를 나타내는 정보를 의미할 수 있다.
도 17을 참조하면, 부호화기 및 복호화기는 현재 블록에 대한 콜 블록에 L0 움직임 정보가 존재하는지 여부를 판단할 수 있다(S1710). 콜 블록의 L0 움직임 정보가 존재하는 경우, 부호화기 및 복호화기는 상기 콜 블록의 L0 움직임 정보를 현재 블록에 대한 L0 시간적 움직임 정보로 결정하거나 설정할 수 있다(S1720). 콜 블록에 L0 움직임 정보가 존재하지 않는 경우, 일례로 부호화기 및 복호화기는 L0 시간적 움직임 정보를 설정하지 않을 수 있다. 즉, 이 경우에는 L0 시간적 움직임 정보가 도출되지 않을 수 있다. 이 때, 현재 블록의 인터 예측에 사용되는 시간적 움직임 정보는 L0 시간적 움직임 정보를 포함하지 않을 수 있다. 콜 블록에 L0 움직임 정보가 존재하지 않는 경우, 다른 예로 부호화기 및 복호화기는 콜 블록의 L1 움직임 정보를 현재 블록에 대한 L0 시간적 움직임 정보로 설정하거나, 움직임 벡터 (0,0)을 현재 블록에 대한 L0 시간적 움직임 벡터로 설정할 수도 있다.
다시 도 17을 참조하면, 부호화기 및 복호화기는 현재 픽쳐가 B 픽쳐인지 여부를 판단할 수 있다(S1730). 현재 픽쳐가 B 픽쳐가 아닌 경우, 부호화기 및 복호화기는 시간적 움직임 정보 도출 과정을 종료할 수 있다. 현재 픽쳐가 B 픽쳐인 경우, 부호화기 및 복호화기는 현재 블록에 대한 L1 움직임 정보 설정 과정을 수행할 수 있다.
현재 픽쳐가 B 픽쳐인 경우, 부호화기 및 복호화기는 현재 블록에 대한 콜 블록에 L1 움직임 정보가 존재하는지 여부를 판단할 수 있다(S1740). 콜 블록의 L1 움직임 정보가 존재하는 경우, 부호화기 및 복호화기는 상기 콜 블록의 L1 움직임 정보를 현재 블록에 대한 L1 시간적 움직임 정보로 결정하거나 설정할 수 있다(S1750). 콜 블록에 L1 움직임 정보가 존재하지 않는 경우, 일례로 부호화기 및 복호화기는 L1 시간적 움직임 정보를 설정하지 않을 수 있다. 즉, 이 경우에는 L1 시간적 움직임 정보가 도출되지 않을 수 있다. 이 때, 현재 블록의 인터 예측에 사용되는 시간적 움직임 정보는 L1 시간적 움직임 정보를 포함하지 않을 수 있다. 콜 블록에 L1 움직임 정보가 존재하지 않는 경우, 다른 예로 부호화기 및 복호화기는 움직임 벡터 (0,0)을 현재 블록에 대한 L1 시간적 움직임 벡터로 설정할 수도 있다.
도 18은 도 17의 실시예에 따른 시간적 움직임 정보 도출 과정을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다. 도 18의 실시예에 따른 인터 예측 장치는 예측 방향 설정부(1810), L0 움직임 정보 판단부(1820), L0 시간적 움직임 정보 설정부(1830), 픽쳐 판단부(1840), L1 움직임 정보 판단부(1850) 및 L1 시간적 움직임 정보 설정부(1860)를 포함할 수 있다.
도 18의 실시예에 따른 인터 예측 장치는 리스트 정보에 따라 현재 블록에 대한 시간적 움직임 정보를 도출할 수 있다. 도 18의 실시예에서, 리스트 정보는 콜 블록에 L0 움직임 정보 및/또는 L1 움직임 정보가 존재하는지 여부를 나타내는 정보를 의미할 수 있다.
도 18을 참조하면, 예측 방향 설정부(1810)는 현재 블록에 대한 시간적 움직임 정보의 예측 방향을 콜 블록의 예측 방향으로 설정할 수 있다. L0 움직임 정보 판단부(1820)는 현재 블록에 대한 콜 블록에 L0 움직임 정보가 존재하는지 여부를 판단할 수 있다. 콜 블록의 L0 움직임 정보가 존재하는 경우, L0 시간적 움직임 정보 설정부(1830)는 상기 콜 블록의 L0 움직임 정보를 현재 블록에 대한 L0 시간적 움직임 정보로 결정하거나 설정할 수 있다. 콜 블록에 L0 움직임 정보가 존재하지 않는 경우, 일례로 인터 예측 장치는 L0 시간적 움직임 정보를 설정하지 않을 수 있다. 즉, 이 경우에는 L0 시간적 움직임 정보가 도출되지 않을 수 있다. 이 때, 현재 블록의 인터 예측에 사용되는 시간적 움직임 정보는 L0 시간적 움직임 정보를 포함하지 않을 수 있다. 콜 블록에 L0 움직임 정보가 존재하지 않는 경우, 다른 예로 인터 예측 장치는 콜 블록의 L1 움직임 정보를 현재 블록에 대한 L0 시간적 움직임 정보로 설정하거나, 움직임 벡터 (0,0)을 현재 블록에 대한 L0 시간적 움직임 벡터로 설정할 수도 있다.
픽쳐 판단부(1840)는 현재 픽쳐가 B 픽쳐인지 여부를 판단할 수 있다. 현재 픽쳐가 B 픽쳐가 아닌 경우, 인터 예측 장치는 시간적 움직임 정보 도출 과정을 종료할 수 있다. 이 때, 인터 예측 장치는 현재 블록에 대한 시간적 움직임 정보의 예측 방향을 단방향 예측으로 설정한 후, 시간적 움직임 정보 도출 과정을 종료할 수도 있다. 현재 픽쳐가 B 픽쳐인 경우, 인터 예측 장치는 현재 블록에 대한 L1 움직임 정보 설정 과정을 수행할 수 있다.
현재 픽쳐가 B 픽쳐인 경우, L1 움직임 정보 판단부(1850)는 현재 블록에 대한 콜 블록에 L1 움직임 정보가 존재하는지 여부를 판단할 수 있다. 콜 블록의 L1 움직임 정보가 존재하는 경우, L1 시간적 움직임 정보 설정부(1860)는 상기 콜 블록의 L1 움직임 정보를 현재 블록에 대한 L1 시간적 움직임 정보로 결정하거나 설정할 수 있다. 콜 블록에 L1 움직임 정보가 존재하지 않는 경우, 일례로 인터 예측 장치는 L1 시간적 움직임 정보를 설정하지 않을 수 있다. 즉, 이 경우에는 L1 시간적 움직임 정보가 도출되지 않을 수 있다. 이 때, 현재 블록의 인터 예측에 사용되는 시간적 움직임 정보는 L1 시간적 움직임 정보를 포함하지 않을 수 있다. 콜 블록에 L1 움직임 정보가 존재하지 않는 경우, 다른 예로 인터 예측 장치는 움직임 벡터 (0,0)을 현재 블록에 대한 L1 시간적 움직임 벡터로 설정할 수도 있다.
도 19는 본 발명에 따른 현재 블록의 시간적 움직임 정보 도출 방법의 다른 실시예를 개략적으로 나타내는 흐름도이다.
상술한 바와 같이, 시간적 움직임 정보는 이미 복원된 참조 픽쳐 내에서 현재 블록에 대응하는 콜 블록의 움직임 정보로부터 도출될 수 있다. 콜 블록으로부터 도출되는 시간적 움직임 정보에는 예측 방향 정보, L0 참조 픽쳐 번호, L1 참조 픽쳐 번호, L0 움직임 벡터 및 L1 움직임 벡터 등이 있을 수 있다. 이 때, 콜 블록으로부터 도출된 L0 시간적 움직임 정보(L0 참조 픽쳐 번호, L0 움직임 벡터)와 L1 시간적 움직임 정보(L1 참조 픽쳐 번호, L1 움직임 벡터)가 서로 동일한 경우가 발생할 수 있다. L0 시간적 움직임 정보와 L1 시간적 움직임 정보가 동일한 경우, 즉 L0 참조 픽쳐 번호와 L1 참조 픽쳐 번호가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일한 경우, 부호화기 및 복호화기는 L0 시간적 움직임 정보만을 현재 블록에 대한 시간적 움직임 정보로 사용할 수 있다.
도 19를 참조하면, 부호화기 및 복호화기는 콜 블록으로부터 도출된 시간적 움직임 정보에서 L0 시간적 움직임 정보와 L1 시간적 움직임 정보가 동일한지 여부, 즉 L0 참조 픽쳐 번호와 L1 참조 픽쳐 번호가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일한지 여부를 판단할 수 있다(S1910).
L0 시간적 움직임 정보와 L1 시간적 움직임 정보가 동일하지 않은 경우, 부호화기 및 복호화기는 콜 블록으로부터 도출된 시간적 움직임 정보를 그대로 현재 블록에 대한 시간적 움직임 정보로 사용할 수 있다. AMVP가 적용되는 경우, 상기 현재 블록의 시간적 움직임 정보는 현재 블록에 대한 예측 움직임 벡터 후보로 결정되거나 등록될 수 있다. 또한, 머지가 적용되는 경우, 상기 현재 블록의 시간적 움직임 정보는 현재 블록에 대한 머지 후보로 결정되거나 등록될 수 있다.
L0 시간적 움직임 정보와 L1 시간적 움직임 정보가 동일한 경우, 부호화기 및 복호화기는 현재 블록에 대한 시간적 움직임 정보의 예측 방향을 단방향 예측으로 설정할 수 있고, 콜 블록으로부터 도출된 시간적 움직임 정보 중에서 L0 시간적 움직임 정보만을 현재 블록에 대한 시간적 움직임 정보로 사용할 수 있다(S1920). 이 때, AMVP가 적용되는 경우에는, 상기 L0 시간적 움직임 정보만이 현재 블록에 대한 예측 움직임 벡터 후보로 결정되거나 등록될 수 있다. 또한, 머지가 적용되는 경우에는, 상기 L0 시간적 움직임 정보만이 현재 블록에 대한 머지 후보로 결정되거나 등록될 수 있다.
한편, 현재 블록에 대한 L0 참조 픽쳐 리스트와 L1 참조 픽쳐 리스트가 동일한 경우도 있을 수 있다. 예를 들어, 현재 블록이 순방향 B 픽쳐 및/또는 순방향 B 슬라이스 내의 블록인 경우, 현재 블록에 대한 L0 참조 픽쳐 리스트와 L1 참조 픽쳐 리스트가 동일할 수 있다. 이 경우, 현재 블록의 L0 시간적 움직임 정보와 L1 시간적 움직임 정보가 동일한 경우가 발생하는 것을 방지하기 위해, 부호화기 및 복호화기는 콜 블록으로부터 도출되는 시간적 움직임 정보의 예측 방향을 모두 단방향 예측으로 설정할 수 있다. 이 때, 부호화기는 콜 블록으로부터 도출되는 시간적 움직임 정보 중에서 L0 시간적 움직임 정보만을 현재 블록에 대한 시간적 움직임 정보로 사용할 수 있다. 이 때, 상술한 바와 같이 AMVP가 적용되는 경우에는, 상기 L0 시간적 움직임 정보만이 현재 블록에 대한 예측 움직임 벡터 후보로 결정되거나 등록될 수 있다. 또한, 머지가 적용되는 경우에는, 상기 L0 시간적 움직임 정보만이 현재 블록에 대한 머지 후보로 결정되거나 등록될 수 있다.
도 20은 도 19의 실시예에 따른 시간적 움직임 정보 도출 과정을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다. 도 20의 실시예에 따른 인터 예측 장치는 시간적 움직임 정보 판단부(2010), 예측 방향 재설정부(2020) 및 L0 시간적 움직임 정보 설정부(2030)를 포함할 수 있다.
상술한 바와 같이, 시간적 움직임 정보는 이미 복원된 참조 픽쳐 내에서 현재 블록에 대응하는 콜 블록의 움직임 정보로부터 도출될 수 있다. 콜 블록으로부터 도출되는 시간적 움직임 정보에는 예측 방향 정보, L0 참조 픽쳐 번호, L1 참조 픽쳐 번호, L0 움직임 벡터 및 L1 움직임 벡터 등이 있을 수 있다. 이 때, L0 시간적 움직임 정보와 L1 시간적 움직임 정보가 동일한 경우, 즉 L0 참조 픽쳐 번호와 L1 참조 픽쳐 번호가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일한 경우, 상기 인터 예측 장치는 L0 시간적 움직임 정보만을 현재 블록에 대한 시간적 움직임 정보로 사용할 수 있다.
도 20을 참조하면, 시간적 움직임 정보 판단부(2010)는 콜 블록으로부터 도출된 시간적 움직임 정보에서 L0 시간적 움직임 정보와 L1 시간적 움직임 정보가 동일한지 여부, 즉 L0 참조 픽쳐 번호와 L1 참조 픽쳐 번호가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일한지 여부를 판단할 수 있다.
L0 시간적 움직임 정보와 L1 시간적 움직임 정보가 동일하지 않은 경우, 인터 예측 장치는 콜 블록으로부터 도출된 시간적 움직임 정보를 그대로 현재 블록에 대한 시간적 움직임 정보로 사용할 수 있다. AMVP가 적용되는 경우, 상기 현재 블록의 시간적 움직임 정보는 현재 블록에 대한 예측 움직임 벡터 후보로 결정되거나 등록될 수 있다. 또한, 머지가 적용되는 경우, 상기 현재 블록의 시간적 움직임 정보는 현재 블록에 대한 머지 후보로 결정되거나 등록될 수 있다.
L0 시간적 움직임 정보와 L1 시간적 움직임 정보가 동일한 경우, 예측 방향 재설정부(2020)는 현재 블록에 대한 시간적 움직임 정보의 예측 방향을 단방향 예측으로 설정할 수 있다. 또한 이 때, L0 움직임 정보 설정부(2030)는 콜 블록으로부터 도출된 시간적 움직임 정보 중에서 L0 시간적 움직임 정보만을 현재 블록에 대한 시간적 움직임 정보로 결정하거나 사용할 수 있다. 이 때, AMVP가 적용되는 경우에는, 상기 L0 시간적 움직임 정보만이 현재 블록에 대한 예측 움직임 벡터 후보로 결정되거나 등록될 수 있다. 또한, 머지가 적용되는 경우에는, 상기 L0 시간적 움직임 정보만이 현재 블록에 대한 머지 후보로 결정되거나 등록될 수 있다.
도 21은 현재 블록의 시간적 움직임 정보를 도출할 때, 콜 픽쳐를 결정하는 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 21의 실시예에서 현재 픽쳐 및/또는 현재 슬라이스는 순방향 B 픽쳐 및/또는 순방향 B 슬라이스라 가정한다. 상술한 바와 같이, 순방향 B 픽쳐 및/또는 순방향 B 슬라이스에서는 일반적으로 L0 참조 픽쳐 리스트 및 L1 참조 픽쳐 리스트가 동일하게 설정될 수 있다.
또한 상술한 바와 같이, 시간적 움직임 정보는 이미 복원된 참조 픽쳐 내에서 현재 블록에 대응하는 콜 블록의 움직임 정보로부터 도출될 수 있다. 이 때, 콜 픽쳐는 상기 콜 블록을 포함하고 있는, 이미 복원된 참조 픽쳐를 의미할 수 있다. 상기 콜 픽쳐는 이미 부호화 및/또는 복호화 되어 참조 픽쳐 리스트 내에 참조 픽쳐로서 존재하는 픽쳐일 수 있다. 부호화기 및 복호화기는 시간적 움직임 정보 도출시에, 참조 픽쳐 리스트에 포함된 모든 참조 픽쳐 중에서 적어도 하나의 참조 픽쳐를 콜 픽쳐로 사용할 수 있다.
일반적으로, 부호화기 및 복호화기는 참조 픽쳐 리스트에 포함된 참조 픽쳐 중에서, 현재 부호화 대상 픽쳐와 POC 순서에 따른 픽쳐 번호(이하, 픽쳐 번호라 함.) 차이가 가장 작은 픽쳐를 현재 블록에 대한 콜 픽쳐로 결정하거나 설정할 수 있다. 예를 들어, 현재 부호화 대상 픽쳐와의 픽쳐 번호 차이가 가장 작은 픽쳐가 참조 픽쳐 리스트 내의 첫 번째 픽쳐인 경우, 일반적으로 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐가 콜 픽쳐로 결정되거나 설정될 수 있다.
다른 예로서, 부호화기는 현재 블록에 대한 콜 픽쳐를 결정한 후, 참조 픽쳐 리스트 내의 참조 픽쳐들 중에서 콜 픽쳐로 사용되는 참조 픽쳐를 지시하는, 콜 픽쳐 인덱스를 부호화하여 복호화기로 전송할 수 있다. 이 때, 복호화기는 상기 콜 픽쳐 인덱스를 수신하여 복호화한 후, 복호화된 콜 픽쳐 인덱스를 기반으로, 참조 픽쳐 리스트 내에서 콜 픽쳐로 사용되는 참조 픽쳐를 결정하거나 설정할 수 있다.
이하, 도 21의 실시예에 한하여, L0 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐는 L0 참조 픽쳐라 하고, L1 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐는 L1 참조 픽쳐라 한다. 도 21의 실시예에서는, 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐가 콜 픽쳐로 결정되는 경우의 실시예가 서술된다.
그러나, 본 발명은 이에 한정되는 것은 아니며, 도 21에서 후술되는 내용들은 콜 픽쳐 인덱스를 기반으로 콜 픽쳐가 결정되는 경우에도 동일하거나 유사한 방법으로 적용될 수 있다. 이 경우, L0 참조 픽쳐는 L0 참조 픽쳐 리스트 내 참조 픽쳐들 중에서 콜 픽쳐 인덱스가 지시하는 참조 픽쳐를 의미할 수 있고, L1 참조 픽쳐는 L1 참조 픽쳐 리스트 내 참조 픽쳐들 중에서 콜 픽쳐 인덱스가 지시하는 참조 픽쳐를 의미할 수 있다.
도 21을 참조하면, 현재 블록이 순방향 B 픽쳐 및/또는 순방향 B 슬라이스 내의 블록일 때, 부호화기 및 복호화기는 상기 현재 블록의 리스트 정보를 기반으로, 현재 블록에 대한 시간적 움직임 정보 도출에 사용되는 콜 픽쳐를 결정할 수 있다. 도 21의 실시예에서, 리스트 정보는 현재 블록에 대해 도출될 시간적 움직임 정보가 L0 시간적 움직임 정보인지 또는 L1 시간적 움직임 정보인지 여부를 나타내는 정보를 의미할 수 있다.
우선, 부호화기 및 복호화기는 현재 블록에 대해 도출될 시간적 움직임 정보가 L1 시간적 움직임 정보인지 여부를 판단할 수 있다(S2110). 현재 블록에 대해 도출될 시간적 움직임 정보가 L1 시간적 움직임 정보가 아닌 경우, 즉 현재 블록에 대해 도출될 시간적 움직임 정보가 L0 시간적 움직임 정보인 경우, 부호화기 및 복호화기는 L0 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐(콜 픽쳐 인덱스가 사용되는 경우에는, 콜 픽쳐 인덱스가 지시하는 참조 픽쳐)를 현재 블록에 대한 콜 픽쳐로 결정하거나 설정할 수 있다(S2120). 현재 블록에 대해 도출될 시간적 움직임 정보가 L1 시간적 움직임 정보인 경우, 부호화기 및 복호화기는 L0 참조 픽쳐와 L1 참조 픽쳐가 서로 동일한지 여부를 판단할 수 있다(S2130).
L0 참조 픽쳐와 L1 참조 픽쳐가 동일하지 않은 경우, 부호화기 및 복호화기는 L1 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐(콜 픽쳐 인덱스가 사용되는 경우에는, 콜 픽쳐 인덱스가 지시하는 참조 픽쳐)를 현재 블록에 대한 콜 픽쳐로 결정하거나 설정할 수 있다(S2140). L0 참조 픽쳐와 L1 참조 픽쳐가 동일한 경우, 부호화기 및 복호화기는 L1 참조 픽쳐 리스트 내의 참조 픽쳐 중에서 상기 L0 참조 픽쳐와 동일하지 않은 참조 픽쳐를 현재 블록에 대한 콜 픽쳐로 결정하거나 설정할 수 있다(S2150). 이 때, L1 참조 픽쳐 리스트 내의 참조 픽쳐의 개수가 1개 이하인 경우, 부호화기 및 복호화기는 L1 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐(콜 픽쳐 인덱스가 사용되는 경우에는, 콜 픽쳐 인덱스가 지시하는 참조 픽쳐)를 현재 블록에 대한 콜 픽쳐로 설정할 수도 있다.
도 22는 도 21의 실시예에 따른 콜 픽쳐 결정 과정을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다. 도 22의 실시예에 따른 인터 예측 장치는 리스트 정보 판단부(2210), 참조 픽쳐 동일성 판단부(2220), 제1 콜 픽쳐 설정부(2230), 제2 콜 픽쳐 설정부(2240) 및 제3 콜 픽쳐 설정부(2250)를 포함할 수 있다.
도 22의 실시예에서 현재 픽쳐 및/또는 현재 슬라이스는 순방향 B 픽쳐 및/또는 순방향 B 슬라이스라 가정한다. 상술한 바와 같이, 순방향 B 픽쳐 및/또는 순방향 B 슬라이스에서는 일반적으로 L0 참조 픽쳐 리스트 및 L1 참조 픽쳐 리스트가 동일하게 설정될 수 있다.
또한 이하, 도 22의 실시예에 한하여, L0 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐는 L0 참조 픽쳐라 하고, L1 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐는 L1 참조 픽쳐라 한다. 도 22의 실시예에서는, 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐가 콜 픽쳐로 결정되는 경우의 실시예가 서술된다.
그러나, 본 발명은 이에 한정되는 것은 아니며, 도 22에서 후술되는 내용들은 도 21에서 상술한 콜 픽쳐 인덱스를 기반으로 콜 픽쳐가 결정되는 경우에도 동일하거나 유사한 방법으로 적용될 수 있다. 이 경우, L0 참조 픽쳐는 L0 참조 픽쳐 리스트 내 참조 픽쳐들 중에서 콜 픽쳐가 지시하는 참조 픽쳐를 의미할 수 있고, L1 참조 픽쳐는 L1 참조 픽쳐 리스트 내 참조 픽쳐들 중에서 콜 픽쳐 인덱스가 지시하는 참조 픽쳐를 의미할 수 있다.
도 22의 실시예에 따른 인터 예측 장치는 현재 블록의 리스트 정보, L0 참조 픽쳐 및 L1 참조 픽쳐를 입력 받아, 현재 블록의 시간적 움직임 정보 도출에 사용되는 콜 픽쳐를 결정하거나 설정할 수 있다. 현재 블록이 순방향 B 픽쳐 및/또는 순방향 B 슬라이스 내의 블록일 때, 상기 인터 예측 장치는 상기 리스트 정보를 기반으로, 현재 블록의 시간적 움직임 정보 도출에 사용되는 콜 픽쳐를 결정할 수 있다. 도 22의 실시예에서, 리스트 정보는 현재 블록에 대해 도출될 시간적 움직임 정보가 L0 시간적 움직임 정보인지 또는 L1 시간적 움직임 정보인지 여부를 나타내는 정보를 의미할 수 있다.
도 22를 참조하면, 리스트 정보 판단부(2210)는 현재 블록에 대해 도출될 시간적 움직임 정보가 L1 시간적 움직임 정보인지 여부를 판단할 수 있다. 현재 블록에 대해 도출될 시간적 움직임 정보가 L1 시간적 움직임 정보가 아닌 경우, 즉 현재 블록에 대해 도출될 시간적 움직임 정보가 L0 시간적 움직임 정보인 경우, 제1 콜 픽쳐 설정부(2230)는 L0 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐(콜 픽쳐 인덱스가 사용되는 경우에는, 콜 픽쳐 인덱스가 지시하는 참조 픽쳐)를 현재 블록에 대한 콜 픽쳐로 결정하거나 설정할 수 있다. 현재 블록에 대해 도출될 시간적 움직임 정보가 L1 시간적 움직임 정보인 경우, 참조 픽쳐 동일성 판단부(2220)는 L0 참조 픽쳐와 L1 참조 픽쳐가 서로 동일한지 여부를 판단할 수 있다.
L0 참조 픽쳐와 L1 참조 픽쳐가 동일한 경우, 제2 콜 픽쳐 설정부(2240)는 L1 참조 픽쳐 리스트 내의 참조 픽쳐 중에서 상기 L0 참조 픽쳐와 동일하지 않은 참조 픽쳐를 현재 블록에 대한 콜 픽쳐로 결정하거나 설정할 수 있다. 이 때, L1 참조 픽쳐 리스트 내의 참조 픽쳐의 개수가 1개 이하인 경우, 제2 콜 픽쳐 설정부(2240)는 L1 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐(콜 픽쳐 인덱스가 사용되는 경우에는, 콜 픽쳐 인덱스가 지시하는 참조 픽쳐)를 현재 블록에 대한 콜 픽쳐로 설정할 수도 있다. L0 참조 픽쳐와 L1 참조 픽쳐가 동일하지 않은 경우, 제3 콜 픽쳐 설정부(2250)는 L1 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐(콜 픽쳐 인덱스가 사용되는 경우에는, 콜 픽쳐 인덱스가 지시하는 참조 픽쳐)를 현재 블록에 대한 콜 픽쳐로 결정하거나 설정할 수 있다.
도 23은 움직임 정보 후보 도출에 사용되는 모든 블록이 움직임 정보를 가지고 있지 않은 경우, 현재 블록의 움직임 정보를 결정하는 방법의 일 실시예를 개략적으로 나타내는 흐름도이다. 여기서, 움직임 정보 후보는 AMVP 모드의 경우 예측 움직임 벡터 후보를 의미할 수 있고, 머지 모드의 경우 머지 후보를 의미할 수 있다.
상술한 바와 같이, AMVP 및 머지 모드에서는, 현재 블록의 움직임 정보를 도출하기 위해, 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보가 사용될 수 있다. 복원된 주변 블록 및/또는 콜 블록의 움직임 정보는 움직임 정보 후보로 사용될 수 있으며, 부호화기 및 복호화기는 상기 움직임 정보 후보에 기반하여 현재 블록의 움직임 정보를 도출할 수 있다. 그러나, 움직임 정보 후보 도출에 사용되는 모든 블록(복원된 주변 블록 및/또는 콜 블록)이 움직임 정보를 가지고 있지 않을 수도 있으므로, 이러한 경우에 현재 블록의 움직임 정보를 도출하거나 설정하는 방법이 제공될 수 있다.
이하, 도 23의 실시예에 한하여, L0 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐는 L0 참조 픽쳐라 하고, L1 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐는 L1 참조 픽쳐라 한다.
도 23을 참조하면, 부호화기 및 복호화기는 현재 픽쳐의 픽쳐 타입이 B 픽쳐인지 여부를 판단할 수 있다(S2310). 현재 픽쳐의 픽쳐 타입이 B 픽쳐가 아닌 경우, 예를 들어 현재 픽쳐의 픽쳐 타입이 P 픽쳐인 경우, 부호화기 및 복호화기는 현재 블록의 예측 방향을 단방향 예측으로 설정하고, L0 참조 픽쳐 인덱스는 0으로 설정하고, L0 움직임 벡터는 (0,0)으로 설정할 수 있다(S2330). L0 참조 픽쳐 인덱스에 할당된 값이 0인 경우, 상기 L0 참조 픽쳐 인덱스는 L0 참조 픽쳐 리스트 내의 참조 픽쳐들 중에서 첫 번째 픽쳐가 현재 픽쳐의 참조 픽쳐로 사용됨을 지시할 수 있다. 현재 픽쳐의 픽쳐 타입이 B 픽쳐인 경우, 부호화기 및 복호화기는 L0 참조 픽쳐와 L1 참조 픽쳐가 동일한지 여부를 판단할 수 있다(S2320).
L0 참조 픽쳐와 L1 참조 픽쳐가 동일한지 여부를 판단하기 위해, 일례로, 부호화기 및 복호화기는 L0 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐의 참조 픽쳐 번호 및 L1 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐의 참조 픽쳐 번호의 동일성을 판단할 수 있다. 또한 일반적으로, 부호화기 및 복호화기는 L0 참조 픽쳐의 L0 참조 픽쳐 번호와 L1 참조 픽쳐의 L1 참조 픽쳐 번호의 동일성을 판단함으로써, L0 참조 픽쳐와 L1 참조 픽쳐가 동일한지 여부를 판단할 수 있다. 참조 픽쳐의 동일성을 판단하는 방법은 상황에 따라 다양하게 변경될 수 있다.
L0 참조 픽쳐와 L1 참조 픽쳐가 동일한 경우, 부호화기 및 복호화기는 현재 블록의 예측 방향을 단방향 예측으로 설정하고, L0 참조 픽쳐 인덱스는 0으로 설정하고, L0 움직임 벡터는 (0,0)으로 설정할 수 있다(S2330). L0 참조 픽쳐와 L1 참조 픽쳐가 동일하지 않은 경우, 부호화기 및 복호화기는 현재 블록의 예측 방향을 양방향 예측으로 설정하고, L0 참조 픽쳐 인덱스와 L1 참조 픽쳐 인덱스는 0으로 설정하고, L0 움직임 벡터와 L1 움직임 벡터는 (0,0)으로 설정할 수 있다(S2340). L1 참조 픽쳐 인덱스에 할당된 값이 0인 경우, 상기 L1 참조 픽쳐 인덱스는 L1 참조 픽쳐 리스트 내의 참조 픽쳐들 중에서 첫 번째 픽쳐가 현재 픽쳐의 참조 픽쳐로 사용됨을 지시할 수 있다.
이하, 복호화기 입장에서 도 23의 실시예에 따른 움직임 정보 결정 과정의 실시예가 서술된다.
복원된 주변 블록 및/또는 콜 블록에 움직임 정보가 없는 경우, mvLX, refIdxLX 및 predFlagLX는 현재 픽쳐의 픽쳐 타입에 따라 다르게 정해질 수 있다. 여기서, X는 0 또는 1로 대체될 수 있다. 예를 들어, X가 0일 경우, mvLX, refIdxLX, predFlagLX는 각각 mvL0, refIdxL0, predFlagL0을 나타낼 수 있으며, 이는 L0 움직임 정보 관련 변수들을 의미할 수 있다. 여기서, mvLX는 현재 블록의 움직임 벡터를 의미할 수 있고, mvLX[0]은 x 성분의 움직임 벡터, mvLX[1]은 y 성분의 움직임 벡터를 의미할 수 있다. refIdxLX는 LX 참조 픽쳐 리스트에 포함된 참조 픽쳐들 중에서 현재 블록의 인터 예측에 사용되는 참조 픽쳐를 지시하는 인덱스인, LX 참조 픽쳐 인덱스를 의미할 수 있다. 예를 들어, refIdxLX 값이 ‘0’인 경우, 상기 refIdxLX는 LX 참조 픽쳐 리스트 내의 참조 픽쳐들 중에서 첫 번째 픽쳐를 지시할 수 있고, refIdxLX 값이 ‘-1’인 경우, 상기 refIdxLX는 LX 참조 픽쳐 리스트 내에 현재 블록의 인터 예측에 사용되는 참조 픽쳐가 존재하지 않음을 지시할 수 있다. predflagLX는 현재 블록에 대해 LX 움직임 보상이 수행되어 예측 블록이 생성되는지 여부를 지시하는 플래그를 나타낼 수 있다. 예를 들어, ‘predflagLX’ 값이 ‘1’인 경우, 부호화기 및/또는 복호화기는 현재 블록에 대해 LX 움직임 보상을 수행할 수 있다.
현재 블록을 포함하는 픽쳐의 픽쳐 타입이 P 픽쳐이거나 및/또는 현재 블록을 포함하는 슬라이스의 슬라이스 타입이 P 슬라이스라면, 복호화기는 다음 과정을 수행할 수 있다.
mvLX[ 0 ] = 0
mvLX[ 1 ] = 0
refIdxL0 = 0
refIdxL1 = -1
predFlagL0 = 1
prefFlagL1 = 0
그렇지 않으면, 즉 현재 블록을 포함하는 픽쳐의 픽쳐 타입이 B 픽쳐이거나 및/또는 현재 블록을 포함하는 슬라이스의 슬라이스 타입이 B 슬라이스라면, 복호화기는 다음 과정을 수행할 수 있다.
만일, L0 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐와 L1 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐가 동일한 경우, 복호화기는 다음 과정을 수행할 수 있다.
mvLX[ 0 ] = 0
mvLX[ 1 ] = 0
refIdxL0 = 0
refIdxL1 = -1
predFlagL0 = 1
prefFlagL1 = 0
그렇지 않으면, 즉 L0 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐와 L1 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐가 동일하지 않은 경우, 복호화기는 다음 과정을 수행할 수 있다.
mvLX[ 0 ] = 0
mvLX[ 1 ] = 0
refIdxL0 = 0
refIdxL1 = 0
predFlagL0 = 1
prefFlagL1 = 1
도 24는 도 23의 실시예에 따른 움직임 정보 결정 과정을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다. 도 24의 실시예에 따른 인터 예측 장치는 판단부(2410), 양방향 움직임 정보 설정부(2420) 및 단방향 움직임 정보 설정부(2430)를 포함할 수 있다.
상술한 바와 같이, AMVP 및 머지 모드에서는, 현재 블록의 움직임 정보를 도출하기 위해, 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보가 사용될 수 있다. 복원된 주변 블록 및/또는 콜 블록의 움직임 정보는 움직임 정보 후보로 사용될 수 있으며, 부호화기 및 복호화기는 상기 움직임 정보 후보에 기반하여 현재 블록의 움직임 정보를 도출할 수 있다. 여기서, 움직임 정보 후보는 AMVP 모드의 경우 예측 움직임 벡터 후보를 의미할 수 있고, 머지 모드의 경우 머지 후보를 의미할 수 있다. 그러나, 움직임 정보 후보 도출에 사용되는 모든 블록(복원된 주변 블록 및/또는 콜 블록)이 움직임 정보를 가지고 있지 않을 수도 있다. 따라서, 이러한 경우에 현재 블록의 움직임 정보를 도출하거나 설정하기 위한 인터 예측 장치가 제공될 수 있다.
이하, 도 24의 실시예에 한하여, L0 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐는 L0 참조 픽쳐라 하고, L1 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐는 L1 참조 픽쳐라 한다.
도 24를 참조하면, 판단부(2410)는 픽쳐 타입 정보, L0 참조 픽쳐 및 L1 참조 픽쳐를 입력 받은 후, 현재 픽쳐의 픽쳐 타입이 B 픽쳐인지 여부 및 L0 참조 픽쳐와 L1 참조 픽쳐가 동일한지 여부를 판단할 수 있다. 인터 예측 장치는 상기 판단 결과에 따라, 단방향 움직임 정보 설정부(2420)에 의한 단방향 움직임 정보 설정 또는 양방향 움직임 정보 설정부(2430)에 의한 양방향 움직임 정보 설정을 수행할 수 있다. 구체적으로, 현재 픽쳐가 B 픽쳐가 아닌 경우(예를 들어, 현재 픽쳐의 픽쳐 타입이 P 픽쳐인 경우) 또는 현재 픽쳐가 B 픽쳐이고 L0 참조 픽쳐와 L1 참조 픽쳐가 동일한 경우, 단방향 움직임 정보 설정이 수행될 수 있고, 현재 픽쳐가 B 픽쳐이고 L0 참조 픽쳐와 L1 참조 픽쳐가 동일하지 않은 경우, 양방향 움직임 정보 설정이 수행될 수 있다.
현재 픽쳐가 B 픽쳐가 아닌 경우 또는 현재 픽쳐가 B 픽쳐이고 L0 참조 픽쳐와 L1 참조 픽쳐가 동일한 경우, 단방향 움직임 정보 설정부(2420)는 현재 블록의 예측 방향을 단방향 예측으로 설정할 수 있다. 또한 이 때, 단방향 움직임 정보 설정부(2420)는 L0 참조 픽쳐 인덱스를 0으로 설정하고, L0 움직임 벡터를 (0,0)으로 설정할 수 있다. 현재 픽쳐가 B 픽쳐이고 L0 참조 픽쳐와 L1 참조 픽쳐가 동일하지 않은 경우, 양방향 움직임 정보 설정부(2430)는 현재 블록의 예측 방향을 양방향 예측으로 설정할 수 있다. 또한 이 때, 양방향 움직임 정보 설정부(2430)는 L0 참조 픽쳐 인덱스와 L1 참조 픽쳐 인덱스를 0으로 설정하고, L0 움직임 벡터와 L1 움직임 벡터를 (0,0)으로 설정할 수 있다.
도 25는 움직임 정보 후보 도출에 사용되는 모든 블록이 움직임 정보를 가지고 있지 않은 경우, 현재 블록의 움직임 정보를 결정하는 방법의 다른 실시예를 개략적으로 나타내는 흐름도이다. 여기서, 움직임 정보 후보는 AMVP 모드의 경우 예측 움직임 벡터 후보를 의미할 수 있고, 머지 모드의 경우 머지 후보를 의미할 수 있다.
도 25의 실시예에서 B 픽쳐는 순방향 B 픽쳐라 가정한다. 상술한 바와 같이, 순방향 B 픽쳐에서는 일반적으로 L0 참조 픽쳐 리스트 및 L1 참조 픽쳐 리스트가 동일하게 설정될 수 있다. 또한, 상술한 바와 같이, 본 명세서에서 “픽쳐”는 문맥에 따라 “프레임”, “필드” 및/또는 “슬라이스”로 대체되어 사용될 수 있으며, 이러한 구분은 해당 기술 분야에서 통상의 지식을 가진 자라면 용이하게 할 수 있을 것이다.
AMVP 및 머지 모드에서는, 현재 블록의 움직임 정보를 도출하기 위해, 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보가 사용될 수 있다. 복원된 주변 블록 및/또는 콜 블록의 움직임 정보는, 움직임 정보 후보로 사용될 수 있으며, 부호화기 및 복호화기는 상기 움직임 정보 후보에 기반하여 현재 블록의 움직임 정보를 도출할 수 있다. 그러나, 움직임 정보 후보 도출에 사용되는 모든 블록(복원된 주변 블록 및/또는 콜 블록)이 움직임 정보를 가지고 있지 않을 수도 있으므로, 이러한 경우에 현재 블록의 움직임 정보를 도출하거나 설정하는 방법이 제공될 수 있다.
이하, 도 25의 실시예에 한하여, L0 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐는 L0 참조 픽쳐라 하고, L1 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐는 L1 참조 픽쳐라 한다.
도 25를 참조하면, 부호화기 및 복호화기는 현재 픽쳐의 픽쳐 타입이 B 픽쳐인지 여부를 판단할 수 있다(S2510). 현재 픽쳐의 픽쳐 타입이 B 픽쳐가 아닌 경우, 예를 들어 현재 픽쳐의 픽쳐 타입이 P 픽쳐인 경우, 부호화기 및 복호화기는 현재 블록의 예측 방향을 단방향 예측으로 설정하고, L0 참조 픽쳐 인덱스는 0으로 설정하고, L0 움직임 벡터는 (0,0)으로 설정할 수 있다(S2520). L0 참조 픽쳐 인덱스에 할당된 값이 0인 경우, 상기 L0 참조 픽쳐 인덱스는 L0 참조 픽쳐 리스트 내의 참조 픽쳐들 중에서 첫 번째 픽쳐가 현재 픽쳐의 참조 픽쳐로 사용됨을 지시할 수 있다. 현재 픽쳐의 픽쳐 타입이 B 픽쳐인 경우, 부호화기 및 복호화기는 L0 참조 픽쳐와 L1 참조 픽쳐가 동일한지 여부를 판단할 수 있다(S2530).
L0 참조 픽쳐와 L1 참조 픽쳐가 동일한지 여부를 판단하기 위해, 일례로, 부호화기 및 복호화기는 L0 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐의 참조 픽쳐 번호 및 L1 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐의 참조 픽쳐 번호의 동일성을 판단할 수 있다. 또한 일반적으로, 부호화기 및 복호화기는 L0 참조 픽쳐의 L0 참조 픽쳐 번호와 L1 참조 픽쳐의 L1 참조 픽쳐 번호의 동일성을 판단함으로써, L0 참조 픽쳐와 L1 참조 픽쳐가 동일한지 여부를 판단할 수 있다. 참조 픽쳐의 동일성을 판단하는 방법은 상황에 따라 다양하게 변경될 수 있다.
L0 참조 픽쳐와 L1 참조 픽쳐가 동일하지 않은 경우, 부호화기 및 복호화기는 현재 블록의 예측 방향을 양방향 예측으로 설정하고, L0 참조 픽쳐 인덱스와 L1 참조 픽쳐 인덱스는 0으로 설정하고, L0 움직임 벡터와 L1 움직임 벡터는 (0,0)으로 설정할 수 있다(S2540). L1 참조 픽쳐 인덱스에 할당된 값이 0인 경우, 상기 L1 참조 픽쳐 인덱스는 L1 참조 픽쳐 리스트 내의 참조 픽쳐들 중에서 첫 번째 픽쳐가 현재 픽쳐의 참조 픽쳐로 사용됨을 지시할 수 있다. L0 참조 픽쳐와 L1 참조 픽쳐가 동일한 경우, 부호화기 및 복호화기는 현재 블록의 예측 방향을 양방향 예측으로 설정하고, L0 참조 픽쳐 인덱스를 0으로 설정하고, L1 참조 픽쳐 인덱스를 1로 설정하고, L0 움직임 벡터와 L1 움직임 벡터를 (0,0)으로 설정할 수 있다(S2550). L1 참조 픽쳐 인덱스에 할당된 값이 1인 경우, 상기 L1 참조 픽쳐 인덱스는 L1 참조 픽쳐 리스트 내의 참조 픽쳐들 중에서 두 번째 픽쳐가 현재 픽쳐의 참조 픽쳐로 사용됨을 지시할 수 있다. 여기서, L1 참조 픽쳐 리스트에 포함된 참조 픽쳐의 개수가 1개 이하이면, 부호화기 및 복호화기는 현재 블록의 예측 방향을 단방향 예측으로 설정하고, L0 참조 픽쳐 인덱스는 0으로 설정하고, L0 움직임 벡터는 (0,0)으로 설정할 수도 있다.
이하, 복호화기 입장에서 도 25의 실시예에 따른 움직임 정보 결정 과정의 실시예가 서술된다.
복원된 주변 블록 및/또는 콜 블록에 움직임 정보가 없는 경우, mvLX, refIdxLX 및 predFlagLX는 현재 픽쳐의 픽쳐 타입에 따라 다르게 정해질 수 있다. 여기서, X는 0 또는 1로 대체될 수 있다. 예를 들어, X가 0일 경우, mvLX, refIdxLX, predFlagLX는 각각 mvL0, refIdxL0, predFlagL0을 나타낼 수 있으며, 이는 L0 움직임 정보 관련 변수들을 의미할 수 있다. 여기서, mvLX는 현재 블록의 움직임 벡터를 의미할 수 있고, mvLX[0]은 x 성분의 움직임 벡터, mvLX[1]은 y 성분의 움직임 벡터를 의미할 수 있다. refIdxLX는 LX 참조 픽쳐 리스트에 포함된 참조 픽쳐들 중에서 현재 블록의 인터 예측에 사용되는 참조 픽쳐를 지시하는 인덱스인, LX 참조 픽쳐 인덱스를 의미할 수 있다. 예를 들어, refIdxLX 값이 ‘0’인 경우, 상기 refIdxLX는 LX 참조 픽쳐 리스트 내의 참조 픽쳐들 중에서 첫 번째 픽쳐를 지시할 수 있고, refIdxLX 값이 ‘-1’인 경우, 상기 refIdxLX는 LX 참조 픽쳐 리스트 내에 현재 블록의 인터 예측에 사용되는 참조 픽쳐가 존재하지 않음을 지시할 수 있다. predflagLX는 현재 블록에 대해 LX 움직임 보상이 수행되어 예측 블록이 생성되는지 여부를 지시하는 플래그를 나타낼 수 있다. 예를 들어, ‘predflagLX’ 값이 ‘1’인 경우, 부호화기 및/또는 복호화기는 현재 블록에 대해 LX 움직임 보상을 수행할 수 있다.
현재 블록을 포함하는 픽쳐의 픽쳐 타입이 P 픽쳐이거나 및/또는 현재 블록을 포함하는 슬라이스의 슬라이스 타입이 P 슬라이스라면, 복호화기는 다음 과정을 수행할 수 있다.
mvLX[ 0 ] = 0
mvLX[ 1 ] = 0
refIdxL0 = 0
refIdxL1 = -1
predFlagL0 = 1
prefFlagL1 = 0
그렇지 않으면, 즉 현재 블록을 포함하는 픽쳐의 픽쳐 타입이 B 픽쳐이거나 및/또는 현재 블록을 포함하는 슬라이스의 슬라이스 타입이 B 슬라이스라면, 복호화기는 다음 과정을 수행할 수 있다.
만일, L0 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐와 L1 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐가 동일한 경우, 복호화기는 다음 과정을 수행할 수 있다.
mvLX[ 0 ] = 0
mvLX[ 1 ] = 0
refIdxL0 = 0
refIdxL1 = 1
predFlagL0 = 1
prefFlagL1 = 1
그렇지 않으면, 즉 L0 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐와 L1 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐가 동일하지 않은 경우, 복호화기는 다음 과정을 수행할 수 있다.
mvLX[ 0 ] = 0
mvLX[ 1 ] = 0
refIdxL0 = 0
refIdxL1 = 0
predFlagL0 = 1
prefFlagL1 = 1
도 26은 도 25의 실시예에 따른 움직임 정보 결정 과정을 수행할 수 있는 인터 예측 장치의 일 실시예를 개략적으로 나타내는 블록도이다. 도 26의 실시예에 따른 인터 예측 장치는 판단부(2610), 단방향 움직임 정보 설정부(2620), 제1 양방향 움직임 정보 설정부(2630) 및 제2 양방향 움직임 정보 설정부(2640)를 포함할 수 있다.
도 26의 실시예에서 B 픽쳐는 순방향 B 픽쳐라 가정한다. 상술한 바와 같이, 순방향 B 픽쳐에서는 일반적으로 L0 참조 픽쳐 리스트 및 L1 참조 픽쳐 리스트가 동일하게 설정될 수 있다. 또한, 상술한 바와 같이, 본 명세서에서 “픽쳐”는 문맥에 따라 “프레임”, “필드” 및/또는 “슬라이스”로 대체되어 사용될 수 있으며, 이러한 구분은 해당 기술 분야에서 통상의 지식을 가진 자라면 용이하게 할 수 있을 것이다.
AMVP 및 머지 모드에서는, 현재 블록의 움직임 정보를 도출하기 위해, 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보가 사용될 수 있다. 복원된 주변 블록 및/또는 콜 블록의 움직임 정보는, 움직임 정보 후보로 사용될 수 있으며, 부호화기 및 복호화기는 상기 움직임 정보 후보에 기반하여 현재 블록의 움직임 정보를 도출할 수 있다. 여기서, 움직임 정보 후보는 AMVP 모드의 경우 예측 움직임 벡터 후보를 의미할 수 있고, 머지 모드의 경우 머지 후보를 의미할 수 있다. 그러나, 움직임 정보 후보 도출에 사용되는 모든 블록(복원된 주변 블록 및/또는 콜 블록)이 움직임 정보를 가지고 있지 않을 수도 있으므로, 이러한 경우에 현재 블록의 움직임 정보를 도출하거나 설정하기 위한 인터 예측 장치가 제공될 수 있다.
이하, 도 26의 실시예에 한하여, L0 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐는 L0 참조 픽쳐라 하고, L1 참조 픽쳐 리스트 내의 첫 번째 참조 픽쳐는 L1 참조 픽쳐라 한다.
도 26을 참조하면, 판단부(2610)는 픽쳐 타입 정보, L0 참조 픽쳐 및 L1 참조 픽쳐를 입력 받은 후, 현재 픽쳐의 픽쳐 타입이 B 픽쳐인지 여부 및 L0 L0 참조 픽쳐와 L1 참조 픽쳐가 동일한지 여부를 판단할 수 있다. 인터 예측 장치는 상기 판단 결과에 따라, 단방향 움직임 정보 설정부(2620)에 의한 단방향 움직임 정보 설정, 제1 양방향 움직임 정보 설정부(2630)에 의한 제1 양방향 움직임 정보 설정 또는 제2 양방향 움직임 정보 설정부(2640)에 의한 제2 양방향 움직임 정보 설정을 수행할 수 있다.
구체적으로, 현재 픽쳐가 B 픽쳐가 아닌 경우(예를 들어, 현재 픽쳐가 P 픽쳐인 경우), 단방향 움직임 정보 설정이 수행될 수 있다. 또한, 현재 픽쳐가 B 픽쳐인 경우, 판단부(2610)는 L0 참조 픽쳐와 L1 참조 픽쳐의 동일성 여부를 판단할 수 있다. 이 때, L0 참조 픽쳐와 L1 참조 픽쳐가 동일하지 않은 경우, 제1 양방향 움직임 정보 설정이 수행될 수 있고, L0 참조 픽쳐와 L1 참조 픽쳐가 동일한 경우, 제2 양방향 움직임 정보 설정이 수행될 수 있다. 여기서, L1 참조 픽쳐 리스트에 포함된 참조 픽쳐의 개수가 1개 이하이면, 단방향 움직임 정보 설정이 수행될 수도 있다.
단방향 움직임 정보 설정부(2620)는 현재 블록의 예측 방향을 단방향 예측으로 설정할 수 있다. 또한 이 때, 단방향 움직임 정보 설정부(2620)는 L0 참조 픽쳐 인덱스를 0으로 설정하고, L0 움직임 벡터를 (0,0)으로 설정할 수 있다. 제1 양방향 움직임 정보 설정부(2630)는 현재 블록의 예측 방향을 양방향 예측으로 설정할 수 있다. 또한 이 때, 제1 양방향 움직임 정보 설정부(2630)는 L0 참조 픽쳐 인덱스와 L1 참조 픽쳐 인덱스를 0으로 설정하고, L0 움직임 벡터와 L1 움직임 벡터를 (0,0)으로 설정할 수 있다. 제2 양방향 움직임 정보 설정부(2640)는 현재 블록의 예측 방향을 양방향 예측으로 설정할 수 있다. 또한 이 때, 제2 양방향 움직임 정보 설정부(2640)는 L0 참조 픽쳐 인덱스를 0으로 설정하고, L1 참조 픽쳐 인덱스를 1로 설정하고, L0 움직임 벡터와 L1 움직임 벡터를 (0,0)으로 설정할 수 있다.
상술한 도 7 내지 도 26의 실시예들은, 각각 개별적으로 적용될 수도 있으나, 각 블록의 부호화 모드에 따라 다양한 방법으로 조합되어 적용될 수도 있다. 이하, 후술되는 실시예들에서 부호화 모드가 머지 모드인 블록은 머지 블록이라 한다. 머지 블록이 아닌 블록에는, 예를 들어 부호화 모드가 AMVP 모드인 블록 등이 있을 수 있다. 또한, 후술되는 실시예들에서 현재 블록은 경우에 따라 머지 블록 또는 머지 블록이 아닌 블록 중 하나에 해당될 수 있다.
일 실시예로, 머지 블록에는 도 15의 실시예에 따른 머지 후보 결정 방법이 적용되고, 머지 블록이 아닌 블록에는 도 7 또는 도 8의 실시예에 따른 인터 예측 방법이 적용될 수 있다. 이 때, 머지 블록에서는, 참조 블록의 L0 움직임 정보(L0 참조 픽쳐 번호, L0 움직임 벡터)와 L1 움직임 정보(L1 참조 픽쳐 번호, L1 움직임 벡터)가 동일한 경우, 상기 참조 블록의 L0 움직임 정보만이 현재 블록의 머지 후보로 사용되거나 등록될 수 있다. 또한, 머지 블록이 아닌 블록에서는, L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한 경우, 현재 블록에 대해 단방향 움직임 보상 과정이 수행될 수 있다.
다른 실시예로, 머지 블록에는 도 19의 실시예에 따른 시간적 움직임 정보 도출 방법이 적용되고, 머지 블록이 아닌 블록에는 도 7 또는 도 8의 실시예에 따른 인터 예측 방법이 적용될 수 있다. 이 때, 머지 블록에서는, L0 참조 픽쳐 번호와 L1 참조 픽쳐 번호가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일한 경우, L0 시간적 움직임 정보만이 현재 블록에 대한 시간적 움직임 정보로 사용될 수 있다. 또한, 머지 블록이 아닌 블록에서는, L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한 경우, 현재 블록에 대해 단방향 움직임 보상 과정이 수행될 수 있다.
또 다른 실시예로, 머지 블록에는 도 19의 실시예에 따른 시간적 움직임 정보 도출 방법 및 도 23의 실시예에 따른 움직임 정보 결정 방법이 적용되고, 머지 블록이 아닌 블록에는 도 10의 실시예에 따른 인터 예측 방법이 적용될 수 있다. 이 때, 머지 블록에서는, L0 참조 픽쳐 번호와 L1 참조 픽쳐 번호가 동일하고 L0 움직임 벡터와 L1 움직임 벡터가 동일한 경우, L0 시간적 움직임 정보만이 현재 블록에 대한 시간적 움직임 정보로 사용될 수 있다. 또한, 머지 블록에서, 머지 후보 도출에 사용되는 모든 블록(복원된 주변 블록 및/또는 콜 블록)이 움직임 정보를 가지고 있지 않은 경우, 도 23에서 상술한 소정의 방법(예를 들어, (0,0)의 움직임 벡터를 사용)에 의해 현재 블록의 움직임 정보가 결정될 수 있다. 또한, 머지 블록이 아닌 블록에서는, L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한 경우, L0 움직임 정보만이 현재 블록의 움직임 정보로 사용될 수 있다.
또 다른 실시예로, 머지 블록에는 도 17의 실시예에 따른 시간적 움직임 정보 도출 방법이 적용되고, 머지 블록이 아닌 블록에는 도 10의 실시예에 따른 인터 예측 방법이 적용될 수 있다. 이 때, 머지 블록에는 도 17에서 상술된, 리스트 정보에 따라 현재 블록에 대한 시간적 움직임 정보를 도출하는 시간적 움직임 정보 도출 방법이 적용될 수 있다. 여기서, 상기 리스트 정보는 콜 블록에 L0 움직임 정보 및/또는 L1 움직임 정보가 존재하는지 여부를 나타내는 정보를 의미할 수 있다. 또한, 머지 블록이 아닌 블록에서는, L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한 경우, L0 움직임 정보만이 현재 블록의 움직임 정보로 사용될 수 있다.
또 다른 실시예로, 머지 블록에는 도 21의 실시예에 따른 시간적 움직임 정보 도출 방법 및 도 23의 실시예에 따른 움직임 정보 결정 방법이 적용되고, 머지 블록이 아닌 블록에는 도 7 또는 도 8의 실시예에 따른 인터 예측 방법이 적용될 수 있다. 이 때, 머지 블록에서는, 현재 블록이 순방향 B 픽쳐 및/또는 순방향 B 슬라이스 내의 블록일 때, 현재 도출될 시간적 움직임 정보가 L0 시간적 움직임 정보인지 또는 L1 시간적 움직임 정보인지 여부에 따라, 시간적 움직임 정보 도출에 사용되는 콜 픽쳐가 결정될 수 있다. 또한, 머지 블록에서, 머지 후보 도출에 사용되는 모든 블록(복원된 주변 블록 및/또는 콜 블록)이 움직임 정보를 가지고 있지 않은 경우, 도 23에서 상술한 소정의 방법(예를 들어, (0,0)의 움직임 벡터를 사용)에 의해 현재 블록의 움직임 정보가 결정될 수 있다. 또한, 머지 블록이 아닌 블록에서는, L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한 경우, 현재 블록에 대해 단방향 움직임 보상 과정이 수행될 수 있다.
또 다른 실시예로, 머지 블록에는 도 21의 실시예에 따른 시간적 움직임 정보 도출 방법 및 도 25의 실시예에 따른 움직임 정보 결정 방법이 적용되고, 머지 블록이 아닌 블록에는 도 10의 실시예에 따른 인터 예측 방법이 적용될 수 있다. 이 때, 머지 블록에서는, 현재 블록이 순방향 B 픽쳐 및/또는 순방향 B 슬라이스 내의 블록일 때, 현재 도출될 시간적 움직임 정보가 L0 시간적 움직임 정보인지 또는 L1 시간적 움직임 정보인지 여부에 따라, 시간적 움직임 정보 도출에 사용되는 콜 픽쳐가 결정될 수 있다. 또한, 머지 블록에서, 머지 후보 도출에 사용되는 모든 블록(복원된 주변 블록 및/또는 콜 블록)이 움직임 정보를 가지고 있지 않은 경우, 도 25에서 상술한 소정의 방법(예를 들어, 순방향 B 픽쳐 및/또는 순방향 B 슬라이스에서 (0,0)의 움직임 벡터를 사용)에 의해 현재 블록의 움직임 정보가 결정될 수 있다. 또한, 머지 블록이 아닌 블록에서는, L0 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)와 L1 움직임 정보(참조 픽쳐 번호 및 움직임 벡터)가 동일한 경우, L0 움직임 정보만이 현재 블록의 움직임 정보로 사용될 수 있다.
도 7 내지 도 26의 실시예들의 조합은 상술한 실시예에 한정되는 것이 아니며, 구현 및/또는 필요에 따라 상술한 실시예들 뿐만 아니라 다양한 형태의 조합이 제공될 수 있다.
상술한 실시예들에 의하면, 움직임 보상 과정에서의 계산 복잡도가 감소될 수 있으며, 부호화/복호화 효율이 향상될 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (4)

  1. 영상 복호화 방법에 있어서,
    현재 블록에 인접하는 주변 블록을 이용하여 상기 현재 블록에 대한 머지 후보 리스트를 생성하는 단계;
    머지 인덱스와 상기 머지 후보 리스트에 기초하여 상기 현재 블록의 움직임 정보를 도출하는 단계; 및
    상기 도출된 움직임 정보에 기반하여 상기 현재 블록에 대한 예측 블록을 생성하는 단계를 포함하되,
    상기 머지 인덱스는 상기 머지 후보 리스트에 포함되는 머지 후보들 중 하나를 지시하고,
    상기 도출된 움직임 정보는 예측 방향 정보와 L0 움직임 정보 및 L1 움직임 정보 중 적어도 하나를 포함하고,
    상기 L0 움직임 정보는 L0 움직임 벡터 및 L0 참조 픽쳐 번호를 포함하고, 상기 L1 움직임 정보는 L1 움직임 벡터 및 L1 참조 픽쳐 번호를 포함하되,
    상기 예측 방향 정보가 쌍예측(bi-prediction)을 지시하고 상기 현재 블록의 크기가 소정의 크기보다 작은 경우, 상기 쌍예측을 지시하는 예측 방향 정보는 단예측(uni-prediction)으로 변경되고, 상기 L0 움직임 정보와 상기 L1 움직임 정보 중 L0 움직임 정보만을 이용하여 상기 현재 블록에 대한 예측 블록이 생성되며,
    상기 예측 방향 정보가 쌍예측을 지시하고, 상기 현재 블록의 크기가 상기 소정의 크기보다 크거나 같은 경우, 상기 쌍예측을 지시하는 예측 방향 정보는 단예측으로 변경되지 않고, 상기 L0 움직임 정보와 상기 L1 움직임 정보 모두를 이용하여 상기 현재 블록에 대한 예측 블록이 생성되고,
    상기 소정의 크기는 8x8, 16x16 또는 32x32 중 하나인 것을 특징으로 하는 영상 복호화 방법.
  2. 제1항에 있어서,
    상기 예측 블록 생성 단계는,
    상기 L0 움직임 정보에 기반하여 상기 현재 블록에 대해 L0 움직임 보상을 수행함으로써 L0 움직임 보상된 블록을 생성하는 단계;
    상기 L1 움직임 정보에 기반하여 상기 현재 블록에 대해 L1 움직임 보상을 수행함으로써 L1 움직임 보상된 블록을 생성하는 단계; 및
    상기 L0 움직임 보상된 블록 및 상기 L1 움직임 보상된 블록에 대해 가중치 평균을 수행함으로써 상기 예측 블록을 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  3. 영상 부호화 방법에 있어서,
    현재 블록에 인접하는 주변 블록을 이용하여 상기 현재 블록에 대한 머지 후보 리스트를 생성하는 단계; 및
    상기 머지 후보 리스트에 포함되는 머지 후보들 중 상기 현재 블록의 움직임 정보를 지시하기 위한 머지 인덱스를 부호화하는 단계를 포함하되,
    상기 도출된 움직임 정보는 예측 방향 정보와 L0 움직임 정보 및 L1 움직임 정보 중 적어도 하나를 포함하고,
    상기 L0 움직임 정보는 L0 움직임 벡터 및 L0 참조 픽쳐 번호를 포함하고, 상기 L1 움직임 정보는 L1 움직임 벡터 및 L1 참조 픽쳐 번호를 포함하되,
    상기 예측 방향 정보가 쌍예측(bi-prediction)을 지시하고 상기 현재 블록의 크기가 소정의 크기보다 작은 경우, 상기 현재 블록에 대한 예측 블록을 생성하기 위해 상기 쌍예측을 지시하는 예측 방향 정보는 단예측(uni-prediction)으로 변경되어 상기 L0 움직임 정보와 상기 L1 움직임 정보 중 L0 움직임 정보만이 이용되고,
    상기 예측 방향 정보가 쌍예측을 지시하고, 상기 현재 블록의 크기가 상기 소정의 크기보다 크거나 같은 경우, 상기 현재 블록에 대한 예측 블록을 생성하기 위해 상기 쌍예측을 지시하는 예측 방향 정보는 단예측으로 변경되지 않고, 상기 L0 움직임 정보와 상기 L1 움직임 정보 모두가 이용되고,
    상기 소정의 크기는 8x8, 16x16 또는 32x32 중 하나인 것을 특징으로 하는 영상 부호화 방법.
  4. 영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 비일시적 컴퓨터 판독 가능한 기록매체에 있어서,
    상기 영상 부호화 방법은,
    현재 블록에 인접하는 주변 블록을 이용하여 상기 현재 블록에 대한 머지 후보 리스트를 생성하는 단계; 및
    상기 머지 후보 리스트에 포함되는 머지 후보들 중 상기 현재 블록의 움직임 정보를 지시하기 위한 머지 인덱스를 부호화하는 단계를 포함하되,
    상기 도출된 움직임 정보는 예측 방향 정보와 L0 움직임 정보 및 L1 움직임 정보 중 적어도 하나를 포함하고,
    상기 L0 움직임 정보는 L0 움직임 벡터 및 L0 참조 픽쳐 번호를 포함하고, 상기 L1 움직임 정보는 L1 움직임 벡터 및 L1 참조 픽쳐 번호를 포함하되,
    상기 예측 방향 정보가 쌍예측(bi-prediction)을 지시하고 상기 현재 블록의 크기가 소정의 크기보다 작은 경우, 상기 현재 블록에 대한 예측 블록을 생성하기 위해 상기 쌍예측을 지시하는 예측 방향 정보는 단예측(uni-prediction)으로 변경되어 상기 L0 움직임 정보와 상기 L1 움직임 정보 중 L0 움직임 정보만이 이용되고,
    상기 예측 방향 정보가 쌍예측을 지시하고, 상기 현재 블록의 크기가 상기 소정의 크기보다 크거나 같은 경우, 상기 현재 블록에 대한 예측 블록을 생성하기 위해 상기 쌍예측을 지시하는 예측 방향 정보는 단예측으로 변경되지 않고, 상기 L0 움직임 정보와 상기 L1 움직임 정보 모두가 이용되고,
    상기 소정의 크기는 8x8, 16x16 또는 32x32 중 하나인 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체.

KR1020200026055A 2011-06-21 2020-03-02 인터 예측 방법 및 그 장치 KR102157121B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR1020110060285 2011-06-21
KR20110060285 2011-06-21
KR20110065714 2011-07-01
KR1020110065714 2011-07-01
KR20110066173 2011-07-04
KR1020110066173 2011-07-04
KR1020120005948 2012-01-18
KR1020120005948A KR20120140592A (ko) 2011-06-21 2012-01-18 움직임 보상의 계산 복잡도 감소 및 부호화 효율을 증가시키는 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120066191A Division KR102086029B1 (ko) 2011-06-21 2012-06-20 인터 예측 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20200027487A true KR20200027487A (ko) 2020-03-12
KR102157121B1 KR102157121B1 (ko) 2020-09-17

Family

ID=47906612

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020120005948A KR20120140592A (ko) 2011-06-21 2012-01-18 움직임 보상의 계산 복잡도 감소 및 부호화 효율을 증가시키는 방법 및 장치
KR1020120066191A KR102086029B1 (ko) 2011-06-21 2012-06-20 인터 예측 방법 및 그 장치
KR1020200026055A KR102157121B1 (ko) 2011-06-21 2020-03-02 인터 예측 방법 및 그 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020120005948A KR20120140592A (ko) 2011-06-21 2012-01-18 움직임 보상의 계산 복잡도 감소 및 부호화 효율을 증가시키는 방법 및 장치
KR1020120066191A KR102086029B1 (ko) 2011-06-21 2012-06-20 인터 예측 방법 및 그 장치

Country Status (2)

Country Link
US (7) US9532042B2 (ko)
KR (3) KR20120140592A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023172002A1 (ko) * 2022-03-11 2023-09-14 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9819963B2 (en) 2011-07-12 2017-11-14 Electronics And Telecommunications Research Institute Inter prediction method and apparatus for same
SG11201400290XA (en) * 2011-11-08 2014-06-27 Toshiba Kk Image encoding method, image decoding method, image encoding device and image decoding device
US10721487B2 (en) * 2012-04-17 2020-07-21 Texas Instruments Incorporated Converting a bi-predicted merging candidate in a merging candidate list for a prediction unit of a picture
KR102553844B1 (ko) 2014-11-27 2023-07-10 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN111147845B (zh) 2014-11-27 2023-10-10 株式会社Kt 对视频信号进行解码的方法和对视频信号进行编码的方法
EP3355578B1 (en) * 2015-09-24 2020-12-09 LG Electronics Inc. Motion vector predictor derivation and candidate list construction
US10690414B2 (en) 2015-12-11 2020-06-23 Lam Research Corporation Multi-plane heater for semiconductor substrate support
KR102338356B1 (ko) * 2016-05-24 2021-12-13 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체
CN116708782A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
KR102472399B1 (ko) 2016-10-04 2022-12-05 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN116193110A (zh) * 2017-01-16 2023-05-30 世宗大学校产学协力团 影像编码/解码方法
US11089299B2 (en) 2017-09-08 2021-08-10 Kt Corporation Method and device for processing video signal
US11394992B2 (en) * 2018-03-14 2022-07-19 Hfi Innovation Inc. Methods and apparatuses of generating average candidates in video coding systems
CN116866565A (zh) 2018-03-21 2023-10-10 Lx 半导体科技有限公司 图像编码/解码方法、存储介质以及图像数据的传输方法
CN111971966A (zh) 2018-03-30 2020-11-20 韩国电子通信研究院 图像编码/解码方法和设备以及存储比特流的记录介质
WO2020056172A1 (en) * 2018-09-12 2020-03-19 Futurewei Technologies, Inc. Candidate signaling for reference picture list structures
US11134246B2 (en) * 2019-01-02 2021-09-28 Shumaker & Sieffert, P.A. Weighted prediction for video coding
KR102230265B1 (ko) * 2019-07-01 2021-03-19 삼성전자주식회사 주변 움직임 정보를 이용하여 움직임 정보를 부호화 및 복호화하는 장치, 및 방법
CN110545425B (zh) * 2019-08-21 2021-11-16 浙江大华技术股份有限公司 一种帧间预测方法、终端设备以及计算机存储介质
KR20220127938A (ko) * 2020-02-25 2022-09-20 엘지전자 주식회사 인터 예측에 기반한 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2023200382A1 (en) * 2022-04-12 2023-10-19 Telefonaktiebolaget Lm Ericsson (Publ) Enhanced multi-hypothesis prediction

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050118965A (ko) * 2004-06-15 2005-12-20 삼성전자주식회사 Ｈ.264 복호기에서의 움직임 보상 방법 및 장치

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7154952B2 (en) * 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
BRPI0307197B1 (pt) * 2002-11-25 2018-06-19 Godo Kaisha Ip Bridge 1 Método de compensação de movimento, método de codificação de imagem e método de decodificação de imagem
US7499493B2 (en) * 2003-06-20 2009-03-03 Lsi Corporation Dual block motion vector storage in compressed form
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US8457203B2 (en) * 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
CN101379835B (zh) * 2006-02-02 2011-08-24 汤姆逊许可公司 使用组合参考双向预测进行运动估计的方法和设备
JP5054092B2 (ja) * 2006-03-30 2012-10-24 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
CN105392003A (zh) * 2006-11-08 2016-03-09 汤姆逊许可证公司 用于环内去伪影滤波的方法和设备
WO2008108566A1 (en) 2007-03-02 2008-09-12 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
US8488677B2 (en) * 2007-04-25 2013-07-16 Lg Electronics Inc. Method and an apparatus for decoding/encoding a video signal
CN101822056B (zh) * 2007-10-12 2013-01-02 汤姆逊许可公司 用于视频编解码几何划分的双向预测模式划分的方法和装置
JP5452584B2 (ja) * 2008-04-11 2014-03-26 トムソン ライセンシング ビデオ符号化及び復号化におけるテンプレート・マッチング予測（ｔｍｐ）のための方法及び装置
JP2010268199A (ja) 2009-05-14 2010-11-25 Renesas Electronics Corp 動画像符号化方法、動画像符号化装置、及び、画像符号化プログラム
US9161057B2 (en) * 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US9060176B2 (en) * 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
US9071845B2 (en) * 2009-12-17 2015-06-30 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for video coding
WO2011146451A1 (en) * 2010-05-20 2011-11-24 Thomson Licensing Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding
US9124898B2 (en) * 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
US9357229B2 (en) * 2010-07-28 2016-05-31 Qualcomm Incorporated Coding motion vectors in video coding
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
US8755437B2 (en) * 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
US9008176B2 (en) * 2011-01-22 2015-04-14 Qualcomm Incorporated Combined reference picture list construction for video coding
JP5801908B2 (ja) * 2011-03-11 2015-10-28 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及びその装置、その復号化方法及びその装置
AU2011362447B2 (en) * 2011-03-14 2015-09-24 Hfi Innovation Inc. Method and apparatus for deriving temporal motion vector prediction
ES2770437T3 (es) * 2011-03-21 2020-07-01 Lg Electronics Inc Método para seleccionar un predictor de vector de movimiento y un dispositivo que lo utiliza
US9247249B2 (en) * 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
SG194746A1 (en) * 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
JP5807402B2 (ja) * 2011-06-15 2015-11-10 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
US9282338B2 (en) * 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
CN103535039B (zh) * 2011-06-30 2018-08-28 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置以及图像编解码装置
US9819963B2 (en) * 2011-07-12 2017-11-14 Electronics And Telecommunications Research Institute Inter prediction method and apparatus for same
US20130272412A1 (en) * 2012-04-12 2013-10-17 Qualcomm Incorporated Common motion information candidate list construction process
US9357195B2 (en) * 2012-08-16 2016-05-31 Qualcomm Incorporated Inter-view predicted motion vector for 3D video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050118965A (ko) * 2004-06-15 2005-12-20 삼성전자주식회사 Ｈ.264 복호기에서의 움직임 보상 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI B et al: "Redundancy reduction in B-frame coding at temporal level zero", no. JCTVC-C278, 2 October 2010. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023172002A1 (ko) * 2022-03-11 2023-09-14 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Also Published As

Publication number Publication date
KR20120140623A (ko) 2012-12-31
US20170048530A1 (en) 2017-02-16
US20180359478A1 (en) 2018-12-13
US9854248B2 (en) 2017-12-26
US9532042B2 (en) 2016-12-27
US10085031B2 (en) 2018-09-25
US10917645B2 (en) 2021-02-09
US20140140409A1 (en) 2014-05-22
US11412231B2 (en) 2022-08-09
US20200099937A1 (en) 2020-03-26
US10536704B2 (en) 2020-01-14
US10986348B2 (en) 2021-04-20
US20180070092A1 (en) 2018-03-08
US20170048529A1 (en) 2017-02-16
US20210203954A1 (en) 2021-07-01
KR102086029B1 (ko) 2020-03-06
KR102157121B1 (ko) 2020-09-17
KR20120140592A (ko) 2012-12-31

Similar Documents

Publication Publication Date Title
KR102157121B1 (ko) 인터 예측 방법 및 그 장치
KR102315404B1 (ko) 영상 부호화/복호화 방법 및 장치
US10659810B2 (en) Inter prediction method and apparatus for same
KR102399001B1 (ko) 인터 예측 방법 및 그 장치
KR102515824B1 (ko) 인터 예측 방법 및 그 장치
KR102638107B1 (ko) 인터 예측 방법 및 그 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right