KR102125035B1 - 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치 - Google Patents

영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치 Download PDF

Info

Publication number
KR102125035B1
KR102125035B1 KR1020197028512A KR20197028512A KR102125035B1 KR 102125035 B1 KR102125035 B1 KR 102125035B1 KR 1020197028512 A KR1020197028512 A KR 1020197028512A KR 20197028512 A KR20197028512 A KR 20197028512A KR 102125035 B1 KR102125035 B1 KR 102125035B1
Authority
KR
South Korea
Prior art keywords
block
prediction
current block
information
motion vector
Prior art date
Application number
KR1020197028512A
Other languages
English (en)
Other versions
KR20190112859A (ko
Inventor
박승욱
임재현
전용준
헨드리헨드리
최영희
성재원
김정선
전병문
박준영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20190112859A publication Critical patent/KR20190112859A/ko
Application granted granted Critical
Publication of KR102125035B1 publication Critical patent/KR102125035B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

본 발명은 영상 정보 부호화 및 복호화에 관한 것으로서, 본 발명에 따른 복호화 방법은 수신한 정보를 엔트로피 복호화하는 단계, 상기 엔트로피 복호화한 정보를 기반으로 현재 블록에 대한 인터 예측을 수행하는 단계 및 상기 예측 결과를 이용하여 영상을 복원하는 단계를 포함하며, 상기 인터 예측 단계에서는, 상기 현재 블록에 대하여 스킵 모드 또는 머지 모드를 적용하고, 상기 현재 블록의 움직임 정보를 상기 현재 블록의 주변 블록의 움직임 정보를 기반으로 결정할 수 있다.

Description

영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치{METHOD FOR ENCODING AND DECODING IMAGE INFORMATION AND DEVICE USING SAME}
본 발명은 영상 압축 기술에 관한 것으로서, 더 구체적으로는 화면 간 예측(인터 예측) 기술에 관한 것이다.
최근, 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상의 고해상도, 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다. 따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우, 정보의 전송 비용과 저장 비용이 증가하게 된다. 따라서, 고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
영상 압축의 효율을 높이기 위해, 화면 간 예측과 화면 내 예측을 이용할 수 있다.
인터(inter) 예측에서는 시간적으로 이전 및/또는 이후의 픽처로부터 현재 픽처에 포함된 화소값을 예측하며, 인트라(intra) 예측에서는 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 화소값을 예측한다.
인터 예측 및 인트라 예측 외에도, 조명 변화 등에 의한 화질의 열화를 방지하기 위한 가중치 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 영상 정보의 효율적인 처리를 위해 이용되고 있다.
본 발명은 인터 예측에 있어서, 부호화 효율을 높이고 성능을 개선하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 인터 예측의 스킵 모드를 적용하는 경우에, 현재 블록의 움직임 정보를 효율적으로 유도하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 인터 예측의 스킵 모드를 적용하는 경우에, 현재 블록의 움직임 정보, 예컨대 참조 인덱스를 주변 블록의 움직임 정보를 기반으로 유도하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 현재 블록에 대한 시간적 머지 후보의 참조 인덱스를 유도하는 방법을 제공하는 것을 목적으로 한다.
(1) 본 발명의 일 실시형태는 영상 정보 부호화 방법으로서, 현재 블록에 대하여 인터 예측을 수행하는 단계, 예측에 관한 정보를 엔트로피 부호화하는 단계 및 상기 엔트로피 부호화된 정보를 시그널링하는 단계를 포함하며, 상기 예측 단계에서는 상기 현재 블록에 대하여 스킵 모드 또는 머지 모드를 적용하며, 상기 현재 블록의 주변 블록들의 참조 인덱스를 기반으로 상기 현재 블록의 참조 인덱스를 결정할 수 있다.
(2) (1)에서, 제1항에 있어서, 상기 시그널링 단계에서는, 현재 블록의 움직임 정보를 직접 전송할 수 있다.
(3) (2)에서, 상기 전송되는 움직임 정보는 현재 블록의 참조 인덱스일 수 있다.
(4) (2)에서, 상기 움직임 정보는 슬라이스 단위, 픽처 단위, 예측 대상 블록 단위 또는 부호화 유닛 단위 중 어느 한 단위로 전송할 수 있다.
(5) (1)에서, 상기 예측 단계에서는, 상기 현재 블록의 움직임 정보를 상기 현재 블록의 주변 블록들 중 어느 하나의 움직임 정보로 결정할 수 있고, 상기 시그널링 단계에서는, 상기 현재 블록의 움직임 정보의 움직임 정보가 상기 현재 블록 주변의 어느 블록의 움직임 정보인지를 지시할 수 있다.
(6) (1)에서, 상기 예측 단계에서는, 상기 현재 블록의 참조 인덱스를 상기 현재 블록의 주변 블록들의 참조 인덱스들을 비교하여 가장 작은 참조 인덱스로 결정할 수 있다.
(7) (6)에서, 상기 참조 인덱스를 비교하는 주변 블록들은 상기 현재 블록의 주변 블록들 중에서 코너 블록들을 제외한 좌측 블록들 및 상측 블록들일 수 있다.
(8) 본 발명의 다른 실시형태는 영상 정보 복호화 방법으로서, 수신한 정보를 엔트로피 복호화하는 단계, 상기 엔트로피 복호화한 정보를 기반으로 현재 블록에 대한 인터 예측을 수행하는 단계 및 상기 예측 결과를 이용하여 영상을 복원하는 단계를 포함하며, 상기 인터 예측 단계에서는, 상기 현재 블록에 대하여 스킵 모드 또는 머지 모드를 적용하고, 상기 현재 블록의 움직임 정보를 상기 현재 블록의 주변 블록의 움직임 정보를 기반으로 결정할 수 있다.
(9) (8)에서, 상기 수신한 정보는 상기 현재 블록의 주변 블록들 중 어느 블록의 움직임 정보를 이용할 것인지를 지시하는 지시자를 포함할 수 있으며, 상기 예측 단계에서는, 상기 지시자를 기반으로 상기 현재 블록의 움직임 정보를 결정할 수 있다.
(10) (9)에서, 상기 지시자는 상기 현재 블록의 주변 블록들 중에서 어느 블록의 참조 인덱스를 상기 현재 블록의 참조 인덱스로 이용할 것인지를 지시할 수 있다.
(11) (9)에서, 상기 참조 인덱스 지시 정보는 슬라이스 단위, 픽처 단위, 예측 대상 블록 단위 또는 부호화 유닛 단위 중 어느 하나로 시그널링될 수 있다.
(12) (8)에서, 상기 현재 블록의 시간적 머지 후보의 참조 인덱스는 상기 주변 블록들 중에서 가용한 주변 블록들을 기반으로 결정될 수 있으며, 상기 인터 예측 단계에서는 상기 가용한 주변 블록들의 참조 인덱스 중에서 가장 작은 참조 인덱스를 상기 시간적 머지 후보의 참조 인덱스로 결정할 수 있다.
(13) (12)에서, 상기 현재 블록의 주변 블록들은, 상기 현재 블록의 좌하측 코너 블록, 좌하측 블록, 우상측 코너 블록, 우상측 블록, 좌상측 코너 블록일 수 있다.
(14) (8)에서, 상기 현재 블록의 시간적 머지 후보의 참조 인덱스는 상기 현재 블록의 좌하측 코너 블록, 좌하측 블록, 우상측 코너 블록, 우상측 블록, 좌상측 코너 블록 중 좌하측 블록의 참조 인덱스로 지정할 수 있다.
(15) (14)에서, 상기 예측 단계에서는 상기 좌하측 블록의 가용성을 판단하여, 상기 좌하측 블록이 가용하지 않은 경우에 상기 시간적 머지 후보의 참조 인덱스 값을 소정의 인덱스 값으로 지정할 수 있다.
본 발명에 의하면, 인터 예측의 스킵 모드를 적용하는 경우에 참조 픽처를 효과적으로 선택하여 부호화 효율을 높일 수 있다.
본 발명에 의하면, 시간적 머지 후보의 참조 인덱스를 효과적으로 유도하여 복잡도를 줄이고 부호화 효율을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치(부호화기)를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화기를 개략적으로 나타낸 블록도이다.
도 3은 AMVP를 이용하여 현재 블록에 대한 인터 예측을 수행하는 일 예를 개략적으로 설명하는 도면이다.
도 4는 특정한 블록을 이용하여 AMVP를 수행하는 방법에 대한 일 예를 개략적으로 설명하는 도면이다.
도 5는 복호화기에서 현재 블록에 대한 예측 움직임 벡터를 유도하는 방법의 일 예를 나타낸 순서도이다.
도 6은 현재 예측 블록에 대한 공간적 후보 예측 블록의 움직임 벡터를 개략적으로 설명하는 도면이다.
도 7은 P 픽쳐, B 픽쳐 및 GPB의 예측 방법을 개략적으로 설명하는 도면이다.
도 8은 참조 인덱스를 0으로 두고 스킵 모드를 적용하는 경우에 발생할 수 있는 문제점을 개략적으로 설명하는 도면이다.
도 9는 본 발명의 본 실시예에 따라서 주변 블록의 참조 인덱스로부터 현재 블록의 참조 인덱스를 선택하는 방법을 개략적으로 설명하는 도면이다.
도 10은 본 발명이 적용되는 시스템에서 머지 후보들을 개략적으로 설명하는 도면이다.
도 11은 본 발명이 적용되는 시스템에서 부호화기 동작의 일 예를 개략적으로 설명하는 순서도이다.
도 12는 본 발명이 적용되는 시스템에서 복호화기 동작의 일 예를 개략적으로 설명하는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 영상 부호화/복호화 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치(부호화기)를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 영상 부호화 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 부호화부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위로 분할할 수 있다. 이때, 처리 단위는 예측 유닛(Prediction Unit, 이하 ‘PU’라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 ‘TU’라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 ‘CU’라 함)일 수도 있다. 다만, 본 명세서에서는 설명의 편의를 위해, 예측 유닛을 예측 블록, 변환 유닛을 변환 블록, 부호화 유닛을 부호화 블록으로 표현할 수 있다.
예측부(110)는 후술하는 바와 같이, 화면 간 예측을 수행하는 화면 간 예측부와 화면 내 예측을 수행하는 화면 내 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 해당 처리 단위에 대하여 실시되는 예측이 화면 간 예측인지 화면 내 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)를 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
화면 간 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 화면 내 예측을 통해서는 현재 픽처 내의 화소 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
화면 간 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU와 동일한 크기의 참조 블록을 정수 화소 샘플 단위로 선택할 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록을 생성한다. 화면 내 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 예측 블록은 1/2 화소 샘플 단위와 1/4 화소 샘플 단위와 같이 정수 이하 샘플 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 화소 이하의 단위로 표현될 수 있다. 예컨대 휘도 화소에 대해서는 1/4 화소 단위로, 색차 화소에 대해서는 1/8 화소 단위로 표현될 수 있다.
화면 간 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 부호화되어 복호화기에 전달된다.
화면 내 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 화면 내 예측이 수행될 수도 있다.
화면 내 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비방향성 모드는 DC 예측 모드 및 플레너 모드(Planar 모드)을 포함할 수 있다.
화면 내 예측에서는 참조 샘플 에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다. 이때, 현재 블록은 예측이 수행되는 변환 유닛일 수 있다. 한편, 본 명세서에서 픽셀을 이용한다는 것은 해당 픽셀의 정보, 예컨대 픽셀값 등을 이용한다는 것을 의미한다. 다만, 설명의 편의를 위해, ‘픽셀의 정보를 이용한다’ 혹은 ‘픽셀 값을 이용한다’는 표현을 ‘픽셀을 이용한다’고 간단하게 나타낼 수도 있음에 유의한다. 인트라 예측의 구체적인 방법은 후술하는 바와 같다.
PU는 다양한 사이즈/형태를 가질 수 있으며, 예컨대 화면 간 예측의 경우에 PU는 2N×2N, 2N×N, N×2N, 또는 N×N 등의 크기를 가질 수 있다. 화면 내 예측의 경우에 PU는 2N×2N 또는 N×N (N은 정수) 등의 크기를 가질 수 있다. 이때, N×N 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 코딩 유닛에 대해서만 NxN의 PU를 이용하도록 정하거나 화면 내 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN, mN×N, 2N×mN 또는 mN×2N (m＜1) 등의 크기를 가지는 PU를 더 정의하여 사용할 수도 있다.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 부호화부(130)에서 부호화되어 복호화기에 전달된다.
변환부(115)는 변환 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다. 변환부(115)에서의 변환 단위는 TU일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다. 이때, 변환 단위의 크기는 소정의 최대 및 최소 크기의 범위 내에서 정해질 수 있다. 변환부(115)는 레지듀얼 블록을 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform)를 이용하여 변환할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들을 양자화하여 양자화 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화 계수를 재정렬한다. 양자화 계수를 재정렬함으로써 엔트로피 부호화부(130)에서의 부호화의 효율을 높일 수 있다. 재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 재정렬부(125)에서는 양자화부에서 전송된 계수들의 확률적인 통계를 기반으로 계수 스캔닝의 순서를 변경함으로써 엔트로피 부호화부(130)에서의 엔트로피 부호화 효율을 높일 수도 있다.
엔트로피 부호화부(130)는 재정렬부(125)에 의해 재정렬된 양자화 계수들에 대한 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다. 엔트로피 부호화부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 부호화할 수 있다.
또한, 엔트로피 부호화부(130)는 필요한 경우에, 전송하는 파라미터 셋 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다. 역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값은 예측부(110)에서 예측된 예측 블록과 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 화소 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
한편, 화면 간 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 화면 간 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화기를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 영상 복호화기(200)는 엔트로피 복호화부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.
영상 부호화기에서 영상 비트 스트림이 입력된 경우, 입력된 비트 스트림은 영상 부호화기에서 영상 정보가 처리된 절차에 따라서 복호화될 수 있다.
예컨대, 영상 부호화기에서 엔트로피 부호화를 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 ‘VLC’ 라 함)가 사용된 경우에, 엔트로피 복호화부(210)도 부호화기에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 복호화를 수행할 수 있다. 또한, 영상 부호화기에서 엔트로피 부호화를 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 복호화부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 복호화를 수행할 수 있다.
엔트로피 복호화부(210)에서 복호화된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고 엔트로피 복호화부에서 엔트로피 복호화가 수행된 레지듀얼 값은 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 복호화부(210)에서 엔트로피 복호화된 비트 스트림을 영상 부호화기에서 재정렬한 방법을 기초로 재정렬할 수 있다. 재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 부호화기에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 해당 부호화부에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(220)는 부호화기에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 영상 부호화기에서 수행된 양자화 결과에 대해, 부호화기의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 부호화기에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 부호화기의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 복호화기의 역변환부(225)는 부호화기의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 복호화부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 복호화된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다. 복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드(화면 내 예측 모드)인 경우에, 현재 픽처 내의 화소 정보를 기초로 예측 블록을 생성하는 화면 내 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드(화면 간 예측 모드)인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 화면 간 예측을 수행할 수 있다. 이때, 영상 부호화기에서 제공된 현재 PU의 화면 간 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 부호화기로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 적응적 루프 필터링 등을 적용한다.
메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.
한편, 인터 예측 모드를 적용하는 경우에, 현재 블록에 대하여 예측하는 방법으로서 AMVP(Advanced MVP)가 있다. AMVP는 종래의 MVP(Motion Vector Predictor)를 개선한 것으로서, 현재 블록의 주변 블록으로부터 인터 예측을 위한 정보를 유도한다.
도 3은 AMVP를 이용하여 현재 블록에 대한 인터 예측을 수행하는 일 예를 개략적으로 설명하는 도면이다. 도 3을 참조하면, 현재 블록(300)의 MVP로 사용할 수 있는 후보 MVP들을 주변 블록으로부터 유도할 수 있다.
예컨대, 현재 블록의 좌측에 있는 블록들의 집합 A(310)로부터 움직임 벡터 mvA를 유도할 수 있다. mvA는 집합 A(310)에 속하는 블록들의 움직임 벡터들 중에서 현재 블록(300)과 동일한 참조 인덱스를 가지는 움직임 벡터이다.
이어서, 현재 블록의 상측에 있는 블록들의 집합 B(320)로부터 움직임 벡터 mvB를 유도할 수 있다. mvB는 집합 B(320)에 속하는 블록들의 움직임 벡터들 중에서 현재 블록(300)과 동일한 참조 인덱스를 가지는 움직임 벡터이다.
이어서, 현재 블록의 코너에 있는 블록 C의 움직임 벡터 mvC, 상기 집합 A의 움직임 벡터 mvA 그리고 상기 집합 B의 움직임 벡터 mvB의 미디언 mv_median을 수 1과 같이 유도한다.
＜수 1＞
mv_median = median(mvA, mvB, mvC)
현재 블록의 MVP로서 사용할 움직임 벡터는, 상기 유도한 mvA, mvB, mvC 및 mv_median과 현재 블록의 콜 블록(temporal collocated block)의 움직임 벡터(mv) 중에서 가장 효율적인 움직임 벡터를 선택하여 사용할 수 있다.
이때, 집합 A(310)와 집합 B(320)의 블록들 모두를 고려하지 않고 특정한 블록만을 이용하여 AMVP를 수행할 수도 있다.
도 4는 특정한 블록을 이용하여 AMVP를 수행하는 방법에 대한 일 예를 개략적으로 설명하는 도면이다.
도 4의 예에서는, 현재 예측 유닛의 좌측 상단에 존재하는 픽셀의 위치를 (xP, yP)로 정의하고 현재 예측 유닛의 너비를 nPSW, 높이를 nPSH라는 변수로 정의할 수 있다. 또한, 공간적 후보 예측 블록을 표현하기 위해 예측 유닛으로서 사용할 수 있는 가장 작은 예측 유닛의 크기를 MinPuSize는 로 정의할 수 있다.
아울러, 설명의 편의를 위해 현재 예측 블록의 공간적 주변 예측 블록으로서, (xP-1, yP+nPSH)에 존재하는 픽셀을 포함하는 블록을 도 3의 블록 E에 대응하는 좌측 제1 블록(400)이라고 할 수 있다. 또한, 집합 A에 속하는 블록, 예컨데, (xP-1, yP)에 위치하는 픽셀을 포함하는 블록(410)으로부터 (xP-1, yP+nPSH-MinPuSize)에 위치하는 픽셀을 포함하는 블록(410)까지의 블록들 중 어느 하나를 좌측 제2 블록이라고 할 수 있다.
상단에서는 (xP+nPSW, yP-1)에 위치하는 픽셀을 포함하는 블록을 도 3의 블록 C에대응하는 상단 제1 블록(430)이라고 할 수 있다. 또한, 집합 B에 속하는 블록, 예컨대, (xP, yP-1)에 위치하는 블록(450)으로부터 (xP+nPSW-MinPuSize, yP-1)에 위치하는 픽셀을 포함하는 블록(440)까지의 블록들 중 어느 하나를 상단 제2 블록이라고 할 수 있다. 그리고, (xP-MinPuSize, yP-1)에 위치하는 픽셀을 포함하는 블록을 도 3의 블록 D에 대응하는 상단 제3 블록(460)이고 표현할 수 있다.
공간적 후보 예측 블록은 좌측 제1 블록, 좌측 제2 블록, 상단 제1 블록, 상단 제2 블록, 상단 제3 블록을 포함할 수 있다. 여기서는 설명의 편의를 위해, 좌측 제2 블록으로서, (xP-1, yP+nPSH-MinPuSize)에 위치하는 픽셀을 포함하는 블록(410)을 이용하고, 상측 제2 블록으로서, (xP+nPSW-MinPuSize, yP-1)에 위치하는 픽셀을 포함하는 블록(440)을 이용한다.
좌측 제1 블록(400) 및 좌측 제2 블록(410)을 포함하는 하나의 그룹을 제1 공간적 후보 예측 그룹으로 정의하고 상단 제1 블록(420), 상단 제2 블록(440), 상단 제3 블록(460)을 포함하는 하나의 그룹을 제2 공간적 후보 예측 그룹이라고 정의한다. 제1 공간적 후보 예측 그룹에 포함되는 블록과 제2 공간적 후보 예측 그룹에 포함되는 블록를 포함하는 용어로 공간적 후보 예측 블록이라는 용어를 사용할 수 있다.
시간적 후보 예측 블록(470)는 현재 예측 블록을 포함하는 픽처 내의 픽셀 위치(xP, yP)를 기초로 현재 예측 블록의 콜-픽처에서 (xP+nPSW, yP+nPSH) 위치의 픽셀을 포함하는 예측 블록이거나 (xP+nPSW, yP+nPSH) 위치의 픽셀을 포함하는 예측 블록이 가용(available)하지 않은 경우, (xP+nPSW/2, yP+nPSH/2) 위치의 픽셀을 포함하는 예측 블록이 될 수 있다.
도 4에서 개시한 공간적 후보 예측 블록의 위치 및 개수와 시간적 후보 예측 블록의 위치 및 개수는 임의적인 것으로서 본 발명의 본질에서 벗어나지 않는 한 공간적 후보 예측 블록의 위치 및 개수와 시간적 후보 예측 블록의 위치 및 개수는 변할 수 있다. 예컨대, 도 3의 집합 A와 집합 B의 블록들을 모두 혹은 일부 고려할 수 있다. 후보 예측 움직임 벡터 리스트를 구성할 때, 우선적으로 스캔되는 예측 블록의 위치 및 후보 예측 그룹도 변할 수 있다. 또한, 도 4에서 각 (예측) 블록은 예측 유닛(PU)일 수 있다.
도 5는 복호화기에서 현재 블록에 대한 예측 움직임 벡터를 유도하는 방법의 일 예를 나타낸 순서도이다. 도 5의 예에서 설명하는 방법은, 복호화기 또는 복호화기의 특정 모듈, 예컨대 예측부에서 수행될 수 있다. 설명의 편의를 위해, 도 5의 예를 수행하는 주체를 복호화기라고 가정한다.
도 5를 참조하면, 복호화기는 제1 후보 예측 움직임 벡터를 유도할 수 있다(S500). 제1 후보 예측 움직임 벡터는 제1 공간적 후보 예측 그룹에서 유도되는 후보 예측 움직임 벡터로서, 제1 공간적 후보 예측 그룹 가용성 정보에 기반해서 유도될 수 있다.
제1 공간적 후보 예측 그룹은 도 4의 예에서 설명한 바와 같이 좌측 제1 블록, 좌측 제2 블록이 될 수 있다. 제1 공간적 후보 예측 그룹에서 예측 움직임 벡터를 유도하기 위해 제1 공간적 후보 예측 그룹 가용성 정보를 사용할 수 있다. 제1 공간적 후보 예측 그룹 가용성 정보는 제1 공간적 후보 예측 그룹에 존재하는 블록의 움직임 벡터 중 적어도 하나의 움직임 벡터가 가용한(available) 후보 예측 움직임 벡터인지를 지시한다. 즉, 제1 공간적 후보 예측 그룹 가용성 정보는 제1 공간적 후보 예측 그룹에 존재하는 블록의 움직임 벡터 중 적어도 하나의 움직임 벡터가 현재 예측 블록의 후보 예측 움직임 벡터 리스트에 포함될 수 있는지를 지시한다.
복호화기는 제2 후보 예측 움직임 벡터를 유도할 수 있다(S510). 제2 후보 예측 움직임 벡터는 제2 공간적 후보 예측 그룹에서 유도되는 후보 예측 움직임 벡터로서, 제2 공간적 후보 예측 가용성 정보에 기반해서 유도될 수 있다.
제2 공간적 후보 예측 그룹은 전술한 바와 같이 상단 제1 블록, 상단 제2 블록 및 상단 제3 블록이 될 수 있다. 제2 공간적 후보 예측 그룹에서 예측 움직임 벡터를 산출하기 위해 제2 공간적 후보 예측 그룹 가용성 정보를 사용할 수 있다. 제2 공간적 후보 예측 그룹 가용성 정보는 제1 공간적 후보 예측 그룹 가용성 정보와 마찬가지로 제2 공간적 후보 예측 그룹에 존재하는 블록의 움직임 벡터 중 적어도 하나의 움직임 벡터가 현재 예측 블록의 후보 예측 움직임 벡터 리스트에 포함될 수 있는지를 지시하는 정보이다.
복호화기는 시간적 후보 예측 움직임 벡터를 산출한다(S520). 시간적 후보 예측 움직임 벡터는 시간적 후보 예측 블록 가용성 정보에 기반해서, 시간적 우호 예측 블록에서 유도되는 후보 예측 움직임 벡터이다.
시간적 후보 예측 블록 가용성 정보는 시간적 후보 예측 블록의 움직임 벡터를 현재 예측 블록의 후보 예측 움직임 벡터 리스트에 포함할 것인지를 지시하는 정보이다.
후보 예측 움직임 벡터 리스트에는 단계 S500 내지 단계 S520을 통해 산출된 움직임 벡터, 즉, 제1 후보 예측 움직임 벡터, 제2 후보 예측 움직임 벡터, 시간적 후보 예측 움직임 벡터 중 적어도 하나가 포함될 수 있다.
복호화기는 후보 예측 움직임 벡터 리스트에서 동일한 후보 예측 움직임 벡터들을제외시킬 수 있다(S530). 구체적으로, 후보 예측 움직임 벡터 리스트에 동일한 후보 예측 움직임 벡터들이 존재하는 경우, 복호화기는 동일한 후보 예측 움직임 벡터 중에서 우선 순위가 가장 높은 후보 예측 움직임 벡터를 제외한 나머지를 후보 움직임 벡터 리스트에서 제거한다.
단계 S500에서 단계 S520에서 수행되는 후보 예측 움직임 벡터 산출 과정을 통해 산출된 후보 예측 움직임 벡터는 단계 S530에서 수행되는 후보 예측 움직임 벡터 동일성 판단 과정을 통해 동일하지 않은 후보 예측 움직임 벡터만을 후보 예측 움직임 벡터 리스트에 포함시킬 수 있다.
복호화기는 후보 예측 움직임 벡터 리스트에 제로 움직임 벡터(zero motion vector)를 추가할 수 있다(S540). 구체적으로, 복호화기는 예측 후보 예측 움직임 벡터 리스트를 이용하기 위해 필요한 만큼, 후보 예측 움직임 벡터가 유도되지 않는 경우, 제로 움직임 벡터를 후보 예측 움직임 벡터 리스트에 포함시킬 수 있다. S540 단계는 후술하는 S550 단계에서 통합적으로 이루어질 수도 있다. 이 경우, S540 단계는 수행되지 않을 수 있다.
복호화기는 후보 움직임 벡터의 개수를 조정할 수 있다(S550). 구체적으로 복호화기는 현재 후보 예측 움직임 벡터 리스트에 포함되어 있는 후보 예측 움직임 벡터의 개수가 후보 예측 움직임 벡터 리스트에 포함될 수 있는 최대 개수 이상인지 여부를 판단한다.
후보 예측 움직임 벡터 리스트에 포함될 수 있는 후보 예측 움직임 벡터의 개수는 임의의 개수로 제한될 수 있다. 예를 들어, 최대 예측 움직임 벡터 개수가 2 개로 설정된 경우를 가정하고, S500 내지 S540에서 수행되는 후보 예측 움직임 벡터 유도 과정을 통해 유도된 후보 예측 움직임 벡터가 3라고 하면, 우선 순위가 높은 순으로 2개의 후보 예측 움직임 벡터만이 후보 예측 움직임 벡터 리스트에 포함될 수 있고, 나머지 1개의 벡터는 후보 움직임 벡터 리스트에서 제외될 수 있다.
이와 같이 복호화기는, 현재 후보 예측 움직임 벡터 리스트에 포함되어 있는 후보 예측 움직임 벡터의 개수가 후보 예측 움직임 벡터 리스트에 포함될 수 있는 최대 개수 이상인 경우, 최대 후보 예측 움직임 벡터 개수만큼의 후보 예측 움직임 벡터들만 예측 움직임 벡터 리스트에 포함되도록 후보 예측 움직임 벡터의 개수를 조정한다. 이때, 후보 예측 움직임 벡터의 개수를 조정하는 방법의 일 예로서, 우선 순위가 높은 순으로 최대 후보 예측 움직임 벡터 개수만큼의 후보 예측 움직임 벡터를 후보 예측 움직임 벡터 리스트에 포함시키고, 나머지 후보 예측 움직임 벡터는 후보 예측 움직임 벡터 리스트에서 제외시키는 방법을 이용할 수 있다.
현재 후보 예측 움직임 벡터 리스트에 포함되어 있는 후보 예측 움직임 벡터의 개수가 후보 예측 움직임 벡터 리스트에 포함될 수 있는 최대 후보 예측 움직임 벡터의 개수보다 작은 경우, 복호화기는 후보 예측 움직임 벡터를 후보 예측 움직임 벡터 리스트를 추가할 수 있다. 예를 들어, 현재 후보 예측 움직임 벡터 리스트에 제로 움직임 벡터를 추가적인 후보 예측 움직임 벡터로서 포함시킬 수 있다. 추가되는 후보 예측 움직임 벡터는 제로 움직임 벡터 외에도 후보 예측 움직임 벡터 리스트에 이미 존재하는 벡터들의 조합 또는 스케일링된 값이 될 수도 있다.
복호화기는 현재 예측 블록의 예측 움직임 벡터를 결정할 수 있다(S560). 복호화기는 도 3에서 설명한 바와 같이, 후보 예측 움직임 벡터 리스트에 포함된 후보 예측 움직임 벡터들 중에서 가장 효율적인 후보 예측 움직임 벡터를 현재 블록의 예측 움직임 벡터(motion vector predictor: mvp)로 이용할 수 있다.
이때, 가장 효율적인 후보 예측 움직임 벡터에 관한 정보를 부호화기가 복호화기에 전달하도록 할 수 있다. 이 경우, 복호화기는 부호화기로부터 전달된 후보 예측 움직임 벡터의 인덱스 정보에 기반해서 현재 예측 단위의 예측 움직임 벡터를 결정할 수도 있다. 후보 예측 움직임 벡터 인덱스 정보는 후보 예측 움직임 벡터 리스트의 후보 예측 움직임 벡터 중 어떠한 후보 예측 움직임 벡터를 현재 예측 블록의 예측 움직임 벡터로 사용할 것인지를 지시할 수 있다.
현재 예측 블록의 예측 움직임 벡터(motion vector predictor)와 현재 예측 블록의 원래 움직임 벡터값의 차이 정보인 차분 움직임 벡터(motion vector difference: mvd) 정보를 더해서 현재 예측 단위의 움직임 벡터 정보를 산출할 수 있다.
도 6은 현재 예측 블록에 대한 공간적 후보 예측 블록의 움직임 벡터를 개략적으로 설명하는 도면이다.
도 6을 참조하면, 현재 예측 블록과 동일한 참조 인덱스 및 참조 픽처 리스트로부터 산출된 공간적 후보 예측 블록의 움직임 벡터를 제1 움직임 벡터(500)라고 한다. 이때, 참조 인덱스는 참조 픽처를 지시하는 인덱스이다.
도 6의 예에서 현재 예측 블록(650)의 참조 인덱스가 지시하는 참조 픽처가 j 픽처고 j 픽처가 포함된 참조 픽처 리스트가 L0라고 가정하면, 공간적 후보 예측 블록(670)의 움직임 벡터(600)가 지시하는 픽처가 j 픽처고 j 픽처가 포함된 참조 픽처 리스트가 L0이므로, 공간적 후보 예측 블록(670)의 움직임 벡터와 현재 예측 블록(650)의 움직임 벡터는 동일한 참조 픽처 및 동일한 참조 픽처 리스트를 가진다. 이처럼, 현재 예측 블록과 동일한 참조 픽처(동일한 참조 인덱스)를 가지고 동일한 리스트로부터 유도된 움직임 벡터를 제1 움직임 벡터(600)라고 한다.
이에 대하여, 현재 예측 블록(650)과 동일한 참조 인덱스를 가지되 서로 다른 참조 픽처 리스트로부터 산출된 공간적 후보 예측 블록(670)의 움직임 벡터를 제2 움직임 벡터(610)라고 한다.
현재 예측 블록(650)의 참조 인덱스가 지시하는 참조 픽처가 j 픽처고 j 픽처가 포함된 참조 픽처 리스트가 L0라고 가정한다면, 도 6의 예에서 공간적 후보 예측 블록(670)의 움직임 벡터가 지시하는 픽처가 j 픽처고 j 픽처가 포함된 참조 픽처 리스트가 L1이므로 공간적 후보 예측 블록(670)의 움직임 벡터(610)와 현재 예측 블록(650)의 움직임 벡터는 참조 인덱스(참조 픽처)가 동일하지만 참조 픽처 리스트가 서로 상이하다. 이렇게 현재 예측 블록과 동일한 참조 인덱스를 가지지만 서로 다른 리스트로부터 유도된 움직임 벡터를 제2 움직임 벡터(610)라고 한다.
또한, 현재 예측 블록과 서로 다른 참조 인덱스를 가지되 동일한 참조 픽처 리스트로부터 유도된 공간적 후보 예측 블록의 움직임 벡터를 제3 움직임 벡터(620)라고 한다.
현재 예측 단위(650)의 참조 인덱스가 지시하는 참조 픽처가 j 픽처고 j 픽처가 포함된 참조 픽처 리스트가 L0라고 가정한다면, 도 6의 예에서 공간적 후보 예측 블록(670)의 움직임 벡터(620)가 지시하는 픽처가 i 픽처고 i 픽처가 포함된 참조 픽처 리스트가 L0이므로 공간적 후보 예측 블록(670)의 움직임 벡터와 현재 예측 블록(650)의 움직임 벡터는 서로 다른 참조 인덱스를 가지나 참조 픽처 리스트가 동일하다. 이렇듯 현재 예측 블록(650)과 참조 인덱스가 서로 상이하지만, 동일한 리스트로부터 유도된 움직임 벡터를 제3 움직임 벡터(520)라고 한다. 제3 움직임 벡터(620)의 경우 현재 예측 블록과 참조 픽처(참조 인덱스)가 서로 다르므로, 공간적 후보 예측 블록의 움직임 벡터는 현재 예측 블록의 참조 픽처를 기준으로 스케일링되어 후보 예측 움직임 벡터 리스트에 포함될 수 있다.
현재 예측 블록(650)과 서로 다른 참조 인덱스를 가지고 서로 다른 참조 픽처 리스트로부터 유도된 공간적 후보 예측 블록(670)의 움직임 벡터를 제4 움직임 벡터(630)라고 한다.
현재 예측 블록(650)의 참조 인덱스가 지시하는 참조 픽처가 j 픽처고 j 픽처가 포함된 참조 픽처 리스트가 L0라고 가정한다면, 도 6의 예에서 공간적 후보 예측 블록(670)의 움직임 벡터(630)가 지시하는 픽처가 m 픽처고 m 픽처가 포함된 참조 픽처 리스트가 L1이므로 공간적 후보 예측 블록(670)의 움직임 벡터와 현재 예측 블록(650)의 움직임 벡터는 참조 인덱스가 서로 상이하고, 참조 리스트 역시 서로 상이하다. 이렇게 현재 예측 블록과 참조 인덱스가 서로 상이하고, 서로 다른 참조 픽처 리스트로부터 산출된 움직임 벡터를 제4 움직임 벡터(630)라고 한다. 이 경우에도, 참조 인덱스(참조 픽처)가 현재 예측 블록(650)과 상이하므로, 공간적 후보 예측 블록의 움직임 벡터는 현재 예측 블록의 참조 픽처를 기준으로 스케일링되어 후보 예측 움직임 벡터 리스트에 포함될 수 있다.
복호화기는 좌측 제1 블록과 좌측 제2 블록에 대하여 순서대로 제1 움직임 벡터, 제2 움직임 벡터, 제3 움직임 벡터, 제4 움직임 벡터를 검색(search)할 수 있다. 복호화기는 좌측 제1 블록에서 제1 움직임 벡터와 제2 움직임 벡터를 검색하고, 검색되지 않는 경우에 좌측 제2 블록에서 제1 움직임 벡터와 제2 움직임 벡터를 검색할 수 있다. 또한, 복호화기는 좌측 제1 블록과 좌측 제2 블록에서 순서대로 제1 움직임 벡터를 검색하고, 검색되지 않는 경우에 좌측 제1 블록과 좌측 제2 블록에서 순서대로 제2 움직임 벡터를 검색할 수도 있다.
제1 움직임 벡터와 제2 움직임 벡터가 검색되지 않으면, 좌측 제1 블록과 좌측 제2 블록에 대하여 동일한 방식으로 제4 움직임 벡터와 제4 움직임 벡터를 검색할 수 있다.
움직임 벡터가 검색되면, 제1 공간적 후보 예측 그룹 가용성 정보를 1(true)로 설정하고, 검색된 움직임 벡터를 후보 예측 움직임 벡터 리스트에 포함시키며, 이후의 검색을 종료할 수 있다.
복호화기는 상측 제1 블록, 상측 제2 블록, 상측 제3 블록에 대하여 순서대로 제1 움직임 벡터, 제2 움직임 벡터, 제3 움직임 벡터, 제4 움직임 벡터를 검색할 수 있다. 검색의 방식은 좌측 블록들에 대한 경우와 동일하다. 움직임 벡터가 검색되면, 제2 공간적 후보 예측 그룹 가용성 정보를 1(true)로 설정하고, 검색된 움직임 벡터를 후보 예측 움직임 벡터 리스트에 포함시키며, 이후의 검색을 종료할 수 있다.
다만, 제3 움직임 벡터와 제4 움직임 벡터의 경우에는, 후보 예측 움직임 벡터 리스트에 포함시켜 이용하기 위해서 스케일링이 필요하며, 이때, 스케일링의 회수를 제한할 수 있다. 예컨대, 설정된 회수를 좌측 제1 블록과 제2 블록에서 제3 움직임 벡터 및 제4 움직임 벡터를 검색하는데 모두 사용하였다면, 상측 블록들에서 제3 움직임 벡터 및 제4 움직임 벡터에 대한 검색은 수행되지 않을 수 있다.
복호화기는 시간적 후보 예측 블록(Col 블록)에서 유도된 후보 예측 움직임 벡터를 후보 예측 움직임 리스트에 포함시킬 수 있다.
복호화기는 상술한 바와 같이, 후보 예측 움직임 리스트상에 동일한 후보 예측 움직임 벡터가 존재하는 경우에는 동일한 후보 예측 움직임 벡터들 중에서 가장 우선 순위가 높은 것을 제외한 나머지는 후보 예측 움직임 리스트에서 제거할 수 있다. 또한, 복호화기는 제로 움직임 벡터 등을 이용하여 후보 움직임 벡터의 개수를 조정할 수도 있다.
한편, 상술한 내용에서 L0, L1은 픽처 종류에 따라서 인터 예측에 사용되는 참조 픽처 리스트를 말한다.
영상 부호화, 복호화에 사용되는 픽처는 I 픽처(I picture), P 픽처(P picture), B 픽처(B picture)로 분류할 수 있다.
I 픽처는 전후의 화면과는 관계없이 그 화면 내에서 독립적으로 부호화되는 픽처로서, 시간 방향의 예측이 적용되지 않으며, 화면 내 정보만이 부호화 처리에 사용된다.
P 픽처는 하나의 참조 픽처를 이용한 단방향의 인터 예측에 의해 부호화될 수 있는 픽처다. P 픽처에서는 한 개의 참조 픽처 리스트를 필요로 하며, 이를 참조 픽처 리스트 0(reference picture list 0: L0)이라 지칭한다. L0으로부터 선택된 참조 픽처를 사용하는 인터 예측을 L0 예측이라고도 한다. L0 예측은 주로 순방향 예측에 사용된다. P 픽처에서는 인트라 예측 또는 L0 예측이 수행될 수 있다.
B 픽처는 하나 이상, 예를 들어 2 개의 참조 픽처를 이용하여 순방향, 역방향 또는 양 방향 인터 예측에 의해 부호화될 수 있는 픽처다. B 픽처는 두 개의 참조 픽처 리스트를 필요로 하며, 두 개의 참조 픽처 리스트는 각각 참조 픽처 리스트 0(reference picture list 0: L0), 참조 픽처 리스트 1(reference picture list 1: L1)이라 지칭한다. 상술한 바와 같이, L0으로부터 선택된 참조 픽처를 사용하는 인터 예측을 L0 예측이라 하며, L0 예측은 주로 순방향 예측에 사용된다. L1으로부터 선택된 참조 픽처를 사용하는 인터 예측을 L1 예측이라 하며, L1 예측은 주로 역방향 예측에 사용된다. 또한 L0과 L1으로부터 각각 선택된 두 개의 참조 픽처를 사용하는 인터 예측을 쌍 예측(bi prediction)이라고도 한다.
B 픽처에서는 인트라 예측, L0 예측, L1 예측 또는 쌍 예측(Bi prediction)이 수행될 수 있다.
이와 관련하여, B 픽처 중 L0과 L1이 동일한 픽처를 GPB(Generalized P and B) 또는 제너럴라이즈드 B 픽처(Generalized B picture)라고 한다. GPB의 경우는 순방향 예측만 허용되며, 높은 부호화 성능을 유지하면서 낮은 지연(low delay)의 부호화가 가능하다.
도 7은 P 픽쳐, B 픽쳐 및 GPB의 예측 방법을 개략적으로 설명하는 도면이다. 도 7에서, 각 픽쳐들은 POC(Picture Order Count) 순서로 도시되어 있다. POC는 픽처의 표시 순서 또는 시간 순서를 의미한다.
P 픽쳐에 대해서는 하나의 참조 픽처로부터 단방향 예측이 가능하다. 따라서, 도시된 바와 같이, 시간 순서상(POC 상) 과거 픽처로부터의 순방향 예측이 수행될 수도 있고, 미래 픽처로부터의 역방향 예측이 수행될 수도 있다. P 픽처는 단방향으로 예측 대상 블록에 대한 하나의 움직임 정보(움직임 벡터, 참조 인덱스)만을 사용할 수 있다.
B 픽처에 대해서는 최대 두 개의 움직임 정보가 사용될 수 있다. 따라서, B 픽처에 대해서 과거의 두 참조 픽처를 이용하여 순방향 예측을 수행할 수도 있고, 미래의 두 참조 픽처를 이용하여 역방향 예측을 수행할 수도 있으며, 과거의 참조 픽처와 미래의 참조 픽처를 하나씩 이용하여 쌍 예측을 수행할 수도 있다. 쌍 예측을 수행할 수 있는 B 픽처에 대해서는 L0, L1 두 개의 참조 픽쳐 리스트가 필요할 수 있다.
GPB에서는 B 픽처와 마찬가지로 예측 대상 블록에 대해 2개 이상의 움직임 정보를 사용하여 예측이 수행될 수 있다. GPB에서는 순방향 예측만이 허용될 수 있는데, 이 경우 역방향 예측에 따른 지연이 수반되지 않는다.
상기 I 픽처, P 픽처, B 픽처의 특징은 픽처 단위가 아닌 슬라이스 단위로도 정의될 수 있다. 예컨대, 슬라이스 단위에서 I 픽쳐의 특징을 갖는 I 슬라이스, P 픽쳐의 특징을 갖는 P 슬라이스, B 픽쳐의 특징을 갖는 B 슬라이스가 정의될 수 있으며, 슬라이스 단위에서 GPB는 GPB 슬라이스 또는 제너럴라이즈드 B 슬라이스(Generalized B slice)라고 할 수 있다.
한편, 상술한 AMVP 방법에서, 현재 블록에 스킵 모드가 적용되면 유도된 예측 움직임 벡터(mvp)를 사용하여 현재 블록에 대한 복호화를 수행한다. 예컨대, 인터 예측에서 스킵 모드가 적용되면, 현재 블록의 주변 참조 블록 중 가용한 특정 블록의 움직임 정보를 유도하여 현재 블록의 움직임 정보로 사용하며, 예측 블록에 대한 레지듀얼을 전송하지 않고, 예측 블록을 기반으로 현재 블록을 복호화한다.
스킵 모드에서는, 현재 블록의 참조 인덱스를 소정의 값, 예컨대 0으로 지정할 수도 있다. 하지만, 이 경우에 시간적 움직임 벡터 예측자(TMVP: Temporal Motion Vector Predictor)를 사용한다면, 효과적인 예측 결과를 얻기 어렵다.
도 8은 참조 인덱스를 특정 값으로 지정한 채 스킵 모드에서 TMVP를 사용하는 경우에 발생할 수 있는 문제를 개략적으로 설명하고 있다.
도 8에서는, 참조 인덱스를 특정한 값으로 설정하고 스킵 모드를 적용하는 예를 나타내고 있다. 도 8의 예에서, 참조 인덱스는 참조 픽처 0을 지시한다고 가정한다. 참조 인덱스가 지시하는 참조 픽처 0이 참조 인덱스 1이 지시하는 참조 픽처 1 및 현재 픽처와 비교할 때 더 밝다. 참조 픽처 0이 더 밝은 이유는 촬영 시의 플래시와 같은 조명 효과 때문일 수 있다.
현재 픽처와 참조 픽처 0은 루마(luminance) 성분의 차이가 크기 때문에, 부호화 효율을 고려한다면 참조 픽처 0보다 참조 픽처 1을 현재 픽처의 예측에 이용하는 것이 더 좋을 수 있다.
따라서, 도 8의 예에서 현재 블록의 주변 블록들은 참조 픽처 1을 지시하는 참조 인덱스를 가지고 있을 가능성이 많다. 주변 블록의 대부분이 참조 픽처 1을 지시하고 있다면, 현재 블록에 대하여 참조 픽처 0을 이용해서 스킵 모드를 적용할 때, 동일한 참조 인덱스를 가지는 후보 블록이 없어서 제로 움직임 벡터 혹은 콜 픽처(collocated picture)의 블록을 가지고 현재 블록에 대한 예측 후보 움직임 벡터(mvp)를 결정해야 할 수도 있다.
즉, 주변에 더 유사한 움직임 벡터를 가지는 블록이 있음에도, 이와는 다른 정보를 이용해서 스킵 모드를 적용해야 하는 문제가 발생할 수 있다.
따라서, 스킵 모드를 적용할 때, 참조 인덱스를 특정값으로 지정하지 않고 현재 블록 주변의 블록들이 가지는 참조 인덱스로부터 유도하는 방법을 적용할 수 있다. 예컨대, 현재 블록의 주변에 많이 분포하는 참조 인덱스를 스킵 모드에 대한 참조 인덱스로서 할당하는 방법을 이용함으로써 상기 문제를 해결할 수 있다. 다시 말하면, 현재 블록의 주변 블록들의 움직임 경향을 쫓아서, 스킵 모드에 할당할 참조 인데스를 결정할 수 있다.
이하, 본 발명에 따라서 스킵 모드의 참조 인덱스를 할당하는 것에 관한 실시예들을 도면을 참조하여 구체적으로 설명한다.
본 발명이 적용되는 시스템에서는, 상술한 바와 같이 스킵 모드에서 현재 블록에 지정되는 움직임 벡터와 참조 인덱스 중에서, 참조 인덱스를 무조건 0으로 지정하는 것이 아니라, 현재 블록의 주변에 많이 분포하고 있는 참조 인덱스를 현재 블록의 참조 인덱스로 지정한다. 즉, 현재 블록의 주변 블록들 중에서 소정의 블록이 가지는 참조 인덱스를 현재 블록의 참조 인덱스로 이용한다. 이에 관한 구체적인 방법은 아래의 실시예들과 같다.
스킵 모드의 참조 인덱스 지정 에 관한 실시예 1
본 실시예에서는 현재 블록의 주변 블록들에 대하여 가장 많이 이용되는 참조 인덱스를 현재 블록의 참조 인덱스로 이용한다.
예컨대, 도 3을 참조하면, 집합 A(310)에 속하는 블록들의 참조 인덱스들, 집합 B(320)에 속하는 블록들의 참조 인덱스들, 그리고 블록 C(330)의 참조 인덱스, 블록 E(350)의 참조 인덱스 중에서 그 수가 가장 많은 참조 인덱스를 현재 블록(300)의 참조 인덱스로 이용할 수 있다. 이때, 블록 C(330)가 가용하지 않은 경우에는 블록 D(340)의 참조 인덱스를 대신 이용할 수도 있다.
주변 블록에 가장 많이 지정된(가장 많이 이용된) 참조 인덱스가 복수 존재하면, 더 작은 값을 가지는 참조 인덱스를 현재 블록의 참조 인덱스로서 지정할 수 있다. 이때, 더 작은 값을 가지는 참조 인덱스는 더 높은 우선 순위를 가지는 참조 인덱스일 수 있다. 혹은, 더 작은 값을 가지는 참조 인덱스는 참조 픽처 리스트에서 더 낮은 인덱스를 가지는 참조 픽처를 지시하는 참조 인덱스일 수 있다.
스킵 모드의 참조 인덱스 지정에 관한 실시예 2
본 실시예에서는 현재 블록의 좌측 주변 블록들이 가지는 참조 인덱스들에 대한 미디안(median) 값과 현재 블록의 우측 주변 블록들이 가지는 참조 인덱스들에 대한 미디안 값을 유도하고, 이 두 미디언 값과 현재 블록의 코너에 위치하는 블록의 참조 인덱스에 대한 미디언 값을 현재 블록의 참조 인덱스로서 지정한다.
예컨대, 도 3을 참조하면, 집합 A(310)에 속하는 N개의 블록들의 참조 인덱스 refidxA1, …, refidxAN의 미디언 Median(refidxA1, …, refidxAN)을 refA 라고 하자. 또한, 집합 B(320)에 속하는 M개의 블록들의 참조 인덱스 refB1, …, refidxBN의 미디언 Median(refidxB1, …, refidxBM)을 refidxB 라고 하자. 또한, 블록 C(330)의 참조 인덱스를 refC라고 할 때, 현재 블록(300)의 참조 인덱스로서 Median(refA, refB, refC)를 지정할 수 있다.
이때, 실시예 1과 같이, 블록 C(330)가 이용할 수 없는 블록인 경우, 예컨대 인트라 예측 모드의 블록인 경우에는 블록 D(340)의 참조 인덱스 혹은 블록 E(350)의 참조 인덱스를 블록 C(330)의 참조 인덱스 대신 이용할 수 있다.
스킵 모드의 참조 인덱스 지정에 관한 실시예 3
본 실시예에서는 현재 블록의 상단에 있는 주변 블록들의 참조 인덱스 중에서 가장 작은 값의 참조 인덱스와 현재 블록의 좌측에 있는 주변 블록들의 참조 인덱스 중에서 가장 작은 값의 참조 인덱스를 유도하고, 두 참조 인덱스 중에서 작은 값의 참조 인덱스를 현재 블록의 참조 인덱스로 지정한다.
예컨대, 도 3을 참조하면, 집합 A(310)에 속하는 블록들의 참조 인덱스들 중에서 가장 작은 값을 가지는 참조 인덱스를 집합 A의 참조 인덱스 refA로 지정하고, 집합 B(320)에 속하는 블록들의 참조 인덱스들 중에서 가장 작은 값을 가지는 참조 인덱스를 집합 B의 참조 인덱스 refB로 지정한다. 이때, refA와 refB 중에서 더 작은 값을 가지는 참조 인덱스를 현재 블록(300)의 참조 인덱스로 지정한다.
이때, 현재 블록(300)의 코너에 있는 세 블록 참조 인덱스, 즉, 블록 C(330)의 참조 인덱스 refC, 블록 D(340)의 참조 인덱스 refD, 블록 E의 참조 인덱스 refE를 더 포함시켜서 refA, refB, refC, refD, refE 중 가장 작은 값을 가지는 참조 인덱스를 현재 블록(300)의 참조 인덱스로서 지정할 수도 있다.
스킵 모드의 참조 인덱스 지정에 관한 실시예 4
본 실시예에서는 부호화기가 슬라이스 레벨 혹은 픽처 레벨의 파라미터 셋을 통해서, 스킵 모드가 적용되는 현재 블록에 사용할 참조 인덱스(참조 픽처 인덱스)를 전송한다. 이때, 현재 블록은 부호화 유닛일 수도 있고, 예측 유닛일 수도 있다.
부호화기가 슬라이스 레벨 혹은 픽처 레벨로 전송하는 참조 인덱스에 관한 정보는참조 인덱스의 값 자체일 수 있다.
한편, 본 발명에서는 현재 블록의 주변에 많이 분포하는 참조 인덱스를 스킵 모드에 대한 참조 인덱스로서 할당하므로, 부호화기로부터 전송되는 참조 인덱스는 현재 블록의 주변에 위치하는 블록의 참조 인덱스일 수 있다. 따라서, 부호화기는 참조 인덱스의 값을 직접 전송하지 않고, 해당 참조 인덱스를 가지는 주변 블록을 지시하는 정보를 전송하는 방식으로 참조 인덱스에 관한 정보를 전송할 수도 있다. 이 경우에, 부호화기가 지정한 블록의 움직임 벡터까지 현재 블록과 동일하다면, 현재 블록에 대하여 부호화기가 지정한 블록의 움직임 정보를 그대로 사용하여 스킵 모드를 적용하도록 할 수도 있다. 설명의 편의를 위해, 이를 주변 블록에 머지하여 스킵 모드를 적용하는 방식이라고도 할 수 있다.
복호화기는 스킵 모드가 적용되는 블록들에 대하여, 참조 인덱스로서 부호화기로부터 전송된 참조 인덱스를 지정한다. 스킵 모드에 대한 참조 인덱스는 슬라이스 레벨 또는 픽처 레벨에서 전송되므로, 동일한 슬라이스 혹은 동일한 픽처에 속하는 블록들로서 스킵 모드가 적용되는 블록들에 대해서는 동일한 참조 인덱스가 지정될 수 있다. 복호화기는 부호화기로부터 전송된 참조 인덱스와 상술한 바와 같은 AMVP 방법을 이용하여 현재 블록에 대한 예측 움직임 벡터(mvp)를 유도한다. 이때, 상술한 바와 같이, 부호화기로부터 전송되는 참조 인덱스에 관한 정보가 동일한 참조 인덱스를 가지는 주변 블록을 지시하는 방식으로 전달되는 경우에, 지시된 주변 블록의 움직임 벡터가 현재 블록의 움직임 벡터와 동일하다면, 복호화기는 지시된 블록의 움직임 정보를 그대로 사용하는 방식으로 현재 블록에 스킵 모드를 적용할 수도 있다. 즉, 주변 블록에 머지하여 스킵 모드를 적용하는 방식이 이용될 수도 있다.
스킵 모드의 참조 인덱스 지정에 관한 실시예 5
본 실시예에서는 부호화기가 스킵 모드가 적용되는 현재 블록이 사용할 참조 인덱스를 블록 단위로 전송한다. 이때, 참조 인덱스가 전송되는 블록 단위는 부호화 유닛일 수도 있고, 예측 유닛일 수도 있다.
부호화기가 슬라이스 레벨 혹은 픽처 레벨로 전송하는 참조 인덱스에 관한 정보는참조 인덱스의 값 자체일 수 있다.
한편, 본 발명에서는 현재 블록의 주변에 많이 분포하는 참조 인덱스를 스킵 모드에 대한 참조 인덱스로서 할당하므로, 부호화기로부터 전송되는 참조 인덱스는 현재 블록의 주변에 위치하는 블록의 참조 인덱스일 수 있다. 따라서, 부호화기는 참조 인덱스의 값을 직접 전송하지 않고, 해당 참조 인덱스를 가지는 주변 블록을 지시하는 정보를 전송하는 방식으로 참조 인덱스에 관한 정보를 전송할 수도 있다. 이 경우에, 부호화기가 지정한 블록의 움직임 벡터까지 현재 블록과 동일하다면, 현재 블록에 대하여 부호화기가 지정한 블록의 움직임 정보를 그대로 사용하여 스킵 모드를 적용하도록 할 수도 있다. 설명의 편의를 위해, 이를 주변 블록에 머지하여 스킵 모드를 적용하는 방식이라고도 할 수 있다.
복호화기는 스킵 모드를 적용할 때, 부호화기가 전송한 참조 인덱스를 현재 블록의 참조 인덱스로 이용한다. 이때, 상술한 바와 같이, 부호화기로부터 전송되는 참조 인덱스에 관한 정보가 동일한 참조 인덱스를 가지는 주변 블록을 지시하는 방식으로 전달되는 경우에, 지시된 주변 블록의 움직임 벡터가 현재 블록의 움직임 벡터와 동일하다면, 복호화기는 지시된 블록의 움직임 정보를 그대로 사용하는 방식으로 현재 블록에 스킵 모드를 적용할 수도 있다. 즉, 주변 블록에 머지하여 스킵 모드를 적용하는 방식이 이용될 수도 있다.
스킵 모드의 참조 인덱스 지정에 관한 실시예 6
본 실시예에서는 현재 블록에 적용되는 스킵 모드에 대한 참조 인덱스를 유도하기 위해 주변 블록의 참조 인덱스 중에서 작은 값을 선택하여 이용한다.
도 9는 본 발명의 본 실시예에 따라서 주변 블록의 참조 인덱스로부터 현재 블록의 참조 인덱스를 선택하는 방법을 개략적으로 설명하는 도면이다.
도 9를 참조하면, 스킵 모드가 적용될 때, 현재 블록(910)의 참조 인덱스는 블록 A(930)의 참조 인덱스와 블록 B(950)의 참조 인덱스를 고려하여 결정될 수 있다. 도 3을 참조할 때, 블록 A(930)는 집합 A(920)의 블록들 중 어느 하나일 수 있으며, 블록 B(950)는 집합 B(940)의 블록들 중 어느 하나일 수 있다.
블록 A(930)의 참조 인덱스와 블록 B(950)의 참조 인덱스는 순방향 예측을 하는 경우에 참조 픽처 리스트 L1에 대하여 -1(비가용, unavailable)의 값을 가질 수 있고, 역방향 예측을 하는 경우에 참조 픽처 리스트 L0에 대하여 -1의 값을 가질 수 있다. 또한, 블록 A(930) 또는 블록 B(950) 중에서 인트라 모드인 블록의 경우에는, 양 방향 예측에 대해서 참조 픽처 인덱스의 값이 모두 -1이 될 수 있다.
표 1은 스킵 모드의 참조 인덱스 지정에 관한 실시예 6에 따라서 지정되는 참조 픽처 인덱스를 나타낸 것이다.
Figure 112019099089638-pat00001
스킵 모드에 대한 참조 인덱스는 L0 방향, L1 방향에 대하여 각각 구해지며, 유도된 참조 인덱스를 이용해서 예측이 진행된다. 기본적으로는 블록 A(930)의 참조 인덱스와 블록 B(950)의 참조 인덱스 중에서 더 작은 값의 참조 인덱스가 현재 블록의 참조 인덱스로 지정된다. 따라서, 스킵 모드의 참조 인덱스(skip_ref)는 블록 A(930)의 참조 인덱스(ref_idx_A)와 블록 B(950)의 참조 인덱스(ref_idx_B)를 이용하여 수식 2와 같이 유도될 수 있다.
＜수식 2＞
skip_ref_A = (ref_idx_A == -1? 0:ref_idx_A)
skip_ref_B = (ref_idx_B == -1? 0:ref_idx_B)
skip_ref = min(skip_ref_A, skip_ref_B)
다만, 블록 A(930)의 참조 인덱스와 블록 B(950)의 참조 인덱스가 모두 -1인 경우에는 현재 블록에 대한 스킵 모드의 참조 인덱스를 0으로 유도할 수도 있고, -1로 유도할 수도 있다.
스킵 모드의 참조 인덱스를 -1로 유도하면, 스킵 모드이 단방향 예측이 가능하다. 예컨대, L0 방향의 스킵 모드 참조 인덱스 skip_rel_l0의 값이 -1이고, L1 방향의 스킵 모드 참조 인덱스의 값이 0이라면, 현재 블록은 L1 방향의 스킵 모드가 적용된다.
한편, 현재 블록에 대하여 인트라 예측 모드가 머지 모드인 경우에는, 정해진 머지 후보의 움직임 정보(참조 인덱스, 움직임 벡터)를 현재 블록에 적용하는 방식으로 예측이 수행될 수 있다. 또한, 현재 블록에 대한 인트라 예측 모드가 스킵 모드인 경우에도, 상술한 바와 같이 머지 방식의 스킵이 적용될 수 있다. 이를 간략히 머지 스킵 모드라고 할 수 있다.
머지 모드 혹은 머지 스킵 모드에서는 지정된 후보 블록의 움직임 정보를 현재 블록의 움직임 정보로서 이용한다. 머지 스킵 모드에서는 머지 모드와 달리 예측 블록에 대한 레지듀얼 신호가 전송되지 않는다. 머지 모드 또는 머지 스킵 모드가 적용되는지를 지시하는 정보는 부호화기로부터 전송될 수 있다.
현재 블록에 대한 인트라 예측 모드가 머지 모드 혹은 머지 스킵 모드인 경우에, 현재 블록이 머지할 대상은 부호화기로부터 전송되는 지시자에 의해 머지 후보 리스트(mergeCandList)상에서 지시될 수 있다.
도 10은 본 발명이 적용되는 시스템에서 머지 후보들을 개략적으로 설명하는 도면이다. 도 10을 참조하면, 현재 블록(1000)에 대하여 머지 모드/머지 스킵 모드가 적용되는 경우에, 현재 블록의 움직임 정보로서 이용될 수 있는 후보들은 현재 블록의 좌하측 코너 블록인 블록 A0(1010), 현재 블록의 좌하측 블록인 A1(1020), 현재 블록의 우상측 코너 블록인 B0(1030), 현재 블록의 우상측 블록인B1(1040), 현재 블록의 좌상측 코너 블록인 B2(1050) 및 현재 블록의 동일 위치 블록인 COL(1050)들의 움직임 정보이다. 여기서, A1, B0, B1, B2 또는 COL 는 블록을 나타낼 수도 있고, 움직임 정보를 나타낼 수도 있다. 이하, 설명의 편의를 위해, 블록 자체를 나타내는 경우에는 ‘블록 N’(N = A1, B0, B1, B2 또는 COL)으로 나타내고, 움직임 정보(후보)를 나타내는 경우에는 ‘N’(N = A1, B0, B1, B2 또는 COL)으로 나타낸다.
머지 후보 리스트는 각 후보에 대한 가용 플래그의 값이 1(참)일 때, A1, B1, B0, A0, B2, COL의 순서로 인덱싱(indexing)될 수 있다. 가용 플래그의 값이 1이 아닌 후보는 머지 후보 리스트에 포함될 수 없다.
머지 후보 리스트에서 동일한 움직임 정보 및 동일한 참조 인덱스를 가지는 후보가 둘 이상 존재하는 경우에는, 동일한 움직임 정보 및 동일한 인덱스를 가지는 후보들 중에서 더 작은 오더(order)(더 높은 순위 혹은 더 낮은 인덱스)를 갖는 후보를 제외하고 나머지를 제거할 수 있다.
또한, 머지 후보 리스트에 포함될 수 있는 최대 후보의 개수는 소정의 개수로 고정될 수도 있다. 예컨대, 머지 후보 리스트에는 최대 5개의 후보만 포함되도록 할 수 있다.
*머지 모드 혹은 머지 스킵 모드가 적용되는 현재 블록은 부호화기가 전송한 인덱스가 머지 후보 리스트에서 지시하는 후보에 머지하며, 해당 후보의 움직임 정보를 현재 블록의 움직임 정보로서 이용한다. 이때, 현재 블록의 움직임 정보로서 이용되는 후보 블록의 움직임 정보는 움직임 벡터, 참조 인덱스 외에도 L1/L2의 유용성을 지시하는 예측 플래그 등을 포함할 수 있다.
머지 후보로서, A0, A1, B0, B1, B2를 유도하는 방법은 각 후보의 가용성을 판단하여 수행된다.
도 10을 참조하면, 블록 A0, 블록 A1, 블록 B0, 블록 B1, 블록 B2는 각각 (xP-1, yP+nPSH), (xP-1, yP+nPSH-1), (xP+nPSW, yP-1), (xP+nPSW-1, yP-1), (xP-1, yP-1)을 커버하는 블록이다. 이때, 설명의 편의를 위해 블록들의 위치를 (xN, yN)으로 나타낼 수 있다.
*이때, 공간적 머지 후보 A0, A1, B0, B1, B2에 대하여 다음과 같은 경우에 해당 후보는 가용하지 않다:
(1) A0, A1, B0, B1이 모두 가용한 경우, B2.
(2) 블록 A0, 블록 A1, 블록B0, 블록B1, 블록 B2중에서, 인트라 모드인 블록의 움직임 정보.
(3) 현재 블록의 분할 유형이 PART_2NxN, PART_2NxnU, PART_2NxnD 또는 PART_Nx2N, PART_nLx2N, PART_nRx2N이고, 분할 인덱스가 1이며, 분할 인덱스 0인 위치와 (xN, yN)을 커버하는 예측 유닛들이 동일한 움직임 정보를 가지는 경우, 블록 N의 움직임 정보.
(4) 현재 블록의 분할 유형이 PART_NxN이고, 분할 인덱스 의 0의 블록과 2의 블록에 대하여 동일한 움직임 정보가 할당되고, 분할 인덱스 1의 블록과 (xN, yN)을 커버하는 예측 유닛들이 동일한 움직임 정보를 가지는 경우, 블록 N의 움직임 정보.
(5) 현재 블록의 분할 유형이 PART_NxN이고, 분할 인덱스 0의 블록과 1의 블록에 대하여 동일한 움직임 정보가 할당되고, 분할 인덱스 2의 블록과 (xN, yN)을 커버하는 예측 유닛들이 동일한 움직임 정보를 가지는 경우, 블록 N의 움직임 정보.
공간적 머지 후보 A0, A1, B0, B1, B2 중 상기 (1) 내지 (5) 의 어느 하나에 해당하는 후보에 대해서는 가용성 플래그의 값을 0으로 설정하고, 해당 움직임 벡터의 요소값들도 0으로 설정한다.
(1) 내지 (5)의 경우 외에는 해당 후보에 대한 가용성 플래그의 값을 1로 설정하고, (xN, yN)를 커버하는 블록(예컨대, 예측 유닛)의 움직임 벡터, 참조 인덱스, 예측 플래그를 머지 후보 리스트의 mvLXN, refIdxLXN 및 predFlagLXN에 각각 지정한다.
한편, 머지 모드와 머지 스킵 모드에서 시간적 머지 후보(Col 블록)는 상술한 공간적 머지 후보와 달리 유도될 수 있다. 시간적 머지 후보의 움직임 벡터는 콜 픽처에서 현재 블록에 대응하는 블록에 대하여, 소정의 위치에서 선택될 수 있다.
예컨대, 현재 블록에 대응하는 블록의 우하측 코너에 위치하는 블록의 움직임 벡터를 시간적 머지 후보의 움직임 벡터로 선택할 수 있다.
이와 달리, 시간적 머지 후보의 참조 인덱스는 콜 픽처를 이용하지 않고, 현재 블록의 주변 블록들의 참조 인덱스를 기반으로 유도될 수 있다.
이하, 도면을 참조하여, 본 발명에 따라서 시간적 머지 후보의 참조 인덱스를 유도하는 방법을 구체적으로 설명한다.
시간적 머지 후보 의 참조 인덱스 유도에 관한 실시예 1
도 10을 참조하면, 블록 A1(1020)로부터 참조 인덱스 refIdxLXA(X는 0 또는 1)를 다음과 같이 유도될 수 있다.
샘플 위치 (xP-1, yP+nPSH-1)을 커버하는 블록 A1(1020)이 가용(available)하고, 예측 모드가 인트라 예측 모드(MODE_INTRA)가 아니라면, refIdxLXA에 refIdxLX[xP-1, yP+nPSH-1]이 할당된다. (xP-1, yP+nPSH-1)의 샘플은 루마 샘플일 수 있으며, 샘플 위치 (xP-1, yP+nPSH-1)를 커버하는 블록 A1(1020)와 현재 블록은 예측 유닛일 수 있다.
샘플 위치 (xP-1, yP+nPSH-1)을 커버하는 블록 A1(1020)이 가용(available)하지 않거나, 예측 모드가 인트라 예측 모드(MODE_INTRA)라면, refIdxLXA의 값은 -1이 할당된다.
도 10을 참조하면, B1(1040)로부터 참조 인덱스refIdxLXB(X는 0 또는 1)를 다음과 같이 유도될 수 있다.
샘플 위치 (xP+nPSW-1, yP-1)을 커버하는 블록 B1(1040)이 가용(available)하고, 예측 모드가 인트라 예측 모드(MODE_INTRA)가 아니라면, refIdxLXB에 refIdxLX[xP+nPSW-1, yP-1]이 할당된다. (xP+nPSW-1, yP-1)의 샘플은 루마 샘플일 수 있으며, 샘플 위치 (xP+nPSW-1, yP-1)를 커버하는 블록 B1(1040)와 현재 블록은 예측 유닛일 수 있다.
샘플 위치 (xP+nPSW-1, yP-1)을 커버하는 블록 B1(1040)이 가용(available)하지 않거나, 예측 모드가 인트라 예측 모드(MODE_INTRA)라면, refIdxLXB의 값은 -1이 할당된다.
도 10을 참조하면, 코너의 세 블록 A0(1010), B0(1030), B2(1050)으로부터 참조 인덱스refIdxLXC(X는 0 또는 1)를 다음과 같이 유도될 수 있다.
샘플 위치 (xP+nPSW, yP-1)을 커버하는 블록 B0(1030)이 가용(available)하고, 예측 모드가 인트라 예측 모드(MODE_INTRA)가 아니라면, refIdxLXC에 refIdxLX[xP+nPSW, yP-1]이 할당된다. (xP+nPSW, yP-1)의 샘플은 루마 샘플일 수 있으며, 샘플 위치 (xP+nPSW, yP-1)를 커버하는 블록 B0(1030)과 현재 블록은 예측 유닛일 수 있다.
블록 B0이 가용하지 않거나 예측 모드가 인트라 예측 모드인 경우에, 샘플 위치 (xP-1, yP+nPSH)을 커버하는 블록 A0(1010)이 가용(available)하고, 예측 모드가 인트라 예측 모드(MODE_INTRA)가 아니라면, refIdxLXC에 refIdxLX[xP-1, yP+nPSH]이 할당된다. (xP-1, yP+nPSH)의 샘플은 루마 샘플일 수 있으며, 샘플 위치 (xP-1, yP+nPSH)를 커버하는 블록 A0(1010)과 현재 블록은 예측 유닛일 수 있다.
블록 B0 와 A0가 가용하지 않거나 예측 모드가 인트라 예측 모드인 경우에 샘플 위치 (xP-1, yP-1)을 커버하는 블록 B2(1050)이 가용(available)하고, 예측 모드가 인트라 예측 모드(MODE_INTRA)가 아니라면, refIdxLXC에 refIdxLX[xP-1, yP-1]이 할당된다. (xP-1, yP-1)의 샘플은 루마 샘플일 수 있으며, 샘플 위치 (xP-1, yP-1)를 커버하는 블록 B2(1050)과 현재 블록은 예측 유닛일 수 있다.
블록 B0, A0 및 B2가 가용하지 않거나 예측 모드가 인트라 예측 모드인 경우에는, refIdxLXC에 -1의 값을 할당한다.
이때, 현재 블록에 대한 시간적 머지 후보의 참조 인덱스 refIdxLX는 다음과 같이 유도될 수 있다.
(1) refIdxLXA가 refIdxLXB와 같고, refIdxLXB가 refIdxLXC와 같은 경우에, refIdxLXA의 값이 -1(unavailable)이라면 refIdxLX의 값은 0이 된다. refIdxLXA가 refIdxLXB와 같고, refIdxLXB가 refIdxLXC와 같은 경우에, refIdxLXA의 값이 -1이 아니라면, refIdxLX는 refIdxLXA가 된다.
(2) (1)이 아닌 경우로서 refIdxLXA와 refIdxLXB가 같은 경우에, refIdxLXA의 값이 -1이라면, refIdxLX는 refIdxLXC가 된다. refIdxLXA와 refIdxLXB가 같은 경우에, refIdxLXA의 값이 -1이 아니라면, refIdxLX는 refIdxLXA가 된다.
(3) (1) 및 (2)가 아닌 경우로서 refIdxLXB와 refIdxLXC가 같은 경우에, refIdxLXB의 값이 -1이라면, refIdxLX는 refIdxLXA가 된다. refIdxLXB와 refIdxLXC가 같은 경우에, refIdxLXB의 값이 -1이 아니라면, refIdxLX는 refIdxLXB가 된다.
(4) (1) 내지 (3)이 아닌 경우로서refIdxLXA와 refIdxLXC가 같은 경우에, refIdxLXA의 값이 -1이라면, refIdxLX는 refIdxLXB가 된다. refIdxLXA와 refIdxLXC가 같은 경우에, refIdxLXA의 값이 -1이 아니라면, refIdxLX는 refIdxLXA가 된다.
(5) (1) 내지 (4)가 아닌 경우로서refIdxLXA의 값이 -1이면, refIdxLX는 refIdxLXB와 refIdxLXC 중 더 작은 쪽으로 지정된다. 즉, refIdxLX=min(refIdxLXB, refIdxLXC)가 된다.
(6) (1) 내지 (5)가 아닌 경우로서 refIdxLXB의 값이 -1이면, refIdxLX는 refIdxLXA와 refIdxLXC 중 더 작은 쪽으로 지정된다. 즉, refIdxLX=min(refIdxLXA, refIdxLXC)가 된다.
(7) (1) 내지 (6)이 아닌 경우로서 refIdxLXC의 값이 -1이면, refIdxLX는 refIdxLXA와 refIdxLXB 중 더 작은 쪽으로 지정된다. 즉, refIdxLX=min(refIdxLXA, refIdxLXB)가 된다.
(8) (1) 내지 (7)에 해당하지 않는 경우라면, 시간적 머지 후보의 참조 인덱스 refIdxLX는 refIdxLXA, refIdxLXB, refIdxLXC 중에서 가장 작은 값으로 지정된다. 즉, refIdxLX=min(refIdxLXA, refIdxLXB, refIdxLXC)가 된다.
결국, 본 실시예에서 시간적 머지 후보의 참조 인덱스 refIdxLX는 현재 블록의 좌측에서 선택된 참조 인덱스(refIdxLXA), 현재 블록의 상측에서 선택된 참조 인덱스(refIdxLXB), 현재 블록의 코너에서 첫 번째 가용한(available) 것으로 선택된 참조 인덱스(refIdxLXC) 중에서 가장 작은 것이라고 할 수 있다.
시간적 머지 후보 의 참조 인덱스 유도에 관한 실시예 2
본 실시예는 현재 블록에 머지 모드 혹은 머지 스킵 모드가 적용되는 경우에, 현재 블록에 대한 시간적 머지 후보의 참조 인덱스를 간단하게 유도하는 방법을 제시한다.
본 실시예에서는, 현재 블록에 대한 시간적 머지 후보의 참조 인덱스를 소정의 고정된 값으로 사용할 수 있다. 예컨대, 본 실시예에서는 시간적 머지 후보의 참조 인덱스 refIdxLX를 0으로 지정하여 사용할 수 있다.
시 간적 머지 후보 의 참 조 인덱스 유도에 관한 실시예 3
본 실시예에서는 상기 실시예 2와 달리, 시간적 머지 후보의 참조 인덱스 중 참조 픽처 리스트 L0의 참조 인덱스 refIdxL0을 0으로 고정하고, 참조 픽처 리스트 L1의 참조 인덱스 refIdxL1의 값은 1로 둔다.
따라서, 아래 수식 3과 같이 현재 블록에 대한 시간적 머지 후보의 참조 인덱스가 결정될 수 있다.
＜수식 3＞
refIdxL0 = 0
refIdxL1 = refIdxL0 + 1 = 1
시간적 머지 후보 의 참조 인덱스 유도에 관한 실시예 4
본 실시예에서는 현재 블록의 코너에서 얻어지는 참조 인덱스를 제외하고, 현재 블록의 좌측에서 유도된 참조 인덱스(refIdxLXA)와 현재 블록의 상측에서 유도된 참조 인덱스(refIdxLXB)만을 고려한다. 예컨대, 도 10을 참조하면, 블록 A1(1020)의 참조 인덱스와 블록 B1(1040)의 참조 인덱스 중에서 더 작은 쪽을 현재 블록에 대한 시간적 머지 후보의 참조 인덱스로 결정할 수 있다.
구체적으로 시간적 머지 후보의 참조 인덱스 refIdxLX는 아래와 같이 유도될 수 있다.
(1) refIdxLXA가 refIdxLXB와 동일한 경우에, refIdxLXA의 값이 -1(unavailable)이라면, refIdxLX의 값으로 0이 할당된다. refIdxLXA가 refIdxLXB와 동일한 경우에, refIdxLXA의 값이 -1이 아니라면, refIdxLX로 refIdxLXA 할당된다.
(2) (1)이 아닌 경우로서 refIdxLXA의 값이 -1이면, refIdxLXB가 시간적 머지 후보의 참조 인덱스 refIdxLX로 할당된다.
(3) (1)과 (2)가 아닌 경우로서, refIdxLXB의 값이 -1이면, refIdxLXA가 시간적 머지 후보의 참조 인덱스 refIdxLX로 할당된다.
(4) (1) 내지 (3)에 해당하지 않는 경우에는, refIdxLXA와 refIdxLXB 중에서 더 작은 참조 인덱스가 시간적 머지 후보의 참조 인덱스 refIdxLX로 할당된다.
시간적 머지 후보 의 참조 인덱스 유도에 관한 실시예 5
본 실시예에서는 낮은 지연(low delay)의 경우 또는 GPB를 사용하는 경우에만 상기 실시예 4와 동일한 방법을 적용하고, 그 외의 경우에는 현재 블록에 대한 시간적 머지 후보의 참조 인덱스 refIdxLX의 값으로 0을 할정한다.
구체적으로, 낮은 지연 조건(혹은 GPB 사용 조건)을 만족하지 않는 경우에, refIdxLX는 0으로 설정된다.
낮은 지연 조건(혹은 GPB) 조건을 만족하는 경우에는 실시예 4와 같이, 현재 블록의 좌측에서 유도된 참조 인덱스(refIdxLXA)와 현재 블록의 상측에서 유도된 참조 인덱스(refIdxLXB)만을 고려한다. 도 10을 참조하면, refIdxLXA는 블록 A1(1020)의 참조 인덱스이고, refIdxLXB는 블록 B1(1040)의 참조 인덱스이다. 이 경우에,
(1) refIdxLXA가 refIdxLXB와 같고, refIdxLXA의 값이 -1(unavailable)이라면, refIdxLX의 값을 0으로 설정한다. refIdxLXA가 refIdxLXB와 같고, refIdxLXA의 값이 -1이 아니라면, refIdxLXA가 refIdxLX로 할당된다.
(2) (1)에 해당하지 않는 경우에, refIdxLXA의 값이 -1이면, refIdxLXB가 refIdxLX로 할당된다.
(3) (1) 및 (2)에 해당하지 않는 경우에, refIdxLXB의 값이 -1이면, refIdxLXA가 refIdxLX로 할당된다.
(4) (1) 내지 (3)에 해당하지 않는 경우라면, refIdxLXA와 refIdxLXB 중에서 작은 참조 인덱스가 현재 블록에 대한 시간적 머지 후보의 참조 인덱스 refIdxLX로 할당된다.
시간적 머지 후보 의 참조 인덱스 유도에 관한 실시예 6
본 실시예에서는 현재 블록에 대한 시간적 머지 후보의 참조 인덱스로서, 현재 블록의 좌측에서 유도되는 참조 인덱스(refIdxLXA)를 사용한다. 도 10을 참조하면, refIdxLXA는 블록 A1(1020)의 참조 인덱스이다.
만약, refIdxLXA의 값이 -1이면, 현재 블록의 상측에서 유도되는 참조 인덱스(refIdxLXB)를 시간적 머지 후보의 참조 인덱스로서 사용한다. 도 10을 참조하면, refIdxLXB는 블록 B1(1040)의 참조 인덱스이다.
refIdxLXB의 값 역시 -1인 경우에는, refIdxLX를 0으로 설정한다.
즉, (1)refIdxLXA의 값이 -1이고, refIdxLXB의 값이 -1이면, refIdxLX를 0으로 설정한다.
(2) refIdxLXA의 값이 -1이고, refIdxLXB의 값이 -1이 아니면, refIdxLX를 refIdxLXB로 설정한다.
(3) refIdxLXA의 값이 -1이 아니면, refIdxLX를 refIdxLXA로 설정한다.
도 11은 본 발명이 적용되는 시스템에서 부호화기 동작의 일 예를 개략적으로 설명하는 순서도이다.
도 11을 참조하면, 부호화기는 현재 블록에 대한 예측을 수행한다(S1110). 부호화기는 예측을 수행하기 위해 부호화 유닛에 대한 분할을 수행한다. 예측 대상인 현재 블록에 대한 예측 모드를 결정하고, 예측 모드에 따라서 예측을 수행한다.
현재 블록에 대한 예측 모드는 인트라 예측 모드일 수도 있고, 인터 예측 모드일 수도 있다. 현재 블록에 대한 예측 모드가 인터 예측인 경우에, 현재 블록에는 머지 모드, (머지) 스킵 모드, AMVP 등이 적용될 수 있다.
머지 모드 또는 (머지) 스킵 모드가 적용되는 경우에, 현재 블록의 움직임 벡터와 참조 인덱스를 주변 블록을 이용하여 결정할 수 있다.
스킵 모드가 적용되는 경우에, 참조 인덱스는 현재 블록의 주변 블록들의 움직임 정보를 고려하여 결정할 수 있다.
또한, 머지 모드 또는 (머지) 스킵 모드에서 현재 블록이 머지할 수 있는 후보로서 소정의 주변 블록을 특정하여 이용하는 경우에도, 헌재 블록의 주변 블록들의 움직임 정보를 기반으로 움직임 벡터와 참조 인덱스를 결정할 수 있다. 구체적인 방법은 상술한 바와 같다.
복호화기는 결정된 움직임 정보를 기반으로 현재 블록에 대한 예측을 수행한다.
복호화기는 예측을 수행한 정보를 엔트로피 부호화한다(S1120). 복호화기는 예측에 관한 정보와 함께 복호화에 필요한 정보도 엔트로피 부호화한다. 또한, 엔트로피 부호화하는 정보에는, 상술한 바와 같이 스킵 모드, 머지 모드 등에서 현재 블록에 대한 움직임 정보가 포함된다.
복호화기는 엔트로피 복호화한 정보를 복호화기에 시그널링한다(S1130).
도 12는 본 발명이 적용되는 시스템에서 복호화기 동작의 일 예를 개략적으로 설명하는 순서도이다.
도 12를 참조하면, 복호화기는 부호화된 정보를 수신한다(S1210). 정보는 부호화기로부터 엔트로피 부호화되어 비트스트림으로 전달될 수 있다.
복호화기는 수신한 정보를 엔트로피 복호화한다(S1220).
복호화기는 엔트로피 복호화된 정보를 기반으로 현재 블록에 대한 예측을 수행한다(S1230). 복호화기는 현재 블록의 예측 모드에 따라서 예측을 수행한다.
현재 블록의 예측 모드가 인터 예측 모드이며, 스킵 모드가 적용되는 경우에, 현재 블록에 대한 움직임 정보, 예컨대 움직임 벡터와 참조 인덱스를 유도하는 방법은 상술한 바와 같다.
복호화기는 예측 결과를 기반으로 영상을 복원한다(S1240).
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.

Claims (12)

  1. 수신한 영상 정보를 엔트로피 복호화하되, 상기 수신한 영상 정보는 현재 블록에 대한 레지듀얼 정보 및 머지 후보들 중 하나를 가리키는 지시 정보를 포함하는 단계;
    공간적 머지 후보들 및 시간적 머지 후보를 포함하는 상기 머지 후보들을 구성하는 단계;
    상기 지시 정보를 기반으로 상기 머지 후보들 중 하나의 머지 후보를 선택하는 단계;
    상기 선택된 머지 후보의 움직임 정보를 상기 현재 블록의 움직임 정보로 유도하되, 상기 움직임 정보는 움직임 벡터 및 참조 인덱스를 포함하는 단계;
    상기 움직임 벡터와, 상기 참조 인덱스가 가리키는 참조 픽처를 기반으로 상기 현재 블록에 대한 예측 샘플들을 생성하는 단계;
    상기 레지듀얼 정보를 기반으로 상기 현재 블록에 대한 레지듀얼 샘플들을 생성하는 단계; 및
    상기 예측 샘플들 및 상기 레지듀얼 샘플들을 기반으로 복원 픽처를 생성하는 단계를 포함하되,
    상기 시간적 머지 후보는 상기 현재 블록의 시간적 주변 블록의 움직임 벡터와 값이 0으로 설정된 참조 인덱스로 구성되는 것을 특징으로 하는, 영상 정보 복호화 방법.
  2. 제1항에 있어서, 상기 지시 정보는 예측 대상 블록 단위 또는 부호화 유닛 단위 중 어느 하나로 시그널링되는 것을 특징으로 하는 영상 정보 복호화 방법.
  3. 제1항에 있어서, 상기 공간적 머지 후보들은 상기 현재 블록의 공간적 주변 블록들 중에서 가용한 주변 블록들을 기반으로 결정되는 것을 특징으로 하는 영상 정보 복호화 방법.
  4. 제3항에 있어서, 상기 현재 블록의 상기 공간적 주변 블록들은,
    상기 현재 블록의 좌하측 코너 주변 블록, 좌상측 코너 주변 블록, 우상측 코너 주변 블록, 상기 현재 블록의 상측 경계에 인접한 우상측 주변 블록 및 상기 현재 블록의 좌측 경계에 인접한 좌하측 주변 블록을 포함하는 것을 특징으로 하는 영상 정보 복호화 방법.
  5. 제3항에 있어서, 상기 머지 후보들의 최대 숫자는 5로 고정되는 것을 특징으로 하는 영상 정보 복호화 방법
  6. 영상 정보 복호화를 수행하는 디코딩 장치에 있어서,
    수신한 영상 정보를 엔트로피 복호화하되, 상기 수신한 영상 정보는 현재 블록에 대한 레지듀얼 정보 및 머지 후보들 중 하나를 가리키는 지시 정보를 포함하는 엔트로피 복호화부;
    공간적 머지 후보들 및 시간적 머지 후보를 포함하는 상기 머지 후보들을 구성하고, 상기 지시 정보를 기반으로 상기 머지 후보들 중 하나의 머지 후보를 선택하고, 상기 선택된 머지 후보의 움직임 정보를 상기 현재 블록의 움직임 정보로 유도하되, 상기 움직임 정보는 움직임 벡터 및 참조 인덱스를 포함하고, 상기 움직임 벡터와, 상기 참조 인덱스가 가리키는 참조 픽처를 기반으로 상기 현재 블록에 대한 예측 샘플들을 생성하는 예측부;
    상기 레지듀얼 정보를 기반으로 상기 현재 블록에 대한 레지듀얼 샘플들을 생성하는 역변환부; 및
    상기 예측 샘플들 및 상기 레지듀얼 샘플들을 기반으로 복원 픽처를 생성하는 가산부를 포함하되,
    상기 시간적 머지 후보는 상기 현재 블록의 시간적 주변 블록의 움직임 벡터와 값이 0으로 설정된 참조 인덱스로 구성되는 것을 특징으로 하는, 디코딩 장치.
  7. 현재 블록의 공간적 머지 후보들 및 시간적 머지 후보를 포함하는 머지 후보들을 구성하는 단계;
    상기 머지 후보들 중 하나의 머지 후보를 선택하는 단계;
    상기 선택된 머지 후보의 움직임 정보를 상기 현재 블록의 움직임 정보로 유도하되, 상기 움직임 정보는 움직임 벡터 및 참조 인덱스를 포함하는 단계;
    상기 움직임 벡터와, 상기 참조 인덱스가 가리키는 참조 픽처를 기반으로 상기 현재 블록에 대한 예측 샘플들을 생성하는 단계;
    상기 예측 샘플들을 기반으로 레지듀얼 샘플들을 생성하는 단계;
    상기 레지듀얼 샘플들을 기반으로 상기 현재 블록에 대한 레지듀얼 정보를 생성하는 단계; 및
    영상 정보를 엔트로피 부호화하되, 상기 영상 정보는 상기 현재 블록에 대한 상기 레지듀얼 정보 및 상기 머지 후보들 중 상기 선택된 머지 후보를 가리키는 지시 정보를 포함하는 단계를 포함하되,
    상기 시간적 머지 후보는 상기 현재 블록의 시간적 주변 블록의 움직임 벡터와 값이 0으로 설정된 참조 인덱스로 구성되는 것을 특징으로 하는, 영상 정보 부호화 방법.
  8. 제7항에 있어서, 상기 지시 정보는 예측 대상 블록 단위 또는 부호화 유닛 단위 중 어느 한 단위로 전송하는 것을 특징으로 하는 영상 정보 부호화 방법.
  9. 제7항에 있어서, 상기 공간적 머지 후보들은 상기 현재 블록의 공간적 주변 블록들 중에서 가용한 주변 블록들을 기반으로 결정되는 것을 특징으로 하는 영상 정보 부호화 방법.
  10. 제9항에 있어서, 상기 머지 후보들의 최대 숫자는 5로 고정되는 것을 특징으로 하는 영상 정보 부호화 방법
  11. 영상 정보 부호화를 수행하는 인코딩 장치에 있어서,
    현재 블록의 공간적 머지 후보들 및 시간적 머지 후보를 포함하는 머지 후보들을 구성하고, 상기 머지 후보들 중 하나의 머지 후보를 선택하고, 상기 선택된 머지 후보의 움직임 정보를 상기 현재 블록의 움직임 정보로 유도하되, 상기 움직임 정보는 움직임 벡터 및 참조 인덱스를 포함하고, 상기 움직임 벡터와, 상기 참조 인덱스가 가리키는 참조 픽처를 기반으로 상기 현재 블록에 대한 예측 샘플들을 생성하는 예측부;
    상기 예측 샘플들을 기반으로 레지듀얼 샘플들을 생성하는 감산부;
    상기 레지듀얼 샘플들을 기반으로 상기 현재 블록에 대한 레지듀얼 정보를 생성하는 변환부; 및
    영상 정보를 엔트로피 부호화하되, 상기 영상 정보는 상기 현재 블록에 대한 상기 레지듀얼 정보 및 상기 머지 후보들 중 상기 선택된 머지 후보를 가리키는 지시 정보를 포함하는 엔트로피 부호화부를 포함하되,
    상기 시간적 머지 후보는 상기 현재 블록의 시간적 주변 블록의 움직임 벡터와 값이 0으로 설정된 참조 인덱스로 구성되는 것을 특징으로 하는, 인코딩 장치.
  12. 디지털 저장 매체로서, 청구항 7항에 기재된 영상 정보 부호화 방법에 의해 엔트로피 부호화된 상기 영상 정보를 포함하는 비디오 비트스트림이 저장된, 디지털 저장 매체.
KR1020197028512A 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치 KR102125035B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201161430545P 2011-01-07 2011-01-07
US61/430,545 2011-01-07
US201161449699P 2011-03-06 2011-03-06
US61/449,699 2011-03-06
US201161543296P 2011-10-04 2011-10-04
US61/543,296 2011-10-04
PCT/KR2012/000170 WO2012093898A2 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187035669A Division KR102028522B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207017206A Division KR102245790B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치

Publications (2)

Publication Number Publication Date
KR20190112859A KR20190112859A (ko) 2019-10-07
KR102125035B1 true KR102125035B1 (ko) 2020-06-19

Family

ID=46457881

Family Applications (8)

Application Number Title Priority Date Filing Date
KR1020137020392A KR101929026B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020217026106A KR102346666B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020217012098A KR102292708B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020217043135A KR102390352B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020227013265A KR102504685B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020197028512A KR102125035B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020207017206A KR102245790B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020187035669A KR102028522B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치

Family Applications Before (5)

Application Number Title Priority Date Filing Date
KR1020137020392A KR101929026B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020217026106A KR102346666B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020217012098A KR102292708B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020217043135A KR102390352B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020227013265A KR102504685B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020207017206A KR102245790B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020187035669A KR102028522B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치

Country Status (10)

Country Link
US (7) US9924188B2 (ko)
EP (3) EP4135329A3 (ko)
KR (8) KR101929026B1 (ko)
CN (4) CN106101723B (ko)
ES (1) ES2930367T3 (ko)
HR (1) HRP20221363T1 (ko)
HU (1) HUE060453T2 (ko)
PL (1) PL3554079T3 (ko)
SI (1) SI3554079T1 (ko)
WO (1) WO2012093898A2 (ko)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9398308B2 (en) 2010-07-28 2016-07-19 Qualcomm Incorporated Coding motion prediction direction in video coding
US9066102B2 (en) * 2010-11-17 2015-06-23 Qualcomm Incorporated Reference picture list construction for generalized P/B frames in video coding
CN107197257B (zh) 2010-12-08 2020-09-08 Lg 电子株式会社 由编码装置和解码装置执行的内预测方法
US9648334B2 (en) * 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
EP3136727B1 (en) 2011-04-12 2018-06-13 Sun Patent Trust Motion-video coding method and motion-video coding apparatus
MX2013012132A (es) 2011-05-27 2013-10-30 Panasonic Corp Metodo de codificacion de imagen, aparato de codificacion de imagen, metodo de decodificacion de imagen, aparato de decodificacion de imagen y aparato de codificacion/decodificacion de imagen.
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
MX2013012209A (es) 2011-05-31 2013-11-01 Panasonic Corp Metodo de codificacion de video, aparato de codificacion de video, metodo de decodificacion de video, aparato de decodificacion de video y aparato de codificacion/decodificacion de video.
WO2013001749A1 (ja) * 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
MY181718A (en) 2011-06-30 2021-01-05 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
IN2014CN00729A (ko) 2011-08-03 2015-04-03 Panasonic Corp
KR20130030181A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치
CN107659821B (zh) 2011-09-22 2020-03-10 Lg 电子株式会社 用信号发送图像信息的方法和装置，以及使用其的解码方法和装置
CN108881903B (zh) 2011-10-19 2022-01-04 太阳专利托管公司 图像编码方法及装置、图像解码方法及装置、编解码装置
US20130343459A1 (en) * 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
US9325990B2 (en) * 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
JPWO2014050948A1 (ja) * 2012-09-28 2016-08-22 シャープ株式会社 画像復号装置、画像復号方法及び画像符号化装置
US10904551B2 (en) 2013-04-05 2021-01-26 Texas Instruments Incorporated Video coding using intra block copy
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
JP6359101B2 (ja) 2013-10-14 2018-07-18 マイクロソフト テクノロジー ライセンシング，エルエルシー ビデオ及び画像の符号化及び復号のためのイントラブロックコピー予測モードの特徴
US9432685B2 (en) * 2013-12-06 2016-08-30 Qualcomm Incorporated Scalable implementation for parallel motion estimation regions
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
RU2669005C2 (ru) * 2014-01-03 2018-10-05 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Предсказание вектора блока в кодировании/декодировании видео и изображений
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
KR102311815B1 (ko) 2014-06-19 2021-10-13 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
EP3202150B1 (en) 2014-09-30 2021-07-21 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US9992512B2 (en) * 2014-10-06 2018-06-05 Mediatek Inc. Method and apparatus for motion vector predictor derivation
WO2017048008A1 (ko) * 2015-09-17 2017-03-23 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
CN117041547A (zh) 2016-04-29 2023-11-10 世宗大学校产学协力团 用于对图像信号进行编码/解码的方法和设备
CN116708785A (zh) 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
JP6881788B2 (ja) * 2016-09-30 2021-06-02 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 映像符号化方法、映像復号方法、および端末
WO2018097692A2 (ko) * 2016-11-28 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102283517B1 (ko) * 2016-11-28 2021-07-29 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11172203B2 (en) * 2017-08-08 2021-11-09 Mediatek Inc. Intra merge prediction
CN111066325B (zh) * 2017-09-26 2023-08-22 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
CN116489387A (zh) * 2017-09-29 2023-07-25 Lx 半导体科技有限公司 图像编码/解码方法和设备
WO2019061537A1 (en) * 2017-09-30 2019-04-04 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR DERIVING CANDIDATES FROM TIME MOVEMENT DATA IN VIDEO CODING
CN109922340B (zh) * 2017-12-13 2021-10-15 华为技术有限公司 图像编解码方法、装置、系统及存储介质
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
CN117156155A (zh) * 2018-03-14 2023-12-01 Lx 半导体科技有限公司 图像编码/解码方法、存储介质和发送方法
CN117336506A (zh) * 2018-03-19 2024-01-02 英迪股份有限公司 图像解码方法、图像编码方法和存储比特流的记录介质
WO2020003270A1 (en) * 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Number of motion candidates in a look up table to be checked according to mode
KR20210016054A (ko) * 2018-06-30 2021-02-10 김기백 영상 부호화/복호화 방법 및 장치
US20200014931A1 (en) * 2018-07-06 2020-01-09 Mediatek Inc. Methods and Apparatuses of Generating an Average Candidate for Inter Picture Prediction in Video Coding Systems
US11019357B2 (en) * 2018-08-07 2021-05-25 Qualcomm Incorporated Motion vector predictor list generation
CN110876057B (zh) * 2018-08-29 2023-04-18 华为技术有限公司 一种帧间预测的方法及装置
WO2020055169A1 (ko) * 2018-09-11 2020-03-19 김기백 인터 예측을 이용한 영상 부호화/복호화 방법 및 장치
US10958932B2 (en) 2018-09-12 2021-03-23 Qualcomm Incorporated Inter-prediction coding of video data using generated motion vector predictor list including non-adjacent blocks
WO2020067709A1 (ko) * 2018-09-25 2020-04-02 디지털인사이트주식회사 인터 모드 기반의 영상 부호화/복호화 방법 및 장치
WO2020067679A1 (ko) * 2018-09-29 2020-04-02 엘지전자 주식회사 머지 후보 리스트를 구성하는 방법 및 장치
CN111200735B (zh) * 2018-11-19 2023-03-17 华为技术有限公司 一种帧间预测的方法及装置
KR102527298B1 (ko) 2018-12-06 2023-04-27 엘지전자 주식회사 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
CN113228645A (zh) * 2018-12-28 2021-08-06 韩国电子通信研究院 图像编码/解码方法和装置以及存储有比特流的记录介质
WO2020138997A1 (ko) * 2018-12-28 2020-07-02 엘지전자 주식회사 화면간 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
WO2020141910A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 화면간 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
CN111432219B (zh) * 2019-01-09 2023-06-06 华为技术有限公司 一种帧间预测方法及装置
WO2020143292A1 (zh) * 2019-01-09 2020-07-16 华为技术有限公司 一种帧间预测方法及装置
CN117692659A (zh) 2019-03-12 2024-03-12 Lg电子株式会社 图像编码/解码设备以及发送数据的设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100266042A1 (en) 2007-03-02 2010-10-21 Han Suh Koo Method and an apparatus for decoding/encoding a video signal

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295614B1 (en) * 2000-09-08 2007-11-13 Cisco Technology, Inc. Methods and apparatus for encoding a video signal
EP3122045B1 (en) 2001-11-06 2018-01-24 Panasonic Intellectual Property Corporation of America Moving picture coding method and moving picture decoding method
ES2745058T3 (es) * 2002-04-19 2020-02-27 Panasonic Ip Corp America Método de cálculo de vectores de movimiento
US7433526B2 (en) 2002-04-30 2008-10-07 Hewlett-Packard Development Company, L.P. Method for compressing images and image sequences through adaptive partitioning
JP2003324742A (ja) * 2002-05-08 2003-11-14 Hitachi Ltd 画像符号化装置及び画像復号化装置
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
KR20050026318A (ko) 2003-09-09 2005-03-15 삼성전자주식회사 인트라 스킵 모드를 포함하는 비디오 인코딩_디코딩 장치및 방법
CN101073265B (zh) 2004-12-03 2012-08-22 汤姆森许可贸易公司 可缩放视频编码方法
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
CN101491095B (zh) * 2006-03-30 2013-07-10 Lg电子株式会社 用于解码/编码视频信号的方法和装置
CN101072356B (zh) * 2006-05-12 2011-02-09 中国科学院计算技术研究所 一种运动矢量预测方法
RU2426267C2 (ru) 2007-01-08 2011-08-10 Нокиа Корпорейшн Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала
CN101242530B (zh) * 2007-02-08 2011-06-01 华为技术有限公司 运动估计方法、基于运动估计的多视编解码方法及装置
EP2140684B1 (en) 2007-04-12 2018-08-15 Thomson Licensing DTV Method and apparatus for context dependent merging for skip-direct modes for video encoding and decoding
JP2009111691A (ja) * 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
WO2009136743A2 (ko) 2008-05-07 2009-11-12 Lg전자 비디오 신호의 디코딩 방법 및 장치
CN102210153A (zh) * 2008-10-06 2011-10-05 Lg电子株式会社 用于处理视频信号的方法和设备
KR100930744B1 (ko) * 2009-03-04 2009-12-09 엘지전자 주식회사 모션 벡터 예측 방법
KR101611437B1 (ko) * 2009-10-28 2016-04-26 삼성전자주식회사 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치
KR20110068792A (ko) * 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
JP5368631B2 (ja) 2010-04-08 2013-12-18 株式会社東芝 画像符号化方法、装置、及びプログラム
US8665959B2 (en) * 2010-04-12 2014-03-04 Qualcomm Incorporated Block and partition signaling techniques for video coding
BR112012026400B1 (pt) 2010-04-13 2021-08-10 Ge Video Compression, Ll Predição inter-plano
EP2858366B1 (en) 2010-07-09 2017-02-01 Samsung Electronics Co., Ltd Method for decoding video by using block merging
US9124898B2 (en) 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
US9813738B2 (en) * 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
KR102405529B1 (ko) * 2010-10-08 2022-06-08 지이 비디오 컴프레션, 엘엘씨 블록 분할 및 블록 병합을 지원하는 픽처 코딩
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
TW201246943A (en) * 2011-01-26 2012-11-16 Panasonic Corp Video image encoding method, video image encoding device, video image decoding method, video image decoding device, and video image encoding and decoding device
US9066110B2 (en) * 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100266042A1 (en) 2007-03-02 2010-10-21 Han Suh Koo Method and an apparatus for decoding/encoding a video signal

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Anonymous: "Test Model under Consideration", JCTVC-B205, 28 July 2010.

Also Published As

Publication number Publication date
US20190158869A1 (en) 2019-05-23
EP3554079B1 (en) 2022-10-19
EP2663079A4 (en) 2016-04-06
EP4135329A3 (en) 2023-04-05
US20130272404A1 (en) 2013-10-17
CN103299642B (zh) 2016-08-24
US10257535B2 (en) 2019-04-09
KR102390352B1 (ko) 2022-04-25
ES2930367T3 (es) 2022-12-09
US20150229947A1 (en) 2015-08-13
CN103299642A (zh) 2013-09-11
HRP20221363T1 (hr) 2023-01-06
KR20210104935A (ko) 2021-08-25
KR101929026B1 (ko) 2018-12-13
EP3554079A1 (en) 2019-10-16
KR102028522B1 (ko) 2019-10-04
CN106060563A (zh) 2016-10-26
US20180160137A1 (en) 2018-06-07
KR20210047973A (ko) 2021-04-30
SI3554079T1 (sl) 2023-01-31
WO2012093898A3 (ko) 2012-11-29
US20240048752A1 (en) 2024-02-08
US9924188B2 (en) 2018-03-20
KR20200075031A (ko) 2020-06-25
US9918101B2 (en) 2018-03-13
CN106231339B (zh) 2019-07-09
KR20140011477A (ko) 2014-01-28
KR102346666B1 (ko) 2022-01-03
CN106101723B (zh) 2019-06-14
KR20180135092A (ko) 2018-12-19
CN106101723A (zh) 2016-11-09
HUE060453T2 (hu) 2023-03-28
CN106231339A (zh) 2016-12-14
EP2663079A2 (en) 2013-11-13
US20210006817A1 (en) 2021-01-07
US10715825B2 (en) 2020-07-14
KR20190112859A (ko) 2019-10-07
US11825110B2 (en) 2023-11-21
US20210344945A1 (en) 2021-11-04
KR102245790B1 (ko) 2021-04-28
KR20220054711A (ko) 2022-05-03
PL3554079T3 (pl) 2023-02-06
KR102292708B1 (ko) 2021-08-23
CN106060563B (zh) 2019-06-21
US11102502B2 (en) 2021-08-24
KR20220003161A (ko) 2022-01-07
KR102504685B1 (ko) 2023-02-28
EP4135329A2 (en) 2023-02-15
WO2012093898A2 (ko) 2012-07-12
CN106210739A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
KR102125035B1 (ko) 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
US10848781B2 (en) Method for storing motion information and method for inducing temporal motion vector predictor using same

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant