KR20090094595A - 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치 - Google Patents

복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치 Download PDF

Info

Publication number
KR20090094595A
KR20090094595A KR1020080019642A KR20080019642A KR20090094595A KR 20090094595 A KR20090094595 A KR 20090094595A KR 1020080019642 A KR1020080019642 A KR 1020080019642A KR 20080019642 A KR20080019642 A KR 20080019642A KR 20090094595 A KR20090094595 A KR 20090094595A
Authority
KR
South Korea
Prior art keywords
estimator
candidate
predictor
hypothesis
determining
Prior art date
Application number
KR1020080019642A
Other languages
English (en)
Inventor
김일구
한우진
손유미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080019642A priority Critical patent/KR20090094595A/ko
Priority to US12/388,662 priority patent/US8204127B2/en
Priority to PCT/KR2009/001026 priority patent/WO2009110721A2/ko
Priority to EP09716619A priority patent/EP2252062A4/en
Publication of KR20090094595A publication Critical patent/KR20090094595A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 움직임 예측에 기초한 영상 부호화 방법 및 장치, 그리고 움직임 예측에 기초한 영상 복호화 방법 및 장치에 관한 것이다.
본 발명에 따른 영상 부호화 방법은 참조 프레임에서, 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정하고, 각각의 후보 추정자 집합의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정하며, 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여 현재 프레임에 대한 움직임 예측을 수행하고, 움직임 예측 수행 결과에 기초하여 현재 프레임을 포함하는 영상 데이터를 부호화함으로써, 화면 간 예측의 성능을 개선시킬 수 있다.
움직임 예측, 화면 간 예측, 멀티 가설 추정

Description

복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치{Method and appratus for encoding images using motion prediction by multiple reference, and method and apparatus for decoding images using motion prediction by multiple reference}
본 발명은 영상 부호화 방법 및 장치 그리고 영상 복호화 방법 및 장치에 관한 것으로, 보다 상세하게는 영상의 부호화 또는 영상의 복호화 중 화면 간 움직임 예측 방법 및 그 장치에 관한 것이다.
H.264는 종래의 동영상 압축 표준들에 비해 보다 다양하고 복잡한 기술들을 사용함으로써 압축률과 화질을 획기적으로 개선하고 있다. 이러한 이유로 종래의 동영상 압축 표준을 대체하여 디지털 멀티미디어 방송(Digital Multimedia Broadcasting: DMB), DVD 등에 응용 기술로 각광을 받고 있다.
H.264 인코더의 움직임 예측(motion prediction)은, 인터 예측(inter prediction)과 인트라 예측(intra prediction)을 수행한다. 인트라 예측은, 이미 복호화된 후 디블로킹 필터링이 수행되어 버퍼에 저장되어 있는 참조 픽처(reference picture)를 이용하여, 현재 픽처의 블록 예측을 수행하는 것을 말 한다. 즉, 픽처들간의 정보를 이용하여 예측을 수행한다. 인터 예측은, 이미 복호화된 픽처 내에서, 예측하고자 하는 블록에 인접한 블록의 픽셀 데이터를 이용하여 블록 예측을 수행한다. I 픽처, P 픽처, B 픽처 등의 픽처의 속성에 따라 인트라 예측 및/또는 인터 예측이 수행된다.
움직임 추정(motion estimation, 이하 ME)은 소정의 측정 함수를 이용하여 현재 프레임 내의 매크로 블록과 가장 유사한 매크로 블록을 이전 프레임에서 탐색함으로써 양 매크로 블록의 이동 위치의 차이를 나타내는 움직임 벡터를 구하는 과정이다. 가장 유사한 매크로블록을 찾는 방법 중 대표적인 예로는, 탐색범위를 정해 그 범위 내에서 매크로 블록을 한 픽셀씩 움직여 가면서 소정의 측정방법에 의해 양 매크로 블록간의 유사한 정도를 계산하여 가장 유사한 매크로 블록을 찾는 방법이 있다.
소정의 측정 방법의 예로는, 현재 프레임 내의 매크로 블록과 탐색 영역내의 매크로 블록의 대응하는 각 픽셀값 간의 차의 절대값을 취해 그 값들을 더한 값이 가장 작은 경우의 매크로 블록을 가장 유사한 매크로 블록으로 정하는 방법이 있다.
보다 구체적으로, 과거 프레임과 현재 프레임의 매크로 블록의 유사도는 과거 및 현재 프레임의 매크로 블록에 포함된 픽셀값을 이용하여 계산되는 유사도값, 즉 정합 기준값을 이용하여 판단된다. 정합 기준값은 소정의 측정 함수를 이용하여 계산되며, 측정 함수로는 SAD(Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference) 또는 SSD(Sum of Squared Difference) 등이 사용될 수 있 다.
도 1a 은 H.264/AVC 에서 P 픽처를 이용한 움직임 예측을 도시한다.
현재 픽처(110)가 P 픽처인 경우, 참조 픽처(100) 내의 참조 블록(105)을 이용하여 현재 픽처(110) 내의 현재 블록(115)에 대한 움직임 예측이 수행된다.
도 1b 는 H.264/AVC 에서 B 픽처를 이용한 움직임 예측을 도시한다.
B 픽처에 대한 움직임 예측은, 각각 다른 참조 픽처 상의 참조 블록을 이용하여 수행된다. 또한, 참조 픽처(150) 내의 두 참조 블록(153, 155)을 이용하여 현재 픽처(160) 내의 현재 블록(165)에 대한 움직임 예측이 수행될 수도 있다. 이 때 두 참조 블록에 대한 인덱스와 두 움직임 벡터가 부호화되어야 한다.
본 발명이 해결하고자 하는 과제는, 영상 부호화 방법 및 장치, 그리고 영상 복호화 방법 및 장치에서 복수 개의 블록을 참조하는 움직임 예측에 있어서, 정확한 참조 블록 또는 추정자를 결정하는 방법을 제안하는 데 있다. 또한, 복수 개의 참조 블록 또는 추정자가 이용되더라도 움직임 정보에 대한 추가적 정보를 최소화하는 방법이 제안된다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 움직임 예측을 이용한 부호화 방법은, 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정하는 단계; 각각의 상기 후보 추정자 집합의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정하는 단계; 상기 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여 현재 프레임에 대한 움직임 예측을 수행하는 단계; 및 상기 움직임 예측 수행 결과에 기초하여 상기 현재 프레임을 포함하는 영상 데이터를 부호화하는 단계를 포함한다.
일 실시예에 따른 영상 부호화 방법의 상기 참조 추정자 결정 단계는, 상기 후보 추정자 집합마다 결정된 가설 추정자들을 포함하는 가설 추정자 리스트를 생성하는 단계; 및 상기 생성된 가설 추정자 리스트의 가설 추정자의 오차율에 기초하여 참조 추정자를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 영상 데이터 부호화 단계는, 상기 결정된 참조 추정자의 인덱스를 부호화하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 후보 추정자 집합 결정 단계는, 상기 후보 추정자 범위가, 상기 현재 추정자로부터 1/4 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 범위, 상기 현재 추정자로부터 1/2 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 범위, 및 상기 현재 추정자로부터 정수 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 범위 중 적어도 한 범위를 포함하고, 상기 현재 추정자를 포함하도록 결정할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 후보 추정자 집합 결정 단계는, 상기 후보 추정자 집합이, 상기 후보 추정자 범위 중 한 후보 추정자를 포함하는 집합, 두 후보 추정자들을 포함하는 집합, 및 세 후보 추정자들을 포함하는 집합을 포함하도록 결정할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 참조 추정자 결정 단계는, 상기 결정된 각각의 후보 추정자 집합마다, 상기 후보 추정자 집합 내의 후보 추정자의 평균 값을 상기 후보 추정자 집합에 대한 가설 추정자로 결정하는 단계; 및 상기 결정된 가설 추정자의 오차율을 비교하여 가장 작은 오차율을 갖는 가설 추정자를 참조 추정자로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 가설 추정자 리스트 생성 단계는, 상기 가설 추정자 리스트에, 상기 현재 추정자를 포함하는 후보 추정자 집합의 가설 추정자를 상기 현재 추정자를 포함하지 않는 후보 추정자 집합의 가설 추정자 에 비해 높은 순위에 위치시킬 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 가설 추정자 리스트 생성 단계는, 상기 가설 추정자 리스트에, 후보 추정자의 개수가 적은 후보 추정자 집합의 가설 추정자를, 후보 추정자의 개수가 많은 후보 추정자 집합의 가설 추정자보다 높은 순위에 위치시킬 수도 있다.
일 실시예에 따른 영상 부호화 방법의 상기 참조 추정자 결정 단계는, 상기 각각의 가설 추정자를 이용한 움직임 예측 결과에 대한 평균 제곱 오차를 구하는 단계; 상기 평균 제곱 오차를 비교하여 가장 작은 평균 제곱 오차를 갖는 가설 추정자를 상기 참조 추정자로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 후보 추정자 집합 결정 단계는, 상기 현재 추정자를 중심으로 소정 거리에 위치하는 상측, 하측, 좌측 및 우측의 네 추정자들 및 상기 현재 추정자를 중심으로 하는 두 대각선 중 각각의 대각선의 양쪽에 위치한 네 추정자들을 포함하는 후보 추정자 범위를 결정하는 단계; 및 상기 결정된 후보 추정자 범위 내의 후보 추정자들 중 상기 현재 추정자를 중심으로 서로 마주보는 두 후보 추정자들이 각각의 후보 추정자 집합을 구성하도록 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 영상 부호화 방법은, 상기 후보 추정자 범위의 소정 거리에 대한 정보 및 상기 후보 추정자 집합을 이루는 후보 추정자들의 방향에 대한 정보를 부호화 하는 단계를 더 포함할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 움직임 예측을 이용한 복호화 방법은, 수신된 영상 비트스트림으로부터 영상 데이터, 움직임 벡터 및 움직임 예측을 위한 추정자 정보를 추출하는 단계; 상기 추정자 정보를 이용하여 참조 프레임 상의 참조 추정자를 결정하는 단계; 상기 참조 추정자에 대응되는 참조 블록, 상기 추출된 영상 데이터 및 상기 움직임 벡터를 이용하여 상기 현재 프레임에 대한 움직임 예측을 수행하는 단계; 및 상기 움직임 예측 결과에 기초하여 상기 현재 프레임을 복원하는 단계를 포함하고, 상기 참조 추정자는, 상기 현재 블록에 대응되는 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 이용하여 결정된 가설 추정자들 중 가장 작은 오차율을 가진다.
일 실시예에 따른 영상 복호화 방법의 상기 참조 추정자 결정 단계는, 상기 추정자 정보로부터 위치 정보를 추출하는 단계; 및 상기 참조 프레임 상의 상기 위치 정보에 위치하는 추정자를 상기 참조 추정자로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 복호화 방법의 상기 참조 추정자 결정 단계는, 상기 추정자 정보로부터, 거리 정보 및 방향 정보를 추출하는 단계; 상기 거리 정보를 이용하여, 상기 참조 프레임 상의 상기 현재 추정자로부터 상기 거리 정보에 따른 소정 거리에 배치되는 후보 추정자 범위를 결정하는 단계; 상기 방향 정보를 이용하여, 상기 후보 추정자 범위 중 상기 방향 정보에 따른 방향에 위치하는 후보 추정자들을 결정하는 단계; 및 상기 결정된 후보 추정자들을 이용하여 상기 최초 오차 추정자를 결정하는 단계를 포함할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 움직임 예측을 이용한 부호화 장치는, 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정하는 후보 추정자 집합 결정부; 각각의 상기 후보 추정자 집합의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정하는 참조 추정자 결정부; 상기 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여, 현재 프레임에 대한 움직임 예측을 수행하는 움직임 예측 수행부; 및 상기 움직임 예측 수행 결과에 기초하여 상기 현재 프레임을 포함하는 영상 데이터를 부호화하는 부호화부를 포함한다.
일 실시예에 따른 영상 부호화 장치의 상기 참조 추정자 결정부는, 상기 후보 추정자 집합마다 결정된 가설 추정자들을 포함하는 가설 추정자 리스트를 생성하고, 상기 생성된 가설 추정자 리스트의 가설 추정자의 오차율에 기초하여 참조 추정자를 결정하는 참조 추정자를 결정할 수 있다.
일 실시예에 따른 영상 부호화 장치의 상기 부호화부는, 상기 결정된 참조 추정자의 인덱스를 부호화하는 추정자 인덱스 부호화부를 포함할 수 있다.
일 실시예에 따른 영상 부호화 장치의 상기 부호화부는, 상기 움직임 예측 수행 결과에 기초하여 상기 현재 프레임을 포함하는 영상 데이터를 부호화하고, 상기 후보 추정자 범위의 소정 거리에 대한 정보 및 상기 현재 추정자를 중심으로 하는 상기 후보 추정자 집합을 이루는 후보 추정자들의 방향에 대한 정보를 부호화할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 움직임 예측을 이용한 복호화 장치는, 수신된 영상 비트스트림으로부터 영상 데이터, 움직임 벡터 및 움직임 예측을 위한 추정자 정보를 추출하는 데이터 추출부; 상기 추정자 정보를 이용하여 참조 프레임 상의 참조 추정자를 결정하는 참조 추정자 결정부; 상기 참조 추정자에 대응되는 참조 블록, 상기 추출된 영상 데이터 및 상기 움직임 벡터를 이용하여 상기 현재 프레임에 대한 움직임 예측을 수행하는 움직임 예측 수행부; 및 상기 움직임 예측 결과에 기초하여 상기 현재 프레임을 복원하는 영상 복원부를 포함하고, 상기 참조 추정자는, 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 이용하여 결정된 가설 추정자들 중 가장 작은 오차율을 가진다.
일 실시예에 따른 영상 복호화 장치의 상기 참조 추정자 결정부는, 상기 추정자 정보로부터 위치 정보를 추출하고, 상기 참조 프레임 상의 상기 위치 정보에 위치하는 추정자를 상기 참조 추정자로 결정할 수 있다.
일 실시예에 따른 영상 복호화 장치의 상기 참조 추정자 결정부는, 상기 추정자 정보로부터, 거리 정보 및 방향 정보를 추출하고, 상기 거리 정보를 이용하여, 상기 참조 프레임 상의 상기 현재 추정자로부터 상기 거리 정보에 따른 소정 거리에 배치되는 후보 추정자 범위를 결정하고, 상기 방향 정보를 이용하여, 상기 후보 추정자 범위 중 상기 방향 정보에 따른 방향에 위치하는 후보 추정자들을 결정하고, 상기 결정된 후보 추정자들을 이용하여 상기 최초 오차 추정자를 결정할 수 있다.
본 발명은, 본 발명의 일 실시예에 따른 영상 부호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
또한 본 발명은, 본 발명의 일 실시예에 따른 영상 복호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터 판독 가능한 기록 매체를 포함한다.
본 발명에 따른 움직임 예측을 이용한 부호화 방법 및 장치는 복수 개의 블록 또는 추정자를 조합함으로써 효과적이고 정확하게 움직임 예측을 할 수 있다. 또한, 복수 개의 참조 블록 또는 추정자를 나타내는 정보가 단순화되므로 압축률 및 통신 효율이 향상된다.
움직임 예측을 이용한 부호화 방법 및 장치는, 수신된 데이터스트림으로부터 최소 오차를 갖는 참조 블록에 대한 정보를 추출하여, 정확하고 효율적인 움직임 예측을 함으로써 화면 간 예측의 성능을 향상시킬 수 있다.
본 발명의 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 움직임 예측을 이용한 복호화 방법 및 장치는 시간적 예측에 기반한 비디오 코덱 및 이 코덱을 사용하는 핸드폰, 캠코더, 디지털 카메라, 멀티미디어 플레이어, 차세대 디브이디, 소프트웨어 비디오 코덱 등에 사용될 수 있다.
도 2a 는 본 발명의 일 실시예에 따른 영상 부호화 장치의 블록도를 도시한다.
본 발명의 일 실시예에 따른 영상 부호화 장치(200)는 후보 추정자 집합 결 정부(210), 참조 추정자 결정부(220), 움직임 예측 수행부(230) 및 부호화부(240)를 포함한다.
후보 추정자 집합 결정부(210)는 멀티 가설 예측 장치(200)로 입력된 참조 프레임에서, 현재 블록에 대응되는 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정하고, 결정된 후보 추정자 집합을 참조 추정자 결정부(220)로 출력한다.
본 발명에서 추정자는 움직임 예측을 위한 블록 또는 픽셀들을 대표하는 위치의 픽셀을 의미할 수 있다. 즉, 참조 데이터를 찾기 위한 탐색점이다. 또한, 추정자는 부호화 또는 복호화될 현재 프레임의 현재 블록에 대한 참조 프레임 상에 존재한다.
후보 추정자 집합 결정부(210)는 현재 추정자를 위한 참조 추정자를 결정하기 위해, 영상 복호화 장치(200)로 입력된 참조 프레임에서 복수 개의 후보 추정자들을 포함하는 후보 추정자 범위를 결정한다. 후보 추정자 범위는 참조 프레임 상의 현재 추정자 및 현재 추정자로부터 소정 거리에 위치한 추정자들을 포함할 수 있다. 예를 들어, 후보 추정자 범위는 현재 추정자로부터 1/4 화소 단위, 1/2 화소 단위, 정수 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 범위 중 적어도 하나로 결정할 수 있다.
후보 추정자 집합 결정부(210)는 결정된 후보 추정자 범위 내의 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정한다. 즉, 하나 의 후보 추정자 집합에는 적어도 하나의 후보 추정자가 포함될 수 있으며, 그러한 후보 추정자가 하나 이상 있을 수 있다.
추정자 범위 내에서 후보 추정자 집합의 일 실시예는 후보 추정자 범위 중 한 후보 추정자를 포함하는 집합, 두 후보 추정자들을 포함하는 집합, 세 후보 추정자들을 포함하는 집합을 모두 포함할 수도 있다. 또한, 후보 추정자 집합은 한 후보 추정자의 집합만으로 구성될 수 있으며, 한 후보 추정자의 집합부터 N 개의 후보 추정자들을 포함하는 집합까지 모든 경우의 추정자 집합이 있을 수 있다. 이 때, N은 후보 추정자 범위 내의 총 후보 추정자 수보다 작거나 같다.
영상 부호화 장치(200)의 참조 추정자 결정부(220)는 후보 추정자 집합 결정부(210)로부터 후보 추정자 집합을 입력받아, 후보 추정자 집합의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정하고, 결정된 참조 추정자를 영상 부호화 장치(200)의 움직임 예측 수행부(230)로 출력한다.
영상 부호화 장치(200)의 참조 추정자 결정부(220)는 후보 추정자 집합마다, 각각의 후보 추정자 집합 내의 후보 추정자를 이용하여 가설 추정자를 결정한다. 후보 추정자 집합에 대한 가설 추정자는 해당 후보 추정자 집합 내의 후보 추정자의 평균 값일 수 있다.
영상 부호화 장치(200)의 참조 추정자 결정부(220)의 일 실시예는 후보 추정자 집합마다 결정된 가설 추정자들을 포함하는 가설 추정자 리스트를 생성할 수 있다. 가설 추정자 리스트 상에서는, 현재 추정자를 포함하는 후보 추정자 집합의 가 설 추정자가, 현재 추정자를 포함하지 않는 후보 추정자 집합의 가설 추정자에 비해 높은 순위에 위치할 수 있다. 또한, 후보 추정자의 개수가 적은 후보 추정자 집합의 가설 추정자가 후보 추정자의 개수가 많은 후보 추정자 집합의 가설 추정자보다 높은 순위에 위치할 수 있다.
영상 부호화 장치(200)의 참조 추정자 결정부(220)는 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정한다. 결정된 참조 추정자에 대응되는 블록이 현재 블록에 대한 참조 블록이 된다.
영상 부호화 장치(200)의 참조 추정자 결정부(230)는, 각각의 가설 추정자를 이용한 움직임 예측 결과에 대한 평균 제곱 오차(Mean Squared Error, MSE)를 구하고, 평균 제곱 오차를 비교하여 가장 작은 평균 제곱 오차를 갖는 가설 추정자를 참조 추정자로 결정한다.
영상 부호화 장치(200)의 움직임 예측 수행부(230)는 참조 추정자 결정부(220)로부터 참조 추정자 정보를 입력받고, 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여, 현재 프레임에 대한 움직임 예측을 수행한다.
부호화부(240)는 움직임 예측 수행부(230)의 움직임 예측 수행 결과에 기초하여 현재 프레임을 포함하는 영상 데이터를 부호화한다. 부호화부(240)의 일 실시예는 참조 추정자 결정부(220)로부터 입력된 참조 추정자의 위치 정보를 나타내는 인덱스를 부호화할 수도 있다. 또한, 후보 추정자 집합 결정부(210)로부터 입력된 후보 추정자 범위의 거리 정보, 후보 추정자 집합의 방향 정보 중 적어도 하나가 부호화될 수도 있다.
도 2b 는 본 발명의 일 실시예에 따른 영상 복호화 장치의 블록도를 도시한다.
본 발명의 일 실시예에 따른 영상 복호화 장치(250)는 데이터 추출부(260), 참조 추정자 결정부(270), 움직임 예측 수행부(280) 및 영상 복원부(290)를 포함한다.
데이터 추출부(260)는 수신된 영상 비트스트림으로부터 영상 데이터, 움직임 벡터 및 움직임 예측을 위한 추정자 정보를 추출하고, 참조 추정자 결정부(270) 및 움직임 예측 수행부(280)로 출력한다. 추정자 정보는 최소 오차 추정자의 인덱스 정보, 후보 추정자 범위의 거리 정보, 후보 추정자 집합의 방향 정보 중 적어도 하나일 수 있다.
영상 복호화 장치(250)의 참조 추정자 결정부(270)는 추정자 정보를 이용하여 현재 블록에 대한 참조 추정자를 참조 프레임에서 결정한다. 참조 추정자는, 현재 블록에 대응되는 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 이용하여 결정된 가설 추정자들 중 가장 작은 오차율을 갖는 가설 추정자이다.
추정자 정보가 거리 정보, 방향 정보를 포함하는 경우, 참조 추정자 결정부(270)는 거리 정보를 이용하여, 현재 추정자로부터 거리 정보에 따른 소정 거리에 배치되는 후보 추정자 범위를 결정하고, 방향 정보를 이용하여, 후보 추정자 범위 중 방향 정보에 따른 방향에 위치하는 후보 추정자들을 결정할 수 있다. 결정된 후보 추정자들을 이용하여 최초 오차 추정자가 결정될 수 있다.
추정자 정보로부터 위치 정보가 추출된다면, 참조 추정자 결정부(270)는 상기 위치 정보에 위치되는 추정자를 상기 참조 추정자로 결정할 수 있다.
영상 복호화 장치(250)의 움직임 예측 수행부(280)는 참조 추정자에 대응되는 참조 블록, 추출된 영상 데이터 및 움직임 벡터를 이용하여 현재 프레임에 대한 움직임 예측을 수행한다.
또한, 복원부(290)는 예측 결과에 기초하여 현재 프레임을 복원하고, 전체 영상을 복호화한다.
도 3 은 화소 단위에 따른 추정자들을 도시한다.
후보 추정자 집합 결정부(210)가 후보 추정자 범위에 포함시킬 현재 추정자(300)에 대한 후보 추정자의 후보는, 참조 프레임 상에서 현재 추정자(300)로부터 정수 화소 단위의 거리에 위치한 추정자들(312, 313, 314, 315), 1/2 화소 단위의 거리에 위치한 추정자들(322, 324, 326, 328), 1/4 화소 단위의 거리에 위치한 추정자들(331, 332, 333, 334, 335, 336, 337, 338, 339, 340, 341, 342 등) 및 현재 추정자(300)일 수 있다.
후보 추정자 범위는 현재 추정자(300)로부터 소정 거리에 위치한 추정자들을 포함한다. 예를 들어, 후보 추정자 범위는 현재 추정자(300)로부터 정수 화소 단위의 거리에 위치한 추정자들(312, 313, 314, 315)만을 포함할 수 있다. 또한, 정수 화소 단위의 거리에 위치한 추정자들(312, 313, 314, 315), 1/2 화소 단위의 거리에 위치한 추정자들(322, 324, 326, 328), 1/4 화소 단위의 거리에 위치한 추정자들(331, 332, 333, 334, 335, 336, 337, 338, 339, 340, 341, 342 등)을 모두 포함 할 수도 있다. 또한, 동일 거리의 추정자들 중에서 일부 추정자만이 후보 추정자 범위로 선택될 수도 있다.
도 3 에 도시된 후보 추정자 범위는 현재 추정자(300)로부터 1/4 화소 단위 거리에 위치하면서 현재 추정자(300)를 둘러싼 추정자들(335, 336, 337, 338, 339, 340, 341, 342) 및 현재 추정자의 추정자(300)를 포함한다.
도 4 는 후보 추정자 범위의 일 실시예를 도시한다.
도 4 에 도시된 후보 추정자 범위의 일 실시예는 현재 추정자(400) 및 현재 추정자(400)를 둘러싼 8개의 추정자들(410, 420, 430, 440 450, 460, 470, 480)을 포함한다. 추정자들 사이의 거리는 1/4 화소 단위, 1/2 화소 단위, 정수 화소 단위로 조절될 수 있다.
도 4 에 도시된 후보 추정자 범위의 거리가 1/4 화소 단위라면, 후보 추정자 범위의 추정자들은 현재 추정자(400)의 1/4 화소 단위 거리의 추정자들 중 현재 추정자(400)를 둘러 싼 추정자들(410, 420, 430, 440 450, 460, 470, 480) 및 현재 추정자(400)이다.
도 4 에 도시된 후보 추정자 범위의 거리가 1/2 화소 단위라면, 현재 추정자(400) 및 현재 추정자로부터 정수 화소 단위 거리의 추정자들(410, 420, 430, 440) 및 1/2 화소 단위 거리의 추정자들(450, 460, 470, 480) 및 현재 추정자(400)가 후보 추정자 범위에 포함된다.
도 5 는 후보 추정자 집합의 일 실시예를 도시한다.
후보 추정자 집합 결정부(210)는 후보 추정자 범위 내의 적어도 하나의 후보 추정자를 포함하는 후보 추정자 집합를 하나 이상 결정한다. 도 5 를 참조하면 후보 추정자 범위는, 현재 추정자(526)를 둘러싼 1/4 화소 단위의 거리에 위치한 추정자들(502, 506, 510, 522, 530, 542, 546, 550) 및 현재 추정자(526)까지 9개의 추정자들을 포함한다.
하나의 후보 추정자 집합은 후보 추정자 범위 중 N 개의 후보 추정자를 포함한다. N은 후보 추정자 범위 내의 총 후보 추정자 개수이다. 예를 들어, 도 5의 후보 추정자 범위에서는, 두 추정자(510, 522)를 포함하는 후보 추정자 집합(580)이 있을 수 있다. 후보 추정자 집합들이 포함하고 있는 모든 후보 추정자들이 동일하지 않다면, 서로 다른 후보 추정자 집합이다.
한 후보 추정자 범위에서 생성될 수 있는 후보 추정자 집합의 일 실시예는, 후보 추정자 범위 중 한 후보 추정자를 포함하는 집합부터, 후보 추정자 범위 중 n 개의 후보 추정자를 포함하는 집합까지를 모두 포함할 수도 있다(이 때, n 은 1보다 크고 N보다 작거나 같은 정수). 예를 들어, N = 9이고 n = 3이면, 후보 추정자 집합은, 후보 추정자 범위 중 한 개의 후보 추정자를 포함하는 집합들, 후보 추정자 범위 중 두 개의 후보 추정자들을 포함하는 집합들, 후보 추정자 범위 중 세 개의 후보 추정자들을 포함하는 집합들을 포함할 수 있다.
부호화 장치(200)의 참조 추정자 결정부(220)는 각각의 후보 추정자 집합 내의 후보 추정자를 이용하여 가설 추정자를 결정한다. 예를 들어 후보 추정자 집합 내의 후보 추정자들의 평균 위치를 가설 추정자로 결정한다. 가설 추정자 값은 후보 추정자 집합 내의 후보 추정자들의 픽셀 값의 평균이 된다. 1/4 화소 단위 거리 의 두 추정자들(502, 506)의 후보 추정자 집합에 대해 결정되는 가설 추정자는, 두 추정자들(502, 506)의 평균 위치인 1/8 화소 단위 거리의 추정자(504)가 결정된다.
마찬가지로 1/4 화소 단위의 두 추정자들(530, 550)의 후보 추정자 집합(570)에 대한 가설 추정자는 1/8 화소 단위 거리에 위치한 추정자(540)로 결정되므로, 본 발명에 일 실시예에 따른 영상 부호화 장치(200) 및 영상 복호화 장치(250)는 1/4 화소 단위 예측 기반의 H.264 환경에서도 1/8 화소 단위 예측이 가능해진다.
현재 추정자(526)는 현재 추정자(526)만을 후보 추정자로써 포함하는 후보 추정자 집합에 대해서는 가설 추정자가 되지만, 두 후보 추정자들(506, 546)를 포함하는 후보 추정자 집합(560)에 대해서는 두 후보 추정자들(506, 546)의 평균 위치인 가설 추정자가 될 수도 있다. 이렇게 후보 추정자 집합 내의 후보 추정자들의 개수가 많아지면서, 소정 위치의 추정자는 재정의되고 상세화될 수도 있다.
참조 추정자 결정부(220)가 가설 추정자 리스트를 생성하는 경우, 후보 추정자 수가 적은 후보 추정자 집합에 대한 가설 추정자로부터, 후보 추정자 수가 많은 후보 추정자 집합에 대한 가설 추정자 순서로 리스트에 수록된다. 리스트 상의 순서는 현재 블록에 대한 참조 추정자 결정을 위한 우선 순위일 수 있다.
또한, 동일한 개수의 후보 추정자를 보유하는 후보 추정자 집합에 대한 가설 추정자에 대해서는, 현재 추정자를 포함하는 후보 추정자 집합에 대한 가설 추정자가, 가설 추정자 리스트 상에서 현재 추정자를 보유하지 않은 후보 추정자 집합에 대한 가설 추정자에 비해 우선 순위를 차지한다.
참조 추정자 결정부(220)는 후보 추정자 집합들에 대한 가설 추정자들의 오차율이 가장 적은 최적의 가설 추정자를 참조 추정자로 결정한다. 참조 추정자 결정부(220)의 일 실시예는 오차율을 산정하기 위해, 각각의 가설 추정자들을 이용하여 움직임 보상을 한 결과, 각각의 가설 추정자들에 대한 평균 제곱 오차(MSE)를 비교하여, 최소 평균 제곱 오차를 발생시키는 가설 추정자를 참조 추정자, 즉 참조 추정자로 결정한다. 참조 추정자가 결정되면, 참조 추정자의 위치 등의 정보를 나타내는 인덱스가 전송될 수도 있다.
도 6 은 후보 추정자 집합의 다른 실시예를 도시한다.
후보 추정자 범위 결정부(210)는, 후보 추정자 범위 내의 후보 추정자들 중 현재 추정자를 중심으로 서로 마주보는 두 후보 추정자들이 하나의 후보 추정자 집합을 구성하도록 결정할 수 있다. 이 경우 현재 추정자는 후보 추정자 집합에 포함되지 않는다.
현재 추정자를 중심으로 가로, 세로 및 양 대각선 방향으로 마주보는 두 후보 추정자들마다 각각 후보 추정자 집합을 구성하도록 결정할 수 있다. 즉, 현재 추정자를 중심으로 수직 방향으로 마주 보는 후보 추정자들을 포함하는 후보 추정자 집합(방향 1), 수평 방향으로 마주 보는 후보 추정자들을 포함하는 후보 추정자 집합(방향 2), 오른쪽이 내려간 대각선 방향으로 마주 보는 후보 추정자들을 포함하는 후보 추정자 집합(방향 3), 왼쪽이 내려간 대각선 방향으로 마주 보는 후보 추정자들을 포함하는 후보 추정자 집합(방향 4)이 있을 수 있다.
도 7 은 후보 추정자 범위 및 후보 추정자 집합 결정 방법에 대해 설정된 코 드의 일 실시예를 도시한다.
영상 부호화 장치(200)는 후보 추정자 범위 및 후보 추정자 집합 결정 방법에 대한 정보를 부호화할 수 있다. 영상 복호화 장치(250)는 후보 추정자 범위 및 후보 추정자 결정 방법에 대한 정보를 복호화함으로써, 참조 추정자에 대한 정보를 획득할 수 있다.
이하 후보 추정자 범위 및 후보 추정자 집합 결정 방법을, 도 6 에서 도시된 후보 추정자 범위 및 후보 추정자 집합을 참조하여 기술된다. 후보 추정자 범위는, 현재 추정자를 둘러싼 추정자 사이의 거리에 의해 정의될 수 있다. 예로 들면, 거리가 1/2 화소 단위라고 하면 현재 추정자를 둘러싼 정수 화소 단위의 추정자들 및 1/2 화소 단위의 추정자들이 후보 추정자 범위에 해당된다. 도 3 의 추정자 번호를 이용하여 설명하면, 정수 화소 단위의 추정자들(312, 313, 314, 315) 및 1/2 화소 단위의 추정자들(322, 324, 326, 328)이 후보 추정자 범위를 포함한다.
또한, 거리가 1/4 화소 단위라 하면, 현재 추정자로부터 1/4 화소 단위의 거리에 위치한 추정자들 중 현재 추정자를 둘러싼 추정자들이 후보 추정자 범위에 해당된다. 도 3 에서, 1/4 화소 단위의 추정자들(335, 336, 337, 338, 339, 340, 341, 342)이 후보 추정자 범위를 구성한다.
후보 추정자 집합은, 도 6 과 같이 후보 추정자 집합의 결정 방법이 제한되어 있다면, 후보 추정자 집합들이 현재 추정자를 중심으로 서로 마주 보는 방향에 따라 정의될 수 있다. 즉, 방향 1, 방향 2, 방향 3, 방향 4로 후보 추정자 집합이 정의될 수 있다.
전술한 바와 같이, 후보 추정자 범위의 거리와 후보 추정자 집합의 결정 방법에 대한 정보를 미리 부호화하면 그 유용성이 높아진다. 움직임 예측을 이용한 영상 부호화 장치(200)의 일 실시예는 현재 추정자로부터 후보 추정자 범위 내의 후보 추정자들까지의 소정 거리에 대한 정보를 거리 코드로 설정하는 거리 코드 설정부, 현재 추정자 중심으로 하는 후보 추정자 집합을 이루는 후보 추정자들의 방향의 종류에 정보를 방향 코드로 설정하는 방향 코드 설정부, 및 거리 코드 및 방향 코드를 출력하는 코드 출력부를 포함할 수 있다.
거리 코드 설정부는, 1/4 화소 거리를 거리 코드 0으로, 1/2 화소 거리를 거리 코드 1로 설정한다. 방향 코드 설정부는, 도 7 과 같이, 방향 1을 방향 코드 100, 방향 2를 방향 코드 101, 방향 3을 방향 코드 110, 방향 4를 방향 코드 111로 설정한다. 또한, 복수 개의 가설 추정자를 이용하지 않는 경우를 대비하여, 방향 코드 0을 설정한다. 단, 거리 코드 설정부는 방향 코드 0 이 아닌 경우에만 거리 코드를 설정한다.
각각의 코드에 따라 후보 추정자 집합이 결정되므로, 영상 부호화 장치(200)에 의해 결정된 참조 추정자를 나타내는 방향 코드 및 거리 코드를 전송하면, 영상 복호화 장치(250)는 수신된 방향 코드 및 거리 코드만으로 참조 추정자를 알 수 있다.
도 8 은 정수 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
후보 추정자 범위가 정수 화소 단위로 결정된 경우, 추정자 X 는 구하기 위한 과정은 다음과 같다.
한 단위 거리의 이웃 추정자를 이용하는 경우에는, 추정자 X 는 X = ( M + N ) / 2 로 결정된다. 추정자 M 은 M = ( H0 + c ) / 2 로 결정되고, 추정자 N 은 N = ( H1 + c ) / 2 로 결정되므로, 추정자 X 는 X = ( M + N ) / 2 = ( H0 + 2c + H1 ) / 2 로 결정된다. H.264의 6 탭 필터 보간에 의해 추정자 H0 는 H0 = ( l - 5a + 20b + 20c - 5d + e ) / 32이고, 추정자 H1 는 H1 = ( a - 5b + 20c + 20d - 5e + f ) / 32 이다. 따라서, 추정자 X 는 X = ( H0 + 2c + H1 ) / 2 = ( l - 4a + 15b + 104c + 15d - 4e + f ) / 64 로 결정된다. 추정자 X 는 정수 화소 단위의 추정자들에 대한 7 탭 필터로 필터링 처리로 결정되는 효과가 발생한다.
두 단위 거리의 이웃 추정자를 이용하는 경우, 추정자 X 는 X = ( H0 + H1 ) / 2 로 결정되며, 전술된 추정자 H0 및 추정자 H1의 결정식을 대입하면 추정자 X 는 X = ( l - 4a + 15b + 40c + 15d - 4e + f ) / 64 로 결정된다. 이 경우도 정수 화소 단위의 추정자들에 대한 7 탭 필터로 필터링 처리로 추정자 X 가 결정되는 효과가 발생한다.
따라서, 본 발명의 멀티 가설 예측 방법에 의하면, H.264의 고정적인 6 탭 필터링 또는 보간이 아닌, 상황에 따라 다양한 필터링 결과를 얻을 수 있다.
도 9 는 1/2 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
후보 추정자 범위가 1/2 화소 단위로 결정된 경우, 추정자 X 는 구하기 위한 과정은 다음과 같다.
한 단위 거리의 이웃 추정자를 이용하는 경우에는, 추정자 X 는 X = ( M + N ) / 2 로 결정된다. 추정자 M은 M = ( c + H ) / 2 로 결정되고, 추정자 N은 N = ( d + H ) / 2 로 결정되므로, 추정자 X 는 X = ( M + N ) / 2 = ( c + 2H + d ) / 2 이다. 추정자 H 는 H.264의 6 탭 필터링에 의해 H = ( a - 5b + 20c + 20d - 5e + f + 16 ) / 32 로 결정되므로, 추정자 X 는 정수 화소 단위 추정자들인 추정자 c, 추정자 d, 추정자 H 에 대한 1:2:1 필터링이 수행되는 효과가 발생된다.
또한, 두 단위 거리의 이웃 추정자를 이용하는 경우, 추정자 X 는 X = ( c + d ) / 2 로 결정되므로, 추정자 c 및 추정자 d 에 대한 겹선형 필터링을 통해 추정자 X 가 결정될 수 있다.
따라서, 정수 화소 단위의 추정자에 대한 고정적인 6 탭 필터링이 아닌 다양한 필터링이 수행되는 효과가 발생된다.
도 10 은 1/4 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
후보 추정자 범위가 1/4 화소 단위로 결정된 경우, 추정자 X 는 구하기 위한 과정은 다음과 같다.
한 단위 거리의 이웃 추정자를 이용하는 경우에는, 추정자 X 는 X = ( c + H1 ) / 2 로 결정된다. 이는 H.264 에서 1/4 화소 단위 추정자를 결정하기 위한 겹선형 필터링과 동일한 결과이다.
또한, 두 단위 거리의 이웃 추정자를 이용하는 경우, 추정자 M은 M = ( c + H0 ) / 2 으로 결정되고, 추정자 N은 N = ( d + H1 ) / 2로 결정되므로, 추정자 X 는 X = ( M + N ) / 2 = ( H0 + c + H1 + d ) / 4 로 결정된다. 따라서, 전술된 H.264 에서의 추정자 H0 및 추정자 H1에 대한 결정식을 이용하면, 추정자 X 는 X = ( M + N ) / 2 = ( l - 4a + 15b + 72c + 47d - 4e + f ) / 64 로 결정되고, 정수 화소 단위의 추정자들에 대한 7 탭 필터링의 결과가 발생된다. 다양한 필터링이 수행되는 효과가 발생된다.
도 11a 은 본 발명의 일 실시예에 따른 영상 부호화 방법의 흐름도를 도시한다.
단계 1110에서, 현재 블록에 대응되는 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합이 참조 프레임에서 결정된다.
단계 1120에서, 각각의 후보 추정자 집합의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자가 결정된다. 후보 추정자 집합마다 결정된 가설 추정자들을 포함하는 가설 추정자 리스트가 생성될 수 있다. 가설 추정자는 각각의 후보 추정자 집합 내의 후보 추정자의 평균 값으로 결정될 수 있다.
각각의 가설 추정자를 이용한 움직임 예측 결과에 대한 평균 제곱 오차를 비교하여, 가장 작은 평균 제곱 오차를 갖는 가설 추정자가 참조 추정자로 결정될 수 있다.
단계 1130에서, 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여, 현재 프레임에 대한 움직임 예측이 수행된다.
단계 1140에서, 움직임 예측 수행 결과에 기초하여 현재 프레임을 포함하는 영상 데이터가 부호화된다. 참조 추정자의 인덱스가 부호화되어 전송될 수 있다. 후보 추정자 범위의 거리 정보, 후보 추정자 집합의 방향 정보가 부호화되어 전송 될 수도 있다.
도 11b 은 본 발명의 일 실시예에 따른 영상 복호화 방법의 흐름도를 도시한다.
단계 1160에서, 수신된 영상 비트스트림으로부터 영상 데이터, 움직임 벡터 및 움직임 예측을 위한 추정자 정보가 추출된다. 추정자 정보는 참조 추정자에 대한 위치 정보일 수 있다. 또한, 추정자 정보는 참조 추정자를 결정하기 위한 후보 추정자 범위의 거리 정보 및 후보 추정자 집합의 방향 정보 중 적어도 하나일 수 있다.
단계 1170에서, 추정자 정보를 이용하여 현재 블록에 대한 참조 추정자가 결정된다. 참조 추정자는, 현재 블록에 대응되는 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 이용하여 결정된 가설 추정자들 중 가장 작은 오차율을 갖는 추정자로 결정된다.
단계 1180에서, 참조 추정자에 대응되는 참조 블록, 추출된 영상 데이터 및 움직임 벡터를 이용하여 현재 프레임에 대한 움직임 예측이 수행된다.
단계 1190에서, 움직임 예측 결과에 기초하여 현재 프레임이 복원된다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터 넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1a 은 H.264/AVC 에서 P 픽처를 이용한 움직임 예측을 도시한다.
도 1b 는 H.264/AVC 에서 B 픽처를 이용한 움직임 예측을 도시한다.
도 2a 는 본 발명의 일 실시예에 따른 영상 부호화 장치의 블록도를 도시한다.
도 2b 는 본 발명의 일 실시예에 따른 영상 복호화 장치의 블록도를 도시한다.
도 3 은 화소 단위에 따른 추정자들을 도시한다.
도 4 는 후보 추정자 범위의 일 실시예를 도시한다.
도 5 는 후보 추정자 집합의 일 실시예를 도시한다.
도 6 은 후보 추정자 집합의 다른 실시예를 도시한다.
도 7 은 후보 추정자 범위 및 후보 추정자 집합 결정 방법에 대해 설정된 코드의 일 실시예를 도시한다.
도 8 은 정수 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
도 9 는 1/2 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
도 10 은 1/4 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
도 11a 은 본 발명의 일 실시예에 따른 영상 부호화 방법의 흐름도를 도시한다.
도 11b 은 본 발명의 일 실시예에 따른 영상 복호화 방법의 흐름도를 도시한다.

Claims (25)

  1. 움직임 예측을 이용한 부호화 방법에 있어서,
    참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정하는 단계;
    각각의 상기 후보 추정자 집합의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정하는 단계;
    상기 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여, 현재 프레임에 대한 움직임 예측을 수행하는 단계; 및
    상기 움직임 예측 수행 결과에 기초하여 상기 현재 프레임을 포함하는 영상 데이터를 부호화하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  2. 제 1 항에 있어서, 상기 참조 추정자 결정 단계는,
    상기 후보 추정자 집합마다 결정된 가설 추정자들을 포함하는 가설 추정자 리스트를 생성하는 단계; 및
    상기 생성된 가설 추정자 리스트의 상기 가설 추정자의 오차율에 기초하여 참조 추정자를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  3. 제 1 항에 있어서, 상기 영상 데이터 부호화 단계는,
    상기 결정된 참조 추정자의 인덱스를 부호화하는 단계를 포함하는 것을 특징 으로 하는 영상 부호화 방법.
  4. 제 1 항에 있어서, 상기 후보 추정자 집합 결정 단계는,
    상기 후보 추정자 범위가, 상기 현재 추정자로부터 1/4 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 범위, 상기 현재 추정자로부터 1/2 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 범위, 및 상기 현재 추정자로부터 정수 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 범위 중 적어도 한 범위를 포함하고, 상기 현재 추정자를 포함하도록 결정하는 것을 특징으로 하는 영상 부호화 방법.
  5. 제 1 항에 있어서, 상기 후보 추정자 집합 결정 단계는,
    상기 후보 추정자 집합이, 상기 후보 추정자 범위 중 한 후보 추정자를 포함하는 집합, 두 후보 추정자들을 포함하는 집합, 및 세 후보 추정자들을 포함하는 집합을 포함하도록 결정하는 것을 특징으로 하는 영상 부호화 방법.
  6. 제 1 항에 있어서, 상기 참조 추정자 결정 단계는,
    상기 결정된 각각의 후보 추정자 집합마다, 상기 후보 추정자 집합 내의 후보 추정자의 평균 값을 상기 후보 추정자 집합에 대한 가설 추정자로 결정하는 단계; 및
    상기 결정된 가설 추정자의 오차율을 비교하여 최소 오차율을 갖는 참조 추정자로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  7. 제 2 항에 있어서, 상기 가설 추정자 리스트 생성 단계는,
    상기 가설 추정자 리스트에, 상기 현재 추정자를 포함하는 후보 추정자 집합의 가설 추정자를 상기 현재 추정자를 포함하지 않는 후보 추정자 집합의 가설 추정자에 비해 높은 순위에 위치시키는 것을 특징으로 하는 영상 부호화 방법.
  8. 제 2 항에 있어서, 상기 가설 추정자 리스트 생성 단계는,
    상기 가설 추정자 리스트에, 후보 추정자의 개수가 적은 후보 추정자 집합의 가설 추정자를, 후보 추정자의 개수가 많은 후보 추정자 집합의 가설 추정자보다 높은 순위에 위치시키는 것을 특징으로 하는 영상 부호화 방법.
  9. 제 1 항에 있어서, 상기 참조 추정자 결정 단계는,
    상기 각각의 가설 추정자를 이용한 움직임 예측 결과에 대한 평균 제곱 오차를 구하는 단계; 및
    상기 평균 제곱 오차를 비교하여 가장 작은 평균 제곱 오차를 갖는 가설 추정자를 상기 참조 추정자로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  10. 제 1 항에 있어서, 상기 후보 추정자 집합 결정 단계는,
    상기 현재 추정자를 중심으로 소정 거리에 위치하는 상측, 하측, 좌측 및 우 측의 네 추정자들 및 상기 현재 추정자를 중심으로 하는 두 대각선 중 각각의 대각선의 양쪽에 위치한 네 추정자들을 포함하는 후보 추정자 범위를 결정하는 단계; 및
    상기 결정된 후보 추정자 범위 내의 후보 추정자들 중 상기 현재 추정자를 중심으로 서로 마주보는 두 후보 추정자들이 각각의 후보 추정자 집합을 구성하도록 결정하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  11. 제 10 항에 있어서, 상기 영상 부호화 방법은,
    상기 후보 추정자 범위의 소정 거리에 대한 정보 및 상기 후보 추정자 집합을 이루는 후보 추정자들의 방향에 대한 정보를 부호화 하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  12. 움직임 예측을 이용한 복호화 방법에 있어서,
    수신된 영상 비트스트림으로부터 영상 데이터, 움직임 벡터 및 움직임 예측을 위한 추정자 정보를 추출하는 단계;
    상기 추정자 정보를 이용하여 현재 블록에 대한 참조 추정자를 참조 프레임에서 결정하는 단계;
    상기 참조 추정자에 대응되는 참조 블록, 상기 추출된 영상 데이터 및 상기 움직임 벡터를 이용하여 상기 현재 프레임에 대한 움직임 예측을 수행하는 단계; 및
    상기 움직임 예측 결과에 기초하여 상기 현재 프레임을 복원하는 단계를 포함하고,
    상기 참조 추정자는, 상기 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 이용하여 결정된 가설 추정자들 중 가장 작은 오차율을 갖는 것을 특징으로 하는 영상 복호화 방법.
  13. 제 12 항에 있어서, 상기 참조 추정자 결정 단계는,
    상기 추정자 정보로부터 위치 정보를 추출하는 단계; 및
    상기 참조 프레임 상의 상기 위치 정보에 위치하는 추정자를 상기 참조 추정자로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  14. 제 12 항에 있어서, 상기 참조 추정자 결정 단계는,
    상기 추정자 정보로부터, 거리 정보 및 방향 정보를 추출하는 단계;
    상기 거리 정보를 이용하여, 상기 참조 프레임 상의 상기 현재 추정자로부터 상기 거리 정보에 따른 소정 거리에 배치되는 후보 추정자 범위를 결정하는 단계;
    상기 방향 정보를 이용하여, 상기 후보 추정자 범위 중 상기 방향 정보에 따른 방향에 위치하는 후보 추정자들을 결정하는 단계; 및
    상기 결정된 후보 추정자들을 이용하여 상기 최초 오차 추정자를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  15. 움직임 예측을 이용한 부호화 장치에 있어서,
    참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정하는 후보 추정자 집합 결정부;
    각각의 상기 후보 추정자 집합의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정하는 참조 추정자 결정부;
    상기 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여, 현재 프레임에 대한 움직임 예측을 수행하는 움직임 예측 수행부; 및
    상기 움직임 예측 수행 결과에 기초하여 상기 현재 프레임을 포함하는 영상 데이터를 부호화하는 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  16. 제 15 항에 있어서, 상기 참조 추정자 결정부는,
    상기 후보 추정자 집합마다 결정된 가설 추정자들을 포함하는 가설 추정자 리스트를 생성하고, 상기 생성된 가설 추정자 리스트의 가설 추정자 리스트들의 오차율에 기초하여 참조 추정자를 결정하는 것을 특징으로 하는 영상 부호화 장치.
  17. 제 15 항에 있어서, 상기 부호화부는,
    상기 결정된 참조 추정자의 인덱스를 부호화하는 추정자 인덱스 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  18. 제 15 항에 있어서, 상기 참조 추정자 결정부는,
    상기 결정된 각각의 후보 추정자 집합마다, 상기 후보 추정자 집합 내의 후보 추정자의 평균 값을 상기 후보 추정자 집합에 대한 가설 추정자로 결정하고, 상기 결정된 가설 추정자의 오차율을 비교하여, 가장 작은 오차율을 갖는 가설 추정자를 참조 추정자로 결정하는 것을 특징으로 하는 영상 부호화 장치.
  19. 제 15 항에 있어서, 상기 참조 추정자 결정부는,
    상기 각각의 가설 추정자를 이용한 움직임 예측 결과에 대한 평균 제곱 오차를 구하고, 상기 평균 제곱 오차를 비교하여 가장 작은 평균 제곱 오차를 갖는 가설 추정자를 상기 참조 추정자로 결정하는 것을 특징으로 하는 영상 부호화 장치.
  20. 제 15 항에 있어서, 상기 부호화부는,
    상기 움직임 예측 수행 결과에 기초하여 상기 현재 프레임을 포함하는 영상 데이터를 부호화하고, 상기 후보 추정자 범위를 나타내는 소정 거리에 대한 정보 및 상기 후보 추정자 집합을 이루는 후보 추정자들의 방향에 대한 정보를 부호화하는 것을 특징으로 하는 영상 부호화 장치.
  21. 움직임 예측을 이용한 복호화 장치에 있어서,
    수신된 영상 비트스트림으로부터 영상 데이터, 움직임 벡터 및 움직임 예측을 위한 추정자 정보를 추출하는 데이터 추출부;
    상기 추정자 정보를 이용하여 현재 블록에 대한 참조 추정자를 참조 프레임에서 결정하는 참조 추정자 결정부;
    상기 참조 추정자에 대응되는 참조 블록, 상기 추출된 영상 데이터 및 상기 움직임 벡터를 이용하여 상기 현재 프레임에 대한 움직임 예측을 수행하는 움직임 예측 수행부; 및
    상기 움직임 예측 결과에 기초하여 상기 현재 프레임을 복원하는 영상 복원부를 포함하고,
    상기 참조 추정자는, 상기 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 이용하여 결정된 가설 추정자들 중 가장 작은 오차율을 갖는 것을 특징으로 하는 영상 복호화 장치.
  22. 제 21 항에 있어서, 상기 참조 추정자 결정부는,
    상기 추정자 정보로부터 위치 정보를 추출하고, 상기 참조 프레임 상의 상기 위치 정보에 위치하는 추정자를 상기 참조 추정자로 결정하는 것을 특징으로 하는 영상 복호화 장치.
  23. 제 21 항에 있어서, 상기 참조 추정자 결정부는,
    상기 추정자 정보로부터, 거리 정보 및 방향 정보를 추출하고,
    상기 거리 정보를 이용하여, 상기 참조 프레임 상의 상기 현재 추정자로부터 상기 거리 정보에 따른 소정 거리에 배치되는 후보 추정자 범위를 결정하고,
    상기 방향 정보를 이용하여, 상기 후보 추정자 범위 중 상기 방향 정보에 따른 방향에 위치하는 후보 추정자들을 결정하고,
    상기 결정된 후보 추정자들을 이용하여 상기 최초 오차 추정자를 결정하는 것을 특징으로 하는 영상 복호화 장치.
  24. 제 1 항 내지 제 11 항 중 어느 하나의 영상 부호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체.
  25. 제 12 항 내지 제 14 항 중 어느 하나의 영상 복호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터 판독 가능한 기록 매체.
KR1020080019642A 2008-03-03 2008-03-03 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치 KR20090094595A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020080019642A KR20090094595A (ko) 2008-03-03 2008-03-03 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치
US12/388,662 US8204127B2 (en) 2008-03-03 2009-02-19 Method and apparatus for encoding and decoding image by using multiple reference-based motion prediction
PCT/KR2009/001026 WO2009110721A2 (ko) 2008-03-03 2009-03-03 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치
EP09716619A EP2252062A4 (en) 2008-03-03 2009-03-03 ENCODING METHOD AND DEVICE USING MOTION PREDICTION USING MULTI-REFERENCING, AND DECODING METHOD AND DEVICE USING MOTION PREDICTION USING MULTI-REFERENCING

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080019642A KR20090094595A (ko) 2008-03-03 2008-03-03 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020140146432A Division KR101590875B1 (ko) 2014-10-27 2014-10-27 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20090094595A true KR20090094595A (ko) 2009-09-08

Family

ID=41013153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080019642A KR20090094595A (ko) 2008-03-03 2008-03-03 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치

Country Status (4)

Country Link
US (1) US8204127B2 (ko)
EP (1) EP2252062A4 (ko)
KR (1) KR20090094595A (ko)
WO (1) WO2009110721A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140064757A (ko) * 2014-05-15 2014-05-28 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
KR101407832B1 (ko) * 2012-12-12 2014-06-18 조선대학교산학협력단 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법
KR20150030680A (ko) * 2015-01-29 2015-03-20 삼성전자주식회사 영상 복호화 방법
KR20150045982A (ko) * 2015-04-14 2015-04-29 삼성전자주식회사 영상 복호화 방법
WO2020017873A1 (ko) * 2018-07-16 2020-01-23 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110176611A1 (en) * 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
US9838709B2 (en) 2010-02-09 2017-12-05 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
KR101528361B1 (ko) 2010-02-09 2015-06-12 니폰덴신뎅와 가부시키가이샤 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램
US8588303B2 (en) * 2010-03-31 2013-11-19 Futurewei Technologies, Inc. Multiple predictor sets for intra-frame coding
US10045046B2 (en) 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
US20120163460A1 (en) * 2010-12-23 2012-06-28 Qualcomm Incorporated Sub-pixel interpolation for video coding
US8755437B2 (en) 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
US9307239B2 (en) * 2011-03-14 2016-04-05 Mediatek Inc. Method and apparatus for derivation of motion vector candidate and motion vector prediction candidate
US9503750B2 (en) 2011-11-04 2016-11-22 Futurewei Technologies, Inc. Binarization of prediction residuals for lossless video coding
KR20130050149A (ko) 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
US20190246114A1 (en) * 2018-02-02 2019-08-08 Apple Inc. Techniques of multi-hypothesis motion compensation
US11924440B2 (en) * 2018-02-05 2024-03-05 Apple Inc. Techniques of multi-hypothesis motion compensation
WO2021046692A1 (en) * 2019-09-09 2021-03-18 Alibaba Group Holding Limited Resolution-adaptive video coding with conditional interpolation filters
WO2023030504A1 (en) * 2021-09-03 2023-03-09 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807231B1 (en) * 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
KR100238893B1 (ko) 1997-09-30 2000-01-15 전주범 참조 움직임 벡터수에 기초한 움직임 벡터 부호화 방법 및 그 장치
KR100255756B1 (ko) 1997-10-10 2000-05-01 전주범 움직임벡터부호화방법
KR100488043B1 (ko) 2002-05-03 2005-05-06 엘지전자 주식회사 Ｍｈ 픽쳐의 매크로블록 코딩정보 생성 방법
KR100824616B1 (ko) 2006-06-01 2008-04-24 동국대학교 산학협력단 Ｈ.264에서의 부호화 속도를 향상시키기 위한 다중 참조영상 간 모드 생략 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101407832B1 (ko) * 2012-12-12 2014-06-18 조선대학교산학협력단 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법
US9986262B2 (en) 2012-12-12 2018-05-29 Industry-Academic Cooperation Foundation Chosun University Reference frame selection technique for error resilience of video codec using multiple reference frames
KR20140064757A (ko) * 2014-05-15 2014-05-28 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
KR20150030680A (ko) * 2015-01-29 2015-03-20 삼성전자주식회사 영상 복호화 방법
KR20150045982A (ko) * 2015-04-14 2015-04-29 삼성전자주식회사 영상 복호화 방법
WO2020017873A1 (ko) * 2018-07-16 2020-01-23 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US12041265B2 (en) 2018-07-16 2024-07-16 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus, and recording medium in which bitstream is stored

Also Published As

Publication number Publication date
EP2252062A2 (en) 2010-11-17
US8204127B2 (en) 2012-06-19
WO2009110721A3 (ko) 2009-10-29
US20090220005A1 (en) 2009-09-03
WO2009110721A2 (ko) 2009-09-11
EP2252062A4 (en) 2011-06-08

Similar Documents

Publication Publication Date Title
KR20090094595A (ko) 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치
CN110809887B (zh) 用于多参考预测的运动矢量修正的方法和装置
TWI717586B (zh) 於視訊解碼器中導出運動向量資訊
JP6776276B2 (ja) 画像予測方法および画像予測装置
WO2017005146A1 (zh) 视频编码和解码方法、视频编码和解码装置
JP2019080321A (ja) ビデオコーディングのための適応的な動きベクトル分解シグナリング
TW201742465A (zh) 用於視訊寫碼之仿射運動預測
JP2014014169A (ja) 複数の動きベクトル・プレディクタを使用して動きベクトルを推定する方法、装置、エンコーダ、デコーダ及びデコーディング方法
CN110651477A (zh) 用于运动向量修正的受限存储器访问窗口
JP7257524B2 (ja) ビデオエンコーディング／デコーディングシステムにおけるサイド動き精細化
CN115086675A (zh) 运动候选推导
CN115086676A (zh) 运动候选推导
CN113597767A (zh) 预测方法、编码器、解码器及计算机存储介质
CN117616754A (zh) 用于视频处理的方法、设备和介质
WO2023056895A1 (en) Method, apparatus, and medium for video processing
CN117561714A (zh) 用于视频处理的方法、设备和介质
US20120300848A1 (en) Apparatus and method for generating an inter-prediction frame, and apparatus and method for interpolating a reference frame used therein
KR101650056B1 (ko) 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치
JP2014007488A (ja) 動画像符号化装置、動画像符号化方法、及びプログラム
KR101590875B1 (ko) 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치
CN114586345A (zh) 执行prof的图像编码/解码方法和设备以及发送比特流的方法
CN112449180A (zh) 一种编解码方法、装置及其设备
JP2007510344A (ja) 電力最適化された配列動き予測方法
Dinh et al. Learned Video Coding with Motion Compensation Mixture Model
WO2024141071A1 (en) Method, apparatus, and medium for video processing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
A107 Divisional application of patent
J201 Request for trial against refusal decision
J121 Written withdrawal of request for trial