KR101590875B1 - 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치 - Google Patents

복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치 Download PDF

Info

Publication number
KR101590875B1
KR101590875B1 KR1020140146432A KR20140146432A KR101590875B1 KR 101590875 B1 KR101590875 B1 KR 101590875B1 KR 1020140146432 A KR1020140146432 A KR 1020140146432A KR 20140146432 A KR20140146432 A KR 20140146432A KR 101590875 B1 KR101590875 B1 KR 101590875B1
Authority
KR
South Korea
Prior art keywords
predictor
candidate
current
predictors
information
Prior art date
Application number
KR1020140146432A
Other languages
English (en)
Other versions
KR20140142192A (ko
Inventor
김일구
한우진
손유미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140146432A priority Critical patent/KR101590875B1/ko
Publication of KR20140142192A publication Critical patent/KR20140142192A/ko
Application granted granted Critical
Publication of KR101590875B1 publication Critical patent/KR101590875B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 움직임 예측에 기초한 영상 부호화 방법 및 장치, 그리고 움직임 예측에 기초한 영상 복호화 방법 및 장치에 관한 것이다.
본 발명에 따른 영상 부호화 방법은 참조 프레임에서, 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정하고, 각각의 후보 추정자 집합의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정하며, 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여 현재 프레임에 대한 움직임 예측을 수행하고, 움직임 예측 수행 결과에 기초하여 현재 프레임을 포함하는 영상 데이터를 부호화함으로써, 화면 간 예측의 성능을 개선시킬 수 있다.

Description

복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치{Method and appratus for encoding images using motion prediction by multiple reference, and method and apparatus for decoding images using motion prediction by multiple reference}
본 발명은 영상 부호화 방법 및 장치 그리고 영상 복호화 방법 및 장치에 관한 것으로, 보다 상세하게는 영상의 부호화 또는 영상의 복호화 중 화면 간 움직임 예측 방법 및 그 장치에 관한 것이다.
H.264는 종래의 동영상 압축 표준들에 비해 보다 다양하고 복잡한 기술들을 사용함으로써 압축률과 화질을 획기적으로 개선하고 있다. 이러한 이유로 종래의 동영상 압축 표준을 대체하여 디지털 멀티미디어 방송(Digital Multimedia Broadcasting: DMB), DVD 등에 응용 기술로 각광을 받고 있다.
H.264 인코더의 움직임 예측(motion prediction)은, 인터 예측(inter prediction)과 인트라 예측(intra prediction)을 수행한다. 인트라 예측은, 이미 복호화된 후 디블로킹 필터링이 수행되어 버퍼에 저장되어 있는 참조 픽처(reference picture)를 이용하여, 현재 픽처의 블록 예측을 수행하는 것을 말한다. 즉, 픽처들간의 정보를 이용하여 예측을 수행한다. 인터 예측은, 이미 복호화된 픽처 내에서, 예측하고자 하는 블록에 인접한 블록의 픽셀 데이터를 이용하여 블록 예측을 수행한다. I 픽처, P 픽처, B 픽처 등의 픽처의 속성에 따라 인트라 예측 및/또는 인터 예측이 수행된다.
움직임 추정(motion estimation, 이하 ME)은 소정의 측정 함수를 이용하여 현재 프레임 내의 매크로 블록과 가장 유사한 매크로 블록을 이전 프레임에서 탐색함으로써 양 매크로 블록의 이동 위치의 차이를 나타내는 움직임 벡터를 구하는 과정이다. 가장 유사한 매크로블록을 찾는 방법 중 대표적인 예로는, 탐색범위를 정해 그 범위 내에서 매크로 블록을 한 픽셀씩 움직여 가면서 소정의 측정방법에 의해 양 매크로 블록간의 유사한 정도를 계산하여 가장 유사한 매크로 블록을 찾는 방법이 있다.
소정의 측정 방법의 예로는, 현재 프레임 내의 매크로 블록과 탐색 영역내의 매크로 블록의 대응하는 각 픽셀값 간의 차의 절대값을 취해 그 값들을 더한 값이 가장 작은 경우의 매크로 블록을 가장 유사한 매크로 블록으로 정하는 방법이 있다.
보다 구체적으로, 과거 프레임과 현재 프레임의 매크로 블록의 유사도는 과거 및 현재 프레임의 매크로 블록에 포함된 픽셀값을 이용하여 계산되는 유사도값, 즉 정합 기준값을 이용하여 판단된다. 정합 기준값은 소정의 측정 함수를 이용하여 계산되며, 측정 함수로는 SAD(Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference) 또는 SSD(Sum of Squared Difference) 등이 사용될 수 있다.
도 1a 은 H.264/AVC 에서 P 픽처를 이용한 움직임 예측을 도시한다.
현재 픽처(110)가 P 픽처인 경우, 참조 픽처(100) 내의 참조 블록(105)을 이용하여 현재 픽처(110) 내의 현재 블록(115)에 대한 움직임 예측이 수행된다.
도 1b 는 H.264/AVC 에서 B 픽처를 이용한 움직임 예측을 도시한다.
B 픽처에 대한 움직임 예측은, 각각 다른 참조 픽처 상의 참조 블록을 이용하여 수행된다. 또한, 참조 픽처(150) 내의 두 참조 블록(153, 155)을 이용하여 현재 픽처(160) 내의 현재 블록(165)에 대한 움직임 예측이 수행될 수도 있다. 이 때 두 참조 블록에 대한 인덱스와 두 움직임 벡터가 부호화되어야 한다.
본 발명이 해결하고자 하는 과제는, 영상 부호화 방법 및 장치, 그리고 영상 복호화 방법 및 장치에서 복수 개의 블록을 참조하는 움직임 예측에 있어서, 정확한 참조 블록 또는 추정자를 결정하는 방법을 제안하는 데 있다. 또한, 복수 개의 참조 블록 또는 추정자가 이용되더라도 움직임 정보에 대한 추가적 정보를 최소화하는 방법이 제안된다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 움직임 예측을 이용한 부호화 방법은, 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정하는 단계; 각각의 상기 후보 추정자 집합의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정하는 단계; 상기 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여 현재 프레임에 대한 움직임 예측을 수행하는 단계; 및 상기 움직임 예측 수행 결과에 기초하여 상기 현재 프레임을 포함하는 영상 데이터를 부호화하는 단계를 포함한다.
일 실시예에 따른 영상 부호화 방법의 상기 참조 추정자 결정 단계는, 상기 후보 추정자 집합마다 결정된 가설 추정자들을 포함하는 가설 추정자 리스트를 생성하는 단계; 및 상기 생성된 가설 추정자 리스트의 가설 추정자의 오차율에 기초하여 참조 추정자를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 영상 데이터 부호화 단계는, 상기 결정된 참조 추정자의 인덱스를 부호화하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 후보 추정자 집합 결정 단계는, 상기 후보 추정자 범위가, 상기 현재 추정자로부터 1/4 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 범위, 상기 현재 추정자로부터 1/2 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 범위, 및 상기 현재 추정자로부터 정수 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 범위 중 적어도 한 범위를 포함하고, 상기 현재 추정자를 포함하도록 결정할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 후보 추정자 집합 결정 단계는, 상기 후보 추정자 집합이, 상기 후보 추정자 범위 중 한 후보 추정자를 포함하는 집합, 두 후보 추정자들을 포함하는 집합, 및 세 후보 추정자들을 포함하는 집합을 포함하도록 결정할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 참조 추정자 결정 단계는, 상기 결정된 각각의 후보 추정자 집합마다, 상기 후보 추정자 집합 내의 후보 추정자의 평균 값을 상기 후보 추정자 집합에 대한 가설 추정자로 결정하는 단계; 및 상기 결정된 가설 추정자의 오차율을 비교하여 가장 작은 오차율을 갖는 가설 추정자를 참조 추정자로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 가설 추정자 리스트 생성 단계는, 상기 가설 추정자 리스트에, 상기 현재 추정자를 포함하는 후보 추정자 집합의 가설 추정자를 상기 현재 추정자를 포함하지 않는 후보 추정자 집합의 가설 추정자에 비해 높은 순위에 위치시킬 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 가설 추정자 리스트 생성 단계는, 상기 가설 추정자 리스트에, 후보 추정자의 개수가 적은 후보 추정자 집합의 가설 추정자를, 후보 추정자의 개수가 많은 후보 추정자 집합의 가설 추정자보다 높은 순위에 위치시킬 수도 있다.
일 실시예에 따른 영상 부호화 방법의 상기 참조 추정자 결정 단계는, 상기 각각의 가설 추정자를 이용한 움직임 예측 결과에 대한 평균 제곱 오차를 구하는 단계; 상기 평균 제곱 오차를 비교하여 가장 작은 평균 제곱 오차를 갖는 가설 추정자를 상기 참조 추정자로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 후보 추정자 집합 결정 단계는, 상기 현재 추정자를 중심으로 소정 거리에 위치하는 상측, 하측, 좌측 및 우측의 네 추정자들 및 상기 현재 추정자를 중심으로 하는 두 대각선 중 각각의 대각선의 양쪽에 위치한 네 추정자들을 포함하는 후보 추정자 범위를 결정하는 단계; 및 상기 결정된 후보 추정자 범위 내의 후보 추정자들 중 상기 현재 추정자를 중심으로 서로 마주보는 두 후보 추정자들이 각각의 후보 추정자 집합을 구성하도록 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 부호화 방법의 상기 영상 부호화 방법은, 상기 후보 추정자 범위의 소정 거리에 대한 정보 및 상기 후보 추정자 집합을 이루는 후보 추정자들의 방향에 대한 정보를 부호화 하는 단계를 더 포함할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 움직임 예측을 이용한 복호화 방법은, 수신된 영상 비트스트림으로부터 영상 데이터, 움직임 벡터 및 움직임 예측을 위한 추정자 정보를 추출하는 단계; 상기 추정자 정보를 이용하여 참조 프레임 상의 참조 추정자를 결정하는 단계; 상기 참조 추정자에 대응되는 참조 블록, 상기 추출된 영상 데이터 및 상기 움직임 벡터를 이용하여 상기 현재 프레임에 대한 움직임 예측을 수행하는 단계; 및 상기 움직임 예측 결과에 기초하여 상기 현재 프레임을 복원하는 단계를 포함하고, 상기 참조 추정자는, 상기 현재 블록에 대응되는 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 이용하여 결정된 가설 추정자들 중 가장 작은 오차율을 가진다.
일 실시예에 따른 영상 복호화 방법의 상기 참조 추정자 결정 단계는, 상기 추정자 정보로부터 위치 정보를 추출하는 단계; 및 상기 참조 프레임 상의 상기 위치 정보에 위치하는 추정자를 상기 참조 추정자로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 복호화 방법의 상기 참조 추정자 결정 단계는, 상기 추정자 정보로부터, 거리 정보 및 방향 정보를 추출하는 단계; 상기 거리 정보를 이용하여, 상기 참조 프레임 상의 상기 현재 추정자로부터 상기 거리 정보에 따른 소정 거리에 배치되는 후보 추정자 범위를 결정하는 단계; 상기 방향 정보를 이용하여, 상기 후보 추정자 범위 중 상기 방향 정보에 따른 방향에 위치하는 후보 추정자들을 결정하는 단계; 및 상기 결정된 후보 추정자들을 이용하여 상기 최초 오차 추정자를 결정하는 단계를 포함할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 움직임 예측을 이용한 부호화 장치는, 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정하는 후보 추정자 집합 결정부; 각각의 상기 후보 추정자 집합의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정하는 참조 추정자 결정부; 상기 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여, 현재 프레임에 대한 움직임 예측을 수행하는 움직임 예측 수행부; 및 상기 움직임 예측 수행 결과에 기초하여 상기 현재 프레임을 포함하는 영상 데이터를 부호화하는 부호화부를 포함한다.
일 실시예에 따른 영상 부호화 장치의 상기 참조 추정자 결정부는, 상기 후보 추정자 집합마다 결정된 가설 추정자들을 포함하는 가설 추정자 리스트를 생성하고, 상기 생성된 가설 추정자 리스트의 가설 추정자의 오차율에 기초하여 참조 추정자를 결정하는 참조 추정자를 결정할 수 있다.
일 실시예에 따른 영상 부호화 장치의 상기 부호화부는, 상기 결정된 참조 추정자의 인덱스를 부호화하는 추정자 인덱스 부호화부를 포함할 수 있다.
일 실시예에 따른 영상 부호화 장치의 상기 부호화부는, 상기 움직임 예측 수행 결과에 기초하여 상기 현재 프레임을 포함하는 영상 데이터를 부호화하고, 상기 후보 추정자 범위의 소정 거리에 대한 정보 및 상기 현재 추정자를 중심으로 하는 상기 후보 추정자 집합을 이루는 후보 추정자들의 방향에 대한 정보를 부호화할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 움직임 예측을 이용한 복호화 장치는, 수신된 영상 비트스트림으로부터 영상 데이터, 움직임 벡터 및 움직임 예측을 위한 추정자 정보를 추출하는 데이터 추출부; 상기 추정자 정보를 이용하여 참조 프레임 상의 참조 추정자를 결정하는 참조 추정자 결정부; 상기 참조 추정자에 대응되는 참조 블록, 상기 추출된 영상 데이터 및 상기 움직임 벡터를 이용하여 상기 현재 프레임에 대한 움직임 예측을 수행하는 움직임 예측 수행부; 및 상기 움직임 예측 결과에 기초하여 상기 현재 프레임을 복원하는 영상 복원부를 포함하고, 상기 참조 추정자는, 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 이용하여 결정된 가설 추정자들 중 가장 작은 오차율을 가진다.
일 실시예에 따른 영상 복호화 장치의 상기 참조 추정자 결정부는, 상기 추정자 정보로부터 위치 정보를 추출하고, 상기 참조 프레임 상의 상기 위치 정보에 위치하는 추정자를 상기 참조 추정자로 결정할 수 있다.
일 실시예에 따른 영상 복호화 장치의 상기 참조 추정자 결정부는, 상기 추정자 정보로부터, 거리 정보 및 방향 정보를 추출하고, 상기 거리 정보를 이용하여, 상기 참조 프레임 상의 상기 현재 추정자로부터 상기 거리 정보에 따른 소정 거리에 배치되는 후보 추정자 범위를 결정하고, 상기 방향 정보를 이용하여, 상기 후보 추정자 범위 중 상기 방향 정보에 따른 방향에 위치하는 후보 추정자들을 결정하고, 상기 결정된 후보 추정자들을 이용하여 상기 최초 오차 추정자를 결정할 수 있다.
본 발명은, 본 발명의 일 실시예에 따른 영상 부호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
또한 본 발명은, 본 발명의 일 실시예에 따른 영상 복호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터 판독 가능한 기록 매체를 포함한다.
본 발명에 따른 움직임 예측을 이용한 부호화 방법 및 장치는 복수 개의 블록 또는 추정자를 조합함으로써 효과적이고 정확하게 움직임 예측을 할 수 있다. 또한, 복수 개의 참조 블록 또는 추정자를 나타내는 정보가 단순화되므로 압축률 및 통신 효율이 향상된다.
움직임 예측을 이용한 부호화 방법 및 장치는, 수신된 데이터스트림으로부터 최소 오차를 갖는 참조 블록에 대한 정보를 추출하여, 정확하고 효율적인 움직임 예측을 함으로써 화면 간 예측의 성능을 향상시킬 수 있다.
본 발명의 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 움직임 예측을 이용한 복호화 방법 및 장치는 시간적 예측에 기반한 비디오 코덱 및 이 코덱을 사용하는 핸드폰, 캠코더, 디지털 카메라, 멀티미디어 플레이어, 차세대 디브이디, 소프트웨어 비디오 코덱 등에 사용될 수 있다.
도 1a 은 H.264/AVC 에서 P 픽처를 이용한 움직임 예측을 도시한다.
도 1b 는 H.264/AVC 에서 B 픽처를 이용한 움직임 예측을 도시한다.
도 2a 는 본 발명의 일 실시예에 따른 영상 부호화 장치의 블록도를 도시한다.
도 2b 는 본 발명의 일 실시예에 따른 영상 복호화 장치의 블록도를 도시한다.
도 3 은 화소 단위에 따른 추정자들을 도시한다.
도 4 는 후보 추정자 범위의 일 실시예를 도시한다.
도 5 는 후보 추정자 집합의 일 실시예를 도시한다.
도 6 은 후보 추정자 집합의 다른 실시예를 도시한다.
도 7 은 후보 추정자 범위 및 후보 추정자 집합 결정 방법에 대해 설정된 코드의 일 실시예를 도시한다.
도 8 은 정수 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
도 9 는 1/2 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
도 10 은 1/4 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
도 11a 은 본 발명의 일 실시예에 따른 영상 부호화 방법의 흐름도를 도시한다.
도 11b 은 본 발명의 일 실시예에 따른 영상 복호화 방법의 흐름도를 도시한다.
도 2a 는 본 발명의 일 실시예에 따른 영상 부호화 장치의 블록도를 도시한다.
본 발명의 일 실시예에 따른 영상 부호화 장치(200)는 후보 추정자 집합 결정부(210), 참조 추정자 결정부(220), 움직임 예측 수행부(230) 및 부호화부(240)를 포함한다.
후보 추정자 집합 결정부(210)는 멀티 가설 예측 장치(200)로 입력된 참조 프레임에서, 현재 블록에 대응되는 참조 프레임 상의 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정하고, 결정된 후보 추정자 집합을 참조 추정자 결정부(220)로 출력한다.
본 발명에서 추정자는 움직임 예측을 위한 블록 또는 픽셀들을 대표하는 위치의 픽셀을 의미할 수 있다. 즉, 참조 데이터를 찾기 위한 탐색점이다. 또한, 추정자는 부호화 또는 복호화될 현재 프레임의 현재 블록에 대한 참조 프레임 상에 존재한다.
후보 추정자 집합 결정부(210)는 현재 추정자를 위한 참조 추정자를 결정하기 위해, 영상 복호화 장치(200)로 입력된 참조 프레임에서 복수 개의 후보 추정자들을 포함하는 후보 추정자 범위를 결정한다. 후보 추정자 범위는 참조 프레임 상의 현재 추정자 및 현재 추정자로부터 소정 거리에 위치한 추정자들을 포함할 수 있다. 예를 들어, 후보 추정자 범위는 현재 추정자로부터 1/4 화소 단위, 1/2 화소 단위, 정수 화소 단위만큼 떨어진 위치의 추정자들을 포함하는 범위 중 적어도 하나로 결정할 수 있다.
후보 추정자 집합 결정부(210)는 결정된 후보 추정자 범위 내의 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합을 결정한다. 즉, 하나의 후보 추정자 집합에는 적어도 하나의 후보 추정자가 포함될 수 있으며, 그러한 후보 추정자가 하나 이상 있을 수 있다.
추정자 범위 내에서 후보 추정자 집합의 일 실시예는 후보 추정자 범위 중 한 후보 추정자를 포함하는 집합, 두 후보 추정자들을 포함하는 집합, 세 후보 추정자들을 포함하는 집합을 모두 포함할 수도 있다. 또한, 후보 추정자 집합은 한 후보 추정자의 집합만으로 구성될 수 있으며, 한 후보 추정자의 집합부터 N 개의 후보 추정자들을 포함하는 집합까지 모든 경우의 추정자 집합이 있을 수 있다. 이 때, N은 후보 추정자 범위 내의 총 후보 추정자 수보다 작거나 같다.
영상 부호화 장치(200)의 참조 추정자 결정부(220)는 후보 추정자 집합 결정부(210)로부터 후보 추정자 집합을 입력받아, 후보 추정자 집합의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정하고, 결정된 참조 추정자를 영상 부호화 장치(200)의 움직임 예측 수행부(230)로 출력한다.
영상 부호화 장치(200)의 참조 추정자 결정부(220)는 후보 추정자 집합마다, 각각의 후보 추정자 집합 내의 후보 추정자를 이용하여 가설 추정자를 결정한다. 후보 추정자 집합에 대한 가설 추정자는 해당 후보 추정자 집합 내의 후보 추정자의 평균 값일 수 있다.
영상 부호화 장치(200)의 참조 추정자 결정부(220)의 일 실시예는 후보 추정자 집합마다 결정된 가설 추정자들을 포함하는 가설 추정자 리스트를 생성할 수 있다. 가설 추정자 리스트 상에서는, 현재 추정자를 포함하는 후보 추정자 집합의 가설 추정자가, 현재 추정자를 포함하지 않는 후보 추정자 집합의 가설 추정자에 비해 높은 순위에 위치할 수 있다. 또한, 후보 추정자의 개수가 적은 후보 추정자 집합의 가설 추정자가 후보 추정자의 개수가 많은 후보 추정자 집합의 가설 추정자보다 높은 순위에 위치할 수 있다.
영상 부호화 장치(200)의 참조 추정자 결정부(220)는 가설 추정자들의 오차율에 기초하여 참조 추정자를 결정한다. 결정된 참조 추정자에 대응되는 블록이 현재 블록에 대한 참조 블록이 된다.
영상 부호화 장치(200)의 참조 추정자 결정부(230)는, 각각의 가설 추정자를 이용한 움직임 예측 결과에 대한 평균 제곱 오차(Mean Squared Error, MSE)를 구하고, 평균 제곱 오차를 비교하여 가장 작은 평균 제곱 오차를 갖는 가설 추정자를 참조 추정자로 결정한다.
영상 부호화 장치(200)의 움직임 예측 수행부(230)는 참조 추정자 결정부(220)로부터 참조 추정자 정보를 입력받고, 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여, 현재 프레임에 대한 움직임 예측을 수행한다.
부호화부(240)는 움직임 예측 수행부(230)의 움직임 예측 수행 결과에 기초하여 현재 프레임을 포함하는 영상 데이터를 부호화한다. 부호화부(240)의 일 실시예는 참조 추정자 결정부(220)로부터 입력된 참조 추정자의 위치 정보를 나타내는 인덱스를 부호화할 수도 있다. 또한, 후보 추정자 집합 결정부(210)로부터 입력된 후보 추정자 범위의 거리 정보, 후보 추정자 집합의 방향 정보 중 적어도 하나가 부호화될 수도 있다.
도 2b 는 본 발명의 일 실시예에 따른 영상 복호화 장치의 블록도를 도시한다.
본 발명의 일 실시예에 따른 영상 복호화 장치(250)는 데이터 추출부(260), 참조 추정자 결정부(270), 움직임 예측 수행부(280) 및 영상 복원부(290)를 포함한다.
데이터 추출부(260)는 수신된 영상 비트스트림으로부터 영상 데이터, 움직임 벡터 및 움직임 예측을 위한 추정자 정보를 추출하고, 참조 추정자 결정부(270) 및 움직임 예측 수행부(280)로 출력한다. 추정자 정보는 최소 오차 추정자의 인덱스 정보, 후보 추정자 범위의 거리 정보, 후보 추정자 집합의 방향 정보 중 적어도 하나일 수 있다.
영상 복호화 장치(250)의 참조 추정자 결정부(270)는 추정자 정보를 이용하여 현재 블록에 대한 참조 추정자를 참조 프레임에서 결정한다. 참조 추정자는, 현재 블록에 대응되는 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 이용하여 결정된 가설 추정자들 중 가장 작은 오차율을 갖는 가설 추정자이다.
추정자 정보가 거리 정보, 방향 정보를 포함하는 경우, 참조 추정자 결정부(270)는 거리 정보를 이용하여, 현재 추정자로부터 거리 정보에 따른 소정 거리에 배치되는 후보 추정자 범위를 결정하고, 방향 정보를 이용하여, 후보 추정자 범위 중 방향 정보에 따른 방향에 위치하는 후보 추정자들을 결정할 수 있다. 결정된 후보 추정자들을 이용하여 최초 오차 추정자가 결정될 수 있다.
추정자 정보로부터 위치 정보가 추출된다면, 참조 추정자 결정부(270)는 상기 위치 정보에 위치되는 추정자를 상기 참조 추정자로 결정할 수 있다.
영상 복호화 장치(250)의 움직임 예측 수행부(280)는 참조 추정자에 대응되는 참조 블록, 추출된 영상 데이터 및 움직임 벡터를 이용하여 현재 프레임에 대한 움직임 예측을 수행한다.
또한, 복원부(290)는 예측 결과에 기초하여 현재 프레임을 복원하고, 전체 영상을 복호화한다.
도 3 은 화소 단위에 따른 추정자들을 도시한다.
후보 추정자 집합 결정부(210)가 후보 추정자 범위에 포함시킬 현재 추정자(300)에 대한 후보 추정자의 후보는, 참조 프레임 상에서 현재 추정자(300)로부터 정수 화소 단위의 거리에 위치한 추정자들(312, 313, 314, 315), 1/2 화소 단위의 거리에 위치한 추정자들(322, 324, 326, 328), 1/4 화소 단위의 거리에 위치한 추정자들(331, 332, 333, 334, 335, 336, 337, 338, 339, 340, 341, 342 등) 및 현재 추정자(300)일 수 있다.
후보 추정자 범위는 현재 추정자(300)로부터 소정 거리에 위치한 추정자들을 포함한다. 예를 들어, 후보 추정자 범위는 현재 추정자(300)로부터 정수 화소 단위의 거리에 위치한 추정자들(312, 313, 314, 315)만을 포함할 수 있다. 또한, 정수 화소 단위의 거리에 위치한 추정자들(312, 313, 314, 315), 1/2 화소 단위의 거리에 위치한 추정자들(322, 324, 326, 328), 1/4 화소 단위의 거리에 위치한 추정자들(331, 332, 333, 334, 335, 336, 337, 338, 339, 340, 341, 342 등)을 모두 포함할 수도 있다. 또한, 동일 거리의 추정자들 중에서 일부 추정자만이 후보 추정자 범위로 선택될 수도 있다.
도 3 에 도시된 후보 추정자 범위는 현재 추정자(300)로부터 1/4 화소 단위 거리에 위치하면서 현재 추정자(300)를 둘러싼 추정자들(335, 336, 337, 338, 339, 340, 341, 342) 및 현재 추정자의 추정자(300)를 포함한다.
도 4 는 후보 추정자 범위의 일 실시예를 도시한다.
도 4 에 도시된 후보 추정자 범위의 일 실시예는 현재 추정자(400) 및 현재 추정자(400)를 둘러싼 8개의 추정자들(410, 420, 430, 440 450, 460, 470, 480)을 포함한다. 추정자들 사이의 거리는 1/4 화소 단위, 1/2 화소 단위, 정수 화소 단위로 조절될 수 있다.
도 4 에 도시된 후보 추정자 범위의 거리가 1/4 화소 단위라면, 후보 추정자 범위의 추정자들은 현재 추정자(400)의 1/4 화소 단위 거리의 추정자들 중 현재 추정자(400)를 둘러 싼 추정자들(410, 420, 430, 440 450, 460, 470, 480) 및 현재 추정자(400)이다.
도 4 에 도시된 후보 추정자 범위의 거리가 1/2 화소 단위라면, 현재 추정자(400) 및 현재 추정자로부터 정수 화소 단위 거리의 추정자들(410, 420, 430, 440) 및 1/2 화소 단위 거리의 추정자들(450, 460, 470, 480) 및 현재 추정자(400)가 후보 추정자 범위에 포함된다.
도 5 는 후보 추정자 집합의 일 실시예를 도시한다.
후보 추정자 집합 결정부(210)는 후보 추정자 범위 내의 적어도 하나의 후보 추정자를 포함하는 후보 추정자 집합를 하나 이상 결정한다. 도 5 를 참조하면 후보 추정자 범위는, 현재 추정자(526)를 둘러싼 1/4 화소 단위의 거리에 위치한 추정자들(502, 506, 510, 522, 530, 542, 546, 550) 및 현재 추정자(526)까지 9개의 추정자들을 포함한다.
하나의 후보 추정자 집합은 후보 추정자 범위 중 N 개의 후보 추정자를 포함한다. N은 후보 추정자 범위 내의 총 후보 추정자 개수이다. 예를 들어, 도 5의 후보 추정자 범위에서는, 두 추정자(510, 522)를 포함하는 후보 추정자 집합(580)이 있을 수 있다. 후보 추정자 집합들이 포함하고 있는 모든 후보 추정자들이 동일하지 않다면, 서로 다른 후보 추정자 집합이다.
한 후보 추정자 범위에서 생성될 수 있는 후보 추정자 집합의 일 실시예는, 후보 추정자 범위 중 한 후보 추정자를 포함하는 집합부터, 후보 추정자 범위 중 n 개의 후보 추정자를 포함하는 집합까지를 모두 포함할 수도 있다(이 때, n 은 1보다 크고 N보다 작거나 같은 정수). 예를 들어, N = 9이고 n = 3이면, 후보 추정자 집합은, 후보 추정자 범위 중 한 개의 후보 추정자를 포함하는 집합들, 후보 추정자 범위 중 두 개의 후보 추정자들을 포함하는 집합들, 후보 추정자 범위 중 세 개의 후보 추정자들을 포함하는 집합들을 포함할 수 있다.
부호화 장치(200)의 참조 추정자 결정부(220)는 각각의 후보 추정자 집합 내의 후보 추정자를 이용하여 가설 추정자를 결정한다. 예를 들어 후보 추정자 집합 내의 후보 추정자들의 평균 위치를 가설 추정자로 결정한다. 가설 추정자 값은 후보 추정자 집합 내의 후보 추정자들의 픽셀 값의 평균이 된다. 1/4 화소 단위 거리의 두 추정자들(502, 506)의 후보 추정자 집합에 대해 결정되는 가설 추정자는, 두 추정자들(502, 506)의 평균 위치인 1/8 화소 단위 거리의 추정자(504)가 결정된다.
마찬가지로 1/4 화소 단위의 두 추정자들(530, 550)의 후보 추정자 집합(570)에 대한 가설 추정자는 1/8 화소 단위 거리에 위치한 추정자(540)로 결정되므로, 본 발명에 일 실시예에 따른 영상 부호화 장치(200) 및 영상 복호화 장치(250)는 1/4 화소 단위 예측 기반의 H.264 환경에서도 1/8 화소 단위 예측이 가능해진다.
현재 추정자(526)는 현재 추정자(526)만을 후보 추정자로써 포함하는 후보 추정자 집합에 대해서는 가설 추정자가 되지만, 두 후보 추정자들(506, 546)를 포함하는 후보 추정자 집합(560)에 대해서는 두 후보 추정자들(506, 546)의 평균 위치인 가설 추정자가 될 수도 있다. 이렇게 후보 추정자 집합 내의 후보 추정자들의 개수가 많아지면서, 소정 위치의 추정자는 재정의되고 상세화될 수도 있다.
참조 추정자 결정부(220)가 가설 추정자 리스트를 생성하는 경우, 후보 추정자 수가 적은 후보 추정자 집합에 대한 가설 추정자로부터, 후보 추정자 수가 많은 후보 추정자 집합에 대한 가설 추정자 순서로 리스트에 수록된다. 리스트 상의 순서는 현재 블록에 대한 참조 추정자 결정을 위한 우선 순위일 수 있다.
또한, 동일한 개수의 후보 추정자를 보유하는 후보 추정자 집합에 대한 가설 추정자에 대해서는, 현재 추정자를 포함하는 후보 추정자 집합에 대한 가설 추정자가, 가설 추정자 리스트 상에서 현재 추정자를 보유하지 않은 후보 추정자 집합에 대한 가설 추정자에 비해 우선 순위를 차지한다.
참조 추정자 결정부(220)는 후보 추정자 집합들에 대한 가설 추정자들의 오차율이 가장 적은 최적의 가설 추정자를 참조 추정자로 결정한다. 참조 추정자 결정부(220)의 일 실시예는 오차율을 산정하기 위해, 각각의 가설 추정자들을 이용하여 움직임 보상을 한 결과, 각각의 가설 추정자들에 대한 평균 제곱 오차(MSE)를 비교하여, 최소 평균 제곱 오차를 발생시키는 가설 추정자를 참조 추정자, 즉 참조 추정자로 결정한다. 참조 추정자가 결정되면, 참조 추정자의 위치 등의 정보를 나타내는 인덱스가 전송될 수도 있다.
도 6 은 후보 추정자 집합의 다른 실시예를 도시한다.
후보 추정자 범위 결정부(210)는, 후보 추정자 범위 내의 후보 추정자들 중 현재 추정자를 중심으로 서로 마주보는 두 후보 추정자들이 하나의 후보 추정자 집합을 구성하도록 결정할 수 있다. 이 경우 현재 추정자는 후보 추정자 집합에 포함되지 않는다.
현재 추정자를 중심으로 가로, 세로 및 양 대각선 방향으로 마주보는 두 후보 추정자들마다 각각 후보 추정자 집합을 구성하도록 결정할 수 있다. 즉, 현재 추정자를 중심으로 수직 방향으로 마주 보는 후보 추정자들을 포함하는 후보 추정자 집합(방향 1), 수평 방향으로 마주 보는 후보 추정자들을 포함하는 후보 추정자 집합(방향 2), 오른쪽이 내려간 대각선 방향으로 마주 보는 후보 추정자들을 포함하는 후보 추정자 집합(방향 3), 왼쪽이 내려간 대각선 방향으로 마주 보는 후보 추정자들을 포함하는 후보 추정자 집합(방향 4)이 있을 수 있다.
도 7 은 후보 추정자 범위 및 후보 추정자 집합 결정 방법에 대해 설정된 코드의 일 실시예를 도시한다.
영상 부호화 장치(200)는 후보 추정자 범위 및 후보 추정자 집합 결정 방법에 대한 정보를 부호화할 수 있다. 영상 복호화 장치(250)는 후보 추정자 범위 및 후보 추정자 결정 방법에 대한 정보를 복호화함으로써, 참조 추정자에 대한 정보를 획득할 수 있다.
이하 후보 추정자 범위 및 후보 추정자 집합 결정 방법을, 도 6 에서 도시된 후보 추정자 범위 및 후보 추정자 집합을 참조하여 기술된다. 후보 추정자 범위는, 현재 추정자를 둘러싼 추정자 사이의 거리에 의해 정의될 수 있다. 예로 들면, 거리가 1/2 화소 단위라고 하면 현재 추정자를 둘러싼 정수 화소 단위의 추정자들 및 1/2 화소 단위의 추정자들이 후보 추정자 범위에 해당된다. 도 3 의 추정자 번호를 이용하여 설명하면, 정수 화소 단위의 추정자들(312, 313, 314, 315) 및 1/2 화소 단위의 추정자들(322, 324, 326, 328)이 후보 추정자 범위를 포함한다.
또한, 거리가 1/4 화소 단위라 하면, 현재 추정자로부터 1/4 화소 단위의 거리에 위치한 추정자들 중 현재 추정자를 둘러싼 추정자들이 후보 추정자 범위에 해당된다. 도 3 에서, 1/4 화소 단위의 추정자들(335, 336, 337, 338, 339, 340, 341, 342)이 후보 추정자 범위를 구성한다.
후보 추정자 집합은, 도 6 과 같이 후보 추정자 집합의 결정 방법이 제한되어 있다면, 후보 추정자 집합들이 현재 추정자를 중심으로 서로 마주 보는 방향에 따라 정의될 수 있다. 즉, 방향 1, 방향 2, 방향 3, 방향 4로 후보 추정자 집합이 정의될 수 있다.
전술한 바와 같이, 후보 추정자 범위의 거리와 후보 추정자 집합의 결정 방법에 대한 정보를 미리 부호화하면 그 유용성이 높아진다. 움직임 예측을 이용한 영상 부호화 장치(200)의 일 실시예는 현재 추정자로부터 후보 추정자 범위 내의 후보 추정자들까지의 소정 거리에 대한 정보를 거리 코드로 설정하는 거리 코드 설정부, 현재 추정자 중심으로 하는 후보 추정자 집합을 이루는 후보 추정자들의 방향의 종류에 정보를 방향 코드로 설정하는 방향 코드 설정부, 및 거리 코드 및 방향 코드를 출력하는 코드 출력부를 포함할 수 있다.
거리 코드 설정부는, 1/4 화소 거리를 거리 코드 0으로, 1/2 화소 거리를 거리 코드 1로 설정한다. 방향 코드 설정부는, 도 7 과 같이, 방향 1을 방향 코드 100, 방향 2를 방향 코드 101, 방향 3을 방향 코드 110, 방향 4를 방향 코드 111로 설정한다. 또한, 복수 개의 가설 추정자를 이용하지 않는 경우를 대비하여, 방향 코드 0을 설정한다. 단, 거리 코드 설정부는 방향 코드 0 이 아닌 경우에만 거리 코드를 설정한다.
각각의 코드에 따라 후보 추정자 집합이 결정되므로, 영상 부호화 장치(200)에 의해 결정된 참조 추정자를 나타내는 방향 코드 및 거리 코드를 전송하면, 영상 복호화 장치(250)는 수신된 방향 코드 및 거리 코드만으로 참조 추정자를 알 수 있다.
도 8 은 정수 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
후보 추정자 범위가 정수 화소 단위로 결정된 경우, 추정자 X 는 구하기 위한 과정은 다음과 같다.
한 단위 거리의 이웃 추정자를 이용하는 경우에는, 추정자 X 는 X = ( M + N ) / 2 로 결정된다. 추정자 M 은 M = ( H0 + c ) / 2 로 결정되고, 추정자 N 은 N = ( H1 + c ) / 2 로 결정되므로, 추정자 X 는 X = ( M + N ) / 2 = ( H0 + 2c + H1 ) / 2 로 결정된다. H.264의 6 탭 필터 보간에 의해 추정자 H0 는 H0 = ( l - 5a + 20b + 20c - 5d + e ) / 32이고, 추정자 H1 는 H1 = ( a - 5b + 20c + 20d - 5e + f ) / 32 이다. 따라서, 추정자 X 는 X = ( H0 + 2c + H1 ) / 2 = ( l - 4a + 15b + 104c + 15d - 4e + f ) / 64 로 결정된다. 추정자 X 는 정수 화소 단위의 추정자들에 대한 7 탭 필터로 필터링 처리로 결정되는 효과가 발생한다.
두 단위 거리의 이웃 추정자를 이용하는 경우, 추정자 X 는 X = ( H0 + H1 ) / 2 로 결정되며, 전술된 추정자 H0 및 추정자 H1의 결정식을 대입하면 추정자 X 는 X = ( l - 4a + 15b + 40c + 15d - 4e + f ) / 64 로 결정된다. 이 경우도 정수 화소 단위의 추정자들에 대한 7 탭 필터로 필터링 처리로 추정자 X 가 결정되는 효과가 발생한다.
따라서, 본 발명의 멀티 가설 예측 방법에 의하면, H.264의 고정적인 6 탭 필터링 또는 보간이 아닌, 상황에 따라 다양한 필터링 결과를 얻을 수 있다.
도 9 는 1/2 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
후보 추정자 범위가 1/2 화소 단위로 결정된 경우, 추정자 X 는 구하기 위한 과정은 다음과 같다.
한 단위 거리의 이웃 추정자를 이용하는 경우에는, 추정자 X 는 X = ( M + N ) / 2 로 결정된다. 추정자 M은 M = ( c + H ) / 2 로 결정되고, 추정자 N은 N = ( d + H ) / 2 로 결정되므로, 추정자 X 는 X = ( M + N ) / 2 = ( c + 2H + d ) / 2 이다. 추정자 H 는 H.264의 6 탭 필터링에 의해 H = ( a - 5b + 20c + 20d - 5e + f + 16 ) / 32 로 결정되므로, 추정자 X 는 정수 화소 단위 추정자들인 추정자 c, 추정자 d, 추정자 H 에 대한 1:2:1 필터링이 수행되는 효과가 발생된다.
또한, 두 단위 거리의 이웃 추정자를 이용하는 경우, 추정자 X 는 X = ( c + d ) / 2 로 결정되므로, 추정자 c 및 추정자 d 에 대한 겹선형 필터링을 통해 추정자 X 가 결정될 수 있다.
따라서, 정수 화소 단위의 추정자에 대한 고정적인 6 탭 필터링이 아닌 다양한 필터링이 수행되는 효과가 발생된다.
도 10 은 1/4 화소 단위의 후보 추정자 범위가 사용되는 실시예를 도시한다.
후보 추정자 범위가 1/4 화소 단위로 결정된 경우, 추정자 X 는 구하기 위한 과정은 다음과 같다.
한 단위 거리의 이웃 추정자를 이용하는 경우에는, 추정자 X 는 X = ( c + H1 ) / 2 로 결정된다. 이는 H.264 에서 1/4 화소 단위 추정자를 결정하기 위한 겹선형 필터링과 동일한 결과이다.
또한, 두 단위 거리의 이웃 추정자를 이용하는 경우, 추정자 M은 M = ( c + H0 ) / 2 으로 결정되고, 추정자 N은 N = ( d + H1 ) / 2로 결정되므로, 추정자 X 는 X = ( M + N ) / 2 = ( H0 + c + H1 + d ) / 4 로 결정된다. 따라서, 전술된 H.264 에서의 추정자 H0 및 추정자 H1에 대한 결정식을 이용하면, 추정자 X 는 X = ( M + N ) / 2 = ( l - 4a + 15b + 72c + 47d - 4e + f ) / 64 로 결정되고, 정수 화소 단위의 추정자들에 대한 7 탭 필터링의 결과가 발생된다. 다양한 필터링이 수행되는 효과가 발생된다.
도 11a 은 본 발명의 일 실시예에 따른 영상 부호화 방법의 흐름도를 도시한다.
단계 1110에서, 현재 블록에 대응되는 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 포함하는 적어도 하나의 후보 추정자 집합이 참조 프레임에서 결정된다.
단계 1120에서, 각각의 후보 추정자 집합의 후보 추정자를 이용하여 결정된 가설 추정자들의 오차율에 기초하여 참조 추정자가 결정된다. 후보 추정자 집합마다 결정된 가설 추정자들을 포함하는 가설 추정자 리스트가 생성될 수 있다. 가설 추정자는 각각의 후보 추정자 집합 내의 후보 추정자의 평균 값으로 결정될 수 있다.
각각의 가설 추정자를 이용한 움직임 예측 결과에 대한 평균 제곱 오차를 비교하여, 가장 작은 평균 제곱 오차를 갖는 가설 추정자가 참조 추정자로 결정될 수 있다.
단계 1130에서, 참조 추정자에 대응되는 참조 블록 및 현재 블록을 이용하여, 현재 프레임에 대한 움직임 예측이 수행된다.
단계 1140에서, 움직임 예측 수행 결과에 기초하여 현재 프레임을 포함하는 영상 데이터가 부호화된다. 참조 추정자의 인덱스가 부호화되어 전송될 수 있다. 후보 추정자 범위의 거리 정보, 후보 추정자 집합의 방향 정보가 부호화되어 전송될 수도 있다.
도 11b 은 본 발명의 일 실시예에 따른 영상 복호화 방법의 흐름도를 도시한다.
단계 1160에서, 수신된 영상 비트스트림으로부터 영상 데이터, 움직임 벡터 및 움직임 예측을 위한 추정자 정보가 추출된다. 추정자 정보는 참조 추정자에 대한 위치 정보일 수 있다. 또한, 추정자 정보는 참조 추정자를 결정하기 위한 후보 추정자 범위의 거리 정보 및 후보 추정자 집합의 방향 정보 중 적어도 하나일 수 있다.
단계 1170에서, 추정자 정보를 이용하여 현재 블록에 대한 참조 추정자가 결정된다. 참조 추정자는, 현재 블록에 대응되는 현재 추정자를 중심으로 하는 후보 추정자 범위 중 적어도 하나의 후보 추정자를 이용하여 결정된 가설 추정자들 중 가장 작은 오차율을 갖는 추정자로 결정된다.
단계 1180에서, 참조 추정자에 대응되는 참조 블록, 추출된 영상 데이터 및 움직임 벡터를 이용하여 현재 프레임에 대한 움직임 예측이 수행된다.
단계 1190에서, 움직임 예측 결과에 기초하여 현재 프레임이 복원된다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (8)

  1. 움직임 예측을 이용한 복호화 방법에 있어서,
    비트스트림으로부터 추정자 정보 및 영상 데이터를 획득하는 단계;
    현재 프레임 상의 현재 블록에 대응되는 참조 프레임 상의 현재 추정자의 위치로부터 상기 참조 프레임 내에서 소정거리 이격되어 위치하는 복수의 후보 추정자를 상기 추정자 정보를 이용하여 결정하는 단계; 및
    상기 복수의 후보 추정자의 위치에 대응되는 상기 참조 프레임의 복수의 참조 블록 및 상기 영상 데이터를 이용하여 현재 블록에 대한 움직임 예측을 수행하는 단계를 포함하고,
    상기 현재 추정자와 상기 복수의 후보 추정자는 동일한 참조 프레임에 위치하며,
    상기 추정자 정보에 기반하여, 상기 현재 추정자의 위치를 기준으로 상기 참조 프레임 내에서 후보 추정자가 위치한 방향을 나타내는 추정자 방향 정보 및 상기 현재 추정자의 위치를 기준으로 상기 참조 프레임 내에서 후보 추정자가 위치한 거리를 나타내는 추정자 거리 정보가 결정되고,
    상기 복수의 후보 추정자는 제 1 후보 추정자 및 제 2 후보 추정자를 포함하고,
    상기 제 1 후보 추정자 및 상기 제 2 후보 추정자는 상기 참조 프레임 상의 현재 추정자의 위치로부터 상기 참조 프레임 내에서 상기 추정자 방향 정보에 기초한 방향으로 상기 추정자 거리 정보에 기초한 거리에 위치하며,
    상기 제 1 후보 추정자와 상기 제 2 후보 추정자는 상기 참조 프레임 내에서 상기 현재 추정자 위치를 중심으로 서로 반대되는 방향으로 상기 현재 추정자 위치로부터 서로 같은 거리에 위치하는 것을 특징으로 하는 영상 복호화 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 움직임 예측을 이용한 복호화 장치에 있어서,
    비트스트림으로부터 추정자 정보 및 영상 데이터를 획득하는 데이터 추출부;
    현재 프레임 상의 현재 블록에 대응되는 참조 프레임 상의 현재 추정자의 위치로부터 상기 참조 프레임 내에서 소정거리 이격되어 위치하는 복수의 후보 추정자를 상기 추정자 정보를 이용하여 결정하는 추정자 결정부; 및
    상기 복수의 후보 추정자의 위치에 대응되는 상기 참조 프레임의 복수의 참조 블록 및 상기 영상 데이터를 이용하여 현재 블록에 대한 움직임 예측을 수행하는 움직임 예측 수행부를 포함하고,
    상기 현재 추정자와 상기 복수의 후보 추정자는 동일한 참조 프레임에 위치하며,
    상기 추정자 결정부는, 상기 추정자 정보에 기반하여, 상기 현재 추정자의 위치를 기준으로 상기 참조 프레임 내에서 후보 추정자가 위치한 방향을 나타내는 추정자 방향 정보 및 상기 현재 추정자의 위치를 기준으로 상기 참조 프레임 내에서 후보 추정자가 위치한 거리를 나타내는 추정자 거리 정보를 결정하고,
    상기 복수의 후보 추정자는 제 1 후보 추정자 및 제 2 후보 추정자를 포함하고,
    상기 제 1 후보 추정자 및 상기 제 2 후보 추정자는 상기 참조 프레임 상의 현재 추정자의 위치로부터 상기 참조 프레임 내에서 상기 추정자 방향 정보에 기초한 방향으로 상기 추정자 거리 정보에 기초한 거리에 위치하며,
    상기 제 1 후보 추정자와 상기 제 2 후보 추정자는 상기 참조 프레임 내에서 상기 현재 추정자 위치를 중심으로 서로 반대되는 방향으로 상기 현재 추정자 위치로부터 서로 같은 거리에 위치하는 것을 특징으로 하는 영상 복호화 장치.
  6. 삭제
  7. 삭제
  8. 삭제
KR1020140146432A 2014-10-27 2014-10-27 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치 KR101590875B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140146432A KR101590875B1 (ko) 2014-10-27 2014-10-27 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140146432A KR101590875B1 (ko) 2014-10-27 2014-10-27 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020080019642A Division KR20090094595A (ko) 2008-03-03 2008-03-03 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020150124951A Division KR101650056B1 (ko) 2015-09-03 2015-09-03 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140142192A KR20140142192A (ko) 2014-12-11
KR101590875B1 true KR101590875B1 (ko) 2016-02-04

Family

ID=52459844

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140146432A KR101590875B1 (ko) 2014-10-27 2014-10-27 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101590875B1 (ko)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
(FLIERL et al., "Generalized B Pictures and the Draft H.264/AVC Video Compression Standard", IEEE CSVT Vol 13, No. 7, 2003.07.01*

Also Published As

Publication number Publication date
KR20140142192A (ko) 2014-12-11

Similar Documents

Publication Publication Date Title
TWI717586B (zh) 於視訊解碼器中導出運動向量資訊
KR20090094595A (ko) 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치
CN112954332B (zh) 一种编解码方法、装置及其设备
JP2019080321A (ja) ビデオコーディングのための適応的な動きベクトル分解シグナリング
TWI653878B (zh) 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體
TW201742465A (zh) 用於視訊寫碼之仿射運動預測
CN110809887A (zh) 用于多参考预测的运动矢量修正
TW201924345A (zh) 寫碼用於視頻寫碼之仿射預測移動資訊
KR20210094664A (ko) 비디오 인코딩/디코딩 시스템의 사이드 모션 정교화
JP2015111774A (ja) 映像符号化装置及び映像符号化プログラム
KR101650056B1 (ko) 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치
KR101590875B1 (ko) 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및 장치, 그리고 복수 참조에 의한 움직임 예측을 이용한 복호화 방법 및 장치
JP2014007488A (ja) 動画像符号化装置、動画像符号化方法、及びプログラム
CN116684578A (zh) 基于控制点运动矢量的仿射模型优化
JP2008028882A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
A107 Divisional application of patent
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
FPAY Annual fee payment

Payment date: 20181227

Year of fee payment: 4