KR100751423B1

KR100751423B1 - 움직임 추정을 위한 고속의 블록 모드 결정 방법 및 그장치

Info

Publication number: KR100751423B1
Application number: KR1020050045514A
Authority: KR
Inventors: 석진욱; 손용기; 김범호; 마평수
Original assignee: 한국전자통신연구원
Priority date: 2004-11-24
Filing date: 2005-05-30
Publication date: 2007-08-23
Also published as: KR20060057993A

Abstract

본 발명은 동영상 부호화에 있어서, 움직임 추정(motion estimation)을 위한 고속의 블록 모드 결정 방법 및 그 장치에 관한 것이다.

본 발명에 따른 움직임 추정 방법은 입력된 영상 프레임에 대한 움직임 추정에 따르는 코스트를 칼만 필터링을 통하여 예측하고, 움직임 추정에 이용되는 다수의 블록 모드 중 하나의 블록 모드를 선택하여 상기 입력된 영상 프레임에 대한 움직임 추정의 코스트를 계산하여, 이 두 값을 비교함으로써 움직임 추정을 위한 블록 모드를 결정한다.

본 발명의 구성에 따르면, 동영상 부호화에 있어서 모드 전체에 대한 움직임 추정을 하지 않고 고속의 블록 모드 선택이 가능해진다.

칼만필터, 움직임 추정, 블록 모드

Description

움직임 추정을 위한 고속의 블록 모드 결정 방법 및 그 장치 {FAST DETERMINING METHOD OF BLOCK MODE, AND THE APPARATUS THEREFOR MOTION ESTIMATION}

도 1은 본 발명의 실시예에 따른 동영상 부호화 장치를 도시한 블록도이다.

도 2는 본 발명의 실시예에 따른 움직임 추정기를 도시한 블록도이다.

도 3은 본 발명의 실시예에 따른 블록 모드 결정 방법을 간략하게 도시한 흐름도이다.

도 4는 본 발명의 실시예에 따른 움직임 추정기에서의 블록 모드 결정 순서를 도시한 도면이다.

도 5는 본 발명의 실시예에 따른 블록 모드 결정 방법을 나타내는 흐름도로서, 움직임 추정을 위하여 I16×16 모드가 선택되는 과정을 도시한 흐름도이다.

도 6은 도 5에 도시된 과정을 통하여 움직임 추정을 위한 블록 모드가 선택되지 않은 경우의 블록 모드 결정 방법을 도시한 흐름도이다.

도 7은 도 6에 도시된 과정을 통하여 움직임 추정을 위한 블록 모드가 선택되지 않은 경우의 블록 모드 결정 방법을 도시한 흐름도이다.

화상회의, 고화질 텔레비전, 주문형 비디오(video on demand, VOD) 수신기, MPEG(moving picture experts group) 영상을 지원하는 퍼스널 컴퓨터, 게임기, 지상파 디지털 방송수신기, 디지털 위성 방송 수신기 및 케이블 텔레비전 등에서 사용되는 동영상 데이터는 아날로그 신호를 디지털화하는 과정에서 데이터의 양이 크게 늘어나기 때문에 적절한 압축 방식을 통하여 압축되어 이용된다. 동영상은 다수의 프레임들로 이루어지고, 영상 신호의 특성상 이웃하는 프레임 간 또는 동일 프레임 내의 이웃하는 블록 또는 화소 간에는 서로 유사성이 존재한다. 이와 같은 영상 신호의 유사성을 이용하여 영상을 예측 부호화하여 고효율의 영상 신호 압축이 수행된다.

일반적으로, 영상 데이터의 압축은 크게 세 종류의 압축 방법을 통하여 이루어지는데, ⅰ) 시간적인 중복성(temporal redundancy)을 줄이는 방법, ⅱ) 공간적인 중복성(spatial redundancy)를 줄이는 방법, ⅲ) 발생 부호의 통계적 특성을 이용하여 줄이는 방법이 이에 속한다. 이 중에서 시간적인 중복성을 줄이는 대표적인 방법이 바로 움직임 추정 및 보상 방법으로서 MPEG, H.263 등 대부분의 동영상 압축 표준안에서 채택되어 이용되고 있다.

움직임 추정 방법은 동영상 부호화에서 시간적 중복성을 제거하여 비트율(bit-rate)을 줄이는 데 큰 역할을 하며, 크게 화소 단위의 정합 기법과 블록 단위 의 정합 기법이 있다. 이 중에서 움직임은 대블록 단위로 표현하기 때문에 블록 단위의 추정방법이 널리 사용되고 있다.

블록 단위 추정방법은 영상을 일정한 크기의 블록으로 분할하고 이전 영상의 탐색 영역 내에서 현재 영상의 블록과 가장 잘 정합되는 블록을 찾는 방법으로서, 현재 블록과 탐색된 블록과의 차이인 움직임 벡터를 계산하고 이를 부호화하여 움직임 추정이 이루어진다. 두 블록간의 정합계산에는 여러 가지 정합함수들이 사용될 수 있는데 가장 일반적으로 사용되는 것은 두 블록간 화소들 차의 절대값을 모두 합한 값인 SAD(sum of absolute difference)이다.

H.264 방식의 동영상 부호화 장치는 기존의 SAD 위주의 탐색 방법 대신 율-왜곡 최적화(rate-distortion optimization)에 기반한 코스트 함수를 이용한다. 특히 H.264 방식에서는 압축 효율과 높은 화질을 동시에 얻기 위하여, 기존의 동영상 부호화에서는 16×16 대블록 혹은 8×8 대블록 단위로 부호화를 수행한 것과 달리, 모두 8 가지의 서로 다른 블록화 모드를 가지고, 각각의 블록 중에서 최소값을 갖는 모드를 선택하도록 구성되어 있다. 따라서, 다양한 크기의 가변 블록 기반 움직임 추정(variable block-based motion estimation)을 통하여 부호화 효율에 있어 많은 이득을 제공한다. 또한, H.264 방식은 1/4 화소 단위의 움직임 벡터 예측을 수행하여 더욱 정확한 움직임 추정으로 부호화 효율을 향상시킬 수 있다. 그러나 다른 부호화 방식과 비교하여 1/4 화소 탐색을 이용할 경우에는 부호화 효율을 향상시킬 수 있는 반면, 최소 16배나 많은 움직임 추정 연산을 수행하여야 하며 이것은 H.264 비디오 부호화에서 속도 저하의 중요한 요소이다.

따라서, 동영상의 부호화시 시간이 가장 많이 소요되는 움직임 추정시간을 줄이는 노력이 계속되고 있다.

본 발명이 이루고자 하는 기술적 과제는 동영상 부호화 장치에서의 움직임 추정에 있어서, 칼만 필터를 이용하여 연산량 및 계산 시간을 감소시킬 수 있는 고속의 블록 모드 결정 방법 및 그 장치를 제공하는 것이다.

이러한 과제를 해결하기 위해, 본 발명의 한 특징에 따르면, 동영상 부호화를 위한 움직임 추정 방법에 있어서, a) 입력된 영상 프레임에 대한 움직임 추정에 따르는 코스트를 예측하는 단계, b) 움직임 추정에 이용되는 다수의 블록 모드 중 하나의 블록 모드를 선택하여 상기 입력된 영상 프레임에 대하여 움직임 추정의 코스트를 계산하는 단계, c) 상기 예측된 코스트와 상기 계산된 코스트의 크기를 비교하는 단계, 및 d) 상기 계산된 코스트가 작은 경우, 해당 블록 모드를 움직임 추정을 위한 블록 모드로 결정하고, 움직임 추정을 중단하는 단계를 포함하는 움직임 추정 방법이 제공된다.

이 때, 상기 a) 단계에서의 코스트 예측은 칼만 필터링을 통하여 이루어질 수 있으며, 상기 c) 단계에서의 두 종류의 코스트 비교 결과 블록 모드가 선택되면, 해당 블록 모드에 대하여 계산된 코스트를 이용하여 칼만필터링을 수행하여 코스트 예측치를 갱신한다. 여기서, 갱신된 코스트 예측치는 이후에 입력되는 프레임의 블록 모드 결정 시에 이용할 수 있다.

본 발명의 다른 특징에 따르면, 입력된 영상 프레임에 대하여 움직임 추정에 이용되는 다수의 블록 모드 중 하나의 블록 모드를 선택하여 움직임 벡터를 추정하고, 움직임 추정시의 코스트를 계산하는 움직임 추정부, 및 적어도 하나의 칼만 필터를 포함하고, 입력된 영상 프레임의 움직임 추정에 따르는 코스트를 예측하여, 상기 움직임 추정부에서 계산된 코스트와 상기 칼만 필터로 예측된 코스트를 비교하여 움직임 추정을 위한 블록 모드를 선택하는 블록 모드 결정부를 포함하는 움직임 추정 장치가 제공된다.

여기서, 움직임 추정부는 입력된 영상 프레임에 대하여 정화소 단위의 움직임 벡터를 추정하는 정화소 추정모듈, 및 상기 정화소 단위의 움직임 벡터를 기초로 하여 반화소 또는 1/4 화소 단위의 움직임 벡터를 추정하는 부화소 추정모듈을 포함할 수 있다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 본 발명의 실시예에 따른 동영상 부호화 장치를 도시한 블록도이다. 도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 동영상 부호화 장치는 이산 코 사인 변환(discrete cosine transform, DCT) 연산기(110), 양자화기(120), 역양자화기(130), 역 이산 코사인 변환(inverse discrete cosine transform, IDCT) 연산기(140), 프레임 메모리(150), 움직임 보상기(160), 감산기(170), 가산기(180), 엔트로피 부호화기(190), 및 움직임 추정기(200)를 포함한다. 이 때, 도 1의 동영상 부호화 장치는 H.264 방식의 부호화 장치일 수 있으며, 이하 H.264 방식의 부호화 장치를 기초로 하여 설명한다.

매크로 블록의 단위로 입력되는 영상 프레임은 DCT 연산기(110)에서 블록 단위로 변환되고, 양자화기(120)에서 양자화된다.

양자화기(120)로부터 출력된 양자화된 영상 프레임은 역양자화기(130)와 IDCT 연산기(140)를 거쳐 복호화되고, 복호화된 데이터는 가산기(180)로 입력된다. 데이터는 복원된 후 프레임 메모리(150)에 저장되어, 움직임 추정을 위해 참조 영상으로 제공된다. 영상 프레임의 복원은 아래의 움직임 보상기(160)에 대한 설명에서 후술한다.

움직임 추정기(200)는 현재 입력되는 매크로 블록 단위의 영상 프레임에 대하여 프레임 메모리(150)에 저장된 참조 영상 중 적어도 하나의 영상을 제공받아 본 발명의 실시예에 따른 움직임 추정을 수행하여, 움직임 벡터(motion vector), 참조 영상을 나타내는 인덱스(index) 및 블록 모드를 포함한 움직임 데이터를 출력한다.

움직임 보상기(160)는 움직임 추정기(200)로부터 입력된 움직임 데이터에 따라, 프레임 메모리(150)에 저장된 참조 영상으로부터 현재 입력된 매크로 블록에 대응하는 매크로 블록을 추출하여 출력한다. 움직임 보상기(160)로부터 출력된 데이터는 가산기(180)로 입력되어, 가산기(180)의 타단에서 입력되는 복호화된 데이터를 실제의 이미지로 복원하여 프레임 메모리(150)로 전송한다.

감산기(170)는 동영상 부호화 장치로 입력된 매크로 블록에 대하여 프레임 간 예측 부호화(interframe predictive coding)가 이루어지는 경우, 움직임 보상기(160)로부터 입력 매크로 블록에 대응하는 참조 영상 내의 매크로 블록을 입력받아 입력 매크로 블록과의 차분 연산을 수행하여 잔차 신호(residual signal)을 출력한다. 출력된 잔차 신호는 다시 DCT 연산기(110) 및 양자화기(120)를 거쳐 변환 및 양자화되고 엔트로피 부호화기(190)에 의해 엔트로피 부호화되어 NAL(network abstraction layer) 유닛 데이터의 형태로 출력된다.

엔트로피 부호화기(190)로부터 출력된 영상 데이터는 비트 레이트를 조절하기 위하여 버퍼(미도시)에 일시 저장된 후 출력될 수 있다.

도 2는 도 1에 도시된 본 발명의 실시예에 따른 동영상 부호화 장치 중 움직임 추정기(200)를 도시한 블록도이다. 도 2에 나타낸 바와 같이, 움직임 추정기(200)는 움직임 추정부(210), 및 블록 모드 결정부(220)를 포함하며, 움직임 추정부는 정화소 추정모듈(211)과 부화소 추정모듈(212)을 포함하고, 블록 모드 결정부(220)는 각 모드별 움직임 추정에 따른 코스트의 예측치를 구하기 위한 칼만 필터(Kalman filter, 221)를 포함한다.

움직임 추정부(210)는 입력된 영상 프레임을 특정 블록 모드를 선택하여 부호화할 경우의 코스트 계산 및 이를 기초로 하여 추정된 움직임 벡터 정보를 움직 임 보상기(160)로 출력한다. 이 때, 움직임 벡터와 함께 참조 영상 프레임을 나타내는 인덱스, 움직임 벡터의 계산에 사용된 블록 모드에 대한 정보가 포함된 움직임 데이터가 움직임 보상기로 전송되지만, 이러한 정보를 움직임 벡터의 추정과 함께 얻어지는 정보이며, 본 발명의 실시예는 움직임 벡터의 추정을 위한 것이므로, 아래에서는 움직임 추정기의 '움직임 벡터 전송'이라는 기재만으로도 이외의 정보가 함께 전송되는 것으로 한다.

정화소 추정모듈(211)은 입력된 영상 프레임을 소정의 서브 블록 단위로 분할하고, 분할된 서브 블록에 대하여 참조 영상 프레임 내의 대응되는 화소 영역을 탐색하여 움직임 벡터를 추정하여 출력한다. 정화소 추정모듈(211)은 입력된 영상 데이터를 8가지 모드의 블록(skip, 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4)으로 분할하고, 분할된 영상 프레임에 대하여 각 블록 모드별로 예측 부호화를 수행하여 움직임 벡터를 추정한다.

부화소 추정모듈(212)는 정화소 추정모듈(211)에서 찾아낸 정화소의 움직임 벡터를 근거로 하여 최적의 반화소 및 1/4 화소 단위의 움직임 벡터를 추정한다.

움직임 추정부(210)에서의 움직임 추정은 기존의 SAD 위주의 탐색 방법 대신 율-왜곡 최적화(rate-distortion optimization)에 기반한 코스트 함수(cost function)를 이용하여 탐색이 수행된다. 여기서, 사용되는 코스트 함수는 SAD 값과 부호화된 계수의 개수에 라그랑지안 멀티플라이어를 곱한 값의 합으로 이루어지는 율-왜곡 코스트(rate-distortion cost)를 사용한다.

정화소 추정모듈(211)을 거쳐 부화소 추정모듈(212)에서의 블록 모드별 움직 임 추정 결과 계산된 율-왜곡 코스트는 블록 모드 결정부(220)로 전송된다.

블록 모드 결정부(220)는 입력된 영상 데이터 프레임의 움직임 추정 시에 사용할 블록 모드의 선택을 위하여, 코스트를 예측하는 수단으로서 칼만 필터(231)를 사용한다. 블록 모드 결정부(220)는 움직임 추정부(210)로부터 전송받은 특정 모드에 대하여 계산된 코스트를 칼만 필터(221)를 이용하여 예측한 코스트와 비교함으로써, 입력된 영상 프레임에 대한 최적의 블록 모드를 선택한다. 즉, 칼만 필터링을 통한 코스트 예측치가 특정 블록 모드에 대하여 계산된 코스트보다 큰 경우에는 해당 블록 모드를 움직임 추정을 위한 최적의 블록 모드로 결정하여 움직임 벡터를 계산한 후 움직임 보상을 수행한다.

도 3은 본 발명의 실시예에 따른 블록 모드 결정 방법을 간략하게 도시한 흐름도이다. 일반적으로 H.264 부호화 장치에서 움직임 추정시의 블록 모드의 결정은 부호화 장치에서 제공하는 모든 블록 모드에 대한 코스트를 각각 계산하여 이 중에서 최소의 코스트를 갖는 모드를 선택함으로써 이루어지나 이 경우에는 연산량이 폭발적으로 증가하기 때문에 고속의 부호화를 실현할 수 없게 된다. 따라서, 본 발명의 실시예에서는 각 모드에 대한 코스트의 범위를 적절히 예측하여 모드별 최소값을 구하여 블록 모드의 결정에 이용한다.

동영상 부호화 장치가 리셋되어 최초로 하나의 영상 프레임이 입력되면, 움직임 추정기(200)의 칼만필터(231)는 입력된 영상 프레임에 대하여 움직임 추정에 따르는 코스트를 예측하여 둔다(S310).

움직임 추정부(210)는 입력된 프레임에 대하여 하나의 블록 모드를 선택하여 해당 블록 모드를 이용하여 움직임 추정을 할 경우에 발생하는 코스트를 계산한다(S320).

이하, 본 발명의 실시예에 따른 특정 블록 모드에 대한 코스트 계산을 설명한다. H.264 방식에서 움직임 추정 시 사용되는 코스트 함수는 블록간의 차이에만 의존하는 함수가 아닌 DCT 변환과 양자화 계수 중 '0'이 아닌 값의 개수에 의존하는 율-왜곡 코스트에 의존한다. 이를 수식으로 나타내면 아래의 수학식 1과 같다.

수학식 1에서 X(t)는 현재 입력된 영상 프레임 내에서 움직임 추정을 위하여 선택된 화소를 의미하며, X(t-1)은 1 단위 시간 이전에 입력되었던 영상 프레임에서 X(t)와 대응되는 화소를 의미한다. M은 X(t), X(t-1)에 해당하는 선택된 하나의 블록 모드를 나타내며, λ는 라그랑지안 멀티플라이어이다. 여기서, λ는 고정된 값일 수도 있고, 해당 영상 프레임의 양자화 계수를 기초로 하여 계산되는 가변값일 수도 있다.

D는 X(t), X(t-1), M으로 구별되는 왜곡 함수(distortion function)로서 SAD(sum of absolute difference) 함수, MSE(mean square error) 함수, SATD(sum of absolute transformed difference) 함수 또는 SSD(sum of squared difference) 함수일 수 있으며, R은 율 함수(rate function)로서 DCT 변환된 값을 양자화시켰을 경우 0이 아닌 값의 개수로 정의된다. H.264의 P 블록 부호화는 율-왜곡 함수 J(X(t),X(t-1),M,λ,R)을 최소화시키는 움직임 벡터와 모드를 결정함으로써 이루어 진다.

아래의 수학식 2 내지 수학식 4는 모드별로 입력된 영상 프레임에 포함된 각 화소들을 참조 영상 또는 이전 영상의 대응되는 화소와 대비하여 계산된 코스트들 중 최소값을 계산하기 위하여 사용되며, 이를 통하여 얻어진 최소값을 각 블록 모드의 코스트로 추정한다.

수학식 2에서

는 하나의 영상 프레임에서 율-왜곡 코스트의 평균값이다. 수학식 2는 레벨 셋 기법(level set method)을 움직임 추정을 위하여 적용한 것으로서, 하나의 프레임을 구성하는 모든 화소에 대하여 특정 블록 모드를 선택하여 율-왜곡 코스트를 계산하면, 최소 율-왜곡 코스트를 비롯하여 모든 율-왜곡 코스트는 일정한 범위를 갖는 개집합 내에 포함된다.

이 때, 특정 블록 모드에 있어서의 최소 율-왜곡 코스트는 아래의 수학식 3, 4에 나타낸 바와 같은 관계를 가진다.

수학식 3에서

는 수학식 4를 의미한다.

움직임 추정부(210)는 위의 수학식 2 내지 4를 이용하여

를 각 모드에 대하여 계산하여 이를 특정 블록 모드의 코스트로서, 블록 모드 결정부(220)로 전송한다.

블록 모드 결정부(220)의 칼만 필터(221)는 미리 예측하여 둔 코스트와 움직임 추정부(210)로부터 전송된 특정 블록 모드에 대하여 계산된 코스트를 비교하여 계산된 코스트가 칼만 필터링의 결과인 코스트 예측치보다 작은 것으로 판단되면, 해당 블록 모드를 움직임 추정을 위한 최적의 블록 모드로 결정한다(S330). 이 때, 블록 모드가 결정되지 않으면, 다른 블록 모드에 대한 코스트 계산 및 예측치와의 비교 과정이 반복하여 수행된다(S320, S330).

최적의 블록 모드가 선택되면, 해당 블록 모드에 대하여 계산된 코스트를 칼만 필터의 새로운 입력값으로 이용하여 코스트 예측치를 갱신하고, 해당 영상 프레임에 대한 움직임 추정을 종료한다(S340). 이 때, 갱신된 코스트 예측치는 이후 입력되는 영상 프레임의 블록 모드 결정시에 이용된다.

이하, 칼만 필터링을 통한 코스트 예측 및 그 갱신에 대해 설명한다.

칼만 필터(221)는 불규칙 외란(irregular disturbance)을 포함하는 동적 시스템(dynamic system)에 적용되는 최적 상태 추정 과정(optimal state estimation process)으로서, 잡음(noise)이 실린 데이터로부터 동적 시스템의 미지의 상태 변수를 최적으로 추정하기 위한 선형의 반복적 알고리즘(recursive algorithm)으로, 미사일의 궤적 추정 등을 위하여 사용되고 있는 알고리즘이다. 본 발명에서는 칼만 필터를 이용하여 영상 프레임에 대한 코스트 예측치를 계산함으로써 고속의 블록 모드를 선정하기 위하여 사용된다. 즉, 블록 모드 결정부(220)는 입력된 영상 프레임의 움직임 추정을 위한 블록 모드를 선택하기 위하여, 모드별 코스트를 예측하는 수단으로서 칼만 필터(221)를 사용한다.

율-왜곡 함수는 평균 율-왜곡 코스트를 기준으로 하여 실시간으로 변화되는 범위의 분산치를 갖는 브라운 과정(Brownina Process)

의 특성을 지니는 것으로 가정할 수 있으며, 이는 아래의 수학식 5로 나타낼 수 있다.

즉, 수학식 5에 따르면, 특정한 블록 모드에 대하여 계산된 율-왜곡 함수는 시변 분산치(time-varying variance)를 갖는 함수로 표현될 수 있다. 칼만 필터는 확률 프로세스의 백색 잡음을 제거하여 프로세스의 관측(observation)을 수행할 수 있으므로, 수학식 5의 율-왜곡 함수를 칼만 필터(221)에 적용할 수 있으며, 이는 아래의 수학식 6으로 나타낼 수 있다.

수학식 6에서

는 이전 프레임에 대한 움직임 추정시 칼만 필터링을 통하여 추정되었던

의 값이며,

는 선택된 블록 모드에 대하여 수학식 1 내지 수학식 4를 통하여 계산된 최소의 코스트

을 나타내는 값이다.

는 칼만 필터의 적응 이득으로서 선형 프로세스인

의 평균값을 찾기 위해서는

의 값을 가진다. 여기서

는 하나의 프레임 내에서 움직임 추정이 수행된 블록의 개수를 의미하며,

는 하나의 프레임 내의 전체 블록의 개수를 의미한다.

수학식 6을 통하여 계산된 코스트 예측치는 이후 입력되는 영상 프레임의 블록 모드 결정시에 이용된다.

전술한 바와 같은 본 발명의 실시예에 따르면, 칼만 필터링을 통하여 예측한 코스트와 가장 근접한 코스트를 구하여 이 때의 블록 모드를 움직임 추정을 위한 블록 모드로 선택하게 되면, 불필요한 나머지 모드별 움직임 추정 연산을 할 필요가 없어지므로, 고속의 블록 모드 선정이 가능해진다. 또한, 도 2에는 블록 모드 결정부(220)에 하나의 칼만 필터가 포함된 것으로 도시되어 있지만, 입력된 영상 데이터의 특성에 따라서 또는 보다 고속의 움직임 추정을 위해 다수 개의 칼만 필터가 동시에 사용될 수 있다.

도 4는 본 발명의 실시예에 따른 움직임 추정기에서의 블록 모드 결정 순서를 도시한 도면이다. 움직임 추정기(200)에서 블록 모드의 선택을 위한 율-왜곡치 계산 순서는 도 3에 도시된 순서를 따르는데, 이는 JVT(joint video team) 인코딩 기준에 따른 것이다.

이하, 이상에서 설명한 본 발명의 실시예에 따른 움직임 추정기(200)의 구조에 따른 블록 모드 결정 방법을 설명한다. 본 발명의 실시예에 따른 고속의 블록 모드 선정 방법은, 하나의 프레임에 대하여 각각 P-블록 8 모드, I-블록 2 모드 중에서 부호화에 소요되는 시간의 측면에서 최적의 모드를 선택하도록 하는 데 그 특징이 있다. 여기서, 블록 모드 결정부(220)의 칼만 필터(221)는 제1 필터, 제2 필터, 제3 필터의 세 종류의 칼만 필터로 구성된 경우를 가정하고 설명한다. 세 개의 칼만 필터의 기능은 동일하며, 예측치 추정은 전술한 수학식 6을 따른다.

제1 필터는 동영상 부호화 장치로 입력된 하나의 영상 프레임에 대한 코스트 예측치의 계산을 위한 것으로서, P16×16, P16×8, P8×16 블록 모드가 선택된 경우에 제1 필터의 예측치가 이용되며, 제1 필터에서 출력된 예측치를

이라 하기로 한다. 제2 필터는 P8×8, P8×4, P4×8, P4×4 블록 모드가 선택된 경우의 코스트 예측치를 계산하기 위한 것으로서, 제2 필터에서 출력된 예측치를

이라 하기로 한다. 제3 필터는 I16×16, I4×4 블록 모드를 위한 예측치를 계산하기 위한 것으로서, 제3 필터에서 출력된 예측치를

라 하기로 한다. 이와 같이 각 블록 모드들을 세 종류로 분류하여 칼만 필터링을 하는 것은 칼만 필터링에 소요되는 시간을 감소시킬 수 있으며, 필터링 결과치 또한 균일하게 유지할 수 있기 때문이다.

도 5는 본 발명의 실시예에 따른 블록 모드 결정 방법을 나타내는 흐름도로 서, 움직임 추정기(200)에서 I16×16 모드가 선택되기까지의 과정을 도시한 흐름도이다.

동영상 부호화 장치가 리셋되어 최초로 하나의 동영상 프레임이 본 발명의 실시예에 따른 동영상 부호화 장치에 입력되면, 움직임 추정기(200)의 칼만필터(231)의 제1, 제2, 제3 칼만 필터는 각각의 블록 모드에 대한 예측치

,

를 계산하여 둔다(S510). 이 때, 최초 동작시가 아니면, 전술한 바와 같이 이전 프레임의 블록 모드 결정시 수학식 6을 이용하여 계산해 두었던 예측치가 이용된다.

움직임 추정기(200)는 입력된 영상 프레임을 분석하여 DCT 및 양자화 후의 율-왜곡 코스트가 '0'인지의 여부를 판단하여 움직임 추정시 스킵 모드(skip mode)를 이용하는 것이 효율적인지의 여부를 판단한다(S520). 블록 모드로 스킵 모드가 선택되면 움직임 추정이 종료되고, 해당 영상 프레임에 대한 데이터가 움직임 보상기(160)로 전송된다(S570).

스킵 모드가 선택되지 않은 경우에는, 움직임 추정부(210)는 도 4에 도시된 순서에 따라 입력된 영상 프레임에 대하여 수학식 1 내지 4를 이용하여 I16×16 모드를 선택한 경우의 코스트(min_I16)를 계산한다(S530).

블록 모드 결정부(220)는

과 min_I16의 크기를 비교하여 min_I16이

에 비하여 작은 것으로 판단되면, I16×16 모드를 움직임 추정을 위한 최적의 블록 모드로 선택하고, 전술한 수학식 6의 칼만 필터링을 통하여 다음 프레임 에 대한 블록 모드 결정시에 사용될 수 있도록 코스트 예측치를 갱신하여 둔다(S540,S550). 이 때, 블록 모드 결정에 사용되었던

이 갱신되며, 이후에 입력된 영상 프레임에 대한 블록 모드 선택에 이용하기 위하여, 제1 필터의 예측치인

가 갱신된다.

그리고, 움직임 보상기(160)는 상기 단계에서 결정된 블록 모드를 기초로 하여 산출된 움직임 벡터를 움직임 추정기(200)로부터 전송받아, 해당 영상 프레임에 대한 움직임 보상을 수행한다(S560,S570).

반면, 코스트 예측치

보다 min_I16이 큰 것으로 판단되면, 움직임 추정부(210)에서는 도 3에 도시된 순서에 따라서 다음 블록 모드인 P16×16에 대한 율-왜곡 코스트 계산이 수행되며(S541), 이에 대해서는 아래에서 도 6를 참조하여 상세히 설명하기로 한다.

도 6은 도 5에 도시된 과정을 통하여 움직임 추정을 위한 블록 모드가 선택되지 않은 경우의 블록 모드 결정 방법을 도시한 흐름도이다. 도 5에 도시된 과정을 통하여 최적의 블록 모드가 선택되지 않은 경우에는 도 4에 도시된 순서에 따라서, P16×16, P16×8, P8×16 모드에 대한 율-왜곡 코스트 계산이 수행된다.

I16×16 모드에 대한 율-왜곡 코스트 계산을 통하여 최적의 블록 모드가 선택되지 않으면, 움직임 추정부(210)는 수학식 1 내지 4를 이용하여 P16×16 모드에 대한 코스트(min_A)를 계산한다(S610).

블록 모드 결정부(220)는 계산된 min_A와

를 비교하여, min_A가 작은 것으로 판단되면, P16×16 모드를 최적의 블록 모드로 선택한다(S620,S621).

그러나

가 큰 것으로 판단되면 다음 순서에 해당하는 블록 모드인 P16×8 모드에 대한 코스트(min_B)를 계산한다(S630). 블록 모드 결정부(220)는 계산된 min_B에 대해서도 마찬가지로

와 비교하여 min_B가 작은 경우에는 P16×8 모드를 최적의 블록 모드로 선택한다(S640,S641).

이 때에도

이 min_B보다 큰 것으로 판단되면, 움직임 추정기(200)는 다음 순서에 해당하는 블록 모드인 P8×16 모드에 대해서도 코스트(min_C)를 계산하여 동일한 과정을 반복한다(S650,S660,S661).

과 min_C의 비교 결과,

가 큰 것으로 판단되어 최적의 블록 모드가 선택되지 않으면, 도 4에 도시된 다음 순서에 해당하는 블록 모드인 P8×8, P8×4, P4×8, P4×4 모드에 대하여도 동일한 과정이 반복하여 수행된다(S670). 다만, 이 때에는 제2 칼만 필터의 예측치인

가 최적의 블록 모드 선택에 이용되고, 움직임 추정을 위한 블록 모드가 선택된 후에는 이후 입력되는 영상 프레임의 블록 모드 선정에 이용하기 위하여

과

가 수학식 6을 이용하여 갱신된다.

블록 모드 결정부(220)에서의 각 블록 모드를 채택하여 움직임 추정이 수행될 경우의 코스트(min_A, min_B, min_C)와 칼만 필터의 예측치(

)와의 비교를 통하여 최적의 블록 모드가 선택된 후에는(S621,S631,S641), 블록 모드 결정부 (220)는 코스트(min_A, min_B, min_C)를 칼만 필터의 새로운 입력값으로 하여 수학식 6을 이용하여 다음 프레임에서 이용될 코스트의 예측치를 계산하여

을 갱신하여 둔다(S662). 그리고 각각의 단계에서 선택된 블록 모드를 기초로 하여 움직임 추정부(210)에서 해당 영상 프레임에 대한 움직임 벡터를 산출하면, 움직임 보상기(160)는 이를 기초로 하여 움직임 보상을 수행한다(S663,S664).

도 7은 도 6에 도시된 과정을 통하여 움직임 추정을 위한 블록 모드가 선택되지 않은 경우의 블록 모드 결정 방법을 도시한 흐름도이다. 움직임 추정부(210)에서 P8×8, P8×4, P4×8, P4×4 모드에 대하여 계산한 코스트와 칼만 필터링을 통한 코스트 예측치의 비교 과정에서 최적의 블록 모드가 선택된 경우에는 선택된 특정 블록 모드로 움직임 추정을 수행한다(S670,S710,S711).

반면, 움직임 추정을 위한 블록 모드가 결정되지 않은 것으로 판단된 경우에는, 도 4에 도시된 순서에 따라 I4×4 모드에 대해서만 코스트 계산이 이루어지지 않은 상태이므로, I4×4에 대한 코스트(min_I4)를 계산한다(S720).

블록 모드 결정부(220)는 계산된 min_I4와

를 비교하여, min_I4가 작은 것으로 판단되면, I4×4 모드를 최적의 블록 모드로 선택한다(S730,S740).

블록 모드 결정부(220)는 최소의 율-왜곡치인, min_I4를 칼만 필터의 새로운 입력값으로 하여 수학식 6을 통하여 코스트 예측치를 계산하여

와

을 갱신하여 두고, 다음 프레임의 블록 모드 선정 시에 이용한다(S750).

I4×4 모드에 대한 최소-율 왜곡치가

보다 큰 것으로 판단되어, 최적 의 블록 모드를 선택할 수 없게 되는 경우에는, 블록 모드 결정부(220)는 도 5 내지 도 7의 흐름도에 나타난 각 과정들에서 계산된 모든 블록 모드들에 대한 코스트 중 가장 작은 값을 선택하여, 해당되는 블록 모드를 최적의 블록 모드로 선택한다(S731).

상기의 과정을 통하여 블록 모드의 선택이 완료되면, 선택된 블록 모드를 기준으로 하여 움직임 벡터가 산출되고, 움직임 보상기(160)이를 이용하여 움직임 보상이 이루어진다(S760,S770).

본 발명의 실시예에서는 3개의 칼만 필터를 사용하여 각 블록 모드에 대한 최소 율-왜곡치를 예측하였지만, 하나의 칼만 필터를 사용하여 예측치를 계산하여 블록 모드의 선택에 이용할 수도 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만, 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

이와 같이 본 발명의 실시예에 의하면, 동영상 부호화에 있어서 칼만 필터를 이용하여 율-왜곡 코스트(rate-distortion cost)를 예측함으로써 고속의 블록 모드 추정이 가능한 효과를 얻을 수 있다.

또한, H.264 동영상 부호화 장치에 있어서, 모드 전체에 대한 움직임 추정을 수행하지 않으므로, 연산량을 획기적으로 감소시킬 수 있으며, 이에 따라 계산 시간이 단축되는 이점이 있다.

Claims

동영상 부호화를 위한 움직임 추정 방법에 있어서,

a) 입력된 영상 프레임에 대한 움직임 추정에 따르는 코스트를 예측하는 단계;

b) 움직임 추정에 이용되는 다수의 블록 모드 중 하나의 블록 모드를 선택하여 상기 입력된 영상 프레임에 대한 움직임 추정의 코스트를 계산하는 단계;

c) 상기 예측된 코스트와 상기 계산된 코스트의 크기를 비교하는 단계; 및

d) 상기 계산된 코스트가 작은 경우, 해당 블록 모드를 움직임 추정을 위한 블록 모드로 결정하고 움직임 추정을 중단하는 단계를 포함하는 움직임 추정 방법.
제1항에 있어서,

상기 a) 단계에서

코스트 예측은 칼만 필터링을 통하여 이루어지는 움직임 추정 방법.
제2항에 있어서,

상기 c) 단계에서 상기 예측된 코스트보다 상기 계산된 코스트가 클 경우,

e) 상기 다수의 블록 모드 중 다른 블록 모드를 선택하여 움직임 추정에 따르는 코스트를 계산하는 단계를 더 포함하는 움직임 추정 방법.
제3항에 있어서,

상기 입력된 영상 프레임에 대하여 움직임 추정을 위한 블록 모드가 결정될 때까지, 상기 c) 단계 내지 e) 단계를 반복하는 움직임 추정 방법.
제4항에 있어서,

상기 입력된 영상 프레임에 대하여 움직임 추정을 위한 블록 모드가 결정된 경우,

f) 상기 결정된 블록 모드에 대하여 계산된 코스트를 칼만 필터링에 적용하여 코스트 예측치를 갱신하는 단계를 더 포함하는 움직임 추정 방법.
제5항에 있어서,

상기 갱신된 코스트 예측치는

이후 입력되는 영상 프레임에 대한 코스트 예측치로 이용되는 움직임 추정 방법.
제4항에 있어서,

움직임 추정에 이용되는 모든 블록 모드에 대하여 상기 c) 단계 내지 e) 단계를 반복한 결과, 상기 코스트 예측치가 각각의 블록 모드에 대하여 계산된 코스트보다 작은 경우, 가장 작은 코스트를 갖는 것으로 계산된 블록 모드를 선택하는 움직임 추정 방법.
제7항에 있어서,

상기 선택된 블록 모드에 대하여 계산된 코스트를 칼만 필터링에 적용하여 코스트 예측치를 갱신하는 단계를 더 포함하는 움직임 추정 방법.
제3항 내지 제8항 중 어느 한 항에 있어서,

블록 모드에 대한 코스트 계산은 레벨셋 기법을 이용하는 움직임 추정 방법.
제2항에 있어서,

상기 a) 단계에서,

움직임 추정에 이용되는 다수의 블록 모드를 그룹화하고, 각 블록 모드 그룹별로 상기 입력된 영상 프레임에 대한 움직임 추정시의 코스트를 예측하는 움직임 추정 방법.
입력된 영상 프레임에 대하여 움직임 추정에 이용되는 다수의 블록 모드 중 하나의 블록 모드를 선택하여 움직임 벡터를 추정하고, 움직임 추정시의 코스트를 계산하는 움직임 추정부; 및

적어도 하나의 칼만 필터를 포함하고, 상기 입력된 영상 프레임의 움직임 추정에 따르는 코스트를 예측하고, 상기 움직임 추정부에서 계산된 코스트와 상기 칼만 필터로 예측된 코스트를 비교하여 움직임 추정을 위한 블록 모드를 선택하는 블 록 모드 결정부를 포함하는 움직임 추정 장치.
제11항에 있어서,

상기 블록 모드 결정부는 상기 움직임 추정부에서 계산된 코스트가 상기 칼만 필터로 예측된 코스트보다 작은 경우, 해당 블록 모드를 움직임 추정을 위한 블록 모드로 결정하는 움직임 추정 장치.
제12항에 있어서,

상기 블록 모드 결정부는 상기 다수의 블록 모드를 그룹화하여, 각 그룹별로 하나의 칼만 필터를 이용하여 코스트를 예측하는 움직임 추정 장치.
제12항에 있어서,

상기 블록 모드 결정부는 입력된 프레임의 움직임 추정을 위한 블록 모드를 선택한 후, 해당 블록 모드에 대하여 상기 계산된 코스트를 상기 칼만 필터의 입력으로 이용하여 코스트 예측치를 갱신하고, 상기 갱신된 코스트 예측치를 이후에 입력되는 프레임의 블록 모드 결정에 이용하는 움직임 추정 장치.
제11항 내지 제14항 중 어느 한 항에 있어서,

상기 움직임 추정부는

입력된 영상 프레임에 대하여 정화소 단위의 움직임 벡터를 추정하는 정화소 추정모듈; 및

상기 정화소 단위의 움직임 벡터를 기초로 하여 반화소 또는 1/4 화소 단위의 움직임 벡터를 추정하는 부화소 추정 모듈을 포함하는 움직임 추정 장치.
제1항 내지 제8항 및 제10항 중 어느 한 항에 기재된 방법을 실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.