KR20030020466A - 확률 샘플링 기반의 움직임 추정 방법 - Google Patents

Abstract

본 발명은 확률 샘플링 기반의 움직임 추정 방법에 관한 것으로, 소정 크기 블록으로 분할된 현재 프레임의 각 블록에 대해 이전 또는 이후의 기준 프레임의 소정 크기 블록에 있는 연산대상 화소를 확률적으로 선택하여 정화소 단위의 움직임 벡터를 추정하는 단계와, 정화소 단위의 움직임 벡터를 근거로 하여 최적의 반화소 단위의 움직임 벡터를 추정하는 단계를 포함한다.

이러한 본 발명은 움직임 추정을 위한 계산량이 획기적으로 감소하고 이에 따른 계산 시간의 감소와 하드웨어 복잡성이 감소되는 이점이 있다.

Description

확률 샘플링 기반의 움직임 추정 방법{STOCHASTIC SAMPLING BASED PEL MOTION ESTIMATION METHOD}

본 발명은 동영상 부호화에 관한 것으로, 더욱 상세하게는 정화소 탐색시 대상 블록내의 연산대상 화소를 확률적으로 선택하여 고속으로 움직임 벡터를 추정하는 확률 샘플링 기반의 움직임 추정 방법에 관한 것이다.

화상회의, 고화질 텔레비전, 주문형 비디오(VOD) 수신기, MPEG(Moving Picture Experts Group) 영상을 지원하는 퍼스널 컴퓨터, 게임기, 지상파 디지털 방송 수신기, 디지털 위성 방송 수신기 및 케이블 텔레비전(CATV) 등에서 사용되는디지털 영상 데이터는 영상 자체의 특성과 아날로그 신호를 디지털화하는 과정에서 데이터량이 크게 늘어나기 때문에 그대로 사용되기보다는 효율적인 압축방법에 의해 압축된다.

디지털 영상 데이터의 압축은 크게 3가지 방법을 이용하고 있다. 시간적인 중복성(temporal redundancy)을 줄이는 방법과 공간적인 중복성(spatial redundancy)을 줄이는 방법 그리고 발생 부호의 통계적 특성을 이용하여 줄이는 방법이 주로 이용된다. 이중에서 시간적인 중복성을 줄이는 대표적인 방법이 바로 움직임 추정 및 보상 방법으로서 MPEG, H.263 등 대부분의 동영상 압축 표준안에서 사용되고 있다.

현재 화면의 특정 부분에 대해 이전 또는 이후의 기준 화면으로부터 가장 유사한 부분을 찾고, 두 부분의 차이 성분만을 전송하는 움직임 추정 및 보상 방법은, 가능한 한 움직임 벡터를 정밀하게 찾을수록 전송할 차이 성분이 줄어들어 데이터를 더욱 효과적으로 줄일 수 있지만 이전 또는 이후의 화면에서 가장 유사한 부분을 찾기 위해서는 상당한 추정 시간과 계산량이 요구되어 진다. 따라서 동영상의 부호화시 시간이 가장 많이 소요되는 움직임 추정시간을 줄이는 노력이 계속되고 있다.

한편, 움직임 추정 방법은 크게 화소 단위(pixel-by-pixel basis)의 추정방법과 블록 단위(block-by-block basis)의 추정방법이 있으며, 이 중에서 블록 단위 추정방법이 가장 많이 사용되는 대표적인 알고리즘이다.

블록 단위 추정방법은 영상을 일정한 크기의 블록으로 분할하고 이전 영상의탐색 영역내에서 현재 영상의 블록과 가장 잘 정합되는 블록을 찾는 방법이다. 찾은 블록과 현재 영상블록과의 차를 움직임 벡터라고 하는데 이를 부호화하여 처리한다. 두 블록간의 정합계산에는 여러 가지 정합함수들이 사용될 수 있는데 가장 일반적으로 사용되는 것은 두 블록간 화소들 차의 절대값을 모두 합한 값인 SAD(Sum of Absolute Difference)이다.

블록 단위 추정방법 중 가장 간단한 방법은 전역 탐색법으로서 현재 영상의 블록에 대해 검색 영역에 존재하는 모든 검색위치에서 SAD값을 계산하여 이중 가장 작은 SAD값을 갖는 검색위치를 찾아내어 움직임 벡터를 구하는 방법이다. 전역 탐색법은 구조가 간단하고 또한 최적의 움직임 벡터를 찾아낼 수 있다는 장점이 있지만 계산량이 과도하여 실시간 적용이 어렵다는 단점이 있다.

이와 같은 문제를 해결하기 위해 SAD값을 구하는 연산장치(Processing Element : PE) 여러 개를 병렬로 연결한 어레이 구조의 움직임 추정장치를 많이 사용하여 왔다.

움직임 추정과정에는 정화소 탐색 외에 반화소 탐색, 인트라/인터 모드 결정 등의 연산들도 거치게 된다. 그런데 이러한 연산들 중에서 가장 많은 연산시간을 소요하는 부분은 정화소 탐색부분으로서 경우에 따라서는 전체 연산시간의 거의 60%정도를 정화소 탐색에 소비한다. 또한 정화소 탐색 부분은 현재까지 표준화된 거의 모든 동영상 관련 표준에 빠짐없이 포함되므로 정화소 탐색 알고리즘의 효율적 구현은 동영상의 실시간 부호화에 있어 가장 핵심적인 부분으로서 지속적으로 연구 개발되고 있다.

본 발명은 상기와 같은 연구 개발의 한 결과물로서, 정화소 탐색시 대상 블록내의 연산대상 화소를 확률적으로 선택하여 고속으로 움직임 벡터를 추정함으로써 성능의 열화 없이 고속 탐색이 이루어지도록 하는 데 그 목적이 있다.

이와 같은 목적을 실현하기 위한 본 발명에 따른 확률 샘플링 기반의 움직임 추정 방법은, (a) 소정 크기 블록으로 분할된 현재 프레임의 각 블록에 대해 이전 또는 이후의 기준 프레임의 소정 크기 블록에 있는 연산대상 화소를 확률적으로 선택하여 정화소 단위의 움직임 벡터를 추정하는 단계와, (b) 상기 정화소 단위의 움직임 벡터를 근거로 하여 최적의 반화소 단위의 움직임 벡터를 추정하는 단계를 포함한다.

바람직하기로, 상기 (a) 단계는, 상기 소정 크기 블록에 있는 화소를 X축 방향으로 확률 1/n(단, n은 1보다 큰 양의 정수)로 선택하고 Y축 방향으로 확률 1/n(단, n은 1보다 큰 양의 정수)로 선택하여 연산장치에 대입하는 것을 특징으로 한다.

도 1은 본 발명이 적용되는 동영상 부호화기의 블록도,

도 2는 본 발명에 의한 움직임 추정기의 블록도,

도 3은 본 발명에 따라 일정 블록에서 화소를 소정 확률로 선택하는 과정을 나타낸 개념도.

<도면의 주요 부분에 대한 부호의 설명>

190 : 움직임 추정기 192 : 정화소 추정기

본 발명의 실시예로는 다수개가 존재할 수 있으며, 이하에서는 첨부한 도면을 참조하여 본 발명에 의한 확률 샘플링 기반의 움직임 추정 방법 및 이를 위한 장치에 대하여 상세히 설명하기로 한다.

도 1은 본 발명이 적용되는 동영상 부호화기의 블록도이다.

본 발명이 적용되는 동영상 부호화기는 프레임내(intra-frame) 압축 및 프레임간(inter-frame) 압축을 하며, I, P, B 프레임 압축의 시퀀스에 따라 행한다.

I 프레임 화소 데이터는 감산기(110)의 영향을 받지 않고 그대로 이산코사인변환(DCT) 연산기(120)로 출력된다. DCT 연산기(120)는 DCT를 8×8 화소 블록단위로 행하고, 양자화기(130)는 DCT 데이터를 양자화한다.

양자화기(130)로부터 출력되는 압축된 I 프레임은 역양자화기(140)에서 역양자화되고, 역이산코사인변환(IDCT) 연산기(150)는 역양자화된 I 프레임에 대해 역 DCT를 수행하여 압축 해제된 I 프레임을 가산기(160)에 인가한다.

압축 해제된 I 프레임은 가산기(160)의 영향을 받지 않고 그대로 버퍼역할을 하는 프레임 메모리(170)에 전송되고, 이후 P 및 B 프레임을 예측 압축하기 위하여 프레임 메모리(170)에 저장된다. P 및 B 프레임의 예측 부호화도 유사하며, P 프레임 압축에 대해 설명한다. 프레임 메모리(170)에 저장된 영상 프레임들은 움직임 추정기(190)에 공급된다.

움직임 추정기(190)는 현재 입력되는 영상 데이터와 프레임 메모리(170)에 저장된 이전 또는 이후의 기준 프레임의 영상 데이터를 이용하여 움직임 벡터를 계산해서 움직임 보상기(180)에 출력한다.

움직임 보상기(180)는 움직임 추정기(190)에서 추정된 움직임 벡터에 상응하는 블록을 프레임 메모리(170)로부터 독출하여 감산기(110)에 공급한다. 감산기(110)는 현재 압축 해제될 프레임에 대응하는 블록으로부터 움직임 보상기(180)를 통해 프레임 메모리(170)로부터의 예측된 블록을 감산하는 데, 화소 대 화소 단위로 감산한다. 감산기(110)의 감산에 의해 얻어진 차 또는나머지(residue)는 DCT 연산기(120)에 인가된다.

압축 P 프레임은 역양자화기(140) 및 IDCT 연산기(150)에서 복호화되고, 복호화된 데이터는 가산기(160)의 제 1 입력단에 인가된다. 동시에 현재 프레임을 예측하기 위해 프레임 메모리(170)에 저장된 기준 영상 프레임의 각각의 블록을 억세스하여 억세스된 블록은 움직임 보상기(180)를 통해 가산기(160)의 제 2 입력단에 인가된다.

가산기(160)는 부호화된 나머지 또는 차와 움직임 보상기(180)로부터 출력되는 데이터를 가산해서 실제의 이미지를 복원한다. 가산기(160)로부터의 복원된 P 프레임은 이후 P 및 B 프레임을 예측 부호화/복호화하기 위하여 프레임 메모리(170)에 저장된다.

가변장 부호화기(도시 생략됨)는 양자화된 데이터를 런길이 부호화해서 통계적 부호화를 행하고, 통계적 부호화된 영상 데이터와 움직임 추정기(190)로부터의 인가되는 움직임 벡터 그리고 매크로블록타입과 같은 부가정보를 다중화하여 출력한다. 버퍼(도시 생략됨)는 다중화된 영상 데이터의 비트레이트를 조절하기 위해 일시 저장한 후에 부호화된 데이터를 출력한다.

도 2는 본 발명에 의한 움직임 추정기의 블록도로서, 이 움직임 추정기(190)는 정화소 단위의 움직임 벡터를 추정하는 정화소 추정기(192)와, 찾아낸 정화소의 움직임 벡터를 근거로 하여 최적의 반화소 단위의 움직임 벡터를 추정하는 반화소 추정기(194)로 구성된다.

정화소 추정기(192)는 압축될 현재의 프레임을 매크로블록으로 분할하고, 분할된 현재 프레임에 대해 이전 또는 이후의 기준 프레임의 탐색 영역에서 이하 설명될 정화소 예측 방법에 의하여 정화소 단위의 움직임 벡터를 추정하여 출력한다.

반화소 추정기(194)는 정화소 단위의 움직임 벡터를 근거로 하여 최적의 반화소 단위의 움직임 벡터를 추정한다.

이하, 본 발명에서 제안하는 확률 샘플링 기반의 정화소 예측 방법에 대하여 설명하기로 한다.

먼저, 본 발명의 이해를 돕기 위하여 종래 기술과 본 발명의 차이점을 살펴보기로 한다.

종래에는 정화소 탐색을 위해서는 현재 영상과 과거영상의 일정 블록의 화소를 X축 및 Y축에 따라 연산장치에 순차적으로 대입하여 그 차를 낸 다음 최상위 비트(MSB)에 의해 나타나는 부호비트가 "1"이면 이를 1의 보수로 변환하여 한 화소에 대한 절대값을 구하고 이를 축적하여 SAD값을 구한다.

본 발명에서는 일정블록에 있는 화소를 X축 방향으로 확률 1/2로 선택하고 Y축 방향으로 확률 1/2로 선택하여 연산장치에 대입하게 되므로 전체적으로 연산량을 1/4로 줄이게 되어 고속의 정화소 탐색이 가능해진다. 만일 일정블록의 크기가 16 대 16이라면 확률적으로 선택되어진 화소는 평균 8 대 8이 되므로 원래 블록에서 총 256개의 화소에 대한 연산이 1/4인 64개의 화소에 대한 연산으로 바뀌어진다.

다시 말해서, 본 발명은 도 3의 (a)와 같이 크기가 8 대 8인 블록에서 (b)와 같이 X축 방향 및 Y축 방향으로 확률 1/2로 계산점을 선택하여 (c)와 같이 크기가4 대 4인 블록과 동일한 계산점을 갖는다.

확률 1/2로 화소선택을 위해서는 확률 1/2로 1의 값을 갖는 확률변수가 필요하다. 이를 위해서는 의사 난수발생기를 사용하거나 난수표를 메모리에 저장하는 방법 등 여러 가지를 생각할 수 있으나 2진 데이터의 특징을 사용하여 연산하여야 할 화소의 최하위 비트(LSB)를 사용할 수도 있다.

X축상의 화소를 선택하기 위해 1의 값을 가질 확률이 1/2이고 0의 값을 가질 확률이 1/2인 확률변수를 r이라 하고, Y축상의 화소를 선택하기 위해 1의 값을 가질 확률이 1/2이고 0의 값을 가질 확률이 1/2인 확률변수를 c라고 하며, X축상에 현재 선택된 화소의 위치계수를 R(t)라고 하고, Y축상에 현재 선택된 화소의 위치계수를 C(t)라고 하면 다음 선택하여야 할 화소의 위치계수 R(t+1)과 C(t+1)는 수학식 1과 같다.

수학식 1에 의해 R(t)에서 1 증가한 X축상의 화소를 선택할 확률은 1/4이며 R(t)에서 2 증가한 X축상의 화소를 선택할 확률은 1/2, 마지막으로 R(t)에서 3 증가한 X축상의 화소를 선택할 확률은 1/4이다.

Y축이 고정되어 있고 X축상에서 화소를 선택할 때 확률변수 r과 c의 합이 0일 경우의 수를 x, 확률변수 r과 c의 합이 1일 경우의 수를 y, 확률변수 r과 c의합이 2일 경우의 수를 z라고 놓으면 아래의 수학식 2의 제한조건에서 아래의 수학식 3에 의해 평균 8이 나온다. 그러므로 16 대 16 블록에서 본 발명을 적용하게 되면 평균 8 대 8 블록을 구할 수 있으며 따라서 계산 양은 1/4로 줄어든다.

또한, 본 발명은 국소 최소점을 피하기 위한 대표적인 알고리즘인 언덕 오르기(Hill Climbing) 효과를 가지게 된다.

상기와 같이 16 대 16 블록에 대해 1/4로 줄어든 평균 8 대 8 블록 연산을 하게 되므로 현재 (x,y) 좌표점에 대한 화소 s(xy)(t)에 대한 이전 영상의 화소 s(xy)(t-1)에 대하여 본 발명을 적용할 경우 아래의 수학식 4와 같이 SAD값이 계산된다.

수학식 4에서 N은 블록의 가로 혹은 세로 화소 개수이며, I(x,y)는 (x,y)좌표의 화소가 선택될 것인가 선택되지 않을 것인가를 나타내는 특성함수로서 선택되면 1, 선택되지 않으면 0의 값을 가진다. 그러므로 원래의 SAD 값과의 비교를 통해 탐색 프로세스를 진행하게 되면 수학식 5와 같이 되어 언덕 오르기 효과가 발생하여 탐색 결과가 국소 최소점에 빠지는 경우를 완충하게 된다.

전술한 바와 같은 본 발명은 MPEG의 제 표준안(MPEG-1, MPEG-2, MPEG-4)과 ITU의 동영상 표준안(H.261, H.263)의 정화소 움직임 탐색을 위해 SAD연산을 위한 화소를 확률적으로 선택하여 SAD값을 계산함으로써, 움직임 추정을 위한 계산량이 획기적으로 감소하고 이에 따른 계산 시간의 감소와 하드웨어 복잡성이 감소되는 효과가 있다.

Claims (5)

1. 동영상 부호화를 위한 움직임 추정 방법에 있어서,

   (a) 소정 크기 블록으로 분할된 현재 프레임의 각 블록에 대해 이전 또는 이후의 기준 프레임의 소정 크기 블록에 있는 연산대상 화소를 확률적으로 선택하여 정화소 단위의 움직임 벡터를 추정하는 단계와,

   (b) 상기 정화소 단위의 움직임 벡터를 근거로 하여 최적의 반화소 단위의 움직임 벡터를 추정하는 단계를 포함하는 움직임 추정 방법.
2. 제 1 항에 있어서, 상기 (a) 단계는,

   상기 소정 크기 블록에 있는 화소를 X축 방향으로 확률 1/n(단, n은 1보다 큰 양의 정수)로 선택하고 Y축 방향으로 확률 1/n(단, n은 1보다 큰 양의 정수)로 선택하여 연산장치에 대입하는 것을 특징으로 한 움직임 추정 방법.
3. 제 2 항에 있어서, 상기 (a) 단계는,

   상기 화소를 X축 및 Y축 방향으로 확률 1/2로 선택하는 것을 특징으로 한 움직임 추정 방법.
4. 제 3 항에 있어서, 상기 (a) 단계는,

   상기 X축상의 화소를 선택하기 위해 1의 값을 가질 확률이 1/2이고 0의 값을가질 확률이 1/2인 확률변수를 r이라 하고, Y축상의 화소를 선택하기 위해 1의 값을 가질 확률이 1/2이고 0의 값을 가질 확률이 1/2인 확률변수를 c라고 하며, X축상에 현재 선택된 화소의 위치계수를 R(t)라고 하고, Y축상에 현재 선택된 화소의 위치계수를 C(t)라고 하면 다음 선택하여야 할 화소의 위치계수 R(t+1)과 C(t+1)는,

   상기 수학식으로 나타낼 수 있는 것을 특징으로 한 움직임 추정 방법.
5. 제 1 항에 있어서, 상기 (a) 단계는,

   현재 (x,y) 좌표점에 대한 화소 s(xy)(t)에 대한 이전 영상의 화소 s(xy)(t-1)에 대하여 SAD(Sum of Absolute Difference)값은,

   (상기 수학식에서 N은 블록의 가로 혹은 세로 화소 개수이며, I(x,y)는 (x,y)좌표의 화소가 선택될 것인가 선택되지 않을 것인가를 나타내는 특성함수 임.)

   상기 수학식으로 계산되는 것을 특징으로 한 움직임 추정 방법.