KR100599935B1 - 정화소 탐색시의 사드값 및 확률 변수에 기반한 고속의반화소 탐색 방법 - Google Patents

Abstract

본 발명은 반화소 움직임 추정 방법에 관한 것으로 소정 크기 블록으로 분할 된 현재 프레임의 각 블록에 대해 이전, 이후의 기준 프레임의 소정 크기 블록에 있는 연산 대상 반화소를 별도로 추정하지 않고 정 화소 탐색에 사용된 SAD값의 선형 결합된 값과 오차 보상을 위한 확률 변수만으로 반 화소 탐색이 가능한 알고리즘이다.

이러한 본 발명은 움직임 추정을 위한 반 화소를 생성할 필요가 없기 때문에 연산량이 획기적으로 감소하고 이에 따라 계산 시간을 감소시킬 수 있는 이점이 있다.

동영상 부호화, 움직임 추정, 움직임 벡터, 정화소 추정, 반화소 추정, SAD (Sum of Absolute Difference)

Description

정화소 탐색시의 사드값 및 확률 변수에 기반한 고속의 반화소 탐색 방법{Fast Half-Pel searching Method on the base of SAD values according to integer-pel search and random variable corresponding each macro block}

도 1은 본 발명에 적용되는 동영상 부호화기에 대한 블록 구성도.

도 2는 본 발명에 따른 움직임 추정기의 블록 구성도.

도 3은 반화소 예측 개념을 설명하기 위한 도면.

도 4는 반화소 추정 범위을 설명하기 위한 도면.

도 5는 본 발명에 의한 반 화소 추정 범위의 좌표 개념도.

<도면의 주요부분에 대한 부호의 설명>

110: 감산기 120: 이산코사인 변환기

130: 양자화기 160: 가산기

170: 프레임 메모리 180: 움직임 보상기

190: 움직임 추정기 192: 정화소 추정기

194: 반화소 추정기

본 발명은 동영상 부호화기 등에서의 반 화소 탐색 방법에 관한 것이며, 보다 상세히는 정 화소 탐색시 사용된 주변 8화소에 대한 SAD값과 확률적으로 선택된 값을 통해 각 반 화소를 추정 및 탐색함으로써 불필요한 정 화소값 데이터에 대한 메모리 접근을 제거하여 그 연산량 및 연산시간을 절감시키는 고속의 반 화소 탐색 방법에 관한 것이다.

화상회의, 고화질 텔레비전, 주문형 비디오(VOD) 수신기, MPEG(Moving Picture Experts Group) 영상을 지원하는 퍼스널 컴퓨터, 게임기, 지상파 디지털 방송 수신기, 디지털 위성 방송 수신기 및 케이블 텔레비전(CATV) 등에서 사용되는 디지털 영상 데이터는 영상 자체의 특성과 아날로그 신호를 디지털화하는 과정에서 데이터량이 크게 늘어나기 때문에 그대로 사용되기보다는 효율적인 압축방법에 의해 압축된다.

디지털 영상 데이터의 압축은 크게 3가지 방법을 이용하고 있다. 시간적인 중복성(temporal redundancy)을 줄이는 방법과 공간적인 중복성(spatial redundancy)을 줄이는 방법 그리고 발생 부호의 통계적 특성을 이용하여 줄이는 방법이 주로 이용된다. 이중에서 시간적인 중복성을 줄이는 대표적인 방법이 바로 움직임 추정 및 보상 방법으로서 MPEG, H.263 등 대부분의 동영상 압축 표준안에서 사용되고 있다.

현재 화면의 특정 부분에 대해 이전 또는 이후의 기준 화면으로부터 가장 유사한 부분을 찾고, 두 부분의 차이 성분만을 전송하는 움직임 추정 및 보상 방법은, 가능한 한 움직임 벡터를 정밀하게 찾을수록 전송할 차이 성분이 줄어들어 데 이터를 더욱 효과적으로 줄일 수 있지만 이전 또는 이후의 화면에서 가장 유사한 부분을 찾기 위해서는 상당한 추정 시간과 계산량이 요구되어 진다. 따라서 동영상의 부호화시 시간이 가장 많이 소요되는 움직임 추정시간을 줄이는 노력이 계속되고 있다.

한편, 움직임 추정 방법은 크게 화소 단위(pixel-by-pixel basis)의 추정방법과 블록 단위(block-by-block basis)의 추정방법이 있으며, 이 중에서 블록 단위 추정방법이 가장 많이 사용되는 대표적인 알고리즘이다.

블록 단위 추정방법은 영상을 일정한 크기의 블록으로 분할하고 이전 영상의 탐색 영역내에서 현재 영상의 블록과 가장 잘 정합되는 블록을 찾는 방법이다. 찾은 블록과 현재 영상블록과의 차를 움직임 벡터라고 하는데 이를 부호화하여 처리한다. 두 블록간의 정합계산에는 여러 가지 정합함수들이 사용될 수 있는데 가장 일반적으로 사용되는 것은 두 블록간 화소들 차의 절대값을 모두 합한 값인 SAD(Sum of Absolute Difference)이다.

이와 같이 정 화소 탐색을 마쳐 최종적인 정 화소를 구하게 되면 MPEG-2,이상의 동영상 표준에서는 반 화소 탐색을 통해 보다 좋은 화질의 화면을 구성하게 되는데, 이러한 반 화소 탐색은 최종적으로 구해진 정 화소 주변의 8개 화소에 대해 반 화소를 계산해 낸 다음 그 구해진 반 화소 블록에 대하여 SAD 값을 구해 그 중 가장 작은 SAD값을 가진 반 화소를 탐색해내는 방식이 사용된다.

하지만, 이와 같은 종래의 반 화소 탐색 방법은 각 정 화소 데이터를 여러 번 중복하여 사용할 뿐 아니라 최소 4회 이상 정 화소를 랜덤하게 읽어 들어와야 하기 때문에 반 화소 탐색시 1 블록에 대한 정 화소 탐색보다 최소 4배 이상의 연산시간이 소요된다. 또한 대부분의 멀티미디어 기기들이 SDRAM을 사용하는 관계로 반 화소 탐색과 같은 랜덤한 메모리 억세스가 발생할 경우, 많은 지연시간이 소요됨에 따라 반 화소 탐색은 실제로 상당한 계산 시간을 소요하게 된다.

그러므로, MPEG-2 이상의 동영상 관련 표준에 빠짐 없이 포함되는 반 화소 탐색 부분의 효율적인 구현은 동영상의 실시간 부호화에 있어 가장 핵심적인 부분으로서 지속적으로 연구 개발되고 있다.

따라서, 본 발명은 상술한 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 동영상 대상블록에 대한 반 화소를 탐색함에 있어서, 정화소 탐색 시 이미 얻어진 정화소 SAD값과 확률적 보상값을 각 반 화소의 추정에 적용함으로써, 정화소 데이터를 위한 반복적인 메모리 접근을 최소화하여 성능의 열화 없는 고속의 반 화소 탐색을 실현할 수 있는 정화소 탐색시의 SAD값 및 확률 변수에 기반한 고속의 반화소 탐색 방법을 제공하는데 있다.

상기 본 발명의 목적을 달성하기 위한 정화소 탐색시의 SAD값 및 확률 변수에 기반한 고속의 반화소 탐색 방법은, 소정 크기 블록으로 분할된 현재 프레임의 각 블록에 대해 이전 또는 이후의 기준 프레임의 소정 크기 블록에 대한 정화소 SAD값을 산출하여 정화소 탐색을 수행하는 단계와, 상기 정화소 탐색에 사용된 정화소 SAD값의 1차 결합, 및 확률변수의 보정값을 근거로 반화소 탐색을 수행하는 단계를 포함한다.

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명이 적용되는 동영상 부호화기에 대한 블록 구성도이다.

일반적으로, 동영상 부호화기는 프레임내(intra-frame) 압축 및 프레임간(inter-frame) 압축을 하며, I 프레임(Intra frame), P 프레임(Predicted frame), B 프레임(Bi-directional frame)압축을 그 시퀀스에 따라 행한다.

I 프레임 화소 데이터는 기준 프레임 데이터로서, 감산기(110)의 영향을 받지 않고 그대로 이산코사인변환(DCT) 연산기(120)로 출력된다. DCT 연산기(120)는 DCT를 8×8 화소 블록단위로 행하고, 양자화기(130)는 DCT 데이터를 양자화한다.

양자화기(130)로부터 출력되는 압축된 I 프레임은 역양자화기(140)에서 역양자화되고, 역이산코사인변환(IDCT) 연산기(150)는 역양자화된 I 프레임에 대해 역 DCT를 수행하여 압축 해제된 I 프레임을 가산기(160)에 인가한다.

압축 해제된 I 프레임은 가산기(160)의 영향을 받지 않고 그대로 버퍼역할을 하는 프레임 메모리(170)에 전송되고, 이후 P 및 B 프레임을 예측 압축하기 위하여 프레임 메모리(170)에 저장된다.

P 및 B 프레임에 대한 예측 부호화 시퀀스는 유사하며, P 프레임 압축 과정에 대해 설명하기로 한다.

먼저, 프레임 메모리(170)에 저장된 영상 프레임들은 움직임 추정기(190)에 공급된다.

움직임 추정기(190)는 현재 입력되는 영상 데이터와 프레임 메모리(170)에 저장된 이전 또는 이후의 기준 프레임의 영상 데이터를 이용하여 움직임 벡터를 계산해서 움직임 보상기(180)에 출력한다.

움직임 보상기(180)는 움직임 추정기(190)에서 추정된 움직임 벡터에 상응하는 블록을 프레임 메모리(170)로부터 독출하여 감산기(110)에 공급한다.

이때, 감산기(110)는 현재 압축 해제될 프레임에 대응하는 블록으로부터 움직임 보상기(180)를 통해 프레임 메모리(170)로부터의 예측된 블록을 감산하는데, 화소 대 화소 단위로 감산한다. 감산기(110)의 감산에 의해 얻어진 차 또는 나머지(residue)는 DCT 연산기(120)에 인가된다.

압축 P 프레임은 역양자화기(140) 및 IDCT 연산기(150)에서 복호화되고, 복호화된 데이터는 가산기(160)의 제 1 입력단에 인가된다. 동시에 현재 프레임을 예측하기 위해 프레임 메모리(170)에 저장된 기준 영상 프레임의 각각의 블록을 억세스하여 억세스된 블록은 움직임 보상기(180)를 통해 가산기(160)의 제 2 입력단에 인가된다.

가산기(160)는 부호화된 나머지 또는 차와 움직임 보상기(180)로부터 출력되는 데이터를 가산해서 실제의 이미지를 복원한다. 가산기(160)로부터의 복원된 P 프레임은 이후 P 및 B 프레임을 예측 부호화/복호화하기 위하여 프레임 메모리(170)에 저장된다.

가변장 부호화기(도시 생략됨)는 양자화된 데이터를 런길이 부호화해서 통계적 부호화를 행하고, 통계적 부호화된 영상 데이터와 움직임 추정기(190)로부터의 인가되는 움직임 벡터 그리고 매크로블록타입과 같은 부가정보를 다중화하여 출력한다. 버퍼(도시 생략됨)는 다중화된 영상 데이터의 비트레이트를 조절하기 위해 일시 저장한 후에 부호화된 데이터를 출력한다.

도 2는 본 발명에 따른 움직임 추정기의 블록도로서, 이 움직임 추정기(190)는 정화소 단위의 움직임 벡터를 추정하는 정화소 추정기(192)와, 찾아낸 정화소의 움직임 벡터를 근거로 하여 최적의 반화소 단위의 움직임 벡터를 추정하는 반화소 추정기(194)로 구성된다.

정화소 추정기(192)는 압축될 현재의 프레임을 매크로블록으로 분할하고, 분할된 현재 프레임에 대해 이전 또는 이후의 기준 프레임의 탐색 영역에서 이하 설명될 정화소 예측 방법에 의하여 정화소 단위의 움직임 벡터를 추정하여 출력한다.

반화소 추정기(194)는 정화소 단위의 움직임 벡터를 근거로 하여 최적의 반화소 단위의 움직임 벡터를 추정한다.

이하에서는, 본 발명에서 제안하는, 상기 움직임 추정기(특히, 반화소 추정기)에서의 정화소 단위의 움직임 벡터를 근거로 고속 반화소 탐색 및 반화소 단위의 움직임 벡터 추정 방법에 대해 설명하기로 한다.

먼저, 본 발명의 이해를 돕기 위하여 종래 기술과 본 발명의 차이점을 살펴보기로 한다.

종래에는 반화소 탐색을 위해서 정화소 탐색이 끝난 다음, 기준 정화소와 주변 정화소들을 1차 결합하여 반화소를 생성한 후 현재 블록과 만들어진 반화소 블록간의 SAD값을 구하여 반화소 탐색을 실시하였다. 따라서, 반화소를 생성하기 위해서는 그 주변 정화소를 반복적으로 사용해야 하므로 프레임 메모리에 수시로 접근해야 하며, 이것은 SDRAM을 주로 사용하는 최근의 멀티미디어 기기에 있어 많은 연산시간을 소요하게 만드는 주요한 원인이 된다. 또한, 최적의 반화소 블록을 찾기 위해서는 이러한 연산을 8회 반복해야 하므로, 3 단계 정화소 탐색 알고리즘을 사용할 경우 반화소 탐색은 정화소 탐색의 1/2 혹은 1/3 정도의 연산시간을 필요로 하게 된다.

반면에, 본 발명은, 이하 수식 전개를 통해 설명되는 바와 같이, 일반적 반화소 생성 및 탐색 수학식을 분석하여 정화소 SAD값 및 확률적 보상값만을 사용하는 반화소 탐색 연산식(수학식 8)을 유도함으로써 메모리의 정화소 데이터에 대한 불필요한 접근이 없이도 반화소 탐색이 가능하도록 한다.

즉, 단 1회의 8 반화소 탐색 연산을 통해 반화소 탐색이 가능하므로 1회의 8 블록 256 연산이 필요한 기존 반화소 탐색 연산에 비해 1/2000 정도의 연산량 절감을 기대할 수 있다.

본 발명의 원리를 수학식1 내지 수학식9를 통해 자세히 살펴보도록 한다. 일반적으로 반화소는 도 3과 같은 경우 다음의 수학식 1과 같이 예측되어진다.

여기에서, round는 0과 1 중에서 임의로 선택되어지는 값이며, 기호//는 그 우항의 값으로 좌항을 나눈 후 소수점 이하를 버린다는 의미이다.

상기 수학식 1을 적용하면, 정화소 탐색에 의해 구해진 예측 정화소(E)를 중심으로 도 4와 같이 주변 8개의 반화소를 예측하고, 예측 정화소를 16 대 16 블록의 최 좌측, 최 상단 화소로 하는 정화소 블록에 대하여 주변 8개 반화소에 대응하는 16 대 16 블록의 반화소 블록을 구할 수 있다. 또한, 반화소 탐색은 이와 같이 예측된 각 반화소 블록과 예측 정화소 블록간의 SAD값중 최소값으로 결정하게 된다. 도 4에서 알파벳 대문자는 정화소이고, 반화소는 알파벳 소문자로 나타나며 예측 정화소는 9개 정화소의 한 가운데 정화소인 E가 된다.

기존의 반화소 탐색 방법을 다음의 수학식 2와 수학식 3을 통해 고찰해보도록 한다.

먼저, 기준이 되는 예측 정화소의 값을

라 하자. 첨자 x와 y는 예측 정화소의 x 좌표, y 좌표로서, 정화소는 정수 단위로 반 화소는 0.5 단위로 증감된다. 이를 도 4에 적용하면 도 5와 같이 정화소와 반화소가 나타난다. 예측 정화소

에 대하여 x-0.5, y-0.5위치에 있는 반화소를

라 하면 round값이 0일때 반화소

는 예측 정화소

주변의 정화소인

의 1차 결합으로 수학식 2와 같이 나타난다. 이때 예측 정화소

는 현재 프레임의 값이며 주변 정화소

는 과거 프레임의 값이다.

수학식 2에서 정의된 반화소 수식을 사용하여, 16대 16 예측 정화소 블록과 반화소

간의 SAD 값은 다음의 수학식 3과 같이 계산된다.

한편, 수학식 2에서와 같이 반화소가 정화소의 1차 결합인 것에 착안하여 정화소와 반화소간의 차인 SAD값의 모든 관계를 정화소간의 수식으로 변환하면, 다음의 수학식 4와 같은 관계를 얻게 된다.

또한, 수학식 4의 결과를 나머지 반화소 탐색에 적용하면 수학식 5와 같은 결과를 얻게 된다.

상기 수학식 4와 5에서,

는 반올림 오차의 누적 값이며, 이를 보정하는 round 값의 존재를 가정하면 평균적으로 0이 된다. 또한,

는 수학식 6과 같이 정의되는 정화소 SAD 값이다.

수학식 6에서 λ, δ는 -1,0,1사이의 정수 값이다. 수학식 4와 수학식 5에 제시된 바와 같이, 정화소 SAD 값으로부터 추정되는 반화소 SAD값은 실제 반화소 SAD값 보다 크기 때문에 이 값으로 직접 반화소 추정을 행하는 것은 바람직하지 않으며, 적절한 보정값을 주어 반화소 추정이 이루어지도록 만들어야 한다.

다음은 이러한 보정값을 얻기 위한 확률적 방법의 일실시예이다.

정화소간 SAD값의 최대 값은 256이므로 정화소간 SAD값은 -256에서 +256 사이의 값을 가지게 된다. 그런데 0~256 사이의 값은 양수이므로 실제로 문제가 되는 부분은 음수가 되는 0에서 -256 까지의 값이다.

정화소간 SAD 값이 정규분포를 따른다고 가정하고 최적 정화소 탐색에 의해 가장 작은 정화소 SAD 값을 가진다고 생각하면, 최적 정화소 주변에서 약 1% 정도의 화소당 오차를 가질 경우 전체 오차의 크기는 512이므로 분산은 대략 5가 된다. 따라서, 분산 5에 평균 0의 정규분포를 가진 SAD값의 분포에서 음수 부분의 평균값은 다음 수학식 7과 같이 계산된다.

수학식 7에서 M은 대상 블록의 모든 화소 값(수)으로 16 대 16 블록의 경우 256이며,

은 평균 0, 분산 5를 가지는 정규분포에서 값 k에서의 확률밀도함수 값을 나타낸다. 이 경우 M을 제외한 부분의 값은 약 -2가 되므로 수학식 7의 결과는 -512의 값을 얻게 된다. 그러므로 0에서 -512까지의 값을 가지는 확률변수로 보정하여 반화소 SAD값을 다음의 수학식 8과 같이 추정할 수 있다.

수학식 8에서 R_N(x) 는 0에서 x사이의 값을 가지는 확률변수인 보정값이다.

상기된 바와 같이 정화소 SAD값 및 확률변수 보정에 의해 반화소 탐색 결과를 얻게 되면, 다음의 수학식 9와 같이 수행되어 정화소 탐색 및 반화소 탐색 결과에 의한 최종 움직임 벡터를 만들 수 있다.

상술한 바와 같이 본 발명에 따른 정화소 탐색시의 SAD값 및 확률 변수에 기반한 고속의 반화소 탐색 방법은, MPEG의 제 표준안(MPEG-1, MPEG-2, MPEG-4 등)과 ITU의 동영상 표준안(H.261, H.263, H.26L, H264 등)의 반화소 움직임 탐색을 위해 정화소 SAD 연산값과 확률변수를 사용하여 반화소 추정을 수행하기 때문에, 움직임 추정을 위한 계산량이 획기적으로 감소하고 이에 따른 계산 시간의 감소와 하드웨어 복잡성이 감소되는 효과가 있다.

이상에서 설명한 것은 본 발명에 따른 정화소 탐색시의 SAD값 및 확률 변수에 기반한 고속의 반화소 탐색 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구의 범위에서 청 구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

Claims (4)

1. 동영상 부호화를 위한 반화소 탐색 방법에 있어서,

   (a)소정 크기 블록으로 분할된 현재 프레임의 각 블록에 대해 이전 또는 이후의 기준 프레임의 소정 크기 블록에 대한 정화소 SAD값을 산출하여 정화소 탐색을 수행하는 단계와,

   (b)예측 정화소의 주변 8개 반화소에 대한 SAD 값을 아래의 수학식(1)과 같이 상기 정화소 탐색에 사용된 정화소 SAD값의 1차 결합으로 추정하고, 상기 추정된 상기 예측 정화소의 주변 8개 반화소에 대한 SAD 값에 아래의 수학식(2)와 같이 확률변수의 보정값(R_N(x))을 이용하여 소정 크기의 블록에 대한 반화소 탐색을 수행하는 단계를 포함하여 이루어지는 것을 특징으로 하는 정화소 탐색시의 SAD값 및 확률 변수에 기반한 고속의 반화소 탐색 방법.

   [수학식(1)]

   

   16대 16 크기의 블록에 대한 것으로,

   

   ; x,y 좌표에 따른 예측 정화소 값, λ와 δ; -1,0,1 사이의 정수 값,

   

   ; 정화소 SAD 값,

   

   ; 반올림 오차의 누적 값, R_N ; 보정값.

   [수학식(2)]

   

   R_N(x) 는 0에서 x사이의 값을 가지는 확률변수인 보정값,

   

   은 평균 0, 분산 5를 가지는 정규분포에서 값 k에서의 확률밀도함수 값.
2. 제 1항에 있어서, 상기 (a)단계는,

   기준 정화소에 대하여 주변 8개의 정화소에 대한 소정 크기 블록에 대한 SAD값을 계산하고 8개의 정화소 SAD값을 메모리에 저장하는 것을 특징으로 하는 정화소 탐색시의 SAD값 및 확률 변수에 기반한 고속의 반화소 탐색 방법.
3. 삭제
4. 삭제

Images