KR100207650B1 - 영상 압축 시스템의 움직임 추정 장치 - Google Patents

Abstract

본 발명은 영상압축 시스템의 움직임 추정 장치에 관한 것으로서, 현재 프레임을 소정의 크기로 나눈 기준블록과 탐색영역 내에서 이전 프레임을 소정의 크기로 나눈 탐색영역블록을 구성하고 있는 화소에 대해, 상기 화소값을 표현하는 해상도의 레벨수를 원래보다 줄인 저해상도 이미지로 변환한 후 상기 기준블록과 탐색영역블록의 화소를 저해상도 이미지로 생성하는 저해상도 이미지 생성수단; 상기 저해상도 이미지 생성수단에서 생성된 기준블록의 저해상도 이미지와 탐색영역블록의 저해상도 이미지를 비교하여, 상기 기준블록과 상기 탐색영역블록간의 상이도를 계산하는 상이도 계산수단; 및 복수의 탐색영역블록에 대해 상기 저해상도 이미지 생성수단과 상이도 계산 수단을 통해 구해진 상이도 중에서 상이도가 가장 작은 정합블럭을 찾아 움직임 벡터를 구하는 정합블럭 결정수단을 포함함을 특징으로 한다.

본 발명에 의하면, SAD를 사용하는 기존의 움직임 추정 방법을 사용하는 장치에 비해 하드웨어를 크게 줄일 수 있다는 장점을 갖는다.

Description

영상 압축 시스템의 움직임 추정 장치

제1도는 본 발명에 따른 영상 압축 시스템의 움직임 추정 장치를 설명하기 위한 시스템도를 도시한 것이다.

제2도는 상기 저해상도 이미지 생성부(110)에서 양자화를 사용하여 저해상도 이미지를 생성하는 장치에 대한 일실시예를 도시한 것이다.

제3도는 2비트의 해상도를 가지는 저해상도 이미지를 비교하여 상기 표 1의 DPC를 계산하는 구체 회로도이다.

제4도는 2비트의 해상도를 가지는 저해상도 이미지를 비교하여 상기 표 3의 PSAD를 계산하는 구체 회로도이다.

제5도는 종래의 SAD를 사용하는 움직임 추정 방법을 위한 회로도를 도시한 것이다.

본 발명은 동영상 압축 시스템의 움직임 추정 장치에 관한 것으로, 특히 기준블록과 탐색영역블록의 화소값을 저해상도 양자화하여 비교하는 움직임 추정 장치에 관한 것이다.

일반적으로 동영상을 압축하기 위해서는 동영상이 가지고 있는 중복성을 효율적으로 제거하여야 한다. 동영상전문가그룹(Moving Picture Expert Group:MPEG), H.261등 현재 사용되고 있는 대부분의 동영상 압축 시스템에서는 시간적인 중복성을 제거하기 위해서 움직임 추정 방법을 사용하고 있는데, 이는 현재 프레임을 여러 개의 작은 블록(이하 기준블록이라 함)으로 나눈 다음, 각각의 기준블록에 대해 주어진 탐색영역 내에서 이전 프레임의 여러 블록(이하 탐색영역블록이라 함)과 비교하여 기준블록과 닮지않은 정도(dissimilarity measure, 이하 상이도라 함)를 계산한 후, 상이도가 가장 작은 블록(이하 정합블록이라 함)을 찾아내어 기준블록과 정합블록의 위치차이를 나타내는 움직임 벡터와, 기준블록과 정합블록의 화소 차이만을 전송하는 방법이다.

기준블록과 탐색영역블록의 상이도는 여러 가지 방법으로 계산할 수 있으나 기존의 움직임 추정방법에서는 하기 식 (1)과 같이 뺄셈과 누산만으로 계산할 수 있는 '차에 대한 절대값의 합'(sum of absolute difference:이하 SAD라 함)이 가장 많이 사용된다. 이 때 상기 SAD를 최소로 하는 (u, v)의 값이 움직임 벡터가 되며, 이 때의 탐색영역 블록이 정합블록이 된다.

상기 기존의 움직임 추정 방법에서 가장 큰 문제점은 프레임 크기와 초당 프레임 전송속도가 늘어남에 따라 이를 처리할 하드웨어가 커진다는데 있다. 기준블록의 크기가 16화소 × 16화소일 때 기준블록과 탐색영역블록 사이의 SAD를 계산하기 위해서는 탐색영역블록당 각각 뺄셈, 절대값 계산, 누산이 256번 필요하므로 탐색영역의 크기가 64화소 × 64화소일 때 기준블록 하나의 움직임 벡터를 구하려면 각각 뺄셈, 절대값 계산, 누산이 1048576번 필요하게 된다.

상기 기존의 움직임 추정 방법을 하드웨어로 구현하기 위해서는 뺄셈, 절대값 계산, 누산 모두 뺄셈기와 누산기를 사용한다. 각 화소의 해상도를 k비트라 하고 기준 블록의 크기를 n화소 × n화소, 탐색영역의 크기를 p화소 × p화소라 하면 화소 하나를 비교하기 위해서는 뺄셈과 절대값 계산을 위한 2개의 k비트 뺄셈기와 누산을 위한 1개의 (k + 2log₂n) 비트의 누산기가 필요하며, 매 싸이클당 기준 블록 하나의 움직임 벡터를 구하기 위해서는 k 비트의 뺄셈기가 2 × n²× p²개, (k +2log₂n)비트 누산기가 n²× p²개 만큼 필요하게 된다.

초당 처리해야 하는 기준 블록의 숫자와 이에 따른 뺄셈기와 누산기의 개수는 프레임 크기와 초당 프레임 전송 속도에 비례하므로, 프레임 크기나 초당 프레임 전송속도가 어느 이상 늘어나면 상기 기존의 움직임 추정 방법을 하드웨어로 실시간에 구현하기 어렵게 된다.

상기 기존의 SAD를 사용하는 움직임 추정 방법에서 연산량을 줄이기 위해서 기존에 게시된 방법으로는 탐색영역내에 있는 전체 탐색 영역블록을 기준블록과 비교하는 전역탐색(full search) 대신 일부 탐색영역블록만 기준블록과 비교하여 SAD를 계산하는 여러 가지 방법이 있는데, 이러한 방법은 전체 탐색영역 블록을 기준 블록과 비교하지 않기 때문에 전역탐색에 비해 성능이 크게 떨어진다.

따라서 본 발명은 상술한 문제점을 해결하기 위해 창출된 것으로서, 탐색영역내에 있는 전체 탐색영역블록을 기준블록과 비교하면서도 연산량을 효과적으로 줄여 하드웨어 량을 크게 줄이고 성능을 전역탐색에 근접하게 유지하는 영상 압축 시스템의 움직임 추정 장치를 제공하는데 그 목적이 있다.

상기의 목적을 달성하기 위한 본 발명에 따른 영상 압축 시스템의 움직임 추정 장치는 현재 프레임을 소정의 크기로 나눈 기준블록과 탐색영역 내에서 이전 프레임을 소정의 크기로 나눈 탐색영역블록을 구성하고 있는 화소에 대해, 상기 화소값을 표현하는 해상도의 레벨(level)수를 원래보다 줄인 저해상도 이미지로 변환한 후 상기 기준블록과 탐색영역블록의 화소를 저해상도 이미지로 생성하는 저해상도 이미지 생성수단; 상기 저해상도 이미지 생성수단에서 생성된 기준블록의 저해상도 이미지와 탐색영역블록의 저해상도 이미지를 비교하여, 상기 기준블록과 상기 탐색영역블록간의 상이도를 계산하는 상이도 계산수단; 및 복수의 탐색영역블록에 대해 상기 저해상도 이미지 생성수단과 상이도 계산 수단을 통해 구해진 상이도 중에서 상이도가 가장 작은 정합블럭을 찾아 움직임 벡터를 구하는 정합블럭 결정수단을 포함함을 특징으로 한다.

그리고 상기 영상 압축 시스템의 움직임 추정장치에서 연산량을 효과적으로 줄일 뿐만 아니라 특히 성능을 전역탐색에 근접하게 유지하는 영상 압축 시스템의 움직임 추정 장치는 상기 영상 압축 시스템의 움직임 추정장치에 있어서 상기 정합블럭 결정수단을 복수의 탐색영역블록에 대해 상기 저해상도 이미지 생성수단과 상이도 계산수단을 통해 구해진 상이도 중에서 상이도가 작은 블록들(후부위치블록들)을 결정하는 후보위치 결정수단으로 하고, 상기 후보위치 결정수단에서 결정된 복수개의 후보위치블럭에 대한 움직임 벡터 후보위치에 해당하는 탐색영역블록의 이미지를 원래의 해상도의 이미지를 사용하여 기준블록의 원래 해상도의 이미지와 비교하여 최종 움직임 벡터를 구하는 원해상도 탐색수단을 부가로 구비함을 특징으로 한다.

이하에서 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

제1도는 본 발명에 따른 영상 압축 시스템의 움직임 추정 장치를 설명하기 위한 시스템도를 도시한 것으로서, 화소값의 해상도 레벨수를 낮춘 아날로그 또는 디지탈로 표현되는 저해상도 이미지를 생성하여 이를 탐색영역 전체에서 비교하여 움직임 벡터 후보위치를 결정하는 저해상도 탐색부(100)와, 상기 움직임 벡터 후보위치의 기준블록과 후보위치 블록을 원래 해상도의 이미지를 사용하여 비교하여 최종 움직임 벡터를 결정하는 원해상도 탐색부(200)로 구성된다.

상기 저해상도 탐색부(100)는 k 비트의 비트 해상도를 갖는 기준블록의 화소들(101)과 탐색영역블록의 화소들(102)을 입력으로 받아들여 양자화한 후 m 비트(mk)의 비트 해상도를 갖는 기준블록의 저해상도 이미지(103)와 탐색영역블록의 저해상도 이미지(104)를 생성하는 저해상도 이미지 생성부(110)와, 상기 저해상도 이미지(103, 104)를 비교하여 상이도(105)를 계산하는 상이도 계산부(120)와, 상기 상이도를 비교하여 움직임벡터 후보위치(106)를 출력하는 후보위치 결정부(130)로 구성된다.

그리고 상기 원해상도 탐색부(200)는 상기 움직임벡터 후보위치에 해당하는 기준블록(101)과 탐색영역 블록(102)을 원래의 k비트 해상도로 비교하여 최종 움직임벡터(203)을 출력한다.

제2도는 상기 저해상도 이미지 생성부(110)에서 양자화를 사용하여 저해상도 이미지를 생성하는 장치에 대한 일실시예를 도시한 것이다. 상기 일실시예에서 저해상도 이미지 생성부(110)는 평균뺄셈기(112)와 양자화기(114)로 구성되며, k비트의 해상도를 갖는 기준블록(101)과 탐색영역블록(102)은 평균뺄셈기(112)에서 기준블록의 평균값을 뺀 값(201, 202)으로 바뀌며, 이 값은 양자화기(114)를 통하여 m 비트의 해상도를 갖는 기준블록 저해상도 이미지(103), 탐색영역 저해상도 이미지(104)로 바뀐다.

여기서 k 비트의 해상도를 가지는 화소를 m 비트로 해상도를 낮추어 양자화할 때 화소가 가지고 있는 정보를 가능한 한 잃어버리지 않고 양자화시키려면 각 화소를 그냥 양자화하는 것보다는 각 화소의 평균값을 뺀 후 양자화하는 편이 유리한데, 기준블록과 탐색영역블록의 화소값 모두 같은 값을 뺀 후 양자화시켜야 하므로, 여기에서는 계산량이 작은 기준블록의 평균값을 뺀 후 m 비트로 양자화한다. 상기 제2도에서는 k=8인 화소에서 m=2인 코드를 생성하는 경우를 예로 나타내었다.

그리고 상기 저해상도 이미지 생성부(110)에서 양자화를 위한 양자화 경계는 현재 프레임 전체에 걸쳐서 일정한 값을 유지할 수도 있고, 화소의 통계적 성질을 이용하여 양자화 오차를 최소로 하도록 정할 수도 있다. 비선형 양자화 이론에 따르면 화소의 분포가 가우스 분포나 감마 분포, 라플라스 분포를 따를 때 양자화 오차를 최소로 하는 양자화 경계(quantization threshold)는 화소의 표준편차에 특정상수를 곱한 값으로 정해진다. 제2도에서는 화소가 가우스 분포를 가진다고 가정하고 화소의 표준편차에 0.982를 곱한 값을 양자화 경계로 사용한다. 기준블록과 탐색영역 블록의 화소값 모두 같은 양자화 경계를 사용하여 양자화 되어야 하므로, 여기에서는 계산량이 작은 기준블록의 표준 편차에 0.982를 곱한 값을 양자화 경계로 사용한다.

한편 상기 상이도 계산부(120)는 상기 저해상도 이미지 생성부(110)에서 생성된 m 비트 저해상도 이미지를 이용하여 상이도를 계산한다. 기준블록과 탐색영역 블록을 비교할 때, 비교할 블록의 m 비트 저해상도 이미지를 비교하여 하기의 식 (2)와 같이 저해상도 이미지의 코드끼리 서로 일치하지 않는 화소의 숫자를 세어 상이도를 계산할 수 있는데, 이를 DPC(different pixel count)라 칭한다. 화소가 서로 일치하지 않는 척도를 나타내는 화소별 DPC는 두 화소의 저해상도 이미지 코드가 같으면 0, 다르면 1로 주어지는 m=2일 때의 화소별 DPC는 표 1과 같이 결정되며, 전체 DPC는 비교하는 블록의 각 화소에 대한 화소별 DPC를 모두 더한 값이 된다.

여기서 -pu, vp 이고, rb1(i, j)는 현재 프레임의 기준블록에서 (i, j)번째 화소값의 저해상도 이미지를 나타내며, swl(i, j)는 이전 프레임의 탐색영역블록에서 (i, j)번째 화소값의 저해상도 이미지를 나타낸다.

k 비트의 해상도를 갖는 화소를 m 비트로 양자화 시켰을 때, 양자화된 값과 원래 화소 값의 차이가 가장 적게 나타나도록 m 비트 저해상도 이미지에 복원화소값을 대응시켜서, 이 복원화소값을 식 (3)과 같이 계산하면 SAD와 비슷한 성질의 상이도를 얻을 수 있는데 이를 PSAD(pseudo SAD)라 칭한다. 화소별 서로 다른 정도를 나타내는 화소별 PSAD는 두 화소의 저해상도 이미지의 복원 화소값의 차를 절대값을 취한 값으로 주어지는데, 화소의 분포가 가우스 분포를 가진다고 할 때 m=2일때의 복원화소값과 이에 따른 PSAD는 각각 표 2, 표 3과 같이 결정되며, 전체 PSAD는 비교하는 블록의 각 화소에 대한 화소별 PSAD를 모두 더한 값이 된다.

여기서 상기 상이도 계산부(120)에서 상이도를 계산할 때, 화소별 상이도를 합산하는 방법으로는 화소별 상이도에 해당하는 전류 또는 전압을 적절한 회로를 통해 더하는 아날로그 방식과 덧셈기를 이용하는 디지탈 방식 두가지가 있을 수 있는데, 모두 적용이 가능하다.

상기 상이도 계산부(120)에서 출력된 상이도를 최소로 하는 위치를 바로 움직임 벡터로 결정할 수도 있지만, 일반적으로 해상도를 낮추어서 계산한 상이도만으로는 SAD에 비해서 최적의 움직임 벡터를 찾을 가능성이 떨어진다. 따라서 본 발명에서는 상기 상이도 계산부(120)에서 계산된 상이도를 참조하여 상기 후보위치 결정부(130)에서 복수개의 움직임 벡터 후보위치로 출력한 다음, 상기 움직임 벡터 후보위치에 해당하는 k 비트의 해상도를 갖는 기준블록과 탐색영역블록을 비교하여 상기 원해상도 탐색부(203)에서 최종 움직임벡터를 구한다. 최종 움직임벡터를 구하는 방법으로는 상기 식 (1)의 SAD를 사용할 수 있다.

상기 원해상도 탐색부(200)에서 사용되는 하드웨어가 기존의 SAD를 계산하는 움직임 추정 방법의 하드웨어와 동일하더라도, 상기 후보위치 결정부(130)에서 출력되는 후보위치의 숫자가 탐색영역내에 존재하는 후보블록의 개수보다 작기 때문에 원해상도 탐색부(203)의 하드웨어는 기존의 SAD를 계산하는 움직임 추정 방법의 하드웨어보다 작게 된다. 본 발명에서는 후보위치의 숫자를 매우 작게하여 본 발명의 움직임 추정 방법의 전체 하드웨어를 기존의 움직임 추정 방법의 하드웨어보다 작게 할 수 있다.

본 발명에서는 k 비트의 해상도를 가지는 화소를 m 비트 저해상도 이미지로 변환함으로써 k 비트 뺄셈기 대신 간단한 로직 게이트로도 구현이 가능하다. 제3도와 제4도는 기존 블록과 탐색 영역블록의 해상도가 8비트이고, 상기 저해상도 이미지 생성부에서 생성된 이미지의 해상도가 2비트일 때 상기 저해상도 이미지를 비교하여 DPC와 PSAD를 계산하는 회로의 일실시예를 도시한 것이다.

제3도는 2비트의 해상도를 가지는 저해상도 이미지를 비교하여 상기 표 1의 DPC를 계산하는 구체 회로로서, 기준블록의 저해상도 이미지를 나타내는 2비트 입력(RBL[0], RBL[1])과 탐색영역블록의 저해상도 이미지를 나타내는 2비트 입력(SWL[0], SWL[1])을 각각 배타논리함(XOR) 게이트(310, 320)로 배타적으로 논리합하여 논리합(OR) 게이트(330)로 논리합한 출력(DPC)을 얻는다. 이 때 출력(204)이 논리 '0'일 때에는 기준블록의 저해상도 이미지가 탐색영역블록의 저해상도 이미지와 일치함을 나타내며, 논리 '1'일 때에는 일치하지 않음을 나타낸다.

제4도는 2비트의 해상도를 가지는 저해상도 이미지를 비교하여 상기 표 3의 PSAD를 계산하는 구체적인 회로도로서, 기준 블록의 저해상도 이미지를 나타내는 2비트 입력의 하위비트(RBL[0])와 상위비트(RBL[1]), 탐색영역 블록의 저해상도 이미지를 나타내는 2비트 입력의 하위비트(SWL[0])와 상위비트(SWL[1])에서 PSAD의 하위비트(PSAD[0])는 각 입력의 하위비트(RBL[0], SWL[0])를 배타논리합(XOR) 게이트(410)를 사용하여 배타적으로 논리합한 출력이 되고, PSAD의 상위비트(PSAD[1])는 각 입력을 배타논리합 게이트(410, 420), 논리곱(AND) 게이트(430, 440), 부논리합(NOR) 게이트(450)를 거친 출력이 된다.

기존의 SAD를 사용하는 영상 압축 시스템의 움직임 추정 방법은 하나의 화소를 비교할 때마다 제5도에 도시된 것 처럼 뺄셈을 수행하는 k비트 뺄셈기(510)와 절대값 계산을 수행하는 k 비트 뺄셈기(520), 누산을 수행하는 (k + 2log₂n)비트 누산기(530)가 필요하다. 본 발명과 기존의 SAD를 사용하는 움직임 추정 방법을 비교하면 SAD계산시에는 뺄셈과 절대값 계산을 하는데 8비트 뺄셈기가 총 두 개 필요한데 비해서, 상기 제3도의 구현 예에서 보듯이 2비트 저해상도를 사용한 DPC 계산은 3개의 로직 게이트로 구현되고 상기 제4도의 구현예에서 보듯이 2비트 저해상도를 사용한 PSAD 계산은 5개의 로직 게이트로 구현되므로 하드웨어의 양과 동작속도 모두 기존의 SAD를 사용하는 움직임 추정 기법에 비해서 유리하다.

상술한 바와 같이 본 발명에 의하면, SAD를 사용하는 기존의 움직임 추정방법을 사용하는 장치에 비해 하드웨어를 크게 줄일 수 있다는 장점을 갖는다. 즉 본 발명은 k비트의 해상도를 가지는 n화소 × n화소 크기의 기준블록과 탐색영역블록의 화소를 m 비트의 저해상도 이미지로 변환하여, SAD 계산에 필요한 k비트 뺄셈기와 (k +2log₂n)비트 누산기 대신에 상기 상이도 계산부에 m 비트 뺄셈기와 (m +2log₂n)비트 누산기를 사용하여 상이도를 계산함으로써 하드웨어를 줄일 수 있다.

또한 본 발명을 하드웨어로 구현할 때 뺄셈기와 누산기의 지연시간은 비트수에 비례한다. 그리고 하드웨어로 구현시 지연시간이 가장 큰 것은 (k +2log₂n) 비트 누산기이므로, 동작속도를 높이려면 속도가 빠른 누산기를 사용하거나 파이프라인 레지스터를 사용하여야 하는데, 이 경우 하드웨어의 추가 부담이 생기게 된다. 이를 (m +2log₂n)비트 누산기로 대치하면 하드웨어의 추가 부담도 줄일 수 있으며, 동작속도도 높일 수 있다. 따라서 본 발명에서는 기존의 영상 압축 시스템의 움직임 추정 방법에 비해 하드웨어의 추가부담을 줄이면서 동작속도를 높일 수 있다. 그리고 본 발명에서는 m 이 작을 경우 SAD 계산에 필요한 k 비트 뺄셈기 대신에 상기 상이도 계산부에서 간단한 로직 게이트 만으로 구현하는 방법을 제시한다.

또한 본 발명은 동영상 압축 시스템에서 움직임 추정 방법의 연산량을 줄이는 기술로, 멀티미디어, 동영상 전화기, 화상회의, HDTV등 대부분의 영상 압축 시스템에서 응용이 가능하다.

Claims (5)

1. 현재 프레임을 소정의 크기로 나눈 기준블록과 탐색영역 내에서 이전 프레임을 소정의 크기로 나눈 탐색영역블록을 구성하고 있는 화소에 대해, 상기 화소값을 표현하는 해상도의 레벨수를 원래보다 줄인 저해상도 이미지로 변환한 후 상기 기준블록과 탐색영역블록의 화소를 저해상도 이미지로 생성하는 저해상도 이미지 생성수단; 상기 저해상도 이미지 생성수단에서 생성된 기준블록의 저해상도 이미지와 탐색영역블록의 저해상도 이미지를 비교하여, 상기 기준블록과 상기 탐색영역블록간의 상이도를 계산하는 상이도 계산수단; 복수의 탐색영역블록에 대해 상기 저해상도 이미지 생성수단과 상이도 계산수단을 통해 구해진 상이도 중에서 상이도가 작은 블록들(후보위치블록들)을 결정하는 후보위치 결정수단; 및 상기 후보위치 결정수단에서 결정된 복수개의 후보위치블럭에 대한 움직임 벡터 후보위치에 해당하는 탐색영역블록의 이미지를 원래의 해상도의 이미지를 이용하여 기준블록의 원래 해상도의 이미지와 비교하여 최종 움직임 벡터를 구하는 원해상도 탐색수단을 포함함을 특징으로 하는 영상 압축 시스템의 움직임 벡터 추정 장치.
2. 제1항에 있어서, 상기 저해상도 이미지 생성수단은 기준블록과 탐색영역블록의 화소값에서 기준블록의 평균값을 빼는 평균뺄셈기; 및 상기 평균값을 뺀 결과 값을 양자화하여 저해상도 이미지를 생성하는 양자화기로 이루어짐을 특징으로 하는 움직임 추정 장치.
3. 제2항에 있어서, 상기 양자화기는 기준블록의 표준편차 또는 평균편차를 사용하여 양자화 경계를 정하는 양자화기임을 특징으로 하는 영상 압축 시스템의 움직임 추정 장치.
4. 제1항에 있어서, 상기 상이도 계산수단은 기준블록의 저해상도 이미지와 탐색영역블록의 저해상도 이미지를 화소별로 비교하여 서로 일치하지 않는 화소의 개수를 세어 상이도를 결정하는 상이도 계산수단임을 특징으로 하는 영상 압축시스템의 움직임 추정 장치.
5. 제1항에 있어서, 상기 상이도 계산수단은 기준블록의 저해상도 이미지의 복원화소 값에서 탐색영역블록의 저해상도 이미지의 복원 화소값을 뺀 차의 절대값을 모두 더하여 상이도를 결정하는 상이도 계산 수단임을 특징으로 하는 영상 압축 시스템의 움직임 추정 장치.