KR0152014B1 - 화상데이타압축에서의 움직임추정방법 및 그 장치 - Google Patents

Abstract

화상데이타압축시스템에서 영상블록의 프레임간 움직임을 보상하는 방법에 있어서, 현재블록과 실제적으로 동일한 정보를 갖는 한프레임이전블록들로부터 현재블록에 대한 움직임벡터를 생성하는 단계와, 한프레임이전블록과의 비교에 의해 발생하는 현재블록에 관한 움직임벡터중에서 그 크기및 방향이 현재블록에 인접한 블록의 움직임벡터와 가장 유사한 움직임벡터를 검출하는 단계를 포함하는 움직임추정방법을 이용함으로써 보다 정확한 움직임추정을 수행하여 현재화상을 예전화상에서 찾아내어 두 화상간의 차분을 최소화하면, 그 차분만큼만 부호화하하여 전송하므로 전송되는 데이타의 양을 줄일 수 있어 결과적으로 데이타압축효율을 향상시키는 효과가 있다.

Description

화상데이타압축에서의 움직임추정방법 및 그 장치

제1도는 일반적인 디지탈부호화장치.

제2도는 종래의 움직임추정장치를 나타내는 블록도.

제3도는 본 발명의 일 실시예에 따른 움직임추정장치를 나타내는 블록도.

제4도는 일반적인 움직임추정원리 및 과정을 나타내는 개념도.

제5도는 최소평균절대차가 같은 경우의 처리과정에 대한 개념도.

본 발명은 화상데이카압축에서의 움직임추정방법 및 그 장치에 관한 것으로서, 특히 움직임보상방식을 이용하는 화상데이타압축에서의 움직임추정방법및 그 장치에 관한 것이다.

화상이나 음성의 디지탈신호를 효율적으로 전송하거나, 축적하기 위하여 데이타량을 압축하는 각종의 부호화방식이 제안되고 있다. 보편적으로 사용되는 화상데이카압축방법으로는 예측부호화, 직교변환부호화, 벡터양자화등이 있는데 데이타압축효율을 향상시키기 위하여 여러가지 데이타압축방법을 적절히 조합하여 사용하는 추세이다.

제1도는 일반적인 디지탈부호화장치를 나타내는 블록도로서, 움직임보상(Motion Compensation), 차분펄스부호변조(Differential Pulse Code Modulation; 이하 DPCM), 변환(Transform), 가변장부호화(Variable Length Coding)를 조합하여 구성하는 전형적인 디지탈부호화장치를 나타낸 것이다.

제1도에서 디지탈부호화장치는, 시간영역의 영상신호를 주파수영역으로 퓨리에변환(Fourier Transform)하여 적절한 대표값으로 양자화하는 변환 및 양자화수단과, 양자화된 주파수영역의 영상신호를 가변장부호화하는 가변장부호화수단과, 변환 및 양자화수단에서 출력하는 주파수영역의 양자화된 영상신호를 변환및 양자화되기이전의 영상신호와 유사한 영상신호로 역양자화및 역변환하는 수단과, 디지탈부호화장치의 입력단으로 입력하는 영상신호와 역양자화 및 역변환수단의 출력신호를 이용하여 움직임보상및 차분펄스부호로 변조하는 움직임보상 DPCM수단으로 구성된다.

이와 같이 구성된 일반적인 디지탈부호화장치의 동작을 간단히 설명하면, 영상신호(VS)가 입력단을 통하여 제1가산기(A1)및 움직임추정기(7)로 입력된다. 제1가산기(A1)에 입력되는 영상신호(VS)는 변환부(1) 및 양자화부(2)를 거치면서 양자화된 변환계수로 변환하여 가변장부호화부(3) 및 역양자화부(4)로 출력된다. 가변장부호화부(3)에 인가되는 변환계수는 줄길이(Run Length)부호화 및 허프만부호화(Huffman Codign)로 구성되는 가변장부호화과정을 거쳐 가변장부호화부(3)에서 출력된다. 또한, 역양자화부(4)로 입력되는 변환계수는 역양자화부(4) 및 역변환부(5)에 의하여 역양자화 및 역변환된 시간영역의 영상신호로 변환하여 출력된다. 역변환부(5) 출력신호와 상술한 디지탈부호화장치의 입력단으로 입력하는 영상신호가 움직임보상 DPCM수단에 입력되면, 프레임메모리(6)와 움직임추정부(7) 및 움직임보상부(8)로 구성되는 움직임보상수단은 현재의 영상신호와 프레임메모리(6)에 저장되는 한프레임이전의 영상신호를 이용하여 움직임정보 및 움직임보상된 영상신호를 출력한다. 상술의 움직임보상된 영상신호는 제1가산기(A1) 및 제 2가산기(A2)로 전송된다. 제 1가산기에서 출력되는 입력 영상신호및 예측프레임신호의 차분신호는 변환 및 양자화수단과 가변장부호화수단에 의하여 부호화된다.

상술의 디지탈부호화장치에 사용하는 일반적인 움직임추정방법으로는 블록맞추기알고리듬(Block Matching Algorithm)이 있다. 블록맞추기알고리듬은 움직임벡터를 찾기 위해 현재프레임의 지정된 블록과 동일한 크기이며 이전프레임의 검색영역에 속하는 블록을 한화소씩 이동하면서 현재블록과 가장 비슷한 블록을 찾는 것으로서 제2도를 참조하여 종래의 움직임추정장치를 설명한다.

제2도는 종래의 움직임추정장치를 나타내는 블록도로서, 제1도의 움직임추정부(7)에 구현되는 종래의 움직임추정장치를 나타낸 것이다. 현재 블록형성부(10)에서 출력하는 현재프레임내의 블록에 관한 데이타와 검색영역형성부(11)에서 출력하는 한프레임이전의 검색영역에 관한 데이타가 평균 절대차계산부(12)에 입력한다. 평균절대차계산부(12)는 현재블록과 검색영역에 있는 이전프레임블록 화소들의 영상정보를 개별적으로 비교하여 그 평균절대차(Mean Absolute Difference;MAD)를 발생한다. 메모리(13)에 저장되는 평균절대차들은 평균절대차비교부(14)에서 그 크기가 비교되어 최소 평균절대차에 대응하는 움직임벡터를 출력한다. 즉, 평균절대차들의 크기가 비교되어 최소평균절대차를 생성하는 현재블록과 검색영역상의 블록간의 변위(Displacement)에 해당하는 움직임벡터를 출력한다. 또한, 최소의 동일한 평균절대차가 여러개 발생하면 가장 먼저 계산된 최소평균절대차 또는 가장 나중에 계산된 최소평균절대차를 갖는 한 프레임이전블록에 대응하는 움직임벡터를 출력한다.

상기와 같은 종래의 움직임추정장치에 의하면 검색영역상에서 현재블록과 유사한 데이타를 갖는 여러개의 블록들에 대하여 임의적으로 하나의 블록을 선택함으로써 잘못된 움직임정보를 검출할 확률이 높으며 따라서 데이타압축효과를 감소시키는 문제가 발생한다.

본 발명은 상기의 문제점을 해결하기 위한 것으로서, 본 발명은 화상의 움직임이 현재블록과 유사한 현재프레임내의 인접블록을 이용함으로써 보다 정확한 움직임정보를 얻을 수 있는 움직임추정방법 및 그 장치를 제공한다.

상기의 목적을 달성하기 위한 본 발명은 화상데이타압축시스템에서 영상블록의 프레임간 움직임을 보상하는 방법에 있어서, 현재블록과 실제적으로 동일한 정보를 갖는 한프레임이전블록들로부터 현재블록에 대한 움직임벡터를 생성하는 제1단계와, 한프레임 이전블록과의 비교에 의해 발생하는 현재블록에 관한 움직임벡터중에서 그 크기 및 방향이 현재블록에 인접한 블록의 웁직임벡터와 가장 유사한 움직임벡터를 검출하는 제2단계, 및 제2단계에서 다수의 움직임벡터가 생성될 경우 그 크기가 가장 작은 움직임벡터를 검출하는 제3단계를 포함하는 움직임추정방법을 제공한다.

또한 본 발명은 상기의 목적을 위해 화상데이타압축시스템에서 영상블록의 프레임간 움직임을 보상하는 장치에 있어서, 현재블록과 검색영역의 블록들을 비교하여 실제적으로 동일한 정보를 갖는 블록을 찾아내며 그 블록에 대한 움직임벡터를 발생하는 움직임벡터발생수단과, 움직임벡터발생수단에서 발생하는 움직임벡터 및 현재블록의 인접블록이 갖는 움직임벡터를 입력받아 인접블록의 움직임벡터와 그 크기 및 방향이 가장 유사한 현재블록에 관련된 움직입벡터를 검출하는 움직임벡터검출수단, 및 움직임벡터검출수단에서 다수의 움직임베터가 검출될 경우 그 크기가 가장 작은 움직임 벡터를 선택하는 움직임벡터선택수단을 구비한 움직임추정장치를 구현한다.

이하, 본 발명에 따른 움직임추정방법 및 그 장치의 바람직한 일 실시예를 첨부된 도면을 참조하여 상세히 설명한다.

제3도는 본 발명의 일 실시예에 따른 움직임추정장치를 나타내는 블록도로서, 프레임간의 블록맞추기알고리듬을 이용하는 움직임추정장치에 관한 것이다.

본 발명의 움직임추정장치는, 입력하는 영상신호를 M×N블록단위로 저장하는 현재블록형성부(20)와, 한프레임(frame)이전의 영상신호를 이용하여 검색영역을 만드는 검색영역형성부(21)와, 상술의 현재블록형성부(20)와 검색영역형성부(21)의 출력신호를 인가받아 평균절대차를 산출하는 평균절대차계산부(22)와, 입력하는 평균절대차데이타들을 저장하는 메모리(23)와, 메모리(23)에 저장된 신호를 인가받아 비교하는 평균절대차비교부(24)와, 평균절대차비교주(24)에서 출력되는 움직임벡터 및 인접블록의 움직임벡터를 비교하는 동변위비교부(25)와, 동변위비교부(25)의 출력신호를 이용하여 움직임정보를 출력하는 최소변위선택부(26)로 구성된다.

현재프레임의 영상신호와 제1도의 프레임메모리(6)에서 출력하는 한프레임이전의 영상신호가 움직임추정장치에 입력하면, 현재프레임의 영상신호(a)는 현재블록형성부(20)로 입력하며 한프레임이전에 영상신호(b)는 검색 영역형성부(21)로 입력한다. 일반적으로 검색영역은 한프레임 전체 또는 프레임중의 일부분에 형성되는데 제4도를 참조하여 일반적인 움직인추정에서 이용되는 블록형성에 관하여 설명한다.

제4도는 일반적인 움직임추정원리 및 과정을 나타내는 개념도이다. 제4도는(a)는 n번째 프레임(frame)에 표시되는 M×N개의 화소(Pixel)를 갖는 블록(이하, 현재블록이라 함)과 n-1번째 프레임에 표시되는 검색영역(Searching Area)상의 M×N개의 화소를 갖는 블록(이하, 이전블록이라함)을 나타낸 것으로서, 점선으로 표시되는 이전블록은 화상에서의 동일한 위치에 대응하는 한프레임이전의 블록이며, 실선으로 표시되는 이전블록은 유사한 데이타를 갖는 한프레임이전블록이다. 제4도(b)는 한프레임이전의 2M×2N크기인 검색영역에 놓은 M×N크기의 현재블록을 나타낸 것이다. M×N크기의 현재블록이 2M×2N크기의 검색영역을 가진다면 검색영역에서 하나의 화소단위로 상·하 또는 좌·우로 이동하면서 생성되는 이전블록의 가능한 갯수는 (2M-1)×(2N-1)개가 된다. 예를 들면, 현재블록이 M×N=2×2크기인 경우 2M×2N의 검색영역상에서는 16개의 화소가 있으므로 (2M-1)×(2N-1)=(4-1)×(4-1)=9개의 이전블록이 나온다.

현재블록형성부(20)에서 형성 출력되는 상술의 현재블록과 검색영역형성부(21)에서 형성 출력되는 이전블록의 화소데이타들은 평균절대차계산부(22)로 입력한다. 평균절대차계산부(22)는 검색영역의 이전블록과 현재블록의 화소데이타들을 비교하여 평균절대차를 계산한다. 즉, 현재블록과 이전블록의 대응하는 화소들 각각의 데이타를 비교하여 그 차이값을 구하며 그 차이를 평균함으로써 평균절대차(MAD)를 발생한다. 각각의 이전블록과 현재블록사이의 비교에 의하여 발생하는 여러개의 평균절대차(MAD)는 (2M-1)×(2N-1)크기에 상응하는 용량을 갖는 메모리(23)에 저장된다. 메모리(23)에 저장되는 평균절대차들은 평균절대차비교부(24)에 의하여 그 크기가 비교되며, 크기비교에서 발생하는 최소의 평균절대차를 갖는 블록 즉, 가장 유사한 데이타를 갖는 블록에 대한 움직임벡터는 동변위비교부(25)로 출력된다. 평균절대차비교부(24)에서 출력하는 움직임벡터가 하나인 경우에는 곧바로 동변위비교부(25)를 거쳐 출력된다. 반면에 평균절대차비교부(24)에서 그 크기가 동일한 최소의 평균절대차가 여러개 발생함으로 인하여 평균절대차비교부(25)에서 최소의 평균절대차에 대응하는 움직임벡터가 여러개 출력하는 경우, 동변위비교부(25) 및 최소변위선택부(26)에서는 추가적인 비교처리가 필요하다.

제5도는 최소평균절대차가 같은 경우의 처리과정에 대한 개념도로서, 최소평균절대차가 동일한 세개의 이전블록이 존재하는 경우를 예로 든 것이다. 제5도에서는 (a)를 현재블록에 인접하는 블록(이하,'옆블록이라 함)이라하며, (b)를 현재블록이라 한다. 또한 제5도에 표시된 여러개의 작은 사각형들은 M×N블록에 속하는 화소들을 표시한 것이다. M×N개의 화소로 구성되는 현재블록과 검색영역상의 이전블록사의 평균절대차가 계산되며 그에 대응하는 움직임벡터값이 얻어지면 이후의 과정에서는 현재블록내의 전체화소들은 검색영역의 대응위치로부터 동일하게 움직임벡터값만큼 이동한 것으로 간주한다. 통계적으로 블록별화상의 움직임이 인접블록일수록 유사한 관계를 가지므로, 미리 구해진 옆블록의 움직임벡터값을 이용하면 현재블록에 대한 움직임벡터의 신뢰도를 높일 수 있다. 여기서는 옆블록의 움직임벡터는 현재블록보다 먼저 결정된 것이라고 가정한다.

제5도의 나를 현재블록을 대표하는 기준위치라 정하며, 가를 현재블록과 동일한 프레임에 존재하는 옆블록을 대표하는 기준위치라 정하고, A, B, C를 이전프레임의 검색영역에 속하며 최소평균절대차를 갖는 이전블록들의 벡터량을 현재블록을 기준하여 표시한 것이라 정한다. 또한, D를 움직임추정에 의하여 이미 결정된 현재블록의 옆블록이 갖는 움직임벡터를 그 블록의 기준위치에서 표시한 것이라 정한다. 벡터A, B, C, D는 각각 현재프레임을 기준하여 표시하였는데 이것은 아래의 설명을 용이하게 하기 위한 것으로 실제로 처리되는 움직임벡터를 표시한 것은 아니다. 상술의 가와 나를 각 블록들에 형성되는 X-Y좌표계의 원점이라 하며 또한 계산의 간편성을 위해 옆블록과 현재블록사이에서 발생하는 좌표계간의 상대적거리 즉 가와 나사이의 거리는 무시한다. 따라서 각벡터 A, B, C, D는 A=(3,0), B=(3,-3), D=(2,-2)로 표시된다.

상술한 바와 같이 설정되는 현재블록과 옆블록의 움직임벡터의 차리를 구해보면, A와 D의 경우 |A-D|=(|3-2|,|0+2|)=(1,2)이며 B와 D의 경우 |B-D|=(1,1)이다, 또한, C, D의 경우는 |C-D|=(1,1)의 값이 된다.

인접블록의 움직임벡터를 이용한 상술의 연산결과로 벡터 B, C는 D에 대하여 상대적으로 동일한 움직임을 갖는다. 이런 경우에는 벡터 B, C의 크기 |B|와 |C|를 비교하여 그 크기가 작은 벡터를 최종적으로 현재블록의 움직임벡터로 정한다. |B|와 |C|의 크기를 비교하면, |B|의 값은이고, |C|의 값은이므로, |B||C|의 관계를 가지므로 상대적으로 적은 크기를 갖는 벡터C를 현재 블록의 움직임벡터로 정한다.

상술의 처리과정이 동변위비교부(25) 및 최소변위선택부(26)에서 이루어진다. 즉, 동변위비교부(25)는 옆블록의 움직임벡터(D) 및 현재블록의 최소평균절대차가 동일한 다수의 움직임벡터들(A, B, C)을 입력받아 현재블록 움직임벡터들과 옆블록의 움직임벡터의 차이값을 계산하여 차이값이 최소인 움직임벡터들(B,C)을 출력하며, 최소변위선택부(26)에서는 그 움직임 벡터들을 입력받아 움직임벡터의 크기가 가장 작은 것을 현재블록의 실질적인 움직임벡터로 결정하여 출력한다. 따라서 보다 정확한 움직임벡터가 검출되며 화상데이타압축효율은 증가한다.

상술의 일 실시예에서는 평균절대차를 이용하여 프레임간 블록데이타를 비교하였으나 평균제곱차(Mean Squared Difference)등의 다른 비교방법을 이용하여 실시예를 구성하는 것도 가능하다.

상기와 같은 본 발명에 따른 움직임추정방법 및 그 장치에 의하면, 보다 정확한 움직임추정을 수행함으로써 현재화상을 예전화상에서 찾아내어 두 화상간의 차분을 최소화하면, 그 차분만큼만 부호화하하여 전송하므로 전송되는 테이타의 양을 줄일 수 있어 결과적으로 데이타압축효율을 향상시키는 효과가 있다.

Claims (4)

1. 화상데이타압축시스템에서 영상블록의 프레임간 움직임을 보상하는 방법에 있어서, 현재블록과 실제적으로 동일한 정보를 갖는 한프레임이전블록들로부터 현재블록에 대한 움직임벡터를 생성하는 제1단계; 한프레임 이전블록과의 비교에 의해 발생하는 현재블록에 관한 움직임 벡터중에서 그 크기 및 방향이 현재블록에 인접한 블록의 움직임벡터와 가장 유사한 움직임벡터를 검출하는 제2단계; 및 상기 제2단계에서 다수의 움직임벡터가 생성될 경우 그 크기가 가장 작은 움직임벡터를 검출하는 제3단계를 포함하는 것을 특징으로 하는 움직임추정방법.
2. 제1항에 있어서, 움직임벡터 생성단계는 평균절대차(Mean Absolute Differen c)를 이용하여 현재블록과 한프레임이전블록간의 정보를 비교함으로써 움직임벡터를 발생하는 것을 특징으로 하는 움직임추정방법.
3. 화상데이타압축시스템에서 영상블록의 프레임간 움직임을 보상하는 장치에 있어서, 현재블록과 검색영역의 블록들을 비교하여 실제적으로 동일한 정보를 갖는 블록을 찾아내며 그 블록에 대한 움직임벡터를 발생하는 움직임벡터발생 수단과; 상기 움직임벡터발생수단에서 발생하는 움직임벡터 및 현재블록의 인접블록이 갖는 움직임벡터를 입력받아 인접블록의 움직임벡터와 그 크기 및 방향이 가장 유사한 현재블록에 관련된 움직임벡터를 검출하는 움직임벡터 검출수단; 및 상기움직임벡터검출수단에서 다수의 움직임벡터가 검출될 경우 그 크기가 가장 작은 움직엠벡터를 선택하는 움직임벡터선택수단을 구비한 움직임추정장치.
4. 제4항에 있어서, 움직임벡터발생수단은 현재블록과 한프레임이전블록들의 비교에서 발생하는 움직임벡터가 두개 이상일때 그 움직임벡터들을 움직임벡터검출수단에 인가하는 것을 특징으로 하는 움직임추정장치.