KR0178890B1 - 동작 추정처리의 입력 데이타 제어회로 - Google Patents

Abstract

입력데이타 제어부에서 current-data, SW-UL, SW-UR, SW-LL, SW-LR 데이타를 시작(START) 신호에 의해서 받아 이를 데이타 선택신호에 의해서 출력하고, 상기 입력데이타 제어부(101)로부터 PE(-8,-8),...,PE(7,7)에 입력되는 데이타 X(-8,-8), Y(-8,-8),..., X(7,7), Y(7,7)를 받아들여 블록매치 알고리즘 처리부(102)에서 현재 블록과 탐색창내 256개의 독립블록과의 블록 정합 연산을 수행한다.

그리고, 상기 블록 매치 알고리증 처리부(102)에서 구해진 각 블록별 에러신호 D(i,j)-(8≤i, j≤7)를 받아들여 그중에서 가장 값이 적은 블록을 찾아내어 최소 절대치 에러부(103)에서 그때의 움직임 벡터 및 에러값(zoffset-MSB, zoffset-LSB)를 8비트를 버스를 통해 절대화를 취한 최소값을 출력한다.

Description

동작 추정처리의 입력 데이타 제어회로

제1도는 본 발명에 따른 블록도.

제2도는 본 발명에 따른 블록, 탐색 윈도우 관계도.

제3도는 제1도의 입력데이타 제어부(101)의 구체회로도.

본 발명은 영상처리 장치(Digital VCR, HDTV, CD-I)에 있어서, 특히 동작 벡터를 BMA(Block Matching Algorithm)에 의해 실시간으로 계산하여 입력 데이타의 입출력 대역폭을 최소화 시키고 이를 각 프로세서 요소에 제공하며 실시간 동작 추정처리 구현이 가능한 동작 추정처리의 입력 데이타 제어회로에 관한 것이다.

1990년대에 핵심기술인 비디오 데이타 압축 기술은 스토리지(storage) 미디어(HDD, VCR Tape, Memory, CD-ROM)의 기억용량 한계 및 채널 대역폭(channel Bandwidth)의 한계를 극복하기 위해 필수적으로 요구되어 왔었다.

일반적으로 비디오 데이타의 압축을 위해서는 신호가 가지는 상관성을 이용하며, 주요 비디오 데이타 압축 기법으로는 공간차원(spacial domain)에서의 픽셀의 상관도, 시간(temporal) 방향에서의 상관도, 비디오 데이타가 가지는 통계적 특성 및 인간의 시각 인식도를 이용하게 된다.

움직이는 동화상의 경우 현재 프레임과 이전 프레임 사이에는 상관도가 높으며, 이를 이용한 예측 코딩(predictive coding) 기법을 적용하므로서 압축 효과를 크게 높일 수 있다. 한편 움직임이 많은 경우 단순한 예측 코딩에 의해서는 에러신호의 값이 커져 압축 효율이 저하된다.

상기 움직임이 많은 경우 단순한 예측 코딩에 의해서 데이타 압축 효율이 저하되는 것을 방지하기 위해 움직임 보상 예측 코딩(Motion Compensated Predictove Cpding) 기법이 일반적으로 사용된다.

상기 움직임 보상 코딩 기법은 움직임 벡터(motion vector)를 추정하여 현재 프레임의 임의의 블록(보통 16×16 픽셀)과 가장 유사한 블록을 이전 프레임의 일정한 영역내에서 찾아내어 이를 예측 코딩시 사용하는 것으로 단순한 예측 코딩에 비해 데이타 압축율을 크게 높일 수 있다.

상기 방법에서 움직임 벡터는 현재 블록과 가장 유사한 이전 블록이 존재하는 위치로서 이는 프레임간 움직임의 발생 정도에 따라 값이 달라진다.

움직임 추정 방법으로는 일반적으로 BMA(Block Matching Algorithm)를 사용하며, 이것은 현재의 블록과 가장 유사한 블록을 이전 프레임의 일정한 탐색 창(search window)내에서 가능한 모든 블록과 1:1로 유사도를 계산하여 그 중에서 가장 에러가 적은 값을 갖는 블록을 정합블럭(matching block)으로 선정하는 방법이다.

따라서 팽배한 연산량 및 I/O 대역폭(Bandwidth)이 불가피하게 되는바 실시간 처리 및 I/O 핀수를 최소화 해야 하는 목표 달성을 위해 특별한 하드웨어(H/W) 구조가 필요하게 된다.

[예]

운동벡터(Motion vector) i,j : -8 ≤ I, j ≤ 7

블록의 사이즈(Block size) : 16×16 픽셀(pixels) 일 때

탐색창의 크기 = 31×31 픽셀(pixels)

정합 블록의 수 = 256이 됨

비교 블록간의 유사도 계산에는 MAE(Minimum Absolute Error)를 사용하는데 다음과 같이 정의된다.

즉 D(i,j)에서 하나의 정합을 위해서는 -,1 1,+의 연산을 256번 수행해야 하고, 서치 윈도우내 모든 가능한 블록에 대해서 총 256번의 정합을 256픽셀 주기이내에 완료해야 되므로 하나의 연산기를 가지고 이를 수행할 수 없게 된다.

특히 이제까지 비디오 폰 등에 적용된 ME(Motion Estimation) 연산장치는 일반 용도용 디지털 신호처리기 등을 이용하여 소프트웨어(S/W)로 구현 가능하나 D-VCR, CD-I HD TV 등에는 적용이 불가능하다.

따라서, 본 발명의 목적은 상기의 문제점을 해결하기 위해 256개의 PE(processing Element : 처리요소)를 사용하여 움직임 추정 프로세서(Motion Estimation processor)를 고안하였으며 특히 입출력 대역폭를 최소화 할 수 있는 회로를 제공함에 있다.

이하 본 발명을 첨부된 도면을 참조하여 상세히 설명한다.

제1도는 본 발명에 따른 블록도로서,

current-data, SW-UL, SW-UR, SW-LL, SW-LR 데이타를 시작(START) 신호에 의해서 받아 이를 데이타 선택회로에 의해서 출력하는 입력 데이타 제어부(101)와,

상기 입력데어터 제어부(101)로부터 PE(-8,-8)....PE(7,7)에 입력되는 데이타 X(-8,-8), Y(-8,-8).... X(7,7)를 받아들여 현재 블록과 탐색창내 256개의 독립 블록과의 블록 정합 연산을 수행하는 블록 매칭 알고리즘 처리부(102)와,

상기 블록 매칭 알로리즘 처리부(102)에서 구해진 각 블록별 에러신호 D(i,j)(-8≤i, j≤7)를 받아들여 그중에서 가장 값이 적은 블록을 찾아내어 그때의 움직임 벡터(Motion Vector : MV), 그때의 error 값 MAE-MSB, MAE-LSB 및 i=j=Ø시의 에러값 zoffset-MSB, zoffset-LSB를 8비트의 버스를 통해 출력하는 최소 절대치 에러부(103)로 구성된다.

제2도 본 발명에 따른 현재 블록 및 탐색창과의 관계를 나타낸 도면으로서 블록 매치 알고리즘 처리부(102)는 현재 블록과 현재 블록을 중심으로 형성되는 탐색창내의 모든 가능한 블록을 1:1로 블록 정합하는 것으로 여기에서 탐색창의 중간부분이 현재 블록이 위치하며, 탐색창내에서는 총 256개의 블록이 발생하게 된다.

i,j는 운동벡터를 나타내며, 각각 -8 ~ +7사이의 값을 갖는다.

현재 블록의 크기는 16×16 총 256개의 픽셀(pixel)로 구성되며 탐색창의 크기는 31×31 최소들이다.

제3도는 본 발명에 따른 제1도의 입력데이타 제어부(101)의 구체회로도이다.

따라서 본 발명의 구체적인 일실시예는 제1도~제3도를 참조하여 상세히 설명하면

입력데이타 제어부(101) current-data, SW-UL, SW-UR, SW-LL, SW-LR 데이타을 시작(START) 신호에 의해서 받아 이를 데이타 선택회로에 의해서 블록매치 알고리즘 처리부(102)로 전달한다.

상기 블록 매치 알고리즘 처리부(102)는 상기 입력 데이타 제어부(101)로부터 PE(-8,-8)....PE(7,7)에 입력되는 데이타 X(-8,-8), Y(-8,-8)..... X(7,7), Y(7,7)를 받아들여 현재 블록과 탐색장내 256개의 독립 블록과의 블록 정합 연산을 수행한다.

상기 최소 절대치 에러부(103)는 블록 매치 알고리즘 처리부(102)에서 구해진 각 블록별 에러신호 D(i,j) (-8≤i, j≤7)를 받아들여 그중에서 가장 값이 적은 블록을 찾아내어 그때의 움직임 벡터(Motion Vector : MV) 그때의 에러값 MAE-MSB, MAE-LSB 및 i=j=Ø시의 에러값 zoffset-MSB, zoffset-LSB를 8비트들을 버스를 통해 출력단(D-OUT)를 통해 출력한다.

제3도는 상기 입력 데이타 제어부(101)의 상세회로도로서 상세 동작은 다음과 같다.

제3도에서 current-data는 현재 블록의 데이타를 입력하는 데이타 버스로서 current-data는 최초의 CLK에 동기되어 입력된후 제3도와 같은 X(-8,-8)에 전달되고, 이후 디플립플롭(DF11)에 의해 1클럭 지연되어 제3도와 같이 X(-8,-7)로 전달된후 1클럭씩 15클럭후 X(-8,-7)에 전달된다. 이와 같이하여 현재 데이타(current-data)는 매 클럭마다 지연되어 각 PE(processing element)의 입력 데이타로서 전송된다.

이는 총 256개의 PE가 256개의 정합 블록 각각에 1:1 대응되는 것으로 이는 탐색창에서 가능한 블록들 상호간 데이타가 공통으로 사용되는 것을 이용하여 현재데이타(current-data)를 각 PE에 파이프라인 방식으로 전달시키므로서 I/0 핀을 줄이기 위한 것이다.

제3도에서 X(-8,-8), Y(-8,-8)은 PE(-8,-8)용 데이타를 의미하고 제2도의 X(7,7), Y(7,7)은 PE(7,7)용 데이타를 의미한다.

한편 SW-UL은 탐색창 좌상단 16×16 픽셀 입력용 데이타버스, SW-UR은 탐색창 우상단 16×15 픽셀 입력용 데이타 버스, SW-LL은 좌하단 15×16 필셀 입력용 데이타버스이고 SW-LR은 우하단 15×15 픽셀 입력용 데이타 버스이다.

즉, 각 PE의 X(i,j)는 current data 입력용, Y(i,j)는 탐색창내의 이전 데이타 입력용 데이타버스로서 Y(i,j)는 SW-UL, SW-UR, SW-LR, SW-LL 네가지 데이타 중의 하나가 된다.

X(-8,-8), X(-8,7), Y(-8,7)은 탐색창내 첫번째 로우(ROW)에 해당되는 PE용 데이타버스로서 Y(i,j) 데이타의 선택은 멀티플렉서(MUX1)의 선택용(S1) 단자에 의해서 이루어진다.

즉 S1이 하이이면 A 즉 SW-UL(b)을 선택하고 S1이 로우이면 B 즉 SW-UR(b')를 선택한다. 멀티플렉서(MUX1 ~ MUX14)의 선택단자(S1, S2, .... S16)의 값은 CLK 입력에 따라 달라지는데, 이는 다음과 같이 설명된다.

상기 그림은 첫번째 로우(ROW)를 형성하는 PE(-8,-8), PE(-8,-7)....PE(-8,-7)의 Y(i,j) 데이타 선택이 클럭단(CLK)의 클럭에 따라서 다르게 됨을 나타낸다.

상기 제3도에서 1은 SW-UL(b)선택, Ø은 SW-UR(b') 선택을 의미한다.

CLK가 Ø(첫번째 클럭)인 경우 PE(-8,-8)만을 SW-UL(b)을 멀티플렉서(MUX1)에서 선택하고, 나머지 PE(-8,-7),...., PE(-8,-7)은 SW-UR(b')을 먼티플렉서(MUX2-MUX3)에서 선택하며, CLK가 1(두번째 플럭)인 경우 PE(-8,-8), PE(-8,-7)을 발생키위해 멀티플렉서(MUX1 ~ MUX2)로부터 SW-UL(b)에 의해 선택되어 발생되고, 나머지 PE(-8,-6),...., PE(-8,7)은 SW-UR(b')에 의해 선택한다.

이후 CLK 15에서는 PE(-8,-8),....,PE(-8,7) 모두 PE가 SW-UL(b)을 선택하며, CLK 16에서는 다시 CLK Ø시와 동일하게 PE(-8,-8)만 SW-UL(b)을 선택하고, 나머지 모든 PE는 SW-UR(b')을 선택한다.

그러한 데이타 선택의 방법은 각 PERK 탐색창내에서 공통되는 데이타들을 똑같이 사용하는 것을 이용한 결과이다.

즉 각 PE에 사용되는 데이타들은 인접한 PE 사이에서는 단지 하나의 칼럼(clumn)에 해당되는 16개의 데이타만 다르고, 나머지 240개의 데이타는 동일하게 됨을 이용한 것이다.

이와 같이 클럭단(CLK) 클럭 입력에 따라 S1, S2,... S16에 따라 멀티플렉서(MUX1 ~ MUX14)에서의 데이타 선택은 디플립플롭(DF21-DF22, DF23, DF27,...,DF28, DF31,...,DF32)등에 의해서 이루어지며, 매 16CLK마다 디플립플롭(DF21, DF22, DF23, DF27, ..DF28, DF31, ..DF32)은 클리어 신호 발생회로(CSG21, CSG22)에 의해 클리어(clear)되어 매 16CLK의 첫번째 CLK에서는 SW-LL(b)를 선택되게 된다.

제3도에서 상기 클리어신호 발생회로(CSG21)는 크리어신호 발생회로로서, 매 16CLK마다 크리어신호를 발생하도록 되어 있다.

START 신호는 움직임 추정을 시작하는 신호이고,

SW-LL(b)데이타버스는 (8,-8),....(8,7), (9,-8).... (9,7).. (22,-8), (22,7)의 데이타를 입력하는데 사용되며, SW-LR(b) 데이타버스는 (8,8),... (8,22), (9,8),... (8,22)(22,8),... (22,22)의 데이타를 입력하는데 사용된다.

PE(-7,-8),.. PE(-7,8), PE(7,7)까지는 3단 멀티플렉서(MUX)의 구조로 데이타 선택을 수행하는데 b,b중 하나를 선택하고, b', b'중 하나를 선택한 후 다시 그중에서 하나를 상기 언급한 바와 같이 디플립플롭 (DF27,...DF28, DF31..DF32)의 출력값에 따라 Si(i=2,....16)가 하이이면 A를, 로우이면 B를 선택하게 된다.

첫번째 로우(ROW)에 해당하는 PE를 즉, PE(-8,-8), PE(-8,7)에 대해 두번째 로우(ROW)는 16C개의 클럭(CLK) 입력 이후 첫 데이타가 입력이 되므로 첫번째 로우(ROW)에서 같이 로우(ROW) 방향으로의 각 PE의 데이타 선택은 매 16CLK를 기본단위로 하여 이루어진다.

제3도에서 카운터(CNT1)은 CLK를 16분주하는 회로이고, CLK1은 16분주된 클럭으로서 ROW방향의 각 PE는 최초의 CLK1 즉 CLK1 Ø시는 PE(-8,-8)만 SW-UL(b)선택하고, 나머지 PE(-7,-8), PE(-6,-8),... PE(7,-8)은 모두 SW-LL(b)를 데이타버스를 통해 입력되는 데이타를 선택한다.

CLK1의 1(CLK1은 두번째 클럭) PE(-8,-8), PE(-7,-8)이 SW-UL(b)을 선택하고, 나머지 처리요소는 모두 SW-LL(b)를 선택하도록 되어 있다.

CLK1 15에서 첫번째 칼럼(colum)의 모든 PE(즉 PE(-8,-8)...PE(7,-8)가 SW-UL(b)를 선택한다.

CLK1 16에서 특 CLK 256(257번째 CLK)에서 클리어 신호 발생회로(CSG22)에서 의해 클리어 되어 CLK1 Ø 상태로 되돌아 간다. 이를 다음 그림과 같이 나타낸다.

한편 SW-LR(b')의 경우는 SW-LL(b')가 선택되는 경우 같은 선택이 되도록 하면 되므로 각 멀티플렉서(MUX21, MUX7~MUX11, MUX15~MUX20)의 선택단(S)을 접속해서 사용한다.

즉, 각 PE는 SW-UL(b), SW-UR(b') 및 SW-LL(b), SW-LR(b') 두 그룹중의 하나를 선택한 후 SW-UL(b), SW-UR(b') 그룹이 선택된 경우는 디플립플롭(DF21~DF23, DF27~DF28, DF31~DF34)의 출력값에 따라 하이이면 SW-UL(b)이, 로우이면SW-UR(b')이 선택된다. SW-LL(b), SW-LR(b') 그룹이 선택된 경우는 디플립플롭(DF21~DF23), DF27~DF28, DF31~DF34의 출력이 하이이면 SW-LL(b)가, 로우이면 SW-LR(b')이 선택된다.

한편 입력 데이타 제어부(101)에 입력되는 각각의 데이타는 입력시점을 올바르게 맞춰야 하는데 SW-UL(b) CLK Ø에서부터, SW-UR(b')은 CLK 16에서부터 SW-LL(b) CLK 256에서부터 SW-LR(b')은 CLK 272에서부터 입력되도록 해야한다.

상술한 바와 같이 샘플링 주파수(Sampling Frequeny)20MHz까지 실시간 구현 가능한 움직임 추정기를 제공하고, 실시간에 움직임 벡터를 구하며 이를 입출력 대역폭을 최소화 상태로 구현하여, 각 PE(Processing Element)에 현재 블록의 데이타 및 탐색창 내의 256 블록의 블록정합에 필요한 데이타를 효과적으로 제공할 뿐만 아니라 통신시스템, 비디오폰 및 D-VCR, 디지털 DBS, ATV등 샘플링 주파수가 높은 제품에까지도 적용이 가능한 이점이 있다.

Claims (2)

1. 영성처리 장치의 신호 압축 회로에 있어서, current-data, SW-UL, SW-UR, SW-LL, SW-LR 데이타을 시작(START) 신호에 의해서 받아 이를 데이타 선택신호에 의해서 출력하는 입력 데이타 제어부(101)와, 상기 입력데이타 제어부(101)로 부터 PE(-8,-8)...PE(7,7)에 입력되는 데이타 X(-8,-8), Y(-8,-8)....X(7,7), Y(7,7)를 받아들여 현재 블록과 탐색창내 256개의 독립 블록과의 블록 정합 연산을 수행하는 블록 매치 알고리즘 처리부(102)와, 상기 블록 매치 알고리즘 처리부(102)에서 구해진 각 블록별 에러신호 D(i,j)-(-8≤i, j≤7)를 받아들여 그중에서 가장 값이 적은 블록을 찾아내어 그때의 움직임 벡터 및 에러값(zoffset-MSB, zoffset-LSB)를 8비트를 버스를 통해 출력하는 최소 절대치 에러부(103)로 구성함을 특징으로 하는 동작 추정처리의 입력데이타 제어회로.
2. 제1항에 있어서, 입력 데이타 제어부(101)가 입력 데이타를 매 클럭마다 지연시켜 n개의 정합 블록의 각 처리 요소로 제공하여 전달하되 각 파이프라인 방식으로 전송하는 제1수단과, 탐색창 선택 제어신호를 발생하는 제2수단과, 파우 상·하단 탐색창 픽셀용 데이타를 입력하는 제3수단과, 상기 제2수단의 탐색창 선택 제어신호에 따라 상기 제3수단의 좌 우, 상 하단 탐색창 픽셀 데이타를 선택 출력하는 제4수단과, 상기 제2수단의 탐색 선택 제어 신호를 발생하기 위해 일정주기마다 클리어 신호를 발생하는 제5수단과, 상기 제5수단의 카운팅 신호를 발생하는 제6수단으로 구성됨을 특징으로 하는 동작 추정처리의 입력데이타 제어회로.