KR930008057B1

KR930008057B1 - 화상처리시스템의 모우션검출장치

Info

Publication number: KR930008057B1
Application number: KR1019910010601A
Authority: KR
Inventors: 박용철; 백준기
Original assignee: 삼성전자 주식회사; 김광호
Priority date: 1991-06-25
Filing date: 1991-06-25
Publication date: 1993-08-25
Also published as: KR930001090A

Abstract

내용 없음.

Description

화상처리시스템의 모우션검출장치

제 1 도는 본 발명 화상처리시스템의 모우션검출장치의 전체블록구성도.

제 2 도는 제 1 도에 도시한 현필드데이터배열부(2)와 전필드데이타 배열부(3)의 상세회로도.

제 3 도는 제 1 도에 도시한 논리연산 및 상관도계산수단(7)의 상세회로도.

제 4 도는 제 1 도에 도시한 상관도최대치추출부(8)의 상세회로도.

제 5 도는 제 1 도에 도시한 모우션벡터검출부(9) 및 어드레스발생부(10)의 상세 회로도.

제 6 도는 제 1 도에 도시한 모우션결정부(11)의 상세회로도이다.

본 발명은 화상의 프레임(Frame)간 모우션벡터(Motion Vector)를 검출하는 장치에 관한 것으로서, 특히 영상데이타를 바이너리 이미지(Binary Image)로 코딩(coding)하는 기법에 의한 상관도 계산량을 최소화하여 마이콤의 사용없이 실시간 모우션검출(Motion Detection)이 가능한 화상처리시스템의 모우션검출장치에 관한 것이다.

일반적으로 화상전화시스템에서 프레임간의 각 화소당 모우션을 이용한 데이터압축장치나 피사체의 속도 및 운동방향을 탐지하는 군사용 추적기 및 디지털캠코더의 영상안정화시스템등에 다양하게 이용되는 모우션 벡터(Motion Vector)를 검출하는 화상처리시스템의 모우션검출장치는 영상신호 처리분야에서 프레임간 발생할 수 있는 모우션의 양 및 방향을 결정하여 데이터압축 및 영상안정화시스템에 유용하게 활용하는 장치인바, 이러한 기능 즉, 영상입력에 대하여 연속되는 두필드의 모우션발생을 판단하는 기능을 갖는 종래의 모우션검출장치중 가장 간단한 방법은 필드간 대응화소의 차분영상을 구해서 시간적인 변화가 화면전역에 걸쳐 분포하는지의 여부를 검토하는 것인데, 이러한 방법은 모든 화소가 상관도계산에 이용되기 때문에 필요한 연산부하가 증가하여 막대한 계산량을 요구하게 되고, 하드웨어의 사용이 많으므로 실시간 처리가 어렵다고 하는 결점이 있다. 따라서 최근에 연산부하 및 그에 따른 하드웨어의 사용감소를 위하여 제안된 모우션검출장치는 화상중의 일정한 영역만을 이용하여 화면중의 주요 피사체가 존재할 수 있는 영역과 배경영역부분으로 분리하여 소영역상의 몇 개의 세그먼트에서의 변화를 측정하는 것으로, 잡음성분을 제거하기 위한 필더링과 대표점을 이용하는 방법이 제안되었는데, 이 알고리즘도 역시 전 데이타 비트가 계산에 참여하게 되어있다.

본 발명은 상기한 종래 모우션검출장치가 갖는 소영역에 의한 모우션 검출방식에서도 여전히 발생하고 있는 전해상도에 의한 화소당 2비트 이상의 영역데이터를 사용하여 계산량이 증대되는 결점을 제거하고자 발명된 것으로서, 고효율의 엣지를 검출하여 잡음을 제거하고, 이전데이타에 의한 모우션벡터의 검출로 기존의 화소당 2비트 이상의 정보를 이용하는 방식보다 월등히 계산량 및 하드웨어가 줄게되고 실시간내에 처리를 하게되어 시스템의 기능을 극대화하며, 특정 영역의 잡음의 영향에도 강한 특성을 갖도록 오검출의 경우를 예측하여 2개이상의 모우션벡터들 상호간의 비교를 통해 최종적인 신뢰성 있는 모우션벡터를 검출함과 더불어 모우션의 검출영역을 손쉽게 확장할 수 있는 화상처리시스템의 모우션검출장치를 제공함에 그 목적이 있다.

이하 본 발명의 구성, 작용 및 효과를 첨부도면을 참조하여 상세하게 설명한다.

상기한 목적을 달성하기 위한 본 발명 화상처리시스템의 모우션검출장치는 입력되는 영상신호(IS)의 엣지를 검출하여 사전에 잡음성분을 제거하는 엣지검출부(1)와, 현재필드의 모우션검출 블록싸이즈에 해당하는 화소 데이터를 래치하는 현필드데이터배열부(2), 이전필드의 블록 매칭 알고리즘(BMA)의 블록에 해당하는 화소의 데이터를 래치하는 전필드데이터배열부(3), 모우션검출의 영역에 해당하는 전필드데이터를 기억하는 메모리(4), 상기 메모리(4)에 기억된 엣지영상데이터를 리이드/라이트하는 리이드/라이트제어부(5), 상기 현필드데이터제어부(2), 상기 현필드데이터배열부(3)에 래치되어 있는 각 소영역의 데이터의 출력을 제어하는 데이터제어부(6), 상기 현필드데이터배열부(2)와 전필드데이터배열부(3)의 출력데이타로 두 필드의 상관도를 계산하는 논리연산 및 상관도계산수단(7), 상기 논리연산 및 상관도계산수단(7)에서 구해진 모우션 벡터의 상관도가 가장 큰 최대값을 구하는 상관도최대치추출부(8), 상기 상관도최대치추출부(8)의 출력인 상관도가 최대인 좌표로 모우션벡터를 검출하는 모우션벡터검출부(9), 후보 모우션벡터의 좌표에 따른 어드레스를 발생하는 어드레스발생부(10) 및 상기 모우션벡터검출부(9)에서 구해진 4개의 소영역 세그먼트의 모우션벡터에서 전체를 대표하는 하나의 모우션벡터를 구하는 모우션결정부(11)로 구성된다.

상기 현필드데이터배열부(2)는 모우션검출 블록사이즈를 m×n으로 구성하였을 경우 m-1개의 라인지연기(12-14)와 m×n의 1비트 수평방향지연기(r1#11-r1#mn)로 구성되며, 전필드데이터배열부(3)는 m×n개의 1비트 수평방향지연기(r1#11-r1#mn)로 구성되고, 논리연산 및 상관도계산수단(7)은 m×n개의 앤드게이트(AD₁₁-AD_mn)와 병렬 출력된 결과를 연산하기 위한 조합논리 및 덧셈기(21)로 구성된다.

또 상관도최대치추출부(8)는 모우션검출 블록사이즈를 21×21로 가정할 경우 9비트 수평방향지연기(r9)와, 1비트수평방향지연기(r1), 9비트멀티플렉서(31) 및 9비트비교기(32)로 구성되고 모우션벡터검출기(9)는 모우션검출영역을 (±15, ±15)로 정의하면 앤드게이트(ADM1, ADM2)와 10비트수평방향지연기(r10), 3단계의 1비트수평방향지연기(r1×3), 4단계의 1비트수평방향지연기(r1×4), 10비트멀티플렉서(41), 10비트비교기(42) 및 5비트 수평방향지연기(r5)로 구성되며, 모우션결정부(11)는 비교기(61-64)와 5비트멀티플렉서(65-72), 1비트수평방향지연기(r1), 6비트수평방향지연기(r6), 6비트멀티플렉서(73-76), 5비트수평방향지연기(r5), 오아게이트(OR1, OR2), 노아게이트(NR1, NR2), 낸드게이트(ND1-ND4), 앤드게이트(ADM3) 및 평균치계산기(77, 78)로 구성된다.

제 1 도는 본 발명 화상처리시스템이 모우션검출장치의 전체블록도로서, 영상신호(IS)를 엣지검출부(1)로 입력하여 엣지를 검출하고 잡음신호가 제거된 방향성등에 대응한 고효율의 신호로 변환되어서 현필드데이터 배열부(2)로 출력된다. 여기서 엣지검출부(1)는 밴드패스필터링 기능을 수행하여 고주파 및 플리커잡음을 제거하게 되고 모우션 검출이 이루어지는 소영역 세그먼트는 배경영상에 해당하는 4개의 모서리 부분을 선택하여 주요피사체의 움직임에 의한 오검출을 방지하게 된다. 이러한 엣지검출부(1)에서 출력되는 이진엣지 영상데이터를 이용하여 현재의 이전의 두 필드간의 움직임량을 BMA(Block Matching Algorithm)를 적용하여 구하게 되는바, 즉, 현필드데이터배열부(2)는 엣지검출부(1)의 출력데이타를 래치하여 데이터제어부(6)의 제어에 따라 후보모우션벡터의 최대영역에서부터 스캐닝에 의해 연속적으로 비교데이타를 논리연산 및 상관도계산수단(7)으로 출력하게 된다. 또 상기 엣지검출부(1)에서 출력되는 엣지영상데이터(EID)는 RAM(4)에 입력되어 기억된 후 리이드/라이트제어부(5)의 제어에 따라 전필드데이터배열부(3)로 인가되어 BMA의 블록에 해당하는 화소의 데이터를 기억해 두었다가 래치하여 데이터제어부(6)의 제어에 따라 래치된 데이터를 논리연산 및 상관도계산수단(7)으로 출력하게 된다. 그에 따라 논리연산 및 상관도계산수단(7)에서는 필드간 두 화소의 차분을 구하게 되는데, 이진엣지데이타를 사용하여 두 화소간의 차분을 구하기 때문에 n개의 앤드게이트(AD₁₁-AD_mn)에 의해 필드간 두 화소의 상관관계를 알 수 있고, 이러한 앤드게이트(AD₁₁-AD_mn)의 매칭갯수를 덧셈기(12)로 덧셈하여 하나의 후보모우션벡터의 상관도를 표현할 수 있게 된다(제 3 도 참조).

그러면 상관도최대치추출부(8)에서는 각 후보모우션벡터의 상관도가 가장 큰 블록의 상관치(MO)를 구해 모우션벡터검출부(9)로 출력하게 되므로 모우션벡터검출부(9)에서는 어드레스발생부(10)에서 후보모우션벡터 검출영역의 해당위치 모우션벡터의 어드레스를 발생하여, 상관도최대치추출부(8)에서 상관도가 가장 큰 위치의 어드레스로서 모우션벡터를 구해 모우션결정부(11)로 출력하게 된다. 그에따라 모우션결정부(11)는 모우션벡터검출부(9)에서 구해진 4개의 소영역 세그먼트에서의 모우션벡터를 비교분석하여 콘트라스트의 열화와 통과물체 및 반복되는 형태의 영상에서는 그 영역의 검출모우션벡터를 무시하고 나머지 영역에서 구해진 모우션벡터의 평균치로서 최종적인 전화면을 대표하는 모우션벡터를 생성하게 된다.

다음에는 제 2 도 내지 제 6 도를 참조하여 BMA에 필요한 블록의 싸이즈 21×21을 예로서 본 발명 화상처리시스템의 모우션검출장치의 일실시예를 설명한다.

제 2 도는 제 1 도에 도시한 현필드데이터배열부(2)와 전필드데이터배열부(3)의 상세회로도로서, 전필드데이터배열부(3)는 BMA의 기본이 되는 블록에 해당하는 화소를 RAM(4)에 저장해 두었다가 현필드의 모우션벡터후보에 해당하는 블록과의 매칭여부를 비교하기 위한 블록단위의 데이터래치 기능을 수행하는 것으로, 하드웨어에서는 이진데이터를 이용하기 때문에 정보의 신뢰도가 감소할 것으로 예상되어 전해상도의 하이비트데이터를 이용하는 것에 비해 정확한 싸이즈를 사용하면 된다. 또한 영상신호처리에서 실시간내 데이터의 처리는 재현시의 아티펙트(Artifact)를 줄이는 중요한 효소이기 때문에 해당블록의 화소를 전부 래치해 두었다가 비교필드(현필드)에서 대응화소의 차분을 일괄처리하는 기법을 사용하였고, 수평방향의 지연소자는 D형플립플롭을 이용하여 n개의 1비트수평방향지연기(r1#11-r1#mn)를 구성하였으며, 수직방향은 라인메모리(12-14)를 이용해야 되나 전필드의 고정된 데이터값과의 비교이기 때문에 RAM(4)등에 저장해 두었다가 재배열하게 되는 바, 실질적으로 해당 세그먼트의 화소만을 추출해서 배열하기 때문에 1차원적인 데이터배열이 된다.

그리고 현필드데이터배열부(2)는 현필드의 블록싸이즈에 해당하는 화소데이타를 래치하는 블록으로서, 연속적인 엣지영상신호에서 모우션벡터 후보에 해당하는 블록에서부터 일괄적인 상관도계산을 위한 블록싸이즈를 가지게 되며, 수평방향은 D형 플립플롭을 이용 1비트수평방향지연기(r1#11-r1#mn)를 구성하여 샘플지연을 하게되고, 수직방향은 라인메모리(12-14)를 이용하여 스캐닝에 의한 연속적인 모우션벡터후보 블록의 화상데이터를 래치하게 된다.

제 3 도는 제 1 도에 도시한 논리연산 및 상관도계산수단(7)의 상세회로도로서, 두 필드의 대응화소의 상관관계를 판단할 때 앤드게이트(AD₁₁-AD_mn)에 의한 논리연산에 의해 매칭여부를 알게되는 엣지영상데이터를 이용하기 때문에 효율적인 연산을 할 수 있으며, 각 대응화소의 앤드게이트(AD₁₁-AD_mn)에 의한 논리연산에 의해 매칭여부를 알게되는 엣지영상데이터를 이용하기 때문에 효율적인 연산을 할 수 있으며, 각 대응화소의 앤드게이트(AD₁₁-AD_nm)의 논리연산결과를 덧셈기(12)로 일괄 덧셈하여 하나의 모우션벡터후보에 해당하는 블록의 상관도를 얻게된다. 그러므로 제 3 도에 예시된 방법에 의하면 현필드과 전필드의 대응화소가 모두 "1"인 경우에만 상관도가 증가하고 둘중 어느하나만이라도 "0"인 상태에서는 상관도를 증가시키지 않는다. 그 이유는 일반적인 엣지영상의 특성상 "0"인 화소가 압도적으로 많기 때문에 "1"인 화소의 매칭만으로 정확한 모우션을 검출할 수 있기 때문이다.

제 4 도는 제 1 도에 도시한 상관도최대치추출부(8)의 상세회로도로서, 매칭화소수가 변할때마다 항상 최대값이 위치하는 오버라이트(Overwrite)의 개념을 이용하여 상기 논리연산 및 상관도계산수단(7)에서 구해진 각 후보모우션벡터블록의 상관도가 가장 큰 최대값을 구하게 된다.

제 5 도는 제 1 도에 도시한 모우션벡터검출부(9) 및 어드레스발생부(10)의 상세회로도로서, 후보모우션벡터의 어드레스발생 및 상관도가 최대인 좌표를 모우션벡터로 검출하는 것인바, 어드레스발생을 위한 카운터의 어드레스발생 및 상관도가 최대인 좌표를 모우션벡터로 검출하는 것인바, 어드레스발생을 위한 카운터(CT1, CT2)는 모우션검출영역을 ±15으로 설정하여 5비트 카운터를 사용하게 되며, 여기에서 사용된 카운터(CT1, CT2)는 시스템클럭과 동일한 주파수를 이용하게 되고, 모우션벡터의 첫 번째 후보블럭이 스캔되는 순간부터 수평 및 수직방향에 어드레스를 부여하여 제 4 도에 도시한 상관도최대치추출부(8)의 출력(OWP : Overwrite Pulse)이 발생하는 순간의 어드레스를 모우션벡터(MV-HOR, MV-VER)로서 출력하게 된다.

결국 어드레스를 발생하는 카운터(CT1, CT2)는 후보모우션벡터에 해당하는 블록이 연산될 경우에만 어드레스클럭(ACK : Address Clock)의 펄스를 인가하여 카운트를 하게되고, 소영역 세그먼트에서의 모우션벡터후보에 해당하는 연산이 종료된 최종 카운트의 어드레스가 그 영역의 모우션벡터로 된다. 이와같이 하여 얻어진 모우션벡터는 0-31까지 카운터하기 때문에 실제 벡터의 값은 방향성을 고려하고 첫 번째 후보모우션벡터의 값은 -15가 되어 가산기를 이용하여 "10010"이라는 2'S상보형코드를 가산하여 첫 번째 후보모우션벡터의 값을 얻게 된다.

또한 어드레스이네이블신호(AC : Address Enable Signal)를 이용하여 모우션검출 서어치영역에 존재하고, 상관도최대치추출부(9)의 출력(OWP)이 발생되었을 경우에만 모우션벡터를 산출하게 된다.

제 6 도는 제 1 도에 도시한 모우션결정부(11)의 상세회로도로서, 4개의 소영역세그먼트에서 구해진 모우션벡터에서 전체를 대표하는 하나의 모우션벡터를 구하는 블록으로 오검출을 억제하고 최저의 데이터를 출력하게 된다. 여기에서는 각 모우션검출영역에서 구해진 모우션벡터의 신뢰성이 문제가 되는데 각 영역의 상관도최대치가 어느 일정한 기준치 이하일 경우에는 오검출의 확률이 높으므로 구해진 모우션벡터를 무시한다. 이렇게하여 신뢰할 수 있는 모우션벡터만을 평균값을 구하여 최종적인 모우션벡터(MV)를 결정하게 된다.

상기한 바와같이 작용하는 본 발명 화상처리시스템의 모우션검출장치는 바이너리 이미지 사용으로 계산량 및 하드웨어의 사용을 극소화할 수 있는 장점 뿐만아니라 마이콤의 사용없이 실시간 모우션결정이 가능한 장점이 있다.

Claims

입력되는 영상신호(IS)에 엣지를 검출하여 잡음을 제거하는 엣지검출부(1)와, 현재필드의 블록싸이즈에 해당하는 화소데이타를 래치하는 현필드데이터배열부(2), 이전필드의 BMA의 블록에 해당하는 화소의 데이터를 래치하는 전필드데이터배열부(3), 엣지 영상데이타를 기억하는 RAM(4), 상기 RAM(4)에 기억된 엣지영상데이타를 리이드/라이트하는 리이드/라이트제어부(5), 상기 현필드데이터배열부(2)와 전필드데이터배열부(3)에 래치되어 있는 데이터의 출력을 제어하는 데이터제어부(6), 상기 현필드데이터배열부(2)와 전필드데이터배열부(3)의 출력데이터로 두 필드의 상관도를 계산하는 논리연산 및 상관도계산수단(7), 상기 논리연산 및 상관도계산수단(7)에서 구해진 모우션벡터의 상관도가 가장 큰 최대값을 구하는 상관도최대치추출부(8), 상기 상관도최대치추출부(8)의 출력인 상관도가 최대인 좌표로 모우션벡터를 검출하는 모우션벡터검출부(9), 후보 모우션벡터의 어드레스를 발생하는 어드레스발생부(10) 및 상기 모우션벡터검출부(9)에서 구해진 4개의 소영역 세그먼트의 모우션벡터에서 전체를 대표하는 하나의 모우션벡터를 구하는 모우션결정부(11)로 구성되어 바이너리 이미지(Binary Image)사용으로 마이콤없이 실시간 모우션결정이 가능함을 특징으로 하는 화상처리시스템의 모우션검출장치.
제 1 항에 있어서, 현필드데이터배열부(2)가 라인메모리(12-14)와 n개의 1비트 수평방향지연기(r1#11-r1#mn)로 구성하는 것을 특징으로 하는 화상처리시스템의 모우션검출장치.
제 1 항에 있어서, 전필드데이터배열부(3)가 n개의 1비트수평방향지연기(r1#11-r1#mn)로 구성하는 것을 특징으로 하는 화상처리시스템의 모우션검출장치.
제 1 항에 있어서, 논리연산 및 상관도계산수단(7)이 m×n개의 앤드게이트(AD11-ADmn)와 덧셈기(21)로 구성하는 것을 특징으로 하는 화상처리시스템의 모우션검출장치.
제 1 항에 있어서, 상관도최대치추출부(8)가 9비트수평방향지연기(r9)와, 1비트수평방향지연기(r1), 9비트멀티플렉서(31) 및 9비트비교기(32)의 형태로 구성되는 것을 특징으로 하는 화상처리시스템의 모우션검출장치.
제 1 항에 있어서, 모우션벡터검출부(9)가 앤드게이트(ADM1, ADM2)와 10비트수평방향지연기(r10), 3단계의 1비트수평방향지연기(r1×3), 4단계의 1비트수평방향지연기(r1×4), 10비트멀티플렉서(41), 10비트비교기(42) 및 5비트수평방향지연기(r5)로 구성되는 것을 특징으로 하는 화상처리시스템의 모우션검출장치.
제 1 항에 있어서, 모우션결정부(11)가 비교기(61-64)와 5비트 멀티플렉서(65-72), 1비트수평방향지연기(r1), 6비트수평방향지연기(6), 6비트멀티플렉서(73-76), 5비트수평방향지연기(r5), 오아게이트(OR1, OR2), 노아게이트(NR1, NR2), 낸드게이트(ND1-ND4), 앤드게이트(ADM3) 및 평균치계산기(77, 78)로 구성된 것을 특징으로 하는 화상처리시스템의 모우션검출장치.