KR100290946B1 - 조명과움직임의변화특성을이용한동작검출방법및동작검출기 - Google Patents

Abstract

개시되는 본 발명의 동작 검출 방법 및 동작 검출기는 영상의 변화를 이용하여 피사체의 동작을 검출하는 동작 검출 시스템에 적용되는 것으로 상관 계수 기법과 차감 기법을 같이 사용한다. 상관 계수에 의한 동작 검출 방법에서 판단 보류 영역이 많아지는 경우 발생될 수 있는 오류는 차감 기법에 의해 감소된다. 또한 전 영상에서 검출된 움직임 검출 결과를 후 영상의 동작 검출 판단에 이용하므로 더욱 신뢰성 있는 동작 검출이 가능하다. 동작 검출기는 CMOS 이미지 센서, 프레임 버퍼, 메모리, CPU, 송수신부를 포함하여 원 칩의 반도체 디바이스로 구성된다. CMOS 이미지 센서는 피사체의 영상정보를 프레임 단위로 출력하고 이는 프레임 버퍼에 임시 저장된다. 프레임 버퍼에 임시 저장되는 영상 정보는 메모리에 저장되며, CPU는 프레임 단위의 영상 정보를 각기 비교하여 피사체의 동작을 감지한다. 피사체의 동작이 감지되는 경우에 CPU는 송수신부를 통해 외부로 동작 검출 정보를 출력한다.

Description

조명과 움직임의 변화 특성을 이용한 동작 검출 방법 및 동작 검출기(A MOTION DETECTION METHOD AND MOTION DETECTOR OF UTILIZING THE VARIATION CHARACTERISTIC OF LIGHT INTENSITY AND MOTION)

본 발명은 동작 검출(motion detection) 방법 및 동작 검출기(motion detector)에 관한 것으로, 구체적으로는 영상 정보를 이용하여 피사체의 움직임을 검출하는 동작 검출 방법 및 동작 검출기에 관한 것이다.

촬영된 피사체의 영상 정보로부터 피사체의 움직임을 검출하는 동작 검출 방법은 산업 전반에 다양한 응용을 보이고 있다. 동작을 검출하여 그에 따른 제어를 하는 관련 분야에서는 동작을 검출하기 위한 방법의 하나로서 피사체를 촬영한 영상 정보를 이용하는 방법이 있다. 이 방법은 영상을 취득하기 위한 비디오 카메라로부터 피사체의 영상을 취득하고, 취득된 영상 정보를 이용하여 동작을 검출하는데, 피사체의 움직임에 따라 변화되는 영상 정보를 이용하여 동작을 검출한다. 이러한 영상에 의한 동작 검출 시스템은 자동 제어 분야, 방범 시스템 분야 등에서 사용되고 있다. 예를 들어, 동작 검출 방법을 이용하는 방범 시스템에서는 감시용 비디오 카메라에 촬영되는 영상의 변화를 감지하여 외부 침입자를 감지하는데 응용된다.

도 1에는 동작 검출기를 구비한 방범 시스템의 일 예를 보여주는 도면이 도시되어 있고, 도 2에는 도 1에 도시된 비디오 카메라에 의해 촬영되는 영상의 일 예를 보여주는 도면이 도시되어 있다. 도 1에 도시된 바와 같이, 방범 시스템은 비디오 카메라(10), 동작 검출기(20), 메인 시스템(30), 비상벨(40)을 포함하여 구성된다. 상기 비디오 카메라(10)는 피사체(5)를 촬영한 영상 정보를 동작 검출기(20)로 제공한다. 동작 검출기(20)는 비디오 카메라(10)로부터 제공되어 지는 영상 정보에 기초하여 피사체의 동작 유무를 검출하며, 동작 검출 정보를 메인 시스템(30)으로 제공한다. 그리고 동작이 검출된 경우에는 비상벨(40)을 동작시킨다. 예를 들어, 도 2a 및 도 2b에 도시된 바와 같이, 피사체에 움직임이 있는 경우 동작 검출기(20)는 이를 검출하여 메인 시스템(30)으로 동작 검출에 대한 정보를 제공하며, 비상벨(40)을 동작시킨다. 도 2에서 참조번호 15와 17은 비디오 카메라(10)에 의해 촬영되어진 영상의 일 예이다. 이상과 같은 동작 검출기를 구비한 방범 시스템은 가정, 은행, 사무실 등에서 사용되고 있다.

이러한 동작 검출 방법은 촬영된 피사체의 영상 정보에 기초하여 동작을 검출하는데, 기본적으로 두 영상의 차이를 비교하고 그 값이 기준치 이상인 경우 움직임이 있는 경우로 판단하는 차감(subtraction) 기법이 일반화된 방법으로 종래의 동작 검출기에 널리 사용되고 있다. 이 방법은 동작 검출을 위한 계산 방법이 단순하고, 영상의 단순한 변화에도 민감하게 반응하여 피사체의 움직임을 빠르게 검출하는 장점이 있다. 이에 반하여 주변 조명의 변화에 민감하게 반응하는 단점이 있다. 즉, 실질적으로 피사체에는 움직임이 없고 단순히 조명의 변화만이 있는 경우에도 움직임이 있는 것으로 잘못 판단하는 경우가 발생할 수 있는 단점이 있다. 예를 들어, 동작 검출기가 설치된 방(room)의 외부에서 창(window)을 통하여 일시적으로 조명이 투사된 경우, 방의 내부에는 움직임이 없었고 단지 조명의 변화만이 일시적으로 있었다. 그러나 이러한 경우, 종래의 동작 검출기는 조명의 변화에 민감하게 반응하여 외부로부터 침입이 있었다고 잘못 판단하게 되는 경우가 발생할 수 있다.

이러한 문제점을 극복하기 위해 두 영상의 상관 계수(correlation coefficient)를 이용하여 피사체의 동작을 검출하는 방법이 제안되었다. 이 방법은 1998년 발행된 Communication & Multimedia Electronics Workshop, pp 15~22에 개시되어 있다. 이 방법은 영상의 변화에 무관한 상관 계수를 사용하므로 조명의 변화에 대하여 상당히 견실한 판단 지표를 제공한다.

상관 계수 기법은 조명의 변화에 무관하게 전/후 영상의 유사성을 +1∼-1의 값으로 정규화 하여 수량화하는 방법이다. 이 방법을 효과적으로 적용하기 위해서는 전/후 영상을 각각 다수개의 일정 크기의 블록으로 나누어 각각의 블록에 대한 상관 계수를 구하여 움직임이 있는지 없는지를 판별한다. 전/후 영상의 모든 블록들에 대하여 움직임이 있는가를 모두 판단한 후 이를 종합하여 판단한다.

그러나 상관 계수 기법은 그 특성상 다음과 같은 경우에 오류가 발생할 수 있다. 먼저, 영상이 지나치게 어둡거나 지나치게 밝은 경우에는 상관 계수는 분모가 0이 될 수 있으므로 값을 구할 수가 없게 되거나, 블록내의 미세한 계조 변화를 근거로 두 영상의 일치성을 연산해내 동작 검출에 오류가 발생할 수 있다. 다른 경우로는, 적당한 밝기지만 무늬가 없는 영상의 경우로 블록이 모두 같은 밝기인 경우에 동작 검출에 오류가 발생할 수 있다. 이 경우에 적당한 밝기에 무늬가 없는 영상은 카메라의 잡음에 대단히 민감하기 때문에 잡음 영상에 근거한 영상의 부합성을 판단하여 많은 오류를 발생시킬 수 있다.

이와 같이, 상관 계수의 특성상 빛의 과포화 혹은 과부족이 일어나는 영상의 영역 대해서는 사람의 눈과는 다른 특성을 나타내게 된다. 이러한 경우의 영상 영역에 대해서는 판단 보류 영역으로 두어 동작 검출 판단에 활용하지 않았다. 그러나 이러한 판단 보류 영역이 많아지는 경우, 동작 검출 결과에 신뢰성이 저하되는 문제점이 있다.

또한 종래의 동작 검출 시스템은 영상 정보를 취득하기 위한 비디오 카메라, 취득된 프레임 단위의 영상 정보들을 비교하여 피사체의 동작을 검출하기 위한 여러 회로들을 구비하므로 가격 면에서 고가이고, 비디오 카메라로부터 출력되는 영상 신호는 아날로그 비디오 신호이므로 이를 디지털 신호로 변화하기 위한 회로 구성에 있어 그 구성이 복잡하며, 동작 검출 시스템의 부피 또한 커지는 문제점이 있었다.

그러므로, 조명의 변화에 영향을 받지 않으면서 피사체의 동작을 올바르게 검출할 수 있는 보다 정확한 동작 검출 방법과 시스템 구성이 간단하게 되는 동작 검출기가 요구된다.

따라서, 본 발명의 목적은 상술한 제반 문제점을 해결하기 위해 제안된 것으로서 조명의 변화에 영향을 받지 않으며 보다 신뢰성이 있는 동작 검출 방법과 회로 구성이 간단하며 그 응용이 용이한 동작 검출기를 제공하는데 있다.

도 1은 동작 검출기를 구비한 방범 시스템의 일 예를 보여주는 도면;

도 2는 도 1에 도시된 비디오 카메라에 의해 촬영되는 영상의 일 예를 보여주는 도면;

도 3은 본 발명의 바람직한 실시예에 따른 동작 검출 방법의 플로우챠트;

도 4는 상관 계수 기법에 의해 움직임이 검출된 블록을 보여주는 도면;

도 5는 도 4의 움직임이 검출된 블록을 확대한 경우를 보여주는 도면;

도 6은 차감 기법에 의해 움직임이 검출된 블록을 보여주는 도면;

도 7은 도 5와 도 6의 움직임 검출 블록을 AND 처리한 결과를 보여주는 도면;

도 8은 본 발명의 바람직한 실시예의 따른 동작 검출 방법에 의해 전/후 영상이 처리되는 과정을 보여주는 플로우챠트;

도 9내지 도 25는 본 발명의 실시예에 따른 동작 검출 방법의 각 단계에서의 영상들의 일 예를 보여주는 도면으로,

도 9내지 도 17은 밝은 배경에 어두운 피사체가 진입했을 때의 경우, 도 18내지 도 25는 조명의 변화만이 있을 때의 경우를 각각 보여주는 도면;

도 26은 본 발명의 바람직한 실시예에 따른 동작 검출기의 회로 구성을 보여주는 블록도;

도 27은 본 발명의 바람직한 실시예에 따른 동작 검출기가 원 칩(one chip)의 반도체 디바이스(semiconductor device)로 구성된 예를 보여주는 도면;

도 28은 본 발명의 동작 검출기를 이용하여 방범 시스템을 구성한 예를 보여주는 도면;

도 29는 IR 센서를 부가하여 동작 검출기를 구성한 예를 보여주는 도면; 그리고

도 30은 움직이는 피사체의 거리를 측정하기 위해 두 개의 동작 검출기를 사용한 예를 보여주는 도면이다.

*도면의 주요 부분에 대한 부호의 설명*

10 : 비디오 카메라 20, 50 : 동작 검출기

30, 80 : 메인 시스템 40, 70, 72 : 비상벨

60 : 광학계

상술한 바와 같은 본 발명의 목적을 달성하기 위한 본 발명의 일 특징에 의하면, 영상의 변화에 의해 전/후 영상 데이터가 변화되는 것을 이용하여 촬영되는 영상의 영역에서의 움직임을 검출하는 동작 검출 방법은: 전/후 영상을 취득하는 단계와; 전/후 영상을 복수개의 단위 블록으로 구분하고, 전/후 영상의 각 대응되는 블록에 대하여 차감 기법 및 상관 계수 기법에 의해 움직임을 검출하는 단계와; 상관 계수 기법에 의해 움직임이 검출된 블록을 주변 블록으로 확대하는 단계와; 차감 기법 및 상관 계수 기법에 의해 각기 움직임이 검출된 블록을 AND 처리하는 단계와; AND 처리된 영상에서 움직임이 검출된 블록의 응집도(SC1)를 계산하는 단계와; 계산된 응집도(SC1)가 제1 문턱치와 비교하여 움직임을 판단하는 단계를 포함한다.

이 실시예에 있어서, 상기 동작 검출 방법은: 상기 계산된 응집도(SC1)가 제1 문턱치보다 큰 경우, 전 영상에서 움직임이 검출된 영상과 AND 처리된 영상을 NAND 처리하는 단계와; NAND 처리된 영상에서 움직임이 검출된 블록의 응집도(SC2)를 계산하는 단계와; 계산된 응집도(SC2)를 제2 문턱치와 비교하여 움직임을 판단하는 단계를 포함한다.

이 실시예에 있어서, 상기 동작 검출 방법은 취득된 전/후 영상을 가우시안 필터링(gaussian filtering)하는 단계를 포함한다.

본 발명의 다른 특징에 의하면, 영상의 변화에 의해 전/후 영상 데이터가 변화되는 것을 이용하여 촬영되는 영상의 영역에서의 움직임을 검출하는 동작 검출 방법은: 전/후 영상을 취득하는 단계와; 전/후 영상을 복수개의 단위 블록으로 구분하고, 전/후 영상의 각 대응되는 블록에 대하여 제1 및 제2 동작 검출 기준으로 각기 움직임을 검출하는 단계와; 제1 및 제2 동작 검출 기준에 의한 움직임 검출 결과를 AND 처리하는 단계와; AND 처리된 영상에서 움직임이 검출된 블록의 응집도(SC1)를 계산하는 단계와; 계산된 응집도(SC1)가 제1 문턱치와 비교하여 움직임을 판단하는 단계를 포함한다.

이 실시예에 있어서, 상기 제1 및 제2 동작 검출 기준은 각각 차감 기법 및 상관 계수 기법이다.

이 실시예에 있어서, 상기 동작 검출 방법은 상관 계수 기법에 의해 움직임이 검출된 블록을 주변 블록으로 확대하는 단계를 포함한다.

이 실시예에 있어서, 상기 동작 검출 방법은: 상기 계산된 응집도(SC1)가 제1 문턱치보다 큰 경우, 전 영상에서 움직임이 검출된 영상과 AND 처리된 영상을 NAND 처리하는 단계와; NAND 처리된 영상에서 움직임이 검출된 블록의 응집도(SC2)를 계산하는 단계와; 계산된 응집도(SC2)를 제2 문턱치와 비교하여 움직임을 판단하는 단계를 포함한다.

이 실시예에 있어서, 상기 동작 검출 방법은 취득된 전/후 영상을 가우시안 필터링(gaussian filtering)하는 단계를 포함한다.

본 발명의 또 다른 특징에 의하면, 동작 검출기는: 피사체의 영상 정보를 출력하는 이미지 센서와; 상기 이미지 센서로부터 출력되는 프레임 단위의 영상 정보를 임시 저장하는 프레임 버퍼와; 상기 프레임 버퍼에 임시 저장된 영상 정보를 순차적으로 입력받아 저장하는 메모리와; 상기 메모리에 저장된 각 프레임 단위의 영상 정보를 비교하여 피사체의 동작을 검출하여 동작 검출 정보를 출력하는 제어 수단을 포함한다.

이 실시예에 있어서, 상기 동작 검출기는 동작 검출에 따른 동작 검출 정보를 외부로 출력하기 위한 송수신기를 포함한다.

이 실시예에 있어서, 상기 동작 검출기는 원 칩(one chip)의 반도체 디바이스(semiconductor device)로 구성된다.

이 실시예에 있어서, 상기 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor) 센서로 구성된다.

다른 실시예에 있어서, 상기 동작 검출기는 피사체의 동작을 감지하기 위한 센서를 더욱 포함하고, 상기 제어 수단은 상기 영상 정보에 의한 동작 검출 및/또는 상기 센서에 의한 동작 감지에 따라 동작 검출 정보를 출력한다.

(실시예)

이하, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세히 설명한다.

동작 검출 방법

본 발명의 신규한 동작 검출 방법은 영상의 변화를 이용하여 피사체의 동작을 검출하는 동작 검출 시스템에 적용되는 것으로 상관 계수에 의한 동작 검출 방법과 차감 기법을 이용한다. 상관 계수에 의한 동작 검출 방법에서 판단 보류 영역이 많아지는 경우 발생될 수 있는 오류는 차감 기법에 의해 감소된다. 또한 전 영상에서 검출된 움직임 검출 결과를 후 영상의 동작 검출 판단에 이용하므로 더욱 신뢰성 있는 동작 검출이 가능하다. 본 발명의 동작 검출 방법은 비디오 카메라 등의 영상 촬영 장치로부터 입력되는 영상 데이터를 이용하여 피사체의 움직임을 검출하는 동작 검출 시스템에 적용된다.

도 3에는 본 발명의 바람직한 실시예에 따른 동작 검출 방법의 플로우챠트가 도시되어 있다. 본 발명의 바람직한 실시예에 따른 동작 검출 방법은 단계 S30에서 전/후 영상 데이터를 취득한다. 취득된 전/후 영상 데이터는 단계 S31에서 필터링 된다. 이 단계에서의 필터링은 가우시안 필터(gaussian filter)에 의해 이루어진다. 이어 단계 S32에서는 전/후 영상을 각각 다수개의 일정 크기의 블록으로 나누고, 각 블록들에 대하여 차감 기법 및 상관 계수 기법에 의해 각각 움직임을 판단한다.

상관 계수 기법은 조명의 변화에 무관하게 전/후 영상의 유사성을 +1∼-1의 값으로 정규화 하여 수량화하는 방법이다. 이 방법을 효과적으로 적용하기 위해서는 전/후 영상을 각각 다수개의 일정 크기의 블록으로 나누어 각각의 블록에 대한 상관 계수를 구하여 움직임이 있는지 없는지를 판별한다. 전/후 영상의 모든 블록들에 대하여 움직임이 있는가를 모두 판단한 후 이를 종합하여 판단한다.

상관 계수 기법에 의한 움직임 검출은 다음과 같은 오류가 발생할 수 있다. 먼저, 영상이 지나치게 어둡거나 지나치게 밝은 경우에는 상관 계수는 분모가 0이 될 수 있으므로 값을 구할 수가 없게 되거나, 블록내의 미세한 계조 변화를 근거로 두 영상의 일치성을 연산해내는 경우 오류가 발생할 수 있다. 다른 경우로, 적당한 밝기지만 무늬가 없는 영상의 경우로 각 블록들이 모두 같은 밝기인 경우에 동작 검출에 오류가 발생할 수 있다. 적당한 밝기에 무늬가 없는 영상은 카메라의 잡음에 대단히 민감하기 때문에 잡음 영상에 근거한 영상의 부합성을 판단하여 많은 오류를 발생시킬 수 있다. 이와 같이, 블록들의 분산이 현저하게 작을 경우 해당되는 블록을 판단 보류 영상으로 판단한다. 즉, 전/후 영상의 비교되는 해당 두 블록의 분산 중 어느 하나라도 아주 작을 경우에도 판단 보류 영상으로 판정한다. 그리고 카메라의 잡음을 없애기 위해 가우시안 필터(gaussian filter)를 사용하여 영상을 블러링 하는데, 블러링한 영상은 잡음에 대한 블록의 분산 값이 작아 지므로 이러한 블록도 판단 보류 영상으로 한다.

상과 계수 기법에서는 판단 보류 영상이 많아지면 움직임 검출 성능이 저하될 수 있다. 즉, 영상의 배경무늬가 단조롭거나 어두운 피사체 또는 밝은 피사체가 진입할 경우 이 영상을 판단 보류 영상으로 판단해서 움직임을 검출할 수 없다. 그리고 조명의 국부적인 변화를 움직임으로 오판하는 경우를 발생할 수 있다. 이러한 상관 계수 기법에 의한 판단 보류 영역에 대한 움직임 검출의 성능 저하를 보상하기 위해 차감 기법을 같이 이용한다.

영상의 차감과 상관 계수에는 서로 상반되는 특성이 있다. 즉, 조명의 변화에서 차감 기법은 영상 전체에서 움직임이 있다고 판단할 수 있으며, 반면 상관 계수 기법에서는 움직임이 없다고 판단할 수 있다. 그리고 어두운 배경에 밝은 피사체가 진입했을 경우나, 그 반대의 경우에는 상관 계수 기법은 피사체의 경계선만 움직임이 있다고 판단할 수 있으며, 그에 반해 차감 기법은 피사체의 모든 부분을 움직임이 있다고 판단할 수 있다.

계속해서, 단계 S33에서는 상관 계수 기법에 의해 구해진 움직임이 있는 블록을 확대(dilation)한다. 그리고 단계 S34에서는 차감 기법과 상관 계수 기법에 의해 구해진 두 영상을 AND 처리한다. 상관 계수 기법은 피사체의 움직임 검출이 적기 때문에 이 정보만으로 영상에 움직임이 있었다고 판단하기가 곤란하다. 그러므로 움직임이 검출된 블록을 주변 블록으로 확대시키는 것이다. 그러면 원래 움직임과는 많은 왜곡이 생기게 되지만 이런 왜곡은 영상 블록을 차감한 결과와 AND함으로서 보상된다. 이 두 개의 영상블록이 모두 움직임이 있는 영상일 경우에 움직임이 있는 블록으로 간주한다.

도 4내지 도7에 상관 관계 기법 및 차감 기법에 의한 움직임을 검출하는 예를 보여주는 도면이 도시되어 있다. 도 4는 상관 계수 기법에 의해 움직임이 검출된 블록을 보여주는 도면이고, 도 5는 도 4의 움직임이 검출된 블록을 확대한 경우를 보여주는 도면이고, 도 6은 차감 기법에 의해 움직임이 검출된 블록을 보여주는 도면이며, 그리고 도 7은 도 5와 도 6의 움직임 검출 블록을 AND 처리한 결과를 보여주는 도면이다. 도 4 내지 도 7에서 ■은 움직임이 검출된 블록이고, □은 움직임이 검출되지 않은 블록을 표시하는 것이다. 도 4는 상관 계수 기법에 의해 움직임을 검출한 예이고, 이를 확대한 것이 도 5에 도시되어 있다. 도 6은 차감 기법에 의해 움직임을 검출한 예이다. 그리고 도 7은 도 5에 도시된 확대 결과와 도 6에 도시된 차감 기법에 의해 결과를 AND 처리한 결과이다. 이와 같이 단계 S33과 단계 S34를 통해 보다 정확한 움직임의 판단을 할 수 있다. 그리고 단지 조명이 변화했을 경우에 차감 기법에서는 모든 블록이 움직임이 있다고 판단하지만 상관 계수 기법에서는 모든 블록이 움직임이 없다고 판별하기 때문에 이 두개의 블록을 AND하면 움직임이 있는 블록은 검출되지 않게 된다.

계속해서, 단계 S35에서는 AND 처리된 영상에서 움직임이 검출된 블록의 응집도(SC1)를 계산한다. 단계 S36에서는 계산된 응집도 SC1이 제1 문턱치보다 큰가를 판단한다. 크지 않은 경우에는 단계 S40으로 진행하여 움직임이 없는 것으로 판단하며, 작은 경우에는 단계 S37로 진행한다.

단계 S37에서는 전 영상에서 검출된 영상과 AND 처리된 영상을 NAND 처리한다. 조명이 어두운 곳에서 밝은 곳으로 변할 때 영상에 새로운 무늬가 나타나거나 반대로 무늬가 없어지는 경우와 새로운 조명에 의해 그림자가 생기거나 그림자의 방향이 바뀌는 경우에 움직임이 있다고 판별할 수 있다. 이러한 경우를 방지기 위해 움직임이 검출된 블록의 특징을 이용한다. 영상에 새로운 조명이 생기거나 아니면 없어지는 경우에 발생되는 영상의 잡음(움직임이 검출된 블록)은 항상 같은 곳에 위치한다. 다시 말하면, 움직임이라는 것은 피사체가 영상에 나타난 부분을 말하며 피사체란 움직이는 물체이므로 이 부분은 시간에 따라 변화된다. 그러나 움직임이 검출된 블록이 만약 조명의 변화로 생겼다면 다음 영상을 처리할 때도 같은 부분에 움직임이 검출될 것이다.

그러므로 움직임을 판별할 때 전에 검출된 영상의 블록을 활용한다. 다시 말하면 전에 검출된 영상의 블록과 현재 검출된 영상의 블록을 NAND 처리하여 같은 곳에 움직임이 없는 블록이 있으면 움직임이 없는 블록으로 판단하다. 그러면 전 영상과 현재 영상이 같은 곳에서 움직임이 검출되었다면 움직임이 없는 새로운 영상 블록이 만들어질 것이고, 반대로 두 개의 영상의 움직임 검출된 부분이 다르다면 더욱 많은 움직임이 검출된 영상블록이 만들어질 것이다. 이렇게 NAND 처리에 의해 새로이 만들어진 블록을 통해서 영상의 움직임을 판단하면 보다 신뢰성 높아진다.

이어, 단계 S38에서는 NAND 처리된 영상에서 움직임이 검출된 블록의 응집도(SC2)를 계산한다. 단계 S39에서는 계산된 응집도 SC2가 제2 문턱치보다 큰가를 판단한다. 큰지 않은 경우에는 상기 단계 S40으로 진행하여 움직임이 없다고 판단하며, 큰 경우에는 단계 S41로 진행하여 움직임이 있다고 판단한다.

이상과 같은 본 발명의 실시예에 따라 움직임을 검출하는 예를 도 8내지 도 25를 참조하여 설명한다. 도 8은 본 발명의 바람직한 실시예의 따른 동작 검출 방법에 의해 전/후 영상이 처리되는 과정을 보여주는 플로우챠트이다. 도 8에 도시된 각 단계들은 도 3에 도시된 각 단계들과 대응되는 것으로 보다 정확한 이해를 위하여 각 단계에서 처리되는 영상을 블록으로 도시하였다. 도 9내지 도 25는 본 발명의 실시예에 따른 동작 검출 방법의 각 단계에서의 영상들의 일 예를 보여주는 도면으로, 도 9내지 도 17은 밝은 배경에 어두운 피사체가 진입했을 때의 경우, 도 18내지 도 25는 조명의 변화만이 있을 때의 경우를 각각 보여주는 도면이다.

이 실시예에서, 비디오 카메라에 의해 촬영된 영상은 160×120 픽셀의 영상으로 1초 간격을 두고 실시간으로 촬영한 것이다. 영상에 대한 가우시안 필터와 움직임 판단 블록의 크기는 5×5 픽셀 구분된 것이다. 도 11 내지 도 17 그리고 도 20 내지 도 25에서, 움직임이 있는 블록은 ■으로 움직임이 없는 블록은 ∥으로 그리고 나머지 각각의 판단 보류 블록은 도면에 도시된 바와 같은 도형으로 각각 나타낸다.

먼저, 밝은 배경에 어두운 피사체가 진입하는 경우에 동작 검출이 이루어지는 과정을 설명한다. 도 8을 참조하여, 취득된 전 영상 IMG10(도 9에 도시됨)과 후 영상 IMG20(도 10에 도시됨)은 단계 S40에서 가우시안 필터에 의해 필터링 된다. 가우시안 필터에 의해 필터링된 후 영상은 도 11에 도시되어 있다.

단계 S41 및 단계 S42에서는 영상을 각각 다수개의 일정 크기의 블록으로 나누고, 각 블록들에 대하여 차감 기법 및 상관 계수 기법에 의해 각각 움직임을 판단한다. 상관 계수 기법에 의해 움직임이 검출된 블록을 도시한 영상 IMG22는 도 12에 도시되어 있고, 차감 기법에 의해 움직임이 검출된 블록을 도시한 영상 IMG12는 도 14에 도시되어 있다.

도 12에 도시된 바와 같이, 상관 계수 기법으로 움직임을 검출한 결과를 보면 판단 보류 부분이 영상의 밝은 곳과 피사체의 검은 부분인 것을 알 수 있고, 움직임이 검출된 블록이 아주 적고 피사체의 경계선에서만 잡힌 것을 볼 수 있다. 이런 경우 움직임이 검출된 블록을 확대하여 움직임을 검출할 수 있다. 단계 S43에서는 상관 계수 기법에 의해 검출된 움직임이 있는 블록을 3*3으로 확대한다. 확대된 영상 IMG24가 도 13에 도시되어 있다.

단계 S44에서는 차감 기법에 의해 움직임이 검출된 블록과 확대된 블록을 AND 처리한다. AND 처리된 결과에 의해 움직임이 검출된 영상 IMG30이 도 15에 도시되어 있다. 단계 S45에서는 검출된 영상 블록의 응집도(SC1)를 계산한다. 단계 S46에서는 계산된 응집도 SC1이 제1 문턱치보다 큰가를 판단하며, 큰지 않은 경우에는 단계 S50으로 진행하여 움직임이 없는 영상으로 판단한다. 큰 경우에는 단계 S47로 진행한다. 단계 S47에서는 AND 처리된 영상 IMG30(도 15에 도시됨)과 전 영상에 움직임이 검출된 영상(도 16에 도시됨)을 NAND 처리한다. NAND 처리된 영상 은 도 17에 도시되어 있다. 단계 S48에서는 NAND 처리된 영상 IMG50(도 17에 도시됨)의 응집도(SC2)를 계산한다. 단계 S49에서는 계산된 응집도 SC2가 제2 문턱치보다 큰가를 판단하고, 크지 않은 경우에는 단계 S51로 진행하여 움직임이 없는 영상으로 판정하며, 큰 경우에는 단계 S52로 진행하여 움직임이 있는 영상으로 판단한다. 도 17에 도시된 바와 같이, 올바르게 움직임이 검출되었음을 알 수 있다.

다음은 조명의 변화만이 있었을 경우를 예를 들어 설명한다. 도 18 및 도 19에는 각각 동일한 배경에서 조명의 변화가 있는 경우를 보여주는 전/후 영상이다. 도 20에는 상관 계수 기법에 의해 움직임이 검출된 블록을 보여주는 도면이 도시되어 있고, 도 21에는 움직임이 검출된 블록을 확대한 결과를 보여주는 도면이 도시되어 있다. 도 22에는 차감 기법에 의해 움직임이 검출된 블록을 보여주는 도면이 도시되어 있다. 움직임 검출 블록이 확대된 결과와 차감 기법에 의해 움직임이 검출된 블록을 AND 처리한 결과는 도 23에 도시되어 있고 이를 움직임이 검출된 전 영상(도 24에 도시됨)과 NAND 처리한 결과는 도 25에 도시되어 있다. 도 25에 도시된 바와 같이, 단지 조명의 변화만이 있는 경우에는 움직임이 거의 검출되지 않음을 알 수 있다.

두 번째 경우는 조명의 변화로 잡음이 발생된 영상을 움직임이 없는 것으로 올바르게 판단하는 영상이다. 이 실험과정을 그림 17∼24에 보였다. 그림17과 그림 18은 동일한 화면에 조명의 변화가 있는 영상으로 그림 19와 같은 잡음이 발생했다. 이 잡음을 확대시킨 결과는 그림 23이고 이 결과는 그림 22(전 영상에서 움직임이 검출된 결과)와 거의 유사하다.

동작 검출기

본 발명의 바람직한 실시예에 따른 동작 검출기는 앞서 설명한 바와 같은 본 발명의 동작 검출 방법을 이용하여 피사체의 움직임을 검출한다. 동작 검출기는 이미지 센서로부터 입력되는 피사체의 영상 정보로부터 각 프레임 단위의 영상을 비교하여 피사체의 동작에 따른 영상의 변화가 있었는가를 판단하여 동작 검출 정보를 출력한다.

도 26에는 본 발명의 바람직한 실시예에 따른 동작 검출기의 회로 구성을 보여주는 블록도이다. 도 26에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 동작 검출기(50)는 피사체의 영상을 취득하기 위한 CMOS 이미지 센서(image sensor)(51), CMOS 이미지 센서(51)로부터 출력되는 프레임 단위의 영상 정보를 임시 저장하기 위한 프레임 버퍼(52), 영상 정보를 저장하기 위한 DRAM(53), 동작 검출 프로그램이 저장된 ROM(54) 및, 동작 검출기(50)의 전반적인 제어를 수행하는 CPU(55), 외부와의 데이터 송수신을 위한 직렬 송수신부(57)를 포함하여 구성된다.

이러한 구성을 갖는 동작 검출기(50)는 피사체의 동작을 검출하여 그에 따른 동작 검출 정보를 외부 시스템(미도시됨)으로 제공한다. 상기 CPU(55)는 ROM(54)에 저장된 소정의 동작 검출 프로그램(이 프로그램은 앞서 설명된 본 발명의 실시예에 따른 동작 검출 방법에 따른 것임)을 수행하여 동작 검출기(50)의 전반적인 제어와 동작 검출에 따른 동작 검출 정보를 직렬 송수신부(57)를 통해 외부로 출력한다.

상기 CMOS 이미지 센서(51)는 영상 정보를 디지털 신호로 출력하므로, CCD(Charge Coupled Device)와 같은 아날로그 신호를 출력하는 종래의 이미지 센서와 달리 아날로그 신호를 디지털 신호로 변환하기 위한 별도의 회로들이 필요치 않다. CMOS 이미지 센서(51)는 영상 정보를 프레임 단위로 출력한다. 상기 CMOS 이미지 센서(51)로부터 출력되는 프레임 단위의 영상 정보는 프레임 버퍼(52)에 임시 저장되고, 다시 DRAM(53)으로 저장된다. 이러한 동작의 제어는 상기 CPU(55)에 의해 제어된다. DRAM(53)에 저장된 프레임 단위의 영상 정보는 CPU(55)에 의해 각기 비교되어 전 영상과 후 영상에 변화가 있는가를 판단한다. 즉, CMOS 이미지 센서(51)에 감지되는 피사체에 움직임이 있었는가를 판단한다. 어떠한 동작이 검출되면 CPU(55)는 동작 검출 정보를 직렬 송수신부(57)를 통하여 외부 시스템으로 전송한다.

상기 동작 검출기(50)는 각각의 회로 구성을 별도의 소자들을 사용하여 구성하여도 된다. 그리고 도 27에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 동작 검출기(50)는 특히 원 칩(one chip)의 반도체 디바이스(semiconductor device)로 구성된다. 원 칩으로 된 동작 검출기(50)의 상부에는 포토 다이오드 어레이(photo diode array)가 노출되기 위한 윈도우(58)가 구성된다. 그러므로 이 윈도우(58) 상에 광학계(optical system)(60)를 위치시켜 사용하면 되므로 매우 간편하고 편리하다.

도 28에는 본 발명의 동작 검출기를 이용하여 방범 시스템을 구성한 예를 보여주는 도면이 도시되어 있다. 도 28에 도시된 바와 같이, 본 발명의 동작 검출기(50)를 이용한 방범 시스템은 동작 검출기(50), 광학계(60) 그리고 비상벨들(70, 42)을 구비하고, 상기 동작 검출기(50)는 메인 시스템(80)에 접속된다. 하나의 비상벨(70)은 동작 검출기(50)에 직접 접속되고, 다른 하나의 비상벨(72)은 메인 시스템(80)에 접속되어 있다.

상기 동작 검출기(50)가 피사체의 움직임을 검출하는 경우 그에 따른 동작 검출 정보를 메인 시스템(80)으로 전송하고, 접속된 비상벨(70)을 동작시킨다. 그리고 메인 시스템(80)은 동작 검출 정보를 수신하여 접속된 비상벨(72)을 동작시킨다. 이와 같은 방범 시스템의 구성은 본 발명의 동작 검출기를 응용한 일 예를 보여주는 것이며, 본 발명의 동작 검출기는 다양한 시스템에 응용될 수 있다.

다른 예로서, 도 29에는 적외선(InfroRed:IR) 센서를 부가하여 동작 검출기를 구성한 예를 보여주는 도면이다. 동작 검출기(50)는 기본적으로 영상의 변화를 감지하여 피사체의 동작을 감지하고 있다. 더욱 신뢰성이 높은 결과를 얻기 위해 IR 센서(Infrared sensor)(90)를 동작 검출기에 접속시켜 사용할 수 있다. 이 경우, 동작 검출기(50)는 영상의 변화에 따른 동작 검출 결과와 IR 센서(90)에 의한 동작 검출 결과를 이용하여 최종적으로 피사체의 움직임을 검출하도록 할 수 있다. 이 두 검출 조건을 AND 또는 OR 하여 동작 검출을 판단하므로 더욱 신뢰성이 높은 동작 검출 결과를 얻을 수 있다.

또 다른 예로서, 도 30에는 움직이는 피사체의 거리를 측정하기 위해 두 개의 동작 검출기를 사용한 예를 보여주는 도면 도시되어 있다. 도 30에 도시된 바와 같이, 제 1 및 제 2 동작 검출기들(100, 110)은 일정 거리(L)를 갖고 접속 케이블(120)로 상호 연결되어 설치되어 있다. 이때 제 1 및 제 2 동작 검출기들(100, 110)이 피사체(130)의 움직임을 검출하는 각도가 각기 ∠a, ∠b 인 경우 움직임이 있는 피사체(130)의 위치를 검출할 수 있다. 즉, 제 1 및 제 2 동작 검출기들(100, 110) 사이의 거리와 피사체의 움직임을 검출한 각 ∠a, ∠b는 알 수 있는 값이므로 이로부터 움직임이 있는 피사체(130)의 위치를 계산할 수 있다.

이상과 같은 본 발명의 동작 검출 방법은 차감 기법과 상관 계수 기법을 사용하여 동작 검출을 함으로서 보다 신뢰성이 높은 동작 검출 결과를 얻을 수 있다. 영상의 배경무늬가 복잡한 곳에서 더욱 높은 동작 검출 성능을 보이며, 어두운 피사체의 진입이나 그렇지 않은 피사체의 진입에서도 신뢰성 높은 동작 검출 결과를 얻을 수 있다. 그리고 조명의 국부적인 변화에서도 안정된 동작 검출 성능을 보인다. 그리고 동작 검출기는 종래와 달리 그 구성이 간단하며, 특히 원 칩의 반도체 디바이스로 제공되므로 방범 시스템 등에서 동작 검출기의 응용이 매우 용이하다.

Claims (13)

1. 영상의 변화에 의해 전/후 영상 데이터가 변화되는 것을 이용하여 촬영되는 영상의 영역에서의 움직임을 검출하는 동작 검출 방법에 있어서:

   전/후 영상을 취득하는 단계와;

   전/후 영상을 복수개의 단위 블록으로 구분하고, 전/후 영상의 각 대응되는 블록에 대하여 차감 기법 및 상관 계수 기법에 의해 움직임을 검출하는 단계와;

   상관 계수 기법에 의해 움직임이 검출된 블록을 주변 블록으로 확대하는 단계와;

   차감 기법 및 상관 계수 기법에 의해 각기 움직임이 검출된 블록을 AND 처리하는 단계와;

   AND 처리된 영상에서 움직임이 검출된 블록의 응집도(SC1)를 계산하는 단계와;

   계산된 응집도(SC1)와 제1 문턱치를 비교하여 움직임을 판단하는 단계를 포함하는 것을 특징으로 하는 동작 검출 방법.
2. 제1 항에 있어서,

   상기 계산된 응집도(SC1)가 제1 문턱치보다 큰 경우, 전 영상에서 움직임이 검출된 영상과 AND 처리된 영상을 NAND 처리하는 단계와;

   NAND 처리된 영상에서 움직임이 검출된 블록의 응집도(SC2)를 계산하는 단계와;

   계산된 응집도(SC2)를 제2 문턱치와 비교하여 움직임을 판단하는 단계를 더 포함하는 것을 특징으로 하는 동작 검출 방법.
3. 제1 항에 있어서,

   상기 취득된 전/후 영상을 가우시안 필터링(gaussian filtering)하는 단계를 더 포함하는 것을 특징으로 하는 동작 검출 방법.
4. 영상의 변화에 의해 전/후 영상 데이터가 변화되는 것을 이용하여 촬영되는 영상의 영역에서의 움직임을 검출하는 동작 검출 방법에 있어서:

   전/후 영상을 취득하는 단계와;

   전/후 영상을 복수개의 단위 블록으로 구분하고, 전/후 영상의 각 대응되는 블록에 대하여 제1 및 제2 동작 검출 기준으로 각기 움직임을 검출하는 단계와;

   제1 및 제2 동작 검출 기준에 의한 움직임 검출 결과를 AND 처리하는 단계와;

   AND 처리된 영상에서 움직임이 검출된 블록의 응집도(SC1)를 계산하는 단계와;

   계산된 응집도(SC1)가 제1 문턱치와 비교하여 움직임을 판단하는 단계를 포함하는 것을 특징으로 하는 동작 검출 방법.
5. 제4 항에 있어서,

   상기 제1 및 제2 동작 검출 기준은 각각 차감 기법 및 상관 계수 기법인 것을 특징으로 하는 동작 검출 방법.
6. 제5 항에 있어서,

   상기 상관 계수 기법에 의해 움직임이 검출된 블록을 주변 블록으로 확대하는 단계를 더 포함하는 것을 특징으로 하는 동작 검출 방법.
7. 제5 항에 있어서,

   상기 계산된 응집도(SC1)가 제1 문턱치보다 큰 경우, 전 영상에서 움직임이 검출된 영상과 AND 처리된 영상을 NAND 처리하는 단계와;

   NAND 처리된 영상에서 움직임이 검출된 블록의 응집도(SC2)를 계산하는 단계와;

   계산된 응집도(SC2)를 제2 문턱치와 비교하여 움직임을 판단하는 단계를 포함하는 것을 특징으로 하는 동작 검출 방법.
8. 제5 항에 있어서,

   상기 취득된 전/후 영상을 가우시안 필터링(gaussian filtering)하는 단계를 더 포함하는 것을 특징으로 하는 동작 검출 방법.
9. 피사체의 영상 정보를 출력하는 이미지 센서와;

   상기 이미지 센서로부터 출력되는 프레임 단위의 영상 정보를 임시 저장하는 프레임 버퍼와;

   상기 프레임 버퍼에 임시 저장된 영상 정보를 순차적으로 입력받아 저장하는 메모리와;

   상기 제어 수단은 상기 이미지 센서로부터 전/후 영상을 취득하고, 상기 전/후 영상을 복수개의 단위 블록으로 구분하고, 상기 전/후 영상의 각 대응되는 블록에 대하여 차감 기법 및 상관 계수 기법에 의해 움직임을 검출하고, 상기 상관 계수 기법에 의해 움직임이 검출된 블록을 주변 블록으로 확대하여 차감 기법 및 상관 계수 기법에 의해 각기 움직임이 검출된 블록을 AND 처리하고, 상기 AND 처리된 영상에서 움직임이 검출된 블록의 응집도를 계산하며, 상기 계산된 응집도와 제1문턱치를 비교하여 움직임을 판단하는 것을 특징으로 하는 동작 검출기.
10. 제 9 항에 있어서,

    상기 동작 검출 정보를 외부로 출력하기 위한 송수신기를 더 포함하는 것을 특징으로 하는 동작 검출기.
11. 제 9 항 또는 제 10 항에 있어서,

    상기 동작 검출기는 원 칩(one chip)화 된 것을 특징으로 하는 동작 검출기.
12. 제 9 항에 있어서,

    상기 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor) 센서인 것을 특징으로 하는 동작 검출기.
13. 제 9 항에 있어서,

    상기 피사체의 동작을 감지하기 위한 적외선 센서를 더 포함하고,

    상기 제어 수단은 상기 영상 정보에 의한 동작 검출 및/또는 상기 적외선 센서에 의한 동작 감지에 따라 상기 동작 검출 정보를 출력하는 것을 특징으로 하는 동작 검출기.