KR100541618B1 - 감시용 카메라의 제어장치 및 방법 - Google Patents

감시용 카메라의 제어장치 및 방법 Download PDF

Info

Publication number
KR100541618B1
KR100541618B1 KR1020030098925A KR20030098925A KR100541618B1 KR 100541618 B1 KR100541618 B1 KR 100541618B1 KR 1020030098925 A KR1020030098925 A KR 1020030098925A KR 20030098925 A KR20030098925 A KR 20030098925A KR 100541618 B1 KR100541618 B1 KR 100541618B1
Authority
KR
South Korea
Prior art keywords
template
contour
surveillance camera
subject
memory
Prior art date
Application number
KR1020030098925A
Other languages
English (en)
Other versions
KR20050067892A (ko
Inventor
박창우
성하경
김영욱
이종배
이성호
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020030098925A priority Critical patent/KR100541618B1/ko
Publication of KR20050067892A publication Critical patent/KR20050067892A/ko
Application granted granted Critical
Publication of KR100541618B1 publication Critical patent/KR100541618B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Abstract

감시용 카메라의 촬영 영상신호에서 소정 피사체의 움직임이 검출될 경우에 감시용 카메라의 회전 및 틸트와, 줌을 조절하여 감시용 카메라가 움직임 피사체를 추적하면서 일정한 크기로 촬영하도록 제어한다.
감시용 카메라가 촬영한 각각의 프레임의 영상신호에서 윤곽선을 추출하는 윤곽선 추출부와, 윤곽선 추출부가 추출한 N, N-1 및 N-2 번째 프레임의 윤곽선을 저장하는 메모리와, 메모리에 저장된 N-1 및 N-2 번째 프레임의 윤곽선으로 피사체의 탬플릿(template)을 검출하고 검출한 피사체의 탬플릿을 메모리에 저장된 N 번째 프레임의 윤곽선에 매칭시켜 움직임이 있는 피사체의 탬플릿 위치를 검출하는 탬플릿 위치 검출수단과, 탬플릿 위치 검출수단이 검출한 탬플릿과 메모리에 저장된 N 번째 프레임의 윤곽선을 논리 곱하여 움직임이 있는 피사체의 탬플릿을 갱신하는 탬플릿 갱신수단과, 탬플릿 위치 검출수단이 검출한 움직임 피사체의 탬플릿 위치에 따라 감시용 카메라의 회전 및 틸트를 제어하고, 탬플릿 갱신수단이 갱신한 탬플릿의 크기에 따라 감시용 카메라의 줌을 제어하는 감시용 카메라 제어부로 구성된다.
감시용 카메라, 줌, 추적, 운곽선 영상, 탬플릿, 팽창,

Description

감시용 카메라의 제어장치 및 방법{Apparatus and method for controlling a monitoring camera}
도 1은 종래의 감시 시스템의 구성을 보인 블록도.
도 2는 종래의 제어장치에서 BMA(Block Matching Algorithm)를 사용하여 피사체의 움직임을 검출하는 것을 설명하기 위한 도면.
도 3은 본 발명의 제어장치의 구성을 보인 블록도.
도 4는 본 발명의 제어방법을 보인 신호흐름도.
* 도면의 주요 부분에 대한 부호의 설명 *
300 : 윤곽선 추출부 310 : 메모리
320 : 탬플릿 위치 검출수단 321 : 차영상 추출부
323 : 잡음제거 필터 325 : 픽셀 값 변환부
327 : 최소 매칭포인트 탐색부 330 : 탬플릿 갱신수단
331 : 탬플릿 팽창부 333 : 곱셈부
335 : 탬플릿 저장부 340 : 감시용 카메라 제어부
본 발명은 감시용 카메라의 촬영 영상신호에서 소정 피사체의 움직임이 검출될 경우에 그 움직임이 있는 피사체의 위치에 따라 감시용 카메라의 회전(pan) 및 틸트(tilt)를 조절하고, 움직임이 있는 피사체의 크기에 따라 감시용 카메라의 줌을 조절하여 감시용 카메라가 움직임 피사체를 추적(tracking)하면서 일정한 크기로 촬영하도록 제어하는 감시용 카메라의 제어장치 및 방법에 관한 것이다.
범죄의 발생이 증가함에 따라 각 가정이나, 은행 및 산업체 등에서는 침입자를 감시하는 감시 시스템을 많이 설치하고 있다.
상기 감시 시스템은 통상적으로 도 1에 도시된 바와 같이 감시용 카메라(100)가 소정의 영역을 촬영하도록 설치하고, 그 감시용 카메라(100)의 촬영 영상신호를 제어용 컴퓨터 등과 같은 제어장치(110)가 입력받는다. 그리고 상기 제어장치(110)는 상기 입력받은 촬영 영상신호를 처리하여 피사체의 움직임이 있는지의 여부를 검출하고, 피사체의 움직임이 검출될 경우에 감시용 카메라(100)로 제어신호를 출력하여 움직임이 있는 피사체를 감시용 카메라(100)가 추적하면서 촬영하도록 하며, 또한 제어장치(110)는 PVR(Personal Video Recorder) 또는 DVR(Digital Video Recorder) 등의 영상 저장기기(120)를 제어하여 감시용 카메라(100)의 촬영 영상신호를 소정의 저장매체에 저장하도록 하고 있다.
이러한 감시 시스템에 있어서의 성능은, 제어장치(110)가 촬영 영상신호를 처리하여 피사체의 움직임 여부를 검출하고, 피사체의 움직임이 검출될 경우에 감시용 카메라(100)를 제어하는 방법에 따라 좌우된다.
제어장치(110)가 감시용 카메라(100)의 촬영 영상신호로 피사체의 움직임을 검출하고, 검출한 피사체의 움직임에 따라 감시용 카메라(100)를 제어하는 방법으로는 피사체의 움직임을 단순 검출(detection)하는 방법과, BMA(Block Matching Algorithm)를 사용하는 방법과, OFA(Optical Flow Algorithm)를 사용하는 방법과, 능동적인 윤곽선 모델(Active Contour Model)을 사용하는 스네이크(Snake) 알고리즘 방법 등이 알려져 있다.
상기 피사체의 움직임을 단순 검출하는 방법은, 감시용 카메라(100)가 촬영한 현재 프레임의 영상신호와 이전 프레임의 영상신호를 도 2에 도시된 바와 같이 복수의 블록(200)으로 분할하고, 분할한 현재 프레임의 영상신호의 블록내의 픽셀들의 값과, 이전 프레임의 영상신호의 블록 내의 픽셀들의 값들을 각기 비교하여 차이 값을 계산하며, 계산한 차이 값이 미리 설정된 임계 값(threshold value) 이상인지의 여부를 판단하여 차이 값이 임계 값 이상일 경우에 피사체의 움직임이 있는 것으로 판단하고, 이를 경보하는 것이다.
그러나 상기 피사체의 움직임을 단순 검출하는 방법은 피사체의 움직임 여부를 비교적 간단하고, 정확하게 검출할 수 있는 반면에 피사체의 움직임 방향에 따라 감시용 카메라(100)를 회전 및 틸트를 제어하여 움직이는 피사체를 추적하거나 감시용 카메라(100)의 줌을 조절할 수 없는 문제점이 있었다.
상기 BMA를 사용하는 방법은, 연속된 이미지 시퀀스의 프레임을 각기 임의의 블록으로 나눈 후 피사체의 움직임이 예상되는 블록을 기준점으로 설정하고, 다음의 프레임에서 상기 설정한 기준점과 가장 유사한 블록을 찾아 기준점의 이동을 검출하며, 검출한 기준점의 이동을 움직임(motion) 벡터로 인식하여 피사체의 움직임 을 추정하며, 상기 움직임 벡터에 따라 감시용 카메라(100)를 회전시켜 움직이는 피사체를 추적하면서 촬영하도록 하는 것으로 연산시간이 비교적 빨라 실시간 처리에 적합하고, 이미지 시퀀스가 충분히 빠른 경우에 원활하게 동작되나, 블록 내의 픽셀들이 모두 평행이동을 해야 되고, 이미지 프레임간의 명암(intensity)이 일정하게 유지되어야 한다.
그러나 실제로는 촬영 영상신호의 프레임에서 블록이 이동할 경우에 평행이동뿐만 아니라 여러 방향으로 불규칙하게 이동하는 경우가 많고, 또한 촬영한 영상신호의 밝기 정보가 급격하게 변화되며, 이로 인하여 추적하는 움직임 피사체를 놓치게 되어 감시용 카메라(100)가 촬영하지 못하게 되는 경우가 발생되며, 또한 촬영하는 움직임 피사체의 크기에 따라 감시용 카메라(100)의 줌을 조절할 수는 없는 문제점이 있었다
상기 OFA를 사용하는 방법은, 영상 시퀀스의 시간차에 의하여 발생되는 영상 광량의 변화량을 계산하여 움직임이 있는 피사체의 가속도 및 움직임 벡터를 추정하는 것으로서 촬영 영상신호의 모든 픽셀들에 대하여 연산을 수행하므로 상기한 BMA를 사용하는 방법보다 정확하게 피사체의 움직임을 검출할 수 있는 반면에 모든 물체의 밝기가 시간의 경과에 관계없이 일정해야 되고, 모든 픽셀들이 유사한 방향으로만 유사한 방향으로만 이동해야 된다.
그러나 상기 OFA를 사용하는 방법은 주변 광량의 변화에 매우 민감하므로 움직임이 있는 피사체의 움직임 방향 및 중심점을 정확하게 검출하기가 매우 어렵고, 또한 촬영되는 움직임 피사체의 크기에 따라 감시용 카메라(100)의 줌을 조절할 수 는 없는 문제점이 있었다
상기 스네이크 알고리즘 방법은, 에너지 최소화 방법에 의하여 촬영한 영상신호의 변형(deformable)한 모델을 정합한 것으로서 기본적인 스네이크에 칼만 필터(Kalman filter)를 적용하기도 하고, 부가적인 수축 및 팽창의 힘을 적용한 풍선모델(cohen)등의 많은 응용 기법이 알려져 있다.
그러나 상기 스네이크 알고리즘 방법은 촬영한 영상내의 모든 윤곽선을 찾지 못하고, 사용자, 다른 고차원적인 영상처리, 시간적 및 공간적으로 근접한 다른 영상신호와의 상호작용에 의해 적용되는 것으로서 상기한 방법들 중에서 가장 정확하게 움직이는 피사체의 중심점을 찾을 수 있는 반면에 연상량이 많아 실시간 처리에 적합하지 않고, 사용자가 초기 스네이크의 노드를 초기화해야 됨은 물론 감시용 카메라(100)의 줌을 조절할 수는 없는 문제점이 있었다.
본 발명의 목적은 피사체의 움직임이 있을 경우에 그 움직임 피사체의 위치에 따라 감시용 카메라의 회전 및 틸트를 조절하고, 움직임이 있는 피사체의 크기에 따라 감시용 카메라의 줌을 조절하여 감시용 카메라가 움직임 피사체를 추적하면서 일정한 크기로 촬영하도록 제어하는 감시용 카메라의 제어장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 연산량을 줄여 실시간으로 감시용 카메라가 피사체를 추적하면서 촬영할 수 있는 감시용 카메라의 제어장치 및 방법을 제공하는데 있다.
이러한 목적을 가지는 본 발명의 감시용 카메라의 제어장치는, 감시용 카메 라가 촬영한 각각의 프레임의 영상신호에서 윤곽선을 추출하는 윤곽선 추출부와, 상기 윤곽선 추출부가 추출한 N 번째, N-1 번째 및 N-2 번째 프레임의 윤곽선을 저장하는 메모리와, 상기 메모리에 저장된 N-1 번째 및 N-2 번째 프레임의 윤곽선으로 피사체의 탬플릿(template)을 검출하고 검출한 피사체의 탬플릿을 메모리에 저장된 N 번째 프레임의 윤곽선에 매칭시켜 움직임이 있는 피사체의 탬플릿 위치를 검출하는 탬플릿 위치 검출수단과, 상기 탬플릿 위치 검출수단이 검출한 탬플릿과 상기 메모리에 저장된 N 번째 프레임의 윤곽선을 논리 곱하여 움직임이 있는 피사체의 탬플릿을 갱신하는 탬플릿 갱신수단과, 상기 탬플릿 위치 검출수단이 검출한 움직임 피사체의 탬플릿 위치에 따라 감시용 카메라의 회전 및 틸트를 제어하고, 상기 탬플릿 갱신수단이 갱신한 탬플릿의 크기에 따라 상기 감시용 카메라의 줌을 제어하는 감시용 카메라 제어부로 구성됨을 특징으로 한다.
상기 윤곽선 추출부는, 감시용 카메라의 촬영 영상신호를 그레이 레벨로 변환하고, 소벨 에지 추출 알고리즘으로 윤곽선을 추출하고, 상기 탬플릿 위치 검출수단은, 상기 메모리에 저장된 N-1 번째 및 N-2 번째 프레임의 윤곽선 사이의 차영상을 추출하는 차영상 추출부와, 상기 차영상 추출부가 추출한 차영상을 필터링하여 잡음을 제거하고 움직임 피사체의 탬플릿을 검출하는 잡음제거용 필터와, 상기 메모리에 저장된 N 번째 프레임의 윤곽선의 모든 픽셀들의 값을 각 픽셀의 위치로부터 가장 가까운 윤곽선의 에지 포인트까지의 거리의 값으로 변환하는 픽셀 값 변환부와, 상기 잡음제거용 필터에서 검출된 움직임 피사체의 탬플릿의 위치를 소정의 간격으로 이동시키면서 상기 픽셀 값 변환부에서 픽셀 값이 변환된 윤곽선에서 최소 매칭되는 포인트를 탐색하여 움직임이 있는 피사체의 탬플릿 위치를 검출하는 최소 매칭 포인트 탐색부로 구성되며, 상기 잡음제거 필터는, 메디안 필터인 것을 특징으로 한다.
상기 탬플릿 갱신수단은, 상기 탬플릿 위치 검출수단이 검출한 움직임이 있는 피사체의 탬플릿을 팽창(dialation)시키는 탬플릿 팽창부와, 상기 탬플릿 팽창부에서 팽창된 탬플릿을 상기 메모리에 저장된 N 번째 프레임의 윤곽선을 논리 곱하여 피사체의 움직임이 반영된 탬플릿을 검출하는 곱셈부와, 상기 곱셈부가 검출한 탬플릿을 저장하고 상기 감시용 카메라 제어부로 출력하는 탬플릿 저장부로 구성됨을 특징으로 한다.
그리고 본 발명의 감시용 카메라의 제어방법은, 감시용 카메라의 촬영 영상신호의 각 프레임에서 윤곽선 추출부가 윤곽선을 추출하여 메모리에 저장하고, 메모리에 저장된 N-2 및 N-1 번째 프레임의 윤곽선의 차영상을 차영상 추출부가 추출하고, 잡음제거 필터가 잡음을 제거하여 움직임 피사체의 탬플릿을 추출하며, 상기 메모리에 저장된 N 번째 프레임의 윤곽선의 픽셀 값을 픽셀 값 변환부가 각 픽셀의 위치로부터 가장 가까운 윤곽선의 에지 포인트까지의 거리의 값으로 변환한 후 최소매칭 포인트 탐색부가 상기 픽셀 값을 변환한 윤곽선 내에서 상기 추출한 탬플릿의 위치를 이동시키면서 최소로 매칭되는 위치를 탐색하고, 탐색한 위치에 탬플릿 팽창부가 상기 탬플릿을 위치시켜 팽창시키고, 곱셈부가 상기 메모리에 저장된 N 번째 프레임의 윤곽선을 논리 곱한 후 탬플릿 저장부에 저장하여 갱신하며, 상기 탐색한 탬플릿의 위치가 상기 감시용 카메라의 촬영 영상의 중앙에 위치되게 감시 용 카메라의 회전 및 틸트를 제어하고, 상기 갱신한 탬플릿의 크기가 미리 설정한 크기가 되도록 감시용 카메라의 줌을 제어하는 것을 특징으로 한다.
상기 윤곽선 추출은, 감시용 카메라의 촬영 영상신호를 그레이 레벨로 변환하고, 소벨 에지 추출 알고리즘을 수행하여 추출하고, 상기 탬플릿 추출은, 상기 잡음제거 필터가 상기 차영상을 메디안 필터링하여 잡음을 제거하고, 추출하며, 상기 픽셀 값 변환은, 소정의 마스크를 N번째 프레임의 윤곽선의 해당 영역의 중심위치에 위치시키고, 위치시킨 마스크의 각각의 픽셀 값들을 대응하는 윤곽선내의 픽셀들의 값들과 소정의 수학식에 따라 합하며, 상기 합한 픽셀들의 값을 이용하여 각 픽셀의 값을 소정의 수학식에 따라 설정하며, 설정한 픽셀의 값에 변화가 있는지의 여부를 판단하여 변화가 있을 경우에 상기 반복 수행하고, 변화가 없을 경우에 픽셀의 값으로 결정하는 것을 특징으로 한다.
이하, 첨부된 도 3 및 도 4의 도면을 참조하여 본 발명의 감시용 카메라의 제어장치 및 제어방법을 상세히 설명한다.
도 3은 본 발명의 제어장치의 구성을 보인 블록도이다. 이에 도시된 바와 같이 감시용 카메라가 촬영한 각각의 프레임의 영상신호에서 윤곽선을 추출하는 윤곽선 추출부(300)와, 상기 윤곽선 추출부(300)가 추출한 N 번째, N-1 번째 및 N-2 번째 프레임의 윤곽선을 저장하는 메모리(310)와, 상기 메모리(310)에 저장된 N-1 번째 및 N-2 번째 프레임의 윤곽선으로 피사체의 탬플릿(template)을 검출하고 검출한 피사체의 탬플릿을 메모리(310)에 저장된 N 번째 프레임의 윤곽선에 매칭시켜 움직임이 있는 피사체의 탬플릿 위치를 검출하는 탬플릿 위치 검출수단(320)과, 상기 탬플릿 위치 검출수단(320)이 검출한 탬플릿과 상기 메모리(310)에 저장된 N 번째 프레임의 윤곽선을 논리 곱하여 움직임이 있는 피사체의 탬플릿을 갱신하는 탬플릿 갱신수단(330)과, 상기 탬플릿 위치 검출수단(320)이 검출한 움직임 피사체의 탬플릿 위치에 따라 감시용 카메라의 회전 및 틸트를 제어하고, 상기 탬플릿 갱신수단(330)이 갱신한 탬플릿의 크기에 따라 상기 감시용 카메라의 줌을 제어하는 감시용 카메라 제어부(340)로 구성하였다.
상기 탬플릿 위치 검출수단(320)은, 상기 메모리(310)에 저장된 N-1 번째 및 N-2 번째 프레임의 윤곽선 사이의 차영상을 추출하는 차영상 추출부(321)와, 상기 차영상 추출부(321)가 추출한 차영상을 필터링하여 잡음을 제거하고 움직임 피사체의 탬플릿을 검출하는 잡음제거용 필터(323)와, 상기 메모리(310)에 저장된 N 번째 프레임의 윤곽선의 모든 픽셀들의 값을 각 픽셀의 위치로부터 가장 가까운 윤곽선의 에지 포인트까지의 거리의 값으로 변환하는 픽셀 값 변환부(325)와, 상기 잡음제거용 필터(323)에서 검출된 움직임 피사체의 탬플릿의 위치를 소정의 간격으로 이동시키면서 상기 픽셀 값 변환부(325)에서 픽셀 값이 변환된 윤곽선에서 최소 매칭되는 포인트를 탐색하여 움직임이 있는 피사체의 탬플릿 위치를 검출하는 최소 매칭 포인트 탐색부(327)로 구성된다.
상기에서 피사체의 템플릿은 움직이는 물체만의 윤곽선으로 정의됩니다. 영상에서는 움직이는 물체뿐만이 아니라 주위 배경에서도 많은 윤곽선 정보가 나오므로 시간적으로 인접한 두 윤곽선 영상사이의 차영상을 차영상 추출부에서 추출함으로써 배경 윤곽선들은 모두 제거되고, 실제로 움직이는 물체의 윤곽선만 추출됩니다. 그리고 보다 선명한 영상을 얻기 위하여 잡음제거용 필터를 사용함으로써 피사체의 탬플릿이 검출됩니다.
상기 탬플릿 갱신수단(330)은, 상기 탬플릿 위치 검출수단(320)이 검출한 움직임이 있는 피사체의 탬플릿을 팽창(dialation)시키는 탬플릿 팽창부(331)와, 상기 탬플릿 팽창부(331)에서 팽창된 탬플릿을 상기 메모리(310)에 저장된 N 번째 프 레임의 윤곽선을 논리 곱하여 피사체의 움직임이 반영된 탬플릿을 검출하는 곱셈부(333)와, 상기 곱셈부(333)가 검출한 탬플릿을 업데이트하고 상기 감시용 카메라 제어부(340)로 출력하는 탬플릿 저장부(335)로 구성하였다.
이와 같이 구성된 본 발명의 감시용 카메라의 제어장치의 동작을 도 4의 신호흐름도를 참조하여 상세히 설명한다.
감시용 카메라가 촬영하여 입력되는 영상신호를 단계(400)에서 윤곽선 추출부(300)가 입력받아 프레임별로 구분하고, 구분한 각 프레임의 영상신호를 그레이 레벨로 변환한 후 단계(402)에서 소벨 에지(Sobel edge) 추출 알고리즘을 수행하여 윤곽선을 추출하고, 추출한 윤곽선은 메모리(310)에 저장한다.
상기 메모리(310)에는 3개 프레임의 윤곽선 즉, N-2, N-1 및 N 번째 프레임의 윤곽선이 순차적으로 저장된다.
이와 같은 상태에서 메모리(310)에 N, N-1 및 N-2 번째 프레임의 윤곽선이 모두 저장되면, 메모리(310)에 저장된 N-2 및 N-1번째 프레임의 윤곽선을 단계(404)에서 탬플릿 위치 검출수단(320)의 차영상 추출부(321)가 입력받아 차영상을 추출하고, 단계(406)에서 잡음제거 필터(323)가 상기 추출한 차영상을 필터링하여 잡음을 제거하고, 움직임 피사체의 탬플릿을 추출한다.
즉, 상기 잡음제거 필터(323)는 메디안 필터로서 메디안 필터링하여 잡음을 제거한다. 상기 메디안 필터는 일정 크기의 마스크(Mask)를, 영상에 덮어 각 마스크 내의 영상 픽셀 값들 중에서 가운데 값을 마스크의 중심에 해당하는 픽셀 값으로 대치하는 필터로서 상기 차영상 추출부(321)가 추출한 차영상 즉, 2진 영상을 메디안 필터로 필터링할 경우에 하나의 픽셀 주위에 검정 색의 값(배경 값)이 많은 경우에는 그 픽셀 값이 비록 흰색(물체 값)이라도 검정 색의 값(배경 값)으로 대치함으로써 페퍼(Pepper) 스타일의 잡음을 제거하는 효과를 갖게 되고, 움직임 피사체의 탬플릿이 추출된다.
다음 단계(408)에서는 메모리(310)에 저장된 N 번째 프레임의 윤곽선을 탬플릿 위치 검출수단(320)의 픽셀 값 변환부(325)가 입력받아 각 픽셀들의 값을 그 픽셀로부터 가장 가까운 에지 포인트까지의 거리 값으로 변환한다. 즉, 윤곽선의 에지에 인접하고 있는 픽셀들의 값은 낮은 값 즉, 검정색에 값에 가까운 값을 가지도록 변환하고, 반대로 윤곽선의 에지와 멀리 떨어져 있는 픽셀들은 상대적으로 높은 값 즉, 백색에 가까운 값을 가지도록 변환한다.
여기서, 상기 픽셀 값 변환부(325)는 윤곽선을 이루는 픽셀들에 대하여 상대적인 에지와의 거리를 모두 계산해야 하므로 매우 많은 계산시간이 소요되고, 따라서 실시간으로 움직임이 있는 피사체를 감시용 카메라가 추적하면서 촬영하도록 제어하는데 어려움이 있다. 그러므로 본 발명에서는 픽셀 값 변환부(325)가 마스크를 이용하여 빠른 시간내에 픽셀들의 값을 변환할 수 있도록 한다.
즉, 단계(408-1)에서 N번째 프레임의 윤곽선(B) 즉, 2진 영상에서 에지 픽셀 위치의 픽셀 값을 0으로 설정하고, 그 이외의 픽셀의 값들은 큰 값(255이상)으로 세팅한다.
다음 단계(408-3)에서는 다음의 표 1과 같은 마스크 C(k, l)를 윤곽선(B)의 해당 영역의 중심위치 B(i, j)에 위치시킨다.
4 3 4
3 0 3
4 3 4
다음에는 단계(408-5)에서 마스크(C)의 각각의 픽셀 값들을 대응하는 윤곽선(B)내의 픽셀들의 값들과 다음의 수학식 1과 같이 합한다.
B(i+k. j+l)m = B(i+k, j+l)m-1 + C(k, l)
여기서, m은 반복 회수이다.
다음에는 단계(408-7)에서 B(i, j)m을 다음의 수학식 2와 같이 설정한다.
B(i,j)m = mink,l=-1,0,1 B(i+k,j+l)m
다음 단계(408-9)에서는 픽셀들의 값이 변화가 있는지의 여부를 판단하여 변화가 있을 경우에 상기 단계(408-3)부터 반복 수행하고, 변화가 없을 경우에는 픽셀 값의 변환동작을 종료한다.
상기한 바와 같이 픽셀 값 변환부(325)에서 픽셀 값이 변환된 윤곽선과 상기 잡음제거 필터(323)에서 추출된 피사체의 탬플릿은 최소 매칭포인트 탐색부(327)로 입력되는 것으로서 최소 매칭포인트 탐색부(327)는 단계(410)에서 픽셀 값 변환부(325)에서 픽셀 값이 변환된 윤곽선에서 상기 잡음제거 필터(323)에서 추출된 피사체의 탬플릿이 최소로 매칭되는 위치를 탐색한다.
즉, 최소 매칭포인트 탐색부(327)는 잡음제거 필터(323)에서 출력되는 윤곽선의 탬플릿의 모든 픽셀들을, 픽셀 값 변환부(325)에서 픽셀 값이 변환된 윤곽선 내에서 소정의 간격씩 이동시키면서 각 픽셀들의 위치에 대응하는 윤곽선의 픽셀들의 값들을 모두 합한 값을 구하고, 그 합한 값이 최소로 되는 윤곽선 내의 위치가 탬플릿과 가장 유사한 형상을 가지는 움직임 피사체가 존재하는 위치가 된다.
다음 단계(412)에서는 상기 탬플릿 위치 검출수단(320)의 최소 매칭포인트 탐색부(327)가 탐색한 최소매칭 포인트 즉, 움직임이 있는 피사체의 탬플릿을 탬플릿 갱신수단(330)이 팽창하고, 팽창한 탬플릿에 상기 메모리(310)에 저장된 N번째 프레임의 윤곽선을 곱하여 움직임 피사체의 변화된 부분을 탬플릿에 반영한 후 탬플릿 저장부(335)에 업데이트한다.
즉, 상기 최소 매칭포인트 탐색부(327)가 최소 매칭 포인트를 탐색하여 현재 움직임이 있는 피사체의 탬플릿과 가장 유사한 피사체가 존재하는 위치를 추출하였으나, 실제로 움직이는 피사체 예를 들면, 사람은 특정한 형상이 없는 것으로서 그 형상이 시간의 경과에 따라 전체적으로 유사하나 일정 부분은 변화될 수 밖에 없으므로 탬플릿을 갱신할 필요가 있고, 탬플릿을 갱신해야 다음 프레임의 윤곽선에서 피사체의 움직임으로 변화된 부분을 반영한 탬플릿을 사용하여 정확하게 움직이는 피사체를 찾을 수 있다.
탬플릿의 갱신은 탬플릿 팽창부(331)가, 먼저 상기 최소 매칭 포인트 탐색부(327)에서 탐색된 부위에 탬플릿을 위치시킨 후 형태학 오퍼레이터(Morphological Operator)인 팽창(Dialation) 알고리즘으로 탬플릿의 크 기를 증가시키고, 그 증가된 탬플릿에, 메모리(310)에 저장된 N번째 프레임의 윤곽선을 곱셈부(333)가 논리 곱하여 피사체의 움직임으로 변화된 부위가 반영되는 탬플릿을 취득할 수 있게 되고, 그 취득한 탬플릿 즉, 갱신 탬플릿을 탬플릿 저장부(335)에 저장하여 다음의 영상 프레임부터는 갱신 탬플릿으로 최소 매칭 포인트 탐색부(327)가 최소 매칭포인트를 탐색할 수 있도록 한다.
다음 단계(414)에서는 상기 최소 매칭포인트 탐색부(327)가 탐색한 최소 매칭포인트와, 상기 탬플릿 저장부(335)에 업데이트된 갱신 탬플릿으로 감시용 카메라 제어부(340)가 감시용 카메라의 회전 및 줌을 제어하여 감시용 카메라가 움직임 피사체를 추적하면서 촬영할 수 있도록 한다.
즉, 감시용 카메라 제어부(340)는 최소 매칭포인트 탐색부(327)가 탐색한 최소 매칭포인트에 따라 감시용 카메라의 좌우 회전과, 상하의 틸트(tilt)를 제어하여 최소 매칭포인트가 촬영 영상의 가운데에 위치되도록 하고, 또한 탬플릿 저장부(335)에 업데이트된 탬플릿을 모두 포함하는 사각형의 영역을 설정하고, 설정한 사각형의 영역이 미리 설정된 제 1 임계값(High Threshold value)보다 클 경우에 감시용 카메라가 줌 아웃(zoom out)하도록 제어하고, 제 2 임계 값(Low Threshold value)보다 작을 경우에는 줌인(zoom in) 동작하도록 제어하여 촬영되는 움직임 피사체의 크기가 항상 일정한 크기를 유지할 수 있도록 한다.
한편, 상기에서는 본 발명을 특정의 바람직한 실시 예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 마련되는 본 발명의 정신이나 분야를 이탈하지 않는 한도 내에서 본 발명이 다양하게 개조 및 변화될 수 있다는 것을 당 업계에서 통상의 지식을 가진 자는 용이하게 알 수 있다. 즉, 상기에서는 하나의 감시용 카메라가 촬영한 영상신호로 움직임 피사체의 위치 검출 및 크기를 판단하여, 그 하나의 감시용 카메라가 움직이는 피사체를 추적하면서 일정한 크기로 촬영하도록 하는 것을 예로 들어 설명한 것으로서 본 발명은 이에 한정되지 않고, 복수의 감시용 카메라가 촬영하는 영상신호를 PIP(Picture In Picture) 등을 통해 하나의 영상신호로 합성한 후 움직임이 있는 피사체의 위치 검출 및 크기를 판단하고, 판단한 위치 및 크기에 따라 복수의 감시용 카메라들을 각기 제어하여 복수의 감시용 카메라들이 각기 움직이는 피사체를 추적하면서 일정한 크기로 촬영하도록 할 수 있는 등 여러 가지로 변형 실시할 수 있다.
이상에서 설명한 바와 같이 본 발명은 움직임이 있는 피사체가 검출될 경우에 그 움직임 피사체의 위치에 따라 감시용 카메라의 회전 및 틸트를 제어하여 움직임 피사체를 추적하면서 촬영할 수 있음은 물론 줌을 조절하여 움직임이 있는 피사체를 항상 일정한 크기로 촬영할 수 있으며, 움직임이 있는 피사체의 검출범위인 FOV(Fields Of View)를 넓힐 수 있다.

Claims (11)

  1. 감시용 카메라가 촬영한 각각의 프레임의 영상신호에서 윤곽선을 추출하는 윤곽선 추출부;
    상기 윤곽선 추출부가 추출한 N 번째, N-1 번째 및 N-2 번째 프레임의 윤곽선을 저장하는 메모리;
    상기 메모리에 저장된 N-1 번째 및 N-2 번째 프레임의 윤곽선 사이의 차영상을 추출하는 차영상 추출부;
    상기 차영상 추출부가 추출한 차영상을 필터링하여 잡음을 제거하고 움직임 피사체의 탬플릿을 검출하는 잡음제거용 필터;
    상기 메모리에 저장된 N 번째 프레임의 윤곽선의 모든 픽셀들의 값을 각 픽셀의 위치로부터 가장 가까운 윤곽선의 에지 포인트까지의 거리의 값으로 변환하는 픽셀 값 변환부;
    상기 잡음제거용 필터에서 검출된 움직임 피사체의 탬플릿의 위치를 소정의 간격으로 이동시키면서 상기 픽셀 값 변환부에서 픽셀 값이 변환된 윤곽선에서 최소 매칭되는 포인트를 탐색하여 움직임이 있는 피사체의 탬플릿 위치를 검출하는 최소 매칭 포인트 탐색부;
    상기 최소 매칭 포인트 탐색부가 검출한 탬플릿 위치와 상기 메모리에 저장된 N 번째 프레임의 윤곽선으로 움직임이 있는 피사체의 탬플릿을 갱신하는 탬플릿 갱신수단; 및
    상기 탬플릿 위치 검출수단이 검출한 움직임 피사체의 탬플릿 위치에 따라 감시용 카메라의 회전 및 틸트를 제어하고, 상기 탬플릿 갱신수단이 갱신한 탬플릿의 크기에 따라 상기 감시용 카메라의 줌을 제어하는 감시용 카메라 제어부로 구성된 감시용 카메라의 제어장치.
  2. 제 1 항에 있어서, 상기 윤곽선 추출부는;
    감시용 카메라의 촬영 영상신호를 그레이 레벨로 변환하고, 소벨 에지 추출 알고리즘으로 윤곽선을 추출하는 것을 특징으로 하는 감시용 카메라의 제어장치.
  3. 삭제
  4. 제 1 항에 있어서, 상기 잡음제거 필터는;
    메디안 필터인 것을 특징으로 하는 감시용 카메라의 제어장치.
  5. 제 1 항에 있어서, 상기 탬플릿 갱신수단은;
    상기 탬플릿 위치 검출수단이 검출한 움직임이 있는 피사체의 탬플릿을 팽창(dialation)시키는 탬플릿 팽창부;
    상기 탬플릿 팽창부에서 팽창된 탬플릿을 상기 메모리에 저장된 N 번째 프레임의 윤곽선을 논리 곱하여 피사체의 움직임이 반영된 탬플릿을 검출하는 곱셈부; 및
    상기 곱셈부가 검출한 탬플릿을 저장하고 상기 감시용 카메라 제어부로 출력하는 탬플릿 저장부로 구성됨을 특징으로 하는 감시용 카메라의 제어장치.
  6. 감시용 카메라의 촬영 영상신호의 각 프레임에서 윤곽선 추출부가 윤곽선을 추출하여 메모리에 저장하는 제 10 과정;
    상기 제 10 과정에서 메모리에 저장된 N-2 및 N-1 번째 프레임의 윤곽선의 차영상을 차영상 추출부가 추출하고, 잡음제거 필터가 잡음을 제거하여 움직임 피사체의 탬플릿을 추출하는 제 20 과정;
    상기 제 10 과정에서 상기 메모리에 저장된 N 번째 프레임의 윤곽선의 픽셀 값을 픽셀 값 변환부가 각 픽셀의 위치로부터 가장 가까운 윤곽선의 에지 포인트까지의 거리의 값으로 변환하는 제 30 과정;
    최소매칭 포인트 탐색부가 상기 제 30 과정에서 픽셀 값을 변환한 윤곽선 내에서 상기 제 20 과정에서 추출한 탬플릿의 위치를 이동시키면서 최소로 매칭되는 위치를 탐색하는 제 40 과정;
    상기 제 40 과정에서 탐색한 위치에 탬플릿 팽창부가 상기 탬플릿을 위치시켜 팽창시키고, 곱셈부가 상기 메모리에 저장된 N 번째 프레임의 윤곽선을 논리 곱 한 후 탬플릿 저장부에 저장하여 갱신하는 제 50 과정; 및
    상기 제 40 과정에서 탐색한 탬플릿의 위치가 상기 감시용 카메라의 촬영 영상의 중앙에 위치되게 감시용 카메라의 회전 및 틸트를 제어하고, 상기 제 50 과정에서 갱신한 탬플릿의 크기가 미리 설정한 크기가 되도록 감시용 카메라의 줌을 제어하는 제 60 과정으로 이루어진 감시용 카메라의 제어방법.
  7. 제 6 항에 있어서, 상기 제 10 과정의 윤곽선 추출은;
    감시용 카메라의 촬영 영상신호를 그레이 레벨로 변환하고, 소벨 에지 추출 알고리즘을 수행하여 추출하는 것을 특징으로 하는 감시용 카메라의 제어방법.
  8. 제 6 항에 있어서, 상기 제 20 과정의 탬플릿 추출은;
    상기 잡음제거 필터가 상기 차영상을 메디안 필터링하여 잡음을 제거하고, 추출하는 것을 특징으로 하는 감시용 카메라의 제어방법.
  9. 제 6 항에 있어서, 상기 제 30 과정의 픽셀 값 변환은;
    소정의 마스크를 N번째 프레임의 윤곽선의 해당 영역의 중심위치에 위치시키는 제 31 과정;
    상기 제 31 과정에서 위치시킨 마스크의 각각의 픽셀 값들을 대응하는 윤곽선내의 픽셀들의 값들과 합하는 제 32 과정;
    상기 제 32 과정에서 합한 픽셀들의 값을 이용하여 각 픽셀의 값을 설정하는 제 33 과정; 및
    상기 제 33 과정에서 설정한 픽셀의 값에 변화가 있는지의 여부를 판단하여 변화가 있을 경우에 상기 제 32 과정 및 제 33 과정을 반복 수행하고, 변화가 없을 경우에 픽셀의 값으로 결정하는 제 34 과정으로 이루어지는 것을 특징으로 하는 감시용 카메라의 제어방법.
  10. 제 9 항에 있어서, 상기 제 32 과정은;
    다음의 수학식 1로 픽셀들의 값들과 합하는 것을 특징으로 하는 감시용 카메라의 제어방법.
    수학식 1
    B(i+k. j+l)m = B(i+k, j+l)m-1 + C(k, l)
    여기서, B는 N번째 프레임의 윤곽선이고, C는 마스크이며, i 및 j는 상수로서 윤곽선 B의 좌표이며, k 및 l은 상수로서 마스크 C의 좌표이며, m은 픽셀의 값에 변화가 없을 때까지 반복한 반복회수이다.
  11. 제 9 항에 있어서, 상기 제 33 과정은;
    다음의 수학식 2로 픽셀의 값을 설정하는 것을 특징으로 하는 감시용 카메라의 제어방법.
    수학식 2
    B(i,j)m = mink,l=-1,0,1 B(i+k,j+l)m
    여기서, B는 N번째 프레임의 윤곽선이고, C는 마스크이며, i 및 j는 상수로서 윤곽선 B의 좌표이며, k 및 l은 상수로서 마스크 C의 좌표이며, m은 픽셀의 값에 변화가 없을 때까지 반복한 반복회수이다.
KR1020030098925A 2003-12-29 2003-12-29 감시용 카메라의 제어장치 및 방법 KR100541618B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030098925A KR100541618B1 (ko) 2003-12-29 2003-12-29 감시용 카메라의 제어장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030098925A KR100541618B1 (ko) 2003-12-29 2003-12-29 감시용 카메라의 제어장치 및 방법

Publications (2)

Publication Number Publication Date
KR20050067892A KR20050067892A (ko) 2005-07-05
KR100541618B1 true KR100541618B1 (ko) 2006-01-10

Family

ID=37258509

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030098925A KR100541618B1 (ko) 2003-12-29 2003-12-29 감시용 카메라의 제어장치 및 방법

Country Status (1)

Country Link
KR (1) KR100541618B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101373605B1 (ko) 2007-10-09 2014-03-13 삼성전자주식회사 이동 물체 검출 방법 및 시스템
US9031355B2 (en) 2011-12-29 2015-05-12 Samsung Techwin Co., Ltd. Method of system for image stabilization through image processing, and zoom camera including image stabilization function

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100855348B1 (ko) * 2007-05-04 2008-09-04 에스케이 텔레콤주식회사 동영상 프레임 내의 객체 윤곽선 추적 장치와 시스템 및그에 따른 방법
US20100211842A1 (en) 2007-10-09 2010-08-19 Sung Ho Moon Method of transmitting data using constellation rearrangement
KR101007045B1 (ko) * 2008-03-12 2011-01-12 주식회사 애트랩 접촉센서 장치 및 이 장치의 포인팅 좌표 결정 방법
MX2012008878A (es) * 2010-02-01 2012-11-06 Youngkook Electronics Co Ltd Dispositivo de camara de seguimiento y supervision y sistema remoto de supervision que usa el mismo.
KR101247319B1 (ko) * 2011-05-19 2013-03-25 삼성테크윈 주식회사 감시 카메라 제어 방법
WO2022108022A1 (ko) * 2020-11-23 2022-05-27 라온피플 주식회사 카메라 감시 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101373605B1 (ko) 2007-10-09 2014-03-13 삼성전자주식회사 이동 물체 검출 방법 및 시스템
US9031355B2 (en) 2011-12-29 2015-05-12 Samsung Techwin Co., Ltd. Method of system for image stabilization through image processing, and zoom camera including image stabilization function

Also Published As

Publication number Publication date
KR20050067892A (ko) 2005-07-05

Similar Documents

Publication Publication Date Title
Kang et al. Real-time video tracking using PTZ cameras
US6628805B1 (en) Apparatus and a method for detecting motion within an image sequence
US7995843B2 (en) Monitoring device which monitors moving objects
EP1952355B1 (en) Robust online face tracking
KR100792283B1 (ko) 이동물체 자동 추적장치 및 방법
EP1542155A1 (en) Object detection
JPH07168932A (ja) ビデオ画像中の人間を探索する方法
US20040141633A1 (en) Intruding object detection device using background difference method
CN101640788B (zh) 一种监控控制方法、装置及监控系统
JP2001285695A (ja) 移動体追尾方法及びその装置
CN112703533A (zh) 对象跟踪
KR20110023472A (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
JP5279517B2 (ja) 物体検知装置及び物体検知方法
JP4848097B2 (ja) 移動体の監視方法および装置
KR100541618B1 (ko) 감시용 카메라의 제어장치 및 방법
WO2010113417A1 (ja) 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム
Koller et al. Towards realtime visual based tracking in cluttered traffic scenes
Selinger et al. Classifying moving objects as rigid or non-rigid without correspondences
JP2005346425A (ja) 自動追尾装置及び自動追尾方法
JPH0854667A (ja) 自動監視装置
KR100566629B1 (ko) 이동물체 검출 시스템 및 방법
JP2000011134A (ja) 移動量検出装置及びその方法
JPH11328365A (ja) 画像監視装置及びその方法
Albawendi et al. Overview of behavioural understanding system with filtered vision sensor
Sugandi et al. A block matching technique for object tracking employing peripheral increment sign correlation image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121023

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20131015

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20141029

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee