KR101204870B1 - 감시 카메라 시스템 및 그의 제어방법 - Google Patents

감시 카메라 시스템 및 그의 제어방법 Download PDF

Info

Publication number
KR101204870B1
KR101204870B1 KR1020070111038A KR20070111038A KR101204870B1 KR 101204870 B1 KR101204870 B1 KR 101204870B1 KR 1020070111038 A KR1020070111038 A KR 1020070111038A KR 20070111038 A KR20070111038 A KR 20070111038A KR 101204870 B1 KR101204870 B1 KR 101204870B1
Authority
KR
South Korea
Prior art keywords
tracking
monitoring
surveillance
unit
image
Prior art date
Application number
KR1020070111038A
Other languages
English (en)
Other versions
KR20090044791A (ko
Inventor
박나성
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020070111038A priority Critical patent/KR101204870B1/ko
Publication of KR20090044791A publication Critical patent/KR20090044791A/ko
Application granted granted Critical
Publication of KR101204870B1 publication Critical patent/KR101204870B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

본 발명은, 제1 카메라에서 탐지된 목표물의 제1 카메라에 대한 좌표를 제2 카메라에 대한 좌표로 변환하여, 제2 카메라에서 목표물을 감시 또는 추적할 수 있도록 하는 감시 카메라 시스템 및 그의 제어방법에 관한 것이다. 본 발명은, 특정 영역에 설치되어 상기 특정 영역 중의 적어도 일부 영역을 감시 영역으로 하여 감시하고, 상기 감시 영역 내에서 감시 물체를 탐지하는 감시부; 상기 감시부에서 탐지된 상기 감시 물체를 감시 및/또는 추적하는 추적부; 및 상기 감시 물체의 상기 감시부에 대한 좌표인 감시 좌표를 입력받아 상기 감시 물체의 상기 추적부에 대한 좌표인 추적 좌표로 변환하여 상기 추적부로 전송하는 제어부를 구비하는 감시 카메라 시스템을 제공한다.

Description

감시 카메라 시스템 및 그의 제어방법{Surveillance camera system and method for controlling thereof}
본 발명은 감시 카메라 시스템 및 그의 제어방법에 관한 것으로서, 보다 상세하게는 특정 지역에 설치되어 특정 영역을 감시 영역으로 하여 감시하고, 특정 물체를 탐지한 경우에 다른 카메라와 연동하여 그 특정 물체를 감시하는 감시 카메라 시스템 및 그의 제어방법에 관한 것이다.
감시 카메라 시스템은 특정 장소에 또는 이동식으로 설치된 카메라를 통하여 입력되는 영상을 처리하여 대상을 인식하여 특정 지역을 감시하는 시스템이다. 이러한 감시 카메라 시스템은 지능형 감시 경계 로봇, GOP(Gerenal OutPost) 과학화 시스템, 사회안전 로봇 시스템과 같이 영상을 이용한 시큐러티 시스템(security system) 전반에 걸쳐 사용될 수 있다.
감시 카메라 시스템은 감시 카메라를 이용하여 장/단 거리 및 주/야간 원격 제어에 의하여 침입자를 탐지 및 추적할 수 있다. 이러한 기능을 갖는 감시 카메라 시스템은 위험 영역의 감시 및 추적 또는 불법 주정차 단속 시스템 등에 사용될 수 있다.
감시 카메라 시스템에서는 복수개의 카메라가 상호 연동되어 작동될 수 있다. 즉, 하나의 카메라에 의하여 감시되는 특정 물체가 주변에 설치되는 다른 카메라에 의하여 함께 감시될 수 있다. 또한, 감시 카메라 시스템에 의하여 감시 대상 영역을 감시하는 기능을 수행하기 위해서, 감시 카메라 시스템에 패닝(panning), 틸팅(tilting), 및 줌(zoom) 등의 기능이 갖추어 질 수 있다.
한편, 감시 카메라 시스템에서는 제1 카메라에 의하여 특정 물체가 감지되는 경우에, 주변에 설치된 제2 카메라가 연동되어 상기 특정 물체를 다른 각도에서 감시 또는 추적할 수 있다.
이를 위하여, 제1 카메라에서 입력받은 상기 특정 물체에 대한 위치 정보가 제2 카메라에 입력되고, 그 정보에 따라 제2 카메라에서 패닝, 틸팅, 및 줌 등이 조정되어, 제2 카메라에서 상기 특정 물체를 다른 방향에서 감시할 수 있게 된다.
본 발명은, 제1 카메라에서 탐지된 목표물의 제1 카메라에 대한 좌표를 제2 카메라에 대한 좌표로 변환하여, 제2 카메라에서 목표물을 감시 또는 추적할 수 있도록 하는 감시 카메라 시스템 및 그의 제어방법을 제공하는 것을 목적으로 한다.
본 발명은, 특정 영역에 설치되어 상기 특정 영역 중의 적어도 일부 영역을 감시 영역으로 하여 감시하고, 상기 감시 영역 내에서 감시 물체를 탐지하는 감시부; 상기 감시부에서 탐지된 상기 감시 물체를 감시 및/또는 추적하는 추적부; 및 상기 감시 물체의 상기 감시부에 대한 좌표인 감시 좌표를 입력받아 상기 감시 물체의 상기 추적부에 대한 좌표인 추적 좌표로 변환하여 상기 추적부로 전송하는 제어부를 구비하는 감시 카메라 시스템을 제공한다.
상기 감시부를 통하여 입력되는 감시 영상 및/또는 상기 추적부를 통하여 입력되는 추적 영상이 표시되는 표시부를 더 구비할 수 있다.
상기 제어부에서, 상기 감시 영상과 상기 추적 영상에서 동일한 위치를 표시하는 대응쌍으로부터 상기 감시 좌표와 상기 추적 좌표의 상호 변환 관계를 구할 수 있다.
상기 감시부 및/또는 상기 추적부가, 상기 감시 영역으로부터 영상을 입력받는 카메라, 상기 카메라와 결합되어 상기 카메라를 이동 또는 회전시키는 구동장치, 및 상기 카메라로부터 입력받은 상기 영상을 분석하여 상기 이동 물체를 탐지 및/또는 추적하는 영상 분석부를 포함할 수 있다.
본 발명의 다른 측면은, (a) 감시부를 통하여 입력되는 감시 영상과 추적부를 통하여 입력되는 추적 영상의 관계를 구하는 단계; (b) 상기 감시부에서 감시 대상이 되는 물체인 감시 물체를 감지하는 단계; (c) 상기 감시부에 대한 상기 감시 물체의 좌표인 감시 좌표를 측정하는 단계; (d) 상기 감시 영상과 상기 추적 영상의 관계를 이용하여 상기 감시 좌표로부터 상기 추적부에 대한 상기 감시 물체의 좌표인 추적 좌표를 산출하는 단계; (e) 상기 추적부의 현재 위치의 좌표와 상기 추적 좌표로부터 상기 추적부의 이동량을 산출하는 단계; 및 (f) 상기 추적부를 상기 감시 물체까지 이동 및 추적하는 단계를 구비하는 감시 카메라 시스템의 제어방 법을 제공한다.
상기 (a) 단계가, 상기 감시부와 상기 추적부가 유사한 영상을 얻을 수 있도록 상기 감시부 및/또는 추적부를 조정하는 단계; 상기 감시 영상과 상기 추적 영상을 화면에 표시하고, 상기 감시 영상과 상기 추적 영상의 동일 위치를 입력받는 단계; 상기 동일 위치의 대응쌍으로부터 상기 감시 영상과 상기 추적 영상의 관계를 산출하는 단계를 구비할 수 있다.
상기 감시 영상과 상기 추적 영상의 관계를 호모그래피 행렬로 산출할 수 있다.
본 발명에 따른 감시 카메라 시스템 및 그의 제어방법에 의하면, 제1 카메라에서 탐지된 목표물을 제2 카메라에서 빠른 계산에 의하여 정확한 감시 및/또는 추적할 수 있다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.
도 1에는 본 발명에 따른 바람직한 실시예인 감시 카메라 시스템(10)이 도시되어 있다. 도 2에는 감시 카메라 시스템(10)의 일 실시예인 무인 감시 로봇(20)이 도시되어 있다.
도면을 참조하면, 감시 카메라 시스템(10)은 감시부(100); 추적부(200); 제어부(300); 및 표시부(400)를 구비할 수 있다. 감시부(100)는 특정 영역에 설치되 어 특정 영역 중의 적어도 일부 영역을 감시 영역으로 하여 감시하고, 감시 영역 내에서 감시 물체를 탐지한다. 추적부(200)는 감시부(100)에서 탐지된 감시 물체를 감시 및/또는 추적한다.
제어부(300)는 감시 물체의 감시부(100)에 대한 좌표인 감시 좌표를 입력받아 감시 물체의 추적부(200)에 대한 좌표인 추적 좌표로 변환하여 추적부(200)로 전송하여, 추적부에서 감시 물체를 감시 및/또는 추적할 수 있도록 한다. 표시부(400)에는 감시부(100)를 통하여 입력되는 감시 영상 및/또는 추적부(200)를 통하여 입력되는 추적 영상이 표시된다.
감시 카메라 시스템(10)은 감시부(100)와 추적부(200)를 구비하고, 감시부(100)에서 탐지된 감시 물체의 감시 좌표를 추적부(200)에 대한 추적 좌표로 변환하여, 추적부(200)에서 감시 물체를 추적할 수 있도록 한다.
이때, 추적 좌표에 위치한 감시 물체가 추적부(200)의 추적 영상의 중심에 위치될 수 있도록 추적부(200)를 이동시킨다. 또한, 감시 물체가 추적 영상의 중심에 위치될 수 있도록 추적부(200)를 구동시켜 감시 물체를 추적할 수 있다.
이를 위하여, 복수개의 동일한 위치에 대한 감시 영상과 추적 영상으로부터 호모그래피 행렬(homography matrix)을 구하고, 감시부(100)에서 감시 물체를 측정한 감시 좌표를 호모그래피 행렬을 이용하여 추적부(200)에 대한 감시 물체의 좌표인 추적 좌표로 변환한다.
따라서, 직접적 거리 측정 없이도 비교적 정확한 카메라 간 좌표 변환이 가능하다.
감시부(100)로부터 감시 물체까지의 정확한 거리 정보가 없어도, 미리 계산된 호모그래피 행렬에 의하여 추적부(200)가 감시 물체를 비교적 정확하게 추적할 수 있다. 또한, 미리 계산된 호모그래피 행렬을 이용하므로, 추적 좌표를 구하는 계산시간을 단축할 수 있으며, 추적 효율을 향상시킬 수 있다.
감시 카메라 시스템(10)에서, 감시부(100)가 탐지한 감시 물체의 추적부(200)에 의한 추적은 도 3 및 도 4에 도시된 감시 카메라 시스템의 제어방법(S300)에 의하여 이루어질 수 있다.
감시 물체는 감시 영역 내에서 이동하는 이동 물체가 될 수 있다. 즉, 감시부(100)가 감시 영역 내에서 이동하는 이동 물체를 탐지한 경우, 그 이동 물체를 감시 물체로 하여, 추적부(200)가 이동 물체를 추적하도록 할 수 있다.
한편, 감시부(100) 및/또는 추적부(200)는, 카메라(110, 210), 구동장치(120, 220), 및 영상 분석부(130, 230)를 구비할 수 있다.
카메라(110, 210)는 감시 영역으로부터 영상을 입력받는다. 구동장치(120, 220)는 카메라(110, 210)와 결합되어 카메라(110, 210)를 이동 또는 회전시킨다. 영상 분석부(130, 230)는 카메라(110, 210)로부터 입력받은 영상을 분석하여 이동 물체를 탐지 및/또는 추적한다.
카메라(110, 210)는 카메라(110, 210)가 영상을 줌-인(zoom-in) 또는 줌-아웃(zoom-ot) 가능한 줌 렌즈를 구비할 수 있다. 또한, 구동장치(120, 220)는 카메라(110, 210)를 패닝(panning) 및/또는 틸팅(tilting) 작동시킬 수 있다.
즉, 카메라(110, 210)는 구동장치(120, 220)에 의하여 패닝(panning) 및/또 는 틸팅(tilting) 하면서 영상을 입력받을 수 있다. 이때, 패닝(panning)은 카메라(110, 210)를 좌우로 회전시키는 동작이며, 틸팅(tilting)은 카메라(110, 210)를 상하로 회전시키는 동작이 될 수 있다.
감시 카메라 시스템(10)은 도 2에 도시된 바와 같은 무인 감시 로봇(20)이 될 수 있다. 무인 감시 로봇(20)은 감시부(21)와 추적부(22)를 구비할 수 있다. 이때, 제어부(미도시) 및 표시부(미도시)는 감시부(21)의 일측 또는 내부에 장착될 수 있으며, 감시부(21) 및 추적부(22)와 별개로 이들과 유선 또는 무선으로 연결되도록 구성될 수 있다.
감시부(21)는 카메라(211)와 구동장치(212)를 구비할 수 있다. 구동장치(212)는 그 내부에 틸팅 구동부(미도시)와 패닝 구동부(미도시)를 포함하여 이루어질 수 있다. 추적부(22)는 카메라(221)와 구동장치(222)를 구비할 수 있다. 추적부의 구동장치(222a, 222b)는 틸팅 구동부(222a)와 패닝 구동부(222b)를 포함할 수 있다.
또한, 감시 카메라 시스템(10)에서는 감시부(100)에는 거리 측정기가 포함되지 아니하고, 추적부(200)에만 거리 측정기(223)가 포함될 수 있다. 이 경우, 감시부(100)가 감시 물체까지의 거리를 측정하지 아니하여도, 호모그래피 행렬에 의하여 감시 물체에 대한 추적 좌표를 용이하게 구할 수 있다.
거리 측정기(223)는 레이저를 이용하여 거리를 측정하는 레이저 레인지 파인더(Laser Range Finder, LRF)가 될 수 있다.
감시부(100)는 감시 영역 내에서 감시 물체를 탐지한다. 이때, 감시부(100) 가 고정식 또는 이동식이 될 수 있다. 감시부(100)가 이동식인 경우에, 특정 영역을 복수개의 감시 영역으로 분할하여, 각각의 감시 영역을 프리셋 방식 및/또는 파노라마 방식에 의하여 감시하면서, 이동 물체를 탐지할 수 있다.
프리셋 방식은 미리 설정된 프리셋에 따라 이동 또는 회전하면서 각각의 감시 영역을 감시한다. 파노라마 방식은 특정 영역을 복수개의 감시 영역으로 나누고 각각의 감시 영역을 일 방향으로 이동 또는 회전하면서 순차적으로 감시한다.
추적부(200)는 감시 물체를 감시 및/또는 추적한다. 이때, 추적부(200)는 감시 물체가 추적부를 통하여 입력되는 추적 영상의 중앙에 위치되도록 한 후에, 감시 물체를 추적한다.
이를 위하여 제어부(300)로부터 제어 신호를 입력받아 추적부(200)의 구동장치(220)를 제어하여, 카메라(210)를 패닝 또는 틸팅 작동시킬 수 있다.
감시 좌표와 추적 좌표는 각각 카메라의 패닝값, 틸팅값, 줌잉값들을 포함하여 이루어질 수 있다.
도 5a 및 도 5b에는 각각 베이스 호모그래피 행렬을 생성하기 위한 감시 영상과 추적 영상이 도시되어 있다. 도 6에는 감시 카메라 시스템(10)에서 추적 카메라의 현재 좌표(X추적현)와 추적 좌표(X추적신)의 관계가 도시되어 있다.
이때, 감시부(100)가 탐지한 감시 물체의 추적부(200)에 의한 추적은 도 3 및 도 4에 도시된 감시 카메라 시스템의 제어방법(S300)에 의하여 이루어질 수 있다.
제어부(300)에서 감시 영상과 추적 영상에서 동일한 위치를 표시하는 대응쌍으로부터 감시 좌표와 상기 추적 좌표의 상호 변환 관계를 구할 수 있다. 감시 좌표와 상기 추적 좌표의 상호 변환 관계는 호모그래피 이론에 따른 호모그래피 행렬로 구해질 수 있다.
이때, 3개의 대응쌍으로부터 감시 좌표와 추적 좌표의 상호 변환 관계가 구해질 수 있다. 이 경우 정확도를 높이기 위하여 3개 이상의 대응쌍으로부터 감시 좌표와 추적 좌표의 상호 변환 관계를 구할 수 있으며, 계산량을 고려하여 8-10개의 대응쌍으로부터 호모그래피 행렬을 구할 수 있다.
이를 위한 선행 작업으로, 카메라(110, 210)에 부착되는 줌 렌즈에 의한 줌잉(zooming)에 따른 광축의 틀어짐을 보정할 수 있다. 또한, 줌잉에 따른 화각 정보를 가지고 있는 것이 바람직하다.
도 3에는 본 발명에 따른 바람직한 실시예인 감시 카메라 시스템의 제어방법(S300)의 흐름도가 도시되어 있다. 도 4에는 감시 카메라 시스템의 제어방법(S300)에서 베이스 호모그래피 행렬 생성단계(S400)의 흐름도가 도시되어 있다.
도면을 참조하면, 감시 카메라 시스템의 제어방법(S300)은 감시 영상과 추적 영상의 관계 설정단계(S400); 감시물체 탐지단계(S310); 감시좌표 측정단계(S320); 추적좌표 산출단계(S330); 추적부 이동량 산출단계(S340); 추적부 이동단계(S350); 및 감시물체 추적단계(S360)를 구비한다.
감시 카메라 시스템의 제어방법(S300)은 도 1 및/또는 도 2의 감시 카메라 시스템(10, 20)의 제어방법으로서, 감시부(도 1의 100)에서 탐지된 감시 물체의 감 시 좌표를 추적부(도 1의 200)에 대한 추적 좌표로 변환하여, 추적부(도 1의 200)에서 감시 물체를 추적할 수 있도록 한다.
감시 영상과 추적 영상의 관계 설정단계(S400)에는 감시부를 통하여 입력되는 감시 영상과 추적부를 통하여 입력되는 추적 영상의 관계를 구한다. 이때, 감시 영상과 추적 영상의 관계는 도 4에서와 같이 호모그래피 이론에 따른 호모그래피 행렬로 구해질 수 있다.
감시물체 탐지단계(S310)에는 감시부를 통하여 감시 대상이 되는 물체로서 추적부에 의한 추적의 목표물이 될 수 있는 감시 물체를 감지한다. 감시 물체는 감시 영역 내에서 이동하는 이동 물체가 될 수 있다. 즉, 감시부를 통하여 감시 영역 내에서 이동하는 이동 물체를 탐지한 경우, 그 이동 물체를 목표물로 하여, 추적부에 의하여 이동 물체를 추적할 수 있다.
감시좌표 측정단계(S320)에는 감시부에 대한 감시 물체의 좌표인 감시 좌표를 감시부를 통하여 측정한다. 추적좌표 산출단계(S330)에는 감시 영상과 추적 영상의 관계를 이용하여 감시 좌표로부터 추적부에 대한 감시 물체의 좌표인 추적 좌표를 산출한다.
추적부 이동량 산출단계(S340)에는 추적부의 현재 위치의 좌표와 추적 좌표로부터 추적부의 이동량을 산출할 수 있다. 추적부 이동단계(S350)에는 추적부를 감시 물체가 추적 영상의 중심에 위치될 수 있도록 이동 작동시킨다.
감시물체 추적단계(S360)에는 추적부에 의하여 감시 물체를 추적한다. 이때, 감시 물체의 움직임을 분석 및 예측하여 감시 물체가 추적 영상의 중심에 위치될 수 있도록 추적부를 작동시켜, 추적부가 감시 물체를 추적하도록 할 수 있다.
감시 영상과 추적 영상의 관계 설정단계(S400)에는 감시부를 통하여 입력되는 감시 영상과 추적부를 통하여 입력되는 추적 영상의 관계를 호모그래피 이론에 따른 호모그래피 행렬로 구해질 수 있다. 감시 영상과 추적 영상의 관계 설정단계(S400)는 도 4에 도시된 바와 같은 베이스 호모그래피 행렬 생성단계(S400)가 될 수 있다.
베이스 호모그래피 행렬 생성단계(S400)는 감시 영상 및 추적 영상 조정단계(S410); 감시 영상 및 추적 영상 표시단계(S420); 감시 영상 및 추적 영상의 동일 위치 입력단계(S430); 동일 위치 대응쌍 생성 단계(S440); 및 베이스 호모그래피 행렬 산출단계(S450)를 구비할 수 있다.
감시 영상 및 추적 영상 조정단계(S410)에는 감시부와 추적부가 동일 위치를 포함하는 유사한 영상을 얻을 수 있도록 감시부 및/또는 추적부를 조정한다.
감시 영상 및 추적 영상 표시단계(S420)에는 감시 영상과 추적 영상을 화면에 표시한다. 즉, 사용자가 외부에서 감시 영상과 추적 영상이 각각 표시되는 표시장치를 통하여 동일한 위치라고 판단되는 동일 위치를 입력할 수 있도록 준비를 한다.
감시 영상 및 추적 영상의 동일 위치 입력단계(S430)에는 사용자의 조작에 의하여 감시 영상과 추적 영상의 동일 위치를 입력받는다. 동일 위치 대응쌍 생성 단계(S440)에는 사용자에 의한 감시 영상과 추적 영상에서의 동일 위치 입력에 따라 동일 위치 대응상을 생성한다.
베이스 호모그래피 행렬 산출단계(S450)에는 감시 영상과 추적 영상의 관계를 호모그래피 이론에 따른 베이스 호모그래피 행렬로 산출한다.
도 5a 및 도 5b에는 각각 베이스 호모그래피 행렬을 생성하기 위한 감시 영상과 추적 영상이 도시되어 있다.
도 5a에 도시된 감시 영상과 도 5b에 도시된 추적 영상이 표시장치에 표시되어, 사용자가 각각의 영상에서 동일 위치라고 판단되는 점들을 표시할 수 있도록 한다. 즉, 사용자가 도 5a의 감시 영상에서 각각의 점들(Xa1~Xa8)를 지정하고, 감시 영상에서 지정된 점들(Xa1~Xa8)에 대응되는 추적 영상에서의 점들(Xb1~Xb8)을 도 5b의 추적 영상에서 지정한다.
그에 따라, 베이스 호모그래피 행렬의 생성을 위한 대응쌍들이 생성된다. 이때, 사용자가 표시장치에 해당하는 모니터 상에서 각각의 점들을 지정하여 각각의 좌표값이 입력될 수 있다.
감시 영상과 추적 영상에서 동일 위치로 지정된 점들(Xa1~Xa8, Xb1~Xb8)로부터 수학식 1의 관계식으로부터 베이스 호모그래피 행렬(H 베이스 )을 구할 수 있다.
Figure 112007078727046-pat00001
Figure 112007078727046-pat00002
여기서, X 감시구 는 감시 영상에서의 좌표값으로 Xa1~Xa8의 값을 포함하고, X 추적구 는 추적 영상에서의 좌표값으로 Xb1~Xb8의 값을 포함하고, H 베이스 는 감시 영상과 추적 영상의 관계에 해당하는 베이스 호모그래피 행렬이다.
이때, X는 감시 영상 또는 추적 영상에서 2차원 좌표값이 될 수 있으므로, x 및 y 감시 영상 또는 추적 영상에서 2차원 좌표값이 되고, w는 1이 될 수 있다.
X 추적구 에서는 x는 베이스 호모그래피 행렬을 구할 당시의 추적 카메라의 x 좌표가 되고, y는 베이스 호모그래피 행렬을 구할 당시의 추적 카메라의 y 좌표가 되고, w는 1이 될 수 있다.
X 감시구 에서는 x는 베이스 호모그래피 행렬을 구할 당시의 감시 카메라의 x 좌표가 되고, y는 베이스 호모그래피 행렬을 구할 당시의 감시 카메라의 y 좌표가 되고, w는 1이 될 수 있다.
이때, H 베이스 는 SVD(Singular Value Decomposition) 이론을 이용하여 m×n 행렬의 역행렬을 구하고, 규준화(normalization)를 통해 데이터의 일관성을 유지할 수 있도록 할 수 있다.
여기서, 3개의 대응쌍으로부터 감시 좌표와 추적 좌표의 상호 변환 관계가 구해질 수 있다. 이 경우 정확도를 높이기 위하여 3개 이상의 대응쌍으로부터 감시 좌표와 추적 좌표의 상호 변환 관계를 구할 수 있으며, 계산량을 고려하여 9-10개의 대응쌍으로부터 호모그래피 행렬을 구할 수 있다.
도 6에는 감시 카메라 시스템(10)에서 추적 카메라의 현재 좌표(X추적현)와 추적 좌표(X추적신)의 관계가 도시되어 있다.
도 6에서 구좌표는 수학식 1에 의하여 베이스 호모그래피 행렬을 구할 때 사용했던 화면(50)에서의 좌표값이 된다. 또한, 신좌표는 감시부의 카메라(110)에서 탐지한 감시 물체의 좌표가 되고, 현좌표는 추적부의 카메라(210)의 현재 좌표가 된다.
감시물체 탐지단계(S310)에서 감시 물체를 감지하면, 감시좌표 측정단계(S320)에는 감시 물체의 신좌표인 감시 신좌표(X 감시신 )를 측정한다. 또한, 각각의 좌표값에서 회전 및 줌잉을 고려할 필요가 있으며, 회전 및 줌잉을 고려한 관계식은 수학식 2와 같다.
Figure 112007078727046-pat00003
여기서, X 구 는 변환전 좌표값이고, X 신 은 변환후 좌표값이고, K는 캘리브레이션 행렬이고, R은 회전 행렬에 해당한다. 이때, 캘리브레이션 행렬(K)은 시스템의 캘리브레이션을 위한 값이 되는 것으로 각각의 시스템에 따라 결정되고, 회전 행렬(R)은 회전 정도를 표시할 수 있는 행렬이다.
이때, X 구 , X 신 은 패닝과 틸팅에 의한 회전 및 줌잉을 고려한 좌표값이 될 수 있다.
추적좌표 산출단계(S330)에는 베이스 호모그래피 행렬을 이용하여 감시 좌표로부터 추적 좌표를 산출할 수 있다. 이때, 추적 좌표(X 추적신 )는 수학식 1과 수학식 3 및 4의 관계식으로부터 구할 수 있다. 따라서, 추적 좌표(X 추적신 )는 수학식 5의 관계식으로부터 구할 수 있다.
Figure 112007078727046-pat00004
이때, 수학식 3은 한 대의 카메라가 회전 중심축으로부터 트랜스래이션(translation)이 없는 경우에 적용될 수 있는 관계식이다. 한편, 두 대의 카메라가 설치되는 위치가 이동 물체와의 거리에 비하여 훨씬 가까운 거리이므로, 이동 물체에 대해서는 하나의 카메라라고 근사시킬 수 있다.
따라서, 도 2에 도시된 바와 같은 감시 경계 로봇 등의 감시 카메라 시스템에서는 이동 물체와의 거리에 비하여 두 대의 카메라 사이의 거리(translation)가 적어 수학식 3이 적용될 수 있다.
Figure 112007078727046-pat00005
Figure 112007078727046-pat00006
따라서, 수학식 5로부터 감시부에서 탐지한 이동 물체의 추적부에 대한 좌표 에 해당하는 추적 좌표(X 추적신 )를 구할 수 있다.
추적좌표 산출단계(S330)에는 감시 영상과 추적 영상의 관계를 이용하여 감시 좌표로부터 추적부에 대한 감시 물체의 좌표인 추적 좌표를 산출한다.
이때, 추적 좌표는 감시 물체가 추적 영상의 중앙에 위치되도록 하는 좌표값이 될 수 있다. 즉, 추적 좌표에 위치한 감시 물체가 추적 영상의 중심에 위치될 수 있도록 추적부가 패닝 및/또는 틸팅 및/또는 줌 구동될 수 있다. 또한, 감시 물체가 추적 영상의 중심에 위치될 수 있도록 추적부를 구동시켜 감시 물체를 추적할 수 있다.
한편, 캘리브레이션 행렬(K)은 카메라의 내부 파라미터 (줌값, 화면 중심점 좌표, 초점거리) 등이 포함되어 있는 행렬이 될 수 있다. 회전 행렬(R)은 패닝(panning), 틸팅(tilting) 방향으로 카메라가 회전한 각도를 좌표에 반영할 수 있도록 해주는 행렬이 될 수 있다.
캘리브레이션 행렬(K)은 수학식 6과 같이 행렬이 될 수 있으며, 회전 행렬(R)은 수학식 7과 같은 행렬이 될 수 있다.
Figure 112007078727046-pat00007
여기서, f는 초점 거리, w p 는 화면의 폭, u c 는 화면의 x 축 중심좌표, v c 는 화면의 y 축 중심좌표, h p 는 화면의 높이가 될 수 있다.
Figure 112007078727046-pat00008
여기서, β는 x 축에 대한 회전 각도가 되고, γ는 y 축에 대한 회전 각도가 될 수 있다. R1은 x 축에 대한 회전 행렬, R2는 y 축에 대한 회전 행렬이 될 수 있다. 또한, 회전 행렬(R)은 R1 및 R2 중의 어느 하나 또는 이들의 곱으로 표현될 수 있다.
추적부 이동량 산출단계(S340)에는, 추적부의 현재 위치의 현좌표(X 추적현 )와 추적부에 대한 신좌표(X 추적신 )로부터, 이동 물체가 추적 영상의 중심에 위치될 수 있도록 추적부가 작동되어야할 이동량을 산출할 수 있다.
다만, 이를 위하여 추적 영상의 픽셀 당 팬 및/또는 틸팅 작동 각도가 얼마인지 각각의 줌에 따라 미리 구할 필요가 있다. 이때, 영상에서의 각각의 줌에 대한 픽셀당 작동 각도를 테이블로 작성하고 이를 이용하면, 픽셀에 맞는 작동 각도를 용이하게 구할 수 있다.
예를 들어, 현재 줌 배율이 5배인 경우에, 픽셀 당 작동 각도가 0.01도/픽셀이고, 현재 감시부에서 추적부 사이의 좌표차이가 1000픽셀 차이가 난다면, 이를 이용하여 작동 각도는 0.01도/픽셀×1000픽셀 = 10도가 된다. 이러한 관계를 이용하여 팬/틸팅 각각에 대한 작동 각도를 구할 수 있게 된다.
그에 따라, 추적부 이동단계(S350)에서 감시 물체가 추적 영상의 중심에 위치될 수 있도록 추적부가 작동되고, 감시물체 추적단계(S360)에서 추적부에 의하여 감시 물체를 추적한다.
이때, 감시 물체의 움직임을 분석 및 예측하여 감시 물체가 추적 영상의 중심에 위치될 수 있도록 추적부를 작동시켜, 추적부가 감시 물체를 추적하도록 할 수 있다.
본 발명에서는, 복수개의 동일한 위치에 대한 감시 영상과 추적 영상으로부터 호모그래피 행렬(homography matrix)을 구하고, 감시부에서 감시 물체를 측정한 감시 좌표를 호모그래피 행렬을 이용하여 추적부에 대한 감시 물체의 좌표인 추적 좌표로 변환한다.
따라서, 직접적 거리 측정 없이도 비교적 정확한 카메라 간 좌표 변환이 가능하다.
감시부로부터 감시 물체까지의 정확한 거리 정보가 없어도, 미리 계산된 호모그래피 행렬에 의하여 추적부가 감시 물체를 비교적 정확하게 추적할 수 있다. 또한, 미리 계산된 호모그래피 행렬을 이용하므로, 추적 좌표를 구하는 계산시간을 단축할 수 있으며, 추적 효율을 향상시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
도 1은 본 발명에 따른 바람직한 실시예로서, 감시 카메라 시스템을 개략적으로 도시한 블록도이다.
도 2는 도 1의 감시 카메라 시스템의 일 실시예인 무인 감시 로봇을 개략적으로 도시한 사시도이다.
도 3은 본 발명에 따른 바람직한 실시예로서, 감시 카메라 시스템의 제어방법을 개략적으로 도시한 흐름도이다.
도 4는 도 3의 감시 카메라 시스템의 제어방법에서 베이스 호모그래피 행렬 생성단계를 개략적으로 도시한 흐름도이다.
도 5a 및 도 5b는 각각 베이스 호모그래피 행렬을 생성하기 위한 감시 영상과 추적 영상을 개략적으로 도시한 도면이다.
도 6은 본 발명에 따른 감시 카메라 시스템 및 그 제어방법에서 추적 카메라의 현재 좌표와 추적 좌표의 관계를 개략적으로 도시한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
10: 감시 카메라 시스템, 100: 감시부,
200: 추적부, 110, 210: 카메라,
120, 220: 구동장치, 130, 230: 영상 분석부,
300: 제어부, 400: 표시부.

Claims (15)

  1. 특정 영역에 설치되어 상기 특정 영역 중의 적어도 일부 영역을 감시 영역으로 하여 감시하고, 상기 감시 영역 내에서 감시 물체를 탐지하는 감시부;
    상기 감시부에서 탐지된 상기 감시 물체를 추적하는 추적부; 및
    상기 감시 물체의 상기 감시부에 대한 좌표인 감시 좌표를 입력받아 상기 감시 물체의 상기 추적부에 대한 좌표인 추적 좌표로 변환하여 상기 추적부로 전송하는 제어부를 구비하며,
    상기 감시부와 상기 추적부는 각각, 상기 감시 영역으로부터 영상을 입력받는 카메라와, 상기 카메라와 결합되어 상기 카메라를 이동 또는 회전시키는 구동장치와, 상기 카메라로부터 입력받은 상기 영상을 분석하는 영상 분석부를 포함하는 감시 카메라 시스템.
  2. 제1항에 있어서,
    상기 감시부를 통하여 입력된 감시 영상과 상기 추적부를 통하여 입력된 추적 영상 중 적어도 하나가 표시되는 표시부를 더 구비하는 감시 카메라 시스템.
  3. 청구항 3은(는) 설정등록료 납부시 포기되었습니다.
    제2항에 있어서,
    상기 제어부에서,
    상기 감시 영상과 상기 추적 영상에서 동일한 위치를 표시하는 대응쌍으로부터 상기 감시 좌표와 상기 추적 좌표의 상호 변환 관계를 구하는 감시 카메라 시스템.
  4. 청구항 4은(는) 설정등록료 납부시 포기되었습니다.
    3개 이상의 상기 대응쌍으로부터 상기 감시 좌표와 상기 추적 좌표의 상호 변환 관계가 구해지는 감시 카메라 시스템.
  5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서,
    상기 감시 물체가 상기 감시 영역 내에서 이동하는 이동 물체인 감시 카메라 시스템.
  6. 삭제
  7. 청구항 7은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서,
    상기 카메라가 상기 영상을 줌-인 또는 줌-아웃 가능한 줌 렌즈를 구비하고, 상기 구동장치는 상기 카메라를 패닝(panning) 또는 틸팅(tilting) 작동시키는 감시 카메라 시스템.
  8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서,
  9. 청구항 9은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서,
    상기 감시부가, 미리 설정된 프리셋에 따라 이동 또는 회전하면서 상기 감시 영역을 감시하는 프리셋 방식, 또는 상기 특정 영역을 복수개의 상기 감시 영역으로 나누고 상기 감시 영역을 일 방향으로 이동 또는 회전하면서 순차적으로 감시하는 파노라마 방식에 의하여, 상기 감시 영역을 감시하는 감시 카메라 시스템.
  10. 청구항 10은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서,
    상기 추적부가, 상기 감시 물체가 상기 추적부를 통하여 입력되는 추적 영상의 중앙에 위치되도록, 상기 감시 물체를 추적하는 감시 카메라 시스템.
  11. (a) 감시부를 통하여 입력되는 감시 영상과 추적부를 통하여 입력되는 추적 영상의 관계를 구하는 단계;
    (b) 상기 감시부에서 감시 대상이 되는 물체인 감시 물체를 감지하는 단계;
    (c) 상기 감시부에 대한 상기 감시 물체의 좌표인 감시 좌표를 측정하는 단계;
    (d) 상기 감시 영상과 상기 추적 영상의 관계를 이용하여 상기 감시 좌표로부터 상기 추적부에 대한 상기 감시 물체의 좌표인 추적 좌표를 산출하는 단계;
    (e) 상기 추적부의 현재 위치의 좌표와 상기 추적 좌표로부터 상기 추적부의 이동량을 산출하는 단계; 및
    (f) 상기 추적부를 상기 감시 물체까지 이동 및 추적하는 단계;를 구비하며,
    상기 감시부와 상기 추적부는 각각, 감시 영역으로부터 영상을 입력받는 카메라와, 상기 카메라와 결합되어 상기 카메라를 이동 또는 회전시키는 구동장치와, 상기 카메라로부터 입력받은 상기 영상을 분석하는 영상 분석부를 포함하는 감시 카메라 시스템의 제어방법.
  12. 청구항 12은(는) 설정등록료 납부시 포기되었습니다.
    제11항에 있어서,
    상기 추적 좌표가 상기 감시 물체가 상기 추적 영상의 중앙에 위치되도록 하는 좌표값인 감시 카메라 시스템의 제어방법.
  13. 청구항 13은(는) 설정등록료 납부시 포기되었습니다.
    제11항에 있어서,
    상기 감시 물체가 상기 감시 영역 내에서 이동하는 이동 물체인 감시 카메라 시스템의 제어방법.
  14. 제11항에 있어서,
    상기 (a) 단계가,
    상기 감시부와 상기 추적부가 유사한 영상을 얻을 수 있도록, 상기 감시부와 상기 추적부 중 적어도 하나를 조정하는 단계;
    상기 감시 영상과 상기 추적 영상의 동일 위치를 입력받는 단계;
    상기 동일 위치의 대응쌍으로부터 상기 감시 영상과 상기 추적 영상의 관계를 산출하는 단계를 구비하는 감시 카메라 시스템의 제어방법.
  15. 청구항 15은(는) 설정등록료 납부시 포기되었습니다.
    제14항에 있어서,
    상기 감시 영상과 상기 추적 영상의 관계를 호모그래피 행렬로 산출하는 감시 카메라 시스템의 제어방법.
KR1020070111038A 2007-11-01 2007-11-01 감시 카메라 시스템 및 그의 제어방법 KR101204870B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070111038A KR101204870B1 (ko) 2007-11-01 2007-11-01 감시 카메라 시스템 및 그의 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070111038A KR101204870B1 (ko) 2007-11-01 2007-11-01 감시 카메라 시스템 및 그의 제어방법

Publications (2)

Publication Number Publication Date
KR20090044791A KR20090044791A (ko) 2009-05-07
KR101204870B1 true KR101204870B1 (ko) 2012-11-26

Family

ID=40855300

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070111038A KR101204870B1 (ko) 2007-11-01 2007-11-01 감시 카메라 시스템 및 그의 제어방법

Country Status (1)

Country Link
KR (1) KR101204870B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101471188B1 (ko) * 2010-09-01 2014-12-11 삼성테크윈 주식회사 감시 시스템
KR101023854B1 (ko) * 2010-10-08 2011-03-22 재 훈 장 스쿨존의 경보시스템
KR101347450B1 (ko) * 2012-04-10 2014-01-09 한국기술교육대학교 산학협력단 듀얼 카메라를 이용한 화상 감지 방법 및 장치
KR101956775B1 (ko) * 2017-06-02 2019-06-19 (주)씨엔에스아이엔티 이동 물체 추적 기능을 구비한 감시 시스템을 위한 지능형 제어보드
CN112492259B (zh) * 2019-09-12 2023-07-04 杭州海康威视数字技术股份有限公司 监控设备及监控方法
CN111563428B (zh) * 2020-04-23 2023-10-17 杭州云视通互联网科技有限公司 一种机场停机位入侵检测方法及其系统
CN115767274B (zh) * 2022-11-28 2023-08-29 聚智科技(湖北)有限公司 一种具有智能视觉追踪监视功能的婴儿监视器

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273500A (ja) 2000-03-23 2001-10-05 Hitachi Ltd 運動物体計測装置および球技分析システムおよびデータサービスシステム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273500A (ja) 2000-03-23 2001-10-05 Hitachi Ltd 運動物体計測装置および球技分析システムおよびデータサービスシステム

Also Published As

Publication number Publication date
KR20090044791A (ko) 2009-05-07

Similar Documents

Publication Publication Date Title
KR101204870B1 (ko) 감시 카메라 시스템 및 그의 제어방법
KR101187909B1 (ko) 감시 카메라 시스템
EP1427212B1 (en) Video tracking system and method
US7843499B2 (en) Image capturing system employing different angle cameras on a common rotation axis and method for same
EP2652948B1 (en) Zooming factor computation
KR100606485B1 (ko) 물체 추미 방법 및 물체 추미 장치
KR102111935B1 (ko) 표시 제어장치, 표시 제어방법 및 프로그램
US8405494B2 (en) Apparatus for identifying threats using multiple sensors in a graphical user interface
KR101496390B1 (ko) 차량번호인식 시스템
JP2012520650A (ja) 知能型監視カメラ装置及びこれを採用した映像監視システム
KR101096157B1 (ko) 듀얼 카메라를 이용한 실시간 감시장치
WO2009066988A2 (en) Device and method for a surveillance system
JP2011124965A (ja) 被写体寸法測定用カメラ装置
JP6624800B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
KR20140121345A (ko) 감시카메라 유닛 및 그 구동방법
JP2008176768A (ja) 画像処理装置
US20200371244A1 (en) Method of computing three-dimensional drive parameter of a three-dimensional numerical drive control device by driving measurement of a tracking laser distance meter
KR20050103597A (ko) 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법
JP2009301175A (ja) 監視方法
KR101247300B1 (ko) 감시 카메라 시스템
KR101738514B1 (ko) 어안 열상 카메라를 채용한 감시 시스템 및 이를 이용한 감시 방법
JP6581280B1 (ja) 監視装置、監視システム、監視方法、監視プログラム
JP2004320175A (ja) 監視カメラシステム
JP2017011598A (ja) 監視システム
JP4812099B2 (ja) カメラ位置検出方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151030

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181029

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 8