KR101780929B1

KR101780929B1 - 움직이는 물체를 추적하는 영상감시 시스템

Info

Publication number: KR101780929B1
Application number: KR1020170003460A
Authority: KR
Inventors: 문정희
Original assignee: (주)예원이엔씨
Priority date: 2017-01-10
Filing date: 2017-01-10
Publication date: 2017-09-26

Abstract

본 발명은 영상감시 시스템에서 움직이는 물체를 추적하고, 영상감시능력을 향상시키기 위한 방법이 개시된다. 본 발명은 이동 물체 자동 추적 시스템에 관한 것으로, 보다 구체적으로는 물체의 움직임을 센서로부터 검지하여 영상검지용 카메라 및 PTZ(Pan/Tilt/Zooming) 카메라를 작동시켜 이동경로의 확인 추적 및 확대 저장 등을 수행하기 위한 이동 물체 자동 추적 시스템으로서 비가 오는 환경에서 CCTV 카메라 영상에 대하여 보행자 검출 및 추적 알고리즘과 Haar-like 특징을 이용한 Adaboost 학습 알고리즘 방법을 이용하여 보행자를 검출하고, 확률적 데이터연관 기법을 이용하여 검출된 보행자를 추적하는 방법, 시스템은 제품 정보 및 상기 카메라 설치 정보를 입력 받는 입력부, 상기 입력부에서 입력된 정보를 이용하여 3차원 지도상에 카메라 설치 시, 예상되는 감시 영역을 형성하는 제어부, 상기 입력부에서 입력된 정보 및 상기 제어부에서 형성된 감시 영역을 저장하는 저장부, 상기 3차원 지도상에 상기 형성된 감시 영역을 디스플레이하는 디스플레이부 및 상기 감시 영역의 형성에 대한 사용자 명령을 지시하는 사용자 조치를 감지하는 인터페이스부를 포함한다. 또한, 카메라 감시 영역 산출 방법은 카메라가 설치될 위치를 추정하는 단계, 상기 추정된 위치를 기초로 감시영역을 위/경도 좌표로 변환하는 단계, 상기 변환된 위/경도 좌표를 연결하여 폴리곤을 형성하는 단계; 및 상기 형성된 폴리곤을 이용하여 상기 3차원 지도상에 감시 영역을 형성하는 단계를 포함한다.

Description

움직이는 물체를 추적하는 영상감시 시스템 {Image surveillence system for moving object}

각종 강력 범죄들로 인해 안전에 대한 사람들의 요구가 증가하고 있다. 최근의 범죄들은 그 수법이 더욱 지능화되고 다양해지고 있으며 때와 장소를 가리지 않는 예측 불가능한 특징으로 인해 보다 지능적이고 체계적인 보안 솔루션이 필요하게 되었다. 이에 따라 다수의 감시 장비로 넓은 지역을 실시간으로 감시하며 여러 지역에서 발생할 수 있는 사건들에 대해 상호 연관성을 파악하여 대처할 수 있는 대규모 종합 감시시스템은 이러한 위협을 효과적으로 억제할 수 있는 수단으로 각광받으며 학교나 주거단지 및 지자체 등에서 그 수요와 설치 사례가 증가하고 있다. 설치된 종합 감시시스템은 적게는 수십에서 많게는 수천 대의 감시 카메라를 통합하여 운용하는 등 그 규모가 다양하고 설치 목적도 범죄 예방뿐 아니라 쓰레기 무단 투기나 재난경보까지 포함하는 등 사회 문제의 여러 부분을 책임지게 된다.

그러나 이러한 대규모 감시 시스템을 체계적으로 운용하고 설계하기 위한 기준이나 경험이 부족하여 큰 비용을 들여 구축한 감시 시스템이 무용지물이 되는 사례가 발생하고 있다. 가장 큰 원인은 감시 카메라의 잘못된 설치로 인해 발생하게 되는 감시 영역의 오차이다. 잘못 설치된 감시카메라는 범죄 현장을 놓칠 수 있으며, 시스템의 신뢰도를 떨어뜨리고 뒤늦은 설치 교정으로 인한 비용의 낭비를 일으킨다. 현재 감시 카메라설치를 시뮬레이션 할 수 있는 소프트웨어(CCTV-CAD, CCTV Design Tool, Archispace Video, FLIR Raven Security Site Planning Tool)들이 상용화되어 제공되고 있지만 대부분 시뮬레이션을 위해 모델링 된 건축물의 3D 공간정보와 실내 전용의 좌표를 사용하기 때문에 주거단지나 마을과 같은 복잡하고 넓은 지형에 적용하지 못한다. 실외용 시뮬레이션 기능을 제공하더라도 2차원 맵 상에 표현되며 정확히 계산된 감시영역을 제공하지 않는다. 이와 같이 감시 카메라의 특성뿐 아니라 설치 위치, 감시 방향, 주변 지형까지 고려하여 설치 예정인 감시 카메라가 어떠한 감시 영역을 가지는지 파악할 수 있는 방법은 실외 감시 카메라설치에 있어서 제공되는 사례가 존재하지 않았다. 대안으로 경험적 판단에 의존하거나, 오차를 감수하면서 간단한 계산 방법을 통해 대략적인 설치 조건을 결정하는 방법이 선택되고 있는 실정이다.

하지만 적게는 수십, 많게는 수천 대의 감시 카메라가 유기적으로 연동되어야 하는 종합 감시시스템에 있어 이러한 기존의 방법은 잘못 설계된 감시시스템을 바로잡는 등의 불필요한 비용 낭비를 발생시키며 체계적인 감시계획의 수립을 어렵게 하여 감시시스템의 신뢰도와 활용 효율을 저하시키게 된다. 또한 앞으로 더욱 지능적으로 발전하게 될 감시시스템에 있어서도 가장 기본이 되는 감시 영역의 부정확성은 치명적인 문제가 될 수 있다.

또한, 도심의 주택가, 상업지역 또는 전원주택단지 등에서 보안이나 경비유지 또는 감시를 위하여 이동 물체에 대한 추적 기술이 보편화되고 있다. 통상적으로 이동 물체에 대한 추적 기술은 보안 및 감시 시스템, 지능형 로봇의 시각처리, 사용자 인터페이스 등 수많은 응용 영역을 가지고 있으며, 이의 실현을 위하여 다양한 방법의 카메라 장치들이 이용되고 있다. 이와 같은 이동 물체 추적 방법은 하나 이상의 고정된 카메라 장치를 이용하여 미리 정해진 영역의 영상을 획득 및 분석한 후에 이를 통하여 목표물을 탐지해내는 기술이다. 그리고 이동 물체 추적 방법으로 보안 및 감시 시스템에서 PTZ(Pan/Tilt/Zooming) 제어가 가능한 카메라 장치를 이용하여 원격지에서 수동으로 카메라 장치를 제어함으로서 원하는 영역에서 영상을 획득 및 분석하여 목표물을 탐지해 내는 기술이다. 또한 이동 물체 추적 방법으로서 망원 렌즈 및 광각 렌즈가 장착된 카메라 장치를 동시에 이용하여 고정된 영역에서 광각 렌즈를 통하여 촬영된 영상으로부터 목표물의 위치를 예측하고 망원렌즈를 통하여 예측된 위치에서 목표물 영상을 획득하여 분석하는 기술이다. 그러나 이러한 종래의 이동 물체 추적방법들은 효율적으로 이동 물체를 추적하기 위한 카메라 장치들 간의 상호협력 등에 관한 유연성이 부족하여, 고속의 카메라 제어 및 이동 물체 추적 시스템 등에 효과적인 성능을 제공하지 못하고 있으며, 또한 PTZ 제어가 가능한 카메라 시스템들의 장점을 효과적으로 이용하지 못하는 문제점이 있다.

따라서, 체계적인 감시계획 설계와, 정확한 감시 현황 파악을 통한 감시시스템의 신뢰성 및 비용 효율성 증대를 위해 실외 감시 카메라 설치에 있어서, 직접 설치하기 전에 감시 카메라의 정확한 감시 영역을 계산할 수 있는 방법 및 감시 영역을 시각적으로 확인할 수 있는 어플리케이션이 요구되고 있다.

국내 특허등록번호 제10-1336139호 국내 특허공개번호 제10-2016-0026620호 국내 특허공개번호 제10-2005-0009216 미국 특허공개번호 US 2015/0042859 A1

본 발명은 영상감시장치에 관한 것이다. 보다 상세하게는, 핀홀 카메라 모델을 이용하여 산출된 카메라 감시 영역을 위도, 경도, 고도 좌표로 변환하여 공간 정보 오픈 플랫폼 기반의 가상 3D 지도에서 감시 영역을 확인할 수 있는 영상감시 시스템에 관한 것이다. 본 발명이 이루고자 하는 기술적 과제는 감시 카메라 설치 전에 핀 홀 카메라 모델을 이용하여 감시 카메라의 정확한 감시 영역을 산출하는 카메라 감시 영역 산출 장치 및 방법을 제공하고, 또한, 컴퓨터비전 분야에서 객체 검출과 추적(detection and tracking)은 영상분석 및 패턴인식 등의 기술이 적용되어 지능형 상황인식 시스템, 스마트 자동차 시스템 등에 응용할 수 있는 객체 검출 및 추적은 우천, 강설 등의 다양하고 복잡한 기상환경과 객체의 외형, 색상 등의 변화에 따라 성능이 저하되는 문제점이 있었다.

상기 목적을 달성하기 위한, 본 발명에 따른 카메라 감시 영역 산출 장치는 카메라 제품 정보 및 상기 카메라 설치 정보를 입력 받는 입력부, 상기 입력부에서 입력된 정보를 이용하여 3차원 지도상에 감시 카메라 설치 시, 예상되는 감시 영역을 형성하는 제어부, 상기 입력부에서 입력된 정보 및 상기 제어부에서 형성된 감시 영역을 저장하는 저장부, 상기 3차원 지도상에 상기 형성된 감시 영역을 디스플레이하는 디스플레이부 및 상기 감시 영역의 형성에 대한 사용자 명령을 지시하는 사용자 조치를 감지하는 인터페이스부를 포함하고, Haar-like 특징을 이용한 Adaboost 학습 알고리즘 방법을 이용하여 보행자를 검출하고, 확률적 데이터연관 기법을 이용하여 검출된 보행자를 추적하는 방법으로 본 문제를 해결하였다. 감시구역에서 이동 중인 물체를 감지하고, 영상검지용 카메라 및 복수의 PTZ 카메라를 이용하여 각 카메라를 작동을 제어함으로서 이동 물체의 이동경로를 실시간으로 확인 추적 및 확대 저장 등을 수행하여 보다 효과적인 보안, 경비 및 감시가 이루어지도록 하기 위한 이동 물체 자동 추적 시스템을 제공하기 위한 것이 목적이다.

또한, 본 발명에 따른 따른 카메라 감시 영역 산출 방법은 카메라가 설치될 위치를 추정하는 단계, 상기 추정된 위치를 기초로 감시 영역을 위/경도 좌표로 변환하는 단계, 상기 변환된 위/경도 좌표를 연결하여 폴리곤을 형성하는 단계; 및 상기 형성된 폴리곤을 이용하여 상기 3차원 지도상에 감시 영역을 형성하는 단계를 포함하여 본 문제를 해결하였다.

미리 감시 영역을 산출하여 카메라가 설치될 위치를 설정하여 감시 시스템의 효율성을 증대시키고, 비용을 감소시키고, 감시 대상의 정확한 좌표를 계산하고, 이동 물체 자동 추적 장치는 주요 감시구역에 대하여 물체감지센서, 영상검지용 카메라 및 PTZ 카메라 등을 이용하여 이벤트가 발생하였거나 비상벨의 작동에 의한 이동 물체의 감시를 실시간으로 수행함으로써, 감시구역에 대한 불법 행위를 감시할 수 있고, 이동 물체에 대한 확인 및 확대와 추적이 자동적으로 이루어져 감시구역에 대한 긴급상황 등을 보다 효과적으로 감시 및 단속할 수 있는 효과가 있으며, 또한, 기상환경 중 다수를 차지하는 우천 환경영상에서 보행자를 검출 및 추적하기 위해 Adaboost 알고리즘과 확률적 데이터연관필터(probabilistic data association)을 이용하여 객체 검출 및 추적이 효과적이다.

도 1은 감시 영역 블록도이다.
도 2는 감시 제어부의 블록도이다.
도 3은 감시 영역 산출 장치의 좌표 변환 모듈 블록도이다.
도 4는 카메라감시 영역 산출도이다.
도 5는 이동 물체 자동 추적 시스템 구성도이다
도 6은 보행자 추적 알고리즘을 도시한 도면이다.

이하에서는, 본 발명의 실시 예에 따른 도면을 참조하여 설명하지만, 이는 본 발명의 더욱 용이한 이해를 위한 것으로, 본 발명의 범주가 그것에 의해 한정되는 것은 아니다. 이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 카메라 감시 영역 산출 장치가 도시된 블록도이다. 도 1을 참조하면, 카메라감시 영역 산출 장치(1)는 입력부(100), 제어부(200), 디스플레이부(300), 사용자 인터페이스부(400) 및 저장부(500)를 포함할 수 있다.

입력부(100)는 감시 카메라 제품 특징인 수평 및 수직 FOV(Field of View), 감시 거리를 사용자 명령에 의해 입력할 수 있다. 또한, 입력부(100)는 설치할 위치의 위도, 경도, 고도, 수직 기울기 각도 및 수평 기울기 각도를 입력할 수 있다. 입력부(100)의 입력 방식에는 사용자가 위도, 경도 및 고도를 직접 입력하는 방식이 있을 수 있으며, 임의의 지점을 터치하거나 클릭하여 위도 및 경도가 자동으로 입력되는 방식이 있을 수 있다. 이 때, 임의의 지점을 터치하거나 클릭하여 위도 및 경도를 자동으로 입력되게 하는 방식에서 고도는 사용자가 설정한다.

제어부(200)는 입력부(100)에서 입력된 수평 및 수직 FOV(Field of View), 감시 거리, 위도, 경도, 고도, 수직 기울기 각도 및 수평 기울기 각도를 이용하여 지도상에 감시 영역을 형성할 수 있다. 이 때, 지도는 공간정보 오픈 플랫폼을 포함할 수 있다. 공간 정보 오픈 플랫폼은 개인과 기업이 자유롭게 활용하여 2차, 3차 공간정보 서비스를 개발할 수 있도록 다양한 방법을 제공하는 플랫폼을 의미한다.

디스플레이부(300)는 3차원 지도 영상을 디스플레이 할 수 있다. 또한, 디스플레이부(300)는 제어부(200)에서 지도상에 형성한 감시 영역의 영상을 출력할 수 있다. 디스플레이부(300)는 터치스크린 기능을 포함할 수 있다. 사용자 인터페이스부(400)는 제어부(200)와 사용자를 연결해 줄 수 있다. 사용자 인터페이스부(400)는 사용자 명령을 감지하고 감지한 사용자 명령을 제어부(200)로 출력할 수 있다. 저장부(500)는 카메라감시 영역 산출 과정을 수행하기 위한 소프트웨어를 저장할 수 있다. 저장부(500)에 저장된 정보는 제어부(200)의 제어를 통해서 업데이트 될 수 있다. 또한, 저장부(500)는 입력부(100)에서 입력된 정보 및 제어부(200)에서 형성된 감시 영역을 저장할 수 있다. 도 2는 본 발명의 일 실시예에 따른 카메라 감시 영역 산출 장치의 제어부가 도시된 블록도이다. 도 2를 참조하면, 제어부(200)는 카메라설치 위치 추정 모듈(210), 좌표 변화 모듈(220), 폴리곤 형성 모듈(230) 및 감시 영역 형성 모듈(240)을 포함할 수 있다. 감시 카메라설치 위치 추정 모듈(210)은 입력부(100)에서 입력받은 카메라정보를 내부 데이터로 변환할 수 있다. 카메라설치 위치 추정 모듈(210)은 변환된 내부 데이터를 이용하여 카메라설치 위치를 추정할 수 있다. 카메라설치 위치 추정 모듈(210)은 추정된 카메라설치 위치를 이용하여, 설치될 카메라의 촬영이 예상되는 영역을 디스플레이부(300)에 생성할 수 있다. 즉, 카메라설치 위치 추정 모듈(210)은 설치될 카메라의 위치에 따라 촬영되는 각각의 영역을 디스플레이부가 디스플레이 하도록 제어할 수 있다. 이때, 입력부(100)에서 입력받은 카메라정보는 위도, 경도, 고도를 포함할 수 있다. 또한, 카메라설치 위치 추정 모듈(210)은 위도, 경도 및 고도 세 가지로 나눠진 변수를 하나의 객체로 결합한 내부 데이터 타입으로 변환할 수 있다. 좌표 변환 모듈(220)은 감시 목적을 선택한 뒤, 유효 감시 거리를 산출할 수 있다. 좌표 변환 모듈(220)은 산출된 유효 감시 거리를 기초로 3차원 피라미드를 형성할 수 있으며, 형성된 3차원 피라미드의 꼭지점을 이용하여 지면과 교차하는 점을 추출할 수 있다. 이를 통해, 좌표 변환 모듈(220)은 3차원 피라미드와 지면과 교차하는 점을 위/경도 좌표로 변환할 수 있다. 폴리곤 형성 모듈(230)은 좌표 변화 모듈(220)에서 변환한 위/경도 좌표를 연결하여 폴리곤을 형성할 수 있다. 이 때, 폴리곤은 3차원 컴퓨터 그래픽에서 입체형상을 표현할 때 사용하는 가장 작은 단위인 다각형을 의미하며, 빠른 계산이 필요한 3차원 컴퓨터그래픽이나 3차원 캐드(3D CAD)에서 많이 이용된다. 감시 영역 형성 모듈(240)은 폴리곤 형성 모듈(230)에서 형성한 폴린곤을 이용하여 지도상에 감시 영역을 형성할 수 있다. 보다 상세하게, 감시 영역 형성 모듈(140)은 폴리곤 형성 모듈(230)에서 형성한 폴린곤의 색과 테두리 속성을 지정하여 감시 영역을 지도상에 표현될 수 있도록 한다. 도 3은 본 발명의 일 실시예에 따른 카메라감시 영역 산출 장치의 좌표 변환 모듈이 도시된 블록도이다. 도 3을 참조하면, 좌표 변환 모듈(220)은 감시 목적 선택 유닛(221), 유효 감시 거리 산출 유닛(222), 3차원 피라미드 형성 유닛(223) 및 위/경도 좌표 변환 유닛(224)을 포함할 수 있다. 감시 목적 선택 유닛(221)은 감시 목적을 선택할 수 있다. 감시 목적 선택 유닛(221)은 감시 목적에 따라 카메라의 유효 감시 영역이 달라지므로, 사람의 신원 확인이 목적인지, 단순히 사람의 탐지가 목적인지 정할 수 있다. 감시 목적 선택 유닛(221)은 목적에 따라 영상의 높이와 사람의 배율을 다르게 형성할 수 있다. 보다 상세하게, 감시 목적 선택 유닛(221)은 감시 목적에 따라 사람에 해당하는 영역의 화소수는 달라져야 하기 때문이다.

도 4는 감시 영역 산출 흐름도이다.

도 4를 위치 추정 모듈(210)은 카메라가 설치될 위치를 추정한다(S110).

다음, 좌표 변환 모듈(220)은 카메라설치 위치 추정 모듈(210)이 추정한 위치를 기초로 감시 영역을 위/경도 좌표로 변환한다(S120). 더 상세하게 카메라감시 목적을 선택하고, 감시 목적에 따라 유효 감시 거리를 산출하며, 유효 감시 거리를 기초로 3차원 피라미드를 형성하고, 3차원 피라미드의 꼭지점을 이용하여 지면과 교차하는 점을 추출하고, 추출된 교차하는 점을 위/경도 좌표로 변환할 수 있다. 폴리곤 형성 모듈(230)은 좌표 변환 모듈(220)이 변환한 위/경도 좌표를 연결하여 폴리곤을 형성한다(S130). 마지막으로, 감시 영역 형성 모듈(240)은 폴리곤 형성 모듈(230)이 형성한 폴리곤을 이용하여 상기 3차원 지도상에 감시 영역을 형성한다(S140).

도 5는 본 발명에 따른 이동 물체 자동 추적 시스템을 나타낸 구성도이다.

본 발명에 따른 이동 물체 자동 추적 시스템은, 이동 물체 자동 추적시스템에 있어서, 주요 감시구역 내에 설치되어 움직이는 물체를 감지하는 복수의 물체감지센서와, 주요 감시구역 내의 전체 상황을 촬영 및 영상을 검지하기 위하여 설치된 영상검지용 카메라와, 주요 감시구역 내에 돌발구역을 확대하여 이동 물체를 추적하여 촬영 및 영상을 검지하기 위하여 설치된 복수의 PTZ 카메라가 포함된 감시장치; 상기 PTZ 카메라의 회전, 틸트 조절 및 카메라 렌즈의 줌인/줌아웃을 제어하는 카메라제어부와, 상기 카메라로부터 촬영된 영상신호를 검지하는 영상검지부와, 상기 영상검지부에서 검지된 영상신호를 변환하거나 차량번호판 정보를 추출하여 처리하는 영상처리부와, 상기 카메라제어부 및 영상처리부와 데이터처리부 및 통신제어부를 제어하는 구역제어부와, 상기 구역제어부로 입출력되는 데이터를 처리하는 데이터처리부와, 상기 데이터처리부로 입출력되는 영상데이터를 저장하는 영상데이터저장부와, 상기 구역제어부의 제어로 외부의 유무선 통신망과 통신을 연결하는 통신제어부가 구비된 구역제어장치; 상기 통신망을 통해 복수로 설치된 구역제어장치와 통신을 위한 다중 통신장치와, 상기 다중 통신장치와 연결되어 입출력되는 데이터를 송수신 및 제어하기 위한 메인서버와, 상기 메인서버로부터 일정 시간 간격으로 데이터를 저장하는 백업장치와, 상기 메인서버로 입력된 데이터를 운영자가 입출력 및 제어하기 위한 복수의 운영단말기와, 상기 다중 통신장치로부터 입력된 다중 영상을 분배하기 위한 영상매트릭스와, 상기 영상매트릭스로부터 출력된 영상신호를 가시적으로 표출하기 위한 상황모니터가 구비된 중앙 감시 상황실을 포함하여 이루어진 것을 특징으로 한다.

도 5는 본 발명에 따른 실시예로서, 이동 물체 자동 추적 시스템을 나타낸 구성도이다.

먼저, 본 발명의 이동 물체 자동 추적 시스템은 주요 감시구역에서의 이동 물체를 자동으로 감지, 추적 및 감시하고 카메라를 이용하여 영상을 검지하기 위한 것으로, 감시장치(600), 구역제어장치(700)와 중앙 감시 상황실(800)로 나누어진다. 상기 감시장치(100), 구역제어장치(700)와 중앙 감시 상황실(800)은 각각 유선 및/또는 무선통신망을 통해 데이터를 송수신할 수 있도록 한다.

감시장치(600)는 지정된 감시구역, 예컨대, 외길이나 삼거리 이상으로 갈라진 길 또는 외진 곳 등의 감시구역에 일정 높이를 갖는 지주나 전주 또는 벽 등에 설치된다. 감시장치(600)는 주요 감시구역 내에 설치되어 움직이는 이동 물체를 감지하기 위한 복수의 물체감지센서(610)가 지주나 전주 또는 벽 또는 꺾어지는 길의 모퉁이 등에 설치되고, 벽면 등에 일정 간격으로 설치되는 것이 좋다.

그리고 감시장치(600)로서, 감시구역의 전체 영상을 촬영할 수 있는 영상검지용 카메라(620)가 설치되어 주요 감시구역 내의 전체 배경영상을 촬영하고 검지하기 위하여 설치된다. 또한, 주요 감시구역 내에 이벤트가 발생한 돌발 구역을 확대하여 이동 물체를 추적하여 촬영 및 영상을 검지하기 위하여 복수의 PTZ 카메라(630)가 포함된다. PTZ 카메라(630)는 카메라의 회전(Pan), 틸트(Tilt), 그리고 카메라 렌즈의 줌인(Zoom-In) 및 줌아웃(Zoom-Out) 기능이 포함되어 이동 물체의 확대 및 추적이 가능한 것이다. 따라서 감시장치(600)는 감시구역에 일정 간격으로 물체감지센서(610)가 설치되고, 물체감지센서(610)의 설치간격은 물체감지센서(610)가 중첩하여 이동 물체를 감지할 수 있는 간격으로 설치되는 것이 바람직할 것이다. 감시장치(600)는 감시구역의 전체 영상을 획득하기 위한 영상검지용 카메라(620)와, 이동 물체의 확대 추적 및 저장할 수 있는 영상을 촬영하는 PTZ 카메라(630)가 포함된다. 더욱이 감시장치(600)에는 긴급을 요하는 상황에서 주요 감시구역 또는 건물 내부에서 작동시키는 비상벨(660) 또는 비상구조용 벨이 설치된다. 이는 감시구역 내에서 미행이나 사람의 납치 또는 신변보호의 요청 또는 응급 상황 등이 발생하였을 경우에 감시구역에 설치된 비상벨이나 비상구조용 벨을 사용할 수 있도록 한 것이다. 상기 비상벨이나 비상구조용 벨의 작동과 동시에 이벤트 발생을 감지하여 감시장치가 이동 물체의 추적 및 감시가 자동으로 이루어지도록 하는 것이다. 더구나 감시장치(600)로서 인체의 온도나 외부의 미세한 조명을 감지할 수 있는 적외선센서나 야간투시카메라 등이 설치되어 이동 물체를 보다 정밀하게 추적할 수도 있을 것이다. 또한 감시장치(600)에는 경고음이나 경고음성이 표출되도록 스피커(650)가 설치된다. 스피커(650)는 감시구역의 전체 영상을 촬영하는 영상검지용 카메라(620)와 함께 설치되는 것이 바람직하고, 설정되었거나 중앙 감시 상황실에서 실시간을 통한 음성이 출력되도록 할 수 있을 것이다. 상기 감시장치(600)로서 감시구역에 설치된 보안등 이외에 PTZ 카메라(630)가 촬영한 이동 물체의 인식이 일정 조도 이하인 경우이거나 우천 시에 자동으로 점등되는 조명장치(640)가 감시구역에 일정 간격으로 설치될 수 있을 것이다. 이는 감시구역에 설치된 보안등이 조사하지 못하는 구역이나 보안등이 소등상태일 때에 자동으로 점등되도록 하는 것이 바람직할 것이다.

상기 PTZ 카메라(630)는 감시구역에서 이동 물체를 중첩하여 촬영할 수 있는 위치에 각각 설치되고, 감시구역의 지형상 은폐 및 엄폐된 지역에서도 이동 물체의 촬영이 가능하도록 설치한다. 한편, 구역제어장치(700)는 상기 복수의 감시장치(600)로부터 데이터를 송수신할 수 있도록 이동 물체를 감시하는 감시구역 일측에 함체 등에 내장 설치되고, 중앙 감시 상황실(800)은 하나 이상의 구역제어장치(700)로부터 검지된 차량에 관한 정보를 수신하여 저장, 분석 및 조회 등을 수행하는 것으로, 무인으로 작동되도록 한다. 구역제어장치(700)는 감시장치(600)의 영상검지용 카메라(620), PTZ 카메라(630), 조명장치(640), 스피커(650), 복수의 물체감지센서(610) 등과 유무선망을 통한 통신으로 데이터의 송수신 및 제어가 이루어진다. 중앙 감시 상황실(800)에 설치된 메인서버(830) 또는 하나 이상의 운영단말기(840-842)는 감시구역 내에서 이동 물체의 검지 및 추적과 촬영 등에 관한 운영프로그램이 포함되고, 구역제어장치(700)를 통하여 안내방송을 하거나 감시구역에서 발생된 이벤트에 따른 경고나 안내음성의 출력이나 인쇄 등을 수행할 수 있는 시스템이 구비되어 있다. 그리고 중앙 감시 상황실(800)은 유무선 통신망을 통해 메인서버(830)와 운영단말기(840-842)등에 연결되어 데이터를 송수신할 수 있도록 연결되어 있다. 상기 구역제어장치(700)와 중앙 감시 상황실(800), 그리고 경찰서, 파출소, 경비업체, 방범지구대 등과 광케이블, 전용선, 초고속통신망(xDSL, Cable Modem), 근거리 통신망(LAN) 및 유무선 통신망의 전송장치(T1/E1/광)를 통해 실시간으로 데이터를 송수신할 수 있도록 하였다. 따라서 구역제어장치(700)와 중앙 감시 상황실(800)의 데이터통신을 위하여 유선이나 무선 또는 광통신 등의 전용망이나 전용회선 등이 이용되고, 일반적으로 설치된 통신망이나 기간망 등을 연결하여 사용할 수 있도록 한다. 더욱이 통신망은 인터넷을 통해 데이터를 송수신할 수도 있을 것이다.

구역제어장치(700)의 카메라제어부(710)는 회전, 틸트 조절 및 카메라 렌즈의 줌인/줌아웃 기능을 갖는 PTZ 카메라(630)에 제어신호를 출력하여 PTZ 카메라(630)의 작동을 제어하는 것이다. 즉 카메라제어부(710)는 감시구역에서의 이동 물체의 영상을 비롯한 이동 물체에 관한 정보를 촬영할 수 있도록 카메라의 위치 선정에 필요한 카메라의 팬, 틸트 및 줌인/줌아웃을 통한 포커싱 등을 제어하는 것이다. 또한 카메라제어부(710)는 영상검지용 카메라(620)도 제어하여 감시구역의 확대 또는 축소나 변경 등을 제어할 수도 있다.

그리고 영상검지부(730)는 상기 PTZ 카메라(630) 및 영상검지용 카메라(620)로부터 촬영된 영상신호를 검지하고, 영상처리부(720)는 상기 영상검지부(730)에서 검지된 영상신호를 변환하거나 차량번호판 정보를 추출하여 처리하는 기능을 수행하는 것이다. 더욱이 구역제어부(740)는 상기 카메라제어부(710) 및 영상처리부(720)와, 데이터처리부(750) 및 통신제어부(770)를 제어하는 신호를 입출력하는 것이다. 데이터처리부(750)는 상기 구역제어부(740)로 입출력되는 데이터를 처리하고, 통신제어부(770)는 구역제어부(740)의 제어로 외부의 유무선 통신망과 통신을 연결하는 것이다. 또한 상기 데이터처리부(750)로 입출력되는 영상데이터를 영상 데이터저장부(760)에 저장함과 동시에 통신제어부(770) 및 통신망을 거쳐 중앙 감시 상황실(800)로 실시간을 통한 데이터를 송수신한다.

이와 같이 상기 구역제어장치(700)는 물체감지센서(610)를 통해 감지된 이동 물체의 위치정보를 판단하여 영상검지용 카메라(620) 및 PTZ 카메라(630)의 구동을 제어함과 동시에 각 카메라(620, 630)로부터 촬영된 영상신호를 처리하여 외부의 통신망과 데이터통신을 제어한다. 그리고 구역제어장치(700)는 조명장치(640)의 점멸과, 스피커(650)를 통해 경고 및 안내 등의 음성을 출력할 수 있도록 한다. 한편, 구역제어장치(700)로부터 유무선 통신망을 통하여 중앙 감시 상황실(800)의 다중 통신장치(810)가 데이터를 송수신하여 원격에서 주요 감시구역에서의 이벤트 발생에 따른 이동 물체를 자동 검지 및 제어하게 된다.

중앙 감시 상황실(800)의 다중 통신장치(810)는 유무선 통신망을 통해 해당 주요 감시구역에 설치된 복수의 구역제어장치(700)와 데이터통신을 하게 된다. 메인서버(830)는 상기 다중 통신장치(810)와 연결되어 입출력되는 데이터를 송수신 및 제어하는 것이고, 메인서버(830)에 연결된 백업장치(832)는 상기 메인서버(830)로부터 일정 시간 간격 또는 실시간으로 데이터를 저장하는 것이다. 그리고 복수의 운영단말기(840-842)는 중앙 감시 상황실(800)에 설치되어 메인서버(830)로 입력된 데이터를 상황실의 운영자가 입출력 및 제어하는 것이다. 더욱이 중앙 감시 상황실(800)에는 검지된 영상에 대하여 컬러 프린터 등을 이용하여 인쇄가 가능할 것이다. 그리고 영상매트릭스(860)는 상기 다중 통신장치(810)로부터 입력된 다중 영상을 분배하는 것이고, 상황모니터(862)는 상기 영상매트릭스(860)로부터 출력된 영상신호를 가시적으로 표출하기 위한 것으로, 대형의 스크린을 분할하여 영상신호가 표출되도록 하거나 복수의 모니터가 구비되어 각 도로 감시구역의 상황이 표출되도록 하는 것이다. 이와 같이 구성된 본 발명의 주요 감시구역에서의 이동 물체 자동 추적 시스템에 대한 작동을 설명한다. 본 발명의 이동 물체 자동 추적 시스템은 방범이나 보안 등과 같이 감시를 필요로 하는 주택 밀집지역이나 전원주택단지 등에 적용된다.

주간이나 또는 야간에 보안이나 감시를 위한 감시구역에 이동 물체, 특히 사람이나 차량 등의 움직이는 물체를 항시 감시하도록 하고, 해당 지역에 이벤트, 예컨대, 긴급상황이나 응급상황 등의 발생으로 주요 감시구역이나 건물 내에 설치된 비상벨이 작동되었을 경우에도 감시구역의 이동 물체에 대한 감시 및 추적이 이루어진다. 그리고 상기 PTZ 카메라(630)에서 촬영된 이동 물체(M)의 움직임은 구역제어장치(700)에서 이동 물체의 특징,예컨대 색상이나 크기 또는 특징점 등을 이용한 기존의 물체 인식 알고리즘을 적용할 수도 있을 것이다. 이와 같이 물체감지센서(610)의 감지에 의한 PTZ 카메라(630)의 촬영은 이벤트 발생(S11)이나 비상벨(660)의 작동(S12)에 의하여 이루어진다. 즉 이벤트 발생은 중앙 감시 상황실(800)의 운영자가 영상검지용 카메라(620)로부터 촬영된 영상을 감시하는 도중에 불법 행위, 예컨대, 청소년의 비행이나 불법 투기행위 또는 폭력행위나 납치 또는 교통사고 등의 각종 불법 행위가 발생하고 있다고 판단될 경우에 해당하는 이동 물체의 확대 및 확인과 추적이 이루어지도록 구역제어장치(700)를 제어하게 된다. 이때, 구역제어장치(700)의 구역제어부(740)는 해당하는 감시구역(A)에 설치된 하나 이상의 PTZ 카메라(630)를 카메라제어부(710)의 제어를 통해 팬, 틸트 및 줌인/줌아웃 등을 제어하게 된다. 따라서 중앙 감시 상황실(800)에서 운영자가 영상검지용 카메라(620)로부터 촬영된 영상의 감시 도중에 발생된 이벤트에 의한 이동 물체의 추적이 이루어지도록 하는 것이다. 또한, 상기 비상벨 작동은 건물 내부 또는 감시구역에 설치된 비상벨을 긴급상황이나 응급상황에서 작동시켰을 경우에 해당 감시구역에 설치된 PTZ 카메라(630)가 자동으로 작동하여 이동 물체의 움직임을 확대 및 확인과 추적할 수 있도록 하는 것이다. 이는 건물 내에서 침입자가 발생하였거나 감시구역을 통행하던 사람이 신변보호 등의 이유로 비상벨을 작동시켰을 경우에 적용될 수 있을 것이다. 따라서 구역제어장치(700)는 해당 감시구역 내에 이동 물체(M)의 움직임이 있는 지를 물체감지센서(610)를 통해 감지하게 된다(S13). 구역제어장치(700)는 감시구역 내에 이동 물체의 움직임이 감지되면, 하나 이상의 PTZ 카메라(630)를 제어하여 해당 감시구역 내에 이동 물체(M)의 움직임을 촬영하도록 한다.(S14) PTZ 카메라(630)는 하나 이상의 이동 물체 각각에 대하여 이동 물체(M)를 확대하고 구역제어장치(700)에 포함된 알고리즘 또는 소프트웨어에 의하여 추적이 이루어지도록 할 수 있을 것이다. 그리고 구역제어장치(700)는 PTZ 카메라(630)를 통해 확대 추적된 세부 영상을 획득하여 영상처리부(720) 및 영상검지부(730)를 거쳐 구역제어부(740)로 입출력하게 되고, 구역제어부(740)는 입력된 세부 영상을 데이터처리부(750)에서 디지털데이터로 처리한 다음에 영상데이터 저장부(760)에 저장되도록 한다(S15). 그리고 상기 영상데이터는 통신제어부(770)에서 통신망을 거쳐 중앙 감시 상황실(800)로 전송된다. 중앙 감시 상황실(800)은 다중 통신장치(810)를 통해 수신된 영상데이터를 메인서버(830) 및 영상매트릭스(860)를 거쳐 각각 백업장치(832)에서 데이터 백업이 이루어지거나 상황모니터(862)로 출력하여 이동 물체에 대한 가시적인 상황이 표출되도록 한다. 이때 중앙 감시 상황실(800)의 운영자는 운영단말기(840-842)를 조작하여 현장 상황을 지속적으로 감시 및 제어할 수 있도록 한다. 상기 감시구역에서 발생된 이벤트 상황에 대하여 PTZ 카메라(630)는 이동 물체의 움직임을 계속 추적하여 감시하게 된다(S16). 예컨대, 도 2에서 최초 이벤트가 발생한 감시구역(A)에서 이동 물체(M)는 복수의 PTZ 카메라(630)에 의하여 확대 추적이 이루어지고, 이동 물체(M)가 감시구역(A)에서 우측으로 이동을 하게 되면, 물체감지센서(610)의 감지에 의하여 PTZ 카메라(630b 및 630c)는 이동 물체(M1)의 이동경로를 따라 가면서 추적이 이루어진다. 그리고 이동 물체(M1)가 감시구역(A1)으로 이동 중에 복수의 PTZ 카메라(630e 및 630g)가 이동 물체(M1)를 촬영하게 된다. 이동 물체(M1)가 감시구역(A1)으로 진입하면 복수의 PTZ 카메라(630e 내지 630h)가 이동 물체(M1)를 촬영하고, 다시 이동 물체(M1)가 아래쪽으로 이동을 하게 되면, 물체감지센서(610)의 감지와 동시에 PTZ 카메라(630g 및 630h)가 지속적으로 이동 물체(M2)를 촬영하게 된다. 그리고 이동 물체(M2)가 감시구역(A1)에서 감시구역(A3)으로 이동하면, PTZ 카메라(630g 및 630h) 및 PTZ 카메라(630l 및 630m)가 이동 물체(M2)의 이동을 촬영하게 된다. 이와 같이 해당 감시구역의 이벤트 발생 이후에 물체감지센서(610) 및 복수의 PTZ 카메라(630a 내지 630n)가 이동 물체(M, M1, M2)를 지속적으로 추적하면서 촬영을 하게 된다. 더욱이 이동 물체가 하나 이상으로 복수인 경우에도 물체감지센서(610) 및 PTZ 카메라(630)가 이동 물체들의 움직임을 지속적으로 감시할 수 있을 것이다.

한편, 중앙 감시 상황실(800)에서는 이동 물체의 이동 경로에 따른 감시 상황을 지속적으로 녹화가 이루어지도록 하고, 이와 더불어 이벤트 발생 상황 및 이동 물체에 대하여 비상경고나 경보음을 발생시키거나 또는 긴급상황임을 스피커(650)를 통하여 설정되었거나 또는 현재 상황에 대한 음성을 표출시킨다(S17). 중앙 감시 상황실(800)에서는 발생된 이벤트나 이동 물체의 추적과 동시에 또는 추적 중에 운영단말기(840-842)나 메인서버(830) 등을 이용하여 통신망을 통해 비상구조반에 출동을 요청하게 된다(S18). 비상구조반은 경찰서나 인근 파출소 또는 경비업체나 방범지구대 또는 소방서 등이 포함될 수 있을 것이다. 따라서 중앙 감시 상황실(800)의 요청에 의하여 출동한 비상구조반은 중앙 감시 상황실(800)의 지령이나 또는 현장 상황에 대한 영상을 비상구조반으로 통신망을 통해 전송함으로써, 감시구역에서 발생된 이벤트 및 이동 물체에 대하여 보다 신속하고 정확한 현장 구조 또는 단속 등을 수행할 수 있게 된다.

도 6은 제안하는 검출 및 추적 시스템의 전체 블록도이며, 먼저 우천 영상에서 Adaboost 알고리즘을 이용하여 보행자를 검출하고 확률적 데이터 연관 기법을 이용하여 추적한다.

Adaboost 알고리즘은 Haar-like 특징 적분영상그리고계층cascade) 구조를도D입하여연산량을감소시키고 높은 검출성능을보이도록설계되었다. 약한분류기(weak classifier)를 반복적인 학습과정에서 순차적으로 선택하고 조합하여 판별력이 뛰어난 강한분류기(strong classifier)를 생성한다 학습시간이 길고 데이터에 의존적이라는 단점이있지만 기존의알고리즘들에 비하여 높은 정확성 그리고 적응형 알고리즘이라는 장점을 갖고 있다. 첫 번째는 Distance Dependent Image Scaling Factor(DDISF)에 의한 영상스케일링 방법이다. 사이트 모델링site modeling)을 통한 이론적인 DDISF에 의하여 거리별 영상을 스케일링한다 객체를 기준으로 근거리 영상은 축소하고 원거리영상은 확대하여 전체 영상을 이론적으로 크기를 정규화한다. 원거리에서 최소 Haar-like 특징 크기보다 작아 지면검출 성능이 상당히 저하된다. 이 경우 DDISF에 의하여 영상을 확대하면 인식율을 향상시킬 수 있다. DDISF 즉 객체의 정규화를 위한 스케일링이 정해진다.

보행자 검출 방법으로는 Adaboost 알고리즘에 유사 하르 특징(Haar-like feature)을 이용하였다. Adaboost 알고리즘은 유사 하르 특징들과 분류기들의 가중치를 변화시키면서 약한 분류기(weak classifier)들을 조합하여 하나의 강한 분류기(strong classifier)를 구성하는 방법으로써, 각 약한 분류기들은 유사 하르 특징을 이용하여 생성하게 된다. 검출된 보행자를 추적하기 위한 방법으로는 확률적 데이터 연관 필터 기법을 사용하였다. 이는 검출된 객체로부터 객체의 위치, 속도 측정값을 얻은 후 다음 객체의 궤적과 연관될 확률을 계산하고 이를 종합하여 해당 궤적의 추정값을 구하는 기법이다. 칼만 필터(Kalman)의 구조를 따르며, 크게 예측단계와 측정값의 유효화를 확인하는 단계, 데이터의 연관을 확인하는 단계, 마지막으로 상태를 추적하는 단계로 이루어진다.

더 구체적으로 도6을 참조하여 설명하면, 감지단계로서, 특징추출(feature construction)단계; 훈련 및 분류(Training an classifier)단계; 보행자 검출(Pedestrian detection)단계로 진행되고, 추적단계로서, 상태예측(state prediction)단계; 측정확정(measurement validation)단계; 데이터 분석(Data association)단계; 상태추정(State Estimation)단계로 보행자 추적이 이루어진다.

이를 검증하는방법으로 실험은 Windows7 기반에서 Microsoft Visual Studio 2013과 영상처리 공개 라이브러리인 OpenCV 3.0을 이용하였으며, 1,280x720 크기의 영상으로 실험을 진행하여 우수한 결과를 얻었다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

100 입력부
200 제어부
300 디스플레이부
400 인터페이스부
500 저장부
210 위치추정모듈
220 좌표변환모듈
230 데이터형성모듈
240 감시영역모듈
221 감시선택유닛
222 유효감시거리산출유닛
223 3차원형성유닛
224 좌표변환유닛
600 감시장치
700 구역제어장치
800 중앙감시상황실

Claims

삭제
감시구역에서의 이동 물체를 자동으로 감지, 추적 및 감시하고 카메라를 이용하여 영상을 검지하기 위한 감시장치(600), 지역제어장치(700)와 중앙 감시 상황실(800)로 구성되고, 상기 감시장치(600), 상기 지역제어장치(700)와 중앙 감시 상황실(800)은 각각 유선 및/또는 무선통신망을 통해 데이터를 송수신하며, 상기 지역제어장치(700)의 카메라제어부(710)는 회전, 틸트 조절 및 카메라 렌즈의 줌인/줌아웃 기능을 갖는 PTZ 카메라(630)에 제어신호를 출력하여 PTZ 카메라(630)의 작동을 제어하며, 영상검지부(730)는 상기 PTZ 카메라(630) 및 영상검지용 카메라(620)로부터 촬영된 영상신호를 검지하고, 영상처리부(720)는 상기 영상검지부(730)에서 검지된 영상신호를 변환하거나 정보를 추출하여 처리하며, 구역제어부(740)는 상기 카메라제어부(710) 및 영상처리부(720)와, 데이터처리부(750) 및 통신제어부(770)를 제어하는 신호를 입출력하며, 상기 데이터처리부(750)는 상기 구역제어부(740)로 입출력되는 데이터를 처리하고, 통신제어부(770)는 구역제어부(740)의 제어로 외부의 유무선 통신망과 통신을 연결며, 상기 데이터처리부(750)로 입출력되는 영상데이터를 영상 데이터저장부(760)에 저장함과 동시에 통신제어부(770) 및 통신망을 거쳐 중앙 감시 상황실(800)로 실시간을 통한 데이터를 송수신하는 이동 물체 자동 추적 시스템에 있어서,

상기 영상처리부(720)은 검지된 영상신호를 변환하거나 이동 물체에 관한 정보를 추출하여 영상을 처리하며, 상기 영상처리부(720)의 영상처리알고리즘은 Adaboost 알고리즘에 유사 하르 특징(Haar-like feature)을 이용하고, Adaboost 알고리즘은 유사 하르 특징들과 분류기들의 가중치를 변화시키면서 약한 분류기(weak classifier)들을 조합하여 하나의 강한 분류기(strong classifier)를 구성하는 방법으로 구현하고, 물체를 추적하는 방법으로는 확률적 데이터 연관 필터 기법을 사용하는 것을 특징으로 하는 이동 물체 자동 추적 시스템
청구항2에 있어서,
물체를 추적하는 방법으로는 검출된 객체로부터 객체의 위치, 속도 측정값을 구하는 단계; 객체의 궤적과 연관될 확률을 계산하고 이를 종합하여 해당 궤적의 추정값을 구하는 단계; 칼만 필터(Kalman) 구조에 의해 예측단계와 측정값의 유효화를 확인하는 단계; 데이터의 연관을 확인하는 단계; 상태를 추적하는 단계로 구성되는 것을 특징으로 하는 이동 물체 자동 추적 시스템