KR20210094872A - 다중센서를 활용한 통합 감시 시스템 - Google Patents

Abstract

본 발명은 감시영역을 촬영하여 감시하는 감시 시스템에 관한 것으로서, 보다 상세하게는 CCTV, 라이다, 열화상 카메라 및 편광 카메라로 구성되는 다중센서를 이용해 감시영역에 대한 다양한 영상들을 수집함으로써, 감시영역이 어둡거나 안개나 미세먼지로 흐리더라도 안정적인 감시가 가능한 다중센서를 활용한 통합 감시 시스템에 관한 것이다.
본 발명에 따른 다중센서를 활용한 통합 감시 시스템은 감시영역의 일반 영상을 수집하는 CCTV; 감시영역의 입체 영상을 수집하는 라이다; 감시영역의 열화상 영상을 수집하는 열화상 카메라; 감시영역의 편광 영상을 수집하는 편광 카메라; 감시영역의 야간 영상을 수집하는 적외선 카메라, 상기 라이다, 적외선 카메라, CCTV, 열화상 카메라 및 편광 카메라의 구동을 제어하는 컨트롤러;
상기 라이다, 적외선 카메라, CCTV, 열화상 카메라 및 편광 카메라에서 수집된 영상들과, 영상들의 합성영상을 디스플레이하는 모니터;를 포함하여 이루어진다.

Description

다중센서를 활용한 통합 감시 시스템{Integrated monitoring system using multi sensor}

본 발명은 감시영역을 촬영하여 감시하는 감시 시스템에 관한 것으로서, 보다 상세하게는 CCTV, 라이다, 적외선 카메라, 열화상 카메라 및 편광 카메라로 구성되는 다중센서를 이용해 감시영역에 대한 다양한 영상들을 수집함으로써, 감시영역이 어둡거나 안개나 미세먼지로 흐리더라도 안정적인 감시가 가능한 다중센서를 활용한 통합 감시 시스템에 관한 것이다.

건물 내외부, 어린이집, 학교, 공원, 도로, 교차로, 횡단보도, 버스 정류장, 지하 주차장 등의 감시영역은 영상을 수집하여 감시함으로써, 방범감시, 어린이보호감시, 쓰레기불법투기감시, 불법주정차단속, 출입통제감시 등과 같은 감시업무를 수행한다.

감시영역의 영상을 수집하는 등록특허 10-1786923 "다목적 통합 운영 CCTV 시스템"는 CCTV로 감시영역에 대한 일반 영상을 수집하고, 공개특허 10-2016-0010633 "열화상 융합 카메라를 이용한 침입자 감시 및 경보 시스템"은 열화상 카메라를 이용해 열화상 영상을 수집하고, 공개특허 10-2019-0136304 "라이다 센서 및 촬영 장치를 이용한 안전사고 방지 모니터링 시스템"은 라이다를 이용해 입체 여상을 수집하여, 감시영역에 대한 감시업무를 수행한다.

CCTV는 심한 역광, 비 나 눈 등 기상조건이 좋지 않은 경우 사물 인식이 어려워지는 단점이 있고,

라이다는 레이저를 주변 사물에 발사함으로써 거리, 속도, 온도, 물질분포, 방향 등을 감지할 수 있으며 이를 바탕으로 CCTV 보다 더 높은 정확도의 입체 영상을 수집할 수 있지만, 안개, 비와 같은 악천후 상에서 빛의 산란 및 난반사가 발생할 수 있으며, 라이다 센서 검지부 외부의 오염 등에도 매우 취약한 단점이 있다.

본 발명은 감시영역을 CCTV, 라이다, 적외선 카메라, 열화상 카메라 및 편광 카메라의 다중센서로 촬영하여 다양한 영상을 수집하고, 수집된 영상들을 합성하고 분석하여 감시업무의 정확성과 효율성을 극대화한 다중센서를 활용한 통합 감시 시스템을 제공함을 목적으로 한다.

본 발명에 따른 다중센서를 활용한 통합 감시 시스템은

감시영역의 일반 영상을 수집하는 CCTV;

감시영역의 야간 영상을 수집하는 적외선 카메라;

감시영역의 입체 영상을 수집하는 라이다;

감시영역의 열화상 영상을 수집하는 열화상 카메라;

감시영역의 편광 영상을 수집하는 편광 카메라;

상기 라이다, CCTV, 적외선 카메라, 열화상 카메라 및 편광 카메라의 구동을 제어하는 컨트롤러;

상기 라이다, CCTV, 적외선 카메라, 열화상 카메라 및 편광 카메라에서 수집된 영상들과, 영상들의 합성영상을 디스플레이하는 모니터;를 포함하여 이루어진다.

본 발명에 따른 다중센서를 활용한 통합 감시 시스템은 라이다, CCTV, 적외선 카메라, 열화상 카메라 및 편광 카메라로부터 감시영역의 사물들에 대한 입체 영상, 일반 영상, 열화상 영상 및 편광 영상을 수집하고, 수집된 영상을 분석하여 감시영역 내 사물의 정체, 거리, 온도, 사물의 이동방향과 이동속도 등의 정보를 정확하게 취득하고, 이러한 영상의 수집과 분석은 감시영역이 어둡거나 안개나 미세먼지에 의해 흐리더라도 가능하고, 수집된 영상과 영상들의 합성영상 그리고 분석된 정보는 모니터를 통해 감시자에게 제공되어 감시업무의 정확성과 효율성이 탁월한 시스템으로서, 산업발전에 매우 유용한 발명이다.

도 1 은 본 발명에 따른 다중센서를 활용한 통합 감시 시스템의 구성을 개략적으로 도시한 도면.
도 2 는 본 발명에 따른 시스템이 모니터에 디스플레이하는 CCTV의 일반영상과, 여러 영상들이 합성된 합성영상의 일례를 보여주는 도면.

이하, 도면을 참조하여 본 발명에 따른 다중센서를 활용한 통합 감시 시스템에 대하여 보다 상세하게 설명한다.

본 발명에 따른 다중센서를 활용한 통합 감시 시스템에 관하여 보다 구체적으로 설명하기에 앞서,

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 구현예(態樣, aspect)(또는 실시예)들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

각 도면에서 동일한 참조부호, 특히 십의 자리 및 일의 자리 수, 또는 십의 자리, 일의 자리 및 알파벳이 동일한 참조부호는 동일 또는 유사한 기능을 갖는 부재를 나타내고, 특별한 언급이 없을 경우 도면의 각 참조부호가 지칭하는 부재는 이러한 기준에 준하는 부재로 파악하면 된다.

또 각 도면에서 구성요소들은 이해의 편의 등을 고려하여 크기나 두께를 과장되게 크거나(또는 두껍게) 작게(또는 얇게) 표현하거나, 단순화하여 표현하고 있으나 이에 의하여 본 발명의 보호범위가 제한적으로 해석되어서는 안 된다.

본 명세서에서 사용한 용어는 단지 특정한 구현예(태양, 態樣, aspect)(또는 실시예)를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, ~포함하다~ 또는 ~이루어진다~ 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도면에서 보는 바와 같이 본 발명에 따른 다중센서를 활용한 통합 감시 시스템은 감시영역을 촬영하여 영상을 수집하는 CCTV, 라이다, 적외선 카메라, 열화상 카메라 및 편광 카메라, 이들을 제어하는 컨트롤러, 이들이 촬영한 영상과 영상들을 합성한 합성영상을 디스플레이하는 모니터를 포함하여 이루어진다.

상기 CCTV는 감시영역을 촬영하여 일반 영상을 수집한다.

상기 CCTV는 복수개가 구비되어 감시영역을 여러 방향에서 촬영수 있다.

상기 CCTV는 팬(pan), 틸트(tilt), 줌(zoom) 기능을 가져 감시영역의 사물을 추적하고 확대하여 촬영할 수 있다.

상기 적외선 카메라는 적외선을 이용해 감시영역에 대한 적외선 영상을 수집한다.

적외선 카메라는 야간 촬영이 가능하다.

상기 라이다는 레이저를 목표물에 비춤으로써 사물까지의 거리, 방향, 속도, 온도, 물질 분포 및 농도 특성 등을 감지하여 감시영역에 대한 입체 영상을 수집한다.

상기 라이다는 레이저 송신부, 레이저 검출부, 신호 수집 및 처리와 데이터를 송수신하기 위한 부분으로 구성될 수 있다.

아울러 라이다는 레이저 신호의 변조 방법에 따라 time-of-flight(TOF)방식과 phase-shift 방식으로 구분될 수 있다.

TOF 방식은 레이저가 펄스 신호를 방출하여 측정 범위 내에 있는 물체들로부터의 반사 펄스 신호들이 수신기에 도착하는 시간을 측정함으로써 거리를 측정하는 것이 가능하다.

그리고, Phase-shift 방식은 특정 주파 수를 가지고 연속적으로 변조되는 레이저 빔을 방출하고 측정 범위 내에 있는 물체로부터 반사되어 되돌아 오는 신호의 위상 변화량을 측정하여 시간 및 거리를 계산 하는 방식이다.

레이저 광원은 250nm부터 11μm까지의 파장 영역에서 특정 파장을 가지거나 파장 가변이 가능한 레이저 광원들이 사용되며, 최근에는 소형, 저전력이 가능한 반도체 레이저 다이오드가 많이 사용된다.

특히, 레이저의 파장은 대기, 구름, 비 등에 대한 투과성과 eye-safety 에 직접적인 영향을 준다.

기본적으로 레이저 출력, 파장, 스펙트럼 특성, 펄스 폭 및 모양 등과 함께 수신기의 수신감도 및 다이내믹 레인지, 그리고 광학필터 및 렌즈의 특성이 라이다의 성능을 결정하는 주요 요인이다.

이와 함께 수신기의 측정 각도를 나타내는 Field Of View (FOV), 측정 범위를 선택하기 위한 field stop, 레이저 빔과 수신기의 FOV overlap 특성 등도 중요한 항목이다.

광속에 대하여 단위 데이터 수집을 위한 최소 시간은 거리 분해능(range resolution)을 결정하는 요인이며, 따라서 1m 이하의 거리 분해능을 위해서는 수 ns 이내 의 데이터 수집 및 처리가 요구된다.

상기 열화상 카메라는 감시영역 사물에 대한 열화상 영상을 수집한다. 열화상 카메라는 적외선 열(온도)을 감지하고, 사물의 온도에 따라 다른 색으로 표현하여 감시자가 사물의 온도를 확인할 수 있게 한다.

상기 편광 카메라는 감시영역의 편광 영상을 수집한다.

편광 카메라는 센서에 입사된 편광 각도를 감지하여 출력하는 방식이기 때문에 어둡거나 흐린 장소에서도 사물의 선명하게 인식할 수 있는 편광 영상을 수집한다.

편광 카메라는 난반사가 심한 사물에 대해 특정한 각도로 입사되는 빛만 필터링하여 난반사를 억제하여서, 선명한 영상을 수집할 수 있다.

상기 컨트롤러는 상기 라이다, CCTV, 적외선 카메라, 열화상 카메라 및 편광 카메라의 구동을 제어한다.

상기 컨트롤러는 상기 라이다, CCTV, 적외선 카메라, 열화상 카메라 및 편광 카메라의 촬영여부, 팬과 틸트의 조절을 통한 촬영방향 제어, 줌을 통한 사물의 확대 또는 축소 촬영, 영상의 해상도와 초당 프레임 수 등을 제어한다.

상기 컨트롤러는 상기 라이다, CCTV, 적외선 카메라, 열화상 카메라 및 편광 카메라가 촬영하는 입체영상, 일반영상, 열화상영상 및 편광영상을 분석하여 감시영역 내 사물의 정체, 온도변화, 이동방향과 이동속도 등을 판단한다. 판단 결과 사물에 대한 집중적인 촬영이 필요한 경우 상기 라이다, CCTV, 적외선 카메라, 열화상 카메라 및 편광 카메라의 팬, 틸트, 줌을 조절하여 해당 사물을 집중적으로 촬영한다.

상기 컨트롤러는 영상을 분석함에 있어서, 딥러닝 학습 알고리즘이 구축되어서, 반복학습의 통해 사물의 정체, 크기, 무게 등의 판단 정확성을 높인다. 딥러닝을 통해 사물을 분석할 때에는 감시영역의 조도(주야), 안개, 미세먼지 등의 환경요인도 고려하여 사물을 분석한다.

상기 컨트롤러는 상기 라이다, CCTV, 적외선 카메라, 열화상 카메라 및 편광 카메라가 촬영하는 입체영상, 일반영상, 열화상영상 및 편광영상을 합성영상을 만들고, 입체영상, 일반영상, 열화상영상, 편광영상, 합성영상 중에서 선택된 영상을 모니터로 출력하여 디스플레이 되도록 한다.

도2에는 CCTV가 촬영한 일반영상과, 여러 영상이 합성된 합성영상의 일례가 도시되어 있다.

이상에서 본 발명을 설명함에 있어 첨부된 도면을 참조하여 특정 형상과 구조를 갖는 다중센서를 활용한 통합 감시 시스템에 대해 설명하였으나 본 발명은 당업자에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 보호범위에 속하는 것으로 해석되어야 한다.

10 :

Claims (1)

1. 감시영역의 일반 영상을 수집하는 CCTV;
   감시영역의 야간 영상을 수집하는 적외선 카메라;
   감시영역의 입체 영상을 수집하는 라이다;
   감시영역의 열화상 영상을 수집하는 열화상 카메라;
   감시영역의 편광 영상을 수집하는 편광 카메라;
   상기 라이다, CCTV, 적외선 카메라, 열화상 카메라 및 편광 카메라의 구동을 제어하는 컨트롤러;
   상기 라이다, CCTV, 적외선 카메라, 열화상 카메라 및 편광 카메라에서 수집된 영상들과, 영상들의 합성영상을 디스플레이하는 모니터;를 포함하는 다중센서를 활용한 통합 감시 시스템.

Images