KR102439678B1

KR102439678B1 - Cctv와 라이다센서를 이용한 통합 관리 시스템

Info

Publication number: KR102439678B1
Application number: KR1020210031366A
Authority: KR
Inventors: 이동윤; 최지훈
Original assignee: 최지훈
Priority date: 2021-03-09
Filing date: 2021-03-09
Publication date: 2022-09-01

Abstract

본 발명은 CCTV와 라이다센서를 이용한 통합 관리 시스템에 관한 것으로, 더욱 더 상세하게는 라이다 센서에 의해 소정의 작업영역 특정 사물이 감지되면 이를 기초로 하여 CCTV 내 촬영 장치가 소정의 작업영역을 확대하도록 하여, CCTV로 촬영된 화면을 디스플레이 상에 소정의 작업영역 내의 특정 상황을 육안으로 확인하도록 디스플레이는 하는 디스플레이부;와 상기 라이다 센서에 의해 판단된 상기 특정사물의 크기, 속도 및 위치 정보를 사물을 식별하는 메타데이터를 저장 분석하는 데이터 저장부; 와 상기 데이터 저장부의 메타데이터는 추후 통합관제 시스템에서 검색을 통해 영상 검색을 수행하는 영상검색부; 및 어떤 상황에 대한 정확한 판단 및 후속 조치를 신속하게 수행하기 위한 지능형 솔루션부;를 포함하여 안전사고를 완벽하게 방지하는 통합관리 시스템에 관한 것이다.

Description

CCTV와 라이다센서를 이용한 통합 관리 시스템 {A Integrated Management System using CCTV and LiDAR Sensor}

종래 폐쇄회로 시스템 (CCTV) 또는 디지털 카메라로부터 입력된 영상에서 물체, 차량 혹은 사람 등과 같은 대상체를 인식하기 위해, 먼저 대상체의 특징(feature)을 정의, 추출, 및 학습 과정을 수행하여 이를 저장하고 판단하는 근거로 이용하고 있다.

한편, 최근 라이다 (LiDAR : Light Detection and Ranging) 센서가 개발되어 다양한 산업분야에 응용되고 있으며 물체를 인식하기 위한 응용분야에 현재 활발히 이용되고 있다.

라이다(LiDAR : Light Detection And Ranging) 센서는 빛을 이용하여 타겟을 탐지하고 타겟까지의 거리를 측정할 수 있는 것으로서, 이러한 라이다는 기능에 있어서 레이더(RADAR : Radio Detection And Ranging)와 유사하지만, 전파를 이용하는 레이더와 달리 빛을 이용한다는 차이가 있다.

이에 상기한 라이다를 이용한 다양한 장치들이 개발되고 있으며, 이러한 라이다를 이용한 라이다센서장치에 대한 기술의 예로 대한민국 등록특허 제10-1773020호는 송출 방향을 변경하면서 각각의 송출 방향에 대응하는 레이저 광 식별 정보를 포함하는 레이저 광을 송출하는 송신부와, 상기 레이저 광이 개체에 반사되어 돌아오는 반사광을 수신하는 수신부와, 상기 수신된 반사광에 포함된 레이저 광 식별 정보에 기초하여 상기 반사광에 대응하는 레이저 광의 송출 방향을 식별하는 신호 처리부를 포함하는 라이다 센서 장치가 개시된 바 있다.

한편, 사무실, 빌딩, 주택 등 중요 시설이 있는 장소 또는 인적이 드문 장소 등 외부로부터 불법으로 침입해 오는 인원을 감지하기위해 CCTV 및 적외선 카메라를 활용하여 사적 재산 및 인명을 보호하기 위하여, 침입자를 감지할 경우 경보를 발생함과 동시에 보안업체에 통보하는 보안시스템장치를 설치한다.

그런데, 이러한 종래의 보안시스템장치는, 야간의 경우 감지이미지가 육안으로 식별이 어려울 정도로 정확하지 않아 정확한 정보를 얻기가 어렵고, 단순 침입 감지에만 그 기능이 한정되어 있기 때문에 다양한 위험등에서 발생할 수 있는 관리를 하기가 어려운 문제점이 있다.

또한, 다양한 위험 등에 대한 데이터 관리 방안 및 위험한 상황에 대한 판단 및 데이터 분석에 어려운 문제점이 있다.

또한, 종래 관심 객체 검출 또는 인식을 위해 bootstrap, boosting 또는 adaboosting 알고리즘을 사용하였다. 이들 알고리즘과 더불어 Haar, HoG(Histogram of oriented Gradient), 또는 LBP(Local Binary Pattern) 등의 특징을 함께 사용한다. 이들 특징과 결합한 boosting 계열의 알고리즘은 학습 속도는 말할 것도 없고 분류(검출)속도가 매우 느린 치명적인 단점을 갖는다. 특히, 전역 탐색의 경우 분류 속도가 현저히 저하되고 인식률이 매우 낮아진다는 심각한 문제점을 가지고 있다.

한국등록특허 제10-1899549호 (2018년09월17일) 한국공개특허 제10-2016-0077684호 (2016년07월04일)) 한국공개특허 제10-2019-0140753호 (2019년12월20일)

본 발명은 상기에서 전술한 문제점을 해결하기 위하여 안출된 것으로서 라이다 센서에 의해 소정의 작업영역 특정 사물이 감지되면 이를 기초로 하여 CCTV 내 촬영 장치가 소정의 작업영역을 확대하도록 하여, 소정의 작업영역 만의 특정 상황을 육안으로 확인하도록 디스플레이 하며 라이다 센서에 의해 판단된 특정사물의 크기, 속도 및 위치 정보를 사물을 식별하는 메타데이터를 저장 분석하고 데이터를 저장하고 메타데이터는 추후 통합관제 시스템에서 검색을 통해 영상 검색을 수행하며 이에 대한 지능형솔루션을 제공하는 통합 관리 시스템을 제공함에 그 목적이 있다.

상기한 바와 같은 목적을 달성하기 위해 본 발명에 따르면,

프레임부 및 촬영장치가 포함된 CCTV;와 상기 프레임부에 설치되고, 광원을 이용하여 대상체의 위치와 형상을 감지하는 소정의 작업영역 내의 특정상황을 감지하기 위한 라이다 (LiDAR)센서부와; 제어신호에 의하여 상기 라이다 센서부를 구동제어하고, 상기 라이다 센서부로부터 수신된 감지데이터를 전송하는 센서제어부 및 상기 감지데이터를 분석하고, 판단하며 출력하기 위한 판단 및 출력부를 포함하여 구성되는 CCTV와 라이다센서를 이용한 통합 관리 시스템에 있어서, 상기 라이다 센서에 의해 판단된 상기 특정사물의 크기, 속도 및 위치 정보를 이용하여 사물을 식별하는 메타데이터를 생성 저장하는 데이터 생성 저장부;와 상기 라이다 센서에 의해 상기 소정의 작업영역 특정 사물이 감지되면 이를 기초로 하여 상기 CCTV 내 촬영 장치가 상기 소정의 작업영역을 확대하도록 하여, 상기 CCTV로 촬영된 화면을 디스플레이 상에 상기 소정의 작업영역 내의 특정 상황을 육안으로 확인하도록 디스플레이는 하는 디스플레이부; 및 상기 데이터 생성 저장부의 메타데이터는 추후 통합관제 시스템에서 검색을 통해 영상 검색을 수행하는 영상검색부;를 포함하는 것을 특징으로 한다.

또한, 상기 판단 및 출력부는 객체 인식기의 성능과 처리 속도를 향상시키기 위해 상기 소정의 작업영역을 단계별로 나누어 객체를 인식하기 위한 객체 인식 검출부; 및 상기 촬영장치가 포함된 CCTV로부터 영상을 입력받는 영상 입력부, 영상 입력부로부터의 영상내의 관심영역을 각 단계별로 크기 조정된 소정의 영상으로 생성하고 각 단계별 크기 조정된 영상에 대하여 특징점 정보를 추출하고 특징점 정보를 근거로 각 단계별 크기 조정된 영상을 교차 탐색하여 각각의 크기 조정된 영상에서의 객체 후보를 검출하는 객체 후보 검출부를 포함하여 구성되는 것;을 특징으로 한다.

또한, 상기 객체 후보 검출부로부터의 검출 결과를 근거로 해당 객체를 판단하고 상기 판단된 결과는 상기 판단 및 출력부에 전달되는 것;을 특징으로 한다.

또한, 상기 판단 및 출력부의 객체와 상황에 따라 카메라의 추적, 알람 발생, 경보발생, 경찰청 연결, 주변 카메라 연동 또는 관제센터의 팝업 중 어느 하나의 솔루션을 제공하기 위한 지능형 솔루션부;를 포함하는 것을 특징으로 한다.

또한, 상기 라이다 센서에 의해 상기 소정의 작업영역에 특정 사물이 감지되지 않은 경우는 소정의 작업영역의 데이터가 저장되며, 상기 저장된 데이터는 추후 상기 통합관제 시스템에서 영상 검색에 이용되는 것;을 특징으로 한다.

또한, 상기 데이터 생성저장부의 위치정보는 특정사물의 위치변화량과 설정값을 비교하여 판단하는 것;을 특징으로 한다.

또한, 상기 데이터 생성저장부의 크기정보는 특정사물의 크기값과 기준크기값의 비교를 통하여 판단하는 것;을 특징으로 한다.

또한, 상기 데이터 생성저장부의 속도정보는 특정사물의 속도에 따른 위치변화에 대한 주기성과 기설정된 주기와의 비교를 통하여 판단하는 것;을 특징으로 한다.

상기한 바와 같이 본 발명에 따른 통합 관리 시스템은 감시영역에 설치된 CCTV 및 적외선 카메라를 통한 기존의 방식의 단점을 보완하고자 한 개의 센서가 가지는 감지 영역을 라이다 센서를 통해 극대화 하고 주야 상관없이 정확한 위치정보 기반의 침입경로 추적이 가능한 장점이 있다.

또한, 본 발명에 따르면, 작업 공간 내에서 발생되는 특정 상황을 감지하고, 특정 상황에 대한 정확한 판단 및 후속 조치를 정확하면서도 신속하게 함으로써 안전사고를 미연에 완벽하게 차단할 수 있는 장점을 가지고 있다.

또한, 본 발명에 따르면, 객체 인식 또는 검증시 에러발생을 억제하고 인식률을 향상시킬 수 있는 장점이 있다.

또한, 본 발명에 따르면, 현 CCTV영상분석으로는 속도와 사물의 크기가 정확히 구분되지 않은 단점을 보완하여 지능형솔루션과 영상 라이더 센서의 결합의 완벽한 보안 지능형 솔루션 구축이 가능한 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 CCTV 및 라이다 센서를 활용한 객체 인식 성능 향상 장치의 구성도.
도 2는 본 발명의 일 실시예에 따른 객체 인식 성능 향상 방법을 설명하기 위한 플로우차트.
도 3은 특정사물 인식을 위한 메타데이터를 생성 및 저장하기 위한 플로우차트.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다.

먼저, 도 1은 본 발명의 일 실시예에 따른 CCTV 및 라이다 센서를 활용한 객체 인식 성능 향상 장치의 구성도를 나타내고 있다. 도 1에서 나타낸 바와같이, 본 발명의 일 실시예에 통합 관리 시스템 (10)은, 라이다 센서 (LiDAR sensor)에 의해 작업 공간 내의 특정 상황을 감지하고 이를 기초로 CCTV내의 카메라 등의 촬영 장치의 확대 기능이 제어되도록 하여, 관리자가 특정 상황에 대한 정확한 판단을 하여 후속 조치가 신속하게 이루어지도록 함으로써, 안전사고를 미연에 완벽하게 차단할 수 있도록하는 통합 관리 시스템 (10)이다.

도 1의 CCTV 및 라이다센서를 이용한 통합 관리 시스템 (10)(이하 '통합관리 시스템'이라 한단)은, 촬영장치가 포함된 CCTV (11)와, 광수신부와 광조사부 (13)를 포함한 라이다 센서 (12)와, 센서제어부 (14)와, 데이터 생성 저장부 (15) 및 영상검색부 (16) 그리고 저장된 데이터에 대한 판단 및 출력을 위한 판단 및 출력부 (17) 그리고 이에 육안으로 확인가능하도록 출력을 수행하는 디스플레이부 (18)를 포함하여 구성된다.

또한, 상기 데이터 생성 저장부 (15)에 저장된 데이터는 어떤 상황에 대한 정확한 판단과 후속 조치를 신속하게 수행하여 안전사고를 완벽하게 방지하는 기능을 수행하게 된다. 여기서 후속조치를 수행하기 위한 지능형 솔루션부 (19)를 더 포함하여 구성되며 상기 지능형 솔루션부 (19)는 소정 작엽영역에 특정사물이 감지하게 되면 메타데이터로 데이터를 저장 분석하는 데이터 저장을 수행하게 되며 저장된 데이터를 호출하여 영상 검색을 수행하고 이를 통하여 카메라 추적, 알람 발생, 경보 발생, 경찰청연결 주변 카메라 연동 및 관제센터의 팝업 중 어느하나의 지능형 솔루션과의 연결이 가능하도록 설정된다.

그리고 상기 판단 및 출력부 (17)은 객체 인식기의 성능과 처리 속도를 향상시키기 위해 상기 소정의 작업영역을 단계별로 나누어 객체를 인식하기 위한 객체 인식 검출부 및 상기 촬영장치가 포함된 CCTV로부터 영상을 입력받는 영상 입력부 (16), 영상 입력부로부터의 영상내의 관심영역을 각 단계별로 크기 조정된 소정의 영상으로 생성하고 각 단계별 크기 조정된 영상에 대하여 특징점 정보를 추출하고 특징점 정보를 근거로 각 단계별 크기 조정된 영상을 교차 탐색하여 각각의 크기 조정된 영상에서의 객체 후보를 검출하는 객체 후보 검출부를 포함하여 객체를 인식하고 검출하여 상황을 판단하게 되고 판단된 상황을 출력부에 전달하게 된다.

상기 라이다 센서 (12)는 소정의 작업영역내의 특정 상황을 감지하기 위한 것으로 레이저를 목표물에 비춤으로써 사물까지의 거리, 방향, 속도, 온도, 물질 분포 및 농도 특성 등을 감지할 수 있는 센서로, 기본적인 구성은 레이저 송신부, 레이저 검출부, 신호 수집 및 처리와 데이터를 송수신하기 위한 부분으로 단순하게 구분될 수 있다.

아울러 라이다 센서 (12)는 레이저 신호의 변조 방법에 따라 time-of-flight(TOF) 방식과 phase-shift 방식으로 구분될 수 있다. TOF 방식은 레이저가 펄스 신호를 방출하여 측정 범위 내에 있는 물체들로부터의 반사 펄스 신호들이 수신기에 도착하는 시간을 측정함으로써 거리를 측정하는 것이 가능하다.

그리고, Phase-shift 방식은 특정 주파 수를 가지고 연속적으로 변조되는 레이저 빔을 방출하고 측정 범위 내에 있는 물체로부터 반사되어 되돌아 오는 신호의 위상 변화량을 측정하여 시간 및 거리를 계산 하는 방식이다.

레이저 광원은 250nm부터 11μm까지의 파장 영역에서 특정 파장을 가지거나 파장 가변이 가능한 레이저 광원들이 사용되며, 최근에는 소형, 저전력이 가능한 반도체 레이저 다이오드가 많이 사용된다.

특히, 레이저의 파장은 대기, 구름, 비 등에 대한 투과성과 eye-safety 에 직접적인 영향을 준다.

기본적으로 레이저 출력, 파장, 스펙트럼 특성, 펄스 폭 및 모양 등과 함께 수신기의 수신감도 및 다이내믹 레인지, 그리고 광학필터 및 렌즈의 특성이 라이다의 성능을 결정하는 주요 요인이다.

이와 함께 수신기의 측정 각도를 나타내는 Field Of View (FOV), 측정 범위를 선택하기 위한 field stop, 레이저 빔과 수신기의 FOV overlap 특성 등도 중요한 항목이다.

광속에 대하여 단위 데이터 수집을 위한 최소 시간은 거리 분해능(range resolution)을 결정하는 요인이며, 따라서 1m 이하의 거리 분해능을 위해서는 수 ns 이내 의 데이터 수집 및 처리가 요구된다.

상기 촬영 장치가 포함된 CCTV(11)는 소정의 작업영역 내의 상황을 촬영하기 위한 구성요소이다.

구체적으로 상기 촬영 장치가 포함된 CCTV (11)는 싱글(Single)카메라, 입체영상을 위한 스테레오 (Stereo)카메라 또는 야간이나 어두운 장소에서의 영상 촬영을 위해 나이트 비전 (Night Vision)을 지원하는 적외선 카메라, FLIR (Forward Looking Infrared) 카메라 등 중의 어느 하나일 수 있으나, 반드시 이에 한정되는 것은 아니다.

상기 촬영 장치가 포함된 CCTV (11)에 의해 촬영되는 소정의 작업영역 내의 특정 상황은 특정 상황이 감지된 영역의 영상을 확대하는 수단을 포함하고 있다.

한편, 상기 촬영장치에 의해 촬영되는 데이터는 메타데이터로 저장하기 위한 데이터 생성 저장부 (15) 및 저장된 영상을 검색하기 위한 영상 검색부 (16)를 포함한다.

도 2는 본 발명의 일 실시예에 따른 객체 인식 성능 향상 방법을 설명하기 위한 플로우차트를 나타내고 있다.

먼저, 라이다센서에의한 소정의 작업영역내의 특정상황을 감지하게 되고 감지된 데이터를 분석하고 판단하며 소정의 작업영역내에 특정사물이 감지되었는지 여부를 판단하게 된다.

또한, 소정 작엽영역에 특정사물이 감지하게 되면 메타데이터로 데이터를 저장 분석하는 데이터 저장을 수행하게 되며 저장된 데이터를 호출하여 영상 검색을 수행하고 이를 통하여 지능형 솔루션부에 의해 조치가 이루어지도록 구성된다.

한편, 소정의 작업영역내에 특정사물이 감지되지 않은 경우 영역 확대를 수행하지 않으며 상황은 종료하게 된다.

도 3은 특정사물 인식을 위한 메타데이터를 생성 및 저장하기 위한 플로우차트를 나타내고 있다.

도 3에 나타난 바와같이, 메타데이터를 생성하고 저장하기 위한 데이터 생성 저장부 (15)는, 소정의 작업영역내에 감지된 데이터를 분석하고 판단하여 특정사물의 위치 변화량을 기준값과 비교하여 구조물 인지 여부를 판단하고 특정사물의 크기값과 기준 크기값을 비교하여 주변 설치물인지 여부를 판단한다.

또한, 특정사물의 위치 변화에 대한 주기성과 기 설정된 주기를 비교하여 이동하는 객체인지 여부를 판단하여 통합 관리 시스템(10) 특정 영역에 대한 안전 및 위험여부를 판단하여 관리를 수행하게 된다.

상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.

10: 통합 관리 시스템 11: 촬영장치가 포함된 CCTV
12: 라이다 (LiDAR) 센서 13: 광수신부 및 광조사부
14: 센서 제어부 15: 데이터 생성 저장부
16: 영상 검색부 17: 판단 및 출력부
18: 디스플레이부 19: 지능형 솔루션부

Claims

프레임부 및 촬영장치가 포함된 CCTV;와 상기 프레임부에 설치되고, 광원을 이용하여 대상체의 위치와 형상을 감지하는 소정의 작업영역 내의 특정상황을 감지하기 위한 라이다 (LiDAR)센서부와; 제어신호에 의하여 상기 라이다 센서부를 구동제어하고, 상기 라이다 센서부로부터 수신된 감지데이터를 전송하는 센서제어부 및 상기 감지데이터를 분석하고, 판단하며 출력하기 위한 판단 및 출력부를 포함하여 구성되는 CCTV와 라이다센서를 이용한 통합 관리 시스템에 있어서,
상기 라이다 센서에 의해 판단된 특정사물의 크기, 속도 및 위치 정보를 이용하여 사물을 식별하는 메타데이터를 생성 저장하는 데이터 생성 저장부;와
상기 라이다 센서에 의해 상기 소정의 작업영역에 상기 특정사물이 감지되면 이를 기초로 하여 상기 CCTV 내 촬영 장치가 상기 소정의 작업영역을 확대하도록 하여, 상기 CCTV로 촬영된 화면을 디스플레이 상에 상기 소정의 작업영역 내의 특정 상황을 육안으로 확인하도록 디스플레이는 하는 디스플레이부; 와
상기 데이터 생성 저장부의 메타데이터는 추후 통합관제 시스템에서 검색을 통해 영상 검색을 수행하는 영상검색부;와
상기 판단 및 출력부는 객체 인식기의 성능과 처리 속도를 향상시키기 위해 상기 소정의 작업영역을 단계별로 나누어 객체를 인식하기 위한 객체 인식 검출부;와
상기 촬영장치가 포함된 CCTV로부터 영상을 입력받는 영상 입력부, 영상 입력부로부터의 영상내의 관심영역을 각 단계별로 크기 조정된 소정의 영상으로 생성하고 각 단계별 크기 조정된 영상에 대하여 특징점 정보를 추출하고 특징점 정보를 근거로 각 단계별 크기 조정된 영상을 교차 탐색하여 각각의 크기 조정된 영상에서의 객체 후보를 검출하는 객체 후보 검출부를 포함하고;
상기 객체 후보 검출부로부터의 검출 결과를 근거로 해당 객체를 판단하고 상기 판단된 결과는 상기 판단 및 출력부에 전달되고;
상기 판단 및 출력부의 객체와 상황에 따라 카메라의 추적, 알람 발생, 경보 발생, 경찰청 연결, 주변 카메라 연동 또는 관제센터의 팝업 중 어느 하나의 솔루션을 제공하기 위한 지능형 솔루션부를 포함하고;
상기 라이다 센서에 의해 상기 소정의 작업영역에 상기 특정사물이 감지되지 않은 경우는 소정의 작업영역의 데이터가 저장되며, 상기 저장된 데이터는 추후 상기 통합관제 시스템에서 영상 검색에 이용되는 것; 및
상기 데이터 생성저장부의 크기정보는 상기 특정사물의 크기값과 기준크기값의 비교를 통하여 판단하는 것;을 특징으로 하는 통합 관리 시스템.
삭제
삭제
삭제
삭제
제1항에 있어서,
상기 데이터 생성저장부의 위치정보는 특정사물의 위치변화량과 설정값을 비교하여 판단하는 것;을 특징으로 하는 통합 관리 시스템.
삭제
제1항에 있어서,
상기 데이터 생성저장부의 속도정보는 특정사물의 속도에 따른 위치변화에 대한 주기성과 기설정된 주기와의 비교를 통하여 판단하는 것;을 특징으로 하는 통합관리 시스템.