KR102538548B1 - 딥러닝 기반의 객체 인식 및 모니터링 시스템 - Google Patents

Abstract

본 발명은 딥러닝 기반의 객체 인식 및 모니터링 시스템에 관한 것으로, 해결하고자 하는 과제는 도로 위 CCTV의 스마트 기능을 활용해 다양한 객체를 검출하고, 검출된 객체의 모션을 추적해 해당 객체 간의 사고 위험을 예측하거나, 하나의 기기 내에 열화상 센서, 라이다 센서, 음성 인식 센서를 통합하여 객체의 주변 상태를 감지하면서 응급상황 발생 시 관계기관이나 관리자에게 응급 상황임을 신속히 전달하는 데 있다.
일례로, 미리 정의된 검출 딥러닝 알고리즘을 이용하여 적어도 하나의 감시 카메라 영상 및 IoT 장치로부터 적어도 하나의 객체 및 객체 데이터를 검출하는 객체 검출부; 미리 정의된 인식 딥러닝 알고리즘을 이용하여 상기 객체 검출부를 통해 검출된 각각의 객체 및 객체 데이터를 식별하여 인식하는 객체 식별부; 미리 정의된 모션 벡터 알고리즘을 이용하여 상기 객체 식별부를 통해 인식된 각각의 객체를 추적하며 해당 객체에 대한 모션 벡터를 검출하는 모션 벡터 검출부; 및 상기 모션 벡터 검출부를 통해 검출된 모션 벡터와 상기 객체 식별부를 통해 인식된 각각의 객체 데이터 중 어느 하나를 기초로 객체에 대한 주변 상태를 감시하고, 감시 결과를 기초로 응급상황을 판단하여 기 등록된 관계기관 및 관리자에게 응급상황을 알리는 상황 관리부를 포함하는 딥러닝 기반의 객체 인식 및 모니터링 시스템을 개시한다.

Description

딥러닝 기반의 객체 인식 및 모니터링 시스템{SYSTEM FOR RECOGNIZING AND MONITORING OBJECT BASED ON DEEP LEARNING}

본 발명의 실시예는 딥러닝 기반의 객체 인식 및 모니터링 시스템에 관한 것이다.

일반적인 CCTV(Closed Circuit Television)의 스마트 기능으로서 사람 검출 및 차량 검출과 같은 영상인식 기술이 CCTV에 접목되고 있으나 방대한 영상 데이터 분석은 한계가 있다. 따라서 인간과 같은 판단능력을 가지고 방대한 CCTV 감시 영상을 지능적으로 분석할 수 있는 고도화된 영상 인식 기술 기반 영상 감시 방법이 요구되고 있다.

최근, 팬데믹 사태로 인해 각종 배달 수요가 급증하고 있으며, 이러한 배달 업무는 주로 오토바이와 같은 이륜차가 담당하고 있는데, 현재 도로 상에서 다양한 이유로 이륜차의 사고가 급증하고 있는 실정이다. 특히, 덤프 트럭과 같이 운전자의 위치가 상당히 높은 차량과 같은 경우에는 이륜차가 트럭에 근접하여 정차 또는 주행하는 경우 트럭의 운전자의 시야에서 이륜차를 발견하기 어려운 상황이며 각각의 운전자의 부주의나 실수로 인해 인명 사고로 까지 이어지고 있다.

이에 따라, 도로 위 CCTV의 스마트 기능을 활용해 다양한 객체를 검출하고, 검출된 객체 간의 사고 위험을 사전에 인지하여 대처할 수 있는 시스템 개발이 요구된다.

공개특허공보 제10-2018-0107930호(공개일자: 2018. 10. 04)

본 발명의 실시예는, 도로 위 CCTV의 스마트 기능을 활용해 다양한 객체를 검출하고, 검출된 객체의 모션을 추적해 해당 객체 간의 사고 위험을 예측하거나, 하나의 기기 내에 열화상 센서, 라이다 센서, 음성 인식 센서를 통합하여 객체의 주변 상태를 감지하면서 응급상황 발생 시 관계기관이나 관리자에게 응급 상황임을 신속히 전달하는 딥러닝 기반의 객체 인식 및 모니터링 시스템을 제공한다.

본 발명의 실시예에 따른 딥러닝 기반의 객체 인식 및 모니터링 시스템은, 미리 정의된 검출 딥러닝 알고리즘을 이용하여 적어도 하나의 감시 카메라 영상 및 IoT 장치로부터 적어도 하나의 객체 및 객체 데이터를 검출하는 객체 검출부; 미리 정의된 인식 딥러닝 알고리즘을 이용하여 상기 객체 검출부를 통해 검출된 각각의 객체 및 객체 데이터를 식별하여 인식하는 객체 식별부; 미리 정의된 모션 벡터 알고리즘을 이용하여 상기 객체 식별부를 통해 인식된 각각의 객체를 추적하며 해당 객체에 대한 모션 벡터를 검출하는 모션 벡터 검출부; 및 상기 모션 벡터 검출부를 통해 검출된 모션 벡터와 상기 객체 식별부를 통해 인식된 각각의 객체 데이터 중 어느 하나를 기초로 객체에 대한 주변 상태를 감시하고, 감시 결과를 기초로 응급상황을 판단하여 기 등록된 관계기관 및 관리자에게 응급상황을 알리는 상황 관리부를 포함한다.

또한, 상기 객체 식별부는 차량, 사람, 동물 및 도로 사물을 포함하는 상위 객체를 인식하고, 상기 차량에 대한 객체는, 복수의 제1 분류 정보로 정의되고, 상기 도로 사물은 복수의 제2 분류 정보로 분류되고, 상기 모션 벡터 검출부는, 상기 객체 식별부를 통해 인식된 제1 분류 정보 중 적어도 하나를 마커(maker)로 설정하고, 상기 마커를 기준으로 상기 객체 식별부를 통해 인식된 차량, 사람 및 동물의 움직임을 추적하며 해당 객체에 대한 이동방향과 이동속도를 각각 산출하며, 상기 객체 인식 및 모니터링 시스템은, 미리 정의된 상황 예측 딥러닝 알고리즘을 이용하여 상기 객체 식별부를 통해 인식된 객체 식별 정보와 상기 모션 벡터 검출부를 통해 검출된 모션 벡터에 따른 객체 간에 일어날 상황을 예측하는 객체 상황 예측부를 더 포함하며, 상기 객체 상황 예측부는, 미리 정의된 상황 예측 딥러닝 알고리즘을 이용하여 차량의 모션 벡터와 사람 및 동물 중 적어도 하나의 모션 벡터에 따라 차량과 사람 또는 차량과 동물이 미리 설정된 시간 이내에 접촉할 것으로 예측되면, 제1 주의 상황으로 판단하고, 상기 도로 상에 제1 분류 정보에 포함된 대형 트럭과 이륜차가 미리 설정된 거리 이내로 상호 근접하며 정지상태인 것으로 인식되면 제2 주의 상황으로 판단하고, 상기 제2 주의 상황에서 대형 트럭과 이륜차가 정지상태에서 이륜차가 대형 트럭과 미리 설정된 거리 이내로 근접 상태로 이동하는 경우 객체 경고 상황으로 판단한다.

상기 IoT 장치는, 객체에 대한 레이저 스캐닝을 통해 스캐닝데이터를 생성하는 라이다 센서부; 객체에 대한 적외선 강도 검출을 통해 열화상데이터를 생성하는 PIR 기반의 열화상 센서부; 객체 주변 공간에 대한 온도와 습도 측정을 통해 온/습도데이터를 생성하는 온/습도 센서부; 객체 주변 공간에 대한 조도 측정을 통해 조도데이터를 생성하는 조도 센서부; 객체로부터 음성신호를 입력 받고, 입력된 음성신호의 인식과정에서 기 등록된 음성명령을 인식하면, 응급구조요청신호를 발생시키는 음성 인식부; 상기 스캐닝데이터, 상기 열화상데이터, 상기 온/습도데이터, 상기 조도데이터 및 상기 응급구조요청신호를 상기 객체 식별부로 각각 전송하는 장치 통신부; 및 상기 장치 통신부를 통해 상기 상황 관리부로부터 상기 온/습도데이터, 상기 조도데이터 중 적어도 하나에 따른 기기제어신호를 수신하고, 수신된 상기 기기제어신호에 따른 IoT 장치의 동작을 자동 제어하는 기기 제어부를 포함하고, 상기 객체 데이터는 상기 스캐닝데이터, 상기 열화상데이터, 상기 온/습도데이터, 상기 조도데이터를 포함하고, 상기 라이다 센서부는, 다중 배열 수신 소자인 FPA(Focal Plane Array)를 이용하여 주변 공간 내 각 객체에 대한 상기 스캐닝데이터로서 점군데이터를 생성하는 플래시 라이다 센서를 포함하고, 상기 상황 관리부는 미리 구축된 열화상 객체 인식 알고리즘을 기반으로 상기 열화상데이터로부터 열화상 객체를 인식하고, 상기 인식된 열화상 객체에 대한 움직임과 활동량을 각각 파악하고, 움직임 파악 결과를 기반으로 응급상황을 판단하는 열화상 객체 감시부; 미리 구축된 점군 객체 인식 알고리즘을 기반으로 상기 점군데이터로부터 주변 공간의 벽체에 대한 제1 점군 객체와 객체에 대한 제2 점군 객체를 각각 인식하고, 상기 인식된 제1 점군 객체와 제2 점군 객체에 대한 각각의 거리를 파악하여 주변 공간 내 객체의 위치를 인식하며, 상기 인식된 제2 객체에 대한 움직임과 활동량을 각각 파악하고, 움직임 파악 결과를 기반으로 응급상황을 판단하는 점군 객체 감시부; 및 상기 열화상 객체 감시부와 상기 점군 객체 감시부 중 적어도 하나를 통해 객체에 대한 응급상황으로 판단되거나, 상기 응급구조요청신호를 수신하는 경우 상기 점군 객체 감시부를 통해 인식된 객체의 위치정보를 포함한 상기 응급상황발생신호를 생성하여 기 등록된 기관 및 관리자에게 제공하는 응급상황발생신호 제공부;를 포함한다.

본 발명에 따르면, 도로 위 CCTV의 스마트 기능을 활용해 다양한 객체를 검출하고, 검출된 객체의 모션을 추적해 해당 객체 간의 사고 위험을 예측하거나, 하나의 기기 내에 열화상 센서, 라이다 센서, 음성 인식 센서를 통합하여 객체의 주변 상태를 감지하면서 응급상황 발생 시 관계기관이나 관리자에게 응급 상황임을 신속히 전달할 수 있는 딥러닝 기반의 객체 인식 및 모니터링 시스템을 제공할 수 있다.

도 1은 본 발명의 실시예에 따른 딥러닝 기반의 객체 인식 및 모니터링 시스템의 전체 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 객체 검출부와 객체 식별부에 적용되는 컨볼루션 신경망(Convolution Neural Network, CNN)의 구성을 나타낸 도면이다.
도 3은 도 1의 IoT 장치의 구성을 개략적으로 나타낸 블럭도이다.
도 4는 도 1의 상황 관리부의 구성을 개략적으로 나타낸 블럭도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 본 발명의 실시예에 따른 딥러닝 기반의 객체 인식 및 모니터링 시스템의 전체 구성을 나타낸 블록도이고, 도 2는 본 발명의 실시예에 따른 객체 검출부와 객체 식별부에 적용되는 컨볼루션 신경망(Convolution Neural Network, CNN)의 구성을 나타낸 도면이며, 도 3은 도 1의 IoT 장치의 구성을 개략적으로 나타낸 블록도이고, 도 4는 도 1의 상황 관리부의 구성을 개략적으로 나타낸 블럭도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 딥러닝 기반의 객체 인식 및 모니터링 시스템은 객체 검출부(100), 객체 식별부(200), 모션 벡터 검출부(300), 객체 상황 예측부(400) 및 상황 관리부(500) 중 적어도 하나를 포함할 수 있다.

상기 객체 검출부(100)는, 미리 정의된 검출 딥러닝 알고리즘을 이용하여 적어도 하나의 감시 카메라 영상 및 IoT 장치(10)로부터 적어도 하나의 객체 및 객체 데이터를 검출할 수 있다.

본 실시예에 따른 객체는 차량, 사람, 동물 및 도로 사물을 포함하는 상위 객체를 포함할 수 있다.

이러한 상위 객체 중 차량에 대한 객체는, 복수의 제1 분류 정보(즉, 대형트럭, 이륜차 및 그 외의 차량)로 분류되고, 도로 사물은 제2 분류 정보(즉, 차선, 횡단보도, 신호등, 볼라드, 및 전신주)로 분류될 수 있으나, 이에 한정되는 것이 아니라 더 다양하고 디테일한 객체의 검출이 가능하다.

또한, 상기 객체 데이터는 도 3에 도시된 바와 같은 IoT 장치(10)로부터 검출된 데이터로서, 라이다 센서부(11)에 의하여 검출된 스캐닝데이터, 열화상 센서부(12)에 의하여 검출된 열화상데이터, 온/습도 센서부(13)에 의하여 검출된 온/습도데이터, 조도 센서부(미도시)에 의하여 검출된 조도데이터, 음성인식부(14)에 의하여 검출된 음성신호를 포함할 수 있다.

상기 객체 검출부(100)는, 컨볼루션 신경망(Convolution Neural Network, CNN) 기반의 히트 맵(heat map) 생성 방법을 포함한 영역 제안 추출(region proposal extraction)을 이용하는 방법을 통해 다중 객체를 검출할 수 있다. 이러한 CNN 기반의 히트 맵 생성 방법은 CNN 기반의 네트워크를 통해 객체 후보영역에 대한 확률 값을 나타내는 2차원 맵을 의미하는 히트 맵을 생성하고, 이를 이용하여 영역 제안을 추출할 수 있다. 영역 제안 네트워크는 도 2에 도시된 바와 같이, 총 5개의 컨볼루션 레이어로 구성된 영역 제안 네트워크로, 첫 번째와 두 번째 컨볼루션 레이어에는 풀링 레이어(pooling layer)와 도시되지 않았으나 정규화 레이어(normalization layer)가 연결될 수 있다. 이때, 다섯 번째 컨볼루션 레이어에서 얻은 확률분포 맵을 얻게 되고, 이를 이용하여 높은 확률 값을 갖는 영 역들을 추출하여 최종적으로 가장 오른쪽에 영역 제안을 획득할 수 있다. 여기서, 확률분포 맵에서 파란색으로 표시된 부분은 확률 값 '0'을 나타내고, 빨간색으로 갈수록 '1'에 가까운 높은 확률 값을 나타내는 것을 의미할 수 있다.

또한, 상기 객체 검출부(100)는, 객체의 속성정보를 이용한 멀티 태스킹 러닝(multi-tasking learning) 방법을 기초로 객체 영역의 추출과 바운딩 박스(bounding box)의 조정을 수행하는 방법을 통해 다중 객체를 검출할 수 있다. 이러한 멀티 태스킹 러닝 방법은 추출된 영역 제안들로부터 실제 CNN 기반의 네트워크(CNN-based feature extraction)를 통해 특성을 추출하고 최종 검출을 수행하는 단계로, CNN 기반의 네트워크는 사람 검출과 관련된 여러 가지 태스크들 예를 들어, 보행자 크기, 보행자 포즈 등을 공통적으로 만족하는 방향으로 학습하여 좀 더 효과적인 특성을 학습할 수 있다.

또한, 상기 객체 검출부(100)는, 감시 카메라 영상에 대해 영역 제안 추출(region proposal extraction)을 수행하고, 추출된 영역 제안들로부터 컨볼루션 신경망(Convolution Neural Network, CNN) 기반의 특성 추출을 통해 해당 영역 제안들 각각의 특성들을 추출하는 방법으로 다중 객체를 검출할 수도 있다.

상기 객체 식별부(200)는, 미리 정의된 인식 딥러닝 알고리즘을 이용하여 객체 검출부(100)를 통해 검출된 각각의 객체 및 객체 데이터를 식별하여 인식할 수 있다. 예를 들어, 상기 객체 식별부(200)는 차량, 사람, 동물 및 도로 사물을 포함하는 상위 객체를 인식하고, 차량 객체에 대해서는 대형트럭, 이륜차 및 그 외의 차량으로 분류하고, 도로 사물은 차선, 횡단보도, 신호등, 볼라드, 및 전신주로 분류할 수 있다. 이러한 객체 식별부(200)는 객체 검출부(100)를 통해 검출된 다양한 객체 및 객체 데이터가 미리 정의된 객체 및 객체 데이터인지를 분류하기 위한 수단으로 특히 도로 위의 사고 위험 예측과 방지를 위해 선행되어야 할 객체 및 객체 데이터가 포함되어 있는 지를 확인할 수 있으며, 객체 검출부(100)와 연동하여 다중 객체의 검출과 함께 식별 동작을 수행할 수 있다.

상기 모션 벡터 검출부(300)는, 미리 정의된 모션 벡터 알고리즘을 이용하여 객체 식별부(200)를 통해 인식된 각각의 객체를 추적하며 해당 객체에 대한 모션 벡터를 검출할 수 있다.

이를 위해, 상기 모션 벡터 검출부(300)는 다음과 같은 기능을 수행한다.

우선, 상기 모션 벡터 검출부(300)는 객체 식별부(200)를 통해 인식된 볼라드, 전신주 및 펜스 중 적어도 하나를 마커(maker)로 설정할 수 있다. 감시 카메라 영상 즉 CCTV 영상은 특정된 장소(사고 위험 다발 구역)에서 특정한 각도에 대한 촬영을 지속적으로 수행하기 때문에, 해당 영상 내에는 변하지 않고 고정된 객체가 존재할 수 있다. 따라서, 상기 모션 벡터 검출부(300)는 CCTV 영상에서 위치적으로 고정 불변한 객체를 마커로 설정하고, 설정된 마커 객체에 대한 위치 좌표를 영상 내에서 확정함으로써 CCTV 영상 내에서 움직이는 객체들이 해당 마커들을 기준으로 어느 방향으로 이동하는지, 얼마나 이동했는지를 쉽게 파악할 수 있다. 예를 들어, 복수 개의 볼라드에 대한 객체를 마커로 설정하고, 해당 마커를 기준으로 마커로 정의된 객체 이외의 객체들에 대한 모션 벡터를 검출할 수 있도록 한다.

또한, 상기 모션 벡터 검출부(300)는 마커를 기준으로 객체 식별부(200)를 통해 인식된 차량, 사람 및 동물과 같은 동적 객체에 대한 움직임을 추적하며 해당 객체에 대한 이동방향과 이동속도를 각각 산출할 수 있다.

감시 카메라 영상을 구성하는 다수의 영상 프레임들 내에 검출된 각각의 객체가 이동한 거리를 영상 프레임 수로 나누는 방식으로 각 객체들에 대한 이동속도를 산출할 수 있다. 예를 들어, 영상 프레임 1개당 1/60sec을 대상으로 특정 객체의 이동속도를 계산할 경우, 해당 객체가 포함된 영상 프레임 300개(총 5sec)를 추출한 후 해당 객체가 이동한 거리(5m)를 산출한 후, 해당 이동거리(5m)를 영상 프레임들의 총 시간(5sec)으로 나누어 해당 객체가 대략 1m/s의 속도로 이동하고 있음을 알 수 있다. 이때, 객체 이동 거리는 비교 대상인 마커와 또 다른 마커 간의 미리 정의된 거리를 이용하여 산출하거나, 영상 내에 미리 정의된 좌표 간격 별 거리 값을 이용하여 산출하는 등 다양한 방식으로 객체의 이동 거리를 계산할 수 있다.

또한, 인식된 객체에 대하여 바운딩 박스를 처리하고, 각각의 바운딩 박스가 이동한 궤적을 따라 이동하고 있는 방향에 대한 정보를 획득할 수 있다. 이 뿐만 아니라, 영상 내 객체의 이동방향을 검출하는 다른 어떠한 방식을 적용하여도 무방하다.

상기 객체 상황 예측부(400)는, 미리 정의된 상황 예측 딥러닝 알고리즘을 이용하여 객체 식별부(200)를 통해 인식된 객체 식별 정보와 모션 벡터 검출부(300)를 통해 검출된 모션 벡터에 따른 객체 간에 일어날 상황을 예측할 수 있다.

우선, 상기 객체 상황 예측부(400)는, 미리 정의된 상황 예측 딥러닝 알고리즘을 이용하여 서로 다른 종류(사람-자동차, 자동차-자동차)의 객체에 대한 모션 벡터(이동방향, 이동속도)에 따라 해당 객체 간이 미리 설정된 시간 이내에 접촉할 것으로 예측되면, 제1 객체 주의 상황으로 판단할 수 있다.

좀 더 구체적으로, 상기 객체 상황 예측부(400)는, 미리 정의된 상황 예측 딥러닝 알고리즘을 이용하여 차량의 모션 벡터와 사람 및 동물 중 적어도 하나의 모션 벡터에 따라 차량과 사람 또는 차량과 동물이 미리 설정된 시간 이내에 접촉할 것으로 예측되면, 제1 주의 상황으로 판단할 수 있다.

예를 들어, 사람 객체가 영상 내에서 동쪽을 향해 1.1m/s의 속도로 걷고 있으며, 일반 차량 객체가 남서 방향으로 주행 중이며, 더욱 구체적인 상황으로, 객체 식별부(200)를 통해 해당 객체의 상황 즉, 정면을 주시하지 않고 걷고 있는 상태이고, 신호등이 녹색 상태인 경우 사람과 차량 객체가 모션을 멈추지 않고 그대로 진행한다면 대략 2초 충돌 위험이 있으므로, 이에 따른 제1 주의 상황을 의미하는 경보를 생성할 수 있다.

여기서, 제1 주의 상황을 의미하는 경보(이하, 제2 주의 상황을 의미하는 경보도 동일하게 적용됨)로는 디스플레이 출력정보나 음성출력정보를 포함할 수 있으며, 디스플레이 출력정보는 현장의 신호등에 설치되는 전광판을 통해 위험 상황을 현장의 사람들이 인지할 수 있도록 안내하기 위한 텍스트 메시지를 포함할 수 있으며, 또한 현장 주변에 설치되는 스피커를 통해 위험 상황을 현장의 사람들이 인지할 수 있도록 안내하기 위한 음성 메시지를 포함할 수 있다.

상기 객체 상황 예측부(400)는, 미리 정의된 상황 예측 딥러닝 알고리즘을 이용하여 도로 상에 대형 트럭과 이륜차가 미리 설정된 거리 이내로 상호 근접하며 정지상태인 것으로 인식되면 제2 주의 상황으로 판단하고, 제2 주의 상황에서 대형 트럭과 이륜차가 정지상태에서 이륜차가 대형 트럭과 미리 설정된 거리 이내로 근접 상태로 이동하는 경우 객체 경고 상황으로 판단할 수 있다.

예를 들어, 이륜차 객체와 대형 트럭 객체가 각각 도로 상에서 정지한 상태로 나란히 근접(대략 1m 이내)한 것으로 인식되는 경우, 제2 주의 상황으로 판단하여 이에 따른 제2 주의 상황을 의미하는 경보를 생성할 수 있다. 대부분 덤프 트럭의 경우 해당 트럭 옆에 인접한 오토바이 등이 운전자 시야에 들어오지 않는다는 문제가 있기 때문에, 덤프 트럭 옆에 오토바이가 인접하게 위치하는 상황만으로도 향후 위험 발생 소지가 있기 때문에 그에 따른 제2 주의 상황을 의미하는 경보를 생성할 수 있다.

또한, 이륜차 객체와 대형 트럭 객체가 각각 도로 상에서 정지한 상태로 나란히 근접(대략 1m 이내)하여 제2 주의 상황으로 판단된 상태에서, 이륜차가 먼저 이동함을 인지하거나, 대형 트럭이 먼저 이동함을 인지하는 경우, 또는 이륜차와 대형 트럭이 약간의 시차를 두더라도 동시에 이동하는 경우 모두 이륜차가 대형 트럭 운전자의 시야에서 벗어난 상황에서 향후 대형 트럭이 이륜차와 추돌할 가능성이 농후하다고 판단하여 객체 경고 상황으로 판단하여 그에 따른 객체 경고 경보를 생성할 수 있다.

여기서, 객체 경고 경보로는 디스플레이 출력정보나 음성출력정보를 포함할 수 있으며, 디스플레이 출력정보는 현장의 신호등에 설치되는 전광판을 통해 위험 상황을 현장의 사람들이 인지할 수 있도록 안내하기 위한 텍스트 메시지를 포함할 수 있으며, 또한 현장 주변에 설치되는 스피커를 통해 위험 상황을 현장의 사람들이 인지할 수 있도록 안내하기 위한 음성 메시지를 포함할 수 있는데, 상술한 객체 주의 경보와의 차이점은 시각적, 청각적 메시지의 전달 내용과 알림 강도에 있으며, 상황에 따라서는 상대적으로 가장 안전한 대형 트럭의 운전자에게 정지할 것을 강하게 어필하는 메시지를 전달함으로써 추돌 사고 위험성을 줄일 수 있다.

본 실시예에 따른 객체 상황 예측부(400)의 상황 예측 딥러닝 알고리즘은 상술한 바와 같이 서로 다른 객체 예를 들어, 사람과 차량, 차량으로 분류된 객체 중 이륜차와 대형 트럭, 그리고 시야가 확보되지 않은 상황에서 각 객체의 모션 벡터에 대한 데이터를 기반으로 미리 학습된 상황 예측 딥러닝 알고리즘을 바탕으로 향후 사고 발생 형태와 위험 가능성을 판단하여 그에 따른 주의 또는 경보 신호를 생성할 수 있다. 여기서, 위험 가능성은 해당 카메라 감시 지역에서 각 객체들이 동일한 상황에서 반복적으로 또는 유사하게 사고가 일어났는지 일어나지 않는지에 대한 통계 정보도 반영될 수 있으며, 이러한 통계 정보와 사고 유형, 다양한 사고 시뮬레이션을 바탕으로 여러 상황에 대한 상황을 예측함으로써 얻은 결과일 수 있다.

상기 상황 관리부(500)는 모션 벡터 검출부(300)를 통해 검출된 모션 벡터와 객체 식별부(200)를 통해 인식된 각각의 객체 데이터 중 어느 하나를 기초로 객체에 대한 주변 상태를 감시하고, 감시 결과를 기초로 응급상황을 판단하여 기 등록된 관계기관 및 관리자에게 응급상황임을 알릴 수 있다.

또한, 상기 상황 관리부(500)는 스캐닝데이터 및 열화상데이터를 기반으로 객체 인식과, 인식된 객체에 대한 움직임과 활동 분석을 통해 객체의 활동량을 체크하여 객체에 대한 주변 상태(즉, 객체의 상태 정보)를 감시하고, 감시 결과를 기초로 응급상황을 판단하여 기 등록된 관계기관 및 관리자에게 응급상황임을 알릴 수 있다.

한편, 상기 IoT 장치(10)는, 객체가 위치되는 공간에 설치되고, 객체를 대상으로 라이다 센서를 이용한 스캐닝데이터와, 열화상 센서를 이용한 열화상데이터를 각각 획득하고, 객체의 음성명령을 인식하여 응급구조요청신호를 발생시키고, 각종 센서로부터 획득한 스캐닝데이터, 열화상데이터, 온/습도데이터, 조도데이터 및 응급구조요청신호를 객체 검출부(100) 또는 직접 외부 기관 서버(미도시)로 각각 전송할 수 있다. 이와 같이 IoT 장치(10)로부터 획득된 데이터는 객체의 응급상황에 더하여 객체의 주변 데이터를 이용하여 객체의 현재 상태 정보도 함께 전송하여줌으로써, 관리자에게 보다 명확한 현재 상황(즉, 위험 상황 및 환자상황)을 알려줄 수 있게 된다.

도 3을 참조하면, IoT 장치(10)는 라이다 센서부(11), 열화상 센서부(12), 온/습도 센서부(13), 조도 센서부(미도시), 음성 인식부(14), 기기 제어부(16) 및 장치 통신부(15) 중 적어도 하나를 포함할 수 있다. 이러한 IoT 장치(10)는 객체가 위치하는 공간에 설치되고, 라이다 센서부(11)와 열화상 센서부(12)의 시야각(Field of View, FoV)과 감지거리를 고려하여 해당 공간 중 적당한 위치에 적어도 하나 이상이 곳곳에 설치될 수 있으며, 각 장치 별로 고유ID가 할당되어 있어 객체 검출부(100) 또는 외부 기관 서버와의 통신 시 각 고유ID를 기반으로 각종 데이터와 신호를 구분하여 송수신 할 수 있도록 한다.

상기 라이다 센서부(11)는, 객체에 대한 레이저 스캐닝을 통해 스캐닝데이터를 생성할 수 있다. 이러한 라이다 센서부(11)는, 다중 배열 수신 소자인 FPA(Focal Plane Array)를 이용하여 공간 내 각 객체에 대한 스캐닝데이터로서 점군데이터(Point Cloud Data, PCD)를 생성하는 플래시 라이다 센서(Flash LIDAR Sensor)를 포함할 수 있다.

이러한 플래시 라이다 센서는, 카메라의 플래시처럼 모든 측정 방향의 시야각(FoV)에 레이저 신호를 확산 송출한 후 개별 수신 소자에서 거리 측정이 가 능한 다중 배열 수신 소자인 FPA(Focal Plane Array)를 이용하므로 측정 방향 별로 거리를 측정하여 측정 방향의 개수와 상관없이 측정 시간이 일정하다. 여기서, FPA는 ㎛ 크기의 PD(Photo Detector)들을 실리콘 반도체에 집적한 것으로서, 수신한 레이저 신호를 전기 신호로 바꾸는 ROIC(Readout Integrated Circuit)를 통하여 각각의 PD에 수신된 신호를 읽을 수 있다.

상기 라이다 센서부(11)는 IoT 장치(10)의 전방 하단부에 설치될 수 있으나, 본 실시예에서는 IoT 장치(10)에서 라이다 센서부(11)의 설치 위치를 이와 같이 한정하는 것은 아니며 다양하게 변경 가능하다.

일반적으로, 라이다 센서는 레이저를 원하는 측정 방향이나 측정점(Measuring Point)으로 송출하기 위하여 다양한 방법을 사용하는데, 본 실시예에 따른 플래시 라이다 센서의 경우 항상 라이다 전방만 측정할 수 있으며, 스캐닝된 데이터에서 각 객체는 다수의 점군을 표시되며, 각 점군 객체에 대한 레이저 신호의 송수신 시간을 이용하여 플래시 라이다 센서와의 거리 값이 계산될 수 있다. 또한, 플래시 라이다 센서는 반사된 빛의 강도에 따라 Intensity 값이 점군데이터(PCD)에 함께 저장되기 때문에, 객체 표면의 재질이나 반사각 등에 의해 값이 변하게 되는 성질을 가지고 있다. 이와 같이 점군데이터(PCD)에는 객체와의 거리와 높이 정보뿐만 아니라 방향과 강도 정보도 포함되어 있다.

상기 열화상 센서부(12)는, 객체에 대한 적외선 강도 검출을 통해 열화상데이터를 생성하는 PIR(Passive Infrared Sensor) 기반으로 이루어진 센서일 수 있다. 열화상 센서부(12)는 인체로부터 방출되는 적외선(8~14㎛)을 감지하고, 감지된 적외선 파장을 온도로 환산하고, 이를 소정의 필터를 통해 온도분포를 흑백 농담 또는 색깔로 표시한 열화상으로 변환한 데이터를 생성함으로써, 대상 객체에 대한 존재 여부 및 움직임을 감지할 수 있도록 한다.

상기 열화상 센서부(12)는, IoT 장치(10)의 전방 상부에 설치될 수 있으나, 본 실시예에서는 IoT 장치(10)에서 열화상 센서부(12)의 설치 위치를 이와 같이 한정하는 것은 아니며 다양하게 변경 가능하다.

상기 온/습도 센서부(13)는, 객체가 위치되는 공간에 대한 온도와 습도 측정을 통해 온/습도데이터를 생성할 수 있다. 본 실시예에 따른 온/습도 센서부(13)는 주변 온도와 습도 각각에 따라 전기적 변화(전기저항, 정전용량 변화)를 기반으로 온도 값과 습도 값을 각각 얻을 수 있는 전자식 온도계와 습도계를 포함할 수 있다.

상기 온/습도 센서부(13)는 IoT 장치(10)의 전방 중앙부에 설치될 수 있으나, 본 실시예에서는 IoT 장치(10)에서 온/습도 센서부(13)의 설치 위치를 이와 같이 한정하는 것은 아니며 다양하게 변경 가능하다.

상기 조도 센서부는, 객체가 위치되는 공간에 대한 조도(빛의 양) 측정을 통해 조도데이터를 생성할 수 있다. 이러한 조도데이터는 공간 내에 거동이 불편하거나 위험 상황에 놓인 객체에 대한 편의를 제공하기 위한 조명 제어를 위해 활용될 수 있다.

상기 조도 센서부는 장치의 전방 중앙부에 설치될 수 있으나, 본 실시예에서는 IoT 장치(10)에서 조도 센서부의 설치 위치를 이와 같이 한정하는 것은 아니며 다양하게 변경 가능하다.

상기 음성 인식부(14)는, 객체로부터 음성신호를 입력 받고, 입력된 음성신호의 인식과정에서 기 등록된 음성명령을 인식하면, 응급구조요청신호를 발생시킬 수 있다. 이러한 음성 인식부(14)는 도시되지 않았으나, 마이크, ADC(Analog To Digital Convertor), STT(Speech To Text) 변환기, 음성명령인식 프로세서 등을 포함할 수 있다. 여기서 마이크는 객체가 발성한 음성을 입력 받고, 입력된 음성을 전기적신호(아날로그신호)로 변환하고, ADC는 마이크를 통해 변환된 전기적신호에 대한 샘플링 및 양자화 과정을 거쳐 디지털신호인 음성데이터로 변환하고, STT는 음성데이터를 텍스트데이터로 변환하며, 음성명령인식 프로세서는 인공지능 기반의 음성인식 알고리즘을 기반으로 텍스트데이터에 포함된 화자가 말한 내용의 의미를 분석하고, 분석 결과 응급상황에 대한 음성명령으로 인식되는 경우 해당 상황에 맞는 응급구조요청신호를 출력할 수 있다. 일반적으로 객체에 대한 응급상황이 발생되면 '도와주세요' 또는 '살려주세요' 등의 구조요청을 하게 되지만, '~에 부딪혔어요', '호흡이 안 되요' 등 다소 구체적인 사고 또는 상황에 대한 내용을 포함한 구조요청도 포함될 수 있으므로, 피구조자가 말하는 다양한 표현을 이해하고, 이를 응급상황인지 여부로 정확히 판단할 필요가 있다. 이에 따라, 음성의 구조요청이나 신고와 관련하여 미리 학습된 인공지능 알고리즘을 활용하여 보다 정확한 응급상황 인지 및 판단이 필요하며, 이는 긴급구조를 준비하는 과정에서 중요한 정보로 활용될 수 있다.

본 실시예에서는 음성 인식부(14)가 피구조자의 음성과 그 내용을 모두 이해하고 응급구조요청신호를 발생시키는 것으로 설명하였으나, 이러한 실시 형태로만 구현되는 것이 아니라, IoT 장치(10)의 하드웨어 및 소프트웨어의 간소화와 제작 비용 절감을 위하여 본 실시예의 음성 인식부(14)는 인식된 텍스트데이터를 외부 기관 서버로 전달하고, 외부 기관 서버에서 해당 텍스트데이터를 기반으로 음성명령에 대한 판단을 실시할 수 있는 형태로도 구현 가능하다.

한편, 음성 인식부(14)는 마이크와 더불어 스피커를 통해 외부 기관 서버와 연계된 기관 또는 관리자와 실시간 통화를 통해 피구조자의 응급상황을 보다 정확히 판단할 수 있음과 더불어 신속한 대응이 가능하도록 구성될 수 있다.

상기 기기 제어부(16)는, 장치 통신부(15)를 통해 상황 관리부(500)로부터 온/습도데이터 및 조도 데이터 중 적어도 하나에 따른 기기제어신호를 수신하고, 수신된 기기제어신호에 따른 IoT 기기의 동작을 자동 제어할 수 있다.

상기 장치 통신부(15)는, 점군데이터(스캐닝데이터), 열화상데이터, 온/습도데이터, 조도데이터 및 응급구조요청신호 등 IoT 장치(10)에서 생성된 각종 데이터와 신호를 외부 기관 서버로 각각 전송할 뿐만 아니라, 외부 기관 서버로부터 다양한 신호나 데이터를 수신할 수 있다. 본 실시예에 따른 장치 통신부(15)는 위급상황을 신속히 전달하기 위한 LTE-M 기반의 통신 모듈로 구성될 수 있으나, 본 실시예에서는 장치 통신부(15)의 통신 방식에 대하여 구체적으로 한정하는 것은 아니다.

상기 열화상 객체 감시부(510)는, 미리 구축된 열화상 객체 인식 알고리즘을 기반으로 열화상데이터로부터 취약계층에 대한 열화상 객체를 인식하고, 인식된 열화상 객체에 대한 움직임과 활동량을 각각 파악하고, 움직임 파악 결과를 기반으로 객체에 대한 응급상황을 판단할 수 있다. 열화상 센서부(12)를 통해 생성된 열화상데이터는 온도분포에 따른 객체를 흑백 농담 또는 색깔로 표시함에 따라 해당 영상으로부터 객체를 인식 및 식별할 수 있을 뿐만 아니라, 인식 및 식별된 해당 객체가 갖는 형상의 움직임을 추적 및 파악하여 해당 객체에 대한 행동 및 활동을 분석하고, 그에 따라 객체의 응급상황을 판단함과 동시에 객체가 언제 얼마나 어떠한 활동을 하는지를 분석함으로써 객체의 활동량도 파악할 수 있다.

이를 위해, 열화상 객체의 움직임 및 행동과 그에 따른 열화상 객체의 상황 판단 결과를 학습한 인공지능 기반의 열화상 객체 인식 알고리즘을 활용할 수 있으며, 이때, 해당 알고리즘의 입력 데이터로서 열화상데이터를 입력 받고, 그에 따른 응급상황 또는 일반활동에 대한 판단 결과를 출력할 수 있다. 이러한 열화상 객체 인식 알고리즘을 통해 열화상 객체 행동 및 활동을 분석하고, 객체의 응급상황을 판단하고 활동량을 분석한 결과를 제공할 수 있다.

상기 점군 객체 감시부(520)는, 미리 구축된 점군 객체 인식 알고리즘을 기반으로 점군데이터로부터 객체가 위치되는 공간의 시설물에 대한 제1 점군 객체와 객체에 대한 제2 점군 객체를 각각 인식하고, 인식된 제1 점군 객체와 제2 점군 객체에 대한 각각의 거리를 파악하여 공간 내 객체의 위치를 인식하며, 인식된 제2 객체에 대한 움직임과 활동량을 각각 파악하고, 움직임 파악 결과를 기반으로 객체에 대한 응급상황을 판단할 수 있다.

이러한 점군데이터에는 객체와의 거리와 높이, 방향과 강도 정보가 포함되어 있어, 점군 객체 인식 알고리즘을 활용하여 점군데이터 내 객체를 인식 및 식별하고, 인식 및 식별된 객체에 대한 정확한 위치를 파악할 수 있다. 즉, 인공지능 기반의 열화상 객체 인식 알고리즘을 통해 공간을 이루는 제1 점군 객체(시설물)와 공간 내 존재하는 제2 점군 객체(객체)을 인식 및 식별하고, 이들과 라이다 센서부(11)와의 거리정보를 기반으로 객체가 위치되는 공간 내 어느 위치에 있는지를 인식 및 파악할 수 있다. 이 뿐만 아니라, 점군 객체의 움직임 및 행동과 그에 따른 점군 객체의 상황 판단 결과를 학습한 인공지능 기반의 점군 객체 인식 알고리즘을 활용할 수 있으며, 이때, 해당 알고리즘의 입력 데이터로서 제2 점군 객체 데이터(또는 점군데이터 자체)를 입력 받고, 제2 점군 객체가 갖는 형상을 기반으로 형상 추적 및 인식을 통해 객체의 움직임, 행동 및 활동을 분석하여 객체가 현재 응급상황에 처해있는지를 인식할 수 있다.

또한, 객체 형상 추적과 움직임 인식을 통해 이벤트 전후에 객체의 움직임을 분석하여 어떠한 사고나 응급상황이 발생된 것인지를 정확히 판단할 수 있다. 예를 들어, 객체가 지면으로부터 소정의 높이 위치하였다가 단시간 또는 일정 속도 이상으로 지면에 위치하면서 이후의 행동이 통증 호소, 움직임 정지, 발작 등의 후속 행동을 인지하는 경우 사고 발생으로 판단하여 이에 대한 상황을 신고 또는 전파할 수 있도록 한다.

상기 응급상황발생신호 제공부(530)는, 열화상 객체 감시부(510)와 점군 객체 감시부(520) 중 적어도 하나를 통해 객체에 대한 응급상황으로 판단되거나, 응급구조요청신호를 수신하는 경우 점군 객체 감시부(520)를 통해 인식된 객체의 위치정보를 포함한 응급상황발생신호를 생성하여 출력할 수 있다. 이러한 응급상황발생신호는 IoT 장치(10)의 고유ID를 기반으로 기 등록된 객체정보, 상세응급상황정보, 공간 내 객체의 위치정보, 응급상황발생시간정보 등을 포함할 수 있으며, 응급상황에 따라 해당 기관에 신속히 신고 접수하여 빠르고 정확한 대응이 가능하도록 한다.

상기와 같이 구성된 본 발명에 따른 딥러닝 기반의 객체 인식 및 모니터링 시스템에 의하면, 도로 위 CCTV의 스마트 기능을 활용해 다양한 객체를 검출하고, 검출된 객체의 모션을 추적해 해당 객체 간의 사고 위험을 예측하거나, 하나의 기기 내에 열화상 센서, 라이다 센서, 음성 인식 센서를 통합하여 객체의 주변 상태를 감지하면서 응급상황 발생 시 관계기관이나 관리자에게 응급 상황임을 신속히 전달할 수 있다.

이상에서 설명한 것은 본 발명에 의한 딥러닝 기반의 객체 인식 및 모니터링 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

10: IoT 장치 11: 라이다 센서부
12: 열화상 센서부 13: 온/습도 센서부
14: 음성 인식부 15: 장치 통신부
16: 기기 제어부 100: 객체 검출부
200: 객체 식별부 300: 모션 벡터 검출부
400: 상황 관리부 410: 열화상 객체 감시부
420: 점군 객체 감시부 430: 응급상황발생신호 제공부
500: 객체 상황 예측부

Claims (3)

1. 미리 정의된 검출 딥러닝 알고리즘을 이용하여 적어도 하나의 감시 카메라 영상 및 IoT 장치로부터 적어도 하나의 객체 및 객체 데이터를 검출하는 객체 검출부;
   미리 정의된 인식 딥러닝 알고리즘을 이용하여 상기 객체 검출부를 통해 검출된 각각의 객체 및 객체 데이터를 식별하여 인식하는 객체 식별부;
   미리 정의된 모션 벡터 알고리즘을 이용하여 상기 객체 식별부를 통해 인식된 각각의 객체를 추적하며 해당 객체에 대한 모션 벡터를 검출하는 모션 벡터 검출부; 및
   상기 모션 벡터 검출부를 통해 검출된 모션 벡터와 상기 객체 식별부를 통해 인식된 각각의 객체 데이터 중 어느 하나를 기초로 객체에 대한 주변 상태를 감시하고, 감시 결과를 기초로 응급상황을 판단하여 기 등록된 관계기관 및 관리자에게 응급상황을 알리는 상황 관리부를 포함하는 딥러닝 기반의 객체 인식 및 모니터링 시스템으로,
   상기 객체 식별부는 차량, 사람, 동물 및 도로 사물을 포함하는 상위 객체를 인식하고,
   상기 차량에 대한 객체는, 복수의 제1 분류 정보로 정의되고,
   상기 도로 사물은 복수의 제2 분류 정보로 분류되고,
   상기 모션 벡터 검출부는,
   상기 객체 식별부를 통해 인식된 제1 분류 정보 중 적어도 하나를 마커(maker)로 설정하고, 상기 마커를 기준으로 상기 객체 식별부를 통해 인식된 차량, 사람 및 동물의 움직임을 추적하며 해당 객체에 대한 이동방향과 이동속도를 각각 산출하며,
   상기 딥러닝 기반의 객체 인식 및 모니터링 시스템은,
   미리 정의된 상황 예측 딥러닝 알고리즘을 이용하여 상기 객체 식별부를 통해 인식된 객체 식별 정보와 상기 모션 벡터 검출부를 통해 검출된 모션 벡터에 따른 객체 간에 일어날 상황을 예측하는 객체 상황 예측부를 더 포함하며,
   상기 객체 상황 예측부는,
   미리 정의된 상황 예측 딥러닝 알고리즘을 이용하여 차량의 모션 벡터와 사람 및 동물 중 적어도 하나의 모션 벡터에 따라 차량과 사람 또는 차량과 동물이 미리 설정된 시간 이내에 접촉할 것으로 예측되면, 제1 주의 상황으로 판단하고,
   상기 도로 상에 제1 분류 정보에 포함된 대형 트럭과 이륜차가 미리 설정된 거리 이내로 상호 근접하며 정지상태인 것으로 인식되면 제2 주의 상황으로 판단하고, 상기 제2 주의 상황에서 대형 트럭과 이륜차가 정지상태에서 이륜차가 대형 트럭과 미리 설정된 거리 이내로 근접 상태로 이동하는 경우 객체 경고 상황으로 판단하는 것을 특징으로 하며,
   상기 IoT 장치는,
   객체에 대한 레이저 스캐닝을 통해 스캐닝데이터를 생성하는 라이다 센서부;
   객체에 대한 적외선 강도 검출을 통해 열화상데이터를 생성하는 PIR 기반의 열화상 센서부;
   객체 주변 공간에 대한 온도와 습도 측정을 통해 온/습도데이터를 생성하는 온/습도 센서부;
   객체 주변 공간에 대한 조도 측정을 통해 조도데이터를 생성하는 조도 센서부;
   객체로부터 음성신호를 입력 받고, 입력된 음성신호의 인식과정에서 기 등록된 음성명령을 인식하면, 응급구조요청신호를 발생시키는 음성 인식부;
   상기 스캐닝데이터, 상기 열화상데이터, 상기 온/습도데이터, 상기 조도데이터 및 상기 응급구조요청신호를 상기 객체 식별부로 각각 전송하는 장치 통신부; 및
   상기 장치 통신부를 통해 상기 상황 관리부로부터 상기 온/습도데이터, 상기 조도데이터 중 적어도 하나에 따른 기기제어신호를 수신하고, 수신된 상기 기기제어신호에 따른 IoT 장치의 동작을 자동 제어하는 기기 제어부를 포함하고,
   상기 객체 데이터는 상기 스캐닝데이터, 상기 열화상데이터, 상기 온/습도데이터, 상기 조도데이터를 포함하고,
   상기 라이다 센서부는,
   다중 배열 수신 소자인 FPA(Focal Plane Array)를 이용하여 주변 공간 내 각 객체에 대한 상기 스캐닝데이터로서 점군데이터를 생성하는 플래시 라이다 센서를 포함하되,
   상기 상황 관리부는
   미리 구축된 열화상 객체 인식 알고리즘을 기반으로 상기 열화상데이터로부터 열화상 객체를 인식하고, 상기 인식된 열화상 객체에 대한 움직임과 활동량을 각각 파악하고, 움직임 파악 결과를 기반으로 응급상황을 판단하는 열화상 객체 감시부;
   미리 구축된 점군 객체 인식 알고리즘을 기반으로 상기 점군데이터로부터 주변 공간의 벽체에 대한 제1 점군 객체와 객체에 대한 제2 점군 객체를 각각 인식하고, 상기 인식된 제1 점군 객체와 제2 점군 객체에 대한 각각의 거리를 파악하여 주변 공간 내 객체의 위치를 인식하며, 상기 인식된 제2 객체에 대한 움직임과 활동량을 각각 파악하고, 움직임 파악 결과를 기반으로 응급상황을 판단하는 점군 객체 감시부; 및
   상기 열화상 객체 감시부와 상기 점군 객체 감시부 중 적어도 하나를 통해 객체에 대한 응급상황으로 판단되거나, 상기 응급구조요청신호를 수신하는 경우 상기 점군 객체 감시부를 통해 인식된 객체의 위치정보를 포함한 응급상황발생신호를 생성하여 기 등록된 기관 및 관리자에게 제공하는 응급상황발생신호 제공부;를 포함하는 것을 특징으로 하는 딥러닝 기반의 객체 인식 및 모니터링 시스템.
2. 삭제
3. 삭제

Images