KR102459503B1

KR102459503B1 - 듀얼센서를 이용한 감시영역 이상 모니터링 시스템 및 방법

Info

Publication number: KR102459503B1
Application number: KR1020220070002A
Authority: KR
Inventors: 박희옥; 남상미; 김상준; 한현택
Original assignee: 베스트 주식회사
Priority date: 2022-06-09
Filing date: 2022-06-09
Publication date: 2022-10-27

Abstract

본 발명은 지역 이상 모니터링 시스템 및 방법에 관한 것으로, 더욱 상세하게는 다양한 장비가 설치된 다수의 감시영역을 포함하는 빌딩 등의 자동관제영역에서 상기 감시영역에 음향을 측정하는 음향센서모듈과, 열영상 및 일반영상을 촬영할 수 있는 듀얼 카메라를 포함하는 듀얼센서 수단을 설치하여, 영상에 의한 감시영역의 이상을 감지할 뿐만 아니라, 현재 측정된 음향에 대한 음향 기준치 또는 온도의 크기에 대한 온도 기준치가 정상 시 측정되는 이전 시점의 음향 기준치 및 온도 기준치의 상하 편차에 의해 정의되는 각각의 상하위 임계치를 벗어나는지의 여부에 따라 상기 감시영역에 있는 장비의 고장, 화재, 누수, 침입 등과 같은 이상을 감지하는 듀얼센서를 이용한 감시영역 이상 모니터링 시스템 및 방법에 관한 것이다.

Description

듀얼센서를 이용한 감시영역 이상 모니터링 시스템 및 방법{Monitoring area abnormality monitoring system using dual sensor and method thereof}

통상적으로 공장, 빌딩, 아파트 등과 같은 건물 등의 전력, 공조, 펌프, 수도, 수도 방재 등 중 어느 하나 이상을 자동으로 관제하고자 하는 영역인 자동관제영역의 특성에 따라 상기 자동관제영역 내에는 전력 시설, 공조 시설, 펌프 시설, 수도 시설, 화재 방재 시설 등과 같은 다양한 시설들이 구성되어야 하며, 이러한 시설을 구성하기 위한 다양한 장비들이 구비되는 다수의 영역(이하 "감시영역"이라 함)이 구성된다.

자동관제영역 내에 설치되는 시설의 장비가 설치된 장소에서는 누전 또는 방화에 의한 화재, 동파 등으로 인한 누수, 환풍기(공조기) 등의 고장, 침입 등과 같은 다양한 이상(징후)들이 발생될 수 있을 것이다.

따라서 시설들을 관리하기 위해 관리자는 해당 시설의 장비들이 설치된 감시영역들을 순찰하거나, 해당 장비를 원격으로 모니터링 및 제어할 수 있는 각각의 전력관제시스템, 공조관제시스템, 수도관제시스템, 화재모니터링 및 방재시스템 등과 같은 다양한 관제시스템들이 개발되어 자동관제영역에 설치되고 있다. 상술한 관제시스템들 중 어느 하나 이상을 포함하여 구성되는 시스템을 빌딩관제시스템이라 한다.

그러나, 관리자에 의해 상술한 건물 내의 모든 감시영역의 빌딩관제시스템의 시설들을 지속적으로 관제하는 방식은 많은 시간과 많은 관리자를 필요로 하므로, 관리자에게는 많은 감시영역을 꼼꼼히 감시하는 데 어려움이 있으며, 빌딩 소유자 입장에서는 많은 관제비용이 발생하는 문제점이 있다.

그리고 각각의 관제시스템을 구비하는 방식은 해당 관제시스템에 대응하는 각각의 센서와 시스템을 구비해야 하므로 시스템 구축 비용이 많이 소요되며, 다수의 시스템이 구축되므로 각 시스템 센서들의 설치에 따른 설치 시간 및 비용이 증가하는 문제점이 있다.

이러한 문제점을 개선하기 위해 대한민국 등록특허 제10-1817940호(2018.02.21.공고) "듀얼 영상 카메라를 이용한 이상징후 모니터링 시스템 및 방법"(이하 "선행특허"라 함)은 통합적인 빌딩관제시스템을 구축하고, 열화상과 일반영상을 동시에 촬영할 수 있는 듀얼영상 카메라를 이용하여 감시영역의 이상징후를 감지할 수 있도록 하여, 설치되는 센서의 수를 최소화하면서도 효율적으로 감시영역을 모니터링할 수 있는 기술을 개시하고 있다.

그러나 선행특허는 영상에 기반하여 모든 이상징후를 감지하므로 정확도가 높기는 하나, 영상 기반의 객체 인식에 많은 시간이 소요되고, 특정 환경에서 객체 인식률이 떨어질 수 있다.

따라서, 설치 센서의 수를 최소화하고, 시스템 부하 및 이상 감지에 소요되는 시간을 감소시키면서도 감시영역 및 감시영역에 설치된 시설의 이상에 대한 인식률을 높일 수 있는 빌딩관제시스템인 통합관제시스템의 개발이 요구되고 있다.

특히, 통합관제시스템에서 감시영역의 이상을 감지할 수 있는 감시영역 이상 모니터링 시스템의 개발이 요구되고 있다.

대한민국 등록특허 제10-1817940호(2018.02.21.공고) 대한민국 공개특허 제10-2014-0118425호(2014.10.13.공고)

따라서 본 발명의 목적은 다양한 장비가 설치된 다수의 감시영역을 포함하는 빌딩 등의 자동관제영역에서 상기 감시영역에 음향을 측정하는 음향센서모듈과, 열영상 및 일반영상을 촬영할 수 있는 듀얼 카메라를 포함하는 듀얼센서 수단을 설치하여, 영상에 의한 감시영역의 이상을 감지할 뿐만 아니라, 현재 측정된 음향에 대한 음향 기준치 또는 온도의 크기에 대한 온도 기준치가 정상 시 측정되는 이전 시점의 음향 기준치 및 온도 기준치의 상하 편차에 의해 정의되는 각각의 상하위 임계치를 벗어나는지의 여부에 따라 상기 감시영역에 있는 장비의 고장, 화재, 누수, 침입 등과 같은 이상을 감지하는 듀얼센서를 이용한 감시영역 이상 모니터링 시스템 및 방법을 제공함에 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 듀얼센서를 이용한 감시영역 이상 모니터링 시스템은: 자동관제영역의 감시영역별로 설치되고 해당 감시영역에서 발생되는 음향에 대한 음향신호를 모니터링 데이터로써 출력하는 음향센서모듈과, 감시영역별로 설치되어 해당 감시영역을 촬영한 열영상 및 일반영상 중 어느 하나 이상을 모니터링 데이터로써 출력하는 듀얼 카메라를 포함하는 듀얼센서부; 및 상기 감시영역별 음향센서모듈 및 듀얼 카메라로부터 음향신호 및 열영상을 획득하고, 음향신호 및 열영상을 분석하여 해당 감시영역에 이상 발생 가능성이 있는지를 모니터링하고, 이상 발생 가능성 존재 시 듀얼 카메라로부터 획득되는 일반영상을 분석하여 상기 감시영역에서 이상이 발생했는지를 판단하며, 이상 발생 시 감시영역의 위치정보 및 이상 정보를 포함하는 이상통지정보를 생성한 후, 상기 자동관제영역의 감시영역별로 설치된 장비들의 동작을 제어하는 통합관제시스템으로 전송하는 영역 감시부를 포함하되, 상기 영역 감시부는, 유무선 데이터통신망을 통해 상기 음향센서모듈 및 듀얼 카메라와 데이터통신을 수행하는 통신부; 감시영역별 위치정보를 포함하는 감시영역 정보, 감시영역에 설치된 장비정보를 설치된 감시영역에 대응하는 감시영역 정보에 맵핑하여 저장하는 장비 DB와, 감시영역별로 설치된 장비에 대응하고 시간에 따른 음향 기준데이터 및 온도 기준데이터를 저장하는 데이터 DB와, 감시영역별 상기 음향 및 온도 각각에 대한 음향 편차 및 온도 편차를 저장하는 이상 기준치 DB를 포함하는 저장부; 및 상기 통신부를 통해 상기 감시영역별 음향센서모듈 및 듀얼 카메라로부터 음향신호 및 열영상을 획득하고, 하기 수학식 1에 의해 시간에 따라 획득되는 음향신호의 현재의 음향 측정치와 이전 시점의 음향 측정치를 평균하여 음향 기준치를 계산하며, 시간에 따라 변경된 음향 기준치를 포함하는 음향 기준데이터를 변경 생성하고, 하기 수학식 1에 의해 시간에 따라 획득되는 현재의 온도와 이전 시점의 온도를 평균하여 온도 기준치를 계산하며, 시간에 따라 변경된 상기 온도 기준치를 포함하는 온도 기준데이터를 변경 생성하여, 상기 변경된 음향 기준데이터 및 온도 기준데이터를 상기 데이터 DB에 저장하고, 하기 수학식 2에 의해 상기 데이터 DB에 저장된 해당 감시영역의 음향 기준 데이터의 이전 음향 기준치와 음향 편차에 의해 결정되는 음향 상하위 임계치(F(x))와 측정된 현재의 상기 음향 기준치를 비교하고, 온도 기준데이터의 이전 온도 기준치와 온도 편차에 의해 결정되는 온도 상하위 임계치와 측정된 현재의 상기 온도 기준치를 비교하여, 상기 현재의 음향 기준치가 음향 상하위 임계치를 벗어나는지 또는 현재의 온도 기준치가 온도 상하위 임계치를 벗어나는지를 검사하여 상기 감시영역에서 이상 발생 가능성이 있는지를 모니터링하고, 이상 발생 가능성 존재 시 듀얼 카메라로부터 획득되는 일반영상을 해당 감시영역에 설치된 장비에 대응한 분석을 수행하여 상기 감시영역에서 이상이 발생했는지를 판단하며, 이상 발생 시 감시영역의 위치정보 및 이상 정보를 포함하는 이상통지정보를 생성한 후, 상기 자동관제영역의 감시영역별로 설치된 장비들의 동작을 제어하는 통합관제시스템으로 전송하는 제어부를 포함하는 것을 특징으로 한다.
[수학식 1]

여기서, M₀는 초기(t₀)에서의 센서신호 측정값인 절대 음향 기준치이고, G(x)는 초기 시간 이외에서의 이전 센서신호 측정값과 현재 센서신호 측정값의 평균값인 센서신호 기준치(음향 기준치 또는 온도 기준치)들에 대한 센서신호(음향, 온도) 기준데이터이고, M_tx-1은 이전 시점의 센서신호 측정 값(음향 크기 측정값 또는 온도 측정값)이고, M_tx는 현재 시점의 센서신호 측정값이다.
[수학식 2]

여기서, 편차는 상수이다.
상기 제어부는, 임의의 감시영역에 설치되는 상기 음향센서모듈 및 듀얼 카메라에 대해 감시영역 정보에 상기 음향센서모듈 및 듀얼 카메라의 기기 식별정보를 포함하는 장비정보를 맵핑하여 상기 장비 DB에 저장하여 상기 음향센서모듈 및 듀얼 카메라를 등록하는 듀얼센서 등록부; 상기 통신부를 통해 상기 감시영역별 음향센서모듈로부터 음향신호에 대한 모니터링 데이터를 획득하고, 듀얼 카메라로부터 열영상 및 일반영상 중 어느 하나 이상에 대한 모니터링 데이터를 선택적으로 획득하는 데이터 획득부; 상기 데이터 획득부를 통해 획득되는 음향신호 및 열영상 각각의 모니터링 데이터로부터 이전 시점까지의 시간에 따른 상기 음향 기준치를 포함하는 음향 기준데이터 및 상기 온도 기준치를 포함하는 온도 기준데이터를 생성하고, 현재의 음향 기준치 및 온도 기준치를 계산하는 데이터 가공부; 상기 이상 기준치 DB에 저장된 해당 감시영역의 음향 기준 데이터의 이전 음향 기준치와 음향 편차에 의해 결정되는 음향 상하위 임계치와 측정된 현재의 상기 음향 기준치를 비교하고, 온도 기준 데이터의 이전 온도 기준치와 온도 편차에 의해 결정되는 온도 상하위 기준치와 측정된 현재의 상기 온도 기준치를 비교하고 분석하여 해당 감시영역에서 이상 발생 가능성이 있는지를 판단하고 그 결과를 출력하는 이상 가능성 판단부; 이상 발생 가능성 존재 시 듀얼 카메라로부터 획득되는 일반영상을 해당 감시영역에 설치된 장비에 대응하여 분석하여 상기 감시영역에서 이상이 발생했는지를 결정하는 이상 결정부; 및 이상 발생 시 감시영역의 위치정보 및 이상 정보를 포함하는 이상통지정보를 생성한 후, 상기 자동관제영역의 감시영역별로 설치된 장비들의 동작을 제어하는 통합관제시스템으로 전송하는 통지부를 포함하는 것을 특징으로 한다.
상기 제어부는, 상기 듀얼센서 등록부를 통해 등록된 감시영역의 음향센서모듈 및 듀얼 카메라를 통해 정상 시의 상기 감시영역의 장비의 존재 여부 및 장비의 동작 상태에 따른 음향신호 및 열영상을 획득하여, 상기 감시영역에 대한 상기 음향 기준데이터 및 온도 기준데이터의 초기값인 절대 음향 기준치 및 절대 온도 기준치를 생성하여 음향 및 온도에 대한 해당 감시영역의 초기값으로 설정하는 설정부를 더 포함하되, 상기 데이터 가공부는, 상기 절대 음향 기준치를 상기 음향 기준데이터의 초기값에 포함시키고, 상기 절대 온도 기준치를 상기 온도 기준데이터의 초기값에 포함시켜 상기 데이터 DB에 저장하는는 것을 특징으로 한다.
상기 데이터 획득부는, 상기 음향센서모듈로부터 상기 음향신호에 대한 음향 데이터를 획득하는 음향 데이터 획득부; 상기 듀얼 카메라를 원격 제어하여 열영상 및 일반영상 중 어느 하나 이상을 획득하는 영상 획득부; 및 상기 통신부를 통해 상기 통합관제시스템으로부터 감시영역별 장비의 동작 상태정보를 획득하는 동작정보 획득부를 포함하는 것을 특징으로 한다.
상기 데이터 가공부는, 상기 감시영역에 대한 열영상에 대한 모니터링 데이터로부터 상기 감시영역의 온도를 검출하는 온도 데이터 획득부; 획득되는 음향신호 및 상기 온도 각각에 대한 현재의 음향 기준치 및 온도 기준치를 계산하는 기준치 획득부; 상기 기준치 획득부를 통해 시간에 따라 획득되는 이전 시점까지의 음향 기준치를 포함하는 상기 음향 기준데이터를 생성하고, 이전 시점까지의 온도 기준치를 포함하는 온도 기준데이터를 생성하는 기준치 추적부; 및 시간영역의 상기 음향신호에 대한 음향 기준데이터를 주파수 영역 데이터로 변환하여 출력하는 주파수 영역 데이터 획득부를 포함하는 것을 특징으로 한다.
상기 이상 가능성 판단부는, 시간영역에서 이전 시점(t-1)의 음향 기준치와 현재(t)의 음향 기준치를 비교하여 이상여부를 판단하는 음향 이상 판단부; 및 상기 온도 데이터 획득부를 통해 획득되는 온도와 상기 이상 기준치 DB에 저장된 해당 감시영역에 대한 온도 상하위 임계치를 비교하여 획득된 온도가 상기 온도 상하위 임계치를 벗어나는지를 판단하여 상기 감시영역의 이상 여부를 판단하는 온도 이상 판단부를 포함하는 것을 특징으로 한다.
상기 음향 이상 판단부는, 상기 음향신호에 대한 주파수 영역의 주파수 성분들과 해당 감시영역에 대해 미리 설정된 주파수 성분들을 비교하고, 상기 미리 설정된 주파수 성분들에 대응하는 주파수 영역의 주파수 성분의 크기가 해당 주파수 성분에 대해 미리 설정된 제1기준치 및 상기 제1기준치보다 더 큰 제2기준치를 초과하는지를 비교하여, 주파수 영역에서의 이상 발생 가능성을 판단하는 것을 특징으로 한다.
상기 이상 결정부는, 상기 음향신호에 대한 주파수 성분별 크기 중 해당 임계치를 초과하는 주파수 성분의 존재 여부와, 미리 설정되지 않은 주파수 성분의 존재 여부와, 시간영역에 음향 및 온도에 대한 현재의 음향 기준치 및 온도 기준치가 이전 시점의 상하음향 임계치 및 상하 온도 임계치를 초과하는지의 여부에 따라 이상 종류를 결정하는 것을 특징으로 한다.

삭제

상기와 같은 목적을 달성하기 위한 본 발명에 따른 듀얼센서를 이용한 감시영역 이상 모니터링 방법은: 영역 감시부의 제어부가 통신부를 통해 감시영역별 음향센서모듈 및 듀얼 카메라로부터 음향신호 및 열영상을 획득하는 데이터 획득 과정; 상기 제어부가 데이터 획득부를 통해 획득되는 상기 음향신호 및 열영상 각각의 모니터링 데이터로부터 하기 수학식 1에 의해 계산되는 이전 시점까지의 시간에 따라 변경되는 음향 기준치를 포함하는 음향 기준데이터 및 하기 수학식 1에 의해 계산되는 이전 시점까지의 시간에 따라 변경되는 온도 기준치를 포함하는 온도 기준데이터를 변경 생성하고, 현재의 음향 기준치 및 온도 기준치를 계산하는 데이터 가공 과정; 상기 제어부가 상기 이상 기준치 DB에 저장된 해당 감시영역의 음향 기준 데이터의 이전 음향 기준치와 음향 편차가 적용되는 하기 수학식 2에 의해 결정되는 음향 상하위 임계치와 측정된 현재의 상기 음향 기준치를 비교하고, 온도 기준 데이터의 이전 온도 기준치와 온도 편차에 의해 결정되는 온도 상하위 임계치와 측정된 현재의 상기 온도 기준치를 비교하고 분석하여 해당 감시영역에서 이상 발생 가능성이 있는지를 판단하고 그 결과를 출력하는 이상 발생 가능성 모니터링 과정; 상기 제어부가 이상 발생 가능성 존재 시 듀얼 카메라로부터 획득되는 일반영상을 해당 감시영역에 설치된 장비에 대응하여 분석하여 상기 감시영역에서 이상이 발생했는지를 판단하는 이상 판단 과정; 및 상기 제어부가 이상 발생 시 감시영역의 위치정보 및 이상 정보를 포함하는 이상통지정보를 생성한 후, 자동관제영역의 감시영역별로 설치된 장비들의 동작을 제어하는 통합관제시스템으로 전송하는 통지 과정을 포함하는 것을 특징으로 한다.
[수학식 1]

여기서, 편차는 상수이다.
상기 방법은: 상기 제어부가 임의의 감시영역에 설치되는 상기 음향센서모듈 및 듀얼 카메라에 대해 감시영역 정보에 상기 음향센서모듈 및 듀얼 카메라의 기기 식별정보를 포함하는 장비정보를 맵핑하여 장비 DB에 저장하여 상기 음향센서모듈 및 듀얼 카메라를 등록하는 듀얼센서 등록 과정을 더 포함하는 것을 특징으로 한다.
상기 방법은: 상기 제어부가 듀얼센서 등록부를 통해 등록된 감시영역의 음향센서모듈 및 듀얼 카메라를 통해 정상 시의 상기 감시영역의 장비의 존재 여부 및 장비의 동작 상태에 따른 음향신호 및 열영상을 획득하여, 상기 감시영역에 대한 상기 음향 기준데이터 및 온도 기준데이터의 초기값인 절대 음향 기준치 및 절대 온도 기준치를 생성하여 음향 및 온도에 대한 해당 감시영역의 초기값으로 설정하는 초기값 설정 과정을 더 포함하되, 상기 데이터 가공부는, 상기 절대 음향 기준치를 상기 음향 기준데이터의 초기값에 포함시키고, 상기 절대 온도 기준치를 상기 온도 기준데이터의 초기값에 포함시켜 상기 데이터 DB에 저장하는는 것을 특징으로 한다.
상기 데이터 획득 과정은, 상기 음향센서모듈로부터 상기 음향신호에 대한 음향 데이터를 획득하는 음향 데이터 획득 단계; 상기 듀얼 카메라를 원격 제어하여 열영상 및 일반영상 중 어느 하나 이상을 획득하는 영상 획득 단계; 및 통신부를 통해 상기 통합관제시스템으로부터 감시영역별 장비의 동작 상태정보를 획득하는 동작정보 획득 단계를 포함하되, 상기 제어부의 이상 가능성 판단부가 감시영역의 장비의 동작상태에 따른 음향 기준치를 적용하여, 상기 감시영역의 이상 가능성을 판단하는 것을 특징으로 한다.
상기 데이터 가공 과정은, 상기 제어부가 온도 데이터 획득부를 통해 상기 감시영역에 대한 열영상에 대한 모니터링 데이터로부터 상기 감시영역의 온도를 검출하는 온도 데이터 획득 단계; 상기 제어부가 기준치 획득부를 통해 획득되는 음향신호 및 상기 온도 각각에 대한 현재의 음향 기준치 및 온도 기준치를 계산하는 기준치 획득 단계; 상기 제어부가 기준치 추적부를 통해 상기 기준치 획득부에서 시간에 따라 획득되는 이전 시점까지의 음향 기준치를 포함하는 상기 음향 기준데이터를 생성하고, 이전 시점까지의 온도 기준치를 포함하는 온도 기준데이터를 생성하는 기준치 추적 단계; 및 상기 제어부가 주파수 영역 데이터 획득부를 통해 시간영역의 상기 음향신호에 대한 음향 기준데이터를 주파수 영역 데이터로 변환하여 출력하는 주파수 영역 데이터 획득 단계를 포함하는 것을 특징으로 한다.

삭제

본 발명은 음향센서모듈 및 듀얼 카메라만을 이용하여 감시영역의 이상 발생 여부를 모니터링할 수 있는 효과가 있다.

또한, 본 발명은 감시영역별로 설치된 장비에 따른 절대 음향 기준치 및 절대 온도 기준치를 결정하되, 시간에 따른 음향 기준치 및 온도 기준치를 추적한 음향 기준데이터 및 온도 기준데이터의 이전 음향 기준치 및 온도 기준치에 대해 미리 설정된 상하 편차를 가지는 상하위 임계치를 벗어나는 음향 또는 온도의 발생 시에만 해당 감시영역에 이상이 있는 것으로 판단하므로, 해당 감시영역의 장비의 일반적인 노화, 계절의 변화 등과 같이 일반적인 변화에 의해 점진적으로 자연스럽게 커지는 음향 또는 온도 증가에 대해서는 이상(징후)으로 감지하지 않도록 하여 이상징후 오인 판단을 방지할 수 있는 효과가 있다.

즉, 본 발명에 따라 이상징후를 감지하기 위한 음향 및 온도 각각에 대응하는 임계치는 이전 시점의 시간 및 이전 상태에 따라 변화된 기준치에 대해 상하로 일정 편차를 가지도록 설정하므로, 이상징후의 발생이 아닌 시간에 따라 또는 감시영역의 상태에 따라 변화되는 현재 시점의 기준치에 대해서는 정상으로 판단하므로 오동작을 방지한다. 예를 들어, 본 발명의 기준치는 이전 시점의 측정치와 현재 시점의 측정치를 평균하여 획득되므로 건물 주변의 소음상태에 적응적으로 변화되며, 이에 대한 임계치는 적응적으로 변화를 반영한 기준치로부터 상하로 일정 편차를 가지도록 설정되므로 건물 주변의 소음상태에 따른 변화를 이상징후로 판단하지 않으므로 오동작을 방지할 수 있다. 다시말하면, 본 발명은 이전 시점의 기준치에 대해 갑적스럽게 편차 이상 또는 이하의 변화가 있을 때만 해당 감시영역에 이상징후가 있는 것으로 판단하므로, 일반적인 기준치의 변화에 대해서는 이상징후로 판단하지 않으므로 일반적인 변화에 따른 오동작을 방지한다.

또한, 본 발명은 음향센서모듈을 통해 획득되는 시간영역 데이터인 음향 기준데이터를 주파수 영역 데이터로 변환하여 분석하므로, 일반영상의 분석 없이도 주파수 영역 데이터의 주파수 성분에 따른 이상상황 종류를 분석할 수 있으며, 보다 정확하게 이상상황을 검출할 수 있는 효과가 있다.

도 1은 본 발명에 따른 듀얼센서를 이용한 감시영역 이상 모니터링 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 듀얼센서를 이용한 감시영역 이상 모니터링 시스템의 영역 감시부의 상세 구성을 나타낸 도면이다.
도 3은 본 발명의 일실시 예에 따른 이상상황 발생 여부에 따른 시간영역의 음향신호 파형을 나타낸 도면이다.
도 4는 본 발명의 일실시 예에 따른 감시영역의 음향센서모듈에서 획득된 음향신호에 대한 주파수 영역 파형을 나타낸 도면이다.
도 5는 본 발명의 일실시 예에 따른 감시영역의 음향센서모듈에서 획득되는 음향신호에 대한 음향 기준데이터, 상위 임계치 데이터 및 하위 임계치 데이터의 시간영역 파형을 나타낸 도면이다.
도 6은 본 발명에 따른 듀얼센서를 이용한 감시영역 이상 모니터링 방법을 나타낸 흐름도이다.

이하 첨부된 도면을 참조하여 본 발명에 따른 듀얼센서를 이용한 감시영역 이상 모니터링 시스템의 구성 및 동작을 상세히 설명하고, 상기 시스템에서의 감시영역 이상 모니터링 방법을 설명한다.

도 1은 본 발명에 따른 듀얼센서를 이용한 감시영역 이상 모니터링 시스템의 구성을 나타낸 도면이다.

도 1을 참조하면, 본 발명에 따른 듀얼센서를 이용한 감시영역 이상 모니터링 시스템은 듀얼센서부(10) 및 영역 감시부(100)를 포함한다.

듀얼센서부(10) 및 영역 감시부(100) 각각은 유무선 데이터통신망(2)에 유선 및 무선 중 어느 하나로 접속한다.

듀얼센서부(10) 및 영역 감시부(100)는 유무선 데이터통신망(2)을 통해 상호 데이터통신을 수행한다.

상기 영역 감시부(100)는 유무선 데이터통신망(2)에 연결된 통합관제시스템(200) 및 적어도 하나 이상의 관리자 단말기(300)들과 상호 데이터통신을 수행한다.

유무선 데이터통신망(2)은 와이파이(WiFi)망 및 로컬망(Local Area Network: LAN)을 포함하는 인터넷망, 3세대(3 Generation: 3G), 4G, 5G 등을 포함하는 이동통신망, 와이브로망 등 중 어느 하나 이상을 포함하여 구성되는 데이터통신망일 수 있을 것이다.

통합관제시스템(200)은 자동관제영역의 감시영역(1)에 설치된 다양한 시설의 동작을 관제한다. 상기 시설은 상술한 바와 같이 전력 시설, 수도 시설, 공조 시설, 펌프 시설, 화재 방재 시설 등이 될 수 있을 것이다.

본 발명에 따라 통합관제시스템(200)은 유무선 데이터통신망(2)을 통해 영역 감시부(100)로부터 이상통지정보를 수신받아 관리자에게 경보하고, 수신된 이상통지정보에 의해 이상이 감지된 감시영역(1)에 설치된 장비의 동작을 관제하여, 상기 이상통지정보의 이상을 해결할 수 있도록 한다.

듀얼센서부(10)는 각 감시영역(1)에 설치되고, 유무선 데이터통신망(2)에 유선 및 무선 중 어느 하나로 연결되며, 감시영역(1)의 상태를 감지하고, 감시영역(1)의 상태에 대응하는 모니터링 데이터를 유무선 데이터통신망(2)을 통해 영역 감시부(100)로 전송한다.

상기 듀얼센서부(10)는 듀얼 카메라(11) 및 음향센서모듈(12)을 포함한다.

상기 듀얼 카메라(11)는 감시영역(1)을 촬영하여 열영상을 생성하는 열영상 모드 및 일반영상을 생성하는 일반영상 모드를 구비하며, 상기 열영상 모드 및 일반영 모드 중 어느 하나 이상을 선택적으로 구동할 수 있다.

상기 듀얼 카메라(11)는 유무선 데이터통신망(2)을 통해 영역 감시부(100)의 제어를 받아 상기 열영상 모드 및 일반영상 모드 중 어느 하나 이상으로 동작하여 열영상 및 일반영상 중 어느 하나 이상을 유무선 데이터통신망(2)을 통해 영역 감시부(100)로 전송한다.

음향센서모듈(12)은 감시영역(1)에서 발생되는 소리, 즉 음향에 대응하는 음향신호에 대한 모니터링 데이터를 생성하여 유무선 데이터통신망(2)을 통해 영역 감시부(100)로 전송한다.

상기 음향센서모듈(12)은 듀얼 카메라(11)와 일체로 구성될 수도 있을 것이다.

영역 감시부(100)는 자동관제영역의 모든 감시영역(1)들의 위치에 대한 위치정보를 저장하여 관리하고, 상기 감시영역(1)들 각각에 설치된 듀얼센서부(10)의 듀얼 카메라(11) 및 음향센서모듈(12)에 대한 장비 정보를 저장하여 관리한다.

영역 감시부(100)는 유무선 데이터통신망(2)을 통해 감시영역(1)별 듀얼 카메라(11) 및 음향센서모듈(12)로부터 모니터링 데이터인 음향신호와, 열영상 및 일반영상 중 어느 하나 이상을 획득하고, 상기 음향신호 및 열영상을 분석하여 해당 감시영역에 이상 발생 가능성이 있는지를 모니터링한다.

영역 감시부(100)는 이상 발생 가능성이 있는 경우, 듀얼 카메라(11)로부터 획득되는 일반영상을 분석하여 상기 감시영역에 이상이 발생했는지를 판단하며, 이상 발생 시 감시영역의 위치정보를 포함하는 감시영역정보 및 이상정보를 포함하는 이상통지정보를 생성한 후 유무선 데이터통신망(2)을 통해 통합관제시스템(200)으로 전송한다.

또한, 영역 감시부(100)는 상기 이상통지정보를 미리 설정된 관리자의 단말기인 관리자 단말기(300)로 전송할 수도 있을 것이다.

상기 관리자 단말기(300)는 데스크톱 컴퓨터, 개인용컴퓨터, 노트북 등의 컴퓨터 단말기일 수도 있고, 스마트폰, 스마트패드 등의 모바일 단말기일 수도 있으며, 본 발명에 따라 통합관제영역의 감시영역들의 상태정보를 확인할 수 있는 전용의 어플리케이션인 감시영역 모니터링 어플리케이션이 설치되어 있는 것이 바람직할 것이다.

상기 영역 감시부(100)의 상세 구성 및 동작은 도 2를 참조하여 설명한다.

도 2는 본 발명에 따른 듀얼센서를 이용한 감시영역 이상 모니터링 시스템의 영역 감시부의 상세 구성을 나타낸 도면이고, 도 3은 본 발명의 일실시 예에 따른 이상상황 발생 여부에 따른 시간영역의 음향신호 파형을 나타낸 도면이며, 도 4는 본 발명의 일실시 예에 따른 감시영역의 음향센서모듈에서 획득된 음향신호에 대한 주파수 영역 파형을 나타낸 도면이고, 도 5는 본 발명의 일실시 예에 따른 감시영역의 음향센서모듈에서 획득되는 음향신호에 대한 음향 기준데이터, 상위 임계치 데이터 및 하위 임계치 데이터의 시간영역 파형을 나타낸 도면이다. 이하 도 2 내지 도 5를 참조하여 설명한다.

본 발명에 따른 영역 감시부(100)는 저장부(110), 통신부(120) 및 제어부(130)를 포함한다.

상기 저장부(110)는 본 발명에 따른 영역 감시부(100)의 전반적인 동작을 제어하기 위한 제어프로그램을 저장하는 프로그램영역, 상기 제어프로그램 수행 중에 발생되는 데이터를 일시 저장하는 임시영역, 상기 제어프로그램 수행에 필요한 데이터 및 상기 제어프로그램 수행 중에 발생되는 데이터를 반영구적으로 저장하는 데이터영역을 포함한다. 본 발명에 따라 상기 데이터영역에는 장비 DB(111), 데이터 DB(112), 이상 기준치 DB(113), 관리자 DB(114)가 구성될 수 있을 것이다.

상기 장비 DB(111)는 감시영역(1)별 영역 식별정보 및 감시영역(1)별 위치정보를 포함하는 감시영역(1)별 감시영역 정보와, 각 감시영역(1)에 설치된 듀얼센서부(10)의 듀얼 카메라(11)의 기기 식별정보 및 접속정보와, 음향센서모듈(12)의 기기 식별정보 및 접속정보 등을 포함하는 감시영역(1)별 장비 정보를 해당 감시영역(1)의 감시영역 정보에 맵핑하여 저장한다.

상기 장비 DB(111)는 감시영역(1)별로 감시영역(1)에 설치된 시설의 장비 정보 및 장비별 동작상태정보를 더 저장할 수도 있을 것이다.

데이터 DB(112)는 듀얼센서부(10)들로부터 수집되는 음향신호, 열영상, 일반영상 등의 모니터링 데이터와, 감시영역(1)별로 설치된 장비, 즉 감시영역(1)별 음향센서모듈(12)에 대한 절대 음향 기준치 및 시간에 따른 음향 기준치들에 의해 구성되는 음향 기준데이터 및 듀얼 카메라(11)에 대한 절대 온도 기준치 및 시간에 따른 온도 기준치들에 의해 구성되는 온도 기준데이터 등과 같은 가공된 모니터링 데이터를 감시영역(1)별로 저장한다.

또한, 상기 감시영역(1)에 설치된 시설의 장비정보 및 장비별 동작상태정보는 상기 데이터 DB(112)에 저장될 수도 있을 것이다.

이상 기준치 DB(113)는 감시영역(1)별 편차를 저장하고, 감시영역(1)별 주파수 성분을 정의하고 있으며, 각 주파수 성분에 대한 제1임계치(404) 및 제2임계치(405)가 정의된다. 상기 제1임계치(404) 및 제2임계치(405)는 주파수 성분별로 동일하게 정의될 수도 있고, 주파수 성분별로 다르게 정의될 수도 있으며, 후술할 편차와 관련되어 정의될 수도 있을 것이다. 상기 주파수 영역에서의 임계치는 상술한 바와 같이 이상 발생 가능성에 대한 경고를 발생하기 위한 제1임계치 및 위험을 알리기 위한 제2임계치로 구분되어 저장될 수 있으며, 제2임계치가 제1임계치보다 클 것이다.

도 4를 예를 들면, 도 4의 주파수 성분 401 및 402는 해당 감시영역(1)에 대해 상기 이상 기준치 DB(113)에 미리 정의된 주파수 성분이나, 주파수 성분 403은 정의되지 않은 주파수 성분이므로 영역 감시부(100)는 해당 감시영역(1)에 이상이 있음을 나타낸다.

또한, 영역 감시부(100)는 도 4에서와 같이 정의되어 있는 주파수 성분 401, 402일지라도 이중 미리 설정된 경고 음향 크기 임계치인 제1임계치(404)를 초과하면 경고 상태로 인식하고, 위험 음향 크기 임계치인 제2임계치(405)를 초과하면 위험 상태로 인직할 수 있을 것이다.

또한, 상기 편차는 해당 감시영역(1)에서 발생하는 시간영역의 음향신호에 대한 이상을 감지하기 위한 상위 임계치 및 하위 임계치를 결정한다.

도 5를 참조하면 초기 절대 음향 기준치 및 시간에 따른 음향 기준치들을 포함하는 음향 기준데이터 또는 초기 절대 온도 기준치 및 시간에 따른 온도 기준치들을 포함하는 온도 기준데이터의 이전 기준치에 상으로 편차를 더하거나 하로 편차를 감산하여 상위 임계치 및 하위 임계치를 정의한다.

관리자 DB(114)는 감시영역(1)별로 적어도 한 명 이상의 관리자에 대한 관리자 정보를 저장한다. 상기 관리자 정보는 관리자의 이름, 사번, 부서, 전화번호, 본 발명에 따른 감시영역들의 상태정보를 확인할 수 있는 전용 어플리케이션인 감시영역 모니터링 어플리케이션의 앱아이디 등의 정보를 저장할 수 있을 것이다.

통신부(120)는 유무선 데이터통신망(2)에 접속하여, 상기 유무선 데이터통신망(2)에 접속한 다른 장치들과 상호 데이터통신을 수행할 수 있도록 한다.

제어부(130)는 데이터 획득부(150), 데이터 가공부(160), 이상 가능성 판단부(170), 이상 결정부(180) 및 통지부(190)를 포함하고, 실시예에 따라 듀얼센서 등록부(140) 및 설정부(145)를 더 포함하여, 본 발명에 따른 영역 감시부(100)의 전반적인 동작을 제어한다.

구체적으로 설명하면, 듀얼센서 등록부(140)는 임의의 감시영역(1)에 설치되는 음향센서모듈(12) 및 듀얼 카메라(11)의 기기 식별정보를 포함하는 장비정보를 감시영역 정보에 맵핑하여 상기 장비 DB(111)에 저장하여 상기 음향센서모듈(12) 및 듀얼 카메라(11)를 등록한다.

또한, 듀얼센서 등록부(140)는 듀얼센서부(10)의 듀얼 카메라(11) 및 음향센서모듈(12)과의 통신설정을 수행하고, 통신설정에 따른 접속정보(IP정보)를 장비정보에 맵핑하여 저장한다.

설정부(145)는 상기 듀얼센서 등록부(140)를 통해 등록된 감시영역의 음향센서모듈(12) 및 듀얼 카메라(11)를 통해 정상 시의 상기 감시영역(1)의 장비의 존재 여부 및 장비의 동작 상태에 따른 음향신호 및 열영상을 획득하여, 상기 감시영역에 대한 상기 음향 기준데이터 및 온도 기준데이터의 초기값인 절대 음향 기준치 및 절대 온도 기준치를 생성하여 음향 및 온도에 대한 해당 감시영역의 초기값으로 설정한다.

상기 설정부(145)는 관리자로부터 감시영역(1)별 편차정보를 입력받아 설정한다.

데이터 획득부(150)는 음향 데이터 획득부(151), 영상 획득부(152) 및 동작정보 획득부(153)를 포함하여, 통신부(120)를 통해 듀얼센서부(10) 및 통합관제시스템(200)으로부터 모니터링 데이터를 수집한다.

구체적으로, 음향 데이터 획득부(151)는 통신부(120)를 통해 음향센서모듈(12)로부터 도 3과 같은 시간영역의 음향신호에 대한 모니터링 데이터를 획득하여 데이터 DB(112)에 저장한다.

영상 획득부(152)는 통신부(120)를 통해 카메라 모듈(11)로부터 열영상 및 일반영상 중 어느 하나 이상을 획득하여 모니터링 데이터로서 데이터 DB(112)에 저장한다.

동작정보 획득부(153)는 통신부(120)를 통해 통합관제시스템(200)으로부터 감시영역(1)에 설치된 장비별 동작상태정보를 획득하여 장비 DB(111) 및 데이터 DB(112) 중 어느 하나 이상에 감시영역(1)별로 저장한다.

데이터 가공부(160)는 온도 데이터 획득부(161), 기준치 획득부(162), 기준치 추적부(163) 및 주파수 영역 데이터 획득부(164)를 포함하여, 상기 데이터 획득부(150)를 통해 획득되는 모니터링 데이터를 가공하여 데이터 DB(112)에 저장한다.

온도 데이터 획득부(161)는 상기 감시영역에 대한 열영상에 대한 모니터링 데이터로부터 상기 감시영역의 온도를 검출한다.

기준치 획득부(162)는 획득되는 음향신호 및 상기 온도 각각에 대해 하기의 수학식 1을 적용하여 현재의 음향 기준치 및 온도 기준치를 계산한다.

기준치 추적부(163)는 상기 설정부(145)를 통해 설정된 절대 음향 기준치 및 상기 기준치 획득부(162)를 통해 시간에 따라 획득되는 이전 시점까지의 음향 기준치를 포함하는 상기 음향 기준데이터를 생성하고, 상기 절대 온도 기준치 및 이전 시점까지의 온도 기준치를 포함하는 온도 기준데이터를 생성한다.

상기 기준치 추적부(163)는 상기 데이터 획득부(150)의 음향 데이터 획득부(151)를 통해 획득되는 시간영역에서의 음향신호에 대한 모니터링 데이터로부터 이전 시점까지의 시간에 따른 상기 절대 음향 기준치 및 음향 기준치를 포함하는 음향 기준데이터와, 상기 온도에 대한 모니터링 데이터로부터 상기 절대 온도 기준치 및 온도 기준치를 포함하는 온도 기준데이터를 생성하여 상기 데이터 DB(112)에 저장한다.

상기 기준치 추적부(163)는 측정 시점별 음향 기준치 및 온도 기준치에 각각에 대응하는 ±편차를 연산하여 음향 상위 임계치, 음향 하위 임계치, 온도 상위 임계치 및 온도 하위 임계치를 생성하며, 이전 시점까지의 음향 및 온도에 대한 상하위 임계치 데이터를 생성하여 이상 기준치 DB(113)에 저장한다.

도 5를 참조하여 설명하면, 도 5의 501은 음향 기준 데이터를 나타낸 것이고, 502는 음향 상위 임계데이터를 나타낸 것이며, 503는 음향 하위 임계치 데이터를 나타낸 것이며, 504는 일실시 예에 따라 측정되는 음향 기준치가 이전 시점(정상상태인 경우)의 음향 상위 임계치를 초과하는 경우의 파형을 나타낸 것이다.

그리고 도 5의 부호 510는 해당 감시영역(1)에 설치되는 장비들에 의해 정상상태 시 최초 측정되는 초기 기준치로 절대 음향 기준치이다.

상기 음향 기준데이터(501)는 해당 감시영역의 초기 음향 기준치인 절대 음향 기준치(510)를 기준으로 시간(T)의 흐름에 따른 이전 음향 측정치와 현재 음향 측정값의 평균값인 음향 기준치들로 구성된다.

상기 음향 기준치 또는 온도 기준치인 센서신호 기준치는 하기의 수학식 1에 의해 계산되며, 상기 수학식 1이 적용된 기준치 획득부(162)에 의해 계산된다.

여기서, M₀는 초기(t₀)에서의 센서신호 측정값인 절대 음향 기준치이고, G(x)는 초기 시간 이외에서의 이전 센서신호 측정값과 현재 센서신호 측정값의 평균값인 센서신호 기준치(음향 기준치 또는 온도 기준치)들에 대한 센서신호(음향, 온도) 기준데이터이고, M_tx-1은 이전 시점의 센서신호 측정 값(음향 크기 측정값 또는 온도 측정값)이고, M_tx는 현재 시점의 센서신호 측정값이다.

음향 상위 임계치 데이터(502) 및 음향 하위 임계치 데이터(503)와 같은 센서센호 상하위 임계치 데이터는 상술한 바와 같이 음향 기준 데이터(501) 등과 같은 센서신호 기준데이터를 기준으로 상하 동일한 편차만큼 떨어지는 데이터로 하기 수학식 2와 같이 나타낼 수 있다.

여기서, 편차는 상수이다.

주파수 영역 데이터 획득부(164)는 도 4의 일 실시 예에서와 같이 시간영역의 상기 음향신호에 대한 음향 기준데이터를 주파수 영역 데이터로 변환하여 출력한다.

상기 주파수 영역 데이터 획득부(164)는 다른 실시 예에 따라 데이터 획득부(150)의 음향 데이터 획득부(151)에서 획득되는 도 3과 같은 시간영역의 모니터링 데이터인 음향신호를 도 4와 같은 주파수 영역의 데이터로 변환하도록 구성될 수도 있을 것이다.

열영상은 감시영역(1)에 대해 하나의 온도만을 나타낼 수도 있고, 설치된 장비에 따라 서로 다른 하나 이상의 온도를 포함하여 나타낼 수도 있을 것이다.

따라서 온도 데이터 획득부(161)는 하나 이상의 온도값을 출력할 수 있으며, 이 경우 촬영되는 감시영역(1)의 서로 다른 온도값을 가지는 위치값을 함께 획득하여, 하나 이상의 위치 및 온도 쌍의 모니터링 데이터를 획득할 수도 있을 것이다.

이상 가능성 판단부(170)는 음향 이상 판단부(171) 및 온도 이상 판단부(172)를 포함하여, 상기 데이터 가공부(160)에서 가공된 주파수 영역 및 시간영역 중 어느 하나 이상의 가공된 모니터링 데이터에 기반하여 감시영역(1)에서 이상 발생 가능성이 있는지를 판단한다.

상기 설명에서는 센서신호 상하위 임계치는 기준치 추적부(163)에서 계산되는 것으로 설명하였으나, 실시 예에 따라 상기 이상 가능성 판단부(170)가 상기 음향 상하위 임계치 및 상기 온도 상하위 임계치를 계산하도록 구성될 수도 있을 것이다.

상기 음향 이상 판단부(171)는 상기 주파수 영역 데이터 획득부(161)에 의해 획득된 음향신호에 대한 주파수 영역의 모니터링 데이터에 의해 해당 감시영역(1)에 이상 발생 가능성이 있는지를 판단한다.

상기 음향 이상 판단부(171)는 주파수 영역의 모니터링 데이터에 해당 감시영역(1)에 대해 미리 설정된 주파수 대역(예: 401, 402)에 대해 검출되는 음향의 주파수 성분의 크기와, 미리 설정된 경고 음향 크기 임계치인 제1임계치(404) 및 위험 음향 크기 임계치인 제2임계치(405)를 각각을 비교하여, 검출된 음향의 크기가 제1임계치(404)보다 큰지, 제2임계치(405)보다 큰지를 판단한다.

상기 음향 이상 판단부(171)는 검출된 음향 주파수 성분의 크기가 경고 음향 크기 임계치인 제1임계치(404)보다 크고 위험 음향 크기 임계치인 제2임계치(405)보다 작은 경우와, 검출된 음향 기준치의 크기가 제2임계치(405)보다 큰 경우를 구분하여 음향 이상 판단 결과를 출력하도록 구성될 것이다.

음향 이상 판단부(171)는 또한 주파수 영역의 모니터링 데이터에서 미리 설정되지 않은 주파수 대역의 미리 설정된 크기 이상의 주파수 성분(403)의 음향이 감지되는 경우 이상 발생 가능성이 있는 것으로 판단하도록 구성될 수도 있을 것이다.

상기 음향 이상 판단부(171)는 도 5에서 보이는 바와 같이 시간영역에서 이전 시점(t-1)의 음향 기준치와 현재(t)의 음향 기준치를 비교하여 이상여부를 판단할 것이다.

다시 설명하면, 음향 이상 판단부(171)는 시간영역에서 획득되는 현재의 음향신호에 대한 음향 기준치(542)가 음향 상위 임계치(532) 및 음향 하위 임계치(531) 사이에 존재하는지를 검사하여 이상 발생 여부를 판단한다. 도 5의 예에서 현재 시점(t_n)의 이전 시점(t_n-1)까지 정상이었으나, 현재 시점(t_n)의 음향 크기(542)가 이전 시점의 음향 상위 임계치 데이터(502)의 음향 상위 임계치(532)를 초과하였으므로, 음향 이상 판단부(171)는 현재 시점(t_n)에서 이상이 발생한 것으로 판단할 것이다.

상기 설명에서는 주파수 영역에서의 이상 여부 판단 후 시간 영역에서의 이상 여부를 판단하는 경우를 설명하였으나, 시간 영역에서의 이상 여부 판단 후 주파수 영역에서의 이상 여부를 판단할 수도 있을 것이다.

온도 이상 판단부(172)는 상기 온도 데이터 획득부(162)에 의해 획득된 온도에 대한 온도 기준치와 미리 설정된 이전 시점의 온도 상위 임계치 및 온도 하위 임계치를 비교하여 온도 이상 발생 가능성을 판단한다.

이상 결정부(180)는 상기 이상 가능성 판단부(170)에 이상 발생 가능성이 있는 것으로 판단되면 획득되는 일반영상을 이상 감지 인공지능모델에 적용하여 해당 감시영역(1)에 이상(화재, 누수, 침입 등)이 발생했는지를 결정한다. 상기 이상 감지 인공지능모델은 이상 종류에 각각에 대응하는 다수의 인공지능모델이 존재하는 것이 바람직하며, 상기 이상 가능성 판단부(170)에서 판단되는 음향 크기 기준치 이상의 음향 크기를 가지는 주파수 대역 및 온도 기준치 이상의 검출 온도에 따른 이상 종류에 대응하는 인공지능모델이 선택되어 적용되도록 구성되는 것이 바람직할 것이다.

또한, 다른 실시예로, 이상 결정부(180)는 일반영상을 미리 설정된 관리자 단말기(300)로 제공하고, 관리자에 의한 이상 발생 확인 명령이 발생되면 이상이 발생한 것으로 결정한다.

통지부(190)는 통지정보 전송부(191) 및 경보부(192)를 포함한다.

상기 통지정보 전송부(191)는 이상 결정부(180)를 통해 이상이 발생된 것으로 결정되면 이상이 발생한 감시영역(1)의 위치정보를 포함하는 감시영역 정보 및 발생한 이상의 종류(화재, 누수, 고장, 침입 등)를 포함하는 이상정보를 포함하는 이상통지정보를 생성한 후 통신부(120)를 통해 통합관제시스템(200) 및 관리자 단말기(300)로 전송한다.

경보부(192)는 이상이 발생된 것으로 결정되면 관제실에 설치된 경광등(미도시)을 점멸하고, 스피커(미도시) 등을 통해 싸이렌을 발생시킨다.

도 6은 본 발명에 따른 듀얼센서를 이용한 감시영역 이상 모니터링 방법을 나타낸 흐름도이다.

도 6을 참조하면, 영역 감시부(100)의 제어부(130)는 감시영역(1)별로 설치된 영역 이상 모니터링 장비인 듀얼센서부(10)의 듀얼 카메라(11) 및 음향센서모듈(12)을 등록하고, 해당 감시영역(1)에서의 주파수 영역에 대한 제1임계치 및 제2임계치와, 시간영역에 대한 편차, 편차에 따른 상위 임계치 및 하위 임계치를 설정한다(S111).

듀얼센서부(10)의 등록 및 설정이 완료되면 제어부(130)는 등록 및 설정된 듀얼센서부(10)를 통해 해당 감시영역(1)을 모니터링하기 시작한다(S113).

모니터링이 개시되면 제어부(130)는 듀얼센서부(10)로부터 모니터링 데이터가 획득되는지를 검사하고(S115), 모니터링 데이터가 획득되면 상기 수학식 1에 의해 모니터링 데이터인 센서신호인 음향신호 및 센서신호인 열영상에 대한 현재 시점의 음향 기준치 및 온도 기준치를 계산하여 기준데이터를 추적한다(S116).

음향 기준치 및 온도 기준치가 계산되면 제어부(130)는 현재의 센서신호 기준치와 이전 시점의 센서신호 기준치에 상기 편차를 적용한 센서신호 상하위 임계치를 비교하여 이상 발생 가능성을 분석하여(S117), 이상 발생 가능성이 존재하는지를 판단한다(S119). 즉, 상기 제어부(130)는 현재 시점의 센서신호 기준치가 이전시점의 센서신호 상하위 임계치를 초과하거나 미만인지를 검사하여 이상 발생 가능성을 판단한다.

이상 발생 가능성이 존재하지 않으면 제어부(130)는 상기 현재 시점의 센서신호 기준치(음향 기준치, 온도 기준치) 각각에 편차를 적용하여 센서신호 상하위 임계치(음향 임계치, 온도 임계치)를 적용하여 이점 시점에 대한 센서신호 상하위 임계치를 생성하여 센서신호 임계치 데이터를 생성한다(S120).

실시 예에 따라 상기 시간영역의 센서신호에 기반한 이상 발생 가능성 판단에서 이상이 감지되지 않으면 제어부(130)는 상기 주파수 영역의 모니터링 데이터에 기반하여 이상 발생 가능성 여부를 더 판단할 수도 있을 것이다.

상기 이상 발생 가능성 존재 판단에서 이상 발생 가능성이 있는 것으로 판단되면 제어부(130)는 상기 이상 발생 가능성이 있는 것으로 판단된 감시영역(1)의 듀얼 카메라(11)로부터 일반영상을 획득한다(S121). 상기 듀얼 카메라(11)는 열영상 모드 및 일반영상 모드 둘 모두를 수행하여 열영상과 일반영상을 동시에 영역 감시부(100)로 전송하도록 구성될 수 있으나, 효율적인 구동을 위해 평상 시에는 열영상만 전송하고, 이상 발생 가능성이 있는 것으로 판단되는 경우 제어부(130)의 제어를 받아 일반영상 모드를 구동하여 촬영되는 일반영상을 영역 감시부(100)로 전송하도록 구성되는 것이 바람직할 것이다.

일반영상이 입력되면 제어부(130)는 획득되는 일반영상을 감시영역(1) 및 감시영역(1)에 설치된 장비에 대응하는 인공지능모델에 적용하여 일반영상에 감시영역(1) 및 감시영역(1)에 설치된 장비에 대응하는 이상이 발생했는지를 분석한다(S123). 일예로, 상기 인공지능모델은 다양한 불꽃 및 연기 중 어느 하나 이상을 포함하는 화재 이미지에 의해 학습되어 불꽃 및 연기 중 어느 하나를 포함하는 이미지로부터 화재 여부를 분석하는 화재 감지 인공지능모델일 수 있으며, 다양한 빛 반사가 반영된 누수 이미지에 의해 누수 상황이 학습된 누수 감지 인공지능모델이 적용될 수 있으며, 침입 감지 인공지능모델이 적용될 수도 있을 것이다. 또한, 둘 이상의 인공지능모델이 적용될 수도 있을 것이다.

또한, 제어부는 일반영상을 관리자 단말기(300)로 제공하고, 관리자 단말기(300)를 통해 일반영상을 본 관리자의 관리자 단말기(300)로부터 이상 발생 확인 명령을 입력받아 감시영역(1)에서의 이상 발생을 결정할 수도 있을 것이다.

상기 분석 후, 제어부(130)는 분석에 의한 이상 발생 여부를 판단하고(S125), 이상이 발생되지 않았으면 종료하거나 상기 감시영역(1)의 듀얼 카메라(11)의 일반모드를 오프한(S133) 후 종료한다.

반면 이상이 발생된 것으로 판단되면 제어부(130)는 이상 발생을 경보하고, 이상이 발생한 감시영역(1)에 대한 감시영역 정보 및 이상 정보를 포함하는 이상통지정보를 생성한 후 통합관제시스템(200)으로 전송한다(S125).

제어부(130)는 일반영상을 통해 해당 감시영역(1)의 이상 발생이 해결되는지를 판단한다(S129).

이상 발생이 종료되면 제어부(130)는 알림을 종료하고(S131), 해당 감시영역(1)의 듀얼 카메라의 일반영상 모드를 오프한(S133) 후 종료한다.

한편, 본 발명은 전술한 전형적인 바람직한 실시 예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.

1: 감시영역 10: 듀얼센서부
11: 듀얼 카메라 12: 음향센서모듈
100: 영역 감시부 110: 저장부
111: 장비 DB 112: 데이터 DB
113: 이상 기준치 DB 114: 관리자 DB
120: 통신부 130: 제어부
140: 듀얼센서 등록부 145: 설정부
150: 데이터 획득부 151: 음향 데이터 획득부
152: 영상 획득부 153: 동작정보 획득부
160: 데이터 가공부 161: 온도 데이터 획득부
162: 기준치 획득부 163: 기준치 추적부
164: 주파수 영역 데이터 획득부 162: 온도 데이터 획득부
170: 이상 가능성 판단부 171: 음향 이상 판단부
172: 온도 이상 판단부 180: 이상 결정부
190: 통신부 191: 통지정보 전송부
192: 경보부 200: 통합관제시스템
300: 관리자 단말기

Claims

자동관제영역의 감시영역별로 설치되고 해당 감시영역에서 발생되는 음향에 대한 음향신호를 모니터링 데이터로써 출력하는 음향센서모듈과, 감시영역별로 설치되어 해당 감시영역을 촬영한 열영상 및 일반영상 중 어느 하나 이상을 모니터링 데이터로써 출력하는 듀얼 카메라를 포함하는 듀얼센서부; 및
상기 감시영역별 음향센서모듈 및 듀얼 카메라로부터 음향신호 및 열영상을 획득하고, 음향신호 및 열영상을 분석하여 해당 감시영역에 이상 발생 가능성이 있는지를 모니터링하고, 이상 발생 가능성 존재 시 듀얼 카메라로부터 획득되는 일반영상을 분석하여 상기 감시영역에서 이상이 발생했는지를 판단하며, 이상 발생 시 감시영역의 위치정보 및 이상 정보를 포함하는 이상통지정보를 생성한 후, 상기 자동관제영역의 감시영역별로 설치된 장비들의 동작을 제어하는 통합관제시스템으로 전송하는 영역 감시부를 포함하되,
상기 영역 감시부는,
유무선 데이터통신망을 통해 상기 음향센서모듈 및 듀얼 카메라와 데이터통신을 수행하는 통신부;
감시영역별 위치정보를 포함하는 감시영역 정보, 감시영역에 설치된 장비정보를 설치된 감시영역에 대응하는 감시영역 정보에 맵핑하여 저장하는 장비 DB와, 감시영역별로 설치된 장비에 대응하고 시간에 따른 음향 기준데이터 및 온도 기준데이터를 저장하는 데이터 DB와, 감시영역별 상기 음향 및 온도 각각에 대한 음향 편차 및 온도 편차를 저장하는 이상 기준치 DB를 포함하는 저장부; 및
상기 통신부를 통해 상기 감시영역별 음향센서모듈 및 듀얼 카메라로부터 음향신호 및 열영상을 획득하고, 하기 수학식 1에 의해 시간에 따라 획득되는 음향신호의 현재의 음향 측정치와 이전 시점의 음향 측정치를 평균하여 음향 기준치를 계산하며, 시간에 따라 변경된 음향 기준치를 포함하는 음향 기준데이터를 변경 생성하고, 하기 수학식 1에 의해 시간에 따라 획득되는 현재의 온도와 이전 시점의 온도를 평균하여 온도 기준치를 계산하며, 시간에 따라 변경된 상기 온도 기준치를 포함하는 온도 기준데이터를 변경 생성하여, 상기 변경된 음향 기준데이터 및 온도 기준데이터를 상기 데이터 DB에 저장하고, 하기 수학식 2에 의해 상기 데이터 DB에 저장된 해당 감시영역의 음향 기준 데이터의 이전 음향 기준치와 음향 편차에 의해 결정되는 음향 상하위 임계치(F(x))와 측정된 현재의 상기 음향 기준치를 비교하고, 온도 기준데이터의 이전 온도 기준치와 온도 편차에 의해 결정되는 온도 상하위 임계치와 측정된 현재의 상기 온도 기준치를 비교하여, 상기 현재의 음향 기준치가 음향 상하위 임계치를 벗어나는지 또는 현재의 온도 기준치가 온도 상하위 임계치를 벗어나는지를 검사하여 상기 감시영역에서 이상 발생 가능성이 있는지를 모니터링하고, 이상 발생 가능성 존재 시 듀얼 카메라로부터 획득되는 일반영상을 해당 감시영역에 설치된 장비에 대응한 분석을 수행하여 상기 감시영역에서 이상이 발생했는지를 판단하며, 이상 발생 시 감시영역의 위치정보 및 이상 정보를 포함하는 이상통지정보를 생성한 후, 상기 자동관제영역의 감시영역별로 설치된 장비들의 동작을 제어하는 통합관제시스템으로 전송하는 제어부를 포함하는 것을 특징으로 하는 듀얼센서를 이용한 감시영역 이상 모니터링 시스템.
[수학식 1]

여기서, M₀는 초기(t₀)에서의 센서신호 측정값인 절대 음향 기준치이고, G(x)는 초기 시간 이외에서의 이전 센서신호 측정값과 현재 센서신호 측정값의 평균값인 센서신호 기준치(음향 기준치 또는 온도 기준치)들에 대한 센서신호(음향, 온도) 기준데이터이고, M_tx-1은 이전 시점의 센서신호 측정 값(음향 크기 측정값 또는 온도 측정값)이고, M_tx는 현재 시점의 센서신호 측정값이다.
[수학식 2]

여기서, 편차는 상수이다.
삭제
제1항에 있어서,
상기 제어부는,
임의의 감시영역에 설치되는 상기 음향센서모듈 및 듀얼 카메라에 대해 감시영역 정보에 상기 음향센서모듈 및 듀얼 카메라의 기기 식별정보를 포함하는 장비정보를 맵핑하여 상기 장비 DB에 저장하여 상기 음향센서모듈 및 듀얼 카메라를 등록하는 듀얼센서 등록부;
상기 통신부를 통해 상기 감시영역별 음향센서모듈로부터 음향신호에 대한 모니터링 데이터를 획득하고, 듀얼 카메라로부터 열영상 및 일반영상 중 어느 하나 이상에 대한 모니터링 데이터를 선택적으로 획득하는 데이터 획득부;
상기 데이터 획득부를 통해 획득되는 음향신호 및 열영상 각각의 모니터링 데이터로부터 이전 시점까지의 시간에 따른 상기 음향 기준치를 포함하는 음향 기준데이터 및 상기 온도 기준치를 포함하는 온도 기준데이터를 생성하고, 현재의 음향 기준치 및 온도 기준치를 계산하는 데이터 가공부;
상기 이상 기준치 DB에 저장된 해당 감시영역의 음향 기준 데이터의 이전 음향 기준치와 음향 편차에 의해 결정되는 음향 상하위 임계치와 측정된 현재의 상기 음향 기준치를 비교하고, 온도 기준 데이터의 이전 온도 기준치와 온도 편차에 의해 결정되는 온도 상하위 기준치와 측정된 현재의 상기 온도 기준치를 비교하고 분석하여 해당 감시영역에서 이상 발생 가능성이 있는지를 판단하고 그 결과를 출력하는 이상 가능성 판단부;
이상 발생 가능성 존재 시 듀얼 카메라로부터 획득되는 일반영상을 해당 감시영역에 설치된 장비에 대응하여 분석하여 상기 감시영역에서 이상이 발생했는지를 결정하는 이상 결정부; 및
이상 발생 시 감시영역의 위치정보 및 이상 정보를 포함하는 이상통지정보를 생성한 후, 상기 자동관제영역의 감시영역별로 설치된 장비들의 동작을 제어하는 통합관제시스템으로 전송하는 통지부를 포함하는 것을 특징으로 하는 듀얼센서를 이용한 감시영역 이상 모니터링 시스템.
제3항에 있어서,
상기 제어부는,
상기 듀얼센서 등록부를 통해 등록된 감시영역의 음향센서모듈 및 듀얼 카메라를 통해 정상 시의 상기 감시영역의 장비의 존재 여부 및 장비의 동작 상태에 따른 음향신호 및 열영상을 획득하여, 상기 감시영역에 대한 상기 음향 기준데이터 및 온도 기준데이터의 초기값인 절대 음향 기준치 및 절대 온도 기준치를 생성하여 음향 및 온도에 대한 해당 감시영역의 초기값으로 설정하는 설정부를 더 포함하되,
상기 데이터 가공부는,
상기 절대 음향 기준치를 상기 음향 기준데이터의 초기값에 포함시키고, 상기 절대 온도 기준치를 상기 온도 기준데이터의 초기값에 포함시켜 상기 데이터 DB에 저장하는는 것을 특징으로 하는 듀얼센서를 이용한 감시영역 이상 모니터링 시스템.
제4항에 있어서,
상기 데이터 획득부는,
상기 음향센서모듈로부터 상기 음향신호에 대한 음향 데이터를 획득하는 음향 데이터 획득부;
상기 듀얼 카메라를 원격 제어하여 열영상 및 일반영상 중 어느 하나 이상을 획득하는 영상 획득부; 및
상기 통신부를 통해 상기 통합관제시스템으로부터 감시영역별 장비의 동작 상태정보를 획득하는 동작정보 획득부를 포함하는 것을 특징으로 하는 듀얼센서를 이용한 감시영역 이상 모니터링 시스템.
제3항에 있어서,
상기 데이터 가공부는,
상기 감시영역에 대한 열영상에 대한 모니터링 데이터로부터 상기 감시영역의 온도를 검출하는 온도 데이터 획득부;
획득되는 음향신호 및 상기 온도 각각에 대한 현재의 음향 기준치 및 온도 기준치를 계산하는 기준치 획득부;
상기 기준치 획득부를 통해 시간에 따라 획득되는 이전 시점까지의 음향 기준치를 포함하는 상기 음향 기준데이터를 생성하고, 이전 시점까지의 온도 기준치를 포함하는 온도 기준데이터를 생성하는 기준치 추적부; 및
시간영역의 상기 음향신호에 대한 음향 기준데이터를 주파수 영역 데이터로 변환하여 출력하는 주파수 영역 데이터 획득부를 포함하는 것을 특징으로 하는 듀얼센서를 이용한 감시영역 이상 모니터링 시스템.
제6항에 있어서,
상기 이상 가능성 판단부는,
시간영역에서 이전 시점(t-1)의 음향 기준치와 현재(t)의 음향 기준치를 비교하여 이상여부를 판단하는 음향 이상 판단부; 및
상기 온도 데이터 획득부를 통해 획득되는 온도와 상기 이상 기준치 DB에 저장된 해당 감시영역에 대한 온도 상하위 임계치를 비교하여 획득된 온도가 상기 온도 상하위 임계치를 벗어나는지를 판단하여 상기 감시영역의 이상 여부를 판단하는 온도 이상 판단부를 포함하는 것을 특징으로 하는 듀얼센서를 이용한 감시영역 이상 모니터링 시스템.
제7항에 있어서,
상기 음향 이상 판단부는,
상기 음향신호에 대한 주파수 영역의 주파수 성분들과 해당 감시영역에 대해 미리 설정된 주파수 성분들을 비교하고, 상기 미리 설정된 주파수 성분들에 대응하는 주파수 영역의 주파수 성분의 크기가 해당 주파수 성분에 대해 미리 설정된 제1기준치 및 상기 제1기준치보다 더 큰 제2기준치를 초과하는지를 비교하여, 주파수 영역에서의 이상 발생 가능성을 판단하는 것을 특징으로 하는 듀얼센서를 이용한 감시영역 이상 모니터링 시스템.
제8항에 있어서,
상기 이상 결정부는,
상기 음향신호에 대한 주파수 성분별 크기 중 해당 임계치를 초과하는 주파수 성분의 존재 여부와, 미리 설정되지 않은 주파수 성분의 존재 여부와, 시간영역에 음향 및 온도에 대한 현재의 음향 기준치 및 온도 기준치가 이전 시점의 상하음향 임계치 및 상하 온도 임계치를 초과하는지의 여부에 따라 이상 종류를 결정하는 것을 특징으로 하는 듀얼센서를 이용한 감시영역 이상 모니터링 시스템.
영역 감시부의 제어부가 통신부를 통해 감시영역별 음향센서모듈 및 듀얼 카메라로부터 음향신호 및 열영상을 획득하는 데이터 획득 과정;
상기 제어부가 데이터 획득부를 통해 획득되는 상기 음향신호 및 열영상 각각의 모니터링 데이터로부터 하기 수학식 1에 의해 계산되는 이전 시점까지의 시간에 따라 변경되는 음향 기준치를 포함하는 음향 기준데이터 및 하기 수학식 1에 의해 계산되는 이전 시점까지의 시간에 따라 변경되는 온도 기준치를 포함하는 온도 기준데이터를 변경 생성하고, 현재의 음향 기준치 및 온도 기준치를 계산하는 데이터 가공 과정;
상기 제어부가 이상 기준치 DB에 저장된 해당 감시영역의 음향 기준 데이터의 이전 음향 기준치와 음향 편차가 적용되는 하기 수학식 2에 의해 결정되는 음향 상하위 임계치와 측정된 현재의 상기 음향 기준치를 비교하고, 온도 기준 데이터의 이전 온도 기준치와 온도 편차에 의해 결정되는 온도 상하위 임계치와 측정된 현재의 상기 온도 기준치를 비교하고 분석하여 해당 감시영역에서 이상 발생 가능성이 있는지를 판단하고 그 결과를 출력하는 이상 발생 가능성 모니터링 과정;
상기 제어부가 이상 발생 가능성 존재 시 듀얼 카메라로부터 획득되는 일반영상을 해당 감시영역에 설치된 장비에 대응하여 분석하여 상기 감시영역에서 이상이 발생했는지를 판단하는 이상 판단 과정; 및
상기 제어부가 이상 발생 시 감시영역의 위치정보 및 이상 정보를 포함하는 이상통지정보를 생성한 후, 자동관제영역의 감시영역별로 설치된 장비들의 동작을 제어하는 통합관제시스템으로 전송하는 통지 과정을 포함하는 것을 특징으로 하는 듀얼센서를 이용한 감시영역 이상 모니터링 방법.
[수학식 1]

여기서, M₀는 초기(t₀)에서의 센서신호 측정값인 절대 음향 기준치이고, G(x)는 초기 시간 이외에서의 이전 센서신호 측정값과 현재 센서신호 측정값의 평균값인 센서신호 기준치(음향 기준치 또는 온도 기준치)들에 대한 센서신호(음향, 온도) 기준데이터이고, M_tx-1은 이전 시점의 센서신호 측정 값(음향 크기 측정값 또는 온도 측정값)이고, M_tx는 현재 시점의 센서신호 측정값이다.
[수학식 2]

여기서, 편차는 상수이다.
제10항에 있어서,
상기 제어부가 임의의 감시영역에 설치되는 상기 음향센서모듈 및 듀얼 카메라에 대해 감시영역 정보에 상기 음향센서모듈 및 듀얼 카메라의 기기 식별정보를 포함하는 장비정보를 맵핑하여 장비 DB에 저장하여 상기 음향센서모듈 및 듀얼 카메라를 등록하는 듀얼센서 등록 과정을 더 포함하는 것을 특징으로 하는 듀얼센서를 이용한 감시영역 이상 모니터링 방법.
제10항에 있어서,
상기 제어부가 듀얼센서 등록부를 통해 등록된 감시영역의 음향센서모듈 및 듀얼 카메라를 통해 정상 시의 상기 감시영역의 장비의 존재 여부 및 장비의 동작 상태에 따른 음향신호 및 열영상을 획득하여, 상기 감시영역에 대한 상기 음향 기준데이터 및 온도 기준데이터의 초기값인 절대 음향 기준치 및 절대 온도 기준치를 생성하여 음향 및 온도에 대한 해당 감시영역의 초기값으로 설정하는 초기값 설정 과정을 더 포함하되,
데이터 가공부는,
상기 절대 음향 기준치를 상기 음향 기준데이터의 초기값에 포함시키고, 상기 절대 온도 기준치를 상기 온도 기준데이터의 초기값에 포함시켜 데이터 DB에 저장하는는 것을 특징으로 하는 듀얼센서를 이용한 감시영역 이상 모니터링 방법.
제10항에 있어서,
상기 데이터 획득 과정은,
상기 음향센서모듈로부터 상기 음향신호에 대한 음향 데이터를 획득하는 음향 데이터 획득 단계;
상기 듀얼 카메라를 원격 제어하여 열영상 및 일반영상 중 어느 하나 이상을 획득하는 영상 획득 단계; 및
통신부를 통해 상기 통합관제시스템으로부터 감시영역별 장비의 동작 상태정보를 획득하는 동작정보 획득 단계를 포함하되,
상기 제어부의 이상 가능성 판단부가 감시영역의 장비의 동작상태에 따른 음향 기준치를 적용하여, 상기 감시영역의 이상 가능성을 판단하는 것을 특징으로 하는 듀얼센서를 이용한 감시영역 이상 모니터링 방법.
제10항에 있어서,
상기 데이터 가공 과정은,
상기 제어부가 온도 데이터 획득부를 통해 상기 감시영역에 대한 열영상에 대한 모니터링 데이터로부터 상기 감시영역의 온도를 검출하는 온도 데이터 획득 단계;
상기 제어부가 기준치 획득부를 통해 획득되는 음향신호 및 상기 온도 각각에 대한 현재의 음향 기준치 및 온도 기준치를 계산하는 기준치 획득 단계;
상기 제어부가 기준치 추적부를 통해 상기 기준치 획득부에서 시간에 따라 획득되는 이전 시점까지의 음향 기준치를 포함하는 상기 음향 기준데이터를 생성하고, 이전 시점까지의 온도 기준치를 포함하는 온도 기준데이터를 생성하는 기준치 추적 단계; 및
상기 제어부가 주파수 영역 데이터 획득부를 통해 시간영역의 상기 음향신호에 대한 음향 기준데이터를 주파수 영역 데이터로 변환하여 출력하는 주파수 영역 데이터 획득 단계를 포함하는 것을 특징으로 하는 듀얼센서를 이용한 감시영역 이상 모니터링 방법.