KR102567890B1 - 다양한 상황에서 외부로부터의 여러 가지 위협을 탐지, 경보 및 그에 대응하는 방법 - Google Patents

Abstract

실시예는 다양한 상황에서 외부로부터의 여러 가지 위협을 탐지, 경보 및 그에 대응하는 방법에 관한 것이다.
구체적으로, 이러한 방법은 엣지형 Iot센서 모듈을 이용하여 방문객 패턴 분석을 수행하고, 이상 체류 패턴을 감지하며, 소음 감지 센서 등을 활용하여 실증 지역의 심야 시간대 등에서 방문자 등의 소음 패턴 등을 감지함으로써, 다양한 각종 재난과 안전 상황 등을 판단한다. 그리고 또한, 이상 체류자를 탐지한 경우에는 실증 장비에 연결한 스피커와 디스플레이를 통해 위험상황을 표출하는 상황알림을 수행하는 것을 특징으로 한다.
그리고, 또한 이러한 센서로부터 수집 및 분석한 데이터를 기반으로 재난상황을 판단하는 모델을 구성하고, 이러한 재난 상황에 따른 경보를 결정하며, 다양한 상황에 따른 알림을 수행하는 것을 특징으로 한다.
따라서, 이를 통해. 정상적 상황 인지를 통한 실시간 위험 상황의 인지 및 신속 대응 체계를 확보하고, 예를 들어, 특정 장소에서의 장시간 움직임 없음과 위험 지역 접근(진입) 등 실시간 상황인지를 통한 신속 대응 체계를 확보함으로써, 신속한 구호와 구조를 한다.
그리고, 장소와 시간, 사람의 행태에 대한 데이터 학습 및 예측을 통한 상황맞춤형 안전 케어 기술 및 제품을 제공하고, 보급에 따른 재난 및 안전 사고 발생에 따른 인명, 재산 피해 최소화로 인한 사회적 비용을 절감한다.

Description

다양한 상황에서 외부로부터의 여러 가지 위협을 탐지, 경보 및 그에 대응하는 방법{Method for alarming and solving security danger in multi situation}

본 명세서에 개시된 내용은 주변에 주택가가 있는 관광지와 야간통행을 금지한 산책로 등에서 위험을 인지하고 대응하는 기술 분야에 관한 것으로, 보다 상세하게는 이러한 장소에서 위험 상황이 발생할 경우, 관리 장치에서 상황 인식을 수행하여 적절하게 대응할 수 있도록 하는 것이다.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.

일반적으로, 최근들어 생활이 복잡해지고 빠르게 바뀌면서 공공안전에 여러 어려움들이 발생하며, 그래서 이에 대한 관심도 여러 면에서 보이고 있는 상황이다. 그리고, 이러한 상황으로 방송과 미디어 공공복지 및 재난안전 분야에 대한 움직임도 많이 볼 수 있는 실정이다.

그래서, 이러한 점을 살펴볼 때, 다양한 환경에서 예를 들어, 제조 및 복잡한 장소(생활공간) 등에서 외부로부터의 여러 가지 위협을 탐지, 경보 및 대응할 수 있는 시스템 관련 기술 확보가 유용하기도 하다.

한편, 이러한 기술로는 종래에 CCTV 및 영상 분석 기술을 중심으로 한 것이고, 재난과 사회 안전 서비스의 경우에 주로 사용하고 있었으며, 사물인터넷 기반 안전 서비스 개발 등에 따라 시스템 도입 비용 절감과 제품 대체 효과를 기대할 수 있을 것이다.

그리고, 이러한 기술을 살펴보면, 안전 서비스 등을 위해서 센서 데이터 수집을 위한 플랫폼 기술은 관리 장치와 제조데이터 수집 디바이스 분야로 크게 분류한다. 또한, 관리 장치는 생산영역에서 안전과 보안, 서비스 등을 제공하는 솔루션으로 개발하고, 또는 생산과 품질, 운영 등을 처리하는 제조 과정에 활용한다. 그리고, 제조데이터 수집 디바이스는 디바이스 측면으로 개발하고 세부 장비 개발과 연계한 센서와 제어시스템의 주요 부분은 개발이 쉽지 않는 실정이다.

이에 더하여, IoT 기술도 이전과 다르게 보안영역에서는 경량 디바이스 기능을 제공하는 경량 IoT 보안 게이트웨이 및 HW 제약ㅇ성능 등이 상이한 점을 해결하는 기기 맞춤형 보안방식과 경량/저전력용 보안 HW 모듈 등의 기술을 개발할 수 있다.

그래서, 사물인터넷 센서의 활용 등을 통해 위험을 사전에 예방하고 보안이 안전한 서비스를 제공하는 것도 바람직하다.

예를 들어, 주변에 주택가가 있는 관광지와 야간통행이 금지하는 해변 산책로, 낚시 금지 장소 등에서 관광객 등의 위험상황을 인지하고 실시간으로 위험 상황을 알릴 수 있는 모니터링 및 시스템으로 활용할 수 있다.

그리고, 또한 이를 활용하여 관광지 뿐만 아니라 안전을 위한 이상징후 상황 인지 및 알림을 수행하는 분야에도 활용할 수 있을 것이다.

이러한 배경의 선행기술문헌은 아래의 특허문헌 정도이다.

(특허문헌 0001) KR1020150074060 A

(특허문헌 0002) KR1020180061841 A

참고적으로, 상기 특허문헌 1의 기술은 IoT 보안을 위한 제어 서비스 제공 장치 및 방법에 관한 것으로, 개략적으로 IoT 기반 네트워크에서 IoT 센서와 서버 간에 패킷의 이상 행위를 탐지하여 제어하는 기술에 관한 것이다.

그리고, 특허문헌 2의 기술도 IoT 기기 자동 제어를 위한 엣지-클라우드 시스템에 관한 것으로, IoT 센서 신호의 패턴과 상황을 통해 특정 상태가 발생하면 이를 제어하는 정도의 특징을 나타낸다.

개시된 내용은, 주변에 주택가가 있는 관광지와 야간통행을 금지한 산책로 등에서 정상적 상황 인지를 통한 실시간 위험 상황의 인지 및 신속 대응 체계를 확보할 수 있도록 하는 다양한 상황에서 외부로부터의 여러 가지 위협을 탐지, 경보 및 그에 대응하는 방법을 제공하고자 한다.

실시예에 따른 다양한 상황에서 외부로부터의 여러 가지 위협을 탐지, 경보 및 그에 대응하는 방법은,

엣지형 Iot센서 모듈을 이용하여 방문객 패턴 분석을 수행하고, 이상 체류 패턴을 감지하며, 소음 감지 센서 등을 활용하여 실증 지역의 심야 시간대 등에서 방문자 등의 소음 패턴 등을 감지함으로써, 다양한 각종 재난과 안전 상황 등을 판단한다. 그리고 또한, 이상 체류자를 탐지한 경우에는 실증 장비에 연결한 스피커와 디스플레이를 통해 위험상황을 표출하는 상황알림을 수행하는 것을 특징으로 한다.

그리고, 또한 이러한 센서로부터 수집 및 분석한 데이터를 기반으로 재난상황을 판단하는 모델을 구성하고, 이러한 재난 상황에 따른 경보를 결정하며, 다양한 상황에 따른 알림을 수행하는 것을 특징으로 한다.

실시예들에 의하면, 정상적 상황 인지를 통한 실시간 위험 상황의 인지 및 신속 대응 체계를 확보하고, 예를 들어, 특정 장소에서의 장시간 움직임 없음과 위험 지역 접근(진입) 등 실시간 상황인지를 통한 신속 대응 체계를 확보함으로써, 신속한 구호와 구조를 한다.

그리고, 장소와 시간, 사람의 행태에 대한 데이터 학습 및 예측을 통한 상황맞춤형 안전 케어 기술 및 제품을 제공하고, 보급에 따른 재난 및 안전 사고 발생에 따른 인명, 재산 피해 최소화로 인한 사회적 비용을 절감한다.

도 1은 일실시예에 따른 다양한 상황에서 외부로부터의 여러 가지 위협을 탐지, 경보 및 그에 대응하는 방법을 개념적으로 설명하기 위한 도면
도 2는 일실시예에 따른 다양한 상황에서 외부로부터의 여러 가지 위협을 탐지, 경보 및 그에 대응하는 방법을 적용한 시스템을 전체적으로 도시한 도면
도 3은 도 2의 시스템에 적용한 관리 정보처리장치의 구성을 도시한 블록도
도 4는 일실시예에 따른 다양한 상황에서 외부로부터의 여러 가지 위협을 탐지, 경보 및 그에 대응하는 방법을 순서대로 도시한 절차 흐름도
도 5는 도 4의 방법에 적용한 현장 경보 시스템과 엣지형 IoT 센서 간의 연동 모델을 보여주는 도면
도 6은 도 4의 방법에 적용한 체류자 정보 수집용 맥 어드레스 비식별화 구성을 설명하기 위한 도면

도 1은 일실시예에 따른 다양한 상황에서 외부로부터의 여러 가지 위협을 탐지, 경보 및 그에 대응하는 방법을 개념적으로 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 일실시예의 방법은 주변에 주택가가 있는 관광지와 야간통행을 금지한 산책로 등의 다수의 상이한 장소별로 각기 설치한 온/습도 센서와 소음/진동 센서 등의 IoT센서 모듈과, 전광판 장치, 스피커 장치를 포함한다. 그리고, 원격지 상에 IoT 플랫폼과 관리 정보처리장치를 포함한다.

구체적으로는, 이러한 일실시예의 시스템은 이러한 경우, 각각의 장소 내에 엣지형 Iot센서 모듈을 이용하여 방문객 패턴 분석을 수행하고, 이상 체류 패턴을 감지하며, 소음 감지 센서 등을 활용하여 실증 지역의 심야 시간대 등에서 방문자 등의 소음 패턴 등을 감지함으로써, 다양한 각종 재난과 안전 상황 등을 판단한다. 그리고 또한, 이상 체류자를 탐지한 경우에는 실증 장비에 연결한 스피커와 디스플레이를 통해 해당 장소에서 위험상황을 표출하는 상황알림을 수행한다.

이러한 시스템은 특징을 살펴보면, 이러한 경우에 기존 제품의 단점(대용량 데이터, 보안 문제점)을 해결할 수 있는 엣지형 컴퓨팅 기반으로, 대용량의 비정형 데이터 처리 및 보안의 취약점을 개선한다.

그리고 또한, 이러한 경우에 있어서, 재난 상황 현장에 알리기 위한 재난 경보 시스템과 엣지형 IOT 센서간의 연동 인터페이스를 별도로 제공하기도 한다(참고로, 보다 구체적인 것은 아래에서 설명함).

한편, 이에 더하여 일실시예에 따른 시스템은 비정상적 상황 인지를 통한 실시간 위험 상황의 인지 및 신속 대응 체계를 확보하고, 예를 들어, 특정 장소에서의 장시간 움직임 없음과 위험 지역 접근(진입) 등 실시간 상황인지를 통한 신속 대응 체계를 확보함으로써, 신속한 구호와 구조를 할 수 있도록 한다.

이를 위해, 와이파이 센서를 통해 체류자 정보 예를 들어, 체류자/체류시간 정보 등을 수집한다. 그런데. 이때 종래의 Wi-Fi 탐지 센서는 사용자가 스마트폰의 Wi-Fi를 키거나 AP에 접속을 한 상태에서 데이터를 수집하는 방식을 채택하였기 때문에 상대적으로 낮은 계수 정확도를 제공하고 있다. 그러나, 제안 센서는 스마트 폰의 경우 Wi-Fi를 Off 한 상태에서도 미세하게 발신하는 시그널을 높은 수준으로 탐지하는 기술을 활용하고 있으며, 최근의 스마트폰에서 랜덤 MAC 사용에 대응하여 MAC De-Randamization 기술을 적용하여 중복탐지를 하지 않고 동일한 스마트폰으로 인식하여 외부인의 침입 감지에 효과적인 기술을 적용한다. 참고로, 보다 상세한 설명은 아래의 도 6을 참조하여 계속하기로 한다.

다른 한편으로, 추가적으로 이러한 일실시예의 시스템은 전술한 바의 센서로부터 수집 및 분석한 데이터를 기반으로 재난상황을 판단하는 모델을 구성하고, 이러한 재난 상황에 따른 경보를 결정하며, 다양한 상황에 따른 알림 서비스를 제공한다.

예를 들어, 이러한 경우에, WiFi 신호 탐지 시스템을 사용하면 비어 있어야 하는 장소에 위치한 사람과 같은 비정상적인 활동을 감지 할 수 있지만 이러한 비정상적인 활동은 위치 및 시나리오에 따라 다르다. 예를 들어, 호수 근처 새벽 3시에 1 시간이상 머문다면 경고를 발생하기만 하고, 클럽 지역에서 동일한 상황일 경우 정상 행동 패턴으로 간주한다.

그리고, 이때 이러한 비정상 행동에 대한 시나리오는 별도로 정의한다.

또한, 이러한 경우에, 이러한 경보 등의 제어신호 전달을 위한 MQTT 보안 프로토콜을 별도로 제공하기도 한다. 마찬가지로 참고로, 보다 구체적인 것은 아래의 도 5를 참조하여 설명한다.

그래서, 이를 통해 일실시예에 따른 시스템은 장소와 시간, 사람의 행태에 대한 데이터 학습 및 예측을 통한 상황맞춤형 안전 케어 기술 및 제품을 제공하고, 보급에 따른 재난 및 안전 사고 발생에 따른 인명, 재산 피해 최소화로 인한 사회적 비용을 절감한다.

도 2는 일실시예에 따른 다양한 상황에서 외부로부터의 여러 가지 위협을 탐지, 경보 및 그에 대응하는 방법을 적용한 시스템을 전체적으로 도시한 도면이다.

도 2에 도시된 바와 같이, 일실시예의 시스템은 다수의 상이한 장소별로 각기 설치한 온/습도와 소음/진동 등에 대한 IoT센서 모듈(100-1~100-n)과 와이파이 센서(110-1~110-n) , 전광판 장치(120-1~120-n) 및 스피커 장치(130-1~130-n), IoT 플랫폼(200), 관리 정보처리장치(300)를 포함한다.

상기 IoT센서 모듈(100-1~100-n)은 주변에 주택가가 있는 관광지와 야간통행을 금지한 산책로 등의 다수의 상이한 장소별로 예를 들어, a 장소와 b 장소, ... , n 장소에 설치한 것으로, 각각의 장소 내에 온도와 습도, 소음 등을 측정하여 주변 상태정보를 관리 정보처리장치(300)를 통해 관리자 등에게 제공한다.

상기 와이파이 센서(110-1~110-n)는 각각의 장소별로 설치하여 각각의 장소 내에 체류자의 체류자 정보 및 체류시간정보에 따른 와이파이 신호를 관리 정보처리장치(300)를 통해 제공하는 것이다. 그래서, 이를 통해 관리 정보처리장치(300)에서 체류자에 대한 정보를 예를 들어, 심야 시간대에 인적이 드문 곳에 체류자가 있는지 등을 파악한다.

상기 전광판 장치(120-1~120-n)는 일실시예에 따른 시스템인 재난 경고 시스템으로부터 구체적으로는, 관리 정보처리장치(300)를 통해 상황 알림 메시지를 수신하고, 이를 LED 디스플레이 모듈로 출력해서 경보 방송을 제공한다.

상기 스피커 장치(130-1~130-n)는 일실시예에 따른 재난 경고 시스템으로부터(관리 정보처리장치(300)를 통해) 상황 알림 메시지를 수신하고, 이를 스피커 모듈로 출력해서 경보 방송을 알림하며, 이때 현장의 스피커 장치(130-1~130-n)와 그 이외의 전광판 장치120-1~120-n)를 IoT센서 모듈(100-1~100-n)과는 IoT 플랫폼(200)에 연결하는 연동 인터페이스를 일실시예에서 별도로 제공하기도 한다.

상기 IoT 플랫폼(200)은 디바이스-게이트웨이-플랫폼으로, IoT센서 모듈(100-1~100-n)에서 관리 정보처리장치(300)로 서비스 프로그램에 대한 전구간 데이터 전달 및 관리를 할 수 있도록 한다. 그리고, 이러한 IoT 플랫폼(200)은 관리 정보처리장치(300)에서 센서 데이터를 저장하기 위한 것이며, IoT 리소스들을 사용하기 위하여 리소스 등록과 검색, 수정 및 삭제 등 디바이스 관리에 관한 기능을 제공한다. 부가적으로, 이러한 IoT 플랫폼은 자가망을 통해 각종 Io센서 모듈(100-1~100-n)과 관리 정보처리장치(300) 등에 상호 간 연결하는데, 상기 자가망은 예를 들어 TCP/IP망, LTE망, 무선통신망, IoT 통신망 등이다.

상기 관리 정보처리장치(300)는 상기 IoT센서 모듈(100-1~100-n)과 와이파이 센서(110-1~110-n)로부터 각 장소의 주변 상태와 체류자에 대한 정보를 수집해서, 이상 상태를 확인한 경우에 해당하는 장소의 전광판 장치(120-1~120-n)와 스피커 장치(130-1~130-n)로 경보 방송을 제공한다. 그리고 또한, 관리 정보처리장치(300)는 이러한 경우에, 해당하는 장소 내에 설비 기기로 제어명령을 전달하여 환기와 조명, 냉난방 등의 상태를 적절하게 조정하기도 한다. 부가적으로, 이러한 관리 정보처리장치(300)는 각 설비 기기 등의 동작을 원격지에서 관리자가 원하는 대로, 예를 들어 스케쥴 또는 이벤트 발생 여부에 따라 임의로 제어하기도 한다. 이에 더하여, 상기 관리 정보처리장치(300)는 이러한 센서로부터 수집 및 분석한 데이터를 기반으로 재난상황을 판단하는 모델을 구성하고, 이러한 재난 상황에 따른 경보를 결정하며, 다양한 상황에 따른 알림 서비스를 제공한다. 그리고, 이러한 경우 상기 관리 정보처리장치(300)는 이러한 정보 등과 관련하여 외부기관을 미리 등록해서 연계하여 더 나은 서비스를 제공하기도 하며, 병원 정보처리장치와 경찰서 정보처리장치 등이기도 하다. 부가적으로, 상기 관리 정보처리장치(300)는 지도기반 실시간 모니터링 및 알림을 수행해서, 수치와 지도를 통해 각 장소의 주변 상태와 체류자 상황을 쉽게 알려주고, 운용상황과 이력 등을 나타내기도 한다.

도 3은 도 2의 시스템에 적용한 관리 정보처리장치의 구성을 도시한 블록도이다.

도 3에 도시한 바와 같이, 일실시예에 따른 관리 정보처리장치(300)는 크게, 인터페이스부(301)와 제어부(302), 데이터베이스(303), 키신호 입력부(304) 및 표시부(305)를 포함한다.

상기 인터페이스부(301)는 각각의 장소별로 위치한 IoT센서 모듈(100)과 와이파이 센서(110), 전광판 장치(120) 및 스피커 장치(130)에 연결하고, 여러 설비 기기(140)와도 연결하여 다양한 각종 장소 주변 상태 정보와 체류자 정보(체류시간정보 포함)를 수집하고 경보방송과 설비제어를 한다.

상기 제어부(302)는 이러한 각 장소 주변의 상태정보와 체류자 정보 및 체류시간정보를 각각의 설정 정상 상태정보와 비교하여 이상 여부에 따라 상기 IoT 플랫폼(200)을 통해 전광판 장치(120)와 스피커 장치(130)에 경고방송정보를 제공한다. 그리고, 제어부(302)는 이러한 경우에 설비 기기(140)에 제어명령을 원격지에서 제공한다. 이에 더하여, 상기 제어부(302)는 이러한 센서로부터 수집 및 분석한 데이터를 기반으로 재난상황을 판단하는 모델을 구성하고, 이러한 재난 상황에 따른 경보를 결정하며, 다양한 상황에 따른 알림 서비스를 제공한다. 구체적으로는, 먼저 제어부(302)는 a) 원격지에서 제어할 경우에, 내부에서 주변 상태 행태와 방문자 행태를 다수의 상이한 장소와 상황별로 각 장소 주변의 상태정보와 체류자의 체류자 정보 및 체류시간정보에 따라 축적하여 산출하는 재난/안전 관리모델을 미리 등록한다. 상기 주변 상태 행태와 상기 방문자 행태는 상기 장소와 상황별로 상이한 위치와 시나리오에 따라 구분하여 산출한다. b) 그리고 나서, 이러한 장소별로 각 장소 주변의 상태정보와 체류자의 체류자 정보 및 체류시간정보를 입력받을 경우마다, 상기 재난/안전 관리모델로부터 현재 주변 상태 행태와 방문자 행태를 각각의 설정 정상 행태와 비교한다. c) 상기 비교 결과, 현재 주변 상태 행태와 방문자 행태가 각각의 설정 정상 행태에 해당하는 경우에 경고방송정보와 제어명령을 제공하지 않고, 각각의 설정 정상 행태에 해당하지 않는 경우에는 경고방송정보와 제어명령을 제공한다. 예를 들어, 호수 근처 새벽 3시에 1 시간이상 머문다면 경고를 발생하기만, 클럽 지역에서 동일한 상황일 경우 정상 행동 패턴으로 간주한다. 이때, 이러한 재난/안전 관리모델은 아래와 같이 만들어지기도 한다.

즉, 상기 재난/안전 관리모델은 아래와 같다.

a) 먼저 상기 원격지에서 제어할 경우에, 상기 장소별로 각각의 상황마다 주변 상태 행태와 방문자 행태를 다수의 상이한 각 장소 주변의 상태정보와 체류자의 체류자 정보 및 체류시간정보에 따라 분류하여 학습하는 모델을 정의한다.

상기 학습 모델을 분류할 경우에는, 다수의 상이한 위치와 시작 시간, 끝나는 시간, 기기 종류, 기기 등록 여부를 포함한 N개의 변수로 만들도록 한 벡터로부터 학습 파라메터를 분류한다.

b) 다음, 다수의 상이한 각 장소 주변의 상태정보와 체류자의 체류자 정보 및 체류시간정보에 따른 주변 상태 행태와 방문자 행태별로 특징을 나타내는 데이터셋을 추출한다.

c) 그리고, 상기 데이터셋을 다수의 상이한 장소와, 시간대, 주변 상태, 상황정보를 반영하여 속성화한다.

d) 그리고 나서, 이렇게 속성화 정보를 기초로 해서, 상기 학습 모델별로 각 장소 주변의 상태정보와, 체류자의 체류자 정보 및 체류시간정보에 따른 주변 상태 행태와 방문자 행태의 속성을 결정한다.

e) 다음, 상기 결정 정보를 정규화한다.

f) 그래서, 상기 정규화 정보를 기초로 해서 각각의 학습 모델별로 각 장소 주변의 상태정보와 체류자의 체류자 정보 및 체류시간정보에 따른 주변 상태 행태와 방문자 행태를 설정한다. 그래서, 이를 통해 주변 상태 행태와 방문자 행태를 산출하기 위해 주변 상태 행태와 방문자 행태의 독립 변수와, 각 장소 주변의 상태정보와 체류자의 체류자 정보 및 체류시간정보의 종속 변수를 설정한다.

g) 그리고 나서, 이러한 설정 정보를 학습 및 훈련 데이터로 생성한다. 이러한 경우에, 최초 학습에 있어서 플레이백(Playback)이 가장 중요한 도구로 사용하고, 이때 Playback은 시스템 활동을 전반적으로 보여주고 전문가 (사람)으로 하여금 경고해야하는 상황을 표시하도록 하는 방식이다.

h) 그래서, 상기 생성 정보로부터 딥러닝 기반의 재난/안전 관리모델을 생성한다(아래의 표 1 참조).

상화(장소)별 학습

또는 이에 더하여, 이러한 재난/안전 관리모델은 여러 위험 상황을 알려고 할 경우, 아래의 구성으로부터 특정한 상황을 미리 파악하여 관리자 등에게 알려줄 수 있도록 한다.

a) 이를 위해, 먼저 다수의 상이한 장소별로 각각의 상황마다 주변 상태 행태와 방문자 행태를 보이는 패턴을 추출하며, 이를 위해 각각의 장소 주변의 상태정보와 체류자의 체류자 정보 및 체류시간정보에 따라 분류하여 학습하는 모델을 정의한다.

b) 다음, 다수의 상이한 각 장소 주변의 상태정보와 체류자의 체류자 정보 및 체류시간정보에 따른 주변 상태 행태와 방문자 행태 패턴별로 특징을 나타내는 데이터셋을 추출한다.

c) 그리고, 상기 데이터셋을 다수의 상이한 장소와, 시간대, 주변 상태, 상황정보를 반영하여 속성화한다.

d) 그리고 나서, 이렇게 속성화 정보를 기초로 해서, 상기 학습 모델별로 각 장소 주변의 상태정보와, 체류자의 체류자 정보 및 체류시간정보에 따른 주변 상태 행태와 방문자 행태에 관한 패턴의 속성을 결정한다.

e) 다음, 이렇게 결정된 결과를 정규화한다.

f) 그래서, 이러한 정규화된 결과를 기초로 해서 각각의 학습 모델별로 주변 상태 행태와 방문자 행태에 관한 패턴 등을 설정한다. 그리고, 이를 통해 각각의 장소별로 위험 상황을 알기 위한 독립(주변 상태 행태와 방문자 행태에 관한 패턴) 및 종속(각 장소 주변의 상태정보와, 체류자의 체류자 정보 및 체류시간정보) 변수로 설정한다.

g) 그리고 나서, 이렇게 설정된 결과를 학습 및 훈련 데이터로 생성한다.

h) 그래서, 이러한 결과로부터 전술한 모델을 생성한다.

부가적으로, 이러한 모델에 대해서 조금 더 설명하면 아래와 같다.

먼저, 이러한 모델은 예를 들어, 각각의 장소 또는 상황별로 모델을 각기 생성할 수도 있고, 기준을 잡아 몇 개의 묶음으로 모델을 생성할 수도 있다. 이러한 것은 데이터의 특성에 따라 적합한 방법을 결정하도록 한다.

그리고, 이렇게 모델 생성을 위한 데이터가 전송될 경우, 데이터에서 통신과 설비 등의 오류로 인하여 다수 데이터가 미수집 될 경우와 데이터 등의 이상치가 발생할 경우가 있으며, 해당 데이터 파일을 제거하여야 한다. 그래서, 이를 통해 기본 데이터셋 생성 후, 추가적으로 필요한 관련된 정보에 대해서 속성을 추가한다.

또한, 간혹 데이터의 끊김 현상으로 일부 데이터가 미수집 되었을 경우 해당 데이터를 제거한다.

그래서, 다음으로 모델별 유효한 속성을 결정하고 정규치를 생성한 후 독립 및 종속 변수를 결정한다.

그리고 나서, 학습 모델을 생성하기 위해서는 전체 데이터 중에서 학습과 훈련 데이터를 생성한다. 일반적으로 전체 데이터셋에서 70%를 학습데이터로 30%를 모델 생성후 모델을 시험하기 위해 훈련데이터로 사용한다. 다음으로 학습 모델을 생성한다. 이 단계에서 어떠한 학습모델을 사용할 것인지 결정한다. 예를 들어, 딥러닝 기반에서 필요한 레이어를 구성하여 입력과 출력층을 구성하여 최정 출력 개수를 설정하는 구성을 말한다. 생성된 모델을 평가하고 이 모델을 오차율에 만족하면 새로운 데이터로 모델을 시뮬레이션 한 후, 모델 갱신이 필요하지 않으면 학습 모델을 저장한 후 모델로서 사용한다.

상기 데이터베이스(303)는 각종 센서 모듈과 전광판 장치, 스피커 장치 등의 장치정보를 등록하고, 각 장소 주변의 상태정보와 체류자 정보 및 체류시간정보 등을 데이터베이스화하여 등록한다. 그리고, 추가적으로 상기 데이터베이스(303)는 운용상황과 이력 등을 저장하고, 전술한 학습모델 정보를 저장하기도 한다.

상기 키신호 입력부(304)는 이렇게 재난상황 판단과 상황 알림 동작을 수행할 경우에, 사용자 키 조작에 따라 각종 설정정보를 예를 들어, 장소설정과, 이상확인용 정상상태정보 등의 모니터링용 정보 등을 입력받아 여러 기능을 수행하도록 한다.

상기 표시부(305)는 이렇게 재난상황 판단과 상황 알림 동작을 수행할 경우에, 화면에 각종 알림정보를 예를 들어, 이상여부 메시지와 운용상황 및 이력 등을 나타내어 관리자가 쉽게 알 수 있도록 한다.

도 4는 일실시예에 따른 다양한 상황에서 외부로부터의 여러 가지 위협을 탐지, 경보 및 그에 대응하는 방법을 순서대로 도시한 절차 흐름도이다.

도 4에 도시한 바와 같이, 일실시예에 따른 방법은 먼저 특정 장소를 모니터링하고 재난상황 발생에 따라 조치를 취할 경우, IoT센서 모듈(100)에서 다수의 상이한 장소별로 설치한 다수의 온도 센서와 습도 센서, 소음 센서, 진동 센서를 포함하여 각각의 장소 주변의 상태를 감지한다.

그리고, 와이파이 센서(110)에서 이와 마찬가지로, 장소별로 설치하여 각각의 장소 내에 체류자의 체류자 정보 및 체류시간정보에 따른 와이파이 신호를 제공한다.

이러한 상태에서, 상기 관리 정보처리장치(300)는 이러한 경우에, 각 장소 주변의 상태정보와 체류자 정보 및 체류시간정보를 IoT 플랫폼(200)을 통해 제공받아서, 각각의 설정 정상 상태정보와 비교하여 이상 여부에 따라 경고방송정보와 제어명령을 원격지에서 제공한다.

즉, 상기 비교 결과, 이상이 발생한 경우에 IoT 플랫폼(200)을 통해 전광판 장치(120)와 스피커 장치(130)로 경보방송 메시지를 전달한다. 그리고, 또한 상기 설비 기기(140)로 제어명령을 전송하기도 한다.

그러면, 전광판 장치(120)는 각각의 장소별로 설치하여 경고방송정보를 표시하고, 스피커 장치(130)도 이와 마찬가지로 하여 경고방송정보를 음성 출력한다. 그리고, 또한 설비 기기(140)는 역시 장소별로 설치하여 각 장소 주변의 상태를 예를 들어, 환기와 조명 또는, 냉난방 상태를 적절하게 조정한다.

따라서, 이를 통해 일실시예에 따른 시스템은 엣지형 Iot센서 모듈을 이용하여 방문객 패턴 분석을 수행하고, 이상 체류 패턴을 감지하고, 소음 감지 센서 등을 활용하여 실증 지역의 심야 시간대 등에서 방문자 등의 소음 패턴 등을 감지함으로써, 다양한 각종 재난과 안전 상황 등을 판단한다. 그리고 또한, 이때, 이상 체류자 탐지시 실증 장비에 연결한 스피커와 디스플레이를 통해 위험상황을 표출하는 상황알림을 수행한다.

그리고, 또한 비정상적 상황 인지를 통한 실시간 위험 상황의 인지 및 신속 대응 체계를 확보하고, 예를 들어, 특정 장소에서의 장시간 움직임 없음과 위험 지역 접근(진입) 등 실시간 상황인지를 통한 신속 대응 체계를 확보함으로써, 신속한 구호와 구조를 한다.

이에 더하여, 일실시예에 따른 시스템은 아래의 동작을 수행한다.

a) 즉, 상기 관리 정보처리장치(300)는 원격지에서 제어할 경우에, 내부에서 주변 상태 행태와 방문자 행태를 다수의 상이한 장소와 상황별로 각 장소 주변의 상태정보와 체류자의 체류자 정보 및 체류시간정보에 따라 축적하여 산출하는 재난/안전 관리모델을 미리 등록한다(전술한 내용 참조).

그리고, 이러한 경우에, 이러한 주변 상태 행태와 상기 방문자 행태는 상기 장소와 상황별로 상이한 위치와 시나리오에 따라 구분하여 산출한다.

b) 그리고 나서, 이러한 장소별로 각 장소 주변의 상태정보와 체류자의 체류자 정보 및 체류시간정보를 입력받을 경우마다, 상기 재난/안전 관리모델로부터 현재 주변 상태 행태와 방문자 행태를 각각의 설정 정상 행태와 비교한다.

c) 상기 비교 결과, 현재 주변 상태 행태와 방문자 행태가 각각의 설정 정상 행태에 해당하는 경우에 경고방송정보와 제어명령을 제공하지 않고, 각각의 설정 정상 행태에 해당하지 않는 경우에는 경고방송정보와 제어명령을 제공한다.

추가적으로, 상기 관리 정보처리장치는 이에 관한 상황을 조금 더 개선하여 아래의 동작을 수행하기도 한다.

즉, 상기 관리 정보처리장치는 상기 각 장소별로 주변 상태 행태와 방문자 행태를 산출한 경우, 등록 개선 포맷으로부터 상기 설비 기기의 동작을 상이한 장소와 시간대, 주변 상태, 상황, 위치 및 시나리오별 주변 상태 행태와 방문자 행태에 따른 축적 정보로 나온 위험 주변 상태 행태와 방문자 행태에 따라 미리 제어한다.

따라서, 이를 통해 일실시예에 따른 시스템은 또한 장소와 시간, 사람의 행태에 대한 데이터 학습 및 예측을 통한 상황맞춤형 안전 케어 기술 및 제품을 제공하고, 보급에 따른 재난 및 안전 사고 발생에 따른 인명, 재산 피해 최소화로 인한 사회적 비용을 절감한다.

이상과 같이, 일실시예는 엣지형 Iot센서 모듈을 이용하여 방문객 패턴 분석을 수행하고, 이상 체류 패턴을 감지하고, 소음 감지 센서 등을 활용하여 실증 지역의 심야 시간대 등에서 방문자 등의 소음 패턴 등을 감지함으로써, 다양한 각종 재난과 안전 상황 등을 판단한다. 그리고 또한, 이때, 이상 체류자 탐지시 실증 장비에 연결한 스피커와 디스플레이를 통해 위험상황을 표출하는 상황알림을 수행한다.

그래서, 이를 통해 정상적 상황 인지를 통한 실시간 위험 상황의 인지 및 신속 대응 체계를 확보하고, 예를 들어, 특정 장소에서의 장시간 움직임 없음과 위험 지역 접근(진입) 등 실시간 상황인지를 통한 신속 대응 체계를 확보함으로써, 신속한 구호와 구조를 한다.

또한, 일실시예는 이러한 센서로부터 수집 및 분석한 데이터를 기반으로 재난상황을 판단하는 모델을 구성하고, 이러한 재난 상황에 따른 경보를 결정하며, 다양한 상황에 따른 알림 서비스를 제공한다.

따라서, 이를 통해 장소와 시간, 사람의 행태에 대한 데이터 학습 및 예측을 통한 상황맞춤형 안전 케어 기술 및 제품을 제공하고, 보급에 따른 재난 및 안전 사고 발생에 따른 인명, 재산 피해 최소화로 인한 사회적 비용을 절감한다.

도 5는 도 4의 방법에 적용한 현장 경보 시스템과 엣지형 IoT 센서 간의 연동 모델을 보여주는 도면이다.

도 5에 도시된 바와 같이, 일실시예에 따른 현장 경보 시스템과 엣지형 IoT 센서 간의 연동 모델은 재난 상황에 따른 경보 결정 시스템을 구성하고, 제어신호 전달을 위한 MQTT 기반 보안프로토콜을 설계한다.

그리고, 이러한 경우에 상기 MQTT 기반 보안프로토콜은 경보 전달을 위한 MQTT 서비스를 구성하고, MQTT 기반의 제어 프로토콜 분류와 사물인터넷 기반의 엣지형 IoT 디바이스에 상황 전달 및 경보신호를 전달한다.

추가적으로, 이러한 현장 경보 시스템과 엣지형 IoT 센서 간의 연동 모델은 아래와 같다.

먼저, 상기 IoT센서 모듈과 전광판 장치, 스피커 장치, 설비 기기, IoT 플랫폼 및 관리 정보처리장치는 아래의 동작을 수행한다.

a) 상기 원격지에서 제어할 경우, 설정 MQTT 서비스 포맷로부터 각각의 정보를 MQTT 기반의 와이파이와 TCP/IP 기반형 MQTT 제어 프로토콜과 지그비와 BLE 기반형 CoAP 제어 프로토콜과 보안 프로토콜별로 상이하게 현장 경보 시스템과 엣지형 IoT 디바이스를 연동 인터페이스화함으로써, 경보방송정보와 제어명령을 포함한 제어신호를 교환한다.

b) 그리고 또한, 이러한 경우에 상기 보안 프로토콜은 아래와 같다.

1) 먼저 상기 제어신호를 교환할 경우에, 각각의 장치에서 암호화를 위한 버퍼를 할당하여 초기화한다.

2) 그리고, 이러한 초기화 상태에서, 해당하는 제어신호로부터 경보 여부를 확인하여 상기 확인 결과, 경보가 있는 경우에 경보 메시지로서 암호화하고, 경보가 없는 경우에는 암호화하지 않는다.

3) 다음, 상기 경보 메시지로 암호화할 경우에는, 등록 경량 인증서로부터 암호화 키를 생성한다,

4) 그래서, 상기 암호화한 경보 메시지와 상기 암호화 키에 의해 경보를 전달한다.

도 6은 도 4의 방법에 적용한 체류자 정보 수집용 맥 어드레스 비식별화 구성을 설명하기 위한 도면이다.

도 6에 도시된 바와 같이, 일실시예에 따른 체류자 정보 수집용 맥 어드레스 비식별화 구성은 스마트폰의 Mac 주소를 Wi-Fi 센서에서 가명화 처리하여 서버로 전송/저장한다. 그리고, 센서에서 가명화 처리한 정보는 더 이상의 개인 식별 정보가 아니게 됨으로 관련 법령에 저촉되지 않는다. 또한, Wi-Fi 센서를 통해 수집하는 MAC 정보는 Wi-Fi 센서에서 512Bit 수준의 One-Way Hash 암호화를 통해 비식별화 된 이후 서버로 전송한다. 그리고, 이러한ㅇ비식별화(VisitorID) 정보는 Decryption이 불가하다.

추가적으로, 이러한 체류자 정보 수집용 맥 어드레스 비식별화 구성은 아래와 같다.

먼저, 상기 와이파이 센서는 아래의 동작을 수행한다.

a) 상기 와이파이 신호를 센싱하는 탐지 조건을 1) 와이파이가 특정 AP에 접속한 상태, 2) 와이파이가 켜져 있으나 AP에 접속하지 않은 상태, 3) 와이파이가 꺼져 있는 상태로 구분한다.

b) 다음, 이러한 상태에서 와이파이 네트워크에 접속한 경우에는 체류자 단말기의 리얼 맥 어드레스를 사용하고, 와이파이 네트워크에 접속하지 않은 경우에는 랜덤 맥 어드레스를 사용한다.

c) 그리고 나서, 상기 랜덤 맥 어드레스로 체류자 단말기를 인식할 경우에는, 설정 디랜드마이징(Derandomization) 포맷으로부터 랜덤 맥 어드레스를 그룹핑화하여, 하나의 체류자 단말기로 인식한다.

d) 그래서, 상기 체류자 단말기로 인식한 후에, 설정 단일 경로 해시(One-Way Hash) 암호화 포맷으로부터 체류자 단말기의 맥 어드레스를 비식별화해서 상기 관리 정보처리장치로 전송한다.

또한, 상기 관리 정보처리장치는 이에 따라 아래의 동작을 수행한다.

즉, 상기 체류자의 체류자 정보 및 체류시간정보를 제공받을 경우에, 상기 비식별화 체류자 단말기의 맥 어드레스를 기초로 하여 체류자 정보 및 체류시간정보를 수집하여 방문자 행태를 획득한다.

301 : 인터페이스부 302 : 제어부
303 : 데이터베이스 304 : 키신호 입력부
305 : 표시부

Claims (3)

1. 다수의 상이한 장소별로 온도와 습도, 소음, 진동을 포함한 주변의 상태정보를 각기 감지할 경우, 원격지에 관리 정보처리장치의 메인 처리부에서 각 장소 주변의 현재 상태를 IoT 플랫폼으로 일괄 전달받아 확인하여, 각각의 장소를 모니터링하는 방법에 있어서,
   상기 각각의 장소 주변을 확인할 경우에, 상이한 장소와 상황별로 주변 상태 행태와 방문자 행태를 각각의 장소 주변에 상태정보와 체류자의 체류자 정보 및 체류시간정보에 따라 축적하여 산출하는 재난/안전 관리모델을 미리 등록하고,
   상기 주변 상태 행태와 상기 방문자 행태는 각각의 장소와 상황별로 상이한 위치와 시나리오에 따라 구분하여 산출하는 제 1 단계;
   상기 장소별로 주변의 상태정보와 체류자의 체류자 정보 및 체류시간정보를 입력받을 경우마다, 상기 재난/안전 관리모델로부터 현재 주변 상태 행태와 방문자 행태를 각각의 설정 정상 행태와 비교하는 제 2 단계; 및
   상기 비교 결과, 현재 주변 상태 행태와 방문자 행태가 각각의 설정 정상 행태에 해당하는 경우에 경고방송정보와 제어명령을 제공하지 않고, 각각의 설정 정상 행태에 해당하지 않는 경우에는 경고방송정보와 제어명령을 제공하는 제 3 단계; 를 포함하고,
   
   또한, 상기 재난/안전 관리모델은,
   a) 각각의 장소 주변을 확인할 경우에, 상이한 장소별로의 각 상황마다 주변 상태 행태와 방문자 행태를 각각의 장소 주변에 상태정보와 체류자의 체류자 정보 및 체류시간정보에 따라 분류하여 학습하는 모델을 정의하고,
   상기 학습 모델을 분류할 경우에는, 다수의 상이한 위치와 시작 시간, 끝나는 시간, 기기 종류, 기기 등록 여부를 포함한 N개의 변수로 만들도록 한 벡터로부터 학습 파라메터를 분류하고,
   b) 각각의 장소 주변에 상태정보와 체류자의 체류자 정보 및 체류시간정보에 따른 주변 상태 행태와 방문자 행태별로 특징을 나타내는 데이터셋을 각기 추출하고,
   c) 상기 데이터셋을 다수의 상이한 장소와 시간대, 주변 상태, 상황정보를 반영하여 속성화하며,
   d) 상기 속성화 정보를 기초로 해서, 상기 학습 모델별로 각 장소 주변의 상태정보와 체류자의 체류자 정보 및 체류시간정보에 따른 주변 상태 행태와 방문자 행태의 속성을 결정하고,
   e) 상기 결정 정보를 정규화해서,
   f) 상기 정규화 정보를 기초로 해서 각각의 학습 모델별로 각 장소 주변의 상태정보와 체류자의 체류자 정보 및 체류시간정보에 따른 주변 상태 행태와 방문자 행태를 설정하여, 주변 상태 행태와 방문자 행태를 산출하기 위해 주변 상태 행태와 방문자 행태의 독립 변수와, 각 장소 주변의 상태정보와 체류자의 체류자 정보 및 체류시간정보의 종속 변수를 설정하고,
   g) 상기 설정 정보를 학습 및 훈련 데이터로 생성하여,
   h) 상기 생성 정보로부터 딥러닝 기반의 재난/안전 관리모델을 생성하는 것; 을 특징으로 하는 다양한 상황에서 외부로부터의 여러 가지 위협을 탐지, 경보 및 그에 대응하는 방법.
2. 청구항 1에 있어서,
   상기 제 2 단계는
   상기 체류자의 체류자 정보 및 체류시간정보를 제공받을 경우에, 아래의 비식별화 체류자 단말기의 맥 어드레스를 기초로 하여 체류자 정보 및 체류시간정보를 수집하여 방문자 행태를 획득하고,
   
   상기 비식별화 체류자 단말기의 맥 어드레스는,
   a) 와이파이 신호를 센싱하는 탐지 조건을 1) 와이파이가 특정 AP에 접속한 상태, 2) 와이파이가 켜져 있으나 AP에 접속하지 않은 상태, 3) 와이파이가 꺼져 있는 상태로 구분하고,
   b) 각각의 상태에서 와이파이 네트워크에 접속한 경우에는 체류자 단말기의 리얼 맥 어드레스를 사용하고, 와이파이 네트워크에 접속하지 않은 경우에는 랜덤 맥 어드레스를 사용하고,
   c) 상기 랜덤 맥 어드레스로 체류자 단말기를 인식할 경우에는, 설정 디랜드마이징(Derandomization) 포맷으로부터 랜덤 맥 어드레스를 그룹핑화하여, 하나의 체류자 단말기로 인식하며,
   d) 상기 체류자 단말기로 인식한 후에, 설정 단일 경로 해시(One-Way Hash) 암호화 포맷으로부터 체류자 단말기의 맥 어드레스를 비식별화해서 제공하는 것; 을 특징으로 하는 다양한 상황에서 외부로부터의 여러 가지 위협을 탐지, 경보 및 그에 대응하는 방법.
3. 삭제

Images