KR102327807B1 - 인공지능 기반 승강기 위험상황 자동 예측판단시스템 - Google Patents

Abstract

본 발명은 인공지능 기반 승강기 위험상황 자동 예측판단시스템에 관한 것으로, 보다 상세하게는 승강기 내 상황을 측정하여, 측정데이터를 획득하는 데이터 측정부; 및 상기 측정데이터와, 제어반의 승강기 상태데이터와 고장신호를 전송받아 상기 측정데이터, 상기 상태데이터와, 상기 고장신호를 기반으로 승강기 내 상황을 판단하는 관리서버;를 포함하고, 상기 관리서버는, 상기 측정데이터의 패턴을 식별하는 패턴식별모듈; 상기 측정데이터와, 제어반의 승강기 상태데이터와 고장신호를 수집하는 빅데이터수집모듈; 상기 상태데이터와 고장신호를 기반으로 고장여부를 판단하고, 상기 측정데이터 패턴과 정상상태모델을 매칭하여 유사범위 내인 경우 정상상태로 판단하고, 상기 측정데이터와 비정상상태모델을 매칭하여 유사범위 내인 경우 비정상상태로 판단하며, 상기 정상상태로 판단된 측정데이터를 정상상태데이터로 분류하고 상기 비정상상태로 판단된 측정데이터를 비정상상태데이터를 분류하는 학습기반 분류처리 상황판단모듈; 상기 정상상태데이터들을 학습하여 추출된 정상상태 패턴을 기반으로 정상상태모델을 생성하고, 상기 비정상상태데이터들을 학습하여 추출된 비정상상태 패턴을 기반으로 비정상상태모델을 생성하는 학습모듈; 및 상기 정상상태모델과 상기 비정상상태모델을 실시간 저장, 업데이트하는 패턴 DB;를 포함하는 것을 특징으로 하는 승강기 위험상황 자동 예측판단시스템에 관한 것이다.

Description

인공지능 기반 승강기 위험상황 자동 예측판단시스템{System for judging siuation of elevator based on Artificial intelligence}

본 발명은 인공지능 기반 승강기 위험상황 자동 예측판단시스템에 관한 것이다.

국가 정책으로서 행정안전부에서는 엘리베이터의 비상상황 감지를 위한 비상통화장치 설치가 의무화되었으며, 2014년엔 비상통화장치를 설치하지 않을 시 법적인 재제를 가하도록 관련법이 개정되었다. 현재 엘리베이터 정책과 시장 확대와 더불어 이에 따른 수요는 급격히 증가하였으나, 현재 설치된 비상상황 시스템의 경우 사고 예방보다는 후속조치 또는 단속용으로 활용되고 있다. 이는 근본적인 문제 해결보다는 사건 발생 후의 상황 대응에 중점을 두는 실정이다.

엘리베이터 내의 범죄 발생률은 증가하는 추세이며 사회적으로도 이슈이다. 외부와 격리된 구조를 갖는 엘리베이터는 경비인원 감축과 내부에 설치된 CCTV의 노후화 등 여러 문제점을 갖고 있다.

이는 엘리베이터 내부에서 발생하는 성범죄와 폭력사건 등의 중범죄 발생 빈도가 늘어나는 것에 영향을 준다.

이런 문제에 대응하기 위해 탑승자의 안전성 확보를 위한 시스템이 필요하다.

현재 시스템은 CCTV가 설치 위치의 문제로 인해 가해자가 모자 등을 쓸 경우 신원확인이 어려우며, 엘리베이터 내부에서 범죄 발생 시 경비실 및 구조기관에 피해자가 비상상황을 직접 전달하거나 관리자가 직접적으로 확인해야 한다. 비상상황의 전달이 빠를수록 피해자의 인적 또는 물적 손실을 최소화할 수 있다.

그러나 CCTV 관리자가 부재 중인 경우, 또는 가해자가 해당 장치의 접근을 차단하는 경우 등의 접근이 어렵다는 문제가 있다. 위의 경우처럼 대응이 늦을 경우, 피해자에겐 돌이킬 수 없는 손실이 발생할 수도 있다.

이러한 중범죄의 발생 시 비상상황을 자동적으로 판단하여 크게는 범죄율을 줄이고, 피해자가 손쉽게 비상상황을 알릴 수 있도록 하는 안전장치에 대한 기술 개발이 필요하다.

대한민국 공개특허 제2010-0089418호 대한민국 등록특허 제1317885호 대한민국 등록특허 제1317885호 대한민국 등록특허 제1219407호 대한민국 등록특허 제1407952호 일본 등록특허 제4663756호 대한민국 등록특허 제1880353호

따라서 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 실시예에 따르면, 인공지능, 빅데이터, 기계학습을 통해 승강기 상황을 실시간으로 판단, 예측하고, 구체적 상황별로 자동 대응이 가능한 인공지능 기반 승강기 위험상황 자동 예측판단시스템을 제공하는데 그 목적이 있다.

본 발명의 실시예에 따르면, 기계학습을 기반으로 고장상태, 정상상태, 예비상태, 조난상태, 폭력상태로 판단, 분류하여 각각 상황별로 자동 대응, 안내, 대처가 가능한 인공지능 기반 승강기 위험상황 자동 예측판단시스템을 제공하는데 그 목적이 있다.

그리고 본 발명의 실시예에 따르면, 기계학습을 기반으로 측정데이터를 정상상태데이터, 예비상태데이터, 조난상태데이터, 폭력상태데이터로 분류하고, 분류된 정상상태데이터, 예비상태데이터, 조난상태데이터, 폭력상태데이터 각각을 패턴 학습을 통해 정상상태모델, 예비상태모델, 조난상태모델, 폭력상태모델을 생성, 갱신, 업데이트할 수 있는 인공지능 기반 승강기 위험상황 자동 예측판단시스템을 제공하는데 그 목적이 있다.

본 발명의 실시예에 따르면, 예비상태, 조난상태, 폭력상태 별로 구체적인 시나리오에 따라 기기를 자동제어하여 위험상황별 신속한 대처가 가능한, 인공지능 기반 승강기 위험상황 자동 예측판단시스템을 제공하는데 그 목적이 있다.

한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 목적은, 승강기 내 상황을 측정하여, 측정데이터를 획득하는 데이터 측정부; 및 상기 측정데이터와, 제어반의 승강기 상태데이터와 고장신호를 전송받아 상기 측정데이터, 상기 상태데이터와, 상기 고장신호를 기반으로 승강기 내 상황을 판단하는 관리서버;를 포함하고, 상기 관리서버는, 상기 측정데이터의 패턴을 식별하는 패턴식별모듈; 상기 측정데이터와, 제어반의 승강기 상태데이터와 고장신호를 수집하는 빅데이터수집모듈; 상기 상태데이터와 고장신호를 기반으로 고장여부를 판단하고, 상기 측정데이터 패턴과 정상상태모델을 매칭하여 유사범위 내인 경우 정상상태로 판단하고, 상기 측정데이터와 비정상상태모델을 매칭하여 유사범위 내인 경우 비정상상태로 판단하며, 상기 정상상태로 판단된 측정데이터를 정상상태데이터로 분류하고 상기 비정상상태로 판단된 측정데이터를 비정상상태데이터를 분류하는 학습기반 분류처리 상황판단모듈; 상기 정상상태데이터들을 학습하여 추출된 정상상태 패턴을 기반으로 정상상태모델을 생성하고, 상기 비정상상태데이터들을 학습하여 추출된 비정상상태 패턴을 기반으로 비정상상태모델을 생성하는 학습모듈; 및 상기 정상상태모델과 상기 비정상상태모델을 실시간 저장, 업데이트하는 패턴 DB;를 포함하는 것을 특징으로 하는 승강기 위험상황 자동 예측판단시스템으로서 달성될 수 있다.

그리고 상기 데이터 측정부는, 승강기 내부를 실시간으로 촬상하여 영상데이터를 획득하는 영상획득부와, 승강기 내부 음향신호를 입력받아 음성데이터를 획득하는 음성획득부와, 승강기 내부에 발생되는 진동상태를 실시간으로 측정하는 진동감지부를 포함하고, 상기 패턴식별모듈은, 상기 영상데이터에서의 움직임패턴을 분석하는 영상처리부와, 상기 음성데이터의 음압주파수패턴을 분석하는 음성처리부와, 상기 진동상태의 진동패턴을 분석하는 진동처리부를 포함하는 것을 특징으로 할 수 있다.

또한 상기 학습기반 분류처리 상황판단모듈은, 상기 움직임패턴이 정상상태 움직임패턴과 매칭하여 유사범위 내이고, 상기 음압주파수패턴이 정상상태 음압주파수패턴과 매칭하여 유사범위 내이며, 상기 진동패턴이 정상상태 진동패턴과 매칭하여 유사범위 내인 경우 정상상태로 판단하고 정상상태데이터로 분류하며, 상기 학습모듈은 상기 정상상태데이터들의 움직임패턴과 음압주파수패턴과 진동패턴을 학습하여 정상상태모델을 생성하는 것을 특징으로 할 수 있다.

그리고 상기 학습기반 분류처리 상황판단모듈은, 상기 측정데이터의 움직임패턴이 조난상태 움직임패턴과 매칭하여 유사범위 내인 경우, 상기 측정데이터의 음압주파수패턴이 조난상태 음압주파수패턴과 유사범위 내이거나, 또는 상기 측정데이터의 진동패턴이 조난상태 진동패턴과 유사범위 내인 경우 조난상태로 판단하고 조난상태데이터로 분류하며, 상기 학습모듈은 상기 조난상태데이터들의 움직임패턴과 음압주파수패턴과 진동패턴을 학습하여 조난상태모델을 생성하고, 상기 측정데이터의 움직임패턴이 폭력상태 움직임패턴과 유사범위 내인 경우, 상기 측정데이터의 음압주파수패턴이 폭력상태 음압주파수패턴과 유사범위 내이거나, 또는 상기 측정데이터의 진동패턴이 폭력상태 진동패턴과 유사범위 내인 경우 폭력상태로 판단하고 폭력상태데이터로 분류하며, 상기 학습모듈은 상기 폭력상태데이터들의 움직임패턴과 음압주파수패턴과 진동패턴을 학습하여 폭력상태모델을 생성하는 것을 특징으로 할 수 있다.

또한 상기 패턴 DB는, 상기 정상상태모델의 움직임패턴, 음압주파수패턴, 진동패턴을 실시간 저장, 업데이트하고, 상기 조난상태모델의 움직임패턴, 음압주파수 패턴, 진동패턴을 실시간 저장, 업데이트하고, 상기 폭력상태모델의 움직임패턴, 음압주파수패턴, 진동패턴을 실시간 저장, 업데이트하는 것을 특징으로 할 수 있다.

그리고 상기 정상상태모델과 매칭되지 않는 경우, 상기 학습기반 분류처리 상황판단모듈은, 예비상태모델의 예비상태 움직임패턴과, 예비상태 음압주파수패턴과, 예비상태 진동패턴 중 적어도 어느 하나가 유사범위 내이면 예비상태로 판단하고 예비상태데이터로 분류하며, 예비상태로 판단한 예비상태데이터와, 조난상태, 폭력상태 발생 직전부터 특정시간 동안 수집된 영상데이터와 진동데이터, 음성데이터를 예비상태데이터로 분류하고, 학습모델은 상기 예비상태데이터들의 움직임패턴과 음압주파수패턴과 진동패턴을 학습하여 예비상태모델을 생성하는 것을 특징으로 할 수 있다.

또한 상기 학습기반 분류처리 상황판단모듈과, 상기 학습모듈은, Softmax 회귀분류, Autoencoder 알고리즘, VAE(Variant Auto Encoder)알고리즘, 및 LSTM(Long Short-Term Memory) 알고리즘 중 적어도 어느 하나를 적용하는 것을 특징으로 할 수 있다.

그리고 상기 비정상상태로 판단된 경우, 비상통화장치를 통해 승강기 내부와 관리서버를 갖는 관리실이 자동연결되도록 제어하고, 관리실 내 디스플레이에 상기 영상데이터를 디스플레이시키도록 제어하는 제어통신모듈;을 더 포함하는 것을 특징으로 할 수 있다.

또한 상기 비정상상태로 판단된 경우, 상기 제어통신모듈은 승강기 내에 설치된 모든 영상획득부가 구동되도록 하고, 상기 측정데이터가 별도의 저장수단 내에 저장되도록 하며, 상기 영상처리부를 심층분석모드로 전환시키도록 제어하는 것을 특징으로 할 수 있다.

그리고 상기 제어통신모듈은, 상기 폭력상태로 판단된 경우, 기 설정된 경비업체 및 경찰서 중 적어도 어느 하나와 기 설정된 관리자 사용자단말기로 폭력상황정보를 전송하고, 승강기 최대 운행속도 모드로 근접층에 정지 후 도어가 오픈되도록 제어하는 것을 특징으로 할 수 있다.

또한 상기 제어통신모듈은, 상기 근접층에 설치된 CCTV 영상을 상기 관리실 내 디스플레이부에 디스플레이하고, 상기 근접층에 설치된 알림장치를 통해 폭력상황안내정보를 송출하도록 제어하는 것을 특징으로 할 수 있다.

그리고 상기 제어통신모듈은, 상기 폭력상태로 판단된 경우, 기 설정된 경비업체, 및 경찰서 중 적어도 어느 하나와 기 설정된 관리자 사용자단말기로 폭력상황정보를 전송하고, 승강기 최대 운행속도 모드로 외부공간과 연결되고 상근 근로자가 상주하는 기준층에 정지 후 도어가 오픈되도록 제어하고, 상기 기준층에 설치된 CCTV 영상을 상기 관리실 내 디스플레이부에 디스플레이하고, 상기 기준층에 설치된 알림장치를 통해 폭력상황안내정보를 송출하도록 제어하는 것을 특징으로 할 수 있다.

또한 상기 제어통신모듈은, 상기 조난상태로 판단된 경우, 기 설정된 응급출동기관 및 의료기관 중 적어도 어느 하나와 기 설정된 관리자 사용자단말기로 조난상황정보를 전송하고, 승강기 최대 운행속도 모드로 외부공간과 연결되고 상근 근로자가 상주하는 기준층에 정지 후 도어가 오픈되도록 제어하는 것을 특징으로 할 수 있다.

그리고 상기 기준층에 설치된 CCTV 영상을 상기 관리실 내 디스플레이부에 디스플레이하고, 상기 기준층에 설치된 알림장치를 통해 조난상황안내정보를 송출하도록 제어하는 것을 특징으로 할 수 있다.

본 발명의 실시예에 따른 인공지능 기반 승강기 위험상황 자동 예측판단시스템에 따르면, 인공지능, 빅데이터, 기계학습을 통해 승강기 상황을 실시간으로 판단, 예측하고, 구체적 상황별로 자동 대응이 가능한 효과를 갖는다.

본 발명의 실시예에 따른 인공지능 기반 승강기 위험상황 자동 예측판단시스템에 따르면, 기계학습을 기반으로 고장상태, 정상상태, 예비상태, 조난상태, 폭력상태로 판단, 분류하여 각각 상황별로 자동 대응, 안내, 대처가 가능한 효과를 갖는다.

그리고 본 발명의 실시예에 따른 인공지능 기반 승강기 위험상황 자동 예측판단시스템에 따르면, 기계학습을 기반으로 측정데이터를 정상상태데이터, 예비상태데이터, 조난상태데이터, 폭력상태데이터로 분류하고, 분류된 정상상태데이터, 예비상태데이터, 조난상태데이터, 폭력상태데이터 각각을 패턴 학습을 통해 정상상태모델, 예비상태모델, 조난상태모델, 폭력상태모델을 생성, 갱신, 업데이트할 수 있는 효과를 갖는다.

본 발명의 실시예에 따른 인공지능 기반 승강기 위험상황 자동 예측판단시스템에 따르면, 예비상태, 조난상태, 폭력상태 별로 구체적인 시나리오에 따라 기기를 자동제어하여 위험상황별 신속한 대처가 가능한 효과를 갖는다.

한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명의 실시예에 따른 인공지능 기반 승강기 위험상황 자동 예측판단시스템의 구성도,
도 2는 본 발명의 실싱시예에 따른 데이터 측정부의 구성도,
도 3은 본 발명의 실시예에 따른 관리서버의 구성도,
도 4는 본 발명의 실시예에 따른 관리서버의 신호처리 흐름을 나타낸 블록도,
도 5는 본 발명의 실시예에 따른 인공지능 기반 승강기 위험상황 자동 예측판단방법의 흐름도,
도 6은 본 발명의 실시예에 따른 학습모듈의 구성도,
도 7은 본 발명의 실시예에 따른 패턴 DB의 구성도,
도 8은 본 발명의 실시예에 따른 상황별 대응제어모듈의 제어신호 흐름을 나타낸 블록도를 도시한 것이다.

이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 통상의 기술자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.

본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한 도면들에 있어서, 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.

본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 평면도들을 참고하여 설명될 것이다. 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. 따라서 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 따라서 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다. 예를 들면, 직각으로 도시된 영역은 라운드지거나 소정 곡률을 가지는 형태일 수 있다. 따라서 도면에서 예시된 영역들은 속성을 가지며, 도면에서 예시된 영역들의 모양은 소자의 영역의 특정 형태를 예시하기 위한 것이며 발명의 범주를 제한하기 위한 것이 아니다. 본 명세서의 다양한 실시예들에서 제1, 제2 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

아래의 특정 실시예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.

이하에서는 본 발명의 실시예에 따른 인공지능 기반 승강기 위험상황 자동 예측판단시스템(100)의 구성, 기능 및 위험상황 자동예측판단방법에 대해 설명하도록 한다.

먼저, 도 1은 본 발명의 실시예에 따른 인공지능 기반 승강기 위험상황 자동 예측판단시스템(100)의 구성도를 도시한 것이다. 도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 인공지능 기반 승강기 위험상황 자동 예측판단시스템(100)은 전체적으로 승강기 내에 설치되어, 승강기 내 상황을 측정하여, 측정데이터를 획득하는 데이터 측정부(10)와, 승강기에 대한 각종 상태데이터를 취득하고, 고장신호를 생성하는 제어반(120)과, 관리서버(110)를 포함하여 구성됨을 알 수 있다.

도 2는 본 발명의 실싱시예에 따른 데이터 측정부(10)의 구성도를 도시한 것이다. 도 2에 도시된 바와 같이, 데이터 측정부(10)는 영상획득부(11)와 음성획득부(12), 진동감지부(13)를 포함하여 구성될 수 있음을 알 수 있다.

영상획득부(11)는 승강기 내부를 실시간으로 촬상하여 영상데이터를 획득하도록 구성된다. 이러한 영상획득부(11)는 승강기 내에 복수로 설치될 수 있으며, 후에 설명되는 바와 같이, 정상상태에서는 1개만 구동되다가, 비정상상태로 판단되면 승강기 내에 설치된 모든 영상획득부(11)가 구동되도록 제어될 수 있다.

음성획득부(12)는 승강기 내부 음향신호를 입력받아 음성데이터를 획득하도록 구성된다. 이러한 영상획득부(11)와 음성획득부(12)는 승강기 내 디스플레이부(81)와 결합된 IP 카메라 형태로 구성될 수 있으며, 비상통화장치(80)와 연동되어 구성될 수 있다.

따라서 실시간으로 승강기 내 영상데이터와 음성데이터가 측정되며, 비정상상태로 판단되는 경우 비상통화장치(80)와 관리서버(110)의 관리실이 자동 화상연결되어, 승강기 내 디스플레이부(81)에 관리실이 디스플레이되고, 관리서버 디스플레이부(90)는 승강기 내 영상데이터가 디스플레이되도록 제어된다.

또한, 진동감지부(13)는 승강기 내부에 발생되는 진동상태를 실시간으로 측정하여 진동데이터를 획득하도록 구성된다. 이러한 진동감지부(13)는 진동센서, 3축 MEMS 가속도 센서 등으로 구성될 수 있으며, 소음센서를 더 포함하여 소음에 따른 간섭, 마찰신호를 제거하여 감도를 증대시키도록 구성될 수 있다.

또한, 제어반(120)은 승강기 구동에 대한 각종센서에 대한 데이터, 승강기 상태데이터, 고장신호를 관리서버(110)로 전송하도록 한다. 제어반(120)은 구체적으로 운행시간, 운행거리, 운행횟수, 에러코드, 에러발생시간, 승강기 상태, 동작시간, 도어오픈시간, 층간 이동시간 등에 대한 각종 데이터를 전송하게 된다.

도 3은 본 발명의 실시예에 따른 관리서버(110)의 구성도를 도시한 것이다. 그리고 도 4는 본 발명의 실시예에 따른 관리서버(110)의 신호처리 흐름을 나타낸 블록도를 도시한 것이다. 또한, 도 5는 본 발명의 실시예에 따른 인공지능 기반 승강기 위험상황 자동 예측판단방법의 흐름도를 도시한 것이다.

도 3에 도시된 바와 같이, 관리서버(110)는 전체적으로 빅데이터수집모듈(20), 패턴식별모듈(30), 학습기반 분류처리 상황판단모듈(40), 학습모듈(50), 패턴 DB(60), 상황별 대응제어모듈(70) 등을 포함하여 구성될 수 있음을 알 수 있다.

먼저, 빅데이터수집모듈(20)은 후에 설명되는 바와 같이, 상황별 데이터들에 대한 패턴 조합 학습을 통해 학습모델을 생성하기 위한 각종 데이터를 수집하기 위해 구성된다(S1). 빅데이터수집모듈(20)은 데이터측정부(10)에서 측정된 측정데이터와, 제어반(120)의 승강기 상태데이터와 고장신호를 수집하며, 또한, 학습에 필요한 파일럿 데이터를 수집할 수 있다. 즉 기 판단된 정상상태데이터와, 조난상태데이터, 폭력상태데이터를 수집할 수 있다.

그리고 패턴식별모듈(30)은 데이터측정부(10)에서 측정된 측정데이터의 패턴을 분석하도록 구성된다(S2). 본 발명의 실시예에 따른 패턴식별모듈(30)은 영상데이터에서의 움직임패턴을 분석하는 영상처리부(31)와, 음성데이터의 음압주파수패턴을 분석하는 음성처리부(32)와, 진동데이터의 진동패턴을 분석하는 진동처리부(33)를 포함하여 구성될 수 있다.

영상처리부(31)는 기본적으로 영상데이터 내의 인체의 움직임패턴을 분석하게 된다. 구체적으로 영상데이터를 다수의 영상블록으로 나눈 후에 각 영상블록의 움직임 백터 및 밝기 변화량을 계산하여 움직임 패턴을 분석할 수 있다.

본 발명의 실시예에 따른 움직임 백터는 승강기 내부에 탑승자가 있는 경우, 블록 내의 모든 화소는 동일한 움직임을 가진다는 가정과 물체의 운동을 평행이동으로 가정하는 블록정합법을 이용하여 얻되, 블록정합법은 MB(Macro Block)을 나타내는 탐색위치를 정하고 그것의 SAD(Sum of Absolute Difference)값을 구하여 그중 가장 작은 값을 가지는 방향을 움직임 벡터로 정할 수 있다.

그리고 이러한 영상처리부(31)는 정상상태가 아닌 비정상상태(후에 설명되는 바와 같이, 예비상태, 조난상태, 폭력상태)로 판단되는 경우, 심층분석모드로 전환되어 구동될 수 있다.

이러한 심층분석모드에서는 가우시안 혼합모델에 의해 전경영상와 배경영상을 판단하고, 분할된 영상블록에서 가상 매트릭스를 형성하고 각 매트릭스 셀에서의 옵티컬 플로우를 산출한 후, 각 옵티컬 플로우들을 그 위치와 방향에 따라서 분류 및 누적하여 모션 디스크립터를 생성하도록 할 수 있다.

또한, 심층분석모드에서는 탑승자의 인원수, 얼굴데이터를 추출하도록 분석할 수 있으며, 인체와, 물체를 구별하여 추출한 후, 인체 움직임과 물체 움직임을 별로도 추출하여 검출하여 관리서버(110)에서 위험 물체를 소지하고 있는지는 판단할 수 있게 된다.

그리고 본 발명의 실시예에 따른 학습기반 분류처리 상황판단모듈(40)은, 먼저 상태데이터와 고장신호를 기반으로 고장여부를 판단하게 된다. 제어반(120)에서 고장신호가 전송되게 되는 경우 상황판단모듈(40)은 고장상태로 판단하게 된다.

그리고 학습기반 분류처리 상황판단모듈(40)은 측정데이터 패턴과 정상상태모델을 매칭하여 유사범위 내인 경우 정상상태로 판단하고, 이러한 측정데이터는 정상상태데이터로 분류하게 된다(S3, S4).

또한, 측정데이터와 비정상상태모델을 매칭하여 유사범위 내인 경우 비정상상태로 판단하며, 비정상상태로 판단된 측정데이터를 비정상상태데이터를 분류하게 된다.

도 6은 본 발명의 실시예에 따른 학습모듈(50)의 구성도를 도시한 것이다. 그리고 도 7은 본 발명의 실시예에 따른 패턴 DB(60)의 구성도를 도시한 것이다.

그리고 본 발명의 실시예에 따른 학습모듈(50)은 정상상태데이터들을 학습하여 추출된 정상상태 패턴을 기반으로 정상상태모델을 생성하고, 비정상상태데이터들을 학습하여 추출된 비정상상태 패턴을 기반으로 비정상상태모델을 생성하도록 구성된다.

그리고 패턴 DB(60)는 이러한 정상상태모델과 비정상상태모델을 실시간 저장, 업데이트하게 된다.

보다 구체적으로 학습기반 분류처리 상황판단모듈(40)은, 측정데이터의 움직임패턴이 정상상태 움직임패턴과 매칭하여 유사범위 내이고, 측정데이터의 음압주파수패턴이 정상상태 음압주파수패턴과 매칭하여 유사범위 내이며, 측정데이터의 진동패턴이 정상상태 진동패턴과 매칭하여 유사범위 내인 경우 정상상태로 판단하고 정상상태데이터로 분류하게 된다(S4).

또한, 학습모듈(50)은 분류된 정상상태데이터들의 움직임패턴과 음압주파수패턴과 진동패턴을 학습하여 정상상태모델을 지속적으로 생성, 갱신, 업데이트하게 된다(S5).

그리고 학습기반 분류처리 상황판단모듈(40)은, 측정데이터 패턴이 정상상태모델과 매칭되지 않는 경우, 예비상태모델의 예비상태 움직임패턴과, 예비상태 음압주파수패턴과, 예비상태 진동패턴 중 적어도 어느 하나가 유사범위 내이면 예비상태로 판단하고 예비상태데이터로 분류하게 된다(S6, S7).

또한, 예비상태데이터는 예비상태로 판단한 측정데이터뿐 아니라, 측정데이터가 현재 정상상태 모델, 조난상태모델, 예비상태모델, 폭력상태모델과 모두 매칭되지 않는 데이터를 예비상태데이터로 분류하게 된다.

또한, 조난상태, 폭력상태 발생 직전부터 특정시간 동안 수집된 영상데이터와 진동데이터, 음성데이터를 예비상태데이터로 분류하게 된다.

학습모델은 이러한 예비상태데이터들의 움직임패턴과 음압주파수패턴과 진동패턴을 학습하여 예비상태모델을 생성하게 된다(S8).

그리고, 학습기반 분류처리 상황판단모듈(40)은, 측정데이터 패턴인 조난상태모델과 매칭되는 경우 조난상태로 판단하고, 측정데이터를 조난상태데이터로 분류하게 된다(S9, S10).

보다 구체적으로, 측정데이터의 움직임패턴이 조난상태 움직임패턴과 매칭하여 유사범위 내인 경우, 측정데이터의 음압주파수패턴이 조난상태 음압주파수패턴과 유사범위 내이거나, 또는 상기 측정데이터의 진동패턴이 조난상태 진동패턴과 유사범위 내인 경우 조난상태로 판단하고 조난상태데이터로 분류하게 된다.

그리고 학습모듈(50)은 이러한 조난상태데이터들의 움직임패턴과 음압주파수패턴과 진동패턴을 지속적으로 학습하여 조난상태모델을 생성, 갱신, 업데이트하게 된다.

반면, 학습기반 분류처리 상황판단모듈(40)은, 측정데이터 패턴인 폭력상태모델과 매칭되는 경우 폭력상태로 판단하고, 측정데이터를 폭력상태데이터로 분류하게 된다(S12, S13).

구체적으로 측정데이터의 움직임패턴이 폭력상태 움직임패턴과 유사범위 내인 경우, 상기 측정데이터의 음압주파수패턴이 폭력상태 음압주파수패턴과 유사범위 내이거나, 또는 상기 측정데이터의 진동패턴이 폭력상태 진동패턴과 유사범위 내인 경우 폭력상태로 판단하고 폭력상태데이터로 분류하게 된다.

그리고 학습모듈(50)은 폭력상태데이터들의 움직임패턴과 음압주파수패턴과 진동패턴을 지속적으로 학습하여 폭력상태모델을 생성, 갱신, 업데이트하게 된다(S14).

그리고 패턴 DB(60)는, 학습된 정상상태모델의 움직임패턴, 음압주파수패턴, 진동패턴을 실시간 저장, 업데이트하고, 학습된 조난상태모델의 움직임패턴, 음압주파수 패턴, 진동패턴을 실시간 저장, 업데이트하고, 학습된 폭력상태모델의 움직임패턴, 음압주파수패턴, 진동패턴을 실시간 저장, 업데이트하게 된다(S15).

앞서 언급한 본 발명의 실시예에 따른 학습기반 분류처리 상황판단모듈(40)과, 상기 학습모듈(50)은, Softmax 회귀분류, Autoencoder 알고리즘, VAE(Variant Auto Encoder)알고리즘, 및 LSTM(Long Short-Term Memory) 알고리즘 중 적어도 어느 하나를 적용할 수 있다.

Softmax 회귀분류 알고리즘은 지도 학습 기반 알고리즘으로 다량의 누적 데이터가 제공 가능하여 입력데이터에 대한 위험상황 판단 결과 레이블을 함께 학습하도록 구성된다.

Autoencoder 알고리즘은 대칭되는 신경망 2개를 붙여놓은 형태로, 인코더를 통해서 입력데이터에 대한 특징을 추출하고, 이 결과를 이용하여 디코더를 통해서 원본데이터를 생성하는 구조로 입력과 출력이 최대한 동일해 지도록 튜닝하여 특징 추출 성능 향상이 가능한 구조를 갖는다. 학습되지 않은 데이터의 경우 디코더에 의해 복원이 정상적으로 되지 않고 원본 데이터와 비교하면 차이가 크기 때문에, 정상상태로 학습된 모델에 비정상상태 데이터가 입력되면 결과값과 압력값의 차이가 발생하고, 이 차이점으로 정상상태와 비정상상태를 구분하게 된다.

VAE(Variant Auto Encoder)알고리즘은 Autoencoder와 다른 부분으로 주어진 입력에 대해 평균 코딩과 표준편차 코딩을 만들고, 가우시안 분포로 랜덤하게 샘플링되어 디코더의 원본입력으로 구성되는 구조를 갖는다. 특정값이 아닌 분포로 모델링하며, 기존 분포와 다르게 나온 것을 이상증상으로 판단하게 된다.

그리고 본 발명의 실시예에서는 시간에 따른 지속적으로 수집된 데이터를 연속적으로 처리하는 기법이 필요하며 현재 입력된 데이터의 정보를 기업하여 다음의 입력데이터에 이전 데이터를 함께 입력하여 적용하는 구조로 딥러닝 RNN의 일정인 LSTM(Long Short-Term Memory) 알고리즘이 적용된다. LSTM Autoencoder 모델은 시계열 데이터나 연속적인 데이터에 대한 처리를 위해 사용되고, 군집화(Clustering) 기법으로 수집데이터의 패턴이나 분포를 분석하여 위험 상황 가능성을 판단하며, 다량의 학습데이터가 축적되면 지도 학습 알고리즘으로 위험 상황을 예측 및 분류하는 구조를 갖는다.

도 8은 본 발명의 실시예에 따른 상황별 대응제어모듈(70)의 제어신호 흐름을 나타낸 블록도를 도시한 것이다.

본 발명의 실시예에 따른 학습기반 분류처리 상황팡단모듈에서 비정상상태(예비상태, 조난상태, 폭력상태)로 판단된 경우, 제어통신모듈(72)은 승강기 내 알림수단(71)을 통해 상황상태에 대한 각종 안내정보를 송출하도록 제어한다.

비상통화장치(80)를 통해 승강기 내부와 관리서버(110)를 갖는 관리실이 자동연결되도록 제어한다. 그리고 관리실 내 디스플레이(90)에 상기 영상데이터를 디스플레이시키도록 제어하게 된다.

또한, 비정상상태(예비상태, 조난상태, 폭력상태)로 판단된 경우, 본 발명의 실시예에 따른 제어통신모듈(72)은 승강기 내에 설치된 모든 영상획득부(11)가 구동되도록 하고, 측정데이터가 별도의 저장수단 내에 저장되도록 한다.

그리고 앞서 언급한 바와 같이, 영상처리부(31)를 심층분석모드로 전환시키도록 제어하게 된다.

보다 구체적으로 제어통신모듈(72)은, 폭력상태로 판단된 경우, 기 설정된 경비업체 및 경찰서 중 적어도 어느 하나(외부서버(130))와 기 설정된 관리자 사용자단말기(92)로 폭력상황정보를 전송하도록 제어한다.

그리고 승강기 구동부(140)를 제어하여, 승강기를 최대 운행속도 모드로 근접층에 정지 후 도어가 오픈되도록 제어하게 된다.

그리고 제어통신모듈(72)은, 근접층에 설치된 CCTV 영상을 관리서버 디스플레이부(90)에 디스플레이하도록 하고, 이러한 근접층에 설치된 경보등, 경보장치 등과 같은 알림장치(91)를 통해 폭력상황안내정보를 송출하도록 제어하게 된다.

또는, 폭력상태로 판단된 경우, 제어통신모듈(72)은, 기 설정된 경비업체, 및 경찰서 중 적어도 어느 하나(외부서버(130))와 기 설정된 관리자 사용자단말기(92)로 폭력상황정보를 전송하게 된다.

그리고 승강기 구동부(140)를 제어하여 승강기를 최대 운행속도 모드로 외부공간과 연결되고 상근 근로자가 상주하는 기준층에 정지 후 도어가 오픈되도록 제어하게 된다.

그리고 이러한 기준층에 설치된 CCTV 영상을 상기 관리서버 디스플레이부(90)에 디스플레이하고, 기준층에 설치된 알림장치(91)를 통해 폭력상황안내정보를 송출하도록 제어하게 된다.

또한, 조난상태로 판단된 경우, 제어통신모듈(72)은, 기 설정된 응급출동기관 및 의료기관 중 적어도 어느 하나(외부서버(130))와 기 설정된 관리자 사용자단말기(92)로 조난상황정보를 전송하게 된다.

그리고, 승강기 구동부(140)를 제어하여, 승강기를 최대 운행속도 모드로 외부공간과 연결되고 상근 근로자가 상주하는 기준층에 정지 후 도어가 오픈되도록 제어하게 된다.

그리고 기준층에 설치된 CCTV 영상을 관리서버 디스플레이부(90)에 디스플레이하고, 이러한 기준층에 설치된 알림장치(91)를 통해 조난상황안내정보를 송출하도록 제어하게 된다.

또한, 상기와 같이 설명된 장치 및 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

10:데이터측정부
11:영상획득부
12:음성획득부
13:진동감지부
20:빅데이터수집모듈
30:패턴식별모듈
31:영상처리부
32:음성처리부
33:진동처리부
40:학습기반 분류처리 상황판단모듈
50:학습모듈
60:패턴DB
70:상황별 대응제어모듈
71:알림수단
72:제어통신모듈
80:비상통화장치
81:승강기 내 디스플레이부
90:관리서버 디스플레이부
91:CCTV, 알림장치
92:사용자단말기
100:인공지능 기반 승강기 위험상황 자동예측판단시스템
110:관리서버
120:제어반
130:외부서버
140:승강기 구동부

Claims (14)

1. 승강기 내 상황을 측정하여, 측정데이터를 획득하는 데이터 측정부; 및
   상기 측정데이터와, 제어반의 승강기 상태데이터와 고장신호를 전송받아 상기 측정데이터, 상기 상태데이터와, 상기 고장신호를 기반으로 승강기 내 상황을 판단하는 관리서버;를 포함하고,
   상기 관리서버는, 상기 측정데이터의 패턴을 식별하는 패턴식별모듈; 상기 측정데이터와, 제어반의 승강기 상태데이터와 고장신호를 수집하는 빅데이터수집모듈; 상기 상태데이터와 고장신호를 기반으로 고장여부를 판단하고, 상기 측정데이터 패턴과 정상상태모델을 매칭하여 유사범위 내인 경우 정상상태로 판단하고, 상기 측정데이터와 비정상상태모델을 매칭하여 유사범위 내인 경우 비정상상태로 판단하며, 상기 정상상태로 판단된 측정데이터를 정상상태데이터로 분류하고 상기 비정상상태로 판단된 측정데이터를 비정상상태데이터를 분류하는 학습기반 분류처리 상황판단모듈; 상기 정상상태데이터들을 학습하여 추출된 정상상태 패턴을 기반으로 정상상태모델을 생성하고, 상기 비정상상태데이터들을 학습하여 추출된 비정상상태 패턴을 기반으로 비정상상태모델을 생성하는 학습모듈; 및 상기 정상상태모델과 상기 비정상상태모델을 실시간 저장, 업데이트하는 패턴 DB;를 포함하고,
   상기 데이터 측정부는, 승강기 내부를 실시간으로 촬상하여 영상데이터를 획득하는 영상획득부와, 승강기 내부 음향신호를 입력받아 음성데이터를 획득하는 음성획득부와, 승강기 내부에 발생되는 진동상태를 실시간으로 측정하는 진동감지부를 포함하고, 상기 패턴식별모듈은, 상기 영상데이터에서의 움직임패턴을 분석하는 영상처리부와, 상기 음성데이터의 음압주파수패턴을 분석하는 음성처리부와, 상기 진동상태의 진동패턴을 분석하는 진동처리부를 포함하며,
   상기 학습기반 분류처리 상황판단모듈은, 상기 움직임패턴이 정상상태 움직임패턴과 매칭하여 유사범위 내이고, 상기 음압주파수패턴이 정상상태 음압주파수패턴과 매칭하여 유사범위 내이며, 상기 진동패턴이 정상상태 진동패턴과 매칭하여 유사범위 내인 경우 정상상태로 판단하고 정상상태데이터로 분류하며, 상기 학습모듈은 상기 정상상태데이터들의 움직임패턴과 음압주파수패턴과 진동패턴을 학습하여 정상상태모델을 생성하고,
   상기 학습기반 분류처리 상황판단모듈은, 상기 측정데이터의 움직임패턴이 조난상태 움직임패턴과 매칭하여 유사범위 내인 경우, 상기 측정데이터의 음압주파수패턴이 조난상태 음압주파수패턴과 유사범위 내이거나, 또는 상기 측정데이터의 진동패턴이 조난상태 진동패턴과 유사범위 내인 경우 조난상태로 판단하고 조난상태데이터로 분류하며, 상기 학습모듈은 상기 조난상태데이터들의 움직임패턴과 음압주파수패턴과 진동패턴을 학습하여 조난상태모델을 생성하고, 상기 측정데이터의 움직임패턴이 폭력상태 움직임패턴과 유사범위 내인 경우, 상기 측정데이터의 음압주파수패턴이 폭력상태 음압주파수패턴과 유사범위 내이거나, 또는 상기 측정데이터의 진동패턴이 폭력상태 진동패턴과 유사범위 내인 경우 폭력상태로 판단하고 폭력상태데이터로 분류하며, 상기 학습모듈은 상기 폭력상태데이터들의 움직임패턴과 음압주파수패턴과 진동패턴을 학습하여 폭력상태모델을 생성하고,
   상기 패턴 DB는, 상기 정상상태모델의 움직임패턴, 음압주파수패턴, 진동패턴을 실시간 저장, 업데이트하고, 상기 조난상태모델의 움직임패턴, 음압주파수 패턴, 진동패턴을 실시간 저장, 업데이트하고, 상기 폭력상태모델의 움직임패턴, 음압주파수패턴, 진동패턴을 실시간 저장, 업데이트하고,
   상기 정상상태모델과 매칭되지 않는 경우, 상기 학습기반 분류처리 상황판단모듈은, 예비상태모델의 예비상태 움직임패턴과, 예비상태 음압주파수패턴과, 예비상태 진동패턴 중 적어도 어느 하나가 유사범위 내이면 예비상태로 판단하고 예비상태데이터로 분류하며, 예비상태로 판단한 예비상태데이터와, 조난상태, 폭력상태 발생 직전부터 특정시간 동안 수집된 영상데이터와 진동데이터, 음성데이터를 예비상태데이터로 분류하고, 학습모델은 상기 예비상태데이터들의 움직임패턴과 음압주파수패턴과 진동패턴을 학습하여 예비상태모델을 생성하는 것을 특징으로 하는 승강기 위험상황 자동 예측판단시스템.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 제 1항에 있어서,
   상기 학습기반 분류처리 상황판단모듈과, 상기 학습모듈은,
   Softmax 회귀분류, Autoencoder 알고리즘, VAE(Variant Auto Encoder)알고리즘, 및 LSTM(Long Short-Term Memory) 알고리즘 중 적어도 어느 하나를 적용하는 것을 특징으로 하는 승강기 위험상황 자동 예측판단시스템.
   
8. 제 1항에 있어서,
   상기 비정상상태로 판단된 경우, 비상통화장치를 통해 승강기 내부와 관리서버를 갖는 관리실이 자동연결되도록 제어하고, 관리실 내 디스플레이에 상기 영상데이터를 디스플레이시키도록 제어하는 제어통신모듈;을 더 포함하는 것을 특징으로 하는 승강기 위험상황 자동 예측판단시스템.
   
9. 제 8항에 있어서,
   상기 비정상상태로 판단된 경우, 상기 제어통신모듈은 승강기 내에 설치된 모든 영상획득부가 구동되도록 하고, 상기 측정데이터가 별도의 저장수단 내에 저장되도록 하며, 상기 영상처리부를 심층분석모드로 전환시키도록 제어하는 것을 특징으로 하는 승강기 위험상황 자동 예측판단시스템.
   
10. 제 8항에 있어서,
    상기 제어통신모듈은,
    상기 폭력상태로 판단된 경우, 기 설정된 경비업체 및 경찰서 중 적어도 어느 하나와 기 설정된 관리자 사용자단말기로 폭력상황정보를 전송하고, 승강기 최대 운행속도 모드로 근접층에 정지 후 도어가 오픈되도록 제어하는 것을 특징으로 하는 승강기 위험상황 자동 예측판단시스템.
    
11. 제 10항에 있어서,
    상기 제어통신모듈은, 상기 근접층에 설치된 CCTV 영상을 상기 관리실 내 디스플레이부에 디스플레이하고, 상기 근접층에 설치된 알림장치를 통해 폭력상황안내정보를 송출하도록 제어하는 것을 특징으로 하는 승강기 위험상황 자동 예측판단시스템.
    
12. 제 8항에 있어서,
    상기 제어통신모듈은,
    상기 폭력상태로 판단된 경우, 기 설정된 경비업체, 및 경찰서 중 적어도 어느 하나와 기 설정된 관리자 사용자단말기로 폭력상황정보를 전송하고, 승강기 최대 운행속도 모드로 외부공간과 연결되고 상근 근로자가 상주하는 기준층에 정지 후 도어가 오픈되도록 제어하고, 상기 기준층에 설치된 CCTV 영상을 상기 관리실 내 디스플레이부에 디스플레이하고, 상기 기준층에 설치된 알림장치를 통해 폭력상황안내정보를 송출하도록 제어하는 것을 특징으로 하는 승강기 위험상황 자동 예측판단시스템.
    
13. 제 8항에 있어서,
    상기 제어통신모듈은,
    상기 조난상태로 판단된 경우, 기 설정된 응급출동기관 및 의료기관 중 적어도 어느 하나와 기 설정된 관리자 사용자단말기로 조난상황정보를 전송하고, 승강기 최대 운행속도 모드로 외부공간과 연결되고 상근 근로자가 상주하는 기준층에 정지 후 도어가 오픈되도록 제어하는 것을 특징으로 하는 승강기 위험상황 자동 예측판단시스템.
    
14. 제 13항에 있어서,
    상기 기준층에 설치된 CCTV 영상을 상기 관리실 내 디스플레이부에 디스플레이하고, 상기 기준층에 설치된 알림장치를 통해 조난상황안내정보를 송출하도록 제어하는 것을 특징으로 하는 승강기 위험상황 자동 예측판단시스템.
    

Images