KR20200053794A

KR20200053794A - 인공지능 스피커를 이용하는 실시간 위기 상황 대응 시스템

Info

Publication number: KR20200053794A
Application number: KR1020180137115A
Authority: KR
Inventors: 강장묵; 이상원
Original assignee: 글로벌사이버대학교 산학협력단
Priority date: 2018-11-09
Filing date: 2018-11-09
Publication date: 2020-05-19
Also published as: KR102135079B1

Abstract

본 발명의 인공지능 스피커를 이용하는 위기상황 대응방법이 개시된다. 본 발명의 인공지능 스피커를 이용하는 비명 소리 탐지를 통한 위기 상황 대응 방법은 마이크로폰을 통해서 소리 신호를 수신하는 단계와, 상기 소리 신호로부터 사람의 음성을 분리하고, 상기 음성에서 주파수 성분을 추출하는 단계와, 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는지 여부에 따라서 위기 상황을 판단하는 단계와, 상기 판단 결과 위기상황이라면, 미리 정해진 방법으로 상기 위기상황에 대응하는 단계를 포함하여 구성된다.

Description

인공지능 스피커를 이용하는 실시간 위기 상황 대응 시스템{SYSTEM FOR DEALING WITH CRISIS IN REAL TIME USING INTELLIGENCE SPEAKERS}

본 발명은 인공지능 스피커를 이용하는 위기 상황 대응 시스템에 관한 것으로, 좀 더 상세하게는 인공지능 스피커를 이용하여 댁내 침입자로 인한 위기 상황을 실시간으로 인식하고 즉각적으로 종료시킬 수 있는 위기 상황 대응 시스템에 관한 것이다.

최근 가정이나 사무실과 같은 작은 공간 내에서 강력 범죄가 늘어나면서 가정 내 보안에 관심이 높아지면서 홈 시큐리티와 관련된 제품의 시장 출시가 활발하게 진행되고 있다.

SKT의 '지키미'는 문열림 센서와 SOS 버튼으로 구성되었으며 위급한 상황에서 SOS 버튼을 누르면 경보 사이렌이 울리면서 미리 지정해둔 보호자 5명에게 문자메시지가 전송되며, 보안업체에도 접수된다. KT의 ‘기가 IoT 홈캠2’는 24시간 내내 스마트폰으로 모니터링이 가능하며, CCTV 영상은 클라우드 서버에 저장이 가능하며, 홈 CCTV 역할과 함께 KT 텔레캅 서비스와 연계가 가능해 위급 상황이 발생하였을 경우, 출동 서비스가 제공된다.

그러나 이와 같은 서비스는 모바일 단말을 이용한 기기 제어 및 모니터링 위주의 서비스이기 때문에, 실질적으로 물리적인 위기상황이 닥쳤을 때는 위험상황을 자동으로 인식하지 못하고, 경보장치가 울리는 경우에 한해서 경비업체가 직접 출동하게 된다. 그러나 경비업체나 경찰의 출동은 시간을 다투는 긴급상황이 발생하는 경우에 적절하게 대응하기 어렵고, 위험 상황 자체를 실시간으로 인식하기도 어려운 문제가 있다.

특히, 원룸이나 1인 가구의 증가로 여성이나 독거노인과 같은 보안 취약 계층이 늘어나면서, 위험 상황을 실시간으로 인식하고 즉각적으로 대응할 수 있는 보안 시스템이 필요하다. 이를 위해서 드론을 이용한 위기 대응 방법이 제안되기도 하지만, 드론은 공간이 한정된 홈 시큐리티에는 적합하지 않은 문제가 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 위기 상황 발생시 즉각적으로 대응할 수 있는 위기 상황 대응 방법을 제공하는 데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 위기 상황 발생시 즉각적으로 대응할 수 있는 인공지능 스피커를 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예는 인공지능 스피커를 이용하는 비명 소리 탐지를 통한 위기 상황 대응 방법에 있어서, 마이크로폰을 통해서 소리 신호를 수신하는 단계와, 상기 소리 신호로부터 사람의 음성을 분리하고, 상기 음성에서 주파수 성분을 추출하는 단계와, 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는지 여부에 따라서 위기 상황을 판단하는 단계와, 상기 판단 결과 위기상황이라면, 미리 정해진 방법으로 상기 위기상황에 대응하는 단계를 포함하는 위기 상황 대응 방법을 제공한다.

여기서, 상기 위기 상황을 판단하는 단계는 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 비명소리 인지 여부를 판단하는 단계와, 상기 판단 결과 비명소리라면, 적어도 하나의 카메라를 이용하여 음성의 발생 방향을 영상 촬영하는 단계와, 상기 촬영한 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하여 상기 제3의 물체가 무기라고 판단하면 위기 상황으로 판단하는 무기류 식별 단계를 포함하는 것을 특징으로 한다.

또한, 여기서 상기 무기류 식별 단계는 상기 영상에서 사람의 손 영역을 포함하는 소정의 제1 영역을 분리하는 단계와, 상기 제1 영역 내에서 사람의 손을 제외한 제2 영역을 도출하는 단계와, 상기 제2 영역에서 상기 제3의 객체를 추출하고, 상기 제3의 객체를 무기류 학습 모델에 적용하여 무기류 해당 여부를 판단하는 단계를 포함하는 것을 특징으로 한다.

또한, 여기서, 상기 위기상황을 판단하는 단계는 상기 음성 내에 사용자와의 약속에 의해서 미리 정해놓은 단어가 포함되어 있어도 상기 위기 상황으로 판단하는 것을 특징으로 한다.

또한, 여기서 상기 위기 상황에 대응하는 미리 정해진 방법은 미리 정해진 연락처로 상기 음성을 전달하거나, 원격 연결된 화재경보기를 작동시키거나, 화재 대응용 스프링쿨러를 작동시키거나, 스피커를 통해 상기 음성 신호의 발원지를 향해서 화포용 폭음을 발생시키거나, 또는 원격 연결된 연기 발생 장치를 작동시키는 방법 중 적어도 하나를 포함하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 다른 실시예는 인공지능 스피커를 이용하는 침입 탐지를 통한 위기 상황 대응 방법에 있어서, 사용자의 조작에 의해 또는 미리 설정된 조건에 도달하면 침입 탐지 모드로 진입하는 단계와, 마이크로폰을 통해서 소리 신호를 수신하는 단계와, 상기 침입 탐지 모드에서, 상기 소리 신호가 미리 학습한 출입문이나 창문의 개폐소리에 대응하는 경우 카메라를 이용하여 상기 소리의 이동 방향을 따라서 촬영하는 단계를 포함하는 위기 상황 대응 방법을 제공한다.

여기서 상기 촬영 영상 내에 물체의 움직임이 포착되면, 상기 영상 내 물체를 미리 등록한 사용자의 영상과 비교하여 침입자 발생여부를 판단하거나 또는 상기 촬영 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하고 상기 제3의 물체가 무기류이면 침입자 발생이라고 판단하는 단계와, 상기 판단 결과 침입자 발생이면 미리 정해진 방법으로 침입 탐지 상황에 대응하는 단계를 더 포함하고, 상기 침입 탐지 상황에 대응하는 미리 정해진 방법은 원격조정하여 내부의 전체 조명을 소등하고 상기 침입자를 향해서 탐조등을 비추면서 화포용 폭음을 발생시키는 것을 특징으로 한다.

또한, 여기서 상기 침입 탐지 상황에 대응하는 미리 정해진 방법은 미리 정해진 연락처로 상기 영상을 전달하거나, 원격 연결된 화재경보기를 작동시키거나, 화재 대응용 스프링쿨러를 작동시키거나, 원격 연결된 연기발생 장치를 작동시키거나 또는 실내의 조명을 모두 소등하고 공격자를 향해서 탐조등을 비추는 방법 중 적어도 하나를 더 포함하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 또 다른 실시예는 인공지능 스피커를 이용하는 방문자 확인을 통한 위기 상황 대응 방법에 있어서, 마이크로폰을 통해서 현관 벨소리를 수신하는 단계와, 현관문이 열리는 소리를 탐지하면, 상기 현관문 주변의 영상을 촬영하는 단계와, 상기 영상 내에서 방문자와 피방문자를 식별하는 단계와, 상기 방문자의 손의 움직임을 추적하여, 상기 방문자의 손에 의해서 상기 피방문자의 움직임이 제한되는 상황이 소정의 임계시간 이상 지속되는 경우 위기 상황이라고 판단하는 방문자 영상 판단 단계를 포함하는 위기 상황 대응 방법을 제공한다.

여기서 상기 피방문자의 음성을 분석하여 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 음성이라면 위기 상황이라고 판단하는 피방문자 음성판단 단계를 더 포함하는 것을 특징으로 한다.

또한, 여기서 상기 판단 결과 위기상황이라면, 복수의 대화 음성을 배경으로 삽입하고 상기 피방문객을 부르는 제3자의 음성을 생성하여 스피커를 통해서 출력하는 위기상황에 대응하는 단계를 더 포함하는 것을 특징으로 한다.

상기 다른 목적을 달성하기 위한 본 발명의 일 실시예는 비명 소리 탐지를 통한 위기 상황에 대응하는 인공지능 스피커에 있어서, 마이크로폰과, 스피커를 포함하는 하드웨어부와 상기 마이크로폰을 통해서 소리 신호를 수신하는 소리 신호 수신부와, 상기 소리 신호로부터 사람의 음성을 분리하고, 상기 음성의 주파수 성분을 추출하는 주파수 성분 추출부와, 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는지 여부에 따라서 위기 상황을 판단하는 위기 상황 판단부와, 상기 판단 결과 위기상황이라면, 미리 정해진 방법으로 상기 위기상황에 대응하기 위한 위기 상황 대응부를 포함하는 인공지능 스피커를 제공한다.

여기서 상기 위기 상황 판단부는 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 비명소리 인지 여부를 판단하는 비명소리 판단 모듈과, 상기 판단 결과 비명소리라면, 카메라를 이용하여 상기 음성의 발생 방향을 촬영하는 영상 촬영 모듈과, 상기 촬영한 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하여 상기 제3의 물체가 무기류라고 판단하면 위기 상황으로 판단하는 무기류 식별 모듈을 포함하는 것을 특징으로 한다.

또한, 여기서 상기 무기류 식별 모듈은 상기 영상에서 사람의 손 영역을 포함하는 소정의 제1 영역을 분리하고, 상기 제1 영역 내에서 사람의 손을 제외한 제2 영역을 도출하고, 상기 제2 영역에서 제3의 객체를 추출하고, 상기 제3의 객체를 무기류 학습 모델에 적용하여 무기류 해당여부를 판단하는 것을 특징으로 한다.

또한, 여기서, 상기 위기상황 판단부는 상기 음성 내에 사용자와의 약속에 의해서 미리 정해놓은 단어가 포함되어 있어도 상기 위기 상황으로 판단하는 것을 특징으로 한다.

또한, 여기서 상기 위기 상황에 대응하는 미리 정해진 방법은, 미리 정해진 연락처로 상기 음성 또는 영상을 전달하거나, 원격 연결된 화재경보기를 작동시키거나, 화재 대응용 스프링쿨러를 작동시키거나, 상기 스피커를 통해 상기 음성 신호의 발원지를 향해서 화포용 폭음을 발생시키거나, 또는 원격 연결된 연기 발생 장치를 작동시키는 방법 중 적어도 하나를 포함하는 것을 특징으로 한다.

상기 다른 목적을 달성하기 위한 본 발명의 다른 실시예는 침입 탐지를 통한 위기 상황에 대응하는 인공지능 스피커에 있어서, 마이크로폰과, 스피커를 포함하는 하드웨어부와, 사용자의 조작에 의해 또는 미리 설정된 조건에 도달하면 침입 탐지 모드로 진입하는 침입 탐지 모드 진입부와, 상기 마이크폰을 통해서 소리 신호를 수신하는 소리 신호 수신부와, 상기 침입 탐지 모드에서, 상기 소리 신호가 미리 학습한 출입문이나 창문의 개폐소리에 대응하는 경우 카메라를 이용하여 상기 소리의 이동 방향을 따라서 촬영하는 영상 촬영부를 포함하는 인공지능 스피커를 제공한다.

여기서 상기 촬영 영상 내에 물체의 움직임이 포착되면, 상기 영상 내 물체를 미리 등록한 사용자의 영상과 비교하여 침입자 발생 여부를 판단하거나 또는 상기 촬영 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하고 상기 제3의 물체가 무기류이면 침입자 발생이라고 침입자 발생 판단부와, 상기 판단 결과 침입자 발생이면, 미리 정해진 방법으로 침입 탐지 상황에 대응하는 침입 탐지 대응부를 더 포함하되, 상기 침입 탐지 상황에 대응하는 미리 정해진 방법은 원격조정하여 내부의 전체 조명을 소등하고 상기 침입자를 향해서 탐조등을 비추면서 화포용 폭음을 발생시키는 것을 특징으로 한다.

상기 다른 목적을 달성하기 위한 본 발명의 또 다른 실시예는 방문자 확인을 통한 위기 상황에 대응하는 인공지능 스피커에 있어서, 마이크로폰과, 스피커를 포함하는 하드웨어부와, 상기 마이크로폰을 통해서 현관 벨소리를 수신하는 벨소리 수신부와, 현관문이 열리는 소리를 탐지하면, 상기 현관문 주변의 영상을 촬영하는 영상 촬영부와, 상기 영상 내에서 방문자와 피방문자를 식별하는 방문자 식별부와,상기 방문자의 손의 움직임을 추적하여, 상기 방문자의 손에 의해서 상기 피방문자의 움직임이 제한되는 상황이 소정의 임계시간 이상 지속되는 경우 위기 상황이라고 판단하는 방문자 영상 판단부를 포함하는 인공지능 스피커를 제공한다.

여기서 상기 피방문자의 음성을 분석하여 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 음성이라면 위기 상황이라고 판단하는 피방문자 음성판단부를 더 포함하는 것을 특징으로 한다.

또한, 여기서 상기 판단 결과 위기상황이라면, 복수의 대화 음성을 배경으로 삽입하고 상기 피방문객을 부르는 제3자의 음성을 생성하여 스피커를 통해서 출력하는 위기상황 대응부를 더 포함하는 것을 특징으로 한다.

상기와 같은 본 발명의 인공지능 스피커를 이용하는 위기 상황 대응 시스템을 이용하면, 인공지능 스피커가 사람의 비명소리와 무기소지와 같은 폭력 상황을 실시간으로 인식하고, 출입문이나 창문을 통한 무단 침입을 탐지하고, 택배나 지인을 가장한 방문객으로부터의 위협사태를 인식하여, 즉각적으로 위험 상황에 대응할 수 있다. 따라서 독거노인이나 혼자 사는 여성이 많은 원룸이나 어린이가 혼자 집을 지키는 취약한 환경에서 위협 상황에 즉각적으로 대응할 수 있다.

또한, 위험 상황을 인식하면 화재경보를 울리거나, 스프링쿨러를 작동하거나, 내부의 전체 조명을 소등하고 침입자를 향해서 탐조등을 비추면서 화포용 폭음을 발생시키거나 하는 등의 집안 내부에 이미 설치되어 있는 장비를 적절히 활용함으로써 위기 돌발 상황에 즉각적으로 대응하여 상황을 종료하거나 피해를 최소화할 수 있는 장점이 있다.

도 1은 본 발명의 실시예에 의한 인공지능 스피커를 이용하는 위기 상황 대응 시스템의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 구성을 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 위기 상황 판단부의 구성을 보여주는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법의 진행 과정을 보여주는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 위기 상황 대응 방법을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 사용자 음성의 주파수를 탐지하여 위기 상황에 대응하는 과정을 보여주는 순서도이다.
도 7은 본 발명의 일 실시예에 따른 영상 내의 무기류를 식별하는 과정을 여주는 순서도이다.
도 8은 본 발명의 일 실시예에 따른 인공지능 스피커를 이용하여 위기 상황에 대응하는 예를 보여주는 도면이다.
도 9는 본 발명의 다른 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 구성을 보여주는 블록도이다.
도 10은 본 발명의 다른 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법의 진행 과정을 보여주는 순서도이다.
도 11은 본 발명의 다른 실시예에 따른 인공지능 스피커를 이용하여 위기 상황에 대응하는 예를 보여주는 도면이다.
도 12는 본 발명의 또 다른 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 구성을 보여주는 블록도이다.
도 13은 본 발명의 또 다른 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법의 진행 과정을 보여주는 순서도이다.
도 14는 본 발명의 또 다른 실시예에 따른 인공지능 스피커를 이용하여 위기 상황에 대응하는 예를 보여주는 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상의 의미와 일치하는 의미로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 실시예에 의한 인공지능 스피커를 이용하는 위기 상황 대응 시스템의 개념도이다.

도 1을 참조하면, 본 발명의 실시예에 의한 인공지능 스피커를 이용하는 위기 상황 대응 시스템은 인공지능 스피커(100)가 다양한 위기상황(10, 20, 30)을 탐지하여 대응하도록 구성될 수 있다.

예를 들면, 인공지능 스피커(100)가 사람의 비명소리가 발생하는 상황(10)에서, 사람의 음성에서 주파수 성분을 분리하여 소정의 비명소리 주파수 범위(예를 들면, 2000~5000hz)에 속한다고 판단할 수 있으며, 또한 비명소리리 주파수를 인지한 이후에, 비명 소리가 발생한 장소의 영상을 촬영하고 분석하여 무기소지가 검출되면 위기상황이라고 판단하고, 화재경보를 울리거나, 스프링쿨러를 작동하는 등의 위기대응 시스템이 작동할 수 있다. 즉, 인공지능 스피커(100)는 즉각적으로 대응해야 하는 위기 돌발 상황에서 자체적으로 상황 종료나 피해를 최소화하기 위한 선제적 대응조치를 취할 수 있다.

다른 실시예에서, 인공지능 스피커(100)는 침입 탐지 모드가 작동 중인 경우에 문소리나 창문소리 등을 인식하여 무단침입 상황(20)을 인지하고, 이에 맞는 위기 대응을 할 수 있다. 즉, 인공지능 스피커(100)는 야간이나 빈집에 누군가가 무단 침입하거나, 노약자가 기거하는 집에 무단으로 침입하는 괴한에 즉각적으로 대응할 수 있다.

또 다른 실시예는, 인공지능 스피커(100)는 벨을 울린 정상적인 방문자로부터 공격상황(30)을 인식하여, 이에 맞는 위기 대응을 할 수 있다. 예를 들면, 인공지능 스피커(100)는 혼자 사는 여성이 많은 원룸이나 어린이가 혼자 집을 지키는 취약한 환경에서. 택배를 가장한 치한이나 면식범의 공격상황에 즉각적으로 대응할 수 있다.

이하, 본 발명의 일 실시예에 따른 비명 소리 탐지를 통한 위기상황에 대응하는 인공지능 스피커에 대하여 설명한다.

도 2는 본 발명의 일 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 구성을 보여주는 블록도이다.

도 2를 참조하면, 일 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커(100)는 하드웨어부(110), 소리 신호 수신부(210), 주파수 성분 추출부(220), 위기 상황 판단부(230), 위기 상황 대응부(240), 비명 검출 모델(250) 및 무기류 학습 모델(260)을 포함할 수 있다.

또한, 도 2를 참조하면 발명의 일 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 각 구성요소는 다음과 같이 설명될 수 있다.

하드웨어부(110)는 소리 신호를 수신하기 위한 마이크로폰(111), 소리 출력을 위한 스피커(112)가 구비될 수 있고, 선택적으로 영상촬영을 위한 카메라(113)가 구비될 수 있다. 이들은 모두 하나의 장치에 직접 연결되어 작동할 수 있고, 유무선으로 원격연결 되어 인공지능 스피커(100)에 의해 원격 제어되도록 구성될 수 있다.

먼저, 소리 신호 수신부(210)가 마이크로폰(111)을 통해서 소리 신호를 수신하면, 주파수 성분 추출부(220)는 수신한 소리 신호로부터 사람의 음성을 분리하고, 음성에서 주파수 성분을 추출할 수 있다.

위기 상황 판단부(230)는 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는지 여부를 판단하여 위기 상황임을 인식할 수 있다. 또는, 상기 음성 내에 사용자와의 약속에 의해서 미리 정해놓은 단어가 포함되어 있어도 위기 상황으로 판단할 수 있다.

즉, 사람들이 위급한 상황에 처하게 되면 무의식 중에 비명을 지르게 되는데, 비명소리는 크기나 인터벌 측면에서 일반적인 대화 음성과는 다른 주파수 특성을 가진다. 비명소리는 남성, 여성, 어린아이가 다르게 나타날 수 있는데, 보통 2000~5000hz부근의 대역에서 특징적인 에너지가 나타날 수 있다. 따라서, 본 발명은 비명검출모델(250)을 이용하여 수신한 사람의 음성이 비명소리인지 판단할 수 있다. 다만, 이러한 주파수 대역은 사이렌소리나 벽을 긁는 소리와 유사하기 때문에 사람의 비명소리를 학습한 모델을 적용하여 다양한 요인을 적용할 수 있다. 비명검출모델(250)은 다양한 환경에서 다양한 음성 특성이 있는 사람들의 비명소리를 학습한 모델일 수 있다. 비명소리를 탐지하는 방법은 알려진 기술이므로 상세한 설명을 생략한다.

또는, 위기 상황 판단부(230)는 상기 음성 내에 사용자와의 약속에 의해서 미리 정해놓은 단어나 음절이 포함되어 있어도 위기 상황으로 판단할 수 있다. 즉, 사용자는 위기 상황이 발생했을 때, 인공지능 스피커가 위기 상황임을 빠르게 인식할 수 있도록 평소에 잘 안 쓰는 단어 등을 구조 요청용 소리로 인공지능 스피커에 입력할 수 있다. 예를 들면, "열려라 참깨", "날보러와요", 또는 "아무개아무개아무개"와 같은 본인이나 지인 이름의 반복, "도도도도도도도"와 같은 특정 단어나 음절을 수회 반복하여 인공지능 스피커에 녹음해 놓고 구조 요청용 암호로 설정할 수 있다.

위기 상황 대응부(240)는 상기 판단 결과 위기상황이라면, 미리 정해진 방법으로 상기 위기상황에 대응할 수 있다. 예를 들면, 위기 상황 대응부(240)는 미리 정해진 연락처로 음성이나 영상을 전달할 수 있다. 그러나 이러한 방법은 목숨이 위급한 상황에서 즉각적인 해결이 되기는 어렵고, 단지 현장 증거를 보존하는 효과는 있을 것이다.

따라서, 위기 상황 대응부(240)는 원격 연결된 화재경보기를 작동시키거나, 화재 대응용 스프링쿨러를 작동시켜서 범인의 무기를 무력화시키거나, 범인의 주의를 돌려서 피해자가 방어할 기회를 가질 수도 있고, 범인이 화재가 발생한 것으로 오해해서 도망가게 하거나 진정시키는 효과를 볼 수 있다.

또는, 위기 상황 대응부(240)는 스피커(112)를 통해 음성 신호의 발원지를 향해서 화포용 폭음을 발생시키고, 원격 연결된 연기 발생 장치를 작동시킬 수 있다. 이와 같은 방법은 범인이 경찰이나 제3자의 공격을 받는 것으로 오해해서 도망치게 하는 효과가 있을 수 있다.

도 3은 본 발명의 일 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 위기 상황 판단부의 구성을 보여주는 블록도이다.

도 3을 참조하면, 위기 상황 판단부(240)는 비명소리 판단모듈(241), 영상 촬영 모듈(242), 무기류 식별 모듈(243)을 포함하여 구성될 수 있다.

비명소리 판단모듈(241)은 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 비명소리 인지 여부를 판단할 수 있다. 즉, 음성 주파수를 비명 검출 모델(150)에 적용하여 비명소리를 검출할 수 있다.

비명소리가 발생할 수 있는 상황은 다양할 수 있다. 외부인의 침입이나 사람의 협박에 의한 위협상황이 발생하거나, 깜짝 놀라서 무의식 중에 비명이 발생할 수도 있으므로, 좀 더 상세한 상황 판단을 위해서 추가적인 판단이 필요할 수 있다.

영상 촬영 모듈(242)은 비명소리라고 판단하면, 카메라(113)를 이용하여 상기 음성의 발생 방향을 촬영할 수 있다. 복수의 카메라(113)가 분산 배치되어 있다면, 비명이 발생한 곳에서 가장 가까운 카메라를 이용하거나, 카메라의 방향 이동을 통해서 영상을 촬영할 수 있다.

무기류 식별 모듈(243)은 촬영 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하여 상기 제3의 물체가 무기류라고 판단하면 위기 상황으로 판단할 수 있다. 이때, 무기류 식별 모듈(243)은 제3의 물체를 무기류 학습모델(260)에 적용하여 무기류 인지 여부를 판단할 수 있다. 무기류 학습모델(260)은 총, 칼, 인명을 해칠 수 있는 각종 도구 등의 사진을 다양한 형태로 학습한 모델일 수 있다.

즉, 무기류 식별 모듈(243)은 영상에서 사람의 손 영역을 포함하는 소정의 제1 영역을 분리하고, 제1 영역 내에서 사람의 손을 제외한 제2 영역을 도출하고, 제2 영역에서 제3의 객체를 추출하고, 제3의 객체를 무기류 학습 모델(243)에 적용하여 무기류 해당 여부를 판단할 수 있다.

한편, 영상 내에 무기가 탐지되지 않아도, 폭력이나 결박 등의 형상을 학습한 폭력행위 학습 모델을 이용하여 위협상황을 판단할 수도 있을 것이다.

이하, 본 발명의 일 실시예에 따른 비명 소리 탐지를 통한 위기상황에 대응하는 방법에 대하여 설명한다.

도 4는 본 발명의 일 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법의 진행 과정을 보여주는 순서도이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법은 소리 신호 수신단계(S210), 주파수 성분 추출단계(S220), 위기 상황 판단 단계S230) 및 위기 상황 대응단계(S240)를 포함할 수 있다.

또한, 도 4를 참조하면 본 발명의 일 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법의 각 단계는 다음과 같이 설명될 수 있다.

먼저, 인공지능 스피커는 마이크로폰을 통해서 소리 신호를 수신하면(S210), 수신한 소리 신호로부터 사람의 음성을 분리하고, 음성에서 주파수 성분을 추출할 수 있다(S220).

다음으로, 인공지능 스피커는 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는지 여부에 따라서 위기 상황을 판단할 수 있다(S230).

즉, 사람들이 위급한 상황에 처하게 되면 무의식 중에 비명을 지르게 되는데, 비명소리는 크기나 인터벌 측면에서 일반적인 대화 음성과는 다른 주파수 특성을 가진다. 보통 비명소리는 남성, 여성, 어린아이가 다르게 나타날 수 있는데, 보통 2000~5000hz부근의 대역에서 특징적인 에너지가 나타날 수 있다. 따라서, 본 발명은 비명검출모델을 이용하여 수신한 사람의 음성이 비명소리인지 판단할 수 있다. 다만, 이러한 주파수 대역은 사이렌소리나 벽을 긁는 소리와 유사하기 때문에 사람의 비명소리를 학습한 모델을 적용할 수 있다. 비명검출모델은 다양한 환경에서 다양한 음성 특성이 있는 사람들의 비명소리를 학습한 모델일 수 있다. 비명소리를 탐지하는 방법은 알려진 기술이므로 상세한 설명을 생략한다.

또는, 인공지능 스피커는 상기 음성 내에 사용자와의 약속에 의해서 미리 정해놓은 단어나 음절이 포함되어 있어도 위기 상황으로 판단할 수 있다. 즉, 사용자는 위기 상황이 발생했을 때, 인공지능 스피커가 위기 상황임을 빠르게 인식할 수 있도록 평소에 잘 안 쓰는 단어 등을 구조 요청용 소리로 인공지능 스피커에 입력할 수 있다. 예를 들면, "열려라 참깨", "날보러와요", 또는 "아무개아무개아무개"와 같은 본인이나 지인 이름의 반복, "도도도도도도도"와 같은 특정 단어나 음절을 수회 반복하여 인공지능 스피커에 녹음해 놓고 구조 요청용 암호로 설정할 수 있다.

다음으로, 인공지능 스피커는 상기 판단 결과 위기상황이라면, 미리 정해진 방법으로 상기 위기상황에 대응할 수 있다(S240).

예를 들면, 도 5를 참조하면, 인공지능 스피커는 미리 정해진 연락처로 상기 음성이나 영상을 전달할 수 있다(S241). 그러나 이러한 방법은 목숨이 위급한 상황에서 즉각적인 해결이 되기는 어렵고, 단지 현장 증거를 보존하는 효과는 있을 것이다.

따라서, 인공지능 스피커는 원격 연결된 화재경보기를 작동시키거나(S242), 화재 대응용 스프링쿨러를 작동시켜서(S243) 범인의 무기를 무력화하거나, 범인의 주의를 돌려서 피해자가 방어할 기회를 가질 수도 있고, 범인이 불이 난 것으로 오해해서 도망가게 하거나 진정시키는 효과를 볼 수 있다.

또는, 인공지능 스피커(112)는 음성 신호의 발원지를 향해서 화포용 폭음을 발생시키고(S244), 원격 연결된 연기 발생 장치를 작동시킬 수 있다(S245) 또는 실내의 조명을 모두 소등하고 공격자를 향해서 탐조등을 비출수도 있다(S246). 이와 같은 방법은 범인이 경찰이나 제3자의 공격을 받는 것으로 오해해서 도망치게 하는 효과가 있을 수 있다.

도 6은 본 발명의 일 실시예에 따른 사용자 음성의 주파수를 탐지하여 위기 상황에 대응하는 과정을 보여주는 순서도이다.

도 6을 참조하면, 사용자 음성의 주파수를 탐지하여 위기 상황에 대응하는 과정은 비명소리 판단 단계(S241), 영상 촬영 단계(S242), 무기류 식별 단계(S243)를 포함하여 구성될 수 있다.

먼저, 인공지능 스피커는 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 비명소리 인지 여부를 판단할 수 있다(S231). 즉, 음성 주파수를 비명 검출 모델에 적용하여 비명소리를 검출할 수 있다.

예를 들면, 인공지능 스피커는 비명소리라고 판단하면, 카메라를 이용하여 상기 음성의 발생 방향을 촬영할 수 있다(S232). 복수의 카메라가 분산 배치되어 있다면, 비명이 발생한 곳에서 가장 가까운 카메라를 이용하거나, 카메라의 방향 이동을 통해서 영상을 촬영할 수 있다.

다음으로, 인공지능 스피커는 촬영 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하여 상기 제3의 물체가 무기류라고 판단하면 위기 상황으로 판단할 수 있다(S233). 이때, 인공지능 스피커는 제3의 물체를 무기류 학습모델에 적용하여 무기류 인지 여부를 판단할 수 있다. 무기류 학습모델은 총, 칼, 인명을 해칠 수 있는 각종 도구 등의 사진을 다양한 형태로 학습한 모델일 수 있다.

또한, 도 7을 참조하면, 인공지능 스피커는 무기류 도출을 위해서 촬영한 영상에서 사람의 손 영역을 포함하는 소정의 제1 영역을 분리하고(S2331), 제1 영역 내에서 사람의 손을 제외한 제2 영역을 도출하고(S2332), 제2 영역에서 제3의 객체를 추출하고, 제3의 객체를 무기류 학습 모델에 적용하여 무기류 해당 여부를 판단할 수 있다(S2333).

도 8은 본 발명의 일 실시예에 따른 인공지능 스피커를 이용하여 위기 상황에 대응하는 예를 보여주는 도면이다.

도 8의 (a)를 참조하면, 인공지능 스피커(100)가 사람의 비명소리가 발생하는 상황(10)에서, 사람의 음성에서 주파수 성분(11)을 분리하여 소정의 비명소리 주파수 범위에 속한다고 판단하거나, 비명소리를 인지하고 위험하다고 생각되는 장소의 영상을 촬영하고 분석하여 무기류 등이 검출되면 위기상황이라고 판단할 수 있다.

도 8의 (b)를 참조하면, 인공지능 스피커(100)는 즉각적으로 대응해야 하는 위기돌발상황이라는 판단 하에, 화재경보를 울리고 스프링쿨러를 작동하게 되고, 현장(10')에서 범인은 불이 난 것으로 오해하거나, 또는 사이렌을 듣고 사람들이 몰려올 것을 염려하여 도망가도록 할 수 있다.

이하, 본 발명의 다른 실시예에 따른 침입 탐지를 통한 위기 상황에 대응하는 인공지능 스피커에 대하여 설명한다.

도 9는 본 발명의 다른 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 구성을 보여주는 블록도이다.

도 9를 참조하면, 본 발명의 다른 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커(100)는 하드웨어부(110), 침입탐지 모드 진입부(310), 소리 신호 수신부(320), 영상 촬영부(330), 침입자 발생 판단부(340), 침입 탐지 대응부(350)를 포함하여 구성될 수 있다.

또한, 도 9를 참조하면 발명의 일 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커(100)의 각 구성요소는 다음과 같이 설명될 수 있다.

침입탐지 모드 진입부(310)는 사용자 인터페이스를 통한 사용자의 조작에 의해 또는 미리 설정된 조건에 도달하면 침입 탐지 모드로 진입하도록 구성될 수 있다. 예를 들면, 사용자는 외출하기 전이나 취침 전에 사용자 인터페이스를 이용하여 침입 탐지 모드를 설정하면, 침입탐지 모드 진입부(310)는 슬립상태에서 침입탐지 모드로 진입하게 된다. 또는, 미리 취침시간이나 외출시간을 설정하여 정해진 조건이 되면 자동으로 침입탐지 모드로 진입하게 된다.

소리 신호 수신부(320)가 마이크폰(111)을 통해서 소리 신호를 수신하면, 영상 촬영부(330)는 침입 탐지 모드인 경우에, 수신한 소리를 분석하여 소리 신호가 미리 학습한 출입문이나 창문의 개폐소리에 대응하는 경우 상기 소리의 이동 방향을 따라서 촬영할 수 있다. 즉, 침입 탐지 모드가 작동 중이라면 사용자가 외출 중이거나 취침 중이거나, 기타 여러 가지 사유로 출입문이나 창문을 이용할 이유가 없음에도 소리가 감지된다면 촬영을 시작할 수 있다.

종래의 방법은 침입탐지 모드에서 물체의 움직임을 감지하여 알람을 발생시키는 방식이지만, 일일이 침입탐지 모드를 설정하기도 어렵고 집주인의 동작을 침입으로 판정하는 등의 오작동 가능성이 많이 있어서 잘 활용되지 않는 문제가 있다. 그러나 본 발명의 침입 탐지는 일단 소리 인식을 기초로 영상 촬영 후에 침입 여부를 판단하게 된다.

침입자 발생 판단부(340)는 촬영 영상 내에 물체의 움직임이 포착되면, 상기 영상 내 물체를 미리 등록한 사용자의 영상과 비교하여 침입자 발생 여부를 판단할 수 있다. 또는 촬영 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하고 상기 제3의 물체가 무기류이면 침입자 발생이라고 판단할 수 있다.

즉, 사용자가 실수로 침입 탐지 모드를 해제하지 않은 채 문을 열거나, 창문을 여는 경우에는, 사용자의 얼굴의 인식을 통해서 비상상황 여부를 판단할 수 있다. 따라서, 위기 상황에 대한 2차적 판단으로써 무기 소지 여부를 판단하여 침입자 발생 여부를 판단할 수 있다.

이때, 침입자 발생 판단부(340)는 제3의 물체를 무기류 학습모델(360)에 적용하여 무기류 인지 여부를 판단할 수 있다. 무기류 학습모델은 총, 칼, 인명을 해칠 수 있는 각종 도구 등의 사진을 다양한 형태로 학습한 모델일 수 있다.

침입 탐지 대응부(350)는 판단 결과 침입자 발생이면, 미리 정해진 방법으로 상기 침입 상황에 대응할 수 있다. 예를 들면, 침입 탐지 대응부(350)는 미리 정해진 연락처로 상기 음성이나 영상을 전달할 수 있다. 그러나 이러한 방법은 목숨이 위급한 상황에서 즉각적인 해결이 되기는 어렵고, 단지 현장 증거를 보존하는 효과는 있을 것이다.

따라서, 침입 탐지 대응부(350)는 내부의 전체 조명을 원격조정하여 소등하고 상기 침입자를 향해서 탐조등을 비추면서 화포용 폭음을 발생시켜서 침입자에게 공포감을 주어서 도망가도록 할 수 있다. 탐조등은 침입자의 눈을 순간적으로 멀게 만드는 효과가 있어서, 그사이에 내부 구조를 잘 아는 방어자가 도망가거나 역공을 할 수 있는 기회를 줄 수 있다.

또는, 침입 탐지 대응부(350)는 원격 연결된 화재경보기를 작동시키거나, 화재 대응용 스프링쿨러를 작동시켜서 범인의 무기를 무력화시키거나, 범인의 주의를 돌려서 피해자가 방어할 기회를 가질 수도 있고, 범인이 불이 난 것으로 오해해서 도망가게 하거나 진정시키는 효과를 볼 수 있다.

또는, 침입 탐지 대응부(350)는 스피커(112)를 통해 음성 신호의 발원지를 향해서 화포용 폭음을 발생시키고, 원격 연결된 연기 발생 장치를 작동시킬 수 있다. 이와 같은 방법은 범인이 경찰이나 제3자의 공격을 받는 것으로 오해해서 도망치게 하는 효과가 있을 수 있다.

이하, 본 발명의 다른 실시예에 따른 인공 지능 스피커를 이용한 침입 탐지를 통한 위기 상황 대응방법에 대하여 설명한다.

도 10은 본 발명의 다른 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법의 진행 과정을 보여주는 순서도이다.

도 10을 참조하면, 본 발명의 다른 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법은 침입탐지 모드 진입단계(S310), 소리 신호 수신 단계(S320), 영상 촬영단계(S330), 침입자 발생 판단 단계(S340), 침입 탐지 대응 단계(S350)를 포함하여 구성될 수 있다.

먼저, 인공지능 스피커는 사용자 인터페이스를 통한 사용자의 조작에 의해 또는 미리 설정된 조건에 도달하면 침입 탐지 모드로 진입할 수 있다(S310). 예를 들면, 사용자는 외출하기 전이나 취침 전에 인공지능 스피커에 침입 탐지 모드를 설정하면, 인공지능 스피커는 슬립상태에서 침입탐지 모드로 진입하게 된다. 또는, 미리 취침시간이나 외출시간을 설정하여 정해진 조건이 되면 인공지능 스피커는 자동으로 침입탐지 모드로 진입할 수 있다(S310).

다음으로, 인공지능 스피커가 마이크로폰을 통해서 소리 신호를 수신하고(S320), 침입 탐지 모드인 경우에 수신한 소리를 분석하여 소리 신호가 미리 학습한 출입문이나 창문의 개폐소리에 대응하는 경우 상기 소리의 이동 방향을 따라서 촬영할 수 있다(S330). 즉, 침입 탐지 모드가 작동 중이라면 사용자가 외출 중이거나 취침 중이거나, 기타 여러 가지 사유로 출입문이나 창문을 이용할 이유가 없음에도 소리가 감지된다면 인공지능 스피커는 촬영을 시작할 수 있다.

다음으로, 인공지능 스피커는 촬영 영상 내에 물체의 움직임이 포착되면, 상기 영상 내 물체를 미리 등록한 사용자의 영상과 비교하여 침입자 발생여부를 판단할 수 있다(S340).

또는 인공지능 스피커는 촬영 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하고 상기 제3의 물체가 무기류이면 침입자 발생이라고 판단할 수 있다(S350).

이때, 인공지능 스피커는 제3의 물체를 무기류 학습모델에 적용하여 무기류 인지 여부를 판단할 수 있다. 무기류 학습모델은 총, 칼, 인명을 해칠 수 있는 각종 도구 등의 사진을 다양한 형태로 학습한 모델일 수 있다.

다음으로, 인공지능 스피커는 침입자 발생이라고 판단하면 미리 정해진 방법으로 상기 침입 상황에 대응할 수 있다(S360). 예를 들면, 인공지능 스피커는 미리 정해진 연락처로 상기 음성이나 영상을 전달할 수 있다. 그러나 이러한 방법은 목숨이 위급한 상황에서 즉각적인 해결이 되기는 어렵고, 단지 현장 증거를 보존하는 효과는 있을 것이다.

따라서, 침입 탐지 대응부(350)는 원격조정하여 내부의 전체 조명을 소등하고 상기 침입자를 향해서 탐조등을 비추면서 화포용 폭음을 발생시켜서 침입자에게 공포감을 주어서 도망가도록 할 수 있다.

또는, 인공지능 스피커는 원격 연결된 화재경보기를 작동시키거나, 화재 대응용 스프링쿨러를 작동시켜서 범인의 무기를 무력화시키거나, 범인의 주의를 돌려서 피해자가 방어할 기회를 가질 수도 있고, 범인이 불이 난 것으로 오해해서 도망가게 하거나 진정시키는 효과를 볼 수 있다.

또는, 인공지능 스피커는 스피커를 통해 음성 신호의 발원지를 향해서 화포용 폭음을 발생시키고, 원격 연결된 연기 발생 장치를 작동시킬 수 있다. 이와 같은 방법은 범인이 경찰이나 제3자의 공격을 받는 것으로 오해해서 도망치게 하는 효과가 있을 수 있다.

도 11은 본 발명의 다른 실시예에 따른 인공지능 스피커를 이용하여 위기 상황에 대응하는 예를 보여주는 도면이다.

도 11의 (a)를 참조하면, 인공지능 스피커(100)는 침입 탐지 모드가 작동중인 상황에서, 문이 열리는 소리나 창문 소리 등을 인식하여 무단침입 상황(20)을 인지하고, 소리가 나는 장소의 영상을 촬영하고 분석하여 사용자의 얼굴과 비교하고 무기류 등이 검출되면 위기상황이라고 판단할 수 있다. 즉, 인공지능 스피커(100)는 야간이나 빈집에 누군가가 무단 침입하거나, 노약자가 기거하는 집에 무단으로 침입하는 괴한에 대응할 수 있다.

또한, 도 11의 (b)를 참조하면, 인공지능 스피커(100)는 즉각적으로 대응해야 하는 위기 돌발상황이라는 판단 하에, 음성 신호의 발원지를 향해서 화포용 폭음을 발생시키거나, 또는 연기 발생 장치를 작동시킬 수 있다. 현장(20')에서 범인은 누군가의 공격이 있는 것으로 오해하거나, 또는 시끄러운 소리를 듣고 사람들이 몰려올 것을 염려하여 도망가도록 할 수 있다. 또는 연기로 인해서 안 보이는 상황에서 내부에 익숙한 피 공격자는 범인을 제압할 기회를 가질 수 있다. 따라서, 인공지능 스피커(100)는 야간 취침중이거나 빈집에 누군가가 무단 침입하거나, 노약자가 기거하는 집에 무단으로 침입하는 괴한에 대응할 수 있다.

이하, 본 발명의 또 다른 실시예에 따른 방문자 확인을 통한 위기 상황에 대응하는 인공지능 스피커에 대하여 설명한다.

도 12는 본 발명의 또 다른 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 구성을 보여주는 블록도이다.

도 12를 참조하면, 본 발명의 또 다른 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커(100)는 하드웨어부(110), 벨소리 수신부(410), 영상 촬영부(420), 방문자 식별부(430), 방문자 영상 판단부(440), 피방문자 음성 판단부(450) 및 위기 상황 대응부(460)를 포함하여 구성될 수 있다.

또한, 도 12를 참조하면 발명의 또 다른 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커(100)의 각 구성요소는 다음과 같이 설명될 수 있다.

벨소리 수신부(410)가 마이크로폰(111)을 통해서 현관 벨소리를 수신한 이후에, 영상 촬영부(420)는 현관문이 열리는 소리를 탐지하면, 현관문 주변의 영상을 촬영할 수 있다.

다음으로, 방문자 식별부(430)는 영상 내에서 방문자와 피방문자를 식별하고, 방문자 영상 판단부(440)는 방문자의 손의 움직임을 추적하여, 방문자의 손에 의해서 상기 피방문자의 움직임이 제한되는 상황이 발생하고 있는 지와, 이와 같은 상황이 소정의 임계시간 이상 지속되는 지 여부를 판단할 수 있다.

즉, 이는 문을 강제로 열거나 담을 넘는 경우가 아닌, 정상적인 방문자로 위장한 후에 위협을 가하는 상황이 발생하는 지를 판단하기 위함이다. 예를 들면, 원룸에 혼자 살거나 어린이 혼자 집을 지키는 상황에서, 택배나 이웃집 사람임을 위장하여 문을 열게 한 후에 피방문객을 위협하는 경우가 실생활에서 많이 발생한다. 이 경우, 피해자는 방어할 틈도 없이 방문자에게 제압을 당할 수 있기 때문에, 이를 탐지하기 위하여 방문자 영상 판단부(440)는 방문자 손을 추적하여 상황을 판단할 수 있다.

피방문자 음성 판단부(450)는 방문자의 음성을 분석하여 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 음성이라면 위기 상황이라고 판단할 수 있다. 예를 들면, 영상에서 위협적인 상황이 파악되지는 않지만, 방문만으로도 위협적이거나 잠재적인 위협이 되는 사람이 방문한 경우에 피방문자는 소리를 지를 수 있으므로 이 음성을 분석하여 위험 상황을 판단할 수 있다.

위기 상황 대응부(460)는 상기 판단 결과 위기상황이라면, 복수의 대화 음성을 배경으로 삽입하고 상기 피방문객을 부르는 제3자의 음성을 생성하여 스피커를 통해서 출력할 수 있다.

이와 같은 방법은 방문자에게 내부에 사람이 많다는 것으로 인식하도록 하여 돌아가게 하거나 위협을 멈추게 하는 즉각적인 효과를 발휘할 수 있을 것이다.

도 13은 본 발명의 또 다른 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법의 진행 과정을 보여주는 순서도이다.

도 13을 참조하면, 본 발명의 또 다른 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법은 벨소리 수신단계(S410), 영상 촬영단계(S420), 방문자 식별단계(S430), 방문자 영상 판단단계(S440), 피방문자 음성 판단단계(S450) 및 위기 상황 대응단계(S460)를 포함하여 구성될 수 있다.

먼저, 인공지능 스피커가 마이크로폰(111)을 통해서 현관 벨 소리를 수신한 이후에(S410), 현관문이 열리는 소리를 탐지하면, 현관문 주변의 영상을 촬영할 수 있다(S420).

다음으로, 인공지능 스피커는 영상 내에서 방문자와 피방문자를 식별하고 (S430), 방문자의 손의 움직임을 추적하여, 방문자의 손에 의해서 상기 피방문자의 움직임이 제한되는 상황이 발생하고 있는 지와, 이와 같은 상황이 소정의 임계시간 이상 지속되는 지 여부를 판단할 수 있다(S440).

즉, 이는, 문을 강제로 열거나 담을 넘는 경우가 아닌, 정상적인 방문자로 위장한 후에 위협을 가하는 상황이 발생하는 지를 판단하기 위함이다. 예를 들면, 원룸에 혼자 살거나 어린이 혼자 집을 지키는 상황에서, 택배나 이웃집 사람임을 위장하여 문을 열게 한 후에 피 방문객을 위협하는 경우가 실생활에서 많이 발생한다. 이 경우, 피해자는 방어할 틈도 없이 방문자에게 제압을 당할 수 있기 때문에, 이를 탐지하기 위하여 인공지능 스피커는 방문자 손을 추적하여 상황을 판단할 수 있다.

다른 방법으로, 인공지능 스피커는 방문자의 음성을 분석하여 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 음성이라면 위기 상황이라고 판단할 수 있다(S450). 예를 들면, 영상에서 위협적인 상황이 파악되지는 않지만, 방문만으로도 위협적이거나 잠재적인 위협이 되는 사람이 방문한 경우에 피방문자는 비명을 지를 수 있으므로, 피 방문자의 음성을 분석하여 위험 상황을 판단할 수 있다.

인공지능 스피커는 상기 판단 결과 위기상황이라면, 복수의 대화 음성을 배경으로 삽입하고 상기 피방문객을 부르는 제3자의 음성을 생성하여 스피커를 통해서 출력할 수 있다(S460). 이와 같은 방법은 방문자에게 내부에 사람이 많다는 것으로 인식하도록 하여 돌아가게 하거나 위협을 멈추게 하는 즉각적인 효과를 발휘할 수 있을 것이다.

도 14는 본 발명의 또 다른 실시예에 따른 인공지능 스피커를 이용하여 위기 상황에 대응하는 예를 보여주는 도면이다.

도 14의 (a)를 참조하면, 인공지능 스피커(100)는 벨을 울린 정상적인 방문자로부터 공격상황(30)을 인식하여 이에 맞는 위기 대응을 할 수 있다. 즉, 벨소리가 나고 문을 열어주는 소리가 난 이후부터 현관 주변을 촬영을 시작하여 방문자로부터 위협을 받는 상황이 인지되면 위기상황이라고 판단할 수 있다.

또한, 도 14의 (b)를 참조하면, 인공지능 스피커(100)는 즉각적으로 대응해야 하는 위기 돌발상황이라는 판단 하에, 복수의 대화 음성을 배경으로 삽입하고 상기 피방문객을 부르는 제3자의 음성을 생성하여 스피커를 통해서 출력함으로써 위기상황에 대응할 수 있다. 현장(30')에서 범인은 집안에 사람이 많이 있다고 생각하고 공격을 포기하고 도망가도록 할 수 있다. 따라서, 인공지능 스피커(100)는 혼자 사는 여성이 많은 원룸이나 어린이가 혼자 집을 지키는 취약한 환경에서. 택배를 가장한 치한이나 면식범의 공격상황에 효과적으로 대응할 수 있다.

한편, 지금까지 설명한 본 발명의 방법 및 장치는 실제로 컴퓨터 프로그램에 의해 구현될 수 있고, 컴퓨터에서 실행될 때 컴퓨터 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터 판독 가능한 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 기록매체를 포함하며, ROM, RAM, CD, DVD-ROM, 자기테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 인터넷을 통한 전송되는 형태로 구현되는 것도 포함될 수 있다. 즉, 이와 같은 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

인공지능 스피커를 이용하는 비명 소리 탐지를 통한 위기 상황 대응 방법에 있어서,
마이크로폰을 통해서 소리 신호를 수신하는 단계와,
상기 소리 신호로부터 사람의 음성을 분리하고, 상기 음성에서 주파수 성분을 추출하는 단계와,
상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는지 여부에 따라서 위기 상황을 판단하는 단계와,
상기 판단 결과 위기상황이라면, 미리 정해진 방법으로 상기 위기상황에 대응하는 단계를 포함하는 위기 상황 대응 방법
제1항에 있어서, 상기 위기 상황을 판단하는 단계는
상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 비명소리 인지 여부를 판단하는 단계와
상기 판단 결과 비명소리라면, 적어도 하나의 카메라를 이용하여 음성의 발생 방향을 영상 촬영하는 단계와,
상기 촬영한 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하여 상기 제3의 물체가 무기라고 판단하면 위기 상황으로 판단하는 무기류 식별 단계를 포함하고,
상기 무기류 식별 단계는
상기 영상에서 사람의 손 영역을 포함하는 소정의 제1 영역을 분리하는 단계와,
상기 제1 영역 내에서 사람의 손을 제외한 제2 영역을 도출하는 단계와,
상기 제2 영역에서 상기 제3의 객체를 추출하고, 상기 제3의 객체를 무기류 학습 모델에 적용하여 무기류 해당 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 위기 상황 대응 방법.
제1항에 있어서, 상기 위기 상황을 판단하는 단계는
상기 음성 내에 사용자와의 약속에 의해서 미리 정해놓은 단어가 포함되어 있어도 상기 위기 상황으로 판단하는 것을 특징으로 하는 위기 상황 대응 방법.
제1항 또는 제2항에 있어서, 상기 위기 상황에 대응하는 미리 정해진 방법은
미리 정해진 연락처로 상기 음성을 전달하거나, 원격 연결된 화재경보기를 작동시키거나, 화재 대응용 스프링쿨러를 작동시키거나, 스피커를 통해 상기 음성 신호의 발원지를 향해서 화포용 폭음을 발생시키거나, 원격 연결된 연기 발생 장치를 작동시키거나 또는 실내의 조명을 모두 소등하고 공격자를 향해서 탐조등을 비추는 방법 중 적어도 하나를 포함하는 것을 특징으로 하는 위기 상황 대응 방법.
인공지능 스피커를 이용하는 침입 탐지를 통한 위기 상황 대응 방법에 있어서,
사용자의 조작에 의해 또는 미리 설정된 조건에 도달하면 침입 탐지 모드로 진입하는 단계와,
마이크로폰을 통해서 소리 신호를 수신하는 단계와,
상기 침입 탐지 모드에서, 상기 소리 신호가 미리 학습한 출입문이나 창문의 개폐소리에 대응하는 경우 카메라를 이용하여 상기 소리의 이동 방향을 따라서 촬영하는 단계를 포함하는 위기 상황 대응 방법.
제5항에 있어서,
상기 촬영 영상 내에 물체의 움직임이 포착되면, 상기 영상 내 물체를 미리 등록한 사용자의 영상과 비교하여 침입자 발생여부를 판단하거나 또는
상기 촬영 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하고 상기 제3의 물체가 무기류이면 침입자 발생이라고 판단하는 단계와,
상기 판단 결과 침입자 발생이면 미리 정해진 방법으로 침입 탐지 상황에 대응하는 단계를 더 포함하고, 상기 침입 탐지 상황에 대응하는 미리 정해진 방법은 원격조정하여 내부의 전체 조명을 소등하고 상기 침입자를 향해서 탐조등을 비추면서 화포용 폭음을 발생시키는 것을 특징으로 하는 위기 상황 대응 방법.
제6항에 있어서, 상기 침입 탐지 상황에 대응하는 미리 정해진 방법은
미리 정해진 연락처로 상기 영상을 전달하거나, 원격 연결된 화재경보기를 작동시키거나, 화재 대응용 스프링쿨러를 작동시키거나, 또는 원격 연결된 연기발생 장치를 작동시키는 방법 중 적어도 하나를 더 포함하는 것을 특징으로 하는 위기 상황 대응 방법.
인공지능 스피커를 이용하는 방문자 확인을 통한 위기 상황 대응 방법에 있어서,
마이크로폰을 통해서 현관 벨소리를 수신하는 단계와,
현관문이 열리는 소리를 탐지하면, 상기 현관문 주변의 영상을 촬영하는 단계와,
상기 영상 내에서 방문자와 피방문자를 식별하는 단계와,
상기 방문자의 손의 움직임을 추적하여, 상기 방문자의 손에 의해서 상기 피방문자의 움직임이 제한되는 상황이 소정의 임계시간 이상 지속되는 경우 위기 상황이라고 판단하는 방문자 영상 판단 단계를 포함하는 위기 상황 대응 방법.
제8항에 있어서,
상기 피방문자의 음성을 분석하여 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 음성이라면 위기 상황이라고 판단하는 피방문자 음성판단 단계를 더 포함하는 것을 특징으로 하는 위기 상황 대응 방법.
제8항 또는 제9항 있어서,
상기 판단 결과 위기상황이라면, 복수의 대화 음성을 배경으로 삽입하고 상기 피방문자를 부르는 제3자의 음성을 생성하여 스피커를 통해서 출력하는 위기상황에 대응하는 단계를 더 포함하는 것을 특징으로 하는 위기 상황 대응 방법.
제1항 또는 제5항 또는 제8항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 매체.
비명 소리 탐지를 통한 위기 상황에 대응하는 인공지능 스피커에 있어서,
마이크로폰과, 스피커를 포함하는 하드웨어부와
상기 마이크로폰을 통해서 소리 신호를 수신하는 소리 신호 수신부와,
상기 소리 신호로부터 사람의 음성을 분리하고, 상기 음성의 주파수 성분을 추출하는 주파수 성분 추출부와,
상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는지 여부에 따라서 위기 상황을 판단하는 위기 상황 판단부와,
상기 판단 결과 위기상황이라면, 미리 정해진 방법으로 상기 위기상황에 대응하기 위한 위기 상황 대응부를 포함하는 인공지능 스피커.
제12항에 있어서, 상기 위기 상황 판단부는
상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 비명소리 인지 여부를 판단하는 비명소리 판단 모듈과,
상기 판단 결과 비명소리라면, 카메라를 이용하여 상기 음성의 발생 방향을 촬영하는 영상 촬영 모듈과,
상기 촬영한 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하여 상기 제3의 물체가 무기류라고 판단하면 위기 상황으로 판단하는 무기류 식별 모듈을 포함하고,
상기 무기류 식별 모듈은
상기 영상에서 사람의 손 영역을 포함하는 소정의 제1 영역을 분리하고,
상기 제1 영역 내에서 사람의 손을 제외한 제2 영역을 도출하고,
상기 제2 영역에서 제3의 객체를 추출하고, 상기 제3의 객체를 무기류 학습 모델에 적용하여 무기류 해당여부를 판단하는 것을 특징으로 하는 인공지능 스피커.
제12항에 있어서, 상기 위기 상황 판단부는
상기 음성 내에 사용자와의 약속에 의해서 미리 정해놓은 단어가 포함되어 있어도 상기 위기 상황으로 판단하는 것을 특징으로 하는 인공지능 스피커.
제12항 또는 제13항에 있어서, 상기 위기 상황에 대응하는 미리 정해진 방법은,
미리 정해진 연락처로 상기 음성 또는 영상을 전달하거나, 원격 연결된 화재경보기를 작동시키거나, 화재 대응용 스프링쿨러를 작동시키거나, 상기 스피커를 통해 상기 음성 신호의 발원지를 향해서 화포용 폭음을 발생시키거나, 또는 원격 연결된 연기 발생 장치를 작동시키는 방법 중 적어도 하나를 포함하는 것을 특징으로 하는 인공지능 스피커.
침입 탐지를 통한 위기 상황에 대응하는 인공지능 스피커에 있어서,
마이크로폰과, 스피커를 포함하는 하드웨어부와,
사용자의 조작에 의해 또는 미리 설정된 조건에 도달하면 침입 탐지 모드로 진입하는 침입 탐지 모드 진입부와,
상기 마이크폰을 통해서 소리 신호를 수신하는 소리 신호 수신부와,
상기 침입 탐지 모드에서, 상기 소리 신호가 미리 학습한 출입문이나 창문의 개폐소리에 대응하는 경우 카메라를 이용하여 상기 소리의 이동 방향을 따라서 촬영하는 영상 촬영부를 포함하는 인공지능 스피커.
제 16항에 있어서,
상기 촬영 영상 내에 물체의 움직임이 포착되면, 상기 영상 내 물체를 미리 등록한 사용자의 영상과 비교하여 침입자 발생 여부를 판단하거나 또는
상기 촬영 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하고 상기 제3의 물체가 무기류이면 침입자 발생이라고 침입자 발생 판단부와,
상기 판단 결과 침입자 발생이면, 미리 정해진 방법으로 침입 탐지 상황에 대응하는 침입 탐지 대응부를 더 포함하되,
상기 침입 탐지 상황에 대응하는 미리 정해진 방법은 원격조정하여 내부의 전체 조명을 소등하고 상기 침입자를 향해서 탐조등을 비추면서 화포용 폭음을 발생시키는 것을 특징으로 하는 인공지능 스피커.
방문자 확인을 통한 위기 상황에 대응하는 인공지능 스피커에 있어서,
마이크로폰과, 스피커를 포함하는 하드웨어부와,
상기 마이크로폰을 통해서 현관 벨소리를 수신하는 벨소리 수신부와,
현관문이 열리는 소리를 탐지하면, 상기 현관문 주변의 영상을 촬영하는 영상 촬영부와,
상기 영상 내에서 방문자와 피방문자를 식별하는 방문자 식별부와,
상기 방문자의 손의 움직임을 추적하여, 상기 방문자의 손에 의해서 상기 피방문자의 움직임이 제한되는 상황이 소정의 임계시간 이상 지속되는 경우 위기 상황이라고 판단하는 방문자 영상 판단부를 포함하는 인공지능 스피커.
제18항에 있어서,
상기 피방문자의 음성을 분석하여 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 음성이라면 위기 상황이라고 판단하는 피방문자 음성판단부를 더 포함하는 것을 특징으로 하는 인공지능 스피커.
제18항 또는 제19항 있어서,
상기 판단 결과 위기상황이라면, 복수의 대화 음성을 배경으로 삽입하고 상기 피방문자를 부르는 제3자의 음성을 생성하여 스피커를 통해서 출력하는 위기상황 대응부를 더 포함하는 것을 특징으로 하는 인공지능 스피커.