KR102135079B1

KR102135079B1 - System for dealing with crisis in real time using intelligence speakers

Info

Publication number: KR102135079B1
Application number: KR1020180137115A
Authority: KR
Inventors: 강장묵; 이상원
Original assignee: 글로벌사이버대학교 산학협력단
Priority date: 2018-11-09
Filing date: 2018-11-09
Publication date: 2020-08-26
Also published as: KR20200053794A

Abstract

본 발명의 인공지능 스피커를 이용하는 위기상황 대응방법이 개시된다. 본 발명의 인공지능 스피커를 이용하는 비명 소리 탐지를 통한 위기 상황 대응 방법은 마이크로폰을 통해서 소리 신호를 수신하는 단계와, 상기 소리 신호로부터 사람의 음성을 분리하고, 상기 음성에서 주파수 성분을 추출하는 단계와, 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는지 여부에 따라서 위기 상황을 판단하는 단계와, 상기 판단 결과 위기상황이라면, 미리 정해진 방법으로 상기 위기상황에 대응하는 단계를 포함하여 구성된다.Disclosed is a crisis situation response method using the artificial intelligence speaker of the present invention. The method for responding to a crisis situation by detecting screaming sound using an artificial intelligence speaker of the present invention includes receiving a sound signal through a microphone, separating a human voice from the sound signal, and extracting a frequency component from the voice. And determining a crisis situation according to whether or not the frequency of the voice falls within a predetermined scream frequency range, and if it is a crisis situation as a result of the determination, responding to the crisis situation by a predetermined method.

Description

Real-time crisis response system using artificial intelligence speakers {SYSTEM FOR DEALING WITH CRISIS IN REAL TIME USING INTELLIGENCE SPEAKERS}

본 발명은 인공지능 스피커를 이용하는 위기 상황 대응 시스템에 관한 것으로, 좀 더 상세하게는 인공지능 스피커를 이용하여 댁내 침입자로 인한 위기 상황을 실시간으로 인식하고 즉각적으로 종료시킬 수 있는 위기 상황 대응 시스템에 관한 것이다.The present invention relates to a crisis situation response system using an artificial intelligence speaker, and more particularly, to a crisis situation response system capable of recognizing a crisis situation caused by an intruder in a home in real time and immediately terminating it using an artificial intelligence speaker. will be.

최근 가정이나 사무실과 같은 작은 공간 내에서 강력 범죄가 늘어나면서 가정 내 보안에 관심이 높아지면서 홈 시큐리티와 관련된 제품의 시장 출시가 활발하게 진행되고 있다.Recently, as violent crime increases in small spaces such as homes and offices, interest in home security has increased, and products related to home security are being launched in the market.

SKT의 '지키미'는 문열림 센서와 SOS 버튼으로 구성되었으며 위급한 상황에서 SOS 버튼을 누르면 경보 사이렌이 울리면서 미리 지정해둔 보호자 5명에게 문자메시지가 전송되며, 보안업체에도 접수된다. KT의 ‘기가 IoT 홈캠2’는 24시간 내내 스마트폰으로 모니터링이 가능하며, CCTV 영상은 클라우드 서버에 저장이 가능하며, 홈 CCTV 역할과 함께 KT 텔레캅 서비스와 연계가 가능해 위급 상황이 발생하였을 경우, 출동 서비스가 제공된다.SKT's'Zikimi' consists of a door open sensor and an SOS button, and when the SOS button is pressed in an emergency, an alarm siren sounds and a text message is sent to five designated guardians, and is also received by a security company. KT's'Giga IoT Home Cam 2'can be monitored 24 hours a day with a smartphone, and CCTV images can be stored on a cloud server, and in case of an emergency, it can be linked with the KT telecop service along with the role of home CCTV. A dispatch service is provided.

그러나 이와 같은 서비스는 모바일 단말을 이용한 기기 제어 및 모니터링 위주의 서비스이기 때문에, 실질적으로 물리적인 위기상황이 닥쳤을 때는 위험상황을 자동으로 인식하지 못하고, 경보장치가 울리는 경우에 한해서 경비업체가 직접 출동하게 된다. 그러나 경비업체나 경찰의 출동은 시간을 다투는 긴급상황이 발생하는 경우에 적절하게 대응하기 어렵고, 위험 상황 자체를 실시간으로 인식하기도 어려운 문제가 있다. However, since such a service is based on device control and monitoring using a mobile terminal, it is not possible to automatically recognize the danger situation when a physical crisis occurs, and only when an alarm device sounds, a security company can be dispatched directly. do. However, the dispatch of security companies or police is difficult to respond appropriately in case of a time-critical emergency situation, and it is difficult to recognize the dangerous situation itself in real time.

특히, 원룸이나 1인 가구의 증가로 여성이나 독거노인과 같은 보안 취약 계층이 늘어나면서, 위험 상황을 실시간으로 인식하고 즉각적으로 대응할 수 있는 보안 시스템이 필요하다. 이를 위해서 드론을 이용한 위기 대응 방법이 제안되기도 하지만, 드론은 공간이 한정된 홈 시큐리티에는 적합하지 않은 문제가 있다. In particular, as the number of vulnerable groups such as women and senior citizens living alone increases due to the increase of one-room or single-person households, there is a need for a security system capable of recognizing dangerous situations in real time and responding immediately. To this end, a crisis response method using drones has been proposed, but there is a problem that drones are not suitable for home security with limited space.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 위기 상황 발생시 즉각적으로 대응할 수 있는 위기 상황 대응 방법을 제공하는 데 있다.An object of the present invention for solving the above problems is to provide a crisis situation response method capable of promptly responding when a crisis situation occurs.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 위기 상황 발생시 즉각적으로 대응할 수 있는 인공지능 스피커를 제공하는 데 있다.Another object of the present invention for solving the above problems is to provide an artificial intelligence speaker capable of immediately responding to a crisis situation.

상기 목적을 달성하기 위한 본 발명의 일 실시예는 인공지능 스피커를 이용하는 비명 소리 탐지를 통한 위기 상황 대응 방법에 있어서, 마이크로폰을 통해서 소리 신호를 수신하는 단계와, 상기 소리 신호로부터 사람의 음성을 분리하고, 상기 음성에서 주파수 성분을 추출하는 단계와, 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는지 여부에 따라서 위기 상황을 판단하는 단계와, 상기 판단 결과 위기상황이라면, 미리 정해진 방법으로 상기 위기상황에 대응하는 단계를 포함하는 위기 상황 대응 방법을 제공한다.One embodiment of the present invention for achieving the above object is a method for responding to a crisis situation by detecting a scream sound using an artificial intelligence speaker, receiving a sound signal through a microphone, and separating a human voice from the sound signal. And extracting a frequency component from the voice, determining a crisis situation according to whether the frequency of the voice falls within a predetermined scream frequency range, and if the determination result is a crisis situation, the It provides a crisis situation response method including the step of responding to the crisis situation.

여기서, 상기 위기 상황을 판단하는 단계는 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 비명소리 인지 여부를 판단하는 단계와, 상기 판단 결과 비명소리라면, 적어도 하나의 카메라를 이용하여 음성의 발생 방향을 영상 촬영하는 단계와, 상기 촬영한 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하여 상기 제3의 물체가 무기라고 판단하면 위기 상황으로 판단하는 무기류 식별 단계를 포함하는 것을 특징으로 한다. Here, the determining of the crisis situation includes determining whether or not the frequency of the voice is a scream sound within a predetermined scream frequency range, and if the determination result is a scream sound, the voice is generated using at least one camera. Taking an image of a direction, and when a movement of a person is captured in the captured image, a third object that does not constitute a human body is identified in the image, and if the third object is determined to be a weapon, a crisis situation is established. It characterized in that it comprises a step of identifying weapons to determine.

또한, 여기서 상기 무기류 식별 단계는 상기 영상에서 사람의 손 영역을 포함하는 소정의 제1 영역을 분리하는 단계와, 상기 제1 영역 내에서 사람의 손을 제외한 제2 영역을 도출하는 단계와, 상기 제2 영역에서 상기 제3의 객체를 추출하고, 상기 제3의 객체를 무기류 학습 모델에 적용하여 무기류 해당 여부를 판단하는 단계를 포함하는 것을 특징으로 한다. In addition, the step of identifying weapons includes the steps of separating a first region including a human hand region from the image, deriving a second region excluding the human hand within the first region, and And extracting the third object from a second area, and determining whether the third object corresponds to a weaponry by applying the third object to a weaponry learning model.

또한, 여기서, 상기 위기상황을 판단하는 단계는 상기 음성 내에 사용자와의 약속에 의해서 미리 정해놓은 단어가 포함되어 있어도 상기 위기 상황으로 판단하는 것을 특징으로 한다.In addition, the step of determining the crisis situation is characterized in that it is determined as the crisis situation even if the voice includes a word predetermined by an appointment with the user.

또한, 여기서 상기 위기 상황에 대응하는 미리 정해진 방법은 미리 정해진 연락처로 상기 음성을 전달하거나, 원격 연결된 화재경보기를 작동시키거나, 화재 대응용 스프링쿨러를 작동시키거나, 스피커를 통해 상기 음성 신호의 발원지를 향해서 화포용 폭음을 발생시키거나, 또는 원격 연결된 연기 발생 장치를 작동시키는 방법 중 적어도 하나를 포함하는 것을 특징으로 한다. In addition, here, a predetermined method for responding to the crisis situation is to transmit the voice to a predetermined contact, activate a remotely connected fire alarm, operate a sprinkler for fire response, or the source of the voice signal through a speaker. It characterized in that it comprises at least one of a method of generating a firearm for a gun or operating a remotely connected smoke generating device.

상기 목적을 달성하기 위한 본 발명의 다른 실시예는 인공지능 스피커를 이용하는 침입 탐지를 통한 위기 상황 대응 방법에 있어서, 사용자의 조작에 의해 또는 미리 설정된 조건에 도달하면 침입 탐지 모드로 진입하는 단계와, 마이크로폰을 통해서 소리 신호를 수신하는 단계와, 상기 침입 탐지 모드에서, 상기 소리 신호가 미리 학습한 출입문이나 창문의 개폐소리에 대응하는 경우 카메라를 이용하여 상기 소리의 이동 방향을 따라서 촬영하는 단계를 포함하는 위기 상황 대응 방법을 제공한다.Another embodiment of the present invention for achieving the above object is a method for responding to a crisis situation through intrusion detection using an artificial intelligence speaker, the step of entering an intrusion detection mode by a user's manipulation or when a preset condition is reached, Receiving a sound signal through a microphone, and in the intrusion detection mode, when the sound signal corresponds to a previously learned sound of opening and closing doors or windows, photographing along the moving direction of the sound using a camera Provides a way to respond to a crisis situation.

여기서 상기 촬영 영상 내에 물체의 움직임이 포착되면, 상기 영상 내 물체를 미리 등록한 사용자의 영상과 비교하여 침입자 발생여부를 판단하거나 또는 상기 촬영 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하고 상기 제3의 물체가 무기류이면 침입자 발생이라고 판단하는 단계와, 상기 판단 결과 침입자 발생이면 미리 정해진 방법으로 침입 탐지 상황에 대응하는 단계를 더 포함하고, 상기 침입 탐지 상황에 대응하는 미리 정해진 방법은 원격조정하여 내부의 전체 조명을 소등하고 상기 침입자를 향해서 탐조등을 비추면서 화포용 폭음을 발생시키는 것을 특징으로 한다.Here, when movement of an object is captured in the captured image, the object in the image is compared with the image of a user who has previously registered to determine whether an intruder has occurred, or when a movement of a person is captured in the captured image, the human body is displayed in the image. Identifying a third object that is not constituted, and determining that an intruder has occurred if the third object is a weapon, and if the determination result is that an intruder has occurred, responding to an intrusion detection situation in a predetermined manner, wherein the intrusion A predetermined method for responding to the detection situation is characterized in that the entire interior lighting is turned off by remote control, and the searchlight is illuminated toward the intruder to generate a gunfire.

또한, 여기서 상기 침입 탐지 상황에 대응하는 미리 정해진 방법은 미리 정해진 연락처로 상기 영상을 전달하거나, 원격 연결된 화재경보기를 작동시키거나, 화재 대응용 스프링쿨러를 작동시키거나, 원격 연결된 연기발생 장치를 작동시키거나 또는 실내의 조명을 모두 소등하고 공격자를 향해서 탐조등을 비추는 방법 중 적어도 하나를 더 포함하는 것을 특징으로 한다.In addition, here, a predetermined method for responding to the intrusion detection situation is to transmit the video to a predetermined contact, activate a remotely connected fire alarm, activate a sprinkler for fire response, or operate a remotely connected smoke generating device. It characterized in that it further comprises at least one of a method of turning off or turning off all indoor lighting and illuminating a searchlight toward an attacker.

상기 목적을 달성하기 위한 본 발명의 또 다른 실시예는 인공지능 스피커를 이용하는 방문자 확인을 통한 위기 상황 대응 방법에 있어서, 마이크로폰을 통해서 현관 벨소리를 수신하는 단계와, 현관문이 열리는 소리를 탐지하면, 상기 현관문 주변의 영상을 촬영하는 단계와, 상기 영상 내에서 방문자와 피방문자를 식별하는 단계와, 상기 방문자의 손의 움직임을 추적하여, 상기 방문자의 손에 의해서 상기 피방문자의 움직임이 제한되는 상황이 소정의 임계시간 이상 지속되는 경우 위기 상황이라고 판단하는 방문자 영상 판단 단계를 포함하는 위기 상황 대응 방법을 제공한다.In another embodiment of the present invention for achieving the above object, in a crisis situation response method through visitor confirmation using an artificial intelligence speaker, receiving a doorbell ringtone through a microphone, and detecting the sound of the door opening, Taking an image around the front door, identifying the visitor and the visited within the image, tracking the movement of the visitor's hand, and restricting the movement of the visited by the visitor's hand Provides a crisis situation response method including the step of determining a visitor image that determines that the situation is a crisis situation when the situation continues for a predetermined threshold time or longer.

여기서 상기 피방문자의 음성을 분석하여 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 음성이라면 위기 상황이라고 판단하는 피방문자 음성판단 단계를 더 포함하는 것을 특징으로 한다.In this case, the voice determination step of the visitee, which analyzes the voice of the visitor and determines that the voice is in a crisis situation if the voice frequency falls within a predetermined scream frequency range is further included.

또한, 여기서 상기 판단 결과 위기상황이라면, 복수의 대화 음성을 배경으로 삽입하고 상기 피방문객을 부르는 제3자의 음성을 생성하여 스피커를 통해서 출력하는 위기상황에 대응하는 단계를 더 포함하는 것을 특징으로 한다.In addition, if it is a crisis situation as a result of the determination, the step of responding to the crisis situation by inserting a plurality of conversational voices as a background and generating a voice of a third party calling the visited visitor through a speaker. .

상기 다른 목적을 달성하기 위한 본 발명의 일 실시예는 비명 소리 탐지를 통한 위기 상황에 대응하는 인공지능 스피커에 있어서, 마이크로폰과, 스피커를 포함하는 하드웨어부와 상기 마이크로폰을 통해서 소리 신호를 수신하는 소리 신호 수신부와, 상기 소리 신호로부터 사람의 음성을 분리하고, 상기 음성의 주파수 성분을 추출하는 주파수 성분 추출부와, 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는지 여부에 따라서 위기 상황을 판단하는 위기 상황 판단부와, 상기 판단 결과 위기상황이라면, 미리 정해진 방법으로 상기 위기상황에 대응하기 위한 위기 상황 대응부를 포함하는 인공지능 스피커를 제공한다.An embodiment of the present invention for achieving the above other object is an artificial intelligence speaker corresponding to a crisis situation through scream detection, a microphone, a hardware unit including a speaker, and sound receiving a sound signal through the microphone. A crisis situation is determined according to a signal receiving unit, a frequency component extracting unit that separates a human voice from the sound signal and extracts a frequency component of the voice, and whether the frequency of the voice falls within a predetermined scream frequency range. It provides an artificial intelligence speaker including a crisis situation determination unit, and a crisis situation response unit for responding to the crisis situation by a predetermined method if it is a crisis situation as a result of the determination.

여기서 상기 위기 상황 판단부는 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 비명소리 인지 여부를 판단하는 비명소리 판단 모듈과, 상기 판단 결과 비명소리라면, 카메라를 이용하여 상기 음성의 발생 방향을 촬영하는 영상 촬영 모듈과, 상기 촬영한 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하여 상기 제3의 물체가 무기류라고 판단하면 위기 상황으로 판단하는 무기류 식별 모듈을 포함하는 것을 특징으로 한다.Herein, the crisis situation determination unit includes a scream determination module that determines whether the frequency of the voice is a scream sound within a predetermined scream frequency range, and if the determination result is a scream sound, the direction of the occurrence of the voice is photographed using a camera. An image capturing module that, when a movement of a person is captured in the captured image, identifies a third object that does not constitute a human body in the image, and determines that the third object is a weapon, and determines as a crisis situation. It characterized in that it comprises a weapon identification module.

또한, 여기서 상기 무기류 식별 모듈은 상기 영상에서 사람의 손 영역을 포함하는 소정의 제1 영역을 분리하고, 상기 제1 영역 내에서 사람의 손을 제외한 제2 영역을 도출하고, 상기 제2 영역에서 제3의 객체를 추출하고, 상기 제3의 객체를 무기류 학습 모델에 적용하여 무기류 해당여부를 판단하는 것을 특징으로 한다.In addition, here, the weapon identification module separates a predetermined first region including the human hand region from the image, derives a second region excluding the human hand from the first region, and A third object is extracted and the third object is applied to a weaponry learning model to determine whether or not a weaponry is applicable.

또한, 여기서, 상기 위기상황 판단부는 상기 음성 내에 사용자와의 약속에 의해서 미리 정해놓은 단어가 포함되어 있어도 상기 위기 상황으로 판단하는 것을 특징으로 한다.In addition, here, the crisis situation determination unit is characterized in that it determines the crisis situation even if the voice includes a word predetermined by an appointment with the user.

또한, 여기서 상기 위기 상황에 대응하는 미리 정해진 방법은, 미리 정해진 연락처로 상기 음성 또는 영상을 전달하거나, 원격 연결된 화재경보기를 작동시키거나, 화재 대응용 스프링쿨러를 작동시키거나, 상기 스피커를 통해 상기 음성 신호의 발원지를 향해서 화포용 폭음을 발생시키거나, 또는 원격 연결된 연기 발생 장치를 작동시키는 방법 중 적어도 하나를 포함하는 것을 특징으로 한다.In addition, here, a predetermined method for responding to the crisis situation may include transmitting the voice or video to a predetermined contact, operating a remotely connected fire alarm, operating a sprinkler for fire response, or using the speaker. It characterized in that it comprises at least one of a method of generating a gunfire blast towards the source of the voice signal, or operating a remotely connected smoke generating device.

상기 다른 목적을 달성하기 위한 본 발명의 다른 실시예는 침입 탐지를 통한 위기 상황에 대응하는 인공지능 스피커에 있어서, 마이크로폰과, 스피커를 포함하는 하드웨어부와, 사용자의 조작에 의해 또는 미리 설정된 조건에 도달하면 침입 탐지 모드로 진입하는 침입 탐지 모드 진입부와, 상기 마이크폰을 통해서 소리 신호를 수신하는 소리 신호 수신부와, 상기 침입 탐지 모드에서, 상기 소리 신호가 미리 학습한 출입문이나 창문의 개폐소리에 대응하는 경우 카메라를 이용하여 상기 소리의 이동 방향을 따라서 촬영하는 영상 촬영부를 포함하는 인공지능 스피커를 제공한다.Another embodiment of the present invention for achieving the above other object is an artificial intelligence speaker corresponding to a crisis situation through intrusion detection, a microphone, a hardware unit including a speaker, and a user's operation or according to a preset condition Upon arrival, an intrusion detection mode entry unit entering the intrusion detection mode, a sound signal receiving unit receiving a sound signal through the microphone, and in the intrusion detection mode, the sound signal is applied to the previously learned opening and closing sound of a door or window. If applicable, an artificial intelligence speaker including an image photographing unit for photographing along the moving direction of the sound using a camera is provided.

여기서 상기 촬영 영상 내에 물체의 움직임이 포착되면, 상기 영상 내 물체를 미리 등록한 사용자의 영상과 비교하여 침입자 발생 여부를 판단하거나 또는 상기 촬영 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하고 상기 제3의 물체가 무기류이면 침입자 발생이라고 침입자 발생 판단부와, 상기 판단 결과 침입자 발생이면, 미리 정해진 방법으로 침입 탐지 상황에 대응하는 침입 탐지 대응부를 더 포함하되, 상기 침입 탐지 상황에 대응하는 미리 정해진 방법은 원격조정하여 내부의 전체 조명을 소등하고 상기 침입자를 향해서 탐조등을 비추면서 화포용 폭음을 발생시키는 것을 특징으로 한다.Here, when movement of an object is captured in the captured image, it is determined whether an intruder has occurred by comparing the object in the image with an image of a user who has previously registered, or when a movement of a person is captured in the captured image, the human body is displayed in the image. It further includes an intruder generation determination unit that identifies a third object that does not constitute an intruder and, if the third object is a weapon, that an intruder occurs, and an intrusion detection response unit corresponding to the intrusion detection situation in a predetermined manner, However, a predetermined method corresponding to the intrusion detection situation is characterized in that the entire interior lighting is turned off by remote control, and the searchlight is illuminated toward the intruder to generate a fire explosion for a canvas.

상기 다른 목적을 달성하기 위한 본 발명의 또 다른 실시예는 방문자 확인을 통한 위기 상황에 대응하는 인공지능 스피커에 있어서, 마이크로폰과, 스피커를 포함하는 하드웨어부와, 상기 마이크로폰을 통해서 현관 벨소리를 수신하는 벨소리 수신부와, 현관문이 열리는 소리를 탐지하면, 상기 현관문 주변의 영상을 촬영하는 영상 촬영부와, 상기 영상 내에서 방문자와 피방문자를 식별하는 방문자 식별부와,상기 방문자의 손의 움직임을 추적하여, 상기 방문자의 손에 의해서 상기 피방문자의 움직임이 제한되는 상황이 소정의 임계시간 이상 지속되는 경우 위기 상황이라고 판단하는 방문자 영상 판단부를 포함하는 인공지능 스피커를 제공한다.Another embodiment of the present invention for achieving the above other object is an artificial intelligence speaker corresponding to a crisis situation through visitor confirmation, a microphone, a hardware unit including a speaker, and receiving a door ringtone through the microphone A ringtone receiving unit, an image capturing unit for capturing an image around the front door when a sound of the front door opening is detected, a visitor identification unit for identifying a visitor and a visited person within the image, and the movement of the visitor's hand Provided is an artificial intelligence speaker including a visitor image determination unit that tracks and determines that a situation in which the movement of the visited person is restricted by the visitor's hand continues for a predetermined threshold time or longer, and determines that it is a crisis situation.

여기서 상기 피방문자의 음성을 분석하여 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 음성이라면 위기 상황이라고 판단하는 피방문자 음성판단부를 더 포함하는 것을 특징으로 한다.Here, it characterized in that it further comprises a visitee voice determination unit that analyzes the voice of the visitor and determines that it is a crisis situation if the frequency of the voice falls within a predetermined scream frequency range.

또한, 여기서 상기 판단 결과 위기상황이라면, 복수의 대화 음성을 배경으로 삽입하고 상기 피방문객을 부르는 제3자의 음성을 생성하여 스피커를 통해서 출력하는 위기상황 대응부를 더 포함하는 것을 특징으로 한다.In addition, if it is a crisis situation as a result of the determination, further comprising a crisis response unit for inserting a plurality of conversational voices into a background and generating voices of a third party calling the visited visitor through a speaker.

상기와 같은 본 발명의 인공지능 스피커를 이용하는 위기 상황 대응 시스템을 이용하면, 인공지능 스피커가 사람의 비명소리와 무기소지와 같은 폭력 상황을 실시간으로 인식하고, 출입문이나 창문을 통한 무단 침입을 탐지하고, 택배나 지인을 가장한 방문객으로부터의 위협사태를 인식하여, 즉각적으로 위험 상황에 대응할 수 있다. 따라서 독거노인이나 혼자 사는 여성이 많은 원룸이나 어린이가 혼자 집을 지키는 취약한 환경에서 위협 상황에 즉각적으로 대응할 수 있다. When using the crisis situation response system using the artificial intelligence speaker of the present invention as described above, the artificial intelligence speaker recognizes in real time a violent situation such as a person's scream and possession of weapons, and detects unauthorized intrusion through an entrance door or window. , By recognizing threats from visitors pretending to be couriers or acquaintances, they can immediately respond to dangerous situations. Therefore, it is possible to immediately respond to threat situations in a studio with many elderly people living alone or women living alone, or in a vulnerable environment where children stay alone.

또한, 위험 상황을 인식하면 화재경보를 울리거나, 스프링쿨러를 작동하거나, 내부의 전체 조명을 소등하고 침입자를 향해서 탐조등을 비추면서 화포용 폭음을 발생시키거나 하는 등의 집안 내부에 이미 설치되어 있는 장비를 적절히 활용함으로써 위기 돌발 상황에 즉각적으로 대응하여 상황을 종료하거나 피해를 최소화할 수 있는 장점이 있다.Also, when a dangerous situation is recognized, it is already installed inside the house, such as sounding a fire alarm, operating a sprinkler, turning off the entire internal lighting, illuminating a searchlight at an intruder, and generating a fire explosion for artillery. By appropriately using the equipment, there is an advantage of being able to immediately respond to an emergency situation and terminate the situation or minimize damage.

도 1은 본 발명의 실시예에 의한 인공지능 스피커를 이용하는 위기 상황 대응 시스템의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 구성을 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 위기 상황 판단부의 구성을 보여주는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법의 진행 과정을 보여주는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 위기 상황 대응 방법을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 사용자 음성의 주파수를 탐지하여 위기 상황에 대응하는 과정을 보여주는 순서도이다.
도 7은 본 발명의 일 실시예에 따른 영상 내의 무기류를 식별하는 과정을 여주는 순서도이다.
도 8은 본 발명의 일 실시예에 따른 인공지능 스피커를 이용하여 위기 상황에 대응하는 예를 보여주는 도면이다.
도 9는 본 발명의 다른 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 구성을 보여주는 블록도이다.
도 10은 본 발명의 다른 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법의 진행 과정을 보여주는 순서도이다.
도 11은 본 발명의 다른 실시예에 따른 인공지능 스피커를 이용하여 위기 상황에 대응하는 예를 보여주는 도면이다.
도 12는 본 발명의 또 다른 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 구성을 보여주는 블록도이다.
도 13은 본 발명의 또 다른 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법의 진행 과정을 보여주는 순서도이다.
도 14는 본 발명의 또 다른 실시예에 따른 인공지능 스피커를 이용하여 위기 상황에 대응하는 예를 보여주는 도면이다.1 is a conceptual diagram of a crisis situation response system using an artificial intelligence speaker according to an embodiment of the present invention.
2 is a block diagram showing the configuration of an artificial intelligence speaker for responding to a crisis situation according to an embodiment of the present invention.
3 is a block diagram showing the configuration of a crisis situation determination unit of an artificial intelligence speaker for responding to a crisis situation according to an embodiment of the present invention.
4 is a flowchart showing a process of a method for responding to a crisis situation using an artificial intelligence speaker according to an embodiment of the present invention.
5 is a diagram showing a method for responding to a crisis situation according to an embodiment of the present invention.
6 is a flowchart illustrating a process of responding to a crisis situation by detecting a frequency of a user's voice according to an embodiment of the present invention.
7 is a flow chart showing the process of identifying weapons in an image according to an embodiment of the present invention.
8 is a diagram illustrating an example of responding to a crisis situation using an artificial intelligence speaker according to an embodiment of the present invention.
9 is a block diagram showing the configuration of an artificial intelligence speaker for responding to a crisis situation according to another embodiment of the present invention.
10 is a flow chart showing a process of a crisis situation response method using an artificial intelligence speaker according to another embodiment of the present invention.
11 is a diagram illustrating an example of responding to a crisis situation using an artificial intelligence speaker according to another embodiment of the present invention.
12 is a block diagram showing the configuration of an artificial intelligence speaker for responding to a crisis situation according to another embodiment of the present invention.
13 is a flow chart showing a process of a crisis situation response method using an artificial intelligence speaker according to another embodiment of the present invention.
14 is a diagram showing an example of responding to a crisis situation using an artificial intelligence speaker according to another embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it is to be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals have been used for similar elements.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. These terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element. The term and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. Should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상의 의미와 일치하는 의미로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be construed as a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present application.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 의한 인공지능 스피커를 이용하는 위기 상황 대응 시스템의 개념도이다.1 is a conceptual diagram of a crisis situation response system using an artificial intelligence speaker according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 의한 인공지능 스피커를 이용하는 위기 상황 대응 시스템은 인공지능 스피커(100)가 다양한 위기상황(10, 20, 30)을 탐지하여 대응하도록 구성될 수 있다. Referring to FIG. 1, in a crisis situation response system using an artificial intelligence speaker according to an embodiment of the present invention, the artificial intelligence speaker 100 may be configured to detect and respond to various crisis situations 10, 20, and 30.

예를 들면, 인공지능 스피커(100)가 사람의 비명소리가 발생하는 상황(10)에서, 사람의 음성에서 주파수 성분을 분리하여 소정의 비명소리 주파수 범위(예를 들면, 2000~5000hz)에 속한다고 판단할 수 있으며, 또한 비명소리리 주파수를 인지한 이후에, 비명 소리가 발생한 장소의 영상을 촬영하고 분석하여 무기소지가 검출되면 위기상황이라고 판단하고, 화재경보를 울리거나, 스프링쿨러를 작동하는 등의 위기대응 시스템이 작동할 수 있다. 즉, 인공지능 스피커(100)는 즉각적으로 대응해야 하는 위기 돌발 상황에서 자체적으로 상황 종료나 피해를 최소화하기 위한 선제적 대응조치를 취할 수 있다. For example, in a situation in which the artificial intelligence speaker 100 generates a human scream (10), the frequency component is separated from the human voice and falls within a predetermined scream frequency range (for example, 2000 to 5000 Hz). In addition, after recognizing the screaming frequency, the video of the place where the screaming sound occurred is captured and analyzed to determine that it is a crisis situation, and if the possession of weapons is detected, a fire alarm sounds or a sprinkler is operated. Crisis response systems, such as the ones, can operate. That is, the artificial intelligence speaker 100 may take preemptive countermeasures to minimize damage or end the situation by itself in a crisis emergency situation that must immediately respond.

다른 실시예에서, 인공지능 스피커(100)는 침입 탐지 모드가 작동 중인 경우에 문소리나 창문소리 등을 인식하여 무단침입 상황(20)을 인지하고, 이에 맞는 위기 대응을 할 수 있다. 즉, 인공지능 스피커(100)는 야간이나 빈집에 누군가가 무단 침입하거나, 노약자가 기거하는 집에 무단으로 침입하는 괴한에 즉각적으로 대응할 수 있다.In another embodiment, when the intrusion detection mode is in operation, the artificial intelligence speaker 100 recognizes the sound of a door or a window, recognizes the trespassing situation 20, and responds to a crisis corresponding thereto. In other words, the artificial intelligence speaker 100 can immediately respond to a criminal who trespasses into an empty house at night or into an empty house, or an elderly person trespasses into a house where the elderly live.

또 다른 실시예는, 인공지능 스피커(100)는 벨을 울린 정상적인 방문자로부터 공격상황(30)을 인식하여, 이에 맞는 위기 대응을 할 수 있다. 예를 들면, 인공지능 스피커(100)는 혼자 사는 여성이 많은 원룸이나 어린이가 혼자 집을 지키는 취약한 환경에서. 택배를 가장한 치한이나 면식범의 공격상황에 즉각적으로 대응할 수 있다. In another embodiment, the artificial intelligence speaker 100 may recognize the attack situation 30 from a normal visitor who rang a bell, and respond to a crisis according to this. For example, the artificial intelligence speaker 100 is used in a studio where there are many women living alone or in a vulnerable environment where children stay alone. It is possible to immediately respond to the attack by a molester disguised as a courier or an evasive criminal.

이하, 본 발명의 일 실시예에 따른 비명 소리 탐지를 통한 위기상황에 대응하는 인공지능 스피커에 대하여 설명한다.Hereinafter, an artificial intelligence speaker corresponding to a crisis situation through scream detection according to an embodiment of the present invention will be described.

도 2는 본 발명의 일 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 구성을 보여주는 블록도이다.2 is a block diagram showing the configuration of an artificial intelligence speaker for responding to a crisis situation according to an embodiment of the present invention.

도 2를 참조하면, 일 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커(100)는 하드웨어부(110), 소리 신호 수신부(210), 주파수 성분 추출부(220), 위기 상황 판단부(230), 위기 상황 대응부(240), 비명 검출 모델(250) 및 무기류 학습 모델(260)을 포함할 수 있다. Referring to FIG. 2, the artificial intelligence speaker 100 for responding to a crisis situation according to an embodiment includes a hardware unit 110, a sound signal receiving unit 210, a frequency component extracting unit 220, and a crisis situation determining unit 230. ), a crisis situation response unit 240, a scream detection model 250, and a weaponry learning model 260.

또한, 도 2를 참조하면 발명의 일 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 각 구성요소는 다음과 같이 설명될 수 있다.In addition, referring to FIG. 2, each component of an artificial intelligence speaker for responding to a crisis situation according to an embodiment of the present invention may be described as follows.

하드웨어부(110)는 소리 신호를 수신하기 위한 마이크로폰(111), 소리 출력을 위한 스피커(112)가 구비될 수 있고, 선택적으로 영상촬영을 위한 카메라(113)가 구비될 수 있다. 이들은 모두 하나의 장치에 직접 연결되어 작동할 수 있고, 유무선으로 원격연결 되어 인공지능 스피커(100)에 의해 원격 제어되도록 구성될 수 있다.The hardware unit 110 may be provided with a microphone 111 for receiving a sound signal, a speaker 112 for outputting sound, and may optionally be provided with a camera 113 for photographing an image. All of them may be directly connected to one device and operated, and may be configured to be remotely connected via wired or wireless and remotely controlled by the artificial intelligence speaker 100.

먼저, 소리 신호 수신부(210)가 마이크로폰(111)을 통해서 소리 신호를 수신하면, 주파수 성분 추출부(220)는 수신한 소리 신호로부터 사람의 음성을 분리하고, 음성에서 주파수 성분을 추출할 수 있다.First, when the sound signal receiver 210 receives a sound signal through the microphone 111, the frequency component extraction unit 220 may separate a human voice from the received sound signal and extract a frequency component from the voice. .

위기 상황 판단부(230)는 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는지 여부를 판단하여 위기 상황임을 인식할 수 있다. 또는, 상기 음성 내에 사용자와의 약속에 의해서 미리 정해놓은 단어가 포함되어 있어도 위기 상황으로 판단할 수 있다.The crisis situation determination unit 230 may determine whether the frequency of the voice falls within a predetermined scream frequency range, and recognize that the situation is in crisis. Alternatively, even if the voice includes a word predetermined by an appointment with the user, it may be determined as a crisis situation.

즉, 사람들이 위급한 상황에 처하게 되면 무의식 중에 비명을 지르게 되는데, 비명소리는 크기나 인터벌 측면에서 일반적인 대화 음성과는 다른 주파수 특성을 가진다. 비명소리는 남성, 여성, 어린아이가 다르게 나타날 수 있는데, 보통 2000~5000hz부근의 대역에서 특징적인 에너지가 나타날 수 있다. 따라서, 본 발명은 비명검출모델(250)을 이용하여 수신한 사람의 음성이 비명소리인지 판단할 수 있다. 다만, 이러한 주파수 대역은 사이렌소리나 벽을 긁는 소리와 유사하기 때문에 사람의 비명소리를 학습한 모델을 적용하여 다양한 요인을 적용할 수 있다. 비명검출모델(250)은 다양한 환경에서 다양한 음성 특성이 있는 사람들의 비명소리를 학습한 모델일 수 있다. 비명소리를 탐지하는 방법은 알려진 기술이므로 상세한 설명을 생략한다.In other words, when people are in an emergency situation, they scream unconsciously. The screaming sound has a frequency characteristic different from that of general conversational voices in terms of size and interval. The screaming sound may appear differently in men, women, and children, and characteristic energy may appear in the band around 2000~5000hz. Accordingly, the present invention can determine whether the received person's voice is screaming using the scream detection model 250. However, since this frequency band is similar to the sound of a siren or scratching a wall, various factors can be applied by applying a model that has learned a person's screaming sound. The scream detection model 250 may be a model in which screams of people having various voice characteristics are learned in various environments. Since the method of detecting the scream is a known technique, a detailed description is omitted.

또는, 위기 상황 판단부(230)는 상기 음성 내에 사용자와의 약속에 의해서 미리 정해놓은 단어나 음절이 포함되어 있어도 위기 상황으로 판단할 수 있다. 즉, 사용자는 위기 상황이 발생했을 때, 인공지능 스피커가 위기 상황임을 빠르게 인식할 수 있도록 평소에 잘 안 쓰는 단어 등을 구조 요청용 소리로 인공지능 스피커에 입력할 수 있다. 예를 들면, "열려라 참깨", "날보러와요", 또는 "아무개아무개아무개"와 같은 본인이나 지인 이름의 반복, "도도도도도도도"와 같은 특정 단어나 음절을 수회 반복하여 인공지능 스피커에 녹음해 놓고 구조 요청용 암호로 설정할 수 있다.Alternatively, the crisis situation determination unit 230 may determine the crisis situation even if the voice includes a word or syllable that is predetermined by an appointment with the user. That is, when a crisis situation occurs, the user may input words that are not commonly used as a rescue request sound into the artificial intelligence speaker so that the artificial intelligence speaker can quickly recognize that the crisis situation occurs. For example, "Open sesame seeds", "Come to see me", or "Anything, Anything", and a certain word or syllable such as "Dodo Dodo Dodo" are repeated several times to the artificial intelligence speaker. You can record it and set it as a password for rescue requests.

위기 상황 대응부(240)는 상기 판단 결과 위기상황이라면, 미리 정해진 방법으로 상기 위기상황에 대응할 수 있다. 예를 들면, 위기 상황 대응부(240)는 미리 정해진 연락처로 음성이나 영상을 전달할 수 있다. 그러나 이러한 방법은 목숨이 위급한 상황에서 즉각적인 해결이 되기는 어렵고, 단지 현장 증거를 보존하는 효과는 있을 것이다.If it is a crisis situation as a result of the determination, the crisis situation response unit 240 may respond to the crisis situation in a predetermined manner. For example, the crisis response unit 240 may transmit an audio or video to a predetermined contact. However, this method is difficult to solve immediately in a situation where life is critical, and it will only have the effect of preserving field evidence.

따라서, 위기 상황 대응부(240)는 원격 연결된 화재경보기를 작동시키거나, 화재 대응용 스프링쿨러를 작동시켜서 범인의 무기를 무력화시키거나, 범인의 주의를 돌려서 피해자가 방어할 기회를 가질 수도 있고, 범인이 화재가 발생한 것으로 오해해서 도망가게 하거나 진정시키는 효과를 볼 수 있다.Therefore, the crisis response unit 240 may operate a remotely connected fire alarm, or operate a sprinkler for fire response to incapacitate the weapon of the criminal, or have a chance to defend the victim by turning the attention of the criminal, The killer misunderstands that a fire has occurred, and it can have the effect of letting them run away or calming them down.

또는, 위기 상황 대응부(240)는 스피커(112)를 통해 음성 신호의 발원지를 향해서 화포용 폭음을 발생시키고, 원격 연결된 연기 발생 장치를 작동시킬 수 있다. 이와 같은 방법은 범인이 경찰이나 제3자의 공격을 받는 것으로 오해해서 도망치게 하는 효과가 있을 수 있다.Alternatively, the crisis response unit 240 may generate a bombardment sound toward the source of the voice signal through the speaker 112 and operate a remotely connected smoke generating device. Such a method may have the effect of causing the criminal to flee because it is mistaken for being attacked by the police or a third party.

도 3은 본 발명의 일 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 위기 상황 판단부의 구성을 보여주는 블록도이다.3 is a block diagram showing the configuration of a crisis situation determination unit of an artificial intelligence speaker for responding to a crisis situation according to an embodiment of the present invention.

도 3을 참조하면, 위기 상황 판단부(240)는 비명소리 판단모듈(241), 영상 촬영 모듈(242), 무기류 식별 모듈(243)을 포함하여 구성될 수 있다. Referring to FIG. 3, the crisis situation determination unit 240 may include a scream determination module 241, an image capture module 242, and a weaponry identification module 243.

비명소리 판단모듈(241)은 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 비명소리 인지 여부를 판단할 수 있다. 즉, 음성 주파수를 비명 검출 모델(150)에 적용하여 비명소리를 검출할 수 있다. The screaming sound determination module 241 may determine whether the frequency of the voice is a screaming sound within a predetermined screaming sound frequency range. That is, the voice frequency may be applied to the scream detection model 150 to detect the scream sound.

비명소리가 발생할 수 있는 상황은 다양할 수 있다. 외부인의 침입이나 사람의 협박에 의한 위협상황이 발생하거나, 깜짝 놀라서 무의식 중에 비명이 발생할 수도 있으므로, 좀 더 상세한 상황 판단을 위해서 추가적인 판단이 필요할 수 있다. There are a variety of situations in which screams can occur. A threat situation may occur due to intrusion of an outsider or intimidation of a person, or screaming may occur unconsciously due to surprise, so additional judgment may be required to determine the situation in more detail.

영상 촬영 모듈(242)은 비명소리라고 판단하면, 카메라(113)를 이용하여 상기 음성의 발생 방향을 촬영할 수 있다. 복수의 카메라(113)가 분산 배치되어 있다면, 비명이 발생한 곳에서 가장 가까운 카메라를 이용하거나, 카메라의 방향 이동을 통해서 영상을 촬영할 수 있다.If the image capturing module 242 determines that the sound is screaming, the camera 113 may use the camera 113 to capture the direction of the voice. If the plurality of cameras 113 are distributedly arranged, an image may be photographed by using a camera closest to the screaming place or by moving the camera in the direction.

무기류 식별 모듈(243)은 촬영 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하여 상기 제3의 물체가 무기류라고 판단하면 위기 상황으로 판단할 수 있다. 이때, 무기류 식별 모듈(243)은 제3의 물체를 무기류 학습모델(260)에 적용하여 무기류 인지 여부를 판단할 수 있다. 무기류 학습모델(260)은 총, 칼, 인명을 해칠 수 있는 각종 도구 등의 사진을 다양한 형태로 학습한 모델일 수 있다. When a movement of a person is captured in the photographed image, the weapon identification module 243 may identify a third object that does not constitute a human body in the image and determine that the third object is a weaponry, thereby determining a crisis situation. have. In this case, the weaponry identification module 243 may determine whether or not it is a weaponry by applying the third object to the weaponry learning model 260. The weaponry learning model 260 may be a model obtained by learning pictures of guns, swords, and various tools that can harm people in various forms.

즉, 무기류 식별 모듈(243)은 영상에서 사람의 손 영역을 포함하는 소정의 제1 영역을 분리하고, 제1 영역 내에서 사람의 손을 제외한 제2 영역을 도출하고, 제2 영역에서 제3의 객체를 추출하고, 제3의 객체를 무기류 학습 모델(243)에 적용하여 무기류 해당 여부를 판단할 수 있다.That is, the weapon identification module 243 separates a first region including the human hand region from the image, derives a second region excluding the human hand within the first region, and extracts a third region from the second region. The object of is extracted and the third object is applied to the weaponry learning model 243 to determine whether it is a weaponry.

한편, 영상 내에 무기가 탐지되지 않아도, 폭력이나 결박 등의 형상을 학습한 폭력행위 학습 모델을 이용하여 위협상황을 판단할 수도 있을 것이다. On the other hand, even if a weapon is not detected in the image, a threat situation may be determined using a violent behavior learning model that has learned the shape of violence or binding.

이하, 본 발명의 일 실시예에 따른 비명 소리 탐지를 통한 위기상황에 대응하는 방법에 대하여 설명한다.Hereinafter, a method of responding to a crisis situation through scream detection according to an embodiment of the present invention will be described.

도 4는 본 발명의 일 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법의 진행 과정을 보여주는 순서도이다.4 is a flowchart showing a process of a method for responding to a crisis situation using an artificial intelligence speaker according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법은 소리 신호 수신단계(S210), 주파수 성분 추출단계(S220), 위기 상황 판단 단계S230) 및 위기 상황 대응단계(S240)를 포함할 수 있다. Referring to FIG. 4, a method for responding to a crisis situation using an artificial intelligence speaker according to an embodiment of the present invention includes a sound signal reception step (S210), a frequency component extraction step (S220), a crisis situation determination step S230, and a crisis situation response. It may include step S240.

또한, 도 4를 참조하면 본 발명의 일 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법의 각 단계는 다음과 같이 설명될 수 있다.In addition, referring to FIG. 4, each step of a method for responding to a crisis situation using an artificial intelligence speaker according to an embodiment of the present invention may be described as follows.

먼저, 인공지능 스피커는 마이크로폰을 통해서 소리 신호를 수신하면(S210), 수신한 소리 신호로부터 사람의 음성을 분리하고, 음성에서 주파수 성분을 추출할 수 있다(S220). First, when the artificial intelligence speaker receives a sound signal through a microphone (S210), it may separate a human voice from the received sound signal and extract a frequency component from the voice (S220).

다음으로, 인공지능 스피커는 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는지 여부에 따라서 위기 상황을 판단할 수 있다(S230). Next, the artificial intelligence speaker may determine the crisis situation according to whether the frequency of the voice falls within a predetermined scream frequency range (S230).

즉, 사람들이 위급한 상황에 처하게 되면 무의식 중에 비명을 지르게 되는데, 비명소리는 크기나 인터벌 측면에서 일반적인 대화 음성과는 다른 주파수 특성을 가진다. 보통 비명소리는 남성, 여성, 어린아이가 다르게 나타날 수 있는데, 보통 2000~5000hz부근의 대역에서 특징적인 에너지가 나타날 수 있다. 따라서, 본 발명은 비명검출모델을 이용하여 수신한 사람의 음성이 비명소리인지 판단할 수 있다. 다만, 이러한 주파수 대역은 사이렌소리나 벽을 긁는 소리와 유사하기 때문에 사람의 비명소리를 학습한 모델을 적용할 수 있다. 비명검출모델은 다양한 환경에서 다양한 음성 특성이 있는 사람들의 비명소리를 학습한 모델일 수 있다. 비명소리를 탐지하는 방법은 알려진 기술이므로 상세한 설명을 생략한다.In other words, when people are in an emergency situation, they scream unconsciously. The screaming sound has a frequency characteristic different from that of general conversational voices in terms of size and interval. Usually, the screaming sound can appear differently in men, women, and children, and characteristic energy may appear in the band around 2000~5000hz. Accordingly, the present invention can determine whether the received person's voice is screaming using the scream detection model. However, since this frequency band is similar to the sound of a siren or scratching a wall, a model that learns human screams can be applied. The scream detection model may be a model that learns the screams of people with various voice characteristics in various environments. Since the method of detecting the scream is a known technique, a detailed description is omitted.

또는, 인공지능 스피커는 상기 음성 내에 사용자와의 약속에 의해서 미리 정해놓은 단어나 음절이 포함되어 있어도 위기 상황으로 판단할 수 있다. 즉, 사용자는 위기 상황이 발생했을 때, 인공지능 스피커가 위기 상황임을 빠르게 인식할 수 있도록 평소에 잘 안 쓰는 단어 등을 구조 요청용 소리로 인공지능 스피커에 입력할 수 있다. 예를 들면, "열려라 참깨", "날보러와요", 또는 "아무개아무개아무개"와 같은 본인이나 지인 이름의 반복, "도도도도도도도"와 같은 특정 단어나 음절을 수회 반복하여 인공지능 스피커에 녹음해 놓고 구조 요청용 암호로 설정할 수 있다.Alternatively, the artificial intelligence speaker may determine that it is a crisis situation even if the voice includes a word or syllable that is predetermined by an appointment with the user. That is, when a crisis situation occurs, the user may input words that are not commonly used as a rescue request sound into the artificial intelligence speaker so that the artificial intelligence speaker can quickly recognize that the crisis situation occurs. For example, "Open sesame seeds", "Come to see me", or "Anything, Anything", and a certain word or syllable such as "Dodo Dodo Dodo" are repeated several times to the artificial intelligence speaker. You can record it and set it as a password for rescue requests.

다음으로, 인공지능 스피커는 상기 판단 결과 위기상황이라면, 미리 정해진 방법으로 상기 위기상황에 대응할 수 있다(S240).Next, if it is a crisis situation as a result of the determination, the artificial intelligence speaker may respond to the crisis situation by a predetermined method (S240).

예를 들면, 도 5를 참조하면, 인공지능 스피커는 미리 정해진 연락처로 상기 음성이나 영상을 전달할 수 있다(S241). 그러나 이러한 방법은 목숨이 위급한 상황에서 즉각적인 해결이 되기는 어렵고, 단지 현장 증거를 보존하는 효과는 있을 것이다. For example, referring to FIG. 5, the artificial intelligence speaker may transmit the voice or video to a predetermined contact (S241). However, this method is difficult to solve immediately in a situation where life is critical, and it will only have the effect of preserving field evidence.

따라서, 인공지능 스피커는 원격 연결된 화재경보기를 작동시키거나(S242), 화재 대응용 스프링쿨러를 작동시켜서(S243) 범인의 무기를 무력화하거나, 범인의 주의를 돌려서 피해자가 방어할 기회를 가질 수도 있고, 범인이 불이 난 것으로 오해해서 도망가게 하거나 진정시키는 효과를 볼 수 있다.Therefore, the artificial intelligence speaker activates a remotely connected fire alarm (S242), or activates a sprinkler for fire response (S243) to incapacitate the killer's weapon, or distracts the killer's attention and the victim may have a chance to defend it. , The perpetrator misunderstood that there was a fire, and it could have the effect of making him run away or calming down.

또는, 인공지능 스피커(112)는 음성 신호의 발원지를 향해서 화포용 폭음을 발생시키고(S244), 원격 연결된 연기 발생 장치를 작동시킬 수 있다(S245) 또는 실내의 조명을 모두 소등하고 공격자를 향해서 탐조등을 비출수도 있다(S246). 이와 같은 방법은 범인이 경찰이나 제3자의 공격을 받는 것으로 오해해서 도망치게 하는 효과가 있을 수 있다.Alternatively, the artificial intelligence speaker 112 may generate a bombardment sound toward the source of the voice signal (S244), and operate a remotely connected smoke generating device (S245), or turn off all indoor lights and search for an attacker. It is also possible to shine (S246). Such a method may have the effect of causing the criminal to flee because it is mistaken for being attacked by the police or a third party.

도 6은 본 발명의 일 실시예에 따른 사용자 음성의 주파수를 탐지하여 위기 상황에 대응하는 과정을 보여주는 순서도이다. 6 is a flowchart illustrating a process of responding to a crisis situation by detecting a frequency of a user's voice according to an embodiment of the present invention.

도 6을 참조하면, 사용자 음성의 주파수를 탐지하여 위기 상황에 대응하는 과정은 비명소리 판단 단계(S241), 영상 촬영 단계(S242), 무기류 식별 단계(S243)를 포함하여 구성될 수 있다. Referring to FIG. 6, a process of detecting a frequency of a user's voice and responding to a crisis situation may include a scream determination step (S241), an image capture step (S242), and a weaponry identification step (S243).

먼저, 인공지능 스피커는 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 비명소리 인지 여부를 판단할 수 있다(S231). 즉, 음성 주파수를 비명 검출 모델에 적용하여 비명소리를 검출할 수 있다. First, the artificial intelligence speaker may determine whether the frequency of the voice is a scream sound within a predetermined scream frequency range (S231). That is, it is possible to detect the screaming sound by applying the speech frequency to the scream detection model.

예를 들면, 인공지능 스피커는 비명소리라고 판단하면, 카메라를 이용하여 상기 음성의 발생 방향을 촬영할 수 있다(S232). 복수의 카메라가 분산 배치되어 있다면, 비명이 발생한 곳에서 가장 가까운 카메라를 이용하거나, 카메라의 방향 이동을 통해서 영상을 촬영할 수 있다.For example, if the artificial intelligence speaker determines that the sound is screaming, the direction of the voice may be photographed using a camera (S232). If a plurality of cameras are distributedly arranged, an image can be photographed by using the camera closest to the screaming place or by moving the camera in the direction.

다음으로, 인공지능 스피커는 촬영 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하여 상기 제3의 물체가 무기류라고 판단하면 위기 상황으로 판단할 수 있다(S233). 이때, 인공지능 스피커는 제3의 물체를 무기류 학습모델에 적용하여 무기류 인지 여부를 판단할 수 있다. 무기류 학습모델은 총, 칼, 인명을 해칠 수 있는 각종 도구 등의 사진을 다양한 형태로 학습한 모델일 수 있다. Next, when the motion of a person is captured in the photographed image, the artificial intelligence speaker identifies a third object that does not constitute a human body in the image, and determines that the third object is a weapon, it can be determined as a crisis situation. Yes (S233). In this case, the artificial intelligence speaker may determine whether it is a weapon by applying the third object to the weapon learning model. The weaponry learning model may be a model obtained by learning pictures of guns, swords, and various tools that can harm people in various forms.

또한, 도 7을 참조하면, 인공지능 스피커는 무기류 도출을 위해서 촬영한 영상에서 사람의 손 영역을 포함하는 소정의 제1 영역을 분리하고(S2331), 제1 영역 내에서 사람의 손을 제외한 제2 영역을 도출하고(S2332), 제2 영역에서 제3의 객체를 추출하고, 제3의 객체를 무기류 학습 모델에 적용하여 무기류 해당 여부를 판단할 수 있다(S2333).In addition, referring to FIG. 7, the artificial intelligence speaker separates a first region including a human hand region from an image captured for derivation of weapons (S2331), and removes the human hand within the first region. A second area may be derived (S2332), a third object may be extracted from the second area, and the third object may be applied to a weaponry learning model to determine whether or not a weapon is applicable (S2333).

도 8은 본 발명의 일 실시예에 따른 인공지능 스피커를 이용하여 위기 상황에 대응하는 예를 보여주는 도면이다.8 is a diagram illustrating an example of responding to a crisis situation using an artificial intelligence speaker according to an embodiment of the present invention.

도 8의 (a)를 참조하면, 인공지능 스피커(100)가 사람의 비명소리가 발생하는 상황(10)에서, 사람의 음성에서 주파수 성분(11)을 분리하여 소정의 비명소리 주파수 범위에 속한다고 판단하거나, 비명소리를 인지하고 위험하다고 생각되는 장소의 영상을 촬영하고 분석하여 무기류 등이 검출되면 위기상황이라고 판단할 수 있다.Referring to FIG. 8A, in a situation in which a human scream is generated (10), the artificial intelligence speaker 100 separates the frequency component 11 from the human voice and falls within a predetermined scream frequency range. If it is determined that there is a screaming sound, or if a weapon is detected by photographing and analyzing an image of a place considered to be dangerous, it can be determined as a crisis situation.

도 8의 (b)를 참조하면, 인공지능 스피커(100)는 즉각적으로 대응해야 하는 위기돌발상황이라는 판단 하에, 화재경보를 울리고 스프링쿨러를 작동하게 되고, 현장(10')에서 범인은 불이 난 것으로 오해하거나, 또는 사이렌을 듣고 사람들이 몰려올 것을 염려하여 도망가도록 할 수 있다. Referring to (b) of FIG. 8, the artificial intelligence speaker 100 sounds a fire alarm and operates the sprinkler under the judgment that it is an emergency situation that must be immediately responded to, and the criminal at the site 10' is on fire. You may be mistaken for being born, or you may hear a siren and cause people to flee for fear of coming.

이하, 본 발명의 다른 실시예에 따른 침입 탐지를 통한 위기 상황에 대응하는 인공지능 스피커에 대하여 설명한다. Hereinafter, an artificial intelligence speaker corresponding to a crisis situation through intrusion detection according to another embodiment of the present invention will be described.

도 9는 본 발명의 다른 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 구성을 보여주는 블록도이다.9 is a block diagram showing the configuration of an artificial intelligence speaker for responding to a crisis situation according to another embodiment of the present invention.

도 9를 참조하면, 본 발명의 다른 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커(100)는 하드웨어부(110), 침입탐지 모드 진입부(310), 소리 신호 수신부(320), 영상 촬영부(330), 침입자 발생 판단부(340), 침입 탐지 대응부(350)를 포함하여 구성될 수 있다. Referring to FIG. 9, an artificial intelligence speaker 100 for responding to a crisis situation according to another embodiment of the present invention includes a hardware unit 110, an intrusion detection mode entry unit 310, a sound signal receiving unit 320, and an image capture. It may be configured to include a unit 330, an intruder occurrence determination unit 340, and an intrusion detection response unit 350.

또한, 도 9를 참조하면 발명의 일 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커(100)의 각 구성요소는 다음과 같이 설명될 수 있다.Also, referring to FIG. 9, each component of the artificial intelligence speaker 100 for responding to a crisis situation according to an embodiment of the present invention may be described as follows.

침입탐지 모드 진입부(310)는 사용자 인터페이스를 통한 사용자의 조작에 의해 또는 미리 설정된 조건에 도달하면 침입 탐지 모드로 진입하도록 구성될 수 있다. 예를 들면, 사용자는 외출하기 전이나 취침 전에 사용자 인터페이스를 이용하여 침입 탐지 모드를 설정하면, 침입탐지 모드 진입부(310)는 슬립상태에서 침입탐지 모드로 진입하게 된다. 또는, 미리 취침시간이나 외출시간을 설정하여 정해진 조건이 되면 자동으로 침입탐지 모드로 진입하게 된다. The intrusion detection mode entry unit 310 may be configured to enter the intrusion detection mode by a user's manipulation through a user interface or when a preset condition is reached. For example, if the user sets the intrusion detection mode using the user interface before going out or going to bed, the intrusion detection mode entry unit 310 enters the intrusion detection mode from the sleep state. Alternatively, by setting the time to go to bed or going out in advance, when a predetermined condition is met, the device automatically enters the intrusion detection mode.

소리 신호 수신부(320)가 마이크폰(111)을 통해서 소리 신호를 수신하면, 영상 촬영부(330)는 침입 탐지 모드인 경우에, 수신한 소리를 분석하여 소리 신호가 미리 학습한 출입문이나 창문의 개폐소리에 대응하는 경우 상기 소리의 이동 방향을 따라서 촬영할 수 있다. 즉, 침입 탐지 모드가 작동 중이라면 사용자가 외출 중이거나 취침 중이거나, 기타 여러 가지 사유로 출입문이나 창문을 이용할 이유가 없음에도 소리가 감지된다면 촬영을 시작할 수 있다.When the sound signal receiving unit 320 receives the sound signal through the microphone 111, the image capturing unit 330 analyzes the received sound and, in the case of the intrusion detection mode, In the case of corresponding to the opening and closing sound, it is possible to photograph along the moving direction of the sound. That is, if the intrusion detection mode is in operation, the user can start shooting if a sound is detected even though there is no reason to use the door or window for various reasons, such as when the user is out or sleeping.

종래의 방법은 침입탐지 모드에서 물체의 움직임을 감지하여 알람을 발생시키는 방식이지만, 일일이 침입탐지 모드를 설정하기도 어렵고 집주인의 동작을 침입으로 판정하는 등의 오작동 가능성이 많이 있어서 잘 활용되지 않는 문제가 있다. 그러나 본 발명의 침입 탐지는 일단 소리 인식을 기초로 영상 촬영 후에 침입 여부를 판단하게 된다.The conventional method detects the movement of an object in the intrusion detection mode and generates an alarm. However, it is difficult to set the intrusion detection mode individually and there is a lot of possibility of malfunction such as judging the movement of the homeowner as an intrusion. have. However, in the intrusion detection of the present invention, the intrusion is determined after image capture based on sound recognition.

침입자 발생 판단부(340)는 촬영 영상 내에 물체의 움직임이 포착되면, 상기 영상 내 물체를 미리 등록한 사용자의 영상과 비교하여 침입자 발생 여부를 판단할 수 있다. 또는 촬영 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하고 상기 제3의 물체가 무기류이면 침입자 발생이라고 판단할 수 있다.When the motion of the object is detected in the captured image, the intruder occurrence determination unit 340 may compare the object in the image with an image of a user who has previously registered to determine whether an intruder has occurred. Alternatively, when a movement of a person is captured in the captured image, a third object that does not constitute a human body can be identified in the image, and if the third object is a weapon, it may be determined that an intruder has occurred.

즉, 사용자가 실수로 침입 탐지 모드를 해제하지 않은 채 문을 열거나, 창문을 여는 경우에는, 사용자의 얼굴의 인식을 통해서 비상상황 여부를 판단할 수 있다. 따라서, 위기 상황에 대한 2차적 판단으로써 무기 소지 여부를 판단하여 침입자 발생 여부를 판단할 수 있다. That is, when a user accidentally opens a door or opens a window without canceling the intrusion detection mode, it is possible to determine whether there is an emergency situation through recognition of the user's face. Therefore, it is possible to determine whether an intruder has occurred by determining whether or not to possess a weapon as a secondary judgment on the crisis situation.

이때, 침입자 발생 판단부(340)는 제3의 물체를 무기류 학습모델(360)에 적용하여 무기류 인지 여부를 판단할 수 있다. 무기류 학습모델은 총, 칼, 인명을 해칠 수 있는 각종 도구 등의 사진을 다양한 형태로 학습한 모델일 수 있다.In this case, the intruder occurrence determination unit 340 may apply the third object to the weaponry learning model 360 to determine whether it is a weapon. The weaponry learning model may be a model obtained by learning pictures of guns, swords, and various tools that can harm people in various forms.

침입 탐지 대응부(350)는 판단 결과 침입자 발생이면, 미리 정해진 방법으로 상기 침입 상황에 대응할 수 있다. 예를 들면, 침입 탐지 대응부(350)는 미리 정해진 연락처로 상기 음성이나 영상을 전달할 수 있다. 그러나 이러한 방법은 목숨이 위급한 상황에서 즉각적인 해결이 되기는 어렵고, 단지 현장 증거를 보존하는 효과는 있을 것이다.If an intruder has occurred as a result of the determination, the intrusion detection response unit 350 may respond to the intrusion situation in a predetermined manner. For example, the intrusion detection response unit 350 may transmit the voice or video to a predetermined contact. However, this method is difficult to solve immediately in a situation where life is critical, and it will only have the effect of preserving field evidence.

따라서, 침입 탐지 대응부(350)는 내부의 전체 조명을 원격조정하여 소등하고 상기 침입자를 향해서 탐조등을 비추면서 화포용 폭음을 발생시켜서 침입자에게 공포감을 주어서 도망가도록 할 수 있다. 탐조등은 침입자의 눈을 순간적으로 멀게 만드는 효과가 있어서, 그사이에 내부 구조를 잘 아는 방어자가 도망가거나 역공을 할 수 있는 기회를 줄 수 있다.Accordingly, the intrusion detection response unit 350 can remotely control the entire interior of the interior to turn off the lights, and generate a binge sound for artillery while illuminating the searchlight toward the intruder, thereby giving the intruder a sense of fear and allowing the intruder to escape. Searchlights have the effect of instantly blinding the intruder's eyes, in the meantime, it can give a defender who knows the internal structure a chance to run away or counter-attack.

또는, 침입 탐지 대응부(350)는 원격 연결된 화재경보기를 작동시키거나, 화재 대응용 스프링쿨러를 작동시켜서 범인의 무기를 무력화시키거나, 범인의 주의를 돌려서 피해자가 방어할 기회를 가질 수도 있고, 범인이 불이 난 것으로 오해해서 도망가게 하거나 진정시키는 효과를 볼 수 있다.Alternatively, the intrusion detection response unit 350 may operate a remotely connected fire alarm, or operate a sprinkler for fire response to incapacitate the killer's weapon, or have a chance to defend the victim by turning the killer's attention, The perpetrators misunderstand that there was a fire, and it can have the effect of letting them run away or calming them down.

또는, 침입 탐지 대응부(350)는 스피커(112)를 통해 음성 신호의 발원지를 향해서 화포용 폭음을 발생시키고, 원격 연결된 연기 발생 장치를 작동시킬 수 있다. 이와 같은 방법은 범인이 경찰이나 제3자의 공격을 받는 것으로 오해해서 도망치게 하는 효과가 있을 수 있다.Alternatively, the intrusion detection response unit 350 may generate an explosive sound for artillery toward the source of the voice signal through the speaker 112 and operate a remotely connected smoke generating device. Such a method may have the effect of causing the criminal to flee because it is mistaken for being attacked by the police or a third party.

이하, 본 발명의 다른 실시예에 따른 인공 지능 스피커를 이용한 침입 탐지를 통한 위기 상황 대응방법에 대하여 설명한다. Hereinafter, a method of responding to a crisis situation through intrusion detection using an artificial intelligence speaker according to another embodiment of the present invention will be described.

도 10은 본 발명의 다른 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법의 진행 과정을 보여주는 순서도이다.10 is a flow chart showing a process of a crisis situation response method using an artificial intelligence speaker according to another embodiment of the present invention.

도 10을 참조하면, 본 발명의 다른 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법은 침입탐지 모드 진입단계(S310), 소리 신호 수신 단계(S320), 영상 촬영단계(S330), 침입자 발생 판단 단계(S340), 침입 탐지 대응 단계(S350)를 포함하여 구성될 수 있다. Referring to FIG. 10, a method for responding to a crisis situation using an artificial intelligence speaker according to another embodiment of the present invention includes an intrusion detection mode entry step (S310), a sound signal reception step (S320), an image capture step (S330), and an intruder occurrence. It may include a determination step (S340) and an intrusion detection response step (S350).

먼저, 인공지능 스피커는 사용자 인터페이스를 통한 사용자의 조작에 의해 또는 미리 설정된 조건에 도달하면 침입 탐지 모드로 진입할 수 있다(S310). 예를 들면, 사용자는 외출하기 전이나 취침 전에 인공지능 스피커에 침입 탐지 모드를 설정하면, 인공지능 스피커는 슬립상태에서 침입탐지 모드로 진입하게 된다. 또는, 미리 취침시간이나 외출시간을 설정하여 정해진 조건이 되면 인공지능 스피커는 자동으로 침입탐지 모드로 진입할 수 있다(S310). First, the artificial intelligence speaker may enter the intrusion detection mode by a user's manipulation through a user interface or when a preset condition is reached (S310). For example, if the user sets the intrusion detection mode on the artificial intelligence speaker before going out or before going to bed, the artificial intelligence speaker enters the intrusion detection mode from the sleep state. Alternatively, the artificial intelligence speaker may automatically enter the intrusion detection mode when a predetermined condition is reached by setting the bedtime or going out time in advance (S310).

다음으로, 인공지능 스피커가 마이크로폰을 통해서 소리 신호를 수신하고(S320), 침입 탐지 모드인 경우에 수신한 소리를 분석하여 소리 신호가 미리 학습한 출입문이나 창문의 개폐소리에 대응하는 경우 상기 소리의 이동 방향을 따라서 촬영할 수 있다(S330). 즉, 침입 탐지 모드가 작동 중이라면 사용자가 외출 중이거나 취침 중이거나, 기타 여러 가지 사유로 출입문이나 창문을 이용할 이유가 없음에도 소리가 감지된다면 인공지능 스피커는 촬영을 시작할 수 있다.Next, the artificial intelligence speaker receives the sound signal through the microphone (S320), and analyzes the received sound in the intrusion detection mode, and when the sound signal corresponds to the sound of opening and closing doors or windows learned in advance, the sound is A photograph may be taken along the moving direction (S330). That is, if the intrusion detection mode is in operation, the artificial intelligence speaker can start photographing if sound is detected even though the user is out or sleeping, or there is no reason to use the door or window for various other reasons.

다음으로, 인공지능 스피커는 촬영 영상 내에 물체의 움직임이 포착되면, 상기 영상 내 물체를 미리 등록한 사용자의 영상과 비교하여 침입자 발생여부를 판단할 수 있다(S340). Next, when the motion of an object is captured in the captured image, the artificial intelligence speaker may compare the object in the image with an image of a user who has previously registered to determine whether an intruder has occurred (S340).

또는 인공지능 스피커는 촬영 영상 내에 사람의 움직임이 포착되면, 상기 영상에서 사람의 신체를 구성하지 않는 제3의 물체를 식별하고 상기 제3의 물체가 무기류이면 침입자 발생이라고 판단할 수 있다(S350).Alternatively, when the motion of a person is captured in the captured image, the artificial intelligence speaker may identify a third object that does not constitute a human body in the image and determine that an intruder has occurred if the third object is a weapon (S350). .

이때, 인공지능 스피커는 제3의 물체를 무기류 학습모델에 적용하여 무기류 인지 여부를 판단할 수 있다. 무기류 학습모델은 총, 칼, 인명을 해칠 수 있는 각종 도구 등의 사진을 다양한 형태로 학습한 모델일 수 있다.In this case, the artificial intelligence speaker may determine whether it is a weapon by applying the third object to the weapon learning model. The weaponry learning model may be a model obtained by learning pictures of guns, swords, and various tools that can harm people in various forms.

다음으로, 인공지능 스피커는 침입자 발생이라고 판단하면 미리 정해진 방법으로 상기 침입 상황에 대응할 수 있다(S360). 예를 들면, 인공지능 스피커는 미리 정해진 연락처로 상기 음성이나 영상을 전달할 수 있다. 그러나 이러한 방법은 목숨이 위급한 상황에서 즉각적인 해결이 되기는 어렵고, 단지 현장 증거를 보존하는 효과는 있을 것이다.Next, if the artificial intelligence speaker determines that an intruder has occurred, it can respond to the intrusion situation in a predetermined manner (S360). For example, the artificial intelligence speaker may transmit the voice or video to a predetermined contact. However, this method is difficult to solve immediately in a situation where life is critical, and it will only have the effect of preserving field evidence.

따라서, 침입 탐지 대응부(350)는 원격조정하여 내부의 전체 조명을 소등하고 상기 침입자를 향해서 탐조등을 비추면서 화포용 폭음을 발생시켜서 침입자에게 공포감을 주어서 도망가도록 할 수 있다. Accordingly, the intrusion detection response unit 350 can remotely control the entire interior to turn off the entire interior light, and generate a fire for the intruder while illuminating the searchlight toward the intruder, thereby giving the intruder a feeling of fear and running away.

또는, 인공지능 스피커는 원격 연결된 화재경보기를 작동시키거나, 화재 대응용 스프링쿨러를 작동시켜서 범인의 무기를 무력화시키거나, 범인의 주의를 돌려서 피해자가 방어할 기회를 가질 수도 있고, 범인이 불이 난 것으로 오해해서 도망가게 하거나 진정시키는 효과를 볼 수 있다.Alternatively, the artificial intelligence speaker may activate a remotely connected fire alarm, activate a fire sprinkler to disable the killer's weapon, or distract the killer's attention and give the victim a chance to defend. It is misunderstood as being born and can have the effect of letting go away or calming down.

또는, 인공지능 스피커는 스피커를 통해 음성 신호의 발원지를 향해서 화포용 폭음을 발생시키고, 원격 연결된 연기 발생 장치를 작동시킬 수 있다. 이와 같은 방법은 범인이 경찰이나 제3자의 공격을 받는 것으로 오해해서 도망치게 하는 효과가 있을 수 있다.Alternatively, the artificial intelligence speaker may generate an explosive sound for artillery toward the source of the voice signal through the speaker, and operate a remotely connected smoke generating device. Such a method may have the effect of causing the criminal to flee because it is mistaken for being attacked by the police or a third party.

도 11은 본 발명의 다른 실시예에 따른 인공지능 스피커를 이용하여 위기 상황에 대응하는 예를 보여주는 도면이다.11 is a diagram illustrating an example of responding to a crisis situation using an artificial intelligence speaker according to another embodiment of the present invention.

도 11의 (a)를 참조하면, 인공지능 스피커(100)는 침입 탐지 모드가 작동중인 상황에서, 문이 열리는 소리나 창문 소리 등을 인식하여 무단침입 상황(20)을 인지하고, 소리가 나는 장소의 영상을 촬영하고 분석하여 사용자의 얼굴과 비교하고 무기류 등이 검출되면 위기상황이라고 판단할 수 있다. 즉, 인공지능 스피커(100)는 야간이나 빈집에 누군가가 무단 침입하거나, 노약자가 기거하는 집에 무단으로 침입하는 괴한에 대응할 수 있다.Referring to (a) of Figure 11, the artificial intelligence speaker 100 recognizes the trespassing situation 20 by recognizing the sound of opening a door or the sound of a window in a situation in which the intrusion detection mode is in operation, and a sound is generated. An image of a place is captured and analyzed, compared with the user's face, and when weapons, etc. are detected, it can be determined as a crisis situation. In other words, the artificial intelligence speaker 100 may respond to a man who trespasses at night or into an empty house, or intrudes into a house where an elderly person lives.

또한, 도 11의 (b)를 참조하면, 인공지능 스피커(100)는 즉각적으로 대응해야 하는 위기 돌발상황이라는 판단 하에, 음성 신호의 발원지를 향해서 화포용 폭음을 발생시키거나, 또는 연기 발생 장치를 작동시킬 수 있다. 현장(20')에서 범인은 누군가의 공격이 있는 것으로 오해하거나, 또는 시끄러운 소리를 듣고 사람들이 몰려올 것을 염려하여 도망가도록 할 수 있다. 또는 연기로 인해서 안 보이는 상황에서 내부에 익숙한 피 공격자는 범인을 제압할 기회를 가질 수 있다. 따라서, 인공지능 스피커(100)는 야간 취침중이거나 빈집에 누군가가 무단 침입하거나, 노약자가 기거하는 집에 무단으로 침입하는 괴한에 대응할 수 있다.In addition, referring to (b) of FIG. 11, the artificial intelligence speaker 100 generates an explosion sound for artillery toward the source of the voice signal, or uses a smoke generating device under the determination that it is a crisis emergency situation that must be immediately responded to. Can work. At the scene (20'), the perpetrator may misunderstand that there is an attack from someone, or he may hear a loud noise and cause people to flee because he fears that people will come. Alternatively, the attacker who is familiar with the insider in a situation that is not visible due to the smoke can have a chance to subdue the criminal. Accordingly, the artificial intelligence speaker 100 may respond to a man who is sleeping at night, someone trespasses into an empty house, or an elderly person trespasses into a house.

이하, 본 발명의 또 다른 실시예에 따른 방문자 확인을 통한 위기 상황에 대응하는 인공지능 스피커에 대하여 설명한다. Hereinafter, an artificial intelligence speaker corresponding to a crisis situation through visitor confirmation according to another embodiment of the present invention will be described.

도 12는 본 발명의 또 다른 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커의 구성을 보여주는 블록도이다.12 is a block diagram showing the configuration of an artificial intelligence speaker for responding to a crisis situation according to another embodiment of the present invention.

도 12를 참조하면, 본 발명의 또 다른 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커(100)는 하드웨어부(110), 벨소리 수신부(410), 영상 촬영부(420), 방문자 식별부(430), 방문자 영상 판단부(440), 피방문자 음성 판단부(450) 및 위기 상황 대응부(460)를 포함하여 구성될 수 있다. Referring to FIG. 12, the artificial intelligence speaker 100 for responding to a crisis situation according to another embodiment of the present invention includes a hardware unit 110, a ringtone receiving unit 410, an image photographing unit 420, and a visitor identification unit ( 430), a visitor image determining unit 440, a visited voice determining unit 450, and a crisis situation response unit 460 may be included.

또한, 도 12를 참조하면 발명의 또 다른 실시예에 따른 위기 상황 대응을 위한 인공지능 스피커(100)의 각 구성요소는 다음과 같이 설명될 수 있다.In addition, referring to FIG. 12, each component of the artificial intelligence speaker 100 for responding to a crisis situation according to another embodiment of the present invention may be described as follows.

벨소리 수신부(410)가 마이크로폰(111)을 통해서 현관 벨소리를 수신한 이후에, 영상 촬영부(420)는 현관문이 열리는 소리를 탐지하면, 현관문 주변의 영상을 촬영할 수 있다.After the ringtone receiving unit 410 receives the front door ringtone through the microphone 111, the image capturing unit 420 may capture an image around the front door when it detects the sound of opening the front door.

다음으로, 방문자 식별부(430)는 영상 내에서 방문자와 피방문자를 식별하고, 방문자 영상 판단부(440)는 방문자의 손의 움직임을 추적하여, 방문자의 손에 의해서 상기 피방문자의 움직임이 제한되는 상황이 발생하고 있는 지와, 이와 같은 상황이 소정의 임계시간 이상 지속되는 지 여부를 판단할 수 있다.Next, the visitor identification unit 430 identifies the visitor and the visited person in the image, and the visitor image determination unit 440 tracks the movement of the visitor's hand, and the movement of the visited visitor is restricted by the visitor's hand. It is possible to determine whether a situation in which the situation is occurring is occurring and whether the situation continues for a predetermined threshold time or longer.

즉, 이는 문을 강제로 열거나 담을 넘는 경우가 아닌, 정상적인 방문자로 위장한 후에 위협을 가하는 상황이 발생하는 지를 판단하기 위함이다. 예를 들면, 원룸에 혼자 살거나 어린이 혼자 집을 지키는 상황에서, 택배나 이웃집 사람임을 위장하여 문을 열게 한 후에 피방문객을 위협하는 경우가 실생활에서 많이 발생한다. 이 경우, 피해자는 방어할 틈도 없이 방문자에게 제압을 당할 수 있기 때문에, 이를 탐지하기 위하여 방문자 영상 판단부(440)는 방문자 손을 추적하여 상황을 판단할 수 있다.In other words, this is to determine whether a threatening situation occurs after disguised as a normal visitor, rather than forcibly opening a door or crossing a wall. For example, in a situation where a child lives alone in a studio or keeps a house alone, many cases in real life threaten the visitor after opening the door by pretending to be a courier or a neighbor. In this case, since the victim may be overpowered by the visitor without a chance to defend, the visitor image determination unit 440 may determine the situation by tracking the visitor's hand to detect this.

피방문자 음성 판단부(450)는 방문자의 음성을 분석하여 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 음성이라면 위기 상황이라고 판단할 수 있다. 예를 들면, 영상에서 위협적인 상황이 파악되지는 않지만, 방문만으로도 위협적이거나 잠재적인 위협이 되는 사람이 방문한 경우에 피방문자는 소리를 지를 수 있으므로 이 음성을 분석하여 위험 상황을 판단할 수 있다. The visitee voice determination unit 450 may analyze the visitor's voice and determine that the voice is in a crisis if the voice frequency falls within a predetermined scream frequency range. For example, a threatening situation is not identified in the video, but if a threatening or potentially threatening person visits by just visiting, the visitor may yell, so this voice can be analyzed to determine a dangerous situation.

위기 상황 대응부(460)는 상기 판단 결과 위기상황이라면, 복수의 대화 음성을 배경으로 삽입하고 상기 피방문객을 부르는 제3자의 음성을 생성하여 스피커를 통해서 출력할 수 있다.If it is a crisis situation as a result of the determination, the crisis response unit 460 may insert a plurality of conversational voices as a background, generate a voice of a third party calling the visited visitor, and output it through a speaker.

이와 같은 방법은 방문자에게 내부에 사람이 많다는 것으로 인식하도록 하여 돌아가게 하거나 위협을 멈추게 하는 즉각적인 효과를 발휘할 수 있을 것이다.Such a method could have an immediate effect of making the visitor aware that there are a lot of people inside, causing them to return or stop the threat.

도 13은 본 발명의 또 다른 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법의 진행 과정을 보여주는 순서도이다. 13 is a flow chart showing a process of a crisis situation response method using an artificial intelligence speaker according to another embodiment of the present invention.

도 13을 참조하면, 본 발명의 또 다른 실시예에 따른 인공지능 스피커를 이용하는 위기 상황 대응 방법은 벨소리 수신단계(S410), 영상 촬영단계(S420), 방문자 식별단계(S430), 방문자 영상 판단단계(S440), 피방문자 음성 판단단계(S450) 및 위기 상황 대응단계(S460)를 포함하여 구성될 수 있다. 13, a method for responding to a crisis situation using an artificial intelligence speaker according to another embodiment of the present invention includes a ringtone reception step (S410), an image capture step (S420), a visitor identification step (S430), and a visitor image determination step. It may be configured to include (S440), the voice determination step (S450) of the visited, and a crisis situation response step (S460).

먼저, 인공지능 스피커가 마이크로폰(111)을 통해서 현관 벨 소리를 수신한 이후에(S410), 현관문이 열리는 소리를 탐지하면, 현관문 주변의 영상을 촬영할 수 있다(S420).First, after the artificial intelligence speaker receives the doorbell sound through the microphone 111 (S410), if the sound of opening the front door is detected, an image around the front door may be captured (S420).

다음으로, 인공지능 스피커는 영상 내에서 방문자와 피방문자를 식별하고 (S430), 방문자의 손의 움직임을 추적하여, 방문자의 손에 의해서 상기 피방문자의 움직임이 제한되는 상황이 발생하고 있는 지와, 이와 같은 상황이 소정의 임계시간 이상 지속되는 지 여부를 판단할 수 있다(S440).Next, the artificial intelligence speaker identifies the visitor and the visited in the video (S430), tracks the movement of the visitor's hand, and determines whether a situation in which the movement of the visited is restricted by the visitor's hand occurs. , It may be determined whether such a situation continues for a predetermined threshold time or longer (S440).

즉, 이는, 문을 강제로 열거나 담을 넘는 경우가 아닌, 정상적인 방문자로 위장한 후에 위협을 가하는 상황이 발생하는 지를 판단하기 위함이다. 예를 들면, 원룸에 혼자 살거나 어린이 혼자 집을 지키는 상황에서, 택배나 이웃집 사람임을 위장하여 문을 열게 한 후에 피 방문객을 위협하는 경우가 실생활에서 많이 발생한다. 이 경우, 피해자는 방어할 틈도 없이 방문자에게 제압을 당할 수 있기 때문에, 이를 탐지하기 위하여 인공지능 스피커는 방문자 손을 추적하여 상황을 판단할 수 있다.That is, this is to determine whether a threatening situation occurs after disguised as a normal visitor, rather than forcibly opening a door or crossing a wall. For example, in a situation where a child lives alone in a studio or keeps a house alone, many cases in real life threaten the visitor after opening the door by pretending to be a courier or a neighbor. In this case, since the victim can be overpowered by the visitor without a chance to defend, the artificial intelligence speaker can determine the situation by tracking the visitor's hand to detect this.

다른 방법으로, 인공지능 스피커는 방문자의 음성을 분석하여 상기 음성의 주파수가 소정의 비명소리 주파수 범위 내에 속하는 음성이라면 위기 상황이라고 판단할 수 있다(S450). 예를 들면, 영상에서 위협적인 상황이 파악되지는 않지만, 방문만으로도 위협적이거나 잠재적인 위협이 되는 사람이 방문한 경우에 피방문자는 비명을 지를 수 있으므로, 피 방문자의 음성을 분석하여 위험 상황을 판단할 수 있다. Alternatively, the artificial intelligence speaker may analyze the visitor's voice and determine that it is a crisis if the voice frequency falls within a predetermined scream frequency range (S450). For example, a threatening situation is not identified in the video, but a visitor may scream when a threatening or potential threat is visited by the visit alone. Therefore, the visitor's voice is analyzed to determine the dangerous situation. I can.

인공지능 스피커는 상기 판단 결과 위기상황이라면, 복수의 대화 음성을 배경으로 삽입하고 상기 피방문객을 부르는 제3자의 음성을 생성하여 스피커를 통해서 출력할 수 있다(S460). 이와 같은 방법은 방문자에게 내부에 사람이 많다는 것으로 인식하도록 하여 돌아가게 하거나 위협을 멈추게 하는 즉각적인 효과를 발휘할 수 있을 것이다.If it is a crisis situation as a result of the determination, the artificial intelligence speaker may insert a plurality of conversational voices into the background, generate a voice of a third party calling the visited visitor, and output it through the speaker (S460). Such a method could have an immediate effect of making the visitor aware that there are a lot of people inside, causing them to return or stop the threat.

도 14는 본 발명의 또 다른 실시예에 따른 인공지능 스피커를 이용하여 위기 상황에 대응하는 예를 보여주는 도면이다.14 is a diagram showing an example of responding to a crisis situation using an artificial intelligence speaker according to another embodiment of the present invention.

도 14의 (a)를 참조하면, 인공지능 스피커(100)는 벨을 울린 정상적인 방문자로부터 공격상황(30)을 인식하여 이에 맞는 위기 대응을 할 수 있다. 즉, 벨소리가 나고 문을 열어주는 소리가 난 이후부터 현관 주변을 촬영을 시작하여 방문자로부터 위협을 받는 상황이 인지되면 위기상황이라고 판단할 수 있다. Referring to (a) of FIG. 14, the artificial intelligence speaker 100 may recognize an attack situation 30 from a normal visitor ringing a bell and respond to a crisis according thereto. That is, after the ringtone is heard and the door opening sound is heard, the photographing is started around the entrance hall, and when a threatened situation from the visitor is recognized, it can be determined as a crisis situation.

또한, 도 14의 (b)를 참조하면, 인공지능 스피커(100)는 즉각적으로 대응해야 하는 위기 돌발상황이라는 판단 하에, 복수의 대화 음성을 배경으로 삽입하고 상기 피방문객을 부르는 제3자의 음성을 생성하여 스피커를 통해서 출력함으로써 위기상황에 대응할 수 있다. 현장(30')에서 범인은 집안에 사람이 많이 있다고 생각하고 공격을 포기하고 도망가도록 할 수 있다. 따라서, 인공지능 스피커(100)는 혼자 사는 여성이 많은 원룸이나 어린이가 혼자 집을 지키는 취약한 환경에서. 택배를 가장한 치한이나 면식범의 공격상황에 효과적으로 대응할 수 있다.In addition, referring to FIG. 14B, the artificial intelligence speaker 100 inserts a plurality of conversational voices in the background and makes the voice of a third party calling the visited, under the judgment that it is an emergency situation that must be immediately responded to. By generating and outputting through a speaker, you can respond to a crisis situation. At the scene (30'), the criminal thinks that there are many people in the house and can give up the attack and run away. Therefore, the artificial intelligence speaker 100 is a studio with many women living alone or in a vulnerable environment where children stay alone. It can effectively respond to attacks by molesters disguised as a courier or attackers.

한편, 지금까지 설명한 본 발명의 방법 및 장치는 실제로 컴퓨터 프로그램에 의해 구현될 수 있고, 컴퓨터에서 실행될 때 컴퓨터 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터 판독 가능한 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 기록매체를 포함하며, ROM, RAM, CD, DVD-ROM, 자기테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 인터넷을 통한 전송되는 형태로 구현되는 것도 포함될 수 있다. 즉, 이와 같은 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.On the other hand, the method and apparatus of the present invention described so far can be implemented by a computer program in practice, and can be stored in a computer-readable recording medium when executed in a computer. Computer-readable recording media include all types of recording media in which programs and data are stored so that they can be read by a computer system, including ROM, RAM, CD, DVD-ROM, magnetic tape, floppy disk, and optical data storage devices. Also, it may be implemented in a form transmitted through the Internet. That is, such a medium is distributed over a computer system connected through a network, and computer-readable codes can be stored and executed in a distributed manner.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the following claims. You will understand that you can do it.

Claims

In the crisis situation response method through scream detection using an artificial intelligence speaker,
Receiving a sound signal through a microphone, and
Separating a human voice from the sound signal and extracting a frequency component from the voice;
If the frequency of the voice falls within a predetermined scream frequency range, when a person's movement is captured by photographing the direction of the voice using at least one camera, a third party that does not constitute a human body in the video If the object is identified and determined as a weapon, the step of determining it as a crisis situation,
As a result of the determination, if it is a crisis situation, a fire alarm connected remotely, a sprinkler for fire response is operated, a fire blast is generated for a firearm toward the source of the voice signal through a speaker, or a remotely connected smoke generator is used. A crisis response method including a crisis situation response step of turning on or turning off all indoor lights and illuminating a searchlight at an attacker.

delete

In the crisis situation response method through intrusion detection using an artificial intelligence speaker,
Entering an intrusion detection mode by a user's manipulation or when a preset condition is reached;
Receiving a sound signal through a microphone, and
In the intrusion detection mode, when the sound signal corresponds to a previously learned sound of opening and closing doors or windows, photographing along the moving direction of the sound using a camera; and
If a movement of a person is captured in the captured image, identifying a third object that does not constitute a human body in the image, and determining that an intruder has occurred if it is a weapon;
If an intruder occurs as a result of the determination, a fire alarm connected remotely, a sprinkler for fire response is operated, or a remote control is performed to turn off the entire internal lighting, and a searchlight is illuminated at the intruder to generate a gunfire , Crisis situation response method comprising an intrusion detection response step of operating a remotely connected smoke generating device.

delete

In the crisis situation response method through visitor identification using an artificial intelligence speaker,
Receiving a front door ringtone through a microphone, and
When detecting the sound of opening the front door, taking an image around the front door;
Identifying a visitor and a visited visitor within the video,
Tracking the movement of the visitor's hand, and determining that it is a crisis situation when a situation in which the movement of the visited person is restricted by the visitor's hand continues for a predetermined threshold time or longer; and
If it is a crisis situation as a result of the judgment above, a fire alarm connected remotely, a sprinkler for fire response is operated, or a remote control is performed to turn off the entire interior lighting and to generate a fire explosion for a cannon while illuminating a searchlight at an intruder. , Crisis response method comprising a crisis response step of operating the remotely connected smoke generating device.

delete

The method of claim 8, wherein the crisis situation response step
If it is a crisis situation as a result of the determination, a plurality of conversational voices are inserted as a background, and voices of a third party calling the visited are generated and output through a speaker.

A computer-readable medium storing a program for performing the method of claim 1 or 5 or 8.

In an artificial intelligence speaker responding to a crisis situation through scream detection,
A hardware unit including a microphone and a speaker
A sound signal receiving unit for receiving a sound signal through the microphone,
A frequency component extracting unit that separates a human voice from the sound signal and extracts a frequency component of the voice;
If the frequency of the voice falls within a predetermined scream frequency range, when a person's movement is captured by photographing the direction of the voice using at least one camera, a third party that does not constitute a human body in the video A crisis situation determination unit that identifies an object and determines that it is a weapon,
As a result of the determination, if it is a crisis situation, the crisis situation response unit operates a fire alarm connected remotely, operates a sprinkler for fire response, or generates a fire explosion for a firearm toward the source of the voice signal through a speaker, and is remotely connected. An artificial intelligence speaker that includes a crisis response unit that activates a smoke generator, turns off all indoor lights, and illuminates a searchlight at an attacker.

delete

In an artificial intelligence speaker responding to a crisis situation through intrusion detection,
A hardware unit including a microphone and a speaker,
An intrusion detection mode entry part that enters the intrusion detection mode by user manipulation or when a preset condition is reached;
A sound signal receiving unit for receiving a sound signal through the microphone,
In the intrusion detection mode, when the sound signal corresponds to a previously learned sound of opening and closing doors or windows, an image photographing unit for photographing along the moving direction of the sound using a camera;
An intruder occurrence determination unit that identifies a third object that does not constitute a human body in the captured image, and determines that an intruder has occurred if the third object is a weapon;
If an intruder occurs as a result of the determination, a fire alarm connected remotely, a sprinkler for fire response is operated, or remotely controlled to turn off the entire internal lighting, and to generate a fire explosion for a firearm while illuminating a searchlight toward the intruder. Artificial intelligence speaker including intrusion detection response unit.

delete

In artificial intelligence speakers responding to crisis situations through visitor confirmation,
A hardware unit including a microphone and a speaker,
A ringtone receiver configured to receive a doorbell ringtone through the microphone,
When detecting the sound of opening the front door, an image photographing unit that photographs an image around the front door,
A visitor identification unit that identifies the visitor and the visited person within the video,
A visitor image determination unit that tracks the movement of the visitor's hand, and determines that it is a crisis situation when a situation in which the movement of the visited visitor is restricted by the visitor's hand continues for a predetermined threshold time or longer;
As a result of the above judgment, if it is a crisis situation, a fire alarm connected remotely, a sprinkler for fire response is operated, or a remote control is performed to turn off the entire internal lighting, and a searchlight is illuminated at an intruder to generate a gunfire. , Artificial intelligence speaker comprising a crisis situation response unit for operating the remotely connected smoke generating device.

delete

The method of claim 18, wherein the crisis situation response unit
If it is a crisis situation as a result of the determination, a plurality of conversational voices are inserted as a background, and the voice of a third party calling the visited person is generated and output through the speaker.