KR102231183B1 - Learning based life pattern recognition and monitoring of living alone system with IoT network - Google Patents

Learning based life pattern recognition and monitoring of living alone system with IoT network Download PDF

Info

Publication number
KR102231183B1
KR102231183B1 KR1020190076831A KR20190076831A KR102231183B1 KR 102231183 B1 KR102231183 B1 KR 102231183B1 KR 1020190076831 A KR1020190076831 A KR 1020190076831A KR 20190076831 A KR20190076831 A KR 20190076831A KR 102231183 B1 KR102231183 B1 KR 102231183B1
Authority
KR
South Korea
Prior art keywords
living alone
customer
unit
information
learning
Prior art date
Application number
KR1020190076831A
Other languages
Korean (ko)
Other versions
KR20210001170A (en
Inventor
최병도
오채원
이소리
Original Assignee
유니트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니트론 주식회사 filed Critical 유니트론 주식회사
Priority to KR1020190076831A priority Critical patent/KR102231183B1/en
Publication of KR20210001170A publication Critical patent/KR20210001170A/en
Application granted granted Critical
Publication of KR102231183B1 publication Critical patent/KR102231183B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

본 발명은 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템에 관한 것으로, 더욱 상세하게는 주거영역에 홀로 사는 독거인의 움직임을 검출하는 다수의 사물인터넷 디바이스(Internet of Thing: IoT)를 주거영역의 분할공간별로 적어도 하나 이상 설치하여 독거인의 정상 시의 활동을 학습하고 학습된 활동에 기반하여 독거인의 이상 여부를 판단하여 미리 설정된 통지 대상자에게 통지하는 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템에 관한 것이다.The present invention relates to a system for learning and monitoring a life pattern of a person living alone using an IoT network, and more particularly, a plurality of Internet of Things (IoT) devices that detect the movement of a person living alone in a residential area. Learning the lifestyle of a single person using an IoT network that installs at least one or more for each divided space of a person living alone to learn the normal activities of the person living alone, and determines whether or not the person living alone is abnormal based on the learned activity, and notifies the person to be notified in advance. It relates to a monitoring system.

Description

IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템{Learning based life pattern recognition and monitoring of living alone system with IoT network}Learning based life pattern recognition and monitoring of living alone system with IoT network}

본 발명은 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템에 관한 것으로, 더욱 상세하게는 주거영역에 홀로 사는 독거인의 움직임을 검출하는 다수의 사물인터넷 디바이스(Internet of Thing: IoT)를 주거영역의 분할공간별로 적어도 하나 이상 설치하여 독거인의 정상 시의 활동을 학습하고 학습된 활동에 기반하여 독거인의 이상 여부를 판단하여 미리 설정된 통지 대상자에게 통지하는 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템에 관한 것이다.The present invention relates to a system for learning and monitoring a life pattern of a person living alone using an IoT network, and more particularly, a plurality of Internet of Things (IoT) devices that detect the movement of a person living alone in a residential area. Learning the lifestyle of a single person using an IoT network that installs at least one or more for each divided space of a person living alone to learn the normal activities of the person living alone, and determines whether or not the person living alone is abnormal based on the learned activity, and notifies the person to be notified in advance. It relates to a monitoring system.

핵가족화, 고용불안, 고령화 등으로 인해 배우자 및 친족 중 누구도 없거나 누구와도 함께 거주하거나 가계를 함께 하지 않는 홀로 사는 독거인들이 증가하고 있다.Due to nuclear familyization, employment insecurity, and aging, the number of people living alone with no spouse or relatives, living alone or living alone with anyone, is increasing.

이런 독거인들은 자신의 주거영역에 혼자 거주하므로 아프거나 주거영역에서 사고를 당하는 경우 제3자가 이를 알 수 없어 큰 사고로 이어질 수 있다. 특히, 독거노인들은 주거영역에서도 병, 낙상 등의 많은 사고에 노출될 수 있고, 이로 인해 생명까지 위협받을 수 있다.These people living alone live alone in their own residential area, so if they are sick or have an accident in the residential area, a third party cannot know it, which can lead to a major accident. In particular, elderly people living alone can be exposed to many accidents, such as illness and falls, even in the residential area, and this can threaten their lives.

이런 독거인이 자신의 주거영역에서의 사고, 질병에 의한 이상 여부를 판단하기 위한 다양한 형태의 독거인 모니터링 시스템들이 개발되어 적용되고 있다.Various types of monitoring systems for individuals living alone have been developed and applied to determine whether such individuals living alone have abnormalities due to accidents or diseases in their residential area.

대한민국 등록특허 제10-1654609호 [거동이 불편한 자, 장애인 및 독거노인을 위한 원격 스마트 모니터링 시스템 및 그 방법](이하 "선행기술"이라 함)은 독거노인의 현재 상황을 카메라 및 다양한 센서를 통해 모니터링하고 비상 상황의 판단 시 유무선통신망을 통해 원격의 관리자나 담당자 단말기로 전송하여 비상 상황에 신속하게 대처할 수 있도록 하는 기술을 개시하고 있다.Republic of Korea Patent Registration No. 10-1654609 [Remote smart monitoring system and method for people with disabilities, people with disabilities, and senior citizens living alone] (hereinafter referred to as "priority technology"), the current situation of senior citizens living alone through a camera and various sensors When monitoring and determining an emergency situation, the technology is disclosed so that it can be quickly responded to an emergency situation by transmitting it to a remote manager or a person in charge through a wired or wireless communication network.

그러나 선행기술은 단순히 주변 환경이나 동작 여부 및 위치를 측정하는 다수의 센서만으로 독거노인의 상태 및 이상(위기상황) 발생 여부를 정확하게 판단할 수 없어 카메라를 통해 독거노인을 촬영하여 전송하므로 사생활 침해 문제가 발생될 수 있으며, 독거노인의 주거영역에 설치되는 해당 장비가 비싸질 수 있고, 이로 인해 시스템 구축비용이 커지는 문제점이 있었다.However, the prior art cannot accurately determine the state of the elderly living alone and whether abnormalities (crisis situations) occur only with a number of sensors that simply measure the surrounding environment, operation, and location, so the camera captures and transmits the elderly living alone, thereby infringing on privacy. There is a problem in that the equipment installed in the residential area of the elderly living alone can be expensive, and the system construction cost is increased due to this.

대한민국 등록특허 제10-1654609호(2016.09.07. 공고)Republic of Korea Patent Registration No. 10-1654609 (announced on September 7, 2016)

따라서 본 발명의 목적은 주거영역에 홀로 사는 독거인의 움직임을 검출하는 다수의 사물인터넷 디바이스(Internet of Thing: IoT)를 주거영역의 분할공간별로 적어도 하나 이상 설치하여 독거인의 정상 시의 활동을 학습하고 학습된 활동에 기반하여 독거인의 이상 여부를 판단하여 미리 설정된 통지 대상자에게 통지하는 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템을 제공함에 있다.Accordingly, it is an object of the present invention to install at least one Internet of Thing (IoT) device for each divided space in the residential area to detect the movement of a person living alone in a residential area to enable normal activities of a person living alone. The purpose of this study is to provide a system for learning and monitoring the life pattern of a person living alone using an IoT network that determines whether or not the person living alone is abnormal based on the learned and learned activities and notifies the predetermined notification target person.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템: 독거인의 주거영역 적어도 하나 이상의 분할공간 내에 설치되어 상기 분할공간 내에서의 상기 독거인의 움직임 검출 여부에 따른 센서데이터, 상기 센서데이터를 획득하였을 때의 시각정보 및 디바이스 식별정보를 포함하는 움직임 정보를 사물인터넷망으로 전송하는 적어도 하나 이상의 사물인터넷 디바이스; 및 고객으로 등록된 각 독거인의 주거영역의 상기 분할공간에 설치된 사물인터넷 디바이스의 디바이스 식별정보를 저장하여 설치된 분할공간을 식별하여 사물인터넷 디바이스를 관리하고, 고객으로 등록 요청 시 일정 학습기간 동안 고객으로 등록 요청한 독거인의 주거영역에 설치된 사물인터넷 디바이스로부터 상기 사물인터넷망을 통해 수집되는 센서데이터 중 독거인의 움직임이 검출된 센서데이터가 획득된 시각정보를 학습데이터로 설정하여 상기 시각정보를 특성치로 하는 마할라노비스 거리에 따른 학습을 수행하여 기준값을 정의하며, 상기 일정 학습기간 후, 수신되는 움직임 정보의 센서데이터에 대한 마할라노비스 거리값이 상기 기준값를 초과하는지의 여부에 따라 독거인의 이상 여부를 판단하는 모니터링 서버를 포함하는 것을 특징으로 한다.A system for learning and monitoring a living pattern of a person living alone using an IoT network according to the present invention to achieve the above object: It is installed in at least one divided space in the residential area of the person living alone to detect the movement of the person living alone in the divided space At least one IoT device for transmitting motion information including sensor data according to whether the sensor data is acquired, visual information when the sensor data is acquired, and device identification information to an IoT network; And it stores device identification information of IoT devices installed in the divided space of each living alone registered as a customer, identifies the installed divided space, manages IoT devices, and manages IoT devices for a certain period of learning when requested to be registered as a customer. From the IoT device installed in the residential area of the person living alone who requested registration, the visual information obtained by detecting the movement of the person living alone among the sensor data collected through the IoT network is set as learning data, and the visual information is a characteristic value. A reference value is defined by learning according to the Mahalanobis distance, and after the predetermined learning period, the abnormality of the person living alone according to whether the Mahalanobis distance value for the sensor data of the received motion information exceeds the reference value. It characterized in that it comprises a monitoring server to determine whether or not.

상기 사물인터넷 디바이스는, 고유의 디바이스 식별정보를 저장하는 센서 저장부; 상기 주거영역의 분할공간에 설치되어 분할공간의 독거인의 움직임을 검출하여 움직임의 검출 여부에 따른 센서데이터를 출력하는 센서부; 상기 사물인터넷망에 무선으로 접속하여 상기 모니터링 서버와 데이터 통신을 수행할 수 있도록 하는 무선통신부; 및 주기적으로 상기 센서부를 제어하여 센서데이터를 획득하고, 상기 센서데이터를 획득한 시각에 대한 시각정보를 획득하여 센서데이터 및 시각정보를 포함하는 상기 움직임 정보를 생성한 후, 상기 무선통신부를 통해 상기 모니터링 서버로 전송하는 센서 제어부를 포함하는 것을 특징으로 한다.The IoT device includes: a sensor storage unit for storing unique device identification information; A sensor unit installed in the divided space of the residential area to detect the movement of a person living alone in the divided space and output sensor data according to whether or not the movement is detected; A wireless communication unit for wirelessly accessing the IoT network to perform data communication with the monitoring server; And periodically controlling the sensor unit to obtain sensor data, acquiring visual information on the time at which the sensor data is acquired to generate the motion information including sensor data and time information, and then generating the motion information including the sensor data and the time information, and the It characterized in that it comprises a sensor control unit for transmitting to the monitoring server.

상기 센서부는, 상기 분할공간에서 독거인의 움직임을 검출하는 물체검출 센서부; 및 상기 분할공간으로 출입하는 출입문에 설치되어 상기 독거인의 상기 분할공간의 출입 여부를 측정하는 분할공간 출입검출 센서부 중 어느 하나 이상을 포함하고, 상기 센서 제어부는, 상기 물체검출 센서부에서 출력되는 물체검출 센서데이터 및 출입검출 센서부에서 출력되는 출입검출 센서데이터 중 하나 이상을 상기 움직임 정보에 포함하여 전송하는 것을 특징으로 한다.The sensor unit may include an object detection sensor unit for detecting a movement of a person living alone in the divided space; And one or more of a divided space access detection sensor unit installed at an entrance door to the divided space and measuring whether the person living alone enters the divided space, wherein the sensor control unit is output from the object detection sensor unit. At least one of the object detection sensor data and the entrance detection sensor data output from the entrance detection sensor unit is included in the motion information and transmitted.

상기 센서 제어부는, 주기적으로 상기 센서부를 통해 센서데이터를 수집하고, 수집된 센서데이터 및 해당 센서데이터가 수집된 시각에 대한 시각정보를 출력하는 센서데이터 수집부; 상기 센서데이터 수집부를 통해 수집된 센서데이터, 시각정보 및 상기 센서 저장부에 저장된 디바이스 식별정보를 포함하는 움직임 정보를 생성하여 출력하는 움직임 정보 생성부; 및 상기 움직임 정보 생성부로부터 출력되는 움직임 정보를 무선통신부를 통해 상기 모니터링 서버로 전송하는 움직임 정보 제공부를 포함하는 것을 특징으로 한다.The sensor control unit includes: a sensor data collection unit that periodically collects sensor data through the sensor unit and outputs the collected sensor data and visual information about a time at which the sensor data is collected; A motion information generator for generating and outputting motion information including sensor data, time information, and device identification information stored in the sensor storage unit collected through the sensor data collection unit; And a motion information providing unit for transmitting motion information output from the motion information generating unit to the monitoring server through a wireless communication unit.

사물인터넷 디바이스는, 스피커 및 마이크를 구비하고, 고객 이상 확인 오디오 음성 신호를 입력받아 스피커를 통해 가청음으로 출력하고, 스피커를 통해 출력된 상기 고객 이상 확인 오디오 음성 신호에 대한 가청음에 대해 고객인 독거인으로부터 발화된 응답 음성을 상기 마이크를 통해 획득하여 출력하는 오디오 처리부를 더 포함하되, 상기 센서 제어부는, 상기 학습 이후 상기 움직임 정보를 제공한 후 상기 모니터링 서버로부터 고객 이상 확인 요청 신호의 수신 시 상기 오디오 처리부를 통해 상기 고객 이상 확인 오디오 음성 신호를 가청음으로 출력하고, 그에 대한 상기 응답 음성을 상기 무선통신부를 통해 상기 모니터링 서버로 전송하고, 상기 모니터링 서버는, 상기 독거인 이상 여부 판단에서 독거인에 이상이 있는 것으로 판단되면 상기 고객 이상 확인 요청 신호를 상기 사물인터넷 디바이스로 전송하고, 상기 고객 이상 확인 요청 신호에 대한 응답인 응답 음성의 수신 여부에 의해 독거인의 이상 여부를 판단하는 것을 특징으로 한다.The IoT device is equipped with a speaker and a microphone, receives a customer abnormality confirmation audio signal and outputs an audible sound through a speaker, and a customer living alone with respect to the audible sound for the customer abnormality confirmation audio signal output through the speaker. Further comprising an audio processing unit for acquiring and outputting the response voice spoken from the microphone through the microphone, wherein the sensor control unit provides the motion information after the learning, and then the audio when receiving a customer abnormality confirmation request signal from the monitoring server. The customer abnormality confirmation audio signal is output as an audible sound through the processing unit, and the response voice is transmitted to the monitoring server through the wireless communication unit, and the monitoring server is abnormal in determining whether the person living alone is abnormal. If it is determined that there is an abnormality confirmation request signal, the IoT device transmits the customer abnormality confirmation request signal, and determines whether the person living alone is abnormal based on whether a response voice, which is a response to the customer abnormality confirmation request signal, is received.

상기 모니터링 서버는, 고객으로 등록된 독거인에 대한 독거인 정보, 독거인별로 각 주거영역의 분할공간에 대한 분할공간 정보 및 상기 분할공간에 설치된 사물인터넷 디바이스의 디바이스 식별정보를 포함하는 디바이스 정보를 저장하는 등록 DB, 상기 센서데이터를 저장하는 센서데이터 DB, 상기 학습데이터를 저장하는 학습데이터 DB, 고객의 이상 여부 판단 이력 정보를 저장하는 고객 이상 이력 DB를 포함하는 서버 저장부; 상기 사물인터넷망을 통해 하나 이상의 사물인터넷 디바이스와 데이터 통신을 수행하도록 하는 서버 통신부; 및 고객으로 등록 요청 시 독거인 정보, 분할공간 정보 및 디바이스 정보를 포함하는 등록정보를 획득하여 상기 등록 DB에 저장하고, 상기 등록정보가 저장된 고객인 독거인에 대해 일정 학습기간 동안 수집되는 움직임 정보의 센서데이터 중 독거인의 움직임이 검출된 센서데이터가 획득된 시각을 특성치로 하는 마할라노비스 거리에 따른 학습을 수행하여 기준값을 정의하여 상기 학습데이터 DB에 저장하며, 상기 일정 학습기간 후, 수신되는 움직임 정보의 센서데이터에 대한 마할라노비스 거리값인 고객 상태값이 상기 기준값를 초과하는지의 여부에 따라 독거인의 이상 여부를 판단하는 서버 제어부를 포함하는 것을 특징으로 한다.The monitoring server includes device information including information about a person living alone about a person who lives alone registered as a customer, information about a divided space for a divided space of each residential area for each person living alone, and device identification information of an IoT device installed in the divided space. A server storage unit including a registration DB to store, a sensor data DB to store the sensor data, a learning data DB to store the learning data, and a customer abnormality history DB to store customer abnormality determination history information; A server communication unit configured to perform data communication with one or more IoT devices through the IoT network; And when a customer requests registration, registration information including information on a person living alone, information on divided spaces, and device information is acquired and stored in the registration DB, and movement information is collected for a certain learning period for the person living alone, the customer in which the registration information is stored. Of the sensor data of the person living alone, learning is performed according to the Mahalanobis distance using the time at which the sensor data from which the movement of the person living alone is acquired is a characteristic value, and a reference value is defined and stored in the learning data DB, and received after the predetermined learning period. And a server control unit that determines whether a person living alone is abnormal according to whether a customer status value, which is a Mahalanobis distance value for sensor data of the motion information, exceeds the reference value.

상기 서버 제어부는, 고객으로 등록 요청 시 독거인 정보, 분할공간 정보 및 디바이스 정보를 포함하는 등록정보를 획득하여 상기 등록 DB에 저장하여 관리하는 등록정보 획득부, 및 상기 등록정보가 저장된 고객의 독거인에 대해 일정 학습기간 동안 주거영역에 설치된 사물인터넷 디바이스로부터 수집되는 움직임 정보의 센서데이터 중 독거인의 움직임이 검출된 센서데이터가 획득된 시각정보를 학습데이터로 설정하여 상기 학습데이터 DB에 저장하고 상기 학습데이터의 시각을 특성치로 하는 마할라노비스 거리에 따른 학습을 수행하여 기준값을 정의하여 상기 학습데이터 DB에 저장하는 정상상태 학습부를 포함하는 등록부; 상기 등록부에 등록된 고객인 독거인의 주거영역의 분할공간에 설치된 사물인터넷 디바이스들로부터 움직임 정보를 수집하여 상기 일정 학습기간 동안 상기 등록부의 정상상태 학습부로 제공하고, 상기 일정 학습기간 후 출력하는 움직임 정보 수집부; 상기 일정 학습기간 후 상기 움직임 정보 수집부로부터 독거인별 움직임 정보를 입력받아 마할라노비스 거리값인 고객 상태값을 계산하여 출력하는 고객 상태값 계산부; 및 상기 고객 상태값과 상기 기준값을 비교하여 상기 고객 상태값이 상기 기준값을 초과하면 고객인 독거인에게 이상이 있는 것으로 판단하고, 초과하지 않으면 정상인 것으로 판단하는 고객 상태 판단부를 포함하는 것을 특징으로 한다.The server control unit is a registration information acquisition unit that acquires registration information including information on a person living alone, information on divided spaces, and device information when a customer requests registration, and stores and manages registration information in the registration DB, and the customer living alone in which the registration information is stored. Among the sensor data of motion information collected from IoT devices installed in a residential area for a certain learning period, the visual information obtained by detecting the movement of a person living alone is set as learning data and stored in the learning data DB. A registration unit including a steady state learning unit for defining a reference value by performing learning according to a Mahalanobis distance having a time of the learning data as a characteristic value, and storing it in the learning data DB; Movement information collected from IoT devices installed in the divided space of the residential area of the customer registered in the register, provided to the steady state learning unit of the registration unit during the predetermined learning period, and output after the predetermined learning period Information collection unit; A customer state value calculator configured to receive motion information for each individual living alone from the motion information collecting unit after the predetermined learning period, calculate and output a customer state value, which is a Mahalanobis distance value; And a customer status determination unit comparing the customer status value with the reference value, and determining that there is an abnormality in the person living alone, if the customer status value exceeds the reference value, and determining that it is normal if it does not exceed the customer status value. .

상기 서버 제어부는, 상기 고객상태 판단부에서 고객에 이상이 있는 것으로 판단되면 상기 서버 통신부를 통해 사물인터넷 디바이스로 고객 이상 확인 요청 신호를 전송하고, 그에 대한 응답 음성을 수신받아 분석하여 상기 응답 음성이 해당 고객인 독거인의 음성인지 여부 및 상기 독거인의 상태가 정상임을 확인할 수 있는 음성인지를 확인하여 상기 독거인의 이상 여부를 확인하는 고객 이상 확인부를 더 포함하는 것을 특징으로 한다.The server control unit transmits a customer abnormality confirmation request signal to the IoT device through the server communication unit when the customer status determination unit determines that there is an abnormality in the customer, receives and analyzes the response voice, and generates the response voice. It characterized in that it further comprises a customer abnormality check unit that checks whether or not the person living alone is abnormal by checking whether the voice of the person living alone is the corresponding customer and whether the voice can confirm that the state of the person living alone is normal.

상기 서버 저장부는, 상기 독거인의 이상 시 상기 독거인을 도와줄 수 있는 유관기관의 단말기인 통지 대상 단말부 정보를 포함하는 유관기관 정보를 저장하는 유관기관 DB를 더 포함하고, 상기 서버 제어부는, 상기 독거인에게 이상이 있는 것으로 판단되면 상기 유관기관 DB로부터 상기 독거인을 도와줄 수 있는 유관기관 정보를 획득하고, 유관기관 정보의 통지 대상 단말부로 상기 고객인 독거인에 대한 독거인 정보를 포함하는 고객 이상 통지 정보를 전송하여 상기 독거인의 이상을 통지하는 고객 이상 통지부를 더 포함하는 것을 특징으로 한다.The server storage unit further includes a related institution DB for storing information on related institutions including information on a terminal unit to be notified, which is a terminal of a related institution capable of helping the person living alone in case of an abnormality in the person living alone, and the server control unit , If it is determined that the person living alone has an abnormality, information about the person living alone is obtained from the DB of the related institution, and information about the person living alone, who is the customer, is sent to the terminal unit to be notified of the information on the relevant institution. It characterized in that it further comprises a customer abnormality notification unit for notifying the abnormality of the person living alone by transmitting the included customer abnormality notification information.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 방법은: 독거인의 주거영역 적어도 하나 이상의 분할공간 내에 설치된 사물인터넷 디바이스가 상기 분할공간 내에서의 상기 독거인의 움직임 검출 여부에 따른 센서데이터, 상기 센서데이터를 획득하였을 때의 시각정보 및 디바이스 식별정보를 포함하는 움직임 정보를 사물인터넷망으로 전송하는 움직임 정보 제공 과정; 및 모니터링 서버가 상기 사물인터넷 디바이스로부터 수신되는 움직임 정보의 센서데이터가 획득된 시각을 특성치로 하는 마할라노비스 거리값이 미리 설정된 기준값를 초과하는지의 여부에 따라 독거인의 이상 여부를 판단하는 독거인 이상 여부 판단 과정을 포함하는 것을 특징으로 한다.A method for learning and monitoring a living pattern of a person living alone using an IoT network according to the present invention for achieving the above object is: An IoT device installed in at least one divided space in the residential area of the person living alone is living alone in the divided space. A motion information providing process of transmitting motion information including sensor data according to whether a person's motion is detected, visual information when the sensor data is acquired, and device identification information to an IoT network; And an abnormality of a person living alone in which the monitoring server determines whether the person living alone is abnormal according to whether the Mahalanobis distance value, which has a characteristic value at the time at which the sensor data of the motion information received from the IoT device is acquired, exceeds a preset reference value. It characterized in that it includes a process of determining whether or not.

상기 모니터링 서버가 모니터링 대상인 독거인으로 등록을 요청하는 고객 등록 요청 시 고객인 독거인이 정상인 상태에 대해 일정 학습기간 동안 수집되는 움직임 정보의 센서데이터 중 독거인의 움직임이 검출된 센서데이터가 획득된 시각을 특성치로 하는 마할라노비스 거리에 따른 학습을 수행하여 기준값을 정의하여 상기 학습데이터 DB에 저장하는 등록 과정을 더 포함하는 것을 특징으로 한다.When a customer registration request is requested by the monitoring server as a monitored person living alone, the sensor data in which the movement of the person living alone is detected among the sensor data of the movement information collected for a certain period of learning about the state in which the person living alone is a normal state is acquired. It characterized by further comprising a registration process of defining a reference value by performing learning according to a Mahalanobis distance having time as a characteristic value, and storing it in the learning data DB.

상기 등록 과정은, 상기 모니터링 서버가 모니터링 대상인 독거인으로 등록을 요청하는 고객 등록 요청 시 독거인 정보, 독거인이 거주하는 상기 주거영역의 분할공간에 대한 분할공간 정보 및 상기 분할공간에 설치된 디바이스 정보를 포함하는 등록정보를 획득하여 상기 등록 DB에 저장하는 등록정보 등록 단계; 및 상기 등록정보가 등록된 고객인 독거인이 정상인 상태에 대해 일정 학습기간 동안 수집되는 움직임 정보의 센서데이터 중 독거인의 움직임이 검출된 센서데이터가 획득된 시각을 특성치로 하는 마할라노비스 거리에 따른 학습을 수행하여 기준값을 정의하여 상기 학습데이터 DB에 저장하는 학습 단계를 포함하는 것을 특징으로 한다.The registration process includes information on a person living alone when a customer registration request for registration as a single person to be monitored by the monitoring server, information on a divided space for a divided space in the residential area in which the person living alone resides, and information on a device installed in the divided space. A registration information registration step of obtaining registration information including a and storing it in the registration DB; And the time at which the sensor data at which the movement of the person living alone is detected among the sensor data of the movement information collected during a certain learning period is obtained for a normal state of the registered customer, the person living alone, as a characteristic value. And a learning step of defining a reference value by performing the following learning and storing it in the learning data DB.

상기 독거인 이상 여부 판단 과정은, 모니터링 서버부의 서버 제어부가 움직임 정보 수집부를 통해 등록부에 등록된 고객인 독거인의 주거영역의 분할공간에 설치된 사물인터넷 디바이스들로부터 움직임 정보를 수집하는 움직임 정보 수집 단계; 상기 서버 제어부가 고객 상태값 계산부를 통해 상기 움직임 정보 수집부로부터 독거인별 움직임 정보를 입력받아 마할라노비스 거리값인 고객 상태값을 계산하여 출력하는 고객 상태값 계산 단계; 및 상기 서버 제어부가 고객 상태 판단부를 통해 상기 고객 상태값과 상기 기준값을 비교하여 상기 고객 상태값이 상기 기준값을 초과하면 고객인 독거인에게 이상이 있는 것으로 판단하고, 초과하지 않으면 정상인 것으로 판단하는 고객 상태 판단 단계를 포함하는 것을 특징으로 한다.The process of determining whether the person living alone is abnormal is a motion information collection step in which the server control unit of the monitoring server unit collects motion information from IoT devices installed in the divided spaces of the residential area of the customer living alone registered in the registration unit through the movement information collection unit. ; A customer state value calculation step in which the server control unit receives motion information for each individual living alone from the motion information collection unit through a customer state value calculation unit, calculates and outputs a customer state value, which is a Mahalanobis distance value; And the server control unit compares the customer status value with the reference value through the customer status determination unit, and if the customer status value exceeds the reference value, it is determined that there is an abnormality in the person living alone, and if it does not exceed the customer status value, the customer determines that it is normal. It characterized in that it comprises a state determination step.

상기 방법은: 상기 서버 제어부가 고객 이상 확인부를 통해 상기 고객상태 판단 단계에서 고객에 이상이 있는 것으로 판단되면 서버 통신부를 통해 사물인터넷 디바이스로 고객 이상 확인 요청 신호를 전송하고, 그에 대한 응답 음성을 수신받아 분석하여 상기 응답 음성이 해당 고객인 독거인의 음성인지 여부 및 상기 독거인의 상태가 정상임을 확인할 수 있는 음성인지를 확인하여 상기 독거인의 이상 여부를 확인하는 고객 이상 확인 과정을 더 포함하는 것을 특징으로 한다.The method includes: If the server control unit determines that there is an abnormality in the customer in the customer condition determination step through the customer abnormality check unit, it transmits a customer abnormality confirmation request signal to the IoT device through the server communication unit, and receives a response voice. Receiving and analyzing, further comprising a customer abnormality verification process of confirming whether the response voice is the voice of the person living alone and whether the voice that can confirm that the state of the person living alone is normal, and confirming whether the person living alone is abnormal. It is characterized by that.

상기 방법은: 상기 서버 제어부가 상기 독거인에게 이상이 있는 것으로 판단되면 유관기관 DB로부터 상기 독거인을 도와줄 수 있는 유관기관 정보를 획득하고, 유관기관 정보의 통지 대상 단말부로 상기 고객인 독거인의 독거인 정보를 포함하는 독거인의 이상을 알리는 고객 이상 통지 정보를 전송하여 상기 독거인의 이상을 통지하는 고객 이상 통지 과정을 더 포함하는 것을 특징으로 한다. The method is: If the server control unit determines that the person living alone has an abnormality, obtains information on the related organization that can help the person living alone from the DB of the related institution, and sends the information to the terminal unit to which the person living alone is notified of the information on the relevant organization. It characterized in that it further comprises a customer abnormality notification process of notifying the abnormality of the person living alone by transmitting the customer abnormality notification information notifying the abnormality of the person living alone, including information on the person living alone.

본 발명은 주거영역의 분할공간별로 설치된 움직임 센서에 의해 획득되는 센서데이터 중 독거인의 움직임이 검출된 시간을 학습데이터로 설정하여 마할라노비스 거리에 의한 학습을 수행하고, 이를 기준으로 독거인의 이상 여부를 판단하므로 독거인의 이상 상태 여부 판단의 정확성을 향상시킬 수 있는 효과가 있다. The present invention performs learning by Mahalanobis distance by setting the time at which the motion of a single person is detected among sensor data acquired by a motion sensor installed for each divided space of a residential area as learning data, and performs learning based on this. Since the abnormality is determined, there is an effect of improving the accuracy of the determination of the abnormality of the person living alone.

또한, 본 발명은 주거영역의 분할공간별로 설치되는 움직임 센서에 의해서만 독거인의 이상 상태 여부를 판단할 수 있으므로 시스템 구축비용을 낮출 수 있고, 이로 인해 더욱 많은 가입자를 유치할 수 있는 효과가 있다.In addition, according to the present invention, since it is possible to determine whether or not a person living alone is in an abnormal state only by a motion sensor installed for each divided space of a residential area, the system construction cost can be lowered, and thus, there is an effect of attracting more subscribers.

도 1은 본 발명에 따른 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템의 사물인터넷 디바이스의 구성을 나타낸 도면이다.
도 3은 본 발명에 따른 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템의 모니터링 서버의 구성을 나타낸 도면이다.
도 4는 본 발명에 따른 독거인 모니터링 서버의 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 방법을 나타낸 흐름도이다.
도 5는 본 발명에 따른 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 방법 중 모니터링을 수행할 독거인 등록 방법을 나타낸 흐름도이다.1 is a diagram showing the configuration of a life pattern learning and monitoring system for a person living alone using an IoT network according to the present invention.
2 is a diagram showing the configuration of an IoT device of a system for learning and monitoring a living pattern of a person living alone using an IoT network according to the present invention.
3 is a diagram showing the configuration of a monitoring server of a system for learning and monitoring a living alone person using an IoT network according to the present invention.
4 is a flowchart illustrating a method of learning and monitoring a living pattern of a living alone using an IoT network of a monitoring server living alone according to the present invention.
5 is a flowchart illustrating a method of registering a person living alone to perform monitoring among the method of learning and monitoring a living pattern of a person living alone using an IoT network according to the present invention.

이하 첨부된 도면을 참조하여 본 발명에 따른 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템의 구성 및 동작을 상세히 설명하고, 상기 시스템에서의 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 방법을 설명한다.Hereinafter, with reference to the accompanying drawings, the configuration and operation of a system for learning and monitoring a life pattern for a person living alone using an IoT network according to the present invention will be described in detail, and a method for learning and monitoring a life pattern for a person living alone using an IoT network in the system. do.

도 1은 본 발명에 따른 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템의 구성을 나타낸 도면이다.1 is a diagram showing the configuration of a life pattern learning and monitoring system for a single person using an IoT network according to the present invention.

도 1을 참조하면, 본 발명에 따른 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템은 적어도 하나 이상의 사물인터넷(Internet of thing: IoT) 디바이스(100) 및 모니터링 서버(200)를 포함하고, 실시예에 따라 통지 대상 단말부(300)를 더 포함할 수 있을 것이다.Referring to FIG. 1, a system for learning and monitoring a living pattern of a person living alone using an IoT network according to the present invention includes at least one Internet of thing (IoT) device 100 and a monitoring server 200, and is implemented. According to an example, the notification target terminal unit 300 may be further included.

사물인터넷 디바이스(100), 모니터링 서버(200) 및 통지 대상 단말부(300)는 와이파이(WiFi)망을 형성하는 액세스 포인트(Access Point: AP)(11)를 포함하는 유무선 데이터통신망(10)을 통해 연결되어 상호 데이터 통신을 수행한다.The IoT device 100, the monitoring server 200, and the notification target terminal 300 include a wired/wireless data communication network 10 including an Access Point (AP) 11 forming a WiFi network. It is connected through and performs data communication with each other.

상기 AP(11)는 상기 사물인터넷 디바이스(100)가 설치되는 모니터링할 고객으로 등록을 요청한 독거인의 주거영역(1) 내에 설치되는 것이 바람직할 것이다. 또한, 상기 AP(11)는 테더링 모드로 동작하여 AP의 기능을 수행하는 스마트폰, 스마트패드 등의 스마트 단말기일 수 있을 것이다.It is preferable that the AP 11 be installed in the residential area 1 of the person living alone who has requested registration as a customer to be monitored where the IoT device 100 is installed. In addition, the AP 11 may be a smart terminal such as a smart phone or a smart pad that operates in a tethering mode and performs the function of the AP.

상기 유무선 데이터통신망(10)은 상술한 바와 같이 와이파이(WiFi)망을 포함하는 광대역망(Wide Area Network: WAN) 등을 포함하는 망일 수 있으며, 상기 AP(11)가 스마트 단말기일 경우 와이파이망을 포함하는 광대역망 및 3세대(3 Generation: 3G), 4G, 5G 등의 이동통신망 중 하나 이상이 결합되어 있는 통신망일 수 있을 것이다.The wired/wireless data communication network 10 may be a network including a wide area network (WAN) including a Wi-Fi network as described above, and when the AP 11 is a smart terminal, a Wi-Fi network is used. It may be a communication network in which one or more of the included broadband network and mobile communication networks such as 3G, 4G, and 5G are combined.

상기 유무선 데이터통신망(10)은 블루투스(Bluetooth), 지그비(Zigbee), 광대역무선통신(Ultra Wide Band: UWB) 등의 근거리 무선통신에 의해 다수의 사물인터넷 디바이스(100)들 간 형성될 수 있는 메쉬(Mesh)망 등이 포함될 수도 있을 것이다.The wired/wireless data communication network 10 is a mesh that can be formed between a plurality of IoT devices 100 by short-range wireless communication such as Bluetooth, Zigbee, and Ultra Wide Band (UWB). (Mesh) may be included.

상기 유무선 데이터 통신망(10)은 본 발명에 따라 사물인터넷 디바이스(100)들과 그 서비스를 위한 장치들간에 통신망을 제공하므로 이하 사물인터넷망이라 한다.Since the wired/wireless data communication network 10 provides a communication network between the IoT devices 100 and devices for the service according to the present invention, it is referred to as an IoT network below.

사물인터넷 디바이스(100)는 고유의 디바이스 식별정보를 가지고 있으며, 모니터링할 고객으로 등록을 요청한 독거인의 주거영역(1)에 적어도 하나 이상 설치되어 독거인의 움직임을 검출하고, 독거인의 움직임 검출 여부 정보가 내포된 센서데이터, 센서데이터를 획득한 시각의 시각정보 및 자신의 디바이스 식별정보를 포함하는 움직임 정보를 주기적으로 생성하여 AP(11)를 포함하는 사물인터넷망(10)을 통해 모니터링 서버(200)로 전송한다. The IoT device 100 has unique device identification information, and is installed at least one in the residential area 1 of the person living alone who requested registration as a customer to be monitored to detect the movement of the person living alone and detect the movement of the person living alone. Monitoring server through the IoT network 10 including the AP 11 by periodically generating sensor data containing information on whether the sensor data, visual information at the time the sensor data was acquired, and motion information including the device identification information Send to 200.

사물인터넷 디바이스(100)는 주거영역(1)이 도 1과 같이 다수개의 분할공간(2, 3, 4)을 구비하는 경우 분할공간마다 각각 적어도 하나 이상 설치되는 것이 바람직할 것이다.In the case where the residential area 1 includes a plurality of divided spaces 2, 3, and 4 as shown in FIG. 1, it is preferable that at least one of the IoT device 100 is installed for each divided space.

또한, 사물인터넷 디바이스(100)는 고객인 독거인의 움직임을 검출하기 위해 분할공간을 이동하는 출입문에 설치되는 출입검출형 사물인터넷 디바이스(100-2, 100-3)와 분할공간 내에서의 독거인의 움직임을 검출하는 움직임 검출형 사물인터넷 디바이스(100-1, 100-4, 100-5 등)로 구분될 수 있을 것이다.In addition, the IoT device 100 includes access detection-type IoT devices (100-2, 100-3) installed at the entrance door that moves through the divided space to detect the movement of the individual living alone, as a customer, and living alone in the divided space. It may be classified as a motion detection type IoT device (100-1, 100-4, 100-5, etc.) that detects the movement of a person.

모니터링 서버(200)는 다수의 독거인을 고객으로 등록하고 있으며, 고객으로 등록된 각 독거인에 대해 주거영역(1)의 적어도 하나 이상의 분할공간에 설치된 사물인터넷 디바이스(100)의 디바이스 식별정보 및 분할공간 정보를 저장하여 수신된 움직임 정보가 어떤 독거인의 어떤 분할공간에 설치된 사물인터넷 디바이스(100)인지를 식별한다.The monitoring server 200 registers a plurality of people living alone as customers, and device identification information of the IoT device 100 installed in at least one or more divided spaces of the residential area 1 for each individual living alone registered as a customer, and The divided space information is stored, and the received motion information is identified as the IoT device 100 installed in which divided space of a person living alone.

모니터링 서버(200)는 고객으로 등록 요청 시 일정 학습기간 동안 고객으로 등록 요청한 독거인의 주거영역(1)의 분할공간에 설치된 사물인터넷 디바이스(100)로부터 상기 사물인터넷망(10)을 통해 수집되는 움직임 정보의 센서데이터 중 독거인의 움직임이 검출된 센서데이터가 획득된 시각정보를 학습데이터로 설정하고, 수집된 학습데이터에 대해 마할라노비스 거리에 따른 학습을 수행하여 관리 한계선값인 기준값(X2 a,m)을 정의하며, 상기 일정 학습기간 후, 수신되는 움직임 정보의 센서데이터에 대한 마할라노비스 거리값이 상기 기준값를 초과하는지의 여부에 따라 독거인의 이상 여부를 판단한다.When requesting registration as a customer, the monitoring server 200 collects through the IoT network 10 from the IoT device 100 installed in the divided space of the residential area 1 of the person living alone who requested registration as a customer for a certain learning period. Among the sensor data of the motion information, the visual information from which the sensor data of the movement of the person living alone is acquired is set as the learning data, and the collected learning data is learned according to the Mahalanobis distance, and the reference value (X 2 a, m ) is defined, and whether a person living alone is abnormal is determined according to whether the Mahalanobis distance value for sensor data of the received motion information exceeds the reference value after the predetermined learning period.

모니터링 서버(200)는 이상이 발생한 독거인에게 도움을 줄 수 있는 관계자, 보호자 및 경찰서, 소방서, 구조대 등과 같은 유관기관의 통지 대상 단말부(300)에 대한 유관기관 정보를 저장하여 관리하고, 독거인에게 이상 발생 시 독거인에 대응하는 관계자, 보호자 및 유관기관 중 어느 하나 이상의 통지 대상 단말부(300)로 고객 이상을 통지한다.The monitoring server 200 stores and manages information of related organizations on the terminal unit 300 to be notified by related organizations, such as officials, guardians, and police stations, fire departments, rescue teams, etc., who can help a person living alone with an abnormality. When an abnormality occurs to a person, the abnormality of the customer is notified to the terminal unit 300 to be notified of at least one of a person concerned, a guardian, and a related organization corresponding to the person living alone.

통지 대상 단말부(300)는 관계자, 보호자 등의 스마트폰, 스마트 패드 등의 스마트 단말기일 수도 있고, 병원, 경찰서, 소방서, 구조대 등의 컴퓨터 단말기 또는 서버일 수 있을 것이며, 병원, 경찰서, 소방, 구조대의 유선전화일 수도 있을 것이다.The notification target terminal unit 300 may be a smart terminal such as a smartphone or a smart pad such as a person concerned or a guardian, or may be a computer terminal or server such as a hospital, a police station, a fire station, a rescue team, etc., and may be a hospital, a police station, a fire station, etc. It could be a landline phone for the rescue team.

유관기관의 전화인 경우, 모니터링 서버(200)는 자동발신시스템(미도시) 등과 연동하여 동작하여야 할 것이다.In the case of a phone call from a related institution, the monitoring server 200 should operate in conjunction with an automatic calling system (not shown).

도 2는 본 발명에 따른 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템의 사물인터넷 디바이스의 구성을 나타낸 도면이다.2 is a diagram showing the configuration of an IoT device of a system for learning and monitoring a living pattern of a person living alone using an IoT network according to the present invention.

도 2를 참조하면, 사물인터넷 디바이스(100)는 센서 저장부(110), 센서부(120), 무선통신부(130) 및 센서 제어부(150)를 포함하고, 실시예에 따라 오디오 처리부(140)를 더 포함할 수 있을 것이다.Referring to FIG. 2, the IoT device 100 includes a sensor storage unit 110, a sensor unit 120, a wireless communication unit 130, and a sensor control unit 150, and an audio processing unit 140 according to an embodiment. It may include more.

센서 저장부(110)는 본 발명에 따른 사물인터넷 디바이스(100)의 동작을 제어하기 위한 제어프로그램을 저장하는 프로그램영역, 상기 제어프로그램 수행 중에 발생되는 데이터를 일시 저장하는 임시영역, 상기 제어프로그램 수행 중에 필요하거나 발생되는 데이터를 반영구적으로 저장하는 데이터영역을 포함한다. 상기 제어프로그램영역 및 데이터영역 중 어느 하나에 디바이스 식별정보를 저장하고 있으며, 상기 데이터영역에는 측정되는 센서데이터를 일정 기간 동안 저장할 수 있을 것이다.The sensor storage unit 110 includes a program area for storing a control program for controlling the operation of the IoT device 100 according to the present invention, a temporary area for temporarily storing data generated during execution of the control program, and executing the control program. It includes a data area for semi-permanently storing data required or generated during the process. The device identification information may be stored in one of the control program area and the data area, and the measured sensor data may be stored for a predetermined period in the data area.

센서부(120)는 움직임 검출형 사물인터넷 디바이스(100)인 경우, 적외선 센서, 초음파 센서, 광 센서 등을 포함하고, 해당 검출 매체(적외선, 초음파, 광)의 변화에 따른 센서데이터를 센서 제어부(150)로 출력하고, 출입검출형 사물인터넷 디바이스(100)인 경우, 광센서(발광부 및 수광부), 압력센서, 마그네틱센서 등을 포함하고, 그에 따른 센서데이터를 센서 제어부(150)로 출력한다.In the case of the motion detection type IoT device 100, the sensor unit 120 includes an infrared sensor, an ultrasonic sensor, an optical sensor, etc., and the sensor control unit receives sensor data according to a change in a corresponding detection medium (infrared, ultrasonic, light). Output to 150, and in the case of the access detection type IoT device 100, including a light sensor (light-emitting unit and light-receiving unit), a pressure sensor, a magnetic sensor, etc., and outputs sensor data according to the sensor control unit 150 do.

무선 통신부(130)는 AP(11)를 통해 사물인터넷망(10)에 접속하여 모니터링 서버(200)와 데이터 통신을 수행할 수 있도록 한다.The wireless communication unit 130 connects to the IoT network 10 through the AP 11 to perform data communication with the monitoring server 200.

오디오 처리부(140)는 스피커 및 마이크를 포함하여 센서 제어부(150)로부터 입력되는 오디오 데이터를 스피커를 통해 가청음으로 출력하고, 마이크를 통해 고객, 즉 독거인이 발화하는 음성에 대한 응답 음성신호를 획득한 후 응답 음성데이터로 변환하여 센서 제어부(150)로 출력한다.The audio processing unit 140 outputs audio data input from the sensor control unit 150 including a speaker and a microphone as an audible sound through the speaker, and obtains a response voice signal for the voice spoken by a customer, that is, a person living alone through the microphone. Then, it is converted into response voice data and output to the sensor control unit 150.

센서 제어부(150)는 센서데이터 수집부(151), 움직임 정보 생성부(152), 움직임 정보 제공부(153)를 포함하고, 실시예에 따라 고객 이상 확인 처리부(154)를 더 포함하여, 본 발명에 따른 사물인터넷 디바이스(100)의 전반적인 동작을 제어한다.The sensor control unit 150 includes a sensor data collection unit 151, a motion information generation unit 152, and a motion information providing unit 153, and further includes a customer abnormality confirmation processing unit 154 according to an embodiment, Controls the overall operation of the IoT device 100 according to the invention.

구체적으로 설명하면, 센서 제어부(150)의 센서데이터 수집부(151)는 주기적으로 센서부(120)를 통해 주거영역(1)의 해당 분할공간(2, 3 또는 4)에 대한 센서데이터 및 센서데이터가 수집된 시각정보를 수집한다.Specifically, the sensor data collection unit 151 of the sensor control unit 150 periodically transmits sensor data and sensors for the corresponding divided spaces 2, 3 or 4 of the residential area 1 through the sensor unit 120. Collect visual information from which data was collected.

움직임 정보 생성부(152)는 상기 센서데이터 수집부(151)를 통해 수집된 센서데이터, 시각정보, 센서 저장부(110)에 저장되어 있는 디바이스 식별정보를 포함하는 움직임 정보를 생성한다.The motion information generation unit 152 generates motion information including sensor data, time information, and device identification information stored in the sensor storage unit 110 collected through the sensor data collection unit 151.

움직임 정보 제공부(153)는 AP(11)와의 무선설정을 통해 무선연결되어, 사물인터넷망(10)을 통해 상기 생성된 움직임 정보를 모니터링 서버(200)에 접속하여, 상기 모니터링 서버(200)로 움직임 정보를 제공한다.The motion information providing unit 153 is wirelessly connected through a wireless setting with the AP 11 and accesses the generated motion information to the monitoring server 200 through the IoT network 10, and the monitoring server 200 Provides motion information.

고객 이상 확인 처리부(154)는 실시예에 따라 구성되어 무선 통신부(130)를 통해 고객 이상 확인 요청 신호가 수신되면 오디오 처리부(140)로 고객의 이상 여부를 묻는 고객 이상 확인 오디오 음성신호를 출력하여 스피커를 통해 가청음으로 출력시키고, 그에 따라 마이크 및 오디오 처리부(140)를 통해 획득되는 응답 음성을 획득하여 무선 통신부(130), 사물인터넷망(10)을 통해 모니터링 서버(200)로 전송한다.The customer abnormality confirmation processing unit 154 is configured according to an embodiment, and when a customer abnormality confirmation request signal is received through the wireless communication unit 130, the audio processing unit 140 outputs a customer abnormality confirmation audio signal that asks for the customer's abnormality. An audible sound is output through a speaker, and a response voice obtained through the microphone and audio processing unit 140 is obtained accordingly, and transmitted to the monitoring server 200 through the wireless communication unit 130 and the IoT network 10.

사물인터넷 디바이스(100)는 무선설정, 센서 감도 설정 등을 위한 복수기 키를 포함하는 입력수단 및 이를 확인하기 위한 적어도 하나 이상의 발광다이오드, 또는 액정디스플레이(Liquid Crystal Display: LCD) 등이 더 포함될 수도 있을 것이다.The IoT device 100 may further include an input means including a plurality of keys for wireless setting, sensor sensitivity setting, etc., and at least one light-emitting diode or a liquid crystal display (LCD) for checking the same. will be.

도 3은 본 발명에 따른 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템의 모니터링 서버의 구성을 나타낸 도면이다.3 is a diagram showing the configuration of a monitoring server of a system for learning and monitoring a living alone person using an IoT network according to the present invention.

도 3을 참조하면, IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템은 서버 저장부(210), 서버 통신부(220) 및 서버 제어부(230)를 포함한다.Referring to FIG. 3, a system for learning and monitoring a living pattern of a person living alone using an IoT network includes a server storage unit 210, a server communication unit 220, and a server control unit 230.

서버 저장부(210)는 등록 DB(211), 센서데이터 DB(212), 학습데이터 DB(213), 유관기관 DB(214) 및 고객 이상 이력 DB(215)를 포함한다.The server storage unit 210 includes a registration DB 211, a sensor data DB 212, a learning data DB 213, a related institution DB 214, and a customer abnormality history DB 215.

등록 DB(211)는 고객으로 등록된 독거인에 대한 독거인 정보, 독거인별로 각 주거영역의 분할공간에 대한 분할공간 정보 및 상기 분할공간에 설치된 사물인터넷 디바이스의 디바이스 식별정보를 포함하는 디바이스 정보를 저장한다.The registration DB 211 is device information including information on a person living alone about a person who lives alone registered as a customer, information on a divided space for a divided space in each residential area for each person living alone, and device identification information of an IoT device installed in the divided space. Save it.

센서데이터 DB(212)는 독거인별 센서데이터를 저장한다.The sensor data DB 212 stores sensor data for each individual living alone.

학습데이터 DB(213)는 독거인별 학습데이터를 저장한다.The learning data DB 213 stores learning data for each individual living alone.

유관기관 DB(214)는 독거인에게 이상 발생 시 통지할, 병원, 경찰서, 소방서, 관계자 및 보호자 중 어느 하나 이상에 대한 통지 대상 단말부(300)에 대한 정보를 저장한다.The related institution DB 214 stores information on the notification target terminal unit 300 for any one or more of hospitals, police stations, fire departments, officials and guardians to notify when an abnormality occurs to a person living alone.

고객 이상 이력 유(215)는 고객의 이상 여부 판단 이력 정보를 저장한다.The customer abnormality history existence 215 stores the customer abnormality determination history information.

서버 통신부(220)는 사물인터넷망(10)에 접속하여 적어도 하나 이상의 독거인에 대한 주거영역(1)의 분할영역에 설치된 적어도 하나 이상의 사물인터넷 디바이스(100)들과 데이터 통신을 수행할 수 있도록 한다.The server communication unit 220 connects to the IoT network 10 to perform data communication with at least one IoT device 100 installed in a divided area of the residential area 1 for at least one or more individuals living alone. do.

서버 제어부(230)는 등록부(240), 움직임 정보 수집부(250), 고객 상태값 계산부(260) 및 고객 상태 판단부(270)를 포함하고, 실시예에 따라 고객 이상 확인부(280) 및 고객 이상 통지부(290)를 더 포함하여 본 발명의 모니터링 서버(200)의 전반적인 동작을 제어한다.The server control unit 230 includes a registration unit 240, a motion information collection unit 250, a customer status value calculation unit 260, and a customer status determination unit 270, and according to an embodiment, the customer abnormality check unit 280 And a customer abnormality notification unit 290 to control the overall operation of the monitoring server 200 of the present invention.

구체적으로 설명하면, 등록부(240)는 등록정보 획득부(240) 및 정상상태 학습부(242)를 포함하여 특정 독거인을 고객으로 등록한다.Specifically, the registration unit 240 includes a registration information acquisition unit 240 and a steady state learning unit 242 to register a specific person living alone as a customer.

상기 등록정보 획득부(240)는 고객으로 등록된 독거인에 대한 독거인 정보, 독거인별로 각 주거영역의 분할공간에 대한 분할공간 정보 및 상기 분할공간에 설치된 사물인터넷 디바이스의 디바이스 식별정보를 포함하는 디바이스 정보를 포함하는 등록정보를 획득하여 등록 DB(211)에 저장한다.The registration information acquisition unit 240 includes information about a person living alone about a person who lives alone registered as a customer, information about divided spaces for divided spaces in each residential area for each person living alone, and device identification information of IoT devices installed in the divided spaces. The registration information including the device information to be acquired is acquired and stored in the registration DB 211.

정상상태 학습부(242)는 고객으로 등록하고자 하는 독거인이 정상인 일정 학습기간을 설정하고, 상기 독거인이 정상인 상기 일정 학습기간 동안 후술할 움직임 정보 수집부(250)를 통해 사물인터넷 디바이스(100)별로 수집되는 학습데이터를 수집하고, 고객 상태값 계산부(260)를 통해 수집된 상기 학습데이터를 적용하여 계산된 마할라노비스 거리(Hotelling T2 Control Chart)를 학습하여 기준값(X2 a,m)을 생성한 후 등록 DB(211)의 해당 독거인에 맵핑하여 저장한다. 상기 학습데이터는 사물인터넷 디바이스(100)별로 수집되는 센서데이터를 검사하여 독거인이 감지된 경우의 시간으로, 벡터로 저장된다.The steady state learning unit 242 sets a certain learning period in which the person living alone to register as a customer is normal, and the IoT device 100 through the motion information collection unit 250, which will be described later, during the specific learning period in which the person living alone is normal. ), and by learning the Mahalanobis distance (Hotelling T2 Control Chart) calculated by applying the learning data collected through the customer state value calculation unit 260, the reference value (X 2 a, m). ) Is created and then mapped to the corresponding person living alone in the registration DB 211 and stored. The learning data is a time when a person living alone is detected by examining sensor data collected for each IoT device 100, and is stored as a vector.

마할라노비스는 하기 수학식 1에 의해 계산되며, 기준값은 마할라노비스의 관리 한계선(Control Limit)에 의해 계산될 수 있을 것이다.Mahalanobis is calculated by Equation 1 below, and the reference value may be calculated by the control limit of Mahalanobis.

Figure 112019065855968-pat00001
Figure 112019065855968-pat00001

여기서 ti는 학습기간을 m 등분한 단위 시간으로 i번째 단위 시간이고, xij는 ti 시간(i=1, 2, ...,m) 동안 j(j=1, 2,...,n)번째 적외선 탐지기가 독거인을 탐지한 시간이다.Where t i is the unit time obtained by dividing the learning period by m, and x ij is j(j=1, 2,...) during t i time (i=1, 2, ...,m). It is the time when the ,n)th infrared detector detects a person living alone.

움직임 정보 수집부(250)는 서버 통신부(220)를 통해 적어도 하나 이상의 사물인터넷 디바이스(100)들로부터 학습데이터를 포함하는 움직임 정보를 수집하여 센서데이터 DB(212)에 저장하고, 상기 센서데이터를 분석하여 독거인이 검출되었는지를 판단하며, 독거인 검출 시의 시각정보를 벡터인 학습데이터로서 학습데이터 DB(213)에 저장한다.The motion information collection unit 250 collects motion information including learning data from at least one IoT device 100 through the server communication unit 220, stores it in the sensor data DB 212, and stores the sensor data. It is analyzed to determine whether a person living alone is detected, and the visual information at the time of detection of the person living alone is stored in the learning data DB 213 as learning data as a vector.

고객 상태값 계산부(260)는 상기 학습기간에서는 상기 움직임 정보 수집부(250)를 통해 수집된 학습데이터를 상기 수학식 1에 적용하여 마할라노비스 거리에 대한 기준값을 계산하여 등록부(240)로 출력하고, 상기 학습기간 이후에는 센서데이터를 상기 수학식 1에 적용하여 상기 마할라노비스 거리값인 고객 상태값을 계산하여 고객상태 판단부(270)로 출력한다.The customer state value calculation unit 260 calculates a reference value for the Mahalanobis distance by applying the learning data collected through the motion information collection unit 250 to Equation 1 in the learning period, and returns the information to the registration unit 240. After the learning period, the sensor data is applied to Equation 1 to calculate the customer status value, which is the Mahalanobis distance value, and output to the customer status determination unit 270.

고객상태 판단부(270)는 상기 일정 학습기간 동안 모델링된 기준값과 상기 일정 학습기간 후 고객 상태값 계산부(260)에서 계산된 고객 상태값을 비교하여 고객 상태값이 기준값을 초과하는지를 판단하고, 고객 상태값이 기준값을 초과하지 않으면 정상으로 판단하고, 고객 상태값이 기준값을 초과하면 고객인 독거인에게 이상이 있는 것으로 판단한다.The customer status determination unit 270 compares the reference value modeled during the predetermined learning period with the customer status value calculated by the customer status value calculation unit 260 after the predetermined learning period to determine whether the customer status value exceeds the reference value, If the customer status value does not exceed the reference value, it is judged as normal, and when the customer status value exceeds the reference value, it is judged that there is something wrong with the customer living alone.

고객 이상 확인부(280)는 상기 고객상태 판단부(270)에서 고객에게 이상이 있는 것으로 판단되면 고객 이상 확인 요청 신호를 서버 통신부(220)를 통해 고객 이상이 판단되는 근거인 센서데이터를 제공한 사물인터넷 디바이스(100) 또는 상기 사물인터넷 디바이스(100)를 포함하는 해당 독거인의 주거영역에 설치된 모든 사물인터넷 디바이스(100)로 전송하고, 이에 대한 응답 음성이 사물인터넷 디바이스(100)로부터 수신되는지를 모니터링하여 고객의 이상 여부를 최종 판단한다.When the customer condition determination unit 270 determines that there is an abnormality in the customer, the customer abnormality check unit 280 transmits a customer abnormality confirmation request signal through the server communication unit 220 to provide sensor data that is the basis for determining the customer abnormality. Transmits to the IoT device 100 or all IoT devices 100 installed in the living area of the person living alone including the IoT device 100, and whether a response voice is received from the IoT device 100 Is monitored to determine whether the customer is abnormal.

고객 이상 통지부(290)는 고객상태 판단부(270) 또는 실시예에 따라 고객 이상 확인부(280)를 통해 고객인 독거인에게 이상이 있는 것으로 판단되면 유관기관 DB(214)의 상기 독거인에 대응하여 등록된 유관기관, 관계자 및 보호자 중 어느 하나 이상의 통지 대상 단말부(300)로 해당 독거인에게 이상이 있음을 통지한다.The customer abnormality notification unit 290 determines that there is an abnormality in the person living alone as a customer through the customer status determination unit 270 or the customer abnormality checking unit 280 according to an embodiment. In response to, at least one of the registered related organizations, officials, and guardians is notified that there is an abnormality to the person living alone to the notification target terminal unit 300.

도 4는 본 발명에 따른 독거인 모니터링 서버의 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 방법을 나타낸 흐름도이다.4 is a flowchart illustrating a method of learning and monitoring a living pattern of a living alone using an IoT network of a monitoring server living alone according to the present invention.

도 4를 참조하면, 모니터링 서버(200)의 서버 제어부(230)는 임의의 고객이 등록을 요청하는지를 모니터링한다(S111).Referring to FIG. 4, the server control unit 230 of the monitoring server 200 monitors whether a customer requests registration (S111).

임의 고객의 등록 요청이 발생되면 모니터링 서버(200)는 정상상태 학습기간을 설정한 후, 상기 학습기간이 완료될 때까지 정상상태 학습을 수행하여 상기 고객에 대해 등록된 주거영역의 분할공간에 설치된 사물인터넷 디바이스(100)별 기준값(X2 a,m)을 설정한다(S113, S115).When a registration request from an arbitrary customer occurs, the monitoring server 200 sets a steady-state learning period, and then performs steady-state learning until the learning period is completed, and is installed in the divided space of the residential area registered for the customer. A reference value (X 2 a,m ) for each IoT device 100 is set (S113, S115).

학습이 완료된 후 서버 제어부(230)는 시간 단위별로 사물인터넷 디바이스(100)로부터 센서데이터를 수집하고(S117), 센서데이터에 대한 마할라노비스 거리값인 고객 상태값을 계산한다(S119).After the learning is completed, the server controller 230 collects sensor data from the IoT device 100 for each time unit (S117), and calculates a customer status value, which is a Mahalanobis distance value for the sensor data (S119).

고객 상태값이 계산되면 서버 제어부(230)는 수집된 센서데이터에 대한 고객 상태값이 상기 기준값을 초과하는지를 검사하여 고객의 상태를 판단한다(S121).When the customer status value is calculated, the server control unit 230 determines the status of the customer by checking whether the customer status value for the collected sensor data exceeds the reference value (S121).

고객 상태값이 기준값을 초과하지 않으면 서버 제어부(230)는 지속적으로 시간 단위별 센서데이터를 수집하여 고객의 이상 상태 여부를 모니터링하고, 고객 상태값이 기준값을 초과하면 고객이 이상 상태에 있는 것으로 결정한(S123) 후 고객 이상 여부를 문의하는 고객 이상 확인 요청 신호를 해당 고객의 사물인터넷 디바이스(100) 또는 상기 센서데이터를 제공한 사물인터넷 디바이스(100)로 전송한다(S125).If the customer status value does not exceed the reference value, the server control unit 230 continuously collects sensor data for each time unit to monitor whether the customer is in an abnormal state, and if the customer status value exceeds the reference value, it determines that the customer is in an abnormal state. After (S123), a customer abnormality confirmation request signal for inquiring about a customer abnormality is transmitted to the IoT device 100 of the corresponding customer or the IoT device 100 providing the sensor data (S125).

상기 고객 이상 확인 요청 신호의 전송 후 서버 제어부(230)는 응답 음성이 수신되는지를 모니터링하고(S127), 응답 음성이 수신되면 해당 고객이 정상인 것으로 판단하여 상술한 S117 이후의 과정을 반복하여 수행하고, 응답 음성이 일정 시간 수신되지 않으면 최종적으로 이상이 있는 것으로 판단하여 유관기관 DB(214)에 상기 고객에 대해 미리 등록된 유관기관, 관계자 및 보호자 중 어느 하나 이상의 통지 대상 단말부(300)로 고객이 이상 상태에 있음을 통지한다(S129).After transmitting the customer abnormality confirmation request signal, the server control unit 230 monitors whether a response voice is received (S127), and if the response voice is received, it determines that the customer is normal, and repeats the process after S117 described above. , If the response voice is not received for a certain period of time, it is determined that there is an abnormality, and the customer to the terminal unit 300 to be notified of at least one of the related organizations, officials, and guardians previously registered for the customer in the related institution DB 214. It is notified that this is in an abnormal state (S129).

상기 고객의 이상 여부 확인은 해당 독거인의 응답 여부로 판단하였으나, 응답 음성이 수신되는 경우에도 응답 음성을 음성 인식하고, 인식된 음성에 따라 고객의 이상 여부를 판단하도록 구성될 수도 있을 것이다.The confirmation of the abnormality of the customer is determined by the response of the person living alone, but even when the response voice is received, it may be configured to recognize the response voice by voice and determine whether the customer is abnormal according to the recognized voice.

도 5는 본 발명에 따른 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 방법 중 모니터링을 수행할 독거인 등록 방법을 나타낸 흐름도로서, 상술한 도 4의 S111 내지 S115를 구체적으로 나타낸 흐름도이다.FIG. 5 is a flowchart illustrating a method of registering a person living alone to perform monitoring among a method of learning and monitoring a living pattern of a person living alone using an IoT network according to the present invention, and is a flowchart specifically illustrating S111 to S115 of FIG. 4.

도 5를 참조하면, 서버 제어부(230)는 상기 학습기간 동안 일정 시간 단위로 센서데이터, 즉 움직임 정보를 수집한다(S211).Referring to FIG. 5, the server controller 230 collects sensor data, that is, motion information, in a predetermined time unit during the learning period (S211).

움직임 정보가 수집되면 서버 제어부(230)는 센서데이터를 분석하여 고객이 탐지여부를 판단하고, 고객이 탐지된 것으로 판단되면 해당 센서데이터가 수집된 시각정보를 벡터인 학습데이터로 학습데이터 DB(213)에 저장한다(S213).When the motion information is collected, the server control unit 230 analyzes the sensor data to determine whether the customer is detected, and when it is determined that the customer is detected, the visual information collected from the sensor data is converted to the learning data DB 213 as vector learning data. ) To (S213).

상기 학습기간 동안의 학습데이터가 수집되면 서버 제어부(230)는 학습데이터를 적용하여 마할라노비스 거리를 계산하고(S215), 계산된 마할라노비스 거리에 대한 관리 한계값인 기준값을 계산하여 사물인터넷 디바이스별 기준값으로 저장한다(S217).When the learning data during the learning period is collected, the server control unit 230 calculates the Mahalanobis distance by applying the learning data (S215), and calculates a reference value, which is a management limit value for the calculated Mahalanobis distance. It is stored as a reference value for each device (S217).

한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.Meanwhile, it is common knowledge in the art that the present invention is not limited to the above-described typical preferred embodiments, but can be implemented in various ways without departing from the gist of the present invention. Those who have the will be able to understand it easily. If the implementation by such improvement, change, substitution or addition falls within the scope of the following appended claims, the technical idea should also be regarded as belonging to the present invention.

1: 주거영역 2, 3, 4: 분할공간
10: 사물인터넷망(=유무선 데이터통신망)
11: 액세스포인트(AP)
100: 사물인터넷 디바이스 110: 센서 저장부
120: 센서부 130: 무선 통신부
140: 오디오 처리부 150: 센서 제어부
151: 센서데이터 수집부 152: 움직임 정보 생성부
153: 움직임 정보 제공부 154: 고객 이상 확인 처리부
200: 모니터링 서버 210: 서버 저장부
211: 등록 DB 212: 센서데이터 DB
213: 학습데이터 DB 214: 유관기관 DB
215: 고객 이상 이력 DB 220: 서버 통신부
230: 서버 제어부 240: 등록부
241: 등록정보 획득부 242: 정상상태 학습부
250: 움직임 정보 수집부 260: 고객 상태값 계산부
270: 고객 상태 판단부 280: 고객 이상 확인부
290: 고객 이상 통지부 300: 통지 대상 단말부1: residential area 2, 3, 4: divided space
10: IoT network (= wired/wireless data communication network)
11: Access Point (AP)
100: IoT device 110: sensor storage unit
120: sensor unit 130: wireless communication unit
140: audio processing unit 150: sensor control unit
151: sensor data collection unit 152: motion information generation unit
153: motion information providing unit 154: customer abnormality confirmation processing unit
200: monitoring server 210: server storage
211: registration DB 212: sensor data DB
213: Learning data DB 214: Related institutions DB
215: customer error history DB 220: server communication department
230: server control unit 240: registration unit
241: registration information acquisition unit 242: steady state learning unit
250: motion information collection unit 260: customer state value calculation unit
270: customer status determination unit 280: customer abnormality check unit
290: customer abnormality notification unit 300: notification target terminal unit

Claims (15)

독거인의 주거영역 적어도 하나 이상의 분할공간 내에 설치되어 상기 분할공간 내에서의 상기 독거인의 움직임 검출 여부에 따른 센서데이터, 상기 센서데이터를 획득하였을 때의 시각정보 및 디바이스 식별정보를 포함하는 움직임 정보를 사물인터넷망으로 전송하는 적어도 하나 이상의 사물인터넷 디바이스; 및
고객으로 등록된 각 독거인의 주거영역의 상기 분할공간에 설치된 사물인터넷 디바이스의 디바이스 식별정보를 저장하여 설치된 분할공간을 식별하여 사물인터넷 디바이스를 관리하고, 고객으로 등록 요청 시 일정 학습기간 동안 고객으로 등록 요청한 독거인의 주거영역에 설치된 사물인터넷 디바이스로부터 상기 사물인터넷망을 통해 수집되는 센서데이터 중 독거인의 움직임이 검출된 센서데이터가 획득된 시각정보를 학습데이터로 설정하여 상기 시각정보를 특성치로 하는 마할라노비스 거리에 따른 학습을 수행하여 기준값을 정의하며, 상기 일정 학습기간 후, 수신되는 움직임 정보의 센서데이터에 대한 마할라노비스 거리값이 상기 기준값를 초과하는지의 여부에 따라 독거인의 이상 여부를 판단하는 모니터링 서버를 포함하되,
상기 모니터링 서버는,
고객으로 등록된 독거인에 대한 독거인 정보, 독거인별로 각 주거영역의 분할공간에 대한 분할공간 정보 및 상기 분할공간에 설치된 사물인터넷 디바이스의 디바이스 식별정보를 포함하는 디바이스 정보를 저장하는 등록 DB, 상기 센서데이터를 저장하는 센서데이터 DB, 상기 학습데이터를 저장하는 학습데이터 DB, 고객의 이상 여부 판단 이력 정보를 저장하는 고객 이상 이력 DB를 포함하는 서버 저장부;
상기 사물인터넷망을 통해 하나 이상의 사물인터넷 디바이스와 데이터 통신을 수행하도록 하는 서버 통신부; 및
고객으로 등록 요청 시 독거인 정보, 분할공간 정보 및 디바이스 정보를 포함하는 등록정보를 획득하여 상기 등록 DB에 저장하고, 상기 등록정보가 저장된 고객인 독거인에 대해 일정 학습기간 동안 수집되는 움직임 정보의 센서데이터 중 독거인의 움직임이 검출된 센서데이터가 획득된 시각을 특성치로 하는 마할라노비스 거리에 따른 학습을 수행하여 기준값을 정의하여 상기 학습데이터 DB에 저장하며, 상기 일정 학습기간 후, 수신되는 움직임 정보의 센서데이터에 대한 마할라노비스 거리값인 고객 상태값이 상기 기준값를 초과하는지의 여부에 따라 독거인의 이상 여부를 판단하는 서버 제어부를 포함하는 것을 특징으로 하는 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템.
Motion information that is installed in at least one divided space of the living area of the person living alone and includes sensor data according to whether the movement of the person living alone in the divided space is detected, visual information when the sensor data is acquired, and device identification information At least one IoT device that transmits data to the IoT network; And
It stores device identification information of IoT devices installed in the divided spaces of the residential area of each individual registered as a customer and manages IoT devices by identifying the installed divided spaces, and as a customer for a certain period of learning when requested as a customer. The visual information obtained by detecting the movement of the person living alone among the sensor data collected through the IoT network from the IoT device installed in the residential area of the person living alone who requested registration is set as learning data, and the visual information is used as a characteristic value. A reference value is defined by learning according to the Mahalanobis distance, and whether a person living alone is abnormal according to whether the Mahalanobis distance value for the sensor data of the motion information received after the predetermined learning period exceeds the reference value. Including a monitoring server to determine,
The monitoring server,
A registration DB that stores device information including information on a person living alone for a person registered as a customer, information on a divided space for a divided space of each residential area for each person living alone, and device identification information of an IoT device installed in the divided space, A server storage unit including a sensor data DB for storing the sensor data, a learning data DB for storing the learning data, and a customer abnormality history DB for storing customer abnormality determination history information;
A server communication unit configured to perform data communication with one or more IoT devices through the IoT network; And
When a customer requests registration, registration information including information on a person living alone, information on divided spaces, and device information is acquired and stored in the registration DB. Among the sensor data, a reference value is defined and stored in the learning data DB by performing learning according to the Mahalanobis distance using the time at which the sensor data at which the movement of the person living alone was acquired is acquired as a characteristic value, and received after the predetermined learning period. A life pattern of a person living alone using an IoT network, comprising a server control unit that determines whether or not a person living alone is abnormal according to whether a customer status value, which is a Mahalanobis distance value for sensor data of motion information, exceeds the reference value. Learning and monitoring system.
 제1항에 있어서,
상기 사물인터넷 디바이스는,
고유의 디바이스 식별정보를 저장하는 센서 저장부;
상기 주거영역의 분할공간에 설치되어 분할공간의 독거인의 움직임을 검출하여 움직임의 검출 여부에 따른 센서데이터를 출력하는 센서부;
상기 사물인터넷망에 무선으로 접속하여 상기 모니터링 서버와 데이터 통신을 수행할 수 있도록 하는 무선통신부; 및
주기적으로 상기 센서부를 제어하여 센서데이터를 획득하고, 상기 센서데이터를 획득한 시각에 대한 시각정보를 획득하여 센서데이터 및 시각정보를 포함하는 상기 움직임 정보를 생성한 후, 상기 무선통신부를 통해 상기 모니터링 서버로 전송하는 센서 제어부를 포함하는 것을 특징으로 하는 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템.
The method of claim 1,
The IoT device,
A sensor storage unit for storing unique device identification information;
A sensor unit installed in the divided space of the residential area to detect the movement of a person living alone in the divided space and output sensor data according to whether or not the movement is detected;
A wireless communication unit for wirelessly accessing the IoT network to perform data communication with the monitoring server; And
Periodically, the sensor unit is controlled to obtain sensor data, and the motion information including sensor data and time information is generated by acquiring visual information on the time at which the sensor data is acquired, and then the monitoring through the wireless communication unit. A life pattern learning and monitoring system for a person living alone using an IoT network, comprising: a sensor control unit that transmits to a server.
 제2항에 있어서,
상기 센서부는,
상기 분할공간에서 독거인의 움직임을 검출하는 물체검출 센서부; 및
상기 분할공간으로 출입하는 출입문에 설치되어 상기 독거인의 상기 분할공간의 출입 여부를 측정하는 분할공간 출입검출 센서부 중 어느 하나 이상을 포함하고,
상기 센서 제어부는,
상기 물체검출 센서부에서 출력되는 물체검출 센서데이터 및 출입검출 센서부에서 출력되는 출입검출 센서데이터 중 하나 이상을 상기 움직임 정보에 포함하여 전송하는 것을 특징으로 하는 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템.
The method of claim 2,
The sensor unit,
An object detection sensor unit for detecting a movement of a person living alone in the divided space; And
Includes any one or more of the divided space access detection sensor unit installed at the entrance door to the divided space to measure whether the individual living in the divided space,
The sensor control unit,
Learning the life pattern of a person living alone using an IoT network, characterized in that at least one of the object detection sensor data output from the object detection sensor unit and the access detection sensor data output from the access detection sensor unit is included in the movement information and transmitted. Monitoring system.
 제3항에 있어서,
상기 센서 제어부는,
주기적으로 상기 센서부를 통해 센서데이터를 수집하고, 수집된 센서데이터 및 해당 센서데이터가 수집된 시각에 대한 시각정보를 출력하는 센서데이터 수집부;
상기 센서데이터 수집부를 통해 수집된 센서데이터, 시각정보 및 상기 센서 저장부에 저장된 디바이스 식별정보를 포함하는 움직임 정보를 생성하여 출력하는 움직임 정보 생성부; 및
상기 움직임 정보 생성부로부터 출력되는 움직임 정보를 무선통신부를 통해 상기 모니터링 서버로 전송하는 움직임 정보 제공부를 포함하는 것을 특징으로 하는 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템.
The method of claim 3,
The sensor control unit,
A sensor data collection unit that periodically collects sensor data through the sensor unit and outputs the collected sensor data and visual information about the time at which the sensor data is collected;
A motion information generator for generating and outputting motion information including sensor data, time information, and device identification information stored in the sensor storage unit collected through the sensor data collection unit; And
And a motion information providing unit for transmitting motion information output from the motion information generating unit to the monitoring server through a wireless communication unit.
 제4항에 있어서,
상기 사물인터넷 디바이스는,
스피커 및 마이크를 구비하고, 고객 이상 확인 오디오 음성 신호를 입력받아 스피커를 통해 가청음으로 출력하고, 스피커를 통해 출력된 상기 고객 이상 확인 오디오 음성 신호에 대한 가청음에 대해 고객인 독거인으로부터 발화된 응답 음성을 상기 마이크를 통해 획득하여 출력하는 오디오 처리부를 더 포함하되,
상기 센서 제어부는,
상기 학습 이후 상기 움직임 정보를 제공한 후 상기 모니터링 서버로부터 고객 이상 확인 요청 신호의 수신 시 상기 오디오 처리부를 통해 상기 고객 이상 확인 오디오 음성 신호를 가청음으로 출력하고, 그에 대한 상기 응답 음성을 상기 무선통신부를 통해 상기 모니터링 서버로 전송하고,
상기 모니터링 서버는,
상기 독거인 이상 여부 판단에서 독거인에 이상이 있는 것으로 판단되면 상기 고객 이상 확인 요청 신호를 상기 사물인터넷 디바이스로 전송하고, 상기 고객 이상 확인 요청 신호에 대한 응답인 응답 음성의 수신 여부에 의해 독거인의 이상 여부를 판단하는 것을 특징으로 하는 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템.
The method of claim 4,
The IoT device,
Equipped with a speaker and microphone, receive an audio audio signal for customer abnormality confirmation, and output an audible sound through the speaker, and a response voice uttered by a customer living alone for the audible sound for the customer abnormality confirmation audio audio signal output through the speaker Further comprising an audio processing unit for obtaining and outputting through the microphone,
The sensor control unit,
After providing the motion information after the learning, upon receiving a customer abnormality confirmation request signal from the monitoring server, the audio processing unit outputs the customer abnormality confirmation audio signal as an audible sound, and the response voice is transmitted to the wireless communication unit. Transmitted to the monitoring server through
The monitoring server,
If the person living alone is determined to have an abnormality in the person living alone, the person living alone transmits the customer abnormality confirmation request signal to the IoT device, and receives a response voice that is a response to the customer abnormality confirmation request signal. A system for learning and monitoring a living pattern of a person living alone using an IoT network, characterized in that it determines whether there is an abnormality or not.
 삭제delete 제1항에 있어서,
상기 서버 제어부는,
고객으로 등록 요청 시 독거인 정보, 분할공간 정보 및 디바이스 정보를 포함하는 등록정보를 획득하여 상기 등록 DB에 저장하여 관리하는 등록정보 획득부, 및 상기 등록정보가 저장된 고객의 독거인에 대해 일정 학습기간 동안 주거영역에 설치된 사물인터넷 디바이스로부터 수집되는 움직임 정보의 센서데이터 중 독거인의 움직임이 검출된 센서데이터가 획득된 시각정보를 학습데이터로 설정하여 상기 학습데이터 DB에 저장하고 상기 학습데이터의 시각을 특성치로 하는 마할라노비스 거리에 따른 학습을 수행하여 기준값을 정의하여 상기 학습데이터 DB에 저장하는 정상상태 학습부를 포함하는 등록부;
상기 등록부에 등록된 고객인 독거인의 주거영역의 분할공간에 설치된 사물인터넷 디바이스들로부터 움직임 정보를 수집하여 상기 일정 학습기간 동안 상기 등록부의 정상상태 학습부로 제공하고, 상기 일정 학습기간 후 출력하는 움직임 정보 수집부;
상기 일정 학습기간 후 상기 움직임 정보 수집부로부터 독거인별 움직임 정보를 입력받아 마할라노비스 거리값인 고객 상태값을 계산하여 출력하는 고객 상태값 계산부; 및
상기 고객 상태값과 상기 기준값을 비교하여 상기 고객 상태값이 상기 기준값을 초과하면 고객인 독거인에게 이상이 있는 것으로 판단하고, 초과하지 않으면 정상인 것으로 판단하는 고객 상태 판단부를 포함하는 것을 특징으로 하는 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템.
The method of claim 1,
The server control unit,
When a customer requests registration, a registration information acquisition unit that acquires registration information including information on a person living alone, information on divided spaces, and device information and stores it in the registration DB and manages it Among the sensor data of motion information collected from IoT devices installed in the residential area during the period, the time information obtained by detecting the movement of the person living alone is set as learning data and stored in the learning data DB, and the time of the learning data. A registration unit including a steady-state learning unit for defining a reference value by performing learning according to a Mahalanobis distance having a characteristic value and storing it in the learning data DB;
Movement information collected from IoT devices installed in the divided space of the residential area of the customer registered in the register, provided to the steady state learning unit of the registration unit during the predetermined learning period, and outputted after the predetermined learning period Information collection unit;
A customer state value calculator configured to receive motion information for each person living alone from the motion information collecting unit after the predetermined learning period and calculate and output a customer state value, which is a Mahalanobis distance value; And
And a customer status determination unit that compares the customer status value with the reference value, and determines that there is an abnormality in the person living alone, if the customer status value exceeds the reference value, and determines that it is normal if it does not exceed the customer status value. A system for learning and monitoring life patterns of people living alone using a network
 제7항에 있어서,
상기 서버 제어부는,
상기 고객상태 판단부에서 고객에 이상이 있는 것으로 판단되면 상기 서버 통신부를 통해 사물인터넷 디바이스로 고객 이상 확인 요청 신호를 전송하고, 그에 대한 응답 음성을 수신받아 분석하여 상기 응답 음성이 해당 고객인 독거인의 음성인지 여부 및 상기 독거인의 상태가 정상임을 확인할 수 있는 음성인지를 확인하여 상기 독거인의 이상 여부를 확인하는 고객 이상 확인부를 더 포함하는 것을 특징으로 하는 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템.
The method of claim 7,
The server control unit,
If the customer status determination unit determines that there is a problem with the customer, the server communication unit transmits a customer abnormality confirmation request signal to the IoT device, receives and analyzes the response voice, and the response voice is the customer living alone. Learning the life pattern of a person living alone using an IoT network, characterized in that it further comprises a customer abnormality check unit that checks whether the voice of the person living alone is a voice that can confirm that the status of the person living alone is normal And monitoring system.
 제7항 또는 제8항에 있어서,
상기 서버 저장부는,
상기 독거인의 이상 시 상기 독거인을 도와줄 수 있는 유관기관의 단말기인 통지 대상 단말부 정보를 포함하는 유관기관 정보를 저장하는 유관기관 DB를 더 포함하고,
상기 서버 제어부는,
상기 독거인에게 이상이 있는 것으로 판단되면 상기 유관기관 DB로부터 상기 독거인을 도와줄 수 있는 유관기관 정보를 획득하고, 유관기관 정보의 통지 대상 단말부로 상기 고객인 독거인에 대한 독거인 정보를 포함하는 고객 이상 통지 정보를 전송하여 상기 독거인의 이상을 통지하는 고객 이상 통지부를 더 포함하는 것을 특징으로 하는 IoT 망을 이용한 독거인 생활 패턴 학습 및 모니터링 시스템.
The method according to claim 7 or 8,
The server storage unit,
In the event of an abnormality in the person living alone, the terminal further comprises a related institution DB for storing information on the related institution including information on the terminal unit to be notified, which is a terminal of a related institution capable of helping the person living alone,
The server control unit,
If it is determined that the person living alone has an abnormality, information on the related organization that can help the person living alone is obtained from the DB of the related institution, and the information about the person living alone, the customer, is included in the terminal unit to be notified of the information of the related organization. A system for learning and monitoring a life pattern of a person living alone using an IoT network, further comprising: a customer abnormality notification unit for notifying an abnormality of the person living alone by transmitting the customer abnormality notification information.
 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020190076831A 2019-06-27 2019-06-27 Learning based life pattern recognition and monitoring of living alone system with IoT network KR102231183B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190076831A KR102231183B1 (en) 2019-06-27 2019-06-27 Learning based life pattern recognition and monitoring of living alone system with IoT network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190076831A KR102231183B1 (en) 2019-06-27 2019-06-27 Learning based life pattern recognition and monitoring of living alone system with IoT network

Publications (2)

Publication Number Publication Date
KR20210001170A KR20210001170A (en) 2021-01-06
KR102231183B1 true KR102231183B1 (en) 2021-03-24

Family

ID=74127864

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190076831A KR102231183B1 (en) 2019-06-27 2019-06-27 Learning based life pattern recognition and monitoring of living alone system with IoT network

Country Status (1)

Country Link
KR (1) KR102231183B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102373573B1 (en) * 2021-07-22 2022-03-11 주식회사 모셔닉 Method for smartcare based on IoT(internet of things) and device for performing the method
WO2023063582A1 (en) * 2021-10-14 2023-04-20 Samsung Electronics Co., Ltd. Method, and device for providing human wellness recommendation based on uwb based human activity detection
JP7473899B2 (en) * 2021-11-16 2024-04-24 ジョージ・アンド・ショーン株式会社 Information processing device, program, and information processing system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101734398B1 (en) * 2016-04-22 2017-05-12 주식회사소노위즈 Smart home service apparatus based on object position and spoken dialogue

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100980426B1 (en) * 2008-07-07 2010-09-07 주식회사 엠유비정보통신 Method and system for monitering Silver Care SystemSCS
KR101654609B1 (en) 2014-07-18 2016-09-07 함준혁 Remote Smart Monitoring System for Handicapped, Disabled and Elderly Living Alone and Method thereof
KR101908534B1 (en) * 2016-06-23 2018-10-16 조선대학교산학협력단 Apparatus and method for determining position and attitude of a vehicle
KR101990803B1 (en) * 2017-11-06 2019-06-20 김성범 PROTECTION SYSTEM FOR VULNERABLE CLASSES USING Internet Of Things AND METHOD THEREFOR

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101734398B1 (en) * 2016-04-22 2017-05-12 주식회사소노위즈 Smart home service apparatus based on object position and spoken dialogue

Also Published As

Publication number Publication date
KR20210001170A (en) 2021-01-06

Similar Documents

Publication Publication Date Title
US10485452B2 (en) Fall detection systems and methods
KR102231183B1 (en) Learning based life pattern recognition and monitoring of living alone system with IoT network
RU2638272C2 (en) Device and method for directing calling of medical care to selected employee
KR100980426B1 (en) Method and system for monitering Silver Care SystemSCS
KR101654609B1 (en) Remote Smart Monitoring System for Handicapped, Disabled and Elderly Living Alone and Method thereof
KR100767065B1 (en) Remote monitoring system and method thereof
KR20180136770A (en) remote management and monitering system for old and infirm
US20170076576A1 (en) Activity monitoring method and system
CN104956415A (en) Monitoring system
EP3196854A1 (en) Indoor activity detection based on tag tracking
US20130013776A1 (en) Information processing device, information processing system, information processing method, and information storage medium
KR102013235B1 (en) Old people monitoring system
KR20180057368A (en) Remote management system using living patterns of the elderly people living alone
KR20160046690A (en) Portable tracking apparatus and method for operating portable tracking apparatus
KR20150075612A (en) System and method for protecting the lonely death using services based Information and Communication Technology
KR20160101508A (en) Emergency monitoring system for senior citizens
KR102187389B1 (en) Device, system and method for managing the person in quarantine
KR20150144205A (en) Smart care system for disabled person using activity information, and method thereof
KR20200059628A (en) Skeleton image learning based old people behavior pattern monitoring method
KR102405883B1 (en) Nursing Home AI Automatic Control System
JP6539799B1 (en) Safety confirmation system
KR20210090771A (en) Modular house system using I.o.T. to monitor behavior of the Elderly
KR20180056982A (en) Sensor shoes with a acceleration sensor embedded and activity monitoring method using mobile application
KR20200072896A (en) Apparatus for monitoring care person and method for managing care person using the same
KR102638693B1 (en) System and method for monitoring biometrics based on positioning

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant