KR102559923B1

KR102559923B1 - System and method for indoor person detection based on WiFi channel estimation information

Info

Publication number: KR102559923B1
Application number: KR1020220135697A
Authority: KR
Inventors: 유중희; 진성언; 김상현
Original assignee: 주식회사 에세텔
Priority date: 2021-10-20
Filing date: 2022-10-20
Publication date: 2023-07-26
Also published as: KR20230056617A

Abstract

적어도 하나의 프로세서에 의해 동작하는 실내 사람 탐지 시스템의 동작 방법으로서, 실내에 위치한 사람을 포함하는 객체들의 객체 정보와, 객체들에 의해 변경된 채널 추정 정보를 학습 데이터로 수집하여 신경망 분류기를 학습시킨다. 실내에 설치된 WiFi AP로부터 채널 추정 정보를 수신하고, 학습된 신경망 분류기를 이용하여 채널 추정 정보를 기초로 실내에 위치한 사람들의 수와 각 사람들이 취하는 자세 또는 행동을 파악하는데, 학습된 신경망 분류기는 변경된 채널 추정 정보가 입력되면 실내에 위치한 사람들의 수와 각 사람들이 취하는 자세 또는 행동에 대한 정보를 출력하도록 학습된 사람 추출 모델로 구성된다.As a method of operating an indoor person detection system operated by at least one processor, a neural network classifier is trained by collecting object information of objects including a person located indoors and channel estimation information changed by the objects as training data. Channel estimation information is received from the WiFi AP installed indoors, and the number of people located indoors and the postures or actions taken by each person are identified based on the channel estimation information using the learned neural network classifier. The learned neural network classifier is composed of a person extraction model trained to output information on the number of people located indoors and the postures or actions taken by each person when the changed channel estimation information is input.

Description

System and method for indoor person detection based on WiFi channel estimation information {System and method for indoor person detection based on WiFi channel estimation information}

본 발명은 WiFi 채널 추정 정보 기반 실내 사람 탐지 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for detecting indoor people based on WiFi channel estimation information.

일반적으로, GPS 신호가 도달되지 않는 건물에서 재난이 발생한 경우, 건물 내 사용자는 사용자 단말의 GPS 센서를 이용하여 피난경로를 확인할 수 없게 된다. 이에 따라, 화재 등의 비상시를 대비하여 많은 사람들이 사용하는 각종 건물에는, 각종 건물의 출입구나 비상구를 안내하기 위한 비상구 유도등 등의 대비 안내 수단이 의무적으로 설치되어 있다. In general, when a disaster occurs in a building to which a GPS signal does not reach, a user in the building cannot determine an evacuation route using a GPS sensor of a user terminal. Accordingly, in preparation for emergencies such as fire, preparation guidance means such as emergency exit guide lights for guiding exits and exits of various buildings are mandatorily installed in various buildings used by many people.

사용자는 재난이 발생한 경우 설치된 유도등을 이용하여 신속하게 대피할 수 있다. 그러나, 건물 내에서 화재가 발생할 경우 대피자들이 벽이나 높은 문 위에 부착된 유도등을 볼 수 없는 상황이 빈번하게 발생한다. 또한, 사람이 건물에 처음 방문한 경우, 사용자는 건물 구조가 파악되어 있지 않아 유도등을 인식하기 어렵다.Users can quickly evacuate by using the installed guide lights in the event of a disaster. However, when a fire breaks out in a building, a situation in which evacuees cannot see guidance lights attached to walls or high doors frequently occurs. In addition, when a person visits a building for the first time, it is difficult for the user to recognize the guidance light because the structure of the building is not grasped.

이를 대비하기 위해, 실내 공간에서 화재와 같은 재난 상황이 발생할 경우, 재난 현장에서의 대피 경로를 실내 위치한 사람들에게 제공함으로써, 사람들이 안전하게 대피할 수 있도록 하는 다양한 기술들이 존재한다. 하지만, 기존 기술들은 재난 상황에서 건물 내 재실자의 정확한 위치와 숫자를 파악할 수 없으며, 대피 인원 각각에게 최적화된 대피 경로를 제공하지 못하는 단점이 있다.In order to prepare for this, when a disaster situation such as a fire occurs in an indoor space, various technologies exist that allow people to safely evacuate by providing an evacuation route from the disaster site to people located indoors. However, existing technologies have disadvantages in that they cannot determine the exact location and number of occupants in a building in a disaster situation and cannot provide an optimized evacuation route for each evacuated person.

따라서, 본 발명은 건물 내 실내 환경에서 무선 데이터 통신용으로 사용하는 WiFi 채널 추정 정보를 활용하여 건물에 재난이 발생할 경우 실내에 사람이 존재하는지 인지하고, 실내 사람의 존재 유무, 인원수, 사람들의 자세와 행동 등을 건물 관리자에게 표출하는 WiFi 채널 추정 정보 기반 실내 사람 탐지 시스템 및 방법을 제공한다.Accordingly, the present invention provides a system and method for detecting people indoors based on WiFi channel estimation information that utilizes WiFi channel estimation information used for wireless data communication in an indoor environment within a building to recognize whether a person exists indoors when a disaster occurs in a building, and expresses the presence or absence of people indoors, the number of people, and the attitudes and behaviors of people to a building manager.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 적어도 하나의 프로세서에 의해 동작하는 실내 사람 탐지 시스템의 동작 방법으로서,As a method of operating an indoor person detection system operated by at least one processor, which is one feature of the present invention for achieving the technical problem of the present invention,

실내에 위치한 사람을 포함하는 객체들의 객체 정보와, 상기 객체들에 의해 변경된 채널 추정 정보를 학습 데이터로 수집하는 단계, 상기 학습 데이터를 이용하여 신경망 분류기를 학습시키는 단계, 그리고 상기 실내에 설치된 WiFi AP로부터 채널 추정 정보를 수신하고, 학습된 신경망 분류기를 이용하여 상기 채널 추정 정보를 기초로 상기 실내에 위치한 사람들의 수와 각 사람들이 취하는 자세 또는 행동을 파악하는 단계를 포함하고, 상기 학습된 신경망 분류기는, 상기 변경된 채널 추정 정보가 입력되면 상기실내에 위치한 사람들의 수와 각 사람들이 취하는 자세 또는 행동에 대한 정보를 출력하도록 학습된 사람 추출 모델을 포함한다.Collecting object information of objects including people located indoors and channel estimation information changed by the objects as training data, learning a neural network classifier using the learning data, receiving channel estimation information from a WiFi AP installed in the indoor area, and using the learned neural network classifier to determine the number of people located in the room and the postures or actions taken by each person based on the channel estimation information using the learned neural network classifier, wherein the learned neural network classifier, when the changed channel estimation information is input, determines the number of people located in the room and a person extraction model trained to output information about each person's posture or action.

상기 객체 정보는 상기 실내에 위치한 객체의 수, 객체의 위치, 각 객체가 취하는 자세나 행동을 나타내는 객체의 동작 정보를 포함하고, 상기 객체는 움직이지 않는 물체와 사람으로 구분할 수 있다.The object information includes the number of objects located in the room, the location of the objects, and motion information of objects representing postures or actions taken by each object, and the objects can be divided into non-moving objects and people.

상기 신경망 분류기를 학습시키는 단계는, 상기 변경된 채널 추정 정보가 입력되면 상기 실내에 위치한 사람들의 수, 각 사람이 취하는 자세 정보 또는 행동 정보를 출력하도록 학습시킬 수 있다.In the step of training the neural network classifier, when the changed channel estimation information is input, the number of people located in the room, posture information or action information taken by each person may be trained to be output.

상기 파악하는 단계 이후에, 상기 실내에 위치한 사람들의 위치와 수, 각 사람들이 취하는 자세 또는 행동을 지도 상에 표시하는 단계를 더 포함할 수 있다.After the identifying step, the step of displaying on a map the position and number of people located in the room, and the posture or action taken by each person may be further included.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 적어도 하나의 프로세서에 의해 동작하는 실내 사람 탐지 시스템의 동작 방법으로서,As an operating method of an indoor person detection system operated by at least one processor, which is another feature of the present invention for achieving the technical problem of the present invention,

실내에 설치된 WiFi AP로부터 전송되는 WiFi 신호를 수신하는 단계, 상기 수신한 WiFi 신호에서 채널 추정 정보를 추출하는 단계, 추출한 채널 추정 정보를 상기 WiFi AP로 전달하는 단계, 그리고 상기 WiFi AP로부터 상기 채널 추정 정보를 수신하고, 학습된 신경망 분류기를 이용하여 상기 채널 추정 정보를 기초로 상기 실내에 위치한 사람들의 수와 각 사람들이 취하는 자세 또는 행동을 파악하는 단계를 포함한다.Receiving a WiFi signal transmitted from a WiFi AP installed indoors, extracting channel estimation information from the received WiFi signal, transferring the extracted channel estimation information to the WiFi AP, receiving the channel estimation information from the WiFi AP, and using a learned neural network classifier to determine the number of people located in the room and the posture or action taken by each person based on the channel estimation information.

상기 WiFi 신호를 수신하는 단계 이전에, 실내에 위치한 사람을 포함하는 객체들의 객체 정보와, 상기 객체들에 의해 변경된 채널 추정 정보를 학습 데이터로 수집하는 단계, 그리고 상기 학습 데이터를 이용하여 신경망 분류기를 학습시키는 단계를 포함할 수 있다.Prior to the step of receiving the WiFi signal, collecting object information of objects including a person located indoors and channel estimation information changed by the objects as learning data, and using the learning data. It may include a step of learning a neural network classifier.

상기 학습된 신경망 분류기는, 상기 변경된 채널 추정 정보가 입력되면 상기실내에 위치한 사람들의 수와 각 사람들이 취하는 자세 또는 행동에 대한 정보를 출력하도록 학습된 사람 추출 모델을 포함할 수 있다.The learned neural network classifier may include a person extraction model trained to output information about the number of people located in the room and postures or actions taken by each person when the changed channel estimation information is input.

상기 채널 추정 정보를 추출하는 단계는, 추출한 상기 채널 추정 정보를 디지털로 변환하는 단계를 포함할 수 있다.Extracting the channel estimation information may include digitally converting the extracted channel estimation information.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 WiFi AP와 연동하는 실내 사람 탐지 시스템으로서,As an indoor person detection system interworking with a WiFi AP, which is another feature of the present invention for achieving the technical problem of the present invention,

적어도 하나의 명령어를 포함하고, 사람을 포함하는 객체 수와 사람의 자세 또는 행동별 채널 추정 정보들을 포함하는 학습 데이터를 저장하는 메모리, 상기 WiFi AP로부터 실내의 채널 추정 정보를 수신하는 인터페이스, 그리고 프로세서를 포함하고, 상기 프로세서는, 상기 학습 데이터로부터 사람 수와 사람의 자세 또는 행동별 채널 추정 정보를 추출하여 신경망 분류기를 학습시키고, 학습된 신경망 분류기로 상기 수신한 실내의 채널 추정 정보를 입력하여 상기 실내에 있는 사람 수와 사람의 자세 또는 행동을 탐지한다.A memory that includes at least one instruction, and stores learning data including channel estimation information for each number of objects including people and postures or behaviors of people, an interface for receiving indoor channel estimation information from the WiFi AP, and a processor, wherein the processor extracts the number of people and channel estimation information for each person's posture or behavior from the learning data, trains a neural network classifier, and inputs the received indoor channel estimation information to the learned neural network classifier to detect the number of people in the room and the posture or behavior of the person.

상기 프로세서는, 상기 실내에 위치한 사람별로 각 사람의 위치, 각 사람이 취하는 자세 또는 행동을 지도 상에 표시할 수 있다.The processor may display the location of each person and the posture or action taken by each person on a map for each person located in the room.

상기 WiFi AP와 연동하여 상기 WiFi AP에서 송출한 WiFi 신호를 수신하고, 수신한 WiFi 신호에서 상기 실내 채널 추정 정보를 추출하며, 추출한 상기 실내 채널 추정 정보를 상기 WiFi AP로 전달하는 WiFi 인지 장치를 더 포함할 수 있다.In conjunction with the WiFi AP, a WiFi recognition device for receiving a WiFi signal transmitted from the WiFi AP, extracting the indoor channel estimation information from the received WiFi signal, and transmitting the extracted indoor channel estimation information to the WiFi AP may be further included.

상기 WiFi 인지 장치는, 상기 추출한 실내 채널 추정 정보를 디지털로 변환할 수 있다.The WiFi-aware device may digitally convert the extracted indoor channel estimation information.

본 발명에 따르면, 테스트베드 수준의 WiFi 기반 탐지 기술을 고도화하여 실내에 있는 사람들의 인원과 각각이 취하는 자세, 위치 등을 복합적으로 감지할 수 있다.According to the present invention, it is possible to complexly detect the number of people in a room, their postures, and locations by upgrading the WiFi-based detection technology at the test bed level.

도 1은 본 발명의 실시예에 따른 실내 사람 탐지 시스템이 적용된 환경의 예시도이다.
도 2는 본 발명의 실시예에 따른 WiFi 인지 장치의 구조도이다.
도 3은 본 발명의 실시예에 따른 실내 사람 탐지 방법에 대한 흐름도이다.
도 4는 본 발명의 실시예에 따른 관제 서버에 디스플레이되는 화면의 예시도이다.
도 5는 본 발명의 실시예에 따른 컴퓨팅 장치의 예시도이다.1 is an exemplary view of an environment to which an indoor person detection system according to an embodiment of the present invention is applied.
2 is a structural diagram of a WiFi aware device according to an embodiment of the present invention.
3 is a flowchart of an indoor person detection method according to an embodiment of the present invention.
4 is an exemplary view of a screen displayed on a control server according to an embodiment of the present invention.
5 is an exemplary diagram of a computing device according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a certain component is said to "include", it means that it may further include other components without excluding other components unless otherwise stated.

이하, 도면을 참조로 하여 본 발명의 실시예에 따른 WiFi 채널 추정 정보 기반 실내 사람 탐지 시스템 및 방법에 대해 상세히 설명한다. Hereinafter, an indoor person detection system and method based on WiFi channel estimation information according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시예에 따른 실내 사람 탐지 시스템이 적용된 환경의 예시도이다.1 is an exemplary view of an environment to which an indoor person detection system according to an embodiment of the present invention is applied.

도 1에 도시된 바와 같이, 실내 사람 탐지 시스템은 건물이나 사무실과 같은 실내에 설치되어 있는 적어도 하나의 WiFi AP(100), WiFi AP(100)와 연결되어 WiFi AP(100)에서 송출된 신호를 수신하여 채널 추정 정보를 추출하는 WiFi 인지 장치(200), 그리고 복수의 WiFi AP(100)들로부터 전송되는 채널 추정 정보를 기초로 실내에 몇 명의 사람이 어떠한 자세(앉은 자세, 서 있는 자세, 누워있는 자세 등) 또는 행동(걷기, 뛰기 등)을 하고 있는지 탐지하는 관제 서버(300)를 포함한다. As shown in FIG. 1, the indoor person detection system includes at least one WiFi AP 100 installed in a room such as a building or office, a WiFi recognition device 200 connected to the WiFi AP 100 and extracting channel estimation information by receiving a signal transmitted from the WiFi AP 100, and a certain posture (sitting, standing, lying down, etc.) or behavior (walking) of several people indoors based on the channel estimation information transmitted from the plurality of WiFi APs 100. , running, etc.) is included.

WiFi AP(100)는 실내에 위치한 사람(400)들이 각각 소지한 단말(500)들로 채널 추정 정보가 삽입되어 있는 신호를 전송하여, 사람(400)들이 단말(500)을 이용하여 통신 서비스를 이용할 수 있도록 한다. 이때 채널 추정 정보는 기 설정되어 있으며, 모든 WiFi AP(100)에 공통으로 할당되는 고정된 이진수의 값으로 설정된다. 채널 추정 정보는 이미 알려진 정보이므로 상세한 설명을 생략한다.The WiFi AP 100 transmits a signal in which channel estimation information is inserted to the terminals 500 possessed by the persons 400 located indoors, so that the persons 400 can use the terminal 500 to use the communication service. At this time, the channel estimation information is preset and is set to a fixed binary value commonly assigned to all WiFi APs (100). Since channel estimation information is already known information, a detailed description thereof will be omitted.

WiFi 인지 장치(200)는 WiFi AP(100)로부터 송출되는 신호를 수신하고, 수신한 신호에서 채널 추정 정보를 추출한다. 그리고, 추출한 채널 추정 정보를 WiFi AP(100)로 전달한다. 여기서, WiFi 인지 장치(200)가 신호를 수신하고, 수신한 신호에서 채널 추정 정보를 추출하는 방법은 다양한 방법으로 실행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.The WiFi-aware device 200 receives a signal transmitted from the WiFi AP 100 and extracts channel estimation information from the received signal. Then, the extracted channel estimation information is delivered to the WiFi AP (100). Here, since the method of receiving a signal by the WiFi-aware device 200 and extracting channel estimation information from the received signal can be performed in various ways, the embodiment of the present invention is not limited to any one method.

WiFi AP(100)에서 송출하는 신호는 실내에 있는 움직이는 객체(예를 들어, 사람 등)과 움직이지 않는 객체(예를 들어, 가구, 가전, 실내 구조물 등)에 의해 굴절되므로, 채널 추정 정보에 변화가 발생한다. 이때, 변화된 채널 추정 정보는 객체의 수, 사람인 경우에는 취하는 자세나 행동에 따라 오차 범위 내에서 유사한 값으로 변화를 일으킨다. Since the signal transmitted from the WiFi AP 100 is refracted by moving objects (e.g., people) and non-moving objects (e.g., furniture, appliances, indoor structures, etc.) in the room, channel estimation information changes. At this time, the changed channel estimation information changes to a similar value within an error range according to the number of objects and, in the case of a person, a posture or action taken.

따라서, 관제 서버(300)는 객체 정보와 변경된 채널 추정 정보를 학습 데이터로 수집한다. 그리고 관제 서버(300)는 학습 데이터로 신경망 분류기를 학습시킨다. 여기서, 객체 정보는 객체의 수, 객체의 위치, 객체의 동작 정보(예를 들어, 객체가 취하는 자세나 행동 등)를 포함한다.Accordingly, the control server 300 collects object information and changed channel estimation information as learning data. And the control server 300 learns the neural network classifier with learning data. Here, the object information includes the number of objects, the location of the object, and motion information of the object (eg, a posture or action taken by the object).

이때, 신경망 분류기는 실내 사람 추출 모델(이하, 설명의 편의를 위하여 '사람 추출 모델'이라 지칭함)로 구성된다. 그리고 사람 추출 모델은 합성곱 재귀 신경망(CRNN: Convolution Recurrent Neural Network) 또는 재귀 신경망(RNN: Recurrent Neural Network) 기반의 모델 중 GRU(Gated Recurrent Unit)을 이용하는 등 다양한 모델을 사용할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 모델로 한정하지 않는다. At this time, the neural network classifier is composed of an indoor person extraction model (hereinafter referred to as a 'person extraction model' for convenience of description). In addition, the human extraction model can use a variety of models, such as using a GRU (Gated Recurrent Unit) among models based on a Convolution Recurrent Neural Network (CRNN) or a Recurrent Neural Network (RNN). Therefore, in the embodiment of the present invention, it is not limited to any one model.

이와 같은 환경에서, WiFi 인지 장치(200)의 구조에 대해 도 2를 참조로 설명한다.In this environment, the structure of the WiFi-aware device 200 will be described with reference to FIG. 2 .

도 2는 본 발명의 실시예에 따른 WiFi 인지 장치의 구조도이다.2 is a structural diagram of a WiFi aware device according to an embodiment of the present invention.

도 2에 도시된 바와 같이, WiFi 인지 장치(200)는 모뎀(310), 컨버터(320), 그리고 인터페이스(330)를 포함한다.As shown in FIG. 2 , the WiFi aware device 200 includes a modem 310 , a converter 320 and an interface 330 .

WiFi 인지 장치(200)의 모뎀(310)은 WiFi AP(100)로부터 와이파이 신호를 수신하면, 수신한 와이파이 신호에서 채널 추정 정보를 추출한다. 이때의 채널 추정 정보는 WiFi AP(100)가 설치된 실내 공간의 객체들에 의해 변화된 값에 해당하며, 와이파이 신호에 아날로그 형태로 삽입되어 있는 것을 예로 하여 설명한다.When the modem 310 of the WiFi-aware device 200 receives a WiFi signal from the WiFi AP 100, it extracts channel estimation information from the received WiFi signal. The channel estimation information at this time corresponds to a value changed by objects in the indoor space where the WiFi AP 100 is installed, and is inserted into the WiFi signal in analog form.

컨버터(320)는 모뎀(310)에서 추출한 아날로그 형태의 채널 추정 값을 디지털로 변환한다. 인터페이스(330)는 디지털로 변환된 채널 추정 값을 WiFi AP(100)로 실내 사람 탐지 신호로 전달한다. The converter 320 converts the analog channel estimation value extracted from the modem 310 into digital. The interface 330 transmits the digitally converted channel estimation value to the WiFi AP 100 as an indoor person detection signal.

이와 같이 실내 탐지 시스템으로 실내 사람 유무와 자세나 행동 등을 탐지하는 방법에 대해 도 3을 참조로 설명한다.As such, a method of detecting the presence or absence of a person indoors and a posture or behavior using the indoor detection system will be described with reference to FIG. 3 .

도 3은 본 발명의 실시예에 따른 실내 사람 탐지 방법에 대한 흐름도이다.3 is a flowchart of an indoor person detection method according to an embodiment of the present invention.

도 3에 도시된 바와 같이, 관제 서버(300)는 객체 정보와 변경된 채널 추정 정보를 학습 데이터로 수집한다(S100).As shown in FIG. 3, the control server 300 collects object information and changed channel estimation information as learning data (S100).

여기서, 객체 정보는 객체의 수, 객체의 위치, 객체의 동작 정보(예를 들어, 객체가 취하는 자세나 행동 등)를 포함한다. 객체 정보는 객체의 수, 객체의 위치, 객체의 동작 정보에 따라 복수 개 생성된다. Here, the object information includes the number of objects, the location of the object, and motion information of the object (eg, a posture or action taken by the object). A plurality of object information is generated according to the number of objects, the location of the object, and operation information of the object.

예를 들어, 실내에 가구나 사람 등 아무 것도 없을 경우의 채널 추정 정보와 의자가 실내 한 가운데 있을 때의 채널 추정 정보는 상이하다. 또한, 의자가 실내 한 가운데에 두 개 있을 때의 채널 추정 정보 역시 상이하다. 또한, 사람이 실내에 서 있을 때와 누워 있을 때, 움직일 때 등 행동에 따라서도 채널 추정 정보가 상이하다.For example, channel estimation information when there is no furniture or people in the room is different from channel estimation information when a chair is in the middle of the room. In addition, channel estimation information when two chairs are located in the middle of the room is also different. In addition, channel estimation information is also different according to actions such as when a person is standing indoors, lying down, or moving.

따라서, 관제 서버(300)는 실내에서 발생할 수 있는 모든 경우에 대해 학습 데이터로 수집한다. 새로운 조건이 발생할 경우에도 학습 데이터로 객체 정보와 채널 추정 정보를 수집한다.Therefore, the control server 300 collects learning data for all cases that may occur indoors. Even when a new condition occurs, object information and channel estimation information are collected as learning data.

관제 서버(300)는 S100 단계에서 수집한 학습 데이터로 실내 사람을 추출하는 사람 추출 모델을 학습시킨다(S101). 즉, 학습 데이터를 구성하는 채널 추정 정보가 입력되면 객체 정보가 출력되도록 사람 추출 모델을 학습시킨다. The control server 300 trains a person extraction model for extracting an indoor person with the learning data collected in step S100 (S101). That is, when channel estimation information constituting learning data is input, a person extraction model is trained to output object information.

사람 추출 모델을 학습시킨 후, WiFi AP(100)는 설치된 실내에서 채널 추정 정보가 포함된 신호를 송출한다(S102). 실내에서 신호를 수신한 WiFi 인지 장치(200)는 신호에 포함된 채널 추정 정보를 추출한다(S103). 이때 채널 추정 정보는 실내에 있는 객체들에 의해 변화된 값에 해당한다.After learning the person extraction model, the WiFi AP (100) transmits a signal containing channel estimation information in the installed room (S102). The WiFi-aware device 200 receiving the signal indoors extracts channel estimation information included in the signal (S103). At this time, the channel estimation information corresponds to values changed by objects in the room.

WiFi 인지 장치(200)는 S103 단계에서 추출한 채널 추정 정보를 디지털로 변환하고(S104), 변환된 채널 추정 정보를 WiFi AP(100)로 전달한다(S105). WiFi AP(100)는 WiFi 인지 장치(200)로부터 채널 추정 정보를 수신하면, 이를 관제 서버(300)로 전달한다(S106). 이때, 관제 서버(300)로 전달된 채널 추정 정보에는 WiFi AP(100)의 식별 정보가 추가로 포함된다.The WiFi-aware device 200 digitally converts the channel estimation information extracted in step S103 (S104) and delivers the converted channel estimation information to the WiFi AP (100) (S105). When the WiFi AP 100 receives the channel estimation information from the WiFi aware device 200, it transfers it to the control server 300 (S106). At this time, the channel estimation information transmitted to the control server 300 further includes identification information of the WiFi AP 100.

관제 서버(300)는 S106 단계에서 수신한 채널 추정 정보를 S101 단계에서 학습된 사람 추출 모델에 입력하여, WiFi AP(100)가 설치된 실내에 있는 사람들의 수와, 각 사람이 취하는 자세나 행동을 파악한다(S107). 관제 서버(300)는 S107 단계에서 파악한 사람들의 수를 해당 건물을 관리하는 관리자의 단말로 제공하거나, 관리자가 건물 내에 있는 사람들의 수나 위치를 확인할 수 있도록 화면을 통해 디스플레이할 수도 있다.The control server 300 inputs the channel estimation information received in step S106 to the person extraction model learned in step S101 to determine the number of people in the room where the WiFi AP 100 is installed and the posture or action taken by each person (S107). The control server 300 may provide the number of people identified in step S107 to a terminal of a manager who manages the building, or display the number of people in the building so that the manager can check the location or number of people in the building.

이와 같은 절차로 관제 서버(300)가 확인하여 디스플레이하는 화면에 대해 도 4를 참조로 설명한다.The screen that the control server 300 confirms and displays through such a procedure will be described with reference to FIG. 4 .

도 4는 본 발명의 실시예에 따른 관제 서버에 디스플레이되는 화면의 예시도이다.4 is an exemplary view of a screen displayed on a control server according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 관제 서버(300)는 메뉴를 표시하는 메뉴 영역(①), 실내 상태 정보를 표시하는 상태 정보 표시 영역(②), 그리고 WiFi 인지 장치(200)의 위치 정보를 표시하는 WiFi 인지 장치 정보 표시 영역(③)으로 나누어 화면에 정보를 표시한다.As shown in FIG. 4, the control server 300 displays information on the screen by dividing it into a menu area (①) for displaying menus, a status information display area (②) for displaying indoor state information, and a WiFi-aware device information display area (③) for displaying location information of the WiFi-aware device 200.

메뉴 영역(①)에는 관리자가 건물 내 층이나 방을 변경할 수 있도록 건물 정보를 제공하는 변경 메뉴, WiFi 인지 장치(200)의 위치 상세 정보를 확인할 수 있는 상세 정보 메뉴, 날짜 또는 시간별로 전체 정보를 확인할 수 있는 이전 기록 메뉴, 환경 설정 및 사용자 설정을 가능하게 하는 환경 설정 메뉴를 포함한다. 또한, 메뉴 영역(①)에는 재난 상황을 설정하는 긴급상황 적용/해제 메뉴, 지도 화면이나 지도 리스트를 화면에 표시하는 지도보기/리스트 메뉴, WiFi 인지 장치(200)를 추가로 등록할 수 있는 스테이션 추가 메뉴, 그리고 앱을 종료할 수 있는 로그아웃 메뉴를 추가로 포함한다.The menu area (①) includes a change menu that provides building information so that a manager can change a floor or room in a building, a detailed information menu that can check detailed location information of the WiFi recognition device 200, a previous record menu that can check overall information by date or time, and an environment setting menu that enables environment settings and user settings. In addition, the menu area (①) includes an emergency application/release menu for setting a disaster situation, a map view/list menu for displaying a map screen or a map list on the screen, a station addition menu for registering additional WiFi recognition devices 200, and a logout menu for exiting the app.

상태 정보 표시 영역(②)에는 날짜, 로그인 사용자(user), WiFi 인지 장치(200)의 기본 정보, 표시중인 건물 내 공간에 있는 인원, 위치, 자세, WiFi AP(100)와 WiFi 인지 장치(200)의 설치 위치, WiFi 인지 장치(200)의 위치 정보(주소)를 표시한다. 그리고 WiFi 인지 장치 정보 표시 영역(③)에는 지도 상에 WiFi 인지 장치(200)의 위치를 표시하는 것을 예로 하여 설명한다.In the status information display area (②), the date, login user (user), basic information of the WiFi-aware device 200, number of people in the space in the building being displayed, location, posture, WiFi AP 100 and WiFi-aware device 200 Installation location, location information (address) of the WiFi cognitive device 200 is displayed. And, in the WiFi-aware device information display area ③, displaying the location of the WiFi-aware device 200 on a map will be described as an example.

도 5는 본 발명의 실시예에 따른 컴퓨팅 장치의 예시도이다.5 is an exemplary diagram of a computing device according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치(600)에서, 본 발명의 동작을 실행하도록 기술된 명령들(instructions)이 포함된 프로그램을 실행한다. As shown in FIG. 5 , in a computing device 600 operated by at least one processor, a program including instructions described to execute the operation of the present invention is executed.

컴퓨팅 장치(600)의 하드웨어는 적어도 하나의 프로세서(610), 메모리(620), 스토리지(630), 통신 인터페이스(640)를 포함할 수 있고, 버스를 통해 연결될 수 있다. 이외에도 입력 장치 및 출력 장치 등의 하드웨어가 포함될 수 있다. 컴퓨팅 장치(600)는 프로그램을 구동할 수 있는 운영 체제를 비롯한 각종 소프트웨어가 탑재될 수 있다.The hardware of the computing device 600 may include at least one processor 610, memory 620, storage 630, and communication interface 640, and may be connected through a bus. In addition, hardware such as an input device and an output device may be included. The computing device 600 may be loaded with various software including an operating system capable of driving programs.

프로세서(610)는 컴퓨팅 장치(600)의 동작을 제어하는 장치로서, 프로그램에 포함된 명령들을 처리하는 다양한 형태의 프로세서(610)일 수 있고, 예를 들면, CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 등 일 수 있다. The processor 610 is a device for controlling the operation of the computing device 600, and may be various types of processors 610 that process commands included in a program, and may be, for example, a Central Processing Unit (CPU), a Micro Processor Unit (MPU), a Micro Controller Unit (MCU), a Graphic Processing Unit (GPU), and the like.

메모리(620)는 본 발명의 동작을 실행하도록 기술된 명령들이 프로세서(610)에 의해 처리되도록 해당 프로그램을 로드한다. 메모리(620)는 예를 들면, ROM(read only memory), RAM(random access memory) 등 일 수 있다. 스토리지(630)는 본 발명의 동작을 실행하는데 요구되는 각종 데이터, 프로그램 등을 저장한다. 통신 인터페이스(640)는 유/무선 통신부일 수 있다.Memory 620 loads a corresponding program so that the instructions described to carry out the operations of the present invention are processed by processor 610 . The memory 620 may be, for example, read only memory (ROM) or random access memory (RAM). The storage 630 stores various data, programs, etc. required to execute the operation of the present invention. The communication interface 640 may be a wired/wireless communication unit.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also within the scope of the present invention.

Claims

A method of operating an indoor person detection system operated by at least one processor and interworking with a WiFi AP,
Collecting object information of objects including a person located indoors and channel estimation information changed by the number and posture or behavior of the objects as learning data;
Training a neural network classifier using the learning data; and
The WiFi-aware device installed in the room extracts channel estimation information from a signal received from the WiFi AP, receives the channel estimation information extracted by the WiFi-aware device through the WiFi AP, and when the channel estimation information is input to a learned neural network classifier, identifying the number of people located in the room and the posture or action taken by each person
including,
The learned neural network classifier is a person extraction model trained to output information about the number of people located in the room and the posture or action taken by each person when the changed channel estimation information is input.
Including, operating method.

According to claim 1,
The object information includes the number of objects located in the room, the position of the object, and motion information of an object representing a posture or action taken by each object, and the object corresponds to a person.

According to claim 2,
The step of learning the neural network classifier,
Learning to output the number of people located in the room, posture information or behavior information taken by each person when the changed channel estimation information is input.

According to claim 1,
After the step of figuring out the above,
Displaying on a map the location and number of people located in the room, and the postures or actions taken by each person
Further comprising a method of operation.

A method of operating an indoor person detection system operated by at least one processor, comprising:
Receiving a WiFi signal transmitted from a WiFi AP installed indoors;
Extracting channel estimation information changed by objects including people located in the room and the number of the objects and the position, posture or behavior of each object from the received WiFi signal;
Delivering the extracted channel estimation information to the WiFi AP, and
Receiving the channel estimation information through the WiFi AP, and using a pre-learned neural network classifier to determine the number of people located in the room and the posture or action taken by each person based on the channel estimation information
Including, operating method.

According to claim 5,
Prior to receiving the WiFi signal,
Collecting object information of objects including a person located indoors and channel estimation information changed by the objects as learning data; and
Learning a neural network classifier using the learning data
Including, operating method.

According to claim 6,
The learned neural network classifier is a person extraction model trained to output information about the number of people located in the room and the posture or action taken by each person when the changed channel estimation information is input.
Including, operating method.

According to claim 6,
The step of extracting the channel estimation information,
converting the extracted channel estimation information into digital
Including, operating method.

As an indoor person detection system that works with WiFi AP,
A memory including at least one instruction and storing learning data including the number of objects including a person and channel estimation information for each posture or behavior of a person;
An interface for receiving channel information extracted from a WiFi signal in a WiFi-aware device through the WiFi AP, and
processor
including,
the processor,
Indoor person detection system, which extracts indoor channel estimation information for each number of people and their postures or behaviors from the learning data, and when the channel estimation information received through the WiFi AP is input, trains a neural network classifier to output the number of people and the postures or behaviors of the people, and inputs the received indoor channel estimation information to the learned neural network classifier to detect the number of people in the room and their postures or behaviors.

According to claim 9,
The learned neural network classifier,
and a person extraction model trained to output information on the number of people located in the room and postures or actions taken by each person when the changed channel estimation information is input.

According to claim 9,
the processor,
The indoor person detection system, which displays the position of each person and the posture or action taken by each person on a map for each person located in the room.

According to claim 9,
A WiFi-aware device that interworks with the WiFi AP to receive a WiFi signal transmitted from the WiFi AP, extracts indoor channel estimation information from the received WiFi signal, and transmits the extracted indoor channel estimation information to the WiFi AP
Further comprising, an indoor person detection system.

According to claim 12,
The WiFi-aware device,
An indoor person detection system for converting the extracted indoor channel estimation information into digital.