KR20210046394A

KR20210046394A - Method of monitoring infant and apparatuses performing the same

Info

Publication number: KR20210046394A
Application number: KR1020190130045A
Authority: KR
Inventors: 하영국; 김철진; 박호림; 이명재; 장성수; 황규홍
Original assignee: 건국대학교 산학협력단
Priority date: 2019-10-18
Filing date: 2019-10-18
Publication date: 2021-04-28
Also published as: WO2021075622A1; KR102263807B1

Abstract

An infant monitoring method and a device performing the same are disclosed. According to one embodiment, the infant monitoring method comprises the steps of: acquiring environmental information on an environment in which a camera is installed to monitor an infant and camera information on the camera; and allocating a virtual space corresponding to the environment based on the environment information and the camera information.

Description

Infant monitoring method and devices that perform it {METHOD OF MONITORING INFANT AND APPARATUSES PERFORMING THE SAME}

아래 실시예들은 유아 모니터링 방법 및 이를 수행하는 장치들에 관한 것이다.The following embodiments relate to an infant monitoring method and devices for performing the same.

유아(또는 아동)는 자기 보호 능력 및 의사 표현 능력이 없고 신체가 발달하지 않은 사람일 수 있다. 유아는 각종 질병 및 사고에 노출되어 원인을 알 수 없는 돌연사가 빈번히 발생할 수 있다.Infants (or children) may be people who do not have the ability to protect themselves and express their opinions and are not physically developed. Infants are exposed to various diseases and accidents, and sudden deaths of unknown causes can occur frequently.

유아에 대한 돌연사나 질병의 초기 현상의 발견, 사고의 방지 등은 결국 유아의 보호자에 의해 이루어져야 한다. 하지만, 보호자는 항상 유아에게 모든 일을 집중하고 감시하는 것이 현실적으로 불가능할 수 있다.Sudden death of infants, discovery of early phenomena of disease, prevention of accidents, etc. must be done by the infant's guardian. However, it may be realistically impossible for the caregiver to always focus and monitor everything on the infant.

최근에는 웨어러블 센서의 발달 및 네트워크 기술의 발달에 따라 유아의 상태를 지속적으로 모니터링하는 유아 모니터링 기술이 발달하고 있다. 예를 들어, 최근에는 유아의 팔목이나 발목에 온도 센서와 맥박 센서를 착용하는 밴드 또는 온도계 등 다양한 센서를 포함한 의복이 제조된다. 온도 센서 및 맥박 센서를 포함한 의복은 유아의 맥박 및 온도를 수시로 측정하고, 네트워크를 통해 측정된 유아의 맥박 데이터 및 유아의 온도 데이터를 보호자에게 전달할 수 있다.In recent years, with the development of wearable sensors and the development of network technology, infant monitoring technology that continuously monitors the state of infants has been developed. For example, recently, clothing including various sensors such as a thermometer or a band for wearing a temperature sensor and a pulse sensor on an infant's wrist or ankle is manufactured. Clothing including a temperature sensor and a pulse sensor may measure the infant's pulse and temperature from time to time, and transmit the infant's pulse data and the infant's temperature data measured through a network to a guardian.

다만, 유아가 착용하는 의복에 장착되는 센서들은 유아의 피부에 트러블을 발생시키고, 항시 유아가 착용해야 하는 불편함과, 높은 의복 구매 비용이 발생하는 문제점이 있다.However, sensors mounted on clothes worn by infants cause troubles on the skin of infants, and there is a problem in that infants must always wear them, and high cost of clothing purchases are incurred.

실시예들은 카메라 장치 및 카메라 장치가 설치된 환경에 대응하는 가상 공간을 할당하고, 할당된 가상 공간을 통해 영상에 포함된 객체를 인식하여 환경에 위치한 유아가 위험한 상황인지(또는 유아가 위험한 상태인지, 유아의 상태가 위험한지) 여부를 판단하는 기술을 제공할 수 있다.The embodiments allocate a camera device and a virtual space corresponding to the environment in which the camera device is installed, and recognize an object included in the image through the allocated virtual space, It can provide a technique to determine whether the infant's condition is dangerous).

일 실시예에 따른 유아 모니터링 방법은 카메라가 설치되어 유아를 모니터링할 환경에 대한 환경 정보 및 상기 카메라에 대한 카메라 정보를 획득하는 단계와, 상기 환경 정보 및 상기 카메라 정보에 기초하여 상기 환경에 대응하는 가상 공간을 할당하는 단계를 포함하고, 상기 가상 공간은 상기 환경에 위치하는 상기 유아를 모니터링하여 상기 유아가 위험한 상황인지 여부를 판단하기 위한 공간일 수 있다.In the infant monitoring method according to an embodiment, a camera is installed to obtain environmental information on an environment to monitor an infant and camera information on the camera, and corresponding to the environment based on the environment information and the camera information. Allocating a virtual space, wherein the virtual space may be a space for determining whether the infant is in a dangerous situation by monitoring the infant located in the environment.

상기 환경 정보는 상기 유아가 위치한 장소에 대한 정보로써, 상기 장소의 종류 및 상기 장소의 크기에 대한 정보를 포함할 수 있다.The environmental information is information on a place where the infant is located, and may include information on the type of the place and the size of the place.

상기 카메라 정보는 상기 카메라의 종류, 상기 카메라의 사양, 상기 카메라의 수에 대한 정보를 포함할 수 있다.The camera information may include information on the type of the camera, the specification of the camera, and the number of cameras.

상기 가상 공간은 상기 환경 및 상기 카메라에 최적화된 공간일 수 있다.The virtual space may be a space optimized for the environment and the camera.

상기 가상 공간은 상기 장소의 종류 및 크기와 상기 카메라의 종류, 사양 및 수에 기초하여 상기 가상 공간의 크기가 결정될 수 있다.The size of the virtual space may be determined based on the type and size of the place and the type, specification, and number of the cameras.

상기 가상 공간은 카메라 모듈 및 인식 모듈를 포함할 수 있다.The virtual space may include a camera module and a recognition module.

상기 방법은 상기 인식 모듈을 학습하는 단계를 더 포함하고, 상기 학습하는 단계는 상기 환경, 상기 유아, 상기 유아에게 위험한 위험 객체 및 상기 유아에게 위험하지 않은 비위험 객체를 설정하는 단계와, 상기 환경, 상기 유아, 상기 위험 객체 및 상기 비위험 객체에 기초하여 상기 유아가 위험할 상황들을 설정하는 단계와, 상기 환경, 상기 유아, 상기 위험 객체, 상기 비위험 객체 및 상기 상황에 기초하여 상기 인식 모듈을 학습하는 단계를 포함할 수 있다.The method further comprises the step of learning the recognition module, wherein the learning comprises the steps of setting the environment, the infant, a dangerous object dangerous to the infant, and a non-hazardous object that is not dangerous to the infant, and the environment , Setting situations in which the infant is at risk based on the infant, the dangerous object, and the non-dangerous object, and the recognition module based on the environment, the infant, the dangerous object, the non-dangerous object, and the situation It may include the step of learning.

상기 방법은 상기 카메라 모듈을 통해 상기 카메라로부터 전송된 영상을 획득하는 단계와, 학습된 인식 모듈을 통해 상기 영상에 포함된 상기 유아가 위험한 상황인지 여부를 판단하는 단계를 더 포함할 수 있다.The method may further include obtaining an image transmitted from the camera through the camera module, and determining whether the infant included in the image is in a dangerous situation through the learned recognition module.

상기 판단하는 단계는 상기 영상에 기초하여 상기 영상에 포함된 상기 유아 및 객체를 인식하는 단계와, 상기 객체가 위험 객체인지 여부 및 비위험 객체인지 여부를 판단하는 단계와, 상기 유아의 움직임과 상기 유아 및 상기 위험 객체 간의 이격 거리에 기초하여 상기 유아가 위험한 상황인지 여부를 판단하는 단계를 포함할 수 있다.The determining includes recognizing the infant and the object included in the image based on the image, determining whether the object is a dangerous object and a non-risk object, and the movement of the infant and the It may include determining whether the infant is in a dangerous situation based on the separation distance between the infant and the dangerous object.

상기 방법은 상기 유아가 위험한 상황인 경우, 위험 신호를 전송하는 단계를 더 포함할 수 있다.The method may further include transmitting a danger signal when the infant is in a dangerous situation.

일 실시예에 따른 유아 모니터링 장치는 인스트럭션들을 포함하는 메모리와, 상기 인스트럭션들을 실행하기 위한 컨트롤러를 포함하고, 상기 컨트롤러는 카메라가 설치되어 유아를 모니터링할 환경에 대한 환경 정보 및 상기 카메라에 대한 카메라 정보를 획득하고, 상기 환경 정보 및 상기 카메라 정보에 기초하여 상기 환경에 대응하는 가상 공간을 할당하고, 상기 가상 공간은 상기 환경에 위치하는 상기 유아를 모니터링하여 상기 유아가 위험한 상황인지 여부를 판단하기 위한 공간일 수 있다.The infant monitoring device according to an embodiment includes a memory including instructions and a controller for executing the instructions, wherein the controller is installed with a camera to monitor the infant and environmental information on the environment and camera information on the camera. And allocating a virtual space corresponding to the environment based on the environment information and the camera information, and the virtual space monitors the infant located in the environment to determine whether the infant is in a dangerous situation. It can be space.

상기 컨트롤러는 상기 인식 모듈을 학습하고, 상기 컨트롤러는 상기 환경, 상기 유아, 상기 유아에게 위험한 위험 객체 및 상기 유아에게 위험하지 않은 비위험 객체를 설정하고, 상기 환경, 상기 유아, 상기 위험 객체 및 상기 비위험 객체에 기초하여 상기 유아가 위험할 상황들을 설정하고, 상기 환경, 상기 유아, 상기 위험 객체, 상기 비위험 객체 및 상기 상황에 기초하여 상기 인식 모듈을 학습할 수 있다.The controller learns the recognition module, and the controller sets the environment, the infant, a dangerous object dangerous to the infant, and a non-hazardous object that is not dangerous to the infant, and the environment, the infant, the dangerous object, and the The situation in which the infant is at risk may be set based on the non-risk object, and the recognition module may be learned based on the environment, the infant, the dangerous object, the non-dangerous object, and the situation.

상기 컨트롤러는 상기 카메라 모듈을 통해 상기 카메라로부터 전송된 영상을 획득하고, 학습된 인식 모듈을 통해 상기 영상에 포함된 상기 유아가 위험한 상황인지 여부를 판단할 수 있다.The controller may obtain an image transmitted from the camera through the camera module, and determine whether the infant included in the image is in a dangerous situation through the learned recognition module.

상기 컨트롤러는 상기 학습된 인식 모듈을 통해 상기 영상에 기초하여 상기 영상에 포함된 상기 유아 및 객체를 인식하고, 상기 객체가 위험 객체인지 여부 및 비위험 객체인지 여부를 판단하고, 상기 유아의 움직임과 상기 유아 및 상기 위험 객체 간의 이격 거리에 기초하여 상기 유아가 위험한 상황인지 여부를 판단할 수 있다.The controller recognizes the infant and the object included in the image based on the image through the learned recognition module, determines whether the object is a dangerous object or a non-risk object, and determines whether the infant's movement and It may be determined whether the infant is in a dangerous situation based on the separation distance between the infant and the dangerous object.

상기 컨트롤러는 상기 유아가 위험한 상황인 경우, 위험 신호를 전송할 수 있다.The controller may transmit a danger signal when the infant is in a dangerous situation.

도 1은 일 실시예에 따른 유아 모니터링 시스템의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 유아 모니터링 장치의 개략적인 블록도를 나타낸다.
도 3은 도 2에 도시된 가상 공간의 개략적인 블록도를 나타낸다.
도 4는 도 3에 도시된 인식 모듈의 학습 과정을 설명하기 위한 일 예를 나타낸다.
도 5는 도 3에 도시된 인식 모듈의 학습 과정을 설명하기 위한 순서도를 나타낸다.
도 6은 일 실시예에 따른 유아 모니터링 장치의 동작을 설명하기 위한 일 예를 나타낸다.
도 7은 일 실시예에 따른 유아 모니터링 장치의 동작을 설명하기 위한 다른 예를 나타낸다.
도 8은 도 1에 도시된 유아 모니터링 장치의 동작을 설명하기 위한 순서도를 나타낸다.1 shows a schematic block diagram of an infant monitoring system according to an embodiment.
2 shows a schematic block diagram of the infant monitoring device shown in FIG. 1.
3 shows a schematic block diagram of the virtual space shown in FIG. 2.
4 shows an example for explaining a learning process of the recognition module shown in FIG. 3.
5 is a flowchart illustrating a learning process of the recognition module shown in FIG. 3.
6 shows an example for explaining the operation of the infant monitoring device according to an embodiment.
7 shows another example for explaining the operation of the infant monitoring device according to an embodiment.
8 is a flowchart illustrating the operation of the infant monitoring device shown in FIG. 1.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes may be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It is to be understood that all changes, equivalents, or substitutes to the embodiments are included in the scope of the rights.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for illustrative purposes only and should not be construed as limiting. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof does not preclude in advance.

제1 또는 제2등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해서 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 실시예의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various elements, but the elements should not be limited by terms. The terms are only for the purpose of distinguishing one component from other components, for example, without departing from the scope of rights according to the concept of the embodiment, the first component may be named as the second component, and similarly The second component may also be referred to as a first component.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present application. Does not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are assigned to the same components regardless of the reference numerals, and redundant descriptions thereof will be omitted. In describing the embodiments, when it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the embodiments, the detailed description thereof will be omitted.

본 명세서에서의 모듈(module)은 본 명세서에서 설명되는 각 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다.A module in the present specification may mean hardware capable of performing functions and operations according to each name described in the present specification, or may mean a computer program code capable of performing a specific function and operation. Or, it may mean an electronic recording medium, for example, a processor or a microprocessor in which a computer program code capable of performing a specific function and operation is mounted.

다시 말해, 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.In other words, the module may mean a functional and/or structural combination of hardware for performing the technical idea of the present invention and/or software for driving the hardware.

도 1은 일 실시예에 따른 유아 모니터링 시스템의 개략적인 블록도를 나타낸다.1 shows a schematic block diagram of an infant monitoring system according to an embodiment.

유아 모니터링 시스템(10)은 카메라 장치(100), 유아 모니터링 장치(300) 및 전자 장치(500)를 포함한다.The infant monitoring system 10 includes a camera device 100, an infant monitoring device 300, and an electronic device 500.

카메라 장치(100)는 유아를 모니터링할 환경에 설치되어 유아 및 환경을 촬영하는 카메라일 수 있다. 예를 들어, 환경은 유아가 생활 및 위치한 장소(또는 공간)로 가정집의 유아방, 유치원의 유아실 및 유아 놀이방 등 다양한 유아 전용 장소일 수 있다.The camera device 100 may be a camera installed in an environment to monitor infants and photographing infants and their environment. For example, the environment may be a place (or space) where an infant lives and is located, and may be a variety of places exclusively for infants such as a nursery at a home, a nursery at a kindergarten, and a playroom.

카메라 장치(100)는 유아 및 환경을 촬영하여 영상(또는 영상 데이터, 또는 영상 신호)를 생성한 후, 영상을 유아 모니터링 장치(300) 및 전자 장치(500)에 전송할 수 있다.The camera device 100 may capture an infant and an environment to generate an image (or image data, or an image signal), and then transmit the image to the infant monitoring device 300 and the electronic device 500.

또한, 카메라 장치(100)는 카메라 장치(100)에 대한 카메라 정보 및/또는 카메라 장치(100)가 설치된 환경에 대한 환경 정보를 유아 모니터링 장치(300)에 전송할 수 있다.In addition, the camera device 100 may transmit camera information about the camera device 100 and/or environmental information about an environment in which the camera device 100 is installed to the infant monitoring device 300.

유아 모니터링 장치(300)는 카메라 장치(100) 및 카메라 장치(100)가 설치된 환경에 대응하는 가상 공간을 할당할 수 있다.The infant monitoring device 300 may allocate a virtual space corresponding to the camera device 100 and the environment in which the camera device 100 is installed.

유아 모니터링 장치(300)는 할당된 가상 공간을 통해 영상에 포함된 객체를 인식하여 환경에 위치한 유아가 위험한 상황인지(또는 유아가 위험한 상태인지, 유아의 상태가 위험한지) 여부를 판단할 수 있다.The infant monitoring device 300 may recognize an object included in the image through the allocated virtual space to determine whether an infant located in the environment is in a dangerous situation (or whether the infant is in a dangerous state, or whether the infant is in a dangerous state). .

가상 공간은 여러 환경 및 여러 위험 상황에서 영상 속 객체 인식 및 유아 상태 판단에 유연하게 사용 가능할 수 있다. 유아 모니터링 장치(300)는 최소한의 모니터링 카메라와 인터넷 연결만으로 어떠한 환경에서도 특별한 제약 없이 유아를 인식하고, 유아의 상태를 판단할 수 있다. 유아 모니터링 장치(300)는 유아 안전 상황을 판단하여 유아가 위험 상황인 경우에 전자 장치(500), 예를 들어 IoT 장치 및 휴대폰 App 등으로 위험 신호를 전송하여 유아를 보호할 수 있다.The virtual space can be flexibly used to recognize objects in images and determine the state of infants in various environments and dangerous situations. The infant monitoring device 300 can recognize the infant without special restrictions in any environment and determine the infant's state with only a minimum monitoring camera and an Internet connection. The infant monitoring device 300 may determine the infant safety situation and protect the infant by transmitting a danger signal to the electronic device 500, for example, an IoT device and a mobile phone App, when the infant is in a dangerous situation.

전자 장치(500)는 유아를 보호하는 보호자가 사용하는 전자 장치일 수 있다. 보호자는 유아의 부모 및 유아의 관리자 등 유아를 보호하기 위한 다양한 사람일 수 있다.The electronic device 500 may be an electronic device used by a guardian who protects an infant. The guardian may be a variety of people to protect the infant, such as the infant's parent and the infant's manager.

전자 장치(500)는 보호자가 사용하는 전자 장치이거나 환경에 위치 및/또는 설치된 IoT(internet of things) 장치(또는 IoT 디바이스)일 수 있다.The electronic device 500 may be an electronic device used by a guardian or an Internet of things (IoT) device (or IoT device) located and/or installed in an environment.

일 예로, 전자 장치(500)는 환경에 위치 및/또는 설치된 디스플레이, 스피커 및 유아 위험 알림 장치 등 다양한 IoT 장치일 수 있다.For example, the electronic device 500 may be a variety of IoT devices such as a display, a speaker, and an infant risk notification device located and/or installed in an environment.

다른 예로, 전자 장치(500)는 보호자가 사용하는 PC(personal computer), 데이터 서버, 또는 휴대용 전자 장치 등 다양한 장치일 수 있다. 휴대용 전자 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 스마트 디바이스(smart device)으로 구현될 수 있다. 이때, 스마트 디바이스는 스마트 워치(smart watch) 또는 스마트 밴드(smart band)로 구현될 수 있다.As another example, the electronic device 500 may be various devices such as a personal computer (PC), a data server, or a portable electronic device used by a guardian. Portable electronic devices include a laptop computer, a mobile phone, a smart phone, a tablet PC, a mobile internet device (MID), a personal digital assistant (PDA), an enterprise digital assistant (EDA). ), digital still camera, digital video camera, portable multimedia player (PMP), personal navigation device or portable navigation device (PND), handheld game console, e-book (e-book), it can be implemented as a smart device (smart device). In this case, the smart device may be implemented as a smart watch or a smart band.

전자 장치(500)는 카메라 정보, 환경 정보 및 유아에 대한 유아 정보를 유아 모니터링 장치(300)에 전송할 수 있다.The electronic device 500 may transmit camera information, environment information, and infant information about an infant to the infant monitoring device 300.

전자 장치(500)는 카메라 장치(100)로부터 전송된 영상 및 유아 모니터링 장치(300)로부터 전송된 위험 신호를 수신하여 보호자에게 제공할 수 있다. 이에, 보호자 및/또는 유아 주변의 사람은 영상 및 위험 신호를 통해 유아가 안전한지 또는 위험한지 여부를 실시간으로 모니터링(또는 확인)하여 유아를 안전하게 보호할 수 있다.The electronic device 500 may receive an image transmitted from the camera device 100 and a danger signal transmitted from the infant monitoring device 300 and provide it to a guardian. Accordingly, a guardian and/or a person around the infant may monitor (or confirm) whether the infant is safe or dangerous in real time through images and danger signals to protect the infant safely.

도 2는 도 1에 도시된 유아 모니터링 장치의 개략적인 블록도를 나타내고, 도 3은 도 2에 도시된 가상 공간의 개략적인 블록도를 나타낸다.FIG. 2 is a schematic block diagram of the infant monitoring apparatus shown in FIG. 1, and FIG. 3 is a schematic block diagram of the virtual space shown in FIG. 2.

유아 모니터링 장치(300)는 통신 모듈(310), 메모리(330) 및 컨트롤러(350)를 포함할 수 있다.The infant monitoring device 300 may include a communication module 310, a memory 330, and a controller 350.

통신 모듈(310)은 카메라 장치(100)로부터 전송된 영상을 수신하여 컨트롤러(350)에 전송할 수 있다.The communication module 310 may receive an image transmitted from the camera device 100 and transmit it to the controller 350.

통신 모듈(310)은 카메라 장치(100) 및/또는 전자 장치(500)로부터 전송된 카메라 정보 및 환경 정보를 수신하여 컨트롤러(350)에 전송할 수 있다.The communication module 310 may receive camera information and environment information transmitted from the camera device 100 and/or the electronic device 500 and transmit it to the controller 350.

통신 모듈(310)은 전자 장치(500)로부터 전송된 유아 정보를 수신하여 컨트롤러(350)에 전송할 수 있다.The communication module 310 may receive infant information transmitted from the electronic device 500 and transmit it to the controller 350.

통신 모듈(310)은 컨트롤러(350)로부터 전송된 위험 신호를 전자 장치(500)에 전송할 수 있다.The communication module 310 may transmit the danger signal transmitted from the controller 350 to the electronic device 500.

메모리(330)는 컨트롤러(350)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 컨트롤러(350)의 동작 및/또는 컨트롤러(350)의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.The memory 330 may store instructions (or programs) executable by the controller 350. For example, the instructions may include instructions for executing an operation of the controller 350 and/or an operation of each component of the controller 350.

컨트롤러(350)는 메모리(330)에 저장된 데이터를 처리할 수 있다. 컨트롤러(350)는 메모리(330)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 컨트롤러(350)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.The controller 350 may process data stored in the memory 330. The controller 350 may execute computer-readable code (eg, software) stored in the memory 330 and instructions induced by the controller 350.

컨트롤러(350)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.The controller 350 may be a data processing device implemented in hardware having a circuit having a physical structure for executing desired operations. For example, desired operations may include code or instructions included in a program.

예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.For example, a data processing device implemented in hardware is a microprocessor, a central processing unit, a processor core, a multi-core processor, and a multiprocessor. , Application-Specific Integrated Circuit (ASIC), Field Programmable Gate Array (FPGA).

컨트롤러(350)는 유아 모니터링 장치(300)의 전반적인 동작을 제어할 수 있다. 예를 들어, 컨트롤러(350)는 유아 모니터링 장치(300)의 각 구성(310 및 330)의 동작을 제어할 수 있다.The controller 350 may control the overall operation of the infant monitoring device 300. For example, the controller 350 may control the operation of each component 310 and 330 of the infant monitoring device 300.

컨트롤러(350)는 카메라 장치(100) 및 카메라 장치(100)가 설치된 환경에 적합한 가상 공간(370)을 할당하여 할당된 가상 공간(370)을 통해 유아가 위험한 상황인지 여부를 판단할 수 있다.The controller 350 may determine whether the infant is in a dangerous situation through the allocated virtual space 370 by allocating a virtual space 370 suitable for the environment in which the camera device 100 and the camera device 100 are installed.

먼저, 컨트롤러(350)는 카메라 정보 및 환경 정보에 적합한 가상 공간(370)을 할당할 수 있다. 가상 공간(370)은 환경에 위치하는 유아를 모니터링하여 유아가 위험 상태인지 여부를 판단하기 위한 소프트웨어 모듈들이 위치하여 실행되는 공간일 수 있다.First, the controller 350 may allocate a virtual space 370 suitable for camera information and environment information. The virtual space 370 may be a space in which software modules for determining whether the infant is in a dangerous state by monitoring the infant located in the environment are located and executed.

카메라 정보는 카메라 장치(100)에 대한 다양한 정보일 수 있다. 카메라 정보는 카메라 장치(100)의 종류, 카메라 장치(100)의 사양 및 카메라 장치(100)의 수에 대한 정보를 포함할 수 있다.The camera information may be various pieces of information about the camera device 100. The camera information may include information on the type of the camera device 100, the specification of the camera device 100, and the number of camera devices 100.

환경 정보는 유아가 생활 및 위치한 장소에 대한 정보로 가정집의 유아방, 유치원의 유아실 및 유아 놀이방 등 유아를 모니터링하기 위한 다양한 장소에 대한 정보일 수 있다. 환경 정보는 장소의 종류 및 장소의 크기에 대한 정보를 포함할 수 있다.The environmental information is information on a place where an infant lives and is located, and may be information on various places for monitoring infants, such as an infant room in a family home, an infant room in a kindergarten, and an infant playroom. The environmental information may include information on the type of place and the size of the place.

컨트롤러(350)는 카메라 정보 및 환경 정보에 기초하여 환경에 대응하는 가상 공간(370)을 할당할 수 있다. 예를 들어, 컨트롤러(350)는 카메라 장치(100)의 종류, 사양 및 수와 장소의 종류 및 크기에 기초하여 가상 공간(370)의 크기를 결정할 수 있다. 가상 공간(370)은 각 환경마다 생성될 수 있다.The controller 350 may allocate a virtual space 370 corresponding to the environment based on camera information and environment information. For example, the controller 350 may determine the size of the virtual space 370 based on the type, specification, and number of camera devices 100 and the type and size of places. The virtual space 370 may be created for each environment.

컨트롤러(350)는 가상 공간(370)의 크기에 기초하여 카메라 장치(100) 및 환경에 대응하는 가상 공간(370)을 할당할 수 있다. 가상 공간(370)은 카메라 장치(100) 및 환경에 최적화된 공간일 수 있다. 최적화된 가상 공간(370)은 독립된 공간으로, 유아 모니터링 장치(300)의 자원(또는 리소스)을 낭비없이 효율적으로 사용할 수 있다.The controller 350 may allocate the camera device 100 and the virtual space 370 corresponding to the environment based on the size of the virtual space 370. The virtual space 370 may be a space optimized for the camera device 100 and environment. The optimized virtual space 370 is an independent space and can efficiently use the resources (or resources) of the infant monitoring device 300 without wasting.

이후에, 컨트롤러(350)는 가상 공간(370)을 통해 카메라 장치(100)로부터 전송된 영상에 포함된 유아가 위험한 상태인지 여부를 판단할 수 있다. 가상 공간(370)은 카메라 모듈(371) 및 인식 모듈(373)을 포함할 수 있다.Thereafter, the controller 350 may determine whether the infant included in the image transmitted from the camera device 100 through the virtual space 370 is in a dangerous state. The virtual space 370 may include a camera module 371 and a recognition module 373.

예를 들어, 컨트롤러(350)는 환경, 유아, 위험 객체 및 비위험 객체에 기초하여 인식 모듈(373)을 학습할 수 있다. 인식 모듈(373)의 학습에 대해서는 도 4 및 도 5에서 상세하게 설명하도록 한다.For example, the controller 350 may learn the recognition module 373 based on the environment, infants, dangerous objects, and non-hazardous objects. Learning of the recognition module 373 will be described in detail with reference to FIGS. 4 and 5.

카메라 모듈(371)은 카메라 장치(100)로부터 전송된 영상을 획득할 수 있다.The camera module 371 may acquire an image transmitted from the camera device 100.

학습된 인식 모듈(373)은 영상을 분석하여 영상에 포함된 유아가 위험한 상황인지 여부를 판단할 수 있다.The learned recognition module 373 may analyze the image to determine whether the infant included in the image is in a dangerous situation.

예를 들어, 학습된 인식 모듈(373)은 영상에 기초하여(또는 영상을 분석하여) 영상에 포함된 유아 및 객체를 인식할 수 있다. 학습된 인식 모듈(373)은 인식된 객체가 위험 객체인지 여부 및 비위험 객체인지 여부를 판단할 수 있다. 위험 객체는 유아에게 위험한 객체일 수 있다. 비위험 객체는 유아에게 위험하지 않은 객체일 수 있다. 학습된 인식 모듈(373)은 유아의 움직임과 유아 및 위험 객체 간의 이격 거리에 기초하여 유아가 위험한 상황인지 여부를 판단할 수 있다.For example, the learned recognition module 373 may recognize infants and objects included in the image based on the image (or by analyzing the image). The learned recognition module 373 may determine whether the recognized object is a dangerous object or a non-dangerous object. Dangerous objects may be objects that are dangerous to infants. The non-hazardous object may be an object that is not dangerous to the infant. The learned recognition module 373 may determine whether the infant is in a dangerous situation based on the infant's movement and the distance between the infant and the dangerous object.

또한, 학습된 인식 모듈(373)은 유아가 위험한 상황인 경우, 유아가 위험하다는 위험 신호를 전자 장치(500)에 전송할 수 있다.In addition, the learned recognition module 373 may transmit a danger signal indicating that the infant is in danger to the electronic device 500 when the infant is in a dangerous situation.

위험 신호는 유아가 위험하다는 알림을 제공하는 위험 알림 신호로 전자 장치(500)의 용도에 적합한 방식으로 제공될 수 있다. 예를 들어, 위험 신호는 진동 및 소리 등으로 제공될 수 있다.The danger signal is a danger notification signal that provides notification that the infant is in danger, and may be provided in a manner suitable for the use of the electronic device 500. For example, the danger signal may be provided by vibration and sound.

이에, 보호자 및/또는 유아 주변의 사람들은 실시간으로 유아가 위험한지 여부를 확인할 수 있다.Accordingly, the guardian and/or people around the infant can check whether the infant is dangerous in real time.

도 4는 도 3에 도시된 인식 모듈의 학습 과정을 설명하기 위한 일 예를 나타내고, 도 5는 도 3에 도시된 인식 모듈의 학습 과정을 설명하기 위한 순서도를 나타낸다.FIG. 4 shows an example for explaining the learning process of the recognition module shown in FIG. 3, and FIG. 5 shows a flow chart for explaining the learning process of the recognition module shown in FIG. 3.

컨트롤러(350)는 환경 정보, 유아 정보 및 보호자의 요청에 기초하여 인식 모듈(373)을 학습할 수 있다.The controller 350 may learn the recognition module 373 based on environmental information, infant information, and a request from a guardian.

예를 들어, 컨트롤러(350)는 환경 정보에 기초하여 환경을 설정할 수 있다. 컨트롤러(350)는 유아 정보에 기초하여 유아를 설정할 수 있다.For example, the controller 350 may set an environment based on environment information. The controller 350 may set an infant based on infant information.

컨트롤러(350)는 보호자의 요청에 기초하여 학습 데이터 풀(pool)을 통해 위험 객체 및 비위험 객체를 설정할 수 있다(510). 보호자의 요청은 위험 객체 설정 및 비위험 객체 설정을 요청하기 위한 신호로써, 위험 객체에 대한 위험 객체 정보, 비위험 객체에 대한 비위험 객체 정보를 포함할 수 있다.The controller 350 may set the dangerous object and the non-dangerous object through the learning data pool based on the request of the guardian (510). The guardian's request is a signal for requesting dangerous object setting and non-dangerous object setting, and may include dangerous object information for dangerous objects and non-hazardous object information for non-hazardous objects.

예를 들어, 컨트롤러(350)는 위험 객체 정보 및 비위험 객체 정보에 기초하여 학습 데이터 풀에 포함된 복수의 객체들 중에서 적어도 하나의 객체를 위험 객체로 지정할 수 있다. 위험 객체는 보호자가 환경에 따라 유아에게 위험하다고 설정한(또는 지정한) 객체로써, 유아 주변에 위치하고, 유아에게 위험한 사물들일 수 있다. 사물들은 유아에게 위험한 장난감, 칼, 가스렌지, 선풍기 및 세탁기 등 다양한 사물들일 수 있다.For example, the controller 350 may designate at least one object from among a plurality of objects included in the learning data pool as the dangerous object based on the dangerous object information and the non-dangerous object information. Dangerous objects are objects that the guardian has set (or designated) as dangerous to the infant according to the environment, and may be objects that are located around the infant and are dangerous to the infant. Objects can be various objects such as toys, knives, gas stoves, fans, and washing machines that are dangerous to infants.

컨트롤러(350)는 복수의 객체들 중에서 위험 객체를 제외한 나머지 객체를 비위험 객체로 지정할 수 있다.The controller 350 may designate other objects other than the dangerous object among the plurality of objects as non-dangerous objects.

상술한 바와 같이, 컨트롤러(350)가 학습 데이터 풀을 통해 위험 객체 및 비위험 객체를 설정하지만, 이에 한정하는 것은 아니다. 예를 들어, 위험 객체 정보 및 비위험 객체 정보에 대응하는 객체가 학습 데이터 풀에 포함되지 않는 경우, 컨트롤러(350)는 Crawler를 통해 객체에 대한 데이터를 수집한 후, 수집된 객체를 위험 객체 및 비위험 객체로 설정할 수 있다.As described above, the controller 350 sets the dangerous object and the non-dangerous object through the learning data pool, but is not limited thereto. For example, when an object corresponding to dangerous object information and non-hazardous object information is not included in the learning data pool, the controller 350 collects data on the object through the crawler, and then converts the collected object to the dangerous object and the object. It can be set as a non-hazardous object.

컨트롤러(350)는 환경, 유아, 위험 객체 및 비위험 객체에 기초하여 유아가 위험할 상황들을 설정할 수 있다(530).The controller 350 may set situations in which the infant is at risk based on the environment, the infant, the dangerous object and the non-dangerous object (530).

예를 들어, 컨트롤러(350)는 유아가 갑자기 움직임이 없어진 경우, 유아가 환경에서(또는 영상에서, 카메라 장치(100)의 시야에서) 사라진 경우, 자고 있던 유아가 깨어난 경우 및 유아가 위험 객체에 가까이 가는 경우를 유아가 위험할 상황으로 설정할 수 있다.For example, the controller 350 may be used when the infant suddenly stops moving, the infant disappears from the environment (or in the video, from the field of view of the camera device 100), the sleeping infant wakes up, and the infant is a dangerous object. It can be set as a situation where the infant is in danger.

상술한 바와 같이, 위험 객체가 유아 주변의 위험한 사물이고, 유아가 위험할 상황이 4 가지 경우이지만, 이에 한정하는 것은 아니다. 예를 들어, 컨트롤러(350)는 환경 및 유아에게 적합하게 유아가 위치한 방 및/또는 유아의 나이에 따라 유아에게 위험한 사물을 위험 객체로 설정할 수 있다. 컨트롤러(350)는 머신 러닝을 통해 유아에게 위험할 위험 상황을 학습하여 추가 설정할 수 있다.As described above, the dangerous object is a dangerous object around the infant, and there are four situations in which the infant is dangerous, but the present invention is not limited thereto. For example, the controller 350 may set an object that is dangerous to the infant as a dangerous object according to the environment and the room in which the infant is located and/or the infant's age suitable for the infant. The controller 350 may learn and set additionally dangerous situations that are dangerous to infants through machine learning.

컨트롤러(350)는 환경, 유아, 위험 객체, 비위험 객체 및 유아가 위험할 상황들에 기초하여 인식 모듈(373)을 학습할 수 있다(550). 이에 따라, 인식 모듈(373)은 별도의 센서 없이 카메라 장치(100)로부터 전송된 영상을 이용하여 유아를 모니터링하고, 유아가 위험한 상황인지 여부를 판단할 수 있다.The controller 350 may learn the recognition module 373 based on the environment, the infant, the dangerous object, the non-dangerous object, and the situations in which the infant would be dangerous (550). Accordingly, the recognition module 373 may monitor the infant by using the image transmitted from the camera device 100 without a separate sensor, and determine whether the infant is in a dangerous situation.

이하에서는 설명의 편의를 위해서 카메라 장치(100)가 4 개의 환경들 각각에 설치된다고 가정하고, 전자 장치(500)가 4 개의 환경들 각각에 설치된 IoT 장치인 것으로 가정하고, 유아가 4 명의 유아들로 4 개의 환경들 각각에 위치한다고 가정하고, 가상 공간이 4 개의 환경들 각각에 최적화된 4 개의 가상 공간으로 구성된다고 가정하도록 한다.Hereinafter, for convenience of explanation, it is assumed that the camera device 100 is installed in each of the four environments, and the electronic device 500 is assumed to be an IoT device installed in each of the four environments, and the infant is 4 infants. Assuming that it is located in each of the four environments, it is assumed that the virtual space is composed of four virtual spaces optimized for each of the four environments.

도 6은 일 실시예에 따른 유아 모니터링 장치의 동작을 설명하기 위한 일 예를 나타내고, 도 7은 일 실시예에 따른 유아 모니터링 장치의 동작을 설명하기 위한 다른 예를 나타낸다.6 shows an example for explaining the operation of the infant monitoring device according to an embodiment, and FIG. 7 shows another example for explaining the operation of the infant monitoring device according to an embodiment.

카메라 장치(100)는 4 개의 룸들(environment 1 내지 4)에 위치한 4 명의 유아들(monitoring objects)를 모니터링하기 위한 모니터링 카메라(monitoring camera)로 제1 카메라 내지 제4 카메라(100-1 내지 100-4)를 포함할 수 있다.The camera device 100 is a monitoring camera for monitoring four infants (monitoring objects) located in four rooms (environment 1 to 4), and the first to fourth cameras 100-1 to 100- 4) may be included.

제1 룸 내지 제4 룸(environment 1 내지 environment 4) 각각은 서로 구별되는 장소일 수 있다. 제1 룸 및 제2 룸(environment 1 및 environment 2)은 작은 사이즈의 방일 수 있다. 제3 룸(environment 3)은 중간 사이즈의 방(또는 중간 사이즈의 유치원, 중간 사이즈의 놀이방)일 수 있다. 제4 룸(environment 4)은 큰 사이즈의 방(또는, 큰 사이즈의 유치원, 큰 사이즈의 놀이방)일 수 있다. 제1 유아는 제1 룸(environment 1)에 위치할 수 있다. 제2 유아는 제2 룸(environment 2)에 위치할 수 있다. 제3 유아는 제3 룸(environment 3)에 위치할 수 있다. 제4 유아는 제4 룸(environment 4)에 위치할 수 있다.Each of the first to fourth rooms (environment 1 to environment 4) may be a place that is distinct from each other. The first and second rooms (environment 1 and environment 2) may be small-sized rooms. The third room (environment 3) may be a medium-sized room (or a medium-sized kindergarten or a medium-sized playroom). The fourth room (environment 4) may be a large-sized room (or a large-sized kindergarten or large-sized playroom). The first infant may be located in a first room (environment 1). The second infant may be located in a second room (environment 2). The third infant may be located in a third room (environment 3). The fourth infant may be located in a fourth room (environment 4).

예를 들어, 제1 카메라(100-1)는 제1 룸(environment 1)에 설치되어 제1 유아를 모니터링하여 제1 유아에 대한 제1 영상과 제1 룸(environment 1)에 대한 제1 환경 정보를 유아 모니터링 장치(300)에 전송할 수 있다.For example, the first camera 100-1 is installed in the first room (environment 1) to monitor the first infant, and the first image of the first infant and the first environment of the first room (environment 1). Information may be transmitted to the infant monitoring device 300.

제2 카메라(100-2)는 제2 룸(environment 2)에 설치되어 제2 유아를 모니터링하여 제2 유아에 대한 제2 영상과 제2 룸(environment 2)에 대한 제2 환경 정보를 유아 모니터링 장치(300)에 전송할 수 있다.The second camera 100-2 is installed in the second room (environment 2) to monitor the second infant to monitor the second image of the second infant and the second environment information of the second room (environment 2). It can be transmitted to the device 300.

제3 카메라(100-3)는 제3 룸(environment 3)에 설치되어 제3 유아를 모니터링하여 제3 유아에 대한 제3 영상과 제3 룸(environment 3)에 대한 제3 환경 정보를 유아 모니터링 장치(300)에 전송할 수 있다.The third camera 100-3 is installed in the third room (environment 3) to monitor the third infant, and the third image of the third infant and the third environment information of the third room (environment 3) are monitored. It can be transmitted to the device 300.

제4 카메라(100-4)는 제4 룸(environment 4)에 설치되어 제4 유아를 모니터링하여 제4 유아에 대한 제4 영상과 제4 룸(environment 4)에 대한 제4 환경 정보를 유아 모니터링 장치(300)에 전송할 수 있다.The fourth camera 100-4 is installed in the fourth room (environment 4) and monitors the fourth infant to monitor the fourth image of the fourth infant and the fourth environment information of the fourth room (environment 4). It can be transmitted to the device 300.

제1 카메라 내지 제4 카메라(100-1 내지 100-4)은 클라우드 네트워크 디바이스(700)를 통해 제1 영상 내지 제4 영상, 제1 환경 정보 내지 제4 환경 정보를 유아 모니터링 장치(300)에 전송할 수 있다. 클라우드 네트워크 디바이스(700)는 게이트 웨이 장치일 수 있다.The first to fourth cameras 100-1 to 100-4 transmit first to fourth images and first to fourth environmental information to the infant monitoring apparatus 300 through the cloud network device 700. Can be transmitted. The cloud network device 700 may be a gateway device.

유아 모니터링 장치(300)의 컨트롤러(350)는 클라우드 서버(cloud server)일 수 있다. 컨트롤러(350)는 SNAS(351) 및 MLaaS(machine learning as a service; 353)를 포함할 수 있다.The controller 350 of the infant monitoring device 300 may be a cloud server. The controller 350 may include an SNAS 351 and a machine learning as a service (MLaaS) 353.

SNAS(351)은 클라우드 네트워크 디바이스(700)를 통해 제1 영상 내지 제4 영상, 제1 환경 정보 내지 제4 환경 정보를 수신하여 MLaaS(353)에 전송할 수 있다.The SNAS 351 may receive the first to fourth images and the first to fourth environment information through the cloud network device 700 and transmit them to the MLaaS 353.

MLaaS(353)은 유아가 위치한 각 환경에 최적화된 가상 공간을 구성하여 객체 인식 및 상황 인식(또는 객체 인지 및 상황 인지)을 수행할 수 있는 서버일 수 있다.The MLaaS 353 may be a server capable of performing object recognition and context recognition (or object recognition and context recognition) by configuring a virtual space optimized for each environment in which an infant is located.

MLaaS(353)은 제1 환경 정보 내지 제4 환경 정보에 기초하여 제1 룸(environment 1) 내지 제4 룸(environment 4)에 최적화된 제1 가상 공간(optimized virtual space 1; VS 1) 내지 제4 가상 공간(VS 4)을 할당(또는 정의)할 수 있다. 제1 가상 공간(VS 1)은 제1 룸(environment 1)에 최적화된 가상 공간일 수 있다. 제2 가상 공간(VS 2)은 제2 룸(environment 2)에 최적화된 가상 공간일 수 있다. 제3 가상 공간(VS 3)은 제3 룸(environment 3)에 최적화된 가상 공간일 수 있다. 제4 가상 공간(VS 4)은 제4 룸(environment 4)에 최적화된 가상 공간일 수 있다.The MLaaS 353 is based on the first environment information to the fourth environment information, based on the first to fourth rooms (environment 1) to the fourth room (environment 4) optimized first virtual space (optimized virtual space 1; VS 1) to the first. 4 Virtual space (VS 4) can be allocated (or defined). The first virtual space VS 1 may be a virtual space optimized for the first room 1. The second virtual space VS 2 may be a virtual space optimized for the second room 2. The third virtual space VS 3 may be a virtual space optimized for the third room 3. The fourth virtual space VS 4 may be a virtual space optimized for the fourth room (environment 4).

제1 가상 공간(VS 1) 내지 제4 가상 공간(VS 4) 각각은 효율적이고 속도가 빠르게 각 환경에 위치하는 개체를 인식하고 유아가 위험한 상황인지 여부를 판단하기 위한 공간일 수 있다.Each of the first virtual space VS 1 to the fourth virtual space VS 4 may be a space for efficiently and rapidly recognizing an entity located in each environment and determining whether an infant is in a dangerous situation.

제1 가상 공간(VS 1) 내지 제4 가상 공간(VS 4) 각각은 docker 기술을 이용하여 카메라 모듈(camera module), 인식 모듈(recognition module) 및 베이스 도커(docker)를 포함할 수 있다. 카메라 모듈은 인식 모듈 위에 위치하고, 인식 모듈은 베이스 도커 위에 위치할 수 있습니다. 인식 모듈은 최적화된 네트워크 모듈(optimized network module)일 수 있다.Each of the first to fourth virtual spaces VS 1 to 4 may include a camera module, a recognition module, and a base docker using docker technology. The camera module can be located above the recognition module, and the recognition module can be located above the base docker. The recognition module may be an optimized network module.

MLaaS(353)는 각 가상 공간에 포함된 인식 모듈을 학습한 뒤, 학습된 인식 모듈을 통해 제1 영상 내지 제4 영상을 분석하여 제1 영상 내지 제4 영상에 포함된 객체를 인식할 수 있다. 이때, 인식 모듈은 인공 지능 기반 객체 인식 기술을 이용하여 객체를 인식할 수 있다. 인공 지능 기반 객체 인식 기술은 YOLOv3(you only look once v3)일 수 있다. YOLOv3는 다중 객체 인식이 가능하며 객체 인식 속도가 빨라 시스템의 실시간성을 확보할 수 있다. YOLOv3는 학습 시 인식할 객체의 학습 데이터로부터 인식할 객체의 공통적인 특징을 찾아낼 수 있다. 이에, YOLOv3은 실제 환경(예를 들어, 가정집 등)에서 인식할 객체들의 모습이 다르더라도 인식할 수 있는 유연성을 가질 수 있다.After learning the recognition module included in each virtual space, the MLaaS 353 may recognize an object included in the first to fourth images by analyzing the first to fourth images through the learned recognition module. . In this case, the recognition module may recognize the object using an artificial intelligence-based object recognition technology. The artificial intelligence-based object recognition technology may be YOLOv3 (you only look once v3). YOLOv3 is capable of recognizing multiple objects and has a fast object recognition speed, so it is possible to secure real-time properties of the system. YOLOv3 can find common characteristics of the object to be recognized from the learning data of the object to be recognized during learning. Accordingly, YOLOv3 can have the flexibility to recognize even if the appearance of objects to be recognized in an actual environment (eg, a home, etc.) is different.

예를 들어, 인식 모듈은 제1 영상 내지 제4 영상에 포함된 제1 유아 내지 제4 유아를 인식하여 제1 유아 내지 제4 유아의 움직임 및 거리 변화를 인식할 수 있다. 인식 모듈은 제1 영상 내지 제4 영상에 포함된 위험 객체 및 비위험 객체를 인식하여 제1 유아 내지 제4 유아가 위험 객체에 근접한지 여부를 인식할 수 있다.For example, the recognition module may recognize changes in movement and distance of the first to fourth infants by recognizing first to fourth infants included in the first to fourth images. The recognition module may recognize whether the first to fourth infants are close to the dangerous object by recognizing the dangerous object and the non-dangerous object included in the first to fourth images.

인식 모듈은 인식 결과에 기초하여 유아가 위험한 상황인지 여부를 판단한 후, 판단 결과를 IoT 장치(500)에 전달할 수 있다. 인식 모듈은 지능형 IoT 장치 관리 기술을 이용하여 클라우드 네트워크 디바이스(700)를 통해 판단 결과를 IoT 장치(500)에 전달할 수 있다.After determining whether the infant is in a dangerous situation based on the recognition result, the recognition module may transmit the determination result to the IoT device 500. The recognition module may transmit the determination result to the IoT device 500 through the cloud network device 700 using an intelligent IoT device management technology.

제1 유아가 위험한 상황인 경우, 인식 모듈은 제1 룸(environment 1)에 설치된 제1 IoT 장치(500-1)에 위험 신호를 전송할 수 있다. 제2 유아가 위험한 상황인 경우, 인식 모듈은 제2 룸(environment 2)에 설치된 제2 IoT 장치(500-2)에 위험 신호를 전송할 수 있다. 제3 유아가 위험한 상황인 경우, 인식 모듈은 제3 룸(environment 3)에 설치된 제3 IoT 장치(500-3)에 위험 신호를 전송할 수 있다. 제4 유아가 위험한 상황인 경우, 인식 모듈은 제4 룸(environment 4)에 설치된 제4 IoT 장치(500-4)에 위험 신호를 전송할 수 있다.When the first infant is in a dangerous situation, the recognition module may transmit a danger signal to the first IoT device 500-1 installed in the first room (environment 1). When the second infant is in a dangerous situation, the recognition module may transmit a danger signal to the second IoT device 500-2 installed in the second room (environment 2). When the third infant is in a dangerous situation, the recognition module may transmit a danger signal to the third IoT device 500-3 installed in the third room (environment 3). When the fourth infant is in a dangerous situation, the recognition module may transmit a danger signal to the fourth IoT device 500-4 installed in the fourth room (environment 4).

인식 모듈은 IoT 장치의 용도 및 유아의 위험 상황에 따라 유아의 위험을 전달하기 적절한 위험 신호를 생성하여 IoT 장치에 제공할 수 있다.The recognition module may generate a danger signal suitable for conveying the danger of the infant according to the use of the IoT device and the danger situation of the infant and provide it to the IoT device.

IoT 장치가 디스플레이이고, 유아가 위험 객체에 근접한 경우, 위험 신호는 시각적인 위험 신호로 제공될 수 있다. 시각적인 위험 신호는 위험 상황에 적합한 색깔, 색깔 조합, 영상 및 안내 문자 등 다양할 수 있다. 영상은 디스플레이 상에 warning 표시일 수 있다. 안내 문자는 “유아가 위험한 물건에 접근하고 있어요”일 수 있다.When the IoT device is a display and an infant is close to a dangerous object, the danger signal may be provided as a visual danger signal. Visual danger signs can be diverse, including colors, color combinations, images and guidance text appropriate to the danger situation. The image may be a warning indication on the display. The text message could be "The infant is approaching a dangerous object."

IoT 장치가 스피커이고, 유아가 위험 객체에 근접한 경우, 위험 신호는 청각적인 위험 신호로 제공될 수 있다. 청각적인 위험 신호는 위험 상황에 적합한 소리일 수 있다. 소리는 경적 소리 및 음성일 수 있다. 음성은 “유아가 위험한 물건에 접근하고 있어요”일 수 있다. 경적 소리는 사이렌 소리일 수 있다. IoT 장치가 스피커이고, 유아가 잠에서 깨어난 경우에 경적 소리는 띵동 소리일 수 있다.When the IoT device is a speaker and the infant is close to a dangerous object, the danger signal may be provided as an audible danger signal. The audible danger signal may be a sound appropriate to the danger situation. The sound can be a horn sound and a voice. The voice may be "The infant is approaching a dangerous object." The horn sound can be a siren sound. When the IoT device is a speaker, and the infant wakes up, the horn sound may be a ding-dong sound.

도 8은 도 1에 도시된 유아 모니터링 장치의 동작을 설명하기 위한 순서도를 나타낸다.8 is a flowchart illustrating the operation of the infant monitoring device shown in FIG. 1.

컨트롤러(350)는 카메라 장치(100) 및/또는 전자 장치(500)로부터 전송된 환경 정보 및 카메라 정보를 획득할 수 있다(810).The controller 350 may acquire environment information and camera information transmitted from the camera device 100 and/or the electronic device 500 (810 ).

컨트롤러(350)는 환경 정보 및 카메라 정보에 기초하여 환경 및 카메라 장치(100)에 최적화된 가상 공간(370)을 할당할 수 있다(830).The controller 350 may allocate the virtual space 370 optimized to the environment and the camera device 100 based on the environment information and the camera information (830).

컨트롤러(350)는 가상 공간(370)에 포함된 카메라 모듈(371)을 통해 카메라 장치(100)로부터 전송된 영상을 획득할 수 있다(850).The controller 350 may acquire an image transmitted from the camera device 100 through the camera module 371 included in the virtual space 370 (850 ).

컨트롤러(350)는 가상 공간(370)에 포함된 인식 모듈(373)을 통해 영상을 분석하여 영상에 포함된 유아의 상태(예를 들어, 유아가 위험한 상황인지 여부)를 판단할 수 있다(870).The controller 350 may analyze the image through the recognition module 373 included in the virtual space 370 to determine the state of the infant included in the image (eg, whether the infant is in a dangerous situation) (870). ).

유아가 위험한 상황인 경우, 컨트롤러(350)는 인식 모듈(373)을 통해 전자 장치(500)의 용도 및 유아의 위험 상황에 적합한 위험 신호를 전자 장치(500)에 전송할 수 있다(890).When the infant is in a dangerous situation, the controller 350 may transmit a danger signal suitable for the use of the electronic device 500 and the dangerous situation of the infant to the electronic device 500 through the recognition module 373 (890).

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or, to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited drawings, a person of ordinary skill in the art can apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order from the described method, and/or components such as systems, structures, devices, circuits, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and claims and equivalents fall within the scope of the following claims.

Claims

Acquiring environmental information on an environment in which a camera is installed to monitor an infant and camera information on the camera; And
Allocating a virtual space corresponding to the environment based on the environment information and the camera information
Including,
The virtual space is a space for determining whether the infant is in a dangerous situation by monitoring the infant located in the environment.

The method of claim 1,
The environmental information is information on a place where the infant is located, and includes information on the type of the place and the size of the place.

The method of claim 1,
The camera information includes information on the type of the camera, the specification of the camera, and the number of cameras.

The method of claim 1,
The virtual space is a space optimized for the environment and the camera.

The method of claim 1,
In the infant monitoring method, the size of the virtual space is determined based on the type and size of the place and the type, specification, and number of the cameras.

The method of claim 1,
The virtual space is an infant monitoring method including a camera module and a recognition module.

The method of claim 6,
Learning the recognition module
Including more,
The learning step,
Setting the environment, the infant, a dangerous object that is dangerous to the infant, and a non-hazardous object that is not dangerous to the infant;
Setting situations in which the infant is in danger based on the environment, the infant, the dangerous object, and the non-dangerous object; And
Learning the recognition module based on the environment, the infant, the dangerous object, the non-dangerous object, and the situation
Infant monitoring method comprising a.

The method of claim 7,
Obtaining an image transmitted from the camera through the camera module; And
Determining whether the infant included in the image is in a dangerous situation through the learned recognition module
Infant monitoring method further comprising a.

The method of claim 8,
The determining step,
Recognizing the infant and object included in the image based on the image;
Determining whether the object is a dangerous object and whether the object is a non-dangerous object; And
Determining whether the infant is in a dangerous situation based on the movement of the infant and the separation distance between the infant and the dangerous object
Infant monitoring method comprising a.

The method of claim 9,
When the infant is in a dangerous situation, transmitting a danger signal
Infant monitoring method further comprising a.

A memory containing instructions; And
Controller for executing the above instructions
Including,
The controller,
A camera is installed to obtain environmental information about an environment to monitor an infant and camera information about the camera, and allocate a virtual space corresponding to the environment based on the environment information and the camera information,
The virtual space is a space for monitoring the infant located in the environment and determining whether the infant is in a dangerous situation.

The method of claim 11,
The environmental information is information on a place where the infant is located, and includes information on the type of the place and the size of the place.

The method of claim 11,
The camera information is an infant monitoring device including information on the type of the camera, the specification of the camera, and the number of the cameras.

The method of claim 11,
The virtual space is a space optimized for the environment and the camera for infant monitoring.

The method of claim 11,
The virtual space is an infant monitoring device in which the size of the virtual space is determined based on the type and size of the place and the type, specification, and number of the cameras.

The method of claim 11,
The virtual space is an infant monitoring device including a camera module and a recognition module.

The method of claim 16,
The controller,
Learning the recognition module,
The controller,
Set the environment, the infant, dangerous objects that are dangerous to the infant, and non-dangerous objects that are not dangerous to the infant, and situations in which the infant will be dangerous based on the environment, the infant, the dangerous object, and the non-hazardous object Set and learn the recognition module based on the environment, the infant, the dangerous object, the non-risk object, and the situation.

The method of claim 17,
The controller,
An infant monitoring device that acquires an image transmitted from the camera through the camera module, and determines whether the infant included in the image is in a dangerous situation through the learned recognition module.

The method of claim 18,
The controller,
Recognizes the infant and object included in the image based on the image through the learned recognition module, determines whether the object is a dangerous object or a non-risk object, and determines whether the infant's movement and the infant and An infant monitoring device that determines whether the infant is in a dangerous situation based on the separation distance between the dangerous objects.

The method of claim 19,
The controller,
Infant monitoring device that transmits a danger signal when the infant is in a dangerous situation.