WO2021075622A1 - 유아 모니터링 방법 및 이를 수행하는 장치들 - Google Patents

유아 모니터링 방법 및 이를 수행하는 장치들 Download PDF

Info

Publication number
WO2021075622A1
WO2021075622A1 PCT/KR2019/014780 KR2019014780W WO2021075622A1 WO 2021075622 A1 WO2021075622 A1 WO 2021075622A1 KR 2019014780 W KR2019014780 W KR 2019014780W WO 2021075622 A1 WO2021075622 A1 WO 2021075622A1
Authority
WO
WIPO (PCT)
Prior art keywords
infant
dangerous
camera
environment
information
Prior art date
Application number
PCT/KR2019/014780
Other languages
English (en)
French (fr)
Inventor
하영국
김철진
박호림
이명재
장성수
황규홍
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Publication of WO2021075622A1 publication Critical patent/WO2021075622A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • G08B21/0208—Combination with audio or video communication, e.g. combination with "baby phone" function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0261—System arrangements wherein the object is to detect trespassing over a fixed physical boundary, e.g. the end of a garden
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the following embodiments relate to an infant monitoring method and devices for performing the same.
  • Infants may be people who do not have the ability to protect themselves and express their opinions and are not physically developed. Infants are exposed to various diseases and accidents, and sudden deaths of unknown causes can occur frequently.
  • infant monitoring technology that continuously monitors the state of infants has been developed.
  • clothing including various sensors such as a thermometer or a band for wearing a temperature sensor and a pulse sensor on an infant's wrist or ankle is manufactured.
  • Clothing including a temperature sensor and a pulse sensor may measure the infant's pulse and temperature from time to time, and transmit the infant's pulse data and the infant's temperature data measured through a network to a guardian.
  • sensors mounted on clothes worn by infants cause troubles on the skin of infants, and there is a problem in that infants must always wear them, and high cost of clothing purchases are incurred.
  • the embodiments allocate a camera device and a virtual space corresponding to the environment in which the camera device is installed, and recognize an object included in the image through the allocated virtual space to determine whether an infant located in the environment is in a dangerous situation (or whether the infant is in a dangerous state, It can provide a technique to determine whether the infant's condition is dangerous).
  • a camera is installed to obtain environmental information on an environment to monitor an infant and camera information on the camera, and corresponding to the environment based on the environment information and the camera information. Allocating a virtual space, wherein the virtual space may be a space for determining whether the infant is in a dangerous situation by monitoring the infant located in the environment.
  • the environmental information is information on a place where the infant is located, and may include information on the type of the place and the size of the place.
  • the camera information may include information on the type of the camera, the specification of the camera, and the number of cameras.
  • the virtual space may be a space optimized for the environment and the camera.
  • the size of the virtual space may be determined based on the type and size of the place and the type, specification, and number of the cameras.
  • the virtual space may include a camera module and a recognition module.
  • the method further comprises the step of learning the recognition module, wherein the learning comprises the steps of setting the environment, the infant, a dangerous object dangerous to the infant, and a non-hazardous object that is not dangerous to the infant, and the environment , Setting situations in which the infant is at risk based on the infant, the dangerous object, and the non-dangerous object, and the recognition module based on the environment, the infant, the dangerous object, the non-dangerous object, and the situation It may include the step of learning.
  • the method may further include obtaining an image transmitted from the camera through the camera module, and determining whether the infant included in the image is in a dangerous situation through the learned recognition module.
  • the determining includes recognizing the infant and the object included in the image based on the image, determining whether the object is a dangerous object and a non-risk object, and the movement of the infant and the It may include determining whether the infant is in a dangerous situation based on the separation distance between the infant and the dangerous object.
  • the method may further include transmitting a danger signal when the infant is in a dangerous situation.
  • the infant monitoring device includes a memory including instructions and a controller for executing the instructions, wherein the controller is installed with a camera to monitor the infant and environmental information on the environment and camera information on the camera. And allocating a virtual space corresponding to the environment based on the environment information and the camera information, and the virtual space monitors the infant located in the environment to determine whether the infant is in a dangerous situation. It can be space.
  • the environmental information is information on a place where the infant is located, and may include information on the type of the place and the size of the place.
  • the camera information may include information on the type of the camera, the specification of the camera, and the number of cameras.
  • the virtual space may be a space optimized for the environment and the camera.
  • the size of the virtual space may be determined based on the type and size of the place and the type, specification, and number of the cameras.
  • the virtual space may include a camera module and a recognition module.
  • the controller learns the recognition module, and the controller sets the environment, the infant, a dangerous object dangerous to the infant, and a non-hazardous object that is not dangerous to the infant, and the environment, the infant, the dangerous object, and the
  • the situation in which the infant is at risk may be set based on the non-risk object, and the recognition module may be learned based on the environment, the infant, the dangerous object, the non-dangerous object, and the situation.
  • the controller may obtain an image transmitted from the camera through the camera module, and determine whether the infant included in the image is in a dangerous situation through the learned recognition module.
  • the controller recognizes the infant and the object included in the image based on the image through the learned recognition module, determines whether the object is a dangerous object or a non-risk object, and determines whether the infant's movement and It may be determined whether the infant is in a dangerous situation based on the separation distance between the infant and the dangerous object.
  • the controller may transmit a danger signal when the infant is in a dangerous situation.
  • FIG. 1 shows a schematic block diagram of an infant monitoring system according to an embodiment.
  • FIG. 2 shows a schematic block diagram of the infant monitoring device shown in FIG. 1.
  • FIG. 3 shows a schematic block diagram of the virtual space shown in FIG. 2.
  • FIG. 4 shows an example for explaining a learning process of the recognition module shown in FIG. 3.
  • FIG. 5 is a flowchart illustrating a learning process of the recognition module shown in FIG. 3.
  • FIG 6 shows an example for explaining the operation of the infant monitoring device according to an embodiment.
  • FIG 7 shows another example for explaining the operation of the infant monitoring device according to an embodiment.
  • FIG. 8 is a flowchart illustrating the operation of the infant monitoring device shown in FIG. 1.
  • first or second may be used to describe various elements, but the elements should not be limited by terms. The terms are only for the purpose of distinguishing one component from other components, for example, without departing from the scope of rights according to the concept of the embodiment, the first component may be named as the second component, and similarly The second component may also be referred to as a first component.
  • a module in the present specification may mean hardware capable of performing functions and operations according to each name described in the present specification, or may mean a computer program code capable of performing a specific function and operation. Or, it may mean an electronic recording medium, for example, a processor or a microprocessor in which a computer program code capable of performing a specific function and operation is mounted.
  • the module may mean a functional and/or structural combination of hardware for performing the technical idea of the present invention and/or software for driving the hardware.
  • FIG. 1 shows a schematic block diagram of an infant monitoring system according to an embodiment.
  • the infant monitoring system 10 includes a camera device 100, an infant monitoring device 300, and an electronic device 500.
  • the camera device 100 may be a camera installed in an environment to monitor infants and photographing infants and their environment.
  • the environment may be a place (or space) where an infant lives and is located, and may be a variety of places exclusively for infants such as a nursery at a home, a nursery at a kindergarten, and a playroom for infants.
  • the camera device 100 may capture an infant and an environment to generate an image (or image data, or an image signal), and then transmit the image to the infant monitoring device 300 and the electronic device 500.
  • the camera device 100 may transmit camera information about the camera device 100 and/or environmental information about an environment in which the camera device 100 is installed to the infant monitoring device 300.
  • the infant monitoring device 300 may allocate a virtual space corresponding to the camera device 100 and the environment in which the camera device 100 is installed.
  • the infant monitoring device 300 may recognize an object included in the image through the allocated virtual space to determine whether an infant located in the environment is in a dangerous situation (or whether the infant is in a dangerous state, or whether the infant is in a dangerous state). .
  • the virtual space can be flexibly used to recognize objects in images and determine the state of infants in various environments and dangerous situations.
  • the infant monitoring device 300 can recognize the infant without special restrictions in any environment and determine the infant's state with only a minimum monitoring camera and an Internet connection.
  • the infant monitoring device 300 may determine the infant safety situation and protect the infant by transmitting a danger signal to the electronic device 500, for example, an IoT device and a mobile phone App, when the infant is in a dangerous situation.
  • the electronic device 500 may be an electronic device used by a guardian who protects an infant.
  • the guardian may be a variety of people to protect the infant, such as the infant's parent and the infant's manager.
  • the electronic device 500 may be an electronic device used by a guardian or an Internet of things (IoT) device (or IoT device) located and/or installed in an environment.
  • IoT Internet of things
  • the electronic device 500 may be a variety of IoT devices such as a display, a speaker, and an infant risk notification device located and/or installed in an environment.
  • IoT devices such as a display, a speaker, and an infant risk notification device located and/or installed in an environment.
  • the electronic device 500 may be various devices such as a personal computer (PC), a data server, or a portable electronic device used by a guardian.
  • Portable electronic devices include laptop computers, mobile phones, smart phones, tablet PCs, mobile internet devices (MID), personal digital assistants (PDAs), and enterprise digital assistants (EDA). ), digital still camera, digital video camera, portable multimedia player (PMP), personal navigation device or portable navigation device (PND), handheld game console, e-book (e-book), it can be implemented as a smart device (smart device).
  • the smart device may be implemented as a smart watch or a smart band.
  • the electronic device 500 may transmit camera information, environment information, and infant information about an infant to the infant monitoring device 300.
  • the electronic device 500 may receive an image transmitted from the camera device 100 and a danger signal transmitted from the infant monitoring device 300 and provide it to a guardian. Accordingly, a guardian and/or a person around the infant may monitor (or confirm) whether the infant is safe or dangerous in real time through images and danger signals to protect the infant safely.
  • FIG. 2 is a schematic block diagram of the infant monitoring apparatus shown in FIG. 1
  • FIG. 3 is a schematic block diagram of the virtual space shown in FIG. 2.
  • the infant monitoring device 300 may include a communication module 310, a memory 330, and a controller 350.
  • the communication module 310 may receive an image transmitted from the camera device 100 and transmit it to the controller 350.
  • the communication module 310 may receive camera information and environment information transmitted from the camera device 100 and/or the electronic device 500 and transmit it to the controller 350.
  • the communication module 310 may receive infant information transmitted from the electronic device 500 and transmit it to the controller 350.
  • the communication module 310 may transmit the danger signal transmitted from the controller 350 to the electronic device 500.
  • the memory 330 may store instructions (or programs) executable by the controller 350.
  • the instructions may include instructions for executing an operation of the controller 350 and/or an operation of each component of the controller 350.
  • the controller 350 may process data stored in the memory 330.
  • the controller 350 may execute computer-readable code (eg, software) stored in the memory 330 and instructions induced by the controller 350.
  • the controller 350 may be a data processing device implemented in hardware having a circuit having a physical structure for executing desired operations.
  • desired operations may include code or instructions included in a program.
  • a data processing device implemented in hardware is a microprocessor, a central processing unit, a processor core, a multi-core processor, and a multiprocessor.
  • ASIC Application-Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the controller 350 may control the overall operation of the infant monitoring device 300.
  • the controller 350 may control the operation of each component 310 and 330 of the infant monitoring device 300.
  • the controller 350 may determine whether the infant is in a dangerous situation through the allocated virtual space 370 by allocating a virtual space 370 suitable for the environment in which the camera device 100 and the camera device 100 are installed.
  • the controller 350 may allocate a virtual space 370 suitable for camera information and environment information.
  • the virtual space 370 may be a space in which software modules for determining whether the infant is in a dangerous state by monitoring the infant located in the environment are located and executed.
  • the camera information may be various pieces of information about the camera device 100.
  • the camera information may include information on the type of the camera device 100, the specification of the camera device 100, and the number of camera devices 100.
  • the environmental information is information on a place where an infant lives and is located, and may be information on various places for monitoring infants, such as an infant room in a family home, an infant room in a kindergarten, and an infant playroom.
  • the environmental information may include information on the type of place and the size of the place.
  • the controller 350 may allocate a virtual space 370 corresponding to the environment based on camera information and environment information. For example, the controller 350 may determine the size of the virtual space 370 based on the type, specification, and number of camera devices 100 and the type and size of places.
  • the virtual space 370 may be created for each environment.
  • the controller 350 may allocate the camera device 100 and the virtual space 370 corresponding to the environment based on the size of the virtual space 370.
  • the virtual space 370 may be a space optimized for the camera device 100 and environment.
  • the optimized virtual space 370 is an independent space and can efficiently use the resources (or resources) of the infant monitoring device 300 without wasting.
  • the controller 350 may determine whether the infant included in the image transmitted from the camera device 100 through the virtual space 370 is in a dangerous state.
  • the virtual space 370 may include a camera module 371 and a recognition module 373.
  • the controller 350 may learn the recognition module 373 based on the environment, infants, dangerous objects, and non-hazardous objects. Learning of the recognition module 373 will be described in detail with reference to FIGS. 4 and 5.
  • the camera module 371 may acquire an image transmitted from the camera device 100.
  • the learned recognition module 373 may analyze the image to determine whether the infant included in the image is in a dangerous situation.
  • the learned recognition module 373 may recognize infants and objects included in the image based on the image (or by analyzing the image). The learned recognition module 373 may determine whether the recognized object is a dangerous object or a non-dangerous object. Dangerous objects may be objects that are dangerous to infants. The non-hazardous object may be an object that is not dangerous to the infant. The learned recognition module 373 may determine whether the infant is in a dangerous situation based on the infant's movement and the distance between the infant and the dangerous object.
  • the learned recognition module 373 may transmit a danger signal indicating that the infant is in danger to the electronic device 500 when the infant is in a dangerous situation.
  • the danger signal is a danger notification signal that provides notification that the infant is in danger, and may be provided in a manner suitable for the use of the electronic device 500.
  • the danger signal may be provided by vibration and sound.
  • the guardian and/or people around the infant can check whether the infant is dangerous in real time.
  • FIG. 4 shows an example for explaining the learning process of the recognition module shown in FIG. 3
  • FIG. 5 shows a flow chart for explaining the learning process of the recognition module shown in FIG. 3.
  • the controller 350 may learn the recognition module 373 based on environmental information, infant information, and a request from a guardian.
  • the controller 350 may set an environment based on environment information.
  • the controller 350 may set an infant based on infant information.
  • the controller 350 may set the dangerous object and the non-dangerous object through the learning data pool based on the request of the guardian (510).
  • the guardian's request is a signal for requesting dangerous object setting and non-dangerous object setting, and may include dangerous object information for dangerous objects and non-hazardous object information for non-hazardous objects.
  • the controller 350 may designate at least one object from among a plurality of objects included in the learning data pool as the dangerous object based on the dangerous object information and the non-dangerous object information.
  • Dangerous objects are objects that the guardian has set (or designated) as dangerous to the infant according to the environment, and may be objects located around the infant and dangerous to the infant.
  • Objects can be various objects such as toys, knives, gas stoves, fans, and washing machines that are dangerous to infants.
  • the controller 350 may designate other objects other than the dangerous object among the plurality of objects as non-dangerous objects.
  • the controller 350 sets the dangerous object and the non-dangerous object through the learning data pool, but is not limited thereto. For example, when an object corresponding to dangerous object information and non-hazardous object information is not included in the learning data pool, the controller 350 collects data on the object through the crawler, and then converts the collected object to the dangerous object and the object. It can be set as a non-hazardous object.
  • the controller 350 may set situations in which the infant is at risk based on the environment, the infant, the dangerous object, and the non-dangerous object (530).
  • the controller 350 may be used when the infant suddenly stops moving, the infant disappears from the environment (or in the video, from the field of view of the camera device 100), the sleeping infant wakes up, and the infant is a dangerous object. It can be set as a situation where the infant is in danger.
  • the dangerous object is a dangerous object around the infant, and there are four situations in which the infant is dangerous, but the present invention is not limited thereto.
  • the controller 350 may set an object that is dangerous to the infant as a dangerous object according to the environment and the room in which the infant is located and/or the infant's age suitable for the infant.
  • the controller 350 may learn and set additionally dangerous situations that are dangerous to infants through machine learning.
  • the controller 350 may learn the recognition module 373 based on the environment, the infant, the dangerous object, the non-dangerous object, and the situations in which the infant would be dangerous (550). Accordingly, the recognition module 373 may monitor the infant by using the image transmitted from the camera device 100 without a separate sensor, and determine whether the infant is in a dangerous situation.
  • the camera device 100 is installed in each of the four environments, and the electronic device 500 is assumed to be an IoT device installed in each of the four environments, and the infant is 4 infants.
  • the virtual space is composed of four virtual spaces optimized for each of the four environments.
  • FIG. 6 shows an example for explaining the operation of the infant monitoring device according to an embodiment
  • FIG. 7 shows another example for explaining the operation of the infant monitoring device according to an embodiment.
  • the camera device 100 is a monitoring camera for monitoring four infants (monitoring objects) located in four rooms (environment 1 to 4), and the first to fourth cameras 100-1 to 100- 4) may be included.
  • Each of the first to fourth rooms may be a place that is distinct from each other.
  • the first and second rooms may be small-sized rooms.
  • the third room may be a medium-sized room (or a medium-sized kindergarten or a medium-sized playroom).
  • the fourth room may be a large-sized room (or a large-sized kindergarten or large-sized playroom).
  • the first infant may be located in a first room (environment 1).
  • the second infant may be located in a second room (environment 2).
  • the third infant may be located in a third room (environment 3).
  • the fourth infant may be located in a fourth room (environment 4).
  • the first camera 100-1 is installed in the first room (environment 1) to monitor the first infant, and the first image of the first infant and the first environment of the first room (environment 1). Information may be transmitted to the infant monitoring device 300.
  • the second camera 100-2 is installed in the second room (environment 2) to monitor the second infant to monitor the second image of the second infant and the second environment information of the second room (environment 2). It can be transmitted to the device 300.
  • the third camera 100-3 is installed in the third room (environment 3) to monitor the third infant, and the third image of the third infant and the third environment information of the third room (environment 3) are monitored. It can be transmitted to the device 300.
  • the fourth camera 100-4 is installed in the fourth room (environment 4) and monitors the fourth infant to monitor the fourth image of the fourth infant and the fourth environment information of the fourth room (environment 4). It can be transmitted to the device 300.
  • the first to fourth cameras 100-1 to 100-4 transmit first to fourth images and first to fourth environmental information to the infant monitoring apparatus 300 through the cloud network device 700. Can be transmitted.
  • the cloud network device 700 may be a gateway device.
  • the controller 350 of the infant monitoring device 300 may be a cloud server.
  • the controller 350 may include an SNAS 351 and a machine learning as a service (MLaaS) 353.
  • MLaaS machine learning as a service
  • the SNAS 351 may receive the first to fourth images and the first to fourth environment information through the cloud network device 700 and transmit them to the MLaaS 353.
  • the MLaaS 353 may be a server capable of performing object recognition and context recognition (or object recognition and context recognition) by configuring a virtual space optimized for each environment in which an infant is located.
  • the MLaaS 353 is based on the first environment information to the fourth environment information.
  • Virtual space (VS 4) can be allocated (or defined).
  • the first virtual space VS 1 may be a virtual space optimized for the first room 1.
  • the second virtual space VS 2 may be a virtual space optimized for the second room 2.
  • the third virtual space VS 3 may be a virtual space optimized for the third room 3.
  • the fourth virtual space VS 4 may be a virtual space optimized for the fourth room (environment 4).
  • Each of the first virtual space VS 1 to the fourth virtual space VS 4 may be a space for efficiently and rapidly recognizing an entity located in each environment and determining whether an infant is in a dangerous situation.
  • Each of the first to fourth virtual spaces VS 1 to 4 may include a camera module, a recognition module, and a base docker using docker technology.
  • the camera module can be located above the recognition module, and the recognition module can be located above the base docker.
  • the recognition module may be an optimized network module.
  • the MLaaS 353 may recognize an object included in the first to fourth images by analyzing the first to fourth images through the learned recognition module.
  • the recognition module may recognize the object using an artificial intelligence-based object recognition technology.
  • the artificial intelligence-based object recognition technology may be YOLOv3 (you only look once v3).
  • YOLOv3 is capable of recognizing multiple objects and has a fast object recognition speed, so it is possible to secure real-time properties of the system.
  • YOLOv3 can find common characteristics of the object to be recognized from the learning data of the object to be recognized during learning. Accordingly, YOLOv3 can have the flexibility to recognize even if the appearance of objects to be recognized in an actual environment (eg, a home, etc.) is different.
  • the recognition module may recognize changes in movement and distance of the first to fourth infants by recognizing first to fourth infants included in the first to fourth images.
  • the recognition module may recognize whether the first to fourth infants are close to the dangerous object by recognizing the dangerous object and the non-dangerous object included in the first to fourth images.
  • the recognition module may transmit the determination result to the IoT device 500.
  • the recognition module may transmit the determination result to the IoT device 500 through the cloud network device 700 using an intelligent IoT device management technology.
  • the recognition module may transmit a danger signal to the first IoT device 500-1 installed in the first room (environment 1).
  • the recognition module may transmit a danger signal to the second IoT device 500-2 installed in the second room (environment 2).
  • the recognition module may transmit a danger signal to the third IoT device 500-3 installed in the third room (environment 3).
  • the recognition module may transmit a danger signal to the fourth IoT device 500-4 installed in the fourth room (environment 4).
  • the recognition module may generate a danger signal suitable for conveying the danger of the infant according to the use of the IoT device and the danger situation of the infant and provide it to the IoT device.
  • the danger signal may be provided as a visual danger signal.
  • Visual danger signs can be diverse, including colors, color combinations, images and guidance text appropriate to the danger situation.
  • the image may be a warning indication on the display.
  • the text message could be "The infant is approaching a dangerous object.”
  • the danger signal may be provided as an audible danger signal.
  • the audible danger signal may be a sound appropriate to the danger situation.
  • the sound can be a horn sound and a voice.
  • the voice could be "The infant is approaching a dangerous object.”
  • the horn sound can be a siren sound.
  • the IoT device is a speaker, and the infant wakes up, the horn sound may be a ding-dong sound.
  • FIG. 8 is a flowchart illustrating the operation of the infant monitoring device shown in FIG. 1.
  • the controller 350 may acquire environment information and camera information transmitted from the camera device 100 and/or the electronic device 500 (810 ).
  • the controller 350 may allocate the virtual space 370 optimized to the environment and the camera device 100 based on the environment information and the camera information (830).
  • the controller 350 may acquire an image transmitted from the camera device 100 through the camera module 371 included in the virtual space 370 (850 ).
  • the controller 350 may analyze the image through the recognition module 373 included in the virtual space 370 to determine the state of the infant included in the image (eg, whether the infant is in a dangerous situation) (870). ).
  • the controller 350 may transmit a danger signal suitable for the use of the electronic device 500 and the dangerous situation of the infant to the electronic device 500 through the recognition module 373 (890).
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.
  • the software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to operate as desired or processed independently or collectively. You can command the device.
  • Software and/or data may be interpreted by a processing device or, to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave.
  • the software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

유아 모니터링 방법 및 이를 수행하는 장치들이 개시된다. 일 실시예에 따른 유아 모니터링 방법은 카메라가 설치되어 유아를 모니터링할 환경에 대한 환경 정보 및 상기 카메라에 대한 카메라 정보를 획득하는 단계와, 상기 환경 정보 및 상기 카메라 정보에 기초하여 상기 환경에 대응하는 가상 공간을 할당하는 단계를 포함한다.

Description

유아 모니터링 방법 및 이를 수행하는 장치들
아래 실시예들은 유아 모니터링 방법 및 이를 수행하는 장치들에 관한 것이다.
유아(또는 아동)는 자기 보호 능력 및 의사 표현 능력이 없고 신체가 발달하지 않은 사람일 수 있다. 유아는 각종 질병 및 사고에 노출되어 원인을 알 수 없는 돌연사가 빈번히 발생할 수 있다.
유아에 대한 돌연사나 질병의 초기 현상의 발견, 사고의 방지 등은 결국 유아의 보호자에 의해 이루어져야 한다. 하지만, 보호자는 항상 유아에게 모든 일을 집중하고 감시하는 것이 현실적으로 불가능할 수 있다.
최근에는 웨어러블 센서의 발달 및 네트워크 기술의 발달에 따라 유아의 상태를 지속적으로 모니터링하는 유아 모니터링 기술이 발달하고 있다. 예를 들어, 최근에는 유아의 팔목이나 발목에 온도 센서와 맥박 센서를 착용하는 밴드 또는 온도계 등 다양한 센서를 포함한 의복이 제조된다. 온도 센서 및 맥박 센서를 포함한 의복은 유아의 맥박 및 온도를 수시로 측정하고, 네트워크를 통해 측정된 유아의 맥박 데이터 및 유아의 온도 데이터를 보호자에게 전달할 수 있다.
다만, 유아가 착용하는 의복에 장착되는 센서들은 유아의 피부에 트러블을 발생시키고, 항시 유아가 착용해야 하는 불편함과, 높은 의복 구매 비용이 발생하는 문제점이 있다.
실시예들은 카메라 장치 및 카메라 장치가 설치된 환경에 대응하는 가상 공간을 할당하고, 할당된 가상 공간을 통해 영상에 포함된 객체를 인식하여 환경에 위치한 유아가 위험한 상황인지(또는 유아가 위험한 상태인지, 유아의 상태가 위험한지) 여부를 판단하는 기술을 제공할 수 있다.
일 실시예에 따른 유아 모니터링 방법은 카메라가 설치되어 유아를 모니터링할 환경에 대한 환경 정보 및 상기 카메라에 대한 카메라 정보를 획득하는 단계와, 상기 환경 정보 및 상기 카메라 정보에 기초하여 상기 환경에 대응하는 가상 공간을 할당하는 단계를 포함하고, 상기 가상 공간은 상기 환경에 위치하는 상기 유아를 모니터링하여 상기 유아가 위험한 상황인지 여부를 판단하기 위한 공간일 수 있다.
상기 환경 정보는 상기 유아가 위치한 장소에 대한 정보로써, 상기 장소의 종류 및 상기 장소의 크기에 대한 정보를 포함할 수 있다.
상기 카메라 정보는 상기 카메라의 종류, 상기 카메라의 사양, 상기 카메라의 수에 대한 정보를 포함할 수 있다.
상기 가상 공간은 상기 환경 및 상기 카메라에 최적화된 공간일 수 있다.
상기 가상 공간은 상기 장소의 종류 및 크기와 상기 카메라의 종류, 사양 및 수에 기초하여 상기 가상 공간의 크기가 결정될 수 있다.
상기 가상 공간은 카메라 모듈 및 인식 모듈를 포함할 수 있다.
상기 방법은 상기 인식 모듈을 학습하는 단계를 더 포함하고, 상기 학습하는 단계는 상기 환경, 상기 유아, 상기 유아에게 위험한 위험 객체 및 상기 유아에게 위험하지 않은 비위험 객체를 설정하는 단계와, 상기 환경, 상기 유아, 상기 위험 객체 및 상기 비위험 객체에 기초하여 상기 유아가 위험할 상황들을 설정하는 단계와, 상기 환경, 상기 유아, 상기 위험 객체, 상기 비위험 객체 및 상기 상황에 기초하여 상기 인식 모듈을 학습하는 단계를 포함할 수 있다.
상기 방법은 상기 카메라 모듈을 통해 상기 카메라로부터 전송된 영상을 획득하는 단계와, 학습된 인식 모듈을 통해 상기 영상에 포함된 상기 유아가 위험한 상황인지 여부를 판단하는 단계를 더 포함할 수 있다.
상기 판단하는 단계는 상기 영상에 기초하여 상기 영상에 포함된 상기 유아 및 객체를 인식하는 단계와, 상기 객체가 위험 객체인지 여부 및 비위험 객체인지 여부를 판단하는 단계와, 상기 유아의 움직임과 상기 유아 및 상기 위험 객체 간의 이격 거리에 기초하여 상기 유아가 위험한 상황인지 여부를 판단하는 단계를 포함할 수 있다.
상기 방법은 상기 유아가 위험한 상황인 경우, 위험 신호를 전송하는 단계를 더 포함할 수 있다.
일 실시예에 따른 유아 모니터링 장치는 인스트럭션들을 포함하는 메모리와, 상기 인스트럭션들을 실행하기 위한 컨트롤러를 포함하고, 상기 컨트롤러는 카메라가 설치되어 유아를 모니터링할 환경에 대한 환경 정보 및 상기 카메라에 대한 카메라 정보를 획득하고, 상기 환경 정보 및 상기 카메라 정보에 기초하여 상기 환경에 대응하는 가상 공간을 할당하고, 상기 가상 공간은 상기 환경에 위치하는 상기 유아를 모니터링하여 상기 유아가 위험한 상황인지 여부를 판단하기 위한 공간일 수 있다.
상기 환경 정보는 상기 유아가 위치한 장소에 대한 정보로써, 상기 장소의 종류 및 상기 장소의 크기에 대한 정보를 포함할 수 있다.
상기 카메라 정보는 상기 카메라의 종류, 상기 카메라의 사양, 상기 카메라의 수에 대한 정보를 포함할 수 있다.
상기 가상 공간은 상기 환경 및 상기 카메라에 최적화된 공간일 수 있다.
상기 가상 공간은 상기 장소의 종류 및 크기와 상기 카메라의 종류, 사양 및 수에 기초하여 상기 가상 공간의 크기가 결정될 수 있다.
상기 가상 공간은 카메라 모듈 및 인식 모듈를 포함할 수 있다.
상기 컨트롤러는 상기 인식 모듈을 학습하고, 상기 컨트롤러는 상기 환경, 상기 유아, 상기 유아에게 위험한 위험 객체 및 상기 유아에게 위험하지 않은 비위험 객체를 설정하고, 상기 환경, 상기 유아, 상기 위험 객체 및 상기 비위험 객체에 기초하여 상기 유아가 위험할 상황들을 설정하고, 상기 환경, 상기 유아, 상기 위험 객체, 상기 비위험 객체 및 상기 상황에 기초하여 상기 인식 모듈을 학습할 수 있다.
상기 컨트롤러는 상기 카메라 모듈을 통해 상기 카메라로부터 전송된 영상을 획득하고, 학습된 인식 모듈을 통해 상기 영상에 포함된 상기 유아가 위험한 상황인지 여부를 판단할 수 있다.
상기 컨트롤러는 상기 학습된 인식 모듈을 통해 상기 영상에 기초하여 상기 영상에 포함된 상기 유아 및 객체를 인식하고, 상기 객체가 위험 객체인지 여부 및 비위험 객체인지 여부를 판단하고, 상기 유아의 움직임과 상기 유아 및 상기 위험 객체 간의 이격 거리에 기초하여 상기 유아가 위험한 상황인지 여부를 판단할 수 있다.
상기 컨트롤러는 상기 유아가 위험한 상황인 경우, 위험 신호를 전송할 수 있다.
도 1은 일 실시예에 따른 유아 모니터링 시스템의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 유아 모니터링 장치의 개략적인 블록도를 나타낸다.
도 3은 도 2에 도시된 가상 공간의 개략적인 블록도를 나타낸다.
도 4는 도 3에 도시된 인식 모듈의 학습 과정을 설명하기 위한 일 예를 나타낸다.
도 5는 도 3에 도시된 인식 모듈의 학습 과정을 설명하기 위한 순서도를 나타낸다.
도 6은 일 실시예에 따른 유아 모니터링 장치의 동작을 설명하기 위한 일 예를 나타낸다.
도 7은 일 실시예에 따른 유아 모니터링 장치의 동작을 설명하기 위한 다른 예를 나타낸다.
도 8은 도 1에 도시된 유아 모니터링 장치의 동작을 설명하기 위한 순서도를 나타낸다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1 또는 제2등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해서 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 실시예의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 명세서에서의 모듈(module)은 본 명세서에서 설명되는 각 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다.
다시 말해, 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.
도 1은 일 실시예에 따른 유아 모니터링 시스템의 개략적인 블록도를 나타낸다.
유아 모니터링 시스템(10)은 카메라 장치(100), 유아 모니터링 장치(300) 및 전자 장치(500)를 포함한다.
카메라 장치(100)는 유아를 모니터링할 환경에 설치되어 유아 및 환경을 촬영하는 카메라일 수 있다. 예를 들어, 환경은 유아가 생활 및 위치한 장소(또는 공간)로 가정집의 유아방, 유치원의 유아실 및 유아 놀이방 등 다양한 유아 전용 장소일 수 있다.
카메라 장치(100)는 유아 및 환경을 촬영하여 영상(또는 영상 데이터, 또는 영상 신호)를 생성한 후, 영상을 유아 모니터링 장치(300) 및 전자 장치(500)에 전송할 수 있다.
또한, 카메라 장치(100)는 카메라 장치(100)에 대한 카메라 정보 및/또는 카메라 장치(100)가 설치된 환경에 대한 환경 정보를 유아 모니터링 장치(300)에 전송할 수 있다.
유아 모니터링 장치(300)는 카메라 장치(100) 및 카메라 장치(100)가 설치된 환경에 대응하는 가상 공간을 할당할 수 있다.
유아 모니터링 장치(300)는 할당된 가상 공간을 통해 영상에 포함된 객체를 인식하여 환경에 위치한 유아가 위험한 상황인지(또는 유아가 위험한 상태인지, 유아의 상태가 위험한지) 여부를 판단할 수 있다.
가상 공간은 여러 환경 및 여러 위험 상황에서 영상 속 객체 인식 및 유아 상태 판단에 유연하게 사용 가능할 수 있다. 유아 모니터링 장치(300)는 최소한의 모니터링 카메라와 인터넷 연결만으로 어떠한 환경에서도 특별한 제약 없이 유아를 인식하고, 유아의 상태를 판단할 수 있다. 유아 모니터링 장치(300)는 유아 안전 상황을 판단하여 유아가 위험 상황인 경우에 전자 장치(500), 예를 들어 IoT 장치 및 휴대폰 App 등으로 위험 신호를 전송하여 유아를 보호할 수 있다.
전자 장치(500)는 유아를 보호하는 보호자가 사용하는 전자 장치일 수 있다. 보호자는 유아의 부모 및 유아의 관리자 등 유아를 보호하기 위한 다양한 사람일 수 있다.
전자 장치(500)는 보호자가 사용하는 전자 장치이거나 환경에 위치 및/또는 설치된 IoT(internet of things) 장치(또는 IoT 디바이스)일 수 있다.
일 예로, 전자 장치(500)는 환경에 위치 및/또는 설치된 디스플레이, 스피커 및 유아 위험 알림 장치 등 다양한 IoT 장치일 수 있다.
다른 예로, 전자 장치(500)는 보호자가 사용하는 PC(personal computer), 데이터 서버, 또는 휴대용 전자 장치 등 다양한 장치일 수 있다. 휴대용 전자 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 스마트 디바이스(smart device)으로 구현될 수 있다. 이때, 스마트 디바이스는 스마트 워치(smart watch) 또는 스마트 밴드(smart band)로 구현될 수 있다.
전자 장치(500)는 카메라 정보, 환경 정보 및 유아에 대한 유아 정보를 유아 모니터링 장치(300)에 전송할 수 있다.
전자 장치(500)는 카메라 장치(100)로부터 전송된 영상 및 유아 모니터링 장치(300)로부터 전송된 위험 신호를 수신하여 보호자에게 제공할 수 있다. 이에, 보호자 및/또는 유아 주변의 사람은 영상 및 위험 신호를 통해 유아가 안전한지 또는 위험한지 여부를 실시간으로 모니터링(또는 확인)하여 유아를 안전하게 보호할 수 있다.
도 2는 도 1에 도시된 유아 모니터링 장치의 개략적인 블록도를 나타내고, 도 3은 도 2에 도시된 가상 공간의 개략적인 블록도를 나타낸다.
유아 모니터링 장치(300)는 통신 모듈(310), 메모리(330) 및 컨트롤러(350)를 포함할 수 있다.
통신 모듈(310)은 카메라 장치(100)로부터 전송된 영상을 수신하여 컨트롤러(350)에 전송할 수 있다.
통신 모듈(310)은 카메라 장치(100) 및/또는 전자 장치(500)로부터 전송된 카메라 정보 및 환경 정보를 수신하여 컨트롤러(350)에 전송할 수 있다.
통신 모듈(310)은 전자 장치(500)로부터 전송된 유아 정보를 수신하여 컨트롤러(350)에 전송할 수 있다.
통신 모듈(310)은 컨트롤러(350)로부터 전송된 위험 신호를 전자 장치(500)에 전송할 수 있다.
메모리(330)는 컨트롤러(350)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 컨트롤러(350)의 동작 및/또는 컨트롤러(350)의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
컨트롤러(350)는 메모리(330)에 저장된 데이터를 처리할 수 있다. 컨트롤러(350)는 메모리(330)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 컨트롤러(350)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
컨트롤러(350)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
컨트롤러(350)는 유아 모니터링 장치(300)의 전반적인 동작을 제어할 수 있다. 예를 들어, 컨트롤러(350)는 유아 모니터링 장치(300)의 각 구성(310 및 330)의 동작을 제어할 수 있다.
컨트롤러(350)는 카메라 장치(100) 및 카메라 장치(100)가 설치된 환경에 적합한 가상 공간(370)을 할당하여 할당된 가상 공간(370)을 통해 유아가 위험한 상황인지 여부를 판단할 수 있다.
먼저, 컨트롤러(350)는 카메라 정보 및 환경 정보에 적합한 가상 공간(370)을 할당할 수 있다. 가상 공간(370)은 환경에 위치하는 유아를 모니터링하여 유아가 위험 상태인지 여부를 판단하기 위한 소프트웨어 모듈들이 위치하여 실행되는 공간일 수 있다.
카메라 정보는 카메라 장치(100)에 대한 다양한 정보일 수 있다. 카메라 정보는 카메라 장치(100)의 종류, 카메라 장치(100)의 사양 및 카메라 장치(100)의 수에 대한 정보를 포함할 수 있다.
환경 정보는 유아가 생활 및 위치한 장소에 대한 정보로 가정집의 유아방, 유치원의 유아실 및 유아 놀이방 등 유아를 모니터링하기 위한 다양한 장소에 대한 정보일 수 있다. 환경 정보는 장소의 종류 및 장소의 크기에 대한 정보를 포함할 수 있다.
컨트롤러(350)는 카메라 정보 및 환경 정보에 기초하여 환경에 대응하는 가상 공간(370)을 할당할 수 있다. 예를 들어, 컨트롤러(350)는 카메라 장치(100)의 종류, 사양 및 수와 장소의 종류 및 크기에 기초하여 가상 공간(370)의 크기를 결정할 수 있다. 가상 공간(370)은 각 환경마다 생성될 수 있다.
컨트롤러(350)는 가상 공간(370)의 크기에 기초하여 카메라 장치(100) 및 환경에 대응하는 가상 공간(370)을 할당할 수 있다. 가상 공간(370)은 카메라 장치(100) 및 환경에 최적화된 공간일 수 있다. 최적화된 가상 공간(370)은 독립된 공간으로, 유아 모니터링 장치(300)의 자원(또는 리소스)을 낭비없이 효율적으로 사용할 수 있다.
이후에, 컨트롤러(350)는 가상 공간(370)을 통해 카메라 장치(100)로부터 전송된 영상에 포함된 유아가 위험한 상태인지 여부를 판단할 수 있다. 가상 공간(370)은 카메라 모듈(371) 및 인식 모듈(373)을 포함할 수 있다.
예를 들어, 컨트롤러(350)는 환경, 유아, 위험 객체 및 비위험 객체에 기초하여 인식 모듈(373)을 학습할 수 있다. 인식 모듈(373)의 학습에 대해서는 도 4 및 도 5에서 상세하게 설명하도록 한다.
카메라 모듈(371)은 카메라 장치(100)로부터 전송된 영상을 획득할 수 있다.
학습된 인식 모듈(373)은 영상을 분석하여 영상에 포함된 유아가 위험한 상황인지 여부를 판단할 수 있다.
예를 들어, 학습된 인식 모듈(373)은 영상에 기초하여(또는 영상을 분석하여) 영상에 포함된 유아 및 객체를 인식할 수 있다. 학습된 인식 모듈(373)은 인식된 객체가 위험 객체인지 여부 및 비위험 객체인지 여부를 판단할 수 있다. 위험 객체는 유아에게 위험한 객체일 수 있다. 비위험 객체는 유아에게 위험하지 않은 객체일 수 있다. 학습된 인식 모듈(373)은 유아의 움직임과 유아 및 위험 객체 간의 이격 거리에 기초하여 유아가 위험한 상황인지 여부를 판단할 수 있다.
또한, 학습된 인식 모듈(373)은 유아가 위험한 상황인 경우, 유아가 위험하다는 위험 신호를 전자 장치(500)에 전송할 수 있다.
위험 신호는 유아가 위험하다는 알림을 제공하는 위험 알림 신호로 전자 장치(500)의 용도에 적합한 방식으로 제공될 수 있다. 예를 들어, 위험 신호는 진동 및 소리 등으로 제공될 수 있다.
이에, 보호자 및/또는 유아 주변의 사람들은 실시간으로 유아가 위험한지 여부를 확인할 수 있다.
도 4는 도 3에 도시된 인식 모듈의 학습 과정을 설명하기 위한 일 예를 나타내고, 도 5는 도 3에 도시된 인식 모듈의 학습 과정을 설명하기 위한 순서도를 나타낸다.
컨트롤러(350)는 환경 정보, 유아 정보 및 보호자의 요청에 기초하여 인식 모듈(373)을 학습할 수 있다.
예를 들어, 컨트롤러(350)는 환경 정보에 기초하여 환경을 설정할 수 있다. 컨트롤러(350)는 유아 정보에 기초하여 유아를 설정할 수 있다.
컨트롤러(350)는 보호자의 요청에 기초하여 학습 데이터 풀(pool)을 통해 위험 객체 및 비위험 객체를 설정할 수 있다(510). 보호자의 요청은 위험 객체 설정 및 비위험 객체 설정을 요청하기 위한 신호로써, 위험 객체에 대한 위험 객체 정보, 비위험 객체에 대한 비위험 객체 정보를 포함할 수 있다.
예를 들어, 컨트롤러(350)는 위험 객체 정보 및 비위험 객체 정보에 기초하여 학습 데이터 풀에 포함된 복수의 객체들 중에서 적어도 하나의 객체를 위험 객체로 지정할 수 있다. 위험 객체는 보호자가 환경에 따라 유아에게 위험하다고 설정한(또는 지정한) 객체로써, 유아 주변에 위치하고, 유아에게 위험한 사물들일 수 있다. 사물들은 유아에게 위험한 장난감, 칼, 가스렌지, 선풍기 및 세탁기 등 다양한 사물들일 수 있다.
컨트롤러(350)는 복수의 객체들 중에서 위험 객체를 제외한 나머지 객체를 비위험 객체로 지정할 수 있다.
상술한 바와 같이, 컨트롤러(350)가 학습 데이터 풀을 통해 위험 객체 및 비위험 객체를 설정하지만, 이에 한정하는 것은 아니다. 예를 들어, 위험 객체 정보 및 비위험 객체 정보에 대응하는 객체가 학습 데이터 풀에 포함되지 않는 경우, 컨트롤러(350)는 Crawler를 통해 객체에 대한 데이터를 수집한 후, 수집된 객체를 위험 객체 및 비위험 객체로 설정할 수 있다.
컨트롤러(350)는 환경, 유아, 위험 객체 및 비위험 객체에 기초하여 유아가 위험할 상황들을 설정할 수 있다(530).
예를 들어, 컨트롤러(350)는 유아가 갑자기 움직임이 없어진 경우, 유아가 환경에서(또는 영상에서, 카메라 장치(100)의 시야에서) 사라진 경우, 자고 있던 유아가 깨어난 경우 및 유아가 위험 객체에 가까이 가는 경우를 유아가 위험할 상황으로 설정할 수 있다.
상술한 바와 같이, 위험 객체가 유아 주변의 위험한 사물이고, 유아가 위험할 상황이 4 가지 경우이지만, 이에 한정하는 것은 아니다. 예를 들어, 컨트롤러(350)는 환경 및 유아에게 적합하게 유아가 위치한 방 및/또는 유아의 나이에 따라 유아에게 위험한 사물을 위험 객체로 설정할 수 있다. 컨트롤러(350)는 머신 러닝을 통해 유아에게 위험할 위험 상황을 학습하여 추가 설정할 수 있다.
컨트롤러(350)는 환경, 유아, 위험 객체, 비위험 객체 및 유아가 위험할 상황들에 기초하여 인식 모듈(373)을 학습할 수 있다(550). 이에 따라, 인식 모듈(373)은 별도의 센서 없이 카메라 장치(100)로부터 전송된 영상을 이용하여 유아를 모니터링하고, 유아가 위험한 상황인지 여부를 판단할 수 있다.
이하에서는 설명의 편의를 위해서 카메라 장치(100)가 4 개의 환경들 각각에 설치된다고 가정하고, 전자 장치(500)가 4 개의 환경들 각각에 설치된 IoT 장치인 것으로 가정하고, 유아가 4 명의 유아들로 4 개의 환경들 각각에 위치한다고 가정하고, 가상 공간이 4 개의 환경들 각각에 최적화된 4 개의 가상 공간으로 구성된다고 가정하도록 한다.
도 6은 일 실시예에 따른 유아 모니터링 장치의 동작을 설명하기 위한 일 예를 나타내고, 도 7은 일 실시예에 따른 유아 모니터링 장치의 동작을 설명하기 위한 다른 예를 나타낸다.
카메라 장치(100)는 4 개의 룸들(environment 1 내지 4)에 위치한 4 명의 유아들(monitoring objects)를 모니터링하기 위한 모니터링 카메라(monitoring camera)로 제1 카메라 내지 제4 카메라(100-1 내지 100-4)를 포함할 수 있다.
제1 룸 내지 제4 룸(environment 1 내지 environment 4) 각각은 서로 구별되는 장소일 수 있다. 제1 룸 및 제2 룸(environment 1 및 environment 2)은 작은 사이즈의 방일 수 있다. 제3 룸(environment 3)은 중간 사이즈의 방(또는 중간 사이즈의 유치원, 중간 사이즈의 놀이방)일 수 있다. 제4 룸(environment 4)은 큰 사이즈의 방(또는, 큰 사이즈의 유치원, 큰 사이즈의 놀이방)일 수 있다. 제1 유아는 제1 룸(environment 1)에 위치할 수 있다. 제2 유아는 제2 룸(environment 2)에 위치할 수 있다. 제3 유아는 제3 룸(environment 3)에 위치할 수 있다. 제4 유아는 제4 룸(environment 4)에 위치할 수 있다.
예를 들어, 제1 카메라(100-1)는 제1 룸(environment 1)에 설치되어 제1 유아를 모니터링하여 제1 유아에 대한 제1 영상과 제1 룸(environment 1)에 대한 제1 환경 정보를 유아 모니터링 장치(300)에 전송할 수 있다.
제2 카메라(100-2)는 제2 룸(environment 2)에 설치되어 제2 유아를 모니터링하여 제2 유아에 대한 제2 영상과 제2 룸(environment 2)에 대한 제2 환경 정보를 유아 모니터링 장치(300)에 전송할 수 있다.
제3 카메라(100-3)는 제3 룸(environment 3)에 설치되어 제3 유아를 모니터링하여 제3 유아에 대한 제3 영상과 제3 룸(environment 3)에 대한 제3 환경 정보를 유아 모니터링 장치(300)에 전송할 수 있다.
제4 카메라(100-4)는 제4 룸(environment 4)에 설치되어 제4 유아를 모니터링하여 제4 유아에 대한 제4 영상과 제4 룸(environment 4)에 대한 제4 환경 정보를 유아 모니터링 장치(300)에 전송할 수 있다.
제1 카메라 내지 제4 카메라(100-1 내지 100-4)은 클라우드 네트워크 디바이스(700)를 통해 제1 영상 내지 제4 영상, 제1 환경 정보 내지 제4 환경 정보를 유아 모니터링 장치(300)에 전송할 수 있다. 클라우드 네트워크 디바이스(700)는 게이트 웨이 장치일 수 있다.
유아 모니터링 장치(300)의 컨트롤러(350)는 클라우드 서버(cloud server)일 수 있다. 컨트롤러(350)는 SNAS(351) 및 MLaaS(machine learning as a service; 353)를 포함할 수 있다.
SNAS(351)은 클라우드 네트워크 디바이스(700)를 통해 제1 영상 내지 제4 영상, 제1 환경 정보 내지 제4 환경 정보를 수신하여 MLaaS(353)에 전송할 수 있다.
MLaaS(353)은 유아가 위치한 각 환경에 최적화된 가상 공간을 구성하여 객체 인식 및 상황 인식(또는 객체 인지 및 상황 인지)을 수행할 수 있는 서버일 수 있다.
MLaaS(353)은 제1 환경 정보 내지 제4 환경 정보에 기초하여 제1 룸(environment 1) 내지 제4 룸(environment 4)에 최적화된 제1 가상 공간(optimized virtual space 1; VS 1) 내지 제4 가상 공간(VS 4)을 할당(또는 정의)할 수 있다. 제1 가상 공간(VS 1)은 제1 룸(environment 1)에 최적화된 가상 공간일 수 있다. 제2 가상 공간(VS 2)은 제2 룸(environment 2)에 최적화된 가상 공간일 수 있다. 제3 가상 공간(VS 3)은 제3 룸(environment 3)에 최적화된 가상 공간일 수 있다. 제4 가상 공간(VS 4)은 제4 룸(environment 4)에 최적화된 가상 공간일 수 있다.
제1 가상 공간(VS 1) 내지 제4 가상 공간(VS 4) 각각은 효율적이고 속도가 빠르게 각 환경에 위치하는 개체를 인식하고 유아가 위험한 상황인지 여부를 판단하기 위한 공간일 수 있다.
제1 가상 공간(VS 1) 내지 제4 가상 공간(VS 4) 각각은 docker 기술을 이용하여 카메라 모듈(camera module), 인식 모듈(recognition module) 및 베이스 도커(docker)를 포함할 수 있다. 카메라 모듈은 인식 모듈 위에 위치하고, 인식 모듈은 베이스 도커 위에 위치할 수 있습니다. 인식 모듈은 최적화된 네트워크 모듈(optimized network module)일 수 있다.
MLaaS(353)는 각 가상 공간에 포함된 인식 모듈을 학습한 뒤, 학습된 인식 모듈을 통해 제1 영상 내지 제4 영상을 분석하여 제1 영상 내지 제4 영상에 포함된 객체를 인식할 수 있다. 이때, 인식 모듈은 인공 지능 기반 객체 인식 기술을 이용하여 객체를 인식할 수 있다. 인공 지능 기반 객체 인식 기술은 YOLOv3(you only look once v3)일 수 있다. YOLOv3는 다중 객체 인식이 가능하며 객체 인식 속도가 빨라 시스템의 실시간성을 확보할 수 있다. YOLOv3는 학습 시 인식할 객체의 학습 데이터로부터 인식할 객체의 공통적인 특징을 찾아낼 수 있다. 이에, YOLOv3은 실제 환경(예를 들어, 가정집 등)에서 인식할 객체들의 모습이 다르더라도 인식할 수 있는 유연성을 가질 수 있다.
예를 들어, 인식 모듈은 제1 영상 내지 제4 영상에 포함된 제1 유아 내지 제4 유아를 인식하여 제1 유아 내지 제4 유아의 움직임 및 거리 변화를 인식할 수 있다. 인식 모듈은 제1 영상 내지 제4 영상에 포함된 위험 객체 및 비위험 객체를 인식하여 제1 유아 내지 제4 유아가 위험 객체에 근접한지 여부를 인식할 수 있다.
인식 모듈은 인식 결과에 기초하여 유아가 위험한 상황인지 여부를 판단한 후, 판단 결과를 IoT 장치(500)에 전달할 수 있다. 인식 모듈은 지능형 IoT 장치 관리 기술을 이용하여 클라우드 네트워크 디바이스(700)를 통해 판단 결과를 IoT 장치(500)에 전달할 수 있다.
제1 유아가 위험한 상황인 경우, 인식 모듈은 제1 룸(environment 1)에 설치된 제1 IoT 장치(500-1)에 위험 신호를 전송할 수 있다. 제2 유아가 위험한 상황인 경우, 인식 모듈은 제2 룸(environment 2)에 설치된 제2 IoT 장치(500-2)에 위험 신호를 전송할 수 있다. 제3 유아가 위험한 상황인 경우, 인식 모듈은 제3 룸(environment 3)에 설치된 제3 IoT 장치(500-3)에 위험 신호를 전송할 수 있다. 제4 유아가 위험한 상황인 경우, 인식 모듈은 제4 룸(environment 4)에 설치된 제4 IoT 장치(500-4)에 위험 신호를 전송할 수 있다.
인식 모듈은 IoT 장치의 용도 및 유아의 위험 상황에 따라 유아의 위험을 전달하기 적절한 위험 신호를 생성하여 IoT 장치에 제공할 수 있다.
IoT 장치가 디스플레이이고, 유아가 위험 객체에 근접한 경우, 위험 신호는 시각적인 위험 신호로 제공될 수 있다. 시각적인 위험 신호는 위험 상황에 적합한 색깔, 색깔 조합, 영상 및 안내 문자 등 다양할 수 있다. 영상은 디스플레이 상에 warning 표시일 수 있다. 안내 문자는 “유아가 위험한 물건에 접근하고 있어요”일 수 있다.
IoT 장치가 스피커이고, 유아가 위험 객체에 근접한 경우, 위험 신호는 청각적인 위험 신호로 제공될 수 있다. 청각적인 위험 신호는 위험 상황에 적합한 소리일 수 있다. 소리는 경적 소리 및 음성일 수 있다. 음성은 “유아가 위험한 물건에 접근하고 있어요”일 수 있다. 경적 소리는 사이렌 소리일 수 있다. IoT 장치가 스피커이고, 유아가 잠에서 깨어난 경우에 경적 소리는 띵동 소리일 수 있다.
도 8은 도 1에 도시된 유아 모니터링 장치의 동작을 설명하기 위한 순서도를 나타낸다.
컨트롤러(350)는 카메라 장치(100) 및/또는 전자 장치(500)로부터 전송된 환경 정보 및 카메라 정보를 획득할 수 있다(810).
컨트롤러(350)는 환경 정보 및 카메라 정보에 기초하여 환경 및 카메라 장치(100)에 최적화된 가상 공간(370)을 할당할 수 있다(830).
컨트롤러(350)는 가상 공간(370)에 포함된 카메라 모듈(371)을 통해 카메라 장치(100)로부터 전송된 영상을 획득할 수 있다(850).
컨트롤러(350)는 가상 공간(370)에 포함된 인식 모듈(373)을 통해 영상을 분석하여 영상에 포함된 유아의 상태(예를 들어, 유아가 위험한 상황인지 여부)를 판단할 수 있다(870).
유아가 위험한 상황인 경우, 컨트롤러(350)는 인식 모듈(373)을 통해 전자 장치(500)의 용도 및 유아의 위험 상황에 적합한 위험 신호를 전자 장치(500)에 전송할 수 있다(890).
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (20)

  1. 카메라가 설치되어 유아를 모니터링할 환경에 대한 환경 정보 및 상기 카메라에 대한 카메라 정보를 획득하는 단계; 및
    상기 환경 정보 및 상기 카메라 정보에 기초하여 상기 환경에 대응하는 가상 공간을 할당하는 단계
    를 포함하고,
    상기 가상 공간은 상기 환경에 위치하는 상기 유아를 모니터링하여 상기 유아가 위험한 상황인지 여부를 판단하기 위한 공간인 유아 모니터링 방법.
  2. 제1항에 있어서,
    상기 환경 정보는 상기 유아가 위치한 장소에 대한 정보로써, 상기 장소의 종류 및 상기 장소의 크기에 대한 정보를 포함하는 유아 모니터링 방법.
  3. 제1항에 있어서,
    상기 카메라 정보는 상기 카메라의 종류, 상기 카메라의 사양, 상기 카메라의 수에 대한 정보를 포함하는 유아 모니터링 방법.
  4. 제1항에 있어서,
    상기 가상 공간은 상기 환경 및 상기 카메라에 최적화된 공간인 유아 모니터링 방법.
  5. 제1항에 있어서,
    상기 가상 공간은 상기 장소의 종류 및 크기와 상기 카메라의 종류, 사양 및 수에 기초하여 상기 가상 공간의 크기가 결정되는 유아 모니터링 방법.
  6. 제1항에 있어서,
    상기 가상 공간은 카메라 모듈 및 인식 모듈를 포함하는 유아 모니터링 방법.
  7. 제6항에 있어서,
    상기 인식 모듈을 학습하는 단계
    를 더 포함하고,
    상기 학습하는 단계는,
    상기 환경, 상기 유아, 상기 유아에게 위험한 위험 객체 및 상기 유아에게 위험하지 않은 비위험 객체를 설정하는 단계;
    상기 환경, 상기 유아, 상기 위험 객체 및 상기 비위험 객체에 기초하여 상기 유아가 위험할 상황들을 설정하는 단계; 및
    상기 환경, 상기 유아, 상기 위험 객체, 상기 비위험 객체 및 상기 상황에 기초하여 상기 인식 모듈을 학습하는 단계
    를 포함하는 유아 모니터링 방법.
  8. 제7항에 있어서,
    상기 카메라 모듈을 통해 상기 카메라로부터 전송된 영상을 획득하는 단계; 및
    학습된 인식 모듈을 통해 상기 영상에 포함된 상기 유아가 위험한 상황인지 여부를 판단하는 단계
    를 더 포함하는 유아 모니터링 방법.
  9. 제8항에 있어서,
    상기 판단하는 단계는,
    상기 영상에 기초하여 상기 영상에 포함된 상기 유아 및 객체를 인식하는 단계;
    상기 객체가 위험 객체인지 여부 및 비위험 객체인지 여부를 판단하는 단계; 및
    상기 유아의 움직임과 상기 유아 및 상기 위험 객체 간의 이격 거리에 기초하여 상기 유아가 위험한 상황인지 여부를 판단하는 단계
    를 포함하는 유아 모니터링 방법.
  10. 제9항에 있어서,
    상기 유아가 위험한 상황인 경우, 위험 신호를 전송하는 단계
    를 더 포함하는 유아 모니터링 방법.
  11. 인스트럭션들을 포함하는 메모리; 및
    상기 인스트럭션들을 실행하기 위한 컨트롤러
    를 포함하고,
    상기 컨트롤러는,
    카메라가 설치되어 유아를 모니터링할 환경에 대한 환경 정보 및 상기 카메라에 대한 카메라 정보를 획득하고, 상기 환경 정보 및 상기 카메라 정보에 기초하여 상기 환경에 대응하는 가상 공간을 할당하고,
    상기 가상 공간은 상기 환경에 위치하는 상기 유아를 모니터링하여 상기 유아가 위험한 상황인지 여부를 판단하기 위한 공간인 유아 모니터링 장치.
  12. 제11항에 있어서,
    상기 환경 정보는 상기 유아가 위치한 장소에 대한 정보로써, 상기 장소의 종류 및 상기 장소의 크기에 대한 정보를 포함하는 유아 모니터링 장치.
  13. 제11항에 있어서,
    상기 카메라 정보는 상기 카메라의 종류, 상기 카메라의 사양, 상기 카메라의 수에 대한 정보를 포함하는 유아 모니터링 장치.
  14. 제11항에 있어서,
    상기 가상 공간은 상기 환경 및 상기 카메라에 최적화된 공간인 유아 모니터링 장치.
  15. 제11항에 있어서,
    상기 가상 공간은 상기 장소의 종류 및 크기와 상기 카메라의 종류, 사양 및 수에 기초하여 상기 가상 공간의 크기가 결정되는 유아 모니터링 장치.
  16. 제11항에 있어서,
    상기 가상 공간은 카메라 모듈 및 인식 모듈를 포함하는 유아 모니터링 장치.
  17. 제16항에 있어서,
    상기 컨트롤러는,
    상기 인식 모듈을 학습하고,
    상기 컨트롤러는,
    상기 환경, 상기 유아, 상기 유아에게 위험한 위험 객체 및 상기 유아에게 위험하지 않은 비위험 객체를 설정하고, 상기 환경, 상기 유아, 상기 위험 객체 및 상기 비위험 객체에 기초하여 상기 유아가 위험할 상황들을 설정하고, 상기 환경, 상기 유아, 상기 위험 객체, 상기 비위험 객체 및 상기 상황에 기초하여 상기 인식 모듈을 학습하는 유아 모니터링 장치.
  18. 제17항에 있어서,
    상기 컨트롤러는,
    상기 카메라 모듈을 통해 상기 카메라로부터 전송된 영상을 획득하고, 학습된 인식 모듈을 통해 상기 영상에 포함된 상기 유아가 위험한 상황인지 여부를 판단하는 유아 모니터링 장치.
  19. 제18항에 있어서,
    상기 컨트롤러는,
    상기 학습된 인식 모듈을 통해 상기 영상에 기초하여 상기 영상에 포함된 상기 유아 및 객체를 인식하고, 상기 객체가 위험 객체인지 여부 및 비위험 객체인지 여부를 판단하고, 상기 유아의 움직임과 상기 유아 및 상기 위험 객체 간의 이격 거리에 기초하여 상기 유아가 위험한 상황인지 여부를 판단하는 유아 모니터링 장치.
  20. 제19항에 있어서,
    상기 컨트롤러는,
    상기 유아가 위험한 상황인 경우, 위험 신호를 전송하는 유아 모니터링 장치.
PCT/KR2019/014780 2019-10-18 2019-11-04 유아 모니터링 방법 및 이를 수행하는 장치들 WO2021075622A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190130045A KR102263807B1 (ko) 2019-10-18 2019-10-18 유아 모니터링 방법 및 이를 수행하는 장치들
KR10-2019-0130045 2019-10-18

Publications (1)

Publication Number Publication Date
WO2021075622A1 true WO2021075622A1 (ko) 2021-04-22

Family

ID=75538560

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/014780 WO2021075622A1 (ko) 2019-10-18 2019-11-04 유아 모니터링 방법 및 이를 수행하는 장치들

Country Status (2)

Country Link
KR (1) KR102263807B1 (ko)
WO (1) WO2021075622A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022237840A1 (zh) * 2021-05-13 2022-11-17 重庆海尔空调器有限公司 一种婴儿防掉落监控控制方法、装置、存储介质及空调器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102367399B1 (ko) * 2021-05-03 2022-02-23 호서대학교 산학협력단 영유아 상태 알림 장치 및 방법
KR102619956B1 (ko) * 2021-11-10 2024-01-02 주식회사 유엑스팩토리 ToF 센서를 이용한 자동 개폐 안전 시스템 및 이의 제어방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014092961A (ja) * 2012-11-05 2014-05-19 Daiwa House Industry Co Ltd 監視システム
KR20190036315A (ko) * 2017-09-27 2019-04-04 삼성전자주식회사 위험 상황을 감지하는 방법 및 장치
KR20190063184A (ko) * 2017-11-29 2019-06-07 충남대학교산학협력단 이미지 분석 및 딥 러닝을 이용한 영유아 위험물 탐지 방법
US20190252063A1 (en) * 2018-02-14 2019-08-15 International Business Machines Corporation Monitoring system for care provider
KR20190098109A (ko) * 2019-08-02 2019-08-21 엘지전자 주식회사 홈 모니터링 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101957648B1 (ko) * 2018-11-16 2019-03-12 주식회사 아이코어이앤씨 인공지능 기반의 모듈 식별 및 어시스턴트 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014092961A (ja) * 2012-11-05 2014-05-19 Daiwa House Industry Co Ltd 監視システム
KR20190036315A (ko) * 2017-09-27 2019-04-04 삼성전자주식회사 위험 상황을 감지하는 방법 및 장치
KR20190063184A (ko) * 2017-11-29 2019-06-07 충남대학교산학협력단 이미지 분석 및 딥 러닝을 이용한 영유아 위험물 탐지 방법
US20190252063A1 (en) * 2018-02-14 2019-08-15 International Business Machines Corporation Monitoring system for care provider
KR20190098109A (ko) * 2019-08-02 2019-08-21 엘지전자 주식회사 홈 모니터링 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"IT", WORLD IT SHOW DISPLAY ITEMS CATALOGUE. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022237840A1 (zh) * 2021-05-13 2022-11-17 重庆海尔空调器有限公司 一种婴儿防掉落监控控制方法、装置、存储介质及空调器

Also Published As

Publication number Publication date
KR102263807B1 (ko) 2021-06-10
KR20210046394A (ko) 2021-04-28

Similar Documents

Publication Publication Date Title
WO2021075622A1 (ko) 유아 모니터링 방법 및 이를 수행하는 장치들
WO2016126091A1 (en) Electronic device and content providing method thereof
WO2016114601A1 (ko) 위치정보 수집이 필요 없는 재난알림 서비스 방법 및 이를 위한 재난알림 서버, 애플리케이션 시스템
EP3642838A1 (en) Method for operating speech recognition service and electronic device and server for supporting the same
WO2019088610A1 (ko) 도어의 개폐 상태를 감지하기 위한 센싱 장치 및 그 센싱 장치를 제어하는 방법
EP3659329A1 (en) Electronic device and control method thereof
WO2017039179A1 (ko) 무인 비행체의 비행을 모니터링하는 방법, 사용자 단말, 서버 및 디텍팅 장치
WO2020246655A1 (ko) 상황 인지 방법 및 이를 수행하는 장치
WO2016111537A1 (ko) 테더링 제어 방법 및 그 전자 장치
WO2023113252A1 (ko) 디지털 트윈 모델을 도출하는 장치, 방법 및 컴퓨터 프로그램
WO2016060326A1 (ko) 센싱 장치, 환경 대응 장치 및 컴퓨터 프로그램
WO2015093754A1 (ko) 전자 장치에서 연결 정보를 공유하는 방법 및 장치
WO2015102476A1 (ko) 이동형 3d 멀티디스플레이 기반의 실감형 교육 서비스 제공 차량
WO2011037329A2 (en) Apparatus and method for providing context-aware service
WO2020159111A1 (ko) 엣지 컴퓨팅 환경에서 데이터를 전처리하는 전자 장치 및 그 제어 방법
WO2024063301A1 (ko) Ui 오브젝트를 포함하는 템플릿을 획득하기 위한 전자 장치 및 그 제어 방법
WO2021256799A1 (ko) 현장안전관리 시스템 및 장치
WO2021107458A1 (ko) 멀티 뎁스 이미지 생성 방법 및 이를 위한 프로그램을 기록한 기록매체
WO2012060605A2 (ko) 논리 공간 기반의 다형 서비스 제공 방법 및 이러한 방법을 사용하는 장치
WO2018093158A1 (ko) 딥 러닝 기반 교육용 비디오 학습 및 평가 시스템
WO2022019651A1 (ko) 이벤트 영상 녹화 장치, 영상 제공 장치 및 영상 제공 방법
WO2018030676A1 (ko) 미아를 방지하기 위한 방법 및 장치
WO2022050684A1 (ko) 개인정보를 보호하는 전자 장치 및 그 동작 방법
WO2023200114A1 (ko) 오픈 소스 라이선스를 검증하는 전자 장치 및 방법
WO2024111750A1 (ko) 정보를 제공하는 전자 장치의 동작 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19949274

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19949274

Country of ref document: EP

Kind code of ref document: A1