KR102150623B1 - Method and system for analyzing baby behavior - Google Patents

Method and system for analyzing baby behavior Download PDF

Info

Publication number
KR102150623B1
KR102150623B1 KR1020180171033A KR20180171033A KR102150623B1 KR 102150623 B1 KR102150623 B1 KR 102150623B1 KR 1020180171033 A KR1020180171033 A KR 1020180171033A KR 20180171033 A KR20180171033 A KR 20180171033A KR 102150623 B1 KR102150623 B1 KR 102150623B1
Authority
KR
South Korea
Prior art keywords
baby
motion
behavior
section
size
Prior art date
Application number
KR1020180171033A
Other languages
Korean (ko)
Other versions
KR20200080987A (en
Inventor
백성욱
이미영
칸 무하마드
아민 울라
탄베르 후세인
박준렬
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020180171033A priority Critical patent/KR102150623B1/en
Publication of KR20200080987A publication Critical patent/KR20200080987A/en
Application granted granted Critical
Publication of KR102150623B1 publication Critical patent/KR102150623B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G06K9/00342
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Alarm Systems (AREA)
  • Social Psychology (AREA)

Abstract

본 발명은 아기 행동 분석 시스템 및 그 방법에 관한 것으로서, 특히 아기 행동 분석 방법은, 아기 행동 모니터링을 위한 아기 행동 분석 시스템에 의해 수행되는 아기 행동 분석 방법에 있어서, a) 적어도 하나 이상의 카메라 장치를 통해 입력된 아기 감지 영상을 사용자에 의해 설정된 임계값에 따라 복수의 구간들로 분할하는 단계; b) 각 구간 내 프레임에서 아기 신체 영역과 배경을 분리한 후 상기 아기 신체 영역에서 움직임 영역을 검출하는 단계; c) 상기 검출된 움직임 영역에 대해 움직임이 감지되는 아기 신체 부위마다 타원을 설정하고, 상기 움직임 영역의 크기에 기초하여 상기 타원의 크기를 설정하는 단계; d) 구간별로 시간에 따라 변화되는 타원의 개수 또는 크기를 표시하는 아기 행동 관리도를 제공하고, 상기 아기 행동 관리도에 기초하여 기설정된 상한 제어 한계값 보다 크거나 하한 제어 한계값 보다 작은 복수의 프레임이 포함된 구간인 비정상 행동 구간을 검출하는 단계; 및 e) 상기 비정상 행동 구간이 검출되지 않으면 정상 행동 구간으로 판단하고, 상기 비정상 행동 구간이 검출되면 보호자 단말로 아기의 비정상 행동을 통보하는 단계를 포함할 수 있다.The present invention relates to a baby behavior analysis system and method thereof, in particular, a method for analyzing baby behavior, in the method for analyzing baby behavior performed by a baby behavior analysis system for monitoring baby behavior, a) through at least one camera device Dividing the input baby detection image into a plurality of sections according to a threshold value set by a user; b) separating the baby body area and the background in each frame within each section and then detecting a motion area in the baby body area; c) setting an ellipse for each baby body part in which motion is detected for the detected motion area, and setting the size of the ellipse based on the size of the motion area; d) Provide a baby behavior management chart that displays the number or size of ellipses that change over time for each section, and a plurality of frames that are larger than a preset upper limit control limit value or smaller than a lower limit control limit value based on the baby behavior management chart Detecting an abnormal behavior section that is an included section; And e) if the abnormal behavior section is not detected, it is determined as a normal behavior section, and when the abnormal behavior section is detected, notifying the baby's abnormal behavior to a parental terminal.

Description

아기 행동 분석 시스템 및 그 방법{METHOD AND SYSTEM FOR ANALYZING BABY BEHAVIOR}Baby behavior analysis system and its method {METHOD AND SYSTEM FOR ANALYZING BABY BEHAVIOR}

본 발명은 실시간 전송되는 아기 감지 영상으로부터 아기 행동을 분석할 수 있는 아기 행동 분석 시스템 및 그 방법에 관한 것이다.The present invention relates to a baby behavior analysis system and method for analyzing baby behavior from a baby detection image transmitted in real time.

최근, 아기 행동 모니터링 시스템은 보호자 또는 양육자의 노력을 최소화하면서 자동으로 아기를 모니터링 하여 아기 행동을 보호자 또는 양육자에게 즉시 알릴 수 있도록 한다. Recently, the baby behavior monitoring system automatically monitors the baby while minimizing the effort of the guardian or caregiver so that the baby's behavior can be immediately informed to the guardian or caregiver.

아기 행동 모니터링 시스템 중 수면 장치는 아기들의 기분을 안정시키면서 평화로운 수면을 위한 소리를 재생하여 아기의 수면 시간을 조성하는 것이지만, 특수한 오디오 신호의 저장 장치, 처리 장치, 증폭 장치 및 보컬 장치로 이루어진다. 이러한 수면 장치는 특수한 오디오 신호, 즉 아기를 정서적으로 안정시키면서 수면시간을 증가시키는 모체(예를 들어, 자궁 속 소리)와 유사한 분위기를 조성하기 위한 소리를 출력하는 것이 중요하다. Among the baby behavior monitoring systems, the sleeping device creates a baby's sleep time by reproducing the sound for a peaceful sleep while stabilizing the baby's mood, but it is composed of a special audio signal storage device, a processing device, an amplifying device and a vocal device. It is important that these sleeping devices output a special audio signal, that is, a sound to create an atmosphere similar to that of the mother (eg, sound in the womb) that increases the sleeping time while keeping the baby emotionally stable.

아기 행동 모니터링 시스템 중 아기 행동 키트는 최소한 하나의 타임아웃 정의 장치, 복수 개의 스티커, 간병인 또는 베이비시터를 위한 교육 장치, 복수의 정지 신호 및 공 등의 도구를 포함한다. 이러한 아기 행동 키트는 집안이나 아기 활동 지역 내에 아기가 접촉해서 안되는 품목을 지정하고, 아기가 해당 품목에 접촉하면 타임아웃 정의 장치에 의해 정의된 타임 아웃 영역에서 즉시 아기를 보호 조치하게 된다. 이때, 아기행동 키트는 간병인 또는 베이비 시터는 전기 보드 등 아기에서 유해한 물건에 금지 스티커를 붙일 수 있다. Among the baby behavior monitoring systems, the baby behavior kit includes at least one timeout defining device, a plurality of stickers, an educational device for a caregiver or babysitter, a plurality of stop signs, and tools such as balls. These baby behavior kits designate items that should not be contacted by the baby in the house or within the baby's activity area, and when the baby touches the item, the baby is immediately protected in the time-out area defined by the time-out definition device. At this time, the baby behavior kit may attach a prohibition sticker to a caregiver or an electric board for a baby sitter that is harmful to the baby.

한편, 유아 모니터링 장치는 아기와 보호자간의 양방향 통신이 가능하고, 오디오 및 비디오 스트림을 전송할 수 있는 것으로서, 보호자측 장치는 외부 음성을 수신하기 위한 수신 장치, 마이크 장치, 제어 장치를 포함하고, 유아측 장치는 목걸이 형태로 제작되어 모션 센서, 보호자 음성 데이터 및 영상을 저장하는 플래시 메모리, 마이크, 온도 감지 장치 등을 포함한다. 이러한 유아 모니터링 장치는 보호자와 유아에게 착용되어 있는 마이크를 통해 의사 소통이 가능하고, 유아가 침대 등에서 떨어져 '쾅'하는 소리 등이 감지되면 긴급 신호로 제어 장치에 전달되고, 제어 장치는 마이크 또는 카메라를 사용하여 다른 소리를 녹음하여 유아 주변의 영상을 촬영한 후 보호자에게 전달한다. Meanwhile, the infant monitoring device is capable of bi-directional communication between the baby and the guardian and can transmit audio and video streams, and the guardian-side device includes a receiving device, a microphone device, and a control device for receiving external voices, and The device is manufactured in the form of a necklace and includes a motion sensor, a flash memory storing parental voice data and images, a microphone, and a temperature sensing device. These infant monitoring devices enable communication through microphones worn by parents and infants, and when an infant is detected as a'bang' sound from a bed, it is transmitted to the control device as an emergency signal, and the control device is a microphone or camera. Use to record different sounds, take an image of the child's surroundings, and deliver it to the guardian.

유아 모니터링 장치는 유아의 몸에 아기를 관찰하기 위한 많은 장치들이 부착되어 있어 민감한 아기들에게 오히려 놀라게 하거나 부담이 될 수 있는 문제점이 있다.Infant monitoring devices have a problem that may surprise or burden sensitive babies because many devices for observing babies are attached to the infant's body.

이와 같이, 종래 기술의 아기 행동 모니터링 시스템은 아기의 생물학적 상태를 확인하거나, 정서적 안정이나 아기의 수면 시간을 개선하는 것으로서, 아기들의 몸에 착용하여 불편함이 원인이 될 수 있는 문제점이 있다. 또한, 아기 행동 모니터링 시스템은 소리 재생이나 녹음뿐만 아니라 아기 상태를 확인하기 위해 많은 장치와 센서를 사용하고 있어 서로 다른 데이터를 처리하므로 시스템 효율이 낮고, 그로 인해 실시간 구현에 제약이 발생되어 보호자가 아기의 행동을 모니터링 하는데 불충분하다는 문제점이 있다. As such, the conventional baby behavior monitoring system checks the biological state of the baby, improves emotional stability or sleep time of the baby, and has a problem that may cause discomfort when worn on the body of the baby. In addition, the baby behavior monitoring system uses many devices and sensors to check the baby's status as well as play or record sound, so it processes different data, so the system efficiency is low. There is a problem that it is insufficient to monitor the behavior of a child.

게다가, 종래의 아기 행동 모니터링 시스템 중 여러 전자 센서를 사용하는 경우, 유해 광선을 아기에게 방출하여 아기의 건강에 위험할 수 있는 문제점도 있다. In addition, when several electronic sensors are used among conventional baby behavior monitoring systems, there is a problem that harmful rays may be emitted to the baby, which may be dangerous to the baby's health.

대한민국 등록특허 제 10-1652977 호(발명의 명칭 : 아기상태 실시간 모니터링 시스템)Republic of Korea Patent Registration No. 10-1652977 (Name of invention: baby condition real-time monitoring system)

대한민국 등록특허 제10-0791362호(발명의 명칭 : 베이비사인 인식 방법, 이를 이용한 양방향 멀티미디어 동화 구현 시스템 및 방법)Republic of Korea Patent Registration No. 10-0791362 (Name of invention: baby sign recognition method, interactive multimedia video realization system and method using the same)

본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 카메라 장치를 통해 실시간 입력되는 아기 감지 영상을 이용하여 아기의 움직임 영역을 검출하고, 이 움직임 영역의 강도와 크기에 따라 아기의 정상 또는 비정상적인 행동을 파악할 수 있도록 하는 것에 목적이 있다.In order to solve the above-described problem, the present invention detects a baby's motion region using a baby detection image input in real time through a camera device according to an embodiment of the present invention, and detects a baby's motion region according to the intensity and size of the motion region. Its purpose is to be able to grasp the normal or abnormal behavior of a person.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problem to be achieved by the present embodiment is not limited to the technical problem as described above, and other technical problems may exist.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 아기 행동 분석 방법은, 아기 행동 모니터링을 위한 아기 행동 분석 시스템에 의해 수행되는 아기 행동 분석 방법에 있어서, a) 적어도 하나 이상의 카메라 장치를 통해 입력된 아기 감지 영상을 사용자에 의해 설정된 임계값에 따라 복수의 구간들로 분할하는 단계; b) 각 구간 내 프레임에서 아기 신체 영역과 배경을 분리한 후 상기 아기 신체 영역에서 움직임 영역을 검출하는 단계; c) 상기 검출된 움직임 영역에 대해 움직임이 감지되는 아기 신체 부위마다 타원을 설정하고, 상기 움직임 영역의 크기에 기초하여 상기 타원의 크기를 설정하는 단계; d) 구간별로 시간에 따라 변화되는 타원의 개수 또는 크기를 표시하는 아기 행동 관리도를 제공하고, 상기 아기 행동 관리도에 기초하여 기설정된 상한 제어 한계값 보다 크거나 하한 제어 한계값 보다 작은 복수의 프레임이 포함된 구간인 비정상 행동 구간을 검출하는 단계; 및 e) 상기 비정상 행동 구간이 검출되지 않으면 정상 행동 구간으로 판단하고, 상기 비정상 행동 구간이 검출되면 보호자 단말로 아기의 비정상 행동을 통보하는 단계를 포함할 수 있다.As a technical means for achieving the above technical problem, a baby behavior analysis method according to an embodiment of the present invention includes a method for analyzing baby behavior performed by a baby behavior analysis system for monitoring baby behavior, a) at least one or more Dividing the baby detection image input through the camera device into a plurality of sections according to a threshold value set by a user; b) separating the baby body area and the background in each frame within each section and then detecting a motion area in the baby body area; c) setting an ellipse for each baby body part in which motion is detected for the detected motion area, and setting the size of the ellipse based on the size of the motion area; d) Provide a baby behavior management chart that displays the number or size of ellipses that change over time for each section, and a plurality of frames that are larger than a preset upper limit control limit value or smaller than a lower limit control limit value based on the baby behavior management chart Detecting an abnormal behavior section that is an included section; And e) if the abnormal behavior section is not detected, it is determined as a normal behavior section, and when the abnormal behavior section is detected, notifying the baby's abnormal behavior to a parental terminal.

또한, 본 발명의 다른 일 실시예에 따른 아기 행동 분석 시스템은, 적어도 하나 이상의 카메라 장치를 이용한 아기 행동 분석 시스템에 있어서, 아기 움직임에 대한 실시간 아기 행동 분석 방법을 수행하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 프로세서는, 상기 프로그램의 실행에 의해, 상기 카메라 장치를 통해 입력된 아기 감지 영상을 사용자에 의해 설정된 임계값에 따라 복수의 구간들로 분할하고, 각 구간 내 프레임에서 아기 신체 영역과 배경을 분리한 후 상기 아기 신체 영역에서 움직임 영역을 검출하고, 상기 검출된 움직임 영역에 대해 움직임이 감지되는 아기 신체 부위마다 타원을 설정하고, 상기 움직임 영역의 크기에 기초하여 상기 타원의 크기를 설정하며, 구간별로 시간에 따라 변화되는 타원의 개수 또는 크기를 표시하는 아기 행동 관리도를 제공하고, 상기 아기 행동 관리도에 기초하여 기설정된 상한 제어 한계값 보다 크거나 하한 제어 한계값 보다 작은복수의 프레임이 포함된 구간인 비정상 행동 구간을 검출하며, 상기 비정상 행동 구간이 검출되지 않으면 정상 행동 구간으로 판단하고, 상기 비정상 행동 구간이 검출되면 보호자 단말로 아기의 비정상 행동을 통보하는 것이다.In addition, a baby behavior analysis system according to another embodiment of the present invention is a baby behavior analysis system using at least one camera device, comprising: a memory in which a program for performing a real-time baby behavior analysis method for baby movement is recorded; And a processor for executing the program, wherein the processor divides the baby detection image inputted through the camera device into a plurality of sections according to a threshold value set by a user by execution of the program, After separating the baby body area and the background in each frame within each section, a movement area is detected in the baby body area, and an ellipse is set for each baby body area where motion is detected for the detected movement area, and the size of the movement area Set the size of the ellipse on the basis of, and provide a baby behavior management chart that displays the number or size of the ellipses that change over time for each section, and is greater than or lower than a preset upper limit control limit value based on the baby behavior management chart An abnormal behavior section, which is a section containing a plurality of frames smaller than the control threshold, is detected, and if the abnormal behavior section is not detected, it is determined as a normal behavior section, and if the abnormal behavior section is detected, the baby's abnormal behavior is reported to the parental terminal. To inform.

전술한 본 발명의 과제 해결 수단에 의하면, 아기에게 별도의 모니터링 장치를 착용하지 않고, 아기의 수면 장소 또는 활동 장소의 상부에 고정 설치된 카메라 장치로부터 실시간 전송되는 비디오 데이터를 이용하여 아기의 움직임을 분석하고, 아기의 정상 또는 비정상 행동을 예측할 수 있다.According to the above-described problem solving means of the present invention, the baby's motion is analyzed using video data transmitted in real time from a camera device fixedly installed on the baby's sleeping place or activity place without wearing a separate monitoring device to the baby. And predict your baby's normal or abnormal behavior.

또한, 본 발명은 아기의 비정상 행동이 검출될 경우, 즉시 보호자 단말에 아기의 비정상 행동을 보고함으로써 신속하고, 사용자 친화적이며 반응적인 프로세스를 제공할 수 있다.In addition, the present invention can provide a fast, user-friendly and responsive process by immediately reporting the baby's abnormal behavior to a parental terminal when an abnormal behavior of a baby is detected.

도 1은 본 발명의 일 실시예에 따른 아기 행동 분석 시스템의 구성을 설명하는 도면이다.
도 2는 도 1의 일부 구성요소인 프로세서에서 처리되는 프로그램의 구성을 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 아기 행동 분석 방법을 설명하는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 움직임 감지 알고리즘을 이용한 움직임 영역 검출 과정을 설명하는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 움직임 감지 알고리즘의 전체 프레임 워크를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 아기 행동 분석 방법의 분석 과정 개요를 설명하는 도면이다.
도 7은 단일 구간의 아기 행동 관리도를 설명하는 예시도이다.
도 8은 구간별 아기 행동 관리도를 나타내는 예시도이다.
도 9는 아기 행동 관리도를 3차원 그래프를 사용하여 표현한 예시도이다.
1 is a diagram illustrating the configuration of a baby behavior analysis system according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a configuration of a program processed by a processor, which is a component of FIG. 1.
3 is a flowchart illustrating a method of analyzing baby behavior according to an embodiment of the present invention.
4 is a flowchart illustrating a motion region detection process using a motion detection algorithm according to an embodiment of the present invention.
5 is a diagram illustrating an entire framework of a motion detection algorithm according to an embodiment of the present invention.
6 is a diagram illustrating an overview of an analysis process of a method for analyzing baby behavior according to an embodiment of the present invention.
7 is an exemplary diagram illustrating a baby behavior management diagram in a single section.
8 is an exemplary diagram showing a baby behavior management chart for each section.
9 is an exemplary diagram representing a baby behavior management chart using a 3D graph.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are assigned to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is said to be "connected" to another part, this includes not only "directly connected" but also "electrically connected" with another element interposed therebetween. . In addition, when a part "includes" a certain component, it means that other components may be further included, and one or more other features, not excluding other components, unless specifically stated to the contrary. It is to be understood that it does not preclude the presence or addition of any number, step, action, component, part, or combination thereof.

이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.The following examples are detailed descriptions to aid understanding of the present invention, and do not limit the scope of the present invention. Accordingly, the invention of the same scope performing the same function as the present invention will also belong to the scope of the present invention.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 아기 행동 분석 시스템의 구성을 설명하는 도면이다. 1 is a diagram illustrating the configuration of a baby behavior analysis system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 아기 행동 분석 시스템 (100)은 통신 모듈(110), 프로세서(120), 메모리(130) 및 데이터베이스(140)를 포함한다.Referring to FIG. 1, a baby behavior analysis system 100 according to an embodiment of the present invention includes a communication module 110, a processor 120, a memory 130, and a database 140.

상세히, 통신 모듈(110)은 통신망과 연동하여 아기 행동 분석 시스템(100)과 보호자 단말(300) 간에 송수신되는 신호를 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. 나아가, 통신 모듈(110)은 보호자 단말(300)로부터 데이터 요청을 수신하고, 이에 대한 응답으로서 데이터를 송신하는 역할을 수행할 수 있다.In detail, the communication module 110 provides a communication interface necessary to provide a signal transmitted and received between the baby behavior analysis system 100 and the parental terminal 300 in a data format in connection with a communication network. Furthermore, the communication module 110 may receive a data request from the parental terminal 300 and transmit data as a response thereto.

여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.Here, the communication module 110 may be a device including hardware and software necessary for transmitting and receiving a signal such as a control signal or a data signal through a wired or wireless connection with another network device.

메모리(130)는 아기 움직임에 대한 실시간 아기 행동 분석 방법을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(120)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(130)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.In the memory 130, a program for performing a real-time baby behavior analysis method for baby movement is recorded. In addition, the processor 120 performs a function of temporarily or permanently storing data processed by the processor 120. Here, the memory 130 may include a volatile storage medium or a non-volatile storage medium, but the scope of the present invention is not limited thereto.

프로세서(120)는 실시간으로 아기 행동 분석 방법을 제공하는 전체 과정을 제어한다. 프로세서(120)가 수행하는 각 단계에 대해서는 도 2 및 도3을 참조하여 후술하기로 한다.The processor 120 controls the entire process of providing a method for analyzing baby behavior in real time. Each step performed by the processor 120 will be described later with reference to FIGS. 2 and 3.

여기서, 프로세서(120)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.Here, the processor 120 may include all types of devices capable of processing data, such as a processor. Here, the'processor' may refer to a data processing device embedded in hardware having a circuit physically structured to perform a function represented by a code or instruction included in a program. As an example of a data processing device built into the hardware as described above, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, and an application-specific integrated (ASIC) circuit) and processing devices such as field programmable gate arrays (FPGAs), but the scope of the present invention is not limited thereto.

데이터베이스(140)는 아기 행동 분석 방법을 수행하면서 누적되는 데이터가 저장된다. 예컨대, 데이터베이스(140)에는 전문 데이터, 임계값 정보, 구간 분할, 움직임 영역 정보, 알림 통지 정보 등이 저장될 수 있다.The database 140 stores data accumulated while performing the baby behavior analysis method. For example, the database 140 may store specialized data, threshold information, section division, motion region information, notification notification information, and the like.

한편, 카메라 장치(200)는 침대 등의 아기 수면 장소, 놀이방 등의 아기 활동 장소의 상부면에 고정 설치되고, 실시간 아기 감지 영상에 대해 입력되는 비디오 스트림을 통신 모듈(110)을 통해 프로세서(120)에 전달되도록 한다.Meanwhile, the camera device 200 is fixedly installed on an upper surface of a baby sleeping place such as a bed, a baby activity place such as a playroom, and transmits a video stream input for a real-time baby detection image through the communication module 110. ).

또한, 보호자 단말(300)은 부모, 베이비 시터, 간병인 등의 보호자가 소지한 단말로서, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smart phone), 태블릿 PC, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다. In addition, the guardian terminal 300 is a terminal possessed by guardians such as parents, babysitters, caregivers, etc., as a wireless communication device that guarantees portability and mobility, as well as a smart phone, a tablet PC, and a wearable device. (BLE, Bluetooth Low Energy), NFC, RFID, ultrasonic (Ultrasonic), infrared, Wi-Fi (WiFi), can include various devices equipped with communication modules such as LiFi.

따라서, 보호자는 보호자 단말(300)을 통해 아기의 비정상 행동에 대한 보고를 받을 수 있고, 아기를 어느 때나 관찰할 수 있도록 모니터링할 수 있다.Accordingly, the guardian can receive a report on the abnormal behavior of the baby through the guardian terminal 300 and can monitor the baby so that he can observe the baby at any time.

도 2는 도 1의 일부 구성요소인 프로세서가 처리하는 프로그램의 구성을 설명하는 도면이다.FIG. 2 is a diagram illustrating a configuration of a program processed by a processor that is a part of FIG. 1.

도 2를 참조하면, 프로세서(120)는 프로그램의 실행에 의하여 구간 처리 모듈(121), 움직임 감지 모듈(122), 아기 행동분석 모듈(123) 및 보고 모듈(124)을 포함하게 된다. Referring to FIG. 2, the processor 120 includes a section processing module 121, a motion detection module 122, a baby behavior analysis module 123, and a reporting module 124 by executing a program.

구간 처리 모듈(121)은 구간 선택 유닛(121a)과 아기 감지 및 세분화 유닛(121b)을 포함하고, 구간 선택 유닛(121a)에서 아기 감지 영상을 사용자에 의해 선택된 임계값에 따라 복수의 프레임을 포함하는 구간으로 분할하며, 아기 감지 및 세분화 유닛(121b)에서 카메라 장치(200)에서 아기의 위치까지의 거리 정보에 기반하여 프레임별로 아기 신체 영역과 배경을 분리한다. 여기서 거리 정보는 대략 90㎝가 될 수 있으나, 본 발명이 이에 제한되는 것은 아니다. The section processing module 121 includes a section selection unit 121a and a baby detection and segmentation unit 121b, and includes a plurality of frames according to a threshold value selected by the user for the baby detection image in the section selection unit 121a The baby's body area and background are separated for each frame based on distance information from the camera device 200 to the location of the baby in the baby detection and segmentation unit 121b. Here, the distance information may be approximately 90 cm, but the present invention is not limited thereto.

이때, 임계값(T)은 구간당 프레임의 수를 나타내고, 비디오 처리에 대한 사용자 선호도에 기반하여 증가 또는 감소될 수 있다. In this case, the threshold value T represents the number of frames per section, and may increase or decrease based on user preference for video processing.

움직임 감지 모듈(122)은 움직임 특징 추출 유닛(122a), 움직임 평가 유닛(122b), 데이터 매칭 유닛(122c) 및 타원 설정 유닛(122d)을 포함한다.The motion detection module 122 includes a motion feature extraction unit 122a, a motion evaluation unit 122b, a data matching unit 122c, and an ellipse setting unit 122d.

움직임 특징 추출 유닛(122a)은 움직임 감지 알고리즘을 통해 프레임 대 아기 신체 영역에 대한 비율, 즉 프레임의 총 픽셀에 대해 아기 신체 영역을 분할하여 계산하고, 분할된 아기 신체 영역에서 움직임 특징을 추출한다. 이때, 움직임 특징 추출 유닛(122a)은 아기 신체 영역을 분할하면 아기가 누워있는 변화나 움직임이 유일한 영역 계산시 처리 시간을 절약할 수 있고, 그로 인해 비용도 절감될 수 있다.The motion feature extraction unit 122a calculates the ratio of the frame to the baby body region, that is, the total pixels of the frame, by dividing the baby body region through the motion detection algorithm, and extracts the motion feature from the divided baby body region. In this case, when the motion feature extraction unit 122a divides the baby's body region, it is possible to save processing time when calculating the region where the baby is lying down or the region where the movement is unique, and thereby, cost can be reduced.

움직임 평가 유닛(122b)은 추출된 움직임 특징에 기초한 움직임 감지 알고리즘을 이용하여 움직임 영역을 검출한다. 즉, 움직임 평가 유닛(122b)은 움직임 영역을 전문 데이터와 매칭하기 이전에 움직임 감지 알고리즘의 결과 값인 이진 움직임 추정 프레임에서 움직임이 감지된 아기의 각 신체 부위를 특정할 수 있다.The motion evaluation unit 122b detects a motion region using a motion detection algorithm based on the extracted motion feature. That is, the motion evaluation unit 122b may specify each body part of the baby whose motion is detected in the binary motion estimation frame, which is a result value of the motion detection algorithm, before matching the motion region with specialized data.

데이터 매칭 유닛(122c)은 아기 연령대별로 아기 신체 부위에 따라 표준 크기가 설정된 전문 데이터와 움직임 영역을 매칭하고, 타원 설정 유닛(122d)은 움직임이 감지된 아기 신체 부위에 타원을 설정하는데 움직임 영역의 크기에 기초하여 타원의 크기를 결정한다. 이때, 움직임 영역이 검출된 프레임은 PSNR 값을 이용하여 배경 프레임과 비교될 수 있다. The data matching unit 122c matches the movement area with professional data set in the standard size according to the baby body part for each baby age group, and the ellipse setting unit 122d sets an ellipse in the baby body part where the movement is detected. Determine the size of the ellipse based on its size. In this case, the frame in which the motion region is detected may be compared with the background frame using the PSNR value.

하기한 표 1은 전문 데이터를 나타내는 것으로서, 연령대별로 아기 신체 부위에 따라 표준 크기이지만, 경우에 따라 연령대별 표준 크기를 초과하는 아기, 연령대별 표준 크기의 미만인 아기들에게 적용될 수 있도록 전문 데이터를 세분화할 수도 있다. Table 1 below shows specialized data, which is a standard size according to baby body parts by age group, but in some cases, specialized data is subdivided so that it can be applied to babies exceeding the standard size for each age group and babies below the standard size for each age group. You may.

[표 1] [Table 1]

Figure 112018131201326-pat00001
Figure 112018131201326-pat00001

아기 행동 분석 모듈(123)은 관리도 구성 유닛(123a)과 아기 행동 평가 유닛(123b)을 포함한다. 관리도 구성 유닛(123a)은 타원의 수와 크기를 이용하여 움직임 강도, 움직임 다양성 값, 시간에 대한 3차원 정보를 제공하는 아기 행동 관리도를 구성하고, 아기 행동 평가 유닛(123b)은 아기 행동 관리도에 기초하여 비정상 행동 구간과 정상 행동 구간에 대한 아기 행동을 평가한다.The baby behavior analysis module 123 includes a management chart configuration unit 123a and a baby behavior evaluation unit 123b. The management chart configuration unit 123a configures a baby behavior management chart that provides three-dimensional information on motion intensity, motion diversity value, and time using the number and size of ellipses, and the baby behavior evaluation unit 123b is a baby behavior management diagram Based on, the baby's behavior is evaluated for the abnormal and normal behavioral intervals.

보고 모듈(124)은 경보 감지 유닛(124a)과 알림 통지 유닛(124b)을 포함하고, 경보 감지 유닛(124a)에서 비정상 행동 구간이 검출된 경우에 경보 상태를 감지한 후 알림 통지 유닛(124b)에서 보호자 단말로 아기의 비정상 행동 알림을 즉시 통지한다. The reporting module 124 includes an alarm detection unit 124a and a notification notification unit 124b, and after detecting an alarm condition when an abnormal behavior section is detected in the alarm detection unit 124a, the notification notification unit 124b Immediately notifies the baby's abnormal behavior notification to the parent's terminal.

도 3 은 본 발명의 일 실시예에 따른 아기 행동 분석 방법을 설명하는 순서도이다.3 is a flowchart illustrating a method of analyzing baby behavior according to an embodiment of the present invention.

도 3을 참조하면, 아기 행동 분석 방법은 아기 수면 장소 또는 아기 활동 장소의 상부에 고정된 카메라 장치(200)로부터 아기 감지 영상이 실시간 입력되는데, 초당 20~30 프레임으로 입력되고 중복됨 프레임이 방지되도록 처리된다(S310). Referring to FIG. 3, in the method of analyzing baby behavior, a baby detection image is input in real time from a camera device 200 fixed above a baby sleeping place or a baby activity place, and it is input at 20 to 30 frames per second and overlapping frames are prevented. It is processed to be (S310).

아기 행동 분석 방법은 사용자에 의해 선택된 임계값(T)에 따라 T개수의 프레임으로 구간 분할을 수행하고(S320), 분할된 구간 중에 특정 구간을 선택한 후 움직임 감지 알고리즘을 이용하여 구간의 각 프레임에 대한 움직임 영역을 검출한다(S330).The baby behavior analysis method performs section division into T frames according to the threshold value (T) selected by the user (S320), selects a specific section among the divided sections, and then applies a motion detection algorithm to each frame of the section. A motion area for the is detected (S330).

아기 행동 분석 방법은 단일 구간의 T개의 프레임에 대해 검출된 움직임 영역에 대해 움직임이 감지되는 아기 신체 부위마다 타원을 설정하고, 움직임 영역의 크기에 기초하여 상기 타원의 크기를 설정한다(S340). In the baby behavior analysis method, an ellipse is set for each baby body part in which motion is detected for a motion region detected for T frames of a single section, and the size of the ellipse is set based on the size of the motion region (S340).

아기 행동 분석 방법은 해당 구간에 대해 시간에 따라 변화되는 타원의 개수 또는 크기를 표시하는 아기 행동 관리도를 구성한다(S350). The baby behavior analysis method configures a baby behavior management chart that displays the number or size of ellipses that change over time for a corresponding section (S350).

아기 행동 분석 방법은 아기 행동 관리도에 기초하여 움직임 강도 또는 움직임 다양성 값이 기설정된 상한 제어 한계값 또는 하한 제어 한계값을 초과하는 복수의 프레임이 포함된 구간인 경우 비정상 행동 구간으로 판단한 후 보호자 단말로 아기의 비정상 행동을 즉시 통보한다(S360, S70). 그러나, 아기 행동 분석 방법은 비정상 행동 구간이 검출되지 않으면 해당 구간을 정상 행동 구간으로 판단한다(S380). The baby behavior analysis method is based on the baby behavior management chart, if the motion intensity or motion diversity value exceeds the preset upper limit control limit value or the lower limit control limit value, in the case of a section including a plurality of frames, it is determined as an abnormal behavior section and then sent to the guardian terminal. Immediately notify the baby's abnormal behavior (S360, S70). However, the baby behavior analysis method determines that the abnormal behavior interval is not detected as a normal behavior interval (S380).

아기 행동 분석 방법은 첫번째 구간부터 마지막 구간까지 단계 S310~S380을 수행함으로써 아기가 수면 상태이거나 활동중일 경우 아기의 움직임을 분석하고, 아기 행동관리도에 기반하여 아기의 정상 행동 또는 비정상 행동을 판별할 수 있다(S390).The baby behavior analysis method performs steps S310 to S380 from the first section to the last section to analyze the baby's movements when the baby is sleeping or active, and determine the baby's normal or abnormal behavior based on the baby's behavior management chart. Yes (S390).

도 4는 본 발명의 일 실시예에 따른 움직임 감지 알고리즘을 이용한 움직임 영역 검출 과정을 설명하는 순서도이고, 도 5는 본 발명의 일 실시예에 따른 움직임 감지 알고리즘의 전체 프레임 워크를 나타내는 도면이다.4 is a flow chart illustrating a motion region detection process using a motion detection algorithm according to an embodiment of the present invention, and FIG. 5 is a diagram showing an entire framework of a motion detection algorithm according to an embodiment of the present invention.

도 4및 도 5를 참조하면, 움직임 감지 알고리즘은 아기 감지 영상이 2개의 연속 프레임에 적용하여(S410, S420), 제1 알고리즘(S430), 제2 알고리즘(S440) 및 제3 알고리즘(S450)을 수행한다. 4 and 5, the motion detection algorithm applies a baby detection image to two consecutive frames (S410, S420), and the first algorithm (S430), the second algorithm (S440), and the third algorithm (S450). Perform.

제1 알고리즘(S430)은 움직임 변경을 계산하기 위해 연속되는 2개의 프레임 간의 절대차를 계산하고(S431), 움직임이 없는 픽셀을 억제한 결과 이미지를 2진수로 변환하기 위해 임계값을 적용한다(S432). 이러한 제1 알고리즘(S430)은 이진 변환된 움직임 추정 프레임을 출력한다(S433).The first algorithm (S430) calculates the absolute difference between two consecutive frames to calculate the motion change (S431), and applies a threshold value to convert the resulting image into a binary number by suppressing the pixels without motion ( S432). This first algorithm (S430) outputs a motion estimation frame that has been converted into binary (S433).

제2 알고리즘(S440)은 연속되는 2개의 프레임에 전처리를 수행한 후(S441), 연속되는 2개의 프레임들 사이의 광학 흐름을 계산한 후 이진 변환된 움직임 추정 프레임을 출력한다(S442, S443).The second algorithm (S440) performs preprocessing on two consecutive frames (S441), calculates the optical flow between the two consecutive frames, and outputs a motion estimation frame converted into binary (S442, S443). .

제3 알고리즘(S450)은 마지막 프레임과 첫 번째 프레임의 배경 감산을 통해 비교하여 이진 변환된 움직임 추정 프레임을 출력하는데, 이때 감산된 이미지의 임계값을 지정한다(S451, S452, S453). The third algorithm S450 compares the last frame with the first frame through background subtraction and outputs the binary-transformed motion estimation frame. At this time, a threshold value of the subtracted image is specified (S451, S452, S453).

움직임 감지 알고리즘은 제1 알고리즘(S430), 제2 알고리즘(S440) 및 제3 알고리즘(S450)을 통해 출력되는 이진 움직임 추정 프레임들을 2진수 픽셀들간에 논리적 연산(예를 들어, AND)을 통해 통합하여 최종 움직임 추정 프레임을 계산할 수 있다(S460, S470). 이때, 움직임 알고리즘의 결과값인 최종 움직임 추정 프레임은 움직임 특징으로 추출된다. The motion detection algorithm integrates the binary motion estimation frames output through the first algorithm (S430), the second algorithm (S440), and the third algorithm (S450) through a logical operation (for example, AND) between binary pixels. Thus, the final motion estimation frame may be calculated (S460 and S470). At this time, the final motion estimation frame, which is a result of the motion algorithm, is extracted as a motion feature.

이와 같이, 움직임 감지 알고리즘은 제1 알고리즘(S430), 제2 알고리즘(S440) 및 제3 알고리즘(S450) 중 적어도 하나 이상의 알고리즘을 조합하는 하이브리드 방식으로 구현될 수 있다. In this way, the motion detection algorithm may be implemented in a hybrid method in which at least one of the first algorithm S430, the second algorithm S440, and the third algorithm S450 is combined.

한편 도 4 및 도 5의 단계 S410 내지 S470은 본 발명의 구현예에 따라서 추가적인 단계들로 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계간의 순서가 변경될 수도 있다.Meanwhile, steps S410 to S470 of FIGS. 4 and 5 may be divided into additional steps or may be combined into fewer steps according to an embodiment of the present invention. In addition, some steps may be omitted as necessary, and the order of steps may be changed.

도 6은 본 발명의 일 실시예에 따른 아기 행동 분석 방법의 분석 과정 개요를 설명하는 도면이고, 도 7은 단일 구간의 아기 행동 관리도를 설명하는 예시도이다.6 is a diagram illustrating an overview of an analysis process of a baby behavior analysis method according to an embodiment of the present invention, and FIG. 7 is an exemplary diagram illustrating a baby behavior management diagram in a single section.

도 6을 참조하면, 아기 행동 분석 방법은, 아기 감지 영상이 입력되면 거리 정보를 이용하여 배경에서 아기 신체 영역만을 분리할 수 있고, 프레임 대 아기 신체 영역의 비율을 계산한 후 아기 신체 부위 별로 움직임 영역을 계산한다.Referring to FIG. 6, in the method of analyzing baby behavior, when a baby detection image is input, only the baby body area can be separated from the background using distance information, and after calculating the ratio of the frame to the baby body area, the baby's body part is moved. Calculate the area.

이때, 각 움직임 영역은 아기 신체 부위별 표준 크기, 즉 전문 데이터와 일치시킨 후에 타원으로 표시한다. 이때, 각 타원은 아기 신체 부위의 크기를 초과할 수 없도록 설정된다. 이러한 타원은 프레임 내에서 발생되는 움직임영역에 기반하여 그려지는 것으로서, 아기가 움직이지 않으면 타원이 그려지지 않는다. At this time, each movement area is displayed as an ellipse after matching with the standard size for each baby body part, that is, professional data. At this time, each oval is set so as not to exceed the size of the baby's body part. Such an ellipse is drawn based on a motion area generated within the frame, and the ellipse is not drawn if the baby does not move.

움직임 영역은 이진 움직임 추정 프레임을 반환하는 제1 알고리즘, 제2 알고리즘 및 제3 알고리즘을 사용하여 계산된다. 이진 움직임 추정 프레임에는 동작 영역(흰색 영역)을 포함하고, 움직임 영역은 픽셀 단위 면적으로 계산되어 전문 데이터와 매칭된다. 따라서, 특정한 신체 부위에 움직임이 있는 경우, 해당 신체 부위에 표시되는 타원 크기가 전문 데이터에 설정된 신체 부위 크기를 초과하지 않도록, 움직임 영역을 전문 데이터 매칭한 후에 흰색영역의 픽셀 주변에 타원을 그리게 된다. 흰색 영역의 픽셀의 동일한 영역, 즉 아기의 동일한 신체 부위에 있지만 움직임 강도가 상이한 영역에 2 개의 타원이 표시된 경우, 최대 면적을 갖는 타원을 이후의 처리를 위해 선택한다.The motion region is calculated using a first algorithm, a second algorithm, and a third algorithm returning a binary motion estimation frame. The binary motion estimation frame includes a motion region (a white region), and the motion region is calculated as a pixel unit area and matched with the specialized data. Therefore, when there is movement in a specific body part, an ellipse is drawn around the pixels of the white area after matching the movement area with professional data so that the size of the ellipse displayed on the body part does not exceed the body part size set in the specialized data. . When two ellipses are displayed in the same area of the pixels of the white area, that is, in the same area of the baby's body but in different motion intensity, the ellipse having the largest area is selected for subsequent processing.

이때, 각 프레임의 움직임 영역에 타원을 그리는 수식은 다음 수학식1과 같다.At this time, the equation for drawing an ellipse in the motion region of each frame is as Equation 1 below.

[수학식 1][Equation 1]

cv2.circle (frame, (cX1, cY1), 빨강, (0, 255, 255), 3)cv2.circle (frame, (cX1, cY1), red, (0, 255, 255), 3)

cv2.circle (frame, (cX2, cY2), 빨강, (0, 255, 255), 3)cv2.circle (frame, (cX2, cY2), red, (0, 255, 255), 3)

cv2.circle (프레임, (cX3, cY3), 빨강, (0, 255, 255), 3)cv2.circle(frame, (cX3, cY3), red, (0, 255, 255), 3)

상기한 수학식 1은 중심 좌표와 반경을 사용하여 파이썬 OpenCV(OpenCV(Open Source Computer Vision)에서 타원을 그리는 것을 일례로 설명한 것으로서, 파이썬 OpenCV 방식 외에도 다양한 실시간 이미지 프로세싱 방식을 통해 타원을 그릴 수 있다. 수학식 1에서 코드의 중심 좌표는 ([cX1, cY1], [cX2, cY2], [cX3, cY3])이고, 반지름은 빨강이 되며, 나머지 부분은 타원의 색과 선의 길이를 타나내는 것이다.Equation 1 above describes drawing an ellipse in Python OpenCV (Open Source Computer Vision) using the center coordinate and radius as an example.In addition to the Python OpenCV method, the ellipse can be drawn through various real-time image processing methods. In Equation 1, the coordinates of the center of the code are ([cX1, cY1], [cX2, cY2], [cX3, cY3]), the radius becomes red, and the rest of the code represents the color of the ellipse and the length of the line.

아기 행동 분석 방법은 타원의 수와 크기를 이용하여 아기 행동 관리도를 구성하는데, 타원의 크기(움직임 영역의 크기)에 비례하여 강도를 표시하고, 타원 개수(움직임 영역의 수)에 비례하여 다양성을 나타내고, 한 프레임 내에 타원의 수가 많을 경우에 최대 움직임 영역이 있는 타원을 플로팅 대상으로 선택한다. The baby behavior analysis method composes a baby behavior management chart using the number and size of ellipses.The intensity is displayed in proportion to the size of the ellipse (the size of the moving area), and the diversity is expressed in proportion to the number of ellipses (the number of the moving areas). And, when the number of ellipses in one frame is large, an ellipse with a maximum motion area is selected as a floating target.

도 7에 도시된 바와 같이, 아기 행동 관리도는 단일 구간 동안의 움직임 행동을 나타내는 것으로서, 챠트에 표시된 점들은 한 구간의 두 연속 프레임 사이의 움직임 차이에 기초하여 표시된다. As shown in FIG. 7, the baby behavior management chart represents motion behavior during a single section, and points indicated in the chart are displayed based on a motion difference between two consecutive frames of one section.

아기 행동 관리도에는 한도가 초과되어 보호자 단말에 아기의 비정상적인 행동에 대해 통보하기 위한 상한 제어 한계값(UCL)과 하한 제어 한계값(LCL)이 설정되어 있다. 상한 제어 한계값은 매우 높은 강도와 다양성 값을 나타내는 것이고, 하한 제어 한계값은 매우 낮거나 감지할 수 없는 움직임에 대한 강도와 다양성 값을 나타내는 것이다. In the baby behavior management chart, an upper limit control limit value (UCL) and a lower limit control limit value (LCL) are set for notifying the guardian terminal about the abnormal behavior of the baby because the limit is exceeded. The upper control limit value represents a very high intensity and diversity value, and the lower control limit value represents the intensity and diversity value for very low or undetectable motion.

따라서, 아기 행동 분석 방법은 아기 행동 관리도의 상한 제어 한계값과 하한 제어 한계값을 초과하는 다수의 프레임이 포함된 구간이 있는 경우에, 해당 구간을 비정상 행동 구간으로 표시한다. Therefore, in the baby behavior analysis method, when there is a section including a plurality of frames exceeding the upper limit control limit value and the lower limit control limit value of the baby behavior management chart, the corresponding section is displayed as an abnormal behavior section.

도 8은 구간별 아기 행동 관리도를 나타내는 예시도이고, 도 9는 아기 행동 관리도를 3차원 그래프를 사용하여 표현한 예시도이다.8 is an exemplary diagram showing a baby behavior management chart for each section, and FIG. 9 is an exemplary diagram representing a baby behavior management diagram using a 3D graph.

도 8을 참조하면, 구간 1과 구간 2에 대한 아기 행동 관리도는 아기 움직임이 상한 제어 한계값과 하한 제어 한계값 이내에 있으므로 아기 행동은 정상 상태로서 구간 1 및 구간 2는 정상 행동 구간으로 판단한다.Referring to FIG. 8, in the baby behavior management chart for section 1 and section 2, since the baby's movement is within the upper limit control limit value and the lower limit control limit value, the baby's behavior is in a normal state, and sections 1 and 2 are determined as normal action sections.

구간 3에 대한 아기 행동 관리도는 첫번째 프레임의 움직임 영역이 상한 제어 한계값의 경계선에 위치하고, 동일한 구간의 나머지 프레임의 움직임 영역들이 상한 제어 한계값을 모두 초과하고 있으므로, 구간 3은 비정상 행동 구간으로 판단하여 보호자 단말에 즉시 알림 통보를 수행한다.In the baby behavior management chart for section 3, since the motion area of the first frame is located at the boundary of the upper control limit value, and the motion areas of the remaining frames in the same section exceed the upper control limit value, section 3 is judged as an abnormal behavioral section. Thus, it immediately notifies the guardian's terminal.

구간 4에 대한 아기 행동 관리도는 첫번째 프레임, 두번째 프레임, 세번째 프레임의 움직임 영역은 정상 상태이고, 네번째 프레임과 다섯번째 프레임의 움직임 영역이 매우 미미하게 하한 제어 한계값을 통과하지 않고 있지만, 전체적으로 구간 4는 정상 행동 구간으로 판단할 수 있다. In the baby behavior management chart for section 4, the motion areas of the first frame, the second frame, and the third frame are in a normal state, and the motion areas of the fourth and fifth frames do not pass the lower limit control limit very slightly, but overall, the section 4 Can be determined as a normal behavioral section.

도 9를 참조하면, 시간에 대한 단일 구간의 아기 행동 관리도를 3차원 그래프를 사용하여 표현하면, 각 프레임의 움직임 영역은 X축은 움직임 강도, Z축은 움직임 다양성 값, Y축은 시간으로 사용하는 3차원 좌표계에서 점 (시간(T), 강도(I), 다양성(D))으로 표현된다. 아기 행동 관리도는 선택된 현재 구간에서 획득한 움직임의 강도와 다양성 값을 현재 처리된 프레임에 대해 점으로 표시하여 특정 구간에 대해 구성된다. Referring to FIG. 9, when a baby behavior management chart of a single section with respect to time is expressed using a three-dimensional graph, the motion area of each frame is a three-dimensional motion in which the X-axis is the motion intensity, the Z-axis is the motion diversity value, and the Y-axis is time. It is expressed as a point (time (T), intensity (I), diversity (D)) in the coordinate system. The baby behavior management chart is configured for a specific section by displaying motion intensity and diversity values acquired in the selected current section as dots for the currently processed frame.

도 9에 도시된 바와 같이, 두번째 점과 세번째 점은 정상 범위에 있지만, 첫번째 점은 다양성과 강도가 하한 제어 한계값을 넘지 못하고, 네번째 점은 상한 제어 한계값과 교차하는 강도 값을 가지고 있으며, 마지막 점은 다양성과 강도가 상한 제어 한계값을 초과하고 있으므로 해당 구간은 비정상 행동 구간이며, 보호자 단말에 즉시 보고된다. As shown in Fig. 9, the second point and the third point are in the normal range, but the first point has an intensity value that crosses the upper limit control limit value and the diversity and intensity of the first point do not exceed the lower limit control limit value, The last point is that since the diversity and intensity exceed the upper limit control limit, the corresponding section is an abnormal behavior section and is immediately reported to the guardian's terminal.

이상에서 설명한 본 발명의 실시예에 따른 아기 행동 분석 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.The baby behavior analysis method according to an embodiment of the present invention described above may be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer. Such recording media include computer-readable media, and computer-readable media may be any available media that can be accessed by a computer, and include both volatile and nonvolatile media, and removable and non-removable media. In addition, computer-readable media includes computer storage media, which are volatile and nonvolatile embodied in any method or technology for storage of information such as computer-readable instructions, data structures, program modules or other data. , Both removable and non-removable media.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes only, and those of ordinary skill in the art to which the present invention pertains can understand that it is possible to easily transform it into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.

100: 아기 행동 분석 시스템
110: 통신 모듈 120:프로세서
130: 메모리 140: 데이터베이스
200 : 카메라 장치 300 : 보호자 단말
100: baby behavior analysis system
110: communication module 120: processor
130: memory 140: database
200: camera device 300: guardian terminal

Claims (16)

아기 행동 모니터링을 위한 아기 행동 분석 시스템에 의해 수행되는 아기 행동 분석 방법에 있어서,
a) 적어도 하나 이상의 카메라 장치를 통해 입력된 아기 감지 영상을 사용자에 의해 설정된 임계값에 따라 복수의 구간들로 분할하는 단계;
b) 각 구간 내 프레임에서 아기 신체 영역과 배경을 분리한 후 상기 아기 신체 영역에서 움직임 영역을 검출하는 단계;
c) 상기 검출된 움직임 영역에 대해 움직임이 감지되는 아기 신체 부위마다 타원을 설정하고, 상기 움직임 영역의 크기에 기초하여 상기 타원의 크기를 설정하는 단계;
d) 구간별로 시간에 따라 변화되는 타원의 개수 또는 크기를 표시하는 아기 행동 관리도를 제공하고, 상기 아기 행동 관리도에 기초하여 기설정된 상한 제어 한계값 보다 크거나 하한 제어 한계값 보다 작은 복수의 프레임이 포함된 구간인 비정상 행동 구간을 검출하는 단계; 및
e) 상기 비정상 행동 구간이 검출되지 않으면 정상 행동 구간으로 판단하고, 상기 비정상 행동 구간이 검출되면 보호자 단말로 아기의 비정상 행동을 통보하는 단계를 포함하는 것인, 아기 행동 분석 방법.
In the baby behavior analysis method performed by the baby behavior analysis system for baby behavior monitoring,
a) dividing the baby detection image input through at least one camera device into a plurality of sections according to a threshold value set by a user;
b) separating the baby body area and the background in each frame within each section and then detecting a motion area in the baby body area;
c) setting an ellipse for each baby body part in which motion is detected for the detected motion area, and setting the size of the ellipse based on the size of the motion area;
d) Provide a baby behavior management chart that displays the number or size of ellipses that change over time for each section, and a plurality of frames that are larger than a preset upper limit control limit value or smaller than a lower limit control limit value based on the baby behavior management chart Detecting an abnormal behavior section that is an included section; And
e) if the abnormal behavior section is not detected, it is determined as a normal behavior section, and when the abnormal behavior section is detected, reporting the abnormal behavior of the baby to a parental terminal.
제 1 항에 있어서,
상기 임계값은 구간당 프레임의 수를 나타내는 것인, 아기 행동 분석 방법.
The method of claim 1,
The threshold value represents the number of frames per section, baby behavior analysis method.
제 1 항에 있어서,
상기 카메라 장치가 아기 수면 장소 또는 아기 활동 장소의 상부면에 고정 설치되고,
상기 a) 단계는, 제1 구간의 프레임에서 상기 아기의 위치와 카메라 장치간의 거리 정보가 입력되는 것인, 아기 행동 분석 방법.
The method of claim 1,
The camera device is fixedly installed on the upper surface of the baby sleeping place or the baby activity place,
In the step a), information on the distance between the location of the baby and the camera device is input in the frame of the first section.
제 3 항에 있어서,
상기 b) 단계는, 상기 거리 정보를 이용하여 상기 아기 신체 영역을 감지한 후 각 프레임에서 배경을 감산하여 상기 아기 신체 영역만 추출하는 것인, 아기 행동 분석 방법.
The method of claim 3,
In the step b), after detecting the baby body region using the distance information, a background is subtracted from each frame to extract only the baby body region.
제 1 항에 있어서,
상기 b) 단계는,
상기 프레임 대 상기 아기 신체 영역에 대한 비율을 계산하고, 움직임 감지 알고리즘을 이용하여 움직임 영역을 검출하는 것인, 아기 행동 분석 방법.
The method of claim 1,
Step b),
The method of analyzing baby behavior by calculating a ratio of the frame to the baby's body region and detecting a motion region using a motion detection algorithm.
제 5 항에 있어서,
상기 움직임 감지 알고리즘은,
연속되는 복수 개의 프레임간의 절대차를 계산하여 이진 움직임을 추정하는 제1 알고리즘, 연속되는 복수 개의 프레임들 사이의 광학 흐름을 계산하여 이진 움직임을 추정하는 제2 알고리즘, 마지막 프레임과 첫 번째 프레임을 배경 감산을 통해 비교한 후 이진 움직임을 추정하는 제3 알고리즘 중 적어도 하나 이상의 알고리즘을 통해 추출된 이진 움직임이 추정된 이진 영상을 이진수 픽셀들간에 논리 연산으로 통합하여 최종 움직임 픽셀 정보를 포함하는 움직임 영역을 제공하는 것인, 아기 행동 분석 방법.
The method of claim 5,
The motion detection algorithm,
A first algorithm that estimates binary motion by calculating the absolute difference between a plurality of consecutive frames, a second algorithm that estimates binary motion by calculating the optical flow between a plurality of consecutive frames, the background of the last frame and the first frame After comparing through subtraction, the binary image whose binary motion is estimated through at least one of the third algorithms for estimating the binary motion is integrated into the binary pixels through a logical operation to obtain a motion region including the final motion pixel information. To provide, baby behavior analysis method.
제 6 항에 있어서,
상기 제1 알고리즘 또는 제3 알고리즘은, 움직임이 없는 픽셀 정보를 억제하여 결과 이미지를 이진수로 변환하기 위한 임계값을 적용하는 것인, 아기 행동 분석 방법.
The method of claim 6,
The first algorithm or the third algorithm is to apply a threshold value for converting the resulting image to a binary number by suppressing pixel information without motion.
제 1 항에 있어서,
상기 c) 단계는,
아기 연령대별로 아기 신체 부위에 따라 표준 크기가 설정된 전문 데이터를 저장하고,
상기 움직임 영역을 상기 전문 데이터와 매칭하여 움직임이 감지된 아기 신체 부위에 타원을 설정하고, 움직임 영역의 크기에 기초하여 타원의 크기를 결정하는 것인, 아기 행동 분석 방법.
The method of claim 1,
The step c),
It stores specialized data set in standard sizes according to baby body parts by baby age group,
Matching the motion area with the specialized data to set an ellipse in a body part of the baby in which motion is detected, and determining the size of the ellipse based on the size of the motion area.
제 8 항에 있어서,
상기 타원의 크기는 아기 신체 부위의 크기를 초과하지 않도록 결정되는 것인, 아기 행동 분석 방법.
The method of claim 8,
The size of the ellipse is determined not to exceed the size of the baby body part, baby behavior analysis method.
제 1 항에 있어서,
상기 d) 단계는, 상기 타원의 수와 크기를 이용하여 아기 행동 관리도를 생성하되, 상기 아기 행동 관리도는 움직임 강도, 움직임 다양성 값, 시간에 대한 정보를 포함하는 3차원 정보를 제공되는 것인, 아기 행동 분석 방법.
The method of claim 1,
The step d) generates a baby behavior management chart using the number and size of the ellipses, wherein the baby behavior management chart provides 3D information including information on motion intensity, motion diversity value, and time, How to analyze baby behavior.
적어도 하나 이상의 카메라 장치를 이용한 아기 행동 분석 시스템에 있어서,
아기 움직임에 대한 실시간 아기 행동 분석 방법을 수행하기 위한 프로그램이 기록된 메모리; 및
상기 프로그램을 실행하기 위한 프로세서를 포함하며,
상기 프로세서는, 상기 프로그램의 실행에 의해,
상기 카메라 장치를 통해 입력된 아기 감지 영상을 사용자에 의해 설정된 임계값에 따라 복수의 구간들로 분할하고, 각 구간 내 프레임에서 아기 신체 영역과 배경을 분리한 후 상기 아기 신체 영역에서 움직임 영역을 검출하고,
상기 검출된 움직임 영역에 대해 움직임이 감지되는 아기 신체 부위마다 타원을 설정하고, 상기 움직임 영역의 크기에 기초하여 상기 타원의 크기를 설정하며,
구간별로 시간에 따라 변화되는 타원의 개수 또는 크기를 표시하는 아기 행동 관리도를 제공하고, 상기 아기 행동 관리도에 기초하여 기설정된 상한 제어 한계값 보다 크거나 하한 제어 한계값 보다 작은 복수의 프레임이 포함된 구간인 비정상 행동 구간을 검출하며,
상기 비정상 행동 구간이 검출되지 않으면 정상 행동 구간으로 판단하고, 상기 비정상 행동 구간이 검출되면 보호자 단말로 아기의 비정상 행동을 통보하는 것인, 아기 행동 분석 시스템.
In the baby behavior analysis system using at least one camera device,
A memory in which a program for performing a real-time baby behavior analysis method for baby movement is recorded; And
And a processor for executing the program,
The processor, by executing the program,
The baby detection image inputted through the camera device is divided into a plurality of sections according to a threshold value set by the user, and the baby body area and the background are separated from each frame in each section, and then a motion area is detected in the baby body area and,
An ellipse is set for each body part of the baby in which motion is detected for the detected motion area, and the size of the ellipse is set based on the size of the motion area,
Provides a baby behavior management chart that displays the number or size of ellipses that change over time for each section, and includes a plurality of frames that are larger than a preset upper limit control limit value or smaller than a lower limit control limit value based on the baby behavior management chart. It detects the abnormal behavior section, which is a section,
If the abnormal behavior section is not detected, it is determined as a normal behavior section, and if the abnormal behavior section is detected, the abnormal behavior of the baby is notified to a parental terminal.
제 11 항에 있어서,
상기 프로세서는,
상기 아기 감지 영상을 상기 임계값에 따라 복수의 프레임을 포함하는 구간으로 분할하고, 상기 카메라 장치에서 아기의 위치까지의 거리 정보에 기반하여 프레임별로 아기 신체 영역과 배경을 분리하는 구간 처리 모듈;
상기 프레임 대 상기 아기 신체 영역에 대한 비율을 계산하고, 움직임 감지 알고리즘을 이용하여 움직임 영역을 검출하며, 아기 연령대별로 아기 신체 부위에 따라 표준 크기가 설정된 전문 데이터와 상기 검출된 움직임 영역을 매칭하여 움직임이 감지된 아기 신체 부위에 타원을 설정하고, 상기 움직임 영역의 크기에 기초하여 타원의 크기를 결정하는 움직임 감지 모듈;
상기 타원의 수와 크기를 이용하여 움직임 강도, 움직임 다양성 값, 시간에 대한 3차원 정보를 제공하는 아기 행동 관리도를 생성하고, 상기 아기 행동 관리도에 기초하여 비정상 행동 구간과 정상 행동 구간에 대한 아기 행동을 평가하는 행동 분석 모듈; 및
상기 비정상 행동 구간이 검출된 경우에 경보 상태를 감지하여 상기 보호자 단말로 아기의 비정상 행동 알림을 즉시 통지하는 보고 모듈을 포함하는 것인, 아기 행동 분석 시스템.
The method of claim 11,
The processor,
A section processing module for dividing the baby detection image into sections including a plurality of frames according to the threshold value, and separating the baby body area and background for each frame based on distance information from the camera device to the location of the baby;
Calculate the ratio of the frame to the baby's body area, detect a movement area using a motion detection algorithm, and move by matching the detected movement area with specialized data set in a standard size according to the baby's body area for each baby age group A motion detection module configured to set an ellipse in the sensed body part of the baby and determine a size of the ellipse based on the size of the motion area;
Using the number and size of the ellipses, a baby behavior management chart that provides three-dimensional information about motion intensity, motion diversity value, and time is created, and baby behavior for abnormal and normal behavior sections based on the baby behavior management chart. Behavior analysis module to evaluate the; And
And a reporting module for immediately notifying a baby's abnormal behavior notification to the parental terminal by detecting an alarm condition when the abnormal behavior section is detected.
제 12 항에 있어서,
상기 카메라 장치는 아기 수면 장소 또는 아기 활동 장소의 상부면에 고정 설치되고,
상기 구간 처리 모듈은 제1 구간의 프레임에서 상기 아기의 위치와 카메라 장치간의 거리 정보가 입력되고, 상기 거리 정보를 이용하여 상기 아기 신체 영역을 감지한 후 각 프레임에서 배경을 감산하여 상기 아기 신체 영역만 추출하는 것인, 아기 행동 분석 시스템.
The method of claim 12,
The camera device is fixedly installed on the upper surface of the baby sleeping place or the baby activity place,
The section processing module inputs distance information between the location of the baby and the camera device in the frame of the first section, detects the baby body area using the distance information, and subtracts the background from each frame to the baby body area. That only extracts, baby behavior analysis system.
제 12 항에 있어서,
상기 움직임 감지 모듈은,
연속되는 복수 개의 프레임간의 절대차를 계산하여 이진 움직임을 추정하는 제1 알고리즘, 연속되는 복수 개의 프레임들 사이의 광학 흐름을 계산하여 이진 움직임을 추정하는 제2 알고리즘, 마지막 프레임과 첫 번째 프레임을 배경 감산을 통해 비교한 후 이진 움직임을 추정하는 제3 알고리즘 중 적어도 하나 이상의 알고리즘을 통해 추출된 이진 움직임이 추정된 이진 영상을 이진수 픽셀들간에 논리 연산으로 통합하여 최종 움직임 픽셀 정보를 포함하는 움직임 영역을 제공하는 것인, 아기 행동 분석 시스템.
The method of claim 12,
The motion detection module,
A first algorithm that estimates binary motion by calculating the absolute difference between a plurality of consecutive frames, a second algorithm that estimates binary motion by calculating the optical flow between a plurality of consecutive frames, the background of the last frame and the first frame After comparing through subtraction, the binary image whose binary motion is estimated through at least one of the third algorithms for estimating the binary motion is integrated into the binary pixels through a logical operation to obtain a motion region including the final motion pixel information. To provide, baby behavior analysis system.
제 14 항에 있어서,
상기 제1 알고리즘 또는 제3 알고리즘은, 움직임이 없는 픽셀 정보를 억제하여 결과 이미지를 이진수로 변환하기 위한 임계값을 적용하는 것인, 아기 행동 분석 시스템.
The method of claim 14,
The first algorithm or the third algorithm is to apply a threshold value for converting the resulting image into a binary number by suppressing pixel information without motion.
제 12 항에 있어서,
상기 움직임 감지 모듈은,
아기 연령대별로 아기 신체 부위에 따라 표준 크기가 설정된 전문 데이터를 데이터베이스에 저장하고,
상기 움직임 영역을 상기 전문 데이터와 매칭하여 움직임이 감지된 아기 신체 부위에 타원을 설정하고, 움직임 영역의 크기에 기초하여 타원의 크기를 결정하는 것인, 아기 행동 분석 시스템.
The method of claim 12,
The motion detection module,
Specialized data set in standard sizes according to baby body parts for each baby's age group is stored in the database,
Matching the motion region with the specialized data to set an ellipse in the body part of the baby where the motion is detected, and determining the size of the ellipse based on the size of the motion region.
KR1020180171033A 2018-12-27 2018-12-27 Method and system for analyzing baby behavior KR102150623B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180171033A KR102150623B1 (en) 2018-12-27 2018-12-27 Method and system for analyzing baby behavior

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180171033A KR102150623B1 (en) 2018-12-27 2018-12-27 Method and system for analyzing baby behavior

Publications (2)

Publication Number Publication Date
KR20200080987A KR20200080987A (en) 2020-07-07
KR102150623B1 true KR102150623B1 (en) 2020-09-01

Family

ID=71602582

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180171033A KR102150623B1 (en) 2018-12-27 2018-12-27 Method and system for analyzing baby behavior

Country Status (1)

Country Link
KR (1) KR102150623B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102518929B1 (en) * 2020-12-01 2023-04-05 박훈 Smart cradle
CN115272323B (en) * 2022-09-28 2022-12-27 南通羿云智联信息科技有限公司 Data intelligent regulation and control acquisition method for traffic engineering pavement quality detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060050930A1 (en) 2003-07-22 2006-03-09 Ranjo Company Method of monitoring sleeping infant
WO2016151966A1 (en) 2015-03-23 2016-09-29 ノーリツプレシジョン株式会社 Infant monitoring device, infant monitoring method, and infant monitoring program
JP2018518328A (en) 2015-04-05 2018-07-12 スマイラブルズ インコーポレイテッド Infant emotional state monitoring, remote aggregation of infant emotional state data, and determination of infant related physiological measurements

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100791362B1 (en) * 2006-06-09 2008-01-03 한국과학기술원 Multimedia storytelling system and method using Baby Sign Recognition
KR101652977B1 (en) * 2015-01-07 2016-09-02 (주)유투 시스템 Baby state real time monitoring system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060050930A1 (en) 2003-07-22 2006-03-09 Ranjo Company Method of monitoring sleeping infant
WO2016151966A1 (en) 2015-03-23 2016-09-29 ノーリツプレシジョン株式会社 Infant monitoring device, infant monitoring method, and infant monitoring program
JP2018518328A (en) 2015-04-05 2018-07-12 スマイラブルズ インコーポレイテッド Infant emotional state monitoring, remote aggregation of infant emotional state data, and determination of infant related physiological measurements

Also Published As

Publication number Publication date
KR20200080987A (en) 2020-07-07

Similar Documents

Publication Publication Date Title
JP7138931B2 (en) Posture analysis device, posture analysis method, and program
US20160345832A1 (en) System and method for monitoring biological status through contactless sensing
US9408562B2 (en) Pet medical checkup device, pet medical checkup method, and non-transitory computer readable recording medium storing program
JP6717235B2 (en) Monitoring support system and control method thereof
WO2015133195A1 (en) Information processing device, information processing method, and program
JP2017503566A (en) Infant monitoring device
CN112712020B (en) Sleep monitoring method, device and system
US20200069222A1 (en) Image detection method and image detection device for determining position of user
JP6822328B2 (en) Watching support system and its control method
KR102150623B1 (en) Method and system for analyzing baby behavior
WO2020145380A1 (en) Care recording device, care recording system, care recording program, and care recording method
TWI541769B (en) Falling down detecting systems and method
KR20170096901A (en) Infant Health Monitoring System
JP6822326B2 (en) Watching support system and its control method
WO2018168604A1 (en) Method, system, storage medium and computer system for determining fall response of subject
KR20200055821A (en) Method and automated camera-based system for detecting and suppressing harmful behavior of pet
JP6347347B2 (en) Notification system, notification program, notification method, and notification device
US11257246B2 (en) Image detection method and image detection device for selecting representative image of user
KR20200054379A (en) Method and system for detecting elimination behavior of pet using cnn-lstm and complex event processing
Safarzadeh et al. Real-time fall detection and alert system using pose estimation
CN110415486B (en) Attitude determination method, electronic system and non-transitory computer readable recording medium
TWI676136B (en) Image detection method and image detection device utilizing dual analysis
TWM486114U (en) Automatic care device
KR102197587B1 (en) Method and apparatus for providing care service of infant
JP6340626B2 (en) Notification system, notification program, notification method, and notification device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant