KR102603308B1 - 영유아 수면자세 측정 방법 및 이를 수행하는 컴퓨터 장치 - Google Patents

영유아 수면자세 측정 방법 및 이를 수행하는 컴퓨터 장치 Download PDF

Info

Publication number
KR102603308B1
KR102603308B1 KR1020230056052A KR20230056052A KR102603308B1 KR 102603308 B1 KR102603308 B1 KR 102603308B1 KR 1020230056052 A KR1020230056052 A KR 1020230056052A KR 20230056052 A KR20230056052 A KR 20230056052A KR 102603308 B1 KR102603308 B1 KR 102603308B1
Authority
KR
South Korea
Prior art keywords
posture
infant
sensed
breathing
estimation unit
Prior art date
Application number
KR1020230056052A
Other languages
English (en)
Inventor
유동현
Original Assignee
㈜코끼리말뚝박기
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ㈜코끼리말뚝박기 filed Critical ㈜코끼리말뚝박기
Priority to KR1020230056052A priority Critical patent/KR102603308B1/ko
Application granted granted Critical
Publication of KR102603308B1 publication Critical patent/KR102603308B1/ko

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6843Monitoring or controlling sensor contact pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/04Babies, e.g. for SIDS detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Pulmonology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명의 목적을 실현하기 위한 영유아 수면 자세 측정 방법은 컴퓨터 장치의 (A) 수집부에서 압전 센서에서 센싱된 압력값을 수집하고, 자이로 센서에서 센싱된 영유아의 움직임, 방향 및 회전속도를 포함하는 자세정보를 수집하고, 호흡감지센서에서 센싱된 영유아의 호흡, 맥박을 포함하는 생체정보를 수집하는 단계, (B) 자세 추정부에서 센싱된 압력값이 일정 범위에 존재하는 경우, 센싱된 자세정보를 기반으로, 영유아의 자세를 추정하는 단계, (C) 자세 추정부에서 추정된 자세가 엎드린 자세인 경우, 호흡과 맥박을 포함하는 생체 정보를 수집하여, 영유아의 코와 입의 위치를 추정하는 단계, (D) 자세 추정부에서 코와 입의 위치가 바닥을 향에 있는 것으로 추정된 경우, 보호자의 스마트 단말로 위험 알림을 전송하는 단계를 포함한다.

Description

영유아 수면자세 측정 방법 및 이를 수행하는 컴퓨터 장치{METHOD FOR MEASURING INFANT SLEEP POSTURE AND COMPUTER DEVICE PERFORMING THE SAME}
본 개시는 영유아 수면자세 측정 방법 및 이를 수행하는 컴퓨터 장치에 관한 것으로, 구체적으로, 영유아의 생체정보와 자세정보 모니터링을 통해 수면자세를 추정하고 수면 패턴을 파악하는 영유아 수면자세 측정 방법 및 이를 수행하는 컴퓨터 장치에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
영유아의 수면자세는 영유아의 안전과 건강에 큰 영향을 미친다. 영유아는 적절한 수면자세를 유지하지 않으면, SIDS(Sudden Infant Death Syndrome)와 같은 위험한 상황에 노출된다. 예컨대, 2개월 이하의 아기는 엎드린 자세로 잠자는 것이 매우 위험하다. 이 자세는 숨을 쉬기 어렵게 만들고, SIDS의 위험성을 증가시킨다. 또한, 아기가 옆으로 누운 자세로 잠을 자면, 얼굴이 베개에 가려져서 숨을 쉬기 어렵게 된다. 영유아의 안전을 위해, 수면 중 영유아를 보호 관찰하는 것은 필수적이다. 하지만, 영유아 보호자는 영유아와 함께 수면 시 수면 부족과 육아 스트레스에 시달리게 된다.
종래, 영유아의 수면상태를 감지하는 모니터링 기기가 존재하지만, 카메라로 영유아가 자는 모습을 촬영하여 수면상태를 파악하는 방식이기 때문에, 해킹으로 인한 사생활 침해 문제와 영유아의 신체 위험 감지가 불가능한 문제가 있다.
1. 한국 특허등록 제10-1798498호 (2017.11.10) 2. 한국 특허공개 제10-2022-0092761호 (2022.07.04)
실시예에 따른 영유아 수면자세 측정 방법 및 이를 수행하는 컴퓨터 장치는 영유아의 수면 중 생체정보를 측정하고, 센서로부터 수집한 압력, 자세정보를 통해 영유아의 수면 자세를 추정한다.
실시예에서는 추정된 수면자세와 생체정보 분석결과에 따라 영유아가 위험한 자세로 수면을 취하고 호흡이나 맥박에 이상이 있는 경우, 위험 알림을 보호자의 스마트 단말로 전송한다. 이를 통해, 영유아가 위험한 자세로 수면 시 분리수면 중에도 수면자세를 빠르게 바꿀 수 있도록 한다.
또한, 실시예에서는 센서로부터 수집한 자세정보를 기반으로 수면 자세를 예측하여, 위험상황에 대비할 수 있도록 한다.
또한, 실시예에서는 영유아의 수면 시간, 수면 자세를 분석하여 영유아의 수면 패턴을 파악할 수 있도록 한다.
또한, 실시예에서는 센서를 통해 측정한 데이터를 시각적 객체로 변환하여 제공함으로써, 영유아의 수면 패턴 데이터를 보호자 단말에서 직관적으로 인식할 수 있도록 한다.
본 발명의 목적을 실현하기 위한 영유아 수면 자세 측정 방법은 컴퓨터 장치의 (A) 수집부에서 압전 센서에서 센싱된 압력값을 수집하고, 자이로 센서에서 센싱된 영유아의 움직임, 방향 및 회전속도를 포함하는 자세정보를 수집하고, 호흡감지센서에서 센싱된 영유아의 호흡, 맥박을 포함하는 생체정보를 수집하는 단계, (B) 자세 추정부에서 센싱된 압력값이 일정 범위에 존재하는 경우, 센싱된 자세정보를 기반으로, 영유아의 자세를 추정하는 단계, (C) 자세 추정부에서 추정된 자세가 엎드린 자세인 경우, 호흡과 맥박을 포함하는 생체 정보를 수집하여, 영유아의 코와 입의 위치를 추정하는 단계, (D) 자세 추정부에서 코와 입의 위치가 바닥을 향에 있는 것으로 추정된 경우, 보호자의 스마트 단말로 위험 알림을 전송하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 (D)의 단계는, 압전 센서에서 감지된 압력 값이 일정 범위에 존재하지 않는 경우, 영유아 수면 자세측정 장치의 오착용으로 판단하고, 보호자의 스마트 단말로 재 착용 요청 알림을 전송할 수 있다.
본 발명의 일 실시예에 있어서, 상기 (D)의 단계는, 압전 센서의 센싱 값이 불연속적으로 변화하고, 영유아의 호흡과 맥박이 정상범위인 경우, 모로 반사로 판단하고, 정상 수면 상태 알림을 보호자의 스마트 단말로 전송할 수 있다.
본 발명의 일 실시예에 있어서, 상기 (B)의 단계는, 압전 센서의 센싱 값이 연속적으로 변화하는 경우, 센싱된 자세 정보를 기반으로 아이의 수면 자세를 추정하여 기록하고, 상기 영유아의 수면 자세는 천장을 보는 자세, 옆을 보는 자세, 엎드린 자세를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 (C)의 단계는, (C-1)자세 추정부는 추정된 자세가 엎드린 자세인 경우, 호흡감지센서를 정밀 감지 모드로 변경하는 단계, (C-2)자세 추정부는 정밀 감지 모드에서 센싱된 영유아의 호흡패턴과 설정된 호흡패턴을 비교하는 단계, 및 (C-3)자세 추정부는 비교 결과에 따라 위험 알림을 전송하는 단계를 포함하고, 상기 설정된 호흡패턴은, 바닥을 보는 자세, 엎드린 자세, 옆을 보는 자세를 포함하는 위험 자세에서의 영유아의 호흡패턴일 수 있다.
본 발명의 일 실시예에 있어서, 상기(C-2)의 단계는, 정밀 감지 모드에서 센싱된 영유아의 호흡패턴과 설정된 호흡패턴의 상관 계수(correlation coefficient)를 수학식 1 상관계수 = (n∑xy - (∑x)(∑y))/sqrt((n∑x2 - (∑x)2)(n∑y2 - (∑y)2)을 통해 산출하고, 상기 수학식 1에서 x는 정밀 감지 모드에서 센싱된 영유아의 호흡패턴의 시계열 데이터, y는 설정된 호흡패턴의 시계열 데이터이고, n은 샘플의 개수일 수 있다.
본 발명의 일 실시예에 있어서, 상기(C-2)의 단계는, DTW(Dynamic Time Warping)을 통해, 정밀 감지 모드에서 센싱된 영유아의 호흡패턴과 설정된 호흡패턴의 시계열 데이터 간 거리를 산출하여 산출된 거리를 기반으로 두 호흡패턴의 유사성을 파악할 수 있다.
본 발명의 일 실시예에 있어서, 상기 (C-3)의 단계는, 산출된 상관계수가 설정값 미만이거나, 정밀 감지 모드에서 센싱된 영유아의 호흡패턴과 설정된 호흡패턴의 시계열 데이터 간 거리가 설정값 미만인 경우, 위험 알림을 보호자의 스마트 단말로 전송할 수 있다.
본 발명의 일 실시예에 있어서, 상기 (A)의 단계는, 딥러닝부에서 DNN(Deep Neural Network), CNN(Convolutional Neural Network) RNN(Recurrent Neural Network) 및 BRDNN(Bidirectional Recurrent Deep Neural Network) 중 적어도 하나를 포함하는 딥러닝 뉴럴 네트워크를 학습정보로 학습시켜 수면자세 판단 모델을 구현할 수 있다.
본 발명의 목적을 실현하기 위한 컴퓨터가 읽을 수 있는 프로그램으로서 영유아 수면 자세 측정 방법을 수행하는 프로그램이 기록된 기록매체에 있어서, 상기 영유아 수면 자세 측정 방법은, (A) 수집부는 압전 센서에서 센싱된 압력값을 수집하고, 자이로 센서에서 센싱된 영유아의 움직임, 방향 및 회전속도를 포함하는 자세정보를 수집하고, 호흡감지센서에서 센싱된 영유아의 호흡, 맥박을 포함하는 생체정보를 수집하는 단계, (B) 자세 추정부는 센싱된 압력 값이 일정 범위에 존재하는 경우, 센싱된 자세정보를 기반으로, 영유아의 자세를 추정하는 단계, (C) 자세 추정부는 추정된 자세가 엎드린 자세인 경우, 호흡과 맥박을 포함하는 생체 정보를 수집하여, 영유아의 코와 입 위치를 추정하는 단계, 및 (D) 자세 추정부는 상기 코와 입의 위치가 바닥을 향에 있는 것으로 추정된 경우, 보호자의 스마트 단말로 위험 알림을 전송하는 단계를 포함한다.
이상에서와 같은 영유아 수면 자세 측정 방법 및 컴퓨터 장치에 따르면, 센서로부터 모니터링 된 영유아의 생체 신호와 자세 정보를 통해, 위험 수면 자세가 추정된 경우, 보호자에게 이를 알림으로써 영유아가 안전하게 수면을 유지할 수 있도록 한다.
또한, 실시예를 통해 영유아와 보호자의 분리수면 중에도 영유아가 안전하게 수면 할 수 있도록 한다.
또한, 실시예에서는 영유아의 수면 패턴 데이터를 통해, 영유아의 수면 시간과 수면 양을 예측 가능하도록 하여 육아를 보다 쉽게 수행할 수 있도록 한다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 실시예에 따른 영유아 수면 자세 추정 시스템 구성을 나타낸 도면
도 2는 실시예에 따른 영유아 수면 자세 추정 장치의 구성을 나타낸 도면
도 3는 실시예에 따른 컴퓨터 장치의 데이터 처리 구성을 나타낸 도면
도 4는 스마트 단말에 표시되는 사용자 인터페이스를 나타낸 도면
도 5는 실시예에 따른 영유아 수면 자세 측정 과정을 나타낸 도면
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
하기에서, '적어도 하나의' 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 실시예에 따른 영유아 수면 자세 추정 시스템 구성을 나타낸 도면이다.
도 1을 참조하면, 실시예에 따른 영유아 수면 자세 추정 시스템은 영유아 수면 자세 추정 장치(200), 컴퓨터 장치(100) 및 보호자의 스마트 단말(300)을 포함하여 구성될 수 있다. 영유아 수면 자세 추정 장치(200)는 센서로부터 압력 및 자세정보를 포함하는 수면정보를 센싱하고, 센싱된 수면 정보를 네트워크를 통해 컴퓨터 장치(100)로 전송한다. 컴퓨터 장치(100)는 수면정보를 분석하여 영유아의 수면 자세를 추정하고, 수면 중 위험상황 발생 여부를 파악하여 네트워크를 통해 보호자의 스마트 단말(300)으로 전송한다. 보호자의 스마트 단말(300)은 컴퓨터 장치(100)로부터 수면자세와 수면 패턴을 수신하여 출력하고, 위험상황이 발생한 경우, 위험상황 알림을 출력한다. 한편, 도면에서는 수면 자세 추정 장치(200)가 유아의 발 영역에 착용되는 것을 도시하고 있으나, 이에 한정되진 않는다.
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5th Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스 (Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
실시예에서 컴퓨터 장치(100)는 휴대성과 이동성이 보장되는 무선 통신 장치와 서버를 포함할 수 있다. 실시예에서 무선 통신 장치는 PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 태블릿 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 장치를 포함할 수 있다.
실시예에 따른 영유아 수면자세 측정 장치 및 방법은 영유아의 수면 중 생체정보를 측정하고, 센서로부터 수집한 압력 및 자세정보를 통해 영유아의 수면 자세를 추정한다.
실시예에서는 추정된 수면자세와 생체정보 분석결과에 따라 영유아가 위험한 자세로 수면을 취하고 호흡이나 맥박에 이상이 있는 경우, 위험 알림을 보호자의 스마트 단말로 전송한다. 이를 통해, 영유아가 위험한 자세로 수면 시 분리수면 중에도 수면자세를 빠르게 바꿀 수 있도록 한다.
또한, 실시예에서는 센서로부터 수집한 자세정보를 기반으로 수면 자세를 예측하여, 위험상황에 대비할 수 있도록 한다.
또한, 실시예에서는 영유아의 수면 시간과 수면 자세를 분석하여 영유아의 수면 패턴을 파악할 수 있도록 한다.
또한, 실시예에서는 센서를 통해 측정한 데이터를 시각적 객체로 변환하여 제공함으로써, 영유아의 수면 패턴 데이터를 보호자 단말에서 직관적으로 인식할 수 있도록 한다.
도 2는 실시예에 따른 영유아 수면 자세 추정 장치의 구성을 나타낸 도면이다.
도 2를 참조하면, 실시예에 따른 영유아 수면 자세 추정 장치는 호흡감지 센서(10), 압전 센서(20), 자이로 센서(30)를 포함하여 구성될 수 있다.
호흡감지 센서(10)는 영유아의 생체정보를 센싱한다. 생체정보는 호흡 및 맥박을 포함하고, 호흡감지 센서(10)는 호흡수, 맥박수, 들숨 및 날숨을 센싱하여 컴퓨터 장치(100)로 전송한다.
압전 센서(20)는 영유아 수면 자세 추정 장치와 영유아의 피부 사이의 압력값을 센싱하여 컴퓨터 장치(100)로 전송한다
자이로 센서(30)는 영유아의 자세정보를 센싱한다. 영유아의 자세 정보는 움직임, 방향 및 회전속도를 포함할 수 있다. 자이로 센서(30)는 센싱된 자세 정보를 컴퓨터 장치(100)로 전송한다.
도 3는 실시예에 따른 컴퓨터 장치의 데이터 처리 구성을 나타낸 도면이다.
도 3을 참조하면, 컴퓨터 장치(100)는 수집부(110), 딥러닝부(120), 자세추정부(130), 생성부(140) 및 피드백부(150)를 포함하여 구성될 수 있다. 본 명세서에서 사용되는 '부' 라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.
수집부(110)는 영유아 수면 자세 추정 장치에 설치된 센서로부터 센싱 값을 수집한다. 실시예에서 센서는 호흡감지센서(10), 압전 센서(20), 자이로 센서(30) 등을 포함할 수 있다. 실시예에서 수집부(110)는 압전 센서(20)에서 센싱된 압력값을 수집하고, 자이로 센서(30)에서 센싱된 자세정보를 수집한다. 실시예에서 자세정보는 영유아 자세 추정에 필요한 정보로서, 자이로 센서에 센싱된 영유아의 움직임, 방향 및 회전속도 등을 포함할 수 있다. 실시예에서 자이로 센서는 매카니컬 자이로 센서(Mechanical gyro sensor), 파이버 옵틱(Fiber Optic) 자이로 센서, MEMS 자이로 센서, 팬토그래프(Pantograph) 자이로 센서 등을 포함할 수 있고 이에 한정되지 않는다. 수집부(110)는 호흡감지센서(10)에서 센싱된 영유아의 생체정보를 수집한다. 실시예에서 생체정보는 호흡, 맥박 등을 포함할 수 있다.
또한, 실시예에서 수집부(110)은 딥러닝 모델 구현을 위한 학습정보를 수집한다. 실시예에서 딥러닝 모델은 인공지능 학습모델로서, 예로, 신경망 (Neural Network)을 기반으로 하는 모델일 수 있다. 인공지능 학습모델은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 또한, 인공지능 학습 모델은 일 예로, 신경망모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 문서 요약 모델의 예에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 등이 있을 수 있으나 이에 한정되지 않는다.
실시예에서 수집부(110)는 자세 추정 모델 및 유사도 판단 모델의 학습 정보를 수집할 수 있다. 예컨대, 수집부(110)는 자이로 센서로부터 수집한 자세정보와 자세정보에 따라 추정된 영유아 수면 자세 정보를 자세 추정 모델의 학습정보로 수집할 수 있다. 또한, 수집부(110)는 유사도 판단 모델의 학습 정보로서, 생체 정보 패턴 비교 정보를 수집할 수 있다.
딥러닝부(120)는 딥러닝 뉴럴 네트워크를 학습정보로 학습시켜, 자세 추정 모델 및 유사도 판단 모델을 구현한다. 실시예에서 딥러닝 뉴럴 네트워크는 DNN(Deep Neural Network), CNN(Convolutional Neural Network) RNN(Recurrent Neural Network) 및 BRDNN(Bidirectional Recurrent Deep Neural Network) 중 적어도 하나를 포함하고 이에 한정되지 않는다.
자세 추정부(130)는 수집부(110)에서 수집된 자세정보와 센서의 센싱 값을 기반으로 영유아의 수면 자세를 추정한다. 실시예에서 자세 추정부(130)은 자세정보와 센서의 센싱 값을 자세 추정 모델에 입력하고 모델 출력값으로 영유아 자세를 추정할 수 있다.
또한, 자세 추정부(130)는 압전 센서에서 센싱된 압력 값이 일정 범위에 존재하는 경우, 센싱된 자세정보를 기반으로, 영유아의 자세를 추정한다. 실시예에서 자체 추정부(130)는 센싱된 압력 값이 일정 범위에 존재하는 경우, 영유아 수면 자세 추정 장치가 정상적으로 착용된 것으로 판단하고, 자세정보를 자체 추정 모델에 입력하여, 영유아 수면 자세를 추정할 수 있다.
한편, 자세 추정부(130)는 초기 자이로 센서로부터 수집한 자세정보에 기초한 변화값에 기초하여 자세를 추정할 수 있으며, 이 때, 초기 자세정보는 수면 자세 추정 장치를 유아에게 착용시킨 자세에 기초할 수 있다. 예를 들어, 압전 센서에 의해 압력이 센싱되는 시점을 착용 시점으로 인식하여, 초기 자세정보로부터 자세를 추정할 수 있다. 또한, 상기 자세 추정부(130)는 자세의 추정에 있어서, 자이로 센서로부터 수신되는 자세 정보가 불연속적 내지 일정 시간 내에 빠르게 변화되는 경우, 유아로부터 탈착된 것으로 판단하거나, 또는 누워있는 상태에서 이불, 바닥, 벽 등 주변 사물과 접촉되어 자세의 변화가 이루어진 것으로 판단하고, 알림을 통보하거나, 또는 변화된 자세를 초기 자세로 재설정하고 이후 변화되는 정보에 기초하여 자세를 추정하도록 할 수 있다.
실시예에서 자세 추정부(130)는 자세 추정 모델에 의해 추정된 영유아의 수면 자세가 위험 자세인 경우, 위험 자세에서 영유아의 코와 입 위치를 추정한다. 실시예에서 위험자세는 엎드린 자세 및 옆으로 누운 자세 등을 포함할 수 있다. 예컨대, 자세 추정부(130)는 추정된 영유아의 수면 자세가 엎드린 자세인 경우, 엎드린 자세에서의 영유아 생체 정보를 수집하여, 영유아의 코와 입 위치를 추정한다. 실시예에서 자세 추정부(130)는 영유아 생체 정보에 포함된 호흡, 맥박수를 기반으로 영유아의 코와 입 위치를 추정할 수 있다.
실시예에서 자세 추정부(130)는 영유아의 코와 입의 위치를 추정하기 위해, 영유아의 호흡과 맥박수를 수집하여 측정한 후, 호흡과 맥박수의 패턴을 식별한다. 실시예에서 자세 추정부(130)은 호흡과 맥박수의 주기성 및 주파수로 호흡과 맥박수의 패턴을 식별할 수 있다. 이후, 자세 추정부(130)는 호흡과 맥박수의 패턴이 일정한 경우, 영유아의 코와 입이 호흡가능한 위치에 있는 것으로 판단한다. 자세 추정부(130)는 호흡과 맥박수의 패턴이 일정하지 않거나, 불규칙하거나, 불연속적인 경우, 영유아의 코와 입이 호흡 가능하지 않은 위치에 있는 것으로 판단한다. 실시예에서 호흡 가능한 위치는 코와 입이 천장을 바라보는 위치, 옆을 바라보는 위치이고, 호흡 불가능한 위치는 코와 잎이 바닥을 바라보는 위치이다.
판단부(140)는 코와 입의 위치가 바닥을 향에 있는 호흡이 불가능한 위치로 추정된 경우, 보호자의 스마트 단말로 위험 알림을 전송한다.
실시예에서 자세 추정부(130)는 추정된 자세가 엎드린 자세인 경우, 호흡감지센서를 일반 모드에서 정밀 감지 모드로 변경한다. 실시예에서 호흡 감지 센서의 정밀 감지 모드는, 호흡의 주기와 속도, 강도를 더욱 정밀하게 센싱 하도록 호흡감지 센서의 감도를 향상시킨 모드이다. 실시예에서 자세 추정부(130)는 추정된 자세가 엎드린 자세를 포함하는 위험 자세인 경우, 영유아의 생체정보를 더욱 민감하게 센싱할 수 있도록 호흡감지 센서의 모드를 조정하여 호흡감지 센서의 민감도와 정확도를 높인다.
이후, 자세 추정부(130)는 정밀 감지 모드에서 센싱된 영유아의 호흡패턴과 설정된 호흡패턴을 비교한다. 실시예에서 설정된 호흡패턴은 바닥을 보는 자세, 엎드린 자세 및 옆을 보는 자세를 포함하는 위험 자세에서의 영유아의 호흡패턴이다. 실시예에서는 영유아 수면 자세 추정 장치에 각각의 위험 자세를 취했을 때 영유아의 정상적인 호흡패턴을 미리 저장할 수 있다.
실시예에서 자세 추정부(130)는 정밀 감지 모드에서 센싱된 영유아의 호흡패턴과 미리 설정된 호흡패턴의 상관 계수(correlation coefficient)를 산출하여, 정밀 감지 모드에서 센싱된 영유아의 호흡패턴과 설정된 호흡패턴을 비교한다. 실시예에서 자세 추정부(130)는 Spearman 순위 상관계수(Spearman's rank correlation coefficient), Kendall 순위 상관계수(Kendall's rank correlation coefficient)을 포함하는 상관계수를 산출하여 두 호흡 패턴을 비교할 수 있다.
또한, 실시예에서 자세 추정부(130)는 수학식 1을 통해, 피어슨(Pearson) 상관계수를 산출하여, 정밀 감지모드에서 센싱된 영유아의 호흡패턴과 설정된 호흡패턴을 비교한다.
수학식 1
상관계수 = (n∑xy - (∑x)(∑y))/sqrt((n∑x2 - (∑x)2)(n∑y2 - (∑y)2)
피어슨 상관계수를 산출하는 수학식 1에서 x는 정밀 감지 모드에서 센싱된 영유아의 호흡패턴의 시계열 데이터, y는 설정된 호흡패턴의 시계열 데이터이고, n은 샘플의 개수이다. 피어슨 상관 계수는 -1과 1 사이의 값을 가지며, 1에 가까울수록 두 호흡패턴이 유사하다는 것을 의미한다. 반대로, -1에 가까울수록 두 호흡패턴이 반대로 상호작용한다는 것을 의미하며, 0에 가까울수록 두 호흡패턴 간의 상관 관계가 없다는 것을 의미한다. 실시예에서는 피어슨 상관계수가 일정수치(예컨대, 0.5) 미만인 경우, 위험상황으로 판단하여 보호자의 스마트 단말로 위험상황을 알릴 수 있다.
또한, 실시예에서 자세 추정부(130)는 DTW(Dynamic Time Warping)을 통해, 정밀 감지 모드에서 센싱된 영유아의 호흡패턴과 설정된 호흡패턴의 시계열 데이터 간 거리를 산출하여 두 호흡패턴의 유사성을 파악할 수 있다.
DTW는 두 시계열 데이터 간의 유사성을 비교하는 데 사용되는 알고리즘으로서, DTW는 두 시계열 데이터 간의 유사성을 비교할 때, 두 시계열 데이터가 서로 다른 속도로 진행되는 경우를 고려한다. 실시예에서 자세 추정부(130)는 정밀 감지 모드에서 센싱된 영유아의 호흡패턴과 설정된 호흡패턴의 시계열 데이터 간의 최소 거리를 찾는 방법으로 유사성을 비교한다.
실시예에서 자세 추정부(130)는 DTW 알고리즘을 통해, 두 시계열 데이터 간의 거리 행렬을 계산한다. 거리 행렬은 두 시계열 데이터 간의 모든 가능한 조합의 거리를 계산한 행렬이다. 이후, 자세 추정부(130)는 DTW를 통해 산출된 거리 행렬을 기반으로 두 시계열 데이터 간의 최소 거리를 찾는다. 이 과정에서 자세 추정부(130)는 두 시계열 데이터를 유사한 패턴으로 정렬한다.
실시예에서 자세 추정부(130)는 수학식 2를 통해, 정밀 감지 모드에서 센싱된 영유아의 호흡패턴과 설정된 호흡패턴의 시계열 데이터 간 거리를 산출한다.
수학식 2
DTW(x, y) = min(DTW(x', y') + d(x, y), DTW(x', y) + d(x, y), DTW(x, y') + d(x, y))
여기서 x'와 y'는 각각 x와 y수집 바로 이전 시점에 수집한 데이터 포인트이고, d(x, y)는 x와 y 간의 거리이다.
실시예에서 자세 추정부(130)는 산출된 상관계수가 설정값 미만이거나, 정밀 감지 모드에서 센싱된 영유아의 호흡패턴과 설정된 호흡패턴의 시계열 데이터 간 거리가 설정값 미만인 경우, 위험 알림을 보호자의 스마트 단말로 전송한다.
실시예에서 자세 추정부(130)는 압전 센서(20)의 센싱 값이 연속적으로 변화하는 경우, 센싱된 자세 정보를 기반으로 영유아의 수면 자세를 추정하여 기록한다. 실시예에서 영유아의 수면 자세는 천장을 보는 자세, 옆을 보는 자세, 엎드린 자세를 포함할 수 있다. 또한, 자세 추정부(130)는 추정된 자세 별 시간당 호흡수, 수면시간을 포함하는 수면 상세 정보를 기록할 수 있다.
실시예에서 자세 추정부(130)는 압전 센서에서 감지된 압력 값이 일정 범위에 존재하지 않는 경우, 영유아 수면 자세측정 장치의 오착용으로 판단하고, 보호자의 스마트 단말로 재 착용 요청 알림을 전송한다.
또한, 자세 추정부(130)는 압전 센서의 센싱 값이 불연속적으로 변화하고, 아이의 호흡과 맥박이 정상범위인 경우, 모로 반사로 판단하고, 정상 수면 상태 알림을 보호자의 스마트 단말로 전송한다. 영유아의 모로반사(Moro reflex)는 신생아나 영아가 놀랐을 때 생기는 반사적인 움직임이다. 모로반사에 의한 움직임은 영유아가 머리를 갸우뚱하게 흔들거나 팔다리를 뻗치는 등의 움직임으로 나타나므로, 실시예에서는 모로반사를 압전 센서의 불연속 센싱값으로 인식할 수 있다. 또한, 자세 추정부(130)는 압전 센서의 센싱 값의 변화가 일정 수준 이상으로 감지되거나, 불연속 값을 포함하는 이상 수치로 인식되지만, 영유아의 호흡과 맥박은 정상범위인 경우, 모로 반사로 판단할 수 있다.
생성부(140)는 영유아의 수면 정보를 그래프 등의 시각적 객체로 변환한다. 실시예에서 영유아의 수면 정보는 센서에 의해 모니터링된 센서값, 자세정보, 추정된 수면 자세 정보를 포함할 수 있다.
실시예에서 생성부(140)는 영유아의 수면정보를 기반으로 수면 패턴 그래프(Sleep pattern graph)를 생성할 수 있다. 수면 패턴 그래프는 수면 중에 아이의 움직임, 호흡, 심박수 및 수면 단계 등을 추적하여 시간대별로 나타낸 그래프이다. 실시예에서 생성부(140)는 수면 패턴 그래프 생성을 위해, 센서로부터 수집된 수면정보를 기록하고, 수면 정보를 분석한다. 실시예에서 생성부(140)는 수면 정보 분석과정에서 추정된 수면 자세 별수면 단계, 깊이 및 지속 시간 등을 파악하여 수면 정보를 분류한다. 이후, 생성부(140)는 분류된 수면정보를 그래프로 시각화 한다. 실시예에서 수면 패턴 그래프는 수면 중에 각 단계의 지속 시간과 진입 시점 등을 나타내어 아이의 수면 패턴을 쉽게 파악할 수 있도록 한다.
또한, 생성부(140)는 영유아의 수면 정보와 수면 패턴 정보를 통해, 수면 예측 정보를 제공할 수 있다. 실시예에서 수면 예측 정보는 잠든 후 깨어날 시간, 잠들 시간 등을 포함한다.
피드백부(150)는 딥러닝 모델을 피드백 하여, 인공신경망 모델의 정확성이 낮은 경우, 개선 작업을 수행한다. 실시예에서 피드백부(150)는 학습정보를 분석하여 특정 클래스의 학습정보가 일정수준 이상 부족한 경우 특정 클래스를 대표하는 데이터를 추가로 수집하고, 학습정보의 전처리 과정을 수행한다. 실시예에서 피드백부(150)는 데이터 정규화, 이상치 제거 및 데이터의 배율 조정을 포함하는 학습 정보 전처리 과정을 수행하여 모델이 불필요한 패턴을 학습하는 것을 방지한다. 또한, 실시예에서 피드백부(150)는 모델 학습 알고리즘에 특정 조건을 추가하여 딥러닝 모델의 정확성을 보장할 수 있도록 한다.
실시예에서 피드백부(150)는 데이터 분석 정확성 보장을 위해, 혼돈행렬(Confusion Matrix) 분석을 통해, 모델의 예측 결과를 실제 결과와 비교하여 모델의 성능을 평가한다. 혼돈 행렬(confusion matrix)은 지도 학습에서 모델의 분류 성능을 평가하는 행렬이다. 혼돈 행렬은 모델이 예측한 결과와 실제 결과를 비교하여 분류 결과를 표시한다. 실시예에서 피드백부(150)는 혼돈행렬 분석을 통해, 각각의 클래스에 대한 정확도와 오분류율을 계산하여 모델의 성능을 평가할 수 있다.
또한, 실시예에서 피드백부(150)는 학습정보에 대한 시각화 분석을 통해 데이터의 분포를 확인할 수 있도록 한다. 예를 들어, 이미지 데이터의 경우 각 클래스에 대한 이미지 샘플을 시각화 하여 데이터의 다양성과 공정성을 평가할 수 있다.
또한, 피드백부(150)는 인공신경망 모델의 편향(Bias) 검증을 수행한다. 실시예에서 피드백부(150)는 학습정보에 대한 편향(Bias) 검증을 통해, 모델이 특정 클래스나 속성에 대해 편향되어 있는지 여부를 확인한다. 이를 위해 피드백부(150)는 각 클래스에 대한 샘플의 수를 비교하거나, 각 클래스에 대한 분류 성능을 평가한다.
또한, 피드백부(150)는 평가 지표 계산을 통해, 학습정보의 공정성과 다양성을 검증하고 인공신경망 모델을 개선할 수 있도록 한다. 실시예에서 공정성 검증은 학습정보에 대해 인공신경망 모델이 이미지 인식 객체의 종류, 수집 데이터의 종류 등의 특정속성에 대해 차별성을 보이는지 여부를 확인하는 것이다. 실시예에서 피드백부(150)는 각 속성에 대한 샘플의 수를 비교하거나, 각 속성에 대한 분류 성능을 평가하여, 특정 속성에 대한 차별성 여부를 확인할 수 있다.
또한, 피드백부(150)는 인공신경망 모델의 성능을 평가하기 위한 다양한 지표를 계산한다. 예를 들어, 정확도, 정밀도, 재현율, F1-score 등의 지표를 계산하여 인공신경망 모델의 성능을 평가할 수 있다. 이때, 각 클래스에 대한 지표를 계산하여 모델의 공정성과 다양성을 평가할 수 있다.
실시예에서 피드백부(150)는 정확도(Accuracy), 정밀도 (Precision) 및 재현율 (Recall) 중 적어도 하나를 통해, 인공신경망 모델을 평가할 수 있다. 정확도는 인공 신경망 모델이 예측한 결과가 실제 결과와 얼마나 일치하는지를 측정하는 지표이다. 정밀도는 양성으로 예측한 결과 중 실제 양성인 비율을 측정하는 지표이다. 재현율은 실제 양성 중에서 모델이 양성으로 예측한 비율을 측정하는 지표이다. 실시예에서 피드백부(150)는 인공신경망 모델의 정확도, 정밀도 및 재현율을 산출하고, 산출된 지표 중 적어도 하나를 기반으로 인공신경망 모델을 평가할 수 있다.
실시예에서 피드백부(150)는 인공신경망 모델의 정확도를 평가 데이터셋을 사용하여 측정할 수 있다. 평가 데이터셋은 모델이 학습에 사용하지 않은 데이터로 구성되어 있으며, 모델의 성능을 객관적으로 평가하는 데 사용된다. 실시예에서 피드백부(150)는 평가 데이터셋을 사용하여 인공신경망 모델을 실행하고, 각 입력 데이터에 대한 인공신경망 모델의 예측 값과 해당 데이터의 실제 정답 값을 비교한다. 이후, 비교 결과를 통해, 모델이 얼마나 정확하게 예측하는지를 측정할 수 있다. 예컨대, 피드백부(150)에서 정확도는 전체 데이터 중에서 모델이 맞게 예측한 데이터의 비율로 계산될 수 있다.
또한, 피드백부(150)는 정밀도와 재현율의 조화 평균으로 계산되는 지표인 정밀도와 재현율의 균형을 나타내는 지표인 F1 스코어(F1 Score)를 산출하고, 산출된 F1 스코어를 기반으로 인공신경망 모델을 평가하고, 분류 모델의 성능을 그래프로 시각화한 지표인 AUC-ROC 곡선을 생성하고, 생성된 AUC-ROC 곡선을 기반으로 인공신경망 모델을 평가할 수 있다. 실시예에서 피드백부(150)는 ROC 곡선 아래 면적 (AUC)이 1에 가까울수록 모델의 성능이 좋은 것으로 평가할 수 있다.
또한, 피드백부(150)는 인공신경망 모델의 해석 가능성을 평가할 수 있다. 실시예에서 피드백부(150)는 SHAP (SHapley Additive exPlanations), LIME (Local Interpretable Model-agnostic Explanations) 방법을 통해, 인공신경망 모델의 해석 가능성을 평가한다. SHAP (SHapley Additive exPlanations)는 모델이 예측한 결과에 대한 해석을 제공하는 라이브러리로서, 피드백부(150)는 라이브러리에서 SHAP 값을 추출한다. 실시예에서 피드백부(150)는 SHAP값 추출을 통해, 모델에 입력된 특성정보가 모델 예측에 얼마나 영향을 미쳤는지를 예측할 수 있다.
LIME (Local Interpretable Model-agnostic Explanations) 방법은 개별 샘플에 대한 모델의 예측을 설명하는 방법이다. 실시예에서 피드백부(150)는 LIME 방법을 통해, 샘플을 해석 가능한 모델로 근사하여 각 특성정보의 중요도를 계산한다. 또한, 피드백부(150)는 모델의 내부 가중치와 편향 값을 분석하여 각 특성 변수의 영향력을 추정할 수 있다.
또한, 피드백부(150)는 인공신경망 모델이 실제 환경에서 사용되면서 발생하는 문제점에 대한 피드백을 수집하고, 수집된 피드백을 인공신경망 모델에 반영하여 인공신경망 모델을 지속적으로 개선한다.
도 4는 스마트 단말에 표시되는 사용자 인터페이스를 나타낸 도면이다.
도 4를 참조하면, 실시예에서는 영유아 수면 자세 추정 장치에서 수집된 센서값, 수면 자세 정보를 기반으로 수면 자세를 추정하고, 수면정보를 이용하여 영유아의 수면 패턴을 그래프로 나타낼 수 있다. 또한, 실시예에서는 심박동과 호흡수에 해당하는 생체정보를 시계열 그래프로 변환하여 출력하고, 수면의 질과 패턴 정보를 그래프로 변환하여 출력할 수 있다.
이하에서는 영유아 수면 자세 측정 방법에 대해서 차례로 설명한다. 실시예에 따른 영유아 수면 자세 측정 방법의 작용(기능)은 위조품 탐지 시스템의 기능과 본질적으로 같은 것이므로 도 1 내지 도 3과 중복되는 설명은 생략하도록 한다.
도 5는 실시예에 따른 영유아 수면 자세 측정 과정을 나타낸 도면이다.
도 5를 참조하면, S100 단계에서는 수집부에서 압전 센서에서 센싱된 압력값을 수집하고, 자이로 센서에서 센싱된 영유아의 움직임, 방향 및 회전속도를 포함하는 자세정보를 수집하고, 호흡감지센서에서 센싱된 영유아의 호흡, 맥박을 포함하는 생체정보를 수집한다. S200 단계에서는 자세 추정부에서 센싱된 압력값이 일정 범위에 존재하는 경우, 센싱된 자세정보를 기반으로, 영유아의 자세를 추정한다. S300 단계에서는 자세 추정부에서 추정된 자세가 엎드린 자세인 경우, 호흡과 맥박을 포함하는 생체 정보를 수집하여, 영유아의 코와 입의 위치를 추정한다. S400 단계에서는 자세 추정부에서 코와 입의 위치가 바닥을 향에 있는 것으로 추정된 경우, 보호자의 스마트 단말로 위험 알림을 전송한다.
또한, 도 5에 도시된 이러한 순서도는 예시적인 것에 불과한 바, 본 발명의 사상이 도 5에 도시된 것으로 한정 해석되는 것은 아니다. 예컨대, 실시예에 따라 도 5에 도시된 것과는 상이한 순서로 각 단계가 수행될 수 있으며, 또는 도 5에 도시되지 않은 적어도 하나의 단계가 추가적으로 수행되거나 또는 도 5에 도시된 단계 중 적어도 하나가 수행되지 않을 수도 있다.
이상에서와 같은 영유아 수면 자세 추정 장치 및 방법은 센서로부터 모니터링 된 영유아의 생체 신호와 자세 정보를 통해, 위험 수면 자세가 추정된 경우, 보호자에게 이를 알림으로써 영유아가 안전하게 수면을 유지할 수 있도록 한다. 이하, 이러한 실시예에 따른 방법은 도 1 내지 도 4에 도시된 영유아 수면 자세 추정 장치(200), 컴퓨터 장치(100) 및 보호자의 스마트 단말(300) 중 적어도 하나에 의해 수행되는 것이므로, 컴퓨터 장치(100) 내지 스마트 단말(300)에 대해 이미 설명된 부분을 원용하기로 한다.
또한, 실시예를 통해 영유아와 보호자의 분리수면 중에도 영유아가 안전하게 수면 할 수 있도록 한다.
또한, 실시예에서는 영유아의 수면 패턴 데이터를 통해, 영유아의 수면 시간과 수면 양을 예측 가능하도록 하여 육아를 보다 쉽게 수행할 수 있도록 한다.
한편, 본 실시예에 따른 영유아 수면 자세 측정 방법에 있어서, 영유아의 수면 시간과 수면 양을 예측하기 위한 구성은 하드웨어 구성(hardware component), 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component) 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), FLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
소프트웨어적인 구현에 의하면, 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있으며, 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 컴퓨터 장치(100) 및 스마트 단말(300)의 메모리에 저장되고, 별도의 제어부에 의해 실행될 수 있다. 특히, 이미지 검색 모델은 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
전술한 본 발명의 일 실시예에 따른 영유아 수면 자세 측정 방법은, 보호자의 스마트 단말에 기본적으로 설치된 기능에 의해 구현되고, 사용자 단말에 설치 내지 저장된 프로그램 내지 애플리케이션으로 구현되어, 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드(또는, 애플리케이션이나 소프트웨어)로서 구현하는 것이 가능하다. 상술한 장소 추천 방법은 메모리 등에 저장된 코드에 의하여 실현될 수 있다
컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 컴퓨터 장치
200: 수면 자세 추정 장치
300: 스마트 단말

Claims (10)

  1. 컴퓨터 장치에 의해 수행되는 영유아 수면 자세 측정 방법에 있어서,
    (A) 수집부에서 압전 센서에서 센싱된 압력값을 수집하고, 자이로 센서에서 센싱된 영유아의 움직임, 방향 및 회전속도를 포함하는 자세정보를 수집하고, 호흡감지센서에서 센싱된 영유아의 호흡, 맥박을 포함하는 생체정보를 수집하는 단계;
    (B) 자세 추정부에서 센싱된 압력값이 일정 범위에 존재하는 경우, 센싱된 자세정보를 기반으로, 영유아의 자세를 추정하는 단계;
    (C) 자세 추정부에서 추정된 자세가 엎드린 자세인 경우, 호흡과 맥박을 포함하는 생체 정보를 수집하여, 영유아의 코와 입의 위치를 추정하는 단계;
    (D) 자세 추정부에서 상기 코와 입의 위치가 바닥을 향에 있는 것으로 추정된 경우, 보호자의 스마트 단말로 위험 알림을 전송하는 단계; 를 포함하고,
    상기 (C)의 단계는,
    (C-1)자세 추정부는 추정된 자세가 엎드린 자세인 경우, 호흡감지센서를 정밀 감지 모드로 변경하는 단계;
    (C-2)자세 추정부는 정밀 감지 모드에서 센싱된 영유아의 호흡패턴과 설정된 호흡패턴을 비교하는 단계; 및
    (C-3)자세 추정부는 비교 결과에 따라 위험 알림을 전송하는 단계; 를 포함하고,
    상기 설정된 호흡패턴은,
    바닥을 보는 자세, 엎드린 자세, 옆을 보는 자세를 포함하는 위험 자세에서의 영유아의 호흡패턴이고,
    상기(C-2)의 단계는,
    정밀 감지 모드에서 센싱된 영유아의 호흡패턴과 설정된 호흡패턴의 상관 계수(correlation coefficient)를
    수학식 1
    상관계수 = (n∑xy - (∑x)(∑y))/sqrt((n∑x2 - (∑x)2)(n∑y2 - (∑y)2)
    을 통해 산출하고,
    상기 수학식 1에서
    x는 정밀 감지 모드에서 센싱된 영유아의 호흡패턴의 시계열 데이터, y는 설정된 호흡패턴의 시계열 데이터이고, n은 샘플의 개수인 것을 특징으로 하는 영유아 수면 자세 측정 방법.
  2. 제1항에 있어서,
    (E) 상기 자세 추정부는 압전 센서에서 감지된 압력 값이 일정 범위에 존재하지 않는 경우, 영유아 수면 자세측정 장치의 오착용으로 판단하고, 보호자의 스마트 단말로 재 착용 요청 알림을 전송하는 단계를 더 포함하는 것을 특징으로 하는 영유아 수면 자세 측정 방법.
  3. 제1항에 있어서,
    상기 (D)의 단계는,
    압전 센서의 센싱 값이 불연속적으로 변화하고, 영유아의 호흡과 맥박이 정상범위인 경우, 모로 반사로 판단하고, 정상 수면 상태 알림을 보호자의 스마트 단말로 전송하는 것을 특징으로 하는 영유아 수면 자세 측정 방법.
  4. 제1항에 있어서,
    상기 (B)의 단계는,
    압전 센서의 센싱 값이 연속적으로 변화하는 경우, 센싱된 자세 정보를 기반으로 아이의 수면 자세를 추정하여 기록하고,
    상기 영유아의 수면 자세는
    천장을 보는 자세, 옆을 보는 자세, 엎드린 자세를 포함하는 것을 특징으로 하는 영유아 수면 자세 측정 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기(C-2)의 단계는,
    DTW(Dynamic Time Warping)을 통해, 정밀 감지 모드에서 센싱된 영유아의 호흡패턴과 설정된 호흡패턴의 시계열 데이터 간 거리를 산출하여 산출된 거리를 기반으로 두 호흡패턴의 유사성을 파악하는 것을 특징으로 하는 영유아 수면 자세 측정 방법.
  8. 제1항에 있어서,
    상기 (C-3)의 단계는,
    산출된 상관계수가 설정값 미만이거나, 정밀 감지 모드에서 센싱된 영유아의 호흡패턴과 설정된 호흡패턴의 시계열 데이터 간 거리가 설정값 미만인 경우, 위험 알림을 보호자의 스마트 단말로 전송하는 것을 특징으로 하는 영유아 수면자세 측정 방법.
  9. 제1항에 있어서,
    상기 (A)의 단계 이후,
    딥러닝부에서 DNN(Deep Neural Network), CNN(Convolutional Neural Network) RNN(Recurrent Neural Network) 및 BRDNN(Bidirectional Recurrent Deep Neural Network) 중 적어도 하나를 포함하는 딥러닝 뉴럴 네트워크를 학습정보로 학습시켜 수면자세 판단 모델을 구현하는 단계를 더 포함하는 것을 특징으로 하는 영유아 수면 자세 측정 방법.
  10. 컴퓨터가 읽을 수 있는 프로그램으로서 영유아 수면 자세 측정 방법을 수행하는 프로그램이 기록된 기록매체에 있어서,
    상기 영유아 수면 자세 측정 방법은,
    (A) 수집부는 압전 센서에서 센싱된 압력값을 수집하고, 자이로 센서에서 센싱된 영유아의 움직임, 방향 및 회전속도를 포함하는 자세정보를 수집하고, 호흡감지센서에서 센싱된 영유아의 호흡, 맥박을 포함하는 생체정보를 수집하는 단계;
    (B) 자세 추정부는 센싱된 압력 값이 일정 범위에 존재하는 경우, 센싱된 자세정보를 기반으로, 영유아의 자세를 추정하는 단계;
    (C) 자세 추정부는 추정된 자세가 엎드린 자세인 경우, 호흡과 맥박을 포함하는 생체 정보를 수집하여, 영유아의 코와 입 위치를 추정하는 단계; 및
    (D) 자세 추정부는 상기 코와 입의 위치가 바닥을 향에 있는 것으로 추정된 경우, 보호자의 스마트 단말로 위험 알림을 전송하는 단계; 를 포함하고,
    상기 (C)의 단계는,
    (C-1)자세 추정부는 추정된 자세가 엎드린 자세인 경우, 호흡감지센서를 정밀 감지 모드로 변경하는 단계;
    (C-2)자세 추정부는 정밀 감지 모드에서 센싱된 영유아의 호흡패턴과 설정된 호흡패턴을 비교하는 단계; 및
    (C-3)자세 추정부는 비교 결과에 따라 위험 알림을 전송하는 단계; 를 포함하고,
    상기 설정된 호흡패턴은,
    바닥을 보는 자세, 엎드린 자세, 옆을 보는 자세를 포함하는 위험 자세에서의 영유아의 호흡패턴이고,
    상기(C-2)의 단계는,
    정밀 감지 모드에서 센싱된 영유아의 호흡패턴과 설정된 호흡패턴의 상관 계수(correlation coefficient)를
    수학식 1
    상관계수 = (n∑xy - (∑x)(∑y))/sqrt((n∑x2 - (∑x)2)(n∑y2 - (∑y)2)
    을 통해 산출하고,
    상기 수학식 1에서
    x는 정밀 감지 모드에서 센싱된 영유아의 호흡패턴의 시계열 데이터, y는 설정된 호흡패턴의 시계열 데이터이고, n은 샘플의 개수인 것을 특징으로 하는 것을 특징으로 하는 기록매체.
KR1020230056052A 2023-04-28 2023-04-28 영유아 수면자세 측정 방법 및 이를 수행하는 컴퓨터 장치 KR102603308B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230056052A KR102603308B1 (ko) 2023-04-28 2023-04-28 영유아 수면자세 측정 방법 및 이를 수행하는 컴퓨터 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230056052A KR102603308B1 (ko) 2023-04-28 2023-04-28 영유아 수면자세 측정 방법 및 이를 수행하는 컴퓨터 장치

Publications (1)

Publication Number Publication Date
KR102603308B1 true KR102603308B1 (ko) 2023-11-17

Family

ID=88968674

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230056052A KR102603308B1 (ko) 2023-04-28 2023-04-28 영유아 수면자세 측정 방법 및 이를 수행하는 컴퓨터 장치

Country Status (1)

Country Link
KR (1) KR102603308B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160062263A (ko) * 2014-11-24 2016-06-02 현대엠엔소프트 주식회사 웨어러블 컴퓨팅 장치의 전력 및 보안 관리 장치 및 방법
KR101798498B1 (ko) 2017-04-28 2017-11-16 주식회사 엠프로스 영유아 수면 감시용 생체정보 측정장치 및 시스템
KR20190088766A (ko) * 2018-01-19 2019-07-29 포항공과대학교 산학협력단 알람 메시지를 전송하는 웨어러블 디바이스 및 그 방법
KR20200043740A (ko) * 2018-10-18 2020-04-28 주식회사 올케어러블 움직임 문턱치 제어 기반의 영유아 안전 모니터링 방법 및 그 서비스
JP2020525146A (ja) * 2017-06-29 2020-08-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 睡眠統計を決定する方法及び装置
KR20220092761A (ko) 2020-12-24 2022-07-04 (주)끌렘컴퍼니 인공지능 기반 아기 수면 모니터링 방법 및 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160062263A (ko) * 2014-11-24 2016-06-02 현대엠엔소프트 주식회사 웨어러블 컴퓨팅 장치의 전력 및 보안 관리 장치 및 방법
KR101798498B1 (ko) 2017-04-28 2017-11-16 주식회사 엠프로스 영유아 수면 감시용 생체정보 측정장치 및 시스템
JP2020525146A (ja) * 2017-06-29 2020-08-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 睡眠統計を決定する方法及び装置
KR20190088766A (ko) * 2018-01-19 2019-07-29 포항공과대학교 산학협력단 알람 메시지를 전송하는 웨어러블 디바이스 및 그 방법
KR20200043740A (ko) * 2018-10-18 2020-04-28 주식회사 올케어러블 움직임 문턱치 제어 기반의 영유아 안전 모니터링 방법 및 그 서비스
KR20220092761A (ko) 2020-12-24 2022-07-04 (주)끌렘컴퍼니 인공지능 기반 아기 수면 모니터링 방법 및 시스템

Similar Documents

Publication Publication Date Title
US9972187B1 (en) Biomechanical parameter determination for emergency alerting and health assessment
Doukas et al. Emergency fall incidents detection in assisted living environments utilizing motion, sound, and visual perceptual components
US11615687B2 (en) Automated identification and creation of personalized kinetic state models of an individual
US10422814B2 (en) Fall detection using machine learning
Zhang et al. A context-aware mhealth system for online physiological monitoring in remote healthcare
KR20200005987A (ko) 터치입력을 이용한 인지장애 진단 시스템 및 방법
KR20190105163A (ko) 인공지능 기반의 환자상태 예측 장치 및 이를 이용한 환자상태 예측 방법
Moulik et al. FallSense: An automatic fall detection and alarm generation system in IoT-enabled environment
Aghalya et al. Real-time Monitoring and Prediction of Respiratory Diseases Using IoT and Machine Learning
US20210267492A1 (en) Systems and methods for detecting a motor developmental delay or neurodevelopmental disorder in an infant
Chang et al. An environmental-adaptive fall detection system on mobile device
Hemmatpour et al. Nonlinear Predictive Threshold Model for Real‐Time Abnormal Gait Detection
JP2018161462A (ja) 情報処理方法、情報処理装置、及びプログラム
US20220378346A1 (en) Millimeter wave (mmwave) mapping systems and methods for generating one or more point clouds and determining one or more vital signs for defining a human psychological state
US20220125359A1 (en) Systems and methods for automated monitoring of human behavior
Nam et al. Physical activity recognition using a single triaxial accelerometer and a barometric sensor for baby and child care in a home environment
Parmar et al. A comprehensive survey of various approaches on human fall detection for elderly people
KR102603308B1 (ko) 영유아 수면자세 측정 방법 및 이를 수행하는 컴퓨터 장치
Amiroh et al. Intelligent System for Fall Prediction Based on Accelerometer and Gyroscope of Fatal Injury in Geriatric
CN113869415A (zh) 一种问题行为检测与预警系统
CN113670365A (zh) 系统、方法、计算机程序产品及传感器数据收集装置
EP4086811A1 (en) Problematic behavior classification system and method based on deep neural network algorithm
KR101843787B1 (ko) 생체 감지 기반의 무선 안전 알림 방법 및 시스템
Liu et al. Preimpact fall detection for elderly based on fractional domain
Fry et al. Discriminative models of spontaneous kicking movement patterns for term and preterm infants: A pilot study

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant