KR20230018801A - 이미지 기반 머신러닝을 이용한 영유아 모니터링 서버, 방법 및 프로그램 - Google Patents

Abstract

본 발명의 일 실시예에 따른 영유아 모니터링 서버는, 통신부; 데이터베이스부; 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 통신부를 통해, 착용자에게 착용된 웨어러블 장치가 감지한 음성 정보, 심박 정보 및 가속도 정보를 수신하고, 상기 음성 정보, 상기 심박 정보 및 상기 가속도 정보 중 적어도 하나를 이용하여 이미지 정보를 생성하며, 상기 이미지 정보를 상태탐지모델에 입력하여 상기 착용자의 상태를 분류하고, 상기 상태탐지모델은 상기 이미지 정보를 포함하도록 구성된 학습데이터셋을 지도학습하여 생성된 분류모델인,

Description

이미지 기반 머신러닝을 이용한 영유아 모니터링 서버, 방법 및 프로그램{INFANT MONITORING SERVER, METHOD AND PROGRAM USING IMAGE-BASED MACHINE LEARNING}

본 발명은 이미지 기반 머신러닝을 이용한 영유아 모니터링 서버, 방법 및 프로그램에 관한 것이다.

영아 및 유아를 키우는 보호자들은 항상 영유아를 주위에서 모니터링할 필요가 있다. 인지 능력 및 표현 능력이 부족한 무방비 상태의 영유아에게 갑작스러운 위급 상황이 발생할 때 즉각적인 도움 지원이 필요하기 때문이다.

최근 들어 유치원이나 어린이집과 같은 영유아 기관에서는 CCTV 설치가 의무화되고 있으나, CCTV 만으로는 모니터링이 불가능한 사각지대가 존재할 뿐만 아니라, 이로 인해 오해의 소지를 불러일으킬 수도 있고, 이를 악용해 보호자들이 보육교사를 감시하는 등의 인권침해 논란이 끊이지 않고 있으며, 실제로 이러한 CCTV는 무방비 상태의 영유아에 대한 지속적인 모니터링이 어렵고, 악의적인 제삼자에 의해 충분히 조작이 가능하므로 스스로 자신의 상황을 전달 불가능한 영유아들에게는 자동으로 신체 상태를 판단하여 이상 징후를 항상 감시하여 보호자에게 전달 가능한 모니터링 시스템의 개발이 시급하다.

대한민국 등록특허공보 제10-1806835호, 2017년 12월 04일 등록

본 발명의 실시예는 상술한 문제점을 해결할 수 있는 서버, 방법 및 프로그램을 제공하는 것을 목적으로 한다.

또한, 본 발명의 실시예는, 영유아에 착용되는 웨어러블 장치가 감지한 영유아로부터 발생된 정보를 이미지화하고, 이미지화된 정보로 구성된 학습데이터셋을 통해 머신러닝된 영유아 상태분류모델을 이용하여 영유아의 상태를 탐지하는 영유아 모니터링 서버, 방법 및 프로그램을 제공하는 것을 목적으로 한다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 실시예에 따른 영유아 모니터링 서버는, 통신부; 데이터베이스부; 및 적어도 하나의 프로세서를 포함한다.

또한, 상기 적어도 하나의 프로세서는, 상기 통신부를 통해, 착용자에게 착용된 웨어러블 장치가 감지한 음성 정보, 심박 정보 및 가속도 정보를 수신하고, 상기 음성 정보, 상기 심박 정보 및 상기 가속도 정보 중 적어도 하나를 이용하여 이미지 정보를 생성하며, 상기 이미지 정보를 상태탐지모델에 입력하여 상기 착용자의 상태를 분류하고, 상기 상태탐지모델은 상기 이미지 정보를 포함하도록 구성된 학습데이터셋을 지도학습하여 생성된 분류모델일 수 있다.

또한, 상기 적어도 하나의 프로세서는, 상기 음성 정보, 상기 심박 정보 및 상기 가속도 정보 중 적어도 하나를 이용하여 1차적으로 착용자의 상태를 탐지하고, 상기 이미지 정보를 상기 상태탐지모델에 입력하여 2차적으로 착용자의 상태를 탐지할 수 있다.

또한, 상기 적어도 하나의 프로세서는, 상기 음성 정보에 기준음성값 이상의 크기나 주파수가 포함된 경우, 착용자의 상태를 이상상태로 판단하고, 상기 심박 정보에 기준심박수 이상의 심박수가 포함된 경우, 착용자의 상태를 이상상태로 판단하며, 상기 가속도 정보에 기준가속도변화값 이상의 가속도 변화가 포함된 경우, 착용자의 상태를 이상상태로 판단하고, 이상상태로 판단된 경우, 상기 통신부를 통해 사용자 단말에 착용자의 상태를 제공할 수 있다.

또한, 상기 상태탐지모델은 감정상태탐지모델 및 동작상태탐지모델을 포함하고, 상기 감정상태탐지모델은, 상기 음성 정보 및 심박 정보 중 적어도 하나를 포함하는 이미지 정보를 포함하도록 구성된 학습데이터셋을 지도학습하여 생성된 분류모델이며, 상기 동작상태탐지모델은, 상기 음성 정보 및 가속도 정보 중 적어도 하나를 포함하는 이미지 정보를 포함하도록 구성된 학습데이터셋을 지도학습하여 생성된 분류모델일 수 있다.

또한, 상기 적어도 하나의 프로세서는, 상기 감정상태탐지모델 및 상기 동작상태탐지모델 중 적어도 하나가 착용자의 상태를 이상상태로 판단한 경우, 상기 통신부를 통해 사용자 단말에 착용자의 상태를 제공할 수 있다.

또한, 상기 적어도 하나의 프로세서는, 상기 통신부를 통해 영상센서로부터 영상 정보를 수신하고, 이상상태로 판단된 경우, 이상상태가 발생된 시점을 특정하며, 상기 영상 정보 중 특정된 시점 이후의 정보를 상기 사용자 단말에 제공할 수 있다.

또한, 상기 적어도 하나의 프로세서는, 상기 사용자 단말로부터 웨어러블 장치 제어신호를 수신하여 상기 웨어러블 장치로 전송하고, 상기 제어신호는, 상기 웨어러블 장치에 포함된 발열부의 발열제어신호; 상기 웨어러블 장치에 포함된 스피커의 발화제어신호; 및 상기 웨어러블 장치에 포함된 마사지부의 압력패턴제어신호 중 적어도 하나를 포함할 수 있다.

또한, 상기 적어도 하나의 프로세서는, 상기 발열제어신호는 상기 발열부가 기 설정된 온도로 발열되도록 하는 신호이고, 상기 발화제어신호는 상기 스피커가 기 설정된 음성패턴을 발화하도록 하는 신호이며, 상기 압력패턴제어신호는 상기 마사지부가 기 설정된 압력패턴으로 상기 착용자를 가압하도록 하는 신호일 수 있다.

또, 본 발명의 실시예에 따른 영유아 모니터링 방법은, 컴퓨터에 의해 수행되는 영유아 모니터링 방법에 있어서, 착용자에게 착용된 웨어러블 장치가 감지한 음성 정보, 심박 정보 및 가속도 정보를 수신하는 단계; 상기 음성 정보, 상기 심박 정보 및 상기 가속도 정보 중 적어도 하나를 이용하여 이미지 정보를 생성하는 단계; 및 상기 이미지 정보를 상태탐지모델에 입력하여 상기 착용자의 상태를 분류하는 단계를 포함하고, 상기 상태탐지모델은 상기 이미지 정보를 포함하도록 구성된 학습데이터셋을 지도학습하여 생성된 분류모델일 수 있다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

본 발명의 실시예에 따르면, 영유아에 착용되는 웨어러블 장치가 감지한 영유아로부터 발생된 정보를 이미지화하고, 이미지화된 정보로 구성된 학습데이터셋을 통해 머신러닝된 영유아 상태분류모델을 이용하여 영유아의 상태 탐지의 정확성을 향상시킬 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 영유아 모니터링 시스템의 구성을 도시하는 블록도다.
도 2는 도 1에 따른 상태탐지모델의 학습과정을 도시하는 개념도다.
도 3은 도 1에 따른 상태탐지모델의 학습과정을 도시하는 개념도다.
도 4는 도 1에 따른 상태탐지모델의 학습과정을 도시하는 흐름도다.
도 5는 본 발명의 실시예에 따른 영유아 모니터링 방법의 과정을 도시하는 흐름도다.
도 6은 도 5의 S40단계의 구체적인 과정을 도시하는 흐름도다.
도 7은 도 6의 S41단계의 일 실시예의 구체적인 과정을 도시하는 흐름도다.
도 8은 도 6의 S41단계의 다른 실시예의 구체적인 과정을 도시하는 흐름도다.
도 9는 도 8의 S418단계의 구체적인 과정을 도시하는 흐름도다.
도 10은 도 6의 S42단계의 일 실시예의 구체적인 과정을 도시하는 흐름도다.
도 11은 도 6의 S42단계의 다른 실시예의 구체적인 과정을 도시하는 흐름도다.
도 12는 도 5의 S50단계의 구체적인 과정을 도시하는 흐름도다.
도 13은 도 12의 S51단계의 구체적인 과정을 도시하는 흐름도다.
도 14는 도 5의 S60단계의 구체적인 과정을 도시하는 흐름도다.
도 15는 도 5의 S70단계의 구체적인 과정을 도시하는 흐름도다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 사용되는 "모니터링 서버(30)"는 서버의 서버 환경을 수행하기 위한 다른 구성들을 포함할 수 있다. 서버는 임의의 형태의 장치를 모두 포함할 수 있다. 예를 들어, 서버는 컴퓨터, 랩탑 컴퓨터, 모바일폰 및 웹 서버와 같이 연산을 위한 프로세서와 메모리를 구비한 디지털 기기로 구현될 수 있다. 다만, 상술한 예시에 한정되는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영유아 모니터링 시스템은 웨어러블 장치(10), 모니터링 서버(30) 및 사용자 단말(40)을 포함한다.

웨어러블 장치(10)는 착용자에게 착용되어 착용자로부터 여러 정보를 감지하도록 구성된다. 영유아를 대상으로 웨어러블 장치(10)가 착용될 수 있으며, 웨어러블 장치(10)는 밴드 또는 시계형태로 구성될 수 있다. 다만, 이에 한정되는 것은 아니며, 웨어러블 장치(10)는 팔 또는 다리를 감싸며 장착될 수 있는 다양한 형태로 구성될 수 있다. 또한, 웨어러블 장치(10)는 목을 감싸며 장착되는 형태로 구성될 수 있다.

웨어러블 장치(10)는 복수 개로 구비되어, 복수 개의 위치에서 착용자에게 부착될 수 있다.

웨어러블 장치(10)는 착용자의 음성 정보를 감지하도록 구성되는 음성 센서(11), 착용자의 심박 정보를 감지하도록 구성되는 심박 센서(12), 착용자의 움직임에 따른 가속도 변화를 감지하도록 구성되는 가속도 센서(13)를 포함한다.

음성 센서(11)는 착용자의 발화에 따라 발생되는 소리의 크기 및 파형을 감지한다. 또한, 심박 센서(12)는 착용자의 피부에 접촉 또는 근접된 위치에서 착용자의 심장박동의 세기 및 심박수를 감지한다. 심박 센서(12)는 웨어러블 장치(10)가 착용자에게 장착된 상태에서 착용자의 심박을 원활하게 감지할 수 있는 장소(예를 들어, 손목 내측)에 배치될 수 있다.

가속도 센서(13)는 착용자가 움직임에 따라 발생되는 가속도 변화를 감지한다. 예를 들어, 가속도 센서(13)는 IMU(Inertial Measurement Unit) 센서로 구성될 수 있다.

웨어러블 장치(10)는 웨어러블 장치(10)의 구성요소들을 제어하도록 구성되는 프로세서(14)를 포함한다. 프로세서(14)는 음성 센서(11), 심박 센서(12) 및 가속도 센서(13)가 정보들을 감지하도록 제어한다.

웨어러블 장치(10)는 통신부(15) 및 데이터베이스부(16)를 포함한다.

웨어러블 장치(10)는 통신부(15)를 통해 모니터링 서버(30) 및 사용자 단말(40)과 통신 가능하게 연결된다. 프로세서(14)는 통신부(15)를 제어하여 음성 센서(11), 심박 센서(12) 및 가속도 센서(13)에서 감지된 정보를 모니터링 서버(30)로 전송한다.

데이터베이스부(16)에는 음성 센서(11), 심박 센서(12) 및 가속도 센서(13)에서 감지된 정보, 프로세서(14)에서 연산된 정보, 모니터링 서버(30)에서 수신된 정보 및 사용자 단말(40)에서 수신된 정보 중 적어도 하나가 저장된다.

웨어러블 장치(10)는 기 설정된 온도까지 발열될 수 있는 발열부(17), 소리를 발화할 수 있도록 구성되는 스피커(18) 및 착용자에게 압력을 가할 수 있도록 구성되는 마사지부(19)를 포함한다.

프로세서(14)가 모니터링 서버(30) 또는 사용자 단말(40)로부터 수신된 신호에 기초하여 발열부(17), 스피커(18) 및 마사지부(19) 중 적어도 하나를 제어한다.

모니터링 서버(30)는 프로세서(31), 상태탐지모델(32), 통신부(33) 및 데이터베이스부(34)를 포함한다.

프로세서(31)는 모니터링 서버(30)의 각 구성요소들을 제어하도록 구성된다.

모니터링 서버(30)는 통신부(33)에 의해 웨어러블 장치(10) 및 사용자 단말(40)과 통신 가능하게 연결되며, 프로세서(31)가 통신부(33)를 제어하여 웨어러블 장치(10)로부터 음성 정보, 심박 정보 및 가속도 정보 중 적어도 하나를 수신한다.

프로세서(31)는 수신된 음성 정보, 심박 정보 및 가속도 정보 중 적어도 하나의 노이즈를 제거할 수 있다.

프로세서(31)는 수신된 음성 정보, 심박 정보 및 가속도 정보 중 적어도 하나에 기초하여 착용자의 상태에 이상이 있는지 1차적으로 판단한다. 수신된 음성 정보, 심박 정보 및 가속도 정보 중 적어도 하나가 기 설정된 정상기준과 매칭되지 않는 경우 이상상태인 것으로 판단한다. 이상상태로 판단된 경우, 프로세서(31)는 통신부(33)를 통해 사용자 단말(40)에 착용자의 상태를 전송한다.

프로세서(31)는 노이즈가 제거된 음성 정보, 심박 정보 및 가속도 정보 중 적어도 하나를 이용하여 이미지 정보를 생성한다. 일 실시예에서, 음성 정보 및 심박 정보는 STFT(Short Time Fourier Transform)을 통해 스펙트로그램 형태로 이미지화될 수 있다. 다만, 이에 한정되는 것은 아니며, 공지된 다양한 이미지화 방법이 사용될 수 있다. 일 실시예에서, 가속도 정보는 라인그래프 형태로 이미지화될 수 있다.

프로세서(31)는 음성 정보, 심박 정보 및 가속도 정보 중 적어도 하나를 이용하여 생성된 이미지 정보에 대한 전처리를 수행한다. 일 실시예에서, 이미지에서 특징적인 정보가 포함된 영역(ROI)만을 추출하는 전처리가 수행될 수 있다. 예를 들어, 음성이 감지되지 않은 부분, 심박이 감지되지 않은 부분, 가속도 변화가 감지되지 않은 부분을 제외할 수 있다.

프로세서(31)는 전처리된 이미지 정보를 상태탐지모델(32)에 입력하여 착용자의 상태를 도출할 수 있다.

상태탐지모델(32)은 전처리된 이미지 정보에 기초하여 착용자의 상태를 분류하도록 머신러닝(Machine Learning)을 통해 학습된 모델일 수 있다.

도 2를 참조하면, 상태탐지모델(32)이 학습되는 과정이 개념적으로 도시된다.

상태탐지모델(32)은 감정상태탐지모델(321) 및 동작상태탐지모델(322)을 포함할 수 있다.

감정상태탐지모델(321)은 전처리된 이미지 정보에서 특징을 추출해 착용자의 감정상태를 분류하도록 학습된다. 착용자의 감정상태는 복수 개의 상태로 분류될 수 있다. 예를 들어, 착용자의 상태는 스트레스와 보통으로 분류될 수 있으며, 배고픔, 분노, 두려움, 보통, 기쁨 등과 같이 보다 세분화되어 분류될 수 있다.

음성 정보에 기초하여 생성된 이미지 정보에 대해서 전처리를 수행하고, 전처리된 이미지 정보에 대해서 복수 개의 상태로 라벨링을 수행하여 학습데이터를 생성할 수 있다. 생성된 학습데이터에 기초하여 지도학습을 수행하여 감정상태탐지모델(321)을 생성할 수 있다. 지도학습에는 CNN(Convolution Nueral Network) 알고리즘이 사용될 수 있다.

또한, 심박 정보에 기초하여 생성된 이미지 정보에 대해서 전처리를 수행하고, 전처리된 이미지 정보에 대해서 복수 개의 상태로 라벨링을 수행하여 학습데이터를 생성할 수 있다. 나아가, 음성 정보 및 심박 정보 모두에 대한 이미지 정보에 대해서 전처리를 수행하고, 전처리된 이미지 정보에 대해서 복수 개의 상태로 라벨링을 수행하여 학습데이터를 생성할 수 있다.

즉, 감정상태탐지모델(321)은 음성 정보, 심박 정보 또는 음성 정보와 심박 정보 모두에 기초하여 착용자의 상태를 분류하도록 학습될 수 있다.

동작상태탐지모델(322)은 전처리된 이미지 정보에서 특징을 추출해 착용자의 동작상태를 분류하도록 학습된다. 착용자의 동작상태는 복수 개의 상태로 분류될 수 있다. 예를 들어, 착용자의 상태는 뒤집힘과 정상 상태로 분류될 수 있다. 또한, 착용자의 상태는 발버둥, 뒤집힘 및 정상 상태로 분류될 수 있다.

음성 정보 및 가속도 정보 모두에 기초하여 생성된 이미지 정보에 대해서 전처리를 수행하고, 전처리된 이미지 정보에 대해서 복수 개의 상태로 라벨링을 수행하여 학습데이터를 생성할 수 있다. 생성된 학습데이터에 기초하여 지도학습을 수행하여 동작상태탐지모델(322)을 생성할 수 있다. 지도학습에는 CNN(Convolution Nueral Network) 알고리즘이 사용될 수 있다.

영유아의 경우, 자세가 변경됨에 따라 위험이 발생될 수 있다. 또한, 말을 할 수 없으니 몸부림치는 등의 행동을 통해 상태를 표출하는 경우도 많다. 영유아가 뒤집히는 경우 가속도 변화가 발생될 것이며, 음성의 패턴이나 크기 역시 변화될 것이므로, 음성 정보와 가속도 정보를 이용하여 영유아의 동작상태를 분류할 수 있다. 또한, 몸부림치는 등의 행동이 발생된 경우도 가속도가 변화가 빈번히 발생되며, 울음 등을 통해 음성을 표출하므로, 음성 정보와 가속도 정보를 이용하여 영유아의 동작상태를 분류할 수 있다.

도 3을 참조하면, CNN(Convolution Nueral Network) 알고리즘을 이용해 학습하는 과정이 개념적으로 도시된다.

일 실시 예에서, 상태탐지모델(32)은 DCNN(deep convolutional neural network)에 의해 학습될 수 있다. 예를 들어, 상태탐지모델(32)은 컨볼루션 레이어 2개와 ReLU레이어 1개, Pooling레이어 1개로 이루어진 레이어 집합을 적어도 2개 이상 포함할 수 있다. 예컨대, 상태탐지모델(32)은 콘볼루션 신경망을 기반으로 계층들이 주를 이루어서 구성될 수 있다. 예를 들어, 상태탐지모델(32)은 총 20개의 계층들이 용도에 따라 구성이 다를 수 있다. 이는 대량의 이미지 정보를 학습할 때 높은 정확도로 학습되게 하고, 일반적인 CNN에 비해 과적합 문제를 효과적으로 해결하는 이점이 있다. 우선 컨볼루션 레이어 2개와 ReLU레이어 1개, Pooling레이어 1개로 이루어진 집합이 입력된 이미지 정보를 학습한다. 이 과정을 다수 반복하여서 정밀하고 깊은 수준의 인자까지 고려하여 학습이 이루어질 수 있다. 이 후 완전 연결 계층(Fully connected layer)을 통해 최종적으로 다차원의 이미지 정보를 1차원으로 변화시켜 출력할 수 있다.

다시 도 1을 참조하면, 프로세서(31)는 웨어러블 장치(10)로부터 수신된 정보, 이미지화되어 전처리된 정보, 상태탐지모델(32)에 의해 분류된 정보 중 적어도 하나를 데이터베이스부(34)에 저장할 수 있다.

또한, 프로세서(31)가 통신부(33)를 통해 웨어러블 장치(10)로부터 음성 정보, 심박 정보 및 가속도 정보를 수신하는 경우, 음성 정보, 심박 정보 및 가속도 정보가 감지된 시간 정보가 함께 수신될 수 있다.

본 발명의 실시예에 따른 영유아 모니터링 시스템은 모티러이 서버(30)와 통신 가능하게 연결되는 영상센서(20)를 포함하며, 영상센서(20)는 착용자의 영상을 감지하도록 구성된다.

프로세서(31)는 통신부(33)를 통해 영상센서(20)로부터 감지된 영상정보를 지속적으로 수신한다.

상태탐지모델(32)을 통해 이상상태가 도출된 경우, 프로세서(31)는 이상상태가 시작된 시발점을 특정하고, 수신된 영상정보 중 시발점 이후의 영상정보를 분류한다.

또한, 이상상태가 도출된 경우, 프로세서(31)는 사용자 단말(40)에 착용자의 상태와 함께 시발점 이후의 영상정보를 전송한다.

사용자 단말(40)은 프로세서(41), 통신부(42) 및 데이터베이스부(43)를 포함한다.

프로세서(41)는 사용자 단말(40)의 구성들을 제어하도록 구성된다. 프로세서(41)는 통신부(42)를 통해 웨어러블 장치(10) 및 모니터링 서버(30)와 정보를 송수신한다.

프로세서(41)에서 연산된 정보 및 모니터링 서버(30)로부터 수신된 정보는 데이터베이스부(43)에 저장될 수 있다.

모니터링 서버(30)로부터 착용자의 상태가 수신되고, 착용자의 상태가 이상상태인 경우, 프로세서(41)는 웨어러블 장치(10)로 제어명령을 전송할 수 있다. 또한, 프로세서(41)는 모니터링 서버(30)를 경유하여 웨어러블 장치(10)로 제어명령을 전송할 수 있다.

제어명령을 수신한 웨어러블 장치(10)의 프로세서(14)는 제어명령에 기초하여 발열부(17), 스피커(18) 및 마사지부(19)를 제어할 수 있다.

프로세서(14, 31, 41)는, 하드웨어적으로, ASICs(applicationspecific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

또한, 소프트웨어적으로, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부에 의해 실행될 수 있다.

통신부(15, 33, 42)는 유선통신모듈, 무선통신모듈 및 근거리통신모듈 중 적어도 하나를 통해 구현될 수 있다. 무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로 각 장치에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), LTE(long term evolution), LTE-A(Long Term Evolution-Advanced) 등이 이용될 수 있다.

데이터베이스부(16, 34, 43)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(harddisk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 데이터베이스는 웹 데이터베이스의 형태로 구현될 수 있다.

도 4를 참조하면, 상태탐지모델(32)의 학습과정이 구체적으로 도시된다.

상태탐지모델(32)은 모니터링 서버(30) 내에서 학습될 수 있다. 다만, 이에 한정되는 것은 아니며, 상태탐지모델(32)은 모니터링 서버(30)의 외부에서 학습되어 모니터링 서버(30)에 제공될 수 있다.

먼저, 음성 정보, 심박 정보 및 가속도 정보 중 적어도 하나에 대한 정보를 포함하는 이미지 정보에 대한 전처리를 수행한다(S10).

일 실시예에서, 전처리는 이미지에서 특징적인 정보가 포함된 영역(ROI, Region Of Interest)만을 추출하는 것일 수 있다. 예를 들어, 음성이 감지되지 않은 부분, 심박이 감지되지 않은 부분, 가속도 변화가 감지되지 않은 부분을 제외할 수 있다.

전처리가 완료되면, 전처리된 이미지 정보를 이용하여 학습데이터셋을 생성한다(S20).

상술한 바와 같이, 음성 정보 및 심박 정보 중 적어도 하나를 포함하는 이미지 정보를 이용하여 학습데이터셋을 생성할 수 있다. 이미지 정보에 대해 라벨링을 통해 학습데이터셋이 생성된다. 일 실시예에서, 전처리된 이미지 정보는 착용자의 감정상태에 대해 복수 개로 분류된 상태로 라벨링될 수 있다.

상술한 바와 같이, 음성 정보 및 가속도 정보 중 적어도 하나를 포함하는 이미지 정보를 이용하여 학습데이터셋을 생성할 수 있다. 이미지 정보에 대한 라벨링을 통해 학습데이터셋이 생성된다. 일 실시예에서, 전처리된 이미지 정보는 착용자의 동작상태에 대해 복수 개로 분류된 상태로 라벨링될 수 있다.

학습데이터셋 생성이 완료되면, 학습데이터셋을 이용하여 상태탐지모델(32)을 생성한다(S30).

상태탐지모델(32)은 감정상태탐지모델(321) 및 동작상태탐지모델(322)을 포함할 수 있다.

상태탐지모델의 학습에는 CNN(Convolution Neural Network) 알고리즘이 사용될 수 있다.

도 5를 참조하면, 본 발명의 실시예에 따른 영유아 모니터링 방법(S2)의 구체적인 과정이 도시된다.

먼저, 웨어러블 장치(10)가 착용자의 음성 정보, 심박 정보 및 가속도 정보 중 적어도 하나를 감지한다(S40).

웨어러블 장치(10)의 음성 센서(11), 심박 센서(12) 및 가속도 센서(13) 각각이 음성 정보, 심박 정보 및 가속도 정보를 각각 감지한다.

도 6을 참조하면, 웨어러블 장치(10)가 각각의 정보를 감지하는 과정이 구체적으로 도시된다.

음성 센서(11)가 착용자의 음성 정보를 감지하고(S41), 심박 센서(12)가 착용자의 심박 정보를 감지하며(S42), 가속도 센서가 착용자의 가속도 정보를 감지한다(S43).

음성 정보, 심박 정보 및 가속도 정보 중 적어도 하나가 감지되면, 웨어러블 장치(10)가 감지된 정보를 모니터링 서버(30)로 전송한다(S44).

다시 도 5를 참조하면, 모니터링 서버(30)가 수신된 음성 정보, 심박 정보 및 가속도 정보 중 적어도 하나를 이용하여 착용자의 상태를 탐지한다(S50).

도 7을 참조하면, 착용자의 상태를 탐지하는 과정이 구체적으로 도시된다.

먼저, 모니터링 서버(30)가 감지된 음성 정보, 심박 정보 및 가속도 정보 중 적어도 하나에 기초하여 노이즈를 제거한다(S51).

도 8을 참조하면, 음성 정보로부터 노이즈를 제거하는 과정의 일 실시예가 도시된다.

2개의 웨어러블 장치(10)가 착용자에게 부착되며, 각각의 웨어러블 장치(10)에는 음성 센서(11)인 제1 음성 센서와 제2 음성 센서가 각각 포함된다.

모니터링 서버(30)는 제1 음성 센서로부터 감지된 제1 음성 정보를 수신하고(S511), 제2 음성 센서로부터 감지된 제2 음성 정보를 수신한다(S512).

제1 음성 정보 및 제2 음성 정보가 수신되면, 모니터링 서버(30)가 제1 음성 정보와 제2 음성 정보의 매칭도를 판단하고, 매칭도가 기 설정된 기준 이상인지 판단한다(S513).

매칭도는 제1 음성 정보의 패턴과 제2 음성 정보의 패턴이 일치하는 정도에 기초하여 산출될 수 있다.

착용자의 음성이 발화되는 지점과 제1 음성 정보가 수신되는 지점 사이의 거리와 음성이 발화되는 지점과 제2 음성 정보가 감지되는 지점 사이의 거리가 상이하므로, 감지되는 음성의 크기에 대한 보정이 수행된 이후에 패턴의 일치하는 정도를 산출할 수 있다.

음성 정보에 포함된 파형을 복수 개의 서브 파형으로 분류한 뒤, 제1 음성 정보와 제2 음성 정보의 서브 파형들을 각각 매칭시킬 수 있다. 차이나는 정도가 오차범위를 초과하는 서브 파형의 개수들에 기초하여 전체 매칭도를 산출할 수 있다.

매칭도가 기 설정된 기준 이상인 경우, 모니터링 서버(30)는 제1 음성 정보 및 제2 음성 정보 중 어느 하나를 음성 정보로 결정한다(S514).

일 실시예에서, 착용자의 발화지점과 보다 인접하게 위치된 음성 센서에서 감지된 정보를 음성 정보로 결정할 수 있다.

매칭도가 기 설정된 기준 미만인 경우, 모니터링 서버(30)는 제1 음성 정보 및 제2 음성 정보를 삭제한다(S515).

도 9 내지 도 10을 참조하면, 음성 정보로부터 노이즈를 제거하는 다른 실시예의 구체적인 과정이 도시된다.

먼저, 2개의 웨어러블 장치(10)가 착용자에게 부착되며, 각각의 웨어러블 장치(10)에는 음성 센서(11)인 제1 음성 센서와 제2 음성 센서가 각각 포함된다.

모니터링 서버(30)는 제1 음성 센서로부터 감지된 제1 음성 정보를 수신하고(S516), 제2 음성 센서로부터 감지된 제2 음성 정보를 수신한다(S517).

제1 음성 정보 및 제2 음성 정보가 수신되면, 모니터링 서버(30)가 제1 음성 정보 및 제2 음성 정보에 기초하여 노이즈를 제거한 음성 정보를 생성한다(S518).

도 10을 참조하면, 제1 음성 정보 및 제2 음성 정보에 기초하여 노이즈를 제거하는 구체적인 과정이 도시된다.

먼저, 모니터링 서버(30)가 제1 음성 정보 및 제2 음성 정보의 크기를 비교하여 기준 비율 범위를 도출한다(S5181).

기준 비율 범위는 평균적인 크기 비율에서 기 설정된 오차범위를 적용하여 생성될 수 있다.

기준 비율 범위가 도출되면, 모니터링 서버(30)가 기준 비율 범위를 벗어나는 노이즈를 제거하여 음성 정보를 생성한다(S5182).

착용자의 발화점이 아닌 노이즈 발생 지점에서 발생되어 감지된 음성의 경우, 제1 음성 센서와 노이즈 발생 지점 사이의 거리와 제2 음성 센서와 노이즈 발생 지점 사이의 거리 비율이 달라진다.

따라서, 기 설정된 비율 범위를 벗어나는 노이즈가 특정되어 제거될 수 있다.

도 11을 참조하면, 심박 정보로부터 노이즈를 제거하는 과정의 일 실시예가 도시된다.

2개의 웨어러블 장치(10)가 착용자에게 부착되며, 각각의 웨어러블 장치(10)에는 심박 센서(12)인 제1 심박 센서와 제2 심박 센서가 각각 포함된다.

모니터링 서버(30)는 제1 심박 센서로부터 감지된 제1 심박 정보를 수신하고(S511a), 제2 심박 센서로부터 감지된 제2 심박 정보를 수신한다(S512a).

제1 심박 정보 및 제2 심박 정보가 수신되면, 모니터링 서버(30)가 제1 심박 정보와 제2 심박 정보의 매칭도를 판단하고, 매칭도가 기 설정된 기준 이상인지 판단한다(S513a).

매칭도는 제1 심박 정보의 패턴과 제2 심박 정보의 패턴이 일치하는 정도에 기초하여 산출될 수 있다.

심박 정보에 포함된 패턴을 복수 개의 서브 패턴으로 분류한 뒤, 제1 심박 정보와 제2 심박 정보의 서브 패턴들을 각각 매칭시킬 수 있다. 차이나는 정도가 오차범위를 초과하는 서브 패턴의 개수들에 기초하여 전체 매칭도를 산출할 수 있다.

매칭도가 기 설정된 기준 이상인 경우, 모니터링 서버(30)는 제1 심박 정보 및 제2 심박 정보 중 어느 하나를 심박 정보로 결정한다(S514a).

일 실시예에서, 착용자의 심장과 보다 인접하게 위치된 심박 센서에서 감지된 정보를 심박 정보로 결정할 수 있다.

매칭도가 기 설정된 기준 미만인 경우, 모니터링 서버(30)는 제1 심박 정보 및 제2 심박 정보를 삭제한다(S515a).

도 12를 참조하면, 심박 정보로부터 노이즈를 제거하는 과정의 다른 실시예가 도시된다.

먼저, 모니터링 서버(30)가 심박 센서(12)에서 감지된 심박 정보 및 가속도 센서(13)에서 감지된 가속도 정보를 수신한다(S511b).

심박 정보 및 가속도 정보가 수신되면, 모니터링 서버(30)가 심박 사이의 시간에 기초하여 1차 노이즈를 제거한다(S512b).

심박 사이의 시간간격의 평균을 산출한 후 오차범위를 더하여 기준 시간간격을 산출하고, 심박 사이의 시간 간격 중 기준 시간 간격을 벗어나는 시간 간격의 개수에 기초하여 노이즈 여부를 결정할 수 있다.

기준 시간 간격을 벗어나는 시간 간격의 개수가 과도하게 많은 경우, 노이즈로 판단하고 심박 정보를 삭제한다.

모니터링 서버(30)는 가속도 정보에 기초하여 2차 노이즈를 제거한다(S513b).

영유아가 적극적으로 활동하는 경우, 심박 센서(12)가 이를 심장박동으로 인식하는 경우가 발생하여 정확도가 저감될 수 있다.

영유아가 적극적으로 활동하는 경우 가속도 변화가 감지되므로, 가속도 변화 패턴을 분석하여 심장 박동으로 오인된 노이즈를 2차적으로 제거할 수 있다.

이외에도, 모니터링 서버(30)는 압축센싱(Compressive Sesning) 기술을 이용하여 음성 센서(11) 및 심박 센서(12)가 감지한 정보로부터 노이즈를 제거할 수 있다. 일 실시예에서, 압축센싱 알고리즘으로 LARS 알고리즘이 사용될 수 있다.

또한, 상태탐지모델(32)은 노이즈가 제거된 정보들을 이용하여 학습될 수 있다.

다시 도 7을 참조하면, 노이즈가 제거된 이후에, 모니터링 서버(30)가 노이즈가 제거된 음성 정보, 심박 정보 및 가속도 정보 중 적어도 하나를 이용하여 1차적으로 착용자의 상태를 탐지한다(S52).

과도하게 높은 크기나 주파수의 음성이 발생된 경우, 심박이 과도하게 크거나 빠르게 측정된 경우, 가속도 변화가 과도하게 발생되는 경우, 영유아가 이상상태인 것으로 판단할 수 있다. 즉, 기준 크기 및 기준 주파수를 초과하는 음성이 감지된 경우, 기준 크기 및 기준 박동수를 초과하는 심박 정보가 감지된 경우, 기준 가속도 크기 변화나 기준 가속도 방향 변화 횟수를 초과하는 가속도 정보가 감지된 경우, 영유아가 이상상태인 것으로 판단할 수 있다.

1차적인 판단에서 영유아가 이상상태인 것으로 판단된 경우, 모니터링 서버(30)는 판단된 착용자의 상태를 사용자 단말(40)에 전송한다(S58).

1차적인 판단에서 영유아가 정상상태인 것으로 판단된 경우, 모니터링 서버(30)는 음성 정보, 심박 정보 및 가속도 정보 중 적어도 하나를 이용해 이미지 정보를 생성한다(S54).

이미지 정보가 생성되면, 모니터링 서버(30)는 이미지 정보를 전처리한다(S55).

이미지 정보를 생성하는 과정 및 이미지 정보를 전처리하는 과정은 상술한 바, 도 1 내지 도 3을 참조한 설명에 갈음한다.

전처리가 완료되면, 모니터링 서버(30)가 전처리된 이미지 정보를 상태탐지모델(32)에 입력하여 착용자의 상태를 분류한다(S56).

도 13을 참조하면, 착용자의 상태를 분류하는 과정의 구체적인 흐름이 도시된다.

모니터링 서버(30)는 음성 정보 및 심박 정보 중 적어도 하나를 포함하여 생성된 전처리된 이미지 정보를 감정상태탐지모델(321)에 입력하여 착용자의 감정상태를 분류한다(S561).

감정상태탐지모델(321)은 입력된 이미지 정보를 복수 개의 감정상태로 분류하며, 복수 개의 감정상태 중 일부는 이상상태로 기 설정될 수 있다.

모니터링 서버(30)는 음성 정보 및 가속도 정보 중 적어도 하나를 포함하여 생성된 전처리된 이미지 정보를 동작상태탐지모델(322)에 입력하여 착용자의 동작상태를 분류한다(S562).

동작상태탐지모델(322)은 입력된 이미지 정보를 복수 개의 동작상태로 분류하며, 복수 개의 동작상태 중 일부는 이상상태로 기 설정될 수 있다.

다시 도 7을 참조하면, 분류된 상태가 이상상태인 경우, 모니터링 서버(30)가 사용자 단말(40)에 분류된 착용자의 상태를 전송한다(S58).

도 14를 참조하면, 사용자 단말(40)에 분류된 착용자의 상태를 전송하는 과정이 구체적으로 도시된다.

먼저, 모니터링 서버(30)가 이상상태가 발생된 시간을 특정한다(S581). 이상상태가 발생된 시발점이 특정되면, 모니터링 서버(30)가 이상상태가 발생된 시점 이후의 영상 정보 및 사용자의 상태를 사용자 단말(40)로 전송한다(S582).

다시 도 5를 참조하면, 모니터링 서버(30)에 의해 착용자의 상태가 탐지되어 사용자 단말(40)로 전송되면, 사용자 단말(40)이 웨어러블 장치(10)를 제어한다(S60).

도 15를 참조하면, 사용자 단말(40)이 웨어러블 장치를 제어하는 구체적인 과정이 도시된다.

먼저, 사용자 단말(40)이 웨어러블 장치(10)의 발열부(17)를 제어할 수 있다(S61).

사용자 단말(40)에 착용자가 이상상태임이 제공된 경우, 사용자 단말(40)은 웨어러블 장치(10)로 발열부(17)의 제어명령을 전송할 수 있다.

웨어러블 장치(10)는 제어명령을 수신하며, 제어명령에 기초하여 발열부(17)가 착용자가 안정감을 갖을 수 있는 온도로 발열되도록 제어할 수 있다. 발열부(17)가 발열되는 온도는 기 설정될 수 있다.

사용자 단말(40)이 웨어러블 장치(10)의 스피커(18)를 제어할 수 있다(S62).

사용자 단말(40)에 착용자가 이상상태임이 제공된 경우, 사용자 단말(40)은 웨어러블 장치(10)로 스피커(18)의 제어명령을 전송할 수 있다.

웨어러블 장치(10)는 제어명령을 수신하며, 제어명령에 기초하여 스피커(18)가 착용자가 안정감을 갖을 수 있는 소리를 발화하도록 제어할 수 있다. 스피커(18)가 발화하는 소리는 기 설정될 수 있으며, 착용자가 선호하는 소리들로 구성될 수 있다.

사용자 단말(40)이 웨어러블 장치(10)의 마사지부(19)를 제어할 수 있다(S63).

웨어러블 장치(10)는 제어명령을 수신하며, 제어명령에 기초하여 마사지부(19)가 착용자에게 기 설정된 패턴으로 압력을 가하도록 제어할 수 있다. 기 설정된 패턴은 착용자가 안정감을 찾을 수 있도록 구성될 수 있다.

이상에서 전술한 본 발명의 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10: 웨어러블 장치
20: 영상센서
30: 모니터링 서버
40: 사용자 단말

Claims (10)

1. 통신부;
   데이터베이스부; 및
   적어도 하나의 프로세서를 포함하고,
   상기 적어도 하나의 프로세서는,
   상기 통신부를 통해, 착용자에게 착용된 웨어러블 장치가 감지한 음성 정보, 심박 정보 및 가속도 정보를 수신하고,
   상기 음성 정보, 상기 심박 정보 및 상기 가속도 정보 중 적어도 하나를 이용하여 이미지 정보를 생성하며,
   상기 이미지 정보를 상태탐지모델에 입력하여 상기 착용자의 상태를 분류하고,
   상기 상태탐지모델은 상기 이미지 정보를 포함하도록 구성된 학습데이터셋을 지도학습하여 생성된 분류모델인,
   영유아 모니터링 서버.
2. 제1항에 있어서,
   상기 적어도 하나의 프로세서는,
   상기 음성 정보, 상기 심박 정보 및 상기 가속도 정보 중 적어도 하나를 이용하여 1차적으로 착용자의 상태를 탐지하고,
   상기 이미지 정보를 상기 상태탐지모델에 입력하여 2차적으로 착용자의 상태를 탐지하는,
   영유아 모니터링 서버.
3. 제2항에 있어서,
   상기 적어도 하나의 프로세서는,
   상기 음성 정보에 기준음성값 이상의 크기나 주파수가 포함된 경우, 착용자의 상태를 이상상태로 판단하고,
   상기 심박 정보에 기준심박수 이상의 심박수가 포함된 경우, 착용자의 상태를 이상상태로 판단하며,
   상기 가속도 정보에 기준가속도변화값 이상의 가속도 변화가 포함된 경우, 착용자의 상태를 이상상태로 판단하고,
   이상상태로 판단된 경우, 상기 통신부를 통해 사용자 단말에 착용자의 상태를 제공하는,
   영유아 모니터링 서버.
4. 제3항에 있어서,
   상기 상태탐지모델은 감정상태탐지모델 및 동작상태탐지모델을 포함하고,
   상기 감정상태탐지모델은, 상기 음성 정보 및 심박 정보 중 적어도 하나를 포함하는 이미지 정보를 포함하도록 구성된 학습데이터셋을 지도학습하여 생성된 분류모델이며,
   상기 동작상태탐지모델은, 상기 음성 정보 및 가속도 정보 중 적어도 하나를 포함하는 이미지 정보를 포함하도록 구성된 학습데이터셋을 지도학습하여 생성된 분류모델인,
   영유아 모니터링 서버.
5. 제4항에 있어서,
   상기 적어도 하나의 프로세서는,
   상기 감정상태탐지모델 및 상기 동작상태탐지모델 중 적어도 하나가 착용자의 상태를 이상상태로 판단한 경우, 상기 통신부를 통해 사용자 단말에 착용자의 상태를 제공하는,
   영유아 모니터링 서버.
6. 제5항에 있어서,
   상기 적어도 하나의 프로세서는,
   상기 통신부를 통해 영상센서로부터 영상 정보를 수신하고,
   이상상태로 판단된 경우, 이상상태가 발생된 시점을 특정하며,
   상기 영상 정보 중 특정된 시점 이후의 정보를 상기 사용자 단말에 제공하는,
   영유아 모니터링 서버.
7. 제6항에 있어서,
   상기 적어도 하나의 프로세서는,
   상기 사용자 단말로부터 웨어러블 장치 제어신호를 수신하여 상기 웨어러블 장치로 전송하고,
   상기 제어신호는,
   상기 웨어러블 장치에 포함된 발열부의 발열제어신호;
   상기 웨어러블 장치에 포함된 스피커의 발화제어신호; 및
   상기 웨어러블 장치에 포함된 마사지부의 압력패턴제어신호 중
   적어도 하나를 포함하는,
   영유아 모니터링 서버.
8. 제7항에 있어서,
   상기 적어도 하나의 프로세서는,
   상기 발열제어신호는 상기 발열부가 기 설정된 온도로 발열되도록 하는 신호이고,
   상기 발화제어신호는 상기 스피커가 기 설정된 음성패턴을 발화하도록 하는 신호이며,
   상기 압력패턴제어신호는 상기 마사지부가 기 설정된 압력패턴으로 상기 착용자를 가압하도록 하는 신호인,
   영유아 모니터링 서버.
9. 컴퓨터에 의해 수행되는 영유아 모니터링 방법에 있어서,
   착용자에게 착용된 웨어러블 장치가 감지한 음성 정보, 심박 정보 및 가속도 정보를 수신하는 단계;
   상기 음성 정보, 상기 심박 정보 및 상기 가속도 정보 중 적어도 하나를 이용하여 이미지 정보를 생성하는 단계; 및
   상기 이미지 정보를 상태탐지모델에 입력하여 상기 착용자의 상태를 분류하는 단계를 포함하고,
   상기 상태탐지모델은 상기 이미지 정보를 포함하도록 구성된 학습데이터셋을 지도학습하여 생성된 분류모델인,
   영유아 모니터링 방법.
10. 하드웨어인 컴퓨터와 결합되며, 제9항의 방법을 실행하기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된,
    프로그램.
    

Images