KR102359344B1 - 인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 시스템 및 그 방법 - Google Patents
인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR102359344B1 KR102359344B1 KR1020210121678A KR20210121678A KR102359344B1 KR 102359344 B1 KR102359344 B1 KR 102359344B1 KR 1020210121678 A KR1020210121678 A KR 1020210121678A KR 20210121678 A KR20210121678 A KR 20210121678A KR 102359344 B1 KR102359344 B1 KR 102359344B1
- Authority
- KR
- South Korea
- Prior art keywords
- infants
- toddlers
- information
- infant
- psychological
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 29
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 18
- 238000004458 analytical method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 title claims abstract description 13
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 40
- 230000033001 locomotion Effects 0.000 claims abstract description 23
- 230000006399 behavior Effects 0.000 claims abstract description 17
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 5
- 230000001939 inductive effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000003542 behavioural effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 208000001836 Firesetting Behavior Diseases 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 235000019577 caloric intake Nutrition 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0453—Sensor means for detecting worn on the body to detect health condition by physiological monitoring, e.g. electrocardiogram, temperature, breathing
-
- G—PHYSICS
- G04—HOROLOGY
- G04G—ELECTRONIC TIME-PIECES
- G04G21/00—Input or output devices integrated in time-pieces
- G04G21/02—Detectors of external physical values, e.g. temperature
- G04G21/025—Detectors of external physical values, e.g. temperature for measuring physiological data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
- G08B21/0211—Combination with medical sensor, e.g. for measuring heart rate, temperature
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0277—Communication between units on a local network, e.g. Bluetooth, piconet, zigbee, Wireless Personal Area Networks [WPAN]
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Child & Adolescent Psychology (AREA)
- Emergency Management (AREA)
- Biophysics (AREA)
- Tourism & Hospitality (AREA)
- Cardiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physiology (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Pulmonology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physical Education & Sports Medicine (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Toys (AREA)
Abstract
본 발명은 영유아의 생체정보와 위치정보를 생성하는 웨어러블장치, 설정된 보육환경을 촬영하여 영유아를 식별하기 위한 영상정보를 생성하는 촬영장치. 촬영수단을 구비하여 촬영장치의 사각지대를 커버하고 이상행동으로 예측된 영유아에게 대화를 유도하여 영유아의 심리정보를 생성하는 이동로봇 및 영유아에 관한 수집된 정보와 학습데이터를 이용하여 영유아의 사각지대 이동, 이상행동 및 심리상태를 통합적으로 모니터링하는 서버를 포함하는 인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 시스템 및 그 방법을 개시한다.
Description
본 발명은 인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 인공지능을 기반으로 영유아의 사각지대 이동, 이상행동 및 심리상태를 통합적으로 모니터링하는 기술에 관한 것이다.
사회적으로 이슈가 되고 있는 영유아에 대한 가정폭력과 보육교사의 학대에 대하여 아이들의 건강상태 및 심리상태를 모니터링하고, 아이들을 보호하기 위한 사회적 장치가 필요하며, 지속적인 가정폭력으로 인해 학대 받고 있는 아이들의 건강상태와 심리 상태에 대한 모니터링이 필요하다.
최근에는 보육 시설을 이용하는 영유아의 비율이 매년 지속적으로 증가하여 영유아 안전사고 비율이 증가하고 있으나, 안전지침교육과 현장 보육 담당자를 통한 한정적/사후적 안전사고대응만 제공하는 실정이다.
종래에는 선행기술로 기재된 특허문헌과 같이 영유아의 건강상태를 모니터링하거나, 영유아의 스트레스 등 심리상태를 모니터링하기 위한 웨어러블 디바이스와 같은 스마트 밴드를 이용한다.
그러나 종래에는 일부 영유아가 자신의 신체에 착용된 웨어러블 디바이스를 제거할 수 있고, 웨어러블 디바이스가 제거된 상태에 이상행동 또는 보육환경 외의 다른 곳으로 이탈할 수 있으며, 이상행동 또는 이탈에 의해 영유아에게 위험이 발생할 수 있는 문제점이 있다.
종래에는 웨어러블 디바이스, CCTV, 챗봇 또는 모니터링서버를 이용하여 영유아의 상태를 모니터링할 수 있다. 그러나 종래에는 모니터링서버로 웨어러블 디바이스, CCTV 및 챗봇 간의 유기적 동작을 제어하여 영유아의 사각지대 이동, 이상행동 및 심리상태를 통합적으로 모니터링하는 기술이 미비한 실정이다.
상기 문제점을 해결하기 위하여 본 발명은 웨어러블장치의 위치정보를 이용하여 영유아의 이탈유무를 판별하고, 촬영장치와 이동로봇의 협업을 통하여 영유아의 이탈을 판별하여 웨어러블장치를 제거한 영유아의 이탈을 모니터링하는 인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 시스템 및 그 방법을 제공한다.
본 발명은 서버로 웨어러블장치, 촬영장치 및 이동로봇 간의 유기적 동작을 제어하여 영유아의 사각지대 이동, 이상행동 및 심리상태를 통합적으로 모니터링하는 인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 시스템 및 그 방법을 제공한다.
상기의 해결하고자 하는 과제를 위한 본 발명의 실시예에 따른 인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 시스템은, 영유아의 생체정보와 위치정보를 생성하는 웨어러블장치(100); 설정된 보육환경을 촬영하여 영유아를 식별하기 위한 영상정보를 생성하는 촬영장치(200); 촬영수단을 구비하여 촬영장치의 사각지대를 커버하고, 이상행동으로 예측된 영유아에게 대화를 유도하여 영유아의 심리정보를 생성하는 이동로봇(300) 및 상기 웨어러블장치, 촬영장치 및 이동로봇에서 생성된 정보를 수집하고, 유아의 식별과 이상행동에 관한 학습데이터를 이용하여 수집된 정보를 분석하며, 영유아의 이상행동으로 판별하면 이동로봇의 동작을 제어하기 위한 제어명령을 생성하는 서버(400)를 포함하고, 상기 서버는 심리상태에 관한 학습데이터, 제어명령 처리에 따른 심리정보 및 생체정보를 이용하여 영유아의 심리상태를 판별하여, 영유아의 사각지대 이동, 이상행동 및 심리상태를 통합적으로 모니터링하는 것을 특징으로 한다.
상기 서버는 영유아의 심리상태를 이상으로 판별하거나 사각지대로 영유아의 이동을 판별하면 이벤트정보를 생성하며, 이벤트정보를 설정된 단말기(500)에게 제공하는 것을 특징으로 할 수 있다.
상기 서버는, 상기 촬영장치와 이동로봇에서 촬영된 실시간 영상을 단말기에게 제공하는 제1 제공모드; 상기 실시간 영상에서 영유아를 식별하고, 영유아가 존재하는 프레임을 독출하여 시계열적 순서로 분류하며, 시계열적 순서로 분류된 영유아별 식별영상을 생성하고, 영유아별 매칭되는 설정된 단말기에게 식별영상을 제공하는 제2 제공모드 및 상기 영유아의 심리상태를 이상으로 판별하거나 사각지대로 영유아의 이동을 판별할 때 이벤트의 발생원인을 분석하고, 이벤트 발생원인을 포함하는 이벤트정보를 설정된 단말기에게 제공하는 제3 제공모드로 동작하는 것을 특징으로 할 수 있다.
상기 서버는 사각지대에 위치하는 영유아의 영상을 이용하여 영유아의 일시적 이동인지 또는 영유아의 이상행동인지 판별하고, 사각지대에서 영유아의 이상행동으로 판별하면 영유아의 심리상태를 알아내기 위한 제어명령을 생성하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 따른 영유아의 생체정보와 위치정보를 생성하는 웨어러블장치; 설정된 보육환경을 촬영하여 유아를 식별하기 위한 영상정보를 생성하는 촬영장치; 촬영수단을 구비하여 촬영장치의 사각지대를 커버하고, 이상행동으로 예측된 영유아에게 대화를 유도하여 영유아의 심리정보를 생성하는 이동로봇 및 상기 보육환경의 구역별로 설치된 각각의 촬영장치로부터 영상정보를 수신하고, 복수의 영상정보를 분석하여 영유아를 식별하는 서버를 포함하는 모니터링 시스템을 이용한 인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 방법은, 상기 서버가 복수의 영상정보의 특정 프레임에서 동시에 영유아를 미식별하면 특정 프레임에서 최단으로 가깝고 영유아를 식별한 식별 프레임을 참조하여 좌표정보를 생성하는 단계 및 상기 서버가 좌표정보를 포함하는 제어명령을 이동로봇에게 제공하는 단계를 포함하여, 상기 촬영장치와 이동로봇의 협업을 통하여 영유아의 이탈을 모니터링하는 것을 특징으로 한다.
본 발명은 촬영장치와 이동로봇의 협업을 통하여 웨어러블장치를 제거한 영유아의 이탈을 모니터링할 수 있고, 영유아의 이탈에 의해 발생할 수 있는 위험요소를 제거할 수 있으며, 현실적으로 보육교사 인원부족의 한계 극복을 통한 보육시설 안정성 확보와 보육교사와 부모간의 상호 신뢰감을 증대시킬 수 있는 해결수단으로 작용할 수 있다.
본 발명은 서버로 웨어러블장치, 촬영장치 및 이동로봇 간의 유기적 동작을 제어함으로써, 영유아의 사각지대 이동, 이상행동 및 심리상태를 통합적으로 모니터링할 수 있고, 영유아의 상태를 예측하여 효율적으로 대응할 수 있는 보육환경을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 시스템을 도시한 것이다.
도 2는 도 1의 웨어러블장치의 동작을 상세히 도시한 것이다.
도 3은 도 1의 이동로봇의 동작을 상세히 도시한 것이다.
도 4는 도 1의 서버의 동작을 상세히 도시한 것이다.
도 5는 보육시설 내 위험 지정구역을 설정하는 화면을 도시한 예이다.
도 6은 자세추정 모델을 이용하여 영유아의 이상행동을 분석하는 화면을 도시한 예이다.
도 2는 도 1의 웨어러블장치의 동작을 상세히 도시한 것이다.
도 3은 도 1의 이동로봇의 동작을 상세히 도시한 것이다.
도 4는 도 1의 서버의 동작을 상세히 도시한 것이다.
도 5는 보육시설 내 위험 지정구역을 설정하는 화면을 도시한 예이다.
도 6은 자세추정 모델을 이용하여 영유아의 이상행동을 분석하는 화면을 도시한 예이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 실시예에 따른 인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 시스템을 도시한 것으로서, 인공지능 기반의 영유아 보육환경 모니터링 시스템(10)은 웨어러블장치(100), 촬영장치(200), 이동로봇(300), 서버(400) 및 단말기(500)를 포함한다.
웨어러블장치(100), 촬영장치(200) 및 이동로봇(300)은 영유아를 모니터링하기 위해 사용되는 장치이고, 영유아와 관련된 다양한 정보를 생성할 수 있다. 서버(400)는 웨어러블장치(100), 촬영장치(200) 및 이동로봇(300)을 통하여 수집된 정보와 기 저장된 학습데이터를 이용하여 인공지능(artificial intelligence) 기반의 영유아 모니터링 서비스를 제공한다. 인공지능은 인간의 생각이나 학습능력을 컴퓨터 프로그램으로 실현한 것으로서, 흔히 AI라고 불린다.
도 2는 도 1의 웨어러블장치의 동작을 상세히 도시한 것으로서, 웨어러블장치(100)는 영유아에게 착용 가능한 징치이고, 대표적으로 손목에 착용 가능한 스마트워치(smartwatch)이다. 웨어러블장치(100)는 영유아의 생체정보와 위치정보를 생성한다.
생체정보는 혈압, 맥박, 체온, 수면상태, 땀, 냄새, 칼로리 소모, 만보기, 침, 당뇨수치 또는 쾌적수치 등 영유아의 생체와 관련된 정보이다. 위치정보는 GPS, 자이로센서 또는 비콘신호를 이용하여 영유아의 위치를 나타낼 수 있는 정보이다.
웨어러블장치(100)는 온도, 습도, 햇빛, 기압 또는 바람 등 보육환경에 관한 환경정보를 생성할 수 있고, 환경정보는 위치정보를 포함할 수 있다. 생체정보와 환경정보는 영유아의 생각이나 행위를 분석하기 위한 정보로 활용될 수 있다. 생각이나 행위는 영유아의 정상적인 행동, 이상행동 또는 심리상태에 관한 것이다.
웨어러블장치(100)에서 생성된 정보는 영유아의 실시간 모니터링 및 영유아의 상태를 관리하기 위해 사용될 수 있다.
촬영장치(200)는 설정된 보육환경을 촬영하여 영유아를 식별하기 위한 영상정보를 생성하고, 대표적으로 지능형(또는 고정형) CCTV이다. 지능형 CCTV는 보육시설 내 유아의 이상행동, 위험지역 침입/배회에 따른 사고 탐지, 싸움 탐지, 쓰러짐 이상징후 탐지, 경보 또는 시설 내 화재발생 시 화재탐지의 기능을 제공할 수 있다.
도 3은 도 1의 이동로봇의 동작을 상세히 도시한 것으로서, 이동로봇(300)은 촬영수단을 구비하여 촬영장치의 사각지대를 커버하고, 이상행동으로 예측된 영유아에게 대화를 유도하여 영유아의 심리정보를 생성한다. 이동로봇(300)은 보육시설 내 설치된 고정형 CCTV의 사각지대를 커버하고, 대화형 챗봇 모델을 통해 유아와 소통을 진행하여 유아의 심리적 또는 정서적 상태에 관한 정보를 획득할 수 있다.
대화형 챗봇 모델은 이동로봇(300)에서 제공하는 기능을 요구하는 의도를 포함하는 라벨링 데이터세트가 구축될 수 있고, 이동로봇(300)에 입력되는 문장이 어떤 주요 키워드를 포함하고 있는지 알아내 찾아내는 Entity 탐색 데이터세트가 구축될 수 있으며, 이동로봇(300)에 입력되는 문장이 어떤 기능을 요구하는지 의도를 파악하는 분류 모델을 포함할 수 있고, 환경 잡음 제거를 위한 디노이징 모델을 포함할 수 있으며, 음성인식(STT: Speech to Text)과 음성합성(TTS: Text To Speech) 기능을 포함할 수 있다.
이동로봇(300)은 보육시설 등 어린이가 많고 소음이 많은 공간에 챗봇이 설치될 것을 감안하여 챗봇에 입력하는 발화 내용이 아닌 다른 소음을 제거하는 디노이징 기법이 적용될 수 있다. 이동로봇(300)은 잡음감소를 위한 딥러닝(deep learning) 알고리즘을 사용하여 소음이 없는 원본 데이터와 소음이 삽입된 데이터를 이용하여 학습할 수 있다. 예를 들어 이동로봇(300)은 오픈 에이피아이(OPEN API)에 등록되어 있는 공개용 학습 데이터인 음성 인터페이스 개발을 위한 어린이 음성 데이터를 활용하여 어린이 음성과 임의의 잡음을 삽입하고, 신호대 잡음비(SNR)가 높은 데이터를 만들어 학습한다.
딥러닝이란 여러 층을 가진 인공신경망(ANN: Artificial Neural Network)을 사용하여 머신러닝 학습을 수행하는 것으로 심층학습이라고도 부르며, 여러 비선형 변환기법의 조합을 통해 다량의 데이터 속에서 핵심적인 내용을 추출할 수 있는 학습 알고리즘이라고 할 수 있다.
이동로봇(300)은 소음을 제거한 음성 데이터를 문자 데이터로 변환하는 음성인식 모델을 사용하여 텍스트 형태의 결과로 바꾸어 챗봇 모델에서 인식할 수 있게 변환하는 작업을 수행할 수 있다. 이동로봇(300)은 HMM(Hidden Markov Model), FDNN(Fully Connected DNN) 등을 비롯한 심층 신경망 알고리즘을 활용하여 음성인식 모델이 구축될 수 있다.
이동로봇(300)은 챗봇에서 모델에서 도출한 텍스트 데이터를 음성합성을 통해 음성으로 변환하는 TTS 모델을 이용하여 텍스트를 음성으로 변환할 수 있다. 이동로봇(300)은 유아와 대화하고 친근함을 강조하는 모델임을 고려하여 유아의 연령대에 맞는 목소리로 변환하여 출력할 수 있다.
이동로봇(300)은 정확한 답변을 도출하기 위하여 검색모델 (Retrieval-based)이 구축될 수 있다. 검색모델은 미리 만들어진 답변에서 답을 고르는 방식으로 사용자가 애매하게 물어봐도 질문의 의도를 제대로 이해하기 위해 사용될 수 있다. 예를 들어 이동로봇(300)은 검색모델에서 Intent Classification 기법과 Entity Detection을 이용하여 의도와 키워드를 찾아내고 답변을 추출할 수 있다.
이동로봇(300)은 영유아와의 대화를 위한 챗봇 데이터가 구축된다. 언어는 창조성을 특징으로 가지고 있기 때문에, 챗봇 학습을 위한 데이터를 모두 입력하는 것은 시간적/비용적 한계가 수반된다. 그러므로 이동로봇(300)은 이를 극복하기 위하여 데이터 증강 알고리즘을 활용하고, 지도학습(supervised learning)에 필요한 학습 데이터가 구축될 수 있다.
챗봇 데이터는 동의어나 어미 변화와 키워드 추가 등 요소가 삽입된 문장을 핵심 키워드로 생성되고, 해당 키워드 조합과 문장 생성의 단계를 거쳐 생성될 수 있다.
도 4는 도 1의 서버의 동작을 상세히 도시한 것으로서, 서버(400)는 학습데이터를 이용하여 수집된 정보를 분석하기 위하여 기계학습(machine learning) 기술이 적용될 수 있다. 기계학습은 인공지능의 연구분야 중 하나로, 인간의 학습 능력과 같은 기능을 실현하고자 하는 기술이다.
기계학습은 지도학습(supervised learning)과 비지도학습(unsupervised learning)으로 구분된다. 지도학습은 학습데이터를 참조하여 학습자의 입력값에 대응하는 출력값을 찾는 방식이고, 비지도학습은 입력값들만 있는 훈련데이터를 이용하여 입력값들의 규칙성을 찾아 내고, 찾아낸 결과를 출력하여 학습자에게 제공한다.
서버(400)는 인공지능적으로 유아를 모니터링하기 위하여 영상분석처리, 데이터처리, 통합관제 및 로봇제어를 위한 소프트웨어가 설치될 수 있다.
서버(400)는 촬영장치(200)와 이동로봇(300)을 통하여 수집된 정보를 이용하여 영유아의 이상행동 영상분석 또는 위험구역 이탈 영상분석을 제공할 수 있다.
서버(400)는 웨어러블장치(100)와 이동로봇(300)을 통하여 수집된 정보를 이용하여 심리 대화형 시니리오 분석 또는 생체정보 데이터 분석을 제공할 수 있다. 서버(400)는 이상행동 분석 시 생체정보를 활용할 수 있다. 서버(400)는 AI분석을 위해 다양한 학습데이터를 데이터베이스에 저장한다.
서버(400)는 웨어러블장치(100), 촬영장치(200) 및 이동로봇(300)에서 생성된 정보를 수집하고, 유아의 식별과 이상행동에 관한 학습데이터를 이용하여 수집된 정보를 분석하며, 영유아의 이상행동으로 판별하면 이동로봇(300)의 동작을 제어하기 위한 제어명령을 생성한다. 제어명령은 이동로봇(300)의 이동 또는 챗봇 대화에 관한 것이다.
서버(400)는 심리상태에 관한 학습데이터, 제어명령 처리에 따른 심리정보 및 생체정보를 이용하여 영유아의 심리상태를 판별하고, 영유아의 사각지대 이동, 이상행동 및 심리상태를 통합적으로 모니터링한다.
서버(400)는 영유아의 심리상태를 이상으로 판별하거나 사각지대로 영유아의 이동을 판별하면 이벤트정보를 생성하며, 이벤트정보를 설정된 단말기(500)에게 제공할 수 있다.
단말기(500)는 학부모 또는 교사용 기기일 수 있다. 단말기(500)는 스마트폰, 데스크톱, 랩톱 또는 프로그램 기능이 구현된 다양한 기기일 수 있고, 이에 한정하지 않는다.
서버(400)는 수집된 영상에서 영유아와 같은 객체를 인식하기 위하여 테두리상자 조정과 분류를 동일 신경망 구조를 통해 동시에 실행하는 통합 인식형 모델을 사용할 수 있다. 통합 인식형 모델은 유아의 행동패턴을 인식하기 위한 선행 단계로서 일반 사물과 사람을 판별하기 위한 전처리 모델이고, 기본적으로 주어진 이미지를 n by n 형태로 구역을 나눈 후 각 격자 구역마다 객체가 있는지 판별하기 위해 경계박스를 적용하며, 그 중 객체로 추정되는 가장 높은 신뢰도 점수를 가진 박스를 객체로 판별하기 위한 모델이다.
도 5는 보육시설 내 위험 지정구역을 설정하는 화면을 도시한 예로서, 객체인식 모델을 통해 사람으로 식별된 객체에 대해 사용자 즉, 보육시설 담당교사 또는 관계자는 서버(400)에서 제공하는 인터페이스를 통해 설정한 지정구역 내 유아의 움직임이 포착될 경우 실시간으로 담당자에게 알림음을 전달하는 기능을 제공할 수 있고, 이를 통하여 유아의 안전사고를 예방할 수 있다. 사용자는 설계되는 UI 디자인의 위험구역 지정 기능을 통해 설정하고자 하는 위험지역의 위치를 다각형 형태로 좌표를 지정하여 설정할 수 있다.
도 6은 자세추정 모델을 이용하여 영유아의 이상행동을 분석하는 화면을 도시한 예로서, 서버(400)는 객체식별 모델로부터 사람이라는 객체를 식별한 후 자세추정 모델을 이용하여 식별된 객체의 이상행동을 탐지할 수 있다.
서버(400)는 2차원 형태의 영상 이미지 프레임을 3차원 공간으로 확장하여 2차원 이미지의 한계인 평면 해석에 의해 왜곡되는 인체 자세 추정을 보정함으로써, 객체겹침 및 촬영장치(200)의 설치위치에 의한 오탐률을 낮출 수 있다.
서버(400)는 유아의 영상 데이터로부터 3차원 공간에서의 자체를 추정하는 영상기반 자세추정 모델을 구현할 수 있고, 자세추정 모델로부터 얻게 된 3차원 위치적 자세 데이터를 기반으로 자세에 대한 전체적인 특징 및 각 관절 부위의 구체적 특성을 추출하여 3차원 메시(mesh)망 형태의 인체 모델을 추출할 수 있다. 예를 들어 서버(400)는 유아 신체를 몸(body), 손(hand) 및 얼굴(Face)로 나누고, 나열된 각각의 자세추정 모델 기법을 사용하여 최종적인 추정자세의 결과를 보정함으로써, 싸움 또는 쓰러짐 행위와 같은 이상행동을 판별할 수 있다.
서버(400)는 유아의 이상행동 분석뿐만 아니라 침입, 배회, 방화 또는 유기 등 다양한 객체별 또는 유형별 이상행동을 분석할 수 있다. 서버(400)는 다양한 객체별 또는 유형별 이상행동을 분석하기 위하여 KISA의 시험 사전 배표 영상과 AI Hub에 등록되어 있는 공개용 학습데이터를 수집할 수 있다.
본 발명은 영유아뿐만 아니라 노인정, 요양병원 및 독거노인 등 다양한 연령층의 이상행동이나 건강심리 상태 모니터링으로 확장하여 사용할 수 있고, 다양한 실버케어 산업에 적용할 수 있다.
보육시설을 관리하는 관리기관은 본 발명의 영유아 보육환경 모니터링 시스템(10)을 활용하여 관리감독 평가를 수행할 수 있다. 본 발명은 아동학대, 질병 또는 화재 발생시 전후 관계를 판단하는 용도로 활용될 수 있다.
종래에는 여러 개의 CCTV의 실시간 영상을 부모의 단말기로 전송하고, 부모는 자신의 아이가 위치하는 CCTV 영상을 찾아야 하는 번거로움이 있다. 부모 입장에서는 자신의 아이가 위치하는 영상만을 서버로부터 제공받길 원할 수 있다. 또한 부모는 아이에게 특정 이벤트(아이에게 문제가 발생)가 발생할 순간뿐만 아니라 평소에 자신의 아이에게 문제가 발생하지 않아도 아이의 영상을 보고 싶어할 수도 있다.
이러한 문제점을 해결하기 위하여 서버(400)는 제1 제공모드, 제2 제공모드 및 제3 제공모드로 동작할 수 있다. 제1 제공모드는 촬영장치(200)와 이동로봇(300)에서 촬영된 실시간 영상을 단말기(500)에게 제공하는 모드이다. 제2 제공모드는 실시간 영상에서 영유아를 식별하고, 영유아가 존재하는 프레임을 독출하여 시계열적 순서로 분류하며, 시계열적 순서로 분류된 영유아별 식별영상을 생성하고, 영유아별 매칭되는 설정된 단말기(500)에게 식별영상을 제공하는 모드이다. 제3 제공모드는 영유아의 심리상태를 이상으로 판별하거나 사각지대로 영유아의 이동을 판별할 때 이벤트의 발생원인을 분석하고, 이벤트 발생원인을 포함하는 이벤트정보를 설정된 단말기(500)에게 제공하는 모드이다. 본 발명은 다양한 제공모드로 동작하여 학부모의 니즈를 만족시킬 수 있고, 고품질의 다양한 영유아 모니터링 서비스를 제공할 수 있다.
서버(400)는 사각지대에 위치하는 영유아의 영상을 이용하여 영유아의 일시적 이동인지 또는 영유아의 이상행동인지 판별하고, 사각지대에서 영유아의 이상행동으로 판별하면 영유아의 심리상태를 알아내기 위한 제어명령을 생성할 수 있다.
본 발명은 영유아의 사각지대 이동이 일시적인 행동인지 또는 이상행동인지 판별함으로써, 영유아에게 다가올 수 있는 잠재적인 위험을 사전에 예방하고자 한다.
영유아가 웨어러블장치(100)를 호기심으로 제거할 수 있고, 착용상태가 불안정하거나 충격에 의해 손상될 수 있다. 영유아로부터 웨어러블장치(100)의 제거위험이 존재하기 때문에, 서버(400)는 복수의 영상정보의 특정 프레임에서 동시에 영유아를 미식별하면 특정 프레임에서 최단으로 가깝고 영유아를 식별한 식별 프레임을 참조하여 좌표정보를 생성하고, 좌표정보를 포함하는 제어명령을 이동로봇(300)에게 제공한다. 서버(400)는 촬영장치(200)와 이동로봇(300)의 협업을 통하여 영유아의 이탈을 모니터링한다.
서버(400)는 웨어러블장치(100)의 위치정보를 이용하여 영유아의 이탈유무를 판별하고, 영상정보 기반의 영유아를 식별하여 획득된 위치정보와 웨어러블장치(100)의 위치정보를 비교하여 웨어러블장치(100)의 착용유무를 판별할 수 있다.
본 발명은 촬영장치(200)와 이동로봇(300)의 협업을 통하여 웨어러블장치(100)를 제거한 영유아의 이탈을 모니터링할 수 있고, 영유아의 이탈에 의해 발생할 수 있는 위험요소를 제거할 수 있으며, 현실적으로 보육교사 인원부족의 한계를 극복할 수 있는 해결수단으로 작용할 수 있다.
유아의 부모 또는 보육교사는 아이의 행동패턴 또는 성향을 잘 알고 있고, 이러한 정보는 챗봇 대화에 의한 유아의 심리상태를 더욱 정확하게 알아낼 수 있는 요인으로 작용한다.
단말기(500)는 유아의 행동패턴 또는 성향에 관한 사전정보를 입력받아 서버(400)에게 제공할 수 있다. 서버(400)는 사전정보를 기반으로 유아별 챗봇 대화 질의데이터를 분류할 수 있고, 웨어러블장치(100)에서 발생하는 위치정보를 식별코드로 하여 유아별 분류된 챗봇 대화 질의데이터를 이동로봇(300)에게 제공할 수 있다. 이동로봇(300)은 위치정보를 이용하여 영유아를 식별하고, 챗봇 대화 질의데이터로부터 식별된 영유아에게 대응하는 질의를 출력할 수 있다.
사전정보는 영유아의 이상행동에 관한 정보를 포함할 수 있다. 본 발명은 동일한 질의로 다수의 영유아에게 대화를 하지 않고, 유아별 맞춤형의 대화를 제공함으로써, 영유아별 심리상태를 더욱 정확하게 알아낼 수 있다.
웨어러블장치(100), 촬영장치(200) 및 이동로봇(300)은 서로 간의 상호보완적인 동작을 제공하기 위하여 사전에 보육환경에 대한 좌표를 매핑할 수 있다.
본 발명은 지능형 촬영장치(200)를 통하여 생성된 영상으로 위험구역 침입이나 배회 등 유아의 행동을 분석할 수 있고, 지정된 영역에서의 유아의 이상행동을 분석할 수 있으며, 이상행동 발생시 안전사고 알림에 관한 이벤트를 단말기(500)에게 제공할 수 있다.
본 발명은 웨어러블장치(100), 촬영장치(200) 및 이동로봇(300) 등 IoT 기기의 이종서비스 결합을 통해 유아의 안전과 상태를 모니터링하기 위한 다양한 서비스를 제공할 수 있다.
본 발명은 서버(400)로 웨어러블장치(100), 촬영장치(200) 및 이동로봇(300) 간의 유기적 동작을 제어함으로써, 영유아의 사각지대 이동, 이상행동 및 심리상태를 통합적으로 모니터링할 수 있고, 영유아의 상태를 예측하여 효율적으로 대응할 수 있는 보육환경을 제공할 수 있다.
10: 보육환경 모니터링 시스템 100: 웨어러블장치
200: 촬영장치 300: 이동로봇
400: 서버 500: 단말기
200: 촬영장치 300: 이동로봇
400: 서버 500: 단말기
Claims (5)
- 영유아의 생체정보와 위치정보를 생성하는 웨어러블장치(100);
설정된 보육환경을 촬영하여 영유아를 식별하기 위한 영상정보를 생성하는 촬영장치(200);
촬영수단을 구비하여 촬영장치의 사각지대를 커버하고, 이상행동으로 예측된 영유아에게 대화를 유도하여 영유아의 심리정보를 생성하는 이동로봇(300) 및
상기 웨어러블장치, 촬영장치 및 이동로봇에서 생성된 정보를 수집하고, 유아의 식별과 이상행동에 관한 학습데이터를 이용하여 수집된 정보를 분석하며, 영유아의 이상행동으로 판별하면 이동로봇의 동작을 제어하기 위한 제어명령을 생성하는 서버(400)를 포함하고,
상기 서버는 심리상태에 관한 학습데이터, 제어명령 처리에 따른 심리정보 및 생체정보를 이용하여 영유아의 심리상태를 판별하여,
영유아의 사각지대 이동, 이상행동 및 심리상태를 통합적으로 모니터링하는 것을 특징으로 하고,
상기 서버는 영유아의 심리상태를 이상으로 판별하거나 사각지대로 영유아의 이동을 판별하면 이벤트정보를 생성하며, 이벤트정보를 설정된 단말기(500)에게 제공하는 것을 특징으로 하고,
상기 서버는 사각지대에 위치하는 영유아의 영상을 이용하여 영유아의 일시적 이동인지 또는 영유아의 이상행동인지 판별하고, 사각지대에서 영유아의 이상행동으로 판별하면 영유아의 심리상태를 알아내기 위한 제어명령을 생성하는 것을 특징으로 하는 인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 시스템. - 삭제
- 제1항에 있어서,
상기 서버는,
상기 촬영장치와 이동로봇에서 촬영된 실시간 영상을 단말기에게 제공하는 제1 제공모드;
상기 실시간 영상에서 영유아를 식별하고, 영유아가 존재하는 프레임을 독출하여 시계열적 순서로 분류하며, 시계열적 순서로 분류된 영유아별 식별영상을 생성하고, 영유아별 매칭되는 설정된 단말기에게 식별영상을 제공하는 제2 제공모드 및
상기 영유아의 심리상태를 이상으로 판별하거나 사각지대로 영유아의 이동을 판별할 때 이벤트의 발생원인을 분석하고, 이벤트 발생원인을 포함하는 이벤트정보를 설정된 단말기에게 제공하는 제3 제공모드로 동작하는 것을 특징으로 하는 인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 시스템. - 삭제
- 영유아의 생체정보와 위치정보를 생성하는 웨어러블장치;
설정된 보육환경을 촬영하여 유아를 식별하기 위한 영상정보를 생성하는 촬영장치;
촬영수단을 구비하여 촬영장치의 사각지대를 커버하고, 이상행동으로 예측된 영유아에게 대화를 유도하여 영유아의 심리정보를 생성하는 이동로봇 및
상기 보육환경의 구역별로 설치된 각각의 촬영장치로부터 영상정보를 수신하고, 복수의 영상정보를 분석하여 영유아를 식별하는 서버를 포함하는 모니터링 시스템을 이용한 인공지능 기반의 영유아 보육환경 모니터링 방법에 있어서,
상기 서버가 복수의 영상정보의 특정 프레임에서 동시에 영유아를 미식별하면 특정 프레임에서 최단으로 가깝고 영유아를 식별한 식별 프레임을 참조하여 좌표정보를 생성하는 단계 및
상기 서버가 좌표정보를 포함하는 제어명령을 이동로봇에게 제공하는 단계를 포함하여,
상기 촬영장치와 이동로봇의 협업을 통하여 영유아의 이탈을 모니터링하는 것을 특징으로 하는 인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210121678A KR102359344B1 (ko) | 2021-09-13 | 2021-09-13 | 인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210121678A KR102359344B1 (ko) | 2021-09-13 | 2021-09-13 | 인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 시스템 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102359344B1 true KR102359344B1 (ko) | 2022-02-08 |
Family
ID=80252213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210121678A KR102359344B1 (ko) | 2021-09-13 | 2021-09-13 | 인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102359344B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102421643B1 (ko) * | 2022-04-18 | 2022-07-15 | 이지앤웰니스 주식회사 | 다수의 ai 챗봇이 연동된 심리치료 상담 시스템 및 로봇과 앱이 연동된 심리치료 시스템 |
| KR102421654B1 (ko) * | 2022-04-06 | 2022-07-15 | 이지앤웰니스 주식회사 | 로봇과 앱이 연동된 심리치료 시스템 |
| KR102475145B1 (ko) * | 2022-04-18 | 2022-12-07 | 주식회사 판옵티콘 | 뉴럴 네트워크를 이용하여 3차원 모델링 정보에 기초한 아기의 상태를 분석하는 방법 및 장치 |
| KR102520287B1 (ko) * | 2022-03-15 | 2023-04-11 | 주식회사 비투엔 | 메타버스를 이용한 아동 돌봄 서비스 시스템 및 제어 방법 |
| KR102635981B1 (ko) * | 2023-02-06 | 2024-02-13 | 김영숙 | 양육 지원 상담 및 코칭 어플리케이션 제공 장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101806835B1 (ko) | 2015-08-17 | 2017-12-11 | 인천대학교 산학협력단 | 영유아 모니터링 서비스 제공 방법 및 시스템 |
| JP2018072876A (ja) * | 2016-10-24 | 2018-05-10 | 富士ゼロックス株式会社 | 感情推定システム、感情推定モデル生成システム |
| KR20210047449A (ko) * | 2019-10-22 | 2021-04-30 | 배종길 | 스마트 영유아 모니터링 시스템, 서버 및 방법 |
-
2021
- 2021-09-13 KR KR1020210121678A patent/KR102359344B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101806835B1 (ko) | 2015-08-17 | 2017-12-11 | 인천대학교 산학협력단 | 영유아 모니터링 서비스 제공 방법 및 시스템 |
| JP2018072876A (ja) * | 2016-10-24 | 2018-05-10 | 富士ゼロックス株式会社 | 感情推定システム、感情推定モデル生成システム |
| KR20210047449A (ko) * | 2019-10-22 | 2021-04-30 | 배종길 | 스마트 영유아 모니터링 시스템, 서버 및 방법 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102520287B1 (ko) * | 2022-03-15 | 2023-04-11 | 주식회사 비투엔 | 메타버스를 이용한 아동 돌봄 서비스 시스템 및 제어 방법 |
| KR102421654B1 (ko) * | 2022-04-06 | 2022-07-15 | 이지앤웰니스 주식회사 | 로봇과 앱이 연동된 심리치료 시스템 |
| KR102421643B1 (ko) * | 2022-04-18 | 2022-07-15 | 이지앤웰니스 주식회사 | 다수의 ai 챗봇이 연동된 심리치료 상담 시스템 및 로봇과 앱이 연동된 심리치료 시스템 |
| KR102475145B1 (ko) * | 2022-04-18 | 2022-12-07 | 주식회사 판옵티콘 | 뉴럴 네트워크를 이용하여 3차원 모델링 정보에 기초한 아기의 상태를 분석하는 방법 및 장치 |
| KR102635981B1 (ko) * | 2023-02-06 | 2024-02-13 | 김영숙 | 양육 지원 상담 및 코칭 어플리케이션 제공 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102359344B1 (ko) | 인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 시스템 및 그 방법 | |
| EP3583485B1 (en) | Computationally-efficient human-identifying smart assistant computer | |
| Do et al. | RiSH: A robot-integrated smart home for elderly care | |
| Doukas et al. | Emergency fall incidents detection in assisted living environments utilizing motion, sound, and visual perceptual components | |
| US10682097B2 (en) | People monitoring and personal assistance system, in particular for elderly and people with special and cognitive needs | |
| Hassan et al. | A smartphone-enabled fall detection framework for elderly people in connected home healthcare | |
| Aminikhanghahi et al. | Enhancing activity recognition using CPD-based activity segmentation | |
| Xefteris et al. | Performance, challenges, and limitations in multimodal fall detection systems: A review | |
| US11587555B1 (en) | Recognizing hazard events based on sounds of in-home activities | |
| Cai et al. | GBDT‐Based Fall Detection with Comprehensive Data from Posture Sensor and Human Skeleton Extraction | |
| Kim et al. | Deep neural network-based indoor emergency awareness using contextual information from sound, human activity, and indoor position on mobile device | |
| Poncela et al. | Smart care home system: a platform for eAssistance | |
| Pogorelc et al. | Detecting gait-related health problems of the elderly using multidimensional dynamic time warping approach with semantic attributes | |
| Ramanujam et al. | A vision-based posture monitoring system for the elderly using intelligent fall detection technique | |
| Abbasi et al. | A model for identifying the behavior of Alzheimer’s disease patients in smart homes | |
| Sukreep et al. | Recognizing Falls, Daily Activities, and Health Monitoring by Smart Devices. | |
| US11855932B2 (en) | Method for adjusting a device behavior based on privacy classes | |
| Li et al. | A heterogeneous ensemble learning-based acoustic fall detection method for elderly people in indoor environment | |
| Youssef et al. | Human action analysis for assistance with daily activities | |
| Naronglerdrit et al. | Recognition of indoors activity sounds for robot-based home monitoring in assisted living environments | |
| Choon | Helper system for managing alzheimer’s people using mobile application | |
| Rajpoot et al. | Internet of Things for Human‐Activity Recognition Based on Wearable Sensor Data | |
| KR102433242B1 (ko) | 음성에 기초한 어린이의 감정 컨디션 검출방법 | |
| Fook et al. | Fusion considerations in monitoring and handling agitation behaviour for persons with dementia | |
| Fernandes | Learning human behaviour patterns by trajectory and activity recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |