KR20230151129A - Ar/vr 기반으로 영유아의 연령과 상태에 대한 데이터를 추출하고 인공지능으로 분석하여 맞춤형 구독 이커머스 영유아 제품 플랫폼을 제공하는 방법 - Google Patents

Abstract

본 발명의 AR/VR 기반으로 영유아의 연령과 상태에 대한 데이터를 추출하고 인공지능으로 분석하여 맞춤형 구독 이커머스 영유아 제품 플랫폼을 제공하는 방법은 영유아를 관찰하도록 대향되는 방향을 촬영하여 실시간으로 전송하고, 조도를 감지하여 플래시를 구동하며, 위험 이벤트 또는 이탈 이벤트를 출력하기 위하여 촬영되는 화면 중 영역을 설정받는 모니터링 단말; 상기 모니터링 단말로부터 실시간 스트리밍되는 동영상을 출력하고, 기 저장된 적어도 하나의 모니터링 이벤트가 감지되는 경우 상기 적어도 하나의 모니터링 이벤트를 안내 메세지로 출력하며, 상기 모니터링 단말에서 상기 위험 이벤트 또는 이탈 이벤트가 감지되는 경우, 상기 위험 이벤트 또는 이탈 이벤트를 수신하는 사용자 단말; 상기 모니터링 단말 및 사용자 단말을 매핑하여 저장하는 저장부, 상기 모니터링 단말에서 실시간 스트리밍되는 동영상을 상기 사용자 단말로 전달하는 전달부, 상기 모니터링 단말에서 촬영되는 화면 중 영역이 설정되는 경우 설정된 영역 내에서 발생하는 위험 이벤트 또는 이탈 이벤트를 상기 사용자 단말로 전송하는 알람부, 상기 모니터링 단말에서 촬영된 동영상 내 기 저장된 적어도 하나의 모니터링 이벤트가 감지되는 경우 상기 사용자 단말로 상기 적어도 하나의 모니터링 이벤트를 안내 메세지로 전송하는 전송부를 포함하는 모니터링 서비스 제공 서버;를 포함하는 것을 특징으로 한다.

Description

AR/VR 기반으로 영유아의 연령과 상태에 대한 데이터를 추출하고 인공지능으로 분석하여 맞춤형 구독 이커머스 영유아 제품 플랫폼을 제공하는 방법{METHOD OF PROVIDING CUSTOMIZED SUBSCRIPTION E-COMMERCE PRODUCT PLATFORM FOR INFANTS AND TODDLERS BY EXTRACTING DATA ON AGE AND CONDITION OF INFANTS AND TODDLERS BASED ON AR/VR AND ANALYZING THEM WITH ARTIFICIAL INTELLIGENCE}

본 발명은 AR/VR 기반으로 영유아의 연령과 상태에 대한 데이터를 추출하고 인공지능으로 분석하여 맞춤형 구독 이커머스 영유아 제품 플랫폼을 제공하는 방법에 관한 것이다.

최근 다양한 형태의 웨어러블 디바이스가 출현하고 활용되고 있다. 이 중에서도 스마트 워치와 같은 손목형 웨어러블 디바이스가 가장 많은 시장을 차지하고 있는데, 웨어러블 디바이스는 단순히 헬스케어용도로 사용되는 것도 있지만, 노약자들을 대상으로 하는 높은 수준의 안전성이 확보되어야 하는 웨어러블 디바이스도 존재한다. 특히 유아의 경우에는 의사소통에 상당히 문제가 있고 영유아의 시기에는 머리를 잘 가누지 못하기 때문에, 엎드려서 잘 경우 심장과 얼굴이 눌리는 결과 호흡곤란이 발생할 수 있고 이는 곧 영유아 질식사로 이어질 수 있다. 이를 예방하기 위해서는 유아의 생체정보를 획득할 수 있는 기능과 더불어 모니터링 시스템에 정보를 효과적으로 제공하고 이를 통계 수치화하는 것도 필요하다.

이때, 영유아 질식사를 막을 수 있도록 카메라 및 웨어러블 기기를 이용하여 자세 및 생체신호를 모니터링하기 위한 스마트 플랫폼이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국등록특허 제10-1748410호(2017년06월16일 공고) 및 한국등록특허 제10-2200202호(2021년01월08일 공고)에는, 보호자 단말과 연동 가능한 IoT 기반의 인터페이스 모듈을 내장하여 보호자가 영유아와 떨어진 장소에서도 보호자가 보호자 단말을 통해 유아의 상태나 상황을 모니터링할 수 있도록, 영유아를 촬영한 결과를 보호자 단말로 전송하고, 모니터링 결과에 기반하여 영유아를 촬영하는 카메라를 포함한 모빌을 제어하고 보호자 단말로부터 수신된 음향 신호 또는 음성 신호를 전달하여 출력하는 구성과, 웨어러블 디바이스를 이용하여 영유아의 체온, 생체 신호 및 외력을 측정하고, 심전도를 측정하여 영유아의 심박수를 측정하고, 심박의 R-R간격을 통계적으로 처리하는 기법으로 자료를 분석하며, 관찰대상의 상태에 대응하는 피드백을 실시간으로 제공할 수 있는 구성이 각각 개시되어 있다.

다만, 질식사를 예방하기 위해 전동요람과 같은 다양한 방법들이 개발되고 있지만, 고비용의 인프라 구축이 선행되어야 하며 카메라를 별도로 구매하여 설치하거나 센서를 구매해야 한다는 진입 장벽이 존재한다. 또, 어두운 환경의 경우 모니터링 객체의 얼굴 인식이 되지 않거나 단순히 현재 상황을 사람이 모니터링할 수 있도록 스트리밍만 제공하는 수준이기 때문에, 비용을 들여 인프라를 구축했다고 할지라도 다시 사람이 개입하여 일일이 전송 화면을 지켜봐야 하는 이유로 인프라를 구축한 효용이 무색해지는 경우가 대부분이다. 이에, 영유아의 질식사를 방지하기 위하여 얼굴의 전면, 측면 및 후면을 인식하고 엎드려서 자는 경우의 시간이나 소음을 체크하여 보호자를 즉시호출할 수 있도록 하는 플랫폼의 연구 및 개발이 요구된다.

본 발명이 해결하고자 하는 과제는 AR/VR 기반으로 영유아의 연령과 상태에 대한 데이터를 추출하고 인공지능으로 분석하여 맞춤형 구독 이커머스 영유아 제품 플랫폼을 제공하는 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 AR/VR 기반으로 영유아의 연령과 상태에 대한 데이터를 추출하고 인공지능으로 분석하여 맞춤형 구독 이커머스 영유아 제품 플랫폼을 제공하는 방법은 영유아를 관찰하도록 대향되는 방향을 촬영하여 실시간으로 전송하고, 조도를 감지하여 플래시를 구동하며, 위험 이벤트 또는 이탈 이벤트를 출력하기 위하여 촬영되는 화면 중 영역을 설정받는 모니터링 단말; 상기 모니터링 단말로부터 실시간 스트리밍되는 동영상을 출력하고, 기 저장된 적어도 하나의 모니터링 이벤트가 감지되는 경우 상기 적어도 하나의 모니터링 이벤트를 안내 메세지로 출력하며, 상기 모니터링 단말에서 상기 위험 이벤트 또는 이탈 이벤트가 감지되는 경우, 상기 위험 이벤트 또는 이탈 이벤트를 수신하는 사용자 단말; 상기 모니터링 단말 및 사용자 단말을 매핑하여 저장하는 저장부, 상기 모니터링 단말에서 실시간 스트리밍되는 동영상을 상기 사용자 단말로 전달하는 전달부, 상기 모니터링 단말에서 촬영되는 화면 중 영역이 설정되는 경우 설정된 영역 내에서 발생하는 위험 이벤트 또는 이탈 이벤트를 상기 사용자 단말로 전송하는 알람부, 상기 모니터링 단말에서 촬영된 동영상 내 기 저장된 적어도 하나의 모니터링 이벤트가 감지되는 경우 상기 사용자 단말로 상기 적어도 하나의 모니터링 이벤트를 안내 메세지로 전송하는 전송부를 포함하는 모니터링 서비스 제공 서버;를 포함하는 것을 특징으로 할 수 있다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 인공지능 알고리즘을 이용하여 영유아의 얼굴 인식은 물론, 전면, 측면 및 후면까지 인식되도록 하여 영유아의 연령과 상태를 판단한 다음, 해당 영유아에 맞는 제품을 정기적으로 추천할 수 있는 구독경제 기반의 영유아 제품 판매 플랫폼을 제공한다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 모니터링 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반 영유아 모니터링 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

AR/VR 기반으로 영유아의 연령과 상태에 대한 데이터를 추출하고 인공지능으로 분석하여 맞춤형 구독 이커머스 영유아 제품 플랫폼을 제공하는 방법의 시스템(1)은, 적어도 하나의 사용자 단말(100), 모니터링 서비스 제공 서버(300), 적어도 하나의 모니터링 단말(400), 적어도 하나의 공유기(500)를 포함할 수 있다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(Network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 모니터링 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 모니터링 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 모니터링 단말(400), 적어도 하나의 공유기(500) 및 웨어러블 기기(600)과 연결될 수 있다. 또한, 적어도 하나의 모니터링 단말(400)은, 네트워크(200)를 통하여 모니터링 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 적어도 하나의 공유기(500)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 모니터링 서비스 제공 서버(300) 및 적어도 하나의 모니터링 단말(400)과 연결될 수 있다. 마지막으로, 웨어러블 기기(600)는, 네트워크(200)를 통하여 사용자 단말(100), 모니터링 단말(400), 모니터링 서비스 제공 서버(300), 적어도 하나의 공유기(500)와 연결될 수 있다.

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3^rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

적어도 하나의 사용자 단말(100)은, 인공지능 기반 영유아 모니터링 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 모니터링 단말(400)과 연결되어 모니터링 단말(400)에서 촬영되는 화면을 실시간으로 스트리밍받는 사용자의 단말일 수 있다. 이때, 사용자는 영유아, 노인, 반려동물의 보호자일 수 있다. 그리고, 사용자 단말(100)은, 모니터링 단말(400)에서 촬영한 화면 상에 적어도 하나의 모니터링 이벤트가 발생하는 경우, 모니터링 서비스 제공 서버(300)로부터 수신하여 출력하는 단말일 수 있다. 또한, 사용자 단말(100)은, 모니터링 단말(400)에서 촬영되는 화면 상에 영역을 지정한 경우, 화면 상 영역 내에 피사체인 이동 객체가 감지되거나, 위험 수준을 설정한 경우 수준별 알람을 모니터링 서비스 제공 서버(300)로부터 수신하여 출력하는 단말일 수 있다.

여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, WCDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

모니터링 서비스 제공 서버(300)는, 인공지능 기반 영유아 모니터링 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 모니터링 서비스 제공 서버(300)는, 얼굴 인식 및 움직임 인식을 위하여 얼굴의 적어도 하나의 특징점을 이용하여 얼굴을 인식하도록 하고, 움직임을 학습 및 테스트하여 각각의 움직임이 인식되어 질의(Query)로 입력된 경우, 움직임 태그나 움직임을 나타내는 텍스트를 출력하도록 인공지능 알고리즘을 모델링하는 서버일 수 있다. 또한, 모니터링 서비스 제공 서버(300)는, 사용자 단말(100)에서 녹음 또는 설정한 음성 또는 오디오 콘텐츠가 존재하는 경우, 위험 또는 이탈 상황에서 음성 또는 오디오 콘텐츠를 모니터링 단말(400)에서 출력하도록 하는 서버일 수 있다. 그리고, 모니터링 서비스 제공 서버(300)는, 사용자 단말(100) 또는 모니터링 단말(400)에서 영역이 설정된 경우, 영역 내 이동 객체가 위치하는지, 이동 객체가 영역을 벗어나는지 또는 접근하는지 등의 여부를 파악하여 사용자 단말(100)로 이탈 이벤트를 전송하는 서버일 수 있다. 또한, 모니터링 서비스 제공 서버(300)는, 사용자 단말(100)과 모니터링 단말(400)이 IoT 기반으로 공유기(500)를 통하여 연동되도록 할 때, 사용자 단말(100)과 모니터링 단말(400)에서 입력된 음성 신호 및 배경 신호(환경소음)를 입력받고, 시간 도메인에서 주파수를 비교한 후 기 설정된 유사도를 초과하는 경우에만 사용자 단말(100)과 모니터링 단말(400)을 연동시키는 서버일 수 있고, 연결 정보는 적어도 하나의 암호화 알고리즘으로 암호화하여 저장하는 서버일 수 있다.

여기서, 모니터링 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

적어도 하나의 모니터링 단말(400)은, 인공지능 기반 영유아 모니터링 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 대향되는 방향 또는 전면 방향을 촬영하는 단말일 수 있다. 모니터링 단말(400)은 감지된 조도가 기 설정된 조도보다 낮은 경우 IoT 스위치와 연결되어 있다면 공유기(500)로 전등을 켜도록 하거나 플래쉬를 턴 온 시켜 기 설정된 조도를 만족하도록 다른 기기 또는 모니터링 단말(400)의 플래쉬를 제어함으로써 촬영하는 시야를 확보하고자 하는 단말일 수 있다. 그리고, 모니터링 단말(400)은 공유기(500)를 통하여 모니터링 서비스 제공 서버(300)와 연결되어 촬영한 동영상을 실시간으로 업로드하는 단말일 수 있다. 또한, 모니터링 단말(400)은 사용자 단말(100)에서 영역을 설정하고 음성 또는 오디오 콘텐츠를 설정한 경우, 영역을 벗어나는 경우 이탈 이벤트를 발생하면서 음성 또는 오디오 콘텐츠를 출력하는 단말일 수 있다. 그리고, 모니터링 단말(400)은 모니터링 서비스 제공 서버(300)로부터 백색 소음이나 음악 콘텐츠가 설정되고, 이에 매핑되어 모니터링 이벤트의 종류가 선택된 경우, 선택된 모니터링 이벤트의 종류가 발생 또는 감지되면, 설정된 백색 소음이나 음악 콘텐츠를 재생하도록 하는 단말일 수 있다.

여기서, 적어도 하나의 모니터링 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 모니터링 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 모니터링 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, WCDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

적어도 하나의 공유기(500)는, 인공지능 기반 영유아 모니터링 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 모니터링 단말(400)과 모니터링 서비스 제공 서버(300) 간을 연결할 수 있도록 하고, IoT 기기가 연결된 경우 모니터링 서비스 제공 서버(300)나 모니터링 단말(400) 또는 사용자 단말(100)의 제어 명령을 각 IoT 기기로 전달하는 장치일 수 있다.

웨어러블 기기(600)는, 인공지능 기반 영유아 모니터링 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 영유아의 움직임이나 생체신호를 감지하여 공유기(500)를 통하여 모니터링 서비스 제공 서버(300)로 전달하는 장치일 수 있다. 예를 들어, 웨어러블 기기(600)는, 영유아의 경우 발목에, 반려동물인 경우 목이나 가슴에, 노인인 경우 팔목에 착용되는 장치일 수 있다. 물론, 착용위치는 한정되지는 않는다.

여기서, 웨어러블 기기(600)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 웨어러블 기기(600)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 웨어러블 기기(600)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

도 2를 참조하면, 모니터링 서비스 제공 서버(300)는, 저장부(310), 전달부(320), 알람부(330), 전송부(340), 연동부(350) 및 AI부(360)를 포함할 수 있다.

본 발명의 일 실시예에 따른 모니터링 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100), 적어도 하나의 모니터링 단말(400), 적어도 하나의 공유기(500) 및 웨어러블 기기(600)로 인공지능 기반 영유아 모니터링 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100), 적어도 하나의 모니터링 단말(400), 적어도 하나의 공유기(500) 및 웨어러블 기기(600)는, 인공지능 기반 영유아 모니터링 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 적어도 하나의 사용자 단말(100), 적어도 하나의 모니터링 단말(400), 적어도 하나의 공유기(500) 및 웨어러블 기기(600)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.

도 2를 참조하면, 저장부(310)는, 모니터링 단말(400) 및 사용자 단말(100)을 매핑하여 저장할 수 있다. 모니터링 단말(400)과 사용자 단말(100)을 연동시키는 경우 페어링이 필요한데 이는 연동부(350)에서 후술하기로 한다.

전달부(320)는, 모니터링 단말(400)에서 실시간 스트리밍되는 동영상을 사용자 단말(100)로 전달할 수 있다. 사용자 단말(100)은, 모니터링 단말(400)로부터 실시간 스트리밍되는 동영상을 출력하고, 기 저장된 적어도 하나의 모니터링 이벤트가 감지되는 경우 적어도 하나의 모니터링 이벤트를 안내 메세지로 출력하며, 모니터링 단말(400)에서 위험 이벤트 또는 이탈 이벤트가 감지되는 경우, 위험 이벤트 또는 이탈 이벤트를 수신할 수 있다. 모니터링 단말(400)은, 영유아를 관찰하도록 대향되는 방향을 촬영하여 실시간으로 전송하고, 조도를 감지하여 플래시를 구동하며, 위험 이벤트 또는 이탈 이벤트를 출력하기 위하여 촬영되는 화면 중 영역을 설정받을 수 있다.

알람부(330)는, 모니터링 단말(400)에서 촬영되는 화면 중 영역이 설정되는 경우 설정된 영역 내에서 발생하는 위험 이벤트 또는 이탈 이벤트를 사용자 단말(100)로 전송할 수 있다. 본 발명의 이벤트의 종류는 크게 모니터링 이벤트, 위험 이벤트 및 이탈 이벤트로 나뉘어진다. 모니터링 이벤트가 상위 개념이고 위험 이벤트와 이탈 이벤트는 모니터링 이벤트의 한 종류로 하위 개념이다. 모니터링 이벤트는, 관심 객체(Object of Interest)를 인식하고, 관심 객체의 생체 신호 또는 움직임 데이터를 분류하며, 분류된 결과를 알려주기 위한 것이고, 위험 이벤트 또는 이탈 이벤트는 관심 객체가 모니터링 이벤트로 분류된 후 위험한 행동을 하거나 지정된 영역을 벗어나는 경우를 사용자에게 알려주기 위한 개념이다. 다만, 본 발명의 일 실시예에서는 위험 이벤트와 이탈 이벤트를 감지하기 위하여 영역을 지정하는 설정이 더 포함되므로 위험 이벤트와 이탈 이벤트로 별도로 명명하여 정의하기로 한다.

이때, 기 저장된 적어도 하나의 모니터링 이벤트는, 머리를 정면으로 누운 시간, 머리를 좌측으로 누운 시간, 머리를 우측으로 누운 시간, 엎드려서 자는 경우, 깨어있는 경우, 자고 있는 경우, 정면으로 누워서 자는 경우, 좌측으로 누워서 자는 경우, 손을 입으로 빨고 있는 경우, 우는 경우, 찡그리는 경우, 귀를 손으로 잡는 경우, 웃는 경우, 젖병이나 공갈 젖꼭지를 놓친 경우, 젖병이나 공갈 젖꼭지를 먹는 경우 및 인형이나 장난감이 떨어진 경우가 모니터링된 이벤트일 수 있다. 물론, 나열된 것들로 한정되지 않고 열거되지 않은 이유로 배제되지 않으며, 각 관심 객체의 행동을 분류해야 할 경우가 발생하는 경우 추가될 수도 있고 분류하지 않아도 되는 행동에 대해서는 삭제나 변경이 이루어질 수도 있다.

위험 이벤트는, 모니터링 단말(400)에서 촬영되는 화면 상 위험구역을 설정하는 경우, 위험구역 상 피사체인 이동 객체가 존재하는 경우에 발생되는 이벤트이고, 위험 이벤트가 발생된 경우, 기 저장된 사운드가 모니터링 단말(400)에서 재생되면서 사용자 단말(100)로 알림을 전송하도록 설정될 수 있다. 예를 들어, 강아지는 현관에서 주인의 채취가 뭍은 신발이나 슬리퍼를 자주 물어와서 씹곤 하는데, 현관에 신발을 놓는 위치를 위험 구역으로 설정하는 경우, 위험구역 내에 이동 객체인 강아지가 들어온 경우에는, "안돼"라는 음성을 출력하도록 하고, 사용자 단말(100)로는 강아지가 현관으로 진입하고 있다는 이벤트를 출력할 수 있다. 또는, 고양이의 경우에도 식탁 위로 올라가서 물병이나 물컵을 떨어뜨리는 행동을 자주 하는데, 식탁 상부면을 위험구역으로 설정한 경우, 이동 객체인 고양이가 식탁 위로 진입하면 "안돼"라는 음성을 출력하도록 하고, 사용자 단말(100)로는 고양이가 식탁에 올라갔다는 이벤트를 출력할 수 있다. 물론, 음성이 아니더라도 강아지나 고양이가 무서워할만한 늑대 울음소리나 호랑이 울음소리와 같은 오디오 콘텐츠를 설정할 수 있도록 하는 것도 가능하다.

이탈 이벤트는, 모니터링 단말(400)에서 촬영되는 화면 상 이탈방지구역을 설정하는 경우, 이탈방지구역 상 피사체인 이동 객체가 존재하는 경우에 발생되는 이벤트이고, 이탈 이벤트가 발생된 경우 기 저장된 사운드가 모니터링 단말(400)에서 재생되면서 사용자 단말(100)로 알림을 전송하도록 설정될 수 있다. 이탈방지구역을 이동 객체가 벗어나지 않는 경우에는 안전, 이탈방지구역의 경계선을 이동 객체가 지나는 경우에는 경고, 이탈방지구역을 이동 객체가 완전히 벗어난 경우에는 위험으로 설정될 수 있다. 예를 들어, 영유아가 침대를 벗어나려고 하거나, 침대 난간에 걸쳐진 경우, 침대 기둥 사이에 머리가 낀 경우, 침대를 넘어가다가 떨어진 경우 등에는 위험 이벤트를 출력할 수 있다.

전송부(340)는, 모니터링 단말(400)에서 촬영된 동영상 내 기 저장된 적어도 하나의 모니터링 이벤트가 감지되는 경우 사용자 단말(100)로 적어도 하나의 모니터링 이벤트를 안내 메세지로 전송할 수 있다. 전송부(340)는 촬영된 촬영화면 상에서 고정 객체와 이동 객체를 구분하고, 이동 객체가 영유아인지, 반려동물인지, 성인인지, 노인인지를 구분하며, 각 이동 객체에 기 매핑되어 저장된 감지 행동을 인식 및 분류하고, 이를 사용자에게 호출, 알림, 로그기록, 영상녹화 등으로 알려줌으로써, 사용자가 즉시 개입해야 하는 경우와, 상황만 모니터링해야 하는 경우를 구분할 수 있도록 해주고, 이에 따라 사용자는 항상 아이나 반려동물만 보는 것이 아니라 자신의 본업을 하면서도 아이나 반려동물을 돌보는 돌봄노동도 함께 수행해낼 수 있다.

웨어러블 기기(600)는, 모니터링할 영유아의 인체 중 어느 한 부위에 장착되어 영유아의 움직임 또는 생체신호를 수집하여 모니터링 서비스 제공 서버(300)로 전송할 수 있다. 관심 객체가 영유아인 경우 외에도, 반려동물이나 노인 등일 수도 있음은 상술한 바와 같고, 웨어러블 기기(600)를 반려동물이나 노인 등이 착용할 수도 있음은 자명하다 할 것이다. 공유기(Access Point, 500)는, 모니터링 단말(400) 및 모니터링 서비스 제공 서버(300) 간을 IoT(Internet of Things)로 연결되도록 엑세스를 제공할 수 있다. 이에 따라, 각 가정에 구비된 Wi-Fi나 모뎀 등의 공유기를 이용하여 데이터를 송수신할 수 있고, 추가적인 장비를 구비하지 않아도 본 발명의 일 실시예에 따른 서비스를 이용가능하다.

연동부(350)는, 사용자 단말(100)과 모니터링 단말(400) 간을 연동하기 위하여 음성 인식 및 환경소음 인식을 수행하고, 사용자 단말(100) 및 모니터링 단말(400)로부터 수신된 음성 및 환경소음이 포함된 오디오 주파수를 비교한 후, 기 설정된 유사도를 가지는 경우에만 사용자 단말(100) 및 모니터링 단말(400)을 페어링시킬 수 있다. 이때, 연동부(350)는 사용자가 음성을 발화하는 경우, 발화 데이터 내에 포함된 소리 데이터 및 진동 데이터를 수집하여 저장하고, 모니터링 단말(400)에서 인식된 발화 데이터 내에 포함된 소리 데이터 및 진동 데이터를 수집하여 저장하며, 각각의 데이터 내에서 특징 데이터를 추출하여 저장할 수 있다.

이때, 모니터링 단말(400)에서 인식된 발화 데이터의 소리 데이터를 STFT(Short-Time Fourier Trasnform)을 이용하여 스펙트로그램(Spectrogram) 이미지로 변환하고, 변환된 스펙트로그램 이미지를 CNN(Convolutional Neural Network)를 이용하여 특징 데이터를 추출하며, 모니터링 단말(400)의 진동 데이터 및 사용자 단말(100)의 진동 데이터를 시간 도메인(Time Domain)에서 XYZ축에 대하여 재구조화를 수행한 후, CNN을 이용하여 특징 데이터를 추출할 수 있다.

연동부(350)에서 소리 데이터를 스펙트로그램 이미지로 변환할 때, 푸리에 변환(Fourier Transform)의 비정상적인 신호에 대한 주파수 분석 기법의 오차가 생기는 문제점이 발생하고, 이와 같은 오차가 발생하는 순간에도 주파수 분석을 할 수 있는 방법이 필요하다.

연동부(350)는, 변환된 스펙트로그램 이미지를 CNN(Convolutional Neural Network)를 이용하여 특징 데이터를 추출할 수 있다. 스펙트로그램이 이미지로 출력되기 때문에, 결과적으로 이미지 분석을 통하여 사용자가 발화한 소리 데이터를, 모니터링 단말(400)에서 입력한 소리 데이터와 비교를 할 때, 이미지를 이용하여 비교해야 한다. 이 때, 서로 다른 이미지 간에 유사도를 계산하고자 할 때 픽셀 단위의 비교를 통해서는 이미지 사이의 유사한 정도를 판단하기 어렵기 때문에, 이러한 문제를 해결하기 위해 이미지를 픽셀 단위로 비교하는 것이 아닌 이미지의 특징을 추출하여 이미지를 비교하는 방법이 존재하는데, 바로 딥러닝 기술, CNN이다.

CNN은, 스스로 이미지의 특징을 학습하고 학습된 특징을 바탕으로 이미지의 분류 및 이미지의 패턴을 인식할 수 있고, 컨볼루션 층을 이용한 네트워크 구조로 이미지 처리에 적합하며, 이미지 데이터를 입력으로 하여 이미지 내의 특징을 기반으로 이미지를 분류할 수 있기 때문에 본 발명의 일 실시예에서 이용하도록 한다. 다만, CNN에 한정되는 것은 아니고 이미지를 구분하고 그 특징을 추출할 수 있는 방법이라면 그 어떠한 것이든 가능하다 할 것이다. CNN은, 스펙트로그램의 특징을 벡터 형태로 추출하고 추출된 특징을 이용하여 이미지 간 유사도를 측정할 수 있다.

스펙트로그램의 특징을 추출하기 위해 본 발명의 일 실시예에서는, 컨볼루션(Convolution) 레이어, 활성 함수(Activation Function) 레이어, 최대 풀링(Max Pooling) 레이어로 구성된 합성곱 신경망의 기본 구조를 이용한 모델을 이용할 수 있고, 유사도를 측정하기 이전, 이미지를 분류하기 위해사용되는 소프트맥스 레이어(Softmax Layer) 이전의 레이어로부터 스펙트로그램의 특징 벡터를 추출하여 사용할 수 있다. 기본적으로 전결합 레이어(Fully-Connected Layer)를 가지는 CNN과, 특징 맵(Feature Map) 상의 평균값을 가져오는 GAP 레이어(Global Average Layer)를 가지는 모델로부터 특징을 추출하여 유사도를 측정하는 데 사용할 수 있다.

이미지의 유사도를 측정하기 위한 또 다른 모델로 CNN 기반의 오토인코더 모델을 이용할 수도 있는데, 인코더(Encoder)는 컨볼루션 신경망 구조로 구성되어 있고, 인코더의 결과로 압축된 데이터를 다시 재구성하기 위한 디코더(Decoder)를 포함할 수 있다. 학습된 오토인코더 모델의 특정 레이어로부터 스펙트로그램의 특징을 추출하고, 이를 다시 GAP 레이어를 통해 나온 특징 벡터를 이미지 유사도 측정에 사용할 수 있다. 위 세가지 모델을 통해 추출된 이미지 특징 벡터로부터 유클리디안거리(Euclidean Distance) 및 코사인 유사도(Cosine Similarity)를 측정할 수 있고, 이를 이용하여 스펙트로그램 별유사 정도, 즉 유사도에 따라 정렬할 수 있으며, 정렬된 순서를 이용하여 스펙트로그램 별 가장 유사하다고 판단되는 데이터뿐만 아니라 가장 유사하지 않다고 판단되는 데이터까지 확인할 수 있다.

소리 데이터에 대한 특징 데이터가 추출되었으면, 그 다음은 진동 데이터에 대한 특징 데이터를 추출해야 하는데, 연동부(350)는, 수집된 진동 데이터를 시간 도메인(Time Domain)에서 XYZ축에 대하여 재구조화를 수행한 후, CNN을 이용하여 특징 데이터를 추출할 수 있다. 이에 대한 기본 개념은 시간축(시간 도메인)에 대한 추의 이동의 원리로 회귀한다. 용수철에 달린 추는 시간이 지남에 따라 상하로 운동하게 되고, 중심점을 기준으로 상한점과 하한점을 왕복하면서 그래프를 남긴다. 이와 마찬가지로, 사용자가 호흡을 하는 경우 호흡 소리가 사용자 단말(100)의 마이크로 입력되고, 호흡이 언제 발생하는지, 그 세기는 어느 정도인지, 그 패턴은 어떻게 되는지에 대한 데이터 생성 및 그래프 시각화가 가능해진다. 이렇게 생성된 그래프 또한 이미지이므로, 상술한 CNN을 이용하여 연동부(350)는 진동 데이터에 대한 특징 데이터를 추출할 수 있다. 인공지능 알고리즘은 데이터의 수집, 전처리, 특징 데이터 추출, 학습 및 테스트의 과정을 거쳐 모델링된다. 모델링 된 후 사용되는 것도 대부분 동일한데 학습 과정만을 거치지 않는 것만이 다르므로 그 이후 과정은 생략하기로 한다.

사용자 단말(100)과 모니터링 단말(400) 간의 연결 정보는 적어도 하나의 암호화 알고리즘으로 암호화되어 저장될 수 있는데, 예를 들어, AES(Adavanced Encryption Standard)256일 수 있으나 다른 암호화 알고리즘이 사용되는 것을 배제하지 않는다.

모니터링용 모바일 디바이스인 사용자 단말(100)은, 모니터링 단말(400)의 카메라 화면 영상을 모니터링 할 수 있는 모바일 디바이스이고, 사용자 단말(100)은, 원격으로 모니터링 단말(400)의 뮤직플레이어를 켜고 끄는 등의 컨트롤이 가능하며 모니터링 단말(400) 본체의 플래시(조명), 볼륨, 화면의 밝기를 원격으로 컨트롤이 가능하다. 야외에서 모니터링이 가능한 사용자 단말(100)은, Wi-Fi를 통해 모니터링 하는 것이 아닌 통신환경이 Cellular 일 때 야외에서 사용되고 있는 사용자 단말(100)을 뜻한다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (1)

1. 영유아를 관찰하도록 대향되는 방향을 촬영하여 실시간으로 전송하고, 조도를 감지하여 플래시를 구동하며, 위험 이벤트 또는 이탈 이벤트를 출력하기 위하여 촬영되는 화면 중 영역을 설정받는 모니터링 단말;
   상기 모니터링 단말로부터 실시간 스트리밍되는 동영상을 출력하고, 기 저장된 적어도 하나의 모니터링 이벤트가 감지되는 경우 상기 적어도 하나의 모니터링 이벤트를 안내 메세지로 출력하며, 상기 모니터링 단말에서 상기 위험 이벤트 또는 이탈 이벤트가 감지되는 경우, 상기 위험 이벤트 또는 이탈 이벤트를 수신하는 사용자 단말; 및
   상기 모니터링 단말 및 사용자 단말을 매핑하여 저장하는 저장부, 상기 모니터링 단말에서 실시간 스트리밍되는 동영상을 상기 사용자 단말로 전달하는 전달부, 상기 모니터링 단말에서 촬영되는 화면 중 영역이 설정되는 경우 설정된 영역 내에서 발생하는 위험 이벤트 또는 이탈 이벤트를 상기 사용자 단말로 전송하는 알람부, 상기 모니터링 단말에서 촬영된 동영상 내 기 저장된 적어도 하나의 모니터링 이벤트가 감지되는 경우 상기 사용자 단말로 상기 적어도 하나의 모니터링 이벤트를 안내 메세지로 전송하는 전송부를 포함하는 모니터링 서비스 제공 서버;
   를 포함하는 AR/VR 기반으로 영유아의 연령과 상태에 대한 데이터를 추출하고 인공지능으로 분석하여 맞춤형 구독 이커머스 영유아 제품 플랫폼을 제공하는 방법.