KR102277967B1 - 인공지능 기반 영유아 모니터링 서비스 제공 시스템 - Google Patents

인공지능 기반 영유아 모니터링 서비스 제공 시스템 Download PDF

Info

Publication number
KR102277967B1
KR102277967B1 KR1020210014681A KR20210014681A KR102277967B1 KR 102277967 B1 KR102277967 B1 KR 102277967B1 KR 1020210014681 A KR1020210014681 A KR 1020210014681A KR 20210014681 A KR20210014681 A KR 20210014681A KR 102277967 B1 KR102277967 B1 KR 102277967B1
Authority
KR
South Korea
Prior art keywords
monitoring
terminal
event
user terminal
service providing
Prior art date
Application number
KR1020210014681A
Other languages
English (en)
Inventor
신진호
Original Assignee
(주)무지개반사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)무지개반사 filed Critical (주)무지개반사
Priority to KR1020210014681A priority Critical patent/KR102277967B1/ko
Application granted granted Critical
Publication of KR102277967B1 publication Critical patent/KR102277967B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • G08B21/0208—Combination with audio or video communication, e.g. combination with "baby phone" function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/00335—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0261—System arrangements wherein the object is to detect trespassing over a fixed physical boundary, e.g. the end of a garden
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Alarm Systems (AREA)

Abstract

인공지능 기반 영유아 모니터링 서비스 제공 시스템이 제공되며, 영유아를 관찰하도록 대향되는 방향을 촬영하여 실시간으로 전송하고, 조도를 감지하여 플래시를 구동하며, 위험 이벤트 또는 이탈 이벤트를 출력하기 위하여 촬영되는 화면 중 영역을 설정받는 모니터링 단말, 모니터링 단말로부터 실시간 스트리밍되는 동영상을 출력하고, 기 저장된 적어도 하나의 모니터링 이벤트가 감지되는 경우 적어도 하나의 모니터링 이벤트를 안내 메세지로 출력하며, 모니터링 단말에서 위험 이벤트 또는 이탈 이벤트가 감지되는 경우, 위험 이벤트 또는 이탈 이벤트를 수신하는 사용자 단말 및 모니터링 단말 및 사용자 단말을 매핑하여 저장하는 저장부, 모니터링 단말에서 실시간 스트리밍되는 동영상을 사용자 단말로 전달하는 전달부, 모니터링 단말에서 촬영되는 화면 중 영역이 설정되는 경우 설정된 영역 내에서 발생하는 위험 이벤트 또는 이탈 이벤트를 사용자 단말로 전송하는 알람부, 모니터링 단말에서 촬영된 동영상 내 기 저장된 적어도 하나의 모니터링 이벤트가 감지되는 경우 사용자 단말로 적어도 하나의 모니터링 이벤트를 안내 메세지로 전송하는 전송부를 포함하는 모니터링 서비스 제공 서버를 포함한다.

Description

인공지능 기반 영유아 모니터링 서비스 제공 시스템{SYSTEM FOR PROVIDING ARTIFICIAL INTELLIGENCE BASED BABY MONITORING SERVICE}
본 발명은 인공지능 기반 영유아 모니터링 서비스 제공 시스템에 관한 것으로, 영유아를 식별하고 영유아의 행동을 파악하여 보호자에게 알람을 제공한다.
최근 다양한 형태의 웨어러블 디바이스가 출현하고 활용되고 있다. 이 중에서도 스마트 워치와 같은 손목형 웨어러블 디바이스가 가장 많은 시장을 차지하고 있는데, 웨어러블 디바이스는 단순히 헬스케어용도로 사용되는 것도 있지만, 노약자들을 대상으로 하는 높은 수준의 안전성이 확보되어야 하는 웨어러블 디바이스도 존재한다. 특히 유아의 경우에는 의사소통에 상당히 문제가 있고 영유아의 시기에는 머리를 잘 가누지 못하기 때문에, 엎드려서 잘 경우 심장과 얼굴이 눌리는 결과 호흡곤란이 발생할 수 있고 이는 곧 영유아 질식사로 이어질 수 있다. 이를 예방하기 위해서는 유아의 생체정보를 획득할 수 있는 기능과 더불어 모니터링 시스템에 정보를 효과적으로 제공하고 이를 통계 수치화하는 것도 필요하다.
이때, 영유아 질식사를 막을 수 있도록 카메라 및 웨어러블 기기를 이용하여 자세 및 생체신호를 모니터링하기 위한 스마트 플랫폼이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국등록특허 제10-1748410호(2017년06월16일 공고) 및 한국등록특허 제10-2200202호(2021년01월08일 공고)에는, 보호자 단말과 연동 가능한 IoT 기반의 인터페이스 모듈을 내장하여 보호자가 영유아와 떨어진 장소에서도 보호자가 보호자 단말을 통해 유아의 상태나 상황을 모니터링할 수 있도록, 영유아를 촬영한 결과를 보호자 단말로 전송하고, 모니터링 결과에 기반하여 영유아를 촬영하는 카메라를 포함한 모빌을 제어하고 보호자 단말로부터 수신된 음향 신호 또는 음성 신호를 전달하여 출력하는 구성과, 웨어러블 디바이스를 이용하여 영유아의 체온, 생체 신호 및 외력을 측정하고, 심전도를 측정하여 영유아의 심박수를 측정하고, 심박의 R-R간격을 통계적으로 처리하는 기법으로 자료를 분석하며, 관찰대상의 상태에 대응하는 피드백을 실시간으로 제공할 수 있는 구성이 각각 개시되어 있다.
다만, 질식사를 예방하기 위해 전동요람과 같은 다양한 방법들이 개발되고 있지만, 고비용의 인프라 구축이 선행되어야 하며 카메라를 별도로 구매하여 설치하거나 센서를 구매해야 한다는 진입 장벽이 존재한다. 또, 어두운 환경의 경우 모니터링 객체의 얼굴 인식이 되지 않거나 단순히 현재 상황을 사람이 모니터링할 수 있도록 스트리밍만 제공하는 수준이기 때문에, 비용을 들여 인프라를 구축했다고 할지라도 다시 사람이 개입하여 일일이 전송 화면을 지켜봐야 하는 이유로 인프라를 구축한 효용이 무색해지는 경우가 대부분이다. 이에, 영유아의 질식사를 방지하기 위하여 얼굴의 전면, 측면 및 후면을 인식하고 엎드려서 자는 경우의 시간이나 소음을 체크하여 보호자를 즉시호출할 수 있도록 하는 플랫폼의 연구 및 개발이 요구된다.
본 발명의 일 실시예는, 인공지능 알고리즘을 이용하여 영유아의 얼굴 인식은 물론, 전면, 측면 및 후면까지 인식되도록 하고, 엎드려 있는 시간이 기 설정된 시간을 초과하거나 소음을 체크했을 때 질식사의 위험 기준과 유사한 경우 즉시 보호자 단말로 알람을 전달함으로써 즉시 자세를 고쳐줄 수 있도록 하고, 질식사 외에도 장난감이 떨어졌거나, 젖병이나 젖꼭지를 놓치거나 먹는 등 보호자의 개입이 필요한 순간을 자동으로 인식하여 상황을 보호자에게 전달해줌으로써, 보호자가 24/7 일일이 감시하는 것이 아니라, 개입이 필요한 상황에만 알림을 받고 개입할 수 있으므로 보호자가 자신의 일을 할 수 있는 시간을 만들어줄 수 있으면서도 영유아의 생명이 위험한 상황을 즉시 인지할 수 있도록 하는, 인공지능 기반 영유아 모니터링 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 영유아를 관찰하도록 대향되는 방향을 촬영하여 실시간으로 전송하고, 조도를 감지하여 플래시를 구동하며, 위험 이벤트 또는 이탈 이벤트를 출력하기 위하여 촬영되는 화면 중 영역을 설정받는 모니터링 단말, 모니터링 단말로부터 실시간 스트리밍되는 동영상을 출력하고, 기 저장된 적어도 하나의 모니터링 이벤트가 감지되는 경우 적어도 하나의 모니터링 이벤트를 안내 메세지로 출력하며, 모니터링 단말에서 위험 이벤트 또는 이탈 이벤트가 감지되는 경우, 위험 이벤트 또는 이탈 이벤트를 수신하는 사용자 단말 및 모니터링 단말 및 사용자 단말을 매핑하여 저장하는 저장부, 모니터링 단말에서 실시간 스트리밍되는 동영상을 사용자 단말로 전달하는 전달부, 모니터링 단말에서 촬영되는 화면 중 영역이 설정되는 경우 설정된 영역 내에서 발생하는 위험 이벤트 또는 이탈 이벤트를 사용자 단말로 전송하는 알람부, 모니터링 단말에서 촬영된 동영상 내 기 저장된 적어도 하나의 모니터링 이벤트가 감지되는 경우 사용자 단말로 적어도 하나의 모니터링 이벤트를 안내 메세지로 전송하는 전송부를 포함하는 모니터링 서비스 제공 서버를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 인공지능 알고리즘을 이용하여 영유아의 얼굴 인식은 물론, 전면, 측면 및 후면까지 인식되도록 하고, 엎드려 있는 시간이 기 설정된 시간을 초과하거나 소음을 체크했을 때 질식사의 위험 기준과 유사한 경우 즉시 보호자 단말로 알람을 전달함으로써 즉시 자세를 고쳐줄 수 있도록 하고, 질식사 외에도 장난감이 떨어졌거나, 젖병이나 젖꼭지를 놓치거나 먹는 등 보호자의 개입이 필요한 순간을 자동으로 인식하여 상황을 보호자에게 전달해줌으로써, 보호자가 24/7 일일이 감시하는 것이 아니라, 개입이 필요한 상황에만 알림을 받고 개입할 수 있으므로 보호자가 자신의 일을 할 수 있는 시간을 만들어줄 수 있으면서도 영유아의 생명이 위험한 상황을 즉시 인지할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 영유아 모니터링 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 모니터링 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 인공지능 기반 영유아 모니터링 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 인공지능 기반 영유아 모니터링 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 영유아 모니터링 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 인공지능 기반 영유아 모니터링 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 모니터링 서비스 제공 서버(300), 적어도 하나의 모니터링 단말(400), 적어도 하나의 공유기(500)를 포함할 수 있다. 다만, 이러한 도 1의 인공지능 기반 영유아 모니터링 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(Network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 모니터링 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 모니터링 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 모니터링 단말(400), 적어도 하나의 공유기(500) 및 웨어러블 기기(600)과 연결될 수 있다. 또한, 적어도 하나의 모니터링 단말(400)은, 네트워크(200)를 통하여 모니터링 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 적어도 하나의 공유기(500)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 모니터링 서비스 제공 서버(300) 및 적어도 하나의 모니터링 단말(400)과 연결될 수 있다. 마지막으로, 웨어러블 기기(600)는, 네트워크(200)를 통하여 사용자 단말(100), 모니터링 단말(400), 모니터링 서비스 제공 서버(300), 적어도 하나의 공유기(500)와 연결될 수 있다.
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.
적어도 하나의 사용자 단말(100)은, 인공지능 기반 영유아 모니터링 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 모니터링 단말(400)과 연결되어 모니터링 단말(400)에서 촬영되는 화면을 실시간으로 스트리밍받는 사용자의 단말일 수 있다. 이때, 사용자는 영유아, 노인, 반려동물의 보호자일 수 있다. 그리고, 사용자 단말(100)은, 모니터링 단말(400)에서 촬영한 화면 상에 적어도 하나의 모니터링 이벤트가 발생하는 경우, 모니터링 서비스 제공 서버(300)로부터 수신하여 출력하는 단말일 수 있다. 또한, 사용자 단말(100)은, 모니터링 단말(400)에서 촬영되는 화면 상에 영역을 지정한 경우, 화면 상 영역 내에 피사체인 이동 객체가 감지되거나, 위험 수준을 설정한 경우 수준별 알람을 모니터링 서비스 제공 서버(300)로부터 수신하여 출력하는 단말일 수 있다.
여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
모니터링 서비스 제공 서버(300)는, 인공지능 기반 영유아 모니터링 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 모니터링 서비스 제공 서버(300)는, 얼굴 인식 및 움직임 인식을 위하여 얼굴의 적어도 하나의 특징점을 이용하여 얼굴을 인식하도록 하고, 움직임을 학습 및 테스트하여 각각의 움직임이 인식되어 질의(Query)로 입력된 경우, 움직임 태그나 움직임을 나타내는 텍스트를 출력하도록 인공지능 알고리즘을 모델링하는 서버일 수 있다. 또한, 모니터링 서비스 제공 서버(300)는, 사용자 단말(100)에서 녹음 또는 설정한 음성 또는 오디오 콘텐츠가 존재하는 경우, 위험 또는 이탈 상황에서 음성 또는 오디오 콘텐츠를 모니터링 단말(400)에서 출력하도록 하는 서버일 수 있다. 그리고, 모니터링 서비스 제공 서버(300)는, 사용자 단말(100) 또는 모니터링 단말(400)에서 영역이 설정된 경우, 영역 내 이동 객체가 위치하는지, 이동 객체가 영역을 벗어나는지 또는 접근하는지 등의 여부를 파악하여 사용자 단말(100)로 이탈 이벤트를 전송하는 서버일 수 있다. 또한, 모니터링 서비스 제공 서버(300)는, 사용자 단말(100)과 모니터링 단말(400)이 IoT 기반으로 공유기(500)를 통하여 연동되도록 할 때, 사용자 단말(100)과 모니터링 단말(400)에서 입력된 음성 신호 및 배경 신호(환경소음)를 입력받고, 시간 도메인에서 주파수를 비교한 후 기 설정된 유사도를 초과하는 경우에만 사용자 단말(100)과 모니터링 단말(400)을 연동시키는 서버일 수 있고, 연결 정보는 적어도 하나의 암호화 알고리즘으로 암호화하여 저장하는 서버일 수 있다.
여기서, 모니터링 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
적어도 하나의 모니터링 단말(400)은, 인공지능 기반 영유아 모니터링 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 대향되는 방향 또는 전면 방향을 촬영하는 단말일 수 있다. 모니터링 단말(400)은 감지된 조도가 기 설정된 조도보다 낮은 경우 IoT 스위치와 연결되어 있다면 공유기(500)로 전등을 켜도록 하거나 플래쉬를 턴 온 시켜 기 설정된 조도를 만족하도록 다른 기기 또는 모니터링 단말(400)의 플래쉬를 제어함으로써 촬영하는 시야를 확보하고자 하는 단말일 수 있다. 그리고, 모니터링 단말(400)은 공유기(500)를 통하여 모니터링 서비스 제공 서버(300)와 연결되어 촬영한 동영상을 실시간으로 업로드하는 단말일 수 있다. 또한, 모니터링 단말(400)은 사용자 단말(100)에서 영역을 설정하고 음성 또는 오디오 콘텐츠를 설정한 경우, 영역을 벗어나는 경우 이탈 이벤트를 발생하면서 음성 또는 오디오 콘텐츠를 출력하는 단말일 수 있다. 그리고, 모니터링 단말(400)은 모니터링 서비스 제공 서버(300)로부터 백색 소음이나 음악 콘텐츠가 설정되고, 이에 매핑되어 모니터링 이벤트의 종류가 선택된 경우, 선택된 모니터링 이벤트의 종류가 발생 또는 감지되면, 설정된 백색 소음이나 음악 콘텐츠를 재생하도록 하는 단말일 수 있다.
여기서, 적어도 하나의 모니터링 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 모니터링 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 모니터링 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
적어도 하나의 공유기(500)는, 인공지능 기반 영유아 모니터링 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 모니터링 단말(400)과 모니터링 서비스 제공 서버(300) 간을 연결할 수 있도록 하고, IoT 기기가 연결된 경우 모니터링 서비스 제공 서버(300)나 모니터링 단말(400) 또는 사용자 단말(100)의 제어 명령을 각 IoT 기기로 전달하는 장치일 수 있다.
웨어러블 기기(600)는, 인공지능 기반 영유아 모니터링 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 영유아의 움직임이나 생체신호를 감지하여 공유기(500)를 통하여 모니터링 서비스 제공 서버(300)로 전달하는 장치일 수 있다. 예를 들어, 웨어러블 기기(600)는, 영유아의 경우 발목에, 반려동물인 경우 목이나 가슴에, 노인인 경우 팔목에 착용되는 장치일 수 있다. 물론, 착용위치는 한정되지는 않는다.
여기서, 웨어러블 기기(600)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 웨어러블 기기(600)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 웨어러블 기기(600)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 2는 도 1의 시스템에 포함된 모니터링 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따른 인공지능 기반 영유아 모니터링 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 2를 참조하면, 모니터링 서비스 제공 서버(300)는, 저장부(310), 전달부(320), 알람부(330), 전송부(340), 연동부(350) 및 AI부(360)를 포함할 수 있다.
본 발명의 일 실시예에 따른 모니터링 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100), 적어도 하나의 모니터링 단말(400), 적어도 하나의 공유기(500) 및 웨어러블 기기(600)로 인공지능 기반 영유아 모니터링 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100), 적어도 하나의 모니터링 단말(400), 적어도 하나의 공유기(500) 및 웨어러블 기기(600)는, 인공지능 기반 영유아 모니터링 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 적어도 하나의 사용자 단말(100), 적어도 하나의 모니터링 단말(400), 적어도 하나의 공유기(500) 및 웨어러블 기기(600)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.
도 2를 참조하면, 저장부(310)는, 모니터링 단말(400) 및 사용자 단말(100)을 매핑하여 저장할 수 있다. 모니터링 단말(400)과 사용자 단말(100)을 연동시키는 경우 페어링이 필요한데 이는 연동부(350)에서 후술하기로 한다.
전달부(320)는, 모니터링 단말(400)에서 실시간 스트리밍되는 동영상을 사용자 단말(100)로 전달할 수 있다. 사용자 단말(100)은, 모니터링 단말(400)로부터 실시간 스트리밍되는 동영상을 출력하고, 기 저장된 적어도 하나의 모니터링 이벤트가 감지되는 경우 적어도 하나의 모니터링 이벤트를 안내 메세지로 출력하며, 모니터링 단말(400)에서 위험 이벤트 또는 이탈 이벤트가 감지되는 경우, 위험 이벤트 또는 이탈 이벤트를 수신할 수 있다. 모니터링 단말(400)은, 영유아를 관찰하도록 대향되는 방향을 촬영하여 실시간으로 전송하고, 조도를 감지하여 플래시를 구동하며, 위험 이벤트 또는 이탈 이벤트를 출력하기 위하여 촬영되는 화면 중 영역을 설정받을 수 있다.
알람부(330)는, 모니터링 단말(400)에서 촬영되는 화면 중 영역이 설정되는 경우 설정된 영역 내에서 발생하는 위험 이벤트 또는 이탈 이벤트를 사용자 단말(100)로 전송할 수 있다. 본 발명의 이벤트의 종류는 크게 모니터링 이벤트, 위험 이벤트 및 이탈 이벤트로 나뉘어진다. 모니터링 이벤트가 상위 개념이고 위험 이벤트와 이탈 이벤트는 모니터링 이벤트의 한 종류로 하위 개념이다. 모니터링 이벤트는, 관심 객체(Object of Interest)를 인식하고, 관심 객체의 생체 신호 또는 움직임 데이터를 분류하며, 분류된 결과를 알려주기 위한 것이고, 위험 이벤트 또는 이탈 이벤트는 관심 객체가 모니터링 이벤트로 분류된 후 위험한 행동을 하거나 지정된 영역을 벗어나는 경우를 사용자에게 알려주기 위한 개념이다. 다만, 본 발명의 일 실시예에서는 위험 이벤트와 이탈 이벤트를 감지하기 위하여 영역을 지정하는 설정이 더 포함되므로 위험 이벤트와 이탈 이벤트로 별도로 명명하여 정의하기로 한다.
이때, 기 저장된 적어도 하나의 모니터링 이벤트는, 머리를 정면으로 누운 시간, 머리를 좌측으로 누운 시간, 머리를 우측으로 누운 시간, 엎드려서 자는 경우, 깨어있는 경우, 자고 있는 경우, 정면으로 누워서 자는 경우, 좌측으로 누워서 자는 경우, 손을 입으로 빨고 있는 경우, 우는 경우, 찡그리는 경우, 귀를 손으로 잡는 경우, 웃는 경우, 젖병이나 공갈 젖꼭지를 놓친 경우, 젖병이나 공갈 젖꼭지를 먹는 경우 및 인형이나 장난감이 떨어진 경우가 모니터링된 이벤트일 수 있다. 물론, 나열된 것들로 한정되지 않고 열거되지 않은 이유로 배제되지 않으며, 각 관심 객체의 행동을 분류해야 할 경우가 발생하는 경우 추가될 수도 있고 분류하지 않아도 되는 행동에 대해서는 삭제나 변경이 이루어질 수도 있다.
위험 이벤트는, 모니터링 단말(400)에서 촬영되는 화면 상 위험구역을 설정하는 경우, 위험구역 상 피사체인 이동 객체가 존재하는 경우에 발생되는 이벤트이고, 위험 이벤트가 발생된 경우, 기 저장된 사운드가 모니터링 단말(400)에서 재생되면서 사용자 단말(100)로 알림을 전송하도록 설정될 수 있다. 예를 들어, 강아지는 현관에서 주인의 채취가 뭍은 신발이나 슬리퍼를 자주 물어와서 씹곤 하는데, 현관에 신발을 놓는 위치를 위험구역으로 설정하는 경우, 위험구역 내에 이동 객체인 강아지가 들어온 경우에는, "안돼"라는 음성을 출력하도록 하고, 사용자 단말(100)로는 강아지가 현관으로 진입하고 있다는 이벤트를 출력할 수 있다. 또는, 고양이의 경우에도 식탁 위로 올라가서 물병이나 물컵을 떨어뜨리는 행동을 자주 하는데, 식탁 상부면을 위험구역으로 설정한 경우, 이동 객체인 고양이가 식탁 위로 진입하면 "안돼"라는 음성을 출력하도록 하고, 사용자 단말(100)로는 고양이가 식탁에 올라갔다는 이벤트를 출력할 수 있다. 물론, 음성이 아니더라도 강아지나 고양이가 무서워할만한 늑대 울음소리나 호랑이 울음소리와 같은 오디오 콘텐츠를 설정할 수 있도록 하는 것도 가능하다.
이탈 이벤트는, 모니터링 단말(400)에서 촬영되는 화면 상 이탈방지구역을 설정하는 경우, 이탈방지구역 상 피사체인 이동 객체가 존재하는 경우에 발생되는 이벤트이고, 이탈 이벤트가 발생된 경우 기 저장된 사운드가 모니터링 단말(400)에서 재생되면서 사용자 단말(100)로 알림을 전송하도록 설정될 수 있다. 이탈방지구역을 이동 객체가 벗어나지 않는 경우에는 안전, 이탈방지구역의 경계선을 이동 객체가 지나는 경우에는 경고, 이탈방지구역을 이동 객체가 완전히 벗어난 경우에는 위험으로 설정될 수 있다. 예를 들어, 영유아가 침대를 벗어나려고 하거나, 침대 난간에 걸쳐진 경우, 침대 기둥 사이에 머리가 낀 경우, 침대를 넘어가다가 떨어진 경우 등에는 위험 이벤트를 출력할 수 있다.
전송부(340)는, 모니터링 단말(400)에서 촬영된 동영상 내 기 저장된 적어도 하나의 모니터링 이벤트가 감지되는 경우 사용자 단말(100)로 적어도 하나의 모니터링 이벤트를 안내 메세지로 전송할 수 있다. 전송부(340)는 촬영된 촬영화면 상에서 고정 객체와 이동 객체를 구분하고, 이동 객체가 영유아인지, 반려동물인지, 성인인지, 노인인지를 구분하며, 각 이동 객체에 기 매핑되어 저장된 감지 행동을 인식 및 분류하고, 이를 사용자에게 호출, 알림, 로그기록, 영상녹화 등으로 알려줌으로써, 사용자가 즉시 개입해야 하는 경우와, 상황만 모니터링해야 하는 경우를 구분할 수 있도록 해주고, 이에 따라 사용자는 항상 아이나 반려동물만 보는 것이 아니라 자신의 본업을 하면서도 아이나 반려동물을 돌보는 돌봄노동도 함께 수행해낼 수 있다.
웨어러블 기기(600)는, 모니터링할 영유아의 인체 중 어느 한 부위에 장착되어 영유아의 움직임 또는 생체신호를 수집하여 모니터링 서비스 제공 서버(300)로 전송할 수 있다. 관심 객체가 영유아인 경우 외에도, 반려동물이나 노인 등일 수도 있음은 상술한 바와 같고, 웨어러블 기기(600)를 반려동물이나 노인 등이 착용할 수도 있음은 자명하다 할 것이다. 공유기(Access Point, 500)는, 모니터링 단말(400) 및 모니터링 서비스 제공 서버(300) 간을 IoT(Internet of Things)로 연결되도록 엑세스를 제공할 수 있다. 이에 따라, 각 가정에 구비된 Wi-Fi나 모뎀 등의 공유기를 이용하여 데이터를 송수신할 수 있고, 추가적인 장비를 구비하지 않아도 본 발명의 일 실시예에 따른 서비스를 이용가능하다.
연동부(350)는, 사용자 단말(100)과 모니터링 단말(400) 간을 연동하기 위하여 음성 인식 및 환경소음 인식을 수행하고, 사용자 단말(100) 및 모니터링 단말(400)로부터 수신된 음성 및 환경소음이 포함된 오디오 주파수를 비교한 후, 기 설정된 유사도를 가지는 경우에만 사용자 단말(100) 및 모니터링 단말(400)을 페어링시킬 수 있다. 이때, 연동부(350)는 사용자가 음성을 발화하는 경우, 발화 데이터 내에 포함된 소리 데이터 및 진동 데이터를 수집하여 저장하고, 모니터링 단말(400)에서 인식된 발화 데이터 내에 포함된 소리 데이터 및 진동 데이터를 수집하여 저장하며, 각각의 데이터 내에서 특징 데이터를 추출하여 저장할 수 있다.
이때, 모니터링 단말(400)에서 인식된 발화 데이터의 소리 데이터를 STFT(Short-Time Fourier Trasnform)을 이용하여 스펙트로그램(Spectrogram) 이미지로 변환하고, 변환된 스펙트로그램 이미지를 CNN(Convolutional Neural Network)를 이용하여 특징 데이터를 추출하며, 모니터링 단말(400)의 진동 데이터 및 사용자 단말(100)의 진동 데이터를 시간 도메인(Time Domain)에서 XYZ축에 대하여 재구조화를 수행한 후, CNN을 이용하여 특징 데이터를 추출할 수 있다.
연동부(350)에서 소리 데이터를 스펙트로그램 이미지로 변환할 때, 푸리에 변환(Fourier Transform)의 비정상적인 신호에 대한 주파수 분석 기법의 오차가 생기는 문제점이 발생하고, 이와 같은 오차가 발생하는 순간에도 주파수 분석을 할 수 있는 방법이 필요하다. 이에, STFT는, 신호의 안정성을 고려하여 대상 신호를 프레임 단위로 나누어 일정한 크기의 창을 움직이면서 푸리에 변환을 하는 방법인데, 분석하고자 하는 신호에 윈도우(Window) 함수를 적용한 후 푸리에 변환을 수행하는 것으로 시간 영역에서의 STFT의 수식은 STFT(t,w)=∫x(τ-t)e-jwτ dτ이며, 인테그랄의 범위는 - 무한대에서 + 무한대까지이다.
여기서 x(τ)는 분석하고자 하는 신호이고, w(τ-t)는 윈도우 함수이다. 또, 스펙트로그램(Spectrogram)은, 소리나 파동을 시각화하여 파악하기 위한 도구로, 파형(Waveform)과 스펙트럼(Spectrum)의 특징이 조합되어 있다. 파형에서는 시간축의 변화, 즉 시간 도메인에서의 진폭축의 변화를 볼 수 있고, 스펙트럼에서는 주파수축의 변화에 따른 진폭축의 변화를 볼 수 있는 반면, 스펙트로그램에서는 시간축과 주파수축의 변화에 따라 진폭의 차이를 인쇄 농도나 표시 색상의 차이로 나타낸다.
연동부(350)는, 변환된 스펙트로그램 이미지를 CNN(Convolutional Neural Network)를 이용하여 특징 데이터를 추출할 수 있다. 스펙트로그램이 이미지로 출력되기 때문에, 결과적으로 이미지 분석을 통하여 사용자가 발화한 소리 데이터를, 모니터링 단말(400)에서 입력한 소리 데이터와 비교를 할 때, 이미지를 이용하여 비교해야 한다. 이때, 서로 다른 이미지 간에 유사도를 계산하고자 할 때 픽셀 단위의 비교를 통해서는 이미지 사이의 유사한 정도를 판단하기 어렵기 때문에, 이러한 문제를 해결하기 위해 이미지를 픽셀 단위로 비교하는 것이 아닌 이미지의 특징을 추출하여 이미지를 비교하는 방법이 존재하는데, 바로 딥러닝 기술, CNN이다.
CNN은, 스스로 이미지의 특징을 학습하고 학습된 특징을 바탕으로 이미지의 분류 및 이미지의 패턴을 인식할 수 있고, 컨볼루션 층을 이용한 네트워크 구조로 이미지 처리에 적합하며, 이미지 데이터를 입력으로 하여 이미지 내의 특징을 기반으로 이미지를 분류할 수 있기 때문에 본 발명의 일 실시예에서 이용하도록 한다. 다만, CNN에 한정되는 것은 아니고 이미지를 구분하고 그 특징을 추출할 수 있는 방법이라면 그 어떠한 것이든 가능하다 할 것이다. CNN은, 스펙트로그램의 특징을 벡터 형태로 추출하고 추출된 특징을 이용하여 이미지 간 유사도를 측정할 수 있다.
스펙트로그램의 특징을 추출하기 위해 본 발명의 일 실시예에서는, 컨볼루션(Convolution) 레이어, 활성 함수(Activation Function) 레이어, 최대 풀링(Max Pooling) 레이어로 구성된 합성곱 신경망의 기본 구조를 이용한 모델을 이용할 수 있고, 유사도를 측정하기 이전, 이미지를 분류하기 위해사용되는 소프트맥스 레이어(Softmax Layer) 이전의 레이어로부터 스펙트로그램의 특징 벡터를 추출하여 사용할 수 있다. 기본적으로 전결합 레이어(Fully-Connected Layer)를 가지는 CNN과, 특징 맵(Feature Map) 상의 평균값을 가져오는 GAP 레이어(Global Average Layer)를 가지는 모델로부터 특징을 추출하여 유사도를 측정하는 데 사용할 수 있다.
이미지의 유사도를 측정하기 위한 또 다른 모델로 CNN 기반의 오토인코더 모델을 이용할 수도 있는데, 인코더(Encoder)는 컨볼루션 신경망 구조로 구성되어 있고, 인코더의 결과로 압축된 데이터를 다시 재구성하기 위한 디코더(Decoder)를 포함할 수 있다. 학습된 오토인코더 모델의 특정 레이어로부터 스펙트로그램의 특징을 추출하고, 이를 다시 GAP 레이어를 통해 나온 특징 벡터를 이미지 유사도 측정에 사용할 수 있다. 위 세 가지 모델을 통해 추출된 이미지 특징 벡터로부터 유클리디안거리(Euclidean Distance) 및 코사인 유사도(Cosine Similarity)를 측정할 수 있고, 이를 이용하여 스펙트로그램 별 유사 정도, 즉 유사도에 따라 정렬할 수 있으며, 정렬된 순서를 이용하여 스펙트로그램 별 가장 유사하다고 판단되는 데이터뿐만 아니라 가장 유사하지 않다고 판단되는 데이터까지 확인할 수 있다.
소리 데이터에 대한 특징 데이터가 추출되었으면, 그 다음은 진동 데이터에 대한 특징 데이터를 추출해야 하는데, 연동부(350)는, 수집된 진동 데이터를 시간 도메인(Time Domain)에서 XYZ축에 대하여 재구조화를 수행한 후, CNN을 이용하여 특징 데이터를 추출할 수 있다. 이에 대한 기본 개념은 시간축(시간 도메인)에 대한 추의 이동의 원리로 회귀한다. 용수철에 달린 추는 시간이 지남에 따라 상하로 운동하게 되고, 중심점을 기준으로 상한점과 하한점을 왕복하면서 그래프를 남긴다. 이와 마찬가지로, 사용자가 호흡을 하는 경우 호흡 소리가 사용자 단말(100)의 마이크로 입력되고, 호흡이 언제 발생하는지, 그 세기는 어느 정도인지, 그 패턴은 어떻게 되는지에 대한 데이터 생성 및 그래프 시각화가 가능해진다. 이렇게 생성된 그래프 또한 이미지이므로, 상술한 CNN을 이용하여 연동부(350)는 진동 데이터에 대한 특징 데이터를 추출할 수 있다. 인공지능 알고리즘은 데이터의 수집, 전처리, 특징 데이터 추출, 학습 및 테스트의 과정을 거쳐 모델링된다. 모델링 된 후 사용되는 것도 대부분 동일한데 학습 과정만을 거치지 않는 것만이 다르므로 그 이후 과정은 생략하기로 한다.
사용자 단말(100)과 모니터링 단말(400) 간의 연결 정보는 적어도 하나의 암호화 알고리즘으로 암호화되어 저장될 수 있는데, 예를 들어, AES(Adavanced Encryption Standard)256일 수 있으나 다른 암호화 알고리즘이 사용되는 것을 배제하지 않는다. 예를 들어, RSA(RIVEST-Shamir-Adleman)를 이용할 수도 있는데, RSA는, 큰 소수를 곱하는 것에 대한 소인수분해의 난해함을 기반으로 한 쌍방향 비대칭키 암호화 알고리즘, 즉 공개키 암호화 알고리즘이다. RSA는 두 개의 키인, 메시지나 암호문을 변환하는 상수를 사용한다. 일반적으로 많은 공개키 알고리즘의 공개키(Public Key)는 모두에게 알려져 있으며 메시지를 암호화(Encrypt)하는데 쓰이고, 암호화된 메시지는 개인키(Private Key)를 가진 자만이 복호화(Decrypt)하여 열어볼 수 있다. 하지만 RSA 공개키 알고리즘은 이러한 제약조건이 없다. 개인키로 암호화하여 공개키로 복호화할 수도 있다. 이때, RSA 암호화 과정은 첫 번째 단계로 키 생성, 두 번째 단계로 키 분배, 세 번째 단계로 암호화, 네 번째 단계로 복호화를 포함할 수 있다.
우선, 키 생성은, 임의의 서로 다른 소수인 p, q를 선택하는데, 보안상의 목적으로 p와 q는 매우 큰 숫자여야 한다. 이는 Rabin-Miller 알고리즘 등의 소수 여부 판별 알고리즘으로 컴퓨터 연산을 통하여 산출할 수 있고, 이하 수학식 1과 같은 연산을 통해 n, e, d를 구한다.
Figure 112021013428803-pat00001
Figure 112021013428803-pat00002
이때, e는 1<e<φ(n)과, gcd(e,φ(n))=1을 만족하는 값이고, d는 ed=1(modφ(n))를 만족하는 값이다. 이 과정에서, 확장된 유클라디안(Extended Euclidean) 알고리즘이 이용될 수 있다. 이때, (n,e)는 공개키, (n,d)는 개인키이고, 메세지를 n보다 작은 자연수 m으로 변환했을 때, RSA 공개키 암호화 과정은 이하 수학식 2와 같고, RSA 공개키 복호화 과정은 수학식 3과 같다.
Figure 112021013428803-pat00003
Figure 112021013428803-pat00004
이러한 변환이 성립한다는 명제는 페르마의 소정리로 증명할 수 있고, 공개키 변환, 즉 암호화와, 개인키 변환인 복호화는 역함수 관계이다. 즉, Pu()=Pr-1()이 성립한다. 공개키 알고리즘은 누구나 어떤 메세지를 암호화할 수 있지만, 그것을 해독하여 열람할 수 있는 사람은 개인키를 지닌 단 한 사람만이 존재한다는 점에서 대칭키 알고리즘과 차이를 가진다.
비대칭키 암호화 알고리즘은, 암호화할 때와 복호화할 때 서로 다른 키, 즉 문자열을 암호화하고 복호화하는 상수가 필요하다는 점이 다르다. 이러한 특징을 가진 이 암호화 알고리즘 중 본 발명의 일 실시예에서는 예를 들어, 2048비트의 합성수 N에 대한 RSA 암호인 RSA-2048을 사용할 수 있으며, SHA-256(Secured Hash Algorithm) 단방향 암호화 알고리즘과 함께 전자서명을 할 수도 있다.
한편, SHA(Secured Hash Algorithm)는 미국 국가안보국(NSA)가 설계한 암호화 해시 함수들의 집합이다. 이는 암호화한 기존 문자열을 알아내지 못하고, 암호화된 문자열이 암호화한 문자열에 대해 일대일 대응이라는 특징이 있다. 이러한 특징으로 원문이어야 할 현재 데이터를 암호화하여 기존 원문을 암호화한 내용과 비교함으로써 사람이 데이터의 무결성을 파악할 수 있다.
또는, 프록시 재암호화(Proxy Re-Encryption)를 이용할 수 있는데, 프록시 개체(Entity)가 기본 메시지에 대해 아무것도 알지 않고도 하나의 공개키에서 다른 공개키로 암호문을 변환할 수 있게 해주는 일종의 공개키 암호화 기법으로 1:1 통신에 이상적인 기존의 PKE(Public Key Encryption) 프로토콜과 비교할 때, 임의의 수의 데이터 생성자 및 소비자 간의 N:N 통신에 대해 확장성이 좋다. 외부사용자들이 사용자에게 블록체인에 저장된 암호화된 데이터에 열람을 요청할 때 사용자가 확인 후 클라우드 서버를 통해 프록시 재암호화키를 발급해줌으로써 데이터를 복호화하지 않고도 외부사용자들에게 데이터를 안전하게 전송해 줄 수 있게 하였다. 프록시 키 생성을 위해 BBS98(Atomic proxy cryptography) 방식을 사용할 수 있으며, 이 방식은 A의 암호문을 B의 암호문으로 변환하는 방식으로 ElGamal 암호화 기반 알고리즘을 기반으로 간단하고 성능이 좋다. 그 외에도 다양한 암호화 방법을 이용할 수 있으며 상술한 방법에 한정되지는 않는다.
AI부(360)는, 모니터링 단말(400)에서 촬영된 동영상 내 존재하는 적어도 하나의 모니터링 객체를 인식하고, 모니터링 객체의 움직임을 인식 및 분류하기 위한 적어도 하나의 인공지능 알고리즘을 포함할 수 있다. 딥러닝을 이용한 실시간 객체 검출기를 이용할 수 있는데, 예를 들어, R-CNN(Regions with CNN features)과 YOLO 객체 검출기를 이용할 수 있다. R-CNN의 경우 높은 mAP(mean Average Precision)를 보이는 반면 전처리 과정에서 연산량이 많아 속도가 느린 단점이 있고, YOLO 객체 검출기의 경우 R-CNN 보다 mAP는 낮지만 초당 프레임 처리속도 FPS(Frame Per Second)가 높아 실시간 객체 검출에 적합하다. 이에, 본 발명의 일 실시예는 YOLO를 이용할 수 있다. 다만, 딥러닝 알고리즘은 YOLO에 한정되는 것은 아니다.
우선 YOLO를 이용한 훈련모델을 만들기 위해서는, 라벨링 작업이 선행되어야 한다. 데이터셋을 만들기 위해 다양한 각도로 촬영한 영유아 영상, 반려동물 영상, 노인 영상에서 고정 이미지를 추출하고, 고정 이미지 중 훈련 데이터셋, 검증 데이터셋 및 테스트 데이터셋으로 나누어 사용할 수 있다. 예를 들어, AlexeyAB GitHub에서 무료로 배포하고 있는 YOLO 라벨링용 오픈소스 툴인 YOLO Mark를 사용할 수 있고, 반려동물의 경우 강아지와 고양이를 각각 머리, 몸통, 꼬리 세 부위로 나누어 분류할 수 있다. 영유아, 반려동물, 노인은 행동특성이 서로 다르므로, 데이터셋 수집, 라벨링 및 훈련모델생성을 각각 따로 진행하지만, 설명의 편의를 위하여 함께 설명한다. 실시간 영상에 대한 검출율을 높이기 위해 세 분류로 나누어 라벨링할 수 있다.
사람과 반려동물을 구분하기 위해서는, 사람은 타원형의 얼굴형이 감지되는 것으로, 반려동물은 귀가 쫑긋 서있는 경우에는 삼각형의 귀가 타원형의 얼굴에 더 포함된 것으로 구분하도록 할 수도 있다. 각각 인식되는 얼굴마다 특징점을 모두 인식하려면 연산량이 증가하여 실시간 객체 추적에 딜레이가 발생할 수 있기 때문이다. 라벨링이 완료된 데이터셋은 각 이미지마다 인덱스, 클래스 번호, 바운딩 박스(Bounding Box)의 좌표 값 정보가 txt 파일로 저장되며 전체적인 이미지에 대한 리스트 파일도 함께 생성된다.
두 번째로 YOLO를 이용한 학습 및 테스트를 수행한다. YOLO는 CNN 기반의 객체 검출과 인식하는 과정을 하나로 통합한 시스템으로 일반적인 방식의 딥러닝 알고리즘보다 속도가 빠르며 인식률이 높고 소형 모듈에서 적용이 가능하여 실시간 객체인식에 사용하기 적합하다. 윈도우 기반에서 YOLO를 사용하여 영유아, 반려동물, 노인을 각각 따로 학습시키기 위해 C++ 프로그래밍 언어를 기반으로 구현된 YOLO for Windows v2와 라벨링 된 훈련 데이터셋을 이용할 수 있다. YOLO는 기본적으로 리눅스 환경에서 실행할 수 있는 코드를 제공하고 있으나, YOLO for Windows v2 소스코드를 빌드하여 생성된 실행파일을 사용하면 윈도우에서도 YOLO를 이용한 학습이 가능하다. 훈련은 N 회마다 갱신된 훈련 가중치 파일을 생성하며, 얻어진 가중치 파일을 검증 데이터셋과 테스트 데이터셋에 적용하면 훈련에 대한 학습 결과를 확인할 수 있다. 움직이면서 영유아, 반려동물 및 노인을 쫓는 로봇이 적용되지 않는다면, AI부(360)의 프로세스는 이 단계에서 마무리된다.
만약, 움직이면서 추적하는 로봇이 적용되는 경우에는, 객체를 추적해야 하는데, 세 번째로, 라즈베리파이를 이용한 객체 추적 알고리즘을 설명한다. 우선 ① 영유아, 반려동물 및 노인 추적 모듈을 구성하는데, YOLO를 이용하여 생성된 훈련 가중치 파일을 이용하여 실시간으로 영유아, 반려동물 및 노인을 검출, 추적하기 위해 라즈베리파이를 사용하며 실시간으로 영상을 받아오기 위해 파이하네스 카메라를 장착할 수 있고 인식률을 높이기 위해 YwRobot사의 적외선 인체감지센서(HC-SR501)를 부착할 수 있다. 적외선 인체감지센서는 20∼60℃내의 생체온도감지 기능과 2∼8m를 감지가 가능한 특성을 가지고 있다. 라즈베리파이에 서보모터와 바퀴를 장착하여 RC카 형태로 모듈을 구성하고 검출 유무에 따라 영유아, 반려동물 및 노인을 자동으로 추적할 수 있도록 설계할 수 있다. 라즈베리파이에 YOLO를 적용하고 실시간 영상에서 객체를 검출하게 되면 연산량이 많아지기 때문에 검출성능에 한계를 보인다. 따라서 신경망 프로그래밍 학습용으로 인텔(Intel)사에서 제공하는 Intel Movidius NCS을 장착하여 연산 성능을 높일 수도 있다.
이하, 상술한 도 2의 모니터링 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 내지 도 6을 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.
도 3a을 참조하면, 본 발명의 일 실시예는 모바일 디바이스 2 대를 이용하여 신생아의 엎드림 방지, 행동, 감정, 음성 및 안전구역 이탈을 인공지능 알고리즘을 이용하여 감지하며 반대로 위험구역을 설정하여 어린이의 위험구역 침범을 방지할 수 있도록 한다. 연결된 2 대의 모바일 디바이스는 원격으로 뮤직 플레이어를 컨트롤하여 자장가나 백색 소음 재생이 가능한 M2M(Mobile to Mobile) 베이비 모니터 장치이다. 스마트워치(웨어러블 디바이스)룰 추가연동하는 경우, 스마트워치에서 받은 체온, 심박수, 수면상태, 산소포화도, 낙상정보를 실시간으로 서버로 전송하고, 다른 디바이스로 내용을 전달할 수 있다. 또, 위험구역을 설정하여 반려동물의 침범 및 짖음과 같은 소음을 체크하여 방지할 수 있도록 한다.
실내설치용 모바일 디바이스인 모니터링 단말(400)은, 실내에 설치하는 CCTV 카메라 기능을 하는 모바일 디바이스이다. 사용자는 자신이 사용하는 핸드폰은 사용자 단말(100)로, 집에 남는 오래된 핸드폰 하나를 모니터링 단말(400)로 이용할 수 있다. 모니터링 단말(400)의 카메라를 이용하여 영상을 실시간으로 촬영하며, 영유아의 얼굴을 인식하여 엎드림을 방지할 수 있는 기능이 있으며 행동과 표정을 인식하여 감정을 체크하고 공간을 감지하여 공간에서의 이탈 및 침범을 체크할 수 있도록 설정되며, 자장가 및 백색소음을 재생하는 오디오 기능이 포함될 수 있다.
모니터링용 모바일 디바이스인 사용자 단말(100)은, 모니터링 단말(400)의 카메라 화면 영상을 모니터링 할 수 있는 모바일 디바이스이고, 사용자 단말(100)은, 원격으로 모니터링 단말(400)의 뮤직플레이어를 켜고 끄는 등의 컨트롤이 가능하며 모니터링 단말(400) 본체의 플래시(조명), 볼륨, 화면의 밝기를 원격으로 컨트롤이 가능하다. 야외에서 모니터링이 가능한 사용자 단말(100)은, Wi-Fi를 통해 모니터링 하는 것이 아닌 통신환경이 Cellular 일 때 야외에서 사용되고 있는 사용자 단말(100)을 뜻한다.
모니터링 서비스 제공 서버(300)는, 사용자 단말(100)의 통신 환경이 Wi-Fi가 아닌 Cellular 일 때 모니터링 단말(400)과 사용자 단말(100)의 영상 스트리밍을 담당하는 서버이고, 스트리밍, 음성통신, 영상 타임머신 저장, 알림, 뮤직컨트롤, 딥러닝 및 기타 모니터링 단말(400)와 사용자 단말(100)의 메뉴 컨트롤에 사용될 소켓통신에 활용된다. 공유기(500)는, 사용자 단말(100)의 통신 환경이 Wi-Fi일 때 모니터링 서비스 제공 서버(300)를 거치지 않고 모니터링 단말(400)이 모바일 서버가 되어 사용자 단말(100)에게 영상을 송출할 때 활용되는 Wi-Fi 공유기(500)이며 서버로 변환된다.
웨어러블 기기(600)는, 안드로이드 및 iOS의 OS를 사용하는 스마트워치일 수 있고, 웨어러블 기기(600)는 영유아의 발목에 착용되어 베이비모니터(체온, 심박수, 산소포화도, 낙상)의 웨어러블 기능을 수행하고, 블루투스를 이용하여 모니터링 단말(400)와 웨어러블 기기(600)를 연결하여 웨어러블 기기(600)의 정보는 모니터링 단말(400)에게 전달되며, 웨어러블 기기(600)의 정보를 받은 모니터링 단말(400)는 사용자 단말(100)로 전송되는 구조이다. 이때, 실내외 경계표시(008)는, 실내와 실외를 경계하고자 표시됐으며 사용자 단말(100)의 통신환경에 따른 기능적인 차이를 확실시 하고자 명시했으나 신호의 세기나 감지되는 통신환경에 따른 것이지 실제적으로 해당 구역을 기준으로 명확히 구분되는 개념은 아니다.
도 3b 내지 3m은 사용자 단말(100)의 노이즈 감지, 디바이스 인식, 뮤직 플레이어, 볼륨 컨트롤, 설정, 얼굴감지, 음성통신, 음원리스트, 저장된 플레이 리스트, 튜토리얼, 플레이 리스트 수정 및 화질 변경 화면을 도시하고, 도 3n 내지 도 3t는 모니터링 단말(400)의 디바이스 연결, 뮤직플레이어와 카메라, 설정, 음원리스트, 저장된 플레이리스트, 튜토리얼, 플레이리스트 수정 화면을 도시하며, 도 3u는 시작 화면에서 두 가지 모드 중 어느 하나의 모드를 설정할 것인지(뷰모드/모니터링모드)를 선택하는 화면이다.
또, 도 3v는 예쁜 두상 만들기 메뉴인데, 엎드려서 자는 경우에는 질식사의 위험이 존재하지만, 왼쪽이나 오른쪽 또는 정면으로만 자는 경우에도 그리 바람직하지는 않다. 그 이유는, 한쪽 목의 흉쇄유돌근이 경직되어 목이 기울어지고, 이로 인해 안면이 비대칭적으로 발달하는 선천적인 질병인 선천성 사경인 경우일 수도 있고, 두상이 구 모양으로 만들어지는 것이 아니라 한 쪽으로 눌려서 둥근 모양이 나오기 어려운 경우가 있기 때문이다. 이에, 본 발명의 일 실시예는, 한 쪽으로만 기 설정된 시간 이상 잠을 자는 경우에는 보호자에게 알려주어 자세를 바꿔주도록 하거나 병원에서 진단을 받도록 알림 메세지를 전송할 수 있도록 한다. 또, 예쁜 두상 만들기 프로젝트로 어느 부위로 잠을 잤는지에 대하여 3D 모델로 알려주고, 보호자가 직관적으로 어느 쪽으로 뉘어야 하는지를 알 수 있도록 한다. 물론, 상술한 UI/UX로 한정되지는 않으며 실시예에 따라 메뉴나 화면이 변경될 수 있음은 자명하다 할 것이다. 이러한 화면이 가능한 원리를 이하에서 설명한다.
이하에서 도 4를 중심으로 도 4에서 각각 필요한 개념이 있으면 도 5a 내지 도 6h를 설명하기로 한다. 도 4 및 도 5a를 참조하면, 제품의 애플리케이션을 오픈마켓에서 다운로드받아 각 사용자 단말(100) 및 모니터링 단말(400)에서 설치하며 초기에는 도 4의 중간에 위치한 화면과 같이 동일한 화면이 표시될 수 있다. 그리고, 홈모드(모니터리 단말(400))와 뷰모드(사용자 단말(100))로 나뉘어지며 중간에 위치한 화면에서 양단에 위치한 화면과 같이 선택적으로 분리된다. 도 5a의 각 기능은 이하 표 1과 같다.
010-02 뷰모드 사용자 단말(100)선택 버튼
010-03 홈모드 모니터링 단말(400)선택 버튼
010-04 모니터링 단말(400), 사용자 단말(100) 연결없이 모니터링 단말(400)모드만 사용하여 백색소음, 태교음악, 자장가 듣기
010-05 실내 카메라용 디바이스 모니터링 단말(400)
010-06 사용자 단말(100)과 초기 연결을 위한 보안 숫자코드 10자리
010-07 사용자 단말(100)과 초기 연결을 위한 보안 QR코드( [내용: 010-06]과 택1)
010-08 관리자용 모니터링 디바이스 사용자 단말(100)
010-09 [010-06]코드 10자리 입력칸
010-10 [010-07]QR코드 인식을 위한 사용자 단말(100)의 카메라 호출버튼
010-11 [010-09]선택시 10자리 코드를 입력하기 위한 디바이스 자판호출
그룹생성 외부서버(011)는 [010]을 실현하기 위해 필수적으로 거쳐야할 단계이며 모니터링 단말(400)과 사용자 단말(100)의 고유 코드 및 음성, 공간소음을 판독 후 결과값을 암호화하여 서버에 스트리밍 그룹을 생성해 주는 역할을 한다. 이때, 각 서버는 모니터링 서비스 제공 서버(300)로 통칭되고 있음을 전제한다. 모니터링 서비스 제공 서버(300)는 각각의 서버로 세분화되어 나뉘어질 수도 있고, 이는 물리적일 수도 있으며 가상화된 공간에서 이루어질 수도 있고 기능적으로 나뉘어질 수도 있다.
모니터링 단말(400) 1단계 보안코드(012)는, 초기연결 단계에서 모니터링 단말(400)의 화면에는 고유코드 10자리 및 QR코드가 표시된다. 사용자 단말(100) 1단계 보안인식(013)은, 모니터링 단말(400)의 화면[012]에 표시된 10자리 코드 및 QR코드를 사용자 단말(100)에서 인식을 하며 10자리 코드는 로마문자로 입력하는 방식이고 QR코드는 사용자 단말(100)의 카메라를 이용하여 인식한다. 암호화 변환(014)은 [013]에서 진행된 연결 정보는 서버에서 암호화를 시켜 저장된다. 암호화 방식은 AES256으로 적용된다.
사용자 서버그룹 생성완료(015)는, [014]의 암호화가 완료되면 모니터링 단말(400)과 사용자 단말(100)의 스트리밍 서버가 생성되며 음성통신 및 소켓통신이 가능해진다. 이때, 소켓통신은, 모니터링 단말(400)과 사용자 단말(100)의 메뉴 동기화 및 명령을 위한 통신일 수 있다. 해당 암호화된 코드는 서버 외에도 모니터링 단말(400)과 사용자 단말(100)의 in-App에 암호화되어 존속된다.
모니터링 단말(400), 사용자 단말(100) 음성/환경소음 보안(016, 017)은, 2단계 보안 방식이며 선택적으로 실행할 수 있다. 보안 단계를 진행하기 위해서는 모니터링 단말(400)과 사용자 단말(100)는 동일 공간에 있어야 하며 모니터링 단말(400)과 사용자 단말(100)의 음성보안이 실행되고 있다면 환경에 대한 고유의 소음과 사용자의 음성이 결합된 소음을 측정하며 도 5b 및 표 2와 같다.
017-01 모니터링 단말(400), 사용자 단말(100)의 음성보안 연결을 실행하기 위한 동일공간.
017-02 음성보안을 실행하기 위한 모니터링 단말(400)
017-03 음성보안을 실행하기 위한 사용자 단말(100)
017-04 사용자 음성
017-05 공간의 환경음 (초기 연결단계 상황의 백색가전소음 등 생활소음)
017-06 음성보안을 판독하기 위한 서버이며 1단계(숫자, QR코드), 2단계(음성)보안 암호화 저장.
017-07 1단계(숫자, QR코드), 2단계(음성)보안 사용자 디바이스 모니터링 단말(400), 사용자 단말(100)에 암호화 저장.
017-08 보안연결 이후 사용 단계에서 디바이스와 서버에 있는 보안 파일을 암호화 판독 후 연결 수락
음성/환경소음 판독(018)은 도 5c 및 표 3과 같다. [016-(2)]에서 진행된 결과는 서버에 전송되며 서버에서 모니터링 단말(400)과 사용자 단말(100)의 소음 데이터를 분석한다. 소음의 분석은 사용자의 음성과 결합된 환경음을 주파수(시간과 피치)의 동일성을 판단하며 해당 결과값의 시간적 오차범위를 기준으로 최종 암호화되어 사용자 서버그룹[015]에 존속된다. 암호화된 해당 코드는 서버 외에도 모니터링 단말(400)과 사용자 단말(100)의 in-App에 암호화되어 존속된다.
018-01 서버로 전송된 모니터링 단말(400)음파의 세기
018-02 서버로 전송된 모니터링 단말(400)음파의 1초당 진동 횟수
018-03 서버로 전송된 사용자 단말(100)음파의 세기
018-04 서버로 전송된 사용자 단말(100)음파의 1초당 진동 횟수
018-05 모니터링 단말(400)과 사용자 단말(100)의 음파세기의 정도를 비교중인 서버
018-06 모니터링 단말(400)과 사용자 단말(100)의 음파의 1초당 진동 횟수를 비교중인 서버
018-07 모니터링 단말(400)과 사용자 단말(100)의 IP가 같으며 음파의 세기 오차범위가 설정된 수치 이내에 들어오며 음파의 1초당 진동횟수 오차가 설정된 수치 이내인 경우 동일공간에 있다라고 판단하여 연결수락.
018-08 모니터링 단말(400)과 사용자 단말(100)의 IP가 다르며 음파의 세기 오차범위 설정된 수치 이상을 초과하며 음파의 1초당 진동횟수 오차가 설정된 수치 이상인 경우 동일공간에 없다라고 판단하여 연결거부.
도 5d 및 표 4는 카메라CCTV(홈모드) 모니터링 단말(400) 추가연동(019) 과정인데, 모니터링 단말(400)의 기능을 하는 디바이스를 추가적으로 연결이 가능하고, 모니터링(뷰모드) 사용자 단말(100) 추가연동이 가능하다. 모니터링 단말(400)의 화면을 모니터링 하는 사용자 단말(100)의 기능을 하는 디바이스를 추가적으로 연결이 가능하다.
020-01 사용자 단말(100)과 연결된 홈모드 디바이스 모니터링 단말(400)
020-02 모니터링 단말(400)과 연결된 홈모드 디바이스 사용자 단말(100)
020-03 기존 연결을 위한 모니터링 서비스 제공 서버(300)와 동일하며 다중접속을 지원
020-04 홈모드 디바이스 모니터링 단말(400)를 추가적으로 연결
020-05 뷰모드 디바이스 사용자 단말(100)를 추가적으로 연결
도 5e는 애플리케이션.2 다운로드(021) 단계인데, 제품의 애플리케이션(이하: App.2)은 오픈마켓에서 다운로드 받아 디바이스에 설치되고, 웨어러블 기기(600)의 정의(022) 단계는, App.2를 다운로드 받은 웨어러블 기기(600)는 영유아의 발목에 착용하여 사용하는 베이비모니터이며 모니터링 단말(400), 사용자 단말(100)의 애플리케이션(App.1)과 연동을 위한 별개의 애플리케이션 제품일 수 있다. 그리고, 웨어러블 기기(600)는 자사 및 타사(안드로이드, iOS OS사용)에서 제작된 웨어러블(스마트워치)일 수 있다. 웨어러블 기기(600)와 모니터링 단말(400)의 연결 과정(023)은, App.2가 설치된 웨어러블 기기(600)는 모니터링 단말(400)과 블루투스로 연결될 수 있다.
사용자 단말(100)과 인식되어 사용준비가 완료된 모니터링 단말(400)의 단계(024)는, 사용자 단말(100)과 서버그룹이 생성되어 사용 준비가 완료된 모니터링 단말(400)이며 선택적으로 웨어러블 기기(600)와 연결되어 있을 수 있고, 모니터링 단말(400)과 인식되어 사용준비가 완료된 사용자 단말(100)의 단계(025)는, 모니터링 단말(400)과 서버그룹이 생성되어 사용 준비가 완료된 사용자 단말(100)이다. 모니터링 단말(400)과 인식되어 사용준비가 완료된 웨어러블 기기(600)의 단계(026)는, 모니터링 단말(400)과 연결이 완료되어 체온, 심박수, 산소포화도, 낙상정보, 수면상태를 전송할 수 있는 웨어러블 기기(600)의 상태이다.
모니터링 단말(400)과 사용자 단말(100)의 연동을 담당하는 서버(027)는, W-iFi모드에서 실행되는 A. Server인 모니터링 단말(400)이가 있으며 Cellular 모드에서 실행되는 모니터링 서비스 제공 서버(300)가 있다. A. Server는 모니터링 단말(400)가 자체 서버가 되어 사용자 단말(100)에게 스트리밍을 직접 담당한다. 모니터링 서비스 제공 서버(300)는 외부에 개설된 서버이며 아마존, 구글, MS의 서버를 임대한다. A. Server와 모니터링 서비스 제공 서버(300)는 모니터링 단말(400)과 사용자 단말(100)의 영상, 음성 스트리밍, 소켓통신, 클라우드, 딥러닝, 경고알림을 담당한다.
사용자 단말(100)과 소켓통신을 위한 모니터링 단말(400)의 메뉴(028)는, 뮤직플레이어의 모든 메뉴와 뮤직 리스트 및 저장파일을 사용자 단말(100)과 소켓통신 및 동기화를 가능케 하고, 플래시, 카메라 전후면 전환, 디스플레이 밝기, 볼륨조절, 배터리 잔량, 화면 방향(가로, 세로)를 사용자 단말(100)과 소켓통신 및 동기화한다. 그리고, 모니터링 단말(400)과 소켓통신을 위한 사용자 단말(100)의 메뉴(029)는, 뮤직플레이어의 모든 메뉴와 뮤직 리스트 및 저장파일을 모니터링 단말(400)과 소켓통신 및 동기화를 가능케 하고 플래시, 카메라 전후면 전환, 디스플레이 밝기, 볼륨조절, 배터리 잔량, 배터리 결합, 화면 방향(가로, 세로)을 모니터링 단말(400)과 소켓통신 및 동기화를 하는 기능을 수행하며, 도 6a 및 표 5와 같다.
029-01 모니터링 단말(400)과 사용자 단말(100)의 신규음원 리스트 동기화 및 음원 재생에 필요한 재생메뉴(재생, 정지, 다음 곡, 이전 곡, 반복재생, 무작위재생, 1곡만재생)와 재생목록의 저장, 수정, 삭제를 통신
029-02 모니터링 단말(400)과 사용자 단말(100)의 무료 및 유료 서비스 가입유무를 통신
029-03 모니터링 단말(400)디바이스의 전면, 후면 카메라를 전환하는 통신
029-04 (1). [내용.029-03]에서 전면 카메라일 때 모니터링 단말(400)의 플래시를 전면 디스플레이 밝기로 활용하며 카메라 화면의 보여지는 픽셀의 R.G.B 값을 서버에서 산출하여 디스플레이의 밝기를 자동으로 조절.(2). [내용.029-04(1)]에서 산출된 평균값이 어두울 경우 모니터링 단말(400)의 디스플레이 밝기를 한단계 높여 얼굴인식을 실행.
(3). [내용.029-04(1)]에서 산출된 평균값이 밝을 경우 모니터링 단말(400)의 디스플레이 밝기를 한단계 낮춰 얼굴인식을 실행.
(4). [내용.029-04(2)]에서 얼굴인식이 불가능 할 때 모니터링 단말(400)의 디스플레이 밝기를 한단계 높여 얼굴인식을 실행.
(5). [내용.029-04(3)]에서 얼굴인식이 불가능 할 때 모니터링 단말(400)의 디스플레이 밝기를 한단계 높여 얼굴인식을 실행.
(6). [내용.029-04(4)~(5)]에서 얼굴인식이 되었을 때 모니터링 단말(400)의 디스플레이의 밝기를 한단계 낮춰 얼굴인식을 한번 더 진행해 본 후 얼굴 인식이 된다면 1단계씩 계속 낮춰 얼굴인식을
반복하며 이 때 얼굴 인식이 되지 않았을 때는 이전단계 밝기로 복구.
029-05 모니터링 단말(400)의 후면 플래시 ON, OFF
029-06 야간모드에서 모니터링 단말(400)의 카메라의 명도, 휘도를 밝게 자동보정.
029-07 모니터링 단말(400)의 마이크 및 미디어 음량을 컨트롤
029-08 웨어러블 기기(600)에서 받아온 정보를 사용자 단말(100)과 통신
029-09 모니터링 단말(400)의 배터리 잔량, 충전 케이블 연결, 화면모드(가로, 세로), 측정된 dB정보, 소음감지 ON/OFF, 음원 종료 후 소음감지 자동시작, 연결 초기화 등의 메뉴를 통신하며 모니터링 단말(400)의 저전력모드 (저전력: 밝기 0%, 일반: 사용자가 설정한 밝기)를 통신.
모니터링 단말(400)과 사용자 단말(100)의 소켓통신을 위한 소켓서버(030)는, [내용. 028~029]의 통신을 담당하는 서버이고, 모니터링 단말(400) 음성 스트리밍(031)은, 모니터링 단말(400)의 마이크를 통해 사용자 단말(100)에게 음성이 송출되며 수화기를 통해 사용자 단말(100)의 음성을 수신하며, 사용자 단말(100)음성 스트리밍(032)은 사용자 단말(100)의 마이크를 통해 모니터링 단말(400)로 음성이 송출되며 수화기를 통해 모니터링 단말(400)의 음성을 수신하며, 모니터링 단말(400) 영상 스트리밍(033)은, 사용자 단말(100)의 통신 환경이 Cellular일 때 모니터링 단말(400)의 카메라로 촬영된 영상을 모니터링 서비스 제공 서버(300)로 스트리밍하는 것이고, 사용자 단말(100)의 통신 환경이 W-iFi일 때 모니터링 단말(400)의 카메라로 촬영된 영상을 사용자 단말(100)에게 스트리밍하는 것을 포함한다.
모니터링 단말(400) 영상 모니터링(034)은, 사용자 단말(100)의 통신 환경이 Cellular일 때 모니터링 서비스 제공 서버(300)에서 모니터링 단말(400)의 영상을 모니터링하는 것이고, 사용자 단말(100)의 통신 환경이 W-iFi일 때 모니터링 단말(400)가 자체 서버가 되어 모니터링 단말(400)에서 영상을 모니터링하는 것이다. 음성, 영상 스트리밍 서버(035)는, 모니터링 단말(400)의 카메라 영상을 스트리밍 하기 위한 서버이고, 모니터링 단말(400)과 사용자 단말(100)의 마이크 음성을 송수신 하기 위한 서버이며, 도 6b 및 도 6과 같이 정리될 수 있다.
035-01 홈모드 디바이스 모니터링 단말(400)
035-02 뷰모드 디바이스 사용자 단말(100)
035-03 모니터링 단말(400)과 웨어러블 기기(600)의 정보를 사용자 단말(100)로 통신할 수 있는 서버
035-04 모니터링 단말(400)의 카메라 화면과 음성을 스트리밍 할 수 있는 서버
035-05 모니터링 단말(400)에서 촬영된 영상 및 이미지의 딥러닝 학습서버
035-06 [내용.035-05]에서 학습된 결과값으로 모니터링 단말(400)의 영상 및 이미지를 실시간으로 판독하는 서버
035-07 모니터링 단말(400)의 스트리밍된 영상을 타임머신 저장하여 사용자 단말(100)에서 다운로드 받을 수 있으며 자장가, 백색소음, 태교음악의 음원을 업데이트 받을 수 있는 서버
035-08 [내용.035-(03)~(07)]의 이벤트 발생 상황을 사용자 단말(100)에게 통신하는 서버
사용자 단말(100)의 스트리밍 통신환경 판단(036) 과정은, 모니터링 서비스 제공 서버(300)에서 사용자 단말(100)의 통신환경(Cellular, W-iFi)을 판단하는 과정이고, 모니터링 단말(400) 자체 스트리밍(037)은, 사용자 단말(100)의 통신 환경이 W-iFi일 때 모니터링 단말(400)가 모바일 서버가 되어 모니터링 서비스 제공 서버(300)을 거치지 않고 사용자 단말(100)에게 직접 스트리밍하는 것을 의미한다.
클라우드 타임머신 녹화(038)는, 모니터링 서비스 제공 서버(300)로 스트리밍 된 모니터링 단말(400)의 영상은 클라우드에 타임머신 영상저장을 진행하며 저장되는 방식은 설정된 과거 시간부터 현재까지 저장 및 삭제를 반복하여 언제나 과거 시간의 영상을 확보한다. 또, 이벤트가 발생했을 때 과거시간 영상에 추가로 앞으로의 시간을 녹화하여 블랙박스 영상을 확보하며, 완성된 블랙박스 영상은 클라우드 서버에 저장되며 신규영상 순으로 저장과 로그가 1 으로 표시되고 신규영상이 생성됐을 때 마지막 과거영상은 자동삭제한다. 딥러닝(AI)용 이미지 및 영상 확보(039) 단계는, 모니터링 서비스 제공 서버(300)로 스트리밍 된 모니터링 단말(400)의 영상은 딥러닝 서버로 이미지 캡처 또는 영상을 이동한다. 이는 도 6c 및 표 7로 정리될 수 있다.
039-01 모니터링 단말(400)의 통신환경(셀룰러, 와이파이)에 상관없이 영상을 모니터링 서비스 제공 서버(300)로 스트리밍
039-02 디바이스 모니터링 단말(400)가 서버가 되어 사용자 단말(100)에게 영상을 직접 스트리밍하며, 동시에 [내용.039-01]의 내용을 진행.
039-03 웨어러블 기기(600)의 정보와 모니터링 단말(400)의 소음측정 이벤트를 모니터링 단말(400)에서 모니터링 서비스 제공 서버(300)로 전달
039-04 영상 및 음성을 송수신하는 서버.
039-05 모니터링 단말(400)과 사용자 단말(100)의 기능을 연동하는 서버.
039-06 [내용.039-02]의 내용이며 모니터링 단말(400)에서 사용자 단말(100)로 직접 영상을 스트리밍
039-07 [내용.039-04]의 영상을 전달받아 [AI 딥러닝]을 자동으로 학습하며 판독한다.
039-08 [내용.039-07]에서 이벤트를 감지
039-09 [내용.039-08]에서 발생된 이벤트의 내용을 사용자 단말(100)에게 보내는 서버
039-10 [App.1]가 설치된 디바이스에서 음원 업데이트를 실행하는 서버.
039-11 [내용.039-08]에서 발생된 이벤트로 자동 저장된 타임머신 영상의 저장소
039-12 [내용.039-11]에 저장된 영상을 사용자 단말(100)에서 모니터링.
039-13 셀룰러 환경을 이용하여 모니터링 단말(400)의 영상을 실시간으로 모니터링 하는 사용자 단말(100)
039-14 와이파이 환경을 이용하여 모니터링 단말(400)의 영상을 실시간으로 모니터링 하는 사용자 단말(100)
039-15 모니터링 단말(400)과 모니터링 서비스 제공 서버(300)에서 발생한 이벤트내용 출력
039-16 [내용.039-04]의 영상을 전달받아 [AI 딥러닝] 학습을 하며 해당 서버는 [내용.039-07]과 독립된 보조적인 서버이며 학습된 내용은 [내용.039-07]에 업데이트하여 AI 판독에 사용
인공지능 알고리즘 중 딥러닝(040)은, 확보된 모니터링 단말(400)의 영상을 사물, 표정, 행동, 얼굴감지 분석을 진행하고, 사물감지 인공지능 알고리즘은 영유아, 성인, 동물(강아지, 고양이)를 인식하고, 표정감지 인공지능 알고리즘은 영유아의 표정을 감지하며, 행동감지 인공지능 알고리즘은 사람의 기본적인 움직임을 감지하며 영유아의 행동은 자세하게 감지하고, 얼굴감지 인공지능 알고리즘은 영유아의 엎드림 질식을 방지하며 성인의 얼굴을 인식하여 특정을 지을 수 있으며, 도 6d, 도 6e 및 표 8과 같다.
040-01 신생아용 베이비모니터 AI기능
040-02 어린이 및 반려동물용 AI기능
040-03 기술에 사용될 AI기능명칭
040-04 실제 사용자가 사용할 AI기능명칭
040-05 AI 판단
040-06 [내용.040-05]와 시간, 소음을 추가로 체크하여 판단률을 올림.
040-07 [내용.040-05], [내용.040-06]의 판단으로 [내용.040-04]를 사용자에 알림
이벤트 발생(041)은, 모니터링 단말(400)과 연관된 모든 이벤트를 호출하며 해당 이슈를 알림서버(이하, G.Server로 칭함)로 전달하는 것을 의미하며, 알림(042)은, 모니터링 단말(400)의 이벤트를 받아 사용자 단말(100)에게 알림을 전달하는 서버이고, 사용자 단말(100)가 받는 모니터링 단말(400)의 알림(043)은, 이하와 같다. 사운드 자동재생 호출(044)은, 모니터링 단말(400)에서 이벤트가 발생했을 때 경고성 사운드가 자동으로 출력되는 기능이며, 상기의 기능은 뮤직 재생과 녹음 파일을 이용할 수 있고, 녹음 파일의 경우 관리자가 모니터링 단말(400)에서 직접 녹음을 진행하며 사용 방법은 이하와 같다.
환경맞춤 마이크 소음측정(045)은, 모니터링 단말(400)의 마이크를 통해 환경소음을 측정하며 절대값으로 설정하는 것이 아닌 환경 소음에 맞는 소음 레벨을 상대적으로 자동설정하는 기능이고, 웨어러블 기능의 웨어러블 기기(600)는, 발목에 착용되어 사용되는 웨어러블 기기(600)는 영유아의 체온감지, 심박수, 산소포화도, 낙상, 수면상태를 실시간으로 감지하며 해당 이벤트 값을 모니터링 단말(400)에게 전달한다. 타임머신 영상 모니터링 및 CCTV 모니터링 그래픽 합성(047)은, [내용. 038]의 영상을 모니터링 하는 기능이며 다운로드한 영상에 2D 및 3D의 그래픽을 합성하여 저장하고 SNS에 공유할 수 있는 시스템이다. 실시간 모니터링 영상 수동저장 및 그래픽 합성(048)은, [내용. 034]의 영상을 실시간으로 모니터링 하며 사용자 단말(100)에서 모니터링 되고 있는 모니터링 단말(400)의 신체(얼굴, 몸 등)에 2D 및 3D 그래픽을 합성하여 사용자 단말(100)에 저장하고 SNS로 공유할 수 있는 기능이며 도 6f 및 표 9와 같다.
048-01 보호 대상자(영유아)
048-02 보호 대상자를 촬영하고 있는 디바이스 모니터링 단말(400)
048-03 클라우드에 있는 저장된 타임머신 영상을 다운로드 받아 합성할 수 있으며 실시간 스트리밍을 통해한 합성도 가능하며 해당 결과물을 저장할 수 있다.
048-04 모니터링 단말(400)의 화면을 모니터링 하는 디바이스 사용자 단말(100)
048-05 모니터링 단말(400)이 촬영하고 있는 보호 대상자 모습
048-06 그래픽 합성 명령버튼
048-07 [내용.047-06]에서 실행된 결과물
048-08 결과물 SNS 공유하기 버튼
048-09 공유된 합성동영상
도 6g 및 표 10을 참조하면, 공간이탈, 침범 감지 기능을 활용한 신생아, 어린이, 반려동물 모드(049)를 나타내는데, 어린이침범방지는, 위험구역을 설정하여 해당 구역에 어린이가 침범했을 때 녹음된 사운드가 재생되며 관리자에 위험신호를 알리는 어린이 모드이다.
049-01 실내 위험구역 (예시: 주방)
049-02 주방이 시야에 보이도록 고정설치된 디바이스 모니터링 단말(400)
049-03 위험구역을 모니터링중인 디바이스 사용자 단말(100)
049-04 도형의 각 꼭지점이 자유롭게 이동되어 변형되는 공간 설정용 UI 도형
049-05 [내용.049-04]의 도형 꼭지점 버튼
049-06 꼭지점 버튼을 터치후 드래그그랍 방식으로 이동하여 구역의 깊이와 각도를 설정.
049-07 위험구역 설정이 완료된 화면
049-08 위험구역 설정이 완료된 화면을 촬영중인 모니터링 단말(400)
049-09 위험구역에 관리 대상자가 침범을 했을 때 모니터링 서비스 제공 서버(300)에서 인식
049-10 모니터링 단말(400)에서 사전 설정된 경고음이 출력 (녹음된 음성 및 기본경고음)
049-11 관리자사용자 단말(100)에 경고 알림을 전달.
도 6h 및 표 11을 참조하면, 신생아 이탈방지는, 위험구역을 설정하여 해당 구역에 어린이가 이탈했을 때 관리자에 위험신호를 알리는 신생아 모드이다.
049-12 [내용.049-04] ~ [내용.049-07]과 설정 방식이 같음
049-13 이탈을 방지해야할 공간이 시야에 들어오도록 고정 설치가된 모니터링 단말(400)
049-14 이탈하면 안되는 공간을 사용자 단말(100) 화면에서 설정
049-15 공간 설정이 완료된 화면
049-16 사용자 단말(100)에게 알림이 전달되는 이탈방지 위험수준과 단계
049-17 설정된 공간안에 관리 대상자가 있으므로 안전하여 알림이 없음.
049-18 설정된 공간 끝 면에 관리 대상자가 있으므로 경고를 알림.
049-19 설정된 공간에서 관리 대상자가 이탈하여 위험을 알림.
도 6i 및 표 12를 참조하면, 반려동물 침범, 소음방지를 위해서, 위험구역을 설정하여 해당 구역에 반려동물이 침범하거나 소음이 감지됐을 때 음원이 재생되며 관리자에 위험신호를 알리는 반려동물 모드이다.
049-20 [내용.049-04] ~ [내용.049-07]과 설정 방식이 같음
049-21 침범을 방지해야할 공간이 시야에 들어오도록 고정 설치가된 모니터링 단말(400)
049-22 침범하면 안되는 공간을 사용자 단말(100) 화면에서 설정
049-23 공간 설정이 완료된 화면
049-24 사용자 단말(100)에게 알림이 전달되는 침범, 소음방지 위험수준과 단계
049-25 설정된 공간안에 관리 대상자가 없으며 소음역시 발생하지 않아 [안전]하여 알림없음.
049-26 설정된 공간안에 관리 대상자가 없지만 소음이 기준치(40dB이상) 이상으로 10초이상 지속되어 소음[경고] 알림.
049-27 설정된 공간안에 관리 대상자가 있지만 소음이 발생하지 않아 [경고] 알림.
049-28 설정된 공간안에 관리 대상자가 있으며 소음역시 발생하고 있기 때문에 [위험] 알림.
이와 같은 도 2 내지 도 6의 인공지능 기반 영유아 모니터링 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 인공지능 기반 영유아 모니터링 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 7은 본 발명의 일 실시예에 따른 도 1의 인공지능 기반 영유아 모니터링 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 7을 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 7에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.
도 7을 참조하면, 모니터링 서비스 제공 서버는, 모니터링 단말 및 사용자 단말을 매핑하여 저장하고(S7100) 모니터링 단말에서 실시간 스트리밍되는 동영상을 사용자 단말로 전달한다(S7200).
그리고, 모니터링 서비스 제공 서버는, 모니터링 단말에서 촬영되는 화면 중 영역이 설정되는 경우 설정된 영역 내에서 발생하는 위험 이벤트 또는 이탈 이벤트를 사용자 단말로 전송하고(S7300), 모니터링 단말에서 촬영된 동영상 내 기 저장된 적어도 하나의 모니터링 이벤트가 감지되는 경우 사용자 단말로 적어도 하나의 모니터링 이벤트를 안내 메세지로 전송한다(S7400).
상술한 단계들(S7100~S7400)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S7100~S7400)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
이와 같은 도 7의 인공지능 기반 영유아 모니터링 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 6을 통해 인공지능 기반 영유아 모니터링 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 7을 통해 설명된 일 실시예에 따른 인공지능 기반 영유아 모니터링 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 일 실시예에 따른 인공지능 기반 영유아 모니터링 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 인공지능 기반 영유아 모니터링 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 영유아를 관찰하도록 대향되는 방향을 촬영하여 실시간으로 전송하고, 조도를 감지하여 감지된 조도가 기설정된 조도보다 낮을 때 촬영하는 시야를 확보하기 위해서 플래시를 구동하며, 위험 이벤트 또는 이탈 이벤트를 출력하기 위하여 촬영되는 화면 중 영역을 설정받는 모니터링 단말;
    상기 모니터링 단말로부터 실시간 스트리밍되는 동영상을 출력하고, 기 저장된 적어도 하나의 모니터링 이벤트가 감지되는 경우 상기 적어도 하나의 모니터링 이벤트를 안내 메세지로 출력하며, 상기 모니터링 단말에서 상기 위험 이벤트 또는 이탈 이벤트가 감지되는 경우, 상기 위험 이벤트 또는 이탈 이벤트를 수신하는 사용자 단말; 및
    상기 모니터링 단말 및 사용자 단말을 매핑하여 저장하는 저장부, 상기 모니터링 단말에서 실시간 스트리밍되는 동영상을 상기 사용자 단말로 전달하는 전달부, 상기 모니터링 단말에서 촬영되는 화면 중 영역이 설정되는 경우 설정된 영역 내에서 발생하는 위험 이벤트 또는 이탈 이벤트를 상기 사용자 단말로 전송하는 알람부, 상기 모니터링 단말에서 촬영된 동영상 내 기 저장된 적어도 하나의 모니터링 이벤트가 감지되는 경우 사용자가 즉시 개입해야 하는 경우와 상황만 모니터링해야 하는 경우를 구분할 수 있도록 상기 사용자 단말로 상기 적어도 하나의 모니터링 이벤트를 안내 메세지로 전송하는 전송부를 포함하는 모니터링 서비스 제공 서버;를 포함하며,
    상기 모니터링 서비스 제공 서버는,
    예쁜 두상 만들기 메뉴가 선택될 때, 한 쪽으로만 기 설정된 시간 이상 잠을 자는 경우에는 보호자에게 알려주어 자세를 바꿔주도록 하고, 보호자가 직관적으로 어느 쪽으로 뉘어야 하는지를 알 수 있도록 어느 부위로 잠을 잤는지에 대하여 3D 모델을 제공하며, 상기 영유아의 얼굴을 인식하여 엎드림을 방지하는 기능을 제공하는 것을 특징으로 하는 인공지능 기반 영유아 모니터링 서비스 제공 시스템.
  2. 제 1 항에 있어서,
    상기 기 저장된 적어도 하나의 모니터링 이벤트는,
    머리를 정면으로 누운 시간, 머리를 좌측으로 누운 시간, 머리를 우측으로 누운 시간, 엎드려서 자는 경우, 깨어있는 경우, 자고 있는 경우, 정면으로 누워서 자는 경우, 좌측으로 누워서 자는 경우, 손을 입으로 빨고 있는 경우, 우는 경우, 찡그리는 경우, 귀를 손으로 잡는 경우, 웃는 경우, 젖병이나 공갈 젖꼭지를 놓친 경우, 젖병이나 공갈 젖꼭지를 먹는 경우 및 인형이나 장난감이 떨어진 경우가 모니터링된 이벤트인 것을 특징으로 하는 인공지능 기반 영유아 모니터링 서비스 제공 시스템.
  3. 제 1 항에 있어서,
    상기 위험 이벤트는,
    상기 모니터링 단말에서 촬영되는 화면 상 위험구역을 설정하는 경우, 상기 위험구역 상 피사체인 이동 객체가 존재하는 경우에 발생되는 이벤트이고, 상기 위험 이벤트가 발생된 경우, 기 저장된 사운드가 상기 모니터링 단말에서 재생되면서 상기 사용자 단말로 알림을 전송하도록 설정되는 것을 특징으로 하는 인공지능 기반 영유아 모니터링 서비스 제공 시스템.
  4. 제 1 항에 있어서,
    상기 이탈 이벤트는,
    상기 모니터링 단말에서 촬영되는 화면 상 이탈방지구역을 설정하는 경우, 상기 이탈방지구역 상 피사체인 이동 객체가 존재하는 경우에 발생되는 이벤트이고, 상기 이탈 이벤트가 발생된 경우 기 저장된 사운드가 상기 모니터링 단말에서 재생되면서 상기 사용자 단말로 알림을 전송하도록 설정되는 것을 특징으로 하는 인공지능 기반 영유아 모니터링 서비스 제공 시스템.
  5. 제 4 항에 있어서,
    상기 이탈방지구역을 상기 이동 객체가 벗어나지 않는 경우에는 안전, 상기 이탈방지구역의 경계선을 상기 이동 객체가 지나는 경우에는 경고, 상기 이탈방지구역을 상기 이동 객체가 완전히 벗어난 경우에는 위험으로 설정되는 것을 특징으로 하는 인공지능 기반 영유아 모니터링 서비스 제공 시스템.
  6. 제 1 항에 있어서,
    상기 인공지능 기반 영유아 모니터링 서비스 제공 시스템은,
    모니터링할 영유아의 인체 중 어느 한 부위에 장착되어 영유아의 움직임 또는 생체신호를 수집하여 상기 모니터링 서비스 제공 서버로 전송하는 웨어러블 기기;
    를 더 포함하는 것을 특징으로 하는 인공지능 기반 영유아 모니터링 서비스 제공 시스템.
  7. 제 1 항에 있어서,
    상기 인공지능 기반 영유아 모니터링 서비스 제공 시스템은,
    상기 모니터링 단말 및 모니터링 서비스 제공 서버 간을 IoT(Internet of Things)로 연결되도록 엑세스를 제공하는 공유기(Access Point);
    를 더 포함하는 것을 특징으로 하는 인공지능 기반 영유아 모니터링 서비스 제공 시스템.
  8. 제 1 항에 있어서,
    상기 모니터링 서비스 제공 서버는,
    상기 사용자 단말과 상기 모니터링 단말 간을 연동하기 위하여 음성 인식 및 환경소음 인식을 수행하고, 상기 사용자 단말 및 상기 모니터링 단말로부터 수신된 음성 및 환경소음이 포함된 오디오 주파수를 비교한 후, 기 설정된 유사도를 가지는 경우에만 상기 사용자 단말 및 상기 모니터링 단말을 페어링시키는 연동부;
    를 더 포함하는 것을 특징으로 하는 인공지능 기반 영유아 모니터링 서비스 제공 시스템.
  9. 제 8 항에 있어서,
    상기 사용자 단말과 상기 모니터링 단말 간의 연결 정보는 적어도 하나의 암호화 알고리즘으로 암호화되어 저장되는 것을 특징으로 하는 인공지능 기반 영유아 모니터링 서비스 제공 시스템.
  10. 제 1 항에 있어서,
    상기 모니터링 서비스 제공 서버는,
    상기 상기 모니터링 단말에서 촬영된 동영상 내 존재하는 적어도 하나의 모니터링 객체를 인식하고, 상기 모니터링 객체의 움직임을 인식 및 분류하기 위한 적어도 하나의 인공지능 알고리즘을 포함하는 AI부;
    를 더 포함하는 것을 특징으로 하는 인공지능 기반 영유아 모니터링 서비스 제공 시스템.

KR1020210014681A 2021-02-02 2021-02-02 인공지능 기반 영유아 모니터링 서비스 제공 시스템 KR102277967B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210014681A KR102277967B1 (ko) 2021-02-02 2021-02-02 인공지능 기반 영유아 모니터링 서비스 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210014681A KR102277967B1 (ko) 2021-02-02 2021-02-02 인공지능 기반 영유아 모니터링 서비스 제공 시스템

Publications (1)

Publication Number Publication Date
KR102277967B1 true KR102277967B1 (ko) 2021-07-16

Family

ID=77150750

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210014681A KR102277967B1 (ko) 2021-02-02 2021-02-02 인공지능 기반 영유아 모니터링 서비스 제공 시스템

Country Status (1)

Country Link
KR (1) KR102277967B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220014448A (ko) 2020-07-28 2022-02-07 이국현 인공지능 음성인식 기반의 아기 상태 진단 서비스 방법
KR102398788B1 (ko) * 2022-02-21 2022-05-18 주식회사 코코넛랩 블록체인 기반 영상압축기술을 이용한 고화질 실시간 관제 서비스 제공 시스템
KR20230018801A (ko) * 2021-07-30 2023-02-07 주식회사 한국플랫폼시스템 이미지 기반 머신러닝을 이용한 영유아 모니터링 서버, 방법 및 프로그램
KR102522120B1 (ko) * 2022-09-28 2023-04-14 한태환 안전 관리를 위한 놀이시설의 모니터링 방법
KR102633766B1 (ko) * 2022-11-09 2024-02-05 (주)아이씨티원 라이프로그 데이터 활용 ai 긴급상황 예방 시스템
KR102667622B1 (ko) * 2021-11-01 2024-05-21 정익중 영상과 음성 신호 분석에 의한 상황판단 시스템 및 그 운용방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017537725A (ja) * 2014-12-16 2017-12-21 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 乳幼児睡眠モニタ
KR101988155B1 (ko) * 2018-01-08 2019-06-11 이화여자대학교 산학협력단 유아용 침대 관리 시스템
KR20190099185A (ko) * 2017-05-25 2019-08-26 삼성전자주식회사 위험 상황을 감지하는 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017537725A (ja) * 2014-12-16 2017-12-21 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 乳幼児睡眠モニタ
KR20190099185A (ko) * 2017-05-25 2019-08-26 삼성전자주식회사 위험 상황을 감지하는 방법 및 시스템
KR101988155B1 (ko) * 2018-01-08 2019-06-11 이화여자대학교 산학협력단 유아용 침대 관리 시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220014448A (ko) 2020-07-28 2022-02-07 이국현 인공지능 음성인식 기반의 아기 상태 진단 서비스 방법
KR20230018801A (ko) * 2021-07-30 2023-02-07 주식회사 한국플랫폼시스템 이미지 기반 머신러닝을 이용한 영유아 모니터링 서버, 방법 및 프로그램
KR102575590B1 (ko) * 2021-07-30 2023-09-06 주식회사 한국플랫폼시스템 이미지 기반 머신러닝을 이용한 영유아 모니터링 서버, 방법 및 프로그램
KR102667622B1 (ko) * 2021-11-01 2024-05-21 정익중 영상과 음성 신호 분석에 의한 상황판단 시스템 및 그 운용방법
KR102398788B1 (ko) * 2022-02-21 2022-05-18 주식회사 코코넛랩 블록체인 기반 영상압축기술을 이용한 고화질 실시간 관제 서비스 제공 시스템
KR102522120B1 (ko) * 2022-09-28 2023-04-14 한태환 안전 관리를 위한 놀이시설의 모니터링 방법
KR102633766B1 (ko) * 2022-11-09 2024-02-05 (주)아이씨티원 라이프로그 데이터 활용 ai 긴급상황 예방 시스템

Similar Documents

Publication Publication Date Title
KR102277967B1 (ko) 인공지능 기반 영유아 모니터링 서비스 제공 시스템
US11120559B2 (en) Computer vision based monitoring system and method
US11875656B2 (en) Virtual enhancement of security monitoring
US10621733B2 (en) Enhanced visualization of breathing or heartbeat of an infant or other monitored subject
Ranasinghe et al. A review on applications of activity recognition systems with regard to performance and evaluation
US8218871B2 (en) Detecting behavioral deviations by measuring respiratory patterns in cohort groups
US10984146B2 (en) Tracking safety conditions of an area
CN106464844A (zh) 用于配置婴儿监控器摄像机以提供用于分析的统一数据集的系统和方法
CN107087101A (zh) 用于提供动态全景功能的装置和方法
WO2019001030A1 (zh) 基于脑电波检测的拍摄处理方法及穿戴设备
US11064166B2 (en) Dynamic video exclusion zones for privacy
US10959646B2 (en) Image detection method and image detection device for determining position of user
JPWO2019240208A1 (ja) ロボットおよびその制御方法、ならびにプログラム
JP2020522828A (ja) コンピュータービジョンベースの監視システムおよび方法
JP7375770B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Yi et al. Home interactive elderly care two-way video healthcare system design
US10685551B2 (en) Information processing system, information processing apparatus, and information processing method
Bala et al. Survey On Women Safety Using IoT
EP3705981A1 (en) Information processing device, information processing method, and program
WO2018198312A1 (ja) 就寝異常通知システム、就寝異常通知方法、およびプログラム
TWI656502B (zh) 隨身安全照護方法、裝置及系統
KR20220056911A (ko) 디지털 트윈 기반의 영유아 시설 모니터링 방법 및 시스템
Ravindran et al. Design & Development of an AI-Powered Baby Monitoring System
KR20230151129A (ko) Ar/vr 기반으로 영유아의 연령과 상태에 대한 데이터를 추출하고 인공지능으로 분석하여 맞춤형 구독 이커머스 영유아 제품 플랫폼을 제공하는 방법
KR102668931B1 (ko) 맞춤형 서비스 제공 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant