KR20150062275A - infant safety management system and method using cloud robot - Google Patents
infant safety management system and method using cloud robot Download PDFInfo
- Publication number
- KR20150062275A KR20150062275A KR1020130146734A KR20130146734A KR20150062275A KR 20150062275 A KR20150062275 A KR 20150062275A KR 1020130146734 A KR1020130146734 A KR 1020130146734A KR 20130146734 A KR20130146734 A KR 20130146734A KR 20150062275 A KR20150062275 A KR 20150062275A
- Authority
- KR
- South Korea
- Prior art keywords
- infant
- information
- robot
- cloud
- cloud robot
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Manipulator (AREA)
Abstract
Description
본 발명은 클라우드 로봇을 이용한 영유아 관리 서비스 방법 및 시스템에 관한 것으로서, 상세하게로는 클라우드 컴퓨팅 서버 및 클라우드 컴퓨팅 서버에 연동되는 클라우드 로봇을 이용하여 보호자가 원격에서도 영유아를 효율적으로 관리 및 모니터링 할 수 있는 영유아 안전관리 시스템 및 방법에 관한 것이다.The present invention relates to a method and system for managing infants and toddlers using a cloud robot. More specifically, the present invention relates to a method and system for managing infants and toddlers efficiently by using a cloud robot linked to a cloud computing server and a cloud computing server, Infant safety management system and method.
맞벌이 부부의 증가로 인한 영유아 위탁시설의 증가 및 영유아를 대상으로 하는 범죄가 급증함에 따라 집안이나 위탁시설에 위치한 영유아를 안전하게 보호하기 위한 영유아 안전관리 시스템에 대한 다양한 연구가 진행되고 있다.As the number of double-income families increases, the number of foster care facilities for infants and toddlers has increased, and various studies have been conducted on infant and child safety management systems to safeguard infants and toddlers located in foster care facilities.
이에 따라 개인정보 및 보호자정보가 저장된 RFID 태그를 영유아에게 부착 또는 지급하고, RFID 리더부를 통해 영유아가 보호영역에 존재하는지에 대한 여부를 보호자에게 주기적으로 통지하는 영유아 안전관리 시스템이 연구되어 널리 사용되고 있다.Accordingly, an infant and child safety management system that attaches or provides the RFID tag storing the personal information and the protector information to the infant and informs the protector periodically whether the infant is present in the protection area through the RFID reader unit has been researched and widely used .
그러나 종래의 RFID를 이용한 영유아 안전관리 시스템은 보호자가 단순히 보호영역 내에 영유아가 위치하고 있는지에 대한 여부만을 수동적으로 전송받는 방식으로 이루어지기 때문에 영유아의 현재 상태를 보호자가 정확하게 인지할 수 없을 뿐만 아니라 영유아의 돌발 상황을 인지하지 못하고, 돌발 상황에 대한 즉각적인 대처를 수행할 수 없는 한계를 갖는다. 즉 종래의 RFID 태그를 이용한 영유아 안전관리 시스템은 사용자(보호자 또는 영유아) 중심의 서비스를 제공하지 못하는 단점을 갖는다.However, in the conventional infant / child safety management system using RFID, since the caregiver only receives a passive transmission of whether or not the infant is located within the protection area, the protector can not accurately recognize the current state of infants and young children, It can not recognize an unexpected situation and can not perform an immediate response to an unexpected situation. That is, the infant and child safety management system using the conventional RFID tag has a disadvantage that it can not provide a service centered on the user (guardian or infant).
또한 종래의 RFID 태그를 이용한 영유아 안전관리 시스템은 보호자의 관심이 필요한 영유아의 특성을 감안하여 영유아의 현재 기분, 상태, 기념일 등에 따라 보호자가 특정한 메시지를 영유아에게 전달하고자 할 때 이를 영유아에게 전달할 수 있는 별도의 수단이 기재되어 있지 않아 영유아는 보호자가 해당 장소로 오기전까지 정서적으로 불안정한 상태를 보이는 문제점이 발생한다.Also, according to the conventional RFID tag safety management system for infants and young children, it is possible to transmit a specific message to infants and young children in accordance with the current mood, condition, anniversary, etc. of the infant in consideration of the characteristics of infants and children, Since there is no separate means, infants and toddlers experience emotional instability until they come to the place.
최근 들어 로봇은 초창기 산업용 목적에서 인간의 일상생활에서의 다양한 서비스를 제공하기 위한 목적으로 그 사용 분야가 확장되었고, 서비스의 다양성, 인력절감, 돌발 상황에 대한 유동적인 대처 등의 장점으로 인해 그 수요량 및 사용 분야가 점차 증가할 것으로 예상된다.In recent years, the robot has been used for the purpose of providing various services in the daily life of the human being in the earliest industrial purpose, and it has been widely used because of its advantages such as diversity of service, reduction of manpower, And the field of use is expected to increase gradually.
이에 따라 종래의 RFID 태그를 이용한 영유아 안전관리 시스템의 문제점을 해결할 수 있도록 로봇을 이용하여 영유아를 안전하게 관리하기 위한 영유아 안전관리 시스템에 대한 다양한 연구가 진행되고 있다.Accordingly, in order to solve the problems of the infant and child safety management system using the conventional RFID tag, various researches have been conducted on the infant and child safety management system for safely managing the infant using the robot.
도 1은 국내등록특허 제10-1106073호(발명의 명칭 : 로봇을 이용한 영유아 돌보기 방법)에 개시된 영유아 돌보기 방법을 설명하기 위한 플로차트이다.FIG. 1 is a flowchart for explaining a method for taking care of infants and children disclosed in Korean Patent No. 10-1106073 (entitled "Method for taking care of infants using a robot").
도 1의 영유아 돌보기 방법(이하 종래기술이라고 함)(S500)은 로봇이 영유아 돌보기 서버로부터의 이동 시나리오에 따라 지정된 시간에 지정된 위치로 이동하는 이동단계(S501)와, 이동단계(S501)에 의해 이동하면서 센서를 이용하여 영유아가 존재하는지를 감지하는 1차 감시 단계(S502)와, 1차 감시 단계(S502)에서 영유아가 감지되면, 로봇이 카메라를 통해 영유아 영상을 획득하여 영유아 돌보기 서버로 전송한 후 영유아 돌보기 서버에서 처리된 인식결과를 전달받아 상기 영유아의 상태를 감시하는 2차 감시 단계(S503)와, 2차 감시 단계(S503)의 감시 결과, 기 설정된 이벤트가 발생되었는지를 판단하는 판단단계(S504)와, 판단단계(S504)에 의해 기 설정된 이벤트가 발생될 때 로봇이 영유아 돌보기 서버를 통해 보호자 이동통신단말기로 영상통화를 연결함과 동시에 보호자 이동통신단말기로부터의 제어에 따라 영유아 돌보기 서버를 통해 응급센터 시스템과 영상통화를 연결하여 영유아 영상과 함께 영유아 위치정보를 전송하는 영상통화 연결단계(S505)로 이루어진다.(Hereinafter referred to as a conventional technique) S500 of FIG. 1 includes a moving step S501 in which the robot moves to a designated position at a designated time according to a moving scenario from the infant care server, and a moving step S501 When the infant is detected in the first monitoring step (S502) and the first monitoring step (S502), the robot captures an infant image through the camera and transmits it to the infant care server A second monitoring step (S503) of receiving the recognition result processed by the after-baby care server and monitoring the infant's state, a second monitoring step (S503), a determination step of determining whether a predetermined event has occurred (S504), and when a preset event is generated by the determination step (S504), the robot connects the video call to the guardian mobile communication terminal through the infant care server And a video call connection step (S505) of connecting the emergency center system and the video call through the infant care server under the control of the protector mobile communication terminal and transmitting the infant ' s location information together with the infant ' s child image.
이와 같이 구성되는 종래기술(S500)은 영유아의 위치 감지뿐만 아니라 영유아의 현재 상태에 따라 기 설정된 이벤트가 발생하면 보호자 단말기로 영상을 전송(영상통화)하고, 이에 대한 즉각적인 조치가 이루어지도록 구성되기 때문에 영유아 관리의 안전성을 획기적으로 높일 수 있다.According to the related art (S500) configured as described above, when a predetermined event occurs according to the current state of infants and young children as well as the position detection of infants and young children, images are transmitted to the guardian terminal (video call) The safety of infant and child care can be greatly improved.
그러나 종래기술(S500)은 위탁시설과 같이 관리대상인 영유아의 수가 복수명이면서 영유아를 감지하는 센서의 감지거리가 1m 이내일 경우 영유아가 복수명이며, 영유아를 감지하는 센서의 감지거리가 1m 이내일 경우 센서를 이용하여 다수의 영유아들을 모두 감지하기가 쉽지 않은 단점을 갖으며, 만약 센서의 감지거리가 1m 이상일 경우 감지된 영유아들 각각에 대한 식별력이 떨어져 특정 영유아가 이벤트를 발생하더라도 이벤트를 발생한 영유아를 식별하기가 어려워 오히려 대처에 혼란이 가중되는 단점을 갖는다.However, in the related art (S500), when the number of infants to be managed such as foster facilities is plural, and the sensing distance of the sensor for detecting infants is less than 1m, there are plural infants and the detection distance of the sensor for detecting infants is within 1m In this case, it is not easy to detect many infants by using the sensor. If the sensing distance of the sensor is more than 1m, the discrimination ability of each infant detected is low. Even if a specific infant or child generates an event, It is difficult to discriminate between the users and the users.
또한 종래기술(S500)은 특정 이벤트가 발생하는 경우에만 보호자 이동통신 단말기로 영상통화가 이루어지기 때문에 종래의 RFID 태그를 이용한 영유아 안전관리 시스템에서와 같이 보호자는 여전히 수동적으로 서비스를 제공받게 되고, 보호자가 자신의 영유아에 대한 모니터링을 실시간으로 수행할 수 없는 한계를 갖는다.Also, since the video call is made to the guardian mobile communication terminal only when a specific event occurs, the guardian is still manually provided with the service as in the infant and child safety management system using the RFID tag in the related art (S500) Can not monitor their own infants in real time.
또한 종래기술(S500)은 보호자가 영유아의 현재 기분, 상태, 기념일 등에 따라 영유아에게 특정 메시지를 전달하고자 할 때 보호자의 메시지를 전달하기 위한 서비스를 제공하지 못하는 단점을 갖는다.In addition, the prior art (S500) has a disadvantage in that it can not provide a service for delivering a message of the guardian when the guardian wants to deliver a specific message to the infant according to the current mood, condition, anniversary, etc. of the infant.
본 발명은 이러한 문제를 해결하기 위한 것으로서, 본 발명의 해결과제는 보호영역(S)에 설치되는 클라우드 로봇과, 클라우드 로봇으로부터 전송받은 측정 데이터에 대응하여 기 설정된 연산을 처리하는 클라우딩 컴퓨팅 서버를 포함함으로써 연산처리가 클라우딩 컴퓨팅 서버에서 수행되어 로봇의 반응속도를 현저히 절감시키고, 클라우드 로봇을 이용하여 다양한 서비스를 제공할 수 있으며, 영유아의 현재 상태 및 돌발상황에 따라 즉각적이고 적절한 대응을 수행할 수 있는 클라우드 로봇을 이용한 영유아 안전관리 시스템 및 방법을 제공하기 위한 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide a cloud computing system and a cloud computing system, which are equipped with a cloud robot installed in a protection area S and a cloud computing server for processing predetermined operations corresponding to measurement data transmitted from a cloud robot The computing process is performed on the cloud computing server, and the response speed of the robot is remarkably reduced. Various services can be provided using the cloud robot. The robot can perform an immediate and appropriate response according to the current state and the unexpected situation of infants The present invention provides a system and method for managing infant and child safety using a cloud robot.
상기 과제를 해결하기 위한 본 발명의 해결수단은 클라우드 로봇(cloud robot)을 이용하여 기 설정된 보호영역(S) 내에 영유아를 관리하기 위한 영유아 안전관리 시스템에 있어서: 보호자 단말기들; 카메라를 포함하며, 기 설정된 등원시간이 되면 상기 카메라를 구동시켜 등원하는 영유아에 대한 촬영영상을 획득하는 상기 클라우드 로봇; 기 설정된 영상분석 알고리즘을 이용하여 상기 클라우드 로봇으로부터 전송받은 촬영영상을 분석하여 상기 촬영영상 속의 영유아를 판별하는 얼굴인식부와, 상기 얼굴인식부에 의해 판별된 영유아 정보를 기 등록된 영유아 전체정보와 비교하여 등원하지 않은 영유아를 검출하는 등원확인 검출부와, 상기 등원확인 검출부에 의해 등원하지 않은 영유아가 검출될 때 돌발상황이 발생되었다는 돌발상황 정보를 생성하는 돌발상황 판단부와, 기 등록된 영유아정보 및 보호자정보를 통해 상기 등원하지 않은 영유아의 보호자 단말기로 상기 돌발상황 정보를 전송하는 제어부를 포함하는 것이다.According to an aspect of the present invention, there is provided an infant and child safety management system for managing infants in a predetermined protection zone S using a cloud robot, the system comprising: parent terminals; A cloud robot which includes a camera and acquires a photographed image of infants and young children by driving the camera when the predetermined time comes; A face recognition unit for analyzing a shot image transmitted from the cloud robot using a predetermined image analysis algorithm to identify an infant in the captured image; and a control unit for controlling the infant information, which is determined by the face recognition unit, An unexpected situation determination unit for generating unexpected information that an unexpected situation has occurred when an infant not enrolled by the referential integrity detection unit is detected; And a controller for transmitting the unexpected state information to the guardian terminal of the infant and child through the guardian information.
또한 본 발명에서 상기 클라우드 컴퓨팅 서버는 상기 영유아의 얼굴특징정보가 기 설정되어 저장되고, 상기 얼굴인식부는 상기 촬영영상으로부터 얼굴영역을 추출하는 얼굴영역 추출모듈과, 상기 얼굴영역 추출부에 의해 추출된 얼굴영역으로부터 얼굴특징정보를 검출하는 얼굴특징정보 검출모듈과, 기 저장된 상기 영유아의 얼굴특징정보를 탐색하여 상기 얼굴특징정보 검출모듈에 의해 검출된 얼굴특징정보와의 차이값이 한계치 이내인 얼굴특징정보를 추출하여 촬영된 영상의 영유아를 판별하는 영유아 판별모듈을 포함하는 것이 바람직하다.In the present invention, the cloud computing server stores the facial feature information of the infant and the baby, and the facial recognition unit extracts a facial region from the captured image. A facial feature information detecting module for detecting facial feature information from a facial region, a facial feature detecting module for detecting facial feature information of the previously stored infant and storing the facial feature information in which a difference between the facial feature information detected by the facial feature information detecting module is within a limit And an infant / young child discrimination module for extracting information and discriminating infants of the photographed image.
또한 본 발명에서 개인정보 및 보호자정보가 저장되어 영유아에게 지급되는 RFID 태그를 더 포함하고, 상기 클라우드 로봇은 RFID 리더부를 더 포함하여 기 설정된 위치확인주기가 되면 상기 RFID 리더부를 구동시켜 상기 보호영역(S) 내의 태그 데이터를 수신 받아 상기 클라우드 컴퓨팅 서버로 전송하고, 상기 클라우드 컴퓨팅 서버는 상기 클라우드 로봇으로부터 전송받은 태그 데이터를 판독하여 상기 태그 데이터에 저장된 개인정보를 통해 상기 보호영역(S)에 위치하는 영유아를 확인하는 위치확인 판단부를 더 포함하고, 상기 돌발상황 판단부는 상기 위치확인 판단부에 의해 위치가 확인되지 않은 영유아가 검출될 때 상기 돌발상황 정보를 생성하는 것이 바람직하다.The cloud robot may further include an RFID interrogator to drive the RFID interrogator when the predetermined period of time has elapsed, so that the protection region S, and transmits the tag data to the cloud computing server. The cloud computing server reads the tag data transmitted from the cloud robot and stores the tag data in the protection area S through the personal information stored in the tag data And the location determination unit may generate the unexpected information when an infant whose location has not been confirmed by the location determination unit is detected.
또한 본 발명에서 상기 클라우드 로봇은 상기 위치확인주기가 되면 기 설정된 이동 시나리오에 따라 주행하면서 상기 카메라를 동작시켜 촬영영상을 획득하고, 상기 클라우드 컴퓨팅 서버는 상기 얼굴인식부가 상기 클라우드 로봇으로 전송받은 촬영영상을 분석하여 상기 촬영영상 속의 영유아를 판별하고, 상기 위치확인 판단부가 상기 얼굴인식부에 의해 판별된 영유아 정보 및 상기 태그 데이터를 이용한 영유아 정보를 이용하여 상기 보호영역(S)에 위치한 영유아를 확인하는 것이 바람직하다.In addition, in the present invention, the cloud robot moves according to a predetermined moving scenario and operates the camera while acquiring a photographed image. When the cloud computing server receives the photographed image from the cloud robot, The infant child in the photographed image is identified, and the position determination unit confirms the infant in the protection area S using the infant infant information determined by the face recognizing unit and the infant information using the tag data .
또한 본 발명에서 상기 클라우드 컴퓨팅 서버는 상기 보호자 단말기로부터 상기 클라우드 로봇에서 출력될 정보인 출력제어정보와, 상기 출력제어정보가 출력될 예정시간인 예약시간을 포함하는 예약정보를 요청받으면 현재 시간이 상기 예약시간인지를 판단하는 예약정보 관리부를 더 포함하고, 상기 제어부는 상기 예약정보 관리부에 의해 현재 시간이 상기 예약시간이 되면 상기 클라우드 로봇으로 상기 예약정보를 전송하여 상기 예약정보의 출력제어정보에 따라 상기 로봇이 구현되는 것이 바람직하다.In the present invention, when the cloud computing server receives the reservation information including the output control information, which is information to be output from the cloud robot, and the reservation time, which is a predetermined time to output the output control information, from the parent terminal, Wherein the controller transmits the reservation information to the cloud robot when the current time reaches the reservation time by the reservation information management unit and outputs the reservation information to the cloud robot in accordance with the output control information of the reservation information It is preferable that the robot is implemented.
또한 본 발명에서 상기 출력제어정보는 상기 클라우드 로봇에서 출력될 음성정보, 상기 클라우드 로봇의 관절에 대한 모션정보 및 상기 클라우드 로봇의 얼굴영영에 표현되는 표정정보를 포함하는 것이 바람직하다.In the present invention, the output control information may include voice information to be output from the cloud robot, motion information on the joint of the cloud robot, and facial expression information to be expressed on the face of the cloud robot.
상기 과제와 해결수단을 갖는 본 발명에 따르면 기 설정된 등원시간 시 영유아의 등원여부가 검출되고, 만약 등원하지 않은 영유아가 검출되면 보호자에게 즉각적으로 통지함으로써 영유아의 등원을 안전하게 관리할 수 있게 된다.According to the present invention having the above-described problems and solutions, it is possible to detect whether or not the infant is seated at a preset time, and if the infant is not detected, the infant can be safely managed by notifying the guardian immediately.
또한 본 발명에 의하면 클라우드 로봇은 단순히 영유아에 대한 상태만을 측정하고, 클라우딩 컴퓨팅 서버가 클라우드 로봇에 의해 측정된 데이터에 따라 기 설정된 연산을 처리함으로써 클라우드 로봇이 다양한 서비스를 제공하되 서비스 제공에 따른 높은 연산량 및 처리시간으로 인해 반응속도가 저하되는 문제점을 해결할 수 있다.According to the present invention, the cloud robot measures only the state of infants and children, and the cloud computing server processes the predetermined operation according to the data measured by the cloud robot, thereby providing various services to the cloud robot, It is possible to solve the problem that the reaction rate is lowered due to the amount of calculation and the processing time.
또한 본 발명에 의하면 주기적으로 보호영역(S) 내 영유아의 위치를 확인하여 영유아의 위치가 확인되지 않은 영유아가 검출될 때 보호자에게 이를 즉각적으로 통지함으로써 관리 안전성을 더욱 높일 수 있게 된다.In addition, according to the present invention, the position of the infant in the protection area S is periodically checked, and when the infant whose infant's position is not detected is detected, it is notified to the protector immediately.
또한 본 발명에 의하면 클라우드 로봇의 카메라에 의해 촬영된 영상을 통해 보호자가 실시간으로 영유아를 모니터링 할 수 있다.According to the present invention, the guardian can monitor the infant in real time through the image captured by the camera of the cloud robot.
또한 본 발명에 의하면 보호자가 클라우드 컴퓨팅 서버에 접속하여 영유아의 상태, 기분 및 기념일에 따라 로봇의 음성, 주행, 모션 및 표정을 포함하는 출력제어장치를 입력하면 클라우드 로봇이 입력된 예정시간에 입력된 출력제어장치에 따라 구동됨으로써 영유아가 정서적으로 안정을 얻을 수 있다.According to the present invention, when a guardian accesses a cloud computing server and inputs an output control device including voice, traveling, motion and facial expression of the robot according to the state, mood and anniversary of infants and young children, The baby can be emotionally stable by being driven according to the output control device.
또한 본 발명에 의하면 클라우드 로봇이 콘텐츠를 디스플레이 할 때 콘텐츠에 따라 음성, 모션, 표정이 구현됨으로써 영유아의 집중도를 높일 수 있고, 영유아의 자발적인 참여를 유도할 수 있게 된다.In addition, according to the present invention, when the cloud robot displays contents, voice, motion, and expression are implemented according to contents, thereby increasing the concentration of infants and encouraging voluntary participation of infants and toddlers.
도 1은 국내등록특허 제10-1106073호(발명의 명칭 : 로봇을 이용한 영유아 돌보기 방법)에 개시된 영유아 돌보기 방법을 설명하기 위한 플로차트이다.
도 2는 본 발명의 일실시예인 영유아 안전관리 시스템을 나타내는 구성도이다.
도 3은 도 2의 클라우드 컴퓨팅 서버를 나타내는 블록도이다.
도 4는 도 3의 얼굴인식부를 나타내는 블록도이다.
도 5는 본 발명의 등하원 안심 알림 서비스를 설명하기 위한 개념도이다.
도 6은 도 5를 설명하기 위한 플로차트이다.
도 7은 본 발명의 자율 안전관리 서비스를 설명하기 위한 개념도이다.
도 8은 도 7의 플로차트이다.
도 9는 본 발명의 원격 모니터링 및 제어 서비스를 설명하기 위한 개념도이다.
도 10은 도 9의 플로차트이다.
도 11은 본 발명의 원격 모니터링 및 제어 서비스를 설명하기 위한 개념도이다.
도 12는 도 11의 플로차트이다.
도 13은 본 발명의 원격 모니터링 및 제어 방법을 나타내는 플로차트이다.FIG. 1 is a flowchart for explaining a method for taking care of infants and children disclosed in Korean Patent No. 10-1106073 (entitled "Method for taking care of infants using a robot").
2 is a block diagram showing an infant and child safety management system according to an embodiment of the present invention.
3 is a block diagram illustrating the cloud computing server of FIG.
4 is a block diagram showing the face recognition unit of FIG.
FIG. 5 is a conceptual diagram for explaining the equal-trust security alert service of the present invention. FIG.
Fig. 6 is a flowchart for explaining Fig. 5. Fig.
7 is a conceptual diagram for explaining an autonomic safety management service of the present invention.
8 is a flow chart of Fig.
9 is a conceptual diagram for explaining the remote monitoring and control service of the present invention.
FIG. 10 is a flow chart of FIG.
11 is a conceptual diagram for explaining the remote monitoring and control service of the present invention.
Fig. 12 is a flow chart of Fig.
13 is a flowchart showing a remote monitoring and control method of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings.
도 2는 본 발명의 일실시예인 영유아 안전관리 시스템을 나타내는 구성도이다. 2 is a block diagram showing an infant and child safety management system according to an embodiment of the present invention.
도 2의 영유아 안전관리 시스템(1)은 영유아에게 지급되는 RFID 태그(8-1), ..., (8-N)들과, 기 설정된 이동 시나리오에 따라 기 설정된 감지영역인 보호영역(S)을 주행하여 기 등록된 영유아에 대한 다양한 서비스를 제공하는 클라우드 로봇(5)과, 클라우드 로봇(5)으로부터 전송받은 촬영영상 및 영유아 정보에 대응되는 연산을 처리하는 클라우드 컴퓨팅 서버(3)와, 클라우드 컴퓨팅 서버(3)에 접속하여 클라우드 컴퓨팅 서버(3)로부터 다양한 서비스를 제공받는 보호자 단말기(7-1), ..., (7-N)들과, 이들 연결대상(3), (5), (7-1), ..., (7-N)들 간의 데이터 이동경로를 제공하는 통신망(6)과, 클라우드 로봇(5) 및 RFID 태그(8-1), ..., (8-N)들의 접속을 지원하는 NFC 통신망(8)으로 이루어진다.The infant and child safety management system 1 of FIG. 2 includes RFID tags 8-1, ..., 8-N that are paid to infants and young children and protection zones S A
또한 본 발명에서는 설명의 편의를 위해 클라우드 컴퓨팅 서버(3)가 하나로 구성되는 것으로 예를 들어 설명하였으나, 클라우드 컴퓨팅 서버(3)는 보호영역(S) 내에 설치되어 클라우드 컴퓨팅 서버(3)에 연동되는 서브 서버들을 더 포함하고, 서브 서버들 각각은 자신에게 할당된 클라우드 로봇(5)으로부터 전송받은 영상을 분석하여 얼굴특징정보를 검출한 후 이를 클라우딩 컴퓨팅 서버(3)로 전송하는 것으로 구성될 수 있으며, 클라우드 컴퓨팅 서버(3)의 연산처리는 적어도 하나 이상의 서브 서버들에서 처리되어도 무방하다.The
RFID 태그(8-1), ..., (8-N)들은 영유아들 각각에게 지급되거나 또는 부착되며, 영유아의 식별정보 및 개인정보를 포함하는 영유야 정보와, 보호자 정보, 해당 영유아의 위탁시설정보들이 저장된다. 이때 보호자 정보는 해당 영유야의 보호자의 연락처 정보를 포함한다.The RFID tags 8-1, ..., and 8-N are paid or attached to each infant, and the infant information including the infant's identification information and personal information, the parent information, Facility information is stored. At this time, the guardian information includes the contact information of the guardian of the corresponding guardian.
클라우드 로봇(5)은 보호영역(S)에 설치되며, 기 설정된 시간에 기 설정된 이동 시나리오에 따라 보호영역(S)을 주행하여 영유아들 각각에 대한 상태 및 영상을 클라우드 컴퓨팅 서버(3)로 전송하고, 클라우드 컴퓨팅 서버(3)로부터 전송 받은 연산처리 데이터에 따라 동작하여 영유아에게 다양한 서비스를 제공한다. 이때 클라우드 로봇(5)은 공지된 바와 같이 보호영역(S)을 주행하기 위한 이동수단, 특정 모션을 수행하기 위한 관절구동수단들, 로봇의 얼굴부위에 장착되어 감정을 표현하기 위한 표정구동수단들을 포함한다. The
또한 클라우드 로봇(5)은 카메라가 장착되어 기 설정된 등원시간 또는 클라우드 컴퓨팅 서버(3)의 요청에 따라 영유아를 촬영하여 영상을 획득하며, 획득된 영상을 클라우드 컴퓨팅 서버(3)로 전송한다. 이때 클라우드 컴퓨팅 서버(3)는 기 설정된 얼굴인식 알고리즘을 이용하여 전송받은 영상을 분석하여 영상 내 영유아를 판별한다. 즉 클라우드 로봇(5)은 기 설정된 등원시간이 되면 영유아들을 촬영하여 영상을 획득한 후 획득된 영상을 클라우드 컴퓨팅 서버(3)로 전송하고, 클라우드 컴퓨팅 서버(3)는 전송받은 영상으로부터 영유아를 판별하여 등원한 영유아들을 나타내는 등원정보 및 미등원한 영유아들을 나타내는 미등원정보를 생성한 후 이를 보호자에게 통지함으로써 미등원한 영유아에 대한 즉각적인 대응을 할 수 있게 된다. 이때 클라우드 컴퓨팅 서버(3)는 미등원정보가 생성되면 해당 영유아의 식별정보, 개인정보 및 보호자정보를 포함하는 돌발상황 발생 정보를 생성하여 이를 해당 보호자 단말기(7) 및 클라우드 로봇(5)을 전송하고, 클라우드 로봇(5)은 돌발상황 발생 정보를 수신받으면 이를 외부로 표출하여 위탁시설 관리자가 이러한 사실을 인식할 수 있도록 한다.In addition, the
또한 클라우드 로봇(5)은 NFC(Near Field Communication) 통신이 지원되며, 기 설정된 영역 내에 위치한 RFID 태그를 판독하기 위한 RFID 리더부를 포함한다. In addition, the
즉 클라우드 로봇(5)은 기 설정된 주기(이하 위치확인주기라고 함)에 따라 RFID 리더부를 구동시켜 RFID 태그(8-1), ..., (8-N)들에 저장된 태그 데이터를 판독하여 영유아들이 보호영역(S) 내에 위치하는지를 판단하기 위한 데이터를 수집하며, 수집된 태그 데이터를 클라우드 컴퓨팅 서버(3)로 전송한다. 이때 클라우드 컴퓨팅 서버(3)는 수집된 태그 데이터를 통해 보호영역(S) 내 위치한 영유아들을 검출하며, 검출된 영유아들을 기 등록된 영유아들 전체에 비교하여 보호영역(S) 내 위치하지 않은 영유아를 나타내는 미확인 영유아를 검출할 수 있게 된다. 이때 클라우드 컴퓨팅 서버(3)는 미확인 영유아가 검출되면 미확인된 영유아의 식별정보, 개인정보 및 보호자 정보를 포함하는 돌발상황 발생 정보를 생성한 후 이를 보호자 단말기(7) 및 클라우드 로봇(5)으로 전송한다.That is, the
또한 클라우드 로봇(5)은 위치확인주기가 되면 카메라를 구동시켜 영상을 획득하며, 획득된 영상을 클라우드 컴퓨팅 서버(3)로 전송함으로써 클라우드 컴퓨팅 서버(3)는 전송받은 영상을 통해 검출된 영유아 정보와, 태그 데이터를 통해 검출된 영유아를 기반으로 미확인 영유아를 더욱 정확하게 검출하게 된다. In addition, the
또한 클라우드 로봇(5)은 클라우드 컴퓨팅 서버(3)로부터 원격제어를 요청받으면 카메라를 구동시킴과 동시에 클라우드 컴퓨팅 서버(3)로부터 전송받는 조작명령에 따라 이동수단, 관절구동장치, 표정구동장치 및 음성출력수단을 구동시킨다. 이때 클라우드 로봇(5)은 카메라에 의해 촬영된 영유아 영상을 실시간으로 클라우드 컴퓨팅 서버(3)로 전송한다.When the
또한 클라우드 로봇(5)은 클라우드 컴퓨팅 서버(3)로부터 실시간으로 예약정보 실행을 요청받으면 전송받은 예약정보의 출력제어정보에 따라 이동수단, 관절구동장치, 표정구동장치 및 음성출력수단을 구동시킨다. 이때 예약정보는 출력제어정보, 출력제어정보의 정보들의 표출예정시간인 예약시간, 영유아 정보를 포함하고, 출력제어정보는 음성출력수단을 통해 출력될 음성정보와, 이동수단을 통해 이동하여야 할 이동정보, 관절구동장치들 각각의 모션을 나타내는 모션정보, 표정구동장치들 각각의 움직임을 나타내는 표정정보를 포함한다. In addition, when the
또한 예약정보는 클라우드 컴퓨팅 서버(3)에서 제공하는 웹서버 및 어플리케이션을 통해 보호자로부터 입력된다.The reservation information is input from a guardian through a web server and application provided by the
즉 클라우드 컴퓨팅 서버(3)는 접속된 보호자 단말기(7)들로부터 특정 영유아에 대한 예약정보를 실시간으로 입력받으면 입력된 예약정보들을 예약시간에 따라 정렬한 후 예약시간이 되면 해당 예약정보를 클라우드 로봇(5)으로 전송하고, 클라우드 로봇(5)은 예약정보를 전송받으면 예약정보의 해당 영유아에게 이동하여 전송받은 예약정보의 출력제어정보에 따라 음성, 이동, 모션 및 표정을 해당 영유아에게 표출함으로써 보호자는 영유아의 현재 상태, 기분 및 기념일 등에 따라 적합한 대응을 할 수 있게 된다. That is, when the
예를 들어 생일인 영유아의 보호자는 클라우드 컴퓨팅 서버(3)에 접속하여 생일축하 노래의 음성정보, 생일축하 노래에 따라 춤을 추는 모션정보 및 웃는 얼굴표정의 표정정보, 예약시간, 영유아정보를 입력할 수 있고, 클라우드 로봇(5)은 입력된 예약정보에 따라 메시지를 해당 영유아에게 출력 및 표출함으로써 보호자는 클라우드 로봇(5)을 통해 영유아의 정서적 안정을 유도할 수 있게 된다.For example, the protector of the infant, which is a birthday, connects to the
또한 클라우드 로봇(5)은 클라우드 컴퓨팅 서버(3)로부터 전시될 콘텐츠와, 콘텐츠에 따른 출력제어정보를 전송받으면 콘텐츠를 디스플레이 수단에 디스플레이 하면서 출력제어정보에 따라 음성출력수단, 이동수단, 관절구동장치 및 표정동장치들이 구동됨으로써 영유아의 흥미를 유발함과 동시에 집중도를 높이고, 영유아의 참여를 적극적으로 유도할 수 있게 된다.When the content to be displayed from the
도 3은 도 2의 클라우드 컴퓨팅 서버를 나타내는 블록도이다.3 is a block diagram illustrating the cloud computing server of FIG.
도 3의 클라우드 컴퓨팅 서버(3)는 데이터베이스부(32)와, 통신 인터페이스부(33), 사용자 인터페이스 관리부(34), 얼굴인식부(35), 모니터링 관리부(36), 등원확인 검출부(37), 위치확인 검출부(38), 돌발상황 판단부(39), 원격제어부(40), 예약정보 관리부(41), 콘텐츠 관리부(42) 및 제어부(31)로 이루어진다. The
이때 본 발명에서는 보호자 단말기(7-1), ..., (7-N)들에 그래픽 사용자 인터페이스들(Graphic user interface)에 저장된 어플리케이션이 설치되어 어플리케이션을 통해 보호자 단말기가 클라우드 컴퓨팅 서버(3)에 접속하는 것으로 예를 들어 설명하였으나 보호자 단말기(7-1), ..., (7-N)들에는 별도의 어플리케이션이 설치되지 않고 탑재된 웹 연동프로그램인 웹 브라우저(Explorer, Chrome, Safari, FireFox, Netscape 등)를 통해 클라우드 컴퓨팅 서버(3)에 접속하는 것으로 구성되어도 무방하다.At this time, in the present invention, applications stored in graphical user interfaces are installed in the guardian terminals 7-1, ..., 7-N, and the guardian terminal is connected to the
제어부(31)는 클라우드 컴퓨팅 서버(3)의 O.S(Operating system)이며, 제어대상(31), (32), (33), (34), (35), (36), (37), (38), (39), (40), (41), (42)들을 관리 및 제어한다.The
또한 제어부(31)는 주기적으로 통신 인터페이스부(33)를 크롤링(Crawling) 하여 외부 단말기들로부터 통신망(6)을 통해 수시된 데이터가 있는 지를 탐색한다.In addition, the
또한 제어부(31)는 그래픽 사용자 인터페이스를 통해 접속된 보호자 단말기(7-1), ..., (7-N)들로부터 특정 영유아의 모니터링을 요청받으면 모니터링 관리부(36)가 동작되도록 제어한다.Also, the
또한 제어부(31)는 그래픽 사용자 인터페이스를 통해 접속된 보호자 단말기(7-1), ..., (7-N)들로부터 원격제어를 요청받으면 원격제어부(30)가 동작되도록 제어한다.Also, the
또한 제어부(31)는 기 설정된 등원시간이 되면 클라우드 로봇(5)으로 등원확인을, 기 설정된 위치확인주기가 되면 클라우드 로봇(5)으로 위치확인을 요청한다.Also, the
또한 제어부(31)는 클라우드 로봇(5)으로부터 전송받은 영상을 얼굴인식부(35)로, 태그 데이터를 위치확인 검출부(38)로 입력한다.The
또한 제어부(31)는 등원확인 검출부(37)에서 미등원정보가 생성되거나 또는 위치확인 검출부(38)에서 미확인 영유아 정보가 생성되면 이를 돌발상황 판단부(39)로 입력하여 돌발상황 판단부(39)가 구동되도록 한다.The
또한 제어부(31)는 통신 인터페이스부(33)를 통해 클라우드 로봇(5)으로부터 전송받은 촬영영상을 N-스크린 방식으로 데이터베이스부(32)에 저장된다.The
데이터베이스부(32)에는 기 설정된 보호영역(S)들 각각의 식별정보, 위치정보, 등하원시간, 보호영역들 각각에 대응되는 기 등록된 영유아들에 관한 정보인 영유아 정보, 영유아들 각각의 보호자 정보가 저장된다. 이때 영유아 정보는 식별정보, 개인정보 및 얼굴특징정보를 포함한다.The
또한 데이터베이스부(32)에는 보호영역(S)들 각각을 감지하는 로봇 클라우드에 관란 관련정보가 저장된다.In addition, the
또한 데이터베이스부(32)에는 기 제작된 그래픽 사용자 인터페이스들과, 기 설정된 얼굴인식 알고리즘이 저장된다.The
또한 데이터베이스부(32)에는 얼굴인식부(35)에 의해 영유아 식별정보가 매칭된 촬영영상이 저장된다.In the
통신 인터페이스부(33)는 통신망(6)과의 접속을 지원하며, 통신망(6)에 접속된 단말기들과 데이터를 송수신한다.The
사용자 인터페이스 관리부(34)는 기 설정된 그래픽 절차에 따라 제작되어 클라우드 컴퓨팅 서버(3)에 접속된 단말기의 모니터에 다운로드 되는 그래픽 사용자 인터페이스를 관리한다. 이때 그래픽 사용자 인터페이스는 사용자로부터 특정 데이터를 입력 및 요청받거나 또는 요청 데이터에 대응하는 연산 처리값을 대응되는 그래픽 사용자 인터페이스를 통해 전시함으로써 보호자 단말기(7-1), ..., (7-N)들은 자신의 모니터에 디스플레이 되는 그래픽 사용자 인터페이스를 통해 클라우드 컴퓨팅 서버(3)로 다양한 서비스를 요청하거나 이에 대한 응답데이터를 전시할 수 있게 된다.The user
도 4는 도 3의 얼굴인식부를 나타내는 블록도이다.4 is a block diagram showing the face recognition unit of FIG.
도 4의 얼굴인식부(35)는 기 설정된 얼굴인식 알고리즘을 이용하여 클라우드 로봇(5)으로부터 전송받은 촬영영상을 분석하여 촬영영상 내 얼굴영역을 추출하는 얼굴영역 추출모듈(351)과, 얼굴영역 추출모듈(351)에 의해 추출된 얼굴영역 내에서 경계선(Edge) 등의 특징점을 찾는 특징점 검출모듈(353)과, 데이터베이스부(32)에 저장된 영유아정보의 얼굴특징정보를 탐색하여 특징점 검출모듈(353)에 의해 검출된 특징점과의 차이점이 한계치 이내인 얼굴특징정보를 추출하여 촬영된 영상의 영유아를 판별하는 영유아 판별모듈(355)과, 영유아 판별모듈(355)에 의해 판별된 영유아의 식별정보를 촬영영상에 매칭시키는 매칭모듈(357)로 이루어진다. The
이때 제어부(31)는 기 설정된 등원시간이 되어 영유아 등원확인을 위한 촬영영상으로부터 판별된 영유아 식별정보는 등원확인 검출부(37)로 입력하고, 위치확인주기가 되어 영유아 위치확인을 위한 촬영영상으로부터 판별된 영유아 식별정보는 위치확인 검출부(38)로 입력한다.At this time, the
모니터링 관리부(36)는 보호자 단말기(7-1), ..., (7-N)들로부터 그래픽 사용자 인터페이스를 통해 특정 영유아의 원격 모니터링을 요청받으면 영유아가 위치한 감지영역(S)을 감지하는 클라우드 로봇(5)의 식별정보 및 해당 영유아의 식별정보를 포함하는 모니터링 요청데이터를 생성한다. 이때 생성된 모니터링 요청데이터는 제어부(31)의 제어에 따라 통신 인터페이스부(33)를 통해 해당 클라우드 로봇(5)으로 전송된다.The
또한 모니터링 요청에 따른 해당 영유아의 촬영영상은 전술하였던 바와 같이 얼굴인식부(35)로 입력된 후 영유아정보에 매칭되어 N-스크린 방식으로 데이터베이스부(32)에 저장된다.The photographed images of the infants corresponding to the monitoring request are input to the
원격제어부(30)는 보호자 단말기(7-1), ..., (7-N)들로부터 원격제어를 요청받으면 그래픽 사용자 인터페이스를 통해 보호자로부터 입력되는 방향키에 대응되는 출력제어정보를 생성한다. 이때 생성된 출력제어정보는 제어부(31)의 제어에 따라 통신 인터페이스부(33)를 통해 클라우드 로봇(5)으로 전송된다.Upon receiving a remote control request from the guardian terminals 7-1, ..., 7-N, the remote control unit 30 generates output control information corresponding to a direction key input from a guardian through a graphical user interface. The generated output control information is transmitted to the
등원확인 검출부(37)는 기 설정된 등원시간이 되면 제어부(31)의 제어에 따라 구동되며, 얼굴인식부(35)로부터 입력된 영유아 정보와, 해당 보호영역(S)에 대응되는 기 등록된 영유아 전체정보를 비교하여 기 등록된 영유아들 중 등원한 영유아를 나타내는 등원정보와, 기 등록된 영유아들 중 미등원한 영유아를 나타내는 미등원정보를 생성한다. When the set time is reached, the circle
또한 등원확인 검출부(37)는 등원정보가 생성되면 데이터베이스부의 보호자정보를 탐색하여 등원한 영유아의 보호자들의 단말기들로 해당 영유아가 안전하게 등원하였다는 데이터를 전송한다.The origin
또한 등원확인 검출부(37)는 미등원정보가 생성되면 생성된 미등원정보를 돌발상황 판단부(39)로 입력한다.In addition, the
위치확인 검출부(38)는 위치확인주기에 따라 구동되며, 얼굴인식부(35)로부터 입력받은 영유아 정보와, 클라우드 로봇(5)으로부터 전송받아 제어부(31)의 제어에 따라 입력된 태그데이터와, 해당 보호영역(S)에 대응되는 기 등록된 영유아 전체정보를 비교하여 기 등록된 영유아들 중 위치가 확인되지 않은 영유아를 나타내는 미확인정보를 생성한다.The
또한 위치확인 검출부(38)는 생성된 미확인정보를 돌발상황 판단부(39)로 입력한다.The
돌발상황 판단부(39)는 등원확인 검출부(27)로부터 미등원정보를 입력받거나 또는 위치확인 검출부(38)로부터 미확인정보를 입력받으면 데이터베이스부(32)에 저장된 해당 영유아의 영유아 정보 및 보호자 정보를 추출한 후 해당 보호자 단말기 및 해당 클라우드 로봇(5)으로 돌발상황 데이터를 전송한다.When the unexpected information is received from the
즉 보호자 단말기(7-1), ..., (7-N)들은 클라우드 컴퓨팅 서버(3)에 접속하여 모니터에 디스플레이 된 자신의 영유아에 대한 원격 모니터링을 요청하면 클라우드 컴퓨팅 서버(3)의 모니터링 관리부(36)는 해당 클라우드 로봇(5)으로 모니터링 요청데이터를 전송하고, 클라우드 로봇(5)으로부터 해당 영유아의 촬영영상을 전송받으면 전송받은 촬영영상에 대한 N-스크린 서비스를 제공함으로써 보호자는 자신이 원하는 시간대에 영유아의 영상을 실시간으로 열람할 수 있게 된다.The guardian terminals 7-1 to 7-N access the
예약정보 관리부(41)는 보호자 단말기(7-1), ..., (7-N)들로부터 그래픽 사용자 인터페이스를 통해 예약정보가 입력되면 예약정보의 예약시간에 따라 기존에 등록된 예약정보들과 정렬하여 예약정보목록을 갱신한다.When the reservation information is inputted from the guardian terminals 7-1, ..., 7-N through the graphical user interface, the reservation
또한 예약정보 관리부(41)는 예약시간이 되면 해당 예약정보를 클라우드 로봇(5)으로 전송하도록 제어부(31)로 제어신호를 입력한다.In addition, the reservation
콘텐츠 관리부(42)는 클라우드 컴퓨팅 서버(3)를 통해 전시될 컨텐츠와, 컨텐츠에 따른 출력제어정보와, 출력시간이 설정되고, 출력시간이 되면 제어부(31)의 제어에 따라 해당 콘텐츠 및 출력제어정보는 클라우드 로봇(5)으로 전송된다.The
- 등하원 안심 알림 서비스- Security guard notification service
도 5는 본 발명의 등하원 안심 알림 서비스를 설명하기 위한 개념도이고, 도 6은 도 5를 설명하기 위한 플로차트이다.FIG. 5 is a conceptual diagram for explaining an equalized source security alert service of the present invention, and FIG. 6 is a flowchart for explaining FIG.
본 발명인 영유아 안전관리 시스템(1)의 등하원 안심 알림 방법(S10)은 도 6과 7에 도시된 바와 같이 클라우드 로봇(5)에 장착된 카메라가 등원하는 영유아를 촬영하여 영상을 획득하는 촬영단계(S11)와, 클라우드 컴퓨팅 서버(3)로 획득된 영상을 전송하는 영상전송단계(S12)와, 클라우드 컴퓨팅 서버(3)가 기 설정된 영상분석 알고리즘을 이용하여 전송받은 영상을 분석하여 촬영영상 내 영유아를 판별하는 영유아 판별단계(S13)와, 영유아 판별단계(S13)에 의해 판별된 영유아 정보를 기 등록된 영유아 전체정보에 비교하여 등원하지 않은 미등원 영유아를 검출하는 미등원 영유아 검출단계(S14)와, 미등원 영유아 검출단계(S14)에 의해 검출된 미등원 영유아에 해당하는 보호자 및 클라우드 로봇으로 돌발상황을 전송하는 돌발상황 전송단계(S15)와, 클라우드 로봇(5)이 돌발상황 전송단계(S15)에 의해 전송받은 돌발상황을 외부로 표출하는 표출단계(S16)로 이루어진다.As shown in FIGS. 6 and 7, the method S10 of notifying the safety of an infant and child safety management system 1 of the present invention is a photographing step of capturing an image of a baby, (S12) for transmitting an image obtained by the cloud computing server (3), and an image transmitting step (S12) for analyzing the image received by the cloud computing server (3) A step S13 for discriminating infants and children, a step S14 for detecting a tasteless infant and a infant that has not been registered by comparing the infant information determined by the infant identifying step S13 with the previously registered infant information, , An unexpected state transmission step (S15) for transmitting an unexpected situation to a guardian and a cloud robot corresponding to a child in the ritual who is detected by the tailor infant detection step (S14), a cloud robot 5) an exposing step (S16) for exposing the unexpected situation transmitted by the unexpected situation transmission step (S15) to the outside.
- 자율 안전 관리 서비스- Autonomous safety management service
도 7은 본 발명의 자율 안전관리 서비스를 설명하기 위한 개념도이고, 도 8은 도 7의 플로차트이다.FIG. 7 is a conceptual diagram for explaining the autonomic safety management service of the present invention, and FIG. 8 is a flowchart of FIG.
본 발명인 영유아 안전관리 시스템(1)의 자율 안전관리 방법(S20)은 기 설정된 위치확인주기에 따라 클라우드 로봇(5)이 기 설정된 이동 시나리오에 따라 주행하는 주행단계(S21)와, 상기 주행단계(S21)에 의해 주행하는 클라우드 로봇(5)이 카메라를 이용하여 영상을 획득하는 영상획득단계(S22)와, 상기 주행단계(S21)에 의해 주행하는 클라우드 로봇(5)이 RFID 리더부를 구동시켜 영유아들 각각에게 지급된 RFID 태그에 저장된 태그데이터를 수집하는 태그데이터 수집단계(S23)와, 영상획득단계(S22) 및 데이터 수집단계(S23)에 의해 획득된 촬영영상 및 태그데이터를 클라우드 컴퓨팅 서버(3)로 전송하는 전송단계(S24)와, 클라우드 컴퓨팅 서버(3)가 기 설정된 얼굴인식 알고리즘을 이용하여 전송단계(S24)를 통해 전송받은 촬영영상을 분석하여 촬영영상의 영유아를 검출하는 영유아 검출단계(S25)와, 클라우드 컴퓨팅 서버(3)가 전송단계(S24)를 통해 전송받은 태그데이터로 저장된 영유아 식별정보를 판독하는 태그데이터 판독단계(S26)와, 영유아 검출단계(S25) 및 태그데이터 판독단계(S26)에 의해 검출된 영유아 정보를 기 등록된 영유아 전체정보에 비교하여 위치가 확인되지 않은 영유아를 검출하는 미확인 영유아 검출단계(S27)와, 미확인 영유아 검출단계(S27)에 의해 검출된 미확인 영유아에 해당하는 보호자 및 클라우드 로봇으로 돌발상황을 전송하는 돌발상황 전송단계(S28)와, 클라우드 로봇(5)이 돌발상황 전송단계(S28)에 의해 전송받은 돌발상황을 외부로 표출하는 표출단계(S29)로 이루어진다.The autonomic safety management method (S20) of the infant and child safety management system (1) according to the present invention includes a traveling step (S21) in which the cloud robot (5) travels according to a predetermined moving scenario in accordance with a predetermined positioning period, (S22) in which the cloud robot (5) that travels in accordance with the navigation data (S21) acquires an image using the camera; and a cloud robot (5) that travels in the driving step (S21) A tag data collection step S23 for collecting the tag data stored in the RFID tag paid to each of the cloud computing servers 23 and 24 and a photographing image and tag data obtained by the data collection step S22 and the data collection step S23, 3), and the cloud computing server 3 analyzes the captured image transmitted through the transmission step S24 using a predetermined face recognition algorithm, The shipment includes an infant / child detection step S25, a tag data reading step S26 for reading the infant child identification information stored in the tag data transmitted through the transmission step S24 by the cloud computing server 3, the infant / baby detection step S25 (S27) for detecting an infant whose position has not been confirmed by comparing the infant information detected by the infant information detecting step (S26) and the infant information detected by the tag data reading step (S26) An unexpected state transmission step S28 for transmitting the unexpected state to the guardian and the cloud robot corresponding to the unidentified infant detected by the unidentified infant and the unexpected infant being detected by the cloud robot 5, (S29).
- 원격 모니터링 및 제어 서비스- Remote monitoring and control service
도 9는 본 발명의 원격 모니터링 및 제어 서비스를 설명하기 위한 개념도이고, 도 10은 도 9의 플로차트이다.FIG. 9 is a conceptual diagram for explaining a remote monitoring and control service of the present invention, and FIG. 10 is a flowchart of FIG.
본 발명인 영유아 안전관리 시스템(1)의 원격 모니터링 및 제어 방법(S30)은 보호자가 클라우드 컴퓨팅 서버(3)에 접속하여 모니터링을 요청하는 모니터링 요청단계(S31)와, 클라우드 컴퓨팅 서버(3)가 클라우드 로봇(5)으로 모니터링을 요청하는 제2 모니터링 요청단계(S32)와, 클라우드 로봇(5)이 클라우드 컴퓨팅 서버(3)로부터 모니터링을 요청받으면 카메라를 구동시켜 영상을 획득하는 영상획득단계(S33)와, 영상획득단계(S33)에 의해 획득된 영상을 클라우드 컴퓨팅 서버(3)를 통해 보호자 단말기(7)로 전송하는 영상전송단계(S34)와, 영상전송단계(S34)에 의해 전송받은 영상이 보호자 단말기에 디스플레이 되는 영상전시단계(S35)와, 영상전시단계(S35)를 통해 자신의 영유아를 탐색하며 영유아가 탐색될 때 기 제작된 그래픽 사용자 인터페이스의 방향키를 입력하는 탐색 및 제어단계(S36)와, 보호자 단말기(S36)에 입력된 방향키에 대응하는 클라우드 로봇(5)의 출력제어정보를 결정하는 출력제어정보 결정단계(S37)와, 클라우드 로봇(5)이 출력제어정보 결정단계(S37)에 의해 결정된 출력제어정보에 따라 주행한 후 상기 영상획득단계(S33)로 돌아가 그 이후의 과정을 반복하는 구동단계(S38)로 이루어진다.The remote monitoring and control method S30 of the infant and child safety management system 1 according to the present invention includes a monitoring request step S31 in which a guardian accesses the
- 정서안정 서비스- Emotional Security Service
도 11은 본 발명의 원격 모니터링 및 제어 서비스를 설명하기 위한 개념도이고, 도 12는 도 11의 플로차트이다.FIG. 11 is a conceptual diagram for explaining a remote monitoring and control service of the present invention, and FIG. 12 is a flowchart of FIG.
본 발명인 영유아 안전관리 시스템(1)의 정서안정 방법(S40)은 보호자로부터 로봇의 출력제어정보, 출력제어정보의 표출예정시간인 예약시간, 영유아 정보를 포함하는 예약정보를 입력받는 입력단계(S41)와, 클라우드 컴퓨팅 서버(3)가 현재시간이 입력단계(S41)를 통해 입력된 예약정보의 예약시간이 되었는지를 판단하는 판단단계(S42)와, 판단단계(S42)에 의해 현재 시간이 예약시간이 되면 클라우드 컴퓨팅 서버(3)가 클라우드 로봇(5)으로 예약정보를 전송하는 예약정보 전송단계(S43)와, 클라우드 로봇(5)이 예약정보 전송단계(S43)를 통해 전송받은 예약정보의 영유아를 탐색하는 영유아 탐색단계(S44)와, 영유아 탐색단계(S44)에 의해 탐색된 영유아로 이동하는 이동하여 전송받은 예약정보의 출력제어정보에 따라 음성출력수단, 관절구동장치, 표정구동장치들이 구동되는 구동단계(S45)로 이루어진다.The emotional stability method (S40) of the infant and child safety management system (1) according to the present invention includes an input step (S41) of receiving reservation information including the output control information of the robot, the reservation time which is the expected display time of the output control information, A determination step S42 of determining whether the current time is the reserved time of the reservation information inputted through the input step S41; and a determination step S42 of determining whether or not the current time is reserved by the cloud computing server 3 A schedule information transmission step S43 for the
- 집중도를 높인 콘텐츠 제공 서비스- Content delivery service with higher concentration
도 13은 본 발명의 원격 모니터링 및 제어 방법을 나타내는 플로차트이다.13 is a flowchart showing a remote monitoring and control method of the present invention.
본 발명인 영유아 안전관리 시스템(1)의 콘텐츠 제공 방법(S50)은 기 등록된 콘텐츠의 전시시간이 설정되는 전시시간 설정단계(S51)와, 기 등록된 콘텐츠에 따른 음성정보, 모션정보, 주행정보 및 표정정보를 포함하는 출력제어정보가 설정되는 출력제어정보 설정단계(S52)와, 전시시간 설정단계(S51)에 의해 설정된 전시시간, 출력제어정보 설정단계(S52)에 의해 설정된 출력제어정보 및 콘텐츠를 매칭시키는 매칭단계(S53)와, 현재 시간이 전시시간 설정단계(S51)에 의해 설정된 전시시간인지를 판단하는 판단단계(S54)와, 판단단계(S54)에 의해 현재 시간이 전시시간일 때 진행되어 클라우드 로봇으로 매칭단계(S53)에 의해 매칭된 데이터를 전송하는 전송단계(S55)와, 클라우드 로봇(5)이 전송단계(S55)를 통해 전송받은 매칭 데이터를 이용하여 콘텐츠를 출력함과 동시에 출력제어정보에 따라 음성출력수단, 관절구동장치, 이동수단 및 표정구동장치들을 구동시키는 전시 및 구동단계(S56)로 이루어진다.The content providing method (S50) of the infant and child safety management system (1) according to the present invention includes an exhibition time setting step (S51) in which the exhibition time of previously registered contents is set, And output control information set by the display time set by the display time setting step (S51), the output control information setting step (S52), and the output control information setting step A determination step S54 of determining whether the current time is a display time set by the display time setting step S51; and a determination step S54 of determining whether the current time is an exhibition time A transmission step S55 for transmitting the matched data to the cloud robot in the matching step S53 and a content step S55 for outputting the content using the matching data transmitted through the transmitting step S55 by the
1:영유아 안전관리 시스템
3:클라우드 컴퓨팅 서버
5:클라우드 로봇
6:통신망
7-1, ..., 7-N:보호자단말기
8-1, ..., 8-N:RFID 태그
9:NFC 통신망
31:제어부
32:데이터베이스부
33:통신 인터페이스부
34:사용자 인터페이스 관리부
35:얼굴인식부
36:모니터링 관리부
37:등원확인 검출부
38:위치확인 검출부
39:돌발상황 판단부
40:원격제어부
41:예약정보 관리부
42:콘텐츠 관리부1: Infant & Child Safety Management System 3: Cloud Computing Server
5: Cloud Robot 6: Network
7-1, ..., 7-N: protector terminals 8-1, ..., 8-N: RFID tags
9: NFC communication network 31: control unit 32:
33: communication interface unit 34: user interface management unit
35: face recognition unit 36: monitoring management unit 37:
38: position confirmation detecting unit 39: unexpected situation determining unit 40: remote control unit
41: reservation information management unit 42:
Claims (6)
보호자 단말기들;
카메라를 포함하며, 기 설정된 등원시간이 되면 상기 카메라를 구동시켜 등원하는 영유아에 대한 촬영영상을 획득하는 상기 클라우드 로봇;
기 설정된 영상분석 알고리즘을 이용하여 상기 클라우드 로봇으로부터 전송받은 촬영영상을 분석하여 상기 촬영영상 속의 영유아를 판별하는 얼굴인식부와, 상기 얼굴인식부에 의해 판별된 영유아 정보를 기 등록된 영유아 전체정보와 비교하여 등원하지 않은 영유아를 검출하는 등원확인 검출부와, 상기 등원확인 검출부에 의해 등원하지 않은 영유아가 검출될 때 돌발상황이 발생되었다는 돌발상황 정보를 생성하는 돌발상황 판단부와, 기 등록된 영유아정보 및 보호자정보를 통해 상기 등원하지 않은 영유아의 보호자 단말기로 상기 돌발상황 정보를 전송하는 제어부를 포함하는 것을 특징으로 하는 영유아 안전관리 시스템.An infant and child safety management system for managing infants in a predetermined protection zone (S) using a cloud robot, comprising:
Guardian terminals;
A cloud robot which includes a camera and acquires a photographed image of infants and young children by driving the camera when the predetermined time comes;
A face recognition unit for analyzing a shot image transmitted from the cloud robot using a predetermined image analysis algorithm to identify an infant in the captured image; and a control unit for controlling the infant information, which is determined by the face recognition unit, An unexpected situation determination unit for generating unexpected information that an unexpected situation has occurred when an infant not enrolled by the referential integrity detection unit is detected; And a controller for transmitting the unexpected information to the guardian terminal of the infant and the infant through the guardian information.
상기 얼굴인식부는 상기 촬영영상으로부터 얼굴영역을 추출하는 얼굴영역 추출모듈과, 상기 얼굴영역 추출부에 의해 추출된 얼굴영역으로부터 얼굴특징정보를 검출하는 얼굴특징정보 검출모듈과, 기 저장된 상기 영유아의 얼굴특징정보를 탐색하여 상기 얼굴특징정보 검출모듈에 의해 검출된 얼굴특징정보와의 차이값이 한계치 이내인 얼굴특징정보를 추출하여 촬영된 영상의 영유아를 판별하는 영유아 판별모듈을 포함하는 것을 특징으로 하는 영유아 안전관리 시스템.The method according to claim 1, wherein the cloud computing server stores the facial feature information of the infant and the child,
The face recognition unit may include a face region extraction module that extracts a face region from the captured image, a face feature information detection module that detects face feature information from the face region extracted by the face region extraction unit, And an infant / child discrimination module for discriminating infants of the photographed image by extracting facial feature information whose difference value from the facial feature information detected by the facial feature information detecting module is within a limit by searching for the feature information. Infant and child safety management system.
상기 클라우드 로봇은 RFID 리더부를 더 포함하여 기 설정된 위치확인주기가 되면 상기 RFID 리더부를 구동시켜 상기 보호영역(S) 내의 태그 데이터를 수신 받아 상기 클라우드 컴퓨팅 서버로 전송하고,
상기 클라우드 컴퓨팅 서버는 상기 클라우드 로봇으로부터 전송받은 태그 데이터를 판독하여 상기 태그 데이터에 저장된 개인정보를 통해 상기 보호영역(S)에 위치하는 영유아를 확인하는 위치확인 판단부를 더 포함하고, 상기 돌발상황 판단부는 상기 위치확인 판단부에 의해 위치가 확인되지 않은 영유아가 검출될 때 상기 돌발상황 정보를 생성하는 것을 특징으로 하는 영유아 안전관리 시스템.The RFID tag according to claim 1, further comprising an RFID tag in which personal information and guardian information are stored and paid to infants and young children,
The cloud robot may further include an RFID reader unit to receive the tag data in the protection zone S by driving the RFID reader unit when the predetermined positioning cycle is reached and transmit the tag data to the cloud computing server,
The cloud computing server further includes a position determination unit for reading the tag data transmitted from the cloud robot and confirming infants located in the protection area S through personal information stored in the tag data, Wherein the abnormal condition generating unit generates the unexpected condition information when an infant whose position is not confirmed by the position confirming unit is detected.
상기 클라우드 컴퓨팅 서버는 상기 얼굴인식부가 상기 클라우드 로봇으로 전송받은 촬영영상을 분석하여 상기 촬영영상 속의 영유아를 판별하고, 상기 위치확인 판단부가 상기 얼굴인식부에 의해 판별된 영유아 정보 및 상기 태그 데이터를 이용한 영유아 정보를 이용하여 상기 보호영역(S)에 위치한 영유아를 확인하는 것을 특징으로 하는 영유아 안전관리 시스템.The cloud robot according to claim 3, wherein the cloud robot travels according to a predetermined moving scenario when the positioning period is reached,
Wherein the cloud computing server analyzes the photographed image transmitted to the cloud robot by the face recognition unit to discriminate infants in the photographed image, and the position determination unit uses the tagged data and infant information determined by the face recognition unit Infant child information is used to identify infants located in the protection area (S).
상기 보호자 단말기로부터 상기 클라우드 로봇에서 출력될 정보인 출력제어정보와, 상기 출력제어정보가 출력될 예정시간인 예약시간을 포함하는 예약정보를 요청받으면 현재 시간이 상기 예약시간인지를 판단하는 예약정보 관리부를 더 포함하고,
상기 제어부는 상기 예약정보 관리부에 의해 현재 시간이 상기 예약시간이 되면 상기 클라우드 로봇으로 상기 예약정보를 전송하여 상기 예약정보의 출력제어정보에 따라 상기 로봇이 구현되는 것을 특징으로 하는 영유아 안전관리 시스템.The method of any one of claims 1 to 4, wherein the cloud computing server
A reservation information manager for determining whether the current time is the reserved time when receiving the reservation information including the output control information to be output from the parent terminal and the reservation time which is a scheduled time for outputting the output control information, Further comprising:
Wherein the controller transmits the reservation information to the cloud robot when the current time reaches the reservation time by the reservation information management unit, and the robot is implemented according to the output control information of the reservation information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130146734A KR20150062275A (en) | 2013-11-29 | 2013-11-29 | infant safety management system and method using cloud robot |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130146734A KR20150062275A (en) | 2013-11-29 | 2013-11-29 | infant safety management system and method using cloud robot |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20150062275A true KR20150062275A (en) | 2015-06-08 |
Family
ID=53500312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130146734A KR20150062275A (en) | 2013-11-29 | 2013-11-29 | infant safety management system and method using cloud robot |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20150062275A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017177444A1 (en) * | 2016-04-15 | 2017-10-19 | 深圳前海达闼云端智能科技有限公司 | Cloud robot system, robot, and robot cloud platform |
US10223638B2 (en) | 2015-06-24 | 2019-03-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Control system, method and device of intelligent robot based on artificial intelligence |
KR101981900B1 (en) * | 2018-11-02 | 2019-08-28 | 장승현 | Security management system using face recognition and method thereof |
CN110211252A (en) * | 2019-06-06 | 2019-09-06 | 重庆两江新区管理委员会 | A kind of human face identification work-attendance checking management method and system based on cloud service |
CN112990892A (en) * | 2021-05-24 | 2021-06-18 | 南京百伦斯智能科技有限公司 | Video information acquisition method and image processing system for teaching evaluation |
CN113194149A (en) * | 2021-05-11 | 2021-07-30 | 山东新一代信息产业技术研究院有限公司 | Intelligent community property system based on 5G and cloud |
-
2013
- 2013-11-29 KR KR1020130146734A patent/KR20150062275A/en not_active Application Discontinuation
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10223638B2 (en) | 2015-06-24 | 2019-03-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Control system, method and device of intelligent robot based on artificial intelligence |
WO2017177444A1 (en) * | 2016-04-15 | 2017-10-19 | 深圳前海达闼云端智能科技有限公司 | Cloud robot system, robot, and robot cloud platform |
KR101981900B1 (en) * | 2018-11-02 | 2019-08-28 | 장승현 | Security management system using face recognition and method thereof |
CN110211252A (en) * | 2019-06-06 | 2019-09-06 | 重庆两江新区管理委员会 | A kind of human face identification work-attendance checking management method and system based on cloud service |
CN110211252B (en) * | 2019-06-06 | 2022-02-08 | 重庆两江新区管理委员会 | Face recognition attendance management method and system based on cloud service |
CN113194149A (en) * | 2021-05-11 | 2021-07-30 | 山东新一代信息产业技术研究院有限公司 | Intelligent community property system based on 5G and cloud |
CN112990892A (en) * | 2021-05-24 | 2021-06-18 | 南京百伦斯智能科技有限公司 | Video information acquisition method and image processing system for teaching evaluation |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20150062275A (en) | infant safety management system and method using cloud robot | |
EP2058777A1 (en) | Suspicious behavior detection system and method | |
JP2018097487A (en) | Monitoring device and program | |
JPWO2018061616A1 (en) | Monitoring system | |
JP2010272958A (en) | Monitoring device, monitoring system, and monitoring program | |
US20170206664A1 (en) | Method for identifying, tracking persons and objects of interest | |
US20200126395A1 (en) | Hygiene monitoring system and method | |
KR20160074208A (en) | System and method for providing safety service using beacon signals | |
EP3496607A1 (en) | Device, system and method for fall detection | |
JP2020194493A (en) | Monitoring system for nursing-care apparatus or hospital and monitoring method | |
KR20160046690A (en) | Portable tracking apparatus and method for operating portable tracking apparatus | |
JP2015002477A (en) | Information processing apparatus, information processing system, and information processing method | |
JP5143780B2 (en) | Monitoring device and monitoring method | |
KR20150033402A (en) | Apparatus and Method for Unmanned Safety Guard Based on Video Recognition | |
CN106611478A (en) | Kindergarten pickup system based on face recognition technology | |
KR102420549B1 (en) | Method and apparatus for managing of demented elderly | |
JP2016143302A (en) | Information notification device, method, and program | |
KR20150106986A (en) | System for detecting drowsiness based on server and the method thereof | |
WO2017071012A1 (en) | Kindergarten picking-up system based on palm vein recognition technology | |
US20230274552A1 (en) | Image-surveilled security escort | |
JP2020187389A (en) | Mobile body locus analysis apparatus, mobile body locus analysis program, and mobile body locus analysis method | |
JP7039084B1 (en) | Self-registration monitoring system and self-registration monitoring method | |
Safarzadeh et al. | Real-time fall detection and alert system using pose estimation | |
JP5363214B2 (en) | Security system and sensor terminal | |
WO2020241034A1 (en) | Monitoring system and monitoring method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal |