KR101617342B1 - 놀이시설장소 돌봄 장치 및 돌봄 방법 - Google Patents

놀이시설장소 돌봄 장치 및 돌봄 방법 Download PDF

Info

Publication number
KR101617342B1
KR101617342B1 KR1020150091100A KR20150091100A KR101617342B1 KR 101617342 B1 KR101617342 B1 KR 101617342B1 KR 1020150091100 A KR1020150091100 A KR 1020150091100A KR 20150091100 A KR20150091100 A KR 20150091100A KR 101617342 B1 KR101617342 B1 KR 101617342B1
Authority
KR
South Korea
Prior art keywords
beacon
parent
terminal
tag
unique number
Prior art date
Application number
KR1020150091100A
Other languages
English (en)
Inventor
배상윤
Original Assignee
배상윤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배상윤 filed Critical 배상윤
Priority to KR1020150091100A priority Critical patent/KR101617342B1/ko
Application granted granted Critical
Publication of KR101617342B1 publication Critical patent/KR101617342B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/0202Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205Specific application combined with child monitoring using a transmitter-receiver system
    • G08B21/0208Combination with audio or video communication, e.g. combination with "baby phone" function
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G06K9/00221
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/0202Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0241Data exchange details, e.g. data protocol
    • G08B21/0258System arrangements wherein both parent and child units can emit and receive
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/0202Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0261System arrangements wherein the object is to detect trespassing over a fixed physical boundary, e.g. the end of a garden
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/0202Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0277Communication between units on a local network, e.g. Bluetooth, piconet, zigbee, Wireless Personal Area Networks [WPAN]
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B27/00Alarm systems in which the alarm condition is signalled from a central station to a plurality of substations

Landscapes

  • Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명의 실시 형태는 놀이시설장소 내의 각 구역별로 설치되어, 비콘 통신을 수행하는 비콘 태그의 고유 번호가 포함된 비콘 태그 신호를 비콘 태그로부터 수신하여 비콘 관리 서버로 전송하며, 부모가 작성한 부모 메시지를 비콘 관리 서버로부터 수신하여 상기 비콘 태그로 중계하는 비콘 단말기; 상기 비콘 단말기와 쌍을 이루며 각 구역에 설치되어, 촬영되는 구역 영상을 비콘 관리 서버로 전송하는 카메라; 고유 번호가 할당되어 놀이시설장소에 입장하는 아이에게 부착되는 태그로서, 고유 번호가 포함된 비콘 신호인 비콘 태그 신호를 생성하여 송신하며, 상기 비콘 단말기로부터 수신되는 부모 메시지를 표시하는 비콘 태그; 부모들이 소지한 이동통신단말기로서, 부모로부터 제공된 고유 번호를 가지는 비콘 태그가 위치한 구역의 카메라에서 촬영된 구역 영상을 표시하며, 부모로부터 입력되는 부모 메시지를 비콘 관리 서버로 전송하는 부모 단말기; 및 구역별 설치된 비콘 단말기로부터 비콘 태그의 고유 번호를 수신하여 비콘 태그의 위치를 주기적으로 파악하며, 상기 부모 단말기로부터 비콘 태그의 고유 번호를 제공받아 실시간 영상 요청이 있는 경우 제공된 고유 번호의 비콘 태그가 위치한 구역 내의 카메라를 구동시켜 촬영된 구역 영상을 상기 부모 단말기에 전송하며, 상기 부모 단말기로부터 비콘 태그의 고유 번호를 제공받아 부모 메시지 전송 요청이 있는 경우 제공된 고유 번호를 가지는 비콘 태그가 위치한 구역내의 비콘 단말기에 상기 부모 단말기에서 작성된 부모 메시지를 전송하는 비콘 관리 서버;를 포함할 수 있다.

Description

놀이시설장소 돌봄 장치 및 돌봄 방법{Application for caring children and method for operating the same}
본 발명은 놀이시설장소 돌봄 장치 및 돌봄 방법으로서, 키즈카페, 놀이시설, 워터파크 등의 놀이시설장소에서 아이들에 대한 움직임 정보를 부모에게 실시간으로 전달해주는 놀이시설장소 돌봄 장치 및 돌봄 방법에 관한 것이다.
현재 실내에서의 위치 기반 영상 감시 기술은 실내에 검출 가능한 센서들을 구성하고 사용자를 센싱한 정보를 중앙에서 수집하여 사용자의 위치에 대응되는 PTZ(pan/tilt/zoom) 감시 카메라를 동작시켜 감시하는 방식이 일반적이며, 이를 2D 지도 상에 표시하여 감시 관리자가 이상 발생 위치를 효과적으로 파악하도록 하는 기술이 사용되고 있다.
실내에서의 사용자 위치 파악을 위해서는 영상을 통한 사용자 검출 등이 있는데, 이를 통해서는 사용자 위치를 정확하게 측위 하기가 어렵다. 이러한 방법을 사용하여 위치를 파악하는 방식은 너무 많은 센서가 필요하거나 측위 위치가 정확하지 못한 문제가 있다.
또한 사용자 위치를 검출하는 방식의 중앙 집중형 센서망은 그 설치가 복잡하고 시공 비용이 높으며, 이상 상황 발생시 감시 관리자만이 대응할 수 있는 방식이어서 사각에 대한 감시 성능이 낮고 사용자 스스로는 이상 상황에 대한 대처가 어려운 문제가 있다.
최근 사용자가 휴대한 단말이 자신의 위치를 측위하는 기술들이 나타나고 있으나, 이 역시 측위 위치는 센서가 존재하는 위치에 대응되거나 수~수십m 정도의 오차가 발생하는 방식이어서 감시 카메라와 연동하여 이상 영상을 확보하기가 어렵다.
한편, 최근에 놀이시설장소는 점점 늘어나고 있으며, 많은 사람들이 이용하고 있다. 이에 놀이시설장소에서는 여러가지 인테리어를 통하여 내 아이의 움직임, 내 아이의 동선, 내 아이의 놀이공간 등 차별화에 따른 디자인을 하고 있다. 시설이용료가 비싸도 시설 및 서비스에 중점을 둔 놀이시설장소가 좀 더 인기가 많고 사람들이 많이 모이는 추세이다. 인테리어 또한 한눈에 아이가 노는 모습을 보면서 커피한잔 하며 이야기 나누는 공간 개념으로 바뀌고 있다. 아이랑 놀기위해서 놀이시설장소에 오는 부모들도 많지만 대부분 놀이시설장소에서 아이들끼리 놀게하고 그 시간만큼 내 시간을 갖고자 하는 부모들도 많은 실정이다.
하지만 아이가 어디서 놀고 있는지, 다른 아이와 부디쳐서 울고있진 않은지 등의 많은 걱정으로 인하여 부모가 놀이시설장소 내에서 아이를 여기저기 계속 따라다니면서 보호 아닌 보호를 해주고 있는 실정이다. 따라서 부모들이 마음편히 지낼 수 있도록, 놀이시설장소 내에서 부모가 아이들의 현재 상태를 실시간으로 확인할 수 있는 수단이 절실히 필요하다.
한국공개특허 10-2008-0092435
본 발명의 기술적 과제는 키즈카페, 놀이시설, 워터파크 등의 놀이시설장소에서 아이들에 대한 영상을 부모에게 전달해주는데 있다. 또한 본 발명의 기술적 과제는 놀이시설장소에서 아이들이 미아로 되지 않도록 알람 경고해주는데 있다.
본 발명의 실시 형태는 놀이시설장소 내의 각 구역별로 설치되어, 비콘 통신을 수행하는 비콘 태그의 고유 번호가 포함된 비콘 태그 신호를 비콘 태그로부터 수신하여 비콘 관리 서버로 전송하며, 부모가 작성한 부모 메시지를 비콘 관리 서버로부터 수신하여 상기 비콘 태그로 중계하는 비콘 단말기; 상기 비콘 단말기와 쌍을 이루며 각 구역에 설치되어, 촬영되는 구역 영상을 비콘 관리 서버로 전송하는 카메라; 고유 번호가 할당되어 놀이시설장소에 입장하는 아이에게 부착되는 태그로서, 고유 번호가 포함된 비콘 신호인 비콘 태그 신호를 생성하여 송신하며, 상기 비콘 단말기로부터 수신되는 부모 메시지를 표시하는 비콘 태그; 부모들이 소지한 이동통신단말기로서, 부모로부터 제공된 고유 번호를 가지는 비콘 태그가 위치한 구역의 카메라에서 촬영된 구역 영상을 표시하며, 부모로부터 입력되는 부모 메시지를 비콘 관리 서버로 전송하는 부모 단말기; 및 구역별 설치된 비콘 단말기로부터 비콘 태그의 고유 번호를 수신하여 비콘 태그의 위치를 주기적으로 파악하며, 상기 부모 단말기로부터 비콘 태그의 고유 번호를 제공받아 실시간 영상 요청이 있는 경우 제공된 고유 번호의 비콘 태그가 위치한 구역 내의 카메라를 구동시켜 촬영된 구역 영상을 상기 부모 단말기에 전송하며, 상기 부모 단말기로부터 비콘 태그의 고유 번호를 제공받아 부모 메시지 전송 요청이 있는 경우 제공된 고유 번호를 가지는 비콘 태그가 위치한 구역내의 비콘 단말기에 상기 부모 단말기에서 작성된 부모 메시지를 전송하는 비콘 관리 서버;를 포함할 수 있다.
상기 비콘 관리 서버는, 비콘 태그별로 할당되는 고유 번호, 비콘 태그를 부착한 아이의 부모가 소지한 부모 단말기의 정보를 저장한 비콘 태그 정보 데이터베이스; 실내의 구역별로 설치된 비콘 단말기의 식별 번호, 비콘 단말기에 할당된 카메라의 식별 번호가 구역별로 저장된 비콘 단말기 정보 데이터베이스; 상기 부모 단말기에서 작성한 부모 메시지를 수신하여 비콘 태그의 고유 번호별로 저장한 부모 메시지 데이터베이스; 비콘 단말기별로 수신되는 비콘 태그의 고유 번호들을 저장한 비콘 태그 위치 데이터베이스; 상기 부모 단말기로부터 비콘 태그의 고유 번호를 제공받아 실시간 영상 요청이 있는 경우 제공된 고유 번호의 비콘 태그가 위치한 구역 내의 카메라를 구동시켜 촬영된 구역 영상을 상기 부모 단말기에 전송하는 구역 영상 전송부; 및 상기 부모 단말기로부터 비콘 태그의 고유 번호를 제공받아 부모 메시지 전송 요청이 있는 경우 제공된 고유 번호를 가지는 비콘 태그가 위치한 구역내의 비콘 단말기에 상기 부모 단말기에서 작성된 부모 메시지를 전송하는 부모 메시지 전송부;를 포함할 수 있다.
상기 비콘 태그는, 상기 부모 메시지에 대한 응답으로서 아이로부터 확인 입력을 받아, 확인 메시지를 생성하여 상기 비콘 단말기에 전송하며, 상기 비콘 단말기는, 상기 확인 메시지를 상기 비콘 관리 서버에 전송하며, 상기 비콘 관리 서버는, 상기 확인 메시지를 상기 부모 메시지를 송신한 부모 단말기에 전송할 수 있다.
상기 비콘 관리 서버는, 설정된 임계 시간이 초과할 때까지 아이가 착용한 비콘 태그로부터 고유 번호를 수신하지 못한 경우에는, 상기 아이의 부모가 소지한 부모 단말기에 미아 경고 알람을 송신하는 미아 경고부;를 포함할 수 있다.
상기 비콘 관리 서버는, 놀이시설장소에 입장하는 아이를 촬영하여 아이 얼굴의 이미지인 아이 얼굴 이미지를 저장한 아이 얼굴 이미지 데이터베이스; 및 각 카메라에서 촬영된 구역 영상에서 추출한 얼굴 이미지인 추출 얼굴 이미지를 저장하는 추출 얼굴 이미지 데이터베이스;를 포함하며, 상기 미아 경고부는, 상기 아이 얼굴 이미지와 일치하는 추출 얼굴 이미지가 설정진 임계 시간이 초과할 때까지 검출되지 않을 경우에는, 상기 아이의 부모가 소지한 부모 단말기에 미아 경고 알람을 송신함을 특징으로 할 수 있다.
상기 비콘 태그는, 손목 밴드형, 발목 밴드형, 목걸이형, 반지형, 옷 부착형 중 어느 하나 이상의 형태를 가짐을 특징으로 할 수 있다.
또한 본 발명의 실시 형태는, 놀이시설장소에 입장하는 부모가 소지한 부모 단말기가, 비콘 태그의 고유 번호와 부모 단말기의 정보를 비콘 관리 서버로 전송하는 비콘 및 부모 정보 전송 과정; 구역별로 설치된 비콘 단말기가, 비콘 통신하여 구역 내의 비콘 태그들로부터 고유 번호를 수신하여 상기 비콘 관리 서버로 전송하는 과정; 상기 비콘 관리 서버가, 구역별 비콘 단말기를 통해 각 구역 내의 비콘 태그들의 고유 번호를 파악하는 과정; 상기 비콘 관리 서버가, 부모 단말기로부터 제공된 비콘 태그의 고유 번호와 동일한 고유 번호를 수신하는 비콘 단말기의 구역을 파악하는 과정; 상기 비콘 관리 서버가, 상기 비콘 단말기의 구역 내에 위치한 카메라를 구동시켜 구역내의 구역 영상을 수신하는 과정; 상기 비콘 관리 서버가, 상기 구역 영상을 상기 부모 단말기에 전송하는 과정; 및 상기 부모 단말기는, 상기 비콘 관리 서버로부터 수신한 구역 영상 표시하는 구역 영상 표시 과정;을 포함할 수 있다.
상기 구역 영상 표시 과정이 있은 후, 상기 부모 단말기가, 부모로부터 작성된 부모 메시지를 상기 비콘 관리 서버로 전송하는 과정; 상기 비콘 관리 서버가, 상기 부모 메시지를 상기 부모 단말기가 제공한 고유 번호와 일치하는 고유 번호를 가지는 비콘 태그가 위치한 구역의 비콘 단말기에 전송하는 과정; 상기 비콘 단말기가 상기 부모 메시지를 비콘 통신을 통하여 상기 부모 단말기가 제공한 고유 번호와 일치하는 고유 번호를 가지는 비콘 태그에 전송하는 과정; 및 상기 비콘 태그가 수신한 비콘 태그를 표시하는 부모 메시지 표시 과정;을 포함할 수 있다.
부모 메시지 표시 과정이 있은 후, 상기 비콘 태그는, 상기 부모 메시지에 대한 응답으로서 아이로부터 확인 입력을 받아, 확인 메시지를 생성하여 비콘 통신을 통하여 상기 비콘 단말기에 전송하는 과정; 상기 비콘 단말기는, 상기 확인 메시지를 상기 비콘 관리 서버에 전송하는 과정; 상기 비콘 관리 서버는, 상기 확인 메시지를 상기 부모 메시지를 송신한 부모 단말기에 전송하는 과정; 및 상기 부모 단말기는, 상기 확인 메시지를 표시하는 과정;을 포함할 수 있다.
상기 비콘 및 부모 정보 전송 과정이 있기 이전에, 상기 비콘 관리 서버는, 놀이시설장소에 입장하는 아이를 촬영하여 아이 얼굴의 이미지인 아이 얼굴 이미지를 저장하는 과정;을 포함하며, 상기 구역 영상 표시 과정이 있은 후, 상기 비콘 관리 서버는, 각 카메라에서 촬영된 구역 영상에서 추출한 얼굴 이미지인 추출 얼굴 이미지를 저장하는 과정; 상기 비콘 관리 서버는, 상기 아이 얼굴 이미지와 일치하는 추출 얼굴 이미지가 정해진 임계 시간이 초과할 때까지 검출되지 않을 경우에는, 상기 아이의 부모가 소지한 부모 단말기에 미아 경고 알람을 송신하는 과정; 및 상기 부모 단말기는 수신한 미아 경고 알람을 표시하는 과정;을 포함할 수 있다.
본 발명의 실시 형태에 따르면 키즈카페, 놀이시설, 워터파크 등의 놀이시설장소에서 아이들에 대한 영상을 부모에게 실시간으로 전달해줌으로써, 부모를 안심시켜 줄 수 있다. 또한 본 발명의 실시 형태에 따르면 아이가 놀이시설장소에서 사라질 때 알람 경고해줌으로써, 미아 발생을 방지할 수 있다.
도 1은 본 발명의 실시예에 따른 놀이시설장소 돌봄 장치의 구성도.
도 2는 본 발명의 실시예에 따른 비콘 관리 서버의 블록도를 도시한 그림.
도 3은 본 발명의 실시예에 따른 놀이시설돌봄 과정을 도시한 흐름도.
도 4는 본 발명의 실시예에 따라 확인 메시지를 전송하는 과정을 도시한 흐름도.
도 5는 본 발명의 실시예에 따라 미아 알람 경고하는 과정을 도시한 흐름도.
이하, 이 발명이 속하는 기술분야에서 통상의 지식을 갖는 자가 이 발명을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 이 발명의 가장 바람직한 실시예를 첨부된 도면을 참조로 하여 상세히 설명하기로 한다. 이 발명의 목적, 작용 효과를 포함하여 기타 다른 목적들, 특징점들, 그리고 동작상의 이점들이 바람직한 실시예의 설명에 의해서 보다 명확해질 것이다. 하기에서 각 도면의 구성요소들에 참조부호를 부가함에 있어 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다.
도 1은 본 발명의 실시예에 따른 놀이시설장소 돌봄 장치의 구성도이며, 도 2는 본 발명의 실시예에 따른 비콘 관리 서버의 구성도를 도시한 그림이다.
이하, 설명에서 놀이시설장소라 함은, 건물 내 또는 건물외의 다양한 놀이기구시설이 있는 장소를 말하는 것으로서 영유아가 놀 수 있는 키즈카페, 어린아이들이 놀 수 있는 놀이동산, 물놀이 시설이 있는 워터파크 등이 해당될 수 있다. 키즈카페, 놀이동산, 워터파크뿐만 아니라 동네 공원, 아파트 공원 등과 같이 어린아이들이 놀 수 있는 다양한 시설을 포함할 수 있음은 자명할 것이다.
본 발명의 놀이시설장소 돌봄 장치는, 유무선 통신망(400), 부모 단말기(300), 비콘 단말기(400), 카메라(500), 비콘 태그(100), 및 비콘 관리 서버(200)를 포함할 수 있다.
유무선 통신망(400)은, 비콘 단말기(400), 카메라(500), 및 부모 단말기(300)를 비콘 관리 서버(200)에 각각 연결하는 유선 또는 무선 통신의 네트워크망을 말한다. 이러한 유무선 통신망(400)이 무선 통신망으로 구현되는 경우, 기지국(BTS;Base Transceiver Station), 이동교환국(MSC;Mobile Switching Center), 및 홈 위치 등록기(HLR;Home Location Register) 으로 이루어진 무선 이동통신망을 이용하여 데이터 통신을 할 수 있다. 참고로, 이동 통신망(mobile radio communication network)은 기지국(BTS), 이동교환국(MSC), 홈 위치 등록기(HLR) 이외에, 무선 패킷 데이터의 송수신을 가능하게 하는 액세스 게이트웨이(Access Gateway), PDSN(Packet Data Serving Node) 등과 같은 구성 요소를 추가로 포함할 수 있다. 또한 유무선 통신망(400)이 유선 통신망으로 구현되는 경우, 네트워크 통신망으로 구현될 수 있는데 TCP/IP(Transmission Control Protocol/Internet Protocol) 등의 인터넷 프로토콜에 따라서 데이터 통신이 이루어질 수 있다.
부모 단말기(300)는, 부모들이 소지한 이동통신단말기로서, 부모로부터 제공된 고유 번호를 가지는 비콘 태그(100)가 위치한 구역의 카메라(500)에서 촬영된 구역 영상을 표시할 수 있다. 이러한 부모 단말기(300)는, 도면에서는 스마트폰(smart phone)을 예로 들어 설명하나, 스마트폰만 아니라 데스크탑 PC(desktop PC), 태블릿 PC(tablet PC), 슬레이트 PC(slate PC), 노트북 컴퓨터(notebook computer) 등이 해당될 수 있다. 물론, 본 발명이 적용 가능한 단말기는 상술한 종류에 한정되지 않고, 외부 장치와 통신이 가능한 휴대용 단말기를 모두 포함할 수 있음은 당연하다.
또한 부모 단말기(300)는 부모로부터 입력되는 부모 메시지를 비콘 관리 서버(200)로 전송할 수 있다. 예를 들어, '빨리 부모 대기실로 돌아와', '간식먹고 놀게 돌아와' 등의 메시지를 부모가 작성한 경우, 작성되는 부모 메시지를 비콘 관리 서버(200)로 전송한다. 비콘 관리 서버(200)는 작성된 부모 메시지를 아이가 위치한 구역에 마련된 비콘 단말기(400)를 통해 아이가 착용한 비콘 태그(100)에 전송해줌으로써, 아이가 부모의 메시지를 실시간으로 확인할 수 있도록 한다. 따라서 부모가 일일이 아이에게 찾아가 메시지를 전달하는 불편을 해결할 수 있다.
참고로, 여기서 스마트폰(smart phone)이라 함은 휴대전화에 인터넷 통신과 정보검색 등 컴퓨터 지원 기능을 추가한 지능형 단말기로서 사용자가 원하는 애플리케이션을 설치할 수 있다. 스마트폰은 휴대폰과 개인휴대단말기(personal digital assistant; PDA)의 장점을 결합한 것으로, 휴대폰 기능에 일정관리, 팩스 송·수신 및 인터넷 접속 등의 데이터 통신기능을 통합시킨 것이다. 무선인터넷을 이용하여 인터넷에 직접 접속할 수 있을 뿐 아니라 여러 가지 브라우징 프로그램을 이용하여 다양한 방법으로 접속할 수 있다. 또한, 기존의 휴대폰과는 달리 수백여 종의 다양한 어플리케이션(응용프로그램)을 사용자가 원하는 대로 설치하고 추가 또는 삭제할 수 있어, 사용자가 원하는 애플리케이션을 직접 제작할 수도 있으며, 다양한 어플리케이션을 통하여 자신에게 알맞은 인터페이스를 구현할 수 있다.
본 발명은 부모 관리 서버와 통신하여 아이가 있는 구역의 구역 영상을 수신하여 표시할 수 있는 어플리케이션(가칭 '아이 돌봄 어플리케이션')을 부모 단말기(300)에 설치하여, 부모 단말기(300)가 아이 돌봄 어플리케이션의 실행에 따라서 구역 영상을 표시하며, 또한 입력되는 부모 메시지를 비콘 관리 서버(200)로 전송할 수 있다. 이러한 아이 돌봄 어플리케이션은, 부모는 놀이시설장소에 입장 시에 제공되는 비콘 태그(100)를 아이에게 부착하며, 비콘 태그(100)와 함께 제공되는 비콘 태그(100)의 고유 번호를 아이 돌봄 어플리케이션을 구동시킨 후 입력시킨다. 아이 돌봄 어플리케이션은 입력된 비콘 태그(100)의 고유 번호를 비콘 관리 서버(200)에 전송하여, 실시간으로 아이가 위치한 구역의 구역 영상을 수신하여 표시할 수 있다.
비콘 태그(100)는, 고유 번호가 할당되어 놀이시설장소에 입장하는 아이에게 부착되는 태그로서, 고유 번호가 포함된 비콘 신호를 생성하여 송신하며, 비콘 단말기(400)로부터 수신되는 부모 메시지를 표시한다.
비콘(beacon)은 저전력 블루투스(Bluetooth Low Energy)기술을 기반으로 IT 기기간 서로 정보를 주고 받는 근거리 통신 기술이다. 비콘(beacon)은 블루투스를 활용한 근거리 무선통신 장치, 즉, 사용자 위치 기반 서비스를 말한다. 최대 100m 이내 비콘 단말기(400)가 설치된 장소에 가면 각종 정보가 자동으로 제공되는 서비스이다. 네비게이션에 사용하는 GPS는 실내에선 무용지물인 것에 반해, 비콘은 실내는 물론이고 어지간한 실외 환경에서도 서비스가 가능하다는 특징이 있다. 이하 비콘 통신이라 함은, 저전력 블루투스(Bluetooth Low Energy)기술을 기반으로 한 근거리 통신 기술을 말하는 것으로서, 비콘 신호는 이러한 비콘 통신을 통하여 근거리 무선 통신 시에 사용되는 신호를 말한다.
비콘 태그(100)는 키즈카페 등과 같은 놀이시설장소에 입장하는 아이에게 부착되는 태그로서, 고유번호가 할당되어 있다. 비콘 태그(100)는, 손목 밴드형, 발목 밴드형, 목걸이형, 반지형, 옷 부착형 중 어느 하나 이상의 형태를 가질 수 있다. 이밖에 아이의 몸이나 옷에 부착할 수 있는 방식이라면 다양한 형태의 비콘 태그(100)의 형태를 가질 수 있다.
관리자는 아이에게 부착되는 비콘 태그(100)의 고유 번호를 아이와 함께 입장하는 부모에게 알려준다. 비콘 태그(100)는, 고유 번호가 포함된 비콘 신호(이하, 비콘 태그(100) 신호'라 함)를 생성하여 송신한다. 따라서 비콘 태그(100)에서 송신하는 고유 번호를 비콘 단말기(400)가 수신함으로써, 비콘 태그(100)의 위치를 파악할 수 있다. 예를 들어, 제1구역(10)에 아이가 있을 경우, 아이에게 부착된 제1고유 번호를 가지는 제1비콘 태그(100a)는 제1고유 번호가 포함된 비콘 태그(100) 신호를 송신한다. 제1구역(10)에 마련된 제1비콘 단말기(400a)는 비콘 태그(100) 신호를 수신함으로써, 제1비콘 태그(100a)가 제1구역(10)에 위치하고 있음을 알게 된다.
또한 비콘 태그(100)는, 비콘 단말기(400)로부터 수신되는 부모 메시지를 표시하는 표시창(비콘 표시창)을 구비한다. 부모가 송신하는 메시지인 부모 메시지를 비콘 단말기(400)로부터 수신하여 이를 비콘 표시창에 표시한다. 비콘 표시창은, 간단한 문자나 숫자를 표시할 수 있도록 최소한의 크기로 생성하며, LED 표시창, 터치패널 표시창 등으로 구현될 수 있다.
또한 비콘 태그(100)는, 부모 메시지를 열람한 아이가 확인 입력할 수 있는 확인 버튼을 구비할 수 있다.
비콘 단말기(400)는, 놀이시설장소 내의 각 구역별로 설치되어, 인접한 비콘 태그(100)로부터의 비콘 태그(100)의 고유 번호가 포함된 비콘 태그(100) 신호를 수신하여 비콘 관리 서버(200)로 전송할 수 있다.
각 구역별로 비콘 단말기(400)가 설치되어 있어, 각 비콘 단말기(400)는 구역 내에 위치한 비콘 태그(100)로부터의 고유 번호를 수신할 수 있으며, 수신한 고유 번호는 실시간으로 비콘 관리 서버(200)로 전송할 수 있다. 따라서, 제1비콘 태그(100a)를 부착한 아이가 제1비콘 단말기(400a)가 마련된 제1구역(10)에 있는 경우, 제1비콘 태그(100a)의 고유 번호를 수신한 제1비콘 단말기(400a)가 제1비콘 태그(100a)의 고유 번호를 수신하여 비콘 관리 서버(200)로 전송할 수 있다. 이에 비콘 관리 서버(200)는 제1비콘 태그(100a)를 부착한 아이가 제1구역(10)에 위치하고 있음을 알 수 있게 된다.
또한 비콘 단말기(400)는, 부모가 작성한 부모 메시지를 비콘 관리 서버(200)로부터 수신하여 비콘 태그(100)로 중계 전송할 수 있다. 즉, 부모 단말기(300)로부터 전송되는 부모 메시지를 비콘 관리 서버(200)를 통해 제공받아, 이를 구역 내의 비콘 태그(100)에 전송할 수 있다. 예를 들어, 제1비콘 태그(100a)가 제1구역(10)에 있다고 가정할 경우, 제1비콘 태그(100a)를 부착한 아이의 부모가 작성한 부모 메시지를 비콘 관리 서버(200)는 제1구역(10)에 위치한 제1비콘 단말기(400a)로 전송하며, 제1비콘 단말기(400a)는 제1비콘 태그(100a)에게 부모 메시지를 중계 전송해 줄 수 있다.
카메라(500)는, 비콘 단말기(400)와 쌍을 이루며 각 구역에 설치되어, 촬영되는 구역 영상을 비콘 관리 서버(200)로 전송한다. 예를 들어, 놀이시설장소의 제1구역(10)에는, 제1비콘 단말기(400a)와 제1카메라(500a)가 위치하며, 놀이시설장소의 제2구역(20)에는, 제2비콘 단말기(400b)와 제2카메라(500b)가 위치하며, 놀이시설장소의 제3구역(30)에는, 제3비콘 단말기(400c)와 제3카메라(500c)가 위치하여 마련될 수 있다. 여기서 구역은, 분할된 벽이 있는 물리적인 구역이 해당될 수 있지만, 그렇지 않더라도 카메라(500)가 촬영할 있는 화각 범위 내에 있는 범위를 구역 단위로서 정의하여 구역을 구별할 수 있다.
따라서 제1구역(10)에 마련된 제1카메라(500a)는 제1구역(10)내의 구역 영상을 촬영하여 비콘 관리 서버(200)로 전송하며, 마찬가지로, 제2구역(20)에 마련된 제2카메라(500b)는 제2구역(20)내의 구역 영상을 촬영하여 비콘 관리 서버(200)로 전송하며, 제3구역(30)에 마련된 제3카메라(500c)는 제3구역(30)내의 구역 영상을 촬영하여 비콘 관리 서버(200)로 전송할 수 있다.
참고로 카메라(500)는, 렌즈 어셈블리, 필터, 광전 변환 모듈, 및 아날로그 디지털 변환 모듈을 포함할 수 있다. 렌즈 어셈블리는 줌 렌즈, 포커스 렌즈 및 보상 렌즈를 포함한다. 포커스 모터(MF)의 제어에 따라 렌즈의 촛점 거리가 이동될 수 있다. 필터는, 광학적 저역통과필터(Optical Low Pass Filter)와. 적외선 차단 필터(Infra-Red cut Filter)를 포함할 수 있다. 광학적 저역통과필터(Optical Low Pass Filter)로서 고주파 성분의 광학적 노이즈를 제거하며, 적외선 차단 필터(Infra-Red cut Filter)는 입사되는 빛의 적외선 성분을 차단한다. 광전 변환 모듈은 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide- Semiconductor) 등의 촬상 소자를 포함하여 이루어질 수 있다. 광전 변환부(OEC)는 광학계(OPS)로부터의 빛을 전기적 아날로그 신호로 변환시킨다. 아날로그-디지털 변환 모듈은 CDS-ADC(Correlation Double Sampler and Analog-to-Digital Converter) 소자를 포함하여 이루어질 수 있다. 아날로그-디지털 변환 모듈(미도시)은 광전 변환부(OEC)로부터의 아날로그 신호를 처리하여, 그 고주파 노이즈를 제거하고 진폭을 조정한 후, 디지털 신호로 변환시킨다.
비콘 관리 서버(200)는, 구역별 설치된 비콘 단말기(400)로부터 비콘 태그(100)의 고유 번호를 수신하여 비콘 태그(100)의 위치를 주기적으로 파악한다. 또한 부모 단말기(300)로부터 비콘 태그(100)의 고유 번호를 제공받아 실시간 영상 요청이 있는 경우 제공된 고유 번호의 비콘 태그(100)가 위치한 구역 내의 카메라(500)를 구동시켜 촬영된 구역 영상을 부모 단말기(300)에 전송한다. 또한 부모 단말기(300)로부터 비콘 태그(100)의 고유 번호를 제공받아 부모 메시지 전송 요청이 있는 경우 제공된 고유 번호를 가지는 비콘 태그(100)가 위치한 구역내의 비콘 단말기(400)에 부모 단말기(300)에서 작성된 부모 메시지를 전송한다.
비콘 관리 서버(200)는 상기한 동작을 구현하기 위해 하드웨어적으로는 통상적인 웹 서버와 동일한 구성을 가지며, 소프트웨어적으로는 C, C++, Jaba, Visual Basic, Visual C 등과 같은 다양한 형태의 언어를 통해 구현되어 여러 가지 기능을 하는 프로그램 모듈을 포함한다. 또한, 일반적인 서버용 하드웨어에 도스(dos), 윈도우(window), 리눅스(linux), 유닉스(unix), 매킨토시(macintosh) 등의 운영 체제에 따라 다양하게 제공되고 있는 웹 서버 프로그램을 이용하여 구현될 수 있으며, 대표적인 것으로는 윈도우 환경에서 사용되는 웹사이트(website), IIS(Internet Information Server)와 유닉스 환경에서 사용되는 CERN, NCSA, APPACH 등이 이용될 수 있다.
비콘 관리 서버(200)는, 도 2에 도시한 바와 같이 서버 통신부(210), 비콘 태그 정보 데이터베이스(221), 비콘 단말기 정보 데이터베이스(222), 부모 메시지 데이터베이스(223), 비콘 태그 위치 데이터베이스(224), 구역 영상 전송부(230), 및 부모 메시지 전송부(240)를 포함할 수 있다. 이밖에 아이 얼굴 이미지 데이터베이스(225), 추출 얼굴 이미지 데이터베이스(226), 및 미아 경고부(250)를 포함할 수 있다.
서버 통신부(210)는, 구역별로 마련된 비콘 단말기(400)와 각각 유무선 통신하는 하드웨어 및 소프트웨어의 프로토콜을 지원한다. 서버 통신부(210)는, 예컨대, TCP/IP(Transmission Control Protocol/Internet Protocol) 등의 인터넷 프로토콜에 따라서 데이터 통신이 이루어질 수 있다.
비콘 태그 정보 데이터베이스(221)는, 비콘 태그(100)별로 할당되는 고유 번호, 비콘 태그(100)를 부착한 아이의 부모가 소지한 부모 단말기(300)의 정보를 저장한 데이터베이스(DB;DataBase)이다. 예를 들어, 제1비콘 태그(100a)에는 제1고유 번호 및 제1비콘 태그(100a)를 부착한 아이의 부모가 소지한 제1부모 단말기(300)의 정보(전화번호)가 저장된다, 마찬가지로, 제2비콘 태그(100b)에는 제2고유 번호 및 제2비콘 태그(100b)를 부착한 아이의 부모가 소지한 제2부모 단말기(300)의 정보(전화번호)가 저장되며, 제3비콘 태그(100c)에는 제3고유 번호 및 제3비콘 태그(100c)를 부착한 아이의 부모가 소지한 제3부모 단말기(300)의 정보(전화번호)가 저장된다
상기의 비콘 태그 정보 데이터베이스(221)는, 하드디스크 드라이브(Hard Disk Drive), SSD 드라이브(Solid State Drive), 플래시메모리(Flash Memory), CF카드(Compact Flash Card), SD카드(Secure Digital Card), SM카드(Smart Media Card), MMC 카드(Multi-Media Card) 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 모듈로서 장치의 내부에 구비되어 있을 수도 있고, 별도의 장치에 구비되어 있을 수도 있다. 이는 이하에서 설명할 비콘 단말기 정보 데이터베이스(222), 부모 메시지 데이터베이스(223), 및 비콘 태그 위치 데이터베이스(224)도 마찬가지로 적용 가능할 것이다.
비콘 단말기 정보 데이터베이스(222)는, 실내의 구역별로 설치된 비콘 단말기(400)의 식별 번호, 비콘 단말기(400)에 할당된 카메라(500)의 식별 번호가 구역별로 저장된 데이터베이스이다. 예를 들어, 제1구역(10)에는 제1구역(10)에 설치된 제1비콘 단말기(400a)의 식별 번호와 제1카메라(500a)의 식별 번호가 저장된다. 마찬가지로, 제2구역(20)에는 제2구역(20)에 설치된 제2비콘 단말기(400b)의 식별 번호와 제2카메라(500b)의 식별 번호가 저장되며, 제3구역(30)에는 제3구역(30)에 설치된 제3비콘 단말기(400c)의 식별 번호와 제3카메라(500c)의 식별 번호가 저장된다
부모 메시지 데이터베이스(223)는, 부모 단말기(300)에서 작성한 부모 메시지를 수신하여 비콘 태그(100)의 고유 번호별로 저장한 데이터베이스이다. 예를 들어, 제1비콘 태그(100a)의 제1고유 번호에는, 제1비콘 태그(100a)를 착용한 아이의 부모가 작성한 부모 메시지가 저장된다. 이러한 무모 메시지의 저장은 정해진 보관 기간이 경과하면 자동 삭제되도록 한다.
비콘 태그 위치 데이터베이스(224)는, 비콘 단말기(400)별로 수신되는 비콘 태그(100)의 고유 번호들을 저장한 데이터베이스이다. 예를 들어, 제1구역(10)에 제1비콘 태그(100a)를 착용한 아이, 제5비콘 태그(100)를 착용한 아이, 제9비콘 태그(100)를 착용한 아이가 있을 경우, 제1구역(10)에 위치한 제1비콘 단말기(400a)는 제1비콘 태그(100a)의 고유 번호인 제1비콘 고유 번호, 제5비콘 태그(100)의 고유 번호인 제5비콘 고유 번호, 및 제9비콘 태그(100)의 고유 번호인 제99비콘 고유 번호를 수신하고, 이를 비콘 관리 서버(200)에 전송한다. 비콘 관리 서버(200)는, 제1구역(10)에 위치한 제1비콘 단말기(400a)에, 제5비콘 고유 번호, 및 제9비콘 고유 번호를 수신하여 비콘 태그 위치 데이터베이스(224)에 저장하게 된다.
구역 영상 전송부(230)는, 부모 단말기(300)로부터 비콘 태그(100)의 고유 번호를 제공받아 실시간 영상 요청이 있는 경우 제공된 고유 번호의 비콘 태그(100)가 위치한 구역 내의 카메라(500)를 구동시켜 촬영된 구역 영상을 상기 부모 단말기(300)에 전송한다.
예를 들어, 아이와 함께 부모가 놀이시설장소에 입장할 때, 제1비콘 태그(100a)를 부여하며 제1비콘 태그(100a)의 고유 번호인 제1고유 번호를 부모에게 알려준다. 부모는 부모 단말기(300)에 설치된 아이 돌봄 어플리케이션을 구동하여 제1고유 번호를 입력한다. 부모 단말기(300)는 입력된 제1고유 번호를 비콘 관리 서버(200)로 전송하여 실시간 영상 요청을 하며, 비콘 관리 서버(200)의 구역 영상 전송부(230)는, 제공된 고유 번호의 비콘 태그(100)가 위치한 구역 내의 카메라(500)를 구동시켜 촬영된 구역 영상을 부모 단말기(300)에 전송한다. 제1비콘 태그(100a)를 착용한 아이가 제1놀이시설이 있는 제1구역(10)에 있을 경우, 제1구역(10)에 있는 제1비콘 단말기(400a)는 제1비콘 태그(100a)로부터 제1고유 번호를 비콘 통신을 통하여 수신하게 되며, 따라서 구역 영상 전송부(230)는 제1비콘 태그(100a)가 제1구역(10)에 위치함을 알게 되고, 제1구역(10)에 마련된 제1카메라(500a)를 구동시켜 촬영되는 제1구역 영상을 부모 단말기(300)에 전송하여 주는 것이다. 따라서 부모는 아이가 놀고 있는 영상을 실시간으로 볼 수 있게 되어, 아이를 일일이 따라 다닐 필요없이 편안한 휴식을 취할 수 있다.
부모 메시지 전송부(240)는, 부모 단말기(300)로부터 비콘 태그(100)의 고유 번호를 제공받아 부모 메시지 전송 요청이 있는 경우 제공된 고유 번호를 가지는 비콘 태그(100)가 위치한 구역내의 비콘 단말기(400)에 부모 단말기(300)에서 작성된 부모 메시지를 전송한다. 예를 들어, 부모가 아이에게 빨리 돌아오라는 메시지를 보내고 싶은 경우, '빨리 돌아와'라는 메시지를 비콘 태그(100)의 고유 번호와 함께 부모 단말기(300)에 입력하며, 메시지 전송부는 부모 단말기(300)로부터 부모 메시지를 수신하여 아이가 있는 제1구역(10)의 제1비콘 단말기(400a)에 전송한다. 제1비콘 단말기(400a)는 수신한 부모 메시지를 비콘 통신을 통하여 제1구역(10)내의 제1비콘 태그(100a)에 전송할 수 있다.
한편, 상기의 부모 메시지 전송에 아이가 응답할 수 있는 수단을 비콘 태그(100)에 마련한다. 비콘 태그(100)에는, 부모 메시지를 열람한 아이가 확인 입력할 수 있는 확인 버튼을 구비될 수 있다. 따라서 비콘 태그(100)는, 부모 메시지에 대한 응답으로서 아이로부터 확인 입력을 받는 경우, 확인 메시지를 생성하여 비콘 단말기(400)에 전송할 수 있다. 확인 입력은, 부모 메시지가 표시된 이후 미리 설정된 시간(예컨대, 20초 이내)에 비콘 태그(100)에 마련된 확인 버튼을 아이가 누른 경우 확인 입력이 되었다고 판단할 수 있다.
비콘 단말기(400)는, 비콘 태그(100)로부터 비콘 통신을 통하여 수신한 확인 메시지를 비콘 관리 서버(200)에 전송하며, 비콘 관리 서버(200)는, 수신한 확인 메시지를 부모 메시지를 송신한 부모 단말기(300)에 전송한다. 따라서 부모는 아이가 부모 메시지를 확인하였음을 알 수 있게 된다.
한편, 본 발명의 실시예에 따라 아이의 영상을 실시간으로 원격에 있는 부모가 볼 수 있다고 하더라도, 부모가 계속 지속적으로 영상을 열람하기에는 무리가 있다. 따라서 부모가 지속적으로 영상을 열람하지 않더라도 아이가 놀이시설장소의 구역에서 없어질 경우 부모에게 미아 알림 경고를 하여주는 수단이 필요하다. 이를 위해 비콘 관리 서버(200)는 미아 경고부(250)를 포함할 수 있다.
미아 경고부(250)에서 알람 경고하는 방식은 다음과 같은 두가지 방식으로 구현할 수 있다.
하나는 설정된 임계 시간이 초과할 때까지 아이가 착용한 비콘 태그(100)로부터 고유 번호를 수신하지 못한 경우에는, 아이의 부모가 소지한 부모 단말기(300)에 미아 경고 알람을 송신하는 방식이다. 놀이시설장소 내의 모든 구역에서 아이가 착용한 비콘 태그(100)로부터 고유 번호의 송신 신호가 임계 시간(예컨대, 2분)이 초과할 때까지 없는 경우에는, 아이가 놀이시설장소를 벗어났다고 판단하고 아이 부모가 소지한 부모 단말기(300)에 미아 경고 알람을 송신하여, 아이 부모가 아이를 찾아보도록 할 수 있다.
다른 하나의 방식은, 아이 얼굴 이미지와 일치하는 추출 얼굴 이미지가 설정진 임계 시간이 초과할 때까지 검출되지 않을 경우에는, 아이의 부모가 소지한 부모 단말기(300)에 미아 경고 알람을 송신할 수 있다. 이를 위해, 아이 얼굴 이미지데이터베이스와, 추출 얼굴 이미지 데이터베이스(226)를 포함할 수 있다.
아이 얼굴 이미지 데이터베이스(225)는, 놀이시설장소에 입장하는 아이를 촬영하여 아이 얼굴의 이미지인 아이 얼굴 이미지를 저장한다. 따라서 입장하여 비콘 태그(100)를 착용한 아이들의 각각의 아이 얼굴 이미지를 등록할 수 있다.
추출 얼굴 이미지 데이터베이스(226)는 구역별 각 카메라(500)에서 촬영된 구역 영상에서 얼굴 이미지를 추출 얼굴 이미지로 추출하여 저장한다. 예를 들어, 각 카메라(500)에서 촬영되는 구역 영상에서 사람 형상을 추출하고, 추출한 사람 형상 중에서 얼굴 위치에 해당하는 이미지를 추출하여 추출 얼굴 이미지로 저장하는 것이다.
미아 경고부(250)는, 아이 얼굴 이미지와 일치하는 추출 얼굴 이미지가 있는지를 파악한다. 일치 여부의 파악 방식은 공지된 다양한 방식이 있을 수 있는데, 얼굴 이미지의 턱선을 추출하여 턱선간의 유사도를 비교하여 일치 여부를 판단하거나, 또는 눈의 미간 사이의 거리를 측정하여 유사도를 비교하거나, 인중 사이의 거리를 측정하여 유사도를 결정할 수 있다. 미아 경고부(250)는, 설정진 임계 시간이 초과할 때까지 아이 얼굴 이미지와 유사한 추출 얼굴 이미지가 검출되지 않을 경우에는, 상기 아이의 부모가 소지한 부모 단말기(300)에 미아 경고 알람을 송신하여 부모에게 경고해줄 수 있다.
도 3은 본 발명의 실시예에 따른 놀이시설돌봄 과정을 도시한 흐름도이며, 도 4는 본 발명의 실시예에 따라 확인 메시지를 전송하는 과정을 도시한 흐름도이며, 도 5는 본 발명의 실시예에 따라 미아 알람 경고하는 과정을 도시한 흐름도이다.
비콘 관리 서버(200)는, 놀이시설장소에 입장하는 아이를 촬영하여 아이 얼굴의 이미지인 아이 얼굴 이미지를 저장하는 과정(S310)을 가진다. 이는 추후에 미아 발생 경고를 판단할 때 사용하기 위함이다.
놀이시설장소에 입장하는 부모가 소지한 부모 단말기(300)가, 비콘 태그(100)의 고유 번호와 부모 단말기(300)의 정보를 비콘 관리 서버(200)로 전송하는 비콘 및 부모 정보 전송 과정(S320)을 가진다. 놀이시설장소에 입장할 때, 입구에서 비콘 태그(100)를 부모에게 지급하고 지급한 비콘 태그(100)의 고유 번호를 부모에게 알려준다. 부모는 비콘 태그(100)를 아이에게 부착하여 놀이시설장소에 입장한다. 부모는 자신이 소지한 부모 단말기(300)에 설치된 아이 돌봄 어플리케이션을 실행시킨 후 고유 번호를 입력하게 되고, 부모 단말기(300)의 아이 돌봄 어플리케이션은 비콘 태그(100)의 고유 번호와 부모 단말기(300)의 정보를 비콘 관리 서버(200)로 전송하게 된다. 비콘 관리 서버(200)는 수신한 정보를 저장하게 된다. 예를 들어, 제1비콘 태그(100a)에는 제1고유 번호 및 제1비콘 태그(100a)를 부착한 아이의 부모가 소지한 제1부모 단말기(300)의 정보(전화번호)가 저장된다, 마찬가지로, 제2비콘 태그(100b)에는 제2고유 번호 및 제2비콘 태그(100b)를 부착한 아이의 부모가 소지한 제2부모 단말기(300)의 정보(전화번호)가 저장되며, 제3비콘 태그(100c)에는 제3고유 번호 및 제3비콘 태그(100c)를 부착한 아이의 부모가 소지한 제3부모 단말기(300)의 정보(전화번호)가 저장된다
아이와 부모가 놀이시설장소에 입장하게 되고, 아이는 놀이시설 구역인 제1구역(10)에 입장하여 놀게되고 부모는 카페에서 음료를 마실 수 있다. 아이가 착용한 비콘 태그(100)는 고유 번호를 지속적으로 송신하게 되고, 이를 수신한 제1구역(10)내의 제1비콘 단말기(400a)는, 비콘 통신하여 구역 내의 비콘 태그(100)들로부터 고유 번호를 수신하여 비콘 관리 서버(200)로 전송(S330)한다.
비콘 관리 서버(200)는, 구역별 비콘 단말기(400)를 통해 각 구역 내의 비콘 태그(100)들의 고유 번호를 파악(S340)하게 된다. 예를 들어, 제1구역(10)에 제1비콘 태그(100a)를 착용한 아이, 제5비콘 태그(100)를 착용한 아이, 제9비콘 태그(100)를 착용한 아이가 있을 경우, 제1구역(10)에 위치한 제1비콘 단말기(400a)는 제1비콘 태그(100a)의 고유 번호인 제1비콘 고유 번호, 제5비콘 태그(100)의 고유 번호인 제5비콘 고유 번호, 및 제9비콘 태그(100)의 고유 번호인 제99비콘 고유 번호를 수신하고, 이를 비콘 관리 서버(200)에 전송한다. 따라서 비콘 관리 서버(200)는, 제1구역(10)에 위치한 제1비콘 단말기(400a)에, 제5비콘 고유 번호, 및 제9비콘 고유 번호를 수신하여 이를 알 수 있게 된다.
그 후, 부모 단말기(300)가 아이의 영상을 요청하는 경우, 비콘 관리 서버(200)가, 부모 단말기(300)로부터 제공된 비콘 태그(100)의 고유 번호와 동일한 고유 번호를 수신하는 비콘 단말기(400)의 구역을 파악하는 과정(S350)을 가진다. 그리고, 비콘 단말기(400)의 구역 내에 위치한 카메라(500)를 구동시켜 구역내의 구역 영상을 수신(S360)하여, 수신한 구역 영상을 부모 단말기(300)에 전송(S370)한다.
예를 들어, 비콘 단말기(400)가 제1고유 번호를 제공한 경우, 제1고유 번호를 수신하는 제1비콘 단말기(400a)가 위치한 구역이 제1구역(10)임을 파악하게 된다. 따라서 제1구역(10)에 마련된 제1카메라(500a)를 구동시켜 제1구역 영상을 수신하고, 수신한 제1구역 영상을 제1고유 번호를 제공한 부모 단말기(300)에 전송한다.
부모 단말기(300)는 비콘 관리 서버(200)로부터 수신한 구역 영상을 표시하는 구역 영상 표시 과정(S380)을 가진다. 따라서 부모는 부모 단말기(300)에 표시되는 구역 영상 내의 아이를 실시간으로 감시할 수 있어, 아이 근처에 있을 필요없이 자유로운 시간을 가질 수 있다.
한편, 부모가 아이에게 메시지를 전송하고자 할 수 있다. 이를 위해, 구역 영상 표시 과정(s380)이 있은 후, 부모 단말기(300)가, 부모로부터 작성된 부모 메시지를 상기 비콘 관리 서버(200)로 전송하는 과정(S391)을 가질 수 있다.
비콘 관리 서버(200)가, 부모 메시지를 상기 부모 단말기(300)가 제공한 고유 번호와 일치하는 고유 번호를 가지는 비콘 태그(100)가 위치한 구역의 비콘 단말기(400)에 전달(S392)한다. 그 후, 비콘 단말기(400)가 부모 메시지를 비콘 통신을 통하여 비콘 태그(100)에 전송(S393)하고, 비콘 태그(100)는 수신한 부모 메시지를 표시하는 부모 메시지 표시 과정(미도시)을 가진다.
예를 들어, 부모가 제1구역(10)에 있는 아이에게 빨리 돌아오라는 메시지를 보내고 싶은 경우, '빨리 돌아와'라는 메시지를 비콘 태그(100)의 고유 번호와 함께 부모 단말기(300)에 입력하며, 메시지 전송부는 부모 단말기(300)로부터 부모 메시지를 수신하여 아이가 있는 제1구역(10)의 제1비콘 단말기(400a)에 전송한다. 제1비콘 단말기(400a)는 수신한 부모 메시지를 비콘 통신을 통하여 제1구역(10)내의 제1비콘 태그(100a)에 전송할 수 있다. 제1비콘 태그(100a)는 수신한 부모 메시지를 표시하여 아이가 이를 볼 수 있도록 한다.
한편, 상기의 부모 메시지 전송에 아이가 응답할 수 있는 수단을 비콘 태그(100)에 마련할 수 있다.
부모 메시지 표시 과정이 있은 후, 도 4에 도시한 바와 같이 비콘 태그(100)는, 부모 메시지에 대한 응답으로서 아이로부터 확인 입력을 받아, 확인 메시지를 생성하여 비콘 통신을 통하여 비콘 단말기(400)에 전송(S394)할 수 있다. 비콘 태그(100)에는, 부모 메시지를 열람한 아이가 확인 입력할 수 있는 확인 버튼을 구비될 수 있다. 확인 입력은, 부모 메시지가 표시된 이후 미리 설정된 시간(예컨대, 20초 이내)에 비콘 태그(100)에 마련된 확인 버튼을 아이가 누른 경우 확인 입력이 되었다고 판단할 수 있다.
비콘 단말기(400)는, 확인 메시지를 비콘 관리 서버(200)에 중계 전송(S395)하며, 비콘 관리 서버(200)는, 상기 확인 메시지를 상기 부모 메시지를 송신한 부모 단말기(300)에 중계 전송(S396)하며, 부모 단말기(300)는, 비콘 관리 서버(200)로부터 수신한 확인 메시지를 표시(S397)한다. 따라서 부모는 아이가 부모 메시지를 읽었는지를 파악할 수 있다.
한편, 아이의 영상을 실시간으로 원격에 있는 부모가 볼 수 있다고 하더라도, 부모가 계속 지속적으로 영상을 열람하기에는 무리가 있다. 따라서 부모가 지속적으로 영상을 열람하지 않더라도 아이가 놀이시설장소의 구역에서 없어질 경우 부모에게 미아 알림 경고를 하여 주는 과정이 필요하다. 이를 위해 구역 영상 표시 과정(S380)이 있은 후, 도 5에 도시한 바와 같이 비콘 관리 서버(200)는, 각 카메라(500)에서 촬영된 구역 영상에서 추출한 얼굴 이미지인 추출 얼굴 이미지를 저장(S381)하는 과정을 가질 수 있다.
비콘 관리 서버(200)는, 아이 얼굴 이미지와 일치하는 추출 얼굴 이미지가 정해진 임계 시간이 초과할 때까지 검출되지 않을 경우에는, 상기 아이의 부모가 소지한 부모 단말기(300)에 미아 경고 알람을 송신하는 과정(S382)을 가질 수 있다. 부모 단말기(300)는 수신한 미아 경고 알람을 표시(S383)할 수 있다.
아이 얼굴 이미지와 일치하는 추출 얼굴 이미지의 일치 여부의 파악 방식은 공지된 다양한 방식이 있을 수 있는데, 얼굴 이미지의 턱선을 추출하여 턱선간의 유사도를 비교하여 일치 여부를 판단하거나, 또는 눈의 미간 사이의 거리를 측정하여 유사도를 비교하거나, 인중 사이의 거리를 측정하여 유사도를 결정할 수 있다.
상술한 본 발명의 설명에서의 실시예는 여러가지 실시가능한 예중에서 당업자의 이해를 돕기 위하여 가장 바람직한 예를 선정하여 제시한 것으로, 이 발명의 기술적 사상이 반드시 이 실시예만 의해서 한정되거나 제한되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변화와 변경 및 균등한 타의 실시예가 가능한 것이다.
100:비콘 태그
200:비콘 관리 서버
300:부모 단말기
400:비콘 단말기
500:카메라

Claims (10)

  1. 놀이시설장소 내의 각 구역별로 설치되어, 비콘 통신을 수행하는 비콘 태그의 고유 번호가 포함된 비콘 태그 신호를 비콘 태그로부터 수신하여 비콘 관리 서버로 전송하며, 부모가 작성한 부모 메시지를 비콘 관리 서버로부터 수신하여 상기 비콘 태그로 중계하는 비콘 단말기;
    상기 비콘 단말기와 쌍을 이루며 각 구역에 설치되어, 촬영되는 구역 영상을 비콘 관리 서버로 전송하는 카메라;
    고유 번호가 할당되어 놀이시설장소에 입장하는 아이에게 부착되는 태그로서, 고유 번호가 포함된 비콘 신호인 비콘 태그 신호를 생성하여 송신하며, 상기 비콘 단말기로부터 수신되는 부모 메시지를 표시하는 비콘 태그;
    부모들이 소지한 이동통신단말기로서, 부모로부터 제공된 고유 번호를 가지는 비콘 태그가 위치한 구역의 카메라에서 촬영된 구역 영상을 표시하며, 부모로부터 입력되는 부모 메시지를 비콘 관리 서버로 전송하는 부모 단말기; 및
    구역별 설치된 비콘 단말기로부터 비콘 태그의 고유 번호를 수신하여 비콘 태그의 위치를 주기적으로 파악하며, 상기 부모 단말기로부터 비콘 태그의 고유 번호를 제공받아 실시간 영상 요청이 있는 경우 제공된 고유 번호의 비콘 태그가 위치한 구역 내의 카메라를 구동시켜 촬영된 구역 영상을 상기 부모 단말기에 전송하며, 상기 부모 단말기로부터 비콘 태그의 고유 번호를 제공받아 부모 메시지 전송 요청이 있는 경우 제공된 고유 번호를 가지는 비콘 태그가 위치한 구역내의 비콘 단말기에 상기 부모 단말기에서 작성된 부모 메시지를 전송하는 비콘 관리 서버;
    를 포함하고,
    상기 비콘 관리 서버는,
    설정된 임계 시간이 초과할 때까지 아이가 착용한 비콘 태그로부터 고유 번호를 수신하지 못한 경우에는, 상기 아이의 부모가 소지한 부모 단말기에 미아 경고 알람을 송신하는 미아 경고부;
    놀이시설장소에 입장하는 아이를 촬영하여 아이 얼굴의 이미지인 아이 얼굴 이미지를 저장한 아이 얼굴 이미지 데이터베이스; 및
    각 카메라에서 촬영된 구역 영상에서 추출한 얼굴 이미지인 추출 얼굴 이미지를 저장하는 추출 얼굴 이미지 데이터베이스;를 포함하며,
    상기 미아 경고부는, 상기 아이 얼굴 이미지와 일치하는 추출 얼굴 이미지가 설정된 임계 시간이 초과할 때까지 검출되지 않을 경우에는, 상기 아이의 부모가 소지한 부모 단말기에 미아 경고 알람을 송신함을 특징으로 하는 놀이시설장소 돌봄 장치.
  2. 청구항 1에 있어서, 상기 비콘 관리 서버는,
    비콘 태그별로 할당되는 고유 번호, 비콘 태그를 부착한 아이의 부모가 소지한 부모 단말기의 정보를 저장한 비콘 태그 정보 데이터베이스;
    실내의 구역별로 설치된 비콘 단말기의 식별 번호, 비콘 단말기에 할당된 카메라의 식별 번호가 구역별로 저장된 비콘 단말기 정보 데이터베이스;
    상기 부모 단말기에서 작성한 부모 메시지를 수신하여 비콘 태그의 고유 번호별로 저장한 부모 메시지 데이터베이스;
    비콘 단말기별로 수신되는 비콘 태그의 고유 번호들을 저장한 비콘 태그 위치 데이터베이스;
    상기 부모 단말기로부터 비콘 태그의 고유 번호를 제공받아 실시간 영상 요청이 있는 경우 제공된 고유 번호의 비콘 태그가 위치한 구역 내의 카메라를 구동시켜 촬영된 구역 영상을 상기 부모 단말기에 전송하는 구역 영상 전송부; 및
    상기 부모 단말기로부터 비콘 태그의 고유 번호를 제공받아 부모 메시지 전송 요청이 있는 경우 제공된 고유 번호를 가지는 비콘 태그가 위치한 구역내의 비콘 단말기에 상기 부모 단말기에서 작성된 부모 메시지를 전송하는 부모 메시지 전송부;
    를 포함하는 놀이시설장소 돌봄 장치.
  3. 청구항 2에 있어서,
    상기 비콘 태그는, 상기 부모 메시지에 대한 응답으로서 아이로부터 확인 입력을 받아, 확인 메시지를 생성하여 상기 비콘 단말기에 전송하며,
    상기 비콘 단말기는, 상기 확인 메시지를 상기 비콘 관리 서버에 전송하며,
    상기 비콘 관리 서버는, 상기 확인 메시지를 상기 부모 메시지를 송신한 부모 단말기에 전송하는 놀이시설장소 돌봄 장치.

  4. 삭제
  5. 삭제
  6. 청구항 2에 있어서, 상기 비콘 태그는,
    손목 밴드형, 발목 밴드형, 목걸이형, 반지형, 옷 부착형 중 어느 하나 이상의 형태를 가짐을 특징으로 하는 놀이시설장소 돌봄 장치.
  7. 놀이시설장소에 입장하는 부모가 소지한 부모 단말기가, 비콘 태그의 고유 번호와 부모 단말기의 정보를 비콘 관리 서버로 전송하는 비콘 및 부모 정보 전송 과정;
    구역별로 설치된 비콘 단말기가, 비콘 통신하여 구역 내의 비콘 태그들로부터 고유 번호를 수신하여 상기 비콘 관리 서버로 전송하는 과정;
    상기 비콘 관리 서버가, 구역별 비콘 단말기를 통해 각 구역 내의 비콘 태그들의 고유 번호를 파악하는 과정;
    상기 비콘 관리 서버가, 부모 단말기로부터 제공된 비콘 태그의 고유 번호와 동일한 고유 번호를 수신하는 비콘 단말기의 구역을 파악하는 과정;
    상기 비콘 관리 서버가, 상기 비콘 단말기의 구역 내에 위치한 카메라를 구동시켜 구역내의 구역 영상을 수신하는 과정;
    상기 비콘 관리 서버가, 상기 구역 영상을 상기 부모 단말기에 전송하는 과정; 및
    상기 부모 단말기는, 상기 비콘 관리 서버로부터 수신한 구역 영상 표시하는 구역 영상 표시 과정;
    을 포함하고,
    상기 비콘 및 부모 정보 전송 과정이 있기 이전에, 상기 비콘 관리 서버는, 놀이시설장소에 입장하는 아이를 촬영하여 아이 얼굴의 이미지인 아이 얼굴 이미지를 저장하는 과정;을 포함하며,
    상기 구역 영상 표시 과정이 있은 후,
    상기 비콘 관리 서버는, 각 카메라에서 촬영된 구역 영상에서 추출한 얼굴 이미지인 추출 얼굴 이미지를 저장하는 과정;
    상기 비콘 관리 서버는, 상기 아이 얼굴 이미지와 일치하는 추출 얼굴 이미지가 정해진 임계 시간이 초과할 때까지 검출되지 않을 경우에는, 상기 아이의 부모가 소지한 부모 단말기에 미아 경고 알람을 송신하는 과정; 및
    상기 부모 단말기는 수신한 미아 경고 알람을 표시하는 과정;
    을 포함하는 놀이시설장소 돌봄 방법.
  8. 청구항 7에 있어서, 상기 구역 영상 표시 과정이 있은 후,
    상기 부모 단말기가, 부모로부터 작성된 부모 메시지를 상기 비콘 관리 서버로 전송하는 과정;
    상기 비콘 관리 서버가, 상기 부모 메시지를 상기 부모 단말기가 제공한 고유 번호와 일치하는 고유 번호를 가지는 비콘 태그가 위치한 구역의 비콘 단말기에 전송하는 과정;
    상기 비콘 단말기가 상기 부모 메시지를 비콘 통신을 통하여 상기 부모 단말기가 제공한 고유 번호와 일치하는 고유 번호를 가지는 비콘 태그에 전송하는 과정; 및
    상기 비콘 태그가 수신한 비콘 태그를 표시하는 부모 메시지 표시 과정;
    을 포함하는 놀이시설장소 돌봄 방법.
  9. 청구항 8에 있어서, 부모 메시지 표시 과정이 있은 후,
    상기 비콘 태그는, 상기 부모 메시지에 대한 응답으로서 아이로부터 확인 입력을 받아, 확인 메시지를 생성하여 비콘 통신을 통하여 상기 비콘 단말기에 전송하는 과정;
    상기 비콘 단말기는, 상기 확인 메시지를 상기 비콘 관리 서버에 전송하는 과정;
    상기 비콘 관리 서버는, 상기 확인 메시지를 상기 부모 메시지를 송신한 부모 단말기에 전송하는 과정; 및
    상기 부모 단말기는, 상기 확인 메시지를 표시하는 과정;
    을 포함하는 놀이시설장소 돌봄 방법.
  10. 삭제
KR1020150091100A 2015-06-26 2015-06-26 놀이시설장소 돌봄 장치 및 돌봄 방법 KR101617342B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150091100A KR101617342B1 (ko) 2015-06-26 2015-06-26 놀이시설장소 돌봄 장치 및 돌봄 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150091100A KR101617342B1 (ko) 2015-06-26 2015-06-26 놀이시설장소 돌봄 장치 및 돌봄 방법

Publications (1)

Publication Number Publication Date
KR101617342B1 true KR101617342B1 (ko) 2016-05-02

Family

ID=56021760

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150091100A KR101617342B1 (ko) 2015-06-26 2015-06-26 놀이시설장소 돌봄 장치 및 돌봄 방법

Country Status (1)

Country Link
KR (1) KR101617342B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035686A (zh) * 2018-07-10 2018-12-18 北京三快在线科技有限公司 一种预防丢失的报警方法及装置
KR101946317B1 (ko) * 2018-09-13 2019-02-11 주식회사 에버비젼 Cctv 시스템을 이용한 유저 식별 및 추적방법
KR20190114931A (ko) 2019-09-19 2019-10-10 엘지전자 주식회사 로봇 및 그의 제어 방법
KR20210006632A (ko) * 2019-07-09 2021-01-19 건국대학교 글로컬산학협력단 위치 추적 장치 및 시스템
KR20210130918A (ko) * 2020-04-23 2021-11-02 주식회사 제이토드 아동의 활동을 실시간 모니터링하는 안전사고 방지 방법 및 이를 이용한 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101328731B1 (ko) * 2013-01-30 2013-11-20 에스케이플래닛 주식회사 영유아를 위한 인터랙션 서비스를 제공하는 장치 및 방법, 이를 이용한 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101328731B1 (ko) * 2013-01-30 2013-11-20 에스케이플래닛 주식회사 영유아를 위한 인터랙션 서비스를 제공하는 장치 및 방법, 이를 이용한 시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035686A (zh) * 2018-07-10 2018-12-18 北京三快在线科技有限公司 一种预防丢失的报警方法及装置
KR101946317B1 (ko) * 2018-09-13 2019-02-11 주식회사 에버비젼 Cctv 시스템을 이용한 유저 식별 및 추적방법
KR20210006632A (ko) * 2019-07-09 2021-01-19 건국대학교 글로컬산학협력단 위치 추적 장치 및 시스템
KR102212639B1 (ko) * 2019-07-09 2021-02-04 건국대학교 글로컬산학협력단 위치 추적 장치 및 시스템
KR20190114931A (ko) 2019-09-19 2019-10-10 엘지전자 주식회사 로봇 및 그의 제어 방법
KR20210130918A (ko) * 2020-04-23 2021-11-02 주식회사 제이토드 아동의 활동을 실시간 모니터링하는 안전사고 방지 방법 및 이를 이용한 시스템
KR102394509B1 (ko) * 2020-04-23 2022-06-07 주식회사 제이토드 아동의 활동을 실시간 모니터링하는 안전사고 방지 방법 및 이를 이용한 시스템

Similar Documents

Publication Publication Date Title
KR101617342B1 (ko) 놀이시설장소 돌봄 장치 및 돌봄 방법
US9871999B2 (en) Modular camera monitoring systems and methods
KR101745598B1 (ko) 이상행동 탐지 방범 시스템 및 그 방법
KR100982398B1 (ko) ZigBee와 CCTV를 이용한 상황관제 시스템과 어린이보호 시스템
KR101689040B1 (ko) 위치 추적용 휴대용 단말기, 서버 및 위치 추적 시스템
CN209375691U (zh) 家庭智能监控系统
JP6529062B1 (ja) デジタルアキュレート・セキュリティシステム、方法及びプログラム
KR101025426B1 (ko) 센서 위치 추적 팬 틸트 네트워크 감시카메라
KR20110071408A (ko) 비콘 기반의 관심 이동체 위치추적 방법
KR100993887B1 (ko) 감시 카메라를 이용한 실시간 양방향 안전관리 시스템
KR101722713B1 (ko) 구역별 위치 추적 시스템
KR20110035420A (ko) 감지 센서를 이용한 위험 알림 방법
JP7411336B2 (ja) 広域警報システム
KR20120044747A (ko) 알에프아이디를 이용한 비상 알림시스템
KR101852056B1 (ko) 비콘 일체형 영상촬영장치를 이용한 위치기반 부가 서비스 제공시스템
KR101510766B1 (ko) 비상호출 및 다기능 센서를 이용한 지능형 모니터링 디브이알(dvr) 시스템
JP2008040738A (ja) 施設監視システム
KR101954441B1 (ko) IoT 기반 노인시설 관리 서비스 제공 시스템 및 방법
JP3215372U (ja) マンションの設備改修工事現場における入室管理システム
KR20170043267A (ko) 실종 방지 시스템 및 방법, 이를 위한 디바이스
KR20160108236A (ko) 피관찰자 영상 제공 시스템 및 피관찰자 부착용 태그
KR101527813B1 (ko) 유아를 위한 보육 및 교육 시설에서 유아 보호를 위한 cctv 관리 단말, 그리고 cctv 정보 획득 방법
KR100750064B1 (ko) 휴대용 무선데이터 송수신기 및 그 제어방법
KR101401299B1 (ko) 스마트폰의 gps와 네트워크 cctv 연동을 이용한 사용자 중심의 추적촬영 방법
KR102480784B1 (ko) 네트워크 카메라 및 이를 포함하는 감시 시스템

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190422

Year of fee payment: 4