KR100982398B1 - ZigBee와 CCTV를 이용한 상황관제 시스템과 어린이보호 시스템 - Google Patents

ZigBee와 CCTV를 이용한 상황관제 시스템과 어린이보호 시스템 Download PDF

Info

Publication number
KR100982398B1
KR100982398B1 KR1020100016329A KR20100016329A KR100982398B1 KR 100982398 B1 KR100982398 B1 KR 100982398B1 KR 1020100016329 A KR1020100016329 A KR 1020100016329A KR 20100016329 A KR20100016329 A KR 20100016329A KR 100982398 B1 KR100982398 B1 KR 100982398B1
Authority
KR
South Korea
Prior art keywords
zigbee
cctv
tag
information
location
Prior art date
Application number
KR1020100016329A
Other languages
English (en)
Inventor
이건양
Original Assignee
대신네트웍스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대신네트웍스 주식회사 filed Critical 대신네트웍스 주식회사
Priority to KR1020100016329A priority Critical patent/KR100982398B1/ko
Application granted granted Critical
Publication of KR100982398B1 publication Critical patent/KR100982398B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/0202Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0277Communication between units on a local network, e.g. Bluetooth, piconet, zigbee, Wireless Personal Area Networks [WPAN]
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 ZigBee와 CCTV를 이용한 상황관제 시스템과 어린이보호 시스템에 관한 것으로서, 더욱 상세하게는 첨단IT 기술인 지그비(ZigBee) 인프라를 활용하여 기존 이동통신망의 위치 인식거리 오차의 한계를 극복하고, 방범 CCTV 인프라와 융합하여 지능적으로 위치추적과 상황관제가 가능하도록 하며 이를 이용해 어린이를 보호할 수 있도록 하는 시스템에 관한 것이다.
본 발명에 따른 ZigBee와 CCTV를 이용한 상황관제 시스템은 전자명찰에 내장된 지그비 태그의 정보를 인식하여 지그비 게이트웨이로 전송하는 지그비 AP와, 방범영역에 설치되어 촬영한 영상을 관제서버로 전송하는 CCTV와, 상기 지그비 AP와의 통신으로 전자명찰의 위치정보를 수집하여 DB화하는 지그비 게이트웨이 및 상기 전자명찰의 위치정보뿐만 아니라 방범영역에 설치된 CCTV 영상을 감시하고 관제하는 관제서버를 포함하여 구성된다.

Description

ZigBee와 CCTV를 이용한 상황관제 시스템과 어린이보호 시스템 {State Monitoring System using ZigBee and CCTV}
본 발명은 ZigBee와 CCTV를 이용한 상황관제 시스템과 어린이보호 시스템에 관한 것으로서, 더욱 상세하게는 첨단IT 기술인 지그비(ZigBee) 인프라를 활용하여 기존 이동통신망의 위치 인식거리 오차의 한계를 극복하고, 방범 CCTV 인프라와 융합하여 지능적으로 위치추적과 상황관제가 가능하도록 하며 이를 이용해 어린이를 보호할 수 있도록 하는 시스템에 관한 것이다.
일반적으로 유아 등의 미아발생을 미연에 방지하기 위하여 이름표를 부착하거나 목걸이 등의 형태로 인식표를 제작하여 착용하거나 또는 센서장치를 이용하여 보호자와 피보호자가 일정간격 이상 떨어지면 경보음을 발생하게 하는 등의 방법이 사용된다.
그런데 상기한 방법은 위치추적이 불가능하여 한계가 있게 마련이고, 이를 방지하기 위해 GPS 수신기능을 갖는 이동통신단말을 이용해 위치추적을 하는 경우가 있으나, 고가이고 중량이 무거워 유아가 휴대하고 다니기에 불편한 점이 있었다.
한편, 유아 및 어린이가 유치원, 학교, 또는 각종 학원에 오가는 도중에 길을 잃어버리거나 사고를 당할 염려가 있어, 어린이 보호자인 학부모는 이에 대해 걱정을 하게 된다.
이러한 걱정을 덜기 위하여 어린이가 소지하는 전자명찰에 ZigBee 태그나 RFID 태그를 내장하여 유치원, 학교, 또는 각종 학원에 설치된 전자명찰 리더기를 통해 태그 정보를 읽어들여 어린이 보호자의 휴대단말에 문자메시지로 전송함으로써, 어린이의 등하원 또는 등하교 상태를 실시간을 통보하여 보호자를 안심시키도록 하는 어린이 안심서비스가 개시되어 있다.
그런데 기존 ZigBee나 RFID 기반 안심서비스는 측위 기술이 적용되지 않고 CCTV 영상이 제공되지 않아, 유괴 및 성폭력과 같은 아동범죄를 예방하는데 한계가 있고, 어린이의 위치를 인터넷 사이트를 통해 실시간으로 확인이 불가능하였다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 첨단 IT 기술인 지그비 인프라를 활용하여 기존의 이동통신망의 위치 인식거리 오차의 한계를 극복하고, 방범 CCTV 인프라와 융합하여 지능적으로 위치 추적과 상황 관제가 가능한 ZigBee와 CCTV를 이용한 상황관제 시스템과 어린이보호 시스템을 제공하는데 그 목적이 있다.
또한 본 발명의 다른 목적은 급증하고 있는 유괴 및 성폭력과 같은 아동범죄를 예방하여 아이의 안전과 학부모의 안심을 보장하고, 등하교는 물론 실시간 위치 추적을 통하여 자녀의 위치를 인터넷 사이트를 통해 실시간으로 확인할 수 있는 ZigBee와 CCTV를 이용한 상황관제 시스템과 어린이보호 시스템을 제공하는데 있다.
상술한 목적을 달성하기 위한 본 발명에 따른 ZigBee와 CCTV를 이용한 상황관제 시스템은, 전자명찰에 내장된 지그비 태그의 정보를 인식하여 지그비 게이트웨이로 전송하는 지그비 AP와, 방범영역에 설치되어 촬영한 영상을 관제서버로 전송하는 CCTV와, 상기 지그비 AP와의 통신으로 전자명찰의 위치정보를 수집하여 DB화하는 지그비 게이트웨이 및 상기 전자명찰의 위치정보뿐만 아니라 방범영역에 설치된 CCTV 영상을 감시하고 관제하는 관제서버를 포함하여 구성된다.
또한 본 발명에 따른 ZigBee와 CCTV를 이용한 어린이보호 시스템은, 어린이가 소지하는 전자명찰에 내장된 지그비 태그의 정보를 인식하여 지그비 게이트웨이로 전송하는 지그비 AP와, 방범영역에 설치되어 촬영한 영상을 관제서버로 전송하는 CCTV와, 상기 지그비 AP와의 통신으로 전자명찰의 위치정보를 수집하여 DB화하는 지그비 게이트웨이와, 상기 전자명찰의 위치정보뿐만 아니라 방범영역에 설치된 CCTV 영상을 감시하고 관제하는 어린이보호 서비스를 제공하는 관제서버와, 인터넷을 통해 관제서버에 접속하여 어린이보호 서비스를 받을 수 있도록 보호자 PC에 인터넷 웹브라우저 환경을 제공하는 웹서버 및 무선망을 통해 관제서버에 접속하여 어린이보호 서비스를 받을 수 있도록 보호자 모바일에 모바일 웹브라우저 환경을 제공하는 모바일 서버를 포함하여 구성된다.
상술한 과제의 해결 수단에 의하면 첨단 IT 기술인 지그비 인프라를 활용하여 기존의 이동통신망의 위치 인식거리 오차의 한계를 극복하고, 방범 CCTV 인프라와 융합하여 지능적으로 위치를 추적할 수 있으며 상황을 관제할 수 있다.
또한, 본 발명에 의하면 유괴 및 성폭력과 같은 아동범죄를 예방하여 아이의 안전과 학부모의 안심을 보장하고, 등하교는 물론 실시간 위치 추적을 통하여 자녀의 위치를 인터넷 사이트를 통해 실시간으로 확인할 수 있다.
도 1은 본 발명의 실시예에 따른 상황관제 시스템의 구성도,
도 2는 도 1에 나타낸 CCTV 및 지그비 AP의 설치 예시도,
도 3은 도 1에 나타낸 지그비 게이트웨이의 블록도,
도 4는 도 1에 나타낸 관제서버의 블록도,
도 5는 도 1에 나타낸 관제센터 화면의 관제 소프트웨어 예시도,
도 6은 도 1에 나타낸 관제센터 화면의 다른 관제 소프트웨어 예시도,
도 7은 도 1에 나타낸 관제센터 화면의 또 다른 관제 소프트웨어 예시도,
도 8은 본 발명의 실시예에 따른 어린이보호 시스템의 구성도,
도 9는 도 8에 나타낸 전자명찰의 예시도,
도 10a와 도 10b는 도 8의 시스템을 이용한 영상 모니터링 서비스의 예시 화면,
도 11a와 도11b는 도 8의 시스템을 이용한 위치 정보 모니터링 서비스의 예시 화면,
도 12는 도 8의 시스템을 이용한 스마트 모바일 서비스를 설명하기 위한 도면,
도 13a와 도 13b는 도 12에 나타낸 서비스의 문자메시지 화면.
이하 본 발명의 실시예에 대하여 첨부된 도면을 참고로 그 구성 및 작용을 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 상황관제 시스템의 구성도이다.
도시된 바와 같이, 전자명찰(10), 지그비 AP(20), CCTV(30), 관제서버(40), 지그비 게이트웨이(50), CCTV 영상 스토리지(90) 및 DB서버(60)를 포함하여 구성된다.
전자명찰(10)에는 전자명찰(10)마다 부여된 고유의 ID 정보를 포함하는 지그비 태그가 내장되고, 어린이가 용이하게 소지하고 다닐 수 있도록 제작된다.
방범영역 내의 진출입을 감시하는 지그비 AP(20)는 다수의 AP 리더기(21)와 AP 라우터(22)로 이루어지며 AP 리더기(21)는 전자명찰(10)에 내장된 지그비 태그를 인식하여 매시 네트워크(Mash Network)를 통해 전송하고, AP 라우터(22)는 상기 AP 리더기(21)의 정보를 수신하여 TCP/IP 통신으로 지그비 게이트웨이(50)에 전송한다.
상기 AP 라우터(22)는 지그비 게이트웨이(50)와 근거리에 있는 경우 지그비 네트워크를 통해 태그 정보를 전송하기도 한다.
상기 지그비 게이트웨이(50)는 지그비 AP(20)와의 TCP/IP 통신으로 전자명찰(10)의 위치정보를 수집하여 DB화 한다.
또한 상기 지그비 게이트웨이(50)는 CCTV(30)가 감시하고 있는 방범영역과 일치하는 지그비 AP(20) 존(Zone) 기반으로 방범영역의 진출입 정보를 감시하거나 또는 상세한 위치정보의 주적감시를 위해 적어도 3개 이상의 지그비 AP(20)에서 보내온 전자명찰(10)의 위치정보로 위치 측위를 연산하고 기록한다.
또한 전자명찰(10)의 응급호출을 감시하며, 보호자가 지정한 이벤트를 감시한다.
상기 지그비 AP(20)는 무선 매시 네트워크를 형성하여 수집된 태그 정보를 전송하므로 중간 AP 노드는 별도의 회선 구성이 필요없어 저렴한 비용으로 인프라를 구축할 수 있다.
상기 CCTV(30)는 등하교 길, 방범 취약지역, 학교 주변에 설치되어 소정의 방범지역을 촬영하고 이를 관제서버(40)에 전송하며, 고정 CCTV(31)와 방향 제어가 가능한 PTZ CCTV(32)를 포함한다.
상기 관제서버(40)는 지그비 게이트웨이(50)로부터 받은 전자명찰(10)의 위치정보뿐만 아니라 방범영역에 설치된 CCTV(30) 영상을 감시하고 관제하는 서비스를 제공하는 서버로서, 어린이가 착용한 전자명찰(10)의 위치를 관제하고, 어린이 및 그 보호자의 정보를 관리하며 CCTV 모니터링 및 CCTV 영상을 관리한다.
또한 상기 관제서버(40)는 IP CCTV 및 아날로그 CCTV를 연계한 DVR 및 비디오 서버를 통해 기록 저장된 방범 영상으로부터 태그의 방범영역 진출입 로그를 이용해 방범영역에 저장된 태그를 추적하고 모니터링한다.
CCTV 영상 스토리지(90)는 상기 CCTV(30)에서 촬영한 영상 정보를 저장한다.
그리고 DB서버(60)는 위치 추적과 영상 감시 및 관제를 위해 상기 관제서버(40) 및 지그비 게이트웨이(50)와 연동하며 도 8에서 후술하는 웹서버(70) 및 모바일 서버(80)와도 연동한다.
상기 DB서버(60)는 회원 정보, AP 정보, CCTV 정보, 태그 로그 정보, 이벤트 존 정보 및 웹·모바일 서비스를 위한 부가정보를 저장하고 관리한다.
상기 회원 정보는 어린이와 그 어린이 보호자의 인적사항 및 전화번호 등의 기본 프로필과 태그 정보를 포함한다.
AP 정보는 지그비 AP ID, 지그비 AP 이름, 설치위치, 접속 및 관리정보, 그 지그비 AP와 연계되는 CCTV ID를 포함한다.
CCTV 정보는 CCTV ID, CCTV 이름, 설치위치, 접속 및 관리정보를 포함한다.
태그 로그 정보는 태그 ID, 그 태그 사용자 기본 프로필, 현재 위치, 수신한 AP ID, 연계된 CCTV ID 등을 포함한다.
이벤트 존 정보는 관리자 또는 보호자가 알림지역을 설정하는 것으로 태그 ID, 알람 영역(원, 사각, 지번) 위치, 이벤트 방법(SMS, 팝업창, 램프,소리) 정보를 포함한다.
웹·모바일 서비스를 위한 부가정보는 공지사항 및 커뮤니티 서비스를 위한 게시판 정보를 포함한다.
상기 지그비 AP(20)와 CCTV(30)를 각각 별도로 구성하지 않고 지그비 AP와 CCTV가 하나로 결합된 일체형 지그비 CCTV를 구성할 수도 있다.
도 2는 도 1에 나타낸 CCTV 및 통신모듈의 설치 예시도이다.
도시된 바와 같이 방범영역을 다수의 섹터로 구분하여 각 섹터별로 CCTV(31)를 설치하고, 상기 방범영역에 AP 라우터(21)와 AP 리더기(22)로 이루어진 지그비 AP(20)을 설치하여, 지그비 AP(20)로 방범영역 내의 전자명찰 진출입을 감시하고 CCTV(31,32)로 방범영역 내에서의 영상을 촬영하게 된다.
도 3은 도 1에 나타낸 지그비 게이트웨이의 하드웨어 블록도이다.
도시된 바와 같이 지그비 게이트웨이(50)는 사용자 인터페이스(51), 비상 디텍터(52), 지리정보 인코더/디코더(53), 지그비 데이터 파서(54), 태그 디텍터(55), 지그비 통신 데몬(56), 지그비 디바이스 인터페이스(57), DBMS 인터페이스(58)를 포함하여 구성된다.
상기 사용자 인터페이스(51)는 사용자 입력 편의를 위한 윈도우즈 폼(Form)을 제공한다.
비상 디텍터(52)는 전자명찰(10)의 응급호출 버튼(14)이 눌러진 경우나, 위험지역으로 설정된 위치에 태그가 인식될 경우 위험 상황을 인지하고 관리자에게 알림 기능을 수행한다.
지리정보 인코더/디코더(53)는 지그비 태그의 위치정보를 WGS(World Geodetic System: 세계측지계) 위경도 좌표로 변환하기 위한 기능을 수행한다.
즉, 고정된 AP(20)의 위경도 좌표값을 베셀(Bessel) TM(Transverse Mercator) 좌표값으로 변환하고, 3개 이상의 AP TM 좌표값과 각각의 AP에서 지그비 태그와의 거리를 삼각측량 알고리즘을 적용하여 지그비 태그의 TM 좌표값을 연산한 후, 연산된 지그비 태그의 TM 좌표값을 지도에 맵핑하기 위해 WGS84 좌표로 변환한다.
지그비 데이터 파서(Parser)(54)는 지그비 AP(20)에서 전송한 프레임 데이터를 파싱(Parsing)하여 AP 정보와 태그 정보를 분석한다.
태그 디텍터(55)는 분석된 프레임 정보에서 태그를 식별하여 회원 정보를 분석한다.
지그비 통신 데몬(56)은 지그비 AP(20)에서 전송하는 데이터를 받기 위한 통신 연결 및 데이터 송수신, 오류 제어 기능을 수행한다.
지그비 디바이스 인터페이스(57)는 지그비 AP(20)와의 통신을 위한 인터페이스를 제공하여 지그비 AP(20)의 통신 인터페이스에 따라 RS232, 이더넷 등을 지원한다.
DBMS(database management system) 인터페이스(58)는 DBSM인 DB서버(60)와의 접속 및 쿼리(Query)를 위한 인터페이스를 제공한다.
도 4는 도 1에 나타낸 관제서버의 하드웨어 블록도이다.
도시된 바와 같이 관제서버(40)는 사용자 인터페이스(41), 프로필 매니저(43), 로케이션 매니저(42), 지리정보 인터페이스(44), 검색 엔진(45), CCTV 제어모듈(46), 미디어 인코더/디코더(47), DBMS 인터페이스(40a), DVR 인터페이스(49), IP CCTV 인터페이스(48)를 포함하여 구성된다.
사용자 인터페이스(41)는 사용자 입력 편의를 위한 윈도우즈 폼을 제공하여 지그비 AP(20), CCTV(30), 태그 등의 등록 관리를 편하게 할 수 있도록 지원한다.
로케이션 매니저(42)는 지그비 AP(20), CCTV(30)의 위치정보를 등록, 수정, 삭제하는 등의 다양한 관리기능을 제공하고, 태그의 위치를 모니터링 한다.
프로필 매니저(43)는 회원, 지그비 AP(20), CCTV(30), 태그의 프로필 정보를 등록, 수정, 삭제하는 등의 다양한 관리기능을 제공한다.
지리정보 인터페이스(44)는 태그 및 CCTV(30) 등 객체의 위치 표시를 위한 다양한 GIS 좌표 변환 및 위치 조회 인터페이스를 제공한다.
검색 엔진(45)은 회원, 지그비 AP(20), CCTV(30), 태그 등의 속성 정보를 이용하여 객체의 위치나 프로필, 저장된 CCTV 방범영역 동영상에서 조건에 맞는 감시영상 검색 기능을 제공한다.
CCTV 제어 모듈(46)은 등록된 CCTV(30) 프로필 정보를 통해 접속 및 PTZ(Pan Tilt Zoom) 제어, 영상 정보 수신을 관리한다.
미디어 인코더/디코더(47)는 CCTV 영상을 스케줄러 및 이벤트 기반으로 상기 CCTV 영상 스토리지(90)에 압축 저장하고 이를 디코딩하여 복원한다.
DBMS 인터페이스(40a)는 DBSM인 DB 서버(60)와의 접속 및 쿼리(Query)를 위한 인터페이스를 제공한다.
DVR 인터페이스(49)는 아날로그 CCTV 연동을 위한 DVR 시스템과의 통신 인터페이스를 제공한다.
IP CCTV 인터페이스(48)는 IP CCTV 연동을 위한 통신 인터페이스를 제공하여 접속, 인증, 영상정보를 송수신할 수 있도록 한다.
도 5는 도 1에 나타낸 관제서버와 연계된 관제센터 화면의 관제 소프트웨어 예시도이다.
도시된 바와 같이 관제센터의 CCTV 채널 뷰어(111)를 통해 비디오 서버나 IP 카메라와 연동하여 CCTV 영상을 실시간으로 모니터링 할 수 있고, CCTV 트리(112)에 의하여 원하는 CCTV를 선택하여 그 CCTV 영상을 모니터링 할 수 있으며, 모드 제어버튼(113)에 의하여 CCTV 채널 뷰어(111)의 화면구성을 변경할 수 있다.
저장된 CCTV 영상에 대하여 전자명찰 인식정보 로그(114)의 인식정보 즉, 태그 ID, CCTV 섹터, 시간을 검색엔진(45)으로 검색하여 그 인식정보에 따라 CCTV 영상을 모니터링 할 수 있다.
또한 CCTV(30)가 PTZ CCTV(32)인 경우 CCTV 제어 모듈(46)의 제어 컨트롤러(115)로 PTZ를 제어할 수 있다.
도 6은 도 1에 나타낸 관제센터 화면의 다른 관제 소프트웨어 예시도로서, 태그 추적 서비스인 경우이다.
사용자 인터페이스(41)를 이용하여 추적하고자 하는 태그 ID를 설정하는 경우 전자명찰 인식정보 로그(114)에서 그 설정한 태그 ID의 위치정보 로그를 보여주고, 위치 정보를 클릭하면 지리정보 인터페이스(44)에 의해 맵 서비스와 연동하여 위치를 보여준다.
그리고 방범영역에 태그 ID가 진입하면 지그비 AP(20)에서 이를 인식하여 지그비 게이트웨이(50)에 전송하고 관제서버(40)에서는 그 방범영역에 설치된 CCTV(30)에서 촬영한 영상을 활성화하여 CCTV 채널 뷰어(111)에 출력한다.
이때 CCTV(32)가 PTZ를 지원할 경우 CCTV 제어 모듈(46)에서 태그의 위치에 맞게 CCTV의 방향을 제어한다.
도 7은 도 1에 나타낸 관제서버 화면의 또 다른 관제 소프트웨어 예시도로서, CCTV 영상 검색인 경우이다.
상기 검색엔진(45)은 태그 ID에 의한 로그를 검색하고(도면부호 116에서는 날짜별로 검색할 수 있음을 보여준다), 설정된 방범영역에 의한 태그 ID의 입출입 로그를 검색하여 검색결과를 검색 및 결과리스트(117)에 출력한다.
상기 검색 및 결과리스트(117)에서 하나를 선택할 경우 선택된 태그 ID를 감시한 CCTV의 기록 시점으로 타임라인이 설정되어 CCTV 저장영상 타임라인(118)에 출력하며, 이에 의해 바로 검색이 가능하다.
이때 태그 ID를 순차적으로 정렬할 경우 그 태그를 감시한 CCTV의 영상을 동영상 제어부(119)의 조작에 의해 순차적으로 조회하여 볼 수 있다.
도 8은 본 발명의 실시예에 따른 어린이 보호시스템의 구성도이다.
도시된 바와 같이, 전자명찰(10), 지그비 AP(20), CCTV 카메라(30), 관제서버(40), 지그비 게이트웨이(50), CCTV 영상 스토리지(90), DB서버(60), 웹서버(70), 보호자 PC(100), 모바일 서버(80), 보호자 모바일(120)을 포함하여 구성된다.
상기 전자명찰(10)은 도 9에 도시된 바와 같이 미도시된 고유의 ID를 포함하는 지그비 태그가 내장되며 전면에 로그나 사진(11)과 이름(14)이 표시되고 동작표시램프(13)와 응급호출 버튼(14)이 구비되며, 측면에는 충전단자(15)가 설치된다.
전자명찰(10), 지그비 AP(20), CCTV 카메라(30), 관제서버(40), 지그비 게이트웨이(50), CCTV 영상 스토리지(90), DB서버(60)에 대해서는 도 1에서 설명하였으므로 여기서는 설명을 약한다.
웹서버(70)는 보호자 PC(100)에서 인터넷을 이용해 관제서버(40)로부터 어린이 현재 위치와 동영상 정보를 확인하고, 이동 경로를 추적하며 알림장을 확인할 수 있도록 보호자 PC(100)에 인터넷 웹브라우저 환경을 제공한다.
모바일 서버(80)는 보호자 모바일(120)이 무선망을 통해 관제서버(40)로부터 등하교 정보를 수신하고 응급구호를 확인하며, 어린이 현재 위치와 동영상 정보를 확인할 수 있도록 보호자 모바일(120)에 모바일 웹브라우저 환경을 제공한다.
특히 모바일 서버(80)는 관제서버(40)로부터 문자메시지 발송 요청을 받으면, 그 상황에 맞도록 문자메시지를 가공하여 보호자 모바일(120)에 통지한다.
도 10a와 도 10b는 도 8의 시스템을 이용한 영상 모니터링 서비스의 예시 화면이다.
보호자 PC(70)에서 관제서버(40)에 접속하여 로그인을 통해 회원을 인증받고, 현재위치 확인 서비스를 요청하면 그 보호자의 어린이 태그 위치를 지도에 표시하여 나타내고(도 10a), 상기 태그가 CCTV(30)의 방범영역 내에 있는 경우 CCTV 영상 서비스를 선택하면 CCTV 영상을 실시간으로 보호자 PC(70)에 출력하여 보여준다(도 10b).
도 11a와 도11b는 도 8의 시스템을 이용한 위치 정보 모니터링 서비스의 예시 화면이다.
상기한 바와 같이 지그비 게이트웨이(50)는 지그비 AP(20)로부터 전자명찰(10)에 내장된 태그 ID의 위치정보를 수집하여 DB서버(60)에 저장 관리한다.
보호자 PC(70)에서 관제서버(40)에 접속하여 로그인을 통해 회원을 인증받고, 현재위치 확인 서비스를 요청하면 DB서버(60)에 저장된 그 보호자의 어린이 태그 위치를 지도에 표시하여 나타내고(도 11a), 여기서 이동 경로 서비스를 선택하면 상기 태그 ID의 로그 정보 추적을 통해 과거의 위치 정보를 확인하여 이동 경로를 실시간으로 보호자 PC(70)에 출력하여 보여준다(도 11b).
이때 태그 ID의 위치는 GIS(Geographic Information System)를 적용하여 매시-업(Mash-Up) 서비스로 제공된다.
도 12는 도 8의 시스템을 이용한 스마트 모바일 서비스를 설명하기 위한 도면이다.
보호자 모바일(120) 중 특히 스마트 모바일을 통해서 도 10과 도 11에 전술한 영상 모니터링 서비스와 위치 정보 모니터링 서비스를 이용할 수 있다.
또한, 학교의 정문에 설치된 지그비 AP(20)가 전자명찰(10)을 소지한 어린이가 학교의 정문을 통과할 경우 이를 인식하여 지그비 게이트웨이(50)에 전송하고, 관제서버(40)는 지그비 게이트웨이(50)에 전송된 지그비 AP(20)(지그비 AP마다 고유의 ID가 할당되어 있으므로 이 ID를 통해 학교의 정문에 설치되어 있음을 알 수 있음)의 전송 정보를 확인한다.
이에 의해 관제서버(40)는 등하교에 대한 문자메시지 전송을 모바일 서버(80)에 요청하고, 모바일 서버(80)는 등하교 상황에 맞도록 문자메시지를 가공하여 보호자 스마트 모바일(120)에 전송한다(도 13a).
또한, 어린이가 긴급한 상황이 발생하여 전자명찰(10)의 응급호출 버튼(14)을 누른 경우 지그비 게이트웨이(50)에서 응급호출을 감시하여 관제서버(40)에 알린다.
상기 관제서버(40)는 관제센터에 응급호출을 관리화면의 경고, 문자메시지, 경고램프 점등 등의 방식으로 알리고, 모바일 서버(80)에 응급상황에 대한 문자메시지 전송을 요청한다.
모바일 서버(80)는 응급 상황에 맞도록 문자메시지를 가공하여 보호자 스마트 모바일(120)에 전송하여 응급 상황이 발생했음을 보호자에게 통보하고(도 13b), 보호자는 이를 확인한 후 필요한 경우 관제센터의 상황실과 통화한다.
이와 같이 본 발명에 의하면 지그비 AP(20)의 위치정보와 CCTV(30)의 영상정보를 연계하여 전자명찰(10) 추적/감시 및 이동경로 조회, 저장된 CCTV 영상의 검색 등의 관제서비스를 제공할 수 있다.
또한 이를 통해 자녀(어린이) 등하교를 관리하고, 자녀 위치와 이동 경로를 확인할 수 있으며, 긴급한 상황인 경우 관제센터와 학부모에게 SMS가 발송되어 응급 상황에 빠르게 대처할 수 있다.
10: 전자명찰 20: 지그비 AP
30: CCTV 40: 관제서버
50: 지그비 게이트웨이 60: DB서버
70: 웹서버 80: 모바일 서버
90: CCTV 영상 스토리지 100: 보호자 PC
120: 보호자 모바일

Claims (18)

  1. 전자명찰에 내장된 지그비 태그의 정보를 인식하여 지그비 게이트웨이로 전송하는 지그비 AP와, 방범영역에 설치되어 촬영한 영상을 관제서버로 전송하는 CCTV와, 상기 지그비 AP와의 통신으로 전자명찰의 위치정보를 수집하여 DB화하는 지그비 게이트웨이 및 상기 전자명찰의 위치정보뿐만 아니라 방범영역에 설치된 CCTV 영상을 감시하고 관제하는 관제서버로 구성되는 ZigBee와 CCTV를 이용한 상황관제 시스템에 있어서;
    상기 관제서버는 지그비 AP, CCTV의 위치정보를 등록, 수정, 삭제하고, 태그의 위치를 모니터링 하는 로케이션 매니저와, 회원, 지그비 AP, CCTV, 태그의 프로필 정보를 등록, 수정, 삭제하는 프로필 매니저와, 상기 태그 및 CCTV 등 객체의 위치 표시를 위한 다양한 GIS 좌표 변환 및 위치 조회 인터페이스를 제공하는 지리정보 인터페이스와, 상기 회원, 지그비 AP, CCTV, 태그 등의 속성 정보를 이용하여 객체의 위치나 프로필, 저장된 보안감시 영상을 검색하는 검색 엔진과, 상기 CCTV의 등록된 프로필 정보를 통해 접속 및 PTZ(Pan Tilt Zoom) 제어, 영상 정보 수신을 관리하는 CCTV 제어 모듈과, 상기 CCTV 영상을 스케줄러 및 이벤트 기반으로 CCTV 영상 스토리지에 압축 저장하고 이를 디코딩하는 미디어 인코더/디코더로 구성되어,
    상기 관제서버는 추적하고자 하는 태그 ID가 설정된 경우 전자명찰 인식정보 로그에서 설정한 태그 ID의 위치정보 로그를 출력하고, 상기 위치정보를 선택하면 맵 서비스와 연동하여 지도에 위치를 표시하며,
    상기 검색엔진에서 설정된 태그 ID와, 설정된 방범영역에 의한 태그 ID의 입출입 로그를 검색하여 리스트를 출력하고 상기 리스트 중에서 하나를 선택하면, 선택된 태그 ID를 감시한 CCTV의 기록 시점으로 타임라인이 설정되고, 상기 태그 ID를 순차적으로 정렬하면 그 태그 ID를 감시한 CCTV의 영상을 순차적으로 조회하여 볼 수 있도록 하는 것을 특징으로 하는 ZigBee와 CCTV를 이용한 상황관제 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 지그비 게이트웨이는 전자명찰로부터 응급호출이 있거나, 위험지역으로 설정된 이벤트 존 위치에 태그가 인식될 경우 위험 상황을 인지하고 알림 기능을 수행하는 비상 디텍터와,
    상기 지그비 태그의 위치정보를 WGS 위경도 좌표로 변환하는 지리정보 인코더/디코더와,
    상기 지그비 AP에서 전송한 프레임 데이터를 파싱하여 AP 정보와 태그 정보를 분석하는 지그비 데이터 파서와,
    상기 분석된 프레임 정보에서 태그를 식별하여 회원 정보를 분석하는 태그 디텍터와,
    상기 지그비 AP에서 전송하는 데이터를 받기 위한 통신 연결 및 데이터 송수신, 오류 제어 기능을 수행하는 지그비 통신 데몬을 포함하는 것을 특징으로 하는 ZigBee와 CCTV를 이용한 상황관제 시스템.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 관제서버는 CCTV 영상 스토리지에 저장된 CCTV 영상에 대하여 전자명찰 인식정보 로그를 검색엔진으로 검색하여 그 인식정보에 따라 CCTV 영상을 자동 모니터링 하는 것을 특징으로 하는 ZigBee와 CCTV를 이용한 상황관제 시스템.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 관제서버는 방범영역에 설정 태그 ID가 진입하는 경우 그 방범영역에 설치된 CCTV에서 촬영한 영상을 활성화하여 화면에 출력하는 것을 특징으로 하는 ZigBee와 CCTV를 이용한 상황관제 시스템.
  8. 삭제
  9. 삭제
  10. 어린이가 소지하는 전자명찰에 내장된 지그비 태그의 정보를 인식하여 지그비 게이트웨이로 전송하는 지그비 AP와, 방범영역에 설치되어 촬영한 영상을 관제서버로 전송하는 CCTV와, 상기 지그비 AP와의 통신으로 전자명찰의 위치정보를 수집하여 DB화하는 지그비 게이트웨이와, 상기 전자명찰의 위치정보뿐만 아니라 방범영역에 설치된 CCTV 영상을 감시하고 관제하는 어린이보호 서비스를 제공하는 관제서버와, 인터넷을 통해 관제서버에 접속하여 어린이보호 서비스를 받을 수 있도록 보호자 PC에 인터넷 웹브라우저 환경을 제공하는 웹서버 및 무선망을 통해 관제서버에 접속하여 어린이보호 서비스를 받을 수 있도록 보호자 모바일에 모바일 웹브라우저 환경을 제공하는 모바일 서버를 포함하는 ZigBee와 CCTV를 이용한 어린이보호 시스템에 있어서;
    상기 관제서버는 지그비 AP, CCTV의 위치정보를 등록, 수정, 삭제하고, 태그의 위치를 모니터링 하는 로케이션 매니저와, 회원, 지그비 AP, CCTV, 태그의 프로필 정보를 등록, 수정, 삭제하는 프로필 매니저와, 상기 태그 및 CCTV 등 객체의 위치 표시를 위한 다양한 GIS 좌표 변환 및 위치 조회 인터페이스를 제공하는 지리정보 인터페이스와, 상기 회원, 지그비 AP, CCTV, 태그 등의 속성 정보를 이용하여 객체의 위치나 프로필, 저장된 보안감시 영상을 검색하는 검색 엔진과, 상기 CCTV의 등록된 프로필 정보를 통해 접속 및 PTZ(Pan Tilt Zoom) 제어, 영상 정보 수신을 관리하는 CCTV 제어 모듈과, 상기 CCTV 영상을 스케줄러 및 이벤트 기반으로 CCTV 영상 스토리지에 압축 저장하고 이를 디코딩하는 미디어 인코더/디코더로 구성되어,
    상기 관제서버는 상기 보호자 PC나 보호자 모바일에서 관제서버에 접속하여 로그인을 통해 회원을 인증받고, 현재위치 확인 서비스를 요청하면 그 보호자의 어린이 태그 위치를 지도에 표시하여 나타내고, 상기 태그가 CCTV의 방범영역 내에 있는 경우 CCTV 영상 서비스를 선택하면 CCTV 영상을 실시간으로 보호자 PC나 보호자 모바일에 출력하며,
    상기 지그비 태그 위치가 지도에 표시된 화면에서 이동 경로 서비스를 선택하면 상기 태그 ID의 로그 정보 추적을 통해 과거의 위치 정보를 확인하여 이동 경로를 지도에 나타내는 것을 특징으로 하는 ZigBee와 CCTV를 이용한 어린이보호 시스템.
  11. 삭제
  12. 제 10 항에 있어서,
    상기 지그비 게이트웨이는 전자명찰로부터 응급호출이 있거나, 위험지역으로 설정된 이벤트 존 위치에 태그가 인식될 경우 위험 상황을 인지하고 알림 기능을 수행하는 비상 디텍터와,
    상기 지그비 태그의 위치정보를 WGS 위경도 좌표로 변환하는 지리정보 인코더/디코더와,
    상기 지그비 AP에서 전송한 프레임 데이터를 파싱하여 AP 정보와 태그 정보를 분석하는 지그비 데이터 파서와,
    상기 분석된 프레임 정보에서 태그를 식별하여 회원 정보를 분석하는 태그 디텍터와,
    상기 지그비 AP에서 전송하는 데이터를 받기 위한 통신 연결 및 데이터 송수신, 오류 제어 기능을 수행하는 지그비 통신 데몬을 포함하는 것을 특징으로 하는 ZigBee와 CCTV를 이용한 어린이보호 시스템.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
KR1020100016329A 2010-02-23 2010-02-23 ZigBee와 CCTV를 이용한 상황관제 시스템과 어린이보호 시스템 KR100982398B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100016329A KR100982398B1 (ko) 2010-02-23 2010-02-23 ZigBee와 CCTV를 이용한 상황관제 시스템과 어린이보호 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100016329A KR100982398B1 (ko) 2010-02-23 2010-02-23 ZigBee와 CCTV를 이용한 상황관제 시스템과 어린이보호 시스템

Publications (1)

Publication Number Publication Date
KR100982398B1 true KR100982398B1 (ko) 2010-09-14

Family

ID=43010160

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100016329A KR100982398B1 (ko) 2010-02-23 2010-02-23 ZigBee와 CCTV를 이용한 상황관제 시스템과 어린이보호 시스템

Country Status (1)

Country Link
KR (1) KR100982398B1 (ko)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101114989B1 (ko) 2010-11-11 2012-03-06 (주)유비쿼터스통신 전자발찌 감응형 cctv용 카메라를 이용한 성폭력범죄자 감시 시스템
WO2012093744A1 (ko) * 2011-01-07 2012-07-12 주식회사 리테일테크 Rfid 기술 및 영상 기술을 통합한 동선 분석 시스템 및 그 방법
KR101186733B1 (ko) 2010-12-03 2012-09-28 에스케이씨앤씨 주식회사 위치 궤적 정보 및 카메라 촬영 정보를 제공하는 시스템
KR101199418B1 (ko) * 2010-10-14 2012-11-09 성균관대학교산학협력단 Cctv를 이용한 안전감시 시스템 및 이를 이용한 안전감시 서비스 제공방법
KR101211366B1 (ko) 2011-01-19 2012-12-13 주식회사 오아이티 전자발찌 착용자에 대한 영상 감시 시스템 및 방법
KR101272229B1 (ko) * 2013-01-04 2013-06-11 주식회사 미래엔에스 Gis 기반의 경로 이동에 따른 cctv 관제 시스템 및 그 방법
KR101303680B1 (ko) * 2013-05-03 2013-09-04 김범준 세이프존 운영 시스템
KR101336825B1 (ko) 2013-04-19 2013-12-04 주원통신 주식회사 학교폭력 및 범죄 예방을 위한 감시시스템
KR101349773B1 (ko) 2012-07-11 2014-01-10 전자부품연구원 위치 추적 서비스 제공방법 및 이를 적용한 위치 추적 시스템
KR101482658B1 (ko) * 2014-05-07 2015-01-15 주식회사 이도링크 사회적 약자를 위한 스마트 위치 관리시스템
KR101584983B1 (ko) 2014-05-16 2016-01-13 허성민 비콘 기반 미싱 객체 찾기 시스템, 미싱 객체 찾기 방법, 그 컴퓨터 프로그램 및 미싱 객체 찾기 서버
KR101831075B1 (ko) * 2016-12-27 2018-02-21 삼육대학교산학협력단 피사체의 이동 경로 추적 시스템 및 방법
KR101936390B1 (ko) * 2017-12-26 2019-04-03 주식회사 플랜티넷 Cctv 기반의 트래킹 서비스 제공 방법 및 장치
KR20190127101A (ko) * 2018-05-03 2019-11-13 (주)그린아이티코리아 클라우드 기반 보안 서비스 시스템 및 방법
KR102043923B1 (ko) * 2018-07-06 2019-12-02 주식회사 이송 휴대용 iot센서 기반 보안방범 관제시스템 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007042009A (ja) * 2005-08-05 2007-02-15 Hitachi Ltd 地域防犯システム、無線タグ付名札および監視装置
KR20080097256A (ko) * 2007-02-26 2008-11-05 박창영 전파식별(알에프아이디)를 활용한 미아 방지용 위치추적시스템
KR20090131021A (ko) * 2008-06-17 2009-12-28 주식회사 지오시스 가로등 시설물을 활용한 도시 안전 및 관리 시스템 및 그의제어방법
KR20100010548A (ko) * 2008-07-23 2010-02-02 강찬민 아동 범죄 예방 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007042009A (ja) * 2005-08-05 2007-02-15 Hitachi Ltd 地域防犯システム、無線タグ付名札および監視装置
KR20080097256A (ko) * 2007-02-26 2008-11-05 박창영 전파식별(알에프아이디)를 활용한 미아 방지용 위치추적시스템
KR20090131021A (ko) * 2008-06-17 2009-12-28 주식회사 지오시스 가로등 시설물을 활용한 도시 안전 및 관리 시스템 및 그의제어방법
KR20100010548A (ko) * 2008-07-23 2010-02-02 강찬민 아동 범죄 예방 시스템

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101199418B1 (ko) * 2010-10-14 2012-11-09 성균관대학교산학협력단 Cctv를 이용한 안전감시 시스템 및 이를 이용한 안전감시 서비스 제공방법
KR101114989B1 (ko) 2010-11-11 2012-03-06 (주)유비쿼터스통신 전자발찌 감응형 cctv용 카메라를 이용한 성폭력범죄자 감시 시스템
KR101186733B1 (ko) 2010-12-03 2012-09-28 에스케이씨앤씨 주식회사 위치 궤적 정보 및 카메라 촬영 정보를 제공하는 시스템
WO2012093744A1 (ko) * 2011-01-07 2012-07-12 주식회사 리테일테크 Rfid 기술 및 영상 기술을 통합한 동선 분석 시스템 및 그 방법
KR101211366B1 (ko) 2011-01-19 2012-12-13 주식회사 오아이티 전자발찌 착용자에 대한 영상 감시 시스템 및 방법
KR101349773B1 (ko) 2012-07-11 2014-01-10 전자부품연구원 위치 추적 서비스 제공방법 및 이를 적용한 위치 추적 시스템
KR101272229B1 (ko) * 2013-01-04 2013-06-11 주식회사 미래엔에스 Gis 기반의 경로 이동에 따른 cctv 관제 시스템 및 그 방법
WO2014107071A1 (ko) * 2013-01-04 2014-07-10 (주)미래엔에스 Gis 기반의 경로 이동에 따른 cctv 관제 시스템 및 그 방법
KR101336825B1 (ko) 2013-04-19 2013-12-04 주원통신 주식회사 학교폭력 및 범죄 예방을 위한 감시시스템
KR101303680B1 (ko) * 2013-05-03 2013-09-04 김범준 세이프존 운영 시스템
KR101482658B1 (ko) * 2014-05-07 2015-01-15 주식회사 이도링크 사회적 약자를 위한 스마트 위치 관리시스템
KR101584983B1 (ko) 2014-05-16 2016-01-13 허성민 비콘 기반 미싱 객체 찾기 시스템, 미싱 객체 찾기 방법, 그 컴퓨터 프로그램 및 미싱 객체 찾기 서버
KR101831075B1 (ko) * 2016-12-27 2018-02-21 삼육대학교산학협력단 피사체의 이동 경로 추적 시스템 및 방법
KR101936390B1 (ko) * 2017-12-26 2019-04-03 주식회사 플랜티넷 Cctv 기반의 트래킹 서비스 제공 방법 및 장치
KR20190127101A (ko) * 2018-05-03 2019-11-13 (주)그린아이티코리아 클라우드 기반 보안 서비스 시스템 및 방법
KR102093650B1 (ko) * 2018-05-03 2020-03-26 (주)그린아이티코리아 클라우드 기반 보안 서비스 시스템 및 방법
KR102043923B1 (ko) * 2018-07-06 2019-12-02 주식회사 이송 휴대용 iot센서 기반 보안방범 관제시스템 및 그 방법

Similar Documents

Publication Publication Date Title
KR100982398B1 (ko) ZigBee와 CCTV를 이용한 상황관제 시스템과 어린이보호 시스템
EP3033742B1 (en) System and method for video/audio and event dispatch using positioning system
US8624727B2 (en) Personal safety mobile notification system
US8665089B2 (en) Personal safety mobile notification system
US20190197369A1 (en) Method, device, and system for adaptive training of machine learning models via detected in-field contextual incident timeline entry and associated located and retrieved digital audio and/or video imaging
US20160309123A1 (en) Neighborhood camera linking system
US11587417B2 (en) Object tracking using disparate monitoring systems
US20220353639A1 (en) System and method for tracking locations of students within school buildings
US20140118140A1 (en) Methods and systems for requesting the aid of security volunteers using a security network
US20150230072A1 (en) Personal safety mobile notification system
US20130329047A1 (en) Escort security surveillance system
KR102039277B1 (ko) 보행자 얼굴 인식 시스템 및 그 방법
JP2012511719A (ja) Rfidタグを用いた位置確認システム
KR20100010325A (ko) 객체 추적 방법
CN103473579A (zh) 室内区域定位方法
KR101137451B1 (ko) 지능형 영상추적 방법
KR101548729B1 (ko) 안심 귀가 서비스 제공 방법
KR101372327B1 (ko) 스쿨존 안전관리 시스템 및 그 제공방법
KR101863846B1 (ko) 이벤트 감지 및 현장 사진 정보 제공 방법 및 시스템
US20230274552A1 (en) Image-surveilled security escort
KR101954441B1 (ko) IoT 기반 노인시설 관리 서비스 제공 시스템 및 방법
KR101686851B1 (ko) Cctv 카메라를 이용한 통합 관제 시스템
KR101104081B1 (ko) 보호자가 참여하는 안심 보호 시스템
JP2006146432A (ja) 警備システム
US20230274551A1 (en) Image-surveilled security escort

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130906

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140911

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150908

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170417

Year of fee payment: 7

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20170908

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180910

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190909

Year of fee payment: 10