KR101342448B1 - 원격 감시 장치와 그 방법 - Google Patents

원격 감시 장치와 그 방법 Download PDF

Info

Publication number
KR101342448B1
KR101342448B1 KR1020130074959A KR20130074959A KR101342448B1 KR 101342448 B1 KR101342448 B1 KR 101342448B1 KR 1020130074959 A KR1020130074959 A KR 1020130074959A KR 20130074959 A KR20130074959 A KR 20130074959A KR 101342448 B1 KR101342448 B1 KR 101342448B1
Authority
KR
South Korea
Prior art keywords
emergency
signal
broadcast
outputting
automatic warning
Prior art date
Application number
KR1020130074959A
Other languages
English (en)
Inventor
박한영
Original Assignee
박한영
주식회사 에스엔케이미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박한영, 주식회사 에스엔케이미디어 filed Critical 박한영
Priority to KR1020130074959A priority Critical patent/KR101342448B1/ko
Application granted granted Critical
Publication of KR101342448B1 publication Critical patent/KR101342448B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/10Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 원격 감시 장치와 그 방법에 관한 것으로, 적어도 하나 이상의 감지 센서들로 구성된 감지기, 상기 감지로부터 검출된 감지정보를 분석하여 비상상황 발생을 판단하고 비상상황 발생신호를 출력하는 입력 프로세싱 모듈, 상기 비상상황 발생신호에 따라 자동경고방송을 수행하는 제어부, 및 상기 자동경고방송 내용을 증폭하여 스피커를 통해 출력하는 파워 앰프 모듈을 포함한다.

Description

원격 감시 장치와 그 방법{REMOTE MONITORING APPARATUS AND THE METHOD THEREOF}
본 발명은 원격 감시 장치와 그 방법에 관한 것으로, 보다 상세하게는 가정이나 사무실 등에 자가 설치된 감시 장치를 통해 화재 발생, 가스 누출, 도둑 침입과 같은 비상상황을 원격 감시하고, 그 비상상황에 해당하는 경고 방송을 자동으로 수행할 수 있도록 하는 원격 감시 장치와 그 방법에 관한 것이다.
최근 여러 분야에서 영상감시장치(CCTV)가 많이 사용되고 있다.
예컨대 빌딩의 주차장이나 외벽, 엘리베이터, 공공 지역, 또는 위험 지역에 영상감시장치를 설치하고, 상기 영상감시장치에서 촬영되는 영상은 관리실에 설치된 모니터를 통해 디스플레이되며, 동시에 녹화장치를 통해서 녹화가 수행된다.
그리고 관리실에 있는 감시자가 모니터를 보며 비상상황이 발생하는지를 감시하고 그 비상상황에 대처할 수 있도록 한다.
그러나 상기와 같은 종래의 영상감시장치는 항상 감시자가 촬영 영상을 실시간으로 모니터링하고 있으면서 비상상황을 감시해야 하며, 또한 영상감시장치와 녹화장치가 라인을 통해 직접적으로 연결되어 있어야 하고, 또한 감시자로부터 개인 사생활을 보호하기 위해서 가정 내부에는 영상감시장치를 설치할 수 없는 문제점이 있다.
따라서 사생활을 보호하기 위하여 원격지에서도 사용자가 직접 촬영영상을 감시하면서, 그 촬영영상을 원격지에서도 녹화 가능하게 함으로써 데이터를 안전하게 보호할 수 있도록 하며, 사용자가 실시간 감시를 수행하지 않더라도 비상상황이 발생할 경우에는 이를 자동으로 검출하여 그 비상상황에 자동으로 대응할 수 있도록 하는 장치가 절실히 필요한 상황이다.
본 발명의 배경기술은 대한민국 공개특허 10-2010-0019830호(2010.02.19.공개, 원격 감시 장치 및 그 방법)에 개시되어 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 상세하게는 가정이나 사무실 등에 자가 설치된 감시 장치를 통해 화재 발생, 가스 누출, 도둑 침입과 같은 비상상황을 원격 감시하고, 그 비상상황에 대응하여 경고 방송을 자동으로 수행할 수 있도록 하는 원격 감시 장치와 그 방법을 제공하는데 목적이 있다.
또한 본 발명은 감시 장치를 통해 비상상황을 실시간으로 자동 감시 및 검출하고, 그 비상상황에 대응하는 동작을 자동으로 수행할 수 있도록 하는 원격 감시 장치와 그 방법을 제공하는데 목적이 있다.
또한 본 발명은 감시 장치를 통해 촬영되는 영상을 미리 지정된 사용자나 단말기에 한해서 원격지에서도 상기 촬영영상을 모니터링 할 수 있도록 하는 원격 감시 장치와 그 방법을 제공하는데 목적이 있다.
또한 본 발명은 감시 장치를 통해 검출되는 정보들을 미리 지정된 단말기에 전송하여 저장하게 하거나, 미리 지정된 사용자별 클라우드 서버의 계정에 자동으로 저장하여 데이터를 안전하게 보호할 수 있도록 하는 원격 감시 장치와 그 방법을 제공하는데 목적이 있다.
본 발명의 일 측면에 따른 원격 감시 및 경고 방송 장치는, 적어도 하나 이상의 감지 센서들로 구성된 감지기; 상기 감지로부터 검출된 감지정보를 분석하여 비상상황 발생을 판단하고 비상상황 발생신호를 출력하는 입력 프로세싱 모듈; 상기 비상상황 발생신호에 따라 자동경고방송을 수행하는 제어부; 및 상기 자동경고방송 내용을 증폭하여 스피커를 통해 출력하는 파워 앰프 모듈;을 포함하는 것을 특징으로 한다.
본 발명은 상기 입력 프로세싱 모듈의 제어에 따라, 영상을 촬영하여 적어도 하나 이상의 카메라;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서 상기 감지기는, 화재, 창문 열림, 도어벨, 연기, 가스누출, 접근, 진동, 충격, 소음, 열을 감지하는 센서들 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.
본 발명은 카메라를 이용해 촬영한 영상을 분석하여, 새로운 피사체가 나타나거나 기존의 피사체가 이동하는지 감시하는 모션 검출부;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 입력 프로세싱 모듈은, 상기 감지정보의 분석을 통해 비상상황의 종류 및 비상상황의 단계;를 판단하고, 상기 비상상황 종류 정보와 비상상황 단계 정보를 포함하는 비상상황 발생신호를 출력하는 것을 특징으로 한다.
본 발명은 카메라를 이용해 촬영한 영상 데이터 및 비상상황 발생신호를 유무선 통신망을 통해 외부장치에 출력하는 네트워크 제어모듈 및 모바일 제어모듈;을 더 포함하는 것을 특징으로 한다.
본 발명에 있어서 상기 제어부는, 상기 비상상황 발생신호에 따라, 비상상황의 종류나 비상상황의 단계에 대응하여 미리 저장된 경고방송 내용을 이용하여 자동경고방송을 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 경고방송의 내용은 음성 멘트, 사이렌, 음악, 또는 특정 경고음 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 비상상황의 단계에 따라 경고방송의 강도를 조절하며,상기 경고방송의 강도는 볼륨의 크기를 증가하거나 감소시키고, 방송 내용도 변경시키는 것을 특징으로 한다.
본 발명에 있어서 상기 제어부는, 외부장치를 통해 입력된 사용자의 음성을 유무선 통신망을 통해 수신하여 실시간 경고방송을 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 입력 프로세싱 모듈은, 카메라를 이용해 촬영한 영상 데이터 및 비상상황 발생신호를 내부 메모리, 외부장치, 클라우드 서버의 사용자 계정 중 적어도 어느 하나 이상에 전송 및 저장하는 것을 특징으로 한다.
본 발명은 정전, 강제 전원차단, 화재에 의한 전원차단 시 동작 전원을 제공하기 위한 배터리; 및 충전 수단;을 더 포함하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 원격 감시 및 경고 방송 방법은, 적어도 하나 이상의 감지신호를 검출하는 단계; 상기 감지정보를 분석하여 비상상황 발생을 판단하고 비상상황 발생신호를 출력하는 단계; 상기 비상상황 발생신호에 따라 자동경고방송을 수행하는 단계; 상기 자동경고방송 내용을 증폭하여 스피커를 통해 출력하는 단계;를 포함하는 것을 특징으로 한다.
본 발명은 적어도 하나 이상의 주변 영상을 촬영하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명은 카메라를 이용해 촬영한 영상을 분석하여, 새로운 피사체가 나타나거나 기존의 피사체가 이동하는지 감시하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명은 상기 감지정보의 분석을 통해 비상상황의 종류 및 비상상황의 단계;를 더 포함하고, 상기 비상상황 종류 정보와 비상상황 단계 정보를 포함하여 비상상황 발생신호를 출력하는 것을 특징으로 한다.
본 발명에 있어서, 상기 자동경고방송은, 상기 비상상황 발생신호에 따라, 비상상황의 종류나 비상상황의 단계에 대응하여 미리 저장된 경고방송 내용을 이용하여 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 자동경고방송은, 비상상황의 단계에 따라 경고방송의 강도를 조절하며, 상기 경고방송의 강도는 볼륨의 크기를 증가하거나 감소시키고, 방송 내용도 변경시키는 것을 포함하는 것을 특징으로 한다.
본 발명은 가정이나 사무실 등에 자가 설치된 감시 장치 통해 화재 발생, 가스 누출, 도둑 침입과 같은 비상상황을 실시간으로 자동 감시 및 검출하고, 그 비상상황에 대응하여 경고 방송과 같은 대응동작을 자동으로 수행할 수 있도록 하며, 감시 장치를 통해 촬영되는 영상을 미리 지정된 사용자나 단말기에 한해서 원격지에서도 상기 촬영영상을 모니터링 할 수 있도록 함으로써 사용자의 편의성을 향상시키고 사생활을 보호할 수 있도록 하며, 감시 장치를 통해 검출되는 정보들을 미리 지정된 단말기나 사용자별 클라우드 서버의 계정에 저장함으로써 비상상황으로부터 데이터를 안전하게 보호할 수 있도록 한다.
또한 별도의 녹화장치를 설치하거나 연결하지 않아도 되므로 저렴한 비용으로 설치가 가능하고, 사용자(또는 가입자)가 직접 감시자의 역할을 수행하므로 사생활을 보호하며 유지비용을 절감할 수 있도록 하며, 필요시에는 언제 어디서나 원격으로 실시간 감시와 방송(자동방송, 사용자가 직접방송)이 가능하며, 비상상황 발생 시 빠르게 대응할 수 있도록 함으로써 재산의 피해를 최소화시킬 수 있도록 하고, 도둑이 침입할 경우에도 그 도둑과의 직접 대면을 방지하여 인명사고를 예방할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 원격 감시 장치의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 원격 감시 방법을 설명하기 위한 흐름도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 원격 감시 장치와 그 방법의 일 실시예를 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 원격 감시 장치의 개략적인 구성을 보인 예시도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 원격 감시 및 경고 방송 장치는 적어도 하나 이상의 카메라(110 ~ 130), 감지기(210), 입력 프로세싱 모듈(310), 모션 감지부(320), 키제어 모듈(330), 네트워크 제어모듈(410), 모바일 제어모듈(420), 제어부(510), 파워 앰프 모듈(520)을 포함한다.
또한 본 발명의 일 실시예에 따른 원격 감시 및 경고 방송 장치에 연동하여, 상기 원격 감시 및 경고 방송 장치에서 전송된 정보를 출력하거나, 상기 원격 감시 및 경고 방송 장치를 원격으로 제어할 수 있는 외부장치(600, 810, 820)을 포함한다.
이때 상기 원격 감시 및 경고 방송 장치와 외부장치(600, 810, 820)은 유무선 통신망(700)을 통하여 연결된다. 상기 유무선 통신망(700)은 랜(LAN)과 같은 이더넷 통신망, 근거리 무선통신망(예 : 블루투스, NFC, 적외선 등), 및 원거리 무선통신망(예 : WiFi, 3G/4G 이동통신망 등)을 포함한다.
상기 외부장치(600, 810, 820)은 적어도 컴퓨터(600) 또는 스마트 기기(810, 820)를 포함한다.
상기 컴퓨터(600)는 사용자의 음성입력을 위한 마이크로폰(610), 상기 원격 감시 및 경고 방송 장치에서 전송된 정보(예 : 영상, 음성 등)를 출력하기 위한 모니터(또는 스피커)(620), 상기 무선 통신망(700)에 접속하기 위한 네트워크 제어부(630)를 포함한다.
상기 스마트 기기(810, 820)는 음성 및 영상의 입출력 수단(미도시)이 구비된 스마트폰, 스마트 패드, 모바일 단말기, 및 휴대폰 등을 포함한다. 상기 스마트 기기의 장점은 필요한 응용 프로그램(APP)을 만들어 설치할 수 있다는 점이다. 따라서 본 발명의 일 실시예에 따른 원격 감시 및 경고 방송 장치와 송수신되는 정보(또는 데이터)를 입출력할 수 있는 응용 프로그램(APP)의 설치와 수정이 가능하다는 점이다.
따라서 이하 본 발명의 상세한 설명에서는 본 발명의 요지를 흐릴 수 있는 상기 외부장치(600, 810, 820) 및 유무선 통신망(700)의 구체적 구성에 대한 설명은 생략하고, 본 발명에 따른 원격 감시 및 경고 방송 장치와의 연동 동작을 중심으로 설명하기로 한다.
상기 적어도 하나 이상의 카메라(110 ~ 130)는 이미지 센서를 포함하여 구성되는 것으로, 아날로그 또는 디지털 영상을 출력한다. 상기 카메라(110 ~ 130)에서 촬영한 영상은 휘도신호(Y : Luminance)와 색차신호(C : Chrominance)를 동기신호와 블랭킹 신호로 혼합하여 합성된 범용 영상이다.
상기 감지기(210)는 화재발생, 창문 열림, 도어벨, 연기, 가스누출, 접근, 진동, 충격, 소음, 열감지 등을 위한 적어도 하나 이상의 센서들을 포함하여 구성된다. 상기 감지기(210)는 상기 각각의 센서에서 출력된 감지신호(또는 감지정보)를 입력 프로세싱 모듈(310)로 출력한다.
상기 감지신호(또는 감지정보)에는 센서 정보(센서의 아이디 정보)를 포함할 수 있다. 따라서 상기 입력 프로세싱 모듈(310)은 상기 감지신호(또는 감지정보)가 어떤 센서로부터 발생된 정보(즉, 정보의 종류)인지를 판별할 수 있다.
상기 입력 프로세싱 모듈(310)은 상기 카메라(110 ~ 130)에서 촬영된 영상 데이터 및 상기 감지기(210)에서 검출된 감지정보를 입력받는다.
상기 입력 프로세싱 모듈(310)은 상기 영상 데이터 및 감지정보를 분석하고, 그 정보의 종류에 해당하는 처리 작업을 수행한다. 예컨대 상기 카메라부(110 ~ 130)에서 획득한 영상 데이터가 아날로그 영상인 경우 미리 정해진 규격의 디지털 영상으로 변환한다. 그리고 상기 디지털 영상을 모션 검출부(320)에 전송하여 움직임이 있는지 검출하도록 한다.
상기 모션 검출부(320)는 상기 입력 프로세싱 모듈(310)로부터 전송받은 디지털 영상의 각각의 프레임에서 휘도신호(Y)와 색차신호(C)를 비교 분석한 후, 상기 각각의 프레임의 변화 시, 상기 각 휘도신호 및 상기 색차신호의 변화량을 계산하고, 상기 계산된 휘도신호 및 상기 색차신호의 변화량으로부터 개별 영상변화율을 추출하여 피감시물의 동작을 감시한다. 즉, 새로운 피사체가 나타나거나 기존의 피사체가 이동하는지를 감시한다.
상기 모션 검출부(320)는 상기 영상 데이터의 분석을 통해, 각각의 영상 프레임으로부터 모션(움직임)이 검출될 경우, 모션 검출 신호를 상기 입력 프로세싱 모듈(310) 및 키제어 모듈(330)로 전송한다.
상기 키제어 모듈(330)은 검출할 비상상황의 종류와 단계를 설정한다.
이에 따라, 상기 입력 프로세싱 모듈(310)은 상기 모션 검출부(320)로부터 전송된 모션 검출 신호와 상기 감지기(210)로부터 전송된 감지신호를 크로스 체크하여 모션(움직임)이 감지되는지 판별한다. 즉, 모션(움직임) 발생을 이중으로 감시함으로써 모션 감지 오류를 최소화하고 정확도를 향상시킨다.
상기 입력 프로세싱 모듈(310)은 상기 감지정보의 분석을 통해 화재발생, 창문 열림, 도어벨, 연기, 가스누출, 접근, 진동, 충격, 소음, 열이 미리 설정된 기준치 이상으로 감지되는지 판별한다. 그리고 상기 입력 프로세싱 모듈(310)은 상기 감지정보가 미리 설정된 기준치 이상으로 감지될 경우 비상상황(즉, 미리 설정된 다양한 비상상황들 중 어느 하나의 비상상황)이 발생한 것으로 판단할 수 있다.
상기 입력 프로세싱 모듈(310)은 상기 판단된 비상상황의 종류를 나타내는 정보를 포함하여 비상상황 발생신호를 출력한다. 또한 동일한 종류의 비상상황인 경우, 비상상황의 강도(또는 단계)를 나타내는 정보를 더 포함하여 비상상황 발생정보를 출력할 수도 있다.
상기 입력 프로세싱 모듈(310)은 상기 카메라(110 ~ 130)에서 촬영된 영상 데이터 및 상기 비상상황 발생신호를 네트워크 제어모듈(410) 및 모바일 제어모듈(420)로 출력한다. 상기 네트워크 제어모듈(410) 및 상기 모바일 제어모듈(420)은 상기 영상 데이터 및 상기 비상상황 발생신호를 외부장치(600, 810, 820)에 출력한다.
그리고 상기 네트워크 제어모듈(410)은 상기 외부장치(600, 810, 820)로부터 수신받은 정보 및 상기 입력 프로세싱 모듈(310)로부터 전달받은 정보(예 : 비상상황 발생신호)를 제어부(510)로 전송한다.
상기 제어부(510)는 상기 입력 프로세싱 모듈(310)로부터 전달받은 정보(예 : 비상상황 발생신호)로부터 그 비상상황에 대응하여 미리 설정된 경고방송을 자동으로 출력한다.
상기 비상상황의 종류에 대응하는 경고방송의 내용은 내부 메모리(미도시)에 디폴트로 저장될 수 있으며, 사용자에 의해 수정되거나 추가될 수도 있다. 상기 경고방송의 내용은 음성 멘트, 사이렌, 음악, 또는 특정 경고음을 포함한다. 상기 경고방송의 내용은 다양한 사운드 파일(예 : MP3, wave 등) 형식으로 저장될 수 있다.
상기 제어부(510)에서 출력하는 경고방송은 파워앰프 모듈(520)를 통해 증폭되어 스피커(SPK)로 출력한다. 상기 파워앰프 모듈(520)은 효율이 90% 이상의 D 클래스를 활용하여 장치의 경량화 및 소형화를 이룰 수 있다.
예컨대 누군가가 근처에 접근하는 것이 감지될 경우, 상기 제어부(510)는 텔레비전이나 음악과 같은 사운드를 자동으로 출력하여 사람이 있음을 간접적으로 경고할 수 있고, 그럼에도 불구하고 계속 누군가의 접근이 감지될 경우에는 경고방송의 강도를 더 높여 출력할 수 있다. 상기 경고방송의 강도는 볼륨의 크기가 비상상황의 강도(또는 단계)에 따라 증가(또는 감소)하거나, 방송 내용이 비상상황의 강도(또는 단계)에 따라 변경되는 것을 포함한다.
상기 제어부(510)는 외부장치(600, 810, 820)를 통해 사용자가 입력한 음성을 상기 모바일 제어모듈(420) 및 네트워크 제어모듈(410)을 통해 전달받아 그 음성을 경고방송으로 출력할 수 있다.
상기 제어부(510)는 상기 사용자의 음성을 출력하면서 상기 미리 저장된 경고방송의 내용(음성 멘트, 사이렌, 음악, 또는 특정 경고음 등)을 배경으로 출력할 수 있으며, 상기 외부장치(600, 810, 820)를 통해 원격으로 선택한 경고방송 내용(음성 멘트, 사이렌, 음악, 또는 특정 경고음 등)을 출력할 수 있다.
또한 도면으로 도시하지는 않았으나, 마이크 수단(미도시)을 통해 주변의 사운드나 침입자의 음성을 입력받을 수 있으며, 상기 주변 사운드나 침입자의 음성을 외부장치(600, 810, 820)에 저장 및 전송할 수 있다. 이에 따라 사용자와 침입자(또는 방문자)간에 실시간 대화도 가능하게 한다.
또한 상기 입력 프로세싱 모듈(310)은 상기 카메라(110 ~ 130) 및 감지기(210)로부터 감지된 정보(또는 데이터)들을 상기 네트워크 제어모듈(410) 및 모바일 제어모듈(420)을 통해서 미리 설정된 외부장치(600, 810, 820) 및 클라우드 서버의 사용자 계정(미도시)에 전송하여 저장할 수 있다.
이때 상기 입력 프로세싱 모듈(310)은 상기 영상 데이터에 상기 감지기(210)에서 검출된 감지정보, 상기 비상상황 종류, 및 상기 비상상황 단계 정보를 합성할 수 있다. 그리고 상기 여러 가지 정보들(예 : 비상상황 발생시간, 감지정보, 상기 비상상황 종류, 및 상기 비상상황 단계 정보, 경고방송 정보, 주변 사운드, 음성 등)이 합성된 영상 데이터 외부장치(600, 810, 820)에 전송 및 저장할 수 있다.
또한 상기 입력 프로세싱 모듈(310)은 비상상황이 발생할 경우, 비상상황 발생신호 및 상기 경보방송을 외부장치(600, 810, 820)에도 전송할 수 있다.
상기와 같이 비상상황 발생신호 및 상기 경보방송을 외부장치(600, 810, 820)에 전송함으로써, 사용자가 지속적인 감시를 실시간으로 수행하지 않더라도, 필요할 경우(즉, 비상상황이 발생할 경우)에만 영상을 모니터링 할 수 있도록 함으로써 사용자의 편의성을 향상시킨다.
그리고 상기 비상상황 발생신호를 수신한 사용자는 외부장치(600, 810, 820)를 이용해 실시간으로 카메라(110 ~ 130)를 통해 입력되는 영상을 모니터링하면서 적절히 대응할 수 있도록 하며, 만약 실시간 대응이 어려울 경우, 상기 원격으로 외부장치(600, 810, 820)에 저장된 영상을 확인하여 추후에라도 그 비상상황을 파악하여 적절히 대응할 수 있도록 한다.
또한 본 발명에 따른 원격 감시 및 경고 방송 장치는 정전시 또는 외부 침입자(또는 방문자)에 의한 전원차단, 화재에 의한 전원차단 시 자동으로 실시간 경고 안내방송이 가능하도록 내부 전원 수단(예 : 배터리)(미도시) 및 충전 수단(미도시)을 포함할 수 있다.
이하 본 발명의 일 실시예에 따른 원격 감시 및 경고 방송 방법을 설명한다.
도 2는 본 발명의 일 실시예에 따른 원격 감시 방법을 설명하기 위한 흐름도이다.
도 2에 도시된 바와 같이, 이벤트가 발생할 경우(S101), 즉, 비상상황이 발생할 경우, 상기 입력 프로세싱 모듈(310)은 감지기(210)에서 발생하는 신호를 감지한다(S102). 즉, 비상상황이 발생한 것을 판단한다.
상기 입력 프로세싱 모듈(310)은 상기 감지된 신호(또는 감지정보)를 분석하여 비상상황의 종류 및 비상상황의 단계를 판단할 수 있다.
상기 입력 프로세싱 모듈(310)은 상기 카메라(110 ~ 130)를 모션 감지를 위한 수단으로 사용할 수 있으나, 본 실시예와 같이 상기 감지기(210)를 통해 비상상황이 감지될 경우, 상기 카메라(110 ~ 130)를 구동할 수도 있다(S103).
즉, 평상시에는 상기 카메라(110 ~ 130)를 구동하지 않고, 상기 감지기(210)를 통해 비상상황이 감지될 경우, 상기 카메라(110 ~ 130)를 구동함으로서 전원소모를 절감할 수 있다. 그리고 상기 카메라(110 ~ 130)를 통해 촬영된 영상을 이용하여 모션(움직임)이 검출되는지 크로스 체크 할 수도 있다.
상기 입력 프로세싱 모듈(310)은 상기 비상상황 발생신호 또는 상기 촬영된 영상을 미리 설정된 외부의 서버(예 : 경찰청 서버, 경비업체 서버, 관리실 서버 등)에 전송한다(S104, S105).
상기 입력 프로세싱 모듈(310)은 상기 촬영된 영상을 내부 메모리(미도시)에 저장하거나, 또는 유무선 통신망(네트워크)을 통해 외부장치(600, 810, 820) 또는 클라우드 서버의 사용자 계정(미도시)으로 전송하여 저장한다(S106).
상기 입력 프로세싱 모듈(310)은 상기 비상상황의 종류 및 단계가 판단되면, 그 비상상황의 종류와 단계에 해당하는 경고방송을 자동으로 출력한다(S107).
상기 입력 프로세싱 모듈(310)은 유무선 통신망(네트워크)을 통해 상기 비상상황 발생신호 또는 상기 촬영된 영상을 미리 설정된 외부장치(600, 810, 820)에 전송한다(S108).
상기 외부장치의 종류에 따라, 또는 상기 외부장치가 연결된 통신망(네트워크)의 종류에 따라, 유선 통신망으로 연결된 외부장치(600)는 상기 비상상황 발생신호를 수신하면 해당하는 팝업 메시지를 출력한다(S109). 이에 따라 상기 외부장치(600)의 사용자는 상기 유선 통신망(네트워크)을 통해 전송받은 영상 및 음성을 출력 및 확인할 수 있다.
그리고 상기 사용자는 상기 외부장치(600)를 통해 경고 메시지(예 : 사용자의 입력하는 음성 메시지)를 유선 통신망(네트워크)을 통해 전송한다(S110).
이에 따라 네트워크 제어모듈(410)은 상기 외부장치(600)를 통해 사용자가 입력한 음성이나 영상을 수신한다(S111). 그리고 상기 수신된 사용자의 음성이나 영상을 이용하여 실시간 경고방송을 수행한다(S112).
또한 무선 통신망으로 연결된 외부장치(810, 820)는 상기 비상상황 발생신호를 수신하면 해당하는 팝업 메시지를 출력한다(S113). 이에 따라 상기 외부장치(810, 820)의 사용자는 상기 무선선 통신망(네트워크)을 통해 전송받은 영상 및 음성을 이용해 실시간 원격 감시를 수행한다(S114).
그리고 상기 사용자는 상기 외부장치(810, 820)를 통해 경고 메시지(예 : 사용자의 입력하는 음성 메시지)를 무선 통신망(네트워크)을 통해 전송하고, 상기 모바일 제어모듈(420)은 상기 사용자의 음성이나 영상을 이용하여 실시간 경고방송을 수행한다(S115).
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
110 ~ 130 : 카메라 210 : 감지기
310 : 입력 프로세싱 모듈 320 : 모션 검출부
330 : 키제어 모듈 410 : 네트워크 제어모듈
420 : 모바일 제어모듈 510 : 제어부
520 : 파워 앰프 모듈 600 : 외부장치
610 : 마이크로폰 620 : 모니터
630 : 네트워크 제어부 700 : 유무선 통신망
810, 820 : 스마트기기

Claims (18)

  1. 화재발생, 창문 열림, 도어벨, 연기, 가스누출, 접근, 진동, 충격, 소음 및 열감지를 포함하는 비상상황을 검출하기 위한 감지 센서들에 각기 설정된 아이디 정보가 포함된 감지정보를 출력하는 감지기;
    영상을 촬영하는 다수의 카메라;
    상기 다수의 카메라를 통해 촬영된 영상 데이터를 분석하여 새로운 피사체의 나타남, 기존 피사체의 이동 및 움직임을 검출하여 모션 검출 신호를 출력하는 모션 검출부;
    비상상황의 발생, 종류 및 단계의 정확한 검출을 위하여, 상기 다수의 카메라를 통해 촬영된 영상 데이터를 디지털 영상으로 변환하여 상기 모션 검출부로 전송하고, 상기 모션 검출부로부터 전송된 모션 검출 신호와 감지정보를 크로스 체크하여 이중으로 감시하며, 상기 감지정보에 포함된 아이디 정보를 분석하여 비상상황의 종류와 발생 및 단계를 판단하고, 상기 감지정보가 미리 설정된 기준치 이상으로 감지될 경우 비상상황이 발생한 것으로 판단하고, 비상상황이 발생할 경우 상기 판단된 비상상황의 종류, 발생 및 단계를 알리는 신호, 경보방송 및 촬영된 영상 데이터를 외부장치에 전송하며, 또한 상기 판단된 비상상황의 발생, 종류 및 단계에 관한 정보 및 그들에 대응하는 경고방송 정보, 비상상황이 발생한 주변 사운드 및 음성을 상기 영상 데이터에 합성하여 내부 메모리, 외부장치, 미리 설정된 외부의 서버 및 클라우드 서버의 사용자 계정에 전송 및 저장하는 입력 프로세싱 모듈;
    상기 비상상황의 발생, 종류 및 단계에 대응하여 미리 저장된 경고방송 내용을 이용하여 자동경고방송을 수행하며, 외부장치를 통해 입력된 사용자의 음성을 유무선 통신망을 통해 수신하여 실시간 경고방송을 수행하며, 상기 외부장치를 통해 원격으로 선택된 자동경고방송을 출력하되, 상기 사용자의 음성을 출력하면서 상기 자동경고방송의 내용을 배경으로 출력하는 제어부;
    상기 자동경고방송 내용을 증폭하여 출력하는 파워앰프 모듈;
    상기 다수의 카메라를 이용해 촬영한 영상 데이터 및 비상상황 발생신호를 유무선 통신망을 통해 외부장치에 출력하는 네트워크 제어모듈 및 모바일 제어모듈;
    정전, 강제 전원차단, 화재에 의한 전원차단 시 동작 전원을 제공하기 위한 배터리;
    상기 배터리를 충전하기 위한 충전 수단; 및
    검출할 비상상황의 종류와 단계를 미리 설정하는 키제어 모듈;을 포함하되,
    상기 자동경고방송은, 상기 비상상황의 단계에 따라 자동경고방송의 강도가 조절되며, 상기 자동경고방송의 강도의 조절은 볼륨의 크기의 증가와 감소 및 방송내용의 변경을 포함하며, 상기 자동경고방송의 내용은 사용자에 의해 수정 및 추가되며, 상기 자동경고방송의 내용은 음성 멘트, 사이렌, 음악, 및 특정 경고음이 포함된 사운드 파일로 내부 메모리에 미리 저장되며,
    상기 유무선 통신망은, 이더넷 통신망, 근거리 무선통신망 및 원거리 무선 통신을 포함하고,
    상기 외부장치는 사용자의 음성입력을 위한 마이크로폰, 영상과 음성을 출력하기 위한 모니터와 스피커, 무선 통신망에 접속하기 위한 네트워크 제어부를 포함하는 컴퓨터, 및 음성과 영상의 입출력 수단을 구비한 스마트 기기를 포함하며,
    상기 카메라에서 촬영한 영상은 휘도신호(Y)와 색차신호(C)를 동기신호와 블랭킹 신호로 혼합하여 합성된 범용 영상이고,
    상기 모션 검출부는 상기 입력 프로세싱 모듈로부터 전송받은 디지털 영상의 각각의 프레임에서 휘도신호(Y)와 색차신호(C)를 비교 분석한 후, 상기 각각의 프레임의 변화 시, 상기 각 휘도신호 및 상기 색차신호의 변화량을 계산하고, 상기 계산된 휘도신호 및 상기 색차신호의 변화량으로부터 개별 영상변화율을 추출하여 피감시물의 동작을 감시하며,
    상기 파워앰프 모듈은 효율이 90% 이상의 D 클래스인 것을 특징으로 하는 원격 감시 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 화재발생, 창문 열림, 도어벨, 연기, 가스누출, 접근, 진동, 충격, 소음 및 열감지를 포함하는 비상상황을 검출하기 위한 감지 센서들에 각기 설정된 아이디 정보가 포함된 감지정보를 출력하는 단계;
    다수의 카메라를 통해 촬영된 영상 데이터를 분석하여 새로운 피사체의 나타남, 기존 피사체의 이동 및 움직임을 검출하여 모션 검출 신호를 출력하는 단계;
    비상상황의 발생, 종류 및 단계의 정확한 검출을 위하여, 상기 다수의 카메라를 통해 촬영된 영상 데이터를 디지털 영상으로 변환하여 모션 검출부로 전송하고, 모션 검출부로부터 전송된 모션 검출 신호와 감지정보를 크로스 체크하여 이중으로 감시하며, 상기 감지정보에 포함된 아이디 정보를 분석하여 비상상황의 종류와 발생 및 단계를 판단하고, 상기 감지정보가 미리 설정된 기준치 이상으로 감지될 경우 비상상황이 발생한 것으로 판단하고, 비상상황이 발생할 경우 상기 판단된 비상상황의 종류, 발생 및 단계를 알리는 신호, 경보방송 및 촬영된 영상 데이터를 외부장치에 전송하며, 또한 상기 판단된 비상상황의 발생, 종류 및 단계에 관한 정보 및 그들에 대응하는 경고방송 정보, 비상상황이 발생한 주변 사운드 및 음성을 상기 영상 데이터에 합성하여 내부 메모리, 외부장치, 미리 설정된 외부의 서버 및 클라우드 서버의 사용자 계정에 전송 및 저장하는 단계;
    상기 비상상황의 발생, 종류 및 단계에 대응하여 미리 저장된 경고방송 내용을 이용하여 자동경고방송을 수행하며, 외부장치를 통해 입력된 사용자의 음성을 유무선 통신망을 통해 수신하여 실시간 경고방송을 수행하며, 상기 외부장치를 통해 원격으로 선택된 자동경고방송을 출력하되, 상기 사용자의 음성을 출력하면서 상기 자동경고방송의 내용을 배경으로 출력하는 단계;
    상기 자동경고방송 내용을 증폭하여 출력하는 단계; 및
    키제어 모듈을 이용해 검출할 비상상황의 종류와 단계를 미리 설정하는 단계;을 포함하되,
    상기 자동경고방송은, 상기 비상상황의 단계에 따라 자동경고방송의 강도가 조절되며, 상기 자동경고방송의 강도의 조절은 볼륨의 크기의 증가와 감소 및 방송내용의 변경을 포함하며, 상기 자동경고방송의 내용은 사용자에 의해 수정 및 추가되며, 상기 자동경고방송의 내용은 음성 멘트, 사이렌, 음악, 및 특정 경고음이 포함된 사운드 파일로 내부 메모리에 미리 저장되며,
    상기 유무선 통신망은, 이더넷 통신망, 근거리 무선통신망 및 원거리 무선 통신을 포함하고,
    상기 외부장치는 사용자의 음성입력을 위한 마이크로폰, 영상과 음성을 출력하기 위한 모니터와 스피커, 무선 통신망에 접속하기 위한 네트워크 제어부를 포함하는 컴퓨터, 및 음성과 영상의 입출력 수단을 구비한 스마트 기기를 포함하며,
    상기 카메라에서 촬영한 영상은 휘도신호(Y)와 색차신호(C)를 동기신호와 블랭킹 신호로 혼합하여 합성된 범용 영상이고,
    모션 검출부는 입력 프로세싱 모듈로부터 전송받은 디지털 영상의 각각의 프레임에서 휘도신호(Y)와 색차신호(C)를 비교 분석한 후, 상기 각각의 프레임의 변화 시, 상기 각 휘도신호 및 상기 색차신호의 변화량을 계산하고, 상기 계산된 휘도신호 및 상기 색차신호의 변화량으로부터 개별 영상변화율을 추출하여 피감시물의 동작을 감시하며,
    상기 자동경고방송 내용의 증폭은 효율 90% 이상의 D 클래스인 파워앰프 모듈을 이용하여 증폭하는 것을 특징으로 하는 원격 감시 방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
KR1020130074959A 2013-06-27 2013-06-27 원격 감시 장치와 그 방법 KR101342448B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130074959A KR101342448B1 (ko) 2013-06-27 2013-06-27 원격 감시 장치와 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130074959A KR101342448B1 (ko) 2013-06-27 2013-06-27 원격 감시 장치와 그 방법

Publications (1)

Publication Number Publication Date
KR101342448B1 true KR101342448B1 (ko) 2014-01-10

Family

ID=50144089

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130074959A KR101342448B1 (ko) 2013-06-27 2013-06-27 원격 감시 장치와 그 방법

Country Status (1)

Country Link
KR (1) KR101342448B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945199A (zh) * 2014-05-13 2014-07-23 山东大学 基于嵌入式的视频监控系统
KR101487234B1 (ko) 2014-10-23 2015-02-03 신현성 장애 알리미 장치
WO2015186900A1 (ko) * 2014-06-04 2015-12-10 김재완 영상 프레임을 이용한 보안 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체
KR101725940B1 (ko) * 2016-10-31 2017-04-11 주식회사 천아엔지니어링 다목적 소방 화재 경보기
KR101824030B1 (ko) 2016-10-28 2018-01-31 주식회사 에스엔씨 사물인터넷을 기반으로 조리지원이 가능한 가스누출 안전 시스템
CN109089193A (zh) * 2018-09-03 2018-12-25 广州市保伦电子有限公司 一种带监听功放的ip网络广播工控主机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100337492B1 (ko) * 1999-06-05 2002-05-23 정보영 무인보안 경보시스템
JP2003242566A (ja) * 2002-02-18 2003-08-29 Optex Co Ltd 侵入検知装置
KR101167605B1 (ko) 2011-12-06 2012-07-27 문병국 카메라를 구비한 지능형 다기능 제어 장치 및 방법
KR20120103529A (ko) * 2012-08-06 2012-09-19 나영선 화재영상음성감지장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100337492B1 (ko) * 1999-06-05 2002-05-23 정보영 무인보안 경보시스템
JP2003242566A (ja) * 2002-02-18 2003-08-29 Optex Co Ltd 侵入検知装置
KR101167605B1 (ko) 2011-12-06 2012-07-27 문병국 카메라를 구비한 지능형 다기능 제어 장치 및 방법
KR20120103529A (ko) * 2012-08-06 2012-09-19 나영선 화재영상음성감지장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945199A (zh) * 2014-05-13 2014-07-23 山东大学 基于嵌入式的视频监控系统
WO2015186900A1 (ko) * 2014-06-04 2015-12-10 김재완 영상 프레임을 이용한 보안 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체
US20150358591A1 (en) * 2014-06-04 2015-12-10 Jae Wan Kim Security method using image frame, device for executing the method, and recording medium that stores the method
KR101487234B1 (ko) 2014-10-23 2015-02-03 신현성 장애 알리미 장치
KR101824030B1 (ko) 2016-10-28 2018-01-31 주식회사 에스엔씨 사물인터넷을 기반으로 조리지원이 가능한 가스누출 안전 시스템
KR101725940B1 (ko) * 2016-10-31 2017-04-11 주식회사 천아엔지니어링 다목적 소방 화재 경보기
CN109089193A (zh) * 2018-09-03 2018-12-25 广州市保伦电子有限公司 一种带监听功放的ip网络广播工控主机

Similar Documents

Publication Publication Date Title
KR101342448B1 (ko) 원격 감시 장치와 그 방법
US10540884B1 (en) Systems and methods for operating remote presence security
US8504103B2 (en) Cellular home security system
US10210746B2 (en) Portable security device that communicates with home security system monitoring service
KR101739724B1 (ko) 지능형 스마트 방범도어시스템
KR101832446B1 (ko) 단일 망으로 비상벨에서의 양방향 통화 기능이 구현된 비상벨-cctv 통합 시스템
KR20120140518A (ko) 스마트폰 기반의 원격 감시 시스템 및 제어방법
KR101467352B1 (ko) 위치기반 통합관제시스템
JP2010282316A (ja) 防犯灯ポール及び緊急通報システム
KR101321447B1 (ko) 네트워크를 통한 현장 모니터링 방법, 및 이에 사용되는 관리 서버
KR100857073B1 (ko) 실시간 원격 감시 시스템
KR20150041939A (ko) 실시간 이벤트 감지를 통한 도어 감시시스템 및 그 방법
KR101792427B1 (ko) 비상벨 시스템
US9847016B2 (en) System and method of communicating data from an alarm system to emergency services personnel
KR100913310B1 (ko) 비상 경보 시스템
KR101914813B1 (ko) 통신 단말기를 이용한 도어락 제어 장치 및 방법
KR101169316B1 (ko) 엘이디 전등 제어와 연동된 보안 시스템
KR101167605B1 (ko) 카메라를 구비한 지능형 다기능 제어 장치 및 방법
KR101561946B1 (ko) 실시간 지능형 보안 감시 시스템 및 그 운용방법
JP2005208878A (ja) セキュリティシステム
KR101486837B1 (ko) 엘리베이터 보안 관리 시스템 및 방법
KR101153191B1 (ko) 음향 인식을 이용한 주차장 방범 시스템 및 방법
KR100609735B1 (ko) 인터넷 망을 이용한 무인원격 화상경비 장치
KR200332862Y1 (ko) 사용자 단말기를 이용한 사무실 원격감시장치
KR101724420B1 (ko) 지능형 방범창 방범시스템

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161114

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180308

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190306

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191104

Year of fee payment: 7