KR101111493B1 - Automatic Fire Recognition and Alarm Systems using Intelligent IP Camera and Method Thereof - Google Patents

Automatic Fire Recognition and Alarm Systems using Intelligent IP Camera and Method Thereof Download PDF

Info

Publication number
KR101111493B1
KR101111493B1 KR1020100027715A KR20100027715A KR101111493B1 KR 101111493 B1 KR101111493 B1 KR 101111493B1 KR 1020100027715 A KR1020100027715 A KR 1020100027715A KR 20100027715 A KR20100027715 A KR 20100027715A KR 101111493 B1 KR101111493 B1 KR 101111493B1
Authority
KR
South Korea
Prior art keywords
fire
camera
image
alarm
intelligent
Prior art date
Application number
KR1020100027715A
Other languages
Korean (ko)
Other versions
KR20110108497A (en
Inventor
박종국
정우성
김학범
이철규
Original Assignee
한국철도기술연구원
투아이시스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국철도기술연구원, 투아이시스(주) filed Critical 한국철도기술연구원
Priority to KR1020100027715A priority Critical patent/KR101111493B1/en
Publication of KR20110108497A publication Critical patent/KR20110108497A/en
Application granted granted Critical
Publication of KR101111493B1 publication Critical patent/KR101111493B1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/12Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 영상으로부터 화염을 인식하기 위한 영상처리가 가능한 프로세서가 탑재 되여 각 지역의 화재를 감시하는 지능형 IP 카메라 자체에서 화재를 감지하여 3단계로 경보하고 화재 현장의 실시간 영상정보를 유선 인터넷을 통해 전송하며, 유선통신이 불가능한 경우 무선으로 자동 전환 되어 연속하여 전송하도록 하는 자동 화재 인식 경보 시스템을 개시한다.
본 발명은 유무선 인터넷 망과 연결된 중앙감시제어장치와, DHCP/WAP 서버 및 화재 방재 시스템에 연결되며, 유무선 통신이 가능하고, 영상 처리 프로세서가 탑재된 IP 카메라를 통해 화재를 감시하고, 화재가 감지되면 연결된 화재방재시스템을 통해 3단계로 화재를 경보하며, 화재 현장의 실시간 영상 정보를 상기 중앙감시제어장치로 전송하여 화재를 확인할 수 있도록 하며, 이에 따라 본 발명은 각 지역의 화재 감시를 담당하는 각각의 지능형 IP 카메라에서 화재를 판단하여 3단계로 경보를 실시하고, 화재로 인식된 영상만을 유무선을 통해 중앙관제실로 실시간 전송하므로 화재발생에 대한 조기대처, 경보, 상황관리가 가능하며, 유사시 또는 필요시에만 네트워크를 통해 데이터를 송수신하므로 네트워크 점유율이 낮고, 지능형 IP 카메라 자체에서 화재 감시, 판단, 경보를 모두 실시하므로 대규모의 네트워크 및 감시 시스템을 구축하지 않고도 자동 화재 인식 경보 시스템을 구축할 수 있는 유용한 효과를 얻을 수 있다.
The present invention is equipped with a processor capable of image processing to recognize the flame from the image, the intelligent IP camera that monitors the fire in each area to detect the fire in three stages, and to monitor the real-time video information of the fire site through the wired Internet The present invention discloses an automatic fire recognition alarm system that transmits continuously and automatically switches to wireless when wired communication is impossible.
The present invention is connected to a wired / wireless Internet network, a central monitoring control device, a DHCP / WAP server and a fire prevention system, wired and wireless communication, and monitors the fire through an IP camera equipped with an image processing processor, the fire is detected When the fire is alarmed through the connected fire disaster prevention system in three stages, the real-time video information of the fire site can be transmitted to the central monitoring and control device so that the fire can be checked. Accordingly, the present invention is responsible for fire monitoring in each region. Each intelligent IP camera detects a fire and gives an alarm in three stages, and transmits only the images recognized as a fire to the central control room in real time through wired or wireless, enabling early response, alarm, and situation management for a fire. When the data is transmitted and received through the network only when necessary, the network occupancy is low, and the intelligent IP camera itself Performed all the surveillance, judgment, alarm, because it is possible to obtain a useful effect that can automatically build awareness of fire alarm systems without building a large network and surveillance systems.

Description

지능형 아이피 카메라를 이용한 자동 화재 인식 경보 시스템 및 그 방법{Automatic Fire Recognition and Alarm Systems using Intelligent IP Camera and Method Thereof}Automatic Fire Recognition and Alarm Systems using Intelligent IP Camera and Method Thereof}

본 발명은 지능형 IP 카메라를 이용한 자동 화재 인식 경보 시스템 및 그 방법에 관한 것으로 특히 영상으로부터 화염을 인식하기 위한 영상처리가 가능한 프로세서가 탑재 되여 각 지역의 화재를 감시하는 지능형 IP 카메라 자체에서 화재를 감지하여 3단계로 경보하고 화재 현장의 실시간 영상정보를 유선 인터넷을 통해 전송하며, 유선통신이 불가능한 경우 무선으로 자동 전환 되어 연속하여 전송하도록 하는 자동 화재 인식 경보 시스템에 관한 것이다.
The present invention relates to an automatic fire recognition alarm system and method using an intelligent IP camera, in particular, equipped with a processor capable of image processing for recognizing a flame from an image, detecting a fire in an intelligent IP camera itself for monitoring a fire in each region. It is a three-stage alarm and transmits real-time video information of the fire site through the wired Internet, and if the wired communication is impossible, the automatic fire recognition alarm system to be automatically converted to a wireless transmission.

주지하는 바와 같이, 터널 및 지하 역사 내 화재는 지상으로의 신속한 탈출이 쉽지 않아 많은 인명피해를 발생시킬 수 있어서 이러한 터널 및 지하 역사 내 화재의 예방은 물론, 초기 감지 및 신속한 방재가 중요시 되며, 이를 위해 많은 화재 감지 시스템이 제안되었다. 그중에서도 CCTV를 이용하여 패턴인식과 영상분석에 의한 화재인식 및 관련 방재설비와 연동하여 관리하는 시스템이 제안된바 있으며, 그 대표적인 예로 대한민국 등록특허공보 제839090호(발명의 명칭 : 영상기반 화재감시시스템 ; 이하 '인용발명'이라 함)가 있다. 이는 도 1과 도 2로 도시한 바와 같이 영상 카메라(110-1~110-3)와, 영상 카메라(110-1~110-3)로부터 입력된 아날로그 영상신호를 디지털로 변환하여 다중화하는 영상 입력부(112)와, 저장부(122)와, 영상 입력부(112)를 통해 입력된 영상 데이터를 스펙트럼 모델과 공간 모델, 시간 모델을 기반으로 하여 영상 처리하는 영상 처리부(114)와, 영상 처리부(114)에서 처리된 영상정보를 기반으로 소정의 알고리즘에 따라 화재발생을 탐지하는 화재 탐지부(116)와, 영상 카메라(110-1~110-3)가 촬영한 영상 좌표계와 3차원 실세계 좌표계를 연계하고, 3차원 실세계 내 한점과 상응하는 영상 내의 한점의 정보를 이용하여 영상 내 모든 점에 상응하는 3차원 실세계 위치를 계산하는 카메라 보정부(118)와, 영상 카메라(110-1~110-3)로부터 수집된 영상 내에 화재위치가 탐지되면, 화재위치로 영상 카메라(110-1~110-3)를 이동시키도록 PTZ 제어신호를 발생하고, 사용자 인터페이스를 통해 입력된 키입력에 따라 전체 동작을 설정하며, 영상 카메라(110-1~110-3)로부터 수집된 영상을 저장부(122)에 저장하는 제어부(120)와, 제어부(120)를 통해 각 영상 카메라 좌표정보를 입력받아 제어값을 생성한 후 영상 카메라(110-1~110-3)의 팬, 틸트, 줌을 제어하기 위한 PTZ 패킷을 생성하여 해당 영상 카메라(110-1~110-3)로 전송하는 PTZ 제어부(130)와, 제어부(120)의 제어에 따라 경보음을 울려 운영자에게 알려주는 경고부(134)로 구성된 것이다.As is well known, fires in tunnels and underground stations are not easy to escape to the ground, which can cause many casualties. Therefore, prevention of fires in tunnels and underground stations, as well as early detection and rapid disaster prevention are important. Many fire detection systems have been proposed. Among them, a system that manages in conjunction with fire recognition and related disaster prevention facilities by using pattern recognition and image analysis by using CCTV has been proposed, and as a representative example, Korean Patent Publication No. 839090 (Invention: Image-based fire monitoring system) (Hereinafter referred to as 'cited invention'). 1 and 2, the image input unit converts and multiplexes the analog image signals inputted from the image cameras 110-1 to 110-3 and the image cameras 110-1 to 110-3 into digital. An image processor 114, an image processor 114, and an image processor 114 that process the image data input through the storage unit 122, the image input unit 112 based on a spectrum model, a spatial model, and a temporal model. Fire detection unit 116 for detecting a fire occurrence according to a predetermined algorithm based on the image information processed in the) and the image coordinate system and the three-dimensional real world coordinate system taken by the image camera (110-1 ~ 110-3) And a camera correction unit 118 for calculating a three-dimensional real world position corresponding to all points in the image by using information of one point in the image corresponding to one point in the three-dimensional real world, and an image camera 110-1 to 110-3. If a fire location is detected in the image collected from the Generate a PTZ control signal to move the video camera (110-1 ~ 110-3), set the overall operation according to the key input entered through the user interface, from the video camera (110-1 ~ 110-3) The controller 120 stores the collected image in the storage unit 122, receives coordinate information of each image camera through the controller 120, generates a control value, and then generates a control value of the image cameras 110-1 to 110-3. The PTZ control unit 130 generates a PTZ packet for controlling pan, tilt, and zoom and transmits it to the video cameras 110-1 to 110-3, and an alarm sounds under the control of the control unit 120 to the operator. The warning unit 134 is configured to inform.

이러한 인용발명은 감시지역의 영상신호를 모니터링하다가 소정의 알고리즘으로 화재징후라 판단되면 해당 위치를 확대한 후 이차 영상을 분석하여 보다 정밀하게 화재 여부를 판단할 수 있고, 영상 데이터를 스펙트럼 모델과 공간 모델, 시간 모델을 기반으로 하여 영상 처리한 후 처리된 영상정보를 기반으로 잠재화재지역 검출 알고리즘과 화재지역 형상인식 알고리즘, 형상의 통계적 시간변화 알고리즘을 적용하여 신속하고 정확하게 화재발생을 탐지할 수 있도록 한 것이나 이러한 영상 처리 및 영상정보의 분석을 위해 각 감시지역의 영상신호를 모두 입력받아 방대한 량의 영상정보의 영상처리를 중앙에서 모두 처리하여야 하므로 영상처리에 장시간이 소요되거나, 신속한 감시를 위해서는 시스템의 사양이 높아져야 하므로 설비비용이 증가하게 되는 문제점이 있을 뿐만 아니라 화재로 인한 단선 사고 등 각 카메라로부터 영상을 입력 받지 못 하면 화재를 감시하거나 감지하지 못 하게 되는 심각한 문제점이 있으며, 화재 상황이 아닌 일반상태에서도 지속적으로 모든 각 카메라로부터 영상정보를 입력받아 화재여부를 판단하기 위하여 영상처리를 하여야 하기 때문에 네트워크에 과부가가 걸리게 되며 방대한 량의 영상자료를 저장하고 처리하여야 하는 문제점이 있다.
In the cited invention, if it is determined that a fire signal is detected by a predetermined algorithm while monitoring a video signal of a surveillance area, the location can be enlarged, and secondary images can be analyzed to determine whether a fire is more precisely. Based on the model and the time model, after processing the image, the latent fire zone detection algorithm, the fire zone shape recognition algorithm, and the statistical time change algorithm of the shape can be applied quickly and accurately based on the processed image information. However, in order to process the image and analyze the image information, it is necessary to receive all the image signals of each monitoring area and process the image processing of the vast amount of image information centrally. The cost of equipment should increase Not only is there a problem of not only being able to input the video from each camera such as a disconnection accident due to fire, but there is also a serious problem of not being able to monitor or detect the fire. In order to determine whether a fire is received by inputting an image, the network becomes overloaded, and there is a problem of storing and processing a large amount of image data.

대한민국 등록특허공보 제839090호Republic of Korea Patent Publication No. 839090

본 발명의 목적은 이러한 문제점을 해결하기 위하여 지능형 IP카메라를 이용하여 터널 및 역사 내에 화재 발생 시 화재에 수반되는 불꽃과 연기를 지능형 IP카메라가 자동으로 인식하여 3단계로 경보를 실시하고, 유무선으로 화재영상을 네트워크를 통해 중앙장치에 전달하여 화재의 조기발견 및 빠른 경보를 실시하므로 화재발생 초기에 대처할 수 있도록 하며, 화재발생상황을 실시간으로 모니터링 하는 것이 가능토록 함으로서 화재발생에 대한 조기대처, 경보, 상황관리를 가능하게 하는 지능형 IP 카메라를 이용한 자동 화재 인식 경보 시스템 및 그 방법을 제공함에 있다.
The purpose of the present invention is to intelligently detect the flame and smoke accompanying the fire when the fire occurs in the tunnel and the history by using an intelligent IP camera to alarm in three steps, and wired and wireless to solve this problem Fire image is delivered to the central unit through the network to provide early detection and early warning of the fire so that it is possible to cope with the early stage of the fire and to monitor the fire situation in real time. In addition, the present invention provides an automatic fire recognition alarm system and method using an intelligent IP camera that enables situation management.

본 발명은 이러한 목적을 달성하기 위하여 터널과 역사 내 화재를 자동으로 인식하여 경보하는 자동 화재 인식 경보 시스템에 있어서, 유무선 통신이 가능하고, 영상 처리 프로세서가 탑재된 IP 카메라와, 유무선 인터넷 망을 통해 상기 IP 카메라와 연결되며, IP 카메라로부터 화재 감시 영상 및 결과 내용 정보, IP 카메라의 상태 정보를 실시간 모니터링 할 수 있으며, 상기 IP 카메라의 구동제어가 가능하고, IP 카메라별 영상 저장, 인덱싱, DB관리, 리포트 기능을 갖는 중앙감시제어장치와, 상기 중앙감시제어장치와 연결되어 상기 IP 카메라와 중앙감시제어장치의 인터넷 연결을 위한 IP를 관리하는 DHCP/WAP 서버로 구성되고, 상기 IP 카메라가 화재 방재 시스템에 연결되어 상기 IP 카메라가 단독으로 화재의 감시, 감지된 화재에 대하여 연결된 화재 방재 시스템을 통해 3단계로 직접 화재를 경보하며, 화재 현장의 실시간 영상 정보를 상기 중앙감시제어장치로 전송하여 화재를 확인할 수 있는 지능형 아이피 카메라를 이용한 자동 화재 인식 경보 시스템을 제공하며,The present invention provides an automatic fire recognition alarm system that automatically recognizes and alarms fires in tunnels and stations in order to achieve the above object, and enables wired and wireless communication, and includes an IP camera equipped with an image processing processor and a wired and wireless Internet network. It is connected to the IP camera, and can monitor the fire surveillance image, the result content information, and the status information of the IP camera from the IP camera in real time. And a DHCP / WAP server connected to the central monitoring controller and managing the IP for the IP connection between the IP camera and the central monitoring controller. When the IP camera is connected to the system to monitor the fire alone and to detect the detected fire And in step 3, the fire alarm directly through the system, by sending a real-time image information of the fire to the central monitoring and control system provides an automatic fire alarm system using the intelligent recognition IP cameras to check the fire,

또한 본 발명은 각 지능형 IP 카메라에서 담당하고 있는 지역의 화재를 상기 IP 카메라가 감시하는 화재 감시 단계와; 상기 화재 감시 단계에서 IP 카메라가 화재를 감지하면 상기 IP 카메라가 유무선 인터넷으로 연결된 화재 방재 시스템에 직접 경보하는 화재 경보 단계와; 상기 화재 감시 단계에서 IP 카메라가 화재를 감지하면 화재 현장의 실시간 영상 정보를 유선으로 연결된 중앙관제실로 전송하는 화재 영상 유선전송 단계와; 상기 화재 감시 단계에서 IP 카메라가 화재를 감지하고 화재 현장의 실시간 영상 정보를 유선으로 중앙관제실로 전송하는 것이 실패되면 무선으로 전송하는 화재 영상 무선 전송 단계와; 상기 IP 카메라는 화재가 진화되거나 화재경보 종료 명령을 받으면 경보 및 영상전송을 중단하고 상기 화재 감시 단계를 실시하도록 하는 화재 경보 종료 단계로 구성된 지능형 아이피 카메라를 이용한 자동 화재 인식 경보 방법을 제공한다.
The present invention also includes a fire monitoring step of the IP camera to monitor the fire of the area in charge of each intelligent IP camera; A fire alarm step of directly alarming the fire prevention system connected to the wired / wireless Internet when the IP camera detects a fire in the fire monitoring step; A fire video wired transmission step of transmitting real-time video information of a fire site to a central control room connected by wire when the IP camera detects a fire in the fire monitoring step; A fire image wireless transmission step of wirelessly transmitting when the IP camera detects a fire in the fire monitoring step and fails to transmit real-time image information of the fire site to the central control room by wire; The IP camera provides an automatic fire recognition alarm method using an intelligent IP camera configured to stop the alarm and image transmission and to perform the fire monitoring step when the fire is extinguished or received a fire alarm termination command.

이와 같이 하여 본 발명은 각 지역의 화재 감시를 담당하는 각각의 지능형 IP 카메라에서 화재를 판단하여 직접 3단계로 경보를 실시하고, 화재로 인식된 영상만을 유무선을 통해 중앙관제실로 실시간 전송하므로 화재발생에 대한 조기대처, 경보, 상황관리가 가능하며, 유사시 또는 필요시에만 네트워크를 통해 데이터를 송수신하므로 네트워크 점유율이 낮고, 지능형 IP 카메라 자체에서 화재 감시, 판단, 경보를 모두 실시하므로 대규모의 네트워크 및 감시 시스템을 구축하지 않고도 각각의 터널 또는 역사 자체적인 자동 화재 인식 경보 시스템을 구축할 수 있는 유용한 효과가 있다.
In this way, the present invention judges the fire from each intelligent IP camera in charge of fire monitoring in each region and performs an alarm in three stages directly, and since only the image recognized as a fire is transmitted in real time to the central control room through wired or wireless, Early response, alarm, and situation management are possible, and data is transmitted and received through the network only in case of emergency or need, so the network occupancy is low, and fire monitoring, judgment, and alarm are all performed by the intelligent IP camera itself. There is a useful effect that you can build your own automatic fire detection alarm system for each tunnel or history without having to build a system.

도 1, 2는 인용발명의 구성을 나타내는 구성도.
도 3은 본 발명에 의한 자동 화재 인식 경보 시스템의 구체적인 구성을 예시하는 구성도.
도 4는 본 발명에 의한 IP 카메라의 구성을 예시하는 구성도.
도 5는 본 발명에 의한 자동 화재 인식 경보 시스템의 화재 인식 방법을 나타내는 흐름도.
도 6, 7은 본 발명의 화재 인식을 위해 적용하는 삼각함수를 예시하는 삼각함수표.
도 8은 본 발명의 화재 인식을 위해 적용하는 가우시안함수를 예시하는 가우시안함수표.
1, 2 is a configuration diagram showing the configuration of the cited invention.
3 is a block diagram illustrating a specific configuration of an automatic fire recognition alarm system according to the present invention.
4 is a configuration diagram illustrating a configuration of an IP camera according to the present invention.
5 is a flowchart illustrating a fire recognition method of the automatic fire recognition alarm system according to the present invention.
6 and 7 is a trigonometric table illustrating a trigonometric function applied for the fire recognition of the present invention.
8 is a Gaussian function table illustrating a Gaussian function applied for the fire recognition of the present invention.

이러한 본 발명을 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명하면 다음과 같다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명에 의한 지능형 IP 카메라(40)를 이용한 자동 화재 인식 경보 시스템의 전체적인 구성을 도 3으로 도시하였다.The overall configuration of the automatic fire recognition alarm system using the intelligent IP camera 40 according to the present invention is shown in FIG.

이에서 볼 수 있는 바와 같이, 본 발명은 터널과 역사 내 화재를 자동으로 인식하여 경보하는 자동 화재 인식 경보 시스템에 있어서,As can be seen from the above, the present invention in the automatic fire recognition alarm system that automatically recognizes and alerts the fire in the tunnel and history,

정보전달체계의 오작동 방지를 위하여 이중네트워크라인이 구축되도록 유선과 무선 통신을 이중으로 구성하며, 유무선 통신이 가능하고, 영상 처리 프로세서가 탑재된 IP 카메라(40)와, 유무선 인터넷 망과 연결되어 화재 감시 영상 및 결과 내용 정보, IP 카메라(40)의 상태 정보 등을 실시간 모니터링 할 수 있으며 IP 카메라(40)의 팬, 틸팅과 같은 구동제어가 가능하고 각 IP 카메라(40)별 영상 저장, 인덱싱, DB관리, 리포트 기능을 갖는 중앙감시제어장치(10)와, 상기 IP 카메라(40)와 중앙감시제어장치(10)의 인터넷 연결을 위한 IP를 관리하는 DHCP/WAP 서버(20)로 구성되고, 화재 방재 시스템(30)에 연결되어 상기 IP 카메라(40)를 통해 화재를 감시하고, 화재가 감지되면 연결된 화재방재시스템을 통해 3단계로 화재를 경보하며, 화재 현장의 실시간 영상 정보를 상기 중앙감시제어장치(10)로 전송하여 화재를 확인할 수 있다.In order to prevent malfunction of the information transmission system, dual network lines are dually constructed so that wired and wireless communication are possible, wired and wireless communication is possible, and an IP camera 40 equipped with an image processing processor and a wired and wireless internet network are connected to Monitoring image and result information, status information of IP camera 40 can be monitored in real time, and driving control such as pan and tilting of IP camera 40 is possible, and image storage, indexing, Central monitoring control device 10 having a DB management, a report function, and DHCP / WAP server 20 for managing the IP for the Internet connection of the IP camera 40 and the central monitoring control device 10, It is connected to the fire disaster prevention system 30 to monitor the fire through the IP camera 40, and if a fire is detected, the fire alarm in three steps through the connected fire disaster prevention system, and recalls the real-time video information of the fire site Fire can be confirmed by transmission to the central monitoring and control device (10).

이를 각 구성요소별로 더욱 상세하게 설명하면, 전술한 지능형 IP 카메라(40)는 도 4에서 보는 바와 같이, 전방에 구비된 렌즈(41)를 통해 투영된 영상을 영상정보로 획득하는 촬상소자(42)로 구성된 영상획득부(43)와, 상기 영상획득부(43)의 영상정보를 화재 감지 알고리즘에 의해 처리하여 화재를 감지하는 DSP 및 FPGA(Field Programmable Gate Array)가 구성된 영상처리부(44)와, 상기 영상정보를 H.264 고해상도 영상 압축을 통해 실시간으로 영상 전송이 가능하도록 하는 영상압축부(45)와, 상기 영상처리부(44)에서 감지된 화재를 포함하여 상기 영상압축부(45)의 영상정보를 유무선통신으로 전송하는 유무선통신부(46)로 구성할 수 있다.As described in more detail for each component, the above-described intelligent IP camera 40, as shown in Figure 4, the image pickup device 42 for obtaining the image projected through the lens 41 provided in the front as image information An image acquisition unit (43) comprising: an image acquisition unit (43); and an image processing unit (44) including a DSP and a field programmable gate array (FPGA) for detecting a fire by processing the image information of the image acquisition unit 43 by a fire detection algorithm; In addition, the image compression unit 45 to enable the image transmission in real time through the H.264 high-definition image compression, and the fire of the image compression unit 45 including the fire detected by the image processing unit 44 The wired / wireless communication unit 46 may transmit the image information to the wired / wireless communication.

여기에서 전술한 영상처리부(44)는 감시 영상을 바탕으로 화재 및 연기 발생 시 화재, 연기의 위치 및 상황을 실시간 인식하는 알고리즘이 탑재된 것으로 영상획득부(43)로부터 입력되는 영상정보를 R, G, B로 분리하여 분리된 각각의 RGB 영상정보를 YCbCr 영상정보로 변환하고 이를 삼각함수와 가우시안함수에 적용하여 영상정보에서 화재를 판별하는 것으로, Here, the above-described image processing unit 44 is equipped with an algorithm for real-time recognition of the location and the situation of the fire and smoke in the event of fire and smoke based on the surveillance image, the image information input from the image acquisition unit 43 R, It converts each RGB image information separated by G and B into YCbCr image information and applies it to trigonometric and Gaussian functions to discriminate fire from image information.

도 5로 도시한 바와 같이, YCbCr 영상정보에서 Y-Cb 성분과 Cb-Cr 성분을 도 6와 도 7과 같은 삼각함수에 적용하여 X를 산출하고, 상기 산출한 결과 X와, 상기 Y-Cb 성분과 Cb-Cr 성분을 도 8과 같은 가우시안함수에 적용하여 Y를 산출하며, 상기 산출한 결과 Y를 (X+Y)-(X*Y)와 같은 수식에 적용한 후 변화도, 채도, 명도 등의 정보에 대한 규칙성을 적용하여 영상정보에서 화재를 판별하는 것이다.As shown in FIG. 5, in the YCbCr image information, X is calculated by applying the Y-Cb component and the Cb-Cr component to the trigonometric functions as shown in FIGS. 6 and 7, and the calculated result is X and the Y-Cb. The component and the Cb-Cr component are applied to the Gaussian function as shown in FIG. 8, and Y is calculated. After the calculation, Y is applied to a formula such as (X + Y)-(X * Y), and then gradient, saturation, and brightness are applied. The fire is determined from the image information by applying regularity to the information.

이와 같이 하여 화재를 판별한 각 지능형 IP 카메라(40)의 영상처리부(44)는 판별 결과가 화재이면 화재경보 신호를 발생하여 유무선통신부(46)에 연결된 화재 방재 시스템(30)을 통해 화재를 경보하는 동시에, 해당 영상정보와 판별 결과를 영상압축부(45)로 전달하여 압축하고, 유무선통신부(46)를 통해 중앙감시제어장치(10)로 전달하여 화재를 알리고, 중앙감시제어장치(10)의 제어에 따라 추가 영상 정보 등을 전송할 수 있다.In this way, the image processing unit 44 of each intelligent IP camera 40 that determines the fire generates a fire alarm signal when the determination result is a fire, and alarms the fire through the fire disaster prevention system 30 connected to the wired / wireless communication unit 46. At the same time, the corresponding image information and the result of the determination are transmitted to the image compression unit 45 to be compressed and transmitted to the central monitoring controller 10 through the wired / wireless communication unit 46 to inform the fire, and the central monitoring controller 10 Additional image information and the like may be transmitted under the control of the control unit.

여기에서 설정 옵션에 따라 화재 판별 시 중앙감시제어장치(10)에만 화재로 판별한 영상 정보와 판별 결과를 전송하여 화재를 알리고, 중앙감시제어장치(10)에서 화재를 확인하여 연결된 화재 방재 시스템(30)을 통해 화재를 경보하도록 할 수도 있으며, 화재 판별 시 바로 화재 방재 시스템(30)을 통해 화재를 경보하고 중앙감시제어장치(10)의 요청이 있을 때에만 해당 화재로 판별한 영상 정보와 판별 결과를 전송하도록 할 수 있다.In this case, when the fire is determined according to the setting option, only the central monitoring controller 10 transmits the image information and the determination result determined as the fire to inform the fire, and checks the fire in the central monitoring controller 10 to connect the fire disaster prevention system ( It is also possible to alert the fire through 30, and when the fire is discriminated immediately after the fire disaster prevention system (30) to alert the fire, and only when the request of the central monitoring and control device 10 determines the image information and the discriminated fire You can send the result.

또한 전술한 각 지능형 IP 카메라(40)는 작동 중임을 고유 ID와 함께 주기적 신호로 네트워크로 발신하고, 중앙감시제어장치(10)와 각 지능형 IP 카메라(40)는 다른 지능형 IP 카메라(40)의 발신 신호를 수신하여 작용 여부, 이상 유무를 서로 체크할 수 있기 때문에 화재를 판별하기 전에 지능형 IP 카메라(40)가 파손 되더라도 이상을 알릴 수 있는 것이며, 유지 보수를 용이하게 한다.In addition, each of the above-described intelligent IP camera 40 is sent to the network as a periodic signal with a unique ID that is in operation, the central monitoring controller 10 and each intelligent IP camera 40 of the other intelligent IP camera 40 Receiving the outgoing signal can check each other whether there is an operation, whether there is an abnormality, so that the intelligent IP camera 40 can be notified even if the damage before determining the fire, it is easy to maintain.

아울러 본 발명에 의한 지능형 IP 카메라(40)를 이용한 자동 화재 인식 경보 방법은 각 지능형 IP 카메라(40)에서 담당하고 있는 지역의 화재를 감시하는 화재 감시 단계와; 상기 화재 감시 단계에서 화재를 감지하면 연결된 화재 방재 시스템(30)에 경보하는 화재 경보 단계와; 상기 화재 감시 단계에서 화재를 감지하면 유선으로 화재 현장의 실시간 영상 정보를 중앙관제실로 전송하는 화재 영상 유선전송 단계와; 상기 화재 감시 단계에서 화재를 감지하고 유선으로 화재 현장의 실시간 영상 정보를 중앙관제실로 전송하지 못 하는 경우 무선으로 전송하는 화재 영상 무선 전송 단계와; 화재가 진화되거나 화재경보 종료 명령을 받으면 경보 및 영상전송을 중단하고 전술한 화재 감시 단계를 실시하도록 하는 화재 경보 종료 단계로 구성될 수 있다.In addition, the automatic fire detection alarm method using the intelligent IP camera 40 according to the present invention includes a fire monitoring step of monitoring a fire in the area in charge of each intelligent IP camera 40; A fire alarm step of alerting the connected fire prevention system 30 when detecting a fire in the fire monitoring step; When the fire is detected in the fire monitoring step, the wire image transmission step of transmitting the real-time video information of the fire site to the central control room by wire; A fire image wireless transmission step of detecting a fire in the fire monitoring step and wirelessly transmitting the real-time image information of the fire site to the central control room by wire; When the fire is extinguished or when the fire alarm is terminated, the fire alarm may be configured to stop the alarm and the image transmission and to perform the above-described fire monitoring step.

여기에서 전술한 화재 감시 단계는 지능형 IP 카메라(40)에서 입력되는 영상정보를 영상처리하여 화재를 판별하며, 화재임이 판별되면 해당 영상 정보와 판별 결과를 중앙감시제어장치(10)로 전송하는 것이고, 상시에는 영상 송출 명령이 입력되었을 때에만 영상을 유무선으로 전송하는 것이다.Here, the above-described fire monitoring step is to determine the fire by processing the image information input from the intelligent IP camera 40, and if it is determined that the fire is to transmit the corresponding image information and the determination result to the central monitoring controller 10. In other words, the video is always transmitted to the wired or wireless network only when a video transmission command is input.

또한 전술한 화재 경보 단계는 화재 감시 단계에서 화재를 판별한 정도 즉, 영상 정보에서 화재로 판별된 영역의 크기, 영역의 개수 등과 연속된 영상 정보에서 화재로 판별된 빈도 등에 따라 화재 의심, 화재 가능, 화재 경보와 같은 3단계로 경보하도록 할 수 있다.In addition, the above-described fire alarm step may be suspected of fire or fire depending on the degree of discrimination of the fire in the fire monitoring step, that is, the size of the area determined as the fire in the image information, the number of areas, and the frequency determined as the fire in the continuous image information. For example, the alarm can be triggered in three stages.

이상과 같이, 본 발명은 전술한 실시예에 한정되지 않고, 본 발명이 의도하는 요지 및 개념 내에서 다양하게 변화시켜 실시하는 것이 가능하다.As mentioned above, this invention is not limited to the above-mentioned embodiment, It can be implemented in various changes within the summary and concept which this invention intends.

10:중앙감시제어장치 20:DHCP/WAP 서버 30:화재 방재 시스템
40:IP 카메라 41:렌즈 42:촬상소자
43:영상획득부 44:영상처리부 45:영상압축부
46:유무선통신부 47:유선랜 48:무선랜
10: central monitoring and control device 20: DHCP / WAP server 30: fire disaster prevention system
40: IP camera 41: lens 42: imaging device
43: image acquisition unit 44: image processing unit 45: image compression unit
46: wired and wireless communication department 47: wired LAN 48: wireless LAN

Claims (7)

터널과 역사 내 화재를 자동으로 인식하여 경보하는 자동 화재 인식 경보 시스템에 있어서,
유무선 통신이 가능하고, 영상 처리 프로세서가 탑재된 IP 카메라와,
유무선 인터넷 망을 통해 상기 IP 카메라와 연결되며, IP 카메라로부터 화재 감시 영상 및 결과 내용 정보, IP 카메라의 상태 정보를 실시간 모니터링 할 수 있으며, 상기 IP 카메라의 구동제어가 가능하고, IP 카메라별 영상 저장, 인덱싱, DB관리, 리포트 기능을 갖는 중앙감시제어장치와,
상기 중앙감시제어장치와 연결되어 상기 IP 카메라와 중앙감시제어장치의 인터넷 연결을 위한 IP를 관리하는 DHCP/WAP 서버로 구성되고,
상기 IP 카메라가 화재 방재 시스템에 연결되어 상기 IP 카메라가 단독으로 화재의 감시, 감지된 화재에 대하여 연결된 화재 방재 시스템을 통해 3단계로 직접 화재를 경보하며, 화재 현장의 실시간 영상 정보를 상기 중앙감시제어장치로 전송하여 화재를 확인할 수 있도록 함을 특징으로 하는 지능형 아이피 카메라를 이용한 자동 화재 인식 경보 시스템.
In the automatic fire recognition alarm system that automatically detects and alarms fires in tunnels and stations,
IP cameras capable of wired and wireless communication, and equipped with an image processing processor,
It is connected to the IP camera through a wired / wireless internet network, and can monitor the fire surveillance image, the result information information, and the status information of the IP camera from the IP camera in real time, control the operation of the IP camera, and store the image for each IP camera. Central monitoring and control device with indexing, DB management, report function,
Is connected to the central control unit and configured to DHCP / WAP server for managing the IP for the Internet connection of the IP camera and the central control unit,
The IP camera is connected to a fire disaster prevention system so that the IP camera alone monitors the fire and fires in three steps through a fire disaster prevention system connected to the detected fire, and monitors the real-time video information of the fire site in the central monitoring. Automatic fire detection alarm system using an intelligent IP camera, characterized in that the transmission to the control device to check the fire.
청구항 1에 있어서,
전술한 지능형 IP 카메라는 전방에 구비된 렌즈를 통해 투영된 영상을 영상정보로 획득하는 촬상소자로 구성된 영상획득부와, 상기 영상획득부의 영상정보를 화재 감지 알고리즘에 의해 프로세싱하여 화재를 감지하는 DSP 및 FPGA가 구성된 영상처리부와, 상기 영상정보를 H.264 고해상도 영상 압축을 통해 실시간으로 영상 전송이 가능하도록 하는 영상압축부와, 상기 영상처리부에서 감지된 화재를 포함하여 상기 영상압축부의 영상정보를 유무선통신으로 전송하는 유무선통신부로 구성됨을 특징으로 하는 지능형 아이피 카메라를 이용한 자동 화재 인식 경보 시스템.
The method according to claim 1,
The above-described intelligent IP camera has an image acquisition unit comprising an image pickup device for acquiring image projected through a lens provided in front and image information, and a DSP for detecting a fire by processing image information of the image acquisition unit by a fire detection algorithm. And an image processing unit configured with an FPGA, an image compression unit to transmit the image information in real time through H.264 high-resolution image compression, and image information of the image compression unit including a fire detected by the image processing unit. Automatic fire recognition alarm system using an intelligent IP camera, characterized in that consisting of a wired and wireless communication unit to transmit to wired and wireless communication.
청구항 2에 있어서,
전술한 영상처리부는 영상획득부로부터 입력되는 RGB 영상정보를 YCbCr 영상정보로 변환하여 삼각함수와 가우시안함수에 적용하여 영상정보에서 화재를 판별하는 것임을 특징으로 하는 지능형 아이피 카메라를 이용한 자동 화재 인식 경보 시스템.
The method according to claim 2,
The above-mentioned image processing unit converts RGB image information input from the image acquisition unit into YCbCr image information and applies it to a trigonometric function and a Gaussian function to determine a fire from the image information. .
청구항 2에 있어서,
전술한 영상처리부는 YCbCr 영상정보에서 Y-Cb 성분과 Cb-Cr 성분을 삼각함수에 적용하여 산출한 결과 X와, 상기 Y-Cb 성분과 Cb-Cr 성분을 가우시안함수에 적용하여 Y를 산출하고, 상기 산출한 결과 Y를 (X+Y)-(X*Y)에 적용한 후 규칙성을 적용하여 영상정보에서 화재를 판별함을 특징으로 하는 지능형 아이피 카메라를 이용한 자동 화재 인식 경보 시스템.
The method according to claim 2,
The image processing unit calculates Y by applying the Y-Cb component and the Cb-Cr component to the triangular function in the YCbCr image information and applying the Y-Cb component and the Cb-Cr component to the Gaussian function. And applying the calculated result Y to (X + Y)-(X * Y) and then applying regularity to determine the fire from the image information.
각 지능형 IP 카메라에서 담당하고 있는 지역의 화재를 상기 IP 카메라가 감시하는 화재 감시 단계와;
상기 화재 감시 단계에서 IP 카메라가 화재를 감지하면 상기 IP 카메라가 유무선 인터넷으로 연결된 화재 방재 시스템에 직접 경보하는 화재 경보 단계와;
상기 화재 감시 단계에서 IP 카메라가 화재를 감지하면 화재 현장의 실시간 영상 정보를 유선으로 연결된 중앙관제실로 전송하는 화재 영상 유선전송 단계와;
상기 화재 감시 단계에서 IP 카메라가 화재를 감지하고 화재 현장의 실시간 영상 정보를 유선으로 중앙관제실로 전송하는 것이 실패되면 무선으로 전송하는 화재 영상 무선 전송 단계와;
상기 IP 카메라는 화재가 진화되거나 화재경보 종료 명령을 받으면 경보 및 영상전송을 중단하고 상기 화재 감시 단계를 실시하도록 하는 화재 경보 종료 단계로 구성됨을 특징으로 하는 지능형 아이피 카메라를 이용한 자동 화재 인식 경보 방법.
A fire monitoring step of monitoring, by the IP camera, a fire of an area in charge of each intelligent IP camera;
A fire alarm step of directly alarming the fire prevention system connected to the wired / wireless Internet when the IP camera detects a fire in the fire monitoring step;
A fire video wired transmission step of transmitting real-time video information of a fire site to a central control room connected by wire when the IP camera detects a fire in the fire monitoring step;
A fire image wireless transmission step of wirelessly transmitting when the IP camera detects a fire in the fire monitoring step and fails to transmit real-time image information of the fire site to the central control room by wire;
The IP camera is an automatic fire recognition alarm method using an intelligent IP camera, characterized in that the fire alarm termination step to stop the alarm and video transmission when the fire is extinguished or received a fire alarm termination command to perform the fire monitoring step.
청구항 5에 있어서,
전술한 화재 감시 단계는 지능형 IP 카메라가 촬영되는 영상정보를 영상처리하여 화재를 판별하며, 영상 송출 명령이 입력되었을 때에만 영상을 유무선으로 전송함을 특징으로 하는 지능형 아이피 카메라를 이용한 자동 화재 인식 경보 방법.
The method according to claim 5,
In the above-described fire monitoring step, the intelligent IP camera detects a fire by processing image information captured by the intelligent IP camera, and transmits the image by wire or wireless only when an image transmission command is input. Way.
청구항 5에 있어서,
전술한 화재 경보 단계는 IP 카메라가 화재 감시 단계에서 화재를 판별한 정도에 따라 화재 의심, 화재 가능, 화재 경보와 같은 3단계로 경보함을 특징으로 하는 지능형 아이피 카메라를 이용한 자동 화재 인식 경보 방법.
The method according to claim 5,
The above-mentioned fire alarm step is an automatic fire recognition alarm method using an intelligent IP camera, characterized in that the alarm is fired in three stages, such as fire suspects, possible fire, fire alarms according to the degree that the IP camera determines the fire in the fire monitoring step.
KR1020100027715A 2010-03-29 2010-03-29 Automatic Fire Recognition and Alarm Systems using Intelligent IP Camera and Method Thereof KR101111493B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100027715A KR101111493B1 (en) 2010-03-29 2010-03-29 Automatic Fire Recognition and Alarm Systems using Intelligent IP Camera and Method Thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100027715A KR101111493B1 (en) 2010-03-29 2010-03-29 Automatic Fire Recognition and Alarm Systems using Intelligent IP Camera and Method Thereof

Publications (2)

Publication Number Publication Date
KR20110108497A KR20110108497A (en) 2011-10-06
KR101111493B1 true KR101111493B1 (en) 2012-02-22

Family

ID=45318700

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100027715A KR101111493B1 (en) 2010-03-29 2010-03-29 Automatic Fire Recognition and Alarm Systems using Intelligent IP Camera and Method Thereof

Country Status (1)

Country Link
KR (1) KR101111493B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101195592B1 (en) 2012-03-28 2012-10-29 (주)한동알앤씨 Machine for reporting fire promptly, and fire alarm system using the same
KR20200008229A (en) 2018-07-16 2020-01-28 포인드 주식회사 Intelligence Fire Detecting System Using CCTV
KR20200077099A (en) 2018-12-20 2020-06-30 우송대학교 산학협력단 Video Processing System of Intelligent Mobile Device with Monitoring Application to Detect and Control Commercial Fire

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101281494B1 (en) * 2011-12-26 2013-07-03 한국철도기술연구원 An auto control system of intelligent ptz camera using smart phone
KR101643253B1 (en) * 2014-06-30 2016-07-28 김종욱 Closed circuit television control system and control method the same
KR101649593B1 (en) * 2015-12-18 2016-08-30 주식회사 싸인텔레콤 The appartus and method for tunnel smoke detection based on vehicle fire
KR102123763B1 (en) * 2019-08-29 2020-06-16 주식회사 로제타텍 Fire alarm system
CN112579300A (en) * 2020-12-28 2021-03-30 云南电网有限责任公司电力科学研究院 Terminal-oriented power network fire monitoring and identifying method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060041555A (en) * 2004-11-09 2006-05-12 한국서부발전 주식회사 System and method for detecting and alarming a fire of thermal power plants
KR100638120B1 (en) 2006-02-10 2006-10-24 주식회사 영국전자 Sensor for detecting fire-sensing
KR20070028813A (en) * 2005-09-08 2007-03-13 강릉대학교산학협력단 Method and system for monitoring forest fire
KR20090116215A (en) * 2008-05-06 2009-11-11 (주) 티앤엑스시스템즈 Intelligent video management system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060041555A (en) * 2004-11-09 2006-05-12 한국서부발전 주식회사 System and method for detecting and alarming a fire of thermal power plants
KR20070028813A (en) * 2005-09-08 2007-03-13 강릉대학교산학협력단 Method and system for monitoring forest fire
KR100638120B1 (en) 2006-02-10 2006-10-24 주식회사 영국전자 Sensor for detecting fire-sensing
KR20090116215A (en) * 2008-05-06 2009-11-11 (주) 티앤엑스시스템즈 Intelligent video management system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101195592B1 (en) 2012-03-28 2012-10-29 (주)한동알앤씨 Machine for reporting fire promptly, and fire alarm system using the same
KR20200008229A (en) 2018-07-16 2020-01-28 포인드 주식회사 Intelligence Fire Detecting System Using CCTV
KR20200077099A (en) 2018-12-20 2020-06-30 우송대학교 산학협력단 Video Processing System of Intelligent Mobile Device with Monitoring Application to Detect and Control Commercial Fire

Also Published As

Publication number Publication date
KR20110108497A (en) 2011-10-06

Similar Documents

Publication Publication Date Title
KR101111493B1 (en) Automatic Fire Recognition and Alarm Systems using Intelligent IP Camera and Method Thereof
CN107911653B (en) Intelligent video monitoring module, system, method and storage medium for residence
KR102028147B1 (en) Integrated control system, video analysis device and local control server for controlling event
JP2012178134A (en) Integrated system and method for security monitoring and early fire alarming
CN107221133B (en) A kind of area monitoring alarm system and alarm method
KR101467352B1 (en) location based integrated control system
KR101498985B1 (en) Photographing and monitoring system based on GPS for emergency scene using IP CCTV and Photographing and monitoring method for emergency scene therefor
KR101200268B1 (en) Composite fire sensor device based on image for active evacuation and rescue and system using the same
KR101321447B1 (en) Site monitoring method in network, and managing server used therein
CN104658188A (en) Channel security early-warning system and channel early-warning method
KR20080044812A (en) The automatic guard system to prevent the crime and accident using computer video image analysis technology
KR101442669B1 (en) Method and apparatus for criminal acts distinction using intelligent object sensing
KR101075550B1 (en) Image sensing agent and security system of USN complex type
KR101020670B1 (en) Security system with remotetest function
KR101797218B1 (en) Multi control device for remote security
KR20160072617A (en) Surveillance camera and control method thereof
KR101046819B1 (en) Method and system for watching an intrusion by software fence
KR101524922B1 (en) Apparatus, method, and recording medium for emergency alert
KR102630275B1 (en) Multi-camera fire detector
KR101167605B1 (en) Intelligent controller using camera and method thereof
KR102313283B1 (en) A artificial intelligence multipurpose emergency bell system with video analysis function
KR20140057225A (en) Methods of cctv video take advantage and surveillance system improved using multi-sensor and thermal imaging
JP3874539B2 (en) Image monitoring device
KR20040097943A (en) Signaling system with an imaging sensor
KR101600401B1 (en) monitor camera system linkaged with emergency bell including interphone

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150126

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160126

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180220

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190128

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200305

Year of fee payment: 9