KR19990007522A - Unmanned wildfire monitoring device and its method - Google Patents
Unmanned wildfire monitoring device and its method Download PDFInfo
- Publication number
- KR19990007522A KR19990007522A KR1019980037653A KR19980037653A KR19990007522A KR 19990007522 A KR19990007522 A KR 19990007522A KR 1019980037653 A KR1019980037653 A KR 1019980037653A KR 19980037653 A KR19980037653 A KR 19980037653A KR 19990007522 A KR19990007522 A KR 19990007522A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- high frequency
- image
- forest fire
- signal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000012806 monitoring device Methods 0.000 title abstract description 4
- 238000012544 monitoring process Methods 0.000 claims abstract description 37
- 238000003384 imaging method Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 15
- 239000002131 composite material Substances 0.000 claims description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/005—Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Alarm Systems (AREA)
Abstract
본 발명은 관리하고자하는 산 정상부에 특수 영상장비(열감지 카메라)와 방향 감지기 등을 설치하고 그 촬상되는 영상과 카메라의 각도를 종합 상황실로 보고하며, 종합 상황실에서는 촬상 영상을 분석하여 산불로 판정되면 산불 위치를 영상으로 보여줌과 동시에 자동으로 경보음을 발생하여 감시자가 산불 위치 및 산불 여부를 정확히 인지토록 해주어 산불로 인한 피해를 최소화하도록 한 무인 산불 감시 장치 및 그 방법에 관한 것으로서, 이러한 본 발명은, 팬/틸트의 1차 회전시 첫 번째 카메라의 분할각에 따른 촬상 영상 데이터를 저장하고, 팬/틸트의 2차 회전시 첫 번째 카메라의 분할각에 따른 촬상 영상 데이터와 저장한 영상 데이터를 비교하는 제1단계; 영상 데이터 비교 결과 영상의 급격한 변화가 없으면 다음 카메라를 선택한 후 상기 제1단계로 리턴하고, 영상 데이터 비교 결과 영상의 급격한 변화가 존재하면 일정 시간 지연후 급격한 영상 변화가 발생한 지점의 이동 여부를 확인하는 제2단계; 급격한 영상 변화가 발생한 지점의 위치가 변화하지 않으면 산불로 판단하고, 산불 발생을 경고해 주는 알람을 발생한 후 산불 발생 지점을 화면 중심으로 이동시키는 제3단계; 제3단계후 PC상의 지도에 카메라가 보는 방향으로 지시선을 표시하여 산불 화면의 위치가 지시되도록 제어하는 제4단계를 순차 실행시킴으로써, 무인으로 산불 감시가 가능하다.The present invention installs a special imaging equipment (heat detection camera) and a direction detector at the top of a mountain to be managed and reports the captured image and the angle of the camera to a comprehensive situation room. The present invention relates to an unmanned forest fire monitoring device and method for minimizing damage caused by forest fires by allowing the monitor to accurately recognize a forest fire location and a forest fire by automatically generating an alarm sound while simultaneously displaying a forest fire location. Stores the captured image data according to the dividing angle of the first camera in the first rotation of pan / tilt, and stores the captured image data and stored image data according to the dividing angle of the first camera in the second rotation of pan / tilt. A first step of comparing; If there is no sudden change in the image as a result of comparing the image data, select the next camera and return to the first step. Second step; A third step of determining that it is a wildfire if a location of a point where a sudden image change occurs is not changed, generating an alarm for warning a wildfire occurrence, and then moving the wildfire occurrence point to the center of the screen; After the third step, by executing the fourth step of controlling the position of the wildfire screen by displaying the leader line in the direction of the camera on the map on the PC, the forest fire monitoring can be performed unattended.
Description
본 발명은 관리하고자 하는 산 정상부에 특수 영상장비(열감지 카메라)와 방향 감지기 등을 설치하고 그 촬상 되는 영상과 카메라의 각도를 종합 상황실로 보고하며, 종합 상황실에서는 촬상 영상을 분석하여 산불로 판정되면 산불 위치를 영상으로 보여줌과 동시에 자동으로 경보음을 발생하여 감시자가 산불 위치 및 산불 여부를 정확히 인지토록 해주어 산불로 인한 피해를 최소화하도록 한 무인 산불 감시 장치 및 그 방법에 관한 것이다.The present invention installs a special imaging equipment (heat detection camera) and a direction detector at the top of a mountain to be managed and reports the captured image and the angle of the camera to a comprehensive situation room. The present invention relates to an unmanned forest fire monitoring device and a method for minimizing the damage caused by forest fires by showing an image of a forest fire location and automatically generating an alarm sound so that a watcher can accurately recognize the forest fire location and a forest fire.
일반적으로, 지구촌 모든 나라가 산림 자원을 매우 소중하게 생각하는데, 그 중 특히 우리 나라는 산림 자원이 매우 귀한 나라이다. 이러한 우리의 산림 자원을 잘 관리하자면 많은 인원과 재원이 필요하며, 또한 산악이 매우 험한 지형일수록 상시 관리 체제란 매우 불가능한 일이다.In general, every country in the world values forest resources very much, especially our country, which is very valuable. Managing our forest resources well requires a large number of people and resources, and the more mountainous terrain, the more permanent management is.
종래의 산불 감시 관리 체제를 살펴보면, 인적 자원을 이용하는 경우 산불 감시인을 감시코자 하는 산의 요소 요소에 배치하여 산불을 감시하게 되는데, 이 경우의 모든 산에 감시인을 배치할 수 없으므로 산불 감시에 정확성을 기할 수 없다는 단점이 있었다.In the conventional forest fire monitoring system, when using human resources, forest fire monitors are placed on the elements of the mountain to be monitored, and the forest fires are monitored. There was a disadvantage that can not.
특히, 지형이 매우 험한 산일수록 감시인에 의한 산불 감시가 더욱 어려워 산불 감시에 만전을 기할 수 없다.In particular, the more hilly mountains, the more difficult it is to monitor wildfires by the watchdog, so it is impossible to fully monitor them.
다음으로, 인적 요소인 감시인과 물적 요소인 카메라 및 모니터를 통한 산불 감시 관리 체제가 있는데, 이 경우에는 CCTV를 산 정상부에 설치하고, 통제소에서 상시 모니터로 이를 감시 및 확인하는 방법으로 산불 감시를 관리하였다.Next, there is a forest fire monitoring and management system using human monitors and physical cameras and monitors. In this case, the CCTV is installed at the top of the mountain, and the forest fire monitoring is managed by monitoring and confirming it with the regular monitor at the control station. It was.
그러나 이러한 인적 및 물적 자원을 이용한 산불 감시 관리 체제에도, 사람이 항상 모니터를 주시해야 하므로 인적 재원이 많이 소요되는 단점이 있으며, 특히 사람에 의한 산불 감시이므로 관리에 정확성을 기할 수 없고, 또한 산불 발생시 정확한 위치 파악이 어려워 초기 대응이 불가능한 단점이 있었다.However, even in such a fire monitoring management system using human and physical resources, there is a disadvantage in that a lot of human resources are required because a person always needs to watch the monitor, and in particular, since it is a human fire monitoring, it is impossible to ensure accuracy in management. It was difficult to pinpoint the exact location, the initial response was a disadvantage.
특히, 상기와 같은 산불 감시 방법은, 초기에 산불 발생을 감지한 상태에서 정확히 산불이 발생한 위치를 파악하는데 소요되는 시간이 많이 걸려, 실제적으로 산불을 진화하기 위해 산불 발생 지역으로 접근한 상태는 이미 산불이 산림을 거의 훼손한 상태가 되므로 최적의 산불 관리라고 볼 수 없다.In particular, the forest fire monitoring method as described above takes a long time to determine the exact location of the forest fire in the state of detecting the occurrence of the forest fire in the early stage, and the state of approaching the forest fire generation area to actually extinguish the forest fire is already Because forest fires have almost damaged forests, it is not an optimal forest fire management.
이에 본 발명은 상기와 같은 종래 산불 관리 체제의 제반 문제점을 해결하기 위해서 제안된 것으로서,Therefore, the present invention is proposed to solve the problems of the conventional forest fire management system as described above,
본 발명은 관리하고자 하는 산 정상부에 특수 영상장비와 방향감지기 등을 설치하고 그 촬상 되는 영상과 카메라의 각도를 종합 상황실로 보고하며, 종합 상황실에서는 촬상 영상을 분석하여 산불로 판정되면 산불 위치를 영상으로 보여줌과 동시에 자동으로 경보음을 발생하여 감시자가 산불 위치 및 산불 여부를 정확히 인지토록 해주어 산불로 인한 피해를 최소화하도록 한 무인 산불 감시 장치를 제공하는 데 그 목적이 있다.The present invention installs a special imaging equipment and a direction sensor on the top of the mountain to be managed and reports the captured image and the angle of the camera to the comprehensive situation room. The purpose of the present invention is to provide an unmanned forest fire monitoring device that automatically generates an alarm sound so that the watcher can accurately recognize the forest fire location and the presence of the forest fire to minimize the damage caused by the forest fire.
본 발명의 다른 목적은, 관리하고자 하는 산 정상부에 특수 영상장비와 방향 감지기 등을 설치하고 그 촬상 되는 영상과 카메라의 각도를 종합 상황실로 보고하며, 종합 상황실에서는 촬상 영상을 분석하여 산불로 판정되면 산불 위치를 영상으로 보여줌과 동시에 자동으로 경보음을 발생하여 감시자가 산불 위치 및 산불 여부를 정확히 인지토록 해주어 산불로 인한 피해를 최소화하도록 한 무인 산불 감시 방법을 제공함에 있다.Another object of the present invention is to install a special imaging equipment and a direction detector on the top of the mountain to be managed and report the image of the captured image and the angle of the camera to the comprehensive situation room. It provides an unmanned forest fire monitoring method that minimizes the damage caused by forest fires by showing the forest fire location as an image and automatically generating an alarm sound so that the monitor can accurately recognize the forest fire location and the fire.
상기와 같은 목적을 달성하기 위한 본 발명에 의한 무인 산불 감시 장치는,Unmanned forest fire monitoring apparatus according to the present invention for achieving the above object,
산 정상부에 설치되어 열로써 산불 위치를 감지한 후 그 위치를 촬상하는 열감지 카메라와; 상기 열감지 카메라와 근접한 위치에 설치되어 상기 산불 감시를 위해 산의 임의 위치를 촬상 하는 산불감시 카메라와; 상기 열감지 카메라 및 산불감시 카메라의 촬상각을 제어하고 동시에 촬상 각도를 엔코더를 통해 검출하여 출력하는 카메라 구동부와; 시설물 보안을 위한 각각의 센서의 감지 데이터를 출력하고 산불 통제부에서 전달된 카메라 위치 제어 데이터를 상기 카메라 구동부에 전달해 주며, 영상선택 제어신호를 발생하는 카메라 제어 및 신호 처리부와; 상기 카메라 제어 및 신호 처리부에서 얻어지는 영상선택 제어 신호에 따라 상기 열감지 카메라 또는 산불감시 카메라에서 얻어지는 촬상 영상을 선택 출력하는 영상선택 제어부와; 상기 카메라 제어 및 신호 처리부에서 얻어지는 센서 감지 데이터 및 촬상 방위각도 값과 상기 영상선택 제어부에서 얻어지는 비디오 신호를 고주파로 변조한 후 이를 송신토록 제1 송, 수신 안테나로 전달해 주고, 그 제1 송, 수신 안테나에서 수신된 고주파는 처리하여 제어 신호로써 상기 카메라 제어 및 신호 처리부에 전달해 주는 고주파 변환 및 처리부와; 상기 고주파 변환 및 처리부에서 얻어지는 오디오를 외부로 송출하여 경고음을 발생하는 스피커와; 상기 제1 송, 수신 안테나에서 송신된 고주파를 수신하기 위한 제2 송, 수신 안테나와; 상기 제2 송, 수신 안테나로부터 수신된 고주파를 처리하고 아울러 팬/틸트와 카메라의 위치를 제어하기 위한 신호를 고주파로 변조하여 상기 제2 송, 수신 안테나를 통해 송신해 주며, 마이크를 통해 입력되는 경고 방송을 상기 송신 신호에 혼합하는 고주파 송수신기와; 상기 고주파 송수신기에서 처리된 알람 데이터와 위치판독 데이터를 처리하고, 팬/틸트의 위치 제어 데이터와 줌 렌즈 제어 데이터를 상기 고주파 송수신기에 전달해 주며 비디오 선택 신호를 발생하는 신호변환 및 카메라 제어부와; 상기 신호변환 및 카메라 제어부에서 얻어지는 제어신호에 따라 상기 고주파 송수신기에서 얻어지는 비디오 신호중 와이드 스크린에 디스플레이 하기 위한 비디오를 선택하여 출력하는 비디오 선택기와; 상기 고주파 송수신기에서 처리된 영상을 각 카메라별로 디스플레이 해주는 다수개의 모니터를 구비한 모니터부와; 팬/틸트의 조작을 통해 카메라들을 보고자 하는 방향으로 방향전환시킬 수 있도록 수동으로 조작되는 조이 스틱과; 산불 위치 판독을 위한 프로그램이 내장되며, GEO 그래픽 정보가 내장되며 위치 판독된 GEO 그래픽 정보를 영상으로 디스플레이 하는 모니터를 구비한 컴퓨터와; 상기 컴퓨터에서 얻어지는 영상 신호를 복합 영상신호로 변환하는 영상신호 변환부와; 상기 비디오 선택기에서 얻어지는 영상신호 또는 상기 영상신호 변환부에서 얻어지는 GEO 그래픽 영상을 확장하여 디스플레이 해주는 와이드 스크린부로 구성됨을 특징으로 한다.A heat sensing camera installed at the top of the mountain and sensing a fire position by heat and capturing the position; A fire monitoring camera installed at a position close to the heat detection camera and imaging an arbitrary position of a mountain for monitoring the fire; A camera driver for controlling the imaging angles of the thermal sensing camera and the wildfire monitoring camera, and simultaneously detecting and outputting the imaging angle through an encoder; A camera control and signal processor which outputs sensing data of each sensor for facility security, transmits camera position control data transmitted from a forest fire control unit to the camera driver, and generates an image selection control signal; An image selection control unit for selectively outputting a captured image obtained by the thermal sensing camera or a forest fire monitoring camera according to an image selection control signal obtained by the camera control and signal processing unit; The sensor sensed data obtained by the camera control and signal processing unit and the imaging azimuth angle value and the video signal obtained by the image selection control unit are modulated at high frequency, and then transmitted to the first transmitting and receiving antenna for transmission, and the first transmitting and receiving A high frequency converting and processing unit for processing the high frequency received from the antenna and transmitting the control signal to the camera control and signal processing unit as a control signal; A speaker for generating a warning sound by transmitting the audio obtained by the high frequency conversion and processing unit to the outside; A second transmit and receive antenna for receiving a high frequency transmitted from the first transmit and receive antenna; It processes the high frequency received from the second transmit and receive antennas, modulates the signals for controlling the position of the pan / tilt and the camera at high frequency, and transmits the signals through the second transmit and receive antennas and is input through a microphone. A high frequency transceiver for mixing an alert broadcast with the transmission signal; A signal conversion and camera controller for processing the alarm data and the position reading data processed by the high frequency transceiver, transferring the position control data of the pan / tilt and the zoom lens control data to the high frequency transceiver, and generating a video selection signal; A video selector for selecting and outputting a video for display on a wide screen among video signals obtained by the high frequency transceiver according to the signal conversion and the control signal obtained from the camera controller; A monitor unit having a plurality of monitors for displaying images processed by the high frequency transceiver for each camera; A joy stick which is manually operated to change the direction of the cameras to be viewed by the operation of the pan / tilt; A computer having a program for reading a forest fire position, having a monitor having GEO graphic information therein and displaying the position read GEO graphic information as an image; A video signal converter for converting a video signal obtained from the computer into a composite video signal; And a wide screen unit configured to expand and display a video signal obtained from the video selector or a GEO graphic image obtained from the video signal converter.
상기와 같은 본 발명의 다른 목적을 달성하기 위한 본 발명에 의한 방법은,Method according to the invention for achieving the other object of the present invention as described above,
팬/틸트의 1차 회전시 첫 번째 카메라의 분할각에 따른 촬상 영상 데이터를 저장하고, 상기 팬/틸트의 2차 회전시 상기 첫 번째 카메라의 분할각에 따른 촬상 영상 데이터와 상기 저장한 영상 데이터를 비교하는 제1단계와;Stores captured image data according to the dividing angle of the first camera when the first rotation of the pan / tilt, and captured image data and the stored image data according to the dividing angle of the first camera when the second rotation of the pan / tilt Comparing the first step with;
상기 영상 데이터 비교 결과 영상의 급격한 변화가 없으면 다음 카메라를 선택한 후 상기 제1단계로 리턴하고, 상기 영상 데이터 비교 결과 영상의 급격한 변화가 존재하면 일정시간 지연후 급격한 영상 변화가 발생한 지점의 이동 여부를 확인하는 제2단계와;If there is no sudden change of the image as a result of comparing the image data, select the next camera and return to the first step.If there is a sudden change of the image as a result of the comparison of the image data, it is determined whether or not the movement of the point where the sudden change of image occurs after a certain time delay occurs. Confirming the second step;
상기 급격한 영상 변화가 발생한 지점의 위치가 변화하지 않으면 산불로 판단하고, 산불 발생을 경고해 주는 알람을 발생한 후 산불발생 지점을 화면 중심으로 이동시키는 제3단계와;A third step of determining that it is a wildfire if the location of the point where the abrupt image change occurs does not change, and moving the wildfire occurrence point to the center of the screen after generating an alarm for warning the occurrence of wildfire;
상기 제3단계후 PC상의 지도에 카메라가 보는 방향으로 지시선을 표시하여 상기 산불 화면의 위치가 지시되도록 제어하는 제4단계로 이루어짐을 특징으로 한다.And a fourth step of controlling a position of the forest fire screen by displaying a leader line in a direction of the camera on a map on the PC after the third step.
이하, 상기와 같은 기술적 사상에 따른 본 발명의 바람직한 실시 예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다.Hereinafter, with reference to the accompanying drawings, preferred embodiments of the present invention according to the technical spirit as described above in detail.
도1은 본 발명에 의한 무인 산불 감시 장치의 블록 구성도,1 is a block diagram of an unmanned wildfire monitoring apparatus according to the present invention,
도2는 본 발명에 의한 무인 산불 감시 방법을 보인 흐름도.Figure 2 is a flow chart showing an unmanned wildfire monitoring method according to the present invention.
도면의 주요 부분에 대한 부호의 설명Explanation of symbols for the main parts of the drawings
1 : 열감지 카메라 3 : 카메라 구동부1: thermal sensing camera 3: camera driver
7 : 카메라 제어 및 신호 처리부 8 : 영상선택 제어부7: Camera control and signal processing unit 8: Image selection control unit
10 : 고주파 변환 및 처리부 15 : 고주파 수신부10: high frequency conversion and processing unit 15: high frequency receiving unit
17 : 신호변환 및 카메라 제어부 18 : 비디오 선택기17: signal conversion and camera control unit 18: video selector
22 : 영상신호 변환부 23 : 와이드 스크린부22: video signal conversion unit 23: wide screen unit
첨부한 도면 도1은 본 발명에 의한 무인 산불 감시 장치 전체 구성도이다.1 is an overall configuration diagram of an unmanned wildfire monitoring apparatus according to the present invention.
여기서, 참조 부호 1은 산 정상부에 설치되어 열로써 산불 위치를 감지한 후 그 위치를 촬상 하는 열감지 카메라이고, 2는 상기 열감지 카메라(1)와 근접한 위치에서 촬상방향이 서로 정확히 일치되는 상태로 설치되어 상기 산불 감시를 위해 산의 임의 위치를 촬상 하는 산불 감시 카메라이며, 3은 상기 열감지 카메라(1) 및 산불 감시 카메라(2)의 촬상각을 제어하고 동시에 카메라등의 촬상 각도를 출력하는 엔코더(3a) 및 팬/틸트 제어신호 전달부(3b)를 포함하는 카메라 구동부이고, 7은 시설물 보안을 위한 각각의 센서(4 ~ 6)의 감지 데이터를 출력하고 산불 통제부에서 전달된 카메라 위치 제어 데이터를 상기 카메라 구동부(3)에 전달해 주며, 영상선택 제어신호를 발생하는 카메라 제어 및 신호 처리부이다.Here, reference numeral 1 denotes a thermal sensing camera installed at the top of the mountain and sensing the fire position by heat, and imaging the position thereof, and 2 denotes a state in which the imaging directions are exactly coincident with each other in close proximity to the thermal sensing camera 1. It is installed in the forest fire monitoring camera for imaging the arbitrary position of the mountain for the forest fire monitoring, 3 controls the imaging angle of the thermal detection camera 1 and the forest fire monitoring camera (2) and at the same time output the imaging angle of the camera, etc. A camera driver including an encoder (3a) and a pan / tilt control signal transmitter (3b), 7 outputs sensing data of each sensor (4 to 6) for facility security, and a camera transmitted from a forest fire control unit. It is a camera control and signal processor which transmits position control data to the camera driver 3 and generates an image selection control signal.
또한, 8은 상기 카메라 제어 및 신호 처리부(7)에서 얻어지는 영상선택 제어신호에 따라 상기 열감지 카메라(1) 또는 산불감시 카메라(2)에서 얻어지는 촬상 영상을 하나만 선택하여 출력하는 영상선택 제어부이고, 10은 상기 카메라 제어 및 신호 처리부(7)에서 얻어지는 센서 감지 데이터 및 촬상 방위각도 값과 상기 영상선택 제어부(8)를 통해 선택되어 출력되는 비디오 신호를 고주파로 변조한 후 이를 공중으로 송신토록 제1 송, 수신 안테나(12)로 전달해 주고, 상기 제1 송, 수신 안테나(12)에서 수신된 고주파는 처리하여 제어신호로써 상기 카메라 제어 및 신호 처리부(7)에 전달해 주는 고주파 변환 및 처리부이며, 11은 상기 고주파 변환 및 처리부에서 얻어지는 오디오신호를 외부로 송출하여 경고음을 발생하는 스피커이다.8 is an image selection controller for selecting and outputting only one captured image obtained by the thermal sensing camera 1 or the forest fire monitoring camera 2 according to the image selection control signal obtained by the camera control and signal processor 7, 10 is a first signal to modulate the sensor detection data and the image pickup azimuth value obtained by the camera control and signal processing unit 7 and the video signal selected and output through the image selection control unit 8 at high frequency and then transmit them to the air. It is a high frequency conversion and processing unit which transmits to the transmission and reception antenna 12, and the high frequency received by the first transmission and reception antenna 12 is processed and transmitted to the camera control and signal processing unit 7 as a control signal. Is a speaker which emits a warning sound by transmitting an audio signal obtained from the high frequency conversion and processing unit to the outside.
또한, 13은 상기 제1 송, 수신 안테나(12)에서 수신된 고주파를 수신하고 팬/틸트의 제어를 통해 카메라의 위치를 제어하기 위한 신호 및 경고 방송등을 송신하기 위한 제2 송, 수신 안테나이고, 15는 상기 제2 송, 수신 안테나(13)로부터 수신된 고주파를 처리하고 아울러 팬/틸트의 위치와 카메라의 위치를 제어하기 위한 신호를 고주파로 변조하여 상기 제2 송, 수신 안테나(13)를 통해 송신해 주며, 마이크(14)를 통해 입력되는 경고방송을 상기 송신신호에 혼합하는 고주파 송수신기이며, 17은 상기 고주파 송수신기(15)에서 처리된 알람 데이터와 위치판독 데이터를 처리하고, 팬/틸트의 위치 제어 데이터와 줌 렌즈 제어 데이터를 상기 고주파 송수신기(15)에 전달해 주며 비디오 선택 신호를 발생하는 신호변환 및 카메라 제어부이고, 18은 상기 신호변환 및 카메라 제어부(17)에서 얻어지는 제어 신호에 따라 상기 고주파 송수신기(15)에서 얻어지는 비디오 신호중 와이드 스크린(23)에 디스플레이 하기 위한 비디오를 선택하여 출력하는 비디오 선택기(18)이고, 19는 상기 고주파 송수신기(15)에서 처리된 영상을 일대일로 디스플레이 해주는 다수개의 모니터(19a ~ 19c)를 구비한 모니터부이다.Further, 13 is a second transmission and reception antenna for receiving a high frequency received from the first transmission and reception antenna 12 and transmitting signals and warning broadcasts for controlling the position of the camera through control of pan / tilt. 15 denotes the second transmit / receive antenna 13 by processing a high frequency signal received from the second transmit / receive antenna 13 and by modulating a signal for controlling the position of the pan / tilt and the position of the camera at a high frequency. Is a high frequency transceiver for transmitting the warning broadcast input through the microphone 14 to the transmission signal, and 17 processes the alarm data and the position reading data processed by the high frequency transceiver 15, and a fan. Is a signal conversion and camera control unit which transmits the position control data and the zoom lens control data of the / tilt to the high frequency transceiver 15 and generates a video selection signal. The video selector 18 selects and outputs a video for display on the wide screen 23 among the video signals obtained by the high frequency transceiver 15 according to the control signal obtained by the controller 17. 19 is the high frequency transceiver 15. It is a monitor having a plurality of monitors (19a ~ 19c) for displaying the image processed in the one-to-one.
또한, 20은 팬/틸트를 제어하여 카메라들을 조작자가 원하는 방향으로 그 방향전환을 실시할 수 있도록 수동으로 하는 조이 스틱이고, 21은 산불 위치 판독을 위한 프로그램이 내장되며, GEO 그래픽 정보가 내장되며 위치 판독된 GEO 그래픽 정보를 영상으로 디스플레이 하는 모니터를 구비한 컴퓨터이며, 22는 상기 컴퓨터(21)에서 얻어지는 영상신호를 복합 영상신호로 변환하는 영상신호 변환부이고, 23은 상기 비디오 선택기(18)에서 얻어지는 영상신호 또는 상기 영상신호 변환부(22)에서 얻어지는 GEO 그래픽 영상을 확장하여 디스플레이 해주는 와이드 스크린부이다.In addition, 20 is a joystick that controls the pan / tilt to allow the camera operator to manually change its orientation, 21 is a built-in program for reading the fire position, and GEO graphic information. A computer having a monitor for displaying position read-out GEO graphic information as an image, wherein 22 is a video signal converter for converting a video signal obtained from the computer 21 into a composite video signal, and 23 is the video selector 18. It is a wide screen unit for displaying and extending the video signal obtained from the GEO graphic image obtained from the video signal converter 22.
또한, 24는 태양열을 집열하기 위한 태양열 집열판이고, 25는 상기 태양열 집열판(24)에서 얻어진 전기를 정전압으로 만들어 출력하는 레귤레이터이며, 26은 상기 레귤레이터(25)에서 출력되는 전압을 충전하는 밧데리이고, 27은 상기 밧데리(26)에서 출력되는 전압을 각 기기에 알맞게 분배해 주는 전원 공급부이다.In addition, 24 is a solar heat collecting plate for collecting solar heat, 25 is a regulator for outputting the electricity obtained from the solar heat collecting plate 24 to a constant voltage, 26 is a battery for charging the voltage output from the regulator 25, 27 is a power supply unit for properly distributing the voltage output from the battery 26 to each device.
이러한 구성을 갖는 본 발명에 의한 무인 산불 감시 장치는, 먼저 산 정상부에 설치된 산불 감시부(1 ~ 12, 24 ~ 27을 통칭함)는 각각의 카메라(1)(2)로 산불을 감시하게 되는데, 여기서 실제적으로 산불 감시부는 3개가 존재하며, 각 산불 감시부의 구성은 동일하므로, 이하에서는 하나의 산불 감시부의 동작만을 설명한다.In the unmanned wildfire monitoring apparatus according to the present invention having such a configuration, first, the wildfire monitoring unit (collectively, 1 to 12, 24 to 27) installed at the top of the mountain monitors the fire with each camera (1) (2). Here, there are actually three forest fire monitoring units, and the configuration of each forest fire monitoring unit is the same. Hereinafter, only one forest fire monitoring unit will be described.
먼저, 태양열 집열판(24)은 태양열을 집열하여 전기로 변환을 하게 되고, 레귤레이터(25)는 그 태양열 집열판(24)에서 얻어지는 전기를 정전압으로 만든다. 아울러 밧데리(26)는 상기 레귤레이터(25)에서 얻어지는 정전압을 충전하게 되며, 전원 공급부(27)는 상기 밧데리(26)에서 출력되는 전압을 각 기기에 알맞게 배분해 주어 각 기기가 정상적으로 구동될 수 있도록 한다.First, the solar heat collecting plate 24 collects solar heat and converts it into electricity, and the regulator 25 makes the electricity obtained from the solar heat collecting plate 24 a constant voltage. In addition, the battery 26 charges the constant voltage obtained from the regulator 25, and the power supply unit 27 distributes the voltage output from the battery 26 to each device so that each device can operate normally. do.
상기와 같은 전원 공급 동작에 의해 시스템이 구동되면, 팬/틸트 엔코더(3a) 및 팬/틸트 제어신호 전달부(3b)를 구비한 카메라 구동부(3)는 팬/틸트의 구동을 통해 열감지 카메라(1) 및 산불감시 카메라(2)를 상, 하, 좌, 우로 이동시킴과 동시에 360˚회전시키게 되고, 이에 따라 산불감시 카메라(2)는 줌 렌즈를 통한 피사체를 촬상하여 그 촬상한 영상신호를 영상선택 제어부(8)에 전달해 준다. 아울러 열감지 카메라(1)는 열감지가 되는 부분과 열감지가 없는 부분을 차이 나게 촬상을 하며, 그 촬상 영상신호를 상기 영상선택 제어부(8)에 전달해 준다.When the system is driven by the power supply operation as described above, the camera driver 3 including the pan / tilt encoder 3a and the pan / tilt control signal transmitting unit 3b is a thermal sensing camera through the driving of the pan / tilt. (1) and the forest fire monitoring camera 2 is moved up, down, left, and right and rotated 360 degrees. Accordingly, the forest fire monitoring camera 2 captures a subject through a zoom lens and captures the image signal. It is transmitted to the image selection control unit (8). In addition, the thermal sensing camera 1 photographs the portion to be thermally sensed and the portion without the thermal sensing differently, and transfers the captured image signal to the image selection controller 8.
즉, 상기 열감지 카메라(1)는 적외선 가운데서 안개, 수증기 또는 연기에 시계의 영향을 거의 받지 않는 파장 대역에만 민감하게 반응하는 이미지 센서를 이용한 카메라로써, 피사체의 온도가 낮은 부분은 어둡게, 높은 부분은 밝게 하여 영상을 만들게 된다.That is, the thermal camera 1 is a camera using an image sensor that reacts only to a wavelength band that is hardly influenced by fog, water vapor, or smoke in the infrared, and the part where the temperature of the subject is low is dark, and the high part. Will make the image brighter.
따라서 산불과 화염은 위로 솟구치며 올라가기에 숲이 울창하거나 골짜기로 인해 불꽃이 정확히 안보여도 온도차로 영상이 만들어지기 때문에 산불 감지가 매우 용이하며, 불꽃 주위로 고온이 확산되어 감지가 되므로 장거리일지라도 감지가 가능해진다.Therefore, forest fires and flames are soaring upwards, so even if forests are thick or the valleys are not visible exactly, the image is made with temperature difference, so it is very easy to detect wildfires. Becomes possible.
한편, 상기 팬/틸트 엔코더(3a)는 상기 각 카메라(1)(2)을 회전시키는 각도를 센서를 통해 감지하여 각도에 대한 데이타를 카메라 제어 및 신호 처리부(7)에 전달해 준다.On the other hand, the pan / tilt encoder (3a) detects the angle to rotate the camera (1) (2) through a sensor and transmits the data about the angle to the camera control and signal processing unit (7).
아울러 상기와 같이 시스템이 운영되면 시설물 보안을 위한 각각의 센서들(4 ~ 6 : 적외선 센서, 움직임 검출센서 등등)은 각각의 상태를 검출하여 상기 카메라 제어 및 신호 처리부(7)에 전달해 주게 되고, 그 카메라 제어 및 신호 처리부(7)는 내부의 버퍼(도면에는 미도시)를 통해 촬상 각도 데이터 및 센서 신호들을 입력받은 후, 제어부(도면에는 미도시)에서 이를 처리하여 송, 수신 분리부(도면에는 미도시)에 전달해 준다. 그러면 송, 수신 분리부는 그 송신 데이터를 RS-232변환부(9)에 전달해 주게 되고, 상기 RS-232변환부(9)는 RS-232케이블로 연결된 고주파 변환 및 처리부(10)에 카메라 위치 판독 데이터를 포함하는 각각의 데이터를 전달해 준다.In addition, when the system is operated as described above, each of the sensors for facility security (4-6: infrared sensor, motion detection sensor, etc.) detects each state and delivers it to the camera control and signal processing unit 7, The camera control and signal processing unit 7 receives the imaging angle data and sensor signals through an internal buffer (not shown), and then processes them in a control unit (not shown) to transmit and receive a separate unit (Fig. (Not shown). Then, the transmission and reception separation unit transmits the transmission data to the RS-232 conversion unit 9, and the RS-232 conversion unit 9 reads the camera position to the high frequency conversion and processing unit 10 connected by the RS-232 cable. Pass each piece of data that contains the data.
한편, 영상선택 제어부(8)는 상기 카메라 제어 및 신호 처리부(7)에서 출력되는 영상 선택신호, 즉 카메라 선택신호에 따라 상기 열감지 카메라(1) 및 산불감시 카메라(2)의 각 영상중 하나의 영상만을 선택하여 상기 고주파 변환 및 처리부(10)에 전달해 주게 된다.On the other hand, the image selection control unit 8 is one of each of the image of the thermal sensing camera 1 and the forest fire monitoring camera (2) according to the image selection signal output from the camera control and signal processing unit 7, that is, the camera selection signal Only the image of the high frequency conversion and processing unit 10 is delivered to.
여기서, 카메라의 선택은 추후 설명할 참조 부호 13 내지 23으로 구성되는 산불 통제부의 카메라 선택 신호에 의해 선택되어 진다.Here, the selection of the camera is selected by the camera selection signal of the forest fire control unit composed of reference numerals 13 to 23 to be described later.
그리고 상기 고주파 변환 및 처리부(10)는 상기 RS-232변환부(9)에서 얻어지는 각각의 정보 데이터와 상기 영상선택 제어부(8)에서 얻어지는 영상신호를 고주파로 변환하여 제1 송, 수신 안테나(12)에 전달해 줌으로써, 상기 산불 통제부에 해당 정보 및 영상이 전달되도록 한다.The high frequency conversion and processing unit 10 converts each piece of information data obtained from the RS-232 conversion unit 9 and an image signal obtained from the image selection control unit 8 into high frequency to transmit the first transmission and reception antenna 12. ), The information and images are transmitted to the forest fire control unit.
이렇게 촬상 되는 영상신호와 각종 센서에서 얻어지는 감지 데이터 및 카메라 위치 판독 데이터가 제1 송, 수신 안테나(12)를 통해 송신되면, 상기 산불 통제부내의 제2 송, 수신 안테나(13)는 이를 수신한 후, 그 수신한 고주파를 고주파 송수신기(15)에 전달해 준다.When the image signal and the sensing data obtained from the various sensors and the camera position reading data are transmitted through the first transmission and reception antenna 12, the second transmission and reception antenna 13 in the forest fire control unit receives the image signal. After that, the received high frequency is transmitted to the high frequency transceiver 15.
여기서 제2 송, 수신 안테나(13)는 실제적으로 3개의 산불 감시부와 대응하도록 3개가 구비되어 각각 고주파를 수신하게 된다.Here, three second transmission and reception antennas 13 are actually provided to correspond to three forest fire monitoring units to receive high frequencies, respectively.
한편, 상기 고주파 송수신기(15)는 수신된 고주파를 소정 레벨로 증폭한 후, 데이터(센서에 검출된 데이터, 카메라 위치 판독 데이터)는 바로 추출하여 RS-232변환부(16)를 통해 신호변환 및 카메라 제어부(17)에 제공해 주며, 추출한 비디오 신호는 각 카메라의 숫자에 대응되는 숫자의 모니터들로 구성된 모니터부(19)에 제공해 주어 모니터링 되도록 함과 동시에 비디오 선택기(18)에 전달해 준다.On the other hand, the high frequency transceiver 15 amplifies the received high frequency to a predetermined level, and then immediately extracts data (data detected by the sensor, camera position reading data) and converts the signal through the RS-232 conversion unit 16 and Provided to the camera control unit 17, the extracted video signal is provided to the monitor unit 19 consisting of a number of monitors corresponding to the number of each camera to be monitored and delivered to the video selector 18 at the same time.
그러면 신호변환 및 카메라 제어부(17)는 도2에 도시된 바와 같이, 첫 번째 카메라의 팬/틸트 1차 회전시 각도 분할된 화상 데이터를 메모리에 임시 저장하고(S1), 상기 첫 번째 카메라의 팬/틸트 2차 회전시 각도 분할되어 얻어지는 화상 데이터와 상기 저장한 데이터를 비교한다(S2). 즉, 팬/틸트 2차 회전후 1차 회전 했을 때의 메모리된 비디오 데이터 량과 2차 회전후의 비디오 데이터 량을 비교한다. 만일 산불 상황이면 화면의 불난 지점은 급격한 온도차로 인해 주의보다 현저한 밝기로 화면에 나타나며, 이를 데이터로 변환하여 비교하면 1차 회전시 메모리된 양과 많은 차이가 나타나고, 이를 1차 산불 상황으로 판단한다(S3).Then, as shown in FIG. 2, the signal conversion and camera controller 17 temporarily stores the angularly divided image data in the memory during the first pan / tilt rotation of the first camera (S1) and pans the first camera. / Image data obtained by angle division at the time of the second rotation of the tilt is compared with the stored data (S2). That is, the amount of video data stored in the first rotation after the second rotation of the pan / tilt is compared with the amount of video data after the second rotation. If there is a wildfire situation, the unstable point of the screen appears on the screen with a greater brightness than the caution due to the sudden temperature difference, and when it is converted into data and compared, the difference between the amount of memory during the first rotation appears and it is judged as the first wildfire situation ( S3).
이후 일정시간 지연후 상황 발생 지점과 위치 변화 여부를 검색한다(S5). 이는 자동차 헤드라이트와 같은 발열체로 인한 오동작을 방지하기 위해 산불 상황으로 1차 인정된 상태에서 약 1분 정도의 지연 시간을 두어 같은 위치에서 영상신호의 한 프레임을 메모리하여 비교한다. 이 비교 결과 감지점이 이동하지 않고 데이터 량이 증가하였으면 산불 상황으로 최종 판단하고 알람을 발생시킨다(S6 ~ S7).Thereafter, after a predetermined time delay, it is detected whether a situation occurs and the position is changed (S5). In order to prevent malfunction due to a heating element such as an automobile headlight, a delay of about 1 minute is given in a state of first recognition as a forest fire, and a frame of a video signal is compared and stored at the same position. As a result of this comparison, if the detection point does not move and the amount of data has increased, it is finally determined as a fire situation and generates an alarm (S6 to S7).
이후 산불 발생 지점이 화면의 정중앙에 위치하도록 컴퓨터(21)에서 팬/틸트 쪽으로 상, 하, 좌, 우 회전 명령을 내린다(S8). 이후 삼각구도 위치 판정 방식에 의해 정확한 위치를 판정한 후, PC상의 지도에 지시선을 표시하여 산불 위치를 정확히 지시한다(S9). 더불어 상기와 같이 경보음을 발생하고 산불 위치를 지시한 상태에서, 통제관에게 경보 상황을 유무선으로 알린다.Afterwards, the up and down, left and right rotation commands are issued from the computer 21 toward the pan / tilt so that the forest fire is located at the center of the screen (S8). After determining the exact position by the triangle sphere position determination method, the indicator is displayed on the map on the PC to correctly indicate the forest fire position (S9). In addition, in the state of generating the alarm sound as described above and the location of the forest fire, to inform the controller of the alarm situation by wire or wireless.
여기서, 와이드 스크린(23)은 비디오 선택기(18)에서 얻어지는 산불 발생 영상을 디스플레이 해주고, 동시에 영상신호 변환부(22)에서 얻어지는 산불 위치 지시선 데이터를 상기 산불 영상에 온 스크린 디스플레이 방식으로 디스플레이 해준다.Here, the wide screen 23 displays a forest fire generation image obtained by the video selector 18, and simultaneously displays the forest fire position leader data obtained by the image signal conversion unit 22 on the forest fire image on screen display.
이상에서 상술한 바와 같이 본 발명은 산정상부에 촬영이 가능한 특수 영상 장비(열감지 카메라)를 설치하고, 무선으로 그 촬영한 영상과 감지된 방향을 원격에 있는 산불 통제부에 전송해 주면, 산불 통제부에서는 그 전송되는 영상을 수신하여 모니터링하고 그 모니터링 되는 위치를 감지된 방향으로 식별함으로써 산불 발생시 빠르고 정확하게 산불이 난 위치를 알 수 있는 효과가 있다.As described above, the present invention installs a special imaging equipment (heat detection camera) that can be photographed on a mountaintop, and wirelessly transmits the photographed image and the detected direction to a remote fire control unit. The control unit receives and monitors the transmitted image and identifies the monitored location in the sensed direction, so that it is possible to quickly and accurately determine the location of the fire when a fire occurs.
또한, 산불 통제부에서 산불 감시부내에 구비된 카메라의 위치를 원격으로 제어할 수 있으므로 보다 더 산불 감시에 만전을 기할 수 있다.In addition, since the forest fire control unit can remotely control the position of the camera provided in the forest fire monitoring unit, it is possible to ensure more complete forest fire monitoring.
또한, 산불 발생시 경보음을 발생해 주고, 통제관에게 유, 무선을 통해 이를 알려줄 수 있어 무인으로 산불 감시가 가능한 이점이 있다.In addition, there is an advantage that can be monitored unattended because it generates an alarm sound when a fire occurs, and can inform the controller via wired or wireless.
Claims (3)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980037653A KR100271957B1 (en) | 1998-09-12 | 1998-09-12 | A device and a mwthod for automatically watching forest fire. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980037653A KR100271957B1 (en) | 1998-09-12 | 1998-09-12 | A device and a mwthod for automatically watching forest fire. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR19990007522A true KR19990007522A (en) | 1999-01-25 |
| KR100271957B1 KR100271957B1 (en) | 2000-11-15 |
Family
ID=19550400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019980037653A KR100271957B1 (en) | 1998-09-12 | 1998-09-12 | A device and a mwthod for automatically watching forest fire. |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100271957B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111599126A (en) * | 2020-05-15 | 2020-08-28 | 安徽师范大学 | Forest fire danger monitoring system based on Android framework |
-
1998
- 1998-09-12 KR KR1019980037653A patent/KR100271957B1/en not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111599126A (en) * | 2020-05-15 | 2020-08-28 | 安徽师范大学 | Forest fire danger monitoring system based on Android framework |
| CN111599126B (en) * | 2020-05-15 | 2022-05-13 | 安徽师范大学 | Forest fire danger monitoring system based on Android framework |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100271957B1 (en) | 2000-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0611242B1 (en) | A system for the monitoring and detection of heat sources in open areas | |
| US6937743B2 (en) | Process and device for detecting fires based on image analysis | |
| KR101635000B1 (en) | Fire detector and system using plural cameras | |
| US9666050B2 (en) | Forest fire early-warning system and method based on infrared thermal imaging technology | |
| KR101993660B1 (en) | A monitoring system for fire outbreak | |
| EP1279150B1 (en) | Surveillance system with camera | |
| EP0458938B1 (en) | Fire fighting system mainly conceived to safeguard forests | |
| KR102060045B1 (en) | Fire detector and system capable of measuring heat distribution | |
| KR100716306B1 (en) | System to monitoring forest fire | |
| KR20140127574A (en) | Fire detecting system using unmanned aerial vehicle for reducing of fire misinformation | |
| KR20070028813A (en) | Method and system for monitoring forest fire | |
| KR20110040699A (en) | Forest fire monitiring system and control method thereof | |
| KR101063922B1 (en) | Target position acquisition and survellance system | |
| JP2012093834A (en) | Detection area display device, detection area display method, detection area display program, recording medium with recorded detection area display program, and object detection system | |
| KR20160101420A (en) | Forestfire warning device and integrated control system using the same | |
| KR100452118B1 (en) | integrated management system for watching environment | |
| KR100227648B1 (en) | Control system for forest fire | |
| KR100271957B1 (en) | A device and a mwthod for automatically watching forest fire. | |
| CN110413101A (en) | VR remote scene intelligent acquisition and reproduction device | |
| KR101044342B1 (en) | Portable thermal image device, the method of smoke fire and fire source use by its | |
| KR101256452B1 (en) | The forest fire monitoring system and method | |
| JP2000500638A (en) | Video surveillance system and method | |
| JP2002008181A (en) | Remote monitoring system and remote monitoring method | |
| KR200191446Y1 (en) | A forest fires sensing appararus | |
| JPH09167287A (en) | Monitoring device for prevention of urban disaster |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| G15R | Request for early publication | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120821 Year of fee payment: 13 |
|
| FPAY | Annual fee payment |
Payment date: 20130821 Year of fee payment: 14 |
|
| FPAY | Annual fee payment |
Payment date: 20140821 Year of fee payment: 15 |
|
| FPAY | Annual fee payment |
Payment date: 20150821 Year of fee payment: 16 |
|
| FPAY | Annual fee payment |
Payment date: 20160822 Year of fee payment: 17 |
|
| FPAY | Annual fee payment |
Payment date: 20170818 Year of fee payment: 18 |
|
| LAPS | Lapse due to unpaid annual fee |