KR20130077348A - An apparatus for detecting or deciding accidents in a tunnel based on a sound signal processing - Google Patents
An apparatus for detecting or deciding accidents in a tunnel based on a sound signal processing Download PDFInfo
- Publication number
- KR20130077348A KR20130077348A KR1020110146004A KR20110146004A KR20130077348A KR 20130077348 A KR20130077348 A KR 20130077348A KR 1020110146004 A KR1020110146004 A KR 1020110146004A KR 20110146004 A KR20110146004 A KR 20110146004A KR 20130077348 A KR20130077348 A KR 20130077348A
- Authority
- KR
- South Korea
- Prior art keywords
- tunnel
- accident
- server
- acoustic
- sensor
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 8
- 230000005236 sound signal Effects 0.000 title claims description 21
- 238000000034 method Methods 0.000 claims abstract description 14
- 230000008859 change Effects 0.000 claims description 26
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 터널 내의 사고상황을 인식 또는 판별하기 위한 장치 또는 방법에 관한 것으로서, 더욱 상세하게는 음향신호 처리에 기반하여 터낼 내에서 발생할 수 있는 각종 사고상황을 인식 또는 판별하기 위한 장치 또는 방법에 관한 것이다.
The present invention relates to an apparatus or method for recognizing or determining an accident situation in a tunnel, and more particularly, to an apparatus or method for recognizing or determining various accident situations that may occur in a tunnel based on sound signal processing. will be.
새로운 도로 건설이 계속됨에 따라, 대한민국의 지형적 특성상 각종 도로에서 터널이 차지하는 비율이 점점 많아지고 있으며 그에 따라 터널의 길이도 1km가 넘는 장터널의 개수가 급격히 증가하고 있는 추세이다. As the construction of new roads continues, the proportion of tunnels in various roads is increasing due to the topographical characteristics of the Republic of Korea, and the number of tunnels over 1km in length is increasing rapidly.
이러한 장터널의 도입은, 이러한 터널 내의 교통사고 발생 시에 대형사고로 이어질 가능성을 점점 높이고 있다. 이로 인해, 도로상에서 차량의 운전자인 개인의 재산과 안전을 보장할 수 있는 수단과 방법들이 필요하다. The introduction of such tunnels is increasingly increasing the possibility of major accidents in the event of traffic accidents in such tunnels. For this reason, there is a need for means and methods to ensure the property and safety of the individual who is the driver of the vehicle on the road.
현재까지는 터널 내에 설치된 영상 카메라로 차량 흐름의 변화를 감지하여 사고 발생의 여부를 판단하고 모니터하여 왔다. 하지만, 종래의 이러한 방식은 사고상황 발생 여부에 오류가 많아 터널과 그 입구의 차량 관리에 치명적인 약점을 드러냈다.
Up to now, image cameras installed in tunnels have been used to detect changes in vehicle flows to determine and monitor accidents. However, such a conventional method has a lot of errors in whether or not an accident occurs, and revealed a fatal weakness in managing a vehicle at a tunnel and its entrance.
본 발명은 종래의 문제점을 해소하기 위해 제안된 것으로 터널 내에 일정 간격으로 설치된 음향 센서를 통해 입력된 사고 시점에 발생한 돌발적 음향을 감지하여 사고 위치와 그 유형을 판단하여 터널 내 사고상황에 신속하고 적절한 대응을 할 수 있도록 한다.
The present invention has been proposed to solve the problems of the prior art by detecting accidental sound generated at the time of the accident input through the acoustic sensor installed at regular intervals in the tunnel to determine the location and type of the accident to quickly and appropriate to the accident situation in the tunnel Be prepared to respond.
본 발명의 일 실시예에 따른 음향신호 처리 기반의 터널 내 사고상황 인식 또는 판별을 위한 기기로서, 상기 기기는 상기 터널 내의 교통상태를 감지하기 위한 센서부; 상기 센서부로부터의 교통상태에 관한 정보를 수신하여, 상기 교통상태에 관한 정보를 처리하여 상기 터널 내의 사고상황을 인식하거나 판별하기 위한 서버; 및 상기 인식 또는 판별된 사고상황을 상기 터널의 이용자들에게 알리기 위한 출력부를 포함할 수 있다. An apparatus for recognizing or determining an accident situation in a tunnel based on sound signal processing according to an embodiment of the present invention, the apparatus comprising: a sensor unit for detecting a traffic state in the tunnel; A server for receiving information on the traffic condition from the sensor unit, processing the information on the traffic condition, and recognizing or determining an accident situation in the tunnel; And an output unit for informing the users of the tunnel of the recognized or determined accident situation.
상기 센서부는 상기 터널 내의 음향신호를 수집 또는 검출하기 위한 음향센서를 포함할 수 있다. The sensor unit may include an acoustic sensor for collecting or detecting the acoustic signal in the tunnel.
상기 음향센서는 상기 터널 내에서 미리 결정된 간격으로 설치될 수 있다. The acoustic sensor may be installed at predetermined intervals in the tunnel.
상기 서버는 상기 미리 결정된 간격으로 설치된 음향센서 각각으로부터 음향신호를 수집 또는 검출하여, 상기 음향의 소스(source)의 위치를 검출할 수 있다. The server collects or detects an acoustic signal from each of the acoustic sensors installed at the predetermined intervals, thereby detecting the position of the source of the sound.
상기 서버는 상기 음향센서에 의해 검출된 상기 터널 내의 음향신호의 크기를 검출하여 상기 크기가 임계치를 초과하면, 상기 터널 내의 사고상황이 발생했음을 인식할 수 있다. The server detects the magnitude of the acoustic signal in the tunnel detected by the acoustic sensor and recognizes that an accident situation in the tunnel has occurred when the magnitude exceeds the threshold.
상기 서버는 상기 음향센서에 의해 검출된 상기 터널 내의 음향신호의 주파수의 변화를 검출하여 상기 변화의 변위가 임계치를 초과하면, 상기 터널 내의 사고상황이 발생했음을 인식할 수 있다. The server may detect a change in the frequency of the acoustic signal in the tunnel detected by the acoustic sensor, and recognize that an accident situation in the tunnel occurs when the displacement of the change exceeds a threshold.
상기 서버는 상기 음향신호의 크기 또는 상기 음향신호의 주파수의 변화를 이용하여 상기 터널 내에서 발생한 사고의 유형을 판단할 수 있다. The server may determine the type of accident occurring in the tunnel by using the magnitude of the sound signal or the change of the frequency of the sound signal.
상기 센서부는 상기 터널 내의 음향신호를 검출하기 위한 음향센서; 상기 음향센서로부터 출력된 음향신호를 증폭하기 위한 증폭기; 상기 증폭기로부터 출력된 음향신호를 필터링하기 위한 적응필터(adaptive filter); 및 상기 적응필터로부터 필터링된 음향신호의 크기 또는 주파수의 변화를 감지하기 위한 비교기를 포함할 수 있다. The sensor unit includes an acoustic sensor for detecting an acoustic signal in the tunnel; An amplifier for amplifying the sound signal output from the sound sensor; An adaptive filter for filtering the acoustic signal output from the amplifier; And a comparator for detecting a change in the magnitude or frequency of the acoustic signal filtered from the adaptive filter.
상기 서버는 상기 음향신호의 크기 또는 주파수, 또는 그들의 변화량과, 사고발생여부와 사고유형의 상관관계를 저장하는 데이터베이스를 더 포함하고, 상기 센서부로부터 감지된 상기 음향신호의 크기 또는 주파수의 변화에 기초하여 상기 터널 내의 사고상황을 인식 또는 판별할 수 있다. The server further includes a database for storing a correlation between the magnitude or frequency of the acoustic signals, or the amount of change thereof, and whether or not an accident has occurred and an accident type, wherein the server is configured to change the magnitude or frequency of the acoustic signal detected from the sensor unit. The accident situation in the tunnel can be recognized or discriminated based on this.
상기 데이터베이스는 상기 인식 또는 판별된 결과를 업데이트할 수 있다.
The database may update the recognized or determined result.
교통 통제 시스템에서는 본 발명을 이용하여 자동적으로 추출한 사고상황 판단, 사고발생 위치와 사고유형을 이용하여 기존의 영상처리에 의한 사고 발생 자동 감지 방법에서 나타나는 불안정한 사고 판단과 에러를 최소화하며 터널관리자들의 집중력을 높임으로써 보다 빠르고 정확하게 사고에 대응하여 도로 이용자의 안전과 재산을 보호할 수 있다.
The traffic control system minimizes unstable accident determination and errors in the automatic detection method of accident occurrence by conventional image processing by using the accident situation determination, the accident occurrence location and the accident type automatically extracted using the present invention, and the concentration of tunnel managers. Increasing the speed of trafficking can protect the safety and property of road users by responding to accidents more quickly and accurately.
도 1은 본 발명의 일 실시예에 따른 터널 교통 관리 시스템의 구성을 도시한다.
도 2는 본 발명의 일 실시예에 따른 터널 내 사고상황 인식 또는 판별을 위한 기기의 블록도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 센서부의 블록도를 도시한다.
도 4는 본 발명의 일 실시예에 따른 터널 내의 음향센서 설치 모습을 도시한다. 1 illustrates a configuration of a tunnel traffic management system according to an embodiment of the present invention.
2 is a block diagram of a device for recognizing or determining an accident situation in a tunnel according to an embodiment of the present invention.
3 is a block diagram of a sensor unit according to an exemplary embodiment of the present invention.
4 is a view illustrating a sound sensor installed in a tunnel according to an embodiment of the present invention.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 포괄하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다. The terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms and should be construed in a sense and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and not all of the technical ideas of the present invention are included. Therefore, It is to be understood that equivalents and modifications are possible.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 터널 교통 관리 시스템의 구성을 도시한다. 본 발명의 일 실시예에 따른 터널 교통 관리 시스템은 크게 교통정보센터(110), 터널 관리동(120), 지역본부(130-1) 또는 지사(130-2), 그리고 터널 현장 설비(140)를 포함할 수 있다. 1 illustrates a configuration of a tunnel traffic management system according to an embodiment of the present invention. Tunnel traffic management system according to an embodiment of the present invention is largely the
교통정보센터(110)는 도로의 교통정보를 수집 또는 관리하기 위한 구성으로서, 네트워크 보안서버(111), 및 주전산기(112)를 포함할 수 있다. The
터널 관리동(120)은 해당 터널의 교통상황을 관리하기 위한 구성으로서, VDS 서버(121), VMS 서버(122), DLP(123), 터널 운영자(124), 터미널 서버(125), 및 스위치(126)로 구성될 수 있다.
지역본부(130-1) 또는 지사(130-2)는 도로를 건설 또는 관리하는 주체(예컨대, 한국도로공사)의 상기 도로 또는 상기 도로의 시설물을 관리하기 위한 구성이며, 지역센터 관리자(131)와, 연동 서버(132)를 포함할 수 있다. 상기 연동 서버(132)는 앞서 설명한 교통정보센터(110)의 보안서버(111), 터널 관리동(120)의 각종 서버와 통신망을 통해 연동가능한 구성이다. The regional headquarters 130-1 or the branch 130-2 is a component for managing the roads or facilities of the roads of an entity constructing or managing a road (for example, Korea Expressway Corporation), and the
터널 현장 설비(140)는 상기 터널에 또는 상기 터널 내에 설치된 각종 장치, 기기 등이며, 크게는 정보 수집을 위한 장치와 정보 전달을 위한 장치로 구성될 수 있다. 정보 수집을 위한 장치에는 폐쇄회로 화면(CCTV, 141), 긴급 전화기(142) 및 VDS(Velocity Detecting Sensor; 143) 등이 있으며, 정보 전달을 위한 장치에는 VMS(144), LCS(Lane Control System; 145), 및 비상 방송 장치(146) 등이 있을 수 있다.
또한, 상기 터널 관리동(120), 지역본부(130-1) 또는 지사(130-2), 그리고 터널 현장 설비(140)는 서로 도로 건설 또는 관리 업체의 자가망(150)을 통해 통신적으로 연결될 수 있다. In addition, the
도 1에서는 터널 현장 설비(140)의 대표적인 장치 또는 기기만을 도시했을뿐, 본 발명이 이에 제한되는 것은 아니다. 예를 들어, 본 발명의 일 실시예에서는 상기 터널 현장 설비(140)로 음향센서를 구비할 수 있다. In FIG. 1, only representative apparatuses or devices of the
본 발명의 일 실시예는 터널 현장 설비(140)로부터 상기 터널 내의 교통상황을 감지하고, 터널 관리동(120)의 여러 서버들은 감지된 교통상황에 대한 정보를 분석 또는 처리하여 상기 터널 내의 사고상황을 인식 또는 판별할 수 있는 터널 내의 사고상황 인식 또는 판별을 위한 기기를 제공하고자 한다. 도 1에서는 터널 관리동(120) 내의 서버를 복수의 개별적인 서버로 분리하여 도시했으나, 하나의 서버로 구성되는 것도 가능할 수 있다. An embodiment of the present invention detects the traffic situation in the tunnel from the
후술될 도 2 내지 4와 관련하여 본 발명의 일 실시예에 따른 터널 내의 사고상황을 인식 또는 판별하기 위한 기기를 설명하도록 한다.
A device for recognizing or determining an accident situation in a tunnel according to an embodiment of the present invention will be described with reference to FIGS. 2 to 4.
도 2는 본 발명의 일 실시예에 따른 터널 내 사고상황 인식 또는 판별을 위한 기기의 블록도를 도시한다. 상기 기기(200)는 상기 센서부로부터의 교통상태에 관한 정보를 수신하여, 상기 교통상태에 관한 정보를 분석하여 상기 터널 내의 사고상황을 인식하거나 판별하기 위한 서버(210); 상기 터널 내의 교통상태를 감지하기 위한 센서부(220); 및 상기 인식 또는 판별된 사고상황을 상기 터널의 이용자들에게 알리기 위한 출력부(230)를 포함할 수 있다. 2 is a block diagram of a device for recognizing or determining an accident situation in a tunnel according to an embodiment of the present invention. The
상기 서버는 상기 센서부로부터 상기 터널 내의 교통상태에 관한 정보를 제공받아, 상기 정보를 처리 또는 분석하여 상기 터널 내에서 사고가 발생했는지, 그리고 발생했다면 어떠한 사고가 발생했는지를 인식 또는 판별할 수 있다. The server may receive information on traffic conditions in the tunnel from the sensor unit, and may process or analyze the information to recognize or determine whether an accident has occurred in the tunnel and, if so, what kind of accident has occurred. .
또한, 상기 서버는 미리 결정된 간격으로 설치된 센서부, 예컨대 음향센서 각각으로부터 음향신호를 수집 또는 검출하여, 상기 음향의 소스(source)의 위치를 검출할 수 있다. 이를 통해, 상기 서버는 상기 터널 내에서 상기 음향신호가 유발된 지점, 즉 사고 발생 지점을 검출 또는 결정할 수 있다. In addition, the server may collect or detect a sound signal from each of the sensor units installed at predetermined intervals, for example, sound sensors, to detect the position of the source of the sound. Through this, the server may detect or determine a point at which the acoustic signal is generated, that is, an accident occurrence point in the tunnel.
상기 서버는 상기 음향센서에 의해 검출된 상기 터널 내의 음향신호의 크기를 검출하여 상기 크기가 임계치를 초과하면, 상기 터널 내의 사고상황이 발생했음을 인식 또는 판단할 수 있다. 또한, 상기 서버는 상기 음향센서에 의해 검출된 상기 터널 내의 음향신호의 주파수의 변화를 검출하여 상기 변화의 변위가 임계치를 초과하면, 상기 터널 내의 사고상황이 발생했음을 인식 또는 판단할 수 있다. The server detects the magnitude of the acoustic signal in the tunnel detected by the acoustic sensor, and if the magnitude exceeds a threshold, the server may recognize or determine that an accident situation in the tunnel has occurred. In addition, the server detects a change in the frequency of the acoustic signal in the tunnel detected by the acoustic sensor, and if the displacement of the change exceeds a threshold value, the server may recognize or determine that an accident situation in the tunnel has occurred.
터널은 그 공간적 특수성으로 인해 차량의 교통 흐름 외의 음향은 존재하지 않는다. 예를 들어, 상기 터널 내에서 검출할 수 있는 음향으로는, 보통은 차량의 주행으로 발생하는 소리, 차량의 경적기 소리 등이며, 특수한 경우에 차량이 적재한 물건들이 낙하함으로써 발생하는 소리, 차량의 급정거시 발생하는 차량의 타이어와 도로의 표면 사이의 마찰음, 차량의 충돌 또는 접촉으로 인해 발생하는 사고음, 차량의 적재물 또는 차량의 폭발음 등이 있을 수 있다. Due to its spatial specificity, the tunnel has no sound other than the traffic flow of the vehicle. For example, the sound that can be detected in the tunnel is, for example, a sound generated by the driving of a vehicle, a horn sound of the vehicle, and the like. There may be a friction sound between the tire of the vehicle and the surface of the road that occurs during the sudden stop of the car, an accident sound caused by the collision or contact of the vehicle, the load of the vehicle or the explosion of the vehicle.
따라서, 터널은 그 공간적 특수성이 있으므로, 상기 터널 내에서 발생하는 음향 또는 음향신호를 검출하여 분석 또는 처리하면 상기 터널 내에서 발생하는 사고를 판별 또는 검출할 수 있을 것이다. 좀더 상세하게는, 상기 센서부, 예컨대 음향센서로부터 검출된 음향신호의 진폭(크기)과 주파수를 통해, 상기 터널 내에서 사고 발생 유무와 사고 유형을 인식 또는 판단할 수 있다. Therefore, since the tunnel has its spatial specificity, if the sound or the acoustic signal occurring in the tunnel is detected, analyzed or processed, an accident occurring in the tunnel may be identified or detected. More specifically, through the amplitude (magnitude) and the frequency of the acoustic signal detected from the sensor unit, for example, the acoustic sensor, it is possible to recognize or determine the occurrence and the type of accident in the tunnel.
예를 들어, 상기 서버는 상기 음향신호의 크기 또는 상기 음향신호의 주파수의 변화를 이용하여 상기 터널 내에서 발생한 사고의 유형을 판단할 수 있다. 예를 들어, 상기 음향센서로부터 검출된 음향신호의 진폭이 하나의 피크(peak)만을 갖는 경우에, 이 경우에 상기 피크(peak)가 미리 설정해둔 제 1 임계치를 초과하는 경우에, 차량 2대의 추돌 또는 접촉 사고임을 인지할 수 있을 것이다. For example, the server may determine the type of accident occurring in the tunnel by using the magnitude of the sound signal or the change of the frequency of the sound signal. For example, when the amplitude of the acoustic signal detected from the acoustic sensor has only one peak, in this case, when the peak exceeds the preset first threshold, two vehicles You will recognize that it is a collision or contact accident.
다른 예로, 상기 음향센서로부터 검출된 음향신호의 주파수가 미리 설정해둔 제 2 임계치보다 작은 경우, 이 경우 상기 음향신호의 주파수는 제 3 임계치 이상(여기서, 제 2 임계치 > 제 3 임계치)이면, 상기 서버는 상기 터널 내에서 폭발사고가 났음을 인지할 수 있다. As another example, when the frequency of the sound signal detected from the sound sensor is smaller than the second threshold set in advance, in this case, if the frequency of the sound signal is greater than or equal to the third threshold (wherein the second threshold> third threshold), The server may recognize that an explosion occurred in the tunnel.
또 다른 예로, 상기 음향센서로부터 검출된 음향신호의 주파수가 미리 설정해둔 제 3 임계치보다 크고 제 4 임계치보다 작은 경우(여기서, 제 3 임계치 < 제 4 임계치), 상기 서버는 상기 터널 내에서 차량의 급정거와 그 이후 추돌이 일어났음을 인지할 수 있다. As another example, when the frequency of the acoustic signal detected from the acoustic sensor is greater than a predetermined third threshold and smaller than a fourth threshold (wherein, the third threshold <fourth threshold), the server may be configured to store the vehicle within the tunnel. We can see that a sudden stop and then a crash occurred.
한편, 상기 예로 든 상기 음향신호의 진폭 또는 주파수에 따른 사고발생여부와 사고유형에 대한 판단은 예시일 뿐, 본 발명의 권리범위를 제한하지 않음은 물론이다. On the other hand, the determination of the occurrence and the type of accident according to the amplitude or frequency of the acoustic signal as an example is merely an example, of course, does not limit the scope of the invention.
또한, 상기 서버는 상기 음향신호의 크기 또는 주파수, 또는 그들의 변화량과, 사고발생여부와 사고유형의 상관관계를 저장하는 데이터베이스를 더 포함할 수 있고, 상기 센서부로부터 감지된 상기 음향신호의 크기 또는 주파수의 변화에 기초하여 상기 터널 내의 사고상황을 인식 또는 판별할 수 있다. The server may further include a database that stores a correlation between the magnitude or frequency of the acoustic signals, or the amount of change thereof, and whether or not an accident has occurred and an accident type, and the magnitude or magnitude of the acoustic signal detected from the sensor unit. An accident situation in the tunnel may be recognized or determined based on the change in frequency.
다시말하면, 상기 데이터베이스는 상기 음향신호의 크기의 패턴, 예를 들어 시간의 흐름에 따른 변화 패턴 또는 상기 음향센서의 설치 위치에 따른 변화 패턴을 저장할 수 있으며, 이러한 저장된 변화 패턴은 최초에 시뮬레이션이나 실험 등을 통해 얻은 패턴(값)일 수 있다. 상기 서버는 상기 변화 패턴을 통해 사고발생 여부, 사고발생위치, 사고유형을 판별할 수 있다. In other words, the database may store a pattern of the magnitude of the sound signal, for example, a change pattern over time, or a change pattern according to an installation position of the sound sensor, and the stored change pattern may be initially simulated or tested. It may be a pattern (value) obtained through the. The server may determine whether an accident occurs, an accident location, and an accident type through the change pattern.
또한, 상기 데이터베이스는 상기 인식 또는 판별된 결과를 업데이트하여, 지속적으로 상기 데이터베이스에 저장된 상기 상관관계를 업데이트할 수 있다.
The database may also update the correlation stored in the database by updating the recognized or determined result.
센서부(220)는 상기 터널 내의 교통상황을 검출하기 위한 기초 자료로 사용되는 정보를 수집 또는 검출하며, 이 예로는 도 1에 도시된 CCTV(141), 긴급전화(142), VDS(143), VMS(144), LCS(145) 및 비상방송장치(146)가 있다. 또한, 상기 센서부는 상기 터널 내의 음향신호를 수집 또는 검출하기 위한 음향센서를 포함할 수 있다. 상기 음향센서는 복수개 구비될 수 있으며, 이 경우 상기 음향센서들은 상기 터널 내에서 미리 결정된 간격으로 설치될 수 있다. The
이 경우에, 상기 서버는 상기 미리 결정된 간격으로 설치된 음향센서들 각각으로부터 음향신호를 수집 또는 검출하여, 상기 음향의 소스(source)의 위치를 검출할 수 있다. 이는 상기 터널 내에서 발생한 사고의 위치를 판단할 수 있는 방법 중 하나에 해당한다. In this case, the server may collect or detect an acoustic signal from each of the acoustic sensors installed at the predetermined intervals, thereby detecting the location of the source of the sound. This corresponds to one of the methods for determining the location of the accident in the tunnel.
이렇게, 상기 서버는 상기 터널 내의 사고발생여부와, 사고발생위치, 사고의 유형 등을 검출 또는 판별할 수 있고, 이에 따라 상기 기기는 상기 터널의 이용자들에게 이러한 사고의 발생, 위치, 유형 등을 알리기 위한 출력부(230)를 포함할 수 있다. 출력부(230)는 시각적 또는 청각적 출력 수단으로 구성될 수 있으며, 상기 사고의 발생, 위치, 유형 등을 알릴 수 있으면 어떠한 감각을 이용하던 무방하다.
In this way, the server can detect or determine whether the accident occurred in the tunnel, the location of the accident, the type of accident, and the like, so that the device informs users of the tunnel of the occurrence, location, type, etc. of the accident. It may include an
출력부(230)의 예로써, 도 1에서 설명된 VMS(144), LCS(145), 비상방송장치(146) 등이 있을 수 있다. 한편, 상기 터널 내에 진입하는 차량과 상기 터널 관리동(120)이 통신가능하게 연결될 수 있다면, 이러한 정보(상기 사고의 발생, 위치, 유형 등)를 상기 차량의 표시수단(예컨대, 디스플레이부, 계기판, 스피커 등)으로 출력할 수도 있다. Examples of the
이와 같이, 본 발명의 일 실시예에 따른 터널 내 사고상황 인식 또는 판별을 위한 기기는 터널 내의 사고의 발생, 위치, 유형 등을 종래에 기술에 비하여 더욱 정확하고 실시간으로 그리고 자동화되어 검출 또는 판별할 수 있고, 이를 통해 실시간으로 터널 내 진입한 차량들 또는 곧 터널로 진입할 차량들에게 알릴 수 있어 추가로 발생할 수 있는 사고의 위험으로부터 차량과 차량에 승차하고 있는 사용자를 보호할 수 있다. As such, the device for recognizing or determining an accident situation in a tunnel according to an embodiment of the present invention can detect or determine the occurrence, location, and type of an accident in a tunnel more accurately, real time, and automatically than in the prior art. In this way, the vehicle may be notified in real time to vehicles entering the tunnel or vehicles to enter the tunnel, thereby protecting the vehicle and the user riding in the vehicle from the risk of additional accidents.
종래에는, CCTV 등만을 통해 상기 터널 관리동(120)의 터널운영자(124)의 육안으로 사고발생여부를 판단하거나, VDS(143)를 통해 상기 터널 내의 차량들의 주행속도 변화를 감지하여 사고발생여부를 판단하였다. 이는 매우 단순하고 정확도가 떨어지는 방법으로서, 현재 거의 활용되고 있지 않은 방법이다.
Conventionally, whether the accident occurred by the naked eye of the
도 3은 본 발명의 일 실시예에 따른 센서부의 블록도를 도시한다. 상기 센서부(220)는 상기 터널 내의 음향신호를 검출하기 위한 음향센서(221); 상기 음향센서로부터 출력된 음향신호를 증폭하기 위한 증폭기(222); 상기 증폭기로부터 출력된 음향신호를 필터링하기 위한 적응필터(adaptive filter, 223); 및 상기 적응필터로부터 필터링된 음향신호의 크기 또는 주파수, 또는 그들의 변화를 기준값과비교하기 위한 비교기(224)를 포함할 수 있다. 3 is a block diagram of a sensor unit according to an exemplary embodiment of the present invention. The
앞서 설명한 것과 같이, 상기 센서부는 도 4에 도시될 것처럼, 상기 터널 내에 미리 결정된 일정 간격으로 복수개 구비될 수 있다. As described above, as shown in FIG. 4, a plurality of sensor units may be provided in the tunnel at predetermined predetermined intervals.
상기 음향센서는 일반적인 마이크로폰을 포함하는 음향검출수단이며, 이는 터널 내에 미리 결정된 일정한 간격으로 설치될 수 있다. The acoustic sensor is a sound detection means including a general microphone, which may be installed at predetermined predetermined intervals in the tunnel.
상기 증폭기는 상기 각 음향센서에서 검출 또는 출력된 음향신호의 크기를 증폭하기 위한 구성이다. The amplifier is configured to amplify the magnitude of the acoustic signal detected or output from each acoustic sensor.
상기 적응필터는 현재의 각 주파수 대역에서의 신호 크기를 다음 신호와 비교하여 새로이 발생한 신호만을 필터링할 수 있는 필터이다. 이 기술을 사용함으로써 터널 내의 배경 잡음(background noise)을 제거하고 주행 중인 차량들에서 발생하는 소리만을 필터링할 수 있다. The adaptive filter is a filter capable of filtering only a newly generated signal by comparing a signal magnitude in each current frequency band with a next signal. By using this technique, it is possible to remove background noise in tunnels and filter out only the sounds generated by vehicles on the road.
상기 비교기는 상기 적응필터로부터 출력된 필터링된 음향신호의 크기(진폭) 또는 주파수를 기준값(임계치)과 비교할 수 있다. 이러한 비교 결과를 상기 서버로 전송함으로써 상기 서버가 사고발생여부, 사고발생위치, 사고유형 등을 판별할 수 있도록 한다. The comparator may compare the magnitude (amplitude) or frequency of the filtered sound signal output from the adaptive filter with a reference value (threshold). By transmitting the comparison result to the server, the server can determine whether an accident occurred, an accident location, an accident type, and the like.
또한, 본 발명에 따른 일 실시예에서, 상기 비교기 대신, 상기 음향신호의 크기(진폭)의 급격한 변화를 감지하기 위한 진폭전이검출기(미도시) 또는 상기 음향신호의 주파수의 급격한 변화를 감지하기 위한 주파수전이검출기(미도시)를 구비할 수 있다. 일반적으로, 터널 내의 사고 발생 시에는 음향신호의 크기 또는 주파수의 급격한 변화가 감지되기 때문에, 이러한 구성요소를 구비하면 이러한 변화를 감지하여 상기 서버로 전송하여, 상기 서버가 사고발생여부, 사고발생위치, 사고유형 등을 판별할 수 있도록 한다.
Further, in one embodiment according to the present invention, instead of the comparator, an amplitude transition detector (not shown) for detecting a sudden change in the amplitude (amplitude) of the sound signal or for detecting a sudden change in the frequency of the sound signal. A frequency transition detector (not shown) may be provided. In general, when an accident occurs in a tunnel, a sudden change in the magnitude or frequency of an acoustic signal is detected. When such a component is provided, the server detects such a change and transmits the change to the server. To determine the type of accident.
도 4는 본 발명의 일 실시예에 따른 터널 내의 음향센서 설치 모습을 도시한다. 상기 음향센서(N-2, N-1, N, N+1, N+2)는 미리 결정된 일정 간격으로 설치될 수 있다. 상기 음향센서는 노변에 일정 간격으로 설치될 수 있다. 4 is a view illustrating a sound sensor installed in a tunnel according to an embodiment of the present invention. The acoustic sensors N-2, N-1, N, N + 1, and N + 2 may be installed at predetermined predetermined intervals. The acoustic sensor may be installed on the roadside at regular intervals.
상기 서버는 이렇게 일정 간격으로 설치된 음향센서들 각각으로부터 수집된 음향신호를 처리 또는 분석하여, 사고가 발생했는지 여부 또는 어느 위치에서 사고가 발생했는지 또는 어떤 사고가 발생했는지를 판별할 수 있다. The server may process or analyze the acoustic signals collected from each of the acoustic sensors installed at regular intervals to determine whether an accident has occurred, or at which location the accident has occurred or which accident has occurred.
예를 들어, 화살표로 표시된 진행방향을 기준으로 설명하면, 각 음향센서(N-2, N-1, N, N+1, N+2)로부터 수집된 음향신호의 크기가 N에서 가장 크고 N+1(N-1)와 N+2(N-2)에서 상기 N에서의 크기보다 작고 서로 어느정도 대응하는 크기의 음향신호가 검출되었다면, 상기 서버는 상기 위치 N 또는 이 근방에서 사고가 발생했음을 판단할 수 있다. For example, based on the direction indicated by the arrow, the amplitude of the acoustic signal collected from each acoustic sensor (N-2, N-1, N, N + 1, N + 2) is the largest in N, N If an acoustic signal of a magnitude smaller than the size at N and corresponding to each other is detected at +1 (N-1) and N + 2 (N-2), the server indicates that an accident has occurred at or near the position N. You can judge.
다른 예로, 상기 위치 N-2에서 N+2 방향으로, 시간이 흐름에 따라 상기 음향신호의 크기의 피크가 순차적으로 검출되었다면, 상기 서버는 상기 위치 N-2에서 최초에 추돌 사고가 발생하여 상기 위치 N+2 까지 연쇄 추돌 사고가 발생했음을 판단할 수 있다.
As another example, in the direction N + 2 from the position N-2, if a peak of the magnitude of the sound signal is sequentially detected as time passes, the server first encounters a collision accident at the position N-2. It can be determined that a chain collision accident has occurred up to position N + 2.
위에서 본 발명의 실시예들이 설명되었으며, 당해 기술 분야에 속한 통상의 지식을 가진 자는 이러한 실시예들은 발명을 한정하기 위한 것이 아니라 단지 예시적인 것임을 인식할 수 있고, 본 발명의 범위 또는 사상을 벗어나지 않고 변형, 수정 등이 가능함을 인식할 것이다.
Having described the embodiments of the present invention above, those of ordinary skill in the art will recognize that these embodiments are illustrative rather than limiting, and that various changes and modifications may be made without departing from the scope or spirit of the invention Variations, and modifications may be made without departing from the scope of the present invention.
210: 서버 220: 센서부
230: 출력부 221: 음향센서
222: 증폭기 223: 적응필터
224: 비교기210: server 220: sensor unit
230: output unit 221: acoustic sensor
222: amplifier 223: adaptive filter
224: comparator
Claims (10)
상기 터널 내의 교통상태를 감지하기 위한 센서부;
상기 센서부로부터의 교통상태에 관한 정보를 수신하여, 상기 교통상태에 관한 정보를 처리하여 상기 터널 내의 사고상황을 인식하거나 판별하기 위한 서버; 및
상기 인식 또는 판별된 사고상황을 상기 터널의 이용자들에게 알리기 위한 출력부를 포함하는, 터널 내 사고상황 인식 또는 판별을 위한 기기.
Apparatus for recognizing or discriminating accident situation in tunnel based on sound signal processing,
A sensor unit for detecting a traffic state in the tunnel;
A server for receiving information on the traffic condition from the sensor unit, processing the information on the traffic condition, and recognizing or determining an accident situation in the tunnel; And
And an output unit for notifying the users of the tunnel of the recognized or determined accident situation.
상기 터널 내의 음향신호를 수집 또는 검출하기 위한 적어도 하나 이상의 음향센서를 포함하는, 터널 내 사고상황 인식 또는 판별을 위한 기기.
The method of claim 1, wherein the sensor unit:
And at least one acoustic sensor for collecting or detecting the acoustic signal in the tunnel.
상기 음향센서는 상기 터널 내에서 미리 결정된 간격으로 설치되는, 터널 내 사고상황 인식 또는 판별을 위한 기기.
The method of claim 2,
The acoustic sensor is a device for recognizing or determining the accident situation in the tunnel, which is installed at a predetermined interval in the tunnel.
상기 미리 결정된 간격으로 설치된 음향센서 각각으로부터 음향신호를 수집 또는 검출하여, 상기 음향의 소스(source)의 위치를 검출하는, 터널 내 사고상황 인식 또는 판별을 위한 기기.
The server of claim 3, wherein the server is:
And collecting or detecting a sound signal from each of the sound sensors installed at the predetermined intervals, thereby detecting a position of the source of the sound.
상기 음향센서에 의해 검출된 상기 터널 내의 음향신호의 크기 또는 주파수를 검출하여 상기 크기 또는 주파수가 임계치를 초과하면, 상기 터널 내의 사고가 발생했는지를 인식하거나 상기 사고의 유형을 판별하는, 터널 내 사고상황 인식 또는 판별을 위한 기기.
The server of claim 2, wherein the server is:
The incident in the tunnel, which detects the magnitude or frequency of the acoustic signal in the tunnel detected by the acoustic sensor and recognizes whether an accident occurred in the tunnel or determines the type of the accident when the magnitude or frequency exceeds a threshold. Device for situational awareness or determination.
상기 음향센서에 의해 검출된 상기 터널 내의 음향신호의 크기 또는 주파수의 변화를 검출하여 상기 변화의 변위가 임계치를 초과하면, 상기 터널 내에 사고가 발생했는지를 인식하거나 상기 사고의 유형을 판별하는, 터널 내 사고상황 인식 또는 판별을 위한 기기.
The server of claim 2, wherein the server is:
A tunnel that detects a change in the magnitude or frequency of the sound signal in the tunnel detected by the acoustic sensor and recognizes whether an accident has occurred in the tunnel or determines the type of the accident when the displacement of the change exceeds a threshold. Device for recognizing or identifying my accident.
상기 음향센서에 의해 검출된 상기 터널 내의 음향신호의 크기 또는 주파수의 패턴 변화를 검출하여 상기 터널 내의 사고가 발생했는지를 인식하거나 상기 사고의 유형을 판별하는, 터널 내 사고상황 인식 또는 판별을 위한 기기.
The server of claim 2, wherein the server is:
A device for recognizing or determining an accident situation in a tunnel, which detects a pattern change of a magnitude or frequency of an acoustic signal in the tunnel detected by the acoustic sensor to determine whether an accident has occurred in the tunnel or determines the type of the accident. .
상기 터널 내의 음향신호를 검출하기 위한 음향센서;
상기 음향센서로부터 출력된 음향신호를 증폭하기 위한 증폭기;
상기 증폭기로부터 출력된 음향신호를 필터링하기 위한 적응필터(adaptive filter); 및
상기 적응필터로부터 필터링된 음향신호의 크기 또는 주파수, 또는 그들의 변화를 기준값과 비교하기 위한 비교기를 포함하는, 터널 내 사고상황 인식 또는 판별을 위한 기기.
The method of claim 1, wherein the sensor unit:
An acoustic sensor for detecting an acoustic signal in the tunnel;
An amplifier for amplifying the sound signal output from the sound sensor;
An adaptive filter for filtering the acoustic signal output from the amplifier; And
And a comparator for comparing the magnitude or frequency of the acoustic signals filtered from the adaptive filter, or their changes with a reference value.
상기 음향신호의 크기 또는 주파수, 또는 그들의 변화량과, 사고발생여부와 사고유형의 상관관계를 저장하는 데이터베이스를 더 포함하고,
상기 센서부로부터 감지된 상기 음향신호의 크기 또는 주파수, 또는 그들의 변화량에 기초하여 상기 터널 내의 사고가 발생했는지를 인식하거나 상기 사고의 유형을 판별하는, 터널 내 사고상황 인식 또는 판별을 위한 기기.
The method of claim 1 or 8, wherein the server is:
It further comprises a database for storing the correlation between the magnitude or frequency of the acoustic signals, or the amount of change thereof, the occurrence of the accident and the type of accident,
And recognize or determine the type of the accident in the tunnel based on the magnitude or frequency of the sound signal detected from the sensor unit or the amount of change thereof.
10. The apparatus of claim 9, wherein the database updates the recognized or determined result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110146004A KR101312547B1 (en) | 2011-12-29 | 2011-12-29 | An apparatus for detecting or deciding accidents in a tunnel based on a sound signal processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110146004A KR101312547B1 (en) | 2011-12-29 | 2011-12-29 | An apparatus for detecting or deciding accidents in a tunnel based on a sound signal processing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130077348A true KR20130077348A (en) | 2013-07-09 |
| KR101312547B1 KR101312547B1 (en) | 2013-09-30 |
Family
ID=48990618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110146004A KR101312547B1 (en) | 2011-12-29 | 2011-12-29 | An apparatus for detecting or deciding accidents in a tunnel based on a sound signal processing |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101312547B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190046569A (en) * | 2017-10-26 | 2019-05-07 | 광주과학기술원 | Acoustic Tunnel Accident Detection System |
| KR20210023273A (en) * | 2019-08-22 | 2021-03-04 | 아이브스 주식회사 | Apparatus and method for judging tunnel situation |
| KR20210047513A (en) * | 2019-10-22 | 2021-04-30 | 한국도로공사 | Evaluation method for occurrence and structural safety of tunnel using sensing explosions and fires |
| KR20210047514A (en) * | 2019-10-22 | 2021-04-30 | 한국도로공사 | Evaluation method for occurrence and structural safety of tunnel |
| CN113916978A (en) * | 2021-08-26 | 2022-01-11 | 华能澜沧江水电股份有限公司 | Real-time monitoring method and system for cavitation of hydraulic tunnel during operation period based on audio |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220133453A (en) | 2021-03-25 | 2022-10-05 | (주)한울전력기술 | Mobile unmanned reobot operating system linked with location-based system using acoustic sensor and control method thereof |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09282581A (en) * | 1996-04-17 | 1997-10-31 | Hitachi Ltd | Method and device for detecting vehicle accident inside tunnel |
| JP3069529B2 (en) * | 1996-11-13 | 2000-07-24 | 三菱電機エンジニアリング株式会社 | Accident sound detection circuit |
| KR200411295Y1 (en) * | 2005-11-24 | 2006-03-13 | 흥진정보통신 주식회사 | Accident preventing & management System of inner tunnel |
| KR100997497B1 (en) * | 2010-04-29 | 2010-11-30 | (주)동아이앤씨 | Observation system and method having auto-sensing/filming function |
-
2011
- 2011-12-29 KR KR1020110146004A patent/KR101312547B1/en active IP Right Grant
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190046569A (en) * | 2017-10-26 | 2019-05-07 | 광주과학기술원 | Acoustic Tunnel Accident Detection System |
| KR20210023273A (en) * | 2019-08-22 | 2021-03-04 | 아이브스 주식회사 | Apparatus and method for judging tunnel situation |
| KR20210047513A (en) * | 2019-10-22 | 2021-04-30 | 한국도로공사 | Evaluation method for occurrence and structural safety of tunnel using sensing explosions and fires |
| KR20210047514A (en) * | 2019-10-22 | 2021-04-30 | 한국도로공사 | Evaluation method for occurrence and structural safety of tunnel |
| CN113916978A (en) * | 2021-08-26 | 2022-01-11 | 华能澜沧江水电股份有限公司 | Real-time monitoring method and system for cavitation of hydraulic tunnel during operation period based on audio |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101312547B1 (en) | 2013-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101312547B1 (en) | An apparatus for detecting or deciding accidents in a tunnel based on a sound signal processing | |
| WO2020116030A1 (en) | Road monitoring system, road monitoring device, road monitoring method, and non-transitory computer-readable medium | |
| US8704662B2 (en) | Method and apparatus for monitoring a structure | |
| CN105825711A (en) | Vehicle obstacle early warning method and device | |
| US20210012653A1 (en) | Traffic monitoring apparatus, traffic monitoring system, traffic monitoring method, and non-transitory computer readable medium storing program | |
| US20210043076A1 (en) | Traffic monitoring apparatus, traffic monitoring system, traffic monitoring method, and non-transitory computer readable medium storing program | |
| JP7332020B2 (en) | Optical fiber sensing system, road monitoring method, and optical fiber sensing device | |
| US20210027619A1 (en) | Traffic monitoring apparatus, traffic monitoring system, traffic monitoring method, and non-transitory computer readable medium storing program | |
| US20230360523A1 (en) | Traffic monitoring apparatus, traffic monitoring system, traffic monitoring method, and non-transitory computer readable medium storing program | |
| CN113366545A (en) | Road monitoring system, road monitoring device, road monitoring method, and non-transitory computer readable medium | |
| CN103129390A (en) | Vehicle rate-limiting system and vehicle rate-limiting method | |
| CN104408898A (en) | Alarm information combination determination based method and apparatus for improving alarm accuracy | |
| JP4010316B2 (en) | Illegal parking enforcement system and method | |
| KR101329797B1 (en) | A method and system for detecting violation vehicle using a scramble car | |
| Oskarbski et al. | Automatic incident detection at intersections with use of telematics | |
| KR20100000306A (en) | System for managing schoolzone traffic synthetically | |
| KR20160062259A (en) | Method, system and computer readable medium for managing abnormal state of vehicle | |
| Nathanail et al. | Traffic volume responsive incident detection | |
| JP6244625B2 (en) | Traffic jam detection system and traffic jam detection method | |
| WO2021152824A1 (en) | Vehicle monitoring system, vehicle monitoring method, and vehicle monitoring device | |
| EP3269608B1 (en) | Detection of tailgating situations | |
| JP2003272086A (en) | Tunnel inside monitoring system, program and recording medium | |
| CN109685010B (en) | Highway slope protection network vulnerability position positioning method and system | |
| KR101339650B1 (en) | System for detecting passing height of vehicle in highway hi-pass lane and method thereof | |
| CN110060452A (en) | The alarming method for power and device in vehicles while passing place |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160923 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170911 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180723 Year of fee payment: 6 |