KR101301453B1 - The apparatus and method of monitoring with terrestrial lidar and reflectless totalstation - Google Patents
The apparatus and method of monitoring with terrestrial lidar and reflectless totalstation Download PDFInfo
- Publication number
- KR101301453B1 KR101301453B1 KR1020110135152A KR20110135152A KR101301453B1 KR 101301453 B1 KR101301453 B1 KR 101301453B1 KR 1020110135152 A KR1020110135152 A KR 1020110135152A KR 20110135152 A KR20110135152 A KR 20110135152A KR 101301453 B1 KR101301453 B1 KR 101301453B1
- Authority
- KR
- South Korea
- Prior art keywords
- slope
- displacement
- terrain
- data
- dimensional
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C9/00—Measuring inclination, e.g. by clinometers, by levels
- G01C9/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
Abstract
본 발명은 종래의 사면지형 붕괴 예측 시스템 중 항공라이다 측량이 비용이 비싸고, 사면지형 전체에 대한 정밀한 데이터 제공이 어렵고, 무엇보다 날씨의 영향을 많이 받기 때문에 주기적인 사면지형변위 데이터를 제공할 수가 없는 문제점과, 사면지형에 설치된 SAR 능동센서와 제어장치의 연결이 끊어지고, 제어장치의 고장으로 인하여 감시 시스템 전체가 무용지물이 되는 문제점을 개선하고자, 지상라이다부, 무타켓토탈스테이션부, 사면지형 변위 제어모듈이 구성됨으로서, 환경의 영향을 적게 받으면서 특정 위치가 아닌 사면지형 전체의 형상을 획득할 수 있고, 항공라이다보다 더 조밀하고 정밀한 3차원 좌표를 생성할 수 있으며, 사용자단말기로 사면지형변위데이터를 1:1로 실시간 전송시켜 줌으로서, 사면지형의 안전상태를 인근 주거지의 주민과 인근 도로를 주행하는 또는 주행할 운전자에게 신속하고 정확하게 경고할 수 있는 지상라이다부·무타켓토탈스테이션부·사면지형 변위 제어모듈의 트레블측량제어를 통한 사면지형 변위 모니터링장치 및 방법을 제공하는데 그 목적이 있다.According to the present invention, it is possible to provide periodic slope deformation data because the survey is expensive, it is difficult to provide accurate data on the entire slope, and above all, it is affected by the weather. In order to improve the problem that there is no problem, the SAR active sensor installed in the slope terrain is disconnected from the control device, and the entire monitoring system becomes useless due to the failure of the control device. By configuring the displacement control module, it is possible to acquire the shape of the entire slope terrain rather than a specific position while being less influenced by the environment, and to generate more precise and precise three-dimensional coordinates than the air lidar, and the slope terrain with the user terminal. By transmitting the displacement data 1: 1 in real time, the safety status of the slope topography And a terrain displacement monitoring device and method through treble survey control of a ground lidar part, a non-target total station part, and a slope type displacement control module that can quickly and accurately warn a driver who is driving on or near a road. There is a purpose.
Description
본 발명은 지상라이다부, 무타켓토탈스테이션부, 사면지형 변위 제어모듈을 통해 사면지형의 변위상태를 정밀하게 측정해서 사용자단말기로 사면지형변위데이터를 1:1로 실시간 전송시켜 줌으로서, 사면지형의 안전상태를 인근 주거지의 주민과 인근 도로를 주행하는 또는 주행할 운전자에게 신속하고 정확하게 경고할 수 있는 지상라이다부·무타켓토탈스테이션부·사면지형 변위 제어모듈의 트레블측량제어를 통한 사면지형 변위 모니터링장치 및 방법에 관한 것이다.
The present invention precisely measures the displacement state of the slope terrain through the ground lidar part, the targetless station station, the slope terrain displacement control module, and transmits the slope terrain displacement data 1: 1 to the user terminal, Slope displacement through treble survey control of ground lidar, mutaket total station, and slope type displacement control module to quickly and accurately warn residents of nearby dwellings and drivers who are driving or driving on nearby roads It relates to a monitoring device and method.
우리나라는 평지보다 산지가 많으므로, 산기슭에 인접한 주거지와 도로가 많다. 특히, 근래에는 주거지와 도로를 넓히기 위해 산을 깎아 만든 절토 사면을 흔하게 볼 수 있다.Since Korea has more mountains than flat land, there are many dwellings and roads adjacent to the foothills. In particular, it is common to see cut slopes made of carved mountains in order to expand residential areas and roads.
이러한 절토 사면 또는 통상의 사면은 매우 가파른 경사를 이루고 있으므로 사태를 일으키기 싶다. 때문에, 주거지 또는 도로와 인접한 사면에는 대부분 철망이나 옹벽 등 기타 안전설비가 설치되어 있다.Since such cut slopes or ordinary slopes have a very steep slope, they want to cause a situation. Therefore, slopes adjacent to dwellings or roads are mostly provided with other safety equipment such as wire mesh or retaining walls.
그러나, 장마철과 같이 다량의 강우가 쏟아지는 시기에는 사면의 지형이 강우에 의해 변형되고 사면에 설치된 안전설비의 지지력이 약해지므로, 사면이 붕괴될 가능성이 매우 높다.However, when a large amount of rainfall, such as the rainy season, the slope of the slope is deformed by the rainfall and the support capacity of the safety equipment installed on the slope is weakened, the slope is very likely to collapse.
종래에는 3차원 정보를 획득할 수 있는 항공라이다 측량과, 기후에 관계없이 자료획득이 가능한 SAR 능동센서를 이용하여 광역적인 사면지형의 변위를 감지할 수 있는 시스템이 개발되고 있다.Conventionally, a system capable of detecting wide area slope displacement using an airborne lidar survey capable of acquiring three-dimensional information and SAR active sensors capable of acquiring data regardless of weather has been developed.
그러나, 상기 항공라이다 측량은 비용이 비싸고, 사면지형 전체에 대한 정밀한 데이터 제공이 어렵고, 무엇보다 날씨의 영향을 많이 받기 때문에 주기적인 사면지형변위 데이터를 제공할 수가 없었다.However, the aerial lidar survey is expensive, it is difficult to provide accurate data for the entire slope, and above all, due to the weather is not able to provide periodic slope displacement data.
또한, 사면지형 일측에 복수개의 SAR 능동센서가 설치되어 구성되지만, 사면의 붕괴상태에 따라 SAR 능동센서와 제어장치의 연결이 끊어지는 문제점과 제어장치의 고장으로 인하여 감시 시스템 전체가 무용지물이 되는 문제점이 있었다.In addition, a plurality of SAR active sensors are installed on one side of the slope, but the connection between the SAR active sensor and the control device is disconnected due to the collapse of the slope, and the entire monitoring system becomes useless due to the failure of the control device. There was this.
그리고, 영상을 기반으로 한 사진측량은 CCD 사진기를 이용하여 트정부위의 사면부위를 관측하는 것으로 높은 정밀도로 변위를 계측할 수 있으나, 대기의 조건, 비, 먼지, 명암도 등의 환경인자에 영향을 많이 받을 수 있고, 작업시간이 많이 걸리는 문제점이 있었다.
In addition, image-based photogrammetry can measure displacement with high accuracy by using CCD camera, but it can affect the environmental factors such as atmospheric conditions, rain, dust, contrast, etc. Received a lot, there was a problem that takes a lot of work time.
상기의 문제점을 해결하기 위해 본 발명에서는 환경의 영향을 적게 받으면서 특정 위치가 아닌 사면지형 전체의 형상을 획득할 수 있고, 항공라이다보다 더 조밀하고 정밀한 3차원 좌표를 생성할 수 있으며, 사용자단말기로 사면지형변위데이터를 1:1로 실시간 전송시켜 줌으로서, 사면지형의 안전상태를 인근 주거지의 주민과 인근 도로를 주행하는 또는 주행할 운전자에게 신속하고 정확하게 경고할 수 있는 지상라이다부·무타켓토탈스테이션부·사면지형 변위 제어모듈의 트레블측량제어를 통한 사면지형 변위 모니터링장치 및 방법을 제공하는데 그 목적이 있다.
In order to solve the above problems, the present invention can obtain the overall shape of the slope terrain rather than a specific location while being less affected by the environment, and can generate more compact and precise three-dimensional coordinates than the air lidar, and user terminal. By transmitting the slope terrain displacement data in real time 1: 1, it is possible to promptly and accurately warn the safety status of slope terrain to residents of nearby dwellings and to drivers who drive or drive nearby roads. It is an object of the present invention to provide an apparatus and method for monitoring a slope type displacement through treble measurement control of a total station portion and a slope type displacement control module.
상기의 목적을 달성하기 위해 본 발명에 따른 지상라이다부·무타켓토탈스테이션부·사면지형 변위 제어모듈의 트레블측량제어를 통한 사면지형 변위 모니터링장치는In order to achieve the above object, the slope-type displacement monitoring apparatus through treble surveying control of the ground lidar part, the targetless station station, the slope-type displacement control module according to the present invention is
사면지형물과 50m~200m 이격된 거리에 위치되어, 사면지형물쪽으로 근적외선 또는 가시광선 파장대의 레이저를 송신시키고, 사면지형물에서 반사되어 돌아오는 레이저를 수신하여 거리를 측정하고, 거리측정과 동시에 사면지형물과 이루는 레이저 빔의 수평, 수직각을 측정하여 3차원 상대좌표와 3차원 원시데이터를 생성시킨 후, 생성된 3차원 상대좌표와 3차원 원시데이터를 사면지형 변위제어부로 전달시키는 지상라이다부(LiDAR:Light Detection And Range)와,Located at a distance of 50m ~ 200m away from the slope, it transmits a near-infrared or visible light wavelength to the slope, receives the laser reflected from the slope, and measures the distance. After measuring the horizontal and vertical angles of the laser beams forming the slopes, three-dimensional relative coordinates and three-dimensional raw data are generated, and then the ground lie that delivers the generated three-dimensional relative coordinates and three-dimensional raw data to the slope terrain displacement controller. LiDAR: Light Detection And Range,
지상라이다부 일측에 위치되어, 사면지형물에 대한 거리측정값과, 사면지형물에 대한 각도값을 이용해 물리적 벡터를 계산하고, 그 계산된 물리적 벡터와 수신기로부터 전송된 지구 좌표계(경도, 위도 및 높이)와의 벡터를 이용하여 측정점을 3차원 절대좌표를 생성시킨 후, 생성된 3차원 절대좌표를 사면지형 변위제어부로 전달시키는 무타겟토탈스테이션부(Reflectless Totalstation)와,Located on one side of the ground lidar, the physical vector is calculated using the distance measurement for the slope and the angle value for the slope, and the calculated physical vector and the global coordinate system (longitude, latitude and A targetless totalstation for generating a three-dimensional absolute coordinate by using a vector of a height) and then transferring the generated three-dimensional absolute coordinate to a slope displacement controller,
지상라이다부, 무타겟토탈스테이션부와 연결되어 취득된 지상라이다부의 3차원 상대좌표를 무타겟토탈스테이션부로부터 전달된 3차원 절대좌표를 참조하여, 3차원 절대좌표로 변환시킨 후, DSM, 필터링, DEM, 공간그리드분석을 거쳐 사면지형의 변위량을 연산시킨 후, 연산된 사면지형 변위량 데이터를 무선인터넷망을 통해 원격지의 사용자단말기 모니터상에 디스플레이시키도록 제어하는 사면지형 변위 제어모듈로 구성됨으로서 달성된다.
After converting the three-dimensional relative coordinates of the terrestrial lidar part obtained by connecting the terrestrial lidar part and the non-target total station part to the three-dimensional absolute coordinates transmitted from the non-target total station part, the DSM, After calculating the displacement of slope terrain through filtering, DEM, and spatial grid analysis, it is composed of a slope terrain displacement control module which controls the displayed slope displacement data to be displayed on the remote monitor of user terminal through wireless internet network. Is achieved.
이상에서 설명한 바와 같이, 본 발명에서는 저비용으로 단시간에 사면지형에 대한 고정밀 3차원 좌표를 생성할 수 있으며, 다른 장치에 비해 사용자단말기로 사면지형변위데이터를 1:1로 실시간 전송시켜 줌으로서, 사면지형의 안전상태를 인근 주거지의 주민과 인근 도로를 주행하는 또는 주행할 운전자에게 신속하고 정확하게 경고할 수 있어 사면붕괴사고율을 30%로 낮출 수 있는 좋은 효과가 있다.As described above, in the present invention, it is possible to generate high-precision three-dimensional coordinates of the slope topography in a short time at low cost, and by sending the slope terrain displacement data 1: 1 to the user terminal in comparison with other devices, The safety status of the terrain can be quickly and accurately alerted to residents of nearby dwellings and drivers who are driving or driving nearby, which has a good effect of reducing the slope collapse rate to 30%.
도 1은 본 발명에 따른 지상라이다부·무타켓토탈스테이션부·사면지형 변위 제어모듈의 트레블측량제어를 통한 사면지형 변위 모니터링장치의 구성요소를 도시한 구성도,
도 2는 본 발명에 따른 무타켓토탈스테이션부(200)의 구성요소를 도시한 블럭도,
도 3은 본 발명에 따른 사면지형 변위 제어모듈(300)의 구성요소를 도시한 블럭도,
도 4는 본 발명에 따른 좌표변환부를 통해 3차원 절대좌표변환을 위해, 15개의 표정점을 배치시키는 것을 도시한 일실시예도,
도 5는 본 발명에 따른 지상라이다부에서 구한 변환된 표정점 3차원 상대좌표와 무타겟토탈스테이션에서 획득된 표정점 3차원 절대좌표사이의 오차계산방식(RMSE : Root Mean Square Error)을 도시한 일실시예도,
도 6은 본 발명에 따른 필터링부를 통해 평활화 영역내에 존재하는 3차원 원시데이터(=점군데이터)에 대하여 잔차가 최소가 되도록 곡면(=평활화 면)을 설정하고, 그 설정된 곡면에 높이 방향의 허용값을 설정하여 식생의 영향으로 생각되는 점 데이터를 제거한 것을 도시한 일실시예도,
도 7은 본 발명에 따른 DSM부를 통해 변환된 3차원 그리드모형을 도시한 일실시예도,
도 8은 본 발명에 따른 필터링부를 통해 3차원 원시데이터의 포인트 클라우드(점군) 데이터에 포함되어 있는 식생, 수목, 구조물을 제거하기 전의 모습과 제거한 후의 모습을 도시한 일실시예도,
도 9는 본 발명에 따른 DEM(Digital Elevation Model)부를 통해 생성된 변환전과 변환후 사면지형물의 3차원 그리드 모형을 도시한 일실시예도,
도 10은 본 발명에 따른 공간그리드 연산제어부를 통한 셀 기반의 산술연산과정을 도시한 일실시예도,
도 11은 본 발명에 따른 지상라이다부·무타켓토탈스테이션부·사면지형 변위 제어모듈의 트레블측량제어를 통한 사면지형 변위 모니터링방법을 도시한 순서도.1 is a block diagram showing the components of the slope type displacement monitoring device through the treble surveying control of the ground lidar part, the targetless station station, the slope type displacement control module according to the present invention,
2 is a block diagram showing the components of the non-target
3 is a block diagram showing the components of the slope type
4 is a diagram illustrating the arrangement of 15 facial expression points for 3D absolute coordinate transformation through a coordinate transformation unit according to the present invention;
FIG. 5 is a diagram illustrating an error calculation method (RMSE: Root Mean Square Error) between the transformed facial expression point 3D relative coordinates obtained from the ground lidar part and the facial point 3D absolute coordinate obtained from the non-target total station according to the present invention. In one embodiment,
FIG. 6 sets a curved surface (= smoothing surface) such that residuals are minimized with respect to three-dimensional raw data (= point group data) existing in the smoothing area through the filtering unit according to the present invention, and the allowable value of the height direction is set in the set surface. One embodiment also shows that by removing the point data that is considered to be affected by vegetation by setting the
7 is a diagram illustrating a three-dimensional grid model converted through the DSM unit according to the present invention;
8 is a view illustrating a state before and after removing vegetation, trees, and structures included in the point cloud (point group) data of three-dimensional raw data through a filtering unit according to the present invention;
Figure 9 is an embodiment showing a three-dimensional grid model of the slope before and after transformation generated by the Digital Elevation Model (DEM) according to the present invention,
10 is a diagram illustrating a cell-based arithmetic operation process using a spatial grid operation control unit according to the present invention;
11 is a flow chart illustrating a method for monitoring the slope displacement using the treble surveying control of the ground lidar part, the no-target total station part, the slope type displacement control module according to the present invention.
본 발명에 따른 지상라이다부·무타켓토탈스테이션부·사면지형 변위 제어모듈의 트레블측량제어를 통한 사면지형 변위 모니터링장치는 사면지형의 표고, 면적, 체적, 경사, 경사방향 등 지형 기본에 관련된 정보를 주기적으로 획득하여 관찰함으로서 발생된 사면지형 변위량 데이터인 변위량 빈도 분포도데이터 및 횡단면도데이터를 신속 정확하게 사용자 단말기쪽으로 모니터링시키는 것을 특징으로 한다.
The slope type displacement monitoring device through the treble surveying control of the ground lidar part, the no-target total station part, and the slope type displacement control module according to the present invention includes information related to the terrain, such as elevation, area, volume, slope, and slope direction of the slope type. It is characterized by monitoring the displacement amount frequency distribution data and the cross-sectional view data, which is the slope terrain displacement data generated by periodically acquiring and observing the data to the user terminal quickly and accurately.
이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
도 1은 본 발명에 따른 지상라이다부·무타켓토탈스테이션부·사면지형 변위 제어모듈의 트레블측량제어를 통한 사면지형 변위 모니터링장치의 구성요소를 도시한 구성도에 관한 것으로, 이는 지상라이다부(100), 무타켓토탈스테이션부(200), 사면지형 변위 제어모듈(300)로 구성된다.
1 is a configuration diagram showing the components of the slope type displacement monitoring device through the treble surveying control of the ground lidar part, the non-target total station part, the slope type displacement control module according to the present invention, 100), the targetless
먼저, 본 발명에 따른 지상라이다부(LiDAR:Light Detection And Range)(100)에 관해 설명한다.First, the LiDAR (Light Detection And Range) 100 according to the present invention will be described.
상기 지상라이다부(LiDAR:Light Detection And Range)(100)는 사면지형물과 50m~200m 이격된 거리에 위치되어, 사면지형물쪽으로 근적외선 또는 가시광선 파장대의 레이저를 송신시키고, 사면지형물에서 반사되어 돌아오는 레이저를 수신하여 거리를 측정하고, 거리측정과 동시에 사면지형물과 이루는 레이저 빔의 수평, 수직각을 측정하여 3차원 상대좌표와 3차원 원시데이터를 생성시킨 후, 생성된 3차원 상대좌표와 3차원 원시데이터를 사면지형 변위제어부로 전달시키는 역할을 한다.The LiDAR (Light Detection And Range) 100 is located at a distance 50m to 200m away from a sloped terrain, and transmits a near infrared or visible light wavelength laser beam to the sloped terrain, and reflects from the sloped terrain. Receive the return laser and measure the distance, measure the horizontal and vertical angle of the laser beam that forms the slope and at the same time, generate the 3D relative coordinates and 3D raw data, and then generate the 3D relative It delivers coordinates and 3D raw data to slope terrain displacement controller.
이는 스캔거리가 최대 300m, 최소 1m이며, 스캔범위가 수평360°이고, 수직270°이며, 측정정확도가 좌표 6mm이고, 거리4mm이고, 지형모델링정확도가 2mm이며, 데이터취득속도가 50,000point/sec 이상이고, 분해력이 1"이며, 타겟 취득이 2mm이고, 스팟 사이즈가 4mm인 특성을 가진다.
It has a scanning distance of up to 300m, a minimum of 1m, scanning range of horizontal 360 °, vertical 270 °, measuring accuracy of 6mm, distance of 4mm, terrain modeling accuracy of 2mm, and data acquisition speed of 50,000point / sec. It has the characteristics of 1 ", resolution acquisition of 2 mm, and spot size of 4 mm.
본 발명에 따른 지상라이다부(100)는 제1몸체부(110), 디지털 카메라부(120), 레이저 송·수신기(130), LCD 패널부(140), 지지대(150), 제1 네트워크 케이블(160)로 구성된다.
The
상기 제1몸체부(110)는 사각박스형상으로 이루어져 각 기기를 지지하고, 외압으로부터 각 기기를 보호하는 역할을 한다.The
이는 사면지형물을 바라보는 전면 일측에 디지털 카메라부가 형성되고, 디지털 카메라부 일측에 레이저 송·수신기가 형성되며, 레이저 송·수신기 일측에 LCD 패널부이 형성되고, 하단 일측에 지지대가 형성되며, 후단 일측에 제1 네트워크 케이블이 형성된다.
The digital camera unit is formed on one side of the front face facing the slope, the laser transmitter and receiver is formed on one side of the digital camera unit, the LCD panel unit is formed on one side of the laser transmitter, and the support is formed on one side of the lower end. The first network cable is formed on one side.
상기 디지털 카메라부(120)는 사면지형물을 바라보는 제1몸체부의 전면 일측에 위치되어, 사면지형물을 촬영해서 3차원 원시데이터를 생성시키는 역할을 한다.The
여기서, 3차원 원시데이터는 X,Y,Z의 포인트정보와 컬러이미지 등 사면지형의 3차원 정보를 담고 있는 데이터이다.
Here, the three-dimensional raw data is data containing three-dimensional information of four-sided topography such as point information of X, Y, and Z and color images.
상기 레이저 송·수신기(130)는 디지털 카메라부 일측에 위치되어, 사면지형물쪽으로 근적외선 또는 가시광선 파장대의 레이저를 송신시키고, 사면지형물에서 반사되어 돌아오는 레이저를 수신하는 역할을 한다.The laser transmitter /
이는 레이저를 사면지형물쪽에 발사한 후, 레이저가 반사되어 돌아오는 시간차를 계산하여 위치를 결정하는 시간차방식으로 구성된다.This is composed of a time difference method in which the laser is fired on the slope, and then the position is calculated by calculating the time difference when the laser is reflected.
즉, 다음의 수학식 1과 같은 시간차 방식으로 이용하여 위치를 결정한다.That is, the position is determined using the time difference method as in
여기서, c는 빛의 속도이고, △t는 시간차이며, D는 스캐너와 대상물과의 거리이고, X,Y,Z는 사면지형물좌표이며, α는 수평각이고, β는 수직각을 나타낸다.
Where c is the speed of light, Δt is the time difference, D is the distance between the scanner and the object, X, Y, and Z are tetragonal coordinates, α is the horizontal angle, and β is the vertical angle.
상기 LCD 패널부(140)는 레이저 송·수신기 일측에 위치되어, 디지털 카메라부로부터 촬영된 사면지형물에 대한 3차원 원시데이터와, 레이저 송·수신기로부터 측정된 3차원 상대좌표를 LCD 창에 출력시키는 역할을 한다.
The
상기 지지대(150)는 제1몸체부의 하단에 위치되어, 몸체부의 좌우 수평도를 팬(Fans)과 틸트(Tilt)를 하면서 안정하게 유지시키는 역할을 한다.
The
상기 제1 네트워크 케이블(160)은 일측이 제1몸체부 후단 일측에 형성된 USB 포트 및 RS-232통신케이블 접속포트와 연결되고, 타측이 사면지형 변위 제어모듈의 제1입력포트와 연결되어 측정된 3차원 상대좌표데이터와 3차원 원시데이터를 사면지형 변위 제어모듈로 전송시키는 역할을 한다.The
다음으로, 본 발명에 따른 무타겟토탈스테이션부(Reflectless Totalstation)(200)에 관해 설명한다.Next, a non-target
상기 무타겟토탈스테이션부(Reflectless Totalstation)(200)는 지상라이다부 일측에 위치되어, 사면지형물에 대한 거리측정값과, 사면지형물에 대한 각도값을 이용해 물리적 벡터를 계산하고, 그 계산된 물리적 벡터와 수신기로부터 전송된 지구 좌표계(경도, 위도 및 높이)와의 벡터를 이용하여 측정점을 3차원 절대좌표를 생성시킨 후, 생성된 3차원 절대좌표를 사면지형 변위제어부로 전달시키는 역할을 한다.The targetless
이는 제2몸체부(210), 무타겟측정부(220), 3차원 절대좌표값산출부(230), 제2 네트워크 케이블(240)로 구성된다.
It is composed of a
상기 제2몸체부(210)는 사각박스형상으로 이루어져 각 기기를 지지하고, 외압으로부터 각 기기를 보호하는 역할을 한다.The
이는 사면지형물을 바라보는 전면 중앙 일측에 무타겟측정부가 형성되고, 내부에 3차원 절대좌표값산출부가 형성되며, 후단 일측에 제2 네트워크 케이블이 형성되고, 하단 일측에 지지대가 형성된다.
The targetless measurement unit is formed on one side of the front center facing the slope, and the three-dimensional absolute coordinate value calculation unit is formed therein, a second network cable is formed on one side of the rear end, and a support is formed on one side of the lower end.
상기 무타겟측정부(220)는 제2몸체부의 전면 중앙 일측에 위치되어, 기능키 버튼에 의해 설정된 무타켓(Non Prism)모드로 구동되어 사면지형물에 대한 거리와, 사면지형물에 대한 각도를 측정하는 역할을 한다.The
이는 시간정보를 정확하게 측정하여 거리를 계산하는 TOF(Time-Of-Flight)기법으로 이루어진다.This is done by a time-of-flight (TOF) technique that accurately measures time information and calculates distance.
즉, 내부에 형성된 망원경을 통하여 사면지형물로 전송되는 적외선 또는 광펄스가 생성되고, 이때의 펄스는 사면지형물로 반사되어 각 광펄스의 왕복시간이 전자적으로 결정되는 기계로 돌아오게 된다.That is, infrared or light pulses are transmitted to the slope terrain through the telescope formed therein, and the pulses are reflected back to the slope terrain to return to the machine where the round trip time of each light pulse is determined electronically.
매질을 통한 빛의 속도가 정확하게 측정되기 때문에 왕복시간을 측정하여 기계와 사면지형물 간이 거리를 계산할 수가 있다.Since the speed of light through the medium is accurately measured, the distance between the machine and the slope can be calculated by measuring the round trip time.
각 펄스는 직접적인 거리관측으로서 측정이 이루어지는 동안 초단위로 수천, 수만개의 펄스가 보내어져서 비교적 빠르게 양호한 결과의 값을 취득할 수가 있다. Each pulse is a direct distance observation, which allows thousands of tens of thousands of pulses to be sent in seconds to achieve good results relatively quickly.
본 발명에 따른 무타겟측정부는 매초 20000개의 펄스화된 레이저측정이 이루어져서, 정확한 거리측정값으로 산정되도록 구성된다.
The targetless measuring unit according to the present invention is configured to make 20000 pulsed laser measurements every second, and to calculate an accurate distance measurement value.
상기 3차원 절대좌표값산출부(230)는 제2몸체부 내부에 위치되어, 보정된 고도각과 수평각 그리고 수평거리{무타겟토탈스테이션에서 측정점까지의 거리로 수평면(X-Y평면)에 투영된 거리} 측정점의 3차원 절대좌표(X,Y,Z)을 산출하는 역할을 한다.
The three-dimensional absolute coordinate
상기 제2 네트워크 케이블(240)은 일측이 제2몸체부 후단 일측에 형성된 USB 포트 및 RS-232통신케이블 접속포트와 연결되고, 타측이 사면지형 변위 제어모듈의 제2입력포트와 연결되어 측정된 3차원 절대좌표데이터를 사면지형 변위 제어모듈로 전송시키는 역할을 한다.
The
다음으로, 본 발명에 따른 사면지형 변위 제어모듈(300)에 관해 설명한다.Next, the slope type
상기 사면지형 변위 제어모듈(300)은 지상라이다부, 무타겟토탈스테이션부와 연결되어 취득된 지상라이다부의 3차원 상대좌표를 무타겟토탈스테이션부로부터 전달된 3차원 절대좌표를 참조하여, 3차원 절대좌표로 변환시킨 후, DSM, 필터링, DEM, 공간그리드분석을 거쳐 사면지형의 변위량을 연산시킨 후, 연산된 사면지형 변위량 데이터를 무선인터넷망을 통해 원격지의 사용자단말기 모니터상에 디스플레이시키도록 제어하는 역할을 한다.The slope terrain
상기 사면지형 변위 제어모듈(300)는 사면지형 변위량 데이터를 관측시기별로 변위를 산출하고, 사면의 평균변위는 1차 관측데이터를 기준으로 10차까지 관측된 데이터를 이용하여 산출된다. The slope terrain
이는 좌표변환부(310), DSM(Digital Surface Model)부(320), 필터링부(330), DEM(Digital Elevation Model)부(340), 공간그리드 연산제어부(350), 사면지형 변위량 데이터전송부(360)로 구성된다.
This is the coordinate
상기 좌표변환부(310)는 지상라이다부로부터 입력된 3차원 상대좌표를 무타겟토탈스테이션부로부터 전달된 3차원 절대좌표를 참조하여, 3차원 절대좌표로 변환시키는 역할을 한다.
The coordinate
즉, 지상라이다부를 통해 획득된 3차원 상대좌표는 지상라이다부를 원점으로 하는 상대좌표이기 때문에 무타겟토탈스테이션에서 획득된 사면지형물의 표정점의 절대좌표를 참조하여 해당지점의 상대좌표를 절대좌표로 변환시키도록 구성된다.That is, since the three-dimensional relative coordinates obtained through the ground lidar part are relative coordinates with the origin of the ground lidar part, the relative coordinates of the corresponding point are absolute by referring to the absolute coordinates of the facial expressions of the slope terrain acquired from the non-target total station. Configured to convert to coordinates.
도 5는 본 발명에 따른 지상라이다부에서 구한 변환된 표정점 3차원 상대좌표와 무타겟토탈스테이션에서 획득된 표정점 3차원 절대좌표사이의 오차계산방식(RMSE : Root Mean Square Error)을 도시한 일실시예도에 관한 것으로, 이는 수학식 2와 같이 표현된다.FIG. 5 is a diagram illustrating an error calculation method (RMSE: Root Mean Square Error) between the transformed facial expression point 3D relative coordinates obtained from the ground lidar part and the facial point 3D absolute coordinate obtained from the non-target total station according to the present invention. In one embodiment, it is expressed as
상기 DSM(Digital Surface Model)부(320)는 사면지형물의 연속적인 기복변화를 수치적으로 모형화한 수치표면모형을 3차원 그리드모형으로 변환시키는 역할을 한다.The DSM (Digital Surface Model)
이는 사면지형물 내에서 추출한 임의의 3차원 좌표로 처리되며, 지형기복의 변화에 대하여 기하학적 관계를 격자형으로 구조화시키도록 구성된다.
It is treated with any three-dimensional coordinates extracted from the slopes, and is configured to structure the geometric relationships in a lattice form for changes in topography.
상기 필터링부(330)는 3차원 원시데이터의 포인트 클라우드(점군) 데이터에 포함되어 있는 식생, 수목, 구조물을 제거하고 순수 지형만을 추출시키는 역할을 한다.The
즉, 재해가 주로 발생하는 자연 사면지형에는 식생이 무성하게 자라는 경우가 많아 지상라이다부와 무타겟토탈스테이션부를 통해 사면지형을 측정할 때는 식생으로 인하여 정확도에 영향을 미치므로 이러한 식생을 제거하는 것이 중요하다. In other words, in natural slopes where disasters occur most often, vegetation grows abundantly. Therefore, when measuring slope topography through the land rider and the targetless station, the vegetation affects the accuracy. It is important.
이때 본 발명에 따른 필터링부는 지상라이다부에서 얻어진 3차원 원시데이터(=점군 데이터)에 대하여 지표면과 비지면을 분리처리한다.At this time, the filtering unit according to the present invention separates the ground surface and the non-ground surface with respect to the three-dimensional raw data (= point group data) obtained from the ground lidar unit.
상기 필터링부는 랜덤한 점에 대하여 평활화를 실시하여 그 평활화 면에서 거리가 먼 점을 식생으로 판단하여 데이터를 삭제하도록 구성된다.The filtering unit is configured to perform smoothing on a random point, and determine that the distance is far from the smoothing point as vegetation, and delete data.
즉, 도 6에서 도시한 바와 같이, 평활화 영역내에 존재하는 3차원 원시데이터(=점군데이터)에 대하여 잔차가 최소가 되도록 곡면(=평활화 면)을 설정하고, 그 설정된 곡면에 높이 방향의 허용값을 설정하여 식생의 영향으로 생각되는 점 데이터를 제거한다.That is, as shown in Fig. 6, the curved surface (= smoothing surface) is set so that the residual is minimal with respect to the three-dimensional raw data (= point group data) existing in the smoothing area, and the set value is allowed in the height direction. Set to remove the point data that is thought to be the effect of vegetation.
본 발명에 따른 필터링부에서 3차원 원시데이터(=점군데이터)에 대하여 필터링을 수행하는 과정에 관해 설명한다.A process of performing filtering on 3D raw data (= point group data) in the filtering unit according to the present invention will be described.
3차원 원시데이터에 있는 다양한 지물과 지표면을 완전하게 나눌 수가 없으므로, 자동처리에 의한 필터링을 실시한 후 등고선도나 음영도 등을 이용하여 재차 점검을 하고 부적절한 부분에 대해서는 설정값 등을 변경한 후 다시 자동 필터링을 실시한다.Since various features and ground surface in 3D raw data cannot be divided completely, after filtering by automatic processing, check again using contour map or shadow diagram, and change the setting value etc. for the inappropriate part automatically. Perform filtering.
이러한 과정을 통해 고품질의 DEM 자료를 구축할 수가 있다.
Through this process, high quality DEM data can be constructed.
상기 DEM(Digital Elevation Model)부(340)는 필터링부로부터 추출된 순수 지형데이터를 입력받아 지형의 높이값을 추가해서 패스트타임에 따른 변환전 사면지형물의 3차원 그리드모형과, 변환후 사면지형물의 3차원 그리드모형으로 변환시키는 역할을 한다.The digital elevation model (DEM)
본 발명에 따른 DEM부는 변환전 사면지형물의 3차원 그리드모형과, 변환후 사면지형물의 3차원 그리드모형이 지상라이다부의 3차원 원시데이터와, 좌표변환부를 통해 변환된 3차원 절대좌표를 가지고 보간을 통해 획득되도록 구성된다.The DEM part according to the present invention interpolates the three-dimensional grid model of the sloped terrain before conversion, and the three-dimensional grid model of the sloped terrain after the conversion is three-dimensional raw data of the terrestrial lidar part, and three-dimensional absolute coordinates converted through the coordinate transformation unit. It is configured to be obtained through.
즉, 변환전 사면지형물의 3차원 그리드모형과, 변환후 사면지형물의 3차원 그리드모형에 관한 DEM 구축은 지상라이다부의 3차원 원시데이터로부터 TIN(불규칙삼각망; triangulatedirregular network model)을 형성하고, 일정간격의 자료를 보간하는 크리킹 보간 알고리즘 엔진(Kriging interpolation)에 의해 구성된다.In other words, DEM construction on the three-dimensional grid model of the slope before and after the transformation, and the three-dimensional grid model of the slope after the transformation, form a TIN (triangulatedirregular network model) from the three-dimensional raw data of the terrestrial lidar. It is composed of a Creeking Interpolation Engine that interpolates data at regular intervals.
상기 크리킹 보간 알고리즘 엔진(Kriging interpolation)은 관심있는 지점의 특정값을 알기 위해 주위 값들의 선형조합으로부터 원하는 지점의 값을 예측하는 알고리즘 엔진이다.The kriging interpolation engine is an algorithm engine that predicts a desired point value from a linear combination of ambient values to know a specific value of a point of interest.
이는 수학식 3과 같이 표현된다.This is expressed as in
여기서, 
여기서, 가중치는 예측값과 참값 사이의 오차가 최소가 되도록 결정되며, 많은 경우에 추정값이 편향되지 않아야 한다는 조건을 추가로 사용하여 그 값을 결정한다.
Here, the weight is determined so that the error between the predicted value and the true value is minimal, and in many cases the value is further determined using the condition that the estimate should not be biased.
상기 공간그리드 연산제어부(350)는 좌표변환부, DSM부, 필터링부, DEM부, 사면지형 변위량 데이터전송부이 연결되어 각 기기의 전반적인 동작을 제어하고, 그리드 연산자인 로컬 연산자 중 산술연산자를 통해 변환전 사면지형물의 3차원 그리드모형에다가 변환후 사면지형물의 3차원 그리드모형을 빼서 사면지형물의 변위량을 플러스값(+),마이스너스값(-),영값(0)으로 산출한 후 사면지형 변위량 데이터인 변위량 빈도 분포도데이터 및 횡단면도데이터를 생성시키는 역할을 한다.The spatial grid
본 발명에 따른 공간그리드 연산제어부는 쉽고 빠르게 사면지형 변위량 데이터를 생성시키기 위해 그리드 연산자인 로컬 연산자 중 산술연산자를 많이 사용한다. 여기서, 로컬함수와 연산자는 하나의 셀상에서 수행되며, 결과값은 결과 그리드에서 동일한 그리드 위치에 할당되도록 설정된다.The spatial grid arithmetic and control unit according to the present invention uses arithmetic operators among the local operators, which are grid operators, to easily and quickly generate slope displacement data. Here, local functions and operators are performed on one cell, and the result is set to be assigned to the same grid position in the result grid.
상기 산술연산자는 변환전 사면지형물의 3차원 그리드모형에다가 변환후 사면지형물의 3차원 그리드모형을 빼서 사면지형물의 변위량을 플러스값(+),마이스너스값(-),영값(0)으로 산출한다.The arithmetic operator calculates the displacement amount of the slope as plus (+), minus (-), and zero (0) by subtracting the three-dimensional grid model of the slope before the transformation and the three-dimensional grid model of the slope after the transformation. .
여기서, 플러스값(+)이나 마이스너스값(-)으로 나온 지역은 변위가 있는 지역을 나타낸 것이고, 영값(0)으로 나온 지역은 변위가 없는 지역을 나타낸 것이다.Here, the area indicated by the positive value (+) or the minus value (-) indicates the area with displacement, and the area indicated by the zero value (0) indicates the area without displacement.
도 10은 본 발명에 따른 공간그리드 연산제어부를 통한 셀 기반의 산술연산과정을 도시한 일실시예도에 관한 것이다. FIG. 10 is a diagram illustrating an embodiment of a cell-based arithmetic operation through a spatial grid operation control unit according to the present invention.
즉, 사면지형물 중 변위발생 지점에 대한 정보추출방법은 다음의 수학식 4와 같이 표현할 수가 있다.That is, the information extraction method for the displacement occurrence point of the slope can be expressed as
여기서, 
here,
상기 사면지형 변위량 데이터전송부(360)는 공간그리드 연산제어부의 제어하에 구동되어, 사용자 단말기로 사면지형 변위량 데이터인 변위량 빈도 분포도데이터 및 횡단면도데이터를 전송시키는 역할을 한다.The slope topographical displacement
이는 사면지형물을 기준으로 반경500m~2000m의 로컬존에 위치한 위치기반형 사용자단말기에 고유식별ID를 부여하는 사용자단말기용 고유식별 ID설정부가 포함되어 구성된다.This includes a unique identification ID setting unit for a user terminal that assigns a unique identification ID to a location-based user terminal located in a local zone with a radius of 500m to 2000m based on the slope terrain.
즉, 사용자단말기용 고유식별 ID설정부를 통해 고유식별 ID가 설정된 사용자단말기로 사면지형 변위량 데이터인 변위량 빈도 분포도데이터 및 횡단면도데이터를 WiFi 망으로 전송시킨다.That is, through the unique identification ID setting unit for the user terminal to transmit the displacement amount frequency distribution data and the cross-sectional view data, such as the topographic displacement amount data to the WiFi network.
이로 인해, 사용자단말기로 사면지형변위데이터를 1:1로 실시간 전송시켜 줌으로서, 사면지형의 안전상태를 인근 주거지의 주민과 인근 도로를 주행하는 또는 주행할 운전자에게 신속하고 정확하게 경고할 수 있어 사면붕괴사고율을 30%로 낮출 수 있다.
Thus, by transmitting the slope terrain data 1: 1 to the user terminal in real time, it is possible to quickly and accurately warn the safety status of the slope terrain to residents of nearby dwellings and drivers who are driving or driving on nearby roads. The collapse rate can be reduced to 30%.
이하, 본 발명에 따른 지상라이다부·무타켓토탈스테이션부·사면지형 변위 제어모듈의 트레블측량제어를 통한 사면지형 변위 모니터링방법에 관해 설명한다.
Hereinafter, a method for monitoring a slope terrain displacement through treble measurement control of a ground lidar unit, a targetless station station, and a slope terrain displacement control module according to the present invention will be described.
먼저, 지상라이다부(LiDAR:Light Detection And Range)를 통해 사면지형물을 측량해서 3차원 상대좌표와 3차원 원시데이터를 획득하고, 무타겟토탈스테이션부(Reflectless Totalstation)를 통해 3차원 절대좌표를 획득한다(S100).
First of all, three-dimensional relative coordinates and three-dimensional raw data are obtained by surveying slope terrain using LiDAR (Light Detection And Range), and three-dimensional absolute coordinates are performed through reflective totalstation. Acquire (S100).
이어서, 좌표변환부를 통해 지상라이다부로부터 입력된 3차원 상대좌표를 무타겟토탈스테이션부로부터 전달된 3차원 절대좌표를 참조하여, 3차원 절대좌표로 변환시킨다(S200).Subsequently, the 3D relative coordinates inputted from the terrestrial lidar unit through the coordinate conversion unit are converted into 3D absolute coordinates with reference to the 3D absolute coordinates transmitted from the non-target total station unit (S200).
본 발명에서는 좌표변환부를 통해 3차원 절대좌표변환을 위해, 도 4에서 도시한 바와 같이 15개의 표정점을 배치시킨다.
In the present invention, as shown in FIG. 4, 15 facial expression points are arranged for 3D absolute coordinate transformation through the coordinate transformation unit.
이어서, DSM(Digital Surface Model)부를 통해 사면지형물의 연속적인 기복변화를 수치적으로 모형화한 수치표면모형을 3차원 그리드모형으로 변환시킨다(S300).Subsequently, the numerical surface model, which numerically modeled the continuous ups and downs changes of the slope terrain through the Digital Surface Model (DSM) unit, is converted into a three-dimensional grid model (S300).
도 7은 본 발명에 따른 DSM부를 통해 변환된 3차원 그리드모형을 도시한 일실시예도에 관한 것이다.
7 is a diagram illustrating an example of a three-dimensional grid model converted through the DSM unit according to the present invention.
이어서, 필터링부를 통해 3차원 원시데이터의 포인트 클라우드(점군) 데이터에 포함되어 있는 식생, 수목, 구조물을 제거하고 순수 지형만을 추출시킨다(S400).Subsequently, the vegetation, trees, and structures included in the point cloud (point group) data of the 3D raw data are removed through the filtering unit, and only pure terrain is extracted (S400).
도 8은 본 발명에 따른 필터링부를 통해 3차원 원시데이터의 포인트 클라우드(점군) 데이터에 포함되어 있는 식생, 수목, 구조물을 제거하기 전의 모습과 제거한 후의 모습을 도시한 일실시예도에 관한 것이다.
8 is a diagram illustrating an embodiment before and after removing vegetation, trees, and structures included in the point cloud (point group) data of three-dimensional raw data through a filtering unit according to the present invention.
이어서, DEM(Digital Elevation Model)부를 통해 필터링부로부터 추출된 순수 지형데이터를 입력받아 지형의 높이값을 추가해서 패스트타임에 따른 변환전 사면지형물의 3차원 그리드모형과, 변환후 사면지형물의 3차원 그리드모형으로 변환시킨다(S500).
Subsequently, the pure terrain data extracted from the filtering unit is input through the digital elevation model (DEM) to add the height value of the terrain, and the three-dimensional grid model of the pre-transformed slope terrain according to the fast time, and the three-dimensional surface of the sloped terrain after the conversion. Convert to a grid model (S500).
여기서, 패스트타임이란 사면지형 변위량 데이터를 관측시기별로 1차에서 10차까지 변위를 신출하는 것을 말한다.Here, the fast time refers to the displacement of the first to tenth order of the slope data for each observation time.
도 9는 본 발명에 따른 DEM(Digital Elevation Model)부를 통해 생성된 변환전과 변환후 사면지형물의 3차원 그리드 모형을 도시한 일실시예도에 관한 것이다.
FIG. 9 is a diagram illustrating a three-dimensional grid model of slope before and after transformation generated by a digital elevation model (DEM) unit according to the present invention.
이어서, 공간그리드 연산제어부에서 그리드 연산자인 로컬 연산자 중 산술연산자를 통해 변환전 사면지형물의 3차원 그리드모형에다가 변환후 사면지형물의 3차원 그리드모형을 빼서 사면지형물의 변위량을 플러스값(+),마이스너스값(-),영값(0)으로 산출한 후 사면지형 변위량 데이터인 변위량 빈도 분포도데이터 및 횡단면도데이터를 생성시킨다(S600).Subsequently, the spatial grid arithmetic controller subtracts the three-dimensional grid model of the sloped terrain before conversion and adds the displacement amount of the sloped terrain to the positive value (+) After calculating as a negative value (-) and a zero value (0), the displacement amount frequency distribution data and the cross-sectional view data, which are the slope terrain displacement data, are generated (S600).
이때, 공간그리드 연산제어부는 사면지형 변위량 데이터를 관측시기별로 변위를 산출하고, 사면의 평균변위는 1차 관측데이터를 기준으로 10차까지 관측된 데이터를 이용하여 산출된다.
At this time, the spatial grid calculation control unit calculates the displacement of the slope terrain displacement data for each observation time, and the average displacement of the slope is calculated using the observed data up to the 10th order based on the primary observation data.
끝으로, 사면지형 변위량 데이터전송부를 통해 사용자 단말기로 사면지형 변위량 데이터인 변위량 빈도 분포도데이터 및 횡단면도데이터를 전송시킨다(S700).
Finally, the displacement amount frequency distribution data and the cross-sectional view data, which is the slope terrain displacement data, are transmitted to the user terminal through the slope terrain displacement data transmission unit (S700).
100 : 지상라이다부 110 : 제1몸체부
120 : 디지털 카메라부 130 : 레이저 송·수신기
140 : LCD 패널부(140) 150 : 지지대
160 : 제1 네트워크 케이블 200 : 무타켓토탈스테이션부
300 : 사면지형 변위 제어모듈100: ground lidar part 110: the first body part
120: digital camera unit 130: laser transmitter and receiver
140:
160: first network cable 200: no target total station
300: slope terrain displacement control module
Claims (5)
지상라이다부 일측에 위치되어, 사면지형물에 대한 거리측정값과, 사면지형물에 대한 각도값을 이용해 물리적 벡터를 계산하고, 그 계산된 물리적 벡터와 수신기로부터 전송된 지구 좌표계(경도, 위도 및 높이)와의 벡터를 이용하여 측정점을 3차원 절대좌표를 생성시킨 후, 생성된 3차원 절대좌표를 사면지형 변위제어부로 전달시키는 무타겟토탈스테이션부(Reflectless Totalstation)(200)와,
지상라이다부, 무타겟토탈스테이션부와 연결되어 취득된 지상라이다부의 3차원 상대좌표를 무타겟토탈스테이션부로부터 전달된 3차원 절대좌표를 참조하여, 3차원 절대좌표로 변환시킨 후, DSM, 필터링, DEM, 공간그리드분석을 거쳐 사면지형의 변위량을 연산시킨 후, 연산된 사면지형 변위량 데이터를 무선인터넷망을 통해 원격지의 사용자단말기 모니터상에 디스플레이시키도록 제어하는 사면지형 변위 제어모듈(300)로 구성되는 것을 특징으로 하는 지상라이다부·무타켓토탈스테이션부·사면지형 변위 제어모듈의 트레블측량제어를 통한 사면지형 변위 모니터링장치.Located at a distance of 50m ~ 200m away from the slope, it transmits a near-infrared or visible light wavelength to the slope, receives the laser reflected from the slope, and measures the distance. After measuring the horizontal and vertical angles of the laser beams forming the slopes, three-dimensional relative coordinates and three-dimensional raw data are generated. LiDAR: Light Detection And Range (100),
Located on one side of the ground lidar, the physical vector is calculated using the distance measurement for the slope and the angle value for the slope, and the calculated physical vector and the global coordinate system (longitude, latitude and And a targetless total station (200) for generating a three-dimensional absolute coordinate by using a vector of a height), and then transmitting the generated three-dimensional absolute coordinate to a slope displacement controller.
After converting the three-dimensional relative coordinates of the terrestrial lidar part obtained by connecting the terrestrial lidar part and the non-target total station part to the three-dimensional absolute coordinates transmitted from the non-target total station part, the DSM, Slope terrain displacement control module 300 for calculating the displacement amount of slope terrain through filtering, DEM, spatial grid analysis, and then displaying the calculated slope terrain displacement data on a monitor of a user terminal in a remote place through a wireless Internet network. Slope terrain displacement monitoring device through the treble surveying control of the ground lidar portion, mute target total station portion, slope slope displacement control module, characterized in that consisting of.
사각박스형상으로 이루어져 각 기기를 지지하고, 외압으로부터 각 기기를 보호하는 제1몸체부(110)와,
사면지형물을 바라보는 제1몸체부의 전면 일측에 위치되어, 사면지형물을 촬영해서 3차원 원시데이터를 생성시키는 디지털 카메라부(120)와,
디지털 카메라부 일측에 위치되어, 사면지형물쪽으로 근적외선 또는 가시광선 파장대의 레이저를 송신시키고, 사면지형물에서 반사되어 돌아오는 레이저를 수신하는 레이저 송·수신기(130)와,
레이저 송·수신기 일측에 위치되어, 디지털 카메라부로부터 촬영된 사면지형물에 대한 3차원 원시데이터와, 레이저 송·수신기로부터 측정된 3차원 상대좌표를 LCD 창에 출력시키는 LCD 패널부(140)와,
제1몸체부의 하단에 위치되어, 몸체부의 좌우 수평도를 팬(Fans)과 틸트(Tilt)를 하면서 안정하게 유지시키는 지지대(150)와,
일측이 제1몸체부 후단 일측에 형성된 USB 포트 및 RS-232통신케이블 접속포트와 연결되고, 타측이 사면지형 변위 제어모듈의 제1입력포트와 연결되어 측정된 3차원 상대좌표데이터와 3차원 원시데이터를 사면지형 변위 제어모듈로 전송시키는 제1 네트워크 케이블(160)이 포함되어 구성되는 것을 특징으로 하는 지상라이다부·무타켓토탈스테이션부·사면지형 변위 제어모듈의 트레블측량제어를 통한 사면지형 변위 모니터링장치.
The method of claim 1, wherein the ground lidar (LiDAR: Light Detection And Range) 100
A first body part 110 having a rectangular box shape for supporting each device and protecting each device from external pressure;
A digital camera unit 120 which is located on one side of the front surface of the first body part facing the topography, and photographs the topography to generate three-dimensional raw data;
A laser transmitter / receiver 130 positioned at one side of the digital camera unit and transmitting a laser in the near-infrared or visible light wavelength band to the slope terrain object, and receiving the laser reflected from the slope terrain surface;
An LCD panel 140 positioned at one side of the laser transmitter / receiver and outputting three-dimensional raw data of the slope terrain photographed by the digital camera unit and three-dimensional relative coordinates measured by the laser transmitter / receiver to the LCD window; ,
Located on the lower end of the first body portion, the support 150 for maintaining a horizontal horizontal degree of the body portion while maintaining the pan (Fans) and tilt (Tilt),
One side is connected to the USB port and the RS-232 communication cable connection port formed at one end of the first body part, and the other side is connected to the first input port of the slope type displacement control module, and the measured three-dimensional relative coordinate data and three-dimensional raw image. Slope topographic displacement through treble survey control of a ground lidar part, a targetless total station part, a slope topographic displacement control module, comprising a first network cable 160 for transmitting data to a slope topographic displacement control module Monitoring device.
사각박스형상으로 이루어져 각 기기를 지지하고, 외압으로부터 각 기기를 보호하는 제2몸체부(210)와,
제2몸체부의 전면 중앙 일측에 위치되어, 기능키 버튼에 의해 설정된 무타켓(Non Prism)모드로 구동되어 사면지형물에 대한 거리와, 사면지형물에 대한 각도를 측정하는 무타겟측정부(220)와,
제2몸체부 내부에 위치되어, 보정된 고도각과 수평각 그리고 수평거리{토탈스테이션에서 측정점 까지의 거리로 수평면(X-Y평면)에 투영된 거리} 측정점의 3차원 절대좌표(X,Y,Z)을 산출하는 3차원 절대좌표값산출부(230)와,
일측이 제2몸체부 후단 일측에 형성된 USB 포트 및 RS-232통신케이블 접속포트와 연결되고, 타측이 사면지형 변위 제어모듈의 제2입력포트와 연결되어 측정된 3차원 절대좌표데이터를 사면지형 변위 제어모듈로 전송시키는 제2 네트워크 케이블(240)이 포함되어 구성되는 것을 특징으로 하는 지상라이다부·무타켓토탈스테이션부·사면지형 변위 제어모듈의 트레블측량제어를 통한 사면지형 변위 모니터링장치.
The method of claim 1, wherein the targetless total station (Reflectless Totalstation) 200
A second body part 210 having a rectangular box shape to support each device and protecting each device from external pressure,
The non-target measuring unit 220, which is located at one side of the front center of the second body part and is driven in a non-prism mode set by a function key button, measures a distance to a slope feature and an angle to the slope feature. )Wow,
The 3D absolute coordinates (X, Y, Z) of the measuring points, which are located inside the second body, are corrected elevation angles, horizontal angles and horizontal distances (distance projected on the horizontal plane (XY plane) from the total station to the measuring point). 3D absolute coordinate value calculation unit 230 to calculate,
One side is connected to the USB port and RS-232 communication cable connection port formed at one end of the second body part, and the other side is connected to the second input port of the slope type displacement control module to measure the three-dimensional absolute coordinate data A slope-type displacement monitoring apparatus through treble surveying control of a ground lidar part, a targetless total station part, and a slope type displacement control module, comprising a second network cable 240 for transmitting to a control module.
지상라이다부로부터 입력된 3차원 상대좌표를 무타겟토탈스테이션부로부터 전달된 3차원 절대좌표를 참조하여, 3차원 절대좌표로 변환시키는 좌표변환부와,
사면지형물의 연속적인 기복변화를 수치적으로 모형화한 수치표면모형을 3차원 그리드모형으로 변환시키는 DSM(Digital Surface Model)부와,
3차원 원시데이터의 포인트 클라우드(점군) 데이터에 포함되어 있는 식생, 수목, 구조물을 제거하고 순수 지형만을 추출시키는 필터링부와,
필터링부로부터 추출된 순수 지형데이터를 입력받아 지형의 높이값을 추가해서 패스트타임에 따른 변환전 사면지형물의 3차원 그리드모형과, 변환후 사면지형물의 3차원 그리드모형으로 변환시키는 DEM(Digital Elevation Model)부와,
좌표변환부, DSM부, 필터링부, DEM부, 사면지형 변위량 데이터전송부이 연결되어 각 기기의 전반적인 동작을 제어하고, 그리드 연산자인 로컬 연산자 중 산술연산자를 통해 변환전 사면지형물의 3차원 그리드모형에다가 변환후 사면지형물의 3차원 그리드모형을 빼서 사면지형물의 변위량을 플러스값(+),마이스너스값(-),영값(0)으로 산출한 후 사면지형 변위량 데이터인 변위량 빈도 분포도데이터 및 횡단면도데이터를 생성시키는 공간그리드 연산제어부와,
공간그리드 연산제어부의 제어하에 구동되어, 사용자 단말기로 사면지형 변위량 데이터인 변위량 빈도 분포도데이터 및 횡단면도데이터를 전송시키는 사면지형 변위량 데이터전송부이 포함되어 구성되는 것을 특징으로 하는 지상라이다부·무타켓토탈스테이션부·사면지형 변위 제어모듈의 트레블측량제어를 통한 사면지형 변위 모니터링장치.
According to claim 1, wherein the slope type displacement control module
A coordinate conversion unit for converting the three-dimensional relative coordinates input from the terrestrial lidar unit into three-dimensional absolute coordinates by referring to the three-dimensional absolute coordinates transmitted from the non-target total station unit;
A digital surface model (DSM) unit for converting a numerical surface model that numerically models continuous ups and downs of slopes into a three-dimensional grid model;
A filtering unit which removes vegetation, trees, and structures included in the point cloud data of the 3D raw data and extracts only pure terrain;
DEM (Digital Elevation Model) converts the three-dimensional grid model of the sloped terrain before conversion and the three-dimensional grid model of the sloped terrain after conversion by adding the height value of the terrain by inputting the pure terrain data extracted from the filtering unit. )
Coordinate transformation unit, DSM unit, filtering unit, DEM unit, slope terrain displacement data transmission unit are connected to control the overall operation of each device, and through the arithmetic operators among the local operators, which are grid operators After the transformation, the three-dimensional grid model of the slope is subtracted to calculate the displacement of the slope as plus (+), minus (-), and zero (0), and then the displacement frequency distribution data and the cross-sectional data, which are the slope displacement data. A spatial grid operation control unit to generate,
A ground lidar part and a no-target total station, which are driven under the control of the spatial grid computational control unit and include a slope terrain displacement data transmission unit for transmitting displacement frequency distribution data and cross-sectional view data, which are slope terrain displacement data, to a user terminal. Slope Terrain Displacement Monitoring System by Treble Surveying Control of Sub-Slope Terrain Displacement Control Module.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110135152A KR101301453B1 (en) | 2011-12-15 | 2011-12-15 | The apparatus and method of monitoring with terrestrial lidar and reflectless totalstation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110135152A KR101301453B1 (en) | 2011-12-15 | 2011-12-15 | The apparatus and method of monitoring with terrestrial lidar and reflectless totalstation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130068224A KR20130068224A (en) | 2013-06-26 |
| KR101301453B1 true KR101301453B1 (en) | 2013-09-03 |
Family
ID=48863891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110135152A KR101301453B1 (en) | 2011-12-15 | 2011-12-15 | The apparatus and method of monitoring with terrestrial lidar and reflectless totalstation |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101301453B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105937879A (en) * | 2016-06-30 | 2016-09-14 | 嘉兴同禾传感技术有限公司 | Slope displacement and inclination angle monitoring device and method |
| CN112711033A (en) * | 2020-12-09 | 2021-04-27 | 中科视语(北京)科技有限公司 | Slope safety monitoring and early warning device and method |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11609336B1 (en) | 2018-08-21 | 2023-03-21 | Innovusion, Inc. | Refraction compensation for use in LiDAR systems |
| KR20160034719A (en) * | 2014-09-22 | 2016-03-30 | 한화테크윈 주식회사 | Lidar system |
| KR101876928B1 (en) * | 2016-04-11 | 2018-07-11 | 주식회사 비트센싱 | Structure deformation early monitoring system using radar and reflectors |
| KR101877388B1 (en) * | 2016-07-21 | 2018-07-11 | 엘지전자 주식회사 | Lidar apparatus for Vehicle |
| JP7088937B2 (en) | 2016-12-30 | 2022-06-21 | イノビュージョン インコーポレイテッド | Multi-wavelength rider design |
| US10942257B2 (en) | 2016-12-31 | 2021-03-09 | Innovusion Ireland Limited | 2D scanning high precision LiDAR using combination of rotating concave mirror and beam steering devices |
| US10969475B2 (en) | 2017-01-05 | 2021-04-06 | Innovusion Ireland Limited | Method and system for encoding and decoding LiDAR |
| US11009605B2 (en) | 2017-01-05 | 2021-05-18 | Innovusion Ireland Limited | MEMS beam steering and fisheye receiving lens for LiDAR system |
| WO2019079642A1 (en) | 2017-10-19 | 2019-04-25 | Innovusion Ireland Limited | Lidar with large dynamic range |
| KR101836926B1 (en) * | 2017-12-05 | 2018-04-19 | 한국지질자원연구원 | Trench section baseline setting device and trench section analysis method using the same |
| US11493601B2 (en) | 2017-12-22 | 2022-11-08 | Innovusion, Inc. | High density LIDAR scanning |
| US11675050B2 (en) | 2018-01-09 | 2023-06-13 | Innovusion, Inc. | LiDAR detection systems and methods |
| WO2019139895A1 (en) | 2018-01-09 | 2019-07-18 | Innovusion Ireland Limited | Lidar detection systems and methods that use multi-plane mirrors |
| WO2019164961A1 (en) | 2018-02-21 | 2019-08-29 | Innovusion Ireland Limited | Lidar systems with fiber optic coupling |
| US11391823B2 (en) | 2018-02-21 | 2022-07-19 | Innovusion, Inc. | LiDAR detection systems and methods with high repetition rate to observe far objects |
| WO2020013890A2 (en) | 2018-02-23 | 2020-01-16 | Innovusion Ireland Limited | Multi-wavelength pulse steering in lidar systems |
| US20190265339A1 (en) | 2018-02-23 | 2019-08-29 | Innovusion Ireland Limited | Distributed lidar systems |
| WO2019245614A2 (en) * | 2018-03-09 | 2019-12-26 | Innovusion Ireland Limited | Lidar safety systems and methods |
| US11789132B2 (en) | 2018-04-09 | 2023-10-17 | Innovusion, Inc. | Compensation circuitry for lidar receiver systems and method of use thereof |
| WO2019199775A1 (en) | 2018-04-09 | 2019-10-17 | Innovusion Ireland Limited | Lidar systems and methods for exercising precise control of a fiber laser |
| US11175677B2 (en) * | 2018-05-01 | 2021-11-16 | Continental Automotive Systems, Inc. | Tow vehicle and trailer alignment |
| CN112585492A (en) | 2018-06-15 | 2021-03-30 | 图达通爱尔兰有限公司 | LIDAR system and method for focusing a range of interest |
| KR102002904B1 (en) * | 2018-07-04 | 2019-07-24 | 주식회사 비트센싱 | Structure deformation early monitoring system using radar and reflectors |
| US11860316B1 (en) | 2018-08-21 | 2024-01-02 | Innovusion, Inc. | Systems and method for debris and water obfuscation compensation for use in LiDAR systems |
| US11579300B1 (en) | 2018-08-21 | 2023-02-14 | Innovusion, Inc. | Dual lens receive path for LiDAR system |
| US11614526B1 (en) | 2018-08-24 | 2023-03-28 | Innovusion, Inc. | Virtual windows for LIDAR safety systems and methods |
| US11796645B1 (en) | 2018-08-24 | 2023-10-24 | Innovusion, Inc. | Systems and methods for tuning filters for use in lidar systems |
| US11579258B1 (en) | 2018-08-30 | 2023-02-14 | Innovusion, Inc. | Solid state pulse steering in lidar systems |
| CN109458993B (en) * | 2018-10-12 | 2021-04-20 | 大连理工大学 | Landform instrument host based on integrated mainboard |
| DE112019005684T5 (en) | 2018-11-14 | 2021-08-05 | Innovusion Ireland Limited | LIDAR SYSTEMS AND METHODS USING A MULTI-FACET MIRROR |
| WO2020146493A1 (en) | 2019-01-10 | 2020-07-16 | Innovusion Ireland Limited | Lidar systems and methods with beam steering and wide angle signal detection |
| US11486970B1 (en) | 2019-02-11 | 2022-11-01 | Innovusion, Inc. | Multiple beam generation from a single source beam for use with a LiDAR system |
| KR102140973B1 (en) * | 2019-03-27 | 2020-09-14 | 주식회사 이에스피 | System for monitoring a collapse of mine pit using lidar |
| KR102210344B1 (en) * | 2020-07-09 | 2021-02-01 | 주식회사 우리아이씨티 | Method for producing digital topography using 3D precision scanner-based field survey and complementary survey |
| CN111968079B (en) * | 2020-07-28 | 2023-11-17 | 武汉光谷卓越科技股份有限公司 | Three-dimensional pavement crack extraction method based on local extremum of section and segmentation sparsity |
| US11740360B2 (en) * | 2020-11-02 | 2023-08-29 | Motional Ad Llc | Light detection and ranging (LiDaR) scan smoothing |
| US11921234B2 (en) | 2021-02-16 | 2024-03-05 | Innovusion, Inc. | Attaching a glass mirror to a rotating metal motor frame |
| US11422267B1 (en) | 2021-02-18 | 2022-08-23 | Innovusion, Inc. | Dual shaft axial flux motor for optical scanners |
| EP4260086A1 (en) | 2021-03-01 | 2023-10-18 | Innovusion, Inc. | Fiber-based transmitter and receiver channels of light detection and ranging systems |
| US11555895B2 (en) | 2021-04-20 | 2023-01-17 | Innovusion, Inc. | Dynamic compensation to polygon and motor tolerance using galvo control profile |
| US11614521B2 (en) | 2021-04-21 | 2023-03-28 | Innovusion, Inc. | LiDAR scanner with pivot prism and mirror |
| EP4305450A1 (en) | 2021-04-22 | 2024-01-17 | Innovusion, Inc. | A compact lidar design with high resolution and ultra-wide field of view |
| EP4314885A1 (en) | 2021-05-12 | 2024-02-07 | Innovusion, Inc. | Systems and apparatuses for mitigating lidar noise, vibration, and harshness |
| EP4314884A1 (en) | 2021-05-21 | 2024-02-07 | Innovusion, Inc. | Movement profiles for smart scanning using galvonometer mirror inside lidar scanner |
| US11768294B2 (en) | 2021-07-09 | 2023-09-26 | Innovusion, Inc. | Compact lidar systems for vehicle contour fitting |
| US11871130B2 (en) | 2022-03-25 | 2024-01-09 | Innovusion, Inc. | Compact perception device |
| CN114923520A (en) * | 2022-05-20 | 2022-08-19 | 广东中科如铁技术有限公司 | Automatic detection system of contact net |
| CN115797288B (en) * | 2022-11-30 | 2023-09-29 | 安徽开源路桥有限责任公司 | Method for calculating filling and excavating amount based on ground point cloud data |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100869571B1 (en) * | 2007-04-18 | 2008-11-21 | (주)바이텍코리아 | Steeped Slope Breakdown Sensing System and Sensing Method |
| KR101055419B1 (en) * | 2011-04-29 | 2011-08-09 | (주) 이우티이씨 | Topographic surveying method using terrestrial light detection and ranging |
-
2011
- 2011-12-15 KR KR1020110135152A patent/KR101301453B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100869571B1 (en) * | 2007-04-18 | 2008-11-21 | (주)바이텍코리아 | Steeped Slope Breakdown Sensing System and Sensing Method |
| KR101055419B1 (en) * | 2011-04-29 | 2011-08-09 | (주) 이우티이씨 | Topographic surveying method using terrestrial light detection and ranging |
Non-Patent Citations (2)
| Title |
|---|
| 김열, "지상 LiDAR를 이용한 사면변위 모니터링 기법", 석사학위논문, 관동대학교(2009.02) * |
| 박재국 외 3명, "지상라이다 자료를 이용한 자연사면의 변위 모니터링", 대한토목학회논문집, 제30권 제2D호, pp.191-198(2010.03) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105937879A (en) * | 2016-06-30 | 2016-09-14 | 嘉兴同禾传感技术有限公司 | Slope displacement and inclination angle monitoring device and method |
| CN105937879B (en) * | 2016-06-30 | 2018-07-20 | 嘉兴同禾传感技术有限公司 | A kind of slope displacement and tilt angle monitoring device and method |
| CN112711033A (en) * | 2020-12-09 | 2021-04-27 | 中科视语(北京)科技有限公司 | Slope safety monitoring and early warning device and method |
| CN112711033B (en) * | 2020-12-09 | 2022-02-18 | 中科视语(北京)科技有限公司 | Slope safety monitoring and early warning device and method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130068224A (en) | 2013-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101301453B1 (en) | The apparatus and method of monitoring with terrestrial lidar and reflectless totalstation | |
| Jaakkola et al. | A low-cost multi-sensoral mobile mapping system and its feasibility for tree measurements | |
| Nagai et al. | UAV-borne 3-D mapping system by multisensor integration | |
| KR101099484B1 (en) | The apparatus and method of 3d map modeling | |
| CN112147633A (en) | Power line safety distance detection method | |
| Avian et al. | LiDAR for monitoring mass movements in permafrost environments at the cirque Hinteres Langtal, Austria, between 2000 and 2008 | |
| Carvajal et al. | Surveying a landslide in a road embankment using unmanned aerial vehicle photogrammetry | |
| KR101027758B1 (en) | The apparatus and method of creation a dem and dsm | |
| Huang et al. | Unmanned aerial vehicle based remote sensing method for monitoring a steep mountainous slope in the Three Gorges Reservoir, China | |
| CN114444158B (en) | Underground roadway deformation early warning method and system based on three-dimensional reconstruction | |
| CN113418496A (en) | Slope deformation monitoring and early warning method and system and intelligent terminal | |
| Rossi et al. | Integration of multicopter drone measurements and ground-based data for landslide monitoring | |
| CN115762067B (en) | Landslide monitoring system based on laser point cloud and video data fusion | |
| CN115597659A (en) | Intelligent safety management and control method for transformer substation | |
| CN115127510A (en) | Triphibian three-dimensional unmanned multi-platform linkage landslide intelligent patrol system | |
| Gonçalves et al. | Monitoring Local Shoreline Changes by Integrating UASs, Airborne LiDAR, Historical Images and Orthophotos. | |
| Tamin et al. | Volume estimation of stockpile using unmanned aerial vehicle | |
| Riveiro et al. | Laser scanning technology: fundamentals, principles and applications in infrastructure | |
| Liu et al. | Close range digital photogrammetry applied to topography and landslide measurements | |
| KR102313178B1 (en) | Measuring method for ground settlement using drone | |
| Dreier et al. | The potential of UAV-based laser scanning for deformation monitoring. case study on a water dam | |
| Singh et al. | High resolution DEM generation for complex snow covered Indian Himalayan Region using ADS80 aerial push-broom camera: a first time attempt | |
| KR101406061B1 (en) | System for River Management | |
| Aziz et al. | Terrain slope analyses between terrestrial laser scanner and airborne laser scanning | |
| WO2022173285A1 (en) | Determining deformations of quay walls using a photogrammetric system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160728 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170816 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180820 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20190820 Year of fee payment: 7 |