KR101217186B1 - 구조물 변위 측정 시스템 및 방법 - Google Patents

구조물 변위 측정 시스템 및 방법 Download PDF

Info

Publication number
KR101217186B1
KR101217186B1 KR1020110122761A KR20110122761A KR101217186B1 KR 101217186 B1 KR101217186 B1 KR 101217186B1 KR 1020110122761 A KR1020110122761 A KR 1020110122761A KR 20110122761 A KR20110122761 A KR 20110122761A KR 101217186 B1 KR101217186 B1 KR 101217186B1
Authority
KR
South Korea
Prior art keywords
displacement
screen
laser
distance measuring
camera
Prior art date
Application number
KR1020110122761A
Other languages
English (en)
Inventor
명현
전해민
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020110122761A priority Critical patent/KR101217186B1/ko
Priority to PCT/KR2012/009857 priority patent/WO2013077623A1/ko
Application granted granted Critical
Publication of KR101217186B1 publication Critical patent/KR101217186B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Abstract

간단한 구조로 이루어지며 대형 구조물의 변위를 정확하게 측정하는 것이 가능하도록, 구조물의 한쪽에 배치되어 설치되는 스크린과, 구조물의 다른 쪽에 배치되어 설치되고 스크린을 향하여 레이저 빔을 조사하며 스크린과의 거리를 측정하는 3개 이상의 레이저거리측정센서와, 스크린을 촬영하여 측정 이미지를 생성하는 카메라와, 레이저거리측정센서를 제어하며 카메라로부터 입력되는 측정 이미지를 분석하여 구조물의 변위를 추정하는 제어부를 포함하는 구조물 변위 측정 시스템을 제공한다.

Description

구조물 변위 측정 시스템 및 방법 {Displacement Measurement System of Structure and Method of The Same}
본 발명은 구조물 변위 측정 시스템 및 방법에 관한 것으로, 더욱 상세하게는 비전 및 레이저거리측정센서를 이용하여 거대 구조물의 변위를 정밀하고 용이하게 측정할 수 있는 구조물 변위 측정 시스템 및 방법에 관한 것이다.
일반적으로 토목 또는 건축 구조물은 교통, 지진, 돌풍 등과 같은 지속적 또는 간헐적인 외부 하중에 노출되어 있으므로, 합리적이고 정확한 설계 시공도 중요하지만, 구조물의 사용성을 최적의 상태로 유지하면서 구조물의 수명을 연장시키기 위해서는 적절한 유지관리 업무가 매우 중요하다.
특히 최근에는 고층빌딩과 장대 교량과 같은 거대 구조물이 증가함에 따라, 교량, 건물 등과 같은 구조물의 동적 거동 상황을 측정, 분석 및 진단하여 구조물의 안정성을 향상시킬 수 있는 구조물 건전도 진단(Structural Health Monitoring)의 중요성이 더욱 커지고 있다.
상기 구조물 안전 진단 시스템은 구조물 손상 식별 방법, 데이터 획득 및 전송 방법 등과 같은 많은 기술들을 필요로 하며, 구조물 변위를 측정하기 위해 경사계, 가속도 센서, 스트레인 게이지, PZT 센서 등을 사용한다.
종래 구조물 변위 측정에 주로 사용되는 방법 중 하나는 직선형 가변 차동 변압기(Linear Variable Differential Transformer, LVDT) 방식으로, 하부에 안정적인 기준점(reference point)을 필요로 하는 접촉 형태의 센서를 사용하는 것이다. 그러나, 이러한 접촉 형태의 센서는 하부에 외부에서 관측하는 기준점을 필요로 하므로 실용적이지 않다.
그리고 비전(vision)을 이용한 변위 측정 방식 또한 활발히 연구되고 있는 분야 중 하나이지만, 현재 개발된 대부분의 비전 방식은 측정하고자 하는 구조물에 타깃을 설치하고 원거리의 기준점에서 고성능 카메라를 이용하여 타깃의 움직임을 관찰하는 방식으로서 이 방식 역시 기준점을 필요로 하고 타깃과 카메라 사이의 거리가 멀기 때문에 날씨에 영향을 많이 받아 측정이 어렵다는 문제가 있다.
따라서, 기준점이 필요 없으며 날씨, 조도와 같은 외부 환경 변화에 강인한 비전 및 레이저 기반의 구조물 변위 측정 장치 및 방법의 필요성이 커지고 있다.
대한민국 등록특허공보 제10-1029751호에는 비전 및 레이저 빔으로 구성된 모듈을 서로 마주보도록 설치하고, 획득된 레이저 빔의 좌표값을 이용하여 구조물의 변위를 측정하는 시스템 및 방법이 공개되어 있다.
본 발명은 대한민국 등록특허공보 제10-1029751호의 기술을 기반으로 보다 간단한 구조로 이루어지며 레이저거리측정센서와 스크린 사이의 거리를 측정하므로 구조물의 변위를 보다 정확하게 측정하는 것이 가능하도록 비전 및 레이저거리측정센서를 활용하여 구성한 구조물 변위 측정 시스템 및 방법을 제공하는 데, 그 목적이 있다.
본 발명의 실시예에 따른 구조물 변위 측정 시스템은 구조물의 한쪽에 배치되어 설치되는 스크린과, 구조물의 다른쪽에 배치되어 설치되고 상기 스크린을 향하여 레이저 빔을 조사하며 상기 스크린과의 거리를 측정하는 3개 이상의 레이저거리측정센서와, 상기 스크린을 촬영하여 측정 이미지를 생성하는 카메라와, 상기 레이저거리측정센서를 제어하며 상기 카메라로부터 입력되는 측정 이미지를 분석하여 구조물의 변위를 추정하는 제어부를 포함하여 이루어진다.
상기 카메라는 상기 스크린이 설치되는 위치와 동일한 거동을 보여주는 구조물의 위치에 설치하는 것도 가능하고, 상기 레이저거리측정센서가 설치되는 위치와 동일한 거동을 보여주는 구조물의 위치에 설치하는 것도 가능하다.
나아가 상기 카메라는 상기 스크린 및 레이저거리측정센서와 다른 위치의 구조물(예를 들면, 상기 스크린이 설치되는 위치 및 상기 레이저거리측정센서가 설치되는 위치와 다른 거동을 보여주는 구조물)에 설치하는 것도 가능하다.
상기 제어부는 상기 카메라를 통하여 입력되는 이미지의 상기 레이저거리측정센서로부터 조사된 레이저 포인트의 좌표값과 각 레이저거리측정센서의 거리값을 검출하고, 상기 스크린의 좌표계를 상기 레이저거리측정센서에 대한 좌표계로 변환하는 변환행렬을 이용하여 운동방정식을 생성하고 이를 이용하여 구조물의 변위를 추정하도록 이루어진다.
그리고 본 발명의 실시예에 따른 구조물 변위 측정 방법은, 구조물에 설치된 3개 이상의 각 레이저거리측정센서에서는 구조물의 다른 위치에 설치된 스크린을 향하여 레이저 빔을 조사하고 각 레이저거리측정센서와 스크린 사이의 거리값을 검출하여 제어부로 전송하고, 카메라에서는 레이저 빔이 조사되는 스크린의 이미지를 촬영하여 측정 이미지로 상기 제어부로 전송하고, 상기 제어부에서는 상기 카메라로부터 입력되는 촬영된 이미지로부터 조사된 각 레이저 포인트의 좌표값을 검출하고, 상기 제어부에서는 검출된 거리값과 좌표값을 이용하여 스크린과 레이저거리측정센서 사이의 상대적인 변위를 추정하는 과정을 포함하여 이루어진다.
상기 제어부에서는 초기 옵셋 교정을 위한 교정행렬을 이용하여 추정한 변위를 교정하는 과정을 추가로 진행하는 것도 가능하다.
본 발명의 실시예에 따른 구조물 변위 측정 시스템 및 방법에 의하면, 기본적으로 3개의 레이저 포인트의 좌표값 뿐만 아니라 거리값도 이용하여 구조물의 변위를 추정하므로, X, Y, Z 각 축방향의 선형변위, 각 축의 회전변위를 측정할 수 있다.
그리고 본 발명의 실시예에 따른 구조물 변위 측정 시스템 및 방법에 의하면, 기본적으로 3개의 레이저거리측정센서와 스크린, 카메라를 하나의 세트로 구성하여 변위를 측정하는 것이 가능하므로, 기본적으로 2개의 측정모듈을 필요로 하는 종래 기술에 비하여 간단한 구조이며, 레이저거리측정센서와 스크린 사이의 거리를 측정하여 사용하므로로 정확한 변위를 추정하는 것이 가능하다.
본 발명의 실시예에 따른 구조물 변위 측정 시스템 및 방법에 의하면, 레이저거리측정센서를 4개 이상으로 구현하는 경우에는 한정된 6개의 변수에 대하여 측정값의 수가 많아지므로, 보다 빠르고 정확한 변위 추정이 가능하다.
도 1은 본 발명의 일실시예에 따른 구조물 변위 측정 시스템을 개념적으로 나타내는 사시도이다.
도 2는 본 발명의 다른 실시예에 따른 구조물 변위 측정 시스템을 개념적으로 나타내는 사시도이다.
도 3은 본 발명의 일실시예에 따른 구조물 변위 측정 시스템을 개념적으로 나타내는 블럭도이다.
도 4는 본 발명의 또 다른 실시예에 따른 구조물 변위 측정 방법을 개념적으로 나타내는 순서도이다.
도 5는 본 발명의 일실시예에 따른 구조물 변위 측정 시스템을 적용하여 본 발명의 또 다른 실시예에 따른 구조물 변위 측정 방법으로 구조물 변위를 추정하는 경우의 측정 성능을 시뮬레이션한 결과를 나타내는 그래프이다.
도 6은 도 5와 동일한 조건에서 노이즈를 부가하여 시뮬레이션한 결과를 나타내는 그래프이다.
다음으로 본 발명에 따른 구조물 변위 측정 시스템 및 방법의 바람직한 실시예를 도면을 참조하여 상세하게 설명한다. 본 발명은 여러가지 다양한 형태로 구현하는 것이 가능하며, 이하에서 설명하는 실시예들에 한정되지 않는다.
이하에서는 본 발명을 명확하게 설명하기 위해서 본 발명과 밀접한 관계가 없는 부분은 상세한 설명을 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이고, 반복적인 설명을 생략한다.
먼저 본 발명의 일실시예에 따른 구조물 변위 측정 시스템은 도 1 및 도 3에 나타낸 바와 같이, 스크린(10)과, 3개의 레이저거리측정센서(20)와, 카메라(30)와, 제어부(50)를 포함하여 이루어진다.
상기 스크린(10)은 구조물(도면에 나타내지 않음)의 한쪽에 배치되어 설치된다.
상기 3개의 레이저거리측정센서(20)는 상기 스크린(10)을 향하여 레이저 빔을 조사할 수 있도록 상기 스크린(10)과 마주하는 구조물의 다른쪽에 배치되어 설치된다.
상기 레이저거리측정센서(20)는 상기 스크린(10)과의 거리를 측정하도록 구성된다.
상기 레이저거리측정센서(20)는 3개를 기본 세트로 구성하여 설치하며, 필요에 따라 4개 이상을 하나의 세트로 구성하여 설치하는 것도 가능하다.
상기 카메라(30)는 상기 스크린(10)을 촬영하여 측정 이미지를 생성하도록 구성한다.
상기 스크린(10)에는 상기 카메라(30)로 촬영하여 측정 이미지를 생성하는 경우에 각 측정 이미지를 서로 정확한 위치 및 화면 크기로 규격화하여 대비할 수 있도록 복수의 기준점을 표시하는 것도 가능하다.
예를 들면, 카메라(30)의 줌인이 일정하지 않아 생성된 측정 이미지의 크기가 서로 다른 경우나 흔들림이 발생한 경우에도 복수의 기준점이 일치하도록 측정 이미지를 보정하는 것에 의하여 서로 대비하여 정확하게 분석하는 것이 가능하도록 구성하는 것도 가능하다.
상기 카메라(30)는 도 1에 나타낸 바와 같이, 상기 스크린(10)이 설치되는 위치와 동일한 거동을 보여주는 구조물의 위치에 설치한다.
예를 들면, 도면에 나타내지 않았지만, 상기 스크린(10)의 테두리를 구성하는 프레임에 브라켓을 일체로 고정 설치하고, 상기 브라켓에 카메라(30)를 설치하는 것도 가능하다.
상기 카메라(30)는 도 2에 나타낸 바와 같이, 상기 레이저거리측정센서(20)가 설치되는 위치와 동일한 거동을 보여주는 구조물의 위치에 설치하는 것도 가능하다.
나아가 상기 카메라(30)는 상기 스크린(10) 및 레이저거리측정센서(20)와 다른 위치의 구조물에 설치하는 것도 가능하다. 예를 들면, 상기 카메라(30)는 상기 스크린(10)이 설치되는 위치 및 상기 레이저거리측정센서(20)가 설치되는 위치와 다른 거동을 보여주는 구조물에 설치하는 것도 가능하다.
상기 제어부(50)는 상기 카메라(30) 및 상기 레이저거리측정센서(20)와 연결되어 상기 레이저거리측정센서(20)로부터 측정된 거리값과 상기 카메라(30)로부터 측정 이미지를 입력 받도록 구성한다.
상기 제어부(50)는 상기 레이저거리측정센서(20)를 제어하기 위한 제어신호를 전송하도록 구성한다.
상기 제어부(50)는 상기 카메라(30)를 제어하기 위한 제어신호를 전송하도록 구성하는 것도 가능하다.
상기 제어부(50)는 상기 카메라(30)로부터 입력되는 측정 이미지를 분석하여 구조물의 변위를 추정하도록 구성한다.
예를 들면, 상기 제어부(50)는 상기 카메라(30)를 통하여 입력되는 측정 이미지의 상기 레이저거리측정센서(20)로부터 조사된 레이저 포인트의 좌표값과 각 레이저거리측정센서(20)의 거리값을 검출하고, 상기 스크린의 좌표계를 레이저거리측정센서에 대한 좌표계로 변환하는 변환행렬을 이용하여 운동방정식을 생성하고, 이를 이용하여 구조물의 변위를 추정한다..
상기 제어부(50)는 초기 옵셋 교정을 위한 교정행렬을 이용하여 상기와 같은 과정을 거쳐 추정한 변위를 교정하도록 구성하는 것이 바람직하다.
상기 측정 이미지는 상기 레이저거리측정센서(20)를 작동시켜 조사된 레이저 빔이 상기 스크린(10)에 맺힌 레이저 포인트를 촬영한 이미지이다.
따라서 상기 측정 이미지에는 하나의 세트로 구성되어 설치된 상기 레이저거리측정센서(20)의 수에 대응하는 수의 레이저 포인트가 표시된다.
상기 측정 이미지의 레이저 포인트는 구조물에 변형이 발생하게 되면, 레이저거리측정센서(20)의 설치 위치로부터 투영된 레이저 포인트의 위치에서 이동된 위치에 표시되며, 이러한 레이저 포인트의 이동량을 분석하여 구조물의 변위를 추정하게 된다.
다음으로 상기와 같이 구성되는 본 발명의 일실시예에 따른 구조물 변위 측정 시스템을 적용하여 얻어진 측정 이미지를 활용하여 구조물의 변위를 추정하는 본 발명의 또 다른 실시예에 따른 구조물 변위 측정 방법에 대하여 설명한다.
먼저 본 발명의 또 다른 실시예에 따른 구조물 변위 측정 방법은, 도 3 및 도 4에 나타낸 바와 같이, 구조물에 설치된 각 레이저거리측정센서(20)에서는 구조물의 다른 위치에 설치된 스크린(10)을 향하여 레이저 빔을 조사한다(S10).
그리고 상기 각 레이저거리측정센서(20)는 각 레이저거리측정센서(20)와 스크린(10) 사이의 거리값을 검출하여 상기 제어부(50)로 전송한다(S20).
상기 카메라(30)에서는 상기 레이저거리측정센서(20)의 레이저 빔이 조사되는 스크린(10)의 이미지를 촬영하여 측정 이미지로 상기 제어부(50)로 전송한다(S30).
상기 제어부(50)에서는 상기 카메라(30)로부터 입력되는 촬영된 측정 이미지로부터 조사된 각 레이저 포인트의 좌표값을 검출한다(S40).
그리고, 상기 레이저 빔을 방출하고 스크린(10)의 이미지를 촬영하고 레이저 포인트의 좌표값과 거리값을 검출하는 과정(S10 내지 S40)을 반복하여 수행한다.
상기 제어부(50)의 제어신호를 통하여 상기 레이저거리측정센서(20)와 카메라(30)을 작동을 제어하도록 자동 검출 시스템을 구현하는 것도 가능하다.
상기 제어부(50)에서는 검출된 거리값과 좌표값을 이용하여 구조물의 변위를 추정한다(S50).
예를 들면, 상기 측정 이미지의 좌표값과 거리값인 측정 데이터(M)는 다음의 수학식 1과 같이 나타내어진다.
Figure 112011092756960-pat00001
상기 수학식 1에 있어서, AO1x는 3개의 레이저거리측정센서(20) 중에서 1번 레이저거리측정센서(20)로부터 조사된 레이저 빔에 의해 스크린(10)에 형성된 1번 레이저 포인트(AO1)의 X축 방향 좌표값이고, AO1y는 1번 레이저거리측정센서(20)로부터 조사된 레이저 빔에 의해 스크린(10)에 형성된 1번 레이저 포인트(AO1)의 Y축 방향 좌표값이고, AO2x는 2번 레이저거리측정센서(20)로부터 조사된 레이저 빔에 의해 스크린(10)에 형성된 2번 레이저 포인트(AO2)의 X축 방향 좌표값이고, AO2y는 2번 레이저거리측정센서(20)로부터 조사된 레이저 빔에 의해 스크린(10)에 형성된 2번 레이저 포인트(AO2)의 Y축 방향 좌표값이고, AO3x는 3번 레이저거리측정센서(20)로부터 조사된 레이저 빔에 의해 스크린(10)에 형성된 3번 레이저 포인트(AO3)의 X축 방향 좌표값이고, AO3y는 3번 레이저거리측정센서(20)로부터 조사된 레이저 빔에 의해 스크린(10)에 형성된 3번 레이저 포인트(AO3)의 Y축 방향 좌표값이고, dist1은 3개의 레이저거리측정센서(20) 중에서 1번 레이저거리측정센서(20)와 스크린(10) 사이의 거리값이고, dist2는 2번 레이저거리측정센서(20)와 스크린(10) 사이의 거리값이고, dist3은 3번 레이저거리측정센서(20)와 스크린(10) 사이의 거리값이다.
상기에서 각 레이저 포인트의 X축 방향 및 Y축 방향 좌표값은 카메라(30)로 촬영한 측정 이미지를 상기 제어부(50)에서 좌표 원점(0,0)을 일치화시킨 상태에서 각 레이저 포인트의 좌표값을 판독하여 구한다.
상기에서 각 거리값은 각 레이저거리측정센서(20)에서 측정한 값을 상기 제어부(50)로 전송하여 사용한다.
상기와 같이 얻어지는 측정 데이터(M)의 각 좌표값과 거리값을 이용하여 추정한 구조물의 변위(P)은 다음의 수학식 2와 같이 6자유도(6-DOF) 변위로 나타내어진다.
Figure 112011092756960-pat00002
상기 수학식 2에 있어서, x,y,z는 스크린(10)이 설치된 면의 좌표계(∑A)와 레이저거리측정센서(20)가 설치된 면의 좌표계(∑B) 사이의 각 X축, Y축, Z축에 따른 선형 변위(translational displacement)를 나타내고, θ, φ, ψ는 스크린(10)이 설치된 면의 좌표계(∑A)와 레이저거리측정센서(20)가 설치된 면의 좌표계(∑B) 사이의 각 X축, Y축, Z축에 따른 회전 변위(rotational displacement)를 나타낸다.
상기에서 구조물의 변위는 스크린(10)이 설치된 면의 좌표계(∑A)와 레이저거리측정센서(20)가 설치된 면의 좌표계(∑B) 사이의 상대적인 변위를 의미한다.
그리고 측정 데이터(M)와 구조물 변위(P) 사이의 기하학적 관계를 나타내는 운동방정식(Kinematics Equation)은 다음의 수학식 3과 같이 나타낼 수 있다.
Figure 112011092756960-pat00003
상기 운동방정식(F(P))을 풀기 위해, 레이저거리측정센서(20)가 설치된 면의 좌표계(∑B)로부터 스크린(10)이 설치된 면의 좌표계(∑A)로 좌표를 변환하는 다음의 수학식 4에 나타낸 바와 같은 변환행렬(ATB)을 사용한다.
Figure 112011092756960-pat00004
상기 수학식 4에 있어서, T(x,y,z)는 X축, Y축 및 Z축에 대한 선형 변환행렬(Translational Transformation Matrix)을 나타내고, Rx(θ)는 X축에 대한 회전 변환행렬(Rotational Transformation Matrix)을 나타내고, Ry(φ)는 Y축에 대한 회전 변환행렬을 나타내고, Rz(ψ)는 Z축에 대한 회전 변환행렬을 나타낸다.
상기 스크린(10)에 맺힌 각 레이저 포인트의 위치(AO1, AO2, AO3)는 상기 수학식 4를 이용하여 각각 다음의 수학식 5, 수학식 6, 수학식 7로부터 산출하는 것이 가능하다.
Figure 112011092756960-pat00005
Figure 112011092756960-pat00006
Figure 112011092756960-pat00007
상기 수학식 5 내지 7에 있어서, ZAB는 레이저거리측정센서(20)가 설치된 면으로부터 스크린(10)이 설치된 면까지의 거리를 나타내고, L은 스크린(10)의 중심점으로부터 레이저의 오프셋(offset) 거리를 나타내고, BTB'는 레이저거리측정센서(20)가 설치된 면의 회전 변환행렬을 나타낸다.
상기에서 BTB'는 레이저거리측정센서(20)가 일정 크기의 스크린(10)을 벗어나지 않게 하기 위하여 레이저거리측정센서(20)의 움직임을 제어하는 기구부를 이용할 수 있는데, 이 기구부의 움직임을 나타낸다.
그리고 상기 각 레이저거리측정센서(20)와 스크린(10) 사이의 거리(disti)는 다음의 수학식 8과 같이 나타낼 수 있다.
Figure 112011092756960-pat00008
상기와 같이 과정을 거쳐 얻어지거나 레이저거리측정센서(20)로부터 얻어지는 거리값, 레이저 포인트의 좌표값, 레이저거리측정센서(20)가 설치된 면의 회전각 등을 사용하여 상기 수학식 1의 측정 데이터(M)를 구하는 것이 가능하다.
상기 수학식 1 및 수학식 3에 나타낸 측정 데이터(M)의 운동방정식을 구하는 것이 가능하다.
상기 수학식 1 및 수학식 3에 나타낸 측정 데이터(M)의 운동방정식은 다음의 수학식 9와 같이 나타내어지는 뉴튼-랩슨 기법(Newton-Raphson Method)을 반복 적용하면, 상기 수학식 2의 구조물 변위 p=[x,y,z,θ,φ,ψ]를 추정하는 것이 가능하다.
Figure 112011092756960-pat00009
상기 수학식 9에 있어서, Jp(= ∂M/∂p)는 운동방정식 M의 야코비안(야코비 함수:Jacobian)를 나타내고, J+ p 는 야코비안의 의사 역행렬(pseudo-inverse)을 나타내고,
Figure 112011092756960-pat00010
는 M에 의해 추정된 레이저 포인트의 위치들을 나타내고, m(k)는 실제 관측된 레이저 포인트의 위치들을 나타낸다.
상기 뉴튼-랩슨 기법 이외에도 EKF(Extended Kalman Filtering) 기법 등의 다양한 반복 계산 기법을 적용하여 변위 p=[x,y,z,θ,φ,ψ]를 추정하는 것도 가능하다.
상기 제어부(50)에서는 초기 옵셋 교정을 위한 교정행렬을 이용하여 상기와 같은 과정을 거쳐 추정한 변위를 교정하는 과정을 추가로 진행하는 것도 가능하다.
다음으로 상기 초기 옵셋 교정을 위한 교정행렬을 이용하는 과정인 초기 변위(Initial Deformation)에 의한 옵셋을 교정하는 방법에 대해 상세히 설명한다.
먼저, 초기 옵셋 교정을 위해, 초기 변위 p0=[x0,y0,z0,θ0,φ0,ψ0]T를 계산하고, 이를 이용하여 교정행렬(Calibration Matrix)을 생성하는데, 교정 행렬 ATcal은 다음의 수학식 10과 같다.
Figure 112011092756960-pat00011
상기 수학식 10에 있어서, T(x0, y0, z0)은 X, Y 및 Z축에 대한 선형 변환행렬(Translational Transformation Matrix)을 나타내고, Rx(θ0)은 X축에 대한 회전 변환행렬(Rotational Transformation Matrix)을 나타내고, Ry(θ0)은 Y축에 대한 회전 변환행렬을 나타내고, Rz(ψ0)은 Z축에 대한 회전 변환행렬을 나타낸다.
그리고, 다음의 수학식 11과 같이 교정행렬 ATcal의 역행렬을 변환행렬 ATB에 곱하여, 교정된 변환행렬 Tnew를 획득한다.
Figure 112011092756960-pat00012
상기와 같이 교정된 변환행렬 Tnew를 이용하면 초기 옵셋이 교정된 변위 pnew를 획득하는 것이 가능하며, 교정된 변위 pnew=[x',y',z',θ',φ',ψ']는 다음의 수학식 12와 같이 Tnew의 원소들을 이용하여 표현가능하다.
Figure 112011092756960-pat00013
상기 제어부(50)에서는 수학식 3에 나타난 운동방정식 M을 이용하여 상기한 수학식 9에 나타난 뉴튼-랩슨 기법을 반복 적용함으로서, 변위 p=[x,y,z,θ,φ,ψ]를 추정하게 된다. 뿐만 아니라, 상기 제어부(50)에서는 EKF 기법에 적용하여 변위 p=[x,y,z,θ,φ,ψ]를 추정하는 것도 가능하다.
그리고, 제어부(50)는 교정행렬 ATcal을 상기한 수학식 11에 대입하여 교정된 변환행렬 Tnew를 획득하고, 교정된 변환행렬 Tnew를 이용하여, 수학식 12와 같이 초기 옵셋이 교정된 변위 pnew=[x',y',z',θ',φ',ψ']를 획득한다.
도 5 및 도 6에는 본 발명의 일실시예에 따른 구조물 변위 측정 시스템의 구조물 변위에 대한 측정 성능을 시뮬레이션한 결과를 나타낸다.
시뮬레이션에 있어서, 스크린(10)의 중심점으로부터 레이저거리측정센서(20)의 옵셋 거리(L)는 L=0.5로 설정하여 수행한다.
도 5에 나타낸 뉴튼-랩슨 기법을 적용한 시뮬레이션 결과를 보면, 추정된 구조물 변위가 비교적 짧은 시간 안에 실제 구조물 변위에 수렴함을 확인할 수 있다.
도 5의 시뮬레이션에 있어서, 구조물 변위의 실제값은 (x,y,z,θ,φ,ψ)=(0.1, -0.1, 10, 0.05, 0.2, -0.1)이다.
도 5에 있어서, 실선은 실제값을 나타내고, 점선은 추정 변위를 나타낸다.
도 6에는 측정값에 [-0.005 0.005]의 노이즈를 부가한 경우에 뉴튼-랩슨 기법을 적용한 시뮬레이션 결과를 나타낸다.
도 6의 결과를 보면, 노이즈가 있는 경우에도 추정 변위가 실제값에 수렴하는 것을 확인할 수 있다.
도 6의 시뮬레이션에 있어서도, 구조물 변위의 실제값은 (x,y,z,θ,φ,ψ)=(0.1, -0.1, 10, 0.05, 0.2, -0.1)이다.
또 도 6에 있어서도, 실선은 실제값을 나타내고, 점선은 추정 변위를 나타낸다.
상기에서는 본 발명의 실시예를 구조물의 한쪽에 설치되는 3개 이상의 레이저거리측정센서(20)와, 구조물의 다른쪽에 설치되는 스크린(10)과 카메라(30)를 하나의 세트로 구성하는 시스템에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고, 레이저거리측정센서(20)가 설치되는 쪽에도 스크린(10)과 카메라(30)를 설치하고 스크린(10)과 카메라(30)를 설치하는 쪽에도 레이저거리측정센서(20)를 설치하는 2개의 시스템을 하나의 세트로 구성하는 것도 가능하다.
상기와 같이 2개의 시스템을 서로 대응하여 설치하는 경우에는, 2개의 스크린(10)으로부터 측정 이미지를 얻는 것이 가능하므로, 상호 보완하는 것이 가능하고, 오차의 보정이 가능하므로, 정확도를 크게 향상시키는 것이 가능하다.
그리고 본 발명의 실시예에 따른 구조물 변위 측정 방법에 있어서, 구조물에 설치된 3개 이상의 각 레이저거리측정센서(20)에서는 구조물의 다른 위치에 설치된 스크린(10)을 향하여 레이저 빔을 조사하고 각 레이저거리측정센서(20)와 스크린(10) 사이의 거리값을 검출하여 제어부(50)로 전송하고, 카메라(30)에서는 레이저 빔이 조사되는 스크린(10)의 이미지를 촬영하여 측정 이미지로 상기 제어부(50)로 전송하고, 상기 제어부(50)에서는 상기 카메라(30)로부터 입력되는 촬영된 이미지로부터 조사된 각 레이저 포인트의 좌표값을 검출하고, 상기 레이저 빔을 방출하고 스크린(10)의 이미지를 촬영하고 레이저 포인트의 좌표값과 거리값을 검출하는 과정을 반복하여 수행하고, 상기 제어부(50)에서는 실시간으로 검출되는 측정 이미지의 좌표값과 거리값을 이용하여 구조물의 변위를 추정하는 과정을 수행할 수 있도록 프로그램을 제작하고, 이 프로그램을 컴퓨터로 읽을 수 있는 기록매체(예를 들면, 하드디스크, CD, DVD, USB 메모리 등의 다양한 저장장치)에 수록하는 방식으로 본 발명을 실시하는 것도 가능하다.
나아가 상기 프로그램을 인터넷이나 인트라넷 등의 통신 네트워크망을 통하여 다운로드 받을 수 있도록 구성하여 본 발명을 실시하는 것도 가능하다.
상기에서는 본 발명에 따른 구조물 변위 측정 시스템 및 방법의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 명세서 및 첨부한 도면의 범위 안에서 여러가지로 변형하여 실시하는 것이 가능하고, 이 또한 본 발명의 범위에 속한다.
10 - 스크린, 20 - 레이저거리측정센서, 30 - 카메라, 50 - 제어부

Claims (10)

  1. 구조물의 한쪽에 배치되어 설치되는 스크린과,
    구조물의 다른쪽에 배치되어 설치되고 상기 스크린을 향하여 레이저 빔을 조사하며 상기 스크린과의 거리를 측정하는 3개 이상의 레이저거리측정센서와,
    상기 스크린을 촬영하여 측정 이미지를 생성하는 카메라와,
    상기 레이저거리측정센서를 제어하며 상기 카메라로부터 입력되는 측정 이미지를 분석하여 구조물의 변위를 추정하는 제어부를 포함하는 구조물 변위 측정 시스템.
  2. 청구항 1에 있어서,
    상기 카메라는 상기 스크린이 설치되는 위치와 동일한 거동을 보여주는 구조물의 위치에 설치하는 구조물 변위 측정 시스템.
  3. 청구항 1에 있어서,
    상기 카메라는 레이저거리측정센서가 설치되는 위치와 동일한 거동을 보여주는 구조물의 위치에 설치하는 구조물 변위 측정 시스템.
  4. 청구항 1에 있어서,
    상기 카메라는 상기 스크린이 설치되는 위치 및 레이저거리측정센서가 설치되는 위치와 다른 거동을 보여주는 제3의 구조물에 설치하는 구조물 변위 측정 시스템.
  5. 청구항 1에 있어서,
    상기 제어부는 상기 카메라를 통하여 입력되는 이미지의 상기 레이저거리측정센서로부터 조사된 레이저 포인트의 좌표값과 각 레이저거리측정센서의 거리값을 검출하고, 검출된 거리값과 좌표값으로 상기 스크린의 좌표계를 레이저거리측정센서의 좌표계로 변환하는 변환행렬을 이용하여 운동방정식을 생성하고 이를 이용하여 구조물의 변위를 추정하도록 이루어지는 구조물 변위 측정 시스템.
  6. 청구항 5에 있어서,
    상기 제어부는 추정된 구조물의 변위를 초기 옵셋 교정을 위한 교정행렬을 이용하여 다시 교정한 다음 구조물의 변위를 출력하도록 이루어지는 구조물 변위 측정 시스템.
  7. 구조물에 설치된 3개 이상의 각 레이저거리측정센서에서는 구조물의 다른 위치에 설치된 스크린을 향하여 레이저 빔을 조사하고 각 레이저거리측정센서와 스크린 사이의 거리값을 검출하여 제어부로 전송하고,
    카메라에서는 레이저 빔이 조사되는 스크린의 이미지를 촬영하여 측정 이미지로 상기 제어부로 전송하고,
    상기 제어부에서는 상기 카메라로부터 입력되는 촬영된 이미지로부터 조사된 각 레이저 포인트의 좌표값을 검출하고,
    상기 레이저 빔을 방출하고 스크린의 이미지를 촬영하고 레이저 포인트의 좌표값과 거리값을 검출하는 과정을 반복하여 수행하고,
    상기 제어부에서는 실시간으로 검출되는 측정 이미지의 좌표값과 거리값을 이용하여 구조물의 변위를 추정하는 과정을 포함하는 구조물 변위 측정 방법.
  8. 청구항 7에 있어서,
    상기 제어부에서 구조물의 변위를 추정하는 단계에서는 측정 이미지에서 각 레이저 포인트의 x,y 좌표값과 각 레이저거리측정센서로부터 입력되는 거리값과 구조물 변위 사이의 기하학적 관계를 나타내는 운동방정식을 생성하고, 상기 운동방정식을 풀기 위해 레이저거리측정센서가 설치된 면의 좌표계로부터 스크린이 설치된 면의 좌표계로 좌표를 변환하는 변환행렬을 사용하는 구조물 변위 측정 방법.
  9. 청구항 8에 있어서,
    상기 운동방정식에 뉴튼-랩슨 기법(Newton-Raphson Method) 또는 EKF(Extended Kalman Filtering) 기법을 반복 적용하여 구조물의 변위를 추정하는 구조물 변위 측정 방법.
  10. 청구항 8에 있어서,
    상기 제어부에서 구조물의 변위를 추정하는 단계에서는 초기 옵셋 교정을 위한 교정행렬을 이용하여 추정한 변위를 교정하는 과정을 추가로 진행하는 구조물 변위 측정 방법.
KR1020110122761A 2011-11-23 2011-11-23 구조물 변위 측정 시스템 및 방법 KR101217186B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110122761A KR101217186B1 (ko) 2011-11-23 2011-11-23 구조물 변위 측정 시스템 및 방법
PCT/KR2012/009857 WO2013077623A1 (ko) 2011-11-23 2012-11-21 구조물 변위 측정 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110122761A KR101217186B1 (ko) 2011-11-23 2011-11-23 구조물 변위 측정 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101217186B1 true KR101217186B1 (ko) 2013-01-02

Family

ID=47840921

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110122761A KR101217186B1 (ko) 2011-11-23 2011-11-23 구조물 변위 측정 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101217186B1 (ko)
WO (1) WO2013077623A1 (ko)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103471519A (zh) * 2013-09-27 2013-12-25 国家电网公司 一种应用无棱镜光电全站仪测量输变电塔架变形的方法
CN104634267A (zh) * 2015-01-09 2015-05-20 河南省特种设备安全检测研究院 一种桥门式起重机上拱度测量方法及配套测量装置
KR20150083190A (ko) * 2014-01-09 2015-07-17 주식회사 텔릿와이어리스솔루션즈 위치 값 계산장치 및 방법
KR101573641B1 (ko) 2014-11-28 2015-12-02 한국과학기술원 6자유도 구조물 변위 측정 시스템 및 방법
KR20180049395A (ko) * 2016-11-01 2018-05-11 한국해양대학교 산학협력단 비가시광 적외선 다점 레이저빔과 적외선 카메라 영상기반 물체의 3차원 미세진동 측정에 의한 음원 진단 방법 및 장치
KR101932386B1 (ko) * 2018-07-02 2018-12-24 이근학 프레임 불량 검측장치 및 검측방법
CN109855538A (zh) * 2019-03-18 2019-06-07 湘潭大学 一种自动量测结构构件几何初始缺陷的装置及方法
KR20190081052A (ko) * 2017-12-29 2019-07-09 김용민 교량 안전진단 기능을 갖는 교좌장치
KR102230397B1 (ko) 2020-06-15 2021-03-22 반석안전주식회사 변형률 및 가속도값에 기반한 구조물의 변위 추정방법
KR102237753B1 (ko) 2020-09-28 2021-04-08 (유) 지제이 피사체의 형상 변경 감시 시스템 및 그 방법
CN112731440A (zh) * 2020-12-25 2021-04-30 中国铁道科学研究院集团有限公司 高速铁路边坡形变检测方法及装置
KR102271251B1 (ko) * 2020-11-11 2021-06-30 탄탄안전 주식회사 영상처리기반 비접촉식 구조물 변위 측정 시스템 및 방법
KR20210083775A (ko) * 2019-12-27 2021-07-07 한국전력공사 자유진동에서 동적특성 예측 방법 및 이를 이용한 동적특성 예측 장치
KR20210157747A (ko) 2020-06-22 2021-12-29 중앙대학교 산학협력단 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법
CN113916136A (zh) * 2021-11-19 2022-01-11 招商局重庆交通科研设计院有限公司 一种基于无人机航拍的高耸结构动位移测量方法
KR102412734B1 (ko) * 2021-12-27 2022-06-24 (주)위드이앤오 교량 장기 처짐 측정 장치
KR20230156866A (ko) 2022-05-06 2023-11-15 중앙대학교 산학협력단 레이저 구조광 지그, 및 그 구조광 지그를 이용한 구조물 변위 측정시스템 및 보정방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870285B (zh) * 2021-09-29 2022-05-20 深圳大学 一种集成北斗和视觉的基础设施结构形变测量方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100621065B1 (ko) 2003-09-24 2006-09-08 이제선 구조물의 변위측정 시스템
JP2008014882A (ja) 2006-07-07 2008-01-24 Univ Of Miyazaki 三次元計測装置
KR20100103928A (ko) * 2009-03-16 2010-09-29 한국과학기술원 구조물 변위 측정 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100621065B1 (ko) 2003-09-24 2006-09-08 이제선 구조물의 변위측정 시스템
JP2008014882A (ja) 2006-07-07 2008-01-24 Univ Of Miyazaki 三次元計測装置
KR20100103928A (ko) * 2009-03-16 2010-09-29 한국과학기술원 구조물 변위 측정 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문.2011

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103471519B (zh) * 2013-09-27 2016-09-07 国家电网公司 一种应用无棱镜光电全站仪测量输变电塔架变形的方法
CN103471519A (zh) * 2013-09-27 2013-12-25 国家电网公司 一种应用无棱镜光电全站仪测量输变电塔架变形的方法
KR20150083190A (ko) * 2014-01-09 2015-07-17 주식회사 텔릿와이어리스솔루션즈 위치 값 계산장치 및 방법
KR101578158B1 (ko) 2014-01-09 2015-12-16 주식회사 텔릿와이어리스솔루션즈 위치 값 계산장치 및 방법
KR101573641B1 (ko) 2014-11-28 2015-12-02 한국과학기술원 6자유도 구조물 변위 측정 시스템 및 방법
CN104634267B (zh) * 2015-01-09 2018-06-08 河南省特种设备安全检测研究院 一种桥门式起重机上拱度测量方法
CN104634267A (zh) * 2015-01-09 2015-05-20 河南省特种设备安全检测研究院 一种桥门式起重机上拱度测量方法及配套测量装置
KR102058776B1 (ko) * 2016-11-01 2019-12-24 한국해양대학교 산학협력단 비가시광 적외선 다점 레이저빔과 적외선 카메라 영상기반 물체의 3차원 미세진동 측정에 의한 음원 진단 방법 및 장치
KR20180049395A (ko) * 2016-11-01 2018-05-11 한국해양대학교 산학협력단 비가시광 적외선 다점 레이저빔과 적외선 카메라 영상기반 물체의 3차원 미세진동 측정에 의한 음원 진단 방법 및 장치
KR20190081052A (ko) * 2017-12-29 2019-07-09 김용민 교량 안전진단 기능을 갖는 교좌장치
KR102021085B1 (ko) * 2017-12-29 2019-09-11 김용민 교량 안전진단 기능을 갖는 교좌장치
KR101932386B1 (ko) * 2018-07-02 2018-12-24 이근학 프레임 불량 검측장치 및 검측방법
CN109855538B (zh) * 2019-03-18 2024-03-26 湘潭大学 一种自动量测结构构件几何初始缺陷的装置及方法
CN109855538A (zh) * 2019-03-18 2019-06-07 湘潭大学 一种自动量测结构构件几何初始缺陷的装置及方法
KR102652754B1 (ko) 2019-12-27 2024-04-01 한국전력공사 자유진동에서 동적특성 예측 방법 및 이를 이용한 동적특성 예측 장치
KR20210083775A (ko) * 2019-12-27 2021-07-07 한국전력공사 자유진동에서 동적특성 예측 방법 및 이를 이용한 동적특성 예측 장치
KR102230397B1 (ko) 2020-06-15 2021-03-22 반석안전주식회사 변형률 및 가속도값에 기반한 구조물의 변위 추정방법
KR20210157747A (ko) 2020-06-22 2021-12-29 중앙대학교 산학협력단 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법
KR102237753B1 (ko) 2020-09-28 2021-04-08 (유) 지제이 피사체의 형상 변경 감시 시스템 및 그 방법
KR102271251B1 (ko) * 2020-11-11 2021-06-30 탄탄안전 주식회사 영상처리기반 비접촉식 구조물 변위 측정 시스템 및 방법
CN112731440B (zh) * 2020-12-25 2023-10-13 中国铁道科学研究院集团有限公司 高速铁路边坡形变检测方法及装置
CN112731440A (zh) * 2020-12-25 2021-04-30 中国铁道科学研究院集团有限公司 高速铁路边坡形变检测方法及装置
CN113916136A (zh) * 2021-11-19 2022-01-11 招商局重庆交通科研设计院有限公司 一种基于无人机航拍的高耸结构动位移测量方法
KR102412734B1 (ko) * 2021-12-27 2022-06-24 (주)위드이앤오 교량 장기 처짐 측정 장치
KR20230156866A (ko) 2022-05-06 2023-11-15 중앙대학교 산학협력단 레이저 구조광 지그, 및 그 구조광 지그를 이용한 구조물 변위 측정시스템 및 보정방법

Also Published As

Publication number Publication date
WO2013077623A1 (ko) 2013-05-30

Similar Documents

Publication Publication Date Title
KR101217186B1 (ko) 구조물 변위 측정 시스템 및 방법
Zhong et al. Assessment of the feasibility of detecting concrete cracks in images acquired by unmanned aerial vehicles
US10488311B2 (en) Rigidity measurement apparatus and rigidity measurement method
Jeon et al. A paired visual servoing system for 6-DOF displacement measurement of structures
TWI517101B (zh) 三維掃描器校正系統及其校正方法
KR101191458B1 (ko) 구조물 변위 측정 시스템 및 방법
JP2022046691A (ja) 内蔵物体の状態確認装置、動作確認装置および内蔵物体の状態確認方法
WO2020073929A1 (zh) 作业台车及其机械臂光学标靶定位装置和定位方法
CN110208771B (zh) 一种移动二维激光雷达的点云强度改正方法
CN106197292A (zh) 一种建筑物位移监测方法
Park et al. Deformation monitoring of a building structure using a motion capture system
KR101573641B1 (ko) 6자유도 구조물 변위 측정 시스템 및 방법
EP4172561A1 (en) Thickness correction for video extensometer systems and methods
KR20200005119A (ko) 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법
JP6954451B2 (ja) 振動計測システム、振動計測装置、振動計測方法、及びプログラム
JP2009168461A (ja) カメラ校正装置
KR101029751B1 (ko) 구조물 변위 측정 시스템 및 방법
KR20180056324A (ko) 분산된 레이저 스페클 이미지를 이용한 면 변위와 변형률 계측 장치 및 방법
JP2013148375A (ja) 三次元形状測定装置に用いられる校正方法、校正器およびプログラムならびに三次元形状測定装置
Jeon et al. ViSP: visually servoed paired structured light system for measuring structural displacement
JP2021124377A (ja) キャリブレーション判定結果提示装置、キャリブレーション判定結果提示方法及びプログラム
JP2010107224A (ja) 位置特定装置及び異動建物検出装置
TW201514440A (zh) 雙線鐳射量測系統及方法
KR20210157747A (ko) 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법
Yi et al. Field evaluation of optical-based three-dimensional dynamic motion measurement system with multiple targets for a floating structure

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171124

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191126

Year of fee payment: 8