KR20210157747A - 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법 - Google Patents

영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법 Download PDF

Info

Publication number
KR20210157747A
KR20210157747A KR1020200075932A KR20200075932A KR20210157747A KR 20210157747 A KR20210157747 A KR 20210157747A KR 1020200075932 A KR1020200075932 A KR 1020200075932A KR 20200075932 A KR20200075932 A KR 20200075932A KR 20210157747 A KR20210157747 A KR 20210157747A
Authority
KR
South Korea
Prior art keywords
laser
displacement
image
calculating
image data
Prior art date
Application number
KR1020200075932A
Other languages
English (en)
Other versions
KR102444976B1 (ko
Inventor
박종웅
남예은
김가영
신현우
원용수
이정민
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020200075932A priority Critical patent/KR102444976B1/ko
Publication of KR20210157747A publication Critical patent/KR20210157747A/ko
Application granted granted Critical
Publication of KR102444976B1 publication Critical patent/KR102444976B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G01B11/165—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by means of a grating deformed by the object

Abstract

본 발명은 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법에 관한 것으로, 보다 상세하게는 각각이 구조물 표면을 향하여 레이저 빔을 조사하며, 서로 두 지점간의 실제거리를 알고 있는 한 쌍의 레이저조사부; 상기 구조물 표면을 촬영하여 영상데이터를 생성하는 카메라; 상기 카메라로부터 얻은 영상데이터를 분석하여 상기 구조물의 실제변위를 산출하는 제어부;를 포함하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정시스템.에 관한 것이다.

Description

영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법{Displacement Measurement System of structure using image processing unit and laser}
본 발명은 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법에 대한 것이다.
토목 또는 건축 구조물은 교통, 지진, 돌풍 등과 같은 외부 하중에 노출된다. 따라서, 구조물의 정확한 설계 방법도 좋지만 특히 오늘날 사용 연수가 30년이 지난 노후 시설물이 점차 급증하는 시기이므로 구조물의 사용성을 장기간적으로 검토하는 구조물 안전 모니터링(Structural health monitoring, SHM)이 중요시되고 있다.
이러한 구조물 안전 모니터링은 주로 여러개의 센서를 통해 시간의 흐름에 따른 샘플의 데미지를 측정하고 관찰하여 구조물의 현상태를 결정한다.
교량과 도로망과 같은 사회기반시설물의 관리는 공공의 안전에 있어 매우 중요하기 때문에 빠르게 변화하는 사회에 적응하여 머신러닝, 컴퓨터 비젼기술과 같이 데이터 기반으로 정보를 처리하는 기술들을 접목시켜 구조물의 안전을 실시간으로 확인할 필요가 있다.
일반적으로 구조물 안전 모니터링에서 구조물의 변위를 측정하기 위해 직선형 가변 차동 변압기(Linear Variable Differntial Transformer, LVDT) 방식을 사용한다. 이 방식은 하부에 안정적인 기준점을 필요로 하는 접촉 형태의 센서를 사용한다. 그러나 이러한 접촉 형태의 센서는 안정적인 기준점(stationary reference)을 찾는데 제약이 있기 때문에 실용적이지 않다.
변위를 직접적으로 측정하는 방법 중 하나인 Laser Doppler vibrometer (LDV)는 비접촉식 고해상도 변위 데이터를 얻을 수 있지만 비용이 비싸고 레이저가 조사되는 방향에 한해 변위를 얻을 수 있는 단점이 따른다.
간접적 변위 측정방법으로 쓰이는 Global positioning system (GPS)는 안정적인 기준점을 필요로 하지 않고 센서 부착도 용이하다. 하지만 일반적으로 GPS는 큰 변위를 갖는 구조물의 장기적 안전진단에 주로 쓰이므로 교량과 같은 mm 측정 단위의 변위를 갖는 구조물에는 실효성이 떨어진다.
최근 영상기반(computer vision, CV) 구조물 안전진단 분야가 활발히 연구되고 있는 분야 중 하나이다. 고해상도의 데이터를 얻을 수 있고 실험장치도 간단하다. 영상기반 구조물 안전진단은 타겟을 이용하는 방법과 그렇지 않는 방법으로 나뉜다.
타겟기반 변위 측정기술은 이미 알고 있는 특징점을 가진 타겟을 이용하여 변위를 추적하기 때문에 비교적 데이터의 신뢰도가 높다. 또한 열악한 현장조건을 보완한 기술들이 많이 개발 되었지만 타겟의 설치가 어려운 교량에는 적용하기 어려우므로 이 기술은 무의미하다. 따라서 이러한 조건에서도 적용가능한 무타겟 기반 기술을 고안할 필요가 있다.
대한민국 등록특허 10-1217186 대한민국 공개특허 10-2018-0056324 대한민국 등록특허 10-1573641 대한민국 등록특허 10-1029751
따라서 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 실시예에 따르면, 구조물의 안전을 위하여 변위를 측정하기 위한 구조물 변위 측정시스템에 관한 것으로, 구조물 안전진단을 보다 효율적으로 실행하기 위해 최소한의 장비(레이저 2개와 카메라 1대)를 사용하여 구조물의 변위를 측정할 수 있으며, 영상데이터 내의 구조물의 특징점을 찾아 이를 타겟화 하여 추적하는 무타겟 기반 변위측정방법을 접목시켜 센서와 타겟 설치가 어려운 장소에서도 구조물의 변위를 실용적으로 측청할 수 있고, 또한 최소한의 장비로 측정이 가능하므로 편리성 또한 뛰어난, 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법을 제공하는데 그 목적이 있다.
본 발명의 실시예에 따르면, 이미지 보정 작업 시, 이미 알고 있는 레이저 간 거리를 이용하기 때문에 실제 물리 좌표계로 변환이 즉시 이루어지므로, 레이저 거리 센서, 변위센서와 같은 추가 장치가 필요 없으며, 또 이진화 함수와 가우시안 필터로부터 이미지를 처리하여 레이저 중심을 찾기 때문에 실시간으로 정확한 실제 변위를 측정할 수 있는, 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법을 제공하는데 그 목적이 있다.
본 발명의 실시예에 따르면, KLT tracker 알고리즘을 적용하여, optical flow를 계산하여 구조물의 특징점을 찾아내기 때문에 가상 움직임 모델을 예측하지 않고도 구조물의 변위를 추적할 수 있는, 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법을 제공하는데 그 목적이 있다.
본 발명의 실시예에 따르면, 기본적으로 이미 알고 있는 중심거리의 레이저 2개와 카메라를 하나의 세트로 구성하여 변위를 측정하는 것이 가능하므로, 기본적으로 2개의 측정 모듈을 필요로하는 종래 기술에 비하여 간단한 구조를 가질 수 있고, 또한 이미 알고 있는 레이저 중심점 간의 거리를 이용하기 때문에 정확한 변위를 측정할 수 있는, 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법을 제공하는데 그 목적이 있다.
그리고 본 발명의 실시예에 따르면, 카메라와 레이저를 한 세트로 보고 추적하고자 하는 면을 기준으로 영상촬영 위치를 중심에서 측면으로 이동하였을 때, 이동에 따른 경사각을 보정이 가능하므로, 장소에 제약없이 구조물의 변위를 측정할 수 있는, 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법을 제공하는데 그 목적이 있다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 제1목적은, 각각이 구조물의 표면을 향하여 레이저 빔을 조사하며, 서로 두 지점간의 실제거리를 알고 있는 한 쌍의 레이저조사부; 상기 구조물 표면을 촬영하여 영상데이터를 생성하는 카메라; 상기 카메라로부터 얻은 영상데이터를 분석하여 상기 구조물의 실제변위를 산출하는 제어부;를 포함하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정시스템으로서 달성될 수 있다.
그리고 상기 제어부는, 상기 영상데이터 내의 두 레이저 원점 각각을 인식하는 레이저원점인식부와,상기 영상데이터 내의 레이저 두 점을 추적하는 영상추적부를 포함하는 영상처리부를 포함하는 것을 특징으로 할 수 있다.
또한 상기 레이저원점인식부는 이진화함수와 가우시안필터를 적용하는 것을 특징으로 할 수 있다.
그리고 상기 레이저원점인식부에 의해 인식된 두 레이저 원점을 기반으로 레이저 두점의 픽셀거리를 연산하는 픽셀거리산출부와, 상기 픽셀거리산출부에서 산출된 픽셀거리와 상기 실제거리를 기반으로 보정계수를 산출하는 보정계수산출부를 포함하는 것을 특징으로 할 수 있다.
그리고 상기 레이저 조사시 구조물 표면 기준 입사각을 갖는 경우, 상기 보정계수산출부는 영상데이터를 기준으로 산출된 픽셀거리와 상기 입사각을 보정한 보정실제거리를 기반으로 보정계수를 산출하는 것을 특징으로 할 수 있다.
또한 상기 영상추적부에 의해 픽셀변위를 산출하는 픽셀변위 산출부와, 상기 픽셀변위에 상기 보정계수를 곱하여 실제변위를 산출하는 실제변위 산출부를 포함하는 것을 특징으로 할 수 있다.
그리고 상기 영상추적부는 ROI, 초기 세팅범위, 및 초기지점으로부터 영상특징점을 추출하고 영상데이터 각 프레임마다 특징점을 찾아 내는 과정을 진행하는 것을 특징으로 할 수 있다.
또한 상기 ROI는 KLT(Kanade-Lucas-Tomasi) 트래커로부터 얻어지는 것을 특징으로 할 수 있다.
그리고 상기 영상특징점 추출 과정은, Shi-Tomasi 특징점 추출방법을 포함하여 2D 그레이스케일로 전환된 이미지의 코너점을 추출하고 가우시안 필터를 적용하여 영상의 잡음을 제거하는 과정을 포함하는 것을 특징으로 할 수 있다.
본 발명의 제2목적은, 구조물 변위 측정방법에 있어서, 한 쌍의 레이저조사부 간의 실제거리와, 레이저 입사각을 설정하는 제1단계; 한 쌍의 레이저조사부 각각이 상기 구조물 표면을 향하여 레이저 빔을 조사하는 제2단계; 카메라가 상기 구조물 표면을 촬영하여 영상데이터를 생성하는 제3단계; 제어부가 카메라로부터 얻은 영상데이터를 분석하여 상기 구조물의 실제변위를 산출하는 제4단계;를 포함하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정방법으로서 달성될 수 있다.
그리고 상기 제4단계는, 상기 영상데이터를 기반으로 두 레이저 원점을 인식하는 제4-1단계; 레이저 두 점의 픽셀거리를 계산하는 제4-2단계; 및 상기 픽셀거리와 상기 실제거리를 기반으로 보정계수를 산출하는 제4-3단계;를 포함하는 것을 특징으로 할 수 있다.
또한 상기 제4-3단계에서, 상기 픽셀거리와 상기 입사각을 보정한 보정실제거리를 기반으로 보정계수를 산출하는 것을 특징으로 할 수 있다.
그리고 영상추적부를 통해 무타켓 추적알고리즘을 이용하여 픽셀변위를 산출하는 제4-4단계; 및 상기 보정계수와 상기 픽셀변위를 기반으로 실제변위를 추출하는 제4-5단계;를 포함하는 것을 특징으로 할 수 있다.
또한 상기 제4-1단계에서 이진화함수와 가우시안필터를 이용하는 것을 특징으로 할 수 있다.
그리고 상기 제4-4단계는 KLT(Kanade-Lucas-Tomasi) 트래커로부터 얻어지는 ROI, 초기 세팅범위, 및 초기지점으로부터 영상특징점을 추출하고 영상데이터 각 프레임마다 특징점을 찾아 내는 과정을 진행하는 것을 특징으로 할 수 있다.
또한 상기 영상특징점 추출 과정은, Shi-Tomasi 특징점 추출방법을 포함하여 2D 그레이스케일로 전환된 이미지의 코너점을 추출하고 가우시안 필터를 적용하여 영상의 잡음을 제거하는 과정을 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법에 따르면, 구조물의 안전을 위하여 변위를 측정하기 위한 구조물 변위 측정시스템에 관한 것으로, 구조물 안전진단을 보다 효율적으로 실행하기 위해 최소한의 장비(레이저 2개와 카메라 1대)를 사용하여 구조물의 변위를 측정할 수 있으며, 영상데이터 내의 구조물의 특징점을 찾아 이를 타겟화 하여 추적하는 무타겟 기반 변위측정방법을 접목시켜 센서와 타겟 설치가 어려운 장소에서도 구조물의 변위를 실용적으로 측청 할 수 있고, 또한 최소한의 장비로 측정이 가능하므로 편리성 또한 뛰어난 장점을 갖는다.
본 발명의 실시예에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법에 따르면, 이미지 보정 작업 시, 이미 알고 있는 레이저 간 거리를 이용하기 때문에 실제 물리 좌표계로 변환이 즉시 이루어지므로, 레이저 거리 센서, 변위센서와 같은 추가 장치가 필요 없으며, 또 이진화 함수와 가우시안 필터로부터 이미지를 처리하여 레이저 중심을 찾기 때문에 실시간으로 정확한 실제 변위를 측정할 수 있는 효과를 갖는다.
본 발명의 실시예에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법에 따르면, KLT tracker 알고리즘을 적용하여, optical flow를 계산하여 구조물의 특징점을 찾아내기 때문에 가상 움직임 모델을 예측하지 않고도 구조물의 변위를 추적할 수 있는 효과를 갖는다.
본 발명의 실시예에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법에 따르면, 기본적으로 이미 알고 있는 중심거리의 레이저 2개와 카메라를 하나의 세트로 구성하여 변위를 측정하는 것이 가능하므로, 기본적으로 2개의 측정 모듈을 필요로하는 종래 기술에 비하여 간단한 구조를 가질 수 있고, 또한 이미 알고 있는 레이저 중심점 간의 거리를 이용하기 때문에 정확한 변위를 측정할 수 있는 효과를 갖는다.
그리고 본 발명의 실시예에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법에 따르면, 카메라와 레이저를 한 세트로 보고 추적하고자 하는 면을 기준으로 영상촬영 위치를 중심에서 측면으로 이동하였을 때, 이동에 따른 경사각을 보정이 가능하므로, 장소에 제약없이 구조물의 변위를 측정할 수 있는 장점이 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명의 실시예에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정방법의 흐름도,
도 2는 본 발명의 실시예에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정시스템의 구성도,
도 3은 본 발명의 실시예에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정시스템을 개념적으로 나타낸 사시도,
도 4는 본 발명의 실시예에 따른 보정계수 산출 과정을 개념적으로 나타낸 흐름도,
도 5는 본 발명의 실시예에 따른 무타겟 트래킹 과정을 개념적으로 나타낸 흐름도,
도 6은 본 발명의 또 다른 실시예에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정시스템을 개념적으로 나타낸 사시도,
도 7은 본 발명의 또 다른 실시예에 따른 보정계수 산출 과정을 개념적으로 나타낸 흐름도,
도 8은 본 발명의 실험예 1에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정시스템을 개념적으로 나타낸 사시도,
도 9a는 본 발명의 실험예 1에 따른 레이저 변위계 결과값 그래프,
도 9b는 본 발명의 실험예 1에 따른 영상처리로부터 얻은 실제변위 실험값 그래프,
도 9c는 레이저 변위계와 실험에 1의 결과값의 y축 최대변위값 비교표,
도 10은 본 발명의 실험예 2에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정시스템을 개념적으로 나타낸 사시도,
도 11a는 본 발명의 실험예 2에 따른 레이저 변위계 결과값 그래프,
도 11b는 본 발명의 실험예 2에 따른 영상처리로부터 얻은 실제변위 실험값 그래프,
도 11c는 레이저 변위계와 실험에 2의 결과값의 y축 최대변위값 비교표를 도시한 것이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 통상의 기술자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한 도면들에 있어서, 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.
본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 평면도들을 참고하여 설명될 것이다. 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. 따라서 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 따라서 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다. 예를 들면, 직각으로 도시된 영역은 라운드지거나 소정 곡률을 가지는 형태일 수 있다. 따라서 도면에서 예시된 영역들은 속성을 가지며, 도면에서 예시된 영역들의 모양은 소자의 영역의 특정 형태를 예시하기 위한 것이며 발명의 범주를 제한하기 위한 것이 아니다. 본 명세서의 다양한 실시예들에서 제1, 제2 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
아래의 특정 실시예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
이하에서는 본 발명의 실시예에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정시스템(100)의 구성, 기능 및 변위 측정방법에 대해 설명하도록 한다.
먼저 도 1은 본 발명의 실시예에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정방법의 흐름도를 도시한 것이다. 그리고 도 2는 본 발명의 실시예에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정시스템의 구성도를 도시한 것이다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정시스템(100)은 한 쌍의 레이저조사부(20), 카메라(10), 제어부(60) 등을 포함하여 구성됨을 알 수 있다.
한 쌍의 레이저조사부(20)는 각각이 구조물 표면(30)을 향하여 레이저 빔을 조사하며, 서로 두 지점 간의 실제거리를 알고 있다. 레이저조사부(20)는 본 발명의 실시예에서는 3D프린터로 제작된 일체형 틀을 이용하여 고정하고 카메라(10)의 위치는 레이저조사부(20) 아래에 오도록 하여 영상을 촬영한다. 이렇게 하면 레이저조사부(20)와 카메라(10) 간의 초기오프셋을 교정할 수 있다.
그리고 카메라(10)는 구조물 표면(30)을 촬영하여 영상데이터를 생성하도록 구성되며, 제어부(60)는 카메라(10)로부터 얻은 영상데이터를 분석하여 구조물(1)의 실제변위를 산출하도록 구성된다.
그리고 제어부(60)는 도 2에 도시된 바와 같이, 영상처리부(70)와, 픽셀거리산출부(61), 보정계수산출부(62), 픽셀변위산출부(63), 실제변위산출부(64) 등을 포함하여 구성될 수 있음을 알 수 있다. 또한, 영상처리부(70)는 레이저원점인식부(71)와, 영상추적부(72)를 포함하여 구성될 수 있다.
도 3은 본 발명의 실시예에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정시스템을 개념적으로 나타낸 사시도를 도시한 것이다. 먼저, 앞서 언급한 한 쌍의 레이저조사부(20) 간의 실제거리를 설정하고, 레이저 조사에 대한 입사각을 설정하게 된다(S1).
그리고 구조물 표면(30)으로 한 쌍의 레이저조사부(20) 각각에서 레이저빔을 조사하게 된다(S2).
그리고 카메라(10)는 레이저가 조사된 구조물 표면(30)을 촬영하여 영상데이터를 획득하게 된다(S3).
그리고 레이저원점인식부(71)와, 픽셀거리산출부(61)와, 보정계수산출부(62)를 통해 보정계수를 산출하게 된다.
도 4는 본 발명의 실시예에 따른 보정계수 산출 과정을 개념적으로 나타낸 흐름도를 도시한 것이다.
도 4에 도시된 바와 같이, 먼저 레이저원점인식부(71)는 영상데이터를 기반으로 ROI를 지정하고, 이진화함수(BW threshold)와 가우시안 필터를 이용하여 두 레이저 원점을 인식하고(S4), 픽셀거리산출부(61)는 레이저 두 점((x1, y1), (x2,y2))의 픽셀거리를 계산하게 된다(S5).
그리고 보정계수산출부(62)는 레이저 간 실제거리를 산출된 픽셀거리로 나누어 보정계수(scale factor)를 산출하게 된다(S6).
즉, 픽셀 좌표계로부터 실제 물리좌표계로 변환시키는 보정계수는 미리 설정한 레이저 두점의 실제거리와, 레이저원점인식부(71)를 이용하여 찾은 레이저 두 원점 간의 픽셀거리의 비로 나타낼 수 있다.
그리고 픽셀변위 산출부(63)는 영상추적부(72)를 이용하여 픽셀변위를 산출하게 된다(S7), 즉, 영상데이터를 기반으로 추적하고자 하는 부분을 선택하여 특징점을 잡고 추적하고, 추적 영상을 저장하여 픽셀변위를 산출하게 된다.
실제변위산출부(64)는 픽셀변위에 보정계수를 곱하여 실제변위를 산출하게 된다(S8).
도 5는 본 발명의 실시예에 따른 무타겟 트래킹 과정을 개념적으로 나타낸 흐름도를 도시한 것이다.
영상처리과정은 도 5에 도시된 바와 같이, Kanade-Lucas-Tomasi(KLT) tracker로부터 얻은 ROI, 초기 세팅 범위, 그리고 초기 지점으로부터 초기 영상특징점을 찾고 영상의 각 프레임마다 몇가지 특징점을 찾아내는 알고리즘을 이용한다.
Optical flow에서 사용되는 좋은 영상특징점의 조건으로는 물체의 형태나 크기, 위치가 변해도 쉽게 식별이 가능하고, 카메라의 시점, 조명이 변해도 영상에서 대항 지점을 쉽게 찾아낼 수 있는 것이다. 대표적인 예로는 이미지 코너 점과 기준이 될만한 배경 구조물 등이 있다.
영상특징점을 추출하는 과정에 있어, Shi-Tomasi 특징점 추출방법을 알고리즘에 포함하여 2D 그레이스케일로 전환된 이미지의 코너점을 추출하고 가우시안 필터를 적용하여 영상의 잡음을 제거하는 과정을 포함한다. Shi-Tomasi 방법은 eigenvalue중 최소값을 찾는 함수를 이용한 것이다.
도 6은 본 발명의 또 다른 실시예에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정시스템을 개념적으로 나타낸 사시도를 도시한 것이다. 그리고 도 7은 본 발명의 또 다른 실시예에 따른 보정계수 산출 과정을 개념적으로 나타낸 흐름도를 도시한 것이다.
도 6 및 도 7에 도시된 바와 같이, 레이저 조사시 구조물 표면 기준 입사각(θ)을 갖는 경우, 보정계수산출부(62)는 영상데이터를 기준으로 산출된 픽셀거리와, 입사각을 보정한 보정실제거리를 기반으로 보정계수를 산출하게 됨을 알 수 있다.
즉, 현장에서는 레이저와 추적하고자 하는 지점을 정확히 마주보게 하여 설치가 어려우므로 추적지점 기준 입사각(θ)를 고려하여 보정해주게 된다. 이러한 경우, 이미 알고 있는 레이저 거리에 1/cosθ를 취하여 보정계수(scale factor) 계산에 대입한다. 여기서 θ는 레이저를 조사할 때 구조물 표면 기준 입사각이다.
본 발명에 따르면, 이미지 보정 작업 시, 이미 알고 있는 레이저 간 거리를 이용하기 때문에 실제 물리 좌표계로 변환이 즉시 이루어진다. 따라서 레이저 거리 센서와 같은 추가 장치가 필요 없다. 또 이진화 함수와 가우시안 필터로부터 이미지를 처리하여 레이저 중심을 찾기 때문에 실시간으로 정확한 실제 변위를 측정할 수 있다.
본 발명에 적용되는 KLT tracker 알고리즘은 optical flow를 계산하여 구조물의 특징점을 찾아내기 때문에 가상 움직임 모델을 예측하지 않고도 구조물의 변위를 추적할 수 있는 장점이 있다.
이하에서는 본 발명의 실험예에 따른 결과를 설명하도록 한다.
도 8은 본 발명의 실험예 1에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정시스템을 개념적으로 나타낸 사시도를 도시한 것이다.
그리고 도 9a는 본 발명의 실험예 1에 따른 레이저 변위계 결과값 그래프를 도시한 것이다. 또한, 도 9b는 본 발명의 실험예 1에 따른 영상처리로부터 얻은 실제변위 실험값 그래프를 도시한 것이다. 도 9c는 레이저 변위계와 실험에 1의 결과값의 y축 최대변위값 비교표를 도시한 것이다.
도 10은 본 발명의 실험예 2에 따른 영상시스템과 레이저를 이용한 구조물 변위 측정시스템을 개념적으로 나타낸 사시도를 도시한 것이다.
도 11a는 본 발명의 실험예 2에 따른 레이저 변위계 결과값 그래프를 도시한 것이다. 또한, 도 11b는 본 발명의 실험예 2에 따른 영상처리로부터 얻은 실제변위 실험값 그래프를 도시한 것이며, 도 11c는 레이저 변위계와 실험에 2의 결과값의 y축 최대변위값 비교표를 도시한 것이다.
즉, 실험예 1은 정면 조사 실험이고, 실험예 2는 입사각을 갖는 조사 실험에 해당한다.
실험 순서는 먼저 카메라(10)와 레이저조사부(20) 2개를 일직선상에 위치하게끔 설치하고 구조물 표면(30)은 카메라(10)의 정면을 향하도록 켄틸레버보(40) 위에 설치하였다.
그리고 켄틸레버보(40)에 impact 하중을 가한 다음 레이저 변위계(50)와 카메라(10)로 동시에 구조물의 변위를 기록하였다.
그리고 구조물 변위 영상촬영 시 구조물 표면(30) 위의 특징점이 될만한 점(콘크리트 구조물의 볼트자국)을 찾아 프레임 안에 포함되게끔 촬영하였다.
레이저 변위계(50)는 영상처리부로 처리된 값의 오차를 산정하기 위한 기준값 (reference)으로 작용하였다.
영상처리부(70)에서는 무타겟 Camera calibration과 무타겟 추적 알고리즘을 이용하여 구조물 y축 변위값를 추출하였다.
영상처리부(70)로 얻은 최대 변위값과 레이저 변위계로부터 얻은 최대 변위값을 비교하였다.
실험예 1의 경우 도 9a 내지 도 9c에 도시된 바와 같이, 레이저변위계(50)로부터 얻은 y축 최대변위값에 대한 오차가 약 1.876%로 계산되었고 기준값과 거의 유사한 데이터를 얻을 수 있었다.
실험예 2는 레이저를 측면으로 이동시켜 구조물 표면과 경사각을 이루는 경우로서, 전체적인 실험과정은 실험예 1과 같고, 다만 무타겟 camera calibration 과정 중, 보정계수(scale factor)를 추출할 때, 레이저 중심 간의 거리에 1/cosθ를 취한 값을 이용한다.
실험예 2의 경우 도 11a 내지 도 11c에 도시된 바와 같이, 구조물 표면 기준 입사각을 15°로 설정하고 실험을 진행하였다. 레이저변위계로부터 얻은 y축 최대변위값에 대한 오차가 약 0.152%로 계산되었다.
본 발명은 영상처리 툴을 이용하여 교량의 변위를 보다 간편하고 정확하게 측정하는 방법에 대해 집중하여 실험하였다. 무타겟 트래킹 방법에 사용된 KLT 트래커는 이미지의 좋은 특징점을 찾아 이를 추적하여 변위값을 측정하는 센서로 사용되었다. 무타겟 트래킹 방법은 한 번의 실험 안에서 다지점(Multipoint)의 변위를 동시에 측정할 수 있다는 장점이 있다.
이 실험은 카메라 자체의 왜곡이 없다는 가정하에 진행되었다. 따라서 무타겟 트래킹 방법의 정확도를 더 높이기 위하여, 카메라 왜곡을 나타내는 내부 파라미터와 외부 파라미터를 구하는 과정을 포함하여 실험한다면 오차를 줄이는데 영향을 미칠 수 있다. 카메라 내부 파라미터로는 초점거리, 주점, 비대칭계수가 있고 외부 파라미터로는 회전에 대한 행렬 R과 이동에 대한 벡터 T가 있다.
또한, 상기와 같이 설명된 장치 및 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
1:구조물
10:카메라
20:레이저조사부
30:구조물 표면
40:캔틸레버보
50:레이저변위계
60:제어부
61:픽셀거리산출부
62:보정계수산출부
63:픽셀변위산출부
64:실제변위산출부
70:영상처리부
71:레이저원점인식부
72:영상추적부
100:영상시스템과 레이저를 이용한 구조물 변위 측정시스템

Claims (16)

  1. 각각이 상기 구조물 표면을 향하여 레이저 빔을 조사하며, 서로 두 지점간의 실제거리를 알고 있는 한 쌍의 레이저조사부;
    상기 구조물 표면을 촬영하여 영상데이터를 생성하는 카메라;
    상기 카메라로부터 얻은 영상데이터를 분석하여 상기 구조물의 실제변위를 산출하는 제어부;를 포함하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정시스템.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 영상데이터 내의 두 레이저 원점 각각을 인식하는 레이저원점인식부와,상기 영상데이터 내의 레이저 두 점을 추적하는 영상추적부를 포함하는 영상처리부를 포함하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정시스템.
  3. 제 2항에 있어서,
    상기 레이저원점인식부는 이진화함수와 가우시안필터를 적용하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정시스템.
  4. 제 2항에 있어서,
    상기 레이저원점인식부에 의해 인식된 두 레이저 원점을 기반으로 레이저 두점의 픽셀거리를 연산하는 픽셀거리산출부와,
    상기 픽셀거리산출부에서 산출된 픽셀거리와 상기 실제거리를 기반으로 보정계수를 산출하는 보정계수산출부를 포함하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정시스템.
  5. 제 4항에 있어서,
    상기 레이저 조사시 구조물 표면 기준 입사각을 갖는 경우, 상기 보정계수산출부는 영상데이터를 기준으로 산출된 픽셀거리와 상기 입사각을 보정한 보정실제거리를 기반으로 보정계수를 산출하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정시스템.
  6. 제 4항에 있어서,
    상기 영상추적부에 의해 픽셀변위를 산출하는 픽셀변위 산출부와, 상기 픽셀변위에 상기 보정계수를 곱하여 실제변위를 산출하는 실제변위 산출부를 포함하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정시스템.
  7. 제 6항에 있어서,
    상기 영상추적부는 ROI, 초기 세팅범위, 및 초기지점으로부터 영상특징점을 추출하고 영상데이터 각 프레임마다 특징점을 찾아 내는 과정을 진행하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정시스템.
  8. 제 7항에 있어서,
    상기 ROI는 KLT(Kanade-Lucas-Tomasi) 트래커로부터 얻어지는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정시스템.
  9. 제 8항에 있어서,
    상기 영상특징점 추출 과정은, Shi-Tomasi 특징점 추출방법을 포함하여 2D 그레이스케일로 전환된 이미지의 코너점을 추출하고 가우시안 필터를 적용하여 영상의 잡음을 제거하는 과정을 포함하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정시스템.
  10. 구조물 변위 측정방법에 있어서,
    한 쌍의 레이저조사부 간의 실제거리와, 레이저 입사각을 설정하는 제1단계;
    한 쌍의 레이저조사부 각각이 구조물 표면을 향하여 레이저 빔을 조사하는 제2단계;
    카메라가 상기 구조물 표면을 촬영하여 영상데이터를 생성하는 제3단계;
    제어부가 카메라로부터 얻은 영상데이터를 분석하여 상기 구조물의 실제변위를 산출하는 제4단계;를 포함하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정방법.
  11. 제 10항에 있어서,
    상기 제4단계는,
    상기 영상데이터를 기반으로 두 레이저 원점을 인식하는 제4-1단계;
    레이저 두 점의 픽셀거리를 계산하는 제4-2단계; 및
    상기 픽셀거리와 상기 실제거리를 기반으로 보정계수를 산출하는 제4-3단계;를 포함하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정방법.
  12. 제 11항에 있어서,
    상기 제4-3단계에서, 상기 픽셀거리와 상기 입사각을 보정한 보정실제거리를 기반으로 보정계수를 산출하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정방법.
  13. 제 11항에 있어서,
    영상추적부를 통해 무타켓 추적알고리즘을 이용하여 픽셀변위를 산출하는 제4-4단계; 및
    상기 보정계수와 상기 픽셀변위를 기반으로 실제변위를 추출하는 제4-5단계;를 포함하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정방법.
  14. 제 13항에 있어서,
    상기 제4-1단계에서 이진화함수와 가우시안필터를 이용하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정방법.
  15. 제 13항에 있어서,
    상기 제4-4단계는 KLT(Kanade-Lucas-Tomasi) 트래커로부터 얻어지는 ROI, 초기 세팅범위, 및 초기지점으로부터 영상특징점을 추출하고 영상데이터 각 프레임마다 특징점을 찾아 내는 과정을 진행하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정방법.
  16. 제 15항에 있어서,
    상기 영상특징점 추출 과정은, Shi-Tomasi 특징점 추출방법을 포함하여 2D 그레이스케일로 전환된 이미지의 코너점을 추출하고 가우시안 필터를 적용하여 영상의 잡음을 제거하는 과정을 포함하는 것을 특징으로 하는 영상시스템과 레이저를 이용한 구조물 변위 측정방법.

KR1020200075932A 2020-06-22 2020-06-22 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법 KR102444976B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200075932A KR102444976B1 (ko) 2020-06-22 2020-06-22 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200075932A KR102444976B1 (ko) 2020-06-22 2020-06-22 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법

Publications (2)

Publication Number Publication Date
KR20210157747A true KR20210157747A (ko) 2021-12-29
KR102444976B1 KR102444976B1 (ko) 2022-09-21

Family

ID=79176854

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200075932A KR102444976B1 (ko) 2020-06-22 2020-06-22 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법

Country Status (1)

Country Link
KR (1) KR102444976B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102557003B1 (ko) 2022-11-25 2023-07-25 한국건설계측검교정센터 주식회사 터널의 내공변위를 이용한 스마트 매입형 자동측정 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100383027B1 (ko) * 2000-03-06 2003-05-09 한국표준과학연구원 레이저를 이용한 3차원 거동 계측장치.
KR101029751B1 (ko) 2009-03-16 2011-04-19 한국과학기술원 구조물 변위 측정 시스템 및 방법
KR101126626B1 (ko) * 2010-03-02 2012-03-26 한국과학기술원 광역 3차원 복원을 위한 시스템 및 방법
KR101141601B1 (ko) * 2008-12-01 2012-05-17 한국전자통신연구원 영상기반 자연표식물 지도 작성 장치
KR101217186B1 (ko) 2011-11-23 2013-01-02 한국과학기술원 구조물 변위 측정 시스템 및 방법
KR101573641B1 (ko) 2014-11-28 2015-12-02 한국과학기술원 6자유도 구조물 변위 측정 시스템 및 방법
KR101637977B1 (ko) * 2010-10-07 2016-07-08 대우조선해양 주식회사 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법
KR20180056324A (ko) 2016-11-18 2018-05-28 단국대학교 천안캠퍼스 산학협력단 분산된 레이저 스페클 이미지를 이용한 면 변위와 변형률 계측 장치 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100383027B1 (ko) * 2000-03-06 2003-05-09 한국표준과학연구원 레이저를 이용한 3차원 거동 계측장치.
KR101141601B1 (ko) * 2008-12-01 2012-05-17 한국전자통신연구원 영상기반 자연표식물 지도 작성 장치
KR101029751B1 (ko) 2009-03-16 2011-04-19 한국과학기술원 구조물 변위 측정 시스템 및 방법
KR101126626B1 (ko) * 2010-03-02 2012-03-26 한국과학기술원 광역 3차원 복원을 위한 시스템 및 방법
KR101637977B1 (ko) * 2010-10-07 2016-07-08 대우조선해양 주식회사 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법
KR101217186B1 (ko) 2011-11-23 2013-01-02 한국과학기술원 구조물 변위 측정 시스템 및 방법
KR101573641B1 (ko) 2014-11-28 2015-12-02 한국과학기술원 6자유도 구조물 변위 측정 시스템 및 방법
KR20180056324A (ko) 2016-11-18 2018-05-28 단국대학교 천안캠퍼스 산학협력단 분산된 레이저 스페클 이미지를 이용한 면 변위와 변형률 계측 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102557003B1 (ko) 2022-11-25 2023-07-25 한국건설계측검교정센터 주식회사 터널의 내공변위를 이용한 스마트 매입형 자동측정 장치

Also Published As

Publication number Publication date
KR102444976B1 (ko) 2022-09-21

Similar Documents

Publication Publication Date Title
Pan et al. Real-time, non-contact and targetless measurement of vertical deflection of bridges using off-axis digital image correlation
Sładek et al. Development of a vision based deflection measurement system and its accuracy assessment
KR102015706B1 (ko) 콘크리트 표면 균열 측정 장치 및 방법
Shan et al. Free vibration monitoring experiment of a stayed-cable model based on stereovision
JP6524529B2 (ja) 建築限界判定装置
CN107817044B (zh) 基于机器视觉的板材振动的测量装置及方法
CN108279677B (zh) 基于双目视觉传感器的轨道机器人检测方法
Famouri et al. A novel motion plane-based approach to vehicle speed estimation
KR102444976B1 (ko) 영상시스템과 레이저를 이용한 구조물 변위 측정시스템 및 측정방법
CN111452840B (zh) 一种基于单目视觉测量技术的铁路钢轨爬行位移检测方法
Zaarane et al. Vehicle to vehicle distance measurement for self-driving systems
KR102271251B1 (ko) 영상처리기반 비접촉식 구조물 변위 측정 시스템 및 방법
US11768102B2 (en) Vibration measurement system, vibration measurement apparatus, vibration measurement method, and computer-readable recording medium
Lee et al. Nontarget-based displacement measurement using LiDAR and camera
Yuen et al. Implementation of Tracking-Learning-Detection for improving of a Stereo-Camera-based marker-less distance measurement system for vessel berthing
Shang et al. Multi-point vibration measurement for mode identification of bridge structures using video-based motion magnification
Kohut et al. Structure's condition monitoring based on optical measurements
Zhou et al. Robust and high-precision vision system for deflection measurement of crane girder with camera shake reduction
Li et al. Triangulation-based edge measurement using polyview optics
WO2019097576A1 (ja) 計測システム、補正処理装置、補正処理方法、及びコンピュータ読み取り可能な記録媒体
Liu et al. Computer Vision-Based Structural Displacement Monitoring and Modal Identification with Subpixel Localization Refinement
Yu et al. Full-field deformation measurement and cracks detection in speckle scene using the deep learning-aided digital image correlation method
CN107014303B (zh) 一种基于数字图像处理的钢轨蠕变监测方法
Huynh et al. Vision-based inspection of bolted joints: Field evaluation on a historical truss bridge in Vietnam
Liu et al. EET-Hamming monocular high-speed measurement for long-span bridge structure displacement on a shaking table

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant