KR102271251B1 - 영상처리기반 비접촉식 구조물 변위 측정 시스템 및 방법 - Google Patents

Abstract

본 발명은 영상처리기반 비접촉식 구조물 변위 측정 시스템 및 방법에 관한 것으로, 구조물에 타겟을 설치하지 않고 별도의 각도 산출 장비와 수작업에 의한 사전 각도 측정 작업없이 먼 곳에 떨어져 있는 구조물(교량 등)의 변위를 측정하는 것을 목적으로 한다.
본 발명에 의한 영상처리기반 비접촉식 구조물 변위 측정 시스템은, 구조물을 촬영하는 카메라(10)와; 상기 구조물에 레이저를 조사하는 레이저 조사기(20)와; 상기 카메라와 상기 구조물 간의 거리를 측정하는 거리계(30)와; 상기 레이저 조사기와 거리계 및 카메라를 통해 획득한 데이터를 근거로 하여 상기 구조물의 변위를 측정하는 제어부(40)를 포함하며, 상기 레이저 조사기는 상기 카메라의 둘레부에 3개 이상이 상하 종방향 및 좌우 횡방향을 따라 배열되며, 상기 제어부는 상기 레이저 조사기를 통해 상기 구조물의 표면에 대한 상기 카메라의 수직 기울기와 수평 기울기의 3차원 각도를 산출하여 보정계수로 사용하여 실제 변위를 측정한다.

Description

영상처리기반 비접촉식 구조물 변위 측정 시스템 및 방법{Displacement Measurement System and Method of Contactless Structure in the Imaging Processing Unit}

본 발명은 교량의 변위 측정에 관한 것으로, 더욱 상세하게는 먼 곳에 떨어져 있는 구조물(교량 등)의 변위를 측정하는 영상처리기반 비접촉식 구조물 변위 측정 시스템 및 방법에 관한 것이다.

이 부분은 본 출원 내용과 관련된 배경 정보를 제공할 뿐 반드시 선행기술이 되는 것은 아니다.

교량 등의 토목 구조물 및 건축 구조물은 외부 요인(지진 등)과 노후화 등으로 인하여 안정성이 떨어질 수밖에 없으며 이들 구조물의 붕괴는 경제적인 문제뿐만 아니라 인명피해에 의한 손실과 사회적인 충격이 매우 크다. 이러한 이유로 인하여 최근 구조물의 안전성 평가 분야에 대한 관심이 매우 높아가고 있는 실정이다.

구조물의 일 예로 교량은 다양한 구조설계 기준에 의하여 설계, 시공되어 있어 활하중 부담 능력에 있어서 폭 넓은 변동성을 가지고 있으며, 구조물의 상태, 통과 차량의 변동성 등 여러 인자들에 의해서 교량의 구조적 조건이 변화된다. 또한 환경적인 혹은 물리적인 영향으로 교량의 내하능력은 지속적으로 감소된다.

구조물 안전 모니터링에서 구조물 변위를 측정하기 위한 방법으로 직선형 가변 차동 변압기(Linear Variable Differntial Transformer, LVDT) 방식이 있다. 이 방식은 하부에 안정적인 기준점을 필요로 하는 접촉 형태의 센서를 사용한다. 그러나 이러한 접촉 형태의 센서는 안정적인 기준점(stationary reference)을 찾는데 제약이 있기 때문에 실용적이지 않다.

또한, 직접식 변위 측정 기술의 다른 예로서, 처짐계 설치를 위하여 부동점과 측정점을 피아노선 등으로 연결하거나 비계 상부에 부동점을 설치하는 방식은 그 설치가 어렵고 바람이 강한 장소, 또는 하천 유속이 큰 장소에서는 가로방향 처짐이나 진동에 의한 오차가 발생하는 문제점이 있었다. 또한 교하공간이 하천이나 바다인 경우에는 적용이 더욱 어렵다.

본 발명의 배경기술을 확인할 수 있는 특허문헌으로, 공개특허 제10-2001-0076953호는 레이저광선 발사장치의 작동에 의해 레이저 광선을 상기 수신센서로 발사하는 광선 발사단계; 실시간 동안 계속하여 상기 레이저 광선 발사장치에서 발사된 레이저 광선을 구조물에 설치된 수신센서에서 받아 구조물이 변형되는 수치를 기록계(103)로 수신하는 데이터 수신단계; 상기 데이터 수신단계에서 수신된 데이터를 실시간 동안 저장하는 데이터 저장단계; 상기 구조물을 실시간 동안 측정하기 위해 설정된 시간이 되었는지 판단하여 설정된 시간이 경과되지 않은 경우 계속 상기 단계들을 수행하고, 설정된 시간이 경과된 경우 다음 단계를 수행하는 설정시간 판단단계; 상기 판단단계에서 설정된 시간이 경과된 경우 상기 단계들을 종료하는 작업 종료단계; 상기 측정되어 저장된 데이터를 계산하여 구조물의 변형을 분석하는 데이터 분석단계; 및 상기 단계에서 분석된 결과 값을 컴퓨터 등을 통해 출력하는 결과값 출력단계를 포함하여 하중 또는 외력에 의해 구조물에 발생되는 변형의 측정을 수행하는 레이저 광선을 이용한 구조물 변위량 측정 방법이다.

등록특허 제10-0458290호는 카메라로 구조물의 표식 내 기준마크를 촬영하여 영상 데이터를 얻는 단계; 카메라로 얻은 영상 데이터를 컴퓨터로 전송하는 단계; 이미지 프로세싱 기법을 이용하여, 전송된 영상 데이터로부터 상기 기준마크의 좌표를 산출하는 단계; 상기 기준마크의 좌표를 이용하여 이미지 프로세싱된 영상에서 기준마크 사이의 간격을 영상기본 단위로 구하고, 실제 표식 내에서의 기준마크 사이의 물리적인 간격을 측정하여, 상기 영상기본단위로 구해진 기준마크 사이의 간격과, 실제 측정된 물리적인 간격과의 비율에 의하여, 영상기본단위에 대한 실제거리의 관계를 산정하는 단계; 구조물이 진동함에 따라 기준마크가 이동한 상태의 연속적인 영상을 이미지 프로세싱하여, 이미지 프로세싱된 영상에 있어서의 기준마크의 변위량을 영상기본단위로 측정하는 단계; 상기 영상기본단위로 측정된 변위량을 산정된 영상기본단위당 실제 거리와의 관계에 의해 실제 거리로 산출하는 단계; 상기 산출된 기준마크의 실제 이동 거리를 시간에 따른 이동 경로로 도시하여 출력하는 단계로 이루어지는 것이다.

공개특허 제10-2001-0076953호 등록특허 제10-0458290호

본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로, 구조물에 타겟을 설치하지 않고 별도의 각도 산출 장비와 수작업에 의한 사전 각도 측정 작업없이 먼 곳에 떨어져 있는 구조물(교량, 하천교량 등)의 변위를 측정하는 영상처리기반 비접촉식 구조물 변위 측정 시스템 및 방법을 제공하려는데 그 목적이 있다.

본 발명에 의한 영상처리기반 비접촉식 구조물 변위 측정 시스템은, 구조물을 촬영하는 카메라와; 상기 구조물에 레이저를 조사하는 레이저 조사기와; 상기 카메라와 상기 구조물 간의 거리를 측정하는 거리계와; 상기 레이저 조사기와 거리계 및 카메라를 통해 획득한 데이터를 근거로 하여 상기 구조물의 변위를 측정하는 제어부를 포함하며, 상기 레이저 조사기는 상기 카메라의 둘레부에 3개 이상이 상하 종방향 및 좌우 횡방향을 따라 배열되며, 상기 제어부는 상기 레이저 조사기를 통해 상기 구조물의 표면에 대한 상기 카메라의 수직 기울기와 수평 기울기의 3차원 각도를 산출하여 보정계수로 사용하여 실제 변위를 측정하는 것을 특징으로 한다.

본 발명에 의한 영상처리기반 비접촉식 구조물 변위 측정 시스템 및 방법에 의하면, 교량 등 구조물에 타겟을 설치하지 않고 구조물에서 멀리 떨어진 안전한 육상 공간에 설치하는 것만을 통해 변위 측정이 가능하므로 사용이 매우 편리하고, 또한, 변위 측정을 위한 각도를 작업자가 수작업으로 측정하지 않고 레이저를 이용하여 작업수의 감소에 따른 작업성을 향상하고 수작업으로 인한 오류를 줄일 수 있으므로 변위 측정 기술로서의 신뢰성을 향상하는 효과가 있다.

본 발명은 종래 기술에 비해 경제적이며, 교량으로부터 먼 곳에 설치가 용이하고 장기간 사용이 가능하므로 해상교량, 하천교량 등 다양한 교량의 변위측정 및 데이터베이스 구축에 매우 효과적이다.

도 1은 본 발명에 의한 영상처리기반 비접촉식 구조물 변위 측정 시스템의 구성도.
도 2는 본 발명에 의한 영상처리기반 비접촉식 구조물 변위 측정 시스템의 구성을 보인 블록도.
도 3은 본 발명에 의한 영상처리기반 비접촉식 구조물 변위 측정 시스템의 다른 예를 보인 구성도.
도 4는 본 발명에 의한 영상처리기반 비접촉식 구조물 변위 측정 방법의 순서도.
도 5는 본 발명에 의한 영상처리기반 비접촉식 구조물 변위 측정 방법에 의한 공정도.
도 6은 본 발명에 의한 영상처리기반 비접촉식 구조물 변위 측정 방법과 종래 LVDT 방법에 의한 변위 측정 결과를 보인 그래프.
도 7은 본 발명에 의한 영상처리기반 비접촉식 구조물 변위 측정 시스템으로 하천 교량의 변위를 측정하기 위하여 레이저를 투영한 결과를 보인 사진.
도 8은 본 발명에 의한 영상처리기반 비접촉식 구조물 변위 측정 방법으로 하천 교량의 변위를 측정한 결과.

하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

먼저, 본 발명은 영상과 레이저를 이용한 공지의 구조물 변위 측정 기술과 비교할 때 별도의 각도 확인(산출)과 설정 작업없이 레이저를 이용하여 각도를 산출하는 것을 특징으로 하며, 따라서 하기의 설명 중에서 본 발명의 특징과 관련없는 부분은 본 발명의 이해와 실시를 돕기 위한 일 예를 설명한 것일 뿐이고 이에 한정되는 것은 아님을 밝힌다.

도 1에서 보이는 바와 같이, 본 발명에 의한 영상처리기반 비접촉식 구조물 변위 측정 시스템은, 카메라(10), 레이저 조사기(20), 거리계(30) 및 제어부(40)를 구성요소로 한다.

카메라(10)는 구조물 예를 들어 교량(1)의 표면을 촬영하여 영상데이터를 생성하며, 이 영상데이터는 레이저 조사기(20)에 의해 조사된 레이저 포인트(점)를 포함하는 영상데이터이다.

카메라(10)는 교량(1)으로부터 먼 거리에 떨어진 곳에 거치되어 사용되며, 예를 들어 삼각대를 통해 지면에 지지되어 고정된다.

레이저 조사기(20)는 별도의 각도 측정 기술없이 카메라(10)의 각도(기울기)를 확인할 수 있도록 3개 이상으로 적용된다. 도면은 4개의 레이저 조사기(20)를 예로 들어 도시한다.

3개의 레이저 조사기(20)는 수직 기울기와 수평 기울기의 확인 즉 3차원 기울기의 확인을 위하여 종방향을 따라 2개가 배열되고 횡방향을 따라서도 2개가 배열된다. 즉, 3개의 레이저 조사기(20) 중 어느 하나는 수직 기울기와 수평 기울기의 산출을 위한 공용으로 사용된다.

도면에 도시된 것처럼, 4개의 레이저 조사기(20)는 카메라(10)의 둘레부에 등간격(사각형의 모서리부)으로 적용되며, 이하에서는 4개의 레이저 조사기(20)를 예로 들어 설명한다.

4개의 레이저 조사기(20)는 하나의 레이저 홀더(21)를 통해 설치된다.

레이저 홀더(21)는 카메라(10)의 렌즈에 분리 가능하게 고정되는 카메라 고정부, 상기 카메라 고정부의 둘레부에 등간격으로 형성되는 4개의 레이저 홀더부로 구성된다.

상기 카메라 고정부는 카메라(10)의 렌즈의 둘레부를 감싸는 틀의 형태가 가능하고, 하나 이상의 조임 볼트를 통해 조여 고정할 수 있다.

상기 레이저 홀더부는 내부에 레이저 조사기(20)가 각각 삽입된 후 하나 이상의 조임 볼트를 통해 고정될 수 있는 구조이고 상기 카메라 고정부에 일체로 형성된다.

따라서, 레이저 조사기(20)들은 그들 간의 거리가 변하지 않아 결국 거리가 정해지고, 이 거리는 교량의 변위 측정을 위한 요소로 사용된다.

거리계(30)는 카메라(10)와 교량(1) 간의 거리를 계측하며, 이 거리는 카메라(10)의 초점거리 값으로 사용된다.

제어부(40)는 그 구성을 기능적으로 구분하면 레이저의 측정값으로부터 각도를 산출하는 각도 산출부(41), 레이저의 원점을 인식하고 영상을 추적(ORB 방법, KLT 방법 등 이용)하는 영상처리부(42)와, 영상 처리부(42)를 통해 얻은 영상을 근거로 하여 실제 변위를 산출하는 실제변위 산출부(43)를 포함한다. 각도 산출부(41) 및 이와 유기적 결합관계를 갖고 있는 기술 이외의 구성은 구조물의 변위 측정을 위하여 공지된 것이다. 제어부(40)는 변위를 계산하고 영상데이터의 정밀도를 높이는 등 다양한 설정을 지원하는 System GUI을 포함한다.

실제변위 산출부(43)는 보정계수(스케일 계수) 산출을 위한 2개의 레이저 포인트의 픽셀거리를 산출 및 영상추적부를 통해 픽셀변위를 산출하고, 레이저들 사이의 실제거리를 산출된 픽셀거리로 나누어 보정계수를 산출하며, 픽셀변위에 보정계수를 곱하여 실제변위를 산출한다.

교량 변위 측정 과정에서 교량(1)으로부터 멀리 떨어진 카메라(10)를 교량(1)의 표면과 평행하게 설치하는 것은 현실적으로 불가능하며 결국 카메라(10)는 교량(1)에 대해 기울기를 갖고 설치될 수밖에 없고 결국 반드시 기울기에 대한 보정이 필요하며, 본 발명은 기울기의 보정을 레이저 조사기를 이용한 것이다.

각도 산출부(41)는 레이저 조사기(20)들이 교량(1)의 표면에 대해 기울어져 있으면 상하 또는 좌우에 배치되는 레이저 조사기의 측정값이 달라지는 것을 이용하여 각도(입사각)를 산출하는 것이다.

각도 산출부(41)는 예를 들어 레이저 조사기(20)들로부터 조사되어 구조물의 표면에 실제 맺힌 레이저 좌표들과 맺힐 것으로 예측되는 좌표들과의 차이를 최소화하는 함수를 통해 카메라와 구조물 표면의 상대적인 각도를 추정한다.

(1)

여기서 D(x1,x2)는 좌표 x1,x2 값의 차이를 구하는 함수, P(θ)는 각도에 따른 구조물에 맺힐 레이저 좌표의 추정치, x_i 는 카메라가 촬영한 실제 구조물에 맺힌 레이저 좌표로 구성된다. 최소화 문제를 해결하는 방법은 최소제곱법 및 딥러닝 방법이 고려될 수 있다. 딥러닝 방법은 사전 시뮬레이션을 통해 빅데이터를 구축하여 모델 학습을 진행한 후 실제 레이저 좌표를 입력받아 각도 값을 산출하도록 구성할 수 있다.

각도 산출부(41)는 상하 종방향과 좌우 횡방향을 따라 이웃하는 2개의 레이저 포인트를 비교하여 각도를 산출하는 것도 가능하다.

그리고, 변위 측정 결과 등 모든 데이터의 저장을 위한 데이터베이스를 포함한다.

본 발명에 의한 영상처리기반 비접촉식 구조물 변위 측정 시스템은, 휴대용 단말기(스마트폰 등)의 앱을 이용하여 시간과 장소의 구애없이 교량의 변위를 실시간으로 측정 및 확인할 수 있도록 구성된다(도 3 참고).

또한, 영상 데이터 등 변위 측정을 위한 모든 데이터를 무선 통신을 통해 원거리의 통제실 서버에 전송하여, 통제실에서 원격 관리도 가능하다.

본 발명에 의한 영상처리기반 비접촉식 구조물 변위 측정 방법은, 보정계수(스케일 계수)를 구하고 구조물 표면의 특징점의 변화되는 양(픽셀)과 스케일 계수를 곱하여 실제 변화되는 변위(mm)를 구하는 것이다.

상기 스케일 계수는 카메라의 영상에서 픽셀의 움직임과 실제 구조물의 변위관계이다. 스케일 계수에 필요한 항목은 카메라의 내부 그리고 외부파라미터이며, 내부파라미터는 카메라의 내부적인 초점, 렌즈왜곡에 관한 요소이고 외부파라미터는 카메라와 구조물의 각도, 거리에 관한 요소이다. 내부파라미터는 카메라의 고유특징이므로 미리 값을 구할 수 있지만, 외부파라미터의 경우 계측하는 상대위치에 관한 함수로 일반적인 방법으로 구할 수 없고, 본 발명은 레이저 기하를 이용하여 외부파라미터, 카메라와 구조물의 각도, 거리를 구하는 것이다.

본 방법은 최소화 함수를 이용하여 레이저 투영패턴과 가장 유사한 패턴을 제공하는 3차원 각도를 찾은 후 영상과 실제 좌표의 관계식인 스케일 계수를 구한다.

본 발명의 공정은 레이저 조사와 카메라 촬영, 각도 산출(외부 파라미터 산출), 영상 분석, 스케일 계수 추출, 실제 변위 산출을 공정으로 하며 도 4는 공정 순서의 일 예를 나타낸 것이고, 즉 하기의 순서는 자유롭게 변경 가능하다.

1. 레이저 조사.

4개의 레이저 조사기를 제어하여 각각의 레이저 조사기가 구조물 표면을 향하여 레이저(빔)를 조사하도록 한다. 따라서, 구조물에는 4개의 레이저 포인트가 생기게 된다.

2. 각도 산출.

각각의 레이저 조사기(20)로부터 얻은 측정값은 각도 산출부(41)에 입력되며, 각도 산출부(41)는 레이저 조사기(20)들로부터 얻은 각각의 측정값을 통해 각도를 산출한다. 이 각도는 교량(1) 표면에 대한 카메라(10)의 입사각으로 외부파라미터이다.

또한, 거리계(30)를 통해 카메라(10)에서부터 교량(1)의 표면까지의 거리를 구하고, 외부파라미터이다.

3. 카메라 촬영.

카메라(10)로 교량(1)의 표면을 촬영하며 이 때 촬영 영상은 레이저 조사기(20)에서 조사된 레이저 포인트를 포함하는 범위이다.

4. 영상 분석.

각도 산출 공정과 별도로 카메라(10)로 촬영한 영상 분석을 통해 실제 변위 산출을 위한 데이터를 추출한다.

예를 들어, 영상데이터를 기반으로 추적하고자 하는 부분을 선택하여 특징점을 잡고 추적하고, 추적 영상을 저장하여 픽셀변위를 산출한다. 영상데이터를 기반으로 ROI를 지정하고, 이진화 함수와 가우시안 필터를 이용하여 두 레이저 원점을 인식하고, 레이저 두 점의 픽셀거리를 계산하며, 레이저 간 실제거리를 산출된 픽셀거리로 나누어 보정계수(scale factor)를 산출한다. 픽셀 좌표계로부터 실제 물리좌표계로 변환시키는 보정계수는 미리 설정한 레이저 두점의 실제거리와, 레이저 두 원점 간의 픽셀거리의 비로 나타낼 수 있다.

5. 실제변위 산출.

실제변위 산출부(43)는 픽셀변위에 보정계수(스케일 계수)를 곱하여 실제변위를 산출한다.

도 6은 본 발명의 검증 결과를 보인 데이터로서, 종래 LVDT 방법과 본 발명(제안 발명)의 결과에 오차는 2% 이내로 확인되었고 즉 본 발명에 의한 변위 측정은 실시가 가능한 것이다.

본 발명의 하천 교량에 대한 변위 측정의 실시 가능성을 확인하기 위하여 하천 교량으로부터 50M 떨어진 곳에서 변위를 측정(도 7)하였으며, 그 결과는 도 8에서 보이는 것처럼, 변위의 해상도는 0.01 mm 수준, 초당 30 샘플로 측정되었으며 열차의 통행 시 발생하는 변위를 성공적으로 측정하는 것으로 확인되었다. 해당 변위의 경우 상행 열차통행 바로 직후 하행 열차가 진입한 상황으로, 각각의 열차통행 시 15초가 소요되어 총 30초간의 움직임이 있었다. 측정 경간이 연속교인 형태로 열차 진출 시 부 반력으로 인한 변위가 발생함을 확인할 수 있었으며, 두 열차통행 시 열차의 무게에 따라 변위가 0.4 ~ 0.8 mm 까지 크게 차이나는 것을 알 수 있었다.

10 : 카메라, 20 : 레이저 조사기
30 : 거리계, 40 : 제어부
41 : 각도 산출부, 42 : 영상처리부
43 : 실제변위 산출부,

Claims (4)

1. 구조물을 촬영하는 카메라와;
   상기 구조물에 레이저를 조사하는 레이저 조사기와;
   상기 카메라와 상기 구조물 간의 거리를 측정하는 거리계와;
   상기 레이저 조사기와 거리계 및 카메라를 통해 획득한 데이터를 근거로 하여 상기 구조물의 변위를 측정하는 제어부를 포함하며,
   상기 레이저 조사기는 상기 카메라의 둘레부에 3개 이상이 상하 종방향 및 좌우 횡방향을 따라 배열되며,
   상기 제어부는 상기 레이저 조사기를 통해 상기 구조물의 표면에 대한 상기 카메라의 수직 기울기와 수평 기울기의 3차원 각도를 산출하여 보정계수로 사용하여 실제 변위를 측정하는 것으로, 레이저의 측정 값으로부터 각도를 산출하는 각도 산출부, 레이저의 원점을 인식하고 영상을 추적하는 영상처리부, 상기 각도 산출부를 통해 획득한 기울기를 반영하고 상기 영상 처리부를 통해 얻은 영상을 근거로 하여 실제 변위를 산출하는 실제변위 산출부를 포함하는 것을 특징으로 하는 영상처리기반 비접촉식 구조물 변위 측정 시스템.
2. 삭제
3. 청구항 1에 있어서, 상기 제어부는 휴대용 단말기의 어플리케이션을 기반으로 하는 것을 특징으로 하는 영상처리기반 비접촉식 구조물 변위 측정 시스템.
4. 청구항 1에 의한 영상처리기반 비접촉식 구조물 변위 측정 시스템을 이용한 측정 방법으로서,
   구조물 표면에 레이저를 조사하는 제1단계와;
   상기 제1단계에서 조사한 레이저를 근거로 하여 각도를 산출하는 한편 카메라와 구조물 간의 거리를 계측하는 제2단계와;
   상기 레이저가 조사되는 부분을 포함한 구조물의 표면을 촬영하여 영상데이터를 생성하는 제3단계;
   상기 카메라로부터 얻은 영상데이터를 분석하는 제4단계와;
   상기 제4단계를 분석한 영상데이터를 근거로 하면서 상기 제2단계에서 획득한 기울기를 반영하여 상기 구조물의 실제변위를 산출하는 제5단계를 포함하는 것을 특징으로 하는 영상처리기반 비접촉식 구조물 변위 측정 방법.
   
   
   

Images