KR101948852B1

KR101948852B1 - 비접촉식 균열 평가를 위한 이종영상 스캐닝 방법 및 장치

Info

Publication number: KR101948852B1
Application number: KR1020170139520A
Authority: KR
Inventors: 안윤규; 장근영
Original assignee: 세종대학교산학협력단
Priority date: 2017-10-25
Filing date: 2017-10-25
Publication date: 2019-05-29

Abstract

비접촉식 균열 평가를 위한 이종영상 스캐닝 방법 및 장치에 관한 것으로서, 본 시스템은 타겟 구조물에 연속파 라인 레이저(Continuous Wave line laser)를 조사하는 라인 레이저 공급부; 라인 레이저 공급부와 동기화되어 기 정해진 경로로 이동하는 IR(Infra-Red) 카메라 및 비전(vison) 카메라를 포함하며, 타겟 구조물에서 방사된 열파(thermal wave)를 계측하여 열화상 이미지들을 생성하고 타겟 구조물의 외관을 촬영하여 실화상 이미지들을 생성하는 하이브리드 영상 스캐닝부; 및 열화상 이미지들 및 실화상 이미지들에 대해 왜곡 보정 프로세스, 시공간 통합 좌표 변환(time-spatial-integrated coordinate transformation) 프로세스, 및 위상 맵핑 프로세스(phase mapping process)를 수행하고, 수행 결과를 상호 영상정합하여 타겟 구조물의 균열을 시각화하는 제어부를 포함한다.

Description

비접촉식 균열 평가를 위한 이종영상 스캐닝 방법 및 장치{HYBRID IMAGE SCANNING METHOD AND APPARATUS FOR NONCONTACT CRACK EVALUATION}

본 발명은 비접촉식 균열 평가를 위한 이종영상 스캐닝 방법 및 장치에 관한 것으로서, 보다 구체적으로, 라인 레이저, IR 카메라 및 비전 카메라를 이용하여 구조물을 스캐닝하여 획득된 이종영상으로부터 구조물의 균열을 검출하는 장치 및 그 처리 방법에 관한 것이다.

구조물의 균열을 모니터링하기 위해서 다양한 기법들이 적용되고 있다. 예를 들어, 육안 검사는 전문가가 직접 구조물에 접근하여 균열의 치수를 재는 방법으로, 균열 평가에 있어 사람의 주관이 개입되기 때문에 다른 방법보다 신뢰도가 떨어지며, 구조물에 사람의 접근이 불가한 경우에 평가가 어렵고 번거롭다. 초음파 기법(ultrasonic technique)은 초음파를 발생 및 계측하여 균열을 평가하는 방법으로 정확도가 높은 균열 평가 방법이다. 그러나 초음파 기법에서는 주로 구조물에 부착형 센서를 이용하므로 대형 구조물에 대한 전체적인 균열 평가를 수행하는데에 적합하지 않으며, 신호 해석이 복잡하다는 단점이 존재한다. 다른 예로서 비전 카메라(vision camera) 기법은 비전 카메라를 이용해 영상을 촬영하여 균열을 평가하는 방법으로서, 최근 연구에는 UAV를 활용한 연구가 다수 제안되었다. 다만, 영상의 FOV(filed of view)의 한계로 인해 규모가 큰 구조물 평가가 어려우며 균열을 정량화하는데 어려움이 있으며 조도 및 주변 환경에 따른 오보율이 높다는 단점이 있다.

또한 수동적 열화상 기법(Passive IR thermography)과 능동적 열화상 기법(Active IR thermography)는 구조물이 자연적으로 발생하는 열방사 또는 열원이 가해진 구조물에서 발생하는 열방사를 IR 카메라로 계측하는 방법으로서 효과적인 균열 검출 방법으로 평가되고 있으나, FOV(filed of view)의 한계로 인해 대규모 구조물에 적용하기 어려우며, 과도한 정밀도로 인하여 표면 불균일 점을 균열로 평가하여 오보율이 높다는 문제점이 존재한다.

따라서, 구조물에 대해서 효과적으로 손상을 계측 및 검사할 수 있는 모니터링 방법이 필요하다.

한국등록특허 제10-2015-056089호 (발명의 명칭: 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법)

본 발명의 일 실시예는 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, UAV에 탑재된 하이브리드 이미지 스캐닝 시스템을 통해 비접촉적, 비파괴적으로 획득된 하드브리드 영상(hybrid image)을 이용하여 구조물의 균열을 시각화 및 정량화할 수 있는 균열 검출 시스템 및 그 방법을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제1 측면에 따른 균열 검출 시스템은, 타겟 구조물에 연속파 라인 레이저(Continuous Wave line laser)를 조사하는 라인 레이저 공급부; 라인 레이저 공급부와 동기화되어 기 정해진 경로로 이동하는 IR(Infra-Red) 카메라 및 비전(vison) 카메라를 포함하여, 타겟 구조물에서 방사된 열파(thermal wave)를 계측하여 열화상 이미지들을 생성하고 타겟 구조물의 외관을 촬영하여 실화상 이미지들을 생성하는 하이브리드 영상 스캐닝부; 및 열화상 이미지들 및 실화상 이미지들에 대해 왜곡 보정 프로세스, 시공간 통합 좌표 변환(time-spatial-integrated coordinate transformation) 프로세스, 및 위상 맵핑 프로세스(phase mapping process)를 수행하고, 수행 결과를 상호 영상정합하여 상기 타겟 구조물의 균열을 시각화하는 제어부를 포함한다.

또한 본 발명의 제2 측면은, 타겟 구조물에 연속파 라인 레이저를 기 정해진 경로로 이동하며 조사하는 단계; 타겟 구조물에서 방사되는 열파를 기 정해진 경로로 이동하며 연속 측정하여 열화상 이미지들을 생성하고, 타겟 구조물의 외관을 상기 기 정해진 경로로 이동하며 촬영하여 실화상 이미지들을 생성하는 단계; 열화상 이미지들과 상기 실화상 이미지들에 대해 왜곡 보정 프로세스, 시공간 통합 좌표 변환 프로세스 및 위상 맵핑 프로세스를 수행하는 단계; 및 수행 결과 이미지들을 상호 영상정합하여 타겟 구조물의 균열을 시각화하는 단계를 포함하는 균열 검출 방법을 제공한다.

또한, 본 발명의 제3 측면은, 상기 제2 측면의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 구조물의 균열을 비파괴/비접촉식으로 검사할 수 있고, 구조물의 넓은 검사 범위를 단시간 내 스캐닝할 수 있으며, 구조물의 균열에 대해 낮은 오보율로 자동적이고 직관적인 시각화가 가능하다.

도 1은 본 발명의 일 실시예에 따른 비파괴/비접촉식 균열 검출 시스템을 도시한 개요도이다.
도 2는 본 발명의 일 실시예에 따른 균열 검출 시스템의 구성을 도시한다.
도 3은 본 발명의 일 실시예에 따른 왜곡 보정 프로세스를 도시한다.
도 4는 본 발명의 일 실시예에 따라 열파의 영향이 미치는 분석 영역을 도시한다.
도 5는 본 발명의 일 실시예에 따라 왜곡 보정된 열화상 이미지들이 시공간 통합 좌표 변환(time-spatial-integrated coordinate transformation) 프로세스를 통해 재구성되는 과정을 도시한다.
도 6은 본 발명의 일 실시예에 따라 왜곡 보정된 실화상 이미지들이 시공간 통합 좌표 변환 프로세스를 통해 재구성되는 과정을 도시한다.
도 7은 본 발명의 일 실시예에 따라 시공간 통합된 열화상 이미지를 기준으로 균열 시각화 및 정량화를 수행하는 과정을 도시한다.
도 8은 균열이 모사된 콘크리트 시편을 나타낸다.
도 9는 IR 카메라로부터 획득된 원시 열화상 이미지와 본 발명의 일 실시예에 따라 시공간 통합된 열화상 이미지 를 도시한다.
도 10은 도 9의 시공간 통합된 열화상 이미지로부터 획득된 위상 이미지와 노이즈 제거된 위상 이미지를 도시한다.
도 11은 위상 이미지를 상호 영상정합하여 시각화한 것으로서, 콘크리트 시편에 모사된 각 균열 부분을 확대하여 나타낸 것이다.
도 12는 본 발명의 일 실시예에 따른 균열 검출 방법을 설명하기 위한 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해 도면에서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한, 도면을 참고하여 설명하면서, 같은 명칭으로 나타낸 구성일지라도 도면에 따라 도면 번호가 달라질 수 있고, 도면 번호는 설명의 편의를 위해 기재된 것에 불과하고 해당 도면 번호에 의해 각 구성의 개념, 특징, 기능 또는 효과가 제한 해석되는 것은 아니다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에 있어서 ‘부(部)’ 또는 ‘모듈’이란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다.

도 1은 본 발명의 일 실시예에 따른 비파괴/비접촉식 균열 검출 시스템(100)을 도시한 개요도이다.

본 발명의 일 실시예에 따른 구조물 균열 검출 시스템(100)은 무인 항공기(Unmanned Aerial Vehicle, UAV)에 탑재되어, 타겟하는 구조물에 연속파 라인 레이저(continuous-wave line laser)를 조사하는 한편, 병렬적으로 IR 카메라 및 비전 카메라(vision camera)를 기 설정된 경로로 이동하여 촬영함으로써 열화상 및 실화상의 이미지들을 획득하고, 획득한 이미지들을 시공간 통합 좌표 변환(time-spatial-integrated coordinate transformation)을 통해 재구성한다. 이를 통해 균열 검출 시스템(100)은 비전 카메라 및 IR 카메라의 제한된 FOV(Field of view)에 의해 실시간으로 변화하는 공간의 데이터를 공간적으로 통합하여 세밀한 균열 평가가 가능하게 함과 동시에 ROI(region of interest) 전체에 균일한 열파 가진의 양상을 추출해낼 수 있다. 그리고 균열 검출 시스템(100)은 하이브리드 이미지들에 대한 상호 영상정합 및 비교분석을 통해 타겟 구조물에 대한 손상의 발생 여부 및 그 위치(또는 영역)를 표시하는 손상 시각화를 처리한다. 한편 그 결과는 사용자들에게 알림된다.

본 발명의 일 실시예에 따른 균열 검출 시스템(100)은 도 1에 도시된 바와 같이, 드론(drone) 등과 같은 UAV에 탑재되어 사람이 접근하기 힘든 대형 구조체의 균열을 평가하는데에 이용되는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 이 외에도 본 발명의 일 실시예에 따른 균열 검출 시스템(100)은 클라이밍 로봇(climbing robot)과 같은 무인 로봇 장치에 탑재되어 구현될 수 있다.

도 2는 본 발명의 일 실시예에 따른 균열 검출 시스템(100)의 구성을 도시한다. 도 2를 참조하면, 균열 검출 시스템(100)은 라인 레이저 공급부(110), 하이브리드 영상 스캐닝부(120) 및 제어부(140)를 포함한다.

라인 레이저 공급부(110)는 타겟 구조물로 연속파 라인 레이저(contineuous line laser)를 조사한다. 라인 레이저 공급부(110)는 타겟 구조물(201)에 열파(heat wave)를 발생시키는 일종의 가열 장치(heating unit)일 수 있다. 라인 레이저 공급부(110)는 연속파 점형 레이저 빔(CW point laser beam)을 발산하는 점형 레이저 출력기(111), 점형 레이저 출력기(111)로부터 출력된 점형 레이저 빔을 라인 레이저 빔으로 형상을 변조하여 타겟 구조물(201)로 조사하는 라인 빔 제너레이터(line beam generator)(112)를 포함한다. 이때, 라인 빔 생성기(112)는 라인 레이저 빔을 출력하기 위한 렌즈(예컨대, F-theta 렌즈)를 더 포함할 수 있다.

라인 레이저 공급부(110)는 제어부(130)의 제어에 의해, 기 정해진 경로로 이동하여 열파를 발생시킨다. 여기서, 기 정해진 경로는 일방향으로의 직선 경로일 수 있으며, 라인 레이저 공급부(110)가 이동하는 경로는 스캐닝 경로로서 기능한다.

하이브리드 영상 스캐닝부(120)는 IR 카메라(121) 및 비전 카메라(122)로 구성되며, 라인 레이저 공급부(110)와 마찬가지로, 제어부(130)의 제어에 의해, 스캐닝 경로를 따라 이동하며 하이브리드 이미지(즉, 실화상 및 IR 화상)들을 생성한다.

라인 레이저 공급부(110)와 마찬가지로, IR 카메라(121)와 비전 카메라(122)는 스캐닝 경로를 따라 이동하면서 라인 레이저 공급부(110)가 라인 레이저 빔을 조사한 위치에 대응하여 하이브리드 이미지들을 획득한다. IR 카메라(121)는 타겟 구조물(201)로부터 발생된 열파를 측정하여 열파 형상을 모사하여 열화상 이미지(즉, 열화상 데이터)를 생성하며, 비전 카메라(122)는 타겟 구조물(201)의 외관을 촬영하는 실화상 이미지들(즉, 실화상 데이터들)을 생성한다. 이렇게 생성된 하이브리드 이미지들(즉, 열화상 이미지들과 실화상 이미지들)은 제어부(130)로 전달된다.

제어부(130)는 라인 레이저 공급부(110) 및 하이브리드 영상 스캐닝부(120)를 각각 제어 및 동기화시키며, 하이브리드 영상 스캐닝부(120)로부터 시간에 따라 연속하여 생성되는 하이브리드 이미지들을 연속적으로 수신한다. 그리고 제어부(130)는 하이브리드 이미지들을 상호 영상정합 및 비교분석하여 손상 추출 및 시각화를 수행한다.

또한, 도 2에 도시한 바와 같이, 제어부(130)는 통신부(131), 메모리(132) 및 프로세서(133)를 포함한다.

통신부(131)는 라인 레이저 공급부(110) 및 하이브리드 영상 스캐닝부(120)와 각각 신호를 송수신하며, 하이브리드 영상 스캐닝부(120)로부터 수신되는 데이터(즉, 하이브리드 이미지들)를 프로세서(133)로 전달한다. 또한, 통신부(131)는 연동되는 외부 장치(미도시)와의 통신을 수행할 수도 있다.

메모리(132)에는 구조물의 균열 검출을 위한 하이브리드 영상 처리 프로그램이 저장되어 있다. 이러한 메모리는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 또는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.

프로세서(133)는 메모리(132)에 저장된 프로그램을 수행하되, 하이브리드 영상 처리 프로그램의 실행에 따라 다음과 같은 처리들을 수행한다.

먼저, 프로세서(133)는 제어 및 동기화 신호를 라인 레이저 공급부(110)로 전송하며, 이와 동시에 상기 제어 및 동기화 신호에 대응된 제어 및 동기화 신호를 하이브리드 영상 스캐닝부(120)로 전송한다. 이에 따라, 라인 레이저 공급부(110)는 제어 및 동기화 신호에 기초하여 연속파 레이저빔을 발산시키고, 병렬적으로 하이브리드 영상 스캐닝부(120)의 IR 카메라(121)는 라인 레이저 빔에 의해 타겟 구조물(201)로부터 방사된 열파를 계측하며, 비전 카메라(122)는 타겟 구조물(201)의 외관을 촬영한다.

그리고, 프로세서(133)는 하이브리드 영상 스캐닝부(120)로부터 수신된 하이브리드 이미지(즉, 열화상 이미지 및 실화상 이미지)에 대한 데이터 프로세싱을 수행하여, 타겟 구조물(201)의 손상 영역에 대한 정보를 추출하여 이를 시각화한다.

이하에서는, 프로세서(133)가 하이브리드 이미지(즉, 열화상 이미지 및 실화상 이미지)에 대해 데이터 프로세싱을 수행하는 과정에 대해서 상세히 설명하도록 한다.

먼저, 프로세서(133)가 하이브리드 이미지들의 상호 영상정합을 위해 연속적으로 수신되는 하이브리드 이미지들의 왜곡을 보정하는 과정에 대해서 설명한다.

IR 카메라(121) 및 비전 카메라(122) 각각에서 취득된 이미지는 픽셀 해상도의 차이와 렌즈계 왜곡 등을 포함하므로, 추후 영상 정합을 위해서는 왜곡 보정 과정이 필요하다.

우선, 카메라 영상은 삼차원 공간의 점들을 이차원 이미지 평면에 투사 (perspective projection)하여 얻어지므로, 다음의 수학식 1과 같은 삼차원 공간 좌표와 이차원 영상 좌표 간의 변환 관계를 갖는다. 이때, 수학식 1은 3차원 실제 세계와 2차원 이미지 평면 간의 상관 관계를 나타내는 핀홀(Pinhole) 카메라 모델링 기법에 기반하여 표현된 것이다.

위 식에서, (x, y, z, 1)은 영상 좌표계(image coordiante system)이며, (X, Y, Z, 1)은 월드 좌표계(world coordinate system)의 삼차원 정점의 좌표이다. [R|t]는 외부파라미터(extrinsic parameter)로 월드 좌표계를 카메라 좌표계(camera coordinate system)로 변환시키기 위한 회전과 이동변환 행렬을 나타내며, A는 카메라 내부 파라미터(intrinsic parameter)이다.

이후, 프로세서(133)는, 도 3에 도시된 바와 같이, 캘리브레이션 마커를 이용하여, IR 카메라(121) 및 비전 카메라(122) 각각으로부터 획득된 원시 IR(Raw IR ,IR) 이미지 및 원시 비전(Raw vision, VR) 이미지를 왜곡 보정된 IR(Calibrated IR ,IC) 이미지 및 왜곡 보정된 비전(Calibrated vision, VC)이미지로 변환한다. 이때, 캘리브레이션 마커는 3차원의 월드좌표계를 반영하며, 캘리브레이션 마커가 한 면에 붙은 형태인 Z=0으로 가정한다. 이에 따라, IR 이미지 및 VR 이미지와 캘리브레이션 마커 간의 이차원 호모그래피(Homography, H) 행렬은 수학식 2와 같이 표현될 수 있다.

위 식에서, λ는 스케일링 벡터, r1과 r2는 회전 행렬 R의 구성요소이다. 주어진 캘리브레이션 마커 이미지에 의해 최대우도추정(maximum likelihood criterion)에 기반하여 H를 추정한다. 이때, r1과 r2는 직교하므로, 이를 통해 수학식 다음의 3, 4를 얻을 수 있다.

각 이차원 호모그래피는 카메라 내부 파라미터에 대한 두가지 기본 제약을 제공하며, 폐형 해결책(Closed-form solution)에 의해 카메라 내부 파라미터가 획득되면, 수학식 5에 나타낸 것과 같이 외부 파라미터를 얻을 수 있다.

전술한 바에 따라, 카메라 내부 및 외부 파라미터가 추출되면, 프로세서(133)는 다시 수학식 1을 통해 IR 이미지 및 VR 이미지를 IC 이미지 및 VC 이미지로 변환할 수 있다.

한편, 하이브리드 영상 스캐닝부(120)에서 획득된 열화상 이미지들 및 실화상 이미지들은 FOV 가 고정된 상태에서 기 정해진 경로로 이동됨으로, 시간의 흐름에 따라 열파 및 외관이 변화하는 과정을 포함한다. 따라서 하이브리드 영상 스캐닝부(120)에서 획득하는 이미지들은 손상 검출에 적합하도록 통합 및 재구성될 필요가 있다. 이에 따라, 프로세서(133)는 왜곡 보정된 이미지들에 대해 시공간 병합 좌표 변환(time-spatial-integrated coordinate transformation)을 수행함으로써 통합 이미지를 생성한다.

이때, 통합 이미지를 생성하기에 앞서, 프로세서(133)는 왜곡 보정된 열화상 이미지들과 실화상 이미지들에 대해 ROI(region of interest)를 설정한다. 앞서 설명한 바와 같이, 타겟 구조물이 고정된 상태에서 라인 레이저 공급부(110)와 하이브리드 영상 스캐닝부(120)가 기 정해진 경로로 이동하므로, IC 이미지 및 VC 이미지의 물리적 영역은 시간의 변화에 따라 계속해서 변화한다. 그러므로 전체 ROI에 대한 IC 이미지 및 VC 이미지를 통해 열파 양상을 해석하는 것은 매우 어렵다.

도 4에 도시된 바와 같이, 라인 레이저의 가진이 전체 FOV를 커버하지 못하기 때문에, 라인 레이저의 영향이 미치는 영역 분석 영역(analysis area)은 FOV 내에서 결정되어야 한다. 여기서, 분석 영역은 라인 레이저 공급부(110)에 의해 충분한 열 에너지가 가해져 왜곡 보정된 이미지에 열파 전파 양상이 나타나는 물리적 영역일 수 있다. 구조물 균열 검출 시스템(100)은 기설정된 경로 상에서 일방향으로 이동하므로, 라인 레이저 공급부(110)에 의해 발생되는 열파의 분포는 가우시안 분포를 따른다. 따라서, 프로세서(133)는 가우시안 분포를 FOV 영역의 y축에 매칭하여, 상기 가우시안 분포의 중간지점을 기준으로 라인 레이저의 영향이 미치는 분석 영역을 결정할 수 있다. 여기서, 가우시안 분포의 중간지점은 μ(x)를 사용하여 결정할 수 있으며, 분석 영역은 가우시안 분포의 95% 신뢰 구간을 경계로 갖는 영역일 수 있다.

이후, 프로세서(133)는 결정된 분석 영역에 대해 시공간 통합 좌표 변환을 수행함으로써, 분석 영역에 시공간적 통합을 수행한다. 이에 따라, IC 이미지들 및 VC 이미지들을 각각 시공간 통합 이미지(즉, IROI(IR Integrated ROI) 이미지 및 VROI(Vision Integrated ROI) 이미지)로 변환된다.

구체적으로, IROI이미지는 다음의 수학식 6에 의해 재구성될 수 있다.

위 식에서, μ(x) - 2σ≤ y ≤μ(x) + 2σ이며, v 는 스캐닝 속도를 나타내며, x*는 ROI 전체를 포함한(즉, 시공간 통합 좌표 변환된) 공간의 수평 영역, y는 공간의 수직 영역, t*는 변환된 시간 영역을 나타낸다. 한편, 상기 변환을 통해 분석 영역에서 열 및 냉각의 사이클(Heating and cooling cycle) 효과를 확인할 수 있다.

도 5는 전술한 방법을 통해 IROI 이미지가 생성되는 과정을 도시한다.

또한, VROI 이미지는 다음의 수학식 7에 의해 생성될 수 있다. 이때, VROI 이미지는 최종 비전(Vision final, VFinal) 이미지이다.

도 6은 전술한 방법을 통해 VROI 이미지가 재구성되는 과정을 도시한다.

이어서, 프로세서(133)는 IROI 이미지를 기준으로 균열 시각화 및 정량화를 수행한다. 이하, 도 7를 참조하여 설명한다.

먼저, 프로세서(133)는 위상 맵핑 프로세스(phase mapping process)를 수행한다. 미소 균열은 큰 균열에 의해 발생되는 위상 진폭의 영향으로 검출되지 않을 가능성이 높다. 위상 맵핑 프로세스는 각 픽셀마다 평준화함으로써 큰 균열에 의해 미소 균열이 미검출되는 것을 방지하기 위해 수행된다.

예시적으로, 도 7의 (a)에서와 같이, 프로세서(133)는 균열이 포함된 IROI 이미지의 시간 축(t*)에 대하여 힐버트 변환(Hilbert transformation)을 수행함으로써, 픽셀마다 실수와 복소수의 값을 모두 포함한 데이터를 획득할 수 있다. 이는 다음의 수학식 8로 표현된다.

위 식에서, P는 코시 주요값(Cauchy principle value)을 나타내며,

는 평행이동을 나타낸다.

프로세서(133)는 힐버트 변환을 거친 데이터에 대해 각 픽셀마다 실수부와 허수부로 나누어, 도 7의 (b)에서와 같이, 순간 위상각(instantaneous phase angle)을 산출한다. 이때, 순간위상각은 다음의 수학식 9로 산출될 수 있다.

위 식에서, Re는 데이터의 실수부를 나타내며, Im 은 데이터의 허수부를 나타낸다.

이어서 프로세서(133)는, 도 7의 (c)에서와 같이, 순간 위상각을 나타내는 이미지를 모두 t* 축에 대해 더하여 위상 이미지를 구성한다. 위상 이미지는 다음의 수학식 10으로 구성될 수 있다.

한편, 전술한 과정을 통해 획득된 위상 이미지에는 노이즈가 포함되어 있을 수 있다. 따라서, 프로세서(133)는 노이즈 제거 프로세스를 더 수행한다.

예시적으로, 프로세서(133)는 위상 이미지를 스캐닝 방향(즉, x* 축)으로 공간 미분함으로써 노이즈를 제거할 수 있다. 이는 다음의 수학식 11에 의해 수행된다.

도 7의 (d)는 상기한 과정을 통해 위상 이미지 내에서 노이즈를 제거함으로써 균열에 대한 이미지만 남긴 일례를 도시한다.

이후, 프로세서(133)는 데이터 프로세싱이 완료된 이미지(즉, 위상 이미지)를 상호 영상정합하여 영상정합 이미지를 획득하며, 영상정합 이미지에 기반하여 타겟 구조물의 균열을 시각화할 수 있다. 이때, 상호 영상정합은 픽셀 단위로 수행될 수 있으며, N:M (N, M은 자연수) 픽셀로 수행될 수도 있으나, 이에 한정되는 것은 아니며, 다양한 영상 정합 기법이 적용될 수 있다.

프로세서(133)는 영상정합 이미지를 통해 손상의 정확한 위치를 확인하고, 영상정합 이미지의 픽셀 수에 기초하여 손상 크기를 추정한다. 그리고 프로세서(133)는 검출된 손상 위치 및 손상 크기를 포함하는 손상 정보를 VFINAL 이미지(즉, VROI 이미지) 상에서 표시할 수 있다. 프로세서(133)는 손상 정보가 표시된 VFINAL 이미지를 출력 장치(예컨대, 디스플레이 장치 등) 또는 연동된 외부 장치(미도시)로 출력한다.

이하, 도 8 내지 도 10을 참조하여 본 발명의 일 실시예에 따른 균열 검출 시스템(100)의 균열 검출 효과를 구체적으로 확인한다. 다만, 본 발명은 아래의 실시예에 의하여 한정되는 것은 아니다.

[실시예]

본 실시예에서는, 아래의 표 1에서와 같은 배합비를 가지며, 1000X500X100 mm3 크기로, 압축강도가 103Mpa인 콘크리트 시편을 제작하여 도 8에서와 같은 균열을 모사하였다. 이때, ROI 내에는 큰 균열(>=500 μm)(514)과 미소 균열(<500 μm)(511 내지 513)이 모두 모사되었으며, 본 시스템의 오보를 확인하기 위한 가짜 균열(fake crack)(515)이 모사되었다.

또한, 본 실시예에서는, 콘크리트 시편을 벽면에 고정하고, 균열 검출 시스템의 라인 레이저, IR 카메라 및 비전 카메라를 지그(jig)에 설치하여 지그를 수평방향으로 23mm/s 로 이동시켰다.

본 실시예에서는, 지그를 통하여 수평방향으로 시스템을 이동시켰으나, UAV의 운용 시나리오에 따라 지정된 루트를 이동한다.

또한, 본 실시예에서는, 파장이 532nm 인 연속파 점 레이저가 발진된다. 이러한 점 레이저는 라인 제너레이터를 지나 라인 레이저로 변형되어 콘크리트 시편에 조사된다. 이때, 라인 레이저의 강도는 약 111mW/mm²이다.

또한, 본 실시예에서, 비전 카메라는 30 Hz의 프레임 레이트(frame rate)로 실화상 데이터를 생성하고, 픽셀 해상도는 1080x1920이며, IR 카메라는 30 Hz의 프레임 레이트로 열화상 데이터를 생성하고, 스펙트럼 레인지(spectrum range)는 3 μm ~ 5 μm 이며, 픽셀 해상도는 640x512 이다.

또한, 본 실시예에서, 라인 레인저는 콘크리트 시편의 표면으로부터 약 1600 mm 떨어진 위치에서 발진되며, IR 카메라(121)와 비전 카메라(122)는 약 700 mm 간격으로 떨어져 위치한다. 이때, IR 카메라와 비전 카메라에 따른 FOV의 높이와 폭은 각각 135mm, 750mm 이다.

본 발명의 일 실시예에 따른 균열 검출 시스템(100)을 통해 열화상 이미지를 생성하면, 자동으로 영상의 왜곡 보정 프로세스가 수행되며, 영상의 ROI가 설정된다. 이를 통해 도 9에서와 같은 이미지가 획득된다.

도 9는 IR 카메라로부터 획득된 원시 열화상 이미지와 본 발명의 일 실시예에 따라 시공간 통합된 열화상 이미지 를 도시한다.

도 9의 (a)는 일정 시점에 스캐닝된 원시 열화상 이미지이며, 도 9 (b)는 (a) 이미지에 시공간 통합 좌표 변환 프로세스를 통해 재구성된 열화상 시공간 통합 이미지이다. 시공간 통합 좌표 변환 프로세스를 통해, 분석 영역 전체에 대한 영상을 획득할 수 있다.

그러나 열화상 시공간 통합 이미지에서는 큰 균열에 의해 미소 균열들(601)이 흐릿하게 번져 보인다. 따라서 본 발명의 일 실시예에 따른 균열 검출 시스템(100)은 균열 정량화를 위한 작업을 수행한다. 즉, 열화상 시공간 통합 이미지의 각 픽셀에 대하여 시간 축으로의 힐버트 변환을 수행한 후, 순간 위상각을 산출하고, 축 방향으로 데이터를 합함으로써 위상 이미지를 획득한다. 도 10의 (a)는 이렇게 획득된 위상 이미지를 도시한다. 도 9의 열화상 시공간 통합 이미지와 비교하여, 도 10(a)의 위상 이미지에서는 미소균열(701)이 큰 균열(702)과 유사한 세기로 표현되는 것을 확인할 수 있다. 이를 통해 미소균열(701)에 대한 정보를 보다 정확하게 검출할 수 있다.

다만 노이즈로 인하여 균열 정량화가 어려울 수 있으므로, 추가적으로 스캐닝 방향에 대하여 공간 미분을 수행하여 노이즈를 제거한다. 도 10의 (b)는 노이즈를 제거한 이미지로서, 이를 통해 미소 균열/큰 균열을 보다 대조적으로 확인할 수 있다.

도 11은 데이터 프로세싱이 완료된 이미지(즉, 위상 이미지)를 상호 영상정합하여 시각화한 영상정합 이미지로서, 콘크리트 시편에 모사된 각 균열 부분을 확대하여 나타낸 것이다.

도 11의 (a)는 도 8의 제1 균열(511)에 대한 영상정합 이미지를 나타내고, 도 11의 (b)는 도 8의 제2 균열(512)에 대한 영상정합 이미지를 나타내며, 도11의 (c)는 도 8의 제3 균열(513)에 대한 영상정합 이미지를 나타낸다. 또한, 도 11의 (d)는 도 8의 가짜 균열(515)에 대한 영상정합 이미지를 나타낸다. 도 11의 (a) 내지 (c)에서 확인된 균열의 크기는 영상정합 이미지의 수직과 수평 축에 속하는 픽셀의 수에 기초하여 정량화가 가능하다. 이를 통해, 도 11의 (a) 및 (c)에서와 같이, 마이크로 단위의 균열 검출 및 정량화가 가능하였으며, 도 11의 (b)에서와 같이, 닫힌 균열도 검출 및 정량화 가능한 것을 확인 할 수 있다. 또한, 실화상 이미지와 IR 이미지로부터 획득된 위상 이미지들을 상호 영상정합함으로써 오보율 3 % 이내의 정량화가 가능한 것을 확인할 수 있다.

한편, 도 11의 (d)에 나타낸 가짜 균열에 따른 균열검출이 발생되지 않았음을 확인할 수 있다.

이하, 도 12를 참조하여 본 발명의 일 실시예에 따른 균열 검출 방법에 대하여 상세히 설명하도록 한다. 이하에서 설명하는 균열 검출 방법은 본 발명의 일 실시예에 따른 균열 검출 시스템(100)의 프로세서(133)를 통해 직접 처리되거나 또는 프로세서(133)의 제어에 의한 라인 레이저 공급부(110) 및 하이브리드 영상 스캐닝부(120)를 통해 처리될 수 있다.

도 12는 본 발명의 일 실시예에 따른 균열 검출 방법을 설명하기 위한 순서도이다.

라인 레이저 공급부(110)는, 프로세서(133)의 제어에 의해, 타겟 구조물에 연속파 라인 레이저를 조사한다(S110).

상기 단계(S110)와 병렬적으로, 하이브리드 영상 스캐닝부(120)는, 프로세서(133)의 제어에 의해, 연속파 라인 레이저에 동기화되어 타겟 구조물로부터 방사되는 열파를 계측하여 원시 열화상 데이터(즉, IR 이미지)(이하, '제1 이미지들'이라함)를 획득하고 타겟 구조물의 외관을 촬영하여 원시 실화상 데이터(즉, VR 이미지)(이하, '제2 이미지들'이라함)를 획득한다(S120). 이때, 제1 이미지들 및 제2 이미지들은 프로세서(133)로 제공된다.

프로세서(133)로 전달된 제1 및 제2 이미지들은 균열 검출에 적합하도록 재구성되며, 이에 대한 데이터 프로세싱을 수행한다(S130).

먼저, 프로세서(133)는 제1 이미지들 및 제2 이미지들 각각에 영상 왜곡 보정 프로세스를 수행한다(S131). 영상 왜곡 보정 프로세스는 상기 제1 및 제2 이미지와 캘리브레이션 마커 간의 이차원 호모그래피를 획득하는 과정, 이차원 호모그래피를 기초로 카메라 내부 파라미터 및 외부 파라미터를 산출하는 과정, 및 상기 내부 파라미터 및 외부 파라미터를 3차원 실제 세계와 2차원 이미지 평면 간의 상관 관계가 모델링된 수학식(예컨대, 수학식 1)에 적용하여 왜곡보정된 제1 이미지들(즉, IC 이미지들) 및 왜곡보정된 제2 이미지들(즉, VC 이미지들)을 획득하는 과정을 포함할 수 있다.

다음으로, 프로세서(133)는 왜곡보정된 제1 및 제2 이미지들에 대해 시공간 통합 좌표 변환(time-spatial-integrated coordinate transformation)을 수행하여, 상기 왜곡보정된 제1 및 제2 이미지들을 각각 제1 시공간 통합 이미지(즉, IROI 이미지) 및 제2 시공간 통합 이미지(VROI 이미지)로 변환한다(S132). 이때, 프로세서(133)는 시공간 통합 좌표 변환을 수행하기 이전에 분석 영역을 설정할 수 있다. 예시적으로, 프로세서(133)는 타겟 구조물에 조사된 라인 레이저 빔의 열파 분포가 따르는 가우시안 분포를 FOV 의 y 축에 매칭하여, 가우시안 분포의 기 설정된 신뢰 구간을 경계로 갖는 분석 영역을 설정할 수 있다.

이후, 프로세서(133)는 균열 시각화 및 정량화를 위한 데이터 프로세싱을 수행한다.

구체적으로, 프로세서(133)는 제1 시공간 통합 이미지(즉, IROI 이미지)를 기준으로 위상 맵핑 프로세스(phase mapping process)를 수행하여 위상 이미지를 생성한다(S133). 위상 맵핑 프로세스는 각 픽셀마다 평준화함으로써 큰 균열에 의해 미소 균열이 미검출되는 것을 방지하기 위한 작업으로서, 균열이 포함된 제1 시공간 통합 이미지의 시간 축(t*)에 대하여 힐버트 변환(Hilbert transformation)하고, 각 픽셀의 순간 위상각을 산출한 후, 시간 축에 대해 순간 위상각을 더하는 과정을 포함한다.

이때, 프로세서(133)는 위상 이미지에 포함된 노이즈를 제거하는 과정을 더 수행할 수 있다. 예시적으로, 노이즈 제거 프로세스는 위상 이미지를 스캐닝 방향으로 공간 미분함으로써 이뤄질 수 있다.

다음으로, 프로세서(133)는 위상 이미지를 상호 영상정합하여 영상정합 이미지를 생성한다(S134). 영상정합 이미지는 위상 이미지의 픽셀 단위로 수행될 수 있으며, N:M(N, M은 자연수) 픽셀로 수행될 수도 있으나, 이에 한정되는 것은 아니다.

프로세서(133)는 영상정합 이미지를 시각화하여 균열 검출 결과 및 균열 정보를 획득할 수 있으며, 이러한 균열 검출 결과 및 균열 정보를 제2 시공간 통합 이미지(즉, VROI 이미지) 상에 표시하여 이는 출력 장치나 외부 장치로 출력될 수 있다(S140).

이상에서 설명한 본 발명의 실시예에 따른 균열 검출 시스템 및 이를 통한 균열 검출 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

또한, 본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수도 있다.

본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 균열 검출 시스템 110: 라인 레이저 공급부
120: 하이브리드 영상 스캐닝부 130: 제어부

Claims

구조물의 균열을 검출하는 균열 검출 시스템에 있어서,
타겟 구조물에 연속파 라인 레이저(Continuous Wave line laser)를 조사하는 라인 레이저 공급부;
상기 라인 레이저 공급부와 동기화되어 기 정해진 경로로 이동하는 IR(Infra-Red) 카메라 및 비전(vison) 카메라를 포함하며, 상기 타겟 구조물에서 방사된 열파(thermal wave)를 계측하여 열화상 이미지들을 생성하고 타겟 구조물의 외관을 촬영하여 실화상 이미지들을 생성하는 하이브리드 영상 스캐닝부; 및
상기 열화상 이미지들 및 상기 실화상 이미지들에 대해 왜곡 보정 프로세스, 시공간 통합 좌표 변환(time-spatial-integrated coordinate transformation) 프로세스, 및 위상 맵핑 프로세스(phase mapping process)를 수행하고, 상기 수행 결과에 따른 이미지를 상호 영상정합하여 상기 타겟 구조물의 균열을 시각화하는 제어부를 포함하되,
상기 제어부는,
상기 타겟 구조물에 조사된 레이저 빔의 열파 분포가 따르는 가우시안 분포의 기 설정된 신뢰 구간을 경계로 갖는 분석 영역을 설정하고, 상기 설정된 분석 영역에 대해 시공간 통합 좌표 변환 프로세스를 수행하며,
상기 수행 결과에 따른 이미지를 상호 영상정합하여 영상정합 이미지를 획득하고, 상기 영상정합 이미지의 픽셀 값에 기초하여 미소 균열을 포함한 균열의 위치 및 크기를 추정하는 위상 맵핑 프로세스를 수행하는 것인, 균열 검출 시스템.
제 1 항에 있어서,
상기 왜곡 보정 프로세스는
상기 열화상 이미지들 및 상기 실화상 이미지들과 캘리브레이션 마커(calibration marker) 간의 이차원 호모그래피(homography) 행렬을 추정하고, 상기 이차원 호모그래피 행렬을 기초로 카메라 내부 파라미터 및 외부 파라미터를 산출하며,
상기 내부 파라미터 및 외부 파라미터를 3차원 실제 세계 및 2차원 이미지 평면 간의 상관 관계가 모델링된 수학식에 적용하여 상기 열화상 이미지들 및 상기 실화상 이미지들을 왜곡보정된 이미지로 변환하는 것인 균열 검출 시스템.
제 2 항에 있어서,
상기 제어부는,
상기 왜곡 보정된 열화상 이미지들 및 상기 왜곡보정된 실화상 이미지들 각각에 대해 시공간 통합 좌표 변환을 수행하여, 상기 왜곡 보정된 열화상 이미지들 및 상기 실화상 이미지들 각각을 열화상 시공간 통합 이미지 및 실화상 시공간 통합 이미지로 변환하는 것인 균열 검출 시스템.
제 3 항에 있어서,
상기 제어부는,
상기 열화상 시공간 통합 이미지에 대해 분석 영역에 대응하는 시간 축으로의 힐버트 변환(Hilbert transformation)을 수행한 결과 데이터로부터 순간 위상각(instantaneous phase angle)을 산출하고,
상기 순간 위상각을 상기 시간 축에 대해 더하여 위상 이미지를 구성하는 것인 균열 검출 시스템.
제 4 항에 있어서,
상기 제어부는,
상기 위상 이미지에 대해 스캐닝 방향으로 공간 미분하여 노이즈를 제거하여 균열 정량화를 수행하는 것인 균열 검출 시스템.
제 4항에 있어서,
상기 제어부는,
상기 위상 이미지를 상호 영상정합한 영상정합 이미지에 기반하여 상기 실화상 시공간 통합 이미지 상에서 상기 타겟 구조물의 균열을 시각화하는 것인 균열 검출 시스템.
삭제
제 1 항에 있어서,
상기 제어부는,
상기 라인 레이저 공급부 및 상기 하이브리드 영상 스캐닝부로 각각 상기 라인 레이저의 조사와, 열파 계측 및 외관 촬영에 대한 제어 신호 및 동기화 신호를 전송하는 것인 균열 검출 시스템.
제 1 항에 있어서,
상기 균열 검출 시스템은 무인 항공기(Unmanned Aerial Vehicle) 또는 무인 클라이밍 로봇(climbing robot)에 탑재되는 것인 균열 검출 시스템.
균열 검출 시스템이 타겟 구조물의 균열을 검출하는 방법에 있어서,
타겟 구조물에 연속파 라인 레이저(Continuous Wave line laser)를 기 정해진 경로로 이동하며 조사하는 단계;
상기 타겟 구조물에서 방사되는 열파(thermal wave)를 상기 기 정해진 경로로 이동하며 연속 측정하여 열화상 이미지들을 생성하고, 상기 타겟 구조물의 외관을 상기 기 정해진 경로로 이동하며 촬영하여 실화상 이미지들을 생성하는 단계;
상기 열화상 이미지들과 상기 실화상 이미지들에 대해 왜곡 보정 프로세스, 시공간 통합 좌표 변환(time-spatial-integrated coordinate transformation) 프로세스 및 위상 맵핑 프로세스(phase mapping process)를 수행하는 단계; 및
상기 수행 결과에 따른 이미지를 상호 영상정합하여 상기 타겟 구조물의 균열을 시각화하는 단계를 포함하되,
상기 시공간 통합 좌표 변환 프로세스는 상기 타겟 구조물에 조사된 레이저 빔의 열파 분포가 따르는 가우시안 분포의 기 설정된 신뢰 구간을 경계로 갖는 분석 영역을 설정하고, 상기 설정된 분석 영역에 대해 시공간 통합 좌표 변환 처리를 수행하며,
상기 위상 맵핑 프로세스는, 상기 수행 결과에 따른 이미지를 상호 영상정합하여 영상정합 이미지를 획득하고, 상기 영상정합 이미지의 픽셀 값에 기초하여 미소 균열을 포함한 균열의 위치 및 크기를 추정하는 것인, 균열 검출 방법.
제 10 항에 있어서,
상기 왜곡 보정 프로세스는
상기 열화상 이미지들 및 상기 실화상 이미지들과 캘리브레이션 마커(calibration marker) 간의 이차원 호모그래피(homography) 행렬을 추정하고, 상기 이차원 호모그래피 행렬을 기초로 카메라 내부 파라미터 및 외부 파라미터를 산출하며,
상기 내부 파라미터 및 외부 파라미터를 3차원 실제 세계 및 2차원 이미지 평면 간의 상관 관계가 모델링된 수학식에 적용하여 상기 열화상 이미지들 및 상기 실화상 이미지들을 왜곡보정된 이미지로 변환하는 것인 균열 검출 방법.
제 11 항에 있어서,
상기 시공간 통합 좌표 변환 프로세스는,
상기 왜곡 보정된 열화상 이미지들 및 상기 왜곡보정된 실화상 이미지들 각각에 대해 시공간 통합 좌표 변환을 수행하여, 상기 왜곡 보정된 열화상 이미지들 및 상기 왜곡보정된 실화상 이미지들 각각을 열화상 시공간 통합 이미지 및 실화상 시공간 통합 이미지로 변환하는 것인 균열 검출 방법.
제 12 항에 있어서,
상기 위상 맵핑 프로세스는
상기 열화상 시공간 통합 이미지에 대해 분석 영역에 대응하는 시간 축으로의 힐버트 변환(Hilbert transformation)을 수행한 결과 데이터로부터 순간 위상각(instantaneous phase angle)을 산출하고, 상기 순간 위상각을 상기 시간 축에 대해 더하여 위상 이미지를 구성하는 것인 균열 검출 방법.
제 10 항 내지 제 13 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.