KR20240050012A - 교각 구동장치를 이용한 ai 균열 검출방법 - Google Patents

Abstract

본 발명은 학습데이터로서 부족한 교량의 균열학습 데이터를 확장하여 증강 데이터를 생성하고, 이를 토대로 기계학습을 시켜, 더 우수한 균열검출 능력을 확보하며, 균열 검출을 위한 이미지 처리에 소요되는 프로세싱 자원을 최소화 하여 정확하고 신속하게 균열을 검출하는 교각 구동장치를 이용한 AI 균열 검출방법을 제안한다. 이를 위해 본 발명은, 복수의 카메라를 이용하여 교각을 촬상하는 교각 구동장치를 이용하며, a) 상기 교각 이외의 피사체가 촬상된 이미지 영역을 제거하고, 상기 각 카메라의 영상이 상기 교각의 형태에 맞도록 보정하는 전처리 단계, b) 상기 전처리된 영상을 상기 각 카메라별로 스티칭하여 교각 영상을 형성하고, 상기 교각 영상을 복수의 타일로 구획하며, 상기 각 타일별로 균열학습 데이터를 참조하여 균열 타일을 검출함으로써 영상처리 부하를 낮추는 균열 검출 단계, c) 상기 균열 타일에 대해 골격화기법(skeletonize)을 적용하여 상기 균열 타일에 포함되는 균열의 중심 라인을 남기고 이를 측정 및 수치화하는 수치화 단계를 포함할 수 있다.

Description

교각 구동장치를 이용한 AI 균열 검출방법{Method for detecting a crack}

본 발명은 균열 검출방법에 관한 것으로, 특히 복수의 카메라가 장착된 교각 구동장치를 이용하여 촬상된 영상을 이용하여 교각의 균열을 검출하는 교각 구동장치를 이용한 AI 균열 검출방법에 관한 것이다.

교량의 노후화와 이에 따른 균열현상을 검출하는 작업은 통상 작업자가 직접 관측하여 관측지에 기록하는 방식으로 수행되고 있다. 이때, 작업자는 교량에 발생한 균열의 크기와 위치를 기록하게 되며, 필요에 따라 사진을 촬상하여 관측지에 첨부하고 있다. 현재 이러한 과정은 작업자의 수작업에 의존하고 있다.

수작업에 의한 관측과 기록은 종종 작업자에 의해 누락되거나, 그 위험도가 간과되는 경향이 있다. 이에 대해 드론을 이용하여 교각을 촬상하는 방안이 제안된 바 있다. 그러나, 카메라가 장착된 드론으로 교각을 촬상할 때, 교각 아래에 드론이 위치할 경우, GPS 미수신 구간에서 비행이 곤란할 수 있으며, 강풍이 부는 교각 부근에서 드론은 자세 제어가 곤란하고, 추락의 위험도 상존한다.

특히나, 강을 가로지르는 교량을 지지하는 교각이라면, 교각 사이를 지나는 바람의 강도에 의해 드론의 자세제어는 매우 어려울 수 있다.

이에 본 출원인은 대한민국 등록특허 제10-2123189호(균열탐지 로봇)를 통해 교각에 밀착하여 승강하면서 교각에 대한 영상을 촬상하는 교각 구동장치를 제안한 바 있다. 제안된 균열탐지 로봇은 교각의 길이 방향을 따라 수직하게 승강하면서 4개의 카메라를 이용하여 교각을 촬상한다.

등록특허 제10-2123189호에 제안된 균열탐지 로봇은 드론을 이용하는 방법 대비 교각에 안정적으로 밀착하면서 영상을 촬상하며, 강풍에 의해 쉽게 추락하거나 파손되지 않도록 하는데 주안점을 두었다. 본 출원인은 선 출원되어 등록된 등록특허 제10-2123189호의 균열탐지 로못을 이용하여 교각 영상을 분석하고 균열을 검출하는 방안을 제안하고자 한다.

- 대한민국 등록특허 제10-2081736호(교량용 콘크리트 구조물의 균열보수 정보 검출장치) - 대한민국 공개특허 제10-2021-0077322호(인공지능 기반의 시설물 외판 분석 방법) - 대한민국 등록특허 제10-2202572호(드론의 촬영영상과 인공지능 알고리즘 기반의 도로표면 균열 검출 방법 및 시스템)

본 발명의 목적은 균열학습 데이터에 대한 증강 데이터를 추가로 생성하여 학습 데이터를 확장하고 확장된 균열학습 데이터를 토대로 기계학습을 수행하여 교각 영상에서 정확하고 효율적으로 균열을 검출할 수 있는 교각 구동장치를 이용한 AI 균열 검출방법을 제공함에 있다.

본 발명의 다른 목적은 촬상된 영상에 대해 골격화 기법을 적용하여 균열의 치수를 산출하거나, 또는 균열이 발생된 영역이 교각의 치수에서 차지하는 상대적 비율을 참조하여 균열을 수치화하는 교각 구동장치를 이용한 AI 균열 검출방법을 제공함에 있다.

상기한 목적은 본 발명에 따라, 복수의 카메라를 이용하여 교각을 촬상하는 교각 구동장치를 이용하며, a) 상기 교각 이외의 피사체가 촬상된 이미지 영역을 제거하고, 상기 각 카메라의 영상이 상기 교각의 형태에 맞도록 보정하는 전처리 단계; b) 상기 전처리된 영상을 상기 각 카메라별로 스티칭하여 교각 영상을 형성하고, 상기 교각 영상을 복수의 타일로 구획하며, 상기 각 타일별로 균열학습 데이터를 참조하여 균열 타일을 검출함으로써 영상처리 부하를 낮추는 균열 검출 단계; c) 상기 균열 타일에 대해 골격화기법(skeletonize)을 적용하여 상기 균열 타일에 포함되는 균열의 중심 라인을 남기고 이를 측정 및 수치화하는 수치화 단계;에 의해 달성된다.

여기서, 상기 균열 학습 데이터는, 균열 데이터, 및 상기 균열 데이터에 대한 증강 데이터를 통해 학습된 데이터에 대응하고, 상기 증강 데이터는, 상기 균열 데이터에 대해 영상 반전, 영상 흐림(Blur), 및 영상 밝기를 변경하여 재 생성된 데이터인 것이 바람직하다.

여기서, 상기 a) 단계는, 상기 영상에서 상기 교각 이외의 피사체가 포함되는 이미지 영역을 크롭 처리 후, SIFT 기법에 따라 상기 각 카메라별 영상을 스티칭하는 단계일 수 있다.

여기서, 상기 (b) 단계는, RANSAC(RANdom SAmple consensus) 알고리즘을 적용하여 상기 타일 중 이웃하는 타일에 포함되는 오류 특징점을 제거 후 상기 스티칭을 수행하는 것이 바람직하다.

여기서, 상기 a) 단계는, 상기 각 카메라별 영상을 흑백 처리하는 단계;를 더 포함할 수 있다.

상기한 목적은 본 발명에 따라, 복수의 카메라를 이용하여 교각을 촬상하는 교각 구동장치를 이용하며, a) 상기 교각 이외의 피사체가 촬상된 이미지 영역을 제거하고, 상기 각 카메라의 영상이 상기 교각의 형태에 맞도록 보정하는 전처리 단계; b) 상기 전처리된 영상을 상기 각 카메라별로 스티칭하여 교각 영상을 형성하고, 상기 교각 영상을 복수의 타일로 구획하며, 상기 각 타일별로 균열학습 데이터를 참조하여 균열 타일을 검출함으로써 영상처리 부하를 낮추는 균열 검출 단계; c) 상기 균열 타일에서 균열을 포함하는 박스 영역을 설정하고, 상기 박스 영역을 상기 교각의 치수와 비교하여 상기 균열영역의 상대적 치수를 산출하는 단계; 및 d) 상기 박스 영역의 치수를 토대로 상기 균열 영역 내에 위치하는 균열 길이에 대한 근사값을 산출하는 단계;에 의해 달성된다.

여기서, 상기 d) 단계는, 상기 박스 영역의 치수 중 어느 하나는 상기 교량의 치수정보의 상대값으로 산출되고, 다른 하나는 상기 상대값을 상기 박스 영역의 가로 세로 비율을 적용하여 산출되는 단계일 수 있다.

여기서, 상기 균열 학습 데이터는, 균열 데이터, 및 상기 균열 데이터에 대한 증강 데이터를 통해 학습된 데이터에 대응하고, 상기 증강 데이터는, 상기 균열 데이터에 대해 영상 반전, 영상 흐림(Blur), 및 영상 밝기를 변경하여 재 생성된 데이터일 수 있다.

여기서, 상기 a) 단계는, 상기 영상에서 상기 교각 이외의 피사체가 포함되는 이미지 영역을 크롭 처리 후, SIFT 기법에 따라 상기 각 카메라별 영상을 스티칭하는 단계인 것이 바람직하다.

여기서, 상기 (b) 단계는, RANSAC(RANdom SAmple consensus) 알고리즘을 적용하여 상기 타일 중 이웃하는 타일에 포함되는 오류 특징점을 제거 후 상기 스티칭을 수행하는 것이 바람직하다.

여기서, 상기 a) 단계는, 상기 각 카메라별 영상을 흑백 처리하는 단계;를 더 포함할 수 있다.

본 발명에 따르면, 학습데이터로서 부족한 교량의 균열학습 데이터를 확장하여 증강 데이터를 생성하고, 이를 토대로 기계학습을 시켜, 더 우수한 균열검출 능력을 확보할 수 있다.

본 발명에 따르면, 균열 검출을 위한 이미지 처리에 소요되는 프로세싱 자원을 최소화 하여 정확하고 신속하게 균열을 검출할 수 있다.

본 발명에 따르면, RANSAC 알고리즘을 적용하여 형태와 색상이 일정한 교각에서도 오류 특징점에 의한 스티칭 오류를 최소화하고 이를 통해 영상처리의 속도와 정확성을 향상시킬 수 있다.

도 1은 본 발명에 적용되는 교각 구동장치의 형상 및 사용방법에 대한 참조도면을 도시한다.
도 2는 본 발명에 따른 교각 구동장치를 이용한 AI 균열 검출방법이 수행되는 시스템에 대한 시스템 개념도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 교각 구동장치를 이용한 AI 균열 검출방법에 대한 흐름도를 도시한다.
도 4는 교각 영상에 포함되는 비촬상영역과 비촬상 대상의 일 예에 대한 참조도면을 도시한다.
도 5는 도 4의 영상에 대해 크롭처리된 일 예에 따른 참조도면을 도시한다.
도 6과 도 7은 RANSAC 알고리즘을 이용하여 외부 노이즈를 억제하는 방법에 대한 개념도를 도시한다.
도 8은 교각 영상에 대한 영상 표준화를 처리하는 방법에 대한 개념도를 도시한다.
도 9는 타일을 생성하는 방법에 대한 참조도면을 도시한다.
도 10은 균열 영상에 대한 골격화기법을 적용하여 균열을 수치화하는 방법에 대한 참조도면을 도시한다.
도 11은 균열의 치수에 대한 근사값을 산출하는 방법에 대한 참조도면을 도시한다.
도 12는 본 발명의 교각 구동장치를 이용한 AI 균열 검출방법을 적용하여 실제 교각에서 감지된 균열을 시스템에 연결되는 디스플레이장치로 표현한 일 예를 도시한다.

본 명세서에서 언급되는 교각 구동장치는, 교각에 밀착되어 교각의 길이 방향을 따라 승강하며, 복수의 카메라를 이용하여 영상을 촬상하는 영상 촬상장치를 지칭할 수 있다.

또한, 본 명세서에서 언급하는 교각은, 교량의 하중을 지지하는 수직 구조물을 지칭할 수 있다.

상기한 교각 구동장치는 바 타입의 거치대에 복수의 카메라(바람직하게는 4개의 카메라)가 거치되고, 각각 거치되는 카메라는 광각 카메라일 수 있다. 이는 교각 사이를 지나는 강풍에 의한 교각 구동장치의 흔들림을 방지하고자 교각 구동장치가 교각과 수 센티미터에서 50 센티미터의 거리로 교각과 밀착 상태로 승강함에 따라, 교각 구동장치가 교각 영상 확보를 위해 광각 카메라가 요구된다.

본 명세서에서 언급되는 교각 구동장치는, 본 출원인의 등록특허인 "대한민국 등록특허 제10-2123189호(균열탐지 로봇)"에 상술되어 있으며, 상세한 구조와 작동 방식에 대한 내용은 해당 문건을 참조하도록 한다.

본 명세서에서 언급되는 교각 영상은 두 가지 의미로 기재될 수 있다.

교각 구동장치에 부착되는 각 카메라별 영상이 하나로 스티칭된 것(이하, 전체 교각 영상이라 지칭한다)을 지칭하거나, 또는 각 카메라별로 스티칭된 영상이 통합된 것을 지칭할 수 있다.

이때, 각 카메라별로 스티칭된 영상은 전체 교각 영상 대비 1/4을 차지할 수 있다.

본 명세서에서 언급되는 교각 구동장치를 이용한 AI 균열 검출방법은 CPU(Central Processing Unit), RAM(Random Access Memory), 본 발명에 따른 알고리즘이 구현된 프로그램이 탑재되는 저장매체(예컨대 SSD, HDD), 입출력장치(예컨대 키보드, 마우스 및 트랙볼 등) 및 디스플레이장치를 구비하는 컴퓨팅 시스템에 의해 수행될 수 있다.

이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다.

도 1은 본 발명에 적용되는 교각 구동장치의 형상 및 사용방법에 대한 참조도면을 도시한다.

도 1을 참조하면, 교각 구동장치(10)는 교각(1)에 밀착 설치되고, 와이어(5)에 의해 교각(1)을 상하 승강하며, 몸체에 4개의 카메라(11)가 설치되어 교각(1)의 단면을 촬상하도록 구성된다.

교각 구동장치(10)는 몸체의 양측 종단에 지지부(12)가 마련되어 바 타입의 몸체가 바람이나 외력에 의한 흔들림이 발생하는 것을 최소화하도록 구성된다.

도시된 교각 구동장치(10)는 유선 또는 무선에 의해 시스템에 연결되거나, 또는 내장된 저장장치에 저장된 것을 추후 시스템에 제공할 수 있다.

도 2는 본 발명에 따른 교각 구동장치를 이용한 AI 균열 검출방법이 수행되는 시스템에 대한 시스템 개념도를 도시한다.

실시예에 따른 시스템(100)은 CPU, RAM, 스토리지(SSD, HDD), 입출력장치(키보드, 마우스 및 트랙볼 등) 및 디스플레이장치를 구비하는 것으로, 도시된 유형은 퍼스털 컴퓨터나 서버일 수도 있고, 임베디드 장치의 형태로 구현된 것이거나, CPU의 성능이 충분하다면, 태블릿이나 스마트폰 같은 유형의 장치가 될 수도 있다. 시스템(100)은 교각 구동장치(10)와 유선 또는 무선으로 연결될 수도 있으며, 교각 구동장치(10)에서 촬상된 영상을 획득하여 균열을 추출하고 이를 수치화하여 디스플레이장치(110)에 표시할 수 있다.

도 3은 본 발명의 일 실시예에 따른 교각 구동장치를 이용한 AI 균열 검출방법에 대한 흐름도를 도시한다.

먼저, 시스템(100)은 교각 구동장치(10)에 마운트되는 각 카메라(11a 내지11d)에서 촬상되는 영상에 대해 전처리를 수행한다(S101).

전술한 바와 같이, 교각 구동장치(10)에는 4개의 카메라(11a 내지 11d)가 마운트되며, 각 카메라(11a 내지11d)는 교각(1)의 너비 방향을 따라 배열되어 교각(1)의 표면을 촬상한다.

이때, 카메라(11a)와 카메라(11d)에서 촬상된 영상은 교각(1)의 배경이 촬상될 수 있다. 예컨대, 카메라(11a, 11d)는 피사체인 교각(1)의 표면 이외의 배경이나 구조물을 추가로 촬상할 수 있다. 피사체(교각) 이외의 것은 균열 분석에 불필요하므로, 시스템(100)은 각 카메라(11a 내지 11d)별 영상에서 피사체 이외의 것이 포함되는 영역을 제거하는 것이 바람직하다.

교각 구동장치(10)는 교각의 길이 방향을 따라 상하 승강하므로, 피사체 이외의 영역은 각 카메라(11a 내지 11d) 중 카메라(11a)와 카메라(11d)에서 주로 발생하게 되며, 일정한 세로방향 영역에서 발생하는 특징이 있다. 이는 도 4를 함께 참조하여 설명하도록 한다.

도 4에 나타난 바와 같이 교각 영상에는 교각(1)이 포함되는 영역(S0)과 교각 이외의 배경이 포함되는 영역(S1)이 존재한다.

교각 이외의 피사체는 균열 탐지를 위해 불필요하므로, 제거되어야 하며, 교각 구동장치(10)가 교각(1)의 길이 방향을 따라 승강하므로 그 형태와 위치도 상하로 길게 이어지는 직사각형 형태를 가질 수 있다.

도 4에서, 시스템(100)은 S1 영역을 제거하여 교각(1)에 대한 영역(S0) 만을 남길 수 있다. 한편, 교각(1)을 승강하는 교각 구동장치(10)는 지지대(12)를 포함할 수 있으며, 교각 구동장치(10)의 지지대(12)의 일부가 카메라(11a 내지 11d)에 촬상될 수 있다.

외부의 강풍이나 교량의 흔들림에 의해 교각 구동장치(10)가 흔들리는 것을 최소화할 목적으로 교각 구동장치(10)는 교각(1)과 수 센티미터 내지 수십 센티미터(cm)의 거리로 밀착된다.

따라서, 시스템(100)은 지지대(12)와 같이 교각(1)과 관련없는 영역을 제거할 필요가 있으며, 이를 위해 카메라(11a 내지 11d)에서 촬상된 영상에 대해 크롭(CROP) 처리할 수 있다. 크롭 처리된 영상의 형태는 도 5와 같다.

도 5에 도시된 바와 같이, 시스템(100)에 의해 크롭 처리된 영상을 살펴보면, 지지대(12)가 위치하는 영역을 잘라내어 제거하였고, 또한, 비 촬상영역에 해당하는 영역(S1)도 제거하였음을 볼 수 있다.

도 5에 도시된 바와 같이 시스템(100)에서 전처리된 영상은 이후 RANSAC(RANdom SAmple consensus) 알고리즘에 따라 필터링되고 이어서 이미지 표준화를 수행하게 된다.

RANSAC 알고리즘은 영상을 구성하는 데이터 셋(data set)에서 노이즈를 제거하고 모델을 예측하는 알고리즘에 해당한다.

교각 촬영 영상은 통상의 피사체에 대한 영상과는 달리 매우 특징이 적은 영상에 해당한다.

콘크리트 벽의 색상은 위치와 관계없이 유사하고, 특징적인 무늬나 형태를 기대하기 어려워, 각 카메라(11a 내지 11d) 별로 영상을 스티칭할 때, 특징점을 찾기가 매우 어려운 특성이 있다.

특징점을 찾기도 어려운데, 외부 노이즈까지 유입된다면, 스티칭 작업은 매우 곤란하게 될 우려가 크다.

각 카메라(11a 내지 11d)가 교각(1)에 대한 교각 영상을 촬상 중 교각 구동장치(10)에 잠시 흔들림이 발생할 경우 교각 영상들 중 일부는 타 영상 대비 크게 틀어질 수 있으며, 이 경우 흔들림이 발생한 영상과 그렇지 않은 영상을 스티칭할 때, 흔들린 교각 영상의 특징점의 위치가 흔들리지 않은 영상의 특징점과 좌표가 매칭되지 않아 스티칭 작업이 곤란할 수 있다.

이에 시스템(100)은 도 5에 나타난 바와 같이 크롭 처리된 교각 영상에 대해 RANSAC 알고리즘을 적용하여 흔들림에 의해 발생하는 외부 노이즈를 최소화할 수 있다. 이는 도 6과 도 7을 함께 참조하여 설명하도록 한다.

먼저, 도 6에서 RANSAC 알고리즘에 따른 데이터 셋(data set)을 살펴보면, 도 6의 (a)에서 파란 색 점으로 표시된 것이 데이터를 나타내고 도 6의 (b)는 데이터의 영상값에 대해 LMS(Least Mean Square)을 적용하여 그래프로 표현한 것이다.

도 6의 (b)에 나타난 바와 같이 RANSAC 알고리즘에 따른 그래프는 데이터들의 평균값을 추종하는 특성을 보인다.

다음으로, 도 7을 통해 RANSAC 알고리즘을 통해 외부 노이즈를 억제하는 방법을 살펴보도록 한다.

도 7을 살펴보면, 외부 노이즈가 S2 영역에서 발생할 경우 RANSAC 알고리즘은 노이즈에 의해 발생한 값 보다는 타 데이터들(도 7의 (c))의 추종값을 따라 도 7의 (d)와 같이 그래프가 결정되는 것을 볼 수 있다. 도 7의 (d)를 보면, 그래프는 노이즈를 따라 굴곡되지 않고, 파란색 점으로 표시되는 데이터 셋의 추종값을 따라 완만한 포물선을 그리는 것을 볼 수 있다.

본 출원인은 RANSAC 알고리즘의 특성을 교각 구동장치(10)의 흔들림을 억제하는 용도로서 이용하고자 하며, 영상을 크롭 처리 후, RANSAC 알고리즘을 적용하여 교각 구동장치(10)에 흔들림이 발생할 경우에도 카메라(11a 내지 11d)에서 촬상된 영상의 흔들림을 억제할 수 있다.

RANSAC 알고리즘에 따라 교각 영상의 오류를 보정 후, 시스템(100)은 각 카메라(11a 내지 11d) 별로 촬상된 영상에 대해 영상 표준화를 수행할 수 있다. 영상 표준화는 카메라(11a 내지 11d)에서 촬상된 영상들이 카메라(11a 내지 11d)의 이동이나 흔들림에 의해 피사체가 왜곡된 것을 보정하는 것으로서, 이는 도 8에 도시된 바와 같이 영상 표준화를 진행할 수 있다.

도 8에 도시된 바와 같이, 본 발명에 따른 전처리의 최종 단계는 교각 구동장치(10)의 흔들림에 의해 카메라(11a 내지 11d)에 흔들림이 발생할 경우 흔들린 영상을 교각 형태에 따라 보정하는 단계에 해당한다. 도 8에서, 보정전 영상의 사각 테두리에 붉은 색 점이 4개 표시되어 있는데, 이를 기준으로 영상의 형태를 사각형으로 보정하는 것이 바람직하다.

보정된 결과는 도 8의 우측에 표시된 "보정후" 영상에 나타난 바와 같다. 바람직하게는, 사각으로 보정된 후, 또는 보정하기 이전의 영상은 흑백으로 처리될 수 있다. 이는 시스템(100)에서 이미지 프로세싱을 수행할 때, 컬러 정보를 처리하는데 리소스를 사용하지 않도록 한다. 컬러의 영상을 이미지 프로세싱 하는 것 보다, 흑백의 영상을 이미지 프로세싱 하는 것이 시스템(100)의 부하를 크게 경감할 수 있다.

이상으로, S101 단계에 따른 영상의 전처리 과정을 살펴보았다. 이하 스티칭 과정에 대해 살며보기로 한다.

전술한 바와 같이 각 카메라(11a 내지 11d)에서 촬상되는 영상에 대해 전처리가 수행된 후, 시스템(100)은 각 카메라별(11a 내지 11d) 영상에 대해 스티칭 작업을 수행할 수 있다(S102).

스티칭 작업은 각 영상의 크기와 회전에 따라 변하지 않는 특징점을 추출하고, 특징점을 중심으로 두 영상을 이어 붙이는 방법에 의해 수행될 수 있다. 본 발명에서는 카메라(11a 내지 11d 중 어느 하나)에서 연속 촬상되는 두 개의 영상에서 각각 특징점을 추출하고, 추출된 특징점들 중 유사한 것끼리 매칭하여 두 개의 영상을 이어 붙일 수 있다.

본 발명에서는 SIFT(Scale-Invariant Feature Transform) 기법에 따라 스티칭을 수행하는 것을 예시하나 SIFT 기법 이외에도 특징점을 찾아 시간적으로 연속되는 두 개의 이웃한 영상을 이어 붙일 수 있는 스티칭 기법이 있다면 적용할 수 있음은 물론이다.

영상의 스티칭은 각 카메라(11a 내지 11d) 별로 수행된 후, 최종적으로 하나의 영상으로 스티칭되어 전체 교갹 영상을 형성할 수 있다(S103).

전체 교각 영상을 구축한 후, 시스템(100)은 전체 교각 영상을 복수의 타일로 구획할 수 있다(S104). 이는 도 9를 함께 참조하여 설명하도록 한다.

도 9의 (a)는 각 카메라(11a 내지 11d)에서 촬상된 모든 영상을 모아 스티칭한 전체 교각 영상을 나타낸다. 전체 교각 영상은 교각 크기 만큼 높은 해상도로 구성되며, 데이터의 크기는 해상도에 따라 수 기가 바이트 내지 수십 기가비이트(GB)에 해당할 정도로 매우 크다.

도 9의 (b)는 전체 교각 영상을 복수의 타일로 구획하는 것을 나타내고, 도 9의 (c)는 구획된 각 타일을 나타낸다.

전체 교각 영상을 시스템(100)에 로드하고, 이에 대해 AI 학습된 결과와 비교한다면, 수 기가바이트 내지 수십 기가바이트에 달하는 엄청난 데이터량을 시스템(100)이 처리해야한다.

이 경우, 시스템(100)에 가해지는 부담이 매우 높아지는 것은 자명하며, 시스템(100)은 내장된 RAM에 전체 교각 영상을 로드 후 이미지 프로세싱을 수행해야 한다.

시스템(100)에서 전체 교각 영상을 처리하는데 가해지는 부하가 매우 높아지며, 시스템(100)의 이미지 처리 시간 또한 매우 많이 소요된다. 이에 본 출원인은 온전한 전체 교각 영상을 생성 후, 시스템(100)에서 쉽고 간단하게 처리할 수 있도록 복수의 타일로 구획하는 방법을 제시한다.

다음으로, 시스템(100)은 각 타일에 대해 하여 균열 검출을 수행할 수 있다(S105). 균열 검출은 시스템(100)에서 기존의 균열 학습 데이터를 이용할 수 있는데, 본 발명에서는 학습 데이터를 아래의 두 가지로 확장하여 구축하고, 구축된 학습 데이터를 이용하여 시스템(100)에 균열을 검출할 수 있다.

1) 교각에 대해 기존에 촬영된 균열 영상을 균열 데이터로 하여 학습하는 방안,

2) 균열 데이터에 대해 증강 데이터를 추가로 생성하고, 균열 데이터와 증강 데이터를 이용하여 시스템(100)을 학습시키는 방안이 있다.

교각에 대한 균열 데이터는 실제 구하기가 쉽지 않다. 교각에 문제가 발생하기 전에 정부나 지방자치단체는 교각을 보수 및 정비하므로 실제 교각에 균열이 발생할 때까지 잘 방치하지 않는다. 따라서, 교각에 대한 균열 데이터가 생각많큼 많지 않다. 또한, 균열 데이터가 촬상되는 환경, 즉, 촬상되는 시점의 광량이나 촬상한 시점의 영상 선명도는 균일하지 않다.

이에 본 출원인은 기존에 존재하는 균열 데이터에 대한 증강 데이터를 생성하고, 이를 시스템(100)에 추가로 학습시켜 시스템(100)의 균열 검출의 효율을 증대시키고자 한다.

이를 위해, 시스템(100)은 자체적으로 또는 타 시스템에서 처리된 증강 데이터를 받아서 추가로 학습을 진행할 수 있으며, 증강 데이터는,

3) 균열 데이터에 대해 밝기나 명암을 증감한 데이터

4) 균열 데이터에 대해 좌우 반전, 상하 반전을 시켜 다양한 유형의 균열을 재 창조한 데이터

5) 균열 데이터에 대해 흐림(Blur) 효과를 주어 선명도를 낮추고, 균열의 형상을 벌리는 유형의 데이터

시스템(100)은 3) 내지 5) 항목에 따라 확장 형성되는 증강 데이터 및 기존의 균열 데이터를 이용하여 AI 학습을 진행하고, 이를 토대로 타일에 포함되는 균열을 검출할 수 있다.

시스템(100)이 타일 단위로 영상을 분할하고, 분할된 영상에서 균열을 검출하는 것은 균열 데이터와 증강 데이터를 이용하여 학습된 시스템(100)의 처리 부하를 경감하기 위한 것이다.

예컨대, 각 카메라별(11a 내지 11d)에서 촬상된 모든 영상을 하나로 스티칭하면 대용량의 거대 해상도를 갖는 영상이 되는데, 이 영상을 메모리에 로드하고 메모리에 로드된 것을 모두 검토하는데는 상당한 시간도 요구된다.

시스템(100)의 성능이 충분히 높다 하더라도, 처리에 소요되는 시간은 매우 길어질 수 있으며, 처리에 소요되는 프로세싱 능력 또한 통상적인 수준을 넘어서게 된다.

반면, 타일 단위로 전체 교각 영상을 분할하고, 각 분할된 타일에 대해 균열을 검출한다면, 시스템(100)의 성능이 높지 않더라도 AI 분석을 통한 균열 검출이 가능해진다. 쉽게말해 태블릿이나 노트북으로 시스템(100)을 구축할 수도 있으며, 이는 현장에서 교각 구동장치(10)와 시스템(100)이 공존할 수도 있는 것이다.

만일, 스마트폰과 같은 휴대단말기의 처리 능력이 충분하다면, 타일의 크기를 작게 만들어 이들 휴대단말기가 시스템(100)의 역할을 대신할 수도 있을 것이다.

다음으로, 시스템(100)은 균열 데이터와 증강 데이터를 이용하여 균열의 형태와 패턴을 익힌 상태에서 전체 교각 영상을 구획한 각 타일을 메모리에 로드하고, 각 타일에 대해 균열을 포함하는지의 여부를 통해 균열 타일을 추출한다(S106).

시스템(100)은 균열이 존재하지 않는 일반 타일과 균열 타일을 분류 후, 균열 타일에 대해서만 균열 감지를 수행한다. 이에 따라, 전체 교각 영상 중 시스템(100)의 부하를 요구하는 작업은 균열 타일에서만 발생하는 바, 시스템(100)의 처리 속도의 증가와 시스템(100)의 프로세싱 리소스의 부담을 최소화할 수 있음을 알 수 있다.

마지막으로, 시스템(100)은 균열 타일에서 균열에 대한 수치화를 수행한다(S107).

균열의 수치화는 아래의 두 가지 방법에 따라 수행될 수 있다.

6) 균열 타일에 대해 골격화기법(skeletonize)을 적용하여 균열 타일에 포함되는 균열의 중심 라인을 남기고 이를 측정 및 수치화하는 방법.

7) 균열 타일에서 균열을 포함하는 박스 영역을 설정하고, 박스 영역을 교각의 치수와 비교하여 균열영역의 상대적 치수를 산출 후, 박스 영역의 치수를 토대로 상기 균열 영역 내에 위치하는 균열 길이에 대한 근사값을 산출하는 방법.

먼저, 항목 6)에 기재된 방법은, 균열 타일에 포함되는 균열에 대해 골격화기법을 적용하는 것으로, 도 5를 참조하여 설명하도록 한다.

도 10은 균열 영상에 대한 골격화기법을 적용하여 균열을 수치화하는 방법에 대한 참조도면을 도시한다.

도 10을 참조하면, 시스템(100)은 균열 타일을 검출 후, 균열 타일에 포함되는 균열의 영상을 골격화기법에 의해 이미지 처리한다. 이때, 시스템(100)은 균열의 중심 라인만 남기며, 중심 라인을 구성하는 픽셀의 개수를 이용하여 균열 영상에서 균열의 길이를 수치화할 수 있다.

도 10에서, 균열 영역에 대해 골격화기법을 적용하여 픽셀로 이어진 균열 라인을 형성한 것을 볼 수 있으며, 이들 픽셀의 개수가 224개일 때, 픽셀당 길이 X 224를 하여 균열의 길이를 산출하는 것을 예시하고 있다.

다음으로, 항목 7)에 기재된 근사값 산출방법은 도 11 참조하여 설명하도록 한다.

도 11은 균열의 치수에 대한 근사값을 산출하는 방법에 대한 참조도면을 도시한다.

도 11을 참조하면, 시스템(100)이 교각(1)의 치수 중 가로 길이의 치수를 사전에 알고 있다는 전제하에 시스템(100)은 균열 타일(P1)의 치수 및 균열 타일(P1)에 포함되는 균열의 치수에 대해 근사값을 산출할 수 있다.

도 11에서, 시스템(100)이 교각의 가로 세로 치수(L1, L2) 중 너비 방향의 치수인 L1의 값을 알고 있는 경우, 전체 교각 영상에서 균열 타일(P1)의 너비방향 치수(L3)가 차지하는 비율을 참조하여 균열 타일(P1)의 가로 세로 치수에 대한 비례값을 산출할 수 있다.

예컨대, 교각의 너비방향 치수(L1)이 1.2미터고, 균열 타일(P1)의 너비 방향(L3) 치수가 0.2미터라고 가정하면, 균열 타일(P1)은 교각의 너비방향 치수(L1) 대비 1:6의 비율인 치수를 가질 수 있다.

도 11의 (b)는 균열 타일(P1)이 교각의 너비방향 치수 대비 1:6인 것을 표현한 것으로서, 균열 타일(P1)의 너비 방향 치수가 결정되면, 균열 타일(P1)의 길이방향 치수(L4)는 굳이 교각(1)의 치수와 비교할 필요 없이 영상 내에서의 가로 치수(L3)와의 비(ratio)를 따져 산출할 수 있다.

예컨대, 균열 타일(P1)은 영상에서의 치수비(L3 : L4)가 3:4라고 가정하면, 너비 방향 치수(L3) X 4/3으로 산출될 수 있는 것이다.

균열 타일(P1)의 가로세로 치수가 산출되면, 시스템(100)은 L3, L4의 치수가 결정된 상태에서 영상 분석을 통해 균열의 길이에 대한 근사값을 산출할 수 있다.

도 12는 본 발명의 교각 구동장치를 이용한 AI 균열 검출방법을 적용하여 실제 교각(1)에서 감지된 균열을 시스템(100)에 연결되는 디스플레이장치(110)로 표현한 일 예를 도시한다.

먼저, 도 12의 (a)는 카메라(11a 내지 11d)에서 촬상되어 스티칭 처리된 전체 교각 영상을 나타낸다.

육안으로는 회색 콘크리트 벽면으로만 인식될 수준인 것으로, 근접해서 자세히 살펴보지 않는 한, 어느 것이 균열인지 쉽게 식별되지 않는 상태이다.

다음으로, 도 12의 (b)는 전체 교각 영상에 대해 AI 균열감지를 수행한 결과를 도시한다.

도 12의 (b)에서는 도 7의 (a)와 달리 균열이 선명하게 표현되며, 디스플레이장치(110)로 관찰할 때, 현장에서 직접 관찰하는 것 못지않은 수준으로 표현되는 것을 볼 수 있다.

도 12의 (c)는 도 12의 (b)에서 감지된 균열에 대해 수치화를 수행한 결과를 도시한다.

도 12의 (c)에서는 각 균열에 대해 균열로 표시된 영역 근처에 그 치수를 표현하고 있는데, 표현되는 치수는 균열의 폭과 길이를 나타낸다.

이상 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

10 : 교각 구동장치 11 : 카메라
12 : 지지대 100 : 시스템

Claims (10)

1. 복수의 카메라를 이용하여 교각을 촬상하는 교각 구동장치를 이용하며,
   a) 상기 교각 이외의 피사체가 촬상된 이미지 영역을 제거하고, 상기 각 카메라의 영상이 상기 교각의 형태에 맞도록 보정하는 전처리 단계;
   b) 상기 전처리된 영상을 상기 각 카메라별로 스티칭하여 교각 영상을 형성하고, 상기 교각 영상을 복수의 타일로 구획하며, 상기 각 타일별로 균열학습 데이터를 참조하여 균열 타일을 검출함으로써 영상처리 부하를 낮추는 균열 검출 단계;
   c) 상기 균열 타일에 대해 골격화기법(skeletonize)을 적용하여 상기 균열 타일에 포함되는 균열의 중심 라인을 남기고 이를 측정 및 수치화하는 수치화 단계;를 포함하는 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
2. 제1항에 있어서,
   상기 균열 학습 데이터는,
   균열 데이터, 및 상기 균열 데이터에 대한 증강 데이터를 통해 학습된 데이터에 대응하고, 상기 증강 데이터는,
   상기 균열 데이터에 대해 영상 반전, 영상 흐림(Blur), 및 영상 밝기를 변경하여 재 생성된 데이터인 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
3. 제1항에 있어서,
   상기 a) 단계는,
   상기 영상에서 상기 교각 이외의 피사체가 포함되는 이미지 영역을 크롭(Crop) 처리 후,
   SIFT 기법에 따라 상기 각 카메라별 영상을 스티칭하는 단계인 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
4. 제1항에 있어서,
   상기 (b) 단계는,
   RANSAC(RANdom SAmple consensus) 알고리즘을 적용하여 상기 타일 중 이웃하는 타일에 포함되는 오류 특징점을 제거 후 상기 스티칭을 수행하는 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
5. 제1항에 있어서,
   상기 a) 단계는,
   상기 각 카메라별 영상을 흑백 처리하는 단계;를 더 포함하는 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
6. 복수의 카메라를 이용하여 교각을 촬상하는 교각 구동장치를 이용하며,
   a) 상기 교각 이외의 피사체가 촬상된 이미지 영역을 제거하고, 상기 각 카메라의 영상이 상기 교각의 형태에 맞도록 보정하는 전처리 단계;
   b) 상기 전처리된 영상을 상기 각 카메라별로 스티칭하여 교각 영상을 형성하고, 상기 교각 영상을 복수의 타일로 구획하며, 상기 각 타일별로 균열학습 데이터를 참조하여 균열 타일을 검출함으로써 영상처리 부하를 낮추는 균열 검출 단계;
   c) 상기 균열 타일에서 균열을 포함하는 박스 영역을 설정하고, 상기 박스 영역을 상기 교각의 치수와 비교하여 상기 균열영역의 상대적 치수를 산출하는 단계; 및
   d) 상기 박스 영역의 치수를 토대로 상기 균열 영역 내에 위치하는 균열 길이에 대한 근사값을 산출하는 단계;를 포함하는 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
7. 제6항에 있어서,
   상기 d) 단계는,
   상기 박스 영역의 치수 중 어느 하나는 상기 교량의 치수정보의 상대값으로 산출되고,
   다른 하나는 상기 상대값을 상기 박스 영역의 가로 세로 비율을 적용하여 산출되는 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
8. 제6항에 있어서,
   상기 균열 학습 데이터는,
   균열 데이터, 및 상기 균열 데이터에 대한 증강 데이터를 통해 학습된 데이터에 대응하고, 상기 증강 데이터는,
   상기 균열 데이터에 대해 영상 반전, 영상 흐림(Blur), 및 영상 밝기를 변경하여 재 생성된 데이터인 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
9. 제6항에 있어서,
   상기 a) 단계는,
   상기 영상에서 상기 교각 이외의 피사체가 포함되는 이미지 영역을 크롭 처리 후,
   SIFT 기법에 따라 상기 각 카메라별 영상을 스티칭하는 단계인 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
10. 제6항에 있어서,
    상기 (b) 단계는,
    RANSAC(RANdom SAmple consensus) 알고리즘을 적용하여 상기 타일 중 이웃하는 타일에 포함되는 오류 특징점을 제거 후 상기 스티칭을 수행하는 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.