KR102588141B1 - 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법 - Google Patents

Abstract

본 발명은 드론에 의하여 촬영된 영상정보를 딥러닝 수행 인공신경망으로 처리하여 구조물의 손상 상태를 점검하는 방법에 관한 것으로, 드론 촬영 영상정보가 배경소거신경망 및 손상추출신경망에 의하여 순차 처리되고, 일군의 단위요소별 종별정보 및 실위치정보가 취합되고 손상식별정보가 부여되어 손상 부위에 대한 체계적인 식별이 가능한 것이다.
본 발명을 통하여, 피검 구조물상 손상 부위에 대하여 실제 위치정보에 기반한 식별정보를 부여함으로써 다수의 단편적 영상장보에 산재된 개별 단일 손상 부위에 대한 정확하고 체계적인 식별 및 분류가 가능하며, 각각 배경소거 및 손상추출에 특화 학습되고 상호 독립적으로 거동하는 2개의 이미지 처리 인공신경망을 순차 적용하여 영상정보를 처리함으로써 손상 점검의 효율성 및 정확성을 향상시킬 수 있다.

Description

드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법{DEEP LEARNING BASED EXTERIOR INSPECTION METHOD USING DRON IMAGE}

본 발명은 드론에 의하여 촬영된 영상정보를 딥러닝 수행 인공신경망으로 처리하여 구조물의 손상 상태를 점검하는 방법에 관한 것으로, 드론 촬영 영상정보가 배경소거신경망 및 손상추출신경망에 의하여 순차 처리되고, 일군의 단위요소별 종별정보 및 실위치정보가 취합되고 손상식별정보가 부여되어 손상 부위에 대한 체계적인 식별이 가능한 것이다.

외관 조사는 일상 점검에서 정밀 안전진단에 이르는 구조물 점검의 전 영역에 걸쳐 최 우선 수행되는 기초 조사로서, 구조물의 외관상 표출되는 균열 및 박리 등의 손상 부위를 파악하고 구조물의 성능 및 안정성에 미치는 영향을 평가하게 된다.

외관 조사상 파악된 균열 및 박리 등의 구조물 손상은 구조물의 건전성 판단에서 핵심 요소로 활용되는 바, 현장 실사는 물론 내업(內業)을 통한 사후 분석 전반에 있어서 고도의 전문성 및 객관성이 요구되는데, 주로 점검원의 육안 및 사진 촬영 등을 기초로 수행되는 전통적 방식으로는 검점 작업의 효율성은 물론 객관성 담보에 한계가 있을 수 밖에 없었다.

특히, 교량 및 터널 등 주요 기반 시설물의 점검에 있어서는 외업(外業)에 있어서 점검원의 고소 또는 수상 작업이 요구되거나 점검원의 직접 근접이 어려운 경우가 대부분으로서, 외관 조사에 막대한 시간 및 비용이 소모되고 사고의 위험이 상존하는 문제점이 있었다.

또한, 촬영을 기반으로 수행되는 외관 조사 역시 점검원의 피검체 근접이 필요할 뿐 아니라, 촬영된 영상정보에 대한 사후 분석에도 상당한 시간이 필요하고 고도의 전문성이 요구되는 애로점이 있었다.

이에, 무인이동체인 드론을 활용하여 구조물의 외관 영상정보를 획득하고 획득된 영상정보의 분석에는 딥러닝을 수행하는 인공신경망을 활용함으로써, 현장 작업은 물론 내업(內業)에서의 효율성 및 객관성을 제고하기 위한 노력이 경주되고 있으며, 관련 종래기술로서 특허 제1772916호 및 특허 제2396329호 등을 들 수 있다.

특허 제1772916호 및 특허 제2396329호를 비롯한 종래의 구조물 검검 방법은 기본적으로 이동체에 의한 자동 촬영을 수행하고, 촬영된 영상정보에 대한 딥러닝 수행 인공신경망을 통한 처리를 통하여, 피사체이자 피검체인 구조물의 균열 또는 박리 부위를 파악하는 것으로, 점검원의 육안을 통하여 외업 및 내업을 수행하는 전통적인 외관 조사에 비하여 진일보한 방식이라 할 수 있으나, 다음과 같은 근본적인 한계를 가진다.

우선, 피검체의 외관 영상정보를 획득하는 촬영과정에 있어서, 이동체에 의한 자동 촬영을 수행하고는 있으나, 이는 점검원의 직접 촬영을 단순히 드론 등 이동체로 대체한 것일 뿐, 촬영 경로의 설정, 촬영된 피사체의 위치 기록 및 획득된 영상정보의 체계적 정리 등의 영상정보 수집에 대한 전처리(pre-processing) 및 후처리(post-processing) 과정 중 상당 부분이 인력에 의존하는 한계가 있었다.

특히, 드론 등에 의하여 촬영된 영상정보는 후처리 과정에서 작업자가 일일이 분류한 후, 피검 구조물상 위치를 작업자가 탐색하여 검출된 균열 등의 손상 부위의 위치를 파악하여야 할 뿐 아니라, 촬영된 영상정보의 배율 내지 축척 역시 작업자의 수작업 또는 부분적인 자동 처리를 통하여 산출하여야 하는 문제점이 있었다.

즉, 설령 촬영 작업 자체는 드론 등 이동체에 의하여 수행될 수 있으나, 구조물 점검상 필수적으로 요구되는 영상정보내 피사체의 실제 위치 및 치수를 확인하기 위해서는 별도로 촬영된 전경(全景) 영상과 대조하거나 화각(畵角)내 사전 설치된 표척(標尺) 또는 기타 표척 역할을 수행할 수 있는 기준 물체 등과 대조하는 후처리 작업이 필요할 뿐 아니라, 이러한 위치 및 치수 획득 작업 과정의 대부분을 인력으로 수행할 수 밖에 없는 것이다.

이러한 종래기술에서의 촬영상 피사체 위치 및 치수 검출 문제는 전통적 방식이라 할 수 있는 카메라를 소지한 점검원이 피검체에 근접하여 직접 촬영을 수행하는 방식에 비하여 드론 등 무인 이동체가 촬영을 수행할 경우 더욱 심화되는데, 이는 작업자의 시각(視覺)에 의한 체감이 배제된 상황에서, 상대적으로 비현실적인 화각으로 촬영이 이루어지는 점에서 기인한다 할 수 있다.

따라서, 드론에 의하여 촬영된 영상정보에 대한 후처리시 균열 또는 박리 등의 피사체내 손상 부위에 대한 실제 위치 및 치수를 파악함에 있어서 상당한 시간이 소요될 뿐 아니라 고도로 숙련된 인원이 동원될 필요가 있으며, 그럼에도 불구하고 손상 부위의 위치 및 치수 검출에 있어서 심각한 오차가 발생될 뿐 아니라, 손상 부위가 중복 파악되거나 누락되는 등의 하자가 빈발하는 실정이다.

특히, 종래기술에 있어서 빈발하는 손상 부위의 중복 또는 누락은 구조물 점검상 손상 상태의 경시적 변화 판단에 있어서 심각한 오판을 초래하는 것으로, 피검 구조물의 건전성 및 성능 파악, 장단기 운용 및 유지보수 계획 수립 전반으로 오판이 파급되는 심각한 결과를 초래할 수 있다.

한편, 특허 제1772916호 및 특허 제2396329호를 비롯한 종래의 인공신경망 적용 구조물 손상 점검 기법은 주로 이미지 처리에 활용되는 합성곱신경망(CNN)이 적용되고 있으며, 신경망을 구성하는 일부 레이어를 증감하거나 설명 기능 등을 부연하여 학습 효율성을 모색하는 것으로, 단일 이미지에 대한 처리는 단발적으로 진행되는 특징을 가진다.

즉, 피검체 표면상 다종(多種)의 손상은 물론 손상과 혼동될 수 있는 다양한 부착 내지 표시물이 존재할 뿐 아니라, 피검체와 배경조차 혼재된 영상을 인공신경망을 통하여 학습 및 처리함에 있어서, 신경망 자체의 구조를 복잡화하고 유통되는 정보량을 확장하는 방식이 적용된 것으로, 방대한 학습용 정보가 소요될 뿐 아니라, 학습은 물론 활용 과정에서도 막대한 전산자원이 소요되는 문제점을 가진다.

특히, 구조물의 손상 점검은 손상의 종류 및 치수는 물론 영상내 손상의 위치 역시 파악될 필요가 있으나, 종래의 인공신경망 적용 구조물 손상 점검 기법은 통상의 이미지 처리 인공신경망에서와 같이, 이미지내 손상의 존재 여부 파악에 주안점이 두어진 것이라 할 수 있으며, 손상 부위의 정확한 실제 위치의 파악에는 명백한 한계를 가지는 것이라 할 수 있다.

또한, 특허 제1772916호 및 특허 제2396329호에서와 같이, 합성곱신경망의 계층 조절을 통하여 손상의 종류 및 규모 파악이 일부 수행되고 있으나, 정확성 및 효율성이 미진할 뿐 아니라, 영상내 손상 위치의 정확성이 부족하고 배경 또는 장착물과의 오판 가능성도 높은 문제점이 있다.

본 발명은 전술한 문제점을 감안하여, 피검 구조물에 대한 촬영 자체는 물론, 전처리 및 후처리 작업의 자동화율을 제고함과 동시에, 손상 부위 파악의 중복 및 누락을 획기적으로 저감시키면서도, 딥러닝 인공신경망을 통한 손상 부위의 유형, 형상, 실제 위치 및 치수를 정확하게 검출할 수 있도록 창안된 것으로, 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법에 있어서, 드론에 의하여 촬영된 피검체의 영상정보와 당해 영상정보와 대응되는 촬영정보가 추출되어 컴퓨터에 탑재된 진단프로그램으로 입력되는 입력단계(S10)와, 진단프로그램이 영상정보를 배경소거신경망에 입력하여 검체영상정보를 생성하는 소거단계(S20)와, 진단프로그램이 검체영상정보를 손상추출신경망에 입력하여 검체영상정보의 단위요소별 종별정보가 포함된 진단영상정보를 생성하는 추출단계(S30)와, 진단프로그램이 촬영정보를 활용하여 진단영상정보내 종별정보가 손상상태인 단위요소의 실위치정보를 산출하는 탐지단계(S40)와, 진단프로그램이 일군의 단위요소별 종별정보 및 실위치정보를 취합하여 손상식별정보를 부여하고 컴퓨터의 기억장치에 수록하는 등록단계(S50)로 이루어짐을 특징으로 하는 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법이다.

또한, 본 발명은 상기 촬영정보에는 당해 영상정보 촬영시 드론의 절대위치정보와, 피검체와 드론간 상대위치정보가 포함됨을 특징으로 하는 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법이며, 상기 배경소거신경망 및 손상추출신경망은 UNet 인공신경망임을 특징으로 하는 딥러닝 기반 구조물 손상 점검 방법이다.

또한, 본 발명은 상기 입력단계(S10) 내지 등록단계(S50)가 드론에 의하여 촬영된 피검체의 영상정보 다수에 대하여 반복 수행되되, 등록단계(S50)는 진단프로그램이 일군의 단위요소별 종별정보 및 실위치정보를 취합하는 취합단계(S51)와, 진단프로그램이 취합된 종별정보 및 실위치정보를 기 수록된 타 영상정보의 손상식별정보별 종별정보 및 실위치정보와 대조하되, 실위치정보를 기준으로 종별정보를 중첩하여 일치도를 산출하는 대조단계(S52)와, 일치도가 기준치 미만일 경우 진단프로그램이 상기 취합된 종별정보 및 실위치정보에 신규 손상식별정보를 부여하고 컴퓨터의 기억장치에 수록하는 수록단계(S53)로 이루어짐을 특징으로 하는 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법이다.

본 발명을 통하여, 피검 구조물상 손상 부위에 대하여 실제 위치정보에 기반한 식별정보를 부여함으로써 다수의 단편적 영상장보에 산재된 개별 단일 손상 부위에 대한 정확하고 체계적인 식별 및 분류가 가능하며, 각각 배경소거 및 손상추출에 특화 학습되고 상호 독립적으로 거동하는 2개의 이미지 처리 인공신경망을 순차 적용하여 영상정보를 처리함으로써 손상 점검의 효율성 및 정확성을 향상시킬 수 있다.

특히, 손상 부위를 특정하는 식별정보 및 분류 기능을 통하여, 손상의 중복 검출 또는 누락 오판을 등의 오류를 획기적으로 저감시킬 수 있으며, 이로써 이미지 전산 처리를 통한 구조물 손상 진단의 후처리 작업 부담을 대폭 경감하고, 진단프로그램 처리 결과에 대한 인력 검수 역시 생략 내지 간소화할 수 있다.

또한, 학습 및 손상 검출을 수행하는 인공신경망으로서 질감 인식 및 위치 탐지에 특화된 UNet을 적용함으로써 점검 정확성을 제고함과 동시에, 영상정보내 피검체 주변에 대한 배경소거와, 피검체상 손상 부위의 파악을 수행하는 인공신경망을 독립적으로 구축 및 가동함으로써, 학습용 영상정보의 부족 상태에서도 소기의 학습효과를 도모할 수 있을 뿐 아니라 검출 결과의 정확성 및 신뢰도도 확보할 수 있다.

도 1은 본 발명의 흐름도
도 2는 본 발명의 영상정보 획득 방식 설명도
도 3은 본 발명의 촬영정보 획득 방식 설명도
도 4는 본 발명의 인공신경망 처리 구조도
도 5는 본 발명의 단계별 영상정보 예시도
도 6은 본 발명의 중복 파악 방지형 실시예 흐름도

본 발명의 상세한 구성 및 수행 과정을 첨부된 도면을 통하여 설명하면 다음과 같다.

본 발명은 드론에 의하여 자동으로 촬영된 영상정보를 컴퓨터에 탑재된 딥러닝 수행 인공신경망으로 처리하여 구조물의 손상 상태를 점검하는 방법에 관한 것으로, 도 1에서와 같이, 드론에 의하여 촬영된 피검체의 영상정보와 당해 영상정보와 대응되는 촬영정보가 추출되어 컴퓨터에 탑재된 진단프로그램으로 입력되는 입력단계(S10)로 개시된다.

전술한 바와 같이, 본 발명은 구조물의 외관상 표출된 균열 또는 박리 등의 손상 상태가 촬영된 영상정보를 인공신경망으로 처리하여 손상 부위의 상태, 치수 및 위치를 검출하는 방법으로서, 영상정보의 획득은 카메라가 장착된 무인 이동체인 드론을 통하여 수행되며, 드론에 의하여 촬영된 정지 이미지 파일(flie) 형식의 영상정보는 컴퓨터로 입력되어 컴퓨터에 탑재되어 본 발명을 수행하는 프로그램인 진단프로그램에 의하여 처리된다.

드론과 컴퓨터간 영상정보의 전달 즉, 드론에 의하여 촬영된 구조물 표면의 정지 이미지 파일의 컴퓨터 입력은 드론과 컴퓨터를 유선 또는 무선 통신로를 통하여 연결하거나, 드론에 장착된 플래시메모리 등의 착탈식 보조기억장치를 분리하여 컴퓨터와 연결된 리더(reader)에 결합하는 방식이 적용될 수 있다.

이렇듯, 본 발명은 구조물 외관 조사에 있어서 내업으로서 수행되는 전산 처리라 할 수 있으며, 이러한 본 발명의 내업에 선행되는 외업이라 할 수 있는 구조물 외관 촬영은 드론에 의하여 자동으로 수행되되, 본 발명 전반에서 처리되는 영상정보는 정지된 화상(畵像)인 정지 이미지 파일인 바, 도 2에서와 같이 드론의 비행 경로를 따라 연속 촬영된 다수의 이미지 파일이 영상정보로서 처리된다.

물론, 피검체인 구조물 전체가 단일 이미지 파일에 포함되는 전경(全景) 화상이 본 발명에 의하여 처리될 수도 있으나, 교량, 도로, 터널 또는 대형 건물 등 거대한 규모의 피검체를 단일 이미지 파일로 처리할 경우 균열 등 미세한 손상을 파악할 수 있는 충분한 해상도의 이지미를 확보할 수 없으므로, 도 2에서와 같이, 장대한 피검 구조물의 표면에 근접한 항로를 따라 드론이 비행하면서 연속 근접 촬영된 다수의 이미지 파일을 수득하는 방식이 적용된다.

한편, 이러한 입력단계(S10)에서 영상정보와 동반 추출되는 촬영정보 역시 드론에 의하여 획득 내지 생성되어, 영상정보와 대응관계가 설정되도록 추출되어 컴퓨터로 입력되는데, 촬영정보는 대응되는 영상정보의 촬영 시각(時刻)에서의 드론의 위치를 특정함과 동시에 촬영되는 피사체 표면의 위치를 특정할 수 있는 정보로서, 본 발명에서 처리되는 영상정보인 개별 이미지 파일에 속성치 또는 헤더(header) 등의 형식으로 병합되어 구성되거나, 영상정보와 별도의 파일로 저장되되 영상정보와 촬영정보의 사후 대응 내지 동기화가 가능하도록 공통 파일명, 시각 또는 일련번호 등이 부여된다.

본 발명의 진단프로그램은 컴퓨터 운영체계의 응용프로그램 형식으로 탑재되는 전용 프로그램으로서, 영상정보 및 촬영정보의 본 발명상 제반 처리를 수행하는데, 입력된 영상정보 및 촬영정보를 컴퓨터 기억장치에 수록하고, 후술할 딥러닝 인공신경망에 영상정보를 입력하여 인공신경망을 구동하고, 처리된 결과를 후처리 및 출력하는 기능을 수행하며, 이러한 진단프로그램은 상술한 전체 기능이 일거에 실행되는 단일 프로그램 형식으로 구축될 수 있음은 물론 기능별 프로그램 모듈이 조합되어 단계별 수행되는 형식으로 구축될 수도 있다.

또한, 본 발명의 진단프로그램은 기 학습된 인공신경망이 이식되는 형식으로 구성될 수 있음은 물론, 인공신경망의 심층 학습을 직접 수행하는 기능이 탑재될 수도 있다.

한편, 입력단계(S10)에서 정지 이미지 파일인 영상정보와 함께 컴퓨터로 입력되는 촬영정보에는 당해 영상정보 촬영시 드론의 절대위치정보와, 피검체와 드론간 상대위치정보가 포함되는데 이들 절대위치정보 및 상대위치정보를 활용하여, 후술할 탐지단계(S40)에서 진단프로그램이 영상정보를 구성하는 단위요소의 실제 위치를 산출하게 된다.

여기서 영상정보를 구성하는 단위요소란 본 발명의 수행 전반에서 처리되는 영상정보내 단위 분할 영역으로서, 기본적으로 정지 이미지 파일인 영상정보를 구성하는 픽셀이 적용될 수 있으며, 만일 영상정보의 해상도 및 촬영면의 실제 면적이 충분하여 다수의 픽셀 조합으로도 균열 등 미세 손상에 대한 파악이 가능할 경우, 처리속도 증대와 전산자원 절감을 위하여 다수의 픽셀 조합이 단위요소로 설정될 수 있다.

이러한 촬영정보내 절대위치정보 및 상대위치정보는 그 사전적 의미에서와 같이, 촬영을 수행하는 드론의 실제 위치를 나타내는 3차원 좌표정보와, 드론에 대한 화각내 피사체 표면의 거리 및 각도로 표시되는 상대적 위치를 나타내는 것이다.

즉, 도 3에서와 같이, 상대위치정보는 드론의 절대위치정보를 기준으로 촬상되는 피사체 표면상 임의 지점의 실제 좌표를 산출할 수 있도록 하는 환산용 정보로서, 도면상 중심선으로 도시된 드론 카메라의 시준선(視準線)과 피사체 표면이 이루는 각도와, 드론 카메라의 이미지 프레임과 수평선 또는 수직선이 이루는 각도와, 드론과 피사체 표면간 거리가 포함될 수 있다.

이렇듯, 입력단계(S10)를 통하여 영상정보와 이에 대응되는 촬영정보가 컴퓨터에 탑재된 진단프로그램으로 입력되면, 진단프로그램이 영상정보를 배경소거신경망에 입력하여 검체영상정보를 생성하는 소거단계(S20)와, 진단프로그램이 검체영상정보를 손상추출신경망에 입력하여 검체영상정보의 단위요소별 종별정보가 포함된 진단영상정보를 생성하는 추출단계(S30)가 순차적으로 수행된다.

즉, 본 발명에서는 피검 구조물의 영상정보내 균열 또는 박리 등의 손상 부위를 검출함에 있어서 단일 딥러닝 인공신경망을 적용하여 입력된 영상정보를 일거에 처리하는 것이 아니라, 상호 독립적으로 거동하는 별도의 인공신경망을 구축하고 입력된 영상정보를 순차 처리하는 것이다.

이러한 본 발명의 배경소거신경망 및 손상추출신경망은 인공신경망을 구성하는 계층 및 정보 전달 구조는 동일하나, 배경소거신경망은 전경(前景)과 배경을 구분하여 배경을 소거하는 이분(二分) 처리에 특화되도록 학습되고, 손상추출신경망은 사전 설정된 다종(多種)의 손상상태를 영상정보내 단위요소별로 파악하는 세밀 분류 처리에 특화되도록 학습되는데, 이는 학습용 입력 이미지 정보와 라벨링 이미지 정보를 각각의 인공신경망에 상이하게 적용함으로써 달성 가능하다.

특히, 인공신경망별 특화 학습용 정보를 수립함에 있어서, 배경소거신경망 및 손상추출신경망에 동일한 입력 이미지 정보를 적용하되 라벨링 이미지 정보만을 상이하게 설정하는 방식으로 제한된 학습용 정보 여건에서도 우수한 심층 학습 효과를 기대할 수 있다.

즉, 구조물의 손상 부위를 촬영한 동일한 이미지 정보를 배경소거신경망 및 손상추출신경망의 심층 학습에 입력치로서 활용하되, 배경소거신경망용 라벨링 이미지 정보는 구조물과 배경을 구분한 정보를 적용하고, 손상추출신경망용 라벨링 이미지 정보는 구조물내 손상 부위만을 표시한 정보를 적용하는 방식을 적용하는 것으로, 이로써 인공신경망의 학습 과정 자체의 효율성 및 정확성을 도모함과 동시에, 학습용 정보의 절대량을 배가하는 효과를 일거에 얻을 수 있는 것이다.

특히, 본 발명에 적용되는 인공신경망은 배경소거신경망 및 손상추출신경망 공히 UNet 인공신경망이 적용되는데, UNet은 주로 의료 및 생명과학 분야에서 촬영된 이미지내 병변 및 조직 경계를 파악함에 있어서 활용되는 인공신경망으로서, 이미지의 전반적인 컨텍스트(context) 정보를 추출하는 인코더(encoder) 역할을 수행하는 압축경로(contracting path)와 이미지내 객체에 대한 위치정보를 복원하는 디코더(decoder) 역할을 수행하는 확장경로(expanding path)로 이루어져 있으며, 이들 압축경로와 확장경로는 도 4에서와 같이, 각각 도면상 좌측인 입력층측 및 도면상 우측인 출력층측에 위치하면서 전체적으로 U자 형상의 좌우 대칭 구조를 형성한다.

통상의 합성곱신경망(CNN)에 있어서, 인코딩 단계에서는 입력 이미지의 특징을 포착할 수 있도록 채널은 점증하되 차원은 점축하는 처리를 수행하고, 디코딩 단계에서는 저차원화된 정보만을 활용하여 채널은 점축하되 차원을 점증하면서 고차원 이미지를 복원하게 되는데 이 과정에서 이미지내 세부 객체에 대한 상세 위치 정보를 상실할 수 밖에 없다.

반면 UNet 인공신경망은 저차원 뿐 아니라 고차원 정보도 이용하여 이미지의 특징을 추출함과 동시에 세부 객체에 대한 정밀한 위치 역시 파악할 수 있으며, 이는 도 4에서 U자형 구조의 레이어 구성에서 세부 레이어를 초월하는 수평 경로로 표시된 바와 같이 인코딩 단계의 각 레이어에서 얻은 특징을 디코딩 단계의 각 레이어에 연결 내지 병합함으로써 달성된다.

이로써, UNet 인공신경망은 이미지내 요소의 특성을 나타내는 컨텍스트 정보를 정확하게 추출하면서도 당해 요소의 위치정보 역시 안정적으로 유지할 수 있다.

특히, 본 발명에서는 전술한 바와 같이 통상 정지 이미지 파일의 픽셀이 적용되는 각각의 개별 단위요소를 피검체인 전경(前景)과 피검체 배후의 불요(不要) 영상인 배경으로 이분(二分)하여, 진단프로그램에 입력된 영상정보를 검체영상정보를 변환하는 배경소거신경망과, 검체영상정보의 개별 단위요소에 대하여 손상의 유형을 표시하는 종별정보를 부여함으로써 검체영상정보에 대응되는 진단영상정보를 생성하는 손상추출신경망이 독립적으로 구성되는 바, UNet 인공신경망의 종단간 심층 학습(end-to-end deep learning) 특성을 견지하면서도, 피처리 정보의 다양성 및 복잡성에 대한 충분한 대응이 가능하도록 하였다.

즉, 종단간 심층 학습의 신속 처리 특성을 유지하면서도 상이한 특성을 가지는 정보에 대한 독립적 순차 처리를 수행함으로써, 도출 결과의 정확성도 확보한 것이다.

도 5는 최초 진단프로그램에 입력된 영상정보가 전술한 소거단계(S20) 및 추출단계(S30)의 수행에 따라 변환되는 상태를 예시한 것으로, 도면 상부의 좌단, 중앙 및 우단에는 각각 균열 발생 콘크리트 벽체가 촬영된 영상정보, 이 영상정보가 소거단계(S20)를 거쳐 생성된 검체영상정보, 이 검체영상정보가 추출단계(S30)를 거쳐 생성된 진단영상정보가 도시되어 있으며, 도면 하부의 좌단, 중앙 및 우단에는 각각 박리 발생 콘크리트 교각이 촬영된 영상정보, 이 영상정보가 소거단계(S20)를 거쳐 생성된 검체영상정보, 이 검체영상정보가 추출단계(S30)를 거쳐 생성된 진단영상정보가 도시되어 있다.

진단프로그램이 검체영상정보를 손상추출신경망에 입력하여 검체영상정보의 단위요소별 종별정보가 포함된 진단영상정보를 생성하는 추출단계(S30)에서, 검체영상정보의 단위요소인 각각의 픽셀별로 부여되는 종별정보는 피검 구조물의 손상 유형을 구분하는 정보로서, 진단영상정보를 구성하는 각각의 단위요소 즉, 픽셀에는 정상, 균열 또는 박리 등으로 구분되는 종별정보가 부여되며, 도 5의 우단 도시 도면에 예시된 바와 같이, 적색의 선분 또는 녹색의 외곽으로 구획되는 영역으로, 동종 종별정보가 부여된 일군의 단위요소 집합체로서의 단일 손상 부위를 표시하게 된다.

도 5의 우단에 예시된 도면은 최초 입력된 영상정보와 추출단계(S30)에서 최종 생성된 진단영상정보를 중첩한 상태를 도시한 것으로, 도시된 실시예에서는 진단영상정보에서 종별정보가 정상으로 부여된 픽셀에 대하여는 출력 색상 정보를 투명으로 설정하고, 종별정보가 균열로 부여된 픽셀에 대하여는 출력 색상 정보를 적색으로 설정하며, 종별정보가 박리로 부여된 픽셀 조합 영역의 최 외곽 픽셀에는 출력 색상 정보를 녹색으로 설정하고 있다.

이렇듯, 동일한 입력 영상정보에 대하여 소거단계(S20) 및 추출단계(S30)가 순차 수행됨으로써 균열 또는 박리 등 구조물의 손상 부위를 표시하는 진단영상정보가 완성되며, 이후 도 1에서와 같이, 진단프로그램이 촬영정보를 활용하여 진단영상정보내 종별정보가 손상상태인 단위요소의 실제 위치를 나타내는 실위치정보를 산출하는 탐지단계(S40)가 수행된다.

즉, 탐지단계(S40)는 구조물 외관상 손상 부위의 실제 위치를 파악하는 과정으로서, 구조물 표면상 손상 부위의 실제 3차원 좌표를 산출하는 과정이며, 이는 진단영상정보를 구성하는 단위요소 중 그 종별정보가 균열 또는 박리 등의 손상상태인 단위요소 각각의 좌표가 드론의 공간상 위치인 절대위치정보와, 드론의 자세 및 촬영 각도와 드론과 피사체 표면간 거리 등으로 규정되는 드론대 피검체의 상대위치정보가 활용되어 수행된다.

이러한 절대위치정보 및 상대위치정보의 획득에 있어서, 우선 드론의 3차원 공간 좌표인 절대위치정보는 드론에 탑재된 GPS모듈에 의하여 생성될 수 있으며, 영상정보 촬영 시점(時點)의 GPS 좌표는 당해 영상정보와 대응이 가능하도록 촬영정보의 형식으로 드론의 기억장치에 동반 수록된다.

또한, 드론대 피검체간 상대적 위치를 나타내는 상대위치정보는 상술한 절대위치정보를 피검 구조물 표면의 실위치정보로 환산하기 위한 정보로서, 드론의 자세 및 촬영 각도에 의하여 설정되는 드론 탑재 카메라의 시준선과, 드론의 GPS모듈 기준점과 피사체 표면간 거리를 통하여 수립될 수 있다.

도 3에서와 같이, 드론 탑재 카메라의 화각(畵角)에 따라 피검체 표면의 촬영 영역 외곽이 설정되는 상태에서, 드론과 피사체 표면간 거리 즉, 드론의 GPS모듈 기준점과 피사체 표면을 직교 연결하는 선분의 길이가 주어지면 이를 통하여 해당 영상정보내 각 단위요소의 실제 3차원 좌표를 산출할 수 있다.

드론과 피사체 표면간 거리는 다양한 방식으로 획득될 수 있는데, 손상 진단이 수행되는 피검체는 그 위치가 고정된 대형 구조물인 바 드론의 비행경로를 사전 설정하면 매 촬영 시점(時點)의 드론과 구조물 표면간 거리는 이미 사전에 설정된 값으로 확보될 수 있으며, 이 밖에도 드론에 별도의 측거용 센서를 탑재하여 구조물과 드론간 거리를 실측하거나, 오토포커싱 기능이 탑재된 드론 카메라의 경우 대물렌즈와 피사체간 거리가 자동 검출되는 바 이를 통하여 환산할 수도 있다.

또한, 드론의 자세를 비롯한 비행 방향 및 촬영 각도 등의 각종 방향성 정보는 드론에 내장된 가속도센서를 통하여 용이하게 획득될 수 있으므로, 시준선의 방향 역시 무리없이 산출될 수 있다.

즉, 드론의 실위치정보인 3차원 좌표를 도 3에 도시된 점대 면의 기하학적 관계를 통하여 촬영 영역내 구조물 표면상 임의의 점의 좌표로 환산할 수 있는 것으로, 드론의 자세와 비행 방향 및 피검 구조물 표면의 경사가 주어지면 드론의 비행 및 촬영 경로상 구조물과 드론간 거리가 변동되어도 상대위치정보의 획득이 가능한 것이다.

특히, 실제 드론을 활용한 촬영은 피검 구조물의 위치 및 형상 정보가 완비된 상태에서 사전 설정된 비행경로를 따라 수행될 뿐 아니라, 촬영중 드론의 비행 자세는 가급적 수평이 유지되며, 대부분의 피검 구조물은 교량 또는 터널 등 동일한 단면이 장거리에 걸쳐 유지되는 특성을 가지는 바, 통상의 촬영용 드론에 추가 장치를 장착하지 않고도 촬영 영역의 외곽선, 시준선의 길이 및 방향 등으로 정리될 수 있는 상대위치정보가 확보될 수 있다.

이렇듯, 탐지단계(S40)에서는 진단영상정보내 손상 부위 단위요소 각각에 대한 실위치정보가 산출될 수 있음은 물론, 도 3에서와 같이 최초 입력되는 영상정보를 구성하는 전체 단위요소에 대한 실위치정보도 산출될 수 있는 바, 결국 본 발명에서의 실위치정보의 산출은 영상정보의 변환 상태를 막론한 단위요소별 3차원 좌표의 산출과정이라 할 수 있다.

따라서, 본 발명에 있어서의 탐지단계(S40) 수행은 영상정보를 구성하는 전체 단위요소의 실위치정보를 산출한 후, 이를 도 5의 우단 도면에서와 같이 진단영상정보와 중첩하여 진단영상정보내 손상 부위 단위요소의 실위치정보를 획득하는 방식으로 수행될 수도 있다.

탐지단계(S40)를 통하여 진단영상정보내 손상 부위를 구성하는 개별 단위요소에 대한 실위치정보 즉, 3차원 좌표가 획득됨에 따라, 진단영상정보내 위치정보상 연속성 내지 군집성 및 종별정보상 단일성이 부여된 일군의 단위요소가 자타 구분이 가능한 단일 손상 부위로 규정될 수 있다.

물론, 진단영상정보내 손상 부위의 단위요소에는 이미 종별정보가 부여되어 손상의 유형이 규정되어 있으며, 균열의 경우 해당 종별정보가 부여된 다수의 단위요소가 연속된 곡선을 형성하면 이들 다수의 단위요소를 단일 균열 부위로 설정하고, 박리의 경우에도 해당 종별정보가 부여된 다수의 단위요소가 밀접 군집상태로 분포되면 이들 다수의 단위요소를 단일 박리 부위로 설정할 수 있다.

그러나, 이러한 손상 종별정보 보유 단위요소의 배열상태 또는 분포상태만을 기초로 단일 손상 부위 여부를 결정하는 방식은 단일 영상정보 즉, 1개의 이미지 파일에 대한 처리는 무리없이 수행 가능하나, 구조물 표면상 상이한 지점에 유사한 손상이 산재되고 다수의 영상정보가 처리되는 경우에는 손상 부위의 누락 또는 중복 파악을 야기할 수 있다.

특히, 본 발명을 비롯한 영상정보 처리 기반 구조물 점검에 있어서는 도 2에서와 같이 점검 구간 주변을 일정한 경로를 따라 이동하면서 피검체를 연속 촬영하되 촬영 영상정보의 외곽부가 상호 중첩되도록 처리하여 영상정보의 누락을 방지하는 하는 것이 일반적인 방식이며, 인접 영상정보간 중첩 부위 손상의 경우 전체 또는 일부 영역에 대한 중복촬영이 불가피한 바, 손상 부위의 실제 위치정보가 처리상 배제되거나 영상정보와 위치정보의 유기적인 연관 처리가 수행되지 않는 종래기술에서는 손상 부위 자체에 대한 탐지 정확성은 차치하더라도 탐지된 손상 부위가 중복되어 기록되거나 타 지점의 손상 부위로 오판되어 누락되는 등의 오류가 빈발할 수 밖에 없다.

반면, 본 발명에서는 도 1에서와 같이, 손상상태인 단위요소의 실위치정보가 산출되는 탐지단계(S40)가 수행됨에 따라, 진단프로그램이 일군의 단위요소별 종별정보 및 실위치정보를 취합하여 손상식별정보를 부여하고 컴퓨터의 기억장치에 수록하는 등록단계(S50)를 통하여, 피검 구조물 표면상 산재된 다수의 개별 손상 부위를 정확하게 특정할 수 있을 뿐 아니라, 중복 촬영이 불가피한 영상정보별 경계부의 손상 부위 역시 누락 또는 중복 파악이 방지될 수 있다.

특히, 연속 촬영을 통하여 획득된 다수의 영상정보를 순차, 반복 처리함에 있어서, 상술한 실위치정보 기반 개별 단일 손상 부위의 자타 식별은 도 6에서와 같은 과정을 통하여 일층 정밀하고 효율적으로 수행될 수 있다.

도 6에 도시된 실시예는 동일한 피검 구조물을 촬영한 다수의 영상정보를 본 발명을 통하여 처리하는 것으로서, 입력단계(S10) 내지 등록단계(S50)가 드론에 의하여 촬영된 피검체의 영상정보 다수에 대하여 반복 수행된다.

이러한 도 6 실시예에 있어서 등록단계(S50)는 세부 과정으로서 진단프로그램이 일군의 단위요소별 종별정보 및 실위치정보를 취합하는 취합단계(S51)와, 진단프로그램이 취합된 종별정보 및 실위치정보를 기 수록된 타 영상정보의 손상식별정보별 종별정보 및 실위치정보와 대조하되, 실위치정보를 기준으로 종별정보를 중첩하여 일치도를 산출하는 대조단계(S52)와, 일치도가 기준치 미만일 경우 진단프로그램이 상기 취합된 종별정보 및 실위치정보에 신규 손상식별정보를 부여하고 컴퓨터의 기억장치에 수록하는 수록단계(S53)로 이루어진다.

즉, 일군의 손상 상태 단위요소를 단일 손상 부위로 설정하되, 설정된 다수의 단일 손상 부위 각각의 실위치정보를 기반으로 손상 부위를 중첩함으로써, 파악된 손상 부위가 기 등록된 손상 부위인지 여부를 파악하고, 기 등록된 손상 부위의 중복 촬영분으로 판단될 경우 이를 등록 대상에서 제외하고, 신규 촬영된 손상 부위로 판단될 경우 이를 단일 손상 부위로 등록하는 것이다.

이렇듯, 실위치정보를 기반으로 손상 부위를 파악함에 따라 광범위한 영역에 산재된 손상 부위를 정확하게 식별할 수 있을 뿐 아니라 연속 촬영된 손상 부위 역시 중복 여부를 신속하고 정확하게 판단할 수 있어, 영상정보 기반 손상 부위 점검의 정확성, 효율성 및 신뢰도를 획기적으로 향상시킬 수 있다.

S10 : 입력단계
S20 : 소거단계
S30 : 추출단계
S40 : 탐지단계
S50 : 등록단계
S51 : 취합단계
S52 : 대조단계
S53 : 수록단계

Claims (4)

1. 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법에 있어서,
   드론에 의하여 촬영된 피검체의 영상정보와 당해 영상정보와 대응되는 촬영정보가 추출되어 컴퓨터에 탑재된 진단프로그램으로 입력되는 입력단계(S10)와;
   진단프로그램이 영상정보를 전경(前景)과 배경을 구분하는 이분(二分) 처리에 특화 학습된 배경소거신경망에 입력하여 검체영상정보를 생성하는 소거단계(S20)와;
   진단프로그램이 검체영상정보를 상기 배경소거신경망과 독립 거동되는 신경망으로서 다종(多種)의 손상상태를 영상정보내 단위요소별로 파악하는 분류 처리에 특화 학습된 손상추출신경망에 입력하여 검체영상정보의 단위요소별 종별정보가 포함된 진단영상정보를 생성하는 추출단계(S30)와;
   진단프로그램이 촬영정보를 활용하여 진단영상정보내 종별정보가 손상상태인 단위요소의 실위치정보를 산출하는 탐지단계(S40)와;
   진단프로그램이 일군의 단위요소별 종별정보 및 실위치정보를 취합하여 손상식별정보를 부여하고 컴퓨터의 기억장치에 수록하는 등록단계(S50)로 이루어지되,
   상기 배경소거신경망 및 상기 손상추출신경망의 심층 학습에서는 구조물의 손상 부위를 촬영한 동일한 이미지 정보가 활용되며, 배경소거신경망용 라벨링 이미지 정보는 구조물과 배경을 구분한 정보가 적용되고, 손상추출신경망용 라벨링 이미지 정보는 구조물내 손상 부위만을 표시한 정보가 적용됨을 특징으로 하는 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법.
2. 삭제
3. 삭제
4. 삭제

Images