KR20220023267A

KR20220023267A - 합성곱 신경망(cnn)을 이용한 시각적 교량 검사 방법 및 시스템

Info

Publication number: KR20220023267A
Application number: KR1020200104949A
Authority: KR
Inventors: 박영인; 박진성; 이광해
Original assignee: 주식회사 스틸에이팩스
Priority date: 2020-08-20
Filing date: 2020-08-20
Publication date: 2022-03-02

Abstract

본 발명은 합성곱 신경망(CNN)을 이용한 시각적교량 검사 방법 및 시스템에 관한 것이다.
본 발명의 일례에 따른 합성곱 신경망(CNN)을 이용한 시각적교량 검사 방법은 교량의 위치 정보를 수신하는 단계; 상기 드론이 이동하여 상기 교량에 대한 전체 영상을 촬영하여, 상기 서버로 전송하는 전체 촬영 단계; 상기 전체 영상으로부터 상세 스팟의 위치 및 검사 종류를 선정하여, 상기 드론으로 전송하는 단계; 상기 드론이 상세 스팟을 촬영하고, 생성된 스팟 이미지를 전송하는 단계; 및 스팟 이미지와 표준 이미지를 비교 및 분석하여, 검사 데이터를 산출하는 분석 단계;를 포함한다.
본 발명의 일례에 따른 교량 검사 시스템은 교량으로 이동하여, 전체 영상을 촬영하고, 상세 스팟(spot)에 대한 스팟 이미지를 촬영하여 전송하는 드론; 및 상기 교량의 위치 정보를 제공하고, 상기 전체 영상을 분석하여, 상기 상세 스팟을 선정하고, 상기 스팟 이미지를 표준 이미지와 비교하여, 검사 데이터를 산출하는 서버;를 포함한다.

Description

합성곱 신경망(CNN)을 이용한 시각적 교량 검사 방법 및 시스템{Bridge inspection method and system}

본 발명은 합성곱 신경망(CNN)을 이용한 시각적 교량 검사 방법 및 시스템에 관한 것이다.

산업사회로 발전하는 과정에서 건설된 대형 구조물과 시설물들은 설계 및 시공 과정에서의 결함 또는 설계 당시에 고려하지 못하였던 각종 요인으로 인하여 구조 손상이 발생되며, 이러한 구조물들의 사용 기간이 경과함에 따라 점차 노후화됨으로써 그 안전성이 크게 위협을 받고 있다. 예를 들면, 심각한 정도의 구조 손상이 발생한 구조물의 경우, 설계 당시에 계획되었던 설계 사용연한에 크게 못 미칠 정도로 사용연한의 단축을 초래하는 경우도 빈번히 발생하고 있다.

이에 따라 건축 구조물의 장기적인 안전성 및 작동성을 확보하기 위한 노력이 절실히 요구되고 있다. 특히, 건물, 교량, 댐 등과 같은 대형 구조물은 각종 운영 하중, 외부 물체에 의한 충격, 지진, 풍하중, 파랑 하중, 부식 등에 지속적으로 노출되어 있기 때문에 이들로부터 구조물의 안전을 확보하는 문제는 경제, 사회적으로 지대한 관심의 현안이 되고 있다. 이러한 대형 구조물들의 정확한 안전 진단을 위해서는 적절한 실험 계측을 통한 구조물 거동의 모니터링, 구조물 손상을 역학적으로 분석하는 기술 및 구조물 손상을 모델화하는 해석 기술을 통한 진단 기술이 요구된다.

이러한 대형 구조물의 손상을 발견하기 위해 사용되고 있는 기술은 재료적인 비파괴 검사법과 더불어 정변위 측정법 및 진동 특성 측정법 등이 사용되고 있다. 예를 들면, 이들 중에서 정변위 측정 및 진동 특성치를 이용한 구조물의 손상 추정 방법은 통상적으로 구조식별 기법(System Identification: SID)이라 한다. 이러한 구조식별 기법(SID)은 구조계의 거동을 실측하고, 이를 구조 해석적으로 모델화하여 구조물 특성치를 추정하는 방법이다.

전술한 바와 같이, 구조물의 비정상 거동 평가를 위한 비파괴 검사 기술은 기계, 항공, 조선, 건설 등의 산업 전반에 걸쳐 활용도가 매우 높은 첨단 기술이다. 특히, 초장대 교량, 초고층 빌딩과 같은 대형 사회기반시설물의 경우, 비정상 거동은 손상을 유발하고, 이것은 곧 막대한 경제적 피해 및 심각한 인명 피해를 유발하므로, 무결점 거동 평가의 운용이 필수적이다.

이에 따라 주요 사회기반시설물에 대한 주기적인 안전점검이 이루어지고 있으나, 주로 점검자에 의해 접근 가능한 지점에 대한 육안검사 수준에 머무르고 있으며, 또한, 점검에 필요한 인력과 자원의 부족 및 접근이 불가능한 시설물에 대한 점검의 어려움 등으로 인하여 점검주기가 제한되는 것이 현실이다.

한편, 국내의 경우, 노후화된 특수교량 숫자가 급격하게 증가하면서 정기점검 횟수도 증가하고 있는데, 이러한 점검의 상당한 부분이 육안으로 진행되고 있어, 검사를 위한 인력과 자원이 부족한 문제점이 있다.

이에 따라, 교량 등 안전 점검이 어려운 대형 사회기반시설물에 대해, 검사가 보다 쉽게 이루어질 수 있는 방안이 모색되고 있다.

본 발명은 합성곱 신경망(CNN)과 드론을 이용하여 보다 편리하게 합성곱 신경망(CNN)을 이용한 시각적 교량 검사 방법 및 시스템을 제공하는데, 그 목적이 있다.

본 발명의 일례에 따른 합성곱 신경망(CNN)을 이용한 교량 검사 방법은 드론이 서버로부터 교량의 위치 정보를 수신하는 위치 수신 단계; 상기 드론이 상기 교량의 위치 정보에 따라 상기 교량으로 이동하여 상기 교량에 대한 전체 영상을 촬영하여, 상기 서버로 전송하는 전체 촬영 단계; 상기 서버가 상기 전체 영상을 수신하여, 상기 전체 영상으로부터 상기 교량의 검사를 위해 필요한 상기 교량의 상세 스팟(spot)을 선정하되, 상기 교량에 대한 상세 정보에 기반하여 상기 상세 스팟의 위치 및 상기 상세 스팟에 대한 검사 종류를 선정하여, 상기 드론으로 전송하는 스팟 선정 단계; 상기 드론이 상기 상세 스팟으로 이동하여, 상기 상세 스팟을 촬영하고, 생성된 스팟 이미지를 상기 서버로 전송하는 스팟 촬영 단계; 및 상기 서버가 상기 스팟 이미지와 상기 상세 스팟에 대응되는 표준 이미지를 비교 및 분석하여, 검사 데이터를 산출하는 분석 단계;를 포함한다.

여기서, 상기 교량에 대한 상세 정보는 상기 교량의 종류, 설계 유형, 건설 연도, 상세 구성 중 적어도 하나를 포함할 수 있다.

상기 스팟 선정 단계에서, 상기 서버는 상기 상세 스팟에 대한 위치 정보와 함께 상기 상세 스팟의 검사 종류에 따른 가이드 라인을 상기 드론에 전송할 수 있다.

스팟 촬영 단계에서, 상기 드론은 상기 가이드 라인에 맞추어 상기 상세 스팟을 촬영하여, 상시 스팟 이미지를 생성할 수 있다.

상기 표준 이미지는 상기 상세 스팟에 대한 정상 이미지 및 결함의 정도에 따른 이미지를 포함할 수 있다.

상기 분석 단계에서는 상기 스팟 이미지를 상기 상세 스팟에 대한 정상 이미지 및 결함의 정도에 따른 이미지 각각과 비교하여, 유사도가 가장 높은 이미지에 대한 매칭값을 상기 검사 데이터로 산출할 수 있다.

본 발명의 일례에 따른 합성곱 신경망(CNN)을 이용한 교량 검사 시스템은 검사의 대상이 되는 교량으로 이동하여, 교량에 대한 전체 영상을 촬영하고, 상기 전체 영상 중에서 상기 교량의 검사를 위해 선정된 상세 스팟(spot)에 대한 스팟 이미지를 촬영하여 전송하는 드론; 및 상기 교량의 위치 정보를 제공하고, 상기 드론으로부터 전송되는 상기 전체 영상을 분석하여, 상기 전체 영상로부터 상기 상세 스팟을 선정하고, 상기 스팟 이미지를 상기 서버에 저장된 표준 이미지와 비교하여, 검사 데이터를 산출하는 서버;를 포함한다.

상기 드론은 상기 서버와 무선 통신을 수행하는 드론 통신부; 상기 서버에서 전송되는 상기 교량의 위치 정보 또는 상기 상세 스팟의 위치 정보에 따라 상기 드론에 구비된 프로펠러를 구동하여 상기 드론의 위치를 이동시키는 드론 구동부; 상기 교량에 대한 전체 영상을 촬영하거나 상기 상세 스팟에 대한 스팟 이미지를 촬영하는 촬영부; 및 상기 드론의 위치를 감지하는 위치 센서부;를 포함할 수 있다.

상기 서버는 상기 드론과 무선 통신을 수행하는 서버 통신부; 상기 교량에 대한 위치 정보를 제공하고, 상기 전체 영상으로부터 상기 교량에 대한 상세 정보에 기반하여 상기 상세 스팟의 위치 및 상기 상세 스팟에 대한 검사 종류를 선정하고, 상기 스팟 이미지와 상기 상세 스팟에 대응되는 표준 이미지를 비교 및 분석하여, 검사 데이터를 산출하는 서버 제어부; 및 상기 교량에 대한 위치 정보, 상기 상세 스팟에 대한 가이드 라인에 대한 정보, 상기 교량에 대한 상세 정보, 상기 상세 스팟에 대한 검사 종류 정보, 및 상기 상세 스팟에 대한 표준 이미지 정보를 저장하는 데이터 베이스부;를 포함할 수 있다.

상기 교량에 대한 상세 정보는 상기 교량의 종류, 설계 유형, 건설 연도, 구성 부분 중 적어도 하나를 포함할 수 있다.

상기 서버 제어부는 상기 교량에 대한 위치 정보를 제공하는 위치 정보 제공 모듈; 상기 전체 영상으로부터 상기 교량에 대한 상세 정보에 기반하여 상기 상세 스팟의 위치 및 상기 상세 스팟에 대한 검사 종류를 선정하는 스팟 선정 모듈; 및 상기 스팟 이미지와 상기 상세 스팟에 대응되는 표준 이미지를 비교하여 검사 데이터를 산출하는 분석 모듈;을 포함할 수 있다.

본 발명의 일례에 따른 합성곱 신경망(CNN)을 이용한 교량 검사 방법 및 시스템은 드론을 이용하여 교량의 위치 정보를 수신하여, 드론이 수신된 교량 위치 정보에 따라 해당 교량으로 이동하여 교량의 전체 영상을 촬영한 후, 서버로부터 전송된 교량의 상세 스팟에 대한 위치 및 검사의 종류에 따라 드론이 해당 상세 스팟으로 이동 및 촬영하여, 서버에서 분석되도록 함으로써, 교량 검사를 보다 효율적이고 편리하게 수행할 수 있다.

도 1은 본 발명의 일례에 따른 합성곱 신경망(CNN)을 이용한 교량 검사 시스템을 설명하기 위한 도이다.
도 2는 도 1에 도시된 드론을 설명하기 위한 도이다.
도 3은 도 1에 도시된 서버를 설명하기 위한 도이다.
도 4는 도 1에 도시된 합성곱 신경망(CNN)을 이용한 교량 검사 시스템에 의해 수행되는 교량 검사 방법의 일례를 설명하기 위한 도이다.
도 5 내지 도 8은 도 4에 도시된 교량 검사 방법을 보다 구체적으로 설명하기 위한 도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명을 설명하는데 있어서, 해당 분야에 이미 공지된 기술 또는 구성에 대한 구체적인 설명을 부가하는 것이 본 발명의 요지를 불분명하게 할 수 있다고 판단되는 경우에는 상세한 설명에서 이를 일부 생략하도록 한다. 또한, 본 명세서에서 사용되는 용어들은 본 발명의 실시예들을 적절히 표현하기 위해 사용된 용어들로서, 이는 해당 분야의 관련된 사람 또는 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

여기서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 ‘포함하는’의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.

이하, 첨부된 도면들을 참조하여 본 발명에 대해 설명한다.

도 1은 본 발명의 일례에 따른 합성곱 신경망(CNN)을 이용한 교량 검사 시스템을 설명하기 위한 도이고, 도 2는 도 1에 도시된 드론(100)을 설명하기 위한 도이고, 도 3은 도 1에 도시된 서버(200)를 설명하기 위한 도이다.

도 1에 도시된 바와 같이, 본 발명의 일례에 따른 교량 검사 시스템은 드론(100) 및 서버(200)를 포함할 수 있다.

이와 같은 본 발명의 교량 검사 시스템은 대형 사회기반 시설물인 교량(10)에 대해 서버(200)에서 전송된 위치 정보에 따라 드론(100)이 해당 교량(10)으로 비행 및 이동하여 접근하고, 드론(100)이 서버(200)로부터 전송되는 정보에 따라 교량(10)의 세부 검사 위치인 상세 스팟으로 이동하여 상세 스팟을 촬영하고, 서버(200)가 상세 스팟을 촬영한 스팟 이미지를 상세 스팟에 대응되는 표준 이미지와 비교 및 분석하여, 검사 데이터를 산출함으로써, 교량 검사에 필요한 인력과 비용을 획기적으로 줄일 수 있다.

드론(100)은 서버(200)와 인터넷 네트워크 통신망을 통하여 통신을 수행할 수 있다. 비록 도시되지는 않았지만, 드론(100)의 인터넷 네트워크 통신을 위하여, 인터넷 네트워크 통신이 가능한 스마트폰과 같은 이동 단말기가 이용되는 것도 가능하다. 즉, 드론(100)이 이동 단말기와 근거리 무선 통신을 수행하고, 이동 단말기가 인터넷 네트워크 통신을 통하여 서버(200)와 통신을 수행하는 것도 가능하다.

드론(100)은 서버(200)로부터 검사의 대상이 되는 교량(10)의 위치 정보를 전송받아 교량(10)으로 이동하여, 교량(10)에 대한 전체 영상을 촬영하여 서버(200)로 전송하고, 전체 영상 중에서 교량(10)의 검사를 위해 선정된 상세 스팟(spot)에 대한 스팟 이미지를 촬영하여 서버(200)로 전송할 수 있다.

여기서, 상세 스팟이라 함은 교량에서 검사의 구체적인 대상이 되는 교량의 구체적인 검사 위치를 의미할 수 있으며, 상세 스팟 이미지는 교량(10)의 상세 스팟에 대한 이미지를 의미할 수 있다.

이를 위해, 드론(100)은 드론 통신부(110), 드론 구동부(120), 촬영부(130), 위치 센서부(140), 저장부(150) 및 전원부(160)를 포함할 수 있다.

드론 통신부(110)는 인터넷 네트워크 통신망을 통하여 서버(200)와 무선 통신을 수행할 수 있다. 이와 같은 드론 통신부(110)를 통하여, 서버(200)로부터 교량(10)의 위치 정보, 상세 스팟의 위치 정보 등을 수신받을 수 있으며, 서버(200)에 교량(10)에 대한 전체 촬영 영상 및 스팟 이미지 등을 전송할 수 있다.

드론 구동부(120)는 서버(200)에서 전송된 교량(10)의 위치 정보 또는 상세 스팟의 위치 정보에 따라 드론(100)에 구비된 프로펠러를 구동하여 드론(100)의 위치를 이동하도록 제어할 수 있으며, 상세 스팟 이미지를 촬영하기 위해, 교량(10)의 상세 스팟 근처에서 상세 스팟과의 거리를 유지하면서 드론(100)의 위치가 공중에서 정지 또는 고정되도록 호버링(Hovering)할 수 있다.

촬영부(130)는 드론(100)이 서버(200)로부터 수신 받은 교량(10)의 위치 정보에 따라 교량(10) 근처로 이동한 후 교량(10)의 전체 영상을 촬영하거나, 서버(200)로부터 수신 받은 상세 스팟의 위치 정보에 따라 상세 스팟으로 이동한 후 교량(10)의 상세 스팟을 촬영할 수 있다.

위치 센서부(140)는 드론(100)의 위치를 감지할 수 있다. 이를 위해 위치 센서부(140)에는 GPS(Global Positioning System) 모듈이 구비될 수 있으며, 이 외에 드론(100)의 상세 위치를 계산하기 위한 가속도 센서, 자이로 센서 및 지자기 센서를 더 구비할 수도 있다.

이에 따라, 서버(200)로부터 수신받은 교량(10)의 위치 정보 또는 상세 스팟의 위치 정보에 따라, 드론 구동부(120)가 드론(100)의 이동을 제어할 때, 위치 센서부(140)에서 감지되는 드론(100)의 위치 정보와 비교하여, 드론(100)의 이동을 제어할 수 있다.

저장부(150)는 촬영부(130)에서 촬영된 교량(10)의 전체 영상 정보 및 상세 스팟 이미지 정보를 미리 정해진 시간 동안 저장된 후, 서버(200)로 전송될 수 있으며, 전원부(160)는 드론(100)의 제어에 필요한 전원을 제공할 수 있다.

서버(200)는 교량(10)의 위치 정보를 제공하고, 드론(100)으로부터 전송되는 전체 영상을 분석하여, 전체 영상로부터 상세 스팟을 선정하고, 스팟 이미지를 서버(200)에 저장된 표준 이미지와 비교하여, 검사 데이터를 산출할 수 있다.

이를 위해, 서버(200)는 서버 통신부(210), 서버 제어부(220) 및 데이터 베이스부(230)를 포함할 수 있으며, 도시되지는 않았지만, 서버(200)에는 키보드 및 마우스와 같은 입력부, 모니터와 같은 출력부가 더 구비되는 것도 가능하다.

서버 통신부(210)는 드론(100)과 무선 통신을 수행할 수 있다. 이에 따라, 서버(200)는 드론(100)으로부터 제공되는 교량(10)에 대한 전체 영상 정보와 스팟 이미지 정보를 서버 통신부(210)를 통하여 수신할 수 있다.

서버 제어부(220)는 교량(10)에 대한 위치 정보를 드론(100)에 제공하고, 드론(100)으로부터 제공되는 전체 영상 정보와 서버(200)에 저장된 교량(10)에 대한 상세 정보를 분석하여, 교량(10)에 대한 상세 스팟의 위치와 상세 스팟에 대한 검사 종류를 선정할 수 있다. 아울러, 드론(100)으로부터 제공되는 스팟 이미지와 서버(200)에 저장된 상세 스팟에 대응되는 표준 이미지를 서로 비교 및 분석하여, 교량(10)에 대한 검사 데이터를 산출할 수 있다.

이를 위해, 서버 제어부(220)는 위치 정보 제공 모듈(221), 스팟 선정 모듈(222) 및 분석 모듈(223)을 포함할 수 있다.

위치 정보 제공 모듈(221)은 교량(10)에 대한 위치 정보를 제공할 수 있다. 구체적으로, 관리자 또는 사용자에 의해 검사하고자 하는 교량(10)이 선택되면, 위치 정보 제공 모듈(221)은 서버(200)에 저장된 해당 교량(10)에 대한 위치 정보를 선택하여, 드론(100)에 제공할 수 있다.

스팟 선정 모듈(222)은 드론(100)으로부터 제공되는 전체 영상 정보를 분석하고, 전체 영상 정보와 교량(10)에 대한 상세 정보에 기반하여 상세 스팟의 위치 및 상세 스팟에 대한 검사 종류를 선정할 수 있다.

구체적으로, 스팟 선정 모듈(222)은, 교량에 대한 상세 정보를 구성하는 개별 유형의 정보 중 둘 이상의 정보를 입력변수로 하는 합성곱신경망(CNN)기법을 이용하여 스팟을 선정하는 것을 특징으로 할 수 있다.

분석 모듈(223)은 스팟 이미지와 상세 스팟에 대응되는 표준 이미지를 비교하여 검사 데이터를 산출할 수 있다.

구체적으로, 분석 모듈(223)은 스팟 이미지와 상세 스팟에 대응되는 표준 이미지 사이의 매칭값을 산출하기 위해 스팟 이미지를 표준 이미지 및 비표준 이미지로 구분하기 위해, 스팟의 크랙 유무를 입력변수로 하는 합성곱신경망(CNN)기법을 이용하는 것을 특징으로 할 수 있다.

데이터 베이스부(230)는 교량(10)에 대한 위치 정보, 상세 스팟에 대한 가이드 라인에 대한 정보, 교량(10)에 대한 상세 정보, 상세 스팟에 대한 검사 종류 정보, 및 상세 스팟에 대한 표준 이미지 정보를 저장할 수 있다.

이에 따라, 드론(100)을 검사하고자 하는 교량(10)으로 이동시키고자 할 때, 서버 제어부(220)의 요청에 따라 데이터 베이스부(230)는 서버 제어부(220)에 해당 교량(10)에 대한 위치 정보를 제공하고, 드론(100)이 교량(10)에 근접하여 교량(10)에 대한 전체 영상 정보를 전송한 경우, 스팟 선정 모듈(222)의 요청에 따라 교량(10)에 대한 상세 정보 및 각 상세 스팟에 대한 검사 종류 정보를 서버 제어부(220)에 제공할 수 있다.

여기서, 교량(10)에 대한 상세 정보는 교량(10)의 종류, 설계 유형, 건설 연도, 부분별 검사주기 중 적어도 하나를 포함할 수 있다.

아울러, 스팟 선정 모듈(222)의 분석에 의해 교량(10)에서 검사하고자 하는 상세 스팟이 특정되면, 데이터 베이스부(230)는 스팟 선정 모듈(222)에 상세 스팟을 촬영하기 위한 가이드 라인 정보를 서버 제어부(220)에 제공할 수 있다.

또한, 서버 제어부(220)가 드론(100)으로부터 스팟 이미지를 제공받은 경우, 데이터 베이스부(230)는 분석 모듈(223)에 상세 스팟의 검사 종류별 표준 이미지 정보를 제공할 수 있다.

이하에서는 본 발명의 일례에 따른 교량 검사 시스템이 교량(10)을 검사하는 교량 검사 방법의 일례에 대해 설명한다.

도 4는 도 1에 도시된 합성곱 신경망(CNN)을 이용한 교량 검사 시스템에 의해 수행되는 교량 검사 방법의 일례를 설명하기 위한 도이다.

도 5 내지 도 8은 도 4에 도시된 합성곱 신경망(CNN)을 이용한 교량 검사 방법을 보다 구체적으로 설명하기 위한 도이다.

도 4에 도시된 바와 같이, 본 발명의 일례에 따른 교량 검사 방법은 도 4에 도시된 바와 같이, 위치 수신 단계(S1), 전체 촬영 단계(S2), 스팟 선정 단계(S3), 스팟 촬영 단계(S4) 및 분석 단계(S5)를 포함할 수 있다.

위치 수신 단계(S1)에서는 검사를 하고자 하는 교량(10)이 선택되면, 드론(100)이 서버(200)로부터 교량(10)의 위치 정보를 수신할 수 있다.

전체 촬영 단계(S2)에서는 드론(100)이 교량(10)의 위치 정보에 따라 교량(10)으로 이동하여 교량(10)에 대한 전체 영상을 촬영하여, 서버(200)로 전송할 수 있다.

구체적으로, 도 5에 도시된 바와 같이, 전체 촬영 단계(S2)에서, 드론(100)은 수신받은 교량(10)의 위치 정보에 따라 교량(10)으로 이동할 수 있다. 이때, 드론(100)은 사용자 또는 관리자에 의한 별도의 제어 없이 교량(10)으로 이동할 수 있다.

구체적으로, 드론(100)은 서버(200)로부터 전송받은 교량(10)의 위치 정보에 따라 드론 구동부(120)가 동작하게 되고, 이때, 드론(100)에 구비된 위치 센서부(140)가 드론(100)의 이동에 따른 드론(100)의 현재 위치를 감지하고, 드론 구동부(120)는 드론(100)의 현재 위치와 교량(10)의 위치를 비교하면서, 도 5와 같이 비행해야 할 방향으로 드론(100)을 이동시킬 수 있으며, 드론(100)이 교량(10)의 위치 정보에 따른 목적지까지 다다른 경우, 교량(10) 전체를 촬영하여 전체 영상을 생성하고, 서버(200)로 전체 영상 정보를 전송할 수 있다.

스팟 선정 단계(S3)에서는 서버(200)가 전체 영상을 수신하여, 전체 영상으로부터 교량(10)의 검사를 위해 필요한 교량(10)의 상세 스팟(spot)을 선정하되, 교량(10)에 대한 상세 정보에 기반하여 상세 스팟의 위치를 선정하여, 드론(100)으로 전송할 수 있다.

구체적으로, 서버(200)가 수신 받은 전체 영상의 교량(10) 구조가 도 6의 (a)와 같은 경우, 서버(200)에 구비된 스팟 선정 모듈(222)은 교량(10)의 전체 영상에 대응되는 교량(10)에 대한 상세 정보를 데이터베이스로부터 제공받을 수 있다.

여기서, 교량(10)에 대한 상세 정보는 교량(10)의 종류, 설계 유형, 건설 연도, 상세 구성 중 적어도 하나를 포함할 수 있다.

구체적으로, 스팟 선정 단계(S3)에서는 교량에 대한 상세 정보를 구성하는 개별 유형의 정보 중 둘 이상의 정보를 입력변수로 하는 합성곱신경망(CNN)기법을 이용하여 스팟을 선정하는 것을 특징으로 할 수 있다.

일례로, 도 6의 (a)와 같은 교량(10)의 경유, 도 6의 (b)와 같이 교량(10)에 대한 상세 정보는 교량(10)의 종류, 설계 유형, 건설 연도, 상세 구성 등이 예시될 수 있으며, 교량(10)의 종류는 철근 또는 콘크리트, 설계 유형은 단순교, 트러스교, 라멘교, 아치교, 현수교 및 사장교, 상세 구성은 상부 구조(1)에 슬래브(2), 거더(3), 하부 구조(5)에 교대(6), 교각(7), 기초 슬래브(8), 기둥(9)이 예시될 수 있다. 이외에도, 교량(10)이 철근만으로 구성된 경우, 상세 구성에 볼트 부분, 센서 부분 등이 예시될 수 있다.

도 6의 (b)에서는 검사 대상 교량(10)이 콘크리트 단순교이고, 상세 스팟이 기둥(9)으로 선정된 경우를 일례로 예시하였으며, 이에 따라 이하에서는 상세 스팟에 대한 검사 종류가 기둥(9)의 외관 크랙(9CR) 검사로 선정된 경우를 일례로 설명한다.

도 6에서는 상세 스팟의 위치 및 검사 종류가 하나인 경우를 일례로 도시하였지만, 본 발명이 반드시 이에 한정되는 것은 아니고, 해당 교량(10)에 대한 상세 구성의 각 부분에 대한 검사 주기를 고려하여, 검사 주기에 해당되는 상세 구성의 복수의 부분을 상세 스팟으로 선정할 수 있다.

이와 같은 검사의 대상이 되는 상세 스팟은 검사 주기에 따라 달라질 수 있으며, 필요한 경우, 관리자 또는 사용자에 따라 사전에 입력되는 것도 가능하다.

아울러, 도 6과 같이, 상세 스팟과 검사 종류가 선정되는 경우, 데이터 베이스부(230)는 상세 스팟 및 검사 종류에 따른 가이드 라인 정보를 서버 제어부(220)에 제공할 수 있다.

일례로, 스팟 선정 모듈(222)이 상세 스팟의 위치로 교량(10)의 기둥(9), 상세 스팟에 대한 검사 종류로 기둥(9)의 외관 크랙(9CR) 검사를 선정한 경우, 데이터 베이스부(230)는 상세 스팟에 대한 검사 종류에 따른 도 7의 (a)에 도시된 바와 같은 가이드 라인 정보를 서버 제어부(220)에 제공할 수 있다.

이와 같은 가이드 라인 정보는 드론(100)이 선정된 상세 스팟 및 검사 종류에 따라 상세 스팟을 촬영하기에 적절한 가이드 라인 정보를 제공하여, 분석 모듈(223)이 스팟 이미지를 분석할 때, 분석의 정확도를 보다 높일 수 있다.

이와 같은 가이드 라인 정보는 도 7의 (a)에 도시된 바와 같이, 검사하고자 하는 상세 스팟에 대한 가이드 라인(GL)을 표시한 이미지 정보(GP)일 수 있으며, 이와 같은 가이드 라인 정보는 상세 스팟에 대한 검사 종류에 따라, 드론(100)이 상세 스팟을 촬영했을 때, 생성된 스팟 이미지가 서버(200)에 저장된 표준 이미지(SP)와 비교가 용이한 각도로 촬영될 수 있도록 가이드 라인이 표시될 수 있다.

스팟 선정 단계(S3)에서, 서버(200)는 상세 스팟에 대한 위치 정보와 함께 상세 스팟의 검사 종류에 따른 가이드 라인 정보를 드론(100)에 전송할 수 있다.

스팟 촬영 단계(S4)에서, 드론(100)은 서버(200)로부터 전송된 상세 스팟에 대한 위치 정보에 따라 상세 스팟으로 이동하여, 가이드 라인(GL)에 따라 상세 스팟을 촬영하고, 생성된 스팟 이미지를 서버(200)로 전송할 수 있다.

구체적으로, 스팟 촬영 단계(S4)에서, 드론(100)은 상세 스팟으로 선정된 교량(10)의 기둥(9) 쪽으로 이동하여, 도 7의 (b)와 같이, 가이드 라인(GL)에 맞추어 상세 스팟인 교량(10)의 기둥(9)을 촬영하여, 스팟 이미지(SI)를 생성할 수 있고, 드론(100)은 생성된 스팟 이미지(SI)를 서버(200)로 전송할 수 있다.

이후, 분석 단계(S5)에서, 서버(200)의 분석 모듈(223)은 스팟 이미지(SI)와 상세 스팟에 대응되는 표준 이미지(SP)를 비교 및 분석하여, 검사 데이터를 산출할 수 있다.

구체적으로, 분석 단계(S5)에서는 매칭값을 산출하기 위해 스팟 이미지를 상세 스팟에 대한 정상 이미지 및 결함의 정도에 따른 이미지로 구분하기 위해, 스팟의 크랙 유무를 입력변수로 하는 합성곱신경망(CNN)기법을 이용할 수 있다.

이를 위해, 분석 모듈(223)은 수신된 상세 스팟의 스팟 이미지(SI)와 대응되는 표준 이미지(SP)를 데이터 베이스부(230)로부터 제공받을 수 있다.

이때, 제공되는 표준 이미지(SP)는 해당 상세 스팟에 대한 정상 이미지 및 결함의 정도에 따른 이미지를 포함할 수 있다.

일례로, 데이터 베이스부(230)로부터 제공되는 표준 이미지(SP)는 도 8의 (a)와 같은 교량(10)의 기둥(9)에 대한 정상 이미지, 결함의 정도에 따라 도 8의 (b)와 같은 주의 이미지, 도 8의 (c)와 같은 위험 이미지를 포함할 수 있다.

도 8 (a)의 정상 이미지는 기둥(9)에 크랙(9CR)이 거의 표시되지 않을 수 있으며, 도 8 (b)의 주의 이미지는 기둥(9)에 크랙(9CR)이 조금 표시되어 있을 수 있으며, 도 8 (c)의 위험 이미지는 기둥(9)에 크랙(9CR)이 다량 표시된 것일 수 있다.

분석 단계(S5)에서는 분석 모듈(223)이 스팟 이미지(SI)를 상세 스팟에 대한 정상 이미지 및 결함의 정도에 따른 이미지 각각과 비교하여, 유사도가 가장 높은 이미지에 대한 매칭값을 검사 데이터로 산출할 수 있다.

일례로, 분석 모듈(223)은 드론(100)으로부터 전송된 도 7 (b)의 스팟 이미지(SI)를 도 8에 도시된 표준 이미지(SP)들과 각각의 유사도를 판단을 수행할 수 있다.

구체적으로, 스팟 이미지(SI)에 표시된 교량(10)의 기둥(9)에 미세 크랙(9CR)이 표시된 경우, 분석 모듈(223)은 도 8에 도시된 표준 이미지(SP)들 중에서 기둥(9)에 미세 크랙(9CR)이 조금 표시된 도 8 (b)를 가장 유사도 값이 높은 이미지로 판단하여, 현재 교량(10)의 기둥(9) 상태가 주의 관찰을 요하는 것으로 검사 데이터의 결과를 산출할 수 있다.

도 6 내지 도 8에서는 콘크리트 교량(10)에서 하중을 가장 많이 받는 기둥(9)에 대한 크랙(9CR) 검사를 일례로 설명하였지만, 본 발명은 이에 반드시 한정되는 것은 아니고, 철근 교량(10)의 경우, 볼트의 이음부 부분을 상세 스팟으로 선정하여, 볼트의 조임이나 부식 정도에 대한 스팟 이미지를 촬영하여, 표준 이미지(SP)와 한 분석이 가능하다.

아울러, 본 발명은 센서가 구비된 교량(10)의 경우, 센서가 위치하는 부분을 상세 스팟으로 선정한 후 스팟 이미지(SI)를 촬영하여, 센서가 올바르게 구비된 표준 이미지(SP)와 비교하여, 센서가 제대로 교량(10)의 상태를 감지할 수 있는 상태인지 여부를 분석할 수도 있다.

이와 같이, 본 발명의 교량 검사 시스템 및 방법은 대형 사회기반 시설물인 교량(10)에 대해 서버(200)에서 전송된 위치 정보에 따라 드론(100)이 해당 교량(10)으로 비행 및 이동하여 접근하고, 드론(100)이 서버(200)로부터 전송되는 정보에 따라 교량(10)의 상세 스팟으로 이동하여 상세 스팟을 촬영하고, 서버(200)가 스팟 이미지(SI)를 표준 이미지(SP)와 비교 및 분석하여, 검사 데이터를 산출함으로써, 교량 검사에 필요한 인력과 비용을 획기적으로 줄일 수 있다.

본 발명에서는 분석 모듈(223)이 스팟 이미지(SI)와 표준 이미지(SP) 각각을 비교하여, 해당되는 표준 이미지(SP)에 따라 상세 스팟의 결함 정도를 분석하는 것을 일례로 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니고, 표준 이미지(SP)는 상세 스팟의 정상 이미지만 제공되고, 분석 모듈(223)이 스팟 이미지(SI)와 하나의 표준 이미지(SP)를 분석하여, 상세 스팟의 노후 또는 결함 정도를 분석하는 것도 가능하다.

본 발명의 각 실시예에 개시된 기술적 특징들은 해당 실시예에만 한정되는 것은 아니고, 서로 양립 불가능하지 않은 이상, 각 실시예에 개시된 기술적 특징들은 서로 다른 실시예에 병합되어 적용될 수 있다.

따라서, 각 실시예에서는 각각의 기술적 특징을 위주로 설명하지만, 각 기술적 특징이 서로 양립 불가능하지 않은 이상, 서로 병합되어 적용될 수 있다.

본 발명은 상술한 실시예 및 첨부한 도면에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자의 관점에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명의 범위는 본 명세서의 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.

10: 교량 100: 드론
200: 서버

Claims

드론이 서버로부터 교량의 위치 정보를 수신하는 위치 수신 단계;
상기 드론이 상기 교량의 위치 정보에 따라 상기 교량으로 이동하여 상기 교량에 대한 전체 영상을 촬영하여, 상기 서버로 전송하는 전체 촬영 단계;
상기 서버가 상기 전체 영상을 수신하여, 상기 전체 영상으로부터 상기 교량의 검사를 위해 필요한 상기 교량의 상세 스팟(spot)을 선정하되, 상기 교량에 대한 상세 정보에 기반하여 상기 상세 스팟의 위치 및 상기 상세 스팟에 대한 검사 종류를 선정하고, 상기 드론으로 전송하는 스팟 선정 단계;
상기 드론이 상기 상세 스팟으로 이동하여, 상기 상세 스팟을 촬영하고, 생성된 스팟 이미지를 상기 서버로 전송하는 스팟 촬영 단계; 및
상기 서버가 상기 스팟 이미지와 상기 상세 스팟에 대응되는 표준 이미지를 비교 및 분석하여, 검사 데이터를 산출하는 분석 단계;
를 포함하는 교량 검사 방법.
제1 항에 있어서,
상기 교량에 대한 상세 정보는 상기 교량의 종류, 설계 유형, 건설 연도, 상세 구성 중 적어도 하나를 포함하는 교량 검사 방법.
제1 항에 있어서,
상기 스팟 선정 단계는,
상기 교량에 대한 상세 정보를 구성하는 개별 유형의 정보 중 둘 이상의 정보를 입력변수로 하는 합성곱신경망(CNN)기법을 이용하여 스팟을 선정하는 것을 특징으로 하는 교량 검사 방법.
제1 항에 있어서,
상기 스팟 선정 단계에서,
상기 서버는 상기 상세 스팟에 대한 위치 정보와 함께 상기 상세 스팟의 검사 종류에 따른 가이드 라인을 상기 드론에 전송하는 교량 검사 방법.
제4 항에 있어서,
스팟 촬영 단계에서,
상기 드론은 상기 가이드 라인에 맞추어 상기 상세 스팟을 촬영하여, 상시 스팟 이미지를 생성하는 교량 검사 방법.
제1 항에 있어서,
상기 표준 이미지는 상기 상세 스팟에 대한 정상 이미지 및 결함의 정도에 따른 이미지를 포함하는 교량 검사 방법.
제6 항에 있어서,
상기 분석 단계에서는
상기 스팟 이미지를 상기 상세 스팟에 대한 정상 이미지 및 결함의 정도에 따른 이미지 각각과 비교하여, 유사도가 가장 높은 이미지에 대한 매칭값을 상기 검사 데이터로 산출하는 교량 검사 방법.
제7 항에 있어서,
상기 분석 단계에서는
상기 매칭값을 산출하기 위해 상기 스팟 이미지를 상기 상세 스팟에 대한 정상 이미지 및 결함의 정도에 따른 이미지로 구분하기 위해, 상기 스팟의 크랙 유무를 입력변수로 하는 합성곱신경망(CNN)기법을 이용하는 교량 검사 방법.
검사의 대상이 되는 교량으로 이동하여, 교량에 대한 전체 영상을 촬영하고, 상기 전체 영상 중에서 상기 교량의 검사를 위해 선정된 상세 스팟(spot)에 대한 스팟 이미지를 촬영하여 전송하는 드론; 및
상기 교량의 위치 정보를 제공하고, 상기 드론으로부터 전송되는 상기 전체 영상을 분석하여, 상기 전체 영상로부터 상기 상세 스팟을 선정하고, 상기 스팟 이미지를 상기 서버에 저장된 표준 이미지와 비교하여, 검사 데이터를 산출하는 서버;를 포함하는 교량 검사 시스템.
제9 항에 있어서,
상기 드론은
상기 서버와 무선 통신을 수행하는 드론 통신부;
상기 서버에서 전송되는 상기 교량의 위치 정보 또는 상기 상세 스팟의 위치 정보에 따라 상기 드론에 구비된 프로펠러를 구동하여 상기 드론의 위치를 이동시키는 드론 구동부;
상기 교량에 대한 전체 영상을 촬영하거나 상기 상세 스팟에 대한 스팟 이미지를 촬영하는 촬영부; 및
상기 드론의 위치를 감지하는 위치 센서부;를 포함하는 교량 검사 시스템.
제9 항에 있어서,
상기 서버는
상기 드론과 무선 통신을 수행하는 서버 통신부;
상기 교량에 대한 위치 정보를 제공하고, 상기 전체 영상으로부터 상기 교량에 대한 상세 정보에 기반하여 상기 상세 스팟의 위치 및 상기 상세 스팟에 대한 검사 종류를 선정하고, 상기 스팟 이미지와 상기 상세 스팟에 대응되는 표준 이미지를 비교 및 분석하여, 검사 데이터를 산출하는 서버 제어부; 및
상기 교량에 대한 위치 정보, 상기 상세 스팟에 대한 가이드 라인에 대한 정보, 상기 교량에 대한 상세 정보, 상기 상세 스팟에 대한 검사 종류 정보, 및 상기 상세 스팟에 대한 표준 이미지 정보를 저장하는 데이터 베이스부;를 포함하는 교량 검사 시스템.
제11 항에 있어서,
상기 교량에 대한 상세 정보는 상기 교량의 종류, 설계 유형, 건설 연도, 구성 부분 중 적어도 하나를 포함하는 교량 검사 시스템.
제11 항에 있어서,
상기 서버 제어부는
상기 교량에 대한 위치 정보를 제공하는 위치 정보 제공 모듈;
상기 전체 영상으로부터 상기 교량에 대한 상세 정보에 기반하여 상기 상세 스팟의 위치 및 상기 상세 스팟에 대한 검사 종류를 선정하는 스팟 선정 모듈; 및
상기 스팟 이미지와 상기 상세 스팟에 대응되는 표준 이미지를 비교하여 검사 데이터를 산출하는 분석 모듈;을 포함하는 교량 검사 시스템.
제13 항에 있어서,
상기 스팟 선정 모듈은,
상기 교량에 대한 상세 정보를 구성하는 개별 유형의 정보 중 둘 이상의 정보를 입력변수로 하는 합성곱신경망(CNN)기법을 이용하여 스팟을 선정하는 것을 특징으로 하는 교량 검사 시스템.
제13 항에 있어서,
상기 분석 모듈은.
상기 스팟 이미지와 상기 상세 스팟에 대응되는 표준 이미지 사이의 매칭값을 산출하기 위해 상기 스팟 이미지를 상기 표준 이미지 및 비표준 이미지로 구분하기 위해, 상기 스팟의 크랙 유무를 입력변수로 하는 합성곱신경망(CNN)기법을 이용하는 교량 검사 시스템.