KR102416275B1 - 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트 및 이를 이용한 촬영성능 평가방법 - Google Patents

Abstract

본 발명은 흑색과 백색이 교차하며 그리드로 형성된 초점평가부(100);
흑색부터 백색까지 그라데이션(gradation) 순서로 배치되는 휘도평가부(200);
각기 다른 다수의 선굵기로 표기된 균열폭평가부(300);
다양한 컬러색상이 배치된 컬러평가부(400);
가로변과 세로변에 10mm 간격으로 눈금이 표기된 비율확인부(500);
를 포함하여 구성되되,
드론에 장착된 촬영장치로 촬영되어 획득된 이미지와 비교 분석되는 것을 특징으로 하는 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트(1000)를 제공한다.
그리고 상기 성능 검증 차트(1000)를 이용한 것으로,
(1) 건설시설물의 측면 및 상판(바닥판) 하부에 상기 성능 검증 차트(1000) 다수개가 부착되는 성능 검증 차트 설치단계;
(2) 상기 촬영장치가 가동된 상태로 상기 드론이 건설시설물의 측면 및 상판(바닥판) 하부와 일정거리 이격된 상태로 지그재그로 비행하면서 상기 촬영장치가 상기 성능 검증 차트(1000) 다수개를 포함한 건설시설물의 측면 및 상판(바닥판) 하부를 모두 촬영하는 촬영단계;
(3) 상기 드론과 근거리 통신수단으로 연결된 제어부에 상기 촬영장치로 촬영되어 획득된 이미지가 전송되는 이미지 전송단계;
(4) 상기 제어부에 설치된 전용어플리케이션을 사용하여 상기 획득된 이미지와 상기 성능 검증 차트(1000)를 비교 분석하는 분석단계;
를 포함하여 구성되는 것을 특징으로 하는 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트를 이용한 촬영성능 평가방법을 제공한다.

Description

강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트 및 이를 이용한 촬영성능 평가방법{the verification standard chart of photographing apparatus for facilities inspecting drone and the method of evaluating photographing performance using the same}

본 발명은 교량 등 건설시설물의 열화를 점검하는 드론, 로봇, 차량 등 이동체에 장착된 카메라로 이동 중에 취득한 이미지 및 영상의 오차범위를 설정하고 취득한 이미지 및 영상의 등급을 부여할 수 있는 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트 및 이를 이용한 촬영성능 평가방법에 관한 것이다.

우리나라는 1970년대부터 1990년대에 집중적으로 도로, 철도, 교량, 댐, 산업단지, 상하수도 등 주요 사회 인프라 시설을 준공하였다.

최근 해당 사회 인프라 시설들의 사용 연수가 30년을 넘어서면서 노후시설물이 급증하는 동시에 세계적인 기후변화와 이상기후로 인하여 발생되는 자연재해의 발생 빈도까지 높아져 노후시설물의 손상 및 붕괴 등이 국민의 안전을 위협하고 경제활동에 지장을 주는 일이 증가하고 있다.

「시설물의 안전 및 유지관리에 관한 특별법(시설물안전법)」에 정의된 국내 1,2종 시설물 중에서 사용 연수가 30년 이상인 노후시설물은 2017년 10.3%로 나타났으며, 10년 후에는 21.4%, 20년 후에는 44.4%로 급격히 증가할 것이 예상되며, 이에 따라 노후 시설물의 안전 및 유지관리를 위한 제반 비용 및 국가적 예산규모도 기하급수적으로 증가할 것으로 예상된다.

이에 따라 4차 산업혁명 기술 등을 활용하여 경제적, 효율적으로 시설물 안전 및 유지관리를 위한 첨단장비의 활용 및 시장도입이 확대되고 있다.

최근 5년간 시설물 점검 및 진단에 활용된 첨단장비 및 기술 활용사례를 국토안전관리원(KALIS)의 '시설물통합정보관리시스템(FMS)' 으로 조사해본 결과 드론, 화상계측기, 레이저변위계, 적외선 열화상카메라, GPR, 수중카메라, Side Scan Sonar, 상관식 누수탐사기, 청음식 누수탐사기, 터널스캐너의 장비들이 시설물 점검 및 진단에 활용되었으며, 시설물 점검 및 진단에 활용할 첨단장비 및 기술과 관련된 과제, 논문, 연구보고서, 특허를 검색해본 결과 2010년부터 꾸준히 증가하는 추세를 보여 주었다.

시설물 점검 및 진단에 있어 다양하고 새로운 첨단장비 및 기술이 개발되고 도입되는 한편, 국내에는 이러한 첨단장비의 성능을 검증하는 제도나 절차가 존재하지 않는다. 이는 시설물 점검 및 진단에 있어 부정확한 결과를 초래하여 결과적으로, 시설물의 부실한 점검 및 유지관리를 양산할 수 있다.

따라서 시설물 점검 및 진단에 활용되는 첨단장비 및 기술에 대한 성능평가 및 검증, 인증을 통하여 시설물의 부실한 점검 및 유지관리를 예방할 필요가 있다.

이에 본 특허에서는시설물의 결함에 큰 영향을 미치는 균열 등을 점검 및 진단하는 장비 중 카메라가 장착된 비행 상태의 드론에 탑재된 카메라로 촬영된 영상의 성능을 검증하기 위한 성능평가 방법론을 제시하고자 한다.

[문헌 1] 대한민국 등록특허 제10-1870761호 '항공통합시뮬레이션을 이용한 드론영상촬영 지원시스템 및 방법', 2018년06월19일 [문헌 2] 대한민국 공개특허 제10-2021-0011186호 '드론 영상 분석 장치 및 방법', 2021년02월01일

본 발명은 상기한 바와 같은 종래의 제반 문제점을 해소하기 위해서 제시되는 것이다. 그 목적은 건설시설물의 노후화에 따른 결함을 검출하는 안전 점검용 드론에 설치되어 사용되는 카메라와 같은 촬영장치의 드론비행에 따른 사진(이미지)의 품질을 평가하여 오차범위를 설정하고 등급을 부여할 수 있는 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트 및 이를 이용한 촬영성능 평가방법을 제공하고자 한다.

상기한 기술적 과제를 해결하기 위해 본 발명은 흑색과 백색이 교차하며 그리드로 형성된 초점평가부(100);

흑색부터 백색까지 그라데이션(gradation) 순서로 배치되는 휘도평가부(200);

각기 다른 다수의 선굵기로 표기된 균열폭평가부(300);

다양한 컬러색상이 배치된 컬러평가부(400);

가로변과 세로변에 10mm 간격으로 눈금이 표기된 비율확인부(500);

를 포함하여 구성되되,

드론에 장착된 촬영장치로 촬영되어 획득된 이미지와 비교 분석되는 것을 특징으로 하는 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트(1000)를 제공한다.

그리고 상기 성능 검증 차트(1000)를 이용한 것으로,

(1) 건설시설물의 측면 및 상판(바닥판) 하부에 상기 성능 검증 차트(1000) 다수개가 부착되는 성능 검증 차트 설치단계;

(2) 상기 촬영장치가 가동된 상태로 상기 드론이 건설시설물의 측면 및 상판(바닥판) 하부와 일정거리 이격된 상태로 지그재그로 비행하면서 상기 촬영장치가 상기 성능 검증 차트(1000) 다수개를 포함한 건설시설물의 측면 및 상판(바닥판) 하부를 모두 촬영하는 촬영단계;

(3) 상기 드론과 근거리 통신수단으로 연결된 제어부에 상기 촬영장치로 촬영되어 획득된 이미지가 전송되는 이미지 전송단계;

(4) 상기 제어부에 설치된 전용어플리케이션을 사용하여 상기 획득된 이미지와 상기 성능 검증 차트(1000)를 비교 분석하는 분석단계;

를 포함하여 구성되는 것을 특징으로 하는 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트를 이용한 촬영성능 평가방법을 제공한다.

본 발명에 따르면 교량 등 건설시설물의 하자를 검색하는 건설시설물 점검 드론에 설치되어 사용되는 카메라와 같은 촬영장치의 드론비행에 따른 사진(이미지)의 품질을 평가하여 오차범위를 설정하고 등급을 부여할 수 있는 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트 및 이를 이용한 촬영성능 평가방법을 제공한다.

도 1은 본 발명의 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트를 도시한 것이다.
도 2는 도 1에서 초점평가부를 발췌하여 도시한 것이다.
도 3은 도 1에서 휘도평가부를 발췌하여 도시한 것이다.
도 4는 도 1에서 균열폭평가부를 발췌하여 도시한 것이다.
도 5는 도 1에서 컬러평가부를 발췌하여 도시한 것이다.
도 6은 도 1에서 비율확인부를 발췌하여 도시한 것이다.
도 7 내지 14는 본 발명의 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트를 이용한 촬영성능 평가방법의 실시예들을 도시한 것이다.
도 15는 초점평가부의 그래프를 도시한 것이다.
도 16 내지 17은 컬러평가부의 그래프를 도시한 것이다.

이하 첨부한 도면과 함께 상기와 같은 본 발명의 개념이 바람직하게 구현된 실시예를 통하여 본 발명을 더욱 상세하게 설명한다.

도 1은 본 발명의 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트를 도시한 것이다.

도 2는 도 1에서 초점평가부를 발췌하여 도시한 것이다.

도 3은 도 1에서 휘도평가부를 발췌하여 도시한 것이다.

도 4는 도 1에서 균열폭평가부를 발췌하여 도시한 것이다.

도 5는 도 1에서 컬러평가부를 발췌하여 도시한 것이다.

도 6은 도 1에서 비율확인부를 발췌하여 도시한 것이다.

본 발명의 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트(1000)는,

흑색과 백색이 교차하며 그리드로 형성된 초점평가부(100);

흑색부터 백색까지 그라데이션(gradation) 순서로 배치되는 휘도평가부(200);

각기 다른 다수의 선굵기로 표기된 균열폭평가부(300);

다양한 컬러색상이 배치된 컬러평가부(400);

가로변과 세로변에 10mm 간격으로 눈금이 표기된 비율확인부(500);

를 포함하여 구성되되,

드론에 장착된 촬영장치로 촬영되어 획득된 이미지와 비교 분석되는 것을 특징으로 한다.

상기 성능 검증 차트(1000)는 다수개가 모형 교량 또는 실제 교량에 부착되고,

상기 드론은 비행 중에 상기 성능 검증 차트(1000)를 촬영하는 것을 특징으로 한다.

드론은 고공에서 비행하며 악조건에서 외부에 노출되어 있는 건설시설물의 수평면, 수직면, 하부면 등 다양한 부위를 촬영하게 된다.

따라서 드론의 촬영성능을 평가하는 것은 난이도가 높다고 볼 수 있다.

본 발명의 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트(1000)는 상기 드론이 저속에서 고속으로 다양한 속도로 비행하며 촬영되며, 촬영으로 획득된 이미지가 최초의 원본인 성능 검증 차트(1000)에 얼마나 근접하는지 평가하기 위한 것이다.

도 2는 도 1에서 초점평가부를 발췌하여 도시한 것이고,

도 15는 초점평가부의 그래프를 도시한 것이다.

도 1 및 2의 초점평가부를 드론에 장착된 촬영장치로 촬영하여 획득된 이미지를 얻고,

획득된 이미지 분석을 통하여 도 15의 그래프를 얻을 수 있다.

구체적으로 도 15는 초점평가부(100)의 흑색과 백색 교차점(도면에서 빨간 점선 부분)의 흑백 농도변화를 픽셀마다 그래프화한 것이다.

초점이 잘 맞는 경우에는 도 15(a)와 같이 그래프가 급격한 변화를 나타내며, 초점이 잘 맞지 않는 경우에는 도 15(b)와 같이 그래프가 완만한 변화를 나타낸다.

도 3은 도 1에서 휘도평가부를 발췌하여 도시한 것이다.

상기 휘도평가부(200)는 흑색부터 백색까지 그라데이션(gradation) 순서로 배치되는 것으로, 예상되는 콘크리트의 모든 변색 색상을 표기한 것이다. 따라서 평가의 대상이 되는 콘크리트 구조체의 변색 여부를 정확히 감지하는 지를 평가한다.

도 4는 도 1에서 균열폭평가부를 발췌하여 도시한 것이다.

상기 균열폭평가부(300)는 각기 다른 다수의 선굵기로 표기된 것으로,

시계를 예로 들 때, 모든 숫자 방향으로 선을 표기하여 실제 구조체의 균열폭을 균열방향에 구애받지 않고 정확히 균열방향과 균열폭을 비행 중 촬영으로 획득된 이미지가 감지하는 지를 평가한다.

도 5는 도 1에서 컬러평가부를 발췌하여 도시한 것이고,

도 16 내지 17은 컬러평가부의 그래프를 도시한 것이다.

도 1 및 2의 컬러평가부를 드론에 장착된 촬영장치로 촬영하여 획득된 이미지를 얻고,

획득된 이미지 분석을 통하여 도 16 내지 17의 그래프를 얻을 수 있다.

구체적으로 도 16 내지 17은 컬러평가부(400)의 미리 설계된 설계 데이터와 촬영으로 획득된 이미지의 색상 데이터를 비교하여 그 차이를 색 공간에서 그래프화한 것이다.

이를 통하여 모든 데이터를 그래프화하여 색상이 어떤 방향으로 오차를 보이는 지 평가할 수 있다.

구체적으로 작은 사각형이 상기 설계 데이터를 도시한 것이고 조금 큰 원이 상기 색상 데이터를 도시한 것으로, 작은 사각형과 큰 원을 연결한 선이 상기 설계 데이터와 상기 색상 데이터의 차이 즉, 오차를 나타낸다.

도 16이 상기 설계 데이터와 상기 색상 데이터의 오차가 작은 경우이며,

도 17이 상기 설계 데이터와 상기 색상 데이터의 오차가 큰 경우를 나타낸 것이다.

도 6은 도 1에서 비율확인부를 발췌하여 도시한 것이다.

상기 비율확인부(500)는 가로변과 세로변에 10mm 간격으로 눈금이 표기된 것으로, 비행 중 촬영으로 획득된 이미지가 왜곡되지 않고 가로 세로의 비율을 정상적으로 유지하는 지 등을 확인하기 위한 것이다.

도 7 내지 14는 본 발명의 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트를 이용한 촬영성능 평가방법의 실시예들을 도시한 것이다.

본 발명의 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트를 이용한 촬영성능 평가방법은,

상기 성능 검증 차트(1000)를 이용한 것으로,

(1) 건설시설물의 측면 및 상판(바닥판) 하부에 상기 성능 검증 차트(1000) 다수개가 부착되는 성능 검증 차트 설치단계;

(2) 상기 촬영장치가 가동된 상태로 상기 드론이 건설시설물의 측면 및 상판(바닥판) 하부와 일정거리 이격된 상태로 지그재그로 비행하면서 상기 촬영장치가 상기 성능 검증 차트(1000) 다수개를 포함한 건설시설물의 측면 및 상판(바닥판) 하부를 모두 촬영하는 촬영단계;

(3) 상기 드론과 근거리 통신수단으로 연결된 제어부에 상기 촬영장치로 촬영되어 획득된 이미지가 전송되는 이미지 전송단계;

(4) 상기 제어부에 설치된 전용어플리케이션을 사용하여 상기 획득된 이미지와 상기 성능 검증 차트(1000)를 비교 분석하는 분석단계;

를 포함하여 구성되는 것을 특징으로 한다.

그리고 (5) 상기 획득된 이미지와 상기 성능 검증 차트(1000)가 미리 설정된 오차범위 내로 분석되는 상기 드론의 최저 속도와 최고 속도를 산출하는 속도산출단계;

를 더 포함하여 구성되는 것을 특징으로 한다.

본 발명과 같은 근접화상의 취득 성능 평가에 관한 상세기록은 환경조건인 풍속과 환경조도 및 드론의 촬영위치 등도 실시간으로 기록되고 집계되어야 한다.

풍속은 엄밀하게는 드론 촬영시의 현재 위치에서 측정할 필요가 있으나, 실제 시험에서는 어렵기 때문에 촬영위치에 가장 가까운 관측점에서의 풍속치를 측정하는 것으로 한다.

환경조도에 대해서도 마찬가지로 촬영장소에 가장 가까운 관측점에서의 조도를 측정하는 것으로 한다.

도 7 내지 14는 본 발명의 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트를 이용한 촬영성능 평가방법의 실시예들을 도시한 것이다.

구체적으로 설명하면 다음과 같다.

도 7의 경우, 건설시설물 중 교량 바닥판의 하부 전체 촬영하는 비행 이미지를 표시한 것으로 드론의 경우 배터리 용량에 따른 비행시간이 중요하므로 도 7(b)와 같이 높이에 따른 비행괘적과 작업시간을 항시 고려하도록 한다.

도 8의 경우, 도 7과 같은 건설시설물 중 교량 바닥판의 하부에서 특정 부위를 촬영하는 비행 이미지를 표시한 것이다.

도 9의 경우, 도 7에서 보 또는 거더 등의 구조물이 교량 바닥판 하부에 돌출된 경우의 촬영하는 비행 이미지를 표시한 것이다.

도 10의 경우, 도 9와 같은 교량 바닥판의 하부에서 특정 부위를 촬영하는 비행 이미지를 표시한 것이다.

도 11의 경우, 교량 바닥판이 강재보로 지지되는 하부 전체를 촬영하는 비행 이미지를 표시한 것이다.

도 12의 경우, 도 11과 같은 교량 바닥판의 하부에서 특정 부위를 촬영하는 비행 이미지를 표시한 것이다.

도 13의 경우, 교량에서 수직을 설치된 부재인 교대 또는 교각 등의 한면을 촬영하는 비행 이미지를 표시한 것이다.

도 14의 경우, 도 13에서 특정 부위를 촬영하는 비행 이미지를 표시한 것이다.

결론적으로 교량을 포함한 건설시설물의 안전점검에 활용되는 무인비행장치(드론)의 성능평가를 위해서는 풍속, 조도, 거리 등 실제 현장 점검 상황에서 발생하는 변수들을 고려할 필요가 있다.

교량 점검에 있어 무인비행장치(드론)가 수행하는 외관 조사를 위한 근접 영상 촬영성능을 검증하기 위한 본 발명의 성능 검증 차트(1000)를 부착하여 실제 무인비행장치를 주행하여 성능평가를 진행하는 것이다.

본 발명의 근접 영상 촬영성능평가는 크게 영상 해상도, 미세균열 검출 여부(균열 폭), 촬영성능, 영상 왜곡 보정 등의 성능을 평가할 수 있다.

영상 해상도의 경우, 도 1의 상단의 검은색과 흰색의 박스들이 교차로 나열되어 있는 초점평가부(100)에서 성능평가를 진행할 수 있다.

가운데에 표기된 빨간 점선원 부분을 확대하면 네 개의 박스가 교차되는 한 점의 부근에서 RGB값이 0에서 255까지 큰 폭으로 변동하게 되는데, 이 구간의 길이 및 RGB 변동 폭을 통하여 영상의 해상도를 평가하게 된다.

미세균열 검출 성능은 본 발명의 성능 검증 차트(1000)의 가운데 부근에 0.1mm, 0.2mm, 0.3mm, 0.5mm, 1.0mm, 1.4mm의 폭을 가지는 균열이 묘사되어 있는 균열폭평가부(300)로 평가한다.

다양한 각도의 균열로 묘사함으로써 실제 현장에서 발생하는 경사 방향 균열에 대한 검출가능여부도 평가하게 된다.

촬영성능평가는 본 발명의 성능 검증 차트(1000)의 가장 아래에 위치된 30개의 다양한 색상을 가진 컬러평가부(400)를 통하여 진행된다.

그리고 영상 왜곡 보정성능평가는 본 발명의 성능 검증 차트(1000)의 좌측과 하단에 배치된 10mm 간격의 눈금으로 표시된 비율확인부(500)를 통하여 진행된다.

본 발명은 상기에서 언급한 바와 같이 바람직한 실시예와 관련하여 설명되었으나, 본 발명의 요지를 벗어남이 없는 범위 내에서 다양한 수정 및 변형이 가능하며, 다양한 분야에서 사용 가능하다.

따라서 본 발명의 청구범위는 이건 발명의 진정한 범위 내에 속하는 수정 및 변형을 포함한다.

100: 초점평가부
200: 휘도평가부
300: 균열폭평가부
400: 컬러평가부
500: 비율확인부
1000: 성능 검증 차트

Claims (4)

1. 삭제
2. 삭제
3. 흑색과 백색이 교차하며 그리드로 형성된 초점평가부(100); 흑색부터 백색까지 그라데이션(gradation) 순서로 배치되는 휘도평가부(200); 각기 다른 다수의 선굵기로 표기된 균열폭평가부(300); 다양한 컬러색상이 배치된 컬러평가부(400); 및, 가로변과 세로변에 10mm 간격으로 눈금이 표기된 비율확인부(500);를 포함하여 구성되되, 드론에 장착된 촬영장치로 촬영되어 획득된 이미지와 비교 분석되는 것을 특징으로 하는 성능 검증 차트(1000)를 이용한 것으로,
   (1) 건설시설물의 측면 및 상판(바닥판) 하부에 상기 성능 검증 차트(1000) 다수개가 부착되는 성능 검증 차트 설치단계;
   (2) 상기 촬영장치가 가동된 상태로 상기 드론이 건설시설물의 측면 및 상판(바닥판) 하부와 일정거리 이격된 상태로 지그재그로 비행하면서 상기 촬영장치가 상기 성능 검증 차트(1000) 다수개를 포함한 건설시설물의 측면 및 상판(바닥판) 하부를 모두 촬영하는 촬영단계;
   (3) 상기 드론과 근거리 통신수단으로 연결된 제어부에 상기 촬영장치로 촬영되어 획득된 이미지가 전송되는 이미지 전송단계;
   (4) 상기 제어부에 설치된 전용어플리케이션을 사용하여 상기 획득된 이미지와 상기 성능 검증 차트(1000)를 비교 분석하는 분석단계;
   를 포함하여 구성되는 것을 특징으로 하는 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트를 이용한 촬영성능 평가방법.
   
4. 제3항에서,
   (5) 상기 획득된 이미지와 상기 성능 검증 차트(1000)가 미리 설정된 오차범위 내로 분석되는 상기 드론의 최저 속도와 최고 속도를 산출하는 속도산출단계;
   를 더 포함하여 구성되는 것을 특징으로 하는 강재 및 콘크리트 구조물 점검 드론용 촬영장치의 인공지능 기반 성능 검증 차트를 이용한 촬영성능 평가방법.
   

Images