KR102386221B1 - 풍력 발전기 블레이드 결함 인식/분석 장치 및 방법 - Google Patents

Abstract

본 발명은 풍력 발전기 결함 인식/분석 장치 및 방법을 개시한다. 본 발명의 일실시예에 따른 무인 비행장치(Unmanned Aerial Vehicle)의 촬영 이미지로부터 딥러닝을 이용하여 풍력 발전기의 결함 인식 및 분석 방법은, 상기 무인 비행장치로부터 촬영된 상기 풍력 발전기의 이미지를 수신하는 수신과정; 상기 풍력 발전기의 이미지로부터 상기 풍력 발전기의 블레이드(Blade) 영역이 포함된 이미지를 검출하는 블레이드 검출과정; 상기 검출된 블레이드 영역 이미지로부터 결함 존재 여부를 픽셀 단위로 판단하여 검출하는 결함 검출과정; 및 상기 블레이드 영역 이미지로부터 결함이 인식된 픽셀 단위의 검출 이미지의 결함의 성질을 분석하는 결함 분석과정을 포함하여 이루어진다.

Description

풍력 발전기 블레이드 결함 인식/분석 장치 및 방법{Apparatus and Method for Detecting/Analyzing Defect of Windturbine Blade}

본 발명은 결함 인식/분석 장치 및 방법에 관한 것으로, 더욱 상세하게는 풍력 발전기 블레이드를 촬영한 이미지를 분석하여 결함을 검출하고 그에 대해 분석하는 장치 및 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

풍력 발전기는 바람의 에너지를 전기에너지로 바꿔주는 장치로서, 풍력 발전기의 날개를 회전시켜 이때 생긴 날개의 회전력으로 전기를 생산한다. 통상적으로, 풍력 발전기는 수십m의 높이를 가지며, 개중에는 100 미터(m)를 넘는 것도 존재한다. 또한 그것의 블레이드도 보통 수십 미터(m)의 크기를 갖는다.

이와 같이, 풍력 발전기 블레이드의 거대한 크기 때문에, 시설물 관리자가 일일이 풍력 발전기 혹은 블레이드에 올라가 직접 결함, 특히, 풍력 발전기의 각 블레이드에 발생한 다양한 종류의 결함을 검사하는 것은 많은 위험과 불편이 따랐다. 풍력 발전기는 강한 바람이 지속적으로 부는 환경에 설치되기 때문에, 풍력 발전기 관리자는 높은 고도에서 강한 바람에 직면한 채로 작업을 수행하여야 하여, 관리자에게 많은 위험이 존재하였다. 또한, 풍력발전기 블레이드 이미지를 확보했다고 해도, 그것의 결함을 판별하는 것은 오직 숙련자의 오랜 경험에 의존해서만 이루어졌기 때문에, 숙련자의 신체적/정신적 상황에 따라 그것의 결과값이 크게 달라지는 단점이 있다.

따라서 안전하면서도 신속하게 풍력 발전기 블레이드 결함 존재여부를 분석하는 방법에 대한 수요가 존재한다.

본 발명의 일 실시예는, 딥러닝(deep learning)을 이용하여 무인비행장치를 통해 촬영한 이미지로부터 풍력 발전기 블레이드의 결함의 존재 여부부를 인식하고, 나아가 인식된 결함의 성질을 분석하는 결함 분석 장치 및 방법을 제공하는 데 일 목적이 있다.

본 발명의 일실시예에 따른 무인 비행장치(Unmanned Aerial Vehicle)의 촬영 이미지로부터 딥러닝을 이용하여 풍력 발전기의 결함 인식 및 분석 방법은, 상기 무인 비행장치로부터 촬영된 상기 풍력 발전기의 이미지를 수신하는 수신과정; 상기 풍력 발전기의 이미지로부터 상기 풍력 발전기의 블레이드(Blade) 영역이 포함된 이미지를 검출하는 블레이드 검출과정; 상기 검출된 블레이드 영역 이미지로부터 결함 존재 여부를 픽셀 단위로 판단하여 검출하는 결함 검출과정; 및 상기 블레이드 영역 이미지로부터 결함이 인식된 픽셀 단위의 검출 이미지의 결함의 성질을 분석하는 결함 분석과정을 포함하여 이루어진다.

본 발명의 일실시예에 따르면, 상기 블레이드 영역 이미지로부터 결함이 인식된 픽셀 단위의 검출 이미지와 결함이 인식되지 않은 픽셀 단위의 검출 이미지는 각각 별개의 폴더에 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.

본 발명의 일실시예에 따르면, 상기 분석된 픽셀 단위의 검출 이미지는 결함 성질에 따라 결함 종류와 결함 정도에 따라 분류하고, 분류된 이미지는 별개의 폴더에 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.

본 발명의 일실시예에 따르면, 상기 폴더에 저장되는 픽셀 단위 이미지 데이터는, 상기 수신된 풍력 발전기의 이미지 기반으로 해당 픽셀의 위치 데이터도 포함되는 것을 특징으로 한다.

본 발명의 일실시예에 따르면, 상기 결함 검출과정은, 상기 검출된 블레이드 영역이 포함된 이미지를 픽셀 단위로, 블레이드 영역 아닌 픽셀, 블레이드 영역이나 결함이 없는 픽셀 및 블레이드 영역이고 결함이 있는 픽셀로 구분하고, 서로 다른 컬러로 표시하는 것을 특징으로 한다.

본 발명의 일실시예에 따르면, 상기 블레이드 검출과정, 결함 검출과정 및 결함 분석과정은, 상기 딥러닝 기술의 컨볼루션 신경망 알고리즘을 이용하되 각 과정에서 서로 다른 기법을 이용하는 것을 특징으로 한다.

본 발명의 일실시예에 따른 무인 비행장치(Unmanned Aerial Vehicle)의 촬영 이미지로부터 딥러닝을 이용하여 풍력 발전기의 결함 인식 및 분석 장치는, 상기 무인 비행장치로부터 촬영된 상기 풍력 발전기의 이미지를 수신하는 통신부; 상기 풍력 발전기의 이미지로부터 상기 풍력 발전기의 블레이드(Blade) 영역이 포함된 이미지를 검출하는 블레이드 검출부; 상기 검출된 블레이드 영역 이미지로부터 결함 존재 여부를 픽셀 단위로 판단하여 검출하는 결함 검출부; 및 상기 블레이드 영역 이미지로부터 결함이 인식된 픽셀 단위의 검출 이미지의 결함의 성질을 분석하는 결함 분석부를 포함한다.

본 발명의 일실시예에 따르면, 상기 블레이드 영역 이미지로부터 결함이 인식된 픽셀 단위의 검출 이미지와 결함이 인식되지 않은 픽셀 단위의 검출 이미지는 각각 별개의 폴더에 저장하는 데이터베이스를 더 포함하는 것을 특징으로 한다.

본 발명의 일실시예에 따르면, 상기 데이터베이스는, 상기 분석된 픽셀 단위의 검출 이미지는 결함 성질에 따라 결함 종류와 결함 정도에 따라 분류하고, 분류된 이미지는 별개의 폴더에 저장하는 것을 특징으로 한다.

본 발명의 일실시예에 따르면, 상기 데이터베이스는, 상기 폴더에 저장되는 픽셀 단위 이미지 데이터로, 상기 수신된 풍력 발전기의 이미지 기반으로 해당 픽셀의 위치 데이터도 포함하는 것을 특징으로 한다.

본 발명의 일실시예에 따르면, 상기 결함 검출부는, 상기 검출된 블레이드 영역이 포함된 이미지를 픽셀 단위로, 블레이드 영역 아닌 픽셀, 블레이드 영역이나 결함이 없는 픽셀 및 블레이드 영역이고 결함이 있는 픽셀로 구분하고, 서로 다른 컬러로 표시하는 것을 특징으로 한다.

본 발명의 일실시예에 따르면, 상기 블레이드 검출부, 결함 검출부 및 결함 분석부는, 상기 딥러닝 기술의 컨볼루션 신경망 알고리즘을 이용하되 각 과정에서 서로 다른 기법을 이용하는 것을 특징으로 한다.

이상에서 설명한 바와 같이, 본 발명의 일 측면에 따르면, 딥러닝(deep learning)을 이용하여 무인비행장치를 통해 촬영한 이미지로부터 풍력 발전기 블레이드의 결함의 존재 여부를 인식하고, 나아가 인식된 결함의 성질까지 안전하고 신속하게 분석할 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 풍력발전기 결함 분석 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 풍력발전기 결함 분석장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 무인 비행장치의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 풍력 발전기의 결함 인식/분석 방법을 도시한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 풍력 발전기 블레이드의 상세 결함 인식/분석 방법을 설명하기 위해 도시한 순서도이다.
도 6은 본 발명의 일실시예와 관련하여 이미지 스티칭 기법을 설명하기 위해 도시한 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에서, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 명세서에서는 무인비행장치(Unmanned Aerial Vehicle)를 통해 대상체 또는 상기 대상체의 일부를 촬영하여 획득되는 대상체의 이미지 데이터로부터 상기 대상체의 결함 판단에 관하여 설명한다. 이하에서 상기 대상체는 시설물로서 풍력 발전기를 그리고 상기 대상체의 일부는 상기 풍력 발전기의 블레이드(blade)를 예로 하여 설명하나, 본 발명의 권리범위가 반드시 이에 한정되는 것은 아니다. 한편, 상기에서 결함이라 함은 손상, 파괴 등 다양한 용어로 정의 가능하며, 이러한 결함은 대상체의 해당 기술분야의 결함 인식에 따라 또한 다양하게 정의될 수도 있다. 통상 결함이라 함은 대상체의 기능 요소와 관련하여 문제가 될 수 있는 모든 사항을 의미하나, 반드시 이에 한정되는 것은 아니며 비기능 요소도 포함될 수 있다. 다시 말해, 상기 결함은 결함이 없는 완전한 상태가 아닌 모든 상태를 포괄하는 의미로 사용될 수 있다.

한편, 본 명세서에서 특별히 구분하지 않고 단지 풍력발전기라고 명명하여 설명하는 경우라도 문맥의 의미에 따라 그 의미는 풍력발전기 전체 또는 일부를 나타낼 수 있으며 특히, 상기 풍력발전기의 일부는 풍력발전기의 블레이드일 수 있다.

도 1은 본 발명의 일 실시예에 따른 풍력발전기 결함 분석 시스템(100)의 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 풍력발전기 결함 분석 시스템(100)은 풍력발전기 결함 분석장치(110) 및 무인 비행장치(120)를 포함한다.

결함 분석장치(110)는 무인 비행장치(120)로부터 풍력 발전기(130)의 이미지를 획득하여, 획득한 이미지로부터 풍력 발전기 또는 풍력 발전기의 블레이드상의 결함 존재 여부를 인식하고 결함이 인식된 경우 해당 결함의 성질을 분석한다. 여기서, 상기 결함의 성질이라 함은 예컨대, 결함의 종류 내지 타입, 결함의 정도 등 중 적어도 하나를 포함하는 의미이다. 결함 분석장치(110)는 기 설정된 개수 이상의 풍력 발전기의 이미지를 저장하고, 저장된 이미지를 예를 들어, 딥러닝(deep learning) 기술을 이용하여 학습할 수 있다. 풍력 발전기가 존재하는 이미지, 풍력 발전기가 존재하지 않는 이미지, 풍력 발전기의 블레이드에 결함이 존재하는 이미지, 풍력 발전기의 블레이드에 결함이 존재하지 않는 이미지 등 다양한 종류의 풍력 발전기에 관한 이미지가 결함 분석장치(110)에 저장되어 상기 딥러닝을 통한 학습에 이용될 수 있다. 한편, 상기 저장은, 상기 결함 분석장치(110) 내부뿐만 아니라 상기 결함 분석장치(110)와 연결된 외부 저장매체를 통하여 이루어질 수도 있다. 종래에 따르면, 풍력 발전기 관리자가 풍력 발전기 내 결함을 육안으로 직접 검사하고 분석하거나, 풍력 발전기의 이미지를 이용해 결함을 분석하더라도 수많은, 촬영된 이미지를 풍력 발전기 관리자가 일일이 결함의 존재 여부를 분석했었다. 그러나 본 발명에 따른 결함 분석장치(110)는 딥러닝 기법을 이용하여 수신한 풍력 발전기(130)의 이미지로부터 스스로 단시간 내에 쉽고 간편하게 풍력 발전기(130)의 결함을 검사 인식하고 분석할 수 있다. 상기 딥러닝을 통한 결함 인식 및 분석에 대해서는 후술하고 여기서 상세한 설명은 생략한다.

무인 비행장치(120)는 조종 입력 신호에 따라 이동하며, 풍력 발전기(130)를 촬영하여 풍력 발전기(130)의 결함 인식 및 분석을 위한 데이터를 수집하는 장치이다. 무인 비행장치(120)는 조종 입력 신호에 따라 풍력 발전기(130) 주위를 비행하며 풍력 발전기(130)를 촬영하고, 촬영된 이미지 데이터를 결함 분석장치(110)로 전송한다. 전술한 바와 같이, 풍력 발전기(130)는 거대한 크기를 갖기 때문에, 하나의 이미지 만으로 풍력 발전기(130) 내 모든 결함이 분석될 수 없다. 따라서 무인 비행장치(120)는 풍력 발전기(130)와 일정한 거리를 유지하면서 수 많은 이미지로 풍력 발전기(130)를 촬영함으로써, 정확히 풍력 발전기(130) 내 모든 결함이 분석될 수 있도록 한다. 무인 비행장치(120)는 특히, 풍력 발전기(130)의 블레이드의 움직임 즉, 정적 또는 동적 움직임에 맞추어 비행하면서 상기 풍력 발전기(130)의 블레이드에 대한 이미지 데이터를 획득하여 결함 분석장치(110)로 전송할 수 있다.

도 2는 본 발명의 일 실시예에 따른 풍력발전기 결함 분석장치(110)의 구성도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 풍력 발전기 결함 분석장치(110)는 통신부(210), 블레이드 검출부(220), 결함 검출부(230), 결함 분석부(240), 제어부(250) 및 데이터베이스(260)를 포함한다.

통신부(210)는 무인 비행장치(120)와 데이터 커뮤니케이션을 통하여 다양한 신호를 주고 받을 수 있으며 특히, 상기 무인 비행장치(120)에 의해 촬영된 풍력 발전기(130)의 이미지 데이터를 상기 무인 비행장치(120)로부터 수신한다.

블레이드 검출부(220)는 수신한 풍력 발전기(130)의 이미지 데이터로부터 결함 인식/분석의 대상이 되는 대상물 즉, 풍력 발전기의 블레이드 영역의 이미지 데이터를 검출한다. 이는 풍력 발전기(130) 내 결함이 주로 지속적으로 움직이는 블레이드에서 발생하기 때문이다. 따라서 블레이드 검출부(220)는 수신한 이미지 데이터 내에서 블레이드 영역이 포함된 이미지 데이터를 추출하고, 상기 추출된 이미지 데이터로부터 블레이드 영역의 이미지 데이터만을 검출한다. 전술한 바와 같이, 수 많은 풍력 발전기(130)에 대한 이미지를 대상으로 하면 연산 시간이 많이 소요되고 자원의 낭비가 심하기 때문에 효율적인 결함 인식/분석을 위해 선행되는 것이다. 다시 말해, 블레이드 검출부(220)는 먼저 수신되는 각 이미지 내에서 블레이드 영역이 포함된 이미지를 판단하고, 블레이드 영역이 존재한 이미지로부터 상기 블레이드 영역만을 검출한다. 블레이드 검출부(220)는 데이터베이스(260)에 저장된, 수 많은 풍력 발전기의 이미지를 이용하여 블레이드에 관한 딥러닝을 수행한다. 데이터베이스(260) 내 저장된 블레이드가 존재하는 이미지 및 블레이드가 존재하지 않는 이미지를 이용하여, 블레이드 검출부(220)는 자체적으로 딥러닝을 수행하여, 이미지 내 블레이드의 존부를 판단한다. 이때, 블레이드 검출부(220)는 딥러닝 의 방법으로 컨볼루션 신경망(CNN, Convolution Neural Network)의 SSD(Single-shot Multibox Detection)를 이용할 수 있다. 블레이드 검출부(220)는 풍력 발전기(130)의 이미지를 영역별로 분류하여, 블레이드가 존재하는 관심영역(ROI: Region of Interest)을 검출한다. 이처럼, 블레이드 검출부(220)는 영역별로 SSD 방법을 이용하여 분류함으로써, 신속하게 블레이드가 존재하는 관심영역을 검출할 수 있다.

결함 검출부(230)는 블레이드 검출부(220)에 의해 검출된 관심영역 내에서 결함으로 판단되는 부분이 존재하는지를 검출한다. 결함 검출부(230)는 데이터베이스(260)에 저장된, 수 많은 풍력 발전기의 이미지 중 블레이드 이미지를 이용하여 블레이드, 특히, 블레이드의 표면과 관련하여 딥러닝을 수행한다. 데이터베이스(260) 내 저장된 블레이드에 결함이 존재하는 이미지 및 블레이드에 결함이 존재하지 않는 이미지를 이용하여, 결함 검출부(230)는 자체적으로 딥러닝을 수행한다. 이때, 결함 검출부(230)는 딥러닝 방법으로 컨볼루션 신경망(Convolution Neural Network)의 의미론적 분할(Semantic Segmentation) 방법을 이용할 수 있다. 결함 검출부(230)는 의미론적 분할을 이용하여, 픽셀 단위로 판단하여 결함으로 판단할 수 있는 부분인지 또는 아닌지를 판단한다. 의미론적 분할은 픽셀 단위로 각각 판단하기 때문에, 영역별로 검출하는 SSD 등의 방법에 비해 정확도는 상대적으로 높다. 결함 검출부(230)는 검출된 관심영역들에 대해 의미론적 분할을 이용하여, 각 픽셀 단위로 결함으로 판단할 수 있는 부분이 존재하는지를 검출하여 결함으로 판단할 수 있는 부분이 존재하는 관심영역들만을 검출한다.

결함 검출부(230)는 결함으로 판단되는 부분이 존재하는지를 검출함에 있어, 관심영역을 동적으로 변화시키며 검출할 수 있다. 결함 검출부(230)는 블레이드 검출부(220)에 의해 검출된 관심영역(블레이드 전체) 내에서, 결함이 존재하는 것으로 판단되는 일정 영역을 관심영역으로 좁힌 후, 좁아진 관심영역 내에서 딥러닝을 수행하여 결함으로 판단되는 부분이 존재하는지를 검출할 수 있다. 시설물의 크기에 따라, 결함 검출부(230)는 블레이드 검출부(220)에 의해 검출된 관심영역(블레이드 전체)으로부터 관심영역의 범위를 좁히는 단계를 복수 회 수행할 수 있으며, 관심영역의 범위를 점점 좁혀감으로써, 보다 정확히 결함으로 판단되는 부분을 검출할 수 있다.

결함 분석부(240)는 결함 검출부(230)로부터 검출된 관심영역들을 상세히 분석하여 결함의 종류 또는 결함이 어느 정도인지를 분석한다. 데이터베이스(260) 내 저장된 블레이드에 결함이 존재하는 이미지 및 블레이드에 결함이 존재하지 않는 이미지를 이용하여, 결함 분석부(240)도 마찬가지로 자체적으로 딥러닝을 수행한다. 이때, 결함 분석부(240)는 딥러닝 방법으로 컨볼루션 신경망(Convolution Neural Network)의 다중 레이블 분류(Multi-Label Classification) 방법을 이용할 수 있다. 이에 따라, 결함 분석부(240)는 결함 검출부(230)에 의해 검출된 (결함으로 판단할 수 있는) 부분이 실제 결함인지 여부를 판단한다. 또한, 결함 분석부(240)는 결함으로 판단되는 경우, 어떠한 종류의 결함인지, 결함으로 인해 파손된 정도가 어느 정도인지 등 결함의 성질을 분석한다. 최종적으로, 결함 분석부(240)는 블레이드에 결함이 존재하는지, 존재한다면 어떠한 종류의 결함으로 인해 어느 정도만큼 파손되었는지 등을 분석한다.

제어부(250)는 각 구성의 동작을 제어한다. 통신부(210)가 풍력 발전기(130)의 이미지들을 수신하는 경우, 제어부(250)는 각 구성(220 내지 240)을 제어하여, 블레이드에 결함이 존재하는지를 분석하도록 한다.

또한, 결함 분석부(240)가 최종적으로 결함을 분석한 경우, 제어부(250)는 결함이 존재하는 풍력 발전기(130)의 이미지를 블레이드 검출부(220), 결함 검출부(230) 또는 결함 분석부(240)가 분석한 결과와 대응시켜 데이터베이스(260)에 저장한다. 이에 따라, 블레이드 검출부(220), 결함 검출부(230) 및 결함 분석부(240)가 데이터베이스(260)에 저장된 해당 자료를 이용하여 보다 정확히 블레이드나 결함을 검출하거나 분석할 수 있도록 한다. 즉, 제어부(250)는 지속적으로 수신한 이미지와 검사 결과를 데이터베이스(260)에 저장하도록 제어하여, 데이터베이스(260)가 빅데이터를 형성할 수 있도록 하여, 각 구성(220 내지 240)의 딥러닝 학습 및 추론성능을 향상시킨다.

데이터베이스(260)는 기 수신된 또는 제어부(250)에 의해 저장되는 풍력 발전기(230) 이미지들을 저장한다. 데이터베이스(260)는 풍력 발전기, 특히, 블레이드가 존재하는 이미지, 블레이드가 존재하지 않는 이미지, 블레이드에 결함이 존재하는 이미지 및 블레이드에 결함이 존재하지 않는 이미지 등 풍력 발전기에 대한 수 많은 이미지를 저장한다. 데이터베이스(260)는 각 종류의 이미지를 기 설정된 비율로 저장한다. 예를 들어, 각 종류의 이미지(블레이드의 존부 및 블레이드에 결함의 존부가 상이한 이미지들)를 동등한 비율로 구비할 수도 있고, 블레이드가 존재하는 이미지를 블레이드가 존재하지 않는 이미지보다 상대적으로 더 많은 비율로 또한 블레이드가 존재하는 경우 블레이드에 결함이 존재하는 이미지를 결함이 존재하지 않는 이미지보다 상대적으로 더 많은 비율로 저장할 수도 있다. 이와 같이, 데이터베이스(260)는 각 종류의 이미지를 기 설정된 비율로 저장함으로써, 각 구성(220 내지 240)의 딥러닝 학습 및 추론성능을 월등히 향상시킨다.

도 3은 본 발명의 일 실시예에 따른 무인 비행장치의 구성도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 무인 비행장치(120)는 통신부(310), 제어부(320), 날개부(330) 및 영상 촬영부(340)를 포함한다.

통신부(310)는 조종장치(미도시)로부터 무인 비행장치(120)에 대한 조종 입력 신호 수신하여 비행 제어부(320)로 전달한다. 또한, 통신부(310)는 영상 촬영부(340)가 촬영한 풍력 발전기의 이미지 데이터를 결함 분석장치(110)로 전송한다.

제어부(320)는 수신한 조종 입력 신호에 따라 비행하도록 날개부(330)를 제어한다. 또한, 제어부(320)는 영상 촬영부(340)를 제어하여 풍력 발전기를 촬영하도록 제어한다.

날개부(330)는 회전력을 발생시키는 로터(Rotor) 및 회전력을 추진력으로 변환하는 프로펠러를 포함하여, 무인 비행장치(120)가 비행할 수 있도록 한다. 날개부(330)는 제어부(320)의 제어에 따라, 무인 비행장치(120)의 비행 방향 또는 무인 비행장치(120)의 고도를 변경한다.

영상 촬영부(340)는 제어부(320)의 제어에 따라, 풍력 발전기(130) 를 촬영한다.

도 4는 본 발명의 일 실시예에 따른 풍력 발전기의 결함 인식/분석 방법을 도시한 순서도이다.

결함 분석장치(110)는 무인 비행장치(120)로부터 풍력 발전기(130)의 이미지 데이터를 수신한다(S410).

결함 분석장치(110)는 수신된 풍력 발전기(130)의 이미지 데이터로부터 풍력 발전기(130)의 블레이드 영역만을 추출한다(S420).

결함 분석장치(110)는 블레이드 영역 내에서 결함으로 판단되는 부분을 검출한다(S430).

결함 분석장치(110)는 검출된 부분이 실제 결함인지 여부 및 결함의 성질을 분석한다(S440).

이하 딥러닝 기법을 이용하여 결함 분석장치(110)에서 풍력발전기의 결함 인식/분석 방법을 더욱 상세하게 설명한다.

도 5는 본 발명의 일 실시예에 따른 풍력 발전기 블레이드의 상세 결함 인식/분석 방법을 설명하기 위해 도시한 순서도이고, 도 6은 본 발명의 일실시예와 관련하여 이미지 스티칭 기법을 설명하기 위해 도시한 순서도이다.

본 발명에 따른 풍력 발전기의 블레이드 결함 인식/분석 방법은 딥러닝 기법에 기초하여 크게 3단계로 수행되는데, 먼저 입력되는 이미지로부터 블레이드 영역 이미지에 해당하는 ROI(Region of Interest) 영역 이미지를 추출하는 단계, 상기 추출된 ROI 영역 이미지로부터 픽셀 단위로 결함 영역을 인식하고 구분하여 저장하는 단계, 마지막으로 인식된 결함 영역의 성질을 분석하고 구분하여 저장하는 단계를 포함하고, 상기 딥러닝 프레임워크의 한 사이클(cycle)을 형성한다. 한편, 상기 각 단계를 수행하는 딥러닝 기법은 상이할 수 있다.

도 2와 5를 참조하면, 블레이드 검출부(220)는 통신부(210)를 통해 무인 비행장치(120)에서 풍력 발전기(130)를 촬영한 이미지를 수신한다(S510).

블레이드 검출부(220)는 수신된 풍력 발전기(130) 이미지로부터 블레이드 영역을 인식한다(S520). 이때, 상기 수신 이미지로부터 블레이드 영역을 관심영역(ROI)로 인식하는 딥러닝 기술은 예를 들어, CNN(Convolution Neural Network) 알고리즘의 SSD 기법이 이용될 수 있다. 이때, 본 발명과 관련하여 상기 CNN 알고리즘이나 SSD 기법에 대하여 기 공지된 내용을 참조하고 별도 상세 설명은 생략하고, 본 명세서에서는 본 발명과 관련하여 필요한 내용만을 기술한다.

다시 말해, 블레이드 검출부(220)는 수신되는 풍력 발전기 이미지(예컨대, 1장의 이미지)로부터 배경 영역과 블레이드 영역을 분리한다. 이때, 상기 분리되는 블레이드 영역의 사이즈는 일반 고정형 슬라이드 윈도우에 기반하지 않기 때문에 매번 달라질 수 있다. 관련하여, 상기 SSD 기법은 주로 객체 검출을 위한 모델로서 공지된 모델을 수정하여 학습시키고 적용함으로써 임베디드 환경에서 고속(예컨대, 15Hz) 실행이 가능하도록 한다. 따라서, 본 발명의 일실시예에 따른 딥러닝 CNN의 SSD 기법에 따라 수신된 풍력 발전기의 이미지로부터 S520 단계의 결과물로 풍력 발전기의 블레이드 영역만이 ROI로 검출될 수 있다.

다음으로, 결함 검출부(230)는 상기 블레이드 검출부(220)에서 검출된 ROI 즉, 블레이드 영역 이미지 데이터를 수신하여 블레이드 표면의 결함 즉, 정상/비정상 여부를 인식한다(S530,S540). 여기서, 상기 수신된 블레이드 영역 이미지 데이터로부터 블레이드 표면의 결함 여부 판단을 위한 딥러닝 기술은 전술한 객체 검출에 특화된 SSD 기법이 아닌 예컨대, CNN 알고리즘의 의미론적 분할(Semantic segmentation, Segnet) 기법이 이용될 수 있다. 이때, 역시 본 발명과 관련하여 상기 의미론적 분할 기법에 대하여 기공지된 내용을 참조하고 별도 상세 설명은 생략하고, 본 명세서에서는 본 발명과 관련하여 필요한 내용만을 기술한다. 다시 말해, 결함 검출부(230)는 ROI 즉, 블레이드 영역 이미지 데이터를 이용하여 픽셀 단위로 결함 유무를 판단하고 이를 표시할 수 있다. 이때, 상기 결함 유무에 따른 표시와 관련하여 예를 들어, 블레이드 영역 이미지 데이터의 픽셀 단위로, 블레이드 영역이 아닌 픽셀은 검정색, 블레이드 영역에 해당하나 결함이 없는 픽셀은 녹색, 그리고 블레이드 영역에 해당하나 결함이 있는 픽셀은 빨간색과 같이 표시할 수 있다. 상기 픽셀에 대한 표시 컬러는 일실시예일 뿐 이에 한정되는 것은 아니다. 결국 상기 S540 단계 판단 결과로 ROI 영역으로부터 픽셀 단위로 결함 여부가 인식 판단된 이미지 데이터와 해당 픽셀의 위치 데이터가 된다. 후자의 해당 픽셀의 위치 데이터는 예컨대, S520 단계의 출력 또는 S530 단계의 입력 이미지 기반일 수 있다.

상기 S540 단계의 픽셀 단위의 결함 인식 여부 판단 결과, 결함이 없는 픽셀 단위의 표시 데이터는 상태 정상 폴더에 이미지 저장되고(S550), 결함이 있는 픽셀 단위의 표시 데이터는 상태 비정상 폴더에 이미지 저장된다(S560). 상기와 같이, S550 단계와 S560 단계에서 블레이드 영역 이미지로부터 픽셀 단위의 결함 여부 인식된 이미지가 구분하여 폴더별로 저장되되, 각 폴더에 저장되는 픽셀 단위의 이미지 데이터는 상기 픽셀 위치 데이터에 기반하여 해당 폴더 내에서도 다시 구분되어 저장될 수 있다.

마지막으로, 결함 분석부(240)는 결함 인식된 픽셀 단위의 이미지 데이터로부터 인식된 결함의 성질 즉, 결함의 종류와 정도를 판별하고 분류하여 분류된 픽셀 단위의 이미지를 상태 손상 결함 폴더에 저장한다(S570,S580). 이때, 상기 결함 인식된 픽셀 단위의 이미지 데이터는 상기 상태 비정상 폴더로부터 수신할 수도 있다. 또한, 상기 상태 결함 폴더는 상기 상태 비정상 폴더 내에 존재할 수도 있다. 한편, 상기 결함 성질 판단 및 분류와 관련하여, 딥러닝 기술은 CNN 알고리즘의 다중 레이블 분류 기법이 이용될 수 있다. 이때, 또한 상기 다중 레이블 분류 기법과 관련하여 기공지된 내용을 참조하고 별도 상세 설명은 생략하나, 본 명세서에서 본 발명과 관련하여 필요한 내용을 기술하면 다음과 같다. 다시 말해, 결함 분석부(240)는 픽셀 단위의 이미지를 일정한 크기의 이미지로 잘라내고, 해당 이미지 자체를 이용하여 결함의 종류와 정도를 인식한다. 이를 객체 인식이라고 하는데 이렇게 인식된 결과의 위치는 최초 수신된 풍력 발전기 이미지 상에 픽셀 위치 기준으로 표시되어 분류되고 상기 상태 결함 폴더에 저장된다. 상기에서 구분되는 결함의 종류와 정도는 미리 정의된 설정에 따라 달라질 수 있으며 일 예로 결함의 종류는 15개, 결함의 정도는 5로 분류되도록 미리 설정할 수 있다.

정리하면, 본 발명에서는 딥러닝 기술을 이용하여 무인 비행장치(120)로부터 획득된 시설물(풍력 발전기)의 이미지로부터 먼저 결함 판단 대상이 되는 블레이드 영역을 구분 인식하고, 이렇게 구분 인식된 블레이드 영역 이미지를 다시 픽셀 단위로 결함을 판단하고 각각을 폴더별로 별도 저장한다.

한편, 도 6을 참조하면, 스티칭 기반의 피사체 즉, 대상물의 촬영 결과를 보정할 수 있다.

다시 말해, 피사체 촬영 결과물(연속된 사진)을 수신하여(S610), 이에 대해 이미지 스티칭(image stiching)을 수행한다(S620).

이렇게 이미지 스티칭이 수행된 피사체 이미지에 대하여 상태 변수 기반으로 스티칭 결과를 보정한다(S630). 상기 스티칭 결과 보정시, 연속된 이미지 촬영 당시의 GPS 위치, 자세 등이 상기 상태 변수의 하나로 참조될 수 있다.

한편, 상기 상태 변수 기반으로 스티칭 결과 보정된 전체 피사체 촬영 결과 이미지가 상기 도 5의 S510 단계의 입력되는 풍력 발전기의 촬영 이미지 데이터로 활용될 수 있다.

상기에서 이미지 스티칭 기술과 관련하여 기공지된 내용을 참조하고, 상세 설명은 생략한다.

전술한 도 5의 각 단계에서 수행되는 딥러닝 기술의 기법은 예컨대, 본 발명의 일실시예로서 이용되며 그에 한정되는 것은 아니다. 다시 말해, 본 발명과 관련하여, 향후 기술 발전에 따라 해당 단계에서 적용된 기법이 대체되거나 참조될 수 있다.

도 4 내지 6에서는 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4 내지 6에 기재된 순서를 변경하여 실행하거나 각 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4 내지 6은 시계열적인 순서로 한정되는 것은 아니다.

한편, 도 4 내지 6에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 결함 분석 시스템
110: 결함 분석장치
120: 무인 비행장치
130: 풍력 발전기
210, 310: 통신부
220: 블레이드 검출부
230: 결함 검출부
240: 결함 분석부
250, 320: 제어부
260: 데이터베이스
330: 날개부
340: 영상 촬영부

Claims (12)

1. 무인 비행장치(Unmanned Aerial Vehicle)의 촬영 이미지로부터 딥러닝을 이용하여 풍력 발전기의 결함 인식 및 분석 방법에 있어서,
   상기 무인 비행장치가 상기 풍력 발전기와 일정한 거리를 유지하고, 블레이드의 위치 및 방향에 맞추어 상기 풍력 발전기를 기 설정된 개수 이상으로 촬영하는 촬영과정;
   결함 분석장치가 상기 무인 비행장치로부터 촬영된 상기 풍력 발전기의 이미지를 수신하는 수신과정;
   상기 무인 비행장치가 상기 풍력 발전기를 촬영한 연속된 사진을 상기 결함 분석장치가 수신한 뒤, 촬영 당시의 GPS 위치 및 자세를 상태 변수의 하나로 참조하여 이미지 스티칭을 수행하는 보정과정;
   상기 결함 분석장치가 상기 풍력 발전기의 이미지로부터 상기 풍력 발전기의 블레이드(Blade) 영역이 포함된 이미지를 검출한 뒤, 상기 블레이드 영역이 아닌 배경 부분을 제거하고 블레이드 영역만을 검출하는 블레이드 검출과정;
   상기 결함 분석장치가 상기 검출된 블레이드 영역 이미지로부터 결함 존재 여부를 픽셀 단위로 판단하여 검출하고, 상기 풍력 발전기의 크기에 따라 검출된 관심영역으로부터 관심 영역의 범위를 좁히는 단계를 복수 회 수행하는 결함 검출과정;
   상기 결함 분석장치가 상기 검출된 블레이드 영역 이미지로부터 결함 존재 여부를 픽셀 단위로 판단하여 검출하고, 블레이드 영역 이미지 데이터의 픽셀 단위로 블레이드 영역이 아닌 픽셀은 검정색, 블레이드 영역에 해당하나 결함이 없는 픽셀은 녹색, 블레이드 영역에 해당하고 결함이 있는 픽셀은 빨간색으로 표시하며, 상기 풍력발전기의 크기에 따라 검출된 관심영역으로부터 관심 영역의 범위를 좁히는 단계를 복수 회 수행하는 결함 검출과정;
   상기 결함 분석장치가 상기 검출된 블레이드 영역 이미지로부터 결함이 인식된 픽셀 단위의 검출 이미지의 결함의 성질을 분석하는 결함 분석과정;
   상기 결함 분석장치가 기 수신된 또는 제어부에 의해 저장된 풍력 발전기의 이미지를 기 설정된 비율로 저장하는 저장과정;
   상기 결함 분석장치가 상기 블레이드 영역 이미지로부터 결함이 인식된 픽셀 단위의 검출 이미지와 결함이 인식되지 않은 픽셀 단위의 검출 이미지는 각각 별개의 폴더에 저장하되, 각 폴더에 저장되는 픽셀 단위의 이미지 데이터는 픽셀 위치 데이터에 기반하여 각 폴더 내에서 다시 구분되어 저장되는 과정;
   상기 분석된 픽셀 단위의 검출 이미지는 결함 성질에 따라 결함 종류와 결함 정도에 따라 분류하고, 분류된 이미지는 별개의 폴더에 저장하는 과정;
   를 더 포함하여 이루어지는 것이되,
   상기 폴더에 저장되는 픽셀 단위 이미지 데이터는, 상기 수신된 풍력 발전기의 이미지 기반으로 해당 픽셀의 위치 데이터도 포함되며,
   상기 블레이드 검출과정, 결함 검출과정 및 결함 분석과정은, 상기 딥러닝 기술의 컨볼루션 신경망 알고리즘을 이용하되 각 과정에서 서로 다른 기법을 이용하는 것이고,
   상기 저장과정에서 기 설정된 비율은, 블레이드가 존재하는 이미지를 블레이드가 존재하지 않는 이미지보다 상대적으로 더 많은 비율로 구성하고, 블레이드가 존재할 시 블레이드에 결함이 존재하는 이미지를 결함이 존재하지 않는 이미지보다 상대적으로 더 많은 비율로 저장하는 것을 특징으로 하는 풍력 발전기 결함 인식 및 분석 방법.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제

Images