KR102171597B1 - 풍력 발전기 블레이드 인식/분석 장치 및 방법 - Google Patents

Abstract

본 발명은 풍력 발전기 블레이드 인식/분석 장치 및 방법에 관한 것으로서, 보다 구체적으로는 풍력 발전기 결함 인식/분석 장치 및 방법을 개시한다. 본 발명의 일실시예에 따른 본 발명의 일실시예에 따른 풍력 발전기의 블레이드 인식 및 분석 방법은, 상기 풍력 발전기의 이미지를 수신하는 과정, 상기 수신된 풍력 발전기의 이미지 프레임에서 블레이드 영역을 식별하는 과정, 상기 식별된 블레이드 영역에서 랜드마크를 검출하는 과정 및 상기 검출된 랜드마크를 이용하여 상기 이미지 프레임으로부터 블레이드를 인식하고 인식된 블레이드에 대한 정보를 분석하는 과정을 포함하여 이루어진다.

Description

풍력 발전기 블레이드 인식/분석 장치 및 방법{Apparatus and Method for Detecting/Analyzing a Blade of a Wind Turbine}

본 발명은 풍력 발전기의 블레이드(blade) 인식/분석에 관한 것으로, 더욱 상세하게는 랜드마크(landmark) 기법을 이용하여 풍력 발전기에 관한 이미지로부터 블레이드를 인식하고 그렇게 인식된 블레이드를 분석하는 장치 및 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

풍력 발전기는 바람의 에너지를 전기에너지로 바꿔주는 장치로서, 풍력 발전기의 블레이드(blade)를 회전시켜 이때 생긴 블레이드의 회전력으로 전기를 생산한다.

통상 풍력 발전기는 높이가 수십 미터(m)에 달하며 100 미터를 넘는 경우도 있다. 상기 풍력 발전기의 블레이드도 수십 미터의 크기를 갖는다.

이러한 풍력 발전기 블레이드의 거대한 크기 때문에, 시설물 관리자가 일일이 풍력 발전기 혹은 블레이드에 올라가 그에 관한 정보를 얻거나 상태를 파악하는 것에 어려움이 있었다. 또한, 풍력 발전기는 강한 바람이 지속적으로 부는 환경에 설치되어 시설물 관리자는 높은 고도에서 강한 바람에 직면한 채로 작업을 수행하여야 하여, 그로 인한 많은 위험이 존재하였다.

이러한 문제점을 해소하고자 최근 드론(drone)과 같은 무인비행장치(Unmanned Aerial Vehicle)를 통하여 풍력 발전기 블레이드 이미지를 촬영하여 그에 관한 정보를 획득하고 이용하는 시도가 이루어지고 있다.

특히, 종래 기술에 따르면, 상기 촬영한 이미지로부터 직사각형의 바운딩 박스(bounding box)를 이용하여 관심영역(ROI: Region of Interest)을 설정하고 이를 기반으로 상기 풍력 발전기 블레이드를 인식하고, 이렇게 인식된 풍력 발전기 블레이드에 대한 분석을 시도하였다.

다만, 이러한 바운딩 박스를 이용한 관심영역(ROI) 기반으로 풍력 발전기 블레이드를 인식하는 경우, 획득된 이미지로부터 상기 블레이드에 대한 평면적인 정보에 기초하여 단순 인식에 그치는 문제점이 있다.

예컨대, 획득된 이미지에 모든 블레이드들이 전부 포함되도록 정면에서 촬영하였다면 상기 바운딩 박스를 통해 상기 풍력 발전기의 블레이드들을 인식할 수 있다. 그러나 만약 상기 이미지에 일부 블레이드만 포함되었거나 각 블레이드의 일부만 포함된 경우에는, 그로부터 블레이드 인식이 용이하지 않으며 블레이드의 배치 등 상태에 대한 의미있는 정보를 획득하는 것이 어렵다. 또한, 통상 대각선으로 뻗어 있는 풍력 발전기의 블레이드에 대한 바운딩 박스를 이용한 관심 영역(ROI)이 상기 획득된 이미지 전체와 거의 비슷한 경우, 역시 상기 이미지로부터 상기 풍력 발전기 블레이드에 대한 의미 있는 정보를 얻기 어렵다.

그 밖에, 종래 바운딩 박스를 이용하는 관심영역(ROI) 기반의 블레이드 인식 기술은 상기 블레이드의 팁(tip)이나 팁의 끝부분을 정확하게 인식하거나 이를 커트하기 어려운 문제점도 있다.

이에 따라, 전술한 종래 바운딩 박스를 이용한 관심영역(ROI) 기반의 풍력 발전기 블레이드 인식 방법의 문제점들에 대한 개선이 요구되고 있다.

상기와 같은 문제점을 해소하고 그 개선 요구에 부응하기 위한 것으로, 본 발명에 따른 일과제는, 랜드마크(landmark)를 이용한 풍력 발전기 블레이드(blade) 인식/분석 방법을 제공하는 것이다.

본 발명에 따른 다른 과제는, 상기 랜드마크 이용 방법을 통하여 획득된 이미지 내 적어도 하나의 블레이드에 대한 인식 및 분석이 가능하고, 그로부터 상기 풍력 발전기 블레이드들의 배치 상태 파악이나 정확한 블레이드 모양 인식과 같은 다양한 의미 있는 정보를 도출할 수 있도록 하는 것이다.

본 발명에 따른 또 다른 과제는, 획득된 이미지 내에 상기 풍력 발전기 블레이드의 팁(tip)이나 팁의 끝부분이 포함된 경우에도 상기 이미지 내에 의미 없는 정보와 구분하여 이를 보다 정확하게 인식하고 이용할 수 있도록 하는 것이다.

본 발명에 따른 또 다른 과제는, 랜드마크를 이용한 풍력 발전기 블레이드 인식 방법을 통하여 획득된 이미지로부터 상기 풍력 발전기 블레이드의 중심점을 보다 정확하게 인식할 수 있도록 하는 것이다.

본 발명에 따른 또 다른 과제는, 상기 획득된 이미지로부터 풍력 발전기 블레이드 인식을 위하여 상술한 랜드마크 검출시 딥러닝(deep learning) 기술을 이용할 수 있으며, 이 경우 학습 이미지 수를 줄여 그 로드를 줄이고 처리 속도를 높임으로써 시스템 전체의 효율을 높일 수 있도록 하는 것이다.

본 발명의 일실시예에 따른 풍력 발전기의 블레이드 인식 및 분석 방법은, 상기 풍력 발전기의 이미지를 수신하는 과정; 상기 수신된 풍력 발전기의 이미지 프레임에서 블레이드 영역을 식별하는 과정; 상기 식별된 블레이드 영역에서 랜드마크를 검출하는 과정; 및 상기 검출된 랜드마크를 이용하여 상기 이미지 프레임으로부터 블레이드를 인식하고 인식된 블레이드에 대한 정보를 분석하는 과정;을 포함하여 이루어진다.

본 발명의 일실시예에 따르면, 상기 이미지 프레임에서 블레이드 영역 식별 과정은, 바운딩 박스 설정 및 딥러닝 기술의 오브젝트 디텍터 중 어느 하나를 통해 이루어지는 것을 특징으로 한다.

본 발명의 일실시예에 따르면, 상기 식별된 블레이드 영역에서 랜드마크 검출 과정은, 딥러닝 기술에 기반하여 이루어지는 것을 특징으로 한다.

본 발명의 일실시예에 따르면, 상기 이미지 프레임으로부터 블레이드를 인식하는 과정은, 상기 검출된 랜드마크에 기초하여 스켈레톤 모델 기법을 이용하여 이루어지는 것을 특징으로 한다.

본 발명의 일실시예에 따르면, 상기 이미지 프레임에서 블레이드 영역 식별 과정은, 적어도 하나의 이전 검출된 랜드마크 정보를 참조하여 조정되는 것을 특징으로 한다.

본 발명의 일실시예에 따르면, 상기 이미지 프레임으로부터 블레이드를 인식하는 과정은, 상기 검출된 대응되는 랜드마크들에 대한 정보에 기초하여 해당 블레이드의 중심점을 찾는 과정;을 더 포함하는 것을 특징으로 한다.

본 발명의 일실시예에 따르면, 상기 블레이드 분석 과정은, 상기 인식된 블레이드의 모양 정보와 방향 정보를 포함하는 것을 특징으로 한다.

본 발명의 일실시예에 따르면, 상기 방향 정보는, 적어도 하나의 블레이드에 대하여 검출된 랜드마크 정보로부터 도출되는 것을 특징으로 한다.

본 발명의 일실시예에 따르면, 상기 하나의 블레이드에 대한 랜드마크 검출 정보에 기초하여 인식하지 않은 다른 블레이드에 대한 방향 정보를 추출하는 과정;을 더 포함하여 이루어지는 것을 특징으로 한다.

본 발명의 일실시예에 따르면, 상기 검출되는 랜드마크 정보로부터 상기 블레이드의 팁이나 팁의 끝부분에 대한 정보를 추출하는 과정;을 더 포함하여 이루어지는 것을 특징으로 한다.

본 발명의 다양한 실시예에 따르면,

첫째, 랜드마크(landmark)를 이용한 풍력 발전기 블레이드(blade) 인식/분석 방법을 제공할 수 있는 효과가 있다.

둘째, 상기 랜드마크 이용 방법을 통하여 획득된 이미지 내 적어도 하나의 블레이드에 대한 인식 및 분석이 가능하고, 그로부터 상기 풍력 발전기 블레이드들의 배치 상태 파악이나 정확한 블레이드 모양 인식과 같은 다양한 의미 있는 정보를 도출할 수 있는 효과가 있다.

셋째, 획득된 이미지 내에 상기 풍력 발전기 블레이드의 팁(tip)이나 팁의 끝부분이 포함된 경우에도 상기 이미지 내에 의미 없는 정보와 구분하여 이를 보다 정확하게 인식하고 이용할 수 있는 효과가 있다.

넷째, 랜드마크를 이용한 풍력 발전기 블레이드 인식 방법을 통하여 획득된 이미지로부터 상기 풍력 발전기 블레이드의 중심점을 보다 정확하게 인식할 수 있는 효과가 있다.

다섯째, 상기 획득된 이미지로부터 풍력 발전기 블레이드 인식을 위하여 상술한 랜드마크 검출시 딥러닝(deep learning) 기술을 이용할 수 있으며, 이 경우 학습 이미지 수를 줄여 그 로드를 줄이고 처리 속도를 높임으로써 시스템 전체의 효율을 높일 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 풍력 발전기 시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 프로세서의 구성 블록도이다.
도 3은 본 발명의 일 실시예에 따른 무인 비행장치의 구성 블록도이다.
도 4는 본 발명의 일 실시예에 따른 풍력 발전기의 블레이드 인식/분석 방법을 설명하기 위해 도시한 순서도이다.
도 5 내지 12는 본 발명에 따른 프로세서에서 블레이드 이미지 인식/분석 과정을 설명하기 위해 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. “및/또는”이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에서, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 명세서에서는 본 발명에 따라 랜드마크(landmark)를 이용한 풍력 발전기 블레이드(blade) 인식/분석 방법에 대해 개시한다.

특히, 본 명세서에서는 이러한 본 발명에 따른 상기 랜드마크 이용 방법을 통하여 획득되는 이미지 내에 통상 3개의 블레이드 중 적어도 하나의 블레이드만 포함된 경우에도 그를 인식하고 분석하여, 상기 풍력 발전기 각 블레이드의 방향이나 블레이드의 모양을 종래 기술에 비하여 보다 정확하게 인식하는 실시예를 개시한다.

또한, 상기 획득된 이미지에 블레이드의 팁(tip)이나 팁의 끝부분이 포함된 경우에도, 그것을 상기 이미지 내에 여백과 같은 의미 없는 정보로부터 보다 빠르고 정확하게 구분하고 인식 및 분석하는 실시예에 대해 개시한다.

그 밖에, 본 명세서에서는 본 발명에 따라 블레이드에 대한 평면적인 정보가 포함된 정지 영상뿐만 아니라 입체적인 정보가 포함된 동영상으로부터도 랜드마크를 통하여 블레이드를 인식하고 그를 분석할 수 있다.

본 발명의 일실시예에 따르면, 랜드마크 검출을 통하여 상기 블레이드의 중심점도 보다 정확하게 인식할 수 있다.

한편, 본 명세서에서는 상기 획득된 이미지로부터 풍력 발전기 블레이드 인식을 위하여, 전술한 바와 같이 랜드마크를 이용하는데 이때, 상기 이미지로부터 랜드마크를 검출함에 있어서 딥러닝(deep learning) 기술을 이용하는 것을 일실시예로 한다. 본 발명의 일실시예에 따르면, 딥러닝 기반의 블레이드에 대한 랜드마크 검출 시에 학습 이미지 수를 줄일 수 있어 그 로드(load)를 경감시키고 처리 속도를 개선함으로써 결국 시스템 전체의 효율을 높일 수 있다.

상기 랜드마크 검출과 관련하여 딥러닝 기술은 본 발명의 일실시예일 뿐 본 발명이 이에 한정되는 것은 아니다. 따라서, 현재 개발 중이거나 향후 개발될 딥러닝 기술 개선 및 대체 기술에 본 명세서에서 개시하는 본 발명에 따른 방법과 동일 또는 유사한 방법이 적용될 수도 있다. 한편, 상기 딥러닝 기술과 관련하여서는 공지된 내용을 원용 또는 참조하고 본 명세서에서 별도로 이에 대한 상세한 설명은 생략한다.

또한, 본 명세서에서 비록 풍력 발전기 블레이드 인식/분석에 관하여 기술하나 본 발명이 반드시 이에 한정되는 것은 아니다. 예컨대, 상기 풍력 발전기의 다른 부분이나 상기 풍력 발전기가 아닌 다른 시설물 등 대상에 대해서도 본 발명에서 개시한 방법과 동일 또는 유사한 방법이 적용될 수 있다.

한편, 본 명세서에서 단순히 블레이드라고만 명명하여 설명한 경우에는 문맥의 의미에 따라 하나의 블레이드의 모든 영역 또는 일부 영역만을 의미할 수 있다.

도 1은 본 발명의 일실시예에 따른 풍력 발전기 시스템(100)의 개략도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 풍력 발전기 시스템(100)은 프로세서(processor,110), 무인비행장치(Unmanned Aerial Vehicle,120) 및 블레이드가 포함된 풍력 발전기(130)를 포함하여 구성된다.

무인비행장치(120)는, 본 발명과 관련하여 대상물 즉, 블레이드가 포함된 풍력 발전기(130)의 이미지를 촬영 등의 방식으로 획득한다. 여기서, 상기 이미지는 정지 영상 및/또는 동영상 데이터일 수 있다. 게다가, 상기 무인 비행장치(120)는, 오디오 데이터도 획득할 수 있으며, 구현예에 따라 상기 획득된 오디오 데이터는 상기 풍력 발전기(130)의 블레이드 분석에 이용될 수도 있다.

상기 무인비행장치(120)는 드론(drone)을 일실시예로 하여 설명하나 본 발명은 반드시 이에 한정되는 것은 아니다.

본 명세서에서는 도 1에 도시된 바와 같이, 무인비행장치(120)를 통하여 블레이드가 포함된 풍력 발전기(130) 이미지를 획득하나 이는 일실시예로서 본 발명이 반드시 이에 한정되는 것은 아니다. 따라서, 상기 블레이드가 포함된 풍력 발전기(130) 이미지를 제공하는 다른 디바이스(device)가 상기 무인비행장치(120)를 대체하거나 상기 무인비행장치(120)와 함께 이용될 수 있다.

프로세서(110)는 통상 상기 풍력 발전기(130)로부터 원격에 위치하여 무인비행장치(120)로부터 블레이드 자체 또는 상기 블레이드가 포함된 풍력 발전기(130)의 이미지를 획득하고, 상기 이미지로부터 랜드마크를 이용하여 상기 블레이드를 인식하고 분석하는 디바이스를 말한다. 실시예에 따라, 상기 프로세서는 소프트웨어를 의미하거나 그에 의해 구현되는 하드웨어 형태일 수도 있다.

상기 프로세서(110)는 풍력 발전기(130) 블레이드에 대한 다양한 이미지들을 미리 저장하고, 이렇게 저장된 이미지로부터 딥러닝 기술을 이용하여 랜드마크를 검출한다.

실시예에 따라, 상기 프로세서(110)는 다양한 블레이드의 적어도 일 영역(예컨대, 팁 포함)이 포함된 이미지들(그에 관한 랜드마크 정보도 포함 가능)을 미리 저장하여 블레이드에 대한 랜드마크 검출 과정에서 딥러닝 학습에 이용할 수 있다. 이러한 딥러닝 학습을 통하여 검출된 랜드마크 정보에 기초하여 후술하는 바와 같이, 바운딩 박스 설정에도 활용할 수 있다.

본 명세서에서 기술되는 저장이라 함은, 문맥의 의미에 따라 일시 저장과 영구 저장을 모두 나타낼 수 있다. 한편, 저장 매체는 상기 프로세서(110) 내부에 구비된 내부 저장 매체 또는 상기 프로세서(110)와 유/무선으로 연결된 외부 저장 매체일 수 있다. 상기 내부 또는 외부 저장 매체는 복수 개일 수도 있다.

그 밖에, 상기 프로세서(110)는 무인 비행장치(120)로부터 풍력 발전기 블레이드에 대한 이미지를 실시간으로 수신하여 상기 블레이드를 인식하고 분석할 수도 있다. 이와 관련하여, 상기 프로세서(110)는 상기 무인 비행장치(120)로 신호를 전송하여 그 동작을 제어할 수도 있다.

도 2는 본 발명의 일실시예에 따른 프로세서(110)의 구성 블록도, 도 5 내지 12는 본 발명에 따른 프로세서(110)에서 블레이드 이미지 인식/분석 과정을 설명하기 위해 도시한 도면이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 프로세서(110)는 통신부(210), 이미지 처리부(220), 블레이드 인식부(230), 블레이드 분석부(240) 및 제어부(250)를 포함하여 구성된다. 여기서, 편의상 데이터베이스(260)도 저장 매체로서 도 2에서 함께 도시하고 설명한다.

도 2에서는 편의상 본 발명과 관련된 핵심 구성요소만을 도시하였으나 이에 한정되는 것은 아니다. 실시예에 따라, 상기 프로세서(110)는 비록 도시되진 않았으나 하나 또는 그 이상의 별도의 구성요소들을 더 포함하거나 그 반대로 구현될 수 있다. 다른 실시예에 따르면, 도 2에 도시된 구성요소 중 일부 구성요소가 결합되어 하나의 모듈(module) 형태로 구현될 수도 있으며 그 반대로 구현될 수도 있다.

이하 도 2를 참조하여, 프로세서(110)의 각 구성요소에 대해 상세히 설명하면, 다음과 같다.

먼저, 통신부(210)는 무인비행장치(120)와 데이터 커뮤니케이션을 통하여 다양한 신호를 주고받을 수 있다. 여기서, 신호라 함은 데이터, 제어 커맨드 등이 포함된 신호도 포함된다. 특히, 상기 통신부(210)는 상기 무인비행장치(120)로부터 촬영된 풍력 발전기(130)의 이미지 데이터를 획득(또는 수신)한다.

이미지 처리부(220)는 상기 통신부(210)를 통해 수신한 풍력 발전기(130)의 이미지로부터 대상물 즉, 블레이드 인식/분석에 필요한 이미지 프로세싱을 수행한다. 또한, 상기 이미지 처리부(220)는, 상기 이미지로부터 적어도 블레이드의 일부가 포함된 이미지 프레임을 식별하여 분류 그에 관한 데이터만 별도 추출할 수도 있다.

블레이드 인식부(230)는 도 5와 같이, 상기 이미지 처리부(220)에서 처리된 이미지 프레임으로부터 블레이드 영역을 식별하고, 이렇게 식별된 블레이드 영역에 대한 랜드마크를 검출하여 블레이드를 인식한다.

상기에서, 이미지 프레임으로부터 블레이드 영역은 바운딩 박스(bounding box), 딥러닝 기술의 오브젝트 디텍터(object detector)와 같은 기술을 기반으로 식별될 수 있다.

블레이드 분석부(240)는 상기 블레이드 인식부(230)에서 인식한 블레이드에 대한 정보를 기반으로 블레이드에 대한 정보를 분석한다. 상기에서, 블레이드 분석 정보에는 예를 들어, 블레이드의 모양, 블레이드의 방향, 다른 블레이드(들)의 방향, 기타 블레이드의 상태 등에 대한 정보가 포함될 수 있다.

제어부(250)는 풍력 발전기(130)를 구성하는 전술한 구성요소의 동작을 제어한다. 실시예에 따라, 상기 제어부(250)는 풍력 발전기(130)의 이미지를 획득하는 무인비행장치(120)를 제어할 수도 있다.

상기 블레이드 인식부(230)와 블레이드 분석부(240)가 블레이드를 인식하고 그에 관한 정보를 분석하면, 제어부(250)는 해당 정보를 데이터베이스(260)에 저장하거나 저장하도록 제어한다.

이렇게 저장된 정보는 추후 이미지 처리부(220), 블레이드 인식부(230), 블레이드 분석부(240) 등에서 해당 동작을 수행할 때 데이터베이스(260)에 저장된 데이터를 활용하여 보다 빠르고 정확하게 블레이드 영역 식별, 블레이드에 대한 랜드마크 검출, 블레이드 인식/분석에 이용될 수 있다.

한편, 제어부(250)는 수신한 이미지와 검사 결과가 지속적으로 데이터베이스(260)에 저장되도록 제어함으로써, 상기 데이터베이스(260)에 빅데이터(big data)가 형성되도록 하여 전술한 딥러닝 학습 및 추론 성능이 향상되도록 할 수 있다. 상기 데이터베이스(260)는 상기와 관련된 외부 데이터를 다운로드(download)하여 저장할 수 있다.

데이터베이스(260)는 상기 무인비행장치(120)로부터 수신한 다양한 풍력 발전기(130) 이미지들을 포함하여 다양한 데이터를 저장한다.

식별된 블레이드 영역으로부터 블레이드를 인식하기 위하여 본 명세서에서는 전술한 바와 같이, 랜드마크를 이용하고 상기 랜드마크는 딥러닝 기술을 통하여 검출될 수 있다.

전술한 바와 같이, 이미지 프레임 내 상기 블레이드 영역의 식별은 랜드마크 검출 이전에 이루어지는 것이 바람직하다. 왜냐하면, 이미지 프레임 내에 대상물 즉, 블레이드 이외에 여백(space)과 같은 의미없는 데이터가 포함되어 있을 수 있기 때문이다.

따라서, 이와 같이, 상기 랜드마크 검출 이전에 이미지 프레임 내 블레이드 영역을 먼저 식별함으로써, 대상물인 블레이드에 대하여 검출할 랜드마크의 개수를 줄이고 빠르고 정확한 랜드마크 설정 및 검출이 가능해진다. 이러한 블레이드 영역 식별은 전술한 바와 같이, 바운딩 박스, 딥러닝의 오브젝트 디텍터 등이 이용될 수 있다. 설명의 편의상 바운딩 박스를 이용하는 경우를 예로 하면, 다음과 같다.

종래 기술에서 바운딩 박스는 직사각형 형태로만 구현되었으나, 본 발명에서는 사각형 외에 사다리꼴 형태 등 다양한 형태로 바운딩 박스가 구현될 수 있다. 이는 예컨대, 블레이드의 특성이나 후술하는 바와 같이, 기처리한 블레이드에 대하여 검출한 랜드마크 정보를 활용하여 결정될 수 있다.

이러한 내용은 대상물이 풍력 발전기(130)를 구성하는 다른 부분이거나 다른 시설물인 경우에도 유사하게 적용 가능하다.

전술한 바운딩 박스에 대한 내용은 딥러닝 기술의 오브젝트 디텍터 기법으로 대체되거나 함께 이미지 프레임로부터 우선적으로 블레이드 영역의 식별에 이용될 수 있다. 다만, 상기 딥러닝 기술의 오브젝트 디텍터에 관해서는 공지된 기술을 참조하고 본 명세서에서 이에 관한 별도 상세 설명은 생략한다.

랜드마크 검출과 관련하여, 딥러닝(예를 들어, 컨볼루션 신경망(CNN, Convolution Neural Network)의 SSD(Single-shot Multibox Detection) 기반) 학습할 검출할 랜드마크의 개수를 최소화할 수 있다.

본 명세서에서는 이와 관련하여 다양한 방식을 개시하는데 일실시예로 전술한 블레이드 영역 식별을 통하여 구현될 수 있다.

그 밖에, 본 발명에 따른 랜드마크를 통하여 블레이드의 양 모서리에 랜드마크가 설정되면 도 6 내지 10과 같이, 이로부터 블레이드의 중심점을 쉽게 찾을 수 있는데, 이러한 중심점을 기준으로 대응되도록 형성되는 검출할 랜드마크들 간의 거리 등을 참조하여 검출할 랜드마크에 대한 오차나 오류를 최소화하거나 나머지 랜드마크 검출 정보를 예측하여 학습양을 줄일 수도 있다.

도 6을 참조하면, 이미지 프레임 내에 3개의 블레이드 각각에 대하여 바운딩 박스가 설정되고 랜드마크가 검출되며 허브를 기준으로 중심점을 검출하고 블레이드를 인식할 수 있다.

도 7을 참조하면, 도 6과 같이 풍력 발전기(130)의 정면 이미지 프레임이 아니고 서로 다른 크기의 2개의 블레이드가 포함되어 있는데, 이 경우에도 바운딩 박스와 랜드마크가 검출되고 허브를 기준으로 중심점을 검출하고 블레이드를 인식할 수 있다.

도 8을 참조하면, 이미지 프레임 내 포함된 총 3개의 블레이드 중 2개의 블레이드에 대해서만 바운딩 박스를 설정하고 랜드마크를 검출하여 중심점을 검출하고 블레이드를 인식할 수 있다.

도 9와 10을 참조하면, 각각 이미지 프레임 내에 1개의 블레이드만 포함되고 해당 블레이드에 대하여 바운딩 박스 설정, 랜드마크 검출을 통하여 중심점을 검출하고 블레이드를 인식할 수 있다.

한편, 일반적으로 풍력 발전기(13)의 타워(tower)를 기준으로 계속하여 움직(회전)임에 따라 고정된 방향을 가지지 않는 블레이드를 이미지 프레임로부터 인식함에 있어서, 종래 기술의 직사각형 형태의 바운딩 박스만으로는 상기 블레이드의 모양이나 방향을 식별하는 것은 한계가 있다.

반면, 본 발명에 따르면, 그럼에도 불구하고 상기 블레이드가 어느 방향(즉, 풍력 발전기(130)의 타워를 기준으로 상기 블레이드의 각도)이라도 랜드마크는 검출되고 이를 통해 상기 블레이드의 모양뿐만 아니라 방향도 보다 쉽고 정확하게 인식할 수 있다.

또한, 실시예에 따라, 전술한 바운딩 박스를 활용하여 블레이드의 모양이나 방향을 식별하거나 상기 랜드마크 검출을 통한 상기 블레이드 모양이나 방향 식별에 참조할 수 있다. 예를 들어, 종래 큰 사각형 형태의 바운딩 박스는 주로 단지 이미지 프레임 내에서 블레이드가 포함된 영역을 러프(rough)하게 식별하는데 이용될 뿐이나 본 발명과 같이, 사다리꼴과 같은 형태로 바운딩 박스를 구현하면, 제공된 바운딩 박스로부터 손쉽게 블레이드의 모양이나 방향을 식별할 수 있다. 이는 또한, 기 검출된 랜드마크 정보를 참조하여 바운딩 박스나 오브젝트 디텍션을 보정함으로써 더욱 정확하게 식별할 수도 있다.

실시예에 따라, 바운딩 박스와 랜드마크를 함께 이용하면, 종래에 비하여 보다 풍부하고 정확한 블레이드 인식 및 분석이 가능해진다.

다른 실시예에 따르면, 이미지 프레임을 x-y 평면으로 가정하고, 검출되는 각 랜드마크의 x-y 평면 좌표에 기초하여 종래 기술에 비하여 보다 간단하고 보다 정확한 풍력 발전기 블레이드 정보를 획득할 수도 있다.

더불어, 종래 기술에서는 상대적으로 이미지 프레임 내에서 블레이드의 팁이나 팁의 끝부분을 구분하여 식별하고 이렇게 식별되 블레이드의 팁이나 팁의 끝부분에 대하여 바운딩 박스를 설정하는 것이 어려웠다. 반면, 본 발명에서는, 랜드마크를 이용하여 도 12와 같이 종래 기술에 비하여 이를 보다 간편하고 정확하게 상기 블레이드의 팁이나 팁의 끝부분을 인식할 수 있다. 한편, 본 발명과 관련하여 바운딩 박스로 상기 블레이드의 팁이나 팁의 끝부분을 구분하고 검출하지 못하는 경우에도 적어도 랜드마크 검출을 통하여 이를 구분하고 인식할 수 있다.

따라서, 비록 본 명세서에서는 설명의 편의상 본 발명에 따른 바운딩 박스와 랜드마크를 함께 이용하는 것을 일실시예로 하여 설명하나 반드시 이에 한정되는 것은 아니다. 즉, 상기 랜드마크만을 이용하여 풍력 발전기의 블레이드를 인식하고 분석할 수 있다. 구현 예나 시스템의 성능 등 효율을 고려하여 바운딩 박스를 함께 이용과 랜드마크만을 이용 것이 결정될 수도 있다.

한편, 본 발명의 일실시예에 따르면, 검출된 랜드마크로부터 블레이드를 인식하는 과정에서, 상기 검출된 랜드마크에 기초하여 스켈레톤 모델(skeleton model) 기법이 이용될 수 있다. 다만, 이는 본 발명의 일실시예일 뿐이며 이에 한정되는 것은 아니다.

다시 말해, 본 발명에 따르면, 랜드마크 학습시 미리 정의된 바에 따라 도 5 내지 12 중 적어도 하나의 도면에 도시된 바와 같이, 블레이드에 대하여 정해준 순서대로 랜드마크 번호가 부여되어 나오기 때문에 리니어 리그레션(linear regression)과 같이 단순 알고리즘만으로 쉽게 계산할 수 있게 된다. 상기 리니어 리그레션은 본 발명의 일실시예로서, 본 발명이 이에 한정되는 것은 아니며 관련 분야와 기술에서 이용되는 다른 알고리즘이 이용될 수도 있따. 따라서, GPU(Graphic Processing Unit)를 이용하는 경우 처리 시간이 오래 걸리거나 관련하여 상기 GPU나 CPU(Central Processing Unit)에 대하여 고사양이 아니어도 충분히 처리 가능하고 보다 빠른 처리가 가능해진다.

통상 하나의 풍력 발전기(130)는 3개의 블레이드를 가진다. 종래 기술과 달리, 본 발명의 일실시예에 따르면, 3개의 블레이드 중 하나 또는 두개의 블레이드에 대한 랜드마크 검출 및 인식으로 다른 블레이드(들)의 방향 등에 대한 정보를 획득하여 시스템의 효율을 더욱 높일 수 있다.

다시 말해, 각 블레이드는 서로 120도의 각도(angle)를 가지도록 구현되는 것이 일반적이다. 따라서, 종래 기술과 달리, 본 발명의 일실시예에 따르면, 랜드마크 검출을 통하여 해당 블레이드의 방향 내지 배치까지 인식할 수 있으므로, 이로부터 다른 블레이드(들)의 방향 내지 배치도 쉽게 유추해낼 수 있다.

도 11을 참조하면, 이미지 프레임으로부터 블레이드의 전면인지 후면인지도 판단할 수 있다.

한편, 전술한 내용은 예를 들어, 특정 풍력 발전기의 첫번째 블레이드 인식/분석에 적용하고, 해당 풍력 발전기의 다른 블레이드(들)에 대해서는 다른 방법이 적용될 수 있다.

여기서, 다른 방법이라 함은, 상기 첫번째 블레이드에 대해 인식/분석을 한 경우, 이미 랜드마크에 대하여 학습이 이루어졌고 해당 풍력 발전기의 다른 블레이드(들) 역시 대동소이한 제원을 가지는 것이 일반적이므로, 상기 학습된 랜드마크에 기반하여 다음 블레이드를 위한 이미지로부터 블레이드 영역 식별 시 바운딩 박스를 상대적으로 이전보다 추후 인식될 블레이드에 보다 핏(fit)하게 설정할 수 있다. 반대로 첫번째 블레이드에 대해서는 블레이드 영역 식별의 오류를 피하기 위해 상대적으로 핏하지 않게 잡을 수 있다. 왜냐하면, 추후 랜드마크 검출 및 학습을 통하여 오차를 수정할 수 있기 때문이다.

또한, 동일 지역의 다른 풍력 발전기가 존재하거나 미리 정의된 기한 내에 풍력 발전기의 블레이드 인식이 이루어진 경우에는, 이전 정보에 기초하여 전술한 바와 같이, 핏하게 바운딩 박스를 설정할 수도 있다.

그 밖에, 상기와 같이, 학습된 랜드마크 정보에 기초하여, 상기 바운딩 박스의 형태도 직사각형, 정사각형, 다각형, 사다리꼴 등 다양하게 설정 가능하다.

이와 같이, 바운딩 박스를 통하여 관심영역(ROI: Region of Interest)를 블레이드에 핏하게 설정되도록 조정(adjustment)함으로써, 종래 기술에 비하여 보다 빠르고 정확한 의미 있는 데이터를 획득할 수 있다. 이를 통해 시스템의 효율을 높일 수도 있다.

도 3은 본 발명의 일실시예에 따른 무인 비행장치(120)의 구성 블록도이다.

도 3을 참조하면, 본 발명의 일실시예에 따른 무인 비행장치(120)는 통신부(310), 제어부(320), 날개부(330) 및 영상 촬영부(340)를 포함한다.

통신부(310)는 조종장치(미도시)로부터 무인 비행장치(120)에 대한 조종 입력 신호 수신하여 비행 제어부(320)로 전달한다. 또한, 통신부(310)는 영상 촬영부(340)가 촬영한 풍력 발전기의 이미지를 프로세서(110)로 전송한다.

제어부(320)는 조종 입력 신호에 따라 비행하도록 날개부(330)를 제어한다. 또한, 제어부(320)는 영상 촬영부(340)를 제어하여 풍력 발전기를 촬영하도록 제어한다.

날개부(330)는 회전력을 발생시키는 로터(rotor) 및 회전력을 추진력으로 변환하는 프로펠러를 포함하여, 무인 비행장치(120)가 비행할 수 있도록 한다. 날개부(330)는 제어부(320)의 제어에 따라, 무인 비행장치(120)의 비행 방향 또는 무인 비행장치(120)의 고도를 변경한다.

영상 촬영부(340)는 제어부(320)의 제어에 따라, 풍력 발전기(130)를 촬영한다.

도 4는 본 발명의 일 실시예에 따른 풍력 발전기의 블레이드 인식/분석 방법을 설명하기 위해 도시한 순서도이다.

프로세서(110)는 무인 비행장치(120)로부터 풍력 발전기(130)의 이미지를 수신한다(S401).

프로세서(110)는 수신된 풍력 발전기(130)의 이미지 프레임에서 블레이드 영역만을 식별한다(S402). 이때, 상기 블레이드 영역의 식별은 전술한 본 발명에 따른 바운딩 박스를 통해 이루어질 수 있다. 다른 실시예에 따르면, 상기 블레이드 영역의 식별은 전술한 딥러닝 기술의 오브젝트 디텍터 기법을 통해 이루어질 수도 있다.

프로세서(110)는 식별된 블레이드 영역에서 랜드마크를 검출한다(S403). 여기서, 상기 식별된 블레이드에 대한 랜드마크 검출은 전술한 딥러닝 기술을 통해 이루어질 수 있다.

프로세서(110)는 검출한 랜드마크를 이용하여 이미지 내 블레이드를 인식하고, 이렇게 인식된 블레이드에 관해 분석한다(S440). 상기 검출된 랜드마크를 이용하여 이미지 내 블레이드를 인식하는 것은 예컨대, 스켈레톤 모델(skeleton model) 기법이 이용될 수 있다.

상기 S402 내지 S404 또는 S403 내지 S404 단계는 각 블레이드에 대하여 적어도 한 번 수행될 수 있다.

도 4에서는 각 과정이 순차적으로 실행되는 것으로 도시되고 설명되었으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4에 기재된 각 과정의 순서가 서로 바뀌거나 복수의 과정을 병렬적으로(또는 동시에) 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다. 그 밖에, 도 4에 기재된 과정들 중 일부 과정은 생략되거나 반대로 추가될 수도 있다.

한편, 도 4에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 풍력 발전기 시스템
110: 프로세서
120: 무인 비행장치
130: 풍력 발전기
210: 통신부
220: 이미지 처리부
230: 블레이드 인식부
240: 블레이드 분석부
250: 제어부
260: 데이터베이스

Claims (10)

1. 풍력 발전기의 블레이드 인식 및 분석 방법에 있어서,
   무인 비행체를 통하여 촬영된 적어도 하나의 블레이드가 포함된 상기 풍력 발전기의 이미지를 수신하는 과정;
   상기 수신된 풍력 발전기의 이미지 프레임에서 상기 적어도 하나의 블레이드 영역을 식별하는 과정;
   상기 식별된 적어도 하나의 블레이드 영역에서 랜드마크를 검출하는 과정; 및
   상기 검출된 랜드마크를 이용하여 상기 이미지 프레임으로부터 블레이드를 인식하고 인식된 블레이드에 대한 정보를 분석하는 과정;을 포함하여 이루어지되,
   상기 블레이드 영역에서 검출된 랜드마크를 이용하여 상기 풍력 발전기의 블레이드의 중심점을 찾는 과정;을 더 포함하고,
   상기 중심점을 찾는 과정은, 모든 블레이드 중 적어도 하나의 블레이드에 대하여 상기 블레이드 영역 식별 및 랜드마크 검출 이후에 수행하여 블레이드 인식하고,
   상기 수신된 풍력 발전기의 이미지 프레임에, 상기 무인 비행체에 의하여 상기 적어도 하나의 블레이드의 일부가 포함되거나 상기 적어도 하나의 블레이드가 정면 이미지 프레임이 아닌 상기 풍력 발전기의 타워를 기준으로 임의의 각도로 촬영된 이미지가 포함되는 것을 특징으로 하는 풍력 발전기의 블레이드 인식 및 분석 방법.
2. 제1항에 있어서,
   상기 이미지 프레임에서 블레이드 영역 식별 과정은,
   바운딩 박스 설정 및 딥러닝 기술의 오브젝트 디텍터 중 어느 하나를 통해 이루어지는 것을 특징으로 하는 풍력 발전기의 블레이드 인식 및 분석 방법.
3. 제1항에 있어서,
   상기 식별된 블레이드 영역에서 랜드마크 검출 과정은,
   딥러닝 기술에 기반하여 이루어지는 것을 특징으로 하는 풍력 발전기의 블레이드 인식 및 분석 방법.
4. 제1항에 있어서,
   상기 이미지 프레임으로부터 블레이드를 인식하는 과정은,
   상기 검출된 랜드마크에 기초하여 스켈레톤 모델(skeleton model) 기법을 이용하여 이루어지는 것을 특징으로 하는 풍력 발전기의 블레이드 인식 및 분석 방법.
5. 제1항에 있어서,
   상기 이미지 프레임에서 블레이드 영역 식별 과정은,
   적어도 하나의 이전 검출된 랜드마크 정보를 참조하여 조정되는 것을 특징으로 하는 풍력 발전기의 블레이드 인식 및 분석 방법.
6. 삭제
7. 제1항에 있어서,
   상기 블레이드 분석 과정은,
   상기 인식된 블레이드의 모양 정보와 방향 정보를 포함하는 것을 특징으로 하는 풍력 발전기의 블레이드 인식 및 분석 방법.
8. 제7항에 있어서,
   상기 방향 정보는,
   적어도 하나의 블레이드에 대하여 검출된 랜드마크 정보로부터 도출되는 것을 특징으로 하는 풍력 발전기의 블레이드 인식 및 분석 방법.
9. 제8항에 있어서,
   상기 하나의 블레이드에 대한 랜드마크 검출 정보에 기초하여 인식하지 않은 다른 블레이드에 대한 방향 정보를 추출하는 과정;을 더 포함하는 것을 특징으로 하는 풍력 발전기의 블레이드 인식 및 분석 방법.
10. 제1항에 있어서,
    상기 검출되는 랜드마크 정보로부터 상기 블레이드의 팁이나 팁의 끝부분에 대한 정보를 추출하는 과정;을 더 포함하여 이루어지는 것을 특징으로 하는 풍력 발전기의 블레이드 인식 및 분석 방법.

Images