KR102467590B1 - 풍력발전기 점검을 위한 ai 기반 이미지 스티칭 장치 및 방법 - Google Patents

Abstract

본 발명은 풍력발전기 점검을 위한 이미지 스티칭 장치 및 방법에 관한 것이다. 상기 풍력발전기 점검을 위한 이미지 스티칭 장치는, 드론에 의해 촬영된 풍력발전기에 대한 촬영 이미지에서, 상기 풍력발전기의 블레이드 주변의 배경 영역을 제거하여 전처리 이미지 페어를 생성하는 전처리 모듈, 미리 학습된 딥러닝 모듈을 이용하여, 상기 전처리 이미지 페어에서 제1 초기 매칭점을 결정하는 초기 매칭점 결정 모듈, 상기 결정된 제1 초기 매칭점 중에서 비활용 매칭점을 결정하고, 상기 결정된 제1 초기 매칭점에서 상기 결정된 비활용 매칭점을 제외시켜 유효 매칭점을 결정하는 유효 매칭점 결정 모듈 및 복수의 이미지 간의 이미지 스티칭을 수행하는 이미지 스티칭 모듈을 포함하되, 상기 비활용 매칭점은, 상기 전처리 이미지 페어에서의 상기 블레이드의 윤곽선을 기초로 결정되는 제1 비활용 매칭점, 상기 전처리 이미지 페어에서 대응되는 상기 제1 초기 매칭점 간의 기울기의 절대값에 기초하여 결정되는 제2 비활용 매칭점 및 상기 전처리 이미지 페어에서 상기 제1 초기 매칭점 각각의 위치 변화 정도의 조합 값을 기초로 결정되는 제3 비활용 매칭점 중 적어도 하나를 포함한다.

Description

풍력발전기 점검을 위한 AI 기반 이미지 스티칭 장치 및 방법{APPARATUS AND METHOD FOR IMAGE STITCHING BASED ON ARTIFICIAL INTELLIGENCE FOR INSPECTING AN WIND TURBINE}

본 발명은 풍력발전기 점검을 위한 AI 기반 이미지 스티칭 장치 및 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

최근 드론을 이용하여 촬영하는 기술이 상용화되어 있다. 또한, 드론을 이용하여 촬영하는 기술은 다양한 기술분야와 접목되어 실시되고 있으며, 풍력 발전기 블레이드를 점검하기 위해, AI를 활용한 결함 검출 시스템에 대한 필요성이 증가되고 있다.

기존에는 풍력 발전기 블레이드를 점검시, 수작업으로 진행하는 경우가 있었는데, 이와 같이 수작업으로 진행하는 경우 많은 인원과 여러 장비가 필요하고, 많은 시간과 비용이 소요될 수 있는 문제점이 존재하였다.

이를 대신하여, 풍력발전기의 블레이드를 드론으로 점검하기 위해서는 블레이드에 관한 정확한 이미지 획득이 요구된다. 다만 풍력발전기의 블레이드는 하나의 사진으로 촬영하기 어려워 여러 개의 사진으로 나눠서 촬영해야 할 필요성이 존재한다. 여러 개의 사진으로 나눠서 촬영된 이미지는 이미지 스티칭 기술을 통해 하나의 이미지로 결합될 필요가 있다.

다만, 현재로서는 드론이 촬영한 이미지를 하나로 결합하는 기술의 정확도가 높지 않기 때문에, 드론의 촬영 이미지를 정확하게 하나의 이미지로 결합하는 기술에 대한 요구가 많이 발생하고 있는 실정이다.

본 발명의 해결하고자 하는 과제는 풍력발전기 점검을 위한 AI 기반 이미지 스티칭 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 풍력발전기 점검을 위한 AI 기반 이미지 스티칭 방법을 제공하는 것이다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 발명의 몇몇 실시예에 따른 풍력발전기 점검을 위한 이미지 스티칭 장치는, 드론에 의해 촬영된 풍력발전기에 대한 촬영 이미지에서, 상기 풍력발전기의 블레이드 주변의 배경 영역을 제거하여 전처리 이미지 페어를 생성하는 전처리 모듈, 미리 학습된 딥러닝 모듈을 이용하여, 상기 전처리 이미지 페어에서 제1 초기 매칭점을 결정하는 초기 매칭점 결정 모듈, 상기 결정된 제1 초기 매칭점 중에서 비활용 매칭점을 결정하고, 상기 결정된 제1 초기 매칭점에서 상기 결정된 비활용 매칭점을 제외시켜 유효 매칭점을 결정하는 유효 매칭점 결정 모듈 및 복수의 이미지 간의 이미지 스티칭을 수행하는 이미지 스티칭 모듈을 포함하되, 상기 비활용 매칭점은, 상기 전처리 이미지 페어에서의 상기 블레이드의 윤곽선을 기초로 결정되는 제1 비활용 매칭점, 상기 전처리 이미지 페어에서 대응되는 상기 제1 초기 매칭점 간의 기울기의 절대값에 기초하여 결정되는 제2 비활용 매칭점 및 상기 전처리 이미지 페어에서 상기 제1 초기 매칭점 각각의 위치 변화 정도의 조합 값을 기초로 결정되는 제3 비활용 매칭점 중 적어도 하나를 포함한다.

또한, 상기 유효 매칭점 결정 모듈은, 상기 제1 초기 매칭점 중에서, 상기 블레이드의 윤곽선으로부터 소정 거리 이하에 존재하는 제1 초기 매칭점을 상기 제1 비활용 매칭점으로 결정하는 제1 비활용 매칭점 결정부를 포함할 수 있다.

또한, 상기 유효 매칭점 결정 모듈은, 상기 전처리 이미지 페어의 각 이미지에 상응하는 드론의 위치 정보 간의 차이가 임계치 이상일 때, 상기 전처리 이미지 페어에서 대응되는 상기 제1 초기 매칭점 간의 기울기의 절대값이 소정 값 이하인 제1 초기 매칭점을 상기 제2 비활용 매칭점으로 결정하는 제2 비활용 매칭점 결정부를 포함할 수 있다.

또한, 상기 유효 매칭점 결정 모듈은, 상기 전처리 이미지 페어에서 복수의 상기 제1 초기 매칭점의 위치 변화 정도를 각각 계산하고, 상기 계산된 각 제1 초기 매칭점의 위치 변화 정도의 평균값에 기초하여 상기 제3 비활용 매칭점을 결정하는 제3 비활용 매칭점 결정부를 포함할 수 있다.

또한, 상기 유효 매칭점 결정 모듈은, 상기 제1 초기 매칭점의 개수 및 제1 내지 제3 비활용 매칭점의 개수에 관한 소정 조건에 따라, 상기 제1 초기 매칭점에서 상기 제1 내지 제3 비활용 매칭점을 순차적으로 제외시켜 상기 유효 매칭점을 결정하는 연산부를 포함할 수 있다.

또한, 상기 연산부는, 상기 제1 초기 매칭점에서, 상기 제1 비활용 매칭점과 상기 제2 비활용 매칭점을 순차적으로 제외시켜 제1 후보 매칭점을 결정하고, 상기 결정된 제1 후보 매칭점의 개수가 제1 기준 개수를 초과하는지 여부를 판단할 수 있다.

또한, 상기 결정된 제1 후보 매칭점의 개수가 상기 제1 기준 개수를 초과하는 경우, 상기 연산부는, 상기 제1 후보 매칭점에서 상기 제3 비활용 매칭점을 제외시킨 결과를 상기 유효 매칭점으로 결정하고, 상기 이미지 스티칭 모듈은, 상기 결정된 유효 매칭점을 기초로 상기 전처리 이미지 페어의 두 이미지 간의 이미지 스티칭을 수행할 수 있다.

또한, 상기 결정된 제1 후보 매칭점의 개수가 상기 제1 기준 개수 이하인 경우, 상기 전처리 모듈은, 상기 촬영 이미지를 소정 기준에 따라 크롭(crop)하여 크롭 이미지 페어를 생성하고, 상기 초기 매칭점 결정 모듈은, 상기 미리 학습된 딥러닝 모듈을 이용하여, 상기 크롭 이미지 페어에서 제2 초기 매칭점을 결정하고, 상기 연산부는, 상기 결정된 제2 초기 매칭점을 기초로 상기 유효 매칭점을 결정할 수 있다.

또한, 상기 연산부는, 상기 제2 초기 매칭점에서, 제4 비활용 매칭점과 제5 비활용 매칭점을 순차적으로 제외시켜 제2 후보 매칭점을 결정하고, 상기 결정된 제2 후보 매칭점의 개수가 제2 기준 개수를 초과하는지 여부를 판단하되, 상기 제4 비활용 매칭점은, 상기 크롭 이미지 페어에서의 상기 블레이드의 윤곽선을 기초로 결정되고, 상기 제5 비활용 매칭점은, 상기 크롭 이미지 페어에서 대응되는 상기 제2 초기 매칭점 간의 기울기의 절대값에 기초하여 결정될 수 있다.

또한, 상기 결정된 제2 후보 매칭점의 개수가 상기 제2 기준 개수를 초과하는 경우, 상기 연산부는, 상기 결정된 제2 후보 매칭점에서 제6 비활용 매칭점을 제외시킨 결과를 상기 유효 매칭점으로 결정하고, 상기 이미지 스티칭 모듈은, 상기 결정된 유효 매칭점을 기초로 상기 크롭 이미지 페어의 두 이미지 간의 이미지 스티칭을 수행하되, 상기 제6 비활용 매칭점은, 상기 크롭 이미지 페어에서 상기 제2 초기 매칭점 각각의 위치 변화 정도의 조합 값을 기초로 결정될 수 있다.

본 발명의 풍력발전기 점검을 위한 이미지 스티칭 장치는, 풍력발전기의 블레이드에 대한 여러 사진을 하나의 사진으로 스티칭함으로써 블레이드에 존재하는 결함의 위치정보를 정확하게 제공할 수 있는 현저한 효과를 갖는다.

또한, 본 발명의 풍력발전기 점검을 위한 이미지 스티칭 장치는, 블레이드 주변의 배경 영역을 제거하는 전처리 과정을 거친 후 매칭점을 추출함으로써 블레이드에 존재하는 결함의 위치정보를 더욱 정확하게 제공할 수 있는 새로운 효과를 갖는다.

또한, 본 발명의 풍력발전기 점검을 위한 이미지 스티칭 장치는, 크롭 과정을 통해 비교적 높은 해상도를 유지한 상태로 초기 매칭점을 결정함으로써, 충분한 개수의 초기 매칭점을 결정할 수 있는 현저한 효과를 갖는다.

또한, 본 발명의 풍력발전기 점검을 위한 이미지 스티칭 장치는, 결정된 초기 매칭점에서 비활용 매칭점을 결정하고 이를 제외시킨 후 이미지 스티칭을 수행함으로써 더욱 정확한 매칭점을 기초로 이미지 스티칭을 수행할 수 있는 새로운 효과를 갖는다.

또한, 본 발명의 풍력발전기 점검을 위한 이미지 스티칭 장치는, 비활용 매칭점을 다양한 기준을 통해 결정함으로써, 블레이드의 이미지 스티칭을 위한 매칭점 추출에서 발생할 수 있는 여러 오류를 감소시킬 수 있는 현저한 효과를 갖는다.

또한, 본 발명의 풍력발전기 점검을 위한 이미지 스티칭 장치는, 블레이드 주변의 초기 매칭점들을 비활용 매칭점으로 결정하여 배제함으로써 더욱 정확한 유효 매칭점을 결정할 수 있는 새로운 효과를 갖는다. 즉 본 발명의 풍력발전기 점검을 위한 이미지 스티칭 장치는 전술한 전처리 과정 중, 배경 영역을 제거하는 과정에 따라 발생할 수 있는 매칭점 결정 오류를 감소시킬 수 있는 새로운 효과를 갖는다.

또한, 본 발명의 풍력발전기 점검을 위한 이미지 스티칭 장치는, 전처리 이미지 페어에서 대응되는 초기 매칭점 간의 기울기의 절대값에 기초하여 제2 비활용 매칭점을 결정하고 이를 초기 매칭점에서 배제함으로써, 블레이드에 형성된 구조물의 특징(유사한 형상의 반복)에 따라 발생할 수 있는 매칭점 결정 오류를 감소시킬 수 있는 새로운 효과를 갖는다.

또한, 본 발명의 풍력발전기 점검을 위한 이미지 스티칭 장치는, 전처리 이미지 페어에서 초기 매칭점 각각의 위치 변화 정도의 조합 값에 기초하여 제3 비활용 매칭점을 결정하고 이를 초기 매칭점에서 배제함으로써, 복수의 초기 매칭점 들의 위치 변화 정도를 종합적으로 고려하여 유효 매칭점을 결정할 수 있는 새로운 효과를 갖는다.

또한, 본 발명의 풍력발전기 점검을 위한 이미지 스티칭 장치는, 초기 매칭점의 개수와 비활용 매칭점의 개수에 관한 소정 조건에 따라, 초기 매칭점에서 비활용 매칭점을 순차적으로 제외시킬 수 있고, 그에 따라 이미지 스티칭을 수행할 때의 연산량을 감소시킬 수 있는 현저한 효과를 갖는다.

또한, 본 발명의 풍력발전기 점검을 위한 이미지 스티칭 장치는, 풍력발전기의 블레이드에 대한 여러 사진을 하나의 사진으로 스티칭함으로써 클라이언트에게 시각적인 정보를 더욱 정확하게 제공할 수 있는 현저한 효과를 갖는다.

상술한 내용과 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.

도 1은 본 발명의 몇몇 실시예에 따른 풍력발전기 점검을 위한 이미지 스티칭 시스템을 도시한 것이다.
도 2는 본 발명의 몇몇 실시예에 따른 풍력발전기 점검을 위한 이미지 스티칭 장치의 블록도이다.
도 3은 본 발명의 몇몇 실시예에 따른 도 2의 전처리 모듈을 도시한 것이다.
도 4a는 본 발명의 몇몇 실시예에 따른 도 2의 초기 매칭점 결정 모듈을 도시한 것이다.
도 4b는 본 발명의 몇몇 실시예에 따른 결정된 초기 매칭점들을 도시한 것이다.
도 5는 본 발명의 몇몇 실시예에 따른 도 2의 유효 매칭점 결정 모듈의 블록도이다.
도 6a는 본 발명의 몇몇 실시예에 따른 제1 비활용 매칭점을 결정하는 과정을 설명하기 위한 도면이다.
도 6b는 본 발명의 몇몇 실시예에 따른 제2 비활용 매칭점을 결정하는 과정을 설명하기 위한 도면이다.
도 6c는 본 발명의 몇몇 실시예에 따른 제3 비활용 매칭점을 결정하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 몇몇 실시예에 따른 풍력발전기 점검을 위한 이미지 스티칭 장치의 블록도이다.
도 8a는 본 발명의 몇몇 실시예에 따른 도 7의 전처리 모듈을 도시한 것이다.
도 8b는 본 발명의 몇몇 실시예에 따른 도 7의 초기 매칭점 결정 모듈을 도시한 것이다.
도 8c는 본 발명의 몇몇 실시예에 따른 도 7의 유효 매칭점 결정 모듈을 도시한 것이다.
도 9는 본 발명의 몇몇 실시예에 따른 풍력발전기 점검을 위한 이미지 스티칭 방법의 흐름도이다.
도 10은 본 발명의 다른 몇몇 실시예에 따른 풍력발전기 점검을 위한 이미지 스티칭 방법의 세부 흐름도이다.

본 명세서 및 특허청구범위에서 사용된 용어나 단어는 일반적이거나 사전적인 의미로 한정하여 해석되어서는 아니된다. 발명자가 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어나 단어의 개념을 정의할 수 있다는 원칙에 따라, 본 발명의 기술적 사상과 부합하는 의미와 개념으로 해석되어야 한다. 또한, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명이 실현되는 하나의 실시예에 불과하고, 본 발명의 기술적 사상을 전부 대변하는 것이 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 및 응용 가능한 예들이 있을 수 있음을 이해하여야 한다.

본 명세서 및 특허청구범위에서 사용된 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서 및 특허청구범위에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호 간 모순되지 않는 범위 내에서 공유될 수 있다.

또한, 명세서에서 사용되는 "모듈"이라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, "모듈"은 어떤 역할들을 수행한다. 그렇지만 "모듈"은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "모듈"은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "모듈"은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "모듈"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "모듈"들로 결합되거나 추가적인 구성요소들과 "모듈"들로 더 분리될 수 있다.

이하에서는, 도 1 내지 도 10을 참조하여, 본 발명의 몇몇 실시예에 따른 풍력발전기 점검을 위한 이미지 스티칭 장치 및 방법에 대하여 설명한다.

도 1은 본 발명의 몇몇 실시예에 따른 풍력발전기 점검을 위한 이미지 스티칭 시스템(1)을 도시한 것이다.

도 1을 참조하면, 본 발명의 몇몇 실시예에 따른 풍력발전기 점검을 위한 이미지 스티칭 시스템(1, 이하 "이미지 스티칭 시스템"이라 한다)은 드론(200)에 의해 촬영된 풍력발전기(100)의 블레이드에 관한 이미지를 스티칭하는 시스템으로, 풍력발전기(100)를 촬영하는 드론(200), 풍력발전기 점검을 위한 이미지 스티칭 장치(300, 이하 "이미지 스티칭 장치"라 한다) 및 클라이언트 서버(400)를 포함할 수 있다.

본 발명의 실시예에 따른 이미지 스티칭 시스템(1)을 이루는 드론(200), 이미지 스티칭 장치(300) 및 클라이언트 서버(400)는 통신망을 통해 서로 통신 연결될 수 있다. 여기서, 통신망은 무선 통신망 및 유선 통신망을 포함할 수 있다. 또한, 통신망은 근거리 통신망(예: 블루투스, WiFi direct 또는 IrDA(infrared data association), RF(Radio Frequency)) 또는 원거리 통신망(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 통신망(예: LAN 또는 WAN))일 수 있다. 예를 들어, 본 발명의 드론(200)과 이미지 스티칭 장치(300)는 근거리 통신망을 이용하여 서로 통신 연결될 수 있고, 이미지 스티칭 장치(300)와 클라이언트 서버(400)는 무선통신망 또는 유선 통신망을 이용하여 서로 통신 연결될 수 있다.

드론(200)은 풍력발전기(100)의 미리 정해진 비행 명령 및/또는 이미지 스티칭 장치(300)로부터 수신된 비행 또는 동작 등에 대한 제어 명령에 따라 비행하며, 풍력발전기(100)를 촬영할 수 있다.

이때, 드론(200)에는 풍력발전기(100)를 촬영하기 위한 카메라가 장착될 수 있다. 여기서, 드론(200)의 카메라에 의해 촬영되어 이미지 스티칭 장치(300)에 제공되는 영상정보는 정지영상, 즉, 이미지(image)의 형태일 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 영상정보는 여러 개의 이미지(image)가 프레임 형태로 저장되는 동영상(Video)을 포함할 수 있음은 통상의 기술자에게 당연하다. 다만, 본 명세서에서는 설명의 편의를 위하여 영상정보가 이미지(image)만을 포함하는 것을 예로 들어 설명하도록 한다.

이어서, 드론(200)은 풍력발전기(100)에 대한 촬영 이미지 및 드론(200)의 메타 데이터를 이미지 스티칭 장치(300)에 전송할 수 있다.

이때 메타 데이터는, 드론(200)의 기하학적인 정보를 포함할 수 있다. 예컨대 메타 데이터는, 드론(200)의 위치 정보, 비행 방향, 비행 속도, 헤딩 정보, 김발 각도 정보 등을 포함할 수 있으나, 실시예들이 이에 제한되는 것은 아니다. 이때 드론(200)의 위치 정보는 예컨대 드론(200)의 GPS 정보 등을 포함할 수 있으나, 이에 제한되지 않는다.

드론(200)은 풍력발전기(100) 및/또는 풍력발전기(100)의 주위 환경을 촬영하는 비행 드론일 수 있으나, 실시예들이 이에 제한되는 것은 아니며, 지상 드론, 수중 드론 등일 수도 있다.

이미지 스티칭 장치(300)는 풍력발전기 점검 플랫폼을 제공할 수 있다. 여기서, 풍력발전기 점검 플랫폼이란 통신망을 통해 제공하는 웹 페이지, 스마트폰의 어플리케이션 등 이미지 스티칭 장치(300)가 제공할 수 있는 서비스를 이용할 수 있는 수단을 의미할 수 있다. 이미지 스티칭 장치(300)는 풍력발전기 점검 플랫폼을 통해 드론(200)으로부터 전송된 풍력발전기에 대한 복수의 촬영 이미지를 스티칭을 수행하여 스티칭 이미지를 생성하고, 생성된 스티칭 이미지를 클라이언트 서버(400)에 전달할 수 있다.

몇몇 예로, 이미지 스티칭 장치(300)는 드론(200)으로부터 전송된 촬영 이미지로부터 초기 매칭점과 비활용 매칭점을 결정하고, 결정된 초기 매칭점과 비활용 매칭점에 기초하여 이미지 스티칭을 수행할 수 있다. 예컨대 이미지 스티칭 장치(300)는 결정된 초기 매칭점에서 결정된 비활용 매칭점을 제외시켜 유효 매칭점을 결정하고, 결정된 유효 매칭점을 기초로 이미지 스티칭을 수행할 수 있다.

이때, 본 발명의 이미지 스티칭 장치(300)는, 풍력발전기의 블레이드에 대한 여러 사진을 하나의 사진으로 스티칭함으로써 블레이드에 존재하는 결함의 위치정보를 정확하게 제공할 수 있는 현저한 효과를 갖는다.

이미지 스티칭 장치(300)는 드론(200)으로부터 전송된 촬영 이미지를 전처리하고, 전처리된 결과를 기초로 초기 매칭점을 결정할 수 있다. 예컨대 이미지 스티칭 장치(300)는 드론(200)에 의해 촬영된 풍력발전기(100)에 대한 이미지에서 이미지 페어(pair) 선택, 배경 영역 제거, 리사이즈(resize), 크롭(crop)등의 전처리를 수행하고, 전처리된 결과를 기초로 초기 매칭점을 결정할 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

이때, 본 발명의 이미지 스티칭 장치(300)는 예컨대 블레이드 주변의 배경 영역을 제거하는 전처리 과정을 거친 후 매칭점을 추출함으로써 블레이드에 존재하는 결함의 위치정보를 더욱 정확하게 제공할 수 있는 새로운 효과를 갖는다.

이미지 스티칭 장치(300)는 LoFTR(Local Feature Matching with Transformers) 모듈을 이용하여 초기 매칭점을 결정할 수 있으나, 이에 제한되는 것은 아니다.

이미지 스티칭 장치(300)는 블레이드의 윤곽선, 드론(200)의 위치 정보, 전처리 이미지 페어에서 대응되는 초기 매칭점 간의 기울기의 절대값, 전처리 이미지 페어에서 복수의 초기 매칭점의 위치 변화 정도의 조합 값 등에 기초하여 비활용 매칭점을 결정할 수 있으나, 이에 제한되는 것은 아니다.

이때, 본 발명의 이미지 스티칭 장치(300)는, 추출된 매칭점에서 비활용 매칭점을 결정하고 이를 제외시킨 후 이미지 스티칭을 수행함으로써 더욱 정확한 매칭점을 기초로 이미지 스티칭을 수행할 수 있는 새로운 효과를 갖는다. 또한, 이미지 스티칭 장치(300)는, 비활용 매칭점을 다양한 기준을 통해 결정함으로써, 블레이드의 이미지 스티칭을 위한 매칭점 추출에서 발생할 수 있는 여러 오류를 감소시킬 수 있는 현저한 효과를 갖는다.

클라이언트 서버(400)는 이미지 스티칭 장치(300)로부터 풍력발전기(100)의 촬영 이미지에 대한 이미지 스티칭 결과를 전송받을 수 있다.

클라이언트 서버(400)는 풍력발전기 점검 플랫폼을 이용할 수 있거나 설치된 장치일 수 있다. 클라이언트 서버(400)는 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다.

클라이언트 서버(400)는 디스플레이 화면을 통해 이미지 스티칭 장치(300)로부터 수신되는 이미지 스티칭 결과를 표시할 수 있다. 몇몇 예로, 클라이언트 서버(400)는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC (desktop PC), 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버(server), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라, 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있으나, 이에 제한되는 것은 아니다.

이하에서는, 풍력발전기 점검을 위한 이미지 스티칭 시스템(1)의 구성 중 이미지 스티칭 장치(300)의 구체적인 구성에 대해 자세히 설명하도록 한다.

도 2는 본 발명의 몇몇 실시예에 따른 이미지 스티칭 장치(300a)의 블록도이다.

도 1 및 도 2를 참조하면, 이미지 스티칭 장치(300a)는 데이터 송수신 모듈(310), 전처리 모듈(320a), 초기 매칭점 결정 모듈(330a), 유효 매칭점 결정 모듈(340a) 및 이미지 스티칭 모듈(350a)을 포함할 수 있다.

데이터 송수신 모듈(310)은 드론(200)으로부터 데이터를 수신할 수 있고, 이미지 스티칭 결과인 스티칭 이미지(SI)를 클라이언트 서버(400)에 제공할 수 있다.

예를 들어, 데이터 송수신 모듈(310)은 드론(200)으로부터 풍력발전기(100)에 대한 촬영 이미지(Image Sequence, 이하 "IS"라 한다)와 메타 데이터(Meta Data, 이하 "MD"라 한다)를 수신할 수 있다.

풍력발전기(100)에 대한 촬영 이미지(IS)의 개수는 적어도 둘 이상의 복수일 수 있다. 풍력발전기(100)에 대한 촬영 이미지(IS)는 풍력발전기(100)의 몸체, 블레이드 등에 대한 촬영 이미지를 포함할 수 있으나, 이에 제한되는 것은 아니다. 이하 설명의 편의를 위해 풍력발전기(100)에 대한 촬영 이미지(IS)는 풍력발전기(100)의 블레이드에 대한 촬영 이미지인 것으로 가정하여 서술한다.

메타 데이터(MD)는 전술한 바와 같이 드론(200)의 기하학적인 정보를 포함할 수 있다. 예컨대 메타 데이터(MD)는, 드론(200)의 위치 정보, 비행 방향, 비행 속도, 헤딩 정보, 김발 각도 정보 등을 포함할 수 있으나, 실시예들이 이에 제한되는 것은 아니다. 이때 드론(200)의 위치 정보는 예컨대 드론(200)의 GPS 정보 등을 포함할 수 있으나, 이에 제한되지 않는다.

데이터 송수신 모듈(310)은 풍력발전기(100)에 대한 촬영 이미지(IS)와 메타 데이터(MD)를 전처리 모듈(320a)에 전달할 수 있다.

전처리 모듈(320a)은 수신한 데이터를 기초로 전처리 이미지 페어(Preprocessed Image Pair, 이하 "PIP"라 한다)를 생성할 수 있다.

예컨대, 전처리 모듈(320a)은 풍력발전기(100)에 대한 촬영 이미지(IS) 및/또는 메타 데이터(MD)를 기초로 전처리 이미지 페어(PIP)를 생성할 수 있다.

전처리 모듈(320a)의 구체적인 전처리 방식에 대하여 도 3을 참조하여 더 자세히 설명한다.

도 3은 본 발명의 몇몇 실시예에 따른 도 2의 전처리 모듈(320a)을 도시한 것이다.

도 1, 도 2 및 도 3을 참조하면, 전처리 모듈(320a)은 이미지 페어 선택부(321), 배경 영역 제거부(322) 및 리사이즈부(323)를 포함할 수 있다.

이미지 페어 선택부(321)는 풍력발전기(100)에 대한 복수의 촬영 이미지(IS) 중, 이미지 스티칭을 수행할 이미지 페어를 선택할 수 있다.

몇몇 예로, 이미지 페어 선택부(321)는 풍력발전기(100)에 대한 복수의 촬영 이미지(IS) 중에서, 동일한 블레이드를 촬영한 제1 촬영 이미지 셋(set) 중 어느 두 이미지를 이미지 페어로 선택할 수 있다.

다른 몇몇 예로, 이미지 페어 선택부(321)는 풍력발전기(100)에 대한 복수의 촬영 이미지(IS) 중에서, 드론(200)의 메타 데이터(MD)에 기초하여 이미지 페어를 선택할 수 있다. 설명의 편의를 위해 메타 데이터(MD)는 드론(200)의 위치 정보인 것을 예를 들어 설명한다.

예컨대, 이미지 페어 선택부(321)는 풍력발전기(100)에 대한 복수의 촬영 이미지(IS) 중에서, 드론(200)의 위치 정보 간의 차이가 소정 값 이하인 제2 촬영 이미지 셋 중 어느 두 이미지를 이미지 페어로 선택할 수 있다. 이때, 이미지 페어 선택부(321)는 제2 촬영 이미지 셋에서, 드론(200)의 위치 정보 간의 차이가 최소값을 가지는 두 이미지를 이미지 페어로 선택할 수 있으나, 이에 제한되는 것은 아니다.

배경 영역 제거부(322)는 선택된 이미지 페어에서, 풍력발전기(100)의 블레이드 주변의 배경 영역을 제거할 수 있다.

이때, 배경 영역 제거부(322)는 이미지 페어에서 블레이드 외의 영역의 색상값을 변경함으로써 배경 영역을 제거할 수 있다. 예컨대, 배경 영역 제거부(322)는 블레이드 이외의 영역은 검은색 (RGB=(0,0,0))으로 처리함으로써 배경 영역을 제거할 수 있으나, 이에 제한되는 것은 아니다.

몇몇 예로, 배경 영역 제거부(322)는 이미지 페어에서, 미리 정해진 알고리즘을 통해 블레이드의 윤곽선을 도출한 후, 도출된 윤곽선 외부의 영역을 배경 영역으로 결정하고, 결정된 배경 영역의 RGB 값을 (0,0,0)으로 변경할 수 있다. 예를 들어, 배경 영역 제거부(322)는 미리 정해진 이미지 윤곽선 분석 모델 등을 통해 블레이드의 윤곽선을 도출할 수 있으나, 이에 제한되는 것은 아니다.

다른 몇몇 예로, 배경 영역 제거부(322)는 이미지 페어에서, 블레이드의 RGB 값을 결정한 후, 블레이드의 RGB 값과 임계값 이상 차이나는 색상을 가지는 영역을 배경 영역으로 결정하고, 결정된 배경 영역의 RGB값을 (0,0,0)으로 변경할 수 있다.

일반적으로, 기존의 컴퓨터 비전 알고리즘들은 이미지의 매칭점들을 뽑아내어 매칭을 시도하였으나, 풍력발전기(100)의 블레이드가 흰색인 경우, 블레이드에서는 두드러지는 매칭점이 없어 배경에서 특징점들을 추출하였다. 다만 풍력발전기(100)는 지상으로부터 상당히 높은 고도에 위치하는 바, 드론(200)과 블레이드 간의 거리와, 드론(200)과 지상의 배경 간의 거리는 상당히 큰 차이를 보이는 경향이 있다. 따라서, 블레이드가 아닌 배경으로부터 매칭점을 추출하여 이미지 스티칭을 수행하는 경우 이미지 스티칭의 정확도가 상당히 낮다는 문제점이 존재하였다.

본 발명의 이미지 스티칭 장치(300a)는 이러한 문제점을 해결하기 위해 배경이 아닌 블레이드 상에서 매칭점을 결정할 수 있고, 이를 위해 이미지 페어에서 배경 영역을 제거할 수 있다. 즉, 본 발명의 이미지 스티칭 장치(300a)는 블레이드 주변의 배경 영역을 제거하는 전처리 과정을 거친 후 매칭점을 추출함으로써 블레이드에 존재하는 결함의 위치정보를 더욱 정확하게 제공할 수 있는 새로운 효과를 갖는다.

리사이즈부(323)는 이미지 페어의 각 이미지를 리사이즈(resize)할 수 있다.

일반적으로, 드론(200)에 의해 촬영된 촬영 이미지의 크기가 큰 경우(예: 8000*5000), 초기 매칭점을 결정하기에 다소 부적합할 수 있다. 따라서, 리사이즈부(323)는 이미지 페어의 각 이미지를 작은 해상도로 리사이즈할 수 있다.

이때 리사이즈부(323)는 미리 정해진 프로그램, 모델 등을 이용하여 이미지들을 리사이즈할 수 있다. 리사이즈부(323)는 전처리 모듈(320a)에서 생략될 수도 있다.

이미지 페어 선택부(321), 배경 영역 제거부(322) 및/또는 리사이즈부(323)에 의해 처리된 촬영 이미지(IS)는, 전처리 모듈(320a)로부터 전처리 이미지 페어(PIP)로서 출력될 수 있다.

다시 도 1 및 도 2를 참조하면, 초기 매칭점 결정 모듈(330a)은 전처리 이미지 페어(PIP)에서 초기 매칭점(Initial Match Point, 이하 "IMP"라 한다)을 결정할 수 있다.

이때, 초기 매칭점(IMP)은, 전처리 이미지 페어(PIP) 에서의 두 이미지 간에 대응되는 특징, 예컨대 블레이드 상의 점(dot), 얼룩, 블레이드에 형성된 세부 구조물(예: 와류 발생기(vortex generator)) 등을 포함할 수 있으나, 이에 제한되는 것은 아니다.

몇몇 예로, 초기 매칭점 결정 모듈(330a)은 미리 학습된 딥러닝 모듈을 이용하여 초기 매칭점(IMP)을 결정할 수 있다. 예컨대, 초기 매칭점 결정 모듈(330a)은 LoFTR(Local Feature Matching with Transformers, 이하 "LoFTR" 이라 한다) 모듈을 이용하여 초기 매칭점(IMP)을 결정할 수 있으나, 이에 제한되는 것은 아니다.

도 4a 및 도 4b를 통해 초기 매칭점(IMP)을 결정하는 과정을 자세히 설명한다.

도 4a는 본 발명의 몇몇 실시예에 따른 도 2의 초기 매칭점 결정 모듈(330a)을 도시한 것이다. 도 4b는 본 발명의 몇몇 실시예에 따른 결정된 초기 매칭점들을 도시한 것이다.

도 3 및 도 4a를 참조하면, 초기 매칭점 결정 모듈(330a)은 미리 학습된 딥러닝 모듈(331)을 포함할 수 있다. 이때 미리 학습된 딥러닝 모듈(331)은 전술한 바와 같이 예컨대 LoFTR 모듈을 포함할 수 있으나, 이에 제한되는 것은 아니다.

미리 학습된 딥러닝 모듈(331)은 전처리 이미지 페어(PIP)로부터 초기 매칭점(IMP)을 결정하여 출력할 수 있다.

도 3 및 도 4b를 참조하면, 도 4b에는 블레이드(BD)를 촬영한 전처리 이미지 페어(PIP)의 각 이미지(I1, I2)에서, 미리 학습된 딥러닝 모듈(331)을 통해 결정된 초기 매칭점 들을 연결한 매칭선들이 도시되어 있다.

이때, 전술한 바와 같이 LoFTR 모듈 등을 통해 블레이드(BD)에 존재하는 점, 얼룩, 블레이드(BD)에 형성된 세부 구조물 등을 초기 매칭점으로 결정할 수 있다.

다시 도 1 및 도 2를 참조하면 유효 매칭점 결정 모듈(340a)은 결정된 초기 매칭점(IMP) 중에서 비활용 매칭점을 결정하고, 결정된 초기 매칭점(IMP)과 비활용 매칭점을 기초로 유효 매칭점(Valid Match Point, 이하 "VMP"라 한다)을 결정할 수 있다.

몇몇 예로, 유효 매칭점 결정 모듈(340a)은 초기 매칭점(IMP)에서 비활용 매칭점을 제외시켜 유효 매칭점(VMP)을 결정할 수 있다.

이러한 과정을 통해 본 발명의 이미지 스티칭 장치(300a)는, 결정된 초기 매칭점에서 비활용 매칭점을 제외시킨 후 이미지 스티칭을 수행함으로써 더욱 정확한 매칭점을 기초로 이미지 스티칭을 수행할 수 있는 새로운 효과를 갖는다.

비활용 매칭점은 블레이드의 윤곽선을 기초로 결정되는 제1 비활용 매칭점, 전처리 이미지 페어에서 대응되는 초기 매칭점 간의 기울기의 절대값에 기초하여 결정되는 제2 비활용 매칭점 및 전처리 이미지 페어에서 초기 매칭점 각각의 위치 변화 정도의 조합 값을 기초로 결정되는 제3 비활용 매칭점 등을 포함할 수 있으나, 비활용 매칭점의 예시가 이에 제한되는 것은 아니다.

이렇듯, 본 발명의 이미지 스티칭 장치(300a)는, 비활용 매칭점을 다양한 기준을 통해 결정함으로써, 블레이드의 이미지 스티칭을 위한 매칭점 추출에서 발생할 수 있는 여러 오류를 감소시킬 수 있는 현저한 효과를 갖는다.

도 5 및 도 6a 내지 도 6c를 참조하여 유효 매칭점 결정 모듈(340a)에 대하여 자세히 설명한다.

도 5는 본 발명의 몇몇 실시예에 따른 도 2의 유효 매칭점 결정 모듈(340a)의 블록도이다.

도 5를 참조하면, 유효 매칭점 결정 모듈(340a)은 제1 비활용 매칭점 결정부(341), 제2 비활용 매칭점 결정부(342) 및 제3 비활용 매칭점 결정부(343)를 포함할 수 있다.

유효 매칭점 결정 모듈(340a)은 초기 매칭점(IMP)을 기초로 유효 매칭점(VMP)을 결정할 수 있다. 예를 들어, 유효 매칭점 결정 모듈(340a)은 초기 매칭점(IMP)에서 제1 내지 제3 비활용 매칭점을 제외시켜 유효 매칭점(VMP)을 결정할 수 있다.

제1 비활용 매칭점 결정부(341)는 풍력발전기의 블레이드의 윤곽선을 기초로 제1 비활용 매칭점을 결정할 수 있다.

몇몇 예로, 제1 비활용 매칭점 결정부(341)는 초기 매칭점(IMP) 중에서, 블레이드의 윤곽선으로부터 소정 거리 이하에 존재하는 초기 매칭점(IMP)을 제1 비활용 매칭점으로 결정할 수 있다.

도 6a를 더 참조하여 자세히 설명한다.

도 6a는 본 발명의 몇몇 실시예에 따른 제1 비활용 매칭점을 결정하는 과정을 설명하기 위한 도면이다.

도 5 및 도 6a를 참조하면, 제1 비활용 매칭점 결정부(341)는 블레이드의 윤곽선(OL1 내지 OL5)으로부터 소정 거리 이격된 가상 윤곽선(BL1 내지 BL5)을 결정할 수 있다.

이때, 블레이드의 윤곽선(OL1 내지 OL5)과 가상 윤곽선(BL1 내지 BL5) 사이의 거리는 모두 동일할 수도 있고, 서로 상이할 수도 있다. 예를 들어, OL1 과 BL1 사이의 거리는 OL2와 BL2 사이의 거리와 동일할 수도 있고, 서로 상이할 수도 있다.

이어서, 제1 비활용 매칭점 결정부(341)는 결정된 초기 매칭점(IMP) 중에서, 블레이드의 윤곽선(OL1 내지 OL5)과, 가상 윤곽선(BL1 내지 BL5) 사이에 존재하는 초기 매칭점(IMP)들을 제1 비활용 매칭점으로 결정할 수 있다.

전술한 바와 같이, 블레이드 주변의 배경 영역이 제거되는 과정을 거치면, 블레이드와 배경 영역의 경계, 즉 블레이드의 윤곽선 근처의 이미지는 매끈하지 못하고 울퉁불퉁하게 될 가능성이 높다. 일반적으로 매칭점 결정과 관련된 딥러닝 모듈은 독특하게 형성된 영역이나 지점을 매칭점으로 인식하려는 경향이 있는 바, 초기 매칭점 결정 모듈(도 2의 330a)은 이러한 영역을 초기 매칭점(IMP)으로 결정할 가능성이 존재한다.

이때 유효 매칭점 결정부(340a)는 블레이드 주변의 초기 매칭점(IMP)들을 제1 비활용 매칭점으로 결정하여 배제함으로써 더욱 정확한 유효 매칭점을 결정할 수 있는 새로운 효과를 갖는다. 즉 본 발명의 유효 매칭점 결정부(340a)는 전술한 전처리 과정 중, 배경 영역을 제거하는 과정에 따라 발생할 수 있는 매칭점 결정 오류를 감소시킬 수 있는 새로운 효과를 갖는다.

다시 도 5를 참조하면, 제2 비활용 매칭점 결정부(342)는 전처리 이미지 페어에서 대응되는 초기 매칭점(IMP) 간의 기울기의 절대값을 기초로 제2 비활용 매칭점을 결정할 수 있다.

몇몇 예로, 제2 비활용 매칭점 결정부(342)는 이미지 페어의 각 이미지에 상응하는 드론의 위치 정보 간의 차이가 임계치 이상일 때, 이미지 페어에서 대응되는 초기 매칭점(IMP) 간의 기울기의 절대값에 기초하여 제2 비활용 매칭점을 결정할 수 있다.

도 6b를 더 참조하여 자세히 설명한다.

도 6b는 본 발명의 몇몇 실시예에 따른 제2 비활용 매칭점을 결정하는 과정을 설명하기 위한 도면이다.

도 5 및 도 6b를 참조하면, 도 6b에는 제1 이미지(I1)와 제2 이미지(I2)를 포함하는 전처리 이미지 페어(PIP), 결정된 초기 매칭점(IMP1 내지 IMP3) 및 결정된 초기 매칭점(IMP1 내지 IMP3) 사이를 연결하는 매칭선(ML1 내지 ML3)이 도시되어 있다.

제2 비활용 매칭점 결정부(342)는 제1 이미지(I1)와 제2 이미지(I2) 각각에 상응하는 드론의 위치정보 간의 차이가 미리 정해진 임계치 이상일 때, 초기 매칭점(IMP1 내지 IMP3) 간의 기울기의 절대값에 기초하여 제2 비활용 매칭점을 결정할 수 있다.

설명의 편의를 위해, 제1 이미지(I1)와 제2 이미지(I2) 각각에 상응하는 드론의 위치정보 간의 차이가 미리 정해진 임계치 이상인 경우로 가정한다.

제2 비활용 매칭점 결정부(342)는 전처리 이미지 페어(PIP)에서 초기 매칭점(IMP1 내지 IMP3) 사이를 연결하는 매칭선(ML1 내지 ML3)을 결정할 수 있다.

이어서, 제2 비활용 매칭점 결정부(342)는 매칭선(ML1 내지 ML3) 각각의 기울기의 절대값에 기초하여 제2 비활용 매칭점을 결정할 수 있다.

일 예로, 제2 비활용 매칭점 결정부(342)는 매칭선(ML1 내지 ML3) 중에서 기울기의 절대값이 소정 값 이하인 매칭선에 상응하는 초기 매칭점을 제2 비활용 매칭점으로 결정할 수 있다.

도 6b의 매칭선(ML1)의 기울기의 절대값이 소정 값 이하라고 가정하면, 이때 제2 비활용 매칭점 결정부(342)는 매칭선(ML1)에 상응하는 초기 매칭점(IMP1)을 제2 비활용 매칭점으로 결정할 수 있다.

다른 예로, 제2 비활용 매칭점 결정부(342)는 매칭선(ML1 내지 ML3) 중에서 기울기의 절대값이 최소 값을 갖는 매칭선에 상응하는 초기 매칭점을 제2 비활용 매칭점으로 결정할 수도 있다.

도 6b를 예를 들어 설명하면, 도 6b에는 매칭선(ML1)의 기울기의 절대값이 다른 매칭선(ML2, ML3)의 기울기의 절대값 보다 다소 작은 것으로 도시되어 있다. 이때 제2 비활용 매칭점 결정부(342)는 매칭선(ML1)에 상응하는 초기 매칭점(IMP1)을 제2 비활용 매칭점으로 결정할 수 있다.

일반적으로, 드론이 블레이드 주변을 이동하면서 촬영하는 경우, 전처리 이미지 페어(PIP)에서 각 이미지(I1, I2)의 드론의 위치 정보(예: GPS 값)가 차이나게 되고, 이때 각 이미지(I1, I2)에서의 초기 매칭점도 이동하게 된다. 다만, 도 6b에 도시된 초기 매칭점(IMP1)의 경우 드론이 실제로 이동하면서 촬영하였음에도 불구하고 각 이미지(I1, I2)에서 미미한 이동만을 보인다. 이 경우, 초기 매칭점(IMP1)이 잘못 결정된 것을 의미할 수 있다.

즉, 이는 와류 발생기(vortex generator)와 같이 유사한 형상이 반복되는 구조물의 경우, 상하좌우에 형성된 유사한 형상들 간에 혼동을 일으켜 동일한 지점이 아님에도 불구하고 이를 초기 매칭점으로 결정한 경우를 의미할 수 있다.

따라서 본 발명의 유효 매칭점 결정부(340a)는 전술한 과정으로 결정된 제2 비활용 매칭점을 제외시킴으로써 더욱 정확한 유효 매칭점을 결정할 수 있는 새로운 효과를 갖는다. 즉 본 발명의 유효 매칭점 결정부(340a)는 블레이드에 형성된 구조물의 특징(유사한 형상의 반복)에 따라 발생할 수 있는 매칭점 결정 오류를 감소시킬 수 있는 새로운 효과를 갖는다.

다시 도 5를 참조하면, 제3 비활용 매칭점 결정부(343)는 전처리 이미지 페어에서 초기 매칭점(IMP) 각각의 위치 변화 정도의 조합 값을 기초로 제3 비활용 매칭점을 결정할 수 있다.

몇몇 예로, 제3 비활용 매칭점 결정부(343)는 전처리 이미지 페어에서 복수의 초기 매칭점(IMP)의 위치 변화 정도를 각각 계산하고, 계산된 각 초기 매칭점(IMP)의 위치 변화 정도의 평균값에 기초하여 제3 비활용 매칭점을 결정할 수 있다.

도 6c를 더 참조하여 자세히 설명한다.

도 6c는 본 발명의 몇몇 실시예에 따른 제3 비활용 매칭점을 결정하는 과정을 설명하기 위한 도면이다.

도 5 및 도 6c를 참조하면, 도 6c에는 제1 이미지(I1)와 제2 이미지(I2)를 포함하는 전처리 이미지 페어(PIP) 및 결정된 초기 매칭점(IMP4 내지 IMP7)이 도시되어 있다.

제3 비활용 매칭점 결정부(343)는 전처리 이미지 페어(PIP)에서 복수의 초기 매칭점(IMP4 내지 IMP7)의 위치 변화 정도(x1 내지 x4, y1 내지 y4)를 각각 계산하고, 계산된 각 초기 매칭점(IMP4 내지 IMP7)의 위치 변화 정도의 조합값에 기초하여 상기 제3 비활용 매칭점을 결정할 수 있다.

이때 조합값은 평균, 합, 곱, 분산, 표준편차 등을 포함할 수 있으나 이에 제한되는 것은 아니다. 이하 설명의 편의를 위해 조합값은 평균값인 것으로 서술한다.

몇몇 예로, 제3 비활용 매칭점 결정부(343)는 전처리 이미지 페어(PIP)에서 복수의 초기 매칭점(IMP4 내지 IMP7)의 x축으로의 변화 정도(x1 내지 x4)를 계산한 후, 계산된 변화 정도의 평균값(x1 내지 x4의 평균)을 산출할 수 있다. 이어서, 제3 비활용 매칭점 결정부(343)는 산출된 평균값(x1 내지 x4의 평균)과 소정 값 이상으로 차이나는 x축으로의 변화 정도(예: x4)를 갖는 초기 매칭점(예: IMP7)을 제3 비활용 매칭점으로 결정할 수 있다.

다른 몇몇 예로, 제3 비활용 매칭점 결정부(343)는 전처리 이미지 페어(PIP)에서 복수의 초기 매칭점(IMP4 내지 IMP7)의 y축으로의 변화 정도(y1 내지 y4)를 계산한 후, 계산된 변화 정도의 평균값(y1 내지 y4의 평균)을 산출할 수 있다. 이어서, 제3 비활용 매칭점 결정부(343)는 산출된 평균값(y1 내지 y4의 평균)과 소정 값 이상으로 차이나는 y축으로의 변화 정도(예: y3)를 갖는 초기 매칭점(예: IMP6)을 제3 비활용 매칭점으로 결정할 수 있다.

또 다른 몇몇 예로, 제3 비활용 매칭점 결정부(343)는 전처리 이미지 페어(PIP)에서 복수의 초기 매칭점(IMP4 내지 IMP7)의 x축으로의 변화 정도(x1 내지 x4)와 y축으로의 변화 정도(y1 내지 y4)를 모두 이용하여 제3 비활용 매칭점을 결정할 수도 있다.

이때, 본 발명의 유효 매칭점 결정부(340a)는 전술한 과정으로 결정된 제3 비활용 매칭점을 제외시킴으로써 더욱 정확한 유효 매칭점(VMP)을 결정할 수 있는 새로운 효과를 갖는다. 즉 본 발명의 유효 매칭점 결정부(340a)는 복수의 초기 매칭점(IMP) 들의 위치 변화 정도를 종합적으로 고려함으로써 비활용 매칭점을 결정할 수 있고, 그에 따라 매칭점 결정 오류를 감소시킬 수 있는 새로운 효과를 갖는다.

다시 도 1 및 도 2를 참조하면 이미지 스티칭 모듈(350a)은 전처리 이미지 페어(PIP)의 두 이미지 간의 이미지 스티칭을 수행하여 스티칭 이미지(SI)를 생성할 수 있다.

몇몇 예로, 이미지 스티칭 모듈(350a)은 결정된 유효 매칭점(VMP)과, 미리 정해진 이미지 스티칭 알고리즘 및/또는 이미지 스티칭 모델을 기초로 스티칭 이미지(SI)를 생성할 수 있다.

예컨대, 이미지 스티칭 모듈(350a)은 미리 정해진 이미지 스티칭 알고리즘 및/또는 이미지 스티칭 모델을 통해, 결정된 유효 매칭점들의 이미지 내의 좌표, 상대 좌표 등을 서로 연결, 일치, 대응시키는 방식으로 스티칭 이미지(SI)를 생성할 수 있다.

도 7은 본 발명의 다른 몇몇 실시예에 따른 풍력발전기 점검을 위한 이미지 스티칭 장치(300b)의 블록도이다.

도 1 및 도 7을 참조하면, 이미지 스티칭 장치(300b)는 데이터 송수신 모듈(310), 전처리 모듈(320b), 초기 매칭점 결정 모듈(330b), 유효 매칭점 결정 모듈(340b) 및 이미지 스티칭 모듈(350b)을 포함할 수 있다.

데이터 송수신 모듈(310)은 도 2에서 전술한 바 있으므로, 여기서는 생략한다.

전처리 모듈(320b)은 수신한 데이터를 기초로 전처리 이미지 페어(PIP) 및/또는 크롭 이미지 페어(Crop Image Pair, 이하 "CIP"라 한다)를 생성할 수 있다.

전처리 모듈(320b)이 전처리 이미지 페어(PIP)를 생성하는 과정에 대하여는 도 2 및 도 3을 통해 자세히 설명한 바 있으므로, 여기서는 생략한다.

전처리 모듈(320b)은 풍력발전기(100)에 대한 촬영 이미지(IS), 메타 데이터(MD) 및 유효 매칭점 결정 모듈(340b)의 제어 신호(Control Signal, 이하 "CS"라 한다)를 크롭 이미지 페어(CIP)를 생성할 수 있다.

예를 들어, 전처리 모듈(320b)은 유효 매칭점 결정 모듈(340b)로부터 제어 신호(CS)가 수신되면, 데이터 송수신 모듈(310)로부터 수신된 풍력발전기(100)에 대한 촬영 이미지(IS)와 메타 데이터(MD)를 기초로 크롭 이미지 페어(CIP)를 생성할 수 있다.

도 8a를 더 참조하여 자세히 설명한다.

도 8a는 본 발명의 몇몇 실시예에 따른 도 7의 전처리 모듈(320b)을 도시한 것이다.

도 7 및 도 8a를 참조하면, 전처리 모듈(320b)은 이미지 페어 선택부(321), 배경 영역 제거부(322), 리사이즈부(323) 및 크롭부(324)를 포함할 수 있다. 이미지 페어 선택부(321), 배경 영역 제거부(322) 및 리사이즈부(323)에 대하여는 도 3에서 전술한 바 있으므로, 여기서는 생략한다.

크롭부(324)는 선택된 이미지 페어의 각 이미지를 크롭(crop)할 수 있다.

몇몇 예로, 크롭부(324)는 선택된 이미지 페어의 각 이미지를 소정 개수의 쌍으로 크롭할 수 있다. 이하 설명의 편의를 위해 특정 이미지 페어가 제1 이미지와 제2 이미지를 포함하는 경우를 예를 들어 설명한다.

먼저, 크롭부(324)는 제1 이미지에 존재하는 블레이드의 임의의 두 지점을 기준으로 크롭을 수행할 수 있다. 이때 임의의 두 지점은 제1 이미지에 포함된 블레이드에서, 세로축을 기준으로 1/3인 지점(A 지점)과 2/3인 지점(B 지점)을 의미할 수 있으나, 이에 제한되는 것은 아니다.

이후, 크롭부(324)는 제1 이미지와 제2 이미지 간에 드론(200)의 위치 정보 차이를 이용하여 제2 이미지에서 제1 이미지의 A 지점에 대응되는 지점(C 지점) 및 제1 이미지의 B 지점에 대응되는 지점(D 지점)을 검색할 수 있다.

이어서, 크롭부(324)는 제2 이미지의 C 지점과 D 지점을 기초로 크롭을 수행할 수 있다.

일반적으로, 리사이즈 과정을 통해 해상도가 감소한 상태로 초기 매칭점을 결정하는 경우, 낮은 해상도로 인해 충분한 개수의 초기 매칭점이 나오지 않을 가능성이 존재한다. 이때, 본원발명의 이미지 스티칭 장치(300b)는 크롭 과정을 통해 비교적 높은 해상도를 유지한 상태로 초기 매칭점을 결정할 수 있고, 그에 따라 충분한 개수의 초기 매칭점을 결정할 수 있는 현저한 효과를 갖는다.

몇몇 예로, 크롭부(324)는 소정 조건에 따라 구동여부가 결정될 수 있다.

예컨대, 크롭부(324)는 유효 매칭점 결정 모듈(340b)로부터 제어 신호(CS)가 생성되어 수신되는 경우에만 구동될 수 있다.

이때, 제어 신호(CS)는 후술하는 바와 같이, 초기 매칭점 결정 모듈(330b)에 의해 결정되는 제1 초기 매칭점의 개수와 유효 매칭점 결정 모듈(340b)에 의해 결정되는 비활용 매칭점의 개수에 기초하여 생성될 수 있다.

예를 들어, 제어 신호(CS)는 제1 초기 매칭점에서 제1 및 제2 비활용 매칭점을 차감하여 결정되는 제1 후보 매칭점의 개수가 제1 기준 개수 이하인 경우 생성될 수 있으나, 이에 제한되는 것은 아니다.

몇몇 예로, 제어 신호(CS)가 수신되면 전처리 모듈(320b)은 제어 신호(CS)가 수신된 시점에서 전처리 모듈(320b)의 각 세부 구성(321 내지 324)을 구동시켜 크롭 이미지 페어(CIP)를 생성할 수 있다. 또는 이와 달리, 제어 신호(CS)가 수신되면, 크롭부(324)가 기존의 전처리 결과, 즉 전처리 이미지 페어(PIP)에 대하여 크롭을 수행하여 크롭 이미지 페어(CIP)를 생성할 수도 있다.

즉, 생성된 크롭 이미지 페어(CIP)는 크롭부(324) 뿐 아니라, 전술한 이미지 페어 선택부(321), 배경 영역 제거부(322) 및/또는 리사이즈부(323)의 구동 결과를 반영한 데이터일 수 있다.

크롭부(324)에 의해 처리된 촬영 이미지(IS)는, 전처리 모듈(320b)로부터 크롭 이미지 페어(CIP)로서 출력될 수 있다.

다시 도 1 및 도 7을 참조하면, 초기 매칭점 결정 모듈(330b)은 전처리 이미지 페어(PIP)를 기초로 제1 초기 매칭점(IMP_A)을 결정하거나 또는 크롭 이미지 페어(CIP)를 기초로 제2 초기 매칭점(IMP_B)을 결정할 수 있다.

이때, 제1 초기 매칭점(IMP_A)은 도 2 내지 도 6c에서 전술한 초기 매칭점(IMP)과 동일하다. 따라서 초기 매칭점 결정 모듈(330b)이 전처리 이미지 페어(PIP)를 기초로 제1 초기 매칭점(IMP_A)을 결정하는 과정에 대하여는 도 2, 도 4a 및 도 4b를 통해 전술한 바 있으므로 여기서는 생략한다.

초기 매칭점 결정 모듈(330b)이 크롭 이미지 페어(CIP)를 기초로 제2 초기 매칭점(IMP_B)을 결정하는 과정을 도 8b를 통해 자세히 설명한다.

도 8b는 본 발명의 몇몇 실시예에 따른 도 7의 초기 매칭점 결정 모듈(330b)을 도시한 것이다.

도 8b를 참조하면, 초기 매칭점 결정 모듈(330b)은 도 4a에서 전술한 바 있는 미리 학습된 딥러닝 모듈(331)을 이용하여, 크롭 이미지 페어(CIP)로부터 제2 초기 매칭점(IMP_B)을 결정할 수 있다.

미리 학습된 딥러닝 모듈(331)은 전술한 바와 같이 예컨대 LoFTR 모듈을 포함할 수 있으나, 이에 제한되는 것은 아니다.

몇몇 예로, 미리 학습된 딥러닝 모듈(331)은 크롭 이미지 페어(CIP)의 블레이드에 존재하는 점, 얼룩, 블레이드에 형성된 세부 구조물 등을 제2 초기 매칭점으로 결정할 수 있다.

다시 도 1 및 도 7을 참조하면, 유효 매칭점 결정 모듈(340b)은 제1 초기 매칭점(IMP_A)을 이용하여 유효 매칭점(VMP)을 결정하거나, 제어 신호(CS)에 대응하여 결정되는 제2 초기 매칭점(IMP_B)을 이용하여 유효 매칭점(VMP)을 결정하거나 또는 제1 초기 매칭점(IMP_A)과 제2 초기 매칭점(IMP_B)을 드랍(drop)할 수 있다.

도 8c를 참조하여 더 자세히 설명한다.

도 8c는 본 발명의 몇몇 실시예에 따른 도 7의 유효 매칭점 결정 모듈(340b)을 도시한 것이다.

도 7 및 도 8c를 참조하면, 유효 매칭점 결정부(340b)는 제1 내지 제6 비활용 매칭점 결정부(341 내지 346) 및 연산부(347)를 포함할 수 있다.

제1 초기 매칭점(IMP_A)에 대하여 제1 내지 제3 비활용 매칭점을 결정하는 제1 내지 제3 비활용 매칭점 결정부(341 내지 343)에 대하여는 도 5에서 전술한 바, 여기서는 생략한다.

연산부(347)는 제1 초기 매칭점(IMP_A)의 개수 및 제1 내지 제3 비활용 매칭점의 개수에 관한 소정 조건에 따라, 제1 초기 매칭점(IMP_A)에서 제1 내지 제3 비활용 매칭점을 순차적으로 제외시켜 유효 매칭점(VMP)을 결정할 수 있다.

예컨대, 연산부(347)는 제1 초기 매칭점(IMP_A)에서, 제1 비활용 매칭점과 제2 비활용 매칭점을 순차적으로 제외시켜 제1 후보 매칭점을 결정하고, 결정된 제1 후보 매칭점의 개수가 제1 기준 개수를 초과하는지 여부를 판단할 수 있다. 제1 기준 개수는 4개일 수 있으나, 제1 기준 개수가 이에 제한되지 않음은 당연하다.

이어서, 결정된 제1 후보 매칭점의 개수가 제1 기준 개수를 초과하는 경우, 연산부(347)는 제1 후보 매칭점에서 제3 비활용 매칭점을 제외시킨 결과를 유효 매칭점(VMP)으로 결정할 수 있다.

이와 달리, 결정된 제1 후보 매칭점의 개수가 제1 기준 개수 이하인 경우, 연산부(347)는 제어 신호(CS)를 생성할 수 있다.

생성된 제어 신호(CS)는 전처리 모듈(320b)을 제어하여 크롭 이미지 페어(CIP)를 생성하고, 초기 매칭점 결정 모듈(330b)을 제어하여 제2 초기 매칭점(IMP_B)을 결정하게 하는 신호일 수 있다.

이어서, 연산부(347)는 제2 초기 매칭점(IMP_B)에서, 제4 비활용 매칭점과 제5 비활용 매칭점을 순차적으로 제외시켜, 제2 후보 매칭점을 결정할 수 있다.

이때, 제4 비활용 매칭점은 제4 비활용 매칭점 결정부(344)에 의해 결정될 수 있고, 제5 비활용 매칭점은 제5 비활용 매칭점 결정부(345)에 의해 결정될 수 있다.

제4 비활용 매칭점 결정부(344)와 제5 비활용 매칭점 결정부(345)는 각각 제1 비활용 매칭점 결정부(341)와 제2 비활용 매칭점 결정부(342)의 구동 방식과 동일한 방식으로, 제2 초기 매칭점(IMP_B)으로부터 제4 비활용 매칭점과 제5 비활용 매칭점을 결정할 수 있다.

즉, 제1 비활용 매칭점 결정부(341)는 도 6a에서 전술한 바와 같이, 전처리이미지 페어(PIP)의 제1 초기 매칭점(IMP_A)으로부터 제1 비활용 매칭점을 결정할 수 있는 반면, 제4 비활용 매칭점 결정부(344)는 도 6a에서 전술한 방식과 동일한 방식을 이용하여 크롭 이미지 페어(CIP)의 제2 초기 매칭점(IMP_B)으로부터 제4 비활용 매칭점을 결정할 수 있는 것이다. 또한, 제2 비활용 매칭점 결정부(342)는 도 6b에서 전술한 바와 같이, 전처리 이미지 페어(PIP)의 제1 초기 매칭점(IMP_A)으로부터 제2 비활용 매칭점을 결정할 수 있는 반면, 제5 비활용 매칭점 결정부(345)는 도 6b에서 전술한 방식과 동일한 방식을 이용하여 크롭 이미지 페어(CIP)의 제2 초기 매칭점(IMP_B)으로부터 제5 비활용 매칭점을 결정할 수 있는 것이다.

이어서, 연산부(347)는 제어 신호(CS)의 제어에 따라 결정된 제2 후보 매칭점의 개수가 제2 기준 개수를 초과하는지 여부를 판단할 수 있다.

이때, 제2 기준 개수는 4개일 수 있으나, 제2 기준 개수가 이에 제한되지 않음은 당연하다. 제1 기준 개수와 제2 기준 개수는 서로 동일할 수도 있고, 서로 상이할 수도 있다.

이어서, 제2 후보 매칭점의 개수가 제2 기준 개수를 초과하는 경우, 연산부(347)는 제2 후보 매칭점에서 제6 비활용 매칭점을 제외시킨 결과를 유효 매칭점(VMP)으로 결정할 수 있다.

이때, 제6 비활용 매칭점은 제6 비활용 매칭점 결정부(346)에 의해 결정될 수 있다. 제6 비활용 매칭점 결정부(346)는 제3 비활용 매칭점 결정부(343)의 구동 방식과 동일한 방식으로, 제2 초기 매칭점(IMP_B)으로부터 제6 비활용 매칭점을 결정할 수 있다.

즉, 제3 비활용 매칭점 결정부(343)는 도 6c에서 전술한 바와 같이, 전처리이미지 페어(PIP)의 제1 초기 매칭점(IMP_A)으로부터 제3 비활용 매칭점을 결정할 수 있는 반면, 제6 비활용 매칭점 결정부(346)는 도 6c에서 전술한 방식과 동일한 방식을 이용하여 크롭 이미지 페어(CIP)의 제2 초기 매칭점(IMP_B)으로부터 제6 비활용 매칭점을 결정할 수 있는 것이다.

이어서, 제2 후보 매칭점의 개수가 제2 기준 개수 이하인 경우, 연산부(347)는 제1 초기 매칭점(IMP_A) 및 제2 초기 매칭점(IMP_B)을 드랍(drop)할 수 있다.

이렇듯, 본 발명의 연산부(347)는, 초기 매칭점(제1 초기 매칭점, 제2 초기 매칭점)의 개수와 비활용 매칭점의 개수에 관한 소정 조건에 따라, 초기 매칭점에서 비활용 매칭점을 순차적으로 제외시킬 수 있고, 그에 따라 이미지 스티칭을 수행할 때의 연산량을 감소시킬 수 있는 현저한 효과를 갖는다.

다시 도 1 및 도 7을 참조하면, 이미지 스티칭 모듈(350b)은 복수의 이미지 간의 이미지 스티칭을 수행하여 스티칭 이미지(SI)를 생성할 수 있다.

몇몇 예로, 이미지 스티칭 모듈(350b)은 결정된 유효 매칭점(VMP)을 기초로 스티칭 이미지(SI)를 생성할 수 있다.

이때, 유효 매칭점(VMP)은 전술한 바와 같이 제1 유효 매칭점(제1 초기 매칭점(IMP_A)에서 제1 내지 제3 비활용 매칭점을 제외시킨 결과) 또는 제2 유효 매칭점(제2 초기 매칭점(IMP_B)에서 제4 내지 제6 비활용 매칭점을 제외시킨 결과)을 포함할 수 있다.

예를 들어, 이미지 스티칭 모듈(350b)은 제1 유효 매칭점을 기초로 전처리 이미지 페어(PIP)의 두 이미지 간의 이미지 스티칭을 수행하여 스티칭 이미지(SI)를 생성하거나 또는 제2 유효 매칭점을 기초로, 크롭 이미지 페어(PIP)의 두 이미지 간의 이미지 스티칭을 수행하여 스티칭 이미지(SI)를 생성할 수 있다.

이때, 이미지 스티칭 모듈(350b)은 결정된 유효 매칭점(VMP)과, 미리 정해진 이미지 스티칭 알고리즘 및/또는 이미지 스티칭 모델을 기초로 스티칭 이미지(SI)를 생성할 수 있다.

예컨대, 이미지 스티칭 모듈(350b)은 미리 정해진 이미지 스티칭 알고리즘 및/또는 이미지 스티칭 모델을 통해, 결정된 유효 매칭점(VMP)들의 이미지 내의 좌표, 상대 좌표 등을 서로 연결, 일치, 대응시키는 방식으로 스티칭 이미지(SI)를 생성할 수 있다.

다른 몇몇 예로, 이미지 스티칭 모듈(350b)은 드론의 위치정보를 기초로 스티칭 이미지(SI)를 생성할 수 있다.

예를 들어, 이미지 스티칭 모듈(350)은 전처리 이미지 페어(PIP) 및/또는 크롭 이미지 페어(CIP)의 각 이미지에 상응하는 드론의 위치정보 간의 차이 및 드론(200)이 포함하는 카메라의 사양 정보 등을 이용하여 전처리 이미지 페어(PIP) 및/또는 크롭 이미지 페어(CIP)의 두 이미지 간의 상대적 픽셀거리를 추정하는 방식으로 스티칭 이미지(SI)를 생성할 수 있다.

한편, 이미지 스티칭 모듈(350b)은 유효 매칭점 결정 모듈(340b)의 데이터 처리 결과에 기초하여 이미지 스티칭 방식을 결정할 수 있다.

예컨대, 유효 매칭점 결정 모듈(340b)이 유효 매칭점(VMP)을 결정한 경우, 이미지 스티칭 모듈(350b)은 전술한 바와 같이 결정된 유효 매칭점(VMP)과, 미리 정해진 이미지 스티칭 알고리즘 및/또는 이미지 스티칭 모델을 기초로 스티칭 이미지(SI)를 생성할 수 있다.

또는 이와 달리, 유효 매칭점 결정 모듈(340b)이 유효 매칭점(VMP)을 결정하지 않고, 제1 초기 매칭점(IMP_A) 및 제2 초기 매칭점(IMP_B)을 드랍(drop)한 경우, 이미지 스티칭 모듈(350b)은 전술한 바와 같이 드론의 위치정보를 기초로 스티칭 이미지(SI)를 생성할 수 있다.

도 9는 본 발명의 몇몇 실시예에 따른 풍력발전기 점검을 위한 이미지 스티칭 방법의 흐름도이다.

도 9의 풍력발전기 점검을 위한 이미지 스티칭 방법의 각 단계(S100 내지 S400)는 전술한 도 2의 이미지 스티칭 장치(300a)에 의해 수행될 수 있다. 이하 중복되는 내용은 제외하고 서술한다.

먼저, 풍력발전기에 대한 촬영 이미지를 전처리하여, 전처리 이미지 페어를 생성할 수 있다(S100).

몇몇 예로, 전처리 이미지 페어는 풍력발전기에 대한 촬영 이미지 및/또는 메타 데이터를 기초로 생성될 수 있다. 이때, 전처리 이미지 페어는 이미지 페어 선택 과정, 배경 영역 제거 과정 및 리사이즈 과정을 통해 생성될 수 있다. 자세한 설명은 생략한다.

이어서, 전처리 이미지 페어에서 초기 매칭점을 결정할 수 있다(S200).

몇몇 예로, 초기 매칭점은 미리 학습된 딥러닝 모듈을 이용하여 결정될 수 있다. 이때 딥러닝 모듈은 예컨대 LoFTR 모듈을 포함할 수 있으나, 이에 제한되는 것은 아니다. 자세한 설명은 생략한다.

이어서, 결정된 초기 매칭점 중에서 비활용 매칭점을 결정하고, 결정된 초기 매칭점에서 결정된 비활용 매칭점을 제외시켜 유효 매칭점을 결정할 수 있다(S300).

비활용 매칭점은 블레이드의 윤곽선을 기초로 결정되는 제1 비활용 매칭점, 전처리 이미지 페어에서 대응되는 초기 매칭점 간의 기울기에 기초하여 결정되는 제2 비활용 매칭점 및 전처리 이미지 페어에서 초기 매칭점 각각의 위치 변화 정도의 조합 값을 기초로 결정되는 제3 비활용 매칭점 등을 포함할 수 있으나, 비활용 매칭점의 예시가 이에 제한되는 것은 아니다.

몇몇 예로, 초기 매칭점 중에서, 블레이드의 윤곽선으로부터 소정 거리 이하에 존재하는 초기 매칭점을 제1 비활용 매칭점으로 결정할 수 있다.

다른 몇몇 예로, 전처리 이미지 페어의 각 이미지에 상응하는 드론의 위치 정보 간의 차이가 임계치 이상일 때, 전처리 이미지 페어에서 대응되는 초기 매칭점 간의 기울기의 절대값이 소정 값 이하인 초기 매칭점을 제2 비활용 매칭점으로 결정할 수 있다.

또 다른 몇몇 예로, 전처리 이미지 페어에서 복수의 초기 매칭점의 위치 변화 정도를 각각 계산하고, 계산된 각 초기 매칭점의 위치 변화 정도의 평균값에 기초하여 제3 비활용 매칭점을 결정할 수 있다.

자세한 설명은 생략한다.

이어서, 이미지 페어의 두 이미지 간의 이미지 스티칭을 수행할 수 있다(S400).

몇몇 예로, 결정된 유효 매칭점을 기초로 이미지 스티칭을 수행할 수 있다. 자세한 설명은 생략한다.

도 10은 본 발명의 다른 몇몇 실시예에 따른 풍력발전기 점검을 위한 이미지 스티칭 방법의 흐름도이다.

도 10의 풍력발전기 점검을 위한 이미지 스티칭 방법의 각 단계는 전술한 도 7의 이미지 스티칭 장치(300b)에 의해 수행될 수 있다. 이하 중복되는 내용은 제외하고 서술한다.

먼저, 풍력발전기에 대한 촬영 이미지를 전처리하여, 전처리 이미지 페어를 생성할 수 있다(S100). 단계(S100)에 대하여는 도 9에서 전술한 바, 여기서는 생략한다.

이어서, 전처리 이미지 페어에서 제1 초기 매칭점을 결정할 수 있다(S201). 이때 단계(S201)는 도 9의 단계(S200)와 동일한 단계를 의미할 수 있다. 자세한 설명은 생략한다.

이어서, 제1 비활용 매칭점을 결정할 수 있다(S301).

몇몇 예로, 제1 초기 매칭점 중에서, 블레이드의 윤곽선으로부터 소정 거리 이하에 존재하는 제1 초기 매칭점을 제1 비활용 매칭점으로 결정할 수 있다. 자세한 설명은 생략한다.

이어서, 제2 비활용 매칭점을 결정할 수 있다(S302).

몇몇 예로, 전처리 이미지 페어의 각 이미지에 상응하는 드론의 위치 정보 간의 차이가 임계치 이상일 때, 전처리 이미지 페어에서 대응되는 제1 초기 매칭점 간의 기울기의 절대값이 소정 값 이하인 제1 초기 매칭점을 제2 비활용 매칭점으로 결정할 수 있다. 자세한 설명은 생략한다.

이어서, 제1 후보 매칭점의 개수가 제1 기준 개수를 초과하는지 여부를 판단할 수 있다(S303). 제1 후보 매칭점은 제1 초기 매칭점에서 제1 및 제2 비활용 매칭점을 제외시킨 결과를 의미할 수 있다. 제1 기준 개수는 4개일 수 있으나, 실시예들이 이에 제한되지 않음은 당연하다.

이때, 제1 후보 매칭점의 개수가 제1 기준 개수를 초과하는 경우, 제3 비활용 매칭점을 결정할 수 있다(S304).

몇몇 예로, 전처리 이미지 페어에서 복수의 제1 초기 매칭점의 위치 변화 정도를 각각 계산하고, 계산된 각 제1 초기 매칭점의 위치 변화 정도의 평균값에 기초하여 제3 비활용 매칭점을 결정할 수 있다. 자세한 설명은 생략한다.

이어서, 제1 후보 매칭점에서 제3 비활용 매칭점을 제외한 결과를 유효 매칭점으로 결정할 수 있다(S305).

이어서, 유효 매칭점을 기초로 이미지 스티칭을 수행할 수 있다(S401).

반면, 제1 후보 매칭점의 개수가 제1 기준 개수 이하인 경우, 크롭 이미지 페어를 생성할 수 있다(S101).

몇몇 예로, 크롭 이미지 페어는, 선택된 이미지 페어의 각 이미지를 소정 개수의 쌍으로 크롭함으로써 생성될 수 있다. 이때 크롭 이미지 페어는 크롭 과정뿐 아니라, 이미지 페어 선택, 배경 영역 제거, 리사이즈 등의 전처리 과정이 수행된 결과일 수 있다.

이어서, 크롭 이미지 페어에서 제2 초기 매칭점을 결정할 수 있다(S202). 이때, 단계(S201)에서 전술한 방식과 유사한 방식을 이용할 수 있다. 즉, 단계(S201)의 경우 전처리 이미지 페어에서 초기 매칭점(제1 초기 매칭점)을 결정하는 과정이고, 단계(S202)의 경우 크롭 이미지 페어에서 초기 매칭점(제2 초기 매칭점)을 결정하는 과정이다.

이어서, 제4 비활용 매칭점을 결정할 수 있다(S306).

몇몇 예로, 제2 초기 매칭점 중에서, 블레이드의 윤곽선으로부터 소정 거리 이하에 존재하는 제2 초기 매칭점을 제4 비활용 매칭점으로 결정할 수 있다. 자세한 설명은 생략한다.

이어서, 제5 비활용 매칭점을 결정할 수 있다(S307).

몇몇 예로, 크롭 이미지 페어의 각 이미지에 상응하는 드론의 위치 정보 간의 차이가 임계치 이상일 때, 크롭 이미지 페어에서 대응되는 제2 초기 매칭점 간의 기울기의 절대값이 소정 값 이하인 제2 초기 매칭점을 제5 비활용 매칭점으로 결정할 수 있다. 자세한 설명은 생략한다.

이어서, 제2 후보 매칭점의 개수가 제2 기준 개수를 초과하는지 여부를 판단할 수 있다(S308). 제2 후보 매칭점은 제2 초기 매칭점에서 제4 및 제5 비활용 매칭점을 제외시킨 결과를 의미할 수 있다. 제2 기준 개수는 4개일 수 있으나, 이에 제한되지 않음은 당연하다. 제1 기준 개수와 제2 기준 개수는 동일할 수도 있고, 상이할 수도 있다.

이때, 제2 초기 매칭점의 개수가 제2 기준 개수를 초과하는 경우, 제6 비활용 매칭점을 결정할 수 있다(S309).

몇몇 예로, 크롭 이미지 페어에서 복수의 제2 초기 매칭점의 위치 변화 정도를 각각 계산하고, 계산된 각 제2 초기 매칭점의 위치 변화 정도의 평균값에 기초하여 제6 비활용 매칭점을 결정할 수 있다. 자세한 설명은 생략한다.

이어서, 제2 후보 매칭점에서 제6 비활용 매칭점을 제외시킨 결과를 유효 매칭점으로 결정할 수 있다(S310).

이어서, 유효 매칭점을 기초로 이미지 스티칭을 수행할 수 있다(S401).

반면, 제2 초기 매칭점의 개수가 제2 기준 개수 이하인 경우, 결정된 제1 초기 매칭점 및 제2 초기 매칭점을 드랍할 수 있다(S311).

이어서, 드론의 위치 정보를 기초로 이미지 스티칭을 수행할 수 있다(S402). 자세한 설명은 생략한다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

1. 드론에 의해 촬영된 풍력발전기에 대한 촬영 이미지에서, 상기 풍력발전기의 블레이드 주변의 배경 영역을 제거하여 전처리 이미지 페어를 생성하는 전처리 모듈;
   미리 학습된 딥러닝 모듈을 이용하여, 상기 전처리 이미지 페어에서 제1 초기 매칭점을 결정하는 초기 매칭점 결정 모듈;
   상기 결정된 제1 초기 매칭점 중에서 비활용 매칭점을 결정하고, 상기 결정된 제1 초기 매칭점에서 상기 결정된 비활용 매칭점을 제외시켜 유효 매칭점을 결정하는 유효 매칭점 결정 모듈; 및
   복수의 이미지 간의 이미지 스티칭을 수행하는 이미지 스티칭 모듈을 포함하되,
   상기 비활용 매칭점은,
   상기 전처리 이미지 페어에서의 상기 블레이드의 윤곽선을 기초로 결정되는 제1 비활용 매칭점, 상기 전처리 이미지 페어에서 대응되는 상기 제1 초기 매칭점 간의 기울기의 절대값에 기초하여 결정되는 제2 비활용 매칭점 및 상기 전처리 이미지 페어에서 상기 제1 초기 매칭점 각각의 위치 변화 정도의 조합 값을 기초로 결정되는 제3 비활용 매칭점 중 적어도 하나를 포함하고,
   상기 유효 매칭점 결정 모듈은, 상기 제1 초기 매칭점의 개수 및 제1 내지 제3 비활용 매칭점의 개수에 관한 소정 조건에 따라, 상기 제1 초기 매칭점에서 상기 제1 내지 제3 비활용 매칭점을 순차적으로 제외시켜 상기 유효 매칭점을 결정하는 연산부를 포함하고,
   상기 연산부는,
   상기 제1 초기 매칭점에서, 상기 제1 비활용 매칭점과 상기 제2 비활용 매칭점을 순차적으로 제외시켜 제1 후보 매칭점을 결정하고,
   상기 결정된 제1 후보 매칭점의 개수가 제1 기준 개수를 초과하는지에 관한 제1 기준 개수 초과 여부를 판단하고,
   상기 판단된 제1 기준 개수 초과 여부에 따라, 상기 제1 후보 매칭점과 상기 제3 비활용 매칭점에 기초하여 상기 유효 매칭점을 결정하거나 또는 상기 제1 후보 매칭점을 드랍(drop)하고 상기 제1 초기 매칭점과는 다른 제2 초기 매칭점을 결정하도록 상기 전처리 모듈과 상기 초기 매칭점 결정 모듈을 제어하는 풍력발전기 점검을 위한 이미지 스티칭 장치.
   
2. 제1 항에 있어서,
   상기 유효 매칭점 결정 모듈은,
   상기 제1 초기 매칭점 중에서, 상기 블레이드의 윤곽선으로부터 소정 거리 이하에 존재하는 제1 초기 매칭점을 상기 제1 비활용 매칭점으로 결정하는 제1 비활용 매칭점 결정부를 포함하는 풍력발전기 점검을 위한 이미지 스티칭 장치.
   
3. 제1 항에 있어서,
   상기 유효 매칭점 결정 모듈은,
   상기 전처리 이미지 페어의 각 이미지에 상응하는 드론의 위치 정보 간의 차이가 임계치 이상일 때, 상기 전처리 이미지 페어에서 대응되는 상기 제1 초기 매칭점 간의 기울기의 절대값이 소정 값 이하인 제1 초기 매칭점을 상기 제2 비활용 매칭점으로 결정하는 제2 비활용 매칭점 결정부를 포함하는 풍력발전기 점검을 위한 이미지 스티칭 장치.
   
4. 제1 항에 있어서,
   상기 유효 매칭점 결정 모듈은,
   상기 전처리 이미지 페어에서 복수의 상기 제1 초기 매칭점의 위치 변화 정도를 각각 계산하고, 상기 계산된 각 제1 초기 매칭점의 위치 변화 정도의 평균값에 기초하여 상기 제3 비활용 매칭점을 결정하는 제3 비활용 매칭점 결정부를 포함하는 풍력발전기 점검을 위한 이미지 스티칭 장치.
   
5. 삭제
6. 삭제
7. 제1 항에 있어서,
   상기 결정된 제1 후보 매칭점의 개수가 상기 제1 기준 개수를 초과하는 경우,
   상기 연산부는, 상기 제1 후보 매칭점에서 상기 제3 비활용 매칭점을 제외시킨 결과를 상기 유효 매칭점으로 결정하고,
   상기 이미지 스티칭 모듈은, 상기 결정된 유효 매칭점을 기초로 상기 전처리 이미지 페어의 두 이미지 간의 이미지 스티칭을 수행하는 풍력발전기 점검을 위한 이미지 스티칭 장치.
   
8. 제1 항에 있어서,
   상기 결정된 제1 후보 매칭점의 개수가 상기 제1 기준 개수 이하인 경우,
   상기 전처리 모듈은, 상기 촬영 이미지를 소정 기준에 따라 크롭(crop)하여 크롭 이미지 페어를 생성하고,
   상기 초기 매칭점 결정 모듈은, 상기 미리 학습된 딥러닝 모듈을 이용하여, 상기 크롭 이미지 페어에서 제2 초기 매칭점을 결정하고,
   상기 연산부는, 상기 결정된 제2 초기 매칭점을 기초로 상기 유효 매칭점을 결정하는 풍력발전기 점검을 위한 이미지 스티칭 장치.
   
9. 제8 항에 있어서,
   상기 연산부는,
   상기 제2 초기 매칭점에서, 제4 비활용 매칭점과 제5 비활용 매칭점을 순차적으로 제외시켜 제2 후보 매칭점을 결정하고,
   상기 결정된 제2 후보 매칭점의 개수가 제2 기준 개수를 초과하는지 여부를 판단하되,
   상기 제4 비활용 매칭점은, 상기 크롭 이미지 페어에서의 상기 블레이드의 윤곽선을 기초로 결정되고,
   상기 제5 비활용 매칭점은, 상기 크롭 이미지 페어에서 대응되는 상기 제2 초기 매칭점 간의 기울기의 절대값에 기초하여 결정되는 풍력발전기 점검을 위한 이미지 스티칭 장치.
   
10. 제9 항에 있어서,
    상기 결정된 제2 후보 매칭점의 개수가 상기 제2 기준 개수를 초과하는 경우,
    상기 연산부는, 상기 결정된 제2 후보 매칭점에서 제6 비활용 매칭점을 제외시킨 결과를 상기 유효 매칭점으로 결정하고,
    상기 이미지 스티칭 모듈은, 상기 결정된 유효 매칭점을 기초로 상기 크롭 이미지 페어의 두 이미지 간의 이미지 스티칭을 수행하되,
    상기 제6 비활용 매칭점은, 상기 크롭 이미지 페어에서 상기 제2 초기 매칭점 각각의 위치 변화 정도의 조합 값을 기초로 결정되는 풍력발전기 점검을 위한 이미지 스티칭 장치.

Images