KR20210143634A - 골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법 - Google Patents

Abstract

본 발명은 다중분광 이미지와 RGB 이미지를 판독하여 디봇 객체를 학습하고, 학습된 결과를 기초로 골프 코스를 촬영한 다중분광 이미지에서 디봇 객체를 탐지하는 골프 코스의 디봇 탐지 시스템에 관한 것으로서, 다중분광 카메라와 RGB 카메라를 탑재하고 골프 코스를 촬영하는 무인항공기 및 상기 무인항공기가 촬영한 다중분광 이미지의 1차 판독 결과와 RGB 이미지의 2차 판독 결과를 이용하여 디봇 객체를 학습하는 머신러닝 모듈, 상기 무인항공기가 촬영한 다중분광 이미지를 수신하는 통신 모듈, 상기 수신된 다중분광 이미지로부터 디봇 객체를 탐지하는 탐지 모듈 및 상기 탐지된 디봇 객체의 지도 좌표를 디스플레이하는 출력 모듈을 포함하는 코스 키퍼 서버를 포함할 수 있다.

Description

골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법{DIVOT DETECTING SYSTEM FOR MAINTAINING GOLF COURSE AND METHOD USING THE SAME}

본 발명은 골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법에 관한 것으로, 더욱 상세하게는 다중분광 이미지를 이용해 디봇 객체를 1차 판독하고 RGB 이미지를 이용해 2차 판독한 결과를 이용하여 높은 판독률로 디봇 객체를 학습하며, 학습된 결과를 기초로 골프 코스를 촬영한 다중분광 이미지에서 디봇 객체를 탐지하는 골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법에 관한 것이다.

일반적으로 드론은 무선통신을 통해 기 설정된 경로를 따라 비행하거나 사람이 직접 육안으로 조정하면서 비행하는 비행기나 헬리콥터 모양의 비행체로서, 처음에는 공군기나 고사포, 미사일의 연습사격에 적기 대신 표적 구실로 사용되었으며, 점차 무선 기술의 발달과 함께 정찰기로 개발되어 적의 내륙 깊숙이 침투하여 정찰, 감시의 용도로도 사용되었다.

이러한 드론은 최근 들어 수송목적에도 활용되는 등 활용 범위가 점차 넓어지고 있고, 활용 목적에 따라 다양한 크기와 성능을 가진 제품이 다양하게 개발되고 있으며, 초소형 드론은 물론 개인의 취미활동으로도 개발되어 상품화되고 있다.

한편, 골프장의 티그라운드(teeing ground), 페어웨이(fairway), 퍼팅그린(putting green)에는 골퍼가 그린 위에 올려놓은 공을 칠 때 골프채의 헤드에 맞아 그린과 토양이 패인 자국 또는 골퍼가 친 공이 그린 위에 떨어질 때 생기는 홈을 디봇(divot)이라 한다.

디봇 자국은 게임 중에 골퍼의 불만족을 초래하는 원인이 되기 때문에 가능한 빠르게 보수 작업을 완료해야한다. 실제로, 디봇 자국이 많은 페어웨이에서는 골퍼의 드라이버 샷이 디봇 자국에 들어가는 일이 자주 발생하여 골퍼의 기준을 상하게 하고, 이런 이유는 골프장의 이용객을 감소시키는 주된 요인이 된다.

한편, 머신 러닝 또는 기계 학습은 컴퓨터 과학 중 인공지능의 한 분야로, 패턴인식과 컴퓨터 학습 이론의 연구로부터 진화한 분야이다. 머신 러닝은 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취한다.

종래에는 골프장의 디봇을 빠르게 확인하고 보수하기 위해 골프장을 RGB 센서로 촬영하고 RGB 이미지를 이용하여 디봇을 판단하는 방식을 주로 이용하였다. 그러나 RGB 이미지는 해상도가 높아 육안으로도 디봇의 판별 가능한 장점이 있지만, 시각적으로 구분이 힘든 구역에서는 디봇을 탐지할 수 있는 정확도가 낮아진다는 문제가 있다. 특히, 실제 디봇이 발생한 경우에도 해당 디봇의 규모가 작거나 그늘진 경우 사람이 육안으로 RGB 이미지를 통해서 디봇을 탐지하거나 또는 RGB 이미지에서 객체탐지 알고리즘을 이용하더라도 디봇을 탐지할 수 없는 단점이 있다.

따라서, 본 발명은 상술한 문제점을 해결하기 위해 도출된 것으로서, 본 발명은 다중분광 이미지를 이용해 디봇 객체를 1차 판독하고 RGB 이미지를 이용해 2차 판독한 결과를 이용하여 높은 판독률로 디봇 객체를 학습하며, 학습된 결과를 기초로 골프 코스를 촬영한 다중분광 이미지에서 디봇 객체를 높은 정확도로 탐지하는 골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적들은 이하에 서술되는 실시예를 통하여 더욱 명확해질 것이다.

본 발명의 일 측면에 따른 골프 코스의 디봇 탐지 시스템은 다중분광 카메라와 RGB 카메라를 탑재하고 골프 코스를 촬영하는 무인항공기; 및 상기 무인항공기가 촬영한 다중분광 이미지의 1차 판독 결과와 RGB 이미지의 2차 판독 결과를 이용하여 디봇 객체를 학습하는 머신러닝 모듈, 상기 무인항공기가 촬영한 다중분광 이미지를 수신하는 통신 모듈, 상기 수신된 다중분광 이미지로부터 디봇 객체를 탐지하는 탐지 모듈 및 상기 탐지된 디봇 객체의 지도 좌표를 디스플레이하는 출력 모듈을 포함하는 코스 키퍼 서버를 포함할 수 있다.

상기 머신러닝 모듈은, 골프 코스의 다중분광 이미지에서 미리 정의된 색상, 크기 및 형상 중 적어도 하나 이상 매칭되는 객체들을 분리하는 이미지 처리 모듈;

상기 분리된 객체들 중 3가지 기준 모두를 만족하는 객체를 디봇으로 1차 판독하여 머신러닝 DB에 저장하고, 상기 분리된 객체들 중 2개 이하의 기준이 매칭되는 객체들을 상기 RGB 이미지 상에 표시하여 상기 통신 모듈을 통해 상기 RGB 이미지를 전문가 시스템으로 전송하며, 상기 전문가 시스템에서 디봇 또는 유사 디봇으로 2차 판독된(annotated) 객체를 상기 머신러닝 DB에 저장하는 판독 모듈을 포함할 수 있다.

상기 유사 디봇은, 야생동물이 파헤쳐 토양이 드러난 구역, 산사태로 유실된 구역, 부분적으로 잔디가 사멸한 구역 중 어느 하나일 수 있다.

상기 판독 모듈은, 색상, 크기 및 형상 중 2개 이하가 매칭되는 객체들 중 디봇이 아닌 것으로 미리 분석된 이미지와 매칭되는 것은 상기 RGB 이미지 상에 표시하지 않을 수 있다. 예를 들면, 상기 디봇이 아닌 것으로 분석된 이미지는, 배수구, 낙엽, 수리지, 벙커 중 어느 하나일 수 있다.

본 발명의 다른 측면에 따른 골프 코스의 디봇 탐지 방법은 골프 코스 관리를 위한 코스 키퍼 서버의 디봇 탐지 방법에 있어서, 머신러닝 모듈이 골프코스를 촬영한 다중분광 이미지의 1차 판독 결과와 RGB 이미지의 2차 판독 결과를 이용하여 디봇 객체를 학습하는 단계; 통신 모듈이 골프코스를 촬영한 다중분광 이미지를 수신하는 단계; 탐지 모듈이 상기 수신된 다중분광 이미지로부터 디봇 객체를 탐지하는 단계; 및 출력 모듈이 상기 탐지된 디봇 객체의 지도 좌표를 출력하는 단계를 포함할 수 있다.

상기 디봇 객체 학습 단계는, 이미지 처리 모듈이 골프 코스의 다중분광 이미지에서 미리 정의된 색상, 크기 및 형상 중 적어도 하나 이상 매칭되는 객체들을 분리하는 단계; 판독 모듈이 상기 분리된 객체들 중 3가지 모두를 만족하는 객체를 디봇으로 정의하여 머신러닝 DB에 저장하는 1차 판독 단계; 상기 판독 모듈이 상기 분리된 객체들 중 2개 이하가 매칭되는 객체들을 상기 RGB 이미지 상에 표시하고, 상기 통신 모듈을 통해 상기 RGB 이미지를 전문가 시스템으로 전송하는 단계; 및 상기 전문가 시스템에서 디봇 또는 유사 디봇으로 추가 판명(annotated)된 객체를 상기 판독 모듈에 통지하면, 상기 판독 모듈은 상기 추가 판명된 객체를 상기 머신러닝 DB에 저장하는 2차 판독 단계를 포함할 수 있다.

상기 유사 디봇은, 야생동물이 파헤쳐 토양이 드러난 구역, 산사태로 유실된 구역, 부분적으로 잔디가 사멸한 구역 중 어느 하나일 수 있다.

상기 판독 모듈은, 색상, 크기 및 형상 중 2개 이하가 매칭되는 객체들 중 디봇이 아닌 것으로 미리 분석된 이미지와 매칭되는 것은 상기 RGB 이미지 상에 표시하지 않을 수 있다. 예를 들면, 상기 디봇이 아닌 것으로 분석된 이미지는, 배수구, 낙엽, 수리지, 벙커 중 어느 하나일 수 있다.

본 발명에 따른 골프 코스의 디봇 탐지 시스템은 다음과 같은 효과를 제공한다.

본 발명은 다중분광 이미지를 이용해 디봇 객체를 1차 판독하고 RGB 이미지를 이용해 2차 판독한 결과를 이용하여 높은 판독률로 디봇 객체를 학습할 수 있는 효과가 있다.

또한, 본 발명은 높은 판독률로 학습된 결과를 기초로 골프 코스를 촬영한 다중분광 이미지에서 디봇 객체를 탐지하기 때문에 디봇 객체 탐지의 정확성을 높일 수 있는 효과가 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 골프 코스의 디봇 탐지 시스템을 예시한 개략도.
도 2는 도 1에 예시된 무인한공기 및 코스 키퍼 서버의 구성을 예시한 블록도.
도 3은 도 2에 예시된 머신러닝 모듈의 구성을 예시한 블록도.
도 4는 다중분광 카메라로 촬영된 골프 코스의 다중분광 이미지.
도 5는 RGB 카메라로 촬영된 골프 코스의 RGB 이미지.
도 6은 본 발명의 제2 실시예에 따른 골프 코스의 디봇 탐지 시스템을 예시한 흐름도.
도 7은 CNN의 동작 원리를 도시한 개념도.
도 8은 RNN의 동작 알고리즘을 설명하는 개념도.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 명세서에서 기재한 모듈(MODULE)이란 용어는 특정한 기능이나 동작을 처리하는 하나의 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합을 의미할 수 있다.

또한 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하, 첨부한 도면들을 참조하여 본 발명에 따른 실시예들을 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

[제1 실시예]

이하 본 발명의 제1 실시예에 따른 골프 코스의 디봇 탐지 시스템에 대하여 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 제1 실시예에 따른 골프 코스의 디봇 탐지 시스템을 예시한 개략도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 골프 코스의 디봇 탐지 시스템은 무인항공기(100)가 식생구역(10)을 항공촬영하여 다중분광 이미지 및 RGB 이미지를 획득하고, 다중분광 이미지 및 RGB 이미지를 코스 키퍼 서버(200)로 전송한다.

코스 키퍼 서버(200)는 무인항공기(100)로부터 전송받은 다중분광 이미지를 미리 정해진 기준으로 1차 판독하고, 세부 판독이 필요한 경우 다중분광 이미지에 대응하는 RGB 이미지를 이용해 2차 판독하여 디봇 객체를 학습할 수 있다.

그리고 코스 키퍼 서버(200)는 디봇을 탐지하기 위한 식생 구역(10)의 다중분광 이미지를 무인항공기(100)로부터 전송받으면, 기 학습된 디봇 객체의 학습 모델링을 기초로 전송받은 다중분광 이미지에서 디봇 객체를 탐지하여 해당 디봇 객체에 대한 지도 좌표를 관리자에게 제공할 수 있다.

본 실시예에서 식생 구역(10)은 관리 식물이 다수 분포하는 구역으로서 골프장의 골프 코스, 정원 및 공원 등과 같은 곳일 수 있으며, 이하에서 설명의 편의를 위해 식생 구역(10)을 골프 코스로 정의하여 설명하기로 한다.

본 실시예에서 설명하는 디봇(divot)은 골프 코스 내에서 골프공을 칠 때 골프채에 의해 뜯기거나 한 잔디 조각을 의미할 수 있다.

도 2는 도 1에 예시된 무인한공기 및 코스 키퍼 서버(200)의 구성을 예시한 블록도이다.

도 2를 참조하면 본 발명의 일 실시예에 따른 골프 코스의 디봇 탐지 시스템은 무인항공기(100) 및 코스 키퍼 서버(200)를 포함한다.

무인항공기(100)는 골프 코스를 항공 촬영하기 위한 것으로서, 무인비행체 또는 드론을 포함할 수 있다. 또한, 무인항공기(100)는 명칭과 달리 유인 비행체, 위성, 열기구 및 cctv 중 어느 하나를 포함할 수도 있다. 즉, 무인항공기(100)는 골프 코스를 일정 높이에서 촬영할 수 있다면 어떠한 장치로 대체되어도 무방하다.

무인항공기(100)는 다중분광 카메라(110) 및 RGB 카메라(120)를 포함한다.

다중분광 카메라(110)는 다중분광(Multi-spectral) 센서를 이용해 골프 코스를 촬영하여 다중분광 이미지를 획득한다. 다중분광 카메라(110)에 의해 촬영된 다중분광 이미지는 다양한 파장 내에서 이미지 데이터를 추출하는 것으로, 사람의 눈으로 볼 수 없는 것을 볼 수 있도록 하며, 이로 인해 토양, 수분 등 식생 환경 현황을 파악하는데 주로 활용될 수 있다.

다중분광 이미지는 가시영역과 중적외선 영역 내에서 일반적으로 10개 이하의 불연속적인 밴드에서 이미지를 얻으며, 데이터에 저장된 역이 분리된 형태이기 때문에 각 픽셀에 해당하는 독립된 데이터를 생성한다.

다중분광 카메라(110)는 분광대마다 추출할 수 있는 이미지가 다르며, 예를 들면, 파란색 영역(450~510nm)에서는 대기나 50m의 깊은 물을 강조하고, 초록 영역(530~590nm)에서는 나무들과 같은 초목(vegetation)을 강조하며, 빨간 영역(640~670)에서는 나무와의 경계를 구분 짓는 데 사용될 수 있다.

위와 같은 이유로 다중분광 카메라(110)에 의해 획득된 다중분광 이미지는 RGB 이미지에서 찾을 수 없는 디봇 객체를 용이하게 찾을 수 있다. 예를 들면, 다중분광 이미지는 다양한 파장 내에서 이미지 데이터를 추출하기 때문에 색상차가 RGB 이미지에 비해 더욱 명확하고, 이에 따라 디봇의 크기가 작거나 그늘진 곳을 촬영한 RGB 이미지에서는 탐지하지 못하는 디봇 객체를 다중분광 이미지에서는 탐지하는 것이 가능하다. 또한, 다중분광 이미지는 디봇 객체가 아니더라도 식생지수가 불량한(예를 들어 병든 잔디 또는 죽은 잔디) 지점을 탐지하는 것이 가능하여 보수에 용이할 수 있다.

본 실시예에서 다중분광 카메라(110)는 다중분광 센서 대신 초분광 센서(Hyperspectral Sensor)를 이용해 초분광 이미지를 획득할 수 있다. 초분광 영상 데이터는 가시영역, 근적외선, 중적외선, 그리고 열적외선 영역에 걸쳐 일반적으로 100개 이상의 연속적인 밴드에서 이미지를 얻고, 각 픽셀로부터 전체 스펙트럼이 추출한다. 초분광센서(Hyperspectral Sensor)는 입사되는 빛을 분광시켜 영상의 각 화소에 해당하는 지표상 물체의 연속적이고 좁은 파장역으로 수십에서 수백 개의 분광 정보를 취득한다. 초분광센서를 이용한 다중분광 카메라(110)는 물질마다 존재하는 고유의 광학적 성질 및 물질의 흡수와 반사 특징을 촬영하고 이에 대한 데이터는 토지피복, 식생, 그리고 수질 등의 식별에 주로 이용될 수 있다.

RGB 카메라(120)는 RGB(Red Green Blue) 센서를 통해 RGB 영상 데이터를 획득한다. RGB 방식은 빨간색, 녹색, 파란색을 섞어 영상이나 이미지를 표현하는 방식이다. RGB 카메라(120)에 의해 촬영된 RGB 이미지는 해상도가 높고 육안으로 확인하기 용이한 특징이 있다.

코스 키퍼 서버(200)는 무인항공기(100) 촬영한 다중분광 이미지 및 RGB 이미지를 판독한 결과를 이용하여 디봇 객체를 학습하고, 기 학습된 모델링을 기초로 무인항공기(100)에서 촬영된 다중분광 이미지에서 디봇 객체를 탐지하며, 탐지된 디봇 객체의 지도 좌표를 관리자에게 디스플레이하여 제공한다.

코스 키퍼 서버(200)는 머신러닝 모듈(210), 통신 모듈(220), 탐지 모듈(230) 및 출력 모듈(240)을 포함한다.

머신러닝 모듈(210)은 통신 모듈(220)을 통해 무인항공기(100)에서 촬영한 다중분광 이미지 및 RGB 이미지를 제공받고, 다중분광 이미지를 미리 정해진 기준과 매칭시켜 디봇 객체를 1차 판독하고, 세부 판독이 필요한 경우 다중분광 이미지에 대응하는 RGB 이미지를 이용해 2차 판독하여 디봇 객체를 학습할 수 있다.

이하 도 3을 통해 머신러닝 모듈(210)이 디봇 객체를 학습하는 방식을 설명하기로 한다.

도 3은 도 2에 예시된 머신러닝 모듈(210)의 구성을 예시한 블록도이다.

도 2 및 도 3을 참조하면, 머신러닝 모듈(210)은 이미지 처리 모듈(211) 및 판독 모듈(212)을 포함한다.

이미지 처리 모듈(211)은 무인항공기(100)가 촬영한 골프 코스의 다중분광 이미지에서 미리 정의된 3 가지의 기준 즉, 색상, 크기, 형상 중 적어도 하나 이상 매칭되는 객체들을 디봇 의심 객체로 분리한다.

예컨대, 이미지 처리 모듈(211)은 미리 정의된 기준을 단일 값이 아닌 범위로 설정할 수 있다.

예를 들면, 이미지 처리 모듈(211)은 다중분광 이미지에서 황토색 계열 540~550nm의 분광대에 대응하는 객체를 디봇 의심 객체로 분리할 수 있다. 그리고 이미지 처리 모듈(211)은 다중분광 이미지에서 100mm~300mm에 해당하는 객체를 디봇 의심 객체로 분리할 수 있다. 뿐만 아니라, 이미지 처리 모듈(211)은 다중분광 이미지에서 특이 객체에 대한 장지름과 단지름의 비율 1:0.5~0.7에 해당하는 객체를 디봇 의심 객체로 분리할 수 있다. 여기서 장지름의 방향은 콜프 코스의 진행 방향에 대응하는 방향일 수 있다.

본 실시예에서 이미지 처리 모듈(211)에서 디봇 의심 객체를 분리하기 위한 미리 정의된 기준은 3가지로 정의하여 설명하였지만, 4가지 이상으로 정의되어도 무방하다.

판독 모듈(212)은 이미지 처리 모듈(211)에서 분리된 디봇 의심 객체들 중 3가지 기준 모두에 매칭되는 객체(도 4 참조)를 디봇으로 1차 판독하여 머신러닝 DB에 저장한다.

그리고 판독 모듈(212)은 이미지 처리 모듈(211)에서 분리된 디봇 의심 객체들 중 2가지 이하의 기준에 매칭되는 객체들을 세부 판독이 필요하다고 판단하며, 해당 객체들을 RGB 이미지 상에 표시하고(도 5참조), 그 RGB 이미지를 통신 모듈(220)을 통해 전문가 시스템으로 전송한다.

전문가 시스템으로 전송된 RGB 이미지 중 2가지 이하의 기준에 매칭되어 디봇 의심 객체로 표시된 객체들은 별도의 알고리즘 또는 전문가에 의해 디봇 또는 유사 디봇으로 주기(annotation)되는 방식으로 2차 판독될 수 있다. 여기서 유사 디봇이라 함은 야생동물이 파헤쳐 토양이 드러나거나, 산사태로 유실되거나 또는 부분적으로 잔디가 사멸한 곳 등이 될 수 있다.

판독 모듈(212)은 이와 같은 방식으로 다중분광 이미지에서 디봇으로 1차 판독된 디봇 객체와, RGB 이미지에서 전문가 시스템에 의해 디봇 또는 유사 디봇으로 2차 판독된 객체를 학습 모델링으로 생성하여 머신러닝 DB에 저장한다.

예컨대, RGB 이미지에서 전문가 시스템에 의해 디봇 또는 유사 디봇으로 2차 판독된 객체는 판독 모듈(212)이 다중분광 이미지에서 디봇으로 1차 판독할 때 기초데이터로 활용됨으로써 1차 판독에서의 정확도를 높일 수 있다.

판독 모듈(212)에 의해 머신러닝 DB에 저장된 학습 모델링은 추후에 무인항공기(100)가 다중분광 카메라(110)로 골프 코스를 촬영하면, 촬영된 다중분광 이미지에서 디봇 객체를 탐지하는데 사용될 수 있다.

한편, 판독 모듈(212)은 미리 정의된 3 가지의 기준(색상, 크기, 형상) 중 2개 이하가 매칭되어 전문가 시스템으로 전송된 후 디봇이 아닌 것으로 분석된 객체는 그 조건에 대응하는 학습 모델링을 생성하여 머신러닝 DB에 저장할 수 있다. 여기서 판독 모듈(212)에 의해 디봇이 아닌 것으로 분석된 객체는 배수구, 낙엽, 수리지, 벙커 중 어느 하나일 수 있다.

그리고 판독 모듈(212)은 이미지 처리 모듈(211)에 의해 다중분광 이미지에서 분리된 디봇 의심 객체들 중 2가지 이하의 기준에 매칭되는 객체들을 RGB 이미지 상에 표시하는 과정에서, 미리 정의된 3 가지의 기준(색상, 크기, 형상) 중 2개 이하가 매칭되는 객체를 디봇이 아닌 것으로 미리 분석된 이미지와 비교하고, 디봇이 아닌 것으로 미리 분석된 이미지와 매칭되는 객체는 RGB 이미지 상에 표시하지 않을 수 있다.

따라서, 판독 모듈(212)은 디봇 객체로 의심되어 이미지 처리 모듈(211)에서 분리되었으나, 배수구, 낙엽, 수리지, 벙커와 같은 객체는 디봇이 아닌 것으로 판단되어 RGB 이미지에 표시하지 않음으로써 전문가 시스템에서 2차 판독하는데 발생하는 처리 시간을 줄일 수 있는 이점이 있다.

다시 도 2로 돌아와서, 코스 키퍼 서버(200)의 통신 모듈(220)은 무인항공기(100) 및 전문가 시스템과 통신할 수 있다.

예컨대, 통신 모듈(220)은 무인항공기(100)와 통신하여 무인항공기(100)로부터 다중분광 이미지 및 RGB 이미지를 전송받거나, RGB 이미지를 전문가 시스템으로 전송할 수 있다.

본 실시예에서, 통신 모듈(220)은 2G, 3G, 4G, 5G와 같은 이동 통신 프로토콜이나, Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등의 이동통신 프로토콜을 통해 무인항공기(100) 및 전문가 시스템과 통신할 수 있으며, 어느 하나로 한정하지 않는다.

탐지 모듈(230)은 무인항공기(100)로부터 디봇을 탐지하기 위해 다중분광 카메라(110)로 골프 코스를 촬영한 다중분광 이미지를 전송받는다. 그리고 탐지 모듈(230)은 기 학습된 모델링 기반으로 수신받은 다중분광 이미지로부터 디봇 객체를 탐지할 수 있다.

탐지 모듈(230)은 다중분광 이미지로부터 디봇 객체를 탐지할 때 CNN(Convolution Neural Network) 또는 RNN(Recurrent Neural Network)과 같은 영상분석 알고리즘을 이용할 수 있다.

이하에서는 도 7 및 도 8을 이용해 탐지 모듈(230)에서 디봇을 탐지하기 위해 사용되는 CNN 또는 RNN을 설명하기로 한다.

도 7은 CNN의 동작 원리를 도시한 개념도이다.

도 7을 참조하면, CNN(Convolution Neural Network)은 입력된 영상 데이터로부터 합성곱 연산을 통해 특징을 추출하고, 추출된 특징을 통해 영상 데이터에 포함된 객체를 탐지하는 네트워크로서, 객체의 특징 정보를 추출하는 특징 추출 계층(feature extraction layers)과, 추출된 특징정보를 이용하여 객체를 분류하는 전체 연결 계층(fully connected layers)으로 구성된다. 다시 말해 CNN은 영상 데이터에 포함된 특정 객체의 크기나 위치 등의 기하학적 정보를 도출(localization)하고 상기 특정 객체를 분류(classification)하는 객체 탐지(object detection) 기술 중 하나로 정의될 수 있다.

특징 추출 계층은 복수 개의 컨볼루션 계층으로 구성되며, 어느 일 단계의 컨볼루션 계층은 입력 데이터(영상 데이터, 특징 맵)와 필터의 역할을 담당하는 합성 커널의 합성곱 연산을 통해 새로운 특징 맵(feature map)을 생성하고, 생성된 특징 맵을 다음 단계의 컨볼루션 계층에 입력한다. 각 컨볼루션 계층은 학습에 따라 값이 변하는 파라미터인 가중치, 바이어스로 구성되며 색상, 형태, 윤곽선 등과 같이 객체 탐지에 유용한 정보를 추출하도록 학습 과정에서 합성 커널의 값이 자동으로 조정된다.

전체 연결 계층은 특징 추출 계층에서 추출된 다차원 특징 맵을 1차원으로 변환하는 편평화 계층(flatten layer)과 멀티 계층 퍼셉트론(multi-layer perceptron, MLP)으로 구성된다. 1차원으로 변환된 특징 맵을 학습 알고리즘인 MLP에 입력함으로써 영상 데이터의 파라미터를 조정한다.

탐지 모듈(230)은 다중분광 이미지에 대하여 CNN의 특징 추출 계층을 수행하되, 센서 융합이 적용된 편평화 계층을 멀티 계층 퍼셉트론에 입력하는 방식으로 전체 연결 계층을 수행함으로써 영상의 특징(feature)에 대한 신뢰성을 재평가한 후, 신뢰성이 높은 특징으로 객체를 최종 탐지한다.

도 8은 RNN의 동작 알고리즘을 설명하는 개념도이다.

도 8을 참조하면, RNN(Recurrent Neural Network)은 순차적으로 입력되는 시계열 데이터를 분석함으로써 객체의 상황 즉, 객체의 상황을 판단한다.

RNN은 은닉층(Hidden layer)에서 자기 자신으로의 W(Recurrent weight)를 가진 기본 구조이다. 그리고 RNN은 unit 사이의 연결이 Directed Cycle을 형성하여 자신을 가리키는 Recuurent Weight를 포함하는 신경망 알고리즘이다.

RNN은 MLP와 순환 엣지(W)가 결합된 형태로서, 시계열 데이터를 입력 받을 때 순환 엣지를 통해 과거의 출력값을 함께 입력 받는다. 따라서, t 시점에서의 RNN의 출력값은 이전 t-1 시점의 출력값에 영향을 받는다는 점에서 과거 값을 기억하는 '메모리(memory)'정보를 포함하는 피드백 구조의 네트워크라 정의할 수 있다.

다시 도 2로 돌아와서, 코스 키퍼 서버(200)의 출력 모듈(240)은 탐지 모듈(230)에서 탐지된 디봇 객체에 대한 지도 좌표를 디스플레이한다. 예컨대, 출력 모듈(240)은 이동 단말, 데스크탑, 태블릿 PC에 지도 좌표를 제공할 수 있다.

또한, 관리자가 디봇 객체가 발생된 위치를 직관적으로 알 수 있도록 RGB 이미지에 별도의 마크 및 지도좌표를 표시하여 제공할 수 있다.

[제2 실시예]

이하 본 발명의 제2 실시예에 따른 골프 코스의 디봇 탐지 방법에 대하여 도면을 참조하여 상세히 설명한다.

도 6은 본 발명의 제2 실시예에 따른 골프 코스의 디봇 탐지 시스템을 예시한 흐름도이다.

도 6을 참조하면, 본 발명의 일 실시예에 따른 골프 코스의 디봇 탐지 방법은 골프 코스 관리를 위한 코스 키퍼 서버에 의해 수행되는 디봇 탐지 방법으로서, 디봇 객체를 학습하는 단계(S100), 다중분광 이미지를 수신하는 단계(S200), 디봇 객체를 탐지 하는 단계(S300) 및 디봇 객체의 지도 좌표를 출력하는 단계(S400)를 포함한다.

디봇 객체를 학습하는 단계(S100)는 머신러닝 모듈이 골프코스를 촬영한 다중분광 이미지의 1차 판독 결과와 RGB 이미지의 2차 판독 결과를 이용하여 디봇 객체를 학습하는 단계(S100)이다.

디봇 객체를 학습하는 단계(S100)에서 머신러닝 모듈은 통신 모듈을 통해 무인항공기에서 촬영한 다중분광 이미지 및 RGB 이미지를 제공받고, 다중분광 이미지를 미리 정해진 기준과 매칭시켜 디봇 객체를 1차 판독하고, 세부 판독이 필요한 경우 해당 다중분광 이미지에 대응하는 RGB 이미지를 이용해 2차 판독하여 디봇 객체를 학습할 수 있다.

디봇 객체를 학습하는 단계(S100)는 객체들을 분리하는 단계(S110), 머신러닝 DB에 저장하는 1차 판독 단계(S120), 전문가 시스템으로 전송하는 단계(S130) 및 머신러닝 DB에 저장하는 2차 판독 단계(S140)를 포함할 수 있다.

객체들을 분리하는 단계(S110)는 이미지 처리 모듈이 골프 코스의 다중분광 이미지에서 미리 정의된 색상, 크기 및 형상 중 적어도 하나 이상 매칭되는 객체들을 분리하는 단계(S110)이다.

예컨대, 이미지 처리 모듈은 무인항공기가 촬영한 골프 코스의 다중분광 이미지에서 미리 정의된 3 가지의 기준 즉, 색상, 크기, 형상 중 적어도 하나 이상 매칭되는 객체들을 디봇 의심 객체로 분리한다. 여기서, 이미지 처리 모듈은 미리 정의된 기준을 단일값으로 설정하지 않고 범위로 설정할 수 있다.

예를 들면, 이미지 처리 모듈은 다중분광 이미지에서 황토색 계열 540~550nm의 분광대에 대응하는 객체를 디봇 의심 객체로 분리할 수 있다. 그리고 이미지 처리 모듈은 다중분광 이미지에서 100mm~300mm에 해당하는 객체를 디봇 의심 객체로 분리할 수 있다. 뿐만 아니라, 이미지 처리 모듈은 다중분광 이미지에서 장지름과 단지름의 비율 1:0.5~0.7에 해당하는 객체를 디봇 의심 객체로 분리할 수 있다.

본 실시예에서 이미지 처리 모듈에서 디봇 의심 객체를 분리하기 위한 미리 정의된 기준은 3가지로 정의하여 설명하였지만, 4가지 이상으로 정의되어도 무방하다.

머신러닝 DB에 저장하는 1차 판독 단계(S120)는 판독 모듈이 분리된 객체들 중 3가지 기준 모두를 만족하는 객체를 디봇으로 정의하여 머신러닝 DB에 저장한다.

전문가 시스템으로 전송하는 단계(S130)는 판독 모듈이 이미지 처리 모듈에서 분리된 디봇 의심 객체들 중 2가지 이하의 기준에 매칭되는 객체들을 세부 판독이 필요하다고 판단하여 해당 객체들을 RGB 이미지 상에 표시하고, 그 RGB 이미지를 통신 모듈을 통해 전문가 시스템으로 전송한다.

전문가 시스템으로 전송된 RGB 이미지 중 2가지 이하의 기준에 매칭되어 디봇 의심 객체로 표시된 객체들은 별도의 알고리즘 또는 전문가에 의해 디봇 또는 유사 디봇으로 주기(annotation)되는 방식으로 2차 판독될 수 있다. 여기서 유사 디봇이라 함은 야생동물이 파헤쳐 토양이 드러나거나, 산사태로 유실되거나 또는 부분적으로 잔디가 사멸한 곳 등이 될 수 있다.

머신러닝 DB에 저장하는 2차 판독 단계(S140)는 전문가 시스템에서 디봇 또는 유사 디봇으로 추가 판명(annotated)된 객체를 상기 판독 모듈에 통지하면, 판독 모듈이 추가 판명된 객체를 학습 모델링으로 생성하여 머신러닝 DB에 저장한다.

예컨대, RGB 이미지에서 전문가 시스템에 의해 디봇 또는 유사 디봇으로 2차 판독된 객체는 판독 모듈이 다중분광 이미지에서 디봇으로 1차 판독할 때 기초데이터로 활용됨으로써 1차 판독에서의 정확도를 높일 수 있다.

판독 모듈에 의해 머신러닝 DB에 저장된 학습 모델링은 추후에 무인항공기가 다중분광 카메라로 골프 코스를 촬영하면, 촬영된 다중분광 이미지에서 디봇 객체를 탐지하는데 사용될 수 있다.

한편, 판독 모듈은 미리 정의된 3 가지의 기준(색상, 크기, 형상) 중 2개 이하가 매칭되어 전문가 시스템으로 전송된 후 전문가 시스템에 의해 디봇이 아닌 것으로 분석된 객체는 그 조건에 대응하는 학습 모델링을 생성하여 머신러닝 DB에 저장할 수 있다. 여기서 판독 모듈에 의해 디봇이 아닌 것으로 분석된 객체는 배수구, 낙엽, 수리지, 벙커 중 어느 하나일 수 있다.

그리고 판독 모듈은 이미지 처리 모듈에 의해 다중분광 이미지에서 분리된 디봇 의심 객체들 중 2가지 이하의 기준에 매칭되는 객체들을 RGB 이미지 상에 표시하는 과정에서, 미리 정의된 3 가지의 기준(색상, 크기, 형상) 중 2개 이하가 매칭되는 객체를 디봇이 아닌 것으로 미리 분석된 이미지와 비교하고, 디봇이 아닌 것으로 미리 분석된 이미지와 매칭되는 객체는 RGB 이미지 상에 표시하지 않을 수 있다.

따라서, 판독 모듈은 디봇 객체로 의심되어 이미지 처리 모듈에서 분리되었으나, 배수구, 낙엽, 수리지, 벙커와 같은 객체는 RGB 이미지에 표시하지 않음으로써 전문가 시스템에서 2차 판독하는데 발생하는 처리 시간을 줄일 수 있는 이점이 있다.

다중분광 이미지를 수신하는 단계(S200)는 탐지 모듈이 기 학습된 모델링 기반으로 골프 코스를 촬영한 다중분광 이미지에서 디봇을 탐지할 수 있도록 무인항공기로부터 골프 코스를 촬영한 다중분광 이미지를 전송받는 단계이다.

다중분광 이미지를 수신하는 단계(S200)에서 무인항공기로부터 다중분광 이미지를 수신받으면, 디봇 객체를 탐지 하는 단계(S300)가 수행된다.

디봇 객체를 탐지 하는 단계(S300)는 무인항공기로부터 수신받은 다중분광 이미지에서 디봇 객체를 탐지한다. 디봇 객체를 탐지 하는 단계(S300)에서 탐지 모듈은 기 학습된 모델링 기반으로 수신받은 다중분광 이미지로부터 디봇 객체를 탐지할 수 있다.

탐지 모듈은 다중분광 이미지로부터 디봇 객체를 탐지할 때 CNN(Convolution Neural Network) 또는 RNN(Recurrent Neural Network) 과 같은 영상분석 알고리즘을 이용할 수 있다. CNN(Convolution Neural Network) 또는 RNN(Recurrent Neural Network)에 대한 내용은 제1 실시예를 통해 설명하였으므로 중복된 설명을 생략한다.

디봇 객체의 지도 좌표를 출력하는 단계(S400)는 출력 모듈이 탐지 모듈에서 탐지된 디봇 객체의 지도 좌표를 디스플레이한다. 예컨대, 출력 모듈은 이동 단말, 데스크탑, 태블릿 PC에 지도 좌표를 제공할 수 있다.

또한, 관리자가 디봇 객체가 발생된 위치를 직관적으로 알 수 있도록 RGB 이미지에 별도의 마크 및 지도좌표를 표시하여 제공할 수 있다.

이상에서 설명한 본 발명의 전체 또는 부분적 기능들은 일련의 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 기계어로 번역한 소프트웨어로 구현되거나, 그러한 소프트웨어가 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수 있음을 당업자가 쉽게 이해할 수 있을 것이다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 외에도, 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.

또한 이상에서는 본 발명에 관한 몇 가지 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10: 식생구역
100: 무인항공기
110: 다중분광 카메라
120: RGB 카메라
200: 코스 키퍼 서버
210: 머신러닝 모듈
220: 통신 모듈
230: 탐지 모듈
240: 출력 모듈

Claims (10)

1. 다중분광 카메라와 RGB 카메라를 탑재하고 골프 코스를 촬영하는 무인항공기; 및
   상기 무인항공기가 촬영한 다중분광 이미지의 1차 판독 결과와 RGB 이미지의 2차 판독 결과를 이용하여 디봇 객체를 학습하는 머신러닝 모듈, 상기 무인항공기가 촬영한 다중분광 이미지를 수신하는 통신 모듈, 상기 수신된 다중분광 이미지로부터 디봇 객체를 탐지하는 탐지 모듈 및 상기 탐지된 디봇 객체의 지도 좌표를 디스플레이하는 출력 모듈을 포함하는 코스 키퍼 서버
   를 포함하는 골프 코스의 디봇 탐지 시스템.
2. 제1항에 있어서,
   상기 머신러닝 모듈은,
   골프 코스의 다중분광 이미지에서 미리 정의된 색상, 크기 및 형상 중 적어도 하나 이상 매칭되는 객체들을 분리하는 이미지 처리 모듈;
   상기 분리된 객체들 중 3가지 기준 모두를 만족하는 객체를 디봇으로 1차 판독하여 머신러닝 DB에 저장하고,
   상기 분리된 객체들 중 2개 이하의 기준이 매칭되는 객체들을 상기 RGB 이미지 상에 표시하여 상기 통신 모듈을 통해 상기 RGB 이미지를 전문가 시스템으로 전송하며,
   상기 전문가 시스템에서 디봇 또는 유사 디봇으로 2차 판독된(annotated) 객체를 상기 머신러닝 DB에 저장하는 판독 모듈
   을 포함하는 골프 코스의 디봇 탐지 시스템.
3. 제2항에 있어서,
   상기 유사 디봇은, 야생동물이 파헤쳐 토양이 드러난 구역, 산사태로 유실된 구역, 부분적으로 잔디가 사멸한 구역 중 어느 하나인 것을 특징으로 하는 골프 코스의 디봇 탐지 시스템.
4. 제2항에 있어서,
   상기 판독 모듈은,
   색상, 크기 및 형상 중 2개 이하가 매칭되는 객체들 중 디봇이 아닌 것으로 미리 분석된 이미지와 매칭되는 것은 상기 RGB 이미지 상에 표시하지 않는 것을 특징으로 하는 골프 코스의 디봇 탐지 시스템.
5. 제4항에 있어서,
   상기 디봇이 아닌 것으로 분석된 이미지는,
   배수구, 낙엽, 수리지, 벙커 중 어느 하나인 것을 특징으로 하는 골프 코스의 디봇 탐지 시스템.
6. 골프 코스 관리를 위한 코스 키퍼 서버의 디봇 탐지 방법에 있어서,
   머신러닝 모듈이 골프코스를 촬영한 다중분광 이미지의 1차 판독 결과와 RGB 이미지의 2차 판독 결과를 이용하여 디봇 객체를 학습하는 단계;
   통신 모듈이 골프코스를 촬영한 다중분광 이미지를 수신하는 단계;
   탐지 모듈이 상기 수신된 다중분광 이미지로부터 디봇 객체를 탐지하는 단계; 및
   출력 모듈이 상기 탐지된 디봇 객체의 지도 좌표를 출력하는 단계
   를 포함하는 골프 코스의 디봇 탐지 방법.
7. 제6항에 있어서,
   상기 디봇 객체 학습 단계는,
   이미지 처리 모듈이 골프 코스의 다중분광 이미지에서 미리 정의된 색상, 크기 및 형상 중 적어도 하나 이상 매칭되는 객체들을 분리하는 단계;
   판독 모듈이 상기 분리된 객체들 중 3가지 모두를 만족하는 객체를 디봇으로 정의하여 머신러닝 DB에 저장하는 1차 판독 단계;
   상기 판독 모듈이 상기 분리된 객체들 중 2개 이하가 매칭되는 객체들을 상기 RGB 이미지 상에 표시하고, 상기 통신 모듈을 통해 상기 RGB 이미지를 전문가 시스템으로 전송하는 단계; 및
   상기 전문가 시스템에서 디봇 또는 유사 디봇으로 추가 판명(annotated)된 객체를 상기 판독 모듈에 통지하면, 상기 판독 모듈은 상기 추가 판명된 객체를 상기 머신러닝 DB에 저장하는 2차 판독 단계
   를 포함하는 골프 코스의 디봇 탐지 방법.
8. 제7항에 있어서,
   상기 유사 디봇은, 야생동물이 파헤쳐 토양이 드러난 구역, 산사태로 유실된 구역, 부분적으로 잔디가 사멸한 구역 중 어느 하나인 것을 특징으로 하는 골프 코스의 디봇 탐지 방법.
9. 제7항에 있어서,
   상기 판독 모듈은,
   색상, 크기 및 형상 중 2개 이하가 매칭되는 객체들 중 디봇이 아닌 것으로 미리 분석된 이미지와 매칭되는 것은 상기 RGB 이미지 상에 표시하지 않는 것을 특징으로 하는 골프 코스의 디봇 탐지 방법.
10. 제9항에 있어서,
    상기 디봇이 아닌 것으로 분석된 이미지는,
    배수구, 낙엽, 수리지, 벙커 중 어느 하나인 것을 특징으로 하는 골프 코스의 디봇 탐지 방법.

Images