KR102482573B1 - 딥러닝을 이용한 이미지 배경제거 및 수피 기반 수종 탐지 시스템 및 이를 이용한 수종 탐지 방법 - Google Patents

Abstract

본 발명은 딥러닝을 활용하여 나무 수피 이미지의 배경을 제거하고, 동시에 수종을 분류하는 기술에 대한 것으로, 딥러닝을 적용하여 수피를 포함하는 원본 수종 이미지의 배경제거를 자동화하고, 동시에 배경이 제거된 수피 이미지들을 적용하여 신뢰도 높은 수종탐지를 수행할 수 있도록 한다.

Description

딥러닝을 이용한 이미지 배경제거 및 수피 기반 수종 탐지 시스템 및 이를 이용한 수종 탐지 방법{System and Method for tree species detection through tree bark Image background removal using deep learning}

본 발명은 딥러닝을 활용하여 나무 수피 이미지의 배경을 제거하고, 동시에 수종을 분류하는 기술에 대한 것이다.

식생조사는 녹지 및 산림 생태계에 분포하고 있는 식물군락의 체계화나 종 조성 식물사회학적 구조 등의 특성을 밝히기 위해 필수적으로 선행되어야 하는 항목이다. 식생조사는 주로 직접 관찰을 우선으로 하며, 현지에서 야장을 작성하거나 사진촬영, 녹음 등을 통한 기록을 충실히 수행하여야 한다.

식생조사시 획득한 정보를 기입하는 종이를 일반적으로 야장(혹은 조사표)이라고 한다. 이때 사용되는 종이 야장은 몇 가지 문제점을 가지고 있다. 식생평가를 위해서는 현장에서 수기로 기록된 야장을 직접 컴퓨터에 입력하는 과정을 거쳐야 한다. 이 과정에서 복귀 후 별도의 정보 이동 입력 시간이 추가로 소요되며, 입력과정에서 발생할 수 있는 입력오류, 입력 지체에 따른 야장 망실 및 훼손 우려, 입력 후 종이 야장 정보와 컴퓨터 입력 정보의 대조 시간 등이 발생한다.

특히, 도시 내에 존재하는 도시 규모의 식생 또는 수종(樹種)에 대한 데이터를 확보할 수 있는 방법은 조사인력을 투입하여 대상 수종에 대한 도시내 위치와 종류를 관측하는 것이 주를 이루고 있으며, 이에 정확한 도시 내 존재하는 수종의 파악은 많은 시간과 비용을 소모하게 하는 문제를 가지고 있다.

최근 도시의 녹화 공간을 파악하는 기술은 항공사진을 통해 분석하는 기술이 도입되어, 식생의 분포를 파악하는 기술이 공개(한국 등록특허 제10-1150510호)되어 있으나, 이 경우에도 정확한 수종의 파악과 분류는 구현할 수 없다. 특히 녹화지대의 3차원 구조의 식생구조를 파악하는 정도에 그치고 있으며, 기본 자료 확보를 위해 운영하는 항공기의 운용비용이 매우 고가이며, 항공경로를 수정이 어려워 재촬영이 어려우며, 필요시마다 촬영이 어려운 문제로 실용성이 매우 떨어지게 되는 단점이 있다. 나아가, 항공촬영의 경우, 수종의 상부 부분만을 촬영하게 되는 바, 정확한 수종을 파악하는데 한계가 있다. 이에, 보다 정확한 수종의 파악과 분포를 신속하게 구현할 수 있는 기술의 필요성이 커지고 있다.

이에, 본 출원인은 한국등록특허 제10-2308456호에서는, 차량에 라이다 센서를 장착하여, 수종을 탐지하는 기법을 제안하여, 딥러닝모델을 적용하여 자동적으로 수종을 결정하는 방법을 제안한바 있다.

그러나, 나무의 수종의 정확도를 판별하는 기법과 관련하여, 이미지로 부터 딥러닝을 통해 식물을 분류하는 기술은, 확보하는 이미지에 포함되는 나무 외의 배경에 대한 정보가 혼재하여, 정확한 배경 제거 기술이 필요하며, 동일 수종간의 이질성이나 다른 수종 간 동질성에 기인하는 나무의 외형(이를테면, 수피(樹皮, tree bark))의 유사성은 수종의 분류를 어렵게 하는 요인으로 작용하여 왔다.

한국등록특허 제10-2308456호 한국등록특허 제10-1150510호

본 발명은 상술한 문제를 해결하기 위하여 안출된 것으로, 본 발명의 목적은 딥러닝을 적용하여 수피를 포함하는 원본 수종 이미지의 배경제거를 자동화하고, 동시에 배경이 제거된 수피 이미지들을 적용하여 신뢰도 높은 수종탐지를 수행할 수 있도록 하는 수종탐지 기술을 제공하는 데 있다.

상술한 과제를 해결하기 위한 수단으로서, 본 발명의 실시예에서는, 도 1 및 도 2에 도시된 것과 같이, 다수의 단말에서 수집되는 수피를 포함하는 원본 이미지를 형성하여 제공하는 이미지 제공 모듈(100); 상기 이미지 제공 모듈(100)에서 제공되는 상기 원본 이미지를 전송받아 이미지 분할 처리 및 변환을 수행하여 학습데이터를 형성하고, 상기 학습데이터를 바탕으로 딥러닝을 수행하여 상기 원본 이미지에서 수피 이외의 배경 이미지를 제거한 제1결과값을 도출하는 이미지 분류 모듈(200); 상기 제1결과값을 적용하여 제2딥러닝을 수행하여 수종판별을 수행하는 제2결과값을 도출하는 수종판별모듈(300);을 포함하는, 딥러닝을 이용한 이미지 배경제거 및 수피 기반 수종 탐지 시스템을 제공할 수 있도록 한다.

또한, 본 발명의 다른 실시예에서는, 상술한 딥러닝을 이용한 이미지 배경제거 및 수피 기반 수종 탐지 시스템을 적용하여, 다수의 단말에서 수집된 수피를 포함하는 원본 이미지를 형성하여 이미지 분류 모듈(200)에 제공하는 1단계; 상기 이미지 분류모듈(200)에서, 상기 원본 이미지를 전송받아 이미지 분할 처리 및 변환을 수행하여 학습데이터를 형성하는 2단계; 상기 이미지 분류모듈(200)에서, 상기 학습데이터를 바탕으로 딥러닝을 수행하여 상기 원본 이미지에서 수피 이외의 배경 이미지를 제거한 제1결과값을 도출하는 3단계; 상기 제1결과값을 적용하여 제2딥러닝을 수행하여 수종판별을 수행하는 제2결과값을 도출하는 4단계;딥러닝을 이용한 수종 탐지 방법을 제공할 수 있도록 한다.

본 발명의 실시예에 따르면, 딥러닝을 적용하여 수피를 포함하는 원본 수종 이미지의 배경제거를 자동화하고, 동시에 배경이 제거된 수피 이미지들을 적용하여 신뢰도 높은 수종탐지를 수행할 수 있도록 하는 효과가 있다.

본 발명은, 기존의 수종 분류 작업의 어려움 및 판별 시스템의 부정확성을 혁신적으로 개선할 수 있으며, 다양한 환경에서 제공되는 수피 이미지(시민데이터, 웹사이트 공용 이미지 등)를 이용하여 수종의 탐지가 가능하며, 이를 통해 도시의 나무 수종 분포지도의 작성과 나무 수피를 통한 식물의 병리현상 분석을 통해 도시 규모의 수목의 간강성 지도 작성을 구현할 수 있다.

도 1은 본 발명의 실시예에 따른 딥러닝을 이용한 이미지 배경제거 및 수피 기반 수종 탐지 시스템(이하, '본 발명'이라 한다.)의 시스템 구성 블록도이다.
도 2는 도 1의 시스템을 적용하여 수종을 탐지하는 방법을 도시한 순서도이다.
도 3 내지 도 8는 도 1 및 도 2의 구성을 설명하기 위한 개념도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 발명의 실시예에 따른 딥러닝을 이용한 이미지 배경제거 및 수피 기반 수종 탐지 시스템(이하, '본 발명'이라 한다.)의 시스템 구성 블록도이다. 도 2는 도 1의 시스템을 적용하여 수종을 탐지하는 방법을 도시한 순서도이다. 도 3 내지 도 8는 도 1 및 도 2의 구성을 설명하기 위한 개념도이다.

도 1 내지 도 2를 참조하면, 본 발명은 다수의 단말에서 수집되는 수피를 포함하는 원본 이미지를 형성하여 제공하는 이미지 제공 모듈(100)과, 상기 이미지 제공 모듈(100)에서 제공되는 상기 원본 이미지를 전송받아 이미지 분할 처리 및 변환을 수행하여 학습데이터를 형성하고, 상기 학습데이터를 바탕으로 딥러닝을 수행하여 상기 원본 이미지에서 수피 이외의 배경 이미지를 제거한 제1결과값을 도출하는 이미지 분류 모듈(200), 상기 제1결과값을 적용하여 제2딥러닝을 수행하여 수종판별을 수행하는 제2결과값을 도출하는 수종판별모듈(300)을 포함하여 구성될 수 있다. 이상의 구성을 통해 본 발명에서는, 딥러닝 모델이 오로지 나무의 수피 부분에만 집중하여 학습할 수 있도록 하고, 배경이 제거된 수피 이미지를 통해 적은 데이터만으로도 나무 수종을 높은 정확도로 추론하는 딥러닝 모델을 제공할 수 있도록 한다.

이하, 본 발명에서의“~모듈”, “~부”, "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

상기 이미지 제공 모듈(100)은, 사진 촬영과 통신이 가능한 휴대용 디바이스 단말을 가진 기기에서 촬영된 수목의 표피 이미지를 포함하는 원본 이미지를 제공하는 모듈을 통칭하는 것으로, 이는, 도 1에 되시된 것과 같이, 시민과학으로 통칭되는 불특정 다수의 사용자 단말(제1단말:110)이 제공하는 이미지를 전송받아 저장하는 모듈이거나, 전문 촬영장비에서 촬영되어, 이를 전송받아 저장하는 모듈일 수 있다. 또는, 웹 환경을 구현하는 디바이스(제3단말:130)에서 제공되는 이미지를 전송받아 저장하는 모듈을 포함할 수 있다.

상기 이미지 분류 모듈(200)은, 상기 이미지 제공 모듈(100)에서 제공되는 상기 원본 이미지를 전송받아 이미지 분할 처리 및 변환을 수행하여 학습데이터를 형성하고, 상기 학습데이터를 바탕으로 딥러닝을 수행하여 상기 원본 이미지에서 수피 이외의 배경 이미지를 제거한 제1결과값을 도출하는 기능을 수행한다.

구체적으로, 상기 이미지 분류 모듈(200)은, 이상의 기능을 수행하기 위해, 상기 이미지 제공모듈(100)에서 제공되는 원본 이미지를 전송받아 저장 분류하는 이미지 취득부(210)와, 상기 원본 이미지의 상부영역과 상기 상부영역과 교차영역을 구비하는 하부영역을 분할하여 분할이미지를 형성하는 이미지 분할부(220), 상기 분할이미지에 대한 색조 변환 및 사이즈 변환을 수행하는 이미지 변환부(230), 상기 이미지 변환부(230)에서 제공되는 분할이미지에 대하여, 수피부분과 배경부분을 라벨링한 데이터를 형성하고, 라벨링한 데이터를 바탕으로 배경제거에 대한 학습을 수행하는 제1딥러닝 모델부(240), 상기 제1딥러닝 모델부(240)에서 수행된 학습결과 도출되는 배경 제거 분할이미지를 제1결과값으로 저장하는 제1결과값 저장부(250)를 포함하여 구성될 수 있다.

상기 수종 판별 모듈(300)은, 상기 제1결과값 저장부(250)에서 제공되는 배경이 제거된 수피만을 포함하는 이미지인 제1결과값을 학습데이터로, 제1결과값에 대응되는 수종을 판별하여 학습하는 제2딥러닝을 수행하는 제2딥러닝 모델부(320), 상기 제2딥러닝 모델부(220)의 학습 결과값을 저장하는 제2결과값 저장부(330), 상기 제2결과값을 기초로, 새로운 수피를 포함하는 수종 이미지에 대한 판별을 수행하는 수종판별부(340)를 포함하여 구성될 수 있다.

이상의 구성을 기반으로 하는 본 발명을 적용하여 수종을 탐지하는 방법의 경우, 다수의 단말에서 수집된 수피를 포함하는 원본 이미지를 형성하여 이미지 분류 모듈(200)에 제공하는 1단계와, 상기 이미지 분류모듈(200)에서, 상기 원본 이미지를 전송받아 이미지 분할 처리 및 변환을 수행하여 학습데이터를 형성하는 2단계, 상기 이미지 분류모듈(200)에서, 상기 학습데이터를 바탕으로 딥러닝을 수행하여 상기 원본 이미지에서 수피 이외의 배경 이미지를 제거한 제1결과값을 도출하는 3단계, 상기 제1결과값을 적용하여 제2딥러닝을 수행하여 수종판별을 수행하는 제2결과값을 도출하는 4단계를 포함하여 구성될 수 있다.

상술한 과정에서, 상기 2단계 및 3단계는, 상기 원본 이미지의 상부영역과 상기 상부영역과 교차영역을 구비하는 하부영역을 분할하여 분할이미지를 형성하는 2-1단계와, 상기 2-1단계의 상기 분할이미지에 대한 색조 변환 및 사이즈 변환을 수행하는 2-2단계, 분할이미지에 대하여, 수피부분과 배경부분을 라벨링한 데이터를 형성하고, 라벨링한 데이터를 바탕으로 배경제거에 대한 학습을 수행하는 2-3단계, 상기 2-3에서 수행된 학습결과 도출되는 배경 제거 분할이미지를 제1결과값으로 저장하는 2-4단계를 포함하는 방식으로 구현할 수 있다. 이러한 이미지의 분할은, 원본 이미지를 전처리하여 학습데이터를 최대화하기 위함이며, 딥러닝에 적용할 이미지의 색조 및 크기를 최적화할 수 있도록 하기 위함이다.

아울러, 상술한 4단계의 경우, 상기 2-4단계에서 제공되는 배경이 제거된 수피만을 포함하는 이미지인 제1결과값을 학습데이터로, 제1결과값에 대응되는 수종을 판별하여 학습하는 제2딥러닝을 수행하는 4-1단계와 상기 4-1단계의 2결과값을 기초로, 새로운 수피를 포함하는 수종 이미지에 대한 판별을 수행하는 4-2단계를 포함하여 구성할 수 있다. 이는, 수피 이미지 만으로 구성된 학습데이터를 이용하여, 학습의 혁신적인 속도와 신뢰도를 확보할 수 있게 하는 장점을 구현할 수 있다.

상술한 본 발명의 구성을 적용하여 수종을 탐지하는 방법의 적용예를 도 3 내지 도 8을 통하여 설명하기로 한다.

{실시예}

(1) 이미지 데이터의 취득

도 3에 도시된 것은, 도 1 및 도 2에서 상술한 본 발명의 이미지 제공 모듈(100)과, 이미지 분류 모듈(200)의 기능을 설명하기 위한 개념도를 도시한 것이다.

우선, 본 발명의 이미지 제공모듈(100)에서는, 외부 단말이나 서버에서 제공되는 수목의 표피(이하, '수피'라 한다.) 부분을 포함하는 이미지(원본 이미지:OP)를 형성하게 되며, 이러한 원본 이미지의 경우, 직접 카메라 모듈을 통해 촬영한 이미지를 이용하거나, 불특정 다수의 단말기를 이용하여 제공되거나, 외부 서버에 저장된 이미지를 활용하는 것도 가능하다. 상기 이미지 제공 모듈(100)에서 제공되는 원본 이미지(X)를 상기 이미지 분류 모듈(200)의 이미지 취득부(210)에서 전송받아 분류한다.

(2) 이미지 데이터의 분할 및 변환

상기 이미지 취득부(210)에서 취득한 원본 이미지(OP)에 대하여, 상기 이미지 분류 모듈(200)의 이미지 분할부(220)에서는, 원본 이미지에 포함되는 수피영역을 분할하고, 확대하여, 추후 학습데이터로 사용할 데이터를 극대화할 수 있도록 한다.

본 발명의 일예에서는, 도 3에 도시된 예시와 같이, 한국 중부지방 도심에서 흔히 볼 수 있는 주요 수종 20종에 대하여 본 연구자는 약 5천 여장의 나무 수피 사진(원본 이미지:OP)을 취득하여 적용할 수 있도록 하였다. 이 경우, 휴대용 단말(예를 들면, 스마트폰, 테블릿 등)으로 촬영된 이미지는 세로가 길게 촬영되는 경우가 많은바, 원본 이미지를 윗부분(상부영역:①)과 아랫부분(하부영역:②)으로 분할하여 학습 데이터 숫자를 최대한 확보할 수 있도로 한다.

나아가, 분할된 이미지에 대하여, 본 발명의 이미지 변환부(230)에서는, 딥러닝에 투입되는 이미지 사이즈의 경우, 나무 수피의 텍스처 정보가 온전히 담아질 수 있도록 512 x 512라는 비교적 큰 이미지 사이즈가 선택하거나 확대하여 사용될 수 있도록 하였다. 나아가, 본 발명의 바람직한 일예로 사용하는 딥러닝기법(U-Net) 학습에 투입되는 이미지는 회색조 이미지이기 때문에 모든 이미지는 회색조로 변경하여 데이터 세트를 형성하였다.

(4) 제1딥러닝 모델 적용

이후, 본 발명에서는, 제1딥러닝 모델부(240)을 통해, 준비된 데이터 세트를 이용하여 딥러닝을 수행할 수 있도록 하였다.

본 발명의 바람직한 실시예에서는, 제1딥러닝 모델부(240)에서 적용하는 딥러닝 모델은 U-Net을 적용하여 학습을 진행하였다. 본 발명의 실시예에서는, U-Net 학습을 위하여 이중, 2천 여장의 이미지를 사용하였다. U-Net 이미지 분할 딥러닝 모델의 학습을 위해 5천여장 원본 이미지 중 2천여 장의 이미지가 사용되었으며, 약 6:2:2의 비율로 딥러닝의 학습/검증/테스트 이미지로 활용하였다.

딥러닝 학습은 Train (모델 학습), Validation (모델의 뛰어난 학습을 도와주기 위한 학습 도중의 검증), Test (학습된 모델을 테스트) 세 단계로 이루어지며, 1,200장은 Train, 400장은 Validation, 400장은 Test에 활용되었다.

또한, 학습을 위해서는 이미지와 함께 정답 이미지를 도 3의 5)~6)에 도시한 것과 같이 구현하였다. 구체적으로, 정답 이미지에는 원본 이미지, 그리고 이미지의 배경 부분이 라벨링된 이미지가 필요하게 된다. 도3 의 5)에 도시된 것과 같이 라벨링을 위해서 APEER라는 오픈소스 툴을 활용하여, 라벨링을 수행할 수 있도록 하였다. 이는, 도 3의 6)의 이미지에서 "1" 번으로 라벨링된 부분은 나무 수피부분, "0" 번으로 라벨링된 부분은 이미지 배경 부분을 나타낸다. 본 발명의 딥러닝 네트워크는 이 라벨링을 이용하여 학습을 진행할 수 있도록 하였다.

도 4 및 도 5는, 이러한 U-Net을 적용하여 딥러닝을 수행한 결과를 도시한 것이다.

도 4에 도시된 것과 같이, 학습이 진행되는 과정과 검증의 정확도를 도시한 그래프의 결과를 통해 확인되듯, 점차 성능이 향상되는 것을 확인할 수 있다. U-Net 학습은 총 50회에 걸쳐 진행되었다. 바로 도 4에 도시된 이미지를 보면 50회에 걸쳐 Train 정확도, Validation 정확도가 빠르게 향상되는 것을 볼 수 있다.

학습된 U-Net 딥러닝 모델을 사용하여 다양한 수피 사진의 배경을 제거한 결과값은 도 5에 도시된 것과 같다. 즉, 도 5에 도시된 것은, 학습된 U-Net 모델을 활용하여 완전히 새로운 이미지(New Image)들을 테스트한 것이다. 도 5의 우측에 나타난 추론 결과를 보면, 이미지의 배경을 거의 완벽히 제거하고 오로지 나무의 수피 부분만 남겨진 것을 확인할 수 있다.

이후, 본 발명은 제2딥러닝 모델(Xception 적용)에서는, 도 5의 우측 이미지들(제1결과값)을 학습데이터로 활용하게 된다. 이를 통해, 제2딥러닝 모델(Xception 모델)은 오로지 수피 부분만을 딥러닝 모델 학습에 활용하게 된다.

(5) 제2딥러닝 모델 적용

제1딥러닝 모델의 결과값으로 수피 부분만 남겨진 이미지를 학습데이터로 하여, 본 발명의 수종판별모듈(300)에서는, 수종을 판별하는 학습을 수행하게 된다.

본 발명의 실시예에서는, 제2딥러닝 모델로서 Xception 모델을 적용하였으며, 이를 통해 이미지 분류 딥러닝 모델을 학습하기 위해, 도 5에서 상술한 제1결과값을 수집하여, 1만장의 이미지를 사용하였다. 이 역시 6:2:2 비율로 딥러닝의 학습/검증/테스트 이미지로 활용되었다. (즉, 수집된 주요 수종 20종의 수피 원본 사진 약 2천 여장에 대하여 제1딥러닝 모델부에서 학습된 U-Net 모델을 적용하였다. 즉, 해당 이미지들에 대하여 모두 이미지의 배경이 자동으로 제거된 상태이다. 이러한 이미지들을 Train에 6/10, Validation에 2/10, Test에 2/10 비율로 나누어 이들을 Xception 딥러닝 모델 학습에 투입하였다. U-Net과는 조금 다르게, 약 100여 회 학습을 수행하였다.)

제1딥러닝을 수행하여, U-Net을 활용한 이미지 배경 제거가 선행되었기 때문에 제2딥러닝의 Xception의 학습이 처음 목표였던 100 회보다 더욱 빨리 완료되었다 (57회에 종료). 또한 57회라는 짧은 학습만으로도, 거의 100프로 에 가까운 정확도를 보여주어, 이미지의 배경을 제거하고 오로지 나무 수피 부분에만 집중하도 록 하는 것이 긍정적인 효과를 주었다는 것을 알 수 있다(도 7 참조).

도 8은, 학습된 Xception 모델로 완전히 새로운 이미지를 분류한 것이다. 도 8에서의 붉은색 막대그래프는 Xception 모델이 이미지를 분류한 결과 (나무 수종 번호)를 보여주며, 모든 이미지에서 완벽한 정확도를 보이는 것을 확인할 수 있다.

수피를 이용하여 나무 수종을 분류하는 작업은 매우 까다로운 영역으로 여겨졌다. 대표적인 이유는 첫째, 데이터 수집의 어려움, 둘째, 이미지 배경 제거의 어려움, 셋째, 동일 수종간의 이질성이나 다른 수종간의 동질성에 기인하는 수종 분류 자체의 어려움 등이다. 본 발명은 U-Net 모델의 학습을 통해 이미지 배경 제거를 자동화하였으며, 배경이 제거된 수피 이미지들만으로 매우 향상된 성능의 Xception 딥러닝 분류 모델을 구축하였다.

본 발명은 이는 딥러닝 분야뿐만 아니라 생태조경 분야에서 시민들의 데이터를 활용하여 도시에 어떤 수종들이 어디에 식재되어 있는지 분석하는데 적용될 수 있다. 이를테면, 본 발명은 도시에서 촬영된 시민데이터를 분류하여 도시의 나무 수종 분포지도를 작성하는데 사용될 수 있다. 또한, 딥러닝 모델의 데이터가 추가적으로 구축된다면, 나무 수피를 통한 식물 병리현상 분석 딥러닝 모델도 고안할 수 있으며, 이를 통해 도시 규모의 나무 건강성 지도 작성을 구현할 수도 있다.

본 발명에 따른, 상술한 수목 정보 탐지 방법을 실행하는 시스템에 적용되는 기능 구성 및 수행동작은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다.

본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, 파이썬(Python), C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.

이상에서와 같이 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 바람직한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아니다. 이처럼 이 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 본 발명의 실시예의 결합을 통해 다양한 실시예들이 가능함을 이해할 수 있을 것이다.

100: 이미지 제공 모듈
110, 120, 130: 제1단말, 제2단말, 제3단말
200: 이미지 분류 모듈
210: 이미지 취득부
220: 이미지 분할부
230: 이미지 변환부
240: 제1딥러닝 모델부
300: 수종 판별 모듈
310: 데이터 입력부
320: 제2딥러닝 모델부
330: 제2결과값 저장부
340: 수종 판별부

Claims (8)

1. 다수의 단말에서 수집되는 수피를 포함하는 원본 이미지를 형성하여 제공하는 이미지 제공 모듈(100); 상기 이미지 제공 모듈(100)에서 제공되는 상기 원본 이미지를 전송받아 이미지 분할 처리 및 변환을 수행하여 학습데이터를 형성하고, 상기 학습데이터를 바탕으로 딥러닝을 수행하여 상기 원본 이미지에서 수피 이외의 배경 이미지를 제거한 제1결과값을 도출하는 이미지 분류 모듈(200); 상기 제1결과값을 적용하여 제2딥러닝을 수행하여 수종판별을 수행하는 제2결과값을 도출하는 수종판별모듈(300);을 포함하며,
   상기 이미지 분류 모듈(200)은, 상기 이미지 제공모듈(100)에서 제공되는 원본 이미지를 전송받아 저장 분류하는 이미지 취득부(210); 상기 원본 이미지의 상부영역과 상기 상부영역과 교차영역을 구비하는 하부영역을 분할하여 분할이미지를 형성하는 이미지 분할부(220); 상기 분할이미지에 대한 색조 변환 및 사이즈 변환을 수행하는 이미지 변환부(230); 상기 이미지 변환부(230)에서 제공되는 분할이미지에 대하여, 수피부분과 배경부분을 라벨링한 데이터를 형성하고, 라벨링한 데이터를 바탕으로 배경제거에 대한 학습을 수행하는 제1딥러닝 모델부(240); 상기 딥러닝 모델부(240)에서 수행된 학습결과 도출되는 배경 제거 분할이미지를 제1결과값으로 저장하는 제1결과값 저장부(250);를 포함하며,
   상기 수종 판별 모듈(300)은, 상기 제1결과값 저장부(250)에서 제공되는 배경이 제거된 수피만을 포함하는 이미지인 제1결과값을 학습데이터로, 제1결과값에 대응되는 수종을 판별하여 학습하는 제2딥러닝을 수행하는 제2딥러닝 모델부(320); 상기 제2딥러닝 모델부(220)의 학습 결과값을 저장하는 제2결과값 저장부(330); 상기 제2결과값을 기초로, 새로운 수피를 포함하는 수종 이미지에 대한 판별을 수행하는 수종판별부(340);를 포함하며,
   상기 제1딥러닝 모델부(240)에서 적용하는 딥러닝 모델은 U-Net를 적용하며,
   상기 제2딥러닝 모델부(320)에서 적용하는 딥러닝 모델은 Xception을 적용하는,
   딥러닝을 이용한 이미지 배경제거 및 수피 기반 수종 탐지 시스템.
   
2. 삭제
3. 삭제
4. 삭제
5. 청구항 1에 따른 수종탐지 시스템을 이용하여 수종을 탐지하는 방법에 있어서,
   다수의 단말에서 수집된 수피를 포함하는 원본 이미지를 형성하여 이미지 분류 모듈(200)에 제공하는 1단계; 상기 이미지 분류모듈(200)에서, 상기 원본 이미지를 전송받아 이미지 분할 처리 및 변환을 수행하여 학습데이터를 형성하는 2단계; 상기 이미지 분류모듈(200)에서, 상기 학습데이터를 바탕으로 딥러닝을 수행하여 상기 원본 이미지에서 수피 이외의 배경 이미지를 제거한 제1결과값을 도출하는 3단계; 상기 제1결과값을 적용하여 제2딥러닝을 수행하여 수종판별을 수행하는 제2결과값을 도출하는 4단계;를 포함하며,
   상기 2단계 및 3단계는, 상기 원본 이미지의 상부영역과 상기 상부영역과 교차영역을 구비하는 하부영역을 분할하여 분할이미지를 형성하는 2-1단계; 상기 2-1단계의 상기 분할이미지에 대한 색조 변환 및 사이즈 변환을 수행하는 2-2단계; 분할이미지에 대하여, 수피부분과 배경부분을 라벨링한 데이터를 형성하고, 라벨링한 데이터를 바탕으로 배경제거에 대한 학습을 수행하는 2-3단계; 상기 2-3에서 수행된 학습결과 도출되는 배경 제거 분할이미지를 제1결과값으로 저장하는 2-4단계;를 포함하며,
   상기 4단계는, 상기 2-4단계에서 제공되는 배경이 제거된 수피만을 포함하는 이미지인 제1결과값을 학습데이터로, 제1결과값에 대응되는 수종을 판별하여 학습하는 제2딥러닝을 수행하는 4-1단계; 상기 4-1단계의 제2결과값을 기초로, 새로운 수피를 포함하는 수종 이미지에 대한 판별을 수행하는 4-2단계;를 포함하는,
   딥러닝을 이용한 수종 탐지 방법.
   
6. 삭제
7. 삭제
8. 컴퓨터에서 청구항 5에 따른 딥러닝을 이용한 수종 탐지 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images