KR102388454B1 - 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템 및 방법 - Google Patents
시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템 및 방법 Download PDFInfo
- Publication number
- KR102388454B1 KR102388454B1 KR1020200015705A KR20200015705A KR102388454B1 KR 102388454 B1 KR102388454 B1 KR 102388454B1 KR 1020200015705 A KR1020200015705 A KR 1020200015705A KR 20200015705 A KR20200015705 A KR 20200015705A KR 102388454 B1 KR102388454 B1 KR 102388454B1
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- pine
- semantic segmentation
- pine wilt
- data set
- Prior art date
Links
- 235000008331 Pinus X rigitaeda Nutrition 0.000 title claims abstract description 64
- 235000011613 Pinus brutia Nutrition 0.000 title claims abstract description 64
- 241000018646 Pinus brutia Species 0.000 title claims abstract description 64
- 230000011218 segmentation Effects 0.000 title claims abstract description 50
- 201000010099 disease Diseases 0.000 title claims abstract description 45
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims description 25
- 230000002265 prevention Effects 0.000 title claims description 8
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000013135 deep learning Methods 0.000 claims abstract description 22
- 241000243771 Bursaphelenchus xylophilus Species 0.000 claims abstract description 20
- 238000002372 labelling Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 230000035755 proliferation Effects 0.000 claims description 2
- 241000244206 Nematoda Species 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 208000015181 infectious disease Diseases 0.000 description 3
- 241000607479 Yersinia pestis Species 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000002458 infectious effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 244000052769 pathogen Species 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Mining & Mineral Resources (AREA)
- Tourism & Hospitality (AREA)
- Animal Husbandry (AREA)
- Agronomy & Crop Science (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Marine Sciences & Fisheries (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 일 실시예에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템은 소나무가 분포한 지역에 관한 촬영 이미지를 데이터 세트로서 수집하고, 상기 수집된 데이터 세트에 대하여 픽셀 단위로 레이블을 지정하여 훈련 세트를 생성하는 전처리부; 및 상기 데이터 세트 및 상기 훈련 세트를 바탕으로 시맨틱 분할 딥러닝을 수행하여 객체를 분류하고, 상기 객체의 분류 결과에 기초하여 소나무 재선충병 관련 정보를 제공하는 학습부를 포함한다.
Description
본 발명의 실시예들은 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템 및 방법에 관한 것이다.
소나무 재선충병(Pine wilt disease)은 수목, 매개충, 병원체 등 3가지 요인 간의 밀접한 상호작용으로 단기간에 급속히 나무를 고사시켜 생태계에 큰 영향을 미치는 병으로 한 번 감염되면 주변 나무로 전염시키며 회복할 수 없는 치사율 100%의 전염성 산림 병해충이다. 산림청 조사에 따르면 소나무 재선충병 피해 현황은 2019년 4월 기준 전국 117개 시, 군, 구에서 피해 고사목 약 49만 본으로 1988년 부산에서 최초 발생 이후 모니터링 센터와 여러 방역 등을 통해 감소추세에 있지만, 여전히 산림 생태계에 치명적인 상태이다.
최근에는 인공지능 기술이 발달함에 따라 위성 사진, 항공 사진 등을 이용한 딥러닝(Deep Learning) 기술에 관한 연구가 활발히 진행되고 있다. 특히 영상이나 사진 등을 이용하여 객체를 인식하는 기술에 관한 관심이 매우 높아지고 있다.
객체 감지(Object detection)는 하나의 이미지에서 여러 객체를 식별하고 각각의 위치를 파악할 수 있는 딥러닝의 대표적인 기술 중 하나로 소나무 재선충병을 해결하기 위해 소나무의 객체를 감지하는 기술로도 적용되고 있다.
하지만, 기존 시스템은 이미지의 특정 부분을 학습시켜 소나무의 감염 여부를 판별하는 객체 인식(Object recognition) 기반 시스템으로 단순히 객체를 인식하고 대상을 판별하는 것에는 효과적이지만, 객체를 인식하고 위치를 반환하는 객체 감지 시스템에 비해서는 효율성이 떨어졌다. 또한, 비교적 가까운 사진에서는 높은 정확도를 보였으나 고도가 높은 항공 사진, 위성 사진 등에서는 정확도가 떨어지는 등의 문제점을 가지고 있었다.
소나무 재선충병의 의심목과 감염목을 탐지하는 기존 기술에는 감독 분류 기법을 적용한 의심목 탐지 기술과 RGB 값을 이용한 의심목 공간위치 추출 기술이 있다. 그러나, 감독 분류 기법을 적용한 의심목 탐지 기술은 감독 분류 대상을 직접 지정해줘야 하는 점과 태양 고도의 변화에 의한 광량 차이, 지형 경사에 의한 영상 왜곡 등이 정확도에 큰 영향을 미치기 때문에 사용자가 정확한 영상을 취득해야만 높은 정확도를 보이는 단점이 있다. RGB 값을 이용한 의심목 공간위치 추출 기술은 RGB값의 특성상 촬영일에 대한 기상, 그림자 유무, 촬영 높이, 픽셀 크기 등 다양한 요인에 의해 RGB 값이 변동되는 등 단순히 RGB 값의 범위변동 만으로 일정한 정확도를 산출하기에는 어렵다는 단점이 있다.
관련 선행기술로는 대한민국 등록특허공보 제10-2050821호(발명의 명칭: PTZ 카메라를 이용한 화재 검색 방법, 등록일자: 2019.11.26.)가 있다.
본 발명의 일 실시예는 딥러닝 기반의 시맨틱 분할을 이용하여 피해가 우려되는 고사목, 감염 초기목 등을 검출(객체 감지/분류)함으로써 소나무 재선충병의 확산을 방지할 수 있는 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템 및 방법을 제공한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템은 소나무가 분포한 지역에 관한 촬영 이미지를 데이터 세트로서 수집하고, 상기 수집된 데이터 세트에 대하여 픽셀 단위로 레이블을 지정하여 훈련 세트를 생성하는 전처리부; 및 상기 데이터 세트 및 상기 훈련 세트를 바탕으로 시맨틱 분할 딥러닝을 수행하여 객체를 분류하고, 상기 객체의 분류 결과에 기초하여 소나무 재선충병 관련 정보를 제공하는 학습부를 포함한다.
상기 전처리부는 항공 촬영에 의해 생성된 항공 사진 또는 위성 촬영에 의해 생성된 위성 사진을 포함하는 상기 촬영 이미지를 상기 데이터 세트로서 수집하는 데이터 수집부; 및 상기 수집된 데이터 세트에 대하여 픽셀 단위로 레이블을 지정하여 상기 훈련 세트를 생성하고, 상기 생성된 훈련 세트에 대하여 RGB 값을 기반으로 분류된 레이블을 기준으로 이미지 영역을 분류하는 데이터 분류부를 포함할 수 있다.
상기 전처리부는 상기 분류된 이미지 영역에 대하여 노이즈 필터링을 통해 노이즈를 제거하고 포커싱(focusing)을 적용하여 상기 훈련 세트를 보정하는 데이터 보정부를 더 포함할 수 있다.
상기 학습부는 상기 데이터 세트 및 상기 훈련 세트를 바탕으로 시맨틱 분할 딥러닝을 통한 훈련을 수행하여 학습 결과를 도출하는 모델링부; 상기 학습 결과를 기초로 하여 가중치를 산정하고, 상기 산정된 가중치를 이용하여 이미지 영역을 분할하여 상기 객체를 분류하는 이미지 분할부; 및 상기 분할된 이미지 영역을 바탕으로 상기 소나무 재선충병 관련 정보를 시각화된 이미지로서 제공하는 출력부를 포함할 수 있다.
상기 모델링부는 SegNet, FCN, UNet, DeepLabV3 중 어느 하나를 기반으로 한 모델을 선택 적용하여 상기 시맨틱 분할 딥러닝을 통한 훈련을 수행할 수 있다.
상기 이미지 분할부는 상기 학습 결과를 기초로 하여 상기 가중치를 3개의 차등 부여된 등급으로 산정하고, 분할된 각 이미지 영역에 부여된 등급에 기초하여 감염목, 의심목, 정상목 중 어느 하나로 구분하여 해당 객체를 인식하고 분류할 수 있다.
상기 학습부는 상기 객체의 분류 결과에 기초하여 상기 소나무가 분포한 지역의 전체 면적 중 감염된 소나무(감염목 및 의심목)와 감염되지 않은 소나무(정상목)가 차지하는 면적의 값 또는 해당 면적의 비중 값을 상기 소나무 재선충병 관련 정보로서 반환하는 반환부를 더 포함할 수 있다.
상기 학습부는 상기 분할된 이미지 영역에 대하여 RGB 값을 기준으로 소나무 재선충병 피해목(감염목 및 의심목)의 위치 값을 화소 단위로 추정하여 상기 소나무 재선충병 관련 정보로서 반환하는 반환부를 더 포함할 수 있다.
상기 반환부는 상기 촬영 이미지를 이용하여 정사영상을 제작하고, 상기 제작된 정사영상에 대하여 iGIS(지리정보시스템 상용프로그램)에서 C#을 이용하여 소나무 재선충병에 해당하는 RGB 값을 식별하여 상기 소나무 재선충병 피해목의 위치 값을 추정할 수 있다.
본 발명의 일 실시예에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 방법은 상기 소나무 재선충 확산 방지 시스템의 전처리부가 소나무 분포 지역에 관한 촬영 이미지를 데이터 세트로서 수집하는 단계; 상기 전처리부가 상기 수집된 데이터 세트에 대하여 픽셀 단위로 레이블을 지정하여 훈련 세트를 생성하는 단계; 상기 소나무 재선충 확산 방지 시스템의 학습부가 상기 데이터 세트 및 상기 훈련 세트를 바탕으로 시맨틱 분할 딥러닝을 수행하여 객체를 분류하는 단계; 및 상기 학습부가 상기 객체의 분류 결과에 기초하여 소나무 재선충병 관련 정보를 제공하는 단계를 포함한다.
본 발명의 일 실시예에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 방법은 상기 전처리부가 상기 생성된 훈련 세트에 대하여 RGB 값을 기반으로 분류된 레이블을 기준으로 이미지 영역을 분류하는 단계; 및 상기 전처리부가 상기 분류된 이미지 영역에 대하여 노이즈 필터링을 통해 노이즈를 제거하고 포커싱(focusing)을 적용하여 상기 훈련 세트를 보정하는 단계를 더 포함할 수 있다.
상기 객체를 분류하는 단계는 상기 데이터 세트 및 상기 훈련 세트를 바탕으로 시맨틱 분할 딥러닝을 통한 훈련을 수행하여 학습 결과를 도출하는 단계;
상기 학습 결과를 기초로 하여 가중치를 산정하는 단계; 및 상기 산정된 가중치를 이용하여 이미지 영역을 분할하여 상기 객체를 분류하는 단계를 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 일 실시예에 따르면, 딥러닝 기반의 시맨틱 분할을 이용하여 피해가 우려되는 고사목, 감염 초기목 등을 검출(객체 감지/분류)함으로써 소나무 재선충병의 확산을 방지할 수 있다.
본 발명의 일 실시예에 따르면, 재선충병 확산을 방지하기 위한 감염목, 정상목 및 의심목의 면적, 위치, 전염 정보에 따른 시각적 경보 등의 정보를 파악할 수 있다.
본 발명의 일 실시예에 따르면, 이미지의 픽셀에 분할 레이블을 적용하는 방식의 시맨틱 분할을 사용하기 때문에 매우 정밀한 객체 감지 결과를 얻을 수 있다.
도 1은 본 발명의 일 실시예에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템의 네트워크 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템을 설명하기 위해 도시한 블록도이다.
도 3은 도 2의 전처리부의 상세 구성을 설명하기 위해 도시한 블록도이다.
도 4는 도 2의 학습부의 상세 구성을 설명하기 위해 도시한 블록도이다.
도 5는 본 발명의 일 실시예에 따라 분류된 감염목, 의심목, 정상목이 포함되어 있는 데이터 세트 이미지이다.
도 6은 본 발명의 일 실시예에 따라 감염목, 의심목, 정상목을 각각 주황색, 파란색, 노란색으로 지정하고 레이블화한 데이터 세트 이미지이다.
도 7은 본 발명의 일 실시예에 적용되는 시맨틱 분할의 아키텍처를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 적용되는 시맨틱 분할이 CNN 기반의 SegNet을 기반으로 하고 있는 일례를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 적용되는 시맨틱 분할의 기반이 되는 엔코더-디코더 구조를 보여주는 도면이다.
도 10은 본 발명의 일 실시예에 있어서 RGB 색상을 정의하기 위한 CSV 파일의 내부 구조를 보여주기 위해 도시한 예시도이다.
도 11은 본 발명의 일 실시예에 따라 소나무 재선충병 의심목의 공간 위치를 화소 단위로 추정한 결과 화면의 예시도이다.
도 12는 본 발명의 일 실시예에 있어서 FCN 모델이 적용된 테스트 결과를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 있어서 전체 면적 중 각각의 분류 모델들이 차지하는 비중을 나타낸 결과 화면의 예시도이다.
도 14 및 도 15는 본 발명의 일 실시예에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 방법을 설명하기 위해 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템을 설명하기 위해 도시한 블록도이다.
도 3은 도 2의 전처리부의 상세 구성을 설명하기 위해 도시한 블록도이다.
도 4는 도 2의 학습부의 상세 구성을 설명하기 위해 도시한 블록도이다.
도 5는 본 발명의 일 실시예에 따라 분류된 감염목, 의심목, 정상목이 포함되어 있는 데이터 세트 이미지이다.
도 6은 본 발명의 일 실시예에 따라 감염목, 의심목, 정상목을 각각 주황색, 파란색, 노란색으로 지정하고 레이블화한 데이터 세트 이미지이다.
도 7은 본 발명의 일 실시예에 적용되는 시맨틱 분할의 아키텍처를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 적용되는 시맨틱 분할이 CNN 기반의 SegNet을 기반으로 하고 있는 일례를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 적용되는 시맨틱 분할의 기반이 되는 엔코더-디코더 구조를 보여주는 도면이다.
도 10은 본 발명의 일 실시예에 있어서 RGB 색상을 정의하기 위한 CSV 파일의 내부 구조를 보여주기 위해 도시한 예시도이다.
도 11은 본 발명의 일 실시예에 따라 소나무 재선충병 의심목의 공간 위치를 화소 단위로 추정한 결과 화면의 예시도이다.
도 12는 본 발명의 일 실시예에 있어서 FCN 모델이 적용된 테스트 결과를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 있어서 전체 면적 중 각각의 분류 모델들이 차지하는 비중을 나타낸 결과 화면의 예시도이다.
도 14 및 도 15는 본 발명의 일 실시예에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 방법을 설명하기 위해 도시한 흐름도이다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능 구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능 구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능 구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성 요소와 본 발명을 위해 추가된 구성 요소 사이의 관계도 명백하게 이해할 수 있을 것이다.
또한, 이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템(120)의 네트워크 구성(100)을 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템(120)을 설명하기 위해 도시한 블록도이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템(120)은 전처리부(210), 학습부(220) 및 제어부(230)를 포함하여 구성될 수 있다.
상기 전처리부(210)는 소나무가 분포한 지역에 관한 촬영 이미지를 데이터 세트로서 수집하고, 상기 수집된 데이터 세트에 대하여 픽셀 단위로 레이블을 지정하여 훈련 세트를 생성할 수 있다.
이를 위해, 상기 전처리부(210)는 도 3에 도시된 바와 같이 데이터 수집부(310), 데이터 분류부(320), 및 데이터 보정부(330)를 포함하여 구성될 수 있다. 참고로, 도 3은 도 2의 전처리부(210)의 상세 구성을 설명하기 위해 도시한 블록도이다.
상기 데이터 수집부(310)는 항공 촬영에 의해 생성된 항공 사진 또는 위성 촬영에 의해 생성된 위성 사진을 포함하는 상기 촬영 이미지를 상기 데이터 세트로서 수집할 수 있다.
여기서, 상기 데이터 수집부(310)는 소나무 재선충병이 의심되는 구역의 이미지 데이터를 수집할 수 있는데 이때 수집 대상은 항공 사진 및 위성 사진으로 넓은 범위를 효과적으로 수집할 수 있다. 본 실시예에서는 드론(110)에 의해 촬영된 항공 사진을 상기 데이터 세트로서 수집할 수 있다.
상기 데이터 분류부(320)는 상기 수집된 데이터 세트에 대하여 픽셀 단위로 레이블을 지정하여 상기 훈련 세트를 생성하고, 상기 생성된 훈련 세트에 대하여 RGB 값을 기반으로 분류된 레이블을 기준으로 이미지 영역을 분류할 수 있다.
상기 데이터 보정부(330)는 상기 분류된 이미지 영역에 대하여 노이즈 필터링을 통해 노이즈를 제거하고 포커싱(focusing)을 적용하여 전체적인 정확도를 향상시키는 방식으로 상기 훈련 세트를 보정할 수 있다.
한편, 상기 학습부(220)는 상기 데이터 세트 및 상기 훈련 세트를 바탕으로 시맨틱 분할 딥러닝을 수행하여 객체를 분류하고, 상기 객체의 분류 결과에 기초하여 소나무 재선충병 관련 정보를 제공할 수 있다.
이를 위해, 상기 학습부(220)는 도 4에 도시된 바와 같이 모델링부(410), 이미지 분할부(420), 반환부(430), 및 출력부(440)를 포함하여 구성될 수 있다. 참고로, 도 4는 도 2의 학습부(220)의 상세 구성을 설명하기 위해 도시한 블록도이다.
상기 모델링부(410)는 상기 데이터 세트 및 상기 훈련 세트를 바탕으로 시맨틱 분할 딥러닝을 통한 훈련을 수행하여 학습 결과를 도출할 수 있다.
이때, 상기 모델링부(410)는 SegNet, FCN, UNet, DeepLabV3 중 어느 하나를 기반으로 한 모델을 선택 적용하여 상기 시맨틱 분할 딥러닝을 통한 훈련을 수행할 수 있다.
상기 이미지 분할부(420)는 상기 학습 결과를 기초로 하여 가중치를 산정하고, 상기 산정된 가중치를 이용하여 이미지 영역을 분할하여 상기 객체를 분류할 수 있다.
구체적으로, 상기 이미지 분할부(420)는 상기 학습 결과를 기초로 하여 상기 가중치를 3개의 차등 부여된 등급으로 산정하고, 분할된 각 이미지 영역에 부여된 등급에 기초하여 감염목, 의심목, 정상목 중 어느 하나로 구분하여 해당 객체를 인식하고 분류할 수 있다.
상기 반환부(430)는 상기 객체의 분류 결과에 기초하여 상기 소나무가 분포한 지역의 전체 면적 중 감염된 소나무(감염목 및 의심목)와 감염되지 않은 소나무(정상목)가 차지하는 면적의 값 또는 해당 면적의 비중 값을 상기 소나무 재선충병 관련 정보로서 반환할 수 있다.
상기 반환부(430)는 상기 분할된 이미지 영역에 대하여 RGB 값을 기준으로 소나무 재선충병 피해목(감염목 및 의심목)의 위치 값을 화소 단위로 추정하여 상기 소나무 재선충병 관련 정보로서 반환할 수 있다.
구체적으로, 상기 반환부(430)는 상기 촬영 이미지를 이용하여 정사영상을 제작하고, 상기 제작된 정사영상에 대하여 iGIS(지리정보시스템 상용프로그램)에서 C#을 이용하여 소나무 재선충병에 해당하는 RGB 값을 식별하여 상기 소나무 재선충병 피해목의 위치 값을 추정할 수 있다.
상기 출력부(440)는 상기 분할된 이미지 영역을 바탕으로 상기 소나무 재선충병 관련 정보를 시각화된 이미지로서 생성하고, 상기 생성된 시각화 이미지를 사용자 단말기(130)에 제공할 수 있다.
한편, 상기 제어부(230)는 본 발명의 일 실시예에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템(120), 즉 상기 전처리부(210), 상기 학습부(220) 등의 동작을 전반적으로 제어할 수 있다.
시스템 설계
본 발명의 일 실시예에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템은 소나무 재선충병의 확산을 막기 위한 것으로 항공 사진으로 촬영된 데이터 세트를 기반으로 재선충병에 감염된 소나무의 객체를 감지하고 정상목과의 격리를 위한 정보를 제공할 수 있다. 따라서, 감염목의 면적과 정상목의 면적 그리고 감염이 의심되는 의심목의 면적을 제공할 수 있다.
본 발명의 일 실시예에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템은 전처리된 데이터 세트를 SegNet을 기반으로 하는 시맨틱 분할 모델에 적용하고 각각의 면적을 반환하며 반환되는 면적을 시각화하여 사용자에게 제공할 수 있다.
1. 이미지 데이터 분류 영역 정의
딥러닝 모델은 다량의 데이터를 바탕으로 구축하였을 때 효과가 극대화 되는 모델이다. 따라서 시맨틱 분할도 다량의 데이터를 확보하는 것이 중요하다. 또한, 시맨틱 분할은 분류 대상에 따라 레이블을 적용시켜 데이터 세트를 구성하기 때문에 분류 대상인 이미지에 카테고리별로 레이블을 지정해야 한다.
도 5는 감염목, 의심목, 정상목이 포함되어 있는 데이터 세트 이미지(Unlabeled Data Set)이다. 따라서, 분류 대상을 감염목, 의심목, 정상목으로 분류하여 레이블을 지정할 수 있다.
도 6은 본 발명의 일 실시예에 따라 감염목, 의심목, 정상목을 각각 주황색, 파란색, 노란색으로 지정하고 레이블화한 데이터 세트 이미지(Labeled Data Set)이다. 도 6과 같이 감염목, 의심목, 정상목을 각각 주황색, 파란색, 노란색으로 지정하고 레이블화할 수 있다. 이를 통해 레이블된 데이터 세트를 훈련 세트로 지정하고 훈련에 사용되는 파티션으로 지정할 수 있다.
2. 시맨틱 분할(Semantic Split)
도 7은 본 발명의 일 실시예에 적용되는 시맨틱 분할의 아키텍처를 나타낸 도면이고, 도 8은 본 발명의 일 실시예에 적용되는 시맨틱 분할이 CNN 기반의 SegNet을 기반으로 하고 있는 일례를 도시한 도면이다.
도 7 및 도 8을 참조하면, 시맨틱 분할은 객체 감지의 영역으로 이미지의 모든 픽셀에 레이블 또는 카테고리 등을 연관 짓는 딥러닝 알고리즘이다. 원하는 객체가 픽셀 수준에서 이미지의 여러 영역에 걸쳐 있어도 문제가 없으므로 기존의 객체 감지와 달리 비정형 모양을 갖는 객체도 감지할 수 있다. 또한, 이미지에 픽셀 단위로 분할 레이블을 적용하기 때문에 다른 객체 감지 모델과 비교하면 매우 정밀하다.
시맨틱 분할은 CNN 기반의 SegNet을 기반으로 하고 있다. CNN의 구조를 역순으로 생각해보면 전체 이미지가 아닌 픽셀로부터 시작하는 것을 알 수 있다. 도 8과 같이 최종 이미지의 크기와 입력 이미지의 크기와 같도록 프로세싱한 후 각 픽셀을 특정 클래스로 매핑하는 픽셀 분류 레이어를 추가하여 객체를 분류하게 된다.
3. 모델 선정 및 훈련
시맨틱 분할은 인코더-디코더 아키텍처를 기반으로 각각 인코더는 다운샘플링(Downsampling), 디코더는 업샘플링(Upsampling)을 거쳐 도 9와 같은 구조를 가질 수 있다. 도 9는 본 발명의 일 실시예에 적용되는 시맨틱 분할의 기반이 되는 엔코더-디코더 구조를 보여주는 도면이다.
도 9에 도시된 바와 같은 구조를 가진 모델 중 높은 정확도를 보이는 대표적인 모델은 FCN, UNet, DeepLabV3 등으로, 기존 SegNet과 원리는 비슷하지만 특정 이미지에서 높은 정확도를 보이는 네트워크 모델이다. 따라서, 본 발명에서는 특정 이미지에서의 정확도를 비교하기 위해 위의 모든 모델을 준비한 훈련 데이터 세트를 기반으로 훈련시키고 준비한 테스트 이미지 세트를 이용하여 정확도를 평가하도록 설계할 수 있다.
4. 이미지 영역 분할
이미지 영역 분할은 모델 선정이 끝나고 훈련된 가중치를 통해 테스트 데이터의 영역을 분할하는 것이다. 분류 영역은 사용자에게 시각화 효과를 제공하기 위해 별도의 CSV 파일에 정의하였다. 도 5는 RGB 색상을 정의하기 위한 CSV 파일 내부 구조를 보여주기 위해 도시한 예시도이다.
Infected, Suspected infection, Uninfected 등은 각각 감염목, 의심목, 정상목을 나타내며 빨강, 노랑, 초록으로 표시하도록 정의한다. 그 외의 Sky, Sod는 각각 하늘, 땅을 의미한다. Void는 지정되지 않은 영역을 의미하며 검정으로 표시하도록 한다.
5. RGB 값을 이용한 의심목 공간위치 추출
도 11은 본 발명의 일 실시예에 따라 소나무 재선충병 의심목의 공간 위치를 화소 단위로 추정한 결과 화면의 예시도이다. 도 11을 참조하면, 드론영상으로 촬영된 이미지를 RGB 값을 기준으로 영상 내의 소나무 재선충병 피해목의 위치를 화소 단위로 추정할 수 있다.
구체적으로, 촬영 이미지를 확보하고, 이를 이용하여 정사영상을 제작하며, 제작된 정사영상에 대하여 iGIS(지리정보시스템 상용프로그램)에서 C#을 이용하여 소나무 재선충병에 해당하는 RGB 값을 식별하여 상기 소나무 재선충병 피해목의 위치(공간위치) 값을 추출할 수 있다.
6. 시스템 효율성 검증
도 12는 본 발명의 일 실시예에 있어서 FCN 모델이 적용된 테스트 결과를 나타낸 도면이다. 도 12에 도시된 바와 같이, 도 10의 설정값을 토대로 감염목, 의심목, 정상목 등의 영역이 표시되고, 지정되지 않은 곳은 Void 영역으로 판단되어 검정색으로 표시된다.
도 13은 본 발명의 일 실시예에 있어서 전체 면적 중 각각의 분류 모델들이 차지하는 비중을 나타낸 결과 화면의 예시도이다. 도 13에 도시된 바와 같이, 면적 분류 결과 감염목 27.38%, 의심목 35.52%, 정상목 25.14%, Void 3.32%, 땅 8.64%로 집계되었다. 픽셀 분류 정확도는 약 87%이다.
[표 1]
표 1은 모델별 픽셀 분류 정확도를 나타낸다. 가장 높은 정확도를 가진 모델은 DeepLabV3로 91%의 픽셀 분류 정확도를 보이는 것을 확인할 수 있다.
7. 결론
소나무 재선충병은 단기간에 급속히 나무를 고사시키는 병으로 치사율 100%의 전염성 산림 병해충이다. 따라서 초기 발견이 매우 중요하며, 전염된 나무를 최대한 빠르게 벌목하는 것이 중요하다. 산림청은 모니터링 센터를 운영하여 주변 민원을 통해 방제를 실시하고 있다. 하지만 산림 지역의 특성상 사람이 모든 구역을 조사하기에는 큰 어려움이 따른다.
이를 해결하기 위해 본 발명에서는 항공 사진이나 위성 사진 등의 촬영 이미지에 대하여 시맨틱 분할 딥러닝을 적용하여 소나무 재선충병의 확산을 방지할 수 있는 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템을 제안한다.
본 발명의 일 실시예에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템에서는 객체 감지 모델인 시맨틱 분할을 사용하여 감염목, 의심목, 정상목을 구분하며 이를 시각화하여 제공하고 구분된 영역의 면적과 정확도를 사용자에게 반환한다. 또한, 최대 91%의 픽셀 분류 정확도를 도출할 수 있다.
이를 통해 객체 감지 모델이 기존의 객체 인식 모델에 비교하여 분류 정확도가 떨어지지 않으며 비슷한 수준의 정밀도를 가지는 것으로 판단할 수 있다. 따라서 기존의 객체인식 모델은 단순히 객체를 인식하는 데에는 빠르고 효과적이지만, 많은 정보를 가지고 있는 항공 사진, 위성 사진 등에는 본 발명과 같은 객체 감지 모델이 적합하다는 결론을 내릴 수 있다.
이상에서 설명된 시스템은 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
도 14는 본 발명의 일 실시예에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 방법을 설명하기 위해 도시한 전체 흐름도이다.
여기서 설명하는 방법은 본 발명의 하나의 실시예에 불과하며, 그 이외에 필요에 따라 다양한 단계들이 아래와 같이 부가될 수 있고, 하기의 단계들도 순서를 변경하여 실시될 수 있으므로, 본 발명이 하기에 설명하는 각 단계 및 그 순서에 한정되는 것은 아니다.
도 1, 도 2 및 도 14를 참조하면, 단계(1410)에서 상기 소나무 재선충 확산 방지 시스템(120)의 전처리부(210)는 소나무 분포 지역에 관한 촬영 이미지를 데이터 세트로서 수집할 수 있다.
다음으로, 단계(1420)에서 상기 전처리부(210)는 상기 수집된 데이터 세트에 대하여 픽셀 단위로 레이블을 지정하여 훈련 세트를 생성할 수 있다.
다음으로, 단계(1430)에서 상기 전처리부(210)는 상기 생성된 훈련 세트에 대하여 RGB 값을 기반으로 분류된 레이블을 기준으로 이미지 영역을 분류할 수 있다.
다음으로, 단계(1440)에서 상기 전처리부(210)는 상기 분류된 이미지 영역에 대하여 노이즈 필터링을 통해 노이즈를 제거하고 포커싱(focusing)을 적용하여 상기 훈련 세트를 보정할 수 있다.
다음으로, 단계(1450)에서 상기 소나무 재선충 확산 방지 시스템(120)의 학습부(220)는 상기 데이터 세트 및 상기 훈련 세트를 바탕으로 시맨틱 분할 딥러닝을 수행하여 객체를 분류할 수 있다.
다음으로, 단계(1460)에서 상기 학습부(220)는 상기 객체의 분류 결과에 기초하여 소나무 재선충병 관련 정보를 제공할 수 있다.
도 15는 본 발명의 일 실시예에 따라 시맨틱 분할을 이용하여 객체를 분류하는 과정을 설명하기 위해 도시한 흐름도이다.
도 1, 도 2 및 도 15를 참조하면, 단계(1510)에서 상기 소나무 재선충 확산 방지 시스템(120)의 학습부(220)는 상기 데이터 세트 및 상기 훈련 세트를 바탕으로 시맨틱 분할 딥러닝을 통한 훈련을 수행하여 학습 결과를 도출할 수 있다.
다음으로, 단계(1520)에서 상기 학습부(220)는 상기 학습 결과를 기초로 하여 가중치를 산정할 수 있다.
다음으로, 단계(1530)에서 상기 학습부(220)는 상기 산정된 가중치를 이용하여 이미지 영역을 분할하여 상기 객체를 분류할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
110: 드론
120: 소나무 재선충 확산 방지 시스템
130: 사용자 단말기
210: 전처리부
220: 학습부
230: 제어부
310: 데이터 수집부
320: 데이터 분류부
330: 데이터 보정부
410: 모델링부
420: 이미지 분할부
430: 반환부
440: 출력부
120: 소나무 재선충 확산 방지 시스템
130: 사용자 단말기
210: 전처리부
220: 학습부
230: 제어부
310: 데이터 수집부
320: 데이터 분류부
330: 데이터 보정부
410: 모델링부
420: 이미지 분할부
430: 반환부
440: 출력부
Claims (12)
- 소나무가 분포한 지역에 관한 촬영 이미지를 데이터 세트로서 수집하고, 상기 수집된 데이터 세트에 대하여 픽셀 단위로 레이블을 지정하여 훈련 세트를 생성하는 전처리부; 및
상기 데이터 세트 및 상기 훈련 세트를 바탕으로 시맨틱 분할 딥러닝을 수행하여 객체를 분류하고, 상기 객체의 분류 결과에 기초하여 소나무 재선충병 관련 정보를 제공하는 학습부;를 포함하며,
상기 전처리부는, 항공 촬영에 의해 생성된 항공 사진 또는 위성 촬영에 의해 생성된 위성 사진을 포함하는 상기 촬영 이미지를 상기 데이터 세트로서 수집하는 데이터 수집부; 상기 수집된 데이터 세트에 대하여 픽셀 단위로 레이블을 지정하여 상기 훈련 세트를 생성하고, 상기 생성된 훈련 세트에 대하여 RGB 값을 기반으로 분류된 레이블을 기준으로 이미지 영역을 분류하는 데이터 분류부; 및 상기 분류된 이미지 영역에 대하여 노이즈 필터링을 통해 노이즈를 제거하고 포커싱(focusing)을 적용하여 상기 훈련 세트를 보정하는 데이터 보정부;를 포함하고,
상기 학습부는, 상기 데이터 세트 및 상기 훈련 세트를 바탕으로 시맨틱 분할 딥러닝을 통한 훈련을 수행하여 학습 결과를 도출하는 모델링부; 상기 학습 결과를 기초로 하여 학습된 가중치를 산정하되 상기 가중치를 3개의 차등 부여된 등급으로 산정하고, 상기 산정된 가중치를 이용하여 이미지 영역을 분할하되 분할된 각 이미지 영역에 부여된 등급에 기초하여 감염목, 의심목, 정상목 중 어느 하나로 구분하여 상기 객체를 인식하고 분류하는 이미지 분할부; 상기 분할된 이미지 영역을 바탕으로 상기 소나무 재선충병 관련 정보를 시각화된 이미지로서 제공하는 출력부; 및 상기 객체의 분류 결과에 기초하여 상기 소나무가 분포한 지역의 전체 면적 중 감염목 및 의심목이 차지하는 면적의 값 또는 해당 면적의 비중 값과 정상목이 차지하는 면적의 값 또는 해당 면적의 비중 값을 상기 소나무 재선충병 관련 정보로서 반환하는 반환부;를 포함하는 것을 특징으로 하는 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템.
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 모델링부는
SegNet, FCN, UNet, DeepLabV3 중 어느 하나를 기반으로 한 모델을 선택 적용하여 상기 시맨틱 분할 딥러닝을 통한 훈련을 수행하는 것을 특징으로 하는 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템.
- 삭제
- 삭제
- 제1항에 있어서,
상기 반환부는
상기 분할된 이미지 영역에 대하여 RGB 값을 기준으로 감염목 및 의심목의 위치 값을 화소 단위로 추정하여 상기 소나무 재선충병 관련 정보로서 반환하는 것을 특징으로 하는 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템.
- 삭제
- 제1항, 제5항 또는 제8항 중 어느 한 항에 따른 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템을 이용한 소나무 재선충 확산 방지 방법에 있어서,
상기 소나무 재선충 확산 방지 시스템의 전처리부가 소나무 분포 지역에 관한 촬영 이미지를 데이터 세트로서 수집하는 단계;
상기 전처리부가 상기 수집된 데이터 세트에 대하여 픽셀 단위로 레이블을 지정하여 훈련 세트를 생성하는 단계;
상기 소나무 재선충 확산 방지 시스템의 학습부가 상기 데이터 세트 및 상기 훈련 세트를 바탕으로 시맨틱 분할 딥러닝을 수행하여 객체를 분류하는 단계; 및
상기 학습부가 상기 객체의 분류 결과에 기초하여 소나무 재선충병 관련 정보를 제공하는 단계
를 포함하는 것을 특징으로 하는 시맨틱 분할을 이용한 소나무 재선충 확산 방지 방법.
- 제10항에 있어서,
상기 전처리부가 상기 생성된 훈련 세트에 대하여 RGB 값을 기반으로 분류된 레이블을 기준으로 이미지 영역을 분류하는 단계; 및
상기 전처리부가 상기 분류된 이미지 영역에 대하여 노이즈 필터링을 통해 노이즈를 제거하고 포커싱(focusing)을 적용하여 상기 훈련 세트를 보정하는 단계
를 더 포함하는 것을 특징으로 하는 시맨틱 분할을 이용한 소나무 재선충 확산 방지 방법.
- 제10항에 있어서,
상기 객체를 분류하는 단계는
상기 데이터 세트 및 상기 훈련 세트를 바탕으로 시맨틱 분할 딥러닝을 통한 훈련을 수행하여 학습 결과를 도출하는 단계;
상기 학습 결과를 기초로 하여 가중치를 산정하는 단계; 및
상기 산정된 가중치를 이용하여 이미지 영역을 분할하여 상기 객체를 분류하는 단계
를 포함하는 것을 특징으로 하는 시맨틱 분할을 이용한 소나무 재선충 확산 방지 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20190130608 | 2019-10-21 | ||
| KR1020190130608 | 2019-10-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210047228A KR20210047228A (ko) | 2021-04-29 |
| KR102388454B1 true KR102388454B1 (ko) | 2022-04-20 |
Family
ID=75728332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200015705A KR102388454B1 (ko) | 2019-10-21 | 2020-02-10 | 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102388454B1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230085331A (ko) * | 2021-12-07 | 2023-06-14 | 한국전자기술연구원 | 영상정보 기반의 벼 도복 자동 판독 장치 및 방법 |
| KR102646217B1 (ko) * | 2022-03-04 | 2024-03-08 | 충남대학교산학협력단 | 재선충병 감염증상 기반의 침엽수 생리 활력도 평가 방법 및 그 장치 |
| CN116071665B (zh) * | 2023-01-17 | 2023-11-24 | 二十一世纪空间技术应用股份有限公司 | 基于卫星影像的松材线虫病病害木提取方法和装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170125470A (ko) * | 2016-05-04 | 2017-11-15 | 주식회사 씨에스랩 | 항공 영상을 이용한 병해충 피해목 탐지 방법 및 이를 위한 병해충 피해목 탐지 시스템 |
| KR102299847B1 (ko) * | 2017-06-26 | 2021-09-08 | 삼성전자주식회사 | 얼굴 인증 방법 및 장치 |
| KR102098259B1 (ko) * | 2017-12-28 | 2020-05-26 | 이호동 | 무인항공기를 이용한 산림병해충 의심목 선별 시스템 |
| KR20190106861A (ko) * | 2019-08-27 | 2019-09-18 | 엘지전자 주식회사 | 학습 데이터를 생성하는 인공 지능 장치, 인공 지능 서버 및 그 방법 |
-
2020
- 2020-02-10 KR KR1020200015705A patent/KR102388454B1/ko active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| ‘딥러닝을 활용한 Image Segmentation 프로젝트’. tistory의 인터넷 게시물. [online], 2019년 7월 5일, pp.1-11, [2021년 7월 13일 검색] (2019.07.05.) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210047228A (ko) | 2021-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886130B (zh) | 目标对象的确定方法、装置、存储介质和处理器 | |
| CN110956094B (zh) | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 | |
| KR102388454B1 (ko) | 시맨틱 분할을 이용한 소나무 재선충 확산 방지 시스템 및 방법 | |
| KR101995107B1 (ko) | 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 | |
| US9230175B2 (en) | System and method for motion detection in a surveillance video | |
| RU2484531C2 (ru) | Устройство обработки видеоинформации системы охранной сигнализации | |
| KR101884611B1 (ko) | 이동객체의 메타데이터 필터링을 이용한 cctv 영상의 관심객체 추출 방법 | |
| CN107944403B (zh) | 一种图像中的行人属性检测方法及装置 | |
| CN108369651B (zh) | 一种提取天空区域的方法、系统及非暂时性计算机可读存储介质 | |
| CN109508583B (zh) | 一种人群分布特征的获取方法和装置 | |
| CN110689021A (zh) | 一种基于深度学习的低可见度环境下实时目标检测方法 | |
| CN103069434A (zh) | 多模式视频事件索引 | |
| CN109993031A (zh) | 一种畜力车目标违章行驶行为检测方法、装置及相机 | |
| CN110207671B (zh) | 一种天基智能成像系统 | |
| WO2021139049A1 (zh) | 检测方法、检测装置、监控设备和计算机可读存储介质 | |
| CN112801158A (zh) | 基于级联融合和注意力机制的深度学习小目标检测方法及装置 | |
| Dev et al. | High-dynamic-range imaging for cloud segmentation | |
| JP2020095707A (ja) | ディープブラインド画像領域予測を用いたアライメントフリービデオ変化検出 | |
| CN113935395A (zh) | 对象识别神经网络的训练 | |
| Qiao et al. | Deep learning methods applied to electronic monitoring data: automated catch event detection for longline fishing | |
| KR20240028290A (ko) | 산불 검출 장치 및 방법 | |
| Gauci et al. | A Machine Learning approach for automatic land cover mapping from DSLR images over the Maltese Islands | |
| CN114359830A (zh) | 图像检测方法、设备及计算机存储介质 | |
| CN110852172B (zh) | 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法 | |
| CN110929711B (zh) | 运用于固定场景关于身份信息和形体信息自动关联的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |