KR102386150B1 - 모니터링 장치 및 모니터링 방법 - Google Patents

모니터링 장치 및 모니터링 방법 Download PDF

Info

Publication number
KR102386150B1
KR102386150B1 KR1020200036502A KR20200036502A KR102386150B1 KR 102386150 B1 KR102386150 B1 KR 102386150B1 KR 1020200036502 A KR1020200036502 A KR 1020200036502A KR 20200036502 A KR20200036502 A KR 20200036502A KR 102386150 B1 KR102386150 B1 KR 102386150B1
Authority
KR
South Korea
Prior art keywords
moss
image
unit
air pollution
photographed
Prior art date
Application number
KR1020200036502A
Other languages
English (en)
Other versions
KR20210119843A (ko
Inventor
김법렬
Original Assignee
경일대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경일대학교산학협력단 filed Critical 경일대학교산학협력단
Priority to KR1020200036502A priority Critical patent/KR102386150B1/ko
Publication of KR20210119843A publication Critical patent/KR20210119843A/ko
Application granted granted Critical
Publication of KR102386150B1 publication Critical patent/KR102386150B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Image Analysis (AREA)

Abstract

모니터링 장치가 제공된다. 상기 모니터링 장치는 건축물 외면에서 자생하는 이끼(lichen)가 촬영된 이끼 이미지를 획득하는 획득 유니트; 상기 이끼 이미지의 분석을 통해 상기 건축물 주변의 대기 오염을 분석하는 분석 유니트;를 포함할 수 있다.

Description

모니터링 장치 및 모니터링 방법{MONITORING DEVICE AND MONITORING METHOD}
본 발명은 이끼를 관찰하고, 대기 오염을 모니터링하는 장치 및 방법에 관한 것이다.
국내의 경우, 미세먼지와 기후변화, 에너지 정책 간 연계성을 고려하는 통합적 관점에서의 대기질 관리 대책 수립에 고심하고 있으며, 2019년에는 대기 오염의 저감을 목표로 하는 '청천' 프로젝트 등을 중국과 함께 추진하고 있다.
해외의 경우, 인도네시아는 자카르타 청정 대기 2030 로드맵의 달성을 위해 교통, 도시계획 부문의 구체적 활동계획 14개를 제시하고 있다.
이러한 대기 관련 동향에 따르면, 건물 주변의 대기오염을 효율적으로 분석하는 방안이 마련될 필요가 있다.
한국등록특허공보 제1051142호에는 기상위성으로부터 수신된 원시자료를 이용해 RGB 합성영상을 생성하고, 합성영상을 이용해 황사와 인위적 대기오염을 분별하는 내용이 나타나 있다.
한국등록특허공보 제1051142호
본 발명은 이끼를 이용해서 건물 주변의 대기 오염을 분석하는 모니터링 장치 및 방법을 제공하기 위한 것이다.
본 발명의 모니터링 장치는 건축물 외면에서 자생하는 이끼(lichen)가 촬영된 이끼 이미지를 획득하는 획득 유니트; 상기 이끼 이미지의 분석을 통해 상기 건축물 주변의 대기 오염을 분석하는 분석 유니트;를 포함할 수 있다.
본 발명의 모니터링 방법은 건축물 외면에서 자생하는 이끼(lichen)가 촬영된 이끼 이미지를 CNN(Convolutional neural network)에 적용하고, 상기 CNN을 통해 분석된 상기 이끼 이미지의 색상 특징을 이용해서 상기 건축물 주변의 대기 오염을 모니터링할 수 있다.
본 발명의 모니터링 방법은 대기 오염에 따라 변하는 이끼(lichen)의 색상을 대기 오염도별로 학습하고, 상기 학습에 기초해, 이끼가 포함된 이끼 이미지가 입력되면 상기 이끼 이미지에 포함된 상기 이끼의 색상을 분석하는 이끼 분류 모델을 생성하며, 상기 이끼 분류 모델은 상기 이끼 이미지의 분석을 통해 분석된 색상을 기 학습된 대기 오염도별 색상에 맞춰 분류할 수 있다.
본 발명의 모니터링 장치 및 방법은 건축물 외면에 존재하는 이끼의 분석을 통해 건축물 주변의 대기 오염을 파악할 수 있다.
본 발명은 건축물의 외면에 자생하는 이끼의 이미지를 분석하고, 빌딩 등 건축물 주변의 대기 오염 수준을 파악할 수 있다.
본 발명은 건축물 외면에 존재하는 이끼를 촬영한 이미지를 이용해서, 건축물 주변의 대기 오염 상태를 분석하는 이끼 분류 모델을 제공할 수 있다.
도 1은 본 발명의 모니터링 장치를 나타낸 개략도이다.
도 2는 획득부, 탐색부, 편집부의 동작을 나타낸 개략도이다.
도 3은 VGG-16 아키텍쳐를 나타낸 개략도이다.
도 4는 VGG-16 아키텍쳐의 동작 절차를 나타낸 개략도이다.
도 5는 이끼의 데이터 세트를 나타낸 개략도이다.
도 6은 서로 다른 오염 수준에 접한 이끼의 색상을 시각적으로 나타낸 것이다.
도 7은 이미지 분류를 위한 VGG-16 아키텍쳐의 작동 단계를 나타낸 개략도이다.
도 8은 VGG-16을 사용한 오염 감지 모델을 나타낸 개략도이다.
도 9는 분류 정확도를 나타낸 그래프이다.
도 10은 분류 정밀도를 나타낸 나타낸 그래프이다.
도 11은 재호출을 나타낸 그래프이다.
도 12는 F-Measure를 나타낸 그래프이다.
도 13은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.
도 1은 본 발명의 모니터링 장치를 나타낸 개략도이다.
도 1에 도시된 모니터링 장치는 획득 유니트(100), 분석 유니트(200)를 포함할 수 있다.
획득 유니트(100)는 건축물(10) 외면에서 자생하는 이끼(lichen)(90)가 촬영된 이끼 이미지 i0를 획득할 수 있다.
분석 유니트(200)는 이끼 이미지 i0의 분석을 통해 건축물(10) 주변의 대기 오염을 분석할 수 있다.
본 발명의 모니터링 장치에는 획득부(110), 탐색부(130), 편집부(150), 추출부(210), 평탄화부(230), 분류부(250)가 마련될 수 있다. 획득부(110), 탐색부(130), 편집부(150)는 획득 유니트(100)에 마련될 수 있다. 추출부(210), 평탄화부(230), 분류부(250)는 분석 유니트(200)에 마련될 수 있다.
도 2는 획득부(110), 탐색부(130), 편집부(150)의 동작을 나타낸 개략도이다.
획득부(110)는 건축물(10) 외면을 촬영하는 촬영하는 촬영부(300)로부터 복수의 촬영 이미지 i1, i2, i3,...를 획득할 수 있다. 일 예로, 획득부(110)에는 촬영부(300)와 실시간으로 무선 통신하는 무선 통신 모듈이 마련될 수 있다. 획득부(110)는 촬영부(300)와 실시간 통신하는 무선 통신 모듈을 통해 촬영부(300)가 촬영한 촬영 이미지 i1, i2, i3 등을 실시간으로 획득할 수 있다.
탐색부(130)는 복수의 촬영 이미지 중에서 이끼(90)가 포함된 특정 촬영 이미지 i3를 탐색할 수 있다. 제어 편의성 및 신속성을 도모하기 위해 촬영부(300)는 이끼의 존재 유무에 상관없이 건물 외면을 설정 규칙 또는 랜덤하게 촬영할 수 있다. 따라서, 촬영부(300)에 의해 촬영된 촬영 이미지에는 이끼가 포함되지 않는 이미지도 존재할 수 있다. 탐색부(130)는 획득부(110)에 의해 입수된 복수의 촬영 이미지 i1, i2, i3 등을 대상으로 이미지 분석 기법, 딥 러닝 기법 등을 적용해 이끼가 포함된 특정 촬영 이미지 i3를 탐색할 수 있다.
편집부(150)는 이끼(90)가 포함된 특정 촬영 이미지 i3를 편집해서 이끼 이미지 i0를 생성할 수 있다. 일 예로, 편집부(150)는 특정 촬영 이미지 i3에 포함된 이끼(90)의 영역(이끼 영역 j)을 확대해서 이끼 영역 j만 포함된 확대 이미지 k를 생성할 수 있다. 이때, 이끼 이미지 i0는 확대 이미지 k를 포함할 수 있다. 예를 들어, 이끼 이미지 i0는 확대 이미지 k와 동일할 수 있다. 확대 이미지 k가 포함된 이끼 이미지 i0의 전체 영역에는 이끼가 가득 차고, 이끼 이미지 i0를 형성하는 아무 픽셀이 선택되더라도 해당 이끼의 색상이 파악될 수 있다.
분석 유니트(200)는 확대 이미지 k에서 색상 정보를 추출하고, 추출된 색상 정보를 이용해서 대기 오염을 분석할 수 있다.
편집부(150)에 따르면, 분석 유니트(200)는 특정 촬영 이미지 i3에서 이끼(90)를 구분하기 위한 추가 작업을 수행하지 않아도 된다. 따라서, 편집부(150)에 따르면, 분석 유니트(200)의 처리 부하가 경감될 수 있다.
한편, 분석 유니트(200)에 마련된 추출부(210)는 편집부(150)의 도움없이 특정 촬영 이미지 i3에서 직접 이끼 영역 j를 구분할 수 있다. 본 실시예에 따르면, 편집부(150)는 배제되어도 무방하다. 편집부(150)가 배제된 경우, 이끼가 포함된 특정 촬영 이미지 i3가 그대로 이끼 이미지 i0로서 추출부(210)에 제공될 수 있다. 다시 말해, 탐색부(130)에 의해 탐색된 특정 촬영 이미지 i3가 곧 이끼 이미지 i0가 될 수 있다.
이 경우, 추출부(210)는 특정 촬영 이미지 i3에서 이끼(90)가 존재하는 이끼 영역 j를 직접 구분 또는 추출할 수 있다. 또한, 추출부(210)는 이끼 영역 j 전체 면적 또는 일부 면적의 색상 특징을 추출할 수 있다. 이끼 영역 j를 형성하는 복수의 이미지 픽셀의 색상 정보 또는 색상값은 서로 다를 수 있다. 추출부(210)는 표준 편차, 분산, 평탄화 등의 기법을 적용하여 이끼 영역(90)을 형성하는 전체 면적 또는 일부 면적의 색상을 대표하는 대표값 하나를 출력할 수 있다. 이때, 추출부(210)로부터 출력된 하나의 대표값이 색상 특징에 해당될 수 있다.
분석 유니트(200)는 추출부(210)에 의해 추출된 색상 특징을 이용해서 대기 오염을 분석할 수 있다.
본 발명은 대기 오염에 따라 색상이 달라지는 이끼의 특성을 이용해서 대기 오염을 모니터링할 수 있다. 이끼의 색상을 이용해 대기 오염을 모니터링하기 위해서는 우선 이끼의 자생 위치가 파악되어야 한다. 또한, 색상을 선명하게 구분할 수 있는 상태에서 이끼의 모습이 촬영되어야 한다. 빌딩 등의 건축물(10)은 해당 조건을 모두 만족할 수 있다. 따라서, 이끼의 색상을 이용해서 대기 오염을 모니터링하는 대상으로 건축물(10)의 외면이 적합할 수 있다.
또한, 빌딩 등과 같이 높은 건축물(10)의 외면에 자생하는 이끼(90)를 모니터링하면, 고도별로 대기 오염이 파악될 수 있다.
건축물(10)의 외면에 자생하는 이끼를 촬영하기 위해 촬영부(300)가 마련될 수 있다.
촬영부(300)는 공중을 비행하면서 건축물(10) 외면을 촬영할 수 있다. 일 예로, 촬영부(300)는 프로펠러의 회전 등을 이용해 공중을 비행하는 비행 모듈(310), 비행 모듈(310)에 설치되고 건축물(10)의 외면을 광학적으로 촬영하는 카메라(390), 비행 고도를 감지하는 고도계(330)를 포함할 수 있다.
촬영부(300)의 고도계(330)는 건축물 외면을 촬영한 특정 시점에 비행 고도를 감지할 수 있다.
촬영부(300)는 특정 시점에 촬영된 촬영 이미지와 특정 시점에 감지된 비행 고도를 획득 유니트(100)에 제공할 수 있다.
획득 유니트(100)는 촬영 이미지를 이용해서 이끼 이미지를 획득하고, 이끼 이미지를 비행 고도와 함께 분석 유니트(200)에 제공할 수 있다.
분석 유니트(200)는 이끼 이미지를 대상으로 분석된 대기 오염에 비행 고도를 매칭시켜서 고도별 대기 오염 정보를 생성할 수 있다. 촬영부(300)는 중력 방향에 수직한 방향을 따라 연장되는 광축 L을 갖는 카메라(390)를 이용해서 건축물(10) 외면을 촬영할 수 있다. 광축 L을 갖는 카메라(390)에 의해 촬영된 촬영 이미지에 포함된 건물 외면의 높이는 촬영부(300)의 비행 고도에 직접 대응될 수 있다. 다시 말해, 촬영 이미지에 포함된 건물 부분은 촬영부(300)와 동일한 높이에 위치할 수 있다. 따라서, 해당 촬영 이미지를 이용해 파악된 대기 오염 상태는 고도계(330)를 이용해 파악된 해당 높이 지점의 대기 오염을 나타내거나, 고도계(330)를 이용해 파악된 고도의 대기 오염을 나타낼 수 있다.
분석 유니트(200)에 마련된 추출부(210)는 이끼 이미지에서 색상 특징을 추출할 수 있다.
평탄화부(230)는 추출부(210)에 의해 추출된 색상 특징을 평탄화시킬 수 있다.
분류부(250)는 평탄화부(230)로부터 출력된 데이터를 오염 수준에 따라 분류할 수 있다.
분석 유니트(200)는 CNN(Convolutional neural network) 기반의 VGG-16을 활용하는 이끼 분류 모델을 이용해서 대기 오염을 분석할 수 있다.
VGG-16은 컨볼루션(convolution)과 최대 풀 레이어(maxpool layer)가 조합된 16개의 스택을 가질 수 있다. VGG-16은 고밀도 레이어를 가질 수 있다.
이끼 분류 모델은 이끼 이미지에서 색상 특징을 추출하고, 추출된 색상 특징을 컨볼루션(convolution) 및 최대 풀 레이어(maxpool layer) 스택에 통과시켜서 평탄화된 결과를 출력하고, 평탄화된 결과를 고밀도 레이어(dense layer)에 통과시킬 수 있다.
분석 유니트(200)는 고밀도 레이어의 출력 데이터를 이용해 이끼 이미지를 분류하고, 분류 결과에 따라 대기 오염을 분석할 수 있다.
본 발명의 모니터링 방법은 도 1에 도시된 모니터링 장치에 의해 수행될 수 있다. 본 발명의 모니터링 방법은 건축물(10) 외면에서 자생하는 이끼(lichen)(90)가 촬영된 이끼 이미지를 CNN(Convolutional neural network)에 적용하고, CNN을 통해 분석된 이끼 이미지의 색상 특징을 이용해서 건축물(10) 주변의 대기 오염을 모니터링할 수 있다.
이끼의 색상을 이용해서 대기 오염을 분석하는 이끼 분류 모델이 요구된다. 이끼 분류 모델을 획득하기 위한 다른 모니터링 방법이 제공될 수 있다.
일 예로, 본 발명의 모니터링 방법에 따르면, 모니터링 장치는 대기 오염에 따라 변하는 이끼(lichen)의 색상을 대기 오염도별로 학습할 수 있다. 해당 학습에 기초해, 모니터링 장치는 이끼가 포함된 이끼 이미지가 입력되면 이끼 이미지에 포함된 이끼의 색상을 분석하는 이끼 분류 모델을 생성할 수 있다.
이끼 분류 모델은 이끼 이미지의 분석을 통해 분석된 색상을 기 학습된 대기 오염도별 색상에 맞춰 분류할 수 있다. 이끼 분류 모델은 촬영 이미지를 분석하는 다른 모니터링 장치에서 이끼의 색상을 분류하는데 사용될 수 있다. 이끼가 특정 색상으로 분류되면, 해당 특정 색상에 기매칭된 대기 오염 상태가 해당 이끼가 포함된 건물 외면 주변의 오염을 나타내는 것으로 추정될 수 있다.
이상에서 설명된 이끼와 대기 오염 간의 관계, 이끼 분류 모델의 구체적인 내용이 이하에서 상술된다.
대기 오염은 살아있는 유기체에 각종 영향을 미칠 수 있다. 이끼는 공기 질에 매우 민감한 바이오 지표로써 공기 중에 존재하는 요소를 흡수한다. 이끼의 오염 수준은 살아있는 유기체에 대한 동일한 영향을 반영할 수 있다. 이끼에 대한 색상 특징의 추출을 통해 도시를 대상으로 하는 오염률의 영향을 분석하고 인체에 얼마나 많은 오염 물질이 퇴적되는지가 설명될 수 있다. 이끼의 색상은 대기 오염에 따라 다르게 변할 수 있다.
도 3은 VGG-16 아키텍쳐를 나타낸 개략도이다. 도 4는 VGG-16 아키텍쳐의 동작 절차를 나타낸 개략도이다.
본 발명에서 제안된 VGG-16 모델(이끼 분류 모델)은 이끼가 포함된 이끼 이미지를 입력으로 수신하고, 이끼 이미지에서 색상 특징을 추출할 수 있다. 추출된 색상 특징은 VGG-16 아키텍쳐에서 컨벌루션 및 최대 풀 레이어 스택을 통과할 수 있다. 마지막으로, 입력 이미지가 평평(flat)해지고(평탄화) 오염 수준에 따라 분류될 수 있다. 정확도는 벡터 머신 및 입자 스웜 최적화(particle swarm optimization)를 지원하는 기존의 방법과 비교될 수 있다.
지구의 대기는 엑스레이, UV 광선, 행성 주위에 충돌하는 우주 광선과 같은 많은 입자로부터 살아있는 유기체를 보호한다. 또한, 삶의 지속 가능성에 유리한 균형을 유지하여 정상적인 온도를 유지하는 데 도움을 준다. 독성 물질이 공기 중에 혼합되면 대기 오염이 생겨 생물에 영향을 미친다. 대기 오염은 차량 또는 공장에서 배출되는 가스 등에 기인할 수 있다.
도시를 가로지르는 스모그부터 집안의 연기에 이르기까지 대기 오염은 건강과 기후에 큰 위협이 될 수 있다.
이끼(lichen)는 하나 또는 두 종의 곰팡이와 조류의 연합의 결과로 형성된 복합 유기체를 포함할 수 있다. 이끼는 나무 껍질, 벽, 바위, 묘비, 지붕 및 토양과 같은 다양한 곳에서 자생할 수 있다.
본 발명에 따르면, 이끼의 이미지 분석을 기반으로 건물 주변의 오염 수준이 모니터링되거나 분석될 수 있다. 서로 다른 구조와 구성을 가진 이끼를 대상으로 하는 9718개의 이미지 모음이 건물 주변의 대기 오염을 분석하기 위해 제안된 본 발명에서 도 5와 같이 데이터 세트로 사용될 수 있다.
도 5는 이끼의 데이터 세트를 나타낸 개략도이다. 도 6은 서로 다른 오염 수준에 접한 이끼의 색상을 시각적으로 나타낸 것이다. 도 7은 이미지 분류를 위한 VGG-16 아키텍쳐의 작동 단계를 나타낸 개략도이다.
오염 식별을 위한 이끼 분석은 다중 클래스 이미지 분류 문제에 해당될 수 있다.
일 예로, 본 발명의 모니터링 장치는 대기 오염에 따라 달라지는 이끼의 색깔을 이용해서, 대기 오염 상태를 깨끗한 상태에서 심각한 오염 상태의 순서로 'Not Polluted', 'Moderately Polluted', 'Heavily Polluted', 'Extremely Polluted'와 같이 분류할 수 있다. 'Not Polluted'는 대기 오염이 없는 상태를 나타낼 수 있다. 'Extremely Polluted'는 대기 오염이 심각한 상태를 나타낼 수 있다.
VGG-16은 이미지 분류를 위해 제안된 CNN 기반 접근 방식일 수 있다. 이끼 분류는 2단계 프로세스를 포함할 수 있다. 1 단계(도 7의 'Step 1')는 입력 이미지에서 특징 세트를 학습하는데 중점을 둘 수 있다. VGG-16은 입력 이미지에서 특징 세트를 학습할 수 있는 컨볼루션과 최대 풀 레이어의 조합으로 스택될 수 있다. 2 단계(도 7의 'Step 2')는 1단계의 출력을 수신하고 평탄화할 수 있다.
평탄화된 출력은 도 4와 같이 고밀도 레이어에 대한 입력으로 제공될 수 있다. 드롭 아웃 기능으로 고밀도 레이어 2가 활성화될 수 있다. Softmax는 멀티 클래스 분류를 위한 활성화 기능으로 사용될 수 있다. 고밀도 레이어의 출력에 따라 입력 이미지가 분류되고 해당 분류는 곧 오염 수준을 나타낼 수 있다. VGG-16 모델은 데이터 세트에서 사용 가능한 전체 이미지 중 트레이닝 데이터를 사용하여 구성된다. 모델은 에포크 값으로 35로 제한되어 정방향 및 역방향 패스 수를 줄일 수 있다.
빌딩 등과 같은 건축물(10) 주변의 전체 오염 감지는 VGG-16 아키텍쳐에 의해 수행될 수 있다. 이끼는 바위, 벽 및 지붕에서 자랄 수 있으며, 본 발명에서는 건물 주변의 오염 인디케이터로 이끼를 사용할 수 있다. 주변의 오염 수준을 나타내는 데 사용되는 다양한 물리적 및 화학적 조성을 가진 약 2300 종의 이끼가 있다. 이끼는 건물 주변에 자생할 수 있다. 드론과 같은 촬영부(300)를 통해 이끼를 모니터링할 수 있다. 촬영부(300)를 통해 캡처된 이미지는 VGG-16 이끼 분류 모델에 대한 입력으로 사용될 수 있다.
제안된 VGG-16 모델은 입력을 수신하고 이미지에서 색상 특징을 추출할 수 있다. 추출된 특징은 VGG-16 아키텍쳐에서 컨벌루션 및 최대 풀 레이어 스택을 통과할 수 있다. 마지막으로 입력 이미지가 평탄화되고 오염 수준에 따라 분류될 수 있다.
도 8은 VGG-16을 사용한 오염 감지 모델을 나타낸 개략도이다.
VGG-16 모델의 성능은 테스트 데이터와 도 8에 나와있는 기존의 다른 머신 러닝 모델을 통해 검증될 수 있다. 이 작업에서는 가장 친숙한 머신 러닝 모델 인 SVM과 PSO를 구현했다. VGG-16은 다른 머신 러닝 모델과 비교할 때 모든 성능 측정 측면에서 더 나은 성능을 제공할 수 있다.
도 9는 분류 정확도를 나타낸 그래프이다. 도 10은 분류 정밀도를 나타낸 나타낸 그래프이다. 도 11은 재호출을 나타낸 그래프이다. 도 12는 F-Measure를 나타낸 그래프이다.
기계 학습 알고리즘 SVM 및 PSO와 비교할 때, VGG-16 기반 딥 러닝 알고리즘은 최대 이미지 수를 올바르게 분류했다. VGG-16의 최고 정확도는 93.6%이며 PSO 및 SVM의 정확도는 84.8% 및 81.2%로 나타나 있다. SVM은 최고의 멀티 클래스 분류기 중 하나이지만 각 데이터 포인트의 특징 수가 트레이닝 데이터 샘플 수를 초과하게 되면 성능이 저하된다. VGG-16은 정밀도, 재호출 및 F-Measure 측정과 같은 다른 매개 변수 측정 측면에서 더 잘 수행되며 각각 94.4%, 92.9% 및 93.6%의 최대 값을 생성할 수 있다. VGG-16은 다른 머신 러닝 모델보다 개선된 멀티 클래스 분류를 수행할 수 있다.
VGG-16은 컨볼루션과 최대 풀 레이어의 16 레이어 스택을 갖춘 딥 아키텍쳐이다. 이끼 이미지는 트레이닝 및 모델 검증을 위해 별도로 그룹화될 수 있다. VGG-16의 전체 성능은 정확도 및 손실 기능 측면에서 표 1과 같이 측정될 수 있다. 제안된 작업에서 최적화된 에포크 수(EPOCH)를 사용하여 총 순방향 및 역방향 패스 수를 제어한다. VGG-16 성능의 시각적 표현은 도 9 내지 도 12과 같다.
EPOCH Training Accuracy Validation Accuracy Training Loss Validation Loss
3 0.58 0.69 0.81 0.73
7 0.826 0.841 0.56 0.45
10 0.845 0.86 0.26 0.19
13 0.886 0.89 0.13 0.09
17 0.926 0.932 0.09 0.08
20 0.928 0.94 0.08 0.03
23 0.931 0.935 0.04 0.02
27 0.935 0.939 0.02 0.01
30 0.936 0.941 0.02 0.01
35 0.936 0.941 0.02 0.01
VGG-16 알고리즘은 93.6의 최대 트레이닝 정확도와 94.1의 유효성 검사 정확도를 생성할 수 있다. 이 모델은 에포크 값 17에서 안정된 정확도와 에포크 20에서 안정된 손실 값을 생성할 수 있다. 이는 모델의 안정성을 분명히 보여준다. 또한 VGG-16 모델은 30번째 에포크에서 최대 정확도를, 27 번째 에포크에서 최소 손실 값을 생성할 수 있다.
도 13은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 13의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 모니터링 장치 등) 일 수 있다.
도 13의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
10...건축물 90...이끼
100...획득 유니트 110...획득부
130...탐색부 150...편집부
200...분석 유니트 210...추출부
230...평탄화부 250...분류부
300...촬영부 310...비행 모듈
330...고도계 390...카메라

Claims (8)

  1. 건축물 외면에서 자생하는 이끼(lichen)가 촬영된 이끼 이미지를 획득하는 획득 유니트;
    상기 이끼 이미지의 분석을 통해 상기 건축물 주변의 대기 오염을 분석하는 분석 유니트;를 포함하고,
    공중을 비행하면서 상기 건축물 외면을 촬영하고, 비행 고도를 감지하는 촬영부가 마련되고,
    상기 촬영부는 상기 건축물 외면을 촬영한 특정 시점에 상기 비행 고도를 감지하며,
    상기 촬영부는 상기 특정 시점에 촬영된 촬영 이미지와 상기 특정 시점에 감지된 비행 고도를 상기 획득 유니트에 제공하고,
    상기 획득 유니트는 상기 촬영 이미지를 이용해서 상기 이끼 이미지를 획득하고, 상기 이끼 이미지를 상기 비행 고도와 함께 상기 분석 유니트에 제공하며,
    상기 분석 유니트는 상기 이끼 이미지를 대상으로 분석된 대기 오염에 상기 비행 고도를 매칭시켜서, 고도별 대기 오염 정보를 생성하고,
    상기 촬영부는 중력 방향에 수직한 방향을 따라 연장되는 광축을 갖는 카메라를 이용해서 상기 건축물 외면을 촬영하는 모니터링 장치.
  2. 제1항에 있어서,
    상기 이끼 이미지에서 색상 특징을 추출하는 추출부, 추출된 상기 색상 특징을 평탄화시키는 평탄화부, 상기 평탄화부로부터 출력된 데이터를 오염 수준에 따라 분류하는 분류부가 마련된 모니터링 장치.
  3. 제1항에 있어서,
    상기 분석 유니트는 CNN(Convolutional neural network) 기반의 VGG-16을 활용하는 이끼 분류 모델을 이용해서 상기 대기 오염을 분석하고,
    상기 VGG-16은 컨볼루션(convolution)과 최대 풀 레이어(maxpool layer)가 조합된 16개의 스택을 갖고, 상기 VGG-16은 고밀도 레이어를 가지며,
    상기 이끼 분류 모델은 상기 이끼 이미지에서 색상 특징을 추출하고, 추출된 상기 색상 특징을 컨볼루션(convolution) 및 최대 풀 레이어(maxpool layer) 스택에 통과시켜서 평탄화된 결과를 출력하고, 상기 평탄화된 결과를 고밀도 레이어(dense layer)에 통과시키며,
    상기 분석 유니트는 상기 고밀도 레이어의 출력 데이터를 이용해 상기 이끼 이미지를 분류하고, 상기 분류 결과에 따라 상기 대기 오염을 분석하는 모니터링 장치.
  4. 제1항에 있어서,
    상기 건축물 외면을 촬영하는 촬영부로부터 복수의 촬영 이미지를 획득하는 획득부, 복수의 상기 촬영 이미지 중에서 상기 이끼가 포함된 특정 촬영 이미지를 탐색하는 탐색부, 상기 특정 촬영 이미지를 편집해서 상기 이끼 이미지를 생성하는 편집부가 마련되고,
    상기 편집부는 상기 특정 촬영 이미지에 포함된 이끼를 확대해서 상기 이끼만 포함된 확대 이미지를 생성하고,
    상기 이끼 이미지는 상기 확대 이미지를 포함하며,
    상기 분석 유니트는 상기 확대 이미지에서 색상 정보를 추출하고, 추출된 색상 정보를 이용해서 상기 대기 오염을 분석하는 모니터링 장치.
  5. 제1항에 있어서,
    상기 건축물 외면을 촬영하는 촬영부로부터 복수의 촬영 이미지를 획득하는 획득부, 복수의 상기 촬영 이미지 중에서 상기 이끼가 포함된 상기 이끼 이미지를 탐색하는 탐색부, 상기 이끼 이미지에서 상기 이끼가 존재하는 이끼 영역을 추출하고 상기 이끼 영역의 색상 특징을 추출하는 추출부가 마련되고,
    상기 분석 유니트는 상기 추출부에 의해 추출된 상기 색상 특징을 이용해서 상기 대기 오염을 분석하는 모니터링 장치.
  6. 삭제
  7. 모니터링 장치에 의해 수행되는 모니터링 방법에 있어서,
    건축물 외면에서 자생하는 이끼(lichen)가 촬영된 이끼 이미지를 CNN(Convolutional neural network)에 적용하고, 상기 CNN을 통해 분석된 상기 이끼 이미지의 색상 특징을 이용해서 상기 건축물 주변의 대기 오염을 모니터링하고,
    공중을 비행하면서, 중력 방향에 수직한 방향을 따라 연장되는 광축을 갖는 카메라를 이용해서 상기 건축물 외면을 촬영하고, 비행 고도를 감지하는 촬영부가 마련될 때,
    상기 촬영부를 이용하여 상기 건축물 외면을 촬영한 특정 시점에 상기 비행 고도를 감지하며,
    상기 촬영부를 통해 상기 특정 시점에 촬영된 촬영 이미지와 상기 특정 시점에 감지된 비행 고도를 획득하고,
    상기 촬영 이미지를 이용해서 상기 이끼 이미지를 획득하고, 상기 이끼 이미지를 대상으로 분석된 대기 오염에 상기 비행 고도를 매칭시켜서, 고도별 대기 오염 정보를 생성하는 모니터링 방법.
  8. 모니터링 장치에 의해 수행되는 모니터링 방법에 있어서,
    대기 오염에 따라 변하는 이끼(lichen)의 색상을 대기 오염도별로 학습하고,
    상기 학습에 기초해, 이끼가 포함된 이끼 이미지가 입력되면 상기 이끼 이미지에 포함된 상기 이끼의 색상을 분석하는 이끼 분류 모델을 생성하며,
    상기 이끼 분류 모델은 상기 이끼 이미지의 분석을 통해 분석된 색상을 기 학습된 대기 오염도별 색상에 맞춰 분류하고,
    공중을 비행하면서, 중력 방향에 수직한 방향을 따라 연장되는 광축을 갖는 카메라를 이용해서 건축물 외면을 촬영하고, 비행 고도를 감지하는 촬영부가 마련될 때,
    상기 촬영부를 이용하여 상기 건축물 외면을 촬영한 특정 시점에 상기 비행 고도를 감지하며,
    상기 촬영부를 통해 상기 특정 시점에 촬영된 촬영 이미지와 상기 특정 시점에 감지된 비행 고도를 획득하고,
    상기 촬영 이미지를 이용해서 상기 이끼 이미지를 획득하고, 상기 이끼 이미지를 대상으로 분석된 대기 오염에 상기 비행 고도를 매칭시켜서, 고도별 대기 오염 정보를 생성하는 모니터링 방법.
KR1020200036502A 2020-03-25 2020-03-25 모니터링 장치 및 모니터링 방법 KR102386150B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200036502A KR102386150B1 (ko) 2020-03-25 2020-03-25 모니터링 장치 및 모니터링 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200036502A KR102386150B1 (ko) 2020-03-25 2020-03-25 모니터링 장치 및 모니터링 방법

Publications (2)

Publication Number Publication Date
KR20210119843A KR20210119843A (ko) 2021-10-06
KR102386150B1 true KR102386150B1 (ko) 2022-04-12

Family

ID=78077365

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200036502A KR102386150B1 (ko) 2020-03-25 2020-03-25 모니터링 장치 및 모니터링 방법

Country Status (1)

Country Link
KR (1) KR102386150B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190325334A1 (en) 2018-04-23 2019-10-24 National Chung-Shan Institute Of Science And Technology Method for predicting air quality with aid of machine learning models

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051142B1 (ko) 2008-07-25 2011-07-22 김학성 인공위성을 이용한 황해 대기오염과 황사의 모니터링 기술
KR101774871B1 (ko) * 2015-02-05 2017-09-05 (주)유엔이 환경 오염 예측 시스템 및 방법
CN108664840A (zh) * 2017-03-27 2018-10-16 北京三星通信技术研究有限公司 图像识别方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190325334A1 (en) 2018-04-23 2019-10-24 National Chung-Shan Institute Of Science And Technology Method for predicting air quality with aid of machine learning models

Also Published As

Publication number Publication date
KR20210119843A (ko) 2021-10-06

Similar Documents

Publication Publication Date Title
Guerra-Hernández et al. Comparison of ALS-and UAV (SfM)-derived high-density point clouds for individual tree detection in Eucalyptus plantations
CN108369635B (zh) 用于航空图像获取与分析的方法
Franklin et al. Using spatial co-occurrence texture to increase forest structure and species composition classification accuracy.
US9619711B2 (en) Multi-spectral image labeling with radiometric attribute vectors of image space representation components
CN107835997A (zh) 使用计算机视觉的用于电力线走廊监测的植被管理
Alzadjali et al. Maize tassel detection from UAV imagery using deep learning
Lippitt et al. Mapping selective logging in mixed deciduous forest
Foschi et al. Detecting subpixel woody vegetation in digital imagery using two artificial intelligence approaches
JP4887130B2 (ja) 農地区画データ作成システム
WO2021187231A1 (ja) 罹病木診断システム、罹病木診断方法、及び罹病木診断プログラム
Cohen et al. An introduction to digital methods in remote sensing of forested ecosystems: focus on the Pacific Northwest, USA
Kumar et al. A deep learning paradigm for detection of harmful algal blooms
Varamesh et al. Detection of land use changes in northeastern Iran by Landsat satellite data.
Cohen et al. Development of an automated monitoring platform for invasive plants in a rare Great Lakes ecosystem using uncrewed aerial systems and convolutional neural networks
KR102386150B1 (ko) 모니터링 장치 및 모니터링 방법
Carbonell-Rivera et al. Classification of UAV-based photogrammetric point clouds of riverine species using machine learning algorithms: A case study in the Palancia river, Spain
JP2008152709A (ja) 地理画像処理装置、及びプログラム
Аksamentov et al. Approach to obstacle localization for robot navigation in agricultural territories
Uygun et al. Determination of tomato leafminer: Tuta absoluta (Meyrick)(Lepidoptera: Gelechiidae) damage on tomato using deep learning instance segmentation method
Brandtberg et al. High-spatial-resolution remote sensing
Durgun et al. Evaluation of Tree Diameter and Height Measurements in UAV Data through the Integration of Remote Sensing and Machine Learning Methods.
Zefri et al. Advanced Classification of Failure-Related Patterns on Solar Photovoltaic Farms Through Multiview Photogrammetry Thermal Infrared Sensing by Drones and Deep Learning
Poona et al. Discriminating the occurrence of pitch canker infection in Pinus radiata forests using high spatial resolution QuickBird data and artificial neural networks
Paraskevas et al. Detecting Holes in Fishery Nets using an ROV
Budnik et al. AI-Accelerated Decision Making in Forest Management

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant