KR102324684B1 - 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법 - Google Patents

Abstract

본 발명은 해양쓰레기를 모니터링하기 위한 장치 및 방법에 관한 것으로, 본 발명에 따르면, 해변의 특정 구간을 일정 간격으로 나누고 그 중에서 임의의 구간을 선정하여 해양쓰레기의 종류, 개수, 부피, 무게 등을 인력으로 직접 전수조사한 결과를 대표값으로 사용하여 해변 전체에 대한 해양쓰레기 양을 산정함으로 인해 조사시간 및 비용이 증가하고 오차가 매우 크게 발생하는 한계가 있었던 종래기술의 해양쓰레기 조사방법의 문제점을 해결하기 위해, 해양 이미지를 촬영하기 위한 자율비행 기능을 가지는 드론과 딥러닝(Deep Learning)에 기반한 인공지능(AI) 이미지 분석 알고리즘을 포함하는 무인 자동화 시스템을 이용하여, 실시간 이미지로부터 해양쓰레기의 종류, 개수, 부피, 무게 등을 추정하는 처리가 자동으로 수행되도록 구성됨으로써, 해양쓰레기의 정확한 측정과 조사시간 및 비용을 절감할 수 있는 데 더하여, 해양쓰레기에 대한 빅데이터 구축 및 광범위한 지역에 대한 모니터링 네트워크를 용이하게 구축할 수 있도록 구성되는 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법이 제공된다.

Description

무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법{Marine debris monitoring system based on unmanned observation and marine debris monitoring method using thereof}

본 발명은 해양쓰레기를 모니터링 하기 위한 장치 및 방법에 관한 것으로, 더 상세하게는, 종래, 해양쓰레기의 양을 측정하기 위해 해변의 특정 구간을 일정 간격으로 나누고 그 중에서 임의의 구간을 선정하여 해양쓰레기의 종류, 개수, 부피, 무게 등을 인력으로 직접 전수조사한 결과를 대표값으로 사용하여 해당 해변 전체에 대한 해양쓰레기 양을 산정함으로 인해 조사시간 및 비용이 증가하는 데 더하여, 일부 영역의 조사값을 해변 전체의 해양쓰레기양으로 단순 적용함에 따라 실제 결과와 오차가 매우 크게 발생하게 되는 한계가 있었던 종래기술의 해양쓰레기 조사방법의 문제점을 해결하기 위해, 무인 자동화 시스템을 이용하여 기존의 방법에 비해 보다 저렴한 비용 및 간단한 구성으로 해변 전체에 대한 해양쓰레기의 종류와 양을 정확하게 측정하고 모니터링할 수 있도록 구성되는 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법에 관한 것이다.

또한, 본 발명은, 상기한 바와 같이 사람이 직접 전수조사를 실시함으로 인해 조사시간 및 비용이 증가하고 일부 영역의 조사값을 해변 전체의 해양쓰레기 양으로 단순 적용함에 따라 오차가 매우 크게 발생하는 한계가 있었던 종래기술의 해양쓰레기 조사방법의 문제점을 해결하기 위해, 예를 들면, 드론(drone) 등과 같이, 해양 이미지를 촬영하기 위한 자율비행 기능을 가지는 해양관측용 무인비행체와 딥러닝(Deep Learning)에 기반한 인공지능(AI) 이미지 분석 알고리즘을 이용하여, 무인관측을 통해 취득된 해변 이미지에 대한 분석을 통해 해양쓰레기의 종류, 개수, 부피, 무게 등을 추정하는 처리가 자동으로 수행되도록 구성됨으로써, 사람이 직접 조사하기 어려운 지역에 대하여도 용이하게 측정이 가능하여 해변 전체에 대한 해양쓰레기의 종류와 양을 정확하게 측정하고 모니터링 할 수 있는 동시에, 별도의 인력을 투입하여 조사할 필요가 없으므로 기존에 비해 해양쓰레기 조사를 위한 시간 및 비용을 크게 절감할 수 있도록 구성되는 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법에 관한 것이다.

아울러, 본 발명은, 상기한 바와 같이 드론 등을 이용한 무인관측을 통해 취득된 해양 이미지에 대하여 딥러닝 기반의 인공지능 학습 및 분석을 통해 해양쓰레기의 종류, 개수, 부피, 무게 등을 추정하는 처리가 자동으로 수행되도록 구성됨으로써, 해변 전체에 대한 해양쓰레기의 종류와 양을 정확하게 측정하고 조사 시간 및 비용을 크게 절감할 수 있는 데 더하여, 각 지역별로 구축되는 모니터링 시스템들을 네트워크로 연결하는 것에 의해 해양쓰레기에 대한 빅데이터를 구축하고 사용자의 요구에 따라 맞춤형으로 각종 정보를 제공 가능한 동시에, 해안선 전체 등과 같이 광범위한 지역에 대하여도 해양쓰레기에 대한 모니터링 시스템을 용이하게 구축할 수 있도록 구성되는 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법에 관한 것이다.

최근, 전세계적으로 환경오염에 대한 문제가 점점 심각해지면서 육지에서 발생된 각종 쓰레기가 바다로 흘러가서 해양 생태계를 오염시키는 해양쓰레기의 발생을 방지하기 위한 대처방안 및 이미 해상에 존재하는 해양쓰레기의 수거처리에 대한 문제가 주요한 쟁점으로 대두되고 있다.

또한, 최근에는, 단순히 해양쓰레기가 바다로 유입되어 해양 생태계를 오염시키는 것에 그치는 것이 아니라, 해양쓰레기로 인해 오염된 바다 및 해양 생태계가 다시 육지에 악영향을 미치는 악순환이 반복되는 경우가 증가하고 있다.

이에, 최근에는, 전세계적으로 해양쓰레기의 발생을 방지 또는 최소화하는 동시에 이미 존재하는 해양쓰레기의 신속하고 효과적인 수거처리를 위한 대책 마련 및 그러한 대책의 실행을 위한 기술개발에 대한 요구가 높아지고 있다.

여기서, 상기한 바와 같은 해양쓰레기의 처리를 위한 장치 및 방법에 대한 종래기술의 예로는, 먼저, 예를 들면, 한국 등록특허공보 제10-2216481호에 제시된 바와 같은 "연장 크레인을 이용하여 해양쓰레기를 수거하는 수거선 및 그 수거방법"이 있다.

더 상세하게는, 상기한 한국 등록특허공보 제10-2216481호는, 해양쓰레기를 수거하고 수용하는 공간을 제공하는 수거선 본체; 수거선 본체의 일부분에 구비되어 수거선 본체를 설정된 위치에 고정시키는 고정유닛; 수거선 본체에 설치되어 위치를 이동시키면서 해양쓰레기를 수거선 본체로 수거하는 수거유닛; 수거선 본체의 일부분에 설치되며 수거유닛이 회전가능하게 결합되어 수거유닛으로 수거된 해양쓰레기를 이송시키는 이송유닛; 수거선 본체의 일부분에 설치되고 이송유닛을 통해 이송된 해양쓰레기를 압축하여 포장하는 포장유닛; 및 수거선 본체의 일부분에 설치되며 고정유닛, 수거유닛, 이송유닛 및 포장유닛의 작동을 각각 제어하는 컨트롤러를 포함하여, 고정유닛을 이용하여 수거선을 해양이나 하구에서 원하는 설정된 위치에 고정하고 이송유닛의 연장크레인을 이용하여 외진 곳이나 외딴 곳에서도 비교적 수월하게 해양쓰레기의 수거가 가능하며, 이송 컨베이어와 포장유닛을 통해 수거되는 해양쓰레기를 설정된 장소로 이송하거나 설정된 모양으로의 포장이 가능하도록 구성되는 연장 크레인을 이용하여 해양쓰레기를 수거하는 수거선 및 그 수거방법을 제시하고 있다.

아울러, 상기한 바와 같은 해양쓰레기의 처리를 위한 장치 및 방법에 대한 종래기술의 다른 예로는, 예를 들면, 한국 등록특허공보 제10-2177950호에 제시된 바와 같은 "부유식 해양 쓰레기 차단 수거 장치"가 있다.

더 상세하게는, 상기한 한국 등록특허공보 제10-2177950호는, 하천에 수직 방향으로 설치되는 서포트 바; 수위에 따라 서포트 바를 따라 승강하는 플로팅 부재; 플로팅 부재의 양측에 소정 범위내에서 수평방향으로 회동가능하도록 결합되는 회동프레임; 회동프레임에 소정 간격을 두고 설치되는 한 쌍의 풀리; 풀리에 체결되는 회전벨트; 회전벨트의 외측에 부착된 다수개의 쓰레기 수거 포크; 및 회동프레임의 타단에 결합되어 회동프레임의 회동을 가이드하는 운동 승강부를 포함하여, 비교적 간단한 구성 및 저렴한 비용으로 하천과 바다가 만나는 지역에서 밀물과 썰물 양자의 경우에 하천폭 전체에 걸쳐 양방향으로 유동하는 쓰레기를 차단 및 수거할 수 있도록 구성되는 부유식 해양 쓰레기 차단 수거 장치를 제시하고 있다.

상기한 바와 같이, 종래, 해양쓰레기의 처리를 위한 장치 및 방법에 대하여 여러 가지 기술내용들이 제시된 바 있으나, 상기한 바와 같은 종래기술의 내용들은 다음과 같은 문제점이 있는 것이었다.

더 상세하게는, 일반적으로, 해양쓰레기의 처리를 위하여는 먼저 어느 위치에 해양쓰레기가 존재하는지를 파악하는 것이 필요하고, 해양쓰레기의 위치가 파악된 경우에도 해당 위치에 어떠한 종류의 쓰레기가 얼마만큼 존재하는지를 정확히 파악하여야 신속하고 효율적인 수거 및 처리가 이루어질 수 있다.

그러나 상기한 바와 같은 종래기술의 내용들은, 대부분 이미 발생된 해양쓰레기를 수거하여 처리하는 데에만 중점을 두고 있을 뿐, 상기한 바와 같이 해양쓰레기의 종류와 양 및 위치나 분포 등에 대한 각종 정보를 정확히 측정하고 파악하여 관리하는 것에 의해 해양쓰레기의 발생을 최소화하고 신속하게 제거할 수 있도록 모니터링하기 위한 기술내용에 대하여는 제시된 바 없었다.

여기서, 우리나라에서는, 해양쓰레기의 모니터링을 위해 전국에 40개의 관측지점을 운영하고 있으며, 각각의 관측지점에서 대략 2개월 단위로 해양쓰레기의 양을 조사하고 있다.

더 상세하게는, 현재, 해양쓰레기의 양을 측정하는 방법으로, 해변의 100m 구간을 임의로 정하고 해당 구간을 다시 5m 단위로 나눈 다음, 분할된 5m 구간들 중 4개의 구간을 임의로 선정하여 인력에 의한 전수조사를 통해 해양쓰레기 양을 조사하고 있으며, 이와 같이 선택된 4개의 구간에서의 해양쓰레기 종류 및 양(개수, 크기(부피), 무게)에 대한 전수조사 결과를 해변 전체에 대한 대표값으로 사용하여 해변 전체의 해양쓰레기 양으로 산정하고 있다.

그러나 이러한 기존의 방법은 사람이 직접 조사함으로 인해 비용과 시간의 제약이 크고, 이에 더하여, 선택된 좁은 영역의 조사값을 해변 전체의 해양쓰레기 양으로 단순 적용함으로 인해 오차가 매우 크다는 문제가 있다.

더욱이, 각각의 지역별로 해양쓰레기의 종류 및 양 등에 대한 모니터링 정보를 제공할 수 있다면 보다 효과적인 해양쓰레기 관리시스템의 개발 및 정책수립 등에 기여할 수 있을 것으로 기대되나, 상기한 바와 같은 종래기술의 내용들에는 이러한 내용에 대하여도 고려된 바 없었다.

따라서 상기한 바와 같이, 사람이 직접 조사함으로 인해 시간 및 비용이 증가하고 일부 영역의 조사값을 해변 전체의 해양쓰레기 양으로 적용함으로 인해 오차가 매우 크게 발생하는 한계가 있었던 종래기술의 해양쓰레기 측정방법의 문제점을 해결하기 위해서는, 무인 자동화 시스템을 통하여 기존에 비해 보다 간단한 구성 및 저렴한 비용으로 해변 전체에 대한 해양쓰레기의 종류와 양을 정확하게 측정하고 모니터링할 수 있도록 구성되는 새로운 구성의 해양쓰레기 모니터링 시스템 및 방법을 제시하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제공되지 못하고 있는 실정이다.

한국 등록특허공보 제10-2216481호 (2021.02.09.) 한국 등록특허공보 제10-2177950호 (2020.11.06.)

본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, 해양쓰레기의 양을 측정하기 위해 해변의 특정 구간을 일정 간격으로 나누고 그 중에서 임의의 구간을 선정하여 해양쓰레기의 종류, 개수, 크기(부피), 무게 등을 인력으로 직접 전수조사한 결과를 대표값으로 사용하여 해당 해변 전체에 대한 해양쓰레기 양을 산정함으로 인해 조사시간 및 비용이 증가하는 데 더하여, 일부 영역의 조사값을 해변 전체의 해양쓰레기 양으로 단순 적용함에 따라 실제 결과와 오차가 매우 크게 발생하게 되는 한계가 있었던 종래기술의 해양쓰레기 조사방법의 문제점을 해결하기 위해, 무인 자동화 시스템을 이용하여 기존의 방법에 비해 보다 저렴한 비용 및 간단한 구성으로 해변 전체에 대한 해양쓰레기의 종류와 양을 정확하게 측정하고 모니터링할 수 있도록 구성되는 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법을 제시하고자 하는 것이다.

또한, 본 발명의 다른 목적은, 상기한 바와 같이 사람이 직접 전수조사를 실시함으로 인해 조사시간 및 비용이 증가하고 일부 영역의 조사값을 해변 전체의 해양쓰레기 양으로 단순 적용함에 따라 오차가 매우 크게 발생하는 한계가 있었던 종래기술의 해양쓰레기 조사방법의 문제점을 해결하기 위해, 예를 들면, 드론(drone) 등과 같이, 해양 이미지를 촬영하기 위한 자율비행 기능을 가지는 해양관측용 무인비행체와 딥러닝(Deep Learning)에 기반한 인공지능(AI) 이미지 분석 알고리즘을 이용하여, 무인관측을 통해 취득된 해변 이미지에 대한 분석을 통해 해양쓰레기의 종류, 개수, 부피, 무게 등을 추정하는 처리가 자동으로 수행되도록 구성됨으로써, 사람이 직접 조사하기 어려운 지역에 대하여도 용이하게 측정이 가능하여 해변 전체에 대한 해양쓰레기의 종류와 양을 정확하게 측정하고 모니터링 할 수 있는 동시에, 별도의 인력을 투입하여 조사할 필요가 없으므로 기존에 비해 해양쓰레기 조사를 위한 시간 및 비용을 크게 절감할 수 있도록 구성되는 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법을 제시하고자 하는 것이다.

아울러, 본 발명의 또 다른 목적은, 상기한 바와 같이 드론 등을 이용한 무인관측을 통해 취득된 해양 이미지에 대하여 딥러닝에 기반한 인공지능 학습 및 분석을 통해 해양쓰레기의 종류, 개수, 크기(부피), 무게 등을 추정하는 처리가 자동으로 수행되도록 구성됨으로써, 해변 전체에 대한 해양쓰레기의 종류와 양을 정확하게 측정하고 조사 시간 및 비용을 크게 절감할 수 있는 데 더하여, 각 지역별로 구축되는 모니터링 시스템들을 네트워크로 연결하는 것에 의해 해양쓰레기에 대한 빅데이터를 구축하고 사용자의 요구에 따라 맞춤형으로 각종 정보를 제공 가능한 동시에, 해안선 전체 등과 같이 광범위한 지역에 대하여도 해양쓰레기에 대한 모니터링 시스템을 용이하게 구축할 수 있도록 구성되는 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법을 제시하고자 하는 것이다.

상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 무인관측 기반 해양쓰레기 모니터링 시스템에 있어서, 미리 설정된 경로에 따라 해변이나 해상의 이미지를 촬영하는 처리가 수행되도록 이루어지는 해양이미지 취득부; 상기 해양이미지 취득부에 의해 취득된 이미지로부터 해양쓰레기의 유무를 판별하고 판별된 해양쓰레기의 종류와 양을 포함하는 각종 정보를 추정하는 처리가 수행되도록 이루어지는 이미지 분석부; 다른 모니터링 시스템 및 서버를 포함하는 외부 기기와 각종 데이터를 송수신하기 위해 유선 또는 무선통신 중 적어도 하나의 방식으로 통신을 수행하도록 이루어지는 통신부; 및 상기 해양이미지 취득부, 상기 이미지 분석부, 상기 통신부 및 상기 모니터링 시스템의 전체적인 동작을 제어하는 처리가 수행되도록 이루어지는 제어부를 포함하여 구성되는 것을 특징으로 하는 무인관측 기반 해양쓰레기 모니터링 시스템이 제공된다.

여기서, 상기 해양이미지 취득부는, 미리 설정된 경로에 따라 자율적으로 이동하면서 촬영을 수행하여 무인 원격 운영이 가능하도록 이루어지는 무인 비행체(Unmanned Aerial Vehicle ; UAV)를 이용하여, 각각의 상기 무인 비행체가 미리 설정된 경로를 따라 해변이나 해상을 비행하면서 이미지 또는 영상을 촬영하여 상기 이미지 분석부로 각각 전송하는 처리가 수행되도록 구성되는 것을 특징으로 한다.

또한, 상기 무인 비행체는, 해상을 비행하는 특성을 고려하여 방수, 방염, 방풍 기능과 함께 자동 이착륙, 자동충전 및 군집 운영이 가능하도록 자동관제 기능을 가지고, 카메라 및 통신모듈을 포함하여 무선통신을 통해 실시간으로 촬영된 영상 및 이미지를 전송 가능하도록 이루어지는 해상촬영용 드론(drone)을 이용하여 구성되는 것을 특징으로 한다.

또는, 상기 해양이미지 취득부는, 미리 촬영된 해변이나 해상의 영상 또는 이미지를 외부로부터 입력받도록 구성되는 것을 특징으로 한다.

아울러, 상기 이미지 분석부는, 해변 및 해양 환경에 대한 다양한 이미지 및 영상을 포함하는 각종 데이터를 수집하여 해양쓰레기에 대한 학습데이터를 구축하는 처리가 수행되는 학습데이터 구축단계; 딥러닝(Deep Learning)에 기반한 인공지능(AI) 학습 알고리즘을 이용하여, 상기 학습데이터 구축단계에서 수집된 상기 학습데이터에 대한 학습이 이루어지는 처리가 수행되는 학습단계; 및 상기 학습단계의 학습결과에 근거하여, 상기 해양이미지 취득부를 통해 입력 또는 전송되는 실시간 이미지로부터 해양쓰레기의 유무를 판별하고, 판별된 해양쓰레기를 플라스틱, 스티로폼, 금속, 고무, 유리, 어구(fishing gear), 미분류를 포함하는 복수의 카테고리로 각각 분류하며, 각각의 카테고리별로 해양쓰레기의 개수를 산출하고 각각의 해양쓰레기에 대한 크기(부피) 및 무게를 각각 산출하는 처리가 수행되는 분석단계를 포함하는 처리가 수행되도록 구성되는 것을 특징으로 한다.

여기서, 상기 학습데이터 구축단계는, 각각의 지역에 대하여 미리 정해진 일정 간격(면적)으로 해변 및 해양쓰레기의 이미지나 영상을 촬영하거나 또는 미리 촬영된 이미지나 영상을 입력받아 각각의 이미지에 포함된 해양쓰레기의 카테고리를 분류하고, 분류된 각각의 해양쓰레기의 항목별로 라벨링(labeling)을 행하여 데이터베이스 형태로 저장하는 것에 의해 각 지역별로 해양쓰레기에 대한 상기 학습데이터를 구축하는 처리가 수행되도록 구성되는 것을 특징으로 한다.

더욱이, 상기 학습단계 및 상기 분석단계에서, 상기 딥러닝(Deep Learning)에 기반한 인공지능(AI) 학습 알고리즘은 네트워크 모델(network model)을 이용하여 구성되는 것을 특징으로 한다.

또한, 상기 분석단계는, 상기 실시간 이미지에서 각각의 해양쓰레기가 차지하는 픽셀 수에 근거하여 각각의 해양쓰레기에 대한 크기(부피)를 산출하고, 산출된 각각의 해양쓰레기의 크기(부피) 및 각각의 카테고리별로 미리 설정된 기준값에 근거하여 각각의 해양쓰레기에 대한 무게를 산출하는 처리가 수행되도록 구성되는 것을 특징으로 한다.

아울러, 상기 제어부는, 상기 해양이미지 취득부를 통해 촬영된 영상이나 이미지 및 상기 이미지 분석부를 통해 추정된 해양쓰레기의 종류와 양에 대한 정보를 포함하는 각종 데이터를 별도의 디스플레이를 포함하는 표시수단을 통해 출력하고 메모리를 포함하는 데이터 저장수단에 저장하여 해양쓰레기의 모니터링 결과에 대한 데이터베이스를 구축하는 동시에, 미리 정해진 설정에 따라 주기적으로, 또는, 외부의 제어신호에 따라 모니터링 데이터를 관제서버나 외부 기기 또는 다른 모니터링 시스템으로 전송하는 처리가 수행되도록 구성되는 것을 특징으로 한다.

더욱이, 본 발명에 따르면, 상기에 기재된 무인관측 기반 해양쓰레기 모니터링 시스템을 이용한 해양쓰레기 모니터링 방법에 있어서, 상기 무인관측 기반 해양쓰레기 모니터링 시스템의 해양이미지 취득부를 통하여 다양한 해변 및 해상의 이미지나 영상을 수집하여 학습데이터를 생성하는 처리가 수행되는 이미지 수집단계; 상기 무인관측 기반 해양쓰레기 모니터링 시스템의 이미지 분석부를 통하여, 딥러닝(Deep Learning)에 기반한 인공지능(AI) 학습 알고리즘을 이용하여 상기 이미지 수집단계에서 수집된 다양한 해양쓰레기의 이미지에 대한 학습을 수행하는 처리가 수행되는 학습단계; 상기 무인관측 기반 해양쓰레기 모니터링 시스템의 이미지 분석부를 통하여, 상기 학습단계의 학습결과에 근거하여 실시간으로 입력되는 이미지나 영상으로부터 해양쓰레기를 판별하고, 판별된 해양쓰레기의 종류와 양을 추정하는 처리가 수행되는 분석단계; 및 상기 무인관측 기반 해양쓰레기 모니터링 시스템의 제어부를 통하여, 상기 분석단계를 통해 분석된 분석결과를 포함하는 각종 정보를 출력하고 사용자의 요청에 따른 정보를 제공하는 처리가 수행되는 정보제공단계를 포함하여 구성되는 것을 특징으로 하는 해양쓰레기 모니터링 방법이 제공된다.

또한, 본 발명에 따르면, 해양쓰레기 관리시스템에 있어서, 각각의 지역별로 설치되는 복수의 해양쓰레기 모니터링 시스템; 각각의 상기 해양쓰레기 모니터링 시스템으로부터 모니터링 정보를 각각 수신하여 해양쓰레기에 대한 빅데이터를 구축하고, 사용자의 요청에 따라 해당하는 각종 정보를 맞춤형으로 제공하는 처리가 수행되도록 이루어지는 관제서버; 및 각각의 사용자가 상기 관제서버에 해양쓰레기에 대한 정보를 요청하고 전달받기 위한 사용자 단말기를 포함하여 구성되고, 상기 해양쓰레기 모니터링 시스템은, 상기에 기재된 무인관측 기반 해양쓰레기 모니터링 시스템을 이용하여 구성되는 것을 특징으로 하는 해양쓰레기 관리시스템이 제공된다.

여기서, 상기 사용자 단말기는, PC를 포함하는 정보처리장치, 또는, 스마트폰이나 태블릿 PC 또는 노트북을 포함하는 개인 휴대용 정보통신 단말기에 전용의 프로그램이나 어플리케이션을 설치하는 것에 의해 구성되는 것을 특징으로 하는 한다.

상기한 바와 같이, 본 발명에 따르면, 예를 들면, 해양 이미지를 촬영하기 위한 자율비행 기능을 가지는 다수의 드론과 같은 해양관측용 무인비행체와 딥러닝(Deep Learning)에 기반한 인공지능(AI) 이미지 분석 알고리즘을 이용하여, 무인관측을 통해 취득된 해양 이미지로부터 해양쓰레기의 종류, 개수, 크기(부피), 무게 등을 추정하는 처리가 자동으로 수행되도록 구성되는 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법이 제공됨으로써, 사람이 직접 조사하기 어려운 지역에 대하여도 용이하게 측정이 가능하여 해양쓰레기의 종류와 양을 정확하게 측정하고 모니터링 할 수 있는 동시에, 별도의 인력을 투입하여 조사할 필요가 없으므로 기존에 비해 해양쓰레기 조사를 위한 시간 및 비용을 크게 절감할 수 있다.

또한, 본 발명에 따르면, 상기한 바와 같이 드론 등을 이용한 무인관측을 통해 취득된 해양 이미지에 대하여 딥러닝에 기반한 인공지능 학습 및 분석을 통해 해양쓰레기의 종류, 개수, 크기(부피), 무게 등을 추정하는 처리가 자동으로 수행되도록 구성되는 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법이 제공됨으로써, 해양쓰레기의 양을 측정하기 위해 해변의 특정 구간을 일정 간격으로 나누고 그 중에서 임의의 구간을 선정하여 해양쓰레기의 종류, 개수, 크기(부피), 무게 등을 인력으로 직접 전수조사한 결과를 대표값으로 사용하여 해당 해변 전체에 대한 해양쓰레기 양을 산정함으로 인해 조사시간 및 비용이 증가하는 데 더하여, 일부 영역의 조사값을 해변 전체의 해양쓰레기 양으로 단순 적용함에 따라 실제 결과와 오차가 매우 크게 발생하게 되는 한계가 있었던 종래기술의 해양쓰레기 조사방법의 문제점을 해결할 수 있다.

아울러, 본 발명에 따르면, 상기한 바와 같이 드론 등을 이용한 무인관측을 통해 취득된 해양 이미지에 대하여 딥러닝에 기반한 인공지능 학습 및 분석을 통해 해양쓰레기의 종류, 개수, 크기(부피), 무게 등을 추정하는 처리가 자동으로 수행되도록 구성되는 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법이 제공됨으로써, 기존에 비해 보다 간단한 구성 및 저렴한 비용으로 해변 전체에 대한 해양쓰레기의 종류와 양을 정확하게 측정하고 조사 시간 및 비용을 크게 절감할 수 있는 데 더하여, 각 지역별로 구축되는 모니터링 시스템들을 네트워크로 연결하는 것에 의해 해양쓰레기에 대한 빅데이터를 구축하고 사용자의 요구에 따라 맞춤형으로 각종 정보를 제공 가능한 동시에, 해안선 전체 등과 같이 광범위한 지역에 대하여도 해양쓰레기에 대한 모니터링 시스템을 용이하게 구축할 수 있다.

도 1은 본 발명의 실시예에 따른 무인관측 기반 해양쓰레기 모니터링 시스템의 전체적인 구성을 개략적으로 나타내는 블록도이다.
도 2는 도 1에 나타낸 본 발명의 실시예에 따른 무인관측 기반 해양쓰레기 모니터링 시스템을 이용한 해양쓰레기 관리시스템의 전체적인 구성을 개략적으로 나타내는 개념도이다.
도 3은 본 발명의 실시예에 따른 무인관측 기반 해양쓰레기 모니터링 시스템의 이미지 분석부에 적용되는 딥러닝(Deep Learning) 기반 인공지능(AI) 학습 알고리즘의 이미지 학습 및 분석을 위해 적용된 충남 서천군 다사항 해변을 개략적으로 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 무인관측 기반 해양쓰레기 모니터링 시스템의 이미지 분석부에 적용되는 딥러닝(Deep Learning) 기반 인공지능(AI) 학습 알고리즘의 이미지 학습 및 분석에 적용된 이미지를 개략적으로 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 무인관측 기반 해양쓰레기 모니터링 시스템의 이미지 분석부에 적용되는 딥러닝 기술을 이용한 해변 쓰레기의 탐지, 정량화 및 분류 처리를 위한 네트워크 모델의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 6은 도 5에 나타낸 네트워크 모델에 의해 탐지된 해변 쓰레기가 데이터베이스에 저장되는 예를 개략적으로 나타내는 도면이다.
도 7은 도 5에 나타낸 네트워크 모델에 대하여 해변 쓰레기의 종류별 mAP 점수를 산출한 결과를 각각 나타내는 도면이다.
도 8은 도 5에 나타낸 네트워크 모델에 의해 자동으로 분류/계산된 항목의 수와 인력으로 직접 분류/계산된 항목의 수를 비교한 결과를 나타내는 도면이다.
도 9는 자동 방식과 기존의 방식에 기반하여 통계적으로 추정된 해변 쓰레기의 스탠딩 스톡을 실제 조사결과와 각각 비교하여 나타낸 도면이다.
도 10은 하이퍼 파라미터의 최적화를 위해 하이퍼 파라미터 튜닝을 수행한 결과를 나타내는 도면이다.
도 11은 조개껍질이 플라스틱으로 오검출된 학습 데이터의 예를 나타내는 도면이다.
도 12는 각각의 횡단면에서 조사된 해변 쓰레기의 양과 기존의 방법으로 전체 해변에 대하여 확장된 해변 쓰레기의 총량을 각각 나타내는 도면이다.
도 13은 본 발명의 실시예에 따른 해양쓰레기 모니터링 방법의 전체적인 구성을 개략적으로 나타내는 플로차트이다.

이하, 첨부된 도면을 참조하여, 본 발명에 따른 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법의 구체적인 실시예에 대하여 설명한다.

여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다.

또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다.

즉, 본 발명은, 후술하는 바와 같이, 해양쓰레기의 양을 측정하기 위해 해변의 특정 구간을 일정 간격으로 나누고 그 중에서 임의의 구간을 선정하여 해양쓰레기의 종류, 개수, 크기(부피), 무게 등을 인력으로 직접 전수조사한 결과를 대표값으로 사용하여 해당 해변 전체에 대한 해양쓰레기 양을 산정함으로 인해 조사시간 및 비용이 증가하는 데 더하여, 일부 영역의 조사값을 해변 전체의 해양쓰레기양으로 단순 적용함에 따라 실제 결과와 오차가 매우 크게 발생하게 되는 한계가 있었던 종래기술의 해양쓰레기 조사방법의 문제점을 해결하기 위해, 무인 자동화 시스템을 이용하여 기존의 방법에 비해 보다 저렴한 비용 및 간단한 구성으로 해변 전체에 대한 해양쓰레기의 종류와 양을 정확하게 측정하고 모니터링할 수 있도록 구성되는 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법에 관한 것이다.

아울러, 본 발명은, 후술하는 바와 같이, 사람이 직접 전수조사를 실시함으로 인해 조사시간 및 비용이 증가하고 일부 영역의 조사값을 해변 전체의 해양쓰레기 양으로 단순 적용함에 따라 오차가 매우 크게 발생하는 한계가 있었던 종래기술의 해양쓰레기 조사방법의 문제점을 해결하기 위해, 예를 들면, 드론(drone) 등과 같이, 해양 이미지를 촬영하기 위한 자율비행 기능을 가지는 해양관측용 무인비행체와 딥러닝(Deep Learning)에 기반한 인공지능(AI) 이미지 분석 알고리즘을 이용하여, 무인관측을 통해 취득된 해변 이미지에 대한 분석을 통해 해양쓰레기의 종류, 개수, 부피, 무게 등을 추정하는 처리가 자동으로 수행되도록 구성됨으로써, 사람이 직접 조사하기 어려운 지역에 대하여도 용이하게 측정이 가능하여 해변 전체에 대한 해양쓰레기의 종류와 양을 정확하게 측정하고 모니터링 할 수 있는 동시에, 별도의 인력을 투입하여 조사할 필요가 없으므로 기존에 비해 해양쓰레기 조사를 위한 시간 및 비용을 크게 절감할 수 있도록 구성되는 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법에 관한 것이다.

더욱이, 본 발명은, 후술하는 바와 같이, 드론 등을 이용한 무인관측을 통해 취득된 해양 이미지에 대하여 딥러닝에 기반한 인공지능 학습 및 분석을 통해 해양쓰레기의 종류, 개수, 크기(부피), 무게 등을 추정하는 처리가 자동으로 수행되도록 구성됨으로써, 해변 전체에 대한 해양쓰레기의 종류와 양을 정확하게 측정하고 조사 시간 및 비용을 크게 절감할 수 있는 데 더하여, 각 지역별로 구축되는 모니터링 시스템들을 네트워크로 연결하는 것에 의해 해양쓰레기에 대한 빅데이터를 구축하고 사용자의 요구에 따라 맞춤형으로 각종 정보를 제공 가능한 동시에, 해안선 전체 등과 같이 광범위한 지역에 대하여도 해양쓰레기에 대한 모니터링 시스템을 용이하게 구축할 수 있도록 구성되는 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법에 관한 것이다.

계속해서, 도면을 참조하여, 본 발명에 따른 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법의 구체적인 내용에 대하여 설명한다.

먼저, 도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 무인관측 기반 해양쓰레기 모니터링 시스템(10)의 전체적인 구성을 개략적으로 나타내는 블록도이다.

도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 무인관측 기반 해양쓰레기 모니터링 시스템(10)은, 크게 나누어, 해양쓰레기의 식별을 위해 해변이나 해상의 이미지를 촬영 또는 입력받는 처리가 수행되도록 이루어지는 해양이미지 취득부(11)와, 해양이미지 취득부(11)에 의해 촬영 또는 입력된 이미지로부터 해양쓰레기의 유무를 판별하고 판별된 해양쓰레기의 종류와 양(개수, 크기(부피) 및 무게) 등의 각종 정보를 추정하는 처리가 수행되도록 이루어지는 이미지 분석부(12)와, 각각의 모니터링 시스템(10) 또는 서버 등과 같은 외부 기기와 각종 데이터를 송수신하기 위해 유선 또는 무선통신 중 적어도 하나의 방식으로 통신을 수행하도록 이루어지는 통신부(13) 및 상기한 각 부 및 모니터링 시스템(10)의 전체적인 동작을 제어하는 처리가 수행되도록 이루어지는 제어부(14)를 포함하여 구성될 수 있다.

여기서, 상기한 해양이미지 취득부(11)는, 예를 들면, 해안가에 설치된 CCTV 영상이나 항공기 또는 인공위성 등을 등을 이용하여 촬영된 영상 또는 이미지를 수신하도록 구성될 수 있으나, 바람직하게는, 미리 설정된 경로에 따라 자율적으로 이동하면서 촬영을 수행하도록 구성되어 무인 원격 운영이 가능한 자율비행형 해상촬영용 드론을 이용하여, 미리 설정된 경로를 따라 해변이나 해상을 비행하면서 이미지 또는 영상을 촬영하여 이미지 분석부(12)로 전송하도록 구성될 수 있다.

이를 위해, 상기한 해상촬영용 드론은, 해상을 비행하는 특성을 고려하여 방수, 방염, 방풍 기능과 함께 자동 이착륙, 자동충전 및 자동관제 기능을 가지고, LTE 등과 같은 무선통신을 통해 실시간으로 해상관측 영상을 전송 가능하도록 구성될 수 있다.

또한, 상기한 해상촬영용 드론은, 필요에 따라 복수의 드론에 대한 군집 운영이 가능하도록 구성되며, 운영을 위한 별도의 인력이 필요 없이 무인 스테이션 기반으로 운영 가능하도록 구성될 수 있다.

여기서, 본 발명의 실시예에서는 상기한 해양이미지 취득부(11)가 자율비행이 가능한 해상촬영용 드론을 이용하여 구성되는 경우를 예로 하여 본 발명을 설명하였으나, 본 발명은 반드시 이러한 구성으로만 한정되는 것은 아니며, 즉, 상기한 해양이미지 취득부(11)는, 상기한 드론 이외에, 예를 들면, 자율비행 및 촬영이 가능한 무인항공기(Unmanned Aerial Vehicle ; UAV)나 원격조종 카메라 등을 이용하여 구성될 수도 있고, 또는, 미리 촬영된 영상이나 이미지를 외부 기기나 서버 등으로부터 입력받도록 구성될 수도 있는 등, 해변이나 해상의 영상 또는 이미지를 이미지 분석부(12)에 제공할 수 있는 것이면 특별히 제약은 없는 것임에 유념해야 한다.

아울러, 상기한 이미지 분석부(12)는, 상기한 바와 같이 구성되는 각각의 해상촬영용 드론을 통해 촬영된 이미지나 영상을 수신하고, 후술하는 바와 같이 하여, 딥러닝(Deep Learning)에 기반한 인공지능(AI) 학습 알고리즘을 이용하여 이미지 내의 해양쓰레기를 판별하며, 판별된 해양쓰레기의 종류와 양(개수, 크기(부피) 및 무게)에 대한 정보를 추정하는 처리가 수행되도록 구성될 수 있다.

더욱이, 상기한 통신부(13)는, 바람직하게는, 예를 들면, LTE 등과 같이, 이동통신 또는 무선통신을 통해 다른 해양쓰레기 모니터링 시스템(10)이나 서버 등과 같은 외부 기기와 통신을 수행하여, 해양이미지 취득부(11)를 통해 수신된 영상이나 이미지 및 이미지 분석부(12)를 통해 추정된 해양쓰레기의 종류와 양 등에 대한 정보를 포함하는 각종 데이터를 송수신하도록 구성될 수 있다.

또한, 상기한 제어부(14)는, 중앙의 관제서버로부터 각종 데이터 및 제어신호를 수신하여 상기한 해양쓰레기 모니터링 시스템(10)의 전체적인 동작 및 해양이미지 취득부(11), 이미지 분석부(12), 통신부(13)의 동작을 각각 제어하는 동시에, 해양이미지 취득부(11)를 통해 수신된 영상이나 이미지 및 이미지 분석부(12)를 통해 추정된 해양쓰레기의 종류와 양 등에 대한 정보를 포함하는 각종 데이터를 메모리와 같은 별도의 저장수단에 저장하여 해양쓰레기의 모니터링 결과에 대한 데이터베이스를 구축하며, 이와 같이 구축된 데이터를 중앙의 관제서버나 외부 기기 또는 다른 모니터링 시스템(10)으로 전송하는 처리가 수행되도록 구성될 수 있다.

따라서 상기한 바와 같이 각각의 지역별로 다수의 해양쓰레기 모니터링 시스템(10)을 설치하고, 각각의 해양쓰레기 모니터링 시스템(10)을 통해 구축된 모니터링 데이터를 중앙의 관제서버로 전송함으로써, 전국 단위의 광범위한 지역에 대한 모니터링 작업이 용이하게 수행될 수 있다.

즉, 도 2를 참조하면, 도 2는 도 1에 나타낸 본 발명의 실시예에 따른 무인관측 기반 해양쓰레기 모니터링 시스템(10)을 이용한 해양쓰레기 관리시스템(20)의 전체적인 구성을 개략적으로 나타내는 개념도이다.

도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 해양쓰레기 관리시스템(20)은, 각 지역별로 설치되어 있는 복수의 무인관측 기반 해양쓰레기 모니터링 시스템(10)과, 지역별로 설치되어 있는 각각의 무인관측 기반 해양쓰레기 모니터링 시스템(10)으로부터 모니터링 정보를 각각 수신하여 해양쓰레기에 대한 빅데이터를 구축하고, 사용자의 요청에 따라 해당하는 각종 정보를 맞춤형으로 제공하는 처리가 수행되도록 구성되는 관제서버(21)를 포함하여 구성될 수 있다.

이를 위해, 본 발명의 실시예에 따른 해양쓰레기 관리시스템(20)은, 도 2에 나타낸 바와 같이, 상기한 바와 같은 해양쓰레기 모니터링 정보를 사용자가 요청하고 전달받기 위한 사용자 단말기(22)를 더 포함하여 구성될 수 있다.

여기서, 상기한 사용자 단말기(22)는, 예를 들면, PC와 같은 단말장치를 이용하여 구성될 수 있고, 바람직하게는, 스마트폰이나 태블릿 PC 또는 노트북 등과 같이, 개인이 휴대 가능한 정보통신 단말기에 전용의 어플리케이션을 설치하여 구성될 수도 있으나, 본 발명은 반드시 이러한 구성으로만 한정되는 것은 아니며, 즉, 본 발명은 본 발명의 취지 및 본질을 벗어나지 않는 범위 내에서 당업자에 의해 필요에 따라 다양하게 수정 및 변경하여 구성될 수 있는 것임에 유념해야 한다.

따라서 상기한 바와 같이, 본 발명에 따르면, 각각의 지역별로 복수의 무인관측 기반 해양쓰레기 모니터링 시스템(10)을 설치하여 두고, 각각의 무인관측 기반 해양쓰레기 모니터링 시스템(10)들이 서로 통신하여 각종 데이터를 주고받도록 하는 동시에, 관제서버(21)의 요청에 따라, 또는, 미리 정해진 설정에 따라 주기적으로 모니터링 데이터를 관제서버(21)로 각각 전송하도록 구성됨으로써, 예를 들면, 전국 단위의 광범위한 지역에 대하여도 해양쓰레기를 모니터링 하기 위한 대규모의 해양쓰레기 관리시스템(20)을 용이하게 구축할 수 있다.

아울러, 상기한 바와 같이 전국 단위의 해양쓰레기 모니터링 및 관리 시스템을 구축함으로써, 개인 차원의 단순한 정보제공에 그치는 것이 아니라 해양쓰레기의 발생을 방지 또는 최소화하고 이미 발생된 해양쓰레기의 보다 효율적인 처리를 위한 기술개발 및 국가 정책수립에 유용한 정보를 제공할 수 있다.

계속해서, 상기한 바와 같이 구성되는 본 발명의 실시예에 따른 무인관측 기반 해양쓰레기 모니터링 시스템(10)의 이미지 분석부(12)에서 수행되는 딥러닝(Deep Learning) 기반의 인공지능(AI) 학습 알고리즘을 이용한 이미지 학습 및 분석 처리과정의 구체적인 내용에 대하여 설명한다.

먼저, 해양 쓰레기는 모든 출처(source)로부터 해양환경으로 유입되는 제조 또는 처리된 고형 폐기물(solid waste material)로 정의되며, 해양 생태계에 물리적, 생물학적, 화학적 위협을 가하고 균형을 훼손하여 비단 환경뿐만 아니라 경제적으로도 심각한 악영향을 야기할 수 있다.

또한, 이러한 해양쓰레기의 총 잔여량은 유입 및 유출(수집)량을 조사한 자료를 바탕으로 추정하며, 국내의 경우 2008 ~ 2009년 국내 해변 쓰레기 국가 감시장소 20 개소에서 국제 연안정화(International Coastal Cleanup ; ICC) 방법을 기반으로 연안 해양쓰레기의 수, 무게, 부피를 추정하기 위한 조사가 수행되었다.

그러나 ICC 방식을 기반으로 한 기존의 모니터링 방식은 임의로 선정된 좁은 지역에서 수작업으로 조사한 결과를 이용하여 전체 해변의 쓰레기 총량을 추론함으로 인해 조사비용은 높은 반면 정확성은 떨어지는 등의 여러 가지 단점이 있으며, 이에, 본 발명에서는, 이러한 기존의 조사방법의 단점을 극복하기 위해, 최근 여러 연구에서 객체 탐지 모델로 적용되는 딥러닝(Deep Learning) 기술을 이용하여 해양쓰레기의 종류, 분포 및 양 등을 평가하는 알고리즘을 제시하였다.

먼저, 도 3을 참조하면, 도 3은 본 발명의 실시예에 따른 해양쓰레기 모니터링 시스템(10)의 이미지 분석부(12)에 적용되는 딥러닝(Deep Learning) 기반 인공지능(AI) 학습 알고리즘의 이미지 학습 및 분석을 위해 적용된 충남 서천군 다사항 해변을 개략적으로 나타내는 도면이다.

도 3에 나타낸 바와 같이, 다사항 해변은 한반도 서해에 위치하고 있고, 이 지역에서는 조석 차이가 크며 해변은 경사가 낮고 길이가 1.1km 이하인 모래 및/또는 자갈로 구성되어 있으며, 해수욕장이 2014년 20개소에서 현재 40개소로 확대된 한국 해양쓰레기 국가감시지 중 하나로서, 2021년 2월 25일 만조시에 조사가 실시되었다.

또한, 도 4를 참조하면, 도 4는 본 발명의 실시예에 따른 해양쓰레기 모니터링 시스템(10)의 이미지 분석부(12)에 적용되는 딥러닝(Deep Learning) 기반 인공지능(AI) 학습 알고리즘의 이미지 학습 및 분석에 적용된 이미지를 개략적으로 나타내는 도면이다.

도 4에 나타낸 바와 같이, 본 발명자들은, 해변 쓰레기 이미지를 조사하기 위해 고해상도 카메라를 사용하여 1440×1080 픽셀의 해상도로 45°, 1.5m 높이에서 촬영을 수행하였으며, 도 4a에 나타낸 바와 같이 습/건선(wet/dry line)에서 식생선(vegetation line)까지 해안선을 따라 다사항 해변 전체를 10m 간격으로 나누고, 도 4b에 나타낸 바와 같이 학습 및 테스트 세트(training and test set)를 위해 110개의 이미지를 수집하였다.

아울러, 도 4c에 나타낸 바와 같이, 데이터 세트(data set)에만 736개의 클로즈업(close-up) 이미지가 수집되었고, 개별 항목(item)의 라벨링(labeling)을 위해 846개의 이미지로부터 1,847개의 항목이 추출되었다.

더욱이, 본 발명의 실시예에서 제시된 딥러닝 알고리즘의 결과와 비교하기 위해 해변 전체의 쓰레기를 수작업으로 카운트하고 분류하였으며, 이때, 기존의 조사에서 2.5cm 미만의 작은 크기의 쓰레기는 고려되지 않았으므로, 해변 쓰레기 스탠딩 스톡(standing-stock)을 평가하기 위해 2.5cm보다 큰 크기의 쓰레기를 적용하였다.

또한, 모든 해변 쓰레기에 대하여 플라스틱(페트병, 비닐, 로프, 합성섬유 등), 스티로폼, 금속, 고무, 유리, 어구(fishing gear), 미분류(천, 종이, 가공목 피스(manufactured wood pieces) 등)의 총 7개의 카테고리로 분류하였고, 그 후, 각각의 항목이 각 클래스별로 개별적으로 계산되었다.

아울러, 본 발명에서는, 상기한 바와 같이 하여 취득된 이미지를 이용하여 쓰레기를 감지하고 정량화 및 분류하기 위해 네트워크 모델(network model)을 사용하였으며, 이 모델은 기존의 순환신경망(Recurrent Neural Network ; RNN) 학습시 기울기값이 사라지는 문제(vanishing gradient problem)를 해결하고 DenseNet 기반 병목 CSP(Cross Stage Partial Networks) 백본(Backbone)을 통해 불필요한 파라미터를 감소하며, 백본에 여러 개의 컨벌루션층(Convolution layer)을 적층하여(stacking) 이미지 특징을 추출한다.

즉, CSP는 계산량을 줄이고 중복되는 특징(redundant features)을 제거하면서 파라미터 수를 최적화 할 수 있으며, 이를 위해, 헤드 부분은 경계상자(bounding box)를 그리고(draw) 개체의 위치를 찾으며, 경계상자를 만들때 세 가지의 스케일링(scaling)을 이용하여 앵커박스(anchor box)를 적용하고, 마지막으로 경계상자 회귀(regression) 및 좌표정보에 대한 카테고리 분류를 통해 점수가 출력된다.

여기서, 상기한 네트워크 모델은, 예를 들면, YOLO(You Only Look Once), SSD(Single Shot multiboox Detector), RetinaNet 등과 같은 객체탐지 알고리즘에 기반한 모델을 이용하여 구성될 수 있으나, 본 발명은 반드시 이러한 구성으로만 한정되는 것은 아니며, 즉, 본 발명은, 본 발명의 실시예에 기재된 구성 이외에 본 발명의 취지 및 본질을 벗어나지 않는 범위 내에서 당업자에 의해 필요에 따라 다양하게 변경이나 수정하여 적용 가능한 것임에 유념해야 한다.

계속해서, 도 5를 참조하면, 도 5는 본 발명의 실시예에 따른 해양쓰레기 모니터링 시스템(10)의 이미지 분석부(12)에 적용되는 딥러닝 기술을 이용한 해변 쓰레기의 탐지, 정량화 및 분류 처리를 위한 네트워크 모델의 전체적인 구성을 개략적으로 나타내는 도면이다.

도 5에 나타낸 바와 같이, 조사지역에서 얻어진 846개의 이미지가 포함된 데이터 세트(data set)에서 수동으로 라벨링된 이미지가 학습 세트(training set)에 입력되고, 경계상자가 있는 원본 이미지에서 학습된 개체와 일치하는 항목이 감지되면 감지된 개체의 개수(number)와 종류(class)가 저장되며, 이때, 학습 세트는 80%의 학습 데이터(training data)와 20%의 검증 데이터(validation data)를 포함하는 두 개의 하위 집합으로 구성된다.

다음으로, 도 6을 참조하면, 도 6은 상기한 바와 같이 하여 구성되는 네트워크 모델에 의해 탐지된 해변 쓰레기가 데이터베이스에 저장되는 예를 개략적으로 나타내는 도면이다.

여기서, 도 6a에 나타낸 샘플 이미지는 다사항 해변 전체에서 수집된 110개의 원본 이미지 중 하나로서 110개의 구간 중 26번째 구간의 이미지이며, 각 이미지에서 구별된 모든 항목이 경계상자로 감지되었다.

또한, 도 6b에 나타낸 바와 같이, 모든 원본 이미지에 대하여, 왼쪽 위(x1, y1) 및 오른쪽 아래(x2, y2) 모서리의 좌표 및 이미지에 주석이 표시된(annotated) 각 항목에 대한 경계상자의 클래스가 포함된 ".csv" 파일이 각각 생성되었다.

여기서, 상기한 바와 같은 딥러닝 알고리즘이나 네트워크 모델의 보다 구체적인 구성이나 동작원리 및 이들을 통해 다양한 이미지에 대한 학습을 수행하고 학습결과에 근거하여 특정 항목을 검출하는 과정 등에 대한 보다 구체적인 내용은 종래기술의 내용 등을 참조하여 당업자가 적당히 구현 가능한 사항이므로, 이에, 본 발명에서는, 설명을 간략히 하기 위해, 상기한 바와 같이 종래기술의 문헌 등을 참조하여 당업자가 용이하게 이해하고 실시할 수 있는 부분에 대하여는 그 상세한 설명을 생략하였음에 유념해야 한다.

다음으로, 본 발명자들은, 상기한 바와 같이 하여 구성되는 네트워크 모델에 대한 성능을 평가하였으며, 이를 위해, IoU(Intersection over Union) 및 평균정밀도(mean Average Precision ; mAP)를 이용하여 테스트 세트에서 평가를 수행하였다.

더 상세하게는, IoU는 예측된 경계상자가 개체의 위치에 얼마나 잘 맞는지(fit)를 측정하여 비율(ratio)로 정의되며, IoU가 높을수록 두 경계상자의 겹침이 높아지제 된다.

이에, 본 실시예에서는, 모델 성능을 평가하기 위하여 mAP를 검사하기 위해 0.5를 IoU 임계 값으로 사용하여, 두 경계상자의 겹쳐진 영역이 전체 영역의 50% 이상이면 IoU = 0.5가 참(true)이고 그 아래 값은 거짓(false)으로 평가되며, 이러한 내용을 토대로 상기한 네트워크 모델에서 예측한 결과를 다사항 전체 해변의 실측 결과와 비교하였다.

즉, 도 7을 참조하면, 도 7은 도 5에 나타낸 네트워크 모델에 대하여 해변 쓰레기의 종류별 mAP 점수를 산출한 결과를 각각 나타내는 도면이다.

도 7에 나타낸 바와 같이, 본 발명의 실시예에 따른 네트워크 모델은 IoU = 50%에 대한 학습 세트에서 0.87의 mAP 점수를 나타내었고, 플라스틱, 스티로폼, 금속 및 고무의 평균 정밀도(AP) 점수는 각각 0.88, 0.89, 0.93 및 0.88의 값으로 총 해변 쓰레기의 mAP 점수(빨간색 점선으로 표시)보다 높았던 반면, 유리(0.84), 어구(fishing gear)(0.84), 미분류(unspecified)(0.80) 등 3개 등급의 AP 점수는 mAP보다 낮게 나타났다.

이에, 상기한 바와 같은 결과로부터, 네트워크 모델은 플라스틱(0.93)을 가장 높은 정확도로 예측하고 미분류(0.80) 항목을 가장 낮은 정확도로 예측하는 것으로 판단할 수 있다.

다음으로, 도 8을 참조하면, 도 8은 도 5에 나타낸 네트워크 모델에 의해 자동으로 분류/계산된 항목의 수와 인력으로 직접 분류/계산된 항목의 수를 비교한 결과를 나타내는 도면이다.

도 8에 있어서, 상기한 바와 같이, 조사된 해변 쓰레기의 스텐딩 스톡은 플라스틱, 스티로폼, 금속, 고무, 유리, 어구 및 미분류의 총 7개의 카테고리로 분류되었고, 실제로 조사된 항목의 총 개수는 963개였으며, 플라스틱은 자신을 제외한 나머지 6가지 클래스의 합보다 더 많은 수로 조사되었고, 스티로폼, 금속, 미분류는 각각 133, 132, 88로 나타난 반면, 고무, 어구, 유리는 각각 30, 12, 12로 나타났다.

아울러, 자동 방법의 경우, 상기한 네트워크 모델은 전체 해변의 항목 수를 1,006개로 예측하였으며, 실제 조사와 유사하게 플라스틱이 625개로 가장 많았고 스티로폼, 금속, 미분류가 각각 116개, 112개, 107개로 그 뒤를 이었으며, 고무, 어구 및 유리는 각각 23개, 17개, 6개로 나타났다.

즉, 현재 우리나라에서 사용되고 있는 기존의 해변 쓰레기 모니터링 방법은 해변의 길이가 100m 이상이고 해안선 구간(shoreline section) 내에서 길이가 5m 인 4개의 횡단면(tranect)을 랜덤으로 선택하여 인력에 의해 전수조사를 실시하는 것으로, 계산되는 쓰레기의 최소 크기는 4개의 횡단면에서 2.5cm이고 8개의 클래스로 분류되며, 해변 전체의 해변 쓰레기 스탠딩 스톡은 4개의 횡단면에서 수집된 양으로 통계적 방법에 의해 추정된다.

이에 반해, 본 발명의 실시예에서는, 1.1km까지의 해안선을 조사하여 110개의 이미지(즉, 110개의 횡단면)를 얻었고, 하나의 횡단면에서 실제로 계산되는 쓰레기 항목의 평균 개수는 6.86이며 표준편차는 ±4.56으로 나타났다.

또한, 도 9를 참조하면, 도 9는 자동 방식과 기존의 방식에 기반하여 통계적으로 추정된 해변 쓰레기의 스탠딩 스톡을 실제 조사결과와 각각 비교하여 나타낸 도면이다.

도 9에 나타낸 바와 같이, 기존의 방법에 기반하여 통계적으로 추정된 해변 쓰레기의 총량은 754.6이고 이는 오차가 22% 이하인 실제 계수보다 208.4 감소한 것이며, 반면, 상기한 네트워크 모델에 의해 감지된 양은 실제 계수보다 43개 더 많았고, 실제 계산에 비해 오차가 4% 이하로 나타났다.

상기한 바와 같이, 본 발명의 실시예에서는, 딥러닝 기반의 물체감지 기술이 적용된 네트워크 모델을 사용하여 해변 쓰레기 스탠딩 스톡을 감지, 분류 및 정량화 하기 위한 작업을 수행하였고, 이러한 네트워크 모델을 통하여 해변 쓰레기를 7가지 클래스로 분류하고, 네트워크 모델에서 탐지된 각 클래스의 양을 실제 계수 및 기존의 방법과 비교하였다.

이를 위해, 해변 쓰레기 항목의 7개의 수동으로 주석이 표시된 카테고리로 네트워크 모델을 학습시키는 과정이 수행되었으며, 학습된 네트워크는 총 해변 쓰레기의 정밀도로서 0.87 이상의 mAP를 달성하였고, 네트워크 모델의 AP 점수는 도 7에 나타낸 바와 같이 플라스틱, 스티로폼, 금속, 고무, 유리, 어구, 미분류를 포함하는 각각의 카테고리에서 0.80점 이상을 나타내었다.

여기서, 네트워크 모델에 의한 자동 방법의 정확성은 객체의 형태학적 특성, 하이퍼 파라미터 최적화, 충분히 정제된 학습데이터의 세가지 요인에 의해 결정적인 영향을 받으며, 네트워크 모델의 정확도는 원래의(original) 형상(shape)과 특성(characteristic)에 대한 변형률(deformation rate)(예를 들면, 왜곡(distortion), 파편화(fragmentation), 변색(discoloration) 등)에 의해 크게 영향을 받는다.

또한, 도 7에 나타낸 바와 같이, 네트워크 모델은 AP 점수가 0.93으로 금속(Metal)을 가장 정확하게 감지하고 분류하였으며, 금속 미분류(Unspecified)에 대하여 라벨링된 데이터의 수는 각각 201과 210으로 비슷하였으나, 두 클래스의 정확도 차이는 14% 이하로 나타났다.

아울러, 도 8에 나타낸 바와 같이, 금속은 실제로 132개로 계산되었고 대부분은 95% 이하의 비율로 캔(can)이었으며, 본 실시예에서 감지된 캔은 그 크기와 모양이 비교적 잘 유지되었으나, 미분류 항목은 직물(fabric), 종이 및 가공목재(manufactured wood)로 구성되어 있음으로 인해 본래의 형태와 특성이 유지되지 못하였고, 이에, 미분류 항목의 정확도는 0.80mAP로 금속에 비해 상대적으로 낮은 값을 나타내었다.

여기서, 모델의 정확도를 향상시키는 또 다른 방법은 하이퍼 파라미터를 최적화하는 것이며, 학습의 다양한 측면을 제어하는 하이퍼 파라미터의 최적의 값을 찾는 것은 매우 어려운 작업이나, 본 발명자들은 300회 반복실험을 통해 하이퍼 파라미터 튜닝을 수행하였다.

즉 도 10을 참조하면, 도 10은 하이퍼 파라미터의 최적화를 위해 하이퍼 파라미터 튜닝을 수행한 결과를 나타내는 도면이다.

도 10에 나타낸 바와 같이, 본 발명자들은, 하이퍼 파라미터를 최적화하기 위해 튜닝을 수행하였고, 그 결과, 기본값에 비해 10% 진화한 일부 하이퍼 파라미터의 튜닝 값을 획득하여 도 10에 나타내었다.

또한, 모델의 정확도를 향상시키는 또 다른 방법으로, 학습 데이터를 늘리면 네트워크 모델의 정확도가 향상될 수 있으나, 정제되지 않은 데이터는 오히려 모델의 분류 정확도를 크게 떨어뜨릴 수 있다.

즉, 관리된(supervised) 분류에 의해 달성된 정확도는 주로 분석가(analyst)에 의해 제공된 학습 데이터에 따라 달라지며, 본 발명의 실시예에 적용된 다사항 해수욕장에서 수집된 학습 이미지에는 한국 서해바다에서 흔히 볼 수 있는 조개껍질이 대량으로 포함되어 있고, 조개껍질의 크기와 모양 또는 색상이 플라스틱과 유사하므로 조개껍질을 플라스틱으로 감지하여 모델에서 오류가 발생하게 된다.

이에, 본 실시예에서는, 네트워크 모델에서 조개껍질이 플라스틱으로 감지되었을 때 이를 오탐지(false positive)로 정의하여 학습되었습으나, 이미지에는 플라스틱 조각, 병뚜껑 및 기타 쓰레기 조각 등과 같은 다양한 작은 물체가 있으며 일부 조개껍질은 플라스틱으로 식별되어 정확도가 떨어질 수 있다.

즉, 도 11을 참조하면, 도 11은 조개껍질이 플라스틱으로 오검출된 학습 데이터의 예를 나타내는 도면이다.

도 11a에 나타낸 바와 같이, 네트워크 모델이 원본 이미지에서 많은 조개껍질을 플라스틱으로 식별하였고, 그로 인해, 도 11b에 나타낸 바와 같이, 모델의 플라스틱 클래스 정확도가 0.88mAP에서 0.26mAP로 크게 감소하였음을 확인할 수 있다.

또한, 도 12를 참조하면, 도 12는 각각의 횡단면에서 조사된 해변 쓰레기의 양과 기존의 방법으로 전체 해변에 대하여 확장된 해변 쓰레기의 총량을 각각 나타내는 도면이다.

상기한 바와 같이, 기존의 방법에 따른 해양 쓰레기의 통계적 추정은 국가별로 조금씩 다르기는 하나 대부분 무작위로 선택된 횡단면의 대표값을 통해 해변 쓰레기의 총량을 통계적으로 추정하는 공통된 특징을 가지고 있으며, 즉, 선택된 횡단면에 존재하는 쓰레기 항목의 수를 조사하고 해변의 길이를 이용하여 전체 해변의 해변 쓰레기 총량을 통계적으로 추정한다.

따라서 도 12에 나타낸 바와 같이, 무작위로 선택된 횡단면에서 측정된 해변 쓰레기의 양이 통계적 추정을 통해 전체 해변의 양으로 확대되면 오류가 더욱 커지게 되며, 기존 방식의 통계적 추정 편차는 도 12에 나타낸 바와 같이 네트워크 모델의 편차보다 훨씬 더 크다(critical).

즉, 본 발명의 실시예에서 기존의 방법으로 추정된 평균 해변 쓰레기 양의 오차는 20% 이하이나, 도 12에 나타낸 바와 같이 선택된 횡단면의 최대값 또는 최소값에 가까운 값으로만 샘플링할 경우 오류가 47%까지 증가하였다.

또한, UN은 지속가능한 개발목표(SDG)에 따라 2025년까지 모든 종류의 해양 오염, 특히, 해양 쓰레기와 영양오염(nutrient pollution)을 포함한 육상활동으로 인한 해양오염을 방지하고 현저히 줄이는 것을 목표로 하고 있으며, 이에 대한 대응으로 대한민국 해양수산부(MOF-ROK)는 2030년까지 발생하는 해양 쓰레기의 50%를 줄이는 것을 목표로 하고 있다.

이에, 상기한 바와 같이 본 발명의 실시예에 따른 딥러닝 기반 자동 해양 쓰레기 탐지방법은 기존의 방식에 비해 더 높은 정확도와 더 낮은 비용으로 해양 쓰레기를 모니터링하는 강력한 도구로 사용될 수 있으며, 그것에 의해, 효과적인 해양 쓰레기 관리 및 수거를 위한 정책수립 및 예산 할당에 필수적인 정보를 제공할 수 있다.

상기한 바와 같이, 본 발명에서는 딥러닝 기술을 이용하여 해양쓰레기를 탐지하고 정량화하는 알고리즘을 제시하였으며, 본 발명의 실시예에서 제시된 모델은 0.87mAP의 정밀도로 항목을 분류하여 실제 조사결과와 약 4%의 오차를 나타내었고, 이는 기존의 알고리즘으로 예측한 결과에 비해 양호한 결과이며, 이러한 결과를 바탕으로 드론이나 무인기 등에 적용하여 자동화된 모니터링 시스템을 구현하는 것에 의해 국가 차원의 해양쓰레기 관리 시스템 및 정책 개발에 필수적인 정보를 제공할 수 있을 것으로 기대된다.

계속해서, 도 13을 참조하면, 도 13은 본 발명의 실시예에 따른 무인관측 기반 해양쓰레기 모니터링 시스템(10)을 이용한 해양쓰레기 모니터링 방법의 전체적인 구성을 개략적으로 나타내는 플로차트이다.

도 13에 나타낸 바와 같이, 본 발명의 실시예에 따른 해양쓰레기 모니터링 방법은, 크게 나누어, 먼저, 해변 및 해양 환경에 대한 다양한 이미지 및 영상을 포함하는 데이터를 수집하여 해양쓰레기에 대한 학습 데이터를 구축하는 처리가 수행되는 학습데이터 구축단계(S10)와, 딥러닝 알고리즘을 통해 학습데이터 구축단계(S10)에서 수집된 학습데이터에 대한 학습이 이루어지는 처리가 수행되는 학습단계(S20)와, 학습단계(S20)의 학습결과에 근거하여, 실시간으로 입력 또는 전송되는 이미지로부터 딥러닝 알고리즘을 통해 쓰레기의 종류와 양을 추정하는 처리가 수행되는 분석단계(S30)와, 분석단계(S30)에서 얻어진 분석결과를 별도의 표시수단 등을 통해 표시하고 사용자의 요청에 따라 해당하는 정보를 출력하거나 외부 기기로 전송하는 처리가 수행되는 정보제공단계(S40)를 포함하여 구성될 수 있다.

여기서, 상기한 학습데이터 구축단계(S10)는, 도 3 및 도 4를 참조하여 상기한 바와 같이 각각의 지역별로 해변 및 해양 쓰레기의 이미지나 영상을 촬영하거나, 또는, 각 지역별로 미리 촬영된 이미지나 영상을 입력받아 데이터베이스 형태로 저장하는 것에 의해 각 지역별로 해양쓰레기에 대한 학습데이터를 구축하는 처리가 수행되도록 구성될 수 있다.

더 상세하게는, 상기한 학습데이터 구축단계(S10)는, 해양쓰레기를 플라스틱(페트병, 비닐, 로프, 합성섬유 등), 스티로폼, 금속, 고무, 유리, 어구(fishing gear) 및 미분류(천, 종이, 가공목 등)의 총 7개의 카테고리로 분류하고, 미리 정해진 일정 간격(면적)으로 촬영된 이미지에 포함된 해양쓰레기에 대하여 각 항목별로 라벨링(labeling)을 행하여 학습데이터를 생성하는 처리가 수행되도록 구성될 수 있다.

또한, 상기한 학습단계(S20) 및 분석단계(S30)는, 도 5 내지 도 12를 참조하여 상기한 바와 같이, 딥러닝 기반 네트워크 모델을 사용하여 학습데이터에 대한 학습을 수행하고, 학습결과에 근거하여 실시간 이미지로부터 해양쓰레기의 유무를 판별하며, 판별된 해양쓰레기의 종류와 양(개수, 크기(부피) 및 무게) 등의 각종 정보를 추정하는 처리가 각각 수행되도록 구성될 수 있다.

즉, 상기한 분석단계(S30)는, 실시간으로 입력 또는 전송되는 이미지상에 존재하는 해양쓰레기를 식별하여 상기한 카테고리에 따라 분류하고, 각각의 카테고리에 대하여 각 항목(item)별로 총 개수와 크기(부피) 및 무게를 각각 산출하는 처리가 수행되도록 구성될 수 있다.

여기서, 각 항목에 대한 크기(부피)는, 예를 들면, 이미지상에서 해당 아이템이 차지하는 픽셀 수에 근거하여 쓰레기의 크기(부피)를 산출하는 처리가 수행되도록 구성될 수 있다.

아울러, 각 항목의 무게는, 상기한 바와 같이 하여 산출된 쓰레기의 크기(부피)를 이용하여, 예를 들면, 카테고리별로 미리 설정된 기준값을 곱하여 각 항목의 무게를 산출하는 처리가 수행되도록 구성될 수 있다.

즉, 예를 들면, 이미지상에서 1 픽셀에 대한 실제 크기가 1cm에 해당하고 금속에 대한 무게 기준값이 1kg/m인 것으로 가정하면, 검출된 쓰레기가 금속이고 직경이 100 픽셀인 경우 실제 크기는 1m이며 무게는 1kg에 해당하는 것으로 판단할 수 있다.

더욱이, 상기한 정보제공단계(S40)는, 상기한 바와 같이 하여 판별 및 추정된 해양쓰레기에 대한 각종 정보를 별도의 저장수단에 저장하고 모니터 등의 표시수단을 통해 출력하는 동시에, 유선 또는 무선통신 중 적어도 하나의 통신방식으로 다른 모니터링 시스템이나 중앙의 관제서버로 전송하는 처리가 수행되도록 구성됨으로써, 특정 지역에 대한 해양쓰레기 모니터링에만 그치는 것이 아니라 해양쓰레기 모니터링을 위한 광범위한 네트워크를 구축할 수 있다.

또한, 상기한 정보제공단계(S40)는, 예를 들면, 스마트폰이나 태블릿 PC 또는 노트북 등과 같은 개인 휴대용 정보통신 단말기로 이루어지는 사용자 단말기와 연동하여, 사용자 단말기를 통해 전송되는 사용자의 요청에 따른 정보를 맞춤형으로 제공하는 처리가 수행되도록 구성됨으로써, 해양쓰레기의 발생을 방지하고 발생된 해양쓰레기를 처리하기 위해 필요한 각종 유용한 정보를 제공할 수 있다.

따라서 상기한 바와 같이 하여, 본 발명의 실시예에 따른 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법을 구현할 수 있으며, 그것에 의해, 본 발명에 따르면, 예를 들면, 해양 이미지를 촬영하기 위한 자율비행 기능을 가지는 다수의 드론과 같은 해양관측용 무인비행체와 딥러닝(Deep Learning)에 기반한 인공지능(AI) 이미지 분석 알고리즘을 이용하여, 무인관측을 통해 취득된 해양 이미지로부터 해양쓰레기의 종류, 개수, 크기(부피), 무게 등을 추정하는 처리가 자동으로 수행되도록 구성되는 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법이 제공됨으로써, 사람이 직접 조사하기 어려운 지역에 대하여도 용이하게 측정이 가능하여 해양쓰레기의 종류와 양을 정확하게 측정하고 모니터링 할 수 있는 동시에, 별도의 인력을 투입하여 조사할 필요가 없으므로 기존에 비해 해양쓰레기 조사를 위한 시간 및 비용을 크게 절감할 수 있다.

또한, 본 발명에 따르면, 상기한 바와 같이 드론 등을 이용한 무인관측을 통해 취득된 해양 이미지에 대하여 딥러닝에 기반한 인공지능 학습 및 분석을 통해 해양쓰레기의 종류, 개수, 크기(부피), 무게 등을 추정하는 처리가 자동으로 수행되도록 구성되는 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법이 제공됨으로써, 해양쓰레기의 양을 측정하기 위해 해변의 특정 구간을 일정 간격으로 나누고 그 중에서 임의의 구간을 선정하여 해양쓰레기의 종류, 개수, 크기(부피), 무게 등을 인력으로 직접 전수조사한 결과를 대표값으로 사용하여 해당 해변 전체에 대한 해양쓰레기 양을 산정함으로 인해 조사시간 및 비용이 증가하는 데 더하여, 일부 영역의 조사값을 해변 전체의 해양쓰레기양으로 단순 적용함에 따라 실제 결과와 오차가 매우 크게 발생하게 되는 한계가 있었던 종래기술의 해양쓰레기 조사방법의 문제점을 해결할 수 있다.

아울러, 본 발명에 따르면, 상기한 바와 같이 드론 등을 이용한 무인관측을 통해 취득된 해양 이미지에 대하여 딥러닝에 기반한 인공지능 학습 및 분석을 통해 해양쓰레기의 종류, 개수, 크기(부피), 무게 등을 추정하는 처리가 자동으로 수행되도록 구성되는 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법이 제공됨으로써, 기존에 비해 보다 간단한 구성 및 저렴한 비용으로 해변 전체에 대한 해양쓰레기의 종류와 양을 정확하게 측정하고 조사 시간 및 비용을 크게 절감할 수 있는 데 더하여, 각 지역별로 구축되는 모니터링 시스템들을 네트워크로 연결하는 것에 의해 해양쓰레기에 대한 빅데이터를 구축하고 사용자의 요구에 따라 맞춤형으로 각종 정보를 제공 가능한 동시에, 해안선 전체 등과 같이 광범위한 지역에 대하여도 해양쓰레기에 대한 모니터링 시스템을 용이하게 구축할 수 있다.

이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 무인관측 기반 해양쓰레기 모니터링 시스템 및 이를 이용한 해양쓰레기 모니터링 방법의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다.

10. 무인관측 기반 해양쓰레기 모니터링 시스템
11. 해양이미지 취득부 12. 이미지 분석부
13. 통신부 14. 제어부
20. 해양쓰레기 관리시스템 21. 관제서버
22. 사용자 단말기

Claims (12)

1. 무인관측 기반 해양쓰레기 모니터링 시스템에 있어서,
   미리 설정된 경로에 따라 해변이나 해상의 이미지를 촬영하는 처리가 수행되도록 이루어지는 해양이미지 취득부;
   상기 해양이미지 취득부에 의해 취득된 이미지로부터 해양쓰레기의 유무를 판별하고 판별된 해양쓰레기의 종류와 양을 포함하는 각종 정보를 추정하는 처리가 수행되도록 이루어지는 이미지 분석부;
   다른 모니터링 시스템 및 서버를 포함하는 외부 기기와 각종 데이터를 송수신하기 위해 유선 또는 무선통신 중 적어도 하나의 방식으로 통신을 수행하도록 이루어지는 통신부; 및
   상기 해양이미지 취득부, 상기 이미지 분석부, 상기 통신부 및 상기 모니터링 시스템의 전체적인 동작을 제어하는 처리가 수행되도록 이루어지는 제어부를 포함하여 구성되고,
   상기 이미지 분석부는,
   각각의 지역에 대하여 미리 정해진 일정 간격(면적)으로 해변 및 해양쓰레기의 이미지나 영상을 촬영하거나 또는 미리 촬영된 이미지나 영상을 입력받아 각각의 이미지에 포함된 해양쓰레기를 플라스틱(페트병, 비닐, 로프, 합성섬유), 스티로폼, 금속, 고무, 유리, 어구(fishing gear) 및 미분류(천, 종이, 가공목)를 포함하는 복수의 카테고리로 각각 분류하고, 각각의 해양쓰레기의 항목별로 라벨링(labeling)을 행하여 데이터베이스 형태로 저장하는 것에 의해 각 지역별로 해양쓰레기에 대한 상기 학습데이터를 구축하는 처리가 수행되는 학습데이터 구축단계;
   딥러닝(Deep Learning)에 기반한 인공지능(AI) 학습 알고리즘을 이용하여, 학습데이터 구축단계에서 수집된 상기 학습데이터에 대한 학습이 이루어지는 처리가 수행되는 학습단계; 및
   상기 학습단계의 학습결과에 근거하여, 상기 해양이미지 취득부를 통해 입력 또는 전송되는 실시간 이미지로부터 해양쓰레기의 유무를 판별하고, 판별된 해양쓰레기를 플라스틱(페트병, 비닐, 로프, 합성섬유), 스티로폼, 금속, 고무, 유리, 어구(fishing gear) 및 미분류(천, 종이, 가공목)의 카테고리로 각각 분류하며, 분류된 각각의 카테고리별로 해양쓰레기의 개수를 산출하고 상기 실시간 이미지에서 각각의 해양쓰레기가 차지하는 픽셀 수에 근거하여 각각의 해양쓰레기에 대한 크기(부피)를 산출하며, 산출된 각각의 해양쓰레기의 크기(부피) 및 각각의 카테고리별로 미리 설정된 기준값에 근거하여 각각의 해양쓰레기에 대한 무게를 산출하는 처리가 수행되는 분석단계를 포함하는 처리가 수행되도록 구성됨으로써,
   해양쓰레기를 모니터링하고 발생된 해양쓰레기를 플라스틱(페트병, 비닐, 로프, 합성섬유), 스티로폼, 금속, 고무, 유리, 어구(fishing gear) 및 미분류(천, 종이, 가공목)의 카테고리로 각각 분류하여 각각의 카테고리별로 해양쓰레기의 종류, 개수, 크기(부피) 및 무게를 산출하는 처리가 무인관측을 통해 자동으로 수행될 수 있도록 구성되는 것을 특징으로 하는 무인관측 기반 해양쓰레기 모니터링 시스템.
   
2. 제 1항에 있어서,
   상기 해양이미지 취득부는,
   미리 설정된 경로에 따라 자율적으로 이동하면서 촬영을 수행하여 무인 원격 운영이 가능하도록 이루어지는 무인 비행체(Unmanned Aerial Vehicle ; UAV)를 이용하여, 각각의 상기 무인 비행체가 미리 설정된 경로를 따라 해변이나 해상을 비행하면서 이미지 또는 영상을 촬영하여 상기 이미지 분석부로 각각 전송하는 처리가 수행되도록 구성되는 것을 특징으로 하는 무인관측 기반 해양쓰레기 모니터링 시스템.
   
3. 제 2항에 있어서,
   상기 무인 비행체는,
   해상을 비행하는 특성을 고려하여 방수, 방염, 방풍 기능과 함께 자동 이착륙, 자동충전 및 군집 운영이 가능하도록 자동관제 기능을 가지고, 카메라 및 통신모듈을 포함하여 무선통신을 통해 실시간으로 촬영된 영상 및 이미지를 전송 가능하도록 이루어지는 해상촬영용 드론(drone)을 이용하여 구성되는 것을 특징으로 하는 무인관측 기반 해양쓰레기 모니터링 시스템.
   
4. 제 1항에 있어서,
   상기 해양이미지 취득부는,
   미리 촬영된 해변이나 해상의 영상 또는 이미지를 외부로부터 입력받도록 구성되는 것을 특징으로 하는 무인관측 기반 해양쓰레기 모니터링 시스템.
   
5. 삭제
6. 삭제
7. 제 1항에 있어서,
   상기 학습단계 및 상기 분석단계에서,
   상기 딥러닝(Deep Learning)에 기반한 인공지능(AI) 학습 알고리즘은 네트워크 모델(network model)을 이용하여 구성되는 것을 특징으로 하는 무인관측 기반 해양쓰레기 모니터링 시스템.
   
8. 삭제
9. 제 1항에 있어서,
   상기 제어부는,
   상기 해양이미지 취득부를 통해 촬영된 영상이나 이미지 및 상기 이미지 분석부를 통해 추정된 해양쓰레기의 종류와 양에 대한 정보를 포함하는 각종 데이터를 별도의 디스플레이를 포함하는 표시수단을 통해 출력하고 메모리를 포함하는 데이터 저장수단에 저장하여 해양쓰레기의 모니터링 결과에 대한 데이터베이스를 구축하는 동시에,
   미리 정해진 설정에 따라 주기적으로, 또는, 외부의 제어신호에 따라 모니터링 데이터를 관제서버나 외부 기기 또는 다른 모니터링 시스템으로 전송하는 처리가 수행되도록 구성되는 것을 특징으로 하는 무인관측 기반 해양쓰레기 모니터링 시스템.
   
10. 청구항 1항 내지 청구항 4항, 청구항 7항 및 청구항 9항 중 어느 한 항에 기재된 무인관측 기반 해양쓰레기 모니터링 시스템을 이용한 해양쓰레기 모니터링 방법에 있어서,
    상기 무인관측 기반 해양쓰레기 모니터링 시스템의 해양이미지 취득부를 통하여, 다양한 해변 및 해상의 이미지나 영상을 수집하여 학습데이터를 생성하는 처리가 수행되는 이미지 수집단계;
    상기 무인관측 기반 해양쓰레기 모니터링 시스템의 이미지 분석부를 통하여, 딥러닝(Deep Learning)에 기반한 인공지능(AI) 학습 알고리즘을 이용하여 상기 이미지 수집단계에서 수집된 다양한 해양쓰레기의 이미지에 대한 학습을 수행하는 처리가 수행되는 학습단계;
    상기 무인관측 기반 해양쓰레기 모니터링 시스템의 이미지 분석부를 통하여, 상기 학습단계의 학습결과에 근거하여 실시간으로 입력되는 이미지나 영상으로부터 해양쓰레기를 판별하고, 판별된 해양쓰레기의 종류와 양을 추정하는 처리가 수행되는 분석단계; 및
    상기 무인관측 기반 해양쓰레기 모니터링 시스템의 제어부를 통하여, 상기 분석단계를 통해 분석된 분석결과를 포함하는 각종 정보를 출력하고 사용자의 요청에 따른 정보를 제공하는 처리가 수행되는 정보제공단계를 포함하여 구성되는 것을 특징으로 하는 해양쓰레기 모니터링 방법.
    
11. 해양쓰레기 관리시스템에 있어서,
    각각의 지역별로 설치되는 복수의 해양쓰레기 모니터링 시스템;
    각각의 상기 해양쓰레기 모니터링 시스템으로부터 모니터링 정보를 각각 수신하여 해양쓰레기에 대한 빅데이터를 구축하고, 사용자의 요청에 따라 해당하는 각종 정보를 맞춤형으로 제공하는 처리가 수행되도록 이루어지는 관제서버; 및
    각각의 사용자가 상기 관제서버에 해양쓰레기에 대한 정보를 요청하고 전달받기 위한 사용자 단말기를 포함하여 구성되고,
    상기 해양쓰레기 모니터링 시스템은,
    청구항 1항 내지 청구항 4항, 청구항 7항 및 청구항 9항 중 어느 한 항에 기재된 무인관측 기반 해양쓰레기 모니터링 시스템을 이용하여 구성되는 것을 특징으로 하는 해양쓰레기 관리시스템.
    
12. 제 11항에 있어서,
    상기 사용자 단말기는,
    PC를 포함하는 정보처리장치, 또는, 스마트폰이나 태블릿 PC 또는 노트북을 포함하는 개인 휴대용 정보통신 단말기에 전용의 프로그램이나 어플리케이션을 설치하는 것에 의해 구성되는 것을 특징으로 하는 무인관측 기반 해양쓰레기 관리시스템.
    

Images