KR102316387B1

KR102316387B1 - 부유물 탐지 방법 및 장치

Info

Publication number: KR102316387B1
Application number: KR1020190149880A
Authority: KR
Inventors: 최연주; 한상혁
Original assignee: 한국항공우주연구원
Priority date: 2019-11-20
Filing date: 2019-11-20
Publication date: 2021-10-22
Also published as: KR20210061848A

Abstract

다양한 실시예들에 따라서 컴퓨터 장치에 의해 수행되는 해양 부유물을 탐지하는 방법 및 장치가 개시된다. 부유물 탐지 방법은 부유물이 존재하는 위치가 라벨링된 제1 고해상도 이미지와 상기 제1 고해상도 이미지에 해당하는 영역을 포함하여 촬영한 제1 저해상도 이미지를 이용하여 제1 인공지능 신경망을 기계 학습시킴으로써, 상기 제1 인공지능 신경망을 생성하는 단계, 제2 저해상도 이미지를 획득하는 단계, 및 상기 제2 저해상도 이미지를 상기 제1 인공지능 신경망에 입력함으로써, 상기 제2 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하는 단계를 포함한다.

Description

부유물 탐지 방법 및 장치{Method and apparatus for detecting floating matter}

본 개시는 부유물 탐지 방법 및 장치에 관한 것으로서, 더욱 자세하게는 인공 신경망 모델을 이용하여 해양 부유물을 탐지하는 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.

지구의 온난화로 인해 해양에 적조, 녹조, 해조(海藻, 바닷말) 등이 빈번히 발생하고 있으며, 이는 환경파괴, 어민생업곤란 등의 문제를 야기하고 있다.

적조, 녹조, 모자반 등과 같은 해양 부유물이 어디에 얼마나 발생하였고, 또 어떻게 이동하고 있는지를 정확히 탐지할 수 있어야 하지만, 현재는 선박을 타고 나가서 직접 해양 부유물을 관찰하는 방법이 사용되고 있다.

천리안 위성의 한반도 위성 사진을 이용하여 해양 부유물을 탐지하려는 시도가 있지만, 날씨, 조도, 온도 등과 같은 주변 환경이 변하기 때문에 정확한 탐지에 어려우이 있다. 또한, 사진의 해상도가 낮기 때문에 직경 수백 미터의 해양 부유물조차 탐지하기 어렵다.

본 발명이 해결하고자 하는 과제는 인공 신경망 모델을 이용하여 저해상도 적외선 위성 사진과 고해상도 위성 사진에서 해양 부유물을 정확하게 탐지하는 장치, 방법 및 컴퓨터 프로그램을 제공하는 것이다.

상술한 기술적 과제들을 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 컴퓨팅 장치에 의해 수행되는 부유물 탐지 방법은 부유물이 존재하는 위치가 라벨링된 제1 고해상도 이미지와 상기 제1 고해상도 이미지에 해당하는 영역을 포함하여 촬영한 제1 저해상도 이미지를 이용하여 제1 인공지능 신경망을 기계 학습시킴으로써, 상기 제1 인공지능 신경망을 생성하는 단계, 제2 저해상도 이미지를 획득하는 단계, 및 상기 제2 저해상도 이미지를 상기 제1 인공지능 신경망에 입력함으로써, 상기 제2 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하는 단계를 포함한다.

일 예에 따르면, 상기 추정하는 단계는 상기 셀 영역 내에 상기 부유물이 존재하는 영역의 면적을 추정하는 단계를 포함할 수 있다.

다른 예에 따르면, 상기 추정하는 단계는 상기 셀 영역에 존재하는 상기 부유물의 종류를 추정하는 단계를 포함할 수 있다.

또 다른 예에 따르면, 상기 제1 인공지능 신경망을 생성하는 단계는 상기 제1 저해상도 이미지의 픽셀들 각각을 상기 제1 고해상도 이미지에 매칭시키는 단계로서, 상기 제1 저해상도 이미지의 제1 픽셀은 상기 제1 고해상도 이미지의 매칭 영역에 대응하는 단계, 상기 제1 고해상도 이미지에 라벨링된 상기 부유물이 존재하는 위치에 기초하여, 상기 제1 고해상도 이미지의 매칭 영역에서 상기 부유물이 존재하는 검증 면적을 계산하는 단계, 상기 제1 저해상도 이미지의 상기 제1 픽셀을 포함하는 일부 이미지를 학습 데이터로 상기 제1 인공지능 신경망에 입력하는 단계, 및 상기 제1 인공지능 신경망의 출력과 상기 검증 면적의 차이가 최소화되도록, 상기 제1 인공지능 신경망을 기계 학습시키는 단계를 포함할 수 있다.

또 다른 예에 따르면, 상기 제1 인공지능 신경망을 생성하는 단계는 상기 부유물이 존재하는 위치가 라벨링된 상기 제1 고해상도 이미지를 획득하는 단계를 더 포함할 수 있다.

또 다른 예에 따르면, 상기 제1 인공지능 신경망을 생성하는 단계는 제2 인공지능 신경망을 이용하여 상기 제1 고해상도 이미지에 상기 부유물이 존재하는 위치를 라벨링하는 단계를 더 포함할 수 있다.

또 다른 예에 따르면, 상기 제1 고해상도 이미지에 상기 부유물이 존재하는 위치를 라벨링하는 단계는 부유물이 존재하는 위치가 라벨링된 제2 고해상도 이미지를 획득하는 단계, 상기 제2 고해상도 이미지의 픽셀들 각각에 대하여, 해당 픽셀을 포함하는 일부 이미지를 학습 데이터로 상기 제2 인공지능 신경망에 입력하는 단계, 상기 제2 인공지능 신경망의 상기 해당 픽셀에 대한 출력이 상기 제2 고해상도 이미지에 라벨링된 상기 부유물이 존재하는 위치에 따라 결정되는 상기 해당 픽셀에 해당하는 영역의 부유물 존재 유무와 일치하도록, 상기 제2 인공지능 신경망을 기계 학습시키는 단계, 및 상기 제1 고해상도 이미지를 상기 제2 인공지능 신경망에 입력하고, 상기 제1 고해상도 이미지의 픽셀들 각각에 대한 상기 제2 인공지능 신경망의 출력을 기초로 상기 부유물이 존재하는 위치를 상기 제1 고해상도 이미지에 라벨링하는 단계를 포함할 수 있다.

또 다른 예에 따르면, 상기 제1 저해상도 이미지는 정지궤도 위성로부터 수신되는 적외선 영상일 수 있다. 상기 제1 고해상도 이미지는 저궤도 위성으로부터 수신되는 가시광선 영상일 수 있다.

또 다른 예에 따르면, 상기 제1 저해상도 이미지는 100미터 내지 10km의 공간 해상도(spatial resolution)를 가질 수 있다. 상기 제1 고해상도 이미지는 10cm 내지 10m의 공간 해상도를 가질 수 있다.

본 발명의 다른 측면에 따른 컴퓨터 프로그램은 컴퓨팅 장치를 이용하여 전술한 부유물 탐지 방법을 실행시키기 위하여 매체에 저장된다.

본 발명의 또 다른 측면에 따른 부유물 탐지 장치는 부유물이 존재하는 위치가 라벨링된 제1 고해상도 이미지, 상기 제1 고해상도 이미지에 해당하는 영역을 포함하여 촬영한 제1 저해상도 이미지, 및 제2 저해상도 이미지를 저장하는 메모리, 및 상기 제1 고해상도 이미지와 상기 제1 저해상도 이미지를 이용하여 제1 인공지능 신경망을 기계 학습시킴으로써 상기 제1 인공지능 신경망을 생성하고, 상기 제2 저해상도 이미지를 상기 제1 인공지능 신경망에 입력함으로써, 상기 제2 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하도록 구성되는 적어도 하나의 프로세서를 포함한다.

일 예에 따르면, 상기 적어도 하나의 프로세서는 상기 셀 영역 내에 상기 부유물이 존재하는 영역의 면적을 추정하도록 구성될 수 있다.

다른 예에 따르면, 상기 적어도 하나의 프로세서는 상기 셀 영역에 존재하는 상기 부유물의 종류를 추정하도록 구성될 수 있다.

또 다른 예에 따르면, 상기 적어도 하나의 프로세서는 상기 제1 저해상도 이미지의 픽셀들 각각을 상기 제1 고해상도 이미지에 매칭시킴으로써, 상기 제1 저해상도 이미지의 제1 픽셀을 상기 제1 고해상도 이미지의 매칭 영역에 대응시키고, 상기 제1 고해상도 이미지에 라벨링된 상기 부유물이 존재하는 위치에 기초하여, 상기 제1 고해상도 이미지의 매칭 영역에서 상기 부유물이 존재하는 검증 면적을 계산하고, 상기 제1 저해상도 이미지의 상기 제1 픽셀을 포함하는 일부 이미지를 학습 데이터로 상기 제1 인공지능 신경망에 입력하고, 상기 제1 인공지능 신경망의 출력과 상기 검증 면적의 차이가 최소화되도록, 상기 제1 인공지능 신경망을 기계 학습시키도록 구성될 수 있다.

또 다른 예에 따르면, 상기 적어도 하나의 프로세서는 상기 부유물이 존재하는 위치가 라벨링된 상기 제1 고해상도 이미지를 획득하여 상기 메모리에 저장하도록 구성될 수 있다.

또 다른 예에 따르면, 상기 적어도 하나의 프로세서는 제2 인공지능 신경망을 이용하여 상기 제1 고해상도 이미지에 상기 부유물이 존재하는 위치를 라벨링함으로써, 상기 부유물이 존재하는 위치가 라벨링된 상기 제1 고해상도 이미지를 생성하도록 구성될 수 있다.

또 다른 예에 따르면, 상기 메모리는 부유물이 존재하는 위치가 라벨링된 제2 고해상도 이미지를 저장할 수 있다. 상기 적어도 하나의 프로세서는 상기 제2 고해상도 이미지의 픽셀들 각각에 대하여, 해당 픽셀을 포함하는 일부 이미지를 학습 데이터로 상기 제2 인공지능 신경망에 입력하고, 상기 제2 인공지능 신경망의 상기 해당 픽셀에 대한 출력이 상기 제2 고해상도 이미지에 라벨링된 상기 부유물이 존재하는 위치에 따라 결정되는 상기 해당 픽셀에 해당하는 영역의 부유물 존재 유무와 일치하도록, 상기 제2 인공지능 신경망을 기계 학습시키고, 상기 제1 고해상도 이미지를 상기 제2 인공지능 신경망에 입력하고, 상기 제1 고해상도 이미지의 픽셀들 각각에 대한 상기 제2 인공지능 신경망의 출력을 기초로 상기 부유물이 존재하는 위치를 상기 제1 고해상도 이미지에 라벨링하도록 구성될 수 있다.

또 다른 예에 따르면, 상기 제1 저해상도 이미지는 정지궤도 위성의 적외선 영상일 수 있다. 상기 제1 고해상도 이미지는 저궤도 위성의 가시광선 영상일 수 있다.

본 발명에 따르면, 정지궤도 위성의 저해상도 적외선 사진과 저궤도 위성의 고해상도 가시광선 사진에서 부유물에 관한 정보를 추출할 수 있다. 인공 신경망 모델에 따라 부유물의 종류, 분포 넓이 등의 정보를 정확하게 획득할 수 있다. 뿐만 아니라, 저해상도 적외선 사진과 고해상도 가시광선 사진을 함께 이용하기 때문에 부유물을 탐지하는데 소요되는 시간이 획기적으로 감소될 수 있다.

도 1은 일 실시예에 따른 부유물 탐지 장치를 개략적으로 도시한다.
도 2는 일 실시예에 따른 부유물 탐지 장치의 내부 구성을 개략적으로 도시한다.
도 3은 일부 실시예들에 따른 제어부의 예시적인 블록도이다.
도 4는 일부 실시예에 따른 데이터 학습부의 블록도이다.
도 5는 일부 실시예에 따른 데이터 인식부의 블록도이다.
도 6a 내지 도 6c는 일 실시예에 따른 부유물 탐지 장치 및 방법에 입력되는 저해상도 이미지, 고해상도 이미지 및 부유물의 위치가 라벨링된 고해상도 이미지를 각각 도시한다.

아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 다양한 실시예들을 상세히 설명한다. 그러나 본 개시의 기술적 사상은 다양한 형태로 변형되어 구현될 수 있으므로 본 명세서에서 설명하는 실시예들로 제한되지 않는다. 본 명세서에 개시된 실시예들을 설명함에 있어서 관련된 공지 기술을 구체적으로 설명하는 것이 본 개시의 기술적 사상의 요지를 흐릴 수 있다고 판단되는 경우 그 공지 기술에 대한 구체적인 설명을 생략한다. 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

본 명세서에서 어떤 요소가 다른 요소와 "연결"되어 있다고 기술될 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라 그 중간에 다른 요소를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 어떤 요소가 다른 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 요소 외에 또 다른 요소를 배제하는 것이 아니라 또 다른 요소를 더 포함할 수 있는 것을 의미한다.

일부 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 설명될 수 있다. 이러한 기능 블록들의 일부 또는 전부는 특정 기능을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 본 개시의 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 본 개시의 기능 블록이 수행하는 기능은 복수의 기능 블록에 의해 수행되거나, 본 개시에서 복수의 기능 블록이 수행하는 기능들은 하나의 기능 블록에 의해 수행될 수도 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.

도 1은 일 실시예에 따른 부유물 탐지 장치를 개략적으로 도시한다.

도 1을 참조하면, 부유물 탐지 장치(100)는 저해상도 적외선 위성 사진(10)과 고해상도 가시광선 위성 사진(20)을 입력받아 해양 부유물 정보(30)를 출력한다.

부유물 탐지 장치(100)는 예컨대 정지궤도 위성인 천리안 위성으로부터 수신되는 적외선 사진(10)을 기초로 해양 부유물의 존재 여부 및 분포를 탐지하여 출력하는 장치이다. 부유물 탐지 장치(100)는 딥러닝 기술을 이용하여 인공지능 신경망을 생성할 수 있다. 부유물 탐지 장치(100)는 인공지능 신경망을 이용하여 저해상도 적외선 사진(10)의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 해양 영역에 부유물이 존재하는 양을 추정할 수 있다.

부유물 탐지 장치(100)는 명령, 코드, 파일, 콘텐트, 서비스 등을 제공하는 하나의 컴퓨터 장치 또는 네트워크를 통해 서로 접속하는 복수의 컴퓨터 장치들로 구현될 수 있다.

저해상도 적외선 위성 사진(10)은 예컨대 정지궤도 위성인 천리안 위성으로부터 수신되는 위성 사진일 수 있다. 본 명세서에서는 저해상도 이미지로 지칭될 수 있다.

저해상도 적외선 위성 사진(10)은 적외선 대역의 광을 감지한 사진이다. 그러나, 이로 한정되는 것은 아니며, 저해상도 적외선 위성 사진(10)은 적외선 대역의 광을 감지한 결과와 가시광선 대역의 광을 감지한 결과를 합성한 사진일 수도 있다. 또한, 적외선 대역은 목적에 따라 제1 적외선 대역과 제2 적외선 대역으로 구분될 수 있으며, 저해상도 적외선 위성 사진(10)은 이와 같이 다양한 대역의 광을 감지한 결과들을 합성한 결과물일 수 있다. 저해상도 적외선 위성 사진(10)은 컬러 사진일 수 있다.

저해상도 적외선 위성 사진(10)은 100m 내지 10km의 공간 해상도(spatial resolution)를 가질 수 있다. 예를 들면, 저해상도 적외선 위성 사진(10)은 500m 또는 2km의 공간 해상도를 가질 수 있다. 즉, 저해상도 적외선 위성 사진(10)의 한 픽셀은 지구 상의 500m, 1km 또는 2km에 대응한다. 따라서, 저해상도 적외선 위성 사진(10)은 공간 해상도보다 작은 크기를 갖는 객체를 표시하기 어렵다. 예컨대, 공간 해상도가 500m인 경우, 100m 이하의 크기를 갖는 대상은 저해상도 적외선 위성 사진(10)에 표시되지 않는다.

저해상도 적외선 위성 사진(10)은 미리 설정된 주기마다 획득될 수 있다. 즉, 정지궤도 위성은 미리 설정된 시간, 예컨대, 2분, 10분 또는 15분마다, 미리 설정된 지역, 예컨대, 한반도와 그 주변 지역, 동아시아 지역 전체를 촬영하여 저해상도 적외선 위성 사진(10)을 지구의 지상국으로 송신할 수 있다. 다른 예에 따르면, 정지궤도 위성은 다양한 대역의 영상들을 촬영하고, 지상국에서 이들을 합성하여 저해상도 적외선 위성 사진(10)을 생성할 수도 있다.

고해상도 가시광선 위성 사진(20)은 저궤도 위성으로부터 수신되는 가시광선 영상일 수 있다. 고해상도 가시광선 위성 사진(20)은 컬러 사진일 수 있다. 고해상도 가시광선 위성 사진(20)은 10cm 내지 10m의 공간 해상도를 가질 수 있다. 예컨대, 고해상도 가시광선 위성 사진(20)은 50cm, 70cm 또는 1m의 공간 해상도를 가질 수 있다. 따라서, 100m 이하의 크기를 갖는 대상도 고해상도 가시광선 위성 사진(20)에서는 명확히 표시될 수 있다.

고해상도 가시광선 위성 사진(20)은 저해상도 적외선 위성 사진(10)에 비해 대략 1/1000의 공간 해상도를 갖기 때문에, 고해상도 가시광선 위성 사진(20) 하나는 저해상도 적외선 위성 사진(10)의 수 개의 픽셀에 대응할 수 있다. 예를 들어, 고해상도 가시광선 위성 사진(20)이 50cm의 공간 해상도를 갖고, 저해상도 적외선 위성 사진(10)이 500m의 공간 해상도를 갖는 경우, 저해상도 적외선 위성 사진(10)의 한 픽셀은 고해상도 가시광선 위성 사진(20)의 1000x1000의 해상도를 갖는 부분에 대응한다. 또한, 저해상도 적외선 위성 사진(10)의 한 픽셀에 대응하는 고해상도 사진 부분은 둘 이상의 고해상도 가시광선 위성 사진들(20)에 걸쳐 위치할 수도 있다.

본 명세서에서, 저해상도 적외선 위성 사진(10)의 한 픽셀이 적어도 하나의 고해상도 가시광선 위성 사진(20)의 일부분에 대응한다는 것은 동일한 지역을 촬영한 것임을 의미한다. 즉, 저해상도 적외선 위성 사진(10)의 어느 한 픽셀이 지구 상의 어느 지역을 나타내는 것이라면, 저해상도 적외선 위성 사진(10)의 어느 한 픽셀에 대응하는 적어도 하나의 고해상도 가시광선 위성 사진(20)의 일부분은 동일한 지역을 촬영한 사진임을 의미한다.

또한, 본 명세서에서, 서로 대응되는 관계를 갖는 저해상도 적외선 위성 사진(10)과 고해상도 가시광선 위성 사진(20)은 실질적으로 동일한 시점 또는 부유물의 이동 속도에 비추어 오차가 크지 않은 시간 간격 내에 생성된 것이다. 예를 들면, 적외선 위성 사진(10)과 고해상도 가시광선 위성 사진(20) 각각의 촬영 시간은 10분 이내일 수 있다.

부유물 탐지 장치(100)는 저해상도 적외선 위성 사진(10)과 고해상도 가시광선 위성 사진(20)를 이용하여 인공지능 신경망을 학습시킬 수 있다. 부유물 탐지 장치(100)는 이렇게 학습된 인공지능 신경망에 저해상도 적외선 위성 사진(10)을 입력하여, 해양 부유물 정보(30)를 출력할 수 있다.

부유물 탐지 장치(100)는 네트워크에 연결될 수 있다. 부유물 탐지 장치(100)는 네트워크를 통해 인공위성의 지상국과 통신할 수 있다. 부유물 탐지 장치(100)는 지상국으로부터 저해상도 적외선 위성 사진(10)과 고해상도 가시광선 위성 사진(20)을 수신할 수 있다.

네트워크는 유선 네트워크 및/또는 무선 네트워크를 포함할 수 있다. 예를 들면, 네트워크는 근거리 네트워크(LAN: Local Area Network), 도시권 네트워크(MAN: Metropolitan Area Network), 광역 네트워크(WAN: Wide Area Network) 등과 같은 다양한 네트워크를 포함할 수 있다. 네트워크는 월드 와이드 웹(WWW: World Wide Web)을 포함할 수 있다. 네트워크는 공지의 이동 통신 네트워크, 공지의 무선 데이터 네트워크, 공지의 전화 네트워크, 공지의 유/무선 텔레비전 네트워크 중 적어도 하나를 포함할 수 있다. 네트워크는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있다.

해양 부유물 정보(30)는 저해상도 적외선 위성 사진(10)의 각 픽셀에 해당하는 셀 영역 별로 해양 부유물이 존재하는 양에 관한 정보일 수 있다. 해양 부유물 정보(30)는 저해상도 적외선 위성 사진(10)의 각 픽셀에 해당하는 셀 영역에서 해양 부유물이 차지하고 있는 영역의 면적에 관한 정보, 또는 셀 영역에서 해양 부유물이 덮고 있는 영역의 면적 비율에 관한 정보일 수 있다.

또한, 해양 부유물 정보(30)는 저해상도 적외선 위성 사진(10)의 각 픽셀에 해당하는 셀 영역에 존재하는 해양 부유물의 종류, 즉, 녹조, 홍조, 모자반 등에 관한 정보일 수 있다. 부유물 탐지 장치(100)가 해양 부유물의 종류를 출력하기 위해서는 인공지능 신경망이 해양 부유물의 종류를 분간할 수 있도록 훈련되어야 한다.

도 2는 일 실시예에 따른 부유물 탐지 장치의 내부 구성을 개략적으로 도시한다.

도 2를 참조하면, 부유물 탐지 장치(100)는 제어부(110), 메모리(120), 데이터베이스(DB, 130), 및 통신모듈(140)을 포함할 수 있다. 제어부(110), 메모리(120), DB(130) 및 통신모듈(140)은 버스를 통해 서로 데이터를 교환할 수 있다.

그러나, 도 2에 도시된 구성 요소 모두가 부유물 탐지 장치(100)의 필수 구성 요소인 것은 아니다. 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 부유물 탐지 장치(100)가 구현될 수도 있고, 도 2에 도시된 구성 요소보다 적은 구성 요소에 의해 부유물 탐지 장치(100)가 구현될 수도 있다.

일 실시예에 따른 부유물 탐지 장치(100)는 제어부(110), 메모리(120), DB(130) 및 통신모듈(140) 외에, 입출력 장치, 저장 장치 등을 더 포함할 수 있다.

제어부(110)는 통상적으로 부유물 탐지 장치(100)의 전반적인 동작을 제어한다. 제어부(110)는 기본적인 산술, 로직 및 입출력 연산을 수행하고, 예컨대 메모리(120)에 저장된 프로그램 코드, 예컨대, 인공지능 신경망을 실행할 수 있다. 제어부(110)는 프로세서로 지칭될 수 있다.

메모리(120)는 프로세서(110)가 판독할 수 있는 기록 매체로서, RAM, ROM 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 메모리(120)에는 운영체제와 적어도 하나의 프로그램 또는 어플리케이션 코드가 저장될 수 있다. 메모리(120)에는 저해상도 이미지로부터 해양 부유물 정보를 추정하기 위한 인공지능 신경망을 기계 학습하기 위한 프로그램 코드, 이 인공지능 신경망을 이용하여 해양 부유물 정보를 생성하기 위한 프로그램 코드 등이 저장될 수 있다. 또한, 메모리(120)에는 부유물이 존재하는 위치를 고해상도 이미지에 라벨링하기 위한 인공지능 신경망을 기계 학습하기 위한 코드, 및 이 인공지능 신경망을 이용하여 고해상도 이미지에 부유물이 존재하는 위치를 라벨링하기 위한 이프로그램 코드 등이 저장될 수 있다.

DB(130)는 프로세서(110)가 판독할 수 있는 기록 매체로서, 디스크 드라이브와 같은 비소멸성 대용량 기록장치를 포함할 수 있다. DB(130)는 학습 모델, 및 학습 모델의 트레이닝에 사용되는 트레이닝 데이터를 저장할 수 있다.

DB(130)에는 정지궤도 위성으로부터 수신되는 저해상도 이미지들과 저궤도 위성으로부터 수신되는 고해상도 이미지들이 저장될 수 있다. 저해상도 이미지는 적외선 대역의 이미지이거나, 적외선 대역의 이미지와 가시광선 대역의 이미지를 합성한 이미지일 수 있다. 고해상도 이미지는 가시광선 대역의 이미지일 수 있다.

DB(130)에 저장된 고해상도 이미지들은 제1 고해상도 이미지들과 제2 고해상도 이미지들로 구분될 수 있다. 제1 고해상도 이미지들은 제1 인공지능 신경망을 학습하기 위한 트레이닝 데이터일 수 있다. 제1 고해상도 이미지들은 부유물이 존재하는 위치가 라벨링된 데이터일 수 있다. 부유물이 존재하는 위치는 제1 고해상도 이미지에 수동으로 라벨링될 수도 있고, 제2 인공지능 신경망을 이용하여 자동으로 라벨링될 수도 있다.

제2 고해상도 이미지들은 제2 인공지능 신경망을 학습하기 위한 트레이닝 데이터일 수 있다. 제2 고해상도 이미지들은 부유뮬이 존재하는 위치가 수동으로 라벨링된 데이터일 수 있다.

DB(130)에 저장된 저해상도 이미지들은 제1 저해상도 이미지들과 제2 저해상도 이미지들로 구분될 수 있다. 제1 저해상도 이미지들은 제1 인공지능 신경망을 학습하기 위한 트레이닝 데이터일 수 있다. 제2 저해상도 이미지들은 해양 부유물 정보를 얻기 위해 제1 인공지능 신경망에 입력되는 데이터일 수 있다. 제1 저해상도 이미지들은 과거의 데이터들이고, 제2 저해상도 이미지는 현재의 데이터일 수 있다.

통신 모듈(140)은 네트워크에 접속하기 위한 모듈로서, 인공위성 지상국으로부터 저해상도 이미지들과 고해상도 이미지들을 수신할 수 있다.

제어부(110)는 부유물이 존재하는 위치가 라벨링된 제1 고해상도 이미지와 제1 고해상도 이미지에 해당하는 영역을 포함하여 촬영한 제1 저해상도 이미지를 이용하여 제1 인공지능 신경망을 기계 학습시킴으로써, 제1 인공지능 신경망을 생성할 수 있다. 또한, 제어부(110)는 제2 저해상도 이미지를 제1 인공지능 신경망에 입력함으로써, 제2 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정할 수 있다.

제어부(110)에 대하여 도 3을 참조로 더욱 자세히 설명한다.

도 3은 일부 실시예들에 따른 제어부의 예시적인 블록도이다.

도 3을 참조하면, 제어부(110)는 데이터 학습부(111) 및 데이터 인식부(112)를 포함할 수 있다. 일 실시예에 따르면, 제어부(110)는 제1 인공지능 신경망(113)을 포함할 수 있다. 다른 실시예에 따르면, 제어부(110)는 제2 인공지능 신경망(114)을 더 포함할 수 있다.

데이터 학습부(111)는 저해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하기 위한 기준을 학습할 수 있다. 데이터 학습부(111)는 저해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하기 위하여 어떤 데이터를 이용할 지에 관한 기준을 학습할 수 있다.

데이터 학습부(111)는 부유물이 존재하는 위치가 라벨링된 제1 고해상도 이미지와 제1 고해상도 이미지에 해당하는 영역을 포함하여 촬영한 제1 저해상도 이미지를 획득하여 제1 인공지능 신경망(113)을 학습하는데 이용한다. 데이터 학습부(111)는 제1 고해상도 이미지와 제1 저해상도 이미지를 이용하여 제1 인공지능 신경망(113)을 기계 학습시킴으로써, 제1 인공지능 신경망(113)에 입력되는 제2 저해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하기 위한 기준을 학습할 수 있다.

일 예에 따르면, 데이터 학습부(111)는 저해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 영역의 면적을 추정하기 위한 기준을 학습할 수 있다. 데이터 학습부(111)는 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 영역의 면적을 추정하기 위하여 어떤 데이터를 이용할 지에 관한 기준을 학습할 수 있다.

일 실시예에 따르면, 데이터 학습부(111)는 제1 저해상도 이미지의 픽셀들 각각을 제1 고해상도 이미지에 매칭시킬 수 있다. 예를 들면, 데이터 학습부(111)는 제1 저해상도 이미지의 제1 픽셀을 적어도 하나의 제1 고해상도 이미지의 매칭 영역에 대응시킬 수 있다. 제1 픽셀에 대응하는 매칭 영역은 하나의 제1 고해상도 이미지에 포함될 수도 있지만, 둘 이상의 제1 고해상도 이미지에 포함될 수 있다.

데이터 학습부(111)는 제1 고해상도 이미지에 라벨링된 부유물이 존재하는 위치에 기초하여, 제1 고해상도 이미지의 매칭 영역에서 부유물이 존재하는 검증 면적을 계산할 수 있다. 제1 고해상도 이미지에는 부유물이 존재하는 위치가 라벨링되어 있으므로, 데이터 학습부(111)는 매칭 영역에서 부유물이 존재하는 영역의 면적을 산출할 수 있다.

데이터 학습부(111)는 제1 저해상도 이미지의 제1 픽셀을 포함하는 일부 이미지를 학습 데이터로 제1 인공지능 신경망(113)에 입력할 수 있다. 일 예에 따르면, 제1 인공지능 신경망(113)에 학습 데이터로서 입력되는 일부 이미지는 제1 픽셀의 이미지일 수 있다. 다른 예에 따르면, 제1 인공지능 신경망(113)에 학습 데이터로서 입력되는 일부 이미지는 제1 픽셀을 포함하는 제1 저해상도 이미지 전체일 수 있다.

또 다른 예에 따르면, 제1 인공지능 신경망(113)에 학습 데이터로서 입력되는 일부 이미지는 제1 픽셀을 포함하는 n x n의 해상도를 갖는 부분 이미지일 수 있다. 여기서 n은 3 이상의 홀수 일 수 있다. 이때, 제1 픽셀은 n x n의 해상도를 갖는 부분 이미지의 정 중앙에 위치할 수 있다. n은 3일 수 있다. n은 5일 수 있다. n은 7 이상의 홀수일 수 있다. n은 짝수일 수도 있다.

데이터 학습부(111)는 제1 인공지능 신경망(113)의 출력과 검증 면적의 차이가 최소화되도록, 제1 인공지능 신경망(113)을 기계 학습시킬 수 있다. 손실 함수가 제1 인공지능 신경망(113)의 출력과 검증 면적의 차이로 정의될 수 있다. 학습 데이터를 이용하여 제1 인공지능 신경망(113)을 학습시킴에 따라, 제1 인공지능 신경망(113)은 손실 함수의 값이 최소화되도록 갱신될 수 있다.

다른 예에 따르면, 데이터 학습부(111)는 저해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 존재하는 상기 부유물의 종류를 추정하기 위한 기준을 학습할 수 있다. 데이터 학습부(111)는 해당 픽셀에 해당하는 셀 영역에 존재하는 상기 부유물의 종류를 추정하기 위하여 어떤 데이터를 이용할 지에 관한 기준을 학습할 수 있다.

본 예에 따르면, 제1 고해상도 이미지에는 부유물이 존재하는 위치와 해당 부유물의 종류가 라벨링될 수 있다.

데이터 학습부(111)는 제1 저해상도 이미지의 픽셀들 각각을 제1 고해상도 이미지에 매칭시킬 수 있다. 예를 들면, 데이터 학습부(111)는 제1 저해상도 이미지의 제1 픽셀을 적어도 하나의 제1 고해상도 이미지의 매칭 영역에 대응시킬 수 있다.

데이터 학습부(111)는 제1 고해상도 이미지에 라벨링된 해당 부유물이 종류에 기초하여, 제1 고해상도 이미지의 매칭 영역에 존재하는 부유물의 종류를 결정할 수 있다.

데이터 학습부(111)는 제1 저해상도 이미지의 제1 픽셀을 포함하는 일부 이미지를 학습 데이터로 제1 인공지능 신경망(113)에 입력할 수 있다. 일 예에 따르면, 제1 인공지능 신경망(113)에 학습 데이터로서 입력되는 일부 이미지는 제1 픽셀, 제1 픽셀을 포함하는 제1 저해상도 이미지, 또는 제1 픽셀을 포함하는 n x n의 해상도를 갖는 부분 이미지일 수 있다.

데이터 학습부(111)는 제1 인공지능 신경망(113)의 출력과 제1 고해상도 이미지에 라벨링된 부유물의 종류가 일치하도록, 제1 인공지능 신경망(113)을 기계 학습시킬 수 있다. 손실 함수가 제1 인공지능 신경망(113)의 출력과 제1 고해상도 이미지에 라벨링된 부유물의 종류의 차이로 정의될 수 있다. 학습 데이터를 이용하여 제1 인공지능 신경망(113)을 학습시킴에 따라, 제1 인공지능 신경망(113)은 손실 함수의 값이 최소화되도록 갱신될 수 있다.

일 실시예에 따르면, 데이터 학습부(111)는 부유물이 존재하는 위치가 라벨링된 제1 고해상도 이미지를 획득할 수 있다. 부유물이 존재하는 위치는 수동으로 제1 고해상도 이미지에 라벨링될 수 있다.

사용자는 제1 고해상도 이미지를 직접 확인하고, 부유물이 존재하는 위치를 직접 라벨링할 수 있다. 이때 사용자는 부유물의 종류도 제1 고해상도 이미지에 라벨링할 수도 있다.

예를 들면, 사용자는 국립수산과학원, 뉴스, 환경부, 해양수산부 등을 통해 해양 부유물, 예컨대, 녹조, 적조, 해파리, 모자반 등의 발생 장소와 시기에 관한 정보를 취득하고, 이 장소와 시기에 해당하는 제1 고해상도 이미지를 검색한 후, 이를 직접 확인하여 해양 부유물이 존재하는 위치 및 종류를 기입할 수 있다. 사용자가 기입한 해양 부유물의 위치와 종류는 제1 고해상도 이미지의 픽셀 단위의 파라미터로 저장될 수 있다. 예를 들면, (a, b) 위치의 픽셀에 대하여, 파라미터 값이 라벨링될 수 있다. 예를 들면, 해양 부유물이 없는 경우에는 0, 녹조인 경우에는 1, 적조인 경우에는 2, 해파리인 경우에는 3, 모자반인 경우에는 4, 기타인 경우에는 5이 파라미터 값으로서 기록될 수 있다. 이는 오로지 예시적이며, 본 발명을 한정하지 않는다.

다른 실시예에 따르면, 데이터 학습부(111)는 부유물이 존재하는 위치가 라벨링된 제1 고해상도 이미지를 획득할 수 있다. 부유물이 존재하는 위치는 제2 인공지능 신경망(114)를 이용하여 자동으로 제1 고해상도 이미지에 라벨링될 수 있다.

이를 위하여, 데이터 학습부(111)는 고해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는지의 여부를 추정하기 위한 기준을 학습할 수 있다. 데이터 학습부(111)는 고해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는지의 여부를 추정하기 위하여 어떤 데이터를 이용할 지에 관한 기준을 학습할 수 있다.

데이터 학습부(111)는 부유물이 존재하는 위치가 라벨링된 제2 고해상도 이미지를 획득하여 제2 인공지능 신경망(114)을 학습하는데 이용한다. 데이터 학습부(111)는 제2 고해상도 이미지를 이용하여 제2 인공지능 신경망(114)을 기계 학습시킴으로써, 제2 인공지능 신경망(114)에 입력되는 제1 고해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는지의 여부를 추정하기 위한 기준을 학습할 수 있다.

제2 인공지능 신경망(114)에 의해 제1 고해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는지의 여부가 추정되면, 이의 결과를 후처리하여 부유물이 존재하는 위치가 라벨링된 제1 고해상도 이미지가 생성될 수 있다.

데이터 학습부(111)는 부유물이 존재하는 위치가 라벨링된 제2 고해상도 이미지를 획득할 수 있다. 부유물이 존재하는 위치는 수동으로 제2 고해상도 이미지에 라벨링될 수 있다.

데이터 학습부(111)는 제2 고해상도 이미지의 픽셀들 각각에 대하여, 해당 픽셀을 포함하는 일부 이미지를 학습 데이터로 제2 인공지능 신경망(114)에 입력할 수 있다. 일 예에 따르면, 제2 인공지능 신경망(114)에 학습 데이터로서 입력되는 일부 이미지는 해당 픽셀의 이미지일 수 있다. 다른 예에 따르면, 제2 인공지능 신경망(114)에 학습 데이터로서 입력되는 일부 이미지는 해당 픽셀을 포함하는 제2 고해상도 이미지 전체일 수 있다.

또 다른 예에 따르면, 제2 인공지능 신경망(114)에 학습 데이터로서 입력되는 일부 이미지는 해당 픽셀을 포함하는 n x n의 해상도를 갖는 부분 이미지일 수 있다. 여기서 n은 3 이상의 홀수 일 수 있다. 이때, 제1 픽셀은 n x n의 해상도를 갖는 부분 이미지의 정 중앙에 위치할 수 있다. n은 3, 5, 또는 7 이상의 홀수일 수 있다. n은 짝수일 수도 있다.

데이터 학습부(111)는 제2 인공지능 신경망(114)의 해당 픽셀에 대한 출력이 제2 고해상도 이미지에 라벨링된 부유물이 존재하는 위치에 따라 결정되는 해당 픽셀에 해당하는 영역의 부유물 존재 유무와 일치하도록, 제2 인공지능 신경망(114)을 학습시킬 수 있다. 손실 함수가 제2 인공지능 신경망(114)의 출력과 해당 픽셀의 부유물 존재 유무 간의 차이로 정의될 수 있다. 학습 데이터를 이용하여 제2 인공지능 신경망(114)을 학습시킴에 따라, 제2 인공지능 신경망(114)은 손실 함수의 값이 최소화되도록 갱신될 수 있다.

데이터 인식부(112)는 데이터에 기초하여 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정할 수 있다. 데이터 인식부(112)는 기계 학습된 제1 인공지능 신경망(113)을 이용하여, 소정의 데이터로부터 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정할 수 있다.

데이터 인식부(112)는 제2 저해상도 이미지를 수신하여 학습에 의한 기 설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 제1 인공지능 신경망(113)을 이용함으로써, 제2 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정할 수 있다. 또한, 제1 인공지능 신경망(113)의 결과 값은, 제1 인공지능 신경망(113)을 갱신하는데 이용될 수 있다.

일 예에 따르면, 데이터 인식부(112)는 데이터에 기초하여 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역 내에 상기 부유물이 존재하는 영역의 면적을 추정할 수 있다. 다른 예에 따르면, 데이터 인식부(112)는 데이터에 기초하여 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 존재하는 상기 부유물의 종류를 추정할 수 있다.

데이터 인식부(112)는 데이터에 기초하여 고해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는지의 여부를 추정할 수 있다. 데이터 인식부(112)는 기계 학습된 제2 인공지능 신경망(114)을 이용하여, 소정의 데이터로부터 고해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는지의 여부를 추정할 수 있다.

데이터 인식부(112)는 제1 고해상도 이미지를 수신하여 학습에 의한 기 설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 제2 인공지능 신경망(114)을 이용함으로써, 제1 고해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는지의 여부를 추정할 수 있다. 또한, 제2 인공지능 신경망(114)의 결과 값은, 제2 인공지능 신경망(114)을 갱신하는데 이용될 수 있다.

제2 인공지능 신경망(114)에 의해 제1 고해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는지의 여부가 추정되면, 데이터 인식부(112)는 그 결과를 후처리함으로써 부유물이 존재하는 위치를 제1 고해상도 이미지에 라벨링할 수 있다.

데이터 학습부(111) 및 데이터 인식부(112) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 디바이스에 탑재될 수 있다. 예를 들어, 데이터 학습부(111) 및 데이터 인식부(112) 중 적어도 하나는 인공지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 디바이스에 탑재될 수도 있다.

이 경우, 데이터 학습부(111) 및 데이터 인식부(112)는 하나의 디바이스에 탑재될 수도 있으며, 또는 별개의 디바이스들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(111) 및 데이터 인식부(112) 중 하나는 부유물 탐지 장치(100)에 포함되고, 나머지 하나는 부유물 탐지 장치(100)와 네트워크로 연결되는 서버에 포함될 수 있다. 데이터 학습부(111) 및 데이터 인식부(112)는 유선 또는 무선으로 통하여, 데이터 학습부(111)가 구축한 모델 정보를 데이터 인식부(112)로 제공할 수도 있고, 데이터 인식부(112)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(111)로 제공될 수도 있다.

한편, 데이터 학습부(111) 및 데이터 인식부(112) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(111) 및 데이터 인식부(112) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수도 있다.

도 4는 일부 실시예에 따른 데이터 학습부(111)의 블록도이다.

도 4를 참조하면, 데이터 학습부(111)는 데이터 획득부(111-1), 전처리부(111-2), 학습 데이터 선택부(111-3), 모델 학습부(111-4) 및 모델 평가부(111-5)를 포함할 수 있다.

아래에서는 데이터 학습부(111)가 제1 인공지능 신경망(113)을 생성하는 구성에 대하여 설명한다. 그러나, 데이터 학습부(111)가 제2 인공지능 신경망(114)을 생성할 때에도 동일한 구성과 설명이 적용될 수 있다.

데이터 획득부(111-1)는 제1 저해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하는데 필요한 데이터를 획득할 수 있다. 데이터 획득부(111-1)는 DB(130)에 저장된 제1 저해상도 이미지와 적어도 하나의 제1 고해상도 이미지를 획득할 수 있다. 제1 고해상도 이미지에는 부유물이 존재하는 위치가 라벨링될 수 있다. 제1 저해상도 이미지는 제1 고해상도 이미지에 해당하는 영역을 포함하여 촬영한 이미지일 수 있다.

전처리부(111-2)는 제1 저해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하는데 필요한 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(111-2)는 후술할 모델 학습부(111-4)가 제1 저해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하기 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.

예를 들면, 전처리부(111-2)는 제1 저해상도 이미지의 픽셀들 각각을 제1 고해상도 이미지에 매칭시킬 수 있다. 예컨대, 전처리부(111-2)는 제1 저해상도 이미지의 제1 픽셀을 적어도 하나의 제1 고해상도 이미지의 매칭 영역에 대응시킬 수 있다. 전처리부(111-2)는 제1 고해상도 이미지에 라벨링된 부유물이 존재하는 위치에 기초하여, 제1 고해상도 이미지의 매칭 영역에서 부유물이 존재하는 검증 면적을 산출할 수 있다.

또한, 전처리부(111-2)는 제1 저해상도 이미지에서 해양이 아닌 육지에 해당하는 픽셀들을 마스킹할 수도 있다.

학습 데이터 선택부(111-3)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(111-4)에 제공될 수 있다. 학습 데이터 선택부(111-3)는 해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정을 하기 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다.

예를 들면, 학습 데이터 선택부(111-3)는 제1 저해상도 이미지의 제1 픽셀을 포함하는 일부 이미지를 선택할 수 있다. 일부 이미지는 제1 픽셀의 이미지일 수 있으며, 제1 저해상도 이미지의 전체 이미지일 수도 있으며, 제1 픽셀을 포함하는 n x n의 해상도를 갖는 부분 이미지일 수도 있다.

또한, 학습 데이터 선택부(111-3)는 후술할 모델 학습부(111-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.

모델 학습부(111-4)는 학습 데이터에 기초하여 제1 저해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 어떻게 추정할 지에 관한 기준을 학습할 수 있다. 모델 학습부(111-4)는 제1 저해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하기 위하여 어떤 학습 데이터를 이용해야 하는 지에 대한 기준을 학습할 수도 있다. 또한, 모델 학습부(111-4)는 제1 저해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하는데 이용되는 제1 인공지능 신경망(113)을 학습 데이터를 이용하여 학습시킬 수 있다.

이 경우, 제1 인공지능 신경망(113)은 미리 구축된 것일 수 있다. 예를 들어, 제1 인공지능 신경망(113)은 기본 학습 데이터(예를 들어, 샘플 데이터 등)을 입력 받아 미리 구축된 것일 수 있다.

제1 인공지능 신경망(113)은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 제1 인공지능 신경망(113)은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 학습 모델로서, 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 이용될 수 있으나, 이에 한정되지 않는다.

또한, 모델 학습부(111-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 제1 인공지능 신경망(113)을 학습시킬 수 있다.

또한, 모델 학습부(111-4)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning) 을 통하여, 제1 인공지능 신경망(113)을 학습시킬 수 있다. 또한, 모델 학습부(111-4)는, 예를 들어, 별다른 지도없이 주 대상체 및 부 대상체 중 적어도 하나를 검출하고, 검출 결과에 대응하는 응답 동작의 제공을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 주 대상체 및 부 대상체 중 적어도 하나를 검출하기 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 제1 인공지능 신경망(113)을 학습시킬 수 있다. 또한, 모델 학습부(111-4)는, 예를 들어, 학습에 따라서 제1 저해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정한 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 제1 인공지능 신경망(113)을 학습시킬 수 있다.

제1 인공지능 신경망(113)이 학습되면, 모델 학습부(111-4)는 학습된 제1 인공지능 신경망(113)을 저장할 수 있다. 이 경우, 모델 학습부(111-4)는 제1 인공지능 신경망(113)을 데이터 인식부(112)를 포함하는 부유물 탐지 장치(100)의 메모리(120)에 저장할 수 있다.

이 경우, 제1 인공지능 신경망(113)이 저장되는 메모리(120)는, 예를 들면, 디바이스의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리(120)는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.

모델 평가부(111-5)는 제1 인공지능 신경망(113)에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(111-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 학습 모델을 평가하기 위한 기 설정된 데이터일 수 있다.

예를 들어, 모델 평가부(111-5)는 평가 데이터에 대한 학습된 제1 인공지능 신경망(113)의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 제1 인공지능 신경망(113)이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(111-5)는 학습된 제1 인공지능 신경망(113)이 적합하지 않은 것으로 평가할 수 있다.

한편, 데이터 학습부(111) 내의 데이터 획득부(111-1), 전처리부(111-2), 학습 데이터 선택부(111-3), 모델 학습부(111-4) 및 모델 평가부(111-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 디바이스에 탑재될 수 있다. 예를 들어, 데이터 획득부(111-1), 전처리부(111-2), 학습 데이터 선택부(111-3), 모델 학습부(111-4) 및 모델 평가부(111-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 디바이스에 탑재될 수도 있다.

또한, 데이터 획득부(111-1), 전처리부(111-2), 학습 데이터 선택부(111-3), 모델 학습부(111-4) 및 모델 평가부(111-5)는 하나의 디바이스에 탑재될 수도 있으며, 또는 별개의 디바이스들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(111-1), 전처리부(111-2), 학습 데이터 선택부(111-3), 모델 학습부(111-4) 및 모델 평가부(111-5) 중 일부는 디바이스에 포함되고, 나머지 일부는 서버에 포함될 수 있다.

또한, 데이터 획득부(111-1), 전처리부(111-2), 학습 데이터 선택부(111-3), 모델 학습부(111-4) 및 모델 평가부(111-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(111-1), 전처리부(111-2), 학습 데이터 선택부(111-3), 모델 학습부(111-4) 및 모델 평가부(111-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.

프로세서(110)는 다양한 학습 모델을 이용할 수 있으며, 학습 모델을 통해 다양한 방법으로 제1 저해상도 이미지 내의 픽셀들 각각에 대하여 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하기 위한 기준을 효율적으로 학습할 수 있다.

도 5는 일부 실시예에 따른 데이터 인식부(112)의 블록도이다.

도 5를 참조하면, 일부 실시예에 따른 데이터 인식부(112)는 데이터 획득부(112-1), 전처리부(112-2), 인식 데이터 선택부(112-3), 인식 결과 제공부(112-4) 및 모델 갱신부(112-5)를 포함할 수 있다.

아래에서는 데이터 인식부(112)가 제1 인공지능 신경망(113)을 이용하는 구성에 대하여 설명한다. 그러나, 데이터 인식부(112)가 제2 인공지능 신경망(114)을 이용할 때에도 동일한 구성과 설명이 적용될 수 있다.

데이터 획득부(112-1)는 제2 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하는데 필요한 데이터를 획득할 수 있다.

전처리부(111-2)는 제2 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하는데 필요한 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(112-2)는 후술할 인식 결과 제공부(112-4)가 제2 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하기 위해 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.

인식 데이터 선택부(112-3)는 전처리된 데이터 중에서 제2 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하는데 필요한 데이터를 선택할 수 있다. 인식 데이터 선택부(112-3)는 제2 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하기 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(112-3)는 후술할 모델 학습부(111-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.

인식 결과 제공부(112-4)는 선택된 데이터를 제1 인공지능 신경망(113)에 적용하여 제2 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정할 수 있다. 인식 결과 제공부(112-4)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 인식 결과 제공부(112-4)는 인식 데이터 선택부(112-3)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 제1 인공지능 신경망(113)에 적용할 수 있다. 또한, 인식 결과는 제1 인공지능 신경망(113)에 의해 결정될 수 있다. 예를 들면, 제2 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정한 결과는 텍스트, 이미지 또는 명령 (예를 들면, 어플리케이션 실행 명령어, 모듈 기능 실행 명령어 등)등으로 제공될 수 있다.

모델 갱신부(112-5)는 인식 결과 제공부(112-4)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 제1 인공지능 신경망(113)이 갱신되도록할 수 있다. 예를 들어, 모델 갱신부(112-5)는 인식 결과 제공부(112-4)에 의해 제공되는 인식 결과를 모델 학습부(111-4)에게 제공함으로써, 모델 학습부(111-4)가 제1 인공지능 신경망(113)을 갱신하도록 할 수 있다.

한편, 데이터 인식부(112) 내의 데이터 획득부(112-1), 전처리부(112-2), 인식 데이터 선택부(112-3), 인식 결과 제공부(112-4) 및 모델 갱신부(112-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 디바이스에 탑재될 수 있다. 예를 들어, 데이터 획득부(112-1), 전처리부(112-2), 인식 데이터 선택부(112-3), 인식 결과 제공부(112-4) 및 모델 갱신부(112-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 디바이스에 탑재될 수도 있다.

또한, 데이터 획득부(112-1), 전처리부(112-2), 인식 데이터 선택부(112-3), 인식 결과 제공부(112-4) 및 모델 갱신부(112-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(112-1), 전처리부(112-2), 인식 데이터 선택부(112-3), 인식 결과 제공부(112-4) 및 모델 갱신부(112-5) 중 일부는 부유물 탐지 장치(100)에 포함되고, 나머지 일부는 서버에 포함될 수 있다.

또한, 데이터 획득부(112-1), 전처리부(112-2), 인식 데이터 선택부(112-3), 인식 결과 제공부(112-4) 및 모델 갱신부(112-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(112-1), 전처리부(112-2), 인식 데이터 선택부(112-3), 인식 결과 제공부(112-4) 및 모델 갱신부(112-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.

부유물 탐지 장치(100)는 학습된 결과가 적용된 제1 인공지능 신경망(113)을 이용하여 제2 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정한 결과를 사용자에게 제공할 수 있게 된다.

도 6a 내지 도 6c는 일 실시예에 따른 부유물 탐지 장치 및 방법에 입력되는 저해상도 이미지, 고해상도 이미지 및 부유물의 위치가 라벨링된 고해상도 이미지를 각각 도시한다.

도 6a를 참조하면, 저해상도 이미지(10)의 일부가 예시적으로 도시된다. 저해상도 이미지(10)는 픽셀 값들로 이루어지며, 각각의 픽셀마다 서로 다른 값을 가질 수 있다. 저해상도 이미지(10)는 제1 픽셀(Pixel A)을 포함한다.

도 6b를 참조하면, 고해상도 이미지(20)가 예시적으로 도시된다. 고해상도 이미지(20)는 컬러 이미지일 수 있으며, 도 6b에 도시된 바와 같이 부유물(fm1, fm2)이 존재하는 경우 다른 곳과 다른 색상으로 표시될 수 있다. 저해상도 이미지(10)의 제1 픽셀(Pixel A)에 대응하는 제1 영역(Area A)은 고해상도 이미지(20)의 일부 영역일 수 있다. 제1 영역(Area A)은 둘 이상의 고해상도 이미지(20)에 걸쳐 위치할 수도 있다.

도 6c를 참조하면, 부유물의 위치가 라벨링된 고해상도 이미지(20a)가 도시된다. 고해상도 이미지(20a)에 라벨링된 부유물의 위치(fm1, fm2)는 파라미터 형태로 라벨링되지만, 용이한 이해를 위하여 도 6c에는 도면으로 표시한 것이다. 부유물의 위치(fm1, fm2)가 수동으로 또는 제2 인공지능 신경망(114)을 통해 자동으로 인식될 수 있으며, 부유물의 위치(fm1, fm2)는 파라미터의 형태로 고해상도 이미지(20)에 라벨링될 수 있다.

데이터 학습부(111)는 고해상도 이미지(20a)의 부유물의 위치(fm1, fm2)를 기초로, 제1 영역(Area A)에서 부유물이 존재한는 영역의 면적을 산출할 수 있다. 데이터 학습부(111)는 고해상도 이미지(20a)의 부유물의 위치(fm1, fm2)를 기초로, 제1 영역(Area A)에서 존재하는 부유물의 종류가 탐지될 수 있다.

데이터 학습부(111)는 저해상도 이미지(10)의 제1 픽셀(Pixel A)을 포함하는 이미지와 제1 픽셀(Pixel A)에 해당하는 영역에서 부유물이 존재하는 양을 기초로 제1 인공지능 신경망(113)을 학습할 수 있다.

데이터 인식부(112)는 제1 인공지능 신경망(113)을 이용하여 저해상도 이미지(10) 내의 다른 픽셀에 대하여 해당 픽셀에 해당하는 영역에서 부유물이 존재하는 양을 추정할 수 있다.

이상 설명된 다양한 실시예들은 예시적이며, 서로 구별되어 독립적으로 실시되어야 하는 것은 아니다. 본 명세서에서 설명된 실시예들은 서로 조합된 형태로 실시될 수 있다.

이상 설명된 다양한 실시예들은 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.

본 명세서에서, "부", "모듈" 등은 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다. 예를 들면, "부", "모듈" 등은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

10: 저해상도 이미지
20: 고해상도 이미지
30: 해양 부유물 정보
100: 부유물 탐지 장치
110: 제어부
111: 데이터 학습부
112: 데이터 인식부
113: 제1 인공지능 신경망
114: 제2 인공지능 신경망
120: 메모리
130: DB
140: 통신 모듈

Claims

컴퓨팅 장치에 의해 수행되는 방법에 있어서,
부유물이 존재하는 위치가 라벨링된 제1 고해상도 이미지와 상기 제1 고해상도 이미지에 해당하는 영역을 포함하여 촬영한 제1 저해상도 이미지를 이용하여 제1 인공지능 신경망을 기계 학습시킴으로써, 상기 제1 인공지능 신경망을 생성하는 단계;
제2 저해상도 이미지를 획득하는 단계; 및
상기 제2 저해상도 이미지를 상기 제1 인공지능 신경망에 입력함으로써, 상기 제2 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하는 단계를 포함하고,
상기 제1 인공지능 신경망을 생성하는 단계는,
상기 제1 저해상도 이미지의 제1 픽셀이 상기 제1 고해상도 이미지의 매칭 영역에 대응하도록, 상기 제1 저해상도 이미지의 픽셀들 각각을 상기 제1 고해상도 이미지에 매칭시키는 단계;
상기 제1 고해상도 이미지에 라벨링된 상기 부유물이 존재하는 위치에 기초하여, 상기 제1 고해상도 이미지의 매칭 영역에서 상기 부유물이 존재하는 검증 면적을 계산하는 단계;
상기 제1 저해상도 이미지의 상기 제1 픽셀을 포함하는 일부 이미지를 학습 데이터로 상기 제1 인공지능 신경망에 입력하는 단계; 및
상기 제1 인공지능 신경망의 출력과 상기 검증 면적의 차이가 최소화되도록, 상기 제1 인공지능 신경망을 기계 학습시키는 단계를 포함하는 것을 특징으로 하는 부유물 탐지 방법.
제1 항에 있어서,
상기 추정하는 단계는 상기 셀 영역 내에 상기 부유물이 존재하는 영역의 면적을 추정하는 단계를 포함하는 것을 특징으로 하는 부유물 탐지 방법.
제2 항에 있어서,
상기 추정하는 단계는 상기 셀 영역에 존재하는 상기 부유물의 종류를 추정하는 단계를 포함하는 것을 특징으로 하는 부유물 탐지 방법.
삭제
제1 항에 있어서,
상기 제1 인공지능 신경망을 생성하는 단계는 상기 부유물이 존재하는 위치가 라벨링된 상기 제1 고해상도 이미지를 획득하는 단계를 더 포함하는 것을 특징으로 하는 부유물 탐지 방법.
제1 항에 있어서,
상기 제1 인공지능 신경망을 생성하는 단계는 제2 인공지능 신경망을 이용하여 상기 제1 고해상도 이미지에 상기 부유물이 존재하는 위치를 라벨링하는 단계를 더 포함하는 것을 특징으로 하는 부유물 탐지 방법.
제6 항에 있어서,
상기 제1 고해상도 이미지에 상기 부유물이 존재하는 위치를 라벨링하는 단계는,
부유물이 존재하는 위치가 라벨링된 제2 고해상도 이미지를 획득하는 단계;
상기 제2 고해상도 이미지의 픽셀들 각각에 대하여, 해당 픽셀을 포함하는 일부 이미지를 학습 데이터로 상기 제2 인공지능 신경망에 입력하는 단계;
상기 제2 인공지능 신경망의 상기 해당 픽셀에 대한 출력이 상기 제2 고해상도 이미지에 라벨링된 상기 부유물이 존재하는 위치에 따라 결정되는 상기 해당 픽셀에 해당하는 영역의 부유물 존재 유무와 일치하도록, 상기 제2 인공지능 신경망을 기계 학습시키는 단계; 및
상기 제1 고해상도 이미지를 상기 제2 인공지능 신경망에 입력하고, 상기 제1 고해상도 이미지의 픽셀들 각각에 대한 상기 제2 인공지능 신경망의 출력을 기초로 상기 부유물이 존재하는 위치를 상기 제1 고해상도 이미지에 라벨링하는 단계를 포함하는 것을 특징으로 하는 부유물 탐지 방법.
제1 항에 있어서,
상기 제1 저해상도 이미지는 정지궤도 위성로부터 수신되는 적외선 영상이고,
상기 제1 고해상도 이미지는 저궤도 위성으로부터 수신되는 가시광선 영상인 것을 특징으로 하는 부유물 탐지 방법.
제1 항에 있어서,
상기 제1 저해상도 이미지는 100m 내지 10km의 공간 해상도(spatial resolution)를 갖고,
상기 제1 고해상도 이미지는 10cm 내지 10m의 공간 해상도를 갖는 것을 특징으로 하는 부유물 탐지 방법.
컴퓨팅 장치를 이용하여 제1 항 내지 제3 항 및 제5 항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
부유물이 존재하는 위치가 라벨링된 제1 고해상도 이미지, 상기 제1 고해상도 이미지에 해당하는 영역을 포함하여 촬영한 제1 저해상도 이미지, 및 제2 저해상도 이미지를 저장하는 메모리; 및
상기 제1 고해상도 이미지와 상기 제1 저해상도 이미지를 이용하여 제1 인공지능 신경망을 기계 학습시킴으로써 상기 제1 인공지능 신경망을 생성하고, 상기 제2 저해상도 이미지를 상기 제1 인공지능 신경망에 입력함으로써, 상기 제2 저해상도 이미지 내의 픽셀들 각각에 대하여, 해당 픽셀에 해당하는 셀 영역에 부유물이 존재하는 양을 추정하도록 구성되는 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는,
상기 제1 저해상도 이미지의 픽셀들 각각을 상기 제1 고해상도 이미지에 매칭시킴으로써, 상기 제1 저해상도 이미지의 제1 픽셀을 상기 제1 고해상도 이미지의 매칭 영역에 대응시키고,
상기 제1 고해상도 이미지에 라벨링된 상기 부유물이 존재하는 위치에 기초하여, 상기 제1 고해상도 이미지의 매칭 영역에서 상기 부유물이 존재하는 검증 면적을 계산하고,
상기 제1 저해상도 이미지의 상기 제1 픽셀을 포함하는 일부 이미지를 학습 데이터로 상기 제1 인공지능 신경망에 입력하고,
상기 제1 인공지능 신경망의 출력과 상기 검증 면적의 차이가 최소화되도록, 상기 제1 인공지능 신경망을 기계 학습시키도록 구성되는 것을 특징으로 하는 부유물 탐지 장치.
제11 항에 있어서,
상기 적어도 하나의 프로세서는 상기 셀 영역 내에 상기 부유물이 존재하는 영역의 면적을 추정하도록 구성되는 것을 특징으로 하는 부유물 탐지 장치.
제12 항에 있어서,
상기 적어도 하나의 프로세서는 상기 셀 영역에 존재하는 상기 부유물의 종류를 추정하도록 구성되는 것을 특징으로 하는 부유물 탐지 장치.
삭제
제11 항에 있어서,
상기 적어도 하나의 프로세서는 상기 부유물이 존재하는 위치가 라벨링된 상기 제1 고해상도 이미지를 획득하여 상기 메모리에 저장하도록 구성되는 것을 특징으로 하는 부유물 탐지 장치.
제11 항에 있어서,
상기 적어도 하나의 프로세서는 제2 인공지능 신경망을 이용하여 상기 제1 고해상도 이미지에 상기 부유물이 존재하는 위치를 라벨링함으로써, 상기 부유물이 존재하는 위치가 라벨링된 상기 제1 고해상도 이미지를 생성하도록 구성되는 것을 특징으로 하는 부유물 탐지 장치.
제16 항에 있어서,
상기 메모리는 부유물이 존재하는 위치가 라벨링된 제2 고해상도 이미지를 저장하고,
상기 적어도 하나의 프로세서는,
상기 제2 고해상도 이미지의 픽셀들 각각에 대하여, 해당 픽셀을 포함하는 일부 이미지를 학습 데이터로 상기 제2 인공지능 신경망에 입력하고,
상기 제2 인공지능 신경망의 상기 해당 픽셀에 대한 출력이 상기 제2 고해상도 이미지에 라벨링된 상기 부유물이 존재하는 위치에 따라 결정되는 상기 해당 픽셀에 해당하는 영역의 부유물 존재 유무와 일치하도록, 상기 제2 인공지능 신경망을 기계 학습시키고,
상기 제1 고해상도 이미지를 상기 제2 인공지능 신경망에 입력하고, 상기 제1 고해상도 이미지의 픽셀들 각각에 대한 상기 제2 인공지능 신경망의 출력을 기초로 상기 부유물이 존재하는 위치를 상기 제1 고해상도 이미지에 라벨링하도록 구성되는 것을 특징으로 하는 부유물 탐지 장치.
제11 항에 있어서,
상기 제1 저해상도 이미지는 정지궤도 위성의 적외선 영상이고,
상기 제1 고해상도 이미지는 저궤도 위성의 가시광선 영상인 것을 특징으로 하는 부유물 탐지 장치.
제11 항에 있어서,
상기 제1 저해상도 이미지는 100미터 내지 10km의 공간 해상도(spatial resolution)를 갖고,
상기 제1 고해상도 이미지는 10cm 내지 10m의 공간 해상도를 갖는 것을 특징으로 하는 부유물 탐지 장치.