KR102095555B1

KR102095555B1 - 필드양식장 불법행위감시가 가능한 무인비행체 및 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법

Info

Publication number: KR102095555B1
Application number: KR1020180089965A
Authority: KR
Inventors: 문영실; 최영희; 최주형
Original assignee: 문영실; 최영희; 최주형
Priority date: 2018-08-01
Filing date: 2018-08-01
Publication date: 2020-03-31
Also published as: KR20200017601A

Abstract

본 발명은 필드양식장에서 불법행위를 하는 선박이 있는 경우 해당 선박에 대한 감시 및 경고를 통해 불법행위를 중지하도록 하고, 불법행위를 한 선박에 대하여 다양한 방법으로 후속조치를 수행할 수 있도록 하기 위한 필드양식장 불법행위 감시가 가능한 무인비행체 및 그를 이용한 불법행위 감시 방법에 관한 것으로, 무인비행체 전원이 온되고(S100), 상기 무인비행체가 운행되면서(S110), 무인비행체 카메라를 통해 영상정보를 수신하는 단계(S120); 상기 무인비행체 운행 중 이벤트가 발생하였다면 이벤트에 따라 의심선박 정보를 수신한 경우라면 GPS 정보를 이용하여 해당 위치로 이동시키고(S140), 영상을 촬영하고(S150), 상기 이벤트가 무인비행체(100)의 카메라부(140)를 통해 검출된 경우인 경우에는 불법 행위 의심선박을 촬영하며(S150), 상기 촬영한 영상은 무인비행체에서 저장하고, 이를 상기 무인비행체의 통신부를 통해 외부로 전송하는 단계(S160); 및 상기 무인비행체를 조정하는 무인비행체 조정기(300)를 통해 음성을 전송하거나, 상기 무인비행체의 경고 방송부에 미리 설정된 경고 방송 또는 경고음을 출력하는 단계(S170);를 포함하여 이루어지는 것을 특징으로 하는 필드양식장 불법행위 감시가 가능한 무인비행체를 이용한 불법행위 감시 방법을 제공한다.

Description

필드양식장 불법행위감시가 가능한 무인비행체 및 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법{Analysis of illegal activities and monitoring based on recognition using unmanned aerial vehicle and artificial intelligence deep running that can monitor illegal activities in the field farm}

본 발명은 필드양식장의 불법행위 감시가 가능한 무인비행체에 관한 것으로, 더욱 상세하게는 필드양식장에 발생하는 불법행위를 감시 및 후속조치를 할 수 있는 필드양식장 불법행위감시가 가능한 필드양식장 불법행위감시가 가능한 무인비행체 및 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법에 관한 것이다.

일반적으로 드론(drone)은 무인비행체의 일종으로 사람이 타지 않고 무선전파에 의해 비행하는 비행체를 말한다.

이러한 드론은 다양한 분야에 사용되고 있으며, 특히 화재진압용, 구조용 및 농약살포용 등으로 사용되고 있다.

드론과 관련된 종래기술로서는 대한민국 공개특허공보 제10-2017-0025386호에 제안되어 있는 소화탄을 발사할수 있는 화재 진압 드론이 있다.

상기 특허는 소화탄을 발사할 수 있는 화재 진압 드론에 있어서, 내장된 열화상 카메라의 열촬영 데이터 및 열감지 센서부의 열감지 데이터를 토대로 화재 발원지를 추적하는 화재 추적부; 복수의 소화탄을 연속적으로 발사할 수 있으며, 상기 화재 추적부의 추적결과를 토대로 소화탄의 발사각도 및 발사거리를 조절하는 투척부; 및 복수의 프로펠러를 포함하며 이동방향을 조절하는 이동부;를 포함하는 화재 진압 드론이 제안되어 있다.

또 다른 종래기술로서는 대한민국 공개특허공보 제10-2017-0013100호에 제안되어 있는 해상구조용 드론 및 이를 이용한 해상구조 시스템이 있다.

특허에는 드론바디; 드론바디의 내부에 수용되며, 드론바디의 위치를 감지하여 드론 위치데이터를 생성하는 드론 GPS모듈; 드론바디의 외부에 비행이 가능하도록 마련되는 비행 프로펠러; 드론바디의 하부에 형성되며, 인명구조 튜브를 탈착 가능하게 파지하는 튜브 홀더; 및 드론바디의 내부에 수용되며, 외부 해상관제센터로부터 조난자 위치데이터가 포함된 긴급출동신호를 수신하는 긴급출동신호 수신부와, 상기 드론 위치데이터와 상기 조난 위치데이터를 비교하여 조난자의 상방으로 이동하도록 상기 비행 프로펠러를 제어하는 비행 제어부와, 이동 후 조난자를 향하여 상기 인명구조 튜브를 투척시키도록 상기 튜브 홀더를 제어하는 투척 제어부를 포함하는 컨트롤러;를 포함하는 해상구조용 드론이 제안되어 있다.

또 다른 종래기술로서는 대한민국 등록실용신안공보 제20-0479365호에 제안되어 있는 농약 용기가 구비된 드론이 있다.

상기 실용신안에는 드론바디; 상기 드론바디의 내부에 수용되며, 상기 드론바디의 위치를 감지하여 드론 위치데이터를 생성하는 드론 GPS모듈; 상기 드론바디의 외부에 비행이 가능하도록 마련되는 비행 프로펠러; 상기 드론바디의 하부에 형성되며, 인명구조 튜브를 탈착 가능하게 파지하는 튜브 홀더; 및 상기 드론바디의 내부에 수용되며, 외부 해상관제센터로부터 조난자 위치데이터가 포함된 긴급출동신호를 수신하는 긴급출동신호 수신부와, 상기 드론 위치데이터와 상기 조난 위치데이터를 비교하여 조난자의 상방으로 이동하도록 상기 비행 프로펠러를 제어하는 비행 제어부와, 이동 후 조난자를 향하여 상기 인명구조 튜브를 투척시키도록 상기 튜브 홀더를 제어하는 투척 제어부를 포함하는 컨트롤러;를 포함하는 해상구조용 드론이 제안되어 있다.

상술한 종래기술들은 모두 드론을 이용해 화재진압, 인명구조 및 농약살포에 사용되는 것으로서 본 발명과 같이 연근해 필드양식장을 관리하기 위한 목적에 사용하기에는 한계가 있을 수밖에 없다는 문제가 있어 이에 대한 개발이 시급하다 할 것이다.

선행문헌 1 : 대한민국 공개특허공보 제10-2017-0025386호 - 소화탄을 발사할 수 있는 화재 진압 드론 선행문헌 2 : 대한민국 공개특허공보 제10-2017-0013100호 - 해상구조용 드론 및 이를 이용한 해상구조 시스템

따라서, 본 발명은 상기와 같은 종래 기술의 제반 단점과 문제점을 해결하기 위한 것으로, 필드양식장에서 불법행위를 하는 선박이나 머구리가 있는 경우 해당 선박이나 머구리에 대한 감시 및 경고를 통해 불법행위를 중지하도록 하고, 불법행위를 한 선박이나 머구리에 대하여 인공지능 딥러닝을 이용하여 불법행위에 대한 분석, 인식 및 감시를 수행할 수 있도록 하기 위한 필드양식장 불법행위감시가 가능한 무인비행체 및 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법을 제공하는 것을 목적으로 한다.

상기와 같은 목적을 달성하기 위하여 본 발명 필드양식장 불법행위감시가 가능한 무인비행체는 무인비행체(100)를 제어하기 위한 제어 신호를 무인비행체 조정기(300)로부터 전송받고, 해상 레이더(700)로부터 선박검출 레이더 신호를 전송받으며, 상기 무인비행체(100)에서 촬영한 영상 데이터와 위치정보를 상기 무인비행체 조정기(300)와 필드양식장 관계자나 무인비행체 운용자의 스마트 기기(500)로 전송하는 통신부(110); 상기 무인비행체(100) 이동방향에 따른 풍향과 풍속 및 현재 고도를 센싱하고, 회전운동상태를 측정하고 기울기를 감지하는 센서부(120); 상기 무인비행체(100)의 비행을 위한 비행부(130); 상기 무인비행체(100)가 이동하면서 주변을 촬영하는 카메라부(140); 상기 카메라부(1400에서 촬영된 영상을 저장하는 영상저장부(160); 상기 무인비행체(100)의 현재 위치를 수신하는 GPS 수신부(170); 상기 무인비행체(100) 이동 중 촬영된 영상에서 선박을 식별하는 불법행위 식별부(180); 미리 입력된 경고 방송이나 경고음을 출력하거나, 상기 무인비행체 조정기(300)에서 전송된 음성이나 경고 방송을 출력하는 경고방송부(190); 상기 통신부(110), 센서부(120). 비행부(130), 카메라부(140), 영상저장부(160), GPS 수신부(170), 불법행위 식별부(180), 경고방송부(190)를 포함하는 상기 무인비행체(100)를 제어하여 상기 통신부(110)를 통해 상기 무인비행체 조정기(300)에서 전송된 제어 데이터에 따라 상기 비행부(130)를 제어하고, 상기 카메라부(140)를 통해 촬영된 영상에서 불법행위 식별부(180)가 선박을 식별하면 이를 통신부(110)를 통해 상기 무인비행체 조정기(300), 필드양식장 관계자나 무인비행체 운용자의 스마트 기기(500)로 전송하고, 상기 무인비행체 조정기(300)에서 전송된 데이터에서 음성신호에 대하여 경고 방송부(190)를 통해 음성을 출력하도록 하며, 상기 GPS 수신부(170)로부터 수시된 위치정보와 상기 무인비행체 조정기(300)에서 설정한 운행영역을 계산하여 미리 설정된 범위를 벗어나는 경우 상기 통신부(110)를 통해 상기 무인비행체 조정기(300)로 이를 통지하며, 배터리 잔량을 계산하여 무인비행체(100)의 비행시간과 복귀장소가 지정된 경우 해당 장소까지의 비행 가능 시간을 계산하여 무인비행체 조정기(300)로 전송하도록 제어하는 제어부(220);를 포함하여 구성됨을 특징으로 한다.

또한 상기한 목적을 달성하기 위하여 본 발명 인공지능 딥러닝을 이용한 필드양식장 불법행위 분석과 인식에 따른 감시 방법은 무인비행체 전원이 온되고(S100), 상기 무인비행체가 운행되면서(S110), 무인비행체 카메라를 통해 영상정보를 수신하는 단계(S120); 상기 무인비행체 운행 중 이벤트가 발생하였다면 이벤트에 따라 의심선박 정보를 수신한 경우라면 GPS 정보를 이용하여 해당 위치로 이동시키고(S140), 영상을 촬영하고(S150), 상기 이벤트가 무인비행체(100)의 카메라부(140)를 통해 검출된 경우인 경우에는 불법 행위 의심선박을 촬영하며(S150), 상기 촬영한 영상은 무인비행체에서 저장하고, 이를 상기 무인비행체의 통신부를 통해 외부로 전송하는 단계(S160); 및 상기 무인비행체를 조정하는 무인비행체 조정기(300)를 통해 음성을 전송하거나, 상기 무인비행체의 경고 방송부에 미리 설정된 경고 방송 또는 경고음을 출력하는 단계(S170);를 포함하여 이루어지는 것을 특징으로 한다.

여기서 상기 무인비행체 운행은 무인비행체 관리자나 필드양식장 관계자에 의한 통상적인 비행이거나, 해경 레이더로부터 필드양식장에 대한 선박정보를 받은 경우이거나, 필드양식장에 설치된 부표로부터 선박 접근 신호를 상기 무인비행체 관리자나 필드양식장 관계자의 스마트기기(스마트폰, 스마트 패드)나 미리 약속된 수신기를 통해 수신한 경우에 수행됨을 특징으로 한다.

그리고 상기한 목적을 달성하기 위하여 본 발명 필드양식장 불법행위 감시가 가능한 무인비행체의 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법은 무인비행체는 선박, 침입자, 해산물 망, 침입자의 잠수 및 부표 위로 손이 올라가는 행위를 포함하는 절도행위와 감시하고자 하는 필드양식장의 경계선 및 경계선 부표의 개수를 데이터화하는 단계(S400); 상기 무인비행체는 상기 필드양식장의 이전 이미지를 이용하여 배경영역 모델을 만들고, 원본 이미지에서 제거하여 객체영역과 배경영역을 분리하는 영상확인 단계(S410); 상기 무인비행체는 실시간으로 선반, 침입자, 부표 모양, 크기, 필드양식장 경계선, 위치, 거리, 기울기, 색깔, 문자, 표지판 중 하나 이상을 검출하는 단계(S420); 상기 무인비행체는 순서대로 들어오는 영상 두개의 프레임으로부터 움직임 영역을 추출하여, 사람을 탐지하는 단계(S430)(S440); 상기 무인비행체는 탐지된 침입자 영역에 대하여 거짓 영상을 제거하는 단계(S450); 상기 무인비행체는 수집된 영상에 대하여 딥러닝을 수행하는 단계(S470); 및 상기 무인비행체는 수집된 영상정보에 대하여 상기 딥러닝을 통해 화면의 변화나 영상의 장면 전환 검출법을 이용하여 이상 행위를 검출하고, 관리자 단말기로 전송하는 단계(S480)(S490);를 포함하여 이루어지는 것을 특징으로 한다.

본 발명의 실시 예에 따르면 다음과 같은 효과가 있다.

첫째, 필드양식장에서 불법행위를 하는 선박이 있는 경우 해당 선박에 대한 감시 및 경고를 통해 불법행위를 중지하도록 할 수 있다.

둘째, 불법행위를 한 선박에 대하여 영상 촬영 및 추적을 통해 불법 선박을 검거할 수 있도록 하는 영상을 획득하는 등 다양한 방법으로 후속조치를 수행할 수 있도록 할 수 있다.

셋째, 인공지능 딥러닝을 이용하여 불법행위에 대하여 분석 및 인식하고, 그에 따른 감시를 수행할 수 있어 필드양식장에 대한 불법 행위의 감시가 용이하다.

삭제

도 1은 본 발명에 따른 필드양식장 불법행위 감시가 가능한 무인비행체를 설명하기 위한 블록 구성도이다.
도 2는 본 발명에 따른 필드양식장 불법행위 감시가 가능한 무인비행체를 조정하는 조정기를 설명하기 위한 블록 구성도이다.
도 3은 본 발명에 따른 필드양식장 불법행위 감시가 가능한 무인비행체를 이용한 불법행위 감시 개념을 설명하기 위한 도면이다.
도 4 및 도 5 본 발명에 따른 필드양식장 불법행위 감시가 가능한 무인비행체를 이용한 불법행위 감시에서 머구리와 잠수부를 나타낸 도면이다.
도 6은 본 발명에 따른 필드양식장 불법행위 감시가 가능한 무인비행체를 이용한 불법행위 감시 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명에 따른 필드양식장 불법행위 감시 시스템을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 필드양식장 불법행위 감시 시스템에서 무인 비행체 운용 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명에 따른 필드양식장 불법행위 감시 시스템의 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법을 설명하기 위한 흐름도이다.

본 발명의 바람직한 실시 예를 첨부된 도면에 의하여 상세히 설명하면 다음과 같다.

아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우는 해당되는 발명의 설명부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다. 또한 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

도 1은 본 발명에 따른 필드양식장 불법행위 감시가 가능한 무인비행체를 설명하기 위한 블록 구성도이다.

본 발명에 따른 필드양식장 불법행위 감시가 가능한 무인비행체(100)는 도 1에 나타낸 바와 같이, 통신부(110), 센서부(120). 비행부(130), 카메라부(140), 영상변환부(150), 영상저장부(160), GPS 수신부(170), 불법행위 식별부(180), 경고방송부(190), 신호 발신부(200), 운행거리 계산부(210) 및 제어부(220)로 구성된다.

통신부(110)는 무인비행체(100)를 제어하기 위한 제어 신호나 음성신호를 무인비행체 조정기(300)로부터 전송받고, 무인비행체(100)에서 촬영한 영상 데이터와 위치정보를 무인비행체 조정기(300)와 필드양식장 관계자나 무인비행체 운용자의 스마트 기기(500)로 전송한다. 또한 필드양식장 부표(600) 중 위치정보를 전송하는 부표(600)로부터 부표(600)의 식별정보나 선박(640) 접근 신호를 수신받고, 해상 레이더(700)로부터 레이더 신호를 받아 이를 무인비행체 조정기(300)로 전송한다. 한편 통신부(110)는 무인비행체의 운행정보를 미리 설정된 간격으로 외부의 감시서버(900)로 무선전송한다. 이러한 스마트 기기(500)나 필드양식장 부표(600) 및 레이더(700)는 후술하는 도 3에 나타나 있다.

센서부(120)는 풍향/풍속/고도 센싱부(121), 지자기센서(122), 가속도센서(123) 및 자이로센서(124) 중 하나 이상으로 구성되며, 풍향/풍속/고도 센싱부(121)는 무인비행체(100) 이동방향에 따른 풍향과 풍속 및 현재 고도를 센싱한다. 이때 풍향/풍속/고도 센싱부(121)는 풍향센서, 풍속센서 및 고도센서로 구성된다.

지자기센서(130)와, 가속도센서(140) 및 자이로센서(150)는 무인비행체(100)의 이동방향(진행방향), 회전운동상태를 측정하고 기울기를 감지한다.

비행부(130)는 회전날개(131), 구동모터(132), 배터리(133) 및 발전부(134) 중 하나 이상으로 구성되는데, 회전날개(131)는 구동모터(132)의 구동에 의해 무인비행체(100)의 비행을 위한 것으로, 복수개로 구성되며, 구동모터(132) 역시 각각의 회전날개(131)를 독립적으로 구동하기 위하여 복수개로 구성될 수 있다. 이때, 본 발명 무인비행체(100)는 예를 들면 드론이라 불리우는 무인 항공기로 구성할 수 있는데, 일반적으로 드론은 카메라, 센서, 통신시스템 등이 탑재돼 있으며 무게와 크기도 다양하다. 드론은 군사용도로 처음 생겨났지만 최근엔 고공 촬영과 배달 등으로 확대됐고, 최근에는 농약을 살포하거나, 공기질을 측정하는 등 다방면에 활용되고 있다. 이러한 드론의 특징 중 하나는 수직 이착륙이 가능하도록 복수개의 회전날개(131)로 구성되고, 이러한 복수개의 회전날개(131) 각각을 구동하기 위한 구동모터(132) 역시 복수개 구성된다.

배터리(133)는 구동모터(132)의 구동을 위한 전원을 공급한다.

구동엔진(190)은 구동모터(170)를 구동하기 위한 것으로, 연료통(200)으로부터 항공유, 휘발유, 경유 등을 공급받아 구동모터(170)를 구동한다.

발전부(134)는 회전날개(131) 회전시 회전력에 따라 전원을 발전시켜 배터리(133)를 충전한다.

한편 본 발명에서는 배터리를 이용한 방식만을 설명하였지만, 구동모터 대신에 가솔린을 연료로 한 구동엔진을 결합한 하이브리드 방식 또는 구동엔진만을 이용한 방식도 가능하다.

카메라부(140)는 무인비행체(100)가 이동하면서 주변을 촬영한다. 이러한 카메라부는 줌기능과 틸트 기능 등이 부가될 수 있다.

영상변환부(150)는 카메라부(140)에서 촬영된 영상을 압축하여 저장할 수 있도록 영상변환한다.

영상저장부(160)는 영상변환부(150)에서 변환된 영상을 저장한다.

GPS 수신부(170)는 무인비행체(100)의 현재 위치를 수신한다.

불법행위 식별부(180)는 무인비행체 이동 중 촬영된 영상에서 머구리(620)나 잠수부(630)와 같은 칩입자와 선박(640)을 식별한다. 이는 예를 들면 영상에서 얼굴을 검출하는 기술과 유사한 방식의 기술을 이용하여 선박(640)이나 머구리(620)나 잠수부(630)를 검출하도록 할 수 있다. 이러한 식별 기술 중 선박을 식별하는 기술은 선박과 선박, 선박과 육상 관제소간에 선박의 위치정보 등을 자동 송수신하여 선박 간의 충돌 방지 및 해난 수색구조 활동을 지원하기 위하여 선박 자동 식별 장치인 AIS(automatic identification system)을 이용할 수 있다. 일반적으로 항만의 관제시스템은 선박 AIS와 연계하여 선박의 통항을 관리한다. 효율적인 통항관리를 할 수 있도록 AIS 연동하는 선박 인식 및 표출 시스템이 요구되고 있다. 본 발명에서는 카메라부(140)로부터 입력된 해상 또는 항만 영상에 대하여 배경추정을 이용한 영상기반의 선박검출과 검출된 해당 선박의 AIS 신호를 연동하여 식별하는 방식을 이용할 수 있다. 이러한 선박(640)이나 머구리(620)나 잠수붕(630)와 같은 칩입자를 검출하는 기술을 뒤에서 보다 상세히 설명하기로 한다.

경고방송부(190)는 미리 입력된 경고 방송이나 경고음등을 출력하거나, 무인비행체 조정기(300)에서 전송된 경고 방송을 출력한다. 물론 경고 방송이외의 음성을 출력할 수 있다.

신호 발신부(200)는 기상이변이나 배터리 부족 또는 비행부(130)의 이상으로 무인비행체가 복귀하지 못하고, 바다나 강 등에 빠진 경우 무인비행체(100)를 용이하게 찾을 수 있도록 신호음이나 경광등(LED)을 발광하도록 한다. 이를 위하여 무인비행체(100)는 물에 뜨는 재질로 만들고, 주요 부품은 방수처리를 한다.

운행거리 계산부(210)는 GPS 수신기(170)를 통해 수신된 위치정보 변화에 따라 실제 무인비행체(100)의 운행 거리를 계산한다.

제어부(220)는 통신부(110), 센서부(120). 비행부(130), 카메라부(140), 영상변환부(150), 영상저장부(160), GPS 수신부(170), 불법행위 식별부(180), 경고방송부(190), 신호 발신부(200) 및 운행거리 계산부(210)를 제어하여 통신부(110)를 통해 무인비행체 조정기(300)에서 전송된 제어 데이터에 따라 비행부(130)를 제어하고, 카메라부(140)에서 촬영된 영상을 영상변환하여 영상 저장부(160)에 저장하며, 카메라부(140)를 통해 촬영된 영상에서 불법행위 식별부(180)가 선박이나 머구기를 식별하면 이를 통신부(110)를 통해 무인비행체 조정기(300), 필드양식장 관계자나 무인비행체 운용자의 스마트 기기(500)로 전송하고, 무인비행체 조정기(300)에서 전송된 데이터에서 음성신호에 대하여 경고 방송부(190)를 통해 음성을 출력하도록 하고, GPS 수신부(170)로부터 수신된 위치정보와 무인비행체 조정기(300)에서 설정한 운행영역을 계산하여 미리 설정된 범위를 벗어나는 경우 통신부(110)를 통해 무인비행체 조정기(300)로 이를 통지하며, 미리 설정된 시간마다 운행거리 계산부(210)에서 계산된 거리를 통신부(110)를 통해 외부의 감시 서버(900)로 전송하도록 제어한다. 또한 배터리 잔량을 계산하여 무인비행체(100)의 비행시간과 복귀장소가 지정된 경우 해당 장소까지의 비행 가능 시간을 계산하여 무인비행체 조정기(300)로 전송한다.

도 2는 본 발명에 따른 필드양식장 불법행위 감시가 가능한 무인비행체를 조정하는 조정기를 설명하기 위한 블록 구성도이다.

본 발명에 따른 필드양식장 불법행위 감시가 가능한 무인비행체를 조정하는 조정기(300)는 도 2에 나타낸 바와 같이, 통신부(310). 비행 조작부(320), 디스플레이부(330), 카메라 제어부(340), 음성입력부(350), 알람 발생부(360), 선박 추적 선택부(370), 운행영역 설정부(380) 및 제어부(390)로 구성된다.

여기서 통신부(310)는 무인비행체(100)와 통신하여 각종 제어신호를 전송하거나 무인비행체(100)로부터의 영상정보나 필드양식장 부표(600)로부터 부표의 식별정보 및 해상 레이더(700)로부터 레이더 신호를 전송받는다.

비행 조작부(320)는 무인비행제(100)의 비행부(130)를 제어하기 위한 신호를 발생시킨다.

디스플레이부(330)는 무인비행체(100)의 현재위치를 표시하거나, 무인비행체(100)에서 전송된 영상 데이터를 표시하며, 영상 데이터 중 선박에 대하여는 얼굴검출 시 얼굴만을 별도로 검출하고 별도로 표시하는 방식과 동일한 방식으로 표시할 수 있다. 즉 예를 들어 동시에 여러 대의 선박이 식별되어 전송되면 각각의 선박에 대하여 마스킹하고 선박 영역을 동시에 표시하며, 선박을 객체라 하는 경우 객체를 분리하고 추적하도록 하는 것으로 이는 일반적으로 보안카메라에서 얼굴을 검출하고, 검출된 얼굴을 추적하는 기술을 이용하도록 할 수 있다.

카메라 제어부(340)는 무인비행체(100)의 카메라부(140)를 제어하며, 줌이나 틸트 제어신호를 전송한다.

음성입력부(350)는 무인비행체(100)의 경고방송부(190)를 통해 방송하고자 하는 경고 방송 또는 각종 안내 방송을 할 수 있다.

알람발생부(360)는 통신부(310)를 통해 무인비행체(100)에서 통신부(310)를 통해 전송된 신호에서 선박 식별 데이터가 전송되면 이를 알람으로 알리고, 무인비행체(100)의 비행가능 시간이 복귀시간에 근접하거나 배터리 잔량이 미리 설정된 용량(예를 들어 10 ~ 15%) 인 경우 이를 알람음이나 LED 광으로 출력하도록 한다.

선박 추적 선택부(370)는 불법행위 식별부(180)에서 식별된 영상에서 식별된 선박에 대하여 무인비행체 조정기(300)를 통해 추적 선박으로 선택되면 무인비행체(100)가 해당 선박을 자동추적할 수 있도록 하는 것으로, 무인비행체 조정기(300)를 조작하는 조작자가 선택한 선박에 대하여 무인비행체 조작자의 지속적인 조작없이도 자동 추적하도록 하며, 이때, 카메라부(140) 역시 선택된 선박을 계속해서 촬영하도록 설정된다. 또한 머구리나 잠수부와 같은 침입자를 이용한 불법 행위를 한 경우에도 칩입자가 이용한 선박에 대하여 추적하도록 한다.

운행영역 설정부(380)는 무인비행체(100)가 미리 설정된 구간을 운행하도록 설정한다. 이에 대하여는 필드양식장에 설치된 부표 등을 이용하거나, 필드양식장의 좌표를 입력하는 방식을 이요할 수 있다.

제어부(390)는 통신부(310). 비행 조작부(320), 디스플레이부(330), 카메라 제어부(340), 음성입력부(350), 알람 발생부(360), 선박추적 선택부(370) 및 운행영역 설정부(380)를 제어한다.

도 3은 본 발명에 따른 필드양식장 불법행위 감시가 가능한 무인비행체를 이용한 불법행위 감시 개념을 설명하기 위한 도면이다.

본 발명에 따른 필드양식장 불법행위 감시가 가능한 무인비행체를 이용한 불법행위 감시 개념은 도 3에 나타낸 바와 같은데, 복수의 제1 내지 제n 필드양식장(410, 420, 430)에 대하여 무인비행체(100)가 운행하면서 불법 조업을 하는 선박을 감시할 수 있다. 일반적으로 필드양식장 관계자는 해경 레이터(700)를 통해서 선박의 위치정보를 전달받을 수 있는데, 필드양식장 관계자가 불법 조업 중인 선박을 하루종일 감시하기는 현실적으로 어려울 수 있으므로 해경 레이더로부터 필드양식장 근처를 운행 중인 선박정보가 전송되면 해당 선박이 무인비행체(100)를 이동시켜 선박에 대한 영상촬영과 해당 영상을 스마트 기기(500) 등으로 전송받아 해당 선박의 불법행위 중인지를 판별할 수 있고, 해당 선박의 식별정보(배이름 등)와 영상정보를 통해 즉각적인 후속조치(해경 신고 등)을 수행할 수 있다. 이때, 필드양식장(400)에 부표(600)가 있고, 부표(600)로부터 식별정보를 수신할 수 있는데, 최근의 부표는 선박의 필드양식장 통과 등에 의한 사고 발생 방지를 위한 태양광 자가발전 경광부 및 GPS 센서를 포함하고 있으며, 필드양식장 수온 변화 모니터링을 위한 온도센서, 접근시 감지기능 포함한 레이져 센서를 포함하는 경우도 있다. 그러므로 부표(600)에 머구리(620)나 잠수부(630) 및 선박(640) 접근 시 필드양식장 관계자의 스마트 폰으로 해당 머구리(620)나 잠수부(630) 및 선박(640)의 접근을 알리고, 그에 따라 무인비행체(100)을 해당 부표 위치로 이동시켜 촬영하도록 하는 것도 가능하다. 이러한 부표는 부표고정장치(610)를 통해 고정되거나 가두리 장치에 직접 설치될 수 있다.

도 4 및 도 5 본 발명에 따른 필드양식장 불법행위 감시가 가능한 무인비행체를 이용한 불법행위 감시에서 머구리와 잠수부를 나타낸 도면이다.

본 발명에 따른 필드양식장 불법행위 감시가 가능한 무인비행체를 이용한 불법행위 감시에서 머구리는 도 4에 나타낸 바와 같은데 머구리(620)란 바다물속에 들어가서 고기를 잡거나 해산물을 채취하는 사람들을 남해안이나 동해안, 섬 등에서 부르는 용어이기도 하다. 머구리는 도 4에 나타낸 바와 같이 우주복 같은 잠수복을 입고 수면위와 연결된 호스를 통해 공기를 공급받는다. 마치 우주인이 유영하는 모습과 같이 물속에서도 이동을 하며 작업을 한다. 해안 도로와 방파제 공사, 수몰된 난파선이나 시신의 인양까지 매우 다양하고 중요한 역할을 맡고 있다. 장시간 물속에서 작업을 할 수 있을 뿐만 아니라, 호스를 통해서 대화도 가능하다.

일반적으로 작업 용도에 따라 천해용 잠수기, 헬멧식 잠수기, 순환 자급식 수중 호흡기, 스쿠버 잠수기 등이 이용되고 있지만 아직까지는 도 4에서와 같은 헬멧식 잠수기가 가장 많이 사용되고 있다.

그러나 최근에는 도 5에 나타낸 바와 같이 산소탱크를 이용한 잠수부(630)를 이용하는 경우도 있는데, 이러한 도 4 및 도 5에 나타낸 머구리나 잠수부 장비를 이용하여 채취한 해산물이나 수산물을 통발(621)등에 넣어 수상으로 올린다.

본 발명에서는 이러한 머구리(620)와 잠수부(630)를 선박(640)을 이용하여 필드 양식장에 접근하여 머구리(620)와 잠수부(630)를 내려 놓고 이동 후 미리 약속된 시간에 다시 접근하여 머구리(620)와 잠수부(630)들을 다시 선박(640)에 싣고 이동하는 불법행위 역시 단속가능하다.

도 6은 본 발명에 따른 필드양식장 불법행위 감시가 가능한 무인비행체를 이용한 불법행위 감시 방법을 설명하기 위한 흐름도이다.

본 발명에 따른 필드양식장 불법행위 감시가 가능한 무인비행체를 이용한 불법행위 감시 방법은 도 6에 나타낸 바와 같이, 무인비행체 전원이 온되고(S100), 무인비행체가 운행되면서(S110), 무인비행체 카메라를 통해 영상정보를 수신한다(S120). 이때, 무인비행체 운행은 무인비행체 관리자나 필드양식장 관계자에 의한 통상적인 비행일 수도 있고, 해경 레이더로부터 필드양식장에 대한 선박정보를 받은 경우일수도 있으며, 필드양식장에 설치된 부표로부터 선박 접근 신호나 머구리, 잠수부와 같은 침입자를 스마트기기(스마트폰, 스마트 패드)나 미리 약속된 수신기를 통해 수신한 경우일 수 있다.

이러한 무인비행체 운행 중 이벤트가 발생하였다면 이벤트에 따라 의심선박이나 침입자정보를 수신한 경우라면 GPS 정보를 이용하여 해당 위치로 이동시키고(S140), 영상을 촬영한다(S150).

한편 이벤트가 무인비행체(100)의 카메라부(140)를 통해 검출된 경우인 경우에는 불법 행위 의심 선박이나 침입자를 촬영한다(S150). 이때, 줌기능이나 틸트를 통해 촬영할 수도 있고, 정지영상이나 동영상으로 촬영할 수 있다.

그리고 촬영한 영상은 무인비행체(100)에서 변환 및 저장하고, 이를 통신부(110)를 통해 외부로 전송한다(S160). 그에 따라 무인비행체 조정기(300)나 스마트 기기(500)에서 해당 영상을 표시하고 저장할 수 있다. 이때, 미리 약속된 선박이거나, 지나가는 선박 등 불법 조업이 의심되지 않는다면 무인비행체 운행을 종료시킬 수도 있다.

그러나 불법행위 의심선박이거나, 머구리, 잠수부라면 무인비행체 조정기(300)를 통해 음성을 전송하거나, 미리 설정된 경고 방송 또는 경고음 등을 출력할 수 있다(S170).

또한 무인비행체 조정기(300)의 선박 추적 선택부(370)를 통해 불법행위 선박을 추적명령을 전송한다(S180).

그에 따라 자동으로 추적하면서 해당 선박을 촬영한다. 물론 수동으로 조정기를 통해 추적하면서 촬영하도록 할 수 있다(S190).

한편 배터리 잔량이 복귀시점이라면 무인비행체 조정기(300)에서 알람이 발생되고, 그에 따라 촬영을 중지하고, 복귀장소로 복귀한다(S200).

한편 복귀에 성공하였는가를 판단하여(S210), 기상이변이나 배터리 부족 등의 이유로 복귀에 실패하였다면 무인비행체(100)는 신호발신부(200)를 통해 구조신호를 발신시킨다(S210).

도 7은 본 발명에 따른 필드양식장 불법행위 감시 시스템을 설명하기 위한 도면이다.

본 발명에 따른 필드양식장 불법행위 감시 시스템은 도 7에 나타낸 바와 같이, 다수의 제 1 내지 제 n필드양식장(410, 420, 430)에 대하여 다수의 무인비행체(100)와, 이를 조정하기 위한 무인비행체 조정기(300), 관리자나 관계가 스마트 기기(500) 및 다수의 제 1 내지 제 n필드양식장(410, 420, 430) 각각의 설치 영역을 알려주기 위한 다수의 부표(600)가 각각 복수개 구성되며, 이러한 다수의 필드양식장에 대한 다수의 무인비행체(100)와 다수의 관계자 각각의 스마트 기기(500)에 효율적으로 감시 정보를 제공하기 위한 감시서버(900) 및 금융사 서버(1000)를 포함하여 구성된다.

여기서 감시 서버(900)는 통신부(910), 데이터베이스(920), 운행정보 저장부(930), 관리정보 저장부(940), 무인비행체 관리요청부(950), 비용계산 및 청구부(960) 및 제어부(970)로 구성된다.

한편 감시서버(900)의 통신부(910)는 통신망(800)을 통해 무인비행체(100)로부터 무인비행체 운행거리 정보를 수신받고, 무인비행체(100)의 주기적인 관리를 위하여 무인비행체 관리자나 관계자에게 필요한 정보(정기점검, 비용청구서 등)을 전송한다.

데이터베이스(920)는 감시하고자 하는 필드양식장별 부표정보(GPS 위치정보), 무인비행체 기본정보(모델명, 모델에 따른 부품정보 및 성능정보 등), 무인비행체 계약정보(관리비용(주기적 성능점검 AS 포함), 임대+관리비용 등), 무인비행체 사용자 정보(성함, 전화번호, 휴대폰 번호, 이메일 주소, 스마트 기기 식별정보, 구매, 임대 중인 무인비행체 정보 등), 무인비행체 담당자 정보(성함, 전화번호, 휴대폰 번호, 담당 관리 중인 무인비행체 정보 등) 등이 저장된다.

운행정보 저장부(930)는 무인비행체(100)가 실제 운행한 거리 정보가 무인비행체(100)로부터 설정된 주기로 전송되면 해당 정보를 저장한다.

관리정보 저장부(940)는 무인비행체(100)별 주기적 점검정보, 부품 수리 또는 교환 정보 등이 저장된다.

무인비행체 관리요청부(950)는 무인비행체 이용자와 설정된 계약에 따른 주기적 점검이나 분실 시 구조요청을 무인비행체 담당자의 스마트 기기로 요청한다.

비용계산 및 청구부(960)는 무인비행체(100)별 관리비용이나 임대비용, 부품 수리나 교환 비용 및 운행거리에 따른 비용 및 무인비행체 분실에 따른 보험료 등을 계산한다.

이는 필드양식장 운영자가 무인비행체를 운영하고자 하는 경우 무인비행체의 성능에 따라 초기 구매 비용이 부담되는 경우 유용하게 이용될 수 있고, 주기적인 점검을 포함하는 AS문제를 해결할 수 있으므로 이용자 입장에서는 부담없이 무인비행체를 이용할 수 있으며, 필드양식장에서 이용함에 따라 무인비행체 분실 시 보험처리를 하는 경우 이용자나 관리자 모두 부담없이 이용할 수 있다.

제어부(970)는 통신부(910), 데이터베이스(920), 운행정보 저장부(930), 관리정보 저장부(940), 무인비행체 관리요청부(950) 및 비용계산 및 청구부(960)를 제어한다.

한편 금융사 서버(1000)는 은행, 카드사 또는 페이팔 등일 수 있다.

도 8은 본 발명에 따른 필드양식장 불법행위 감시 시스템에서 무인비행체 운용 방법을 설명하기 위한 흐름도이다.

본 발명에 따른 필드양식장 불법행위 감시 시스템에서 무인비행체 운용 방법은 도 8에 나타낸 바와 같이, 감시 서버(900)에 필드양식장을 등록한다(S300). 이때, 필드양식장별 GPS 위치정보와, 필드양식장 관리자 정보(이름, 전화번호, 휴대폰 번호 등)를 함께 등록한다.

이어 필드양식장별 복수의 식별장치 즉 부표정보와 필드양식장별 불법행위를 감시하는 무인비행체를 등록한다(S310). 이때, 해당 무인비행체에 대한 관리자 정보도 함께 등록한다.

이어 이벤트가 발생되고, 이벤트가 정기점검이라면 무인비행체 담당자 단말기(휴대폰 등)로 정기점검을 요청하는 메시지를 전송한다(S330). 그리고 정기점검 결과에 따라 수리, 부품 교체 등이 수행되었으면 해당 정보를 감시서버(900)에서 갱신한다.

한편 이벤트가 무인비행체로부터의 운행관련 데이터라면 운행거리를 누적한다(S340). 이러한 운행거리 누적은 기본요금과 함께 운행거리별 요금 청구에 이용됨은 물론 무인비행체 부품의 AS 등과도 관련된다(S350). 다시 말하면 많이 운행한 경우에는 정비 시기를 보다 앞당길 수 있고, 반대의 경우에는 정비 시기를 늦출수도 있다.

한편 이벤트가 무인비행체 분실이라면 무인비행체 담당자 단말기로 점검 및 수색을 요청한다(S360). 이러한 분실의 경우에는 감시서버(900)에서 수색비용이나 분실시 보험료 등을 책정하게 된다.

도 9는 본 발명에 따른 필드양식장 불법행위 감시 시스템의 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법을 설명하기 위한 흐름도이다.

본 발명에 따른 필드양식장 불법행위 감시 시스템의 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법은 기본적으로 선박, 침입자(머구리, 잠수사) 이미지, 해산물 망 이미지, 부표 이미지, 침입자의 잠수 및 부표로 손이 올라가는 행위를 포함하는 다양한 절도 행위를 미리 불법행위 식별부(180)에 데이터화한다(S400). 이러한 데이터화는 현장경험이나 실험에 따라 지속적으로 업데이트될 수 있다. 또한 무인비행체는 자신이 감시하는 필드양식장 경계 및 경계의 부표개수를 미리 데이터화한다.

이러한 본 발명에서의 필드양식장내 침입 영상 구분 방법은 다음과 같은 기술을 응용할 수 있다.

제어부(220)는 영상 확인(후보 영역 분할) 필드양식장 경계 구역내 이전이미지를 이용하여 배경영역 모델을 만들고 원본 이미지에서 제거하여 객체영역(선박, 침입자(머구리, 잠수부), 부표등)과 배경영역 분리한다(S410).

제어부(220)는 실시간으로 선박, 침입자(머구리), 부표의 모양, 크기와 경계선의 규칙 또는 불규칙 여부 확인, 위치, 거리, 기울기, 색깔, 문자, 표지판 등으로 각각의 행위를 검출한다(S420).

침입자(머구리)영역 탐지는 순서대로 들어오는 영상 두 개의 프레임으로부터 제어부(220)는 움직임 영역을 먼저 추출한다(S430).

침입자(머구리) 영역 탐지에서 사람의 경우는 필드양식장내외에 움직임 윈도우 탐색과 방향 성분의 히스토그램 특징을 이용해 학습된 아이다부스트 분류기를 통하여 사람인지 아닌지를 탐지한다(S440).

이때, 추출한 움직임 영역에 대해 다음과 같이 방향 성분의 히스토그램(HoG)특징과 아이다부스트 분류기를 이용해 이동를 탐지한다.

방향성분의 히스토그램(HoG)특징을 추출하기 위해서 목적 영상에 대해 광원에 의한 영상의 잡음을 감소시키기 위해 회색조 변환 및 히스토그램 평준화를 거친다.

그 후에 목적 영상을 가로 3픽셀, 세로 3픽셀 크기의 블록으로 나눈 후에 각 블록 내부의 픽셀이 대하여 Gradient의 방향성을 구한다.

분할한 각 블록에 대해 기울기를 기준으로 히스토그램을 생성하고 가장 큰 기울기 분포를 가진 기울기를 해당 블록의 평균 기울기로 선택한다.

생성된 각 블록들의 방향성 값과 크기 값을 선형으로 결합하면 HoG 특징 벡터가 된다. 이와 같은 특징 벡터를 아이다부스트 분류기를 이용하여 학습시키고 입력된 목적 영상에 대하여 사람 영역과 비사람 영역의 두 가지 형태로 분류를 수행하였다.

그리고 움직임 영역 추출은 카메라 또는 웹캠 영상으로부터 받아온 두번째 프레임과 첫번째의 프레임에 대해 전처리 과정으로 회색조 영상 변환 및 히스토그램 평준화를 수행한다.

그 후에 임계치 필터링을 수행하여 이진 영상을 획득한 후에 차 영상을 구한다.

그 다음에 차영상에 대해 이어져 있는 모든 경계선을 구한 후에 경계선의 중심점을 추출한다.

이를 통하여 일정 임계치 이상 움직인 부분의 중심점 위치를 구할 수 있다.

이 픽셀들을 군집화하여 일정 크기의 영역들로 추출한다.

군집화의 과정은 움직임 중심점들에 대하여 일정픽셀 거리를 기준으로 인접 행렬을 생성한다.

생성한 인접 행렬에 대하여 깊이 우선 그래프 탐색을 통하여 일정 그룹 단위로 묶어 사각형 형태의 영역을 생성한다.

한편 움직임 추적은 탐지된 침입자(머구리)의 영역에 대하여 멀티 레벨 매칭을 실시하여 침입자(머구리)의 움직임을 추적하고 거짓 영상 제거를 수행하여 잘못 탐지된 침입자를 리스트에서 제거한다(S450).

한편 겹침 상황을 고려한 향상된 유사도 계산과정이 필요하다.

이를 위하여 사람 영역 추적은 탐지된 침입자의 기존에 이미 탐지된 침입자와의 유사도를 측정한다. 유사도를 측정하여 동일임으로 판명되면 침입자의 위치 정보를 갱신한다.

침입자 위치정보를 연결하면 침입자의 움직임 동선을 파악할 수 있다.

하지만 유사도 매칭이 연속적으로 잘못되면 제대로 된 탐지를 할 수 없다.

따라서 매칭 과정은 추적으로 아주 중요하다.

제안하는 알고리즘은 잘못된 탐지를 줄이기 위해서 멀티레벨 매칭을 수행한다.

멀티 레벨 매칭의 1단계는 겹침 상황을 고려한 향상된 유사도 계산 과정이다

향상된 유사도를 계산하기 위해 사용된 방법은 거리 변화율도, 색상 히스토리그램 유사도 겹침 처리이다.

칼만 필터를 이용한 움직임 추정은 멀티 레벨 매칭 1단계의 최종 유사도 계수 S가 일정 수치 이하일 경우 매칭 실패로 간주하고 2단계로 넘어간다.

2단계에서는 칼만 필터를 이용해 움직임을 예측하여 그 위치에 대해 이미지 유사도 비교를 실시한다.

그리고 멀티 레벨 매칭은 총 3단계로 이루어지며 앞서 계산한 최종유사도 계수 S를 이용해 HoG 특징을 이용한 검출 윈도우 영역과 칼만 필터 예측 윈도우 영역, 인접 움직임 영역의 윈도우에 대해 유사도를 단계적으로 측정한다.

1단계인 HoG 특징을 이용한 검출 윈도우 영역은 사람영역 탐지에서 탐지된 침입자에 대한 영역에 기존에 보유하고 있는 침입자 리스트와 비교하여 최종 유사도 계수 S가 일정 임계치를 초과하면 매칭 성공으로 판단하고 위치 정보를 갱신한다.

제안한 방법에서는 실험적으로 결정한 임계치 0.8을 적용하였다.

2단계는 1단계에서 임계치를 넘지 못하는 영역에 대해서 적용한다.

먼저 선형 칼만 필터의 예측점을 중심으로 하여 윈도우를 생성한다.

생성된 윈도우의 이미지와 기존에 저장되어 있는 침입자 이미지와의 유사도를 계산하여 임계치를 초과하면 매칭 성공으로 판단한다.

3단계인 인접 움직임 영역을 이용한 과정에서는 2단계를 실패한 영역에 대하여 수행하며, 가장 가까운 움직임 영역의 중심점에 대해 윈도우를 생성하고 해당 위치의 이미지와 기존에 저장된 이미지와의 유사도를 계산한다.

그리고 거짓 영상 제거가 필요하다.

상기의 알고리즘들을 사용하여 추적을 시도하지만 잘못된 HoG 특징 검출 영역으로 인하여 잘못된 윈도우들이 생기는 문제가 여전히 존재한다.

이러한 잘못된 윈도우를 제거하기 위해 Time To Live (TTL) 특성을 적용한 거짓 양성 제거 알고리즘을 적용한다.

즉 각 윈도우에 TTL 특성을 적용한 후에 값을 이미지 처리 횟수에 의존하여 감소시키며 0인 경우 윈도우를 삭제한다.

HoG검출 영역과 칼만 필터 예측 윈도우에 대하여 TTL을 적용하였다.

실제 사람인 영역을 연속해서 일정 횟수 동안 2단계 매칭에 임계치 이하로 나타나는 가능성이 아주 낮기 때문에 TTL를 감소 할 수 있다.

이 TTL 정보는 각 태크마다 가지고 있으며 초기값 15로 설정했다.

그런 다음 슬라이딩 윈도우 탐색을 수행한다.

제안하는 알고리즘에서 사용한 사람에 대한 학습 영상은 크기가 64*128 픽셀 크기이며 목적 카메라 영상은 640*480 픽셀이므로 입력 받은 영상에 대해여 선형 검색을 해야 할 필요가 있다.

선형 검색의 경우 한쪽 방향에서 이미지의 끝부분까지 진행한다.

또한 카메라의 시야각이 있으므로 카메라의 위쪽에서 나타나는 사람은 작게 보일 수 있어서 입력 받은 영상을 70 -130%까지 다른 비율로 스케일링한 7장 영상에 대하여 64*128 픽셀 크기의 윈도우로 사람 영역 탐색을 수행한다.

영상에 대하여 순차적으로 방향 성분의 히스토그램 특징을 구하여 분류하는 과정에 POSIX 스레드를 사용하여 병렬 처리를 수행한다.

한편 필드양식장 딥러닝에 대하여 설명하기로 한다.

본 발명에서는 이러한 딥러닝으로 이미지 내용기반의 자동 시멘틱 어노테이션을 이용한다.

내용기반 이미지 검색에서 BoVW(Bag of Visula Words) 기반의 분류 기법이 좋은 성능을 보이고 있다

BoVW 를 구성하기 위해 사용되는 특징점 추출 알고리즘인 SIFT -> 이미지 인식에 주로 사용되는 방법으로 이미지의 색상, 위치, 크기, 회전 등의 변화에 강인한 특징점을 추출한다.

SIFT알고리즘은 4*4 배열에 8개의 방향으로 나누어진 벡터들을 합한 128개의 dimension을 갖도록 Keypoint descriptor 특징점의 위치좌표(X,Y), scale 및 orien

Tation의 정보를 가진 frame를 구성한다.

이미지로부터 특징점을 추출한 후에 k-means 알고리즘을 사용해서 k개의 Visual Words가 되는 local visual blocks 곧 BoVW 를 얻을 수 있다.

어노테이션을 위하여 local visual blocks 집합 Ri와 텍스트 집합으로 구성된 주석 keyword Kj사이의 조건부 확률 P(Kj / Rj)을 통해 매칭 등급이 높은 순서대로 정렬하여 적합한 주석을 얻을 수 있다.

하지만 SIFT나 SURF와 같은 알고리즘은 Natural Scene Retrieval과 같이 영상의 특징적인 요소가 떨어지는 배경이미지에서는 좋은 성능을 보이지 못한다.

최근에는 영상 인식 분야에서 딥러닝(deep learning)기법을 사용한 CNN (Convolutional Neural Network) 방법이 컨볼루션 영상처리 방법을 사용해서 SIFT가 가지고 있던 단점을 극복하여 이미지 인식에 뛰어난 성능을 보이고 있다.

SIFT기반이 BoVW는 이미지로부터 특징점을 추출한 후에 local visual blocks 즉 BoVW를 구성하는 방법으로서 기본적으로 미분을 이용한 이미지 화소값의 변화 정보를 측정하여 그 변화가 큰 영역들을 뽑아내어 특징 벡터를 구성하는 것이므로 배경 이미지보다는 뚜렷한 경계를 지닌 객체 이미지에서 더 효과적이다.

반면 CNN이 기초로 하는 딥러닝 기법은 별도의 특징 추출 알고리즘 없이 패턴 인식이 통합적으로 이루어지기 때문에 계층들의 연관성을 활용하여 배경 이미지에서도 좋은 결과를 얻을 수 있다.

딥러닝 (Deep learning)은 신경망 네트워크로 많은 수의 계층을 만들어 학습을 하는 기계학습 분야이다.

최근 CNN 기법을 사용하여 이미지에 의미 정보를 자동으로 태깅하기 위한 다양한 연구들이 진행되고 있다.

CNN구조를 사용하여 다양한 방법으로 이미지 분석을 시도 하고 있는데 이를 위해 미리 수집된 정제된 이미지 데이터 셋으로 CNN을 훈련시킨다.(S460)

일반적으로 PASCAL Visual Object Classes, MIT Indoor Scene, ImgaeNet, Caltech 101 등 컴퓨터 비전 분야의 실험을 위한 정제된 이미지 테이터 셋이 사용된다.

이 연구에서는 이미지에 라벨이 붙여진 데이터 셋으로 CNN을 훈련시킨 후 동일 데이터 셋에서 분류 실험을 한다.

연구의 실험에서는 훈련과 분류에 사용된 데이터 셋에 따라 다른 결과를 보이고 있다.

PASCAL의 이미지셋으로 실험한 결과는 평균 72.6%의 이미지 자동 태깅 정확도를 보였고 MIT Indoor 이미지셋에서는 평균 59.6%의 정확도를 보이고 있다.

이것은 태깅 방법에 비해 확실히 더 나은 결과임이 분명하다.

위 실험에서 테스트 이미지들이 훈련 이미지 셋에서 무작위로 추출된 것이라 해도 인위적으로 수집되고 정제된 데이터이므로 실제 급변하는 인터넷 공유사이트에 사용자들에 의해 저장된 이미지들을 대상으로 하면 어떤 결과가 얻어질 것인지 확인 할 필요가 있었다.

본 발명에서는 CNN기법을 구현하여 현재 소셜 이미지 사이트로 가장 각광 박고 있는 인스타그램 이미지들을 대상으로 자동 태깅 및 분류실험을 수행하였다.

CNN 은 전체적으로 5개 Convolution, max - pooling, normalization 계층과 3개의 fully-connected 계층으로 구성했다

Convolution 계층에서 여러 번의 convolution, max-pooling, normalixation을 수행하면서 이미지의 정보들이 겹치게 되는데 이로써 이미지의 특징을 불변하도록 학습할 수 있고 SIFT 나 SURF 와는 달리 전체적인 이미지 특징으로 고려하기 때문에 배경 이미지에서도 강한 성능을 보이고 있다.

N*N의 입력이미지 Couvolution 계층에 연결되어 있고 m*m 의 convolution 필터가 있을 때 convolution layer의 크기는 (N-m+1) * (N - m +1)이 된다

각 convolution 계층은 이전 계층의 출력으로부터 yij(l) 입력을 받는다.

정확하고 의미 있는 특징을 추출하기 위해서 weight 인 convolution 필터를 훈련시키는데 이것은 오류 역전파 알고리즘 (Backpropagation)과 경과도 연산 방법을 통해 이루어진다.

최상단의 3개의 계층에서 full-connected를 수행하게 된다.

FC6 와 FC7 계층에서 지속적인 훈련과 특징을 추출하고 마지막 계층에서는 최종적으로 Softmax 분류를 수행하게 된다.

CNN은 이미지에 컨볼루션 필터를 사용하여 계산이 빠르고 특정 객체뿐만 아니라 배경을 포함한 이미지 전체를 고려할 수 있다는 점에서 뛰어나다고 할 수 있다.

최근 여러 연구 에서 CNN기반 이미지 인식 및 분류를 위한 다양한 시도가 전개되고 있다.

실험용 정제 이미지 데이터 셋을 사용하여 CNN의 성능을 입증한 것들인 반면 연구에서 최근 사용 사용자수가 급증하고 있는 소셜 미디어 공유사이트인 인스타그램을 사용하여 사용자들이 직접 업로드하는 일상생활 이미지에서도 CNN기반의 자동 태깅이 효과적인지 검증하고자 하였다.

그 결과 기존의 방법인 SIFT기반의 BoVW에 의한 태그는 물론 이고 사용자들이 직접 등록하는 태그들보다 더 높은 정확도와 섬세함을 가진 태그들을 얻을 수 있다.

빅데이터 시대에 진입하면서 방대한 양의 데이터를 사용해서 스스로 학습하고 분류하는 딥러닝을 사용한 연구가 지속적으로 좋은 성능을 보이고 있다.

영상인식 분야에서 CNN 은 현재 인간의 판단수준을 따라잡기 위해 발전을 거듭하고 있다.

이어 영상 분산 / 병렬처리 기술과 알고리즘을 설명하기로 한다.

IBM에서는 대규모 영상 검색을 위한 시스템 개발에 있어서 하둡(Hadoop) 기반의 분산 / 병렬 처리 시스템을 적용하여 개발하였다.

버지니아 대학에서는 영상 빅데이터에 대한 분산컴퓨팅 처리를 위한 API(Applicati On Program Interface)를 제공하는 하둡 MapReduce 라이브러리인 HIPI(Hadoop Image Processing Interface for image - based map - reduce Tasks) 프레임워크를 개발하고 있다.

HIPI는 MapReduce 프레임워크 기반으로 영상처리 및 비전 응용프로그램에 개방적이고 확장 가능한 라이브러리를 제공한다.

사용자가 MapReduce 프레임워크의 자세한 내용을 파악할 필요없이 영상 기반 분산/병렬처리가 가능하도록 지원한다.

구글 시스템은 천 만개의 200*200 이미지들에 대해 1B의 파라미터들을 학습하기 위해 16개의 코어들을 가지고 있는 1,000개의 머신을 이용하여 병렬처리를 수행하고 있다.

또한 모바일 디바이스 영상분석 알고리즘 실시간 가속화되고 있는데, 사물 인터넷 환경이 도래하면서 보안 및 방법을 위한 비디오 디바이스의 수가 급격히 증가 예상된다.

비디오 디바이스 -> 이미지 센서, 프로세서, 무선통신 모뎀 등을 내장하고 있는 저전력 임베디드 시스템으로, 스마트폰, IP카메라, 스마트 카메라 등이 이에 해당한다.

PC보다 성능이 좋지 않은 프로세서를 내장하고 있기 때문에 화소 기반 연산을 기반으로 하는 비디오 영상분석 알고리즘과 같이 연산량이 많이 요구되는 애플리케이션의 빠른 처리를 위해서는 병렬화 및 가속화가 필요하다.

이를 위하여 SIMD 기반 비디오 영상 분석 알고리즘 병렬화를 할 수 있는데, SIMD의 데이터 처리 방식은 배경 차분 기반의 비디오 영상 분석 알고리즘 -> 화소 기반 연산을 수행하는 모듈은 연산량이 많이 요구되고 영상 해상도가 증가함에 따라서 연산량 역시 증가한다.

그러 하기 때문에 모바일 환경에서의 실시간 동작을 위해서는 병렬화 및 가속화가 필요하다.

모바일 환경에서 데이터의 빠른 처리는 병렬 프로그래밍을 통하여 충족할 수 있다

단일 명령어로 복수의 데이터를 처리하는데 데이터 병렬 처리 방식인 SIMD를 사용하여 데이터 처리 속도를 가속화한다(S470).

배경 차분 기반 비디오 영상 분석 알고리즘을 이용할 수 있는데,

Video -> RGB to Gray -> Background -> Foreground -> Morphology -> Labeling Seq conversion Generation Extraction Cperation

-> Object

Tracking

설명 : RGB to Gray conversion -> Roreground Extreaction

Object Tracking -> Background Generation

단일 명령어로 단일 데이터를 처리하는 SISD와 SIMD의 복수의 데이터를 처리하는 방식을 비교하여 나타낸다.

SISD는 같은 종류의 명령어로 처리될 복수의 데이터를 개별적으로 처리하는 반면 SIMD는 복수의 데이터를 벡터화하여 단일 명령어로 복수의 데이터를 동시에 처리한다.

따라서 SIMD 기반 데이터 병렬 처리는 인접 화소들이 데이터 의존성이 없고 같은 종류의 명령어로 처리되어야 하는 음영이 있는 모듈에 적용 될 수 있다.

SIMD 기반 비디오 영상 분석 알고리즘 병렬화 방법은 SISD의 경우 각각의 화소 데이터에 순차적으로 모두 접근하여 같은 명령어를 반복적으로 수행하지만, SIMD의 경우 동일한 명령어의 수행을 기다리는 인접한 복수의 화소 데이터를 벡터화하여 단일 명령어로 복수의 화소 데이터를 동시에 처리한다.

따라서 SIMD 병렬화를 사용하면 SISD를 사용하는 경우에 비하여 동일한 데이터 처리에 소요되는 CPU 사이클 수를 감소시킬 수 있어 배경 차분 기반 비디오 영상 분석 알고리즘의 처리 속도를 가속화할 수 있다.

또한 동일 CPU 사이클 수를 사용하면서 더 많은 데이터를 처리할 수 있으므로 소비에너지도 절감된다.

Cortex - A 계열의 CPU에 대하여 지원되는 ARM SIMD(NEON) 모델을 사용하여 배경 차분 기반 비디오 영상분석 알고리즘의 데이터 처리 방식을 병렬화 한다.

배경 차분 기반 비디오 영상 분석 알고리즘의 NEON 병렬화로 인한 기존의 C기반 SISD 구현 대비 성능 향상을 검증하기 위하여 2가지 실험이 진행되었다.

1번째 실험은 SISD 구현 대비 처리 속도 가속화를 검증하기 위한 실험으로 NEON 병렬화가 적용된 모듈들의 처리 시간을 측정하여 비교하였다.

2번째 실험은 SISD 구현 대비 소비에너지 절감을 검증하기 위한 실험으로 배경 차분 기반 비디오 영상 분석알고리즘 수행 시 소비되는 에너지량을 Monsoon 파워미터로 측정하여 비교하였다.

모든 실험은 Cortex-A15 CPU를 내장하고 있는 삼성 갤러시S4를 사용하여 진행, 영상 해상도는 CIF(320*240) D1(720*480) 고려되었다.

SISD와 NEON을 사용했을시 비디오 영상 분석 알고리즘이 모듈별 처리시간을 병렬화가 적용된 모듈별로 나타낸다.

Overall은 병렬화가 적용되지 않은 모듈까지 모두 포함한 전체 처리시간으로 측정된 결과이다.

2개의 해상도에 대하여 각 모듈들의 처리 속도는 약 3.36 - 26.96배 가속화되었고 전체 처리 속도는 해상도 D1에서 약 5.34배 가속화되었다

이는 복수의 데이터를 동시에 처리 할수 있는 NEON 병렬화로 인하여 동일한 데이터를 처리하는데 소요되는 CPU 사이클 수가 감소되었기 때문이다.

저전력 모바일 비디오 디바이스의 실시간 동작을 위해 적용될 수 있다.

본 발명에서는는 모바일 환경에서 배경 차분 기반 비디오 영상분석 알고리즘의 저전력, 실시간 동작을 위하여 단일 명령어로 복수의 데이터를 처리하는 데이터 병렬 처리 방식인 SIMD를 사용하여 병렬화 하였다.

색공간 변환, 배경생성, 전경추출, 모폴로지 연산과 같은 화소 기반 독립 연산들이 병렬화 되었고 Android 기반이 모바일 플랫폼에서 구현되었다.

기존의 C 기반 SISD 구현과 비교 D1급 비디오에 대해 비디오 영상 분석 알고리즘의 전체 처리 속도는 약 5.34배 가속화되었고 소비에너지는 약 4.08배 절감되었다.

한편 지능형 영상 분석 기술을 이용한 영상의 정보를 분석하여 자동으로 이상 행위를 탐지하고 관리자에게 정보를 전송하는 기술은 다음과 같다.

침입을 미연에 방지하기에는 한계가 있기에 도난 발생 이전인 침입행위를 포착 할 필요가 있다.

필드양식장 일정한 경계 내외 근처에서 선박, 침입자(머구리, 잠수부), 부표를 찾고 위치를 추정하여 침입행위를 검출하는 방법이 필요하다.

필드양식장 내 침입자의 도난을 검출하기에는 어려움으로 절도행위 검출을 위해서 먼저 선박, 침입자(머구리), 부표를 일정한 필드양식장 경계내외에서 위치를 추정하여 나타날 영역을 지정하고 그 영역에서 색깔, 문자, 표지판, 수량 등 특징을 이용하여 검출한다(S480).

영상 내에서 필드양식장 침입으로 인하여 도난이 발생하면 전체적인 화면의 변화를 검출하거나 영상의 장면 전환 검출법을 이용하여 절도행위를 검출하는 방법이다.

절도를 하기 위해서는 밤이나 낮에 필드양식장 근처에 선박을 이용하여 침입자(머구리)를 바다에 잠수하여 필드양식장안으로 침입시켜 절도한 해산물을 망에 넣고 부표를 달아 수중에 띄우면 이를 잠수부가 이동시켜 선박에 넘긴다.

만약 절도사실이 발각되는 경우 부표를 매단 해산물 망의 끈을 잘라 수장시켜 버려 증거 인멸시도를 할 수 있다.

이를 경우 필드양식장내에서 절도를 하기 위해서는 부표 수량의 유무 증감이 발생하며 침입자의 잠수 및 부표 위로 손이 올라가는 행위를 검출한다.

마지막으로 종합하여 도식해법을 이용하여 각 프레임 마다 절도 행위의 확률을 구하여 일정 확률 이상이 되면 절도자로 검출한다.. 그리고 검출결과에 따라 무인비행체는 관리자의 단말기(스마트 폰 등)에게 일정 확률 이상의 경우에 대하여 해당 정보를 전송한다(S490). 이러한 경우 일반 스킨스쿠버와 같은 관광객 등의 경우에는 절도자로 검출되지 않으므로 자동 정보 전송 신고가 되지 않아 관리자 역시 불필요한 정보를 수신하지 않게 된다.

절도자의 특징으로 잠수와 부표를 사용하기 위하여 수량, 위치 변경 및 반복적인 움직이는 행동 등 행동인식의 계층적 기반 서술적 방법으로 접근한다.

인공지능 분야의 기계학습과 이를 위해 인공신경망을 이용하는 딥러닝(Deep Learning) 기술의 개발 가속화가 필요하다.

딥러닝 기반 영상처리 기술 개발 동향을 설명하기로 한다.

첫 번째 시각인지 기술은 객체인식, 컴퓨터 비전, 행동 및 상황 이해, 영상지식 처리 및 동영상 검색 기술에 활용되는 기술을 의미한다.

두 번째 공간인지 기술은 2차원 및 3차원 영상에서의 거리 및 깊이 분석, 공간상의 사물을 이해하거나 인지하는 데 활용 될 수 있다.

세 번째 스토리 압축 및 창작 기술은 영상으로부터 스토리를 이해하거나 사물 객체를 구분하거나 영상으로부터 의미 있는 내용을 요약하고 영상을 자동으로 편집하는 기술에 활용된다.

그리고 기계학습 기술은 영상 내 사물에 대한 통계처리, 사물 간 클러스터링, 영상처리를 위한 기계학습용 비감독학습, 강화학습에 활용될 수 있다.

첫번째로는 감독 학습(Supervised Learning) 기반의 CNN 이 있다.

시각인지기술, 공간인지기술(2차원 및 3차원 영상에서의 거리 및 깊이 분석, 공간상의 사물을 이해하거나 인지), 스토리 압축 및 창작기술 (영상으로부터 스토리지를 이해하거나 사물 객체를 구분하거나 영상으로부터 의미 있는 내용을 요약하고 영상을 자동으로 편집하는 기술), 기계학습기술(영상 내 사물에 대한 통계처리, 사물간 클러스팅, 영상처리를 위한 기계학습용 비감독 학습 강화학습)등 데이터를 사용하여 학습된 CNN(pre-trained CNN)을 사용하는 방법이다.

이미지 내 사물 분류를 위해서 ImageN 데이터로 학습시킨 CNN을 이용하여 ImageNet이 아닌 다른 데이터 셋에서 사물을 검출하는 형태로 응용된다.

이러한 검출 방식을 프레임 단위의 시간축을 가진 비디오로 적용하면 비디오의 매 프레임마다 이미지의 특징들을 추출하여 그 값을 평균 내어 특징값으로 사용하거나 매 프레임별 이미지와 광류(optical flow)의 특징 값을 인식에 사용하고 그 결과 값을 평균내는 방식으로 사용된다.

또 다른 방법은 비디오를 2차원 이미지 데이터가 아닌 이미지가 시간축을 따라서 쌓인 3차원 데이터로 해석하여 시간축에 대해서도 컨볼루션을 적용해 나가는 3D convolution을 처리하는 방식이다.

이 방식은 인접한 프레임들 간에 유용한 패턴들이 각 프레임에만 있는 것이 아니라 프레임 시작이나 중간 및 끝 어느 곳에서도 등장 할 수 있기 때문에 일정한 시간 간격(예 5프레임 간격)의 커널을 두어 시간축으로 컨볼루션 연산을 수행하게 된다.

문제는 학습해야 할 파라메터가 더 많아지고 학습을 위한 다수의 데이터가 더 필요하다는 것이다.

최근에는 다수의 데이터가 부족한 경우를 보완하기 우해 매 프레임별로 추출된 CNN의 특징값을 시계열 형태로 변환한 후에 각 특징값별 시계열에 대해 temporal pooling연산을 적용하여 비디오를 분석하는 방법이 제안된다.

두번째로는, Stacked autoencoders 이 있다.

입력 데이터와 출력데이터를 동일하게 하는 것을 목표로 하는 오토인코더를 다층으로 쌓은 Stacked autoencoders를 사용하는 방법이 있다.

세번째로는, RDNN / LSTM이 있다.

비디오와 같이 시간축을 포함한 영상처리를 위해 RDNN(Recurrent Deep Neural Network)이나 LSTM(Long - Short Term Memory)을 이용한 순환적 딥러닝 방법이다

이 방식은 출력으로 나오는 특징 패턴들의 인식결과들 사이의 시간적 연관성을 다시 순환 신경망의 일종인 장단기 기억 모델(LSTM)을 이용하여 학습과 추론을 결합한 방식이라 볼 수 있다.

네번째로는, CNN과 기존의 특징 추출 방법을 결합한 방식이 있다.

다중 스케일 CNN을 이용하여 영상의 각 화소가 어떤 물체의 일부인지를 대략적으로 판별하고 판별한 화소들을 슈퍼픽셀 단위로 군집화한 후 슈퍼 픽셀들을 연결하여 세그먼트 그래프를 구성한 후에 세그먼트 그래프에 대해 기존의 다층컷(multi - 1evel cut) 알고리즘을 이용하여 CNN의 판별 결과와 가장 잘 조화되는 분할 조합을 선택하여 장면 영상 전체를 분석하는데 사용한다.

또 다른 방식은 기존의 컴퓨터 비전 기술을 이용하여 물체가 존재할 것을 추정되는 후보 영역들을 추출한 후 각 후보 영역에 대해 CNN을 활용하여 실제 물체인지를 판별하고 인식을 수행하는 R-CNN(regions with CNN feature)이 있다.

이 밖에 CNN 구조에 Extreme learning machine 의 학습 방법을 결합하여 학습 속도를 개선하고 이를 차선 검출 향상에 사용한다.

여기서 Extreme learning machine 은 중국 칭화대에서 제안한 학습방법으로 역전파 방식의 오류조절 방식이 학습 속도가 느리기 때문에 의사역행렬(pseudo inverse)을 사용하여 한 번의 연산으로 최적의 출력 가중치를 계산하는 학습방법이 있다.

이상과 같은 예로 본 발명을 설명하였으나, 본 발명은 반드시 이러한 예들에 국한되는 것이 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서 본 발명에 개시된 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 예들에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

100 : 무인비행체 110 : 통신부
120 : 센서부 130 : 비행부
140 : 카메라부 150 : 영상변환부
160 : 영상저장부 170 : GPS 수신부
180 : 불법행위 식별부 190 : 경고방송부
200 : 신호 발신부 210 : 운행거리 계산부
220 : 제어부 300 : 무인비행체 조정기
310 : 통신부 320 : 비행 조작부
330 : 디스플레이부 340 : 카메라 제어부
350 : 음성입력부 360 : 알람 발생부
370 : 선박추적 선택부 380 : 운행영역 설정부
390 : 제어부
400, 410, 420, 430 : 필드양식장 500, 510 : 스마트 기기
600 : 필드양식장 부표 610 : 부표고정장치
620 : 머구리 630 : 잠수부
700 : 해경 레이더 800 : 통신망
900 : 감시 서버 910 : 통신부
920 : 데이터베이스 930 : 운행정보 저장부
940 : 운행정보 저장부 950 : 무인비행체 관리요청부
960 : 비용계산 및 청구부 970 : 제어부
1000 : 금융사 서버

Claims

다수의 제 1 내지 제 n필드양식장(410, 420, 430)에 대한 불법행위를 감시하기 위한 다수의 무인비행체(100)를 제어하기 위한 제어 신호를 무인비행체 조정기(300)로부터 전송받고, 해상 레이더(700)로부터 선박검출 레이더 신호를 전송받으며, 상기 무인비행체(100)에서 촬영한 영상 데이터와 위치정보를 상기 무인비행체 조정기(300)와 필드양식장 관계자나 무인비행체 운용자의 스마트 기기(500)로 전송하는 통신부(110); 상기 무인비행체(100) 이동방향에 따른 풍향과 풍속 및 현재 고도를 센싱하고, 회전운동상태를 측정하고 기울기를 감지하는 센서부(120); 상기 무인비행체(100)의 비행을 위한 비행부(130); 상기 무인비행체(100)가 이동하면서 주변을 촬영하는 카메라부(140); 상기 카메라부(140)에서 촬영된 영상을 저장하는 영상저장부(160); 상기 무인비행체(100)의 현재 위치를 수신하는 GPS 수신부(170); 상기 무인비행체(100) 이동 중 촬영된 영상에서 선박을 식별하는 불법행위 식별부(180); 미리 입력된 경고 방송이나 경고음을 출력하거나, 상기 무인비행체 조정기(300)에서 전송된 음성이나 경고 방송을 출력하는 경고방송부(190); 기상이변이나 배터리 부족 또는 상기 비행부(130)의 이상으로 무인비행체가 복귀하지 못하고, 바다나 강에 빠진 경우 상기 무인비행체(100)를 용이하게 찾을 수 있도록 신호음이나 경광등(LED)을 발광하도록 하는 신호 발신부(200); 상기 GPS 수신부(170)를 통해 수신된 위치정보 변화에 따라 실제 무인비행체(100)의 운행 거리를 계산하는 운행거리 계산부(210); 및 상기 통신부(110), 센서부(120). 비행부(130), 카메라부(140), 영상저장부(160), GPS 수신부(170), 불법행위 식별부(180), 경고방송부(190), 신호 발신부(200) 및 운행거리 계산부(210)를 제어하여 상기 통신부(110)를 통해 상기 무인비행체 조정기(300)에서 전송된 제어 데이터에 따라 상기 비행부(130)를 제어하고, 상기 카메라부(140)를 통해 촬영된 영상에서 불법행위 식별부(180)가 선박을 식별하면 이를 통신부(110)를 통해 상기 무인비행체 조정기(300), 필드양식장 관계자나 무인비행체 운용자의 스마트 기기(500)로 전송하고, 상기 무인비행체 조정기(300)에서 전송된 데이터에서 음성신호에 대하여 경고 방송부(190)를 통해 음성을 출력하도록 하며, 상기 GPS 수신부(170)로부터 수신된 위치정보와 상기 무인비행체 조정기(300)에서 설정한 운행영역을 계산하여 미리 설정된 범위를 벗어나는 경우 상기 통신부(110)를 통해 상기 무인비행체 조정기(300)로 이를 통지하며, 배터리 잔량을 계산하여 무인비행체(100)의 비행시간과 복귀장소가 지정된 경우 해당 장소까지의 비행 가능 시간을 계산하여 무인비행체 조정기(300)로 전송하도록 제어하는 제어부(220);를 각각 포함하여 각각 구성되는 상기 다수의 무인비행체(100);
상기 다수의 제 1 내지 제 n필드양식장(410, 420, 430) 각각의 설치 영역을 알려주기 위한 다수의 부표(600);
상기 다수의 제 1 내지 제 n필드양식장(410, 420, 430)에 대한 다수의 무인비행체(100)와 다수의 관계자 각각의 스마트 기기(500)에 효율적으로 감시 정보를 제공하기 위하여 통신망(800)을 통해 상기 무인비행체(100)로부터 무인비행체 운행거리 정보를 수신받고, 상기 무인비행체(100)의 주기적인 관리를 위하여 무인비행체 관리자나 관계자에게 정기점검과 비용청구서를 포함하는 필요한 정보를 전송하는 통신부(910)와, 감시하고자 하는 필드양식장별 GPS 위치정보, 상기 무인비행체의 모델명, 모델에 따른 부품정보 및 성능정보), 상기 무인비행체 주기적 성능점검 AS를 포함하는 관리비용과 임대비용이 포함되는 계약정보와, 상기 무인비행체 사용자 정보로, 성함, 전화번호, 휴대폰 번호, 이메일 주소, 스마트 기기 식별정보, 구매, 임대 중인 무인비행체 정보와, 상기 무인비행체 담당자 정보로, 성함, 전화번호, 휴대폰 번호, 담당 관리 중인 무인비행체 정보가 저장되는 데이터베이스(920)와, 상기 무인비행체(100)가 실제 운행한 거리 정보가 상기 무인비행체(100)로부터 설정된 주기로 전송되면 해당 정보가 저장되는 운행정보 저장부(930)와, 상기 무인비행체(100)별 주기적 점검정보, 부품 수리 또는 교환 정보가 저장되는 관리정보 저장부(940)와, 상기 무인비행체 이용자와 설정된 계약에 따른 주기적 점검이나, 상기 무인비행체 분실 시 구조요청을 무인비행체 담당자의 스마트 기기로 요청하는 무인비행체 관리요청부(950)와, 상기 무인비행체(100)별 관리비용이나 임대비용, 부품 수리나 교환 비용 및 운행거리에 따른 비용 및 무인비행체 분실에 따른 보험료를 계산하는 비용계산 및 청구부(960) 및 상기 통신부(910), 데이터베이스(920), 운행정보 저장부(930), 관리정보 저장부(940), 무인비행체 관리요청부(950) 및 비용계산 및 청구부(960)를 제어하는 제어부(970)로 구성되는 감시서버(900); 및
은행, 카드사 또는 페이팔로 구성되는 금융사 서버(1000);를 포함하여 구성됨을 특징으로 하는 필드양식장 불법행위 감시 시스템.
청구항 1에 기재된 필드양식장 불법행위 감시 시스템에서 무인비행체 운용 방법으로,
무인비행체 전원이 온되고(S100), 상기 무인비행체가 무인비행체 관리자나 필드양식장 관계자에 의한 통상적인 비행이거나, 해경 레이더로부터 필드양식장에 대한 선박정보를 받은 경우이거나, 필드양식장에 설치된 부표로부터 선박 접근 신호를 상기 무인비행체 관리자나 필드양식장 관계자의 스마트기기(스마트폰, 스마트 패드)나 미리 약속된 수신기를 통해 수신한 경우 운행되면서(S110), 무인비행체 카메라를 통해 영상정보를 수신하는 단계(S120)와, 상기 무인비행체 운행 중 이벤트가 발생하였다면 이벤트에 따라 의심선박 정보를 수신한 경우라면 GPS 정보를 이용하여 해당 위치로 이동시키고(S140), 영상을 촬영하고(S150), 상기 이벤트가 무인비행체(100)의 카메라부(140)를 통해 검출된 경우인 경우에는 불법 행위 의심선박을 촬영하며(S150), 상기 촬영한 영상은 무인비행체에서 저장하고, 이를 상기 무인비행체의 통신부를 통해 외부로 전송하는 단계(S160); 및 상기 무인비행체를 조정하는 무인비행체 조정기(300)를 통해 음성을 전송하거나, 상기 무인비행체의 경고 방송부에 미리 설정된 경고 방송 또는 경고음을 출력하는 단계(S170);를 포함하여 필드양식장 불법행위 감시가 무인비행체를 이용하여 이루어지고,
상기 감시 서버(900)에 필드양식장이 등록되는 단계(S300);
상기 필드양식장별 복수의 식별장치인 부표정보와 필드양식장별 불법행위를 감시하는 무인비행체를 등록하는 단계(S310);
이벤트(S320)가 발생되고, 이벤트가 정기점검이라면 상기 무인비행체를 담당하는 담당자 단말기로 정기점검을 요청하는 메시지를 전송하고(S330), 상기 정기점검 결과에 따라 수리, 부품 교체가 수행되었으면 해당 정보를 상기 감시서버(900)에서 갱신하며, 상기 이벤트(S320)가 상기 무인비행체로부터의 운행관련 데이터라면 운행거리를 누적하는 단계(S340)와, 상기 운행거리 누적에 따라 기본요금과 함께 운행거리별 요금 청구가 상기 무인비행체(100)별 관리비용이나 임대비용, 부품 수리나 교환 비용 및 운행거리에 따른 비용 및 무인비행체 분실에 따른 보험료를 계산하는 비용계산 및 청구부(960)에서 수행되는 단계(S350); 및
상기 이벤트(S320)가 상기 무인비행체 분실이라면 상기 무인비행체를 담당하는 담당자 단말기로 점검 및 수색을 요청하는 단계(S360);를 포함하는 것을 특징으로 하는 필드양식장 불법행위 감시 시스템에서 무인비행체 운용 방법.
삭제
무인비행체(100)를 제어하기 위한 제어 신호를 무인비행체 조정기(300)로부터 전송받고, 해상 레이더(700)로부터 선박검출 레이더 신호를 전송받으며, 상기 무인비행체(100)에서 촬영한 영상 데이터와 위치정보를 상기 무인비행체 조정기(300)와 필드양식장 관계자나 무인비행체 운용자의 스마트 기기(500)로 전송하는 통신부(110)와, 상기 무인비행체(100) 이동방향에 따른 풍향과 풍속 및 현재 고도를 센싱하고, 회전운동상태를 측정하고 기울기를 감지하는 센서부(120)와, 상기 무인비행체(100)의 비행을 위한 비행부(130)와, 상기 무인비행체(100)가 이동하면서 주변을 촬영하는 카메라부(140)와, 상기 카메라부(140)에서 촬영된 영상을 저장하는 영상저장부(160)와, 상기 무인비행체(100)의 현재 위치를 수신하는 GPS 수신부(170)와, 상기 무인비행체(100) 이동 중 촬영된 영상에서 선박을 식별하는 불법행위 식별부(180)와, 미리 입력된 경고 방송이나 경고음을 출력하거나, 상기 무인비행체 조정기(300)에서 전송된 음성이나 경고 방송을 출력하는 경고방송부(190)와, 기상이변이나 배터리 부족 또는 상기 비행부(130)의 이상으로 무인비행체가 복귀하지 못하고, 바다나 강에 빠진 경우 상기 무인비행체(100)를 용이하게 찾을 수 있도록 신호음이나 경광등(LED)을 발광하도록 하는 신호 발신부(200)와, 상기 GPS 수신부(170)를 통해 수신된 위치정보 변화에 따라 실제 무인비행체(100)의 운행 거리를 계산하는 운행거리 계산부(210)와, 상기 통신부(110), 센서부(120). 비행부(130), 카메라부(140), 영상저장부(160), GPS 수신부(170), 불법행위 식별부(180), 경고방송부(190), 신호 발신부(200) 및 운행거리 계산부(210)를 제어하여 상기 통신부(110)를 통해 상기 무인비행체 조정기(300)에서 전송된 제어 데이터에 따라 상기 비행부(130)를 제어하고, 상기 카메라부(140)를 통해 촬영된 영상에서 불법행위 식별부(180)가 선박을 식별하면 이를 통신부(110)를 통해 상기 무인비행체 조정기(300), 필드양식장 관계자나 무인비행체 운용자의 스마트 기기(500)로 전송하고, 상기 무인비행체 조정기(300)에서 전송된 데이터에서 음성신호에 대하여 경고 방송부(190)를 통해 음성을 출력하도록 하며, 상기 GPS 수신부(170)로부터 수신된 위치정보와 상기 무인비행체 조정기(300)에서 설정한 운행영역을 계산하여 미리 설정된 범위를 벗어나는 경우 상기 통신부(110)를 통해 상기 무인비행체 조정기(300)로 이를 통지하며, 배터리 잔량을 계산하여 무인비행체(100)의 비행시간과 복귀장소가 지정된 경우 해당 장소까지의 비행 가능 시간을 계산하여 무인비행체 조정기(300)로 전송하도록 제어하는 제어부(220);를 포함하여 구성됨을 특징으로 하는 필드양식장 불법행위 감시가 가능한 무인비행체의 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법으로,
무인비행체는 선박, 침입자, 해산물 망, 침입자의 잠수 및 부표 위로 손이 올라가는 행위를 포함하는 절도행위와 감시하고자 하는 필드양식장의 경계선 및 경계선 부표의 개수를 데이터화하는 단계(S400);
상기 무인비행체는 상기 필드양식장의 이전 이미지를 이용하여 배경영역 모델을 만들고, 원본 이미지에서 제거하여 객체영역과 배경영역을 분리하는 영상확인 단계(S410);
상기 무인비행체는 실시간으로 선반, 침입자, 부표 모양, 크기, 필드양식장 경계선, 위치, 거리, 기울기, 색깔, 문자, 표지판 중 하나 이상을 검출하는 단계(S420);
상기 무인비행체는 순서대로 들어오는 영상 두개의 프레임으로부터 움직임 영역을 추출하여, 사람을 탐지하는 단계(S430)(S440);
상기 무인비행체는 탐지된 침입자 영역에 대하여 거짓 영상을 제거하는 단계(S450);
상기 무인비행체는 수집된 영상에 대하여 딥러닝을 수행하는 단계(S470); 및
상기 무인비행체는 수집된 영상정보에 대하여 상기 딥러닝을 통해 화면의 변화나 영상의 장면 전환 검출법을 이용하여 이상 행위를 검출하고, 관리자 단말기로 전송하는 단계(S480)(S490);를 포함하여 이루어지는 것을 특징으로 하는 필드양식장 불법행위 감시가 가능한 무인비행체의 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법.