KR102234697B1 - 수중드론을 이용하는 어망감시장치, 및 그 장치의 제어방법 - Google Patents

수중드론을 이용하는 어망감시장치, 및 그 장치의 제어방법 Download PDF

Info

Publication number
KR102234697B1
KR102234697B1 KR1020190139353A KR20190139353A KR102234697B1 KR 102234697 B1 KR102234697 B1 KR 102234697B1 KR 1020190139353 A KR1020190139353 A KR 1020190139353A KR 20190139353 A KR20190139353 A KR 20190139353A KR 102234697 B1 KR102234697 B1 KR 102234697B1
Authority
KR
South Korea
Prior art keywords
fishing net
monitoring device
posture
damage
fishing
Prior art date
Application number
KR1020190139353A
Other languages
English (en)
Other versions
KR20200067743A (ko
Inventor
류제하
이후상
정대현
김영호
김창현
유홍제
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Publication of KR20200067743A publication Critical patent/KR20200067743A/ko
Application granted granted Critical
Publication of KR102234697B1 publication Critical patent/KR102234697B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00Culture of aquatic animals
    • A01K61/10Culture of aquatic animals of fish
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K75/00Accessories for fishing nets; Details of fishing nets, e.g. structure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63GOFFENSIVE OR DEFENSIVE ARRANGEMENTS ON VESSELS; MINE-LAYING; MINE-SWEEPING; SUBMARINES; AIRCRAFT CARRIERS
    • B63G8/00Underwater vessels, e.g. submarines; Equipment specially adapted therefor
    • B63G8/14Control of attitude or depth
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0875Control of attitude, i.e. control of roll, pitch, or yaw specially adapted to water vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/096Transfer learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/0985Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63GOFFENSIVE OR DEFENSIVE ARRANGEMENTS ON VESSELS; MINE-LAYING; MINE-SWEEPING; SUBMARINES; AIRCRAFT CARRIERS
    • B63G8/00Underwater vessels, e.g. submarines; Equipment specially adapted therefor
    • B63G8/001Underwater vessels adapted for special purposes, e.g. unmanned underwater vessels; Equipment specially adapted therefor, e.g. docking stations
    • B63G2008/002Underwater vessels adapted for special purposes, e.g. unmanned underwater vessels; Equipment specially adapted therefor, e.g. docking stations unmanned
    • B63G2008/004Underwater vessels adapted for special purposes, e.g. unmanned underwater vessels; Equipment specially adapted therefor, e.g. docking stations unmanned autonomously operating
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Environmental Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Zoology (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

본 발명에 따른 드론을 이용하는 어망감시장치는, 물속에서 어망의 손상을 감지하는 어망감시장치에 있어서, 어망 이미지를 획득하는 카메라; 적어도 추진기가 포함되어 어망감시장치의 이동제어 및 자세제어를 수행하는 구동부; 상기 어망 이미지를 이용하여, 상기 어망감시장치의 자세와 상기 어망과의 거리를 조절하고, 어망의 손상을 감지하는 인공지능 모듈; 상기 어망감시장치의 동작에 필요한 정보가 저장되는 메모리; 및 상기 어망감지장치의 구동, 동작, 및 작용을 제어하는 제어부가 포함된다.

Description

수중드론을 이용하는 어망감시장치, 및 그 장치의 제어방법{Fish net surveillance apparatus using Remotely-Operated underwater Vehicle, controlling method of the same}
본 발명은 수중드론을 이용하여 어망을 감시하는 장치, 및 그 장치의 제어방법에 관한 것이다.
가두리 양식장의 어망 손상으로 인한 어류 손실은 어민들에게 큰 피해를 가져온다.
기존에는 어망 손상을 확인하기 위해 가두리의 가장자리마다 통발을 설치 후 주기적으로 확인하여 어망의 이상 유무를 판단하고 잠수부를 투입하여 손상된 부분의 유무를 확인한다.
이러한 방식의 문제점은 양식장 규모가 커질수록 설치해야 하는 통발의 수와 확인 시 작업량이 많아진다는 점이다. 또한, 손상 부분을 직접적으로 확인하기 위해서는 잠수부를 투입해야 하므로 추운 겨울 작업 시 저체온증이나 넓은 양식장을 확인하기 위한 장시간 잠수 등 작업의 위험성이 존재한다.
이러한 위험성을 줄이기 위해 수중드론(Remotely-Operated underwater Vehicle, ROV)을 사용하기도 한다. 수상에 있는 작업자가 수중드론을 직접 조종하면서 실시간으로 전송받은 영상 이미지를 직접 확인하여 어망의 손상 유무를 파악한다. 이 경우, 작업자가 조종에 숙달되는데 어느 정도 시간이 필요하고 작업자의 피로도에 따라 작업의 정확도가 일관성을 유지하기 어렵다.
어망 손상은 조기 발견 및 신속한 대처를 통해 큰 피해를 막을 수 있다. 그러나, 위의 두 방법 모두 인간 작업자가 항상 필요하다는 점에서 작업의 위험성, 피로누적 등 어망에 대한 지속적인 감시가 쉽지 않다.
본 발명과 관련되는 기술로는, 공개특허번호 1020180090444: 자기부상식 위치확인장치가 있다. 종래기술에는 어망의 위치를 파악하는 기술이 개시되어 있으나, 어망의 손상을 감시하기는 어렵다.
1020180090444: 자기부상식 위치확인장치
본 발명은 자동으로 어망을 감시하는 어망감시시스템을 제안한다.
본 발명에 따른 드론을 이용하는 어망감시장치는, 물속에서 어망의 손상을 감지하는 어망감시장치에 있어서, 어망 이미지를 획득하는 카메라; 적어도 추진기가 포함되어 어망감시장치의 이동제어 및 자세제어를 수행하는 구동부; 상기 어망 이미지를 이용하여, 상기 어망감시장치의 자세와 상기 어망과의 거리를 조절하고, 어망의 손상을 감지하는 인공지능 모듈; 상기 어망감시장치의 동작에 필요한 정보가 저장되는 메모리; 및 상기 어망감지장치의 구동, 동작, 및 작용을 제어하는 제어부가 포함된다.
본 발명의 다른 측면에 따른 어망감지장치의 제어방법은, 물속에서 어망의 손상을 감지하는 어망감시장치를 제어하는 방법이고, 상기 어망감시장치는, 어망 이미지를 획득하는 카메라; 적어도 추진기가 포함되어 어망감시장치의 이동제어 및 자세제어를 수행하는 구동부; 및 상기 어망감지장치의 구동, 동작, 및 작용을 제어하는 제어부가 포함되고, 상기 어망감시장치는, 상기 어망의 어느 일면의 수평 방향의 어망손상유무를 판단하며 어망이 사라지는 어망의 에지부까지 탐색 한 다음에, 다음 깊이로 내려가서 다시 수평방향의 어망손상유무를 판단하고, 상기 어망의 어느 일면의 탐색이 끝난 다음에, 인접하는 다른 면의 감시를 수행한다.
본 발명에 따르면, 작업자의 고된 작업이 필요없이 어망을 감시할 수 있다.
본 발명에 따르면, 정확하게 어망을 감지할 수 있다.
본 발명에 따르면, 어망감시에 비용이 절감될 수 있다.
더 구체적으로, 수중드론을 어민이 직접 조종하는 경우에 양식 작업의 흐름이 끊기거나, 인력을 고용할 경우 인건비가 발생하는 문제가 없고, 장시간 집중적인 조종, 감시의 동시 수행에 따른 피로누적, 및 작업능률 저하 문제를 해결할 수 있고, 수중드론에 인공지능모듈을 추가하여 수중드론의 카메라만을 이용하여 조종자 없이 양식장 주변을 항행, 손상된 어망을 감지하고 어민에게 경고할 수 있다.
도 1은 실시예에 따른 수중드론을 이용하는 어망감시장치의 블록도.
도 2되는 직육면체 형태의 양식장의 어망의 탐색을 보이는 도면.
도 3은 어망과 어망감시장치의 위치에 대한 상호관계를 설명하는 도면.
도 4는 자세 및 거리 판단모듈의 훈련과정을 설명하는 도면.
도 5는 어망손상감지모듈의 훈련과정을 설명하는 도면.
도 6은 어망감시장치에 수록된 훈련된 데이터를 제공하는 과정을 설명하는 도면.
도 7은 타원함수를 이용하여 생성된 다양한 모양을 예시하는 도면.
도 8은 손상부분이 추가된 이미지의 예시도.
도 9는 잠항과정을 설명하는 흐름도.
도 10은 어망의 어느 한 면을 잠항하는 모습을 보이는 도면.
도 11은 어망의 어느 한 면에서 다른 한 면으로 넘어가는 모습을 보이는 도면.
도 12는 특징점을 찾는 방법으로 설명하는 도면.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 이하의 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다.
도 1은 실시예에 따른 수중드론을 이용하는 어망감시장치의 블록도이다.
도 1을 참조하면, 실시예에 따른 어망감시장치(1)에는, 외부로부터 어망 이미지를 얻어오는 카메라(2), 어망감시장치(1)의 이동제어 및 자세제어를 위한 추진기가 적어도 포함되는 구동부(6), 어망감시장치(1)의 깊이 정보를 제공해주는 깊이 센서(4), 수중드론의 자세와 어망과의 거리를 판단하고 어망의 손상을 감지하는 인공지능 모듈(10), 수중드론이 어망 전체를 탐색하도록 하는 잠항 알고리즘(51)이 적어도 수록되는 메모리(5), 및 상기 어망감지장치(1)의 구동, 동작, 및 작용을 전체로서 제어하는 제어부(3)가 포함될 수 있다.
상기 어망감시장치(1)에는 수중드론의 기능이 탑재되는 형태로 제공될 수 있다. 상기 어망감시장치에는 상기 잠항 알고리즘(51), 구동부(6), 및 제어부(3)가 포함되는 것으로서 구성될 수 있다. 상기 어망감시장치는 수중드론으로서의 기능과 함께 어망을 감시하는 기능이 함께 포함된다.
상기 추진기에는 프로펠러 및 유동방향조절장치 등의 더 포함될 수 있다. 상기 구동부에는 적어도 하나 이상의 추진기가 포함되어, 어망감시장치를 다양한 방향으로 이동시키고 다양한 포즈로 자세를 제어할 수 있다.
상기 인공지능모듈(10)에는, 상기 어망감시장치와 상기 어망과의 관계에 있어서 상기 어망감시장치의 자세 및 어망과의 거리를 판단하는 자세 및 거리 판단모듈(11), 및 상기 어망의 손상을 감지하는 어망손상감지모듈(12)이 포함될 수 있다.
상기 어망감시장치(1)에는 센서(4)가 포함될 수 있는데, 예를 들어, 깊이센서(4)가 더 포함될 수 있다. 상기 깊이센서(4)는 물속의 압력을 측정하여 상기 어망감시장치(1)가 놓이는 수중깊이를 알아낼 수 있다.
실시예에 따른 상기 어망감시장치(1)의 동작을 간단히 설명한다.
상기 카메라(2)가 취득하는 이미지 정보를 이용하여, 상기 자세 및 거리판단모듈(11)은 어망감시장치(1)의 자세 및 어망과 어망감지장치의 거리를 조절할 수 있다. 이때 어망감시장치(1)의 자세 및 어망과의 거리제어는 구동부(6)를 이용할 수 있다. 예를 들어, 어망과의 거리가 먼 경우에는 이미지가 흐려지거나 어망의 그물코가 작아지기 때문에, 이것을 감지하여, 어망과 어망감시장치의 거리를 더 근접하게 할 수 있다. 상기 어망감시장치의 자세 및 거리는 이미 학습되어 있는 다양한 정보를 참조하여 판단될 수 있다.
상기 카메라(2)가 취득하는 이미지 정보를 이용하여, 상기 어망손상감지모듈(12)은 어망의 손상을 감지할 수 있다. 어망의 손상여부는 이미 학습되어 있는 다양한 정보를 참조하여 판단될 수 있다.
상기 어망감시장치의 잠항은 상기 잠항알고리즘(51)에 저장되는 알고리즘을 이용하여, 제어부(3)의 제어에 따라서 구동부(6)를 동작시키는 것으로 수행될 수 있다. 이때, 상기 센서(4)를 이용하여 수심을 참조하여 잠항이 수행될 수 있다.
상기 메모리(5)는 어망감시장치(1)의 동작에 필요한 다양한 정보가 저장될 수 있다.
상기 수상기기(20)는 물 위에서 사용하는 기기로서, 수상기기는 상기 어망감시장치와의 협업으로 어망손상여부를 감지할 수 있다. 상기 수상기기는 광의로 상기 어망감시장치의 범위에 포함된다고 할 수 있다. 상기 수상기기는 물속의 어망감시장치의 제어, 어망손상을 작업자에게 통지, 및 인공지능모듈의 동작 수행이 수행될 수도 있을 것이다.
실시예에 따른 상기 어망감시장치(1)가 동작되는 환경을 예시한다.
도 2에 제시되는 직육면체 형태의 양식장의 어망(30)의 제 1 면 ~ 제 4 면을 탐색하고, 도 3에 제시되는 바와 같이, 어망(30)과 어망감시장치(1)의 상호관계는, 카메라의 방향을 Y축(Roll), 수심방향을 Z축(Yaw), 좌우방향을 X축(Pitch)으로 정의한다.
상기 자세 및 거리 판단모듈(11)은, 상기 카메라(2)로부터 어망 이미지를 입력받고, 어망과 어망감시장치와의 위치정보(여기서 위치정보에는, 어망과 어망감시장치와의 거리, 어망감시장치의 자세를 포함한다)를 예측하고, 해당 위치정보에 상응하는 속도 명령을 결과로 출력하도록 훈련되어 있을 수 있다.
상기 어망손상감지모듈(12)은, 어망 이미지를 입력받아 어망의 손상(대표적인 예로, 찢어지는 것) 유무를 예측하는 결과를 출력하도록 훈련되어 있을 수 있다.
상기 자세 및 거리 판단모듈(11), 및 상기 어망손상감지모듈(12)의 동작을 상세하게 설명한다.
도 4는 상기 자세 및 거리 판단모듈의 훈련과정을 설명하는 도면이다.
도 4를 참조하면, 실시예로 컨볼루션 신경망을 사용하고 입력은 어망 이미지를 이용하여(S11), 인공지능 신경망을 이용하여 학습할 수 있다(S12).
훈련의 결과는, 자세 정보 또는 Yaw 방향의 보정정보를 출력할 수 있다(S13). 또 다른 훈련의 결과물로서, 거리 정보 또는 Y방향 보정정보를 출력할 수 있다(S14). 이때, 어망감지장치의 자세 및 거리를 각각 3등분하여 예측할 수 있다.
더 구체적으로 설명한다.
상기 어망 이미지는, 어망과 어망감시장치와의 거리가 멀어질수록 어두워지고, 어망과 어망감시장치와의 거리가 멀어질수록 어망의 망목이 작아지거나, 어망과 어망감시장치와의 각도가 우측으로 기울어지면 기울어진 쪽의 망목은 커지고 기울어진 반대쪽의 망목은 커지는 등의 변화를 가질 수 있다.
예를 들어, 상기 성질을 이용하여, 상기 어망 이미지를 통하여, 어망과 어망감시장치와의 거리가 멀어질수록 어두워지면, 어망과 어망감시장치의 거리를 가깝게 할 수 있다. 예를 들어, 어망으로부터 특정 범위의 거리를 기준으로 어망감시장치가 범위보다 가까운 경우, 범위 내 있는 경우, 범위보다 멀리 있는 경우의 세 가지의 확률로 나눈 다음. 어망감시장치를 어망으로 가까이 이동시킬 수 있다. 물론, 반대의 경우도 마찬가지이다.
예를 들어, 상기 성질을 이용하여, 상기 어망 이미지를 통하여, 어망과 어망감시장치와의 거리가 멀어질수록 어망의 망목이 작아지면, 어망과 어망감시장치의 거리를 가깝게 할 수 있다. 예를 들어, 어망으로부터 특정 범위의 거리를 기준으로, 어망감시장치가 범위보다 가까운 경우, 범위 내 있는 경우, 범위보다 멀리 있는 경우의 세 가지의 확률로 나눈 다음. 어망감시장치를 어망으로 가까이 이동시킬 수 있다. 물론, 반대의 경우도 마찬가지이다.
예를 들어, 상기 성질을 이용하여, 상기 어망 이미지를 통하여, 어망과 어망감시장치와의 각도가 우측으로 기울어지면 기울어진 쪽의 망목은 커지고 기울어진 반대쪽의 망목은 커질 수 있다. 이때에는, 어망을 바라보는 방향으로 기준으로 정면, 왼쪽, 및 오른쪽 세 가지의 확률로 나눈 다음, 기울어진 반대쪽으로 어망감시장치의 자세를 변경시킬 수 있다. 물론, 반대의 경우도 마찬가지이다.
결국, 상기 어망감시장치의 자세를 제어하기 위하여, 어망감시장치가 어망의 정면(일정 범위 내)을 바라보는 방향을 기준으로, 어망감시장치의 왼쪽 방향, 정면 방향, 오른쪽 방향으로 자세를 취하고 있을 경우의 세 가지 확률로 나누어서 훈련할 수 있다.
또한, 상기 어망감시장치의 거리를 제어하기 위하여, 어망으로부터 특정 범위의 거리를 기준으로 어망감시장치의 범위보다 가까운 경우, 범위 내 있는 경우, 범위보다 멀리 있는 경우의 세 가지 확률로 나우어서 훈련할 수 있다.
한편, 실시예의 훈련에는 컨볼루션 신경망을 사용하고, 어망을 일정 거리에서 정면으로 보고 있는 자세를 기준으로, 도 3에 제시되는 바와 같이, 현재 자세와의 상대 자세 정보(x, y, z, roll, pitch, yaw)를 예측할 수 있다.
위와 같은 과정을 거쳐서 학습된 결과는 상기 자세 및 거리 판단모듈(11)에 수록될 수 있다.
도 5는 상기 어망손상감지모듈의 훈련과정을 설명하는 도면이다.
도 5를 참조하면, 실시예로 컨볼루션 신경망을 사용하고 입력은 어망 이미지를 이용하여(S21), 인공지능 신경망을 이용하여 학습할 수 있다(S12).
이후에 입력된 어망 이미지에 손상이 있는지의 여부를 판단하고(S23), 어망에 손상이 있는 경우에는, 수상기기(20)로 전달하여(S24), 작업자에 의해서 파악될 수 있다(S25).
상기 어망손상감지모듈의 동작에는, 일 실시예로 컨볼루션 신경망을 이용하여 입력 이미지에 손상된 부분이 있는지 없는지를 판단할 수 있다. 또 다른 실시예로 물체 감지(object detection) 신경망을 이용하여 입력 이미지에 손상된 부분이 있는지 감지하고 이미지 상에 손상된 위치를 표시할 수 있다.
위와 같은 과정을 거쳐서 학습된 결과는 상기 어망손상감지모듈(11)에 수록될 수 있다.
이미 설명한 바와 같이, 어망의 손상을 감지할 경우에는 작업자에게 통지할 수 있고, 통지하는 방법으로는, 경고 신호를 어망감시장치와 연결되어 있는 수상 기기로 전송 후에, 무선통신을 통해 스마트폰으로 어망이 손상되었다는 정보를 제공할 수 있다. 이때에는, 해당하는 이미지, 감지시간, 해당 면, 및 깊이 정보를 함께 제공할 수 있다.
상기 인공지능모듈(10)에 수록될 데이터를 제공하는 과정을 상세하게 설명한다.
도 6은 상기 어망감시장치에 수록된 훈련된 데이터를 제공하는 과정을 설명하는 도면이다.
먼저, 촬영을 통하여 실제 어망 데이터를 수집한다(S1). 구체적으로, 어망의 적어도 일부 데이터 수집하여 인공지능 모듈 훈련에 활용하여, 더 사실적인 정보를 얻을 수 있다. 이때, 어망을 직접 촬영할 수 있는 다양한 방법을 적용할 수 있다.
수집한 어망 데이터의 수를 증가시켜 증강 데이터를 획득할 수 있다(S3).
구체적으로, 상기 어망 데이터에 수집단계(S1)에서 수집된 이미지에, 회전 변환, 아핀(affine)변환, 가우스 노이즈 추가, 광원 효과 추가 등을 추가하여 더 많은 이미지를 얻을 수 있다. 이를 통하여 데이터 수와 다양성을 증가시킬 수 있다.
상기 실제 어망 데이터 수집단계(S1)와는 별개로 가상환경 데이터를 생성할 수도 있다(S2).
구체적으로, 예를 들어, Unity 3D, 및 Unreal Engine 4 등 다양한 시각적 효과를 구성할 수 있는 환경에서 증강 데이터를 획득할 수 있다. 다른 방법으로, 실제 사용되는 망목 모양이나, 무작위의 망목 모양을 생성하여, 다양한 형태의 어망 모델을 생성할 수 있다. 또 다른 방법으로서, 수중 환경(부유물, 조류에 의한 흔들림, 광원 위치, 및 탁도 등)구성과 카메라 각도를 통해 다양하게 변화시켜 다양한 이미지 데이터를 획득할 수 있다.
가상적으로 얻어 증강된 이미지 데이터, 및 실제 어망에서 얻어서 증강된 이미지 데이터가 포함되는 원본 어망 이미지에 어망의 손상 데이터를 추가한다(S4).
상기 손상 데이터의 추가방법을 구체적으로 설명한다.
먼저, 상기 원본 어망 이미지에서 어망의 테두리(edge)와 그 위치를 검출한 후, 어망의 일부분을 무작위로 제거한 뒤 해당 부분을 주변 배경 정보를 이용하여 복구할 수 있다. 이때, 테두리 검출 시에 노이즈가 있는 이미지의 경우 먼저 가우시안 필터를 적용하여 노이즈를 제거할 수 있다.
또한, 검출된 테두리를 이용하여 어망의 윤곽선 추출할 수 있고, 이때 윤곽선의 두께는 어망을 전부 덮을 수 있는 정도로 설정할 수 있다.
또한, 상기 손상 데이터의 생성 함수는, 타원함수의 매개변수를 임의로 선택함에 따라 선, 원형, 삼각형, 반원 등 다양한 형태 생성할 수 있다. 도 7에는 상기 타원함수를 이용하여 생성된 다양한 모양을 예시한다. 또한, 이를 다시 다양하게 조합하여 다양한 손상 형태로 활용할 수 있다.
또한, 상기 추출된 윤곽선 중 무작위로 선택된 픽셀을 중심으로 타원 생성 함수로부터 생성된 형태를 그린 후에, 상기 추출된 윤곽선과 해당 형태의 겹치는 부분을 제거하고 주변 배경 정보를 이용하여 복구할 수 있다. 도 8에서는 손상부분이 추가된 이미지를 예시한다.
상기되는 과정을 통하여 어망 이미지 데이터를 수집 및 생성한 다음에는, 인공지능훈련과정을 수행한다.
먼저, 인공지능훈련은 인공지능 신경망을 훈련시키는 인공지능 신경망 훈련(S5)이 수행된다.
구체적으로, 지도학습 방법을 사용하여 신경망의 예측 값과 실제 정답의 차이가 최소화되는 방향으로 반복적으로 신경망의 파라미터 수정할 수 있다. 이때, 역전파법을 사용할 수 있다.
훈련의 일 실시예로 자세 및 거리 제어 인공지능 모듈 훈련 시(도 4참조), 컨볼루션 신경망에 입력으로 각 방향(왼쪽, 정면, 오른쪽)의 이미지와 라벨링 정보를 다양하게 주어 동일하게 훈련할 수 있다.
훈련의 일 실시예로 어망 손상 부분 감지 인공지능 모듈 훈련 시(도 5 참조), 컨볼루션 신경망에 입력으로 다양한 정상 및 손상 어망 이미지와 라벨링 정보를 주어 동일하게 훈련할 수 있다. 또한, 일 실시예로 어망 손상 부분 감지 인공지능 모듈 훈련 시(도 5참조), 물체감지 신경망(object detection)에 입력으로 손상 어망 이미지와 손상부분의 위치정보를 주어 상기와 동일하게 훈련할 수 있다.
이후에는, 훈련된 신경망의 성능을 평가하는 성능평가를 수행할 수 있다(S6), 상기 성능평가단계(S6)는, 평가용 데이터를 사용하여 평가하고 성능이 임계치를 넘지 못하는 경우에는 추가 작업을 진행하고(S7), 상기 임계치를 넘는 경우에는 훈련을 종료할 수 있다(S8).
여기서, 상기 추가 작업에는, 학습 프로세서 자체를 제어하는 신경망의 초매개변수(hyperparameter)의 변경을 통한 제 1 성능개선, 전이학습(Transfer learning)을 통해 기존에 훈련된 모델을 일부분 활용하는 제 2 성능개선, 및 추가 데이터 수집 등 훈련된 신경망의 성능을 개선할 수 있는 제 3 성능개선 등 다양한 방법이 사용될 수 있다.
훈련이 완료된 정보는 인공지능모듈(10)에 수록되어, 카메라(2)를 통하여 입력되는 어망 이미지에 손상이 있는지의 여부를 판단할 수 있다.
이하에서는 상기 어망감시장치가 잠함하는 방법에 대하여 설명한다.
도 9는 잠항과정을 설명하는 흐름도이고, 도 10은 어망의 어느 한 면을 잠항하는 모습을 보이는 도면이고, 도 11은 어망의 어느 한 면에서 다른 한 면으로 넘어가는 모습을 보이는 도면이다.
도 9 내지 도 11을 참조하면, 상기 어망감시장치는 입수 후 초기위치로 이동할 수 있고(S31, S32), 일 예로 초기위치는 어망의 어느 일 면의 왼쪽 상단일 수 있다.
이후에는, 상기 어망감시장치는, 수평 방향(+X방향 및 -X방향)의 어망 손상유무를 판단하면서 어망이 사라지는 어망의 에지부까지 수평 방향으로 이동하며 어망을 탐색할 수 있다(도 10참조)(S33).
상기 수평 방향과 대응하는 수직 방향은 -Z방향(아래 방향)을 의미하며, 아래 방향으로 어망이 존재할 경우에는, 상기 어망감시장치의 다음위치는 일정 깊이 아래로 하강할 수 있다(S34).
상기 일정 깊이에 대한 판단은, 이미지 상에서 특징점을 찾는 기법을 활용하여 해당 특징점이 이미지 평면상에서 움직인 픽셀 거리로 판단할 수 있다. 도 12에는 특징점을 찾는 방법으로 그림으로 표시한다. 물론, 또 다른 실시예로 상기 깊이 센서(4)를 활용하여 이동할 수도 있다.
상기 수직 방향의 어망이 더 이상 존재하지 않을 경우에는, 해당 면의 탐색을 종료하고 다른 면의 초기 위치로 이동할 수 있다(도 11참조)(S36, S37).
도 11을 참조하면, 상기 어망감시장치가, 종료 위치에서 수직으로 끝까지 올라온 뒤 회전하여 인접하는 다른 면으로 이동하는 것을 확인할 수 있다.
한편, 상기 어망감시장치의 이동에 있어서, X방향, 및 Z방향의 속도는 일정하도록 할 수 있다.
본 발명에 따르면, 인공지능 및 수중드론에 기반하여 어망을 어망손상에 대한 감시가 자동화됨으로써, 작업의 효율성, 안전성 확보 및 어류 손실 최소화를 통한 양식장 어민의 이익 증대를 기대할 수 있다.
발명자가 수중드론을 작업자가 직접 조작하는 경우와 본 발명을 비교한 결과에 따르면, 본 발명은 하루에 2회 10년을 제한없이 사용할 수 있다. 직접 조정하는 경우에는, 인건비 = 10년 * 365일 * 2 * 1회당 작업시간(3시간) * 최저시급(7530원) = 1억 6500만원이 필요함에 비하여, 본 발명은 저렴한 비용이 필요하므로 장점이 될 수 있다.
본 발명은, 데이터 수집 및 인공지능 모듈 훈련에 비용이 필요하더라도 초기에만 발생하는 장점이 있다.
작업자가 직접 조종할 경우에는, 초기 조종 숙달 기간의 필요, 조종과 손상 부분 관찰을 동시에 수행, 작업량에 따른 피로도 누적 등 자동 항행에 비해 1회당 작업시간이 평균적으로 높을 것으로 예상되는 문제가 있다(최소 1.5~2배 이상).
상기 인공지능모듈(10), 및 잠항알고리즘(51)은 실시예에서는 수중드론으로 구현되는 어망감시장치(1)에 탑재되어 구성된다. 그러나, 이에 제한되지 않고, 다른 실시예로 어망감시장치(1)와 통신선으로 연결되는 수상기기(20)에 구성되어 있을 수 있고, 이 경우에는 상기 어망감시장치(1)는 수상기기(20)에 의해서 추가적으로 제어될 수도 있다.
본 발명에 따르면 어망손상을 편리하고 저렴하게 자동으로 알 수 있는 장점이 있다.
1: 어망감시장치
10: 인공지능모듈

Claims (11)

  1. 물속에서 어망의 손상을 감지하는 어망감시장치에 있어서,
    어망 이미지를 획득하는 카메라;
    적어도 추진기가 포함되어 어망감시장치의 이동제어 및 자세제어를 수행하는 구동부;
    상기 어망 이미지를 이용하여, 상기 어망감시장치의 자세와 상기 어망과의 거리를 조절하고, 어망의 손상을 감지하는 인공지능 모듈;
    상기 어망감시장치의 동작에 필요한 정보가 저장되는 메모리; 및
    상기 어망감시장치의 구동, 동작, 및 작용을 제어하는 제어부가 포함되고,
    상기 어망 전체를 탐색하도록 하는 잠항 알고리즘은 상기 메모리에 제공되어, 상기 어망감시장치는 외부의 도움이 없이 스스로 잠항할 수 있고,
    상기 인공지능 모듈은, 상기 어망과 상기 어망감시장치와의 각도가 일측으로 기울어지면, 상기 어망감시장치가 상기 어망의 정면을 바라보는 방향을 기준으로 상기 어망감시장치의 왼쪽 방향, 정면 방향, 오른쪽 방향으로 나눈 다음 기울어진 반대측으로 상기 어망감시장치의 자세를 조절하는 어망감시장치.
  2. 제 1 항에 있어서,
    상기 어망감시장치의 깊이 정보를 제공해주기 위하여 수중의 압력을 측정하는 깊이 센서가 더 포함되는 어망감시장치.
  3. 제 1 항에 있어서,
    상기 인공지능모듈에는,
    상기 어망감시장치와 상기 어망과의 관계에 있어서 상기 어망감시장치의 자세 및 어망과의 거리를 판단하는 자세 및 거리 판단모듈; 및
    상기 어망의 손상을 감지하는 어망손상감지모듈이 포함되는 어망감시장치.
  4. 제 3 항에 있어서,
    상기 어망손상감지모듈의 감지결과를 통지받기 위하여 물위에 놓이는 수상기기가 포함되는 어망감시장치.
  5. 제 4 항에 있어서,
    상기 어망 전체를 탐색하도록 하는 잠항 알고리즘은, 상기 수상기기에 추가로 제공되는 어망감시장치.
  6. 물속에서 어망의 손상을 감지하는 어망감시장치에 있어서,
    어망 이미지를 획득하는 카메라;
    적어도 추진기가 포함되어 어망감시장치의 이동제어 및 자세제어를 수행하는 구동부;
    상기 어망 이미지를 이용하여, 상기 어망감시장치의 자세와 상기 어망과의 거리를 조절하고, 어망의 손상을 감지하는 인공지능 모듈;
    상기 어망감시장치의 동작에 필요한 정보가 저장되는 메모리; 및
    상기 어망감시장치의 구동, 동작, 및 작용을 제어하는 제어부가 포함되고,
    상기 인공지능 모듈에는,
    상기 어망감시장치와 상기 어망과의 관계에 있어서 상기 어망감시장치의 자세 및 어망과의 거리를 판단하는 자세 및 거리 판단모듈; 및
    상기 어망의 손상을 감지하는 어망손상감지모듈이 포함되고,
    상기 자세 및 거리 판단모듈은, 상기 어망과 상기 어망감시장치와의 각도가 일측으로 기울어지면, 상기 어망감시장치가 상기 어망의 정면을 바라보는 방향을 기준으로 상기 어망감시장치의 왼쪽 방향, 정면 방향, 오른쪽 방향으로 나눈 다음 기울어진 반대측으로 상기 어망감시장치의 자세를 조절하도록 하며,
    상기 자세 및 거리 판단모듈은,
    -상기 어망 이미지의 명도; 및
    -상기 어망 이미지에서 어망 망목의 크기차이 중의 적어도 하나를 이용하여 상기 어망감시장치의 자세 및 거리를 조절하는 어망감시장치.
  7. 제 6 항에 있어서,
    상기 어망손상감지모듈의 동작에 사용되는 데이터는,
    -실제 촬영된 어망의 실제 데이터, 상기 어망의 실제 데이터를 증강시키는 증강 데이터, 및 가상 환경에서 만든 가상 어망 데이터에,
    -실제 어망의 손상과 유사한 손상 데이터를 추가하여,
    -훈련을 수행하여,
    획득되는 어망감시장치.
  8. 제 7 항에 있어서,
    상기 훈련의 결과물이 소정의 임계치를 넘지 못하는 경우에는 추가작업을 수행하는 어망감시장치.
  9. 제 8 항에 있어서,
    상기 추가작업에는,
    -학습 프로세서 자체를 제어하는 신경망의 초매개변수(hyperparameter)의 변경을 통한 제 1 성능개선,
    -전이학습(Transfer learning)을 통해 기존에 훈련된 모델을 일부분 활용하는 제 2 성능개선, 및
    -추가 데이터 수집 등 훈련된 신경망의 성능을 개선할 수 있는 제 3 성능개선
    중의 적어도 하나가 포함되는 어망감시장치.
  10. 물속에서 어망의 손상을 감지하는 어망감시장치를 제어하는 방법이고,
    상기 어망감시장치는, 어망 이미지를 획득하는 카메라;
    적어도 추진기가 포함되어 어망감시장치의 이동제어 및 자세제어를 수행하는 구동부;
    상기 어망 이미지를 이용하여, 상기 어망감시장치의 자세와 상기 어망과의 거리를 조절하는 자세 및 거리 판단모듈과, 어망의 손상을 감지하는 어망손상감지모듈이 포함된 인공지능 모듈; 및
    상기 어망감시장치의 구동, 동작, 및 작용을 제어하는 제어부가 포함되고,
    상기 어망감시장치는,
    상기 어망의 어느 일면의 수평 방향의 어망손상유무를 판단하며 어망이 사라지는 어망의 에지부까지 탐색한 다음에,
    다음 깊이로 내려가서 다시 수평방향의 어망손상유무를 판단하고,
    상기 어망의 어느 일면의 탐색이 끝난 다음에, 인접하는 다른 면의 감시하고,
    상기 인공지능 모듈은, 상기 어망과 상기 어망감시장치와의 각도가 일측으로 기울어지면, 상기 어망감시장치가 상기 어망의 정면을 바라보는 방향을 기준으로 상기 어망감시장치의 왼쪽 방향, 정면 방향, 오른쪽 방향으로 나눈 다음 기울어진 반대측으로 상기 어망감시장치의 자세를 조절하고,
    상기 어망손상감지모듈의 동작에 사용되는 데이터는,
    실제 촬영된 어망의 실제 데이터, 상기 어망의 실제 데이터를 증강시키는 증강 데이터, 및 가상 환경에서 만든 가상 어망 데이터에, 실제 어망의 손상과 유사한 손상 데이터를 추가하여, 훈련을 수행하여 획득되는 어망감시장치의 제어방법.
  11. 제 10 항에 있어서,
    상기 인접하는 다른 면의 감시를 수행하기 전에, 현재 면의 가장 위로 상기 어망감시장치가 올라가는 어망감시장치의 제어방법.
KR1020190139353A 2018-11-02 2019-11-04 수중드론을 이용하는 어망감시장치, 및 그 장치의 제어방법 KR102234697B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862754604P 2018-11-02 2018-11-02
US62/754,604 2018-11-02

Publications (2)

Publication Number Publication Date
KR20200067743A KR20200067743A (ko) 2020-06-12
KR102234697B1 true KR102234697B1 (ko) 2021-04-02

Family

ID=71088160

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190139353A KR102234697B1 (ko) 2018-11-02 2019-11-04 수중드론을 이용하는 어망감시장치, 및 그 장치의 제어방법

Country Status (1)

Country Link
KR (1) KR102234697B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023050020A1 (es) * 2021-09-30 2023-04-06 Perez Barrera Luis Henoch Dispositivo para parchado de redes loberas
WO2023108307A1 (es) * 2021-12-16 2023-06-22 Universidad Técnica Federico Santa María Sistema para la inspección de mallas de cultivo en jaulas de acuicultura

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163517A (zh) * 2020-09-27 2021-01-01 广东海洋大学 一种基于深度学习的水下成像鱼网破损识别方法及系统
US11516997B2 (en) 2020-11-24 2022-12-06 X Development Llc Escape detection and mitigation for aquaculture
CN112526951A (zh) * 2020-12-08 2021-03-19 中国电建集团昆明勘测设计研究院有限公司 一种运用在升鱼机系统中控制系统
CN112977770B (zh) * 2021-02-22 2021-12-24 中国船舶科学研究中心 一种深海养殖网箱巡检装置及巡检方法
KR102476300B1 (ko) * 2021-08-11 2022-12-13 기초과학연구원 기계 학습을 이용한 이상 탐지를 위한 장치 및 방법
CN114489046B (zh) * 2021-12-27 2024-04-19 南方海洋科学与工程广东省实验室(湛江) 水下巡检机器人导航方法、装置、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101688458B1 (ko) * 2016-04-27 2016-12-23 디아이티 주식회사 깊은 신경망 학습 방법을 이용한 제조품용 영상 검사 장치 및 이를 이용한 제조품용 영상 검사 방법
JP2017075863A (ja) * 2015-10-15 2017-04-20 株式会社プロドローン 飛行型検査装置および検査方法
KR101758093B1 (ko) * 2015-09-21 2017-07-14 숭실대학교산학협력단 무인항공기 제어 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170036488A (ko) * 2015-09-24 2017-04-03 한국전력공사 보일러 튜브 진단 장치
KR101798396B1 (ko) * 2016-03-22 2017-11-16 (주)럭스콤 조수간만 차이를 반영한 해양 양식장 방범용 감시 시스템 및 제어 방법
KR20180090444A (ko) 2017-02-03 2018-08-13 김영탁 자기 부상식 위치 확인장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101758093B1 (ko) * 2015-09-21 2017-07-14 숭실대학교산학협력단 무인항공기 제어 시스템 및 방법
JP2017075863A (ja) * 2015-10-15 2017-04-20 株式会社プロドローン 飛行型検査装置および検査方法
KR101688458B1 (ko) * 2016-04-27 2016-12-23 디아이티 주식회사 깊은 신경망 학습 방법을 이용한 제조품용 영상 검사 장치 및 이를 이용한 제조품용 영상 검사 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
비특허문헌 1 (인터넷기사:2017.02.12.)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023050020A1 (es) * 2021-09-30 2023-04-06 Perez Barrera Luis Henoch Dispositivo para parchado de redes loberas
WO2023108307A1 (es) * 2021-12-16 2023-06-22 Universidad Técnica Federico Santa María Sistema para la inspección de mallas de cultivo en jaulas de acuicultura

Also Published As

Publication number Publication date
KR20200067743A (ko) 2020-06-12

Similar Documents

Publication Publication Date Title
KR102234697B1 (ko) 수중드론을 이용하는 어망감시장치, 및 그 장치의 제어방법
US20210321593A1 (en) Systems and methods for fish volume estimation, weight estimation, and analytic value generation
CN112102369B (zh) 水面漂浮目标自主巡检方法、装置、设备及存储介质
Chalkiadakis et al. Designing a small-sized autonomous underwater vehicle architecture for regular periodic fish-cage net inspection
KR20210007767A (ko) 딥러닝-영상인식 기반 해상폐기물 제거용 자율운항 선박 시스템
KR102493984B1 (ko) 심층신경망을 이용한 어류 성장 측정 시스템
KR101610485B1 (ko) 감지 조류 제거 시스템 및 방법
CN116255908B (zh) 面向水下机器人的海生物定位测量装置及方法
CN112131921B (zh) 基于立体视觉的生物自动量测系统及其量测方法
US20240029347A1 (en) Generating three-dimensional skeleton representations of aquatic animals using machine learning
CN115700817A (zh) 基于人工智能和数字孪生的渔业安全监测方法和元宇宙
US20210088656A1 (en) Fish finder
CN117011946B (zh) 一种基于人体行为识别的无人救援方法
JP2020149186A (ja) 位置姿勢推定装置、学習装置、移動ロボット、位置姿勢推定方法、学習方法
CN117214904A (zh) 一种基于多传感器数据的鱼类智能识别监测方法和系统
JP7350181B2 (ja) 動的監視のためのカメラウインチ制御
CN109246353A (zh) 捕捞方法
Ruscio et al. Autonomous boundary inspection of Posidonia oceanica meadows using an underwater robot
US20230172169A1 (en) Underwater feed movement detection
Kelasidi et al. Cagereporter-development of technology for autonomous, bio-interactive and high-quality data acquisition from aquaculture net cages
TWM583606U (zh) 海洋哺乳類追蹤系統以及載具
CN113869149A (zh) 大数据应用节点服务系统
TWI692750B (zh) 海洋哺乳類追蹤系統、方法以及載具
Yasukawa et al. Development and Sea Trials of Vision-Based Control for Sampling-AUV
CN115631512A (zh) 一种水生动物捕获收集的方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)