KR20230135894A - Ai 기반 어군 탐지 시스템 - Google Patents

Abstract

본 발명은 AI 기반 어군 탐지 시스템에 관한 것으로, 해결하고자 하는 과제는 각종 어군 이미지 데이터를 학습 데이터로 하여 기 학 습된 인공지능 모델을 이용하여 어군 이미지를 라벨링하고 어종 별로 분류하여 기존의 어군 탐지기 소프트웨어에 용이하게 적용시킬 수 있는데 있다.
일례로, 웹 크롤링을 통하거나, 어선에 설치된 광학수단을 통하여 촬영한 어군 이미지를 수집하는 어군 이미지 수집 모듈; 상기 어군 이미지를 어종별로 라벨링하고, 상기 라벨링된 어군 이미지를 인공지능 학습모델을 통하여 학습을 수행한 후, 웨이트 파일을 생성하는 인공지능 분석 모듈; 및 상기 생성된 웨이트 파일을 미리 설정된 어군 탐지기 소프트웨어에 통합시키는 소프트웨어 통합 모듈을 포함하는 AI 기반 어군 탐지 시스템을 개시한다.

Description

AI 기반 어군 탐지 시스템{AI BASED FISH FINDER SYSTEM}

본 발명의 실시예는 AI 기반 어군 탐지 시스템에 관한 것으로, 인공지능모델을 통하여 어군을 탐지하고 어종을 구분하는 시스템에 관한 것이다.

수산 자원관리의 중요성이 대두되면서 어획물이나 양식장 및 어구에 입망해 있는 수산생물 등의 크기와 어종 등을 파악해야 할 필요성이 높아지고 있다.

인간이 어체(魚體)를 육안으로 확인하고 어종을 판별하는 것이 일반적인 판별 방법이지만, 이는 포획한 어체에 국한될 뿐 물속에서 유영하고 있는 어체를 일일이 확인하는 것은 불가능할 뿐만 아니라 짧은 시간에 해당 어체의 외형을 정확히 알 수 없다.

상기와 같은 문제점을 해결하기 위하여, 한국등록특허공보 제1057419호에는 수중에 설치되어 어류를 촬영하는 한 쌍의 카메라를 구비하는 촬영장치; 및 상기 각 카메라에서 촬영된 어류의 영상을 이용하여 어류의 크기를 측 정하는 크기산출유닛과, 상기 카메라 중 하나에서 촬영된 영상을 이용하여 어류의 개체수를 산출하는 개체산출 유닛을 포함하는 계측장치;를 포함하며, 상기 크기산출유닛은, 상기 한 쌍의 카메라로부터 촬영된 영상을 이용 하여 상기 각 카메라의 위치를 결정하고, 촬영된 영상의 편위를 수정하는 카메라 정합부, 상기 카메라 정합부에 서 편위 수정된 영상을 이용하여 상기 한 쌍의 카메라 간에 발생한 어류의 변위정보를 추출하고, 추출된 변위정 보와 상기 카메라 정합부에서 결정된 카메라의 위치를 이용하여 어류와 상기 카메라 사이의 거리를 실시간으로 산출하는 거리 산출부, 상기 영상에서 상기 어류의 길이방향의 양끝인 입과 꼬리를 인식하고, 입의 말단과 꼬리 의 말단을 각각 제1 및 제2 측정점으로 선택하는 측정점 선택부, 상기 거리 산출부에서 산출된 어류와 카메라 사이의 거리를 이용하여 측정점 선택부에 의해 선택된 제1 측정점과 제2 측정점 간의 길이를 산출하는 어류크기 산출부를 포함하는 것을 특징으로 하는 비접촉식 어류 개체수 측정 장치가 개시되어 있다.

상기 선행문헌에 의하면, 가두리 망내의 어류 크기를 측정할 수 있다는 이점은 있으나, 카메라 2대를 이용하여 어류를 촬영하고 삼각 층량법을 이용하여 분석하는데 물체 또는 하나의 카메라에 모두 다 담기지 않을 때 오클 루전(occlusion)이 발생하고, 이 경우 캡처된 이미지의 특징을 일치 시킬 수 없어 어류의 깊이를 계산할 수 없 다는 문제점이 있다.

또한 촬영된 영상 프레임들로부터 어체의 크기와 개체수는 인식하지만 이러한 방법은 어류의 볼륨(체적)이나 어종을 확인하기에는 한계가 있다.

공개특허공보 제10-2021-0104581호 (공개일자: 2021. 08. 25)

본 발명의 실시예는, 각종 어군 이미지 데이터를 학습 데이터로 하여 기 학 습된 인공지능 모델을 이용하여 어군 이미지를 라벨링하고 어종 별로 분류하여 기존의 어군 탐지기 소프트웨어에 용이하게 적용시킬 수 있는 AI 기반 어군 탐지 시스템을 제공한다.

본 발명의 실시예에 따른 AI 기반 어군 탐지 시스템은, 웹 크롤링을 통하거나, 어선에 설치된 광학수단을 통하여 촬영한 어군 이미지를 수집하는 어군 이미지 수집 모듈; 상기 어군 이미지를 어종별로 라벨링하고, 상기 라벨링된 어군 이미지를 인공지능 학습모델을 통하여 학습을 수행한 후, 웨이트 파일을 생성하는 인공지능 분석 모듈; 및 상기 생성된 웨이트 파일을 미리 설정된 어군 탐지기 소프트웨어에 통합시키는 소프트웨어 통합 모듈을 포함하는 것을 특징으로 한다.

상기 어군 이미지 수집 모듈은 상기 웹 크롤링을 통하여 수집된 어군 이미지를 이미지 데이터 생성기(Image Data Generator)를 통한 회전, 이동, 확대, 축소, 좌우반전 중 적어도 어느 하나의 동작으로 하나의 이미지에서 복수 개의 이미지로 증식하는 것을 특징으로 한다.

상기 인공지능 분석 모듈은 YOLO5를 이용하여 다섯 종류의 어군 형상을 학습후, 상기 다섯 종류의 어군 형상을 기초로 상기 어군 이미지를 라벨링하는 어군 형상 탐지부; 및 미리 설정된 분류 알고리즘을 이용하여 상기 라벨링된 어군 이미지를 조업 해역, 계절, 시간, 수심에 따라 분류하는 휴리스틱 분류부를 포함하는 것을 특징으로 한다.

또한, 본 AI 기반 어군 탐지 시스템은 송수파기로부터 송수신된 신호를 처리하여 컴퓨터로 전송하는 신호 처리 모듈; 상기 신호 처리된 신호를 수신하여 화면으로 보여주는 화면 표시 모듈; 및 화면 표시 기능을 설정하고, 각종 파라메타를 설정하는 것과 Ping 시작 종료를 제어하는 제어 모듈을 더 포함하는 것을 특징으로 한다.

상기 화면은 초음파상(Echogram)을 표시하는 어군탐지창과, 우측에 핑(Ping) 시작 종료를 제어하는 제어창과, 좌측하단에 각 상황을 알려주는 메시지창과, 우측하단에 게인 및 출력을 포함하는 파라메터를 설정하는 설정창으로 구성되는 것을 특징으로 한다.

본 발명에 따르면, 각종 어군 이미지 데이터를 학습 데이터로 하여 기 학 습된 인공지능 모델을 이용하여 어군 이미지를 라벨링하고 어종 별로 분류하여 기존의 어군 탐지기 소프트웨어에 용이하게 적용시킬 수 있다.

본 발명은 다양한 실시예를 통해 차별화된 작용, 효과를 상승시킬 수 있다.

도 1은 본 발명의 실시예에 따른 AI 기반 어군 탐지 시스템을 개략적으로 나타내는 도면이다.
도 2 및 도 3은 도 1의 제어 모듈의 클래스 구성과 어군 및 어종 분석 시퀀스의 다이어그램을 나타내는 도면이다.
도 4는 도 1의 인공지능 분석 모듈의 구성을 개략적으로 나타내는 블록도이다.
도 5는 도 1의 화면 표시 모듈의 구성을 나타내는 도면이다.
도 6은 도 1의 화면 표시 모듈에 의하여 보여주는 메인 화면을 나타내는 도면이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 본 발명의 실시예에 따른 AI 기반 어군 탐지 시스템을 개략적으로 나타내는 도면이고, 도 2 및 도 3은 도 1의 제어 모듈의 클래스 구성과 어군 및 어종 분석 시퀀스의 다이어그램을 나타내는 도면이며, 도 4는 도 1의 인공지능 분석 모듈의 구성을 개략적으로 나타내는 블록도이고, 도 5는 도 1의 화면 표시 모듈의 구성을 나타내는 도면이며, 도 6은 도 1의 화면 표시 모듈에 의하여 보여주는 메인 화면을 나타내는 도면이다.

도 1을 참조하면, 본 발명의 실시예에 따른 AI 기반 어군 탐지 시스템은 인공지능모델을 통하여 어군을 탐지하고 어종을 구분하는 시스템이고, 어군 이미지 수집 모듈(10), 신호 처리 모듈(20), 화면 표시 모듈(30), 인공지능 분석 모듈(40), 소프트웨어 통합 모듈(50) 및 제어 모듈(60)을 포함한다.

여기서, 인공지능모델(예: 신경망)은 하나 이상의 네트워크 함수로 구성되며, 하나 이상의 네트워크 함수는 일반적으로 '노드'라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 '노드'들은 '뉴런(neuron)'들로 지칭될 수도 있다. 하나 이상의 네트워크 함수는 적어도 하나 이상의 노드들을 포함하여 구성된다. 하나 이상의 네트워크 함수를 구성하는 노드(또는 뉴런)들은 하나 이상의 '링크'에 의해 상호 연결될 수 있다.

인공지능모델 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 전술 한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.

하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호 연결하는 노드는 가중치(weight)를 가질 수 있다. 가중치는 가변적일 수 있으며, 인공지능 모델이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.

전술한 바와 같이, 인공지능 모델은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호연결 되어 인공지능 모 델 내에서 입력 노드 및 출력 노드 관계를 형성한다. 인공지능 모델 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 인공지능 모델의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들 사이의 가중치 값이 상이한 두 인공지능 모델이 존재하는 경우, 두 개의 인공지능 모델들은 서로 상이한 것으로 인식될 수 있다.

인공지능모델을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어 (layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 인공지능모델 내에서 레이어의 차수는 전술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.

최초 입력 노드는 인공지능 모델 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 인공지능 모델 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 인공지능 모델 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 인공지능모델을 구성하는 노드들을 의미할 수 있다. 본 개시의 일 실시예에 따른 인공지능모델은 입력 레이어의 노드가 출력 레이어에 가까운 히든 레이어의 노드보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 인공지능 모델일 수 있다.

인공지능모델은 하나 이상의 히든 레이어를 포함할 수 있다. 히든 레이어의 히든 노드는 이전의 레이어의 출력 과 주변 히든 노드의 출력을 입력으로 할 수 있다. 각 히든 레이어 별 히든 노드의 수는 동일할 수도 있고 상이할 수도 있다. 입력 레이어의 노드의 수는 입력 데이터의 데이터 필드의 수에 기초하여 결정될 수 있으며 히든 노드의 수와 동일할 수도 있고 상이할 수도 있다. 입력 레이어에 입력된 입력 데이터는 히든 레이어의 히든 노드에 의하여 연산될 수 있고 출력 레이어인 완전 연결 레이어(FCL: fully connected layer)에 의해 출력될 수 있다.

다양한 실시예에서, 인공지능 모델은 딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)일 수 있다. 딥 뉴럴 네트워크는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 인공지능 모델을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 오토 인코 더(auto encoder), GAN(Generative Adversarial Networks), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있다. 전술한 딥 뉴럴 네트워크의 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.

다양한 실시예에서, 네트워크 함수는 오토 인코더를 포함할 수도 있다. 오토 인코더는 입력 데이터와 유사한 출 력 데이터를 출력하기 위한 인공 신경망의 일종일 수 있다. 오토 인코더는 적어도 하나의 히든 레이어를 포함할 수 있으며, 홀수 개의 히든 레이어가 입출력 레이어 사이에 배치될 수 있다. 각각의 레이어의 노드의 수는 입력 레이어의 노드의 수에서 병목 레이어(인코딩)라는 중간 레이어로 축소되었다가, 병목 레이어에서 출력 레이어 (입력 레이어와 대칭)로 축소와 대칭되어 확장될 수도 있다. 차원 감소 레이어와 차원 복원 레이어의 노드는 대 칭일 수도 있고 아닐 수도 있다.

오토 인코더는 비선형 차원 감소를 수행할 수 있다. 입력 레이어 및 출력 레이어의 수는 입력 데이터의 전처리 이후에 남은 센서들의 수와 대응될 수 있다. 오토 인코더 구조에서 인코더에 포함된 히든 레이어의 노드의 수는 입력 레이어에서 멀어질수록 감소하는 구조를 가질 수 있다. 병목 레이어(인코더와 디코더 사이에 위치하는 가장 적은 노드를 가진 레이어)의 노드의 수는 너무 작은 경우 충분한 양의 정보가 전달되지 않을 수 있으므로, 특정 수 이상(예를 들어, 입력 레이어의 절반 이상 등)으로 유지될 수도 있다.

이하, 본 명세서에서는 인공지능모델로서 YOLO5를 적용하여 설명하고 있으나, 이에 한정되는 것은 아니고 다양한 인공지능 학습모델도 적용가능하다 할 것이다. 한편, YOLO5는 CNN의 한 종류로 합성곱 신경망 기반의 이미지 분류를 위한 인공지능 모델로서, 이하에서는 YOLO5를 이용하여 어군을 탐지하고 어종을 구분하는 시스템을 설명하기로 한다.

이를 위하여, 본 발명의 실시예에 따른 AI 기반 어군 탐지 시스템은 어군 이미지 수집 모듈(10), 신호 처리 모듈(20), 화면 표시 모듈(30), 인공지능 분석 모듈(40), 소프트웨어 통합 모듈(50) 및 제어 모듈(60)을 이용하여, 어군 이미지를 확보하고, 확보된 어군 이미지를 어종에 따라 구분하여 라벨링하며, YOLO5를 이용하여 학습을 수행하고 웨이트(Weight) 파일을 획득하며, 획득된 웨이트 파일을 C#기반의 어군탐지기 소프트웨어에 통합하여 구현하게 된다.

상기 어군 이미지 수집 모듈(10)은 웹 크롤링을 통하거나, 어선에 설치된 광학수단을 통하여 촬영한 어군 이미지를 수집하는 장치이다.

즉, 상기 어군 이미지 수집 모듈(10)은 어군 이미지를 획득하기 위하여 인터넷에서 크롤링하여 수집하는 방법을 이용하거나 어선에 탑승하여 어군 이미지를 촬영하여 획득하는 방법을 사용할 수 있다.

상기 어군 이미지 수집 모듈(10)은 인터넷을 통하여 이미지를 수집하고 증강기법을 사용하여 복수장(예를 들면, 309장)까지 이미지를 확보한다.

또한, 상기 어군 이미지 수집 모듈(10)은 어군탐지기 앞이나 어선에 카메라를 설치하여 동영상을 촬영하고 촬영된 동영상에서 이미지를 발췌하여 어군별로 이미지를 라벨링하고 학습을 수행하도록 한다.

예를 들어, 상기 어군 이미지 수집 모듈(10)은 총 5회에 걸쳐 실선 시험 동영상촬영을 한다고 가정한다면, 1회 내지 4회(총 4회)에 걸쳐 어선에 탑승하여 어군탐지 영상을 촬영하고, 1회 촬영에 획득한 어군탐지기 화면을 학습데이터와 검증데이터로 활용하고, 5회에 영상을 촬영하고 이미지를 추출하여 학습데이터로 사용한다.

한편, 상기 어군 이미지 수집 모듈(10)에 의하여 수집되어 학습에 사용된 어군탐지기 이미지는 실선에서 촬영한 데이터와 인터넷에서 크롤링한 데이터를 사용한다. 인터넷에서 크롤링한 이미지 데이터는 그 종류가 제한적이고 학습에 사용하기에는 숫자가 부족하여 이미지 증식방법을 통하여 데이터를 확보한다. 이를 위하여, 상기 어군 이미지 수집 모듈(10)은 keras의 이미지 데이터 생성기(Image Data Generator)를 이용해서 이미지를 회전, 이동, 확대, 축소, 좌우반전을 이용해서 하나의 이미지에서 여러 개의 이미지로 증식하여 학습 데이터를 구축한다.

한편, 상기 어군 이미지 수집 모듈(10)에서 이용되는 광학수단(미도시)은 대상 어체의 크기와 어종을 확인함에 필요한 각종 정보를 수득할 목적으로 어체에 광을 조사하고, 어체로부터 반사된 광을 수신하는 장치이다.

이러한 광학수단의 일 예로는 광 조사부와 광 수신부를 포함하는 ToF(Time of Flight) 기능이 부가된 카메라일 수 있다. 여기서, 비행시간(Time of Flight)에 의한 거리측정법은 펄스가 발사된 기준 시점과 측정대상물에서 반사되어 되돌아온 펄스의 검출시점 사이의 시간차를 측정하여 거리를 측정하는 원리이다.

예를 들어, 측정하고자 하는 어체를 대상으로 카메라에서 복수의 적외선 광을 조사하고, 어체에 부딪힌 후 되돌아오는 적외선 광들을 다시 수신하며, 이때 거리측정센서에는 수신된 광들이 돌아오는데 걸리는 시간을 측정하게 된다.

이러한 거리측정은 비교적 구현이 용이하기 때문에 각종 산업 분야에서 다양하게 적용되는 기술에 해당되므로 구체적인 설명은 생략하기로 한다.

또한, 상기 어군 이미지 수집 모듈(10)은 웹 크롤링을 통하여 수집된 어군 이미지를 이미지 데이터 생성기(Image Data Generator)를 통한 회전, 이동, 확대, 축소, 좌우반전 중 적어도 어느 하나의 동작으로 하나의 이미지에서 복수 개의 이미지로 증식하는 기능도 수행할 수 있다.

상기 신호 처리 모듈(20)은 송수파기(1)(또는 어군 이미지 수집 모듈(10))로부터 송수신된 신호를 처리하여 컴퓨터로 전송하는 장치로서, 송수파기(1)로부터 송수신된 신호를 처리하여 컴퓨터(또는 제어 모듈(60))로 전송하는 역할을 수행한다. 도 1에서는, 송수파기(1)와 어군 이미지 수집 모듈(10)이 별 개의 구성으로 도시되어 있으나, 필요에 따라 어군 이미지 수집 모듈(10)을 송수파기(1) 내에 설치하여 하나의 구성으로 구현가능하다 할 것이다.

상기 화면 표시 모듈(30)은 신호 처리 모듈(20)에 의하여 신호 처리된 신호를 수신하여 화면으로 보여주는 장치로서, 처리된 신호를 수신하여 컴퓨터(또는 화면 표시 모듈(30)) 상에 화면으로 보여주는 역할을 수행한다.

이때, 상기 화면은 도 5 내지 도 6에 도시된 바와 같이, 초음파상(Echogram)을 표시하는 어군탐지창과, 우측에 핑(Ping) 시작 종료를 제어하는 제어창과, 좌측하단에 각 상황을 알려주는 메시지창과, 우측하단에 게인 및 출력을 포함하는 파라메터를 설정하는 설정창으로 구성된다.

상기 인공지능 분석 모듈(40)은 어군 이미지를 어종별로 라벨링하고, 라벨링된 어군 이미지를 인공지능 학습모델을 통하여 학습을 수행한 후, 웨이트 파일을 생성하는 장치이다.

상기 인공지능 분석 모듈(40)은 도 4에 도시된 바와 같이, YOLO5를 이용하여 다섯 종류의 어군 형상을 학습후, 다섯 종류의 어군 형상을 기초로 어군 이미지를 라벨링하는 어군 형상 탐지부(410)와, 미리 설정된 분류 알고리즘을 이용하여 라벨링된 어군 이미지를 조업 해역, 계절, 시간, 수심에 따라 분류하는 휴리스틱 분류부(420)를 포함한다.

한편, 어군 신호는 반사 신호의 세기에 따라 화면에 색상으로 표시되므로, 어종에 상관없이 반사신호의 세기에 따라 색상과 크기가 정해진다. 이런 원리로 같은 색상 같은 크기의 이미지라도 어종은 조업 해역과 계절, 조업 시간 및 수심에 따라 달라지게 된다. 이에 따라, 본 발명에서 어종구분 방법으로 2단계 방법을 적용한다.

우선, 상기 어군 형상 탐지부(410)가 YOLO5를 이용하여 다섯 종류의 어군 형상을 탐지하게 하고, 상기 휴리스틱 분류부(420)가 조업 해역, 계절, 시간, 수심에 따른 정확한 어종을 분류하게 한다. 이를 위하여, 상기 휴리스틱 분류부(420)는 해역에 설치된 각종 센서들이나 연계기관 서버와 연동되어 정보를 송수신할 수 있다.

상기 어군 형상 탐지부(410)에서 어종을 구분하는 기준은 어선 시장의 경험과 학습 결과를 반복적으로 확인하여 탐지가 잘되는 라벨링 개수를 정한다. 학습 결과 어군 형상은 크게 5가지로 구분하는 것이 적절하다.

5가지 구분은 다음 표 1과 같다.

클래스 번호	라벨링 이름	라벨링		설명
0	F_S (Fish Small)			작은 물고기(모니터상 2.5cm 이하)
1	F_L (Fish Large)			큰 물고기 (모니터상 2.5cm 초과)
2	F_G (Fish Ground)			해저에 있는 물고기
3	S_H (Fish school Half)			밀집도가 낮은 어군
4	S_F (Fish School Full)			밀집도가 높은 어군

그런 다음, 상기 휴리스틱 분류부는 5종의 라벨을 학습시키는 과정을 거친다. 이때, 이미지 309장을 사용하였을 때, 학습데이터 구성은 다음 표 2와 같다.

구분	Tain Data	Valid Data	Total
어군탐지기 이미지	240 (77%)	69(23%)	309

여기서, YOLO5를 이용해서 학습한 내용은 공개된 내용이므로 상세한 설명은 생략하기로 한다.

그런 다음, 상기 휴리스틱 분류부(420)는 YOLO5를 이용해서 *.pt 형태의 웨이트 파일을 작성한다.

상기 소프트웨어 통합 모듈(50)은 인공지능 분석 모듈(40)에서 생성된 웨이트 파일을 c#프로그램에 적용하기 위한 onnx 파일로 변환하게 된다.

참고로, 이때 생성된 웨이트 파일은 fish_img11_309_v2.onnx으로 28kb 정도의 크기를 갖는다.

통상적으로 YOLO5 학습은 파이썬 환경에서 수행된다. pyTorch를 인공지능 엔진을 이용하여 학습하므로 *.pt 형식의 웨이트 파일을 생성한다. 이러한 웨이트 파일은 통상 마이크로소프트 Visual Studio 2022 community 버전의 C# 환경에서 바로 사용할 수 없다. 웨이트 파일마다 히든레이어나 매개변수를 저장하는 자료구조가 다르므로, 본 발명에서는 소프트웨어 통합 모듈(50)을 통하여 다른 프로그램 환경에서 사용하도록 ONNX 파일 구조로 변경하여 c#에 적용하도록 고안하였다. 여기서, 상기 소프트웨어 통합 모듈(50)은 상기 생성된 웨이트 파일을 미리 설정된 어군 탐지기 소프트웨어에 통합시키는 장치이다.

상기 제어 모듈(60)은 기본적으로 본 AI 기반 어군 탐지 시스템을 구성하는 각 구성요소의 동작을 제어하는 프로세서이다.

상기 제어 모듈(60)은 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 상기 제어 모듈(60)은 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 본 시스템은 하나 이상의 프로세서를 구비할 수 있다. 다양한 실시예에서, 상기 제어 모듈(60)은 프로세서 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포 함할 수 있다. 또한, 상기 제어 모듈(60)은 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.

구체적으로, 상기 제어 모듈(60)은 화면 표시 기능을 설정하고, 각종 파라메타를 설정하는 것과 Ping 시작 종료를 제어하는 모듈로서, 도 2에 도시된 바와 같이 메인클래스는 EchoSounderForm 클래스이다.

EchoSounderForm 클래스는 시리얼포트로부터 수신되는 Ping 신호를 처리하여 인공지능 분석후 화면에 표시한다. 시퀀스 다이아그램은 도 3과 같다.

상기 제어 모듈(60)은 프로그램이 실행되면 EchoSounderForm 메인 클래스에서 AI 기반 어군 탐지 시스템에게 암호 해제 요청을 수행하고 암호가 해제되면, 주기적으로 Ping 요청을 수행하고 수신된 Ping 신호를 처리하여 화면에 표시한다. 수신된 신호를 처리하여 화면에 순차적으로 표시한 것을 Echogram이라고 한다. 이 Echogram을 인공지능 분석 모듈(40)에 전달하여 어군탐지 및 분류를 수행한다.

상기 인공지능 분석 모듈(40)에서 어군형상 분석을 수행하여 제어 모듈(60)의 메인 프로그램에 전달하면 휴리스틱 방법을 통하여 어종을 결정하게 된다.

YOLO5에서는 80개의 클래스가 존재하는데, 본 발명에서는 일 예로 YOLO5의 80개 라벨을 사용하지 않고, 아래와 같이 5개의 라벨로 구성된 Rian5 모델로 새롭게 구성하였다.

Rian5Model의 소스코드는 다음과 같다.

상기 제어 모듈(60)은 메인프로그램을 통하여 화면 표시모듈을 아래와 같이 구성하였다,

즉, 메인프로그램은 Echogram을 표시하는 어군탐지화면, 우측에 Ping 시작 종료를 제어하는 제어창, 좌측하단에는 각 상황을 알려주는 메시지창, 우측하단에는 게인 및 출력등 여러 파라메터를 설정하는 설정창으로 구성되어 있다.

이에 따라, 상기 설계에 따라 개발된 메인프로그램의 구동 화면은 도 6에서와 같이 화면 표시 모듈(30)을 통하여 표출된다.

한편, 상기 어군 형상 탐지부(410)의 상면에는 오염물질의 부착방지 및 제거를 효과적으로 달성할 수 있도록 오염 방지 도포용 조성물로 이루어진 오염방지도포층이 도포될 수 있다.

상기 오염 방지 도포용 조성물은 4A제올라이트 및 에틸셀루솔브가 1:0.01 ~ 1:2 몰비로 포함되어 있고, 4A제올라이트 및 에틸셀루솔브의 총함량은 전체 수용액에 대해 1 ~10 중량%이다.

상기 4A제올라이트 및 에틸셀루솔브는 몰비로서 1:0.01 ~ 1:2가 바람직한 바, 몰비가 상기 범위를 벗어나는 경우에는 오염 방지 도포용 조성물의 도포성이 저하되거나 도포 후에 표면의 수분흡착이 증가하여 도포막이 제거되는 문제점이 있다.

상기 4A제올라이트 및 에틸셀루솔브는 전체 조성물 수용액 중 1 ~ 10 중량%가 바람직한 바, 1 중량% 미만이면 오염방지도포층의 도포성이 저하되는 문제점이 있고, 10 중량%를 초과하면 도포막 두께의 증가로 인한 결정석출이 발생하기 쉽다.

한편, 본 오염방지도포용 조성물을 어군 형상 탐지부(410) 상에 도포하는 방법으로는 스프레이법에 의해 도포하는 것이 바람직하다. 또한, 어군 형상 탐지부(410) 상의 최종 도포막 두께는 800 ~ 2400Å이 바람직하며, 보다 바람직하게는 900 ~ 2000Å이다. 상기 도포막의 두께가 800 Å미만이면 고온 열처리의 경우에 열화되는 문제점이 있고, 2400 Å을 초과하면 도포 표면의 결정석출이 발생하기 쉬운 단점이 있다.

또한, 본 오염 방지 도포용 조성물은 4A제올라이트 0.1 몰 및 에틸셀루솔브 0.05몰을 증류수 1000 ㎖에 첨가한 다음 교반하여 제조될 수 있다.

상기 구성 성분의 비율 및 도포막 두께를 상기와 같이 수치 한정한 이유는, 본 발명자가 수차례 실패를 거듭하면서 시험결과를 통해 분석한 결과, 상기 비율에서 최적의 오염방지 도포 효과를 나타내었다.

상기 제어 모듈(60)의 표면에는 방열용 코팅제가 도포될 수 있으며, 이 방열용 코팅제에 의해 제어 모듈(60)에서 방출되는 열이 외부로 충분히 발산되므로 제어 모듈(60)의 표면이 과도하게 가열되는 것을 방지하고 열을 효과적으로 방출할 수가 있다.

이 방열용 코팅제 조성물은 에틸트리메톡시실란 8중량%, MTMS(Methyltrimethoxysilane) 48중량%, 산화크롬 10중량%, 그라파이트 11중량%, 질화규소 7중량%, 수산화나트륨(NaOH) 3중량%, 산화티탄 3중량%, 폴리아마이드왁스 2중량%, 3-글리시독시프로필메틸 디에톡시실란 8중량%로 구성된다.

에틸트리메톡시실란은 방열 코팅층 보호 등의 역할을 하며, MTMS(Methyltrimethoxysilane)은 바인더 수지 역할을 하고, 산화크롬은 내마모 역할을 하며, 그라파이트는 열전도성과 전기적 특성이 우수하고, 질화규소는 강도 향상 및 균열을 방지하며, 수산화나트륨은 분산제 역할을 하고, 산화티탄은 내후성을 위해서, 폴라아마이드왁스는 침강방지 역할을 하고, 3-글리시독시프로필메틸 디에톡시실란은 부착력 증강 등의 역할을 한다.

방열 두께는 6~1800㎛을 형성하는 것이 바람직하다.

상기와 같이 구성 물질 및 구성 성분을 한정하고 혼합 비율의 수치를 한정한 이유는, 본 발명자가 수차례 실패를 거듭하면서 시험 결과를 통해 분석한 결과, 상기 구성 성분 및 수치 한정 비율에서 최적의 효과를 나타내었다.

상기 화면 표시 모듈(30)의 표면에는 살균기능 및 작업자의 스트레스 완화 등에 도움이 되는 기능성 오일이 혼합된 환경용 방향제 물질이 코팅될 수 있다.

방향제 물질과 기능성 오일의 혼합 비율은 상기 방향제 물질 95~97중량%에 상기 기능성 오일 3~5중량%가 혼합되며, 기능성 오일은 금목서오일(Osmanthus oil) 50중량%, 갈랑갈오일(Galangal oil) 50중량%로 이루어진다.

여기서 기능성 오일은 방향제 물질에 대해 3~5중량%가 혼합되는 것이 바람직하다. 기능성 오일의 혼합비율이 3중량% 미만이면, 그 효과가 미미하며, 기능성 오일의 혼합비율이 3~5중량%를 초과하면 그 효과가 크게 향상되지 않는 반면에 경제성이 떨어진다. 금목서오일(Osmanthus oil) 은 심리적으로 마음을 정화하고 두통, 우울증 등에 작용효과가 있으며, 갈랑갈오일(Galangal oil)은 살균, 방충, 스트레스 완화 등에 좋은 효과가 있다. 따라서, 이러한 기능성 오일이 혼합된 방향제 물질이 화면 표시 모듈(30)의 표면에 코팅됨에 따라, 화면 표시 모듈(30)을 살균 처리하고 작업자의 스트레스 등을 경감시키는 등의 효과를 얻을 수 있다.

환경용 방향제 물질 및 기능성 오일에 대해 구성 성분을 한정하고 혼합 비율의 수치를 한정한 이유는, 본 발명자가 수차례 실패를 거듭하면서 시험 결과를 통해 분석한 결과, 상기 구성 성분 및 수치 한정 비율에서 최적의 효과를 나타내었다.

상기 제어 모듈(60)의 하단에는 고무재질의 진동흡수부가 더 설치 될 수 있다.

상기 진동흡수부는 고무 재질로 이루어질 수 있으며, 이러한 진동흡수부의 원료 함량비는 고무 62중량%, 징크 디메틸디치오카바메이트 8중량%, 바리움스테아레이트 8중량%, 카아본블랙 11중량%, 3C(N-PHENYL-N'-ISOPROPYL- P-PHENYLENEDIAMINE) 5중량%, 디페닐구아니딘 6중량% 를 혼합한다.

징크 디메틸디치오카바메이트는 가황촉진 향상 등을 위해 첨가되며, 바리움스테아레이트는 연화제 역할을 위해 첨가되고, 카아본블랙은 내마모성, 열전도성 등을 증대하거나 향상시키기 위해 첨가된다.

3C (N-PHENYL-N'-ISOPROPYL- P-PHENYLENEDIAMINE)는 산화방지제로 첨가되며, 디페닐구아니딘는 촉진제 등의 역할을 위해 첨가된다.

따라서 본 발명은 진동흡수부의 탄성, 인성 및 강성이 증대되므로 내구성이 향상되며, 이에 따라 제어 모듈(60)의 수명이 증대된다.

고무재질의 인장강도는 158Kg/㎠, 신율 620%로 형성된다.

고무재질 구성 물질 및 구성 성분을 한정하고 혼합 비율의 수치 등을 한정한 이유는, 본 발명자가 수차례 실패를 거듭하면서 시험 결과를 통해 분석한 결과, 상기 구성 성분 및 수치 한정 비율에서 최적의 효과를 나타내었다.

이상에서 설명한 것은 본 발명에 의한 AI 기반 어군 탐지 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

1: 송수파기 10: 어군 이미지 수집모듈
20: 신호 처리 모듈 30: 화면 표시 모듈
40: 인공지능 분석 모듈 50: 소프트웨어 통합 모듈
60: 제어 모듈 410: 어군 형상 탐지부
420: 휴리스틱 분류부

Claims (3)

1. 웹 크롤링을 통하거나, 어선에 설치된 광학수단을 통하여 촬영한 어군 이미지를 수집하는 어군 이미지 수집 모듈;
   상기 어군 이미지를 어종별로 라벨링하고, 상기 라벨링된 어군 이미지를 인공지능 학습모델을 통하여 학습을 수행한 후, 웨이트 파일을 생성하는 인공지능 분석 모듈; 및
   상기 생성된 웨이트 파일을 미리 설정된 어군 탐지기 소프트웨어에 통합시키는 소프트웨어 통합 모듈을 포함하고,
   상기 어군 이미지 수집 모듈은 상기 웹 크롤링을 통하여 수집된 어군 이미지를 이미지 데이터 생성기(Image Data Generator)를 통한 회전, 이동, 확대, 축소, 좌우반전 중 적어도 어느 하나의 동작으로 하나의 이미지에서 복수 개의 이미지로 증식하는 것을 특징으로 하는 AI 기반 어군 탐지 시스템.
   
2. 제1항에 있어서,
   상기 인공지능 분석 모듈은
   YOLO5를 이용하여 다섯 종류의 어군 형상을 학습후, 상기 다섯 종류의 어군 형상을 기초로 상기 어군 이미지를 라벨링하는 어군 형상 탐지부; 및
   미리 설정된 분류 알고리즘을 이용하여 상기 라벨링된 어군 이미지를 조업 해역, 계절, 시간, 수심에 따라 분류하는 휴리스틱 분류부를 포함하는 것을 특징으로 하는 AI 기반 어군 탐지 시스템.
   
3. 제1항에 있어서,
   송수파기로부터 송수신된 신호를 처리하여 컴퓨터로 전송하는 신호 처리 모듈;
   상기 신호 처리된 신호를 수신하여 화면으로 보여주는 화면 표시 모듈; 및
   화면 표시 기능을 설정하고, 각종 파라메타를 설정하는 것과 Ping 시작 종료를 제어하는 제어 모듈을 더 포함하고,
   상기 화면은 초음파상(Echogram)을 표시하는 어군탐지창과, 우측에 핑(Ping) 시작 종료를 제어하는 제어창과, 좌측하단에 각 상황을 알려주는 메시지창과, 우측하단에 게인 및 출력을 포함하는 파라메터를 설정하는 설정창으로 구성되는 것을 특징으로 하는 AI 기반 어군 탐지 시스템.
   

Images