KR102333428B1

KR102333428B1 - Method, apparatus and computer program for detecting fish school using artificial intelligence

Info

Publication number: KR102333428B1
Application number: KR1020210010500A
Authority: KR
Inventors: 이희대
Original assignee: 주식회사 시리오
Priority date: 2021-01-25
Filing date: 2021-01-25
Publication date: 2021-12-02

Abstract

Provided are a method, apparatus, and computer program for detecting a fish school using an artificial intelligence model. According to various embodiments of the present invention, the method for detecting the fish school using the artificial intelligence model performed by a computing apparatus comprises: a step of collecting underwater data for a predetermined sea area; a step of visualizing the collected underwater data; and a step of extracting a probability of fish school appearance for the predetermined sea area by using the visualized underwater data as input of the pre-learned artificial intelligence model.

Description

Fish detection method, apparatus and computer program using artificial intelligence model {METHOD, APPARATUS AND COMPUTER PROGRAM FOR DETECTING FISH SCHOOL USING ARTIFICIAL INTELLIGENCE}

본 발명의 다양한 실시예는 인공지능 모델을 이용한 어군 탐지 방법, 장치 및 컴퓨터프로그램에 관한 것이다.Various embodiments of the present invention relate to a method, apparatus, and computer program for detecting fish groups using an artificial intelligence model.

어군 탐지기란 물 속에 있는 어군의 존재를 확인하기 위한 기계로서 기본적인 원리는 메아리의 원리이다. 송수파기로부터 발신되는 초음파는 수중의 어군이나 해저에 의해 반사되어 다시 송수파기에 의해 수신된다. 이렇게 돌아온 음파를 어군탐지기의 중앙연산장치에서 발신으로부터 수신까지의 왕복시간을 거리로 환산해 수심을 표시한다. 그리고 반사파의 강약을 분석하여 어군의 크기나 밀도, 혹은 해저의 형상이나 저질을 화면에 색상별로 표시해준다. 어군탐지기에서 초음파를 발사할 때마다 어군탐지기 데이터는 우에서 좌로 화면을 밀어내면서 하나의 화상이 만들어진다.A fish finder is a machine for checking the existence of fish in the water. The basic principle is the echo principle. Ultrasonic waves transmitted from the transmitter are reflected by the underwater fish group or the seabed and are received by the transmitter again. The sound wave returned in this way is converted into distance by the central processing unit of the fish finder, and the round trip time from transmission to reception is displayed to indicate the depth of the water. And it analyzes the strength and weakness of the reflected wave and displays the size or density of the fish group, or the shape or quality of the seabed by color on the screen. Each time the fish finder emits an ultrasonic wave, the fish finder data slides the screen from right to left to create a single image.

수중에서 음파가 진행되는 속도는 1초간에 약 1500m인데, 어군탐지기의 데이터는 기본적으로 이 원리를 바탕으로 하고 있다.The speed of sound waves in the water is about 1500 m per second, and the data of the fish finder is basically based on this principle.

그러나, 종래의 어군 탐지 방법에 있어서, 수중의 어군으로부터 방사되는 음향신호는 그 주파수에 따라 전달특성이 달라지게 되고, 어군의 직접적인 움직임은 물론 어군의 주위에서 발생되는 각종 음향신호의 영향을 받게 되는 등 다양한 오차를 발생시키기 때문에, 정확한 결과 값을 도출하기 어렵다는 문제가 있다.However, in the conventional fish detection method, the transmission characteristics of the acoustic signal radiated from the fish group in the water vary depending on the frequency, and the direct movement of the fish group as well as the various acoustic signals generated around the fish group are affected. Since various errors are generated, there is a problem in that it is difficult to derive an accurate result value.

본 발명이 해결하고자 하는 과제는 각종 수중 데이터를 시각화하여 생성된 이미지를 학습 데이터로 하여 기 학습된 인공지능 모델을 이용하여 소정의 해역에 대한 수중 데이터를 분석함으로써, 소정의 해역에 대한 어군 출현 확률과 각 어군들의 이동 경로를 예측할 수 있는 인공지능 모델을 이용한 어군 탐지 방법, 장치 및 컴퓨터프로그램을 제공하는 것이다.The problem to be solved by the present invention is to use an image generated by visualizing various underwater data as learning data and analyze the underwater data for a predetermined sea area using a pre-learned artificial intelligence model, so that fish group appearance probability for a predetermined sea area and to provide a fish group detection method, apparatus and computer program using an artificial intelligence model that can predict the movement path of each fish group.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 인공지능 모델을 이용한 어군 탐지 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 소정의 해역에 대한 수중 데이터를 수집하는 단계, 상기 수집된 수중 데이터를 시각화하는 단계 및 상기 시각화된 수중 데이터를 기 학습된 인공지능 모델의 입력으로 하여 상기 소정의 해역에 대한 어군 출현 확률을 추출하는 단계를 포함할 수 있다.In a method performed by a computing device, the method for detecting a fish group using an artificial intelligence model according to an embodiment of the present invention for solving the above-described problem includes the steps of collecting underwater data for a predetermined sea area, the collected Visualizing the underwater data and using the visualized underwater data as an input of a pre-learned artificial intelligence model may include extracting the probability of appearance of fish groups in the predetermined sea area.

다양한 실시예에서, 상기 어군 출현 확률을 추출하는 단계는, 상기 기 학습된 인공지능 모델을 이용하여 상기 추출된 어군 출현 확률이 기준 확률 이상인 어군에 대한 이동 경로를 예측하는 단계를 포함하며, 상기 이동 경로를 예측하는 단계는, 상기 예측된 이동 경로에 기반한 단위 시간별 어군의 위치 각각을 기준으로 소정의 범위 내의 환경 정보 - 상기 환경 정보는 날씨, 수온 및 풍량에 대한 정보 중 적어도 하나를 포함함 - 를 이용하여 상기 예측된 이동 경로를 보정하는 단계를 포함할 수 있다.In various embodiments, the extracting of the fish group appearance probability includes predicting a movement path for a fish group having the extracted fish group appearance probability equal to or greater than a reference probability by using the pre-learned artificial intelligence model, and the movement In the predicting of the route, environmental information within a predetermined range based on each position of the fish group for each unit time based on the predicted movement route, the environmental information including at least one of information on weather, water temperature, and wind volume. It may include correcting the predicted movement path by using the .

다양한 실시예에서, 하나 이상의 해역에 대한 수중 데이터 - 상기 하나 이상의 해역에 대한 수중 데이터는 상기 하나 이상의 해역 각각에 대한 물의 탁도, 수심 및 수온 중 적어도 하나를 포함함 - 를 수집하는 단계, 상기 수집된 하나 이상의 해역에 대한 수중 데이터를 시각화하여 이미지를 생성하는 단계 및 상기 생성된 이미지 상에 상기 하나 이상의 해역에 출현한 어군의 위치, 상기 어군의 종류, 날씨, 계절 및 상기 하나 이상의 해역에 대한 정보 중 적어도 하나를 레이블링하여 학습 데이터를 생성하고, 상기 생성된 학습 데이터를 이용하여 상기 인공지능 모델을 학습시키는 단계를 더 포함할 수 있다.In various embodiments, collecting underwater data for one or more sea areas, wherein the underwater data for the one or more sea areas comprises at least one of turbidity, depth, and water temperature of water for each of the one or more sea areas, the collected generating an image by visualizing underwater data for one or more sea areas, and information on the location of the fish group appearing in the one or more sea areas on the generated image, the type of the fish group, weather, season, and information on the one or more sea areas The method may further include generating training data by labeling at least one, and learning the artificial intelligence model using the generated training data.

다양한 실시예에서, 상기 이미지를 생성하는 단계는, 제1 해역에 출현한 어군의 이동 경로에 따라 복수의 이미지를 생성하는 단계를 포함하며, 상기 인공지능 모델을 학습시키는 단계는, 상기 생성된 복수의 이미지를 그룹화하여 하나의 학습 데이터를 생성하고, 상시 생성된 하나의 학습 데이터를 이용하여 상기 인공지능 모델을 학습시키는 단계를 포함할 수 있다.In various embodiments, the generating of the image includes generating a plurality of images according to the movement path of the fish group appearing in the first sea area, and the learning of the artificial intelligence model includes: It may include the step of generating one training data by grouping images of , and training the AI model by using one constantly generated training data.

다양한 실시예에서, 상기 추출된 소정의 해역에 대한 어군 출현 확률에 대한 정보를 사용자에게 제공하고, 상기 어군 출현 확률에 대한 정보를 제공한 것에 대한 응답으로 상기 사용자로부터 피드백 정보를 입력받는 단계 및 상기 입력된 피드백 정보를 이용하여 상기 인공지능 모델의 신뢰도를 산출하고, 상기 산출된 신뢰도에 기초하여 상기 인공지능 모델을 재학습시키는 단계를 더 포함할 수 있다.In various embodiments, providing information on the probability of appearance of fish groups in the extracted predetermined sea area to a user, and receiving feedback information from the user in response to providing information on the probability of appearance of fish groups; The method may further include calculating the reliability of the artificial intelligence model by using the input feedback information, and re-learning the artificial intelligence model based on the calculated reliability.

다양한 실시예에서, 상기 인공지능 모델을 재학습시키는 단계는, 복수의 사용자에게 상기 추출된 소정의 해역에 대한 어군 출현 확률에 대한 정보를 제공함으로써, 상기 복수의 사용자 각각으로부터 복수의 피드백 정보를 입력받되, 상기 복수의 사용자 각각의 속성에 따라 상기 복수의 피드백 정보 각각에 가중치를 부여하고, 상기 가중치가 부여된 피드백 정보를 이용하여 상기 인공지능 모델의 신뢰도를 산출하는 단계를 포함할 수 있다.In various embodiments, the step of re-learning the artificial intelligence model may include inputting a plurality of pieces of feedback information from each of the plurality of users by providing information on the probability of appearance of fish in the extracted predetermined sea area to a plurality of users. However, the method may include assigning a weight to each of the plurality of pieces of feedback information according to the attributes of each of the plurality of users, and calculating the reliability of the artificial intelligence model by using the weighted feedback information.

다양한 실시예에서, 상기 피드백 정보를 입력받는 단계는, 상기 추출된 소정의 해역에 대한 어군 출현 확률에 기초하여, 상기 소정의 해역 내의 특정 위치에서 출현 가능성이 높은 제1 어군에 대한 정보를 상기 사용자에게 제공하는 단계 및 상기 소정의 해역 내의 특정 위치에서 출현 가능성이 높은 제1 어군에 대한 정보를 제공한 것에 대한 응답으로, 상기 사용자로부터, 상기 특정 위치에서 상기 제1 어군을 포획한 것에 관한 정보를 포함하는 피드백 정보를 입력받는 경우, 상기 사용자에게 소정의 리워드를 제공하는 단계를 포함할 수 있다.In various embodiments, the receiving of the feedback information includes providing information on a first fish group that is highly likely to appear in a specific location within the predetermined sea area to the user based on the extracted probability of appearance of the fish group in the predetermined sea area. In response to providing information on the first fish group that is highly likely to appear at the specific location in the predetermined sea area and providing information to the user, information about the first fish group being captured at the specific location is provided from the user. It may include providing a predetermined reward to the user when receiving the feedback information including the input.

다양한 실시예에서, 상기 소정의 해역에 대한 수중 데이터를 수집하는 단계는, 어군 탐지 모듈을 이용하여 상기 소정의 해역에 대한 수중 데이터를 수집하되, 상기 어군 탐지 모듈은, 조도 센서, IR 필터, 압력 센서, 음파(Sonic) 센서, 온도 센서 및 하나 이상의 어안 렌즈와 상기 어군 탐지 모듈의 무게를 조절하는 무게 조절부를 포함하는 것인, 단계를 포함할 수 있다.In various embodiments, the collecting of the underwater data for the predetermined sea area includes collecting the underwater data for the predetermined sea area using a fish detection module, wherein the fish detection module includes an illuminance sensor, an IR filter, a pressure It may include a sensor, a sonic sensor, a temperature sensor, and one or more fisheye lenses and a weight control unit for adjusting the weight of the fish detection module.

상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 인공지능 모델을 이용한 어군 탐지 장치는, 프로세서, 네트워크 인터페이스, 메모리 및 상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은, 소정의 해역에 대한 수중 데이터를 수집하는 인스트럭션(instruction), 상기 수집된 수중 데이터를 시각화하는 인스트럭션 및 상기 시각화된 수중 데이터를 기 학습된 인공지능 모델의 입력으로 하여 상기 소정의 해역에 대한 어군 출현 확률을 추출하는 인스트럭션을 포함할 수 있다.A fish detection apparatus using an artificial intelligence model according to another embodiment of the present invention for solving the above-described problems includes a processor, a network interface, a memory, and a computer program loaded into the memory and executed by the processor Including, but the computer program, instructions for collecting underwater data for a predetermined sea area (instruction), the instruction for visualizing the collected underwater data, and the visualized underwater data as an input of the pre-learned artificial intelligence model, the It may include instructions for extracting the probability of appearance of fish groups in a predetermined sea area.

상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터프로그램은, 컴퓨팅 장치와 결합되어, 소정의 해역에 대한 수중 데이터를 수집하는 단계, 상기 수집된 수중 데이터를 시각화하는 단계 및 상기 시각화된 수중 데이터를 기 학습된 인공지능 모델의 입력으로 하여 상기 소정의 해역에 대한 어군 출현 확률을 추출하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장할 수 있다.A computer program according to another embodiment of the present invention for solving the above-described problems is combined with a computing device, collecting underwater data for a predetermined sea area, visualizing the collected underwater data, and the visualization The obtained underwater data may be stored in a computer-readable recording medium in order to execute the step of extracting the probability of appearance of fish in the predetermined sea area by inputting the pre-learned artificial intelligence model.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

본 발명의 다양한 실시예에 따르면, 각종 수중 데이터를 시각화하여 생성된 이미지를 학습 데이터로 하여 기 학습된 인공지능 모델을 이용하여 소정의 해역에 대한 수중 데이터를 분석함으로써, 소정의 해역에 대한 어군 출현 확률과 각 어군들의 이동 경로를 보다 정확하게 산출 및 예측할 수 있다는 이점이 있다.According to various embodiments of the present disclosure, by using an image generated by visualizing various underwater data as learning data and analyzing the underwater data for a predetermined sea area using a pre-learned artificial intelligence model, fish groups for a predetermined sea area appear It has the advantage of being able to more accurately calculate and predict the probability and the movement path of each fish group.

또한, 다년간 수집한 수중 데이터(히스토리 데이터)를 기반으로 올해 또는 이달의 어군 출현 확률과 어군의 이동 경로를 예측함으로써, 보다 정확한 예측이 가능하다는 이점이 있다.In addition, there is an advantage that more accurate prediction is possible by predicting the probability of appearance of fish this year or this month and the movement path of fish groups based on the underwater data (historical data) collected for many years.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 일 실시예에 따른 인공지능 모델을 이용한 어군 탐지 시스템을 도시한 도면이다.
도 2는 다양한 실시예에 적용 가능한 어군 탐지 모듈을 예시적으로 도시한 도면이다.
도 3은 본 발명의 다른 실시예에 따른 인공지능 모델을 이용한 어군 탐지 장치의 하드웨어 구성도이다.
도 4는 본 발명의 또 다른 실시예에 따른 인공지능 모델을 이용한 어군 탐지 방법의 순서도이다.
도 5는 다양한 실시예에서, 복수의 수중 데이터를 이용하여 인공지능 모델을 학습시키는 방법의 순서도이다.
도 6 및 7은 다양한 실시예에서, 수중 데이터를 시각화하여 생성된 이미지를 예시적으로 도시한 도면이다.
도 8은 다양한 실시예에서, 어군의 이동 경로를 예측하는 구성을 도시한 도면이다.1 is a diagram illustrating a fish group detection system using an artificial intelligence model according to an embodiment of the present invention.
2 is a diagram exemplarily illustrating a fish group detection module applicable to various embodiments.
3 is a hardware configuration diagram of a fish detection apparatus using an artificial intelligence model according to another embodiment of the present invention.
4 is a flowchart of a method for detecting a fish group using an artificial intelligence model according to another embodiment of the present invention.
5 is a flowchart of a method for training an artificial intelligence model using a plurality of underwater data, according to various embodiments.
6 and 7 are diagrams exemplarily showing images generated by visualizing underwater data in various embodiments.
8 is a diagram illustrating a configuration for predicting a movement path of a fish group, according to various embodiments.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and those of ordinary skill in the art to which the present invention pertains. It is provided to fully understand the scope of the present invention to those skilled in the art, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. As used herein, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components. Like reference numerals refer to like elements throughout, and "and/or" includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein will have the meaning commonly understood by those of ordinary skill in the art to which this invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless specifically defined explicitly.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.As used herein, the term “unit” or “module” refers to a hardware component such as software, FPGA, or ASIC, and “unit” or “module” performs certain roles. However, “part” or “module” is not meant to be limited to software or hardware. A “unit” or “module” may be configured to reside on an addressable storage medium or to reproduce one or more processors. Thus, as an example, “part” or “module” refers to components such as software components, object-oriented software components, class components and task components, processes, functions, properties, Includes procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. Components and functionality provided within “parts” or “modules” may be combined into a smaller number of components and “parts” or “modules” or as additional components and “parts” or “modules”. can be further separated.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.Spatially relative terms "below", "beneath", "lower", "above", "upper", etc. It can be used to easily describe the correlation between a component and other components. Spatially relative terms should be understood as terms including different directions of components during use or operation in addition to the directions shown in the drawings. For example, when a component shown in the drawing is turned over, a component described as “beneath” or “beneath” of another component may be placed “above” of the other component. can Accordingly, the exemplary term “below” may include both directions below and above. Components may also be oriented in other orientations, and thus spatially relative terms may be interpreted according to orientation.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.In this specification, a computer refers to all types of hardware devices including at least one processor, and may be understood as encompassing software configurations operating in the corresponding hardware device according to embodiments. For example, a computer may be understood to include, but is not limited to, smart phones, tablet PCs, desktops, notebooks, and user clients and applications running on each device.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.Each step described in this specification is described as being performed by a computer, but the subject of each step is not limited thereto, and at least a portion of each step may be performed in different devices according to embodiments.

도 1은 본 발명의 일 실시예에 따른 인공지능 모델을 이용한 어군 탐지 시스템을 도시한 도면이다.1 is a diagram illustrating a fish group detection system using an artificial intelligence model according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 인공지능 모델을 이용한 어군 탐지 시스템은 어군 탐지 장치(100), 사용자 단말(200) 및 외부 서버(300)를 포함할 수 있다.Referring to FIG. 1 , a fish group detection system using an artificial intelligence model according to an embodiment of the present invention may include a fish group detection apparatus 100 , a user terminal 200 , and an external server 300 .

여기서, 도 1에 도시된 인공지능 모델을 이용한 어군 탐지 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.Here, the fish detection system using the artificial intelligence model shown in FIG. 1 is according to an embodiment, and its components are not limited to the embodiment shown in FIG. 1, and may be added, changed, or deleted as necessary. have.

일 실시예에서, 어군 탐지 장치(100)는 소정의 해역에 대한 수중 데이터를 분석하여 소정의 해역 곳곳에서 어군이 출현할 확률을 산출할 수 있다. 또한, 어군 탐지 장치(100)는 소정의 해역에 대한 수중 데이터를 분석하여 소정의 해역에 출현할 어군의 이동 경로를 예측할 수 있다. 예를 들어, 어군 탐지 장치(100)는 기 학습된 인공지능 모델을 이용하여 소정의 해역에 대한 수중 데이터를 분석함으로써, 소정의 해역에서의 어군 출현 확률과 어군의 이동 경로를 예측할 수 있다.In an embodiment, the fish group detection apparatus 100 may analyze the underwater data for a predetermined sea area to calculate the probability that fish groups will appear in various places in the predetermined sea area. In addition, the fish group detection apparatus 100 may analyze the underwater data for a predetermined sea area to predict the movement path of the fish group that will appear in the predetermined sea area. For example, the fish group detection apparatus 100 may analyze the underwater data for a predetermined sea area using a pre-learned artificial intelligence model, thereby predicting the appearance probability of the fish group and the movement path of the fish group in the predetermined sea area.

여기서, 기 학습된 인공지능 모델은 복수의 수중 데이터를 학습 데이터로 하여 학습된 모델일 수 있다. 기 학습된 인공지능 모델에 대한 보다 상세한 설명은 도 5를 참조하여 후술하도록 한다.Here, the pre-trained artificial intelligence model may be a model learned by using a plurality of underwater data as training data. A more detailed description of the pre-learned artificial intelligence model will be described later with reference to FIG. 5 .

다양한 실시예에서, 어군 탐지 장치(100)는 네트워크(400)를 통해 사용자 단말(200)과 연결될 수 있으며, 사용자 단말(200)로부터 어군 출현 확률 및 어군의 이동 경로를 예측하기 위해 소정의 해역에 대한 수중 데이터를 입력받거나, 출현 확률 및 이동 경로를 예측하고자 하는 대상인 어군에 대한 정보를 입력받을 수 있다. In various embodiments, the fish detection apparatus 100 may be connected to the user terminal 200 through the network 400 , and may be located in a predetermined sea area in order to predict the appearance probability of the fish group and the movement path of the fish group from the user terminal 200 . It is possible to receive an input of underwater data about a fish, or information about a fish group, which is an object for which an appearance probability and a movement path are to be predicted.

또한, 어군 탐지 장치(100)는 수중 데이터를 분석한 결과(예: 어군 출현 확률과 이동 경로)를 사용자 단말(200)로 제공할 수 있다. 예를 들어, 어군 탐지 장치(100)는 수중 데이터를 분석하여 소정의 해역에 대한 어군 출현 확률과 어군의 이동 경로를 산출하는 애플리케이션을 제공할 수 있으며, 애플리케이션을 실행함에 따라 출력되는 사용자 인터페이스(User Interface, UI)를 통해 수중 데이터를 분석한 결과를 출력할 수 있다.In addition, the fish detection apparatus 100 may provide a result of analyzing the underwater data (eg, a fish group appearance probability and a movement route) to the user terminal 200 . For example, the fish detection apparatus 100 may provide an application that analyzes underwater data to calculate a fish population appearance probability and a movement path of a fish group in a predetermined sea area, and a user interface (User) output as the application is executed Interface, UI) to output the analysis result of underwater data.

여기서, 네트워크(400)는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미할 수 있다, 예를 들어, 네트워크(400는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등을 포함할 수 있으나, 이에 한정되지 않는다.Here, the network 400 may mean a connection structure capable of exchanging information between each node, such as a plurality of terminals and servers. For example, the network 400 is a local area network (LAN), It includes a wide area network (WAN), the Internet (WWW: World Wide Web), a wired and wireless data communication network, a telephone network, a wired and wireless television communication network, etc. Examples of a wireless data communication network include 3G, 4G, 5G, 3rd Generation Partnership (3GPP). Project), 5th Generation Partnership Project (5GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi, Internet, LAN (Local Area Network), Wireless LAN (Wireless) Local Area Network), WAN (Wide Area Network), PAN (Personal Area Network), RF (Radio Frequency), Bluetooth (Bluetooth) network, NFC (Near-Field Communication) network, satellite broadcasting network, analog broadcasting network, DMB ( Digital Multimedia Broadcasting) network, and the like, but is not limited thereto.

일 실시예에서, 사용자 단말(200)은 네트워크(400)를 통해 어군 탐지 장치(100)와 연결될 수 있으며, 어군 탐지 장치(100)로부터 인공지능 모델을 이용한 어군 탐지 프로세스를 수행함에 따라 생성되는 결과 데이터(예: 어군 출현 확률 및 어군의 이동 경로)를 제공받을 수 있다.In an embodiment, the user terminal 200 may be connected to the fish school detection apparatus 100 through the network 400 , and results generated by performing the fish school detection process using the artificial intelligence model from the fish school detection apparatus 100 . Data (eg, fish population probability and movement path of the fish population) may be provided.

다양한 실시예에서, 사용자 단말(200)은 사용자 단말(200)의 적어도 일부분에 디스플레이를 포함하며 애플리케이션 구동이 가능한 운영체제(OS)를 포함하는 스마트폰(Smart phone)일 수 있으며, 어군 탐지 장치(100)가 제공하는 애플리케이션을 다운로드, 설치 및 실행하여 인공지능 모델을 이용한 어군 탐지 프로세스를 수행할 수 있다. 그러나, 이에 한정되지 않고, 사용자 단말(200)은 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트 패드(Smartpad), 타블렛PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.In various embodiments, the user terminal 200 may be a smart phone including a display on at least a portion of the user terminal 200 and an operating system (OS) capable of operating an application, and the fish detection apparatus 100 . ), you can download, install, and run the application provided by the company to perform the fish detection process using the artificial intelligence model. However, the present invention is not limited thereto, and the user terminal 200 is a wireless communication device that guarantees portability and mobility. (Personal Handyphone System), PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), Wibro (Wireless Broadband Internet) It may include all types of handheld-based wireless communication devices such as terminals, smart pads, and tablet PCs.

일 실시예에서, 외부 서버(300)는 네트워크(400)를 통해 어군 탐지 장치(100)와 연결될 수 있으며, 어군 탐지 장치(100)가 인공지능 모델을 이용한 어군 탐지 프로세스를 수행하기 위해 필요한 각종 정보/데이터(예: 복수의 해역 각각에 대한 수중 데이터, 환경 정보 등)를 저장 및 관리하거나, 어군 탐지 장치(100)가 인공지능 모델을 이용한 어군 탐지 프로세스를 수행함에 따라 생성되는 각종 정보/데이터(예: 어군 출현 확률 데이터, 이동 경로 데이터 등)를 저장 및 관리할 수 있다. 예를 들어, 외부 서버(300)는 어군 탐지 장치(100)의 외부에 별도로 구비되는 저장 서버일 수 있으나, 이에 한정되지 않는다. 이하, 도 2를 참조하여 수중 데이터를 수집하는 어군 탐지 모듈(10)의 구성에 대해 설명하도록 한다.In an embodiment, the external server 300 may be connected to the fish detection apparatus 100 through the network 400, and various information necessary for the fish detection apparatus 100 to perform a fish detection process using an artificial intelligence model. /Data (eg, underwater data for each of a plurality of sea areas, environmental information, etc.) is stored and managed, or various information/data generated when the fish detection apparatus 100 performs a fish detection process using an artificial intelligence model ( For example, it is possible to store and manage fish group appearance probability data, movement route data, etc.). For example, the external server 300 may be a storage server separately provided outside the fish detection apparatus 100, but is not limited thereto. Hereinafter, a configuration of the fish detection module 10 for collecting underwater data will be described with reference to FIG. 2 .

도 2는 다양한 실시예에 적용 가능한 어군 탐지 모듈을 예시적으로 도시한 도면이다.2 is a diagram exemplarily illustrating a fish group detection module applicable to various embodiments.

도 2를 참조하면, 다양한 실시예에서, 어군 탐지 모듈(10)은 소정의 해역 내에 설치되어 소정의 해역에 대한 수중 데이터를 수집할 수 있다. 이를 위해, 어군 탐지 모듈(10)은 조도 센서(11), 적외선(Infrared ray, IR) 필터(12), 압력 센서(13), 음파(sonic) 센서(14), 온도 센서(15), 어안 렌즈(16) 및 무게 조절부(17)를 포함할 수 있다.Referring to FIG. 2 , in various embodiments, the fish group detection module 10 may be installed in a predetermined sea area to collect underwater data for the predetermined sea area. To this end, the fish detection module 10 includes an illuminance sensor 11, an infrared (IR) filter 12, a pressure sensor 13, a sonic sensor 14, a temperature sensor 15, and a fisheye. It may include a lens 16 and a weight control unit 17 .

다양한 실시예에서, 조도 센서(11)는 어군 탐지 모듈(10)의 인근의 조도를 측정할 수 있다. 이때, 어군 탐지 모듈(10)은 조도 센서(11)를 통해 측정된 조도 값에 따라 IR 필터(12)의 동작을 제어 즉, 빛의 양이 상대적으로 많은 영역(수심이 얕은 영역)에서는 IR 필터(12)를 동작시킬 수 있고, 빛의 양이 상대적으로 적은 영역(수심이 깊은 영역)에서는 IR 필터(12)의 동작을 정지하여 후술되는 어안 렌즈(16)를 통해 촬영되는 영상의 화질을 개선할 수 있다. 그러나, 이에 한정되지 않는다.In various embodiments, the illuminance sensor 11 may measure illuminance in the vicinity of the fish group detection module 10 . In this case, the fish detection module 10 controls the operation of the IR filter 12 according to the illuminance value measured by the illuminance sensor 11, that is, the IR filter in the region where the amount of light is relatively large (the region where the water is shallow). (12) can be operated, and the operation of the IR filter 12 is stopped in an area where the amount of light is relatively small (deep water area) to improve the image quality of an image photographed through a fisheye lens 16 to be described later can do. However, the present invention is not limited thereto.

다양한 실시예에서, 압력 센서(13)는 어군 탐지 모듈(10)에 가해지는 압력을 측정할 수 있고, 이를 이용하여 수심을 산출할 수 있다. 그러나, 이에 한정되지 않는다.In various embodiments, the pressure sensor 13 may measure the pressure applied to the fish detection module 10 , and may calculate the depth of the water using the pressure sensor 13 . However, the present invention is not limited thereto.

다양한 실시예에서, 음파 센서(14)는 음파를 출력하여 소정의 해역 내의 어군을 탐지할 수 있다. 그러나, 이에 한정되지 않는다.In various embodiments, the sound wave sensor 14 may output a sound wave to detect a fish group in a predetermined sea area. However, the present invention is not limited thereto.

다양한 실시예에서, 온도 센서(15)는 어군 탐지 모듈(10) 인근의 수온을 측정할 수 있다. 그러나, 이에 한정되지 않는다.In various embodiments, the temperature sensor 15 may measure the water temperature in the vicinity of the fish detection module 10 . However, the present invention is not limited thereto.

다양한 실시예에서, 어안 렌즈(16)는 어군 탐지 모듈(10)을 기준으로 360도 촬영한 영상 데이터를 생성할 수 있다. 이때, 어군 탐지 모듈(10)은 어안 렌즈(16)를 통해 촬영된 영상 데이터의 왜곡, 화질 등을 개선하기 위하여 둘 이상 어안 렌즈(16)를 포함할 수 있다. 그러나, 이에 한정되지 않는다.In various embodiments, the fisheye lens 16 may generate image data captured 360 degrees based on the fish group detection module 10 . In this case, the fish detection module 10 may include two or more fisheye lenses 16 to improve distortion and image quality of image data captured through the fisheye lens 16 . However, the present invention is not limited thereto.

다양한 실시예에서, 무게 조절부(17)는 어군 탐지 모듈(10)의 무게를 조절할 수 있다. 예를 들어, 어군 탐지 모듈(10)이 수심이 깊은 영역으로 하강해야 할 경우 무게를 증가시킬 수 있고, 다시 수심이 얕은 영역으로 상승해야 할 경우 무게를 감소시킬 수 있다. 예를 들어, 무게 조절부(17)는 하나 이상의 추를 포함할 수 있다. 그러나, 이에 한정되지 않는다.In various embodiments, the weight adjustment unit 17 may adjust the weight of the fish detection module 10 . For example, when the fish group detection module 10 needs to descend into a deep area, the weight may be increased, and if the fish group detection module 10 needs to ascend to a shallow water depth area again, the weight may be reduced. For example, the weight adjustment unit 17 may include one or more weights. However, the present invention is not limited thereto.

다양한 실시예에서, 어군 탐지 모듈(10) 내의 각각의 구성요소들은 상호 유선으로 연결될 수 있다. 그러나, 이에 한정되지 않는다.In various embodiments, each of the components in the fish detection module 10 may be connected to each other by wire. However, the present invention is not limited thereto.

다양한 실시예에서, 어군 탐지 모듈(10)은 소정의 해역 내에 복수 개 설치될 수 있다. 그러나, 이에 한정되지 않는다. 이하, 도 3을 참조하여, 어군 탐지 장치(100)의 하드웨어 구성에 대해 설명하도록 한다.In various embodiments, a plurality of fish detection modules 10 may be installed in a predetermined sea area. However, the present invention is not limited thereto. Hereinafter, a hardware configuration of the fish detection apparatus 100 will be described with reference to FIG. 3 .

도 3은 본 발명의 다른 실시예에 따른 인공지능 모델을 이용한 어군 탐지 장치의 하드웨어 구성도이다.3 is a hardware configuration diagram of a fish detection apparatus using an artificial intelligence model according to another embodiment of the present invention.

도 3을 참조하면, 본 발명의 다른 실시예에 따른 어군 탐지 장치(100)(이하, “컴퓨팅 장치(100)”)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(151)을 로드(Load)하는 메모리(120), 버스(130), 통신 인터페이스(140) 및 컴퓨터 프로그램(151)을 저장하는 스토리지(150)를 포함할 수 있다.Referring to FIG. 3 , the fish detection apparatus 100 (hereinafter, “computing device 100”) according to another embodiment of the present invention includes one or more processors 110 and a computer program ( It may include a memory 120 for loading 151 , a bus 130 , a communication interface 140 , and a storage 150 for storing the computer program 151 .

여기서, 도 3에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.Here, only the components related to the embodiment of the present invention are shown in FIG. 3 . Accordingly, those skilled in the art to which the present invention pertains can see that other general-purpose components other than the components shown in FIG. 3 may be further included.

프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.The processor 110 controls the overall operation of each component of the computing device 100 . The processor 110 includes a central processing unit (CPU), a micro processor unit (MPU), a micro controller unit (MCU), a graphic processing unit (GPU), or any type of processor well known in the art. can be

또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 컴퓨팅 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.In addition, the processor 110 may perform an operation for at least one application or program for executing the method according to the embodiments of the present invention, and the computing device 100 may include one or more processors.

다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.In various embodiments, the processor 110 temporarily and/or permanently stores a signal (or data) processed inside the processor 110 , a random access memory (RAM) and a read access memory (ROM). -Only Memory, not shown) may be further included. In addition, the processor 110 may be implemented in the form of a system on chip (SoC) including at least one of a graphic processing unit, a RAM, and a ROM.

메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(150)로부터 컴퓨터 프로그램(151)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(151)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(151)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.The memory 120 stores various data, commands and/or information. The memory 120 may load the computer program 151 from the storage 150 to execute methods/operations according to various embodiments of the present disclosure. When the computer program 151 is loaded into the memory 120 , the processor 110 may perform the method/operation by executing one or more instructions constituting the computer program 151 . The memory 120 may be implemented as a volatile memory such as RAM, but the technical scope of the present disclosure is not limited thereto.

버스(130)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(130)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.The bus 130 provides a communication function between components of the computing device 100 . The bus 130 may be implemented as various types of buses, such as an address bus, a data bus, and a control bus.

통신 인터페이스(140)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(140)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(140)는 생략될 수도 있다.The communication interface 140 supports wired/wireless Internet communication of the computing device 100 . In addition, the communication interface 140 may support various communication methods other than Internet communication. To this end, the communication interface 140 may be configured to include a communication module well known in the art. In some embodiments, the communication interface 140 may be omitted.

스토리지(150)는 컴퓨터 프로그램(151)을 비 임시적으로 저장할 수 있다. 컴퓨팅 장치(100)를 통해 인공지능 모델을 이용한 어군 탐지 프로세스를 수행하는 경우, 스토리지(150)는 인공지능 모델을 이용한 어군 탐지 프로세스를 제공하기 위하여 필요한 각종 정보를 저장할 수 있다.The storage 150 may non-temporarily store the computer program 151 . When performing the fish group detection process using the artificial intelligence model through the computing device 100 , the storage 150 may store various types of information necessary to provide the fish school detection process using the artificial intelligence model.

스토리지(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.The storage 150 is a non-volatile memory such as a read only memory (ROM), an erasable programmable ROM (EPROM), an electrically erasable programmable ROM (EEPROM), a flash memory, a hard disk, a removable disk, or well in the art to which the present invention pertains. It may be configured to include any known computer-readable recording medium.

컴퓨터 프로그램(151)은 메모리(120)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.The computer program 151 may include one or more instructions that, when loaded into the memory 120 , cause the processor 110 to perform methods/operations according to various embodiments of the present invention. That is, the processor 110 may perform the method/operation according to various embodiments of the present disclosure by executing the one or more instructions.

일 실시예에서, 컴퓨터 프로그램(151)은 소정의 해역에 대한 수중 데이터를 수집하는 단계, 수집된 수중 데이터를 시각화하는 단계 및 시각화된 수중 데이터를 기 학습된 인공지능 모델의 입력으로 하여 소정의 해역에 대한 어군 출현 확률을 추출하는 단계를 포함하는 인공지능 모델을 이용한 어군 탐지 방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.In an embodiment, the computer program 151 collects underwater data for a predetermined sea area, visualizes the collected underwater data, and uses the visualized underwater data as an input for a pre-learned artificial intelligence model in a predetermined sea area It may include one or more instructions for performing a fish group detection method using an artificial intelligence model, which includes extracting a fish group appearance probability for .

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in relation to an embodiment of the present invention may be implemented directly in hardware, as a software module executed by hardware, or by a combination thereof. A software module may contain random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 이하, 도 4 내지 8을 참조하여, 컴퓨팅 장치(100)에 의해 수행되는 인공지능 모델을 이용한 어군 탐지 방법에 대해 설명하도록 한다.The components of the present invention may be implemented as a program (or application) to be executed in combination with a computer, which is hardware, and stored in a medium. The components of the present invention may be implemented as software programming or software components, and similarly, embodiments may include various algorithms implemented as data structures, processes, routines, or combinations of other programming constructs, including C, C++ , Java, assembler, etc. may be implemented in a programming or scripting language. Functional aspects may be implemented in an algorithm running on one or more processors. Hereinafter, a method of detecting a fish group using an artificial intelligence model performed by the computing device 100 will be described with reference to FIGS. 4 to 8 .

도 4는 본 발명의 또 다른 실시예에 따른 인공지능 모델을 이용한 어군 탐지 방법의 순서도이다.4 is a flowchart of a method for detecting a fish group using an artificial intelligence model according to another embodiment of the present invention.

도 4를 참조하면, S110 단계에서, 컴퓨팅 장치(100)는 소정의 해역에 대한 수중 데이터를 수집할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 소정의 해역 내에 설치된 복수의 어군 탐지 모듈(10)과 연결될 수 있고, 복수의 어군 탐지 모듈(10)로부터 수집된 수중 데이터를 제공받을 수 있다.Referring to FIG. 4 , in step S110 , the computing device 100 may collect underwater data for a predetermined sea area. For example, the computing device 100 may be connected to a plurality of fish group detection modules 10 installed in a predetermined sea area, and may receive underwater data collected from the plurality of fish group detection modules 10 .

여기서, 수중 데이터는, 물의 탁도, 수심 및 수온 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않고, 소정의 해역의 위치, 형태, 주변 상황 정보(예: 암초 등과 같은 장애물 유무 등)뿐만 아니라, 날씨, 계절, 풍량, 풍향, 강수량, 강우량, 강설량 및 태풍의 여부 등과 같은 환경 정보를 더 포함할 수 있다.Here, the underwater data may include at least one of turbidity, water depth, and water temperature of water, but is not limited thereto, and location, shape, and surrounding situation information of a predetermined sea area (eg, presence of obstacles such as reefs, etc.) as well as, It may further include environmental information such as weather, season, wind volume, wind direction, precipitation amount, rainfall amount, snowfall amount, and whether there is a typhoon.

다양한 실시예에서, 컴퓨팅 장치(100)는 사용자 단말(200)과 연결되어 사용자 단말(200)로 UI를 제공할 수 있고, UI를 통해 소정의 해역에 대한 수중 데이터를 업로드받을 수 있다. 그러나, 이에 한정되지 않고, 외부 서버(300)로부터 소정의 해역에 대한 수중 데이터를 제공받는 등 수중 데이터를 수집하는 어떠한 방법이든 적용이 가능하다.In various embodiments, the computing device 100 may be connected to the user terminal 200 to provide a UI to the user terminal 200 , and may receive underwater data for a predetermined sea area uploaded through the UI. However, the present invention is not limited thereto, and any method for collecting underwater data such as receiving underwater data for a predetermined sea area from the external server 300 may be applied.

S120 단계에서, 컴퓨팅 장치(100)는 S110 단계에서 수집한 수중 데이터를 시각화할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 S110 단계에서 수집한 수중 데이터가 수심 데이터인 경우, 소정의 해역에 대한 수심을 시각화(예: 소정의 해역을 수심의 크기에 따라 구분하고, 수심의 크기에 따라 구분된 영역 각각을 기 설정된 채도로 표시)하여 이미지(예: 도 6의 20)를 생성할 수 있다.In step S120, the computing device 100 may visualize the underwater data collected in step S110. For example, when the underwater data collected in step S110 is water depth data, the computing device 100 visualizes the water depth for a predetermined sea area (eg, divides a predetermined sea area according to the size of the water depth, and An image (eg, 20 in FIG. 6 ) may be generated by displaying each of the divided regions with a preset saturation.

또한, 컴퓨팅 장치(100)는 S110 단계에서 수집한 수중 데이터가 수온 데이터인 경우, 소정의 해역에 대한 수온을 시각화(예: 소정의 해역을 수온의 크기에 따라 구분하고, 수온의 크기에 따라 구분된 영역 각각을 기 설정된 색상으로 표시)하여 이미지(예: 도 7의 30)를 생성할 수 있다. 그러나, 이에 한정되지 않고, 수중 데이터를 시각화하는 다양한 방법이 적용될 수 있다. 예를 들어, 컴퓨팅 장치(100)는 S110 단계에서 수집한 수중 데이터를 그래프 형태로 시각화할 수 있다.In addition, when the underwater data collected in step S110 is water temperature data, the computing device 100 visualizes the water temperature for a predetermined sea area (eg, divides a predetermined sea area according to the size of the water temperature and divides it according to the size of the water temperature) Each of the regions may be displayed with a preset color) to generate an image (eg, 30 in FIG. 7 ). However, the present invention is not limited thereto, and various methods for visualizing underwater data may be applied. For example, the computing device 100 may visualize the underwater data collected in step S110 in the form of a graph.

여기서, 컴퓨팅 장치(100)에 의해 수행되는 수중 데이터 시각화 단계(예: S120 단계)는 이미지를 학습 데이터로 하여 학습된 인공지능 모델(예: 이미지 분석 모델)을 이용하기 위한 과정인 바, 경우에 따라 이미지 분석 모델이 아닌 텍스트, 수치 값을 분석하는 모델을 사용할 경우, 수중 데이터 시각화 단계를 수행하지 않고, 후술되는 S130 단계를 수행할 수 있다.Here, the underwater data visualization step (eg, step S120) performed by the computing device 100 is a process for using an artificial intelligence model (eg, image analysis model) learned by using the image as learning data, in case Accordingly, when using a model that analyzes text and numerical values rather than an image analysis model, the step S130 to be described later may be performed without performing the underwater data visualization step.

또한, 경우에 따라 컴퓨팅 장치(100)는 텍스트, 값 형태의 수중 데이터를 학습 데이터로 하여 학습된 제1 인공지능 모델과 시각화된 수중 데이터를 학습 데이터로 하여 학습된 제2 인공지능 모델을 함께 이용(앙상블)하거나, 텍스트, 값 형태의 수중 데이터 및 시각화된 수중 데이터 모두를 학습한 인공지능 모델에 텍스트, 값 형태의 수중 데이터 및 시각화된 수중 데이터 중 적어도 하나를 입력하여 결과를 추출할 수 있다.In addition, in some cases, the computing device 100 uses the first artificial intelligence model learned by using the underwater data in the form of text and values as the learning data and the second artificial intelligence model learned by using the visualized underwater data as the learning data. (ensemble), or by inputting at least one of text, value-type underwater data, and visualized underwater data into an artificial intelligence model that has learned all of the text, value-type underwater data, and visualized underwater data, and extracts the result.

S130 단계에서, 컴퓨팅 장치(100)는 S120 단계에서 시각화된 수중 데이터를 이용하여 소정의 해역에 대한 어군 출현 확률을 산출할 수 있다. 또한, 컴퓨팅 장치(100)는 시각화된 수중 데이터를 이용하여 어군 출현 확률이 기준 확률 이상인 어군에 대한 이동 경로를 예측(예: 도 8)할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 시각화된 수중 데이터를 기 학습된 인공지능 모델의 입력으로 하여 결과 데이터로서 어군 출현 확률 및 어군의 이동 경로를 추출할 수 있다. 그러나, 이에 한정되지 않고, 컴퓨팅 장치(100)는 다년간 수집 및 저장된 복수의 수중 데이터를 빅데이터 분석하는 빅데이터 분석 모델을 이용하여 소정의 해역에 대한 어군 출현 확률하고, 어군에 대한 이동 경로를 예측할 수 있다. 이하, 도 5를 참조하여, 인공지능 모델을 학습시키는 방법에 대해 설명하도록 한다.In operation S130 , the computing device 100 may calculate the probability of appearance of a fish group in a predetermined sea area using the underwater data visualized in operation S120 . Also, the computing device 100 may predict (eg, FIG. 8 ) a movement path for a group of fish having a probability of appearance of a fish group equal to or greater than a reference probability by using the visualized underwater data. For example, the computing device 100 may use the visualized underwater data as an input of the pre-learned artificial intelligence model to extract the fish group appearance probability and the fish group movement path as result data. However, the present invention is not limited thereto, and the computing device 100 uses a big data analysis model that analyzes a plurality of underwater data collected and stored for many years as big data to predict the appearance of fish groups in a predetermined sea area and predict the movement path for the fish groups. can Hereinafter, a method of learning an artificial intelligence model will be described with reference to FIG. 5 .

도 5는 다양한 실시예에서, 복수의 수중 데이터를 이용하여 인공지능 모델을 학습시키는 방법의 순서도이다.5 is a flowchart of a method for training an artificial intelligence model using a plurality of underwater data, according to various embodiments.

S210 단계에서, 컴퓨팅 장치(100)는 인공지능 모델 학습을 위한 복수의 수중 데이터를 수집할 수 있다. 여기서, 컴퓨팅 장치(100)가 수행하는 수중 데이터 수집 방법은 도 4의 S110 단계에서 컴퓨팅 장치(100)에 의해 수행되는 수중 데이터 수집 방법과 동일 또는 유사한 형태로 구현될 수 있으나, 이에 한정되지 않는다.In step S210, the computing device 100 may collect a plurality of underwater data for artificial intelligence model learning. Here, the underwater data collection method performed by the computing device 100 may be implemented in the same or similar form as the underwater data collection method performed by the computing device 100 in step S110 of FIG. 4 , but is not limited thereto.

여기서, 복수의 수중 데이터는 물의 탁도, 지역, 수심, 계절(날짜) 및 온도에 따라 발견되는 어군 데이터일 수 있으나, 이에 한정되지 않는다. 또한, 복수의 수중 데이터는 서로 다른 속성(예: 위치, 지형, 날씨, 온도, 계절 등)을 가지는 복수의 서로 다른 해역에서 서로 다른 시점에 수집된 데이터일 수 있으나, 이에 한정되지 않는다.Here, the plurality of underwater data may be fish group data found according to water turbidity, region, water depth, season (date), and temperature, but is not limited thereto. In addition, the plurality of underwater data may be data collected at different times in a plurality of different sea areas having different properties (eg, location, topography, weather, temperature, season, etc.), but is not limited thereto.

여기서, 인공지능 모델(예: 신경망)은 하나 이상의 네트워크 함수로 구성되며, 하나 이상의 네트워크 함수는 일반적으로 ‘노드’라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 ‘노드’들은 ‘뉴런(neuron)’들로 지칭될 수도 있다. 하나 이상의 네트워크 함수는 적어도 하나 이상의 노드들을 포함하여 구성된다. 하나 이상의 네트워크 함수를 구성하는 노드(또는 뉴런)들은 하나 이상의 ‘링크’에 의해 상호 연결될 수 있다.Here, an artificial intelligence model (eg, a neural network) is composed of one or more network functions, and one or more network functions may be composed of a set of interconnected computational units that may be generally referred to as ‘nodes’. These ‘nodes’ may also be referred to as ‘neurons’. The one or more network functions are configured by including at least one or more nodes. Nodes (or neurons) constituting one or more network functions may be interconnected by one or more ‘links’.

인공지능 모델 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 전술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.In the AI model, one or more nodes connected through a link may relatively form a relationship between an input node and an output node. The concepts of an input node and an output node are relative, and any node in an output node relationship with respect to one node may be in an input node relationship in a relationship with another node, and vice versa. As described above, an input node to output node relationship may be created around a link. One or more output nodes may be connected to one input node through a link, and vice versa.

하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호 연결하는 노드는 가중치(weight)를 가질 수 있다. 가중치는 가변적일 수 있으며, 인공지능 모델이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.In the relationship between the input node and the output node connected through one link, the value of the output node may be determined based on data input to the input node. Here, a node interconnecting the input node and the output node may have a weight. The weight may be variable, and may be changed by a user or an algorithm in order for the AI model to perform a desired function. For example, when one or more input nodes are interconnected to one output node by respective links, the output node sets values input to input nodes connected to the output node and links corresponding to the respective input nodes. An output node value may be determined based on the weight.

전술한 바와 같이, 인공지능 모델은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호연결 되어 인공지능 모델 내에서 입력 노드 및 출력 노드 관계를 형성한다. 인공지능 모델 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 인공지능 모델의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들 사이의 가중치 값이 상이한 두 인공지능 모델이 존재하는 경우, 두 개의 인공지능 모델들은 서로 상이한 것으로 인식될 수 있다.As described above, in the AI model, one or more nodes are interconnected through one or more links to form an input node and an output node relationship within the AI model. Characteristics of the AI model may be determined according to the number of nodes and links in the AI model, the correlation between nodes and links, and the value of a weight assigned to each of the links. For example, when the same number of nodes and links exist and there are two AI models having different weight values between the links, the two AI models may be recognized as different from each other.

인공지능 모델을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 인공지능 모델 내에서 레이어의 차수는 전술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.Some of the nodes constituting the artificial intelligence model may configure one layer based on distances from the initial input node. For example, a set of nodes having a distance of n from the initial input node may constitute n layers. The distance from the initial input node may be defined by the minimum number of links that must be passed to reach the corresponding node from the initial input node. However, the definition of such a layer is arbitrary for the purpose of explanation, and the order of the layer in the AI model may be defined in a different way from that described above. For example, a layer of nodes may be defined by a distance from the final output node.

최초 입력 노드는 인공지능 모델 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 인공지능 모델 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 인공지능 모델 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 인공지능 모델을 구성하는 노드들을 의미할 수 있다. 본 개시의 일 실시예에 따른 인공지능 모델은 입력 레이어의 노드가 출력 레이어에 가까운 히든 레이어의 노드보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 인공지능 모델일 수 있다.The initial input node may mean one or more nodes to which data is directly input without going through a link in a relationship with other nodes among nodes in the AI model. Alternatively, in the relationship between nodes based on the link in the artificial intelligence model network, it may mean nodes that do not have other input nodes connected by a link. Similarly, the final output node may refer to one or more nodes that do not have an output node in relation to other nodes among nodes in the artificial intelligence model. In addition, the hidden node may refer to nodes constituting an artificial intelligence model other than the first input node and the last output node. The artificial intelligence model according to an embodiment of the present disclosure may have more nodes in the input layer than nodes in the hidden layer close to the output layer, and is an artificial intelligence model in which the number of nodes decreases as the input layer progresses to the hidden layer. can

인공지능 모델은 하나 이상의 히든 레이어를 포함할 수 있다. 히든 레이어의 히든 노드는 이전의 레이어의 출력과 주변 히든 노드의 출력을 입력으로 할 수 있다. 각 히든 레이어 별 히든 노드의 수는 동일할 수도 있고 상이할 수도 있다. 입력 레이어의 노드의 수는 입력 데이터의 데이터 필드의 수에 기초하여 결정될 수 있으며 히든 노드의 수와 동일할 수도 있고 상이할 수도 있다. 입력 레이어에 입력된 입력 데이터는 히든 레이어의 히든 노드에 의하여 연산될 수 있고 출력 레이어인 완전 연결 레이어(FCL: fully connected layer)에 의해 출력될 수 있다.An AI model may include one or more hidden layers. The hidden node of the hidden layer may have the output of the previous layer and the output of the neighboring hidden nodes as inputs. The number of hidden nodes for each hidden layer may be the same or different. The number of nodes of the input layer may be determined based on the number of data fields of the input data and may be the same as or different from the number of hidden nodes. Input data input to the input layer may be calculated by a hidden node of the hidden layer and may be output by a fully connected layer (FCL) that is an output layer.

다양한 실시예에서, 인공지능 모델은 딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)일 수 있다. 딥 뉴럴 네트워크는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 인공지능 모델을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 오토 인코더(auto encoder), GAN(Generative Adversarial Networks), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있다. 전술한 딥 뉴럴 네트워크의 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.In various embodiments, the artificial intelligence model may be a deep neural network (DNN). A deep neural network may refer to an artificial intelligence model including a plurality of hidden layers in addition to an input layer and an output layer. Deep neural networks can be used to identify the latent structures of data. In other words, it can identify the potential structure of photos, texts, videos, voices, and music (e.g., what objects are in the photos, what the text and emotions are, what the texts and emotions are, etc.) . Deep neural networks include convolutional neural networks (CNNs), recurrent neural networks (RNNs), auto encoders, generative adversarial networks (GANs), and restricted Boltzmann machines (RBMs). boltzmann machine), a deep belief network (DBN), a Q network, a U network, a Siamese network, and the like. The description of the deep neural network described above is only an example, and the present disclosure is not limited thereto.

다양한 실시예에서, 네트워크 함수는 오토 인코더를 포함할 수도 있다. 오토 인코더는 입력 데이터와 유사한 출력 데이터를 출력하기 위한 인공 신경망의 일종일 수 있다. 오토 인코더는 적어도 하나의 히든 레이어를 포함할 수 있으며, 홀수 개의 히든 레이어가 입출력 레이어 사이에 배치될 수 있다. 각각의 레이어의 노드의 수는 입력 레이어의 노드의 수에서 병목 레이어(인코딩)라는 중간 레이어로 축소되었다가, 병목 레이어에서 출력 레이어(입력 레이어와 대칭)로 축소와 대칭되어 확장될 수도 있다. 차원 감소 레이어와 차원 복원 레이어의 노드는 대칭일 수도 있고 아닐 수도 있다.In various embodiments, the network function may include an auto-encoder. The auto-encoder may be a kind of artificial neural network for outputting output data similar to input data. The auto encoder may include at least one hidden layer, and an odd number of hidden layers may be disposed between the input/output layers. The number of nodes in each layer may be reduced from the number of nodes of the input layer to an intermediate layer called the bottleneck layer (encoding), and then expanded symmetrically with reduction from the bottleneck layer to the output layer (symmetrically with the input layer). The nodes of the dimensionality reduction layer and the dimension restoration layer may or may not be symmetrical.

오토 인코더는 비선형 차원 감소를 수행할 수 있다. 입력 레이어 및 출력 레이어의 수는 입력 데이터의 전처리 이후에 남은 센서들의 수와 대응될 수 있다. 오토 인코더 구조에서 인코더에 포함된 히든 레이어의 노드의 수는 입력 레이어에서 멀어질수록 감소하는 구조를 가질 수 있다. 병목 레이어(인코더와 디코더 사이에 위치하는 가장 적은 노드를 가진 레이어)의 노드의 수는 너무 작은 경우 충분한 양의 정보가 전달되지 않을 수 있으므로, 특정 수 이상(예를 들어, 입력 레이어의 절반 이상 등)으로 유지될 수도 있다.The auto-encoder can perform non-linear dimensionality reduction. The number of input layers and output layers may correspond to the number of sensors remaining after pre-processing of input data. In the auto-encoder structure, the number of nodes of the hidden layer included in the encoder may have a structure that decreases as the distance from the input layer increases. If the number of nodes in the bottleneck layer (the layer with the fewest nodes located between the encoder and decoder) is too small, a sufficient amount of information may not be conveyed, so a certain number or more (e.g., more than half of the input layer, etc.) ) may be maintained.

S220 단계에서, 컴퓨팅 장치(100)는 S210 단계에서 수집된 복수의 수중 데이터 각각을 시각화하여 이미지를 생성할 수 있다. 여기서, 컴퓨팅 장치(100)가 이미지를 생성하는 방법은 도 4의 S120 단계에서 컴퓨팅 장치(100)에 의해 수행되는 이미지 생성 방법과 동일 또는 유사한 형태로 구현될 수 있으나, 이에 한정되지 않는다.In step S220, the computing device 100 may generate an image by visualizing each of the plurality of underwater data collected in step S210. Here, the method for generating the image by the computing device 100 may be implemented in the same or similar form as the method for generating the image performed by the computing device 100 in step S120 of FIG. 4 , but is not limited thereto.

또한, 컴퓨팅 장치(100)는 복수의 수중 데이터 각각을 시각화하여 생성된 복수의 이미지 상에 레이블링(Labeling)을 수행할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 복수의 이미지 각각에 해당 해역에 출현한 어군의 위치, 어군의 종류, 날씨, 계절 및 해역에 대한 정보(예: 해역의 위치, 형태 등) 중 적어도 하나를 레이블링하여 제1 학습 데이터를 생성할 수 있다.Also, the computing device 100 may perform labeling on a plurality of images generated by visualizing each of a plurality of underwater data. For example, the computing device 100 receives at least one of the location of the fish group that appeared in the corresponding sea area, the type of the fish group, the weather, the season, and information about the sea area (eg, the location and shape of the sea area) in each of the plurality of images. The first training data may be generated by labeling.

다양한 실시예에서, 제1 해역에 출현한 어군의 이동 경로에 따라 복수의 이미지를 생성하고, 생성된 복수의 이미지를 그룹화하여 하나의 제2 학습 데이터를 생성할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제1 시점에서 제1 어군의 위치를 표시한 제1 이미지, 제2 시점(제1 시점을 기준으로 소정의 시간 경과한 시점)에서 제1 어군의 위치를 표시한 제2 이미지 및 제3 시점(제2 시점을 기준으로 소정의 시간 경과한 시점)에서 제1 어군의 위치를 표시한 제3 이미지를 하나로 그룹화하여 제2 학습 데이터를 생성할 수 있다.In various embodiments, a plurality of images may be generated according to a movement path of the fish group appearing in the first sea area, and one second learning data may be generated by grouping the plurality of generated images. For example, the computing device 100 determines the first image indicating the position of the first fish group at the first time point and the position of the first fish group at the second time point (when a predetermined time has elapsed based on the first time point). The second learning data may be generated by grouping the displayed second image and the third image indicating the position of the first fish group at a third time point (a point in time when a predetermined time has elapsed based on the second time point).

여기서, 복수의 이미지를 그룹화하는 것은 복수의 이미지를 기 설정된 레이아웃 상에 배치하여 하나의 이미지로 결합하는 것일 수 있으나, 이에 한정되지 않고, 복수의 이미지 각각에 포함된 어군의 위치를 동시에 표시되도록 복수의 이미지를 중첩시키는 것을 의미할 수 있다.Here, the grouping of the plurality of images may include arranging the plurality of images on a preset layout and combining them into one image, but is not limited thereto, and a plurality of images are displayed to simultaneously display the positions of the fish groups included in each of the plurality of images. may mean overlapping the images of

여기서, 제1 학습 데이터는 인공지능 모델이 어군 출현 확률을 산출하도록 하기 위한 학습 데이터이며, 제2 학습 데이터는 인공지능 모델이 어군의 이동 경로를 예측하도록 하기 위한 학습 데이터일 수 있으나, 이에 한정되지 않는다.Here, the first training data may be training data for allowing the AI model to calculate the probability of fish group appearance, and the second training data may be training data for enabling the AI model to predict the movement path of the fish group, but is not limited thereto. does not

다양한 실시예에서, 컴퓨팅 장치(100)는 수중 데이터뿐만 아니라 환경 정보(예: 날씨, 기준 시점 대비 수온의 변화량, 기준 시점 대비 풍량의 변화량, 지형지물의 변화 등)와 이에 따른 어군 출현 위치의 변화 및 어군의 이동 경로 변화를 제3 학습 데이터로 생성할 수 있다.In various embodiments, the computing device 100 provides not only underwater data but also environmental information (eg, weather, change in water temperature compared to the reference time, change in wind volume compared to the reference time, change in terrain, etc.) and changes in the appearance position of fish groups accordingly A change in the movement path of the fish group may be generated as the third learning data.

즉, 컴퓨팅 장치(100)는 과거의 특정 시점에 특정 위치에서 특정 어군이 출현했다는 정보와 특정 환경 정보를 가지는 위치에서 특정 어군이 출현했다는 정보를 종합적으로 수집, 처리 및 학습함으로써, 수중 데이터뿐만 아니라 다양한 환경적 요인을 고려하여 현재 시점에서의 어군 출현 확률과 어군의 이동 경로를 정확하게 예측할 수 있는 인공지능 모델을 생성할 수 있다.That is, the computing device 100 comprehensively collects, processes, and learns information that a specific fish group appeared in a specific location at a specific time in the past and information that a specific fish group appeared in a location having specific environmental information, so that not only underwater data but also underwater data Considering various environmental factors, it is possible to create an artificial intelligence model that can accurately predict the probability of appearance of fish groups and the movement paths of fish groups at the present time.

S230 단계에서, 컴퓨팅 장치(100)는 상기와 같이 생성된 학습 데이터(예: 제1 학습 데이터, 제2 학습 데이터)를 이용하여 인공지능 모델을 학습시킬 수 있다. 예를 들어, 컴퓨팅 장치(100)는 특정 정보가 레이블링된 이미지를 학습 데이터로 하여 인공지능 모델을 지도학습(supervised learning)(교사 학습)시킬 수 있다.In step S230 , the computing device 100 may train the artificial intelligence model using the training data (eg, the first training data and the second training data) generated as described above. For example, the computing device 100 may supervised learning (teacher learning) the artificial intelligence model by using an image labeled with specific information as training data.

여기서, 지도학습은 통상적으로 특정 데이터와 특정 데이터에 연관된 정보를 레이블링하여 학습 데이터를 생성하고, 이를 이용하여 학습시키는 방법으로써, 인과 관계를 가진 두 데이터를 레이블링하여 학습 데이터를 생성하고, 생성된 학습 데이터를 통해 학습하는 방법을 의미한다.Here, supervised learning is a method of generating learning data by labeling specific data and information related to specific data, and learning by using this, in which learning data is generated by labeling two data having a causal relationship, and generated learning How to learn from data.

보다 구체적으로, 컴퓨팅 장치(100)는 레이블링된 학습 데이터를 이용하여 인공지능 모델을 구성하는 하나 이상의 네트워크 함수에 대한 학습을 수행할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 학습 입력 데이터 각각을 하나 이상의 네트워크 함수에 입력시키고, 하나 이상의 네트워크 함수로 연산된 출력 데이터 각각과 학습 입력 데이터 각각의 레이블에 해당하는 학습 출력 데이터 각각을 비교하여 오차를 도출할 수 있다. 즉, 인공지능 모델의 학습에서 학습 입력 데이터는 하나 이상의 네트워크 함수의 입력 레이어에 입력될 수 있으며, 학습 출력 데이터는 하나 이상의 네트워크 함수의 출력과 비교될 수 있다.More specifically, the computing device 100 may perform learning of one or more network functions constituting the artificial intelligence model by using the labeled training data. For example, the computing device 100 inputs each of the learning input data to one or more network functions, and compares each of the output data calculated by the one or more network functions with each of the learning output data corresponding to the label of each of the learning input data. error can be derived. That is, in the training of the artificial intelligence model, learning input data may be input to an input layer of one or more network functions, and the training output data may be compared with outputs of one or more network functions.

컴퓨팅 장치(100)는 학습 입력 데이터에 대한 하나 이상의 네트워크 함수의 연산 결과와 학습 출력 데이터(레이블)의 오차에 기초하여 인공지능 모델을 학습시킬 수 있다.The computing device 100 may train the artificial intelligence model based on an error between an operation result of one or more network functions on the training input data and an error of the training output data (label).

또한, 컴퓨팅 장치(100)는 오차에 기초하여 하나 이상의 네트워크 함수의 가중치를 역전파 방식으로 조정할 수 있다. 즉, 컴퓨팅 장치(100)는 학습 입력 데이터에 대한 하나 이상의 네트워크 함수의 연산 결과와 학습 출력 데이터의 오차에 기초하여 하나 이상의 네트워크 함수의 출력이 학습 출력 데이터에 가까워지도록 가중치를 조정할 수 있다.Also, the computing device 100 may adjust the weights of one or more network functions in a backpropagation method based on the error. That is, the computing device 100 may adjust the weight so that the output of the one or more network functions approaches the learning output data based on an error between the operation result of the one or more network functions on the learning input data and the learning output data.

컴퓨팅 장치(100)는 하나 이상의 네트워크 함수의 학습이 사전 결정된 에폭 이상 수행된 경우, 검증 데이터를 이용하여 학습의 중단 여부를 결정할 수 있다. 사전 결정된 에폭은 전체 학습 목표 에폭의 일부일 수 있다.When the learning of one or more network functions is performed for more than a predetermined epoch, the computing device 100 may determine whether to stop learning by using the verification data. The predetermined epoch may be part of an overall learning objective epoch.

검증 데이터는 레이블링된 학습 데이터 중 적어도 일부로 구성될 수 있다. 즉, 컴퓨팅 장치(100)는 학습 데이터를 통해 인공지능 모델의 학습을 수행하며, 인공지능 모델의 학습이 사전 결정된 에폭 이상 반복된 후, 검증 데이터를 이용하여 인공지능 모델의 학습 효과가 사전 결정된 수준 이상인지 여부를 판단할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 100개의 학습 데이터를 이용하여 목표 반복 학습 횟수가 10회인 학습을 수행하는 경우, 사전 결정된 에폭인 10회의 반복 학습을 수행한 후, 10개의 검증 데이터를 이용하여 3회의 반복 학습을 수행하여, 3회의 반복 학습 동안 인공지능 모델 출력의 변화가 사전결정된 수준 이하인 경우 더 이상의 학습이 무의미한 것으로 판단하고 학습을 종료할 수 있다.The verification data may be composed of at least a portion of the labeled training data. That is, the computing device 100 performs learning of the artificial intelligence model through the learning data, and after the learning of the artificial intelligence model is repeated more than a predetermined epoch, the learning effect of the artificial intelligence model using the verification data is a predetermined level It can be judged whether it is abnormal or not. For example, if the computing device 100 performs learning with a target repetition learning number of 10 times using 100 pieces of training data, after performing repeated learning 10 times, which is a predetermined epoch, using 10 verification data By repeating learning three times, if the change in the output of the artificial intelligence model during the three iterative learning is below a predetermined level, it is determined that further learning is meaningless and learning can be terminated.

즉, 검증 데이터는 인공지능 모델의 반복 학습에서 에폭별 학습의 효과가 일정 이상인지 이하인지 여부에 기초하여 학습의 완료를 결정하는 데 이용될 수 있다. 전술한 학습 데이터, 검증 데이터의 수 및 반복 횟수는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.That is, the verification data may be used to determine the completion of learning based on whether the effect of learning for each epoch is greater than or equal to a certain level in the iterative learning of the artificial intelligence model. The above-described number of training data and verification data and the number of repetitions are merely examples, and the present disclosure is not limited thereto.

컴퓨팅 장치(100)는 테스트 데이터를 이용하여 하나 이상의 네트워크 함수의 성능을 테스트하여 하나 이상의 네트워크 함수의 활성화 여부를 결정함으로써, 인공지능 모델을 생성할 수 있다. 테스트 데이터는 인공지능 모델의 성능을 검증하기 위하여 사용될 수 있으며, 학습 데이터 중 적어도 일부로 구성될 수 있다. 예를 들어, 학습 데이터 중 70%는 인공지능 모델의 학습(즉, 레이블과 비슷한 결과값을 출력하도록 가중치를 조정하기 위한 학습)을 위해 활용될 수 있으며, 30%는 인공지능 모델의 성능을 검증하기 위한 테스트 데이터로써 활용될 수 있다. 컴퓨팅 장치(100)는 학습이 완료된 인공지능 모델에 테스트 데이터를 입력하고 오차를 측정하여 사전 결정된 성능 이상인지 여부에 따라 인공지능 모델의 활성화 여부를 결정할 수 있다.The computing device 100 may generate an artificial intelligence model by testing the performance of one or more network functions using the test data and determining whether to activate the one or more network functions. The test data may be used to verify the performance of the artificial intelligence model, and may be composed of at least a portion of the training data. For example, 70% of the training data can be utilized for training of the AI model (that is, learning to adjust the weights to output results similar to labels), and 30% of the training data is used to verify the performance of the AI model. It can be used as test data for The computing device 100 may determine whether to activate the artificial intelligence model according to whether it is above a predetermined performance by inputting test data into the trained artificial intelligence model and measuring an error.

컴퓨팅 장치(100)는 학습이 완료된 인공지능 모델에 테스트 데이터를 이용하여 학습 완료된 인공지능 모델의 성능을 검증하고 학습 완료된 인공지능 모델의 성능이 사전에 결정된 기준 이상인 경우 해당 인공지능 모델을 다른 어플리케이션에서 사용하도록 활성화할 수 있다. The computing device 100 verifies the performance of the trained artificial intelligence model by using the test data on the trained artificial intelligence model, and when the performance of the trained artificial intelligence model is higher than or equal to a predetermined criterion, the AI model is transferred to another application. You can enable it for use.

또한, 컴퓨팅 장치(100)는 학습 완료된 인공지능 모델의 성능이 사전에 결정된 기준 이하인 경우 해당 인공지능 모델을 비활성화하여 폐기할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 정확도(accuracy), 정밀도(precision), 재현율(recall) 등의 요소를 기준으로 하여 생성된 인공지능 모델 모델의 성능을 판단할 수 있다. 전술한 성능 평가 기준은 예시일 뿐이며 본 개시는 이에 제한되지 않는다. 본 개시의 일 실시예에 따라 컴퓨팅 장치(100)는 각각의 인공지능 모델을 독립적으로 학습시켜 복수의 인공지능 모델 모델을 생성할 수 있으며, 성능을 평가하여 일정 성능 이상의 인공지능 모델만을 사용할 수 있다.Also, when the performance of the trained artificial intelligence model is less than or equal to a predetermined criterion, the computing device 100 may deactivate and discard the corresponding artificial intelligence model. For example, the computing device 100 may determine the performance of the generated artificial intelligence model based on factors such as accuracy, precision, and recall. The above-described performance evaluation criteria are merely examples, and the present disclosure is not limited thereto. According to an embodiment of the present disclosure, the computing device 100 may generate a plurality of artificial intelligence model models by independently learning each artificial intelligence model, and only use artificial intelligence models with a certain performance or higher by evaluating the performance. .

다시, 도 4를 참조하면, 다양한 실시예에서, 컴퓨팅 장치(100)는 시각화된 수중 데이터를 기 학습된 인공지능 모델의 입력으로 하여 어군의 이동 경로를 예측할 수 있다. Referring again to FIG. 4 , in various embodiments, the computing device 100 may use the visualized underwater data as an input of the pre-trained artificial intelligence model to predict the movement path of the fish group.

다양한 실시예에서, 컴퓨팅 장치(100)는 기 학습된 인공지능 모델을 이용하여 추출된 어군 출현 확률을 이용하여 어군의 이동 경로를 예측할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 소정의 해역 내에서 제1 시점에서 제1 어군이 출현할 확률이 가장 높은 제1 위치, 제2 시점(예: 제1 시점 이후의 시점)에서 제1 어군이 출현할 확률이 가장 높은 제2 위치 및 제3 시점(예: 제2 시점 이후의 시점)에서 제1 어군이 출현할 확률이 가장 높은 제3 위치를 연결 즉, 제1 위치, 제2 위치 및 제3 위치를 연결하여 제1 어군에 대한 이동 경로를 예측할 수 있다. In various embodiments, the computing device 100 may predict the movement path of the fish group by using the fish group appearance probability extracted using the pre-learned artificial intelligence model. For example, the computing device 100 may display the first fish group at a first position and a second time point (eg, a time point after the first time point) at a first time point where the probability that the first fish group appears at the first time point is highest in the predetermined sea area. The second position with the highest probability of appearance and the third position with the highest probability of appearance of the first fish group at a third time point (eg, a time point after the second time point) are connected, that is, the first position, the second position, and A movement path for the first fish group may be predicted by linking the third location.

다양한 실시예에서, 컴퓨팅 장치(100)는 기 학습된 인공지능 모델을 이용하여 추출된 어군 출현 확률을 이용하여, 제1 어군이 출현할 가능성이 높은 제1 위치에서의 환경 정보(예: 지리적 특정, 수온 변화, 태풍 등)를 수집하고, 이를 분석하여 제1 어군의 이동 방향을 예측할 수 있으며, 이를 이용하여 제1 어군의 이동 경로를 예측할 수 있다.In various embodiments, the computing device 100 uses the fish group appearance probability extracted using the pre-trained artificial intelligence model to provide environmental information (eg, geographic specificity) at a first location where the first fish group is highly likely to appear. , water temperature change, typhoon, etc.) can be collected and analyzed to predict the movement direction of the first fish group, and use this to predict the movement path of the first fish group.

다양한 실시예에서, 컴퓨팅 장치(100)는 환경 정보를 이용하여 어군 출현 확률과 어군의 이동 경로를 보정할 수 있다.In various embodiments, the computing device 100 may use the environment information to correct the fish group appearance probability and the fish group movement path.

먼저, 컴퓨팅 장치(100)는 소정의 해역에 대한 환경 정보(예: 날씨, 기준 시점 대비 수온의 변화량, 기준 시점 대비 풍량의 변화량, 지리적 변화 등)를 기 학습된 인공지능 모델에 추가적으로 입력하여, 어군 출현 확률을 보정할 수 있다.First, the computing device 100 additionally inputs environmental information (eg, weather, change in water temperature compared to the reference point, change in wind volume compared to the reference point, geographic change, etc.) for a predetermined sea area into the pre-learned artificial intelligence model, You can correct the probability of appearing fish.

다음으로, 컴퓨팅 장치(100)는 소정의 해역에 대한 환경 정보를 이용하여 어군의 이동 경로를 보정할 수 있다. 이때, 컴퓨팅 장치(100)는 예측된 이동 경로에 기반한 단위 시간별 어군의 위치 각각을 기준으로 소정의 범위 내의 환경 정보를 이용하여 어군의 이동 경로를 보정할 수 있다.Next, the computing device 100 may correct the movement path of the fish group by using the environment information on the predetermined sea area. In this case, the computing device 100 may correct the movement path of the fish group by using environmental information within a predetermined range based on each position of the fish group per unit time based on the predicted movement path.

어군의 이동 경로는 지리적 위치나 지형에 따라 결정되나, 이동 경로를 변화시킴에 있어서 이러한 환경적인 요인(예: 수온의 변화)이 주요하게 작용하기 때문에, 수중 데이터뿐만 아니라 이러한 환경적인 요인을 함께 고려하여 어군의 이동 경로를 보정함으로써, 보다 정확한 결과를 도출할 수 있다.Although the migration route of fish groups is determined by geographic location or topography, these environmental factors (eg, changes in water temperature) play a major role in changing the migration route, so consider these environmental factors as well as underwater data. By correcting the movement path of the fish group, more accurate results can be derived.

다양한 실시예에서, 컴퓨팅 장치(100)는 소정의 해역에 대한 어군 출현 확률에 대한 정보를 사용자에게 제공하고, 어군 출현 확률에 대한 정보를 제공한 것에 대한 응답으로 사용자로부터 피드백 정보를 입력받을 수 있다. 예를 들어, 컴퓨팅 장치(100)는 어군 출현 확률 및 어군의 이동 경로가 표시된 소정의 해역에 대한 지도 데이터를 출력하는 UI를 제공할 수 있고, UI를 통해 사용자로부터 피드백 정보를 입력받을 수 있다.In various embodiments, the computing device 100 may provide the user with information on the probability of appearance of fish groups in a predetermined sea area, and may receive feedback information from the user in response to providing information on the probability of appearance of fish groups. . For example, the computing device 100 may provide a UI for outputting map data for a predetermined sea area in which a fish group appearance probability and a movement path of a fish group are displayed, and may receive feedback information from a user through the UI.

여기서, 피드백 정보는, 사용자가 컴퓨팅 장치(100)에 의해 추출된 어군 출현 확률과 어군의 이동 경로를 실제로 검증함으로써 도출되는 정보로서, 컴퓨팅 장치(100)에 의해 추출된 결과값이 정확/부정확한지 여부, 어느 정도로 정확/부정확한지 여부에 대한 정보를 포함할 수 있다. 예를 들어, 사용자는 컴퓨팅 장치(100)로부터 제공된 어군 출현 확률과 어군의 이동 경로에 대한 응답으로, 해당 위치에서 출현할 가능성이 높은 어군이 실제로 출현하는지 여부, 해당 위치에서 출현할 가능성이 없는 어군이 출현되는지 여부, 해당 어군이 예측된 경로대로 이동하는지 여부 등을 포함하는 피드백 정보를 입력할 수 있다.Here, the feedback information is information derived by the user actually verifying the fish group appearance probability extracted by the computing device 100 and the movement path of the fish group, and whether the result value extracted by the computing device 100 is correct/inaccurate. It may include information about whether or not it is correct or to what extent it is incorrect. For example, in response to the fish group appearance probability and the movement path of the fish group provided from the computing device 100 , the user may determine whether a fish school likely to appear at the location actually appears, and a fish group unlikely to appear at the location. It is possible to input feedback information including whether .

이후, 컴퓨팅 장치(100)는 사용자로부터 입력된 피드백 정보를 이용하여 인공지능 모델의 신뢰도를 산출할 수 있고, 산출된 신뢰도에 기초하여 인공지능 모델을 재학습시킬 수 있다. Thereafter, the computing device 100 may calculate the reliability of the artificial intelligence model by using the feedback information input from the user, and may retrain the artificial intelligence model based on the calculated reliability.

예를 들어, 컴퓨팅 장치(100)는 사용자로부터 텍스트 형태의 피드백 정보를 입력받을 수 있고, 텍스트 형태의 피드백 정보를 분석(예: OCR 분석)하여 하나 이상의 키워드를 추출할 수 있으며, 추출된 하나 이상의 키워드에 대한 속성(예: 긍정, 부정)을 판단하고, 판단된 하나 이상의 키워드에 대한 속성에 따라 신뢰도를 산출(예: 긍정의 속성을 가지는 키워드와 부정의 속성을 가지는 키워드의 개수의 차이를 이용하여 신뢰도를 산출)할 수 있다. 그러나, 이에 한정되지 않고, 피드백 정보에 기반하여 인공지능 모델의 신뢰도를 산출하는 다양한 방법이 적용될 수 있다.For example, the computing device 100 may receive feedback information in text form from a user, analyze the feedback information in text form (eg, OCR analysis) to extract one or more keywords, and may extract one or more keywords. Determining attributes (eg, positive, negative) for a keyword, and calculating reliability according to the determined attributes for one or more keywords (eg, using the difference between the number of keywords with positive attributes and keywords with negative attributes) to calculate the reliability). However, the present invention is not limited thereto, and various methods for calculating the reliability of the artificial intelligence model based on the feedback information may be applied.

또한, 컴퓨팅 장치(100)는 산출된 신뢰도 점수가 기 설정된 기준 점수 미만일 경우, 인공지능 모델을 재학습 시킬 수 있다. 이때, 컴퓨팅 장치(100)는 인공지능 모델에 대한 신뢰도 점수가 기 설정된 기준 점수 이상이 될 때까지 별도의 제어명령이 없더라도 인공지능 모델을 재학습시킬 수 있다.Also, when the calculated reliability score is less than a preset reference score, the computing device 100 may re-learn the artificial intelligence model. In this case, the computing device 100 may re-learn the artificial intelligence model even without a separate control command until the reliability score for the artificial intelligence model is equal to or greater than the preset reference score.

다양한 실시예에서, 컴퓨팅 장치(100)는 산출된 신뢰도 점수가 기 설정된 기준 점수 미만일 때, 산출된 신뢰도 점수의 크기에 따라 인공지능 모델의 재학습 강도를 결정할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 신뢰도 점수가 제1 점수일 경우의 재학습 강도를 제1 점수보다 높은 제2 점수일때보다 더 높은 강도를 가지도록 설정할 수 있다. In various embodiments, when the calculated confidence score is less than a preset reference score, the computing device 100 may determine the re-learning intensity of the artificial intelligence model according to the size of the calculated confidence score. For example, the computing device 100 may set the re-learning intensity when the confidence score is the first score to have a higher intensity than when the second score is higher than the first score.

여기서, 재학습 강도는 학습을 위해 사용하는 학습 데이터의 범위, 학습 데이터를 이용하여 재학습을 수행하는 횟수 및 주기에 관한 것일 수 있으며, 더 높은 강도를 가지는 것은 낮은 재학습 강도 대비 학습 데이터의 범위가 넓고, 재학습을 수행하는 횟수가 많은 것(주기가 짧은 것)을 의미할 수 있다.Here, the re-learning intensity may relate to the range of learning data used for learning, the number and period of re-learning using the learning data, and having a higher intensity is the range of the learning data compared to the low re-learning intensity. is wide and may mean that the number of times of re-learning is high (short cycle).

다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 사용자에게 소정의 해역에 대한 어군 출현 확률에 대한 정보를 제공함으로써, 복수의 사용자 각각으로부터 복수의 피드백 정보를 입력받되, 복수의 사용자 각각의 속성에 따라 복수의 피드백 정보 각각에 가중치를 부여하고, 가중치가 부여된 피드백 정보를 이용하여 인공지능 모델의 신뢰도를 산출할 수 있다.In various embodiments, the computing device 100 receives a plurality of pieces of feedback information from each of the plurality of users by providing information on the probability of appearance of fish groups in a predetermined sea area to a plurality of users, Accordingly, a weight may be given to each of the plurality of pieces of feedback information, and the reliability of the artificial intelligence model may be calculated using the weighted feedback information.

예를 들어, 사용자가 컴퓨팅 장치(100)에 의해 제공된 어군 출현 확률에 대한 정보를 이용하여 낚시를 하고, 낚시의 결과를 피드백 정보로서 입력(예: 포획한 어군에 대한 인증 사진, 영상 등 업로드)하는 것 보다, 어군 출현 확률에 대한 정보를 토대로 보다 전문화된 장비(예: 레이더)를 이용하여 어군을 탐지함으로써 도출되는 결과를 더 신뢰할 수 있다. 즉, 개개인들 어군 출현 확률에 대한 정보에 기초하여 소량의 물고기를 포획한 결과보다 전문화된 장비를 이용하여 어군 출현 확률에 대한 정보를 토대로 다량의 물고기를 탐지한 결과가 인공지능 모델의 성능을 판단함에 있어서 더욱 신뢰도 높은 자료일 수 있다.For example, the user fishes using the information on the probability of appearance of a fish group provided by the computing device 100 , and inputs the result of fishing as feedback information (eg, uploads an authentication photo, video, etc. for the captured fish) Rather, the results obtained by detecting fish groups using more specialized equipment (eg, radar) based on information on the probability of appearance of fish groups can be more reliable. In other words, the performance of the AI model is judged by the result of detecting a large number of fish based on information on the probability of appearance of a fish group using specialized equipment rather than the result of catching a small amount of fish based on the information on the probability of individual fish group appearance. It may be a more reliable data in doing so.

따라서, 컴퓨팅 장치(100)는 인공지능 모델의 성능을 판단함에 있어서 신뢰도가 높은 피드백 정보(예: 전문화된 장비 등을 이용한 피드백 정보)에 대하여 신뢰도가 낮은 피드백 정보(예: 개개인이 입력한 피드백 정보) 대비 높은 가중치가 부여되도록 함으로써, 인공지능 모델의 성능을 보다 정확하게 판단(예: 인공지능 모델의 신뢰도를 보다 정확하게 산출)할 수 있다.Accordingly, in determining the performance of the artificial intelligence model, the computing device 100 determines feedback information with low reliability (eg, feedback information using specialized equipment) with high reliability (eg, feedback information input by an individual). ), it is possible to more accurately judge the performance of the AI model (eg, more accurately calculate the reliability of the AI model).

다양한 실시예에서, 컴퓨팅 장치(100)는 소정의 해역에 대한 어군 출현 확률에 기초하여, 소정의 해역 내의 특정 위치에서 출현 가능성이 높은 제1 어군에 대한 정보를 사용자에게 제공할 수 있고, 소정의 해역 내의 특정 위치에서 출현 가능성이 높은 제1 어군에 대한 정보를 제공한 것에 대한 응답으로, 사용자로부터 특정 위치에서 제1 어군을 포획한 것에 관한 정보를 포함하는 피드백 정보를 입력받는 경우, 사용자에게 소정의 리워드를 제공할 수 있다.In various embodiments, the computing device 100 may provide the user with information on the first fish group that is highly likely to appear in a specific location in the predetermined sea area, based on the fish group appearance probability in the predetermined sea area, In response to providing information on a first fish group that is highly likely to appear at a specific location in the sea area, when feedback information including information on capturing the first fish group at a specific location is received from the user, the user is given a predetermined can provide rewards.

예를 들어, 컴퓨팅 장치(100)는 사용자로부터 어군의 종류(예: 고등어)를 입력받는 경우 소정의 해역 내에서 고등어가 출현할 확률이 가장 높은 위치에 대한 정보를 제공하거나, 소정의 해역 내의 특정 위치를 입력받는 경우(또는 사용자 단말(200)의 GPS 모듈을 통한 위치 정보 수집) 특정 위치에서 출현할 가능성이 가장 높은 어군의 종류에 대한 정보를 제공할 수 있다.For example, when receiving a type of fish group (eg, mackerel) from a user, the computing device 100 provides information on a location where mackerel appears most likely in a predetermined sea area, or provides information on a specific location within a predetermined sea area. When a location is input (or location information is collected through the GPS module of the user terminal 200), information on the type of fish group most likely to appear in a specific location may be provided.

이후, 컴퓨팅 장치(100)는 사용자가 해당 위치에서 해당 어군을 포획한 것을 포함하는 피드백 정보(예: 인증사진, 인증영상 등)를 입력받는 경우, 해당 피드백 정보를 입력한 사용자에게 소정의 리워드를 제공할 수 있다.Thereafter, when the user receives feedback information (eg, authentication photo, authentication image, etc.) including the user capturing the corresponding group of fish at the corresponding location, the computing device 100 provides a predetermined reward to the user who has input the corresponding feedback information. can provide

여기서, 소정의 리워드는, 포인트일 수 있다. 또한, 포인트는 컴퓨팅 장치(100)가 제공하는 인공지능 모델을 이용한 어군 탐지 서비스를 이용함에 있어서 사용가능한 가상의 화폐(예: 어군 출현 확률 및 어군의 이동 경로 예측을 위해 사용)일 수 있으나, 이에 한정되지 않는다.Here, the predetermined reward may be a point. In addition, the point may be a virtual currency (eg, used to predict the probability of the fish group and the movement path of the fish group) that can be used in using the fish detection service using the artificial intelligence model provided by the computing device 100, but in this not limited

다양한 실시예에서, 컴퓨팅 장치(100)는 소정의 해역에 대한 어군 출현 확률 및 어군의 이동 경로에 기초하여, 소정의 해역 내에 위치하는 복수의 사용자들에게 콘텐츠를 제공할 수 있고, 제공된 콘텐츠를 수행한 사용자에게 소정의 리워드를 제공할 수 있다.In various embodiments, the computing device 100 may provide content to a plurality of users located in a predetermined sea area based on the fish population appearance probability and the fish population movement path in the predetermined sea area, and perform the provided content A predetermined reward may be provided to one user.

예를 들어, 컴퓨팅 장치(100)는 소정의 해역 내의 제1 위치에서 고등어 출현 확률이 기 설정된 확률 이상인 것으로 판단되는 경우, "제1 위치에서 고등어를 포획하고 인증사진을 업로드하세요"와 같은 콘텐츠를 생성하여 제1 위치 인근에 위치한 복수의 사용자들에게 제공할 수 있다.For example, if the computing device 100 determines that the probability of appearance of mackerel at the first location in the predetermined sea area is equal to or greater than the preset probability, "Catch the mackerel at the first location and upload the authentication photo" content It can be created and provided to a plurality of users located near the first location.

이후, 컴퓨팅 장치(100)는 해당 콘텐츠를 제공받은 사용자로부터 콘텐츠를 수행한 결과를 입력받는 경우 즉, 사용자로부터 제1 위치에서 고등어를 포획한 인증 사진이 업로드될 경우, 해당 사용자에게 소정의 리워드를 제공할 수 있다. 이를 통해, 사용자들이 보다 적극적으로 피드백 정보를 입력하도록 하여 인공지능 모델의 성능을 향상시킬 수 있다.Then, when the computing device 100 receives the result of performing the content from the user who has been provided with the corresponding content, that is, when the user uploads an authentication photo of mackerel caught at the first location, the computing device 100 provides a predetermined reward to the user. can provide Through this, the performance of the AI model can be improved by allowing users to more actively input feedback information.

다양한 실시예에서, 컴퓨팅 장치(100)는 사용자의 요청에 따라 특정 어군의 출현 확률과 특정 어군의 이동 경로에 대한 정보를 예측하여 사용자에게 제공하되, 사용자의 등급에 따라 제공 가능한 어군의 종류 및 개수를 결정할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 사용자가 가장 낮은 등급인 제1 등급일 경우, 한 종류의 어군에 대한 출현 확률과 이동 경로에 대한 정보를 제공할 수 있고, 사용자가 제1 등급보다 높은 제2 등급일 경우, 두 종류의 어군에 대한 출현 확률과 이동 경로에 대한 정보를 제공할 수 있다.In various embodiments, the computing device 100 predicts the appearance probability of a specific fish group and information on a movement path of the specific fish group according to the user's request and provides it to the user, but the types and number of the available fish groups according to the user's grade can be decided For example, when the user is a first grade, which is the lowest grade, the computing device 100 may provide information on the appearance probability and movement path for one type of fish group, and the user may provide information on the first grade higher than the first grade. In case of grade 2, it is possible to provide information on the appearance probability and migration route for two types of fish groups.

여기서, 사용자의 등급은 사용자가 지불한 포인트의 크기 또는 입력한 피드백 정보의 수에 따라 결정될 수 있다. 즉, 사용자가 자신의 등급을 상승시켜 더 다양한 어군에 대한 정보를 얻기 위해 적극적으로 피드백 정보를 입력하거나 피드백 정보를 입력함에 따라 얻은 포인트를 사용하는 등과 같이 게이미피케이션(Gamification) 요소를 적용함으로써, 사용자가 흥미를 가지고 더욱 적극적으로 컴퓨팅 장치(100)에서 제공하는 서비스를 이용하도록 할 뿐만 아니라, 사용자가 적극적으로 입력하는 피드백 정보를 통해 인공지능 모델의 성능을 더욱 향상시킬 수 있다.Here, the user's grade may be determined according to the size of points paid by the user or the number of input feedback information. That is, by applying the gamification factor, such as by actively inputting feedback information or using points obtained by inputting feedback information, the user increases his/her rating to obtain information on more diverse fish groups, In addition to allowing the user to more actively use the service provided by the computing device 100 with interest, the performance of the artificial intelligence model may be further improved through feedback information actively input by the user.

전술한 인공지능 모델을 이용한 어군 탐지 방법은 도면에 도시된 순서도를 참조하여 설명하였다. 간단한 설명을 위해 인공지능 모델을 이용한 어군 탐지 방법은 일련의 블록들로 도시하여 설명하였으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 본 명세서에 도시되고 시술된 것과 상이한 순서로 수행되거나 또는 동시에 수행될 수 있다. 또한, 본 명세서 및 도면에 기재되지 않은 새로운 블록이 추가되거나, 일부 블록이 삭제 또는 변경된 상태로 수행될 수 있다.The fish detection method using the aforementioned artificial intelligence model has been described with reference to the flowchart shown in the drawings. For a simple explanation, the fish detection method using the artificial intelligence model has been described by showing a series of blocks, but the present invention is not limited to the order of the blocks, and some blocks are performed in an order different from that shown and operated in this specification or may be performed simultaneously. In addition, new blocks not described in the present specification and drawings may be added, or some blocks may be deleted or changed.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.As mentioned above, although embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can realize that the present invention can be embodied in other specific forms without changing its technical spirit or essential features. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

100 : 어군 탐지 장치(컴퓨팅 장치)
200 : 사용자 단말
300 : 외부 서버
400 : 네트워크100: fish detection device (computing device)
200: user terminal
300 : external server
400: network

Claims

A method performed by a computing device, comprising:
collecting underwater data for a predetermined sea area;
Visualizing the collected underwater data;
extracting the probability of appearance of fish in the predetermined sea area by using the visualized underwater data as an input of a pre-learned artificial intelligence model;
providing information on the probability of appearance of fish groups in the extracted predetermined sea area to a user, and receiving feedback information from the user in response to providing information on the probability of appearance of fish groups; and
calculating the reliability of the artificial intelligence model by using the input feedback information, and re-learning the artificial intelligence model based on the calculated reliability;
The step of receiving the feedback information includes:
providing the user with information on a first fish group having the highest appearance probability at a specific location within the predetermined sea area based on the extracted fish group appearance probability in the predetermined sea area; and
Feedback information including information about the detection of the first fish group in the specific location from the user in response to providing information on the first fish group having the highest appearance probability at the specific location in the predetermined sea area When receiving the input, comprising the step of providing a predetermined reward to the user,
The step of re-learning the artificial intelligence model is,
A plurality of users receive a plurality of pieces of feedback information from each of the plurality of users by providing information on a first fish group having the highest appearance probability at the specific location, based on the method of detecting a first fish group of each of the plurality of users calculating the reliability of each of the plurality of users; and
A weight for each of the plurality of pieces of feedback information is determined using the calculated reliability of each of the plurality of users, the determined weight is given to each of the pieces of feedback information, and the weighted feedback information is used. to calculate the reliability of the artificial intelligence model,
A method of fish detection using an artificial intelligence model.

According to claim 1,
The step of extracting the probability of appearance of the fish group,
predicting a movement path for a fish group having the extracted fish group appearance probability equal to or greater than a reference probability by using the pre-learned artificial intelligence model;
Predicting the movement path comprises:
The predicted movement path using environmental information within a predetermined range based on each position of the fish group for each unit time based on the predicted movement path, wherein the environment information includes at least one of information on weather, water temperature, and wind volume. Comprising the step of correcting
A method of fish detection using an artificial intelligence model.

According to claim 1,
collecting underwater data for one or more sea areas, wherein the underwater data for the one or more sea areas includes at least one of turbidity, depth, and water temperature of water for each of the one or more sea areas;
generating an image by visualizing the underwater data for the collected one or more sea areas; and
generating training data by labeling at least one of a location of a fish group appearing in the one or more sea areas on the generated image, a type of the fish group, weather, a season, and information on the one or more sea areas on the generated image, and the generated learning data Further comprising the step of learning the artificial intelligence model using
A method of fish detection using an artificial intelligence model.

4. The method of claim 3,
Creating the image includes:
It includes the step of generating a plurality of images according to the movement path of the fish group that appeared in the first sea area,
The step of learning the artificial intelligence model is,
Generating one training data by grouping the plurality of generated images, comprising the step of learning the artificial intelligence model by using the always generated one training data,
A method of fish detection using an artificial intelligence model.

delete

According to claim 1,
The step of collecting underwater data for the predetermined sea area,
Collecting underwater data for the predetermined sea area by using a fish detection module, wherein the fish detection module includes an illuminance sensor, an IR filter, a pressure sensor, a sonic sensor, a temperature sensor, and at least one fisheye lens and the fish school detection which includes a weight adjustment unit for adjusting the weight of the module, comprising the step of,
A method of fish detection using an artificial intelligence model.

processor;
network interface;
Memory; and
A computer program loaded into the memory and executed by the processor,
The computer program is
instructions for collecting underwater data for a predetermined sea area;
instructions for visualizing the collected underwater data;
instructions for extracting the probability of appearance of fish in the predetermined sea area by using the visualized underwater data as an input of a pre-learned artificial intelligence model;
an instruction for providing information on the probability of appearance of fish groups in the extracted predetermined sea area to a user, and receiving feedback information from the user in response to providing information on the probability of appearance of fish groups; and
Comprising instructions for calculating the reliability of the artificial intelligence model by using the input feedback information, and re-learning the artificial intelligence model based on the calculated reliability,
The instruction for receiving the feedback information is,
instructions for providing, to the user, information on a first fish group having the highest appearance probability at a specific location in the predetermined sea area based on the extracted fish group appearance probability in the predetermined sea area; and
In response to providing information on the first fish group having the highest appearance probability at the specific location in the predetermined sea area, feedback information including information about the first fish group being caught at the specific location from the user In the case of receiving an input, including instructions for providing a predetermined reward to the user,
The instructions for re-learning the artificial intelligence model are,
A plurality of users receive a plurality of pieces of feedback information from each of the plurality of users by providing information on the first fish group with the highest probability of appearance at the specific location, based on the first fish group detection method of each of the plurality of users instructions for calculating the reliability of each of the plurality of users; and
A weight for each of the plurality of pieces of feedback information is determined using the calculated reliability of each of the plurality of users, the determined weight is given to each of the pieces of feedback information, and the weighted feedback information is used. to include instructions for calculating the reliability of the artificial intelligence model,
A fish detection device using an artificial intelligence model.

combined with a computing device,
collecting underwater data for a predetermined sea area;
Visualizing the collected underwater data;
extracting the probability of appearance of fish in the predetermined sea area by using the visualized underwater data as an input of a pre-learned artificial intelligence model;
providing information on the probability of appearance of fish groups in the extracted predetermined sea area to a user, and receiving feedback information from the user in response to providing information on the probability of appearance of fish groups; and
calculating the reliability of the artificial intelligence model by using the input feedback information, and re-learning the artificial intelligence model based on the calculated reliability;
The step of receiving the feedback information includes:
providing, to the user, information on a first fish group having the highest appearance probability at a specific location in the predetermined sea area based on the extracted fish group appearance probability in the predetermined sea area; and
Feedback information including, from the user, information about the capture of the first fish group at the specific location in response to providing information on the first fish group having the highest appearance probability at the specific location in the predetermined sea area When receiving the input, comprising the step of providing a predetermined reward to the user,
The step of re-learning the artificial intelligence model is,
A plurality of users receive a plurality of pieces of feedback information from each of the plurality of users by providing information on the first fish group with the highest probability of appearance at the specific location, based on the first fish group detection method of each of the plurality of users calculating the reliability of each of the plurality of users; and
A weight for each of the plurality of pieces of feedback information is determined using the calculated reliability of each of the plurality of users, the determined weight is given to each of the pieces of feedback information, and the weighted feedback information is used. stored in a computer-readable recording medium to execute the step of calculating the reliability of the artificial intelligence model,
A computer program recorded on a computer-readable recording medium.