KR102604114B1 - Method for Detecting Fish in Sonar Video using Deep Learning - Google Patents
Method for Detecting Fish in Sonar Video using Deep Learning Download PDFInfo
- Publication number
- KR102604114B1 KR102604114B1 KR1020220006307A KR20220006307A KR102604114B1 KR 102604114 B1 KR102604114 B1 KR 102604114B1 KR 1020220006307 A KR1020220006307 A KR 1020220006307A KR 20220006307 A KR20220006307 A KR 20220006307A KR 102604114 B1 KR102604114 B1 KR 102604114B1
- Authority
- KR
- South Korea
- Prior art keywords
- fish
- image
- deep learning
- sonar
- area
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 23
- 241000251468 Actinopterygii Species 0.000 claims abstract description 179
- 238000001514 detection method Methods 0.000 claims abstract description 60
- 238000013136 deep learning model Methods 0.000 claims abstract description 34
- 239000003086 colorant Substances 0.000 claims abstract description 6
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000002372 labelling Methods 0.000 abstract description 4
- 239000000284 extract Substances 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 241001474374 Blennius Species 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/96—Sonar systems specially adapted for specific applications for locating fish
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52053—Display arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Abstract
본 발명은 제어 모듈과 딥러닝 모듈과 소나 센서 및 디스플레이 모듈을 포함하는 어류 검출 장치를 이용한 어류 검출 방법으로서, 상기 제어 모듈이 상기 소나 센서가 음파 펄스를 수신하여 생성하는 소나 영상을 캡쳐하여 어류를 포함하는 원본 이미지를 생성하는 원본 이미지 생성 단계와, 상기 딥러닝 모듈이 상기 원본 이미지에서 상기 어류가 존재하는 어류 영역을 레이블링하여 레이블드 이미지를 생성하는 레이블드 이미지 생성 단계와, 상기 딥러닝 모듈이 상기 원본 이미지에서 상기 어류 영역 및 상기 어류영역을 제외한 잔여 영역을 서로 다른 색상으로 표시하는 마스크를 생성하는 마스크 생성 단계와, 상기 딥러닝 모듈이 상기 레이블드 이미지와 상기 마스크를 이용하여 딥러닝 모델을 학습하는 딥러닝 모델 학습 단계와,
상기 제어 모듈이 상기 소나 센서가 촬영하는 소나 영상에 상기 딥러닝모델을 적용하여 어류를 검출하는 어류 검출 단계 및 검출된 상기 어류만을 포함하는 어류 검출 이미지를 표시하는 상기 디스플레이 모듈에 표시하는 어류 표시 단계를 포함하는 딥러닝을 이용한 소나 영상내의 어류 검출 방법을 개시한다.The present invention is a fish detection method using a fish detection device including a control module, a deep learning module, a sonar sensor, and a display module, wherein the control module captures a sonar image generated by the sonar sensor by receiving a sound wave pulse to detect fish. A labeled image generation step in which the deep learning module generates a labeled image by labeling a fish area in which the fish exists in the original image, and the deep learning module A mask generation step of generating a mask that displays the fish area and the remaining area excluding the fish area in the original image in different colors, and the deep learning module creates a deep learning model using the labeled image and the mask. A deep learning model learning step,
A fish detection step in which the control module detects fish by applying the deep learning model to the sonar image captured by the sonar sensor, and a fish display step in which the fish detection image including only the detected fish is displayed on the display module. Disclosed is a method for detecting fish in a sonar image using deep learning including.
Description
본 발명은 딥러닝을 이용하여 소나 영상내에서 어류를 검출하는 방법에 관한 것이다.The present invention relates to a method for detecting fish in a sonar image using deep learning.
소나(sonar) 장치는 음파 펄스를 물을 통해 전송하고 음파 펄스가 어류, 식물, 또는 해저면과 같은 물체에 접촉한 후 반사되는 음파 펄스를 수신하면서 반사되는데 걸리는 시간을 측정하여 물체의 위치를 판단하게 된다. 또한, 소나 장치는 반사되는 음파 펄스의 강도를 측정하여 물체의 종류를 구분할 수 있다. 상기 소나 장치는 수신되는 음파 펄스에 의한 소자 이미지를 형성할 수 있다.A sonar device determines the location of an object by transmitting pulses of sound waves through the water and measuring the time it takes for the sound wave pulses to bounce off objects such as fish, plants, or the sea floor. I do it. Additionally, the sonar device can distinguish the type of object by measuring the intensity of the reflected sound wave pulse. The sonar device can form a device image using received sound wave pulses.
상기 어류는 대부분 소나 이미지 상에서 아치 형상으로 나타날 수 있다. 그 이유는 소나의 원뿔형 범위에서 어류의 양끝에서의 반사값이 중간 지점보다 거리가 멀기 때문이다. 또한, 상기 어류는 위치(또는 깊이)에 따라 소나 영상내에서 형상의 크기가 변하게 된다. 따라서, 상기 소나 영상내에서 어류의 크기(또는 종류)를 찾는 것에 주의해야 한다.Most of the fish may appear in an arch shape on sonar images. This is because the reflections at either end of the fish's cone are further away than the midpoint of the sonar's cone. Additionally, the size of the shape of the fish changes in the sonar image depending on the location (or depth). Therefore, care must be taken to find the size (or type) of fish in the sonar image.
이미지 프로세싱 기법은 영상 전처리 기술과 특징점 추출을 통하여 물체 (어류)를 인식하는 방법이지만, 수면, 바닥, 벽면에서 반사되는 반사파에 의해 영상의 잡음이 심하여 안정적인 어류 검출을 어렵게 할 수 있다. 따라서, 다양한 기법을 적용하여 정확하게 어류를 검출하고자 하는 시도가 진행되고 있다. 상기 어류 검출에서 사용되는 기법으로 메디안 필터(Median filter)등으로 이미지에서 노이즈를 제거하여 물체 영역을 추출하는 필터 노이즈 제거 기법이 적용될 수 있다. 상기 필터 노이즈 제거 기법은 작은 노이즈의 제거에는 효과적이나,소나 이미지와 같이 노이즈가 클 경우는 영상 왜곡이 심해져 어류 검출에 오류가 발생할 수 있다.The image processing technique is a method of recognizing objects (fish) through image pre-processing technology and feature point extraction, but the noise in the image is severe due to reflected waves reflected from the water, floor, and walls, which can make stable fish detection difficult. Therefore, attempts are being made to accurately detect fish by applying various techniques. As a technique used in fish detection, a filter noise removal technique that extracts the object area by removing noise from the image using a median filter or the like may be applied. The filter noise removal technique is effective in removing small noise, but when the noise is large, such as in a sonar image, image distortion may become severe and errors may occur in fish detection.
본 발명은 소나 이미지에서 어류를 보다 안정적으로 검출할 수 있는 딥러닝을 이용한 소나 영상내의 어류 검출 방법을 제공하는 것을 목적으로 한다.The purpose of the present invention is to provide a method for detecting fish in sonar images using deep learning, which can more reliably detect fish in sonar images.
본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법은 제어 모듈과 딥러닝 모듈과 소나 센서 및 디스플레이 모듈을 포함하는 어류 검출 장치를 이용한 어류 검출 방법으로서, 상기 제어 모듈이 상기 소나 센서가 음파 펄스를 수신하여 생성하는 소나 영상을 캡쳐하여 어류를 포함하는 원본 이미지를 생성하는 원본 이미지 생성 단계와, 상기 딥러닝 모듈이 상기 원본 이미지에서 상기 어류가 존재하는 어류 영역을 레이블링하여 레이블드 이미지를 생성하는 레이블드 이미지 생성 단계와, 상기 딥러닝 모듈이 상기 원본 이미지에서 상기 어류 영역 및 상기 어류영역을 제외한 잔여 영역을 서로 다른 색상으로 표시하는 마스크를 생성하는 마스크 생성 단계와, 상기 딥러닝 모듈이 상기 레이블드 이미지와 상기 마스크를 이용하여 딥러닝 모델을 학습하는 딥러닝 모델 학습 단계와, 상기 제어 모듈이 상기 소나 센서가 촬영하는 소나 영상에 상기 딥러닝모델을 적용하여 어류를 검출하는 어류 검출 단계 및 검출된 상기 어류만을 포함하는 어류 검출 이미지를 표시하는 상기 디스플레이 모듈에 표시하는 어류 표시 단계를 포함하는 것을 특징으로 한다.The method of detecting fish in a sonar image using deep learning of the present invention is a method of detecting fish using a fish detection device including a control module, a deep learning module, a sonar sensor, and a display module, wherein the control module uses the sonar sensor to transmit sound wave pulses. An original image generation step of capturing the received and generated sonar image to generate an original image including fish, and a label in which the deep learning module labels the fish area where the fish is present in the original image to generate a labeled image. A de-image generation step, a mask creation step in which the deep learning module generates a mask that displays the fish region and the remaining region excluding the fish region in the original image in different colors, and the deep learning module generates the labeled A deep learning model learning step of learning a deep learning model using an image and the mask, a fish detection step in which the control module detects fish by applying the deep learning model to the sonar image captured by the sonar sensor, and the detected fish. and a fish display step of displaying a fish detection image containing only the fish on the display module.
또한, 상기 딥러닝을 이용한 소나 영상내의 어류 검출 방법에서 상기 소나 영상은 바닥과 언덕을 포함하는 지형물 및 상기 어류를 포함하는 물체를 포함할 수 있다. Additionally, in the method for detecting fish in a sonar image using deep learning, the sonar image may include terrain including a bottom and a hill, and an object including the fish.
또한, 상기 레이블드 이미지 생성 단계는 시멘틱 세그멘테이션을 이용하여 상기 원본 이미지에서 모든 픽셀을 레이블링할 수 있다.Additionally, the labeled image generation step may label all pixels in the original image using semantic segmentation.
또한, 상기 마스크 생성 단계는 원본 이미지에 대하여 어류 영역에 대한 레이블을 이용하여 어류 영역에 대한 마스크를 생성할 수 있다.Additionally, in the mask creation step, a mask for the fish area may be created using a label for the fish area in the original image.
또한, 상기 마스크 생성 단계에서 상기 마스크는 상기 어류 영역을 흰색으로 표시하고 상기 잔여 영역을 검은색으로 표시할 수 있다.Additionally, in the mask creation step, the mask may display the fish area in white and the remaining area in black.
본 발명의 딥러닝을 이용한 원본 영상내의 어류 검출 방법은 소나 이미지로부터 생성되는 레이블드 이미지와 마스크드 시맨틱 세그멘테이션에 의한 마스크 이미지를 이용한 딥러닝에 기초하여 소나 이미지에서 어류를 검출하므로 주변 환경의 변화에 민감하지 않게 안정적으로 어류를 검출할 수 있다.The fish detection method in the original image using deep learning of the present invention detects fish in the sonar image based on deep learning using a labeled image generated from the sonar image and a mask image by masked semantic segmentation, so it is sensitive to changes in the surrounding environment. It can detect fish stably without being sensitive.
도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 소나 영상내의 어류 검출 방법을 위한 어류 검출 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝을 이용한 소나 영상내의 어류 검출 방법에 대한 공정 순서도이다.
도 3은 본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법에서 생성되는 원본 이미지이다.
도 4는 본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법에서 생성되는 레이블된 이미지이다.
도 5은 본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법에서 생성되는 마스크 이미지이다.Figure 1 is a configuration diagram of a fish detection device for a fish detection method in a sonar image using deep learning according to an embodiment of the present invention.
Figure 2 is a process flowchart for a method for detecting fish in a sonar image using deep learning according to an embodiment of the present invention.
Figure 3 is an original image generated by the fish detection method in a sonar image using deep learning of the present invention.
Figure 4 is a labeled image generated by the fish detection method in a sonar image using deep learning of the present invention.
Figure 5 is a mask image generated in the fish detection method in a sonar image using deep learning of the present invention.
이하에서 실시예와 첨부된 도면을 통하여 본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법에 대하여 보다 구체적으로 설명한다.Hereinafter, the method for detecting fish in a sonar image using deep learning of the present invention will be described in more detail through examples and the attached drawings.
먼저, 본 발명의 일 실시예에 따른 어류 검출 방법을 위한 어류 검출 장치에 대하여 개략적으로 설명한다. First, a fish detection device for a fish detection method according to an embodiment of the present invention will be briefly described.
도 1은 본 발명의 일 실시예에 따른 어류 검출 장치를 위한 어류 검출 장치의 구성도이다.1 is a configuration diagram of a fish detection device for a fish detection device according to an embodiment of the present invention.
상기 어류 검출 장치(100)는, 도 1을 참조하면, 제어 모듈(110)과 딥러닝 모듈(120)과 소나 센서(130) 및 디스플레이 모듈(140)을 포함할 수 있다. 상기 제어 모듈(110)과 딥러닝 모듈(120)은 일체로 형성될 수 있다.Referring to FIG. 1, the fish detection device 100 may include a control module 110, a deep learning module 120, a sonar sensor 130, and a display module 140. The control module 110 and the deep learning module 120 may be formed integrally.
상기 어류 검출 장치(100)는 본 발명의 일 실시예에 따른 어류 검출 방법에 적용될 수 있다. The fish detection device 100 can be applied to the fish detection method according to an embodiment of the present invention.
상기 제어 모듈(110)은 어류 검출 방법의 각 단계를 제어할 수 있다. 상기 제어 모듈(110)은 딥러닝 모델 학습을 제어할 수 있다. 상기 제어 모듈(110)은 소나 센서(130)의 작동을 제어할 수 있다. 상기 제어 모듈(110)은 소나 센서(130)로부터 소나 영상에 대한 신호를 수신할 수 있다. 또한, 상기 제어 모듈(110)은 촬영되는 소나 영상에서 원본 이미지를 추출할 수 있다. 상기 제어 모듈(110)은 검출된 어류에 대한 어류 검출 이미지를 생성할 수 있다.The control module 110 can control each step of the fish detection method. The control module 110 can control deep learning model learning. The control module 110 can control the operation of the sonar sensor 130. The control module 110 may receive a signal for a sonar image from the sonar sensor 130. Additionally, the control module 110 can extract the original image from the captured sonar image. The control module 110 may generate a fish detection image for the detected fish.
상기 제어 모듈(110)은 학습된 딥러닝 모델을 이용하여 촬영되는 소나 영상에서 실시간으로 어류 검출을 진행할 수 있다. 상기 제어 모듈(110)은 소나 영상을 실시간으로 분석하여 어류 검출을 진행할 수 있다. 또한, 상기 제어 모듈(110)은 실시간으로 어류 분류를 진행할 수 있다. The control module 110 can detect fish in real time from sonar images captured using a learned deep learning model. The control module 110 can detect fish by analyzing sonar images in real time. Additionally, the control module 110 can classify fish in real time.
상기 제어 모듈(110)은 별도의 저장 장치를 구비할 수 있다. 상기 저장 장치는 소나 센서(130)에서 전송되는 소나 영상을 저장할 수 있다. 또한, 상기 저장 장치는 딥러닝 모델 학습에 필요한 제반 정보를 저장할 수 있다. 또한, 상기 저장 장치는 학습된 딥러닝 모델을 저장할 수 있다.The control module 110 may be equipped with a separate storage device. The storage device can store sonar images transmitted from the sonar sensor 130. Additionally, the storage device can store all information necessary for learning a deep learning model. Additionally, the storage device can store the learned deep learning model.
상기 딥러닝 모듈(120)은 딥러닝 모델 학습을 진행할 수 있다. 상기 딥러닝 모듈(120)은 제어 모듈(110)과 연동되며, 소나 영상을 수신할 수 있다. 상기 딥러닝 모듈(120)은 소나 영상에서 원본 이미지를 추출하고, 레이블링 이미지와 마스크를 생성할 수 있다. 또한, 상기 딥러닝 모듈(120)은 생성된 레이블링 이미지와 마스크를 이용하여 딥러닝 모델을 학습할 수 있다. 상기 딥러닝 모듈(120)은 학습된 딥러닝 모델을 제어 모듈(110)로 전송할 수 있다.The deep learning module 120 can perform deep learning model training. The deep learning module 120 is linked to the control module 110 and can receive sonar images. The deep learning module 120 can extract the original image from the sonar image and create a labeling image and a mask. Additionally, the deep learning module 120 can learn a deep learning model using the generated labeling image and mask. The deep learning module 120 may transmit the learned deep learning model to the control module 110.
상기 소나 센서(130)는 바다 속에 위치하여 소나 영상을 위한 신호를 생성할 수 있다. 상기 소나 센서(130)는 음파 펄스를 물을 통해 전송하고, 어류, 식물, 또는 해저면과 같은 물체에 접촉한 후 반사되는 음파 펄스를 수신할 수 있다. 상기 소나 센서(130)는 수신되는 신호를 제어 모듈(110)로 전송할 수 있다. 상기 소나 센서(130)는 어류 검출에 사용되는 일반적인 센서로 형성될 수 있다. 상기 소나 센서(130)는 별도의 부유 장치(미도시)의 하단에 장착되어 수중에 위치할 수 있다. The sonar sensor 130 is located in the sea and can generate signals for sonar images. The sonar sensor 130 can transmit sound wave pulses through water and receive sound wave pulses that are reflected after contacting an object such as fish, plants, or the sea floor. The sonar sensor 130 may transmit the received signal to the control module 110. The sonar sensor 130 may be formed as a general sensor used to detect fish. The sonar sensor 130 may be mounted at the bottom of a separate floating device (not shown) and located underwater.
상기 디스플레이 모듈(140)은 영상 또는 이미지를 생성할 수 있는 일반적인 장치로 생성할 수 있다. 상기 디스플레이 모듈(140)은 2개로 형성될 수 있다. 상기 디스플레이 모듈(140)은 소나 영상을 표시하는 디스플레이 모듈(140)과 어류 검출 이미지를 표시하는 디스플레이 모듈(140)로 형성될 수 있다.The display module 140 can be created using a general device that can generate video or images. The display module 140 may be formed in two pieces. The display module 140 may be formed of a display module 140 that displays a sonar image and a display module 140 that displays a fish detection image.
다음은, 본 발명의 일 실시예에 따른 딥러닝을 이용한 소나 영상내의 어류 검출 방법에 대하여 설명한다. Next, a method for detecting fish in a sonar image using deep learning according to an embodiment of the present invention will be described.
도 2는 본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법에 대한 공정 순서도이다. 도 3은 본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법에서 생성되는 원본 이미지이다. 도 4는 본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법에서 생성되는 레이블된 이미지이다. 도 5는 본 발명의 딥러닝을 이용한 소나 영상내의 어류 검출 방법에서 생성되는 마스크 이미지이다.Figure 2 is a process flow chart for the method of detecting fish in a sonar image using deep learning of the present invention. Figure 3 is an original image generated by the fish detection method in a sonar image using deep learning of the present invention. Figure 4 is a labeled image generated by the fish detection method in a sonar image using deep learning of the present invention. Figure 5 is a mask image generated in the fish detection method in a sonar image using deep learning of the present invention.
본 발명의 일 실시예에 따른 딥러닝을 이용한 소나 영상내의 어류 검출 방법은, 도 2 내지 도 5를 참조하면, 원본 이미지 생성 단계(S10)와 레이블드 이미지 생성 단계(S20)와 마스크 생성 단계(S30)와 딥러닝 모델 학습 단계(S40)와 어류 검출 단계(S50) 및 어류 표시 단계(S60)를 포함할 수 있다.Referring to Figures 2 to 5, the method for detecting fish in a sonar image using deep learning according to an embodiment of the present invention includes an original image generation step (S10), a labeled image generation step (S20), and a mask generation step ( It may include a deep learning model learning step (S40), a fish detection step (S50), and a fish display step (S60).
상기 어류 검출 방법은 도 1의 어류 검출 장치(100)를 이용할 수 있다. 상기 어류 검출 방법은 사전에 소나 센서(130)에 취득한 소자 영상의 소나 이미지에서 레이블드 이미지와 마스크를 생성하여 딥러닝 모델을 형성할 수 있다. 또한, 상기 어류 검출 방법은 딥러닝 모델을 학습하고, 딥러닝 모델에 기초하여 소자 장치에서 생성되는 소나 이미지에서 어류를 검출할 수 있다. 여기서, 상기 소나 영상은 소나 센서(130)에 의하여 생성되는 영상이며, 소나 이미지는 소나 영상에서 특정 시각에 선택되는 이미지일 수 있다.The fish detection method may use the fish detection device 100 of FIG. 1. The fish detection method can form a deep learning model by generating a labeled image and a mask from the sonar image of the device image previously acquired by the sonar sensor 130. Additionally, the fish detection method can learn a deep learning model and detect fish from a sonar image generated by a device based on the deep learning model. Here, the sonar image is an image generated by the sonar sensor 130, and the sonar image may be an image selected from the sonar image at a specific time.
상기 어류 검출 방법은 통상적으로 사용되는 세그멘테이션(segmentation)과 달리 마스크드 시멘틱 세그멘테이션(masked semantic segmentation)을 사용할 수 있다. 상기 어류 검출 방법은 마스크드 시멘틱 세그멘테이션을 이용하므로 소나 영상내에서 다른 특징들을 억제하고 검출하고자 하는 어류의 특징을 강화시켜 어류를 정확하고도 안정적으로 검출할 수 있도록 할 수 있다. 또한, 상기 소나 영상내의 어류 검출 방법은 어류의 특징만 추출 가능하므로 어류의 크기로 보정할 수 있으며, 어류의 분류도 가능할 수 있다. 따라서, 상기 소나 영상내의 어류 검출 방법은 음파 펄스의 반사파 강도에 관계없이 바다의 바닥면의 일부와 어류의 일부가 유사한 특징을 가지는 점에 따라 나타날 수 있는 검출 오류를 감소시킬 수 있다.The fish detection method may use masked semantic segmentation, unlike commonly used segmentation. Since the fish detection method uses masked semantic segmentation, it is possible to accurately and stably detect fish by suppressing other features in the sonar image and strengthening the features of the fish to be detected. In addition, since the fish detection method in the sonar image can extract only the characteristics of the fish, it can be corrected according to the size of the fish, and classification of the fish can also be possible. Therefore, the fish detection method in the sonar image can reduce detection errors that may occur due to the fact that parts of the sea bottom and parts of fish have similar characteristics regardless of the intensity of the reflected wave of the sound wave pulse.
상기 어류 검출 방법은 다양한 어류에 대하여 적용될 수 있다. 상기 어류 검출 방법은 각 어류 별로 딥러닝 모델 학습이 진행되어 소나 이미지에 포함되어 있는 다양한 어류를 검출하는데 적용될 수 있다.The fish detection method can be applied to various fish. The fish detection method can be applied to detect various fish included in a sonar image by learning a deep learning model for each fish.
상기 원본 이미지 생성 단계(S10)는 소나 센서(130)가 음파 펄스를 수신하여 생성하는 소나 영상을 캡쳐하여 원본 이미지를 생성하는 단계이다. 상기 원본 이미지 생성 단계(S10)는 제어 모듈(110)에서 진행될 수 있다. 또는 상기 원본 이미지 생성 단계(S10)는 딥러닝 모듈(120)이 제어 모듈(110)로부터 소나 영상을 전송받아 원본 이미지를 생성할 수 있다. 상기 소나 센서(130)는 바다속에서 음파 펄스를 발사하고, 바닥 또는 언덕과 같은 지형물, 해초 또는 어류와 같은 물체에서 반사되는 음파 펄스를 수신하여 소나 영상을 생성할 수 있다. 상기 어류는 다양한 종류의 어류일 수 있으며, 소나 영상은 다양한 어류를 포함할 수 있다. 일 수 있다. 따라서, 상기 원본 이미지는 다양한 어류를 포함할 수 있다. 또한, 상기 원본 이미지는 어류별로 생성될 수 있다.The original image generation step (S10) is a step of generating an original image by capturing a sonar image generated by the sonar sensor 130 by receiving a sound wave pulse. The original image generation step (S10) may be performed in the control module 110. Alternatively, in the original image generation step (S10), the deep learning module 120 may receive a sonar image from the control module 110 and generate an original image. The sonar sensor 130 can generate a sonar image by emitting a sound wave pulse in the sea and receiving the sound wave pulse reflected from an object such as a bottom or hill, seaweed, or fish. The fish may be various types of fish, and the sonar image may include various fish. It can be. Accordingly, the original image may include various fish. Additionally, the original image may be generated for each fish.
상기 소나 영상은 모니터와 같은 디스플레이 장치에 표시될 수 있다. 상기 원본 이미지는 소나 영상에서 어류가 포함되어 있는 이미지를 캡쳐하여 생성할 수 있다. 따라서, 상기 원본 이미지는 어류 영역과 함께 바닥 또는 언덕과 같은 지형물이 포함될 수 있다. 상기 원본 이미지는 물체 또는 지형물에 따라 다른 색상으로 표시될 수 있다. 또한, 상기 원본 이미지는 어류별로 다른 색상으로 표시될 수 있다. The sonar image may be displayed on a display device such as a monitor. The original image can be created by capturing an image containing fish from a sonar image. Accordingly, the original image may include features such as the floor or hills along with the fish area. The original image may be displayed in different colors depending on the object or feature. Additionally, the original image may be displayed in different colors for each fish.
상기 레이블드 이미지 생성 단계(S20)는 딥러닝 모듈(120)이 원본 이미지에서 어류 영역을 레이블링하여 레이블드(labled) 이미지를 생성하는 단계이다. 상기 원본 이미지는 상기에서 언급한 바와 같이, 어류와 함께 해초와 같은 물체 또는 언덕과 같은 지형물을 포함할 수 있다. 상기 레이블드 이미지 생성 단계(S20)는 시멘틱 세그멘테이션을 이용하여 원본 이미지에서 모든 픽셀을 레이블링할 수 있다. 상기 시멘틱 세그멘테이션은 컨볼루셔널 신경망(Convolutional Neural Network)을 사용하여 진행될 수 있다. The labeled image generation step (S20) is a step in which the deep learning module 120 generates a labeled image by labeling the fish area in the original image. As mentioned above, the original image may include objects such as seaweed or terrain features such as hills along with fish. In the labeled image generation step (S20), all pixels in the original image can be labeled using semantic segmentation. The semantic segmentation may be performed using a convolutional neural network.
따라서, 상기 시멘틱 세그멘테이션은 픽셀 단위의 분류를 이용할 수 있다. 상기 시멘틱 세그멘테이션은 원본 이미지에 포함되어 있는 어류 영역을 레이블링할 수 있다. 상기 어류 영역은 어류가 위치하는 영역으로 소자 이미지에서 어류가 존재하는 영역이다. 또한, 상기 어류 영역은 각 어류별로 설정되어 레이블링할 수 있다.Therefore, the semantic segmentation can use pixel-level classification. The semantic segmentation can label the fish area included in the original image. The fish area is an area where fish are located and is an area where fish exist in the device image. Additionally, the fish area can be set and labeled for each fish.
상기 레이블드 이미지는, 도 3에서 보는 바와 같이, 어류에 대하여 경계선과 경계선 내의 색상을 갖는 어류 영역으로 표시할 수 있다. 상기 레이블드 이미지는 어류 영역과 어류 영역을 제외한 잔여 영역으로 구분될 수 있다. 상기 레이블드 이미지는 영상내의 다른 특징들이 모두 사라지고 어류의 특징만 남게 될 수 있다. 또한, 상기 레이블드 이미지는 각 어류별로 서로 다른 특징이 남게 될 수 있다. 따라서, 상기 레이블드 이미지를 이용하여 딥러닝 모델을 학습하게 되면, 주변 환경과 잡음을 한꺼번에 제거하고 어류의 특징을 검출할 수 있다.As shown in FIG. 3, the labeled image can be displayed as a fish area with a borderline for fish and a color within the borderline. The labeled image may be divided into a fish area and a remaining area excluding the fish area. In the labeled image, all other features in the image may disappear and only the features of the fish remain. Additionally, the labeled image may have different characteristics for each fish. Therefore, by learning a deep learning model using the labeled image, the surrounding environment and noise can be removed at once and the characteristics of the fish can be detected.
상기 마스크 생성 단계(S30)는 딥러닝 모듈(120)이 원본 이미지에서 어류 영역과 나머지 잔여 영역을 서로 다른 색상으로 표시하는 마스크를 생성하는 단계이다. 상기 어류 영역은 소나 이미지에 따라 1개 또는 복수 개로 존재할 수 있다. 상기 마스크는 시멘틱 세그멘테이션에 의한 레이블드 이미지를 이용하여 생성될 수 있다. 상기 마스크 생성 단계(S30)는 원본 이미지에 대하여 어류 영역에 대한 레이블을 이용하여 어류 영역에 대한 마스크를 생성할 수 있다.The mask generation step (S30) is a step in which the deep learning module 120 generates a mask that displays the fish area and the remaining area in the original image in different colors. The fish area may exist in one or multiple fish areas depending on the sonar image. The mask can be created using a labeled image through semantic segmentation. In the mask creation step (S30), a mask for the fish area can be created using the label for the fish area in the original image.
상기 마스크 생성 단계(S30)는 원본 이미지 내의 픽셀들중 분할 사전 정보의 분포 및 수치 등을 고려하여 각 픽셀 또는 복수의 픽셀들을 포함한 각 픽셀군들의 분할 사전 정보에 대한 신뢰도(confidence level)를 결정하고, 각 픽셀 별 또는 각 픽셀군 별 분할 사전 정보 및 신뢰도를 최종 분할 사전 정보를 설정할 때 함께 이용할 수 있다. 또한, 상기 마스크 생성 단계(S30)는 고려되는 어류 영역에 한하여 1의 값을 갖는 픽셀들을 마스크로 생성할 수 있다. 예를 들어, 상기 마스크 생성 단계(S30)는 영상내에 어류가 있는 경우, 마스크는 어류에 대응되는 마스크 영역을 1, 나머지 영역을 0의 값을 가지는 이미지를 생성할 수 있다. 상기 마스크는 어류를 흰색으로 표시하고 나머지 부분을 검은색으로 표시할 수 있다.The mask generation step (S30) determines the confidence level of the division prior information of each pixel or each pixel group including a plurality of pixels by considering the distribution and value of the division prior information among the pixels in the original image. , the division prior information and reliability for each pixel or each pixel group can be used together when setting the final division prior information. Additionally, the mask generation step (S30) may generate a mask using pixels with a value of 1 only for the fish area being considered. For example, in the mask creation step (S30), if there is a fish in the image, the mask may generate an image with the mask area corresponding to the fish having a value of 1 and the remaining areas having a value of 0. The mask can display the fish in white and the remaining parts in black.
상기 딥러닝 모델 학습 단계(S40)는 딥러닝 모듈(120)이 레이블드 이미지와 마스크를 이용하여 딥러닝 모델을 학습하는 단계이다. 상기 딥러닝 모델 학습 단계(S40)는 소나 이미지에서 생성되는 레이블드 이미지와 마스크를 이용하여 소나 이미지에서 어류 검출을 위한 딥러닝 모델을 학습할 수 있다. 여기서 상기 딥러닝 모델 학습은 딥러닝에 사용되는 일반적인 인공신경망을 이용하여 학습을 진행할 수 있다. 따라서, 상기 딥러닝 학습 모델은 어류에 대한 학습된 딥러닝 모델을 형성할 수 있다. 상기 딥러닝 모델 학습 단계(S40)는 다양한 어류에 대하여 딥러닝 모델 학습을 진행할 수 있다.The deep learning model learning step (S40) is a step in which the deep learning module 120 learns a deep learning model using a labeled image and a mask. In the deep learning model learning step (S40), a deep learning model for fish detection in the sonar image can be learned using the labeled image and mask generated from the sonar image. Here, the deep learning model learning can be performed using a general artificial neural network used in deep learning. Therefore, the deep learning model can form a learned deep learning model for fish. In the deep learning model learning step (S40), deep learning model learning can be performed for various fish.
상기 어류 검출 단계(S50)는 제어 모듈(110)이 소나 센서(130)가 촬영하는 소나 영상에 딥러닝 모델을 적용하여 소나 영상내의 어류를 검출하는 단계이다. 상기 어류 검출 단계(S50)는 실시간으로 촬영되는 소나 영상에서 소나 이미지를 캡쳐할 수 있다. 상기 어류 검출 단계(S50)는 캡쳐된 소나 이미지에 딥러닝 모델을 적용하여 소나 이미지에서 어류를 검출할 수 있다. 상기 어류 검출 단계(S50)는 복수개의 소나 이미지를 캡쳐하여 진행될 수 있다. 상기 어류 검출 단계(S50)는 복수 개의 소나 이미지를 소정 시간 간격으로 캡쳐하여 진행될 수 있다. 상기 어류 검출 단계(S50)는 학습된 딥러닝 모델을 이용하여 실시간으로 소나 영상에서 어류 검출을 진행할 수 있다. 또한, 상기 어류 검출 단계(S50)는 각 어류별로 진행될 수 있다. The fish detection step (S50) is a step in which the control module 110 detects fish in the sonar image by applying a deep learning model to the sonar image captured by the sonar sensor 130. The fish detection step (S50) may capture a sonar image from a sonar image captured in real time. In the fish detection step (S50), fish can be detected in the sonar image by applying a deep learning model to the captured sonar image. The fish detection step (S50) may be performed by capturing a plurality of sonar images. The fish detection step (S50) may be performed by capturing a plurality of sonar images at predetermined time intervals. In the fish detection step (S50), fish can be detected from sonar images in real time using a learned deep learning model. Additionally, the fish detection step (S50) may be performed for each fish.
상기 어류 표시 단계(S60)는 검출된 어류만을 포함하는 어류 검출 이미지를 표시하는 단계이다. 상기 어류 검출 이미지는 소나 이미지에서 검출되는 어류만을 포함할 수 있다. 상기 검출 어류 이미지는 어류를 흰색 또는 백색으로 표시하며, 배경을 다른 색으로 표시할 수 있다. 상기 어류 표시 단계(S60)는 어류 검출 이미지를 디스플레이 모듈(140)에 표시할 수 있다. The fish display step (S60) is a step of displaying a fish detection image containing only the detected fish. The fish detection image may include only fish detected in the sonar image. The detected fish image displays the fish as white or white, and the background may be displayed in a different color. The fish display step (S60) may display a fish detection image on the display module 140.
이상에서 설명한 것은 본 발명의 실시예에 따른 딥러닝을 이용한 소나 영상내의 어류 검출 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.What has been described above is only one example for implementing a method for detecting fish in a sonar image using deep learning according to an embodiment of the present invention, and the present invention is not limited to the above-described embodiment, and is covered by the following patent claims. As claimed, it will be said that the technical spirit of the present invention exists to the extent that anyone skilled in the art can make various changes and implementations without departing from the gist of the present invention.
100: 어류 검출 장치
110: 제어 모듈 120: 딥러닝 모듈
130: 소나 센서 140: 디스플레이 모듈100: Fish detection device
110: Control module 120: Deep learning module
130: sonar sensor 140: display module
Claims (5)
상기 제어 모듈이 상기 소나 센서가 음파 펄스를 수신하여 생성하는 소나 영상을 캡쳐하여 어류를 포함하는 원본 이미지를 생성하는 원본 이미지 생성 단계와,
상기 딥러닝 모듈이 상기 원본 이미지에서 상기 어류가 존재하는 어류 영역을 레이블링하여 상기 어류에 대하여 경계선과 상기 경계선 내의 색상을 갖는 상기 어류 영역으로 표시하는 레이블드 이미지를 생성하는 레이블드 이미지 생성 단계와,
상기 딥러닝 모듈이 상기 원본 이미지에서 상기 어류 영역 및 상기 어류영역을 제외한 잔여 영역을 서로 다른 색상으로 표시하는 마스크를 생성하는 마스크 생성 단계와,
상기 딥러닝 모듈이 상기 레이블드 이미지와 상기 마스크를 이용하여 딥러닝 모델을 학습하는 딥러닝 모델 학습 단계와,
상기 제어 모듈이 상기 소나 센서가 촬영하는 소나 영상에 상기 딥러닝모델을 적용하여 어류를 검출하는 어류 검출 단계 및
검출된 상기 어류만을 포함하는 어류 검출 이미지를 표시하는 상기 디스플레이 모듈에 표시하는 어류 표시 단계를 포함하는 것을 특징으로 하는 딥러닝을 이용한 소나 영상내의 어류 검출 방법.A fish detection method using a fish detection device including a control module, a deep learning module, a sonar sensor, and a display module,
An original image generation step in which the control module captures a sonar image generated by the sonar sensor by receiving a sound wave pulse to generate an original image including fish;
A labeled image generation step in which the deep learning module labels a fish area in which the fish exists in the original image and generates a labeled image that displays the fish area as having a boundary line and a color within the boundary line for the fish;
A mask generation step in which the deep learning module generates a mask that displays the fish area and the remaining area excluding the fish area in the original image in different colors;
A deep learning model learning step in which the deep learning module learns a deep learning model using the labeled image and the mask,
A fish detection step in which the control module detects fish by applying the deep learning model to the sonar image captured by the sonar sensor, and
A fish detection method in a sonar image using deep learning, comprising a fish display step of displaying a fish detection image containing only the detected fish on the display module.
상기 소나 영상은 바닥과 언덕을 포함하는 지형물 및 상기 어류를 포함하는 물체를 포함하는 것을 특징으로 하는 딥러닝을 이용한 소나 영상내의 어류 검출 방법.According to claim 1,
A method for detecting fish in a sonar image using deep learning, wherein the sonar image includes landforms including the floor and hills, and objects including the fish.
상기 레이블드 이미지 생성 단계는 시멘틱 세그멘테이션을 이용하여 상기 원본 이미지에서 모든 픽셀을 레이블링하는 것을 특징으로 하는 딥러닝을 이용한 소나 영상내의 어류 검출 방법.According to claim 1,
The labeled image generation step is a fish detection method in a sonar image using deep learning, characterized in that all pixels in the original image are labeled using semantic segmentation.
상기 마스크 생성 단계는 원본 이미지에 대하여 어류 영역에 대한 레이블을 이용하여 어류 영역에 대한 마스크를 생성하는 것을 특징으로 하는 딥러닝을 이용한 소나 영상내의 어류 검출 방법.According to paragraph 1,
The mask generation step is a method for detecting fish in a sonar image using deep learning, characterized in that a mask for the fish area is created using a label for the fish area in the original image.
상기 마스크는 상기 어류 영역을 흰색으로 표시하고 상기 잔여 영역을 검은색으로 표시하는 것을 특징으로 하는 딥러닝을 이용한 소나 영상내의 어류 검출 방법.According to paragraph 1,
A fish detection method in a sonar image using deep learning, wherein the mask displays the fish area in white and the remaining area in black.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220006307A KR102604114B1 (en) | 2022-01-17 | 2022-01-17 | Method for Detecting Fish in Sonar Video using Deep Learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220006307A KR102604114B1 (en) | 2022-01-17 | 2022-01-17 | Method for Detecting Fish in Sonar Video using Deep Learning |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230110861A KR20230110861A (en) | 2023-07-25 |
| KR102604114B1 true KR102604114B1 (en) | 2023-11-22 |
Family
ID=87428974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220006307A KR102604114B1 (en) | 2022-01-17 | 2022-01-17 | Method for Detecting Fish in Sonar Video using Deep Learning |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102604114B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008268183A (en) * | 2007-03-26 | 2008-11-06 | Furuno Electric Co Ltd | Underwater detection device |
| KR102005560B1 (en) * | 2018-09-04 | 2019-08-07 | 씨드로닉스(주) | Method for acquiring object information and apparatus for performing the same |
| JP2019200175A (en) * | 2018-05-18 | 2019-11-21 | 古野電気株式会社 | Fish species estimation system, fish species estimation method, and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5321667A (en) * | 1993-04-27 | 1994-06-14 | Raytheon Company | Sonar systems |
-
2022
- 2022-01-17 KR KR1020220006307A patent/KR102604114B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008268183A (en) * | 2007-03-26 | 2008-11-06 | Furuno Electric Co Ltd | Underwater detection device |
| JP2019200175A (en) * | 2018-05-18 | 2019-11-21 | 古野電気株式会社 | Fish species estimation system, fish species estimation method, and program |
| KR102005560B1 (en) * | 2018-09-04 | 2019-08-07 | 씨드로닉스(주) | Method for acquiring object information and apparatus for performing the same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230110861A (en) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109711295B (en) | Optical remote sensing image offshore ship detection method | |
| US9547909B2 (en) | Image edge detection method and apparatus thereof, image target identification method and apparatus thereof | |
| US8126264B2 (en) | Device and method for identification of objects using color coding | |
| US7221621B2 (en) | System and method for identification and quantification of sonar targets in a liquid medium | |
| US20150063651A1 (en) | Image processing apparatus and image processing method | |
| WO2018086233A1 (en) | Character segmentation method and device, and element detection method and device | |
| US11275955B2 (en) | Lane line processing method and device | |
| US9990710B2 (en) | Apparatus and method for supporting computer aided diagnosis | |
| CN105046258A (en) | Target detection method and target detection device for small target detection sonar images | |
| CN105574529A (en) | Target detection method of side scan sonar | |
| CN115760820A (en) | Plastic part defect image identification method and application | |
| Cotter et al. | Benchmarking sensor fusion capabilities of an integrated instrumentation package | |
| KR102604114B1 (en) | Method for Detecting Fish in Sonar Video using Deep Learning | |
| TWI726278B (en) | Driving detection method, vehicle and driving processing device | |
| Madshaven et al. | Hole detection in aquaculture net cages from video footage | |
| CN114463362A (en) | Three-dimensional collision avoidance sonar obstacle detection method and system based on deep learning | |
| CN113836985A (en) | Image processing apparatus, image processing method, and computer-readable storage medium | |
| CN106296603B (en) | A kind of small target detecting method of underwater sonar image | |
| KR102583686B1 (en) | Method and apparatus for detecting objects | |
| Kshetry | Image preprocessing and modified adaptive thresholding for improving OCR | |
| Kulkarni et al. | A feature based approach for localization of Indian number plates | |
| CN110298236B (en) | Automatic Braille image identification method and system based on deep learning | |
| CN113627430B (en) | Cable number detection method and device and electronic equipment | |
| KR102513414B1 (en) | In-ship lighting identification method and system in night maritime environment | |
| CN116189058B (en) | Video saliency target detection method and system based on unsupervised deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |