KR20230011593A - Fish growth measurement system using deep neural network - Google Patents
Fish growth measurement system using deep neural network Download PDFInfo
- Publication number
- KR20230011593A KR20230011593A KR1020210092001A KR20210092001A KR20230011593A KR 20230011593 A KR20230011593 A KR 20230011593A KR 1020210092001 A KR1020210092001 A KR 1020210092001A KR 20210092001 A KR20210092001 A KR 20210092001A KR 20230011593 A KR20230011593 A KR 20230011593A
- Authority
- KR
- South Korea
- Prior art keywords
- fish
- buoy
- length
- bounding box
- box
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 31
- 238000005259 measurement Methods 0.000 title claims abstract description 21
- 241000251468 Actinopterygii Species 0.000 claims abstract description 166
- 238000004364 calculation method Methods 0.000 claims abstract description 56
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000012937 correction Methods 0.000 claims description 31
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 17
- 239000013505 freshwater Substances 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 230000031700 light absorption Effects 0.000 claims description 5
- 238000009360 aquaculture Methods 0.000 abstract description 10
- 244000144974 aquaculture Species 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 238000003912 environmental pollution Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K61/00—Culture of aquatic animals
- A01K61/90—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
- A01K61/95—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination specially adapted for fish
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Animal Husbandry (AREA)
- Business, Economics & Management (AREA)
- Environmental Sciences (AREA)
- Marine Sciences & Fisheries (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Zoology (AREA)
- Computational Linguistics (AREA)
- Agronomy & Crop Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Mining & Mineral Resources (AREA)
- Biodiversity & Conservation Biology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Farming Of Fish And Shellfish (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 영상촬영부에서 촬영된 물고기 영상이미지에 대해 심층신경망을 이용한 딥러닝 알고리즘 분석을 통하여 물고기의 크기를 파악함으로써 물고기의 성장속도 및 출하시기를 예측할 수 있는 심층신경망을 이용한 어류 성장 측정 시스템에 관한 것이다.The present invention is a fish growth measurement system using a deep neural network capable of predicting the growth rate and shipping period of a fish by identifying the size of a fish through deep learning algorithm analysis using a deep neural network for a fish video image captured by a video camera unit. it's about
양식업은 미래 식량 산업으로 향후 지속적인 발전이 기대되는 산업분야이다. 특히, 2000년도 이후 어선어업의 생산량이 정체되어 있는 가운데 미래 단백질 공급원으로써 양식업은 블루 혁명을 통해 생산량 증대가 필요하다.Aquaculture is the future food industry, and it is an industry that is expected to develop continuously in the future. In particular, while the production of fishing boats has been stagnant since 2000, aquaculture as a future protein source needs to increase production through the blue revolution.
노르웨이, 덴마크 등 양식 산업 선진국들은 거대규모의 양식장과 양식기술의 첨단화 및 플랫폼화를 진행시키고 있는 반면, 국내 양식 산업은 기존의 노동집약적, 경험 중심의 전통적인 방법을 고수하고 있는 실정이다.Advanced countries in the aquaculture industry, such as Norway and Denmark, are advancing the advancement and platformization of large-scale aquaculture farms and aquaculture technologies, while the domestic aquaculture industry adheres to the existing labor-intensive and experience-oriented traditional methods.
따라서, 국내 양식 산업은 양적, 친환경적 성장을 위하여 양식 고유의 기술에 대한 개발뿐만 아니라 IoT(Internet of Things) 기술 및 4차 산업의 융합이 절실한 실정이다.Therefore, the domestic aquaculture industry is in dire need of convergence of IoT (Internet of Things) technology and the 4th industry as well as the development of aquaculture-specific technology for quantitative and eco-friendly growth.
한편, 현재 사용되고 있는 비접촉식 어류 크기 측정기술은 고가의 3차원 레이져를 이용하여 수치적으로 계산하거나, 스테레오 영상과 전통적인 화상 인식 방식을 사용한 추정 방식을 사용하고 있는 수준에 머물러 있다.On the other hand, currently used non-contact fish size measurement technology remains at the level of numerical calculation using expensive 3D lasers or estimation methods using stereo images and traditional image recognition methods.
본 발명은 심층신경망을 이용한 딥러닝 알고리즘 분석을 통하여 물고기의 성장속도 및 출하시기를 예측할 수 있는 심층신경망을 이용한 어류 성장 측정 시스템을 제공하는데 그 목적이 있다.An object of the present invention is to provide a fish growth measurement system using a deep neural network capable of predicting the growth rate and shipping time of fish through deep learning algorithm analysis using a deep neural network.
상기와 같은 목적을 달성하기 위하여, 본 발명에서는 물고기(10)가 서식하는 서식처에 저수된 담수의 수면(S)에 배치되되, 영상촬영부(300)에서 촬영될 수 있는 영역(K) 내에 소정 간격 이격 배치되는 제1,2부표부재(100,200); 상기 담수의 수면(S)으로부터 소정 높이(H) 이격된 상부에 배치되어, 제1,2부표부재(100,200) 및 상기 제1,2부표부재(100,200) 사이를 지나는 적어도 하나 이상의 물고기(10)를 동시에 촬영하는 영상촬영부(300); 상기 영상촬영부(300)에서 촬영된 영상이미지를 심층신경망의 입력으로 하여 학습시킨 제1,2부표부재(100,200)와 물고기(10)를 탐지한 후, 영상이미지상의 제1부표부재(100)를 둘러싸는 네모난 영역에 제1부표바운딩박스(B100)를 획득하고, 영상이미지상의 제2부표부재(200)를 둘러싸는 네모난 영역에 제2부표바운딩박스(B200)를 획득하고, 영상이미지상의 물고기(10)를 둘러싸는 네모난 영역에 물고기바운딩박스(B10)를 획득하는 탐지부(400); 상기 탐지부(400)에서 획득된 제1,2부표바운딩박스(B100,B200) 및 물고기바운딩박스(B10)로부터 치수데이터를 추출하는 추출부(500); 상기 추출부(500)에서 추출된 치수데이터를 이용하여 물고기크기(Z)를 연산하는 연산부(600);를 포함하는 것을 특징으로 하는 심층신경망을 이용한 어류 성장 측정 시스템을 제시한다.In order to achieve the above object, in the present invention, it is disposed on the water surface (S) of fresh water stored in the habitat where
본 발명은 다음과 같은 효과를 발휘한다.The present invention exerts the following effects.
첫째, 고가의 3차원 레이져를 설치할 필요가 없어 비용절감의 효과가 있다.First, there is no need to install an expensive 3D laser, so there is an effect of cost reduction.
둘째, 물고기의 출하시기가 실시간으로 예측되기 때문에, 관리자의 관리작업을 용이하게 할 수 있다.Second, since the shipping time of fish is predicted in real time, the manager's management work can be facilitated.
셋째, 수중 환경 영상 취득시에 생기는 다양한 변화에 따른 영상 인식의 어려움을 극복할 수 있다.Third, it is possible to overcome difficulties in image recognition due to various changes occurring when acquiring images of an underwater environment.
넷쩨. 기온 변화에 둔감하고 환경 오염을 최소화한 친환경적인 기술로서, 양식업에서의 환경 문제를 최소화할 수 있다.four. As an eco-friendly technology that is insensitive to temperature changes and minimizes environmental pollution, it can minimize environmental problems in aquaculture.
도 1 내지 도 2는 본 발명에 따른 어류 성장 측정 시스템의 예시도이다.
도 3은 도 2를 정면에서 바라본 모습을 나타내는 도면이다.
도 4는 본 발명의 영상촬영부에서 촬영된 영상이미지로부터 물고기의 크기를 연산하는 과정을 나타내는 도면이다.
도 5 내지 도 6은 본 발명의 탐지부에서 바운딩박스가 획득되는 모습을 나타내는 도면이다.
도 7은 물고기의 방향에 따른 바운딩박스의 모양 차이를 나타내는 도면이다.1 and 2 are exemplary diagrams of a fish growth measurement system according to the present invention.
FIG. 3 is a view showing a state of FIG. 2 viewed from the front.
4 is a diagram illustrating a process of calculating the size of a fish from a video image taken by an imaging unit of the present invention.
5 and 6 are diagrams showing how a bounding box is obtained in the detection unit of the present invention.
7 is a view showing a difference in the shape of the bounding box according to the direction of the fish.
이하 첨부된 도면을 바탕으로 본 발명의 바람직한 실시예에 대해 설명한다. 다만 본 발명의 권리범위는 특허청구범위 기재에 의하여 파악되어야 한다. 또한 본 발명의 요지를 모호하게 하는 공지기술의 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described based on the accompanying drawings. However, the scope of the present invention should be grasped by the description of the claims. In addition, descriptions of known technologies that obscure the subject matter of the present invention will be omitted.
단, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도면에 도시된 바에 한정되지 않으며, 여러 부분 및 영역을 명확하게 표현하기 위하여 두께를 확대하여 나타내었다.However, since the size and thickness of each component shown in the drawings are arbitrarily shown for convenience of description, the present invention is not necessarily limited to what is shown in the drawings, and the thickness is enlarged to clearly express various parts and regions. was
본 발명은 영상촬영부에서 촬영된 물고기 영상이미지에 대해 심층신경망을 이용한 딥러닝 알고리즘 분석을 통하여 물고기의 크기를 파악함으로써 물고기의 성장속도 및 출하시기를 예측할 수 있는 심층신경망을 이용한 어류 성장 측정 시스템에 관한 것이다.The present invention is a fish growth measurement system using a deep neural network capable of predicting the growth rate and shipping period of a fish by identifying the size of a fish through deep learning algorithm analysis using a deep neural network for a fish video image captured by a video camera unit. it's about
도 1 내지 도 2는 본 발명에 따른 어류 성장 측정 시스템의 예시도이고, 도 3은 도 2를 정면에서 바라본 모습을 나타내는 도면이고, 도 4는 본 발명의 영상촬영부에서 촬영된 영상이미지로부터 물고기의 크기를 연산하는 과정을 나타내는 도면이고, 도 5 내지 도 6은 본 발명의 탐지부에서 바운딩박스가 획득되는 모습을 나타내는 도면이고, 도 7은 물고기의 방향에 따른 바운딩박스의 모양 차이를 나타내는 도면이다.1 to 2 are exemplary diagrams of a fish growth measurement system according to the present invention, FIG. 3 is a view showing a view of FIG. 2 viewed from the front, and FIG. 5 and 6 are diagrams showing how a bounding box is obtained in the detection unit of the present invention, and FIG. 7 is a diagram showing the shape difference of the bounding box according to the direction of the fish. to be.
본 발명에 따른 심층신경망을 이용한 어류 성장 측정 시스템은 제1부표부재(100)와, 제2부표부재(200)와, 영상촬영부(300)와, 탐지부(400)와, 추출부(500)와, 연산부(600)를 포함하여 구성될 수 있다.A fish growth measurement system using a deep neural network according to the present invention includes a
제1,2부표부재(100,200)에 대해 설명한다. 제1,2부표부재(100,200)는 영상촬영부(300)에서 촬영된 물고기(10)의 영상이미지상 크기를 실제 물고기크기(Z)로 보정하는 과정에 이용되는 부분으로서, 물고기(10)가 서식하는 서식처에 저수된 담수의 수면(S)에 배치되되, 영상촬영부(300)에서 촬영될 수 있는 영역(K) 내에 소정 간격 이격 배치되는 것을 특징으로 한다. 상기 제1,2부표부재(100,200)는 수면(S)에 떠있을 수 있도록 밀도가 낮은 재질로 구성되는 것이 바람직하다.The first and
후술할 보정치연산부(610)에서 보정치(R)를 연산하는 수학식 1에 대입되는 제1,2부표부재(100,200)의 실제 가로길이(L100,L200)는 관측자가 미리 알아야 할 필요가 있다.Observers need to know in advance the actual horizontal lengths (L 100 and L 200 ) of the first and
도 3에 도시된 바와 같이, 제1부표부재(100)와 영상촬영부(300) 간에 이격된 거리(H1)는 제2부표부재(200)와 영상촬영부(300) 간에 이격된 거리(H2) 보다 더 짧게 되도록 구성하는 것이 바람직하다.As shown in Figure 3, the distance H 1 spaced between the
또한, 상기 제2부표부재(200)의 하측에는 광흡수판부재(210)를 추가로 포함하여 구성될 수 있다. 상기 광흡수판부재(210)는 물고기(10)가 이동하는 유로를 형성하는 동시에 영상촬영부(300)에서 촬영시 조사되는 적외선광을 흡수하는 역할을 한다. 광흡수판부재(210)는 검정색과 같이 반사율이 낮은 색상으로 구성되는 것이 바람직하다.In addition, the lower side of the
상기 광흡수판부재(210)가 영상촬영부(300)에서 조사되는 적외선광을 흡수함에 따른 효과로서, 촬영된 영상이미지상에서 제1,2부표부재(100,200)와 물고기(10)가 상대적으로 또렷하게 나타날 수 있는 것이다.As an effect of the light absorbing
영상촬영부(300)에 대해 설명한다. 영상촬영부(300)는 담수의 수면(S)으로부터 소정 높이(H) 이격된 상부에 배치되어, 제1,2부표부재(100,200) 및 상기 제1,2부표부재(100,200) 사이를 지나는 적어도 하나 이상의 물고기(10)를 동시에 촬영하는 부분이다. 상기 영상촬영부(300)는 통상의 적외선 카메라로 구성될 수 있다.The
상기 영상촬영부(300)에서 촬영된 영상이미지는 일정시간 간격으로 저장될 수 있으며, 촬영된 날짜 및 시간에 대한 정보를 포함할 수 있다.The video images taken by the
탐지부(400)에 대해 설명한다. 탐지부(400)는 상기 영상촬영부(300)에서 촬영된 영상이미지상에 바운딩박스를 획득하는 부분이다. 구체적으로, 영상촬영부(300)에서 촬영된 영상이미지를 심층신경망의 입력으로 하여 학습시킨 제1,2부표부재(100,200)와 물고기(10)를 탐지한 후, 영상이미지상의 제1부표부재(100)를 둘러싸는 네모난 영역에 제1부표바운딩박스(B100)를 획득하고, 영상이미지상의 제2부표부재(200)를 둘러싸는 네모난 영역에 제2부표바운딩박스(B200)를 획득하고, 영상이미지상의 물고기(10)를 둘러싸는 네모난 영역에 물고기바운딩박스(B10)를 획득한다. 도 5 내지 도 6은 영상이미지상에 바운딩박스가 획득된 모습을 나타낸다.The
전술한 바와 같이, 제1부표부재(100)와 영상촬영부(300) 간에 이격된 거리(H1)가 제2부표부재(200)와 영상촬영부(300) 간에 이격된 거리(H2) 보다 짧게 구성되면, 영상이미지상에는 제1부표바운딩박스(B100)의 길이가 제2부표바운딩박스(B200) 길이보다 길게 보여질 수 있다.As described above, the distance between the
본 발명에서 이용되는 심층신경망이란 입력층과 출력층 사이에 여러 개의 은닉층들로 이루어진 인공신경망을 의미한다.The deep neural network used in the present invention means an artificial neural network composed of several hidden layers between an input layer and an output layer.
이와 같은 인공신경망을 통해서 제어대상과 관련된 복수의 요인을 설정하고, 학습을 통해 상기 은닉층에서의 가중치를 설정함으로써 다량의 데이터나 복잡한 자료들에서 의미 있는 결과를 추출해 낼 수 있고, 반복적인 학습을 통해서는 더욱 정밀한 결과의 출력이 가능하다.By setting a plurality of factors related to the control target through such an artificial neural network and setting weights in the hidden layer through learning, it is possible to extract meaningful results from a large amount of data or complex data, and through repetitive learning can output more precise results.
추출부(500)에 대해 설명한다. 추출부(500)는 상기 탐지부(400)에서 획득된 제1,2부표바운딩박스(B100,B200) 및 물고기바운딩박스(B10)로부터 치수데이터를 추출하는 부분이다.The
상기 추출부(500)에서 추출되는 치수데이터는 구체적으로 제1부표바운딩박스(B100)의 가로길이(X100)와, 제2부표바운딩박스(B200)의 가로길이(X200)와, 제1부표바운딩박스(B100)와 물고기바운딩박스(B10) 사이의 세로거리(Y100)와, 제2부표바운딩박스(B200)와 물고기바운딩박스(B10) 사이의 세로거리(Y200)와, 물고기바운딩박스(B10)의 가로길이(X10)와, 물고기바운딩박스(B10)의 세로길이(Y10)를 포함하는 것을 특징으로 한다(도 6 참조).The dimension data extracted by the
연산부(600)에 대해 설명한다. 연산부(600)는 상기 추출부(500)에서 추출된 치수데이터를 이용하여 물고기크기(Z)를 연산하는 부분으로서, 보정치연산부(610)와, 박스길이산출부(620)와, 물고기크기연산부(630)와, 평균값연산부(640)를 포함하여 구성될 수 있다.The
보정치연산부(610)에 대해 설명한다. 보정치연산부(610)는 물고기크기(Z)를 연산할 때 물고기(10)의 실제크기가 원근에 의하여 왜곡되는 것을 보정하기 위한 보정치(R)를 연산하는 부분이다.The correction
구체적으로, 보정치연산부(610)는 제1부표부재(100)의 실제 가로길이(L100)와, 제2부표부재(200)의 실제 가로길이(L200)와, 추출부(500)에서 추출된 제1부표바운딩박스(B100)의 가로길이(X100)와, 제2부표바운딩박스(B200)의 가로길이(X200)와, 제1부표바운딩박스(B100)와 물고기바운딩박스(B10) 사이의 세로거리(Y100)와, 제2부표바운딩박스(B200)와 물고기바운딩박스(B10) 사이의 세로거리(Y200)를 하기 수학식 1에 대입하여 보정치(R)를 연산할 수 있다.Specifically, the correction
(수학식 1)(Equation 1)
박스길이산출부(620)에 대해 설명한다. 박스길이산출부(620)는 물고기바운딩박스(B10)의 박스길이(Q)를 산출하는 부분이다. 한편, 물고기바운딩박스(B10)의 모양은 도 7과 같이 영상촬영부(300)에서 촬영될 당시의 물고기(10)의 방향에 따라 다양한 형태로 나타날 수 있으므로, 상기 박스길이(Q)는 물고기바운딩박스(B10)의 모양에 대응하여 가장 적절한 길이로 산출하는 것이 바람직하다.The
구체적으로, 박스길이산출부(620)는 추출부(500)에서 추출된 물고기바운딩박스(B10)의 가로길이(X10)와 물고기바운딩박스(B10)의 세로길이(Y10)를 이용하여 길이비()를 연산한 다음, ⅰ) 상기 길이비()가 제1기준값(N1) 미만이면 상기 가로길이(X10)를 박스길이(Q)로 산출하고, ⅱ) 상기 길이비()가 제1기준값(N1) 이상이고 제2기준값(N2) 미만이면 물고기바운딩박스(B10)의 대각선길이()를 박스길이(Q)로 산출하고, ⅲ) 상기 길이비()가 제2기준값(N2) 이상이면 상기 세로길이(Y10)를 박스길이(Q)로 산출할 수 있다.Specifically, the box
이를 수식으로 나타내면 아래와 같다.If this is expressed as a formula, it is as follows.
여기서, 제1기준값(N1)은 0.3으로, 제2기준값(N2)은 2로 설정하는 것이 바람직하나, 반드시 이에 한정되는 것은 아니다.Here, it is preferable to set the first reference value N 1 to 0.3 and the second reference value N 2 to 2, but are not necessarily limited thereto.
물고기크기연산부(630)에 대해 설명한다. 물고기크기연산부(630)는 상기 박스길이산출부(620)에서 산출된 박스길이(Q)와 보정치연산부(610)에서 연산된 보정치(R)를 곱하여 물고기크기(Z)를 연산하는 부분이다.The fish
이를 수식으로 나타내면 아래와 같다.If this is expressed as a formula, it is as follows.
평균값연산부(640)에 대해 설명한다. 평균값연산부(640)는 상기 물고기크기연산부(630)에서 연산된 물고기크기(Z)의 평균값을 연산하는 부분이다. 즉, 제1,2부표바운딩박스(B100,B200) 사이를 지나는 물고기(10)가 복수개인 경우에는 물고기크기(Z)의 평균값을 연산할 필요가 있는데, 이러한 평균값을 연산하기 위하여 통상의 평균값 연산방법이 사용될 수 있다.The average
상기 연산부(600)에서 추출된 물고기크기(Z)의 평균값를 기초로 물고기(10)의 성장속도를 측정하고, 측정된 성장속도를 토대로 물고기(10)의 출하시기를 예측할 수 있다. 이를 위하여, 본 발명에서는 성장속도측정부(미도시)와, 출하시기판단부(미도시)를 추가로 더 포함할 수 있다.The growth rate of the
상기 성장속도측정부는 연산부(600)에서 추출된 물고기크기(Z)를 기초로 물고기(10)의 성장속도를 측정하는 부분으로서, 이러한 성장속도는 시각적으로 파악될 수 있도록 2차원 또는 3차원 그래프 형태로 표현될 수 있다.The growth rate measurement unit measures the growth rate of the
상기 출하시기판단부는 상기 성장속도측정부에서 측정된 성장속도를 토대로 물고기(10)의 적절한 출하시기를 예측하는 부분으로서, 물고기(10)가 출하되기에 최적의 크기값에 매칭되는지 여부를 판단하여 물고기(10)의 출하시기를 예측할 수 있다.The shipping time determination unit is a part that predicts an appropriate shipping time of the
이러한 물고기(10)의 성장속도 및 출하시기에 대한 정보는 관리자의 단말기 등과 연동되어, 관리자가 실시간으로 정보를 모니터링 할 수 있도록 구성할 수 있다.The information on the growth rate and shipping time of the
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어서 명백할 것이다.The present invention described above is not limited by the above-described embodiments and the accompanying drawings, and various substitutions, modifications, and changes are possible within the scope without departing from the technical spirit of the present invention. It will be clear to those who have knowledge.
100 : 제1부표부재
200 : 제2부표부재
210 : 광흡수판부재
300 : 영상촬영부
400 : 탐지부
500 : 추출부
600 : 연산부
610 : 보정치연산부
620 : 박스길이산출부
630 : 물고기크기연산부
640 : 평균값연산부
10 : 물고기100: first buoy member
200: 2nd buoy member
210: light absorption plate member
300: imaging unit
400: detection unit
500: extraction unit
600: calculation unit
610: correction value calculation unit
620: box length calculation unit
630: fish size calculation unit
640: average value calculation unit
10 : Fish
Claims (8)
상기 담수의 수면(S)으로부터 소정 높이(H) 이격된 상부에 배치되어, 제1,2부표부재(100,200) 및 상기 제1,2부표부재(100,200) 사이를 지나는 적어도 하나 이상의 물고기(10)를 동시에 촬영하는 영상촬영부(300);
상기 영상촬영부(300)에서 촬영된 영상이미지를 심층신경망의 입력으로 하여 학습시킨 제1,2부표부재(100,200)와 물고기(10)를 탐지한 후, 영상이미지상의 제1부표부재(100)를 둘러싸는 네모난 영역에 제1부표바운딩박스(B100)를 획득하고, 영상이미지상의 제2부표부재(200)를 둘러싸는 네모난 영역에 제2부표바운딩박스(B200)를 획득하고, 영상이미지상의 물고기(10)를 둘러싸는 네모난 영역에 물고기바운딩박스(B10)를 획득하는 탐지부(400);
상기 탐지부(400)에서 획득된 제1,2부표바운딩박스(B100,B200) 및 물고기바운딩박스(B10)로부터 치수데이터를 추출하는 추출부(500);
상기 추출부(500)에서 추출된 치수데이터를 이용하여 물고기크기(Z)를 연산하는 연산부(600);를 포함하는 것을 특징으로 하는
심층신경망을 이용한 어류 성장 측정 시스템.
The first and second buoy members (100, 200) are disposed on the water surface (S) of the fresh water stored in the habitat where the fish (10) live, and are spaced apart at a predetermined interval within the area (K) that can be photographed by the image capture unit (300). );
At least one fish (10) disposed at an upper part spaced apart from the water surface (S) by a predetermined height (H) and passing between the first and second buoy members (100,200) and the first and second buoy members (100,200) An image capture unit 300 that simultaneously captures;
After detecting the first and second buoy members 100 and 200 and the fish 10 learned by using the video image captured by the video capture unit 300 as an input of the deep neural network, the first buoy member 100 on the video image Obtain a first buoy bounding box (B 100 ) in the square area surrounding the buoy, obtain a second buoy bounding box (B 200 ) in the square area surrounding the second buoy member 200 on the video image, A detection unit 400 for acquiring a fish bounding box B 10 in a square area surrounding the fish 10 on the video image;
an extraction unit 500 that extracts dimension data from the first and second buoy bounding boxes (B 100 and B 200 ) and the fish bounding box (B 10 ) acquired by the detection unit 400;
Characterized in that it comprises a; calculation unit (600) for calculating the fish size (Z) using the size data extracted from the extraction unit (500)
A fish growth measurement system using a deep neural network.
상기 담수의 수면(S)으로부터 소정 높이(H) 이격된 상부에 배치되어, 제1,2부표부재(100,200) 및 상기 제1,2부표부재(100,200) 사이를 지나는 적어도 하나 이상의 물고기(10)를 동시에 촬영하는 영상촬영부(300);
상기 영상촬영부(300)에서 촬영된 영상이미지를 심층신경망의 입력으로 하여 학습시킨 제1,2부표부재(100,200)와 물고기(10)를 탐지한 후, 영상이미지상의 제1부표부재(100)를 둘러싸는 네모난 영역에 제1부표바운딩박스(B100)를 획득하고, 영상이미지상의 제2부표부재(200)를 둘러싸는 네모난 영역에 제2부표바운딩박스(B200)를 획득하고, 영상이미지상의 물고기(10)를 둘러싸는 네모난 영역에 물고기바운딩박스(B10)를 획득하는 탐지부(400);
상기 탐지부(400)에서 획득된 제1,2부표바운딩박스(B100,B200) 및 물고기바운딩박스(B10)로부터 치수데이터를 추출하는 추출부(500);
상기 추출부(500)에서 추출된 치수데이터를 이용하여 물고기크기(Z)를 연산하는 연산부(600);를 포함하고,
상기 연산부(600)는
추출부(500)에서 추출된 제1부표바운딩박스(B100)의 가로길이(X100)와, 제2부표바운딩박스(B200)의 가로길이(X200)와, 제1부표바운딩박스(B100)와 물고기바운딩박스(B10) 사이의 세로거리(Y100)와, 제2부표바운딩박스(B200)와 물고기바운딩박스(B10) 사이의 세로거리(Y200)로부터 보정치(R)를 연산하는 보정치연산부(610)와,
추출부(500)에서 추출된 물고기바운딩박스(B10)의 가로길이(X10)와 물고기바운딩박스(B10)의 세로길이(Y10)를 이용하여 길이비()를 연산한 다음, ⅰ) 상기 길이비()가 제1기준값(N1) 미만이면 상기 가로길이(X10)를 박스길이(Q)로 산출하고, ⅱ) 상기 길이비()가 제1기준값(N1) 이상이고 제2기준값(N2) 미만이면 물고기바운딩박스(B10)의 대각선길이()를 박스길이(Q)로 산출하고, ⅲ) 상기 길이비()가 제2기준값(N2) 이상이면 상기 세로길이(Y10)를 박스길이(Q)로 산출하는 박스길이산출부(620)와,
상기 박스길이산출부(620)에서 산출된 박스길이(Q)와 보정치연산부(610)에서 연산된 보정치(R)를 곱하여 물고기크기(Z)를 연산하는 물고기크기연산부(630)를 포함하는 것을 특징으로 하는
심층신경망을 이용한 어류 성장 측정 시스템.
The first and second buoy members (100, 200) are disposed on the water surface (S) of the fresh water stored in the habitat where the fish (10) live, and are spaced apart at a predetermined interval within the area (K) that can be photographed by the image capture unit (300). );
At least one fish (10) disposed at an upper part spaced apart from the water surface (S) by a predetermined height (H) and passing between the first and second buoy members (100,200) and the first and second buoy members (100,200) An image capture unit 300 that simultaneously captures;
After detecting the first and second buoy members 100 and 200 and the fish 10 learned by using the video image captured by the video capture unit 300 as an input of the deep neural network, the first buoy member 100 on the video image Obtain a first buoy bounding box (B 100 ) in the square area surrounding the buoy, obtain a second buoy bounding box (B 200 ) in the square area surrounding the second buoy member 200 on the video image, A detection unit 400 for acquiring a fish bounding box B 10 in a square area surrounding the fish 10 on the video image;
an extraction unit 500 that extracts dimension data from the first and second buoy bounding boxes (B 100 and B 200 ) and the fish bounding box (B 10 ) acquired by the detection unit 400;
A calculation unit (600) for calculating the fish size (Z) using the size data extracted from the extraction unit (500);
The calculation unit 600 is
The horizontal length (X 100 ) of the first buoy bounding box (B 100 ) extracted from the extraction unit 500, the horizontal length (X 200 ) of the second buoy bounding box (B 200 ), and the first buoy bounding box ( B 100 ) and the vertical distance between the fish bounding box (B 10 ) ( Y 100 ) and the correction value (R ) And a correction value calculation unit 610 that calculates,
Using the horizontal length (X 10 ) of the fish bounding box (B 10 ) extracted from the extractor 500 and the vertical length (Y 10 ) of the fish bounding box (B 10 ), the length ratio ( ) is calculated, and then i) the length ratio ( ) is less than the first reference value (N 1 ), the horizontal length (X 10 ) is calculated as the box length (Q), and ii) the length ratio ( ) is greater than the first reference value (N 1 ) and less than the second reference value (N 2 ), the diagonal length of the fish bounding box (B 10 ) ( ) is calculated as the box length (Q), and iii) the length ratio ( ) is greater than or equal to the second reference value (N 2 ), the box length calculator 620 calculates the vertical length (Y 10 ) as a box length (Q);
and a fish size calculation unit 630 that calculates the fish size Z by multiplying the box length Q calculated by the box length calculation unit 620 and the correction value R calculated by the correction value calculation unit 610. to be
A fish growth measurement system using a deep neural network.
상기 담수의 수면(S)으로부터 소정 높이(H) 이격된 상부에 배치되어, 제1,2부표부재(100,200) 및 상기 제1,2부표부재(100,200) 사이를 지나는 적어도 하나 이상의 물고기(10)를 동시에 촬영하는 영상촬영부(300);
상기 영상촬영부(300)에서 촬영된 영상이미지를 심층신경망의 입력으로 하여 학습시킨 제1,2부표부재(100,200)와 물고기(10)를 탐지한 후, 영상이미지상의 제1부표부재(100)를 둘러싸는 네모난 영역에 제1부표바운딩박스(B100)를 획득하고, 영상이미지상의 제2부표부재(200)를 둘러싸는 네모난 영역에 제2부표바운딩박스(B200)를 획득하고, 영상이미지상의 물고기(10)를 둘러싸는 네모난 영역에 물고기바운딩박스(B10)를 획득하는 탐지부(400);
상기 탐지부(400)에서 획득된 제1,2부표바운딩박스(B100,B200) 및 물고기바운딩박스(B10)로부터 치수데이터를 추출하는 추출부(500);
상기 추출부(500)에서 추출된 치수데이터를 이용하여 물고기크기(Z)를 연산하는 연산부(600);를 포함하고,
상기 연산부(600)는
제1부표부재(100)의 가로길이(L100)와, 제2부표부재(200)의 가로길이(L200)와, 추출부(500)에서 추출된 제1부표바운딩박스(B100)의 가로길이(X100)와, 제2부표바운딩박스(B200)의 가로길이(X200)와, 제1부표바운딩박스(B100)와 물고기바운딩박스(B10) 사이의 세로거리(Y100)와, 제2부표바운딩박스(B200)와 물고기바운딩박스(B10) 사이의 세로거리(Y200)로부터 보정치(R)를 연산하는 보정치연산부(610)와,
추출부(500)에서 추출된 물고기바운딩박스(B10)의 가로길이(X10)와 물고기바운딩박스(B10)의 세로길이(Y10)를 이용하여 길이비()를 연산한 다음, ⅰ) 상기 길이비()가 제1기준값(N1) 미만이면 상기 가로길이(X10)를 박스길이(Q)로 산출하고, ⅱ) 상기 길이비()가 제1기준값(N1) 이상이고 제2기준값(N2) 미만이면 물고기바운딩박스(B10)의 대각선길이()를 박스길이(Q)로 산출하고, ⅲ) 상기 길이비()가 제2기준값(N2) 이상이면 상기 세로길이(Y10)를 박스길이(Q)로 산출하는 박스길이산출부(620)와,
상기 박스길이산출부(620)에서 산출된 박스길이(Q)와 보정치연산부(610)에서 연산된 보정치(R)를 곱하여 물고기크기(Z)를 연산하는 물고기크기연산부(630)를 포함하는 것을 특징으로 하는
심층신경망을 이용한 어류 성장 측정 시스템.
The first and second buoy members (100, 200) are disposed on the water surface (S) of the fresh water stored in the habitat where the fish (10) live, and are spaced apart at a predetermined interval within the area (K) that can be photographed by the image capture unit (300). );
At least one fish (10) disposed at an upper part spaced apart from the water surface (S) by a predetermined height (H) and passing between the first and second buoy members (100,200) and the first and second buoy members (100,200) An image capture unit 300 that simultaneously captures;
After detecting the first and second buoy members 100 and 200 and the fish 10 learned by using the video image captured by the video capture unit 300 as an input of the deep neural network, the first buoy member 100 on the video image Obtain a first buoy bounding box (B 100 ) in the square area surrounding the buoy, obtain a second buoy bounding box (B 200 ) in the square area surrounding the second buoy member 200 on the video image, A detection unit 400 for acquiring a fish bounding box B 10 in a square area surrounding the fish 10 on the video image;
an extraction unit 500 that extracts dimension data from the first and second buoy bounding boxes (B 100 and B 200 ) and the fish bounding box (B 10 ) acquired by the detection unit 400;
A calculation unit (600) for calculating the fish size (Z) using the size data extracted from the extraction unit (500);
The calculation unit 600 is
The horizontal length (L 100 ) of the first buoy member 100, the horizontal length (L 200 ) of the second buoy member 200, and the first buoy bounding box (B 100 ) extracted from the extractor 500 The horizontal length (X 100 ), the horizontal length (X 200 ) of the second buoy bounding box (B 200 ), and the vertical distance (Y 100 ) between the first buoy bounding box (B 100 ) and the fish bounding box (B 10 ) ) and a correction value calculator 610 that calculates a correction value R from the vertical distance (Y 200 ) between the second buoy bounding box (B 200 ) and the fish bounding box (B 10 );
Using the horizontal length (X 10 ) of the fish bounding box (B 10 ) extracted from the extractor 500 and the vertical length (Y 10 ) of the fish bounding box (B 10 ), the length ratio ( ) is calculated, and then i) the length ratio ( ) is less than the first reference value (N 1 ), the horizontal length (X 10 ) is calculated as the box length (Q), and ii) the length ratio ( ) is greater than the first reference value (N 1 ) and less than the second reference value (N 2 ), the diagonal length of the fish bounding box (B 10 ) ( ) is calculated as the box length (Q), and iii) the length ratio ( ) is greater than or equal to the second reference value (N 2 ), the box length calculator 620 calculates the vertical length (Y 10 ) as a box length (Q);
and a fish size calculation unit 630 that calculates the fish size Z by multiplying the box length Q calculated by the box length calculation unit 620 and the correction value R calculated by the correction value calculation unit 610. to be
A fish growth measurement system using a deep neural network.
상기 담수의 수면(S)으로부터 소정 높이(H) 이격된 상부에 배치되어, 제1,2부표부재(100,200) 및 상기 제1,2부표부재(100,200) 사이를 지나는 복수개의 물고기(10)를 동시에 촬영하는 영상촬영부(300);
상기 영상촬영부(300)에서 촬영된 영상이미지를 심층신경망의 입력으로 하여 학습시킨 제1,2부표부재(100,200)와 물고기(10)를 탐지한 후, 영상이미지상의 제1부표부재(100)를 둘러싸는 네모난 영역에 제1부표바운딩박스(B100)를 획득하고, 영상이미지상의 제2부표부재(200)를 둘러싸는 네모난 영역에 제2부표바운딩박스(B200)를 획득하고, 영상이미지상의 물고기(10)를 둘러싸는 네모난 영역에 물고기바운딩박스(B10)를 획득하는 탐지부(400);
상기 탐지부(400)에서 획득된 제1,2부표바운딩박스(B100,B200) 및 물고기바운딩박스(B10)로부터 치수데이터를 추출하는 추출부(500);
상기 추출부(500)에서 추출된 치수데이터를 이용하여 물고기크기(Z)를 연산하는 연산부(600);를 포함하고,
상기 연산부(600)는
제1부표부재(100)의 가로길이(L100)와, 제2부표부재(200)의 가로길이(L200)와, 추출부(500)에서 추출된 제1부표바운딩박스(B100)의 가로길이(X100)와, 제2부표바운딩박스(B200)의 가로길이(X200)와, 제1부표바운딩박스(B100)와 물고기바운딩박스(B10) 사이의 세로거리(Y100)와, 제2부표바운딩박스(B200)와 물고기바운딩박스(B10) 사이의 세로거리(Y200)를 하기 수학식 1에 대입하여 보정치(R)를 연산하는 보정치연산부(610)와,
(수학식 1)
추출부(500)에서 추출된 물고기바운딩박스(B10)의 가로길이(X10)와 물고기바운딩박스(B10)의 세로길이(Y10)를 이용하여 길이비()를 연산한 다음, ⅰ) 상기 길이비()가 제1기준값(N1) 미만이면 상기 가로길이(X10)를 박스길이(Q)로 산출하고, ⅱ) 상기 길이비()가 제1기준값(N1) 이상이고 제2기준값(N2) 미만이면 물고기바운딩박스(B10)의 대각선길이()를 박스길이(Q)로 산출하고, ⅲ) 상기 길이비()가 제2기준값(N2) 이상이면 상기 세로길이(Y10)를 박스길이(Q)로 산출하는 박스길이산출부(620)와,
상기 박스길이산출부(620)에서 산출된 박스길이(Q)와 보정치연산부(610)에서 연산된 보정치(R)를 곱하여 물고기크기(Z)를 연산하는 물고기크기연산부(630)를 포함하는 것을 특징으로 하는
심층신경망을 이용한 어류 성장 측정 시스템.
The first and second buoy members (100, 200) are disposed on the water surface (S) of the fresh water stored in the habitat where the fish (10) live, and are spaced apart at a predetermined interval within the area (K) that can be photographed by the image capture unit (300). );
It is disposed on an upper part spaced a predetermined height (H) from the water surface (S) of the fresh water, and a plurality of fish (10) passing between the first and second buoy members (100,200) and the first and second buoy members (100,200) An image capture unit 300 for simultaneously recording;
After detecting the first and second buoy members 100 and 200 and the fish 10 learned by using the video image captured by the video capture unit 300 as an input of the deep neural network, the first buoy member 100 on the video image Obtain a first buoy bounding box (B 100 ) in the square area surrounding the buoy, obtain a second buoy bounding box (B 200 ) in the square area surrounding the second buoy member 200 on the video image, A detection unit 400 for acquiring a fish bounding box B 10 in a square area surrounding the fish 10 on the video image;
an extraction unit 500 that extracts dimension data from the first and second buoy bounding boxes (B 100 and B 200 ) and the fish bounding box (B 10 ) acquired by the detection unit 400;
A calculation unit (600) for calculating the fish size (Z) using the size data extracted from the extraction unit (500);
The calculation unit 600 is
The horizontal length (L 100 ) of the first buoy member 100, the horizontal length (L 200 ) of the second buoy member 200, and the first buoy bounding box (B 100 ) extracted from the extractor 500 The horizontal length (X 100 ), the horizontal length (X 200 ) of the second buoy bounding box (B 200 ), and the vertical distance (Y 100 ) between the first buoy bounding box (B 100 ) and the fish bounding box (B 10 ) ) and the vertical distance (Y 200 ) between the second buoy bounding box (B 200 ) and the fish bounding box (B 10 ) into Equation 1 below to calculate a correction value (R) A correction value calculator 610,
(Equation 1)
Using the horizontal length (X 10 ) of the fish bounding box (B 10 ) extracted from the extractor 500 and the vertical length (Y 10 ) of the fish bounding box (B 10 ), the length ratio ( ) is calculated, and then i) the length ratio ( ) is less than the first reference value (N 1 ), the horizontal length (X 10 ) is calculated as the box length (Q), and ii) the length ratio ( ) is greater than the first reference value (N 1 ) and less than the second reference value (N 2 ), the diagonal length of the fish bounding box (B 10 ) ( ) is calculated as the box length (Q), and iii) the length ratio ( ) is greater than or equal to the second reference value (N 2 ), the box length calculator 620 calculates the vertical length (Y 10 ) as a box length (Q);
and a fish size calculation unit 630 that calculates the fish size Z by multiplying the box length Q calculated by the box length calculation unit 620 and the correction value R calculated by the correction value calculation unit 610. to be
A fish growth measurement system using a deep neural network.
상기 담수의 수면(S)으로부터 소정 높이(H) 이격된 상부에 배치되어, 제1,2부표부재(100,200) 및 상기 제1,2부표부재(100,200) 사이를 지나는 복수개의 물고기(10)를 동시에 촬영하는 영상촬영부(300);
상기 영상촬영부(300)에서 촬영된 영상이미지를 심층신경망의 입력으로 하여 학습시킨 제1,2부표부재(100,200)와 물고기(10)를 탐지한 후, 영상이미지상의 제1부표부재(100)를 둘러싸는 네모난 영역에 제1부표바운딩박스(B100)를 획득하고, 영상이미지상의 제2부표부재(200)를 둘러싸는 네모난 영역에 제2부표바운딩박스(B200)를 획득하고, 영상이미지상의 물고기(10)를 둘러싸는 네모난 영역에 물고기바운딩박스(B10)를 획득하는 탐지부(400);
상기 탐지부(400)에서 획득된 제1,2부표바운딩박스(B100,B200) 및 물고기바운딩박스(B10)로부터 치수데이터를 추출하는 추출부(500);
상기 추출부(500)에서 추출된 치수데이터를 이용하여 물고기크기(Z)를 연산하는 연산부(600);를 포함하고,
상기 연산부(600)는
제1부표부재(100)의 가로길이(L100)와, 제2부표부재(200)의 가로길이(L200)와, 추출부(500)에서 추출된 제1부표바운딩박스(B100)의 가로길이(X100)와, 제2부표바운딩박스(B200)의 가로길이(X200)와, 제1부표바운딩박스(B100)와 물고기바운딩박스(B10) 사이의 세로거리(Y100)와, 제2부표바운딩박스(B200)와 물고기바운딩박스(B10) 사이의 세로거리(Y200)를 하기 수학식 1에 대입하여 보정치(R)를 연산하는 보정치연산부(610)와,
(수학식 1)
추출부(500)에서 추출된 물고기바운딩박스(B10)의 가로길이(X10)와 물고기바운딩박스(B10)의 세로길이(Y10)를 이용하여 길이비()를 연산한 다음, ⅰ) 상기 길이비()가 제1기준값(N1) 미만이면 상기 가로길이(X10)를 박스길이(Q)로 산출하고, ⅱ) 상기 길이비()가 제1기준값(N1) 이상이고 제2기준값(N2) 미만이면 물고기바운딩박스(B10)의 대각선길이()를 박스길이(Q)로 산출하고, ⅲ) 상기 길이비()가 제2기준값(N2) 이상이면 상기 세로길이(Y10)를 박스길이(Q)로 산출하는 박스길이산출부(620)와,
상기 박스길이산출부(620)에서 산출된 박스길이(Q)와 보정치연산부(610)에서 연산된 보정치(R)를 곱하여 물고기크기(Z)를 연산하는 물고기크기연산부(630)와,
상기 물고기크기연산부(630)에서 연산된 물고기크기(Z)의 평균값을 연산하는 평균값연산부(640)를 포함하는 것을 특징으로 하는
심층신경망을 이용한 어류 성장 측정 시스템.
The first and second buoy members (100, 200) are disposed on the water surface (S) of the fresh water stored in the habitat where the fish (10) live, and are spaced apart at a predetermined interval within the area (K) that can be photographed by the image capture unit (300). );
It is disposed on an upper part spaced a predetermined height (H) from the water surface (S) of the fresh water, and a plurality of fish (10) passing between the first and second buoy members (100,200) and the first and second buoy members (100,200) An image capture unit 300 for simultaneously recording;
After detecting the first and second buoy members 100 and 200 and the fish 10 learned by using the video image captured by the video capture unit 300 as an input of the deep neural network, the first buoy member 100 on the video image Obtain a first buoy bounding box (B 100 ) in the square area surrounding the buoy, obtain a second buoy bounding box (B 200 ) in the square area surrounding the second buoy member 200 on the video image, A detection unit 400 for acquiring a fish bounding box B 10 in a square area surrounding the fish 10 on the video image;
an extraction unit 500 that extracts dimension data from the first and second buoy bounding boxes (B 100 and B 200 ) and the fish bounding box (B 10 ) acquired by the detection unit 400;
A calculation unit (600) for calculating the fish size (Z) using the size data extracted from the extraction unit (500);
The calculation unit 600 is
The horizontal length (L 100 ) of the first buoy member 100, the horizontal length (L 200 ) of the second buoy member 200, and the first buoy bounding box (B 100 ) extracted from the extractor 500 The horizontal length (X 100 ), the horizontal length (X 200 ) of the second buoy bounding box (B 200 ), and the vertical distance (Y 100 ) between the first buoy bounding box (B 100 ) and the fish bounding box (B 10 ) ) and the vertical distance (Y 200 ) between the second buoy bounding box (B 200 ) and the fish bounding box (B 10 ) into Equation 1 below to calculate a correction value (R) A correction value calculator 610,
(Equation 1)
Using the horizontal length (X 10 ) of the fish bounding box (B 10 ) extracted from the extractor 500 and the vertical length (Y 10 ) of the fish bounding box (B 10 ), the length ratio ( ) is calculated, and then i) the length ratio ( ) is less than the first reference value (N 1 ), the horizontal length (X 10 ) is calculated as the box length (Q), and ii) the length ratio ( ) is greater than the first reference value (N 1 ) and less than the second reference value (N 2 ), the diagonal length of the fish bounding box (B 10 ) ( ) is calculated as the box length (Q), and iii) the length ratio ( ) is greater than or equal to the second reference value (N 2 ), the box length calculator 620 calculates the vertical length (Y 10 ) as a box length (Q);
A fish size calculation unit 630 that calculates a fish size Z by multiplying the box length Q calculated by the box length calculation unit 620 and the correction value R calculated by the correction value calculation unit 610;
Characterized in that it comprises an average value calculation unit 640 for calculating the average value of the fish size (Z) calculated by the fish size calculation unit 630
A fish growth measurement system using a deep neural network.
상기 담수의 수면(S)으로부터 소정 높이(H) 이격된 상부에 배치되어, 제1,2부표부재(100,200) 및 상기 제1,2부표부재(100,200) 사이를 지나는 복수개의 물고기(10)를 동시에 촬영하는 영상촬영부(300);
상기 영상촬영부(300)에서 촬영된 영상이미지를 심층신경망의 입력으로 하여 학습시킨 제1,2부표부재(100,200)와 물고기(10)를 탐지한 후, 영상이미지상의 제1부표부재(100)를 둘러싸는 네모난 영역에 제1부표바운딩박스(B100)를 획득하고, 영상이미지상의 제2부표부재(200)를 둘러싸는 네모난 영역에 제2부표바운딩박스(B200)를 획득하고, 영상이미지상의 물고기(10)를 둘러싸는 네모난 영역에 물고기바운딩박스(B10)를 획득하는 탐지부(400);
상기 탐지부(400)에서 획득된 제1,2부표바운딩박스(B100,B200) 및 물고기바운딩박스(B10)로부터 치수데이터를 추출하는 추출부(500);
상기 추출부(500)에서 추출된 치수데이터를 이용하여 물고기크기(Z)를 연산하는 연산부(600);를 포함하고,
상기 추출부(500)에서 추출되는 치수데이터는
제1부표바운딩박스(B100)의 가로길이(X100)와, 제2부표바운딩박스(B200)의 가로길이(X200)와, 제1부표바운딩박스(B100)와 물고기바운딩박스(B10) 사이의 세로거리(Y100)와, 제2부표바운딩박스(B200)와 물고기바운딩박스(B10) 사이의 세로거리(Y200)와, 물고기바운딩박스(B10)의 가로길이(X10)와, 물고기바운딩박스(B10)의 세로길이(Y10)를 포함하고,
상기 연산부(600)는
제1부표부재(100)의 가로길이(L100)와, 제2부표부재(200)의 가로길이(L200)와, 추출부(500)에서 추출된 제1부표바운딩박스(B100)의 가로길이(X100)와, 제2부표바운딩박스(B200)의 가로길이(X200)와, 제1부표바운딩박스(B100)와 물고기바운딩박스(B10) 사이의 세로거리(Y100)와, 제2부표바운딩박스(B200)와 물고기바운딩박스(B10) 사이의 세로거리(Y200)를 하기 수학식 1에 대입하여 보정치(R)를 연산하는 보정치연산부(610)와,
(수학식 1)
추출부(500)에서 추출된 물고기바운딩박스(B10)의 가로길이(X10)와 물고기바운딩박스(B10)의 세로길이(Y10)를 이용하여 길이비()를 연산한 다음, ⅰ) 상기 길이비()가 제1기준값(N1) 미만이면 상기 가로길이(X10)를 박스길이(Q)로 산출하고, ⅱ) 상기 길이비()가 제1기준값(N1) 이상이고 제2기준값(N2) 미만이면 물고기바운딩박스(B10)의 대각선길이()를 박스길이(Q)로 산출하고, ⅲ) 상기 길이비()가 제2기준값(N2) 이상이면 상기 세로길이(Y10)를 박스길이(Q)로 산출하는 박스길이산출부(620)와,
상기 박스길이산출부(620)에서 산출된 박스길이(Q)와 보정치연산부(610)에서 연산된 보정치(R)를 곱하여 물고기크기(Z)를 연산하는 물고기크기연산부(630)와,
상기 물고기크기연산부(630)에서 연산된 물고기크기(Z)의 평균값을 연산하는 평균값연산부(640)를 포함하는 것을 특징으로 하는
심층신경망을 이용한 어류 성장 측정 시스템.
The first and second buoy members (100, 200) are disposed on the water surface (S) of the fresh water stored in the habitat where the fish (10) live, and are spaced apart at a predetermined interval within the area (K) that can be photographed by the image capture unit (300). );
It is disposed on an upper part spaced a predetermined height (H) from the water surface (S) of the fresh water, and a plurality of fish (10) passing between the first and second buoy members (100,200) and the first and second buoy members (100,200) An image capture unit 300 for simultaneously recording;
After detecting the first and second buoy members 100 and 200 and the fish 10 learned by using the video image captured by the video capture unit 300 as an input of the deep neural network, the first buoy member 100 on the video image Obtain a first buoy bounding box (B 100 ) in the square area surrounding the buoy, obtain a second buoy bounding box (B 200 ) in the square area surrounding the second buoy member 200 on the video image, A detection unit 400 for acquiring a fish bounding box B 10 in a square area surrounding the fish 10 on the video image;
an extraction unit 500 that extracts dimension data from the first and second buoy bounding boxes (B 100 and B 200 ) and the fish bounding box (B 10 ) acquired by the detection unit 400;
A calculation unit (600) for calculating the fish size (Z) using the size data extracted from the extraction unit (500);
The dimensional data extracted by the extraction unit 500 is
The horizontal length (X 100 ) of the first buoy bounding box (B 100 ), the horizontal length (X 200 ) of the second buoy bounding box (B 200 ), the first buoy bounding box (B 100 ) and the fish bounding box ( B 10 ), the vertical distance (Y 100 ) between the second buoy bounding box (B 200 ) and the fish bounding box (B 10 ) (Y 200 ), and the horizontal length of the fish bounding box (B 10 ) (X 10 ) and the vertical length (Y 10 ) of the fish bounding box (B 10 ),
The calculation unit 600 is
The horizontal length (L 100 ) of the first buoy member 100, the horizontal length (L 200 ) of the second buoy member 200, and the first buoy bounding box (B 100 ) extracted from the extractor 500 The horizontal length (X 100 ), the horizontal length (X 200 ) of the second buoy bounding box (B 200 ), and the vertical distance (Y 100 ) between the first buoy bounding box (B 100 ) and the fish bounding box (B 10 ) ) and the vertical distance (Y 200 ) between the second buoy bounding box (B 200 ) and the fish bounding box (B 10 ) into Equation 1 below to calculate a correction value (R) A correction value calculator 610,
(Equation 1)
Using the horizontal length (X 10 ) of the fish bounding box (B 10 ) extracted from the extractor 500 and the vertical length (Y 10 ) of the fish bounding box (B 10 ), the length ratio ( ) is calculated, and then i) the length ratio ( ) is less than the first reference value (N 1 ), the horizontal length (X 10 ) is calculated as the box length (Q), and ii) the length ratio ( ) is greater than the first reference value (N 1 ) and less than the second reference value (N 2 ), the diagonal length of the fish bounding box (B 10 ) ( ) is calculated as the box length (Q), and iii) the length ratio ( ) is greater than or equal to the second reference value (N 2 ), the box length calculator 620 calculates the vertical length (Y 10 ) as a box length (Q);
A fish size calculation unit 630 that calculates a fish size Z by multiplying the box length Q calculated by the box length calculation unit 620 and the correction value R calculated by the correction value calculation unit 610;
Characterized in that it comprises an average value calculation unit 640 for calculating the average value of the fish size (Z) calculated by the fish size calculation unit 630
A fish growth measurement system using a deep neural network.
상기 제2부표부재(200)는
제2부표부재(200) 하측에 형성되어 영상촬영부(300)에서 촬영시 조사되는 적외선광을 흡수하는 광흡수판부재(210)를 더 포함하는 것을 특징으로 하는
심층신경망을 이용한 어류 성장 측정 시스템.
According to claim 6,
The second buoy member 200 is
Characterized in that it further comprises a light absorption plate member 210 formed on the lower side of the second buoy member 200 and absorbing infrared light irradiated during shooting by the image capturing unit 300
A fish growth measurement system using a deep neural network.
상기 광흡수판부재(210)는
반사율이 낮은 색상으로 이루어지는 것을 특징으로 하는
심층신경망을 이용한 어류 성장 측정 시스템.
According to claim 7,
The light absorption plate member 210 is
Characterized in that it is made of a color with low reflectance
A fish growth measurement system using a deep neural network.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210092001A KR102576926B1 (en) | 2021-07-14 | 2021-07-14 | Fish growth measurement system using deep neural network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210092001A KR102576926B1 (en) | 2021-07-14 | 2021-07-14 | Fish growth measurement system using deep neural network |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230011593A true KR20230011593A (en) | 2023-01-25 |
KR102576926B1 KR102576926B1 (en) | 2023-09-08 |
Family
ID=85109753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210092001A KR102576926B1 (en) | 2021-07-14 | 2021-07-14 | Fish growth measurement system using deep neural network |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102576926B1 (en) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09262040A (en) * | 1996-03-27 | 1997-10-07 | Hitachi Ltd | Automatic feeder for aquatic organism and automatic feeding therefor |
KR101057419B1 (en) * | 2010-12-14 | 2011-08-17 | (주)인바이온이엔지 | Non-contact type apparatus for measuring fish number and method thereof |
KR101814288B1 (en) * | 2016-08-17 | 2018-01-03 | 김영구 | A Feeding System for Fish Farm using 3Dimension analyzer |
KR20180032488A (en) * | 2016-09-22 | 2018-03-30 | 주식회사 아토즈소프트 | Fish species and body length measurement method using the image |
KR101970303B1 (en) * | 2018-07-31 | 2019-04-19 | 대한민국 | Automatic feeding method through the analysis of fish moving pattern in the classified water depth using a fishfinder |
KR102005987B1 (en) | 2018-07-10 | 2019-08-01 | 엔티콘 주식회사 | System for iot-based farm management |
JP2020085609A (en) * | 2018-11-22 | 2020-06-04 | 株式会社アイエンター | Fish body size calculation device |
JP2021060421A (en) * | 2016-09-30 | 2021-04-15 | 日本電気株式会社 | Fish body length measurement system, fish body length measurement method, and fish body length measurement program |
KR102493984B1 (en) * | 2020-10-27 | 2023-01-31 | 부경대학교 산학협력단 | Fish growth measurement system using deep neural network |
-
2021
- 2021-07-14 KR KR1020210092001A patent/KR102576926B1/en active IP Right Grant
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09262040A (en) * | 1996-03-27 | 1997-10-07 | Hitachi Ltd | Automatic feeder for aquatic organism and automatic feeding therefor |
KR101057419B1 (en) * | 2010-12-14 | 2011-08-17 | (주)인바이온이엔지 | Non-contact type apparatus for measuring fish number and method thereof |
KR101814288B1 (en) * | 2016-08-17 | 2018-01-03 | 김영구 | A Feeding System for Fish Farm using 3Dimension analyzer |
KR20180032488A (en) * | 2016-09-22 | 2018-03-30 | 주식회사 아토즈소프트 | Fish species and body length measurement method using the image |
JP2021060421A (en) * | 2016-09-30 | 2021-04-15 | 日本電気株式会社 | Fish body length measurement system, fish body length measurement method, and fish body length measurement program |
KR102005987B1 (en) | 2018-07-10 | 2019-08-01 | 엔티콘 주식회사 | System for iot-based farm management |
KR101970303B1 (en) * | 2018-07-31 | 2019-04-19 | 대한민국 | Automatic feeding method through the analysis of fish moving pattern in the classified water depth using a fishfinder |
JP2020085609A (en) * | 2018-11-22 | 2020-06-04 | 株式会社アイエンター | Fish body size calculation device |
KR102493984B1 (en) * | 2020-10-27 | 2023-01-31 | 부경대학교 산학협력단 | Fish growth measurement system using deep neural network |
Also Published As
Publication number | Publication date |
---|---|
KR102576926B1 (en) | 2023-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109460753B (en) | Method for detecting floating object on water | |
CN101785025B (en) | System and method for three-dimensional object reconstruction from two-dimensional images | |
Lines et al. | An automatic image-based system for estimating the mass of free-swimming fish | |
CN114241031B (en) | Fish body ruler measurement and weight prediction method and device based on double-view fusion | |
KR102493984B1 (en) | Fish growth measurement system using deep neural network | |
WO2014098614A1 (en) | System and method for calculating physical dimensions for freely movable objects in water | |
Livanos et al. | Intelligent navigation and control of a prototype autonomous underwater vehicle for automated inspection of aquaculture net pen cages | |
CN105466523B (en) | The measurement method and device of heap grain height based on single camera image | |
CN114724022B (en) | Method, system and medium for detecting farmed fish shoal by fusing SKNet and YOLOv5 | |
CN113313833A (en) | Pig body weight estimation method based on 3D vision technology | |
CN108470338A (en) | A kind of water level monitoring method | |
CN111723656A (en) | Smoke detection method and device based on YOLO v3 and self-optimization | |
CN113989353A (en) | Pig backfat thickness measuring method and system | |
JP2015059821A (en) | Amount-of-insolation predicting device and method | |
Shen et al. | Identification and counting of fish targets using adaptive resolution imaging sonar | |
KR20230011593A (en) | Fish growth measurement system using deep neural network | |
KR102040562B1 (en) | Method to estimate visibility distance using image information | |
CN117173631A (en) | Method and system for monitoring biodiversity | |
CN116912393A (en) | Face reconstruction method and device, electronic equipment and readable storage medium | |
CN116883483A (en) | Fish body measuring method based on laser camera system | |
CN115843733A (en) | Machine vision-based electronic feeding table device for river crab cultivation and working method | |
CN110738698A (en) | Floating type seabed data measuring method and device and electronic equipment | |
CN114677324B (en) | Water depth detection method and system | |
Comino Trinidad et al. | Neural colorization of laser scans | |
WO2022171267A1 (en) | System, method, and computer executable code for organism quantification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |