KR20230137594A - Method and apparatus for determining fish grade using artificial neural network - Google Patents
Method and apparatus for determining fish grade using artificial neural network Download PDFInfo
- Publication number
- KR20230137594A KR20230137594A KR1020220035194A KR20220035194A KR20230137594A KR 20230137594 A KR20230137594 A KR 20230137594A KR 1020220035194 A KR1020220035194 A KR 1020220035194A KR 20220035194 A KR20220035194 A KR 20220035194A KR 20230137594 A KR20230137594 A KR 20230137594A
- Authority
- KR
- South Korea
- Prior art keywords
- fish
- image
- learning
- neural network
- grade
- Prior art date
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 196
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012549 training Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 16
- 210000000988 bone and bone Anatomy 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 14
- 235000013372 meat Nutrition 0.000 claims description 7
- 239000003086 colorant Substances 0.000 description 13
- 238000012937 correction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010257 thawing Methods 0.000 description 3
- 238000004925 denaturation Methods 0.000 description 2
- 230000036425 denaturation Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 241000269841 Thunnus albacares Species 0.000 description 1
- 241000269957 Thunnus obesus Species 0.000 description 1
- 101100534231 Xenopus laevis src-b gene Proteins 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000002816 gill Anatomy 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Abstract
본 발명은 어류의 단면을 촬영한 이미지가 입력되면, 이미지를 전처리하고, 미리 학습된 어류 등급 판정 신경망에 전처리된 이미지를 입력하여 어류의 등급을 판정하는, 어류 등급 판정 방법을 제공한다.The present invention provides a fish grade determination method in which, when an image of a cross-section of a fish is input, the image is pre-processed, and the pre-processed image is input to a pre-trained fish grade determination neural network to determine the fish grade.
Description
본 발명은 인공 신경망을 이용한 어류 등급 판정 방법 및 장치에 관한 것으로, 더욱 상세하게는, 인공 신경망을 이용하여 어류의 등급을 판정하는 방법 및 장치에 관한 것이다.The present invention relates to a method and device for determining the grade of fish using an artificial neural network, and more specifically, to a method and device for determining the grade of fish using an artificial neural network.
국내로 입고되는 대부분의 참치는 남태평양과 인도양에서 조업하는 원양어선에서 어획된 참치며, 어획 즉시 내장, 혈, 아가미 등을 제거하는 처리 과정에 따라 참치 선도가 크게 변화하게 된다. 이후, 영하 55도 이하의 초저온에서 급랭되어 국내로 운반되며, 횟감용 참치 제품의 경우에는, 입고 후 생산 공정을 거쳐서 출하되는 시점까지 해동작업이 진행되지 않는다.Most of the tuna brought into Korea is caught from deep-sea fishing boats operating in the South Pacific and Indian Oceans, and the freshness of the tuna changes significantly depending on the processing process that removes intestines, blood, and gills immediately after catching. Afterwards, it is quickly frozen at an ultra-low temperature of -55 degrees Celsius or lower and transported domestically. In the case of tuna products for sashimi, thawing is not performed until it is shipped through the production process after warehousing.
이에 따라, 횟감용 참치 제품의 경우에는, 어체의 극히 일부만 절단하여(5mm이내 꼬리 단면 등), 해동 작업을 거친 뒤에 개별 등급을 선별하게 된다. 이 과정에서, 단백질 변성 현상을 관측하는 등 다소 전문적인 부분이 포함되어 있는 까닭에 숙련된 소수 전문가에 의존하여 작업이 진행되며, 그 의존도가 타 업종 대비 높게 평가된다.Accordingly, in the case of tuna products for sashimi, only a small portion of the fish body is cut (e.g., tail section within 5 mm), and individual grades are selected after thawing. Because this process involves somewhat specialized parts, such as observing protein denaturation, the work relies on a small number of skilled experts, and their dependency is evaluated higher than in other industries.
한편, 전문가의 고령화가 계속해서 진행되고 있으며, 더욱이, 전문가의 육성 과정에 상당한 기간과 비용이 소요되어 후임 양성이 제한적이다. 또한, 전문가가 등급을 판단한다고 하더라도, 판정이 모호한 부분에 대한 객관성 확립이 부족할 수 있고, 표준화된 기준이 없으므로 거래 간의 분쟁 사유로 작용하기도 한다.Meanwhile, the aging of experts continues to progress, and furthermore, the process of nurturing experts takes a considerable amount of time and money, limiting the training of successors. In addition, even if an expert judges the grade, there may be a lack of objectivity in ambiguous judgments, and the lack of standardized standards can serve as a reason for disputes between transactions.
본 발명이 해결하고자 하는 기술적 과제는 미리 학습된 인공 신경망에 어류에 대한 이미지를 입력하여 등급을 판정하는 방법 및 장치를 제공하는 것이다.The technical problem to be solved by the present invention is to provide a method and device for determining a grade by inputting an image of a fish into a pre-trained artificial neural network.
또한, 본 발명의 해결하고자 하는 다른 기술적 과제는 어류의 등급을 판정하도록 인공 신경망을 학습시키는 방법 및 장치를 제공하는 것이다.In addition, another technical problem to be solved by the present invention is to provide a method and device for training an artificial neural network to determine the grade of fish.
본 발명의 일측면은, 어류의 단면을 촬영한 이미지가 입력되면, 상기 이미지를 전처리하는 단계; 및 미리 학습된 어류 등급 판정 신경망에 상기 전처리된 이미지를 입력하여 상기 어류의 등급을 판정하는 단계;를 포함할 수 있다.One aspect of the present invention includes, when an image of a cross-section of a fish is input, preprocessing the image; and inputting the pre-processed image into a pre-trained fish grade determination neural network to determine the grade of the fish.
또한, 상기 어류 등급 판정 신경망은, 인공 신경망 학습 방법에 따라 학습된 것이고, 상기 인공 신경망 학습 방법은, 어류에 대한 학습용 이미지와, 상기 학습용 이미지에 대한 레이블 데이터로서 정답 등급을 입력받는 단계; 및 상기 학습용 이미지와 상기 정답 등급을 이용하여 상기 학습용 이미지에 따른 학습용 등급을 출력하도록 상기 어류 등급 판정 신경망을 학습시키는 단계;를 포함할 수 있다.In addition, the fish grade determination neural network is learned according to an artificial neural network learning method, and the artificial neural network learning method includes receiving a learning image for a fish and a correct grade as label data for the learning image; and training the fish grade determination neural network to output a learning grade according to the learning image using the learning image and the correct answer grade.
또한, 상기 이미지는, 상기 어류의 꼬리 절단면을 촬영한 꼬리 절단면 이미지 및 상기 어류의 중골 절단면을 촬영한 중골 절단면 이미지 중 어느 하나일 수 있다.Additionally, the image may be one of a tail cut surface image obtained by photographing a cut surface of the tail of the fish and a midbone cut surface image obtained by photographing a cut surface of the midbone of the fish.
또한, 상기 전처리하는 단계는, 상기 이미지에 포함된 다수의 픽셀 중 상기 어류의 뼈에 해당되는 픽셀의 색상 값을 상기 어류의 살코기에 해당되는 픽셀의 색상 값으로 보정하는 단계;를 포함할 수 있다.In addition, the preprocessing step may include correcting the color value of a pixel corresponding to the bone of the fish among a plurality of pixels included in the image with the color value of a pixel corresponding to the flesh of the fish. .
또한, 상기 어류의 살코기에 해당되는 픽셀의 색상 값으로 보정하는 단계는, 상기 다수의 픽셀을 다수의 색 그룹으로 분류하는 단계; 상기 다수의 색 그룹 중 상기 어류의 뼈에 해당되는 제 1 색 그룹을 확인하는 단계; 상기 다수의 색 그룹 중 픽셀의 개수가 가장 많은 제 2 색 그룹을 확인하는 단계; 및 상기 제 2 색 그룹에 포함된 적어도 하나의 픽셀의 색상 값을 이용하여 상기 제 1 색 그룹에 포함된 적어도 하나의 픽셀 각각의 색상 값을 치환하는 단계;를 포함할 수 있다.In addition, the step of correcting the color value of the pixel corresponding to the fish flesh includes classifying the plurality of pixels into a plurality of color groups; Identifying a first color group corresponding to the fish bone among the plurality of color groups; identifying a second color group with the largest number of pixels among the plurality of color groups; and replacing the color value of each of at least one pixel included in the first color group using the color value of at least one pixel included in the second color group.
또한, 상기 전처리하는 단계는, 상기 이미지가 다수 입력되면, 상기 다수의 이미지 각각에 서로 다른 가중치를 부여하여 정합하는 단계;를 포함할 수 있다.Additionally, the preprocessing step may include, when multiple images are input, matching them by assigning different weights to each of the multiple images.
또한, 상기 서로 다른 가중치를 부여하여 정합하는 단계는, 상기 다수의 이미지 중 제 1 이미지에서는 상기 어류의 단면 색상이 강조되고, 제 2 이미지에서는 상기 어류의 살코기와 지방의 경계선이 강조되도록, 상기 제 1 이미지와 상기 제 2 이미지 각각에 가중치를 부여할 수 있다.In addition, the step of matching by applying different weights is such that the color of the cross section of the fish is emphasized in the first image among the plurality of images, and the boundary line between the meat and fat of the fish is emphasized in the second image. Weights may be assigned to each of the first image and the second image.
또한, 상기 다수의 이미지는, 제 1 조명 환경에서 촬영된 제 1 이미지와, 상기 제 1 조명 환경보다 명도가 낮은 제 2 조명 환경에서 촬영된 제 2 이미지를 포함할 수 있다.Additionally, the plurality of images may include a first image captured in a first lighting environment and a second image captured in a second lighting environment with lower brightness than the first lighting environment.
본 발명의 다른 일측면은, 어류에 대한 학습용 이미지와, 상기 학습용 이미지에 대한 레이블 데이터로서 정답 등급을 입력받는 단계; 및 상기 학습용 이미지와 상기 정답 등급을 이용하여 상기 학습용 이미지에 따른 학습용 등급을 출력하도록 어류 등급 판정 신경망을 학습시키는 단계;를 포함할 수 있다.Another aspect of the present invention includes receiving a learning image for a fish and a correct answer grade as label data for the learning image; And it may include the step of training a fish grade determination neural network to output a learning grade according to the learning image using the learning image and the correct answer grade.
또한, 상기 학습용 이미지는, 상기 어류의 꼬리 절단면을 촬영한 학습용 꼬리 절단면 이미지 및 상기 어류의 중골 절단면을 촬영한 학습용 중골 절단면 이미지 중 어느 하나일 수 있다.In addition, the learning image may be one of a learning tail cut surface image obtained by photographing a tail cut surface of the fish and a learning midbone cut surface image obtained by photographing a midbone cut surface of the fish.
또한, 상기 어류 등급 판정 신경망을 학습시키는 단계는, 상기 학습용 이미지에 포함된 다수의 픽셀 중 상기 어류의 뼈에 해당되는 픽셀의 색상 값을 상기 어류의 살코기에 해당되는 픽셀의 색상 값으로 보정하는 단계;를 포함할 수 있다.In addition, the step of training the fish grade determination neural network includes correcting the color value of a pixel corresponding to the bone of the fish among a plurality of pixels included in the learning image with the color value of a pixel corresponding to the flesh of the fish. May include ;.
또한, 상기 어류 등급 판정 신경망을 학습시키는 단계는, 상기 학습용 이미지가 다수 입력되면, 상기 다수의 학습용 이미지 각각에 서로 다른 가중치를 부여하여 정합하는 단계;를 포함할 수 있다.In addition, the step of training the fish grade determination neural network may include, when a plurality of training images are input, matching them by assigning different weights to each of the plurality of training images.
본 발명의 또 다른 일측면은, 미리 학습된 어류 등급 판정 신경망이 저장되는 메모리; 및 어류의 단면을 촬영한 이미지가 입력되면, 상기 이미지를 전처리하고, 상기 어류 등급 판정 신경망에 상기 전처리된 이미지를 입력하여 상기 어류의 등급을 판정하는 프로세서;를 포함할 수 있다.Another aspect of the present invention is a memory in which a pre-trained fish grading neural network is stored; And when an image of a cross-section of a fish is input, a processor that pre-processes the image and inputs the pre-processed image to the fish grade determination neural network to determine the grade of the fish.
본 발명의 다른 일측면은, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 어류의 단면을 촬영한 이미지가 입력되면, 상기 이미지를 전처리하는 단계; 및 미리 학습된 어류 등급 판정 신경망에 상기 전처리된 이미지를 입력하여 상기 어류의 등급을 판정하는 단계;를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.Another aspect of the present invention is a computer-readable recording medium storing a computer program, wherein the computer program, when executed by a processor, preprocesses the image when an image of a cross-section of a fish is input; and determining the grade of the fish by inputting the pre-processed image into a pre-trained fish grade determination neural network. It may include instructions for causing the processor to perform the method including.
본 발명의 또 다른 일측면은, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 어류의 단면을 촬영한 이미지가 입력되면, 상기 이미지를 전처리하는 단계; 및 미리 학습된 어류 등급 판정 신경망에 상기 전처리된 이미지를 입력하여 상기 어류의 등급을 판정하는 단계;를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.Another aspect of the present invention is a computer program stored in a computer-readable recording medium, which, when executed by a processor, preprocesses the image when an image of a cross-section of a fish is input. ; and determining the grade of the fish by inputting the pre-processed image into a pre-trained fish grade determination neural network. It may include instructions for causing the processor to perform the method including.
본 발명의 다른 일측면은, 어류에 대한 학습용 이미지와, 상기 학습용 이미지에 대한 레이블 데이터로서 정답 등급이 저장되는 메모리; 및 상기 학습용 이미지와 상기 정답 등급을 이용하여 상기 학습용 이미지에 따른 학습용 등급을 출력하도록 어류 등급 판정 신경망을 학습시키는 프로세서;를 포함할 수 있다.Another aspect of the present invention is a memory that stores a learning image for a fish and a correct answer grade as label data for the learning image; and a processor that trains a fish rating neural network to output a learning rating according to the learning image using the learning image and the correct answer rating.
본 발명의 또 다른 일측면은, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 어류에 대한 학습용 이미지와, 상기 학습용 이미지에 대한 레이블 데이터로서 정답 등급을 입력받는 단계; 및 상기 학습용 이미지와 상기 정답 등급을 이용하여 상기 학습용 이미지에 따른 학습용 등급을 출력하도록 어류 등급 판정 신경망을 학습시키는 단계;를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.Another aspect of the present invention is a computer-readable recording medium storing a computer program, which, when executed by a processor, produces a learning image for a fish and a correct answer rating as label data for the learning image. Step of receiving input; and training a fish rating neural network to output a learning rating according to the learning image using the learning image and the correct answer rating. It may include instructions for causing the processor to perform the method including.
본 발명의 다른 일측면은, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 어류에 대한 학습용 이미지와, 상기 학습용 이미지에 대한 레이블 데이터로서 정답 등급을 입력받는 단계; 및 상기 학습용 이미지와 상기 정답 등급을 이용하여 상기 학습용 이미지에 따른 학습용 등급을 출력하도록 어류 등급 판정 신경망을 학습시키는 단계;를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.Another aspect of the present invention is a computer program stored in a computer-readable recording medium, which, when executed by a processor, provides a learning image for fish and a correct answer grade as label data for the learning image. Step of receiving input; and training a fish rating neural network to output a learning rating according to the learning image using the learning image and the correct answer rating. It may include instructions for causing the processor to perform the method including.
상술한 본 발명의 일측면에 따르면, 인공 신경망을 이용한 어류 등급 판정 방법 및 장치를 제공함으로써 미리 학습된 인공 신경망에 어류에 대한 이미지를 입력하여 어류의 등급을 판정할 수 있다.According to one aspect of the present invention described above, by providing a fish grade determination method and device using an artificial neural network, the fish grade can be determined by inputting an image of a fish into a pre-trained artificial neural network.
또한, 상술한 본 발명의 다른 일측면에 따르면, 인공 신경망 학습 방법 및 장치를 제공함으로써 어류에 대한 이미지를 통해 어류의 등급을 판정하도록 인공 신경망을 학습시킬 수 있다.In addition, according to another aspect of the present invention described above, by providing an artificial neural network learning method and device, an artificial neural network can be trained to determine the grade of fish through images of fish.
도 1은 본 발명의 일 실시예에 따른 인공 신경망 학습 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 어류 등급 판정 장치의 블록도이다.
도 3은 도 2의 어류 등급 판정 프로그램의 일 실시예를 개념적으로 나타낸 블록도이다.
도 4 및 도 5는 도 3의 등급 판정부에서 어류의 등급을 판정하는 과정의 일 실시예를 나타낸 블록도이다.
도 6은 본 발명의 일 실시예에 따른 인공 신경망 학습 방법의 순서도이다.
도 7은 본 발명의 일 실시예에 따른 어류 등급 판정 방법의 순서도이다.
도 8 및 도 9는 도 7의 이미지를 전처리하는 단계의 세부 순서도이다.1 is a block diagram of an artificial neural network learning device according to an embodiment of the present invention.
Figure 2 is a block diagram of a fish grading device according to an embodiment of the present invention.
Figure 3 is a block diagram conceptually showing an embodiment of the fish grade determination program of Figure 2.
Figures 4 and 5 are block diagrams showing an example of a process for determining the grade of fish in the grade determination unit of Figure 3.
Figure 6 is a flowchart of an artificial neural network learning method according to an embodiment of the present invention.
Figure 7 is a flowchart of a fish grading method according to an embodiment of the present invention.
Figures 8 and 9 are detailed flowcharts of preprocessing the image of Figure 7.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure of the present invention is complete and to be understood by those skilled in the art. It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing embodiments of the present invention, if a detailed description of a known function or configuration is judged to unnecessarily obscure the gist of the present invention, the detailed description will be omitted. The terms described below are terms defined in consideration of functions in the embodiments of the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, the definition should be made based on the contents throughout this specification.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the attached drawings.
도 1은 본 발명의 일 실시예에 따른 인공 신경망 학습 장치의 블록도이다.1 is a block diagram of an artificial neural network learning device according to an embodiment of the present invention.
도 1을 참조하면, 인공 신경망 학습 장치(100)는 어류에 대한 이미지에 따라 어류의 등급을 판정하도록 어류 등급 판정 신경망을 학습시킬 수 있다.Referring to FIG. 1, the artificial neural
여기에서, 어류에 대한 이미지는 어류의 단면을 촬영한 이미지이고, 어류의 등급은 어류의 신선도, 품질 등을 구분한 것일 수 있다.Here, the image of the fish is an image of a cross-section of the fish, and the grade of the fish may be a classification of freshness, quality, etc. of the fish.
일 실시예에서, 어류의 대한 이미지는, 어류의 꼬리 절단면을 촬영한 꼬리 절단면 이미지 및 어류의 중골 절단면을 촬영한 중골 절단면 이미지 중 어느 하나일 수 있다.In one embodiment, the image of the fish may be one of a tail cut surface image obtained by photographing a cut surface of the tail of a fish and a midbone cut surface image obtained by photographing a cut surface of the midbone of a fish.
이에 따라, 인공 신경망 학습 장치(100)는 어류의 꼬리 절단면 이미지와, 레이블 데이터로서 정답 등급이 입력되면 어류의 등급을 출력하는 꼬리 절단면 등급 판정 모델 및 어류의 중골 절단면 이미지와, 레이블 데이터로서 정답 등급이 입력되면 어류의 등급을 출력하는 중골 절단면 등급 판정 모델 중 적어도 하나를 학습시킬 수 있다.Accordingly, the artificial neural
이때, 꼬리 절단면 등급 판정 모델은 꼬리 절단면 이미지에 따라 어류를 A, B 및 C 등급 중 어느 하나로 판정하고, 중골 절단면 등급 판정 모델은 중골 절단면 이미지에 따라 어류를 A, B, C 및 D 등급 중 어느 하나로 판정하도록 학습될 수 있다.At this time, the tail cut surface grading model judges the fish to be one of grades A, B, and C according to the tail cut surface image, and the midbone cut surface grading model judges the fish to be one of A, B, C, and D grades according to the midbone cut surface image. It can be learned to judge as one.
이를 위해, 인공 신경망 학습 장치(100)는 입출력 모듈(110), 프로세서(120) 및 메모리(130)를 포함할 수 있다.To this end, the artificial neural
입출력 모듈(110)은 어류에 대한 학습용 이미지와, 학습용 이미지에 대한 레이블 데이터로서 정답 등급을 입력받을 수 있다.The input/
일 실시예에서, 입출력 모듈(110)은 학습용 꼬리 절단면 이미지가 입력되는 경우에, 학습용 꼬리 절단면 이미지에 대한 정답 등급으로서, A, B 및 C 등급 중 어느 하나가 입력되고, 학습용 중골 절단면 이미지가 입력되는 경우에, 학습용 중골 절단면 이미지에 대한 정답 등급으로서, A, B, C 및 D 등급 중 어느 하나가 입력될 수 있다.In one embodiment, when a tail cut surface image for learning is input, the input/
이때, 메모리(130)에는 입출력 모듈(110)을 통해 입력된, 학습용 이미지, 정답 등급 및 학습 중이거나 학습이 완료된 어류 등급 판정 신경망 중 적어도 하나가 저장될 수 있다.At this time, the
이와 관련하여, 일 실시예에서, 정답 등급은 해동 경직 현상에 의한 수축, 열에 의한 단백질 변성 및 살코기 색상 등에 기초하여 설정된 것일 수 있다. 또한, 다른 일 실시예에서, 꼬리 절단면 이미지에 따라 판정되는 어류는 황다랑어 및 눈다랑어이고, 중골 절단면 이미지에 따라 판정되는 어류는 선망어업을 통해 어획된 어종일 수 있다.In this regard, in one embodiment, the correct answer grade may be set based on shrinkage due to thawing stiffening phenomenon, protein denaturation due to heat, and meat color, etc. Additionally, in another embodiment, the fish determined based on the tail cut image may be yellowfin tuna and bigeye tuna, and the fish determined based on the midbone cut image may be a fish species caught through purse seine fishing.
프로세서(120)는 학습용 이미지와 정답 등급을 이용하여 학습용 이미지에 따른 학습용 등급을 출력하도록 어류 등급 판정 신경망을 학습시킬 수 있다.The
이를 위해, 프로세서(120)는 CNN(Convolution Neural Network) 등의 인공 신경망 알고리즘을 이용하여 학습용 이미지와 정답 등급에 따른 학습을 수행할 수 있다.To this end, the
여기에서, CNN은 하나 이상의 컨볼루션 레이어(Convolution Layer)를 통해 이미지로부터 특징 맵(Feature Map)을 추출하고, 추출된 특징 맵에 따라 결과를 출력하는 인공 신경망 학습 기법일 수 있다.Here, CNN may be an artificial neural network learning technique that extracts a feature map from an image through one or more convolution layers and outputs results according to the extracted feature map.
한편, 프로세서(120)는 어류 등급 판정 신경망을 학습시키기 전에 학습용 이미지에 대한 전처리를 수행할 수 있다.Meanwhile, the
예를 들어, 프로세서(120)는 학습용 이미지에 포함된 다수의 픽셀 중 어류의 뼈에 해당되는 픽셀의 색상 값을 어류의 살코기에 해당되는 픽셀의 색상 값으로 보정할 수 있다.For example, the
또한, 프로세서(120)는 학습용 이미지가 다수 입력되면, 다수의 학습용 이미지 각각에 서로 다른 가중치를 부여하여 정합할 수 있다.Additionally, when multiple training images are input, the
이와 관련하여, 이미지에 대한 전처리를 수행하는 과정은 어류 등급 판정 장치에서 수행되는 전처리 과정과 동일하거나, 유사할 수 있으며, 따라서, 이미지에 대한 전처리를 수행하는 과정은 아래에서 보다 상세히 설명하도록 한다.In this regard, the process of performing pre-processing on the image may be the same as or similar to the pre-processing process performed in the fish rating device, and therefore, the process of performing pre-processing on the image will be described in more detail below.
도 2는 본 발명의 일 실시예에 따른 어류 등급 판정 장치의 블록도이다.Figure 2 is a block diagram of a fish grading device according to an embodiment of the present invention.
도 2를 참조하면, 어류 등급 판정 장치(200)는 어류의 단면을 촬영한 이미지가 입력되면, 이미지를 전처리하고, 미리 학습된 어류 등급 판정 신경망(400)에 전처리된 이미지를 입력하여 어류의 등급을 판정할 수 있다.Referring to FIG. 2, when an image of a cross-section of a fish is input, the fish grading device 200 pre-processes the image and inputs the pre-processed image into the pre-trained fish grading
여기에서, 어류 등급 판정 신경망(400)은 도 1의 인공 신경망 학습 장치(100)에 의해 학습된 것일 수 있다.Here, the fish grade determination
이를 위해, 어류 등급 판정 장치(200)는 입출력 모듈(210), 프로세서(220) 및 메모리(230)를 포함할 수 있다.To this end, the fish grade determination device 200 may include an input/
입출력 모듈(210)은 어류의 단면을 촬영한 이미지가 입력될 수 있다. 이에 따라, 메모리(230)에는 입출력 모듈(210)을 통해 입력된, 이미지가 저장될 수 있다.An image of a cross-section of a fish may be input to the input/
이때, 어류의 단면을 촬영한 이미지는 꼬리 절단면 이미지 및 중골 절단면 이미지 중 어느 하나일 수 있다.At this time, the image taken of the cross section of the fish may be either a tail cut surface image or a midbone cut surface image.
한편, 메모리(230)에는 미리 학습된 어류 등급 판정 신경망(400)이 저장될 수 있다. 이때, 메모리(230)에 저장된 어류 등급 판정 신경망(400)은 꼬리 절단면 등급 판정 모델 및 중골 절단면 등급 판정 모델을 포함할 수 있다.Meanwhile, a pre-trained fish grade determination
이와 관련하여, 일 실시예에서, 입출력 모듈(210)은 사용자로부터 꼬리 절단면 등급 판정 모델 및 중골 절단면 등급 판정 모델 중 어느 하나에 대한 선택 명령이 입력될 수 있다. 이러한 경우에, 프로세서(220)는 사용자의 선택 명령에 따른 어류 등급 판정 신경망(400)을 이용하여 어류의 등급을 판정할 수 있다.In this regard, in one embodiment, the input/
한편, 메모리(230)에는 어류 등급 판정 프로그램(300) 및 어류 등급 판정 프로그램(300)의 실행에 필요한 정보가 저장될 수 있다.Meanwhile, the
본 명세서에서 어류 등급 판정 프로그램(300)은 어류의 단면을 촬영한 이미지를 전처리하고, 미리 학습된 어류 등급 판정 신경망(400)에 전처리된 이미지를 입력하여 어류의 등급을 판정하도록 프로그램된 명령어들을 포함하는 소프트웨어를 의미할 수 있다.In this specification, the
따라서, 프로세서(220)는 어류 등급 판정 프로그램(300)을 실행하기 위하여 메모리(230)에서 어류 등급 판정 프로그램(300) 및 어류 등급 판정 프로그램(300)의 실행에 필요한 정보를 로드할 수 있다.Accordingly, the
한편, 어류 등급 판정 프로그램(300)의 기능 및/또는 동작에 대하여는 도 3을 통해 상세하게 살펴보기로 한다.Meanwhile, the function and/or operation of the fish
도 3은 도 2의 어류 등급 판정 프로그램의 일 실시예를 개념적으로 나타낸 블록도이다.Figure 3 is a block diagram conceptually showing an embodiment of the fish grade determination program of Figure 2.
도 3을 참조하면, 어류 등급 판정 프로그램(300)은 색상 보정부(310), 이미지 정합부(320) 및 등급 판정부(330)를 포함할 수 있다.Referring to FIG. 3 , the
도 3에 도시된 색상 보정부(310), 이미지 정합부(320) 및 등급 판정부(330)는 어류 등급 판정 프로그램(300)의 기능을 쉽게 설명하기 위하여 어류 등급 판정 프로그램(300)의 기능을 개념적으로 나눈 것으로서, 이에 한정되지 않는다. 실시예들에 따라, 색상 보정부(310), 이미지 정합부(320) 및 등급 판정부(330)의 기능은 병합/분리 가능하며, 하나의 프로그램에 포함된 일련의 명령어들로 구현될 수도 있다.The
색상 보정부(310)는 이미지에 어류의 뼈가 촬영된 것으로 판단되면 어류의 뼈 영역의 색상을 보정할 수 있다. 이를 위해, 색상 보정부(310)는 이미지에 포함된 다수의 픽셀 중 어류의 뼈에 해당되는 픽셀의 색상 값을 어류의 살코기에 해당되는 픽셀의 색상 값으로 보정할 수 있다.If it is determined that fish bones are captured in the image, the
이때, 색상 보정부(310)는 분류부(311) 및 처리부(312)를 포함할 수 있다.At this time, the
분류부(311)는 이미지에 포함된 다수의 픽셀을 다수의 색 그룹으로 분류할 수 있다. 일 실시예에서, 분류부(311)는 미리 설정된 다수의 색 범위에 기초하여 다수의 픽셀을 각각의 색 범위에 따른 색 그룹으로 분류할 수 있다.The
이때, 분류부(311)는 다수의 픽셀에 대한 평균 색상 값에 기초하여 서로 다른 다수의 색 범위가 결정될 수 있다. 일 실시예에서, 분류부(311)는 평균 색상 값의 명도가 높아질수록 명도가 높은 색에 대한 범위를 좁게 설정하고, 명도가 낮은 색에 대한 범위를 넓게 설정할 수 있다. 또한, 분류부(311)는 평균 색상 값의 명도가 낮아질수록 명도가 높은 색에 대한 범위를 넓게 설정하고, 명도가 낮은 색에 대한 범위를 좁게 설정할 수 있다.At this time, the
다른 일 실시예에서, 분류부(311)는 평균 색상 값의 채도가 높아질수록 채도가 높은 색에 대한 범위를 좁게 설정하고, 채도가 낮은 색에 대한 범위를 넓게 설정할 수 있다. 또한, 분류부(311)는 평균 색상 값의 채도가 낮아질수록 채도가 높은 색에 대한 범위를 넓게 설정하고, 채도가 낮은 색에 대한 범위를 좁게 설정할 수 있다.In another embodiment, as the saturation of the average color value increases, the
또 다른 일 실시예에서, 분류부(311)는 평균 색상 값의 채도에 가까운 색 일수록 색 범위를 좁게 설정하고, 평균 색상 값의 채도에 먼 색 일수록 색 범위를 넓게 설정할 수 있다. 또한, 분류부(311)는 평균 색상 값의 명도에 가까운 색 일수록 색 범위를 좁게 설정하고, 평균 색상 값의 명도에 먼 색 일수록 색 범위를 넓게 설정할 수 있다.In another embodiment, the
이에 따라, 처리부(312)는 다수의 색 그룹 중 어류의 뼈에 해당되는 제 1 색 그룹을 확인하고, 다수의 색 그룹 중 픽셀의 개수가 가장 많은 제 2 색 그룹을 확인할 수 있다.Accordingly, the
일 실시예에서, 제 1 색 그룹은 [242, 226, 226] 내지 [255, 255, 255]의 색상을 포함할 수 있다. 여기에서, [242, 226, 226]은 RGB 색상 값으로써, R 요소가 242, G 요소가 226 및 B 요소가 226으로 설정된 색상 값일 수 있다.In one embodiment, the first color group may include colors from [242, 226, 226] to [255, 255, 255]. Here, [242, 226, 226] is an RGB color value, which may be a color value in which the R element is set to 242, the G element is set to 226, and the B element is set to 226.
한편, 제 2 색 그룹은 어류에 해당되는 영역 중 가장 큰 비율을 가진 색상으로서, 예를 들어, 어류의 살코기 색상일 수 있다.Meanwhile, the second color group is a color with the largest proportion in the area corresponding to fish, and may be, for example, the color of fish flesh.
이에 따라, 처리부(312)는 제 2 색 그룹에 포함된 적어도 하나의 픽셀의 색상 값을 이용하여 제 1 색 그룹에 포함된 적어도 하나의 픽셀 각각의 색상 값을 치환할 수 있다. 예를 들어, 처리부(312)는 제 1 색 그룹에 포함된 적어도 하나의 픽셀 각각의 색상 값을 제 2 색 그룹에 포함된 적어도 하나의 픽셀의 평균 색상 값으로 치환할 수 있다.Accordingly, the
한편, 색상 보정부(310)는 이미지에 포함된 다수의 픽셀 중 어류에 해당되는 영역만을 이용하여 어류의 뼈 색상을 보정할 수 있다.Meanwhile, the
일 실시예에서, 색상 보정부(310)는 소정의 어류 영역 추출 알고리즘을 이용하여 어류에 해당되는 영역을 추출할 수 있다. 여기에서, 어류 영역 추출 알고리즘은 별도의 인공 신경망을 통해 어류에 해당되는 영역을 추출하도록 학습된 것이거나, 이미지 내에서 어류와 배경 사이의 경계선을 획득하여 어류에 해당되는 영역을 추출하도록 프로그래밍된 명령어를 포함하는 것일 수 있다.In one embodiment, the
다른 일 실시예에서, 색상 보정부(310)는 미리 설정된 색 범위 내의 색상 값을 가진 픽셀을, 어류의 뼈 색상을 보정하는 과정에서 영향을 주지 않도록, 미리 지정된 색상 값으로 치환할 수 있다. 예를 들어, 색상 보정부(310)는 이미지에서, 배경 색상에 해당되는 색상 값을 가진 픽셀을 미리 지정된 색상 값으로 치환할 수 있다.In another embodiment, the
이미지 정합부(320)는 하나의 어류에 대해 서로 다른 환경에서 촬영된 다수의 이미지를 하나의 이미지로 정합할 수 있다. 이때, 다수의 이미지는 제 1 조명 환경에서 촬영된 제 1 이미지와, 제 1 조명 환경보다 명도가 낮은 제 2 조명 환경에서 촬영된 제 2 이미지를 포함할 수 있다.The
일 실시예에서, 제 1 이미지는 제 2 이미지보다 카메라의 노출 시간을 길게 설정하여 촬영된 이미지일 수 있다. 다른 일 실시예에서, 제 1 이미지는 제 2 이미지보다 카메라의 감도를 높게 설정하여 촬영된 이미지일 수 있다.In one embodiment, the first image may be an image captured by setting a longer exposure time of the camera than the second image. In another embodiment, the first image may be an image captured by setting the sensitivity of the camera to be higher than that of the second image.
따라서, 제 1 이미지는 어류의 단면 색상이 제 2 이미지보다 명확하고, 제 2 이미지는 어류의 단면에서, 살코기와 지방의 경계선이 제 1 이미지보다 명확할 수 있다.Accordingly, the color of the cross section of the fish in the first image may be clearer than that of the second image, and the borderline between meat and fat in the cross section of the fish may be clearer in the second image than in the first image.
이에 따라, 이미지 정합부(320)는 이미지가 다수 입력되면, 다수의 이미지 각각에 서로 다른 가중치를 부여하여 정합할 수 있다.Accordingly, when multiple images are input, the
일 실시예에서, 이미지 정합부(320)는 이미지 블렌딩 기법을 이용하여 다수의 이미지를 정합할 수 있다. 여기에서, 이미지 블렌딩 기법은 다수의 이미지를 정합하는 과정에서, 각 이미지 내의 특정 영역들을 추출하여 정합하는 것일 수 있다.In one embodiment, the
이를 위해, 이미지 정합부(320)는 아래의 수학식 1 및 2를 통해 다수의 이미지를 정합할 수 있다.To this end, the
수학식 1에서, g(x)는 정합된 이미지이고, f0(x)는 제 1 이미지이며, f1(x)는 제 2 이미지일 수 있다. 또한, a는 가중치일 수 있다.In Equation 1, g(x) may be the registered image, f0(x) may be the first image, and f1(x) may be the second image. Additionally, a may be a weight.
따라서, 수학식 1을 참조하면, 정합된 이미지는 가중치의 값이 0으로부터 1까지 변화할수록, 제 1 이미지의 영향은 작아지고, 제 2 이미지의 영향은 커질 수 있다.Therefore, referring to Equation 1, as the weight value of the matched image changes from 0 to 1, the influence of the first image may decrease and the influence of the second image may increase.
수학식 2에서, dst(I)는 정합된 이미지이고, src1(I)는 제 1 이미지이며, src2(I)는 제 2 이미지일 수 있다. 또한, alpha는 수학식 1의 (1-a)이고, beta는 a이며, gamma는 미리 설정된 가중치일 수 있다.In Equation 2, dst(I) may be a registered image, src1(I) may be the first image, and src2(I) may be the second image. Additionally, alpha is (1-a) in Equation 1, beta is a, and gamma may be a preset weight.
이에 기초하여, 이미지 정합부(320)는 다수의 이미지 중 제 1 이미지에서는 어류의 단면 색상이 강조되고, 제 2 이미지에서는 어류의 살코기와 지방의 경계선이 강조되도록, 제 1 이미지와 제 2 이미지 각각에 가중치를 부여할 수 있다.Based on this, the
다시 말해서, 이미지 정합부(320)는 제 1 이미지의 단면 영역과 제 2 이미지의 경계선 영역을 합성하여 정합된 이미지를 획득할 수 있다.In other words, the
일 실시예에서, 제 1 이미지의 단면 색상은 제 2 이미지의 경계선 영역과 비교하여 채도가 높게 나타나므로, 이미지 정합부(320)는 제 1 이미지의 채도에 높은 가중치를 부여하고, 제 2 이미지의 채도에 낮은 가중치를 부여할 수 있다.In one embodiment, the cross-sectional color of the first image appears to have higher saturation compared to the border area of the second image, so the
다른 일 실시예에서, 제 1 이미지의 단면 색상은 제 2 이미지의 경계선 영역과 비교하여 명도가 낮게 나타나므로, 이미지 정합부(320)는 제 1 이미지의 명도에 낮은 가중치를 부여하고, 제 2 이미지의 명도에 높은 가중치를 부여할 수 있다.In another embodiment, the cross-sectional color of the first image appears to have lower brightness compared to the border area of the second image, so the
이와 관련하여, 일 실시예에서, 어류 등급 판정 프로그램(300)은 입출력 모듈(210)을 통해 입력된 이미지에서, 어류의 뼈가 존재하는 것으로 감지되면 색상 보정부(310)에 의한 전처리를 수행하고, 하나의 어류를 촬영한 다수의 이미지가 입력된 것으로 감지되면 이미지 정합부(320)에 의한 전처리를 수행할 수 있다.In this regard, in one embodiment, the fish
등급 판정부(330)는 어류 등급 판정 신경망(400)에 전처리된 이미지를 입력하여 어류의 등급을 판정할 수 있다.The rating determination unit 330 may input the preprocessed image into the fish rating
이때, 등급 판정부(330)는 사용자로부터의 선택에 기초하여 어류 등급 판정 신경망(400)에 포함된 꼬리 절단면 등급 판정 모델 및 중골 절단면 등급 판정 모델 중 어느 하나를 이용할 수 있다.At this time, the rating unit 330 may use one of the tail cut surface rating model and the midbone cut surface rating model included in the fish rating
도 4 및 도 5는 도 3의 등급 판정부에서 어류의 등급을 판정하는 과정의 일 실시예를 나타낸 블록도이다.Figures 4 and 5 are block diagrams showing an example of a process for determining the grade of fish in the grade determination unit of Figure 3.
도 4를 참조하면, 인공 신경망 학습 장치(100)를 통해, 학습용 꼬리 절단면 이미지(13a)와 정답 등급(15a)를 이용하여 꼬리 절단면 등급 판정 모델(231a)을 학습하고, 어류 등급 판정 장치(200)를 통해, 미리 학습된 꼬리 절단면 등급 판정 모델(231a)에 꼬리 절단면 이미지(30a)를 입력하여 어류의 등급(50a)이 출력되는 것을 확인할 수 있다.Referring to FIG. 4, the tail cut
도 5를 참조하면, 인공 신경망 학습 장치(100)를 통해, 학습용 중골 절단면 이미지(13b)와 정답 등급(15b)을 이용하여 중골 절단면 등급 판정 모델(231b)을 학습하고, 어류 등급 판정 장치(200)를 통해, 미리 학습된 중골 절단면 등급 판정 모델(231b)에 중골 절단면 이미지(30b)를 입력하여 어류의 등급(50b)이 출력되는 것을 확인할 수 있다.Referring to FIG. 5, through the artificial neural
도 6은 본 발명의 일 실시예에 따른 인공 신경망 학습 방법의 순서도이다.Figure 6 is a flowchart of an artificial neural network learning method according to an embodiment of the present invention.
도 1 및 도 6을 참조하면, 프로세서(120)는 입출력 모듈(110)을 통해, 어류에 대한 학습용 이미지와, 학습용 이미지에 대한 레이블 데이터로서 정답 등급을 입력받을 수 있다(S100).Referring to FIGS. 1 and 6 , the
이에 따라, 프로세서(120)는 학습용 이미지와 정답 등급을 이용하여 학습용 이미지에 따른 학습용 등급을 출력하도록 어류 등급 판정 신경망을 학습시킬 수 있다(S200).Accordingly, the
도 7은 본 발명의 일 실시예에 따른 어류 등급 판정 방법의 순서도이다.Figure 7 is a flowchart of a fish grading method according to an embodiment of the present invention.
도 2 및 도 7을 참조하면, 프로세서(220)는 입출력 모듈(210)을 통해 어류의 단면을 촬영한 이미지가 입력되면, 이미지를 전처리할 수 있다(S600).Referring to FIGS. 2 and 7 , when an image of a cross-section of a fish is input through the input/
이에 따라, 프로세서(220)는 미리 학습된 어류 등급 판정 신경망(400)에 전처리된 이미지를 입력하여 어류의 등급을 판정할 수 있다(S700).Accordingly, the
도 8 및 도 9는 도 7의 이미지를 전처리하는 단계의 세부 순서도이다.Figures 8 and 9 are detailed flowcharts of preprocessing the image of Figure 7.
도 3 및 도 8을 참조하면, 분류부(311)는 다수의 픽셀을 다수의 색 그룹으로 분류할 수 있다(S610).Referring to FIGS. 3 and 8 , the
이때, 처리부(312)는 다수의 색 그룹 중 어류의 뼈에 해당되는 제 1 색 그룹을 확인하고(S620), 다수의 색 그룹 중 픽셀의 개수가 가장 많은 제 2 색 그룹을 확인할 수 있다(S630).At this time, the
이에 따라, 처리부(312)는 제 2 색 그룹에 포함된 적어도 하나의 픽셀의 색상 값을 이용하여 제 1 색 그룹에 포함된 적어도 하나의 픽셀 각각의 색상 값을 치환할 수 있다(S640).Accordingly, the
도 3 및 도 9를 참조하면, 이미지 정합부(320)는 제 1 이미지에서는 어류의 단면 색상이 강조되도록 가중치를 결정하고(S660), 제 2 이미지에서는 어류의 살코기와 지방의 경계선이 강조되도록 가중치를 결정할 수 있다(S670).Referring to FIGS. 3 and 9, the
이에 따라, 이미지 정합부(320)는 제 1 이미지와 제 2 이미지 각각에 서로 다른 가중치를 부여하여 정합할 수 있다(S680).Accordingly, the
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 메모리(내장 메모리 또는 외장 메모리))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램)로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 장치)를 포함할 수 있다. 상기 명령이 프로세서(예: 프로세서)에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.Various embodiments of the present document are software (e.g., instructions stored in a machine-readable storage media (e.g., memory (built-in memory or external memory)) that can be read by a machine (e.g., a computer). : program). The device is a device capable of calling instructions stored in a storage medium and operating according to the called instructions, and may include an electronic device (eg, device) according to the disclosed embodiments. When the instruction is executed by a processor (eg, a processor), the processor may perform the function corresponding to the instruction directly or using other components under the control of the processor. Instructions may contain code generated or executed by a compiler or interpreter. A storage medium that can be read by a device may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' only means that the storage medium does not contain signals and is tangible, and does not distinguish whether the data is stored semi-permanently or temporarily in the storage medium.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다.According to one embodiment, methods according to various embodiments disclosed in this document may be provided and included in a computer program product.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an illustrative explanation of the technical idea of the present invention, and those skilled in the art will be able to make various modifications and variations without departing from the essential quality of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but are for illustrative purposes, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention shall be interpreted in accordance with the claims below, and all technical ideas within the scope equivalent thereto shall be construed as being included in the scope of rights of the present invention.
10: 학습용 데이터
13: 학습용 이미지
13a: 학습용 꼬리 절단면 이미지
13b: 학습용 중골 절단면 이미지
15: 정답 등급
30: 이미지
30a: 꼬리 절단면 이미지
30b: 중골 절단면 이미지
50: 등급
100: 인공 신경망 학습 장치
200: 어류 등급 판정 장치
231a: 꼬리 절단면 등급 판정 모델
231b: 중골 절단면 등급 판정 모델10: Training data
13: Image for training
13a: Tail cross-section image for training purposes
13b: Midbone cross section image for learning purposes
15: Correct Answer Grade
30: image
30a: tail cut surface image
30b: Midbone cross section image
50: Grade
100: Artificial neural network learning device
200: Fish grading device
231a: Tail cut surface grading model
231b: midbone cut surface grading model
Claims (18)
미리 학습된 어류 등급 판정 신경망에 상기 전처리된 이미지를 입력하여 상기 어류의 등급을 판정하는 단계;를 포함하는, 어류 등급 판정 방법.When an image of a cross-section of a fish is input, preprocessing the image; and
A fish grading method including; inputting the pre-processed image into a pre-trained fish grading neural network to determine the grading of the fish.
인공 신경망 학습 방법에 따라 학습된 것이고,
상기 인공 신경망 학습 방법은,
어류에 대한 학습용 이미지와, 상기 학습용 이미지에 대한 레이블 데이터로서 정답 등급을 입력받는 단계; 및
상기 학습용 이미지와 상기 정답 등급을 이용하여 상기 학습용 이미지에 따른 학습용 등급을 출력하도록 상기 어류 등급 판정 신경망을 학습시키는 단계;를 포함하는, 어류 등급 판정 방법.The method of claim 1, wherein the fish grading neural network is:
It was learned according to the artificial neural network learning method,
The artificial neural network learning method is,
Inputting a learning image for a fish and a correct answer grade as label data for the learning image; and
A fish rating determination method including; using the learning image and the correct answer rating to train the fish rating neural network to output a learning rating according to the learning image.
상기 어류의 꼬리 절단면을 촬영한 꼬리 절단면 이미지 및 상기 어류의 중골 절단면을 촬영한 중골 절단면 이미지 중 어느 하나인, 어류 등급 판정 방법.The method of claim 1, wherein the image is:
A fish grade determination method, which is one of a tail cut surface image obtained by photographing the tail cut surface of the fish and a midbone cut surface image obtained by photographing the midbone cut surface of the fish.
상기 이미지에 포함된 다수의 픽셀 중 상기 어류의 뼈에 해당되는 픽셀의 색상 값을 상기 어류의 살코기에 해당되는 픽셀의 색상 값으로 보정하는 단계;를 포함하는, 어류 등급 판정 방법.The method of claim 1, wherein the pretreatment step includes:
Comprising: correcting the color value of a pixel corresponding to the bone of the fish among a plurality of pixels included in the image to the color value of a pixel corresponding to the flesh of the fish.
상기 다수의 픽셀을 다수의 색 그룹으로 분류하는 단계;
상기 다수의 색 그룹 중 상기 어류의 뼈에 해당되는 제 1 색 그룹을 확인하는 단계;
상기 다수의 색 그룹 중 픽셀의 개수가 가장 많은 제 2 색 그룹을 확인하는 단계; 및
상기 제 2 색 그룹에 포함된 적어도 하나의 픽셀의 색상 값을 이용하여 상기 제 1 색 그룹에 포함된 적어도 하나의 픽셀 각각의 색상 값을 치환하는 단계;를 포함하는, 어류 등급 판정 방법.The method of claim 4, wherein the step of correcting with the color value of the pixel corresponding to the flesh of the fish,
classifying the plurality of pixels into a plurality of color groups;
Identifying a first color group corresponding to the fish bone among the plurality of color groups;
identifying a second color group with the largest number of pixels among the plurality of color groups; and
Substituting the color value of each of at least one pixel included in the first color group using the color value of at least one pixel included in the second color group. A fish rating method comprising a.
상기 이미지가 다수 입력되면,
상기 다수의 이미지 각각에 서로 다른 가중치를 부여하여 정합하는 단계;를 포함하는, 어류 등급 판정 방법.The method of claim 1, wherein the pretreatment step includes:
When multiple images are input,
A fish rating method including; assigning different weights to each of the plurality of images and matching them.
상기 다수의 이미지 중 제 1 이미지에서는 상기 어류의 단면 색상이 강조되고, 제 2 이미지에서는 상기 어류의 살코기와 지방의 경계선이 강조되도록, 상기 제 1 이미지와 상기 제 2 이미지 각각에 가중치를 부여하는, 어류 등급 판정 방법.The method of claim 6, wherein the step of matching by assigning different weights comprises:
Weighting is given to each of the first image and the second image so that the cross-sectional color of the fish is emphasized in the first image among the plurality of images, and the boundary line between the meat and fat of the fish is emphasized in the second image. How to grade fish.
제 1 조명 환경에서 촬영된 제 1 이미지와, 상기 제 1 조명 환경보다 명도가 낮은 제 2 조명 환경에서 촬영된 제 2 이미지를 포함하는, 어류 등급 판정 방법.The method of claim 6, wherein the plurality of images are:
A fish rating method comprising a first image taken in a first lighting environment and a second image taken in a second lighting environment with lower brightness than the first lighting environment.
상기 학습용 이미지와 상기 정답 등급을 이용하여 상기 학습용 이미지에 따른 학습용 등급을 출력하도록 어류 등급 판정 신경망을 학습시키는 단계;를 포함하는, 인공 신경망 학습 방법.Inputting a learning image for a fish and a correct answer grade as label data for the learning image; and
An artificial neural network learning method comprising: using the learning image and the correct answer grade to train a fish grade determination neural network to output a learning grade according to the learning image.
상기 어류의 꼬리 절단면을 촬영한 학습용 꼬리 절단면 이미지 및 상기 어류의 중골 절단면을 촬영한 학습용 중골 절단면 이미지 중 어느 하나인, 인공 신경망 학습 방법.The method of claim 9, wherein the learning image is:
An artificial neural network learning method, which is one of a learning tail cut surface image obtained by photographing the tail cut surface of the fish and a learning midbone cut surface image obtained by photographing the midbone cut surface of the fish.
상기 학습용 이미지에 포함된 다수의 픽셀 중 상기 어류의 뼈에 해당되는 픽셀의 색상 값을 상기 어류의 살코기에 해당되는 픽셀의 색상 값으로 보정하는 단계;를 포함하는, 인공 신경망 학습 방법.The method of claim 9, wherein the step of training the fish rating neural network is:
An artificial neural network learning method comprising: correcting the color value of a pixel corresponding to the bone of the fish among a plurality of pixels included in the learning image to the color value of a pixel corresponding to the flesh of the fish.
상기 학습용 이미지가 다수 입력되면,
상기 다수의 학습용 이미지 각각에 서로 다른 가중치를 부여하여 정합하는 단계;를 포함하는, 인공 신경망 학습 방법.The method of claim 9, wherein the step of training the fish rating neural network is:
When multiple training images are input,
An artificial neural network learning method comprising: assigning different weights to each of the plurality of training images and matching them.
어류의 단면을 촬영한 이미지가 입력되면, 상기 이미지를 전처리하고, 상기 어류 등급 판정 신경망에 상기 전처리된 이미지를 입력하여 상기 어류의 등급을 판정하는 프로세서;를 포함하는, 어류 등급 판정 장치.A memory in which a pre-trained fish grading neural network is stored; and
When an image of a cross-section of a fish is input, a processor that pre-processes the image and inputs the pre-processed image into the fish grade determination neural network to determine the grade of the fish. Fish grade determination device comprising a.
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
어류의 단면을 촬영한 이미지가 입력되면, 상기 이미지를 전처리하는 단계; 및
미리 학습된 어류 등급 판정 신경망에 상기 전처리된 이미지를 입력하여 상기 어류의 등급을 판정하는 단계;를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체.A computer-readable recording medium storing a computer program,
When the computer program is executed by a processor,
When an image of a cross-section of a fish is input, preprocessing the image; and
A computer-readable recording medium comprising instructions for causing the processor to perform a method including inputting the pre-processed image into a pre-trained fish grade determination neural network to determine the grade of the fish.
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
어류의 단면을 촬영한 이미지가 입력되면, 상기 이미지를 전처리하는 단계; 및
미리 학습된 어류 등급 판정 신경망에 상기 전처리된 이미지를 입력하여 상기 어류의 등급을 판정하는 단계;를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 프로그램.A computer program stored on a computer-readable recording medium,
When the computer program is executed by a processor,
When an image of a cross-section of a fish is input, preprocessing the image; and
A computer program comprising instructions for causing the processor to perform a method including inputting the pre-processed image into a pre-trained fish grade determination neural network to determine the grade of the fish.
상기 학습용 이미지와 상기 정답 등급을 이용하여 상기 학습용 이미지에 따른 학습용 등급을 출력하도록 어류 등급 판정 신경망을 학습시키는 프로세서;를 포함하는, 인공 신경망 학습 장치.A memory storing learning images of fish and correct answer ratings as label data for the learning images; and
An artificial neural network learning device comprising; a processor that trains a fish rating neural network to output a learning rating according to the learning image using the learning image and the correct answer rating.
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
어류에 대한 학습용 이미지와, 상기 학습용 이미지에 대한 레이블 데이터로서 정답 등급을 입력받는 단계; 및
상기 학습용 이미지와 상기 정답 등급을 이용하여 상기 학습용 이미지에 따른 학습용 등급을 출력하도록 어류 등급 판정 신경망을 학습시키는 단계;를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체.A computer-readable recording medium storing a computer program,
When the computer program is executed by a processor,
Inputting a learning image for a fish and a correct answer grade as label data for the learning image; and
A computer-readable record comprising instructions for causing the processor to perform a method including: training a fish rating neural network to output a learning rating according to the learning image using the learning image and the correct answer rating. media.
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
어류에 대한 학습용 이미지와, 상기 학습용 이미지에 대한 레이블 데이터로서 정답 등급을 입력받는 단계; 및
상기 학습용 이미지와 상기 정답 등급을 이용하여 상기 학습용 이미지에 따른 학습용 등급을 출력하도록 어류 등급 판정 신경망을 학습시키는 단계;를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 프로그램.A computer program stored on a computer-readable recording medium,
When the computer program is executed by a processor,
Inputting a learning image for a fish and a correct answer grade as label data for the learning image; and
A computer program comprising instructions for causing the processor to perform a method including: training a fish rating neural network to output a learning rating according to the learning image using the learning image and the correct answer rating.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220035194A KR20230137594A (en) | 2022-03-22 | 2022-03-22 | Method and apparatus for determining fish grade using artificial neural network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220035194A KR20230137594A (en) | 2022-03-22 | 2022-03-22 | Method and apparatus for determining fish grade using artificial neural network |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230137594A true KR20230137594A (en) | 2023-10-05 |
Family
ID=88294154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220035194A KR20230137594A (en) | 2022-03-22 | 2022-03-22 | Method and apparatus for determining fish grade using artificial neural network |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230137594A (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101926490B1 (en) | 2013-03-12 | 2018-12-07 | 한화테크윈 주식회사 | Apparatus and method for processing image |
KR102337383B1 (en) | 2019-01-23 | 2021-12-10 | 주식회사 스트라드비젼 | LEARNING METHOD AND LEARNING DEVICE FOR CNN USING 1xK OR Kx1 CONVOLUTION TO BE USED FOR HARDWARE OPTIMIZATION, AND TESTING METHOD AND TESTING DEVICE USING THE SAME |
-
2022
- 2022-03-22 KR KR1020220035194A patent/KR20230137594A/en unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101926490B1 (en) | 2013-03-12 | 2018-12-07 | 한화테크윈 주식회사 | Apparatus and method for processing image |
KR102337383B1 (en) | 2019-01-23 | 2021-12-10 | 주식회사 스트라드비젼 | LEARNING METHOD AND LEARNING DEVICE FOR CNN USING 1xK OR Kx1 CONVOLUTION TO BE USED FOR HARDWARE OPTIMIZATION, AND TESTING METHOD AND TESTING DEVICE USING THE SAME |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8295606B2 (en) | Device and method for detecting shadow in image | |
US9053537B2 (en) | Classifier for use in generating a diffuse image | |
da Costa Barbon et al. | Development of a flexible computer vision system for marbling classification | |
CN106951899A (en) | Method for detecting abnormality based on image recognition | |
WO2006081437A2 (en) | Method and system for identifying illumination flux in an image | |
US7643674B2 (en) | Classification methods, classifier determination methods, classifiers, classifier determination devices, and articles of manufacture | |
EP2333720A2 (en) | System and method for detection of specularity in an image | |
EP3506165A1 (en) | Using a first stain to train a model to predict the region stained by a second stain | |
US8577150B2 (en) | System and method for removing specularity from an image | |
US9396411B2 (en) | Method and system for generating intrinsic images using a single reflectance technique | |
Zhang et al. | Automatic shrimp shape grading using evolution constructed features | |
US8559714B2 (en) | Post processing for improved generation of intrinsic images | |
US8983183B2 (en) | Spatially varying log-chromaticity normals for use in an image process | |
Prados et al. | Real-time fish detection in trawl nets | |
Uttaro et al. | An image analysis approach to identification and measurement of marbling in the intact pork loin | |
CN112634274B (en) | Machine vision-based fattening pork quality evaluation method and system | |
KR20200021398A (en) | Image processing apparatus and method | |
US8913829B2 (en) | Automatic processing scale estimation for use in an image process | |
CN112396594B (en) | Method and device for acquiring change detection model, change detection method, computer equipment and readable storage medium | |
JP4649498B2 (en) | Color correction method and system for image data | |
KR20230137594A (en) | Method and apparatus for determining fish grade using artificial neural network | |
Lopes et al. | Dual Stage Image Analysis for a complex pattern classification task: Ham veining defect detection | |
US8428352B1 (en) | Post processing for improved generation of intrinsic images | |
EP2776979B1 (en) | Post processing for improved generation of intrinsic images | |
Garcia et al. | Chicken meat freshness classification based on VGG16 architecture |