KR102586231B1 - 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템 및 이를 이용한 등급판정방법, 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체 - Google Patents
소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템 및 이를 이용한 등급판정방법, 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체 Download PDFInfo
- Publication number
- KR102586231B1 KR102586231B1 KR1020200178774A KR20200178774A KR102586231B1 KR 102586231 B1 KR102586231 B1 KR 102586231B1 KR 1020200178774 A KR1020200178774 A KR 1020200178774A KR 20200178774 A KR20200178774 A KR 20200178774A KR 102586231 B1 KR102586231 B1 KR 102586231B1
- Authority
- KR
- South Korea
- Prior art keywords
- cross
- image
- grade
- section
- image information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 241000283690 Bos taurus Species 0.000 title description 9
- 210000003205 muscle Anatomy 0.000 claims abstract description 67
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 29
- 235000015278 beef Nutrition 0.000 claims abstract description 27
- 230000003187 abdominal effect Effects 0.000 claims abstract description 19
- 235000013372 meat Nutrition 0.000 claims description 75
- 238000012545 processing Methods 0.000 claims description 35
- 238000007918 intramuscular administration Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000013135 deep learning Methods 0.000 claims description 20
- 239000004020 conductor Substances 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000013531 bayesian neural network Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000004313 glare Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 4
- 239000004065 semiconductor Substances 0.000 abstract description 4
- 238000010191 image analysis Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 15
- 210000001015 abdomen Anatomy 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000011161 development Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000003628 erosive effect Effects 0.000 description 3
- 238000003307 slaughter Methods 0.000 description 3
- 210000000115 thoracic cavity Anatomy 0.000 description 3
- 244000309464 bull Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 244000309465 heifer Species 0.000 description 2
- 244000144972 livestock Species 0.000 description 2
- 210000004705 lumbosacral region Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 208000004930 Fatty Liver Diseases 0.000 description 1
- 206010019708 Hepatic steatosis Diseases 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 235000013527 bean curd Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000010706 fatty liver disease Diseases 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 235000020997 lean meat Nutrition 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011164 ossification Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 231100000240 steatosis hepatitis Toxicity 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
- A22B—SLAUGHTERING
- A22B5/00—Accessories for use during or after slaughtering
- A22B5/0064—Accessories for use during or after slaughtering for classifying or grading carcasses; for measuring back fat
- A22B5/007—Non-invasive scanning of carcasses, e.g. using image recognition, tomography, X-rays, ultrasound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/02—Food
- G01N33/12—Meat; Fish
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/007—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Food Science & Technology (AREA)
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
본 발명은, 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급 판정 시스템 및 방법에 대한 것으로, 쇠고기 자동 등급판정 장치는 도축된 소를 수직으로 이등분할하여 이중 좌측 반도체의 등심 부위를 절개한 판정 부위의 배최장근 단면 영상을 찰영하고 영상분석 알고리즘을 적용하여 품질측정인자의 결과값을 예측하기 위한 장치와 프로그램을 제공할 수 있다.
Description
본 발명은, 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급 판정 시스템 및 방법에 대한 것이다.
일반적으로 소고기는 도축 직후에 등급을 분류하여 등급에 따라 다른 가격으로 판매가 이루어진다. 소고기의 등급은 육질 및 육량 등급을 통하여 판정되며, 판정의 방법은 전문등급판정사의 육안에 의하고 있다.
그러나 육안에 의한 판정은 등급판정을 위한 등급판정항목별로 정량화된 데이터의 축적이 어렵기 때문에, 등급판정 결과에 대한 객관성을 확보하지 못하는 문제가 있다. 또한 등급 판정에 소요되는 시간이 매우 길고, 경험이 중요하여 전문등급판정사의 양성이 어렵다는 단점이 있다.
이러한 문제를 해결하기 위하여, 영상분석을 통하여 자동으로 등급을 분류하는 기술에 대한 연구가 계속되고 있으며, 디지털 영상기술의 발전과 함께 관심이 더욱 높아지고 있다. 그러나 소고기의 단면은 살코기와 지방이 혼재되어 있고 이들 사이의 분리가 명확하지 않기 때문에, 종래의 기술들에 의하여 추출된 판정영역의 경계선은 전문등급판정사가 추출한 경계선과 큰 차이를 보이고 있다.
이러한 문제를 해결하기 위해, 종래의 선행기술로 한국등록특허 제10-1065219호에서는, 소고기 등급을 판정하기 위한 수단으로, 디지털 영상을 분석하여 자동으로 소고기 등급을 판정하는 방법을 제시하였다. 그러나 이러한 방법은, 영상을 분석하여 판별하는 측면에서는 상당히 효율적인 기능을 구현하나, 영상을 확보하는 장비의 규모가 너무 무겁고 방대하여 실용성이 떨어지게 되며, 판정부위에 대한 정확한 영상확보가 어려워 실용성이 떨어지는 문제가 존재한다.
쇠고기 등급제도는 쇠고기의 품질과 규격을 과학적이고 객관적인 기준에 의해 판정하기 위한 제도로서 도축되는 모든 소는 등급판정이 요구되며, 소도축 현장에서 실시간으로 등급판정이 가능하고 휴대와 사용이 편리한 자동 품질등급 판정시스템의 필요성이 커지고 있다.
본 발명은 상술한 문제를 해결하기 위하여 안출된 것으로, 본 발명의 목적은 용자가 휴대하는 스마트폰과 같은 휴대용단말에 달린 카메라를 이용하여, 경량화 및 소형화한 영상입력모듈로 사용할 수 있도록 하여 사용의 편의성을 증대시켜, 쇠고기의 품질등급을 위해 판정이 필요한 대상부위인 이등분할된 좌측 반도체의 등뼈(흉추)와 제1허리뼈(요추)사이를 절개한 후 등심쪽의 절개면(배최장근단면)을 기준으로 판정하기 때문에 협소한 절개부위에서 일반적인 영상장비를 이용하여 배최장근 단면 영상을 확보하기가 어려운 문제를 일소할 수 있는 쇠고기의 등급판별 장비 및 시스템을 제공하는 데 있다.
상술한 과제를 해결하기 위한 수단으로서, 본 발명의 실시예에서는, 도 1 내지 도 3에 도시된 것과 같이, 쇠고기의 육질 등급판정이 필요한 대상부위의 영상정보를 획득하여 전송하는 영상입력모듈(100); 상기 영상입력모듈(100)에서 입력되는 영상정보를 입력받아, 육질등급 판정인자에 대해 딥러닝알고리즘을 적용하여 판정인자 예측값을 산출하는 영상처리모듈(200); 상기 영상처리모듈(200)에서 입력되는 상기 판정인자 예측값을 반영하여 상기 대상부위의 육질등급 및 육량등급을 판정하는 등급판정모듈(300); 상기 대상부위의 등급판정에 이용되는 영상정보 및 이에 대한 판정인자 예측값에 대한 정보를 저장하여, 딥러닝 알고리즘에 반영하는 품질판정 프로그램을 구비하는 클라우드서버(400);를 포함하는, 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템을 제공할 수 있도록 한다.
또한, 본 발명의 다른 실시예에서는, 상술한 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템을 이용하는 판정방법을 제공하되, 판정 대상부위의 영상을 획득하여 입력받는 1단계; 입력받은 판정 대상부위의 영상정보를 입력값으로, 합성곱신경망(CNN; Convolutional Neural Networks) 방식 중 인코더-디코더 네트워크 모델을 설계하여 학습 후 개발된 모델을 등급판정부에 적용하여 배최장근 단면적을 예측하는 2단계; 산출된 배최장근 단면적 예측값을 기반으로, 인코더-디코더 네트워크 모델을 통해 예측된 배최장근 단면적의 이치화 영상을 기반으로 등지방두께를 산출하되, 상기 배최장근 단면적의 이치화영상과 원본 영상간의 차연산을 통해 지방만의 영상을 재획득하고, 영상처리 함수를 통해 등지방만의 영상을 획득하여 등지방두께의 예측값을 산출하는, 3단계; 배최장근 단면적의 이치화 영상과 원본 영상의 중첩 연산과 Lab 색상 변환법을 이용하여 배최장근 단면 내부에 있는 근육과 근내지방간의 분류를 수행하고, 분류된 근내지방의 크기별 특징을 추출하여 인공신경망 모델에 적용하여 근내지방도 예측값을 산출하는 4단계; 상기 2 단계 내지 4단계의 배최장근 예측값, 등지방두께 예측값, 근내지방도 예측값을 이용하여 판정 대상부위의 등급을 판정하는 5단계; 를 포함하는, 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정방법을 제공할 수 있도록 한다.
본 발명의 실시예에 따르면, 사용자가 휴대하는 스마트폰과 같은 휴대용단말에 달린 카메라를 이용하여, 경량화 및 소형화한 영상입력모듈로 사용할 수 있도록 하여 사용의 편의성을 증대시켜, 쇠고기의 품질등급을 위해 판정이 필요한 대상부위인 이등분할된 좌측 반도체의 등뼈(흉추)와 제1허리뼈(요추)사이를 절개한 후 등심쪽의 절개면(배최장근단면)을 기준으로 판정하기 때문에 협소한 절개부위에서 일반적인 영상장비를 이용하여 배최장근 단면 영상을 확보하기가 어려운 문제를 일소할 수 있는 효과가 있다.
특히, 본 발명의 실시예에 따른 영상입력모듈의 경우, 절개 부위의 협소한 공간에 수월하게 삽입하여 영상을 획득할 수 있도록 장치의 높이의 박형화(100mm~ 105㎜)화 하였으며, 광각렌즈를 장착하여 근접거리에서도 배최장근의 FOV를 확보할 수 있도록 하여 판정의 신뢰성을 극대화할 수 있도록 한다.
나아가, 경통은 배최장근 단면의 FOV를 최대한 확보하기 위해 배최장근 접촉부위인 하부 내부직경(Φ180 ㎜)이 상부 내부 직경(Φ160 ㎜)보다 확장되어 제작되어 획득되는 영상정보의 품질을 높일 수 있도록 한다.
또한, 육량등급 판정에 있어서 육량지수 계산식에 인자들(등지방두께, 배최장근단면적, 도체중량) 중에서 배최장근단면적을 측정하는 딥러닝 알고리즘 개발하여, 이를 판정에 이용할 수 있도록 하여, 등급판정의 신속성 및 신뢰성을 극대화할 수 있도록 하는 장점이 구현된다.
아울러, 본 발명의 실시예에 따르면, 종래의 사람(판정사)이 소도체의 특정부위(배최장근단면)와 기준표를 육안 대조하는 경우에 업무 피로도 증가에 따른 객관성이 저하될 수 있는 문제를 해소하여, 소도축 현장에서 실시간으로 등급판정이 가능한 시스템 및 휴대성을 강화하여 실시간 현장사용이 가능한 자동 품질등급 판정시스템을 구축할 수 있게 된다.
본 발명에 따른 시스템에 적용되는 영상입력모듈 장치를 현장에서 판정사가 활용하면 반복적인 판정과정에서 발생하는 업무 피로도와 객관성 저하를 방지하여 객관적이고 공정한 판정 기여할 수 있으며, 생산자는 개인 단말기 등을 통해 객관화되고 수치화된 판정 영상과 결과값을 활용하여 육종 및 사양 관리 반영 및 고품질의 한우 생산 기대되며, 소비자는 쇠고기의 등급과 품질에 대한 수치적인 정보를 확인할 수 있어 선택의 폭이 넓어지고 한우에 대한 신뢰도가 더욱 향상되고 소비 증가로 이어질 수 있다.
도 1은 본 발명의 실시예에 따른 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템을 구성하는 구성 블록도이다.
도 2는 도 1의 시스템을 이용한 등급판정의 흐름도를 도시한 순서도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템의 영상입력부의 구조를 도시한 도면이다.
도 5는 종래의 등급판정방식을 도시한 이미지이다.
도 6 및 도 7은 본 발명에 따른 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템을 구현하여 적용하는 작용상태 이미지를 도시한 것이다.
도 8 내지 도 21은 본 발명에 따른 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템을 구축하는 과정을 도시한 도면이다.
도 2는 도 1의 시스템을 이용한 등급판정의 흐름도를 도시한 순서도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템의 영상입력부의 구조를 도시한 도면이다.
도 5는 종래의 등급판정방식을 도시한 이미지이다.
도 6 및 도 7은 본 발명에 따른 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템을 구현하여 적용하는 작용상태 이미지를 도시한 것이다.
도 8 내지 도 21은 본 발명에 따른 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템을 구축하는 과정을 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 실시예에 따른 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템(이하, '본 발명'이라 한다.)을 구성하는 구성 블록도이다. 도 2는 도 1의 시스템을 이용한 등급판정의 흐름도를 도시한 순서도이다. 도 3 및 도 4는 본 발명의 실시예에 따른 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템의 영상입력부의 구조를 도시한 도면이다.
도 1에 도시된 것과 같이, 본 발명은, 쇠고기의 육질 등급판정이 필요한 대상부위의 영상정보를 획득하여 전송하는 영상입력모듈(100)과, 상기 영상입력모듈(100)에서 입력되는 영상정보를 입력받아, 육질등급 판정인자에 대해 딥러닝알고리즘을 적용하여 판정인자 예측값을 산출하는 영상처리모듈(200), 상기 영상처리모듈(200)에서 입력되는 상기 판정인자 예측값을 반영하여 상기 대상부위의 육질등급 및 육량등급을 판정하는 등급판정모듈(300), 상기 대상부위의 등급판정에 이용되는 영상정보 및 이에 대한 판정인자 예측값에 대한 정보를 저장하여, 딥러닝 알고리즘에 반영하는 품질판정 프로그램을 구비하는 클라우드서버(400)을 포함하여 구성될 수 있다.
상기 영상입력모듈(100)은 도축된 소의 등급판정 부위에 대한 영상을 촬영하고, 이를 전송할 수 있는 장치를 포함하는 구성으로, 본 발명에서는, 휴대성과 현장적용성을 극대화하기 위해, 사용자의 스마트폰과 같이, 카메라가 장착되있는 휴대 단말을 바로 장착하여 판정 대상의 부위를 촬영할 수 있도록 구현될 수 있도록 한다.
도 3 및 도 4는 이러한 본 발명에서의 영상입력모듈(100)의 구성을 도시한 것이다. 도 3 및 도 4를 참조하면, 상기 영상입력모듈(100)은, 영상촬영 카메라부(125)를 구비하는 휴대용 단말(110)이 안착되는 장착하우징(120)과, 상기 장착하우징(120)의 카메라부의 출사 방향을 밀폐하도록 돌출되는 밀폐하우징(130), 상기 밀폐하우징(130)의 하부에 연결되어 출사 조명을 제공하는 조명부재(142)가 내장되는 라이트하우징(140) 및 상기 밀폐하우징(130)의 하부에 연결되며, 판정 대상부위의 촬영영역을 상기 카메라부(125)에 노출시키는 경통하우징(150)을 포함하여 구성될 수 있다.
구체적으로, 본 발명에서의 상기 장착하우징(120) 부분은 영상촬영 카메라부(125)를 구비하는 휴대용 단말(110)이 안착될 수 있도록 구성되는 부분으로, 도 3에 도시된 것과 같이, 카메라가 구비된 스마트폰을 끼움결합하거나, 상부에 배치하는 구조의 안착부를 마련하는 구성으로 형성될 수 있다.
또한, 상기 밀폐하우징(130)은 상기 상기 장착하우징(120)의 하부로 연장되어 돌출되는 구조로 구성되며, 밀폐하우징(130)과 연결되는 부위의 반대쪽 면은 개구된 구조로 구현되며, 전체적으로는, 카메라부의 출사 방향을 밀폐하도록 돌출되는 구성으로 형성될 수 있다. 특히, 상기 밀폐하우징(130) 내부에는, 상기 카메라부(125)의 카메라 렌즈와 연동하며, 근거리에서의 배최장근단면의 관심영역(ROI)을 확보하기 위한 광각렌즈부(132)와 상기 광각렌즈(132)의 하부에 배치되며, 빛 반사(glare)를 감소시키기 위한 편광필터부(134)가 배치될 수 있도록 한다.
일예로, 상기 광각렌즈부(132)는 근거리에서의 배최장근단면의 관심영역(ROI)을 확보하기 위한 광각렌즈(0.2x, 210°)를 구비하도록 구성할 수 있으며, 영상입력부에 스마트폰 카메라(1600만 화소)를 장착하여 고해상도로 최적화된 배최장근단면 영상 데이터를 촬영하도록 하며, 이 경우, 빛 반사(glare)를 감소시키기 위한 편광필터(CPL filter)를 구비할 수 있도록 한다.
또한, 상기 라이트하우징(140)의 내측에는 링형상의 LED 모듈로 구성되는 조명부재(142)가 배치되며, 상기 LED 모듈은, 본 발명의 실시예에서는, 일정한 광원과 광량을 제공하기 위한 LED 링라이트(18W, 5000K)를 적용하여 구성하였다.
아울러, 상기 경통하우징(150)은 내부가 비어 있는 중공형 구조로 구현되며, 배최장근 단면의 FOV(Field Of View)를 최대한 확보하기 위해, 도 3에 도시된 것과 같이 배최장근 접촉부위인 하부 내부직경(B)이 상부 내부 직경(A)보다 크게 형성되도록 함이 바람직하다. 일예로, 상기 경통하우징의 경우, 경통은 배최장근 단면의 FOV를 최대한 확보하기 위해 배최장근 접촉부위인 하부 내부직경(Φ180 ㎜)이 상부 내부 직경(Φ160 ㎜)보다 확장되어 구현할 수 있도록 한다.
도 4 (a)는 도 3의 구조의 결합사시도를 도시한 것이며, 도 4(b)는 (a)의 측면도, 도 4(c)는 (a)의 하부에서 바라본 하부 평면도를 도시한 것이며, 도 4(d)는 (a)의 상부 평면도를 도시한 것이다.
이상의 본 발명의 영상입력모듈의 장치 구조는, 종래의 촬영장치의 구조의 문제점을 해소할 수 있는 장점이 구현된다. 즉, 통상적으로, 도 5에 도시된 것과 같이, 품질등급 판정부위는 이등분할된 좌측 반도체의 등뼈(흉추)와 제1허리뼈(요추)사이를 절개한 후 등심쪽의 절개면(배최장근단면)을 기준으로 판정하기 때문에 협소한 절개부위에서 일반적인 영상장비를 이용하여 배최장근 단면 영상을 확보하기가 어려움이 많았다. 특히, 도 5 (c) 및 (d)에 도시된 것과 같이, 존에 개발했던 배최장근단면 영상 측정장치는 카메라와 하우징을 포함하여 약 10kg 이상의 무게로서 품질판정사가 촬영하는데 어려움이 있었으며 협소한 절개 부위에서 근접촬영을 위해 반사경을 사용하여 영상을 획득하여, 휴대성과 활용성이 매우 낮은 문제가 발생하게 된다.
반면, 상술한 도 4 구조의 본 발명의 영상입력모듈의 경우, 판정을 위한 도축소의 절개 부위의 협소한 공간에 수월하게 삽입하여 영상을 획득할 수 있도록 장치의 높이는 105㎜로 제작되었으며 광각렌즈를 장착하여 근접거리에서도 배최장근의 FOV를 확보할 수 있게 된다. 또한, 품질판정사가 단독으로 측정하고 휴대할 수 있도록 소형 경량으로 제작되었으며 스마트폰을 포함하여 600g 무게로 휴대성과 활용성이 매우 높아지게 되는 장점이 구현된다. 나아가, 상술한 것과 같이, 경통은 배최장근 단면의 FOV를 최대한 확보하기 위해 배최장근 접촉부위인 하부 내부직경(Φ180 ㎜)이 상부 내부 직경(Φ160 ㎜)보다 확장되어 제작할 수 있도록 해, 단면의 영상을 효율적으로 확보할 수 있게 되며, 통, 하우징, 프레 등을 포함한 모든 자재의 색상은 쇠고기 배최장근에서 반사되는 빛이 재반사되지 않도록 무채색의 흑색으로 제작되어, 획득된 영상의 품질을 높일 수 있도록 하였다.
도 6은 도 4의 구조의 영상입력모듈을 실제로 구현한 제품 이미지를 도시한 것이며, 도 7은 이를 이용하여 영상을 획득하는 작용상태 이미지를 도시한 것이다.
도 6 및 도 7에서와 같이, 종래의 영상확보장치(도 5)와는 현저하게 경량화한 영상입력모듈을 통해 효율적으로 영상획득이 가능하며, 휴대성과 사용성이 매우 편리하여 현장에서 바로 사용자의 스마트폰과 같은 단말기를 장착하여 영상을 확보하고 전송할 수 있게 된다. 이를 위해 도시되지는 않았지만, 촬영된 영상은 외부로 전송하기 위한 통신모듈의 추가로 설치되거나, 스마트폰과 같은 단말기에 내장된 통신모듈을 이용하여 외부로 전송하는 것도 가능하다. 후술하겠지만, 획득된 소도체별 배최장근단면 영상의 원본과 산출된 각각의 결과값은 별도로 구축된 클라우드 서버로 전송되어 DB를 구축하며 개발된 알고리즘의 정확도를 향상시키기 위해 품질판정 프로그램에 반영될 수 있도록 한다.
또한, 본 발명의 영상입력모듈은 또한, 내장된 링라이트(LED)의 경우, 링라이트 하우징으로 고정되어 있으며 링라이트의 조명 ON/OFF는 별도의 스위치로 작동될 수 있다.
또한, 영상입력모듈에는 전원공급을 위한 장치로 전원공급부를 구비할 수 있으며, 이 경우, 전원공급부는 링라이트 조명에 12V 전원을공급할 있도록 충전식 배터리를 구비할 수 있도록 하며, 표시부에서는 쇠고기 자동 등급판정 장치를 사용하기 위한 일련의 과정을 사용자가 직관적이고 용이하게 조작할 수 있고 결과를 확인할 수 있는 가시화된 GUI로 구성된 프로그램이 포함되도록 하여, 스마트폰에 설치되거나, 동시에 연동하는 외부 서버에서 함께 구동될 수 있다.
이하에서는, 도 1 및 도 2를 참조하여, 상술한 영상입력부에서 획득된 영상정보를 이용하여 등급판정을 수행하는 과정을 설명하기로 한다.
우선, 상술한 본 발명에 따른 영상입력모듈(100)을 통해 판정이 필요한 대상부위의 영상정보를 획득하여 전송받아 영상처리모듈(200)로 입력받게 된다. 상기 영상처리모듈(200)에서는, 전송받은 영상에 대한 처리를 수행한다. 이는 딥러닝 알고리즘(Bayesian Neural Networks)과 디지털 영사처리 기술(색상 및 기하학적왜곡 보정, ROI 추출, 영상 팽창 및 침식, 문턱값 적용, 이치화 등)을 적용하여 육질등급 인자들인 근내지방도(9기준), 육색(7기준), 지방색(7기준) 등의 결과값과 육량등급 인자들인 배최장근단면적, 등지방두께 예측값을 각각 산출할 수 있게된다.
도 8은 이러한 육질등급인자 및 육량등급인자의 기준을 제시한 것이다.
육질등급의 판정인자는 근내지방도, 육색, 지방색, 조직감, 성숙도의 인자를 고려하여 기존에는 판정전문가가 육안판별을 하는 방식이었으나, 본 발명에서는, 이러한 인자를 데이터화하고, 입력되는 영상정보와 대비할 수 있는 기본 비교데이터로 활용한다.
[육질등급 판별 인자 분류]
① 근내지방도(마블링) : 등급판정부위인 배최장근단면에 분포되어 있는 지방(백색 부분)의 분포정도를 9단계의 등급기준표와 비교하여 판정함
② 육색 : 육색은 소비자가 육류의 신선한 정도를 판단하는 중요한 구매 정보로서 배최장근단면의 고기색을 육색기준에 따라 7단계의 등급기준표와 비교하여 판정함.
③ 지방색 : 지방색도 육색과 더불어 소비자의 주요 구매 지표로서 배최장근단면의 근내지방(마블링), 근간지방 및 등지방의 색을 지방색 기준에 따라 7단계의 등급기준표와 비교하여 판정함
④ 조직감 : 조직감은 근육조직이 가지고 있는 성질로서 배최장근단면의 보수력과 탄력성을 3단계의 소도체 조직감 구분기준에 따라 종합적으로 판정함
{조직감 판정 기준}
⑤ 성숙도 : 도체가 생산되는 가축의 생리적 연력을 의미하는 것으로서 좌측 반도체의 척추 가시돌기에서 연골의 골화정도 등을 소도체 성숙도 구분기준과 비교하여 해당되는 기준의 번호로 판정함
{소도체 성숙도 구분 기준 인자}
⑥ 최종판정 : 근내지방도로 예비등급을 판정한 다음 육색, 지방색, 조직감, 성숙도가 결격에 해당되는 숫자에 따라 육질등급이 최종 판정됨
[육량등급 판별 인자의 기준]
육량등급 판정(도체중량, 등지방두께, 배최장근단면적)
① 등지방두께
-등급판정부위인 배최장근단면의 오른쪽면을 따라 복부쪽으로 3분의 2 들어간 지점의 등지방 두께를 숙련된 품질판정사가 육안으로 스틸자의 눈금을 읽어 ㎜단위로 측정함
-등지방부위의 두께가 증가할수록 배최장근(등심)이 증가할 수 있는 공간을 제한하게 되므로 등지방 두께의 증가는 주로 소비되는 육량의 감소와 비례하게 때문에 도체의 효용성이 하락하게 됨
-따라서 등지방두께는 육량등급 평가를 위한 육량지수 추정식의 요인중에서 감산시키는 요인으로서 기여도가 크면서 중요한 변수항목임
② 배최장근단면적
-배최장근은 제1번 늑골에서 시작하여 제13번 늑골에 걸쳐있는 등쪽 방향의 장대근(등가장긴근)에 위치함
-현행 “축산물등급판정 세부기준”에서는 배최장근 단면적을 “가로, 세로가 1㎝단위로 표시된 면적자를 이용하여 배최장근의 단면적을 ㎠단위로 측정하나, 배최장근 주위의 배열다근, 두반극근과 배반극근은 제외”하도록 규정함
-배최장근부위의 단면적은 숙련된 품질판정사가 면적자를 이용하여 ㎠단위로 측정. (배최장근의 단면적은 일정 출하월령까지는 지속적으로 증가한 이후에 둔화되는 양상이며 암소보다는 수소 및 거세우가 면적이 더 넓음)
-배최장근단면적이 증가하는 것은 일반적으로 육량이 증가하는 것과 비례하므로 육량지수 추정식에서는 가산요인으로 작용하는 변수임
③ 도체중량
-도체 중량은 생체에서 두부, 내장, 족 및 가죽 등 부가식, 즉 식용하지 못하는 부분을 제외한 무게로서 현행 기준에서는 도축장경영자가 측정하여 제출한 도체 한 마리분의 중량을 ㎏단위로 적용하도록 규정함
④ 육량지수 계산식
-육량지수 계산식은 등지방두께(mm), 배최장근단면적(cm2), 도체중량(kg)이 품종별, 성별로 구분되어 6종의 다른 수식이 적용되어 계산됨
⑤ 소도체의 육량등급판정은 등지방두께, 배최장근단면적, 도체의 중량을 측정하여 산정된 육량지수산식에 따라 A, B, C의 3개 등급으로 구분함
이상의 과정에서, 최종판정을 수행하는 본 발명은, 상술한 영상처리모듈에서 인공지능모듈을 이용하여 학습되어 산출되는 육질등급 판별 인자의 예측값과 육량등급 판별 인자의 예측값을 종합하여, 등급판별부에서 판정을 수행할 수 있게 된다.
이상의 판별 인자의 도출은 영상정보를 기준으로 도출하게 되는바, 이하에서는, 본 발명에서의 영상처리모듈에서의 판별인자의 도출과정을 도 2를 참조하여 구체적으로 설명하기로 한다.
본 발명에서 소도체의 등급판별을 위한 등급판정모듈(400)에서 가장 핵심이 되는 판별 인자로 이용하는 것은 배최장근 단면적과 등지방두께, 근내지방도의 예측값이다. 이에, 본 발명의 영상처리모듈(200)에서는, 상기 영상입력모듈(100)에서 입력되는 영상정보를 입력받아, 육질등급 판정인자에 대해 딥러닝알고리즘을 적용하여 판정인자 예측값을 산출하게 된다.
이를 위해, 본 발명에서는, 상기 영상처리모듈(200)은, 딥러닝 알고리즘(Bayesian Neural Networks)을 이용하여, 육질등급 인자들인 근내지방도(9기준), 육색(7기준), 지방색(7기준)을 포함하는 인자의 결과값을 산출하는 육질등급 인자산출부(210)와 육량등급 인자들인 배최장근단면적, 등지방두께 예측값을 산출하는, 육량등급 인자산출부(220)를 포함하여 구성될 수 있도록 한다.
구체적으로, 상기 영상처리모듈(200)의 육량등급 인자산출부(220)는, 합성곱신경망(CNN; Convolutional Neural Networks) 방식 중 인코더-디코더 네트워크 모델을 설계하여 학습 후 개발된 모델을 등급판정부에 적용하여 배최장근 단면적을 예측하도록 한다.
나아가, 상기 영상처리모듈(200)의 육질등급 인자산출부(210)는, 산출된 배최장근 단면적 예측값을 기반으로, 인코더-디코더 네트워크 모델을 통해 예측된 배최장근 단면적의 이치화 영상을 기반으로 등지방두께를 산출하되, 상기 배최장근 단면적의 이치화영상과 원본 영상간의 차연산을 통해 지방만의 영상을 재획득하고,영상처리 함수를 통해 등지방만의 영상을 획득하여 산출하게 된다. 이 경우, 등지방만의 영역을 50개의 구간으로 구분한 후, 각각의 특징을 벡터화하고 이 데이터를 베이즈 정규화 모델을 개발하는데 사용할 수 있도록 한다.
또한, 상기 영상처리모듈(200)의 육질등급 인자산출부(210)는, 상기 배최장근 단면적의 이치화 영상과 원본 영상의 중첩 연산과 Lab 색상 변환법을 이용하여 배최장근 단면 내부에 있는 근육과 근내지방간의 분류를 수행하고, 분류된 근내지방의 크기별 특징을 추출하여 인공신경망 모델에 적용하여 근내지방도를 산출할 수 있도록 한다.
획득된 소도체별 배최장근단면 영상의 원본과 산출된 각각의 결과값은 별도로 구축된 클라우드 서버로 전송되어 DB를 구축하며 개발된 알고리즘의 정확도를 향상시키기 위해 품질판정 프로그램에 반영될 수 있도록 한다.
본 발명의 경우, 이러한 등급판정 프로그램을 디스플레이하도록 하는 표시부를 통해, 상술한 영상입력모듈(쇠고기 자동 등급판정 장치)를 사용하기 위한 일련의 과정을 사용자가 직관적이고 용이하게 조작할 수 있고 결과를 확인할 수 있는 가시화된 GUI로 구성된 프로그램으로 구현할 수 있도록 한다.
이하에서는, 본 발명의 영상입력모듈, 영상처리모듈과 등급판정모듈을 포함하는 등급판정시스템을 구축하기 위한 실시예를 설명하기로 한다.
{실시예}
영상입력모듈의 경우, 도 6에서 제시한 규격으로 제작하였으며, 장치의 높이는 105㎜로 제작되었으며 광각렌즈를 장착하여 근접거리에서도 배최장근의 FOV를 확보할 수 있도록 하며, 품질판정사가 단독으로 측정하고 휴대할 수 있도록 소형 경량으로 제작되었으며 스마트폰을 포함하여 600g 무게로 제작하였다.
경통은 배최장근 단면의 FOV를 최대한 확보하기 위해 배최장근 접촉부위인 하부 내부직경(Φ180 ㎜)이 상부 내부 직경(Φ160 ㎜)보다 확장되어 제작하였다. 경통, 하우징, 프레 등을 포함한 모든 자재의 색상은 쇠고기 배최장근에서 반사되는 빛이 재반사되지 않도록 무채색의 흑색으로 제작하였으며, 마트폰은 스마트폰 하우징에 고정되어 장착되어 있으며 링라이트도 링라이트 하우징으로 고정되어 있으며 링라이트의 조명 ON/OFF는 별도의 스위치로 작동되도록 하였다. (스마트폰의 카메라는 1600만 화소를 구현하는 것을 장착하였다.)
이후, 도 7에 도시된 과정과 같이 소도체의 영상을 획득하였다.
구체적으로는, 도 9에 도시된 것과 같이, 배최장근단면 영상을 획득하기 위해 총 922두의 소도체에서 데이터를 확보하였으며, 전체 922두의 도체 중량은 평균 397㎏였으며 최소 165㎏에서 최대 629㎏ 범위이다. 922두 중 910두는 한우이며 육우는 12두였으며 성별은 수소가 555두, 암소가 3두, 거세소가 364두를 대상으로 배최장근단면 영상을 획득하였으며 품질판정 인자 측정을 위한 알고리즘 개발 및 검증을 위해 사용하였다.
본 발명에서의 영상입력모듈을 이용하여 총 922두의 도체에 대한 배최장근단면 영상을 획득하였으며 이 영상들을 기반으로 쇠고기 품질등급과 연관된 인자들을 산출하였다. 도 10은 획득한 배최장근 단면 원본 영상의 일부를 도시한 것이다.
이 경우, 획득된 배최장근 단면 영상들은 육량등급 인자들인 배최장근단면적, 등지방두께와 육질등급 인자들인 근내지방도(마블링), 육색, 지방색, 조직감, 성숙도 등을 예측하기 위한 알고리즘 개발에 사용하였다.
(1) 배최장근단면적(등심단면적) 예측 알고리즘 개발
- 영상처리 기술을 이용한 배최장근단면적 예측 알고리즘 개발
- 육량등급 판정에 있어서 육량지수 계산식에 인자들(등지방두께, 배최장근단면적, 도체중량) 중에서 배최장근단면적을 측정하는 알고리즘 개발
- 제공된 원본 영상을 Matlab 프로그램을 이용하여 배최장근단면 영역 추출
- 먼저 명암 대비 조정으로 육색과 지방색을 분리하고 RGB영상을 256개(8비트)의 명암정보를 갖는 회색조 영상으로 변환하였으며 육색과 지방색을 구분하기 위해 문턱값(threshold value) 160 이상으로 기준으로 설정하여 육색은 1, 지방색은 0으로 이진화하여 이진 영상(binary image)로 변환
- 이진화된 영상은 영상 팽창 후 1차로 소형 픽섹들을 제거한 후에 관심영역인 배최장근단면을 제외한 나머지 지방 및 외곽 영상(배경) 제거
- 최장근단면 내부의 소형 픽셀을 제거하고 내부 영역은 영상침식 과정을 거쳐 단면 침식
- 영상처리된 배최장근단면의 테두리 영상을 획득하고 최외곽 둘레에 대한 최종 폐곡선에 대한 단면적 계산한 결과에서 해당 영상에 대한 판정사의 측정 결과는 98㎠이며 개발된 알고리즘 계산 결과는 91㎠로서 7 ㎠의 오차(7.1%) 발생
- 93두의 소도체에 대한 품질판정사의 배최장근단면적 측정결과와 영상처리 알고리즘을 적용하여 예측한 등심단면적 간의 회귀 모델에서 결정계수(R2)이 0.8198로 높은 상관관계를 나타내었음
도 11은 (a) 배최장근단면 추출을 위한 영상처리 과정 (b) 배최장근단면적 측정을 위한 외곽 둘레 추출 및 단면적 계산하는 과정을 도시한 것이다. 도 12는 영상처리를 이용한 배최장근단면적 예측 결과를 나타낸 것이다.
(2) 딥러닝 기술을 이용한 배최장근단면적 예측 알고리즘 개발
- 배최장근 단면의 윤곽을 획득하기 위해 CNN(Convolutional Neural Network)을 이용하였음
- CNN 방식 중 특정 영역만을 추출하는데 최적화되어 있는 Encoder Network 방식을 이용하였으며, 네트워크 세부 레이어를 설계함(도 13)
- 개발된 네트워크는 256×256×3의 해상도로 이루어진 영상을 입력 받고 각각의 영상에 대해 256×256의 해상도로 이루어진 이치화 영상을 출력하도록 설계하였음
- 세부 레이어는 각각 32, 64, 128, 256, 512 총 5개의 크기를 가진 필터 블록과 함께 인코더 및 디코더 네트워크로 구성하였으며 각 블록에는 컨볼루션, 배치 정규화 및 활성화 계층을 포함시켰음
- 최대 풀링 및 언풀링 계층이 각 레이어에 연결되어 있음
- 인코더 네트워크는 잡음을 제거하고 입력 영상으로부터 주요 특징을 학습하며, 디코더 네트워크는 주요 특징으루부터 영상을 재구성하도록 설계되어 있고 인코더 및 디코더 네트워크는 해당 노드에서 최대 풀링 데이터를 공유함
- 580개의 데이터 중 435개(75%)는 학습 데이터로 모델 개발에 이용하였으며, 87개(15%)는 검증 데이터로 사용하였으며 58개(10%)는 시험 데이터로 학습 데이터를 통해 만들어진 모델을 테스트하는 데 사용되었음
- 검증 정확도는 99.68%였으며, 시험 정확도는 99.03%로 높은 결과를 나타내었음
-도 14는 딥러닝을 이용한 배최장근단면적 예측 결과를 나타낸 것임.
{배최장근단면적 예측을 위한 딥러닝 훈련 결과}
(3) 딥러닝 기술을 이용한 등지방두께 예측 알고리즘 개발
- 머신러닝(Machine learning)의 한 분야인 딥러닝(Deep learning)중 컴퓨터를 학습시키기 위해 인간의 뉴런 동작 원리에 기초해 인공적으로 구축한 인공신경망(Artificial neural networks)을 이용함
- Bayesian Neural Networks는 Levenberg-Marquardt 최적화 알고리즘에 따라 가중치와 편향값을 업데이트하는 네트워크임
- 모델을 개발하기 위해 389개의 배최장근단면 영상에 있는 등지방 데이터가 이용되었으며, 전처리된 등지방 영상의 구간별 특징 50개를 추출하여 벡터화된 데이터를 Input Data로 모델에 활용함
- 50개의 특징으로 구성된 1×50 형태의 벡터 데이터를 입력하여 예측된 등지방 두께값 1개를 출력하였고 30개의 Hidden Layers를 이용하였으며 서로 다른 Weight과 bias를 반복 학습하여 계산하였음(도 15 등지방두께 예측을 위한 딥러닝 학습).
- 각 Layer의 결과는 Sigmoid 함수를 이용하여 연결하였으며 출력 계층은 선형 전달 함수로 계산됨
- 389개의 데이터 중 311(75%)는 학습 데이터로 모델 개발에 이용하였으며, 78개(25%)는 테스트 데이터로 학습 데이터를 통해 만들어진 모델을 테스트하는 데 사용되었으며 145회 반복되는 구간에서 가장 높은 성능을 나타냄
- 예측 정확도는 학습에서 R 값이 약 0.94, 테스트에서 0.88로 높은 결과를 나타내었음
{등지방두께 예측을 위한 딥러닝 훈련 결과}
(4) 딥러닝 기술을 이용한 근내지방도(마블링) 예측 알고리즘 개발
-배최장근단면적을 획득하기 위해 추출했던 배최장근단면의 마스킹 영상 영역의 내부에 분포하고 있는 지방(백색 부분)의 분포 정도를 영상처리 기술과 딥러닝 알고리즘을 적용하여 추출하였음
-5등급의 최종 품질등급에 해당되는 9단계의 근내지방도는 각각의 품질 등급별로 구분되어 있으며 근내지방도를 추출하기 위한 개발한 알고리즘은 배최장근단면 영역에서의 지방을 제외한 고기(적색) 부분의 면적을 백분율로 환산하여 5단계로 구분하였음(도 17참조). 도 18은 등급별 그내지방도 판정 영상을 도시한 것임.
이상의 과정을 수행하는 방법은, 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급 판정 프로그램으로 구현할 수 있다.
도 19에 도시된 것과 같이, 소도체 품질 등급판정 프로그램은 스마트폰 카메라로 획득한 배최장근단면 영상을 기반으로 품질인자 결과값들을 제작된 GUI에 표시될 수 있다. 도 19를 참조하면, 중앙 상단에 위치한 소 도체 품질 등급판정 시스템은 푸시 버튼으로 만들어졌고, 버튼 클릭 시, 사전에 설정된 경로의 폴더창이 나타나고, 폴더 안의 쇠고기 영상을 선택하게 되면 등급판정이 이루어질 수 있도록 하였다.
아울러, 좌측에 위치한 4개의 정사각형 좌표축에는 등급이 판정된 영상이 나타나게 되고 좌측 상단부터 우측으로 원본, 근내지방 마스크, 배최장근 단면 마스크, 등지방두께 마스크 영상 순서대로 출력될 수 있다.
나아가, 우측에 위치한 편집 텍스트와 정적 텍스트는 최상단부터 하단까지 근내지방의 비율과 육색, 지방색, 조직감, 성숙도의 각 항목별 등급을 나타내며, 이로부터 계산되는 육질 최종 등급을 표시하고 도체 중량과 배최장근 단면적, 등지방두께의 각 항목별 등급과 이로부터 계산되는 육량 최종 등급을 표시하였다.
또한, 육색과 지방색을 육안으로 구분하기 쉽게 표현하기 위하여 현장에서 전문판정사가 사용하는 등급판정 기준표를 우측 중·상단에 좌표축에 표시하였으며, 소 도체의 품종과 성별을 선택할 수 있는 팝업 메뉴를 우측 중·하단에 위치되도록 구성하였다.
도 20 및 도 21은 상술한 본 발명에 따른 판정시스템을 이용하여, 도 20은 품질인자별 육질등급 판정 결과 중, 근내지방도를 기준으로 한 육질 등급판정 결과를 도시한 것이며, 도 21은 육색을 기준으로 한 육질 등급판정 결과이며, 지방색을 기준으로 한 육질 등급판정 결과를 도시한 것이다.
이상의 결과를 통해 확인할 수 있듯이, 매우 높은 신뢰성을 가지는 육질 등급의 판별을 본 발명을 통해 구현할 수 있게 되는바, 휴대성을 가지는 영상입력모듈 장치를 이용하여 신속하여 높은 품질의 판별성과를 구현할 수 있게 된다.
나아가, 이러한 본 발명에서의 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템을 이용하는 판정방법에 적용되는 기능 구성 및 수행동작은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다.
본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, 파이썬(Python), C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “~모듈”, “~부”, "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이상에서와 같이 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 바람직한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아니다. 이처럼 이 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 본 발명의 실시예의 결합을 통해 다양한 실시예들이 가능함을 이해할 수 있을 것이다.
100: 영상입력모듈
200: 영상처리모듈
300: 등급판정모듈
400: 클라우드서버
200: 영상처리모듈
300: 등급판정모듈
400: 클라우드서버
Claims (10)
- 쇠고기의 육질 등급판정이 필요한 대상부위의 영상정보를 획득하여 전송하는 영상입력모듈(100);
상기 영상입력모듈(100)에서 입력되는 영상정보를 입력받아, 육질등급 판정인자에 대해 딥러닝알고리즘을 적용하여 판정인자 예측값을 산출하는 영상처리모듈(200);
상기 영상처리모듈(200)에서 입력되는 상기 판정인자 예측값을 반영하여 상기 대상부위의 육질등급 및 육량등급을 판정하는 등급판정모듈(300);
상기 대상부위의 등급판정에 이용되는 영상정보 및 이에 대한 판정인자 예측값에 대한 정보를 저장하여, 딥러닝 알고리즘에 반영하는 품질판정 프로그램을 구비하는 클라우드서버(400);를 포함하고,
상기 영상처리모듈(200)은,
딥러닝 알고리즘(Bayesian Neural Networks)을 이용하여, 육질등급 인자들인 근내지방도(9기준), 육색(7기준), 지방색(7기준)을 포함하는 인자의 결과값을 산출하는 육질등급 인자산출부(210);
육량등급 인자들인 배최장근단면적, 등지방두께 예측값을 산출하는, 육량등급 인자산출부(220);를 포함하고,
상기 영상처리모듈(200)의 육량등급 인자산출부(220)는,
합성곱신경망(CNN; Convolutional Neural Networks) 방식 중 인코더-디코더 네트워크 모델을 설계하여 학습 후 개발된 모델을 등급판정부에 적용하여 배최장근 단면적을 예측하고,
상기 영상처리모듈(200)의 육질등급 인자산출부(210)는,
산출된 배최장근 단면적 예측값을 기반으로, 인코더-디코더 네트워크 모델을 통해 예측된 배최장근 단면적의 이치화 영상을 기반으로 등지방두께를 산출하되,
상기 배최장근 단면적의 이치화영상과 원본 영상간의 차연산을 통해 지방만의 영상을 재획득하고,
영상처리 함수를 통해 등지방만의 영상을 획득하여 산출하는,
소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템.
- 청구항 1에 있어서,
상기 영상입력모듈(100)은,
영상촬영 카메라부(125)를 구비하는 휴대용 단말(110)이 안착되는 장착하우징(120);
상기 장착하우징(120)의 카메라부의 출사 방향을 밀폐하도록 돌출되는 밀폐하우징(130);
상기 밀폐하우징(130)의 하부에 연결되어 출사 조명을 제공하는 조명부재(142)가 내장되는 라이트하우징(140) 및
상기 밀폐하우징(130)의 하부에 연결되며, 판정 대상부위의 촬영영역을 상기 카메라부(125)에 노출시키는 경통하우징(150);을 포함하는,
소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템.
- 청구항 2에 있어서,
상기 밀폐하우징(130)의 내부에는,
상기 카메라부(125)의 카메라 렌즈와 연동하며, 근거리에서의 배최장근단면의 관심영역(ROI)을 확보하기 위한 광각렌즈부(132);
상기 광각렌즈부(132)의 하부에 배치되며, 빛 반사(glare)를 감소시키기 위한 편광필터부(134);가 배치되는,
소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템.
- 청구항 3에 있어서,
상기 라이트하우징(140)의 내측에는 링형상의 LED 모듈로 구성되는 조명부재(142)가 배치되며,
상기 경통하우징(150)은 내부가 비어 있는 중공형 구조로 구현되며, 배최장근 단면의 FOV를 최대한 확보하기 위해 배최장근 접촉부위인 하부 내부직경이 상부 내부 직경보다 크게 형성되는,
소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템.
- 삭제
- 삭제
- 삭제
- 청구항 1에 있어서,
상기 영상처리모듈(200)의 육질등급 인자산출부(210)는,
상기 배최장근 단면적의 이치화 영상과 원본 영상의 중첩 연산과 Lab 색상 변환법을 이용하여 배최장근 단면 내부에 있는 근육과 근내지방간의 분류를 수행하고,
분류된 근내지방의 크기별 특징을 추출하여 인공신경망 모델에 적용하여 근내지방도를 산출하는,
소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템.
- 청구항 1에 따른, 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템을 이용하는 판정방법에 있어서,
판정 대상부위의 영상을 획득하여 입력받는 1단계;
입력받은 판정 대상부위의 영상정보를 입력값으로, 합성곱신경망(CNN; Convolutional Neural Networks) 방식 중 인코더-디코더 네트워크 모델을 설계하여 학습 후 개발된 모델을 등급판정부에 적용하여 배최장근 단면적을 예측하는 2단계;
산출된 배최장근 단면적 예측값을 기반으로, 인코더-디코더 네트워크 모델을 통해 예측된 배최장근 단면적의 이치화 영상을 기반으로 등지방두께를 산출하되, 상기 배최장근 단면적의 이치화영상과 원본 영상간의 차연산을 통해 지방만의 영상을 재획득하고, 영상처리 함수를 통해 등지방만의 영상을 획득하여 등지방두께의 예측값을 산출하는, 3단계;
배최장근 단면적의 이치화 영상과 원본 영상의 중첩 연산과 Lab 색상 변환법을 이용하여 배최장근 단면 내부에 있는 근육과 근내지방간의 분류를 수행하고, 분류된 근내지방의 크기별 특징을 추출하여 인공신경망 모델에 적용하여 근내지방도 예측값을 산출하는 4단계;
상기 2 단계 내지 4단계의 배최장근 예측값, 등지방두께 예측값, 근내지방도 예측값을 이용하여 판정 대상부위의 등급을 판정하는 5단계;
를 포함하는, 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정방법.
- 청구항 9에 따른 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정방법을 구현하는 프로그램이 수록된 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200178774A KR102586231B1 (ko) | 2020-12-18 | 2020-12-18 | 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템 및 이를 이용한 등급판정방법, 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200178774A KR102586231B1 (ko) | 2020-12-18 | 2020-12-18 | 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템 및 이를 이용한 등급판정방법, 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220088087A KR20220088087A (ko) | 2022-06-27 |
| KR102586231B1 true KR102586231B1 (ko) | 2023-10-10 |
Family
ID=82246941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200178774A KR102586231B1 (ko) | 2020-12-18 | 2020-12-18 | 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템 및 이를 이용한 등급판정방법, 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102586231B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102648469B1 (ko) | 2022-12-19 | 2024-03-18 | 주식회사 메디치소프트 | 인공지능 기반의 돼지 도체 등급 판정 시스템 및 그의 동작 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6732271B1 (ja) * | 2019-10-26 | 2020-07-29 | Ａｓｓｅｓｔ株式会社 | 肉質判別プログラム及びシステム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101065219B1 (ko) | 2009-07-29 | 2011-09-19 | 성균관대학교산학협력단 | 소고기 등급 자동판정 방법 및 그 시스템 |
| KR101054874B1 (ko) * | 2009-08-18 | 2011-08-09 | 대한민국 | 소도체 육질 등급 판정 장치 및 방법 |
| KR102087822B1 (ko) * | 2018-04-03 | 2020-03-11 | 성균관대학교 산학협력단 | 소도체 등심 영상 획득기 |
-
2020
- 2020-12-18 KR KR1020200178774A patent/KR102586231B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6732271B1 (ja) * | 2019-10-26 | 2020-07-29 | Ａｓｓｅｓｔ株式会社 | 肉質判別プログラム及びシステム |
Non-Patent Citations (1)
| Title |
|---|
| 소고기 육질 등급 예측을 위한 분류 알고리즘의 성능 연구, 정보과학회, 2020. |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220088087A (ko) | 2022-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Craigie et al. | A review of the development and use of video image analysis (VIA) for beef carcass evaluation as an alternative to the current EUROP system and other subjective systems | |
| US8351655B2 (en) | Method and system for automatically grading beef quality | |
| AU2771799A (en) | Meat color imaging system for palatability and yield prediction | |
| Navarro et al. | IMAFISH_ML: A fully-automated image analysis software for assessing fish morphometric traits on gilthead seabream (Sparus aurata L.), meagre (Argyrosomus regius) and red porgy (Pagrus pagrus) | |
| Kvam et al. | In vivo prediction of intramuscular fat using ultrasound and deep learning | |
| Brünger et al. | ‘Tailception’: using neural networks for assessing tail lesions on pictures of pig carcasses | |
| KR102586231B1 (ko) | 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템 및 이를 이용한 등급판정방법, 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체 | |
| US20080247603A1 (en) | Portable tool for determining meat quality | |
| Schulz et al. | Assessing marbling scores of beef at the 10th rib vs. 12th rib of longissimus thoracis in the slaughter line using camera grading technology in Germany | |
| Olsen et al. | A review of computed tomography and manual dissection for calibration of devices for pig carcass classification-Evaluation of uncertainty | |
| Stewart et al. | Association between visual marbling score and chemical intramuscular fat with camera marbling percentage in Australian beef carcasses | |
| CN110490927A (zh) | 用于为图像中的对象生成中心线的方法、装置和系统 | |
| CN110163846A (zh) | 一种肉牛体况自动评分方法、系统和存储介质 | |
| Kongsro et al. | Prediction of fat, muscle and value in Norwegian lamb carcasses using EUROP classification, carcass shape and length measurements, visible light reflectance and computer tomography (CT) | |
| Allen | Recent developments in the objective measurement of carcass and meat quality for industrial application | |
| Jia et al. | Prediction of lean and fat composition in swine carcasses from ham area measurements with image analysis | |
| Heggli et al. | Objective carcass grading for bovine animals based on carcass length | |
| Fan et al. | Predictability of carcass traits in live Tan sheep by real‐time ultrasound technology with least‐squares support vector machines | |
| WO1994025857A1 (en) | Evaluating animals using eye characteristics | |
| CA2984289A1 (en) | Method and system of assessing or analyzing muscle characteristics including strength and tenderness using ultrasound | |
| Navajas et al. | Assessing beef carcass tissue weights using computed tomography spirals of primal cuts | |
| CN114845643A (zh) | 用于改进超声平面采集的方法和系统 | |
| Johansen et al. | Calibration models for lamb carcass composition analysis using computerized tomography (CT) imaging | |
| KR20150096053A (ko) | 삼겹살 품질 등급 판별 장치 및 그 등급 판별 방법 | |
| Liu et al. | PIMFP: An accurate tool for the prediction of intramuscular fat percentage in live pigs using ultrasound images based on deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |