KR101065219B1 - 소고기 등급 자동판정 방법 및 그 시스템 - Google Patents
소고기 등급 자동판정 방법 및 그 시스템 Download PDFInfo
- Publication number
- KR101065219B1 KR101065219B1 KR1020090069662A KR20090069662A KR101065219B1 KR 101065219 B1 KR101065219 B1 KR 101065219B1 KR 1020090069662 A KR1020090069662 A KR 1020090069662A KR 20090069662 A KR20090069662 A KR 20090069662A KR 101065219 B1 KR101065219 B1 KR 101065219B1
- Authority
- KR
- South Korea
- Prior art keywords
- boundary
- pixels
- determination
- pixel
- boundary line
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 144
- 235000015278 beef Nutrition 0.000 title claims abstract description 75
- 235000020997 lean meat Nutrition 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000012937 correction Methods 0.000 claims abstract description 19
- 238000000926 separation method Methods 0.000 claims abstract description 11
- 238000009966 trimming Methods 0.000 claims abstract description 4
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000013500 data storage Methods 0.000 claims description 11
- 230000003628 erosive effect Effects 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 8
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000007918 intramuscular administration Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000005315 distribution function Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 239000003925 fat Substances 0.000 description 49
- 235000013372 meat Nutrition 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 244000144972 livestock Species 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010252 digital analysis Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000003307 slaughter Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/02—Food
- G01N33/12—Meat; Fish
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Food Science & Technology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Medicinal Chemistry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 디지털 영상을 분석하여 자동으로 소고기 등급을 판정하는 방법 및 시스템에 관한 것이다.
본 발명의 소고기 등급 자동판정 방법은, CCD카메라를 이용하여 소고기의 칼라 영상을 획득하는 영상획득단계; 상기 영상에서 살코기 영역을 분리하는 영역분리단계; 상기 살코기 영역의 경계선을 추출하는 경계추출단계; 상기 경계추출단계에서 추출된 경계선을 부드럽게 다듬는 경계유연화단계; 상기 경계유연화단계를 거친 경계선에 포함된 오목한 부분과 볼록한 부분을 수정하는 경계수정단계; 상기 경계수정단계에서 수정된 경계선을 중심으로 등급을 판정할 영역을 확정하는 판정영역확정단계; 및 상기 등급판정영역의 영상을 통해서 소고기의 등급을 판정하는 등급판정단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 전문등급판정사가 추출하는 판정영역 경계선과 거의 유사한 경계선을 추출함으로써 소고기의 등급을 자동으로 판정할 수 있는 효과가 있다.
소고기, 한우, 비프, 등급판정
Description
본 발명은 소고기의 등급을 판정하는 방법 및 그 시스템에 관한 것이며, 더욱 자세하게는 디지털 영상을 분석하여 자동으로 소고기 등급을 판정하는 방법 및 시스템에 관한 것이다.
일반적으로 소고기는 도축 직후에 등급을 분류하여 등급에 따라 다른 가격으로 판매가 이루어진다. 소고기의 등급은 육질 및 육량 등급을 통하여 판정되며, 판정의 방법은 전문등급판정사의 육안에 의하고 있다.
그러나 육안에 의한 판정은 등급판정을 위한 등급판정항목별로 정량화된 데이터의 축적이 어렵기 때문에, 등급판정 결과에 대한 객관성을 확보하지 못하는 문제가 있다. 또한 등급 판정에 소요되는 시간이 매우 길고, 경험이 중요하여 전문등급판정사의 양성이 어렵다는 단점이 있다.
이러한 문제를 해결하기 위하여, 영상분석을 통하여 자동으로 등급을 분류하는 기술에 대한 연구가 계속되고 있으며, 디지털 영상기술의 발전과 함께 관심이 더욱 높아지고 있다. 그러나 소고기의 단면은 살코기와 지방이 혼재되어 있고 이 들 사이의 분리가 명확하지 않기 때문에, 종래의 기술들에 의하여 추출된 판정영역의 경계선은 전문등급판정사가 추출한 경계선과 큰 차이를 보이고 있다.
따라서 전문등급판정사가 추출하는 경계선과 유사한 판정대상영역을 도출하는 새로운 방법을 발명하는 것이 자동판정의 첫 조건으로서 매우 중요하다.
본 발명은 상기 문제점을 해결하기 위하여 발명된 것으로서, 전문등급판정사가 추출하는 경계선과 거의 유사한 경계선으로 판정영역을 확정한 뒤에 영상분석을 통해 자동으로 소고기의 등급을 판정하는 방법과 시스템을 제공하는 것이 목적이다.
상기 목적을 달성하기 위한 본 발명의 소고기 등급 자동판정 방법은, CCD카메라를 이용하여 소고기의 칼라 영상을 획득하는 영상획득단계; 상기 영상에서 살코기 영역을 분리하는 영역분리단계; 상기 살코기 영역의 경계선을 추출하는 경계추출단계; 상기 경계추출단계에서 추출된 경계선을 부드럽게 다듬는 경계유연화단계; 상기 경계유연화단계를 거친 경계선에 포함된 오목한 부분과 볼록한 부분을 수정하는 경계수정단계; 상기 경계수정단계에서 수정된 경계선을 중심으로 등급을 판정할 영역을 확정하는 판정영역확정단계; 및 상기 등급판정영역의 영상을 통해서 소고기의 등급을 판정하는 등급판정단계를 포함하는 것을 특징으로 한다.
경계유연화단계는 경계선 위의 픽셀들 중에서 선택된 픽셀들 사이의 관계를 이용한 곡선 생성법을 적용하여 이루어지며, 픽셀들을 선택하는 방법이 경계선이 복잡한 부분에서는 픽셀 사이의 거리가 가깝게 선택하고, 경계선이 완만한 부분에서는 픽셀사이의 거리가 멀게 선택하는 것을 특징으로 한다.
그리고 경계유연화단계에서 픽셀들을 선택하는 방법은 경계선 위에 있는 픽 셀들 중에 시작픽셀 선택하여 위치정보를 저장하고, 시작픽셀에서 경계선을 따라 일정한 픽셀 수(X)만큼 떨어진 종료픽셀을 찾는 제1단계; 시작픽셀과 종료픽셀 사이에 위치하는 경계선의 복잡한 정도를 판단하는 제2단계; 및 제2단계에서 판단된 경계선이 복잡하지 않은 경우 종료픽셀의 위치정보를 저장하고 종료픽셀을 새로운 시작픽셀로 선택하여 제1단계로 돌아가며, 제2단계에서 판단된 경계선이 복잡한 경우 시작픽셀에서 경계선을 따라서 종료픽셀보다 작은 픽셀 수(W)만큼 떨어진 중간픽셀을 찾아 위치정보를 저장하고 중간픽셀을 새로운 시작픽셀로 선택하여 제1단계로 돌아가는 제3단계를 포함하여 이루어진다. 그리고 제2단계에서 경계선의 복잡한 정도를 판단하는 방법은 시작픽셀과 종료픽셀 사이의 직선거리가 갖는 픽셀의 수(Y)를 시작픽셀과 종료픽셀 사이의 경계선이 갖는 픽셀의 수(X)로 나눈 값(z)과 특정한 값(Z)을 비교하여 이루어지며, 이때 W=5, X=20이고 Z=0.8이다.
경계수정단계는 경계선을 따라 이동하면서 각 픽셀의 기울기를 비교하여 돌출부분 픽셀을 찾는 단계; 돌출부분 픽셀들 중 인접하는 돌출부분 픽셀 사이에 위치하는 경계선의 수정여부를 판단하는 단계; 및 수정여부를 판단하는 단계에서 수정하는 것으로 결정된 경우, 곡선 생성법을 적용하여 경계선을 수정하는 단계를 포함한다.
이때, 경계선의 수정여부를 판단하는 단계는 인접하는 돌출부분 픽셀 사이에 경계선을 따라서 존재하는 픽셀의 수(I)를 인접하는 돌출부분 픽셀사이의 직선거리 픽셀 수(J)로 나눈 값(k)을 특정 값(K)과 비교하여, 이보다 작은 경우에는 경계선을 유지하는 것으로 판단하고, 큰 경우에는 경계선을 수정하는 것으로 판단하며, K=1.8이다.
또한, 곡선 생성법을 적용하여 경계선을 수정하는 단계는 인접하는 돌출부분 픽셀과 인접하는 돌출부분 픽셀로부터 바깥방향으로 경계선을 따라 30픽셀만큼 떨어진 두 개의 픽셀을 이용하여 곡선 생성법을 적용한다.
영역분리단계는 최적의 문턱값을 산출하여 살코기 영역만을 표시하는 이치화과정으로 이루어지며, 최적의 문턱값을 산출하는 방법은 녹색밴드 영상의 명도분포를 통하여 그레이레벨을 분석하는 단계; 녹색밴드 영상의 그레이레벨이 25미만인 영역과 150초과인 영역을 제외한 뒤에, 남겨진 범위의 그레이레벨을 반으로 감축하는 단계; 각 그레이레벨에 대한 확률밀도함수와 살코기 영역의 확률밀도함수의 합 및 지방 영역의 확률밀도함수의 합을 이용해 살코기 영역의 확률분포 및 지방 영역의 확률분포를 구하는 단계; 살코기 영역의 확률분포 및 지방 영역의 확률분포를 차원의 레니 엔트로피에 적용하는 단계; 살코기 영역에 대한 레니 엔트로피와 지방 영역에 대한 레니 엔트로피의 합이 최대가 되는 그레이레벨을 구하는 단계; 및 의 범위에 따라서 서로 별개인 세 개의 값을 갖는 레니 엔트로피의 합이 최대가 되는 그레이레벨을 이용해서 최적의 문턱값을 산출하는 단계를 포함한다.
판정영역확정단계는 사용자가 확정된 판정영역을 확인하고 경계선을 수정하는 대화식의 쌍방향 확인과정을 포함한다.
경계추출단계는 경계선을 추출할 살코기 영역을 라벨링하는 라벨링과정, 라벨링된 영역의 내부에 남은 빈공간을 채우는 확장과정, 확장과정으로 과장되어 표현된 부분을 정리하는 침식과정 및 침식과정까지 거쳐 확정된 살코기 영역의 경계 선을 추출하는 자동경계추출과정을 포함하여 이루어진다.
등급판정단계는 살코기부분의 넓이를 확인하는 크기판정, 소고기의 마블링 상태를 확인하는 근내지방도판정, 살코기와 지방의 색을 확인하는 색상판정 및 등 지방의 두께를 확인하는 지방두께판정 중에서 적어도 하나 이상의 판정을 포함한다.
크기판정은 상기 확정영역의 픽셀 수를 넓이로 환산하여 이루어진다.
근내지방도판정은 적색 밴드의 영상을 이용하여 135를 기준으로 하여 이진화를 실시하고, 동시발생 매트릭스에서 선택되어진 네 개의 경로를 수평경로마스크로 하여 성분차이모멘트, 엔트로피, 균일성 및 면적비의 네가지 조직지수를 구하여 등급을 판단한다.
색상판정은 RGB로 표현된 영상의 출력값으로부터 산출된 평균 RGB값을 오차역전달 다층 신경회로망에 의한 학습을 통하여 변환시킨 국제조명위원회의 L*a*b*값을 이용한다.
두께판정은 상기 판정영역에 대하여 삼각법을 실시해서 판정영역 내의 가장 긴 직선을 찾고, 직선을 중심으로 두께측정의 대상이 되는 지방부분을 선택한 뒤에 선택된 지방부분에 이 직선에 수직한 법선을 그어서 법선의 길이를 측정하는 방법으로 이루어진다.
또한 상기 목적을 달성하기 위한 본 발명의 소고기 등급 자동판정 시스템은, 조명과 CCD카메라를 포함하는 영상획득장치; 상기 영상획득장치에서 획득한 영상을 분석하여 등급을 판정하는 분석기와 상기 영상 및 분석결과를 표시하는 모니터를 포함하는 등급판정장치; 및 상기 영상 데이터 및 상기 분석결과 데이터를 저장하는 데이터저장부를 포함하는 것을 특징으로 한다.
이때 모니터는 터치패드를 사용하고, 데이터저장부는 전산망에 연결된 것이 좋다.
본 발명에 따르면, 전문등급판정사가 추출하는 판정영역 경계선과 거의 유사한 경계선을 추출함으로써 소고기의 등급을 자동으로 판정할 수 있는 효과가 있다.
그리고 판정영역을 확정하는 단계에서 사용자에게 대화식의 쌍방향 확인과정을 제공하여 판정결과의 정확도를 높일 수 있으며, 사용자가 직접적으로 수정에 참여할 수도 있다.
또한 본 발명에 따르면 영상 데이터와 판정결과 데이터가 전산화 되어 데이터저장부에 저장되기 때문에, 영상 데이터와 판정결과 데이터를 데이터베이스화 할 수 있다. 데이터베이스는 등급판정항목별 측정치까지 표시된 판정결과를 언제라도 다시 확인할 수 있어 등급 판정의 객관성이 보장되며, 축산농가의 육질 개선에 필요한 기반자료로 활용될 수 있다. 나아가 최근에 실시되고 있는 소고기 이력제에 본 실시예의 소고기 등급판정 데이터를 접목하면 소고기를 판매하거나 구입하는 과정에서도 유용한 자료로 활용될 수 있다.
특히, 데이터저장부를 전산망에 연결함으로써, 인터넷 등을 통하여 전국 어디서나 본 발명을 통하여 소고기 등급을 판정한 분석결과 데이터를 확인할 수 있는 뛰어난 효과가 있다.
본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.
도 1은 본 발명의 실시예에 따른 소고기 등급 자동판정 방법을 나타내는 흐름도이다.
본 실시예는 영상획득단계(S10), 영역분리단계(S20), 경계추출단계(S30), 경계유연화단계(S40), 경계수정단계(S50), 판정영역확정단계(S60) 및 등급판정단계(S70)를 포함하여 이루어진다.
영상획득단계(S10)는 판정의 대상이 되는 소고기의 단면을 촬영하여 영상을 얻는 단계이다. 일반적으로 등급판정단계에서 사용되는 단면은 13번 갈비뼈의 단면이다. 촬영되는 영상은 디지털 분석이 가능하도록 CCD카메라를 이용하여 촬영된 칼라영상이다. 소고기 등급 판정에는 소고기의 색상이 매우 중요하고, 촬영된 영상은 조명에 의하여 색상에 차이가 생길 수 있으므로, LED를 이용한 조명을 사용하는 것이 좋다. 특히,촬영하고자 하는 소고기의 단면으로 쉽게 이동할 수 있는 영상획득장치를 LED조명과 CCD카메라를 결합하여 제작함으로써, 동일한 조명조건을 갖는 소고기 영상을 획득할 수 있다.
도 2는 LED조명과 CCD카메라를 결합하여 제작한 영상획득장치를 나타내는 도면이다.
영역분리단계(S20)는 획득된 영상에서 살코기 영역을 분리하는 단계이다. 판정의 대상이 되는 소고기는 외부는 지방이 둘러싸고 있으며, 살코기는 지방의 안 쪽에 위치한다. 그러나 사람이 먹게 되는 부위는 외부의 지방을 제거한 내부의 살코기부분이며, 등급판정의 대상이 되는 부분도 살코기부분이다. 따라서 등급판정의 대상이 되는 판정영역의 확정의 첫 과정으로 살코기가 있는 부분을 지방 및 배경 부분과 분리하여야 한다.
영역분리단계(S20)는 살코기에 해당하는 부분만이 흰색으로 표시되도록 하는 이치화 방법으로 이루어진다. CCD 카메라로 촬영된 영상은 적색, 녹색, 청색의 3가지 영상으로 분류가 가능한 RGB포맷을 가지며, 이러한 컬러 영상의 이치화 방법은 256단계로 구분되는 그레이레벨 히스토그램을 이용한 다양한 방법이 개발되어왔다.
도 3은 CCD 카메라로 촬영된 영상의 RGB 채널 영상을 나타내는 도면이다. a는 적색밴드의 영상이고, b는 녹색밴드의 영상이며, c는 청색밴드의 영상이다.
종래에는 적색, 녹색, 청색의 영상들에 대하여 임의로 정하여진 문턱값을 기준으로 살코기와 지방의 영역을 분리하는 방법을 사용하였다. 그러나 이 경우 임의로 정해진 문턱값이 모든 영상에 적합하지 않으며, 각각의 영상에 대하여 별개의 문턱값을 찾아야 하는 문제가 있었다.
이러한 문제를 해결하기 위하여 엔트로피적 방법을 이용한 이치화에 대한 연구가 지속적으로 이루어지고 있다. 대표적인 방법으로는 레니 엔트로피법(Rㅹnyi entropy method), 최대 엔트로피법(maximum entropy method), 최대 엔트로피 합계법(maximum entropy sum method), 최소 엔트로피법(minimum entropy method), Tsallis 방법 및 엔트로피 상관법(entropic correlation method) 등이 있다. 그러 나 이러한 엔트로피적 방법으로 찾아낸 문턱값들도 만족할 만한 결과를 나타내지 는 못하고 있으며, 나아가 엔트로피적 방법은 연산시간이 매우 오래 걸리는 단점이 있다.
본 실시예는 연산시간을 줄이기 위하여, 적합한 하나의 영상만을 이용하며, 종래의 엔트로피적 방법들의 장점을 반영한 새로운 최적의 문턱값을 이용한다.
본 실시예에서는 영상의 이치화를 위하여, 먼저 히스토그램에 기초한 구분에서 가장 적합한 녹색밴드 영상만을 사용해서 명도분포를 분석한다.
이 분석에 의하여 그레이레벨이 25 미만인 영역은 배경으로 판단하여 제외하고, 그레이레벨이 150을 초과하는 영역은 지방으로 결정하여 제외한다. 그리고 두 값 사이에 위치하는 126단계의 그레이레벨을 63단계로 줄이는 과정을 거친다. 본 실시예는 엔트로피적 방법을 적용하는 그레이레벨의 단계를 감축함으로써, 연산시간을 크게 감소시킬 수 있다. 또한 약 60단계의 그레이레벨을 엔트로피적 방법에 적용하여도 지방과 살코기를 정확하게 구분할 수 있다.
이러한 과정을 통하여 (i,j)픽셀이 갖는 그레이레벨(I(i,j))의 감축변환된 그레이레벨(J(i,j))을 구하는 수식은 다음과 같다.
각 그레이레벨에 대한 확률밀도함수인 와 살코기 영역의 확률밀도함수의 합(p(A1)) 및 지방 영역의 확률밀도함수의 합(p(A2))을 이용해 살코기 영역의 확률분포(A1) 및 지방 영역의 확률분포(A2)를 구하면 다음과 같다.
여기서 , 및 은 서로 별개의 값이다. 가 1로 접근할 때의 그레이레벨 값인 은 최대 엔트로피 합계법의 최적 문턱값과 동일하고, 가 1보다 클 때의 그레이레벨 값인 은 엔트로피 상관법의 최적 문턱값과 동일하다. 그리고 그레이레벨 은 가 0.5일 때의 레니 엔트로피법의 문턱값이다.
이상의 방법을 구하여진 최적의 문턱값을 적용하여 녹색밴드의 영상에 이치화를 실시한다.
도 4는 본 실시예의 방법으로 구해진 최적의 문턱값을 적용하여 녹색밴드의 영상을 이치화한 영상이다.
경계추출단계(S30)는 살코기영역의 경계선을 추출하는 단계이다. 이치화방법을 통하여 흰색으로 표시된 살코기영역의 경계선을 추출하는 과정으로서, 이치화된 영상에서 외곽선을 추출하는 방법은 매우 다양하며, 자동화된 방법들도 많다. 그러나 앞선 영역분리단계(S20)를 거친 영상은 살코기 내부에 위치하는 지방들이 비어 있으며 커다란 살코기를 나타내는 블럽 외에 자그마한 살코기들까지 표시를 하기 때문에, 곧바로 자동화된 외곽선 추출방법을 적용할 경우 판정영역 확정에 필요한 살코기영역의 경계선을 추출할 수 없다. 따라서 본 실시예에서는 라벨링과정(S31), 확장(dilation)과정(S32) 및 침식(erosion)과정(S33)을 거친 뒤에 자동경계추출과정(34)을 실시한다.
라벨링과정(S31)은 이치화된 영상에 블럽 라벨링(blob-labelling)을 실시하여 경계선을 추출할 살코기영역을 라벨링하는 과정이다. 블럽 라벨링은 각 픽셀에 8방향으로 연결된 픽셀에 대하여 실시하며, 주요한 살코기영역의 블럽만이 남고 내부에 지방이 많아서 사용되지 못할 살코기영역들은 제거된다.
도 5는 도 4의 영상을 라벨링하여 살코기영역의 블럽만을 남긴 영상이다.
확장과정(S32)은 라벨링과정을 거친 살코기영역 블럽의 내부에 위치하는 근내지방으로 인하여 비어있는 공간을 채우는 과정이다. 본 실시예에서는 5X5의 정사각형 마스크를 이용한 두 번의 확장과정을 통하여 살코기영역 블럽 내부를 채운다.
도 6 및 도 7은 도 5 영상의 블럽 내부를 확장과정을 통하여 채운 영상이다.
침식과정(S33)은 확장과정을 통하여 살코기영역 블럽이 과장된 효과를 감소시키는 단계이다. 본 실시예에서는 5X5의 정사각형 마스크를 이용하여 침식과정을 실시한다.
도 8은 도 도7의 영상에 대하여 침식과정을 실시한 영상이다.
자동경계추출과정(S34)은 확장과정 및 침식과정을 통해 다듬어진 살코기영역 블럽의 경계를 자동경계추출방법을 이용하여 추출하는 과정이다. 본 실시예에서는 8방향 체인코딩 방법을 이용하여 살코기영역 블럽의 경계를 추출한다다.
도 9는 도 8의 영상에 자동경계추출방법을 적용한 영상이다.
경계유연화단계(S40)는 살코기영역의 경계선을 부드럽게 다듬는 단계이다. 경계추출단계(S30)에 추출된 경계선은 픽셀단위로 추출되기 때문에, 매우 들쭉날쭉하여 전문등급판정사가 파악하는 경계선과 차이가 있다. 따라서 실제로 전문등급판정사가 파악하는 경계선과 유사하도록 경계선을 부드럽게 다듬어야만 한다.
도 10은 경계유연화단계를 거치기 전의 경계선을 나타내는 영상이다.
본 실시예에서 경계유연화단계(S40)는 경계선 중에서 특정의 픽셀들을 추출한 뒤에, 추출된 픽셀을 사이의 관계를 이용한 곡선 생성법을 적용하여 이루어진다.
곡선 생성을 위한 픽셀의 추출은, 경계선이 완만한 경우에는 픽셀사이의 거리가 멀게 추출하고, 경계선이 복잡하게 구부러진 경우에는 픽셀사이의 거리가 가깝게 추출하여야 한다. 따라서 먼저 경계선이 완만한 경우와 복잡한 경우를 구별 하여야 한다. 본 실시예에서는 경계선 위에 위치하는 두 픽셀 A와 B사이에 경계선을 따라서 존재하는 픽셀의 수(X)와 A와 B를 직선으로 연결한 경우에 사이에 존재하는 픽셀의 수(Y)를 비교하여 경계선이 복잡한 정도를 구분한다. 예를 들어, 경계선을 따라서 20픽셀 떨어진 두 픽셀 A와 B의 경우 X는 20이며, A와 B 사이의 경계선이 가장 완만한 경우인 직선의 관계에 있다면 Y도 20의 값을 갖으며, A와 B 사이의 경계선의 형상이 복잡해질수록 Y의 값은 작아진다. 따라서 Y를 X로 나눈 값으로 정의되는 z를 두 픽셀사이 경계선이 복잡한 정도를 나타내는 계수로 사용할 수 있으며, z가 미리 정해진 값(Z)보다 크면 완만한 선이고 그 보다 작으면 복잡한 선으로 구분할 수 있다. 이를 이용한 픽셀 추출과정을 설명하면 다음과 같다.
먼저 경계선 위의 시작픽셀 A를 선택하여 위치정보를 저장하고, 시작픽셀로부터 경계선을 따라 X만큼 떨어진 종료픽셀 B를 찾는다.
A와 B사이의 직선거리 Y를 X로 나누어 z를 산출하고, z를 미리 규정된 Z값과 비교한다.
z가 Z보다 크거나 같으면, B픽셀의 위치정보를 저장하고, B픽셀을 시작픽셀로 하여 위의 과정을 반복한다.
z가 Z보다 작으면, A에서 경계선을 따라서 W(<X)만큼 떨어진 중간픽셀 C의 위치정보를 저장하고, 중간픽셀 C를 시작픽셀로 하여 위의 과정을 반복한다.
이 과정에서 W, X 및 Z는 미리 정해놓은 값이며, 이들 값에 따라서 추출되는 픽셀이 변경된다. 본 실시예에서는 W=5, X=20 및 Z=0.8의 값을 이용한다.
상기한 과정에서 추출된 픽셀들의 위치정보를 이용하여 곡선 생성방법을 실 시하면, 유연화된 경계선을 얻을 수 있다. 본 실시예에서는 오버하우저(Overhauser) 곡선 생성방법을 사용한다.
도 11은 도 10의 경계선에 본 실시예의 경계유연화단계를 실시한 이후의 경계선을 나타내는 영상이다.
경계수정단계(S50)는 경계유연화단계(S40)에서 해소하지 못하는 경계선의 돌출부분 또는 오목부분을 수정하는 단계이다. 경계유연화단계(S40)는 작은 픽셀단위로 픽셀을 추출하여 곡선 생성방법을 적용하기 때문에, 이 단계를 거친 경우에도 지방에 의하여 오목하게 들어간 계곡부분이나 급격하게 돌출된 부분이 남게 된다.
도 12는 지방에 의하여 오목하게 들어간 계곡부분이 포함된 소고기에 대하여 살코기영역 경계선을 산출한 영상을 나타내며, 도 13은 도 12의 영상에 대하여 본 실시예의 경계유연화단계를 거친 경계선을 표시한 영상이다.
이러한 돌출부분 또는 오목부분들 중에는 도 12에 나타난 것과 같이 실제 절단작업에서 경계를 따라 절단할 수 없는 부분도 있으며, 전문등급판정사들은 이 부분들을 포함하여 판정영역을 설정하는 것이 일반적이다. 따라서 작은 크기의 오목부분이나 돌출부분을 수정하는 수정단계가 필요하다.
오목부분이나 돌출부분을 수정하기 위해서는, 먼저 오목부분이나 돌출부분을 판단하여야 한다. 이때 오목부분의 입구에는 돌출부분이 형성되기 때문에, 본 실시예에서는 먼저 경계선에서 돌출부분을 찾는다. 경계선을 따라서 이동하면서 각 픽셀이 갖는 기울기를 비교하여, 돌출부분 픽셀을 찾아낸다.
도 14는 오목부분을 포함하는 경계선에서 돌출부분을 찾아서 표시한 영상이 다.
다음으로 인접하는 돌출부분 픽셀사이의 경계를 수정할 것인지를 판단하는데, 이 판단의 기준은 인접하는 돌출부분 픽셀사이에 경계선을 따라서 존재하는 픽셀의 수(I)를 돌출부분 픽셀사이의 직선거리 픽셀 수(J)로 나눈 값(k)이다. k값이 정해진 값(K)보다 작은 경우에는 경계선을 유지하며, k값이 정해진 값(K)보다 큰 경우에는 인접하는 돌출부분 픽셀을 중심으로 경계선을 수정한다.
도 15는 K값에 따라 수정되는 경계선의 차이를 나타내는 영상이다. a는 촬영된 원본 사진을 나타내고, b는 K를 1.6으로 정한 경우에 수정된 경계선을 나타내고, c는 K를 1.8로 정한 경우에 수정된 경계선을 나타내고, d는 K를 2.1로 정한 경우에 수정된 경계선을 나타낸다. 이를 통하여 K값이 커질수록 경계선을 수정하는 경우가 줄어드는 것을 알 수 있다. 그리고 왼쪽 영상의 소고기에 위치하는 큰 오목부분은 경계선을 수정할 필요가 없는 부분이고, 오른쪽 영상의 소고기에 위치하는 작은 오목부분은 경계선을 수정할 필요가 있는 부분이므로, 가장 적절한 K의 값은 1.8인 것을 알 수 있다.
돌출부분 픽셀을 중심으로 경계선을 수정하는 방법은 곡선 생성방법, 특히 오버하우저 곡선 생성방법을 적용한다. 오버하우저 곡선 생성방법으로 경계선을 수정하기 위하여, 두 개의 인접한 돌출부분 픽셀(p2, p3)과 이 픽셀의 바깥쪽으로 정하여진 픽셀 수만큼 떨어진 경계선내의 픽셀 두개(p1, p4)를 추출한다. 본 실시예에서는 p2, p3 픽셀에서 30픽셀만큼 떨어진 픽셀을 p1과 p4로 추출한다. 이렇게 추출된 네 개의 픽셀(p1, p2, p3, p4)을 오버하우저 곡선 생성방법에 적용하여 돌 출부분 픽셀 사이의 경계선을 수정한다. 오버하우저 곡선(C(t))은 다음의 식을 통하여 생성된다.
t는 p2에 대하여 0이고, p3에 대하여 1의 값을 갖는다.
도 16은 인접한 돌출부분 픽셀(p2, p3) 사이의 경계선을 오버하우저 곡선 생성방법으로 수정한 모습을 나타낸다.
이상의 과정을 거쳐 결정된 경계선이 얼마나 정확한지는 PLM(percent of lean-tissue match)로 나타낼 수 있다.
여기서, D(i,j)는 전문등급판정사들에 의하여 추출된 바람직한 경계선으로 둘러싸인 영역을 나타내고, C(i,j)는 본 실시예에 의하여 추출된 경계선으로 둘러싸인 영역을 나타내며, PLM은 D(i,j)와 C(i,j)가 겹치는 정도를 나타낸다.
추출된 경계선의 오차 퍼센트(PE, percent error)는 으로 계산된다. 다만, 이 값은 C(i,j)가 D(i,j)의 내부에 포함되는 경우에 오차값을 산출하지 못하는 단점이 있다.
따라서 두 결과 사이에 어긋남을 나타내는 AEPD(average error pixel distance)을 함께 적용하였다.
여기서 XOR은 배타적 논리합(exclusive or)이며, 배경이나 경계선에서 어긋남이 있는 경우에 1의 결과를 나타내고, 배경과 경계선이 잘 맞는 경우에는 0의 결과를 나타낸다. 그리고 P(i,j)는 D(i,j)의 외곽선이다.
표 1은 본 실시예에 따라서 추출된 경계선의 정확도를 확인한 결과이다.
[표 1]
샘플 | C(i,j) | D(i,j) | A(i,j) | PE(%) | AEPD |
1 | 62,786 | 61,796 | 61,603 | 1.88 | 1.55 |
2 | 53,271 | 53,164 | 52,367 | 1.7 | 1.83 |
3 | 50,847 | 49,817 | 49,472 | 2.7 | 2.07 |
4 | 64,754 | 64,789 | 64,080 | 1.04 | 1.39 |
5 | 64,538 | 61,029 | 60,748 | 5.87 | 4.3 |
6 | 69,848 | 66,752 | 66,314 | 5.06 | 3.6 |
7 | 69,749 | 69,012 | 68,613 | 1.31 | 1.48 |
8 | 61,879 | 61,058 | 60,869 | 1.63 | 1.25 |
9 | 67,154 | 66,920 | 66,557 | 0.89 | 1.03 |
10 | 72,634 | 68,004 | 67,270 | 7.38 | 4.49 |
11 | 70,604 | 69,718 | 68,737 | 2.64 | 2.34 |
12 | 79,267 | 78,767 | 77,839 | 1.80 | 1.9 |
13 | 75,864 | 75,365 | 74,276 | 2.09 | 2.21 |
14 | 69,592 | 70,361 | 68,509 | 1.56 | 2.13 |
15 | 90,292 | 89,256 | 88,718 | 1.74 | 1.44 |
16 | 89,479 | 87,610 | 87,378 | 2.35 | 1.65 |
17 | 106,399 | 104,688 | 103,268 | 2.94 | 3.16 |
18 | 80,534 | 79,132 | 78,796 | 2.16 | 1.54 |
19 | 85,135 | 79,186 | 79,072 | 7.12 | 4.8 |
20 | 77,111 | 73,834 | 73,200 | 5.07 | 3.66 |
21 | 75,434 | 74,613 | 74,165 | 1.68 | 1.43 |
22 | 78,753 | 77,401 | 76,960 | 2.28 | 1.67 |
23 | 75,724 | 74,405 | 73,544 | 2.88 | 2.25 |
24 | 76,001 | 77,064 | 74,507 | 1.97 | 3.53 |
25 | 75,186 | 73,509 | 72,969 | 2.95 | 2.49 |
26 | 78,864 | 77,744 | 76,865 | 2.53 | 2.14 |
27 | 80,846 | 79,205 | 78,900 | 2.41 | 1.83 |
28 | 72,868 | 71,799 | 71,318 | 2.13 | 1.65 |
29 | 60,475 | 61,589 | 59,556 | 1.52 | 2.45 |
30 | 65,447 | 65,601 | 64,349 | 1.68 | 1.92 |
31 | 82,916 | 82,044 | 81,570 | 1.62 | 1.64 |
32 | 70,181 | 69,893 | 69,426 | 1.08 | 1.27 |
33 | 66,897 | 68,771 | 65,926 | 1.45 | 3.66 |
34 | 71,344 | 68,982 | 67,815 | 4.95 | 4.74 |
35 | 71,732 | 72,631 | 70,789 | 1.32 | 2.77 |
36 | 68,476 | 71,414 | 66,172 | 3.37 | 7.13 |
본 실시예에 따라서 추출된 경계선의 PE는 평균이 2.63이고 최대값은 7.38이며 최소값은 0.89로 나타났으며, AEPD는 평균이 2.51이고 최대값은 7.13이며 최소값은 1.03으로 나타났다.
이를 통하여 본 실시예에 따라 추출된 살코기영역의 경계선이 전문등급판정 사들에 의하여 추출된 바람직한 경계선과 매우 유사함을 알 수 있으며, 자동등급판정을 실시할 영역의 경계선으로 적용될 수 있음을 확인할 수 있다.
판정영역확정단계(S60)는 유연화 및 수정을 거친 경계선을 바탕으로 등급 판정의 대상이 되는 판정영역을 확정하는 단계이다. 이러한 판정영역의 확정은 판정시스템 내부에서 자동적으로 완료될 수도 있으나, 사용자가 직접 확정된 판정영역을 확인하는 과정을 거치는 것이 좋다. 특히 확인과정 중에서 사용자가 경계선을 수정할 수 있는 대화형의 쌍방향 확인과정을 마련하는 것이 좋으며, 이를 위하여 영상을 보여주는 모니터를 터치 패널로 제작함으로써 사용자가 모니터에 띄워진 영상에 직접 수정 지점을 입력하도록 할 수 있다. 이 때, 경계선을 수정하는 방법은 사용자가 터치 패널로 직접 수정된 경계선을 입력하거나, 수정이 필요한 부분을 점으로 입력한 뒤 오버하우저 곡선 생성방법을 적용한다.
등급판정단계(S70)는 확정된 판정영역을 기준으로 소고기의 등급을 판정하는 단계이다. 전문등급판정사들이 소고기의 등급을 판정하는 기준은 살코기부분의 크기, 근내지방의 분포정도, 지방과 고기의 색 및 등 지방의 두께를 종합적으로 고려한다.
살코기부분의 넓이를 확인하는 크기판정은 확정된 판정영역의 내에 위치하는 픽셀의 개수를 넓이로 환산하여 결정한다.
일반적으로 마블링(marbling)이라고 표현하는 근내지방의 분포정도를 판단하는 것이 근내지방도판정이다. 이을 위해서 살코기영역 영상에서 동시발생 매트릭스를 구한다. 살코기영역에 대한 영상의 RGB 채널 중 적색 밴드의 영상을 이용해 이진화를 실시한다. 그리고 수평경로마스크(horizontal path mask)는 동시발생 매트릭스에서 선택되어진 네 개의 경로를 선택한다. 이에 대하여 성분차이모멘트(EDM, element difference moment), 엔트로피(ENT), 균일성(UNF) 및 면적비(AR)의 네 가지 조직지수를 구한다. 네 가지 조직지수는 다음의 식으로 구해진다.
여기서 i와 j는 픽셀의 위치정보값이다.
도 17은 네 가지 조직지수에 따른 소고기의 등급을 나타내는 그래프이다. 이는 성분차이모멘트와 엔트로피 및 면적비 값은 작을수록 소고기의 등급이 높고, 균일성은 높을 수록 소고기의 등급이 높은 것을 반영한 것이다.
살코기와 지방의 색은 통해 소고기의 상태를 확인 하는 것이 색상판정이다. 색상판정은 살코기와 지방의 다양한 색상을 나타내는 샘플들과 영상에서 얻어진 색상을 비교하여 이루어진다. 그러나 영상에 얻어지는 RGB표색계는 조명 등의 영향으로 인하여 일정한 결과를 얻지 못하는 문제가 있다. RGB표색계가 갖는 이러한 문제가 없는 또 다른 표색계로서 국제조명위원회(CIE)의 L*a*b*표색계가 있다. L*a*b*값은 색차계를 이용하여 측정하는 것이 일반적이며, CCD카메라에서 촬영된 영상을 변환수식을 이용해서 L*a*b*값으로 변환하는 경우에 오차가 발생하는 문제가 있다. 따라서 본 실시예에서는 RGB로 표현된 컬러 카메라의 출력값으로부터 산출한 평균RGB값을 신경회로망에 의한 학습을 통하여 CIE L*a*b*값으로 변환하는 방법을 사용하며, 신경회로망으로는 오차역전달 다층 신경회로망을 사용한다.
살코기영역의 외부에 붙어있는 등 지방의 두께를 측정하여 소고기의 등급을 확인하는 것이 지방두께판정이다. 이를 위하여 먼저 확정된 경계선의 돌출부분을 꼭지점으로 하여 삼각법을 실시한 다음 돌출부분을 연결한 직선 중에 가장 긴 직선을 찾는다. 이렇게 선택된 직선을 이용하여, 살코기영역의 외부를 둘러싸고 있는 지방층 중에서 두께측정의 대상이 되는 등 지방 부분을 선택한다. 마지막으로 긴 직선에 수직한 법선을 등 지방에 그리고, 법선의 길이를 측정하여 등 지방의 두께 값으로 결정한다.
도 18 내지 도 20은 등 지방의 두께를 측정하는 과정을 나타내는 도면이다. 도 18은 판정영역에 대하여 삼각법을 실시한 모습이고, 도 19는 가장 긴 직선을 찾아 등 지방부분을 선택한 모습이며, 도 20은 법선을 이용해 등 지방의 두께를 측정하는 모습이다.
살코기부분의 크기, 근내지방의 분포정도, 지방과 고기의 색 및 등 지방의 두께에 대하여 평가된 등급들을 종합하여 소고기의 등급을 최종적으로 결정한다.
그리고 본 발명의 실시예에 따른 소고기 등급 자동판정 시스템은 영상획득장치, 등급판정장치 및 데이터저장부를 포함하여 구성된다.
영상획득장치는 소고기 단면의 영상을 촬영하는 장치로서, CCD카메라와 조명 으로 이루어진다. CCD 카메라는 소고기의 단면을 디지털 영상으로 저장할 수 있는 촬영장치이며, 조명은 CCD 카메라가 정확한 영상을 얻을 수 있도록 강한 빛을 비추는 장치이다. 도 2에 나타난 본 실시예의 영상획득장치는 화이트 LED 조명(20)을 CCD 카메라(10) 주변에 원형으로 부착하여 일체화하고, 그 외부에 스위치가 달린 손잡이를 부착하여 쉽게 소고기 단면의 영상을 촬영할 수 있도록 한다.
등급판정장치는 영상획득장치를 통하여 획득한 영상을 분석하여 등급을 판정하는 분석기 및 영상과 분석결과를 표시하는 모니터를 포함하여 구성된다.
분석기는 디지털 영상을 분석하여 판정영역을 확정하고 소고기의 등급을 판정하는 부분이며, 디지털 영상을 분석할 수 있는 처리부를 포함한다.
모니터는 영상획득장치에서 촬영한 영상과 영상을 분석한 결과를 사용자에게 표시하는 영상장비이다. 본 실시예에서는 사용자가 화면을 통하여 직접 입력이 가능한 터치패드 모니터를 사용하여 대화형의 쌍방향 시스템을 적용할 수 있도록 한다.
도 21은 본 실시예에 따른 소고기 등급 자동판정 시스템의 모니터에 표시되는 판정시작화면을 보여주는 도면이다. 판정시작화면에서 사용자가 영상에 표시된 경계선을 확인하고 시작버튼을 터치하여 분석기에서 등급 판정을 시작하도록 한다. 만약 영상에 표시된 경계선을 수정할 필요가 있는 경우, 경계수정 버튼을 터치하여 수정단계로 진행한다. 이때, 본 실시예는 터치패드를 적용했기 때문에, 사용자가 모니터에 표시된 영상에 직접 수정부분을 입력할 수 있는 장점이 있다.
도 22는 본 실시예에 따른 소고기 등급 자동판정 시스템의 모니터에 표시되 는 판정결과화면을 보여주는 도면이다. 판정결과 화면은 소고기 단면영상과 판정결과를 포함하고 있어 등급판정에 대한 모든 정보를 알 수 있다.
데이터저장부는 영상획득장치에서 촬영한 영상 데이터와 판정장치에서 분석한 경계선 정보를 포함하는 분석결과 데이터를 저장하는 부분이다. 본 실시예의 시스템은 처리과정이 전부 전산화 되어 있기 때문에, 영상 데이터와 분석결과 데이터를 모두 데이터저장부에 저장할 수 있다. 도 22에 도시된 것과 같은 결과화면을 데이터저장부에 저장하여 데이터베이스를 구축하면, 등급판정항목별 측정치까지 표시된 판정결과를 언제라도 다시 확인할 수 있어 등급 판정의 객관성이 보장되며, 축산농가의 육질 개선에 필요한 기반자료로 활용될 수 있다. 나아가 최근에 실시되고 있는 소고기 이력제에 본 실시예의 소고기 등급판정 데이터를 접목하면 소고기를 판매하거나 구입하는 과정에서도 유용한 자료로 활용될 수 있다.
특히, 본 실시예의 데이터저장부는 전산망에 연결되어있어, 인터넷 등을 통하여 전국 어디서나 본 실시예의 시스템을 통하여 소고기 등급을 판정한 분석결과 데이터를 확인할 수 있으므로 활용도가 더욱 높아진다.
이상에서는 본 발명을 특정의 바람직한 실시예에 대해서 도시하고 설명하였다. 그러나 본 발명은 상술한 실시예에만 국한되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어남이 없이 얼마든지 다양하게 변경 실시할 수 있을 것이다. 따라서 본 발명의 권리범위는 특정 실시예에 한정되는 것이 아니라, 첨부된 특허청구범위에 의해 정해지는 것으로 해석되어야 할 것이다.
도 1은 본 발명의 실시예에 따른 소고기 등급 자동판정 방법을 나타내는 흐름도이다.
도 2는 LED조명과 CCD카메라를 결합하여 제작한 영상획득장치를 나타내는 도면이다.
도 3은 CCD 카메라로 촬영된 영상의 RGB 채널 영상을 나타내는 도면이다.
도 4는 본 실시예의 방법으로 구해진 최적의 문턱값을 적용하여 녹색밴드의 영상을 이치화한 영상이다.
도 5는 도 4의 영상을 라벨링하여 살코기영역의 블럽만을 남긴 영상이다.
도 6 및 도 7은 도 5 영상의 블럽 내부를 확장과정을 통하여 채운 영상이다.
도 8은 도 도7의 영상에 대하여 침식과정을 실시한 영상이다.
도 9는 도 8의 영상에 자동경계추출방법을 적용한 영상이다.
도 10은 경계유연화단계를 거치기 전의 경계선을 나타내는 영상이다.
도 11은 도 10의 경계선에 본 실시예의 경계유연화단계를 실시한 이후의 경계선을 나타내는 영상이다.
도 12는 지방에 의하여 오목하게 들어간 계곡부분이 포함된 소고기에 대하여 살코기영역 경계선을 산출한 영상이다.
도 13은 도 12의 영상에 대하여 본 실시예의 경계유연화단계를 거친 경계선을 표시한 영상이다.
도 14는 오목부분을 포함하는 경계선에서 돌출부분을 찾아서 표시한 영상이 다.
도 15는 K값에 따라 수정되는 경계선의 차이를 나타내는 영상이다.
도 16은 인접한 돌출부분 픽셀(p2, p3) 사이의 경계선을 오버하우저 곡선 생성방법으로 수정한 모습을 나타낸다.
도 17은 네 가지 조직지수에 따른 소고기의 등급을 나타내는 그래프이다.
도 18 내지 도 20은 등 지방의 두께를 측정하는 과정을 나타내는 도면이다.
도 21은 본 실시예에 따른 소고기 등급 자동판정 시스템의 모니터에 표시되는 판정시작화면을 보여주는 도면이다.
도 22는 본 실시예에 따른 소고기 등급 자동판정 시스템의 모니터에 표시되는 판정결과화면을 보여주는 도면이다.
< 도면의 주요부분에 대한 부호의 설명 >
10: CCD 카메라 20: 조명
Claims (21)
- CCD카메라를 이용하여 소고기의 칼라 영상을 획득하는 영상획득단계;상기 영상을 이치화하여 살코기 영역을 분리하는 영역분리단계;상기 살코기 영역의 경계선을 추출하는 경계추출단계;상기 경계추출단계에서 추출된 경계선을 부드럽게 다듬는 경계유연화단계;상기 경계유연화단계를 거친 경계선에 포함된 오목한 부분과 볼록한 부분을 수정하는 경계수정단계;상기 경계수정단계에서 수정된 경계선의 내부 영역을 등급 판정의 대상인 판정영역으로 확정하는 판정영역확정단계; 및상기 등급판정영역 영상의 크기와 색상을 분석하여 소고기의 등급을 판정하는 등급판정단계를 포함하여 구성되며,상기 경계유연화단계는, 경계선 위의 픽셀들 중에서 곡선 생성법을 적용할 픽셀들을 선택하고, 선택된 픽셀들 사이의 관계를 이용한 곡선 생성법을 적용하여 이루어지며,상기 곡선 생성법을 적용할 픽셀들을 선택하는 방법이,경계선 위에 있는 픽셀들 중에 하나의 픽셀을 시작픽셀로 선택하여 위치정보를 저장하고, 상기 시작픽셀에서 경계선을 따라 일정한 픽셀 수(X)만큼 떨어진 종료픽셀을 찾는 제1단계;상기 시작픽셀과 상기 종료픽셀 사이의 직선거리가 갖는 픽셀의 수(Y)를 상기 시작픽셀과 상기 종료픽셀 사이의 경계선이 갖는 픽셀의 수(X)로 나눈 값(z)과 특정한 값(Z)을 비교하는 제2단계;제2단계에서 z가 Z보다 크면 상기 종료픽셀의 위치정보를 저장하고 상기 종료픽셀을 새로운 시작픽셀로 선택하여 제1단계로 돌아가며, 제2단계에서 z가 Z보다 작으면 상기 시작픽셀에서 경계선을 따라서 상기 종료픽셀보다 작은 픽셀 수(W)만큼 떨어진 중간픽셀을 찾아 위치정보를 저장하고 상기 중간픽셀을 새로운 시작픽셀로 선택하여 제1단계로 돌아가는 제3단계를 포함하여 이루어지는 것을 특징으로 하는 소고기 등급 자동판정 방법.
- 삭제
- 삭제
- 삭제
- 청구항 1에 있어서,W=5, X=20이고 Z=0.8인 것을 특징으로 하는 소고기 등급 자동판정 방법.
- 청구항 1에 있어서,상기 경계수정단계가,경계선을 따라 이동하면서 각 픽셀과 연접한 픽셀이 이루는 픽셀의 기울기를 연속적으로 비교하여 돌출부분 픽셀을 찾는 단계;상기 돌출부분 픽셀들 중 인접하는 돌출부분 픽셀 사이에 위치하는 경계선의 수정여부를 판단하는 단계; 및상기 수정여부를 판단하는 단계에서 수정하는 것으로 결정된 경우, 곡선 생성법을 적용하여 경계선을 수정하는 단계를 포함하며,상기 경계선의 수정여부를 판단하는 단계가, 상기 인접하는 돌출부분 픽셀 사이에 경계선을 따라서 존재하는 픽셀의 수(I)를 상기 인접하는 돌출부분 픽셀사이의 직선거리 픽셀 수(J)로 나눈 값(k)을 특정 값(K)과 비교하여, 이보다 작은 경우에는 경계선을 유지하는 것으로 판단하고, 큰 경우에는 경계선을 수정하는 것으로 판단하는 것을 특징으로 하는 소고기 등급 자동판정 방법.
- 삭제
- 청구항 6에 있어서,K=1.8인 것을 특징으로 하는 소고기 등급 자동판정 방법.
- 청구항 6에 있어서,상기 곡선 생성법을 적용하여 경계선을 수정하는 단계가, 상기 인접하는 돌출부분 픽셀(p2, p3) 및 상기 돌출부분 픽셀로부터 다른 돌출부분 픽셀에서 멀어지는 방향으로 경계선을 따라 각각 30픽셀만큼 떨어진 두 개의 픽셀(p1, p4)을 이용하여 곡선 생성법을 적용하는 것을 특징으로 하는 소고기 등급 자동판정 방법.
- 청구항 1에 있어서,상기 영역분리단계가, 최적의 문턱값을 산출하여 살코기 영역만을 표시하는 이치화과정으로 이루어지는 것을 특징으로 하는 소고기 등급 자동판정 방법.
- 청구항 10에 있어서,상기 이치화과정에서 최적의 문턱값을 산출하는 방법이,녹색밴드 영상의 명도분포를 통하여 그레이레벨을 분석하는 단계;상기 녹색밴드 영상의 그레이레벨이 25미만인 영역과 150초과인 영역을 제외한 뒤에, 남겨진 범위의 그레이레벨을 반으로 감축하는 단계;각 그레이레벨에 대한 확률밀도함수()와 살코기 영역의 확률밀도함수의 합(p(A1)) 및 지방 영역의 확률밀도함수의 합(p(A2))을 이용해 살코기 영역의 확률분포() 및 지방 영역의 확률분포()를 구하는 단계;
- 청구항 1에 있어서,상기 판정영역확정단계가, 사용자가 확정된 판정영역을 확인하고 경계선을 수정하는 대화식의 쌍방향 확인과정을 포함하는 것을 특징으로 하는 소고기 등급 자동판정 방법.
- 청구항 1에 있어서,상기 경계추출단계가, 이치화된 영상에 대하여 경계선을 추출할 살코기 영역을 라벨링하는 라벨링과정, 상기 라벨링된 영역의 내부에 남은 빈공간을 채우는 확장과정, 상기 확장과정으로 과장되어 표현된 부분을 정리하는 침식과정 및 상기 침식과정까지 거쳐 확정된 살코기 영역의 경계선을 추출하는 자동경계추출과정을 포함하여 이루어지는 것을 특징으로 하는 소고기 등급 자동판정 방법.
- 청구항 1에 있어서,상기 등급판정단계가, 살코기부분의 넓이를 확인하는 크기판정, 소고기의 마블링 상태를 확인하는 근내지방도판정, 살코기와 지방의 색을 확인하는 색상판정 및 등 지방의 두께를 확인하는 지방두께판정 중에서 적어도 하나 이상의 판정을 포함하는 것을 특징으로 하는 소고기 등급 자동판정 방법.
- 청구항 14에 있어서,상기 크기판정이, 상기 판정영역의 픽셀 수를 넓이로 환산하여 이루어지는 것을 특징으로 하는 소고기 등급 자동판정 방법.
- 청구항 14에 있어서,상기 색상판정이, RGB로 표현된 영상의 출력값으로부터 산출된 평균 RGB값을 오차역전달 다층 신경회로망에 의한 학습을 통하여 변환시킨 국제조명위원회의 L*a*b*값을 이용하는 것을 특징으로 하는 소고기 등급 자동판정 방법.
- 청구항 14에 있어서,상기 지방두께판정이, 상기 판정영역에 대하여 삼각법을 실시해서 상기 판정영역 내의 가장 긴 직선을 찾고, 상기 판정영역 외측의 지방부분에 상기 직선에 수직한 법선을 그어 상기 법선의 길이를 지방부분의 두께로 이용하는 방법으로 이루어지는 것을 특징으로 하는 소고기 등급 자동판정 방법.
- 조명과 CCD카메라를 포함하는 영상획득장치;상기 영상획득장치에서 획득한 영상을 분석하여 등급을 판정하는 분석기와 상기 영상 및 분석결과를 표시하는 모니터를 포함하는 등급판정장치; 및상기 영상 데이터 및 상기 분석결과 데이터를 저장하는 데이터저장부를 포함하고,상기 분석기가,상기 영상을 이치화하여 살코기 영역을 분리하는 영역분리단계;상기 살코기 영역의 경계선을 추출하는 경계추출단계;상기 경계추출단계에서 추출된 경계선을 부드럽게 다듬는 경계유연화단계;상기 경계유연화단계를 거친 경계선에 포함된 오목한 부분과 볼록한 부분을 수정하는 경계수정단계;상기 경계수정단계에서 수정된 경계선의 내부 영역을 등급 판정의 대상인 판정영역으로 확정하는 판정영역확정단계; 및상기 등급판정영역 영상의 크기와 색상을 분석하여 소고기의 등급을 판정하는 등급판정단계를 실시하여 소고기 등급을 판정하며,상기 경계유연화단계는, 경계선 위의 픽셀들 중에서 곡선 생성법을 적용할 픽셀들을 선택하고, 선택된 픽셀들 사이의 관계를 이용한 곡선 생성법을 적용하여 이루어지며,상기 곡선 생성법을 적용할 픽셀들을 선택하는 방법이,경계선 위에 있는 픽셀들 중에 하나의 픽셀을 시작픽셀로 선택하여 위치정보를 저장하고, 상기 시작픽셀에서 경계선을 따라 일정한 픽셀 수(X)만큼 떨어진 종료픽셀을 찾는 제1단계;상기 시작픽셀과 상기 종료픽셀 사이의 직선거리가 갖는 픽셀의 수(Y)를 상기 시작픽셀과 상기 종료픽셀 사이의 경계선이 갖는 픽셀의 수(X)로 나눈 값(z)과 특정한 값(Z)을 비교하는 제2단계;제2단계에서 z가 Z보다 크면 상기 종료픽셀의 위치정보를 저장하고 상기 종료픽셀을 새로운 시작픽셀로 선택하여 제1단계로 돌아가며, 제2단계에서 z가 Z보다 작으면 상기 시작픽셀에서 경계선을 따라서 상기 종료픽셀보다 작은 픽셀 수(W)만큼 떨어진 중간픽셀을 찾아 위치정보를 저장하고 상기 중간픽셀을 새로운 시작픽셀로 선택하여 제1단계로 돌아가는 제3단계를 포함하여 이루어지는 것을 특징으로 하는 소고기 등급 자동판정 시스템.
- 청구항 19에 있어서,상기 모니터가, 터치패드인 것을 특징으로 하는 소고기 등급 자동판정 시스템.
- 청구항 19항에 있어서,상기 데이터저장부가, 전산망에 연결된 것을 특징으로 하는 소고기 등급 자동판정 시스템.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090069662A KR101065219B1 (ko) | 2009-07-29 | 2009-07-29 | 소고기 등급 자동판정 방법 및 그 시스템 |
US12/657,648 US8351655B2 (en) | 2009-07-29 | 2010-01-25 | Method and system for automatically grading beef quality |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090069662A KR101065219B1 (ko) | 2009-07-29 | 2009-07-29 | 소고기 등급 자동판정 방법 및 그 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110012103A KR20110012103A (ko) | 2011-02-09 |
KR101065219B1 true KR101065219B1 (ko) | 2011-09-19 |
Family
ID=43772071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090069662A KR101065219B1 (ko) | 2009-07-29 | 2009-07-29 | 소고기 등급 자동판정 방법 및 그 시스템 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8351655B2 (ko) |
KR (1) | KR101065219B1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102242011B1 (ko) | 2020-02-07 | 2021-04-20 | 부산대학교 산학협력단 | 딥러닝 기반의 축산물 이미지 등급 분류 장치 |
KR20220088087A (ko) | 2020-12-18 | 2022-06-27 | 대한민국(농촌진흥청장) | 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템 및 이를 이용한 등급판정방법, 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체 |
KR102505771B1 (ko) * | 2022-10-07 | 2023-03-02 | 김창구 | 인공지능 기반 육류 관리 방법 및 장치 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101594666B1 (ko) * | 2014-02-14 | 2016-02-16 | 경상대학교산학협력단 | 삼겹살 품질 등급 판별 장치 및 그 등급 판별 방법 |
US20160203591A1 (en) * | 2015-01-09 | 2016-07-14 | Umm Al-Qura University | System and process for monitoring the quality of food in a refrigerator |
US11013490B2 (en) * | 2016-11-15 | 2021-05-25 | Musclesound, Inc. | Non-invasive determination of muscle tissue size |
US11096658B2 (en) | 2017-02-02 | 2021-08-24 | Musclesound, Inc. | Non-invasive determination of pennation angle and/or fascicle length |
US11160493B2 (en) | 2017-03-03 | 2021-11-02 | Musclesound, Inc. | System and method for determining a subject's muscle fuel level, muscle fuel rating, and muscle energy status |
KR102020259B1 (ko) * | 2017-08-23 | 2019-09-10 | 고려대학교 산학협력단 | 삼겹살 품질 예측 장치 및 방법 |
US10863724B2 (en) * | 2018-12-11 | 2020-12-15 | Animal Health Analytics, Inc | System and method for tracking and scoring animal health and meat quality |
KR102624783B1 (ko) * | 2019-02-28 | 2024-01-12 | 중앙대학교 산학협력단 | 머신러닝 기반 진위 판별 방법 및 장치 |
US11497221B2 (en) | 2019-07-19 | 2022-11-15 | Walmart Apollo, Llc | Systems and methods for managing meat cut quality |
CN110555384A (zh) * | 2019-07-31 | 2019-12-10 | 四川省草原科学研究院 | 基于图像数据的牛肉大理石纹自动分级系统及方法 |
JP6732271B1 (ja) * | 2019-10-26 | 2020-07-29 | Assest株式会社 | 肉質判別プログラム及びシステム |
KR102380289B1 (ko) * | 2019-12-12 | 2022-03-29 | 대한민국 | 소고기 등급 판정 장치 및 방법 |
US20230316481A1 (en) * | 2020-07-06 | 2023-10-05 | MatrixSpec Solutions Inc. | System, method and device for meat marbling assessment |
CN115984232B (zh) * | 2023-01-12 | 2023-11-10 | 大连工业大学 | 一种基于双目视觉系统的分割猪肉断面脂肪最大厚度检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008039610A (ja) * | 2006-08-07 | 2008-02-21 | Gifu Prefecture | 食肉のしもふり状態の数値化方法、食肉のしもふり状態の数値化装置、及びプログラム |
KR20090049487A (ko) * | 2007-11-13 | 2009-05-18 | 성균관대학교산학협력단 | 닭도체의 품질등급 자동 판정 및 중량 산출시스템 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5793879A (en) * | 1992-04-13 | 1998-08-11 | Meat Research Corporation | Image analysis for meat |
US5339815A (en) * | 1992-12-22 | 1994-08-23 | Cornell Research Foundation, Inc. | Methods and apparatus for analyzing an ultrasonic image of an animal or carcass |
US5960105A (en) * | 1993-05-03 | 1999-09-28 | Kansas State University Research Foundation | Measurement of intramuscular fat in cattle |
AU722769B2 (en) * | 1996-08-23 | 2000-08-10 | Her Majesty The Queen In Right Of Canada As Represented By The Department Of Agriculture And Agri-Food Canada | Method and apparatus for using image analysis to determine meat and carcass characteristics |
US6751364B2 (en) * | 2001-10-15 | 2004-06-15 | Tyson Fresh Meats, Inc. | Image analysis systems for grading of meat, predicting quality of meat and/or predicting meat yield of an animal carcass |
-
2009
- 2009-07-29 KR KR1020090069662A patent/KR101065219B1/ko active IP Right Grant
-
2010
- 2010-01-25 US US12/657,648 patent/US8351655B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008039610A (ja) * | 2006-08-07 | 2008-02-21 | Gifu Prefecture | 食肉のしもふり状態の数値化方法、食肉のしもふり状態の数値化装置、及びプログラム |
KR20090049487A (ko) * | 2007-11-13 | 2009-05-18 | 성균관대학교산학협력단 | 닭도체의 품질등급 자동 판정 및 중량 산출시스템 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102242011B1 (ko) | 2020-02-07 | 2021-04-20 | 부산대학교 산학협력단 | 딥러닝 기반의 축산물 이미지 등급 분류 장치 |
KR20220088087A (ko) | 2020-12-18 | 2022-06-27 | 대한민국(농촌진흥청장) | 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템 및 이를 이용한 등급판정방법, 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체 |
KR102505771B1 (ko) * | 2022-10-07 | 2023-03-02 | 김창구 | 인공지능 기반 육류 관리 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
US20110110563A1 (en) | 2011-05-12 |
KR20110012103A (ko) | 2011-02-09 |
US8351655B2 (en) | 2013-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101065219B1 (ko) | 소고기 등급 자동판정 방법 및 그 시스템 | |
Ma et al. | Image retargeting quality assessment: A study of subjective scores and objective metrics | |
KR101719088B1 (ko) | 영역 분할 방법 및 검사 장치 | |
US20200096454A1 (en) | Defect detection system for aircraft component and defect detection method for aircraft component | |
TW201302154A (zh) | 決定皮膚發炎分數之裝置及方法 | |
US8265398B2 (en) | Image analysis system and image analysis program | |
JP5852919B2 (ja) | ひび割れ検出方法 | |
JP2010121992A (ja) | ひび割れ検出方法 | |
CN103852034B (zh) | 一种电梯导轨垂直度检测方法 | |
Jeliński et al. | Inspection of the distribution and amount of ingredients in pasteurized cheese by computer vision | |
JP5705711B2 (ja) | ひび割れ検出方法 | |
JP4506409B2 (ja) | 領域分割方法及び装置、画像認識処理装置、プログラム、記録媒体 | |
Liu et al. | A new quality assessment and improvement system for print media | |
CN114881987A (zh) | 基于改进YOLOv5的热压导光板缺陷可视化检测方法 | |
JP2010008159A (ja) | 外観検査処理方法 | |
CN117274405A (zh) | 基于机器视觉的led灯工作颜色检测方法 | |
CN112927215A (zh) | 一种消化道活检病理切片自动分析方法 | |
Hu et al. | Jpeg ringing artifact visibility evaluation | |
US6845178B1 (en) | Automatic separation of subject pixels using segmentation based on multiple planes of measurement data | |
Patuano | Measuring naturalness and complexity using the fractal dimensions of landscape photographs | |
CN104764402A (zh) | 柑橘体积的视觉检测方法 | |
EP3148172A1 (en) | Method for color grading of a digital visual content, and corresponding electronic device, computer readable program product and computer readable storage medium | |
CN115861156A (zh) | 缺陷检测方法、装置、计算机设备和存储介质 | |
CN113284198A (zh) | 图像自动配色方法及装置 | |
CN115132328B (zh) | 信息可视化方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20140617 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20150703 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20170303 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20180309 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20181226 Year of fee payment: 8 |