KR101065219B1 - 소고기 등급 자동판정 방법 및 그 시스템 - Google Patents

소고기 등급 자동판정 방법 및 그 시스템 Download PDF

Info

Publication number
KR101065219B1
KR101065219B1 KR1020090069662A KR20090069662A KR101065219B1 KR 101065219 B1 KR101065219 B1 KR 101065219B1 KR 1020090069662 A KR1020090069662 A KR 1020090069662A KR 20090069662 A KR20090069662 A KR 20090069662A KR 101065219 B1 KR101065219 B1 KR 101065219B1
Authority
KR
South Korea
Prior art keywords
boundary
pixels
determination
pixel
boundary line
Prior art date
Application number
KR1020090069662A
Other languages
English (en)
Other versions
KR20110012103A (ko
Inventor
황헌
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020090069662A priority Critical patent/KR101065219B1/ko
Priority to US12/657,648 priority patent/US8351655B2/en
Publication of KR20110012103A publication Critical patent/KR20110012103A/ko
Application granted granted Critical
Publication of KR101065219B1 publication Critical patent/KR101065219B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02Food
    • G01N33/12Meat; Fish
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Food Science & Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 디지털 영상을 분석하여 자동으로 소고기 등급을 판정하는 방법 및 시스템에 관한 것이다.
본 발명의 소고기 등급 자동판정 방법은, CCD카메라를 이용하여 소고기의 칼라 영상을 획득하는 영상획득단계; 상기 영상에서 살코기 영역을 분리하는 영역분리단계; 상기 살코기 영역의 경계선을 추출하는 경계추출단계; 상기 경계추출단계에서 추출된 경계선을 부드럽게 다듬는 경계유연화단계; 상기 경계유연화단계를 거친 경계선에 포함된 오목한 부분과 볼록한 부분을 수정하는 경계수정단계; 상기 경계수정단계에서 수정된 경계선을 중심으로 등급을 판정할 영역을 확정하는 판정영역확정단계; 및 상기 등급판정영역의 영상을 통해서 소고기의 등급을 판정하는 등급판정단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 전문등급판정사가 추출하는 판정영역 경계선과 거의 유사한 경계선을 추출함으로써 소고기의 등급을 자동으로 판정할 수 있는 효과가 있다.
소고기, 한우, 비프, 등급판정

Description

소고기 등급 자동판정 방법 및 그 시스템{THE AUTOMATIC GRADING METHOD OF BEEF QUALITY AND THE SYSTEM THEREOF}
본 발명은 소고기의 등급을 판정하는 방법 및 그 시스템에 관한 것이며, 더욱 자세하게는 디지털 영상을 분석하여 자동으로 소고기 등급을 판정하는 방법 및 시스템에 관한 것이다.
일반적으로 소고기는 도축 직후에 등급을 분류하여 등급에 따라 다른 가격으로 판매가 이루어진다. 소고기의 등급은 육질 및 육량 등급을 통하여 판정되며, 판정의 방법은 전문등급판정사의 육안에 의하고 있다.
그러나 육안에 의한 판정은 등급판정을 위한 등급판정항목별로 정량화된 데이터의 축적이 어렵기 때문에, 등급판정 결과에 대한 객관성을 확보하지 못하는 문제가 있다. 또한 등급 판정에 소요되는 시간이 매우 길고, 경험이 중요하여 전문등급판정사의 양성이 어렵다는 단점이 있다.
이러한 문제를 해결하기 위하여, 영상분석을 통하여 자동으로 등급을 분류하는 기술에 대한 연구가 계속되고 있으며, 디지털 영상기술의 발전과 함께 관심이 더욱 높아지고 있다. 그러나 소고기의 단면은 살코기와 지방이 혼재되어 있고 이 들 사이의 분리가 명확하지 않기 때문에, 종래의 기술들에 의하여 추출된 판정영역의 경계선은 전문등급판정사가 추출한 경계선과 큰 차이를 보이고 있다.
따라서 전문등급판정사가 추출하는 경계선과 유사한 판정대상영역을 도출하는 새로운 방법을 발명하는 것이 자동판정의 첫 조건으로서 매우 중요하다.
본 발명은 상기 문제점을 해결하기 위하여 발명된 것으로서, 전문등급판정사가 추출하는 경계선과 거의 유사한 경계선으로 판정영역을 확정한 뒤에 영상분석을 통해 자동으로 소고기의 등급을 판정하는 방법과 시스템을 제공하는 것이 목적이다.
상기 목적을 달성하기 위한 본 발명의 소고기 등급 자동판정 방법은, CCD카메라를 이용하여 소고기의 칼라 영상을 획득하는 영상획득단계; 상기 영상에서 살코기 영역을 분리하는 영역분리단계; 상기 살코기 영역의 경계선을 추출하는 경계추출단계; 상기 경계추출단계에서 추출된 경계선을 부드럽게 다듬는 경계유연화단계; 상기 경계유연화단계를 거친 경계선에 포함된 오목한 부분과 볼록한 부분을 수정하는 경계수정단계; 상기 경계수정단계에서 수정된 경계선을 중심으로 등급을 판정할 영역을 확정하는 판정영역확정단계; 및 상기 등급판정영역의 영상을 통해서 소고기의 등급을 판정하는 등급판정단계를 포함하는 것을 특징으로 한다.
경계유연화단계는 경계선 위의 픽셀들 중에서 선택된 픽셀들 사이의 관계를 이용한 곡선 생성법을 적용하여 이루어지며, 픽셀들을 선택하는 방법이 경계선이 복잡한 부분에서는 픽셀 사이의 거리가 가깝게 선택하고, 경계선이 완만한 부분에서는 픽셀사이의 거리가 멀게 선택하는 것을 특징으로 한다.
그리고 경계유연화단계에서 픽셀들을 선택하는 방법은 경계선 위에 있는 픽 셀들 중에 시작픽셀 선택하여 위치정보를 저장하고, 시작픽셀에서 경계선을 따라 일정한 픽셀 수(X)만큼 떨어진 종료픽셀을 찾는 제1단계; 시작픽셀과 종료픽셀 사이에 위치하는 경계선의 복잡한 정도를 판단하는 제2단계; 및 제2단계에서 판단된 경계선이 복잡하지 않은 경우 종료픽셀의 위치정보를 저장하고 종료픽셀을 새로운 시작픽셀로 선택하여 제1단계로 돌아가며, 제2단계에서 판단된 경계선이 복잡한 경우 시작픽셀에서 경계선을 따라서 종료픽셀보다 작은 픽셀 수(W)만큼 떨어진 중간픽셀을 찾아 위치정보를 저장하고 중간픽셀을 새로운 시작픽셀로 선택하여 제1단계로 돌아가는 제3단계를 포함하여 이루어진다. 그리고 제2단계에서 경계선의 복잡한 정도를 판단하는 방법은 시작픽셀과 종료픽셀 사이의 직선거리가 갖는 픽셀의 수(Y)를 시작픽셀과 종료픽셀 사이의 경계선이 갖는 픽셀의 수(X)로 나눈 값(z)과 특정한 값(Z)을 비교하여 이루어지며, 이때 W=5, X=20이고 Z=0.8이다.
경계수정단계는 경계선을 따라 이동하면서 각 픽셀의 기울기를 비교하여 돌출부분 픽셀을 찾는 단계; 돌출부분 픽셀들 중 인접하는 돌출부분 픽셀 사이에 위치하는 경계선의 수정여부를 판단하는 단계; 및 수정여부를 판단하는 단계에서 수정하는 것으로 결정된 경우, 곡선 생성법을 적용하여 경계선을 수정하는 단계를 포함한다.
이때, 경계선의 수정여부를 판단하는 단계는 인접하는 돌출부분 픽셀 사이에 경계선을 따라서 존재하는 픽셀의 수(I)를 인접하는 돌출부분 픽셀사이의 직선거리 픽셀 수(J)로 나눈 값(k)을 특정 값(K)과 비교하여, 이보다 작은 경우에는 경계선을 유지하는 것으로 판단하고, 큰 경우에는 경계선을 수정하는 것으로 판단하며, K=1.8이다.
또한, 곡선 생성법을 적용하여 경계선을 수정하는 단계는 인접하는 돌출부분 픽셀과 인접하는 돌출부분 픽셀로부터 바깥방향으로 경계선을 따라 30픽셀만큼 떨어진 두 개의 픽셀을 이용하여 곡선 생성법을 적용한다.
영역분리단계는 최적의 문턱값을 산출하여 살코기 영역만을 표시하는 이치화과정으로 이루어지며, 최적의 문턱값을 산출하는 방법은 녹색밴드 영상의 명도분포를 통하여 그레이레벨을 분석하는 단계; 녹색밴드 영상의 그레이레벨이 25미만인 영역과 150초과인 영역을 제외한 뒤에, 남겨진 범위의 그레이레벨을 반으로 감축하는 단계; 각 그레이레벨에 대한 확률밀도함수와 살코기 영역의 확률밀도함수의 합 및 지방 영역의 확률밀도함수의 합을 이용해 살코기 영역의 확률분포 및 지방 영역의 확률분포를 구하는 단계; 살코기 영역의 확률분포 및 지방 영역의 확률분포를
Figure 112009046687914-pat00001
차원의 레니 엔트로피에 적용하는 단계; 살코기 영역에 대한 레니 엔트로피와 지방 영역에 대한 레니 엔트로피의 합이 최대가 되는 그레이레벨을 구하는 단계; 및
Figure 112009046687914-pat00002
의 범위에 따라서 서로 별개인 세 개의 값을 갖는 레니 엔트로피의 합이 최대가 되는 그레이레벨을 이용해서 최적의 문턱값을 산출하는 단계를 포함한다.
판정영역확정단계는 사용자가 확정된 판정영역을 확인하고 경계선을 수정하는 대화식의 쌍방향 확인과정을 포함한다.
경계추출단계는 경계선을 추출할 살코기 영역을 라벨링하는 라벨링과정, 라벨링된 영역의 내부에 남은 빈공간을 채우는 확장과정, 확장과정으로 과장되어 표현된 부분을 정리하는 침식과정 및 침식과정까지 거쳐 확정된 살코기 영역의 경계 선을 추출하는 자동경계추출과정을 포함하여 이루어진다.
등급판정단계는 살코기부분의 넓이를 확인하는 크기판정, 소고기의 마블링 상태를 확인하는 근내지방도판정, 살코기와 지방의 색을 확인하는 색상판정 및 등 지방의 두께를 확인하는 지방두께판정 중에서 적어도 하나 이상의 판정을 포함한다.
크기판정은 상기 확정영역의 픽셀 수를 넓이로 환산하여 이루어진다.
근내지방도판정은 적색 밴드의 영상을 이용하여 135를 기준으로 하여 이진화를 실시하고, 동시발생 매트릭스에서 선택되어진 네 개의 경로를 수평경로마스크로 하여 성분차이모멘트, 엔트로피, 균일성 및 면적비의 네가지 조직지수를 구하여 등급을 판단한다.
색상판정은 RGB로 표현된 영상의 출력값으로부터 산출된 평균 RGB값을 오차역전달 다층 신경회로망에 의한 학습을 통하여 변환시킨 국제조명위원회의 L*a*b*값을 이용한다.
두께판정은 상기 판정영역에 대하여 삼각법을 실시해서 판정영역 내의 가장 긴 직선을 찾고, 직선을 중심으로 두께측정의 대상이 되는 지방부분을 선택한 뒤에 선택된 지방부분에 이 직선에 수직한 법선을 그어서 법선의 길이를 측정하는 방법으로 이루어진다.
또한 상기 목적을 달성하기 위한 본 발명의 소고기 등급 자동판정 시스템은, 조명과 CCD카메라를 포함하는 영상획득장치; 상기 영상획득장치에서 획득한 영상을 분석하여 등급을 판정하는 분석기와 상기 영상 및 분석결과를 표시하는 모니터를 포함하는 등급판정장치; 및 상기 영상 데이터 및 상기 분석결과 데이터를 저장하는 데이터저장부를 포함하는 것을 특징으로 한다.
이때 모니터는 터치패드를 사용하고, 데이터저장부는 전산망에 연결된 것이 좋다.
본 발명에 따르면, 전문등급판정사가 추출하는 판정영역 경계선과 거의 유사한 경계선을 추출함으로써 소고기의 등급을 자동으로 판정할 수 있는 효과가 있다.
그리고 판정영역을 확정하는 단계에서 사용자에게 대화식의 쌍방향 확인과정을 제공하여 판정결과의 정확도를 높일 수 있으며, 사용자가 직접적으로 수정에 참여할 수도 있다.
또한 본 발명에 따르면 영상 데이터와 판정결과 데이터가 전산화 되어 데이터저장부에 저장되기 때문에, 영상 데이터와 판정결과 데이터를 데이터베이스화 할 수 있다. 데이터베이스는 등급판정항목별 측정치까지 표시된 판정결과를 언제라도 다시 확인할 수 있어 등급 판정의 객관성이 보장되며, 축산농가의 육질 개선에 필요한 기반자료로 활용될 수 있다. 나아가 최근에 실시되고 있는 소고기 이력제에 본 실시예의 소고기 등급판정 데이터를 접목하면 소고기를 판매하거나 구입하는 과정에서도 유용한 자료로 활용될 수 있다.
특히, 데이터저장부를 전산망에 연결함으로써, 인터넷 등을 통하여 전국 어디서나 본 발명을 통하여 소고기 등급을 판정한 분석결과 데이터를 확인할 수 있는 뛰어난 효과가 있다.
본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.
도 1은 본 발명의 실시예에 따른 소고기 등급 자동판정 방법을 나타내는 흐름도이다.
본 실시예는 영상획득단계(S10), 영역분리단계(S20), 경계추출단계(S30), 경계유연화단계(S40), 경계수정단계(S50), 판정영역확정단계(S60) 및 등급판정단계(S70)를 포함하여 이루어진다.
영상획득단계(S10)는 판정의 대상이 되는 소고기의 단면을 촬영하여 영상을 얻는 단계이다. 일반적으로 등급판정단계에서 사용되는 단면은 13번 갈비뼈의 단면이다. 촬영되는 영상은 디지털 분석이 가능하도록 CCD카메라를 이용하여 촬영된 칼라영상이다. 소고기 등급 판정에는 소고기의 색상이 매우 중요하고, 촬영된 영상은 조명에 의하여 색상에 차이가 생길 수 있으므로, LED를 이용한 조명을 사용하는 것이 좋다. 특히,촬영하고자 하는 소고기의 단면으로 쉽게 이동할 수 있는 영상획득장치를 LED조명과 CCD카메라를 결합하여 제작함으로써, 동일한 조명조건을 갖는 소고기 영상을 획득할 수 있다.
도 2는 LED조명과 CCD카메라를 결합하여 제작한 영상획득장치를 나타내는 도면이다.
영역분리단계(S20)는 획득된 영상에서 살코기 영역을 분리하는 단계이다. 판정의 대상이 되는 소고기는 외부는 지방이 둘러싸고 있으며, 살코기는 지방의 안 쪽에 위치한다. 그러나 사람이 먹게 되는 부위는 외부의 지방을 제거한 내부의 살코기부분이며, 등급판정의 대상이 되는 부분도 살코기부분이다. 따라서 등급판정의 대상이 되는 판정영역의 확정의 첫 과정으로 살코기가 있는 부분을 지방 및 배경 부분과 분리하여야 한다.
영역분리단계(S20)는 살코기에 해당하는 부분만이 흰색으로 표시되도록 하는 이치화 방법으로 이루어진다. CCD 카메라로 촬영된 영상은 적색, 녹색, 청색의 3가지 영상으로 분류가 가능한 RGB포맷을 가지며, 이러한 컬러 영상의 이치화 방법은 256단계로 구분되는 그레이레벨 히스토그램을 이용한 다양한 방법이 개발되어왔다.
도 3은 CCD 카메라로 촬영된 영상의 RGB 채널 영상을 나타내는 도면이다. a는 적색밴드의 영상이고, b는 녹색밴드의 영상이며, c는 청색밴드의 영상이다.
종래에는 적색, 녹색, 청색의 영상들에 대하여 임의로 정하여진 문턱값을 기준으로 살코기와 지방의 영역을 분리하는 방법을 사용하였다. 그러나 이 경우 임의로 정해진 문턱값이 모든 영상에 적합하지 않으며, 각각의 영상에 대하여 별개의 문턱값을 찾아야 하는 문제가 있었다.
이러한 문제를 해결하기 위하여 엔트로피적 방법을 이용한 이치화에 대한 연구가 지속적으로 이루어지고 있다. 대표적인 방법으로는 레니 엔트로피법(Rㅹnyi entropy method), 최대 엔트로피법(maximum entropy method), 최대 엔트로피 합계법(maximum entropy sum method), 최소 엔트로피법(minimum entropy method), Tsallis 방법 및 엔트로피 상관법(entropic correlation method) 등이 있다. 그러 나 이러한 엔트로피적 방법으로 찾아낸 문턱값들도 만족할 만한 결과를 나타내지 는 못하고 있으며, 나아가 엔트로피적 방법은 연산시간이 매우 오래 걸리는 단점이 있다.
본 실시예는 연산시간을 줄이기 위하여, 적합한 하나의 영상만을 이용하며, 종래의 엔트로피적 방법들의 장점을 반영한 새로운 최적의 문턱값을 이용한다.
본 실시예에서는 영상의 이치화를 위하여, 먼저 히스토그램에 기초한 구분에서 가장 적합한 녹색밴드 영상만을 사용해서 명도분포를 분석한다.
이 분석에 의하여 그레이레벨이 25 미만인 영역은 배경으로 판단하여 제외하고, 그레이레벨이 150을 초과하는 영역은 지방으로 결정하여 제외한다. 그리고 두 값 사이에 위치하는 126단계의 그레이레벨을 63단계로 줄이는 과정을 거친다. 본 실시예는 엔트로피적 방법을 적용하는 그레이레벨의 단계를 감축함으로써, 연산시간을 크게 감소시킬 수 있다. 또한 약 60단계의 그레이레벨을 엔트로피적 방법에 적용하여도 지방과 살코기를 정확하게 구분할 수 있다.
이러한 과정을 통하여 (i,j)픽셀이 갖는 그레이레벨(I(i,j))의 감축변환된 그레이레벨(J(i,j))을 구하는 수식은 다음과 같다.
Figure 112009046687914-pat00003
여기서 r1은 배경영역으로 확정된 25이고, r2는 지방영역으로 확정된 150이 다. 그리고 r1과 r2는 각각
Figure 112009046687914-pat00004
Figure 112009046687914-pat00005
로 변환된다.
각 그레이레벨에 대한 확률밀도함수인
Figure 112009046687914-pat00006
와 살코기 영역의 확률밀도함수의 합(p(A1)) 및 지방 영역의 확률밀도함수의 합(p(A2))을 이용해 살코기 영역의 확률분포(A1) 및 지방 영역의 확률분포(A2)를 구하면 다음과 같다.
Figure 112009046687914-pat00007
Figure 112009046687914-pat00008
여기서,
Figure 112009046687914-pat00009
이며,
Figure 112009046687914-pat00010
이다. 그리고 i는 그레이레벨이며, t는 살코기와 지방이 구분되는 문턱값이다.
한편, 영상에 대한
Figure 112009046687914-pat00011
차원의 레니 엔트로피는 다음의 수식으로 정의된다.
Figure 112009046687914-pat00012
여기서
Figure 112009046687914-pat00013
(≠1)는 양의 실매개변수이다. 앞에서 구한 살코기와 지방부분의 확률분포를 레니 엔트로피에 적용하면 다음과 같다.
Figure 112009046687914-pat00014
여기에서
Figure 112009046687914-pat00015
가 최대가 되는 그레이레벨인
Figure 112009046687914-pat00016
은 다음의 식으로 표현된다.
Figure 112009046687914-pat00017
Figure 112009046687914-pat00018
여기서
Figure 112009046687914-pat00019
,
Figure 112009046687914-pat00020
Figure 112009046687914-pat00021
은 서로 별개의 값이다.
Figure 112009046687914-pat00022
가 1로 접근할 때의 그레이레벨 값인
Figure 112009046687914-pat00023
은 최대 엔트로피 합계법의 최적 문턱값과 동일하고,
Figure 112009046687914-pat00024
가 1보다 클 때의 그레이레벨 값인
Figure 112009046687914-pat00025
은 엔트로피 상관법의 최적 문턱값과 동일하다. 그리고 그레이레벨
Figure 112009046687914-pat00026
Figure 112009046687914-pat00027
가 0.5일 때의 레니 엔트로피법의 문턱값이다.
이를 이용하여 본 실시예에 따른 최적의 문턱값(
Figure 112009046687914-pat00028
)은 다음의 수식으로 표시된다.
Figure 112009046687914-pat00029
여기서
Figure 112009046687914-pat00030
이고,
Figure 112009046687914-pat00031
이며,
Figure 112009046687914-pat00032
이상의 방법을 구하여진 최적의 문턱값을 적용하여 녹색밴드의 영상에 이치화를 실시한다.
도 4는 본 실시예의 방법으로 구해진 최적의 문턱값을 적용하여 녹색밴드의 영상을 이치화한 영상이다.
경계추출단계(S30)는 살코기영역의 경계선을 추출하는 단계이다. 이치화방법을 통하여 흰색으로 표시된 살코기영역의 경계선을 추출하는 과정으로서, 이치화된 영상에서 외곽선을 추출하는 방법은 매우 다양하며, 자동화된 방법들도 많다. 그러나 앞선 영역분리단계(S20)를 거친 영상은 살코기 내부에 위치하는 지방들이 비어 있으며 커다란 살코기를 나타내는 블럽 외에 자그마한 살코기들까지 표시를 하기 때문에, 곧바로 자동화된 외곽선 추출방법을 적용할 경우 판정영역 확정에 필요한 살코기영역의 경계선을 추출할 수 없다. 따라서 본 실시예에서는 라벨링과정(S31), 확장(dilation)과정(S32) 및 침식(erosion)과정(S33)을 거친 뒤에 자동경계추출과정(34)을 실시한다.
라벨링과정(S31)은 이치화된 영상에 블럽 라벨링(blob-labelling)을 실시하여 경계선을 추출할 살코기영역을 라벨링하는 과정이다. 블럽 라벨링은 각 픽셀에 8방향으로 연결된 픽셀에 대하여 실시하며, 주요한 살코기영역의 블럽만이 남고 내부에 지방이 많아서 사용되지 못할 살코기영역들은 제거된다.
도 5는 도 4의 영상을 라벨링하여 살코기영역의 블럽만을 남긴 영상이다.
확장과정(S32)은 라벨링과정을 거친 살코기영역 블럽의 내부에 위치하는 근내지방으로 인하여 비어있는 공간을 채우는 과정이다. 본 실시예에서는 5X5의 정사각형 마스크를 이용한 두 번의 확장과정을 통하여 살코기영역 블럽 내부를 채운다.
도 6 및 도 7은 도 5 영상의 블럽 내부를 확장과정을 통하여 채운 영상이다.
침식과정(S33)은 확장과정을 통하여 살코기영역 블럽이 과장된 효과를 감소시키는 단계이다. 본 실시예에서는 5X5의 정사각형 마스크를 이용하여 침식과정을 실시한다.
도 8은 도 도7의 영상에 대하여 침식과정을 실시한 영상이다.
자동경계추출과정(S34)은 확장과정 및 침식과정을 통해 다듬어진 살코기영역 블럽의 경계를 자동경계추출방법을 이용하여 추출하는 과정이다. 본 실시예에서는 8방향 체인코딩 방법을 이용하여 살코기영역 블럽의 경계를 추출한다다.
도 9는 도 8의 영상에 자동경계추출방법을 적용한 영상이다.
경계유연화단계(S40)는 살코기영역의 경계선을 부드럽게 다듬는 단계이다. 경계추출단계(S30)에 추출된 경계선은 픽셀단위로 추출되기 때문에, 매우 들쭉날쭉하여 전문등급판정사가 파악하는 경계선과 차이가 있다. 따라서 실제로 전문등급판정사가 파악하는 경계선과 유사하도록 경계선을 부드럽게 다듬어야만 한다.
도 10은 경계유연화단계를 거치기 전의 경계선을 나타내는 영상이다.
본 실시예에서 경계유연화단계(S40)는 경계선 중에서 특정의 픽셀들을 추출한 뒤에, 추출된 픽셀을 사이의 관계를 이용한 곡선 생성법을 적용하여 이루어진다.
곡선 생성을 위한 픽셀의 추출은, 경계선이 완만한 경우에는 픽셀사이의 거리가 멀게 추출하고, 경계선이 복잡하게 구부러진 경우에는 픽셀사이의 거리가 가깝게 추출하여야 한다. 따라서 먼저 경계선이 완만한 경우와 복잡한 경우를 구별 하여야 한다. 본 실시예에서는 경계선 위에 위치하는 두 픽셀 A와 B사이에 경계선을 따라서 존재하는 픽셀의 수(X)와 A와 B를 직선으로 연결한 경우에 사이에 존재하는 픽셀의 수(Y)를 비교하여 경계선이 복잡한 정도를 구분한다. 예를 들어, 경계선을 따라서 20픽셀 떨어진 두 픽셀 A와 B의 경우 X는 20이며, A와 B 사이의 경계선이 가장 완만한 경우인 직선의 관계에 있다면 Y도 20의 값을 갖으며, A와 B 사이의 경계선의 형상이 복잡해질수록 Y의 값은 작아진다. 따라서 Y를 X로 나눈 값으로 정의되는 z를 두 픽셀사이 경계선이 복잡한 정도를 나타내는 계수로 사용할 수 있으며, z가 미리 정해진 값(Z)보다 크면 완만한 선이고 그 보다 작으면 복잡한 선으로 구분할 수 있다. 이를 이용한 픽셀 추출과정을 설명하면 다음과 같다.
먼저 경계선 위의 시작픽셀 A를 선택하여 위치정보를 저장하고, 시작픽셀로부터 경계선을 따라 X만큼 떨어진 종료픽셀 B를 찾는다.
A와 B사이의 직선거리 Y를 X로 나누어 z를 산출하고, z를 미리 규정된 Z값과 비교한다.
z가 Z보다 크거나 같으면, B픽셀의 위치정보를 저장하고, B픽셀을 시작픽셀로 하여 위의 과정을 반복한다.
z가 Z보다 작으면, A에서 경계선을 따라서 W(<X)만큼 떨어진 중간픽셀 C의 위치정보를 저장하고, 중간픽셀 C를 시작픽셀로 하여 위의 과정을 반복한다.
이 과정에서 W, X 및 Z는 미리 정해놓은 값이며, 이들 값에 따라서 추출되는 픽셀이 변경된다. 본 실시예에서는 W=5, X=20 및 Z=0.8의 값을 이용한다.
상기한 과정에서 추출된 픽셀들의 위치정보를 이용하여 곡선 생성방법을 실 시하면, 유연화된 경계선을 얻을 수 있다. 본 실시예에서는 오버하우저(Overhauser) 곡선 생성방법을 사용한다.
도 11은 도 10의 경계선에 본 실시예의 경계유연화단계를 실시한 이후의 경계선을 나타내는 영상이다.
경계수정단계(S50)는 경계유연화단계(S40)에서 해소하지 못하는 경계선의 돌출부분 또는 오목부분을 수정하는 단계이다. 경계유연화단계(S40)는 작은 픽셀단위로 픽셀을 추출하여 곡선 생성방법을 적용하기 때문에, 이 단계를 거친 경우에도 지방에 의하여 오목하게 들어간 계곡부분이나 급격하게 돌출된 부분이 남게 된다.
도 12는 지방에 의하여 오목하게 들어간 계곡부분이 포함된 소고기에 대하여 살코기영역 경계선을 산출한 영상을 나타내며, 도 13은 도 12의 영상에 대하여 본 실시예의 경계유연화단계를 거친 경계선을 표시한 영상이다.
이러한 돌출부분 또는 오목부분들 중에는 도 12에 나타난 것과 같이 실제 절단작업에서 경계를 따라 절단할 수 없는 부분도 있으며, 전문등급판정사들은 이 부분들을 포함하여 판정영역을 설정하는 것이 일반적이다. 따라서 작은 크기의 오목부분이나 돌출부분을 수정하는 수정단계가 필요하다.
오목부분이나 돌출부분을 수정하기 위해서는, 먼저 오목부분이나 돌출부분을 판단하여야 한다. 이때 오목부분의 입구에는 돌출부분이 형성되기 때문에, 본 실시예에서는 먼저 경계선에서 돌출부분을 찾는다. 경계선을 따라서 이동하면서 각 픽셀이 갖는 기울기를 비교하여, 돌출부분 픽셀을 찾아낸다.
도 14는 오목부분을 포함하는 경계선에서 돌출부분을 찾아서 표시한 영상이 다.
다음으로 인접하는 돌출부분 픽셀사이의 경계를 수정할 것인지를 판단하는데, 이 판단의 기준은 인접하는 돌출부분 픽셀사이에 경계선을 따라서 존재하는 픽셀의 수(I)를 돌출부분 픽셀사이의 직선거리 픽셀 수(J)로 나눈 값(k)이다. k값이 정해진 값(K)보다 작은 경우에는 경계선을 유지하며, k값이 정해진 값(K)보다 큰 경우에는 인접하는 돌출부분 픽셀을 중심으로 경계선을 수정한다.
도 15는 K값에 따라 수정되는 경계선의 차이를 나타내는 영상이다. a는 촬영된 원본 사진을 나타내고, b는 K를 1.6으로 정한 경우에 수정된 경계선을 나타내고, c는 K를 1.8로 정한 경우에 수정된 경계선을 나타내고, d는 K를 2.1로 정한 경우에 수정된 경계선을 나타낸다. 이를 통하여 K값이 커질수록 경계선을 수정하는 경우가 줄어드는 것을 알 수 있다. 그리고 왼쪽 영상의 소고기에 위치하는 큰 오목부분은 경계선을 수정할 필요가 없는 부분이고, 오른쪽 영상의 소고기에 위치하는 작은 오목부분은 경계선을 수정할 필요가 있는 부분이므로, 가장 적절한 K의 값은 1.8인 것을 알 수 있다.
돌출부분 픽셀을 중심으로 경계선을 수정하는 방법은 곡선 생성방법, 특히 오버하우저 곡선 생성방법을 적용한다. 오버하우저 곡선 생성방법으로 경계선을 수정하기 위하여, 두 개의 인접한 돌출부분 픽셀(p2, p3)과 이 픽셀의 바깥쪽으로 정하여진 픽셀 수만큼 떨어진 경계선내의 픽셀 두개(p1, p4)를 추출한다. 본 실시예에서는 p2, p3 픽셀에서 30픽셀만큼 떨어진 픽셀을 p1과 p4로 추출한다. 이렇게 추출된 네 개의 픽셀(p1, p2, p3, p4)을 오버하우저 곡선 생성방법에 적용하여 돌 출부분 픽셀 사이의 경계선을 수정한다. 오버하우저 곡선(C(t))은 다음의 식을 통하여 생성된다.
Figure 112009046687914-pat00033
여기서,
Figure 112009046687914-pat00034
이며,
t는 p2에 대하여 0이고, p3에 대하여 1의 값을 갖는다.
도 16은 인접한 돌출부분 픽셀(p2, p3) 사이의 경계선을 오버하우저 곡선 생성방법으로 수정한 모습을 나타낸다.
이상의 과정을 거쳐 결정된 경계선이 얼마나 정확한지는 PLM(percent of lean-tissue match)로 나타낼 수 있다.
Figure 112009046687914-pat00035
여기서, D(i,j)는 전문등급판정사들에 의하여 추출된 바람직한 경계선으로 둘러싸인 영역을 나타내고, C(i,j)는 본 실시예에 의하여 추출된 경계선으로 둘러싸인 영역을 나타내며, PLM은 D(i,j)와 C(i,j)가 겹치는 정도를 나타낸다.
추출된 경계선의 오차 퍼센트(PE, percent error)는
Figure 112009046687914-pat00036
으로 계산된다. 다만, 이 값은 C(i,j)가 D(i,j)의 내부에 포함되는 경우에 오차값을 산출하지 못하는 단점이 있다.
따라서 두 결과 사이에 어긋남을 나타내는 AEPD(average error pixel distance)을 함께 적용하였다.
Figure 112009046687914-pat00037
여기서 XOR은 배타적 논리합(exclusive or)이며, 배경이나 경계선에서 어긋남이 있는 경우에 1의 결과를 나타내고, 배경과 경계선이 잘 맞는 경우에는 0의 결과를 나타낸다. 그리고 P(i,j)는 D(i,j)의 외곽선이다.
표 1은 본 실시예에 따라서 추출된 경계선의 정확도를 확인한 결과이다.
[표 1]
샘플 C(i,j) D(i,j) A(i,j) PE(%) AEPD
1 62,786 61,796 61,603 1.88 1.55
2 53,271 53,164 52,367 1.7 1.83
3 50,847 49,817 49,472 2.7 2.07
4 64,754 64,789 64,080 1.04 1.39
5 64,538 61,029 60,748 5.87 4.3
6 69,848 66,752 66,314 5.06 3.6
7 69,749 69,012 68,613 1.31 1.48
8 61,879 61,058 60,869 1.63 1.25
9 67,154 66,920 66,557 0.89 1.03
10 72,634 68,004 67,270 7.38 4.49
11 70,604 69,718 68,737 2.64 2.34
12 79,267 78,767 77,839 1.80 1.9
13 75,864 75,365 74,276 2.09 2.21
14 69,592 70,361 68,509 1.56 2.13
15 90,292 89,256 88,718 1.74 1.44
16 89,479 87,610 87,378 2.35 1.65
17 106,399 104,688 103,268 2.94 3.16
18 80,534 79,132 78,796 2.16 1.54
19 85,135 79,186 79,072 7.12 4.8
20 77,111 73,834 73,200 5.07 3.66
21 75,434 74,613 74,165 1.68 1.43
22 78,753 77,401 76,960 2.28 1.67
23 75,724 74,405 73,544 2.88 2.25
24 76,001 77,064 74,507 1.97 3.53
25 75,186 73,509 72,969 2.95 2.49
26 78,864 77,744 76,865 2.53 2.14
27 80,846 79,205 78,900 2.41 1.83
28 72,868 71,799 71,318 2.13 1.65
29 60,475 61,589 59,556 1.52 2.45
30 65,447 65,601 64,349 1.68 1.92
31 82,916 82,044 81,570 1.62 1.64
32 70,181 69,893 69,426 1.08 1.27
33 66,897 68,771 65,926 1.45 3.66
34 71,344 68,982 67,815 4.95 4.74
35 71,732 72,631 70,789 1.32 2.77
36 68,476 71,414 66,172 3.37 7.13
여기서,
Figure 112009046687914-pat00038
이고, D(i,j)와 C(i,j) 및 A(i,j)의 단위는 픽셀이다.
본 실시예에 따라서 추출된 경계선의 PE는 평균이 2.63이고 최대값은 7.38이며 최소값은 0.89로 나타났으며, AEPD는 평균이 2.51이고 최대값은 7.13이며 최소값은 1.03으로 나타났다.
이를 통하여 본 실시예에 따라 추출된 살코기영역의 경계선이 전문등급판정 사들에 의하여 추출된 바람직한 경계선과 매우 유사함을 알 수 있으며, 자동등급판정을 실시할 영역의 경계선으로 적용될 수 있음을 확인할 수 있다.
판정영역확정단계(S60)는 유연화 및 수정을 거친 경계선을 바탕으로 등급 판정의 대상이 되는 판정영역을 확정하는 단계이다. 이러한 판정영역의 확정은 판정시스템 내부에서 자동적으로 완료될 수도 있으나, 사용자가 직접 확정된 판정영역을 확인하는 과정을 거치는 것이 좋다. 특히 확인과정 중에서 사용자가 경계선을 수정할 수 있는 대화형의 쌍방향 확인과정을 마련하는 것이 좋으며, 이를 위하여 영상을 보여주는 모니터를 터치 패널로 제작함으로써 사용자가 모니터에 띄워진 영상에 직접 수정 지점을 입력하도록 할 수 있다. 이 때, 경계선을 수정하는 방법은 사용자가 터치 패널로 직접 수정된 경계선을 입력하거나, 수정이 필요한 부분을 점으로 입력한 뒤 오버하우저 곡선 생성방법을 적용한다.
등급판정단계(S70)는 확정된 판정영역을 기준으로 소고기의 등급을 판정하는 단계이다. 전문등급판정사들이 소고기의 등급을 판정하는 기준은 살코기부분의 크기, 근내지방의 분포정도, 지방과 고기의 색 및 등 지방의 두께를 종합적으로 고려한다.
살코기부분의 넓이를 확인하는 크기판정은 확정된 판정영역의 내에 위치하는 픽셀의 개수를 넓이로 환산하여 결정한다.
일반적으로 마블링(marbling)이라고 표현하는 근내지방의 분포정도를 판단하는 것이 근내지방도판정이다. 이을 위해서 살코기영역 영상에서 동시발생 매트릭스를 구한다. 살코기영역에 대한 영상의 RGB 채널 중 적색 밴드의 영상을 이용해 이진화를 실시한다. 그리고 수평경로마스크(horizontal path mask)는 동시발생 매트릭스에서 선택되어진 네 개의 경로를 선택한다. 이에 대하여 성분차이모멘트(EDM, element difference moment), 엔트로피(ENT), 균일성(UNF) 및 면적비(AR)의 네 가지 조직지수를 구한다. 네 가지 조직지수는 다음의 식으로 구해진다.
Figure 112009046687914-pat00039
Figure 112009046687914-pat00040
Figure 112009046687914-pat00041
Figure 112009046687914-pat00042
여기서 i와 j는 픽셀의 위치정보값이다.
도 17은 네 가지 조직지수에 따른 소고기의 등급을 나타내는 그래프이다. 이는 성분차이모멘트와 엔트로피 및 면적비 값은 작을수록 소고기의 등급이 높고, 균일성은 높을 수록 소고기의 등급이 높은 것을 반영한 것이다.
살코기와 지방의 색은 통해 소고기의 상태를 확인 하는 것이 색상판정이다. 색상판정은 살코기와 지방의 다양한 색상을 나타내는 샘플들과 영상에서 얻어진 색상을 비교하여 이루어진다. 그러나 영상에 얻어지는 RGB표색계는 조명 등의 영향으로 인하여 일정한 결과를 얻지 못하는 문제가 있다. RGB표색계가 갖는 이러한 문제가 없는 또 다른 표색계로서 국제조명위원회(CIE)의 L*a*b*표색계가 있다. L*a*b*값은 색차계를 이용하여 측정하는 것이 일반적이며, CCD카메라에서 촬영된 영상을 변환수식을 이용해서 L*a*b*값으로 변환하는 경우에 오차가 발생하는 문제가 있다. 따라서 본 실시예에서는 RGB로 표현된 컬러 카메라의 출력값으로부터 산출한 평균RGB값을 신경회로망에 의한 학습을 통하여 CIE L*a*b*값으로 변환하는 방법을 사용하며, 신경회로망으로는 오차역전달 다층 신경회로망을 사용한다.
살코기영역의 외부에 붙어있는 등 지방의 두께를 측정하여 소고기의 등급을 확인하는 것이 지방두께판정이다. 이를 위하여 먼저 확정된 경계선의 돌출부분을 꼭지점으로 하여 삼각법을 실시한 다음 돌출부분을 연결한 직선 중에 가장 긴 직선을 찾는다. 이렇게 선택된 직선을 이용하여, 살코기영역의 외부를 둘러싸고 있는 지방층 중에서 두께측정의 대상이 되는 등 지방 부분을 선택한다. 마지막으로 긴 직선에 수직한 법선을 등 지방에 그리고, 법선의 길이를 측정하여 등 지방의 두께 값으로 결정한다.
도 18 내지 도 20은 등 지방의 두께를 측정하는 과정을 나타내는 도면이다. 도 18은 판정영역에 대하여 삼각법을 실시한 모습이고, 도 19는 가장 긴 직선을 찾아 등 지방부분을 선택한 모습이며, 도 20은 법선을 이용해 등 지방의 두께를 측정하는 모습이다.
살코기부분의 크기, 근내지방의 분포정도, 지방과 고기의 색 및 등 지방의 두께에 대하여 평가된 등급들을 종합하여 소고기의 등급을 최종적으로 결정한다.
그리고 본 발명의 실시예에 따른 소고기 등급 자동판정 시스템은 영상획득장치, 등급판정장치 및 데이터저장부를 포함하여 구성된다.
영상획득장치는 소고기 단면의 영상을 촬영하는 장치로서, CCD카메라와 조명 으로 이루어진다. CCD 카메라는 소고기의 단면을 디지털 영상으로 저장할 수 있는 촬영장치이며, 조명은 CCD 카메라가 정확한 영상을 얻을 수 있도록 강한 빛을 비추는 장치이다. 도 2에 나타난 본 실시예의 영상획득장치는 화이트 LED 조명(20)을 CCD 카메라(10) 주변에 원형으로 부착하여 일체화하고, 그 외부에 스위치가 달린 손잡이를 부착하여 쉽게 소고기 단면의 영상을 촬영할 수 있도록 한다.
등급판정장치는 영상획득장치를 통하여 획득한 영상을 분석하여 등급을 판정하는 분석기 및 영상과 분석결과를 표시하는 모니터를 포함하여 구성된다.
분석기는 디지털 영상을 분석하여 판정영역을 확정하고 소고기의 등급을 판정하는 부분이며, 디지털 영상을 분석할 수 있는 처리부를 포함한다.
모니터는 영상획득장치에서 촬영한 영상과 영상을 분석한 결과를 사용자에게 표시하는 영상장비이다. 본 실시예에서는 사용자가 화면을 통하여 직접 입력이 가능한 터치패드 모니터를 사용하여 대화형의 쌍방향 시스템을 적용할 수 있도록 한다.
도 21은 본 실시예에 따른 소고기 등급 자동판정 시스템의 모니터에 표시되는 판정시작화면을 보여주는 도면이다. 판정시작화면에서 사용자가 영상에 표시된 경계선을 확인하고 시작버튼을 터치하여 분석기에서 등급 판정을 시작하도록 한다. 만약 영상에 표시된 경계선을 수정할 필요가 있는 경우, 경계수정 버튼을 터치하여 수정단계로 진행한다. 이때, 본 실시예는 터치패드를 적용했기 때문에, 사용자가 모니터에 표시된 영상에 직접 수정부분을 입력할 수 있는 장점이 있다.
도 22는 본 실시예에 따른 소고기 등급 자동판정 시스템의 모니터에 표시되 는 판정결과화면을 보여주는 도면이다. 판정결과 화면은 소고기 단면영상과 판정결과를 포함하고 있어 등급판정에 대한 모든 정보를 알 수 있다.
데이터저장부는 영상획득장치에서 촬영한 영상 데이터와 판정장치에서 분석한 경계선 정보를 포함하는 분석결과 데이터를 저장하는 부분이다. 본 실시예의 시스템은 처리과정이 전부 전산화 되어 있기 때문에, 영상 데이터와 분석결과 데이터를 모두 데이터저장부에 저장할 수 있다. 도 22에 도시된 것과 같은 결과화면을 데이터저장부에 저장하여 데이터베이스를 구축하면, 등급판정항목별 측정치까지 표시된 판정결과를 언제라도 다시 확인할 수 있어 등급 판정의 객관성이 보장되며, 축산농가의 육질 개선에 필요한 기반자료로 활용될 수 있다. 나아가 최근에 실시되고 있는 소고기 이력제에 본 실시예의 소고기 등급판정 데이터를 접목하면 소고기를 판매하거나 구입하는 과정에서도 유용한 자료로 활용될 수 있다.
특히, 본 실시예의 데이터저장부는 전산망에 연결되어있어, 인터넷 등을 통하여 전국 어디서나 본 실시예의 시스템을 통하여 소고기 등급을 판정한 분석결과 데이터를 확인할 수 있으므로 활용도가 더욱 높아진다.
이상에서는 본 발명을 특정의 바람직한 실시예에 대해서 도시하고 설명하였다. 그러나 본 발명은 상술한 실시예에만 국한되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어남이 없이 얼마든지 다양하게 변경 실시할 수 있을 것이다. 따라서 본 발명의 권리범위는 특정 실시예에 한정되는 것이 아니라, 첨부된 특허청구범위에 의해 정해지는 것으로 해석되어야 할 것이다.
도 1은 본 발명의 실시예에 따른 소고기 등급 자동판정 방법을 나타내는 흐름도이다.
도 2는 LED조명과 CCD카메라를 결합하여 제작한 영상획득장치를 나타내는 도면이다.
도 3은 CCD 카메라로 촬영된 영상의 RGB 채널 영상을 나타내는 도면이다.
도 4는 본 실시예의 방법으로 구해진 최적의 문턱값을 적용하여 녹색밴드의 영상을 이치화한 영상이다.
도 5는 도 4의 영상을 라벨링하여 살코기영역의 블럽만을 남긴 영상이다.
도 6 및 도 7은 도 5 영상의 블럽 내부를 확장과정을 통하여 채운 영상이다.
도 8은 도 도7의 영상에 대하여 침식과정을 실시한 영상이다.
도 9는 도 8의 영상에 자동경계추출방법을 적용한 영상이다.
도 10은 경계유연화단계를 거치기 전의 경계선을 나타내는 영상이다.
도 11은 도 10의 경계선에 본 실시예의 경계유연화단계를 실시한 이후의 경계선을 나타내는 영상이다.
도 12는 지방에 의하여 오목하게 들어간 계곡부분이 포함된 소고기에 대하여 살코기영역 경계선을 산출한 영상이다.
도 13은 도 12의 영상에 대하여 본 실시예의 경계유연화단계를 거친 경계선을 표시한 영상이다.
도 14는 오목부분을 포함하는 경계선에서 돌출부분을 찾아서 표시한 영상이 다.
도 15는 K값에 따라 수정되는 경계선의 차이를 나타내는 영상이다.
도 16은 인접한 돌출부분 픽셀(p2, p3) 사이의 경계선을 오버하우저 곡선 생성방법으로 수정한 모습을 나타낸다.
도 17은 네 가지 조직지수에 따른 소고기의 등급을 나타내는 그래프이다.
도 18 내지 도 20은 등 지방의 두께를 측정하는 과정을 나타내는 도면이다.
도 21은 본 실시예에 따른 소고기 등급 자동판정 시스템의 모니터에 표시되는 판정시작화면을 보여주는 도면이다.
도 22는 본 실시예에 따른 소고기 등급 자동판정 시스템의 모니터에 표시되는 판정결과화면을 보여주는 도면이다.
< 도면의 주요부분에 대한 부호의 설명 >
10: CCD 카메라 20: 조명

Claims (21)

  1. CCD카메라를 이용하여 소고기의 칼라 영상을 획득하는 영상획득단계;
    상기 영상을 이치화하여 살코기 영역을 분리하는 영역분리단계;
    상기 살코기 영역의 경계선을 추출하는 경계추출단계;
    상기 경계추출단계에서 추출된 경계선을 부드럽게 다듬는 경계유연화단계;
    상기 경계유연화단계를 거친 경계선에 포함된 오목한 부분과 볼록한 부분을 수정하는 경계수정단계;
    상기 경계수정단계에서 수정된 경계선의 내부 영역을 등급 판정의 대상인 판정영역으로 확정하는 판정영역확정단계; 및
    상기 등급판정영역 영상의 크기와 색상을 분석하여 소고기의 등급을 판정하는 등급판정단계를 포함하여 구성되며,
    상기 경계유연화단계는, 경계선 위의 픽셀들 중에서 곡선 생성법을 적용할 픽셀들을 선택하고, 선택된 픽셀들 사이의 관계를 이용한 곡선 생성법을 적용하여 이루어지며,
    상기 곡선 생성법을 적용할 픽셀들을 선택하는 방법이,
    경계선 위에 있는 픽셀들 중에 하나의 픽셀을 시작픽셀로 선택하여 위치정보를 저장하고, 상기 시작픽셀에서 경계선을 따라 일정한 픽셀 수(X)만큼 떨어진 종료픽셀을 찾는 제1단계;
    상기 시작픽셀과 상기 종료픽셀 사이의 직선거리가 갖는 픽셀의 수(Y)를 상기 시작픽셀과 상기 종료픽셀 사이의 경계선이 갖는 픽셀의 수(X)로 나눈 값(z)과 특정한 값(Z)을 비교하는 제2단계;
    제2단계에서 z가 Z보다 크면 상기 종료픽셀의 위치정보를 저장하고 상기 종료픽셀을 새로운 시작픽셀로 선택하여 제1단계로 돌아가며, 제2단계에서 z가 Z보다 작으면 상기 시작픽셀에서 경계선을 따라서 상기 종료픽셀보다 작은 픽셀 수(W)만큼 떨어진 중간픽셀을 찾아 위치정보를 저장하고 상기 중간픽셀을 새로운 시작픽셀로 선택하여 제1단계로 돌아가는 제3단계를 포함하여 이루어지는 것을 특징으로 하는 소고기 등급 자동판정 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 청구항 1에 있어서,
    W=5, X=20이고 Z=0.8인 것을 특징으로 하는 소고기 등급 자동판정 방법.
  6. 청구항 1에 있어서,
    상기 경계수정단계가,
    경계선을 따라 이동하면서 각 픽셀과 연접한 픽셀이 이루는 픽셀의 기울기를 연속적으로 비교하여 돌출부분 픽셀을 찾는 단계;
    상기 돌출부분 픽셀들 중 인접하는 돌출부분 픽셀 사이에 위치하는 경계선의 수정여부를 판단하는 단계; 및
    상기 수정여부를 판단하는 단계에서 수정하는 것으로 결정된 경우, 곡선 생성법을 적용하여 경계선을 수정하는 단계를 포함하며,
    상기 경계선의 수정여부를 판단하는 단계가, 상기 인접하는 돌출부분 픽셀 사이에 경계선을 따라서 존재하는 픽셀의 수(I)를 상기 인접하는 돌출부분 픽셀사이의 직선거리 픽셀 수(J)로 나눈 값(k)을 특정 값(K)과 비교하여, 이보다 작은 경우에는 경계선을 유지하는 것으로 판단하고, 큰 경우에는 경계선을 수정하는 것으로 판단하는 것을 특징으로 하는 소고기 등급 자동판정 방법.
  7. 삭제
  8. 청구항 6에 있어서,
    K=1.8인 것을 특징으로 하는 소고기 등급 자동판정 방법.
  9. 청구항 6에 있어서,
    상기 곡선 생성법을 적용하여 경계선을 수정하는 단계가, 상기 인접하는 돌출부분 픽셀(p2, p3) 및 상기 돌출부분 픽셀로부터 다른 돌출부분 픽셀에서 멀어지는 방향으로 경계선을 따라 각각 30픽셀만큼 떨어진 두 개의 픽셀(p1, p4)을 이용하여 곡선 생성법을 적용하는 것을 특징으로 하는 소고기 등급 자동판정 방법.
  10. 청구항 1에 있어서,
    상기 영역분리단계가, 최적의 문턱값을 산출하여 살코기 영역만을 표시하는 이치화과정으로 이루어지는 것을 특징으로 하는 소고기 등급 자동판정 방법.
  11. 청구항 10에 있어서,
    상기 이치화과정에서 최적의 문턱값을 산출하는 방법이,
    녹색밴드 영상의 명도분포를 통하여 그레이레벨을 분석하는 단계;
    상기 녹색밴드 영상의 그레이레벨이 25미만인 영역과 150초과인 영역을 제외한 뒤에, 남겨진 범위의 그레이레벨을 반으로 감축하는 단계;
    각 그레이레벨에 대한 확률밀도함수(
    Figure 112011014525081-pat00067
    )와 살코기 영역의 확률밀도함수의 합(p(A1)) 및 지방 영역의 확률밀도함수의 합(p(A2))을 이용해 살코기 영역의 확률분포(
    Figure 112011014525081-pat00068
    ) 및 지방 영역의 확률분포(
    Figure 112011014525081-pat00069
    )를 구하는 단계;
    상기 살코기 영역의 확률분포(A1) 및 지방 영역의 확률분포(A2)를
    Figure 112011014525081-pat00043
    차원의 레니 엔트로피(
    Figure 112011014525081-pat00070
    )에 적용하는 단계;
    살코기 영역에 대한 레니 엔트로피와 지방 영역에 대한 레니 엔트로피의 합이 최대가 되는 그레이레벨(
    Figure 112011014525081-pat00071
    )을 구하는 단계; 및
    Figure 112011014525081-pat00044
    의 범위(
    Figure 112011014525081-pat00072
    )에 따라서 서로 별개인 세 개의 값(
    Figure 112011014525081-pat00073
    )을 갖는 상기 레니 엔트로피의 합이 최대가 되는 그레이레벨을 이용해서 최적의 문턱값(
    Figure 112011014525081-pat00074
    )을 산출하는 단계를 포함하며,
    Figure 112011014525081-pat00075
    이고,
    Figure 112011014525081-pat00076
    이고,
    Figure 112011014525081-pat00077
    이며,
    Figure 112011014525081-pat00078
    인 것을 특징으로 하는 소고기 등급 자동판정 방법.
  12. 청구항 1에 있어서,
    상기 판정영역확정단계가, 사용자가 확정된 판정영역을 확인하고 경계선을 수정하는 대화식의 쌍방향 확인과정을 포함하는 것을 특징으로 하는 소고기 등급 자동판정 방법.
  13. 청구항 1에 있어서,
    상기 경계추출단계가, 이치화된 영상에 대하여 경계선을 추출할 살코기 영역을 라벨링하는 라벨링과정, 상기 라벨링된 영역의 내부에 남은 빈공간을 채우는 확장과정, 상기 확장과정으로 과장되어 표현된 부분을 정리하는 침식과정 및 상기 침식과정까지 거쳐 확정된 살코기 영역의 경계선을 추출하는 자동경계추출과정을 포함하여 이루어지는 것을 특징으로 하는 소고기 등급 자동판정 방법.
  14. 청구항 1에 있어서,
    상기 등급판정단계가, 살코기부분의 넓이를 확인하는 크기판정, 소고기의 마블링 상태를 확인하는 근내지방도판정, 살코기와 지방의 색을 확인하는 색상판정 및 등 지방의 두께를 확인하는 지방두께판정 중에서 적어도 하나 이상의 판정을 포함하는 것을 특징으로 하는 소고기 등급 자동판정 방법.
  15. 청구항 14에 있어서,
    상기 크기판정이, 상기 판정영역의 픽셀 수를 넓이로 환산하여 이루어지는 것을 특징으로 하는 소고기 등급 자동판정 방법.
  16. 청구항 14에 있어서,
    상기 근내지방도판정이, 적색 밴드의 영상을 이용하여 135를 기준으로 하여 이진화를 실시하고, 동시발생 매트릭스를 적용한 네 개의 경로를 수평경로마스크로 하여 성분차이모멘트(
    Figure 112011014525081-pat00079
    ), 엔트로피(
    Figure 112011014525081-pat00080
    ), 균일성(
    Figure 112011014525081-pat00081
    ) 및 면적비(
    Figure 112011014525081-pat00082
    )의 조직지수를 픽셀의 위치정보값 i와 j로 구하여 등급을 판단하는 것을 특징으로 하는 소고기 등급 자동판정 방법.
  17. 청구항 14에 있어서,
    상기 색상판정이, RGB로 표현된 영상의 출력값으로부터 산출된 평균 RGB값을 오차역전달 다층 신경회로망에 의한 학습을 통하여 변환시킨 국제조명위원회의 L*a*b*값을 이용하는 것을 특징으로 하는 소고기 등급 자동판정 방법.
  18. 청구항 14에 있어서,
    상기 지방두께판정이, 상기 판정영역에 대하여 삼각법을 실시해서 상기 판정영역 내의 가장 긴 직선을 찾고, 상기 판정영역 외측의 지방부분에 상기 직선에 수직한 법선을 그어 상기 법선의 길이를 지방부분의 두께로 이용하는 방법으로 이루어지는 것을 특징으로 하는 소고기 등급 자동판정 방법.
  19. 조명과 CCD카메라를 포함하는 영상획득장치;
    상기 영상획득장치에서 획득한 영상을 분석하여 등급을 판정하는 분석기와 상기 영상 및 분석결과를 표시하는 모니터를 포함하는 등급판정장치; 및
    상기 영상 데이터 및 상기 분석결과 데이터를 저장하는 데이터저장부를 포함하고,
    상기 분석기가,
    상기 영상을 이치화하여 살코기 영역을 분리하는 영역분리단계;
    상기 살코기 영역의 경계선을 추출하는 경계추출단계;
    상기 경계추출단계에서 추출된 경계선을 부드럽게 다듬는 경계유연화단계;
    상기 경계유연화단계를 거친 경계선에 포함된 오목한 부분과 볼록한 부분을 수정하는 경계수정단계;
    상기 경계수정단계에서 수정된 경계선의 내부 영역을 등급 판정의 대상인 판정영역으로 확정하는 판정영역확정단계; 및
    상기 등급판정영역 영상의 크기와 색상을 분석하여 소고기의 등급을 판정하는 등급판정단계를 실시하여 소고기 등급을 판정하며,
    상기 경계유연화단계는, 경계선 위의 픽셀들 중에서 곡선 생성법을 적용할 픽셀들을 선택하고, 선택된 픽셀들 사이의 관계를 이용한 곡선 생성법을 적용하여 이루어지며,
    상기 곡선 생성법을 적용할 픽셀들을 선택하는 방법이,
    경계선 위에 있는 픽셀들 중에 하나의 픽셀을 시작픽셀로 선택하여 위치정보를 저장하고, 상기 시작픽셀에서 경계선을 따라 일정한 픽셀 수(X)만큼 떨어진 종료픽셀을 찾는 제1단계;
    상기 시작픽셀과 상기 종료픽셀 사이의 직선거리가 갖는 픽셀의 수(Y)를 상기 시작픽셀과 상기 종료픽셀 사이의 경계선이 갖는 픽셀의 수(X)로 나눈 값(z)과 특정한 값(Z)을 비교하는 제2단계;
    제2단계에서 z가 Z보다 크면 상기 종료픽셀의 위치정보를 저장하고 상기 종료픽셀을 새로운 시작픽셀로 선택하여 제1단계로 돌아가며, 제2단계에서 z가 Z보다 작으면 상기 시작픽셀에서 경계선을 따라서 상기 종료픽셀보다 작은 픽셀 수(W)만큼 떨어진 중간픽셀을 찾아 위치정보를 저장하고 상기 중간픽셀을 새로운 시작픽셀로 선택하여 제1단계로 돌아가는 제3단계를 포함하여 이루어지는 것을 특징으로 하는 소고기 등급 자동판정 시스템.
  20. 청구항 19에 있어서,
    상기 모니터가, 터치패드인 것을 특징으로 하는 소고기 등급 자동판정 시스템.
  21. 청구항 19항에 있어서,
    상기 데이터저장부가, 전산망에 연결된 것을 특징으로 하는 소고기 등급 자동판정 시스템.
KR1020090069662A 2009-07-29 2009-07-29 소고기 등급 자동판정 방법 및 그 시스템 KR101065219B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090069662A KR101065219B1 (ko) 2009-07-29 2009-07-29 소고기 등급 자동판정 방법 및 그 시스템
US12/657,648 US8351655B2 (en) 2009-07-29 2010-01-25 Method and system for automatically grading beef quality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090069662A KR101065219B1 (ko) 2009-07-29 2009-07-29 소고기 등급 자동판정 방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20110012103A KR20110012103A (ko) 2011-02-09
KR101065219B1 true KR101065219B1 (ko) 2011-09-19

Family

ID=43772071

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090069662A KR101065219B1 (ko) 2009-07-29 2009-07-29 소고기 등급 자동판정 방법 및 그 시스템

Country Status (2)

Country Link
US (1) US8351655B2 (ko)
KR (1) KR101065219B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102242011B1 (ko) 2020-02-07 2021-04-20 부산대학교 산학협력단 딥러닝 기반의 축산물 이미지 등급 분류 장치
KR20220088087A (ko) 2020-12-18 2022-06-27 대한민국(농촌진흥청장) 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템 및 이를 이용한 등급판정방법, 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체
KR102505771B1 (ko) * 2022-10-07 2023-03-02 김창구 인공지능 기반 육류 관리 방법 및 장치

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101594666B1 (ko) * 2014-02-14 2016-02-16 경상대학교산학협력단 삼겹살 품질 등급 판별 장치 및 그 등급 판별 방법
US20160203591A1 (en) * 2015-01-09 2016-07-14 Umm Al-Qura University System and process for monitoring the quality of food in a refrigerator
US11013490B2 (en) * 2016-11-15 2021-05-25 Musclesound, Inc. Non-invasive determination of muscle tissue size
US11096658B2 (en) 2017-02-02 2021-08-24 Musclesound, Inc. Non-invasive determination of pennation angle and/or fascicle length
US11160493B2 (en) 2017-03-03 2021-11-02 Musclesound, Inc. System and method for determining a subject's muscle fuel level, muscle fuel rating, and muscle energy status
KR102020259B1 (ko) * 2017-08-23 2019-09-10 고려대학교 산학협력단 삼겹살 품질 예측 장치 및 방법
US10863724B2 (en) * 2018-12-11 2020-12-15 Animal Health Analytics, Inc System and method for tracking and scoring animal health and meat quality
KR102624783B1 (ko) * 2019-02-28 2024-01-12 중앙대학교 산학협력단 머신러닝 기반 진위 판별 방법 및 장치
US11497221B2 (en) 2019-07-19 2022-11-15 Walmart Apollo, Llc Systems and methods for managing meat cut quality
CN110555384A (zh) * 2019-07-31 2019-12-10 四川省草原科学研究院 基于图像数据的牛肉大理石纹自动分级系统及方法
JP6732271B1 (ja) * 2019-10-26 2020-07-29 Assest株式会社 肉質判別プログラム及びシステム
KR102380289B1 (ko) * 2019-12-12 2022-03-29 대한민국 소고기 등급 판정 장치 및 방법
US20230316481A1 (en) * 2020-07-06 2023-10-05 MatrixSpec Solutions Inc. System, method and device for meat marbling assessment
CN115984232B (zh) * 2023-01-12 2023-11-10 大连工业大学 一种基于双目视觉系统的分割猪肉断面脂肪最大厚度检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008039610A (ja) * 2006-08-07 2008-02-21 Gifu Prefecture 食肉のしもふり状態の数値化方法、食肉のしもふり状態の数値化装置、及びプログラム
KR20090049487A (ko) * 2007-11-13 2009-05-18 성균관대학교산학협력단 닭도체의 품질등급 자동 판정 및 중량 산출시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793879A (en) * 1992-04-13 1998-08-11 Meat Research Corporation Image analysis for meat
US5339815A (en) * 1992-12-22 1994-08-23 Cornell Research Foundation, Inc. Methods and apparatus for analyzing an ultrasonic image of an animal or carcass
US5960105A (en) * 1993-05-03 1999-09-28 Kansas State University Research Foundation Measurement of intramuscular fat in cattle
AU722769B2 (en) * 1996-08-23 2000-08-10 Her Majesty The Queen In Right Of Canada As Represented By The Department Of Agriculture And Agri-Food Canada Method and apparatus for using image analysis to determine meat and carcass characteristics
US6751364B2 (en) * 2001-10-15 2004-06-15 Tyson Fresh Meats, Inc. Image analysis systems for grading of meat, predicting quality of meat and/or predicting meat yield of an animal carcass

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008039610A (ja) * 2006-08-07 2008-02-21 Gifu Prefecture 食肉のしもふり状態の数値化方法、食肉のしもふり状態の数値化装置、及びプログラム
KR20090049487A (ko) * 2007-11-13 2009-05-18 성균관대학교산학협력단 닭도체의 품질등급 자동 판정 및 중량 산출시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102242011B1 (ko) 2020-02-07 2021-04-20 부산대학교 산학협력단 딥러닝 기반의 축산물 이미지 등급 분류 장치
KR20220088087A (ko) 2020-12-18 2022-06-27 대한민국(농촌진흥청장) 소도체의 배최장근단면 영상정보를 이용한 자동 품질등급판정시스템 및 이를 이용한 등급판정방법, 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체
KR102505771B1 (ko) * 2022-10-07 2023-03-02 김창구 인공지능 기반 육류 관리 방법 및 장치

Also Published As

Publication number Publication date
US20110110563A1 (en) 2011-05-12
KR20110012103A (ko) 2011-02-09
US8351655B2 (en) 2013-01-08

Similar Documents

Publication Publication Date Title
KR101065219B1 (ko) 소고기 등급 자동판정 방법 및 그 시스템
Ma et al. Image retargeting quality assessment: A study of subjective scores and objective metrics
KR101719088B1 (ko) 영역 분할 방법 및 검사 장치
US20200096454A1 (en) Defect detection system for aircraft component and defect detection method for aircraft component
TW201302154A (zh) 決定皮膚發炎分數之裝置及方法
US8265398B2 (en) Image analysis system and image analysis program
JP5852919B2 (ja) ひび割れ検出方法
JP2010121992A (ja) ひび割れ検出方法
CN103852034B (zh) 一种电梯导轨垂直度检测方法
Jeliński et al. Inspection of the distribution and amount of ingredients in pasteurized cheese by computer vision
JP5705711B2 (ja) ひび割れ検出方法
JP4506409B2 (ja) 領域分割方法及び装置、画像認識処理装置、プログラム、記録媒体
Liu et al. A new quality assessment and improvement system for print media
CN114881987A (zh) 基于改进YOLOv5的热压导光板缺陷可视化检测方法
JP2010008159A (ja) 外観検査処理方法
CN117274405A (zh) 基于机器视觉的led灯工作颜色检测方法
CN112927215A (zh) 一种消化道活检病理切片自动分析方法
Hu et al. Jpeg ringing artifact visibility evaluation
US6845178B1 (en) Automatic separation of subject pixels using segmentation based on multiple planes of measurement data
Patuano Measuring naturalness and complexity using the fractal dimensions of landscape photographs
CN104764402A (zh) 柑橘体积的视觉检测方法
EP3148172A1 (en) Method for color grading of a digital visual content, and corresponding electronic device, computer readable program product and computer readable storage medium
CN115861156A (zh) 缺陷检测方法、装置、计算机设备和存储介质
CN113284198A (zh) 图像自动配色方法及装置
CN115132328B (zh) 信息可视化方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140617

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150703

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170303

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180309

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 8