KR20170056716A - 결함 검출 시스템 및 결함 검출 방법 - Google Patents
결함 검출 시스템 및 결함 검출 방법 Download PDFInfo
- Publication number
- KR20170056716A KR20170056716A KR1020150155721A KR20150155721A KR20170056716A KR 20170056716 A KR20170056716 A KR 20170056716A KR 1020150155721 A KR1020150155721 A KR 1020150155721A KR 20150155721 A KR20150155721 A KR 20150155721A KR 20170056716 A KR20170056716 A KR 20170056716A
- Authority
- KR
- South Korea
- Prior art keywords
- defect
- fruit
- external
- image
- wavelength
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 224
- 238000000034 method Methods 0.000 title claims description 19
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 92
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 238000005096 rolling process Methods 0.000 claims abstract description 30
- 238000005259 measurement Methods 0.000 claims abstract description 11
- 238000012546 transfer Methods 0.000 claims abstract description 10
- 238000010219 correlation analysis Methods 0.000 claims description 15
- 238000001228 spectrum Methods 0.000 claims description 15
- 230000002950 deficient Effects 0.000 claims description 14
- 238000000540 analysis of variance Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 9
- 239000006185 dispersion Substances 0.000 claims description 7
- 238000002604 ultrasonography Methods 0.000 claims description 7
- 238000012285 ultrasound imaging Methods 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 4
- 238000004497 NIR spectroscopy Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000000701 chemical imaging Methods 0.000 abstract 1
- 241000220225 Malus Species 0.000 description 16
- 235000021016 apples Nutrition 0.000 description 11
- 208000034656 Contusions Diseases 0.000 description 7
- 208000034526 bruise Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 206010039509 Scab Diseases 0.000 description 4
- 238000004040 coloring Methods 0.000 description 4
- 238000005336 cracking Methods 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 206010052428 Wound Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012864 cross contamination Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G13/00—Roller-ways
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/52—Devices for transferring articles or materials between conveyors i.e. discharging or feeding devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/02—Food
- G01N33/025—Fruits or vegetables
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
- B65G2201/02—Articles
- B65G2201/0202—Agricultural and processed food products
- B65G2201/0211—Fruits and vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Mechanical Engineering (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Food Science & Technology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Medicinal Chemistry (AREA)
- Textile Engineering (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
본 발명은 과일의 결함 검출 시스템의 결함 검출 방법에 관한 것으로, 본 발명의 일 특징에 따른 결함 검출 시스템은, 투입된 과일을 회전시키면서 이송하기 위한 롤러 형태의 굴림 장치, 굴림 장치에 의해 회전되는 과일의 전체 표면의 측정을 통해 과일의 외부결함을 검출하기 위한 외부결함 검출부, 굴림 장치에 의해 회전되면서 이송되는 과일을 선별컵으로 전송하기 위한 전송부, 및 선별컵에 안착된 과일의 내부 결함 및 품질을 측정하기 위한 내부품질 측정부를 포함한다. 외부결함 검출부는 결함 유형별 최적 파장에 대한 초분광 영상, 비 영상 및 차 영상 등을 이용하여 외부 결함을 검출한다. 이와 같이, 과일의 전체 표면을 스캔하기 위한 굴림 장치와 초분광 영상 기술을 적용함으로써, 과일에 대한 결함 검출의 신뢰성 및 농업 생산성을 향상시킬 수 있다.
Description
본 발명은 결함 검출 시스템 및 결함 검출 방법에 관한 것으로, 특히 사과 등의 과일 내외부에 발생된 결함을 검출하기 위한 결함 검출 시스템 및 결함 검출 방법에 관한 것이다.
사과 등의 과일 표면에 결함이 있는 결점과에 대한 선별 작업은 작업자가 한 개씩 육안으로 판별하여 제거하고 있어 노동력이 과다하게 투입되며, 작업자의 주관적인 판단에 의해 결함을 검출하기 때문에 검출의 신뢰도 및 검출 정확도가 떨어지는 문제가 있다. 따라서, 결함이 발생된 사과 등의 과일에 대한 결함을 검출할 수 있는 자동화 시스템에 대한 요구가 높은 실정이다.
또한, 작업자가 미처 발견하지 못한 결함이 있는 과일이 유통될 경우에는 교차 오염을 통해 다른 정상적인 과일의 품질에도 영향을 주게 되고, 소비자에게 전달시에는 상품에 대한 불만이 증가할 수 있어 이를 사전에 배제할 수 있는 기술 개발이 필요한 실정이다.
종래에, 육안 검사를 대신하여 일반 칼라 카메라 또는 CCD 카메라 등의 기계 시각을 이용하여 과일의 한쪽면에 대한 결함을 검출한 사례가 있으나, 측면 또는 뒷면 등 카메라가 인식하지 못한 부분에 존재하는 결함의 검출이 어려워 이를 개선할 수 있는 결함 검출 기술에 대한 개발이 요구된다.
따라서, 본 발명은 이와 같은 문제점을 감안한 것으로써, 본 발명은 굴림 장치를 통해 과일을 회전시키면서 초분광 영상 카메라를 통해 전체 표면을 측정하는 방식으로 과일의 결함을 검출하여 결함 검출의 신뢰성과 농업 생산성을 향상시킬 수 있는 결함 검출 시스템 및 결함 검출 방법을 제공한다.
본 발명의 일 특징에 따른 결함 검출 시스템은, 투입된 과일을 회전시키면서 이송하기 위한 롤러 형태의 굴림 장치, 상기 굴림 장치에 의해 회전되는 과일의 전체 표면의 측정을 통해 과일의 외부결함을 검출하기 위한 외부결함 검출부, 상기 굴림 장치에 의해 회전되면서 이송되는 과일을 선별컵으로 전송하기 위한 전송부, 및 상기 선별컵에 안착된 과일의 내부 결함 및 품질을 측정하기 위한 내부품질 측정부를 포함한다.
상기 외부결함 검출부는 상기 굴림 장치에 의해 회전되는 과일의 표면을 촬영하기 위한 가시광선 및 근적외선(vosible and near-infrared : VNIR) 초분광 영상 카메라를 포함한다.
상기 외부결함 검출부는 상기 VNIR 초분광 영상 카메라의 측정을 통해 획득한 반사 스펙트럼 및 특정 파장대역에서의 초분광 영상을 이용하여 과일의 외부 결함을 검출할 수 있다.
상기 외부결함 검출부는 결합 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 이용하여 적어도 하나의 결함 유형별 최적 파장을 선정하고, 선정된 상기 결함 유형별 최적 파장에 대한 단일 파장 영상, 복수의 상기 단일 파장 영상들에 대한 차 영상, 및 복수의 상기 단일 파장 영상들에 대한 비 영상 중 적어도 하나의 영상을 이용하여 외부 결함을 검출할 수 있다.
상기 외부결함 검출부는, 결함 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 각각 입력변수로 하는 분산분석 및 상관분석 중 적어도 하나의 분석을 통해 상기 결함 유형별 최적 파장을 선정할 수 있다.
상기 내부품질 측정부는 근적외선 분광센서를 포함한다.
본 발명의 일 특징에 따른 결함 검출 방법은, 롤러 형태의 굴림 장치를 통해 회전되면서 이송되는 과일에 대해 VNIR 초분광 영상 카메라로 과일의 전체 표면을 측정하여 과일의 외부결함을 검출하는 단계, 상기 외부결함의 검출 후, 상기 굴림 장치에 의해 회전되면서 이송되는 과일을 선별컵으로 전송하는 단계, 및 상기 선별컵에 안착된 과일에 대해 근적외선 분광 센서를 이용하여 과일의 내부 결함 및 품질을 측정하는 단계를 포함한다.
상기 과일의 외부결함을 검출하는 단계는, 결함 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 이용하여 적어도 하나의 결함 유형별 최적 파장을 선정하는 단계, 및 선정된 상기 결함 유형별 최적 파장에 대한 단일 파장 영상, 복수의 상기 단일 파장 영상들에 대한 차 영상, 및 복수의 상기 단일 파장 영상들에 대한 비 영상 중 적어도 하나의 영상을 이용하여 외부결함을 검출하는 단계를 포함할 수 있다.
상기 결함 유형별 최적 파장을 선정하는 단계는, 결함 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 각각 입력변수로 하는 분산분석 및 상관분석 중 적어도 하나의 분석을 통해 적어도 하나의 상기 결함 유형별 최적 파장을 선정할 수 있다.
상기 외부결함을 검출하는 단계는, 상기 단일 파장 영상을 특정 임계값을 기준으로 재구성한 이치화 영상으로 변환하여 외부결함을 검출할 수 있다.
상기 결함 유형별 최적 파장은, 열과 결함의 경우 710nm, 병해 결함의 경우 715nm, 착색 불량의 경우 561nm, 상처 결함의 경우 720nm, 멍 결함의 경우 940nm로 선정될 수 있다.
상기 외부결함을 검출하는 단계는, 상기 분산분석 및 상관분석을 통해 2개 이상의 상기 결함 유형별 최적 파장을 선정하고, 선정된 상기 2개 이상의 결함 유형별 최적 파장들에 대한 차 영상 및 비 영상 중 적어도 하나의 영상을 특정 임계값을 기준으로 재구성한 이치화 영상으로 변환하여 외부결함을 검출할 수 있다.
상기 결함 유형별 최적 파장은, 열과 결함의 경우 792nm와 806nm, 병해 결함의 경우 720nm와 964nm, 착색 불량의 경우 403nm와 528nm, 상처 결함의 경우 739nm와 998nm, 멍 결함의 경우 749nm와 753nm로 선정될 수 있다.
본 발명의 결함 검출 시스템 및 결함 검출 방법에 따르면, 굴림 장치를 통해 과일을 회전시키면서 VNIR 초분광 영상 카메라를 통해 전체 표면을 측정함과 동시에, 결함 유형별로 선정된 최적 파장에 대한 단일 파장 영상, 이들의 비 영상 및 차 영상을 이용하여 과일의 외부결함을 검출함으로써, 결함 검출의 신뢰성과 농업 생산성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 결함 검출 시스템을 나타낸 구성도이다.
도 2는 본 발명의 일 실시예에 따른 외부결함 검출용 알고리즘을 이용한 외부결함 검출 방법을 나타낸 흐름도이다.
도 3은 사과에 대한 VNIR 파장대역에서의 결함 유형별 분산분석 결과를 나타낸 그래프이다.
도 4는 사과에 대한 VNIR 파장대역에서의 결함 유형별 상관분석 결과를 나타낸 그래프이다.
도 5는 결함 유형별 최적 파장에 대한 단일 파장 영상을 이치화시킨 이치화 영상을 나타낸 도면이다.
도 6은 사과에 대한 VNIR 파장대역에서의 결함 유형별 분산분석 결과를 나타낸 그래프이다.
도 7는 결함 유형별 비 영상을 이치화시킨 이치화 영상을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 외부결함 검출용 알고리즘을 이용한 외부결함 검출 방법을 나타낸 흐름도이다.
도 3은 사과에 대한 VNIR 파장대역에서의 결함 유형별 분산분석 결과를 나타낸 그래프이다.
도 4는 사과에 대한 VNIR 파장대역에서의 결함 유형별 상관분석 결과를 나타낸 그래프이다.
도 5는 결함 유형별 최적 파장에 대한 단일 파장 영상을 이치화시킨 이치화 영상을 나타낸 도면이다.
도 6은 사과에 대한 VNIR 파장대역에서의 결함 유형별 분산분석 결과를 나타낸 그래프이다.
도 7는 결함 유형별 비 영상을 이치화시킨 이치화 영상을 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하 도면을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 결함 검출 시스템을 나타낸 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 결함 검출 시스템은, 굴림 장치(100), 외부결함 검출부(200), 전송부(300) 및 내부품질 측정부(400)를 포함한다.
굴림 장치(100)는 결함 검출 장치로 투입되는 사과 등의 과일을 외부결함 검출부(200)로 이송시킴과 동시에, 외부결함 검출부(200)에서 과일의 전체 표면을 스캔할 수 있도록 과일을 회전시키면서 이송시킨다. 이를 위해, 굴림 장치(100)는 롤러 형태로 형성된다.
굴림 장치(100)는 과일의 전표면 영상을 획측하기 위하여 투입된 과일을 정렬하고 임의의 방향으로 회전시키기 위한 회전 롤러 컨베이어 형태로 형성된다. 굴림 장치(100)는 회전속도가 다른 2개의 서보 모터와, 서보 모터에 의해 회전되는 다수의 롤러와, 롤러들을 연결해주는 체인 등으로 구성되며, 회전 속도가 다른 2개의 롤러를 이용하여 과일을 회전시킬 수 있다.
외부결함 검출부(200)는 굴림 장치(100)에 의해 회전되면서 이송되는 과일의 전체 표면의 측정을 통해 과일의 외부결함을 검출한다. 외부결함 검출부(200)는 굴림 장치(100)에 의해 회전되는 과일의 표면을 촬영하기 위하여, 과일로 광을 조사하는 조명장치(210)와, 과일에서 반사되는 광을 통해 영상을 촬영하는 가시광선 및 근적외선(visible and near-infrared : VNIR) 초분광 영상 카메라(220)를 포함한다.
외부결함 검출부(200)는 상기 VNIR 초분광 영상 카메라(220)의 측정을 통해 획득한 반사 스펙트럼 및 특정 파장대역에서의 초분광 영상을 이용하여 열과, 병해, 상처, 착색불량, 멍 등에 대한 과일의 외부 결함을 검출한다. 일 실시예로, 외부결함 검출부(200)는 결합 유형별로 추출된 복수의 과일 시료들의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 이용하여 적어도 하나의 결함 유형별 최적 파장을 미리 선정하고, 과일의 결함 검출을 진행함에 있어 상기 선정된 결함 유형별 최적 파장에 대한 초분광 영상을 이용하여 과일의 외부 결함을 검출한다. 상기 결함 유형별 최적 파장을 선정하는 과정과 이를 통해 과일의 외부 결함을 검출하는 방법은 후술하기로 한다.
전송부(300)는 외부결함 검출부(200)를 지나 굴림 장치(100)에 의해 회전되면서 이송되는 과일을 후단의 과일 선별 시스템과 연계하기 위하여 컵선별기 방식의 선별컵 또는 프리트레이 방식의 선별컵에 이동시키기 위해 과일을 전송하는 장치를 포함한다. 예를 들어, 전송부(300)는 집게형 전송장치(310)를 통해 굴림 장치(100)에 의해 이송되는 과일을 집어 들어 선별컵에 올려 놓는다.
내부품질 측정부(400)는 선별컵에 안착되어 이송되는 과일의 내부 결함 및 품질을 측정한다. 내부품질 측정부(400)는 과일의 내부 품질을 측정하기 위하여 광원(410) 및 근적외선 분광센서(420)를 포함한다. 내부품질 측정부(400)는 근적외선 분광센서(420)의 측정을 통해 밀병, 갈변 등의 내부 결함과, 당도 등의 내부 품질을 측정한다.
상술한 구성을 갖는 결함 검출 시스템을 이용한 결함 검출 방법을 살펴 보면, 롤러 형태의 굴림 장치(100)를 통해 회전되면서 이송되는 과일에 대해 VNIR 초분광 영상 카메라(220)로 과일의 전체 표면을 측정하여 열과, 병해, 상처, 착색불량, 멍 등의 외부 결함을 검출한다. 외부결함의 검출 후, 상기 굴림 장치(100)에 의해 회전되면서 이송되는 과일을 전송부(300)를 통해 선별컵으로 전송한다. 이후, 선별컵에 안착된 과일에 대해 근적외선 분광센서(420)를 이용하여 밀병, 갈변 등의 내부 결함 및 당도 등의 품질을 측정한다. 이후, 외부결함 검출부(200) 및 내부품질 측정부(400)에 의해 측정된 내외부 결함 및 품질 측정 결과를 바탕으로 과일을 등급별로 구분하여 배출부(500)로 선별 배출한다.
한편, 본 발명의 일 실시예에 따른 외부결함 검출부(200)는 과일의 외부 결함을 검출하기 위한 전용 알로리즘을 통해 자동으로 유형별 결함을 검출한다.
도 2는 본 발명의 일 실시예에 따른 외부결함 검출용 알고리즘을 이용한 외부결함 검출 방법을 나타낸 흐름도이다.
도 2를 참조하면, 과일의 외부결함을 검출하기 위하여, 우선 결함 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 이용하여 적어도 하나의 결함 유형별 최적 파장을 선정한다(S100).
구체적으로, 사과와 같은 과일의 외부 결함은 열과(cracking), 병해(scab), 상처(cuts), 착색불량(coloring disorder), 멍(bruise) 등의 유형으로 구분되므로, 각 결함 유형별로 복수의 과일 시료를 추출한다.
이후, 결함 유형별로 추출된 과일 시료를 VNIR 초분광 영상 카메라(220)를 통해 측정하여 과일 시료의 정상 부위 및 결함 부위에 대한 각각의 반사 스펙트럼 데이터를 획득한다.
이후, 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 각각 입력 변수로 하는 분산분석(ANOVA : Analysis of variance) 및 상관분석(CR : Correlation analysis) 중 적어도 하나의 분석을 통해 적어도 하나의 결함 유형별 최적 파장을 선정한다. 여기서, 분산분석(ANOVA)은 두 개 이상 집단들의 평균을 비교하는 일반적인 통계분석 기법이고, 상관분석(CR)은 변수간의 밀접한 정도 즉 상관관계를 분석하는 일반적인 통계분석 기법이므로, 이에 대한 상세한 설명은 생략하기로 한다.
도 3은 사과에 대한 VNIR 파장대역에서의 결함 유형별 분산분석 결과를 나타낸 그래프이다.
도 3을 참조하면, VNIR 파장대역에서 사과의 정상 부위 및 결함 부위에 대해서 결함 유형별로 분산분석을 실시한 결과로부터, 각각의 결함 유형별로 F-값이 가장 큰 파장을 최적 파장으로 선정할 수 있다.
사과에 대한 결함 유형별 최적 파장은, 도 3에 도시된 바와 같이, 열과(cracking) 결함의 경우 710nm, 병해(scab) 결함의 경우 715nm, 착색 불량(coloring disorder)의 경우 561nm, 상처(cuts) 결함의 경우 720nm, 멍(bruise) 결함의 경우 940nm로 선정된다.
도 4는 사과에 대한 VNIR 파장대역에서의 결함 유형별 상관분석 결과를 나타낸 그래프이다.
도 4를 참조하면, VNIR 파장대역에서 사과의 정상 부위 및 결함 부위에 대해서 결함 유형별로 상관분석을 실시한 결과로부터, 각각의 결함 유형별로 R-값이 가장 큰 파장을 최적 파장으로 선정할 수 있다. 도 4에 도시된 상관분석 결과는 도 3에 도시된 분산분석의 결과와 동일한 결과가 나오는 것을 확인할 수 있다.
상기한 방법에 의해 결함 유형별 최적 파장을 선정한 후, 선정된 결함 유형별 최적 파장에 대한 단일 파장 영상을 추출한다(S200). 즉, 선정된 결함 유형별 최적 파장을 저장한 상태에서, 실질적으로 검사하고자 하는 과일을 초분광 영상 카메라(220)로 측정하여 초분광 영상을 획득하고, 획득된 초분광 영상 중 상기 결함 유형별 최적 파장에 대응되는 단일 파장 영상을 추출한다.
이후, 상기 단일 파장 영상을 특정 임계값을 기준으로 재구성한 이치화 영상(Binary image)으로 변환하고, 이를 통해 외부 결함을 검출한다(S400). 상기 임계값은 다수의 실험을 통해 획득하여 미리 설정된 값으로, 결함 유형별로 서로 동일하거나, 서로 다른 값으로 설정될 수 있다. 또한, 상기 이치화 영상은 상기 단일 파장 영상에 대해 상기 임계값을 기준으로 0과 1로 이치화된 영상이다. 상기 이치화 영상을 통해 결함 부위의 크기, 모양 등을 고려하여 결함을 검출하게 된다.
도 5는 결함 유형별 최적 파장에 대한 단일 파장 영상을 이치화시킨 이치화 영상을 나타낸 도면이다.
도 5를 참조하면, 결함 유형별 최적 파장을 적용하여 추출된 단일 파장 영상을 이치화한 결과, 열과(Cracking), 착색불량(Color disorder), 상처(Cuts) 등의 결함에 대해서는 100%의 결함 검출율을 보이며, 병해(Scab) 결함은 약 86.7%, 멍(Bruise) 결함은 약 6.7%로 다소 저조한 검출율을 보이는 것을 확인할 수 있다.
이처럼, 결함 유형별 최적 파장에 대응되는 하나의 단일 파장 영상을 통해 과일의 외부 결함을 검출함으로써, 결함을 신속하게 검출하고, 검출 시스템의 단순화를 도모할 수 있다.
한편, 단일 파장 영상을 통한 결함 검출에 대한 정확도를 더욱 높이기 위하여, 차 영상 및 비 영상을 이용하는 방법을 적용할 수 있다.
이를 위해, 상기한 결함 유형별 최적 파장을 선정하는 과정에서, 분산분석 및 상관분석을 통해 2개 이상의 결함 유형별 최적 파장을 선정하고, 선정된 2개 이상의 결함 유형별 최적 파장에 대한 비 영상 및 차 영상을 산출한다(S300).
도 6은 사과에 대한 VNIR 파장대역에서의 결함 유형별 분산분석 결과를 나타낸 그래프이다.
도 6을 참조하면, VNIR 파장대역에서 사과의 정상 부위 및 결함 부위에 대해서 결함 유형별로 분산분석을 실시한 결과는 등고선 그래프(contour) 형태로 나타나며, 그래프 중 분산계수(F) 값이 큰 파장일수록 붉은색으로 표현되고 관련성이 작은 파장일수록 파란색으로 표현된다. 이를 통해, 불량 유형별로 분산계수(F)가 가장 큰 지점으로부터 2개의 최적 파장을 선정할 수 있다.
사과에 대하여 분산분석을 통해 선정된 2개의 결함 유형별 최적 파장은, 도 6에 도시된 바와 같이, 열과 결함의 경우 792nm와 806nm, 병해 결함의 경우 720nm와 964nm, 착색 불량의 경우 403nm와 528nm, 상처 결함의 경우 739nm와 998nm, 멍 결함의 경우 749nm와 753nm로 선정된다.
상기한 방법에 의해 결함 유형별로 각각 2개의 최적 파장을 선정한 후, 선정된 2개의 결함 유형별 최적 파장에 대한 단일 파장 영상들을 이용하여 상기 단일 파장 영상들의 비 영상 및 차 영상을 산출한다(S300). 여기서, 상기 비 영상은 2개의 최적 파장에 각각 대응되는 2개의 초분광 영상의 데이터값을 서로 나누는 방식으로 산출한 영상을 의미하며, 상기 차 영상은 2개의 최적 파장에 각각 대응되는 2개의 초분광 영상의 데이터값을 서로 빼는 방식으로 산출한 영상을 의미한다.
이후, 상기 비 영상 또는 차 영상을 특정 임계값을 기준으로 재구성한 이치화 영상(Binary image)으로 변환하고, 이를 통해 외부 결함을 검출한다(S400). 상기 임계값은 다수의 실험을 통해 획득하여 미리 설정된 값으로, 결함 유형별로 서로 동일하거나, 서로 다른 값으로 설정될 수 있으며, 비 영상 및 차 영상에 대해 서로 동일하거나 다른 값으로 설정될 수 있다. 또한, 상기 이치화 영상은 상기 비 영상 또는 차 영상에 대해 상기 임계값을 기준으로 0과 1로 이치화된 영상이며, 상기 이치화 영상을 통해 결함 부위의 크기, 모양 등을 고려하여 결함을 검출하게 된다.
도 7는 결함 유형별 비 영상을 이치화시킨 이치화 영상을 나타낸 도면이다.
도 7를 참조하면, 분산분석을 이용하여 선정된 2개의 최적 파장에 대한 비 영상을 이치화시킨 결과, 열과(Cracking), 병해(Scab), 착색불량(Color disorder), 상처(Cuts) 등의 결함에 대해서는 100%의 결함 검출율을 보이며, 멍(Bruise) 결함은 약 73.3%의 검출율을 보이는 것을 확인할 수 있다.
한편, 2개의 결함 유형별 최적 파장을 선정함에 있어, 분산분석을 이용하는 방법을 도 6을 참조하여 설명하였으나, 이와 달리, 상관분석을 이용한 동일한 방법으로 2개의 결함 유형별 최적 파장을 선정할 수 있다.
이처럼, 분산분석 및 상관분석을 통해 결함 유형별로 2개의 최적 파장을 선정하고, 선정된 2개의 최적 파장에 각각 대응되는 단일 파장 영상들의 비 영상 또는 차 영상을 이용하여 과일의 외부 결함을 검출함으로써, 결함 검출의 신뢰성을 향상시킬 수 있다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 굴림 장치
200 : 외부결함 검출부
220 : VNIR 초분광 영상 카메라 300 : 전송부
400 : 내부품질 측정부 420 : 근적외선 분광센서
220 : VNIR 초분광 영상 카메라 300 : 전송부
400 : 내부품질 측정부 420 : 근적외선 분광센서
Claims (13)
- 투입된 과일을 회전시키면서 이송하기 위한 롤러 형태의 굴림 장치;
상기 굴림 장치에 의해 회전되는 과일의 전체 표면의 측정을 통해 과일의 외부결함을 검출하기 위한 외부결함 검출부;
상기 굴림 장치에 의해 회전되면서 이송되는 과일을 선별컵으로 전송하기 위한 전송부; 및
상기 선별컵에 안착된 과일의 내부 결함 및 품질을 측정하기 위한 내부품질 측정부를 포함하는 결함 검출 시스템. - 제1항에 있어서, 상기 외부결함 검출부는
상기 굴림 장치에 의해 회전되는 과일의 표면을 촬영하기 위한 가시광선 및 근적외선(vosible and near-infrared : VNIR) 초분광 영상 카메라를 포함하는 것을 특징으로 하는 결함 검출 시스템. - 제2항에 있어서, 상기 외부결함 검출부는
상기 VNIR 초분광 영상 카메라의 측정을 통해 획득한 반사 스펙트럼 및 특정 파장대역에서의 초분광 영상을 이용하여 과일의 외부 결함을 검출하는 것을 특징으로 하는 결함 검출 시스템. - 제3항에 있어서, 상기 외부결함 검출부는
결합 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 이용하여 적어도 하나의 결함 유형별 최적 파장을 선정하고,
선정된 상기 결함 유형별 최적 파장에 대한 단일 파장 영상, 복수의 상기 단일 파장 영상들에 대한 차 영상, 및 복수의 상기 단일 파장 영상들에 대한 비 영상 중 적어도 하나의 영상을 이용하여 외부 결함을 검출하는 것을 특징으로 하는 결함 검출 시스템. - 제4항에 있어서, 상기 외부결함 검출부는
결함 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 각각 입력변수로 하는 분산분석 및 상관분석 중 적어도 하나의 분석을 통해 상기 결함 유형별 최적 파장을 선정하는 것을 특징으로 하는 결함 검출 시스템. - 제1항에 있어서, 상기 내부품질 측정부는
근적외선 분광센서를 포함하는 것을 특징으로 하는 결함 검출 시스템. - 롤러 형태의 굴림 장치를 통해 회전되면서 이송되는 과일에 대해 VNIR 초분광 영상 카메라로 과일의 전체 표면을 측정하여 과일의 외부결함을 검출하는 단계;
상기 외부결함의 검출 후, 상기 굴림 장치에 의해 회전되면서 이송되는 과일을 선별컵으로 전송하는 단계; 및
상기 선별컵에 안착된 과일에 대해 근적외선 분광 센서를 이용하여 과일의 내부 결함 및 품질을 측정하는 단계를 포함하는 결함 검출 방법. - 제7항에 있어서, 상기 과일의 외부결함을 검출하는 단계는,
결함 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 이용하여 적어도 하나의 결함 유형별 최적 파장을 선정하는 단계; 및
선정된 상기 결함 유형별 최적 파장에 대한 단일 파장 영상, 복수의 상기 단일 파장 영상들에 대한 차 영상, 및 복수의 상기 단일 파장 영상들에 대한 비 영상 중 적어도 하나의 영상을 이용하여 외부결함을 검출하는 단계를 포함하는 것을 특징으로 하는 결함 검출 방법. - 제8항에 있어서, 상기 결함 유형별 최적 파장을 선정하는 단계는,
결함 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 각각 입력변수로 하는 분산분석 및 상관분석 중 적어도 하나의 분석을 통해 적어도 하나의 상기 결함 유형별 최적 파장을 선정하는 것을 특징으로 하는 결함 검출 방법. - 제9항에 있어서, 상기 외부결함을 검출하는 단계는,
상기 단일 파장 영상을 특정 임계값을 기준으로 재구성한 이치화 영상으로 변환하여 외부결함을 검출하는 것을 특징으로 하는 결함 검출 방법. - 제10항에 있어서, 상기 결함 유형별 최적 파장은,
열과 결함의 경우 710nm, 병해 결함의 경우 715nm, 착색 불량의 경우 561nm, 상처 결함의 경우 720nm, 멍 결함의 경우 940nm로 선정된 것을 특징으로 하는 결함 검출 방법. - 제9항에 있어서, 상기 외부결함을 검출하는 단계는,
상기 분산분석 및 상관분석을 통해 2개 이상의 상기 결함 유형별 최적 파장을 선정하고,
선정된 상기 2개 이상의 결함 유형별 최적 파장들에 대한 차 영상 및 비 영상 중 적어도 하나의 영상을 특정 임계값을 기준으로 재구성한 이치화 영상으로 변환하여 외부결함을 검출하는 것을 특징으로 하는 결함 검출 방법. - 제12항에 있어서, 상기 결함 유형별 최적 파장은,
열과 결함의 경우 792nm와 806nm, 병해 결함의 경우 720nm와 964nm, 착색 불량의 경우 403nm와 528nm, 상처 결함의 경우 739nm와 998nm, 멍 결함의 경우 749nm와 753nm로 선정된 것을 특징으로 하는 결함 검출 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150155721A KR101750858B1 (ko) | 2015-11-06 | 2015-11-06 | 결함 검출 시스템 및 결함 검출 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150155721A KR101750858B1 (ko) | 2015-11-06 | 2015-11-06 | 결함 검출 시스템 및 결함 검출 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170056716A true KR20170056716A (ko) | 2017-05-24 |
| KR101750858B1 KR101750858B1 (ko) | 2017-07-11 |
Family
ID=59051694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150155721A KR101750858B1 (ko) | 2015-11-06 | 2015-11-06 | 결함 검출 시스템 및 결함 검출 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101750858B1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109720374A (zh) * | 2018-12-26 | 2019-05-07 | 台晶(重庆)电子有限公司 | 一种溅镀机轨道测试装置及测试方法 |
| KR20200105109A (ko) * | 2019-02-28 | 2020-09-07 | 충남대학교산학협력단 | 다분광 형광 영상을 이용한 가공 채소류 측 이물질 검출시스템 및 검출방법 |
| KR102285603B1 (ko) * | 2021-01-15 | 2021-08-04 | 주식회사 에이오팜 | 과일을 식별하는 장치 및 방법 |
| KR20210152248A (ko) * | 2020-06-08 | 2021-12-15 | 주식회사 한성엔지니어링 | 과일 공급 장치 |
| KR102388752B1 (ko) * | 2020-10-22 | 2022-04-20 | (주)레이텍 | 연질성 이물을 검출할 수 있는 초분광 검사장치 |
| KR102390740B1 (ko) | 2021-07-07 | 2022-04-26 | 주식회사 에이오팜 | 불량 농산물 분류 모델 학습 방법, 장치 및 이를 이용한 불량 농산물 분류 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100946749B1 (ko) | 2008-03-19 | 2010-03-11 | 정양권 | 영상인식 및 이미지의 학습 방법을 기반한 안개 감지 방법및 그 시스템 |
-
2015
- 2015-11-06 KR KR1020150155721A patent/KR101750858B1/ko active IP Right Grant
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109720374A (zh) * | 2018-12-26 | 2019-05-07 | 台晶(重庆)电子有限公司 | 一种溅镀机轨道测试装置及测试方法 |
| KR20200105109A (ko) * | 2019-02-28 | 2020-09-07 | 충남대학교산학협력단 | 다분광 형광 영상을 이용한 가공 채소류 측 이물질 검출시스템 및 검출방법 |
| KR20210152248A (ko) * | 2020-06-08 | 2021-12-15 | 주식회사 한성엔지니어링 | 과일 공급 장치 |
| KR102388752B1 (ko) * | 2020-10-22 | 2022-04-20 | (주)레이텍 | 연질성 이물을 검출할 수 있는 초분광 검사장치 |
| WO2022085822A1 (ko) * | 2020-10-22 | 2022-04-28 | (주)레이텍 | 연질성 이물을 검출할 수 있는 초분광 검사장치 |
| KR102285603B1 (ko) * | 2021-01-15 | 2021-08-04 | 주식회사 에이오팜 | 과일을 식별하는 장치 및 방법 |
| WO2022154519A1 (ko) * | 2021-01-15 | 2022-07-21 | 주식회사 에이오팜 | 과일을 식별하는 장치 및 방법 |
| KR102390740B1 (ko) | 2021-07-07 | 2022-04-26 | 주식회사 에이오팜 | 불량 농산물 분류 모델 학습 방법, 장치 및 이를 이용한 불량 농산물 분류 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101750858B1 (ko) | 2017-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101750858B1 (ko) | 결함 검출 시스템 및 결함 검출 방법 | |
| Huang et al. | Development of a multispectral imaging system for online detection of bruises on apples | |
| JP6940215B2 (ja) | 検査装置及び検査装置の識別手段の学習方法 | |
| Keresztes et al. | Real-time pixel based early apple bruise detection using short wave infrared hyperspectral imaging in combination with calibration and glare correction techniques | |
| US9910024B2 (en) | Method, sensor unit and machine for detecting “sugar top” defects in potatoes | |
| Ariana et al. | Evaluation of internal defect and surface color of whole pickles using hyperspectral imaging | |
| Huang et al. | Detection of insect-damaged vegetable soybeans using hyperspectral transmittance image | |
| CN1995987B (zh) | 基于高光谱图像技术的农畜产品无损检测方法 | |
| US9014434B2 (en) | Method for scoring and controlling quality of food products in a dynamic production line | |
| US7787111B2 (en) | Simultaneous acquisition of fluorescence and reflectance imaging techniques with a single imaging device for multitask inspection | |
| Ariana et al. | Hyperspectral waveband selection for internal defect detection of pickling cucumbers and whole pickles | |
| JP5206335B2 (ja) | 主成分分析方法、主成分分析装置、異種品検出装置、主成分分析プログラム、及び、主成分分析プログラムが記録された記録媒体 | |
| KR102003781B1 (ko) | 초분광영상화 기법을 이용한 글라스(Glass) 결함 검출 장치 | |
| JP2014215177A (ja) | 検査装置及び検査方法 | |
| Eissa et al. | Understanding color image processing by machine vision for biological materials | |
| JP2006170669A (ja) | 青果物の品質検査装置 | |
| WO2012074372A2 (en) | A system for fruit grading and quality determination | |
| Kim et al. | Visible to SWIR hyperspectral imaging for produce safety and quality evaluation | |
| Aredo et al. | Predicting of the Quality Attributes of Orange Fruit Using Hyperspec-tral Images | |
| Noordam et al. | Detection and classification of latent defects and diseases on raw French fries with multispectral imaging | |
| JP3614980B2 (ja) | 農産物の外観検査方法及び装置 | |
| JP6403872B2 (ja) | 青果物検査装置 | |
| Balabanov et al. | Mechatronic system for fruit and vegetables sorting | |
| KR101203990B1 (ko) | 형광영상을 이용한 방울토마토 열과 검출 방법 | |
| Peng et al. | Real-time detection of natural bruises in apple surface using machine vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |