KR102418849B1 - 분광 및 영상 복합정보를 이용한 농식품 잔류물 검출 시스템 및 이를 이용하는 검출 방법 - Google Patents
분광 및 영상 복합정보를 이용한 농식품 잔류물 검출 시스템 및 이를 이용하는 검출 방법 Download PDFInfo
- Publication number
- KR102418849B1 KR102418849B1 KR1020200137855A KR20200137855A KR102418849B1 KR 102418849 B1 KR102418849 B1 KR 102418849B1 KR 1020200137855 A KR1020200137855 A KR 1020200137855A KR 20200137855 A KR20200137855 A KR 20200137855A KR 102418849 B1 KR102418849 B1 KR 102418849B1
- Authority
- KR
- South Korea
- Prior art keywords
- sample
- image data
- spectroscopic
- spectral image
- module
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 30
- 239000010794 food waste Substances 0.000 claims abstract description 15
- 230000003595 spectral effect Effects 0.000 claims description 46
- 238000001514 detection method Methods 0.000 claims description 25
- 238000013135 deep learning Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000012706 support-vector machine Methods 0.000 claims description 10
- 230000001678 irradiating effect Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000002156 mixing Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 21
- 230000001066 destructive effect Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013136 deep learning model Methods 0.000 abstract description 4
- 238000002203 pretreatment Methods 0.000 abstract description 4
- 239000000523 sample Substances 0.000 description 52
- 239000012895 dilution Substances 0.000 description 10
- 238000010790 dilution Methods 0.000 description 10
- 238000001228 spectrum Methods 0.000 description 7
- 238000000491 multivariate analysis Methods 0.000 description 6
- 238000000513 principal component analysis Methods 0.000 description 6
- 230000032258 transport Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 235000013305 food Nutrition 0.000 description 5
- 238000009795 derivation Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001954 sterilising effect Effects 0.000 description 4
- 241000219315 Spinacia Species 0.000 description 3
- 235000009337 Spinacia oleracea Nutrition 0.000 description 3
- 238000000701 chemical imaging Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000004659 sterilization and disinfection Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 239000000645 desinfectant Substances 0.000 description 2
- 235000012055 fruits and vegetables Nutrition 0.000 description 2
- 244000005700 microbiome Species 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 239000011550 stock solution Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 239000012153 distilled water Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000415 inactivating effect Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 235000021156 lunch Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000000813 microbial effect Effects 0.000 description 1
- 230000002906 microbiologic effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 239000012898 sample dilution Substances 0.000 description 1
- 239000012488 sample solution Substances 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000451 tissue damage Effects 0.000 description 1
- 231100000827 tissue damage Toxicity 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/3103—Atomic absorption analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
본 발명은 농식품 가공공장에 사용되는 가공기계에 잔류하는 농식품의 잔류물의 여부를 비파괴 방식으로 검출할 수 있는 기술에 대한 것으로, 본 발명에 실시예에 따르면, 농식품 가공공장에서 사용되는 가공기계들에 잔류하는 농식품의 잔류물의 존재를 초분광 영상/파장과 3차원 딥러닝모델을 활용하여 검출할 수 있도록 하여, 비파괴, 무전처리 방식을 구현할 수 있다.
Description
본 발명은 농식품 가공공장에 사용되는 가공기계에 잔류하는 농식품의 잔류물의 여부를 비파괴 방식으로 검출할 수 있는 기술에 대한 것이다.
신선식품에 대한 소비자의 선호도 증가에 따라 편의성이 부가된 신선편이 농산물 시장의 규모가 지속적으로 확대되고 있으며, 건강에 대한 관심의 증가로 안전성을 보장할 수 있는 살균기술의 개발이 식품산업에서 중요한 주제로 부각하였다.
또한, 학교급식, 단체급식 등 급식용 전처리 과채류 시장의 규모도 급속히 신장하고 있는 추세이다. 최소가공/전처리 과채류는 절단, 박피 등 가공공정에서 발생하는 조직의 손상으로 호흡량의 증가, 미생물 감염, 갈변 등의 급격한 생리적인 변화를 일으키게 된다. 특히 박피와 절단은 표면의 갈변과 조직의 연화 등 품질수명에 직접적인 많은 영향을 주게 된다. 따라서 품목에 적합한 전처리 방법과 미생물학적 안전성을 확보하면서 품질 열화요인을 최소화할 수 있는 기술개발이 요구되고 있다.
식품 가공공정에 있어서 효과적인 세정과 살균 프로그램은 미생물을 불활성화시키는 중요한 공정의 일부이며 생산설비의 미생물 증식과 축적 및 biofilm의 형성을 억제하는 과정이다. 상기와 같이 세정 및 살균하는 방법으로 종래에는 농산물 등에 스프레이식으로 소독제를 분사하여 살균하거나, 흐르는 물에 원물을 이동시키는 방법을 이용하였다.
그러나 상기 스프레이식은 모든 원물이 침지되지 않고 소독수의 소요량이 많은 단점이 있으며, 흐르는 물에 원물을 이동시키는 방식은 원물 침지시간이 일정하지 않아 기계의 부착시 여러 가지 원물을 사용하는데 어려움이 많아 사용 용도가 현저하게 떨어지는 문제가 있었다.
이와 같이, 농식품 가공공장에서 사용되는 가공기계들의 위생과 살균, 소독은 식품안전에 중요한 요소이나, 살균, 소독에 관한 엄격한 지침이 있으나, 실제로 위생검사를 하기 위해서는 많은 시간과 비용, 노력이 소요되게 된다.
이에, 비파괴, 무전처리 방법으로 커터 등과 같은 식품 가공기계에 남은 농식품의 유기 잔류물을 검출할 수 있는 효율적인 방법의 필요성이 커지고 있다.
본 발명은 상술한 필요성을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 농식품 가공공장에서 사용되는 가공기계들에 잔류하는 농식품의 잔류물의 존재를 초분광 영상/파장과 3차원 딥러닝모델을 활용하여 검출할 수 있도록 하여, 비파괴, 무전처리 방식을 구현하여, 농식품 잔류물의 검출 효율을 극대화할 수 있도록 하며, 이를 통해, 가공공장 품질관리자, 연구자, 위생관리자들에게 비파괴 위생 모니터링기술을 보급하여 농식품의 안정성을 제고하고, 제품의 신뢰도를 향상시킬 수 있는 기술을 제공하는 데 있다.
상술한 과제를 해결하기 위한 수단으로서, 본 발명의 실시예에서는, 도 1 및 도 2에 도시된 것과 같이, 농식품 유기 잔류물의 검출대상의 샘플시료를 유입받아, 분광영상을 촬영하여 분광영상데이터를 취득하는 분광영상취득모듈(100); 상기 분광영상취득모듈(100)에서 제공되는 상기 분광영상데이터를 전처리하여 판별영역을 선별하고, 상기 판별영역에 대해 3차원 딥러닝 결과인 판정모델을 적용하여 전류물의 검출결과를 도출하는 영상정보판별모듈(200); 상기 검출결과에 대하여 샘플의 혼합율을 표시하는 사용자인터페이스를 제공하는 결과표시모듈(300); 및 상기 샘플시료에 대하여 딥러닝을 수행하여 판정모델을 제공하는 판정모델도출모듈(400);을 포함하는, 분광 및 영상 복합정보를 이용한 농식품 잔류물 검출 시스템을 제공할 수 있도록 한다.
본 발명에 실시예에 따르면, 농식품 가공공장에서 사용되는 가공기계들에 잔류하는 농식품의 잔류물의 존재를 초분광 영상/파장과 3차원 딥러닝 모델을 활용하여 검출할 수 있도록 하여, 비파괴, 무전처리 방식을 구현하여, 농식품 잔류물의 검출 효율을 극대화할 수 있는 효과가 있다.
특히, 본 발명에 따르면, 가공공장 품질관리자, 연구자, 위생관리자들에게 비파괴 위생 모니터링기술을 제공할 수 있게 되는바, 농식품의 안정성을 제고하고, 제품의 신뢰도를 향상시킬 수 있는 효과도 있다.
도 1은 본 발명에 따른 분광 및 영상 복합정보를 이용한 농식품 잔류물검출 시스템의 구성 블록도이다.
도 2는 도 1에 따른 시스템 작용상태 순서도이다.
도 3은 본 발명을 적용하기 위한 분광영상취득모듈의 구현 개념도이다.
도 4는 주성분분석(PCA:Principal Component Analysis)을 이용한 적정 파장 선정 결과를 나타내는 그래프이다.
도 5는 선택된 판별영역의 선정과정을 도시한 개념도이다.
도 6은 시금치 추출액 희석비별 평균스펙트럼과 주성분분석 결과를 예시한 것이다.
도 7은 다변량분석방법을 이용한 판별모듈을 개발하기 위한 데이터를 도시한 것이다. 도 8은 본 발명에 따른 1차원 CNN 알고리즘을 도시한 개념도이다.
도 9는 본 발명에 따른 CNN 1D 모델 요약결과를 도출한 것을 도시한 것이다.
도 10은 본 발명에 따른 판별모델의 에러율 변화와 성능결과를 예시한 것이다.
도 11은 본 발명의 판별모델을 적용하여 이용한 상술한 [실시예]에 대한 판별결과를 나타낸 것이다.
도 2는 도 1에 따른 시스템 작용상태 순서도이다.
도 3은 본 발명을 적용하기 위한 분광영상취득모듈의 구현 개념도이다.
도 4는 주성분분석(PCA:Principal Component Analysis)을 이용한 적정 파장 선정 결과를 나타내는 그래프이다.
도 5는 선택된 판별영역의 선정과정을 도시한 개념도이다.
도 6은 시금치 추출액 희석비별 평균스펙트럼과 주성분분석 결과를 예시한 것이다.
도 7은 다변량분석방법을 이용한 판별모듈을 개발하기 위한 데이터를 도시한 것이다. 도 8은 본 발명에 따른 1차원 CNN 알고리즘을 도시한 개념도이다.
도 9는 본 발명에 따른 CNN 1D 모델 요약결과를 도출한 것을 도시한 것이다.
도 10은 본 발명에 따른 판별모델의 에러율 변화와 성능결과를 예시한 것이다.
도 11은 본 발명의 판별모델을 적용하여 이용한 상술한 [실시예]에 대한 판별결과를 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명에 따른 분광 및 영상 복합정보를 이용한 농식품 잔류물검출 시스템(이하, '본 발명'이라 한다.) 구성 블록도이다. 도 2는 도 1에 따른 시스템 작용상태 순서도이다.
도 1 및 도 2를 참조하면, 본 발명은, 농식품 유기 잔류물의 검출대상의 샘플시료를 유입받아, 분광영상을 촬영하여 분광영상데이터를 취득하는 분광영상취득모듈(100)과, 상기 분광영상취득모듈(100)에서 제공되는 상기 분광영상데이터를 전처리하여 판별영역을 선별하고, 상기 판별영역에 대해 3차원 딥러닝 결과인 판정모델을 적용하여 전류물의 검출결과를 도출하는 영상정보판별모듈(200), 상기 검출결과에 대하여 샘플의 혼합율을 표시하는 사용자인터페이스를 제공하는 결과표시모듈(300) 및 상기 샘플시료에 대하여 딥러닝을 수행하여 판정모델을 제공하는 판정모델도출모듈(400)을 포함하여 구성될 수 있다.
상기 분광영상취득모듈(100)은 농식품 유기 잔류물의 검출대상의 샘플시료에 대한 분광영상정보를 취득할 수 있는 장치를 포함하되, 구체적으로 샘플시료를 수용한 로딩플레이트를 이송하여 로딩하는 시료운반부(110)와, 상기 시료운반부(110) 상에 가시-근적외광을 조사하는 조명제공부(120), 상기 샘플시료의 분광영상을 촬영하여 분광영상데이터를 형성하는 분광영상촬영부(130)을 포함하여 구성될 수 있다.
상기 시료운반부(110)은 시료의 샘플을 배치할 수 있는 영역이 구비되는 플레이트 구조의 로딩플레이트를 포함할 수 있으며, 상기 로딩플레이트는 평판구조의 시료기판으로 구현되되, 가공기계의 재질과 유사한 재질의 금속재질로 구성될 수 있다. 이는 시료를 채취한 농식품 가공기계의 재질과 최대한 유사한 조건에서의 판정을 수행할 수 있도록 하기 위함이다.
또한, 상기 조명제공부(120)는, 상기 샘플시료에 대해서 분광반사도를 유발하는 광원을 제공 및 조사하는 장비로, 본 발명에서는, 400~1000nm 범위의 가시-근적외광을 조사할 수 있는 조명장치를 포함하여 구성될 수 있다.
상기 분광영상촬영부(130)는, 상기 조명제공부(120)에서 조사하는 광에 의해 상기 샘플시료에서 반사하는 분광반사도의 영상을 촬영할 수 있는 촬영장비를 포함한다.
도 3은 이러한 분광영상취득모듈(100)을 예시한 것으로, 도 3 (a)를 참조하면, 전체적인 장비의 하우징(1)의 내부에, 초분광 카메라로 구성되는 분광영상촬영부(130)을 배치하고, 그 하부의 영역에, 400~1000nm 범위의 가시-근적외광을 조사할 수 있는 조명제공부(120)를 배치하며, 그 하부에는 라인스캔식 방식을 채용하여 샘플시료가 배치되는 시료운반부(110)의 플레이트가 이동하며, 샘플시료에 대한 분광영상이 촬영될 수 있도록 하는 구조로 구현될 수 있다. 물론, 이러한 분광영상취득모듈(100)의 구성은 하나의 실시예를 개념적으로 예시한 것인바, 전체적인 구조는 다양하게 변형설계 될 수 있음은 물론이다.
다음으로, 도 1 및 도 2에 도시된 것과 같이, 본 발명은 상기 분광영상취득모듈(100)에서 제공되는 상기 분광영상데이터를 전처리하여 판별영역을 선별하고, 상기 판별영역에 대해 3차원 딥러닝 결과인 판정모델을 적용하여 전류물의 검출결과를 도출하는 영상정보판별모듈(200)을 구비할 수 있다.
상기 영상정보판별모듈(200)은, 상기 분광영상데이터에 대한 노이즈를 제거하는 전처리부(210)와, 상기 전처리된 분광영상데이터에 대하여 배경영역을 제거하고, 판정을 위한 영역인 판정영역을 선별하는 판정영역선별부(220), 상기 판정영역선별부(220)에서 선별된 판정영역에 대해, 상기 판정모델도출모듈(400)에서 제공하는 3차원 딥러닝 결과에 따른 판정모델과 대비하여 검출결과를 도출하는 판정모델적용부(230)를 포함하여 구성될 수 있다.
상기 전처리부(210)는, 취득된 분광영상데이터에 대한 노이즈를 제거할 수 있도록 한다. 일예로 상기 전처리부(210)는 화이트레퍼런스, 다크레퍼런스를 이용하여 노이즈를 제거할 수 있도록 할 수 있다.
또한, 상기 판정영역선별부(220)는, 노이즈가 제거된 분광영상데이터에 대하여, 배경을 제거하고, 판정을 위한 영역인 판정영역(ROI, region of interest)을 선별할 수 있도록 한다.
이후, 상기 판정모델적용부(230)에서는, 후술한 본 발명에 따른 판정모델도출모듈(400)에서, 3차원 딥러닝을 수행한 결과로 구현되는 판정모델을 이용하여, 상기 판정영역에 대한 검출결과를 판정할 수 있도록 한다.
이 경우, 상기 판정모델도출모듈(400)은, LDA (linear discriminant analysis), SVM (support vector machine), PLS-DA (partial least square discriminant analysis) 중 어느 하나의 다변량분석 모델을 적용하며, 이를 CNN(합성곱신경망: Convolution Neural Network)을 적용하여 판정을 위한 판정모델을 구축할 수 있도록 한다.
도 2는 상술한 본 발명을 적용하여 분광 및 영상 복합정보를 이용한 농식품 잔류물검출 방법의 구현 순서를 도시한 것이다.
도 2 및 도 1을 참조하면, 본 발명을 적용한 분광 및 영상 복합정보를 이용한 농식품 잔류물검출 방법은, 시료샘플을 로딩(시료운반부)하고, 이후 분광영상촬영부(130)를 통해 가시-근적외 초분광영상을 획득할 수 있도록 한다. 초분광영상의 경우, 400~4000nm의 초분광을 적용할 수 있도록 한다.
이후, 취득한 초분광영상에 대한 화이트레퍼런스 및 다크레퍼런스를 이용하여 노이즈를 제거한 후, 판정영역을 선별하기 위한 배경제거를 수행할 수 있도록 한다. 이례로, 배경제거를 위한 문턱치의 경우, 841nm의 영상은 문턱치를 409으로하여 배경제거를 수행할 수 있다.
배경제거를 수행한 마스크 영상에서 판정영역을 선별하고, 상기 판정영역에서 스펙트럼을 획득한다.
이후, PCA분석을 수행하고, 상기 판정영역에서 취득한 스펙트럼을 기준으로, 판정모델을 적용하여 결과를 도출할 수 있도록 한다. 이 경우, 판정모델은 영상과 스펙트럼의 복합 3차원 분석을 통해 구현되는 모델로, 훈련데이터 세트: 테스트 세트=70%:30%로 하여 구현할 수 있도록 한다.
이후, 검출된 샘플시료에 대한 검출결과에 대해 사용자 인터페이스를 통해 색깔을 이용하여 샘플의 혼합율을 결과표시모듈(300)을 통해 구현할 수 있다.
이하에서는, 본 발명에 따른 농산물 잔류물 검출을 위한 분광영상의 획득과 판정모델 알고리즘을 도출하는 실시예를 설명하기로 한다.
[실시예]
본 실시예에서는, 본 발명에 따른 가시-근적외 초분광 영상 시스템을 이용하여 금속 표면에서 농식품 잔류물의 판별 가능성을 확인하고, 정밀한 판별모델을 개발하기 위하여 3차원 딥러닝 알고리즘을 적용하여 최적의 성능을 가진 판별모델을 도출하였다.
시료의 초분광영상을 획득하기 위하여 사용한 영상획득시스템의 모습은 도 3(a)에서 설명한 구조를 적용하며, 도 3의 (b)는 로딩프레이트(R)에 시료(S)를 배치한 것을 도시한 것이다. 이러한 시스템을 구현한 측정조건 및 대상시료의 조건은 다음과 같다.
＊ 분광조사 파장 대역: 400 ~ 1000 nm (가시-근적외 대역)
＊ 대상 농식품: 신선편이 농산물에 사용되는 시금치시료
＊ 희석률: 농산물 원액에 증류수 섞어 희석함
희석률에 따른 시료의 구분은 다음과 같다.
[100%(원액), 20% (1:5 희석), 10% (1:10 희석), 5% (1:20 희석), 2% (1:50 희석), 1% (1:100 희석)]
＊ 로딩플레이트(시료판): Stainless steel (#4)에 판 홈에 시료액을 담고 24시간 건조
＊ 촬영셔터속도: 노출속도 35 ms (ET#35)
상술한 조건을 기준으로, 분광영상데이터의 취득을 수행하는 과정은 다음과 같다(도 4참조: 도 4는 주성분분석(PCA:Principal Component Analysis)을 이용한 적정 파장 선정 결과를 나타내는 그래프이다).
1. 시료를 담은 로딩플레이트가 이송부를 통해 이동하면서 라인 스캔하는 방식으로 수행하며 분광영상을 촬영하였다. 이송 속도는 30 cm 이동에 90초 소요되며, 획득한 3차원 분광영상데이터를 활용하여 판별모델을 도출한다. 판별모델의 도출은 후술하기로 한다.
2. 획득한 분광영상데이터에서 배경을 제거하고 판별영역(ROI, region of interest) 선택하기 위해 주성분분석을 적용하였다.
3. PC1, PC2 로딩벡터(coefficient)에서 파장을 선택하였다(선택파장: 91번째 파장, 841 nm).
4. 선택된 파장 영상에서 배경 제거를 위한 문턱치를 히스토그램을 이용하여 선정하였다(TH=409).
5. 배경이 제거된 이후, 선택된 판별영역(ROI, region of interest)에서 도 5와 같이 파장을 추출하고, 판별모델을 개발한다. 일예로 도 5에 도시된 것과 같이, (a) 선별한 파장은 841nm, TH=409의 마스크 영상, (b) 문턱치를 이용하여 배경을 제거하고, (c) 판별영역(ROI)를 선택한 마스크 이미지를 도시한 것이다.
6. 판별모델의 구축에 사용한 다변량분석 모델은 LDA (linear discriminant analysis), SVM (support vector machine), PLS-DA (partial least square discriminant analysis) 중 어느 하나 이상을 적용하였다. 이후, 딥러닝 판별방법중 하나인, CNN(합성곱신경망: Convolution Neural Network)을 적용하였다.
7. 이후, 판별모델의 성능향상을 위해, 스펙트럼 전처리 방법, 1차 미분, 미분, 2차 미분, MSC (multiplicative scatter correction), N12 (normalization)을 적용하였다. 도 6은 일예로, 시금치 추출액 희석비별 평균스펙트럼(a)와 (b) 주성분 분석결과를 도시한 것이다.
이하에서는, 상술한 판별모델의 구축을 위한 상세한 과정을 설명하기로 한다.
도 7은 다변량 분석방법을 이용한 판별 모델의 구축과정을 도시한 것이다.
도시된 것과 같이, 다변량 분석방법은, LDA (linear discriminant analysis), SVM (support vector machine), PLS-DA (partial least square discriminant analysis), CART, LSSVM, RF의 결과를 도시한 것이다.
이 경우, 판별 모델 성능을 나타내기 위해 정확도(A)와 카파계수(K)를 나타내었다. 두 지수 모두 1에 가까울수록 성능이 좋다는 것을 나타낸다.
도 7의 결과를 살펴보면, 다변량 분석 모델 중에서는 서포트벡터머신(SVM)이 가장 좋은 결과를 나타내고 있는 것을 확인할 수 있다(A=0.88, K=0.86). 아울러, 샘플 희석비 2%와 1%의 판별율이 60% 이하로 나오는 것을 확인할 수 있다.
이러한 결과를 바탕으로, 도 8의 과정과 같이, 딥러닝 방법을 이용하여 성능이 향상된 판별모델을 구축하였다.
도 8의 딥러닝 과정은, 스펙트럼(N=2322)중에서 80%는 모델 개발에, 나머지 20%는 모델 검증에 사용하였으며, 딥러닝 모델 개발을 위해 Tensor flow, Keras 등 Python 라이브러리를 사용하였다. 아울러, 필터사이즈 40, 커널 사이즈 5의 Conv1D함수 사용. activation 함수는 ReLU (Rectified Linear Unit)를 사용하였다. 또한, Average Pooling, Max Pooling을 사용하여 데이터 에지 검출하고, 최종적으로 6개의 희석비율을 판별한 결과를 도출하고, 이를 판별모델로 구축하였다.
도 9는 이러한 CNN1D모델을 요약한 것을 도시한 것이며, 도 10은 (a) 모델개발중 에러율의 변화 및 (b) 모델 성능을 나타낸 것이다. 도시된 결과와 같이, 에러율은 낮은 수준(0.25)의 범위로, 모델의 성능은 90%를 상회하는 것으로 확인할 수 있다. 도 11은, 이러한 구축된 본 발명의 판별모델을 적용하여 이용한 상술한 [실시예]에 대한 판별결과를 나타낸 것으로, (a) Ground truth와 (b) CNN 모델로 판별한 결과가 거의 일치하는 것을 확인할 수 있다. 이러한 결과를 바탕으로 할 때, 본 발명에서 구축한 판별모델은 높은 정확도를 가지며, 농식품 잔류물의 검출에 효과적으로 적용할 수 있음을 보여준다는 것을 확인할 수 있다.
또한, 본 발명에 따른, 상술한 분광반사자료 기반 토양성분 예측방법을 실행하는 시스템에 적용되는 기능 구성 및 수행동작은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다.
즉, 본 발명에 따른 시스템을 적용하는 분광 및 영상 복합정보를 이용한 농식품 잔류물검출 방법은 시료 운반부를 통해 농식품 유기 잔류물의 검출대상의 샘플시료를 로딩플레이트에 배치하여 로딩하는 단계와, 상기 샘플시료에 대하여 가시-근적외광을 조사하여 분광영상데이터를 취득하는 단계, 상기 분광영상데이터에 대한 노이즈를 제거하고, 배경영역을 제거하여 판정영역을 선별하는 단계, 상기 판정영역에 대하여, 상기 샘플시료와 관련한 딥러닝에 의한 판정모델을 대비하여 검출결과를 도출하는 단계를 포함하여 수행될 수 있다.
이 경우, 분광영상데이터에 대한 노이즈를 제거하고, 배경영역을 제거하여 판정영역을 선별하는 단계, 상기 판정영역에 대하여, 상기 샘플시료와 관련한 딥러닝에 의한 판정모델을 대비하여 검출결과를 도출하는 과정은, 컴퓨터로 구현된 프로그램을 통해서 구현될 수 있다.
상술한 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, 파이썬(Python), C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립트 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “~모듈”, “~부”, "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이상에서와 같이 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 바람직한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아니다. 이처럼 이 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 본 발명의 실시예의 결합을 통해 다양한 실시예들이 가능함을 이해할 수 있을 것이다.
100: 분광영상취득모듈
200: 영상정보판별모듈
300: 결과표시모듈
400: 판정모델도출모듈
200: 영상정보판별모듈
300: 결과표시모듈
400: 판정모델도출모듈
Claims (5)
- 농식품 유기 잔류물의 검출대상의 샘플시료를 유입받아, 분광영상을 촬영하여 분광영상데이터를 취득하는 분광영상취득모듈(100);
상기 분광영상취득모듈(100)에서 제공되는 상기 분광영상데이터를 전처리하여 판별영역을 선별하고, 상기 판별영역에 대해 3차원 딥러닝결과인 판정모델을 적용하여 잔류물의 검출결과를 도출하는 영상정보판별모듈(200);
상기 검출결과에 대하여 샘플의 혼합율을 표시하는 사용자인터페이스를 제공하는 결과표시모듈(300); 및
상기 샘플시료에 대하여 딥러닝을 수행하여 판정모델을 제공하는 판정모델도출모듈(400);을 포함하고,
상기 분광영상취득모듈(100)은,
샘플시료를 수용한 로딩플레이트를 이송하여 로딩하는 시료운반부(110);
상기 시료운반부(110) 상에 가시-근적외광을 조사하는 조명제공부(120);
상기 샘플시료의 분광영상을 촬영하여 분광영상데이터를 형성하는 분광영상촬영부(130);을 포함하고,
상기 영상정보판별모듈(200)은,
화이트레퍼런스 및 다크레퍼런스를 이용하여 상기 분광영상데이터에 대한 노이즈를 제거하는 전처리부(210);
상기 전처리된 분광영상데이터에 대하여 선택된 파장에서 문턱치를 선정하고, 상기 선정된 문턱치를 이용해 배경영역을 제거하고, 판정을 위한 영역인 판정영역을 선별하는 판정영역선별부(220);
상기 판정영역선별부(220)에서 선별된 판정영역에 대해, 상기 판정모델도출모듈(400)에서 제공하는 3차원 딥러닝 결과에 따른 판정모델과 대비하여 검출결과를 도출하는 판정모델적용부(230);를 포함하는,
분광 및 영상 복합정보를 이용한 농식품 잔류물검출 시스템. - 삭제
- 삭제
- 청구항 1에 있어서,
상기 판정모델도출모듈(400)은,
LDA (linear discriminant analysis), SVM (support vector machine), PLS-DA (partial least square discriminant analysis) 중 어느 하나의 다변량분석 모델을 적용하며,
이를 CNN(합성곱신경망: Convolution Neural Network)을 적용하여 구현하는,
분광 및 영상 복합정보를 이용한 농식품 잔류물검출 시스템. - 시료운반부를 통해 농식품 유기 잔류물의 검출대상의 샘플시료를 로딩플레이트에 배치하여 로딩하는 단계;
상기 샘플시료에 대하여 가시-근적외광을 조사하여 분광영상데이터를 취득하는 단계;
상기 분광영상데이터에 대한 노이즈를 제거하고, 배경영역을 제거하여 판정영역을 선별하는 단계;
상기 판정영역에 대하여, 상기 샘플시료와 관련한 딥러닝에 의한 판정모델을 대비하여 검출결과를 도출하는 단계;를 포함하고,
상기 분광영상데이터를 취득하는 단계는,
샘플시료를 수용한 로딩플레이트를 이송하여 로딩하고,
상기 시료운반부 상에 가시-근적외광을 조사하고,
상기 샘플시료의 분광영상을 촬영하여 분광영상데이터를 형성하고,
상기 판정영역을 선별하는 단계는,
화이트레퍼런스 및 다크레퍼런스를 이용하여 상기 분광영상데이터에 대한 노이즈를 제거하고,
상기 노이즈가 제거된 분광영상데이터에 대하여 선택된 파장에서 문턱치를 선정하고, 상기 선정된 문턱치를 이용해 배경영역을 제거하고, 판정을 위한 영역인 판정영역을 선별하고,
상기 선별된 판정영역에 대해 3차원 딥러닝 결과에 따른 모델인 판정모델과 대비하여 검출결과를 도출하는,
분광 및 영상 복합정보를 이용한 농식품 잔류물검출 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200137855A KR102418849B1 (ko) | 2020-10-22 | 2020-10-22 | 분광 및 영상 복합정보를 이용한 농식품 잔류물 검출 시스템 및 이를 이용하는 검출 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200137855A KR102418849B1 (ko) | 2020-10-22 | 2020-10-22 | 분광 및 영상 복합정보를 이용한 농식품 잔류물 검출 시스템 및 이를 이용하는 검출 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220053410A KR20220053410A (ko) | 2022-04-29 |
| KR102418849B1 true KR102418849B1 (ko) | 2022-07-08 |
Family
ID=81428765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200137855A KR102418849B1 (ko) | 2020-10-22 | 2020-10-22 | 분광 및 영상 복합정보를 이용한 농식품 잔류물 검출 시스템 및 이를 이용하는 검출 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102418849B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117761009A (zh) * | 2024-01-03 | 2024-03-26 | 莒南县计量测试所 | 一种食品农药残留的快速检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017203658A (ja) * | 2016-05-10 | 2017-11-16 | 住友電気工業株式会社 | 検査方法及び光学測定装置 |
| WO2018034205A1 (ja) | 2016-08-18 | 2018-02-22 | 株式会社堀場製作所 | 有機化合物分析装置、有機化合物分析方法、及び、有機化合物分析装置用プログラム |
| JP2019211288A (ja) | 2018-06-01 | 2019-12-12 | 埼玉県 | 食品検査システムおよびプログラム |
| JP2020165847A (ja) | 2019-03-29 | 2020-10-08 | 株式会社島津製作所 | 食品の品質判定方法、及び、食品品質判定装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101584544B1 (ko) | 2015-11-17 | 2016-01-12 | 조준호 | 종자 소독장치 |
| KR101624198B1 (ko) | 2016-01-25 | 2016-05-25 | (주)부성하이테크 | 자동 침지형 소독 시스템 |
-
2020
- 2020-10-22 KR KR1020200137855A patent/KR102418849B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017203658A (ja) * | 2016-05-10 | 2017-11-16 | 住友電気工業株式会社 | 検査方法及び光学測定装置 |
| WO2018034205A1 (ja) | 2016-08-18 | 2018-02-22 | 株式会社堀場製作所 | 有機化合物分析装置、有機化合物分析方法、及び、有機化合物分析装置用プログラム |
| JP2019211288A (ja) | 2018-06-01 | 2019-12-12 | 埼玉県 | 食品検査システムおよびプログラム |
| JP2020165847A (ja) | 2019-03-29 | 2020-10-08 | 株式会社島津製作所 | 食品の品質判定方法、及び、食品品質判定装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220053410A (ko) | 2022-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lu et al. | Hyperspectral imaging technology for quality and safety evaluation of horticultural products: A review and celebration of the past 20-year progress | |
| López-Maestresalas et al. | Non-destructive detection of blackspot in potatoes by Vis-NIR and SWIR hyperspectral imaging | |
| Zhu et al. | Deep learning and machine vision for food processing: A survey | |
| Cen et al. | Nondestructive detection of chilling injury in cucumber fruit using hyperspectral imaging with feature selection and supervised classification | |
| Rady et al. | Hyperspectral imaging for detection of codling moth infestation in GoldRush apples | |
| Cubero et al. | Automated systems based on machine vision for inspecting citrus fruits from the field to postharvest—a review | |
| Adebayo et al. | Application and potential of backscattering imaging techniques in agricultural and food processing–A review | |
| ElMasry et al. | Detecting chilling injury in Red Delicious apple using hyperspectral imaging and neural networks | |
| Lorente et al. | Visible–NIR reflectance spectroscopy and manifold learning methods applied to the detection of fungal infections on citrus fruit | |
| Qin et al. | Detection of citrus canker using hyperspectral reflectance imaging with spectral information divergence | |
| Li et al. | Detection of common defects on oranges using hyperspectral reflectance imaging | |
| Ye et al. | Detecting and classifying minor bruised potato based on hyperspectral imaging | |
| Lu | Detection of bruises on apples using near–infrared hyperspectral imaging | |
| Vadivambal et al. | Bio-imaging: principles, techniques, and applications | |
| Munera et al. | Discrimination of common defects in loquat fruit cv.‘Algerie’using hyperspectral imaging and machine learning techniques | |
| Li et al. | Development of algorithms for detecting citrus canker based on hyperspectral reflectance imaging | |
| Tsouvaltzis et al. | Early detection of eggplant fruit stored at chilling temperature using different non-destructive optical techniques and supervised classification algorithms | |
| Liu et al. | Development of a simple algorithm for the detection of chilling injury in cucumbers from visible/near-infrared hyperspectral imaging | |
| Donis-González et al. | Postharvest noninvasive assessment of undesirable fibrous tissue in fresh processing carrots using computer tomography images | |
| KR102418849B1 (ko) | 분광 및 영상 복합정보를 이용한 농식품 잔류물 검출 시스템 및 이를 이용하는 검출 방법 | |
| Wang et al. | Quantitative determination of onion internal quality using reflectance, interactance, and transmittance modes of hyperspectral imaging | |
| Heitschmidt et al. | Improved hyperspectral imaging system for fecal detection on poultry carcasses | |
| Sankaran et al. | Introduction to the electromagnetic spectrum | |
| Blasco et al. | Quality evaluation of citrus fruits | |
| Li et al. | Two-wavelength image detection of early decayed oranges by coupling spectral classification with image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |