KR102240757B1 - Lctf-기반 다분광 영상 기술을 이용한 가공 채소류 내 포함된 이물질 실시간 검출 시스템 - Google Patents

Lctf-기반 다분광 영상 기술을 이용한 가공 채소류 내 포함된 이물질 실시간 검출 시스템 Download PDF

Info

Publication number
KR102240757B1
KR102240757B1 KR1020200151277A KR20200151277A KR102240757B1 KR 102240757 B1 KR102240757 B1 KR 102240757B1 KR 1020200151277 A KR1020200151277 A KR 1020200151277A KR 20200151277 A KR20200151277 A KR 20200151277A KR 102240757 B1 KR102240757 B1 KR 102240757B1
Authority
KR
South Korea
Prior art keywords
image
fluorescent
wavelength band
lctf
color
Prior art date
Application number
KR1020200151277A
Other languages
English (en)
Inventor
조병관
김정순
홍상덕
Original Assignee
충남대학교산학협력단
삼성웰스토리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충남대학교산학협력단, 삼성웰스토리 주식회사 filed Critical 충남대학교산학협력단
Priority to KR1020200151277A priority Critical patent/KR102240757B1/ko
Application granted granted Critical
Publication of KR102240757B1 publication Critical patent/KR102240757B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/33—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using ultraviolet light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N2021/3129—Determining multicomponents by multiwavelength light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6463—Optics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8812—Diffuse illumination, e.g. "sky"
    • G01N2021/8816—Diffuse illumination, e.g. "sky" by using multiple sources, e.g. LEDs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

본 발명은 LCTF 기반 이미지 처리장치; 컬러 카메라; 광원; 컨베이어 유닛; 및 컴퓨터 유닛;을 포함하는 가공 채소류의 실시간 이물질 검출 시스템으로서, 생 채소류내 이물질을 검출하기 위해 형광 이미징과 컬러 이미징 두 방식의 융합 사용, 그리고 이물질 검출을 위한 이미지 처리 알고리즘을 제공하여 식재료 가공공장 현장에서의 실시간 이물질 검출이 가능하다.

Description

LCTF-기반 다분광 영상 기술을 이용한 가공 채소류 내 포함된 이물질 실시간 검출 시스템{Real-time detection system for foreign object contained in fresh-cut vegetable using LCTF-based multispectral imaging technology}
본 발명은 형광 및 컬러 이미지 처리법을 이용한 생 채소류에 의도되지 않은 잠재적 이물질을 검출하는 온라인 검출 시스템에 관한 것이다.
여기서는, 본 개시에 관한 배경기술이 제공되며, 이들이 반드시 공지기술을 의미하는 것은 아니다.
식품 안전은 중대한 사항으로 선진국과 개발도상국 모두의 관심이 지속적으로 증가하고 있다. 식품 안전 고려사항은 물리적, 화학적, 생물학적 오염을 포함한 다양한 요소를 포함하고 있으며, 특정 물리적 오염은 배설물과 다양한 이물질로 인한 오염이다. 대부분의 식품 안전 관련 소비자 불평은 식품내 이물질로 인한 물리적 오염으로 인한 것이다. 다양한 이물질이 식품내 의도치 않게 존재할 수 있다. 어떤 경우에는 특정 제조과정의 문제로 인한 것이지만, 다른 경우에는 식품의 판매 방법이나 소비자들의 소비 방법으로 인한 것일 수 있다. 이물질에 취약한 여러 음식 중에서도 생 채소류가 두드러지고, 또 다양한 이물질로 인한 오염 가능성이 있다. 식품의 이물질 오염 사례에 대한 한 종합보고서의 내용에 의하면, 채소와 채소 상품들이 전체 식품의 이물질 오염 사례의 20%를 차지하면서 가장 많은 불평을 받았다. 이 이물질들은 주로 플라스틱 조각, 나무, 유리, 금속, 돌, 그리고 곤충 부위와 같이 가공과정 중 비의도적으로 추가된 단단하고 날카로운 물체들이다.
이물질 검출과 구별을 위해 금속 검출, 엑스레이 검사, 컬러 이미지 처리법, 마이크로파 이미지 처리법, 테라헤르츠 이미지 처리법, 초음파 이미지 처리법, 열 이미지 처리법 등의 다양한 기술들이 사용되었다. 그러나 이 기술들은 다양한 샘플들에 사용되었는데 샘플들의 밀도, 색깔, 수분함량, 온도에 그 검출 성능이 영향을 받는다. 상기된 기술들 중 금속 검출, 엑스레이 검사, 컬러 이미지 처리법, 그리고 테라헤르츠 이미지 처리법 만이 상업적으로 널리 사용되고 있다.
그러나 생 채소류내 이물질이 계속해서 발생하고 있음에도 불구하고, 위의 언급한 기술들을 생 채소류에 적용해 이물질을 검출하는 연구가 진행된 바 없다. 하지만 생 채소류에서 발견되는 이물질들의 종류를 고려했을 때, 해당 기술들은 적합하지 않다. 엑스레이 기술은 연한 이물질을 검출하는데 적합하지 않고, 금속 검출은 금속 물질만 검출할 수 있으며, 테라헤르츠 이미지 처리법은 낮은 공간 해상력과 수분에 약화되는 점 때문에 한계가 존재한다. 추가로 컬러 카메라 기반 컴퓨터 영상(machine vision) 기술은 플라스틱과 같이 불투명한 이물질 검출에 효과적이지 않을 수 있으며, 채소나 컨베이어 배경과 비슷한 색의 이물질은 검출할 수 없다.
상기와 같은 종래의 제반 문제점을 해결하기 위하여 생 채소류의 가공 과정 중 실시간으로 이물질 검출이 가능한 온라인 시스템을 제공하는 데 있다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명은 영역 스캔 카메라, 릴레이 렌즈, 광학 헤드와 컨트롤러를 포함하는 LCTF 및 대물렌즈 순서로 배치되는 LCTF 기반 이미지 처리장치; 컬러 카메라; UV-A광과 백색광을 선택하여 조사할 수 있는 조명장치를 포함하는 광원; 이물질이 포함된 가공 채소류를 이송하는 컨베이어 벨트 및 스탭 모터를 포함하는 컨베이어 유닛; 및 상기 LCTF 기반 이미지 처리장치, 컬러 카메라, 광원 및 컨베이어 유닛을 제어하여 형광 이미지 및 컬러 이미지를 포함하는 데이터를 수집 및 처리하여 가공 채소류로부터 이물질을 검출하는 소프트웨어가 구동되는 컴퓨터 유닛을 포함하는 가공 채소류의 실시간 이물질 검출 시스템을 제공한다.
또한 상기 LCTF 기반 이미지 처리장치는 LCTF와 영역 스캔 카메라 노출시간을 동기화하여 바뀌는 각 파장대의 분광 이미지를 촬영하는 소프트웨어 인터페이스가 적용되는 것을 특징으로 한다.
또한 상기 형광 이미지는 상기 LCTF 기반 이미지 처리장치를 이용하여 UV-A 광원 하에서 측정되는 초분광 이미지, 다분광 이미지 또는 단일 파장대 이미지를 포함하는 것을 특징으로 한다.
또한 상기 컬러 이미지는 상기 컬러 카메라를 이용하여 백색 LED 광원 하에서 측정되는 RGB 이미지를 포함하는 특징으로 한다.
또한 상기 컨베이어 벨트는 폴리에스터 우레탄(polyester urethane) 소재를 이용하여 백색으로 구성되며, 형광 이미지가 먼저 촬영된 후 컬러 이미지가 촬영되도록 제어되는 것을 특징으로 한다.
또한 상기 형광 이미지는 420 내지 730 nm 파장대 중 최적 파장대에 대하여만 측정되며, 상기 최적 파장대는 이물질과 가공 채소류의 형광 강도가 명백히 차이나는 제1 파장대, 컨베이어 벨트에 대하여 피크를 갖는 제2 파장대, 이물질에 대하여 피크를 갖는 제3 파장대 및 가공 채소류에 대하여 피크를 갖는 제4 파장대를 포함하는 것을 특징으로 한다.
상기 제1 파장대는 430 내지 440 nm, 제2 파장대는 460 내지 470 nm, 제3 파장대는 460 내지 470 nm 또는 610 내지 620nm, 제4 파장대인 670 내지 690 nm 또는 705 내지 715 nm 를 포함하는 것을 특징으로 한다.
또한 상기 컴퓨터 유닛은, 상기 제1 파장대 및 제2 파장대에서 얻어진 형광 이미지의 평균값을 구하고 한계점을 주어 형광 이물질을 시각화한 제1 형광 이미지로 형광 이물질을 검출하거나, 상기 제3 파장대에서 얻어진 형광 이미지에 대한 제2 파장대 및 제4 파장대에서 얻어진 형광 이미지의 비율값을 구하고 한계점을 주어 형광 이물질을 시각화한 제2 형광 이미지로 형광 이물질을 검출하거나, 상기 제4 파장대에서 얻어진 형광 이미지에 대한 제3 파장대에서 얻어진 형광 이미지의 비율값을 구하고 한계점을 주어 형광 이물질을 시각화한 제3 형광 이미지로 형광 이물질을 검출하거나, 상기 제1 형광 이미지, 제2 형광 이미지 및 제3 형광 이미지를 모두 결합한 형광 이미지로 형광 이물질을 검출하는 것을 특징으로 한다.
또한 상기 컴퓨터 유닛은, 상기 컬러 이미지를 회색 스케일 이미지로 변환하고 레드(Red), 그린(Green), 블루(Blue) 각 채널의 이미지에서 빼기 연산한 후 한계값을 주어 비형광 이물질을 시각화한 컬러 이미지로 비형광 이물질을 검출하는 것을 특징으로 한다.
또한 상기 컴퓨터 유닛은 상기 형광 이미지로부터 검출되는 형광 이물질 및 상기 컬러 이미지로부터 검출되는 비형광 이물질을 함께 검출하는 것을 특징으로 한다.
또한 상기 컴퓨터 유닛은 상기 수집된 형광 이미지의 비네팅을 제거한 후 처리하는 것을 특징으로 한다.
본 발명은 생 채소류내 이물질을 검출하기 위해 형광 이미징과 컬러 이미징 두 방식의 융합 사용, 그리고 이물질 검출을 위한 이미지 처리 알고리즘을 제공한다. 본 발명은 LCTF(Liquid crystal tunable filter) 기반 분광 이미지 처리기를 사용하여 채소와 이물질들의 초분광 이미지를 촬영하고 이미지 촬영시간, 이미지 크기, 그리고 계산 시간을 감소시키기 위해 최적화된 파장(420~730 nm)을 제공한다. LCTF-이미지 처리기, 컬러 카메라, 컨베이어 벨트를 포함한 모든 하드웨어는 샘플들이 컨베이어 벨트를 통과하면서 다분광과 컬러 이미지가 동시에 촬영되도록 프로그램으로 동기화함으로써,
본 발명에 따른 가공 채소류의 실시간 이물질 검출 시스템은 최대 24 × 24 cm2의 영역을 1.6초 내에 스캔할 수 있으며, 본 실험에 사용된 양배추와 대파 외에 다른 채소에도 적용할 수 있을 것이다.
도 1은 본 발명의 일실시예에 따른 LCTF 기반 이미지 처리장치의 배치 구성을 나타낸 것이다.
도 2는 본 발명의 일실시예에 따른 제3 레이아웃에 기반하여 구성한 LCTF 기반 이미지 처리장치를 나타낸 것이다.
도 3은 본 발명의 일실시예에 따른 LCTF 기반 분광 이미지 처리장치의 소프트웨어 인터페이스를 나타낸 것이다.
도 4는 본 발명의 일실시예에 따른 가공 채소류의 실시간 이물질 검출 시스템을 이용한 이물질 검출 과정을 도식으로 나타낸 것이다.
도 5는 본 발명의 일실시예에 따른 가공 채소류의 실시간 이물질 검출 시스템을 사용하여 획득한 하이퍼큐브에서 추출한 컨베이어 벨트와 양배추 및 파 샘플의 형광 스펙트럼을 나타낸 것이다.
도 6은 본 발명의 일실시예에 따른 두 종류의 채소에서 이물질을 검출하기 위한 형광 및 컬러 이미지에 대한 데이터 처리의 워크 플로우를 설명하는 개략도를 나타낸 것이다.
도 7은 LCTF의 고르지 않은 전이 효율로 인한 비네팅 효과를 보여주는 평평한 백지의 형광 밴드 이미지를 나타낸 것이다.
도 8은 본 발명의 일실시예에 따른 이물질을 나타낸 것이다.
도 9는 본 발명의 일실시예에 따른 이물질들의 형광 스펙트럼을 나타낸 것이다.
도 10 및 11은 비형광 물질(위) 및 형광 물질(아래)을 포함하는 양배추(도 10) 및 파(도 11)의 RGB 이미지 및 4개의 최적 파장대의 형광 이미지를 나타낸 것이다.
도 12 및 13은 이물질과 혼합된 양배추 및 파의 컬러 이미지(위), 형광 기반 처리 이미지(가운데), RGB 기반 처리 이미지(아래)를 나타낸 것이다.
도 14는 본 발명의 일실시예에 따른 가공 채소류의 실시간 이물질 검출 시스템의 사진을 나타낸 것이다.
도 15는 시스템 운영을 위한 사용자 인터페이스 및 감지된 이물질의 실시간 시각화 화면을 나타낸 것이다.
본 명세서에 사용되는 모든 기술용어 및 과학용어는 다른 언급이 없는 한은 기술적으로 통상의 기술을 가진 자에게 일반적으로 이해되는 것과 동일한 의미를 가진다. 또한 본 명세서 및 청구범위의 전반에 걸쳐, 다른 언급이 없는 한 포함(comprise, comprises, comprising)이라는 용어는 언급된 물건, 단계 또는 일군의 물건, 및 단계를 포함하는 것을 의미하고, 임의의 어떤 다른 물건, 단계 또는 일군의 물건 또는 일군의 단계를 배제하는 의미로 사용된 것은 아니다.
이하에 본 발명을 상세하게 설명하기에 앞서, 본 명세서에 사용된 용어는 특정의 실시예를 기술하기 위한 것일 뿐 첨부하는 특허청구의 범위에 의해서만 한정되는 본 발명의 범위를 한정하려는 것은 아님을 이해하여야 한다.
한편, 본 발명의 여러 가지 실시예들은 명확한 반대의 지적이 없는 한 그 외의 어떤 다른 실시예들과 결합될 수 있다. 특히 바람직하거나 유리하다고 지시하는 어떤 특징도 바람직하거나 유리하다고 지시한 그 외의 어떤 특징 및 특징들과 결합될 수 있다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예 및 이에 따른 효과를 설명하기로 한다.
본 발명에 따른 가공 채소류의 실시간 이물질 검출 시스템은 LCTF 기반 이미지 처리장치, 컬러 카메라, 광원, 컨베이어 유닛 및 컴퓨터 유닛을 포함한다.
LCTF(Liquid crystal tunable filter)는 중심 파장이 전기로 조정 가능한 광학 대역필터이다. 보통의 LCTF 기반 분광 이미지 처리기는 LCTF, 대물렌즈, 카메라, 그리고 릴레이 렌즈로 이루어져 있다. 이 구성에 따라 LCTF 기반 이미지 처리장치는 도 1과 같이 총 세가지 방법으로 구성할 수 있으며, 각 방법 마다 장점과 한계가 존재한다.
도 1(a)의 제1 레이아웃은 카메라, 대물렌즈 및 LCTF 순서로 배치된다. 이 배치의 주요 장점은 간단하다는 것이다. 하지만 LCTF의 작은 조리개 때문에 렌즈의 가장자리의 투광 감소로 인해 심각한 기계적 비네팅(mechanical vignetting)을 일으킬 수 있다. 더욱이 이 배치는 보통 12~15° 정도의 제한된 수용 화각(acceptance angle of view; AOV)으로 인해 시야각(field of view; FOV)이 제한된다. 따라서 제1 레이아웃은 컴퓨터 영상 장치(machine vision applications)와 같이 넓은 부분 (FOV)을 스캔해야 하는 경우에 효과적이라고 볼 수 없다.
도 1(b)에 나타난 바와 같이 대물 렌즈를 LCTF 기반 이미지 처리기 앞에 배치, 즉 카메라, LCTF 및 대물렌즈 순서로 배치함으로써 FOV를 증가시킬 수 있다. 하지만 제2 레이아웃은 긴 플렌지 초점 거리(flange focal distance; FFD)를 가진 대물 렌즈가 있어야 물체를 카메라의 초점 평면 배열(focal plane array; FPA)에 집중시킬 수 있다. 본 발명의 일실시예에서 사용된 LCTF의 두께는 48.5mm 로, 이미지를 효과적으로 촬영하기 위해서는 FFD가 50mm를 초과하는 대물 렌즈가 요구되며, 대물 렌즈의 FOV는 LCTF의 수용각(acceptance angle)에 부합해야 한다. 하지만 이러한 렌즈는 시중에 존재하지 않고, 긴 초점거리(>70 mm)와 동시에 이런 긴 FFD를 가진 렌즈는 소수 뿐이다. 하지만 긴 초점거리를 가진 대물 렌즈는 컴퓨터 영상 시스템(machine vision system)에 사용될 수 없으며, 큰 FOV (수 cm2) 이 요구되는 경우는 더욱 그러하다.
따라서, 도 1(c)에서 보이는 바와 같이 릴레이 렌즈를 사용하여 대물렌즈의 초점거리와 FFD를 늘릴 수 있다. 즉 제3 레이아웃은 카메라, 릴레이 렌즈, LCTF 및 대물렌즈 순서로 배치된다. 이러한 제3 레이아웃은 심각한 이미지 비네팅(image vignetting)과 제1 레이아웃의 작은 FOV를 포함한 몇몇 문제를 보완해주고, FFD를 확장하는 동시에 쉬운 초점 조절로 제2 레이아웃의 한계를 극복할 수 있다.
제3 레이아웃의 경우에도 추가 디자인 비용과 분광 이미지 처리기의 크기가 커지는 문제가 있지만 본 발명은 비네팅(vignetting)이 없는 넓은 부분의 (>20 × 20 cm2) 다분광 이미지를 촬영하는 컴퓨터 영상(machine vision) 기반 시스템을 제공하는 것이고, LCTF의 조리개 지름 (20mm) 과 AOV (12°) 보다 큰 조리개와 AOV가 요구되므로 LCTF 기반 분광 이미지 처리기 개발을 위해 제3 레이아웃을 선택한다.
제3 레이아웃에 기반하여 구성한 LCTF 기반 이미지 처리장치를 도 2에 나타내었다.
본 발명에 따른 LCTF 기반 이미지 처리장치는 영역(area) 스캔 카메라, 릴레이 렌즈, 광학 헤드와 컨트롤러를 포함하는 LCTF 및 대물렌즈 순서로 배치된다. 상기 영역(area) 스캔 카메라는 형광 이미지 처리를 위해 사용되므로 통상적인 전하결합소자(Charged Coupled Device; CCD) 카메라 대신 상보형 금속산화 반도체(scientific complementary metal-oxide semiconductor; sCMOS) 카메라를 사용한다. CCD 기반 카메라와 비교하여 sCMOS 기반 카메라는 높은 양자 효율과 적은 노이즈의 장점을 갖고 있는데, 이는 낮은 단계의 형광 이미지 처리에서 중요한 사항이다.
본 발명의 실시예에서 영역(area) 스캔 카메라로 사용된 모노크롬 sCMOS 카메라(2048 × 2048 pixels, 6.5 μm pitch)의 센서 크기는 대각선으로 18.8 mm이며 400~1000 nm 분광대의 16-bit 이미지를 80%의 양자 효율로 촬영할 수 있다. 카메라는 3.1 인터페이스 USB를 통해 컴퓨터와 연결된다.
본 발명의 실시예에서 사용된 LCTF 인 Kurios-WB1 LCTF (Thorlabs. Inc.)는 조리개 크기가 20 nm 이고 550 nm에서 45%의 투과율을 가진다. LCTF 광학 헤드는 LCTF 컨트롤러를 통해 전기로 조정이 가능하며 이를 통해 가시광선 파장(420~730 nm)내의 파장을 최소 1 nm 단위로 빠르게 선택할 수 있고, 최단 파장 (420 nm)에서 최장 파장 (730 nm)으로 변경하는데 50 ms 이하의 시간만이 소모된다. LCTF 광학 헤드는 컨트롤러와 케이블로 연결되고, 컨트롤러는 USB 케이블로 컴퓨터와 연결된다.
LCTF의 대물 렌즈와 카메라 센서 사이에 무한한 공간을 만들어주는 릴레이 렌즈(Channel Systems, MB, Canada)는 주문 제작하여 사용하였다. 릴레이 렌즈는 총합 30 cm 길이의 밀봉된 광학 튜브 두개로 구성되어 있다. 릴레이 렌즈는 미세 초점 조정기를 탑재한 C-mount 대물 렌즈 인터페이스 갖고 있으며 최대 21mm 다이애거널(diagonal) 센서까지 지원한다. 릴레이 렌즈의 튜브 한 개는 LCTF를 카메라와 연결하고 나머지 하나는 LCTF를 대물 렌즈와 연결한다.
25 mm 의 초점 거리와 최대 f/2.0의 조리개를 지닌 C-mount 대물 렌즈(Kowa Optimed GmbH, Dusseldorf, Germany)가 도 2에 나타낸 바와 같이 릴레이 렌즈에 연결되었다. 선택된 대물 렌즈는 가시광선 파장 (400~750 nm) 내에서 전이 효율이 높고 25 mm 다이애거널(diagonal) 카메라 센서를 지원한다. 또한 LCTF에 닿아 발열시키는 적외선 방사선을 차단하기 위해 LCTF 전에 750 nm 숏 패스 필터(short pass filter)를 삽입하는 것이 좋다.
컴퓨터 영상(Machine vision)이나 형광 이미지 처리 시스템에서 가장 핵심적인 부분은 조명(광원)이다. 조명(광원)은 FOV 전체에 걸쳐 거의 균일 해야 하며, 그 결과로 스캐닝 중 나오는 형광 결과도 일관 되어야한다. 라인(Line) 스캔 형광 이미지 처리와는 달리 LCTF 기반의 영역(area) 스캔 이미지 처리 시스템은 영역 광원(area lighting)이 요구된다.
본 발명에 따른 LCTF 기반 이미지 처리장치는 샘플을 백색 LED로 조명하여 반사광 이미징에 사용될 수도 있고, 샘플을 자외선으로 조명하여 형광 이미징에 사용될 수도 있다. 본 발명의 일실시예에 따른 광원은 UV-A (365 nm) 광과 백색광을 선택하여 조사할 수 있는 조명장치 (ST700, Magnaflux, IL, USA)를 사용한다. 따라서 하나의 조명장치로 반사광과 형광 이미징 모두에 사용될 수 있다.
본 발명에 따른 LCTF 기반 이미지 처리장치는 LCTF와 영역 스캔 카메라 노출을 동기화하여 바뀌는 각 파장대의 분광 이미지를 촬영하는 사용하기 편리한 소프트웨어 인터페이스를 개발하기위해 LabVIEW 소프트웨어를 사용한다. 도 3에 나타난 바와 같이 LCTF 기반 분광 이미지 처리기의 소프트웨어 인터페이스는 LabVIEW의 vision development module 과 vision acquisition software (National Instruments, Austin, TX, USA) 를 통해 Microsoft Windows 환경에서 개발될 수 있다.
LCTF를 작동하고 조종하기 위해 카메라 제조사에서 제공한 software development kits (SDK)와 LCTF가 사용된다. 카메라의 SDK에는 노출 시간 선택, 카메라 노출과 프로세스 동기화 모드, 영상 압축과 부분 영상 선택, 이미지 형식 옵션, 그리고 다른 설정을 돕는 LabVIEW-Vis가 포함되어 있다. 마찬가지로 LCTF의 SDK에는 파장 선택, 컨트롤 모드 옵션, 그리고 LCTF status monitoring를 위한 sub-VI들이 포함되어 있다. 비록 LCTF 컨트롤러가 5V transistor-transistor logic signal or analog signals를 사용하여 컨트롤러로 하여금 파장을 바꾸게 하는 external triggering 옵션이 있지만, 본 발명에서 컨트롤러는 프로그램에 따라서 트리거(trigger)되게 하고 노출시간과 동기화하였다.
LCTF의 최적 작동 온도는 35 내지 45℃이다. 온도가 너무 낮거나 너무 높으면 파장의 통과대역이 달라지고 파장대 변경 속도가 느려질 수 있다. 따라서 시스템의 성능과 안전 보장을 위해 프로그램으로 온도를 실시간 모니터링한다. 카메라의 온도 또한 작동 중에 모니터링 된다. 카메라나 LCTF 중 하나라도 프로그래밍한 온도(예를 들어, 40℃)를 넘으면, 경고 메시지 출력과 함께 온도가 정상화될 때까지 영상처리 시스템이 자동으로 휴면 상태가 되도록 한다.
본 발명 시스템에 적용되는 소프트웨어 인터페이스는 데이터 수집을 세가지 모드로 수행한다. 초분광 이미지 처리 모드에서는 사용자가 파장 범위와 파장대를 입력해 스캔한 샘플들의 완전한 하이퍼큐브(complete hypercube)를 얻을 수 있다. 선택한 파장대의 이미지를 얻기 위해서는 다분광 이미지 처리 모드를 선택한 후 사용자가 파장 길이와 파장대 수(최소 2개)를 입력하면 된다. 나아가 초분광 이미지 처리 모드에서 선택한 파장 길이 범위와 다분광 이미지 처리 모드에서 선택한 파장 길이를 저장할 수 있다. 단일 파장대 이미지 처리 모드는 특정한 한 개 파장대의 이미지를 촬영하고 저장한다. 상기한 세가지 모드 모두 촬영한 이미지를 TIFF 형식으로 정의한 파일 이름과 경로에 저장할 수 있다.
LCTF 기반 이미지 처리장치로부터 최상의 결과를 얻기 위해서 스펙트럼 영역 및 공간 영역(spectral and spatial domains)을 보정하는 것이 좋다. 그러나 제조사들이 LCTF들의 스펙트럼 영역(spectral domain)을 이미 보정하였고, 과거 보고서들에 따르면 제조사가 명시한 피크(peak)들과 실제 측정한 피크들의 오차가 최대 2 nm 였으므로 (Markstrom & Mabbott, 2011; Wang et al., 2012b), 이러한 영역 보정은 생략할 수 있다.
도 4에 본 발명의 일실시예에 따른 가공 채소류의 실시간 이물질 검출 시스템을 이용한 이물질 검출 과정을 도식으로 나타내었다. 시스템은 앞서 언급한 LCTF 기반 이미지 처리장치와 UV-A (365 nm) 광원, 컬러 카메라와 어두운 방안에 나란히 2열로 배치된 백색 LED 광원, 컨베이어 벨트, 스텝모터, 모터제어기를 포함하는 컨베이어 유닛 그리고 컴퓨터 유닛으로 구성되어 있다.
LCTF 기반 이미지 처리장치의 형광 이미지 처리는 이물질들의 형광에만 민감하게 반응하므로, 다색 이물질들을 검출하기 위해 같은 장면의 컬러 이미지(RGB 이미지)를 촬영하는 컬러 카메라를 함께 사용한다. 본 발명의 실시예에서 컬러 카메라는 5-megapixel CMOS camera (Hikvision, MA, USA)로 25mm 초점거리의 대물렌즈를 사용한다. 컨베이어 유닛 위 샘플들의 컬러 이미지는 백색 LED 조명에 의해 촬영된다. 형광, 컬러 이미지 처리장치 두개의 센싱 유닛들은 5mm 두께의 검은 판(partition)으로 나누어 컬러 이미지 처리를 위한 백색 LED 조명과 형광 이미지의 UV-A 조명이 서로 간섭되지 않도록 한다.
상기 컨베이어 유닛은 폴리에스터 우레탄(polyester urethane) 소재로 제작된 하얀색의 컨베이어 벨트를 사용한다. 자주 발생하는 A4 종이 조각나 휴지와 같은 하얀 색 이물질은 높은 형광 신호 때문에 형광 이미지 처리로 검출할 수 있기 때문에 하얀 컨베이어 벨트를 사용한다. 컨베이어 벨트와 같은 색의 이물질이 비형광 물질인 경우는 컬러 이미지 처리로도, 형광 이미지 처리로도 검출할 수 없다. 또한 컨베이어 벨트(polyester urethane) 의 특성상 도 5에 나타난 바와 같이 465 nm 쯤에 강한 형광 피크(strong fluorescence peak)가 있다. 따라서 컨베이어 벨트 위 비형광 물질은 컨베이어 벨트의 형광 세기와 비교하여 상대적으로 낮은 형광도를 가지므로 450 내지 500 nm의 파장으로 검출할 수 있다.
컨베이어 벨트의 동작은 프로그램으로 제어되고 샘플들의 형광 이미지가 먼저 촬영된 후, 컬러 이미지가 촬영되도록 센싱 유닛과 동기화하였다. 속도 기반(Speed-specific) 혹은 토크 기반(torque-specific)의 스텝 모터(step motor) 대신 위치 기반(position-specific) 스텝 모터를 사용하여 샘플들을 촬영 위치를 정밀하게 제어할 수 있다.
본 발명은 생 채소류내 이물질의 빠른 검출을 위한 형광 및 컬러 융합 이미지 처리 기반의 온라인 시스템으로써 데이터 분석 전략의 두가지 주요 요소는 (1) 최적의 파장대를 찾아 데이터 치수(data dimension)를 줄임으로써 데이터 습득 시간과 계산 시간을 줄이는 것, (2) 이미지 프로세싱 알고리즘을 간단하게 유지해 실시간 이미지 분석을 촉진하는 것이다.
따라서 형광 이미지 처리를 위한 초기 최적 파장대는 각 채소와 이물질의 형광 스펙트럼을 추출해 육안으로 판단하여 선택한다. 우선 채소, 컨베이어 벨트, 그리고 이물질들의 형광 최대치를 기준으로 최적 분광대(spectral band)를 선택한다. 그 다음 이미지 비율과 이미지 가중(summation), 감가(subtraction), 그리고 간단한 이미지 한계값(thresholding)를 활용하는 간단하지만 효과적인 이미지처리 알고리즘을 개발하여 선택한 형광 밴드와 컬러 이미지를 분석한다. 형광과 컬러 이미지 처리 분석 순서도는 도 6과 같다.
촬영한 LCTF 기반 분광 이미지들은 LCTF의 비균일한 전이 효율 때문에 비네팅의 영향을 받을 수 있다. 또한 도 7에 나타난 바와 같이 비네팅의 패턴 또한 밴드 이미지 마다 다를 수 있다. 따라서 데이터 분석을 거치기 전 이미지들의 비네팅을 제거해야 한다. 본 발명에서는 비네팅 수정을 위해 LabView의 내장함수 VI를 사용하였다. 비네팅이 수정된 이미지들은 도 7에 나타나있다. 선택된 모든 밴드 이미지들은 데이터 분석 진행 전에 비네팅 수정을 거쳤다. 하지만 컬러 이미지에서는 비네팅 현상이 발견되지 않았다.
<실시예 및 실험예>
양배추와 파 두 가지 종류의 생 채소 샘플을 대전의 한 식재료 가공 공장에게서 제공받았다. 이 두 채소는 형광에 다르게 반응하며 색이 달라 실험에 사용되었다. 양배추 샘플은 연한 녹색이면서 약간 하얗지만, 파는 진한 녹색에서 연한 녹색, 노란 빛이 띄는 하얀색에서 투명한 하얀색까지 색이 다양하다. 따라서 형광 스펙트럼과 색 농도가 색에 따라 다양하게 분포한다.
같은 가공 회사로부터 생 채소에 의도치 않게 들어갈 수 있는 다양한 물질들을 제공받았다. 이 이물질들은 도 8에 나타난 바와 같으며, 투명하거나 유색인 플라스틱 조각, 채소 껍질 잔여물, 여러 종류의 곤충, 작은 금속 조각, 그리고 나무가지와 가공 목재인 이쑤시개와 면봉 같은 다양한 나무 조각을 포함한다.
이물질들과 채소들의 모든 이미지들은 형광 이미지 처리와 컬러 카메라 모두 이용하여 촬영하였다. 각 채소를 위해 여섯 개의 개별 실험 세트를 준비하였다. 실험 세트 1에서는 금속 조각, 곤충, 비형광 플라스틱, 나무 조각을 포함한 비형광 이물질들을 채소와 섞었다. 실험 세트 2에서는 오직 형광 이물질만 채소와 섞었다. 본 연구에 사용된 형광, 비형광 이물질들은 도 8과 같다. 이후 4개 실험 세트는 형광, 비형광 이물질 모두를 채소와 섞은 것이다.
이물질과 섞인 채소들의 형광, 컬러 이미지가 각 실험 세트마다 촬영되었다. 형광 이미지들은 도 4에 나타낸 바와 같이 샘플들을 컨베이어 유닛에 배치한 후 UV-A 조명 하에서 촬영했다. LCTF 기반 형광 이미지 처리기의 FOV는 이미지 처리기가 컨베이어 벨트 82 cm 위에 고정되었을 때 24 × 24 cm2 였고, nominal pixel size 는 85 μm였다. 형광 데이터는 420~730 nm 분광대에서 5 nm 단위로 150 ms의 노출 시간으로 획득하였다. 4 × 4 의 spatial binning의 결과 512 × 512 × 63 의 hypercube (512 × 512 image size and 63 bands)가 구성되었다. 또한 RGB 이미지는 백색 LED로 조명된 상태에서 획득되었고 CCD 노출 시간은 최적의 이미지 화질을 위해 10 ms으로 설정하였다. LCTF 기반 형광 이미지 처리로 습득한 하이퍼큐브(hypercube)와 컬러 카메라로 촬영한 사진들은 추후 분석을 위해 저장되었다.
(1) 컨베이어 벨트, 가공 채소류 및 이물질의 형광 특성
플라스틱은 생 채소류에서 가장 많이 발견되는 이물질 중 하나이기에, 형광 검출을 위해 고분자만의 광여기(photoexcitation)로 인한 고유의 형광 패턴을 이용한다. 널리 사용된 시중의 플라스틱들은 증백제(optical brightener)와 같은 첨가물 때문에 높은 형광값을 갖는다. 본 발명에 따른 실시예에서 사용된 형광성의 플라스틱 (고분자) 이물질들은 polyethylene terephthalate (PET), polypropylene (PP), polypropylene-isotactic, nylon, 그리고 acrylonitrile-butadiene-styrene copolymer (ABS)로 이루어졌다. 비형광 플라스틱은 polyethylene (PE), PP, olefin, low density polyethylene (LDPE), 그리고 black-coated nylon으로 만들어진다. 이 고분자 (플라스틱)들은 FT-IR reference spectra로 식별하였다. 모든 플라스틱 이물질들의 FT-IR spectra는 attenuated total reflectance(ATR) 샘플링 기술(sampling technique)이 장착된 Nicolet 6700 (Thermo Scientific Co.) FT-IR spectrometer로 측정하였다. 기록된 모든 스펙트럼들은 고분자 종류 확인을 위해 spectral library (Hummel Polymer and Additives, Polymer Laminate Films)와 비교하였다.
다양한 색깔(초록, 파랑, 하양, 검정 등)의 다양한 재료로 만들어진 컨베이어 벨트들의 형광 특징을 초기에 실험하였다. 하지만 채소 가공 중 비형광성 이물질을 컨베이어 유닛 위에서 검출하기 위해서는, 형광 강도의 차이로 이물질을 검출할 수 있도록 컨베이어 벨트 자체의 형광 특성이 있어야한다. 따라서 본 실시예에서는 465 nm 정도에서 강한 형광성을 띈 polyester urethane 재질의 하얀 컨베이어 벨트를 사용하였다. 더욱이 백색 컨베이어 벨트는 다른 색과 달리 컬러 이미지 처리 과정에서 백색이 아닌 칼라의 이물질을 색 대조로 검출을 할 수 있다는 장점이 있다.
도 5에 나타난 것과 같이 생 채소의 형광 스펙트럼은 양배추의 경우 685 nm, 파의 경우 710 nm에서 강한 형광 peak를 보여준다. 이 두가지 peak는 각각 가시광선내 붉은 영역과 근적외선 영역에 위치하고 있으며, 이 채소들의 엽록소 성분 때문에 발생한다. 680 nm과 710 nm 근처의 엽록소 형광은 식물내 광합성 기구의 전자 전이 메커니즘을 설명하는데 사용되어왔다. 각 이물질의 형광 스펙트럼 또한 형광 hypercube 데이터 세트에서 추출하여 평가하였다. 형광에 민감한 이물질들의 형광 스펙트럼은 도 9에 나타나있다. 대부분의 형광성 이물질들은 465 nm 혹은 615 nm 근처에 높은 강도의 peak가 있다. 하지만 앞서 언급한 플라스틱, 곤충, 금속, 혹은 어두운 나무 조각에선 형광 신호가 발견되지 않았다.
(2) 채소 내 이물질 검출을 위한 최적 파장대 선정
산업적 관점에서 볼 때, 샘플들의 전 파장 범위(420~730 nm) 의 이미지를 촬영하는 것은 앞서 언급한 이유들 때문에 비효율적이다. 따라서 데이터 습득 시간과 데이터 프로세싱 부하를 줄이기 위해 생 채소내 이물질 검출을 위한 최적의 파장대를 선정하였다. Data dimension을 줄이기 위해 최적 파장대를 선택할 때 principal component analysis (PCA) 와 analysis of variance (ANOVA)가 가장 보편적으로 사용된다. 이 두 방법은 특히 샘플 특징을 두세 그룹으로 분류하기 위한 최적의 파장 조합을 찾을 때 효과적이다. 그러나 본 발명에서는 컨베이어 밸트와 그 외의 그룹(채소 및 이물질)을 먼저 구분하고, 이후 채소와 이물질을 또 구분해야 하는 다중 분류의 문제이므로 좀 더 복잡하다.
컨베이어의 형광 스펙트럼을 기준으로 가장 높은 형광값을 갖는 465 nm 파장 이 선택되었다. 도 10 및 11에 나타난 바와 같이 컨베이어 벨트에서 나오는 형광 신호는 비형광 이물질들에 의해 차단이 되므로 형광 강도가 낮아지게 된다. 따라서 465 nm 밴드 이미지를 이용해 비형광 이물질을 구분할 수 있다. 같은 이유로 675 nm와 710 nm 에서 각각 높은 형광값을 나타내는 양배추와 파 샘플에는 해당 파장을 사용하여 이물질을 검출하고자 하였다. 앞서 언급한 것처럼 대부분의 형광성 이물질들은 465 nm 혹은 615 nm에서 강한 형광 peak를 가진다. 따라서 형광성 이물질들은 이 두 밴드 이미지를 활용해 검출할 수 있다. 615 nm 파장이 컨베이어 벨트나 채소 로부터 강한 간섭을 받지 않으므로 형광성 이물질 검출에 활용되었다. 하지만 도 10 및 11에 나타난 바와 같이 465 nm 파장이 채소에서 발생하는 형광 신호에 간섭을 받는 문제가 발생했다. 특정 이물질과 채소들의 특정 부위가 비슷한 형광 강도를 가지므로 이 waveband image 때문에 거짓 양성 반응 결과가 나올 수 있다. 이러한 경우는 이물질과 채소의 형광 강도가 명백히 차이 나는 435 nm waveband image를 활용하여 문제를 해결하였다. 이 파장대의 이물질들의 상대적으로 낮은 형광 강도를 고려하여, 두 band image (435 nm 와 465 nm)의 평균값을 구하고 한계점을 주어 형광 이물질들을 시각화하였다.
(3) 형광 이미지 기반 이물질 검출
채소내 형광성 이물질만 포함한 시험 set-1은 이물질을 채소와 컨베이어 벨트 배경과 구분하기 위한 최적 한계치를 정하는데 사용되었다. 형광성 이물질 검출을 위한 한계치는 시험 set-2에서 정해졌다. 각 시험에서 거짓 음성, 거짓 양성을 최소화하는 이물질 구분 문턱값을 결정하였다. 따라서 선택된 한계치에 따라 채소와 섞인 모든 이물질들은 최소한의 오분류로 분류되게 된다. 또한 선택된 이물질 구분 문턱값들은 도 12 및 13에서 나타난 바와 같이 나머지 네 세트의 검증 시험에도 사용되었다.
개발한 형광 이미지 기반 이물질 검출 알고리즘의 결과는 도 12의 중간 이미지에 나타난 바와 같다. 이물질의 존재와 위치를 시각화하기 위해 검출 결과 이미지를 샘플 분광 이미지와 합쳐서 나타내었다. 표 1 및 2는 각각 양배추와 파 샘플내 이물질을 정확하게 검출한 숫자를 보여준다.(FMs: Foreign materials; FL: Fluorescence imaging; RGB: Color imaging) 개발한 LCTF 기반 형광 이미지 처리 시스템의 평균 검출 정확도는 두 채소 모두 85% 이상이었다. 투명한 플라스틱, 얇은 나일론 막대, 작은 나무조각을 포함한 형광성 이물질들 모두 채소에서 성공적으로 검출되었다. 하지만 작은 금속조각, 짙은 미세 나무조각, 작은 노랑 또는 초록색 플라스틱과 같은 작은 비형광성 이물질들은 검출할 수 없었다. 따라서 이러한 작은 비형광성 나무 조각을 검출하기 위해 실험 세트 1을 기반으로 global threshold value를 조정하면 샘플 모서리를 이물질로 분류하면서 많은 false-positive pixels이 발생했다. 샘플 모서리의 간섭 현상은 두 개의 형광 조명 유닛을 마주보게 배치함으로써 완화하거나 완전히 제거할 수 있다.
Figure 112020121414717-pat00001
Figure 112020121414717-pat00002
(4) 컬러 이미지 기반 이물질 검출
색상 선별은 채소내 이물질 검출에 있어 가장 정확한 방식은 아니다. 하지만 컬러 이미지 처리를 사용하면 형광 이미지 처리로 검출하지 못한 유색 이물질 중 컨베이어 벨트와 다른 색의 이물질들을 검출할 수 있어 사용하였다. 도 12 및 13에 나타난 촬영된 사진들은 도 6에 나타난 바와 같이 이미지 처리 과정을 거쳤다. 형광 이미지 처리와는 달리 컬러 이미지 처리과정은 간단하다. 컬러 (RGB) 이미지를 우선 회색 스케일 이미지로 변환하고, 각 채널(red, green, and blue)의 이미지에서 이를 빼기 연산을 한다. 분류를 위한 문턱값의 결정은 가장 낮은 false-negative와 false-positive pixels수를 기준으로 한다.
검출된 이물질의 이진영상을 채소 이미지의 red channel 이미지에 겹쳐 보이게 하여 도 12에 나타내었다. 또한 칼라 이미지에 의한 검출 정확도를 표 1과 2에 나타내었다. 결과표에서 컬러 이미지 처리를 사용한 검출법은 형광 이미지 처리 검출법에 비해 정확도가 확연히 낮음을 볼 수 있다. 상대적으로 낮은 검출 정확도는 비슷한 색상의 물체들을 구분하지 못하는 한계에서 비롯된다. 본 실시예에서 실험된 채소들은 양배추의 경우에는 녹색을 띤 하얀색에서 누르스름한 색, 파의 경우에는 어두운 초록색에서 밝은 초록색, 하얀색, 그리고 연한 노란색을 띈다. 따라서 이 색상들과 비슷한 색의 이물질들은 컬러 이미지로는 쉽게 검출할 수 없었다. 양배추와 파 샘플에 포함된 이물질 검출 정확도는 각각 58%와 65%의 평균 정확도(averaging accuracies for all four replications)를 보였다.
(5) 형광 및 컬러 이미지 결합한 이물질 검출
컬러 이미지 시스템은 농산품 품질 분석에 일상적으로 사용되지만, 채소 내 분포하는 컬러의 다양성 때문에 이물질을 정확하게 구분하여 검출하기 어렵다. 컬러 카메라의 색상 구분력은 채소샘플과 이물질들의 색상 차이에 의해 결정된다. 반면에 형광 이미지 처리는 각 이물질과 채소의 색깔과는 별개로 형광 특성을 통해 고유한 특징을 인식하는 것이 가능하다. 비형광성 이물질은 형광성 배경의 컨베이어벨트를 이용함으로써 검출할 수 있다. 하지만 이물질이 채소와 같은 형광 특징을 지녔거나 작은 비형광성 이물질이 주변 물체의 형광에 영향을 받는다면 검출이 불가능할 수 있다. 따라서 형광과 컬러 이미지처리를 같이 사용함으로써 검출 정확도를 향상시킬 수 있다.
표1 과 2는 형광과 컬러 이미지 처리를 종합해 채소내 이물질 검출 정확도를 나타내었다. 종합 검출 정확도는 형광과 컬러 검출 결과 중 하나라도 이물질을 검출되었으면 검출된 것으로 간주하여 계산한 결과이다. 양배추와 채소내 이물질 검출 실험을 4번 반복 한 평균 검출 정확도는 95% 이상이었다. 짙은 나무 조각들은 컬러 이미지 결과에서 부분적으로 검출되었다. 하지만 작은 금속 조각들은 형광, 컬러 이미지 처리 중 어느 방식으로도 검출되지 않았다. 도출된 결과는 두가지 이미지 처리 방식들을 융합함으로써 검출 정확도를 더욱 높일 수 있음을 보여주었다.
(6) 산업적 환경에의 적용 가능성
대부분의 센싱 기구들은 실험실 규모에서 잘 작동하더라도 산업적 환경에서 동일하게 작동하지 않는 경우가 대부분이다. 실험실에서 실험된 광학 센싱 유닛들을 산업적 환경에 적용했을 때 성능에 영향을 줄 수 있는 요인은 크게 세가지가 있다: (1) 온도와 습도 등의 환경적 요인; (2) 주변 잡광에 노출되는 것을 포함한 조명 효과; (3) 모양, 크기, 색상, 그리고 축축함과 건조함과 같은 샘플들의 물리적 특성의 다양성. 따라서 환경의 영향을 최소화하기 위해 본 실시예에서 사용된 센싱 유닛(LCTF-based imager)은 주문 디자인한 알루미늄 프레임으로 커버링하였고, 컬러 카메라, 조명 유닛, 모션 컨트롤러 보드, 그리고 컴퓨터 CPU 유닛을 포함한 모든 하드웨어는 도 14에 나타난 바와 같이 밀봉된 검은 케이스 내부에 설치하였다.
형광 및 컬러 두 방식의 센싱 유닛들을 컨베이어 벨트의 움직임과 동기화하여 다분광 형광 및 컬러 이미지를 촬영하기 위한 소프트웨어 인터페이스를 개발하였다. 노출시간, 영상 압축, 측정할 파장, 그리고 이미지 처리 매개변수 (threshold values)과 같은 미리 정의된 이미징 매개 변수들은 상수로 설정하였다. 소프트웨어 인터페이스의 프런트 패널은 도 15에 나타난 바와 같다.
소프트웨어 프로그램은 처음에 LCTF, 분광 카메라, 컬러 카메라의 상태를 확인하고 보여준다. 시작 버튼을 누르면 컨베이어 벨트(24 × 24 cm2)위 샘플의 형광 분광 이미지(4가지 파장)가 촬영된다. 컨베이어가 컬러 카메라의 FOV로 옮겨지면 같은 영역의 컬러 이미지가 촬영된다. 촬영된 샘플들의 형광과 컬러 이미지들은 동시에 처리되면서 검출된 이물질들은 두가지 이미지 창 (도 15에서 왼쪽은 형광, 오른쪽은 컬러 이미징 결과)에 나타나게 된다. 이물질이 검출되면 컨베이어벨트가 자동으로 멈춰져 사용자가 컴퓨터 화면에 비춰진 검출 이미지를 보고 직접 이물질을 제거할 수 있다. 이물질이 검출되지 않으면 'Stop' 혹은 'Quit' 버튼이 눌리기 전까지 컨베이어 벨트는 계속해서 돌아가고 형광과 컬러 이미지들은 촬영됨과 동시에 결과 이미지가 보여진다.
생 채소 가공 공정에 설치된 이물질 검출 시스템의 성능을 실험하기 위해 양배추와 파 샘플을 수동으로 컨베이어 벨트에 올렸다. 이물질은 채소가 컨베이어 벨트를 통과하는 동안 무작위적으로 추가하였다. 상기한 이물질 외에 투명하고 다양한 색의 HDPE, 투명한 LDPE, 노란색과 갈색의 포장 테이프, A-4 사이즈 종이와 휴지, 노란색과 검은색 고무줄, 돌, 스티로폼, 금속(stepper pin과 바늘) 등의 이물질을 추가하였다. 상기한 이물질 대부분은 개발된 이미지 처리 시스템을 사용해 형광 또는 컬러 이미징을 통해 검출할 수 있었다. 하지만 투명한 LDPE, 스티로폼, 작은 stepper pin과 바늘은 검출할 수 없었다. 이 중 금속(쇠) 이물질의 효과적인 검출과 제거를 위해 컨베이어 벨트의 일정 위치에 자석 막대를 설치해 쇠 이물질을 제거하면 효과적일 것이다.
개발한 시스템은 24 × 24 cm2의 영역을 분석하고 결과를 도출하는데 약 1.6초가 소요되었는데, 이미지 촬영 속도는 0.6초이며 25 cm/s의 속도로 설정된 컨베이어 벨트가 한 지점에서 다른 지점으로 움직이는 데는 1초가 걸렸다. 이물질들은 컨베이어 벨트 위 그리고 채소내 모두에서 효과적으로 검출되었지만 채소 샘플들과 완전히 겹쳐진 이물질은 검출이 어려웠다. 따라서 본 발명에 이어 샘플들과 이물질들이 겹쳐질 확률을 줄이기 위해 자동 피더(feeder)와 쉐이커(shaker) 개발 연구가 추가로 필요하다. 또한 개발된 시스템에서 검출된 각 이물질들의 위치 좌표가 제공이 되므로 검출된 이물질들을 자동으로 제거하는 리젝터(rejecter)도 설치하여 활용할 수 있다.
전술한 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의하여 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 영역 스캔 카메라, 릴레이 렌즈, 광학 헤드와 컨트롤러를 포함하는 LCTF 및 대물렌즈 순서로 배치되는 LCTF 기반 이미지 처리장치;
    컬러 카메라;
    UV-A광과 백색광을 선택하여 조사할 수 있는 조명장치를 포함하는 광원;
    이물질이 포함된 가공 채소류를 이송하는 컨베이어 벨트 및 스탭 모터를 포함하는 컨베이어 유닛; 및
    상기 LCTF 기반 이미지 처리장치, 컬러 카메라, 광원 및 컨베이어 유닛을 제어하여 형광 이미지 및 컬러 이미지를 포함하는 데이터를 수집 및 처리하여 가공 채소류로부터 이물질을 검출하는 소프트웨어가 구동되는 컴퓨터 유닛;을 포함하는 가공 채소류의 실시간 이물질 검출 시스템.
  2. 제1항에 있어서,
    상기 LCTF 기반 이미지 처리장치는 LCTF와 영역 스캔 카메라 노출시간을 동기화하여 바뀌는 각 파장대의 분광 이미지를 촬영하는 소프트웨어 인터페이스가 적용되는 것을 특징으로 하는 가공 채소류의 실시간 이물질 검출 시스템.
  3. 제1항에 있어서,
    상기 형광 이미지는 상기 LCTF 기반 이미지 처리장치를 이용하여 UV-A 광원 하에서 측정되는 초분광 이미지, 다분광 이미지 또는 단일 파장대 이미지를 포함하는 것을 특징으로 하는 가공 채소류의 실시간 이물질 검출 시스템.
  4. 제1항에 있어서,
    상기 컬러 이미지는 상기 컬러 카메라를 이용하여 백색 LED 광원 하에서 측정되는 RGB 이미지를 포함하는 특징으로 하는 가공 채소류의 실시간 이물질 검출 시스템.
  5. 제1항에 있어서,
    상기 컨베이어 벨트는 폴리에스터 우레탄(polyester urethane) 소재를 이용하여 백색으로 구성되며, 형광 이미지가 먼저 촬영된 후 컬러 이미지가 촬영되도록 제어되는 것을 특징으로 하는 가공 채소류의 실시간 이물질 검출 시스템.
  6. 제1항에 있어서,
    상기 형광 이미지는 420 내지 730 nm 파장대 중 최적 파장대에 대하여만 측정되며,
    상기 최적 파장대는 이물질과 가공 채소류의 형광 강도가 명백히 차이나는 제1 파장대, 컨베이어 벨트에 대하여 피크를 갖는 제2 파장대, 이물질에 대하여 피크를 갖는 제3 파장대 및 가공 채소류에 대하여 피크를 갖는 제4 파장대를 포함하는 것을 특징으로 하는 가공 채소류의 실시간 이물질 검출 시스템.
  7. 제6항에 있어서,
    상기 제1 파장대는 430 내지 440 nm, 제2 파장대는 460 내지 470 nm, 제3 파장대는 460 내지 470 nm 또는 610 내지 620nm, 제4 파장대인 670 내지 690 nm 또는 705 내지 715 nm 를 포함하는 것을 특징으로 하는 가공 채소류의 실시간 이물질 검출 시스템.
  8. 제6항에 있어서,
    상기 컴퓨터 유닛은,
    상기 제1 파장대 및 제2 파장대에서 얻어진 형광 이미지의 평균값을 구하고 한계점을 주어 형광 이물질을 시각화한 제1 형광 이미지로 형광 이물질을 검출하거나,
    상기 제3 파장대에서 얻어진 형광 이미지에 대한 제2 파장대 및 제4 파장대에서 얻어진 형광 이미지의 비율값을 구하고 한계점을 주어 형광 이물질을 시각화한 제2 형광 이미지로 형광 이물질을 검출하거나,
    상기 제4 파장대에서 얻어진 형광 이미지에 대한 제3 파장대에서 얻어진 형광 이미지의 비율값을 구하고 한계점을 주어 형광 이물질을 시각화한 제3 형광 이미지로 형광 이물질을 검출하거나,
    상기 제1 형광 이미지, 제2 형광 이미지 및 제3 형광 이미지를 모두 결합한 형광 이미지로 형광 이물질을 검출하는 것을 특징으로 하는 가공 채소류의 실시간 이물질 검출 시스템.
  9. 제1항에 있어서,
    상기 컴퓨터 유닛은,
    상기 컬러 이미지를 회색 스케일 이미지로 변환하고 레드(Red), 그린(Green), 블루(Blue) 각 채널의 이미지에서 빼기 연산한 후 한계값을 주어 비형광 이물질을 시각화한 컬러 이미지로 비형광 이물질을 검출하는 것을 특징으로 하는 실시간 이물질 검출 시스템.
  10. 제1항에 있어서,
    상기 컴퓨터 유닛은 상기 형광 이미지로부터 검출되는 형광 이물질 및 상기 컬러 이미지로부터 검출되는 비형광 이물질을 함께 검출하는 것을 특징으로 하는 실시간 이물질 검출 시스템.
KR1020200151277A 2020-11-12 2020-11-12 Lctf-기반 다분광 영상 기술을 이용한 가공 채소류 내 포함된 이물질 실시간 검출 시스템 KR102240757B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200151277A KR102240757B1 (ko) 2020-11-12 2020-11-12 Lctf-기반 다분광 영상 기술을 이용한 가공 채소류 내 포함된 이물질 실시간 검출 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200151277A KR102240757B1 (ko) 2020-11-12 2020-11-12 Lctf-기반 다분광 영상 기술을 이용한 가공 채소류 내 포함된 이물질 실시간 검출 시스템

Publications (1)

Publication Number Publication Date
KR102240757B1 true KR102240757B1 (ko) 2021-04-14

Family

ID=75477750

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200151277A KR102240757B1 (ko) 2020-11-12 2020-11-12 Lctf-기반 다분광 영상 기술을 이용한 가공 채소류 내 포함된 이물질 실시간 검출 시스템

Country Status (1)

Country Link
KR (1) KR102240757B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023080385A1 (ko) * 2021-11-03 2023-05-11 ㈜레이텍 테라헤르츠 기술과 초분광 기술을 적용한 다기능 복합 이물질 검사 장치
KR20230097603A (ko) 2021-12-24 2023-07-03 순천대학교 산학협력단 스마트온실 레일 촬영 장치와 영상수집 방법
KR102690952B1 (ko) * 2021-12-03 2024-08-05 인사이트뷰테크 주식회사 라만 분광 라이브러리 생성 방법, 라만 분광 라이브러리 저장 매체 및 라만 분광 분석 장치
WO2024175717A1 (en) 2023-02-22 2024-08-29 Katholieke Universiteit Leuven Detection of contaminating foreign material in food product streams

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007178407A (ja) * 2005-12-28 2007-07-12 Yamatake Corp 検査対象物の異物混入検査方法及びこれに用いる異物混入検査装置
JP4220285B2 (ja) * 2003-03-31 2009-02-04 日世株式会社 食品中の異物・夾雑物の検出方法
JP2020112475A (ja) * 2019-01-15 2020-07-27 カゴメ株式会社 異物判別方法、加工農作物の製造方法、食品検査装置、及び異物除去システム
KR20200105109A (ko) * 2019-02-28 2020-09-07 충남대학교산학협력단 다분광 형광 영상을 이용한 가공 채소류 측 이물질 검출시스템 및 검출방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4220285B2 (ja) * 2003-03-31 2009-02-04 日世株式会社 食品中の異物・夾雑物の検出方法
JP2007178407A (ja) * 2005-12-28 2007-07-12 Yamatake Corp 検査対象物の異物混入検査方法及びこれに用いる異物混入検査装置
JP2020112475A (ja) * 2019-01-15 2020-07-27 カゴメ株式会社 異物判別方法、加工農作物の製造方法、食品検査装置、及び異物除去システム
KR20200105109A (ko) * 2019-02-28 2020-09-07 충남대학교산학협력단 다분광 형광 영상을 이용한 가공 채소류 측 이물질 검출시스템 및 검출방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023080385A1 (ko) * 2021-11-03 2023-05-11 ㈜레이텍 테라헤르츠 기술과 초분광 기술을 적용한 다기능 복합 이물질 검사 장치
KR102690952B1 (ko) * 2021-12-03 2024-08-05 인사이트뷰테크 주식회사 라만 분광 라이브러리 생성 방법, 라만 분광 라이브러리 저장 매체 및 라만 분광 분석 장치
KR20230097603A (ko) 2021-12-24 2023-07-03 순천대학교 산학협력단 스마트온실 레일 촬영 장치와 영상수집 방법
WO2024175717A1 (en) 2023-02-22 2024-08-29 Katholieke Universiteit Leuven Detection of contaminating foreign material in food product streams

Similar Documents

Publication Publication Date Title
KR102240757B1 (ko) Lctf-기반 다분광 영상 기술을 이용한 가공 채소류 내 포함된 이물질 실시간 검출 시스템
KR102003781B1 (ko) 초분광영상화 기법을 이용한 글라스(Glass) 결함 검출 장치
US20150317505A1 (en) Latent fingerprint detectors and fingerprint scanners therefrom
US9759662B2 (en) Examination device and examination method
WO2012074372A2 (en) A system for fruit grading and quality determination
JP2006170669A (ja) 青果物の品質検査装置
Lee et al. Correlation analysis of hyperspectral imagery for multispectral wavelength selection for detection of defects on apples
JP2008209211A (ja) 異物検査装置および異物検査方法
AU2011200034A1 (en) Equipment and method for analyzing image data
Lohumi et al. LCTF-based multispectral fluorescence imaging: System development and potential for real-time foreign object detection in fresh-cut vegetable processing
JP2013164338A (ja) 植物または植物加工品の異物検出方法
CN114127520A (zh) 光谱仪装置
AU741629B2 (en) Fiber quality monitor
US20060066846A1 (en) Apparatus and method for detection of contaminant particles or component defects
JP5298684B2 (ja) 異物の検出装置及び検出方法
JP2016090476A (ja) 異物検出方法
JP6801156B2 (ja) シート検査装置
JP2011033612A (ja) 農産物検査装置
Mo et al. Discrimination methods for biological contaminants in fresh-cut lettuce based on VNIR and NIR hyperspectral imaging
JP7355408B2 (ja) 撮像装置
Huang et al. Early detection of bruises on apples using near-infrared hyperspectral image
Park et al. Line-scan hyperspectral imaging for real-time poultry fecal detection
Carlsohn Spectral image processing in real-time
US20050017186A1 (en) Method and means for detecting internal larval infestation in granular material
KR102394422B1 (ko) Nir 스펙트럼 영상 기술을 이용한 식품 표면 이물 검사 광학장치