KR101203990B1 - 형광영상을 이용한 방울토마토 열과 검출 방법 - Google Patents

Abstract

본 발명은 자외선으로 조사된 토마토에서 방출되는 특정 파장의 형광을 EMCCD(electron multiplying charge-coupled device) 카메라로 이미지를 촬영하는 단계; 및 상기 카메라에 촬영된 이미지를 영상처리 알고리즘을 통해 분석하는 단계를 포함하는 토마토의 열과 검출 방법에 관한 것이다.

Description

형광영상을 이용한 방울토마토 열과 검출 방법{Method for detecting cracking of fruit of cherry tomato using fluorescence imaging}

본 발명은 형광영상을 이용하여 과숙된 토마토의 과피 균열 여부를 검출할 수 있는 방법에 관한 것으로, 더욱 상세하게는 자외선으로 조사된 토마토에서 방출되는 특정 파장의 형광을 EMCCD(electron multiplying charge-coupled device) 카메라로 이미지를 촬영하는 단계; 및 상기 카메라에 촬영된 이미지를 영상처리 알고리즘을 통해 분석하는 단계를 포함하는 토마토의 열과 검출 방법에 관한 것이다.

방울토마토는 국내에서 생산되는 약 95% 이상이 아시아 시장에 수출되는 대표적인 수출용 과채류이다. 방울토마토의 시장점유율을 확대하기 위해서는 국제 경쟁력을 갖춘 고품질의 상품을 공급할 수 있어야 한다. 일반적으로 방울토마토는 농가에서 수확되어 유통회사로 이송이 되며 유통회사에서 세척, 선별 및 포장과정을 거쳐 상품화가 이루어진다. 수출 대상국에서 최적의 품질을 유지하기 위해서는 유통 전에 품질 선별이 필요하다. 방울토마토의 품질인자로는 색깔, 크기, 당도, 산도, 그리고 손상 여부 등을 들 수 있다.

현재 국내 품질 선별은 드럼형 선별기를 이용한 크기 선별에만 의존하고 있는 실정이다. 드럼식 선별기를 이용하여 대량 기계적 선별이 이루어지면 크기는 선별이 되나 그 외 숙도나 열과 등은 선별이 어렵다. 따라서 많은 인력을 동원하여 포장 전에 수작업으로 2차 선별을 실시하게 된다. 품질 인자 중 손상 여부의 판별은 비파괴에서 많이 활용되고 있는 컬러 영상을 이용할 수도 있다. 그러나 일반 CCD 칼라 카메라를 이용하여 획득된 영상을 이용할 경우 색깔차이가 미미한 토마토 표면과 손상된 부분을 정확하게 구별하는 것은 한계가 있는 실정이다.

토마토에는 라이코펜(lycopene)과 클로로피(chlorophyll)이 함유되어 있기 때문에, 광을 조사하면 성분함량에 따라 고유한 형광스펙트럼이 발생한다. 특히, 부위별로 성분함량이 틀리므로 형광스펙트럼을 이용하면 표피인 건전한 부분과 손상되어 드러나는 과육 부분을 쉽게 구분할 수 있다. 따라서, 토마토의 정상 부위와 손상 부위를 가장 잘 구분할 수 있는 형광 파장대를 발견하고, 이를 이용하여 토마토의 손상 부위를 정확하게 검출할 수 있는 영상처리 알고리즘의 개발이 필요한 실정이다.

한국특허등록 제0218218호에는 방울 토마토 선별장치가 개시되어 있으며, 한국특허등록 제0242431호에는 대추토마토 선별기가 개시되어 있으나, 본 발명의 형광영상을 이용한 방울토마토 열과 검출 방법과는 상이하다.

본 발명은 상기와 같은 요구에 의해 도출된 것으로서, 본 발명의 목적은 토마토의 손상은 주로 과숙된 토마토에서 표면에 균열이 생겨 발생하는데, 토마토 열과를 선별하기 위해, 과피와 과육의 색깔차이는 작으나 성분의 차이는 클 것이라는 가정하에, 과피와 열과 부위의 구성물질의 차이에 의해 형광방출이 달라질 것이라 착안하여 과피와 과육의 형광 특성차이를 형광영상처리 기법을 이용하여 일반 CCD카메라에서 잘 검출할 수 없었던 열과 부분을 EMCCD 카메라를 이용하여 토마토 열과의 검출 방법을 개발함으로써 본 발명을 완성하였다.

상기 과제를 해결하기 위해, 본 발명은 자외선으로 조사된 토마토에서 방출되는 특정 파장의 형광영상을 이용하여 토마토 열과를 검출하는 방법을 제공한다.

본 발명에 따르면, 현재 상용되고 있는 농산물 비파괴 선별기술인 컬러 영상기술에 사용하고 있는 일반 CCD 카메라는 정확한 검출이 이루어지지 않고 있는 현재, 특정한 파장의 토마토 형광영상을 EMCCD 카메라를 이용하여 토마토 열과를 검출함으로써, 형광영상으로 정확하고 신속하게 검출할 수 있게 함으로서 방울토마토 선별 정확도가 높아지는 동시에 고품질 상품의 공급이 가능할 수 있다. 또한 현재 수작업으로 수행하고 있는 열과 선별과정을 자동화할 수 있으므로 농업 노동력 및 생산비용을 줄일 수 있다.

도 1은 방울토마토 초분광 영상의 개략도를 보여준다.
도 2는 EMCCD 카메라를 보여준다.
도 3은 토마토 이송부 및 형광을 조사하기 위한 장치(lighting)을 보여준다.
도 4는 방울토마토를 자외선(UV-A)을 조사했을 때, 열과 부위, 정상부위, 꼭지 및 배경 부위의 형광 스펙트럼을 나타낸 것이다.
도 5는 방울토마토의 정상부위와 열과 부위의 초분광 영상자료에서 스펙트럼을 구분하고, 파장별로 두 그룹의 분산 분석법(one-way ANOVA)을 실시하여 F값이 최대가 되는 파장을 선정한 것이다.
도 6은 최적의 608 nm 파장의 영상을 이용하여 불필요한 배경과 꼭지부분의 제거를 위해 이진화를 통하여 마스크 영상을 제작 후, 제작된 마스크 영상을 원본이미지에 곱하기 연산을 이용하여 불필요한 부분의 픽셀 값을 0으로 만들어 제거하고, 열과를 포함한 과실부분만을 이용하여 다시 열과 부위와 정상부위의 분포 값을 비교하여 문턱 값을 생성한 후 이진 영상을 만들고 침식,팽창을 이용하여 미세하게 남은 노이즈를 제거한 것이다.
도 7은 도 6의 영상처리 알고리즘을 이용하여 방울토마토 30개에 대해 초분광 형광영상을 획득하고 열과검출을 실시한 것이다.
도 8은 토마토 열과 검출을 위한 EMCCD 카메라, 형광(lightscore) 및 이송부를 도식화하여 나타낸 것이다.

본 발명의 목적을 달성하기 위하여, 본 발명은

(a) 자외선으로 조사된 토마토에서 방출되는 550~650 nm 파장의 형광을 EMCCD(electron multiplying charge-coupled device) 카메라로 이미지를 촬영하는 단계; 및

(b) 상기 카메라에 촬영된 이미지를 영상처리 알고리즘을 통해 분석하는 단계를 포함하는 토마토의 열과 검출 방법을 제공한다.

본 발명의 토마토의 열과 검출 방법에서, 상기 자외선은 바람직하게는 파장이 짧은 자외선일 수 있으며, 더욱 바람직하게는 UV-A 일 수 있으나, 이에 제한되지 않는다.

본 발명의 토마토의 열과 검출 방법에서, 상기 형광 파장은 550~650 nm, 바람직하게는 606~610 nm, 가장 바람직하게는 608 nm이다.

본 발명의 토마토의 열과 검출 방법에서, 상기 토마토는 바람직하게는 방울토마토인 것을 특징으로 하나, 이에 제한되지 않는다.

또한, 본 발명의 방법에서, 상기 형광은 초분광 형광으로 조사할 수 있는데, 이는 형광영상과 형광스펙트럼을 동시에 측정할 수 있는 초분광 형광영상을 제공하기 때문이다. 또한, 초분광 형광영상은 대상체의 영상을 매우 조밀한 파장간격(1~2 nm)으로 촬영한 3차원 데이터 영상으로, 대상체의 공간적 성질을 파악할 수 있는 영상정보와 화학적 조성을 분석할 수 있는 스펙트럼 정보를 포함할 수 있다.

또한, 본 발명의 방법에서, 상기 EMCCD(electron multiplying charge-coupled device) 카메라는 일반 CCD 카메라로는 낮은 광세기의 형광을 계측하기 어려워 토마토 표면과 손상된 부분을 정확하게 구별하는 것이 어려운 점을 보완하여, 감도가 향상되어 토마토 손상 부위를 정확하게 검출할 수 있다.

본 발명의 토마토의 열과 검출 방법은 상기 카메라에 촬영된 이미지를 영상처리 알고리즘을 통해 분석하는 단계를 포함하는데, 상기 분석 결과, 토마토 내에 검정색의 이미지가 나타나면 열과로 판정하고, 검정색의 이미지가 나타나지 않으면 균열이 없는 온전한 과일로 판정할 수 있다.

또한, 상기 카메라에 촬영된 이미지를 영상처리 알고리즘을 통해 분석하는 단계는 상기 카메라에 촬영된 이미지를 이용하여, 열과 검출에 불필요한 배경과 꼭지부분의 제거를 위해 이진화를 통하여 마스크 영상을 제작하는 단계; 및

상기 제작된 마스크 영상을 원본이미지에 곱하기 연산을 이용하여 불필요한 부분의 픽셀값을 0으로 만들어 제거한 후, 열과를 포함한 과실부분만을 이용하여 다시 열과 부위와 정상부위의 분포값을 비교하여 문턱값을 생성한 후 이진 영상을 만들고, 침식, 팽창을 이용하여 미세하게 남은 노이즈를 제거하여 결과 영상을 얻는 단계에 의해 수행될 수 있으나, 이에 제한되지 않는다.

이하, 본 발명을 실시예에 의해 상세히 설명한다. 단, 하기 실시예는 본 발명을 예시하는 것일 뿐, 본 발명의 내용이 하기 실시예에 한정되는 것은 아니다.

실험재료

실험에 사용된 방울토마토는 충남 논산에서 수경 또는 노지 재배된 국내에서 가장 수출량이 많은 "꼬꼬" 품종을 사용하였는데, 실험 당일 직접 농가를 방문하여 수확된 방울토마토에서 열과를 선정하였다. 선정된 시료는 플라스틱 필름 포장재를 이용하여 낮은 온도 상태를 유지할 수 있도록 아이스박스에 담아 실험실로 이송하여 실험에 사용하였다.

실험 장치

방울토마토 열과부분의 형광을 분석하기 위해 형광영상과 형광스펙트럼을 동시에 측정할 수 있는 초분광 형광영상을 촬영하였다. 초분광 형광영상은 대상체의 영상을 매우 조밀한 파장간격(1~2 nm)으로 촬영한 3차원 데이터 영상으로, 대상체의 공간적 성질을 파악할 수 있는 영상정보와 화학적 조성을 분석할 수 있는 스펙트럼 정보를 포함하고 있다. 그리고 일반 CCD(charge-coupled device) 카메라로는 낮은 광세기의 형광을 계측하기 어려우므로 감도가 향상된 EMCCD(electron multiplying charge-coupled device) 카메라를 사용하였다.

또한, 한번에 2차원의 데이터를 측정할 수 있는 CCD로 3차원의 데이터를 측정하기 위해 카메라 앞에 미세한 간격의 슬릿(slit)을 부착하여 형광을 방출하고 있는 대상체를 한 줄씩 계측하였다. 계측된 1차원의 형광정보는 스펙트로그래프를 통과하면서 분광을 하게 되는데 이때 1차원의 정보가 2차원의 정보, 즉 각 점에 형광스펙트럼의 정보가 포함된 대상체 한 줄의 초분광 영상정보가 구축되었다. 그리고, 스텝모터를 이용하여 대상체를 이동시키면서 계속 한 줄씩 측정하게 되면, 최종적으로 대상체의 전체 면의 영상이 획득되고, 영상을 구성하는 개별 픽셀 공간에 각각의 형광스펙트럼이 저장된다. 초분광 영상의 개략도는 도 1과 같다. 여기서 획득된 초분광 영상을 활용하여 열과가 가장 잘 검출되는 파장의 형광영상을 찾게 되는데, 실험에 구체적으로 사용된 초분광 형광영상 시스템의 제원은 아래와 같다.

초분광 형광영상 시스템의 제원

Part	Item	Specification
Vision System	EMCCD camera	Active pixels : 1004×1002 Pixel Size : 8×8 um Image area : 8×8 mm Max readout rate : 13.5 MHz Frame rate : 12.4 fps Pixel readout rate : 13.5 MHz Digitization : true 14bit Peak quantum efficiency : 65% Cooling : -20C @ Air-cooled
	Spectrograph	Spectral range = 400~1000nm Spectral dispersion = 100nm/mm Aperture = F/2*1 Includes the choice of one slit assembly (12,25,40 or 60micron x 18mm)
	Lens	Lenses are designed for 400 - 1000 nm precision imaging and are useful while prototyping.
	Lighting	UV-A(365nm) lightsorce
		Acquisition wavelength : 400~700nm
	Slit	25um slit

실시예 1: 열과 검출을 위한 형광 파장 선정

방울토마토에는 엽록소를 비롯하여 라이코펜 등의 성분들이 있는데, 이러한 성분들은 고유한 형광 특성을 가지고 있다. 파장이 짧은 자외선을 조사하면 조사한 광파장 보다 긴 파장대에서 형광스펙트럼이 관찰되는데, 도 4와 같이 부위별로 다른 형광특성을 발견할 수 있다. 도 4는 자외선(UV-A)을 방울토마토에 조사하였을 때, 열과 부위, 정상부위, 꼭지 및 배경 부위의 형광 스펙트럼을 나타낸 것이다. 토마토의 각각 부위마다 엽록소 등의 구성물질의 차이에 의해 형광방출이 달라지므로 그림에서와 같이 부위별로 스펙트럼이 특징적으로 나타난다. 엽록소가 다량으로 함유되어 있는 꼭지부분에서는 670 nm 대에서 형광이 많이 나타나는 것을 확인할 수 있다. 특징적인 사실은 토마토 표면과 과육의 성숙속도가 틀려 성숙된 토마토의 표면과 과육에서 엽록소를 비롯한 성분 함량이 다르다는 것인데, 이러한 특징을 이용하면 형광영상으로 성숙된 방울토마토에서 균열을 쉽게 검출할 수가 있다.

구축한 초분광 형광영상 시스템을 이용하여 각 파장 별 형광영상을 획득하였다. 초분광 형광영상에서 열과 검출을 위해 정상 부위와 열과 부위를 가장 잘 구별할 수 있는 최적의 파장 선정은 초분광 영상자료에서 정상 부위와 열과 부위의 스펙트럼을 구분하고, 파장 별로 두 그룹의 분산 분석법(one-way ANOVA)을 실시하여, 두 그룹이 가장 뚜렷하게 구분이 되는 최적의 파장을 통계적으로 선정하였다. 분산분석은 통계학에서 두 개 이상 다수의 집단을 비교할 때 집단 내의 분산, 총 평균, 각 집단의 평균의 차이에 의해 생긴 집단 간 분산의 비교를 통해 만들어진 F분포를 이용하여 가설 검정을 하는 방법을 말한다. 분석을 통하여 F값이 클수록 그룹간의 구분이 명확함을 의미하기 때문에 방울 토마토의 정상부위와 열과 부위의 스펙트럼을 분산분석법을 통하여 F값이 최대가 대는 파장을 선정하여 사용하였다. 정상부위와 열과 부위를 분산분석법으로 분석 후 각 파장별 F의 값의 크기를 도 5에 나타내었다. 분산분석법을 통하여 F값이 최대가 되는 608 nm 파장 영상을 열과 검출에 이용하였다.

실시예 2: 영상처리 알고리즘 개발

실시예 1에 의해 방울토마토의 정상부위와 열과 부위를 명확히 구분할 수 있는 최적의 파장으로 선택된 608 nm 파장의 영상을 이용하여, 우선 열과 검출에 불필요한 배경과 꼭지부분의 제거를 위해 이진화를 통하여 마스크 영상을 제작하였다. 제작된 마스크 영상을 원본이미지에 곱하기 연산을 이용하여 불필요한 부분의 픽셀값을 0으로 만들어 제거하였다. 그 다음 열과를 포함한 과실부분만을 이용하여 다시 열과 부위와 정상부위의 분포값을 비교하여 문턱값을 생성한 후 이진 영상을 만들고 침식,팽창을 이용하여 미세하게 남은 노이즈를 제거하면 이진화 영상에서 볼 수 있듯이 열과 부위만 정확히 검출 가능하였다(도 6).

실시예 3: 형광을 이용하여 열과를 검출한 결과

실시예 1 및 2를 통해 개발한 영상처리 알고리즘을 이용하여 방울토마토 30개에 대해 초분광 형광영상을 획득하고 열과 검출을 실시하였다. 도 7에서와 같이 열과부분은 에러부분이 없이 매우 잘 검출되었다. 본 실험에서 구한 형광영상의 파장을 이용하면 자외선 램프와 광필터 그리고 EMCCD 카메라만 있어도 쉽게 방울토마토의 열과를 검출할 수 있으리라 사료된다.

Claims (6)

1. (a) 자외선으로 조사된 방울토마토에서 방출되는 606~610 nm 파장의 형광을 EMCCD(electron multiplying charge-coupled device) 카메라로 이미지를 촬영하는 단계;
   (b) 상기 카메라에 촬영된 이미지를 이용하여, 열과 검출에 불필요한 배경과 꼭지부분의 제거를 위해 이진화를 통하여 마스크 영상을 제작하는 단계; 및
   (c) 상기 제작된 마스크 영상을 원본이미지에 곱하기 연산을 이용하여 불필요한 부분의 픽셀값을 0으로 만들어 제거한 후, 열과를 포함한 과실부분만을 이용하여 다시 열과 부위와 정상부위의 분포값을 비교하여 문턱값을 생성한 후 이진 영상을 만들고, 침식, 팽창을 이용하여 미세하게 남은 노이즈를 제거하여 얻은 결과 영상에서, 방울토마토 내에 검정색의 이미지가 나타나면 열과로 판정하는 단계를 포함하는 방울토마토의 열과 검출 방법.
2. 삭제
3. 제1항에 있어서, 상기 자외선은 UV-A 인 것을 특징으로 하는 방법.
4. 삭제
5. 삭제
6. 삭제

Images