KR102392252B1 - 영상처리 기술을 적용한 버섯 객체 생장 모니터링 방법 - Google Patents

Abstract

본 발명은 스마트 팜과 같은 버섯재배 농장에서 재배되는 버섯의 상태나 크기를 자동으로 검출하여 수확시기나 문제가 부분을 실시간으로 확인할 수 있도록 하는 "영상처리 기술을 적용한 버섯 객체 생장 모니터링 방법"에 관한 것이다
본 발명의 기술적 사상인 영상처리 기술을 적용한 버섯 객체 생장 모니터링 방법은,
영상촬영장치를 이용하여 다수의 버섯 객체를 포함하는 이미지를 생성한 후 회색조 영상으로 변환시킨 원본 영상을 획득하는 단계;
상기 원본 영상의 명암대비를 조절하는 히스토그램 평활화 연산를 수행하여 히스토그램 평활화 연산이 적용된 영상을 획득하는 단계;
상기 히스토그램 평활화 영상에 대하여 재구성에 의한 열림 연산을 수행하여 재구성에 의한 열림 영상을 획득하는 단계;
재구성에 의한 열림 영상에 대하여 재구성에 의한 닫힘 연산을 수행하여 재구성에 의한 닫힘 영상을 획득하는 단계;
상기 재구성에 의한 닫힘 영상 중에서 배경과 구분되어 표시되는 버섯 객체들의 국부 최대값을 각기 계산한 후 개별적으로 블롭 처리하여 버섯 객체로 구성되는 전경 마커 영상을 추출하는 단계;
상기 전경 마커 영상에 대하여 침식 연산을 수행하여 블롭 처리된 상기 버섯 객체간의 경계가 모호한 구분을 명확히 하는 단계;
상기 재구성에 의한 닫힘 영상으로부터 배경 영역을 추출하기 위해 상기 재구성에 의한 닫힘 영상의 밝기 값이 소정 임계치를 초과하는 부분을 각기 블롭 처리하여 이진화 영상을 생성하는 단계;
상기 이진화 영상으로부터 기울기 크기에 대한 정보를 갖는 워터세드 능선 영상을 생성하는 단계;
상기 전경 마커 영상과 상기 워터세드 능선 영상을 변수로 하는 워터세드 변환을 수행하여 버섯 객체를 검출하는 단계;로 이루어지는 것을 특징으로 한다
본 발명에 따른 방법을 실시하는 상호 겹쳐진 복수개의 버섯 영상으로부터 소정 크기의 버섯 객체를 명확히 검출할 수 있다.
또한, 버섯의 크기 등에 대하여 원격지의 단말기를 통하여 용이하게 파악할 수 있으며, 이러한 검출 결과를 기준으로 버섯의 수확 여부를 즉시 판단할 수 있다는 이점도 있다.

Description

영상처리 기술을 적용한 버섯 객체 생장 모니터링 방법{Mushroom Object Growth Monitoring Method Using Image Processing Technology}

본 발명은 영상처리 기술을 적용한 버섯 객체 생장 모니터링 방법에 관한 것으로, 구체적으로 스마트 팜과 같은 버섯재배 농장에서 재배되는 버섯의 상태나 크기를 자동으로 검출하여 수확시기나 문제가 부분을 실시간으로 확인할 수 있도록 하는 "영상처리 기술을 적용한 버섯 객체 생장 모니터링 방법"에 관한 것이다

국내 마트나 시장에서 판매되고 있는 대부분의 버섯은 하우스나 버섯재배 농장 등에서 소규모 또는 대규모로 육성되고 재배되어 시중에 판매되고 있다.

이러한 버섯은 그 종류에 따라 육성 방법이 상이하여 재배가 까다롭고, 군집을 이루어 자라나는 버섯의 생장 환경이나 재배 시기 등은 관리자가 현장에서 육안으로 관찰하고 판단하여야 하는 번거로움이 있다.

이 때문에 버섯 재배의 경우, 기본적인 노동력은 물론이고 농장에서 소비되는 시간이 매우 많다는 단점이 있다.

따라서, 버섯의 성장 상태나 재비 시기를 원격지에서 스마트 폰과 같은 단말기를 통하여 용이하게 판단할 수 있는 기술에 대한 요구가 증대되고 있는 실정이다.

이에 CCTV 등과 같은 영상촬영장치를 이용하여 군집 상태로 재배되는 버섯의 크기 등을 자동으로 검출할 수 있는 방법에 대한 연구가 진행되고 있다.

일반적으로 제안된 방법 중의 일예가 도 1~3에 도시되어 있다.

종래 기술인 도1~3의 기술은, 군집 상태의 버섯 영상에 대한 기울기 크기를 획득한 후 워터세드 변환을 수행하여 버섯을 분류하고 그 크기를 검출하고자 하는 기술의 일예이다.

참고로. 도 1은 CCTV와 같은 영상촬영장치로 촬영하여 얻은 컬러 영상을 읽어 들인 후 회색조 영상으로 변환시킨 원본 영상 이미지를 나타내며, 도 2는 도 1에 도시된 원본 영상의 기울기 크기를 나타낸 도면이고(참고로, 기울기는 객체 테두리에서 크고, 대체로 객체 내부에서는 작음), 도 3은 도 2의 이미지에 대하여 바로 워터세드 변환을 한 경우를 나타낸다.

그런데 종래 기술의 경우 도 2에서와 같이 원본 영상에 대한 기울기 크기가 불명료하여 도 3과 같이 과다분할(Oversegmentation)이 발생함으로써 버섯의 상태나 크기를 제대로 파악하기 어렵다는 문제점이 있다

따라서, 버섯 생장 상태(크기: 수확시기 판단에 매우 중요)를 제대로 파악하기 위해서는 이러한 과다분할을 방지할 수 방법이 필요하다 하겠다

1. 특허출원번호 : 10-2016-0119188 , 발명의 명칭 : 사물인터넷(IoT)과 빅데이터기반의 버섯농장관리 시스템 및 방법

본 발명은 기존 기술의 문제점을 해결하기 위하여 원본 영상의 기울기 크기를 명확이 하는 전처리 기술을 제안하고자 한다.

또한, 본 발명에서는 회색조 영상으로 이루어지는 원본 영상 대신에 상기 원본 영상으로부터 소정의 버섯 객체를 별도로 분리하여 얻은 전경 마커 영상과 소정의 워터세드 능선 영상을 변수로 하는 워터세드 변환을 수행하여 소정 크기의 버섯 객체를 제대로 검출할 수 있는 방법을 제안하고자 한다.

본 발명의 기술적 사상인 영상처리 기술을 적용한 버섯 객체 생장 모니터링 방법은,

영상촬영장치를 이용하여 다수의 버섯 객체를 포함하는 이미지를 생성한 후 회색조 영상으로 변환시킨 원본 영상을 획득하는 단계;

상기 원본 영상의 명암대비를 조절하는 히스토그램 평활화 연산를 수행하여 히스토그램 평활화 연산이 적용된 영상을 획득하는 단계;

상기 히스토그램 평활화 영상에 대하여 재구성에 의한 열림 연산을 수행하여 재구성에 의한 열림 영상을 획득하는 단계;

재구성에 의한 열림 영상에 대하여 재구성에 의한 닫힘 연산을 수행하여 재구성에 의한 닫힘 영상을 획득하는 단계;

상기 재구성에 의한 닫힘 영상 중에서 배경과 구분되어 표시되는 버섯 객체들의 국부 최대값을 각기 계산한 후 개별적으로 블롭 처리하여 버섯 객체로 구성되는 전경 마커 영상을 추출하는 단계;

상기 전경 마커 영상에 대하여 침식 연산을 수행하여 블롭 처리된 상기 버섯 객체간의 경계가 모호한 구분을 명확히 하는 단계;

상기 재구성에 의한 닫힘 영상으로부터 배경 영역을 추출하기 위해 상기 재구성에 의한 닫힘 영상의 밝기 값이 소정 임계치를 초과하는 부분을 각기 블롭 처리하여 이진화 영상을 생성하는 단계;

상기 이진화 영상으로부터 기울기 크기에 대한 정보를 갖는 워터세드 능선 영상을 생성하는 단계;

상기 전경 마커 영상과 상기 워터세드 능선 영상을 변수로 하는 워터세드 변환을 수행하여 버섯 객체를 검출하는 단계;로 이루어지는 것을 특징으로 한다

본 발명에 따른 방법을 실시하는 상호 겹쳐진 복수개의 버섯 영상으로부터 소정 크기의 버섯 객체를 명확히 검출할 수 있다.

또한, 버섯의 크기 등에 대하여 원격지의 단말기를 통하여 용이하게 파악할 수 있으며, 이러한 검출 결과를 기준으로 버섯의 수확 여부를 즉시 판단할 수 있다는 이점도 있다.

도 1은 CCTV와 같은 영상촬영장치로 촬영하여 얻은 컬러 영상을 읽어 들인 후 회색조 영상으로 변환시킨 원본 영상 이미지를 나타낸다
도 2는 도 1에 도시된 원본 영상의 기울기 크기를 나타낸 도면이다
도 3은 도 2의 이미지에 대하여 바로 워터세드 변환을 한 경우를 나타낸다
도 4는 본 발명에서 제안하는 영상처리 기술을 적용한 버섯 생장 모니터링 방법의 실시 개념도이다
도 5는 도 1에서 언급한 원본 영상 이미지이다
도 6은 히스토그램 평활화 처리한 이미지이다.
도 7은 표준 열림 연산에 의한 영상이다
도 8은 본 발명에서 제안하는 재구성에 의한 열림 영상을 나타낸다
도 9는 표준 닫힘 연산에 의한 영상이다
도 10은 본 발명에서 제안하는 재구성에 의한 열림 영상을 나타낸다
도 11은 버섯 객체를 나타내는 전경 머커 영상이다
도 12는 원본 영상과 도 11의 전경 마커 영상을 비교하는 도면이다
도 13은 이진화 영상이다
도 14는 워터세드 능선 도면이다
도 15는 도 1의 원본 영상이다
도 16은 본 발명에 따라 검출된 버섯 객체 도면이다.
도 17은 과다 분할 영상을 갖는 종래 기술의 도 3과 본 발명의 검출 결과인 도 16을 비교한 도면이다.

이하, 도면을 참조하여 본 발명에서 제안하는 기술적 사상인 영상처리 기술을 적용한 버섯 생장 모니터링 방법에 대하여 설명하기로 한다.

도 4는 본 발명에서 제안하는 영상처리 기술을 적용한 버섯 생장 모니터링 방법의 실시 개념도이다

도 4에 도시된 바와 같이, 본 발명에서 제안하는 방법은 단계 1~ 단계 8로 구성된다. 참고로, 종래 기술과 달리 버섯 객체 검출을 위하여 본 발명에서 새로이 추가되는 전처리 프로세스는 단계 1~ 단계 6까지이다.

단계 1 : 히스토그램 평활화(Histogram Equalization)

도 5는 도 1에서 언급한 원본 영상 이미지이고, 도 6은 히스토그램 평활화 처리한 이미지이다.

즉, 본 발명에서는 영상촬영장치를 이용하여 다수의 버섯 객체를 포함하는 이미지를 생성한 후 회색조 영상으로 변환시킨 원본 영상을 획득한 후, 상기 원본 영상의 명암대비를 조절하는 히스토그램 평활화 연산를 수행하여 히스토그램 평활화 연산이 적용된 히스토그램 평활화 영상(도 6)을 획득한다.

알려진 바와 같이, 히스토그램 평활화 처리는 명암 값을 균등하게 분포시켜 조명이나 그림자에 의한 구별되기 어려운 객체를 구분하는데 도움이 된다.

본 발명에서와 같이, 도 5에 도시된 원본 영상에 영상에 대하여 히스토그램 평활화 전처리를 수행하는 경우, 그림자에 가려서 보이지 않는 버섯 객체를 보다 더 선명하게 보여줄 수 있기 때문에 명확한 버섯 객체 검출에 필요하다 할 것이다

단계 2 : "재구성에 의한 열림(opening-by-reconstruction)" 모폴로지 연산 기법 사용

알려진 바와 같이, 모폴로지 기법에는 4가지 연산 기법 즉 (1) 침식(Erosion) 연산(물체에 대해 배경을 확장시키고 물체의 크기를 축소하는 역할을 한다. 침식 마스크를 이용하여 연산시 흰 물체의 둘레로부터 한 픽셀을 없애는 효과를 갖는다)과, (2) 팽창(Dilation) 연산(물체의 최 외각 픽셀을 확장하는 역할을 한다. 따라서, 물체의 크기는 확장 되고 배경은 축소된다)과, (3) 열림(Opening) 연산(침식 연산 다음에 팽창 연산을 바로 사용하는 알고리즘이다. 즉, 원영상을 침식 연산으로 영상의 최외각을 한 픽셀씩 없애고 다시 팽창 연산으로 최외각을 한 픽셀씩 확장시키는 방법이다.)과, (4) 닫힘(Closing) 연산(제거연산의 반대 기능으로 팽창연산으로 물체의 확장을 수행한 뒤 침식 연산으로 다시 축소 연산을 행한다.) 기법이 있다. 이러한 모폴로지 연산 기법을 업계에서는 표준 열림, 표준 닫힘 등과 같이 명명하고 있다

본 발명에서는 각 전경 객체(버섯) 내에 있는 픽셀의 연결된 블롭(Blob)인 전경 마커를 검출하기 위하여 위와 같은 표준 열림, 표준 닫힘 연산 대신에 "재구성에 의한 열림(opening-by-reconstruction)"와 "재구성에 의한 닫기(closing-by-reconstruction)" 모폴로지 연산 기법을 사용한다.

일반 모폴로지 기법에서의 표준 열림은 침식을 수행한 후 팽창을 수행하는 것인 반면, 본 발명에서 적용한 "재구성에 의한 열림" 연산은 침식을 수행한 후 모폴로지 재구성 연산을 수행하는 것을 의미한다.

재구성에 의한 열림 연산은 알려진 바와 같이 객체의 형태를 유지할 수 있다는 점이다. 재구성에 의한 열림 연산을 수행하면, 각 버섯 개체별 국부 최대값을 각 버섯 개체별로 균일하게 적용하여 평탄한 최대값을 생성할 수 있다는 이점이 있다 참고로, 도 7은 표준 열림 연산에 의한 영상이고, 도 8은 본 발명에서 제안하는 재구성에 의한 열림 영상을 나타낸다 도면에서 알 수 있듯이, 본 발명에 따른 재구성에 의한 열림 연산시 보다 더 명확한 버섯 객체 영상이 획득됨을 알 수 있다

단계 3 : "재구성 기반의 닫힘(Opening-Closing by Reconstruction)" 모폴로지 연산 기법 사용

본 발명에서는 재구성에 의한 열림 연산을 수행한 후 재구성에 의한 닫힘 연산을 수행함으로써 재구성에 의한 열림 영상에 포함된 잡음을 제거하고자 하였다

<참고 : 성능 비교를 위해 표준 닫힘과 성능을 비교>

도 9 및 도 10에 도시된 바와 같이, 버섯 객체의 전반적인 형태에 영향을 주지 않고 사소한 결점을 제거할 때는 재구성 기반의 열림/닫힘이 표준 열림/닫힘보다 보다 더 효과적임을 알 수 있다.

단계 4 (Regional Maxima)및 단계 5(Morphology Erode): 도 14 참조

단계 4 는 상기 재구성에 의한 닫힘 영상(도 10) 중에서 배경과 구분되어 표시되는 버섯 객체들의 국부 최대값을 각기 계산한 후 개별적으로 블롭 처리하여 버섯 객체로 구성되는 전경 마커 영상을 추출하는 단계이다. 이 경우, 도 11에서와 같이 제대로 표시되지 않은 객체가 있을 수 있으며 이러한 객체는 최종 결과에서 적절히 분할되지 못한다는 문제는 있다.

다음, 단계 5는 상기 전경 마커 영상(버섯 객체 영상)에 대하여 침식 연산을 수행하여 블롭 처리된 상기 버섯 객체간의 경계가 모호한 구분을 보다 명확히 하는 단계이다. 즉, 마커 블롭(Blob)의 경계를 정리한 후 침식 연산을 통하여 마커의 크기를 축소시킨다.

전경 머카 영상에 대한 결과는 도 11에 도시되어 있다

참고로 이해의 편의를 위하여 도 11 의 전경 마커를 컬러 레이블링 처리한 후 원본 영상과 비교한 영상을 도 12에 도시하였다

단계 6 : Find Watershed Ridge Line

한편, 본 발명에서는 전술한 재구성에 의한 닫힘 영상(도 10)으로부터 배경 영역을 추출하는 과정을 수행한다

본 발명의 배경 영역은 재구성에 의한 닫힘 영상에 대하여 재구성에 의한 닫힘 영상의 밝기 값이 소정 임계치를 초과하는 부분을 각기 균일하게 블롭 처리하여 생성한 이진화 영상이다.(도 13)

다음, 본 발명에서는 이진화 영상에 대한 SKIZ("Skeleton by Influence Zones")를 계산한 후 배경 영역에 대한 골격화를 수행함으로써 워터셰드 능선을 생성한다.(도 14)

단계 7 : Gradient Magnitude

본 발명에서는 워터세드 능선을 버섯객체의 기울기 크기 정보로 설정하기로 한다

따라서, 종래 기술에서 언급한 바와 같은 기울기 크기의 불명료로 인하여 초래되던 과다 분할을 방지할 수 있다는 이점이 있다.

단계 8 : Watershed Transform

마지막으로, 본 발명에서는 도 1 1의 전경 마커 영상(버섯 객체 영상)과 도 14의 워터세드 능선 영상(기술기 크기)을 변수로 하는 워터세드 변환을 수행하여 버섯 객체를 검출한다,

이렇게 검출된 버섯 개체에 대하여 컬러 레이블을 수행한 영상을 도 16에 도시하였다

비교를 위하여 도 1의 원본 영상을 도 15에 도시하였다.

도 15 및 도 16에서 알 수 있듯이, 다수의 버섯 군집에서 소정의 버섯 개게가 명확히 검출됨을 알 수 있다.

한편, 본 발명의 검출 결과를 종래 기술 결과와 비교한 도면을 도 17에 도시하였다

도 17에서 알 수 있듯이, 과다 분할이 발생한 종래의 경우와 달리 본 발명에 따른 방법을 실시한 경우 소정 크기의 버섯 객체가 명확히 검출됨을 알 수 있다.

따라서, 본 발명을 실시하는 경우, 버섯의 크기 등에 대하여 원격지의 단말기를 통하여 용이하게 파악할 수 있으며, 이러한 검출 결과를 기준으로 버섯의 수확 여부를 즉시 판단할 수 있다는 이점도 있다.

한편, 전술한 본 발명의 경우, 처리 속도 개선을 위하여 단계 4, 5 및 단계 6, 7은 병렬 처리 가능할 수 있을 것이다.

Claims (1)

1. 영상처리 기술을 적용한 버섯 객체 생장 모니터링 방법으로서,
   영상촬영장치를 이용하여 다수의 버섯 객체를 포함하는 이미지를 생성한 후 회색조 영상으로 변환시킨 원본 영상을 획득하는 단계;
   상기 원본 영상의 명암대비를 조절하는 히스토그램 평활화 연산를 수행하여 히스토그램 평활화 연산이 적용된 영상을 획득하는 단계;
   상기 히스토그램 평활화 영상에 대하여 재구성에 의한 열림 연산을 수행하여 재구성에 의한 열림 영상을 획득하는 단계;
   재구성에 의한 열림 영상에 대하여 재구성에 의한 닫힘 연산을 수행하여 재구성에 의한 닫힘 영상을 획득하는 단계;
   상기 재구성에 의한 닫힘 영상 중에서 배경과 구분되어 표시되는 버섯 객체들의 국부 최대값을 각기 계산한 후 개별적으로 블롭 처리하여 버섯 객체로 구성되는 전경 마커 영상을 추출하는 단계;
   상기 전경 마커 영상에 대하여 침식 연산을 수행하여 블롭 처리된 상기 버섯 객체간의 경계가 모호한 구분을 명확히 하는 단계;
   상기 재구성에 의한 닫힘 영상으로부터 배경 영역을 추출하기 위해 상기 재구성에 의한 닫힘 영상의 밝기 값이 소정 임계치를 초과하는 부분을 각기 블롭 처리하여 이진화 영상을 생성하는 단계;
   상기 이진화 영상으로부터 기울기 크기에 대한 정보를 갖는 워터세드 능선 영상을 생성하는 단계;
   상기 전경 마커 영상과 상기 워터세드 능선 영상을 변수로 하는 워터세드 변환을 수행하여 버섯 객체를 검출하는 단계;로 이루어지는 것을 특징으로 하는 영상처리 기술을 적용한 버섯 객체 생장 모니터링 방법.

Images