KR102151688B1 - 작물의 숙도 판별 장치, 방법 및 그 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 - Google Patents

Abstract

본 발명에 따른 작물의 숙도 판별 장치는, 적어도 하나의 작물 개체에 관한 서로 다른 시점을 가진 개별 시점 영상들을 각각 입력받기 위한 개별시점영상입력부; 객체 탐지 기반의 딥 러닝 모델을 이용하여 상기 작물 개체에 관한 상기 개별 시점 영상의 숙도 분류를 수행하고 상기 작물 개체에 관한 각 숙도 클래스 별 확률기반 스코어 벡터를 출력하는 복수의 개별시점숙도판별부; 및 상기 복수의 개별시점숙도판별부로부터 출력되는 상기 작물 개체에 관한 상기 각 숙도 클래스 별 확률 기반 스코어 벡터를 융합하여, 상기 작물 개체에 대한 최종 숙도 레벨을 결정하는 숙도결정융합부를 포함한다.
이에 의해 다중 시점의 영상을 이용하여 작물 개체 전 영역의 숙도 단계 별 색분포의 기하학적 특징 정보를 이용하여 작물의 숙도를 결정함으로써 분류의 정확도를 향상시킬 수 있다.

Description

작물의 숙도 판별 장치, 방법 및 그 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체{Apparatus, Method For Estimating Ripening Degree Of A Plant and A Computer-readable Storage Medium For Executing The Method}

본 발명은 작물의 숙도 판별 장치, 방법 및 그 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 보다 구체적으로는 다중시점의 영상을 입력으로 하여 객체 탐지 기반으로 작물의 숙도를 판별하는 장치, 방법 및 그 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

식품의 품질과 영양에 대한 관심이 높아지면서 소비자가 원하는 품질특성을 갖는 식품을 제공하기 위한 다양한 노력들이 식품산업 전반에 걸쳐 이어지고 있다. 작물의 경우 품질수준을 결정하는 특성으로는 색, 크기, 당도, 산도, 조직감, 그리고 향 등이 있으며, 영양학적 가치는 농작물에 함유되어 있는 미네랄 성분과 항산화 물질의 종류 및 함량 등으로 판단할 수 있다.

이러한 품질특성 및 영양성분들의 질과 양은 작물의 숙도와 매우 높은 관련이 있다. 예를 들어, 토마토의 경우 숙도가 진행될수록 항산화 물질(ascorbate, lycopene, β-carotene, rutin 그리고 caffeic acid 등)이 증가하고, 말산(malic acid)과 구연산(citric acid) 등의 유기산이 감소하며 포도당과 과당이 축적되어 단맛이 증가한다. 또한 클로로필의 감소와 라이코펜의 증가로 인해 표면이 붉게 변하고, 펙틴질의 감소로 인해 과육 경도가 감소한다. 이와 같이 숙도를 알면 작물의 품질특성과 영양가치를 예측할 수 있기 때문에 숙도는 작물의 품질지표로 사용될 수 있다.

예컨대, 토마토의 생산 및 유통과정에서 품질유지와 상품성 판단의 근거가 되는 숙도의 일반적인 판단 기준은 표면의 색 분포량이다. 색 분포의 상대적인 비율의 관찰을 통해 숙도를 분류하는 방법은 비파괴적이고 산업에 적용하는데 있어 편리성 때문에 식품산업분야에서 가장 널리 사용되고 있다.

표면의 색 분포 비율을 토대로 토마토 숙도를 분류하는 일반적인 방법은 컬러 차트를 이용한 육안 선별법이다. 이 방법은 인력의 전문성에 의존하기 때문에 작업 인력에 대한 훈련이 필요하고 작업 과정에서 주관의 개입으로 인해 숙도 분류 결과의 정확도가 영향을 받을 수 있다. 또한 노동 집약적인 특성으로 인해 작업의 속도가 느리기 때문에 작물 대량 생산 시스템에서 적용하기에는 비실용적이다.

최근에는 컴퓨터 비전 기술을 활용하여 작물의 품질을 평가하고 숙도를 판별하기 위한 시스템에 대한 연구가 진행되고 있다. 이러한 판별 시스템들은 대부분 작물의 이미지를 획득하고, 수집된 RGB 영상의 노이즈 필터링을 위한 전처리기와 이미지 분할(Segmentation)을 통한 특징 영역 검출기, 그리고 작물의 표면의 결함의 유무와 숙성 여부를 판별하는 분류기로 구성되어 있다. 이와 같이 특징검출기를 통해 추출되는 특징을 일반적으로 handcrafted feature라고 정의한다. 그런데, 이러한 종래 handcrafted feature 기반 기술은 대부분 작물의 색 분포의 상대적인 비율의 특징을 추출하여 숙도 분류를 하는 것이 일반적이며, 또한 사전에 이를 설계한 전문가의 중요성이 지나치게 크고, 설계자가 미처 고려하지 못한 요소는 반영되지 않으므로 분류 시스템 전체의 성능이 특징검출기의 성능에 지나치게 종속된다는 문제가 있다.

하지만, 토마토와 같은 작물의 경우 품종 별로 수확 후 경과된 시간에 따라 과육의 배와 꼭지 영역에서 변화하는 고유의 기하학적 색의 분포 특성이 일정하지 않다는 점에서 특정 시점에서의 상대적인 색비율만을 고려한 숙도 판별 결과를 그대로 개체의 숙도로 결정하는 경우 숙도 판별이 정확하게 이루어지지 않는 경우가 발생한다.

전술한 바와 같은 문제점을 해결하기 위하여, 본 발명에서는 다중 시점의 영상을 입력으로 하여 객체 탐지 기반의 딥 러닝 모델을 이용하여 작물의 숙도를 판별함으로써 작물 개체 전 영역에 분포한 숙도 단계 별 색의 기하학적 공간 특징 정보를 고려하여 작물의 숙도를 결정할 수 있는 장치 및 그 방법을 제공하는데 목적이 있다. 또한, 개별 시점 영상의 각 숙도 클래스 별 확률 기반 스코어 벡터를 가중치 기반으로 융합하여 최종 숙도를 판별함으로써 작물이나 품종별로 상이하게 나타날 수 있는 작물 전체의 공간적 특징 정보를 고려하여 숙도를 분류하는 장치 및 그 방법을 제공하는데 목적이 있다.

상기 목적은 작물의 숙도 판별 장치에 있어서, 적어도 하나의 작물 개체에 관한 서로 다른 시점을 가진 개별 시점 영상들을 각각 입력받기 위한 개별시점영상입력부; 객체 탐지 기반의 딥 러닝 모델을 이용하여 상기 작물 개체에 관한 상기 개별 시점 영상의 숙도 분류를 수행하고 상기 작물 개체에 관한 각 숙도 클래스 별 확률기반 스코어 벡터를 출력하는 복수의 개별시점숙도판별부; 및 상기 복수의 개별시점숙도판별부로부터 출력되는 상기 작물 개체에 관한 상기 각 숙도 클래스 별 확률 기반 스코어 벡터를 융합하여, 상기 작물 개체에 대한 최종 숙도 레벨을 결정하는 숙도결정융합부를 포함하는 것을 특징으로 하는 작물의 숙도 판별 장치에 의해서 달성될 수 있다.

그리고, 상기 숙도결정융합부는 상기 개별시점숙도판별부에서 출력하는 상기 작물 개체의 각 숙도 클래스 별 확률 기반 스코어 벡터들을 가중치 기반으로 융합하여 상기 작물 개체에 대한 최종 숙도 레벨을 결정할 수 있다.

또한, 상기 개별시점숙도판별부는 상기 개별 시점 영상에서 상기 작물 개체의 위치추정과 상기 작물 개체의 숙도 분류를 수행할 수 있다.

더 나아가, 상기 개별시점숙도판별부는 상기 개별 시점 영상에서 상기 작물 개체의 위치추정, 상기 작물 개체의 시점 추정, 및 상기 작물 개체의 숙도 분류를 수행하는 딥 러닝 모델을 이용할 수 있다.

또한, 상기 개별시점숙도판별부는 상기 작물 개체를 포함하는 경계상자의 후보영역에 관한 추정을 수행하는 제1 탐색부, 및 상기 후보영역추정부의 추정 결과에 기초하여 상기 작물 개체의 숙도 분류 및 경계 상자 위치 추정을 수행하는 제2 탐색부를 포함할 수 있다.

그리고, 상기 개별시점숙도판별부는 상기 개별 시점 영상에서 상기 작물 개체의 경계 상자 위치 추정 및 숙도 분류를 동시에 수행할 수 있다.

아울러, 상기 개별시점숙도판별부는 상기 작물 개체의 개별 시점별로 숙도 분류를 수행하는 서로 다른 딥 러닝 모델을 학습하거나 상기 개별 시점에 대한 구분 없이 하나의 딥 러닝 모델을 학습할 수 있다.

또한, 상기 개별시점숙도판별부에서 출력하는 상기 확률 기반 스코어 벡터는 상기 개별 시점 영상에서 나타나는 상기 작물 개체의 색정보 패턴을 포괄적으로 표현하는 이산 확률분포 데이터일 수 있다.

더 나아가, 상기 숙도결정융합부는 상기 개별시점숙도판별부에서 출력하는 상기 작물 개체의 각 숙도 클래스 별 확률 기반 스코어 벡터들을 가중치 기반으로 융합함으로써, 상기 작물 개체의 전 영역에 걸쳐 연속적으로 발달하는 숙도 단계 별 색 분포 패턴을 고려하여 상기 작물 개체에 대한 최종 숙도 레벨을 결정할 수 있다.

그리고, 상기 숙도결정융합부는 아래 식을 이용하여 상기 개별시점숙도판별부에서 출력하는 상기 작물 개체의 각 숙도 클래스 별 확률 기반 스코어 벡터들을 가중치 기반으로 융합할 수 있다.

(여기서, n은 시점을 의미하는 것으로 n=1,..., N,

은 시점 n의 개별시점숙도판별부에서 출력하는 벡터,α_n은 시점 n의 개별시점숙도판별부의 결과에 부여되는 가중치,

는 융합 벡터를 의미함)

여기서, 상기 가중치는 작물 개체의 품종이나 환경 조건에 따라 가변될 수 있으며, 상기 작물은 토마토, 복숭아, 사과, 배, 파프리카, 및 고추 중 적어도 하나를 포함할 수 있다.

한편, 상기 목적은 작물의 숙도 판별 방법에 있어서, 적어도 하나의 작물 개체에 관한 서로 다른 시점을 가진 개별 시점 영상들을 입력받는 단계; 객체 탐지 기반의 딥 러닝 모델을 이용하여 상기 작물 개체의 개별 시점 영상에 관한 각 숙도 클래스 별 확률 기반 스코어 벡터를 출력하는 단계; 상기 작물 개체의 개별 시점 영상에 관한 각 숙도 클래스 별 확률 기반 스코어 벡터를 융합하여 상기 작물 개체에 대한 최종 숙도 레벨을 결정하는 단계를 포함하는 것을 특징으로 하는 작물의 숙도 판별 방법에 의해서도 달성될 수 있다.

또한, 상기 확률 기반 스코어 벡터를 출력하는 단계는, 상기 작물 개체의 위치추정과 상기 작물 개체의 숙도 분류를 수행하는 딥 러닝 모델을 이용하여 상기 개별 시점 영상에서 나타나는 상기 작물 개체의 색정보 패턴을 포괄적으로 표현하는 이산 확률분포 형태의 벡터를 출력할 수 있다.

그리고, 상기 최종 숙도 레벨을 결정하는 단계는 상기 확률 기반 스코어 벡터들을 가중치 기반으로 융합함으로써, 상기 작물 개체의 전 영역에 걸쳐 연속적으로 발달하는 숙도 단계 별 색 분포 패턴을 고려하여 상기 작물 개체에 대한 최종 숙도 레벨을 결정할 수 있다.

한편, 상기 목적은 본 발명에 따른 작물의 숙도 판별 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 의해서도 달성될 수 있다.

상기한 바와 같이, 본 발명에 의한 작물의 숙도 판별 장치 및 방법은 다중 시점의 영상을 이용하여 작물 개체 전 영역의 숙도 단계 별 색분포의 기하학적 특징 정보를 이용하여 작물의 숙도를 결정함으로써 분류의 정확도를 향상시킬 수 있다. 또한, 객체 탐지 기반의 딥 러닝 모델을 활용하여 종래 hand crafted feature의 단점을 극복하고 data driven feature 또는 learned feature 기반의 특징을 추출하게 되어 보다 정확하게 숙도를 분류할 수 있다. 더 나아가, 개별 시점 영상의 숙도 판별 결과를 가중치 기반으로 융합하여 최종 숙도를 결정함으로써 작물이나 품종별로 상이하게 나타날 수 있는 시점 별 특징 정보를 반영하여 정확도가 높은 숙도 분류가 가능하다. 또한, 동시에 다수 개의 작물 개체에 대한 숙도 분류가 가능하다.

도 1은 본 발명의 일 실시예에 따른 작물의 숙도 판별 장치의 개략도이다.
도 2는 도 1의 작물의 숙도 판별 장치에 의해 수행되는 숙도 판별 방법을 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 설정에 따라 구현된 딥러닝 모델로 개별 시점 숙도 분류 프로세스를 수행한 결과를 도시한 것이다.
도 4는 본 실시예에 따른 토마토 개체의 최적의 가중치 조건을 도출하기 위한 토마토 개체 숙도 분류 실험 결과를 도시한 것이다.

이하, 도면을 참조하여 본 발명의 구체적인 실시예들에 대해 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 작물의 숙도 판별 장치의 개략도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 작물의 숙도 판별 장치는 개별시점영상입력부(10), 개별시점숙도판별부(20) 및 숙도결정융합부(30)를 포함한다.

본 발명의 작물 숙도 판별 장치는 다중 시점 영상을 입력으로 한다. 개별시점영상입력부(10)는 적어도 하나의 작물에 관한 서로 다른 시점을 가진 개별 시점 영상을 각각 입력받기 위한 것으로, 영상 입력 인터페이스로 구현될 수 있다. 개별시점영상입력부(10)는 시점의 수에 대응하여 구성되어, 각각의 개별시점영상들을 별도로 입력받을 수 있다. 예컨대, 3개의 상이한 시점에서 작물의 이미지를 획득하는 경우, 즉, 작물의입력영상이 3개의 시점 영상으로 존재하는 경우, 제1 개별시점영상입력부(11), 제2 개별시점영상입력부(13), 및 제3 개별시점영상입력부(15) 등 3개의 개별시점영상시점입력부를 포함하여 구성된다. 여기서, 개별시점영상입력부(10)는 개별 시점의 수에 대응하여 하드웨어적으로 각각 분리되어 복수로 구성될 수도 있고, 하나의 하드웨어에서 소프트웨어적으로 각각의 개별시점영상들이 구별되어 입력 처리될 수도 있다.

각각의 개별시점영상입력부(11, 13, 15)는 작물에 관한 각각의 개별 시점 영상을 획득하기 위한 복수의 카메라 모듈(미도시)과 유무선 통신 인터페이스(미도시)를 통해 연결되어 복수의 카메라 모듈이 획득한 각각의 개별 시점 영상을 입력받을 수 있다. 여기서, 개별 시점 영상의 의미는 작물을 기준으로 할 수도 있고, 작물의 영상을 획득하는 카메라의 위치를 기준으로 할 수도 있다.

예컨대, 작물을 기준으로 시점을 정의하는 경우, 작물의 꼭지 영상을 제1 시점 영상, 배꼽 영상을 제2 시점 영상, 측면 영상을 제3 시점 영상으로 정의할 수 있다. 반면, 카메라의 위치를 기준으로 시점을 정의하는 경우, 위쪽에 설치된 카메라에 의해 획득되는 영상을 제1 시점 영상, 아래쪽에 설치된 카메라에 의해 획득되는 영상을 제2 시점 영상, 측면에 설치된 카메라에 의해 획득되는 영상을 제3 시점 영상으로 정의할 수 있을 것이다. 작물의 자세가 일정한 경우에는 각 카메라가 획득하는 작물의 시점이 일정한 반면, 작물의 자세가 일정하지 않는 경우에는 각각의 카메라가 획득하는 작물의 시점이 일정하지 않을 수 있다. 따라서, 각각의 카메라와 연결되어 작물의 개별시점영상을 입력받기 위한 각각의 개별시점영상입력부는 작물을 기준으로 특정 시점의 개별 영상을 일정하게 입력받을 수도 있고, 그렇지 않을 수도 있다. 본 발명은 작물의 자세가 일정한 경우나 일정하지 않은 경우에도 모두 적용 가능하다. 개별시점숙도판별부(20)는 개별시점영상입력부(10)를 통해 입력된 작물 개체에 관한 개별 시점 영상을 개별 시점 숙도 판별 모델을 이용하여 숙도 분류를 수행하는 것으로, 숙도 분류 소프트웨어 알고리즘 및 소프트웨어가 실행되는 프로세서로 구현될 수 있다.

여기서, 개별 시점 숙도 판별 모델은 객체 탐지(Object Detection) 기반의 딥 러닝 모델을 의미한다. 개별시점숙도판별부(20)는 개별 시점 영상을 입력으로 하여 객체 탐지 기반의 딥 러닝 모델을 활용하여 각 숙도 클래스 별 확률 기반 스코어 벡터를 출력한다. 개별시점숙도판별부(20)에서 출력하는 각 숙도 클래스 별 확률 기반 스코어 벡터는 개별 시점 영상에서 나타나는 작물 개체의 색정보 패턴을 포괄적으로 표현하는 이산 확률 분포(discrete probability distribution) 데이터 형태를 갖는다. 이와 같이, 본 발명은 객체 탐지 기반의 모델을 활용함으로써, 작물의 색 비율만을 고려하지 않고 기하학적인 색 분포의 특징까지도 고려하여 숙도를 판별할 수 있다.

본 발명의 개별시점숙도판별부(20)가 영상 분류(Image Classification) 기법 대신에 객체 탐지(Object Detection) 기반의 딥 러닝 모델을 활용하는 이유는 하나의 영상에 복수 개의 작물 개체가 포함될 가능성을 고려한 것이다. 본 발명의 개별시점숙도판별부(20)는 객체 탐지 작업을 통해 객체의 클래스를 작물로 분류하는 것이 아니라 객체의 상태, 즉 작물의 숙도를 분류하도록 설계된다.

개별 시점 숙도 판별 모델은 다양한 딥 러닝 모델이 활용될 수 있는데, 수집한 데이터들로부터 여러 관계들(Relationships)과 패턴(Patterns)을 찾는데 있어서, 작물의 숙도 분류에 적합한 다양한 깊이와 구조로 설계된 state-of-the arts 모델들 중에서 R-CNN(Region-based Convolutional Neural Network) 모델 또는 YOLO (You Only Look Once)을 활용할 수 있다.

먼저, R-CNN 시리즈는 입력된 영상의 목표 객체를 감싸는 경계상자의 후보영역을 별도의 후보영역생성기(region proposal generator)을 통해 산출하고 그 결과를 바로 이어지는 분류기로 전달하여 객체 분류(object classification)와 경계상자회귀(bounding box regression)를 수행하는 2단계의 탐색기(Two-stage detector) 구조를 따른다. 본 실시예에서는 이러한 구조를 따르는 여러 모델 중에서 Faster R-CNN을 활용하여, 높은 mAP(mean average precision)와 최대 5FPS 수준의 빠른 처리 속도 결과를 도출할 수 있다.

다른 예로서, YOLO(You Only Look Once) 시스템을 활용하는 경우, 단일 단계의 탐색기(Single stage Detector)로서 입력 영상의 픽셀 레벨의 로우 데이터(raw data) 입력으로부터 경계상자의 추정과 객체 숙도 클래스 분류를 하나의 CNN(Convolutional Neural Network) 스트림을 이용하여 해결할 수 있다. 본 발명은 기존의 단일 단계의 탐색기 중에서도 빠른 탐색 속도와 높은 수준의 mAP를 보이는 YOLO 방식의 단일 단계 탐색기(single stage detector)를 설계하여 병목 현상 없이 실시간 스트림 분류를 가능하게 할 수 있다. 개별시점숙도판별부(20)는 개별 시점의 개수에 대응하여 구성될 수 있다. 예컨대, 작물의 영상을 3개의 시점에서 획득하여 입력받는 경우, 개별시점숙도판별부(20)는 제1 개별시점숙도판별부(21), 제2 개별시점숙도판별부(23), 및 제3 개별시점숙도판별부(25) 등 3개의 개별시점숙도판별부를 포함하여 구성되며, 각각의 개별시점숙도판별부(20)는 개별시점영상입력부(11, 13, 15)에 연결되어 입력된 개별시점영상의 숙도를 판별한다.

한편, 각 개별시점숙도판별부(20)에 입력되는 작물의 영상의 시점이 일정하지 않은 경우, 즉 이미지 획득 시 작물의 자세가 일정하지 않는 경우, 개별시점숙도판별부는 작물의 위치 추정, 작물의 시점 추정(예, 꼭지, 배꼽 등) 및 숙도 판별을 동시에 수행하여 그 결과 데이터를 출력하게 된다. 만약, 작물의 자세가 일정한 경우에는 각 개별시점숙도판별부에 대응하여 작물의 시점을 구별할 수 있다.

여기서, 각 개별시점숙도판별부(20)는 각 개별 시점별로 서로 다른 딥 러닝 모델을 학습하거나 개별 시점에 대한 구분 없이 동일한 하나의 모델을 학습할 수도 있다. 숙도결정융합부(30)는 복수의 개별시점숙도판별부(20)로부터 출력되는 작물 개체에 관한 개별 시점 영상들 각각에 대한 숙도 분류 결과를 융합하여, 작물 개체에 대한 최종 숙도 레벨을 결정한다. 숙도결정융합부(30)는 숙도 분류 소프트웨어 알고리즘 및 소프트웨어가 실행되는 프로세서로 구현될 수 있다.

숙도결정융합부(30)는 복수의 개별시점숙도판별부(20)에서 출력한 각각의 확률 기반 스코어 벡터를 융합하여 최종 숙도를 결정하게 되는데, 개체 전반 영역에 걸쳐 연속적으로 발달하는 숙도 단계 별 색 분포 패턴을 모두 고려하기 위해 특정 시점의 개별시점숙도판별부(20)가 출력하는 스코어 벡터만을 고려하는 것이 아니라 서로 다른 시점을 가진 복수의 개별시점숙도판별부(20)에서 출력하는 스코어 벡터들을 융합한다. 종래의 숙도 분류 기술은 단순히 벡터 내 원소 중에서 단순히 최대 값을 가지는 인덱스를 선택하게 되는데, 이때 결정된 숙도가 오분류된 경우에 해당한다면, 딥러닝 스트림 출력 벡터의 숙도 단계 별 스코어의 분산이 커지는 경향을 보인다. 이는 개별 시점 영상에 내재된 작물의 숙도와 관련된 특징이 숙도를 정확히 판별하기 충분할 만큼 명확하지 않기 때문에 발생하는 결과이다. 본 발명은 이러한 종래의 기술에서 발생하는 오분류를 최소화하기 위해 고안된 것으로 작물 개체의 숙도를 결정하는 과정에서 단일 시점 영상만이 활용하기보다는 개체 전반 영역에 걸쳐 연속적으로 발달하는 숙도 단계 별 색 분포 패턴을 모두 고려하여 최종 숙도를 결정한다.

숙도결정융합부(30)는 아래의 수학식 1을 통해 각각의 개별시점숙도판별부(20)에서 출력하는 확률 기반 스코어 벡터를 가중치 기반으로 융합한다.

<수학식 1>

(여기서, n은 시점을 의미하는 것으로 n=1,..., N,

은 시점 n의 입력영상에 대한 개별시점숙도판별부 출력 벡터,α_n은 시점 n의 개별시점숙도판별부 결과에 부여되는 가중치,

는 결정 융합 벡터를 의미함)

시점 n의 입력영상으로부터 개별시점숙도판별부(20)에서 출력벡터

을 구하기 위해, 각각의 후보 바운딩박스에 대한 출력벡터를 원소로 가지는 후보집합

을 출력한다.

각각의 후보 바운딩박스에 대한 출력벡터

는 각 숙도단계에 대한 우도(Likelihood)

를 원소로 가지며 다음과 같이 정의할 수 있다.

여기서, 원소

는 아래의 수학식 2와 같다.

<수학식 2>

는 k번째 후보 경계 상자 내 객체(obj)인 작물이 존재한다는 조건하에 그 작물의 숙도 단계가

일 조건부 확률이고

는 k번째 후보 경계 상자내에 객체(obj)인 작물이 존재할 확률(confidence score)로 정의한다.

따라서 시점 n의 입력영상에 대하여 개별시점숙도판별부(20)에서

개의 모든 후보 바운딩박스마다 출력벡터

를 생성하고 각 출력벡터는

개의 원소

를 가지므로

의 총 갯수는

과 같다.

여기서 출력된 모든 원소 중 최대의

를 포함하는 후보 바운딩박스의 인덱스

를

라 하면 개별시점숙도판별부(20)의 출력벡터

은 아래 수학식 3과 같다.

<수학식 3>

여기서, 총

개의 원소 중 최대의

를 포함하는 후보 바운딩박스의 인덱스

는 non-maximum suppression (NMS) 알고리즘을 통해 구할 수 있다.

한편, 수학식 1에서, 파라미터 α_n는 n 시점영상의 개별시점숙도판별 결과에 부여되는 융합가중치로서, 숙도 분류 대상이 되는 작물 개체의 종류, 동일 작물 개체라도 품종이나 작업 환경 조건과 같은 상황에 따라 가변적으로 변경될 수 있는 값이다. 이 가중치는 특정 시점 영상 숙도 분류 결과에 부여할 때 바이어스로서 성격을 가진다. 예컨대, 특정 작물에서 꼭지를 포함하는 시점의 영상의 특징이 숙도 판별에 크게 기여하는 경우라면, 가중치 값이 꼭지를 포함하는 시점의 영상의 숙도 판별결과에 큰 값으로 설정될 수 있다. 여기서, 가중치 값은 코스트 함수에 의해서 자동으로 결정될 수 있다.

숙도결정융합부(30)에서 출력하는 벡터

는 아래 수학식 4와 같이 정의할 수 있다.

<수학식 4>

출력벡터

의 원소 각각은 작물의 숙도 단계별 우도(Likelihood)로서 이산확률분포로 나타낼 수도 있다. 숙도결정융합부(30)의 출력벡터로부터 최종적인 숙도단계를 판별하기 위하여 아래 수학식 5를 사용할 수 있다.

<수학식 5>

여기서,

는 하나의 작물개체에 대한 복수 시점의 입력 영상으로부터 결정한 최종 숙도단계 판별 값이며, 출력벡터

의 원소 중 가장 큰 확률 값의 인덱스 값으로 1~M 사이의 값을 가진다.

이와 같이, 본원발명의 숙도결정융합부(30)에 따르면, 작물 개체의 다중 시점 영상 입력에 대한 최종 숙도를 결정하기 위한 프로세스가 개별 시점에서의 숙도 분류 결과 중 일부가 오류가 있더라도 올바르게 분류된 결과를 이용해 이를 보정하는 방식으로 분류 정확도를 개선할 수 있다.

도 2는 도 1의 작물의 숙도 판별 장치에 의해 수행되는 숙도 판별 방법을 도시한 흐름도이다. 전술한 실시예와 중복되는 설명은 필요에 따라 생략하기로 한다. 도 2를 참조하면, 본 발명에 따른 작물의 숙도 판별 방법은 작물 개체에 관한 서로 다른 시점을 가진 복수의 개별 시점 영상을 입력받는다(S10).

개별시점숙도판별부(20)가 객체 탐색 기반의 개별 숙도 판별 모델인 딥 러닝 모델을 이용하여 입력된 개별 시점 영상을 처리하여 작물 개체에 관한 각 숙도 클래스별 확률 기반 스코어 벡터를 출력한다(S11). 여기서, 개별시점숙도판별부(20)에서 출력하는 작물 개체에 관한 각 숙도 클래스별 확률 기반 스코어 벡터는 개별 시점 영상에서 나타나는 작물 개체의 색정보 패턴을 포괄적으로 표현하는 이산 확률분포를 의미한다.

숙도결정융합부(30)는 복수의 개별시점숙도판별부(20)에서 각각 출력하는 벡터를 가중치를 기반으로 융합하여 작물 개체에 관한 최종 숙도 레벨을 결정한다(S13). 가중치는 작물의 종류, 품종 등에 따라서 달리 설정될 수 있다. 이를 통해, 본 발명에 따른 작물의 숙도 판별 방법은 작물 개체의 전 영역에 걸쳐 연속적으로 발달하는 숙도 단계 별 색 분포 패턴을 고려하여 작물 개체에 대한 최종 숙도 레벨을 결정할 수 있다.

본 발명에 따른 숙도 판별 장치는 토마토, 복숭아, 사과, 배, 파프리카, 또는 고추 등 다양한 작물에 적용 가능하다.

이하에서는 본원발명의 일 실시예로서 토마토의 숙도를 판별하는 장치 및 방법에 대해 설명하기로 한다.

토마토의 숙도는 3단계 또는 6단계 등으로 분류하고 있는데, 본 실시예에서는 USDA (United States Department of Agriculture)에서 정의한 6단계로 분류하는 것을 일 예로 설명한다.

아래 표 1은 USDA의 숙도 분류 6단계를 설명하는 표이다.

Stage Name	Ripeness Stage	Description
Green		The surface of the tomato is completely green in color. The shade of green may vary from light to dark.
Breaker		There is a definite “break” in color from green to tannish-yellow, pink or red on not more than 10% of the surface.
Turning		More than 10%, but not more than 30%, of the surface, in the aggregate, shows a definite change in color from green to tannish-yellow, pink, red, or a combination thereof.
Pink		More than 30%, but not more than 60%, of the surface, in the aggregate, shows pink or red in color.
Light Red		More than 60% of the surface, in the aggregate, shows pinkish-red or red, provided that not more than 90% of the surface is red.
Red		More than 90% of the surface, in the aggregate, is red.

위 표를 참조하면, 토마토의 숙도는 Green, Breaker, Turning, Pink, Light Red, Red 등 6단계로 분류한다.

그리고, 본 실시예에서는 토마토 개체의 꼭지(stem end)를 포함하는 꼭지 영상과 배꼽(flower end)을 포함하는 배꼽 영상, 2개의 개별 시점 영상을 입력으로 하는 것을 일 예로 설명한다.

본 실시예에 따른 토마토 숙도 판별 장치는 토마토 개체에 대한 2개의 서로 다른 시점 영상을 입력받기 위한 개별시점영상입력부(10), 꼭지 영상을 입력으로 하여 숙도를 판별하는 제1 개별시점숙도판별부(21), 배꼽 영상을 입력으로 하여 숙도를 판별하는 제2 개별시점숙도판별부(23), 및 이 2개의 개별 시점 영상의 숙도 판별 결과를 융합하여 토마토 개체의 최종 숙도를 판별하는 숙도결정융합부(30)를 포함한다.

본 실시예에 따른 토마토 숙도 판별 장치는 토마토 개체의 꼭지 영상 및 배꼽 영상을 동시에 입력받은 후 개체 전 영역에 분포한 숙도 단계 별 특징 정보를 활용하여 최종 숙도를 결정하는 것으로, SFS-CNN(Stochastic Fusion of Single Stage Detector Convolutional Neural Network)으로 명명할 수 있다.

본 실시예에 따른 토마토 숙도 판별 장치는 개별 시점 영상 별로 숙도를 분류하는 두 개의 분리된 개별시점숙도판별부(20)와 두 결과 벡터를 융합하는 숙도결정융합부(30)가 연결되어 있다. 먼저 하나의 토마토 개체로부터 수집된 배꼽 영상 및 꼭지 영상을 개별시점영상입력부(10)를 통해 개별적으로 입력받은 후, 개별시점숙도판별부(20)가 각 영상 내 토마토의 숙도를 분류하기 위한 개별 시점 숙도 분류 프로세스를 진행한다. 개별시점숙도판별부(20)는 객체 탐색용으로 고안된 딥러닝 모델을 활용하여 각 숙도 클래스 별 확률 기반 스코어 벡터를 출력한다. 이 결과들을 전달받는 숙도결정융합부(30)는 토마토 개체의 최종 숙도 단계를 결정하기 위해 입력된 결과 벡터를 가중치 기반으로 융합한다.

구체적으로, 개별시점숙도판별부(20)의 판별 프로세스는 토마토 개체의 배꼽 영상과 꼭지 영상을 딥러닝 모델에 입력하여 진행되는 두 개의 구별된 숙도 분류 스트림을 의미하며, 꼭지 영상을 처리하는 제1 개별시점숙도판별부(21)와 배꼽 영상을 처리하는 제2 개별시점숙도판별부(23)를 포함한다.

여기서, 제1 및 제2 개별시점숙도판별부(21, 23)는 작물 개체의 위치추정과 숙도 분류를 동시에 수행하는 모델로서, Single Stage Detector 방식의 CNN 모델을 이용하는 것을 일 예로 설명한다. 개별시점숙도판별부(20)는 숙도 분류의 코어로 활용된 딥러닝 모델이 객체 탐색을 기반으로 동작하기 때문에, 객체의 클래스 분류와 함께 위치 추정도 동시에 수행할 수 있으므로 입력 영상에 포함된 토마토가 다수이더라도 토마토 개체 별로 구분하여 숙도를 분류할 수 있는 장점이 있다. 제1 및 제2 개별시점숙도판별부(21, 23)는 Single Stage Detector 방식의 CNN을 이용하여 경계상자 위치 추정과 객체 분류를 하나의 CNN 기반 스트림으로 동시에 수행한다.

한편, 제1 개별시점숙도판별부(21)와 제2 개별시점숙도판별부(23)는 서로 다른 2개의 딥러닝 모델을 학습하거나 학습용 영상의 시점에 대한 구분없이 하나의 딥러닝 모델을 학습하여 활용할 수 있다.

본 실시예에 따른 개별시점숙도판별부(20)는 하나의 딥 러닝 모델을 학습하는 것을 일 예로 하며, COCO 데이터베이스를 기반으로 사전 훈련된(pre-trained) 된 백본 네트워크 구조(backbone network architecture)를 토마토의 양방향 시점 영상에 대하여 미세 조정(fine-tuning)하는 방식으로 개별 시점 숙도 프로세스의 딥러닝 모델을 학습하여 적정한 모델 초기 파라미터를 설정한다.

이하에서는 본 실시예에 따른 개별시점숙도판별부(20)의 딥 러닝 모델의 학습 및 모델의 초기 파라미터 설정에 대해 구체적으로 설명하기로 한다. 개별시점숙도판별부(20)의 분류 결과에 따라 전체의 예측 성능이 의존하기 때문에 이를 담당하는 딥러닝 모델의 성능을 최대화하는 방향으로 학습 전략을 수립해야 한다. 이를 위한 첫번째 단계로 딥러닝 모델의 학습에 활용되는 데이터셋의 규모를 확장해야 한다. 본 발명의 실시예에서 활용되는 데이터셋은 토마토 개체 별로 각각 꼭지와 배꼽을 바라보는 양방향 시점에서 수집된 RGB 영상 데이터와 각 영상에 대응하는 주석(annotation) 데이터의 쌍으로 이루어진다. 이때 주석 데이터는 영상 내 토마토 개체의 경계 상자의 위치 및 크기 정보를 포함한다. 하지만 이와 관련된 데이터셋을 공개한 종래의 연구가 없기 때문에 본 실시예에서는 CCD 카메라 기반 영상 수집 시스템을 디자인하여 활용 데이터셋을 자체적으로 수집하였다.

영상 수집 과정은 대프니스(Dafnis) 품종의 토마토 개체를 USDA 컬러차트 기준 6단계 숙도 별로 구분하여 카메라 시스템의 챔버 안에 위치시키고 꼭지를 바라보는 시점 및 배꼽을 바라보는 시점, 양방향 시점에서 캡쳐된 로(Raw) 영상 데이터를 저장하는 방식으로 진행하였다. 이때 수집된 영상은 1624x1280 pixels 해상도, 48 bit, 2 채널의 TIF 영상으로 JAI 3CCD 컬러 카메라를 통해 캡쳐하였다. 캡쳐된 영상은 딥러닝을 위하여 8 bit, 3 채널의 JPEG 파일로 변환하여 사용하였다. 또한, 숙도 단계를 표현하는 원시적 특징을 최대한 다양하게 확보하여 딥러닝 모델의 성능을 향상시키기 위해 각 숙도 단계 별로 최소 500개체 이상으로 이루어진 대규모 데이터셋을 구성하였다.

이렇게 수집된 토마토 개체의 대규모 데이터셋은 본 발명에 따른 작물 숙도 판별 장치를 구성하는 딥러닝 모델의 학습을 위해 활용된다. 먼저 본 발명에 따른 SFS-CNN의 개별 시점 숙도 분류 프로세스 결과의 정확도를 최대화하는 방향으로 딥러닝 모델을 학습하였다. 학습 알고리즘은 mini-batch 기반 stochastic gradient descent를 따르며, 다음과 같이 학습 관련 파라미터들을 사전에 설정하였다.

Max training steps: 50,000

Mini-batch/subdivisions size: 32/8

Learning rate: 0.01 (scale 0.1 at step 25,000, 35,000)

Weight decay: 0.0005

Learning momentum: 0.9

딥러닝 모델의 성능을 향상시키려면 활용 데이터셋 풀의 확장 외에도 숙도 단계 별 명시적인 특징을 가장 잘 검출하는 모델의 하이퍼파라미터 설정을 찾아야만 한다. 본원발명은 여러 종류의 하이퍼파라미터 중에서 편향-분산 트레이드오프(bias-variance tradeoff)를 고려하여 네트워크 깊이, 즉 레이어의 개수와 네트워크가 최종적으로 출력하는 특징맵의 스케일의 개수를 최적화 대상으로 정의하였다. 이를 위해 다양한 깊이 구조를 기반으로 단일/복수 스케일(single/multi scale)의 특징맵을 출력할 수 있는 CNN 구조를 활용한 개별 시점 숙도 분류 프로세스를 진행하고 그 결과를 분석하였다.

도 3은 본 발명의 일 실시예에 따른 다음의 네 가지 설정에 따라 구현된 딥러닝 모델로 개별 시점 숙도 분류 프로세스를 수행한 결과를 도시하였다.

total stride = 32의 single scale, Darknet-19 기반 네트워크 모델

total stride = 8, 16, 32의 triple scale, Darknet-19 기반 네트워크 모델

total stride = 32의 single scale, Darknet-53 기반 네트워크 모델

total stride = 8, 16, 32의 triple scale, Darknet-53 기반 네트워크 모델

위 결과를 통해 후보로 활용된 여러 CNN 모델 중에서 컨볼루션 레이어가 107개이면서 3번의 업-샘플링(up-sampling)을 통해 3종 스케일의 특징맵을 출력하도록 하이퍼파라미터가 설정된 모델이 개별 시점 숙도 분류 프로세스 결과에 대한 마이크로-평균 ROC 곡선(micro-average ROC curve)의 크기가 가장 크므로 평균 정확도가 가장 우수한 것으로 나타났다. 이는 본 실시예에서 수집한 토마토 영상 데이터셋을 활용하여 개별 시점에서의 토마토 숙도를 분류하는 조건에서는 깊은 구조와 다양한 스케일의 특징맵을 출력할 수 있는 모델이 효율적인 선택이 될 수 있음을 의미한다.

하나의 토마토 개체에 대한 꼭지(stem end) 영상을 통해 숙도를 판별하는 제제1 개별시점숙도판별부(21)의출력 벡터

는, 상기 수학식 3으로부터 아래와 같이 나타내고,

배꼽(flower end) 영상을 통해 숙도를 판별하는 제2 개별시점숙도판별부(23)의 출력 벡터는 상기 수학식 3으로부터 아래와 같이 나타낼 수 있다.

개별시점숙도판별부(20)에서 출력하는 숙도 분류 딥러닝 스트림의 출력벡터는 각 숙도 클래스별 확률 기반 스코어 벡터로서, 해당 시점 영상이 Green, Breaker, Turning, Pink, Light Red, Red 등 6단계 숙도 클래스 각각에 속할 확률을 이산 확률 분포로 나타낸다. 즉, 개별시점숙도판별부(20)의 딥러닝 모델을 통한 출력 값은 토마토 개체의 숙도 단계에 따라 전 영역에 걸쳐 고유하게 나타나는 색정보의 패턴을 포괄적으로 표현한다. 이로 인해, 다음 단계로 이어지는 숙도결정융합부(30)의 결정 프로세스에서 이 결과를 토대로 최종 숙도를 보다 정확하게 결정할 수 있다.

숙도결정융합부(30)는 아래의 식을 통해 서로 다른 시점의 숙도 판별 결과를 융합한다.

<수학식 6>

위 식에 따르면, 본 발명에 따른 숙도결정융합부(30)는 개별 시점에서의 숙도 분류 결과를 그대로 사용하는 것이 아니라 각각의 확률분포를 융합함으로써 그 중 일부가 오류가 있더라도 올바르게 분류된 결과를 이용해 이를 보정하여 분류 정확도를 개선할 수 있다. 이를 위해, 숙도결정융합부(30)는 개별시점숙도판별부(20)의 딥러닝 스트림의 출력 벡터를 one-hot encoding을 거치지 않고 원시확률분포형태 그대로 활용한다. 전술한 바와 같이, 개별시점숙도판별부(20)의 딥러닝 스트림의 출력 벡터는 숙도 단계 별 스코어를 의미하는 이산확률분포로서 숙도결정융합부(30)는 각각의 개별시점숙도판별부(20)의 각 숙도 클래스별 스코어를 융합함으로써 최종 숙도를 결정한다.

위 식에서, 가중치 파라미터

는 숙도 분류 대상이 되는 토마토 개체의 품종이나 작업 환경 조건과 같은 상황에 따라 가변되는 값이다. 이 가중치 값은 본 발명에 따른 토마토 개체의 숙도 판별의 결과에 영향을 미치는 또 하나의 요소로서 본 발명에서는 이 가중치를 토마토 개체의 개별 시점 영상에 대한 바이어스로 가정하고 토마토 개체 숙도 분류 프로세스의 측정 가능한 일반화 성능을 최대한 향상시키는 것을 목표로 이 가중치 값을 설정한다.

본 실시예에서는 대프니스(Dafnis) 품종에 대하여 최적의 가중치 조건을 알아보기 위해 수학식 5의

값을 최소 0.1에서 최대 0.9까지 0.05 단위로 변경하며 본 발명에 따른 토마토 개체 숙도 분류 실험을 반복 수행하였다. 도 4는 본 실시예에 따른 융합 가중치 결정을 위한 정확도(accuracy) 그래프를 도시한 것이다. 이때 정확도는 다음 수학식 7에 의해 계산된다.

<수학식 7>

도 4에서 볼 수 있듯이 실험 결과는

로 설정된 융합 가중치(fusion weight)일 때의 토마토 개체 숙도 분류 결과가 가장 높은 정확도를 보이고 있기 때문에 본 실시예에서는 이 값을 기반으로 가중치를 설정하기로 한다.

숙도결정융합부(30)의 출력 결과 벡터도 토마토의 숙도 단계 별 L₂-normalized softmax 스코어를 표현하는 이산확률분포이다. 토마토 개체에 대한 결정 융합 프로세스의 결과 벡터

가 아래와 같을 때,

상기 수학식 5를 사용하여 이중 최대 값을 가지는 원소의 인덱스를 찾는다.

수학식 5의 결과인

는 숙도결정융합부(30)가 양방향 시점의 입력 영상을 수집한 토마토 개체에 대하여 결정한 최종 숙도 단계를 표현하는 클래스 레이블이다.

이와 같이, 본 발명에 따르면 개별적으로 수행되었던 숙도 분류 프로세스의 결과에 대한 적절한 가중치 기반 결정 융합 프로세스를 제안함으로써 개별 시점 영상 기반 숙도 분류 정확도뿐만 아니라 다중 시점의 특징을 모두 고려함으로써 토마토 개체의 숙도 분류 정확도를 향상시킬 수 있다.

본 발명에 따른 작물의 숙도 판별 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 의해 구현 가능하다. 또한, 본 발명에 따른 작물의 숙도 판별 장치는 작물 영상 입력을 위한 입력 인터페이스, 메모리, 및 프로세서를 포함하여 구성되며, 작물 숙도 분류를 위한 소프트웨어들은 메모리에 저장되고 프로세서에 의해 실행될 수 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 개별시점영상입력부 20: 개별시점숙도판별부
21: 제1 개별시점숙도판별부 23: 제2 개별시점숙도판별부
30: 숙도결정융합부

Claims (15)

1. 작물의 숙도 판별 장치에 있어서,
   적어도 하나의 작물 개체에 관한 서로 다른 시점을 가진 개별 시점 영상들을 각각 입력받기 위한 개별시점영상입력부;
   객체 탐지 기반의 딥 러닝 모델을 이용하여 상기 작물 개체에 관한 상기 개별 시점 영상의 숙도 분류를 수행하고 상기 작물 개체에 관한 각 숙도 클래스 별 확률기반 스코어 벡터를 출력하는 복수의 개별시점숙도판별부; 및
   상기 복수의 개별시점숙도판별부로부터 출력되는 상기 작물 개체에 관한 상기 각 숙도 클래스 별 확률 기반 스코어 벡터를 융합하여, 상기 작물 개체에 대한 최종 숙도 레벨을 결정하는 숙도결정융합부를 포함하고;
   상기 개별시점숙도판별부는 상기 개별 시점 영상에서 나타나는 기하학적인 색분포 패턴의 특징을 고려하여 상기 숙도 클래스 별 확률 기반 스코어 벡터를 출력하는 것을 특징으로 하는 작물의 숙도 판별 장치.
   
2. 제1항 있어서,
   상기 숙도결정융합부는 상기 개별시점숙도판별부에서 출력하는 상기 작물 개체의 각 숙도 클래스 별 확률 기반 스코어 벡터들을 가중치 기반으로 융합하여 상기 작물 개체에 대한 최종 숙도 레벨을 결정하는 것을 특징으로 하는 작물의 숙도 판별 장치.
   
3. 제1항에 있어서,
   상기 개별시점숙도판별부는 상기 개별 시점 영상에서 상기 작물 개체의 위치추정과 상기 작물 개체의 숙도 분류를 수행하는 것을 특징으로 하는 작물의 숙도 판별 장치.
   
4. 제1항에 있어서,
   상기 개별시점숙도판별부는 상기 개별 시점 영상에서 상기 작물 개체의 위치추정, 상기 작물 개체의 시점 추정, 및 상기 작물 개체의 숙도 분류를 수행하는 딥 러닝 모델을 이용하는 것을 특징으로 하는 작물의 숙도 판별 장치.
   
5. 제3항에 있어서,
   상기 개별시점숙도판별부는 상기 작물 개체를 포함하는 경계상자의 후보영역에 관한 추정을 수행하는 제1 탐색부, 및 상기 제1 탐색부의 추정 결과에 기초하여 상기 작물 개체의 숙도 분류 및 경계 상자 위치 추정을 수행하는 제2 탐색부를 포함하는 것을 특징으로 하는 작물의 숙도 판별 장치.
   
6. 제1항에 있어서,
   상기 개별시점숙도판별부는 상기 개별 시점 영상에서 상기 작물 개체의 경계 상자 위치 추정 및 숙도 분류를 동시에 수행하는 것을 특징으로 하는 작물의 숙도 판별 장치.
   
7. 제4항에 있어서,
   상기 개별시점숙도판별부는 상기 작물 개체의 개별 시점별로 숙도 분류를 수행하는 서로 다른 딥 러닝 모델을 학습하거나 상기 개별 시점에 대한 구분 없이 하나의 딥 러닝 모델을 학습하는 것을 특징으로 하는 작물의 숙도 판별 장치.
   
8. 제2항에 있어서,
   상기 개별시점숙도판별부에서 출력하는 상기 확률 기반 스코어 벡터는 상기 개별 시점 영상에서 나타나는 기하학적인 상기 작물 개체의 색정보 패턴을 포괄적으로 표현하는 이산 확률분포 데이터인 것을 특징으로 하는 작물의 숙도 판별 장치.
   
9. 제8항에 있어서,
   상기 숙도결정융합부는 상기 개별시점숙도판별부에서 출력하는 상기 작물 개체의 각 숙도 클래스 별 확률 기반 스코어 벡터들을 가중치 기반으로 융합함으로써, 상기 작물 개체의 전 영역에 걸쳐 연속적으로 발달하는 숙도 단계 별 기하학적인 색분포 패턴을 고려하여 상기 작물 개체에 대한 최종 숙도 레벨을 결정하는 것을 특징으로 하는 작물의 숙도 판별 장치.
   
10. 제9항에 있어서,
    상기 숙도결정융합부는 아래 식을 이용하여 상기 개별시점숙도판별부에서 출력하는 상기 작물 개체의 각 숙도 클래스 별 확률 기반 스코어 벡터들을 가중치 기반으로 융합하는 것을 특징으로 하는 작물의 숙도 판별 장치:
    

    

    
    (여기서, n은 시점을 의미하는 것으로 n=1,..., N,

    

    은 시점 n의 개별시점숙도판별부에서 출력하는 벡터,α_n은 시점 n의 개별시점숙도판별부 결과에 부여되는 가중치,

    

    는 융합 벡터를 의미함)
    
11. 제2항에 있어서,
    상기 가중치는 작물 개체의 품종이나 환경 조건에 따라 가변되는 값인 것을 특징으로 하는 작물의 숙도 판별 장치.
    
12. 제1항에 있어서,
    상기 작물은 토마토, 복숭아, 사과, 배, 파프리카, 및 고추 중 적어도 하나를 포함하는 것을 특징으로 하는 작물의 숙도 판별 장치.
    
13. 작물의 숙도 판별 방법에 있어서,
    적어도 하나의 작물 개체에 관한 서로 다른 시점을 가진 개별 시점 영상들을 입력받는 단계;
    객체 탐지 기반의 딥 러닝 모델을 이용하여 상기 작물 개체의 개별 시점 영상에 관한 각 숙도 클래스 별 확률 기반 스코어 벡터를 출력하는 단계;
    상기 작물 개체의 개별 시점 영상에 관한 각 숙도 클래스 별 확률 기반 스코어 벡터를 융합하여 상기 작물 개체에 대한 최종 숙도 레벨을 결정하는 단계를 포함하고;
    상기 확률 기반 스코어 벡터를 출력하는 단계는 상기 개별 시점 영상에서 나타나는 기하학적인 색분포 패턴의 특징을 고려하여 상기 숙도 클래스 별 확률 기반 스코어 벡터를 출력하는 것을 특징으로 하는 작물의 숙도 판별 방법.
    
14. 제13항에 있어서,
    상기 확률 기반 스코어 벡터는 상기 개별 시점 영상에서 나타나는 기하학적인 상기 작물 개체의 색정보 패턴을 포괄적으로 표현하는 이산 확률분포 형태의 벡터이고;
    상기 최종 숙도 레벨을 결정하는 단계는 상기 확률 기반 스코어 벡터들을 가중치 기반으로 융합함으로써, 상기 작물 개체의 전 영역에 걸쳐 연속적으로 발달하는 숙도 단계 별 기하학적인 색분포 패턴을 고려하여 상기 작물 개체에 대한 최종 숙도 레벨을 결정하는 것을 특징으로 하는 작물의 숙도 판별 방법.
    
15. 제13항 또는 제14항의 작물의 숙도 판별 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
    

Images