KR20210126320A - 다중 영상 인식을 통하여 가중치를 반영한 작물의 분류 방법, 그 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체 및 작물의 분류 장치 - Google Patents

Abstract

다중 시점의 영상에서 도출된 확률 기반 스코어 벡터를 이용한 작물의 분류 방법, 그 방법을 수행하기 위한 프로그램이 기록된 기록 매체, 및 이를 위한 작물의 분류 장치가 제공된다. 상기 작물의 분류 장치는 대상 객체의 복수 시점 영상을 각각 입력받는 영상 입력부; 객체 탐지 기반 딥러닝 모델을 이용하여 상기 객체의 각 시점에서의 기준데이터를 분류하고, 상기 객체에 관한 기준데이터 레벨에 관한 각 시점별 복수의 확률 기반 스코어 벡터를 출력하는 개별 판별부; 상기 스코어 벡터의 오차 행렬(confusion matrix)로부터 상기 각 시점에서의 복수의 가중치를 연산하는 가중치 연산부; 및 상기 개별 판별부로부터 출력되는 상기 복수의 확률 기반 스코어 벡터와 상기 가중치 연산부로부터 연산되는 상기 가중치에 기반하여 최종 기준데이터 레벨을 결정하는 최종 판별부를 포함한다.

Description

다중 영상 인식을 통하여 가중치를 반영한 작물의 분류 방법, 그 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체 및 작물의 분류 장치{METHOD FOR CLASSIFYING CROP BY MULTIPLE IMAGE RECOGNITION REFLECTING WEIGHT, AND COMPUTER-READABLE RECORDING MEDIUM FOR EXCUTING THE METHOD, AND CROP CLASSIFYING DEVICE}

본 발명은 다중 영상 인식을 통한 작물의 분류 방법, 다중 영상 인식을 통해 작물을 분류하는 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체, 및 다중 영상 인식을 통한 작물의 분류 장치에 관한 것이다.

상세하게는, 본 발명은 다중 영상 인식을 통해 작물의 여러 위치에서의 색을 기반으로 작물의 숙도를 분류하는 방법, 그 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체, 및 이를 이용한 작물의 숙도 분류 장치에 관한 것이다.

더 상세하게는, 본 발명은 다중 영상 인식을 통해 작물의 여러 위치에서의 색을 기반으로 가중치를 반영하여 작물의 숙도를 분류하는 방법, 그 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체, 및 이를 이용한 작물의 숙도 분류 장치에 관한 것이다.

작물(crop)의 당도나 영양가는 작물의 품질 수준과 직결되며 소비자들은 작물이 고유로 갖는 맛, 풍미, 식감이 우수한 작물을 고르기 위해 작물의 상태를 육안으로 구분하여 우수한 작물을 선택하기도 한다. 또한 판매자들은 같이 재배한 작물이라 할지라도 소비자들의 수요가 높고 품질 수준이 높은 작물은 더 높은 가격에 판매하고자 한다. 따라서 작물의 숙도 분류는 소비자들에게나 판매자들이 서로 거래하기 전 반드시 필요한 단계이다.

특히 토마토, 키위, 바나나 등과 같은 후숙 과일의 경우 판매자로부터 유통 과정을 거쳐 소비자에 이르는 동안 숙도가 변하는 정도가 크기 때문에 특정 시점에서 적절한 숙도를 갖는 작물을 선별적으로 분류하는 것은 매우 중요하다. 예를 들어, 유통 과정이 상대적으로 긴 작물은 숙도가 상대적으로 낮은 상태에서 유통을 시작하는 것이 바람직하고, 유통 과정이 상대적으로 짧은 작물은 숙도가 상대적으로 높은 상태에서 유통을 시작하는 것이 바람직할 수 있다.

일반적으로 숙도 분류에 있어서 고려할 수 있는 한가지 요소는 작물의 색이다. 작물은 성숙해가면서 껍질의 색깔이 변하게 되는데, 작물의 종류에 따라 작물의 윗부분부터 색깔이 변하는 작물이 있는가 하면, 작물의 배부터 색깔이 변하는 작물이 있고, 작물의 줄무늬 선이 진해지는 정도로부터 작물의 숙도를 판정할 수 있는 작물이 있다.

예를 들어, 토마토의 경우 숙도가 진행될수록 아스코르브산염(ascorbate), 라이코펜(lycopene), 베타카로틴(β-carotene), 루틴(rutin) 그리고 카페익산(caffeic acid) 등과 같은 항산화 물질이 증가하고, 말산(malic acid)과 구연산(citric acid) 등의 유기산이 감소하며 포도당과 과당이 축적되어 단맛이 강해지고 숙도가 높아진다.

이와 함께 펙틴질의 감소로 인해 과육 경도가 감소하고, 클로로필의 감소와 라이코펜의 증가에 따라 표면의 색이 붉게 변화한다. 따라서 토마토의 경도가 낮고 표면 색이 붉은 색에 가까울수록 숙도가 높은 토마토로 추정할 수 있다. 이처럼 작물의 표면 색 분포 비율을 기준으로 숙도를 분류하는 방법은 비파괴적이고 산업에 적용하는데 있어 편리성을 가지기 때문에 가장 널리 사용되고 있다.

일본 공개특허 제2017-134585호, (특허문헌 2) 일본 등록특허 제6632014호

Evaluating Tomato Ripeness Using a Neural Network, JOURNAL OF SHITA, 8(3), 1996, (비특허문헌 2) Extraction methods of color and shape features for tomato grading, J.SHITA, 18(2), 2006

기존에는 토마토 등의 작물 숙도의 분류를 육안에 의한 분류에 의존하는 실정이었다. 예컨대 사람이 일일이 토마토 표면의 색 분포와 그 비율을 컬러 차트와 비교하여 숙도를 분류하고 품질 등급을 매기는 것이 일반적이다. 토마토의 분류를 위한 컬러 차트의 예로는 미국 농업부(United States Department of Agriculture, USDA)에서 정의한 6단계 분류 등을 들 수 있다. 미국 농업부에 따른 6단계 분류는 녹색(green), 황갈색(tannish-yellow), 분홍색(pink), 적색(red), 이들이 조합된 색, 그리고 이들이 토마토 표면에서 차지하는 면적 비율에 따라 토마토 숙도를 6단계로 구분하고 있다.

미국 농업부의 토마토 숙도분류 6단계를 하기 표 1에 나타내었다.

스테이지 넘버	스테이지 네임	이미지	설명
1	Green		The surface of the tomato is completely green in color. The shade of green may vary from light to dark
2	Breaker		There is a definite "break" in color from green to tannish-yellow, pink or red on not more than 10% of the surface
3	Turning		More than 10%, but not more than 30%, of the surface, in the aggregate, shows a definite change in color from green to tannish-yellow, pink, red, or a combination thereof
4	Pink		More than 30%, but not more than 60%, of the surface, in the aggregate, shows pink or red in color
5	Light red		More than 60% of the surface, in the aggregate, shows pinkish-red or red, provided that not more than 90% of the surface is red
6	red		More than 90% of the surface, in the aggregate, is red

그러나 이러한 육안 선별 방법은 작업 인력의 주관성 내지는 전문성에 대한 의존도가 매우 높기 때문에 작업 인력에 대한 훈련이 필요하다. 또한 노동 집약적인 특성으로 인해 작업의 속도가 느리며, 작업 시간이 경과함에 따라 작업 인력의 주관의 개입으로 인해 숙도 분류의 기준이 일관되지 못하고 숙도 분류 결과의 정확도가 떨어질 수 있는 문제가 있었다. 그리고 육안 선별법의 전술한 한계로 인해 작물의 대량 생산 시스템에 적용하기 곤란한 한계가 있었다.

이러한 육안 선별법의 한계로 인해 최근에는 컴퓨터 비전 기술을 활용하여 작물의 품질을 평가하고 숙도를 판별하기 위한 시스템에 대한 연구가 진행되고 있다. 예를 들어 특허문헌 1 및 특허문헌 2는 작물 표면 색을 컴퓨터 비전 기술로 추출하고, 이 색을 미리 정의된 색상 데이터베이스와 비교하여 작물의 숙도를 판별하는 기술을 개시한다.

이와 같은 컴퓨터 비전 기술 기반 판별 시스템들은 대부분 작물의 이미지를 획득하고, 수집된 RGB 영상의 노이즈 필터링을 위한 전처리기와 이미지 분할(segmentation)을 통한 특징 영역 검출기, 그리고 작물의 표면의 결함의 유무와 숙성 여부를 판별하는 분류기로 구성되어 있다.

이러한 종래의 컴퓨터 비전 기반 기술은 대부분 작물의 색 분포의 상대적인 비율의 특징을 추출하여 숙도 분류를 하는 것이 일반적이다. 그러나 종래의 기술은 작물의 일부분에서 색을 추출하고 순도를 분류하는 것, 즉 특정 시점에서 갖는 작물의 색 또는 색 비율에 근거하는 것에 불과하다. 뿐만 아니라 이를 구현하기 위해서는 특정 작물의 숙도 경과에 따른 해당 작물 고유의 외관 특성의 변화에 대해 충분히 이해하여야 하기 때문에 컴퓨터 프로그램을 설계한 전문가의 전문성이 중요하고, 설계자가 미처 고려하지 못한 요소는 전혀 반영되지 못하는 문제가 있다.

또한 작물에 따라서, 동일한 작물이라 하더라도 품종에 따라서, 동일한 품종이라 하더라도 생산지나 재배지 등 생산 단위가 갖는 고유 특질에 따라 숙도 경과에 따른 작물의 특성 변화가 다르게 나타날 수 있기 때문에 종래의 컴퓨터 비전 기술을 적용하기는 극히 제한적인 한계가 있었다.

예를 들어, 토마토 작물 중에서도 어느 품종은 꼭지(stem-end) 부근부터 붉게 변화할 확률이 높고, 다른 어느 품종은 배꼽(flowe-end) 부근부터 붉게 변화할 확률이 높을 수 있다.

다른 예를 들어, 토마토 작물의 경우 광 방향이나 품온(인간의 체온에 해당)에 따라 꼭지(stem-end) 부근부터 붉게 변할 수도 배꼽(flower-end) 부근부터 붉게 변할 수도 있으며, 품종에 따라서는 세로 방향의 띠 형태로 붉게 변할 수도 있기 때문에 시점에 따라 숙도 분류 결과가 달라질 수 있다.

한편, 컴퓨터 비전 기술을 이용하여 작물을 분류할 경우, 이미지 획득 과정에서 빛의 반사 정도나 빛의 방향에 따라 서로 다른 숙도 분류 결과가 도출될 수도 있다.

이러한 이유로 특정 시점에서의 상대적인 색 비율만 고려하는 것이 아니라 서로 다른 위치에서 획득한 복수의 이미지, 그리고 이들 복수의 이미지에 기반한 색 변화 패턴을 활용하여 숙도를 분류하는 기술이 필요하다.

이에 본 발명이 해결하고자 하는 과제는 다중 시점의 입력 영상에 기반하고 객체 탐지 기반 딥러닝 모델을 적용하여 작물의 숙도를 판별함으로써 작물 객체의 전 영역에 분포한 숙도 단계별 색의 기하학적 공간 특징 정보를 고려한 작물의 분류 방법을 제공하는 것이다.

또, 상기 다중 시점의 입력 영상에서 획득한 개별 시점 영상의 각 숙도 클래스별 확률 기반 스코어 벡터를 가중치 기반으로 융합하되, 판별 대상 작물이 고유하게 갖는 특성 정보가 반영된 시점별 가중치를 딥러닝 모델로부터 도출하고 최적화된 가중치를 연산함으로써, 작물이나 품종 별로 상이하게 나타날 수 있는 작물의 공간적 특징 정보의 활용을 극대화할 수 있는 작물의 분류 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 작물 객체의 전 영역에 분포한 숙도 단계별 색의 기하학적 공간 특징 정보를 고려하고, 작물이나 품종 별로 상이하게 나타날 수 있는 작물의 공간적 특징 정보의 활용을 극대화할 수 있는 작물의 분류 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는 작물 객체의 전 영역에 분포한 숙도 단계별 색의 기하학적 공간 특징 정보를 고려하고, 작물이나 품종 별로 상이하게 나타날 수 있는 작물의 공간적 특징 정보의 활용을 극대화할 수 있는 작물의 분류 프로그램을 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 작물의 분류 장치는 대상 객체의 복수 시점 영상을 각각 입력받는 영상 입력부; 객체 탐지 기반 딥러닝 모델을 이용하여 상기 객체의 각 시점에서의 기준데이터를 분류하고, 상기 객체에 관한 기준데이터 레벨에 관한 각 시점별 복수의 확률 기반 스코어 벡터를 출력하는 개별 판별부; 상기 스코어 벡터의 오차 행렬(confusion matrix)로부터 상기 각 시점에서의 복수의 가중치를 연산하는 가중치 연산부; 및 상기 개별 판별부로부터 출력되는 상기 복수의 확률 기반 스코어 벡터와 상기 가중치 연산부로부터 연산되는 상기 가중치에 기반하여 최종 기준데이터 레벨을 결정하는 최종 판별부를 포함한다.

상기 복수의 시점 영상은 상기 대상 객체의 꼭지 부근의 제1 시점 영상 및 상기 대상 객체의 배꼽 부근의 제2 시점 영상을 포함할 수 있다.

또, 상기 복수의 확률 기반 스코어 벡터는 상기 제1 시점 영상에서의 제1 스코어 벡터 및 상기 제2 시점 영상에서의 제2 스코어 벡터를 포함할 수 있다.

상기 오차 행렬은 상기 제1 스코어 벡터에 관한 제1 오차 행렬 및 상기 제2 스코어 벡터에 관한 제2 오차 행렬을 포함할 수 있다.

또, 상기 복수의 가중치는 상기 제1 오차 행렬로부터 연산된 제1 가중치 및 상기 제2 오차 행렬로부터 연산된 제2 가중치를 포함하되, 상기 제1 가중치 및 상기 제2 가중치는 각각 벡터 또는 스칼라일 수 있다.

상기 개별 판별부는 각 개별 시점에서의 상기 대상 객체의 경계 상자 위치 추정 및 상기 대상 객체의 색상 분류를 동시에 수행할 수 있다.

몇몇 실시예에서, 상기 개별 판별부는 상기 대상 객체를 포함하는 경계 상자의 후보 영역에 관한 추정을 수행하는 제1 탐색부, 및 상기 제1 탐색부의 추정 결과에 기초하여 상기 대상 객체의 숙도 분류 및 경계 상자 위치 추정을 수행하는 제2 탐색부를 포함할 수 있다.

상기 개별 판별부의 확률 기반 스코어 벡터는 각 개별 시점에서 나타나는 상기 대상 객체의 색 정보 패턴을 포괄적으로 표현하는 이산 확률분포 데이터일 수 있다.

또, 상기 최종 판별부는 상기 대상 객체의 전 영역에 걸쳐 연속적으로 발달하는 숙도 단계별 색 분포 패턴을 고려하여 상기 대상 객체에 대한 최종 숙도 레벨을 결정할 수 있다.

상기 최종 판별부는 하기 수식을 이용하여 최종 기준데이터 레벨을 결정할 수 있다.

<수식>

여기서,

는 최종 결정 융합 벡터이고, N은 각 개별 시점의 총 개수를 의미하고, n은 각 개별 시점의 순번을 의미하고,

는 시점 n에서의 확률 기반 스코어 벡터이고, α_n은 시점 n에 대한 가중치이다.

아울러 α_n은 각 시점별 개별 판별부의 오차 행렬로부터 계산된 평균 리콜(average recall) 또는 평균 정확(average precision)을 기반으로 연산될 수 있다.

또한 α_n은 하기 수식 A 및 수식 B 중 어느 하나로부터 연산될 수 있다.

<수식 A>

<수식 B>

여기서, N은 각 개별 시점의 총 개수를 의미하고, n은 각 개별 시점의 순번을 의미하고, AR_n은 시점 n에서의 평균 리콜(average recall)을 의미하고, AP_n은 시점 n에서의 평균 정확(average precision)을 의미한다.

상기 다른 과제를 해결하기 위한 본 발명의 일 실시예에 따른 작물의 분류 방법은, 대상 객체의 복수 시점 영상을 각각 입력받는 단계; 객체 탐지 기반 딥러닝 모델을 이용하여 상기 객체의 각 시점에서의 기준데이터를 분류하고, 상기 객체에 관한 기준데이터 레벨에 관한 각 시점별 복수의 확률 기반 스코어 벡터를 출력하는 단계; 상기 스코어 벡터의 오차 행렬(confusion matrix)로부터 상기 각 시점에서의 복수의 가중치를 연산하는 단계; 및 상기 복수의 확률 기반 스코어 벡터와 상기 가중치에 기반하여 최종 기준데이터 레벨을 결정하는 단계를 포함한다.

또, 상기 작물의 분류 방법은 전술한 작물의 분류 장치가 수행하는 방법에 의할 수 있다.

상기 또 다른 과제를 해결하기 위한 본 발명의 일 실시예에 따른 프로그램이 기록된 기록 매체는, 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체로서, 전술한 방법을 수행하기 위한 프로그램이 기록된다.

기타 실시예의 구체적인 사항들은 상세한 설명에 포함되어 있다.

본 발명의 실시예들에 따르면, 다중 시점의 입력 영상 각각에서 도출된 숙도 클래스별 확률 기반 스코어 벡터를 가중치 기반으로 융합하여 최종 숙도를 결정함으로써 종래 컴퓨터 비전 기술이 갖는 한계를 극복하고 작물 객체의 기하학적 공간 특징 정보를 활용하여 작물의 숙도를 보다 정확하고 신속하게 결정할 수 있다.

또, 딥러닝 모델로부터 도출된 각 개별 시점 영상에서의 가중치를 시점에 따라 다르게 부여할 수 있고, 이에 따라 작물의 종류에 따라, 그 품종에 따라, 심지어 특정한 작물이 갖는 고유의 특성에 따라 최적화된 융합 벡터의 도출이 가능할 수 있다.

본 발명의 실시예들에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 작물 분류 방법을 나타낸 순서도이다.
도 2는 도 1의 방법을 수행할 수 있는 작물 분류 장치의 모식도이다.
도 3은 제1 개별 판별부로부터 도출된 제1 오차 행렬을 예시한다.
도 4는 도 3의 제1 오차 행렬로부터 도출된 상기표(recall table)를 예시한다.
도 5는 도 3의 제1 오차 행렬로부터 도출된 정확표(precision table)를 예시한다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 즉, 본 발명이 제시하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서, '및/또는'은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다. 또, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 본 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. '내지'를 사용하여 나타낸 수치 범위는 그 앞과 뒤에 기재된 값을 각각 하한과 상한으로서 포함하는 수치 범위를 나타낸다. '약' 또는 '대략'은 그 뒤에 기재된 값 또는 수치 범위의 20% 이내의 값 또는 수치 범위를 의미한다.

또, 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

이하 첨부된 도면을 참조하여 본 발명에 대하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 작물 분류 방법을 나타낸 순서도로서, 작물 분류의 학습하는 단계를 나타낸 순서도이다. 도 2는 도 1의 방법을 수행할 수 있는 작물 분류 장치의 모식도로서, 작물 분류를 학습하는 작물 분류 장치의 모식도이다.

도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 작물의 분류 방법은 대상 객체의 복수 시점 영상을 입력받는 단계(S100), 입력 영상에 기초하여 각 시점에서의 확률 기반 스코어 벡터를 출력하는 단계(S200), 스코어 벡터의 오차 행렬(confusion matrix)로부터 각 시점에서의 가중치를 연산하는 단계(S300), 확률 기반 스코어 벡터와 가중치에 기반하여 최종 기준데이터 레벨을 결정하는 단계(S400)를 포함한다.

복수 시점 영상을 입력 받는 단계(S100)는 적어도 하나의 작물에 관해 서로 다른 시점을 촬영한 복수의 시점 영상을 획득하는 단계일 수 있다. 즉, 복수 시점 영상을 입력 받는 단계(S100)는 제1 시점의 제1 영상을 입력 받는 단계(S110) 및 제2 시점의 제2 영상을 입력 받는 단계(S120)를 포함할 수 있다.

복수 시점을 입력 받는 단계(S100)는 제1 영상 입력부(110) 및 제2 영상 입력부(120)를 포함하는 영상 입력부(100)에 의해 구현될 수 있다. 도 1 및 도 2는 대상 객체, 예컨대 토마토의 꼭지 부근을 촬영한 탑뷰 이미지(top-view image) 및 대상 객체의 배꼽 부근을 촬영한 바텀뷰 이미지(bottom-view image)를 영상 입력 인터페이스로 구현하기 위해 영상 입력부(100)가 2개의 개별 시점을 입력받는 경우를 예시하고 있으나 본 발명이 이에 제한되는 것은 아니다. 다른 실시예에서, 영상 입력부(100)는 3개 이상의 영상 입력부를 포함하고, 이 경우 대상 객체의 측면을 촬영한 사이드뷰 이미지 등을 추가로 획득할 수도 있음은 물론이다.

영상 입력부(100)는 대상 객체의 개별 시점 영상을 획득하기 위해 카메라 모듈(미도시) 및 유무선 통신 인터페이스(미도시)를 포함할 수 있다. 영상 입력부(100)는 그 개수에 대응하여 하드웨어적으로 분리되어 복수로 구성될 수도 있고, 하나의 하드웨어에서 소프트웨어적으로 각각의 개별 시점의 영상이 입력될 수도 있다. 다른 예를 들어, 영상 입력부(100)는 하나의 하드웨어가 각 시점을 순차적으로 촬영할 수도 있다. 즉, 본 명세서에서 '개별 시점'은 대상 객체의 영상을 획득하는 카메라의 위치를 의미하는 경우 뿐 아니라 대상 객체의 위치에 따른 시점을 포함하는 의미이다.

예를 들어, 카메라의 위치를 기준으로 시점을 정의할 경우 위쪽에 설치된 카메라(즉, 제1 영상 입력부)에 의해 획득되는 영상 인터페이스를 제1 시점의 영상, 아래쪽에 설치된 카메라(즉, 제2 영상 입력부)에 의해 획득되는 영상 인터페이스를 제2 시점의 영상으로 정의할 수 있다. 다른 예를 들어, 대상 객체의 위치를 기준으로 시점을 정의할 경우 대상 객체의 위쪽을 촬영한 영상 인터페이스를 제1 시점의 영상, 대상 객체의 아래쪽을 촬영한 영상 인터페이스를 제2 시점의 영상으로 정의할 수 있다.

다음으로, 입력 영상에 기초하여 각 시점에서의 확률 기반 스코어 벡터를 출력하는 단계(S200)는 영상 입력부(100)를 통해 입력된 대상 객체에 관한 개별 시점 영상을 기반으로 개별 판별부(200)에 의해 대상 객체의 분류를 수행하는 것으로, 예컨대 대상 객체의 숙도 클래스를 분류하는 단계일 수 있다. 확률 기반 스코어 벡터를 출력하는 단계(S200)는 제1 시점에 관한 제1 스코어 벡터를 출력하는 단계(S210) 및 제2 시점에 관한 제2 스코어 벡터를 출력하는 단계(S220)를 포함할 수 있다. 개별 판별부(200)는 분류 소프트웨어 알고리즘 및 소프트웨어가 실행되는 프로세서를 통해 구현될 수 있다.

예시적인 실시예에서, 개별 판별부(200)가 수행하는 분류 모델은 객체 탐지(object detection) 기반의 딥러닝 모델을 포함할 수 있다. 개별 판별부(200)는 제1 영상 입력부(110) 및 제2 영상 입력부(120)에서 각각 획득한 개별 시점 영상을 입력으로 하여 객체 탐지 기반의 딥러닝 모델을 활용하고 각 숙도 클래스별 확률 기반 스코어 벡터를 출력할 수 있다. 개별 판별부(200)는 개별 영상 입력부(100)의 개수에 대응하여 하드웨어적으로 분리되어 복수로 구성될 수도 있고, 하나의 하드웨어에서 소프트웨어적으로 각각의 개별 시점에서의 스코어 벡터를 출력할 수도 있다. 도 2는 개별 판별부(200)가 제1 개별 판별부(210) 및 제2 개별 판별부(220)를 포함하는 경우를 예시한다.

개별 판별부(200)에서 출력하는 각 숙도 클래스별 확률 기반 스코어 벡터는 개별 시점 영상에서 나타나는 대상 객체의 색 정보 패턴을 포괄적으로 표현하는 이산 확률 분포(discrete probability distribution) 데이터 형태를 포함할 수 있다.

본 발명은 객체 탐지 기반의 모델을 활용함으로써 대상 객체의 색 비율만을 고려하지 않고 기하학적인 색 분포의 특징까지도 고려하여 대상 객체를 분류할 수 있다. 또, 본 실시예에서 개별 판별부(200)가 영상 분류(image classification) 방법 대신에 객체 탐지 기반의 딥러닝 모델을 활용하는 이유는 하나의 영상에 복수개의 대상 객체가 포함될 가능성을 고려한 것이다. 즉, 개별 판별부(200)는 객체 탐지 작업을 통해 객체의 클래스를 분류함에 있어서 작물로 분류하는 것이 아니라 객체의 상태, 즉 작물의 숙도를 분류하도록 설계될 수 있다. 본 발명에 따른 개별 판별부(200)는 숙도 분류의 코어로 활용된 딥러닝 모델이 객체 탐색을 기반으로 동작하기 때문에 객체의 클래스 분류와 함께 위치 추정도 동시에 수행할 수 있으므로, 설령 제1 영상 입력부(110)에서 획득한 영상, 또는 제2 영상 입력부(120)에서 획득한 영상에 복수의 토마토가 포함되어 있더라도 토마토 객체 별로 구분하여 숙도를 분류할 수 있다.

다시 말해서, 각 개별 판별부(200), 즉 제1 개별 판별부(210) 및 제2 개별 판별부(220)는 대상 개체의 영상 시점이 일정치 않은 경우 대상 객체의 위치 추정, 대상 객체의 시점 추정, 대상 객체의 경계 상자 위치 추정, 대상 객체의 색상 분류 및 대상 객체의 숙도 분류 중 복수개를 동시에 수행할 수 있다.

제1 개별 판별부(210) 및 제2 개별 판별부(220)를 포함하는 개별 판별부(200)의 숙도 판별 모델은 다양한 딥러닝 모델이 활용될 수 있다. 예를 들어, 수집한 데이터들로부터 여러 관계들(relationships)과 패턴들(patterns)을 찾는데 있어 객체의 숙도 분류에 적합한 깊이와 구조로 설계된 R-합성곱신경망(region-based convolutional neural network, R-CNN) 모델 또는 YOLO(you only look once) 모델을 활용할 수 있다.

예를 들어 R-CNN 모델은 입력된 영상의 목표 객체를 감싸는 경계 상자의 후보 영역을 별도의 제1 탐색부 내지는 후보 영역 생성부(region proposal generator)를 통해 산출하고, 제1 탐색부의 추정 결과에 기초하여 그 결과를 제2 탐색부로 전달하여 객체 분류(object classification)와 경계 상자 회귀(bounding box regression)을 수행하는 2단계 탐색 구조를 가질 수 있다. 바람직하게는, 본 실시예에 따른 개별 판별부(200)는 faster R-CNN을 활용하여 높은 mAP(mean average precision)와 5FPS 수준의 빠른 처리 속도 결과를 도출할 수 있다.

다른 예를 들어, YOLO 모델은 단일 단계의 탐색기(single stage detector)로서 입력 영상의 픽셀 레벨의 로 데이터(raw data) 입력으로부터 경계 상자의 추정과 대상 객체의 숙도 클래스 분류를 하나의 합성곱신경망(CNN) 스트림을 이용하여 해결할 수 있다. 즉, 단일 단계의 탐색기 중에서도 빠른 탐색 속도와 높은 수준의 mAP를 갖는 YOLO 모델의 단일 단계 탐색기를 설계하여 병목 현상 없이 실시간 스트림 분류를 가능케 할 수 있다.

비제한적인 예시로서, 개별 판별부(200)는 출력 벡터

을 구하기 위해 각각의 후보 바운딩 박스에 대한 출력 벡터를 원소로 갖는 집합

을 출력할 수 있다. 구체적으로, 제1 개별 판별부(210)는 벡터

을 구하기 위해 집합

을 출력하고, 제2 개별 판별부(220)는 벡터

을 구하기 위해 집합

을 출력할 수 있다.

이 때 후보 집합

은 하기 수식 1과 같이 정의될 수 있다.

<수식 1>

여기서, K는 후보 바운딩 박스의 개수이고, 각각의 후보 바운딩 박스에 대한 출력 벡터

는 각 숙도 단계에 대한 우도(likelihood)

을 원소로 가지며, 하기 수식 2와 같이 정의될 수 있다.

<수식 2>

여기서, M은 분류하고자 하는 클래스의 개수이고, 원소

은 하기 수식 3과 같이 정의될 수 있다.

<수식 3>

여기서

는 k 번째 후보 경계 상자 내 객체(obj)인 작물이 존재한다는 조건 하에, 그 작물의 숙도 단계가 c _m일 조건부 확률이고, C_k는 k 번째 후보 경계 상자 내에 객체인 작물이 존재할 확률(confidence score)로 정의한다.

따라서 시점 n의 입력 영상에 대하여 개별 판별부(200)에서 K개의 모든 후보 바운딩 박스 마다 출력 벡터

를 생성하고, 각 출력 벡터는 M개의 원소를 가지므로

의 총 개수는 K×M개일 수 있다.

여기서 출력된 모든 원소 중 최대의

을 포함하는 후보 바운딩 박스의 인덱스 k를

라 하면, 개별 판별부(200)의 출력 벡터

는 하기 수식 4와 같다.

<수식 4>

여기서, 총 K×M개의 원소 중 최대의

을 포함하는 후보 바운딩 박스의 인덱스

는 NMS(non-maximum suppression) 알고리즘을 통해 구할 수 있다.

한편, 제1 개별 판별부(210) 및 제2 개별 판별부(220)는 각 개별 시점 별로 서로 다른 딥러닝 모델을 학습하거나, 개별 시점에 대한 구분 없이 하나의 딥러닝 모델을 학습할 수 있다.

예시적인 실시예에서, 제1 개별 판별부(210) 및 제2 개별 판별부(220)는 동일한 딥러닝 모델을 학습하되, 공개된 데이터베이스(COCO, ImageNet 등)를 기반으로 사전 훈련된(pre-trained) 백본 네트워크 구조(backbone network architecture)를 토마토의 복수 시점 영상에 대하여 미세 조정(fine-tuning)하는 방식으로 개별 시점에서의 숙도 프로세스의 딥러닝 모델을 학습하여 적정한 모델 초기 파라미터를 설정할 수 있다. 제1 개별 판별부(210) 및 제2 개별 판별부(220)의 분류 결과에 최종 결정 숙도 레벨이 의존하기 때문에 딥러닝 모델의 성능을 최대화하는 방향으로 학습 전략을 수립해야 한다.

이를 위해 딥러닝 모델의 학습에 활용되는 데이터셋의 규모를 확장해야 한다. 데이터셋은 토마토 객체 별로 각각 탑뷰 이미지 및 바텀뷰 이미지, 즉 양방향 시점에서 수집된 RGB 영상 데이터와 각 영상에 대응하는 주석(annotation) 데이터의 쌍으로 이루어질 수 있다. 이 때 상기 주석 데이터는 영상 내 토마토 객체의 경계 상자의 위치 및 크기 정보를 포함할 수 있다.

심화된 비제한적인 예시로서 본 발명의 발명자가 본 발명을 완성하는 과정에서 수행한 방법은 하기와 같다.

즉, 영상 수집 과정은 대프니스(dafnis) 품종의 토마토 객체를 미국 농무부 컬러차트 기준 6단계 숙도 별로 구분하여 카메라 시스템의 챔버 내에 위치시키고, 꼭지를 바라보는 시점과 배꼽을 바라보는 시점의 양방향 시점에서 캡쳐된 로(raw) 영상 데이터를 저장하는 방식으로 진행하였다. 이 때 수집된 영상은 1624×1280 픽셀 해상도, 48비트(bit), 2채널의 TIF 영상으로 JAI 3CCD 컬러 카메라를 통해 캡쳐하였다. 캡쳐된 영상은 딥러닝을 위하여 8비트 3채널의 JPEG 파일로 변환하여 사용하였다. 또한 숙도 단계를 표현하는 원시적 특징을 최대한 다양하게 확보하여 딥러닝 모델의 성능을 향상시키기 위해 각 숙도 단계 별로 최소 500 개체 이상으로 이루어진 대규모 데이터셋을 구성하였다. 이렇게 수집된 토마토 개체의 대규모 데이터셋은 본 발명에 따른 작물의 숙도 분류 방법 내지는 숙도 분류 장치를 구성하는 딥러닝 모델의 학습을 위해 활용된다. 학습 알고리즘은 미니배치(mini-batch) 기반 확률적 기울기 강하(stochastic gradient descent, SGD)를 따르며, 본 발명자가 설정한 파라미터는 하기와 같다.

- max training steps: 50,000

- mini-batch/subdivisions size: 32/8

- learning rate: 0.01 (scale 0.1 at step 25,000, 35,000)

- weight decay: 0.0005

- learning momentum: 0.9

또, 딥러닝 모델의 성능을 향상시키기 위해서는 활용 데이터셋 풀의 확장 외에 숙도 단계별 명시적 특징을 가장 잘 검출할 수 있는 모델의 하이퍼 파라미터 설정을 찾아야 한다. 본 발명은 여러 종류의 하이퍼 파라미터 중에서 편향-분산 트레이드오프(bias-variance tradeoff)를 고려하여 네트워크 깊이, 즉 레이어의 개수와 네트워크가 최종적으로 출력하는 특징맵의 스케일의 개수를 최적화 대상으로 정의하였다. 이를 위해 본 발명의 발명자는 다양한 깊이 구조를 기반으로 단일/복수 스케일(single/multi scale)의 특징맵을 추출할 수 있는 CNN 구조를 활용한 개별 시점 숙도 분류 프로세스를 진행하고 그 결과를 분석하였다. 본 발명자가 수행한 후보는 하기와 같은 조건이었다.

- total stride=32 single scale, darknet-19 기반 네트워크 모델

- total stride=8, 16, 32 triple scale, darknet-19 기반 네트워크 모델

- total stride=32 single scale, darknet-53 기반 네트워크 모델

- total stride=8, 16, 32 triple scale, darknet-53 기반 네트워크 모델

그리고 후보로 활용된 여러 CNN 모델 중에서 컨볼루션 레이어가 107개이면서 3번의 업-샘플링(up-sampling)을 통해 3종 스케일의 특징맵을 출력하도록 하이퍼 파라미터가 설정된 모델이 개별 시점 숙도 분류 프로세스 결과에 대한 마이크로-평균 ROC 곡선(micro-average ROC curve)의 크기가 가장 크므로 평균 정확도가 가장 우수한 것으로 나타났다. 이는 본 실시예에서 수집한 토마토 영상 데이터셋을 활용하여 개별 시점에서의 토마토 숙도를 분류하는 조건에서는 깊은 구조와 다양한 스케일의 특징맵을 출력할 수 있는 모델이 효율적인 선택이 될 수 있음을 의미한다.

다음으로, 각 시점에 따른 가중치를 연산하는 단계(S300)는 영상 입력부(100)를 통해 입력된 대상 객체에 관한 개별 시점 영상과 개별 판별부(200)에 의한 객체의 분류를 기반으로, 각 시점의 중요도 내지는 우선도를 결정하기 위한 가중치를 연산하는 단계일 수 있다. 가중치를 연산하는 단계(S300)는 제1 시점에 관한 제1 가중치를 연산하는 단계(S310) 및 제2 시점에 관한 제2 가중치를 연산하는 단계(S320)를 포함할 수 있다.

예시적인 실시예에서, 가중치 연산부(300)에 의한 가중치 결정은 개별 판별부(200)의 딥러닝 모델의 학습 결과로부터 도출되는 오차 행렬(confusion matrix)로부터 결정될 수 있다. 비제한적인 예시로서, 딥러닝을 통해 5단계 분류를 수행한 제1 시점에서의 오차 행렬, 즉 제1 개별 판별부(210)로부터 도출된 제1 오차 행렬을 도 3에 예시적으로 나타내었다.

도 3을 더 참조하면, 도 3에서 세로축은 학습 과정에서 입력된 참값(true value)을 의미하고 가로축은 딥러닝 모델에서 계산한 클래스 예측값(prediction value)을 의미한다. 즉, 도 3의 오차 행렬은 1단계 숙도를 갖는 토마토를 126개, 2단계 숙도를 갖는 토마토를 197개, 3단계 숙도를 갖는 토마토를 250개, 4단계 숙도를 갖는 토마토를 141개, 5단계 숙도를 갖는 토마토를 116개 이용하여 제1 개별 판별부(210)에 의해 분류 및 학습을 수행한 결과를 나타낸다.

그 결과 제1 개별 판별부(210)는 실제로 1단계 숙도를 갖는 토마토 126개 중 118개를 1단계로 분류하고 8개를 2단계로 분류하였음을 예시한다. 또, 실제로 2단계 숙도를 갖는 토마토 197개 중 12개를 1단계로 분류하고, 159개를 2단계로 분류하고 25개를 3단계로 분류하고, 1개를 4단계로 분류하였음을 예시한다. 또한, 실제로 3단계 숙도를 갖는 토마토 250개 중 8개를 2단계로 분류하고, 228개를 3단계로 분류하고, 14개를 4단계로 분류하였음을 예시한다. 또, 실제로 4단계 숙도를 갖는 토마토 141개 중 3개를 3단계로 분류하고, 138개를 4단계로 분류하였음을 예시한다. 또한, 실제로 5단계 숙도를 갖는 토마토 116개 중 1개를 4단계로 분류하고, 115개를 5단계로 분류하였음을 예시한다.

제2 시점에서 수행한 제2 개별 판별부(220)로부터 도출된 오차 행렬, 예컨대 제2 오차 행렬은 도면으로 나타내지 않았으나, 본 기술분야에 속하는 통상의 기술자는 제1 개별 판별부(210)와 마찬가지로 제2 개별 판별부(220)로부터 오차 행렬을 도출할 수 있음을 쉽게 이해할 수 있을 것이다.

예시적인 실시예에서, 가중치 연산부(300)에 의한 가중치 결정은 오차 행렬로부터 도출되는 상기표 또는 정확표로부터 결정될 수 있다.

즉, 오차 행렬을 이용하여 상기표(recall table) 또는 정확표(precision table)을 도출할 수 있다. 비제한적인 예시로서, 도 3의 제1 오차 행렬로부터 도출된 제1 상기표 및 제1 정확표를 각각 도 4 및 도 5에 예시적으로 나타내었다.

우선 도 4를 더 참조하면, 상기표는 부정오류(false negative, FN, 위음성, 미탐)와 긍정정상(true positive, TP)의 합에 대한 긍정정상(TP)의 비율(TP/(TP+FN))을 의미한다. 즉, 상기표는 참값들 중에서 긍정정상의 비율을 의미한다.

도 3과 도 4를 예로 하여 설명하면, 오차 행렬을 대각 방향으로 가로지르는 긍정정상(TP) 값들 중에서 1단계 긍정정상은 참값 126개 중에 118개이므로 약 93.7%의 리콜(recall)을 가지고, 2단계 긍정정상은 참값 197개 중에 159개이므로 약 80.7%의 리콜을 가지고, 3단계 긍정정상은 참값 250개 중에 228개이므로 약 91.2%의 리콜을 가지고, 4단계 긍정정상은 참값 141개 중에 138개이므로 약 97.9%의 리콜을 가지고, 5단계 긍정정상은 참값 116개 중에 115개이므로 약 99.1%의 리콜을 갖는 것을 확인할 수 있다.

따라서 본 예시에서 제1 개별 판별부(210)의 제1 오차 행렬로부터 제1 가중치 연산부(310)가 계산하는 평균 리콜(average recall)은 이들 5개의 리콜값의 산술평균으로서 약 92.5%이다.

다음으로 도 5를 더 참조하면, 정확표는 긍정오류(false positive, FP, 위양성, 오탐)와 긍정정상(TP)의 합에 대한 긍정정상(TP)의 비율(TP/(TP+FP))을 의미한다. 즉, 정확표는 예측값들 중에서 긍정정상의 비율을 의미한다.

도 3과 도 5를 예로 하여 설명하면, 오차 행렬을 대각 방향으로 가로지르는 긍정정상(TP) 값들 중에서 1단계 긍정정상은 예측값 130개 중에 118개이므로 약 90.8%의 정확(precision)을 가지고, 2단계 긍정정상은 예측값 175개 중에 159개이므로 약 90.9%의 정확을 가지고, 3단계 긍정정상은 예측값 256개 중에 228개이므로 약 89.1%의 정확을 가지고, 4단계 긍정정상은 예측값 154개 중에 138개이므로 약 89.6%의 정확을 가지고, 5단계 긍정정상은 예측값 115개 중에 115개이므로 100%의 정확을 갖는 것을 확인할 수 있다.

따라서 본 예시에서 제1 개별 판별부(210)의 제1 오차 행렬로부터 제1 가중치 연산부(310)가 계산하는 평균 정확(average precision)은 이들 5개의 정확값의 산술평균으로서 약 92.1%이다.

제2 시점에서 수행한 제2 개별 판별부(220)의 제2 오차 행렬로부터 도출된 제2 상기표 및 제2 정확표는 도면으로 나타내지 않았으나, 본 기술분야에 속하는 통상의 기술자는 제1 개별 판별부(210)와 마찬가지로 제2 개별 판별부(220)가 출력한 제2 오차 행렬로부터 제2 가중치 연산부(320)는 상기표 및 정확표를 각각 도출할 수 있음을 쉽게 이해할 수 있을 것이다.

이 때 제1 시점 및 제2 시점에 대한 가중치는 하기 수식 5 및 수식 6 중 어느 하나로부터 연산될 수 있다.

<수식 5>

<수식 6>

여기서, α_n은 시점 n에서의 가중치이다. 또, N은 각 개별 시점의 총 개수를 의미하는 것으로 2 이상의 정수이다. 즉, 도 1 및 도 2 등과 같이 개별 시점이 2개인 경우, N은 2이다. 또한 n은 각 개별 시점의 순번 내지는 특정 시점을 의미하는 것으로 1 이상 N 이하의 정수이다. 그리고 AR_n은 시점 n에서의 평균 리콜(average recall)을 의미하고, AP_n은 시점 n에서의 평균 정확(average precision)을 의미한다.

상기 수식 5 및 수식 6 중에 어느 수식에 따라 가중치를 연산할지 여부는 분류 장치의 목적에 따라 적절하게 선택될 수 있다.

예를 들어, 5단계 이하의 덜 숙성된 토마토, 즉 1단계 내지 4단계의 숙도를 갖는 토마토를 더욱 숙성시키기 위한 목적 하에서는 5단계 토마토만을 분류하여야 한다. 이 경우 5단계 숙도가 아닌 토마토를 5단계 숙도로 분류하는 것 보다, 5단계 숙도의 토마토를 5단계 숙도로 분류하지 못하고 놓치는 것이 더 곤란할 수 있다. 이러한 경우 수식 5에 따라 평균 리콜을 이용하는 것이 바람직할 수 있다.

다른 예를 들어, 3단계 숙도를 갖는 토마토만을 선별적으로 분류하여 포장하기 위한 목적 하에서는 3단계 토마토만을 분류하여야 한다. 이 경우 3단계 숙도의 토마토를 3단계 숙도로 분류하지 못하고 놓치는 것 보다, 3단계 숙도가 아닌 토마토를 3단계로 분류하는 것이 더 곤란할 수 있다. 이러한 경우 수식 6에 따라 평균 정확을 이용하는 것이 바람직할 수 있다.

상기 과정을 통해 제1 가중치 연산부(310)는 α₁을 연산하고, 제2 가중치 연산부(320)는 α₂을 연산할 수 있다.

다음으로, 최종 기준데이터 레벨을 결정하는 단계(S400)는 개별 판별부(200)로부터 출력되는 확률 기반 스코어 벡터와 가중치 연산부(300)로부터 연산되는 가중치를 융합 연산하여 대상 객체에 대한 최종 분류 클래스를 결정하는 것으로, 예컨대 대상 객체의 최종 숙도 레벨 내지는 최종 숙도 클래스를 결정하는 단계일 수 있다. 최종 판별부(400)는 분류 소프트웨어 알고리즘 및 소프트웨어가 실행되는 프로세서를 통해 구현될 수 있다.

예시적인 실시예에서, 최종 판별부(400)는 제1 개별 판별부(210), 제2 개별 판별부(220), 제1 가중치 연산부(310) 및 제2 가중치 연산부(320)에서 각각 출력 벡터 및 연산된 값을 입력으로 하여 최종 기준데이터 레벨을 결정할 수 있다. 예를 들어, 최종 판별부(400)는 제1 개별 판별부(210) 및 제2 개별 판별부(220)의 각 딥러닝 스트림의 출력 벡터를 원-핫 인코딩(one-hot encoding)을 거치지 않고 원시 확률 분포 형태 그대로 활용할 수 있다.

최종 판별부(400)는 대상 객체의 전반 영역에 걸쳐 연속적으로 발달하는 숙도 단계별 색 분포 패턴을 종합적으로 고려하기 위해 제1 시점 또는 제2 시점 중 어느 하나만에서의 출력 벡터만을 고려하는 것이 아니라 서로 다른 시점, 즉 제1 시점 및 제2 시점 모두에서의 스코어 벡터와 가중치를 융합한다. 종래의 숙도 분류 기술은 단순히 벡터 내 원소 중에서 최대값을 갖는 인덱서를 선택하는데, 이 경우 결정된 숙도가 오분류된 경우에 해당한다면 딥러닝 스트림 출력 벡터의 숙도 단계별 스코어의 분산이 커지는 경향을 보인다. 이는 개별 시점 영상에 내재된 작물의 숙도와 관련된 특징이 숙도를 정확히 판별하기 충분할 만큼 명확하지 않기 때문에 발생되는 결과일 수 있다.

본 발명은 이러한 오분류를 최소화하기 위한 것으로서 대상 객체, 예컨대 작물의 숙도를 결정하는 과정에서 단일 시점 영상만을 활용하기 보다는 객체 전반 영역에 걸쳐 연속적으로 발달하는 숙도 단계별 색 분포 패턴을 모두 고려하여 최종 숙도를 고려할 수 있다.

뿐만 아니라 딥러닝 스트림 중에서 어느 스트림에 기반한 확률 기반 스코어 벡터가 사실 관계에 보다 근접한 결과인지 반영하기 위해 가중치를 함께 연산할 수 있다. 예를 들어, 어느 토마토 품종의 경우 꼭지 부근부터 색 분포 패턴의 변화가 시작될 확률이 높을 수 있고, 다른 어느 토마토 품종의 경우 배꼽 부근부터 색 분포 패턴의 변화가 시작될 확률이 높을 수 있다.

다른 예를 들어, 토마토 작물의 경우 광 방향이나 품온(인간의 체온에 해당)에 따라 꼭지(stem-end) 부근부터 붉게 변할 수도 배꼽(flower-end) 부근부터 붉게 변할 수도 있으며, 품종에 따라서는 세로 방향의 띠 형태로 붉게 변할 수도 있기 때문에 시점에 따라 숙도 분류 결과가 달라질 수 있다.

이 경우 상기 두 개의 다른 품종 또는 두 개의 다른 케이스에는 각 시점에서의 확률 기반 스코어 벡터가 최종 숙도 레벨 결정에 반영되는 정도가 상이한 것이 사실 관계에 보다 근접한 결과를 도출할 수 있다. 이를 위해 본 발명은 전술한 것과 같은 가중치를 연산하고 이를 함께 최종 기준데이터 결정에 반영함으로써 상기와 같은 목적을 달성할 수 있다.

예시적인 실시예에서, 최종 판별부(400)는 하기 수식 7을 통해 최종 기준데이터 레벨을 결정할 수 있다.

<수식 7>

여기서,

는 최종 결정 융합 벡터로서, 최종 기준데이터 레벨을 의미한다. 또, N은 각 개별 시점의 총 개수를 의미하는 것으로 2 이상의 정수이다. 즉, 도 1 및 도 2 등과 같이 개별 시점이 2개인 경우, N은 2이다. 또한 n은 각 개별 시점의 순번 내지는 특정 시점을 의미하는 것으로 1 이상 N 이하의 정수이다.

α_n은 시점 n에서의 가중치로서 벡터 또는 스칼라일 수 있다. α_n이 스칼라인 경우 α_n은 0보다 크고 1보다 작은 유리수로, 하기 수식 8을 만족할 수 있다.

<수식 8>

예시적인 실시예에서, α_n은 전술한 가중치 연산부(300)로부터 연산될 수 있다. 구체적으로, α₁은 제1 시점에 관한 제1 가중치 연산부(310)로부터 연산되고, α₂는 제2 시점에 관한 제2 가중치 연산부(320)로부터 연산될 수 있으나 본 발명이 이에 제한되는 것은 아니다.

또,

는 시점 n에서의 확률 기반 스코어 벡터로서, 전술한 개별 판별부(200)로부터 출력될 수 있다. 구체적으로,

은 제1 시점에 관한 제1 개별 판별부(210)로부터 출력되고,

는 제2 시점에 관한 제2 개별 판별부(220)로부터 출력될 수 있으나 본 발명이 이에 제한되는 것은 아니다.

비제한적인 예시로서, 최종 판별부(400)에서 출력하는 벡터

는 하기 수식 9와 같이 정의될 수 있다.

<수식 9>

벡터

의 원소 각각은 대상 객체, 즉 작물의 단계별 우도(likelihood)로서 이산 확률 분포로 나타낼 수 있다. 또, 최종 판별부(400)의 출력 벡터로서 최종적인 숙도 단계를 판별하기 위해 하기 수식 10을 사용할 수 있다.

<수식 10>

여기서, y는 하나의 대상 객체에 대한 복수 시점의 입력 영상으로부터 결정한 최종 숙도 단계 판별 값이며, pick 함수는 목록 내 m번째 값을 반환하는 함수로서 m은 1과 M사이의 정수이다. 또, 출력 벡터

의 원소 중 가장 큰 확률 값의 인덱스 값 내지는 클래스 레이블로서 1 이상 M 이하의 값을 가질 수 있다.

이와 같이 본 발명의 최종 판별부(400)에 따르면 대상 객체의 다중 시점 영상 입력에 대한 최종 숙도를 결정하기 위한 프로세스에 있어서, 개별 시점에서의 숙도 분류 결과 중 일부에 오류가 있더라도 올바르게 분류된 결과를 이용해 이를 보정하는 방식으로 분류 정확도를 개선할 수 있다.

또, 각 개별 시점에서 서로 다른 가중치를 부여하되, 오차 행렬로부터 계산된 정확도가 반영된 가중치를 학습함으로써 각 시점에서의 중요도 내지는 우선도를 다르게 부여할 수 있고, 특정 작물, 동일 작물 중에서도 특정 품종, 특정 품종 중에서도 특정 조건에서 재배된 작물의 분류 정확도를 향상시킬 수 있다.

본 발명에 따른 작물 분류 방법, 이를 위한 프로그램, 상기 프로그램이 기록된 기록 매체, 및 작물 분류 장치는 토마토, 복숭아, 사과, 배, 파프리카 또는 고추 등 다양한 작물에 적용 가능할 수 있다.

또, 본 발명은 전술한 작물의 분류 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의해 구현 가능할 수 있다. 또, 본 발명에 따른 작물의 분류 장치는 작물 영상 입력을 위한 입력 인터페이스, 메모리 및 프로세서를 포함하며, 프로그램 내지는 소프트웨어는 메모리에 저장되고 프로세서에 의해 실행될 수 있다.

이상에서 본 발명의 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다.

따라서 본 발명의 범위는 이상에서 예시된 기술 사상의 변경물, 균등물 내지는 대체물을 포함하는 것으로 이해되어야 한다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성요소는 변형하여 실시할 수 있다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

또, 첨부된 도면의 구성도 또는 블록도 상의 각 구성요소는 소프트웨어나 FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 등의 하드웨어로 구현될 수 있다. 다만, 구성도 또는 블록도 상의 각 구성요소들은 소프트웨어 및 하드웨어 뿐만 아니라 어드레싱 가능한 저장 매체에서 구현될 수 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수 있다.

구성도 또는 블록도 상의 각 구성요소는 특정된 논리 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 의미할 수 있다. 따라서 구성도 또는 블록도 상의 구성요소가 제공하는 기능은 더 세분화된 복수의 구성요소에 의해 구현되거나, 또는 구성도 또는 블록도 상의 복수의 구성요소들은 일체화된 하나의 구성요소에 의하여 구현될 수도 있음은 물론이다.

즉, 본 발명의 목적 범위 내에서 각 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수 있다. 또, 모든 구성요소들이 각각 하나의 독립된 하드웨어로 구현될 수 있고, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술분야에 속하는 통상의 기술자에게 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 기록 매체 내지는 저장 매체에 저장되어 컴퓨터에 의해 읽혀지고 실행됨으로써 본 발명의 실시예를 구현할 수 있다. 상기 기록 매체의 예로는 자기 기록 매체, 광 기록 매체 등을 들 수 있다.

100: 영상 입력부
110: 제1 영상 입력부
120: 제2 영상 입력부
200: 개별 판별부
210: 제1 개별 판별부
220: 제2 개별 판별부
300: 가중치 연산부
310: 제1 가중치 연산부
320: 제2 가중치 연산부
400: 최종 판별부

Claims (10)

1. 대상 객체의 복수 시점 영상을 각각 입력받는 영상 입력부;
   객체 탐지 기반 딥러닝 모델을 이용하여 상기 객체의 각 시점에서의 기준데이터를 분류하고, 상기 객체에 관한 기준데이터 레벨에 관한 각 시점별 복수의 확률 기반 스코어 벡터를 출력하는 개별 판별부;
   상기 스코어 벡터의 오차 행렬(confusion matrix)로부터 상기 각 시점에서의 복수의 가중치를 연산하는 가중치 연산부; 및
   상기 개별 판별부로부터 출력되는 상기 복수의 확률 기반 스코어 벡터와 상기 가중치 연산부로부터 연산되는 상기 가중치에 기반하여 최종 기준데이터 레벨을 결정하는 최종 판별부를 포함하는, 작물의 분류 장치.
2. 제1항에 있어서,
   상기 복수의 시점 영상은 상기 대상 객체의 꼭지 부근의 제1 시점 영상 및 상기 대상 객체의 배꼽 부근의 제2 시점 영상을 포함하고,
   상기 복수의 확률 기반 스코어 벡터는 상기 제1 시점 영상에서의 제1 스코어 벡터 및 상기 제2 시점 영상에서의 제2 스코어 벡터를 포함하고,
   상기 오차 행렬은 상기 제1 스코어 벡터에 관한 제1 오차 행렬 및 상기 제2 스코어 벡터에 관한 제2 오차 행렬을 포함하고,
   상기 복수의 가중치는 상기 제1 오차 행렬로부터 연산된 제1 가중치 및 상기 제2 오차 행렬로부터 연산된 제2 가중치를 포함하되,
   상기 제1 가중치 및 상기 제2 가중치는 각각 벡터 또는 스칼라인, 작물의 분류 장치.
3. 제1항에 있어서,
   상기 개별 판별부는 각 개별 시점에서의 상기 대상 객체의 경계 상자 위치 추정 및 상기 대상 객체의 색상 분류를 동시에 수행하는 작물의 분류 장치.
4. 제1항에 있어서,
   상기 개별 판별부는 상기 대상 객체를 포함하는 경계 상자의 후보 영역에 관한 추정을 수행하는 제1 탐색부, 및 상기 제1 탐색부의 추정 결과에 기초하여 상기 대상 객체의 숙도 분류 및 경계 상자 위치 추정을 수행하는 제2 탐색부를 포함하는 작물의 분류 장치.
5. 제1항에 있어서,
   상기 개별 판별부의 확률 기반 스코어 벡터는 각 개별 시점에서 나타나는 상기 대상 객체의 색 정보 패턴을 포괄적으로 표현하는 이산 확률분포 데이터이고,
   상기 최종 판별부는 상기 대상 객체의 전 영역에 걸쳐 연속적으로 발달하는 숙도 단계별 색 분포 패턴을 고려하여 상기 대상 객체에 대한 최종 숙도 레벨을 결정하는, 작물의 분류 장치.
6. 제1항에 있어서,
   상기 최종 판별부는 하기 수식을 이용하여 최종 기준데이터 레벨을 결정하는 작물의 분류 장치
   <수식>
   

   

   
   (여기서,

   

   는 최종 결정 융합 벡터이고, N은 각 개별 시점의 총 개수를 의미하고, n은 각 개별 시점의 순번을 의미하고,

   

   는 시점 n에서의 확률 기반 스코어 벡터이고, α_n은 시점 n에 대한 가중치임)
7. 제6항에 있어서,
   α_n은 각 시점별 개별 판별부의 오차 행렬로부터 계산된 평균 리콜(average recall) 또는 평균 정확(average precision)을 기반으로 연산되는 작물의 분류 장치.
8. 제6항에 있어서,
   α_n은 하기 수식 A 및 수식 B 중 어느 하나로부터 연산되는 작물의 분류 장치.
   <수식 A>
   

   

   
   <수식 B>
   

   

   
   (여기서, N은 각 개별 시점의 총 개수를 의미하고, n은 각 개별 시점의 순번을 의미하고, AR_n은 시점 n에서의 평균 리콜(average recall)을 의미하고, AP_n은 시점 n에서의 평균 정확(average precision)을 의미함)
9. 대상 객체의 복수 시점 영상을 각각 입력받는 단계;
   객체 탐지 기반 딥러닝 모델을 이용하여 상기 객체의 각 시점에서의 기준데이터를 분류하고, 상기 객체에 관한 기준데이터 레벨에 관한 각 시점별 복수의 확률 기반 스코어 벡터를 출력하는 단계;
   상기 스코어 벡터의 오차 행렬(confusion matrix)로부터 상기 각 시점에서의 복수의 가중치를 연산하는 단계; 및
   상기 복수의 확률 기반 스코어 벡터와 상기 가중치에 기반하여 최종 기준데이터 레벨을 결정하는 단계를 포함하는, 작물의 분류 방법.
10. 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체로서,
    상기 제1항에 따른 방법을 수행하기 위한 프로그램이 기록된 기록 매체.

Images