KR102593154B1 - 농작물 관리 시스템에 이용되는 과실 모니터링 시스템 - Google Patents

농작물 관리 시스템에 이용되는 과실 모니터링 시스템 Download PDF

Info

Publication number
KR102593154B1
KR102593154B1 KR1020220188525A KR20220188525A KR102593154B1 KR 102593154 B1 KR102593154 B1 KR 102593154B1 KR 1020220188525 A KR1020220188525 A KR 1020220188525A KR 20220188525 A KR20220188525 A KR 20220188525A KR 102593154 B1 KR102593154 B1 KR 102593154B1
Authority
KR
South Korea
Prior art keywords
fruit
value
crop row
image
crop
Prior art date
Application number
KR1020220188525A
Other languages
English (en)
Inventor
조진형
신용진
김토일
심소희
Original Assignee
농업회사법인 아이오크롭스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 농업회사법인 아이오크롭스 주식회사 filed Critical 농업회사법인 아이오크롭스 주식회사
Priority to KR1020220188525A priority Critical patent/KR102593154B1/ko
Priority to KR1020230003845A priority patent/KR102571775B1/ko
Application granted granted Critical
Publication of KR102593154B1 publication Critical patent/KR102593154B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Abstract

본 발명에 따른 온실에 위치하는 작물 열에 대응되는 과실을 계수하는 방법은 제1 작물 열에 대응되는 복수개의 이미지를 획득하는 단계, 상기 제1 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계, 상기 복수개의 과실 영역에 대한 대표 거리 값들을 기초로 상기 제1 작물 열에 대한 제1 임계 거리 값을 산출하는 단계 및 상기 복수개의 과실 영역에 대한 대표 거리 값들 및 상기 제1 임계 거리 값을 비교하여 상기 제1 작물 열에 대응되는 과실의 개수를 결정하는 단계를 포함할 수 있다.

Description

농작물 관리 시스템에 이용되는 과실 모니터링 시스템 {FRUIT MONITORING SYSTEM USED IN CROP MANAGEMENT SYSTEM}
본 발명은 농작물 관리 시스템에 관한 것으로, 보다 구체적으로, 작물 관리 시스템에 이용되는 과실 모니터링 시스템에 관한 것이다.
농업은 사람이 살아갈 수 있는 근원적인 에너지를 제공하는 산업 분야로서, 종래부터 큰 규모를 가지는 산업 분야로 평가되고 있었다.
그러나, 그 규모에 비해서 첨단 기술이 적용되는 비율은 다른 산업분야에 비해 저조한 것으로 보인다.
다만, 근래에 스마트 팜, 스마트 온실처럼 첨단 기술의 외지라고 할 수 있는 농업 분야에서 첨단 기술을 적용하려는 움직임들이 생겨나고 있으며, 관련된 기술들이 연구되고 있다.
그러나, 아직은 온실과 관련된 데이터를 획득하는 정도의 기술들만이 연구되고 있는 실정이다.
따라서, 온실과 관련된 데이터를 획득하는 것에 그치지 않고, 온실과 관련된 데이터를 이용하여 유의미하게 과실을 모니터링 하는 등의 기술이 개발될 필요성이 있다.
본 발명의 일 과제는 온실에 위치하는 과실 중 특정 작물 열에 대응되는 과실을 계수하는 방법을 제공하는 것이다.
본 발명의 다른 일 과제는 온실에 위치하는 복수개의 작물에 대한 이미지를 획득하여 과실에 대한 맵을 생성하는 방법을 제공하는 것이다.
본 발명의 해결하고자 하는 과제들이 상술한 과제들로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 온실에 위치하는 작물 열에 대응되는 과실을 계수하는 방법으로서, 제1 작물 열에 대응되는 복수개의 이미지를 획득하는 단계, 상기 제1 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계, 상기 복수개의 과실 영역에 대한 대표 거리 값들을 기초로 상기 제1 작물 열에 대한 제1 임계 거리 값을 산출하는 단계 및 상기 복수개의 과실 영역에 대한 대표 거리 값들 및 상기 제1 임계 거리 값을 비교하여 상기 제1 작물 열에 대응되는 과실의 개수를 결정하는 단계를 포함하는 작물 열에 대응되는 과실을 계수하는 방법이 제공될 수 있다.
본 발명의 다른 일 실시예에 따르면, 이미지 획득 장치가 부착된 차량을 이동시키며 온실에 위치하는 복수개의 작물에 대한 이미지를 획득하여 과실에 대한 맵을 생성하기 위한 방법으로서, 제1 시점에 상기 이미지 획득 장치로부터 획득된 제1 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계, 상기 제1 시점 후인 제2 시점에 상기 이미지 획득 장치로부터 획득된 제2 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계, 상기 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 상기 제1 시점에서의 상기 차량의 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계, 상기 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 상기 제2 시점에서의 상기 차량의 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계, 적어도 상기 제1 이미지 및 상기 제2 이미지를 기초로 생성된 복수개의 포인트 데이터를 클러스터링 하여 적어도 하나의 서브 포인트 데이터 셋을 생성하는 단계 및 상기 적어도 하나의 서브 포인트 데이터 셋을 기초로 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 생성하는 단계를 포함하는 과실에 대한 맵을 생성하기 위한 방법이 제공될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 온실에 위치하는 과실 중 특정 작물 열에 대응되는 과실을 계수하는 방법이 제공될 수 있다.
본 발명의 다른 일 실시예에 따르면, 온실에 위치하는 복수개의 작물에 대한 이미지를 획득하여 과실에 대한 맵을 생성하는 방법이 제공될 수 있다.
본 발명의 효과들이 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 농작물 관리 시스템에 대하여 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 과실 감지 모듈에 대하여 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 과실 감지 모듈에 대하여 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 적어도 하나의 작물에 대한 이미지 데이터를 도시한 도면이다.
도 5는 일 실시예에 따른 온실 환경을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 과실 계수 방법에 대하여 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 온실 환경을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 과실 계수 방법에 대하여 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 과실 계수 방법에 대하여 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 과실 계수 방법에 대하여 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 과실 계수 방법에 대하여 보다 구체적으로 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 과실 계수 방법에 대하여 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 과실 계수 방법에 대하여 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 과실 맵 생성 방법에 대하여 설명하기 위한 도면이다.
도 15 및 도 16은 일 실시예에 따른 과실 영역에 대한 특징 값을 획득하는 방법 및 포인트 데이터를 생성하는 방법에 대하여 보다 구체적으로 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 복수개의 포인트 데이터를 클러스터링 하는 방법에 대하여 보다 구체적으로 설명하기 위한 도면이다.
도 18은 일 실시예에 따른 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 생성하는 방법을 보다 구체적으로 설명하기 위한 도면이다.
도 19는 일 실시예에 따라 생성된 과실 맵을 예시적으로 도시한 도면이다.
도 20은 일 실시예에 따른 과실 계수 방법에 대하여 설명하기 위한 도면이다.
도 21은 일 실시예에 따라 온실에 포함되는 작물 열에 대한 모니터링을 하는 환경에 대해 설명하기 위한 도면이다.
도 22는 일 실시예에 따른 강화된 복수개의 포인트 데이터를 생성하는 방법에 대하여 설명하기 위한 도면이다.
도 23은 일 실시예에 따른 성숙도 판단 모듈에 대하여 설명하기 위한 도면이다.
도 24는 일 실시예에 따른 성숙도 판단 모듈에 대하여 설명하기 위한 도면이다.
도 25는 일 실시예에 따른 과실 맵 생성 방법에 대하여 설명하기 위한 도면이다.
도 26은 일 실시예에 따른 대표 성숙도 값을 생성하기 위한 방법을 설명하기 위한 도면이다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 판례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 기술하는 구성요소(element) 또는 층이 다른 구성 요소 또는 층의 “위(on)” 또는 “상(on)”으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위 뿐만 아니라 중간에 다른 층 또는 다른 구성 요소를 개재한 경우를 모두 포함할 수 있다.
본 명세서에 전반에 걸쳐 동일한 참조번호들은 원칙적으로 동일한 구성 요소들을 나타낼 수 있다.
본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별 기호로서 이해될 수 있다.
본 명세서의 설명 과정에서 이용되는 구성 요소에 대한 접미사 “모듈” 및 “부”는 명세서 작성의 용이함에 따라 이용되거나 혼용 되는 것으로, 그 자체로 서로 구별되는 의미 또는 역할은 갖는 것이 아닐 수 있다.
본 명세서에서 본 발명에 관련된 공지의 구성 도는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.
본 발명의 일 실시예에 따르면, 온실에 위치하는 작물 열에 대응되는 과실을 계수하는 방법으로서, 제1 작물 열에 대응되는 복수개의 이미지를 획득하는 단계, 상기 제1 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계, 상기 복수개의 과실 영역에 대한 대표 거리 값들을 기초로 상기 제1 작물 열에 대한 제1 임계 거리 값을 산출하는 단계 및 상기 복수개의 과실 영역에 대한 대표 거리 값들 및 상기 제1 임계 거리 값을 비교하여 상기 제1 작물 열에 대응되는 과실의 개수를 결정하는 단계를 포함하는 작물 열에 대응되는 과실을 계수하는 방법이 제공될 수 있다.
여기서, 상기 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계는 상기 제1 작물 열에 대응되는 복수개의 이미지에 포함되는 과실 영역들을 검출하는 단계 및 검출된 과실 영역들에 대한 대표 거리 값들을 산출하는 단계를 포함할 수 있다.
여기서, 상기 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계는 상기 제1 작물 열에 대응되는 복수개의 이미지에 포함되는 제1 이미지에 포함되는 제1 과실 영역에 대한 픽셀 좌표 값 및 거리 값을 획득하는 단계, 상기 제1 작물 열에 대응되는 복수개의 이미지에 포함되는 제2 이미지에 포함되는 제2 과실 영역에 대한 픽셀 좌표 값 및 거리 값을 획득하는 단계, 상기 제1 과실 영역에 대한 픽셀 좌표 값 및 거리 값과 상기 제2 과실 영역에 대한 픽셀 좌표 값 및 거리 값을 기초로 제3 과실 영역에 대한 대표 거리 값을 획득하는 단계를 포함하며, 상기 제1 과실 영역, 상기 제2 과실 영역 및 상기 제3 과실 영역은 상기 제1 작물 열에 위치하는 제1 과실에 대응되는 영역일 수 있다.
여기서, 상기 검출된 과실 영역들에 대한 대표 거리 값들을 산출하는 단계는 제1 과실 영역에 포함되는 픽셀 좌표들에 대응되는 거리 값들을 기초로 제1 대표 거리 값을 산출하는 단계를 포함할 수 있다.
여기서, 상기 제1 과실 영역에 포함되는 픽셀 좌표들에 대응되는 거리 값들을 기초로 제1 대표 거리 값을 산출하는 단계는 상기 제1 과실 영역에 포함되는 픽셀 좌표들 중 하나의 제1 픽셀 좌표에 대응되는 제1 거리 값을 제1 대표 거리 값으로 선택하는 단계를 포함할 수 있다.
여기서, 상기 제1 픽셀 좌표는 상기 제1 과실 영역에 포함되는 픽셀 좌표들 중 중앙에 위치하는 픽셀 좌표일 수 있다.
여기서, 상기 제1 과실 영역에 포함되는 픽셀 좌표들에 대응되는 거리 값들을 기초로 제1 대표 거리 값을 산출하는 단계는 상기 제1 과실 영역에 포함되는 픽셀 좌표들에 대응되는 거리 값에 가중치를 적용하여 제1 대표 거리 값을 산출하는 단계를 포함할 수 있다.
여기서, 상기 가중치는 상기 제1 과실 영역에 포함되는 픽셀 좌표들의 중심 픽셀 좌표로부터의 거리에 기초하여 설정된 가우시안 형상의 가중치일 수 있다.
여기서, 상기 제1 임계 거리 값은 상기 복수개의 과실 영역에 대한 대표 거리 값들의 분포를 기초로 산출될 수 있다.
여기서, 상기 복수개의 과실 영역에 대한 대표 거리 값들을 기초로 상기 제1 작물 열에 대한 제1 임계 거리 값을 산출하는 단계는 상기 복수개의 과실 영역에 대한 대표 거리 값들을 기초로 제1 히스토그램 데이터를 생성하는 단계 및 상기 제1 히스토그램 데이터를 기초로 상기 제1 임계 거리 값을 산출하는 단계를 포함할 수 있다.
여기서, 상기 제1 히스토그램 데이터의 단위 거리 범위의 크기는 10cm 이하일 수 있다.
여기서, 상기 제1 히스토그램 데이터를 기초로 상기 제1 임계 거리 값을 산출하는 단계는 상기 제1 히스토그램 데이터에 적어도 하나의 혼합 모델을 적용하여 제1 하위 분포 데이터 및 제2 하위 분포 데이터를 획득하는 단계 및 상기 제1 하위 분포 데이터 및 상기 제2 하위 분포 데이터를 기초로 상기 제1 임계 거리 값을 산출하는 단계를 포함할 수 있다.
여기서, 상기 작물 열에 대응되는 과실을 계수하는 방법은 제2 작물 열에 대응되는 복수개의 이미지를 획득하는 단계, 상기 제2 작물 열에 대응되는 복수개의 이미지를 기초로 제2 복수개의 과실 영역에 대한 제2 대표 거리 값들을 획득하는 단계, 상기 제2 복수개의 과실 영역에 대한 제2 대표 거리 값들을 기초로 상기 제2 작물 열에 대한 제2 임계 거리 값을 산출하는 단계 및 상기 제2 복수개의 과실 영역에 대한 대표 거리 값들 및 상기 제2 임계 거리 값을 비교하여 상기 제2 작물 열에 대응되는 과실의 개수를 결정하는 단계를 포함할 수 있다.
여기서, 상기 제1 임계 거리 값 및 상기 제2 임계 거리 값은 서로 상이할 수 있다.
여기서, 상기 제1 작물 열에 대응되는 복수개의 이미지는 이미지 획득 장치가 부착된 차량이 온실에 위치하는 제1 레일 상에서 제1 방향으로 이동되는 동안 획득된 이미지를 포함하며, 상기 제2 작물 열에 대응되는 복수개의 이미지는 이미지 획득 장치가 부착된 차량이 온실에 위치하는 상기 제1 레일 상에서 상기 제1 방향과 상이한 제2 방향으로 이동되는 동안 획득된 이미지를 포함할 수 있다.
본 발명의 다른 일 실시예에 따르면, 이미지 획득 장치가 부착된 차량을 이동시키며 온실에 위치하는 복수개의 작물에 대한 이미지를 획득하여 과실에 대한 맵을 생성하기 위한 방법으로서, 제1 시점에 상기 이미지 획득 장치로부터 획득된 제1 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계, 상기 제1 시점 후인 제2 시점에 상기 이미지 획득 장치로부터 획득된 제2 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계, 상기 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 상기 제1 시점에서의 상기 차량의 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계, 상기 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 상기 제2 시점에서의 상기 차량의 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계, 적어도 상기 제1 이미지 및 상기 제2 이미지를 기초로 생성된 복수개의 포인트 데이터를 클러스터링 하여 적어도 하나의 서브 포인트 데이터 셋을 생성하는 단계 및 상기 적어도 하나의 서브 포인트 데이터 셋을 기초로 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 생성하는 단계를 포함하는 과실에 대한 맵을 생성하기 위한 방법이 제공될 수 있다.
여기서, 상기 이미지 획득 장치는 뎁스 카메라일 수 있다.
여기서, 상기 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값은 적어도 하나의 과실 영역에 대한 픽셀 좌표 값 및 적어도 하나의 과실 영역에 대한 거리 값을 포함하며, 상기 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값은 적어도 하나의 과실 영역에 대한 픽셀 좌표 값 및 적어도 하나의 과실 영역에 대한 거리 값을 포함할 수 있다.
여기서, 상기 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 상기 제1 시점에서의 상기 차량의 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계에서 생성된 적어도 하나의 포인트 데이터는 위치 좌표 값을 포함하며, 상기 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 상기 제2 시점에서의 상기 차량의 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계에서 생성된 적어도 하나의 포인트 데이터는 위치 좌표 값을 포함할 수 있다.
여기서, 상기 적어도 하나의 서브 포인트 데이터 셋을 기초로 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 생성하는 단계에서 생성된 적어도 하나의 과실에 대한 적어도 하나의 대표 값은 대표 위치 좌표 값을 포함할 수 있다.
여기서, 상기 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 상기 제1 시점에서의 상기 차량의 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계에서 생성된 적어도 하나의 포인트 데이터는 제1 과실에 대한 제1 포인트 데이터 및 제2 과실에 대한 제2 포인트 데이터를 포함하며, 상기 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 상기 제2 시점에서의 상기 차량의 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계에서 생성된 적어도 하나의 포인트 데이터는 상기 제1 과실에 대한 제3 포인트 데이터 및 상기 제2 과실에 대한 제4 포인트 데이터를 포함할 수 있다.
여기서, 상기 제1 포인트 데이터의 위치 좌표 값과 상기 제3 포인트 데이터의 위치 좌표 값은 서로 상이하며, 상기 제2 포인트 데이터의 위치 좌표 값과 상기 제4 포인트 데이터의 위치 좌표 값은 서로 상이할 수 있다.
여기서, 적어도 상기 제1 이미지 및 상기 제2 이미지를 기초로 생성된 복수개의 포인트 데이터를 클러스터링 하여 적어도 하나의 서브 포인트 데이터 셋을 생성하는 단계에서 생성된 적어도 하나의 서브 포인트 데이터 셋은 제1 서브 포인트 데이터 셋 및 제2 서브 포인트 데이터 셋을 포함하며, 상기 제1 포인트 데이터 및 상기 제3 포인트 데이터는 상기 제1 서브 포인트 데이터 셋에 포함되며, 상기 제2 포인트 데이터 및 상기 제4 포인트 데이터는 상기 제2 서브 포인트 데이터 셋에 포함될 수 있다.
여기서, 상기 적어도 하나의 서브 포인트 데이터 셋을 기초로 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 생성하는 단계에서 생성된 적어도 하나의 과실에 대한 적어도 하나의 대표 값은 상기 제1 서브 포인트 데이터 셋을 기초로 생성된 제1 대표 위치 좌표 값 및 상기 제2 서브 포인트 데이터 셋을 기초로 생성된 제2 대표 위치 좌표 값을 포함할 수 있다.
여기서, 상기 제1 대표 위치 좌표 값은 적어도 상기 제1 포인트 데이터의 위치 좌표값 및 상기 제3 포인트 데이터의 위치 좌표 값을 기초로 생성되며, 상기 제2 대표 위치 좌표 값은 적어도 상기 제2 포인트 데이터의 위치 좌표 값 및 상기 제4 포인트 데이터의 위치 좌표 값을 기초로 생성될 수 있다.
여기서, 상기 과실에 대한 맵을 생성하기 위한 방법은 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 기초로 온실에 대응되는 과실 맵을 생성하는 단계를 더 포함할 수 있다.
도 1은 일 실시예에 따른 농작물 관리 시스템에 대하여 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 농작물 관리 시스템(1000)은 모니터링 로봇(1050) 및 서버(1060)를 포함할 수 있다.
이 때, 일 실시예에 따른 농작물 관리 시스템(1000)은 온실(1010)에 위치하는 적어도 하나의 작물의 상태를 모니터링 하기 위한 시스템일 수 있다.
예를 들어, 일 실시예에 따른 농작물 관리 시스템(1000)은 상기 온실(1010)에 위치하는 적어도 하나의 작물에 포함되는 과실을 감지하거나, 과실의 수를 판단하거나, 과실의 성숙도 등을 판단하기 위한 시스템일 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 농작물 관리 시스템(1000)은 상기 온실(1010)에 위치하는 적어도 하나의 작물에 포함되는 과실과 관련된 맵을 생성하기 위한 시스템일 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 온실(1010)은 복수의 작물이 배열된 작물 열을 포함할 수 있다.
예를 들어, 일 실시예에 따른 온실(1010)은 복수의 작물이 배열된 제1 작물 열(1020) 및 제2 작물 열(1030)을 포함하는 복수의 작물 열을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 온실(1010)에 포함되는 적어도 하나의 작물 열은 적어도 하나의 서브 작물 열을 포함할 수 있다.
예를 들어, 일 실시예에 따른 온실(1010)에 포함되는 상기 제1 작물 열(1020)은 제1 서브 작물 열(1021) 및 제2 서브 작물 열(1022)을 포함할 수 있으며, 상기 제2 작물 열(1030)은 제3 서브 작물 열(1031) 및 제4 서브 작물 열(1032)을 포함할 수 있으나, 이에 한정되지 않는다.
이 때, 서브 작물 열 들은 도 1 에 도시된 바와 같이 물리적으로 구분된 작물 열을 의미할 수 있으나, 이에 한정되지 않으며, 하나의 열에서 서로 다른 방향으로 자란 작물의 서로 다른 부분을 의미할 수 있다.
예를 들어, 상기 제1 서브 작물 열(1021)은 상기 제1 작물 열(1020)에 포함되는 작물들 중 오른쪽으로 자라난 줄기에 의해 특정되는 작물 열을 의미할 수 있으며, 상기 제2 서브 작물 열(1022)은 상기 제1 작물 열(1020)에 포함되는 작물들 중 왼쪽으로 자라난 줄기에 의해 특정되는 작물 열을 의미할 수 있으나, 이에 한정되지 않는다.
또한, 상술한 서브 작물 열의 개념은 설명의 편의를 위해서 기술한 내용일 뿐이며, 하나의 작물 열의 오른쪽, 왼쪽 또는 앞쪽, 뒤쪽 등을 표현하기 위한 다양한 용어들로 표현될 수 있다.
또한, 일 실시예에 따른 온실(1010)은 상기 모니터링 로봇(1050)의 이동 경로를 가이드 하기 위한 적어도 하나의 레일을 포함할 수 있다.
예를 들어, 일 실시예에 따른 온실(1010)은 상기 모니터링 로봇(1050)의 이동 경로를 가이드 하기 위한 제1 레일(1040)을 포함할 수 있다.
또한, 일 실시예에 따른 온실(1010)에 포함되는 적어도 하나의 레일은 적어도 하나의 작물 열 사이에 배치될 수 있다.
예를 들어, 일 실시예에 따른 온실(1010)에 포함되는 제1 레일(1040)은 상기 제1 작물 열(1020) 및 상기 제2 작물 열(1030) 사이에 배치될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 온실(1010)에 포함되는 제1 레일(1040)은 상기 제1 작물 열(1020)에 포함되는 제1 서브 작물 열(1021) 및 상기 제2 작물 열(1030)에 포함되는 제3 작물 열(1031) 사이에 배치될 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 모니터링 로봇(1050)은 상기 온실(1010)에 위치하는 작물 들에 대한 모니터링 데이터를 획득하기 위한 로봇일 수 있다.
이 때, 일 실시예에 따른 모니터링 로봇(1050)은 적어도 하나의 통신부를 포함할 수 있다.
예를 들어, 일 실시예에 따른 모니터링 로봇(1050)은 와이파이(Wifi), 블루투스(Bluetooth), 비콘(Beacon), NFC(Near Field Communication), 직비(ZigBee), 와이기그(Wigig), 알에프아이디(RFID, Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), 유더블유비(UWB, Ultra Wideband) 및 와이에이치디(WiHD) 등의 무선 통신이 가능한 적어도 하나의 통신부를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 이 때, 일 실시예에 따른 모니터링 로봇(1050)은 적어도 하나의 입력부를 포함할 수 있다.
예를 들어, 일 실시예에 따른 모니터링 로봇(1050)은 키보드(keyboard), 마우스(mouse), 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 버튼(button) 등의 적어도 하나의 입력부를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 이 때, 일 실시예에 따른 모니터링 로봇(1050)은 적어도 하나의 측위부를 포함할 수 있다.
예를 들어, 일 실시예에 따른 모니터링 로봇(1050)은 GPS(Global Positioning System), GNSS(Global Navigation Satellite System) 등의 위성 통신을 통한 측위부, 블루투스(Bluetooth), 비콘(Beacon), NFC(Near Field Communication), 직비(ZigBee), 와이기그(Wigig), 알에프아이디(RFID, Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), 유더블유비(UWB, Ultra Wideband) 등의 근거리 통신을 통한 측위부 등 다양한 측위부들 중 적어도 하나의 측위부를 포함할 수 있다.
또한, 일 실시예에 따른 모니터링 로봇(1050)은 상기 온실(1010)에 위치하는 적어도 하나의 레일 상에서 이동될 수 있다.
예를 들어, 일 실시예에 따른 모니터링 로봇(1050)은 상기 온실(1010)에 위치하는 제1 레일(1040) 상에서 이동될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 모니터링 로봇(1050)은 모니터링 데이터를 획득하기 위한 적어도 하나의 센서를 포함할 수 있다.
예를 들어, 일 실시예에 따른 모니터링 로봇(1050)은 상기 온실(1010)에 위치하는 작물에 대한 이미지 데이터를 획득하기 위한 카메라 장치를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 모니터링 로봇(1050)은 상기 온실(1010)에 위치하는 작물에 대한 뎁스 이미지 데이터(Depth image data)를 획득하기 위한 뎁스 카메라 장치를 포함할 수 있으나, 이에 한정되지 않는다.
이 때, 뎁스 이미지 데이터는 거리 이미지 데이터 등으로 표현될 수 있으며, 뎁스 이미지 데이터에 포함되는 뎁스 값은 거리 값 등으로 표현될 수 있다.
또한, 일 실시예에 따른 모니터링 로봇(1050)은 사람의 조작에 의해 이동될 수 있으나, 이에 한정되지 않으며, 주변을 감지하여 자동으로 움직일 수 있다.
또한, 일 실시예에 따른 모니터링 로봇(1050)은 상기 온실(1010)에 위치하는 적어도 하나의 레일 상에서 이동되며 작물에 대한 모니터링 데이터를 획득할 수 있다.
예를 들어, 일 실시예에 따른 모니터링 로봇(1050)은 상기 온실(1010)에 위치하는 제1 레일(1040) 상에서 제1 방향으로 이동되며, 상기 제1 작물 열(1020)에 대한 복수개의 이미지 데이터를 획득할 수 있으며, 상기 온실(1010)에 위치하는 제1 레일(1040) 상에서 제2 방향으로 이동되며, 상기 제2 작물 열(1030)에 대한 복수개의 이미지 데이터를 획득할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 모니터링 로봇(1050)은 상기 온실(1010)에 위치하는 제1 레일(1040) 상에서 제1 방향으로 이동되며, 상기 제1 작물 열(1020)에 포함되는 제1 서브 작물 열(1021)에 대한 복수개의 이미지 데이터를 획득할 수 있으며, 상기 온실(1010)에 위치하는 제1 레일(1040) 상에서 제2 방향으로 이동되며, 상기 제2 작물 열(1030)에 포함되는 제3 서브 작물 열(1031)에 대한 복수개의 이미지 데이터를 획득할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 모니터링 로봇(1050)은 획득된 모니터링 데이터를 서버(1060)로 전송할 수 있다.
예를 들어, 일 실시예에 따른 모니터링 로봇(1050)은 상기 온실(1010)에 위치하는 제1 레일(1040) 상에서 제1 방향으로 이동되며 획득된 제1 작물 열(1020)에 대한 복수개의 뎁스 이미지 데이터를 상기 통신부를 통해 서버(1060)로 전송할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 모니터링 로봇(1050)은 상기 온실(1010)에 위치하는 제1 레일(1040) 상에서 제2 방향으로 이동되며 획득된 제2 작물 열(1030)에 대한 복수개의 뎁스 이미지 데이터를 상기 통신부를 통해 서버(1060)로 전송할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 모니터링 로봇(1050)은 통신부를 통해 적어도 하나의 식별 정보를 전송할 수 있다.
예를 들어, 일 실시예에 따른 모니터링 로봇(1050)은 통신부를 통해 모니터링 로봇(1050)의 ID 정보를 상기 서버(1060)로 전송할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 모니터링 로봇(1050)은 통신부를 통해 적어도 하나의 측위 정보를 전송할 수 있다.
예를 들어, 일 실시예에 따른 모니터링 로봇(1050)은 측위부를 통해 획득된 측위 정보를 통신부를 통해 상기 서버(1060)로 전송할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 모니터링 로봇(1050)은 통신부를 통해 다양한 시점에 적어도 하나의 정보를 전송할 수 있다.
예를 들어, 일 실시예에 따른 모니터링 로봇(1050)은 통신부를 통해 실시간으로 적어도 하나의 정보를 서버를 향해 전송할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 모니터링 로봇(1050)은 일정 주기에 따라 적어도 하나의 정보를 서버를 향해 전송할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 모니터링 로봇(1050)은 특정 트리거가 획득된 시점에 적어도 하나의 정보를 서버를 향해 전송할 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 서버(1060)는 과실 감지 모듈(1061), 과실 계수 모듈(1062), 과실 성숙도 판단 모듈(1063) 및 과실 맵 생성 모듈(1064) 중 적어도 하나의 모듈을 구비할 수 있다.
이 때, 일 실시예에 따른 과실 감지 모듈(1061)은 상기 모니터링 로봇(1050)으로부터 획득된 모니터링 데이터에 포함되는 과실과 관련된 정보를 감지하는 모듈일 수 있다.
예를 들어, 일 실시예에 다른 과실 감지 모듈(1061)은 상기 모니터링 로봇(1050)으로부터 획득된 복수개의 이미지 데이터에 포함되는 과실 영역을 감지하고, 과실 영역을 추출하기 위한 모듈일 수 있으나, 이에 한정되지 않는다.
다만, 일 실시예에 따른 과실 감지 모듈(1061)에 대하여는 이하에서 다른 도면들을 활용하여 보다 구체적으로 설명하기로 한다.
또한, 일 실시예에 따른 과실 계수 모듈(1062)은 상기 모니터링 로봇(1050)으로부터 획득된 모니터링 데이터를 기초로 온실(1010)에 위치하는 작물에 포함되는 과실의 개수와 관련된 정보를 출력하기 위한 모듈일 수 있다.
예를 들어, 일 실시예에 따른 과실 계수 모듈(1062)은 상기 모니터링 로봇(1050)으로부터 획득된 복수개의 이미지 데이터를 기초로 상기 온실(1010)에 위치하는 복수개의 작물에 포함되는 과실의 개수에 대한 정보를 출력하기 위한 모듈일 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 과실 계수 모듈(1062)은 상기 모니터링 로봇(1050)으로부터 획득된 복수개의 이미지 데이터를 기초로 상기 온실(1010)의 특정 영역에 위치하는 복수개의 작물에 포함되는 과실의 개수에 대한 정보를 출력하기 위한 모듈일 수 있으나, 이에 한정되지 않는다.
보다 구체적인 예를 들어, 일 실시예에 따른 과실 계수 모듈(1062)은 상기 모니터링 로봇(1050)으로부터 획득된 복수개의 이미지 데이터를 기초로 제1 작물 열(1020)에 위치하는 복수개의 작물에 포함되는 과실의 개수 및 제2 작물 열(1030)에 위치하는 복수개의 작물에 포함되는 과실의 개수에 대한 정보를 출력하기 위한 모듈일 수 있으나, 이에 한정되지 않는다.
다만, 일 실시예에 따른 과실 계수 모듈(1062)에 대하여는 이하에서 다른 도면들을 활용하여 보다 구체적으로 설명하기로 한다.
또한, 일 실시예에 따른 과실 성숙도 판단 모듈(1063)은 상기 모니터링 로봇(1050)으로부터 획득된 모니터링 데이터를 기초로 상기 온실(1010)에 위치하는 적어도 하나의 작물에 포함되는 적어도 하나의 과실에 대한 성숙 정도를 판단하기 위한 모듈일 수 있다.
예를 들어, 일 실시예에 따른 과실 성숙도 판단 모듈(1063)은 상기 모니터링 로봇(1050)으로부터 획득된 복수개의 이미지 데이터를 기초로 제1 작물에 포함되는 제1 과실에 대한 성숙도 정보를 출력하고, 제2 작물에 포함되는 제2 과실에 대한 성숙도 정보를 출력하기 위한 모듈일 수 있으나, 이에 한정되지 않는다.
다만, 일 실시예에 따른 과실 성숙도 판단 모듈(1063)에 대하여는 이하에서 다른 도면들을 활용하여 보다 구체적으로 설명하기로 한다.
또한, 일 실시예에 따른 과실 맵 생성 모듈(1064)은 상기 모니터링 로봇(1050)으로부터 획득된 모니터링 데이터를 기초로 상기 온실(1010)에 위치하는 복수개의 작물들에 포함되는 복수개의 과실에 대한 맵을 제공하기 위한 모듈일 수 있다.
예를 들어, 일 실시예에 따른 과실 맵 생성 모듈(1064)은 상기 모니터링 로봇(1050)으로부터 획득된 복수개의 이미지 데이터를 기초로 상기 온실(1010)에 위치하는 복수개의 작물들에 포함되는 복수개의 과실의 위치 및 성숙도에 대한 3차원 가상 공간에 대응되는 맵을 제공하기 위한 모듈일 수 있으나, 이에 한정되지 않는다.
다만, 일 실시예에 따른 과실 맵 생성 모듈(1064)에 대하여는 이하에서 다른 도면들을 활용하여 보다 구체적으로 설명하기로 한다.
일 실시예에 따른 농작물 관리 시스템(1000)은 원격 관리자(1070)를 더 포함할 수 있다.
이 때, 일 실시예에 따른 원격 관리자(1070)는 시스템에 대한 설명의 편의를 위해서 역할을 수행하는 사람으로 용어를 기재하였으나, 상기 원격 관리자(1070)는 상기 원격 관리자(1070)와 관련되거나, 상기 원격 관리자(1070)가 이용하는 단말로 이해될 수 있으며, 상기 원격 관리자(1070)의 역할을 수행할 수 있는 로봇, 서버 등으로 이해될 수 있다.
일 실시예에 따른 원격 관리자 단말(1070)은 상기 서버(1060)로부터 출력되는 정보를 획득할 수 있으며, 이에 대한 디스플레이를 제공할 수 있다.
예를 들어, 일 실시예에 따른 원격 관리자 단말(1070)은 상기 서버(1060)로부터 출력되는 과실 감지 결과에 대한 정보를 획득할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 원격 관리자 단말(1070)은 상기 서버(1060)로부터 출력되는 과실 개수에 대한 정보를 획득할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 원격 관리자 단말(1070)은 상기 서버(1060)로부터 출력되는 과실의 성숙도에 대한 정보를 획득할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 원격 관리자 단말(1070)은 상기 서버(1060)로부터 출력되는 과실 맵에 대한 정보를 획득할 수 있으나, 이에 한정되지 않는다.
도 2는 일 실시예에 따른 과실 감지 모듈에 대하여 설명하기 위한 도면이다.
도 2를 참조하면, 일 실시예에 따른 과실 감지 모듈(1100)은 작물에 대한 적어도 하나의 이미지 데이터(1110)를 기초로 작물에 포함되는 적어도 하나의 과실 영역(1120)에 대한 픽셀 좌표 값(1130), 과실 영역(1120)에 대한 뎁스 값(1140) 및 과실 영역(1120)에 대한 크롭 이미지 데이터(Cropped image data)(1150) 중 적어도 하나를 출력하기 위한 모듈일 수 있다.
일 실시예에 따른 작물에 대한 적어도 하나의 이미지 데이터(1110)는 작물 관리 시스템에 포함되는 모니터링 로봇으로부터 획득된 이미지 일 수 있다.
예를 들어, 일 실시예에 따른 작물에 대한 적어도 하나의 이미지 데이터(1110)에 포함되는 제1 이미지 데이터는 제1 시점에 모니터링 로봇으로부터 획득된 이미지일 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 작물에 대한 적어도 하나의 이미지 데이터(1110)는 적어도 하나 이상의 작물의 적어도 일부를 포함하는 이미지 데이터 일 수 있다.
예를 들어, 일 실시예에 따른 작물에 대한 적어도 하나의 이미지 데이터(1110)는 복수개의 작물의 적어도 일부를 포함하는 이미지 데이터 일 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 작물에 대한 적어도 하나의 이미지 데이터(1110)는 픽셀 좌표, 색상에 대한 픽셀 값 및 거리에 대한 픽셀 값을 포함하는 이미지 데이터 일 수 있다.
예를 들어, 일 실시예에 따른 작물에 대한 적어도 하나의 이미지 데이터(1110)는 픽셀 좌표, 픽셀 좌표에 대응되는 R,G,B 값 및 픽셀 좌표에 대응되는 뎁스 값을 포함하는 뎁스 이미지 데이터일 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 작물에 대한 적어도 하나의 이미지 데이터(1110)는 작물에 포함되는 적어도 하나의 과실 영역에 대응되는 영역을 포함할 수 있다.
예를 들어, 일 실시예에 따른 작물에 대한 적어도 하나의 이미지 데이터(1110)는 제1 작물에 포함되는 제1 과실에 대한 영역을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 과실 영역(1120)은 상기 작물에 대한 적어도 하나의 이미지 데이터(1110) 내에서 과실에 대응된다고 판단되는 영역을 의미할 수 있다.
또한, 일 실시예에 따른 과실 영역(1120)은 도 2에 도시된 바와 같이 바운딩 박스 형상으로 특정될 수 있으나, 이에 한정되지 않으며, 과실에 대응되는 영역이 세그먼트(Segment)되는 형상 등 다양한 형상으로 특정될 수 있다.
또한, 일 실시예에 따른 과실 영역(1120)에 대응되는 픽셀 좌표 값(1130)은 상기 과실 영역(1120)에 포함되는 복수개의 픽셀 좌표 중 하나의 픽셀 좌표로 선택될 수 있다.
예를 들어, 제1 과실 영역에 대응되는 제1 픽셀 좌표 값은 제1 과실 영역에 포함되는 복수개의 픽셀 좌표 중 하나인 제2 픽셀 좌표로 선택될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 과실 영역(1120)에 대응되는 픽셀 좌표 값(1130)은 상기 과실 영역(1120)에 포함되는 복수개의 픽셀 좌표를 기초로 계산될 수 있다.
예를 들어, 제1 과실 영역에 대응되는 제1 픽셀 좌표 값은 제1 과실 영역에 포함되는 복수개의 픽셀 좌표의 중심 픽셀 좌표로 계산될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 과실 영역(1120)에 대응되는 뎁스 값(1140)은 상기 과실 영역(1120)에 포함되는 복수개의 픽셀 좌표에 대응되는 복수개의 뎁스 값 중 하나의 뎁스 값으로 선택될 수 있다.
예를 들어, 제1 과실 영역에 대응되는 제1 뎁스 값은 제1 과실 영역에 포함되는 복수개의 픽셀 좌표 중 중심에 위치하는 제1 픽셀 좌표에 대응되는 제1 뎁스 값으로 선택될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 과실 영역(1120)에 대응되는 뎁스 값(1140)은 상기 과실 영역(1120)에 포함되는 복수개의 픽셀 좌표에 대응되는 복수개의 뎁스 값을 기초로 계산될 수 있다.
예를 들어, 제1 과실 영역에 대응되는 제1 뎁스 값은 제1 과실 영역에 포함되는 복수개의 픽셀 좌표에 대응되는 복수개의 뎁스 값에 가중치를 부여하여 계산될 수 있으나, 이에 한정되지 않는다.
보다 구체적인 예를 들어, 제1 과실 영역에 대응되는 제1 뎁스 값은 제1 과실 영역에 포함되는 복수개의 픽셀 좌표에 대응되는 복수개의 뎁스 값에 가우시안 형상의 가중치를 부여하여 계산될 수 있으나, 이에 한정되지 않는다.
보다 구체적인 예를 들어, 제1 과실 영역에 대응되는 제1 뎁스 값은 제1 과실 영역에 포함되는 복수개의 픽셀 좌표에 대응되는 복수개의 뎁스 값에 라플라시안 형상의 가중치를 부여하여 계산될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 과실 감지 모듈(1100)은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 일 실시예에 따른 과실 감지 모듈(1100)은 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.
또한, 일 실시예에 따른 과실 감지 모듈(1100)은 적어도 하나의 인공 신경망(artificial neural network, ANN) 으로 구현될 수 있다. 예를 들어, 일 실시예에 따른 과실 감지 모듈(1100)은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network), 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등 다양한 인공 신경망 층 중 적어도 하나의 인공 신경망 층을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 과실 감지 모듈(1100)에 포함되는 적어도 하나의 인공 신경망 층은 동일하거나 상이한 활성 함수(Activation function)를 이용할 수 있다.
이 때, 상기 활성 함수(Activation function)는 시그모이드 함수(Sigmoid Function), 하이퍼볼릭탄젠트 함수(Tanh Fucntion), 렐루 함수(Relu Function, Rectified Linear unit Fucntion), 리키 렐루 함수(leaky Relu Function), 엘루 함수(ELU Function, Exponential Linear unit function), 소프트맥스 함수(Softmax function) 등을 포함할 수 있으나, 이에 한정되지 않으며, 결과값을 출력하거나 다른 인공 신경망 층으로 전달하기 위한 다양한 활성 함수(커스텀 활성 함수들 포함)들이 포함될 수 있다.
또한, 일 실시예에 따른 과실 감지 모듈(1100)은 작물에 대한 적어도 하나의 이미지 데이터를 포함하는 학습데이터 세트를 이용하여 학습될 수 있다.
예를 들어, 일 실시예에 따른 과실 감지 모듈(1100)은 작물에 대한 적어도 하나의 이미지 데이터와 이에 대응되는 어노테이션(Annotation) 을 포함하는 학습 데이터 세트를 이용하여 학습될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 과실 감지 모듈(1100)은 적어도 하나의 손실 함수가 이용되어 학습될 수 있다.
이 때, 상기 적어도 하나의 손실 함수는 MSE(Mean Squared Error), RMSE(Root Mean Squared Error), Binary Crossentropy, Categorical Crossentropy, Sparse Categorical Crossentropy 등을 포함할 수 있으나, 이에 한정되지 않으며, 예측된 결과값과 실제 결과 값의 차이를 계산하기 위한 다양한 함수(커스텀 손실 함수들 포함)들이 포함될 수 있다.
또한, 일 실시예에 따른 과실 감지 모듈(1100)의 학습을 위하여 적어도 하나의 옵티마이저(Optimizer)가 이용될 수 있다.
이 때, 상기 적어도 하나의 옵티마이저는 Gradient descent, Batch Gradient Descent, Stochastic Gradient Descent, Mini-batch Gradient Descent, Momentum, AdaGrad, RMSProp, AdaDelta, Adam, NAG, NAdam, RAdam, AdamW 등을 포함할 수 있으나, 이에 한정되지 않는다.
도 3은 일 실시예에 따른 과실 감지 모듈에 대하여 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시예에 따른 과실 감지 모듈(1200)은 작물에 대한 복수개의 이미지 데이터(1210)를 기초로 복수개의 작물에 포함되는 복수개의 과실 영역에 대한 적어도 하나의 대표 값(1220)을 출력하기 위한 모듈일 수 있다.
이 때, 상기 과실 감지 모듈(1200)에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
일 실시예에 따른 작물에 대한 복수개의 이미지 데이터(1210)는 작물 관리 시스템에 포함되는 모니터링 로봇으로부터 획득된 이미지 일 수 있다.
예를 들어, 일 실시예에 따른 작물에 대한 복수개의 이미지 데이터(1210)에 포함되는 제1 이미지 데이터는 제1 시점에 모니터링 로봇으로부터 획득된 이미지이며, 제2 이미지 데이터는 제2 시점에 모니터링 로봇으로부터 획득된 이미지이고, 제3 이미지 데이터는 제3 시점에 모니터링 로봇으로부터 획득된 이미지일 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 작물에 대한 복수개의 이미지 데이터(1210)는 작물 관리 시스템에 포함되는 모니터링 로봇이 온실에 위치하는 적어도 하나의 레일 상으로 이동되며 획득된 이미지일 수 있다.
예를 들어, 일 실시예에 따른 작물에 대한 복수개의 이미지 데이터(1210)에 포함되는 제1 이미지 데이터는 모니터링 로봇이 온실에 위치하는 제1 레일 상으로 이동되며, 제1 위치에 위치하는 제1 시점에 획득된 이미지이며, 제2 이미지 데이터는 모니터링 로봇이 상기 제1 레일 상으로 이동 되며, 제2 위치에 위치하는 제2 시점에 획득된 이미지이고, 제3 이미지 데이터는 모니터링 로봇이 상기 제1 레일 상으로 이동되며, 제3 위치에 위치하는 제3 시점에 획득된 이미지일 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 작물에 대한 복수개의 이미지 데이터(1210)는 작물 관리 시스템에 포함되는 모니터링 로봇이 온실에 위치하는 적어도 하나의 레일 상으로 이동되며 연속적으로 획득된 이미지 프레임일 수 있다.
또한, 일 실시예에 따른 작물에 대한 복수개의 이미지 데이터(1210)는 하나의 작물에 대한 복수개의 이미지 데이터를 포함할 수 있다.
예를 들어, 일 실시예에 따른 작물에 대한 복수개의 이미지 데이터(1210)는 제1 작물의 적어도 일부가 표현된 제1 이미지 데이터, 상기 제1 작물의 다른 적어도 일부가 표현된 제2 이미지 데이터 및 상기 제1 작물의 또 다른 적어도 일부가 표현된 제3 이미지 데이터를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 작물에 대한 복수개의 이미지 데이터(1210)가 하나의 작물에 대한 복수개의 이미지 데이터를 포함하기 때문에, 하나의 과실에 대한 복수개의 감지가 수행될 수 있다.
예를 들어, 일 실시예에 따른 작물에 대한 복수개의 이미지 데이터(1210)에 포함되는 제1 이미지 데이터에서 제1 과실에 대한 감지가 수행될 수 있으며, 제2 이미지 데이터에서 상기 제1 과실에 대한 감지가 수행될 수 있고, 제3 이미지 데이터에서 상기 제1 과실에 대한 감지가 수행될 수 있다.
따라서, 일 실시예에 따른 과실 감지 모듈(1200)은 동일한 과실에 대하여 하나의 과실로 판단하도록 다양한 알고리즘을 포함할 수 있다.
예를 들어, 일 실시예에 따른 과실 감지 모듈(1200)은 제1 이미지 데이터에 포함되는 제1 과실에 대한 과실 영역인 제1 과실 영역, 제2 이미지 데이터에 포함되는 상기 제1 과실에 대한 과실 영역인 제2 과실 영역 및 제3 이미지 데이터에 포함되는 상기 제1 과실에 대한 과실 영역인 제3 과실 영역을 동일한 과실 영역으로 판단하기 위하여, 각각의 과실 영역들 사이의 위치 관계를 기초로 동일성을 판단하는 알고리즘을 포함할 수 있으나, 이에 한정되지 않으며, 연속된 이미지 프레임에 포함되는 동일 물체에 대하여 동일한 물체로 판단하기 위한 다양한 알고리즘들이 포함될 수 있다.
또한, 일 실시예에 따른 복수개의 과실 영역에 대한 적어도 하나의 대표 값(1220)은 복수개의 과실 영역 각각에 대한 뎁스 값을 포함할 수 있다.
예를 들어, 일 실시예에 따른 복수개의 과실 영역에 대한 적어도 하나의 대표 값(1220)은 제1 과실 영역에 대한 제1 뎁스 값 및 제2 과실 영역에 대한 제2 뎁스 값을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 복수개의 과실 영역에 대한 적어도 하나의 대표 값(1220)은 복수개의 이미지 데이터들 각각으로부터 획득된 과실 영역에 대한 뎁스 값을 기초로 획득될 수 있다.
예를 들어, 제1 과실 영역에 대한 제1 뎁스 값은 제1 이미지 데이터에 포함되는 제1 과실에 대한 제2 과실 영역에 대한 제2 뎁스 값, 제2 이미지 데이터에 포함되는 상기 제1 과실에 대한 제3 과실 영역에 대한 제3 뎁스 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 복수개의 과실 영역에 대한 적어도 하나의 대표 값(1220)은 복수개의 과실 영역에 대한 인덱스(Index) 값을 포함할 수 있다.
이 때, 상기 인덱스 값은 감지된 과실의 개수에 대응될 수 있다.
따라서, 일 실시예에 따라 모니터링 로봇이 제1 레인 상으로 이동되며 제1 작물 열에 대한 이미지 데이터를 획득하고, 획득된 복수개의 이미지 데이터를 과실 감지 모듈(1200)에 입력하여 복수개의 과실 영역에 대한 적어도 하나의 대표 값(1220)을 출력하는 경우, 상기 복수개의 과실 영역의 개수 또는 복수개의 과실 영역에 대한 인덱스 값은 상기 제1 작물 열에 포함되는 과실의 개수에 대응될 수 있다.
다만, 상술한 바와 같은 동작으로 작물 열에 포함되는 과실의 개수를 판단하는 경우, 실제 과실의 개수와 상이한 문제가 발생할 수 있으며, 이에 대하여는 이하에서 도 4를 통해 보다 구체적으로 설명하기로 한다.
도 4는 일 실시예에 따른 적어도 하나의 작물에 대한 이미지 데이터를 도시한 도면이다.
도 4를 참조하면, 일 실시예에 따른 이미지 데이터(1300)는 온실에 위치하는 제1 작물 열에 포함되는 제1 작물(1310)의 적어도 일부에 대한 이미지를 포함할 수 있다.
또한, 도 4를 참조하면, 일 실시예에 따른 이미지 데이터(1300)는 온실에 위치하는 제1 작물 열에 포함되는 작물들 외에 다른 작물 열에 포함되는 작물의 적어도 일부에 대한 이미지를 포함할 수 있다.
예를 들어, 일 실시예에 따른 이미지 데이터(1300)는 상기 제1 작물 열과 인접한 제2 작물 열에 포함되는 제2 작물(1320)의 적어도 일부에 대한 이미지, 상기 제2 작물 열과 인접한 제3 작물 열에 포함되는 제3 작물(1330)의 적어도 일부에 대한 이미지를 포함할 수 있다.
이 때, 상기 제2 작물 열은 상술한 서브 작물 열을 의미할 수 있다.
따라서, 일 실시예에 따른 이미지 데이터(1300)를 상술한 과실 감지 모듈 들에 이용하는 경우, 상기 제1 작물 열에 포함되는 과실 뿐 아니라 상기 제1 작물 열 외에 다른 작물 열에 포함되는 과실도 감지가 될 수 있다.
또한, 상기 제1 작물 열에 위치하는 작물들에 의해 상기 제2 작물 열 또는 상기 제3 작물 열에 위치하는 과실들이 가려지는 경우가 많기 때문에, 일 실시예에 따른 이미지 데이터(1300)를 이용하여 상기 제2 작물 열 또는 상기 제3 작물 열에 위치하는 과실들에 대한 개수를 판단하는 것 역시 무리가 있다.
즉, 일 실시예에 따른 이미지 데이터(1300)를 이용하여 제1 작물 열에 포함되는 과실의 개수를 정확히 판단하기 위한 다양한 방법들이 도입될 필요가 있다.
이하에서는 작물 열에 포함되는 과실의 개수를 정확히 판단하기 위한 방법들에 대하여 보다 구체적으로 기술하기로 한다.
도 5는 일 실시예에 따른 온실 환경을 설명하기 위한 도면이다.
도 5를 참조하면, 일 실시예에 따른 온실(1400)은 복수개의 작물들이 배열될 작물 열을 포함할 수 있으며, 예를 들어, 일 실시예에 따른 온실(1400)은 제1 작물 열(1410) 및 제2 작물 열(1420)을 포함할 수 있고, 상기 제1 작물 열(1410)은 제1 서브 작물 열(1411) 및 제2 서브 작물 열(1412)을 포함할 수 있으며, 상기 제2 작물 열(1420)은 제3 서브 작물 열(1421) 및 제4 서브 작물 열(1422)을 포함할 수 있고, 이에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 도 5를 참조하면, 일 실시예에 따른 온실(1400)은 복수개의 작물 열 사이에 배치되는 복수개의 레일을 포함할 수 있으며, 예를 들어, 일 실시예에 따른 온실(1400)은 상기 제1 작물 열(1410) 및 상기 제2 작물 열(1420) 사이에 배치되는 제1 레일(1430)을 포함할 수 있고, 이에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 도 5를 참조하면, 일 실시예에 따른 온실(1400)에 적어도 하나의 모니터링 로봇(1440)이 위치할 수 있으며, 이에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
다시 도 5를 참조하면, 일 실시예에 따른 온실(1400)에 포함되는 작물 열과 레일은 일정한 거리를 가지도록 배치될 수 있다.
예를 들어, 일 실시예에 따른 온실(1400)에 포함되는 제1 작물 열(1410)과 제1 레일(1430)은 사이의 거리가 제1 거리(1450)가 되도록 배치될 수 있으며, 제2 작물 열(1420)과 상기 제1 레일(1430)은 사이의 거리가 제2 거리(1460)가 되도록 배치될 수 있고, 일 실시예에 따른 온실(1400)은 상기 제1 거리(1450) 및 상기 제2 거리(1460)가 동일하도록 설계될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 온실(1400)에 포함되는 복수개의 레일은 일정한 거리를 가지도록 배치될 수 있다.
예를 들어, 일 실시예에 따른 온실(1400)에 포함되는 제1 레일(1430)과 제2 레일은 사이의 거리가 제3 거리(1470)가 되도록 배치될 수 있으며, 상기 제1 레일(1430)과 제3 레일은 사이의 거리가 제4 거리(1480)가 되도록 배치될 수 있고, 일 실시예에 따른 온실(1400)은 상기 제3 거리(1470) 및 상기 제4 거리(1480)가 동일하도록 설계될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 온실(1400)에 포함되는 복수개의 작물 열은 일정한 거리를 가지도록 배치될 수 있다.
예를 들어, 일 실시예에 따른 온실(1400)에 포함되는 제1 작물 열(1410)과 제2 작물 열(1420)은 사이의 거리가 제5 거리가 되도록 배치될 수 있으며, 상기 제1 작물 열(1410)과 제3 작물 열은 사이의 거리가 제6 거리가 되도록 배치될 수 있고, 일 실시예에 따른 온실(1400)은 상기 제5 거리 및 상기 제6 거리가 동일하도록 설계될 수 있으나, 이에 한정되지 않는다.
이상에서 기술한 바와 같이, 일 실시예에 따른 온실(1400)은 온실(1400)에 포함되는 각각의 구성요소들이 일정한 규칙에 따라 배열되도록 설계될 수 있다.
따라서, 상술한 바와 같이 설계된 온실의 경우 특정 작물 열에 포함되는 과실을 판단하기 위하여 거리에 대한 미리 정해진 임계 값이 이용될 수 있다.
예를 들어, 일 실시예에 따르면, 특정 작물 열에 포함되는 과실을 판단하기 위하여 미리 정해진 임계 값이 이용될 수 있으며, 상기 미리 정해진 임계 값은 온실(1400)에 포함되는 레일과 작물 열 사이의 거리를 기초로 정해진 값일 수 있다.
또한, 예를 들어, 일 실시예에 따르면, 특정 작물 열에 포함되는 과실을 판단하기 위하여 미리 정해진 임계 값이 이용될 수 있으며, 상기 미리 정해진 임계 값은 온실(1400)에 포함되는 레일과 인접한 레일 사이의 거리를 기초로 정해진 값일 수 있다.
또한, 예를 들어, 일 실시예에 따르면, 특정 작물 열에 포함되는 과실을 판단하기 위하여 미리 정해진 임계 값이 이용될 수 있으며, 상기 미리 정해진 임계 값은 온실(1400)에 포함되는 작물 열과 인접한 작물 열 사이의 거리를 기초로 정해진 값일 수 있다.
이하에서는 미리 정해진 임계 값을 이용하여 작물 열에 대한 과실을 계수하는 방법에 대하여 보다 구체적으로 설명하기로 한다.
도 6은 일 실시예에 따른 과실 계수 방법에 대하여 설명하기 위한 도면이다.
도 6을 참조하면, 일 실시예에 따른 과실 계수 방법(1500)은 작물 열에 대응되는 복수개의 이미지를 획득하는 단계(S1510), 복수개의 이미지에 포함되는 과실 영역들을 검출하는 단계(S1520), 검출된 과실 영역 들에 대한 대표 거리 값들을 산출하는 단계(S1530) 및 과실 영역들에 대한 대표 거리 값들 및 미리 설정된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S1540)를 포함할 수 있다.
이 때, 일 실시예에 따른 작물 열에 대응되는 복수개의 이미지를 획득하는 단계(S1510), 복수개의 이미지에 포함되는 과실 영역들을 검출하는 단계(S1520), 검출된 과실 영역 들에 대한 대표 거리 값들을 산출하는 단계(S1530)는 상술한 과실 감지 모듈에서 수행될 수 있다.
예를 들어, 일 실시예에 따른 작물 열에 대응되는 복수개의 이미지를 획득하는 단계(S1510)는 과실 감지 모듈에 포함되는 데이터 획득부에서 수행될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 복수개의 이미지에 포함되는 과실 영역들을 검출하는 단계(S1520)는 과실 감지 모듈에 포함되는 이미지 분석부에서 수행될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 검출된 과실 영역 들에 대한 대표 거리 값들을 산출하는 단계(S1530)는 과실 거리 산출부에서 수행될 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 작물 열에 대응되는 복수개의 이미지를 획득하는 단계(S1510)에서, 작물 열에 대응되는 복수개의 이미지는 제1 작물 열에 대응되는 복수개의 이미지를 포함할 수 있다.
또한, 일 실시예에 따른 작물 열에 대응되는 복수개의 이미지를 획득하는 단계(S1510)에서, 작물 열에 대응되는 복수개의 이미지에 대하여는 상술한 이미지 데이터들에 대한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
일 실시예에 따른 복수개의 이미지에 포함되는 과실 영역들을 검출하는 단계(S1520)는 복수개의 이미지에 포함되는 적어도 하나의 이미지 내에 위치하는 과실 영역에 대한 픽셀 좌표 값, 거리 값 및 크롭 이미지 데이터 중 적어도 하나를 출력하는 단계를 포함할 수 있으며, 이에 대하여는 도 2 및 도 3을 통해 기술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
일 실시예에 따른 검출된 과실 영역 들에 대한 대표 거리 값들을 산출하는 단계(S1530)는 복수개의 이미지에 포함되는 적어도 하나의 이미지 내에 위치하는 과실 영역에 대한 거리 값을 산출하는 단계를 포함할 수 있으며, 이에 대하여는 도 2 및 도 3을 통해 기술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 검출된 과실 영역 들에 대한 대표 거리 값들을 산출하는 단계(S1530)는 복수개의 이미지에 포함되는 복수개의 작물에 포함되는 복수개의 과실 영역에 대한 적어도 하나의 거리 값을 출력하는 단계를 포함할 수 있으며, 이에 대하여는 도 3을 통해 기술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
일 실시예에 따른 과실 영역들에 대한 대표 거리 값들 및 미리 설정된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S1540)는 과실 영역들 중 대표 거리 값이 미리 설정된 임계 거리 값 보다 작은 과실 영역들을 작물 열에 대응되는 과실 영역들로 결정하는 단계를 포함할 수 있다.
예를 들어, 일 실시예에 따른 과실 영역들에 대한 대표 거리 값들 및 미리 설정된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S1540)에서, 1000개의 과실 영역들 중 대표 거리 값이 미리 설정된 임계 거리 값 보다 작은 800개의 과실 영역들을 제1 작물 열에 대응되는 과실 영역들로 결정할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 과실 영역들에 대한 대표 거리 값들 및 미리 설정된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S1540)는 결정된 과실 영역들의 개수를 기초로 작물 열에 대응되는 과실의 개수를 결정하는 단계를 포함할 수 있다.
예를 들어, 일 실시예에 따른 과실 영역들에 대한 대표 거리 값들 및 미리 설정된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S1540)에서, 1000개의 과실 영역들 중 대표 거리 값이 미리 설정된 임계 거리 값 보다 작은 800개의 과실 영역들이 제1 작물 열에 대응되는 과실 영역들로 결정된 경우, 제1 작물 열에 대응되는 과실의 개수가 800개로 결정될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 과실 영역들에 대한 대표 거리 값들 및 미리 설정된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S1540)에서, 제1 서브 작물 열에 대응되는 복수개의 이미지를 기초로 획득된 1000개의 과실 영역들 중 대표 거리 값이 미리 설정된 임계 거리 값 보다 작은 과실 영역이 800개 이며, 제2 서브 작물 열에 대응되는 복수개의 이미지를 기초로 획득된 950개의 과실 영역들 중 대표 거리 값이 미리 설정된 임계 거리 값 보다 작은 과실 영역이 750개인 경우, 제1 서브 작물 열 및 제2 서브 작물 열을 포함하는 제1 작물열에 대응되는 과실의 개수를 1550개로 결정할 수 있으나, 이에 한정되지 않는다.
도 7은 일 실시예에 따른 온실 환경을 설명하기 위한 도면이다.
도 7을 참조하면, 일 실시예에 따른 온실(1600)은 복수개의 작물들이 배열될 작물 열을 포함할 수 있으며, 예를 들어, 일 실시예에 따른 온실(1600)은 제1 작물 열(1610) 및 제2 작물 열(1620)을 포함할 수 있고, 상기 제1 작물 열(1610)은 제1 서브 작물 열(1611) 및 제2 서브 작물 열(1612)을 포함할 수 있으며, 상기 제2 작물 열(1620)은 제3 서브 작물 열(1621) 및 제4 서브 작물 열(1622)을 포함할 수 있고, 이에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 도 7을 참조하면, 일 실시예에 따른 온실(1600)은 복수개의 작물 열 사이에 배치되는 복수개의 레일을 포함할 수 있으며, 예를 들어, 일 실시예에 따른 온실(1600)은 상기 제1 작물 열(1610) 및 상기 제2 작물 열(1620) 사이에 배치되는 제1 레일(1630)을 포함할 수 있고, 이에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 도 7을 참조하면, 일 실시예에 따른 온실(1600)에 적어도 하나의 모니터링 로봇(1640)이 위치할 수 있으며, 이에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
다시 도 7을 참조하면, 일 실시예에 따른 온실(1600)에 포함되는 작물 열과 레일은 적어도 일부 서로 다른 거리를 가지도록 배치될 수 있다.
예를 들어, 일 실시예에 따른 온실(1600)에 포함되는 제1 작물 열(1610)과 제1 레일(1630)은 사이의 거리가 제1 거리(1650)가 되도록 배치될 수 있으며, 제2 작물 열(1620)과 상기 제1 레일(1630)은 사이의 거리가 제2 거리(1660)가 되도록 배치될 수 있고, 일 실시예에 따른 온실(1600)에서 상기 제1 거리(1650) 및 상기 제2 거리(1660)는 서로 상이할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 온실(1600)에 포함되는 복수개의 레일은 적어도 일부 서로 다른 거리를 가지도록 배치될 수 있다.
예를 들어, 일 실시예에 따른 온실(1600)에 포함되는 제1 레일(1630)과 제2 레일은 사이의 거리가 제3 거리(1670)가 되도록 배치될 수 있으며, 상기 제1 레일(1630)과 제3 레일은 사이의 거리가 제4 거리(1680)가 되도록 배치될 수 있고, 일 실시예에 따른 온실(1600)에서 상기 제3 거리(1670) 및 상기 제4 거리(1680)는 서로 상이할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 온실(1600)에 포함되는 복수개의 작물 열은 적어도 일부 서로 다른 거리를 가지도록 배치될 수 있다.
예를 들어, 일 실시예에 따른 온실(1600)에 포함되는 제1 작물 열(1610)과 제2 작물 열(1620)은 사이의 거리가 제5 거리가 되도록 배치될 수 있으며, 상기 제1 작물 열(1610)과 제3 작물 열은 사이의 거리가 제6 거리가 되도록 배치될 수 있고, 일 실시예에 따른 온실(1600)에서 상기 제5 거리 및 상기 제6 거리는 서로 상이할 수 있으나, 이에 한정되지 않는다.
이상에서 기술한 바와 같이, 일 실시예에 따른 온실(1600)에서는 온실(1600)에 포함되는 각각의 구성요소들 중 적어도 일부의 구성요소들이 규칙을 벗어나도록 배치될 수 있다.
따라서, 상술한 바와 같은 온실의 경우 특정 작물 열에 포함되는 과실을 판단하기 위하여 거리에 대한 미리 정해진 임계 값이 이용되는 경우 작물 열에 따라 오차가 발생할 수 있다.
예를 들어, 일 실시예에 따라, 미리 정해진 임계 값을 제1 작물 열(1610)과 제1 레일(1630) 사이의 제1 거리(1650)에 기초하여 정하는 경우, 제2 작물 열(1620)에 포함되는 과실을 판단할 때 오차가 발생할 수 있다.
따라서, 이하에서는 이를 해결하기 위한 보다 구체적인 방법 들에 대하여 설명하기로 한다.
즉, 이하에서는 작물 열 사이를 구분하기 위한 임계 거리 값을 어뎁티브(Adaptive) 하게 획득하는 다양한 방법들에 대하여 설명하기로 한다.
도 8은 일 실시예에 따른 과실 계수 방법에 대하여 설명하기 위한 도면이다.
도 8을 참조하면, 일 실시예에 따른 과실 계수 방법(1700)은 작물 열에 대응되는 복수개의 이미지 및 작물 열에 대한 식별 정보를 획득하는 단계(S1710), 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계(S1720), 작물 열에 대한 식별 정보를 기초로 임계 거리 값을 획득하는 단계(S1730) 및 복수개의 과실 영역들에 대한 대표 거리 값들 및 획득된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S1740)를 포함할 수 있다.
이 때, 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계(S1720)는 상술한 과실 감지 모듈에서 수행될 수 있으며, 상술한 과실 영역을 검출하고, 대표 거리 값들을 산출하는 단계를 포함할 수 있으나, 이에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
일 실시예에 따른 작물 열에 대응되는 복수개의 이미지 및 작물 열에 대한 식별 정보를 획득하는 단계(S1710)에서, 작물 열에 대응되는 복수개의 이미지에 대하여는 상술한 이미지 데이터들에 대한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 작물 열에 대응되는 복수개의 이미지 및 작물 열에 대한 식별 정보를 획득하는 단계(S1710)에서, 작물 열에 대한 식별 정보는 모니터링의 대상이 되는 작물 열에 대한 적어도 하나의 식별 정보 일 수 있다.
예를 들어, 일 실시예에 따른 작물 열에 대응되는 복수개의 이미지 및 작물 열에 대한 식별 정보를 획득하는 단계(S1710)에서, 작물 열에 대한 식별 정보는 모니터링 대상이 되는 작물 열이 특정 작물 열이라는 정보, 모니터링 대상이 되는 작물 열이 특정 작물 열의 일측 또는 타측 이라는 정보, 모니터링 대상이 되는 작물 열이 특정 작물 열의 앞쪽 또는 뒤쪽 이라는 정보, 모니터링 대상이 되는 작물 열이 특정 작물 열의 오른쪽 또는 왼쪽 이라는 정보, 모니터링 대상이 되는 작물 열이 특정 서브 작물 열이라는 정보 등을 포함할 수 있으나, 이에 한정되지 않으며, 모니터링 대상이 되는 작물 열이 식별되거나 구분될 수 있는 다양한 정보들을 포함할 수 있다.
또한, 일 실시예에 따른 작물 열에 대응되는 복수개의 이미지 및 작물 열에 대한 식별 정보를 획득하는 단계(S1710)에서, 작물 열에 대한 식별 정보는 모니터링 로봇의 위치 정보에 기초하여 획득될 수 있다.
예를 들어, 일 실시예에 따른 작물 열에 대응되는 복수개의 이미지 및 작물 열에 대한 식별 정보를 획득하는 단계(S1710)에서, 모니터링 로봇이 제1 레일 상에서 제1 방향으로 이동되는 경우 작물 열에 대한 식별 정도는 '제1 작물 열의 일측'이 될 수 있으며, 모니터링 로봇이 상기 제1 레일 상에서 제2 방향으로 이동되는 경우 작물 열에 대한 식별 정보는 '제2 작물 열의 일측'이 될 수 있고, 모니터링 로봇이 제2 레일 상에서 상기 제2 방향으로 이동되는 경우 작물 열에 대한 식별 정보는 '제1 작물 열의 타측'이 될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 작물 열에 대응되는 복수개의 이미지 및 작물 열에 대한 식별 정보를 획득하는 단계(S1710)에서, 모니터링 로봇이 제1 레일 상에서 제1 방향으로 이동되는 경우 작물 열에 대한 식별 정도는 '제1 작물 열의 제1 서브 작물 열'이 될 수 있으며, 모니터링 로봇이 상기 제1 레일 상에서 제2 방향으로 이동되는 경우 작물 열에 대한 식별 정보는 '제2 작물 열의 제3 서브 작물 열'이 될 수 있고, 모니터링 로봇이 제2 레일 상에서 상기 제2 방향으로 이동되는 경우 작물 열에 대한 식별 정보는 '제1 작물 열의 제2 서브 작물 열'이 될 수 있으나, 이에 한정되지 않는다.
다만, 상술한 작물 열에 대한 식별 정보는 설명의 편의를 위해서 각각의 식별 정보에 정보와 관련된 네이밍을 하였으나, 실질적으로 이를 구현함에 있어서는 각각을 구분하기 위한 식별 정보 할당되는 것으로 충분할 수 있다.
일 실시예에 따른 작물 열에 대한 식별 정보를 기초로 임계 거리 값을 획득하는 단계(S1730)에서, 임계 거리 값은 작물 열에 대한 식별 정보에 대응되는 임계 거리 값으로 획득될 수 있다.
예를 들어, 제1 작물 열에 대한 임계 거리 값은 제1 임계 거리 값으로 획득될 수 있으며, 제2 작물 열에 대한 임계 거리 값은 제2 임계 거리 값으로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 작물 열에 대한 식별 정보를 기초로 임계 거리 값을 획득하는 단계(S1730)에서, 임계 거리 값은 작물 열에 대한 식별 정보와 임계 거리 값의 매칭 테이블을 기초로 획득될 수 있다.
예를 들어, 제1 작물 열의 일 측에 대한 임계 거리 값은 제1 레일과 제1 작물 열 사이의 거리인 제1 거리 값으로 매칭되고, 제1 작물 열의 타측에 대한 임계 거리 값은 제2 레일과 제1 작물 열 사이의 거리인 제2 거리 값으로 매칭되며, 제2 작물 열의 일측에 대한 임계 거리 값은 제1 레일과 제2 작물 열 사이의 거리인 제3 거리 값으로 매칭된 테이블이 저장될 수 있으며, 일 실시예에 따른 임계 거리 값은 상기 테이블에 기초하여 획득될 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 복수개의 과실 영역들에 대한 대표 거리 값들 및 획득된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S1740)는 복수개의 과실 영역들 중 대표 거리 값이 획득된 임계 거리 값 보다 작은 과실 영역들을 작물 열에 대응되는 과실 영역들로 결정하는 단계를 포함할 수 있다.
예를 들어, 일 실시예에 따른 복수개의 과실 영역들에 대한 대표 거리 값들 및 획득된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S1740)에서, 1000개의 과실 영역들 중 대표 거리 값이 획득된 임계 거리 값 보다 작은 800개의 과실 영역들을 제1 작물 열에 대응되는 과실 영역들로 결정할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 복수개의 과실 영역들에 대한 대표 거리 값들 및 획득된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S1740)는 결정된 과실 영역들의 개수를 기초로 작물 열에 대응되는 과실의 개수를 결정하는 단계를 포함할 수 있다.
예를 들어, 일 실시예에 따른 복수개의 과실 영역들에 대한 대표 거리 값들 및 획득된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S1740)에서, 1000개의 과실 영역들 중 대표 거리 값이 획득된 임계 거리 값 보다 작은 800개의 과실 영역들이 제1 작물 열에 대응되는 과실 영역들로 결정된 경우, 제1 작물 열에 대응되는 과실의 개수가 800개로 결정될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 복수개의 과실 영역들에 대한 대표 거리 값들 및 획득된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S1740)에서, 제1 서브 작물 열에 대응되는 복수개의 이미지를 기초로 획득된 1000개의 과실 영역들 중 대표 거리 값이 제1 임계 거리 값(제1 서브 작물 열에 대한 식별 정보를 기초로 획득됨) 보다 작은 과실 영역이 800개 이며, 제2 서브 작물 열에 대응되는 복수개의 이미지를 기초로 획득된 950개의 과실 영역들 중 대표 거리 값이 제2 임계 거리 값(제2 서브 작물 열에 대한 식별 정보를 기초로 획득됨) 보다 작은 과실 영역이 750개인 경우, 제1 서브 작물 열 및 제2 서브 작물 열을 포함하는 제1 작물열에 대응되는 과실의 개수가 1550개로 결정될 수 있으나, 이에 한정되지 않는다.
도 9는 일 실시예에 따른 과실 계수 방법에 대하여 설명하기 위한 도면이다.
도 9를 참조하면, 일 실시예에 따른 과실 계수 방법(1800)은 제1 서브 작물 열에 대응되는 복수개의 이미지 및 제1 서브 작물 열에 대한 식별 정보를 획득하는 단계(S1810), 제1 서브 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계(S1820), 제1 서브 작물 열에 대한 식별 정보를 기초로 제1 임계 거리 값을 획득하는 단계(S1830) 및 복수개의 과실 영역들에 대한 대표 거리 값들 및 제1 임계 거리 값을 비교하여 제1 서브 작물 열에 대응되는 과실의 개수를 결정하는 단계(S1840), 제2 서브 작물 열에 대응되는 복수개의 이미지 및 제2 서브 작물 열에 대한 식별 정보를 획득하는 단계(S1850), 제2 서브 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계(S1860), 제2 서브 작물 열에 대한 식별 정보를 기초로 제2 임계 거리 값을 획득하는 단계(S1870) 및 복수개의 과실 영역들에 대한 대표 거리 값들 및 제2 임계 거리 값을 비교하여 제2 서브 작물 열에 대응되는 과실의 개수를 결정하는 단계(S1880) 및 제1 서브 작물 열에 대응되는 과실의 개수 및 제2 서브 작물 열에 대응되는 과실의 개수를 기초로 제1 작물 열에 대응되는 과실의 개수를 결정하는 단계(S1890)를 포함할 수 있다.
이 때, 제1 서브 작물 열에 대응되는 복수개의 이미지 및 제1 서브 작물 열에 대한 식별 정보를 획득하는 단계(S1810), 제1 서브 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계(S1820), 제1 서브 작물 열에 대한 식별 정보를 기초로 제1 임계 거리 값을 획득하는 단계(S1830) 및 복수개의 과실 영역들에 대한 대표 거리 값들 및 제1 임계 거리 값을 비교하여 제1 서브 작물 열에 대응되는 과실의 개수를 결정하는 단계(S1840), 제2 서브 작물 열에 대응되는 복수개의 이미지 및 제2 서브 작물 열에 대한 식별 정보를 획득하는 단계(S1850), 제2 서브 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계(S1860), 제2 서브 작물 열에 대한 식별 정보를 기초로 제2 임계 거리 값을 획득하는 단계(S1870) 및 복수개의 과실 영역들에 대한 대표 거리 값들 및 제2 임계 거리 값을 비교하여 제2 서브 작물 열에 대응되는 과실의 개수를 결정하는 단계(S1880)에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 이 때, 상기 제1 서브 작물 열에 대응되는 복수개의 이미지는 모니터링 로봇이 제1 작물 열로부터 제1 방향으로 이격되어 인접한 제1 레일을 제2 방향으로 움직이면서 획득한 이미지 일 수 있다.
또한, 이 때, 상기 제2 서브 작물 열에 대응되는 복수개의 이미지는 모니터링 로봇이 제1 작물 열로부터 제3 방향으로 이격되어 인접한 제2 레일을 제4 방향으로 움직이면서 획득한 이미지일 수 있다.
또한, 이 때, 상기 제1 방향과 상기 제2 방향은 서로 수직하며, 상기 제3 방향과 상기 제4 방향은 서로 수직할 수 있다.
또한, 이 때, 상기 제1 방향과 상기 제3 방향은 서로 상이하면, 상기 제3 방향과 상기 제4 방향은 서로 상이할 수 있다.
또한, 이 때, 상기 제1 임계 거리 값과 상기 제2 임계 거리 값은 서로 상이할 수 있다.
또한, 이 때, 상기 제1 임계 거리 값은 상기 제1 작물 열과 상기 제1 레일 사이의 거리를 기초로 저장될 수 있으며, 상기 제2 임계 거리 값은 상기 제1 작물 열과 상기 제2 레일 사이의 거리를 기초로 저장될 수 있다.
도 10은 일 실시예에 따른 과실 계수 방법에 대하여 설명하기 위한 도면이다.
도 10을 설명하기에 앞서, 도 10의 적어도 일부의 단계들에 대하여는 도 11을 참조하여 설명할 수 있음을 밝혀둔다.
도 10을 참조하면, 일 실시예에 따른 과실 계수 방법(2000)은 작물 열에 대응되는 복수개의 이미지를 획득하는 단계(S2010), 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계(S2020), 획득된 대표 거리 값들을 기초로 작물 열에 대한 임계 거리 값을 산출하는 단계(S2030) 및 복수개의 과실 영역들에 대한 대표 거리 값들 및 산출된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S2040)를 포함할 수 있다.
이 때, 작물 열에 대응되는 복수개의 이미지를 획득하는 단계(S2010), 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계(S2020)에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
일 실시예에 따른 획득된 대표 거리 값들을 기초로 작물 열에 대한 임계 거리 값을 산출하는 단계(S2030)는 임계 거리 값 산출부 에서 수행될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 획득된 대표 거리 값들을 기초로 작물 열에 대한 임계 거리 값을 산출하는 단계(S2030)는 획득된 대표 거리 값들의 분포를 고려하여 임계 거리 값을 산출하는 단계(S2030)를 포함할 수 있다.
예를 들어, 일 실시예에 따른 획득된 대표 거리 값들을 기초로 작물 열에 대한 임계 거리 값을 산출하는 단계(S2030)는 획득된 대표 거리 값들에 대한 히스토그램 데이터를 생성하고, 생성된 히스토그램 데이터를 기초로 임계 거리 값을 산출하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.
이는 도 11을 통해 보다 구체적으로 설명하기로 한다.
또한, 예를 들어, 일 실시예에 따른 획득된 대표 거리 값들을 기초로 작물 열에 대한 임계 거리 값을 산출하는 단계(S2030)는 획득된 대표 거리 값들 및 상대적 높이에 대한 거리-높이 분포 맵을 생성하고, 생성된 거리 분포 맵을 기초로 임계 거리 값을 산출하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상술한 예시들 외에도 일 실시예에 따른 획득된 대표 거리 값들을 기초로 작물 열에 대한 임계 거리 값을 산출하는 단계(S2030)는 획득된 대표 거리 값들을 기초로 작물 열에 대한 임계 거리 값을 산출하기 위한 다양한 알고리즘들이 이용될 수 있다.
일 실시예에 따른 복수개의 과실 영역들에 대한 대표 거리 값들 및 산출된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S2040)는 복수개의 과실 영역들 중 대표 거리 값이 산출된 임계 거리 값 보다 작은 과실 영역들을 작물 열에 대응되는 과실 영역들로 결정하는 단계를 포함할 수 있다.
예를 들어 일 실시예에 따른 복수개의 과실 영역들에 대한 대표 거리 값들 및 산출된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S2040)에서, 1000개의 과실 영역들 중 대표 거리 값이 산출된 임계 거리 값 보다 작은 800개의 과실 영역들을 제1 작물 열에 대응되는 과실 영역들로 결정할 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 복수개의 과실 영역들에 대한 대표 거리 값들 및 산출된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S2040)는 결정된 과실 영역들의 개수를 기초로 작물 열에 대응되는 과실의 개수를 결정하는 단계를 포함할 수 있다.
예를 들어, 일 실시예에 따른 복수개의 과실 영역들에 대한 대표 거리 값들 및 산출된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S2040)에서, 1000개의 과실 영역들 중 대표 거리 값이 산출된 임계 거리 값 보다 작은 800개의 과실 영역들이 제1 작물 열에 대응되는 과실 영역들로 결정된 경우, 제1 작물 열에 대응되는 과실의 개수가 800개로 결정될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 복수개의 과실 영역들에 대한 대표 거리 값들 및 산출된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S2040)에서, 제1 서브 작물 열에 대응되는 복수개의 이미지를 기초로 획득된 1000개의 과실 영역들 중 대표 거리 값이 제1 임계 거리 값(제1 서브 작물 열에 대응되는 복수개의 이미지를 기초로 획득된 대표 거리 값들을 기초로 산출됨) 보다 작은 과실 영역이 800개 이며, 제2 서브 작물 열에 대응되는 복수개의 이미지를 기초로 획득된 950개의 과실 영역들 중 대표 거리 값이 제2 임계 거리 값(제2 서브 작물 열에 대응되는 복수개의 이미지를 기초로 획득된 대표 거리 값들을 기초로 산출됨) 보다 작은 과실 영역이 750개인 경우, 제1 서브 작물 열 및 제2 서브 작물 열을 포함하는 제1 작물열에 대응되는 과실의 개수가 1550개로 결정될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따르면, 획득된 대표 거리 값들을 기초로 작물 열에 대한 임계 거리 값을 산출하는 단계(S2030) 및 복수개의 과실 영역들에 대한 대표 거리 값들 및 산출된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계(S2040)는 하나의 단계로 수행될 수 있다.
예를 들어, 일 실시예에 따르면, 획득된 대표 거리 값들 및 상대적 높이에 대한 거리-높이 분포 맵을 생성하고, 생성된 거리-높이 분포 맵에 클러스터링 기법을 적용하여 작물 열에 대응되는 과실의 개수를 결정할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 클러스터링 기법에는 K-means 클러스터링 기법 등 다양한 클러스터링 기법이 이용될 수 있다.
또한, 이 때, 생성된 거리-높이 분포 맵에 클러스터링 기법이 적용되는 경우, 제1 클러스터에 포함되는 복수개의 과실 영역들이 추출될 수 있으며, 제1 클러스터에 포함되는 복수개의 과실 영역들의 개수를 작물 열에 대응되는 과실의 개수로 결정할 수 있으나, 이에 한정되지 않는다.
도 11은 일 실시예에 따른 과실 계수 방법에 대하여 보다 구체적으로 설명하기 위한 도면이다.
이를 위해서 도 11의 (a)에는 상술한 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계의 예시적인 출력 데이터를 도시하고 있으며, 도 11의 (b)는 상술한 획득된 대표 거리 값들을 기초로 작물 열에 대한 임계 거리 값을 산출하는 단계를 보다 구체적으로 설명하기 위한 도면이 도시되어 있다.
도 11의 (a)를 참조하면, 도 11을 참조하면, 일 실시예에 따른 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계(S2020)에서 복수개의 과실 영역에 대한 대표 거리 값 데이터(2110)가 획득될 수 있다.
이 때, 일 실시예에 따른 복수개의 과실 영역에 대한 대표 거리 값 데이터(2110)는 복수개의 과실 영역 각각에 대응되는 인덱스 값을 포함수 있으며, 복수개의 과실 영역 각각에 대응되는 거리 값을 포함할 수 있다.
예를 들어, 일 실시예에 따른 복수개의 과실 영역에 대한 대표 거리 값 데이터(2110)는 제1 과실 영역에 대응되는 인덱스 값 '0001' 및 거리 값 'D_1'을 포함할 수 있으며, 제2 과실 영역에 대응되는 인덱스 값 '0002' 및 거리 값'D_2'를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 이 때, 복수개의 과실 영역 각각은 작물 열에 포함되는 하나의 과실을 의미할 수 있으며, 복수개의 이미지를 기초로 작물 열에 포함되는 하나의 과실이라고 판단된 특징(Feature)를 의미할 수 있으나, 설명의 편의를 위해서 과실 영역으로 설명하기로 한다.
또한, 이 때, 일 실시예에 따른 복수개의 과실 영역에 대한 대표 거리 값 데이터(2110)는 복수개의 과실 영역 각각에 대응되는 인덱스 값을 포함할 수 있다.
또한, 도 11의 (b)를 참조하면, 일 실시예에 따른 획득된 대표 거리 값들을 기초로 작물 열에 대한 임계 거리 값을 산출하는 단계(S2030)에서 획득된 대표 거리 값들을 기초로 히스토그램 데이터(2120)가 생성될 수 있다.
이 때, 상기 히스토그램 데이터(2120)는 대표 거리 값이 단위 거리 범위에 포함되는 과실 영역의 개수를 나타낸 데이터일 수 있다.
예를 들어, 제1 과실 영역에 대한 제1 대표 거리 값이 1cm 이며, 제2 과실 영역에 대한 제2 대표 거리 값이 2cm 이고, 제3 과실 영역에 대한 대표 거리 값이 3cm 이며, 제1 단위 거리 범위는 1~2cm 이고, 제2 단위 거리 범위는 3~4cm 인 경우, 상기 히스토그램 데이터(2120)는 제1 단위 거리 범위에 2개에 대응되는 카운팅 값을 할당하고 제2 단위 거리 범위에 1개에 대응되는 카운팅 값을 할당하는 데이터일 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 히스토그램 데이터(2120)의 단위 거리 범위의 크기(2121)는 다양하게 제공될 수 있다
예를 들어, 일 실시예에 따른 히스토그램 데이터(2120)의 단위 거리 범위의 크기는 1cm, 2cm, 3cm, 4cm, 5cm, 6cm, 7cm, 8cm, 9cm, 10cm, 11cm, 12cm, 13cm, 14cm, 15cm, 16cm, 17cm, 18cm, 19cm, 20cm 이상 등으로 다양하게 제공될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 히스토그램 데이터(2120)의 단위 거리 범위의 크기(2121)는 서로 동일하게 제공될 수 있다.
예를 들어, 일 실시예에 따른 히스토그램 데이터(2120)의 제1 단위 거리 범위의 크기는 제2 단위 거리 범위의 크기와 동일하게 제공될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 히스토그램 데이터(2120)의 단위 거리 범위의 크기(2121)는 서로 적어도 일부 상이하게 제공될 수 있다.
예를 들어, 일 실시예에 따른 히스토그램 데이터(2120)의 제1 단위 거리 범위의 크기는 제2 단위 거리 범위의 크기와 상이하게 제공될 수 있으나, 이에 한정되지 않는다.
또한, 도 11의 (b)를 참조하면, 일 실시예에 따른 획득된 대표 거리 값들을 기초로 작물 열에 대한 임계 거리 값을 산출하는 단계(S2030)에서 생성된 히스토그램 데이터(2120)가 처리되어 임계 거리 값이 산출될 수 있다.
이 때, 일 실시예에 따르면, 생성된 히스토그램 데이터(2120)를 처리하기 위하여, 적어도 하나의 혼합 모델(Mixture Model)이 적용될 수 있으며, 적어도 하나의 혼합 모델은 통계적으로 전체 집단 내의 하위 집단의 분포를 나타내기 위한 확률 모델을 의미할 수 있으나, 이에 한정되지 않으며, 통상적으로 혼합 모델로 이해되는 개념을 포함할 수 있다.
예를 들어, 일 실시예에 따르면, 생성된 히스토그램 데이터(2120)를 처리하기 위하여 가우시안 혼합 모델(Gaussian mixture model) 이 적용될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따르면, 생성된 히스토그램 데이터(2120)를 기초로 복수개의 하위 분포 데이터가 생성될 수 있다.
예를 들어, 일 실시예에 따라 생성된 히스토그램 데이터(2120)에 가우시안 혼합 모델이 적용된 경우, 제1 가우시안 분포 데이터(2122), 제2 가우시안 분포 데이터(2123) 및 제3 가우시안 분포 데이터(2124)가 생성될 수 있으나, 이에 한정되지 않는다.
이 때, 복수개의 하위 분포 데이터 각각은 온실 내의 다른 작물 열에 포함되는 과실의 분포를 의미할 수 있다.
예를 들어, 상기 제1 가우시안 분포 데이터(2122)는 제1 서브 작물 열에 포함되는 과실의 분포를 의미할 수 있으며, 상기 제2 가우시안 분포 데이터(2123)는 제2 서브 작물 열에 포함되는 과실의 분포를 의미할 수 있고, 상기 제3 가우시안 분포 데이터(2124)는 제3 서브 작물 열에 포함되는 과실의 분포를 의미할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따르면, 생성된 복수개의 하위 분포 데이터를 기초로 작물 열에 대한 임계 거리 값이 획득될 수 있다.
예를 들어, 일 실시예에 따라 생성된 제1 가우시안 분포 데이터(2122) 및 제2 가우시안 분포 데이터(2123)의 교차점에 대응되는 제1 거리 값(2125)이 임계 거리 값으로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따르면, 획득된 임계 거리 값은 생성된 히스토그램 데이터의 단위 거리 범위의 크기와 상이할 수 있다.
예를 들어, 일 실시예에 따르면, 생성된 히스토그램 데이터의 단위 거리 범위의 크기는 5cm 이나, 획득된 임계 거리 값은 1cm 단위로 생성될 수 있으나, 이에 한정되지 않는다.
도 12는 일 실시예에 따른 과실 계수 방법에 대하여 설명하기 위한 도면이다.
도 12를 참조하면, 일 실시예에 따른 과실 계수 방법(2200)은 제1 작물 열에 대응되는 복수개의 이미지를 획득하는 단계(S2210), 제1 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계(S2220), 획득된 대표 거리 값들을 기초로 제1 작물 열에 대한 제1 임계 거리 값을 산출하는 단계(S2230), 복수개의 과실 영역들에 대한 대표 거리 값들 및 제1 임계 거리 값을 비교하여 제1 작물 열에 대응되는 과실의 개수를 결정하는 단계(S2240), 제2 작물 열에 대응되는 복수개의 이미지를 획득하는 단계(S2250), 제2 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계(S2260), 획득된 대표 거리 값들을 기초로 제2 작물 열에 대한 제2 임계 거리 값을 산출하는 단계(S2270) 및 복수개의 과실 영역들에 대한 대표 거리 값들 및 제2 임계 거리 값을 비교하여 제2 작물 열에 대응되는 과실의 개수를 결정하는 단계(S2280)를 포함할 수 있으며, 이에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
이 때, 상기 제1 작물 열에 대응되는 복수개의 이미지는 모니터링 로봇이 제1 작물 열로부터 인접한 제1 레일을 제1 방향으로 움직이면서 획득한 이미지 일 수 있다.
또한, 이 때, 상기 제2 작물 열에 대응되는 복수개의 이미지는 모니터링 로봇이 제2 작물 열로부터 인접한 상기 제1 레일을 제2 방향으로 움직이면서 획득한 이미지 일 수 있다.
또한, 이 때, 상기 제2 작물 열에 대응되는 복수개의 이미지는 모니터링 로봇이 제2 작물 열로부터 인접한 제2 레일을 상기 제1 방향으로 움직이면서 획득한 이미지일 수 있다.
또한, 이 때, 상기 제1 방향 및 상기 제2 방향은 서로 상이할 수 있다.
또한, 이 때, 상기 제1 임계 거리 값과 상기 제2 임계 거리 값은 서로 상이할 수 있다.
또한, 이 때, 일 실시예에 따른 획득된 대표 거리 값들을 기초로 제1 작물 열에 대한 제1 임계 거리 값을 산출하는 단계(S2230)에서 생성되는 제1 히스토그램 데이터의 단위 거리 범위의 크기는 일 실시예에 따른 획득된 대표 거리 값들을 기초로 제2 작물 열에 대한 제2 임계 거리 값을 산출하는 단계(S2270)에서 생성되는 제2 히스토그램 데이터의 단위 거리 범위의 크기와 동일할 수 있다.
예를 들어, 상기 제1 히스토그램 데이터의 단위 거리 범위의 크기는 5cm 이며, 상기 제2 히스토그램 데이터의 단위 거리 범위의 크기는 5cm 일 수 있으나, 이에 한정되지 않는다.
또한, 이 때, 일 실시예에 따르면, 상기 제1 레일과 상기 제1 작물 열 사이의 거리가 상기 제2 레일과 상기 제1 작물 열 사이의 거리와 동일하더라도 상기 제1 임계 거리 값 및 상기 제2 임계 거리 값은 서로 상이할 수 있다.
또한, 이 때, 일 실시예에 따르면, 상기 제1 레일과 상기 제1 작물 열 사이의 거리가 상기 제2 레일과 상기 제1 작물 열 사이의 거리보다 먼 경우, 상기 제1 임계 거리 값이 상기 제2 임계 거리 값 보다 클 수 있다.
도 13은 일 실시예에 따른 과실 계수 방법에 대하여 설명하기 위한 도면이다.
도 13을 참조하면, 일 실시예에 따른 과실 계수 방법(2300)은 제1 서브 작물 열에 대응되는 복수개의 이미지를 획득하는 단계(S2310), 제1 서브 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계(S2320), 획득된 대표 거리 값들을 기초로 제1 서브 작물 열에 대한 제1 임계 거리 값을 산출하는 단계(S2330), 복수개의 과실 영역들에 대한 대표 거리 값들 및 제1 임계 거리 값을 비교하여 제1 서브 작물 열에 대응되는 과실의 개수를 결정하는 단계(S2340), 제2 서브 작물 열에 대응되는 복수개의 이미지를 획득하는 단계(S2350), 제2 서브 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계(S2360), 획득된 대표 거리 값들을 기초로 제2 서브 작물 열에 대한 제2 임계 거리 값을 산출하는 단계(S2370), 복수개의 과실 영역들에 대한 대표 거리 값들 및 제2 임계 거리 값을 비교하여 제2 서브 작물 열에 대응되는 과실의 개수를 결정하는 단계(S2380) 및 제1 서브 작물 열에 대응되는 과실의 개수 및 제2 서브 작물 열에 대응되는 과실의 개수를 기초로 제1 작물 열에 대응되는 과실의 개수를 결정하는 단계(S2390)를 포함할 수 있으며, 이에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 이 때, 상기 제1 서브 작물 열에 대응되는 복수개의 이미지는 모니터링 로봇이 제1 작물 열로부터 제1 방향으로 이격되어 인접한 제1 레일을 제2 방향으로 움직이면서 획득한 이미지 일 수 있다.
또한, 이 때, 상기 제2 서브 작물 열에 대응되는 복수개의 이미지는 모니터링 로봇이 제1 작물 열로부터 제3 방향으로 이격되어 인접한 제2 레일을 제4 방향으로 움직이면서 획득한 이미지일 수 있다.
또한, 이 때, 상기 제1 방향과 상기 제2 방향은 서로 수직하며, 상기 제3 방향과 상기 제4 방향은 서로 수직할 수 있다.
또한, 이 때, 상기 제1 방향과 상기 제3 방향은 서로 상이하면, 상기 제3 방향과 상기 제4 방향은 서로 상이할 수 있다.
또한, 이 때, 상기 제1 임계 거리 값과 상기 제2 임계 거리 값은 서로 상이할 수 있다.
또한, 이 때, 일 실시예에 따른 획득된 대표 거리 값들을 기초로 제1 서브 작물 열에 대한 제1 임계 거리 값을 산출하는 단계(S2330)에서 생성되는 제1 히스토그램 데이터의 단위 거리 범위의 크기는 일 실시예에 따른 획득된 대표 거리 값들을 기초로 제2 서브 작물 열에 대한 제2 임계 거리 값을 산출하는 단계(S2370)에서 생성되는 제2 히스토그램 데이터의 단위 거리 범위의 크기와 동일할 수 있다.
예를 들어, 상기 제1 히스토그램 데이터의 단위 거리 범위의 크기는 5cm 이며, 상기 제2 히스토그램 데이터의 단위 거리 범위의 크기는 5cm 일 수 있으나, 이에 한정되지 않는다.
또한, 이 때, 일 실시예에 따르면, 상기 제1 레일과 상기 제1 작물 열 사이의 거리가 상기 제2 레일과 상기 제1 작물 열 사이의 거리와 동일하더라도 상기 제1 임계 거리 값 및 상기 제2 임계 거리 값은 서로 상이할 수 있다.
또한, 이 때, 일 실시예에 따르면, 상기 제1 레일과 상기 제1 작물 열 사이의 거리가 상기 제2 레일과 상기 제1 작물 열 사이의 거리보다 먼 경우, 상기 제1 임계 거리 값이 상기 제2 임계 거리 값 보다 클 수 있다.
도 14는 일 실시예에 따른 과실 맵 생성 방법에 대하여 설명하기 위한 도면이다.
도 14를 참조하면, 일 실시예에 따른 과실 맵 생성 방법(3000)은 이미지 획득 장치가 부착된 차량을 이동시키는 단계(S3010), 제1 시점에 이미지 획득 장치로부터 획득된 제1 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3020), 제2 시점에 이미지 획득 장치로부터 획득된 제2 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3030), 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제1 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3040), 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제2 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3050), 적어도 제1 이미지 및 제2 이미지를 기초로 생성된 복수개의 포인트 데이터를 클러스터링 하여 적어도 하나의 서브 포인트 데이터 셋을 생성하는 단계(S3060), 적어도 하나의 서브 포인트 데이터 셋을 기초로 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 생성하는 단계(S3070) 및 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 기초로 온실에 대응되는 과실 맵을 생성하는 단계(S3080)를 포함할 수 있다.
일 실시예에 따른 이미지 획득 장치가 부착된 차량을 이동시키는 단계(S3010)에서, 이미지 획득 장치는 상술한 뎁스 카메라 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 이미지 획득 장치가 부착된 차량을 이동시키는 단계(S3010)에서, 이미지 획득 장치가 부착된 차량은 상술한 모니터링 로봇에 대응될 수 있으며, 상술한 모니터링 로봇에 대한 내용이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 이미지 획득 장치가 부착된 차량을 이동시키는 단계(S3010)에서, 상기 차량은 온실에 위치하는 작물 열 사이에서 이동될 수 있다.
예를 들어, 상기 차량은 온실에 위치하는 작물 열 사이에 위치하는 적어도 하나의 레일 상에서 이동될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 이미지 획득 장치가 부착된 차량을 이동시키는 단계(S3010)에서, 이미지 획득 장치는 차량에 포함되는 바퀴로부터 일정 거리 이상 이격된 높이를 가지도록 부착될 수 있다.
일 실시예에 따른 제1 시점에 이미지 획득 장치로부터 획득된 제1 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3020)에는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술들은 생략하기로 한다.
또한, 일 실시예에 따른 제1 시점에 이미지 획득 장치로부터 획득된 제1 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3020)에서, 상기 제1 이미지는 제1 시점에 상기 이미지 획득 장치로부터 캡쳐되어 상기 제1 시점 이후에 서버에서 획득된 이미지를 포함할 수 있다.
또한, 일 실시예에 따른 제1 시점에 이미지 획득 장치로부터 획득된 제1 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3020)에서, 적어도 하나의 과실 영역은 상기 제1 이미지에 나타나는 과실에 대응되는 영역일 수 있다.
또한, 일 실시예에 따른 제1 시점에 이미지 획득 장치로부터 획득된 제1 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3020)에서, 복수개의 과실 영역에 대한 특징 값이 획득될 수 있다.
예를 들어, 상기 제1 이미지에 나타나는 작물에 복수개의 과실이 존재하거나, 상기 제1 이미지에 나타나는 복수개의 작물에 복수개의 과실이 존재하는 경우 복수개의 과실 영역에 대한 복수개의 특징 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 제1 시점에 이미지 획득 장치로부터 획득된 제1 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3020)에서, 제1 과실 영역에 대한 제1 특징 값 및 제2 과실 영역에 대한 제2 특징 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 제1 시점에 이미지 획득 장치로부터 획득된 제1 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3020)에서, 특징 값은 다양한 값을 포함할 수 있다.
예를 들어, 상기 특징 값은 적어도 하나의 과실 영역에 대한 픽셀 좌표 값 및 적어도 하나의 과실 영역에 대한 거리 값을 포함할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 적어도 하나의 과실 영역에 대한 픽셀 좌표 값 또는 적어도 하나의 과실 영역에 대한 거리 값을 획득하는 것은 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 제1 시점에 이미지 획득 장치로부터 획득된 제1 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3020)에 대하여는 도 15 및 도 16을 통해 보다 구체적으로 설명하기로 한다.
일 실시예에 따른 제2 시점에 이미지 획득 장치로부터 획득된 제2 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3030)에는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술들은 생략하기로 한다.
또한, 일 실시예에 따른 제2 시점에 이미지 획득 장치로부터 획득된 제2 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3030)에서, 상기 제2 이미지는 제2 시점에 상기 이미지 획득 장치로부터 캡쳐되어 상기 제2 시점 이후에 서버에서 획득된 이미지를 포함할 수 있다.
또한, 일 실시예에 따른 제2 시점에 이미지 획득 장치로부터 획득된 제2 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3030)에서, 적어도 하나의 과실 영역은 상기 제2 이미지에 나타나는 과실에 대응되는 영역일 수 있다.
또한, 일 실시예에 따른 제2 시점에 이미지 획득 장치로부터 획득된 제2 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3030)에서, 복수개의 과실 영역에 대한 특징 값이 획득될 수 있다.
예를 들어, 상기 제2 이미지에 나타나는 작물에 복수개의 과실이 존재하거나, 상기 제2 이미지에 나타나는 복수개의 작물에 복수개의 과실이 존재하는 경우 복수개의 과실 영역에 대한 복수개의 특징 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 제2 시점에 이미지 획득 장치로부터 획득된 제2 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3030)에서, 제3 과실 영역에 대한 제3 특징 값 및 제4 과실 영역에 대한 제4 특징 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 제2 시점에 이미지 획득 장치로부터 획득된 제2 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3030)에서, 특징 값은 다양한 값을 포함할 수 있다.
예를 들어, 상기 특징 값은 적어도 하나의 과실 영역에 대한 픽셀 좌표 값 및 적어도 하나의 과실 영역에 대한 거리 값을 포함할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 적어도 하나의 과실 영역에 대한 픽셀 좌표 값 또는 적어도 하나의 과실 영역에 대한 거리 값을 획득하는 것은 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 제2 시점에 이미지 획득 장치로부터 획득된 제2 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3030)에 대하여는 도 15 및 도 16을 통해 보다 구체적으로 설명하기로 한다.
일 실시예에 따른 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제1 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3040)는 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 픽셀 좌표 값, 거리 값 및 제1 시점 에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터의 3차원 위치 좌표 값을 생성하는 단계를 포함할 수 있다.
예를 들어, 일 실시예에 따른 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제1 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3040)는 제1 과실 영역에 대한 제1 픽셀 좌표 값, 제1 거리 값 및 제1 시점에서의 차량 위치를 기초로 제1 포인트 데이터의 제1 위치 좌표 값을 생성하며, 제2 과실 영역에 대한 제2 픽셀 좌표 값, 제2 거리 값 및 제2 시점에서의 차량 위치를 기초로 제2 포인트 데이터의 제2 위치 좌표 값을 생성하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제1 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3040)에서, 제1 시점에서의 차량 위치는 차량에 포함되는 측위 장치로부터 획득될 수 있으나, 이에 한정되지 않으며, 차량의 이동 속도 및 이동 시간 등을 고려하여 획득될 수 있다.
또한, 일 실시예에 따른 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제1 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3040)에서, 적어도 하나의 포인트 데이터를 생성하기 위해 제1 시점에서의 차량의 위치를 기초로 산출되는 이미지 획득 장치의 위치가 이용될 수 있다.
예를 들어, 일 실시예에 따른 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제1 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3040)에서 생성되는 제1 포인트 데이터는 제1 과실 영역에 대한 제1 픽셀 좌표 값, 제1 거리 값, 제1 시점에서의 차량의 위치 및 차량에 부착된 이미지 획득 장치의 높이 값을 기초로 생성될 수 있으며, 제2 포인트 데이터는 제2 과실 영역에 대한 제2 픽셀 좌표 값, 제2 거리 값, 제1 시점에서의 차량의 위치 및 차량에 부착된 이미지 획득 장치의 높이 값을 기초로 생성될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제1 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3040)에 대하여는 도 15 및 도 16을 통해 보다 구체적으로 설명하기로 한다.
일 실시예에 따른 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제2 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3050)는 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 픽셀 좌표 값, 거리 값 및 제2 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터의 3차원 위치 좌표 값을 생성하는 단계를 포함할 수 있다.
예를 들어, 일 실시예에 따른 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제2 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3050)는 제3 과실 영역에 대한 제3 픽셀 좌표 값, 제3 거리 값 및 제2 시점에서의 차량 위치를 기초로 제3 포인트 데이터의 제3 위치 좌표 값을 생성하며, 제4 과실 영역에 대한 제4 픽셀 좌표 값, 제4 거리 값 및 제2 시점에서의 차량 위치를 기초로 제4 포인트 데이터의 제4 위치 좌표 값을 생성하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제2 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3050)에서, 제2 시점에서의 차량 위치는 차량에 포함되는 측위 장치로부터 획득될 수 있으나, 이에 한정되지 않으며, 차량의 이동 속도 및 이동 시간 등을 고려하여 획득될 수 있다.
또한, 일 실시예에 따른 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제2 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3050)에서, 적어도 하나의 포인트 데이터를 생성하기 위해 제2 시점에서의 차량의 위치를 기초로 산출되는 이미지 획득 장치의 위치가 이용될 수 있다.
예를 들어, 일 실시예에 따른 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제2 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3050)에서 생성되는 제3 포인트 데이터는 제3 과실 영역에 대한 제3 픽셀 좌표 값, 제3 거리 값, 제2 시점에서의 차량의 위치 및 차량에 부착된 이미지 획득 장치의 높이 값을 기초로 생성될 수 있으며, 제4 포인트 데이터는 제4 과실 영역에 대한 제4 픽셀 좌표 값, 제4 거리 값, 제2 시점에서의 차량의 위치 및 차량에 부착된 이미지 획득 장치의 높이 값을 기초로 생성될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제2 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3050)에 대하여는 도 15 및 도 16을 통해 보다 구체적으로 설명하기로 한다.
일 실시예에 따른 적어도 제1 이미지 및 제2 이미지를 기초로 생성된 복수개의 포인트 데이터를 클러스터링 하여 적어도 하나의 서브 포인트 데이터 셋을 생성하는 단계(S3060)는 복수개의 포인트 데이터에 포함되는 위치 좌표 값을 기초로 클러스터링 하여 적어도 하나의 서브 포인트 데이터 셋을 생성하는 단계를 포함할 수 있다.
또한, 일 실시예에 따른 적어도 제1 이미지 및 제2 이미지를 기초로 생성된 복수개의 포인트 데이터를 클러스터링 하여 적어도 하나의 서브 포인트 데이터 셋을 생성하는 단계(S3060)에서, 다양한 클러스터링 알고리즘이 이용될 수 있다.
예를 들어, 일 실시예에 따른 적어도 제1 이미지 및 제2 이미지를 기초로 생성된 복수개의 포인트 데이터를 클러스터링 하여 적어도 하나의 서브 포인트 데이터 셋을 생성하는 단계(S3060)에서 K-means 클러스터링 기법이 이용될 수 있으나, 이에 한정되지 않으며, 3차원 포인트 데이터들을 클러스터링 하기 위한 다양한 알고리즘들이 이용될 수 있다.
또한, 일 실시예에 따른 적어도 제1 이미지 및 제2 이미지를 기초로 생성된 복수개의 포인트 데이터를 클러스터링 하여 적어도 하나의 서브 포인트 데이터 셋을 생성하는 단계(S3060)에서, 적어도 하나의 서브 포인트 데이터 셋은 복수개의 포인트 데이터 중 하나의 과실에 대한 적어도 하나 이상의 포인트 데이터 그룹을 의미할 수 있다.
또한, 일 실시예에 따른 적어도 제1 이미지 및 제2 이미지를 기초로 생성된 복수개의 포인트 데이터를 클러스터링 하여 적어도 하나의 서브 포인트 데이터 셋을 생성하는 단계(S3060)에서, 적어도 하나의 서브 포인트 데이터 셋은 적어도 하나의 포인트 데이터를 포함할 수 있다.
예를 들어, 제1 서브 포인트 데이터 셋은 제1 이미지 내에 포함되는 제1 과실 영역에 대한 제1 포인트 데이터 및 제2 이미지 내에 포함되는 제3 과실 영역에 대한 제3 포인트 데이터를 포함할 수 있으며, 제2 서브 포인트 데이터 셋은 제1 이미지 내에 포함되는 제2 과실 영역에 대한 제2 포인트 데이터 및 제2 이미지 내에 포함되는 제4 과실 영역에 대한 제4 포인트 데이터를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 적어도 제1 이미지 및 제2 이미지를 기초로 생성된 복수개의 포인트 데이터를 클러스터링 하여 적어도 하나의 서브 포인트 데이터 셋을 생성하는 단계(S3060)에 대하여는 도 17을 통해 보다 구체적으로 설명하기로 한다.
일 실시예에 따른 적어도 하나의 서브 포인트 데이터 셋을 기초로 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 생성하는 단계(S3070)는 복수개의 서브 포인트 데이터 셋을 기초로 복수개의 과실에 대한 복수개의 대표 값을 생성하는 단계를 포함할 수 있다.
예를 들어, 일 실시예에 따른 적어도 하나의 서브 포인트 데이터 셋을 기초로 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 생성하는 단계(S3070)는 제1 서브 포인트 데이터 셋을 기초로 제1 과실에 대한 제1 대표 위치 좌표 값을 생성하며, 제2 서브 포인트 데이터 셋을 기초로 제2 과실에 대한 제2 대표 위치 좌표 값을 생성하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 적어도 하나의 서브 포인트 데이터 셋을 기초로 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 생성하는 단계(S3070)에서, 적어도 하나의 대표 값은 대표 위치 좌표 값을 포함할 수 있다.
또한, 일 실시예에 따른 적어도 하나의 서브 포인트 데이터 셋을 기초로 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 생성하는 단계(S3070)에서, 적어도 하나의 대표 값을 생성하기 위해 다양한 알고리즘이 이용될 수 있다.
또한, 일 실시예에 따른 적어도 하나의 서브 포인트 데이터 셋을 기초로 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 생성하는 단계(S3070)에 대하여는 도 18을 통해 보다 구체적으로 설명하기로 한다.
일 실시예에 따른 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 기초로 온실에 대응되는 과실 맵을 생성하는 단계(S3080)는 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 가상의 공간에 배치시킴으로써 과실 맵을 생성하는 단계를 포함할 수 있다.
예를 들어, 일 실시예에 따른 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 기초로 온실에 대응되는 과실 맵을 생성하는 단계(S3080)는 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 3차원 가상의 공간에 배치시킴으로써 과실 맵을 생성하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 기초로 온실에 대응되는 과실 맵을 생성하는 단계(S3080)는 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 2차원 가상의 공간에 배치시킴으로써 과실 맵을 생성하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 기초로 온실에 대응되는 과실 맵을 생성하는 단계(S3080)는 복수개의 작물 열에 대한 복수개의 대표 값을 획득하는 단계 및 복수개의 대표 값을 기초로 온실에 대응되는 과실 맵을 생성하는 단계를 포함할 수 있다.
예를 들어, 일 실시예에 따른 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 기초로 온실에 대응되는 과실 맵을 생성하는 단계(S3080)는 제1 작물 열에 대하여 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 생성하는 단계, 제2 작물 열에 대하여 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 생성하는 단계 및 적어도 제1 작물 열 및 제2 작물 열에 대하여 생성된 복수개의 대표 값을 기초로 온실에 대응되는 과실 맵을 생성하는 단계를 포함할 수 있다.
도 15 및 도 16은 일 실시예에 따른 과실 영역에 대한 특징 값을 획득하는 방법 및 포인트 데이터를 생성하는 방법에 대하여 보다 구체적으로 설명하기 위한 도면이다.
이를 위해서 도 15의 (a)에는 제1 시점에 이미지 획득 장치로부터 획득된 제1 이미지 및 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값이 도시되어 있으며, 도 15의 (b)에는 적어도 하나의 포인트 데이터가 예시적으로 도시되어 있고, 도 15의 (c)에는 적어도 하나의 포인트 데이터를 이해하기 위한 3차원 좌표계 내에 배치된 포인트 데이터가 예시적으로 도시되어 있다.
또한, 도 16의 (a)에는 제2 시점에 이미지 획득 장치로부터 획득된 제2 이미지 및 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값이 도시되어 있으며, 도 16의 (b)에는 적어도 하나의 포인트 데이터가 예시적으로 도시되어 있고, 도 16의 (c)에는 적어도 하나의 포인트 데이터를 이해하기 위한 3차원 좌표계 내에 배치된 포인트 데이터가 예시적으로 도시되어 있다.
우선 도 15의 (a) 및 도 16의 (a)를 참조하면, 일 실시예에 따른 온실은 제1 작물 열(3110)을 포함할 수 있으며, 상기 제1 작물 열(3110)은 제1 서브 작물 열(3111) 및 제2 서브 작물 열(3112)을 포함할 수 있다.
또한, 일 실시예에 따른 이미지 획득 장치가 부착된 차량(3120)은 온실에 배치되는 제1 레일(3130)상에서 제1 방향으로 이동될 수 있다.
또한, 일 실시예에 따른 이미지 획득 장치가 부착된 차량(3120)은 온실에 배치되는 제1 레일(3130)상에서 제1 방향으로 이동하며, 상기 제1 작물 열(3110)에 대한 복수개의 이미지를 획득할 수 있다.
또한, 일 실시예에 따른 이미지 획득 장치가 부착된 차량(3120)은 온실에 배치되는 제1 레일(3130)상에서 제1 방향으로 이동하며, 상기 제1 서브 작물 열(3111)에 대한 복수개의 이미지를 획득할 수 있다.
또한, 도 15의 (a)를 참조하면, 제1 시점에 이미지 획득 장치로부터 제1 이미지(3121)가 획득될 수 있으며, 상기 제1 이미지(3121)는 복수개의 작물에 대한 픽셀들이 포함될 수 있다.
또한, 일 실시예에 따르면, 상기 제1 이미지(3121)를 기초로 적어도 하나의 과실 영역에 대한 특징 값이 획득될 수 있다.
예를 들어, 일 실시예에 따르면, 상기 제1 이미지(3121)를 기초로 적어도 하나의 과실 영역에 대한 픽셀 좌표 값 및 거리 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따르면, 상기 제1 이미지(3121)를 기초로 제1 과실 영역(3141)에 대한 제1 픽셀 좌표 값 및 제1 거리 값이 획득될 수 있으며, 제2 과실 영역(3142)에 대한 제2 픽셀 좌표 값 및 제2 거리 값이 획득될 수 있다.
또한, 도 16의 (a)를 참조하면, 제2 시점에 이미지 획득 장치로부터 제2 이미지(3122)가 획득될 수 있으며, 상기 제2 이미지(3122)는 복수개의 작물에 대한 픽셀들이 포함될 수 있다.
또한, 일 실시예에 따르면, 상기 제2 이미지(3122)를 기초로 적어도 하나의 과실 영역에 대한 특징 값이 획득될 수 있다
예를 들어, 일 실시예에 따르면, 상기 제2 이미지(3122)를 기초로 적어도 하나의 과실 영역에 대한 픽셀 좌표 값 및 거리 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따르면, 상기 제2 이미지(3122)를 기초로 제3 과실 영역(3143)에 대한 제3 픽셀 좌표 값 및 제3 거리 값이 획득될 수 있으며, 제4 과실 영역(3144)에 대한 제4 픽셀 좌표 값 및 제4 거리 값이 획득될 수 있다.
다시, 도 15 의 (a) 및 도 16의 (a)를 같이 참조하면, 일 실시예에 따라 제1 이미지(3121)에 포함되는 제1 과실 영역(3141) 및 제2 이미지(3122)에 포함되는 제3 과실 영역(3143)은 동일한 과실을 표현하는 이미지의 일 영역일 수 있다.
또한, 일 실시예에 따라 제1 이미지(3121)에 포함되는 제2 과실 영역(3142) 및 제2 이미지(3122)에 포함되는 제4 과실 영역(3144)은 동일한 과실을 표현하는 이미지의 일 영역일 수 있다.
또한, 일 실시예에 따라 제1 이미지(3121)를 기초로 획득된 제1 과실 영역(3141)에 대한 제1 픽셀 좌표 값은 제2 이미지(3122)를 기초로 획득된 제3 과실 영역(3143)에 대한 제3 픽셀 좌표 값과 상이할 수 있다.
이는, 상기 제1 과실 영역(3141) 및 상기 제3 과실 영역(3143)은 동일한 과실을 표현하는 이미지의 일 영역일 수 있지만, 이미지 획득 장치가 부착된 차량(3120)이 제1 방향으로 이동됨에 따라 제1 이미지(3121) 또는 제2 이미지(3122) 내에서의 픽셀 좌표 값이 상이해지는 것 일 수 있다.
또한, 일 실시예에 따라 제1 이미지(3121)를 기초로 획득된 제2 과실 영역(3142)에 대한 제2 픽셀 좌표 값은 제2 이미지(3122)를 기초로 획득된 제4 과실 영역(3144)에 대한 제4 픽셀 좌표 값과 상이할 수 있다.
이는, 상기 제2 과실 영역(3142) 및 상기 제4 과실 영역(3144)은 동일한 과실을 표현하는 이미지의 일 영역일 수 있지만, 이미지 획득 장치가 부착된 차량(3120)이 제1 방향으로 이동됨에 따라 제1 이미지(3121) 또는 제2 이미지(3122) 내에서의 픽셀 좌표 값이 상이해지는 것일 수 있다.
또한, 도 15의 (b)를 참조하면, 일 실시예에 따라 제1 이미지(3121)를 기초로 적어도 하나의 포인트 데이터(3150)가 생성될 수 있다.
이 때, 일 실시예에 따르면, 상기 제1 이미지(3121)를 기초로 생성된 적어도 하나의 포인트 데이터(3150)는 위치 좌표 값을 포함할 수 있다.
예를 들어, 상기 제1 이미지(3121)를 기초로 생성된 제1 포인트 데이터는 제1 위치 좌표 값을 포함할 수 있으며, 제2 포인트 데이터는 제2 위치 좌표 값을 포함할 수 있다.
또한, 일 실시예에 따르면, 상기 제1 이미지(3121)를 기초로 생성된 적어도 하나의 포인트 데이터(3150)는 상기 제1 이미지(3121)를 기초로 획득된 적어도 하나의 과실 영역에 대한 픽셀 좌표 값, 거리 값 및 제1 시점에서의 차량의 위치를 기초로 생성될 수 있다.
예를 들어, 도 15의 (c)를 같이 참조하면, 일 실시예에 따라 상기 제1 이미지(3121)를 기초로 생성된 적어도 하나의 포인트 데이터(3150)에 포함되는 제1 포인트 데이터(3171)는 제1 과실 영역(3141)에 대한 제1 픽셀 좌표 값, 제1 거리 값 및 제1 시점에서의 차량의 위치(3181)를 기초로 생성될 수 있으며, 제2 포인트 데이터(3172)는 제2 과실 영역(3142)에 대한 제2 픽셀 좌표 값, 제2 거리 값 및 제1 시점에서의 차량의 위치(3181)를 기초로 생성될 수 있다.
또한, 일 실시예에 따르면, 상기 제1 이미지(3121)를 기초로 생성된 적어도 하나의 포인트 데이터(3150)는 상기 제1 이미지(3121)를 기초로 획득된 적어도 하나의 과실 영역에 대한 픽셀 좌표 값, 거리 값 및 제1 시점에서의 차량의 위치를 기초로 산출 된 이미지 획득 장치의 위치를 기초로 생성될 수 있다.
예를 들어, 도 15의 (c)를 같이 참조하면, 일 실시예에 따라 상기 제1 이미지(3121)를 기초로 생성된 적어도 하나의 포인트 데이터(3150)에 포함되는 제1 포인트 데이터(3171)는 제1 과실 영역(3141)에 대한 제1 픽셀 좌표 값, 제1 거리 값 및 제1 시점에서의 차량의 위치(3181)를 기초로 산출된 이미지 획득 장치의 위치(3191)를 기초로 생성될 수 있으며, 제2 포인트 데이터(3172)는 제2 과실 영역(3142)에 대한 제2 픽셀 좌표 값, 제2 거리 값, 제1 시점에서의 차량의 위치(3181)를 기초로 산출된 이미지 획득 장치의 위치(3191)를 기초로 생성될 수 있다.
또한, 일 실시예에 따르면, 상기 제1 이미지(3121)를 기초로 생성된 적어도 하나의 포인트 데이터(3150)는 상기 제1 이미지(3121)에 포함되는 과실 영역의 개수에 대응되는 포인트 데이터를 포함할 수 있다.
예를 들어, 도 15의 (a)에 도시된 바와 같이 상기 제1 이미지(3121)에 포함되는 과실 영역의 개수가 20개 인 경우, 상기 제1 이미지(3121)를 기초로 생성된 적어도 하나의 포인트 데이터(3150)에 포함되는 포인트 데이터의 개수는 20개일 수 있으나, 이에 한정되지 않는다.
또한, 도 16의 (b)를 참조하면, 일 실시예에 따라 제2 이미지(3122)를 기초로 적어도 하나의 포인트 데이터(3160)가 생성될 수 있다.
이 때, 일 실시예에 따르면, 상기 제2 이미지(3122)를 기초로 생성된 적어도 하나의 포인트 데이터(3160)는 위치 좌표 값을 포함할 수 있다.
예를 들어, 상기 제2 이미지(3122)를 기초로 생성된 제3 포인트 데이터는 제3 위치 좌표 값을 포함할 수 있으며, 제4 포인트 데이터는 제4 위치 좌표 값을 포함할 수 있다.
또한, 일 실시예에 따르면, 상기 제2 이미지(3122)를 기초로 생성된 적어도 하나의 포인트 데이터(3160)는 상기 제2 이미지(3122)를 기초로 획득된 적어도 하나의 과실 영역에 대한 픽셀 좌표 값, 거리 값 및 제2 시점에서의 차량의 위치를 기초로 생성될 수 있다.
예를 들어, 도 16의 (c)를 같이 참조하면, 일 실시예에 따라 상기 제2 이미지(3122)를 기초로 생성된 적어도 하나의 포인트 데이터(3160)에 포함되는 제3 포인트 데이터(3173)는 제3 과실 영역(3143)에 대한 제3 픽셀 좌표 값, 제3 거리 값 및 제2 시점에서의 차량의 위치(3182)를 기초로 생성될 수 있으며, 제4 포인트 데이터(3174)는 제4 과실 영역(3144)에 대한 제4 픽셀 좌표 값, 제4 거리 값 및 제2 시점에서의 차량의 위치(3182)를 기초로 생성될 수 있다.
또한, 일 실시예에 따르면, 상기 제2 이미지(3122)를 기초로 생성된 적어도 하나의 포인트 데이터(3160)는 상기 제2 이미지(3122)를 기초로 획득된 적어도 하나의 과실 영역에 대한 픽셀 좌표 값, 거리 값 및 제2 시점에서의 차량의 위치를 기초로 산출 된 이미지 획득 장치의 위치를 기초로 생성될 수 있다.
예를 들어, 도 16의 (c)를 같이 참조하면, 일 실시예에 따라 상기 제2 이미지(3122)를 기초로 생성된 적어도 하나의 포인트 데이터(3160)에 포함되는 제3 포인트 데이터(3173)는 제3 과실 영역(3143)에 대한 제3 픽셀 좌표 값, 제3 거리 값 및 제2 시점에서의 차량의 위치(3182)를 기초로 산출된 이미지 획득 장치의 위치(3192)를 기초로 생성될 수 있으며, 제4 포인트 데이터(3174)는 제4 과실 영역(3144)에 대한 제4 픽셀 좌표 값, 제4 거리 값 및 제2 시점에서의 차량의 위치(3182)를 기초로 산출된 이미지 획득 장치의 위치(3192)를 기초로 생성될 수 있다.
또한, 일 실시예에 따르면, 상기 제2 이미지(3122)를 기초로 생성된 적어도 하나의 포인트 데이터(3160)는 상기 제2 이미지(3122)에 포함되는 과실 영역의 개수에 대응되는 포인트 데이터를 포함할 수 있다.
예를 들어, 도 16의 (a)에 도시된 바와 같이 상기 제2 이미지(3122)에 포함되는 과실 영역의 개수가 24개 인 경우, 상기 제2 이미지(3122)를 기초로 생성된 적어도 하나의 포인트 데이터(3160)에 포함되는 포인트 데이터의 개수는 24개일 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따라 제1 이미지(3121)를 기초로 획득된 제1 포인트 데이터(3171)의 제1 위치 좌표 값은 제2 이미지(3122)를 기초로 획득된 제3 포인트 데이터(3173)의 제3 위치 좌표 값과 서로 유사할 수 있다.
이는, 비록 제1 과실 영역(3141)에 대한 제1 픽셀 좌표 값과 제3 과실 영역(3143)에 대한 제3 픽셀 좌표 값이 서로 상이하더라도, 상기 제1 과실 영역(3141) 및 상기 제3 과실 영역(3143)이 서로 동일한 과실에 대한 영역이므로, 각각의 이미지가 획득된 시점에서의 차량의 위치를 고려하여 생성된 포인트 데이터의 위치 좌표 값은 서로 유사할 수 있음을 의미할 수 있다.
또한, 일 실시예에 따라 제1 이미지(3121)를 기초로 획득된 제2 포인트 데이터(3172)의 제2 위치 좌표 값은 제2 이미지(3122)를 기초로 획득된 제4 포인트 데이터(3174)의 제4 위치 좌표 값과 서로 유사할 수 있다.
이는, 비록 제2 과실 영역(3142)에 대한 제2 픽셀 좌표 값과 제4 과실 영역(3144)에 대한 제4 픽셀 좌표 값이 서로 상이하더라도, 상기 제2 과실 영역(3142) 및 상기 제4 과실 영역(3144)이 서로 동일한 과실에 대한 영역이므로, 각각의 이미지가 획득된 시점에서의 차량의 위치를 고려하여 생성된 포인트 데이터의 위치 좌표 값은 서로 유사할 수 있음을 의미할 수 있다.
또한, 일 실시예에 따르면, 상기 제1 이미지(3121) 및 상기 제2 이미지(3122)를 기초로 생성된 포인트 데이터는 상기 제1 이미지(3121)를 기초로 생성된 적어도 하나의 포인트 데이터(3150) 및 상기 제2 이미지(3122)를 기초로 생성된 적어도 하나의 포인트 데이터(3160)를 포함할 수 있다.
예를 들어, 상기 제1 이미지(3121) 및 상기 제2 이미지(3122)를 기초로 생성된 포인트 데이터는 상기 제1 이미지(3121)를 기초로 생성된 20개의 포인트 데이터 및 상기 제2 이미지(3122)를 기초로 생성된 24개의 포인트 데이터를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따르면, 복수개의 이미지 데이터를 기초로 생성된 포인트 데이터는 복수개의 이미지 데이터 각각을 기초로 생성된 적어도 하나의 포인트 데이터를 포함할 수 있다.
이하에서는 복수개의 이미지 데이터를 기초로 생성된 포인트 데이터에 대한 처리를 보다 구체적으로 설명하기로 한다.
도 17은 일 실시예에 따른 복수개의 포인트 데이터를 클러스터링 하는 방법에 대하여 보다 구체적으로 설명하기 위한 도면이다.
도 17을 설명하기에 앞서, 설명의 편의를 위해, 도 17은 도 15 및 도 16의 내용들과 함께 설명될 수 있음을 밝혀둔다.
도 17을 참조하면, 일 실시예에 따라 복수개의 포인트 데이터(3210)가 획득될 수 있다.
이 때, 상기 복수개의 포인트 데이터(3210)는 적어도 제1 이미지 및 제2 이미지를 기초로 생성된 복수개의 포인트 데이터를 의미할 수 있으나, 이에 한정되지 않으며, 복수개의 이미지를 기초로 생성된 복수개의 포인트 데이터를 의미할 수 있다.
또한, 일 실시예에 따른 복수개의 포인트 데이터(3210)는 적어도 제1 이미지(3121)를 기초로 생성된 적어도 하나의 포인트 데이터 및 제2 이미지(3122)를 기초로 생성된 적어도 하나의 포인트 데이터를 포함할 수 있다.
예를 들어, 일 실시예에 따른 복수개의 포인트 데이터(3210)는 제1 이미지(3121)를 기초로 생성된 제1 포인트 데이터(3171), 제2 포인트 데이터(3172) 제2 이미지(3122)를 기초로 생성된 제3 포인트 데이터(3173) 및 제4 포인트 데이터(3174)를 포함할 수 있다.
또한, 일 실시예에 따르면 복수개의 포인트 데이터(3210)를 기초로 적어도 하나의 서브 포인트 데이터 셋이 생성될 수 있다.
예를 들어, 일 실시예에 따르면, 적어도 제1 이미지(3121)를 기초로 생성된 제1 포인트 데이터(3171) 및 제2 이미지(3122)를 기초로 생성된 제3 포인트 데이터(3173)를 기초로 제1 서브 포인트 데이터 셋(3221)이 생성될 수 있으며, 적어도 제1 이미지(3121)를 기초로 생성된 제2 포인트 데이터(3172) 및 제2 이미지(3122)를 기초로 생성된 제4 포인트 데이터(3174)를 기초로 제2 서브 포인트 데이터 셋(3222)이 생성될 수 있다.
또한, 일 실시예에 따르면, 복수개의 포인트 데이터(3210)를 기초로 적어도 하나의 서브 포인트 데이터 셋을 생성하기 위하여 적어도 하나의 클러스터링 알고리즘이 이용될 수 있다.
예를 들어, 일 실시예에 따르면, 복수개의 포인트 데이터(3210)를 기초로 적어도 하나의 서브 포인트 데이터 셋을 생성하기 위하여 K-means 클러스터링 알고리즘이 이용될 수 있으나, 이에 한정되지 않으며, 3차원 포인트 데이터들을 클러스터링 하기 위한 다양한 알고리즘들이 이용될 수 있다.
또한, 일 실시예에 따르면, 적어도 하나의 서브 포인트 데이터 셋은 하나의 과실에 대한 복수개의 포인트 데이터를 포함할 수 있다.
예를 들어, 일 실시예에 따르면, 제1 서브 포인트 데이터 셋(3221)은 상기 제1 이미지(3121)내에서 표현된 제1 과실에 대한 제1 포인트 데이터(3171) 및 상기 제2 이미지(3122)내에서 표현된 상기 제1 과실에 대한 제3 포인트 데이터(3173)를 포함할 수 있다.
또한, 예를 들어, 일 실시예에 따르면, 제2 서브 포인트 데이터 셋(3222)은 상기 제1 이미지(3121)내에서 표현된 제2 과실에 대한 제2 포인트 데이터(3172) 및 상기 제2 이미지(3122)내에서 표현된 상기 제2 과실에 대한 제4 포인트 데이터(3174)를 포함할 수 있다.
이하에서는 적어도 하나의 서브 포인트 데이터 셋을 처리하여, 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 생성하는 방법에 대하여 보다 구체적으로 설명하기로 한다.
도 18은 일 실시예에 따른 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 생성하는 방법을 보다 구체적으로 설명하기 위한 도면이다.
도 18을 참조하면, 일 실시예에 따라 적어도 하나의 과실에 대한 적어도 하나의 대표 값(3230)이 생성될 수 있다.
일 실시예에 따르면, 적어도 하나의 과실에 대한 적어도 하나의 대표 값(3230)은 복수개의 과실에 대한 대표 값을 포함할 수 있다.
예를 들어, 일 실시예에 따르면, 적어도 하나의 과실에 대한 적어도 하나의 대표 값(3230)은 제1 과실에 대한 제1 대표 위치 좌표 값(3231) 및 제2 과실에 대한 제2 대표 위치 좌표 값(3232)을 포함할 수 있다.
일 실시예에 따르면, 적어도 하나의 과실에 대한 적어도 하나의 대표 값(3230)은 대응되는 서브 포인트 데이터 셋을 기초로 생성될 수 있다.
예를 들어, 일 실시예에 따르면, 제1 과실에 대한 제1 대표 위치 좌표 값(3231)은 제1 서브 포인트 데이터 셋(3221)에 포함되는 복수개의 포인트 데이터를 기초로 생성될 수 있으며, 제2 과실에 대한 제2 대표 위치 좌표 값(3232)은 제2 서브 포인트 데이터 셋(3222)에 포함되는 복수개의 포인트 데이터를 기초로 생성될 수 있다.
예를 들어, 일 실시예에 따르면, 제1 과실에 대한 제1 대표 위치 좌표 값(3231)은 제1 서브 포인트 데이터 셋(3221)에 포함되는 복수개의 포인트 데이터의 위치 좌표 값들의 평균 값으로 생성될 수 있으며, 제2 과실에 대한 제2 대표 위치 좌표 값(3232)은 제2 서브 포인트 데이터 셋(3222)에 포함되는 복수개의 포인트 데이터의 위치 좌표 값들의 평균 값으로 생성될 수 있다.
또한, 일 실시예에 따르면, 적어도 하나의 과실에 대한 적어도 하나의 대표 값(3230)은 대응되는 서브 포인트 데이터 셋에 포함되는 복수개의 포인트 데이터의 위치 좌표 값 중 하나의 위치 좌표 값으로 선택될 수 있다.
예를 들어, 일 실시예에 따르면, 제1 과실에 대한 제1 대표 위치 좌표 값(3231)은 제1 서브 포인트 데이터 셋(3221)에 포함되는 복수개의 포인트 데이터 중 제1 포인트 데이터(3171)의 제1 위치 좌표 값으로 선택될 수 있으며, 제2 과실에 대한 제2 대표 위치 좌표 값(3232)은 제2 서브 포인트 데이터 셋(3222)에 포함되는 복수개의 포인트 데이터 중 제2 포인트 데이터(3172)의 제2 위치 좌표 값으로 선택될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따르면, 적어도 하나의 과실에 대한 적어도 하나의 대표 값(3230)은 대응되는 서브 포인트 데이터 셋에 포함되는 복수개의 포인트 데이터의 위치 좌표 값에 가중치를 적용하여 생성될 수 있다.
예를 들어, 일 실시예에 따르면, 제1 과실에 대한 제1 대표 위치 좌표 값(3231)은 제1 서브 포인트 데이터 셋(3221)에 포함되는 복수개의 포인트 데이터의 위치 좌표 값들에 가우시안 형상의 가중치를 부여하여 생성될 수 있으며, 제2 과실에 대한 제2 대표 위치 좌표 값(3232)은 제2 서브 포인트 데이터 셋(3222)에 포함되는 복수개의 포인트 데이터의 위치 좌표 값들에 가우시안 형상의 가중치를 부여하여 생성될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따르면, 제1 과실에 대한 제1 대표 위치 좌표 값(3231)은 제1 서브 포인트 데이터 셋(3221)에 포함되는 복수개의 포인트 데이터의 위치 좌표 값들에 라플라시안 형상의 가중치를 부여하여 생성될 수 있으며, 제2 과실에 대한 제2 대표 위치 좌표 값(3232)은 제2 서브 포인트 데이터 셋(3222)에 포함되는 복수개의 포인트 데이터의 위치 좌표 값들에 라플라시안 형상의 가중치를 부여하여 생성될 수 있으나, 이에 한정되지 않는다.
또한, 상술한 예시들 외에 적어도 하나의 대표 값을 생성하기 위해 다양한 알고리즘들이 이용될 수 있다.
도 19는 일 실시예에 따라 생성된 과실 맵을 예시적으로 도시한 도면이다.
도 19를 참조하면, 일 실시예에 따라 생성된 과실 맵(3300)은 적어도 하나의 과실에 대한 적어도 하나의 대표 값이 가상의 공간에서 표현될 수 있다.
또한, 일 실시예에 따라 생성된 과실 맵(3300)은 도 19에 도시된 바와 같이 2차원 가상의 공간에 적어도 하나의 과실에 대한 적어도 하나의 대표 위치 좌표 값이 표현된 맵일 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따라 생성된 과실 맵(3300)은 도 19에 도시된 것과는 상이하게 3차원 가상의 공간에 적어도 하나의 과실에 대한 적어도 하나의 대표 위치 좌표 값이 표현된 맵일 수 있으나, 이에 한정되지 않는다.
이하에서는 생성된 과실 맵 또는 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 기초로 작물 열에 대응되는 과실을 계수하는 방법에 대하여 보다 구체적으로 기술하기로 한다.
도 20은 일 실시예에 따른 과실 계수 방법에 대하여 설명하기 위한 도면이다.
도 20을 참조하면, 일 실시예에 따른 과실 계수 방법(3400)은 이미지 획득 장치가 부착된 차량을 이동시키는 단계(S3410), 제1 시점에 이미지 획득 장치로부터 획득된 제1 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3420), 제2 시점에 이미지 획득 장치로부터 획득된 제2 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3430), 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제1 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3440), 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제2 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3450), 적어도 제1 이미지 및 제2 이미지를 기초로 생성된 복수개의 포인트 데이터를 클러스터링 하여 적어도 하나의 서브 포인트 데이터 셋을 생성하는 단계(S3460), 적어도 하나의 서브 포인트 데이터 셋을 기초로 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 생성하는 단계(S3470) 및 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 기초로 작물 열에 대응되는 과실의 개수를 결정하는 단계(S3480)를 포함할 수 있다.
이 때, 이미지 획득 장치가 부착된 차량을 이동시키는 단계(S3410), 제1 시점에 이미지 획득 장치로부터 획득된 제1 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3420), 제2 시점에 이미지 획득 장치로부터 획득된 제2 이미지를 기초로 적어도 하나의 과실 영역에 대한 특징 값을 획득하는 단계(S3430), 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제1 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3440), 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 특징 값 및 제2 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3450), 적어도 제1 이미지 및 제2 이미지를 기초로 생성된 복수개의 포인트 데이터를 클러스터링 하여 적어도 하나의 서브 포인트 데이터 셋을 생성하는 단계(S3460), 적어도 하나의 서브 포인트 데이터 셋을 기초로 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 생성하는 단계(S3470)에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 기초로 작물 열에 대응되는 과실의 개수를 결정하는 단계(S3480)는 적어도 하나의 과실에 대한 적어도 하나의 대표 값과 미리 설정된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계를 포함할 수 있다.
이 때, 적어도 하나의 과실에 대한 적어도 하나의 대표 값과 미리 설정된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계에 대하여는 도 5 및 도 6을 통해 기술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 기초로 작물 열에 대응되는 과실의 개수를 결정하는 단계(S3480)는 적어도 하나의 과실에 대한 적어도 하나의 대표 값과 작물 열에 대한 식별 정보를 기초로 획득된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계를 포함할 수 있다.
이 때, 적어도 하나의 과실에 대한 적어도 하나의 대표 값과 작물 열에 대한 식별 정보를 기초로 획득된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계에 대하여는 도 7 내지 도 9를 통해 기술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 기초로 작물 열에 대응되는 과실의 개수를 결정하는 단계(S3480)는 적어도 하나의 과실에 대한 적어도 하나의 대표 값과 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 기초로 산출된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계를 포함할 수 있다.
이 때, 적어도 하나의 과실에 대한 적어도 하나의 대표 값과 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 기초로 산출된 임계 거리 값을 비교하여 작물 열에 대응되는 과실의 개수를 결정하는 단계에 대하여는 도 10 내지 도 13을 통해 기술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 적어도 하나의 과실에 대한 적어도 하나의 대표 값을 기초로 작물 열에 대응되는 과실의 개수를 결정하는 단계(S3480)는 적어도 하나의 과실에 대한 적어도 하나의 대표 값과 적어도 하나의 과실에 대한 적어도 하나의 대표 값에 클러스터링 기법을 적용하여 작물 열에 대응되는 과실의 개수를 결정하는 단계를 포함할 수 있다.
이 때, 상기 클러스터링 기법에는 K-means 클러스터링 기법 등 다양한 클러스터링 기법이 이용될 수 있으나, 이에 한정되지 않으며, 2차원 또는 3차원 포인트 데이터들을 클러스터링 하기 위한 다양한 알고리즘들이 이용될 수 있다.
또한, 이 때, 제1 클러스터에 포함되는 복수개의 대표 값들이 추출될 수 있으며, 제1 클러스터에 포함되는 대표 값들의 개수를 작물 열에 대응되는 과실의 개수로 결정할 수 있으나, 이에 한정되지 않는다.
도 21은 일 실시예에 따라 온실에 포함되는 작물 열에 대한 모니터링을 하는 환경에 대해 설명하기 위한 도면이다.
도 21을 참조하면, 일 실시예에 따른 온실은 제1 작물 열(3510)을 포함할 수 있으며, 상기 제1 작물 열(3510)은 제1 서브 작물 열(3511) 및 제2 서브 작물 열(3512)을 포함할 수 있다.
또한, 일 실시예에 따른 이미지 획득 장치가 부착된 차량(3540)은 온실에 배치되는 제1 레일(3520)상에서 제1 방향으로 이동하며, 제1 작물 열(3510)에 대한 복수개의 이미지를 획득할 수 있다.
또한, 일 실시예에 따른 이미지 획득 장치가 부착된 차량(3540)은 온실에 배치되는 제1 레일(3520)상에서 제1 방향으로 이동하며, 제1 서브 작물 열(3511)에 대한 복수개의 이미지를 획득할 수 있다.
또한, 일 실시예에 따른 이미지 획득 장치가 부착된 차량(3540)은 온실에 배치되는 제2 레일(3530)상에서 제2 방향으로 이동하며, 상기 제1 작물 열(3510)에 대한 복수개의 이미지를 획득할 수 있다.
또한, 일 실시예에 따른 이미지 획득 장치가 부착된 차량(3540)은 온실에 배치되는 제2 레일(3530)상에서 제2 방향으로 이동하며, 제2 서브 작물 열(3512)에 대한 복수개의 이미지를 획득할 수 있다.
또한, 일 실시예에 따르면, 이미지 획득 장치가 부착된 차량(3540)이 온실에 배치되는 제1 레일(3520)상에서 제1 방향으로 이동되는 동안 획득된 복수개의 이미지를 기초로 제1 복수개의 포인트 데이터(3551)가 생성될 수 있다.
또한, 일 실시예에 따르면, 이미지 획득 장치가 부착된 차량(3540)이 온실에 배치되는 제2 레일(3530)상에서 제2 방향으로 이동되는 동안 획득된 복수개의 이미지를 기초로 제2 복수개의 포인트 데이터(3552)가 생성될 수 있다.
이 때, 상기 제1 복수개의 포인트 데이터(3551)는 상기 제1 작물 열(3510)에 포함되는 상기 제1 서브 작물 열(3511)에 대하여는 상대적으로 많은 데이터를 반영할 수 있으나, 상기 제2 서브 작물 열(3512)에 대하여는 상대적으로 적은 데이터를 반영할 수 밖에 없으며, 상기 제2 복수개의 포인트 데이터(3552)는 상기 제1 작물 열(3510)에 포함되는 상기 제2 서브 작물 열(3512)에 대하여는 상대적으로 많은 데이터를 반영할 수 있으나, 상기 제1 서브 작물 열(3511)에 대하여는 상대적으로 적은 데이터를 반영할 수 밖에 없다.
이는, 상기 제1 서브 작물 열(3511)에 의해 상기 제2 서브 작물 열(3512)의 적어도 일부가 가리거나, 상기 제2 서브 작물 열(3512)에 의해 상기 제1 서브 작물 열(3511)의 적어도 일부가 가리기 때문일 수 있다.
또한, 일 실시예에 따라 이미지 획득 장치가 부착된 차량(3540)이 온실에 배치되는 제1 레일(3520)상에서 제1 방향으로 이동되는 동안 획득된 복수개의 이미지와 이미지 획득 장치가 부착된 차량(3540)이 온실에 배치되는 제2 레일(3530) 상에서 제2 방향으로 이동되는 동안 획득된 복수개의 이미지는 상기 제1 작물 열(3510)에 대한 서로 다른 측면을 반영할 수 있다.
따라서, 상기 제1 작물 열(3510)에 대하여 다각적인 정보를 반영하기 위하여 강화된 복수개의 포인트 데이터를 생성하는 방법이 필요할 수 있다.
또한, 도 14 또는 도 20을 통해 상술한 서브 포인트 데이터 셋을 생성하는 단계를 강화된 복수개의 포인트 데이터를 이용하여 수행하는 경우 보다 정확한 과실에 대한 대표 값이 생성될 수 있다.
도 22는 일 실시예에 따른 강화된 복수개의 포인트 데이터를 생성하는 방법에 대하여 설명하기 위한 도면이다.
도 22를 참조하면, 일 실시예에 따른 강화된 복수개의 포인트 데이터를 생성하는 방법(3600)은 이미지 획득 장치가 부착된 차량을 제1 레일 상에서 제1 방향으로 이동시키는 단계(S3610), 이미지 획득 장치가 부착된 차량이 제1 레일 상에서 제1 방향으로 이동되는 동안 획득된 복수개의 이미지를 기초로 제1 복수개의 포인트 데이터를 생성하는 단계(S3620), 이미지 획득 장치가 부착된 차량을 제2 레일 상에서 제2 방향으로 이동시키는 단계(S3630), 이미지 획득 장치가 부착된 차량이 제2 레일 상에서 제2 방향으로 이동되는 동안 획득된 복수개의 이미지를 기초로 제2 복수개의 포인트 데이터를 생성하는 단계(S3640) 및 제1 복수개의 포인트 데이터 및 제2 복수개의 포인트 데이터를 정합하여, 강화된 복수개의 포인트 데이터를 생성하는 단계(S3650)를 포함할 수 있다.
이 때, 이미지 획득 장치가 부착된 차량을 제1 레일 상에서 제1 방향으로 이동시키는 단계(S3610), 이미지 획득 장치가 부착된 차량이 제1 레일 상에서 제1 방향으로 이동되는 동안 획득된 복수개의 이미지를 기초로 제1 복수개의 포인트 데이터를 생성하는 단계(S3620), 이미지 획득 장치가 부착된 차량을 제2 레일 상에서 제2 방향으로 이동시키는 단계(S3630), 이미지 획득 장치가 부착된 차량이 제2 레일 상에서 제2 방향으로 이동되는 동안 획득된 복수개의 이미지를 기초로 제2 복수개의 포인트 데이터를 생성하는 단계(S3640)에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 이 때, 상기 제1 레일 및 상기 제2 레일은 제1 작물 열에 인접하게 위치하는 레일일 수 있다.
또한, 이 때, 상기 제1 레일 및 상기 제2 레일은 상기 제1 작물 열을 기준으로 대향하도록 위치할 수 있다.
또한, 이 때, 상기 제1 방향 및 상기 제2 방향은 서로 상이할 수 있다.
또한, 이 때, 상기 제1 복수개의 포인트 데이터 및 상기 제2 복수개의 포인트 데이터는 동일한 과실에 대한 포인트 데이터를 포함할 수 있다.
예를 들어, 상기 제1 복수개의 포인트 데이터는 제1 과실에 대한 제1 포인트 데이터를 포함하며, 상기 제2 복수개의 포인트 데이터는 상기 제1 과실에 대한 제2 포인트 데이터를 포함할 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 제1 복수개의 포인트 데이터 및 제2 복수개의 포인트 데이터를 정합하여, 강화된 복수개의 포인트 데이터를 생성하는 단계(S3650)에서, 상기 제1 복수개의 포인트 데이터 및 상기 제2 복수개의 포인트 데이터를 정합하기 위하여, 상기 제1 레일 및 상기 제2 레일 사이의 거리가 고려될 수 있다.
또한, 일 실시예에 따른 제1 복수개의 포인트 데이터 및 제2 복수개의 포인트 데이터를 정합하여, 강화된 복수개의 포인트 데이터를 생성하는 단계(S3650)에서, 상기 제1 복수개의 포인트 데이터 및 상기 제2 복수개의 포인트 데이터를 정합하기 위하여, 상기 제2 복수개의 포인트 데이터의 좌표계가 상기 제1 복수개의 포인트 데이터의 좌표계 상에 표현될 수 있다.
또한, 일 실시예에 따른 제1 복수개의 포인트 데이터 및 제2 복수개의 포인트 데이터를 정합하여, 강화된 복수개의 포인트 데이터를 생성하는 단계(S3650)에서, 상기 제1 복수개의 포인트 데이터 및 상기 제2 복수개의 포인트 데이터를 정합하기 위하여, 상기 제1 복수개의 포인트 데이터의 좌표계가 상기 제2 복수개의 포인트 데이터의 좌표계 상에 표현될 수 있다.
또한, 일 실시예에 따른 제1 복수개의 포인트 데이터 및 제2 복수개의 포인트 데이터를 정합하여, 강화된 복수개의 포인트 데이터를 생성하는 단계(S3650)에서, 상기 제1 복수개의 포인트 데이터 및 상기 제2 복수개의 포인트 데이터를 정합하기 위하여, 상기 제1 복수개의 포인트 데이터의 좌표계 및 상기 제2 복수개의 포인트 데이터의 좌표계가 글로벌 좌표계로 변환될 수 있다.
이 때, 상기 글로벌 좌표계는 온실을 기준으로 한 좌표계를 의미할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따라 생성된 강화된 복수개의 포인트 데이터는 도 14 또는 도 20을 통해 상술한 바와 같이 서브 포인트 데이터 셋을 생성하는데 이용될 수 있으며, 보다 구체적으로 도 14를 통해 상술한 바와 같이 온실에 대응되는 과실 맵을 생성하는데 이용될 수 있고, 도 20을 통해 상술한 바와 같이 작물 열에 대응되는 과실 개수를 결정하는데 이용될 수 있으나, 이에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술들은 생략하기로 한다.
도 23은 일 실시예에 따른 성숙도 판단 모듈에 대하여 설명하기 위한 도면이다.
도 23을 참조하면, 일 실시예에 따른 성숙도(Ripeness) 판단 모듈(3700)은 과실에 대한 적어도 하나의 이미지 데이터(3710)를 기초로 과실 영역에 대한 성숙도 분류 값(3720)을 출력하기 위한 모듈일 수 있다.
일 실시예에 따른 과실에 대한 적어도 하나의 이미지 데이터(3710)는 작물 관리 시스템에 포함되는 모니터링 로봇으로부터 획득된 이미지 일 수 있다.
예를 들어, 일 실시예에 따른 과실에 대한 적어도 하나의 이미지 데이터(3710)에 포함되는 제1 이미지 데이터는 제1 시점에 모니터링 로봇으로부터 획득된 이미지의 적어도 일부 영역일 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 과실에 대한 적어도 하나의 이미지 데이터(3710)는 적어도 하나 이상의 작물의 적어도 일부를 포함하는 이미지 데이터로부터 크롭된 이미지 데이터일 수 있다.
예를 들어, 일 실시예에 따른 과실에 대한 적어도 하나의 이미지 데이터(3710)에 포함되는 제1 이미지 데이터는 제1 시점에 모니터링 로봇으로부터 획득되며, 적어도 하나 이상의 작물의 적어도 일부를 이미지 데이터로부터 과실 영역에 대응되는 영역이 크롭되어 생성된 이미지일 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 성숙도 판단 모듈(3700)은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 일 실시예에 따른 과실 감지 모듈(1100)은 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.
또한, 일 실시예에 따른 성숙도 판단 모듈(3700)은 적어도 하나의 인공 신경망(artificial neural network, ANN) 으로 구현될 수 있다. 예를 들어, 일 실시예에 따른 과실 감지 모듈(1100)은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network), 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등 다양한 인공 신경망 층 중 적어도 하나의 인공 신경망 층을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 성숙도 판단 모듈(3700)에 포함되는 적어도 하나의 인공 신경망 층은 동일하거나 상이한 활성 함수(Activation function)를 이용할 수 있다.
이 때, 상기 활성 함수(Activation function)는 시그모이드 함수(Sigmoid Function), 하이퍼볼릭탄젠트 함수(Tanh Fucntion), 렐루 함수(Relu Function, Rectified Linear unit Fucntion), 리키 렐루 함수(leaky Relu Function), 엘루 함수(ELU Function, Exponential Linear unit function), 소프트맥스 함수(Softmax function) 등을 포함할 수 있으나, 이에 한정되지 않으며, 결과값을 출력하거나 다른 인공 신경망 층으로 전달하기 위한 다양한 활성 함수(커스텀 활성 함수들 포함)들이 포함될 수 있다.
또한, 일 실시예에 따른 성숙도 판단 모듈(3700)은 과실에 대한 적어도 하나의 이미지 데이터를 포함하는 학습데이터 세트를 이용하여 학습될 수 있다.
예를 들어, 일 실시예에 따른 성숙도 판단 모듈(3700)은 과실에 대한 적어도 하나의 이미지 데이터와 이에 대응되는 어노테이션(Annotation) 을 포함하는 학습 데이터 세트를 이용하여 학습될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 성숙도 판단 모듈(3700)은 적어도 하나의 손실 함수가 이용되어 학습될 수 있다.
이 때, 상기 적어도 하나의 손실 함수는 MSE(Mean Squared Error), RMSE(Root Mean Squared Error), Binary Crossentropy, Categorical Crossentropy, Sparse Categorical Crossentropy 등을 포함할 수 있으나, 이에 한정되지 않으며, 예측된 결과값과 실제 결과 값의 차이를 계산하기 위한 다양한 함수(커스텀 손실 함수들 포함)들이 포함될 수 있다.
또한, 일 실시예에 따른 성숙도 판단 모듈(3700)의 학습을 위하여 적어도 하나의 옵티마이저(Optimizer)가 이용될 수 있다.
이 때, 상기 적어도 하나의 옵티마이저는 Gradient descent, Batch Gradient Descent, Stochastic Gradient Descent, Mini-batch Gradient Descent, Momentum, AdaGrad, RMSProp, AdaDelta, Adam, NAG, NAdam, RAdam, AdamW 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 성숙도 분류 값(3720)은 확률 값으로 제공될 수 있다.
예를 들어, 일 실시예에 따른 성숙도 분류 값(3720)은 클래스가 익음에 포함될 확률 값, 클래스가 익는중에 포함될 확률 값 및 클래스가 안익음에 포함될 확률 값으로 제공될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 성숙도 분류 값(3720)은 분류 결과로 제공될 수 있다.
예를 들어, 일 실시예에 따른 성숙도 분류 값(3720)은 입력된 과실에 대한 이미지의 클래스가 '익음' 인지 '익는중'인지 '안익음'인지 에 대한 분류 결과로 제공될 수 있으나, 이에 한정되지 않는다.
또한, 서술한 '익음','익는중'및'안익음'에 대한 클래스는 설명의 편의를 위한 클래스의 네이밍일 뿐 클래스를 구분하는 것은 네이밍에 한정되지 않는다.
도 24는 일 실시예에 따른 성숙도 판단 모듈에 대하여 설명하기 위한 도면이다.
도 24를 참조하면, 일 실시예에 따른 성숙도 판단 모듈(3800)은 작물에 대한 이미지 데이터(3810)를 기초로 적어도 하나의 과실 영역에 대한 적어도 하나의 대표 값(3820)을 출력하기 위한 모듈일 수 있다.
이 때, 상기 성숙도 판단 모듈(3800)에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
일 실시예에 따른 작물에 대한 이미지 데이터(3810)는 작물 관리 시스템에 포함되는 모니터링 로봇으로부터 획득된 이미지 일 수 있다.
예를 들어, 일 실시예에 따른 작물에 대한 이미지 데이터(3810)에 포함되는 제1 이미지 데이터는 제1 시점에 모니터링 로봇으로부터 획득된 이미지이며, 제2 이미지 데이터는 제2 시점에 모니터링 로봇으로부터 획득된 이미지이고, 제3 이미지 데이터는 제3 시점에 모니터링 로봇으로부터 획득된 이미지일 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 적어도 하나의 과실 영역에 대한 적어도 하나의 대표 값(3820)은 복수개의 과실 영역 각각에 대한 성숙도 값을 포함할 수 있다.
예를 들어, 일 실시예에 따른 적어도 하나의 과실 영역에 대한 적어도 하나의 대표 값(3820)은 제1 과실 영역에 대한 제1 성숙도 값 및 제2 과실 영역에 대한 제2 성숙도 값을 포함할 수 있으나, 이에 한정되지 않는다.
도 23 및 도 24를 통해 기술한 성숙도 판단 모듈을 이용하는 경우 적어도 하나의 과실 영역에 대한 성숙도 값이 추가로 획득될 수 있다.
따라서, 이하에서는 적어도 하나의 과실 영역에 대한 성숙도 값을 이용하여 과실 맵을 생성하는 방법에 대하여 보다 구체적으로 설명하기로 한다.
도 25는 일 실시예에 따른 과실 맵 생성 방법에 대하여 설명하기 위한 도면이다.
도 25를 참조하면, 일 실시예에 따른 과실 맵 생성 방법(3900)은 이미지 획득 장치가 부착된 차량을 이동시키는 단계(S3910), 제1 시점에 이미지 획득 장치로부터 획득된 제1 이미지를 기초로 적어도 하나의 과실 영역에 대하여 성숙도 값, 픽셀 좌표 값 및 거리 값을 획득하는 단계(S3920), 제2 시점에 이미지 획득 장치로부터 획득된 제2 이미지를 기초로 적어도 하나의 과실 영역에 대하여 성숙도 값, 픽셀 좌표 값 및 거리 값을 획득하는 단계(S3930), 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 픽셀 좌표 값, 거리 값 및 제1 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3940), 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 픽셀 좌표 값, 거리 값 및 제2 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3950), 적어도 제1 이미지 및 제2 이미지를 기초로 생성된 복수개의 포인트 데이터를 클러스터링 하여 적어도 하나의 서브 포인트 데이터 셋을 생성하는 단계(S3960), 적어도 하나의 서브 포인트 데이터 셋을 기초로 적어도 하나의 과실에 대한 대표 성숙도 값 및 대표 위치 좌표 값을 생성하는 단계(S3970) 및 적어도 하나의 과실에 대한 대표 성숙도 값 및 대표 위치 좌표 값을 기초로 온실에 대응되는 과실 맵을 생성하는 단계(S3080)를 포함할 수 있으며, 이에 대하여는 도 14 내지 19를 통해 기술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
일 실시예에 따른 제1 시점에 이미지 획득 장치로부터 획득된 제1 이미지를 기초로 적어도 하나의 과실 영역에 대하여 성숙도 값, 픽셀 좌표 값 및 거리 값을 획득하는 단계(S3920)에는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술들은 생략하기로 한다.
일 실시예에 따른 제1 시점에 이미지 획득 장치로부터 획득된 제1 이미지를 기초로 적어도 하나의 과실 영역에 대하여 성숙도 값, 픽셀 좌표 값 및 거리 값을 획득하는 단계(S3920)에서, 복수개의 과실 영역에 대한 성숙도 값이 획득될 수 있다.
예를 들어, 제1 이미지에 나타나는 작물에 복수개의 과실이 존재하거나, 상기 제1 이미지에 나타나는 복수개의 작물에 복수개의 과실이 존재하는 경우 복수개의 과실 영역에 대한 복수개의 성숙도 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 제1 시점에 이미지 획득 장치로부터 획득된 제1 이미지를 기초로 적어도 하나의 과실 영역에 대하여 성숙도 값, 픽셀 좌표 값 및 거리 값을 획득하는 단계(S3920)에서, 제1 과실 영역에 대한 제1 성숙도 값 및 제2 과실 영역에 대한 제2 성숙도 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 적어도 하나의 과실 영역에 대한 성숙도 값을 획득하는 것은 도 23 및 도 24를 통해 기술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 제2 시점에 이미지 획득 장치로부터 획득된 제2 이미지를 기초로 적어도 하나의 과실 영역에 대하여 성숙도 값, 픽셀 좌표 값 및 거리 값을 획득하는 단계(S3930)에는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술들은 생략하기로 한다.
또한, 일 실시예에 따른 제2 시점에 이미지 획득 장치로부터 획득된 제2 이미지를 기초로 적어도 하나의 과실 영역에 대하여 성숙도 값, 픽셀 좌표 값 및 거리 값을 획득하는 단계(S3930)에서, 복수개의 과실 영역에 대한 성숙도 값이 획득될 수 있다.
예를 들어, 제2 이미지에 나타나는 작물에 복수개의 과실이 존재하거나, 상기 제2 이미지에 나타나는 복수개의 작물에 복수개의 과실이 존재하는 경우 복수개의 과실 영역에 대한 복수개의 성숙도 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 일 실시예에 따른 제2 시점에 이미지 획득 장치로부터 획득된 제2 이미지를 기초로 적어도 하나의 과실 영역에 대하여 성숙도 값, 픽셀 좌표 값 및 거리 값을 획득하는 단계(S3930)에서, 제3 과실 영역에 대한 제3 성숙도 값 및 제4 과실 영역에 대한 제4 성숙도 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 적어도 하나의 과실 영역에 대한 성숙도 값을 획득하는 것은 도 23 및 도 24를 통해 기술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 제1 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 픽셀 좌표 값, 거리 값 및 제1 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3940), 제2 이미지를 기초로 획득된 적어도 하나의 과실 영역에 대한 픽셀 좌표 값, 거리 값 및 제2 시점에서의 차량 위치를 기초로 적어도 하나의 포인트 데이터를 생성하는 단계(S3950)에서 획득된 적어도 하나의 포인트 데이터는 상술한 위치 좌표 값 외에도 대응되는 성숙도 값을 더 포함할 수 있다.
또한, 일 실시예에 따른 적어도 하나의 서브 포인트 데이터 셋을 기초로 적어도 하나의 과실에 대한 대표 성숙도 값 및 대표 위치 좌표 값을 생성하는 단계(S3970)는 복수개의 서브 포인트 데이터 셋을 기초로 복수개의 과실에 대한 복수개의 대표 성숙도 값을 생성하는 단계를 포함할 수 있다.
예를 들어, 일 실시예에 따른 적어도 하나의 서브 포인트 데이터 셋을 기초로 적어도 하나의 과실에 대한 대표 성숙도 값 및 대표 위치 좌표 값을 생성하는 단계(S3970)는 제1 서브 포인트 데이터 셋을 기초로 제1 과실에 대한 제1 대표 성숙도 값을 생성하며, 제2 서브 포인트 데이터 셋을 기초로 제2 과실에 대한 제2 대표 성숙도 값을 생성하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 적어도 하나의 서브 포인트 데이터 셋을 기초로 적어도 하나의 과실에 대한 대표 성숙도 값 및 대표 위치 좌표 값을 생성하는 단계(S3970)에서, 적어도 하나의 과실에 대한 대표 성숙도 값을 생성하기 위해 다양한 알고리즘이 이용될 수 있다.
이에 대하여는 도 26을 통해 보다 구체적으로 설명하기로 한다.
도 26은 일 실시예에 따른 대표 성숙도 값을 생성하기 위한 방법을 설명하기 위한 도면이다.
도 26을 참조하면, 일 실시예에 따라 적어도 하나의 과실에 대한 대표 성숙도 값이 생성될 수 있다.
이 때, 상기 적어도 하나의 과실에 대한 대표 성숙도 값은 과실이 성숙되는 단계에 대한 정보로서 제공될 수 있다.
예를 들어, 상기 적어도 하나의 과실에 대한 대표 성숙도 값에 포함되는 제1 단계는 과실이 안익은 단계를 의미할 수 있으며, 제2 단계는 안익은 과실이 익는중으로 변하는 단계를 의미할 수 있고, 제3 단계는 익는중의 상태에서 익은 상태로 변하는 단계를 의미할 수 있으며, 제4 단계는 익은 상태의 단계를 의미할 수 있으나, 이에 한정되지 않는다.
또한, 상기 적어도 하나의 과실에 대한 대표 성숙도 값을 생성하는 것은 하나의 과실에 대한 복수개의 이미지를 기초로 판단된 각각의 성숙도 값이 서로 상이할 수 있으며, 각각의 성숙도 값의 분포를 고려하여 대표 성숙도 값을 생성하는 것이 하나의 과실에 대한 보다 정확한 성숙도 값을 도출할 수 있기 때문일 수 있다.
또한, 도 26에 도시된 제1 내지 제3 클래스는 상술한 서브 포인트 데이터 셋에 포함되는 성숙도 값을 의미할 수 있으며, 보다 구체적으로 제1 클래스는 '안익음'에 대응되는 클래스 값 이며, 제2 클래스는 '익는중'에 대응되는 클래스 값 이고, 제3 클래스는 '익음'에 대응되는 클래스 값일 수 있다.
따라서, 일 실시예에 따라 서브 포인트 데이터 셋을 기초로 적어도 하나의 과실에 대한 대표 성숙도 값을 획득하기 위하여, 상기 서브 포인트 데이터 셋이 포함되는 각각의 포인트 데이터의 성숙도 값의 분포가 비교될 수 있다.
예를 들어, 상기 서브 포인트 데이터 셋에 포함되는 복수개의 포인트 데이터들 중 성숙도 값이 제1 클래스인 포인트 데이터의 개수와 성숙도 값이 제2 클래스인 포인트 데이터의 개수 및 성숙도 값이 제3 클래스인 포인트 데이터의 개수가 서로 비교될 수 있으나, 이에 한정되지 않는다.
또한, 이 때, 일 실시예에 따라 대표 성숙도 값을 획득하기 위한 알고리즘에 따르면, 제1 조건을 만족하는 경우 대표 성숙도 값은 제1 단계로 획득될 수 있으며, 상기 제1 조건은 성숙도 값이 제1 클래스인 포인트 데이터의 개수가 성숙도 값이 제2 클래스인 포인트 데이터의 개수 보다 많으며, 성숙도 값이 제1 클래스인 포인트 데이터의 개수가 성숙도 값이 제3 클래스인 포인트 데이터의 개수 보다 많은 조건일 수 있다.
이는, '안익음'에 대응되는 클래스 값을 가지는 포인트 데이터의 개수가 가장 많은 경우에 해당할 수 있으며, 이 경우는 과실이 아직 익지 않은 단계로 판단될 수 있음을 의미할 수 있다.
또한, 이 때, 일 실시예에 따라 대표 성숙도 값을 획득하기 위한 알고리즘에 따르면, 상기 제1 조건이 만족되지 않으며, 제2 조건이 만족되는 경우 대표 성숙도 값은 제4 단계로 획득될 수 있으며, 상기 제2 조건은 성숙도 값이 제3 클래스인 포인트 데이터의 개수가 성숙도 값이 제1 클래스인 포인트 데이터의 개수 보다 많으며, 성숙도 값이 제3 클래스인 포인트 데이터의 개수가 성숙도 값이 제2 클래스인 포인트 데이터의 개수보다 많은 조건일 수 있다.
이는, '익음'에 대응되는 클래스 값을 가지는 포인트 데이터의 개수가 가장 많은 경우에 해당할 수 있으며, 이 경우는 과실이 익은 단계로 판단될 수 있음을 의미할 수 있다.
또한, 이 때, 일 실시예에 따라 대표 성숙도 값을 획득하기 위한 알고리즘에 따르면, 상기 제1 조건 및 상기 제2 조건이 만족되지 않으며, 제3 조건이 만족되는 경우 대표 성숙도 값은 제3 단계로 획득될 수 있으며, 상기 제3 조건이 만족되지 않는 경우 대표 성숙도 값은 제2 단계로 획득될 수 있고, 상기 제3 조건은 성숙도 값이 제3 클래스인 포인트 데이터의 개수가 성숙도 값이 제1 클래스인 포인트 데이터의 개수 보다 많은 조건일 수 있다.
이는, '익는중'에 대응되는 클래스 값을 가지는 포인트 데이터의 개수가 가장 많은 경우에 해당할 수 있으며, 이 경우, '익음'에 대응되는 클래스 값을 가지는 포인트 데이터의 개수와 '안익음'에 대응되는 클래스 값을 가지는 포인트 데이터의 개수의 비교에 따라 안익음에서 익는중이 되어가는 제2 단계가 될지 익는중에서 익음이 되어가는 제3 단계가 될지가 판단이 될 수 있음을 의미할 수 있다.
또한, 도 2에서 기술한 내용과 도 14 내지 도 19 및 도 25를 통해 기술한 내용들을 종합해 보았을 때, 상술한 서브 포인트 데이터 셋에 포함되는 복수개의 포인트 데이터는 과실 영역에 대하여 크롭된 이미지 데이터를 포함할 수 있다.
따라서, 하나의 과실에 대해서 복수개의 크롭된 이미지 데이터가 획득될 수 있으며, 이에 따라 하나의 과실에 대하여 복수개의 크롭된 이미지 데이터를 입력 값으로 하여 성숙도 값을 출력하는 성숙도 판단 모듈이 이용될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 하나 이상의 프로세서에서 수행되며, 온실에 위치하는 작물 열에 대응되는 과실을 계수하는 방법으로서,
    제1 작물 열에 대응되는 복수개의 이미지를 획득하는 단계 -이 때, 상기 복수개의 이미지 중 적어도 하나의 이미지에는 제2 작물 열에 위치하는 적어도 하나의 과실이 표현됨-;
    상기 제1 작물 열에 대응되는 복수개의 이미지를 기초로 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계;
    상기 복수개의 과실 영역에 대한 대표 거리 값들을 기초로 상기 제1 작물 열과 제2 작물 열을 구분하기 위한 제1 임계 거리 값을 산출하는 단계; 및
    상기 복수개의 과실 영역에 대한 대표 거리 값들 및 상기 제1 임계 거리 값을 비교하여 상기 제1 작물 열에 대응되는 과실의 개수를 결정하는 단계;를 포함하는
    작물 열에 대응되는 과실을 계수하는 방법.
  2. 제1 항에 있어서,
    상기 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계는
    상기 제1 작물 열에 대응되는 복수개의 이미지에 포함되는 과실 영역들을 검출하는 단계; 및
    검출된 과실 영역들에 대한 대표 거리 값들을 산출하는 단계;를 포함하는
    작물 열에 대응되는 과실을 계수하는 방법.
  3. 제2 항에 있어서,
    상기 복수개의 과실 영역에 대한 대표 거리 값들을 획득하는 단계는
    상기 제1 작물 열에 대응되는 복수개의 이미지에 포함되는 제1 이미지에 포함되는 제1 과실 영역에 대한 픽셀 좌표 값 및 거리 값을 획득하는 단계;
    상기 제1 작물 열에 대응되는 복수개의 이미지에 포함되는 제2 이미지에 포함되는 제2 과실 영역에 대한 픽셀 좌표 값 및 거리 값을 획득하는 단계;
    상기 제1 과실 영역에 대한 픽셀 좌표 값 및 거리 값과 상기 제2 과실 영역에 대한 픽셀 좌표 값 및 거리 값을 기초로 제3 과실 영역에 대한 대표 거리 값을 획득하는 단계; 를 포함하며,
    상기 제1 과실 영역, 상기 제2 과실 영역 및 상기 제3 과실 영역은 상기 제1 작물 열에 위치하는 제1 과실에 대응되는 영역인
    작물 열에 대응되는 과실을 계수하는 방법.
  4. 제2 항에 있어서,
    상기 검출된 과실 영역들에 대한 대표 거리 값들을 산출하는 단계는
    제1 과실 영역에 포함되는 픽셀 좌표들에 대응되는 거리 값들을 기초로 제1 대표 거리 값을 산출하는 단계;를 포함하는
    작물 열에 대응되는 과실을 계수하는 방법.
  5. 제4 항에 있어서,
    상기 제1 과실 영역에 포함되는 픽셀 좌표들에 대응되는 거리 값들을 기초로 제1 대표 거리 값을 산출하는 단계는 상기 제1 과실 영역에 포함되는 픽셀 좌표들 중 하나의 제1 픽셀 좌표에 대응되는 제1 거리 값을 제1 대표 거리 값으로 선택하는 단계를 포함하는
    작물 열에 대응되는 과실을 계수하는 방법.
  6. 제5 항에 있어서,
    상기 제1 픽셀 좌표는 상기 제1 과실 영역에 포함되는 픽셀 좌표들 중 중앙에 위치하는 픽셀 좌표인
    작물 열에 대응되는 과실을 계수하는 방법.
  7. 제4 항에 있어서,
    상기 제1 과실 영역에 포함되는 픽셀 좌표들에 대응되는 거리 값들을 기초로 제1 대표 거리 값을 산출하는 단계는 상기 제1 과실 영역에 포함되는 픽셀 좌표들에 대응되는 거리 값에 가중치를 적용하여 제1 대표 거리 값을 산출하는 단계를 포함하는
    작물 열에 대응되는 과실을 계수하는 방법.
  8. 제7 항에 있어서,
    상기 가중치는 상기 제1 과실 영역에 포함되는 픽셀 좌표들의 중심 픽셀 좌표로부터의 거리에 기초하여 설정된 가우시안 형상의 가중치인
    작물 열에 대응되는 과실을 계수하는 방법.
  9. 제1 항에 있어서,
    상기 제1 임계 거리 값은 상기 복수개의 과실 영역에 대한 대표 거리 값들의 분포를 기초로 산출되는
    작물 열에 대응되는 과실을 계수하는 방법.
  10. 제9 항에 있어서,
    상기 복수개의 과실 영역에 대한 대표 거리 값들을 기초로 상기 제1 작물 열에 대한 제1 임계 거리 값을 산출하는 단계는
    상기 복수개의 과실 영역에 대한 대표 거리 값들을 기초로 제1 히스토그램 데이터를 생성하는 단계; 및
    상기 제1 히스토그램 데이터를 기초로 상기 제1 임계 거리 값을 산출하는 단계; 를 포함하는
    작물 열에 대응되는 과실을 계수하는 방법.
  11. 제10 항에 있어서,
    상기 제1 히스토그램 데이터의 단위 거리 범위의 크기는 10cm 이하인
    작물 열에 대응되는 과실을 계수하는 방법.
  12. 제10 항에 있어서,
    상기 제1 히스토그램 데이터를 기초로 상기 제1 임계 거리 값을 산출하는 단계는
    상기 제1 히스토그램 데이터에 적어도 하나의 혼합 모델을 적용하여 제1 하위 분포 데이터 및 제2 하위 분포 데이터를 획득하는 단계; 및
    상기 제1 하위 분포 데이터 및 상기 제2 하위 분포 데이터를 기초로 상기 제1 임계 거리 값을 산출하는 단계;를 포함하는
    작물 열에 대응되는 과실을 계수하는 방법.
  13. 제1 항에 있어서,
    상기 작물 열에 대응되는 과실을 계수하는 방법은
    제2 작물 열에 대응되는 복수개의 이미지를 획득하는 단계;
    상기 제2 작물 열에 대응되는 복수개의 이미지를 기초로 제2 복수개의 과실 영역에 대한 제2 대표 거리 값들을 획득하는 단계;
    상기 제2 복수개의 과실 영역에 대한 제2 대표 거리 값들을 기초로 상기 제2 작물 열에 대한 제2 임계 거리 값을 산출하는 단계; 및
    상기 제2 복수개의 과실 영역에 대한 대표 거리 값들 및 상기 제2 임계 거리 값을 비교하여 상기 제2 작물 열에 대응되는 과실의 개수를 결정하는 단계;를 포함하는
    작물 열에 대응되는 과실을 계수하는 방법.
  14. 제13 항에 있어서,
    상기 제1 임계 거리 값 및 상기 제2 임계 거리 값은 서로 상이한
    작물 열에 대응되는 과실을 계수하는 방법.
  15. 제13 항에 있어서,
    상기 제1 작물 열에 대응되는 복수개의 이미지는 이미지 획득 장치가 부착된 차량이 온실에 위치하는 제1 레일 상에서 제1 방향으로 이동되는 동안 획득된 이미지를 포함하며,
    상기 제2 작물 열에 대응되는 복수개의 이미지는 이미지 획득 장치가 부착된 차량이 온실에 위치하는 상기 제1 레일 상에서 상기 제1 방향과 상이한 제2 방향으로 이동되는 동안 획득된 이미지를 포함하는
    작물 열에 대응되는 과실을 계수하는 방법.
KR1020220188525A 2022-12-29 2022-12-29 농작물 관리 시스템에 이용되는 과실 모니터링 시스템 KR102593154B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220188525A KR102593154B1 (ko) 2022-12-29 2022-12-29 농작물 관리 시스템에 이용되는 과실 모니터링 시스템
KR1020230003845A KR102571775B1 (ko) 2022-12-29 2023-01-11 농작물 관리 시스템에 이용되는 과실 모니터링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220188525A KR102593154B1 (ko) 2022-12-29 2022-12-29 농작물 관리 시스템에 이용되는 과실 모니터링 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230003845A Division KR102571775B1 (ko) 2022-12-29 2023-01-11 농작물 관리 시스템에 이용되는 과실 모니터링 시스템

Publications (1)

Publication Number Publication Date
KR102593154B1 true KR102593154B1 (ko) 2023-10-24

Family

ID=87802154

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220188525A KR102593154B1 (ko) 2022-12-29 2022-12-29 농작물 관리 시스템에 이용되는 과실 모니터링 시스템
KR1020230003845A KR102571775B1 (ko) 2022-12-29 2023-01-11 농작물 관리 시스템에 이용되는 과실 모니터링 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230003845A KR102571775B1 (ko) 2022-12-29 2023-01-11 농작물 관리 시스템에 이용되는 과실 모니터링 시스템

Country Status (1)

Country Link
KR (2) KR102593154B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102128266B1 (ko) * 2020-02-19 2020-06-30 주식회사 판다코퍼레이션 IoT 기술을 이용하여 농산물을 생산하는 방법 및 이를 위한 장치
KR102351652B1 (ko) * 2021-02-26 2022-01-14 아이오크롭스 주식회사 스마트팜 제어 방법 및 스마트팜 제어 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102128266B1 (ko) * 2020-02-19 2020-06-30 주식회사 판다코퍼레이션 IoT 기술을 이용하여 농산물을 생산하는 방법 및 이를 위한 장치
KR102351652B1 (ko) * 2021-02-26 2022-01-14 아이오크롭스 주식회사 스마트팜 제어 방법 및 스마트팜 제어 시스템

Also Published As

Publication number Publication date
KR102571775B1 (ko) 2023-08-29

Similar Documents

Publication Publication Date Title
US11734910B2 (en) Real-time object detection using depth sensors
EP3639241B1 (en) Voxel based ground plane estimation and object segmentation
Shi et al. Plant-part segmentation using deep learning and multi-view vision
Zhou et al. Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain
US8098891B2 (en) Efficient multi-hypothesis multi-human 3D tracking in crowded scenes
Mondéjar-Guerra et al. Robust identification of fiducial markers in challenging conditions
CN108509820B (zh) 障碍物分割方法及装置、计算机设备及可读介质
CN110889318B (zh) 利用cnn的车道检测方法和装置
CN106296720A (zh) 基于双目相机的人体朝向识别方法和系统
Li et al. Street tree segmentation from mobile laser scanning data
US11430341B2 (en) System and method for optimizing unmanned aerial vehicle based warehouse management
Lou et al. Measuring loblolly pine crowns with drone imagery through deep learning
Himstedt et al. Online semantic mapping of logistic environments using RGB-D cameras
Kathuria et al. Development of an automated individual tree detection model using point cloud LiDAR data for accurate tree counts in a Pinus radiata plantation
EP4071684A1 (en) Warehouse monitoring system
CN108496185A (zh) 用于对象检测的系统和方法
KR102593154B1 (ko) 농작물 관리 시스템에 이용되는 과실 모니터링 시스템
Lee et al. An incremental nonparametric Bayesian clustering-based traversable region detection method
Mohd Romlay et al. Novel CE-CBCE feature extraction method for object classification using a low-density LiDAR point cloud
Goff et al. Bootstrapping robotic ecological perception from a limited set of hypotheses through interactive perception
CN110909887B (zh) 模型优化方法及装置
Masoudian Computer vision algorithms for an automated harvester
KR102616028B1 (ko) 비주얼 로컬라이제이션을 효율적으로 수행하기 위한 방법 및 장치
Lu Uncertainty-based Geometry Modeling for Monocular 3D Object Detection
Yao et al. Imputation of incomplete data using adaptive ellipsoids with linear regression

Legal Events

Date Code Title Description
A107 Divisional application of patent
GRNT Written decision to grant