KR20220036433A

KR20220036433A - 과일 생장 모니터링 시스템 및 이를 이용한 과일 생장 모니터링 방법

Info

Publication number: KR20220036433A
Application number: KR1020200118197A
Authority: KR
Inventors: 차병래; 차윤석
Original assignee: 제노테크주식회사
Priority date: 2020-09-15
Filing date: 2020-09-15
Publication date: 2022-03-23

Abstract

본 발명은 자율주행형 로봇을 통해 과일을 촬영하여 성숙도 등을 판단하여 과일의 상태를 모니터링할 수 있고 과일의 수확시기를 예측할 수 있어 과일의 재배 관리의 효율성을 향상시킬 수 있는 과일 생장 모니터링 시스템 및 이를 이용한 과일 생장 모니터링 방법에 관한 것이다.
본 발명은 미리 설정된 이동경로를 따라 자율주행하면서 과일을 촬영하여 촬영데이터를 생성하고 현위치의 환경정보를 측정하여 환경측정데이터를 생성하기 위한 로봇(100)과, 상기 로봇(100)으로부터 상기 촬영데이터와 상기 환경측정데이터를 수신받아 상기 촬영데이터 중 과일이미지를 검출한 후 상기 과일이미지의 색상값을 산출하고, 미리 과일별 색상에 따른 성숙도가 학습되어 저장된 과일학습모델을 통해 상기 산출된 과일이미지의 색상값에 따라 성숙도를 판단하여 상기 과일이미지에 대한 과일의 성숙도를 포함한 과일상태정보를 생성하기 위한 관제서버(200)와, 상기 관제서버(200)로부터 상기 과일상태정보와 상기 환경측정데이터를 수신받아 시각화하여 현황정보를 생성하기 위한 웹서버(300)와, 상기 과일을 관리하는 관리자정보가 입력되고, 상기 웹서버(300)로 상기 관리자정보를 포함한 현황요청신호를 생성하여 전송한 후 상기 웹서버(300)의 웹페이지를 통해 현황정보를 디스플레이하기 위한 관리자기기(400)를 포함한다.

Description

과일 생장 모니터링 시스템 및 이를 이용한 과일 생장 모니터링 방법{FRUIT GROWTH MONITORING SYSTEM AND FRUIT GROWTH MONITORING METHOD THEREOF}

본 발명은 과일 생장 모니터링 시스템 및 이를 이용한 과일 생장 모니터링 방법에 관한 것으로, 보다 상세하게는 자율주행형 로봇을 통해 과일을 촬영하여 성숙도 등을 판단하여 과일의 상태를 모니터링할 수 있고 과일의 수확시기를 예측할 수 있어 과일의 재배 관리의 효율성을 향상시킬 수 있는 과일 생장 모니터링 시스템 및 이를 이용한 과일 생장 모니터링 방법에 관한 것이다.

최근에는 농경지, 인력, 생산 비중 등의 감소와 인구의 고령화로 인해 IT 기술과 융합한 스마트 팜이 점차 늘어나고 있는 추세이다.

스마트 팜은 농·림·축·수산물의 생산, 가공, 유통 단계에서 정보 통신 기술(ICT)을 접목하여 지능화된 농업 시스템으로, 사물인터넷, 빅데이터, 인공지능 등의 기술을 이용하여 농작물, 가축 및 수산물 등의 생육 환경을 적정하게 유지 및 관리하고, PC와 스마트폰 등으로 원격에서 자동 관리할 수 있다.

즉, 스마트 팜은 공개특허 제10-2020-0055823호(공개일자: 2020년 05월 22일)에 기재된 바와 같이, 차광장치, 급수장치, 환기장치, 온도조절장치, 습도조절장치, 산소농도조절장치 및 양액공급장치를 포함하는 시설물장치가 설치되고, 밀폐된 공간에서 농산물을 재배하는 농산물 재배시설과; 상기 농산물 재배시설의 내부에서 검출한 온도값, 습도값, 산소 농도값, 이산화탄소 농도값, 조도값, 상기 농산물에 공급되는 양액의 공급속도값 및 공급양값중 적어도 하나를 포함하는 환경정보가 상기 농작물 재배시설의 내부를 설정된 시간 스케줄 정보에 따른 기준 온도값, 기준 습도값, 기준 산소 농도값, 기준 이산화탄소 농도값, 기준 조도값, 상기 양액의 기준 공급속도값 및 기준 공급양값 중 적어도 하나를 포함하는 기준 환경정보를 만족하면, 상기 시간 스케줄 정보에 따라 현재 시간부터 다음 시간까지 상기 환경정보가 상기 기준 환경정보를 지속적으로 만족하도록하는 기준 제어명령을 상기 시설물장치로 출력하여 제어하는 IoT 제어장치 및 상기 IoT 제어장치에 상기 시간 스케줄 정보를 설정하고, 상기 IoT 제어장치에서 검출한 상기 온도값, 상기 습도값, 상기 산소 농도값, 상기 이산화탄소 농도값, 상기 조도값, 상기 양액의 공급속도값 및 공급양값과, 상기 기준 제어명령을 수신하여 상기 농작물 재배시설을 모니터링하는 모니터링 장치를 포함하는 스마트팜 제어 시스템을 이용할 수 있다.

상기 공개특허는 농작물의 생육환경을 제어하여 농작물의 생장을 예측하면서 수확량, 품질 등을 향상시킬 수 있지만, 실질적인 농작물의 생장을 판단하거나 그에 대한 정보를 수집하지 않아 농작물의 수확시기 등을 판단하기 어려운 문제점이 있다.

특히, 과일은 나무에서 열리는 열매의 색상 등을 통해 수확여부를 판단할 수 있지만, 상기 공개특허와 같은 스마트팜은 단순히 생육환경을 제어하고 이론적인 수확시기만 계산하여 수확시기를 판단할 경우에 과일이 덜 익거나 많이 익어 오히려 상품가치가 저하되는 문제점이 있다.

이에, 과일의 익는 정도를 파악하여 해당 과일의 수확시기를 판단할 수 있는 기술이 요구되고 있는 실정이다.

본 발명은 상술한 문제점을 해결하기 위해 제안된 것으로, 자율주행형 로봇을 통해 과일을 촬영하여 과일을 감지한 후 전이학습을 이용하여 과일의 성숙도 등을 판단할 수 있어 과일의 상태를 모니터링할 수 있는 과일 생장 모니터링 시스템 및 이를 이용한 과일 생장 모니터링 방법을 제공하는 목적이 있다.

또한, 과일의 생육환경을 측정하여 과일의 수확시기 및 생산량을 예측할 수 있는 과일 생장 모니터링 시스템 및 이를 이용한 과일 생장 모니터링 방법을 제공하는 목적이 있다.

또한, 과일의 성숙도 등과 같은 과일의 상태에 따라 생육환경을 제어할 수 있는 과일 생장 모니터링 시스템 및 이를 이용한 과일 생장 모니터링 방법을 제공하는 목적이 있다.

본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기의 목적을 달성하기 위한 본 발명에 의한 과일 생장 모니터링 시스템 및 이를 이용한 과일 생장 모니터링 방법은, 미리 설정된 이동경로를 따라 자율주행하면서 과일을 촬영하여 촬영데이터를 생성하고 현위치의 환경정보를 측정하여 환경측정데이터를 생성하기 위한 로봇(100)과, 상기 로봇(100)으로부터 상기 촬영데이터와 상기 환경측정데이터를 수신받아 상기 촬영데이터 중 과일이미지를 검출한 후 상기 과일이미지의 색상값을 산출하고, 미리 과일별 색상에 따른 성숙도가 학습되어 저장된 과일학습모델을 통해 상기 산출된 과일이미지의 색상값에 따라 성숙도를 판단하여 상기 과일이미지에 대한 과일의 성숙도를 포함한 과일상태정보를 생성하기 위한 관제서버(200)와, 상기 관제서버(200)로부터 상기 과일상태정보와 상기 환경측정데이터를 수신받아 시각화하여 현황정보를 생성하기 위한 웹서버(300)와, 상기 과일을 관리하는 관리자정보가 입력되고, 상기 웹서버(300)로 상기 관리자정보를 포함한 현황요청신호를 생성하여 전송한 후 상기 웹서버(300)의 웹페이지를 통해 현황정보를 디스플레이하기 위한 관리자기기(400)를 포함한다.

또한, 상기 관제서버(200)는, 미리 수집된 사전촬영데이터를 이용하여 과일이미지를 추출한 후 과일별로 분류하고 각 과일의 색상별로 성숙도를 분류하여 샘플링한 후 과일별 색상에 따라 성숙도가 학습전이된 과일학습모델을 생성하여 저장하기 위한 과일학습모델생성부(201)와, 상기 로봇(100) 및 상기 관리자기기(400)와 통신하기 위한 관제서버통신부(202)와, 상기 관제서버통신부(202)를 통해 상기 관리자기기(400)로부터 관리자정보를 수신받아 저장하기 위한 관리자DB부(203)와, 상기 관제서버통신부(202)를 통해 상기 로봇(100)으로부터 환경측정데이터를 수신받아 관리자별로 누적저장하여 기록하기 위한 환경기록부(204)와, 상기 관제서버통신부(202)를 통해 상기 로봇(100)으로부터 수신받은 촬영데이터에서 과일을 인식하여 과일이미지를 검출하기 위한 과일검출부(205)와, 상기 과일이미지의 색상을 분석하여 RGB 값을 통해 상기 과일이미지의 색상값을 산출하기 위한 색상값산출부(206)와, 상기 과일학습모델을 이용하여 상기 검출된 과일이미지와 동일한 과일의 색상별 성숙도 중 상기 과일이미지의 색상값에 따라 상기 과일이미지 내 과일의 성숙도를 판단하여 상기 과일이미지에 대한 과일의 현재 성숙도를 포함한 과일상태정보를 생성하기 위한 과일상태판단부(207)와, 상기 생성된 과일상태정보를 관리자별로 누적저장하여 관리하기 위한 과일상태기록부(208)와, 상기 저장된 과일상태정보와 상기 환경측정데이터와 해당 관리자정보를 상기 웹서버(300)로 전달하기 위한 데이터전달부(209)를 포함하는 것이 바람직하다.

이때, 상기 관제서버(200)는, 미리 저장된 과일별 평균 생장시기에 따른 생장데이터와 환경정보를 학습전이하여 과일별 성숙도에 따라 생장시기를 예측하기 위한 생장예측모델을 생성하여 저장하기 위한 생장예측모델생성부(210)와, 상기 생장예측모델을 통해 상기 과일상태정보에 포함된 과일의 현재 성숙도에 따른 상기 과일의 현재 생장시기를 판단하기 위한 생장시기판단부(211)와, 상기 과일의 현재 성숙도와 현재 생육시기를 이용하여 상기 과일의 수확여부를 판단하면서 상기 과일의 수확시기를 예측한 수확예측정보를 생성하기 위한 수확예측부(212)를 포함할 수 있다.

또한, 상기 웹서버(300)는, 상기 관제서버(200) 및 상기 관리자기기(400)와 통신하기 위한 웹서버통신부(301)와, 상기 관제서버(200)로부터 상기 과일상태정보와 상기 환경측정데이터와 상기 수확예측정보를 수신받아 시각화하여 현황정보를 생성하기 위한 현황정보생성부(302)와, 상기 관리자기기(400)로부터 상기 현황요청신호를 수신받을 경우에 상기 현황요청신호에 대응되는 관리자정보의 현황정보를 포함한 웹페이지를 제공하기 위한 현황정보제공부(303)를 포함하는 것이 바람직하다.

또한, 상기 관리자기기(400)는, 상기 과일을 관리하는 관리자정보가 입력된 관리자정보부(401)와, 상기 웹서버(300)와 통신하기 위한 관리자통신부(402)와, 상기 관리자통신부(402)를 통해 상기 웹서버(300)의 웹페이지에 접속하여 상기 과일의 현황을 제공받기 위해 상기 관리자정보를 포함한 현황요청신호를 생성하여 상기 웹서버(300)로 전송하기 위한 현황요청부(403)와, 상기 웹서버(300)의 웹페이지를 통해 현황정보를 디스플레이하기 위한 디스플레이부(404)를 포함할 수 있다.

본 발명에 있어서, 미리 설정된 이동경로를 따라 자율주행하는 로봇(100)에서 과일을 촬영하여 촬영데이터를 생성하여 관제서버(200)로 전송하는 과일촬영단계와, 상기 로봇(100)에서 상기 과일을 촬영한 위치의 환경정보를 측정하여 환경측정데이터를 생성하여 상기 관제서버(200)로 전송하는 환경측정단계와, 상기 관제서버(200)에서 상기 로봇(100)으로부터 수신받은 촬영데이터 중 과일을 인식하여 과일이미지를 검출하는 과일이미지검출단계와, 상기 관제서버(200)에서 상기 검출된 과일이미지의 색상을 분석하여 상기 과일이미지의 색상값을 산출하는 과일색상값산출단계와, 상기 관제서버(200)에서 미리 과일별 색상에 따른 성숙도가 학습되어 저장된 과일학습모델을 이용하여 상기 산출된 과일이미지의 색상값에 따라 상기 과일의 현재성숙도를 판단하여 과일상태정보를 생성하는 과일상태판단단계와, 상기 관제서버(200)에서 미리 저장된 과일별 성숙도에 따라 평균 생장시기를 학습전이하여 생성되어 저장된 생장예측모델을 통해 상기 과일상태정보에 따른 상기 과일의 현재 생장시기를 판단하는 생장시기판단단계와, 상기 관제서버(200)에서 상기 과일의 현재 생장시기와 상기 과일의 현재 성숙도를 이용하여 상기 과일의 수확여부를 판단하고 상기 과일의 수확시기를 예측하여 수확예측정보를 생성하는 수확예측단계와, 상기 관제서버(200)에서 생성된 수확예측정보와 상기 과일상태정보와 상기 환경측정데이터를 웹서버(300)로 전달하는 데이터전달단계와, 상기 웹서버(300)에서 상기 관제서버(200)로부터 수신받은 수확예측정보와 과일상태정보를 시각화하여 현황정보를 생성하는 현황정보생성단계와, 상기 과일을 관리하는 관리자기기(400)에서 상기 과일의 현황을 제공받기 위해 현황요청신호를 생성하여 상기 웹서버(300)로 전송하는 현황요청단계와, 상기 웹서버(300)에서 상기 현황요청신호를 수신받아 해당 현황정보를 포함한 웹페이지를 제공하는 현황정보제공단계와, 상기 관리자기기(400)에서 상기 웹페이지를 통해 상기 현황정보를 디스플레이하는 모니터링단계를 포함한다.

상술한 바와 같이 본 발명에 따르면, 자율주행형 로봇을 통해 과일을 촬영하여 과일을 감지한 후 전이학습을 이용하여 과일의 성숙도 등을 판단할 수 있어 실시간으로 과일의 상태를 모니터링할 수 있게 되며, 과일 재배의 관리에 대한 효율성과 자동화를 대폭 향상시킬 수 있는 효과가 있다.

또한, 과일의 생육환경을 측정하여 과일의 수확시기 및 생산량을 예측할 수 있음으로 인해 초보 농업인이 과일의 수확여부를 판단하는데 도움을 줄 수 있으면서 그에 따른 수익을 예측하는데 도움을 줄 수 있어 농업인의 만족도를 향상시킬 수 있는 효과가 있다.

또한, 과일의 성숙도 등과 같은 과일의 상태에 따라 생육환경을 제어할 수 있기 때문에 과일의 생육에 최적화된 환경을 유지시킬 수 있게 되면서 과일의 품질 및 관리의 편리성을 향상시킬 수 있는 효과가 있다.

도 1은 본 발명의 일실시 예에 의한 과일 생장 모니터링 시스템,
도 2은 본 발명의 일실시 예에 의한 과일 생장 모니터링 시스템의 로봇의 구성블록도,
도 3은 본 발명의 일실시 예에 의한 과일 생장 모니터링 시스템의 관제서버 구성블록도,
도 4는 본 발명의 일실시 예에 의한 과일 생장 모니터링 시스템의 웹서버의 구성블록도,
도 5a 및 도 5b는 본 발명의 일실시 예에 의한 과일 생장 모니터링 시스템의 웹서버의 현황정보,
도 6은 본 발명의 일실시 예에 의한 과일 생장 모니터링 시스템의 관리자기기의 구성블록도,
도 7는 본 발명의 일실시 예에 의한 과일 생장 모니터링 시스템을 이요한 과일 생장 모니터링방법.

이하, 첨부된 도면을 참조하여 본 발명에 의한 과일 생장 모니터링 시스템 및 이를 이용한 과일 생장 모니터링 방법을 상세히 설명한다.

도 1은 본 발명의 일실시 예에 의한 과일 생장 모니터링 시스템이고, 도 2은 본 발명의 일실시 예에 의한 과일 생장 모니터링 시스템의 로봇의 구성블록도이다.

또한, 도 3은 본 발명의 일실시 예에 의한 과일 생장 모니터링 시스템의 관제서버 구성블록도이며, 도 4는 본 발명의 일실시 예에 의한 과일 생장 모니터링 시스템의 웹서버의 구성블록도이고, 도 5a 및 도 5b는 본 발명의 일실시 예에 의한 과일 생장 모니터링 시스템의 웹서버의 현황정보이다.

또한, 도 6은 본 발명의 일실시 예에 의한 과일 생장 모니터링 시스템의 관리자기기의 구성블록도이고, 도 7는 본 발명의 일실시 예에 의한 과일 생장 모니터링 시스템을 이요한 과일 생장 모니터링방법이다.

상기 도면의 구성 요소들에 인용부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있으며, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 또한, '상부', '하부', '앞', '뒤', '선단', '전방', '후단' 등과 같은 방향성 용어는 개시된 도면(들)의 배향과 관련하여 사용된다. 본 발명의 실시 예의 구성요소는 다양한 배향으로 위치설정될 수 있기 때문에 방향성 용어는 예시를 목적으로 사용되는 것이지 이를 제한하는 것은 아니다.

본 발명의 바람직한 일실시 예에 의한 과일 생장 모니터링 시스템은, 상기 도 1에 있어서, 미리 설정된 이동경로를 따라 자율주행하면서 과일을 촬영하여 촬영데이터를 생성하고 현위치의 환경정보를 측정하여 환경측정데이터를 생성하기 위한 로봇(100)과, 상기 로봇(100)으로부터 상기 촬영데이터와 상기 환경측정데이터를 수신받아 상기 촬영데이터 중 과일이미지를 검출한 후 상기 과일이미지의 색상값을 산출하고, 미리 과일별 색상에 따른 성숙도가 학습되어 저장된 과일학습모델을 통해 상기 산출된 과일이미지의 색상값에 따라 성숙도를 판단하여 상기 과일이미지에 대한 과일의 성숙도를 포함한 과일상태정보를 생성하기 위한 관제서버(200)와, 상기 관제서버(200)로부터 상기 과일상태정보와 상기 환경측정데이터를 수신받아 시각화하여 현황정보를 생성하기 위한 웹서버(300)와, 상기 과일을 관리하는 관리자정보가 입력되고, 상기 웹서버(300)로 상기 관리자정보를 포함한 현황요청신호를 생성하여 전송한 후 상기 웹서버(300)의 웹페이지를 통해 현황정보를 디스플레이하기 위한 관리자기기(400)를 포함할 수 있다.

상기 로봇(100)은, 자율주행하면서 과일을 촬영하기 위한 것으로, 로봇 운영 체제(ROS)가 적용된 로봇이다.

상기 로봇(100)은 상기 도 2에 있어서, 미리 설정된 이동경로를 따라 자율주행하도록 바퀴가 구비된 본체부(101)와, 상기 본체부(101)에 구성되어 과일을 촬영하여 촬영데이터를 생성하기 위한 촬영부(102)와, 상기 촬영부(102)를 지지하면서 이동시키기 위한 이동부(103)와, 현위치를 측정하기 위한 GPS부(104)와, 상기 현위치의 환경정보를 측정하여 환경측정데이터를 생성하기 위한 환경센서부(105)와, 상기 촬영데이터 내지 상기 환경측정데이터를 상기 관제서버(200)로 전송하기 위한 로봇송신부(106)를 포함하는 것이 바람직하다.

상기 본체부(101)는, 센서를 통해 자율적으로 위치를 인식하여 이동하고 장애물을 피하면서 미리 설정된 이동경로를 따라 자율주행하는 바퀴가 구비되고, 다관절 로봇팔 등이 더 구비될 수 있다.

상기 이동경로는 상기 촬영부(102)가 과일을 촬영할 수 있도록 과수가 심어져 있는 길을 따라 설정되는 것이 바람직하다.

상기 촬영부(102)는, 상기 과수의 과일을 촬영하기 위한 것으로, 상기 본체부(101)의 상단에 구성되는 것이 바람직하다.

상기 촬영부(102)에서는 상기 과일을 촬영하여 생성된 촬영데이터를 상기 관제서버(200)로 전송한다.

또한, 상기 촬영부(102)는 다종의 과일을 촬영할 수 있도록 멀티 카메라 어댑터 모듈을 추가할 수 있다.

상기 과수에 열린 과일의 위치에 따라 상기 촬영부(102)를 이동시키기 위해 이동부(103)가 구성된다.

상기 이동부(103)는, 엘리케이터 등과 같은 기능을 사용하여 상기 과일의 위치와 대응되도록 위치시킬 수 있다. 즉, 상기 이동부(103)는 상기 촬영부(102)에서 과일이 감지하기 전까지 상기 촬영부(102)를 상기 과일의 위치와 대응되도록 움직이는 것이 바람직하다.

상기 GPS부(104)는, 상기 로봇(100)이 위치된 현위치를 측정하게 된다.

상기 GPS부(104)를 통해 추후 날씨 등을 예측하는데 도움을 줄 수 있게 되며, 과수원 등의 관리를 편하게 할 수 있게 된다.

상기 환경센서부(105)는, 과수가 재배되는 환경정보를 측정하는 것으로, 습도, 온도, 빛, 자외선(UV), 이산화탄소, 고도, 압력, pH, 용존산소(DO) 등을 측정하기 위해 다수개의 센서로 구성될 수 있다.

상기 환경센서부(105)를 통해 환경정보를 측정할 수 있어 현 과수의 재배 환경을 파악할 수 있게 되며, 추후 과수의 재배환경을 최적의 상태로 만들기 위해 재배환경을 조절하는데 도움을 줄 수 있게 된다.

상기 관제서버(200)는, 상기 도 3에 있어서, 미리 수집된 사전촬영데이터를 이용하여 과일이미지를 추출한 후 각 과일의 색상별로 성숙도가 학습전이된 과일학습모델을 생성하여 저장하기 위한 과일학습모델생성부(201)와, 상기 로봇(100) 및 상기 관리자기기(400)와 통신하기 위한 관제서버통신부(202)와, 상기 관제서버통신부(202)를 통해 상기 관리자기기(400)로부터 관리자정보를 수신받아 저장하기 위한 관리자DB부(203)와, 상기 로봇(100)으로부터 환경측정데이터를 수신받아 관리자별로 누적저장하여 기록하기 위한 환경기록부(204)와, 상기 로봇(100)으로부터 수신받은 촬영데이터에서 과일을 인식하여 과일이미지를 검출하기 위한 과일검출부(205)와, 상기 과일이미지의 색상값을 산출하기 위한 색상값산출부(206)와, 상기 과일학습모델을 이용하여 상기 과일이미지의 색상값에 따라 상기 과일이미지 내 과일의 성숙도를 판단하여 과일상태정보를 생성하기 위한 과일상태판단부(207)와, 상기 생성된 과일상태정보를 관리자별로 누적저장하여 관리하기 위한 과일상태기록부(208)와, 상기 저장된 과일상태정보와 상기 환경측정데이터와 해당 관리자정보를 상기 웹서버(300)로 전달하기 위한 데이터전달부(209)를 포함할 수 있다.

또한, 상기 관제서버(200)에는 미리 저장된 과일별 평균 생장시기에 따른 생장데이터와 환경정보를 학습전이하여 과일별 성숙도에 따라 생장시기를 예측하기 위한 생장예측모델을 생성하여 저장하기 위한 생장예측모델생성부(210)와, 상기 생장예측모델을 통해 상기 과일상태정보에 따른 상기 과일의 현재 생장시기를 판단하기 위한 생장시기판단부(211)와, 상기 과일의 현재 성숙도와 현재 생육시기를 이용하여 상기 과일의 수확시기를 예측한 수확예측정보를 생성하기 위한 수확예측부(212)를 더 포함할 수 있다.

상기 과일학습모델생성부(201)는, 다양한 과일의 이미지가 촬영된 사전촬영데이터를 미리 수집한다. 상기 수집된 사전촬영데이터를 전처리하여 과일이미지만 추출한 후 분류기준을 세워 과일별로 분류한다.

또한, 상기 과일학습모델생성부(201)에서 상기 분류된 각 과일이미지의 색상별로 성숙도를 분류하여 샘플링한다.

그 후 상기 과일학습모델생성부(201)는 상기 샘플링된 데이터셋을 특징선택, 차원 축소 등의 전처리하여 머신러닝 알고리즘에 의해 학습전이되고, 과일의 성숙도 등이 설정된 하이퍼 파라미터를 최적화된 후 후처리 가공되어 최종 분류된 과일학습모델을 생성한다.

상기 과일학습모델생성부(201)에서는 상기 과일학습모델이 쓸 수 있는지 평가하고 시각화한 후 결과를 공유할 수 있다.

즉, 상기 과일학습모델은 과일별 색상에 따른 과일의 성숙도가 학습전이된 모델이다.

상기 관제서버통신부(202)는, 상기 로봇(100) 및 상기 관리자기기(400)와 통신하기 위해 무선 네트워크를 사용할 수 있다.

상기 관리자DB부(203)는, 상기 관제서버통신부(202)를 통해 상기 관리자기기(400)로부터 관리자정보를 수신받아 저장하고 관리한다.

상기 관리자DB부(203)에서 상기 관리자정보를 저장함으로써 추후 생성되는 과일상태정보를 해당 관리자에게 제공할 수 있게 된다.

상기 환경기록부(204)는, 상기 관제서버통신부(202)를 통해 상기 로봇(100)으로부터 환경측정데이터를 수신받고, 해당 과일을 관리하는 관리자에 누적저장하여 기록할 수 있게 된다.

상기 환경기록부(204)를 통해 관리자별로 자신이 관리하는 과수의 재배환경변화를 파악할 수 있게 되며, 이로 인해 과수의 재배환경을 용이하게 관리할 수 있도록 도움을 줄 수 있다.

상기 과일검출부(205)는, 상기 관제서버통신부(202)를 통해 상기 로봇(100)으로부터 촬영데이터를 수신받아 실시간 물체 감지 시스템(YOLO)을 이용하여 상기 촬영데이터의 과일과 배경을 각각 인식한다.

상기 과일검출부(205)는 상기 촬영데이터 중 과일을 인식한 과일이미지를 검출하게 된다.

상기 과일검출부(205)에서 검출된 과일이미지는 상기 색상값산출부(206)로 전송되어 상기 과일이미지의 색상을 분석할 수 있다.

상기 색상값산출부(206)는, RGB값을 이용하여 상기 과일이미지의 색상을 분석하여 상기 과일이미지의 색상값을 산출한다.

이때, 상기 색상값산출부(206)는 상기 과일이미지에서 미리 지정된 범위의 색상을 분석하는 것이 바람직하며, 미리 지정된 범위에서 다양한 색상이 검출될 경우에 가장 많이 산출된 색상값을 상기 과일이미지의 색상값으로 판단하여 사용할 수 있다.

상기 과일상태판단부(207)는, 상기 색상값산출부(206)에서 산출된 과일이미지의 색상값을 이용하여 과일의 성숙도를 판단하게 된다. 즉, 상기 과일상태판단부(207)는 상기 과일학습모델을 이용하여 상기 검출된 과일이미지와 동일한 과일의 색상별 성숙도를 추출한 후 상기 과일의 색상별 성숙도 중에서 상기 과일이미지의 색상값에 따라 상기 과일이미지 내 과일의 성숙도를 판단할 수 있게 된다.

상기 과일상태판단부(207)를 통해 상기 과일의 현재 성숙도를 판단할 수 있으며, 상기 과일이미지의 현재 성숙도가 포함된 과일이미지 내 과일의 현재 성숙도를 포함한 과일상태정보를 생성할 수 있다.

상기 과일상태정보는 상기 과일상태기록부(208)로 전송되어 관리자별로 분리되어 과일의 재배, 수확 등을 예측하는데 도움을 줄 수 있게 된다.

상기 과일상태판단부(207)는 상기 과일이미지에 대한 과일의 현재 성숙도를 포함한 과일상태정보로 생성한다.

또한, 상기 과일상태판단부(207)는 상기 과일이미지의 색상값 중 갈색이나 검정색이 포함되어 있는 경우에 상기 과일의 부패나 상처가 진행 중인 것으로 판단할 수 있다.

즉, 상기 과일상태정보에는 상기 과일이미지에 대한 과일의 성숙도 뿐만 아니라 과일의 부패여부, 과일의 상처여부 등이 더 포함될 수 있다.

상기 과일상태기록부(208)는, 상기 과일상태정보를 상기 관리자DB부(203)의 관리자 중 해당 관리자에 누적저장하여 관리한다.

상기 과일상태기록부(208)를 통해 관리자별로 과일상태정보를 누적기록함으로써 관리자가 과일을 재배하는 과정이나 시기별 과일의 상태를 판단하는데 도움을 줄 수 있게 되며, 관리자가 과일의 현 상태에 따라 신속한 대처가 가능하도록 도움을 줄 수 있게 된다.

상기 데이터전달부(209)는, 상기 저장된 과일상태정보와 상기 환경측정데이터와 해당 관리자정보를 웹서버(300)로 전달한다.

한편, 상기 생장예측모델생성부(210)는, 미리 과일별로 평균 생장시기에 따른 과일의 색상, 크기 등이 포함된 생장데이터가 저장되어 있어야 하며, 미리 온도, 습도 등을 포함한 환경정보도 저장되어 있어야 한다.

상기 생장예측모델생성부(210)는 미리 저장된 생장데이터와 환경정보를 학습전이하여 생장예측모델을 생성하여 저장한다.

상기 생장예측모델을 이용하여 과일별 성숙도에 따른 생장시기를 예측할 수 있게 된다.

상기 생장시기판단부(211)는, 상기 생장예측모델을 이용하여 상기 과일상태정보에 포함된 과일의 현재 성숙도에 따른 과일이미지의 현재 생장시기를 판단할 수 있다.

상기 생장시기판단부(211)에서 상기 과일의 현재 생장시기를 판단할 경우에 상기 과일의 생장속도를 판단할 수 있게 되면서 상기 과일의 현재 생상시기에 따라 과일의 수확시기를 예측할 수 있게 된다.

상기 수확예측부(212)는, 상기 과일의 현재 성숙도와 현재 생육시기를 이용하여 상기 과일의 수확여부를 판단할 수 있다. 다시 말해, 상기 수확예측부(212)는 상기 과일의 현재 성숙도와 현재 생육시기를 이용하여 상기 과일을 수확할 수 있는지 판단할 수 있게 된다.

상기 수확예측부(212)에서 상기 과일을 수확할 수 없다고 판단된 경우에는 상기 과일의 현재 성숙도와 현재 생육시기를 통해 상기 과일의 수확시기를 예측한 수확예측정보를 생성할 수 있다.

반면, 상기 수확예측부(212)에서 상기 과일을 수확할 수 있다고 판단된 경우에는 수확가능신호를 생성할 수 있다.

상기 수확예측부(212)는 상기 생성된 수확예측정보나 수확가능신호를 해당 과일을 관리하는 관리자에게 제공할 수 있도록 웹서버(300)로 전송할 수 있다.

상기 웹서버(300)는, 상기 도 4에 있어서, 상기 관제서버(200) 및 상기 관리자기기(400)와 통신하기 위한 웹서버통신부(301)와, 상기 관제서버(200)로부터 상기 과일상태정보와 상기 환경측정데이터와 상기 수확예측정보를 수신받아 시각화하여 현황정보를 생성하기 위한 현황정보생성부(302)와, 상기 관리자기기(400)로부터 상기 현황요청신호를 수신받을 경우에 상기 현황요청신호에 대응되는 관리자정보의 현황정보를 포함한 웹페이지를 제공하기 위한 현황정보제공부(303)를 포함할 수 있다.

상기 웹서버통신부(301)는, 상기 관제서버(200) 및 상기 관리자기기(400)와 통신하기 위해 인터넷 등과 같은 무선 네트워크를 사용할 수 있다.

상기 현황정보생성부(302)는, 상기 도 5a 내지 도 5b에 있어서, 상기 관제서버(200)로부터 상기 과일상태정보와 상기 환경측정데이터와 상기 수확예측정보를 수신받아 그래프, 차트 등과 같이 시각화하여 현황정보를 생성한다.

상기 현황정보에는 상기 수확예측정보나 수확가능신호가 포함될 수 있다.

상기 현황정보생성부(302)에는 상기 관제서버(200)로부터 전송된 관리자정보에 따라 상기 현황정보를 저장할 수 있다.

상기 현황정보제공부(303)는, 상기 관리자기기(400)로부터 상기 현황요청신호를 수신받을 경우에 상기 현황정보생성부(302)에 저장된 관리자별 현황정보 중에서 상기 현황요청신호에 대응되는 관리자정보의 현황정보를 포함한 웹페이지를 제공한다.

상기 현황정보제공부(303)에서 상기 현황요청신호에 대응되는 현황정보를 제공함으로써 관리자가 자신이 관리하는 과일에 대한 성숙도, 수확시기 등을 확인할 수 있어 재배관리의 효율성을 향상시킬 수 있으며, 인건비 및 생산비용을 대폭 줄일 수 있게 됩니다.

상기 관리자기기(400)는, 상기 도 6에 있어서, 상기 과일을 관리하는 관리자정보가 입력된 관리자정보부(401)와, 상기 웹서버(300)와 통신하기 위한 관리자통신부(402)와, 상기 관리자통신부(402)를 통해 상기 웹서버(300)의 웹페이지에 접속하여 상기 과일의 현황을 제공받기 위해 상기 관리자정보를 포함한 현황요청신호를 생성하여 상기 웹서버(300)로 전송하기 위한 현황요청부(403)와, 상기 웹서버(300)의 웹페이지를 통해 현황정보를 디스플레이하기 위한 디스플레이부(404)를 포함하는 것이 바람직하다.

상기 관리자정보부(401)는, 상기 과일을 관리하는 관리자의 이름, 연락처 등을 포함한 관리자정보가 입력되어 저장된다.

상기 관리자통신부(402)는, 상기 웹서버(300)와 통신하기 위해 인터넷 등과 같은 무선 네트워크를 사용할 수 있다.

상기 현황요청부(403)는, 상기 웹서버(300)의 웹페이지에 접속하여 상기 과일의 현황을 제공받기 위해 현황요청신호를 생성하여 상기 웹서버(300)로 전송한다. 상기 현황요청신호에는 상기 관리자정보가 포함되어야 한다.

상기 디스플레이부(404)는, 상기 현황요청신호를 전송한 후 상기 웹서버(300)의 웹페이지를 통해 현황정보를 디스플레이하여 모니터링할 수 있다.

이때, 상기 관리자기기(400)에는 상기 과수를 재배하는 재배시설의 포함한 재배환경을 제어하기 위한 제어부(405)를 더 포함할 수 있다.

상기 제어부(405)는, 상기 디스플레이부(404)를 통해 디스플레이되는 현황정보에 따라 상기 재배시설의 온도, 습도 등을 포함한 재배환경을 조절할 수 있다.

상기 제어부(405)를 통해 상기 재배시설의 재배환경을 원격으로 조절할 수 있어 생산의 효율성 뿐만 아니라 편리성도 높일 수 있게 된다.

상기와 같이 구성되는 과일 생장 모니터링 시스템의 과일 생장 모니터링 방법은, 상기 도 7에 있어서, 상기 로봇(100)이 미리 설정된 이동경로를 따라 자율주행하면서 상기 촬영부(102)를 통해 과일을 촬영하여 촬영데이터를 생성한다(S10). 상기 생성된 촬영데이터는 상기 관제서버(200)로 전송된다.

상기 로봇(100)은 상기 과일을 촬영하면서한 위치의 환경정보를 측정하여 환경측정데이터를 생성하여 상기 관제서버(200)로 전송한다(S20).

상기 관제서버(200)는 상기 로봇(100)으로부터 수신받은 촬영데이터 중 과일과 배경을 각각 인식하여 과일이미지만 검출한다(S30). 그 후 RGB를 이용하여 상기 검출된 과일이미지의 색상값을 산출한다(S40).

상기 관제서버(200)는 상기 과일학습모델을 이용하여 상기 산출된 과일이미지의 색상값에 해당되는 성숙도를 추출하여 상기 과일이미지 내의 과일에 대한 현재 성숙도를 판단할 수 있으며, 상기 과일의 현재 성숙도를 포함한 과일상태정보를 생성한다(S50).

상기 관제서버(200)에서는 상기 생장예측모델을 통해 상기 과일상태정보에 포함된 과일의 현재 성숙도에 따라 상기 과일의 현재 생장시기를 판단하게 된다(S60). 상기 판단된 과일의 현재 생장시기와 상기 과일의 현재 성숙도를 이용하여 상기 과일의 수확여부를 판단할 수 있으며, 상기 환경측정데이터를 더 이용하여 상기 과일의 수확시기를 예측하여 수확예측정보를 생성한다(S70).

상기 관제서버(200)는 상기 생성된 수확예측정보와 상기 과일상태정보와 상기 환경측정데이터를 상기 웹서버(300)로 전달한다(S80).

이때, 상기 관제서버(200)는 상기 웹서버(300)로 해당 관리자정보를 더 전송하게 된다.

상기 웹서버(300)는 상기 관제서버(200)로부터 수신받은 수확예측정보와 과일상태정보와 환경측정데이터를 그래프, 차트 등과 같이 시각화하여 현황정보를 생성한다(S90). 여기서, 상기 웹서버(300)는 상기 관제서버(200)로부터 수신받은 관리자정보에 따라 환경정보를 저장하고 관리할 수 있다.

상기 관리자기기(400)에서 상기 과일의 현황을 제공받기 위해 상기 관리자정보를 포함한 현황요청신호를 생성하여 상기 웹서버(300)로 전송한다(S100).

상기 웹서버(300)는 상기 관리자기기(400)로부터 현황요청신호를 수신받아 상기 현황요청신호에 대응되는 현황정보를 추출하여 상기 추출된 현황정보를 포함한 웹페이지를 제공한다(S110).

상기 관리자기기(400)는 상기 웹페이지를 통해 상기 현황정보를 디스플레이하여 상기 과일의 현화을 모니터링할 수 있게 된다(S120).

상기와 같이 제어되는 과일 생장 모니터링 시스템은, 자율주행형 로봇을 통해 과일을 촬영하여 과일을 감지한 후 전이학습을 이용하여 과일의 성숙도 등과 같은 과일의 상태를 판단할 수 있어 실시간으로 과일의 상태를 모니터링할 수 있게 되며, 과일 재배의 관리에 대한 효율성과 자동화를 대폭 향상시킬 수 있음으로 인해 인건비 및 생산 비용을 대폭 줄일 수 있는 효과가 있다.

또한, 과일의 생육환경을 측정하여 과일의 수확시기 및 생산량을 예측할 수 있어 초보 농업인이 과일의 수확여부를 판단하는데 도움을 줄 수 있으면서 그에 따른 수익을 예측하는데 도움을 줄 수 있어 농업인의 만족도를 향상시킬 수 있게 된다.

또한, 과일의 성숙도 등과 같은 과일의 상태를 모니터링할 수 있어 상기 과일의 재배환경을 제어할 수 있기 때문에 과일의 생육에 최적화된 환경을 유지시킬 수 있게 되면서 과일의 품질 및 관리의 편리성을 향상시킬 수 있는 효과가 있다.

앞에서 설명되고, 도면에 도시된 본 발명의 실시 예들은 본 발명의 기술적 사상을 한정하는 것으로 해석되어서는 안 된다. 본 발명의 보호범위는 청구범위에 기재된 사항에 의하여만 제한되고, 본 발명의 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상을 다양한 형태로 개량 변경하는 것이 가능하다. 따라서 이러한 개량 및 변경은 통상의 지식을 가진 자에게 자명한 것인 경우에는 본 발명의 보호범위에 속하게 될 것이다.

100: 로봇 101: 본체부
102: 촬영부 103: 이동부
104: GPS부 105: 환경센서부
106: 로봇송신부 200: 관제서버
201: 과일학습모델생성부 202: 관제서버통신부
203: 관리자DB부 204: 환경기록부
205: 과일검출부 206: 색상값산출부
207: 과일상태판단부 208: 과일상태기록부
209: 데이터전달부 210: 생장예측모델생성부
211: 생장시기판단부 212: 수확예측부
300: 웹서버 301: 웹서버통신부
302: 현황정보생성부 303: 현황정보제공부
400: 관리자기기 401: 관리자정보부
402: 관리자통신부 403: 현황요청부
404: 디스플레이부 405: 제어부

Claims

미리 설정된 이동경로를 따라 자율주행하면서 과일을 촬영하여 촬영데이터를 생성하고 현위치의 환경정보를 측정하여 환경측정데이터를 생성하기 위한 로봇(100)과,
상기 로봇(100)으로부터 상기 촬영데이터와 상기 환경측정데이터를 수신받아 상기 촬영데이터 중 과일이미지를 검출한 후 상기 과일이미지의 색상값을 산출하고, 미리 과일별 색상에 따른 성숙도가 학습되어 저장된 과일학습모델을 통해 상기 산출된 과일이미지의 색상값에 따라 성숙도를 판단하여 상기 과일이미지에 대한 과일의 성숙도를 포함한 과일상태정보를 생성하기 위한 관제서버(200)와,
상기 관제서버(200)로부터 상기 과일상태정보와 상기 환경측정데이터를 수신받아 시각화하여 현황정보를 생성하기 위한 웹서버(300)와,
상기 과일을 관리하는 관리자정보가 입력되고, 상기 웹서버(300)로 상기 관리자정보를 포함한 현황요청신호를 생성하여 전송한 후 상기 웹서버(300)의 웹페이지를 통해 현황정보를 디스플레이하기 위한 관리자기기(400)를 포함하는 과일 생장 모니터링 시스템.
청구항 1에 있어서,
상기 관제서버(200)는, 미리 수집된 사전촬영데이터를 이용하여 과일이미지를 추출한 후 과일별로 분류하고 각 과일의 색상별로 성숙도를 분류하여 샘플링한 후 과일별 색상에 따라 성숙도가 학습전이된 과일학습모델을 생성하여 저장하기 위한 과일학습모델생성부(201)와,
상기 로봇(100) 및 상기 관리자기기(400)와 통신하기 위한 관제서버통신부(202)와,
상기 관제서버통신부(202)를 통해 상기 관리자기기(400)로부터 관리자정보를 수신받아 저장하기 위한 관리자DB부(203)와,
상기 관제서버통신부(202)를 통해 상기 로봇(100)으로부터 환경측정데이터를 수신받아 관리자별로 누적저장하여 기록하기 위한 환경기록부(204)와,
상기 관제서버통신부(202)를 통해 상기 로봇(100)으로부터 수신받은 촬영데이터에서 과일을 인식하여 과일이미지를 검출하기 위한 과일검출부(205)와,
상기 과일이미지의 색상을 분석하여 RGB 값을 통해 상기 과일이미지의 색상값을 산출하기 위한 색상값산출부(206)와,
상기 과일학습모델을 이용하여 상기 검출된 과일이미지와 동일한 과일의 색상별 성숙도 중 상기 과일이미지의 색상값에 따라 상기 과일이미지 내 과일의 성숙도를 판단하여 상기 과일이미지에 대한 과일의 현재 성숙도를 포함한 과일상태정보를 생성하기 위한 과일상태판단부(207)와,
상기 생성된 과일상태정보를 관리자별로 누적저장하여 관리하기 위한 과일상태기록부(208)와,
상기 저장된 과일상태정보와 상기 환경측정데이터와 해당 관리자정보를 상기 웹서버(300)로 전달하기 위한 데이터전달부(209)를 포함하는 과일 생장 모니터링 시스템.
청구항 2에 있어서,
상기 관제서버(200)는, 미리 저장된 과일별 평균 생장시기에 따른 생장데이터와 환경정보를 학습전이하여 과일별 성숙도에 따라 생장시기를 예측하기 위한 생장예측모델을 생성하여 저장하기 위한 생장예측모델생성부(210)와,
상기 생장예측모델을 통해 상기 과일상태정보에 포함된 과일의 현재 성숙도에 따른 상기 과일의 현재 생장시기를 판단하기 위한 생장시기판단부(211)와,
상기 과일의 현재 성숙도와 현재 생육시기를 이용하여 상기 과일의 수확여부를 판단하면서 상기 과일의 수확시기를 예측한 수확예측정보를 생성하기 위한 수확예측부(212)를 포함하는 과일 생장 모니터링 시스템.
청구항 3에 있어서,
상기 웹서버(300)는, 상기 관제서버(200) 및 상기 관리자기기(400)와 통신하기 위한 웹서버통신부(301)와,
상기 관제서버(200)로부터 상기 과일상태정보와 상기 환경측정데이터와 상기 수확예측정보를 수신받아 시각화하여 현황정보를 생성하기 위한 현황정보생성부(302)와,
상기 관리자기기(400)로부터 상기 현황요청신호를 수신받을 경우에 상기 현황요청신호에 대응되는 관리자정보의 현황정보를 포함한 웹페이지를 제공하기 위한 현황정보제공부(303)를 포함하는 과일 생장 모니터링 시스템.
청구항 4에 있어서,
상기 관리자기기(400)는, 상기 과일을 관리하는 관리자정보가 입력된 관리자정보부(401)와,
상기 웹서버(300)와 통신하기 위한 관리자통신부(402)와,
상기 관리자통신부(402)를 통해 상기 웹서버(300)의 웹페이지에 접속하여 상기 과일의 현황을 제공받기 위해 상기 관리자정보를 포함한 현황요청신호를 생성하여 상기 웹서버(300)로 전송하기 위한 현황요청부(403)와,
상기 웹서버(300)의 웹페이지를 통해 현황정보를 디스플레이하기 위한 디스플레이부(404)를 포함하는 과일 생장 모니터링 시스템.
미리 설정된 이동경로를 따라 자율주행하는 로봇(100)에서 과일을 촬영하여 촬영데이터를 생성하여 관제서버(200)로 전송하는 과일촬영단계와,
상기 로봇(100)에서 상기 과일을 촬영한 위치의 환경정보를 측정하여 환경측정데이터를 생성하여 상기 관제서버(200)로 전송하는 환경측정단계와,
상기 관제서버(200)에서 상기 로봇(100)으로부터 수신받은 촬영데이터 중 과일을 인식하여 과일이미지를 검출하는 과일이미지검출단계와,
상기 관제서버(200)에서 상기 검출된 과일이미지의 색상을 분석하여 상기 과일이미지의 색상값을 산출하는 과일색상값산출단계와,
상기 관제서버(200)에서 미리 과일별 색상에 따른 성숙도가 학습되어 저장된 과일학습모델을 이용하여 상기 산출된 과일이미지의 색상값에 따라 상기 과일의 현재성숙도를 판단하여 과일상태정보를 생성하는 과일상태판단단계와,
상기 관제서버(200)에서 미리 저장된 과일별 성숙도에 따라 평균 생장시기를 학습전이하여 생성되어 저장된 생장예측모델을 통해 상기 과일상태정보에 따른 상기 과일의 현재 생장시기를 판단하는 생장시기판단단계와,
상기 관제서버(200)에서 상기 과일의 현재 생장시기와 상기 과일의 현재 성숙도를 이용하여 상기 과일의 수확여부를 판단하고 상기 과일의 수확시기를 예측하여 수확예측정보를 생성하는 수확예측단계와,
상기 관제서버(200)에서 생성된 수확예측정보와 상기 과일상태정보와 상기 환경측정데이터를 웹서버(300)로 전달하는 데이터전달단계와,
상기 웹서버(300)에서 상기 관제서버(200)로부터 수신받은 수확예측정보와 과일상태정보를 시각화하여 현황정보를 생성하는 현황정보생성단계와,
상기 과일을 관리하는 관리자기기(400)에서 상기 과일의 현황을 제공받기 위해 현황요청신호를 생성하여 상기 웹서버(300)로 전송하는 현황요청단계와,
상기 웹서버(300)에서 상기 현황요청신호를 수신받아 해당 현황정보를 포함한 웹페이지를 제공하는 현황정보제공단계와,
상기 관리자기기(400)에서 상기 웹페이지를 통해 상기 현황정보를 디스플레이하는 모니터링단계를 포함하는 과일 생장 모니터링 시스템을 이용한 과일 생장 모니터링 방법.