KR20210084038A - 농작물 수확 로봇을 이용한 농작물 관리 서버 및 그 방법 - Google Patents

농작물 수확 로봇을 이용한 농작물 관리 서버 및 그 방법 Download PDF

Info

Publication number
KR20210084038A
KR20210084038A KR1020190176931A KR20190176931A KR20210084038A KR 20210084038 A KR20210084038 A KR 20210084038A KR 1020190176931 A KR1020190176931 A KR 1020190176931A KR 20190176931 A KR20190176931 A KR 20190176931A KR 20210084038 A KR20210084038 A KR 20210084038A
Authority
KR
South Korea
Prior art keywords
crop
information
management server
harvesting
robot
Prior art date
Application number
KR1020190176931A
Other languages
English (en)
Inventor
김명석
Original Assignee
주식회사 킨웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 킨웨어 filed Critical 주식회사 킨웨어
Priority to KR1020190176931A priority Critical patent/KR20210084038A/ko
Publication of KR20210084038A publication Critical patent/KR20210084038A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G06K9/00624—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mining & Mineral Resources (AREA)
  • Human Resources & Organizations (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Husbandry (AREA)
  • Economics (AREA)
  • Agronomy & Crop Science (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

농작물 수확 로봇을 이용한 농작물 관리 서버 및 그 방법에 관한 것으로, 적어도 하나의 프로세서에 의해 동작하는 농작물 관리 서버로서, 프로그램의 명령들(Instructions)을 실행하는 적어도 하나의 프로세서를 포함하고, 프로세서는 농작물 수확 로봇으로부터 농작물이 포함된 하나 이상의 영상 정보를 수신하는 단계, 영상 정보를 학습된 신경망에 입력하여 학습된 신경망에서 출력된 농작물 상태 정보를 획득하고, 농작물 상태 정보에 따라 하나 이상의 수확 조건을 판별하여 농작물의 수확 가능 여부를 판단하는 단계, 그리고 하나 이상의 농작물이 수확 가능하면, 수확 가능한 농작물을 특정하는 수확 정보를 농작물 수확 로봇에 제공하고, 상기 농작물 수확 로봇을 모니터링하는 단계를 포함한다.

Description

농작물 수확 로봇을 이용한 농작물 관리 서버 및 그 방법{AGRICULTURAL PRODUCT MANAGEMENT SYSTEM USING AGRICULTURAL PRODUCT HARVEST AUTONOMOUS ROBOT AND METHOD THEREOF}
본 발명은 농작물 수확 로봇을 이용한 농작물 관리 서버 및 그 방법에 관한 것이다.
농작물은 수확 시기에 맞춰 제때 수확을 해야 상품의 가치가 높기 때문에 농작물마다 수확 시기를 결정하는 것이 중요하며, 결정된 수확 시기에 대응하여 신속하고 정확하게 수확하는 것이 중요하다.
그러나 농작물의 수확 시기를 결정하는 것은 관리자의 경험에 의존하는 경향이 강하며, 농작물을 수확하기 위한 전문 인력의 부족 현상은 전 세계적으로 겪고 있는 공통적인 문제가 되고 있다.
이러한 문제를 해결하고자 농업의 각 단계에 인간을 대신하여 로봇을 활용하고자 하는 연구가 활발하게 진행되고 있다. 그러나 농작물을 자율 수확하는 농업 로봇은 대상 농작물에 대한 탐지와 익은 정도를 선별하기 위해서 값비싼 CPU나 GPU를 필요로 한다. 또한, 자율 수확용 로봇은 대부분 실내 유리온실이나 비닐하우스에서 농작물을 재배하기 때문에, 고온 고습의 환경 조건으로 인한 잦은 고장으로 고액의 유지보수 비용이 요구된다.
그러므로, 현장에서 작업하는 농업 로봇은 단순 구조로 농업 환경 조건에 최적하고, 농작물의 탐지 및 수확시기를 결정하는 시스템을 별도로 구성하여 원격으로 농업 로봇을 제어하거나 모니터링을 수행하는 기술이 요구된다.
해결하고자 하는 과제는 농작물의 상태를 분석하여 수확 여부를 확정하고, 농작물 수확 로봇을 통해 해당 농작물을 수확하는 농작물 관리 서버를 제공하는 것이다.
본 발명의 하나의 실시예에 따른 적어도 하나의 프로세서에 의해 동작하는 농작물 관리 서버로서, 프로그램의 명령들(Instructions)을 실행하는 적어도 하나의 프로세서를 포함하고, 프로세서는 농작물 수확 로봇으로부터 농작물이 포함된 하나 이상의 영상 정보를 수신하는 단계, 영상 정보를 학습된 신경망에 입력하여 학습된 신경망에서 출력된 농작물 상태 정보를 획득하고, 농작물 상태 정보에 따라 하나 이상의 수확 조건을 판별하여 농작물의 수확 가능 여부를 판단하는 단계, 그리고 하나 이상의 농작물이 수확 가능하면, 수확 가능한 농작물을 특정하는 수확 정보를 농작물 수확 로봇에 제공하고, 상기 농작물 수확 로봇을 모니터링하는 단계를 포함한다.
본 발명의 하나의 실시예에 따른 농작물 관리 서버와 네트워크로 연결된 농작물 수확 로봇의 동작 방법으로서, 장착된 RGB 카메라 또는 3D 깊이 카메라를 이용하여 농작물을 포함하는 영상을 촬영하는 단계, 영상을 상기 농작물 관리 서버로 송신하고, 농작물 관리 서버로부터 영상 내 하나 이상의 특정 영역 정보를 수신하는 단계, 특정 영역 정보에 기초하여 장착된 수확 모듈의 움직임 경로를 생성하는 단계, 그리고 움직임 경로에 기초하여 수확 모듈을 제어하여 수확하는 단계를 포함한다.
실시예에 따르면 농작물에 대한 다중 모드의 영상을 학습된 신경망에 입력하여, 농작물에 대한 수확시기, 농작물에 대한 방제 작업등을 수행하는 최적의 시기를 결정할 수 있다.
실시예에 따르면, 영상 처리 연산을 수행하는 시스템과 단순한 구조의 농작물 수확 로봇으로 구분하여 보다 제조 비용 및 유지 비용을 최소화할 수 있다.
실시예에 따르면 다양한 농가에 필요한 정보, 로봇의 상태, 농작물 수확 현황, 병해충 현황 등을 신속하게 확인할 수 있어 농가 관리의 편의성을 제공할 수 있다.
도 1은 한 실시예에 따른 농작물 관리 서버를 포함한 통신 네트워크를 나타낸 도면이다.
도 2는 한 실시예에 따른 농작물 수확 로봇을 나타낸 예시도이다.
도 3은 한 실시예에 따른 농작물 수확 로봇의 제어 프로세스를 설명하기 위한 예시도이다.
도 4는 한 실시예에 따른 농작물 관리 서버의 농작물을 수확하기 위한 방법을 나타낸 순서도이다.
도 5는 한 실시예에 따른 농작물 관리 서버의 영상 처리 구성을 설명하기 위한 예시도이다.
도 6은 한 실시예에 따른 농작물 수확 로봇의 농작물을 수확하기 위한 방법을 나타낸 순서도이다.
도 7은 한 실시예에 따른 관리자 단말에 출력되는 로봇 관리자 메뉴에 대한 화면을 예시적으로 나타낸 도면이다.
도 8은 또 다른 실시예에 따른 관리자 단말에 출력되는 농가 관리자 메뉴에 대한 화면을 예시적으로 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 한 실시예에 따른 농작물 관리 서버를 포함한 통신 네트워크를 나타낸 도면이다.
도 1에 도시한 바와 같이, 농작물 수확 로봇(100-1, 100-2,??,100-N, 100), 농작물 관리 서버(200), 외부 관계 서버(300) 그리고 관리자 단말(400)은 서로 통신망을 통하여 연결되어 있으며, 서로 데이터를 송수신한다. 통신망은 유선 통신 네트워크, 근거리 또는 원거리 무선 통신 네트워크, 이들이 혼합된 네트워크 등 데이터를 전달하는 모든 형태의 통신 네트워크를 포함할 수 있다.
농작물 수확 로봇(100)은 각 고유 ID가 할당되며, 소속된 농가, 농가의 농작물 종류, 연동되는 관리자 ID 또는 단말 등에 대한 정보가 연동되어 저장된다.
농작물 수확 로봇(100)은 장착된 카메라 또는 센서 등을 통해 수집된 데이터를 농작물 관리 서버(200)과 송신하고 농작물 수확에 관련한 제어 신호를 수신할 수 있다. 그리고 농작물 수확 로봇(100)은 수신한 제어 신호에 대응하여 구동할 수 있다.
또한 농작물 수확 로봇(100)은 농가 내부에서 자율적으로 이동가능하며, 상세하게는 실시간으로 장애물을 감지하고 감지된 장애물을 회피하여 이동할 수 있다.
그리고 농작물 수확 로봇(100)은 긴밀하게 연동되는 관리자 단말(400)으로부터 실시간으로 제어 신호를 수신받아 수신한 제어 신호에 따라 구동할 수 있다.
농작물 관리 서버(200)는 적어도 하나의 프로세서에 의해 동작하는 농작물 관리 서버로서, 메모리, 그리고 메모리에 로드된 프로그램의 명령들(Instructions)을 실행하는 적어도 하나의 프로세서를 포함한다.
농작물 관리 서버(200)의 프로세스는 학습된 신경망을 이용하여 농작물 수확 로봇(100)으로부터 수신한 영상 정보를 분석한다. 그리고 농작물 관리 서버(200)는 농작물을 인식하고, 인식된 농작물의 상태, 크기, 성장 정도, 병해충 여부 등을 판단할 수 있다.
예를 들어 농작물 관리 서버(200)는 객체 탐지에서 우수한 성능을 보이고 객체의 마스크까지 정확히 찾아내는 딥러닝 방식인 Mask R-CNN을 이용하여 영상 정보를 분석할 수 있다.
한편, 신경망은 Mask R-CNN, 순환신경망(RNN), 다층퍼셉트론 (MLP), 컨볼루션신경망(CNN), 방사기저함수(RBF) 등 AI 알고리즘을 포함하며 이외에도 다양한 심층 기계학습 알고리즘을 포함할 수 있다.
또한, 농작물 관리 서버(200)는 하나 이상의 농작물 수확 로봇(100)으로부터 수신하는 하나 이상의 영상 정보를 분석하기 위해 가상화된 가상 머신으로 GPU를 서버 형태로 구현하거나 클라우드 서비스를 이용하여 다수의 딥러닝 알고리즘을 동시에 구동할 수 있다.
그리고 농작물 관리 서버(200)는 외부 관계 서버(300)로부터 신경망을 학습하기 위한 학습 데이터를 수집하거나 연구 개발되거나 업데이트된 농작물 또는 병해충의 정보를 수집할 수 있다.
이러한 수집된 정보에 기초하여 농작물 관리 서버(200)는 신경망을 학습하거나 학습된 신경망에 대해서 재학습할 수 있다.
여기서 외부 관계 서버(300)는 국가 병해충 관리 서버, 농작물 관련 연구 기관 서버, 농가 관리 기관 서버 등을 포함하며, 농작물 관리 서버(200)에서 요청하는 정보를 제공하고 일부 정보에 대해서는 공유할 수 있다.
관리자 단말(400)은 농가 소유주의 개인 단말, 농장 내 설치된 IoT 단말, 농작물 수확 로봇(100)의 관리자 단말 등을 포함할 수 있으며, 각 농장에 대한 정보와 각 대응되는 농작물 수확 로봇(100)과 연계된다.
그리고 관리자 단말(400)은 농작물 관리 서버(200)에서 제공하는 농가 정보(모니터링 정보, 병해충 관리, 영농 소식 등)을 확인하고 제어가능하며, 로봇에 대응하여 제어하거나 상태를 확인하고 설정할 수 있다.
여기서, 의미하는 정보는 데이터, 사진이나 이미지 등을 포함하는 개념으로 특정한 데이터 종류를 한정하지 않는다.
관리자 단말(400)은 각각 메모리 수단, 프로세서를 구비함으로써 연산 처리 능력을 갖춘 단말기를 통칭하는 것이며, 예를 들어, 퍼스널 컴퓨터(personal computer), 핸드헬드 컴퓨터(handheld computer), PDA(personal digital assistant), 휴대폰, 스마트 기기, 태블릿(tablet) 등이 있다.
이하에서는 도 2 및 도 3을 이용하여 농작물 수확 로봇에 대해서 상세하게 설명한다.
도 2는 한 실시예에 따른 농작물 수확 로봇을 나타낸 예시도이고, 도 3은 한 실시예에 따른 농작물 수확 로봇의 제어 프로세스를 설명하기 위한 예시도이다.
도 2에 도시한 바와 같이, 농작물 수확 로봇(100)은 운반체(110)와 운반체(100)의 상부에 연결된 본체(120) 그리고 운반체(110)의 일측에 본체(120)와 일부 이격되어 위치하는 채집통(130)으로 구성된다.
상세하게는 운반체(110)는 농가 내에서 레일 또는 평면 바닥을 운행하기 위해 하나 이상의 바퀴를 포함하며, 안정적인 운행을 위해 라인 트레이서 카메라(111), TOF 센서(112-1,112-2, 112), 그리고 구동함에 있어 전원을 제공하는 전원 장치(113)를 포함한다.
라인 트레이서 카메라(111)는 운반체(110) 하단에 설치되어 농가 바닥면에 설치된 라인 또는 바코드로 된 이정표를 인식한다.
TOF 센서(112- 1,112-2, 112; Time Of Flight)는 운반체(110)의 측면에 장착되며, 근접한 장애물 또는 물체 등을 실시간으로 감지한다. 도 2에는 운반체(110)의 전면과 후면에 TOF 센서(112)가 장착된 것으로 도시하였으나 이에 한정하는 것은 아니며 농가의 상태, 주변 상황에 따라 장착되는 측면, 개수 등은 용이하게 변경 및 설계 가능하다.
라인 트레이서 카메라(111) 또는 TOF 센서(112)를 통해 인식되거나 감지한 정보는 연동되는 본체(120)에 전송된다.
그리고 전원 장치(113)는 운반체(110)과 본체(120)에 전력을 공급하는 내장 충전형 밧데리를 포함할 수 있으며, 작업 시간외에는 유선 또는 무선으로 대응되는 충전 장치와 연결하여 상용 전원으로 밧데리를 충전할 수 있다.
운반체(110)는 작물 성장 환경에 따라 고온, 고습의 환경에 적합하도록 높이또는 외형적 재질 등이 상이하게 설정 가능하며, 그에 따른 바퀴의 종류도 상이하게 변경될 수 있다.
한편, 운반체(110)와 긴밀하게 연결된 본체(120)에는 카메라 모듈(121), LED 모듈(122), 제어 프로세서 (123), 매니퓰레이터(124), 앤드이펙터(125), 그리고 그리퍼(126) 중에서 하나 이상을 포함한다.
카메라 모듈(121)은 RGB 카메라, 거리 측정이 가능한 3D 스테레오 카메라 또는 뎁스(depth) 카메라 그리고 적외선 카메라 중에서 하나 이상을 포함한다.
카메라 모듈(121)은 RGB 카메라를 통해 농작물의 상태, 농가 내부 또는 외부의 상황 정보 등이 포함되도록 촬영할 수 있으며, 3D 스테레오 카메라 또는 뎁스(depth) 카메라를 통해 거리 측정이 가능한 영상 정보를 촬영할 수 있다. 또는 카메라 모듈(121)은 적외선 카메라를 통해 야간에 농작물의 상태 또는 농가의 상황 정보를 촬영할 수 있다.
카메라 모듈(121)는 동시에 하나 이상의 영상을 촬영할 수 있으며, RGB 영상과 거리 정보 영상(3D depth)에 대해서 설정된 프레임 속도와 해상도를 동기화할 수 있다.
LED 모듈(122)은 일정한 제어 신호에 대응하여 온/오프 동작을 통해 조도를 조절한다.
제어 프로세서(123)는 라인 트레이서 카메라(111) 또는 TOF 센서(112)를 통해 인식되거나 감지한 정보를 이용하여 농가 내부의 제한적인 공간 안에서 자율적인 이동을 지원할 수 있다. 예를 들어, 제어 프로세서(123)는 이정표가 감지된 영역만을 이동하도록 제어하거나 장애물이 감지되면 감지된 장애물에 대응하여 이동 또는 움직임 경로를 변경하도록 제어할 수 있다.
그리고 제어 프로세서(123)는 카메라 모듈(121)의 촬영 영상 신호를 실시간으로 농작물 관리 서버(200)에 전송하고, 농작물 수확과 관련된 제어 신호 또는 이동과 관련된 제어 신호를 수신하여 적용할 수 있다.
한편, 제어 프로세스(123)는 농작물 관리 서버(200)으로부터 수확 가능한 농작물에 대해서 바운딩 박스나 마스크 정보를 수신하는 경우, 실시간으로 촬영되는 3D 깊이 영상 정보와 결합하여 해당 수확 농작물에 대한 공간적 좌표와 크기 정보를 도출할 수 있다. 그리고 제어 프로세스(123)는 해당 농작물을 수확하기 위한 이동 또는 움직임 경로를 산출하고, 산출된 이동 또는 움직임 경로에 대응하여 장애물의 여부를 판단하고 장애물이 있는 경우에 해당 장애물을 회피하는 이동 또는 움직임 경로를 재산출할 수 있다.
또한, 제어 프로세서(123)는 채집통(130)의 위치를 인지하고 있으며, 농작물이 손상되지 않도록 채집통(130) 내부의 일정한 위치에서 농작물을 쥐는 그리퍼(126)의 압력이 해제되도록 제어할 수 있다.
상세하게는 도 3에 도시한 바와 같이, 제어 프로세스(123)은 라인 트레이서 카메라(111), TOF 센서(112), 카메라 모듈(121), LED 모듈(122), 매니퓰레이터(124) 그리고 엔드이펙터(125) 등으로부터 실시간 데이터를 수집하고 이를 분석하여 대응하는 제어 신호를 각각의 구성으로 제공할 수 있다.
이때, 제어 프로세스(123)는 예를 들어 라즈베리 파이4 와 같은 임베디드 프로세서로 구현 가능하다.
그리고 제어 프로세스(123)는 카메라 모듈(121)과는 USB3 통신부를 통하여 영상 정보를 수신하고 매니퓰레이터(124) 그리고 엔드이펙터(125)로부터는 Ethernet 통신부를 이용하여 정보를 전달하며, 농작물 관리 서버(200)과는 5G 통신 모듈(150)을 활용하여 5G 망으로 접속하거나 내장된 WIFI 통신부를 이용하여 WIFI를 이용하여 접속할 수 있다.
이외에도 제어 프로세스(123)은 HDMI 인터페이스 또는 스피커 출력 인터페이스를 통해 모니터 또는 스피커(140)에 영상을 제공하거나 설정 GUI 화면을 제공할 수 있으며, 로봇의 동작 상태나 위급 상황을 알릴 수 있도록 알람 모듈(160)과 GPIO를 이용하여 구현 가능하다.
매니퓰레이터(124)는 본체(120)에 장착된 앤드이펙터(125) 또는 그리퍼(126)가 농작물의 수학하기 위한 위치에 이동할 수 있도록 일정 작업 반경, 높이 그리고 방향 등과 같은 자유도를 가지고 있다. 매니퓰레이터(124)는 직진 운동 또는 회전 운동을 통해 특정 좌표를 향해 이동하는 움직임 경로 신호에 기초하여 이동할 수 있다.
앤드이펙터(125)는 농작물 수확을 위해 농작물이 식물에 연결되는 영역을 비틀거나 절단하기 위한 도구로, 소형의 전기톱 또는 전동 가위의 구조를 가진다.
그리고 그리퍼(126)는 농작물 안정적인 수확을 위해서 직접 농작물을 쥐는 역할을 한다. 그리퍼(126)는 농작물에 흠집이 나지 않도록 탄력성이 있는 소재로 내부에 형성될 수 있다.
실질적으로 농작물의 수학에 사용되는 앤드이펙터(125)와 그리퍼(126)는 대상 농작물의 모양 또는 크기에 대응하여 그리퍼(126)의 형상, 크기 등이 변경 및 설계 가능하다.
그리고 그리퍼(126)은 제어 신호에 의해 수확된 농작물이 안전하게 채집통(130)의 내부에 위치하도록 설정된 높이(좌표)에서 농작물을 잡기 위해 가해진 압력을 해제할 수 있다.
이하에서는 도 4 내지 도 5을 이용하여 농작물 수확 로봇(100)과 연동하여 농작물 관리를 수행하는 농작물 관리 서버(200)에 대해서 상세하게 설명한다.
도 4는 한 실시예에 따른 농작물 관리 서버의 농작물을 수확하기 위한 방법을 나타낸 순서도이고, 도 5는 한 실시예에 따른 농작물 관리 서버의 영상 처리 구성을 설명하기 위한 예시도이다.
농작물 관리 서버(200)는 농작물을 포함하는 하나 이상의 영상 신호를 수신한다(S110).
농작물 관리 서버(200)는 연동되는 하나 이상의 농작물 수확 로봇(100)으로부터 실시간으로 촬영된 하나 이상의 영상 신호를 수신한다.
이때, 농작물 관리 서버(200)는 통신 또는 내부 또는 외부적인 요인에 의하여 수신한 영상 신호가 비정상적으로 수신하거나 유실된 신호이라고 판단되는 경우, 해당 농작물 수확 로봇(100)로 영상 신호의 재전송을 요청할 수 있다.
여기서 영상 정보는 RGB 영상과 3D 이미지 이거나 RGB 영상과 적외선(Infrared) 영상 정보를 포함하지만, 반드시 한정하는 것은 아니다.
그리고 농작물 관리 서버(200)는 농작물 수확 로봇(100)으로부터 수신한 영상 정보와 함께 고유 ID를 수신하고, 수신한 고유 ID에 기초하여 해당 영상 정보를 분류하여 별도의 데이터베이스에 저장할 수 있다.
다음으로 농작물 관리 서버(200)는 수신한 영상 정보를 학습된 신경망에 입력하여 N개의 농작물을 인식한다(S120).
여기서 N은 1 이상의 자연수를 의미하며, i의 변수에 대해서 1로 정의한다.
농작물 관리 서버(200)는 고유 ID에 연계된 농작물의 품종을 구분하고 해당 농작물의 품종에 대응하여 학습된 신경망을 선택하여 해당 영상을 분석할 수 있다.
그리고 농작물 관리 서버(200)는 영상 정보에 대해서 현재 시점에 대한 농작물의 열매, 잎, 줄기, 농작물의성장 단계, 익은 정도, 병해충 정보 이외에도 미래 시점에서의 예측되는 수확량, 발생 가능성이 높을 것으로 예측되는 병해충 정보 등을 분석할 수 있다.
도 6에 도시한 바와 같이, 농작물 관리 서버(200)는 수신한 영상 정보 중에서 RGB 이미지를 버퍼에 저장한다(S121).
농작물 관리 서버(200)는 서비스 식별 ID, 프레임 넘버, class_ID와 같은 정보를 포함하는 RGB 이미지를 버퍼(FIFO)에 저장할 수 있다.
여기서 서비스 식별 ID는 수확용 ID, 병해충 ID, 트레이닝 ID 등으로 구분될 수 있다.
다음으로 농작물 관리 서버(200)는 가상화에 의한 가상 머신에 로드를 분배한다(S122).
농작물 관리 서버(200)는 로드벨런서에 의해 다수의 GPU 중에서 사용 가능한 GPU를 검색하여 할당한다. 여기서, 각각의 GPU는 가상화에 의한 가상 머신을 통해 서버 형태로 구현될 수 있다. 이외에도 농작물 관리 서버(200)는 각 학습된 신경망에 대응하는 클라우드 서버를 구축할 수 있다.
이때, RGB 이미지 정보 이외에 서비스 식별 ID에 대응하여 해당되는 GPU에 할당된다.
농작물 관리 서버(200)는 N-1개의 동시 서비스가 가능한 GPU를 통해 해당 농작물에 대응하는 가중치, 파라미터 등을 이용하여 해당 RGB 이미지 정보를 학습된 신경망에 적용한다(S123).
한편, A 영역의 GPU는 학습을 위한 것으로 서비스 식별 ID가 트레이닝 ID 인 경우, 농작물 관리 서버(200)는 해당 RGB 이미지를 A 영역의 GPU로 전달되고 구축된 학습 데이터(dataset)을 이용하여 학습을 수행할 수 있다.
이와 같이, 농작물 관리 서버(200)는 학습되지 않은 신규한 농작물에 대해서는 학습 데이터(dataset)를 이용하여 학습 과정과 테스트 과정을 통해 산출된 결과값의 신뢰도가 임계치 이상이거나 가중치 또는 파라미터가 고정될 때까지 반복 학습을 수행할 수 있다.
농작물 관리 서버(200)는 영상 정보에서 농가에 대응하는 작물의 품종, 종류에 대응하여 농작물의 잎, 줄기, 열매, 농작물의 성장 단계, 수확 시기 등에 대한 정보가 도출되도록 신경망 알고리즘의 가중치, 변수 등을 변경하면서 반복 학습 가능하다.
또한, 농작물 관리 서버(200)는 영상 정보에서 해당 농작물에 대응하는 병해충 정보를 매칭하여 각 농작물의 성장 단계마다 발생 확률이 높은 병해충 정보와 비교하여 해당 농작물의 병해충 정보를 도출하도록 학습할 수 있다.
이처럼, 농작물 관리 서버(200)는 연동되는 외부 관계 서버(300) 또는 데이터베이스(미도시함)으로부터 학습 데이터를 수집하고, 학습 데이터를 이용하여 신경망을 반복 학습시킨다.
그리고 농작물 관리 서버(200)는 학습이 완료되면, 해당 가중치 및 파라미터를 가지는 학습된 신경망을 저장하여 관리할 수 있다.
한편, 농작물 관리 서버(200)는 학습된 신경망에 대해서도 새로운 정보가 수집되는 경우, A 영역의 GPU를 이용하여 재학습을 수행할 수 있다.
이에 서비스 식별 ID가 병해충 ID인 경우에도 동일하게 적용가능하다.
이때, 신경망은 각각 산출하고자 하는 결과값(수확 결정, 병해충, 수확량 예측등) 에 대응하여 각각 독립적인 신경망을 가질 수 있으며, 각 신경망은 긴밀하게 연동 가능하다.
이와 같이, 농작물 관리 서버(200)는 학습된 신경망을 통해 농작물을 특정하고, 특정된 농작물마다 바운딩 박스나 마스크 정보를 산출할 수 있다. 그리고 이를 통해 농작물 관리 서버(200)는 해당 농작물의 숙성 정도, 수확에 필요한 상태 여부를 판단할 수 있다.
다음으로 농작물 관리 서버(200)는 농가에 대응한 3D 이미지 정보와 영상 정보를 정렬하여 합성한다(S130).
농작물 관리 서버(200)는 분석된 영상 정보를 3D 이미지 정보와 합성함으로써, 농작물 마다 깊이 정보를 연결할 수 있다.
그리고 농작물 관리 서버(200)는 인식된 i번째 농작물에 대해서 수확 가능여부를 판단한다(S140).
여기서, 수확 가능 여부를 판단하는 기준은 해당 i번째 농작물의 크기가 임계치 이상인지, i번째 농작물과 농작물 수확 로봇(100)과의 거리가 작업 반경 이내인지, 수확에 필요한 움직임에 대응하여 방해되는 장애물이 없는 지 등을 포함하며 이에 한정하는 것은 아니다.
이때, 농작물 관리 서버(200)는 농작물의 크기 이외에도 해당 농작물에 미리 설정한 색체 분별 히스토그램등을 적용하여 수확 가능 여부를 판단할 수 있다.
이처럼 농작물 관리 서버(200)는 판단 기준 중에서 필수 조건을 만족하는 경우 또는 모든 조건을 만족하는 경우, 수확이 가능하다고 판단할 수 있다.
다음으로 농작물 관리 서버(200)는 i번째 농작물에 대해서 수확이 가능하면, 거리, 크기 좌표의 수확 정보를 생성하여 제공한다(S150).
수확 정보는 수확이 가능한 농작물과 농작물 수확 로봇(100)의 거리 정보, 농작물의 크기 정보, 농작물의 좌표 정보 등을 포함한다.
이때, 농작물 수확 로봇(100)은 수신된 수확 정보에 기초하여 이동체(110) 이동 거리 또는 역운동학(inverse kinematics)을 이용한 매니퓰레이터(124)의 각 조인트에서 직선 또는 회전 움직임, 해당 농작물의 크기에 따른 그리퍼(126)의 가압 정도, 앤드이펙터(125)의 기준 좌표 등을 제어할 수 있다.
농작물 관리 서버(200)는 수확 정보를 농작물 수확 로봇(100) 또는 관리자 단말(400)에 제공한 후, 미리 설정된 시간, 제어 신호를 수행함에 있어서 소요될 예측 시간까지 대기할 수 있다. 또는 농작물 관리 서버(200)는 농작물 수확 로봇(100)으로부터 해당 i번째 농작물을 수확한 신호를 수신할 때까지 대기할 수 있다.
그리고 농작물 관리 서버(200)는 i번째 농작물이 N보다 작은 값을 가지는지 판단한다(S160).
한편, 농작물 관리 서버(200)는 S140 단계에서 i번째 농작물에 대해서 수확이 불가능하다고 판단하면, S160 단계에서 i가 N과 일치하는지 확인한다.
다음으로 농작물 관리 서버(200)는 i가 N보다 작다면 i에 1을 더하고(S180) S140 단계로 회귀한다(S170).
농작물 관리 서버(200)는 N 번째의 농작물이 될 때까지 해당 단계를 반복 적으로 수행한다.
그리고 농작물 관리 서버(200)는 i가 N보다 같거나 크다면, 농작물 수확 로봇(100)에게 다음 수확위치로 이동 지시한다(S180).
농작물 관리 서버(200)는 미리 설정된 거리 간격만큼 이동할 것을 농작물 수확 로봇(100)에 요청할 수 있다.
한편, S120 단계에서 농작물 관리 서버(200)는 수신한 영상 정보에서 농작물 인식을 실패하는 경우, S180 단계로 바로 진행할 수 있다.
그리고 도 5에서 S120 단계까지 농작물 관리 서버(200)에서 수행하고, 농작물 관리 서버(200)는 농작물을 특정한 바운딩 박스나 마스크 정보를 농작물 수확 로봇(100)에 제공하고, S130 단계 이후에는 단계의 주체가 농작물 수확 로봇(100)으로 진행될 수 있다.
예를 들어, 농작물 관리 서버(200)에서 S120 단계에서 학습된 신경망을 통해 도출된 정보(바운딩 박스나 마스크 정보를 포함한 정보)를 농작물 수확 로봇(100)에 제공하고, 이후의 S130 단계의 이하에서는 농작물 수확 로봇(100)에서 구현되도록 설정할 수 있다.
상세하게는 농작물 수확 로봇(100)은 농작물 관리 서버(200)으로부터 수신한 분석 결과에 기초하여 실시간으로 촬영된 RGB 영상과 3D 깊이 영상에 매칭하고 공간적 좌표와 수확할 농작물의 크기 정보, 장애물 여부 등에 대해서 판단할 수 있다.
이러한 구성은 추후에 농장의 환경이나 구현 가능한 조건에 대응하여 관리자에 의해 변경 또는 설계 가능하다.
이하에서는 도 6을 이용하여 농작물 관리 서버(200)와 연동되는 농작물 수확 로봇(100)의 농작물 수확 방법에 대해서 상세하게 설명한다.
농작물 수확 로봇(100)은 장착된 RGB 카메라 또는 3D 깊이 카메라를 이용하여 농작물을 포함하는 영상을 촬영한다(S210).
농작물 수확 로봇(100)은 RGB 카메라 또는 적외선 카메라(Infrared)와 3D 깊이 카메라(Depth)를 통해 하나 이상의 농작물에 대해서 촬영한다.
그리고 농작물 수확 로봇(100)은 촬영한 영상을 농작물 관리 서버로 송신한다(S220). 농작물 수확 로봇(100)은 촬영된 RGB 영상, 적외선 영상, 또는 3D 깊이 영상 중에서 선택적으로 하나 이상의 영상을 전송할 수 있다.
다음으로 농작물 수확 로봇(100)은 농작물 관리 서버(200)로부터 영상 내 하나 이상의 특정 영역 정보를 수신한다(S230).
여기서, 농작물 관리 서버(200)는 영상을 학습된 신경망에 입력하여 농작물 상태 정보를 획득하고, 농작물 상태 정보에 따라 하나 이상의 농작물이 수확 가능하면, 수확 가능한 농작물을 특정하는 정보를 특정 영역 정보로 전송한다.
이때, 특정 영역 정보는 영상에 수확 가능한 농작물을 바운딩 박스 또는 마스크 정보 등을 통해 표시한 정보를 의미한다. 또는 특정 영역 정보는 수확 가능한 농작물을 특정한 바운딩 박스 또는 마스크 정보와 함께, 해당 농작물의 공간적 좌표와 크기 정보를 더 포함할 수 있다.
예를 들어, 특정 영역 정보에 수확 가능한 농작물을 바운딩 박스 또는 마스크 정보 등을 통해 표시한 정보만 있는 경우, 농작물 수확 로봇(100)은 촬영된 3D 깊이 영상을 합성하여 해당 농작물의 공간적 좌표와 크기 정보를 생성할 수 있다.
다시 말해, 농작물 수확 로봇(100)은 특정 영역 정보를 수신하면, 수신한 특정 영역 정보와 3D 깊이 카메라의 영상을 합성하고, 합성된 영상을 통해 농작물의 공간적 좌표와 크기 정보를 생성할 수 있다.
그리고 농작물 수확 로봇(100)은 특정 영역 정보에 기초하여 장착된 수확 모듈의 움직임 경로를 생성한다(S240).
농작물 수확 로봇(100)은 장착된 매니퓰레이터, 그리퍼 그리고 앤드이펙터 중에서 하나 이상을 포함하는 수확 모듈의 움직임 좌표를 상기 공간적 좌표와 일치시킨다. 그리고 농작물 수확 로봇(100)은 일치시킨 좌표에 기초하여 특정 영역에 위치하는 농작물을 수확하기 위한 매니퓰레이터, 그리퍼 그리고 앤드이펙터의 각각의 움직임 경로를 생성할 수 있다.
농작물 수확 로봇(100)은 매니퓰레이터, 그리퍼 그리고 앤드이펙터의 움직임 경로를 결합하여 하나의 전체 움직임 경로를 생성한다. 이때, 매니퓰레이터, 그리퍼 그리고 앤드이펙터는 동시 시점 또는 순차적인 시점에 따라 움직이면서 최종적으로 농작물을 수확할 수 있다.
한편, 농작물 수확 로봇(100)은 결합된 움직임 경로에서 장애물의 존재를 판단하여, 장애물을 감지하면, 해당 장애물을 회피하는 움직임 경로로 재설정할 수 있다.
이때, 농작물 수확 로봇(100)은 특정 영역에 위치하는 농작물과의 거리가 작업 반경 이내에 위치하는 지 판단하여 작업 반경을 벗어나면, 농작물과의 거리가 작업 반경 이내에 위치하도록 이동할 수 있다. 농작물 수확 로봇(100)은 이동한 이후에도 농작물과의 거리가 작업 반경 이내에 포함되지 않는 경우, 해당 농작물에 대한 수확 동작을 종료한다. 이때, 농작물 수확 로봇(100)은 해당 농작물에 대한 수확 동작 종료를 농작물 관리 서버(200)로 전송할 수 있고, 다음 수확 가능한 농작물을 수확하기 위한 움직임 경로를 생성할 수 있다.
한편, 농작물 수확 로봇(100)은 움직임 경로에 기초하여 수확 모듈을 제어하여 수확하는 동작한다(S250).
농작물 수확 로봇(100)은 수확된 농작물을 이동체(110)의 상면의 일부 영역 또는 미리 지정된 공간에 설정된 채집통 내부에 옮길 수 있다. 그리고 농작물 수확 로봇(100)은 수확 성공 여부에 대한 신호를 농작물 관리 서버(200)에 전송할 수 있다.
또한, 농작물 수확 로봇(100)은 수확 가능한 농작물에 대한 수확을 모두 종료하면 채집통을 미리 지정된 공간에 두고 다음 촬영 장소로 이동할 수 있다.
이하에서는 도 7 및 도 8을 이용하여 관리자 단말(400)을 통해 농작물 수확 로봇과 농가에 대한 제어, 모니터링, 정보 확인 등을 수행하는 과정에 대해서 상세하게 설명한다.
도 7은 한 실시예에 따른 관리자 단말에 출력되는 로봇 관리자 메뉴에 대한 화면을 예시적으로 나타낸 도면이고, 도 8은 또 다른 실시예에 따른 관리자 단말에 출력되는 농가 관리자 메뉴에 대한 화면을 예시적으로 나타낸 도면이다.
도 7에서 도시한 바와 같이, 농작물 관리 서버(200)는 관리자 단말(400)에 농작물 수확 로봇(100)을 설정 또는 시험 테스트 등을 수행할 수 있도록 기능을 제공할 수 있다.
구체적으로 관리자 단말(400)은 가입자 등록 메뉴(411)을 통해 가입자의 ID와 password와 해당 농작물 수확 로봇(100)의 제조시 부여된 고유제조번호 등록하고 농가 관리인 농가 주소 및 전화번호 등의 정보를 입력받을 수 있다.
또한 로봇정보등록 메뉴(412)를 통하여 농작물 수확 로봇(100)의 구성과 관련된 매니퓰레이터, 앤드이펙터, 또는 그리퍼의 형상, 종류, 크기 등을 선택받을 수 있다.
농작물정보등록 메뉴(413)에서는 농가에서 재배하여 수확하고자 하는 농작물 종류 및 품종에 따른 코드를 선택받아 등록할 수 있다.
농작물 관리 서버(200)는 가입자 등록 메뉴(411), 로봇정보등록 메뉴(412) 그리고 농작물정보등록 메뉴(413)를 통해 등록 절차를 완료할 수 있다.
이처럼 등록 절차가 완료되면 로봇 설정 메뉴(416)를 통하여 농작물 수확 로봇(100)의 구성 소프트웨어 버전의 버전을 확인하고 필요시 웹을 통하여 소프트웨어의 최신의 버전으로 업데이트할 수 있다.
그리고 별도로 연동되는 앱 또는 웹페이지를 통해 농작물 수확 로봇(100)의 시험 가동을 로봇제어 메뉴(414)에 따라 수행하고 동작을 확인할 수 있으며 또한 농작물 수확 로봇(100)의 동작 상태 정보를 알리는 로봇상태 메뉴(415)를 통하여 농작물 수확 로봇(100)의 동작, 알람 및 밧데리 충전 상태 등의 실시간 농작물 수확 로봇(100)의 상태를 확인할 수 있다.
이때, 한 명의 가입자에 대응하여 하나 이상의 농작물 수확 로봇(100)과, 복수개의 농작물 정보를 등록할 수 있으며, 농작물 수확 로봇(100)은 고유제조 번호와 같은 고유 ID를 이용하여 선택할 수 있다.
한편 도 8에 도시한 바와 같이, 농작물 관리 서버(200은 관리자 단말(400)에 농가 관리자를 위한 기능을 제공할 수 있다.
구체적으로 관리자 단말(400)은 로봇 모니터링 메뉴(421)를 통해 현재 농작물 수확 로봇(100)의 동작 상태나 충전 상태 혹은 알람 상태 등 농작물 수확 로봇(100)의 제반 사항들을 확인할 수 있으며 수확 모니터링 메뉴(422)를 통해 농작물 수확 로봇(100)의 농작물의 수확 상황을 실시간으로 모니터링할 수 있다.
그리고 관리자 단말(400)은 의심되는 병해충을 판별하도록 농작물 관리 서버(200)에 의뢰할 수 있도록 관리자가 직접 촬영한 영상을 업로드하면 병해충에 대한 탐지결과를 알려주는 병해충 관리 메뉴(423)와 영농 소식 메뉴(424)를 통해 영농과 관련한 다양한 소식 정보를 제공받을 수 있다. 또한 관련 사이트(425)를 접속하면 농업진흥청이나 국가병해충관리 기관 등의 관련 사이트로 연동되어 정보를 검색할 수 있다.
이와 같이 본 발명의 일 실시예에 따르면, 농작물에 대한 다중 모드의 영상을 학습된 신경망에 입력하여, 농작물에 대한 수확시기, 농작물에 대한 방제 작업등을 수행하는 최적의 시기를 결정할 수 있다. 또한, 다양한 농가에 필요한 정보, 로봇의 상태, 농작물 수확 현황, 병해충 현황 등을 신속하게 확인할 수 있어 농가 관리의 편의성을 제공할 수 있다.
한편, 농작물 관리 서버(200)는 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다.
컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 여기서 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함된다.
이상에서 본 발명의 바람직한 하나의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (15)

  1. 적어도 하나의 프로세서에 의해 동작하는 농작물 관리 서버로서,
    프로그램의 명령들(Instructions)을 실행하는 적어도 하나의 프로세서를 포함하고,
    상기 프로세서는
    농작물 수확 로봇으로부터 농작물이 포함된 하나 이상의 영상 정보를 수신하는 단계,
    상기 영상 정보를 학습된 신경망에 입력하여 학습된 신경망에서 출력된 농작물 상태 정보를 획득하고, 상기 농작물 상태 정보에 따라 하나 이상의 수확 조건을 판별하여 상기 농작물의 수확 가능 여부를 판단하는 단계, 그리고
    하나 이상의 농작물이 수확 가능하면, 수확 가능한 농작물을 특정하는 수확 정보를 상기 농작물 수확 로봇에 제공하고, 상기 농작물 수확 로봇을 모니터링하는 단계
    를 실행하는, 농작물 관리 서버.
  2. 제1항에서,
    상기 농작물의 수확 가능 여부를 판단하는 단계는,
    학습된 신경망을 통해 상기 농작물의 크기, 성장 정도, 잎과 줄기 정보, 예측되는 수확량, 예측되는 수확 시기, 병해충 여부, 병해충 발생 가능성 중에서 하나 이상을 포함하는 상기 농작물 상태 정보를 획득하는 농작물 관리 서버.
  3. 제1항에서,
    상기 영상 정보는 RGB 영상 정보와 3D 거리 영상 정보를 포함하고,
    상기 농작물의 수확 가능 여부를 판단하는 단계는,
    상기 RGB 영상 정보를 이용하여 상기 농작물 상태 정보를 획득하면, 획득한 상기 농작물 상태 정보와 상기 3D 거리 영상 정보를 합성하여, 농작물의 공간적 위치 정보를 생성하는 농작물 관리 서버.
  4. 제2항 또는 제3항에서,
    상기 농작물의 수확 가능 여부를 판단하는 단계는,
    상기 농작물의 크기가 임계치 이상인 경우, 상기 농작물과 상기 농작물 수확 로봇과의 거리가 작업 반경 이내인 경우, 상기 농작물 수확 로봇의 수확 움직임의 경로에 장애물 존재하지 않는 경우 중에서 하나 이상에 해당하면 상기 농작물이 수확 가능한 것으로 판단하는 농작물 관리 서버.
  5. 제1항에서,
    상기 농작물의 수확 가능 여부를 판단하는 단계는,
    상기 농작물의 품종별로 학습된 하나 이상의 신경망에 대해 각각 구축된 가상 머신 또는 클라우드 서버를 통해 분산 처리를 수행하는 농작물 관리 서버.
  6. 제1항에서,
    상기 농작물의 품종 또는 업데이트된 정보에 기초하여 학습 데이터를 수집하고, 상기 학습 데이터를 이용하여 상기 농작물의 폼종에 따라 상기 농작물 상태 정보가 출력되는 신경망 또는 머신러닝을 학습시키는 단계를 더 포함하는 농작물 관리 서버.
  7. 제3항에서,
    상기 농작물 수확 로봇을 모니터링하는 단계는,
    상기 수확 가능한 농작물에 대한 바운딩 박스 또는 마스크 정보, 상기 수확 가능한 농작물의 공간적 위치 정보를 포함하는 상기 수확 정보를 상기 농작물 수확 로봇에 제공하는 농작물 관리 서버.
  8. 제1항에서,
    상기 농작물 수확 로봇을 모니터링하는 단계는,
    상기 농작물 수확 로봇의 상태 정보 모니터링 기능, 이력 관리 기능, 유지보수 관리 기능, 제어 기능, 설정 기능 중에서 하나 이상의 기능을 상기 농작물 수확 로봇과 연동되는 관리자 단말에 제공하는 농작물 관리 서버.
  9. 제2항에서,
    상기 농작물의 수확 상황, 품종, 관련 정보 중에서 하나 이상을 포함하는 농작물 정보를 연동되는 관리자 단말에 상기 농작물의 정보를 제공하는 단계를 더 포함하고,
    상기 농작물의 정보를 제공하는 단계는,
    상기 관리자 단말에서 촬영한 농작물의 영상을 입력받으면, 상기 학습된 신경망을 통해 상기 농작물의 상기 병해충 여부, 상기 병해충 발생 가능성을 획득하여 제공하는 농작물 관리 서버.
  10. 농작물 관리 서버와 네트워크로 연결된 농작물 수확 로봇의 동작 방법으로서,
    장착된 RGB 카메라 또는 3D 깊이 카메라를 이용하여 농작물을 포함하는 영상을 촬영하는 단계,
    상기 영상을 상기 농작물 관리 서버로 송신하고, 상기 농작물 관리 서버로부터 상기 영상 내 하나 이상의 특정 영역 정보를 수신하는 단계,
    상기 특정 영역 정보에 기초하여 장착된 수확 모듈의 움직임 경로를 생성하는 단계, 그리고
    상기 움직임 경로에 기초하여 상기 수확 모듈을 제어하여 수확하는 단계
    를 포함하는 농작물 수확 로봇의 동작 방법.
  11. 제10항에서,
    상기 특정 영역 정보는,
    상기 농작물 관리 서버에 의해 상기 영상을 학습된 신경망에 입력하여 농작물 상태 정보를 획득하고, 상기 농작물 상태 정보에 따라 하나 이상의 농작물이 수확 가능하면, 수확 가능한 상기 농작물을 특정하는 공간적 좌표와 크기 정보인 농작물 수확 로봇의 동작 방법.
  12. 제10항에서,
    상기 특정 영역 정보를 수신하면, 수신한 상기 특정 영역 정보와 상기 3D 깊이 카메라의 영상을 합성하고, 합성된 영상을 통해 농작물의 공간적 좌표와 크기 정보를 생성하는 단계를 더 포함하는 농작물 수확 로봇의 동작 방법.
  13. 제10항에서,
    상기 수확 모듈의 움직임 경로를 생성하는 단계는,
    매니퓰레이터, 그리퍼 그리고 앤드이펙터 중에서 하나 이상을 포함하는 상기 수확 모듈의 움직임 좌표를 공간적 좌표와 일치시키고, 상기 특정 영역에 위치하는 농작물을 수확하기 위한 상기 매니퓰레이터, 상기 그리퍼 그리고 상기 앤드이펙터의 각각의 움직임 경로를 생성하는 농작물 수확 로봇의 동작 방법.
  14. 제13항에서,
    상기 수확 모듈의 움직임 경로를 생성하는 단계는,
    상기 매니퓰레이터, 상기 그리퍼 그리고 상기 앤드이펙터의 움직임 경로를 결합하고, 결합된 상기 움직임 경로에서 장애물의 존재를 판단하여, 장애물을 감지하면, 상기 장애물을 회피하는 움직임 경로로 재설정하는 농작물 수확 로봇의 동작 방법.
  15. 제14항에서,
    상기 수확 모듈의 움직임 경로를 생성하는 단계는,
    상기 특정 영역에 위치하는 농작물과의 거리가 작업 반경 이내에 위치하는 지 판단하여 작업 반경을 벗어나면, 상기 농작물과의 거리가 작업 반경 이내에 위치하도록 이동하거나 수확 동작을 종료하는 농작물 수확 로봇의 동작 방법.
KR1020190176931A 2019-12-27 2019-12-27 농작물 수확 로봇을 이용한 농작물 관리 서버 및 그 방법 KR20210084038A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190176931A KR20210084038A (ko) 2019-12-27 2019-12-27 농작물 수확 로봇을 이용한 농작물 관리 서버 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190176931A KR20210084038A (ko) 2019-12-27 2019-12-27 농작물 수확 로봇을 이용한 농작물 관리 서버 및 그 방법

Publications (1)

Publication Number Publication Date
KR20210084038A true KR20210084038A (ko) 2021-07-07

Family

ID=76862235

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190176931A KR20210084038A (ko) 2019-12-27 2019-12-27 농작물 수확 로봇을 이용한 농작물 관리 서버 및 그 방법

Country Status (1)

Country Link
KR (1) KR20210084038A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210155249A (ko) * 2020-06-15 2021-12-22 정환홍 농작물 작업장치용 엔드 이펙터
KR102699874B1 (ko) * 2023-11-20 2024-08-28 주식회사 긴트 통신 시스템에서 농작물의 정보 또는 환경 정보에 기반하여 스마트 작업 영역 및 경로를 지정하기 위한 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210155249A (ko) * 2020-06-15 2021-12-22 정환홍 농작물 작업장치용 엔드 이펙터
KR102699874B1 (ko) * 2023-11-20 2024-08-28 주식회사 긴트 통신 시스템에서 농작물의 정보 또는 환경 정보에 기반하여 스마트 작업 영역 및 경로를 지정하기 위한 장치 및 방법

Similar Documents

Publication Publication Date Title
US20240306544A1 (en) Harvester with automated targeting capabilities
CN110139552B (zh) 机器人水果采摘系统
US20200333782A1 (en) Method and system for agriculture
US11285612B2 (en) Coordinating agricultural robots
KR101846301B1 (ko) 자동제어 장비를 이용한 작물 수확 및 관리 시스템
KR102291827B1 (ko) 스마트 팜의 작물 자동 생육 계측 시스템 및 그 방법
KR20210084038A (ko) 농작물 수확 로봇을 이용한 농작물 관리 서버 및 그 방법
KR102422346B1 (ko) 스마트팜 시스템 및 그의 동작 방법
Tejada et al. Proof-of-concept robot platform for exploring automated harvesting of sugar snap peas
US20240090395A1 (en) Method and system for pollination
US11991946B2 (en) Adaptively adjusting parameters of equipment operating in unpredictable terrain
KR102539765B1 (ko) 농산물의 ２ｄ 영상에서 수확을 위한 체적 평가 방법의 ３ｄ 변환 기술을 기반으로 작동하는 로봇에 의한 대상작물 수확 및 병충해 관리 시스템, 그 방법
CN116749173A (zh) 水果采摘机器人的管控方法及系统、水果采摘机器人
Gharakhani et al. Integration and preliminary evaluation of a robotic cotton harvester prototype
JP7259888B2 (ja) 収穫装置、収穫システム、収穫方法及びコンピュータプログラム
KR102371909B1 (ko) 드론을 이용한 스마트 팜 작물 감시 방법 및 감시 시스템
JP2021185758A (ja) 農作物収穫システム、及び農作物収穫装置
JP2023012812A (ja) 収穫ロボット、収穫ロボットの制御方法及び制御プログラム、並びに収穫システム
WO2020251477A1 (en) Automated system for crop pollination
KR102674670B1 (ko) 뉴럴 네트워크를 이용하는 스마트 팜 관리 장치 및 상기 스마트 팜 관리 장치를 포함하는 스마트 팜 관리 시스템
Gharakhani Robotic Cotton Harvesting with a Multi-Finger End-Effector: Research, Design, Development, Testing, and Evaluation
KR102630545B1 (ko) 잔디 상태에 따른 관리를 수행하는 로봇 및 로봇 제어방법
Wang ABC: Adaptive, Biomimetic, Configurable Robots for Smart Farms-From Cereal Phenotyping to Soft Fruit Harvesting
WO2022208973A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR20230101579A (ko) 스마트폰을 활용한 농작물 수확 로봇 자동 제어 시스템