KR102291827B1

KR102291827B1 - 스마트 팜의 작물 자동 생육 계측 시스템 및 그 방법

Info

Publication number: KR102291827B1
Application number: KR1020190073125A
Authority: KR
Inventors: 이재수; 이현동; 이상규; 곽강수; 김밝금; 김태현; 김상철; 백정현; 노시영
Original assignee: 대한민국
Priority date: 2019-06-19
Filing date: 2019-06-19
Publication date: 2021-08-24
Also published as: KR20200144905A

Abstract

본 발명의 일 실시예에 따른 작물 자동 생육 계측 시스템은, 작물의 위치와 작물의 정보를 자동으로 파악하여, 작물의 객체 이미지를 포함하는 작물 영상을 자동으로 촬영하는 지능형 작물 영상 자동 촬영 장치; 및 지능형 작물 영상 자동 촬영 장치로부터 수신된 작물 영상을 시계열적으로 처리하여 작물의 생육을 분석하는 작물 생육 분석 장치를 포함한다.

Description

스마트 팜의 작물 자동 생육 계측 시스템 및 그 방법{SYSTEM AND METHOD FOR AUTOMATIC CROP GROWTH MEASUREMENT IN SMART FARM}

본 발명은 스마트 팜의 작물 자동 생육 계측 시스템 및 그 방법에 관한 것이다.

최근 유인줄을 이용하여 재배하는 토마토, 파프리카 등의 작물의 생육량을 측정하기 위해 영상장치(스마트폰, RGB카메라)를 이용하여 영상 이미지를 수집하고 생육량으로 변환하는 영상처리기술들이 개발되고 있다.

스마트폰 및 RGB 카메라를 이용하여 비파괴적으로 작물의 옆(잎사귀)의 크기, 초장 및 줄기 두께 등의 영상이미지를 수집할 때 생육량으로 변환하는 영상처리를 위해서는 실제 알고 있는 레퍼런스 형태의 물건(구형태의 반지, 크기를 알고 있는 그리드(Grid) 판과 함께 영상이미지를 취득해야 하는 불편한 실정이다.

즉, 카메라로 측정된 이미지에서는 상대적인 크기는 알 수 있으나, 절대적인 크기를 알 수 없어, 이를 위해서, 실제 알고 있는 사이즈의 물체 이미지를 동시에 촬영하여, 실제 알고 있는 사이즈의 물체를 통해서, 작물의 엽의 크기, 초장, 줄기 두께 등 생육량의 정보를 획득하여야 한다.

따라서, 촬영시마다 레퍼런스를 제공하여야 하므로, 번거로우며 무인관리가 불가능한 문제점이 있다.

본 발명의 목적은, 레퍼런스를 제공할 필요가 없으며, 자동 촬영하여 시계열적인 분석을 통해 정확한 생육 계측이 가능하며, 무인 관리가 가능한 지능형 로봇을 이용한 작물 자동 생육 계측 시스템을 제공하는 데 있다.

본 발명의 일 실시예에 따른 작물 자동 생육 계측 시스템은, 수직방향으로 생장하는 작물의 생장 위치에 수직으로 배치되어, 작물의 생장 방향을 유인하는 유인줄; 및 유인줄 상에서 작물의 상부에 배치되며, 작물의 정보를 포함하는 QR 코드 판을 더 포함한다.

본 발명의 일 실시예에 있어서, 지능형 작물 영상 자동 촬영 장치는, 이동 수단; 이동 수단의 상부에 배치되고, 유인줄을 따라 상하로 이동 가능한 수직 조정기; 및 수직 조정기의 단부에 부착되어 수직 조정기와 함께 이동하면서, 작물 영상을 촬영하는 카메라를 포함하며, 지능형 작물 영상 자동 촬영 장치는 수직 조정기를 작동시켜, QR 코드 판을 인식하고, 이동 수단을 통해 QR 코드 판 및 QR 코드 판이 부착된 유인줄과 마주보는 지점으로 이동하고, 수직 조정기를 QR 코드 판과 동일한 높이에서 하부 방향으로 이동시킴에 따라, 카메라가 작물 영상을 촬영한다.

본 발명의 일 실시예에 있어서, 작물 생육 분석 장치는, 지능형 작물 영상 자동 촬영 장치로부터 수신된 제1 영상 및 제2 영상의 기준점을 일치시켜 매핑하는 매핑부; 매핑부로부터 수신된 제1 매핑영상 및 제2 매핑영상을 분석하여, 작물의 객체의 종류를 분류하는 분류부; 및 분류부로부터 분류된 객체의 길이를 x좌표 및 y좌표를 이용하여 연산하는 연산부를 포함한다.

본 발명의 일 실시예에 있어서, 작물 생육 분석 장치는, 제1 영상 및 제2 영상을 촬영 시점에 따라 시계열적으로 정렬하고, 시간별, 일별, 월별로 분류 및 저장하는 저장부를 더 포함한다.

본 발명의 일 실시예에 있어서, 카메라는, 깊이(depth) 정보를 포함하는 제1 영상을 촬영하는 제1 카메라; 및 색상(RGB) 정보를 포함하는 제2 영상을 촬영하는 제2 카메라를 포함한다.

본 발명의 일 실시예에 따른 작물 자동 생육 계측 시스템은, 작물의 위치를 따라 배치되며, 지능형 작물 영상 자동 촬영 장치의 이동 수단의 이동 방향, 이동 경로 및 이동 가능 범위를 한정하는 레일을 더 포함한다.

본 발명의 일 실시예에 있어서, 객체는 꽃, 줄기, 잎, 열매, 화방, 몽우리 및 생장점 중 적어도 하나 이상을 포함한다.

본 발명의 일 실시예에 따른 작물 자동 생육 계측 방법은, 지능형 작물 영상 자동 촬영 장치의 수직 조정기를 작동시켜 QR 코드 판을 인식하는 단계; 지능형 작물 영상 자동 촬영 장치의 이동 수단을 통해, 지능형 작물 영상 자동 촬영 장치를 QR 코드 판 및 QR 코드 판이 부착된 유인줄과 마주보는 지점으로 이동시키는 단계; 수직 조정기를 QR 코드 판과 동일한 높이로 이동시키는 단계; 수직 조정기를 하부 방향으로 이동시키는 단계; 수직 조정기의 말단에 부착된 제1 카메라가 작물의 깊이(depth) 정보를 포함하는 제1 영상을 촬영하는 단계; 및 수직 조정기의 말단에 부착된 제2 카메라가 작물의 색상(RGB) 정보를 포함하는 제2 영상을 촬영하는 단계를 포함한다.

본 발명의 일 실시예에 따른 작물 자동 생육 계측 방법은, 제1 영상 및 제2 영상을 촬영 시점에 따라 시계열적으로 정렬하고, 시간별, 일별, 월별로 분류 및 저장하는 단계; 매핑부가 제1 영상 및 제2 영상의 기준점을 일치시켜 매핑하는 단계; 분류부가 매핑부로부터 수신된 제1 매핑영상 및 제2 매핑영상을 분석하여, 객체의 종류를 분류하는 단계; 연산부가 분류된 객체의 길이를 x좌표 및 y좌표를 이용하여 연산하는 단계; 및 분석부가 연산된 객체의 길이를 통해, 작물의 생육 정보를 분석하는 단계를 더 포함한다.

본 발명의 일 실시예에 따른 작물 자동 생육 계측 시스템은, 작물을 인지하여 자동 주행이 가능함에 따라, 자동으로 작물 영상을 취득하여 저장 및 분석을 수행함으로서, 무인관리가 가능한 효과가 있다.

또한, 본 발명의 일 실시예에 따른 작물 자동 생육 계측 시스템은, 작물의 객체의 길이 측정을 위한 별도의 레퍼런스 없이도, 작물 영상을 분석하여 객체의 길이 연산까지 수행가능하므로, 길이 측정 과정이 더욱 수월한 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 작물 자동 생육 계측 시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 작물 자동 생육 계측 시스템의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 있어서, 작물 자동 생육 계측 시스템을 도시한 사시도이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 있어서, 종래의 이동 수단을 도시한 것이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 있어서, 지능형 작물 영상 자동 촬영 장치의 이동 수단을 도시한 것이다.
도 6은 본 발명의 일 실시예에 있어서, 이동수단의 완충부재를 도시한 것이다.
도 7a은 본 발명의 일 실시예에 있어서, 종래의 링크를 도시한 것이다. 도 7b은 본 발명의 일 실시예에 있어서, 수직조정기의 링크를 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 작물 자동 생육 계측 시스템을 도시한 것이다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 작물 자동 생육 계측 방법을 단계적으로 도시한 순서도이다.
도 11은 본 발명의 일 실시예에 작물 자동 생육 계측 방법의 흐름을 도시한 흐름도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명의 일 실시예에 따른 작물 자동 생육 계측 시스템은, 작물 재배 환경에서 사용하기 위한 시스템으로서, 작물의 상태를 자동으로 촬영하고 촬영된 작물을 영상을 통해 작물의 생장 정도를 용이하게 파악하기 위한 것이다.

본 발명의 영상 분석 시스템은 주로 토마토, 딸기 및 파프리카 등의 넝쿨식물 재배지, 특히 스마트 온실 내부에서 사용될 수 있다.

도 1은 본 발명의 일 실시예에 따른 작물 자동 생육 계측 시스템의 개략도이다.

도 1을 참조하면, 먼저, 지능형 작물 영상 자동 촬영 장치(100)는, 작물의 위치와 작물의 정보를 자동으로 파악하여, 작물의 객체 이미지를 포함하는 작물 영상을 자동으로 촬영하는 기능을 수행하는 장치이다.

객체란, 본 발명의 명세서상에서 작물의 꽃, 줄기, 잎, 열매, 화방, 몽우리 및 생장점 중 적어도 하나 이상을 포함하는 개념을 의미하며, 여기에서, 생장점이란, 수직방향으로 작물의 가장 높은 위치를 의미한다.

즉, 지능형 작물 영상 자동 촬영 장치(100)는 상기와 같은 객체 이미지를 포함하는 작물 영상을 촬영함으로써, 작물의 생장 속도, 작물 상태, 개화 및 수확 시기를 용이하게 파악할 수 있는 이점이 있다.

이러한 지능형 작물 영상 자동 촬영 장치(100)는 재배지 내에서 자율 주행이 가능하여 각각의 작물을 자동을 인지하고 촬영할 수 있도록 구현될 수 있다.

더하여, 지능형 작물 영상 자동 촬영 장치(100)는, 관리자에 의한 수동 제어가 가능하도록 별도의 제어기가 구비될 수 있으며, 상기 제어기 혹은 관리자 단말을 통해 원격 제어가 가능하도록 제공될 수도 있다.

이어서, 작물 생육 분석 장치(200)는, 지능형 작물 영상 자동 촬영 장치(100)로부터 수신된 작물 영상을 시계열적으로 처리하여 작물의 생육을 분석하는 기능을 수행한다.

예를 들어, 작물 생육 분석 장치(200)는 지능형 작물 영상 자동 촬영 장치(100)로부터 수신되는 작물 영상을 시간별, 일별, 월별 정렬하여 저장하고 비교 분석함으로써, 작물의 기간별 생장률 및 작물 상태를 파악할 수 있다.

작물 생육 분석 장치(200)는 상기 지능형 작물 영상 자동 촬영 장치(100)에 내장되도록 제공될 수 있으며, 외부에서 별도의 장치 형태로 제공될 수 있다. 이외에도, 작물 생육 분석 장치(200)는 서버의 형태로 제공되어 지능형 작물 영상 자동 촬영 장치(100)와 무선 연결됨에 따라 데이터를 송수신 가능하도록 제공될 수도 있다. 작물 생육 분석 장치(200)의 형태는 본 출원의 개념을 벗어나지 않는 범위내에서, 다양한 방식으로 제공될 수 있다.

상기와 같은 구성을 포함하는 본 발명의 작물 자동 생육 계측 시스템은, 작물 영상을 자동 촬영 가능함에 따라, 온실과 같은 작물 재배 시스템을 무인 관리하는 것이 가능한 이점이 있다.

또한, 본 발명의 작물 자동 생육 계측 시스템은, 촬영한 작물 영상을 시계열적으로 처리함에 따라, 작물의 상태를 시각적으로 즉각 확인할 수 있는 이점이 있으며, 작물의 생장 및 생육 정도를 정확하게 분석할 수 있는 효과가 있다.

이하에서는 본 발명의 일 실시예에 따른 작물 자동 생육 계측 시스템의 세부 구성에 대해 자세하게 설명한다.

도 2는 본 발명의 일 실시예에 따른 작물 자동 생육 계측 시스템의 구성을 도시한 블록도이다. 도 3은 본 발명의 일 실시예에 있어서, 작물 자동 생육 계측 시스템을 도시한 사시도이다.

도 2 및 도 3을 참조하면, 본 발명의 일 실시예에 따른 작물 자동 생육 계측 시스템(10)은 유인줄(300) 및 QR 코드 판(400)을 더 포함할 수 있다.

유인줄(300)은 일반적으로 토마토, 딸기 및 파프리카와 같은 넝쿨식물의 재배에 사용되는 것으로, 토양으로부터 수직방향으로 생장하는 작물의 생장 방향을 따라 수직하게 연장되도록 배치되어, 생장 방향을 유인하기 위한 구성이다.

유인줄(300)은 작물의 생장 위치마다 소정의 간격을 두고, 일렬로 제공될 수 있다. 유인줄(300)의 형태는 도면에 한정되는 것은 아니며, 공지된 형태의 유인줄(300)을 사용하여도 무방하다.

QR 코드 판(400)은 유인줄(300) 상에서 작물의 상부에 배치되며, 작물의 종류, 개종 시기를 비롯한 작물 정보를 포함하는 QR 코드를 표시한다.

이와 같은 QR 코드는 작물의 위치를 용이하게 파악하고, 작물 영상의 촬영 전 작물 정보에 대한 사전 파악을 가능하게 함에 따라, 작물 영상 처리 및 분석을 더욱 신속하게 하기 위한 구성이다.

QR 코드 판(400)은 이와 유사한 기능을 수행하는 다른 전자 식별판으로도 대체될 수 있으며, 이외에도 다양한 형태로 제공될 수 있다.

이어서, 본 발명의 일 실시예에 따르면, 지능형 작물 영상 자동 촬영 장치(100)는 이동수단, 수직조정기 및 카메라(130)의 세부 구성을 포함할 수 있다.

도 4a 및 도 4b는 본 발명의 일 실시예에 있어서, 종래의 이동 수단(110)을 도시한 것이다. 도 5a 및 도 5b는 본 발명의 일 실시예에 있어서, 지능형 작물 영상 자동 촬영 장치(100)의 이동 수단(110)을 도시한 것이다.

도 2 내지 5b를 참조하면, 이동 수단(110)은 지능형 작물 영상 자동 촬영 장치(100)의 하부를 지지해주는 지지부재, 지능형 작물 영상 자동 촬영 장치(100)가 상술한 레일(500) 상에서 이동 가능하도록 지지부재의 하부에 바퀴와 같은 형태로 제공되는 구름 부재를 포함할 수 있다.

또한, 이동 수단(110)은 지지부재의 하부면 중앙에서 시소형태의 힌지 구조로 돌출되는 보조부재를 더 포함할 수 있다. 이에 따라, 레일(500)의 굴곡으로 인해 발생하는 슬립에 대한 적응성을 향상시킴으로써, 지능형 작물 영상 자동 촬영 장치(100)의 더욱 안정적인 주행이 가능하도록 하는 이점이 있다.

도 6은 본 발명의 일 실시예에 있어서, 이동수단의 완충부재를 도시한 것이다.

도 2, 3 및 6을 참조하면, 이동 수단(110)은 지지부재와 보조부재의 사이에 완충부재를 더 포함하도록 제공될 수 있다.

이에 따라, 완충부재가 지능형 작물 영상 자동 촬영 장치(100)의 이동 중 발생하는 충격을 흡수함으로써, 완충 효과를 개선시킬 수 있는 이점이 있다.

도 2 및 3을 참조하면, 수직 조정기(120)는 이동 수단(110)의 상부에 배치되고, 유인줄(300)을 따라 상하로 이동 가능하도록 제공된다.

도 7a은 본 발명의 일 실시예에 있어서, 종래의 링크를 도시한 것이다. 도 7b은 본 발명의 일 실시예에 있어서, 수직조정기의 링크를 도시한 것이다.

도 2, 3, 7a 및 7b를 참조하면, 수직 조정기(120)는 적어도 2개 이상의 파트로 구성되며, 이웃하는 파트의 연결부에는 평면 링크가 적용될 수 있다.

이에 따라, 수직 조정기(120)는 링크를 통해 수평 및 수직이동이 모두 가능하도록 제공된다. 이 때, 링크에 적용되는 베어링은 페어, 즉, 한 쌍으로 제공함에 따라, 베어링의 수명을 보강할 수 있는 구조가 채택될 수 있다.

수직 조정기(120)의 이동 및 회전은 각도 센서에 의해 이루어지도록 제공될 수 있다. 각도 센서는 절대 각도 혹은 상대 각도를 측정할 수 있도록 제공되며, 상대 각도 센서가 장착되는 경우, 초기화 동작을 통해 절대 위치로 환산이 가능하도록 제공될 수 있다.

또한, 수직 조정기(120)의 가장 말단에는 후술할 카메라(130)가 배치되며, 카메라(130)의 각도를 조정하기 위해 카메라(130) 링크가 제공된다.

카메라(130) 링크는 평면 링크와는 독립적으로 각도 조절이 되도록 제공될 수 있으며, 상황에 따라 연동으로 회전될 수 있도록 제공된다.

이에 따라, 특정 위치에서 후술할 카메라(130)의 각도의 독립적인 상하좌우 조정이 가능하도록 제공될 수 있다.

또한, 카메라(130) 링크는 최소 200g 이상의 카메라(130)를 장착 가능한 내구성을 갖도록 설계되며, 카메라(130) 장착 상태에서도 ± 90˚의 각도 조절이 가능하게 제공될 수 있다.

나아가, 카메라(130) 링크는 촬영을 수행하는 과정에서의 이동 경로를 XY좌표 값으로 인식할 수 있다.

특히, 복수회 반복되는 특정 위치의 경우, 해당 좌표값을 저장해두었다가 필요시 좌표값을 불러와 더욱 신속하게 이동할 수 있도록 제공될 수 있다.

이어서, 카메라(130)는 수직 조정기(120)의 단부에 부착되어 수직 조정기(120)와 함께 이동하면서, 작물 영상을 촬영한다.

카메라(130)는 깊이(depth) 정보를 포함하는 제1 영상을 촬영하는 제1 카메라(130) 및 색상(RGB) 정보를 포함하는 제2 영상을 촬영하는 제2 카메라(130)를 포함한다.

제1 카메라(130)로는 깊이(depth) 인식이 가능한 ToF(Time-Of-Flight) 방식의 카메라(130)를 사용할 수 있으며, 제 2 카메라(130)는 색상 정보 인식이 가능한 RGB 카메라(130)를 사용할 수 있다.

이에 따라, 레퍼런스 없이도 특정 높이에서 작물의 생장 높이를 획득할 수 있다. 즉, 생장점으로부터 토양까지의 수직 높이를 측정함으로써, 작물의 생장 높이를 획득할 수 있게 된다.

이와 같은 생장점을 촬영에 활용하면, 카메라(130)가 생장점을 지나는 순간부터 상기 작물 영상의 촬영을 시작하도록 제공될 수도 있다.

이에 따라, 작물이 촬영되지 않은 불필요한 영상의 용량을 최소화할 수 있게 되므로, 더욱 신속하고 용이한 영상 처리 및 분석이 가능하게 된다.

지능형 작물 영상 자동 촬영 장치(100)가 상기와 같은 구성들을 포함함에 따라, 수직 조정기(120)를 작동시켜, QR 코드 판(400)을 인식하고, 이동 수단(110)을 통해 QR 코드 판(400) 및 QR 코드 판(400)이 부착된 유인줄(300)과 마주보는 지점으로 이동할 수 있다.

또한, 수직 조정기(120)를 QR 코드 판(400)과 동일한 높이까지 상승시키고, 다시 하부 방향으로 이동시킴에 따라, 카메라(130)가 작물 영상을 자동으로 촬영할 수 있다.

또한, 종래의 작물 생장 길이를 측정하기 위해 사용되는 별도의 추가적인 레퍼런스 없이 작물 영상을 통해 작물의 생장을 용이하게 분석할 수 있는 이점이 있다.

또한, 깊이와 색상을 모두 인식하는 영상 정보의 촬영이 가능함에 따라, 원근감 및 색감 표현이 더욱 자연스럽고 실제 대상에 가장 가까운 표현이 가능한 효과가 있다. 이에 따라, 작물의 객체에 대한 분류가 용이해지며, 객체의 생장 속도 및 작물의 상태, 병해충 여부를 정확하게 분석할 수 있는 이점이 있다.

나아가, 본 발명의 일 실시예에 따른 작물 자동 생육 계측 시스템(10)은, 지능형 작물 영상 자동 촬영 장치(100)가 주행되는 레일(500)을 더 포함할 수 있다.

레일(500)은 지능형 작물 영상 자동 촬영 장치(100)의 이동 수단(110)의 이동 방향, 이동 경로 및 이동 가능 범위를 한정하도록, 작물의 위치를 따라 적절하게 배치될 수 있다.

이에 따라, 지능형 작물 영상 자동 촬영 장치(100)의 이동 경로를 특정하게 제한함으로써, 주행 제어가 더욱 용이해지는 이점이 있다.

또한, 주행시 이동 경우의 수를 대폭 한정함에 따라, 상기 지능형 작물 영상 자동 촬영 장치(100)의 주행 중 발생할 수 있는 주행 오류 및 사고를 미연에 방지할 수 있는 효과가 있다.

실시예에 있어서, 상술한 지능형 작물 영상 자동 촬영 장치(100)는, 온실을 비롯한 작물의 재배지에서 자동 주행이 가능하도록, 적절한 주행 주기를 설정하여 적용할 수 있다.

즉, 지능형 작물 영상 자동 촬영 장치(100)가 작물 재배지를 쉬지 않고 순회할 수 있도록, 레일(500)을 이용하여 적합한 이동 경로를 생성함으로써, 제1 주기, 제2 주기, 제3 주기 등의 무한 순회를 반복 가능하도록 구현될 수 있다.

예를 들면, 재배지의 작물들을 모두 경유하면서 한 바퀴 순회할 수 있는 경로를 생성하고, 그 속도를 시간당 1회 순회하도록 설정하면, 지능형 작물 영상 자동 촬영 장치(100)의 운행이 중단되지 않고 지속적으로 작동될 수 있다.

따라서, 각각의 작물에 대해 1시간에 1회씩 지능형 작물 영상 자동 촬영 장치(100)가 자동으로 촬영을 수행하도록 제어되므로, 1시간 주기의 데이터를 지속적으로 획득할 수 있는 효과가 있다.

이에 따라, 관리자가 가동 시간을 제어할 필요가 없어지므로, 무인 관리가 가능한 이점이 있다.

다음으로, 본 발명의 일 실시예에 따르면, 작물 생육 분석 장치는 저장부, 매핑부, 분류부, 연산부, 분석부 및 업데이트부를 포함하도록 제공될 수 있다.

다시 도 2를 참조하면, 저장부(210)는 제1 영상 및 제2 영상을 촬영 시점에 따라 시계열적으로 정렬하고, 시간별, 일별, 월별로 분류 및 저장하는 기능을 수행하는 구성으로, 다음과 같은 형태로 제공될 수 있다.

저장부(210)는 상술한 지능형 작물 영상 자동 촬영 장치로부터 작물 영상을 실시간으로 전송받아 시계열적으로 정렬할 수 있다. 이에 따라, 작물 생육 분석 장치에 저장되는 작물 영상을 통해 실시간 분석이 가능한 이점이 있다.

또한, 저장부(210)는 지능형 작물 영상 자동 촬영 장치와 데이터의 송수신이 가능하도록 클라우드 서버를 통해 연결되는 형태로 제공될 수 있다. 이에 따라, 촬영된 작물 영상이 클라우드 서버에 실시간으로 저장되고, 저장부(210)에서 이를 수신하여 정렬 및 저장하도록 구현될 수 있다.

또한, 촬영되는 작물 영상이 지능형 작물 영상 자동 촬영 장치 내부에 보관되었다가 저장부(210)와 무선 통신이 연결되는 경우, 작물 영상이 저장부(210)로 일괄적으로 전송되도록 구현될 수도 있다.

이에 따라, 지능형 작물 영상 자동 촬영 장치와 작물 생육 분석 장치의 저장부(210)가 항상 무선 연결되어 있을 필요가 없어지며, 필요시에만 무선 연결하여 소정 기간 동안의 작물 영상을 한꺼번에 수신 가능한 이점이 있다.

즉, 작물 생육 분석 장치를 항상 작동시키지 않아도 되며, 일정 작업량이 축적되는 경우, 일괄적으로 작물 영상을 처리 및 분석 가능함에 따라, 불필요한 전력의 손실을 낮출 수 있는 이점이 있다.

이어서, 매핑부(220)는 지능형 작물 영상 자동 촬영 장치로부터 수신된 제1 영상 및 제2 영상의 기준점을 일치시켜 매핑한다.

제1 영상 및 제2 영상은 각각 서로 다른 카메라로부터 촬영되는 것이므로, 서로 다른 위치에서 작물 혹은 작물의 객체를 촬영하게 된다.

이로 인해, 동일한 객체를 촬영하였더라도, 화각에 따라 객체의 크기가 서로 다를 수 있으며, 이로 인해, 두 영상을 비교 시 서로 상이한 해상도를 가질 수 있어 분석의 정확도가 떨어지는 문제점이 있다.

따라서, 제1 영상과 제2 영상을 분석하기 위해서는 기준점을 설정할 필요가 있으며, 기준점을 일치시킴으로써 서로 다른 화각 및 해상도를 보정하는 매핑 작업을 필요로 하게 된다.

매핑부(220)는 제1 영상을 매핑하여 제1 매핑영상을 생성하고, 마찬가지로 제2 영상을 매핑하여 제2 매핑영상을 생성한다.

이어서, 분류부(230)는 매핑부(220)로부터 수신된 제1 매핑영상 및 제2 매핑영상을 분석하여, 작물의 객체의 종류를 분류하는 기능을 수행한다.

예를 들면, 수신된 각각의 매핑 영상은 엽, 줄기, 관부, 마디, 꽃, 화방(꽃대), 열매, 생장점 등의 객체로 분류될 수 있으며, 객체는 작물의 종류에 따라 조금씩 상이할 수 있다.

연산부(240)는 위와 같이 분류된 객체의 길이를 x좌표 및 y좌표를 이용하여 연산하는 기능을 수행한다.

예를 들면, 연산부(240)는 상기에서 분류된 객체에 따라, 엽폭, 엽장, 경경(줄기 두께), 관부 직경, 화방 높이(생장점과 꽃핀 화방간 거리), 화방간 거리, 열매 과경 및 과폭 등 객체의 길이를 연산할 수 있다.

또한, 연산부(240)는 초장, 엽장, 엽폭, 마디수, 엽수, 경경, 화방수(꽃대), 화방별 꽃수, 화방높이(생장점과 꽃핀 화방간 거리), 착과마디수, 수확마디수, 실제착과수 등 객체의 개수를 연산할 수 있다.

분석부(250)는 연산부(240)로부터 연산된 객체의 연산값을 통해, 작물의 생육 정보를 분석하는 기능을 수행한다.

예를 들면, 분석부(250)는 상기에서 연산된 엽, 줄기, 관부, 생장점 길이 연산값 및 개수 연산값을 통해 작물의 생장 속도를 분석할 수 있다.

또한, 분석부(250)는 화방수, 화방별 꽃수, 화방높이를 통해 개화시기를 분석할 수 있으며, 열매 과경 및 과폭 연산값을 통해 열매의 무게와 수확시기를 분석할 수 있다.

이외에도, 분석부(250)는 각각의 매핑 영상의 색상 정보를 분석하여, 작물의 개화시기, 수확시기 및 수확량을 분석할 수 있으며, 착과 시작일 및 착색 시작일 정보를 분석하여 수확일 혹은 수확량을 예측할 수도 있다.

나아가, 분석부(250)는 작물의 생장 정보를 분석함에 있어서, 머신러닝을 통해 누적 축적된 데이터를 활용함에 할 수 있다.

이에 따라, 분석부(250)는 수신된 제1 매핑 영상과 제2 매핑 영상 및 이에 상응하는 데이터를 함께 비교 가능하여, 더욱 정확한 생장 분석이 가능한 이점이 있다.

업데이트부(260)는 상술한 분석부(250)가 매핑 영상의 비교 과정에서 누적 데이터를 활용할 수 있도록, 데이터를 시계열적으로 정렬하여 저장 공간에 누적 저장하는 업데이트 기능을 수행한다.

예를 들면, 업데이트부(260)는 Fast RCNN 알고리즘을 비롯하여 일반적으로 사용되는 머신러닝 혹은 인공지능 알고리즘을 사용함에 따라, 데이터를 누적 저장하여 강화학습을 수행하도록 제공될 수 있다.

이 때, 상술한 데이터는 상술한 작물 생육 분석 장치의 각 구성들을 통해 산출되는 모든 데이터를 포함하는 의미로 사용되었다. 즉, 데이터는 제1 영상 및 제2 영상, 제1 매핑영상 및 제2 매핑영상, 연산값(길이 정보, 개수 정보, 색상 정보) 및 이에 따른 분석 결과 등을 포함할 수 있다.

저장 공간은 저장부(210)일 수 있고, 혹은 작물 생육 분석 장치 내에 별도로 제공되는 저장 공간일 수 있다. 또한, 작물 생육 분석 장치의 외부에서 클라우드 서버의 형태로 제공될 수도 있으며, 그 형태를 한정하지 않는다.

실시예에 있어서, 업데이트부(260)는 데이터를 객체별로 분류하고, 시간별, 일별, 월별로 테이블화하여 저장 공간에 저장할 수 있다.

실시예에 있어서, 업데이트부(260)는 실시간으로 저장 공간에 데이터를 업데이트 가능하도록 제공될 수 있고, 소정 시간마다 일괄적으로 업데이트하도록 설정될 수도 있다. 업데이트 형식은 어느 하나에 한정되는 것은 아니며, 다양한 방식으로 이루어질 수 있다.

위와 같이, 본 발명의 작물 생육 분석 장치가 업데이트부의 구성을 포함함에 따라, 데이터 강화 학습을 통해 이미지 인식률을 향상시킬 수 있다. 이로 인해, 객체의 종류에 따른 분류 및 작물 영상의 분석 정확도를 높일 수 있고 작업 속도를 향상시킬 수 있는 이점이 있다.

이상에서 살펴본 작물 자동 생육 계측 시스템은 다음과 같은 형태로 구현될 수도 있다.

도 8은 본 발명의 일실시예에 따른 작물 자동 생육 계측 시스템을 도시한 것이다.

도 8을 참조하면, 작물 자동 생육 계측 시스템(1000)은 클라우드 서버(CS)를 통해 관리자 단말(MD)과 통신 가능하도록 제공될 수 있다.

관리자 단말(MD)은 작물 자동 생육 계측 시스템(1000)을 관리하기 위해 관리자가 소지한 단말로서, 클라우드 서버(CS)와 연결되어 데이터 송수신이 가능하도록 핸드폰, PDA, PC, 랩탑, 태블릿 PC 등의 통신 기능과 출력 기능을 갖춘 장치일 수 있다.

클라우드 서버(CS)는 IaaS(Infrastructure as Service), PaaS(Platform as a Service), SaaS(Software as a Service) 등 다양한 형태로 제공될 수 있다.

클라우드 서버(CS)를 활용하면 관리자 단말(MD)로부터 작물 자동 생육 계측 시스템(1000)의 지능형 작물 영상 자동 촬영 장치(100)를 원격 제어하는 것이 가능하다.

클라우드 서버(CS)는 다수의 작물 자동 생육 계측 시스템(1000)과 동시에 연결되도록 구현될 수 있다. 이에 따라, 하나의 관리자 단말(MD)로부터 다수개의 작물 자동 생육 계측 시스템(1000)을 동시에 원격 제어할 수 있는 효과가 있다.

또한, 클라우드 서버(CS)는 외부에 제공되는 별도의 데이터 베이스(DB)와 연결될 수 있다. 이에 따라, 클라우드 서버(CS)는 데이터 베이스(DB)(DB)로부터 적절한 데이터를 로드하여 관리자 단말(MD)로 송신할 수 있게 되므로, 데이터 처리 속도와 효율을 더욱 높일 수 있는 효과가 있다.

나아가, 클라우드 서버(CS)는 상술한 업데이트부에 의해 수신한 데이터가 누적 저장하도록 제공될 수 있다.

예를 들면, 제1 카메라 및 제2 카메라로부터 획득한 제1 영상 및 제2 영상과, 작물 생육 분석 장치로부터 생성되는 제1 매핑영상 및 제2 매핑영상에 따른 분석 결과 데이터가 누적 저장될 수 있다.

이에 따라, 클라우드 서버(CS) 내 작물 생장 분석을 위한 알고리즘을 미리 저장하여 작물의 생장을 분석하기 위한 빅데이터를 구축할 수 있으며, 영상 분석 시 이러한 빅데이터를 적용하면 작물 영상 인식률을 보다 향상 시킬 수 있다.

이상에서는 본 발명의 일 실시예에 따른 작물 자동 생육 계측 시스템의 구성을 살펴보았다. 이하에서는 본 발명의 일 실시예에 따른 작물 자동 생육 계측 방법에 대해 설명한다.

도 9는 본 발명의 일 실시예에 따른 작물 자동 생육 계측 방법을 단계적으로 도시한 순서도이다. 도 10은 본 발명의 일 실시예에 따른 작물 자동 생육 계측 방법의 흐름을 도시한 흐름도이다. 도 11은 본 발명의 일 실시예에 따른 촬영 단계를 도시한 순서도이다.

이하, 각 단계를 설명하는 과정에서 도 1 내지 도 7을 참조하여 설명한 부분과 중복되는 내용은 생략하거나 간단히 기재하며, 설명의 이해를 돕기 위해, 도 1 내지 도 7을 함께 참조한다. 또한, 특별히 언급하지 않는 한, 각 단계의 수행 주체는 도 1 내지 도 7에 도시한 지능형 작물 영상 자동 촬영 장치로 가정한다.

도 9 및 도 11을 참조하면, 먼저, 지능형 작물 영상 자동 촬영 장치의 수직 조정기를 작동시켜 QR 코드 판을 인식하는 단계(S110)가 수행된다.

이후, 지능형 작물 영상 자동 촬영 장치의 이동 수단을 통해, 지능형 작물 영상 자동 촬영 장치를 QR 코드 판 및 QR 코드 판이 부착된 유인줄과 마주보는 지점으로 이동시키는 단계(S120)가 수행된다.

이후, 수직 조정기를 QR 코드 판과 동일한 높이로 이동시키는 단계(S130)가 수행된다.

이후, 작물 영상을 촬영하는 단계(S200)가 수행된다. 해당 단계는 아래와 같은 세부 단계를 거쳐 수행될 수 있으며, 각 세부 단계들은 동시에 이루어지는 것일 수 있다.

먼저, 수직 조정기를 하부 방향으로 이동시키는 단계(S210)가 수행된다.

이후, 수직 조정기의 말단에 부착된 제1 카메라가 작물의 깊이(depth) 정보를 포함하는 제1 영상을 촬영하는 단계(S220)가 수행된다.

이후, 수직 조정기의 말단에 부착된 제2 카메라가 작물의 색상(RGB) 정보를 포함하는 제2 영상을 촬영하는 단계(S230)가 수행된다.

이후, 작물 영상 정보를 분석하는 단계(S300)가 수행된다.

도 10 및 도 11을 참조하면, 작물 영상 정보를 분석하는 단계(S300)는 아래와 같은 세부 단계를 거쳐 수행될 수 있다.

먼저, 제1 영상 및 제2 영상을 촬영 시점에 따라 시계열적으로 정렬하고, 시간별, 일별, 월별로 분류 및 저장하는 단계(S310)가 수행된다.

이후, 매핑부가 제1 영상 및 제2 영상의 기준점을 일치시켜 매핑하는 단계(S320)가 수행된다. 이 때, 매핑된 제1 영상 및 제2 영상들은 업데이트부에 의해 저장 공간에 누적 저장되어 관리되어질 수 있다.

이후, 분류부가 매핑부로부터 수신된 제1 매핑영상 및 제2 매핑영상을 분석하여, 객체의 종류를 분류하는 단계(S330)가 수행된다.

이후, 연산부가 분류된 객체의 길이를 x좌표 및 y좌표를 이용하여 연산하는 단계(S340)가 수행된다. 연산 값의 경우도 마찬가지로 업데이트부에 의해 저장 공간에 누적 저장되어 관리되어질 수 있다.

이후, 분석부가 연산된 객체의 길이를 통해, 작물의 생육 정보를 분석하는 단계(S350)가 수행된다.

위와 같은 단계를 수행함에 따라, 단계적으로 얻어지는 결과물들은 모두 업데이트부에 의해 시계열적으로 정렬되어 저장 공간에 누적 저장됨으로써, 데이터 강화 학습을 통해 관리되어지도록 제공될 수 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10 : 작물 자동 생육 계측 시스템
100 : 지능형 작물 영상 자동 촬영 장치
110 : 이동 수단
120 : 수직 조정기
130 : 카메라
200 : 작물 생육 분석 장치
210 : 저장부
220 : 매핑부
230 : 분류부
240 : 연산부
250 : 분석부
260 : 업데이트부
300 : 유인줄
400 : QR 코드 판
500 : 레일

Claims

작물의 위치와 상기 작물의 정보를 자동으로 파악하여, 상기 작물의 객체 이미지를 포함하는 작물 영상을 자동으로 촬영하는 지능형 작물 영상 자동 촬영 장치; 및
상기 지능형 작물 영상 자동 촬영 장치로부터 수신된 상기 작물 영상을 시계열적으로 처리하여 작물의 생육을 분석하는 작물 생육 분석 장치;
수직방향으로 생장하는 상기 작물의 생장 위치에 수직으로 배치되어, 상기 작물의 생장 방향을 유인하는 유인줄; 및
상기 유인줄 상에서 상기 작물의 상부에 배치되며, 상기 작물의 정보를 포함하는 QR 코드 판을 포함하고,
상기 지능형 작물 영상 자동 촬영 장치는:
이동 수단;
상기 이동 수단의 상부에 배치되고, 상기 유인줄을 따라 상하로 이동 가능한 수직 조정기; 및
상기 수직 조정기의 단부에 부착되어 상기 수직 조정기와 함께 이동하면서, 상기 작물 영상을 촬영하는 카메라를 포함하며,
상기 지능형 작물 영상 자동 촬영 장치는:
상기 수직 조정기를 작동시켜, 상기 QR 코드 판을 인식하고,
상기 QR 코드 판을 인식한 것에 기초하여, 상기 이동 수단을 통해 상기 QR 코드 판 및 상기 유인줄과 마주보는 지점으로 이동하고,
상기 수직 조정기를 상기 QR 코드 판과 동일한 높이에서 상기 QR 코드 판의 하부 방향으로 이동시킴에 따라, 상기 카메라가 상기 작물 영상을 촬영하도록 제어하고,
상기 카메라가 상기 작물의 생장점을 인식하는 것에 기초하여 상기 작물 영상의 촬영을 개시하도록 제어하는, 작물 자동 생육 계측 시스템.
삭제
삭제
제1 항에 있어서,
상기 작물 생육 분석 장치는,
상기 지능형 작물 영상 자동 촬영 장치로부터 수신된 제1 영상 및 제2 영상의 기준점을 일치시켜 매핑하는 매핑부;
상기 매핑부로부터 수신된 제1 매핑영상 및 제2 매핑영상을 분석하여, 상기 작물의 객체의 종류를 분류하는 분류부; 및
상기 분류부로부터 분류된 상기 객체의 길이를 x좌표 및 y좌표를 이용하여 연산하는 연산부를 포함하는, 작물 자동 생육 계측 시스템.
제4 항에 있어서,
상기 작물 생육 분석 장치는,
상기 제1 영상 및 상기 제2 영상을 촬영 시점에 따라 시계열적으로 정렬하고, 시간별, 일별, 월별로 분류 및 저장하는 저장부를 더 포함하는, 작물 자동 생육 계측 시스템.
제1 항에 있어서,
상기 카메라는,
깊이(depth) 정보를 포함하는 제1 영상을 촬영하는 제1 카메라; 및
색상(RGB) 정보를 포함하는 제2 영상을 촬영하는 제2 카메라를 포함하는, 작물 자동 생육 계측 시스템.
제1 항에 있어서,
상기 지능형 작물 영상 자동 촬영 장치의 이동 수단의 이동 방향, 이동 경로 및 이동 가능 범위를 한정하는 레일을 더 포함하는, 작물 자동 생육 계측 시스템.
제1 항에 있어서,
상기 객체는 꽃, 줄기, 잎, 열매, 화방, 몽우리 및 생장점 중 적어도 하나 이상을 포함하는, 작물 자동 생육 계측 시스템.
지능형 작물 영상 자동 촬영 장치 및 작물 생육 분석 장치를 포함하는 작물 자동 생육 계측 시스템에 의해 수행되는 작물 자동 생육 계측 방법에 있어서,
상기 지능형 작물 영상 자동 촬영 장치가 수직 조정기를 작동시켜 QR 코드 판을 인식하는 단계;
상기 QR 코드 판을 인식한 것에 기초하여, 상기 지능형 작물 영상 자동 촬영 장치가 이동 수단을 통해 상기 QR 코드 판 및 상기 QR 코드 판이 부착된 유인줄과 마주보는 지점으로 이동하는 단계;
상기 지능형 작물 영상 자동 촬영 장치가 상기 수직 조정기를 상기 QR 코드 판과 동일한 높이로 이동시키는 단계;
상기 지능형 작물 영상 자동 촬영 장치가 상기 수직 조정기를 상기 QR 코드 판의 하부 방향으로 이동시키는 단계;
상기 지능형 작물 영상 자동 촬영 장치가 상기 수직 조정기의 말단에 부착된 제1 카메라를 통해 상기 작물의 깊이(depth) 정보를 포함하는 제1 영상을 촬영하는 단계; 및
상기 지능형 작물 영상 자동 촬영 장치가 상기 수직 조정기의 말단에 부착된 제2 카메라를 통해 상기 작물의 색상(RGB) 정보를 포함하는 제2 영상을 촬영하는 단계를 포함하고,
상기 제1 카메라 및 상기 제2 카메라는 상기 작물의 생장점을 인식하는 것에 기초하여 상기 제1 영상 및 상기 제2 영상의 촬영을 각각 개시하는, 작물 자동 생육 계측 방법.
제9 항에 있어서,
상기 작물 생육 분석 장치가 저장부를 통해 상기 제1 영상 및 상기 제2 영상을 촬영 시점에 따라 시계열적으로 정렬하고, 시간별, 일별, 월별로 분류 및 저장하는 단계;
상기 작물 생육 분석 장치가 매핑부를 통해 상기 제1 영상 및 상기 제2 영상의 기준점을 일치시켜 매핑하는 단계;
상기 작물 생육 분석 장치가 분류부를 통해 상기 매핑부로부터 수신된 제1 매핑영상 및 제2 매핑영상을 분석하여, 객체의 종류를 분류하는 단계;
상기 작물 생육 분석 장치가 연산부를 통해 분류된 상기 객체의 길이를 x좌표 및 y좌표를 이용하여 연산하는 단계; 및
상기 작물 생육 분석 장치가 분석부를 통해 연산된 상기 객체의 길이를 통해, 상기 작물의 생육 정보를 분석하는 단계를 더 포함하는, 작물 자동 생육 계측 방법.