KR102532031B1 - 작물 영상 기반 작물 생육 계측 시스템, 및 방법 - Google Patents

Abstract

본 발명은 작물 생육 계측 시스템 및 방법에 관한 것으로, 본 발명에 따른 작물 생육 계측 시스템은, 생육지표를 산출할 대상 작물에 대하여 미리 결정된 간격으로 이동하면서 서로 다른 위치에 따른 상기 대상 작물의 복수 영상을 획득하는 촬영부; 및 상기 서로 다른 위치에 따른 상기 대상 작물의 복수 영상을 상기 대상 작물에 대한 하나의 영상으로 정합하는 영상처리부를 포함하는 것을 특징으로 한다.
이를 통하여, 복수의 카메라 또는 깊이 카메라 등 고가의 촬영장비를 사용하지 않고서도 영상을 기초로 정확한 작물 생육지표를 산출할 수 있다.

Description

작물 영상 기반 작물 생육 계측 시스템, 및 방법{CROP GROWTH MEASUREMENT SYSTEM BASED ON CROP IMAGES, AND METHOD THEREOF}

본 발명은 작물 생육 계측 시스템, 및 방법에 관한 것으로, 더욱 상세하게는, 영상 기반 작물의 생육지표 산출을 위하여 작물을 촬영하고, 촬영된 영상을 처리하는 작물생육 계측 시스템, 및 방법에 관한 것이다.

농업에 ICT 기술이 접목된 스마트팜이 확산되고 있는 가운데, 데이터에 기반한 생육 단계별 정밀한 관리 및 제어를 위하여 보다 정확한 생육 데이터를 획득하고, 이를 분석 및 처리하기 위한 기술 개발이 활발하게 이루어지고 있다.

이와 같이 데이터 기반 관리 및 정밀 제어를 위해서는 작물의 생육 데이터가 지속적으로 획득되어야 하는데, 작업자가 직접 작물의 줄기 두께나 생장길이, 화방상태 등의 생육 상태를 측정하는 종래 수작업에 의한 측정방식에서 벗어나, 최근에는 카메라 등의 촬영장치로 영상을 획득하고, 획득된 영상을 처리하여 작물의 각종 생육지표를 산출하는 영상 기반 생육지표 산출 방식이 보편화되고 있는 추세에 있다.

여기서, 작물의 영상을 획득하는 방법에는 작업자가 스마트폰이나 카메라를 소지하고 이동하면서 작물의 영상을 획득하는 방법과 스마트팜 내부에 고정된 촬영장치를 이용하여 획득하는 방법이 있다. 이때, 작업자가 이동하면서 일일히 영상을 획득하는 방법은 촬영 작업이 매우 번거로울 뿐 아니라 촬영시 작업자와 작물의 물리적 접촉으로 인하여 작물의 생장이나 과실 생식에 영향을 끼칠 우려가 있다.

한편, 고정된 촬영 장치를 이용하여 영상을 획득하는 방법에 의하면 협소한 공간에서 많은 작물을 재배하는 온실의 특성상 좌우측 인접 작물 또는 후방 작물과 겹쳐진 상태로 영상이 촬영되므로 각종 영상 처리 알고리즘을 이용하여 생육지표를 산출하고자 하는 대상 작물을 식별하기 어려운 문제점이 있다. 이는 곧 산출되는 생육지표의 정확도와 직결되므로 영상을 기반으로 생육지표를 산출하는데 있어 반드시 해결되어야 하는 기술적 과제이다.

이와 같이 여러 작물이 겹쳐져 영상이 촬영되는 문제점은 복수의 영상 장치를 이용하여 여러 각도에서 영상을 획득하는 방법으로 해결될 수 있으나, 복수 영상 장치를 운용하는 비용 부담이 있으며, 작물의 밀집도가 높은 온실의 재배 환경을 고려할 때 현실적으로 적용되기 어렵다.

이에, 복수의 카메라 또는 깊이 카메라(depth camera) 등 고가의 촬영장비를 사용하지 않으면서도 영상 기반으로 산출되는 작물 생육지표의 정확도를 향상시킬 수 있는 영상 처리 방법의 고안이 필요하다.

한국등록특허 제10-1822410호(2018.01.22.)

본 발명은 전술된 종래 영상 기반 작물 생육 계측 기술의 문제점을 해결하여 안출된 것으로서, 복수의 카메라 또는 깊이 카메라 등 고가의 촬영장비를 사용하지 않으면서도 영상을 기초로 산출되는 작물 생육지표의 정확도를 향상시킬 수 있는 작물 영상 기반 작물 생육 계측 시스템, 및 방법을 제공하는 것을 목적으로 한다.

상기한 목적은 본 발명의 일 양태에 따른 작물 영상을 기초로 작물의 생육지표를 산출하는 작물생육 계측 시스템에 있어서, 생육지표를 산출할 대상 작물에 대하여 미리 결정된 간격으로 이동하면서 서로 다른 위치에 따른 상기 대상 작물의 복수 영상을 획득하는 촬영부; 및 상기 서로 다른 위치에 따른 상기 대상 작물의 복수 영상을 상기 대상 작물에 대한 하나의 영상으로 정합하는 영상처리부를 포함하는 것을 특징으로 하는 작물생육 계측 시스템에 의하여 달성될 수 있다.

여기서, 상기 영상처리부는, 상기 대상 작물의 각 영상의 일부씩 중첩되도록 상기 복수 영상을 순차적으로 연결하여 상기 대상 작물에 대한 하나의 영상으로 정합하되, 이웃하는 영상과의 비중첩 영역은 상기 촬영부의 이동 방향을 따르는 일정 픽셀 수에 대응하는 영역에 해당할 수 있다.

이때, 이웃하는 영상간 상기 비중첩 영역의 픽셀 수는 상기 촬영부의 이동 간격 및 상기 촬영부와 상기 대상 작물과의 거리를 기초로 결정될 수 있으며, 상기 각 영상간 비중첩 영역의 상기 픽셀 수와 상기 촬영부와 상기 대상 작물과의 거리는 서로 반비례 관계를 가질 수 있다.

또한, 상기 대상 작물의 후방 작물과 상기 대상 작물과의 거리 정보를 기초로 상기 촬영부의 획득 영상 개수 및 상기 획득 영상 개수에 따른 상기 촬영부의 이동 간격을 결정하는 촬영제어부를 더 포함할 수 있다.

여기서, 상기 획득 영상 개수는, 상기 후방 작물과 상기 대상 작물과의 거리에 반비례 관계를 가질 수 있다.

상기한 목적은 본 발명의 또 다른 양태에 따른 작물 영상을 기초로 작물의 생육지표를 산출하는 작물생육 계측 방법에 있어서, 촬영장치가 생육지표를 산출할 대상 작물에 대하여 미리 결정된 간격으로 이동하면서 서로 다른 위치에 따른 상기 대상 작물의 복수 영상을 획득하는 단계; 및 프로세서가 상기 서로 다른 위치에 따른 상기 대상 작물의 복수 영상을 상기 대상 작물에 대한 하나의 영상으로 정합하는 단계를 포함하는 것을 특징으로 하는 작물 생육 계측 방법에 의해서도 달성될 수 있다.

이때, 상기 프로세서가 상기 대상 작물에 대한 하나의 정합 영상을 기초로 상기 대상 작물의 생육지표를 산출하는 단계를 더 포함할 수 있다.

이상에서 설명된 바와 같이, 본 발명에 따르면, 복수의 카메라 또는 깊이 카메라 등 고가의 촬영장비를 사용하지 않으면서도 영상을 기초로 정확한 작물 생육지표를 산출할 수 있다.

또한, 본 발명에 따르면, 촬영되는 영상에서 생육지표 산출 대상 작물을 용이하게 식별할 수 있어 영상 기반 생육지표 산출시 배경 제거 등을 위한 영상 처리 로드가 크게 감소되어 컴퓨팅 자원의 효율적 운용 및 처리 속도 향상을 도모할 수 있다.

도 1은 본 발명의 실시예에 따른 작물 생육 계측 시스템의 구성을 개략적으로 나타낸 블록도;
도 2는 본 발명의 실시예에 따른 촬영부가 이동하면서 대상 작물을 연속적으로 촬영한 영상의 예;
도 3은 본 발명의 실시예에 따른 영상처리부가 복수 개의 영상을 하나의 영상으로 정합하는 일 예를 설명하기 위한 참고도;
도 4a 내지 도 4c는 대상 작물에 대하여 카메라의 위치가 상하 방향으로 이동하였을 때 렌즈의 결상이론에 따른 상의 위치의 변화 모습을 나타낸 예;
도 5는 복수의 카메라 위치에 대한 각 상의 개별적인 위치를 통합적으로 표시한 도면;
도 6은 복수의 카메라 위치에 대한 영상을 정합하는 예를 설명하기 위한 참고도;
도 7은 본 발명의 실시예에 따른 영상처리부를 통하여 정합된 영상의 일 예;
도 8은 정합시 활용되는 영상의 개수에 따른 정합 결과를 비교할 수 있는 참고도; 및
도 9는 본 발명의 실시예에 따른 작물 생육 계측 방법을 나타낸 흐름도이다.

본 발명에 따른 작물 생육 계측 시스템은 작물 영상을 촬영하고, 촬영된 영상을 처리하여 작물의 생육지표를 산출한다. 본 발명에 따른 작물 생육 계측 시스템이 수행하는 영상 처리는 작물의 생육지표를 산출하는 처리 뿐 아니라, 생육지표 산출을 위하여 촬영된 영상을 전처리하는 과정 전반을 포함한다.

이하, 도면을 참조하여 본 발명의 구체적인 실시예들에 대하여 설명하기로 한다. 다만 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

도 1은 본 발명의 실시예에 따른 작물 생육 계측 시스템의 구성을 개략적으로 나타낸 블록도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 작물 생육 계측 시스템(1)은 촬영부(100), 영상처리부(200), 및 촬영제어부(300)를 포함한다.

촬영부(100)는 생육지표를 산출할 대상 작물에 대하여 미리 결정된 이동 간격, 및 이동 방향으로 이동하면서 서로 다른 위치에 따른 대상 작물의 영상을 복수 개 획득한다. 이를 위하여, 촬영부는, 작물 영상을 촬영할 수 있는 카메라(110), 및 카메라(110)가 장착되어 소정의 속도로 카메라(110)를 상하 방향으로 이동시킬 수 있는 이송장치(120)를 포함하여 구현될 수 있다. 여기서, 카메라(110)는 특정 장비에 한정되지 않으며, CCD 카메라, CMOS 카메라 등 다양한 방식 및 종류의 RGB 카메라가 적용될 수 있다.

또한, 이송장치(120)는 카메라(110)를 상하 방향으로 이송시킬 수 있으면 특정 구조에 한정되지 않는다. 일 예로서, 이송장치(120)는 승강레일, 카메라(110)가 탑재되는 슬라이더, 및 슬라이더를 승강레일을 따라 승강시키는 구동모터 등을 포함하여 구현될 수 있다.

도 2는 본 발명의 실시예에 따른 촬영부(100)가 위에서 아래 방향으로 이동하면서 대상 작물을 연속적으로 촬영한 영상의 예로서, 도 2에서는 80 컷의 영상을 획득한 예를 보여준다.

이와 같이, 촬영부(100)의 카메라(110)는 이송장치(120)의 승강레일을 따라 상하 방향으로 이동하면서 각 위치에서의 대상 작물의 영상을 촬영한다. 참고로, 도 2에서는 위에서 아래 방향으로 이동하면서 촬영한 예를 보여주나, 이와 반대로 아래 방향에서 위로 이동하면서 촬영할 수도 있음은 물론이다.

영상처리부(200)는 촬영부(100)에 의하여 획득된 서로 다른 위치에 따른 대장 작물의 복수 영상을 대상 작물에 대한 하나의 영상으로 정합한다. 영상처리부(200)는 촬영부(100)를 통해 촬영된 영상을 수신하기 위한 통신모듈, 복수의 영상을 하나의 영상으로 정합 처리하기 위한 알고리즘이 탑재된 프로세서, 키보드, 마우스 등 사용자로부터 각종 정보를 입력받기 위한 사용자 인터페이스부, 및 정합 결과를 표시하는 디스플레이 등을 포함하여 구현될 수 있다.

도 3은 본 발명의 실시예에 따른 영상처리부(20)가 서로 다른 위치, 즉 서로 다른 높이에서 촬영하여 획득된 복수 개의 영상을 하나의 영상으로 정합하는 방법을 설명하기 위한 도면이다. 참고로, 도 3에서는 image 1부터 image 5까지 5개의 영상을 정합하는 경우를 상정하며, 위에서 아래 방향으로 내려가면서 순차적으로 image 1 내지 image 5를 획득하였다고 가정한다.

영상처리부(200)는 대상 작물의 각 영상의 일부씩 중첩되도록 복수 개의 영상을 순차적으로 연결하여 대상 작물에 대한 하나의 영상으로 정합한다. 이때, 서로 이웃하는 영상과 서로 중첩되지 않는 비중첩 영역은 촬영부(100)의 이동 방향을 따르는 일정 픽셀 수에 대응하는 영역에 해당한다.

도 3을 참조하면, 각 영상이 100 X 100 pixel로 구성된다고 가정할 때, 서로 이웃하는 영상과 50 pixel씩 중첩되도록 5개의 영상이 하나의 영상으로 정합된 예를 보여준다. 즉, 맨 위에서 촬영한 image 1을 기점으로 촬영부(100)의 이동 방향인 아래 방향으로 50 pixel 간격으로 이격되도록 획득된 복수 개의 영상을 순차적으로 연결하여 하나의 영상으로 정합한다. 예컨대, image 1의 시작 위치에서 아래 방향으로 50 pixel 이격된 지점에 image 2가 연결되고, image 2가 연결된 지점으로부터 또 다시 50 pixel 이격된 지점에 image 3이 연결된다. 이처럼, 서로 이웃하는 후순위 영상과 서로 중첩되지 않는 영역은 촬영부(100)의 이동 방향을 따르는 일정 픽셀 수에 대응하도록 복수 개의 영상이 하나의 영상으로 정합된다.

한편, 전술된 도 3에서 각 영상 간 이격되는 간격을 50 pixel로 예를 들었으나, 이는 하나의 예로서, 이격되는 간격, 즉, 서로 이웃하는 영상 간 비중첩 영역의 픽셀 수는 경우에 따라 달라질 수 있다. 예컨대, 서로 이웃하는 영상 간 비중첩 영역의 픽셀 수는 촬영부(100)의 이동 간격 및 촬영부(100)와 대상 작물과의 거리를 기초로 결정될 수 있다.

서로 이웃하는 영상 간 이격되는 픽셀 수, 즉, 비중첩 영역의 픽셀 수와 촬영부(100)와 대상 작물과의 거리는 서로 반비례 관계를 가진다. 예를 들면, 영상 사이즈가 동일하다고 가정할 때, 촬영부(100)와 대상 작물과의 가까워지면 이격되는 픽셀 간격이 더 커지고, 반대로 거리가 더 멀어지면 이격되는 픽셀 간격은 작아진다. 한편, 서로 이웃하는 비중첩 영역의 픽셀 수와 촬영부(100)의 이동 간격은 비례 관계를 갖는다. 즉, 촬영부(100)의 이동 간격이 더 커지면 비중첩되는 픽셀 수가 더 많아지고, 반대로 이동 간격이 작아지면 비중첩되는 픽셀 수는 더 적어진다.

참고로, 촬영부(100)부와 대상 작물과의 거리는 사용자 인터페이스부(미도시)를 통하여 사용자로부터 직접 입력받을 수도 있고, 또는 미리 설정된 값을 활용할 수 있다. 예컨대, 이송장치(120)가 스마트팜 내부에 설치된 레일이나 라인을 따라 위치를 이동하면서 영상을 촬영한다고 할때, 스마트팜의 작물은 정형화된 공간에 식재되는 특성상 스마트팜 내부의 레일(라인)과 작물이 식재되는 공간의 거리는 일정하게 유지되는 것이 일반적이므로 레일과 작물 식재 공간 사이의 거리를 미리 측정하여 입력값으로 설정할 수 있을 것이다. 또는, 촬영부(100)에 거리를 측정할 수 있는 거리 측정 센서를 장착하여 거리 센싱을 통하여 촬영부(100)와 대상 작물의 거리를 파악할 수도 있다. 한편, 촬영부(100)의 이동 간격은 촬영부(100)의 제어값 내지 설정값을 통하여 파악이 가능하다.

전술된 바와 같이, 서로 다른 위치의 작물 영상을 순차적으로 연결하여 하나의 영상으로 정합하면, 획득된 영상에서의 관심영역(region of interest, ROI), 즉, 생육지표를 산출하고자 하는 대상 작물은 또렷해진다. 반면에, 대상 작물을 제외한 나머지 영역은 ROI와 초점 평면의 위치가 서로 상이함으로 인하여 정합면이 불연속적으로 형성되기 때문에 대상 작물을 제외한 나머지 배경은 식별하기 어려워지는 효과가 있다. 따라서, 배경 제거를 위한 별도의 이미지 처리 없이도 대상 작물과 배경이 구분되어 정합 영상에서 대상 작물을 쉽게 인식할 수 있게 된다.

도 4 내지 도 6은 본 발명의 실시예에 따른 영상처리부(200)를 통한 영상 정합의 기술적 원리를 설명하기 위한 참고도이다.

먼저, 도 4a 내지 도 4c를 참조하면, 대상 작물에 대하여 카메라(110)의 위치가 상하 방향으로 이동하였을 때 렌즈의 결상이론에 따른 상의 위치의 변화를 확인할 수 있다.

도 4b는 도 4a에서의 카메라(110) 위치 대비 상대적으로 대상 작물의 윗 방향으로 카메라(110)가 이동되었을 때 상의 위치를 나타낸 것으로, 도 4b를 참조하면, 각각 물체 1과 물체 2에 대응하는 상 1 및 상 2의 위치도 도 4a에서의 상의 위치 대비 위쪽에 결상됨을 알 수 있다. 반대로 도 4c와 같이 카메라(110)가 대상 작물에 대하여 아래 방향으로 이동되었을 때, 상 1과 상 2의 위치도 도 4a에서의 상의 위치 대비 각각 아래쪽에 결상됨을 확인 할 수 있다.

도 5는 도 4a 내지 도 4c에 따른 카메라(110)의 각 위치에 대한 상의 개별적인 위치를 통합적으로 표시한 도면으로서, 대상 작물의 위치 대비 카메라(110)의 위치가 변화됨에 따라 각 상의 위치가 변화되는 양태를 확인할 수 있다.

도 4와 도 5를 통하여 살펴본 바와 같이, 대상 작물에 대하여 촬영부(100)가 이동하면서 서로 다른 위치에서 획득된 복수의 영상을 하나로 영상으로 정합하기 위해서는 도 6과 같이 서로 다른 위치에 맺힌 각 상의 위치를 동일하게 맞춰주어야 한다. 참고로, 도 6에서는 물체 2가 생육지표를 산출하고자 하는 대상 작물에 해당하고, 물체 1은 대상 작물인 물체 2의 후방에 위치한 배경 작물에 해당하는 것이다.

도 6에 도시된 바와 같이, 대상 작물에 대응하는 상 2를 기준으로 영상 정합을 수행하면 물체 1에 대응하는 복수의 위치에 따른 상 1의 정합면은 서로 일치하지 않기 때문에 영상처리부(200)를 통하여 정합된 영상에 의하면 물체 2에 대응하는 배경 작물은 정합 영상의 ROI에 해당하는 대상 작물과 쉽게 구분될 수 있다.

도 7은 영상처리부(200)를 통하여 정합된 영상의 일 예로서, 도 2에 도시된 80 컷의 영상을 대상 작물을 기준으로 하나의 영상으로 정합한 예를 보여준다.

도 7을 참조하면, 상대적으로 앞쪽에 위치한 대상 작물은 정합된 영상에서 뚜렷하게 식별이 가능한 반면, 대상 작물을 기준으로 정합이 이루어졌기 때문에 상대적으로 뒤쪽에 위치한 후방 작물은 정합면이 불연속적으로 형성되어 깨져서 보이기 때문에 온전한 물체로 식별되기 어려워지는 것을 확인할 수 있다. 따라서, 영상 기반으로 작물의 생육지표를 산출할 때, 배경 처리를 위한 별도의 이미지 프로세싱 없이 대상 작물에 대한 생육지표를 정확하게 산출할 수 있는 효과를 얻을 수 있다.

다만, 이때, 지나치게 적은 개수의 영상을 이용하여 정합을 하면 대상 작물과 배경 작물과의 구분이 어려워지고, 반면에, 어느 기준치에 도달하면 영상의 개수가 더 많아지더라도 효과상의 큰 차이가 없어지므로 영상 개수를 증가시키는 실익이 감소된다.

도 8은 영상의 개수에 따른 정합 결과를 비교할 수 있는 참고도로서, 도 8을 참조하면, 대상 작물의 높이는 약 1500cm, 카메라와 전면의 대상 작물과의 거리는 약 60cm, 전면 대상 작물과 후방 작물과의 거리는 약 80cm 일 때, 정합시 적용된 영상 개수에 따라 대상 작물과 후방 작물의 구분 정도가 변화되는 것을 확인할 수 있다.

도 8의 (a)는 10장의 영상을 기초로 정합을 수행한 것이고, (b)는 32장, (c)는 80장의 영상을 기초로 각각 정합을 수행한 것이다. 도 8을 참조하면, 10장의 영상을 기초로 정합을 수행하였을 때에는 전면의 대상 작물과 후방 작물의 구분이 용이하지 않으나, 영상의 개수가 증가됨에 따라 후방 작물의 정합면이 불연속적으로 형성되어 대상 작물의 식별이 용이해짐을 확인할 수 있다.

본 발명에 따른 작물 생육 계측 시스템(1)은 영상 정합을 통하여 대상 작물과 그 외 배경이 서로 구분되도록 하는 것이 목적이기 때문에, 최적의 획득 영상 개수를 결정하는 것이 필요하다.

이에, 촬영제어부(300)는 대상 작물의 후방에 위치한 후방 작물과 대상 작물과의 거리 정보를 기초로 촬영부(100)가 획득할 영상의 개수와 획득 영상 개수에 따른 촬영부(100)의 이동 간격을 결정하고, 결정된 사항에 대응하여 촬영부(100)를 제어한다.

여기서, 촬영부(100)가 획득하는 영상의 개수는 후방 작물과 대상 작물의 거리와 반비례 관계를 가진다. 즉, 촬영제어부(300)는 후방 작물과 대상 작물의 거리가 먼 경우에는 상대적으로 획득 영상 개수를 적게 결정할 수 있고, 반대로 후방 작물과 대상 작물의 거리가 가까운 경우에는 획득 영상 개수를 상대적으로 많게 결정할 수 있다. 이는 대상 작물과 후방 작물의 거리가 멀수록 두 작물의 정합면의 위치 차이가 크기 때문에 대상 작물을 기준으로 상대적으로 더 적은 개수의 영상을 정합하더라도 대상 작물과 후방 작물을 용이하게 구분할 수 있기 때문이다.

한편, 작물의 높이가 동일한 조건에서 촬영부(100)의 이동 간격은 획득 영상 개수가 많으면 상대적으로 이동 간격이 작아지고, 획득 영상 개수가 적으면 이동 간격이 크게 설정될 수 있다.

참고로, 대상 작물과 후방 작물의 거리는 사용자로부터 직접 입력받을 수도 있고, 또는, 전술된 바와 같이, 스마트팜 내부에서 작물은 미리 계획된 정형화된 공간에 소정의 간격으로 식재되는 것이 일반적이므로, 스마트팜의 작물 식재 공간에 관한 정보를 기초로 미리 설정된 값을 활용할 수도 있다.

한편, 촬영제어부(300)는 획득 영상 개수와 촬영부(100)의 이동 간격의 결정시 대상 작물의 높이를 추가적으로 고려할 수 있다. 예컨대, 대상 작물의 높이가 높으면 획득 영상 개수를 상대적으로 더 증가시킬 수 있다. 여기서, 대상 작물의 높이는 사용자로부터 입력받거나, 또는 작물의 종류 및 시기에 따라 작물의 키의 변화 정도를 기록한 성장 그래프 데이터를 미리 저장하고, 이를 기초로 산출된 작물의 높이를 적용할 수도 있다.

전술된 바와 같이, 획득 영상 개수와 이에 따른 촬영부(100)의 적정 이동 간격을 결정하기 위하여, 촬영제어부(300)는 복수의 케이스에 대응하여, 대상 작물과 후방 작물의 거리, 작물의 높이에 따른 최적의 획득 영상 개수와 촬영부(100)의 이동 간격 값을 각각 매칭한 데이터 테이블을 저장하고, 사용자가 입력하거나 해당 스마트팜에 맞는 설정 값을 기초로 데이터 테이블에서 해당 설정 값에 매칭되는 획득 영상 개수와 촬영부(100)의 이동 간격을 도출하여 촬영부(100)를 제어할 수 있다. 이때, 데이터 테이블에 정확히 매칭되는 대상 작물과 후방 작물의 거리나 작물의 높이 값이 존재하지 않는 때에는 보간(Interpolation) 알고리즘을 적용하여 적정 획득 영상 개수와 촬영부(100)의 이동 간격을 산출할 수 있다.

또한, 데이터 테이블 외에 대상 작물과 후방 작물의 거리, 작물의 높이를 독립변수로, 획득 영상 개수를 종속변수로 하는 함수식으로서, 대상 작물과 후방 작물의 거리, 작물의 높이와 획득 영상 개수의 상관관계를 규정한 획득영상 개수 산출모델을 미리 저장하고, 작물 간 거리와 높이 값을 대입하여 획득 영상 개수를 산출하도록 구현될 수도 있다.

이어서, 도 9는 본 발명의 실시예에 따른 작물 생육 계측 방법을 나타낸 흐름도이다. 이하, 도 9를 참조하여, 작물 생육 계측 시스템(1)의 각 구성의 유기적인 동작을 살펴보기로 한다.

먼저, 촬영제어부(300)가 생육지표를 산출할 대상 작물과 후방 작물 간 거리, 대상 작물의 높이 등을 기초로 적정 획득 영상 개수와 이에 따른 촬영부(100)의 이동 간격을 결정하고, 이를 기초로 촬영부(100)에 제어 명령을 전달한다(S10, S11). 이때, 촬영제어부(300)는 사용자의 입력값, 또는 미리 설정된 값과 미리 저장된 데이터 테이블, 함수식 등을 기초로 적정 획득 영상 개수와 이동 간격을 결정할 수 있음은 전술된 바와 같다.

촬영부(100)는 촬영제어부(300)의 제어에 따라 대상 작물에 대하여 소정 간격으로 이동하면서 서로 다른 위치에 따른 대상 작물의 복수 영상을 획득한다(S13).

프로세서에 해당하는 영상처리부(200)는 촬영부(100)를 통하여 촬영된 서로 다른 위치에 따른 복수 영상을 수신하고, 수신된 영상들을 대상 작물에 대한 하나의 영상으로 정합한다(S15,S17). 앞서 설명된 바와 같이, 영상처리부(200)는 대상 작물의 각 영상의 일부씩 중첩되도록 복수 개의 영상을 순차적으로 연결하여 대상 작물에 대한 하나의 영상으로 정합하게 된다. 참고로, 촬영부(100)와 영상처리부(200)간의 통신은 블루투스, WI-FI, LoRa 등 공지된 다양한 유무선 통신방식에 의할 수 있으며, 특정 통신 방식에 한정되지 않는다.

영상처리부(200)는 정합된 영상을 기초로 대상 작물의 생육지표를 산출할 수 있다(S19). 여기서, 작물의 생육지표는 영양생장, 생식생장을 포함하여 작물의 생육상태나 생육정도를 파악할 수 있는 지표값으로서, 작물의 높이, 개화 화방의 위치, 개화 화방 주변의 줄기 두께, 잎 마디수, 잎 면적 지수, 과실 크기 등을 포함한다. 생육지표의 산출은 CNN, RNN, YOLO 등의 알고리즘을 적용하여 기계학습과 딥러닝을 통하여 이루어질 수 있으며, 이외에도 공지된 다양한 영상 인식 및 처리 알고리즘을 적용하여 이루어질 수 있다.

이상에서 설명된 바와 같이, 본 발명에 따른 작물 생육 계측 시스템 및 방법에 의하면, 여러 대의 카메라 또는 깊이 카메라 등 고가의 촬영장비를 사용하지 않고도 정합된 영상을 통하여 생육지표 산출 대상 작물을 용이하게 식별할 수 있으므로 영상 기반 생육지표 산출시 배경 제거 등을 위한 영상 처리 로드가 크게 감소되고, 정합 영상을 기초로 정확하게 작물의 생육지표를 산출할 수 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 촬영부 200: 영상처리부
300: 촬영제어부

Claims (8)

1. 작물 영상을 기초로 작물의 생육지표를 산출하는 작물생육 계측 시스템에 있어서,
   생육지표를 산출할 대상 작물에 대하여 미리 결정된 간격으로 상하 방향으로 이동하면서 서로 다른 위치에 따른 상기 대상 작물의 복수 영상을 획득하는 촬영부;
   상기 서로 다른 위치에 따른 상기 대상 작물의 복수 영상을 상기 대상 작물에 대한 하나의 영상으로 정합하는 영상처리부; 및
   상기 대상 작물보다 상대적으로 뒤쪽에 위치한 후방 작물과 상기 대상 작물과의 거리 정보를 기초로 상기 촬영부의 획득 영상 개수 및 상기 획득 영상 개수에 따른 상기 촬영부의 이동 간격을 결정하여 상기 촬영부를 제어하는 촬영제어부를 포함하며,
   상기 촬영제어부는, 상기 후방 작물과 상기 대상 작물과의 거리에 반비례 관계를 가지도록 상기 획득 영상 개수를 결정하되, 상기 촬영제어부는 상기 대상 작물과 상기 후방 작물과의 거리, 및 작물의 높이에 따른 상기 촬영부에 의한 획득 영상 개수와 상기 촬영부의 이동 간격 값을 각각 매칭한 데이터 테이블을 저장하고, 상기 데이터 테이블을 기초로 상기 획득 영상 개수와 상기 이동 간격을 도출하는 것을 특징으로 하는 작물생육 계측 시스템.
   
2. 제1항에 있어서,
   상기 영상처리부는, 상기 대상 작물의 각 영상의 일부씩 중첩되도록 상기 복수 영상을 순차적으로 연결하여 상기 대상 작물에 대한 하나의 영상으로 정합하되, 이웃하는 영상과의 비중첩 영역은 상기 촬영부의 이동 방향을 따르는 일정 픽셀 수에 대응하는 영역인 것을 특징으로 하는 작물 생육 계측 시스템.
   
3. 제2항에 있어서,
   이웃하는 영상간 상기 비중첩 영역의 픽셀 수는 상기 촬영부의 이동 간격 및 상기 촬영부와 상기 대상 작물과의 거리를 기초로 결정되는 것을 특징으로 하는 작물 생육 계측 시스템.
   
4. 제3항에 있어서,
   상기 각 영상간 비중첩 영역의 상기 픽셀 수와 상기 촬영부와 상기 대상 작물과의 거리는 서로 반비례 관계를 가지는 것을 특징으로 하는 작물 생육 계측 시스템.
   
5. 삭제
6. 삭제
7. 작물 영상을 기초로 작물의 생육지표를 산출하는 작물생육 계측 방법에 있어서,
   촬영제어부가 생육지표를 산출할 대상 작물과 상기 대상 작물보다 상대적으로 뒤쪽에 위치한 후방 작물과의 거리 정보를 기초로 촬영장치의 획득 영상 개수 및 상기 획득 영상 개수에 따른 상기 촬영장치의 이동 간격을 결정하는 단계;
   상기 촬영장치가 상기 촬영제어부의 제어에 따라 상기 이동 간격으로 상기 대상 작물에 대하여 상하 방향으로 이동하면서 상기 촬영제어부를 통하여 결정된 상기 획득 영상 개수에 대응하는 서로 다른 위치에 따른 상기 대상 작물의 복수 영상을 획득하는 단계; 및
   프로세서가 상기 서로 다른 위치에 따른 상기 대상 작물의 복수 영상을 상기 대상 작물에 대한 하나의 영상으로 정합하는 단계를 포함하며,
   상기 촬영제어부는 상기 후방 작물과 상기 대상 작물과의 거리에 반비례 관계를 가지도록 상기 획득 영상 개수를 결정하되, 상기 촬영제어부는 상기 대상 작물과 상기 후방 작물과의 거리, 및 작물의 높이에 따른 상기 촬영장치에 의한 획득 영상 개수와 상기 촬영장치의 이동 간격 값을 각각 매칭한 데이터 테이블을 저장하고, 상기 데이터 테이블을 기초로 상기 획득 영상 개수와 상기 이동 간격을 도출하는 것을 특징으로 하는 작물 생육 계측 방법.
   
8. 제7항에 있어서,
   상기 프로세서가 상기 대상 작물에 대한 하나의 정합 영상을 기초로 상기 대상 작물의 생육지표를 산출하는 단계를 더 포함하는 것을 특징으로 하는 작물 생육 계측 방법.

Images