KR20180086745A - 식물 영상 처리 장치 및 방법 - Google Patents

Abstract

본 발명은 식물 영상 처리 장치 및 방법에 관한 것으로, 본 발명에 따른 식물 영상 처리 장치는 기준 오브젝트의 실제 수치값을 포함하여 상기 기준 오브젝트에 관한 기준 데이터를 저장하는 기준데이터 저장부; 식물과 상기 기준 오브젝트가 함께 촬영된 식물 영상이 입력되는 영상 입력부; 상기 식물 영상에서 미리 설정된 타깃을 검출하는 타깃 검출부; 상기 식물 영상에서 상기 기준 오브젝트를 검출하는 기준 오브젝트 검출부; 및 상기 식물 영상에서 픽셀 단위로 산출되는 상기 기준 오브젝트의 수치값과 상기 실제 수치값 간의 관계를 적용하여 상기 타깃을 기초로 정의되는 생육지표에 관한 수치값을 산출하는 생육지표 산출부를 포함하는 것을 특징으로 한다. 이에 의하면, 영상마다 촬영거리, 촬영각도 등이 서로 상이하더라도 식물의 생육지표에 관한 수치값을 정확하게 산출할 수 있다.

Description

식물 영상 처리 장치 및 방법{APPARATUS FOR PROCESSING PLANT IMAGES AND METHOD THEREOF}

본 발명은 식물 영상 처리 장치 및 처리 방법에 관한 것으로서, 더욱 상세하게는, 식물의 생육을 파악하기 위하여 식물 영상을 처리하는 장치 및 식물 영상 처리 방법에 관한 것이다.

농업 생산성의 정체, 농촌인구 감소 및 고령화, 농산물 시장 개방이라는 위기 아래, 최근에는 작물 생산량 및 품질을 높이고, 노동력을 절감하기 위한 방안으로, 농업에 ICT(Information and Communication Technology) 기술을 접목한 스마트팜(Smart farm)이 확산되고 있는 추세에 있다.

스마트팜은 사물 인터넷 기술을 이용하여 재배 시설의 환경을 모니터링하고, 제어 장치를 구동하여 재배에 적합한 환경을 조성해 주며, 모바일 기기를 통해 원격 관리도 가능하기 때문에 농업분야 진출에 대한 장벽을 낮추고 생산성과 효율성, 품질 향상 등과 같은 고부가가치를 창출할 수 있는 차세대 모델로 꼽히고 있다.

이에 따라, 개인의 오랜 재배 경험을 통해 획득한 노하우나 지식에 의존하던 종래 농업과는 달리 객관적인 데이터를 획득하고 이를 처리분석하는 방안이 요구된다. 예를 들어, 종래에는 사람이 육안으로 과실의 색이나 크기를 판단하여 수확시기 등을 결정하였지만 영상처리를 통해 수확시기 및 수확대상 과실에 관한 정보를 제공해 줄 수 있으며, 성장상태를 파악하여 생산량이나 품질을 증대시키기 위한 조치를 가이드해 줄 수 있을 것이다.

이에, 영상 처리를 통하지 않고 사람이 직접 측정한 데이터를 입력하는 방법도 있으나, 사람마다 측정기준이나 방법이 달라 데이터 편차가 크게 나타나고, 동일인이 측정하더라도 측정시마다 데이터가 상이하기 때문에 정확한 데이터를 획득할 수 없는 문제가 있다. 이는 곧 재배에 관한 가이드 정보 및 시설 제어의 불완정성과 부정확성을 야기한다.

이에, 한국공개특허 제10-2015-0057330호는 영상을 기초로 작물 생육을 판단하는 시스템에 관하여 개시하고 있다. 이에 따르면, 카메라가 식물공장의 각 재배단에 고정되어 일정방향으로 이동하면서 촬영을 하는 것으로, 촬영거리, 촬영각도 등이 동일하게 제어되는 환경에서 촬영된 영상을 처리하여 작물의 생육을 판단한다.

그러나, 노지나 온실과 같이 작업자가 재배하는 실제 재배 환경에서는 영상 촬영시 다양한 장애물이 혼재하고, 영상을 촬영하는 사람마다 촬영 각도, 촬영 거리 등 촬영조건이 상이하기 때문에 이러한 차이를 고려하여 정확하게 영상을 분석할 수 있는 방법이 강구되어야 한다.

한국공개특허 제10-2015-0057330호

본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출된 것으로서, 촬영거리, 각도 등 촬영조건이 통일되지 않더라도 식물의 생육정보를 정확하게 파악할 수 있는 식물 영상 처리 장치 및 영상 처리 방법을 제공하는데 목적이 있다.

상기한 목적은 본 발명의 일 양태에 따른 2차원 식물 영상을 처리하는 식물 영상 처리 장치에 있어서, 기준 오브젝트의 실제 수치값을 포함하여 상기 기준 오브젝트에 관한 기준 데이터를 저장하는 기준데이터 저장부; 식물과 상기 기준 오브젝트가 함께 촬영된 식물 영상이 입력되는 영상 입력부; 상기 식물 영상에서 미리 설정된 타깃을 검출하는 타깃 검출부; 상기 식물 영상에서 상기 기준 오브젝트를 검출하는 기준 오브젝트 검출부; 및 상기 식물 영상에서 픽셀 단위로 산출되는 상기 기준 오브젝트의 수치값과 상기 실제 수치값 간의 관계를 적용하여 상기 타깃을 기초로 정의되는 생육지표에 관한 수치값을 산출하는 생육지표 산출부를 포함하는 것을 특징으로 하는 식물 영상 처리 장치에 의하여 달성될 수 있다.

이때, 상기 식물 영상에는 상기 기준 오브젝트가 복수 개 포함되며, 상기 생육지표 산출부는, 상기 식물 영상에서 검출된 상기 기준 오브젝트에 관한 데이터와 상기 기준 데이터를 비교하여 복수 개의 상기 기준 오브젝트 중 상기 생육지표에 관한 수치값의 산출에 이용할 일부의 기준 오브젝트를 선택할 수 있다.

또한, 상기 생육지표 산출부는, 상기 식물 영상에서 픽셀 단위로 산출되는 상기 기준 오브젝트의 수치값과 상기 실제 수치값 간의 관계를 기초로 픽셀 단위로 산출된 상기 생육지표에 관한 수치값의 단위를 변환하여 상기 기준 오브젝트의 실제 수치값의 단위로 상기 생육지표에 관한 수치값을 산출할 수 있다.

여기서, 상기 기준 오브젝트는 원, 구, 및 다각형 중 적어도 하나의 형상을 가질 수 있다.

또한, 상기 생육지표 산출부는, 상기 식물 영상에서 검출된 상기 기준 오브젝트의 위치 또는 형상을 기초로 상기 기준 오브젝트가 중력방향 축을 기준으로 회전된 정도를 파악하여 상기 식물 영상의 원근정보를 산출하고, 상기 원근정보를 반영하여 상기 생육지표에 관한 수치값을 산출함으로써, 2차원 영상의 한계를 보완할 수 있다.

한편, 상기 타깃 검출부 및 상기 기준 오브젝트 검출부는, 기계학습을 통해 생성된 검출 모델을 기초로 각각 상기 타깃과 상기 기준 오브젝트를 검출하여 검출의 정확도를 향상시킬 수 있다.

그리고, 상기 타깃 검출부는, 상기 식물의 줄기의 생장점 부근에 부착된 표식 상의 일 포인트를 검출하며, 상기 생육지표 산출부는, 제1 시점과 제2 시점에 각각 대응되는 상기 표식 상의 일 포인트 사이의 거리를 산출할 수 있으며, 이때, 상기 타깃 검출부는, 상기 제1 시점의 이전에 대응되는 상기 표식과 다른 줄기에 부착된 상기 표식 상의 일 포인트는 제외할 수 있다.

또한, 상기 타깃 검출부는, 상기 식물의 줄기의 좌우측 외곽라인 상에 존재하는 에지쌍을 검출하며, 상기 생육지표 산출부는, 상기 에지쌍을 이루는 두 에지 포인트의 거리를 산출할 수 있으며, 이때, 상기 타깃 검출부는, 상기 식물의 줄기의 좌우측 외곽라인 상에 존재하는 다수의 에지쌍 중 동일측상의 에지 포인트들이 이루는 평균 기울기와 상기 에지쌍을 이루는 에지 포인트의 거리를 기초로 적어도 하나 이상의 에지쌍을 추출할 수 있다.

상기한 목적은 본 발명의 또 다른 양태에 따른 각 단계가 컴퓨터를 통해 이루어지는 2차원 식물 영상을 처리하는 식물 영상 처리 방법에 있어서, 기준 오브젝트의 실제 수치값을 포함하여 상기 기준 오브젝트에 관한 기준 데이터를 저장하는 단계; 식물과 상기 기준 오브젝트가 함께 촬영된 식물 영상이 입력되는 단계; 상기 식물 영상에서 미리 설정된 타깃을 검출하는 단계; 상기 식물 영상에서 상기 기준 오브젝트를 검출하는 단계; 및 상기 식물 영상에서 픽셀 단위로 산출되는 상기 기준 오브젝트의 수치값과 상기 실제 수치값 간의 관계를 적용하여 상기 타깃을 기초로 정의되는 생육지표에 관한 수치값을 산출하는 단계를 포함하는 것을 특징으로 하는 식물 영상 처리 방법에 의해서도 달성될 수 있다.

이상에서 설명된 바와 같이, 본 발명에 따르면, 영상마다 촬영거리, 촬영각도 등의 촬영조건이 통일되지 않더라도 식물의 생육지표에 관한 수치값을 정확하게 산출할 수 있다.

또한, 본 발명에 따르면, 영상에서 촬영된 기준 오브젝트를 기초로 식물 영상의 원근정보를 산출하고, 이를 적용하여 더욱 정확한 생육지표에 관한 수치값을 산출할 수 있다.

뿐만 아니라, 본 발명에 따르면, 스마트폰에 구비된 카메라와 같이 작업자가 쉽게 휴대가능한 촬영모듈로 촬영한 영상을 이용하여 분석이 가능하기 때문에, 별도의 설비가 필요하지 않아 경제적이며, 다양한 재배 환경에 적용될 수 있어 활용성이 크다.

도 1은 본 발명의 실시예에 따른 식물 영상 처리 장치의 구성을 나타낸 블록도;
도 2 내지 도 4는 식물 영상에서 줄기의 생장 길이에 관한 타깃을 검출하는 기계학습 모델을 생성하는 예를 설명하기 위한 참고도면;
도 5 내지 도 8은 식물 영상에서 줄기의 직경에 관한 타깃을 검출하는 기계학습 모델을 생성하는 예를 설명하기 위한 참고도면;
도 9와 도 10은 식물 영상에서 기준 오브젝트를 검출하는 일 예를 설명하기 위한 참고도면; 및
도 11은 본 발명의 실시예에 따른 식물 영상 처리 방법을 나타낸 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하도록 한다.

본 발명에 따른 식물 영상 처리 장치는 2차원 식물 영상을 처리하여 식물의 생육지표에 관한 수치값을 산출한다. 여기서, 생육지표는 영양생장, 생식생장을 포함하여 식물의 생장정도를 파악할 수 있는 지표로서, 예컨대, 과실, 꽃, 줄기, 잎 등 식물의 부분이나 식물 전체의 길이, 크기, 개수, 면적, 직경, 두께, 둘레 등을 포함한다.

이하에서는, 생육지표로서, 식물 줄기의 생장 길이 및 직경을 예로 들어 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 식물 영상 처리 장치의 구성을 나타낸 블록도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 식물 영상 처리 장치(100)는 영상 입력부(10), 기준데이터 저장부(20), 타깃 검출부(30), 기준 오브젝트 검출부(40), 및 생육지표 산출부(50)를 포함한다.

영상 입력부(10)는 식물과 기준 오브젝트가 함께 촬영된 2차원 식물 영상을 입력받는다. 촬영은 노지, 온실 등 다양한 재배 공간에서 이루어질 수 있으며, 재배 공간 내 설치된 촬영모듈(미도시)를 통해 이루어질 수도 있으나, 작업자가 촬영모듈을 소지하고 공간 곳곳을 돌아다니면서 식물을 촬영할 수도 있다.

식물 영상에는 생육지표를 통해 생장정도의 파악이 필요한 분석대상 식물체와 기준 오브젝트가 함께 촬영된다. 여기서, 식물체 전체가 영상에 나오도록 촬영이 이루어질 수도 있으나, 분석 생육지표에 따라 식물체의 부분만 영상에 나오도록 촬영이 이루어질 수도 있다. 예컨대, 식물의 꽃의 둘레, 크기 등을 생육지표로 분석할 때에는 전체 식물체 중 식물체의 꽃이 위치한 부분만 촬영할 수도 있을 것이다. 이처럼, 촬영부분은 분석 생육지표의 종류, 위치 등에 따라 결정될 수 있다. 그러나, 식물체의 부분이 촬영되더라도 기준 오브젝트가 포함되는 것은 동일하다.

한편, 기준 오브젝트는 영상 촬영시 함께 촬영되는 오브젝트로 단수 또는 복수개가 적용될 수 있고, 삼각형, 사각형을 비롯한 다각형, 원, 구 등 다양한 2차원 또는 3차원 형상의 물체가 활용될 수 있으며, 특정 형상에 한정되지 않는다. 또한, 기준 오브젝트는 소정 물체에 부착되거나 고정될 수도 있다.

예컨대, 기준 오브젝트로서, 평면에 부착된 단수 또는 복수 개의 2차원 또는 3차원 도형이 활용될 수 있으며, 또는 손가락 등 촬영자 신체 일부에 감긴 테이프, 촬영자가 착용한 장갑 위에 부착되거나 놓여진 단수 또는 복수의 구슬 등을 기준 오브젝트로 활용할 수도 있다.

영상 촬영자는 기준 오브젝트를 소지하고 다니면서 촬영시마다 촬영 대상 식물 곁에 기준 오브젝트를 위치한 상태로 영상을 촬영하거나, 또는 식물의 줄기 등에 기준 오브젝트를 걸어놓는 등의 방식으로 기준 오브젝트가 영상에 함께 나오도록 촬영하여 2차원 식물 영상을 획득할 수 있다.

기준데이터 저장부(20)는 기준 오브젝트의 실제 수치값을 포함하여 기준 오브젝트에 관한 기준 데이터를 저장한다. 여기서, 기준 오브젝트의 실제 수치값은 기준 오브젝트의 실제 크기와 직간접적으로 관련된 수치값으로서, 기준 오브젝트의 길이, 면적, 둘레, 직경 등의 값이며, 이외에도 기준데이터 저장부(20)는 기준 오브젝트의 형상, 위치, 색상 등의 정보도 저장할 수 있다. 이러한 기준 데이터는 식물 영상을 처리하여 생육지표에 관한 수치값을 산출할 때의 기준으로 활용된다.

예컨대, 기준 오브젝트가 원일 때, 원이라는 형상에 관한 데이터와, 원의 직경, 색상을 저장할 수 있으며, 복수 개의 기준 오브젝트로서 평면판에 부착된 복수 개의 원이 적용될 때에는 각 원의 형상, 색상, 직경 등을 포함하여 각 원의 위치좌표를 함께 저장할 수 있다.

한편, 기준 데이터 값의 단위는 생육지표에 관하여 산출하고자 하는 수치값의 단위와 동일한 단위로 저장하거나 또는 산출하고자 하는 수치값의 단위로 변환가능한 단위로 저장한다. 예를 들어, 줄기의 직경을 mm 단위로 산출하고자 할 때, 기준 데이터의 단위는 동일한 단위인 mm로 저장하거나 또는 mm로 변환가능한 cm 등으로 저장할 수 있을 것이다.

타깃 검출부(30)는 영상 입력부(10)를 통해 입력된 2차원 식물 영상에서 미리 설정된 타깃을 검출한다. 여기서, 생육지표는 타깃을 기초로 정의되는 것으로서, 타깃은 생육지표에 관한 수치값을 산출하기 위하여 필요한 식물의 특정 부분영역이나, 특정 포인트, 또는 생육지표 분석을 위하여 식물에 부착된 특정 표식 등이 될 수 있다.

예컨대, 생육지표가 제1 시점부터 제2 시점까지 줄기가 생장한 길이라고 할 때, 타깃 검출부(30)는 제1 시점과 제2 시점에 각각 대응되는 식물의 줄기의 생장점 부근에 부착된 표식 상의 일 포인트를 타깃으로 검출할 수 있으며, 이때, 제1 시점 이전에 부착되거나 제2 시점 이후에 부착된 표식 상의 포인트, 또는 다른 줄기에 부착된 표식 상의 포인트 등 분석대상 생육지표와 무관한 타깃은 필터링하고, 분석에 필요한 타깃만 선별적으로 검출한다. 이를 위한 필터링은 부착된 전체 표식 중 식물에 부착된 위치, 식물 영상에서 나타나는 표식의 크기를 비교함으로써 이루어질 수 있다.

또 다른 예로서, 생육지표가 줄기의 직경이라고 할 때, 타깃 검출부(30)는 식물의 줄기의 좌우측 외곽라인 상에 대칭적인 위치에 존재하는 에지쌍을 검출할 수 있다. 이때, 타깃 검출부(30)는 식물의 줄기의 좌우측 외곽라인 상에 존재하는 다수의 에지쌍 중 동일측상의 에지 포인트들이 이루는 평균 기울기와 에지쌍을 이루는 에지 포인트의 거리를 기초로 적어도 하나 이상의 에지쌍을 추출하여 타깃으로 검출할 수 있다. 예컨대, 타깃 검출부(30)는 동일측상의 에지 포인트들이 이루는 평균 기울기와 가장 가깝고, 에지쌍을 이루는 에지 포인트의 거리가 미리 설정된 거리 이상인지 여부를 기초로 에지쌍을 필터링하여 정확한 수치값 산출을 위한 에지쌍을 선택적으로 추출할 수 있다.

한편, 타깃 검출부(30)는 다양한 영상인식 알고리즘을 통해 타깃을 검출할 수 있으며, CNN(Convolutional Neural Network)를 비롯한 신경망(neural network), SVM(Support Vector Machine) 등 다양한 알고리즘을 통한 기계학습을 통해 생성한 타깃 검출 모델로 타깃을 검출할 수도 있다.

도 2 내지 도 8은 기계학습을 통하여 타깃 검출 모델을 생성하는 예를 설명하기 위한 참고도면으로서, 도 2 내지 도 4는 줄기의 생장 길이에 관한 타깃을 검출하는 모델과 관련된 것이고, 도 5 내지 도 8은 줄기의 직경에 관한 타깃을 검출하는 모델과 관련된 것이다.

먼저, 도 2 내지 도 4를 참조하면, 식물의 생장점 부근에 부착된 표식으로 검정색 테이프를 적용한 예를 보여준다.

도 2와 같이, 다양한 영상 인식 알고리즘이나 기계학습 등을 통해 미리 생성된 모델을 이용한 영상 인식을 통하여 검정색 테이프를 인식하고, 인식된 결과 중에서 생육지표와 무관한 부분, 예컨대, 제1 시점 이전에 부착되거나 다른 줄기에 부착된 표식은 필터링하여 지도 학습(Supervised Learning)을 위한 훈련 데이터(Training Data)를 구축한다. 훈련 데이터로서, 사용자가 직접 표식의 위치를 표시한 데이터가 활용될 수도 있다.

도 3과 같이 인식된 표식이 나타난 영역이 주로 나타나도록 크로핑(Cropping)된 영상을 기초로 기계학습을 통한 제1 훈련을 수행한다. 제1 훈련을 통해서는 타깃에 해당하는 표식상의 일 포인트를 대략적으로 검출할 수 있게 된다.

이후, 도 4와 같이 크로핑된 영상에 그리드(401)를 적용하여 타깃으로 검출할 표식상의 일 포인트, 예컨대, 표식의 중심점(O)의 정확한 위치를 특정하고, 이를 기초로 레이블(Lable)을 업데이트하여 제2 훈련을 수행함으로써 표식 상의 정확한 중심점을 타깃으로 검출하는 타깃 검출 모델을 생성할 수 있다. 참고로, 표식 상의 일 포인트의 위치는 식물의 생장을 유도하는 유도줄과의 관계를 고려하여 특정될 수 있다.

이하, 도 5 내지 도 8을 참조하여, 줄기 직경을 산출하기 위한 타깃을 검출하는 모델을 생성하는 과정을 살펴보면, 전술된 예와 동일하게 지도 학습을 위한 훈련 데이터 구축과정이 선행된다.

이를 위하여, 도 5와 같이, 미리 학습된 가중치(Weight) 등을 이용한 영상 인식을 통하여 직경을 산출할 줄기영역을 검출하고, 검출된 줄기영역을 그레이스케일(Greyscale)로 변경하여, 줄기의 진행방향으로 하나의 픽셀씩 순차적으로 진행하면서 그레이스케일 기반으로 도 6과 같이 줄기 외곽라인상의 에지 포인트들을 검출한다.

이어서, 검출된 에지 포인트 중 줄기 외곽라인 상에 정확하게 위치하지 않은 에지 포인트를 필터링한다.

예컨대, 줄기 좌측과 우측에서 각각 대응되는 위치에 있는 에지 포인트들이 하나의 에지쌍을 이룬다고 할 때, 에지쌍을 이루는 에지 포인트 간 거리가 미리 설정된 거리 이상인지 여부를 기초로 지나치게 가깝거나 먼 에지 포인트를 1차 필터링하고, 인접한 에지 포인트와 이루는 기울기가 동일측 에지 포인트들이 이루는 평균 기울기에 가까운지 여부를 기초로 에지 포인트에 대한 2차 필터링을 수행할 수 있다.

도 7과 같이 필터링 후 남은 에지 포인트들이 나타난 영역이 주로 나타나도록 크로핑된 영상을 기초로 기계학습을 통한 제1 훈련을 수행한다. 제1 훈련을 통해서는, 줄기의 대략적인 접선에 위치한 에지쌍을 검출할 수 있게 된다.

이후, 도 8과 같이 그리드(801)를 적용하여 줄기의 접선에 대응되도록 에지 포인트의 정확한 위치를 특정하고, 이를 기초로 레이블을 업데이트하여 제2 훈련을 수행함으로써 줄기의 외곽라인 상의 에지쌍을 타깃으로 검출하는 타깃 검출 모델을 생성할 수 있다.

타깃 검출부(30)는 전술된 바와 같이 미리 학습된 타깃 검출 모델을 활용하거나 다양한 영상 처리 알고리즘을 이용하여 2차원 식물 영상에서 생육지표에 관한 타깃을 검출한다. 위에서는 타깃의 예로서 줄기 생장 길이를 위한 제1 시점과 제2 시점에 부착된 표식상의 일 포인트와 줄기 직경을 위한 줄기 외곽라인 상의 에지 포인트가 설명되었지만, 이 외에도 다양한 생육지표에 관한 타깃들을 검출할 수 있다. 예컨대, 생육지표가 과실이나 꽃의 크기의 경우에는 과실이나 꽃의 외곽라인이나 외곽라인 상의 포인트들을 타깃으로 검출할 수 있고, 잎의 길이를 산출하기 위해서는 잎의 양 끝 포인트를 타깃으로 검출할 수 있을 것이다. 이처럼, 타깃은 생육지표의 종류에 따라 다양한 위치로 결정될 수 있다.

기준 오브젝트 검출부(40)는 영상 입력부(10)를 통해 입력된 2차원 식물 영상에서 기준 오브젝트를 검출한다.

도 9와 도 10은 기준 오브젝트를 검출하는 일 예를 설명하기 위한 참고도면이다. 참고로, 도 9와 도 10은 일 평면에 부착된 적색 원 형태의 복수 개의 기준 오브젝트를 적용하는 예를 보여준다.

기존 오브젝트 검출부(40)는 도 9와 같이, 기준 오브젝트의 색상이 적색이라는 것을 이용하여 식물 영상에서 적색을 추출하고, 이와 같이 추출된 영상에서 도 10과 같은 형태로 기준 오브젝트를 인식할 수 있다. 이때, 기준 오브젝트 검출부(40)도 타깃 검출부(30)와 같이, 다양한 영상인식 알고리즘을 이용하여 기준 오브젝트를 검출할 수 있으며, 기계학습을 통해 미리 생성한 기준 오브젝트 검출 모델로 검출할 수도 있을 것이다.

생육지표 산출부(50)는 식물 영상에서 픽셀 단위로 산출되는 기준 오브젝트의 길이, 직경, 면적, 둘레 등의 수치값과 기준데이터 저장부(20)에 저장된 실제 수치값 간의 관계를 적용하여 타깃을 기초로 정의되는 생육지표에 관한 수치값을 산출한다.

생육지표에 관한 수치값은 타깃을 기초로 정의되는 생육지표에 따른 길이, 면적, 둘레, 크기, 직경 등으로서, 예컨대, 생육지표가 제1 시점과 제2 시점동안 줄기가 생장한 길이인 경우에는 타깃 검출부(30)를 통해 검출된 제1 시점과 제2 시점에 식물 줄기 생장점 부근에 부착된 표식의 중심점 사이의 거리가 산출되며, 생육지표가 줄기의 직경일 때에는 타깃 검출부(30)를 통해 검출된 식물 줄기의 좌우측 외곽라인 상에 존재하는 에지쌍을 이루는 두 에지 포인트 사이의 거리가 생육지표에 관한 수치값으로 산출될 수 있다. 이외에도, 잎의 길이인 경우에는 잎의 양 끝단 포인트 간의 거리가 수치값으로 산출될 수 있다.

한편, 픽셀 단위로 산출되는 기준 오브젝트의 수치값과 기준 데이터 간의 관계를 기초로 생육지표에 관한 수치값을 산출하는 것을 기준 오브젝트의 직경을 예로 들어 설명하면, 식물 영상에서 검출된 기준 오브젝트의 직경이 3픽셀을 차지하고 있는 것으로 나타났고, 기준데이터 저장부(20)에는 기준 오브젝트의 실제 직경이 3cm로 저장되어 있다면, 식물 영상의 하나의 픽셀은 1cm에 대응되는 관계에 있음을 알 수 있다. 이러한 관계를 기초로, 만약, 생육지표에 대응하는 픽셀수가 2픽셀이라면, 생육지표에 관한 수치값은 2cm로 산출될 수 있다.

이처럼, 생육지표 산출부(50)는 2차원 식물 영상에서 픽셀 단위로 기준 오브젝트와 생육지표에 관한 수치값을 각각 산출하고, 산출된 기준 오브젝트의 수치값과 기준데이터 저장부(20)에 저장된 실체 수치값 간의 관계를 기초로 식물 영상에서 픽셀 단위로 산출된 생육지표에 관한 수치값 단위를 변환하여 기준데이터 저장부(20)에 저장된 실체 수치값의 단위에 따라 생육지표에 관한 수치값을 산출한다.

이에 의하면, 영상마다 촬영 거리, 촬영 각도 등의 촬영상태나 조건이 동일하지 않더라도 각 영상에 대하여 정확한 생육지표에 관한 수치값을 산출할 수 있게 된다.

한편, 생육지표 산출부(50)는 식물 영상에 기준 오브젝트가 복수 개 포함되어 있을 때, 식물 영상에서 검출된 기준 오브젝트에 관한 데이터와 기준 데이터를 비교하여 복수 개의 기준 오브젝트 중 생육지표에 관한 수치값의 산출에 이용할 일부의 기준 오브젝트를 선택할 수 있다.

예를 들어, 도 10과 같이 기준 오브젝트 검출부(40)를 통해 식물 영상에서 복수 개의 기준 오브젝트가 검출되었을 때, 기준데이터 저장부(20)에 저장된 데이터를 기초로 기준 오브젝트는 원임을 파악할 수 있으므로, 검출된 복수 개의 기준 오브젝트 중 원에 가장 가까운, 즉 영상에서 가장 왜곡되지 않은 기준 오브젝트를 택일하여 수치값 산출에 이용할 수 있다.

또한, 생육지표 산출부(50)는 식물 영상에서 검출된 기준 오브젝트를 기초로 식물 영상의 원근정보를 산출하고, 원근정보를 반영하여 수치값을 산출할 수 있다.

영상 입력부(10)를 통해 입력되는 식물 영상은 2차원 영상이기 때문에 원근정보를 파악하기 힘들다는 문제점이 있다. 이에, 도 9와 같이 복수 개의 기준 오브젝트가 부착된 평면을 중력방향의 축을 기준으로 회전되는 방향으로 소정 각도 기울인 상태로 촬영을 하고, 기준 오브젝트를 검출하면, 기울어진 정도에 따라 인접한 기준 오브젝트 간의 거리, 위치관계가 달라지고, 기준 오브젝트의 형상이 달리 검출된다.

이와 같은 사실을 이용하여 검출된 기준 오브젝트들의 위치좌표와 기준 데이터로서 저장된 기준 오브젝트들의 위치좌표, 또는 기준 오브젝트의 형상 등을 기초로 기준 오브젝트가 부착된 평면이 중력방향의 축을 기준으로 앞/뒤로 회전된 정도를 파악할 수 있다. 기울어짐 정도를 통해 해당 기준 오브젝트가 상대적으로 더 가깝고 먼 정도를 파악할 수 있고, 기준 오브젝트와 식물체의 위치 관계에 따라 원근정보를 파악할 수 있다.

이와 같이 기울어진 기준 오브젝트와 식물의 위치관계 및 거리를 기초로 줄기의 굴곡 등에 관한 원근정보를 산출할 수 있으며, 이를 반영하여 수치값을 산출할 수 있다. 예컨대, 생육지표로서, 줄기의 생장 길이를 측정한다고 할 때, 정확한 길이는 직선 길이가 아닌, 줄기의 굴곡에 따른 곡선 길이가 정확한 수치값에 해당하는데, 이와 같이 식물 영상의 원근정보를 반영하여 수치값을 산출함으로써, 2차원 영상으로 인한 문제점을 개선하고 정확한 수치값을 획득할 수 있게 된다.

한편, 생육지표 산출부(50)는 식물 영상의 원근정보에 따라 기준 오브젝트의 형상 등을 역산하여 픽셀 단위의 수치값을 산출할 수 있다. 예컨대, 기준 오브젝트가 원일 때, 기울어진 상태로 촬영이 이루어지면 형상이 왜곡되게 검출되므로 식물 영상에서 산출되는 픽셀 단위 수치값이 실제 수치값과 정확하게 대응되지 않기 때문에 오류가 생긴다. 이를 방지하기 위하여 산출된 원근정보를 기초로 역산하여 기울어진 상태에서 산출된 수치값을 수평 상태에서의 수치값으로 보정하고, 보정된 값과 기준 데이터를 비교할 수 있다.

도 11은 본 발명의 실시예에 따른 식물 영상 처리 방법을 나타낸 흐름도이다. 이하, 도 11을 참조하여, 전술된 식물 영상 처리 장치(100)의 각 구성의 유기적인 동작을 살펴보기로 한다.

먼저, 기준 오브젝트의 길이, 면적, 둘레, 직경 등 기준 오브젝트의 크기와 연관이 있는 실제 수치값과, 그 외 기준 오브젝트의 형상, 위치, 색상 등의 기준 데이터를 저장하는 것이 전제된다(S10). 이때, 기준 데이터 저장부(20)는 여러 종류의 기준 오브젝트에 대응하는 기준 데이터를 저장하고, 영상에서 검출된 기준 오브젝트의 형상 등을 인식하여 실제 촬영된 기준 오브젝트의 종류에 해당하는 기준 데이터를 활용하도록 할 수 있다.

식물과 기준 오브젝트가 함께 촬영된 2차원 영상이 입력되면, 입력된 영상을 기초로 식물의 생육지표에 관한 수치값을 산출하기 위한 후속과정이 진행된다(S20). 2차원 영상은 재배 공간에 설치된 촬영모듈을 통해서 이루어진 영상일 수도 있고, 카메라가 구비된 이동통신 단말기 등의 촬영모듈을 소지하고 다니면서 작업자가 직접 촬영한 영상일 수도 있다. 기준 오브젝트는 식물에 미리 고정되거나 작업자가 소지하고 다니면서 영상에 포함되도록 촬영할 수 있다.

입력된 식물 영상에서 미리 설정된 타깃과 기준 오브젝트를 검출한다(S30). 검출은 색상이나 형상 등의 정보를 활용한 다양한 영상 인식 알고리즘에 의할 수 있으며, 기계 학습을 통해 생성된 검출 모델을 이용하여 이루어질 수도 있다.

여기서, 타깃은 식물의 생장정도 및 상태를 판단할 수 있는 생육지표를 정의하기 위한 것으로, 전술된 바와 같이, 생육지표가 줄기의 생장 길이일 때에는 제1 시점과 제2 시점에 줄기 생장점 부근에 부착된 표식의 중심점이 타깃이 될 수 있고, 생육지표가 줄기의 직경일 때에는 줄기 외곽라인상의 에지쌍이 타깃이 될 수 있다. 이 외에도 타깃은 생육지표가 과실이나 꽃의 크기일 때에는 과실이나 꽃의 외곽라인 또는 외곽라인 상의 특정 포인트 등으로 생육지표에 따라 다양한 위치로 결정될 수 있다.

또한, 분석대상 생육지표가 복수 개이면, 타깃 검출부(30)는 각 생육지표에 대응하는 타깃들을 한 번에 검출할 수도 있다.

이와 같이, 식물 영상에서 타깃과 기준 오브젝트가 검출되면, 식물 영상에서 검출된 기준 오브젝트와 타깃을 기초로 정의되는 생육지표에 관한 수치값을 픽셀 단위로 산출한다(S40).

이어서, 픽셀 단위로 산출된 기준 오브젝트의 수치값과 기준데이터 저장부(20)에 저장된 실제 수치값 간의 관계를 파악하고, 위 관계를 픽셀 단위로 산출된 생육지표에 관한 수치값에 적용하여 기준 데이터로 저장된 실제 수치값의 단위로 생육지표에 관한 수치값을 산출한다(S50).

한편, 생육지표에 관한 수치값을 산출하는 과정에서, 검출된 기준 오브젝트의 형상, 복수의 기준 오브젝트 간 위치관계 등을 기준 데이터와 비교하여 식물 영상에서의 기준 오브젝트가 기울어진 각도 등을 파악하고, 이를 기초로 줄기의 굴곡 등 식물 영상에 대한 원근정보를 산출하는 단계를 더 포함할 수 있다.

원근정보는 줄기의 굴곡에 따른 곡선 길이를 산출하는 등 생육지표에 관한 수치값을 산출하는데 활용될 수 있으며, 또한, 원근정보를 기초로 기준 오브젝트가 기울어진 상태에서 식물 영상에서 측정된 픽셀 단위의 수치값을 역산하여 기준 데이터와 동일한 수평 상태로의 수치값으로 보정하고, 보정된 값과 기준 데이터의 관계를 적용하여 생육지표에 관한 수치값을 산출하는데 활용될 수 있을 것이다.

전술된 본 발명의 실시예에 따른 식물 영상 처리 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.

이상의 설명을 통하여 알 수 있듯이, 본 발명에 따른 식물 영상 처리 장치(100) 및 방법에 의하면, 여러명의 작업자가 촬영하거나, 촬영된 영상마다 촬영거리, 촬영각도 등의 촬영상태니 조건이 서로 상이하더라도 식물의 생육지표에 관한 수치값을 정확하게 산출할 수 있다. 더 나아가, 본 발명에 따르면, 영상에서 촬영된 기준 오브젝트를 기초로 식물 영상의 원근정보를 산출하고, 이를 적용하여 생육지표에 관한 수치값을 산출함으로써, 2차원 식물 영상의 문제점을 효과적으로 보완하고 수치값의 정확성을 도모할 수 있다.

또한, 스마트폰에 구비된 카메라와 같이 작업자가 쉽게 휴대가능한 촬영모듈로 촬영한 영상을 이용하여 분석이 가능하기 때문에, 별도의 설비가 필요하지 않아 경제적이며, 다양한 재배 환경에 적용될 수 있는 장점이 있다.

이상에서 설명된 내용은 본 발명에 따른 식물 영상 처리 장치 및 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어나지 않은 범위 내에서 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경실시가 가능한 범위까지 본 발명의 기술적 사상이 있다고 할 것이다.

상기한 실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

10: 영상 입력부 20: 기준데이터 저장부
30: 타깃 검출부 40: 기준 오브젝트 검출부
50: 생육지표 산출부

Claims (11)

1. 2차원 식물 영상을 처리하는 식물 영상 처리 장치에 있어서,
   기준 오브젝트의 실제 수치값을 포함하여 상기 기준 오브젝트에 관한 기준 데이터를 저장하는 기준데이터 저장부;
   식물과 상기 기준 오브젝트가 함께 촬영된 식물 영상이 입력되는 영상 입력부;
   상기 식물 영상에서 미리 설정된 타깃을 검출하는 타깃 검출부;
   상기 식물 영상에서 상기 기준 오브젝트를 검출하는 기준 오브젝트 검출부; 및
   상기 식물 영상에서 픽셀 단위로 산출되는 상기 기준 오브젝트의 수치값과 상기 실제 수치값 간의 관계를 적용하여 상기 타깃을 기초로 정의되는 생육지표에 관한 수치값을 산출하는 생육지표 산출부를 포함하는 것을 특징으로 하는 식물 영상 처리 장치.
   
2. 제1항에 있어서,
   상기 식물 영상에는 상기 기준 오브젝트가 복수 개 포함되며,
   상기 생육지표 산출부는, 상기 식물 영상에서 검출된 상기 기준 오브젝트에 관한 데이터와 상기 기준 데이터를 비교하여 복수 개의 상기 기준 오브젝트 중 상기 생육지표에 관한 수치값의 산출에 이용할 일부의 기준 오브젝트를 선택하는 것을 특징으로 하는 식물 영상 처리 장치.
   
3. 제1항에 있어서,
   상기 생육지표 산출부는,
   상기 식물 영상에서 픽셀 단위로 산출되는 상기 기준 오브젝트의 수치값과 상기 실제 수치값 간의 관계를 기초로 픽셀 단위로 산출된 상기 생육지표에 관한 수치값의 단위를 변환하여 상기 기준 오브젝트의 실제 수치값의 단위로 상기 생육지표에 관한 수치값을 산출하는 것을 특징으로 하는 식물 영상 처리 장치.
   
4. 제1항에 있어서,
   상기 기준 오브젝트는 원, 구, 및 다각형 중 적어도 하나의 형상을 가지는 것을 특징으로 하는 식물 영상 처리 장치.
   
5. 제1항에 있어서,
   상기 생육지표 산출부는, 상기 식물 영상에서 검출된 상기 기준 오브젝트의 위치 또는 형상을 기초로 상기 기준 오브젝트가 중력방향 축을 기준으로 회전된 정도를 파악하여 상기 식물 영상의 원근정보를 산출하고, 상기 원근정보를 반영하여 상기 생육지표에 관한 수치값을 산출하는 것을 특징으로 하는 식물 영상 처리 장치.
   
6. 제1항에 있어서,
   상기 타깃 검출부 및 상기 기준 오브젝트 검출부는,
   기계학습을 통해 생성된 검출 모델을 기초로 각각 상기 타깃과 상기 기준 오브젝트를 검출하는 것을 특징으로 하는 식물 영상 처리 장치.
   
7. 제1항에 있어서,
   상기 타깃 검출부는, 상기 식물의 줄기의 생장점 부근에 부착된 표식 상의 일 포인트를 검출하며,
   상기 생육지표 산출부는, 제1 시점과 제2 시점에 각각 대응되는 상기 표식 상의 일 포인트 사이의 거리를 산출하는 것을 특징으로 하는 식물 영상 처리 장치.
   
8. 제7항에 있어서,
   상기 타깃 검출부는,
   상기 제1 시점의 이전에 대응되는 상기 표식과 다른 줄기에 부착된 상기 표식 상의 일 포인트는 제외하는 것을 특징으로 하는 식물 영상 처리 장치.
   
9. 제1항에 있어서,
   상기 타깃 검출부는, 상기 식물의 줄기의 좌우측 외곽라인 상에 존재하는 에지쌍을 검출하며,
   상기 생육지표 산출부는, 상기 에지쌍을 이루는 두 에지 포인트의 거리를 산출하는 것을 특징으로 하는 식물 영상 처리 장치.
   
10. 제9항에 있어서,
    상기 타깃 검출부는,
    상기 식물의 줄기의 좌우측 외곽라인 상에 존재하는 다수의 에지쌍 중 동일측상의 에지 포인트들이 이루는 평균 기울기와 상기 에지쌍을 이루는 에지 포인트의 거리를 기초로 적어도 하나 이상의 에지쌍을 추출하는 것을 특징으로 하는 식물 영상 처리 장치.
    
11. 각 단계가 컴퓨터를 통해 이루어지는 2차원 식물 영상을 처리하는 식물 영상 처리 방법에 있어서,
    기준 오브젝트의 실제 수치값을 포함하여 상기 기준 오브젝트에 관한 기준 데이터를 저장하는 단계;
    식물과 상기 기준 오브젝트가 함께 촬영된 식물 영상이 입력되는 단계;
    상기 식물 영상에서 미리 설정된 타깃을 검출하는 단계;
    상기 식물 영상에서 상기 기준 오브젝트를 검출하는 단계; 및
    상기 식물 영상에서 픽셀 단위로 산출되는 상기 기준 오브젝트의 수치값과 상기 실제 수치값 간의 관계를 적용하여 상기 타깃을 기초로 정의되는 생육지표에 관한 수치값을 산출하는 단계를 포함하는 것을 특징으로 하는 식물 영상 처리 방법.
    
    
    

Images