KR20210040088A - 작물 생육 스테이지 판정 시스템의 서버 장치, 생육 스테이지 판정 방법 및 프로그램 - Google Patents

Abstract

비파괴로 간이하면서 적확하게 작물의 생육 상태를 판정하는 것. 작물을 촬영한 화상 정보를 복수 입력하는 화상 데이터 입력부(11)와, 입력한 복수의 화상 정보 각각에 대해서 당해 작물의 생육 스테이지를 나타내는 정보를 입력하는 스테이지 정보 입력부(12)와, 입력한 복수의 화상 정보와 생육 스테이지를 나타내는 정보에 근거하여, 작물의 화상과 생육 스테이지의 대응지음의 심층 학습을 행하는 학습부(14)와, 생육 스테이지가 불명한 작물을 촬영한 화상 정보를 입력하는 화상 입력부(16)와, 화상 입력부(16)에서 입력한 화상 정보에 대해, 학습부(14)에서의 학습 결과에 근거하여 생육 스테이지를 판정하는 생육 스테이지 판정부(10)와, 생육 스테이지 판정부(10)에서 판정한 생육 스테이지를 출력하는 판정 결과 출력부(17)를 구비한다.

Description

작물 생육 스테이지 판정 시스템의 서버 장치, 생육 스테이지 판정 방법 및 프로그램

본 발명은, 작물의 생육 상황을 올바르게 파악하는 데 적합한 작물 생육 스테이지 판정 시스템의 서버 장치, 생육 스테이지 판정 방법 및 프로그램에 관한 것이다.

농업 경영, 특히 수도(水稻 ; paddy rice) 등 주식이 되는 토지 이용형 작물의 분야에서는, 고령화를 배경으로 한 산업 구조의 변화로부터, 대규모 경영체로의 농지 집약이 급속히 진행되고 있다. 이와 같은 농지 집약의 경향은, 장기적으로도 한층 진행될 것으로 보여진다. 농지 집약의 결과, 한 경영체당 일정 이상의 규모에 도달하면, 현재 상태의 재배 관리 방법으로는 인간의 정보 처리 능력을 초과하여, 필요한 진단 및 관리를 적절히 실시할 수 없게 된다. 이에 의해, 중요한 작업 시기를 놓치는 등 하여 생산물의 품질이나 수량이 저하되어, 감수(減收) 감익(減益)이 생기는 사례가 증가하여, 경영 문제가 되고 있다.

작물 재배의 요체는, 작물의 생육 스테이지를 확인하여, 물과 비료를 적절히 관리하는 것에 있다. 작물에는, 출아, 영양 성장, 생식 성장, 개화, 성숙 등 다양한 생육 스테이지가 있고, 농업자는 이들을 매일 쫓으면서 적절한 재배 관리를 행한다.

예를 들면, 수도 재배에 있어서도, 생육 스테이지의 판정은 중요한 기본 관리 기술 중 하나이고, 특히 생육 스테이지의 판정 중 하나인 유수(幼穗; young panicle) 진단에 의존한 시비(施肥)(수비(穗肥))의 시기 판단은, 현미의 수량성과 품질을 직접 좌우한다.

이와 같은 생육 스테이지 판정을 적확하게 행하기 위해서는, 농업자가 매일 포장(圃場)을 순회하고, 전일과의 변화를 감지하고, 자세히는 직접 식물체를 채취하여 분해, 조사하지 않으면 안 된다. 그러나, 농지 집약이 진행되는 중, 작업에 쫓기는 농업자가 원격, 또한 광범위에 걸친 다수의 농지를 빠짐없이 관찰하여, 유수 진단 등에 의해 작물의 생육 스테이지까지 판정하는 것은, 극히 곤란한 작업이 되고 있다.

특히 유수 진단은, 유수가 엽초에 싸여 있어 밖에서 보이지 않는 것에 더하여, 언어에 의한 정보의 전달 가능성이 낮은 기술이기 때문에, 경험이 부족한 사람이면 진단하는 것 자체가 어려운 등, 교육과 기술 전승을 위한 인적, 시간적 비용도 과제가 되고 있다.

그런데, 수도의 생육 스테이지를, 예를 들면 5단계, 즉 (1) 분얼기(分蘖期), (2) 유수 분화기, (3) 감수 분열기, (4) 출수기(出穗期), (5) 등숙기(登熟期)로 나누어 생각하는 경우, 상기 (4) 출수기 및 (5) 등숙기는 모두 외관의 변화가 비교적 명확하다.

그 때문에, 예를 들면 일본 특허공개 2013-111078호 공보에 기재된 기술과 같이, 기준 화상을 준비해 두고, 기준 화상과 촬영한 검사 화상을 비교하는 것에 의해 판별을 행하는 시스템이나, 「디지털 카메라 화상 RGB 처리에 의한 수도 생육 진단 기술」(고토 가쓰노리 외, 토호쿠 농업 연구, 2004년 12월, 57호, pp. 59-60)에 기재된 기술과 같이, 화상 중의 벼(稻)체 화소수로부터 초장(草丈), 줄기수를 추정함으로써 생육 상태를 판단하는 시스템 등이 제안되고 있다.

한편, 상기 (2) 유수 분화기 및 (3) 감수 분열기는, 수량 및 품질에 가장 영향을 주는 중요한 작업 시기이다. 그러나 현재 상태에서는, 특히 (2) 유수 분화기의 초기를 숙련자 이외가 판별하는 것은 사실상 불가능하고, 숙련자여도 확실히 조사하기 위해서는, 유수를 현미경하에서 해부할 필요가 있어, 작업의 난이도가 극히 높다. 또 (3) 감수 분열기도, 유수 부분을 손으로 벗기거나, 또는 커터로 절개함으로써 생육 상태를 육안으로 확인하는 등, 모두 파괴 검사를 행할 필요가 있고, 모든 포장을 확인하는 데에는 다대한 노력을 필요로 하기 때문에, 대규모 농장에서 상기한 파괴 검사에 의한 상태 확인을 행하는 것은 현실적이지 않다.

그 때문에, 실제로는 유수 등의 진단을 행하지 않고, 적절한 타이밍을 간과한 상태에서 작업이 이루어지는 경우도 많아, 수량성과 품질을 손상시키는 큰 요인으로 생각되고 있다.

본 발명은 상기와 같은 실정을 감안하여 이루어진 것으로, 그 목적으로 하는 바는, 비파괴로 간이하면서 적확하게 작물의 생육 상태를 판정하는 것이 가능한 작물 생육 스테이지 판정 시스템의 서버 장치, 생육 스테이지 판정 방법 및 프로그램을 제공하는 것에 있다.

본 발명의 일 태양은, 작물 생육 스테이지 판정 시스템의 서버 장치로서, 작물을 촬영한 화상 정보를 복수 입력하는 제 1 화상 입력부와, 상기 제 1 화상 입력부에서 입력한 복수의 화상 정보 각각에 대해서 당해 작물의 생육 스테이지를 나타내는 정보를 입력하는 스테이지 정보 입력부와, 상기 제 1 화상 입력부에서 입력한 복수의 화상 정보와 상기 스테이지 정보 입력부에서 입력한 생육 스테이지를 나타내는 정보에 근거하여, 작물의 화상과 생육 스테이지의 대응지음의 심층 학습을 행하여 학습 완료된 모델을 구축하는 학습부와, 생육 스테이지가 불명한 작물을 촬영한 화상 정보를 입력하는 제 2 화상 입력부와, 상기 제 2 화상 입력부에서 입력한 화상 정보에 대해, 상기 학습부에서 구축한 학습 완료된 모델에 근거하여 생육 스테이지를 판정하는 스테이지 판정부와, 상기 스테이지 판정부에서 판정한 생육 스테이지의 정보를 출력하는 출력부를 구비한다.

도 1은, 본 발명의 일 실시형태에 따른 생육 스테이지 판정 시스템 전체의 구성을 나타내는 도면이다.
도 2는, 상기 실시형태에 따른 서버 장치의 기능 구성을 나타내는 블럭도이다.
도 3은, 상기 실시형태에 따른 학습 페이즈에서 실행하는 일련의 처리 내용을 나타내는 플로 차트이다.
도 4는, 상기 실시형태에 따른 도 3에서 실행되는 일련의 처리의 개요를 설명하는 도면이다.
도 5는, 상기 실시형태에 따른 판정 페이즈에서 실행하는 일련의 처리 내용을 나타내는 플로 차트이다.
도 6은, 상기 실시형태에 따른 도 5에서 실행되는 일련의 처리의 개요를 설명하는 도면이다.

이하, 본 실시형태를, 수도의 생육 스테이지 판정을 행하는 생육 스테이지 판정 시스템에 적용한 경우의 일 실시형태에 대해, 도면을 참조하여 상세하게 설명한다.

도 1은, 동 실시형태에 따른 생육 스테이지 판정 시스템 전체의 구성을 나타내는 도면이다. 동 도면에 있어서, 생육 스테이지의 판정 대상이 되는 수전(水田) PD를, 여기에서는 도시하지 않은 유저가 소지하는 스마트 폰 SP의 카메라 기능에 의해 촬영한다.

스마트 폰 SP에는, 본 시스템 전용의 애플리케이션 프로그램을 미리 인스톨해 둔다. 스마트 폰 SP로 그 애플리케이션 프로그램을 기동한 상태에서, 디스플레이 화면에 표시되는 가이드 라인을 따른 구도에서 수전의 벼를 촬영함으로써, 촬영에 의해 얻어진 벼의 정지 화상 데이터가 판정 대상이 되는 화상 정보로서 취득된다.

스마트 폰 SP는, 휴대 전화망의 기지국이나 인터넷을 포함하는 네트워크 NW를 통하여, 생육 스테이지의 판정을 행하기 위한 서버 장치 SV와 접속된다.

한편, 판정 대상의 화상을 촬영하는 수단으로서는, 유저가 소지하는 스마트 폰 SP에 한정하지 않고, 예를 들면 고정 설치한 디지털 카메라로 타임 랩스 기능에 의해 정시적으로 계측한 화상을, 서버 장치 SV에 송신하는 것으로 해도 된다.

서버 장치 SV는, 저장하고 있는 학습 완료된 모델에 근거하여, 스마트 폰 SP로부터 보내져 온 화상 정보에 대해, 색성분을 제거하고, 휘도 성분만의 화상 정보로서 그레이 스케일화한 후에, 그 그레이 스케일화한 화상 정보 중의 벼의 생육 스테이지를 판정하고, 판정 결과를 당해 스마트 폰 SP에 반송한다.

한편 실제의 운용 시에는, 간단히 스마트 폰 SP로 생육 스테이지를 알 수 있을 뿐만 아니라, 서버 SV에서 축적 기억하고 있는, 유저에 연관되어 있는 포장의 과거의 생육 스테이지의 이력으로부터, 그 생육 스테이지의 며칠째인지, 또는 다음의 생육 스테이지가 되기 며칠 전인지 등을 스마트 폰 SP에 제시시키도록 해도 된다.

도 2는, 서버 장치 SV 내에서 실행되는 컴퓨터 프로그램의 기능 구성을 나타내는 블럭도이다.

서버 장치 SV는, 생육 스테이지 판정부(10)를 주구성 요소로 하고, 이 생육 스테이지 판정부(10)가, 학습 페이즈와 판정 페이즈로 이분되는 영역에 걸쳐 배치되는 구성이 된다.

학습 페이즈에 있어서, 기본의 학습 모델을 구성하기 위한 각종 생육 스테이지마다의 벼의 화상 데이터가 화상 데이터 입력부(11)에 의해 입력된다. 한편으로, 생육 스테이지의 판정을 행하는 숙련자에 의해, 각 화상 데이터와 관련지어진 생육 스테이지 정보가, 스테이지 정보 입력부(12)에 의해 입력된다.

화상 데이터 입력부(11)로부터 입력된 벼의 화상 데이터와, 스테이지 정보 입력부(12)에서 입력된, 화상 데이터와 관련지어진 생육 스테이지 정보가, 학습 화상 입력부(13)에 의해 접수되고, 관련지어진 생육 스테이지 판정부(10)의 학습부(14)에 입력된다.

학습부(14)는, 예를 들면 5층, 즉 입력층, 중간층 A, 중간층 B, 중간층 C, 및 출력층을 갖는 컨볼루션 뉴럴 네트워크(CNN)에 의한 심층 학습에 의해, 입력되는 화상 데이터와 생육 스테이지 정보의 다수의 세트를 교사 데이터로 한 학습을 실행한다.

학습 실행 시에 있어서는, 시행 착오에 의해 각종 파라미터가 변경 설정되면서 최적인 학습 모델이 작성된다. 충분히 실용에 적합한 것이 되었다고 판단된 시점에서, 취득한 뉴럴 네트워크인 학습 완료된 모델을 구축하고, 판정 페이즈측의 학습 완료된 모델 유지부(15)에 유지시킨다.

생육 스테이지 판정부(10)의 판정 페이즈에 있어서는, 네트워크 NW를 통하여 벼의 화상 데이터가 화상 입력부(16)에 의해 입력되면, 그 화상 데이터에 대해서 학습 완료된 모델 유지부(15)에 유지하고 있는 학습 완료된 모델에 근거하여 생육 스테이지를 판정한다. 그리고, 판정 결과가 되는 생육 스테이지의 정보를 얻고, 얻은 생육 스테이지의 정보를 판정 결과 출력부(17)에 의해 네트워크 NW를 통하여, 상기 화상 데이터를 보내온 스마트 폰 SP에 회신한다.

다음에 상기 실시형태의 동작에 대해 설명한다.

한편, 서버 장치 SV에서의 학습 페이즈에서 입력하는 화상 데이터의 촬영 조건으로서, 동일한 해(年)에 촬영 대상의 포장에 대해서 관찰 위치가 되는 일정점을 설정하고, 시즌 내내 맑은 날이면 충분한 일조가 얻어지는 촬영 시간대, 예를 들면 11:00∼13:00로 하는 등, 학습 정밀도를 높이기 위해서 촬영 조건을 갖추는 것으로 한다.

또한, 서버 장치 SV에서의 학습 페이즈, 판정 페이즈에서 입력하는 화상 데이터는, 촬영 시간대에 의한 태양광(아침 노을 등)이나, 비료 등에 의한 색의 영향을 배제하도록, 촬영에 의해 얻어지는 컬러 화상을 휘도 성분만으로 그레이 스케일화한 뒤에 처리하는 것으로 한다.

또한, 일조나 바람에 의한 벼의 도복(倒伏) 등의 제외 조건을 미리 설정함으로써, 예를 들면 우천 시 등 일조가 충분하지 않는 상태나, 바람이 강해서 정지 화상 중의 벼가 현저하게 기울거나, 또는 흔들려 찍히는 등, 학습 시간의 장기화나 학습 데이터로서의 정밀도의 저하의 요인이 될 수 있는 화상 데이터의 입력을 제한하는 것으로 한다.

우선, 수전 PD에 있어서의 전체 생육 스테이지에 대응한 수도를 촬영한 화상 데이터를 순차적으로, 생육 스테이지를 나타내는 정보와 함께 입력하고, 입력한 내용에 의해 심층 학습을 행하는 학습 페이즈에서의 처리에 대해 설명한다.

도 3은, 서버 장치 SV의 생육 스테이지 판정부(10)에서 학습 페이즈에 있어서 실행하는, 일련의 처리 내용을 나타내는 플로 차트이다. 그 당초에, 미입력된 대상 포장의 화상 데이터를 1개 선택하고 화상 데이터 입력부(11)로부터 입력함과 더불어(스텝 S101), 숙련자에 의해 그 화상에 대응하는 생육 스테이지의 식별 결과의 정보를 스테이지 정보 입력부(12)로부터 입력한다(스텝 S102). 화상 데이터에는, 부대(付帶) 데이터의 일부에, 촬영을 행한 연월일과 시각의 데이터가 포함된다.

서버 장치 SV에서는, 학습 화상 입력부(13)가 이들 화상 데이터와 생육 스테이지의 정보를 관련지어 접수함과 더불어, 입력된 화상 데이터를 소정 사이즈의 화상 블록으로 분할한다(스텝 S103).

여기에서 분할하는 사이즈는, 화상 중의 벼의 형상이나 주간(株間)을 판별할 수 있는 정도의 크기가 바람직하다. 또, 인접하는 화상 블록간에서, 적당한 오버랩률에 의해 주위 부분의 화상이 중복되는 분할 처리를 행해도 된다.

서버 장치 SV의 생육 스테이지 판정부(10)에서는, 분할한 화상 블록을 1개 선택하고 학습부(14)에 입력함과 더불어(스텝 S104), 직전의 스텝 S102에서 입력된, 당해 화상 데이터에 대응하는 생육 스테이지의 식별 결과의 정보를 아울러 학습부(14)에 입력한다(스텝 S105).

그 후, 화상 데이터로부터 분할한 화상 블록의 전부를 학습부(14)에 입력했는지 여부를 판단한다(스텝 S106). 분할한 모든 화상 블록을 그 생육 스테이지의 식별 결과의 정보와 함께 아직 입력하고 있지 않다고 판단한 경우(스텝 S106의 No), 생육 스테이지 판정부(10)에서는, 다시 상기 스텝 S104로부터의 처리로 되돌아가, 아직 입력하고 있지 않은 화상 블록에 관해서도 마찬가지의 입력 처리를 속행한다.

이렇게 하여 스텝 S104∼S106의 처리를 반복하여 실행하고, 1개의 화상 데이터를 분할한 모든 화상 블록을 그 생육 스테이지의 식별 결과의 정보와 함께 입력을 끝냈다고 판단한 시점에서(스텝 S106의 Yes), 다음에 생육 스테이지 판정부(10)에서는, 그 대상 포장에 관한 모든 화상 데이터의 입력을 끝냈는지 여부를 판단한다(스텝 S107).

대상 포장에 관한 모든 화상 데이터의 입력을 끝내지 않고, 아직 미입력된 화상 데이터가 있다고 판단한 경우(스텝 S107의 No), 생육 스테이지 판정부(10)에서는, 다시 상기 스텝 S101로부터의 처리로 되돌아가, 아직 입력하고 있지 않은 화상 데이터에 관해서도 마찬가지의 입력 처리를 속행한다.

이렇게 하여 스텝 S101∼S107의 처리를 재차 반복 실행하고, 모든 화상 데이터에 대해, 그 생육 스테이지의 식별 결과의 정보와 함께 입력한 뒤에, 소정 사이즈의 복수의 화상 블록으로 분할하고 학습부(14)에 입력을 끝냈다고 판단한 시점에서(스텝 S107의 Yes), 학습부(14)에 있어서, 화상의 특징량과 생육 스테이지의 식별 결과를 대응짓는 모델을 구축하도록, CNN에 의한 심층 학습을 실행하고(스텝 S108), 이상으로 학습 페이즈에서의 처리를 완료한다.

도 4는, 상기 도 3에서 실행되는 일련의 처리의 개요를 설명하는 도면이다. 도 4(A)에 나타내는 수전 PD의 「xxxx년」에 있어서의 동일 장소, 동일 시간대에서의 시계열인 촬영을 실시함으로써, 도 4(B)에 나타내는 바와 같이, 다수의 화상 데이터가 취득된다. 이들의 화상 데이터에 대해서, 도 4(C)에 나타내는 바와 같이, 숙련자가 생육 스테이지의 각 기간을 판단하여 입력 설정한다.

이들의 입력에 의해, 도 4(D)에 나타내는 바와 같이, 화상 데이터의 개개에 대응하여 생육 스테이지의 식별 정보가 대응지어져 학습부(14)에 입력된다.

학습부(14)에서는, 생육 스테이지의 식별 정보에 의해 화상 데이터마다 라벨 부착을 행함으로써, 화상 데이터를 생육 스테이지마다 그룹핑할 수 있다.

이 그룹핑의 결과, 도 4(E)에 나타내는 바와 같이, 분얼기, 유수 분화기, 감수 분열기, 출수기, 및 등숙기 각각의 복수의 화상 데이터의 그룹이 학습부(14)에 입력된다.

학습부(14)에서는, 각각의 화상 데이터의 그룹을 데이터 세트로서 심층 학습을 실행하는 것에 의해, 각 생육 스테이지에 있어서의 수도 화상의 특징을 나타내는 특징 정보를 추출한 학습 완료된 모델을 구축하고, 구축한 학습 완료된 모델을 학습 완료된 모델 유지부(15)에 유지시킨다.

다음에, 학습 완료된 모델 유지부(15)에 학습 완료된 모델이 유지되고 있는 상태에서, 화상 입력부(16)로부터 생육 스테이지의 판정을 구하는 대상 포장의 화상 데이터가 입력된 경우의 판정 페이즈에서의 처리에 대해 설명한다.

도 5는, 서버 장치 SV의 생육 스테이지 판정부(10)에서 판정 페이즈에 있어서 실행하는, 일련의 처리 내용을 나타내는 플로 차트이다. 그 당초에, 네트워크 NW를 통하여 유저로부터 보내져 온, 생육 스테이지가 불명한 대상 포장의 화상 데이터를 화상 입력부(16)에서 입력한다(스텝 S201).

여기에서 유저로부터 보내져 오는 화상 데이터는, 유저측의 스마트 폰 SP의 애플리케이션 프로그램에 의해, 미리 색성분을 제거하여 휘도 성분만으로 한, 그레이 스케일화된 화상 데이터인 것으로 한다.

생육 스테이지 판정부(10)에서는, 입력된 화상 데이터에 대해, 미리 설정된 복수의 촬영 조건을 각각 만족시키고 있는지 여부에 따라, 화상에 대한 제외 조건의 합치를 개개로 판정한다(스텝 S202).

구체적으로는, 그레이 스케일화된 화상 데이터에 대해, 예를 들면 화상 전체의 휘도 레벨이 미리 설정한 레벨 이상인지 여부에 따라 일정한 일조 조건인지 여부, 또 에지 검출과 윤곽 추출 처리를 포함하는 화상 처리에 의해 화상 중의 벼가 바람에 의한 도복을 일으키고 있지 않는지 여부 등을 개개로 판정한다.

판정의 결과, 전체적으로 제외 조건에 합치하는 것이 1개도 없는지 여부에 따라, 입력된 화상 데이터가 생육 스테이지의 판정에 적합한 것인지 여부를 판단한다(스텝 S203).

적합하지 않다고 판단한 경우, 즉 제외 조건에 합치하는 것이 적어도 1개 있던 경우(스텝 S203의 No), 생육 스테이지 판정부(10)에서는, 네트워크 NW를 통하여 당해 화상 데이터를 송신해 온 유저의 스마트 폰 SP에 대해서, 판정 결과 출력부(17)에 의해, 판정 결과로서 제외 조건(비, 바람, 태양 고도, 카메라 촬영 각도, 판별 결과의 정확도 등)에 따라 올바른 판정을 행할 수 없었던 취지를 나타내는 가이드 메시지의 데이터를 응답으로서 출력하고(스텝 S204), 이상으로 이 도 5의 처리를 종료한다.

또 상기 스텝 S203에 있어서, 입력된 화상 데이터가 생육 스테이지의 판정에 적합한 것이라고 판단한 경우(스텝 S203의 Yes), 다음에 생육 스테이지 판정부(10)에서는, 입력된 화상 데이터를 소정 사이즈의 화상 블록으로 분할한다(스텝 S205).

여기에서 분할하는 사이즈는, 화상 중의 벼의 형상이나 주간을 판별할 수 있는 정도의 크기가 바람직하다. 또, 인접하는 화상 블록간에서, 적당한 오버랩률에 의해 주위 부분의 화상이 중복되는 분할 처리를 행해도 된다. 게다가, 학습 페이즈에 있어서 화상을 분할한 사이즈와 마찬가지인 것이 바람직하다.

생육 스테이지 판정부(10)에서는, 분할한 화상 블록을 1개 선택한 뒤에(스텝 S206), 선택한 화상 블록에 대해 학습 완료된 모델 유지부(15)에 유지하고 있는 학습 완료된 모델을 이용하여 생육 스테이지의 판정한다(스텝 S207).

다음에 생육 스테이지 판정부(10)에서는, 아직 판정을 행하고 있지 않은 화상 블록이 없는지 여부에 따라, 화상 블록의 전체 판정을 끝냈는지 여부를 판단한다(스텝 S208).

아직 모든 화상 블록의 판정을 끝내고 있지 않다고 판단한 경우(스텝 S208의 No), 생육 스테이지 판정부(10)에서는 상기 스텝 S206으로부터의 처리로 되돌아가, 마찬가지의 처리를 실행한다.

이렇게 하여 스텝 S206∼S208의 처리를 반복하여 실행하고, 1개의 화상 데이터를 분할한 모든 화상 블록에 대해, 각각 학습 완료된 모델 유지부(15)가 유지 하는 학습 완료된 모델에 근거하여 생육 스테이지를 판정한다.

입력된 화상 데이터를 분할한 모든 화상 블록에 대한 생육 스테이지의 판정을 끝냈다고 판단하면(스텝 S208의 Yes), 미리 설정한 결정 수법, 예를 들면 다수결 이론에 의해, 가장 많은 판정 결과인 생육 스테이지의 정보를 화상 데이터 전체의 판정 결과로 한다(스텝 S209).

보다 상세하게는, 화상 블록의 생육 스테이지의 판정에 있어서, 예를 들면 5개의 생육 스테이지의 확률을 산출한다. 이들 산출한 확률 중에서 가장 높은 것을 그 화상 블록의 생육 스테이지로 한다. 확률의 분포가 전체에 불균일하게 되어 있고, 현저한 치우침이 없고, 높은 정확도에서의 판정을 행할 수 없는 경우, 예를 들면 스테이지 1의 확률: 15%, 스테이지 2의 확률: 20%, 스테이지 3의 확률: 25%, 스테이지 4의 확률: 20%, 스테이지 5의 확률: 20%였던 경우 등에는, 당해 화상 블록은 무판정으로서, 다수결의 연산에는 포함시키지 않는다.

이에 의해, 개개의 화상 블록에서의 판별에 있어서 얻은 정확도가 높은 결과만을 이용하여, 전체에서 다수결 이론을 이용함으로써, 보다 높은 정밀도로 생육 스테이지의 판정을 행하는, 2단계로 나눈 판정 공정을 채용할 수 있다.

생육 스테이지 판정부(10)에서는, 이렇게 하여 얻은 판정 결과의 생육 스테이지의 정보를 판정 결과 출력부(17)에 의해, 네트워크 NW를 통하여, 화상 데이터를 송신해 온 유저의 스마트 폰 SP에 대해서, 판정 결과로서의 생육 스테이지의 정보를 응답으로서 출력하고(스텝 S210), 이상으로 이 도 5의 처리를 종료한다.

여기에서 유저의 스마트 폰 SP에 반송하는, 판정 결과로 하는 생육 스테이지의 정보로서는, 분할한 화상 블록마다의 생육 스테이지의 판정 결과를 색별(色別)한 도트를 중첩한 화상 데이터 중의 단부에, 화상 전체에서의 판정 결과로서의 생육 스테이지의 정보를 중첩한 화상 데이터나, 분할한 화상 블록에 근거하는 생육 스테이지마다의 판정 결과의 총계를 퍼센티지에 의해 아울러 표시하도록 한 화상 데이터를 작성하는 것이 생각된다.

게다가, 동일 유저가 동일 포장을 촬영한 화상을 연속하여 보내오고 있는 경우에는, 서버 SV에 기록되어 있는 판정 결과의 이력에 근거하여, 해당 스테이지의 며칠째인지를, 예를 들면 「00기 n일째」, 또는 추정되는 다음의 스테이지나, 추비(追肥)를 행하는 데 적합한 타이밍까지의 카운트다운 표시에 의해, 「출수기까지 앞으로 n일」과 같은 표기를 포함한 화상 데이터를 작성하여 회신하는 것으로 해도 된다. 한편, 동일 유저인 것은, 화상 데이터의 송신자 ID 정보에 의해 용이하게 판단할 수 있다. 게다가, 유저가 화상 데이터에 GPS 데이터를 부가하여 송신하는 설정으로 하면, 동일 포장인 것도 용이하게 판단할 수 있다.

한편 상기 도 6의 처리에 있어서는, 일조나 바람에 의한 도복 등의 촬영 조건을 만족시키고 있는 경우에만, 학습 완료된 데이터를 이용한 생육 스테이지의 판정을 실행하는 것으로 했지만, 그와 같은 판정의 실행의 사전 처리를 생략하고, 직접 생육 스테이지의 판정을 실시하는 것으로 해도 된다.

도 6은, 상기 도 5에서 실행되는 일련의 처리의 개요를 설명하는 도면이다. 도 6(A)에 나타내는 바와 같이, 생육 스테이지의 판정을 구하는 수전 PD의 화상을, 유저가 스마트 폰 SP로 촬영한 후에, 네트워크 NW를 통하여 서버 장치 SV에 송신한다.

유저가 화상의 촬영 시에 스마트 폰 SP로 실행하는 애플리케이션 프로그램에 있어서는, 카메라 기능에 의해 포장을 표시하는 디스플레이에 있어서, 촬영의 구도, 구체적으로는, 포장단측의 벼의 측면과 그 안쪽에 계속되는 벼 이삭의 최상부의 이어짐을 나타내는 가이드 표시를 행함으로써, 서버 장치 SV측에서의 학습 내용을 살린 정밀도가 높은 판정을 행할 수 있도록 하는 것이 생각된다.

유저로부터의 화상 데이터를 화상 입력부(16)에서 접수된 생육 스테이지 판정부(10)에서는, 도 6(B)에 나타내는 바와 같이 학습 완료된 모델 유지부(15)에 유지하고 있는 학습 완료된 모델을 이용하여 생육 스테이지의 판정을 실시한다.

그 결과로서 얻어지는 생육 스테이지의 정보를, 서버 장치 SV는 도 6(C)에 나타내는 바와 같이 판정 결과 출력부(17)에 의해, 네트워크 NW를 통하여 유저가 소지하는 스마트 폰 SP에 회신한다.

이상 상술한 바와 같이 실시형태에 의하면, 비파괴로 간이하면서 적확하게 작물의 생육 상태를 판정하는 것이 가능해진다.

또 상기 실시형태에서는, 생육 스테이지의 판정을 행하는 대상으로서, 특히 수전 PD에 있어서의 수도를 취급하는 것으로 하고, 유수 분화기를 포함하는 생육 스테이지의 판정도 행하는 것으로 했으므로, 수전 PD가 보다 광범위에 걸친 것도 포함시키고, 평소의 치밀한 판정이 곤란한 작업을, 심층 학습을 이용한 기술에 의해, 숙련자가 아니더라도 용이하게 실현될 수 있다.

또한 상기 실시형태에서는, 촬영하는 화상 데이터에 있어서의 작물의 촬영 조건을 설정하고, 당해 촬영 조건을 만족시키지 않는 화상 데이터의 입력을 제외하는 것으로 했으므로, 심층 학습에 있어서의 판정 정밀도를 보다 향상시킬 수 있다.

또 상기 실시형태에서는, 판정 대상이 되는 작물의 화상을 촬영할 때에, 스마트 폰 SP에 인스톨된 애플리케이션 프로그램에 따라, 일정한 구도에서의 촬영을 행하는 가이드 표시를 행하는 것으로 했으므로, 판정에 적합한 작물의 화상의 촬영을 촉진하여, 보다 높은 정밀도에서의 운용을 기대할 수 있다.

또한 상기 실시형태에서는, 얻어진 화상을 심층 학습에 적합한 복수의 영역의 화상 블록으로 분할한 뒤에 처리를 실행하고, 그들 분할한 영역마다 학습 완료된 모델에 근거하여 생육 스테이지를 판정하고, 복수의 영역의 판정 결과를 종합하고, 화상 데이터 전체의 생육 스테이지를 판정하는 것으로 했으므로, 개개의 영역으로 분할한 작물마다의 생육 스테이지의 개체차를 흡수하고, 전체적으로 적확한 생육 스테이지의 판정을 행할 수 있다.

한편 상기 실시형태에서는, 학습 페이즈 및 판정 페이즈에서 취급하는 화상 데이터가, 컬러 화상 데이터로부터 색성분을 제거하여 휘도 성분만으로 한, 그레이 스케일화한 화상 데이터인 것으로 했다. 이에 의해, 색성분의 변화에 의해 학습과 후의 판정에 관련되는 정밀도가 악화되는 것을 회피할 수 있다.

또 그레이 스케일화한 화상 데이터 대신에, 벼의 에지만을 추출한 흑백 2진화한 화상 데이터를 이용하는 것으로 해도 된다. 2진화한 화상 데이터를 이용함으로써, 계산량을 대폭으로 삭감할 수 있음과 더불어, 태양광의 산란의 영향을 완전하게 제거할 수 있다.

또한 상기 실시형태에서는, 판정 결과로서 판정을 의뢰한 유저에 대해, 간단히 작물이 어떤 생육 스테이지라고 판정했는지의 결과뿐만이 아니라, 과거의 동 유저의 동 포장에서의 판정 결과의 이력을 이용함으로써, 현재의 생육 스테이지가 되고 나서 며칠째인지, 다음의 생육 스테이지에 이르기까지 추정으로 며칠 걸리는지를 아울러 제시할 수 있기 때문에, 추비나 제초제의 살포 등의 타이밍을 파악하기 쉽고, 보다 실용에 적합한 시스템을 제공할 수 있다.

한편, 본 실시형태에 관하여, 수도의 종류를 「고시히카리」로 한 화상 데이터를, 시즌 내내 취득하고, 다음의 시즌에서 동일 촬영 조건에 따른 생육 스테이지의 판정을 행하는 실험을 실시한 결과, 극히 적확하고 양호한 결과를 얻을 수 있던 것을 부기해 둔다.

한편, 본 발명 자체는, 수도의 종류를 「고시히카리」로 한정하는 것은 아니고, 또한 작물을 수도로 한정하는 것도 아니다. 예를 들면, 수도 이외에도 대맥(大麥), 소맥(小麥)을 포함하는 각종 맥류, 당근, 양파, 고구마 등의 근채류를 포함하는 각종 야채 등에 관하여도, 지상에 노출되어 있는 부분의 화상을 촬영함으로써 생육 스테이지를 판정 가능한 작물이면, 마찬가지로 적용하는 것이 가능해진다.

그 밖에, 본원 발명은, 상기 실시형태로 한정되는 것은 아니고, 실시 단계에서는 그 요지를 일탈하지 않는 범위에서 여러 가지로 변형하는 것이 가능하다. 또, 각 실시형태는 가능한 한 적절히 조합하여 실시해도 되고, 그 경우 조합한 효과가 얻어진다. 또한, 상기 실시형태에는 여러 가지의 단계의 발명이 포함되어 있고, 개시되는 복수의 구성 요건에 있어서의 적당한 조합에 의해 여러 가지의 발명이 추출될 수 있다. 예를 들면, 실시형태에 나타나는 전체 구성 요건으로부터 몇개의 구성 요건이 삭제되어도, 발명이 해결하고자 하는 과제의 란에서 기술한 과제를 해결할 수 있고, 발명의 효과의 란에서 기술되어 있는 효과가 얻어지는 경우에는, 이 구성 요건이 삭제된 구성이 발명으로서 추출될 수 있다.

Claims (11)

1. 작물 생육 스테이지 판정 시스템의 서버 장치로서,
   작물의 형상을 추출 가능하게 촬영한 화상 정보를 복수 입력하는 제 1 화상 입력부와,
   상기 제 1 화상 입력부에서 입력한 복수의 화상 정보 각각에 대해서 당해 작물의 생리적인 발육 정도를 나타내는 생육 스테이지의 정보를 입력하는 스테이지 정보 입력부와,
   상기 제 1 화상 입력부에서 입력한 복수의 화상 정보와 상기 스테이지 정보 입력부에서 입력한 생육 스테이지를 나타내는 정보에 근거하여, 작물의 화상과 생육 스테이지의 대응지음의 심층 학습을 행하여 학습 완료된 모델을 구축하는 학습부와,
   생육 스테이지가 불명한 작물의 형상을 추출 가능하게 촬영한 화상 정보를 입력하는 제 2 화상 입력부와,
   상기 제 2 화상 입력부에서 입력한 화상 정보에 대해, 상기 학습부에서 구축한 학습 완료된 모델에 근거하여 생육 스테이지를 판정하는 스테이지 판정부와,
   상기 스테이지 판정부에서 판정한 생육 스테이지의 정보를 출력하는 출력부
   를 구비하는 작물 생육 스테이지 판정 시스템의 서버 장치.
2. 제 1 항에 있어서,
   상기 작물은 수도(水稻; paddy rice)이고, 상기 학습부는, 유수(幼穗; young panicle) 분화기를 포함하는 생육 스테이지와 수도의 형상을 추출 가능한 화상의 대응지음의 심층 학습을 행하는, 작물 생육 스테이지 판정 시스템의 서버 장치.
3. 제 1 항 또는 제 2 항에 있어서,
   상기 제 1 화상 입력부 및 제 2 화상 입력부 중 적어도 한쪽은, 화상 정보에 대해서 설정된 작물의 촬영 조건을 만족시키지 않는 화상 정보의 입력을 제외하는, 작물 생육 스테이지 판정 시스템의 서버 장치.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 제 1 화상 입력부는, 촬영 시간대를 한정한 화상 정보를 복수 입력하는, 작물 생육 스테이지 판정 시스템의 서버 장치.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   상기 제 1 화상 입력부 및 제 2 화상 입력부 중 적어도 한쪽은, 촬영하는 작물에 대한 구도를 가이드 표시하는 애플리케이션 프로그램에 따라 촬영된 화상 정보를 식별하여 접수하는, 작물 생육 스테이지 판정 시스템의 서버 장치.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
   상기 스테이지 판정부는, 상기 제 2 화상 입력부에서 입력한 화상 정보를 복수의 작물의 각 형상이 추출 가능한 영역으로 분할하고, 분할한 영역마다 상기 학습부에서 구축한 학습 모델에 근거하여 생육 스테이지를 판정하고, 복수의 영역의 판정 결과를 종합하여 화상 정보 전체의 생육 스테이지를 판정하는, 작물 생육 스테이지 판정 시스템의 서버 장치.
7. 제 6 항에 있어서,
   상기 스테이지 판정부는, 분할한 영역에서 판정한 결과에 대한 합치 조건을 설정하고, 당해 합치 조건에 도달하지 않는 판정 결과는, 복수의 영역의 판정 결과에 포함시키지 않고 화상 정보 전체의 생육 스테이지를 판정하는, 작물 생육 스테이지 판정 시스템의 서버 장치.
8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
   상기 학습부가 심층 학습을 행하는 화상 정보, 및 상기 스테이지 판정부가 생육 스테이지를 판정하는 화상 정보는, 그레이 스케일화되어 있는, 작물 생육 스테이지 판정 시스템의 서버 장치.
9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
   상기 스테이지 판정부에서 판정한 생육 스테이지를 이력으로서 기록하는 기록부를 더 구비하고,
   상기 출력부는, 상기 스테이지 판정부에서 판정한 생육 스테이지와 상기 기록부에서 기록하는 이력으로부터, 판정한 생육 스테이지의 며칠째인지, 및 다음의 생육 스테이지로 이행하기까지 추정으로 며칠 있는지, 중 적어도 한쪽을 출력하는,
   작물 생육 스테이지 판정 시스템의 서버 장치.
10. 작물의 형상을 추출 가능하게 촬영한 화상 정보를 복수 입력하는 제 1 화상 입력 공정과,
    상기 제 1 화상 입력 공정에서 입력한 복수의 화상 정보 각각에 대해서 당해 작물의 생리적인 발육 정도를 나타내는 생육 스테이지의 정보를 입력하는 스테이지 정보 입력 공정과,
    상기 제 1 화상 입력 공정에서 입력한 복수의 화상 정보와 상기 스테이지 정보 입력 공정에서 입력한 생육 스테이지를 나타내는 정보에 근거하여, 작물의 화상과 생육 스테이지의 대응지음의 심층 학습을 행하여 학습 완료된 모델을 구축하는 학습 공정과,
    생육 스테이지가 불명한 작물의 형상을 추출 가능하게 촬영한 화상 정보를 입력하는 제 2 화상 입력 공정과,
    상기 제 2 화상 입력 공정에서 입력한 화상 정보에 대해, 상기 학습 공정에서 구축한 학습 완료된 모델에 근거하여 생육 스테이지를 판정하는 스테이지 판정 공정과,
    상기 스테이지 판정 공정에서 판정한 생육 스테이지의 정보를 출력하는 출력 공정
    을 갖는 생육 스테이지 판정 방법.
11. 컴퓨터가 실행하는 프로그램으로서, 상기 컴퓨터를,
    작물의 형상을 추출 가능하게 촬영한 화상 정보를 복수 입력하는 제 1 화상 입력부와,
    상기 제 1 화상 입력부에서 입력한 복수의 화상 정보 각각에 대해서 당해 작물의 생리적인 발육 정도를 나타내는 생육 스테이지의 정보를 입력하는 스테이지 정보 입력부와,
    상기 제 1 화상 입력부에서 입력한 복수의 화상 정보와 상기 스테이지 정보 입력부에서 입력한 생육 스테이지를 나타내는 정보에 근거하여, 작물의 화상과 생육 스테이지의 대응지음의 심층 학습을 행하여 학습 완료된 모델을 구축하는 학습부와,
    생육 스테이지가 불명한 작물의 형상을 추출 가능하게 촬영한 화상 정보를 입력하는 제 2 화상 입력부와,
    상기 제 2 화상 입력부에서 입력한 화상 정보에 대해, 상기 학습부에서 구축한 학습 완료된 모델에 근거하여 생육 스테이지를 판정하는 스테이지 판정부와,
    상기 스테이지 판정부에서 판정한 생육 스테이지의 정보를 출력하는 출력부
    로서 기능하게 하는 프로그램.

Images