JP6943725B2 - 生長状態予測装置 - Google Patents

生長状態予測装置 Download PDF

Info

Publication number
JP6943725B2
JP6943725B2 JP2017214717A JP2017214717A JP6943725B2 JP 6943725 B2 JP6943725 B2 JP 6943725B2 JP 2017214717 A JP2017214717 A JP 2017214717A JP 2017214717 A JP2017214717 A JP 2017214717A JP 6943725 B2 JP6943725 B2 JP 6943725B2
Authority
JP
Japan
Prior art keywords
growth state
unit
growth
state distribution
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017214717A
Other languages
English (en)
Other versions
JP2019083745A (ja
Inventor
昌紀 奥山
昌紀 奥山
智弘 柴田
智弘 柴田
慎太郎 石本
慎太郎 石本
正之 大林
正之 大林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanmar Co Ltd
Original Assignee
Yanmar Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanmar Co Ltd filed Critical Yanmar Co Ltd
Priority to JP2017214717A priority Critical patent/JP6943725B2/ja
Publication of JP2019083745A publication Critical patent/JP2019083745A/ja
Application granted granted Critical
Publication of JP6943725B2 publication Critical patent/JP6943725B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

この発明は、栽培領域で栽培される作物の生長状態を予測するための生長状態予測装置に関する。この明細書において、「作物」とは、農作物や園芸作物を意味するものとする。「作物」には、例えば、果実、野菜、花等が含まれる。
特許文献1には、果実を撮影した画像から各果実の高さと直径との比率を算出し、算出された各果実の高さと直径との比率から、各果実の生長状態を判定することが開示されている。また、特許文献1には、判定された果実の生長状態から生長モデルを生成し、この生長モデルに基づいて当該果実の収穫時期を予測することが開示されている。
特開2016-154510号公報
複数の果実が存在する栽培領域において、当該栽培領域全体としての果実の生長状態を予測したい場合がある。しかしながら、前記特許文献1に記載の技術は、個々の果実の生長状態を予測するものであり、所定の栽培領域全体としての果実の生長状態を予測するものではない。
本発明の目的は、複数の作物が栽培される栽培領域において、当該栽培領域全体としての作物の生長状態を予測することができる生長状態予測装置を提供することである。
この発明の一実施形態は、所定の栽培領域の少なくとも一部を撮像することによって得られる複数の作物を含む画像に基づいて、前記栽培領域で栽培される作物の生長を予測する生長状態予測装置であって、前記画像に含まれる前記複数の作物を生長状態に応じて分類し、前記複数の作物の分類結果から前記栽培領域全体における作物の生長状態分布を生成する分布生成部と、前記分布生成部によって生成された生長状態分布を時間進展させることにより、前記栽培領域全体における作物の将来の生長状態分布を予測する機能を備えた予測部とを含む、生長状態予測装置を提供する
この構成では、複数の作物を含む画像から、当該画像が撮影された時点における栽培領域全体における作物の生長状態分布が生成される。そして、この生長状態分布を時間進展させることによって、栽培領域全体における作物の将来の生長状態分布が予測される。これにより、栽培領域全体としての作物の生長状態を予測することができるようになる。
この発明の一実施形態では、前記予測部は、前記将来の生長状態分布として、前記分布生成部によって生成された生長状態分布を所与の希望収穫時期まで進展させることにより、前記希望収穫時期の生長状態分布を求め、前記希望収穫時期の生長状態分布において生長状態が所定の収穫閾値を超える部分に存在する作物の数量から、前記希望収穫時期における収穫量を予測する収穫量予測部を含む。
この構成によれば、予測した将来の生長状態分布から、希望収穫時期における収穫量を予測することができる。
この発明の一実施形態では、前記予測部は、前記将来の生長状態分布として、生長状態が所定の収穫閾値を超える部分に存在する作物の数量から得られる収穫量が、所与の希望収穫量以上になる生長状態分布を求め、当該生長状態分布に対応する時期を収穫時期として予測する収穫時期予測部を含む。
この構成によれば、予測した将来の生長状態分布から、希望収穫量の作物を収穫できる収穫時期を予測することができる。
この発明の一実施形態では、前記予測部は、前記将来の生長状態分布として、生長状態が所定の収穫閾値を超える部分に存在する作物の数量から得られる収穫量が所与の希望収穫量以上になる生長状態分布を求め、得られた生長状態分布を目標生長状態分布として設定する目標生長状態分布設定部と、前記分布生成部によって生成された生長状態分布を所与の希望収穫時期まで進展させた将来の生長状態分布が、前記目標生長状態分布設定部によって設定された目標生長状態分布に近づくように、前記栽培領域における環境を制御するための環境制御値を算出する制御値算出部とを含む。
この構成によれば希望収穫時期に希望収穫量の作物を収穫することが可能となる。
この発明の一実施形態では、前記制御値算出部によって算出された環境制御値に基づいて、前記栽培領域における環境を制御する環境制御部をさらに含む。
この構成によれば、希望収穫時期に希望収穫量の作物を収穫できるようになる。
図1は、この発明の一実施形態に係る生長状態予測装置が適用された作物生産管理システムの構成を示す模式図である。 図2は、作物の栽培領域および栽培領域に設けられた作物栽培システムの構成を示す模式図である。 図3は、作物栽培システムの電気的構成を示すブロック図である。 図4は、サーバの電気的構成を示すブロック図である。 図5は、第1予測処理部の動作を説明するためのフローチャートである。 図6は、作物の生長段階を示す模式図である。 図7は、生長状態分布の一例を示す度数分布図である。 図8は、ある時間帯についての、関数F(a1・α+a2・β+a3・γ+a4・δ)と作物の生長速度との関係の一例を示す生長速度グラフである。 図9は、将来の生長状態分布を予測する方法を説明するための説明図である。 図10は、希望収穫時期での生長状態分布の一例を示す度数分布図である。 図11は、第2予測処理部の動作を説明するためのフローチャートである。 図12は、制御値算出処理部の動作を説明するためのフローチャートである。 図13は、現在の生長状態分布と目標生長状態分布との一例を示す模式図である。
以下、この発明の実施形態を、添付図面を参照して詳細に説明する。
図1は、実施形態に係る生長状態予測装置が適用された作物生産管理システムの構成を示す模式図である。
作物生産管理システム1は、作物を栽培するための作物栽培システム2と、生長状態予測装置としてのサーバ3とを含む。この実施形態では、作物は、野菜であり、より具体的にはトマトである。作物は、果実、花等であってもよい。
作物栽培システム2は、作物の栽培領域の近傍に設置されている。サーバ3は、例えば、作物の栽培領域とは離れた場所に設置された管理センター(図示略)内に設けられている。作物栽培システム2は、通信網4を介して、サーバ3と通信可能である。
作物栽培システム2は、作物の撮影、栽培領域の環境の観測、栽培領域の環境の制御等を行う。作物栽培システム2は、作物の撮像データ(画像データ)、栽培領域の環境の観測データ等をサーバ3に送信する。サーバ3は、作物栽培システム2から送信された画像データ、観測データ等を受信して記憶する。サーバ3は、取得した画像データ等に基づいて、作物の将来の生長状態の予測、作物の収穫量の予測、収穫日の予測等を行う。また、サーバ3は、取得した画像データ等に基づいて、栽培領域の環境を制御するための環境制御値を算出して、作物栽培システム2に与える場合もある。
図2は、作物の栽培領域および栽培領域に設けられた作物栽培システム2の構成を示す模式図である。
この実施形態では、作物(この例ではトマト)は、ビニルハウス8内で栽培される。したがって、ビニルハウス8の室内が、栽培領域9となる。
作物栽培システム2は、制御装置11、コージェネ12、空調機13、除湿機14、CO施用機15、複数のカメラ16、複数の環境センサ17、電力量センサ18(図3参照)、天候センサ19等を含んでいる。これら構成要素のうち、コージェネ12および天候センサ19は、ビニルハウス8の室外に配置されており、それ以外の要素はビニルハウス8の室内(栽培領域)に配置されている。
コージェネ(Combined Heat & Power)12は、熱源から電力と熱とを生産して供給する機器である。空調機13は、主として栽培領域9の温度を調整する機器である。除湿機14は、栽培領域9の湿度を減少させるための機器である。CO施用機15は、栽培領域9に二酸化炭素(CO)を施用するための機器である。
複数のカメラ(撮像部)16は、栽培領域9内に間隔をおいて配置されている。各カメラ16は、栽培領域9の一部の領域において、1または複数の作物を撮像する。カメラ16は、作物の生長状態(生長段階)を判定するために設けられている。この実施形態では、カメラ16の撮像画像(画像データ)は、無線通信によって、制御装置11に与えられる。
複数の環境センサ17は、栽培領域9に間隔をおいて配置されている。各環境センサ17は、栽培領域9の温度、湿度、照度、CO濃度等を観測するためのセンサであり、温度センサ17A、湿度センサ17B、照度センサ17CおよびCO濃度センサ17D(図3参照)を含んでいる。この実施形態では、環境センサ17によって得られる観測データは、無線通信によって、制御装置11に与えられる。
電力量センサ18(図3参照)は、作物栽培システム2によって消費される電力量(消費電力量)を測定するためのセンサである。
天候センサ19は、ビニルハウス8の室外の温度、湿度、照度等を観測するためのセンサであり、温度センサ19A、湿度センサ19Bおよび照度センサ19C(図3参照)を含んでいる。この実施形態では、天候センサ19によって得られる観測データは、無線通信によって、制御装置11に与えられる。
図3は、作物栽培システム2の電気的構成を示すブロック図である。図3においては、説明の便宜上、複数のカメラ16のうちの1つのみが図示されている。同様に、図3においては、複数の環境センサ17のうちの1つのみが図示されている。
制御装置11は、制御部20と、第1通信部21と、第2通信部22と、操作表示部23と、操作部24と、記憶部25とを含む。制御部20は、CPUおよびメモリ(ROM、RAM等)を備えたマイクロコンピュータを含む。第1通信部21、第2通信部22、操作表示部23、操作部24および記憶部25は、制御部20に接続されている。
第1通信部21は、複数のカメラ16、複数の環境センサ17および天候センサ19と、制御部20との間で無線通信を行うための通信インタフェースである。第2通信部22は、制御部20が通信網4を介してサーバ3と通信を行うための通信インタフェースである。操作表示部23は、例えば、タッチパネル式ディスプレイからなる。操作部24は、例えば、1または複数のスイッチ等を含む。記憶部25は、ハードディスク、不揮発性メモリ等の記憶デバイスから構成されている。
記憶部25には、基本目標値記憶部26、目標値記憶部27等が設けられている。基本目標値記憶部26には、後述する制御変数の基本目標値が記憶される。目標値記憶部27には後述する制御変数の目標値が記憶される。
制御部20には、コージェネ12、空調機13、除湿機14、CO施用機15および電力量センサ18が通信線を介して接続されている。制御部20は、後述するように、目標値記憶部27に記憶されている制御変数の目標値に基づいて、コージェネ12、空調機13、除湿機14およびCO施用機15を制御する。
制御部20は、第1通信部21を介して複数のカメラ16から画像データを第1所定時間毎に取得して記憶部25に記憶する。また、制御部20は、天候センサ19によって観測される観測データ(以下、「天候データ」という)を、第1通信部21を介して第2所定時間毎に取得して記憶部25に記憶する。また、制御部20は、電力量センサ18によって検出される消費電力量を第3所定時間毎に取得して記憶部25に記憶する。また、制御部20は、複数の環境センサ17によって観測される観測データ(以下、「環境データ」という)を、第1通信部21を介して第4所定時間毎に取得して記憶部25に記憶する。この実施形態では、前記第1〜第3所定時間は、1時間であるものとする。また、この実施形態では、前記第4所定時間は、1分間であるものとする。ただし、各データを取得する時間は、これに限定されるものではなく、適宜定めることができる。
そして、制御部20は、記憶部25に記憶された、時刻毎の画像データ(複数のカメラ16によって撮像された画像データを含む)、時刻毎の環境データ(複数の環境センサ17によって観測された環境データを含む)、時刻毎の天候データおよび時刻毎の消費電力量を、リアルタイムにまたは一定時間毎に、第2通信部22を介してサーバ3に送信する。
図4は、サーバ3の電気的構成を示すブロック図である。
サーバ3は、制御部30を備えている。制御部30には、通信部41、操作表示部42、操作部43、記憶部44等が接続されている。通信部41は、制御部30が通信網4を介して作物栽培システム2の制御部20(図3参照)と通信するための通信インタフェースである。操作表示部42は、例えば、タッチパネル式ディスプレイからなる。操作部43は、例えば、キーボード、マウス等を含む。記憶部44は、ハードディスク、不揮発性メモリ等の記憶デバイスから構成されている。
記憶部44には、画像データ記憶部45、環境データ記憶部46、天候データ記憶部47、消費電力量記憶部48、基本目標値記憶部49、目標値記憶部50、生長速度データ記憶部51等が設けられている。
画像データ記憶部45には、作物栽培システム2から受信した時刻毎の画像データが記憶される。環境データ記憶部46には、作物栽培システム2から受信した時刻毎の環境データが記憶される。天候データ記憶部47には、作物栽培システム2から受信した時刻毎の天候データが記憶される。消費電力量記憶部48には、作物栽培システム2から受信した時刻毎の消費電力量データが記憶される。
基本目標値記憶部49には、後述する制御変数の基本目標値が記憶される。目標値記憶部50には後述する制御変数の目標値が記憶される。生長速度データ記憶部51には、後述する時間帯毎の生長速度グラフに対応した回帰式またはマップが記憶される。
制御部30は、CPUおよびメモリ(ROM、RAM等)を備えたマイクロコンピュータを含む。制御部30は、第1予測処理部31と、第2予測処理部32と、制御値算出処理部33とを含む。
第1予測処理部31は、希望収穫時期の栽培領域9全体における作物の収穫量を予測するための第1予測処理を行う。希望収穫時期は、作物の収穫が希望されている日(希望収穫日)である。第1予測処理部31は、希望収穫日に作物をどれだけ収穫できるかを知りたい場合に、オペレータの操作に基づいて実行される。この実施形態では、希望収穫日は、操作表示部42または操作部43によって入力(設定)される。希望収穫日は、図示しない通信端末からサーバ3に送信されることによって、設定されてもよい。
第1予測処理部31は、分布生成部31Aと収穫量予測部31Bとを含む。分布生成部31Aは、画像データ記憶部45内に記憶されている時刻毎の画像データのうち最新の時刻に対する画像データ(処理対象画像データ)に基づいて、当該画像データに含まれる複数の作物を生長段階(生長状態)に応じて分類する。処理対象画像データは、複数のカメラ16によって撮像された最新の時刻に対する画像データを含む。そして分布生成部31Aは、複数の作物の生長段階の分類結果から栽培領域9全体における作物の現在(厳密には処理対象画像データの撮像時刻)の生長状態分布を生成する。
収穫量予測部31Bは、現在の生長状態分布を希望収穫日まで進展させた生長状態分布を、希望収穫日の生長状態分布として求める。そして、収穫量予測部31Bは、希望収穫日の生長状態分布において、生長段階が所定の収穫閾値を超える部分に存在する作物の数量から希望収穫日の収穫量を予測する。収穫閾値とは、作物の生長段階のうち、どの段階以上であれば収穫対象とするかを決定するための閾値である。分布生成部31Aおよび収穫量予測部31Bの詳細については、後述する。
第2予測処理部32は、希望する収穫量(希望収穫量)の作物を収穫できる収穫時期(収穫日)を予測するための第2予測処理を行う。第2予測処理部32は、希望収穫量の作物を収穫できる日を知りたい場合に、オペレータの操作に基づいて実行される。この実施形態では、希望収穫量は、操作表示部42または操作部43によって入力(設定)される。希望収穫量は、図示しない通信端末からサーバ3に送信されることによって、設定されてもよい。
第2予測処理部32は、分布生成部32Aと収穫時期予測部32Bとを含む。分布生成部32Aは、画像データ記憶部45内に記憶されている時刻毎の画像データのうち最新の時刻に対する画像データ(処理対象画像データ)に基づいて、当該画像データに含まれる複数の作物を生長段階に応じて分類する。そして、分布生成部32Aは、複数の作物の生長段階の分類結果から栽培領域9全体における作物の現在(厳密には処理対象画像データの撮像時刻)の生長状態分布を生成する。
収穫時期予測部32Bは、現在の生長状態分布を時間進展させた将来の生長状態分布として、生長段階が所定の収穫閾値を超える部分に存在する作物の数量から得られる予測収穫量が希望収穫量以上となる生長状態分布を求める。そして、当該生長状態分布に対応する時期を、希望収穫量の作物を収穫できる時期として予測する。分布生成部32Aおよび収穫時期予測部32Bの詳細については、後述する。
制御値算出処理部33は、希望収穫日に希望収穫量の作物を収穫するための環境制御値を算出する制御値算出処理を行う。制御値算出処理は、希望収穫日に希望収穫量の作物を収穫したい場合に、オペレータの操作に基づいて実行される。希望収穫日および希望収穫量は、操作表示部42または操作部43によって入力(設定)される。希望収穫日および希望収穫量は、図示しない通信端末からサーバ3に送信されることによって、設定されてもよい。
制御値算出処理部33は、分布生成部33Aと、目標生長状態分布設定部33Bと、制御値算出部33Cとを含む。分布生成部33Aは、画像データ記憶部45内に記憶されている時刻毎の画像データのうち最新の時刻に対する画像データ(処理対象画像データ)に基づいて、当該画像データに含まれる複数の作物を生長段階に応じて分類する。そして、分布生成部33Aは、複数の作物の生長段階の分類結果から栽培領域9全体における作物の現在(厳密には処理対象画像データの撮像時刻)の生長状態分布を生成する。
目標生長状態分布設定部33Bは、現在の生長状態分布を時間進展させた将来の生長状態分布として、生長段階が所定の収穫閾値を超える部分に存在する作物の数量から得られる予測収穫量が希望収穫量以上になる生長状態分布を求め、得られた生長状態分布を目標生長状態分布として設定する。
制御値算出部33Cは、現在の生長状態分布を希望収穫時期まで進展させた将来の生長状態分布が目標生長状態分布に近づくように、栽培領域9の環境を制御するための環境制御値を算出する。分布生成部33A、目標生長状態分布設定部33Bおよび制御値算出部33Cの詳細については、後述する。
図5は、第1予測処理部31の動作を説明するためのフローチャートである。図5の処理は、例えば、オペレータの操作部43または操作表示部42の操作によって、希望収穫時期(収穫希望日)および収穫閾値が入力された後、第1予測処理の開始指令が入力されたときに実行される。なお、収穫閾値が既に設定されて記憶部44に記憶されている場合において、その収穫閾値を変更する必要がないときには、オペレータは収穫閾値を改めて入力する必要はない。
第1予測処理部31内の分布生成部31Aは、画像データ記憶部45に記憶されている時刻毎の画像データのうち最新の時刻に対する画像データ(処理対象画像データ)を抽出して、メモリ(具体的には作業メモリとしてのRAM)に記憶する(ステップS1)。
次に、分布生成部31Aは、メモリに記憶された処理対象画像データに基づいて、作物の生長過程の形態である花や実を抽出し、抽出した花や実を生長段階(生長状態)に応じて分類する(ステップS2)。
ここで作物の生長段階について説明する。図6は、作物の生長段階を示す模式図である。
作物(この例ではトマト)は、図6に矢印で示すように、花(蕾を含む)から実へと生長していく。図6の例では、作物の生長段階が10段階に分けられ、各段階に、早い段階から順に1〜10の数値ラベルが割り当てられている。
分布生成部31Aは、処理対象画像データから花や実を抽出し、抽出した花や実のそれぞれに対して、その生長段階に応じた数値ラベル1〜10を割り当てる。このような処理は、例えば、畳み込みニューラルネットワーク(CNN: Convolutional Neural Network)等の公知技術を用いることによって行うことができる。
図5に戻り、第1予測処理部31の動作についての説明を続ける。次に、分布生成部31Aは、処理対象画像データから抽出された花や実を、ステップS2によって得られた生長段階(数値ラベル)毎に集計することにより、処理対象画像データ内に存在する花および実の範囲内において、作物の生長状態を表す度数分布を作成する(ステップS3)。
次に、分布生成部31Aは、ステップS3で得られた度数分布に基づいて、栽培領域9全体における作物の現在の生長状態を表す度数分布(以下、「生長状態分布」という)を作成する(ステップS4)。例えば、栽培領域9全体に存在する花および実の数Aに対する、処理対象画像データ内に存在する花および実の数Bの割合をR(=B/A)とする。花および実の数Aは、特に限定されるものではないが、各カメラ16が撮像する範囲や、各カメラ16が撮像する株の数等から求めることができる。例えば、複数のカメラ16で撮像される範囲が栽培領域9全体のP%であった場合、処理対象画像データ内に存在する花および実の数BをP%で除することにより、栽培領域9全体に存在する花および実の数Aを推定することができる。また、例えば、複数のカメラ16で撮像される株数がqであり、栽培領域9における全株数Qがであった場合、処理対象画像データ内に存在する花および実の数BにQ/qを乗じることにより、栽培領域9全体に存在する花および実の数Aを推定することができる。分布生成部31Aは、ステップS3で得られた度数分布における各生長段階の度数に1/Rを乗算することによって、栽培領域9全体における作物の生長状態を表す生長状態分布を作成する。このようにして作成された生長状態分布の一例を図7に示す。
次に図5に示すように、第1予測処理部31内の収穫量予測部31Bは、ステップS4で作成された現在の生長状態分布を用いて、希望収穫時期での生長状態分布を予測する(ステップS5)。ステップS5の処理について、具体的に説明する。
作物の生長速度に影響を与える要因の代表的にものには、例えば、温度α、湿度β、CO濃度γ、日照強度δ等がある。本実施形態における作物栽培システム2では、温度α、湿度βおよびCO濃度γは制御可能であるが、日照強度δは制御不可能である。
この実施形態では、作物の生長速度に影響を与えるパラメータを、関数F(a1・α+a2・β+a3・γ+a4・δ)で表すことにする。関数F(a1・α+a2・β+a3・γ+a4・δ)において、a1、a2、a3およびa4は重み係数であり、予め設定されている。これらの重み係数は、生長段階(今回の実施形態では数値ラベル1〜10)に応じて別の値を用いてもよい。以下において、関数F(a1・α+a2・β+a3・γ+a4・δ)内の変数α、β、γおよびδのうちのα、βおよびγを「制御変数」ということにする。また、この実施形態では、1日の1時間毎の時間帯を、T1,T2,…T23,T24で表すことにする。
この実施形態では、時間帯T1〜T24毎に、関数F(a1・α+a2・β+a3・γ+a4・δ)内の制御変数α、βおよびγの目標値α、βおよびγが予め設定されて、サーバ3の記憶部44内の目標値記憶部50および作物栽培システム2の記憶部25内の目標値記憶部27に記憶されているものとする。この実施形態では、これらの制御変数の目標値α、βおよびγが環境制御値である。制御変数の目標値α、βおよびγは、通常は、所定の基本目標値αo、βoおよびγoと同じ値に設定されている。基本目標値αo、βoおよびγoは、予め設定されて、サーバ3の記憶部44内の基本目標値記憶部49および作物栽培システム2の記憶部25内の基本目標値記憶部26に記憶されている。また、時間帯T1〜T24毎の照度δの予測値が予め設定されて、記憶部44に記憶されている。基本目標値αo、βoおよびγoおよび目標値α、βおよびγは、例えば、サーバ3側で設定されて、作物栽培システム2の制御部20に与えられる。
制御装置11内の制御部20は、時間帯T1〜T24毎に、制御変数α,β,γが、それぞれ、その時間帯に対して設定されている目標値α、βおよびγと等しくなるように、コージェネ12、空調機13、除湿機14およびCO施用機15を制御する。後述するように、各時間帯T1〜T24に対する制御変数の目標値α、βおよびγは、サーバ3によって変更される場合がある。
図8は、ある時間帯について、関数F(a1・α+a2・β+a3・γ+a4・δ)に対する作物の生長速度との関係の一例を示す生長速度グラフである。作物の生長速度とは、所定時間当たりの作物の生長量をいう。この実施形態では、1時間当たりの作物の生長量をいう。作物の生長量としては、生長段階の1段階(1ステップ)に相当する生長量を1.0として規格化された値が用いられる。
図8に示すような生長速度グラフは、例えば、関数F(a1・α+a2・β+a3・γ+a4・δ)の値が異なる複数の環境での作物の生長速度データを実験等によって求め、得られた生長速度データを回帰分析することによって作成することができる。1日内の時間帯T1〜T24毎に、図8に示すような生長速度グラフが予め作成され、それらの生長速度グラフに対応した回帰式またはマップがサーバ3の記憶部44内の生長速度データ記憶部51に記憶されている。
なお、図8に示すような生長速度グラフは、制御変数α,β,γのうちから選択された任意の1つまたは任意の組み合わせを変化させたときの関数F(a1・α+a2・β+a3・γ+a4・δ)の値に対する作物の生長速度を表すものであってもよい。例えば、図8に示すような生長速度グラフは、制御変数α,β,γのうちα(温度)のみを変化させたときの関数F(a1・α+a2・β+a3・γ+a4・δ)の値に対する作物の生長速度を表すものであってもよい。
前記ステップS5においては、収穫量予測部31Bは、まず、時間帯T1〜T24毎に、その時間帯に対する作物の生長速度を求める。ある時間帯に対する作物の生長速度の求め方について説明する。収穫量予測部31Bは、当該時間帯に対して現在設定されている制御変数の目標値α、βおよびγに基づいて関数F(a1・α+a2・β+a3・γ+a4・δ)の値を算出する。そして、収穫量予測部31Bは、当該時間帯に対応する生長速度グラフに対応した回帰式またはマップに基づいて、当該時間帯に対する作物の生長速度を求める。例えば、図8を参照して、図8の生長グラフに対応する時間帯の関数F(a1・α+a2・β+a3・γ+a4・δ)の値がXであったとすると、Xに対応する生長速度Vがその時間帯での作物の生長速度として求められる。
次に、収穫量予測部31Bは、時間帯T1〜T24毎に求められた作物の生長速度に、その時間帯の時間長(この例では1時間)を乗算することにより、その時間帯での作物の生長量Ghを算出する。この後、時間帯T1〜T24毎に求められた作物の生長量を加算することにより、1日当たりの作物の生長量Gdを算出する。
そして、収穫量予測部31Bは、1日当たりの作物の生長量Gdを用いて、ステップS4で作成された現在の生長状態分布を希望収穫時期まで進展させることにより、希望収穫時期での生長状態分布を求める。制御変数以外の変数については、直近の過去の値を用いることもできるし、あるいは日照量のような変数については天気予報等の情報から別途将来にわたって予測された値を用いることも可能である。
図9を参照して、ステップS4で作成された現在の生長状態分布を、1日当たりの作物の生長量Gd分だけ、生長段階が進行する方向にシフトさせると、翌日の生長状態分布を求めることができる。したがって、現在の生長状態分布を初期の生長状態分布として、1日当たりの生長量Gd分だけ生長段階が進行する方向に生長状態分布をシフトさせる操作を、繰り返し行うことにより、将来の生長状態分布を予測することが可能となる。そこで、現在から希望収穫時期までの日数をNとすると、現在の生長状態分布をN・Gd分だけ生長段階が進行する方向にシフトさせることにより、希望収穫時期での生長状態分布を求めることができる。希望収穫時期での生長状態分布の一例を図10に示す。
このようにして、希望収穫時期での生長状態分布が求められると、収穫量予測部31Bは、希望収穫時期での生長状態分布において収穫閾値を超える部分に存在する作物の数量を、希望収穫時期での収穫量として算出する(ステップS6)。具体的には、収穫量予測部31Bは、図10の生長状態分布において収穫閾値Sthを超える部分に存在する作物の数量(図10の斜線部分の面積に相当する)を希望収穫時期での収穫量として算出する。収穫閾値Sthは、収穫対象の生長段階と収穫対象外の生長段階とを区分するための値である。すなわち、収穫閾値Sthを超える数値レベルに対応する生長段階は、収穫対象の生長段階であり、収穫閾値Sth以下の数値レベルに対応する生長段階は、収穫対象外の生長段階である。収穫量予測部31Bによって算出された希望収穫時期での収穫量は、例えば、操作表示部42に表示される。そして、収穫量予測部31Bは、今回の第1予測処理を終了する。
つまり、第1予測処理部31によれば、希望収穫時期における収穫量を予測することができる。
図11は、第2予測処理部32の動作を説明するためのフローチャートである。図11の処理は、例えば、オペレータの操作部43または操作表示部42の操作によって、希望収穫量および収穫閾値が入力された後、第2予測処理の開始指令が入力されたときに実行される。なお、収穫閾値が既に設定されて記憶部44に記憶されている場合において、その収穫閾値を変更する必要がない場合には、オペレータは収穫閾値を改めて入力する必要はない。
第2予測処理部32内の分布生成部32Aは、画像データ記憶部45に記憶されている時刻毎の画像データのうち最新の時刻に対する画像データ(処理対象画像データ)を抽出して、メモリに記憶する(ステップS11)。ステップS11の処理は、図5のステップS1の処理と同様である。
次に、分布生成部32Aは、メモリに記憶された処理対象画像データに基づいて、作物の生長過程の形態である花や実を抽出し、抽出した花や実を生長段階(生長状態)に応じて分類する(ステップS12)。ステップS12の処理は、図5のステップS2の処理と同様である。
次に、分布生成部32Aは、処理対象データから抽出された花や実を、ステップS12によって得られた生長段階(数値ラベル)毎に集計することにより、処理対象画像データ内に存在する花および実の範囲内において、作物の生長状態を表す度数分布を作成する(ステップS13)。ステップS13の処理は、図5のステップS3の処理と同様である。
次に、分布生成部32Aは、ステップS13で得られた度数分布に基づいて、栽培領域9全体における作物の現在の生長状態分布を作成する(ステップS14)。ステップS14の処理は、図5のステップS4の処理と同様である。
次に、第2予測処理部32内の収穫時期予測部32Bは、ステップS14で作成された現在の生長状態分布を基準生長状態分布として設定する(ステップS15)。
次に、収穫時期予測部32Bは、基準生長状態分布に対して1日先の生長状態分布を予測する(ステップS16)。具体的には、収穫時期予測部32Bは、例えば、図5のステップS5で説明した方法によって、1日当たりの作物の生長量Gdを求める。そして、収穫時期予測部32Bは、基準生長状態分布を、1日当たりの作物の生長量Gd分だけ、生長段階が進行する方向にシフトさせる。これにより、基準生長状態分布に対して1日先の生長状態分布が得られる。
次に、収穫時期予測部32Bは、現在から予測した生長状態分布に対応する時期までの日数をカウントするためのカウント値Kを1だけインクリメントする(ステップS17)。カウント値Kの初期値は0である。
次に、収穫時期予測部32Bは、ステップS16で作成された将来の生長状態分布において、生長段階が収穫閾値を超える部分に存在する作物の数量である予測収穫量が、希望収穫量以上であるか否かを判別する(ステップS18)。
予測収穫量が希望収穫量未満である場合には(ステップS18:NO)、ステップS16で作成された将来の生長状態分布を基準生長状態分布として設定した後(ステップS19)、ステップS16に戻る。そして、収穫時期予測部32Bは、ステップS16〜S18の処理を再度実行する。
ステップS18において、予測収穫量が希望収穫量以上であると判別された場合には(ステップS18:YES)、収穫時期予測部32Bは、ステップS16で作成された将来の生長状態分布に対応する時期を希望収穫量の作物を収穫できる時期(日付)として算出する(ステップS20)。具体的には、収穫時期予測部32Bは、現在の日から、カウント値Kだけ先の日付を、希望収穫量希望収穫量の作物を収穫できる日付として算出する。算出された日付は、例えば、操作表示部42に表示される。
そして、収穫時期予測部32Bは、カウント値Kをクリア(零)にした後(ステップS21)、今回の第2予測処理を終了する。
つまり、第2予測処理部32によれば、希望収穫量の作物を収穫できる時期を予測することができる。
図12は、制御値算出処理部33の動作を説明するためのフローチャートである。図12の処理は、例えば、オペレータの操作部43または操作表示部42の操作によって、希望収穫時期、希望収穫量および収穫閾値が入力された後、制御値算出処理の開始指令が入力されたときに実行される。なお、収穫閾値が既に設定されて記憶部44に記憶されている場合において、その収穫閾値を変更する必要がない場合には、オペレータは収穫閾値を改めて入力する必要はない。
制御値算出処理部33内の分布生成部33Aは、画像データ記憶部45に記憶されている時刻毎の画像データのうち最新の時刻に対する画像データ(処理対象画像データ)を抽出して、メモリに記憶する(ステップS31)。ステップS31の処理は、図5のステップS1の処理と同様である。
次に、分布生成部33Aは、メモリに記憶された処理対象画像データに基づいて、作物の生長過程の形態である花や実を抽出し、抽出した花や実を生長段階(生長状態)に応じて分類する(ステップS32)。ステップS32の処理は、図5のステップS2の処理と同様である。
次に、分布生成部33Aは、処理対象データから抽出された花や実を、ステップS32によって得られた生長段階(数値ラベル)毎に集計することにより、処理対象画像データ内に存在する花および実の範囲内において、作物の生長状態を表す度数分布を作成する(ステップS33)。ステップS33の処理は、図5のステップS3の処理と同様である。
次に、分布生成部33Aは、ステップS23で得られた度数分布に基づいて、栽培領域9全体における作物の現在の生長状態分布を作成する(ステップS34)。ステップS34の処理は、図5のステップS4の処理と同様である。
次に、制御値算出処理部33内の目標生長状態分布設定部33Bは、ステップS34で作成された現在の生長状態分布を基準生長状態分布として設定する(ステップS35)。
次に、目標生長状態分布設定部33Bは、基準生長状態分布に対して1日先の生長状態分布を予測する(ステップS36)。具体的には、目標生長状態分布設定部33Bは、例えば、図5のステップS5で説明した方法によって、1日当たりの作物の生長量Gdを求める。そして、目標生長状態分布設定部33Bは、基準生長状態分布を、1日当たりの作物の生長量Gd分だけ、生長段階が進行する方向にシフトさせる。これにより、基準生長状態分布に対して1日先の生長状態分布が得られる。
次に、目標生長状態分布設定部33Bは、ステップS36で作成された将来の生長状態分布において、生長段階が収穫閾値を超える部分に存在する作物の数量である予測収穫量が、希望収穫量以上であるか否かを判別する(ステップS37)。
予測収穫量が希望収穫量未満である場合には(ステップS37:NO)、目標生長状態分布設定部33Bは、ステップS36で作成された将来の生長状態分布を基準生長状態分布として設定した後(ステップS38)、ステップS36に戻る。そして、目標生長状態分布設定部33Bは、ステップS36およびS37の処理を再度実行する。
ステップS37において、予測収穫量が希望収穫量以上であると判別された場合には(ステップS37:YES)、目標生長状態分布設定部33Bは、ステップS36で作成された将来の生長状態分布を、目標生長状態分布として設定する(ステップS39)。
次に、制御値算出処理部33内の制御値算出部33Cは、希望収穫時期での予測生長状態分布がステップS39で設定された目標生長状態分布に近づくように、時間帯毎の制御変数の目標値α、βおよびγを算出する(ステップS40)。算出された時間帯毎の制御変数の目標値α、βおよびγは、記憶部44内の目標値記憶部50に記憶される。これにより、目標値記憶部50に記憶されている時間帯毎の制御変数の目標値α、βおよびγが更新される。ステップS40の処理について具体的に説明する。
図13は、ステップS34で作成された現在の生長状態分布61と、ステップS39で設定された目標生長状態分布62との一例を示す模式図である。
現在の生長状態分布61と目標生長状態分布62との生長量の差をΔGとする。希望収穫時期での予測生長状態分布を目標生長状態分布に近づけるための1日単位の生長量の目標値を目標生長量Gdとし、現在から目標収穫日までの日数をNとすると、1日単位の目標生長量Gdは次式(1)で表される。
Gd=ΔG/N …(1)
制御値算出部33Cは、前記式(1)に基づいて、1日単位の目標生長量Gdを算出する。そして、制御値算出部33Cは、1日の生長量Gdが目標生長量Gdに等しくなるように、1または複数の時間帯における制御変数の目標値α、βおよびγを算出する。
例えば、制御値算出部33Cは、前記式(1)に基づいて算出された1日単位の目標生長量Gdを24で除算することにより、各時間帯T1〜T24に対する目標生長量Gd1〜Gd24を求める。そして、制御値算出部33Cは、時間帯T1〜T24毎の生長速度グラフに対応した回帰式またはマップを用いて、各時間帯T1〜T24に対する生長量Gd1〜Gd24を、対応する時間帯の目標生長量Gd1〜Gd24に等しくさせるための、制御変数の目標値α、βおよびγを時間帯T1〜T24毎に算出する。この場合には、全ての時間帯において、栽培領域9の環境が現在の各時間帯の環境に対して変更されることになる。栽培領域9の環境を変更することにより、作物の生長速度を変化させることができる。
なお、1日の生長量Gdを目標生長量Gdに一致させることができれば、制御値算出部33Cは、すべての時間帯で栽培領域9の環境を変更する必要はなく、少なくとも1つの時間帯において栽培領域9の環境を変更すればよい。言い換えれば、制御値算出部33Cは、少なくとも1つの時間帯において制御変数の目標値α、βおよびγを変更することによって、1日の生長量Gdを目標生長量Gdに一致させるようにしてもよい。また、栽培領域9を分割して環境の制御が可能な場合には、栽培領域9のうちの特定の領域の環境のみを制御することによって、必要な収穫量を確保してもよい。
また、図8に示すような生長速度グラフが、制御変数α、βおよびγの一部のみを変化させたときの関数F(a1・α+a2・β+a3・γ+a4・δ)の値に対する作物の生長速度を表すものである場合には、制御値算出部33Cは、その一部の制御変数に対する目標値のみを変更することになる。例えば、図8に示すような生長速度グラフが、制御変数α,β,γのうちα(温度)のみを変化させたときの関数F(a1・α+a2・β+a3・γ+a4・δ)の値に対する作物の生長速度を表すものである場合には、制御値算出部33Cは、αに対する目標値αのみを変更することになる。
次に、制御値算出部33Cは、ステップS40で算出された時間帯毎の制御変数の目標値α、βおよびγを、作物栽培システム2の制御部20に送信する(ステップS41)。そして、今回の制御値算出処理を終了する。
作物栽培システム2の制御部20は、サーバ3からの時間帯毎の制御変数の目標値α、βおよびγを受信すると、受信した時間帯毎の目標値α、βおよびγを記憶部25内の目標値記憶部27に記憶する。これにより、目標値記憶部27に記憶されている時間帯毎の目標値α、βおよびγが更新される。そして、制御部20は、各時間帯の制御変数α、βおよびγが、その時間帯に対する更新後の制御変数の目標値α、βおよびγに近づくように、コージェネ12、空調機13、除湿機14およびCO施用機15を制御する。
制御値算出処理部33によれば、希望収穫時期に希望収穫量の作物を収穫できるようになる。
以上、この発明の実施形態について説明したが、この発明はさらに他の形態で実施することもできる。例えば、前述の実施形態では、作物の生長速度に影響を与えるパラメータは、温度α、湿度β、CO濃度γおよび日照強度δを変数とする関数F(a1・α+a2・β+a3・γ+a4・δ)で表わされているが、変数および変数の組合せはこれに限られない。例えば、変数として、栄養液の供給量を加えてもよい。
また、図12のステップS40は、現在の生長状態分布61と目標生長状態分布62との生長量の差ΔGに基づいて、希望収穫時期での予測生長状態分布を目標生長状態分布に一致させるための時間帯毎の制御変数の目標値α、βおよびγを算出している。しかし、図5のステップS5と同様な処理によって希望収穫時期での生長状態分布を予測し、予測された希望収穫時期での生長状態分布とステップS39で設定される目標生長状態分布との間の生長量の差とに基づいて、希望収穫時期での予測生長状態分布を目標生長状態分布に一致させるための時間帯毎の制御変数の目標値α、βおよびγを算出してもよい。具体的には、希望収穫時期での生長状態分布と目標生長状態分布との間の生長量の差が零になるように、時間帯毎の制御変数の目標値α、βおよびγを算出すればよい。
また、図12のステップS40の処理は、作物栽培システム2の制御部20が行うようにしてもよい。この場合には、制御値算出処理部33は、ステップS39で設定された目標生長状態分布を作物栽培システム2の制御部20に送信すればよい。この場合には、時間帯T1〜T24毎の生長速度グラフに対応した回帰式またはマップを制御装置11内の記憶部25にも記憶しておく必要がある。
また、サーバ3の第1予測処理部31によって行われる第1予測処理、サーバ3の第2予測処理部2によって行われる第2予測処理およびサーバ3の制御値算出処理部33によって行われる制御値算出処理を、作物栽培システム2側の制御部20によって行うようにしてもよい。この場合には、作物栽培システム2側の制御部20が生長状態予測装置を構成することになる。
また、前記実施形態では、作物として野菜(トマト)を例にとって説明したが、作物は果実や花であってもよい。
その他、特許請求の範囲に記載された事項の範囲で種々の設計変更を施すことが可能である。
2 作物栽培システム
3 サーバ
4 通信網
9 栽培領域
11 制御装置
12 コージェネ
13 空調機
14 除湿機
15 CO施用機
16 カメラ
17 環境センサ
20 制御部
21 第1通信部
22 第2通信部
25 記憶部
30 制御部
31 第1予測処理部
31A 分布生成部
31B 収穫量予測部
32 第2予測処理部
32A 分布生成部
32B 収穫時期予測部
33 制御値算出処理部
33A 分布生成部
33B 目標生長状態分布設定部
33C 制御値算出部
41 通信部
42 操作表示部
43 操作部
44 記憶部

Claims (2)

  1. 所定の栽培領域の少なくとも一部を撮像することによって得られる複数の作物を含む画像に基づいて、前記栽培領域で栽培される作物の生長状態を予測する生長状態予測装置であって、
    前記画像に含まれる前記複数の作物を生長状態に応じて分類し、前記複数の作物の分類結果から前記栽培領域全体における作物の生長状態分布を生成する分布生成部と、
    前記分布生成部によって生成された生長状態分布を時間進展させることにより、前記栽培領域全体における作物の将来の生長状態分布を予測する機能を備えた予測部とを含み、
    前記予測部は、
    前記将来の生長状態分布として、生長状態が所定の収穫閾値を超える部分に存在する作物の数量から得られる収穫量が所与の希望収穫量以上になる生長状態分布を求め、得られた生長状態分布を目標生長状態分布として設定する目標生長状態分布設定部と、
    前記分布生成部によって生成された生長状態分布を所与の希望収穫時期まで進展させた将来の生長状態分布が、前記目標生長状態分布設定部によって設定された目標生長状態分布に近づくように、前記栽培領域における環境を制御するための環境制御値を算出する制御値算出部を含む、生長状態予測装置。
  2. 前記制御値算出部によって算出された環境制御値に基づいて、前記栽培領域における環境を制御する環境制御部をさらに含む、請求項に記載の生長状態予測装置。
JP2017214717A 2017-11-07 2017-11-07 生長状態予測装置 Active JP6943725B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017214717A JP6943725B2 (ja) 2017-11-07 2017-11-07 生長状態予測装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017214717A JP6943725B2 (ja) 2017-11-07 2017-11-07 生長状態予測装置

Publications (2)

Publication Number Publication Date
JP2019083745A JP2019083745A (ja) 2019-06-06
JP6943725B2 true JP6943725B2 (ja) 2021-10-06

Family

ID=66761395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017214717A Active JP6943725B2 (ja) 2017-11-07 2017-11-07 生長状態予測装置

Country Status (1)

Country Link
JP (1) JP6943725B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472557B (zh) * 2019-08-13 2023-06-02 深圳市睿海智电子科技有限公司 一种番茄生长监控的方法及装置
KR102639969B1 (ko) * 2021-07-20 2024-02-23 (주)루멘룩스 식물 성장 관리 방법 및 이를 이용하는 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3705106B2 (ja) * 2000-09-29 2005-10-12 松下電工株式会社 植物育成事業システム
JP4107875B2 (ja) * 2002-05-10 2008-06-25 三菱化学株式会社 建造物塗装面の劣化診断方法
JP2006252105A (ja) * 2005-03-10 2006-09-21 Yokogawa Electric Corp 農産物生産情報管理システム
JP2013005726A (ja) * 2011-06-22 2013-01-10 Nikon Corp 情報提供システム、情報提供装置、情報提供方法及びプログラム
JP5965668B2 (ja) * 2012-02-27 2016-08-10 株式会社Nttファシリティーズ 植物栽培システム、植物栽培方法及びプログラム
US20170161560A1 (en) * 2014-11-24 2017-06-08 Prospera Technologies, Ltd. System and method for harvest yield prediction
JP6261492B2 (ja) * 2014-11-28 2018-01-17 三菱電機株式会社 情報処理装置及び情報処理方法及びプログラム
JP2016154510A (ja) * 2015-02-26 2016-09-01 日本電気株式会社 情報処理装置、生長状況判定方法、およびプログラム

Also Published As

Publication number Publication date
JP2019083745A (ja) 2019-06-06

Similar Documents

Publication Publication Date Title
JP2019083746A (ja) 作物生産管理装置
KR20200122612A (ko) 작물 생육 제어 시스템
Manoharan Supervised Learning for Microclimatic parameter Estimation in a Greenhouse environment for productive Agronomics
KR20150096103A (ko) 농산물 수확량 예측 장치 및 방법
JP6943725B2 (ja) 生長状態予測装置
JP2016154510A (ja) 情報処理装置、生長状況判定方法、およびプログラム
CN106979599A (zh) 家用电器控制方法和装置、服务器
JP2019170359A (ja) 植物栽培結果予測システム
KR102374557B1 (ko) 병해충 발생 예측 장치 및 방법
US20220225583A1 (en) Management device for cultivation of fruit vegetable plants and fruit trees, learning device, management method for cultivation of fruit vegetable plants and fruit trees, learning model generation method, management program for cultivation of fruit vegetable plants and fruit trees, and learning model generation program
KR102309568B1 (ko) 이미지 기반 작물 생육정보 자동계측 시스템
JP2016184232A (ja) 予測装置および予測方法
CN116578047B (zh) 一种用于辣椒生产的精细化智能控制方法及系统
JP2021056572A (ja) 作物生産支援プログラム、作物生産支援方法および作物生産支援装置
US20230082714A1 (en) Soil Property Model Using Measurements of Properties of Nearby Zones
KR102471743B1 (ko) 스마트팜의 미래 생산량 예측 방법
JP7416394B2 (ja) 作付スケジュール算出装置、作付スケジュール算出プログラム、及び、作付スケジュール算出方法
JP2019219704A5 (ja)
EP4125325B1 (en) Experimenting with an adjusted grow protocol target value
KR20210056213A (ko) 농장 운영정보 제공 시스템
JP7314825B2 (ja) 予測装置、予測システム、及び予測方法
WO2020255678A1 (ja) 情報処理装置及び方法
JP2021126112A (ja) 施設内気温制御方法、施設内気温制御プログラム及び施設内気温制御装置
JP2018169993A (ja) 結果予測装置、結果予測方法、及びプログラム
JP6556382B2 (ja) 状態予測制御装置及び状態予測制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210819

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210909

R150 Certificate of patent or registration of utility model

Ref document number: 6943725

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150