JP7114092B2

JP7114092B2 - 画像データ加工装置、植物栽培システム及び画像データ加工方法

Info

Publication number: JP7114092B2
Application number: JP2019525609A
Authority: JP
Inventors: 博史峰野; 千雅兼田; 瞬柴田; 和昌若森
Original assignee: Shizuoka University NUC
Current assignee: Shizuoka University NUC
Priority date: 2017-06-20
Filing date: 2018-06-18
Publication date: 2022-08-08
Anticipated expiration: 2038-06-18
Also published as: JPWO2018235777A1; WO2018235777A1

Description

本発明の一形態は、対象物の動きの特徴を示す画像データを加工する画像データ加工装置、植物栽培システム及び画像データ加工方法に関する。

近年、植物、動物、建造物等の対象物の画像データを取得して、その画像データを基に機械学習を用いて対象物の動きに関する数値を評価する仕組みが検討されている。例えば、下記非特許文献１には、植物の草姿画像を用いた植物の萎れ具合の推定の手法について記載されている。この手法では、草姿画像の２時点の画像間におけるオプティカルフローを算出し、そのオプティカルフローをヒストグラム化した数値列を説明変数として機械学習を用いて萎れ具合を推定する。

若森和昌、外３名、「草姿画像を用いた植物萎れ具合高精度推定」、情報処理学会第７９回全国大会、ｐ３－２３１～３－２３２、２０１７年３月

上述した非特許文献１に記載の手法では、対象物の動きを十分に反映した入力データを用いた機械学習が実現されているとは言い難い。すなわち、対象物の画像データの全体から得られたヒストグラムデータを用いているため、機械学習の推定精度を効率よく高めることが難しい。

本発明の一側面は、上記課題に鑑みて為されたものであり、少ない入力データの量で高い推定精度の機械学習を実現できる画像データ加工装置及び画像データ加工方法を提供することを目的とする。

上記課題を解決するため、本発明の一形態にかかる画像データ加工装置は、対象物の外観に関する入力二次元画像を第１の時間間隔で連続して取得する画像取得部と、入力二次元画像のうち、第１の時間間隔の整数倍の時間間隔で取得された２つの入力二次元画像を対象に、画素毎に動きの方向及び大きさを算出することにより、画素毎の動きの分布を示す二次元画像である動き画像を連続して生成する第１の画像加工部と、連続した複数の動き画像を対象に、同一の二次元位置の画素毎に複数の画素値を反映した特徴値を算出することにより、二次元画像である特徴画像を連続して生成する第２の画像加工部と、連続した特徴画像を基に、対象物の動きに関する特徴量を算出するための機械学習用の入力データを生成する入力データ生成部と、を備える。

あるいは、本発明の他の形態にかかる画像データ加工方法では、画像取得部を用いて、対象物の外観に関する入力二次元画像を第１の時間間隔で連続して取得するステップと、第１の画像加工部により、入力二次元画像のうち、第１の時間間隔の整数倍の時間間隔で取得された２つの入力二次元画像を対象に、画素毎に動きの方向及び大きさを算出することにより、画素毎の動きの分布を示す二次元画像である動き画像を連続して生成するステップと、第２の画像加工部により、連続した複数の動き画像を対象に、同一の二次元位置の画素毎に複数の画素値を反映した特徴値を算出することにより、二次元画像である特徴画像を連続して生成するステップと、入力データ生成部により、連続した特徴画像を基に、対象物の動きに関する特徴量を算出するための機械学習用の入力データを生成するステップと、を備える。

上記形態の画像データ加工装置あるいは画像データ加工方法によれば、第１の時間間隔で連続して取得された入力二次元画像のうち、第１の時間間隔の整数倍の時間間隔で取得された２つの入力二次元画像を用いて、画素毎の動きの分布を示す動き画像が連続して生成され、連続した動き画像における画素毎の特徴値が算出されることにより、特徴画像が連続して生成され、その連続した特徴画像を基に機械学習用の入力データが生成される。これにより、入力データに対象物の動きの特徴を表すデータを効率的に含めることができ、少ない入力データの量で対象物の動きに関する特徴量に関する機械学習の精度を高めることができる。

本発明の一側面によれば、少ない入力データの量で高い推定精度の機械学習を実現できる。

実施形態にかかる灌水制御システムの概略構成を示す図である。図１のデータ処理装置を構成するコンピュータのハードウェア構成を示す図である。図１のデータ処理装置１の機能構成を示すブロック図である。図３の画像加工部１６の機能構成を示すブロック図である。図３の画像加工部１６によって加工された画像のイメージを示す図である。図３の画像加工部１６によって加工された画像のイメージを示す図である。図３の学習器２１によって出力される差分茎径ＤＳＤの予測値の推移のデータのイメージを示すグラフである。図１のデータ処理装置１による灌水制御の処理手順を示すフローチャートである。図８の画像データ加工処理の詳細手順を示すフローチャートである。

以下、図面を参照しつつ本発明に係る画像データ加工装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。

まず、図１～６を用いて、本発明の一実施形態にかかる画像データ加工装置を含む灌水制御システム１０の機能および構成を説明する。図１に示す灌水制御システム１０は、トマト等の植物である対象物Ｓの萎れ具合を数値で予測し、その数値に基づいて対象物に対する灌水を制御するシステムである。灌水制御システム１０では、機械学習により対象物Ｓの動きを基に萎れ具合が予測される。

本実施形態で使用する機械学習は、既知の値の集合であるトレーニングデータを学習することでパターン関数を生成し、そのパターン関数を用いて未知の値を予測する処理である。本実施形態では、数値列であるトレーニングデータを用い、そのトレーニングデータから得られたパターン関数を用いて将来の時点における値を予測する。なお、数値列とは、対象物Ｓに関する現象の様々な観測値によって得られた数値の系列であり、その現象をある規則に基づいて観測することにより得られた数値の系列である。機械学習の例として、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、人工ニューラルネットワーク（ＡＮＮ）、サポートベクターマシン（ＳＶＭ）、あるいはそのＳＶＭを回帰に対応させたサポートベクター回帰（ＳＶＲ）、決定木学習，相関ルール学習，ベイジアンネットワークなどが挙げられるが、灌水制御システム１０はこれ以外のアルゴリズムを用いてもよい。

灌水制御システム１０が予測する対象としては、対象物Ｓの水分ストレスに対応する萎れ具合として対象物Ｓの茎の径が挙げられているが、これには限定されない。例えば、灌水制御システム１０は、苗の重さ、茎の傾き、葉の広がり具合、葉の色調等、萎れ具合あるいは水分ストレスを示す他の対象物Ｓの動きに関する数値を予測してもよい。また、対象物Ｓとしても、植物以外に、鳥等の動物、ビル等の建造物、車両等の移動物体、細胞等の微小な物体、などを対象としてもよい。

図１に示すように、灌水制御システム１０は、栽培対象である対象物Ｓの草姿（外観）の二次元画像（入力二次元画像）を所定の周期ΔＴ（第１の時間間隔）で定期的（例えば、１分間隔）に取得する画像取得部としてのカメラ３と、対象物Ｓの茎の径を測定する茎径センサ５と、対象物Ｓの周囲環境に関する測定データを所定の周期（例えば、１分間隔）で定期的に出力する環境センサ７と、対象物への灌水タイミングあるいは灌水の量を外部からの制御信号によって制御する灌水制御装置９と、これらのカメラ３、茎径センサ５、環境センサ７、及び灌水制御装置９と無線あるいは有線の通信ネットワークＮを経由して接続されたデータ処理装置（画像データ加工装置）１とによって構成されている。カメラ３は、対象物Ｓの全体の外観の画像が取得可能なように、対象物Ｓに向けて設置されている。なお、カメラ３は、対象物Ｓの萎れの変化を検出しやすい位置に設置されていればよく、複数台あってもよく、対象物Ｓの上部のみの画像を取得可能な位置であってもよく、対象物Ｓを横方向（水平方向）から撮像可能な向きで設置されていてもよく、対象物Ｓを垂直方向（上方向あるいは下方向）から撮像可能な向きで設置されていてもよい。茎径センサ５は、対象物Ｓの茎に取り付けられ、茎の径の測定データを所定のタイミングで繰り返し計測して出力する。このような茎径センサ５としては、例えば、投光器と受光器とを含むレーザラインセンサが用いられるが、茎の径が計測できるものであれば特定の構成のものには限定されない。ここで、この茎径センサ５から出力される測定データは、データ処理装置１における機械学習で実測値を表すトレーニングデータとして用いられるが、パターン関数が既に生成されてデータ処理装置１に保持されている場合は、茎径センサ５は取り外されてもよいし、灌水制御システム１０に含まれていなくてもよい。環境センサ７は、対象物Ｓの栽培環境に設置され、対象物の周囲環境に関する測定値を測定可能なセンサ装置である。この環境センサ７は、例えば、温度、相対湿度、日射量（明るさ）、光合成有効光量子束密度（PPFD）等を測定可能なセンサ装置が選択されるが、これらのうちの一部を測定可能なセンサ装置であってもよいし、その他の環境に関する測定値を測定可能なセンサ装置であってもよい。また、環境センサ７は、１つの場所に設置されることには限定されず、栽培環境下の複数の場所に複数で設置されてもよい。

灌水制御システム１０は、カメラ３で取得された画像、茎径センサ５及び環境センサ７で取得された測定データが通信ネットワークＮを介してデータ処理装置１によって取得可能に構成されている。また、灌水制御装置９による灌水タイミングあるいは灌水の量が通信ネットワークＮを介してデータ処理装置１から送られた制御信号によって制御可能に構成されている。なお、灌水制御装置９に代えて、対象物Ｓの栽培条件を制御する他の装置が設けられてもよい。例えば、栽培環境の温度、湿度を制御する空調制御装置が設けられてもよいし、養分の供給タイミングあるいは供給量を制御する装置が設けられてもよい。

データ処理装置１は１台以上のコンピュータを備え、複数台のコンピュータを備える場合には、後述するデータ処理装置１の各機能要素は分散処理により実現される。個々のコンピュータの種類は限定されない。例えば、据置型または携帯型のパーソナルコンピュータ（ＰＣ）を用いてもよいし、ワークステーションを用いてもよいし、高機能携帯電話機（スマートフォン）や携帯電話機、携帯情報端末（ＰＤＡ）などの携帯端末を用いてもよい。あるいは、様々な種類のコンピュータを組み合わせてデータ処理装置１を構築してもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。

データ処理装置１内の個々のコンピュータ１００の一般的なハードウェア構成を図２に示す。コンピュータ１００は、オペレーティングシステムやアプリケーション・プログラムなどを実行する演算装置であるＣＰＵ（プロセッサ）１０１と、ＲＯＭ及びＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイやプリンタなどの出力装置１０６とを備える。当然ながら、搭載されるハードウェアモジュールはコンピュータ１００の種類により異なる。例えば、据置型のＰＣおよびワークステーションは入力装置および出力装置としてキーボード、マウス、およびモニタを備えることが多いが、スマートフォンではタッチパネルが入力装置および出力装置として機能することが多い。

後述するデータ処理装置１の各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。

図３に示すように、データ処理装置１は、機能的構成要素として、実測値取得部１１、画像取得部１３、測定データ取得部１５、画像加工部１６、画像特徴量算出部１７、環境特徴量算出部１９、学習器２１、糖度予測部２３、及び灌水制御部２５を備える。

実測値取得部１１は、茎径センサ５によって出力された茎の径に関する測定データを取得する。そして、実測値取得部１１は、測定データを、画像特徴量算出部１７及び学習器２１における機械学習のための実測値のデータに変換し、その実測値のデータを画像特徴量算出部１７及び学習器２１に引き渡す。例えば、画像特徴量算出部１７及び学習器２１における機械学習による予測対象の数値（目的変数）が差分茎径（ＤＳＤ：Difference Stem Diameter）の場合には、実測値のデータとして差分茎径のデータに変換し、機械学習による予測対象の数値（目的変数）が相対茎径（ＲＳＤ：Relative Stem Diameter）の場合には、実測値のデータとして相対茎径のデータに変換する。差分茎径ＤＳＤは、現在の茎の径の値を過去に観測された茎の径の最大値から減算することにより算出される対象物Ｓの動きに関する値である。相対茎径ＲＳＤは、現在の茎の径の値を過去に観測された茎の径の最大値で除算することにより算出される対象物Ｓの動きに関する値である。どちらの値ＤＳＤ、ＲＳＤも、対象物Ｓの萎れ具合を表す評価値として用いられる。

画像取得部１３は、カメラ３によって連続して取得された入力二次元画像を受信する。画像取得部１３は、受信した入力二次元画像を画像加工部１６に引き渡す。

測定データ取得部１５は、環境センサ７によって連続して取得された周囲環境に関する測定データを、時系列の環境測定データとして受信する。測定データ取得部１５は、受信した時系列の環境測定データを、環境特徴量算出部１９に引き渡す。

画像加工部１６は、画像取得部１３によって受信された所定の周期ΔＴで取得された複数の入力二次元画像を加工する（加工機能の詳細は後述する。）。画像加工部１６は、入力二次元画像の加工の結果生成した入力データを画像特徴量算出部１７に出力する。

画像特徴量算出部１７は、入力データを基に、機械学習を用いて対象物Ｓの萎れ具合に関する特徴量である数値ベクトル（数値列）を算出する。例えば、画像特徴量算出部１７は、入力データと実測値のデータとを用いて、将来（例えば、それぞれの画像データの取得時点から所定時間後）の差分茎径ＤＳＤを目的変数とした教師あり機械学習を実行する。機械学習の例としては、公知の深層学習の手法である畳み込みニューラルネットワーク（ＣＮＮ）が挙げられる。ＣＮＮは、畳み込みとプーリングを繰り返すことで画像データから機械的に特徴量を抽出できる手法である。ＣＮＮを用いる場合の一例を示すと、画像特徴量算出部１７は、畳み込み層とプーリング層とにおける処理を何回か（例えば、５回）繰り返した後に、出力層における処理を経由して、目的変数である差分茎径ＤＳＤの予測値を算出する。この予測値が対象物Ｓの将来の萎れ具合を表している。その際、画像特徴量算出部１７は、算出した予測値と実測値のデータとを基に、機械学習を進めることで畳み込み層で用いるフィルタパラメータ等のパターン関数を更新できる。ここで、画像特徴量算出部１７は、いったんパターン関数を構築した後は、実測値のデータを用いたパターン関数の更新は停止してもよく、最初からパターン関数が構築されている場合には、パターン関数の更新の機能は含まれていなくてもよい。さらに、画像特徴量算出部１７は、構築された状態での画像データを対象にしたＣＮＮの隠れ層の最終段の出力を、特徴量である数値ベクトル（例えば、２５６列の数値ベクトル）として、学習器２１に出力する。

環境特徴量算出部１９は、時系列の環境測定データを基に対象物の萎れ具合に関連する特徴量を時系列に算出する。例えば、環境特徴量算出部１９は、環境測定データに含まれる温度および相対湿度から２種類の飽差ＶＤＰ，ＨＤの値を算出する。飽差とは、一定の空間中に含むことのできる水蒸気の量を示す指標である。また、環境特徴量算出部１９は、環境測定データとして植物群落の上部と内部の明るさがある場合、それらの差から葉面積指数ＬＡＩ（Leaf Area Index）の値を算出する。葉面積指数とは、植物群落の葉の量を示す指標である。そして、環境特徴量算出部１９は、算出した特徴量を付加した環境測定データを、時系列に学習器２１に出力する。

学習器２１は、画像特徴量算出部１７によって算出された数値ベクトルと、環境特徴量算出部１９から出力された時系列の環境測定データとを基に、対象物Ｓの萎れ具合を表す数値として、差分茎径ＤＳＤの予測値を導出する。この予測値の導出には、本発明者らによる自律順応型学習器であるＳＷ－ＳＶＲ（Sliding Window-based Support Vector Regression）の手法（特開２０１６－０９９７３８号公報参照）、あるいは、公知のＲＮＮの手法が用いられうる。ＳＷ－ＳＶＲは、時間経過に伴い特性が複雑に変化する微気象データなどの予測に適した手法である。ＳＷ－ＳＶＲの手法を用いる場合の一例を説明すると、学習器２１は、数値ベクトルと時系列の環境測定データとを組み合わせた数値ベクトルを基に、ＳＷ－ＳＶＲの手法による機械学習を実行することにより、目的変数である差分茎径ＤＳＤの予測値の推移を算出する。数値ベクトルと時系列の環境測定データとを組み合わせた数値ベクトルを求める際には、入力二次元画像を基にした数値ベクトルと環境測定データとが同等な影響度を有するようにデータ増幅等によって同じバランスに設定してから組み合わせるようにしてもよい。その際、学習器２１は、実測値取得部１１から得られた実測値のデータを基に、機械学習を実行することによりＳＷ－ＳＶＲの手法で用いるパターン関数を更新する。ここで、学習器２１は、いったんパターン関数を構築した後は、実測値のデータを用いたパターン関数の更新は停止してもよく、最初からパターン関数が構築されている場合には、パターン関数の更新の機能は含まれていなくてもよい。そして、学習器２１は、パターン関数が構築された状態での機械学習による差分茎径ＤＳＤの予測値の推移のデータを、糖度予測部２３に出力する。

糖度予測部２３は、学習器２１から出力された対象物Ｓの茎径に関する推移のデータを基に、対象物Ｓの糖度を予測する。例えば、糖度予測部２３は、所定期間内での差分茎径ＤＳＤの推移データの極小値の回数を評価することにより、萎れの頻度を表す萎れ頻度評価値を算出する。また、糖度予測部２３は、所定期間内での差分茎径ＤＳＤの推移データの積分値を評価することにより、萎れの程度を表す萎れ強度評価値を算出する。これらの萎れ頻度評価値と萎れ強度評価値は、将来の対象物Ｓの糖度と相関が高い。その性質を利用して、糖度予測部２３は、将来の所定時点での対象物の糖度を、萎れ頻度評価値と萎れ強度評価値とを基に予測値として算出する。さらに、糖度予測部２３は、算出した糖度の予測値を灌水制御部２５に引き渡す。

灌水制御部２５は、糖度予測部２３によって算出された対象物Ｓの糖度の予測値を基に、対象物Ｓの糖度が目標値に近づくように対象物Ｓへの灌水のタイミングあるいは灌水の量を制御するための制御信号を生成する。そして、灌水制御部２５は、生成した制御信号を灌水制御装置９に向けて送信する。これにより、灌水制御を用いて対象物Ｓの水分ストレスを制御することによって、収穫時期における糖度を一定値に制御することができる。

次に、図４～６を参照して、画像加工部１６の機能の詳細について説明する。図４は、画像加工部１６に含まれる機能を示すブロック図、図５及び図６は、画像加工部１６によって加工された画像のイメージを示す図である。図４に示すように、画像加工部１６は、第１画像加工部１６ａ、第２画像加工部１６ｂ、及び入力データ生成部１６ｃを含んでいる。

画像加工部１６の第１画像加工部１６ａは、画像取得部１３によって周期ΔＴで連続的に取得された複数の入力二次元画像のうち、連続する２つの入力二次元画像を対象に、画素毎に動きの方向及び大きさを算出することにより、画素毎に動きベクトル（フロー）の分布を示す二次元画像である動き画像を連続して生成する。すなわち、第１画像加工部１６ａは、２つの入力二次元画像として、周期ΔＴのｎ倍（ｎは１以上の整数を示す）、つまり、ｎ×ΔＴの時間間隔で取得された２つの入力二次元画像を選択し、それらを対象に動きベクトルの大きさ及び方向の情報が各画素に埋め込まれた動き画像を生成する。このとき、第１画像加工部１６ａは、連続した複数の入力二次元画像から選択する２つの入力二次元画像の取得時間を周期ΔＴほどずらしながら、選択した入力二次元画像を対象に連続して動き画像を生成する。このような動きベクトルの生成手法としては、様々な手法が用いられうるが、例えば、オプティカルフローの１種であるディープフロー（例えば、文献「Weinzaepfel, P., Revaud, J., Harchaoui, Z., Schmid, C.: Deepflow: Large displacement Optical Flow with deep matching. In: ICCV, pp.1385-1392, Sydney (2013).」参照）のアルゴリズムが用いられる。このような手法によれば、動きベクトルの二次元画像の各画素に物体の動きの速さ及び方向に関する情報を含めることができる。また、２つの入力二次元画像の取得時間間隔を決める整数ｎを調整することにより、動きベクトルに所望の速度の動きを反映させることができる。例えば、ｎを大きくすれば比較的ゆっくりとした動きを反映できるし、ｎを小さくすれば比較的速い動きを反映できる。

画像加工部１６の第２画像加工部１６ｂは、第１画像加工部１６ａによって取得周期ΔＴで得られた連続する動き画像からｋ枚（ｋは正の整数）を選択して、そのｋ枚の動き画像を対象に同一の２次元位置の画素毎にｋ枚の動き画像の画素値を反映した特徴値を算出し、それぞれの画素に算出した特徴値が埋め込まれた二次元画像を特徴画像として生成する。すなわち、第２画像加工部１６ｂは、ｋ枚の画素値のうち動きベクトルの大きさが最大である画素値を選択し、選択した動きベクトルの画素値を特徴値として二次元画像に埋め込む。また、第２画像加工部１６ｂは、ｋ枚の画素値から動きベクトルの大きさを積算した積算値を画素値として求め、求めた動きベクトルの画素値を特徴値として二次元画像に埋め込んでもよいし、第２画像加工部１６ｂは、ｋ枚の画素値から動きベクトルの大きさ及び方向を平均化した平均値を求め、求めた動きベクトルの平均値の画素値を特徴値として二次元画像に埋め込んでもよい。このとき、第２画像加工部１６ｂは、連続した複数の動き画像から選択するｋ枚の動き画像の取得時間を周期ΔＴほどずらしながら、選択した動き画像を対象に連続して特徴画像を生成する。このような処理により、対象物Ｓの動き以外のノイズが目立たないように画素値が反映された特徴画像を得ることができる。

画像加工部１６の入力データ生成部１６ｃは、第２画像加工部１６ｂによって連続して生成された複数の特徴画像を基に、対象物Ｓの動きに関する特徴量（例えば、対象物Ｓの萎れ具合に関する数値ベクトル）を算出するための機械学習用の入力データを生成する。すなわち、入力データ生成部１６ｃは、二次元画像であるそれぞれの特徴画像を連続した一次元の数値列（連続データ）に変換し、それらの数値列を合成して二次元画像である入力データを生成する。ここで、特徴画像を連続した一次元の数値列（連続データ）に変換する際には、データを圧縮してもよい。

図５には、画像加工部１６によって加工された画像のイメージを示している。例えば、Ｗ×Ｈ（Ｗ：水平方向の画素数、Ｈ：垂直方向の画素数）の入力二次元画像Ｇ_Ｉが時刻ｔ以降に周期ΔＴで取得された場合、第１画像加工部１６ａによって、取得時刻ｔの入力二次元画像Ｇ_Ｉと取得時刻ｔ＋ｎ・ΔＴの入力二次元画像Ｇ_Ｉを対象にして動き画像Ｇ_ＯＦが生成される。同様にして、取得時刻ｔ＋ΔＴの入力二次元画像Ｇ_Ｉと取得時刻ｔ＋（ｎ＋１）・ΔＴの入力二次元画像Ｇ_Ｉを対象にして動き画像Ｇ_ＯＦが生成され、取得時刻ｔ＋２・ΔＴの入力二次元画像Ｇ_Ｉと取得時刻ｔ＋（ｎ＋２）・ΔＴの入力二次元画像Ｇ_Ｉを対象にして動き画像Ｇ_ＯＦが生成され、その後、２つの入力二次元画像の取得時刻を周期ΔＴだけずらしながら連続して動き画像Ｇ_ＯＦが生成される。さらに、第２画像加工部１６ｂによって、生成された連続する３つの動き画像Ｇ_ＯＦを対象にして（ｋ＝３）、同一の２次元位置の画素毎に特徴値が算出され、それぞれの画素に特徴値が埋め込まれた特徴画像Ｇ_ＰＯＦが生成される。この特徴画像Ｇ_ＰＯＦは、３つの動き画像Ｇ_ＯＦを１つずつずらしながら連続して生成されるため、結果として入力二次元画像Ｇ_Ｉが１つ得られるたびに１つ得られる。次に、入力データ生成部１６ｃによって、連続して生成されたｈ個（ｈは２以上の整数、例えばｈ＝６）の特徴画像Ｇ_ＰＯＦを合成することにより入力データＧ_ＦＶが生成される。例えば、それぞれの特徴画像Ｇ_ＰＯＦにおけるすべての行の画素の画素値がＷ×Ｈ個の一次元の数値列に連結され、それぞれの特徴画像Ｇ_ＰＯＦの数値列が各行の画素に埋め込まれた全画素数Ｗ×Ｈ×ｈの二次元画像が、入力データＧ_ＦＶとして生成される。この入力データＧ_ＦＶも、ｈ個の特徴画像Ｇ_ＰＯＦを１つずつずらしながら連続して生成されるため、結果として入力二次元画像Ｇ_Ｉが１つ得られるたびに１つ得られる。このように生成された入力データＧ_ＦＶには、複数の取得タイミングで得られた対象物Ｓの動きの情報を含められるため、後段の機械学習において動きの時系列性を効率的に抽出することができる。

なお、画像加工部１６の入力データ生成部１６ｃは、他の手法によって機械学習用の入力データを生成してもよい。例えば、入力データ生成部１６ｃは、第２画像加工部１６ｂによって連続して生成された複数の特徴画像Ｇ_ＰＯＦを基に、それぞれの画素毎に動きベクトルの大きさを閾値と比較し、閾値以上の画素を有効画素と判定し、閾値未満の画素を無効画素と判定する。つまり、動きが観測されない画素は機械学習に対して有意な画素ではないと判定する。そして、入力データ生成部１６ｃは、最新の入力二次元画像Ｇ_Ｉを基にして、有効画素と判定された画素については入力二次元画像Ｇ_Ｉの画素値を反映し、無効画素と判定された画素については画素値をマスクした（無意な値に設定した）二次元画像である画像データを入力データとして生成する。

図６には、画像加工部１６によって加工された画像のイメージを示している。例えば、Ｗ×Ｈ個の画素数の入力二次元画像Ｇ_Ｉが時刻ｔ以降に周期ΔＴで取得された場合、図５の場合と同様にして、動き画像Ｇ_ＯＦ及び特徴画像Ｇ_ＰＯＦが連続して生成される。そして、入力データ生成部１６ｃによって、連続して生成されたそれぞれの特徴画像Ｇ_ＰＯＦを基に、Ｗ×Ｈ個の画素数の二次元画像が、入力データＧ_ＲＯＡＦとして生成される。図６に示すように、入力データＧ_ＲＯＡＦは、その入力データＧ_ＲＯＡＦを生成する際に得られている最新の入力二次元画像Ｇ_Ｉ、すなわち、取得時刻ｔ＋（ｎ＋２）・ΔＴの入力二次元画像Ｇ_Ｉを基に生成される。この入力データＧ_ＲＯＡＦも、入力二次元画像Ｇ_Ｉが１つ得られるたびに１つ得られる。このように生成された入力データＧ_ＲＯＡＦには、ある取得タイミングでの対象物Ｓの動きの情報が含められる一方で、動きに関連性の薄い画素の情報は削減できるため、後段の機械学習において動きに関する予測値を効率的に学習することができる。

図７には、学習器２１によって出力される差分茎径ＤＳＤの予測値の推移のデータのイメージを示している。このように、学習器２１によって、栽培環境の変化によって増減する対象物の茎径の変化が予測され、茎径の推移データによって将来の対象物Ｓの萎れ具合の評価が可能となる。

以下、図８及び図９を参照して、上述したデータ処理装置１による灌水制御の処理手順について説明するとともに、本実施形態にかかる萎れ具合予測方法の手順について詳述する。図８は、データ処理装置１による灌水制御の処理手順を示すフローチャートであり、図９は、図８の画像データ加工処理の詳細手順を示すフローチャートである。

まず、ユーザによる指示入力等を契機にデータ処理装置１による灌水制御の処理が起動されると、実測値取得部１１による実測値のデータの取得、画像取得部１３による画像データ（入力二次元画像）の取得、及び測定データ取得部１５による時系列の環境測定データの取得が開始される（ステップＳ０１）。なお、画像特徴量算出部１７及び学習器２１におけるパターン関数の構築が既に済んでいる場合には、実測値のデータの取得の処理は省略されてもよい。次に、画像加工部１６により、画像データの加工処理が行われ機械学習用の入力データが生成される（ステップＳ０２）。

その後、画像特徴量算出部１７によって、入力データを用いた機械学習が実行されることにより、対象物Ｓの萎れ具合を表す特徴量としての数値ベクトルが生成され、生成された数値ベクトルが学習器２１に出力される（ステップＳ０３）。それとともに、環境特徴量算出部１９によって、環境測定データを基に２種類の飽差ＶＤＰ，ＨＤ等の特徴量が算出され、それらの特徴量が付加された環境測定データが時系列に学習器２１に入力される（ステップＳ０４）。

それに応じて、学習器２１により、数値ベクトル及び時系列の環境測定データを用いた機械学習が実行されることにより、対象物Ｓの茎径に関する予測値の推移データが生成され、その推移データが糖度予測部２３に出力される（ステップＳ０５）。次に、糖度予測部２３により、推移データを基に対象物の糖度が予測される（ステップＳ０６）。最後に、灌水制御部２５により、予測された糖度を基に対象物Ｓへの灌水を制御するための制御信号が生成され、その制御信号が灌水制御装置９に向けて送信される（ステップＳ０７）。以上のようなデータ処理装置１による灌水制御は、ユーザの指示入力に応じてその都度起動されてもよいし、所定のタイミングで（例えば、定期的に）自動起動されてもよい。

ステップＳ０２における画像加工部１６による画像データ加工処理は次のような手順で実行される（図９参照）。最初に、周期ΔＴで連続して取得される画像データのうち、ｎ×ΔＴの時間間隔で取得された２つの入力二次元画像が選択され、それらを対象に動きベクトルの大きさ及び方向の情報が各画素に埋め込まれた動き画像が連続して生成される（ステップＳ１０１）。次に、連続して生成されたｋ枚の動き画像を用いて、同一の２次元位置の画素毎にｋ枚の動き画像の画素値を反映した特徴値が算出され、それぞれの画素に算出した特徴値が埋め込まれた特徴画像が生成される（ステップＳ１０２）。さらに、連続して生成された複数の特徴画像を基に、対象物Ｓの動きに関する特徴量を算出するための機械学習用の入力データが生成される（ステップＳ１０３）。

なお、図８及び図９に示される処理を実行する際には、実測値取得部１１によって実測値のデータを取得させてからステップＳ０１～Ｓ０５を複数回繰り返すことにより、画像特徴量算出部１７及び学習器２１にそれらのデータを用いて学習させて、機械学習のためのパラメータ（パターン関数等）を前もって構築させておく。その後、実測値取得部１１によって実測値のデータを取得させることなくステップＳ０１～Ｓ０７の処理が実行されることにより、機械学習を用いて予測された対象物Ｓの茎径に関する予測値の推移データを基にした灌水制御が実行される。

以上説明した灌水制御システム１０によれば、カメラ３によって取得された対象物Ｓの草姿の画像を基に、機械学習によって特徴量である数値ベクトルが算出され、その数値ベクトルと環境センサ７によって取得された測定データとを用いた機械学習によって、対象物Ｓの萎れ具合を表す茎径に関する数値の予測値が導出される。これにより、カメラ３と環境センサ７とを含む簡易なシステムを用いた簡易な操作によって、対象物Ｓの萎れ具合を予測するシステムが実現できる。また、対象物Ｓの草姿の画像と共に環境センサ７によって取得される測定データをも用いて予測値が導出されるので、栽培環境に応じた植物の萎れ具合を高精度に予測することができる。

また、データ処理装置１による画像データ加工の手法によれば、周期ΔＴで連続して取得された入力二次元画像のうち、ｎ×ΔＴの時間間隔で取得された２つの入力二次元画像を用いて、画素毎の動きの分布を示す動き画像が連続して生成され、連続した動き画像における画素毎の特徴値が算出されることにより、特徴画像が連続して生成され、その連続した特徴画像を基に機械学習用の入力データが生成される。これにより、入力データに対象物Ｓの動きの特徴を表すデータを効率的に含めることができ、少ない入力データの量で対象物の動きに関する特徴量に関する機械学習の精度を高めることができる。

ここで、データ処理装置１の入力データ生成部１６ｃは、連続した特徴画像のそれぞれを一連の連続データに変換し、連続データを合成して入力データを生成している。このような機能を有することにより、対象物Ｓの時系列の動きの特徴を入力データに効率的に含めることができる。

また、入力データ生成部１６ｃは、特徴画像を基に有効画素あるいは無効画素を判定し、その判定結果を基に入力二次元画像の有効画素以外の画素をマスクした二次元画像を、入力データとして生成している。こうすれば、画像データ中から対象物Ｓの動きに関連する位置のデータを抽出して効率的に入力データを生成することができる。

また、灌水制御システム１０では、温度、湿度、及び明るさに関する環境測定データを用いて対象物Ｓの茎径に関する予測値が導出されている。これにより、栽培環境に応じた植物の萎れ具合をさらに高精度かつ効率的に予測することができる。

なお、本発明は、上述した実施形態の態様に限定されるものではない。

例えば、測定データ取得部１５は、時系列の環境測定データを取得し、学習器２１は、時系列の環境測定データを用いて対象物Ｓの萎れ具合を示す予測値を導出していたが、これには限定されない。すなわち、測定データ取得部１５は、環境測定データをそのデータが取得された時刻を示す時刻データと共に取得し、学習器２１は、時刻データを含む環境測定データを用いて対象物Ｓの萎れ具合を示す予測値を導出してもよい。

ここで、上記実施形態では、第２の画像加工部は、複数の画素値の最大値、積算値、あるいは平均値を求め、最大値、積算値、あるいは平均値の画素値を特徴値として算出することにより、特徴画像を生成する、こととしてもよい。この場合、入力データに対象物の動きの特徴を表すデータを効率的に含めることができる。

また、入力データ生成部は、連続した特徴画像のそれぞれを一連の連続データに変換し、連続データを合成して入力データを生成する、こととしてもよい。この場合、対象物の時系列の動きの特徴を入力データに効率的に含めることができる。

また、入力データ生成部は、特徴画像のそれぞれの画素毎に閾値と比較することにより有効画素を判定し、有効画素毎に入力二次元画像の画素値を反映し、有効画素以外の画素をマスクした二次元画像である画像データを、入力データとして生成する、こととしてもよい。こうすれば、画像データ中から対象物の動きに関連する部分のデータを抽出して効率的に入力データを生成することができる。

また、対象物の周囲環境に関する測定データを取得する環境センサと、入力データ生成部によって生成された入力データと、環境センサによって取得された測定データとを基に、機械学習を用いて対象物の動きに関する数値を算出する画像特徴量算出部と、を備える、こととしてもよい。この場合には、機械学習によって対象物の動きに関する数値を高精度かつ効率的に予測することができる。

本発明の一側面は、対象物の動きの特徴を示す画像データを加工する画像データ加工装置、植物栽培システム及び画像データ加工方法を使用用途とし、少ない入力データの量で高い推定精度の機械学習を実現できるものである。

１…データ処理装置（画像データ加工装置）、３…カメラ（画像取得部）、５…茎径センサ、７…環境センサ、１０…灌水制御システム、１６…画像加工部、１６ａ…第１画像加工部、１６ｂ…第２画像加工部、１６ｃ…入力データ生成部、１７…画像特徴量算出部、２１…学習器、２３…糖度予測部、Ｓ…対象物。

Claims

対象物の外観に関する入力二次元画像を第１の時間間隔で連続して取得する画像取得部と、
前記入力二次元画像のうち、前記第１の時間間隔の整数倍の時間間隔で取得された２つの前記入力二次元画像を対象に、画素毎に動きの方向及び大きさを算出することにより、画素毎の動きの分布を示す二次元画像である動き画像を連続して生成する第１の画像加工部と、
連続した複数の前記動き画像を対象に、同一の二次元位置の画素毎に複数の画素値を反映した特徴値を算出することにより、二次元画像である特徴画像を連続して生成する第２の画像加工部と、
連続した前記特徴画像を基に、前記対象物の動きに関する特徴量を算出するための機械学習用の入力データを生成する入力データ生成部と、
前記対象物の周囲環境に関する測定データを取得する環境センサと、
前記入力データ生成部によって生成された前記入力データと、前記環境センサによって取得された前記測定データとを基に、機械学習を用いて前記対象物の動きに関する数値を算出する特徴量算出部と、
前記特徴量算出部によって前記測定データを基に算出された前記対象物の動きに関連する特徴量と、前記特徴量算出部によって前記入力データを基に算出された前記対象物の動きに関する数値とを基に、機械学習を用いて前記対象物の動きに関する状態を予測する状態予測部と、
前記状態予測部で予測された前記対象物の状態を基に評価することにより、前記対象物の評価値を予測する評価値予測部と、
前記評価値予測部で予測された前記評価値を基に、前記対象物の前記評価値が目標値に近づくように、前記対象物の環境条件を制御する制御部と、
を備える画像データ加工装置。
前記第２の画像加工部は、前記複数の画素値の最大値、積算値、あるいは平均値を求め、前記最大値、前記積算値、あるいは前記平均値の画素値を前記特徴値として算出することにより、前記特徴画像を生成する、
請求項１記載の画像データ加工装置。
前記入力データ生成部は、連続した前記特徴画像のそれぞれを一連の連続データに変換し、前記連続データを合成して前記入力データを生成する、
請求項１又は２記載の画像データ加工装置。
前記入力データ生成部は、前記特徴画像のそれぞれの画素毎に閾値と比較することにより有効画素を判定し、前記有効画素毎に前記入力二次元画像の画素値を反映し、有効画素以外の画素をマスクした二次元画像である画像データを、前記入力データとして生成する、
請求項１～３のいずれか１項に記載の画像データ加工装置。
（削除）
（削除）
（削除）
（削除）
前記制御部は、植物である前記対象物の栽培条件を制御する、
請求項１～４のいずれか１項に記載の画像データ加工装置。
請求項９記載の画像データ加工装置を含む植物栽培システム。
画像取得部を用いて、対象物の外観に関する入力二次元画像を第１の時間間隔で連続して取得するステップと、
第１の画像加工部により、前記入力二次元画像のうち、前記第１の時間間隔の整数倍の時間間隔で取得された２つの前記入力二次元画像を対象に、画素毎に動きの方向及び大きさを算出することにより、画素毎の動きの分布を示す二次元画像である動き画像を連続して生成するステップと、
第２の画像加工部により、連続した複数の前記動き画像を対象に、同一の二次元位置の画素毎に複数の画素値を反映した特徴値を算出することにより、二次元画像である特徴画像を連続して生成するステップと、
入力データ生成部により、連続した前記特徴画像を基に、前記対象物の動きに関する特徴量を算出するための機械学習用の入力データを生成するステップと、
環境センサにより、前記対象物の周囲環境に関する測定データを取得するステップと、
特徴量算出部により、前記入力データ生成部によって生成された前記入力データと、前記環境センサによって取得された前記測定データとを基に、機械学習を用いて前記対象物の動きに関する数値を算出するステップと、
状態予測部により、前記特徴量算出部によって前記測定データを基に算出された前記対象物の動きに関連する特徴量と、前記特徴量算出部によって前記入力データを基に算出された前記対象物の動きに関する数値とを基に、機械学習を用いて前記対象物の動きに関する状態を予測するステップと、
評価値予測部により、前記状態予測部で予測された前記対象物の状態を基に評価することにより、前記対象物の評価値を予測するステップと、
制御部により、前記評価値予測部で予測された前記評価値を基に、前記対象物の前記評価値が目標値に近づくように、前記対象物の環境条件を制御するステップと、
を備える画像データ加工方法。