JP7318768B2 - 作物栽培支援装置 - Google Patents

Description

本発明は、栽培領域を撮像する撮像部を備える作物栽培支援装置に関する。

従来の作物栽培支援装置は特許文献１に開示されている。この作物栽培支援装置は農用車両に取り付けられたビデオカメラ（撮像部）、位置検出部及びパーソナルコンピュータを備える。位置検出部はＧＰＳアンテナ及びＧＰＳ受信機を有する。パーソナルコンピュータにはビデオカメラ及び位置検出部が接続される。

また、農用車両の上部には農用車両の後方に延びる支柱が設けられる。ビデオカメラは鉛直下方を向くように支柱の後端に固定される。ビテオカメラ１の直上にはＧＰＳアンテナ４が取り付けられる。

上記構成の作物栽培支援装置において、農用車両が圃場（栽培領域）上を走行すると、ビデオカメラは圃場を撮像して複数の撮像画像を形成する。パーソナルコンピュータは、ＧＰＳからの位置情報に基づき、複数の撮像画像の相互の位置関係を導出する。次に、パーソナルコンピュータ上で複数の撮像画像を合成し、圃場全体の合成画像を形成する。

合成の際には、撮像画像の重複部分について先に撮像した撮像画像を優先して合成するか、または後に撮像した撮像画像を優先して合成するのかを選択することができる。これにより、ビデオカメラの農用車両の取り付け位置とビデオカメラの視野等との関係により農用車両の一部が撮像画像に写り込む場合でも撮像画像を選択することにより農用車両の一部を消去することができる。

特開２００１－１２００４２号公報（第３頁、第４頁、第１図、第２ 図、第４図）

しかしながら、上記従来の作物栽培支援装置によると、撮像画像の重複部分について、先に撮像した撮像画像に農用車両の一部が写り込み、後に撮像した撮像画像に例えば水面に映った太陽が写り込む場合がある。この場合には合成に用いる撮像画像上に不具合が発生し、圃場全体の合成画像の品質が低下する。このため、栽培領域内の作物の生育状態の判断に有用な画像を提供できない問題があった。

本発明は、栽培領域内の作物の生育状態の判断に有用な画像を提供できる作物栽培支援装置を提供することを目的とする。

上記目的を達成するために本発明は、作物を栽培する栽培領域の上空を移動して前記栽培領域を撮像する撮像部と、前記撮像部の位置を検出する位置検出部と、前記栽培領域の同一地点の地点画像を前記撮像部で撮像した複数の撮像画像に基づいて形成するとともに複数の前記地点画像を合成する合成部とを備えた作物栽培支援装置において、
前記撮像画像上の不具合を有した不具合領域を検出する不具合検出部を設け、
前記合成部が前記不具合検出部により検出した前記不具合領域を除いて前記地点画像を形成することを特徴としている。

また本発明は、上記構成の作物栽培支援装置において、前記不具合検出部が一の前記撮像画像内を区分した複数の領域の所定の特性値を相対比較して前記不具合領域を検出することが好ましい。

また本発明は、上記構成の作物栽培支援装置において、前記不具合検出部が複数の前記撮像画像の同一地点に対する複数の領域の所定の特性値を相対比較して前記不具合領域を検出することが好ましい。

また本発明は、上記構成の作物栽培支援装置において、前記不具合検出部が一の前記撮像画像内を区分した複数の領域の特性値と所定の閾値とを比較して前記不具合領域を検出することが好ましい。

また本発明は、上記構成の作物栽培支援装置において、前記不具合検出部が各前記撮像画像の周部を前記不具合領域として検出することが好ましい。

また本発明は、上記構成の作物栽培支援装置において、前記撮像部が可視画像を撮像する可視撮像部と、近赤外画像を撮像する近赤外撮像部とを有し、前記不具合検出部は、前記可視画像の画素と前記近赤外画像の画素とのずれ量が所定量よりも大きい領域を前記不具合領域として検出することが好ましい。

また本発明は、上記構成の作物栽培支援装置において、前記撮像部の位置、画角及び画素数に基づいて前記地点画像の位置を導出することが好ましい。

また本発明は、上記構成の作物栽培支援装置において、複数の前記撮像画像及び複数の地点画像を記憶する記憶部が所定のネットワーク上に設けられることが好ましい。

本発明によると、撮像部で撮像した複数の撮像画像に基づいて栽培領域の同一地点の地点画像を形成するとともに複数の地点画像を合成する合成部と、撮像画像上の不具合を有した不具合領域を検出する不具合検出部とを備える。そして、合成部が不具合検出部により検出した不具合領域を除いて地点画像を形成する。これにより、不具合領域が除去された複数の地点画像を合成することができ、合成後の画像の品質を向上させることができる。したがって、栽培領域内の作物の生育状態の判断に有用な画像を提供することができる。

本発明の一実施形態の作物栽培支援装置を示す概略構成図 本発明の一実施形態の作物栽培支援装置の構成を示すブロック図 本発明の一実施形態の作物栽培支援装置の合成画像の形成工程を示す図 本発明の一実施形態の作物栽培支援装置の撮像工程を示す平面図 本発明の一実施形態の作物栽培支援装置の撮像工程を示す側面図 本発明の一実施形態の作物栽培支援装置の不具合検出工程を説明するための 図 本発明の一実施形態の作物栽培支援装置の画像合成工程を示す図

以下に図面を参照して本発明の一実施形態について説明する。図１は本実施形態の作物栽培支援装置の概略構成を示す図である。作物栽培支援装置１は撮像部２及び情報端末３を備え、作物ＰＬを栽培する圃場ＦＤ（栽培領域）の全体の画像を形成する。なお、圃場ＦＤとは例えば平面視略矩形形状で四辺に畦畔が設けられ、畦畔で囲まれた水田または畑を示す。

撮像部２は例えばマルチスペクトルカメラにより構成され、飛行体４に取り付けられる。撮像部２は可視撮像部２０（図２参照）及び近赤外撮像部２１（図２参照）を有する。可視撮像部２０と近赤外撮像部２１とは圃場ＦＤに平行な面内で所定間隔をあけて配置される。

可視撮像部２０は可視光の画像（可視画像）を形成する。可視撮像部２０は、第１バンドパスフィルタ、第１結像光学系、第１イメージセンサ及び第１デジタルシグナルプロセッサ等を有する（いずれも不図示）。第１バンドパスフィルタは例えば波長６５０ｎｍを中心波長とする比較的狭帯域で光を透過させる。第１結像光学系は、第１バンドパスフィルタを透過した測定対象の可視光の光学像を所定の第１結像面上に結像する。第１イメージセンサは、第１結像面に受光面を一致させて配置され、測定対象の可視光の光学像を電気的な信号に変換する。第１デジタルシグナルプロセッサは第１イメージセンサの出力に対して画像処理を施し、可視画像を形成する。

近赤外撮像部２１は近赤外光の画像（近赤外画像）を形成する。近赤外撮像部２０は、第２バンドパスフィルタ、第２結像光学系、第２イメージセンサ及び第２デジタルシグナルプロセッサを有する（いずれも不図示）。第２バンドパスフィルタは７５０ｎｍ以上の所定波長（例えば波長８００ｎｍ）を中心波長とする比較的狭帯域で光を透過させる。第２結像光学系は、第２バンドパスフィルタを透過した測定対象の近赤外光の光学像を所定の第２結像面上に結像する。第２イメージセンサは第２結像面に受光面を一致させて配置され、測定対象の近赤外光の光学像を電気的な信号に変換する。第２デジタルシグナルプロセッサは第２イメージセンサの出力に対して画像処理を施し、近赤外画像を形成する。なお、第１イメージセンサ及び第２イメージセンサとして例えばＶＧＡタイプ（６４０画素×４８０画素）のイメージセンサを用いることができる。

なお、撮像部２は近赤外撮像部２１を省き、可視撮像部２０により構成されてもよい。この場合、可視撮像部２０は、第１結像光学系と、第１イメージセンサと、第１イメージセンサ上に配置されたＲ／Ｇ／Ｂ／ＩｒまたはＷ／Ｙ／Ｒ／Ｉｒとを備えて構成される（例えば特許第５１６８３５３号公報参照）。上記「Ｒ」、「Ｇ」、「Ｂ」はそれぞれ主に赤色光、緑色光、青色光を透過させるフィルタである。上記「Ｉｒ」は主に近赤外光を透過させるフィルタである。上記「Ｗ」は主に白色光を透過させるフィルタであり、上記「Ｙ」は主に黄色光を透過させるフィルタである。

飛行体４は自律飛行可能な無人航空機（ドローン）により構成され、圃場ＦＤの上空を飛行する。飛行体４は複数（例えば８個）の水平回転翼４２を設けたハウジング４１を有する。撮像部２はハウジング４１の下面に取り付けられた筐体２５内に配置される。移動機構（不図示）により筐体２５は開口部（不図示）を有する下面が鉛直下方に向く方向と正面に向く方向とに移動可能に構成される。これにより、可視撮像部２０及び近赤外撮像部２１は開口部を介して鉛直下方を向く方向と正面を向く方向とを移動可能になっている。また、ハウジング４１の下面から下方に向かって複数の脚部４６が突設される。飛行体４の着陸の際に脚部４６が地面に接触する。

飛行体４に対して事前のプログラミングによって飛行経路及び飛行高度等を設定すると、使用者が無線コントローラ（不図示）等を用いて操縦しなくても飛行体４は水平回転翼４２を回転させて自律飛行することができる。飛行体４が飛行する際には可視撮像部２０及び近赤外撮像部２１は鉛直下方を向く。これにより、可視撮像部２０及び近赤外撮像部２１は圃場ＦＤの上空を移動して圃場ＦＤを撮像することができる。飛行体４が着陸する際には可視撮像部２０及び近赤外撮像部２１は正面方向を向く。これにより、可視撮像部２０及び近赤外撮像部２１のレンズ（不図示）等の地面への衝突による破損を防止することができる。なお、飛行体４は使用者による無線操縦飛行（誘導飛行）可能に構成されてもよい。

また、飛行体４は例えば気球、飛行船、飛行機、ヘリコプター等であってもよい。また、飛行体４に替えて、地上から筐体２５を吊り上げるクレーン等の吊上げ装置（不図示）を用いてもよい。この時、吊り下げた筐体２５を水平方向に移動させる。

情報端末３は例えばパーソナルコンピュータにより構成される。情報端末３は接続部３５、４５（図２参照）を介して飛行体４及び撮像部２と通信可能に構成され、表示部３１及び操作部３２を有する。表示部３１は例えば液晶パネル等から成り、操作メニュー、飛行体４との通信状況、後述の合成画像ＣＩ等を表示する。操作部３２はキーボード３２ａ及びマウス３２ｂを有し、各種データの入力操作を受け付けて出力する。なお、情報端末３はスマートフォン等の携帯電話機またはタブレットＰＣにより構成されてもよい。

図２は作物栽培支援装置１の構成を示すブロック図である。情報端末３及び飛行体４はそれぞれの各部を制御するＣＰＵから成る制御部３９、４９をそれぞれ有する。制御部３９と制御部４９とは接続部３５、４５を介して無線接続される。制御部３９には表示部３１、操作部３２、記憶部３３、合成部３４、接続部３５、不具合検出部３６及び生育指標導出部３７が接続される。

記憶部３３は各種プログラム及び各種データを記憶する。各種プログラムには情報端末３の全体動作を制御するプログラム等が含まれる。各種データには可視画像、近赤外画像、撮像画像ＦＩ、地点画像ＰＩ及び合成画像ＣＩ等が含まれる。撮像画像ＦＩは本実施形態では可視画像及び近赤外画像に基づいて形成された画像である。地点画像ＰＩは撮像画像ＦＩ上の地点の画像である。なお、地点画像ＰＩは一または複数画素から成り、一の地点画像ＰＩの大きさは一の撮像画像ＦＩの大きさよりも小さくなっている。合成画像ＣＩは複数の地点画像ＰＩを合成して形成される画像であり、本実施形態では例えば一の圃場ＦＤの全体の画像である。また、本実施形態では撮像画像ＦＩ、地点画像ＰＩ及び合成画像ＣＩは後述のＮＤＶＩ画像により形成される。

合成部３４は地点画像ＰＩを複数（本実施形態では６枚）の撮像画像ＦＩに基づいて形成する。また、合成部３４は複数の地点画像ＰＩを合成する。これにより、合成部３４は合成画像ＣＩを形成する。なお、地点画像ＰＩの詳細については後述する。

接続部３５、４５にはアンテナ（不図示）が設けられる。接続部３５、４５はアンテナを介して無線電波により通信データの送受信を行う。通信データには可視撮像部２０及び近赤外撮像部２１がそれぞれ撮像した可視画像及び近赤外画像が含まれる。

不具合検出部３６は、撮像画像ＦＩ上の後述の不具合を有した不具合領域ＤＲ（図６参照）を検出する。合成部３４は後述のように不具合領域ＤＲを除いて地点画像ＰＩを形成する。

生育指標導出部３７は、可視撮像部２０で撮像した可視画像及び近赤外撮像部２１で撮像した近赤外画像に基づいて、圃場ＦＤ内の作物ＰＬの生育状態を示す生育指標を導出する。本実施形態では生育指標として、ＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ Ｄｉｆｆｅｒｅｎｃｅ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ、正規化差植生指数）を用いている。ＮＤＶＩで表示した画像であるＮＤＶＩ画像は可視画像及び近赤外画像に基づいて形成される。可視画像の画素値をＲｖとし、近赤外画像の画素値をＲｉとすると、可視画像及び近赤外画像の画素値に対応するＮＤＶＩ画像の画素値がＮＤＶＩに相当し、ＮＤＶＩ＝（Ｒｉ－Ｒｖ）／（Ｒｉ＋Ｒｖ）と表される。ＮＤＶＩが大きいほど植生が濃いことを表す。

例えばＮＤＶＩ画像の画素位置（１０，１５）における画素値は、可視画像の画素位置（１０，１５）における画素値及び近赤外画像の画素位置（１０，１５）における画素値から導出される。なお、可視撮像部２０と近赤外撮像部２１との視差が考慮され、可視画像の画素位置及び近赤外画像の画素位置のうちの少なくとも一方の画素位置が視差を修正するようにシフトされた上で、ＮＤＶＩが導出されてもよい。また、可視撮像部２０の第１結像光学系と近赤外撮像部２１の第２結像光学系は画角及び歪曲収差等の光学特性が互いに同等である。

なお、生育指標として、ＲＶＩ（Ｒａｔｉｏ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ、比植生指数、ＲＶＩ＝Ｒｉ／Ｒｖ）、ＤＶＩ（Ｄｉｆｆｅｒｅｎｃｅ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ、差植生指数、ＤＶＩ＝Ｒｉ－Ｒｖ）、ＴＶＩ（Ｔｒａｎｓｆｏｒｍｅｄ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ、ＴＶＩ＝ＮＤＶＩ＋０．５）^0.5）、またはＩＰＶＩ（Ｉｎｆｒａｒｅｄ Ｐｅｒｃｅｎｔａｇｅ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ、ＩＰＶＩ＝Ｒｉ／（Ｒｉ＋Ｒｖ）＝（ＮＤＶＩ＋１）／２）等を用いてもよい。

また、生育指標として、圃場ＦＤの地表面を作物ＰＬが覆っている割合を示す植被率を用いてもよい。例えば、近赤外撮像部２１で撮像した圃場ＦＤの近赤外画像に基づいて生育指標導出部３７は二値化処理を行い、白色と黒色の二値化画像を形成する。この時、白色部分が作物ＰＬに相当し、黒色部分が土壌に相当する。そして、生育指標導出部３７は二値化画像において白色部分が占める割合を示す植被率を導出する。

飛行体４の制御部４９には記憶部４３、接続部４５、水平回転翼４２、方位測定部４７及び位置検出部４８が接続される。また、制御部４９には可視撮像部２０及び近赤外撮像部２１が接続される。記憶部４３には飛行体４の制御プログラム（自律飛行プログラムを含む）、撮像部２の制御プログラム及び各種データが記憶される。記憶部４３が記憶する各種データには飛行体４の飛行経路及び高度等の飛行データ等が含まれる。

位置検出部４８は例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、全地球測位システム）を備える。なお、ＧＰＳはＤＧＰＳ（Ｄｉｆｆｅｒｅｎｔｉａｌ ＧＰＳ）等の誤差を補正する補正機能を有するＧＰＳであってもよい。位置検出部４８により撮像部２（可視撮像部２０及び近赤外撮像部２１）の位置（緯度Ｘ、経度Ｙ、高度Ｚ）が検出される。方位測定部４７は例えば３軸方位計（３軸地磁気センサ）により構成され、撮像部２の地球上における方位を測定する。また、制御部３９は、撮像部２の位置、画角及び画素数から地点画像ＰＩの位置を導出する。

図３は合成画像ＣＩを形成する工程を示す図である。合成画像ＣＩを形成する工程は撮影工程、ＮＤＶＩ画像形成工程、不具合検出工程、地点画像形成工程及び画像合成工程を有する。本実施形態では、合成画像ＣＩは一の圃場ＦＤの画像を例として説明する。

図４は撮像工程を示す平面図である。上記構成の作物栽培支援装置１において、水平回転翼４２の回転により飛行体４が自律飛行し、圃場ＦＤの上空に到達する。飛行体４は圃場ＦＤの上空を設定高度Ｈ（本実施形態では３０ｍ）及び設定速度（本実施形態では１５ｋｍ／ｈ）で、矢印ＦＣで示すように平面視で九十九折りに飛行する。具体的には、飛行体４は圃場ＦＤの長手方向に沿って長手方向の一方端部から他方端部に向かって飛行し、他方端部に到達すると圃場ＦＤの短手方向に沿って所定距離飛行した後に長手方向に沿って長手方向の一方端部に向かって飛行することを繰り返す。飛行体４が圃場ＦＤの上空を飛行している間に可視撮像部２０及び近赤外撮像部２１は圃場ＦＤを撮像する。

図５は撮像工程の側面図を示している。なお、図５では飛行体４の図示を省略し、矢印ＦＣは飛行体４の飛行方向（撮像部２の移動方向）を示している。撮像工程において、可視撮像部２０及び近赤外撮像部２１の画角αを４５°とすると、撮像範囲Ｄは約２４．８５ｍ×約３３．１３ｍの領域となる。そして、撮像部２が１秒間に可視画像及び近赤外画像をそれぞれ１枚撮像する場合、圃場ＦＤ上の同一地点ＳＰがそれぞれ６回撮像される。可視画像及び近赤外画像は接続部４５、３５を介して制御部３９に送信され、記憶部３３に記憶される。この時、各可視画像及び各近赤外画像は撮像部２の位置と関連付けて記憶部３３に記憶される。撮像工程の後に、ＮＤＶＩ画像形成工程に移行する。

ＮＤＶＩ画像形成工程では、生育指標導出部３７により可視画像の画素及び近赤外画像の画素からＮＤＶＩが導出される。これにより、ＮＤＶＩ画像である撮像画像ＦＩが形成される。ＮＤＶＩ画像ではＮＤＶＩに応じてＲ、Ｇ、Ｂで色分けされる。例えば、ＮＤＶＩ画像において、Ｒ、Ｇ、Ｂの順にＮＤＶＩが低くなる。ＮＤＶＩ画像形成工程の後に不具合検出工程に移行する。

図６は不具合検出工程時において、同一地点ＳＰが撮像された複数（本実施形態では６枚）の撮像画像ＦＩを示す図である。「Ａ」～「Ｆ」の撮像画像ＦＩには同一地点ＳＰが撮像される。「Ａ」～「Ｆ」の撮像画像ＦＩの撮像タイミングはそれぞれ異なり、「Ａ」～「Ｆ」の順で時系列に並んでいる。例えば圃場ＦＤが水田の場合には、撮影工程時に水面に映った太陽が可視画像及び近赤外画像に写り込む場合がある。このため、撮像画像ＦＩ上に太陽の写り込みに起因する不具合を有した不具合領域ＤＲが生じる場合がある。

また、撮像工程において、例えば撮像部２を収納した筐体２５の向きが移動機構の誤作動等によって正面方向（圃場ＦＤ以外の方向）に一時的に変更される場合がある。この場合、撮像画像ＦＩ上で撮像部２の向きが変更された時の領域が不具合領域ＤＲとなる。

また、撮像工程において、例えば風等により作物ＰＬが倒伏した様子が可視画像及び近赤外画像に写り込む場合がある。この場合、撮像画像ＦＩ上で作物ＰＬが倒伏した領域が不具合領域ＤＲとなる。

また、撮像画像ＦＩの周辺部ＰｈのＮＤＶＩ（特性値）が中心部ＣＰのＮＤＶＩよりも低下するシェーディング誤差が発生する場合がある。この場合、撮像画像ＦＩの周辺部Ｐｈの領域が不具合領域ＤＲとなる。

また、前述のように可視撮像部２０と近赤外撮像部２１とは所定距離離れて配置されている。このため、可視撮像部２０と近赤外撮像部２１との視差に起因する可視画素と近赤外画素とのズレによる誤差が発生する場合がある。この場合、ズレ量が所定値よりも大きい領域が不具合領域ＤＲとなる。

上記例の不具合領域ＤＲのＮＤＶＩは不具合のない他の領域（不具合領域ＤＲではない領域）のＮＤＶＩよりも低い値を示す。このため、不具合領域ＤＲのＮＤＶＩを用いて複数の地点画像ＰＩを合成すると、合成画像ＣＩの品質が低下する。そこで、不具合検出部３６は、撮像画像ＦＩ上の不具合領域ＤＲを検出し、合成部３４は不具合検出部３６により検出した不具合領域ＤＲを除いて地点画像ＰＩを形成する。本実施形態では、不具合検出部３６は一の撮像画像ＦＩ内を区分した複数の領域のＮＤＶＩを相対比較して不具合領域ＤＲを検出する。

例えば、図６に示す同一地点ＳＰを撮像した「Ａ」～「Ｆ」の撮像画像ＦＩにおいて、
圃場ＦＤの水面に映った太陽が写り込んだ場合、不具合検出部３６は太陽が写り込んだ領域を不具合領域ＤＲとして検出する。この時、「Ｃ」の撮像画像ＦＩ上の同一地点ＳＰを含む所定領域の領域画像Ｐｒは不具合領域ＤＲと重なっている。なお、領域画像Ｐｒの大きさ（範囲）は撮像画像ＦＩの大きさ（範囲）よりも小さく、地点画像ＰＩと同じ大きさである。

次に、合成部３４は、同一地点ＳＰを含む複数の領域画像Ｐｒについて、「Ｃ」の領域画像Ｐｒを使用せずに、残り５枚の領域画像Ｐｒを用いて同一地点ＳＰを含む領域画像Ｐｒ内の各画素のＮＤＶＩの平均値を導出する。これにより、不具合領域ＤＲが除去された同一地点ＳＰの地点画像ＰＩ（図７参照）が形成される。その他の同一地点ＳＰの領域画像Ｐｒについても同様に不具合領域ＤＲが除去された地点画像ＰＩが形成される。以上により、不具合領域ＤＲが除去された複数の地点画像ＰＩ_N（図７参照）が形成される。なお、「Ｎ」は複数の地点画像ＰＩのそれぞれに割り当てられたシリアル番号であり、地点画像ＰＩの総数がＫである場合に１からＫまでの整数である。

なお、本実施形態において同一地点ＳＰを含む６枚の領域画像Ｐｒについて、不具合領域ＤＲが検出されない場合には合成部３４は６枚全ての領域画像Ｐｒを用いて同一地点ＳＰを含む領域画像Ｐｒ内の各画素のＮＤＶＩの平均値を導出する。なお、領域画像Ｐｒの画像補正により、不具合領域ＤＲのＮＤＶＩを補正できる場合には補正後の領域画像Ｐｒを用いてもよい。

次に、複数の地点画像ＰＩを合成して合成画像ＣＩを形成する画像合成工程について説明する。合成部３４は、不具合領域ＤＲが除去された複数の地点画像ＰＩ_Nの各々における緯度Ｘ_N、経度Ｙ_N、高度Ｚ_N及び方位θ_Nに基づいて、アフィン変換を行う画像変換行列を導出する。複数の地点画像ＰＩ_Nの各々は、地点画像ＰＩ_Nを形成する際に用いられた可視画像および近赤外画像の各々の撮像時における可視撮像部２０及び近赤外撮像部２１の緯度Ｘ_N、経度Ｙ_N、高度Ｚ_N及び方位θ_Nを備える。合成部３４は、複数の地点画像ＰＩ_Nの各々について、地点画像ＰＩ_Nの画素位置を地点画像ＰＩ_Nの備える緯度Ｘ_N、経度Ｙ_N、高度Ｚ_N及び方位θ_Nに基づくアフィン変換を行う。これにより、地点画像ＰＩの画素位置を合成画像ＣＩにおける画素位置へ変換する。

図７は画像合成工程を説明するための図を示している。図７の上段は複数の地点画像ＰＩ_Nを示し、図７の下段は合成画像ＣＩの座標系を示す。アフィン変換は、公知のように線形変換と平行移動（並進）とを組み合わせた変換であり、数式１により表される（例えば、「アフィン変換とは」、［ｏｎｌｉｎｅ］、[２０１７年５月１５日検索]、インターネット（ＵＲＬ：ｈｔｔｐ／／ｄ．ｈａｔｅｎａ．ｎｅ．ｊｐ／Ｚｅｌｌｉｊ／２０１２０５２３／ｐ１））。

数式１における右辺の列ベクトル（ｘ，ｙ）は図７の上段に示すように地点画像ＰＩでの画素位置であり（Ｎ番目の地点画像ＰＩ_Nではｘ＝ｘ_N、ｙ＝ｙ_N）、列ベクトル（ｘ´，ｙ´）は図７の下段に示すように合成画像ＣＩの座標系での画素位置を示す。数式１の右辺第１項における１行１列、１行２列、２行１列及び２行２列の各成分ａ、ｂ、ｃ、ｄから成る２行２列の行列は回転の変換行列Ｒ（θ）を表し、数式１の右辺第２項の列ベクトル（ｔ_x，ｔ_y）は並進（平行移動）の変換行列を表す。

回転の変換行列Ｒ（θ）における各成分ａ、ｂ、ｃ、ｄは、方位測定部４７の値θから、数式２によって与えられる（Ｎ番目の地点画像ＰＩ_Nではθ＝θ_N）。なお、撮像工程時の撮像部２の実際の高度が基準高度（設定高度Ｈ、図５参照）と異なる場合には、回転行列Ｒ（θ）に撮像工程時の撮像部２の実際の高度が基準高度と同等になるように撮像工程時の実際の高度に応じたスケーリング係数が乗算される。例えば、成分ａはｃｏｓθにスケーリング係数を乗算した値である。

そして、並進（平行移動）の変換行列における各成分ｔ_x、ｔ_yは数式３及び数式４で与えられる。数式３及び数式４では、合成画像ＣＩの座標系における原点（０，０）からの距離ｄ［ｍ］と、水平方向（ｘ軸）との角度φ［ｒａｄ］を緯度Ｘ及び経度Ｙから導出して画素数に変換する。

数式３及び数式４の係数ｋはメートルを画素数に変換する係数である。例えば、第１イメージセンサ及び第２イメージセンサの画素数が４８０画素の場合には係数ｋ＝２４．８５［ｍ］／４８０［画素］≒０．０５２［ｍ／画素］となる。また、距離ｄ［ｍ］及び角度φ［ｒａｄ］の算出方法は公知であり、数式５及び数式６によって与えられる（例えば「２地点間の距離と方位角」、［ｏｎｌｉｎｅ］、[２０１７年５月２２日検索]、インターネット（ＵＲＬ：ｈｔｔｐ／／ｋｅｉｓａｎ．ｃａｓｉｏ．ｊｐ／ｅｘｅｃ／ｓｙｓｔｅｍ／１２５７６７０７７９））。

なお、数式５及び数式６のＸ１及びＹ１はそれぞれＡ地点の緯度及び経度であり、数式５及び数式６のＸ２及びＹ２はそれぞれＢ地点の緯度及び経度である。数式５のｒは地球を球体とみなした際の赤道半径（＝６３７８．１３７ｋｍ）である。ここでは、Ａ地点またはＢ地点が合成画像ＣＩの座標系における原点（０，０）となる。

また、数式１の回転行列と並進（平行移動）の変換行列とを単一の行列Ｍ（３行３列の行列）にまとめて数式７のように表現することができる。

なお、変換後の位置（ｘ´，ｙ´）における画素のＮＤＶＩを実際に求める際には、まず行列Ｍの逆行列であるＭ-1を導出し、変換後の（ｘ´，ｙ´）の対応位置（ｘ、ｙ）を数式８により導出する。

そして、数式８により得られる変換前の位置（ｘ，ｙ）における画素のＮＤＶＩまたは当該位置近傍に存在する複数の画素のＮＤＶＩによって補間（線形補間等）されるＮＤＶＩを変換後の位置（ｘ´，ｙ´）における画素のＮＤＶＩとして決定する。

本実施形態の作物栽培支援装置１によると、作物ＰＬを栽培する圃場ＦＤ（栽培領域）の上空を移動して圃場ＦＤを撮像する撮像部２と、撮像部２の位置を検出する位置検出部４８と、圃場ＦＤの同一地点ＳＰの地点画像ＰＩを撮像部２で撮像した複数の撮像画像ＦＩに基づいて形成するとともに複数の地点画像ＰＩを合成する合成部３４とを備える。また、撮像画像ＦＩ上の不具合を有した不具合領域ＤＲを検出する不具合検出部３６を設け、合成部３４が不具合検出部３６により検出した不具合領域ＤＲを除いて地点画像ＰＩを形成する。

これにより、不具合領域ＤＲが除かれた地点画像ＰＩを形成し、複数の地点画像ＰＩを合成する。したがって、圃場ＦＤ全体の合成画像の品質が向上し、作物ＰＬの生育状態の判断に有用な画像を提供することができる。

また、不具合検出部３６が一の撮像画像ＦＩ内を区分した複数の領域のＮＤＶＩ（特性値）を相対比較して不具合領域ＤＲを検出する。これにより、不具合検出部３６は不具合領域ＤＲを容易に検出することができる。

なお、不具合検出部３６が複数の撮像画像ＦＩの同一地点ＳＰに対する複数の領域のＮＤＶＩ（特性値）を相対比較して不具合領域ＤＲを検出してもよい。この場合でも、不具合検出部３６は不具合領域ＤＲを容易に検出することができる。

また、不具合検出部３６が一の撮像画像ＦＩ内を区分した複数の領域のＮＤＶＩ（特性値）と所定の閾値とを比較して不具合領域ＤＲを検出してもよい。この場合でも、不具合検出部３６は不具合領域ＤＲを容易に検出することができる。

また、不具合検出部３６が各撮像画像ＦＩの周部Ｐｈを不具合領域ＤＲと判定してもよい。これにより、撮像画像ＦＩの周辺部ＰｈのＮＤＶＩが中心部ＣＰのＮＤＶＩよりも低下するシェーディング誤差による合成画像ＣＩの品質低下を容易に防止することができる。

また、撮像部２が可視画像を撮像する可視撮像部２０と、近赤外画像を撮像する近赤外撮像部２１とを有し、不具合検出部３６は、可視画像の画素と近赤外画像の画素とのずれ量が所定量よりも大きい領域を不具合領域ＤＲと判定してもよい。これにより、可視撮像部２０と近赤外撮像部２１との視差による可視画素と近赤外画素とのズレによる誤差に起因する合成画像ＣＩの品質低下を容易に防止することができる。

また、制御部３９は撮像部２の位置、画角α及び画素数に基づいて地点画像ＰＩの位置を導出する。これにより、地点画像ＰＩの位置を容易に導出することができる。

なお、情報端末３がインターネット等の所定のネットワークに接続され、撮像画像ＦＩ、地点画像ＰＩ及び合成画像ＣＩを記憶する記憶部がネットワーク上に設けられてもよい。これにより、記憶部３３の容量を小さくすることができる。

なお、本実施形態において、撮像画像ＦＩ、地点画像ＰＩ及び合成画像ＣＩはＮＤＶＩ画像になっているが、撮像画像ＦＩ、地点画像ＰＩ及び合成画像ＣＩはＮＤＶＩ画像に限定されない。例えば、撮像部２から近赤外撮像部２１を省き、撮像画像ＦＩ、地点画像ＰＩ及び合成画像ＣＩは可視撮像部２０で撮像したＲＧＢ値のカラー画像でもよい。また、撮像画像ＦＩ、地点画像ＰＩ及び合成画像ＣＩは植被率で表した画像でもよい。

本発明は、栽培領域を撮像する撮像部を備える作物栽培支援装置に利用することができる。

１ 作物栽培支援装置
２ 撮像部
３ 情報端末
４ 飛行体
２０ 可視撮像部
２１ 近赤外撮像部
２５ 筐体
３１ 表示部
３２ 操作部
３３ 記憶部
３４ 合成部
３５ 接続部
３６ 不具合検出部
３７ 生育指標導出部
４３ 記憶部
４５ 接続部
４７ 方位測定部
４８ 位置検出部
ＤＲ 不具合領域
ＦＤ 圃場
ＦＩ 撮像画像
ＰＩ 地点画像
ＰＬ 作物
Ｐｒ 領域画像
ＳＰ 同一地点__

Claims (13)

1. 作物を栽培する栽培領域の上空を移動して前記栽培領域を撮像する撮像部と、
   前記撮像部の位置を検出する位置検出部と、
   合成部とを備えた作物栽培支援装置において、
   前記撮像部が撮像した撮像画像上の不具合を有した不具合領域を検出する不具合検出部を設け、
   前記合成部は、前記栽培領域の同一地点が撮像されているともに撮像タイミングがそれぞれ異なる複数の前記撮像画像から、それぞれの前記撮像画像における前記同一地点を含む所定領域である複数の領域画像を生成し、複数の前記領域画像のうち、前記不具合検出部により検出した不具合領域を含む前記領域画像を除くとともに、前記不具合領域を含まない前記領域画像を用いて地点画像を生成し、互いに異なる複数の前記地点画像を、その位置に対応させて合成して合成画像を形成することを特徴とする作物栽培支援装置。
2. 前記不具合検出部が一の前記撮像画像内を区分した複数の領域の所定の特性値を相対比
   較して前記不具合領域を検出することを特徴とする請求項１に記載の作物栽培支援装置。
3. 前記不具合検出部が複数の前記撮像画像の同一地点に対する複数の領域の所定の特性値を相対比較して前記不具合領域を検出することを特徴とする請求項１に記載の作物栽培支援装置。
4. 前記不具合検出部が一の前記撮像画像内を区分した複数の領域の特性値と所定の閾値とを比較して前記不具合領域を検出することを特徴とする請求項１に記載の作物栽培支援装置。
5. 前記不具合領域は太陽の写り込みに起因する不具合を有した領域であることを特徴とする請求項１に記載の作物栽培支援装置。
6. 前記撮像部が可視画像を撮像する可視撮像部と、近赤外画像を撮像する近赤外撮像部とを有し、
   前記不具合検出部は、前記可視画像の画素と前記近赤外画像の画素とのずれ量が所定量よりも大きい領域を前記不具合領域として検出することを特徴とする請求項１に記載の作物栽培支援装置。
7. 前記撮像部の位置、画角及び画素数に基づいて前記地点画像の位置が導出されることを特徴とする請求項１～請求項６のいずれかに記載の作物栽培支援装置。
8. 複数の前記撮像画像及び複数の前記地点画像を記憶する記憶部が所定のネットワーク上に設けられることを特徴とする請求項１～請求項７のいずれかに記載の作物栽培支援装置。
9. コンピューターに、
   作物を栽培する栽培領域の上空を移動して前記栽培領域を撮像する撮像部により撮像された撮像画像を、前記撮像部の位置と関連付けて受け取るステップと、
   前記栽培領域の同一地点が撮像されているともに撮像タイミングがそれぞれ異なる複数の前記撮像画像から、ぞれぞれの前記撮像画像における前記同一地点を含む所定領域である複数の領域画像を生成し、複数の前記領域画像のうち、前記撮像画像上の不具合を有した不具合領域を含む前記領域画像を除くとともに、前記不具合領域を含まない前記領域画像を用いて地点画像を生成するステップと、
   互いに異なる複数の前記地点画像を、その位置に対応させて合成して合成画像を形成するステップと、
   を実行させるプログラム。
10. 撮像対象領域の上空を移動して前記撮像対象領域を撮像する撮像部と、
    前記撮像部の位置を検出する位置検出部と、
    合成部とを備えた画像合成装置において、
    前記撮像部が撮像した撮像画像上の不具合を有した不具合領域を検出する不具合検出部を設け、
    前記合成部は、前記撮像対象領域の同一地点が撮像されているともに撮像タイミングがそれぞれ異なる複数の前記撮像画像から、それぞれの前記撮像画像における前記同一地点を含む所定領域である複数の領域画像を生成し、複数の前記領域画像のうち、前記不具合検出部により検出した不具合領域を含む前記領域画像を除くとともに、前記不具合領域を含まない前記領域画像を用いて地点画像を生成し、互いに異なる複数の前記地点画像を、その位置に対応させて合成して合成画像を形成することを特徴とする画像合成装置。
11. 前記不具合領域は太陽の写り込みに起因する不具合を有した領域であることを特徴とする請求項１０に記載の画像合成装置。
12. コンピューターに、
    撮影対象領域の上空を移動して前記撮影対象領域を撮像する撮像部により撮像された撮像画像を、前記撮像部の位置と関連付けて受け取るステップと、
    前記撮影対象領域の同一地点が撮像されているともに撮像タイミングがそれぞれ異なる複数の前記撮像画像から、ぞれぞれの前記撮像画像における前記同一地点を含む所定領域である複数の領域画像を生成し、複数の前記領域画像のうち、前記撮像画像上の不具合を有した不具合領域を含む前記領域画像を除くとともに、前記不具合領域を含まない前記領域画像を用いて地点画像を生成するステップと、
    互いに異なる複数の前記地点画像を、その位置に対応させて合成して合成画像を形成するステップと、
    を実行させるプログラム。
13. 前記不具合領域は太陽の写り込みに起因する不具合を有した領域であることを特徴とする請求項９または１２に記載のプログラム。