JP6621140B2

JP6621140B2 - 無人飛行体による薬剤散布方法、および、プログラム

Info

Publication number: JP6621140B2
Application number: JP2016026609A
Authority: JP
Inventors: 洋柳下
Original assignee: Nileworks Inc
Current assignee: Nileworks Inc
Priority date: 2016-02-16
Filing date: 2016-02-16
Publication date: 2019-12-18
Anticipated expiration: 2036-02-16
Also published as: JP2017144811A

Description

本願発明は、無人飛行体（ドローン）を用いた農薬などの薬剤散布の方法とプログラム、特に複雑な形状の狭い圃場でも正確な散布が可能な装置、方法とプログラムに関する。

一般にドローンと呼ばれる遠隔操縦型小型無人ヘリコプターの応用が進んでいる。その応用分野のひとつとして農地への農薬や液肥などの薬剤散布が挙げられる（たとえば、特許文献１）。欧米と比較して農地が広くない日本においては、有人の飛行機やヘリコプターではなく、ドローンの使用が適しているケースが多い。

ドローンによる薬剤散布は、日本において典型的な狭く複雑な地形の農地でも効率的かつ正確に薬剤散布を行なえるという長所がある。この長所を最大限に発揮するためには、ドローンの飛行制御を正確に行なう必要がある。飛行制御の正確性が不十分であり、たとえば、隣接する無農薬栽培の農地や住宅の庭に本来散布してはならない農薬を散布してしまうと大きな問題になる。また、農薬や肥料の重複散布や散布漏れが発生して生育状況に差ができてしまうと、規格外作物として商品流通できない、商品の等級が下がるといった問題が生じる。

準天頂衛星システムやＲＴＫ−ＧＰＳなどの技術により、ドローンが飛行中に自機の絶対位置をセンチメートル単位で正確に知ることが可能になっている。しかし、薬剤散布対象となる圃場の形状を正確に把握できていなければ、正確な薬剤散布を行なうことはできない。ここで、圃場の正確な形状図が事前に入手可能であるとは限らない。航空写真から圃場形状を計測することは可能だが、航空写真の位置精度は１０メートル程度であり、農薬散布に必要な精度（０．５メートル程度）には不十分である。また、航空写真の圃場画像は、農薬散布時点の作物の状態（稲の場合は毎年の田植え状態により変わる）を示していないという問題もある。特許文献２では、無人ヘリコプター（ドローン）を地図情報に基づいて飛行エリアの外周部に飛行させることにより、地図情報を補正する技術が開示されているが、実際の地形と地図情報が異なっていた場合には、手作業で地図情報を修正することが必要であり、必ずしも効率的とは言えなかった。

特許公開公報特開２００１−１２０１５１特許公開公報特開２００２−２１１４９４

事前に正確な地図情報を入手できない場合であっても、複雑な地形の圃場への正確な薬剤散布をドローンに行なわせる方法とプログラムを提供する。

本願発明は、圃場に対して薬剤撒布を行なう、カメラを備えた無人飛行体の飛行制御方法であって、前記カメラによって前記圃場を撮影するステップと、前記カメラによって撮影された画像中の前記圃場の境界線を認識するステップと、前記認識された境界線が前記カメラの映像中の所定の位置に位置するよう前記無人飛行体の位置を調整するステップと、前記調整を行ないながら前記無人飛行体を前記圃場の境界線の内側を一周させるステップとを含む飛行制御方法を提供することで上記課題を解決する。

また、本願発明は、前記認識された境界線が前記カメラの映像中の所定の位置に位置するよう前記無人飛行体の位置を調整するステップは、前記認識された境界線が前記無人飛行体から仰角３０度から６０度の間に位置するよう制御するステップである段落０００７に記載の飛行制御方法を提供することで上記課題を解決する。

また、本願発明は、複数の前記圃場の境界線が認識された時には前記無人飛行体と最も近い境界線を選択するステップをさらに含む段落０００８または段落０００８に記載の飛行制御方法を提供することで上記課題を解決する。

また、本願発明は、圃場に対して薬剤撒布を行なう、カメラを備えた無人飛行体の飛行制御プログラムであって、前記カメラによって薬剤撒布対象の圃場を撮影する手順と、前記カメラによって撮影された画像中の前記圃場の境界線を認識する手順と、前記認識された境界線が前記カメラの映像中の所定の位置に位置するよう前記無人飛行体の位置を調整する手順と、前記調整を行ないながら前記無人飛行体を前記圃場の境界線の内側を一周させる手順とをコンピューターに実行させる飛行制御プログラムを提供することで上記課題を解決する。

また、本願発明は、前記認識された境界線が前記カメラの映像中の所定の位置に位置するよう前記無人飛行体の位置を調整する前記手順は、前記認識された境界線が前記無人飛行体から仰角３０度から６０度の間に位置するよう制御する手順である段落００１０記載の飛行制御プログラムを提供することで上記課題を解決する。

また、本願発明は、複数の前記圃場の境界線が認識された時には前記無人飛行体と最も近い境界線を選択する手順をさらにコンピューターに実行させる段落００１０または段落００１１に記載の飛行制御プログラムを提供することで上記課題を解決する。

日本において典型的な複雑な形状の農地においても、また、農地の正確な形状データが事前に入手できていない場合においても、正確な薬剤散布を実現可能になる。

本願発明に係る薬剤散布システムの実施例の全体図である。本願発明に係る薬剤散布システムの実施例を構成するドローンの機能構成の例である。本願発明に係る薬剤散布システムの実施例を構成する操縦器の画面表示の例である。本願発明に係る薬剤散布システムの実施例に係るドローンによる圃場形状把握モードにおける飛行制御方法（境界線への俯角の維持）を表わした図である。本願発明に係る薬剤散布システムの実施例に係るドローンによる圃場形状把握モードにおける飛行制御方法（境界線への俯角の測定方法）を表わした図である。本願発明に係る薬剤散布システムの実施例に係るドローンによる圃場形状把握モードにおける飛行制御方法（周辺部飛行）を表わした図である。本願発明に係る薬剤散布システムの実施例に係るドローンによる圃場形状把握モードにおける飛行制御方法（角における飛行制御）を表わした図である。本願発明に係る薬剤散布システムの実施例に係るドローンによる薬剤散布モードにおける飛行制御方法の例を表わした図である。

以下、図を参照しながら、本願発明を実施するための形態について説明する。

図１に本願発明に係る薬剤散布装置の実施例の全体図を示す（図は概念図であり縮尺は正確ではない）。図１−ａは正面図（水平方向から見た図）であり、図１−ｂは平面図（上空から見た図）である。ドローン（１０１）は薬剤散布を行なうための無人飛行体である。一般に、ドローンとは複数の回転翼を持つ無線操縦型の小型無人ヘリコプター（マルチコプター）を指すことが多いが、本願明細書では、機体の大きさ、回転翼の数、飛行方式（プロペラ、ジェットエンジン等）、自律型であるか遠隔操縦型であるか、有線操縦であるか無線操縦であるか等にかかわらず、無人飛行体の総称としてドローンという名称を使用することとする。また、ドローンが散布する薬剤には、農薬、殺虫剤、液肥、水等、空中から地上に向けて散布可能な任意の液体・粉体が含まれるものとする。操縦器（１０２）は、通常は無線によってドローン（１０１）を人間（オペレーター）が操縦するための機器であり、一般的なスマートフォンやタブレット端末を使用することが望ましい。圃場（１０３）は薬剤散布の対象となる農地である。

図２に本願発明に係るドローン（１０１）の機能構成の例を示す。制御手段（２０１）は、ドローン（１０１）の水平位置、高度、飛行速度等を制御すると共に、薬剤散布手段（２０３）等の他の構成要素も制御する構成要素であり、典型的には組み込み機器向けの小型コンピューターと専用ソフトウェアにより実現される。通信手段（２０２）は操縦器（１０２）との無線または有線の通信により、制御手段（２０１）にドローン（１０１）操縦のための指令を提供し、また、ドローン（１０１）の状態（電池の残量等）やカメラ（２０５）で撮影した画像を操縦器（１０２）に送信する等の処理を行なう構成要素であり、典型的には無線ＬＡＮ等の通信用ハードウェアと専用ソフトウェアにより実現される。薬剤散布手段（２０３）は、タンク、ノズル、および、ポンプ等から成る構成要素であり、制御機能（２０１）からの指令にしたがって圃場（１０３）への薬剤散布を行なう構成要素である。薬剤散布手段（２０３）は、常時薬剤を散布するのではなく、制御機能（２０１）からの指令を受けた時のみ薬剤を散布する構造となっていることが望ましい。位置把握手段（２０４）は、ＧＰＳ等の技術により、ドローン（１０１）の正確な位置及び高度を把握するための手段である。加えて、ドローン（１０１）の傾きをジャイロセンサーと加速度センサーにより測定する機能を供えていることが望ましい。カメラ（２０５）は、圃場（１０３）を上空から撮影するための機器である。圃場境界線把握手段（２０６）は、カメラ（２０５）で撮影した圃場（１０３）の画像から圃場（１０３）の境界線を把握するための手段であり、一般的な画像認識アルゴリズムを実装したソフトウェアとコンピューターにより実現される。圃場マップ保存手段（２０７）は、圃場境界線把握手段（２０６）の分析結果と位置把握手段（２０４）の情報に基づいて作成された、薬剤散布対象となる圃場（１０３）の正確な地図を保存するための手段である。農地マップ保存手段（２０７）は、制御手段（２０１）を構成するコンピューターのメモリー上にあってもよいし、操縦器（１０４）のメモリー上にあってもよいし、その両方に分散されてあってもよいし、他のコンピューター上にあってもよい。プロペラ等の飛行手段や姿勢安定手段はドローン（１０１）における一般的技術であるため特に図示していない。

本願発明に係るドローン（１０１）は、２つのモード、すなわち、圃場形状把握モードと薬剤散布モードで稼働する。圃場形状把握モードは圃場（１０３）の周辺部を飛行することで、圃場（１０３）の形状を把握し、圃場マップ保存手段（２０７）に保存するためのモードである。圃場形状把握モードにおいても、圃場形状の把握と並行して薬剤散布を行なうよう制御されることが望ましい。薬剤散布モードは、圃場マップ保存手段（２０７）に保存された情報に基づいて、圃場の周辺部以外の場所に薬剤散布を行なうモードである。いずれのモードにおいても、ドローン（１０１）はその位置と高度を自律的に制御されることが望ましいが、操縦器（１０２）の操作により位置と高度を修正できるようになっていることが望ましい。

図３に、操縦器（１０２）の操作画面の例を示す。ドローン（１０１）の進行方向、高度、薬剤散布の手作業による制御が可能になっていることが望ましい。また、ドローン（１０１）のバッテリー状態、薬剤量などのステータスが表示されることが望ましい。また、ドローン（１０１）の現在位置がマップ作成中の圃場（１０３）の地図と共にに示されていることが望ましい。さらに、自律飛行モードと手作業による操縦モードが切り替え可能になっていることが望ましい。

図４に、圃場形状把握モードにおけるドローン（１０１）の飛行位置制御方法を示す。カメラ（２０５）の画像をコンピューターにより分析することで、圃場（１０３）の境界線（４０１）を認識することが可能である。圃場内と圃場外（畦道や道路等）との境界線は色相・彩度・明度において不連続な相違があるためである。圃場の作物の生育状態に応じた圃場の典型的な色相・彩度・明度をパラメーター化し、事前に登録できるようにすることで認識の精度を高めてもよい。圃場形状把握モードでは、ドローン（１０１）は認識した圃場の境界線の内側を境界線から一定の距離（ｄ）を保ちながら飛行するよう制御される。これは、認識された境界線の位置がドローン（１０１）に対して所定の俯角（α）上に位置するよう、かつ、一定の高度（ｈ）を保つようドローンの位置を制御することで実現される。

図５に、カメラ（２０５）が境界線（４０１）を見る俯角の把握方法を説明する。カメラ（２０５）の画像エリア（５０１）の中央を原点とし、ドローン（１０１）の進行方向にＹ軸を取る。この場合、認識された境界線（４０１）がX＝０で表わされる直線であれば、境界線（４０１）はカメラの真下に存在する、すなわち、俯角は９０度である。Xの値が最大値（画像の端）である場合には、俯角はカメラ（２０５）の光学上の設計により定まる値（通常は３０度程度）になる。境界線（４０１）が、X座標が０と最大値の間の一定値であるような直線上を通るようドローン（１０１）の位置を制御した場合、境界線（４０１）への俯角は一定に維持される。画像上のＸ座標と俯角の対応はカメラ（２０５）の光学上の設計により影響を受けるが、事前の実験によってXの値と俯角の対応表を作ることは容易にできるため、使用するハードウェアが同じであれば、境界線（４０１）を特定の俯角で見るためには、境界線（４０１）を画像中のどこに位置させればよいかを一意に決定することができる。なお、俯角は垂直に近い角度ではなく、６０度から３０度程度の斜め方向であることが好ましい。垂直に近い（つまり、真上から撮影する）と、作物の緑色よりも地表面の比率が高い画像になるため、境界線がコンピュータの画像処理によって認識しにくいが、６０度から３０度程度の斜め上方向から撮影すると、地表面よりも作物の緑色の比率が高くなることにより、境界線がコンピュータの画像処理によって認識しやすくなることが発明者の実験により明らかになっている。なお、風の影響等により、ドローン（１０１）が傾く場合があるが、傾きはジャイロセンサーと加速度センサーにより推測できるため、傾きに応じて俯角の測定値を調整するようにしてもよい。

図６に圃場形状把握モードにおけるドローン（１０１）の飛行経路制御の例を示す。ドローン（１０１）は、前段落で述べた方法により、画像認識によって把握した圃場（１０３）の境界線が所定の俯角上にあるように位置を制御される。また、高度も一定に維持されるため、結果的に境界線との距離も一定に維持される。境界線を右に見ながら（上空から見て）反時計回りに飛行する、あるいは、境界線を左に見ながら（上空から見て）時計回りに飛行することで、圃場（１０３）の境界線から一定距離離れた内側をくまなく飛行することが可能である。初期位置に戻った時に圃場形状把握モードを終了するよう制御を行なうことが望ましい。圃場形状把握モードにおける、飛行経路の座標、特に、圃場（１０３）の境界線の頂点に当たる位置の座標を飛行中に圃場マップ保存手段（２０６）に保存することで、薬剤散布モードにおけるドローン（１０１）の飛行経路を決定するための正確な地図情報が得られる。地図情報を取得している時に薬剤散布も行なうよう制御することが望ましい。なお、航空写真等によって圃場（１０３）のおおまかな地図情報が入手可能な場合には、それにしたがって、ドローン（１０１）の初期位置を決定してもよい。または、初期位置は目視、あるいは、操縦器（１０２）に表示されたカメラ（２０５）の映像にしたがって、操縦器（１０２）のオペレーターが操作できるようにしてもよい。また、おおまかな地図情報を併用することで、万一、コンピューターの画像認識による圃場境界線の認識にエラーがあった場合でも、地図情報にしたがって補正可能にしてもよい。同様に、操縦器（１０２）のオペレーターが、操縦器（１０２）に表示されたカメラ（２０５）の映像にしたがって、あるいは、目視によりドローン（１０１）の飛行経路を補正できるようにしてもよい。

図７に、圃場（１０３）の角における飛行経路の制御方法を示す。カメラ（２０５）の画像内に複数の境界線が認識された時は、ドローン（１０１）に最も近い、すなわちカメラ（２０５）で撮影した画像の中央に最も近い境界線を選択し、その境界線を画像内の所定の位置に維持しつつ（つまり、その境界線にタイする俯角を一定に保ちつつ）ドローン（１０１）の飛行を制御することが望ましい。第一の境界線（４０１−１）をガイドにして飛行中（図７−ａ）に、画像内に第二の境界線（４０１−２）が出現し、現在ガイドにしている第一の境界線（４０１−１）より、ドローンに近くなった（つまり、画像の中心により近い位置に表示されるようになった）場合には、角に到達したと判断し、新たに出現した第二の境界線をガイドにして飛行を継続する（図７−ｃ）。通常、ドローン（１０１）はいずれの方向にも飛行可能であるため、図７−ｃに示したように、機体の向きを変えずに進行方向だけを変えてもよいが、薬剤散布装置のノズルの形状等の条件によって好ましい場合には、機体の向きごと新たな方向に転換するようにしてもよい。境界線の角が鋭角である場合等、画像認識だけでの判断が困難である場合には、その位置でホバリングを行ない操縦器（１０２）へのオペレーターの入力を待つようにしてもよい。

図８に薬剤散布モードにおけるドローン（１０１）の飛行経路の例を示す。圃場形状把握モードによる飛行によって圃場（１０３）の形状（特に、周辺の角の絶対位置座標）は正確に把握され、圃場マップ保存手段（２０７）に保存されているため、周辺部以外の圃場（１０３）の内部にくまなく薬剤散布を行なうことが容易に実現可能である。

（本願発明による技術的に顕著な効果）
圃場の地図情報がない場合であっても、人手による煩雑な操縦作業やデータ入力作業なしに、圃場への正確な薬剤散布が行なえる。圃場のおおまかな地図情報はあるが現場と一致しているとは限らない場合でも、地図情報を参考に適宜補正を行ないながら、圃場への正確な薬剤散布が行なえる。

Claims

圃場に対して薬剤撒布を行なう、カメラを備えた無人飛行体の飛行制御方法であって、
前記カメラによって前記圃場を撮影するステップと、
前記カメラによって撮影された画像中の前記圃場の境界線を認識するステップと、
前記認識された境界線が前記カメラの映像中の所定の位置に位置するよう前記無人飛行体の位置を調整するステップと、
前記調整を行ないながら前記無人飛行体を前記圃場の境界線の内側を一周させるステップとを含む飛行制御方法。
前記認識された境界線が前記カメラの映像中の所定の位置に位置するよう前記無人飛行体の位置を調整するステップは、前記認識された境界線が前記無人飛行体から仰角３０度から６０度の間に位置するよう制御するステップである
請求項１に記載の飛行制御方法。
複数の前記圃場の境界線が認識された時には前記無人飛行体と最も近い境界線を選択するステップをさらに含む
請求項１または請求項２に記載の飛行制御方法。
圃場に対して薬剤撒布を行なう、カメラを備えた無人飛行体の飛行制御プログラムであって、
前記カメラによって薬剤撒布対象の圃場を撮影する手順と、
前記カメラによって撮影された画像中の前記圃場の境界線を認識する手順と、
前記認識された境界線が前記カメラの映像中の所定の位置に位置するよう前記無人飛行体の位置を調整する手順と、
前記調整を行ないながら前記無人飛行体を前記圃場の境界線の内側を一周させる手順とをコンピューターに実行させる飛行制御プログラム。
前記認識された境界線が前記カメラの映像中の所定の位置に位置するよう前記無人飛行体の位置を調整する前記手順は、前記認識された境界線が前記無人飛行体から仰角３０度から６０度の間に位置するよう制御する手順である
請求項４記載の飛行制御プログラム。
複数の前記圃場の境界線が認識された時には前記無人飛行体と最も近い境界線を選択する手順をさらにコンピューターに実行させる
請求項４または請求項５に記載の飛行制御プログラム。