JP7541567B2

JP7541567B2 - 自動噴霧装置および自動噴霧方法

Info

Publication number: JP7541567B2
Application number: JP2022204179A
Authority: JP
Inventors: シンティエンイェ; イウヂィエジャン; フェリペマノサルバスバンションホセ; シェンファンウェン; チァンシュアンリン; クゥァンファチェン
Original assignee: Industrial Technology Research Institute ITRI
Current assignee: Industrial Technology Research Institute ITRI
Priority date: 2022-12-21
Filing date: 2022-12-21
Publication date: 2024-08-28
Anticipated expiration: 2042-12-21
Also published as: JP2024089058A

Description

本開示は、自動噴霧装置および自動噴霧方法に関する。

台湾は海に囲まれている。空気中の湿気や塩分、ホコリは、高圧電力塔や風力発電機のブレード、高層ビルのガラスなど、さまざまな機器の表面に付着しやすくなっている。

高所に設置された機器では、従来の手動による噴霧作業は危険であり、通常の噴霧装置では正確な位置合わせが難しく、清掃、消火、害虫駆除などの高所での噴霧作業は時間と手間のかかる作業となる。

したがって、本開示は、自動噴霧装置および自動噴霧方法を提供する。

本開示の１つ以上の実施形態によれば、自動噴霧装置は、少なくとも１台の無人航空機（ＵＡＶ）と、噴霧装置と、カメラと、処理制御装置と、を含む。噴霧装置は、少なくとも１台の無人航空機上に配置され、ロッドと、ノズルと、液体ポンプとを含む。ノズルは、ノズルとロッドとの接続点を回転支点として、第１の回転軸または／および第２の回転軸に沿って回転するように制御される。カメラは、少なくとも１台のＵＡＶに配置され、画像データを取得するように構成される。処理制御装置は、少なくとも１台のＵＡＶ、噴霧装置及びカメラに接続され、画像データに対して画像認識を行い、画像認識の結果に基づいて複数の座標データを含む対象噴霧軌跡を決定し、カメラと画像認識の結果に対応する対象物との間の距離に従って、複数の座標データを複数の第１の制御データに変換し、少なくとも予め記憶された反動力モデルまたは少なくとも１台のＵＡＶの慣性情報に従って第２の制御データを生成し、第１の制御データおよび第２の制御データに従ってノズル、液体ポンプおよび少なくとも１台のＵＡＶを制御して対象物に噴霧するように構成される。

本開示の１つ以上の実施形態によれば、自動噴霧方法は、噴霧装置と、少なくとも１台の無人航空機（ＵＡＶ）上に配置されたカメラとに適用され、処理制御装置によって、カメラを通じて画像データを取り込むこと、画像データに対して画像認識を行うこと、画像認識の結果に基づいて対象噴霧軌道を決定し、対象噴霧軌道が複数の座標データから構成されること、複数の座標データを、カメラと画像認識の結果に対応する対象物との間の距離に応じて複数の第１制御データにそれぞれ変換すること、複数の第１制御データがそれぞれ噴霧装置の第１の回転軸の回転角または／および第２の回転軸の回転角に対応するデータを含み、少なくとも予め記憶された反動力モデルまたは少なくとも１台のＵＡＶの慣性情報に従って第２の制御データを生成すること、複数の第１の制御データおよび第２の制御データに従って、噴霧装置および少なくとも１台のＵＡＶを制御して対象物に噴霧作業を実行すること、を含む。

以上の説明から、本開示の自動噴霧装置及び自動噴霧方法は、画像認識が可能な処理制御装置を通じて対象物を認識して対象噴霧軌跡を計画し、２つの回転軸を有する噴霧装置を通じて対象噴霧軌跡に従って対象物に噴霧してもよい。散布の効果や精度を向上させ、使用する液体の量を減らすことができ、噴霧作業によって発生する反動力や風などの環境要因によるＵＡＶの揺れを緩衝・補正し、噴霧作業中のＵＡＶ全体を安定させることができる。また、本願で開示された自動噴霧装置は、高所に位置する対象物に対する噴霧作業を行うことができる。

本開示の内容に関する上記の説明および実施形態に関する以下の図面は、本発明の思想および原理を示し、説明し、本発明の請求項にさらなる説明を提供する役割を果たす。

本開示の一実施形態に係る自動噴霧モジュールの概略ブロック図である。本開示の一実施形態に係る自動噴霧モジュールの噴霧装置の構造を模式的に示す図である。本開示の一実施形態に係る自動噴霧方法のフローチャートである。本開示の一実施形態に係る自動噴霧方法の画像認識の実行を模式的に示す図である。本開示の一実施形態に係る自動噴霧方法の画像認識の実行を模式的に示す図である。本開示の一実施形態による座標変換を行う自動噴霧モジュールを模式的に示す図である。本開示の一実施形態に係る自動噴霧装置のブロック図である。本開示の一実施形態に係る自動噴霧装置の構成を模式的に示す図である。本開示の他の実施形態に係る自動噴霧方法のフローチャートである。本開示のさらに別の実施形態に係る自動噴霧方法のフローチャートである。本開示のさらに別の実施形態に係る自動噴霧方法の噴霧状態を模式的に示す図である。本開示のさらに別の実施形態に係る自動噴霧方法の反動力モデルのグラフである。本開示のさらに他の実施形態に係る自動噴霧方法のフローチャートである。本開示のさらに別の実施形態に係る自動噴霧方法のフローチャートである。本開示のさらに別の実施形態による自動噴霧方法の適用状況を模式的に示す図である。本開示のさらに別の実施形態による自動噴霧方法の適用状況を模式的に示す図である。

以下の詳細な説明では、説明のために開示された実施形態の完全な理解を提供するために、様々な実施形態の具体的な詳細が記載されている。明細書に開示された説明、請求項および図面によれば、当業者は、本発明の概念および特徴を容易に理解することができる。以下の実施形態は、本発明の様々な側面をさらに説明するが、本発明の範囲を限定することを意味するものではない。

本開示の実施形態に係る自動噴霧モジュールのブロック図である図１を参照し、本開示の実施形態に係る自動噴霧モジュールの噴霧装置の構造を概略的に示す図２を参照する。

図１及び図２に示すように、自動噴霧モジュール１は、噴霧装置２０、カメラ３０及び処理制御装置４０を含み、処理制御装置４０は、ワイヤを介してまたは無線で噴霧装置２０及びカメラ３０に接続される。噴霧装置２０は、ロッド２１と、ノズル２２と、液体ポンプ２３とを含む。ノズル２２は、ロッド２１に回転可能に接続されており、ノズル２２とロッド２１との接続点を回転支点として、第１の回転軸Ｙまたは／および第２の回転軸Ｚに沿って回転するよう制御される。液体ポンプ２３は、ノズル２２に接続され、ノズル２２に液体を供給するように制御される。カメラ３０は、画像データを取り込むように構成されている。処理制御装置４０は、画像データに対して画像認識を行い、画像認識の結果に基づいて対象噴霧軌跡を決定し、対象噴霧軌跡の複数の座標データを第１の制御データに変換し、第１制御データに従って噴霧装置２０を制御して対象物Ｔに対して噴霧作業を行うように構成される。複数の第１制御データの各々は、第１の回転軸Ｙの回転角度または／および第２の回転軸Ｚの回転角度に対応するデータを含む。

本実施形態では、噴霧装置２０のロッド２１は、ノズル２２が前方に延びて対象物Ｔに接近するような延長部材であってよい。ノズル２２は、金属等の強靭で厚い材料で前径が広く後径が狭い高圧ノズルにして、水の出口の圧力を高めて流速や噴射力を上げるようにしてもよい。液体ポンプ２３は、例えば、水用のポンプモータや他の種類の液体を圧送するモータであり、水等の液体を加圧してロッド２１に沿ってノズル２２に送出し、噴霧するように構成される。具体的には、液体ポンプ２３は、液体パイプを介して液体を送出する。図１では、液体ポンプ２３がロッド２１を介してノズル２２に接続されていることが例示的に示されているが、他の実施形態では、液体ポンプ２３は、ノズル２２に直接接続されていてもよい。また、本開示では、ロッド２１およびノズル２２の形状や材質は限定されず、ノズル２２とロッド２１との間の接続点が回転支点となるため、ノズル２２が第１の回転軸Ｙまたは／および第２の回転軸Ｚに沿って回転することができ、回転を発生する。具体的には、ノズル２２は、２つの回転軸を介してロッド２１に回動可能に連結されていてよく、２つの回転軸は、それぞれ第１の回転軸Ｙおよび第２の回転軸Ｚに対応する。より具体的には、ノズル２２は、ロッド２１の２つの回転軸のそれぞれに対して、９０度の回転角度範囲を有する。

カメラ３０は、画像撮影機能又は動画撮影機能を有するカメラであってもよく、噴霧装置２０のノズル２２に隣接して配置されてもよい。具体的には、上記ノズル２２の回転自由度における噴霧範囲は、回転角度が－４５度～４５度、噴霧半径が１．５ｍ～２．５ｍの半径方向の有効領域などであってもよく、カメラ３０が取り込む画像データも有効領域をカバーしていてもよい。処理制御装置４０は、画像認識の１つ以上のニューラルネットワークを実行するための人工知能アルゴリズムが予め記憶された演算装置であってもよく、例えば、マイコンであってもよい。例えば、処理制御装置４０は、ＪｅｔｓｏｎＮａｎｏを通じて実装されてもよい。具体的には、上記ニューラルネットワークは、Ｕｎｅｔモデルなどの画像分割のためのニューラルネットワークや、畳み込みニューラルネットワーク（ＣＮＮ）、残差ニューラルネットワーク（ＲｅｓＮｅｔ）などの物体認識のためのニューラルネットワークを含んでもよく、本開示は、特定の種類のニューラルネットワークに限定されない。図２において、カメラ３０は、対象物Ｔの画像を取り込むために、画像データを処理制御装置４０に送信し、処理制御装置４０は、画像データに応じて、ノズル２２の噴霧方向（回転角度）、液体ポンプ２３の水圧、弁開閉を制御してもよい。液体は、ノズル２２からロッド２１を介して対象物２２に噴霧されてもよい。処理制御装置４０の詳細な制御方法については、以下で説明する。

図１と共に図３を参照すると、図３は、本開示の実施形態に係る自動噴霧方法のフローチャートである。図３に示すように、少なくとも１つのキャリアに配置された噴霧装置２０及びカメラ３０に適用される自動噴霧方法は、処理制御装置４０でステップＳ１０～Ｓ１５を実行することを含む。少なくとも１つのキャリアは、少なくとも１台のＵＡＶを含んでもよい。

ステップＳ１０において、処理制御装置４０は、カメラ３０を介して画像データを取り込む。ステップＳ１１において、処理制御装置４０は、画像データに対して画像認識を実行する。ステップＳ１２において、処理制御装置４０は、画像認識の結果に基づいて対象噴霧軌跡を決定し、対象噴霧軌跡は、複数の座標データを含む。ステップＳ１３において、処理制御装置４０は、カメラ３０と画像認識の結果に対応する対象物Ｔとの間の距離に応じて、複数の座標データを複数の第１の制御データにそれぞれ変換し、複数の第１の制御データは、噴霧装置２０の第１の回転軸の回転角度または／および第２の回転軸の回転角度に対応するデータからそれぞれ構成される。ステップＳ１４及びＳ１５において、処理制御装置４０は、少なくとも予め記憶された反動力モデル又は少なくとも１台のＵＡＶの慣性情報に従って第２の制御データを生成し、第１の制御データ及び第２の制御データに従って、対象物Ｔに対して噴霧軌跡を終えるまで噴霧装置２０及び少なくとも１台のＵＡＶを制御する。

上記のステップをさらに説明するために、図１、図３、図４ａおよび図４ｂを合わせて参照されたい。図４ａ及び図４ｂは、本開示の実施形態に係る自動噴霧方法の画像認識の実行を模式的に示す図である。図４ａに示すように、ステップＳ１０において、カメラ３０は、間隔をおいて画像データを取り込み、または、処理制御装置４０によって制御されて画像を取り込み、画像データを処理制御装置４０に送信してもよい。ステップＳ１１において、処理制御装置４０は、画像データを受信し、画像認識を実行してもよい。具体的には、処理制御装置４０は、Ｕｎｅｔ等のニューラルネットワークにより画像データを複数のバウンディングボックスに分割し、ＲｅｓＮｅｔ等のニューラルネットワークによりバウンディングボックスの中に対象画像ＴＩを含むバウンディングボックスＦＡがあるかどうかを認識し、すなわち、対象物Ｔを認識できるかどうかを決定してよい。そして、処理制御装置４０は、判定結果がＹＥＳの場合、対象画像ＴＩを含むバウンディングボックスＦＡが所定時間間隔持続可能か否か、つまり、対象物Ｔを所定時間間隔で、フレーミング可能か否かを決定する。対象物Ｔを認識でき、かつ、対象物Ｔを所定時間間隔でフレーミング可能な場合、処理制御装置４０は、ステップＳ１２の実行に進み、対象噴霧軌跡を決定する。処理制御装置４０は、対象物Ｔを認識できない場合や所定時間間隔でフレーミング可能でない場合には、噴霧装置２０とカメラ３０とが設けられたキャリアを制御してカメラ３０の撮影範囲を調整し、再度画像データの取り込みと画像認識とを実行すればよい。特に、図３に示すステップを実行する前に、自動噴霧モジュール１と対象物Ｔの構成は、自動噴霧モジュール１が対象物Ｔを取り込み、かつ、認識できるように、予め配置されていてもよい。あるいは、自動噴霧モジュール１はキャリアに搭載され、測位システムを介して、対象物Ｔを撮影できる特定の領域に移動されてもよい。

より具体的には、上記認識用ニューラルネットワークは、異なる種類の物体の複数の画像データを用いて予め学習されてもよく、または、対象物Ｔの複数の画像データを用いて学習されてもよい。各画像データは、異なる割合の色画素（ＲＧＢ）を含み、すなわち、各画像は、第１行列が赤画素（Ｒ）に、第２行列が緑画素（Ｇ）に、第３行列が青画素（Ｂ）に対応する３つの行列の重畳とみなすことができる。処理制御装置４０またはシステム外部の演算装置（コンピュータ、サーバ等）は、上記３つの行列の画素データを畳み込みニューラルネットワークの入力値として使用し、その後、異なる種類の画像または対象物Ｔであるかどうかを表す出力値を学習対象値として、ニューラルネットワークが学習過程で各ニューロンの重みを変更して予測精度を高め、学習済みのニューラルネットワークを処理制御装置４０に格納しても良い。処理制御装置４０は、画像認識の結果として、学習済みのニューラルネットワークを開始て、対象画像ＴＩを含む画像のバウンディングボックスＦＡを効果的に認識することができる。

図４ｂに示すように、図３のステップＳ１２において、処理制御装置４０は、画像認識の結果に基づいて、対象噴霧軌跡ＴＳＴを決定してもよい。例えば、処理制御装置４０は、バウンディングボックスＦＡを複数の領域に分割し（または分割せず）、その後、バウンディングボックスＦＡをカバーするポリライン経路（対象噴霧軌道ＴＳＴ）を計画し、ポリライン経路を複数の座標データとして記録してもよい。ここで、座標データは２次元または三次元座標系に限定されない。図４ｂは、単に例示的に対象噴霧軌跡ＴＳＴを示す。他の実施形態において、対象噴霧軌道ＴＳＴは、水平ジグザグ経路、曲線経路などであってもよく、本開示はこれに限定されるものではない。さらに、図４ａ及び４ｂは、単に対象物が送電塔の障害物であることを例示的に示しており、本開示の対象物の種類を限定することを意図するものではない。

さらに、処理制御装置４０は、プリセット時間内またはバウンディングボックスＦＡの面積に従って対象時間分を求め、バウンディングボックス内の複数の座標点を計画し、対象噴霧軌道ＴＳＴを形成してもよい。ここで、対象噴霧軌道ＴＳＴは経路長を有し、第１の制御データは、経路長を対象時間分で除算した値以上の制御経路速度を更に含む。例えば、４つの送電塔の障害物ごとに、処理制御装置４０は、２０秒の清掃時間を決定し、４回往復するポリライン軌道を対象噴霧軌道ＴＳＴとして計画してもよい。すなわち、処理制御装置４０は、ノズル２２が（４つのうち）１つのポリライン軌道を完了する時間が５秒以下となるように制御してよい。また、ノズル２２が方向を切り替えるのに時間がかかることを考慮して、制御経路速度は、経路長を対象時間分で除算した値以上とすることが求められる。８つの送電塔の障害物については、処理制御装置４０が８つの送電塔の障害物を２つのユニットに分割し、ノズル２２を制御して、上記対象噴霧軌跡ＴＳＴを２回実行してよく、または、４０秒の別の清掃時間を決定し、８つの送電塔の障害物を１ユニットとして扱い、その清掃時間に応じた対象噴霧軌跡ＴＳＴを計画してもよく、ここで示された例に限定されない。

図１および図３とともに図５を参照すると、図５は、本開示の実施形態に従って座標変換を行う自動噴霧モジュールを概略的に示している。図５の実施形態では、自動噴霧モジュール１がキャリアＣ上に配置されており、キャリアＣは無人航空機（ＵＡＶ）である。一方、他の実施形態では、自動噴霧モジュール１が複数のＵＡＶ上に配置されてもよく、または、自動噴霧モジュール１の処理制御装置４０はオンプレミス（ｏｎ－ｐｒｅｍｉｓｅ）に配置され、カメラ３０および噴霧装置４０が少なくとも１台のＵＡＶ上に配置されてよく、本開示ではここで示された例に限定されない。図３のステップＳ１３において、処理制御装置４０は、画像認識結果に応じて、カメラ３０と対象物Ｔとの間の距離を決定することができる。例えば、処理制御装置４０は、バウンディングボックスＦＡのサイズ及び記憶された対象物Ｔのサイズを通じて、カメラ３０と対象物Ｔとの間の距離Ｌ_ｘを決定してよく、または、処理制御装置４０は、対象物Ｔとその周囲のシーン（ｓｃｅｎｅｓ）との関係に基づいて、三角測量法を用いてカメラ３０と対象物Ｔとの間の距離Ｌｘを決定してもよい。

次に、処理制御装置４０は、上記対象噴霧軌跡ＴＳＴの複数の座標データに対して、ノズル２２の回転支点を原点Ｏとして、画像平面ＰＬ上に位置する複数の座標点Ｐ（Ｌ_ｘ，ｙ_０，ｚ_０）に対して座標変換を行い、複数の第１の制御データを生成する。あるいは、それぞれが第１の軸座標ｙ_０および第２の軸座標ｚ_０を含む複数の座標データについて、複数の座標データを複数の第１の制御データに変換することは、座標データそれぞれについて、第１の軸座標ｙ_０および距離Ｌ_ｘを用いて第１の逆三角関数値を算出すること、第１の軸座標ｙ_０、第２の軸座標ｚ_０および距離Ｌ_ｘを用いて第２の逆三角関数値を算出すること、第１の逆三角関数値に従って第１の回転軸Ｙの回転角度θを算出すること、並びに、第２の逆三角関数値に従って第２の回転軸Ｚの回転角度Φを算出すること、を実行することを含む。上記算出方法は、以下の数１及び数２で表すことができる。ここで、Ｇはサーボ機構の減速比であり、処理制御装置４０に予め記憶しておくことができる。

それぞれの異なる座標点Ｐ（Ｌ_ｘ，ｙ_０，ｚ_０）は、第１の回転軸Ｙの回転角度および／または第２の回転軸Ｚの回転角度のデータセットに対応することができ、すなわち、２つの回転軸におけるノズル２２の回転角度を調整することによって、対応する座標点Ｐ（Ｌ_ｘ，ｙ_０，ｚ_０）を目標とするように水噴霧を制御することができる。作業噴霧軌跡の座標点Ｐ（Ｌ_ｘ，ｙ_０，ｚ_０）はフレーム範囲をカバーする２次元画像であるが、噴霧作業の一部では単に１つの回転角度を調整するだけでよい場合もある。すなわち、第１の制御データには２つの回転軸の角度情報が含まれていなくてもよい。一方、処理制御装置４０は、２つの回転軸の角度情報と回転行列とを通じて、噴霧装置２０の角度を制御することもできる。回転行列は、ノズル２２の回転運動（ピッチおよびヨー（ｐｉｔｃｈａｎｄｙａｗ））に対応していてもよく、例えば、回転行列は、以下の数３のように表される。

図３に示すステップＳ１４において、処理制御装置４０は、少なくとも予め記憶された反動力モデル、または、ＵＡＶの慣性情報に従って第２の制御データを生成し、複数の第１の制御データ及び第２の制御データに従って、対象物Ｔに対する噴霧作業を行うよう噴霧装置２０及びＵＡＶを制御する。具体的には、第１の制御データは、２つの回転軸の回転角度、又は、２つの回転軸の回転角度をモータの動作を制御するための機械語又はアセンブリ言語のデータに変換して得られる制御パラメータであってもよい。第２の制御データは、ＵＡＶの重心に対する三次元成分を有する加速度データ（または力データ）および角加速度データ（またはトルクデータ）を含んでもよい。一実施態様において、処理制御装置４０は、ＵＡＶに配置された機械センサ（慣性測定ユニットなど）の測定データを受信し、測定データに応じてＵＡＶの機体の安定性を制御してもよい。具体的には、噴霧モジュールが噴霧しているとき、ＵＡＶに反動力が働き、処理制御装置４０は、機体を制御して、反動力と反対方向のバランス力を生成することができる。また、ＵＡＶが外部の風力（又はトルク）の影響を受けて空中で移動（または回転）する場合、処理制御装置４０は、機体を制御して、対応するバランス力（又はバランストルク）を生成し、噴霧水の強度及び角度を補正（増加又は減少）して精度を高めてもよい。処理制御装置４０は、さらに、ＵＡＶ自体の慣性因子、例えば、重量、形状、重量配分、重心位置、貯水量等をプリセットパラメータに組み込んでもよい。また、ＵＡＶ内部の水タンク内の水面スロッシング（ｗａｔｅｒｓｕｒｆａｃｅｓｌｏｓｈｉｎｇ）についても、予め記憶された減衰振動モデルを用いて、噴霧作業時の環境因子の影響を低減し、ＵＡＶの姿勢をより安定させるための計算を行ってもよい。また、噴霧装置２０が対象物Ｔに対して噴霧作業を行う際に、カメラ３０が画像の取り込みを継続し、処理制御装置４０が対象物Ｔのフレーミングを継続してもよい。フレーム範囲内で対象物Ｔに関するわずかな変位があった場合に、処理制御装置４０が第１の制御データまたは／および第２の制御データを調整して、噴霧装置２０または／およびＵＡＶ自体の制御を調整しても良い。

図６及び図７を参照すると、図６は、本開示の一実施形態に係る自動噴霧装置のブロック図であり、図７は、本開示の一実施形態に係る自動噴霧装置の構造を模式的に示す図である。図６及び図７に示すように、自動噴霧装置５は、ＵＡＶ１０と、噴霧装置２０と、カメラ３０と、処理制御装置４０とを含む。噴霧装置２０は、ロッド２１と、ノズル２２と、液体ポンプ２３と、を含む。ノズル２２は、ロッド２１に回転可能に接続されており、ノズル２２とロッド２１との接続点を回転支点として、第１の回転軸Ｙまたは／および第２の回転軸Ｚに沿って回転するように制御される。カメラ３０は、ＵＡＶ１０に配置され、画像データを取り込むように構成される。処理制御装置４０は、ＵＡＶ１０、噴霧装置２０及びカメラ３０に接続され、図３に示す自動噴霧方法を実行するように構成され得る。

本実施形態の自動噴霧装置５は、図１及び図２に示す自動噴霧モジュール１を搭載したＵＡＶ１０として理解することができ、関連する重複する説明は省略又は簡潔に記載し、以下の説明は、特に処理制御装置４０によるＵＡＶ１０の制御動作が説明される。本開示の別の実施形態に係る自動噴霧方法のフローチャートである図８を参照すると、図３に示す方法と比較して、ステップＳ２０、Ｓ２１及びＳ２４～Ｓ２７は、ステップＳ１０～Ｓ１５と同様であり、ここでの重複する説明は省略される。本開示における画像認識は、所定時間間隔の間で、対象物を認識し、フレーミングすることを含む。処理制御装置４０は、対象物を認識できない場合、又は、所定時間間隔でフレーミングできない場合、ＵＡＶ１０（又は他のキャリア）を制御してカメラ３０の取り込み範囲を調整し、すなわち、ステップＳ２３において機体姿勢制御を実行し、ステップＳ２０において画像データの取り込みを実行し、ステップＳ２１において画像認識を再実行する。

例えば、処理制御装置４０は、所定時間間隔にわたって対象物を認識できない、または、フレーミングできないとき、ＵＡＶ１０に組み込まれた測位装置を自戒して、ＵＡＶ１０と対象物との相対的な地理的位置関係を再計算することができる。ＵＡＶ１０に組み込まれたジャイロスコープを通じてＵＡＶ１０と対象物との相対的な方向関係を再計算し、それに応じてＵＡＶ１０の姿勢とカメラ３０の撮影範囲とを調節してもよい。すなわち、処理制御装置４０が対象物を認識できない場合、ＵＡＶ１０の飛行方向を調整し、処理制御装置４０が対象物を所定時間間隔でフレームできない場合、ＵＡＶ１０の現在の地理的位置を調整して対象物のプリセット地理的位置に接近してもよい。さらに、他の実施形態では、機体の位置決めを支援するために画像認識を適用することもできる。例えば、処理制御装置４０は、対象物を認識することができるが、所定時間間隔の間、対象物をフレーミングすることができない場合、認識された対象物に向かうようにＵＡＶ１０の飛行方向を制御してもよく、カメラ３０は、ＵＡＶ１０の飛行方向に沿って画像を取り込むように構成される。

図６と共に図９、図１０ａ及び図１０ｂを参照すると、図９は、本開示のさらに他の実施形態に係る自動噴霧方法のフローチャートであり、図１０ａは、本開示のさらに他の実施形態に係る自動噴霧方法の噴霧状態を概略的に示し、図１０ｂは、本開示のさらに他の実施形態に係る自動噴霧方法の反動力モデルのグラフである。図９に示すように、本実施形態のステップＳ３０、Ｓ３１及びＳ３４～Ｓ３７は、図３に示すステップＳ１０～Ｓ１５と同じであり、ステップＳ３２及びＳ３３は、図８に示すステップＳ２２及びＳ２３と同じであり、ここでの重複する説明を省略する。

本実施形態において、自動噴霧モジュール１が配置されるキャリアはＵＡＶ１０であってもよく、ＵＡＶ１０は流量センサ（図示せず）をさらに備え、噴霧装置２０は噴霧方向に向かって噴霧作業を行い（ステップＳ３６）、処理制御装置４０によって自動噴霧方法がさらに実行される。噴霧装置が噴霧作業を行うとき、自動噴霧方法は、流量センサを介して流量データを取得すること、流量データおよび予め記憶された反動力モデルに従って反動力を計算して第２の制御データを生成すること（ステップＳ３７）、および、第２の制御データによってＵＡＶの機体姿勢制御を行うこと（ステップＳ３８およびＳ３９）を含む。ここで、第２の制御データは噴霧方向とは反対の方向を有する加速度を含む。

ノズル３２の断面構造は、図１０ａのように示すことができ、水の入口Ｉｎｔの断面積は、水の出口Ｏｕｔの断面積よりも大きくなっている。流体連続方程式によれば、水の出口の流速は、水の入口の流速よりも大きい。また、図１０ｂに示す反動力と時間との関係については、このグラフは、噴霧開始から力が安定する状態までの過程を一次慣性系で記述できると仮定したものであり、結果として反動力モデルは、以下の数４で表される。

「Ｆ（ｔ）」は反動力を示し、「Ｆｂ」は予め設定された流体密度、水の出口流量及び水の出口流速の積を示し、「ｔ」は時間変数を示す。例えば、処理制御装置４０は、ノズル２２から流体が噴射される際の経過時間を計測するタイマーを含み、「Ｔ」は予め設定された時定数を示し、水出口流速は、水出口流量に基づいて算出される。具体的には、上記流量情報は水の出口流量であり、水の出口流速は水の出口流量を水の出口断面積で除算したものであり、水の出口断面積は処理制御装置４０のメモリに予め記憶されている。この反動力モデルを通じて、処理制御装置４０は、ＵＡＶ１０を制御して、逆動力で噴霧作業の反動力を打ち消し、機体を安定させる効果を得ることができる。反動力モデルは、数４と異なる式を実現するために、異なる仮定に基づいてもよい。加速度に加えて、回転バランスも、機体を安定させるプロセスにおいて考慮されることが要求される。また、処理制御装置４０は、流量情報とＵＡＶ１０に対するノズル２２の位置とに応じて、対応する反対のトルクを発生するようにＵＡＶ１０を制御してもよく、ここではその詳細な説明を省略する。

図３と共に図１１を参照すると、図１１は、本開示のさらに別の実施形態に係る自動噴霧方法のフローチャートである。図１１に示すように、ステップＳ１５の後、処理制御装置４０は、カメラ３０によって取り込まれた別の画像データに基づいて、ステップＳ４０に示された対象物Ｔが所定の清浄度レベルに合致するかどうかを決定し、対象物Ｔが所定の清浄度レベルに合致しない場合に１以上の汚れ座標位置を取得し、ステップＳ４１に示された１以上の汚れ座標位置を１以上の第３の制御データにそれぞれ変換し、１以上の第３の制御データに従って対象物Ｔに対して別の噴霧作業を実施するよう噴霧装置を制御すること、を実行してもよい。具体的には、ステップＳ４０において、処理制御装置４０は、清浄対象物画像を予め記憶しておき、別の画像データと清浄対象物画像とを比較し、２つの画像間の差分ブロックの数又は面積が予め設定された値よりも大きい場合に、所定の洗浄レベルに合致していないと決定してもよい。あるいは、処理制御装置４０は、ＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）を通じて清浄物体画像と汚損物体画像の分類することを学習し、対象物画像内における対象物が清浄であるか否かを決定することもできる。ステップＳ４１において、汚れの座標位置を第３の制御データに変換する方法は、上記の座標データを第１の制御データに変換する方法と同様であってよく、ここでの重複する説明は省略される。また、ステップＳ４０は、上記ステップＳ２７またはステップＳ３７の後に実行されることもある。

図３と共に図１２、図１３ａ及び図１３ｂを参照する。図１２は、本開示のさらに別の実施形態に係る自動噴霧方法のフローチャートであり、図１３ａ及び１３ｂは、本開示のさらに別の実施形態に係る自動噴霧方法の二つの適用場面を模式的に示す図である。上述のステップＳ１５の後、処理制御装置４０は、カメラ３０によって取り込まれた別の画像データに基づいて、対象物Ｔが三次元の隠れた構造を有するか否かの決定することと、ノズルの噴霧方向が限界に達するか否かの決定することとを実行してもよい。処理制御装置４０は、対象物Ｔが立体的な隠れた構造を有し、ノズルの噴霧方向が限界に達していると決定した場合、立体的な隠れた構造が露出構造となった後、そのときに別の画像データを取り込むようにキャリアＣを制御してカメラ３０の撮影範囲を調整し、当該別の画像データの露出構造の１以上の座標位置を１以上の第２の制御データに変換し、１以上の第２の制御データに従って露出構造に対して再度噴霧作業を行うよう噴霧装置を制御する。

具体的には、ステップＳ５０において、処理制御装置４０は、ニューラルネットワークを通じて対象物が第１の方向（垂直方向）に沿って三次元の隠れた構造を有するかどうかを決定し、ノズル２２の噴霧方向が限界に達するかどうかを決定できる。より具体的には、処理制御装置４０は、対象物が第１の方向に沿って隠れた構造を有していないと決定した場合、噴霧作業を終了し、処理制御装置４０は、対象物が第１の方向に沿って三次元の隠れた構造を有していると決定した場合、まず、ノズル２２の噴霧方向を制御及び調整することができ、ノズル２２の噴霧方向が限界に達し、対象物がまだ三次元の隠れた構造を有している場合、ステップＳ５１を実行する。ノズル２２の噴霧方向を調整する過程で対象物に隠れた構造がない場合は、三次元の隠れた構造への噴霧作業を終了させる。上記ニューラルネットワークは、例えば、ＣＮＮやＲｅｓＮｅｔのアルゴリズムであってよく、処理制御装置４０やシステム外部の演算装置に予め記憶されており、第１の方向に沿った立体構造を有する対象物の画像と第１の方向に沿った立体構造を有しない対象物の画像を入力して学習する。ステップＳ５１において、処理制御装置４０は、第１の方向に沿った機体の位置を調整し、再び噴霧を実行してもよい。図１３ａに示すように、ＵＡＶ１０は、ノズルの角度を噴霧方向ＳＤ１から限界噴霧方向ＳＤ２に変更し、バウンディングボックスＦＡ内の対象画像ＴＩの三次元の隠れた構造に対応するように下方に位置を調整し、噴霧した三次元の隠れた構造を露出構造として定義してもよい。すなわち、処理制御装置４０は、画像内における三次元の隠れた構造の位置に応じて座標変換を行い、ノズル２２の噴霧方向を調整するための別の制御データを取得してもよい。ノズル２２の噴霧方向が限界に達した場合、処理制御装置４０は、さらにＵＡＶ１０の位置を制御してもよい。

次に、ステップＳ５２において、処理制御装置４０は、別のニューラルネットワークを用いて、対象物が第２の方向（水平方向）に沿って別の三次元の隠れた構造を有しているか否かを決定し、ノズル２２の噴霧方向が限界に達しているか否かを決定してもよい。具体的には、処理制御装置４０が、対象物が第２の方向に沿って隠れた構造を有していないと判断した場合、噴霧作業を終了する。処理制御装置４０が、対象物が第２の方向に沿って三次元の隠れた構造を有していると決定した場合、まずノズル２２の噴霧方向を制御及び調整し、ノズル２２の噴霧方向が限界に達し、対象物がまだ三次元の隠れた構造を有している場合には、次にステップＳ５３を実行してもよい。ノズル２２の噴霧方向を調整する過程で対象物に隠れた構造がない場合は、三次元の隠れた構造への噴霧作業を終了する。上記ニューラルネットワークは、例えば、ＣＮＮやＲｅｓＮｅｔのアルゴリズムであってよく、処理制御装置４０やシステム外部の演算装置に予め記憶されており、第２の方向に沿った三次元の構造を有する対象物の画像と第２の方向に沿った三次元の構造を有さない対象物の画像を入力して学習させる。ステップＳ５３において、処理制御装置４０は、第２の方向に沿った機体の位置を調整し、再び噴霧を実行してもよい。図１３ｂに示すように、ＵＡＶ１０は、その位置を横方向に調整し、バウンディングボックスＦＡ内の対象画像ＴＩの三次元の隠れた構造を噴霧し、噴霧された三次元の隠れた構造を露出構造として定義し、ステップＳ５０に戻ってもよい。本実施形態の方法を通じて、噴霧装置は、対象物をより徹底的に噴霧することができる。

以上の説明から、本開示の自動噴霧装置及び自動噴霧方法は、画像認識可能な処理制御装置を通じて対象物を認識して噴霧軌跡を計画し、２つの回転軸を有する噴霧装置を通じて噴霧軌跡に従って対象物に噴霧してもよい。噴霧の効果や精度を向上させ、使用する液体の量を減らすことができ、噴霧作業によって発生する反動力や風などの環境因子によるＵＡＶの揺れを緩衝および補償し、噴霧作業中のＵＡＶ全体を安定させることができる。また、本願で開示される自動噴霧装置は、高所に位置する対象物に対する噴霧作業を行うことができる。さらに、本願のいくつかの実施形態で開示される自動噴霧装置および自動噴霧方法は、対象物を認識してフレーミングし、それに応じてカメラの撮影範囲を選択的に調整することにより、動的から静的への自動追跡を実現できる。本願のいくつかの実施形態で開示される自動噴霧装置及び自動噴霧方法は、さらに局所的な汚れをロックして噴霧及び洗浄を強化することができ、または／及び、三次元の隠れた構造を認識し、さらに機体及び噴霧方向を調整して対象物に対する種々の噴霧操作の要求を満たすことができる。機体の制御については、本願のいくつかの実施形態に開示された自動噴霧装置及び自動噴霧方法は、噴霧作業によって発生する反動力を計算し、機体にフィードバックすることができるため、ＵＡＶはリアルタイムで噴霧作業を安定的に行うことができる。

本発明は前述の実施形態で開示されているが、本発明を限定することを意図していない。本発明の思想および範囲から逸脱することなくなされた変更および修正は、本発明の特許保護の範囲に属するものである。本発明によって定義される範囲は、添付の特許請求の範囲に記載される。

１：自動噴霧モジュール
１０：ＵＡＶ
２０：噴霧装置
２１：ロッド
２２：ノズル
２３：液体ポンプ
３０：カメラ
４０：処理制御装置
５：自動噴霧装置
Ｃ：キャリア
ＦＡ：バウンディングボックス
Ｉｎｔ：水の入口
アウト：水の出口
Ｔ：対象物
ＴＩ：対象画像
ＴＳＴ：対象噴霧軌跡
Ｓ１０～Ｓ１５，Ｓ２０～Ｓ２７，Ｓ３０～Ｓ３９，Ｓ４０～Ｓ４１，Ｓ５０～Ｓ５１：ステップ
Ｘ，Ｙ，Ｚ：軸
Ｏ：原点
Ｐ：座標点
ＰＬ：画像平面
Ｌ_ｘ，ｙ_０，ｚ_０：座標
ＳＤ１、ＳＤ２：噴霧方向

Claims

噴霧装置およびカメラに適用可能であり、処理制御装置によって実行される自動噴霧方法であって、
前記噴霧装置および前記カメラが少なくとも１台の無人航空機に配置され、
前記自動噴霧方法は、
前記カメラを通して画像データを取り込むこと、
前記画像データに対して画像認識を行うこと、
前記画像認識の結果に基づいて対象噴霧軌跡を決定し、前記対象噴霧軌跡は複数の座標データから構成されること、
前記複数の座標データを、前記カメラと前記画像認識の結果に対応する対象物との間の距離に応じた複数の第１の制御データにそれぞれ変換し、前記複数の第１の制御データのそれぞれは、前記噴霧装置の第１の回転軸の回転角度、または／および、第２の回転軸の回転角度に対応するデータを含むこと、
少なくとも、予め記憶された反動力モデルまたは前記少なくとも１台の無人航空機の慣性情報に従って、第２の制御データを生成すること、および、
前記複数の第１の制御データおよび前記第２の制御データに従って、前記対象物に対して噴霧作業を行うように、前記噴霧装置および前記少なくとも１台の無人航空機を制御すること、
を含み、
前記画像認識の結果は前記対象物に対応するバウンディングボックスを含み、
前記画像認識の結果に基づいて前記対象噴霧軌跡を決定することは、
プリセット時間分または前記バウンディングボックスの領域に従って、対象時間分を取得すること、および、
対象噴霧軌道を形成するために前記バウンディングボックス内の複数の座標点を計画すること、
を含み、
前記対象噴霧軌跡は経路長を有し、前記第１の制御データは、前記経路長を前記対象時間分で除算して取得された値以上となる制御経路速度をさらに含む、
自動噴霧方法。
前記画像認識は、
前記対象物を認識すること、および
所定時間間隔で前記対象物をフレーミングすること、
を含み、
前記自動噴霧方法は、
前記対象物を認識できない、または、前記対象物を前記所定時間間隔でフレーミングできないとき、前記処理制御装置により前記少なくとも１台の無人航空機を制御して、前記カメラの撮影範囲を調整し、前記画像データの取り込みおよび前記画像認識を再実行すること、
を含む、
請求項１に記載の自動噴霧方法。
前記カメラは、前記少なくとも１台の無人航空機の飛行方向に沿って画像を取り込むように構成され、前記カメラの前記撮影範囲を調整するために前記少なくとも１台の無人航空機を制御する処理は、
前記対象物を認識できないとき、前記少なくとも１台の無人航空機の飛行方向を調整すること、および、
前記対象物が前記所定時間間隔でフレーミングできないとき、前記少なくとも１台の無人航空機の現在の地理的位置を調整して、前記対象物のプリセット地理的位置に近づけること、
を含む、
請求項２に記載の自動噴霧方法。
前記複数の座標データのそれぞれは、第１の軸座標及び第２の軸座標を含み、
前記複数の座標データを前記複数の第１の制御データに変換することは、前記複数の座標データのそれぞれについて、
前記第１の軸座標および前記距離を用いて、第１の逆三角関数値を算出すること、
前記第１の軸座標、前記第２の軸座標および前記距離を用いて、第２の逆三角関数値を算出すること、
前記第１の逆三角関数値に応じて前記第１の回転軸の回転角度を算出すること、および、
前記第２の逆三角関数値に応じて前記第２の回転軸の回転角度を算出すること、
を実行することを含む、
請求項１に記載の自動噴霧方法。
前記噴霧装置および前記少なくとも１台の無人航空機を制御して噴霧作業を実行した後に、前記カメラによって取り込まれた別の画像データに基づいて前記処理制御装置によって、
前記対象物が所定の清浄度に合致するか否かを判定すること、
前記対象物が前記所定の清浄度に合致しないとき、１つ以上の汚れ座標位置を取得すること、
前記１つ以上の汚れ座標位置をそれぞれ１つ以上の第３の制御データに変換すること、および、
前記１つ以上の第３の制御データに従って、前記対象物に対して別の噴霧作業を行うように前記噴霧装置を制御すること、
を実行することをさらに含む、
請求項１に記載の自動噴霧方法。
前記少なくとも１台の無人航空機は、流量センサをさらに備え、
前記噴霧装置は、噴霧方向に向かって前記噴霧作業を行うように構成され、
前記自動噴霧方法は、前記処理制御装置によって、
前記噴霧装置が前記噴霧作業を行うとき、前記流量センサを介して流量データを取得すること、
前記流量データおよび前記予め記憶された反動力モデルに従って、前記第２の制御データを生成すること、および、
前記第２の制御データに従って前記少なくとも１台の無人航空機を制御すること、
を実行することをさらに含み、
前記第２の制御データは前記噴霧方向と反対方向を有する加速度を含む、
請求項１に記載の自動噴霧方法。
前記流量データは、水の出口流量を含み、
前記予め記憶された反動力モデルは、次式で表され、

、
「Ｆ（ｔ）」は反動力を示し、「Ｆｂ」は予め設定された流体密度、水の出口流量、水の出口流速の積を示し、「ｔ」は時間変数を示し、「Ｔ」は予め設定された時定数を示し、水の出口流速は水の出口流量に基づいて算出される、
請求項６に記載の自動噴霧方法。
前記噴霧装置および前記少なくとも１台の無人航空機を制御して噴霧作業を実行した後に、前記カメラによって取り込まれた別の画像データに基づいて前記処理制御装置によって、
前記対象物が三次元の隠れた構造を有するか否かを決定すること、
前記三次元の隠れた構造の位置に応じて、前記噴霧装置の噴霧方向および／または前記少なくとも１台の無人航空機の位置を制御し、前記対象物が前記三次元の隠れた構造を有すると決定したとき、別の噴霧作業を実行すること、
を実行することをさらに含む、
請求項１に記載の自動噴霧方法。
少なくとも１台の無人航空機と、
前記少なくとも１台の無人航空機に配置され、ロッドと、ノズルと、液体ポンプとを備え、前記ノズルは、前記ロッドに回転可能に接続され、前記ノズルと前記ロッドとの接続点を回転支点として第１の回転軸または／および第２の回転軸に沿って回転するように制御され、前記液体ポンプは、前記ノズルに接続され、前記ノズルに液体を供給するように制御されている噴霧装置と、
前記少なくとも１台の無人航空機に配置され、画像データを取り込むように構成されたカメラと、
前記少なくとも１台の無人航空機、前記噴霧装置および前記カメラに接続され、前記画像データに対して画像認識を行い、前記画像認識の結果に基づいて、複数の座標データからなる対象噴霧軌道を決定し、前記カメラと前記画像認識の結果に対応する対象物との間の距離に応じて、前記複数の座標データをそれぞれ複数の第１の制御データに変換し、少なくとも予め記憶された反動力モデルまたは前記少なくとも１台の無人航空機の慣性情報に従って第２の制御データを生成し、前記複数の第１の制御データ及び前記第２の制御データに従って、前記ノズル、前記液体ポンプ及び前記少なくとも１台の無人航空機を制御して前記対象物に対して噴霧作業を実行させる処理制御装置と、
を含み、
前記第１の制御データのそれぞれは、前記第１の回転軸の回転角度または／および前記第２の回転軸の回転角度に対応するデータを含み、
前記画像認識の結果は、前記対象物に対応するバウンディングボックスを含み、
前記処理制御装置は、さらに、プリセット時間分または前記バウンディングボックスの領域に応じて対象時間分を取得し、前記バウンディングボックス内の複数の座標点を計画し、対象噴霧軌道を形成するように構成され、
前記対象噴霧軌道は経路長を有し、前記第１の制御データは制御経路速度をさらに有し、前記制御経路速度は経路長を前記対象時間分で除算して取得された値以上となる、
自動噴霧装置。
前記処理制御装置は、前記対象物を認識し、前記画像データ上で所定時間間隔にわたって前記対象物をフレーミングするようにさらに構成され、前記処理制御装置が前記対象物を認識できないとき、または、前記所定時間間隔でフレーミングできないとき、前記処理制御装置は、前記少なくとも１台の無人航空機を制御し、前記カメラの撮影範囲を調整し、前記画像データの取り込みおよび前記画像認識を再実行するようにさらに構成されている、
請求項９に記載の自動噴霧装置。
前記処理制御装置によって生成された前記複数の座標データのそれぞれは、第１の軸座標および第２の軸座標を含み、
前記処理制御装置は、前記複数の座標データのそれぞれについて、前記第１の軸座標および前記距離を用いて第１の逆三角関数値を算出すること、前記第１の軸座標、前記第２の軸座標および前記距離を用いて第２の逆三角関数値を算出すること、前記第１の逆三角関数値に応じて前記第１の回転軸の回転角を算出すること、および、前記第２の逆三角関数値に応じて前記第２の回転軸の回転角を算出することを実行するようにさらに構成される、
請求項９に記載の自動噴霧装置。
前記処理制御装置は、前記噴霧装置を制御して噴霧作業を行わせた後、前記カメラで取り込まれた別の画像データに基づいて、前記対象物が所定の清浄度に合致するか否かを決定し、前記所定の清浄度に合致しないとき、前記処理制御装置は、１つ以上の汚れ座標位置を取得し、前記１つ以上の汚れ座標位置をそれぞれ１つ以上の第３の制御データに変換し、前記１つ以上の第３の制御データに従って前記噴霧装置が前記対象物に別の噴霧作業を行うように制御するようにさらに構成される、
請求項９に記載の自動噴霧装置。
前記少なくとも１台の無人航空機に配置され、前記処理制御装置に接続された流量センサをさらに備え、前記噴霧装置は、噴霧方向において前記噴霧作業を行うように構成され、前記噴霧装置が前記噴霧作業を行うとき、前記処理制御装置は、前記流量センサを介して流量データを取得し、前記流量データおよび前記予め記憶された反動力モデルに従って前記第２の制御データを生成し、前記第２の制御データに従って前記少なくとも１台の無人航空機を制御するようにさらに構成され、前記第２の制御データは、前記噴霧方向とは反対の方向を有する加速度を含む、
請求項９に記載の自動噴霧装置。