JP7487605B2 - 作業支援装置 - Google Patents

Description

本開示は、作業支援装置に関する。

ショベルの上部旋回体に取り付けられた撮像装置では撮像できない空間を、自律式の飛行体に取り付けられた撮像装置で撮像する技術が知られる（例えば、特許文献１参照）。

国際公開公報ＷＯ２０１７／１３１１９４号

しかしながら、上記のような従来技術では、ショベルの動き（位置の変化）に追従して飛行体の位置等を常に変化させるので、その際の飛行体の揺れ（加速度に起因した振動等）に起因して撮像装置の撮像画像の視認性が低下しやすい。

そこで、１つの側面では、本発明は、作業機械の位置等の変化に起因した撮像装置の撮像画像の視認性の低下を抑制することを目的とする。

１つの側面では、作業機械と、撮像装置を搭載した飛行体との位置関係を制御する作業支援装置であって、
前記作業機械は、下部走行体と、前記下部走行体に搭載される上部旋回体と、前記撮像装置が撮像した画像を表示する表示装置とを有し、
当該作業支援装置は、
前記作業機械の状態及び前記飛行体の状態を表す情報を取得する情報取得部と、
前記情報取得部により取得された前記情報に基づいて、前記飛行体の飛行状態を制御する飛行制御部とを備え、
前記飛行制御部は、前記下部走行体に対する前記飛行体の相対位置関係が変化した場合であっても、その変化量が閾値以下である場合は、前記飛行体の目標飛行位置又は目標飛行姿勢を変化させないホバリング維持制御を実行する、作業支援装置が提供される。

１つの側面では、本発明によれば、作業機械の位置等の変化に起因した撮像装置の撮像画像の視認性の低下を抑制することが可能となる。

実施例１による作業機械及び無人飛行機の構成に関する説明図である。 作業機械の制御系に係るハードウェア構成の一例を示す図である。 作業機械の操作系に係る概略的な説明図である。 各種制御装置により実現される機能を説明する図である。 本実施例の効果の説明図である。 実施例１による飛行制御装置により実行される処理の一例を示す概略フローチャートである。 実施例１による飛行制御装置により実行される処理の他の一例を示す概略フローチャートである。 操作入力判定処理の一例を示す概略フローチャートである。 図７の操作入力判定処理に係る説明図である。 実施例２による飛行制御装置により実行される処理の一例を示す概略フローチャートである。

以下、添付図面を参照しながら各実施例について詳細に説明する。

［実施例１］
図１は、一実施例による作業機械１及び無人飛行機４０の構成に関する説明図である。なお、図１には、作業機械１及び無人飛行機４０に加えて、飛行制御装置５０（作業支援装置の一例）と遠隔操作装置５２が図示されている。

作業機械１は、無人飛行機４０と連携しながら所定の作業を遂行する。作業機械１は、例えば解体作業等に好適な破砕機１４５を備えた建設機械であり、クローラ式の下部走行体１１０と、下部走行体１１０に旋回機構１３０を介して旋回可能に搭載される上部旋回体１２０と、作業機構１４０と、を備えている。上部旋回体１２０の前方左側部にはキャブ（運転室）１２２が設けられる。上部旋回体１２０の前方中央部には作業機構１４０が設けられ、作業機構１４０の先端に破砕機１４５が設けられる。なお、作業機械１は、無人飛行機４０が発着するベースメントを備えてもよい。

作業機構１４０は、上部旋回体１２０に起伏可能に装着されるブーム１４１と、ブーム１４１の先端に回動可能に連結されるアーム１４３と、アーム１４３の先端に取り付けられた破砕機１４５と、を備えている。作業機構１４０には、伸縮可能な油圧シリンダにより形成されるブームシリンダ１４２、アームシリンダ１４４及びバケットシリンダ１４６が装着される。破砕機１４５に代えてバケットなどの他の先端アタッチメントがアーム１４３の先端部に取り付けられていてもよい。

ブームシリンダ１４２は、作動油の供給を受けることにより伸縮してブーム１４１を起伏方向に回動させるようにブーム１４１と上部旋回体１２０との間に介在する。アームシリンダ１４４は、作動油の供給を受けることにより伸縮してアーム１４３をブーム１４１に対して水平軸回りに回動させるようにアーム１４３とブーム１４１との間に介在する。バケットシリンダ１４６は、作動油の供給を受けることにより伸縮して破砕機１４５をアーム１４３に対して水平軸回りに回動させるように破砕機１４５とアーム１４３との間に介在する。破砕機用シリンダ１４７は、作動油の供給を受けることにより伸縮して破砕機１４５を開閉させるように破砕機１４５に設けられる。

無人飛行機４０は、回転翼機であり、複数（例えば、４、６又は８）の羽根、当該複数の羽根を回転させるための電動モータ（アクチュエータ）等に電力を供給するバッテリなどを備える。なお、かかるバッテリに代えて又は加えて、無人飛行機４０は、地上から電力供給線に接続されてもよい。

無人飛行機４０は、制御装置４００と、撮像装置４１０とを備える。

制御装置４００は、後述する飛行制御装置５０からの制御情報（指令）や遠隔操作装置５２からの操作情報に応じて、無人飛行機４０の各種飛行状態（前進状態、後退状態、上昇状態、下降状態、ホバリング等）を実現する。また、制御装置４００は、撮像装置４１０で取得される画像（前方環境画像）を作業機械１に送信する。

撮像装置４１０は、カメラを含む。カメラの種類等は任意であり、例えば広角カメラであってもよい。撮像装置４１０は、取り外し可能に無人飛行機４０に取り付けられてもよいし、無人飛行機４０に強固に固定されてもよい。撮像装置４１０は、ＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）やＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子により、無人飛行機４０の機体前方の前方環境画像を取得する。撮像装置４１０は、例えば、リアルタイムに前方環境画像を取得し、所定のフレーム周期のストリーム形式で制御装置４００に供給するものであってよい。

撮像装置４１０は、好ましくは、ジンバル（図示せず）を備える。ジンバルは、無人飛行機４０の姿勢が変化しても、撮像装置４１０の光軸が一定の向き（例えば水平面内の所定方向）に保つように機能する。

飛行制御装置５０は、無人飛行機４０の各種制御を実行する。一実施例では、飛行制御装置５０は、サーバ（サーバコンピュータ）より実現され、この場合、飛行制御装置５０は、ネットワーク（図示せず）を介して作業機械１及び無人飛行機４０に接続される。この場合、ネットワークは、無線通信網や、インターネット、ＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、有線ネットワーク、又はこれらの任意の組み合わせ等を含んでもよい。他の実施例では、飛行制御装置５０は、作業機械１の制御装置１０により実現されてもよい。また、他の実施例では、飛行制御装置５０は、無人飛行機４０の制御装置４００により実現されてもよい。あるいは、他の実施例では、飛行制御装置５０の機能は、サーバ、制御装置１０、及び制御装置４００のうちの、いずれか２つの組み合わせ又はすべてにより協動して実現されてもよい。飛行制御装置５０の詳細は後述する。

遠隔操作装置５２は、例えばリモートコントローラの形態であり、ユーザ（例えば、作業機械１の操作者又は操作者とは異なる作業者）により操作されてよい。なお、ユーザが、作業機械１の操作者である場合、遠隔操作装置５２は、キャブ１２２内に持ち込まれうる。遠隔操作装置５２は、無人飛行機４０と無線通信可能であり、ユーザの操作に応じた操作信号を無人飛行機４０に向けて送信する。この場合、無人飛行機４０は遠隔操作装置５２からの操作情報を受信すると、無人飛行機４０の制御装置４００は、操作情報に応じた無人飛行機４０の動き（前進、後退、昇降等）を実現する。なお、変形例では、遠隔操作装置５２は省略されてもよい。また、遠隔操作装置５２は、スマートフォン等により実現されてもよい。

図２は、作業機械１の制御系に係るハードウェア構成の一例を示す図である。

作業機械１は、図２に示すように、電装系装置８と、制御装置１０とを備える。

電装系装置８は、作業機械１に搭載される電子制御可能な機器や各種センサ等である。電装系装置８は、例えば、画像出力装置８０（表示装置の一例）や、ブザー、音声出力装置（図示せず）、旋回機構１３０、作業機構１４０や下部走行体１１０等を作動させる油圧発生装置（図２Ａ参照）、各種操作部材の操作状態を検出する各種センサ類８２等を含んでよい。なお、電装系装置８（特に各種センサ類８２）は、基本的には、上部旋回体１２０に設けられる。これは、下部走行体１１０は、上部旋回体１２０よりも外部環境に晒されやすいためである。
なお、油圧発生装置は、エンジン及び／又は電動モータにより駆動される油圧ポンプ（図２Ａのメインポンプ９１４参照）を含んでよい。電動モータにより駆動される油圧ポンプを利用する場合、油圧発生装置は、電動モータを駆動するためのインバータを更に含んでよい。各種センサ類８２は、ジャイロセンサや、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ、各種の角度センサ、加速度センサ（傾斜センサ）、油圧発生装置により付与される油圧ライン（図２Ａの高圧油圧ライン９１６参照）の所定箇所の油圧を検出する油圧センサ（図２Ａの圧力センサ９２９参照）等を含んでよい。

画像出力装置８０は、作業機械１の操作者が視認できるようにキャブ１２２内に設けられる。画像出力装置８０は、任意であるが、例えば液晶ディスプレイや、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等であってよい。なお、変形例では、画像出力装置８０は、作業機械１の操作者によりキャブ１２２に持ち込まれうる携帯型の装置（例えばタブレット端末等）であってもよい。

制御装置１０は、バス１９で接続されたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、補助記憶装置１４、ドライブ装置１５、及び通信インターフェース１７、並びに、通信インターフェース１７に接続された有線送受信部２５及び無線送受信部２６を含む。

補助記憶装置１４は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

有線送受信部２５は、有線ネットワークを利用して通信可能な送受信部を含む。有線送受信部２５には、電装系装置８が接続される。ただし、電装系装置８の一部又は全部は、バス１９に接続されてもよいし、無線送受信部２６に接続されてもよい。

無線送受信部２６は、無線ネットワークを利用して通信可能な送受信部である。無線ネットワークは、携帯電話の無線通信網や、インターネット、ＶＰＮ、ＷＡＮ等を含んでよい。また、無線送受信部２６は、近距離無線通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）部、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ、登録商標）通信部、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ－Ｆｉｄｅｌｉｔｙ）送受信部、赤外線送受信部などを含んでもよい。例えば、無線送受信部２６は、サーバの形態の飛行制御装置５０との間で通信を実現できる。

なお、制御装置１０は、記録媒体１６と接続可能であってもよい。記録媒体１６は、所定のプログラムを格納する。この記録媒体１６に格納されたプログラムは、ドライブ装置１５を介して制御装置１０の補助記憶装置１４等にインストールされる。インストールされた所定のプログラムは、制御装置１０のＣＰＵ１１により実行可能となる。例えば、記録媒体１６は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等であってよい。なお、記録媒体１６には、搬送波は含まれない。

ここでは、図２を参照して、作業機械１の制御系について説明したが、無人飛行機４０についても、電装系装置８に係る構成を除いて、実質的に同様であってよい。例えば、無人飛行機４０の制御系の場合、制御装置４００のハードウェア構成は、制御装置１０と同様であってよい。また、電装系装置８に対応する電装系装置は、撮像装置４１０（図１参照）や各種センサ類を含む。

また、飛行制御装置５０のハードウェア構成についても、図２に示す制御装置１０のハードウェア構成と実質的に同様であってよい。

図２Ａは、作業機械１の操作系に係る概略的な説明図である。図２Ａでは、高圧油圧ラインを実線、パイロットラインを破線、電気駆動・制御系を一点鎖線でそれぞれ示す。

メインポンプ９１４は、コントロールバルブ９１７に供給するための油圧を発生するポンプである。この油圧は、コントロールバルブ９１７を介して油圧モータ１１０Ａ、１１０Ｂ、ブームシリンダ１４２、アームシリンダ１４４、及びシリンダ１４６の各々を駆動するために供給される。

パイロットポンプ９１５は、油圧操作系に必要なパイロット圧を発生するポンプである。

操作装置９２６には、油圧ライン９２７及び９２８を介して、コントロールバルブ９１７及び圧力センサ９２９がそれぞれ接続される。この圧力センサ９２９には、作業機械１の電気系の駆動制御を行う上述した制御装置１０が接続される。

コントロールバルブ９１７には、下部走行体１１０用の油圧モータ１１０Ａ（右用）及び１１０Ｂ（左用）、ブームシリンダ１４２、アームシリンダ１４４、及びシリンダ１４６が高圧油圧ライン９１６を介して接続される。

コントロールバルブ９１７は、高圧油圧ライン９１６を介して接続される下部走行体１１０用の油圧モータ１１０Ａ、１１０Ｂ、ブームシリンダ１４２、アームシリンダ１４４、及びシリンダ１４６の各々に供給する油圧を運転者の操作入力に応じて制御する。

操作装置９２６は、下部走行体１１０、ブーム１４１、アーム１４３、及び破砕機１４５を操作するための操作装置である。操作装置９２６は、レバー９２６Ａ及び９２６Ｂとレバー９２６Ｃを含む。レバー９２６Ａは、アーム１４３を操作するためのレバーであり、レバー９２６Ｂは、ブーム１４１及び破砕機１４５を操作するためのレバーである。また、レバー９２６Ｃは、下部走行体１１０を操作するための一対のレバーである。具体的には、レバー９２６Ｃは、左側のクローラを駆動回転させる左側レバーと、右側のクローラを駆動回転させる右側レバーとを含む。なお、レバー９２６Ｃは、運転席の足下に設けられる対のペダルの形態であってもよい。

操作装置９２６は、パイロットライン９２５を通じて供給される油圧（１次側の油圧）を運転者の操作量に応じた油圧（２次側の油圧）に変換して出力する。操作装置９２６から出力される２次側の油圧は、油圧ライン９２７を通じてコントロールバルブ９１７に供給されるとともに、圧力センサ９２９によって検出される。

レバー９２６Ａ及び９２６Ｂとレバー９２６Ｃの各々が操作されると、油圧ライン９２７を通じてコントロールバルブ９１７が駆動され、これにより、油圧モータ１１０Ａ、１１０Ｂ、ブームシリンダ１４２、アームシリンダ１４４、及びシリンダ１４６内の油圧が制御されることによって、下部走行体１１０、ブーム１４１、アーム１４３、及び破砕機１４５が駆動される。

なお、油圧ライン９２７は、油圧モータ１１０Ａ及び１１０Ｂ、ブームシリンダ１４２、アームシリンダ１４４、及びシリンダ１４６の駆動に必要な油圧をコントロールバルブ９１７に供給する。

圧力センサ９２９は、レバー９２６Ｃの操作による油圧ライン９２８内の油圧の変化を検出する。圧力センサ９２９は、油圧ライン９２８内の油圧を表す電気信号を出力する。この電気信号は、レバー９２６Ｃの操作態様（左側レバー及び右側レバーのそれぞれの操作量と方向）を表す信号を含み、制御装置１０に入力される。なお、レバー９２６Ｃの操作態様は、磁気的に又は光学的に検出されてもよい。

次に、図３以降を参照して、制御装置１０及び制御装置４００とともに、飛行制御装置５０を詳説する。

図３は、制御装置１０、制御装置４００、及び飛行制御装置５０により実現される機能を説明する図である。図３では、主に、後述するホバリング維持制御に関連する機能について図示されている。従って、制御装置１０等は、図示以外の他の機能を適宜備えてよい。

制御装置１０は、図３に示すように、位置情報取得部１５０と、姿勢情報取得部１５１と、向き情報取得部１５２と、通信処理部１５３と、画像出力処理部１５４と、操作情報取得部１５５と、アクチュエータ制御部１５６と、を含む。位置情報取得部１５０のような各機能部は、図２に示したＣＰＵ１１が、図２に示したＲＯＭ１３のような記憶装置内のプログラムを実行することで、実現できる。

位置情報取得部１５０は、センサ類８２のうちの、ＧＰＳセンサ（図示せず）から、作業機械１の位置情報を取得する。作業機械１の位置情報は、緯度、経度、及び高度で表現される。なお、ＧＰＳセンサは、ＧＰＳ受信機を含み、衛星から電波に基づいて、干渉測位等により、緯度、経度、及び高度を算出する。

姿勢情報取得部１５１は、センサ類８２のうちの、作業機械１の姿勢に係るパラメータを取得する各種センサに基づいて、作業機械１の姿勢情報を取得する。この場合、姿勢に係るパラメータを取得する各種センサは、例えば、ブーム角度センサや、アーム角度センサ、バケット角度センサ、機体傾斜センサ等であってよい。なお、ブーム角度センサは、ブーム角度を取得するセンサであり、例えば、ブームフートピンの回転角度を検出する回転角センサ、ブームシリンダ１４２のストローク量を検出するストロークセンサ、ブーム１４１の傾斜角度を検出する傾斜（加速度）センサ等を含む。また、アーム角度センサ及びバケット角度センサについても同様である。機体傾斜センサは、機体傾斜角度を取得するセンサであり、例えば、水平面に対する上部旋回体１２０の傾斜角度を検出する。

向き情報取得部１５２は、センサ類８２のうちの、下部走行体１１０に対する上部旋回体１２０の向き（以下、単に「上部旋回体１２０の向き」とも称する）に係るパラメータを取得する各種センサに基づいて、上部旋回体１２０の向きを表す向き情報を取得する。この場合、上部旋回体１２０の向きに係るパラメータを取得する各種センサは、例えば、地磁気センサや、旋回機構１３０の旋回軸まわりの旋回角度を検出する回転角センサ（例えばレゾルバ等）、ジャイロセンサ等であってよい。

通信処理部１５３は、位置情報取得部１５０、姿勢情報取得部１５１、及び向き情報取得部１５２により取得される各種情報等を、飛行制御装置５０に送信する。例えば、通信処理部１５３は、飛行制御装置５０からの要求に応じて、所定周期ごとに最新の情報を飛行制御装置５０に送信してもよい。

また、通信処理部１５３は、無人飛行機４０から画像データを受信する。画像データは、撮像装置４１０により撮像される前方環境画像のデータである。

画像出力処理部１５４は、通信処理部１５３により取得される画像データに基づいて、画像出力装置８０上に前方環境画像を出力する。これにより、作業機械１の操作者は、画像出力装置８０上の前方環境画像から、例えば直視では見えない作業現場の状況等を把握できる。

操作情報取得部１５５は、操作装置９２６を介して入力される各種の操作情報（操作入力）を取得する。

アクチュエータ制御部１５６は、操作装置９２６を介して入力される各種の操作情報に基づいて、各種の指令値を発生する。例えば、アクチュエータ制御部１５６は、操作装置９２６を介して入力される各種の操作情報に基づいて、メインポンプ９１４からの吐出圧や吐出量等を制御してよい。

制御装置４００は、図３に示すように、機体情報取得部４０１と、目標飛行状態設定部４０２と、機体制御部４０３と、通信処理部４０４とを含む。機体情報取得部４０１のような各機能部は、図２に示したＣＰＵ１１のようなＣＰＵが、図２に示したＲＯＭ１３のような記憶装置内のプログラムを実行することで、実現できる。

機体情報取得部４０１は、無人飛行機４０の機体に係る各種状態を表す機体情報を取得する。機体情報は、無人飛行機４０の位置情報や、無人飛行機４０の姿勢情報等を含んでよい。無人飛行機４０の位置情報は、例えば、緯度、経度、及び高度で表現されてよい。なお、このような無人飛行機４０の位置情報は、ＧＰＳセンサから取得可能である。無人飛行機４０の姿勢情報は、無人飛行機４０のヨー軸、ロール軸、及びピッチ軸の各軸まわりの回転に関する情報を含んでよい。なお、このような無人飛行機４０の姿勢情報は、無人飛行機４０に搭載される慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）のようなセンサから取得可能である。

目標飛行状態設定部４０２は、飛行制御装置５０からの制御情報（指令）に基づいて、無人飛行機４０の目標飛行状態を設定する。目標飛行状態は、目標飛行位置と目標飛行姿勢とを含む。なお、制御情報が目標飛行位置と目標飛行姿勢とを含む場合は、目標飛行状態設定部４０２は、当該目標飛行位置と目標飛行姿勢をそのまま利用してもよい。

目標飛行位置は、例えば、緯度、経度、及び高度で表現されてよい。

この場合、目標飛行位置に係る緯度及び経度は、例えば、作業機械１の下部走行体１１０の前後軸上の位置であって、作業機械１の下部走行体１１０の後部に対して所定距離Ｄ１だけ後方に設定されてよい。所定距離Ｄ１は、例えば２０ｍ程度であってよい。また、所定距離Ｄ１は、ユーザにより可変とされてもよい。また、所定距離Ｄ１は、作業モード等に応じて自動的に変化されてもよい。また、目標飛行位置に係る緯度及び経度は、作業機械１の下部走行体１１０の前後軸に対して横方向に所定距離Ｄ２だけオフセットするように設定されてもよい。所定距離Ｄ２は、例えば作業機械１に対して目標飛行位置が後方４５度程度になるように、例えば２０ｍ程度であってもよい。この場合も、所定距離Ｄ２は、ユーザにより可変とされてもよいし、作業モード等に応じて自動的に変化されてもよい。

また、目標飛行位置に係る高度は、一定（例えば３０ｍから４０ｍの範囲内）であってもよい。ただし、目標飛行位置に係る高度は、同様に、ユーザにより可変とされてもよいし、作業モード等に応じて自動的に変化されてもよい。

目標飛行姿勢は、例えば、ヨー軸、ロール軸、及びピッチ軸の各軸まわりの回転に関するパラメータで表現されてよい。目標飛行姿勢は、例えば、無人飛行機４０の機体の前後軸が作業機械１の下部走行体１１０の前後軸に対して平行となり、かつ、無人飛行機４０の機体の前後軸が水平面内に位置するように設定されてもよい。同様に、目標飛行姿勢に係るパラメータは、ユーザにより可変とされてもよいし、作業モード等に応じて自動的に変化されてもよい。あるいは、目標飛行姿勢は、例えば、無人飛行機４０の機体の前後軸がアーム１４３の延在方向に対して平行となり、かつ、無人飛行機４０の機体の前後軸が水平面内に位置するように設定されてもよい。

機体制御部４０３は、機体情報取得部４０１により取得される機体情報に基づいて、目標飛行状態設定部４０２により設定される目標飛行状態が実現されるように、無人飛行機４０を制御する。なお、無人飛行機４０の制御方法は、任意であり、例えばＰＩＤ（Ｐｒｏｐｏｒｔｉｏｎａｌ Ｉｎｔｅｇｒａｌ Ｄｉｆｆｅｒｅｎｔｉａｌ）制御等により実現されてもよい。

通信処理部４０４は、機体情報取得部４０１により取得される機体情報等を、飛行制御装置５０に送信する。例えば、通信処理部４０４は、飛行制御装置５０からの要求に応じて、所定周期ごとに最新の機体情報を飛行制御装置５０に送信してもよい。

また、通信処理部４０４は、撮像装置４１０により撮像される前方環境画像のデータを、作業機械１に送信する。例えば、通信処理部４０４は、作業機械１からの要求に応じて、所定周期ごとに前方環境画像のデータを飛行制御装置５０に送信してもよい。

飛行制御装置５０は、図３に示すように、情報取得部５１０と、相対位置関係判定部５１２と、飛行制御部５１４とを含む。情報取得部５１０のような各機能部は、図２に示したＣＰＵ１１のようなＣＰＵが、図２に示したＲＯＭ１３のような記憶装置内のプログラムを実行することで、実現できる。

情報取得部５１０は、飛行制御部５１４の各種制御に必要な各種情報を取得する。本実施例では、一例として、情報取得部５１０は、作業機械１の位置情報、姿勢情報、及び向き情報と、無人飛行機４０の機体情報とを取得する。また、情報取得部５１０は、作業機械１の操作情報（特にレバー９２６Ｃに係る操作情報）を適宜取得する。なお、作業機械１の位置情報、姿勢情報、及び向き情報は、作業機械１の制御装置１０の通信処理部１５３から通信により取得できる。また、無人飛行機４０の機体情報は、無人飛行機４０の制御装置４００の通信処理部４０４から取得できる。

相対位置関係判定部５１２は、情報取得部５１０により取得された作業機械１の位置情報及び無人飛行機４０の位置情報（機体情報の一部）に基づいて、作業機械１に対する無人飛行機４０の相対位置関係を把握（判定）する。作業機械１に対する無人飛行機４０の相対位置関係は、高度を考慮した位置関係（すなわち３次元の位置関係）であってもよいし、高度を考慮しない位置関係であってもよい。高度を考慮しない位置関係としては、例えば、所定の基準平面（例えば地表面）に投影したときの位置関係であってよい。

また、作業機械１に対する無人飛行機４０の相対位置関係は、作業機械１の所定部位に対する無人飛行機４０の相対位置関係であってよい。この場合、所定部位は、作業機械１の下部走行体１１０の部位（例えば重心付近の部位）であってもよいし、上部旋回体１２０の部位であってもよいし、旋回機構１３０の部位（例えば破砕機１４５）であってもよい。また、所定部位は、作業モード等に応じて自動的に変化されてもよい。なお、以下では、作業機械１に対する無人飛行機４０の相対位置関係は、単に「相対位置関係」とも称する。

飛行制御部５１４は、情報取得部５１０により取得された各種情報に基づいて、無人飛行機４０に送信する制御情報（指令）を生成する。制御情報は、上述したように、無人飛行機４０の目標飛行状態設定部４０２に目標飛行状態を設定させるための情報である。

飛行制御部５１４は、ホバリング開始条件が成立すると、無人飛行機４０のホバリングが開始されるように、制御情報を生成する。ホバリング開始条件は、例えば、無人飛行機４０の位置が目標飛行位置に到達した場合に満たされてよい。なお、無人飛行機４０の位置が目標飛行位置に到達した否かは、例えば、情報取得部５１０により取得される機体情報に基づいて判断できる。

飛行制御部５１４は、例えば、制御情報を変化させないことで（これに伴い無人飛行機４０の目標飛行位置を変化させないことで）、制御装置４００にホバリングを開始させてもよい。あるいは、飛行制御部５１４は、ホバリングを開始させる指令（例えば、ホバリングモードのようなモードを指示する制御情報）を無人飛行機４０に送信することで、制御装置４００にホバリングを開始させてもよい。

本実施例では、飛行制御部５１４は、無人飛行機４０のホバリング中、相対位置関係が基準の相対位置関係から変化した場合でも、基準の相対位置関係からの変化量が所定閾値Ｔｈ１以下である場合は、無人飛行機４０のホバリングを維持するためのホバリング維持制御を実行する。この場合、基準の相対位置関係は、無人飛行機４０が目標飛行位置に到達した時点又はその前後の相対位置関係であってよく、例えば、ホバリングが開始されたときの相対位置関係であってよい。あるいは、基準の相対位置関係は、ユーザにより設定されてもよい。この場合、例えば、基準の相対位置関係は、ユーザにより所定入力がなされた時点の相対位置関係であってよい。なお、無人飛行機４０がホバリング中であるか否かは、例えば、情報取得部５１０により取得される機体情報に基づいて判断できる。

なお、飛行制御部５１４は、例えば、制御情報を変化させないことで（これに伴い無人飛行機４０の目標飛行位置を変化させないことで）、ホバリング維持制御を実現してもよい。あるいは、飛行制御部５１４は、ホバリングを維持させる指令（例えば、ホバリングモードのようなモードを指示する制御情報）を無人飛行機４０に送信することで、ホバリング維持制御を実現してもよい。

以下、このようなホバリング維持制御との対比として、相対位置関係の変化に追従して無人飛行機４０の目標飛行位置を動的に変化させる制御を、「位置追従制御」とも称する。

図４は、本実施例の効果の説明図であり、作業機械１に対する無人飛行機４０の相対位置関係を側面視で概略的に示す図である。

ところで、作業機械１は、作業内容に依存して動きが多様となりうるが、比較的狭い移動範囲内で所定の動き（例えば前進と後退）を繰り返す（図４の矢印Ｒ１参照）場合がある。かかる場合に、位置追従制御を実行すると、制御装置４００が同様に比較的狭い移動範囲内で無人飛行機４０の同様の動き（例えば前進と後退）を繰り返す（図４の矢印Ｒ２参照）こととなる。このような動きは、無人飛行機４０の機体に比較的大きい加速度を生みやすい。無人飛行機４０の機体に比較的大きい加速度が生じると、撮像装置４１０に係る撮像範囲に変化（揺れ）が生じ、前方環境画像の視認性が低下しやすくなる。

これに対して、本実施例によれば、相対位置関係の変化量が所定閾値Ｔｈ１以下である期間中は、相対位置関係が変化した場合でも、無人飛行機４０のホバリングが維持される。これにより、相対位置関係の変化量が所定閾値Ｔｈ１以下である期間中に位置追従制御を実行する場合に比べて、ホバリングの期間を長くすることができる。この結果、無人飛行機４０の機体に比較的大きい加速度が生じる頻度を低減し、前方環境画像の視認性の低下を抑制できる。

ここで、ホバリング維持制御で用いる所定閾値Ｔｈ１は、任意であるが、所定閾値Ｔｈ１が大きいほど、ホバリングの期間が長くなりやすい。ホバリングの場合は、例えば前進と後退を交互に繰り返す場合に比べて、無人飛行機４０の機体に比較的大きい加速度が生じる頻度を低減できる。他方、所定閾値Ｔｈ１が過度に大きい場合は、相対位置関係が基準の相対位置関係から乖離することで、前方環境画像の有用性（画像から得られるユーザにとっての有用な情報量）が低下しやすくなる。従って、所定閾値Ｔｈ１は、これらの背反を考慮して適合されてもよい。なお、所定閾値Ｔｈ１は、上述した所定距離Ｄ１との関係では、所定距離Ｄ１よりも有意に小さくてよい（例えば所定距離Ｄ１の半分以下であってよい）。また、所定閾値Ｔｈ１は、ユーザにより可変とされてもよいし、作業モード等に応じて自動的に変化されてもよい。

ところで、相対位置関係の変化速度（すなわち一定時間あたりの変化量）が略一定である場合は、位置追従制御のほうが、ホバリング維持制御よりも、無人飛行機４０の機体に比較的大きい加速度が生じる頻度を低減できうる。この場合、ホバリング維持制御では、相対位置関係の変化量が所定閾値Ｔｈ１を超えた際に解消されることで、それに応じて、無人飛行機４０の機体に比較的大きい加速度が生じやすくなるためである。

従って、本実施例において、ホバリング維持制御は、作業機械１により特定の作業が実行されている場合にのみ、実現されてもよい。この場合、特定の作業は、作業機械１の比較的狭い移動範囲内で実現できるような作業であってよい。なお、特定の作業は、複数種類の作業であってよく、事前に設定されてもよい。

また、この場合、飛行制御部５１４は、情報取得部５１０により取得された情報に基づいて、作業機械１が特定の作業を実行しているか否かを判定してもよい。例えば、飛行制御部５１４は、例えば以下の条件要素（１）から（３）のいずれか１つ又は２つ以上が満たされた場合に、作業機械１が特定の作業を実行していると判定してもよい。
条件要素（１）相対位置関係の変化速度（すなわち一定時間あたりの変化量）が略一定でない。
条件要素（２）相対位置関係の変化方向が比較的頻繁に変化する。
条件要素（３）位置追従制御の実行状態において無人飛行機４０の機体に発生する加速度が所定閾値Ｔｈ２を超える。

この場合、条件要素（１）を利用することで、例えば作業機械１が一定速度で走行する走行状態において、ホバリング維持制御が実行される可能性を低減できる。また、条件要素（２）を利用することで、例えば作業機械１が短時間で前進と後退を交互に繰り返すような状況下でホバリング維持制御を効果的に実行できる。また、条件要素（３）を利用することで、無人飛行機４０の機体に比較的大きい加速度が生じやすい状況下でホバリング維持制御を効果的に実行できる。

次に、図５以降を参照して、飛行制御装置５０の動作例について説明する。なお、以降の処理フロー図（フローチャート）においては、各ステップの入力と出力の関係を損なわない限り、各ステップの処理順序を入れ替えてもよい。

図５は、飛行制御装置５０により実行される処理の一例を示す概略フローチャートである。図５に示す処理は、例えば所定周期ごとに繰り返し実行されてよい。

ステップＳ３０では、飛行制御装置５０は、制御用の各種情報（例えば、作業機械１の位置情報、姿勢情報、及び向き情報と、無人飛行機４０の機体情報）を取得する。制御用の各種情報の取得方法は、上述したとおりである。

ステップＳ３２では、飛行制御装置５０は、ホバリング維持制御の実行条件を満たすか否かを判定する。ホバリング維持制御の実行条件は、任意であるが、例えば、作業機械１が特定の作業を実行していると判定した場合に満たされる。特定の作業は、上述のとおりであってよい。判定結果が“ＹＥＳ”の場合、ステップＳ３４に進み、それ以外の場合は、ステップＳ３３Ａに進む。

ステップＳ３３Ａでは、飛行制御装置５０は、ホバリング中フラグが“０”であるか否かを判定する。ホバリング中フラグが“０”である状態は、ホバリングを実現又は維持するための制御の非実行状態に対応する。ホバリング中フラグの初期値は、“０”である。判定結果が“ＹＥＳ”の場合、ステップＳ３３Ｃに進み、それ以外の場合は、ステップＳ３３Ｂに進む。

ステップＳ３３Ｂでは、飛行制御装置５０は、ホバリング中フラグを“０”にリセットする。

ステップＳ３３Ｃでは、飛行制御装置５０は、位置追従制御を実行する。具体的には、飛行制御装置５０は、ステップＳ３０で得た各種情報に基づいて目標飛行状態（目標飛行位置を含む）を決定し、当該目標飛行状態を表す制御情報（指令）を生成する。そして、飛行制御装置５０は、生成した制御情報を無人飛行機４０に送信する。この場合、無人飛行機４０の制御装置４００は、かかる制御情報を受信すると、当該制御情報に係る目標飛行状態が実現されるように無人飛行機４０を制御する。

ステップＳ３４では、飛行制御装置５０は、ホバリング中フラグが“１”であるか否かを判定する。ホバリング中フラグが“１”である状態は、ホバリングを実現又は維持するための制御の実行状態に対応する。判定結果が“ＹＥＳ”の場合、ステップＳ３５に進み、それ以外の場合は、ステップＳ４２に進む。

ステップＳ３５では、飛行制御装置５０は、ステップＳ３０で得た各種情報に基づいて、現時点の相対位置関係を算出する。相対位置関係は、上述のとおりである。

ステップＳ３６では、飛行制御装置５０は、基準の相対位置関係と、ステップＳ３５で算出した現時点の相対位置関係との差分（すなわち、基準の相対位置関係からの変化量）が、所定閾値Ｔｈ１以下であるか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ３８に進み、それ以外の場合は、ステップＳ４０に進む。

ステップＳ３８では、飛行制御装置５０は、ホバリングを実現させるための制御情報を生成し、生成した制御情報を無人飛行機４０に送信する。この場合、無人飛行機４０の制御装置４００は、かかる制御情報を受信すると、当該制御情報に係るホバリングが実現又は維持されるように無人飛行機４０を制御する。ホバリングを実現させるための制御情報は、例えば、前回周期の制御情報と同じ情報であってもよいし、その旨を表す情報であってもよい。

ステップＳ４０では、飛行制御装置５０は、ホバリング中フラグを“０”にリセットする。

ステップＳ４２では、飛行制御装置５０は、現時点の作業機械１の位置に基づいて、基準の相対位置関係が実現される目標飛行位置を算出する。すなわち、飛行制御装置５０は、位置追従制御の場合と同様、現時点の作業機械１の位置に応じた目標飛行位置を算出する。

ステップＳ４４では、飛行制御装置５０は、ステップＳ４２で算出した目標飛行位置の算出値を含む制御情報（指令）を生成し、生成した制御情報を無人飛行機４０に送信する。この場合、無人飛行機４０の制御装置４００は、かかる制御情報を受信すると、当該制御情報に係る目標飛行状態が実現されるように無人飛行機４０を制御する。

ステップＳ４６では、飛行制御装置５０は、ステップＳ３０で得た各種情報に基づいて、目標飛行位置（前回周期のステップＳ４２で算出した目標飛行位置の算出値）に無人飛行機４０が到達したか否かを判定する。例えば、飛行制御装置５０は、無人飛行機４０の位置情報が、前回周期のステップＳ４２で算出した目標飛行位置の算出値と略一致する場合は、目標飛行位置に無人飛行機４０が到達したと判定する。判定結果が“ＹＥＳ”の場合、ステップＳ４８に進み、それ以外の場合は、今回周期の処理は終了する。

ステップＳ４８では、飛行制御装置５０は、ホバリングを開始させるための制御情報を生成し、生成した制御情報を無人飛行機４０に送信する。この場合、無人飛行機４０の制御装置４００は、かかる制御情報を受信すると、当該制御情報に係るホバリングが実現されるように無人飛行機４０を制御する。ホバリングを開始させるための制御情報は、例えば、前回周期の制御情報と同じ情報であってもよいし、その旨を表す情報であってもよい。

ステップＳ５０では、飛行制御装置５０は、ホバリング中フラグを“１”にセットする。

図５に示す処理によれば、ホバリング維持制御の実行条件が満たされると、ステップＳ３４からステップＳ３８によりホバリング維持制御が実行される。また、図５に示す処理によれば、ホバリングが開始されると、そのときの相対位置関係が基準の相対位置関係に設定される。そして、その後、基準の相対位置関係からの相対位置関係の変化量が所定閾値Ｔｈ１以下である間は、ホバリングが継続される。また、基準の相対位置関係からの相対位置関係の変化量が所定閾値Ｔｈ１を超えると、新たな目標飛行位置に向けて無人飛行機４０が移動されたあと、再度、ホバリングが開始され、そのときの相対位置関係が基準の相対位置関係に設定される。そして、その後、基準の相対位置関係からの相対位置関係の変化量が所定閾値Ｔｈ１以下である間は、ホバリングが継続される。このようにして、基準の相対位置関係を更新しつつホバリング維持制御が継続されるので、その間、撮像装置４１０により取得される前方環境画像の視認性の低下を抑制できる。

ここで、無人飛行機４０のホバリング中、無人飛行機４０の位置が実質的に変化しないので、相対位置関係の変化は、作業機械１の位置の変化に依存する。従って、飛行制御装置５０は、無人飛行機４０のホバリング中、基準の位置からの作業機械１の位置の変化量に基づいて、相対位置関係の変化量（基準の相対位置関係からの変化量）を把握してもよい。すなわち、無人飛行機４０のホバリング中、飛行制御装置５０（飛行制御部５１４）は、相対位置関係の変化量が所定閾値Ｔｈ１以下であるか否かを、基準の位置からの作業機械１の位置の変化量に基づいて判定してもよい。具体的には、飛行制御装置５０（飛行制御部５１４）は、基準の位置からの作業機械１の位置の変化量が、所定閾値Ｔｈ１以下である場合に、相対位置関係の変化量が所定閾値Ｔｈ１以下であると判定してもよい。この場合、基準の位置は、基準の相対位置関係と同様の態様で設定されてよい。例えば、基準の位置は、無人飛行機４０が目標飛行位置に到達した時点又はその前後の、作業機械１の位置であってよく、例えば、ホバリングが開始されたときの、作業機械１の位置であってもよい。従って、この場合、図５に示す処理では、ステップＳ５０において、飛行制御装置５０は、ホバリング中フラグを“１”にセットするとともに、現時点の作業機械１の位置を、基準の位置に設定してよい。すなわち、飛行制御装置５０は、ホバリング中フラグを“１”にセットするごとに、現時点の作業機械１の位置に基づいて基準の位置を更新してよい。

図６は、飛行制御装置５０により実行される処理の他の一例を示す概略フローチャートである。図６に示す処理は、上述した図５に示した処理に替えて実行されてよい。

図６に示す処理は、上述した図５に示した処理に対して、ステップＳ３５及びステップＳ３６が、ステップＳ３５Ａ及びステップＳ３６Ａで置換された点が主に異なる。

ステップＳ３５Ａでは、飛行制御装置５０は、操作入力判定処理を実行する。操作入力判定処理の一例は、図７を参照して後述する。

ステップＳ３６Ａでは、飛行制御装置５０は、ステップＳ３５Ａの操作入力判定処理の結果に基づいて、基準の相対位置関係と現時点の相対位置関係との差分（すなわち、基準の相対位置関係からの変化量）が、所定閾値Ｔｈ１以下であるか否かを判定する。本実施例では、ステップＳ３５Ａの操作入力判定処理の結果に基づいて、後述するホバリング解除フラグが“０”である場合は、当該差分が所定閾値Ｔｈ１以下であると判定し、後述するホバリング解除フラグが“１”である場合は、当該差分が所定閾値Ｔｈ１以下でないと判定する。判定結果が“ＹＥＳ”の場合、ステップＳ３８に進み、それ以外の場合は、ステップＳ４０に進む。

図７は、図６のステップＳ３５Ａの操作入力判定処理の一例を示す概略フローチャートである。図８は、図７の操作入力判定処理に係る説明図である。図８には、横軸に、レバー９２６Ｃに係るレバー操作量（ストローク）を取り、縦軸に指令値（例えば当該レバー操作量に応じた油圧の指令値）を取り、当該レバー操作量と当該指令値の関係の一例が示される。

ステップＳ７００では、飛行制御装置５０は、操作装置９２６からの操作情報を取得する。

ステップＳ７０１では、飛行制御装置５０は、操作装置９２６において操作入力があったか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ７０２に進み、それ以外の場合は、今回周期の処理を終了する。

ステップＳ７０２では、飛行制御装置５０は、レバー９２６Ｃの左右のいずれかのレバーが操作されたか否かを判定する。すなわち、レバー９２６Ｃの対のレバーのうちの一方だけが操作されたか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ７０４に進み、それ以外の場合は、ステップＳ７１０に進む。

ステップＳ７０４では、飛行制御装置５０は、レバー９２６Ｃのレバー操作量が所定量α以上であるか否かを判定する。所定量αは、下部走行体１１０が比較的大きい移動（すなわち基準の相対位置関係からの変化量が、所定閾値Ｔｈ１を超えるような移動）を検出できるように適合されてよい。なお、所定量αは、図８に模式的に示すように、僅かな操作に係るレバー操作量α０よりも有意に大きい。なお、図８には、フルストロークに対応するレバー操作量α１が併せて示されている。

ステップＳ７０６では、飛行制御装置５０は、ホバリング解除フラグを“１”に設定する。ホバリング解除フラグの初期値は“０”であり、例えば、ステップＳ５０でホバリング中フラグが“１”にセットされる際に、初期化されてよい。ホバリング解除フラグが“１”に設定されると、上述したように、図６のステップＳ３６Ａでの判定結果が“ＮＯ”となり、ホバリング中フラグが“０”にリセットされる（図６のステップＳ４０参照）。すなわち、ホバリングを実現又は維持するための制御の非実行状態に遷移する。

ステップＳ７０８では、飛行制御装置５０は、ホバリング解除フラグを“０”に維持する。この場合、図６のステップＳ３６Ａでの判定結果が“ＹＥＳ”となり、ホバリング中フラグが“０”にリセットされることはない。すなわち、ホバリングを維持するための制御の実行状態が維持される（図６のステップＳ３８参照）。

ステップＳ７１０では、飛行制御装置５０は、レバー９２６Ｃの左右が同一方向に操作されたか否かを判定する。レバー９２６Ｃの左右が同一方向に操作されると、左右のクローラに取り付けられた油圧モータ１１０Ａ、１１０Ｂがそれぞれ逆向きに回転される。この結果、下部走行体１１０は、その場でターンをする、いわゆる“スピンターン”の動きとなる。判定結果が“ＹＥＳ”の場合、ステップＳ７１２に進む。他方、判定結果が“ＮＯ”の場合は、ステップＳ７０８に進む。判定結果が“ＮＯ”の場合は、レバー９２６Ｃの左右が逆方向に操作された場合に対応する。この場合、左右どちらかのクローラだけを動かして行うターン、いわゆる“ピポットターン”が実現される。なお、ピポットターンは、旋回半径がスピンターンより大きくなる傾向となる。従って、変形例では、判定結果が“ＮＯ”の場合は、レバー操作量が所定量（例えば所定量α）以上であることを条件に、ステップＳ７０８に代えてステップＳ７０６に進むこととしてもよい。

ステップＳ７１２では、飛行制御装置５０は、レバー９２６Ｃの左右のレバー操作量の差（それぞれのレバー操作量の大きさの差）が所定値以上であるか否かを判定する。所定値は任意であるが、ピポットターンに近い動きを検出できるように適合されてもよい。判定結果が“ＹＥＳ”の場合、ステップＳ７０６に進み、それ以外の場合は、ステップＳ７０８に進む。

このようにして図６及び図７に示す処理によれば、操作装置９２６からの操作情報（特にレバー９２６Ｃに係る操作情報）に基づいて、ホバリングを実現又は維持するための制御が非実行状態へと遷移（ホバリングが解除）される。これにより、作業機械１に対する無人飛行機４０の相対位置関係を直接的に利用することなく、比較的低い処理負荷で図５に示した処理と同様の効果を得ることができる。

［実施例２］
上述した実施例１では、飛行制御部５１４は、無人飛行機４０のホバリング中、相対位置関係が基準の相対位置関係から変化した場合でも、基準の相対位置関係からの変化量が所定閾値Ｔｈ１以下である場合は、ホバリング維持制御を実行する。

これに対して、本実施例２では、これに代えて又は加えて、飛行制御部５１４は、無人飛行機４０のホバリング中、上部旋回体１２０の向きが基準の向きから変化した場合でも、基準の向きからの変化量が所定閾値Ｔｈ３以下である場合は、ホバリング維持制御を実行してもよい。

以下、このようなホバリング維持制御との対比として、上部旋回体１２０の向きの変化に追従して無人飛行機４０の目標飛行姿勢を動的に変化させる制御を、「姿勢追従制御」とも称する。ここでは、一例として、無人飛行機４０の目標飛行姿勢は、無人飛行機４０の機体の前後軸がアーム１４３の延在方向に対して平行となり、かつ、無人飛行機４０の機体の前後軸が水平面内又は水平面に対して所定角度だけ下向きになるように、設定されるものとする。この場合、破砕機１４５の位置に対して一定の向きから環境を捕捉した前方環境画像が得られるので、作業性が良好となる。

ところで、作業機械１は、作業内容に依存して動きが多様となりうるが、上部旋回体１２０の一方向の旋回と他方向の旋回とを繰り返す場合がある。かかる場合に、姿勢追従制御を実行すると、制御装置４００が同様の動き（例えば左右方向の向きの変更）を繰り返すこととなる。このような動きは、無人飛行機４０の機体に比較的大きい加速度を生みやすい。無人飛行機４０の機体に比較的大きい加速度が生じると、撮像装置４１０に係る撮像範囲に変化（揺れ）が生じ、前方環境画像の視認性が低下しやすくなる。

これに対して、本実施例によれば、上部旋回体１２０の向きの変化量が所定閾値Ｔｈ３以下である期間中は、上部旋回体１２０の向きが変化した場合でも、無人飛行機４０のホバリングが維持される。これにより、上部旋回体１２０の向きの変化量が所定閾値Ｔｈ３以下である期間中に姿勢追従制御を実行する場合に比べて、ホバリングの期間を長くすることができる。この結果、無人飛行機４０の機体に比較的大きい加速度が生じる頻度を低減し、前方環境画像の視認性の低下を抑制できる。

ここで、ホバリング維持制御で用いる所定閾値Ｔｈ３は、任意であるが、所定閾値Ｔｈ３が大きいほど、ホバリングの期間が長くなりやすい。ホバリングの場合は、例えば前進と後退を交互に繰り返す場合に比べて、無人飛行機４０の機体に比較的大きい加速度が生じる頻度を低減できる。他方、所定閾値Ｔｈ３が過度に大きい場合は、上部旋回体１２０の向きが基準の上部旋回体１２０の向きから乖離することで、前方環境画像の有用性（画像から得られるユーザにとっての有用な情報量）が低下しやすくなる。従って、所定閾値Ｔｈ３は、これらの背反を考慮して適合されてもよい。また、所定閾値Ｔｈ３は、ユーザにより可変とされてもよいし、作業モード等に応じて自動的に変化されてもよい。

なお、本実施例において、ホバリング維持制御は、作業機械１により特定の作業が実行されている場合にのみ、実現されてもよい。この場合、特定の作業は、作業機械１の比較的狭い移動範囲内で実現できるような作業であってよい。なお、特定の作業は、複数種類の作業であってよく、事前に設定されてもよい。

また、この場合、飛行制御部５１４は、情報取得部５１０により取得された情報に基づいて、作業機械１が特定の作業を実行しているか否かを判定してもよい。例えば、飛行制御部５１４は、例えば以下の条件要素（５）から（６）のいずれか１つ又は２つが満たされた場合に、作業機械１が特定の作業を実行していると判定してもよい。
条件要素（５）上部旋回体１２０の向きの変化方向が比較的頻繁に変化する。
条件要素（６）姿勢追従制御の実行状態において無人飛行機４０の機体に発生する加速度が所定閾値Ｔｈ４を超える。

この場合、条件要素（５）を利用することで、例えば作業機械１が短時間で上部旋回体１２０の左旋回と右旋回を交互に繰り返すような状況下でホバリング維持制御を効果的に実行できる。また、条件要素（６）を利用することで、無人飛行機４０の機体に比較的大きい加速度が生じやすい状況下でホバリング維持制御を効果的に実行できる。

次に、図９を参照して、本実施例による飛行制御装置５０Ａの動作例について説明する。なお、飛行制御装置５０Ａは、上述した実施例１による飛行制御装置５０とハードウェア構成等は同様であってよく、機能のみが異なってよい。

図９は、飛行制御装置５０Ａにより実行される処理の一例を示す概略フローチャートである。図９に示す処理は、例えば所定周期ごとに繰り返し実行されてよい。

ステップＳ１３０では、飛行制御装置５０Ａは、制御用の各種情報（例えば、作業機械１の位置情報、姿勢情報、及び向き情報と、無人飛行機４０の機体情報）を取得する。制御用の各種情報の取得方法は、上述した実施例１と同様であってよい。

ステップＳ１３２では、飛行制御装置５０Ａは、ホバリング維持制御の実行条件を満たすか否かを判定する。ホバリング維持制御の実行条件は、任意であるが、例えば、作業機械１が特定の作業を実行していると判定した場合に満たされる。特定の作業は、上述のとおりであってよい。判定結果が“ＹＥＳ”の場合、ステップＳ１３４に進み、それ以外の場合は、ステップＳ１３３Ａに進む。

ステップＳ１３３Ａでは、飛行制御装置５０は、ホバリング中フラグが“０”であるか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ１３３Ｃに進み、それ以外の場合は、ステップＳ１３３Ｂに進む。

ステップＳ１３３Ｂでは、飛行制御装置５０は、ホバリング中フラグを“０”にリセットする。

ステップＳ１３３Ｃでは、飛行制御装置５０Ａは、姿勢追従制御を実行する。具体的には、飛行制御装置５０Ａは、ステップＳ１３０で得た各種情報に基づいて目標飛行状態（目標飛行姿勢を含む）を決定し、当該目標飛行状態を表す制御情報（指令）を生成する。そして、飛行制御装置５０Ａは、生成した制御情報を無人飛行機４０に送信する。この場合、無人飛行機４０の制御装置４００は、かかる制御情報を受信すると、当該制御情報に係る目標飛行状態が実現されるように無人飛行機４０を制御する。

ステップＳ１３４では、飛行制御装置５０Ａは、ホバリング中フラグが“１”であるか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ１３５に進み、それ以外の場合は、ステップＳ１４２に進む。

ステップＳ１３５では、飛行制御装置５０Ａは、ステップＳ１３０で得た各種情報（向き情報）に基づいて、現時点の上部旋回体１２０の向きを取得（把握）する。上部旋回体１２０の向きは、上述のとおりである。

ステップＳ１３６では、飛行制御装置５０Ａは、基準の上部旋回体１２０の向きと、ステップＳ１３５で算出した現時点の上部旋回体１２０の向きとの差分（すなわち、基準のの向きからの変化量）が、所定閾値Ｔｈ３以下であるか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ１３８に進み、それ以外の場合は、ステップＳ１４０に進む。

ステップＳ１３８では、飛行制御装置５０Ａは、ホバリングを実現させるための制御情報を生成し、生成した制御情報を無人飛行機４０に送信する。

ステップＳ１４０では、飛行制御装置５０Ａは、ホバリング中フラグを“０”にリセットする。

ステップＳ１４２では、飛行制御装置５０Ａは、現時点の作業機械１の向きに基づいて、目標飛行姿勢を算出する。すなわち、飛行制御装置５０Ａは、姿勢追従制御の場合と同様、現時点の作業機械１の向きに応じた目標飛行姿勢を算出する。

ステップＳ１４４では、飛行制御装置５０Ａは、ステップＳ１４２で算出した目標飛行姿勢の算出値を含む制御情報（指令）を生成し、生成した制御情報を無人飛行機４０に送信する。

ステップＳ１４６では、飛行制御装置５０Ａは、ステップＳ１３０で得た各種情報に基づいて、目標飛行姿勢（前回周期のステップＳ１４２で算出した目標飛行姿勢の算出値）が無人飛行機４０により実現されたか否かを判定する。例えば、飛行制御装置５０Ａは、無人飛行機４０の向き情報が、前回周期のステップＳ１４２で算出した目標飛行姿勢の算出値と略一致する場合は、目標飛行姿勢が無人飛行機４０により実現されたと判定する。判定結果が“ＹＥＳ”の場合、ステップＳ１４８に進み、それ以外の場合は、今回周期の処理は終了する。

ステップＳ１４８では、飛行制御装置５０Ａは、ホバリングを開始させるための制御情報を生成し、生成した制御情報を無人飛行機４０に送信する。

ステップＳ１５０では、飛行制御装置５０Ａは、ホバリング中フラグを“１”にセットするとともに、現時点の上部旋回体１２０の向きを、基準の向きに設定する。すなわち、飛行制御装置５０は、ホバリング中フラグを“１”にセットするごとに、現時点の上部旋回体１２０の向きに基づいて基準の向きを更新する。

図９に示す処理によれば、ホバリング維持制御の実行条件が満たされると、ステップＳ１３４からステップＳ１３８によりホバリング維持制御が実行される。図９に示す処理によれば、ホバリングが開始されると、そのときの上部旋回体１２０の向きが基準の上部旋回体１２０の向きに設定される。そして、その後、基準の上部旋回体１２０の向きからの上部旋回体１２０の向きの変化量が所定閾値Ｔｈ３以下である間は、ホバリングが継続される。また、基準の上部旋回体１２０の向きからの上部旋回体１２０の向きの変化量が所定閾値Ｔｈ３を超えると、新たな目標飛行姿勢に向けて無人飛行機４０が移動されたあと、再度、ホバリングが開始され、そのときの上部旋回体１２０の向きが基準の上部旋回体１２０の向きに設定される。そして、その後、基準の上部旋回体１２０の向きからの上部旋回体１２０の向きの変化量が所定閾値Ｔｈ３以下である間は、ホバリングが継続される。このようにして、基準の上部旋回体１２０の向きを更新しつつホバリング維持制御が継続されるので、その間、撮像装置４１０により取得される前方環境画像の視認性の低下を抑制できる。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

１ 作業機械
８ 電装系装置
１０ 制御装置
４０ 無人飛行機
５０、５０Ａ 飛行制御装置
５２ 遠隔操作装置
８０ 画像出力装置
８２ センサ類
１１０ 下部走行体
１２０ 上部旋回体
１２２ キャブ（運転室）
１３０ 旋回機構
１４０ 作業機構
１４１ ブーム
１４２ ブームシリンダ
１４３ アーム
１４４ アームシリンダ
１４５ 破砕機
１４６ バケットシリンダ
１４７ 破砕機用シリンダ
１５０ 位置情報取得部
１５１ 姿勢情報取得部
１５２ 向き情報取得部
１５３ 通信処理部
１５４ 画像出力処理部
４００ 制御装置
４０１ 機体情報取得部
４０２ 目標飛行状態設定部
４０３ 機体制御部
４０４ 通信処理部
４１０ 撮像装置
５１０ 情報取得部
５１２ 相対位置関係判定部
５１４ 飛行制御部

Claims (6)

1. 作業機械と、撮像装置を搭載した飛行体との位置関係を制御する作業支援装置であって、
   前記作業機械は、下部走行体と、前記下部走行体を操作する一対のレバーと、前記下部走行体に搭載される上部旋回体と、前記撮像装置が撮像した画像を表示する表示装置とを有し、
   当該作業支援装置は、
   前記作業機械の状態及び前記飛行体の状態を表す情報を取得する情報取得部と、
   前記情報取得部により取得された前記情報に基づいて、前記飛行体の飛行状態を制御する飛行制御部とを備え、
   前記飛行制御部は、前記下部走行体に対する前記飛行体の相対位置関係が変化した場合であっても、その変化量が閾値以下である場合は、前記飛行体の目標飛行位置又は目標飛行姿勢を変化させないホバリング維持制御を実行し、
   前記飛行制御部は、操作された前記レバーの操作量が所定量以上である場合、前記ホバリング維持制御を解除して、前記相対位置関係の変化に追従して前記目標飛行位置を動的に変化させる位置追従制御を行う、作業支援装置。
2. 前記飛行制御部は、前記作業機械が特定の作業を実行している場合に、前記ホバリング維持制御を実行する、請求項１に記載の作業支援装置。
3. 前記飛行制御部は、前記情報取得部により取得された前記情報に基づいて、前記作業機械が特定の作業を実行しているか否かを判定する、請求項２に記載の作業支援装置。
4. 前記飛行制御部は、前記変化量が前記閾値を超えた場合、目標飛行位置へと前記飛行体の位置を変化させてから、前記ホバリング維持制御を再度実行する、請求項１から３のうちのいずれか１項に記載の作業支援装置。
5. 前記飛行制御部は、前記変化量が前記閾値以下であるか否かを、前記作業機械の位置の、基準位置からの変化量に基づいて判定する、請求項１から４のうちのいずれか１項に記載の作業支援装置。
6. 前記飛行制御部は、前記変化量が前記閾値以下であるか否かを、前記作業機械の前記下部走行体を操作するための操作入力に基づいて判定する、請求項１から４のうちのいずれか１項に記載の作業支援装置。