JP7472746B2 - 作業支援装置 - Google Patents

Description

本開示は、作業支援装置に関する。

ショベルの上部旋回体に取り付けられた撮像装置では撮像できない空間を、自律式の飛行体に取り付けられた撮像装置で撮像する技術が知られる（例えば、特許文献１参照）。

国際公開公報ＷＯ２０１７／１３１１９４号

上記のような従来技術は、飛行体の目標飛行位置は、ショベルの操作者の死角を無くすこと（すなわち周辺監視）を目的としており、操作者の作業支援のための視角を提供する観点から、飛行体の目標飛行位置を決定するものではない。なお、飛行体を用いて作業機械の周辺監視をする場合、作業機械全体と作業機械の周辺とを含む画像が操作者にとって有用となり、それ故に、飛行体の目標飛行位置は作業機械の真上又は後方位置が適当であるのに対して、例えば解体作業のような作業を支援する場合、作業装置の先端部と作業対象物とを含む画像が操作者にとって有用となり、それ故に、飛行体の目標飛行位置は作業機械の側方が適当である。

そこで、１つの側面では、本発明は、作業機械を用いて各種作業等を行う操作者にとって有用な画像を飛行体から提供することを目的とする。

１つの側面では、作業機械と、撮像装置を搭載した飛行体との位置関係を制御する作業支援装置であって、
前記作業機械は、
下部走行体と、
前記下部走行体に搭載される上部旋回体と、
前記上部旋回体に回動可能に設けられる作業装置と、
前記撮像装置が撮像した画像を表示する表示装置とを有し、
当該作業支援装置は、前記飛行体と通信可能であり、前記飛行体に係る動作モードを複数のモード間で切り替えるモード切替部を有し、
前記複数のモードは、前記作業機械の周辺を監視可能な前記画像を取得する第１動作モードと、前記作業装置による作業を支援可能な前記画像を取得する第２動作モードとを含む、作業支援装置が提供される。

１つの側面では、本発明によれば、作業機械を用いて各種作業等を行う操作者にとって有用な画像を飛行体から提供することが可能となる。

作業機械及び無人飛行機の構成に関する説明図である。 作業機械の制御系に係るハードウェア構成の一例を示す図である。 作業機械の操作系に係る概略的な説明図である。 各種制御装置により実現される機能を説明する図である。 下部走行体の向きの算出方法の説明図である。 第１動作モードと第２動作モードの概略的な説明図である 下部追従モードでの目標飛行位置に係る緯度及び経度に関する設定方法の説明図である。 目標飛行位置の設定に関連して飛行制御装置により実行される処理の一例を示す概略フローチャートである。 モード切替処理の一例を示す概略フローチャートである。 目標飛行位置／姿勢設定処理の一例を示す概略フローチャートである。 第１動作モード用の目標飛行位置／姿勢算出処理の一例を示す概略フローチャートである。 第２動作モード用の目標飛行位置／姿勢算出処理の一例を示す概略フローチャートである。 モード遷移処理の説明図である。

以下、添付図面を参照しながら各実施例について詳細に説明する。

図１は、一実施例による作業機械１及び無人飛行機４０の構成に関する説明図である。なお、図１には、作業機械１及び無人飛行機４０に加えて、飛行制御装置５０（作業支援装置の一例）と遠隔操作装置５２が図示されている。

作業機械１は、無人飛行機４０と連携しながら所定の作業を遂行する。作業機械１は、例えば解体作業等に好適な破砕機１４５を備えた建設機械であり、クローラ式の下部走行体１１０と、下部走行体１１０に旋回機構１３０を介して旋回可能に搭載される上部旋回体１２０と、作業機構１４０と、を備えている。上部旋回体１２０の前方左側部にはキャブ（運転室）１２２が設けられる。上部旋回体１２０の前方中央部には作業機構１４０が設けられ、作業機構１４０の先端に破砕機１４５が設けられる。なお、作業機械１は、無人飛行機４０が発着するベースメントを備えてもよい。

作業機構１４０は、上部旋回体１２０に起伏可能に装着されるブーム１４１と、ブーム１４１の先端に回動可能に連結されるアーム１４３と、アーム１４３の先端に取り付けられた破砕機１４５と、を備えている。作業機構１４０には、伸縮可能な油圧シリンダにより形成されるブームシリンダ１４２、アームシリンダ１４４及びバケットシリンダ１４６が装着される。破砕機１４５に代えてバケットなどの他の先端アタッチメントがアーム１４３の先端部に取り付けられていてもよい。

ブームシリンダ１４２は、作動油の供給を受けることにより伸縮してブーム１４１を起伏方向に回動させるようにブーム１４１と上部旋回体１２０との間に介在する。アームシリンダ１４４は、作動油の供給を受けることにより伸縮してアーム１４３をブーム１４１に対して水平軸回りに回動させるようにアーム１４３とブーム１４１との間に介在する。バケットシリンダ１４６は、作動油の供給を受けることにより伸縮して破砕機１４５をアーム１４３に対して水平軸回りに回動させるように破砕機１４５とアーム１４３との間に介在する。破砕機用シリンダ１４７は、作動油の供給を受けることにより伸縮して破砕機１４５を開閉させるように破砕機１４５に設けられる。

無人飛行機４０は、回転翼機であり、複数（例えば、４、６又は８）の羽根、当該複数の羽根を回転させるための電動モータ（アクチュエータ）等に電力を供給するバッテリなどを備える。なお、かかるバッテリに代えて又は加えて、無人飛行機４０は、地上から電力供給線に接続されてもよい。

無人飛行機４０は、制御装置４００と、撮像装置４１０とを備える。

制御装置４００は、後述する飛行制御装置５０からの制御情報（指令）や遠隔操作装置５２からの操作情報に応じて、無人飛行機４０の各種飛行状態（前進状態、後退状態、上昇状態、下降状態、ホバリング等）を実現する。また、制御装置４００は、撮像装置４１０で取得される画像（前方環境画像）を作業機械１に送信する。

撮像装置４１０は、カメラを含む。カメラの種類等は任意であり、例えば広角カメラであってもよい。撮像装置４１０は、取り外し可能に無人飛行機４０に取り付けられてもよいし、無人飛行機４０に強固に固定されてもよい。撮像装置４１０は、ＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）やＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子により、無人飛行機４０の機体前方の前方環境画像を取得する。撮像装置４１０は、例えば、リアルタイムに前方環境画像を取得し、所定のフレーム周期のストリーム形式で制御装置４００に供給するものであってよい。

撮像装置４１０は、好ましくは、ジンバル（図示せず）を備える。ジンバルは、無人飛行機４０の姿勢が変化しても、撮像装置４１０の光軸が一定の向き（例えば水平面内の所定方向）に保つように機能する。

飛行制御装置５０は、無人飛行機４０の各種制御を実行する。一実施例では、飛行制御装置５０は、サーバ（サーバコンピュータ）より実現され、この場合、飛行制御装置５０は、ネットワーク（図示せず）を介して作業機械１及び無人飛行機４０に接続される。この場合、ネットワークは、無線通信網や、インターネット、ＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、有線ネットワーク、又はこれらの任意の組み合わせ等を含んでもよい。他の実施例では、飛行制御装置５０は、作業機械１の制御装置１０（図２参照）により実現されてもよい（すなわち飛行制御装置５０は、作業機械１に設けられてもよい）。また、他の実施例では、飛行制御装置５０は、無人飛行機４０の制御装置４００により実現されてもよい。あるいは、他の実施例では、飛行制御装置５０の機能は、サーバ、制御装置１０、及び制御装置４００のうちの、いずれか２つの組み合わせ又はすべてにより協動して実現されてもよい。飛行制御装置５０の詳細は後述する。

遠隔操作装置５２は、例えばリモートコントローラの形態であり、ユーザ（例えば、作業機械１の操作者又は操作者とは異なる作業者）により操作されてよい。なお、ユーザが、作業機械１の操作者である場合、遠隔操作装置５２は、キャブ１２２内に持ち込まれうる。遠隔操作装置５２は、無人飛行機４０と無線通信可能であり、ユーザの操作に応じた操作信号を無人飛行機４０に向けて送信する。この場合、無人飛行機４０は遠隔操作装置５２からの操作情報を受信すると、無人飛行機４０の制御装置４００は、操作情報に応じた無人飛行機４０の動き（前進、後退、昇降等）を実現する。なお、変形例では、遠隔操作装置５２は省略されてもよい。また、遠隔操作装置５２は、スマートフォン等により実現されてもよい。

図２は、作業機械１の制御系に係るハードウェア構成の一例を示す図である。

作業機械１は、図２に示すように、電装系装置８と、制御装置１０とを備える。

電装系装置８は、作業機械１に搭載される電子制御可能な機器や各種センサ等である。電装系装置８は、例えば、画像出力装置８０（表示装置の一例）や、ブザー、音声出力装置（図示せず）、旋回機構１３０、作業機構１４０や下部走行体１１０等を作動させる油圧発生装置（図２Ａ参照）、各種操作部材の操作状態を検出する各種センサ類８２等を含んでよい。なお、電装系装置８（特に各種センサ類８２）は、基本的には、上部旋回体１２０に設けられる。これは、下部走行体１１０は、上部旋回体１２０よりも外部環境に晒されやすいためである。

なお、油圧発生装置は、エンジン及び／又は電動モータにより駆動される油圧ポンプ（図２Ａのメインポンプ９１４参照）を含んでよい。電動モータにより駆動される油圧ポンプを利用する場合、油圧発生装置は、電動モータを駆動するためのインバータを更に含んでよい。

各種センサ類８２は、ジャイロセンサや、各種の角度センサ、加速度センサ（傾斜センサ）、油圧発生装置により付与される油圧ライン（図２Ａの高圧油圧ライン９１６参照）の所定箇所の油圧を検出する油圧センサ（図２Ａの圧力センサ９２９参照）等を含んでよい。

本実施例では、特に、センサ類８２は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）コンパス８２１（衛星電波受信機の一例）を含む。ＧＰＳコンパス８２１は、上部旋回体１２０に設けられる２つのアンテナ（図示せず）を含み、２つのアンテナは、互いに離れた位置に設けられ、それぞれ、衛星から電波を受信する。２つのアンテナのそれぞれで受信された衛星信号は、それぞれ、例えば干渉測位法等により測位処理されることで、位置情報（測位情報）に変換される。そして、各アンテナの位置情報に基づいて方位が算出される。このようにして、ＧＰＳコンパス８２１は、当該２つのアンテナの相対的な位置関係に基づいて、向き（方位）を算出する。なお、ＧＰＳコンパス８２１に代えて、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）のうちの、ＧＰＳ以外を利用する同様のコンパスが利用されてもよい。

画像出力装置８０（図１参照）は、作業機械１の操作者が視認できるようにキャブ１２２内に設けられる。画像出力装置８０は、任意であるが、例えば液晶ディスプレイや、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等であってよい。なお、変形例では、画像出力装置８０は、作業機械１の操作者によりキャブ１２２に持ち込まれうる携帯型の装置（例えばタブレット端末等）であってもよい。

制御装置１０は、バス１９で接続されたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、補助記憶装置１４、ドライブ装置１５、及び通信インターフェース１７、並びに、通信インターフェース１７に接続された有線送受信部２５及び無線送受信部２６を含む。

補助記憶装置１４は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

有線送受信部２５は、有線ネットワークを利用して通信可能な送受信部を含む。有線送受信部２５には、電装系装置８が接続される。ただし、電装系装置８の一部又は全部は、バス１９に接続されてもよいし、無線送受信部２６に接続されてもよい。

無線送受信部２６は、無線ネットワークを利用して通信可能な送受信部である。無線ネットワークは、携帯電話の無線通信網や、インターネット、ＶＰＮ、ＷＡＮ等を含んでよい。また、無線送受信部２６は、近距離無線通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）部、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ、登録商標）通信部、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ－Ｆｉｄｅｌｉｔｙ）送受信部、赤外線送受信部などを含んでもよい。例えば、無線送受信部２６は、サーバの形態の飛行制御装置５０との間で通信を実現できる。

なお、制御装置１０は、記録媒体１６と接続可能であってもよい。記録媒体１６は、所定のプログラムを格納する。この記録媒体１６に格納されたプログラムは、ドライブ装置１５を介して制御装置１０の補助記憶装置１４等にインストールされる。インストールされた所定のプログラムは、制御装置１０のＣＰＵ１１により実行可能となる。例えば、記録媒体１６は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等であってよい。なお、記録媒体１６には、搬送波は含まれない。

ここでは、図２を参照して、作業機械１の制御系について説明したが、無人飛行機４０についても、電装系装置８に係る構成を除いて、実質的に同様であってよい。例えば、無人飛行機４０の制御系の場合、制御装置４００のハードウェア構成は、制御装置１０と同様であってよい。また、電装系装置８に対応する電装系装置は、撮像装置４１０（図１参照）や各種センサ類を含む。

また、飛行制御装置５０のハードウェア構成についても、図２に示す制御装置１０のハードウェア構成と実質的に同様であってよい。

図２Ａは、作業機械１の操作系に係る概略的な説明図である。図２Ａでは、高圧油圧ラインを実線、パイロットラインを破線でそれぞれ示す。

メインポンプ９１４は、コントロールバルブ９１７に供給するための油圧を発生するポンプである。この油圧は、コントロールバルブ９１７を介して油圧モータ１１０Ａ、１１０Ｂ、ブームシリンダ１４２、アームシリンダ１４４、及びシリンダ１４６の各々を駆動するために供給される。

パイロットポンプ９１５は、油圧操作系に必要なパイロット圧を発生するポンプである。

操作装置９２６には、油圧ライン９２７及び９２８を介して、コントロールバルブ９１７及び圧力センサ９２９がそれぞれ接続される。この圧力センサ９２９には、作業機械１の電気系の駆動制御を行う上述した制御装置１０が接続される。

コントロールバルブ９１７には、下部走行体１１０用の油圧モータ１１０Ａ（右用）及び１１０Ｂ（左用）、ブームシリンダ１４２、アームシリンダ１４４、及びシリンダ１４６が高圧油圧ライン９１６を介して接続される。

コントロールバルブ９１７は、高圧油圧ライン９１６を介して接続される下部走行体１１０用の油圧モータ１１０Ａ、１１０Ｂ、ブームシリンダ１４２、アームシリンダ１４４、及びシリンダ１４６の各々に供給する油圧を運転者の操作入力に応じて制御する。

操作装置９２６は、下部走行体１１０、ブーム１４１、アーム１４３、及び破砕機１４５を操作するための操作装置である。操作装置９２６は、レバー９２６Ａ及び９２６Ｂとレバー９２６Ｃを含む。レバー９２６Ａは、アーム１４３を操作するためのレバーであり、レバー９２６Ｂは、ブーム１４１及び破砕機１４５を操作するためのレバーである。また、レバー９２６Ｃは、下部走行体１１０を操作するための一対のレバーである。具体的には、レバー９２６Ｃは、左側のクローラを駆動回転させる左側レバーと、右側のクローラを駆動回転させる右側レバーとを含む。なお、レバー９２６Ｃは、運転席の足下に設けられる対のペダルの形態であってもよい。

操作装置９２６は、パイロットライン９２５を通じて供給される油圧（１次側の油圧）を運転者の操作量に応じた油圧（２次側の油圧）に変換して出力する。操作装置９２６から出力される２次側の油圧は、油圧ライン９２７を通じてコントロールバルブ９１７に供給されるとともに、圧力センサ９２９によって検出される。

レバー９２６Ａ及び９２６Ｂとレバー９２６Ｃの各々が操作されると、油圧ライン９２７を通じてコントロールバルブ９１７が駆動され、これにより、油圧モータ１１０Ａ、１１０Ｂ、ブームシリンダ１４２、アームシリンダ１４４、及びシリンダ１４６内の油圧が制御されることによって、下部走行体１１０、ブーム１４１、アーム１４３、及び破砕機１４５が駆動される。

なお、油圧ライン９２７は、油圧モータ１１０Ａ及び１１０Ｂ、ブームシリンダ１４２、アームシリンダ１４４、及びシリンダ１４６の駆動に必要な油圧をコントロールバルブ９１７に供給する。

圧力センサ９２９は、レバー９２６Ｃの操作による油圧ライン９２８内の油圧の変化を検出する。圧力センサ９２９は、油圧ライン９２８内の油圧を表す電気信号を出力する。この電気信号は、レバー９２６Ｃの操作態様（左側レバー及び右側レバーのそれぞれの操作量と方向）を表す信号を含み、制御装置１０に入力される。なお、レバー９２６Ｃの操作態様は、磁気的に又は光学的に検出されてもよい。

次に、図３以降を参照して、制御装置１０及び制御装置４００とともに、飛行制御装置５０を詳説する。

図３は、制御装置１０、制御装置４００、及び飛行制御装置５０により実現される機能を説明する図である。図３では、主に、後述するホバリング維持制御に関連する機能について図示されている。従って、制御装置１０等は、図示以外の他の機能を適宜備えてよい。図４は、下部走行体１１０の向きの算出方法の説明図であり、上部旋回体１２０及び下部走行体１１０を上面視で概略的に示す図である。図４には、左側に、上部旋回体１２０が旋回していない状態（以下、「中立状態」と称する）が示され、右側に、上部旋回体１２０が、時計まわりに角度αだけ旋回した状態（以下、「旋回状態」と称する）が示されている。図４Ａは、第１動作モードと第２動作モードの概略的な説明図である。

制御装置１０は、図３に示すように、位置情報取得部１５０と、姿勢情報取得部１５１と、向き情報取得部１５２と、通信処理部１５３と、画像出力処理部１５４と、操作情報取得部１５５と、アクチュエータ制御部１５６と、を含む。位置情報取得部１５０のような各機能部は、図２に示したＣＰＵ１１が、図２に示したＲＯＭ１３のような記憶装置内のプログラムを実行することで、実現できる。

位置情報取得部１５０は、センサ類８２のうちの、ＧＰＳコンパス８２１から、作業機械１の位置情報を取得する。作業機械１の位置情報は、緯度、経度、及び高度で表現される。なお、ＧＰＳセンサは、ＧＰＳ受信機を含み、衛星から電波に基づいて、干渉測位等により、緯度、経度、及び高度を算出する。

姿勢情報取得部１５１は、センサ類８２のうちの、作業機械１の姿勢に係るパラメータを取得する各種センサに基づいて、作業機械１の姿勢情報を取得する。この場合、姿勢に係るパラメータを取得する各種センサは、例えば、ブーム角度センサや、アーム角度センサ、バケット角度センサ、機体傾斜センサ等であってよい。なお、ブーム角度センサは、ブーム角度を取得するセンサであり、例えば、ブームフートピンの回転角度を検出する回転角センサ、ブームシリンダ１４２のストローク量を検出するストロークセンサ、ブーム１４１の傾斜角度を検出する傾斜（加速度）センサ等を含む。また、アーム角度センサ及びバケット角度センサについても同様である。機体傾斜センサは、機体傾斜角度を取得するセンサであり、例えば、水平面に対する上部旋回体１２０の傾斜角度を検出する。

向き情報取得部１５２は、作業機械１の向き（鉛直軸まわりの向き）に関する情報を取得する。本実施例では、向き情報取得部１５２は、上部旋回体向き算出部１５２０と、下部走行体向き算出部１５２１と、を含む。

上部旋回体向き算出部１５２０は、センサ類８２のうちの、ＧＰＳコンパス８２１から得た向きの計算結果に基づいて、上部旋回体１２０の向きを算出する。なお、ＧＰＳコンパス８２１は、上述したように上部旋回体１２０に設けられるので、上部旋回体１２０とともに旋回する。従って、ＧＰＳコンパス８２１により検出される向き（方位）は、上部旋回体１２０の向きに相関する。なお、本実施例では、一例として、ＧＰＳコンパス８２１は、上部旋回体１２０の向きとして、ブーム１４１を基準とした上部旋回体１２０の中心軸Ｌ０（図４参照）に沿った前方の方位を算出する。すなわち、中心軸Ｌ０が基線の方向である。なお、上部旋回体向き算出部１５２０の算出機能は、ＧＰＳコンパス８２１により実現されてもよい。

下部走行体向き算出部１５２１は、センサ類８２のうちの、回転角センサ８２２からの旋回角度情報に基づいて、下部走行体１１０の向きを算出する。なお、回転角センサ８２２は、旋回機構１３０の旋回軸まわりの旋回角度（上部旋回体１２０と下部走行体１１０との間の旋回軸まわりの相対的な旋回角度）を検出する。ここで、回転角センサ８２２が検出する旋回角度は、所定の基準位置（ゼロ点）からの回転角度である。本実施例では、一例として、所定の基準位置は、上部旋回体１２０の中心軸Ｌ０と、下部走行体１１０の中心軸Ｌ１とが重なる位置である。なお、下部走行体１１０の中心軸Ｌ１は、左右のクローラの回転軸に直交する関係である。例えば、図４の右側の状態では、上部旋回体１２０の中心軸Ｌ０が下部走行体１１０の中心軸Ｌ１に対して、０度より大きい角度αをなしている。この場合、回転角センサ８２２は、係る角度αを検出する。以下、旋回機構１３０の旋回軸まわりの旋回角度とは、中心軸Ｌ１に対する中心軸Ｌ０のなす角度αを表すものとする。

下部走行体向き算出部１５２１は、上部旋回体１２０の向きを、旋回機構１３０の旋回軸まわりの旋回角度に対応した分だけ補正することで、下部走行体１１０の向きを算出する。例えば、図４の右側の状態では、上部旋回体１２０の中心軸Ｌ０が下部走行体１１０の中心軸Ｌ１に対して角度αをなしている。この場合、上部旋回体１２０の向き（方位）が真北であるとき、下部走行体１１０の向きは、角度αに対応する方位分だけ西方向に算出（補正）される。

このようにして、本実施例では、向き情報取得部１５２により取得される向き情報は、上部旋回体向き算出部１５２０により算出される上部旋回体１２０の向きを表す情報（以下、「上部旋回体向き情報」とも称する）と、下部走行体向き算出部１５２１により算出される下部走行体１１０の向きを表す情報（以下、「下部走行体向き情報」とも称する）と、を含む。

通信処理部１５３は、位置情報取得部１５０、姿勢情報取得部１５１、及び向き情報取得部１５２により取得される各種情報等を、飛行制御装置５０に送信する。例えば、通信処理部１５３は、飛行制御装置５０からの要求に応じて、所定周期ごとに最新の情報を飛行制御装置５０に送信してもよい。

また、通信処理部１５３は、無人飛行機４０から画像データを受信する。画像データは、撮像装置４１０により撮像される前方環境画像のデータである。

画像出力処理部１５４は、通信処理部１５３により取得される画像データに基づいて、画像出力装置８０上に前方環境画像を出力する。これにより、作業機械１の操作者は、画像出力装置８０上の前方環境画像から、例えば直視では見えない作業現場の状況等を把握できる。

操作情報取得部１５５は、操作装置９２６を介して入力される各種の操作情報（操作入力）を取得する。

アクチュエータ制御部１５６は、操作装置９２６を介して入力される各種の操作情報に基づいて、各種の指令値を発生する。例えば、アクチュエータ制御部１５６は、操作装置９２６を介して入力される各種の操作情報に基づいて、メインポンプ９１４からの吐出圧や吐出量等を制御してよい。

制御装置４００は、図３に示すように、機体情報取得部４０１と、目標飛行状態設定部４０２と、機体制御部４０３と、通信処理部４０４とを含む。機体情報取得部４０１のような各機能部は、図２に示したＣＰＵ１１のようなＣＰＵが、図２に示したＲＯＭ１３のような記憶装置内のプログラムを実行することで、実現できる。

機体情報取得部４０１は、無人飛行機４０の機体に係る各種状態を表す機体情報を取得する。機体情報は、無人飛行機４０の位置情報や、無人飛行機４０の姿勢情報等を含んでよい。無人飛行機４０の位置情報は、例えば、緯度、経度、及び高度で表現されてよい。なお、このような無人飛行機４０の位置情報は、ＧＰＳセンサから取得可能である。無人飛行機４０の姿勢情報は、無人飛行機４０のヨー軸、ロール軸、及びピッチ軸の各軸まわりの回転に関する情報を含んでよい。なお、このような無人飛行機４０の姿勢情報は、無人飛行機４０に搭載される慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）のようなセンサから取得可能である。

目標飛行状態設定部４０２は、飛行制御装置５０からの制御情報（指令）に基づいて、無人飛行機４０の目標飛行状態を設定する。目標飛行状態は、目標飛行位置と目標飛行姿勢とを含む。本実施例では、制御情報が後述のように目標飛行位置と目標飛行姿勢とを含み、この場合、目標飛行状態設定部４０２は、当該目標飛行位置と目標飛行姿勢をそのまま利用してよい。ただし、変形例では、上述したように、目標飛行状態設定部４０２は、飛行制御装置５０に代えて、目標飛行位置及び目標飛行姿勢のうちの少なくとも一方を算出してもよい。

機体制御部４０３は、目標飛行状態設定部４０２により設定された目標飛行状態が実現されるように無人飛行機４０の各種アクチュエータ（図示せず）を制御する。なお、無人飛行機４０の各種アクチュエータは、複数の羽根を回転させるための電動モータ等を含む。

通信処理部４０４は、機体情報取得部４０１により取得される機体情報等を、飛行制御装置５０に送信する。例えば、通信処理部４０４は、飛行制御装置５０からの要求に応じて、所定周期ごとに最新の機体情報を飛行制御装置５０に送信してもよい。

また、通信処理部４０４は、撮像装置４１０により撮像される前方環境画像のデータを、作業機械１に送信する。例えば、通信処理部４０４は、飛行制御装置５０からの要求に応じて、所定周期ごとに前方環境画像のデータを飛行制御装置５０に送信してもよい。

飛行制御装置５０は、図３に示すように、情報取得部５１０と、モード切替部５１１と、相対位置関係判定部５１２と、飛行制御部５１４とを含む。情報取得部５１０のような各機能部は、図２に示したＣＰＵ１１のようなＣＰＵが、図２に示したＲＯＭ１３のような記憶装置内のプログラムを実行することで、実現できる。

情報取得部５１０は、飛行制御部５１４の各種制御に必要な各種情報を取得する。本実施例では、一例として、情報取得部５１０は、作業機械１の位置情報、作業機構１４０に係る姿勢情報、及び向き情報と、無人飛行機４０の機体情報とを取得する。姿勢情報は、例えば、破砕機１４５の位置を導出する際に利用可能な姿勢情報であり、例えばアーム１４３、ブーム１４１等の姿勢を表す。また、情報取得部５１０は、作業機械１の操作情報（特にレバー９２６Ｃに係る操作情報）を適宜取得する。なお、作業機械１の位置情報、姿勢情報、及び向き情報は、作業機械１の制御装置１０の通信処理部１５３から通信により取得できる。また、無人飛行機４０の機体情報は、無人飛行機４０の制御装置４００の通信処理部４０４から取得できる。

モード切替部５１１は、無人飛行機４０に係る動作モードを複数のモード間で切り替える。複数のモードは、作業機械１の周辺を監視可能な前方環境画像を取得する第１動作モードと、破砕機１４５（作業装置の一例）による作業を支援可能な前方環境画像を取得する第２動作モードとを含む。また、第１動作モードは、下部走行体１１０の向きを基準として目標飛行位置等が設定される動作モード（以下、「下部追従モード」とも称する）と、上部旋回体１２０の向きを基準として目標飛行位置等が設定される動作モード（以下、「上部追従モード」とも称する）とを含む。

モード切替部５１１は、ユーザにより入力されうるモード切替入力に応答して、動作モードを切り替えてもよい。この場合、モード切替入力は、ボタンの操作による入力や、音声入力、ジェスチャ入力等、任意である。制御装置１０は、モード切替入力があった場合、飛行制御装置５０にモード切替要求を送信する。なお、モード切替要求は、切替先の動作モード（例えば第１動作モードや第２動作モード）を含んでよい。この場合、モード切替部５１１は、当該モード切替要求に応答して、動作モードを切り替えてもよい。

モード切替部５１１は、上述のモード切替入力に応答することに代えて又は加えて、上述のモード切替入力に関連しない所定の切替条件が満たされると、自動的に動作モードを切り替えてもよい。例えば、モード切替部５１１は、操作装置９２６において生成される各種の操作情報（操作信号）に基づいて、動作モードを切り替えてもよい。具体的には、下部走行体１１０を走行させるための操作信号が入力された場合は第１動作モードに切り替えてよい。これは、第１動作モードで得られる前方環境画像は、作業機械１の走行時に有用であるためである。また、モード切替部５１１は、破砕機１４５（先端アタッチメント）の操作信号が入力された場合は第２動作モードに切り替えてよい。これは、第２動作モードで得られる前方環境画像は、破砕機１４５の操作の際に有用であるためである。なお、その他の操作として、上部旋回体１２０の旋回操作、ブーム１４１の操作、及びアーム１４３の操作があるが、これらの３つの操作が行われる状況は、第１動作モード及び第２動作モードのいずれも好適となりうる。従って、これらの３つの操作に係る操作信号が入力されても動作モードは維持されてよい。なお、このような所定の切替条件に基づいて動作モードが自動的に切り替わる自動モードと、上述したようにユーザによるモード切替入力に基づいて動作モードが切り替わるマニュアルモードとが形成可能な構成においては、ユーザにより自動モードかマニュアルモードかが選択可能とされてよい。

相対位置関係判定部５１２は、情報取得部５１０により取得された作業機械１の位置情報及び無人飛行機４０の位置情報（機体情報の一部）に基づいて、作業機械１に対する無人飛行機４０の相対位置関係を把握（判定）する。作業機械１に対する無人飛行機４０の相対位置関係は、高度を考慮した位置関係（すなわち３次元の位置関係）であってもよいし、高度を考慮しない位置関係であってもよい。高度を考慮しない位置関係としては、例えば、所定の基準平面（例えば地表面）に投影したときの位置関係であってよい。

また、作業機械１に対する無人飛行機４０の相対位置関係は、作業機械１の所定部位に対する無人飛行機４０の相対位置関係であってよい。この場合、所定部位は、作業機械１の下部走行体１１０の部位（例えば重心付近の部位）であってもよいし、上部旋回体１２０の部位であってもよいし、旋回機構１３０の部位（例えば破砕機１４５）であってもよい。また、所定部位は、動作モード等に応じて自動的に変化されてもよい。なお、以下では、作業機械１に対する無人飛行機４０の相対位置関係は、単に「相対位置関係」とも称する。

飛行制御部５１４は、情報取得部５１０により取得された各種情報に基づいて、無人飛行機４０に送信する制御情報（指令）を生成する。制御情報は、上述したように、無人飛行機４０の目標飛行状態設定部４０２に目標飛行状態を設定させるための情報である。

飛行制御部５１４は、ホバリング開始条件が成立すると、無人飛行機４０のホバリングが開始されるように、制御情報を生成する。ホバリング開始条件は、例えば、無人飛行機４０の位置が目標飛行位置に到達した場合に満たされてよい。なお、無人飛行機４０の位置が目標飛行位置に到達した否かは、例えば、情報取得部５１０により取得される機体情報に基づいて判断できる。

飛行制御部５１４は、例えば、制御情報を変化させないことで（これに伴い無人飛行機４０の目標飛行位置を変化させないことで）、制御装置４００にホバリングを開始させてもよい。あるいは、飛行制御部５１４は、ホバリングを開始させる指令（例えば、ホバリングモードのようなモードを指示する制御情報）を無人飛行機４０に送信することで、制御装置４００にホバリングを開始させてもよい。

本実施例では、飛行制御部５１４は、無人飛行機４０のホバリング中、相対位置関係が基準の相対位置関係から変化した場合でも、基準の相対位置関係からの変化量が所定閾値Ｔｈ１以下である場合は、無人飛行機４０のホバリングを維持するためのホバリング維持制御を実行してもよい。この場合、基準の相対位置関係は、無人飛行機４０が目標飛行位置に到達した時点又はその前後の相対位置関係であってよく、例えば、ホバリングが開始されたときの相対位置関係であってよい。あるいは、基準の相対位置関係は、ユーザにより設定されてもよい。この場合、例えば、基準の相対位置関係は、ユーザにより所定入力がなされた時点の相対位置関係であってよい。なお、無人飛行機４０がホバリング中であるか否かは、例えば、情報取得部５１０により取得される機体情報に基づいて判断できる。

以下、このようなホバリング維持制御との対比として、相対位置関係の変化に追従して無人飛行機４０の目標飛行位置を動的に変化させる制御を、「位置追従制御」とも称する。

本実施例では、飛行制御部５１４は、目標飛行位置算出部５１４１と、目標飛行姿勢算出部５１４２とを含む。飛行制御部５１４は、目標飛行位置算出部５１４１により算出される目標飛行位置と、目標飛行姿勢算出部５１４２により算出される目標飛行姿勢とに基づいて、これらを含む制御情報を生成する。

本実施例では、目標飛行位置は、動作モードに応じて異なる態様で算出される。

具体的には、第１動作モードのうちの、下部追従モードでは、目標飛行位置（すなわち下部追従モード用の目標飛行位置）は、下部走行体１１０の後方位置に設定される。なお、目標飛行位置は、例えば、緯度、経度、及び高度で表現されてよい。図４Ａには、第１動作モードに係る無人飛行機４０の位置（Ｐ２）と、そのときの撮像装置４１０の画角Ｒ２が模式的に示されている。

この場合、目標飛行位置に係る緯度及び経度は、例えば、作業機械１の下部走行体１１０の前後軸上の位置であって、作業機械１の下部走行体１１０の後部に対して所定距離Ｄ１だけ後方に設定される。下部走行体１１０の前後軸上の位置は、上面視で、上述した下部走行体１１０の中心軸Ｌ１上の位置に対応する。従って、下部走行体１１０の前後軸は、上述した向き情報のうちの、上述した下部走行体向き情報から特定可能である。所定距離Ｄ１は、例えば２０ｍ程度であってよい。また、所定距離Ｄ１は、ユーザにより可変とされてもよい。また、目標飛行位置に係る緯度及び経度は、作業機械１の下部走行体１１０の前後軸に対して横方向に所定距離Ｄ２だけオフセットするように設定されてもよい。所定距離Ｄ２は、例えば作業機械１に対して目標飛行位置が後方４５度程度になるように、例えば２０ｍ程度であってもよい。この場合も、所定距離Ｄ２は、ユーザにより可変とされてもよい。

また、第１動作モードのうちの、上部追従モードでは、目標飛行位置（すなわち上部追従モード用の目標飛行位置）に係る緯度及び経度は、上部旋回体１２０の旋回に応じて変化し、上部旋回体１２０の中心軸Ｌ０上の後方位置（旋回機構１３０の旋回軸よりも後方）に設定される。あるいは、上部追従モードでは、目標飛行位置は、旋回機構１３０の旋回軸上（すなわち旋回機構１３０の真上）に設定されてもよい。

なお、目標飛行位置は、撮像装置４１０により作業機械１全体が含まれる前方環境画像が得られるような位置であればよく、撮像装置４１０の画角等に応じて適合されてよい。また、変形例では、下部追従モードや上部追従モードとは無関係に、目標飛行位置は、作業機械１の旋回機構１３０の旋回軸上（すなわち旋回機構１３０の真上）や、それより前方に設定されてもよい。

第２動作モードでは、目標飛行位置（すなわち第２動作モード用の目標飛行位置）に係る緯度及び経度は、撮像装置４１０から視て破砕機１４５の先端部が画角内に入るような飛行位置であり、例えば、上面視で、作業機械１の側方又は前方に設定されてよい。図４Ａには、第２動作モードに係る無人飛行機４０の位置（目標飛行位置Ｐ１）と、そのときの撮像装置４１０の画角Ｒ１が模式的に示されている。ここで、破砕機１４５の先端部の位置は、アーム１４３等の動きに加えて、上部旋回体１２０の旋回に応じても変化する。従って、第２動作モードでの目標飛行位置は、これらの各種可動部材の動きに応じて設定されてよい。例えば、目標飛行位置算出部５１４１は、上面視で上部旋回体１２０の中心軸Ｌ０に対して直交する横方向に所定距離Ｄ３（図示せず）だけ離れ、かつ、旋回機構１３０の旋回軸よりも所定距離Ｄ４（図示せず）だけ前方に目標飛行位置に係る緯度及び経度を設定してよい。この場合も、所定距離Ｄ３及びＤ４は、ユーザにより可変とされてもよい。

また、目標飛行位置に係る高度は、一定（例えば３０ｍから４０ｍの範囲内）であってもよい。ただし、目標飛行位置に係る高度は、同様に、ユーザにより可変とされてもよいし、動作モード等に応じて自動的に変化されてもよい。例えば、第２動作モードでは、ブーム１４１の状態（例えば起伏角度）に基づいて、ブーム１４１が起伏しているほど高くなる態様で、変化されてもよい。

目標飛行姿勢は、例えば、ヨー軸、ロール軸、及びピッチ軸の各軸まわりの回転に関するパラメータで表現されてよい。目標飛行姿勢は、例えば、無人飛行機４０の機体の前後軸が作業機械１の下部走行体１１０の前後軸に対して平行となり、かつ、無人飛行機４０の機体の前後軸が水平面内に位置するように設定されてもよい。同様に、目標飛行姿勢に係るパラメータは、ユーザにより可変とされてもよいし、動作モード等に応じて自動的に変化されてもよい。あるいは、目標飛行姿勢は、例えば、無人飛行機４０の機体の前後軸がアーム１４３の延在方向に対して平行となり、かつ、無人飛行機４０の機体の前後軸が水平面内に位置するように設定されてもよい。

例えば、第１動作モードのうちの、上部追従モードでの目標飛行姿勢（すなわち上部追従モード用の目標飛行姿勢）は、ヨー軸まわりに関しては、上面視で、撮像装置４１０の光軸が上部旋回体１２０の中心軸Ｌ０に平行となるように設定されてもよい。また、上部追従モードでの目標飛行姿勢は、ピッチ軸まわりに関しては、側面視で、撮像装置４１０の光軸が上部旋回体１２０の中心（中心軸Ｌ０に沿った中心）を通るように設定されてもよい。

また、第１動作モードのうちの、下部追従モードでの目標飛行姿勢（すなわち下部追従モード用の目標飛行姿勢）は、ヨー軸まわりに関しては、上面視で、撮像装置４１０の光軸が下部走行体１１０の中心軸Ｌ１に平行となるように設定されてもよい。また、下部追従モードでの目標飛行姿勢は、ピッチ軸まわりに関しては、側面視で、撮像装置４１０の光軸が下部走行体１１０の中心（中心軸Ｌ１に沿った中心）付近を通るように設定されてもよい。

また、第２動作モードでは、目標飛行姿勢は、撮像装置４１０の画角内に破砕機１４５が収まるように設定されてよい。この場合、目標飛行姿勢は、撮像装置４１０の画角内のほぼ中央部に破砕機１４５が収まるように設定されてよい。また、目標飛行姿勢は、撮像装置４１０の画角内に破砕機１４５及び作業対象物（例えば解体作業の場合は、解体すべき物体）が収まるように設定されてもよい。例えば、簡易的には、目標飛行姿勢は、撮像装置４１０の画角内に破砕機１４５の先端部が収まるように設定されてよい。この場合、破砕機１４５の先端部の位置を算出し、算出した位置を撮像装置４１０の光軸が通るように無人飛行機４０の目標飛行姿勢が算出されてもよい。

なお、ロール軸まわりの目標飛行姿勢は、いずれの動作モードにおいても、基本的に、無人飛行機４０の機体が略水平となるように設定されてよい。

図５は、一例として、下部追従モードでの目標飛行位置に係る緯度及び経度に関する設定方法の説明図である。下部追従モードの場合、目標飛行位置に係る緯度及び経度は、上述したように、作業機械１の下部走行体１１０の後方に設定される。従って、図５の左側に示す中立状態のように、上部旋回体１２０の中心軸Ｌ０と下部走行体１１０の中心軸Ｌ１が一致する場合であっても、図５の右側に示す旋回状態のように、上部旋回体１２０の中心軸Ｌ０と下部走行体１１０の中心軸Ｌ１が一致しない場合であっても、目標飛行位置に係る緯度及び経度は、同じように下部走行体１１０の後方に対応する。

このようにして、本実施例では、下部追従モードの場合、上述したように、目標飛行位置に係る緯度及び経度を作業機械１の下部走行体１１０の後方に設定するので、下部走行体１１０の中心軸Ｌ１上の後方からの前方環境画像（無人飛行機４０の撮像装置４１０からの前方環境画像）を、無人飛行機４０から安定的に提供できる。この際、目標飛行姿勢を上述したように適切に設定することで、作業機械１及びその周辺を捕捉した有用な前方環境画像（すなわち、周辺監視機能の観点から有用性の高い前方環境画像）を得ることができる。

なお、下部追従モードの場合、本実施例によれば、上述したように、作業機械１の下部走行体１１０の向きに応じて目標飛行位置に係る緯度及び経度が設定されるので、旋回状態で作業機械１を走行させると、無人飛行機４０の撮像装置４１０により提供される前方環境画像は、当該作業機械１の走行動作に追従したものとなる。従って、下部追従モードの場合、上部旋回体１２０が旋回した状態で下部走行体１１０が走行した場合でも、無人飛行機４０の撮像装置４１０により提供される前方環境画像の有用性（ユーザにとっての有用性）を効果的に高めることができる。なお、このような観点から、作業機械１が走行状態である場合は、下部追従モードが実現され、作業機械１が走行状態でない場合は、他の動作モード（例えば上部追従モードや第２動作モード）が実現されてもよい。

ところで、無人飛行機４０を用いて作業機械１の周辺監視をする場合、無人飛行機４０の目標飛行位置は作業機械１の真上又は後方位置が適当であるのに対して、例えば解体作業のような作業を支援する場合、無人飛行機４０の目標飛行位置は作業機械の側方が適当である。

この点、本実施例によれば、上述したように、無人飛行機４０の動作モードを第１動作モードと第２動作モードとの間で適切に切り替えるので、周辺監視用と作業支援用のそれぞれに好適な前方環境画像を提供できる。

次に、図６Ａ以降を参照して、本実施例の動作例について説明する。

図６Ａは、目標飛行位置の設定に関連して飛行制御装置５０により実行される処理の一例を示す概略フローチャートである。図６Ａに示す処理は、例えば所定周期ごとに繰り返し実行されてよい。なお、図６Ａ以降の処理フロー図（フローチャート）においては、各ステップの入力と出力の関係を損なわない限り、各ステップの処理順序を入れ替えてもよい。

ステップＳ６では、飛行制御装置５０は、無人飛行機４０の動作モードを設定（切り替える）ためのモード切替処理を実行する。モード切替処理の一例は、図６Ｂを参照して後述する。

ステップＳ７では、飛行制御装置５０は、無人飛行機４０の目標飛行位置及び目標飛行姿勢を設定するための目標飛行位置／姿勢設定処理を実行する。目標飛行位置／姿勢設定処理の一例は、図６Ｃを参照して後述する。

ステップＳ８では、飛行制御装置５０は、ステップＳ７（後述のステップＳ３２又はステップＳ３４）で得た目標飛行位置及び目標飛行姿勢を指示するための制御情報を生成し、生成した制御情報を無人飛行機４０に送信する。

図６Ｂは、モード切替処理の一例を示す概略フローチャートである。図７は、モード遷移処理の説明図である。

ステップＳ１０では、飛行制御装置５０は、モード遷移中フラグが“０”であるか否かを判定する。モード遷移中フラグは、動作モードが遷移している間（後述するモード遷移処理中）だけ“１”となり、初期値は“０”である。判定結果が“ＹＥＳ”の場合、ステップＳ１１に進み、それ以外の場合（モード遷移中フラグが“１”である場合）は、ステップＳ１５に進む。

ステップＳ１１では、飛行制御装置５０は、モード切替条件が成立したか否かを判定する。モード切替条件は、例えば上述したモード切替入力が処理待ち状態である場合に成立する。モード切替入力の処理待ち状態とは、モード切替入力が発生しているが、動作モードの切替がまだ実現されていない状態である。なお、モード切替条件は、自動的に判定されてもよい。例えば、作業機械１が作業位置に移動している間は、第１動作モードが実現され、作業機械１が作業位置に到着しかつ破砕機１４５が作業対象物に対して移動した場合に、第１動作モードから第２動作モードへの遷移に係るモード切替条件が成立してもよい。あるいは、作業機械１が作業位置に到着し、上部旋回体１２０が旋回した場合に、第１動作モードから第２動作モードへの遷移に係るモード切替条件が成立してもよい。判定結果が“ＹＥＳ”の場合、ステップＳ１２に進み、それ以外の場合は、今回周期の処理は終了する。

ステップＳ１２では、飛行制御装置５０は、即座のモード切替が可能であるか否かを判定する。例えば、動作モードの変化に伴って生じる無人飛行機４０の移動（目標飛行位置の変化に伴う移動）中に、無人飛行機４０と作業機械１（例えば作業機械１のブーム１４１）が接触又は近接する場合、即座のモード切替が可能でないと判定されてよい。判定結果が“ＹＥＳ”の場合、ステップＳ１３に進み、それ以外の場合は、ステップＳ１５に進む。

ステップＳ１３では、飛行制御装置５０は、処理待ち状態のモード切替入力にしたがって動作モードの切替を実現する。例えば、モード切替入力が、第１動作モードから第２動作モードへの切替を要求する入力である場合、飛行制御装置５０は、動作モードを第１動作モードから第２動作モードへと切り替える。

ステップＳ１４では、飛行制御装置５０は、処理待ち状態のモード切替入力を処理済みの状態とする。

ステップＳ１５では、飛行制御装置５０は、モード遷移処理の内容を設定し、かつ、モード遷移中フラグを“１”にセットする。モード遷移処理は、無人飛行機４０と作業機械１とが接触又は近接しないような移動態様で、無人飛行機４０を移動させるための処理である。本実施例では、一例として、第１動作モードのうちの、下部追従モードと、第２動作モードとの間のモード切替入力の場合、モード遷移処理は、下部追従モードと第２動作モードとの間に、上部追従モードを介在（経由）させる処理を含む。なお、図７には、下部追従モードから第２動作モードへの切替の際の無人飛行機４０の動きが模式的に示される。図７では、下部追従モードに係る目標飛行位置Ｐ２１の無人飛行機４０は、モード遷移処理によって、まず、上部追従モードに係る目標飛行位置Ｐ２２へと移動し（矢印Ｒ７０参照）、ついで、第２動作モードに係る目標飛行位置Ｐ１へと移動する（矢印Ｒ７１参照）。これにより、図７に点線の矢印Ｒ７３に示すように下部追従モードから第２動作モードへと直接的に遷移する（すなわち目標飛行位置Ｐ２１から目標飛行位置Ｐ１へと最短距離で移動する）場合に生じうる不都合（例えばブーム１４１と無人飛行機４０が接触又は近接するような不都合）を防止できる。

なお、他の実施例では、モード遷移処理は、無人飛行機４０の上昇を伴ってもよい。この場合、無人飛行機４０の高さは、その時点でのブーム１４１の最も高い部位を基準として決定されてもよいし、ブーム１４１の可動範囲内における最大高さを基準として決定されてもよい。例えば、下部追従モードに係る目標飛行位置Ｐ２１の無人飛行機４０は、モード遷移処理によって、まず、所定高さまで上昇し、ついで、図７に点線の矢印Ｒ７３に示すように下部追従モードから第２動作モードへと直接的に遷移する（すなわち目標飛行位置Ｐ２１から目標飛行位置Ｐ１へと最短距離で移動する）。あるいは、下部追従モードに係る目標飛行位置Ｐ２１の無人飛行機４０は、モード遷移処理によって、まず、所定高さまで上昇し、ついで、上部追従モードに係る目標飛行位置Ｐ２２へと移動し（矢印Ｒ７０参照）、その後第２動作モードに係る目標飛行位置Ｐ１へと移動してもよい（矢印Ｒ７１参照）。

ステップＳ１６では、飛行制御装置５０は、ステップＳ１５で決定した内容にしたがってモード遷移処理を実行する。

ステップＳ１７では、飛行制御装置５０は、モード遷移処理が完了したか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ１８に進み、それ以外の場合は、今回周期の処理を終了する。

ステップＳ１８では、飛行制御装置５０は、処理待ち状態のモード切替入力を処理済みの状態とする。

ステップＳ１９では、飛行制御装置５０は、モード遷移中フラグを“０”にリセットする。

このようにして図６Ｂに示す処理によれば、モード遷移処理を介して動作モードが切り替えられるので、安全な態様で動作モードの切替を実現できる。

なお、変形例では、モード切替入力にしたがって動作モードの切替を実行するのに先立って、ブーム１４１等が自動的に退避位置（例えば最も低い位置）に移動されてもよい。この場合、例えば、下部追従モードに係る目標飛行位置Ｐ２１の無人飛行機４０は、まず、作業機械１の最も高い位置に応じた所定高さまで上昇し、ついで、図７に点線の矢印Ｒ７３に示すように下部追従モードから第２動作モードへと直接的に遷移してもよい（すなわち目標飛行位置Ｐ２１から目標飛行位置Ｐ１へと最短距離で移動してもよい）。

あるいは、モード切替入力にしたがって動作モードの切替を実行している間、ブーム１４１等の作業機構１４０の動作が一時的に禁止されてもよい。この場合、例えば、下部追従モードに係る目標飛行位置Ｐ２１の無人飛行機４０は、まず、現時点のブーム１４１の高さに応じた所定高さまで上昇し、ついで、図７に点線の矢印Ｒ７３に示すように下部追従モードから第２動作モードへと直接的に遷移してもよい（すなわち目標飛行位置Ｐ２１から目標飛行位置Ｐ１へと最短距離で移動してもよい）。

図６Ｃは、目標飛行位置／姿勢設定処理の一例を示す概略フローチャートである。

ステップＳ３０では、飛行制御装置５０は、動作モードが第１動作モードあるか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ３２に進み、それ以外の場合は、ステップＳ３４に進む。

ステップＳ３２では、飛行制御装置５０は、第１動作モード用の目標飛行位置／姿勢算出処理を実行する。第１動作モード用の目標飛行位置／姿勢算出処理の一例は、図６Ｄを参照して後述する。

ステップＳ３４では、飛行制御装置５０は、第２動作モード用の目標飛行位置／姿勢算出処理を実行する。第２動作モード用の目標飛行位置／姿勢算出処理の一例は、図６Ｅを参照して後述する。

図６Ｄは、第１動作モード用の目標飛行位置／姿勢算出処理の一例を示す概略フローチャートである。

ステップＳ４０では、飛行制御装置５０は、制御装置１０から作業機械１の位置情報及び上部旋回体１２０の上部旋回体向き情報を取得する。作業機械１の位置情報及び上部旋回体１２０の上部旋回体向き情報は、それぞれ、上述したように制御装置１０の位置情報取得部１５０及び向き情報取得部１５２により取得され、飛行制御装置５０に送信される。

ステップＳ４２では、飛行制御装置５０は、制御装置１０から作業機械１の姿勢情報を取得する。姿勢情報は、破砕機１４５の位置に影響する情報（先端アタッチメント関連の姿勢情報）であり、上述したように制御装置１０の姿勢情報取得部１５１により取得され、飛行制御装置５０に送信される。

ステップＳ４４では、飛行制御装置５０は、ステップＳ４０で得た位置情報及び上部旋回体向き情報と、ステップＳ４２で得た姿勢情報と基づいて、破砕機１４５の先端部の位置（先端アタッチメント位置）を算出する。破砕機１４５の先端部の位置は、上部旋回体１２０に対して相対的に決まる。具体的には、上部旋回体１２０に対する破砕機１４５の先端部の位置は、ブーム１４１及びアーム１４３のそれぞれの姿勢に応じて一意に定まる。なお、変形例では、破砕機１４５の先端部の位置に代えて、破砕機１４５の他の部位の位置や、アーム１４３の先端部の位置が算出されてもよい。これは、これらの位置であっても、破砕機１４５の先端部の位置と略同等に扱えるためである。

ステップＳ４６では、飛行制御装置５０は、ステップＳ４４で算出した破砕機１４５の先端部の位置（先端アタッチメント位置）に基づいて、当該先端部が撮像装置４１０の画角内の中央部内又はその近傍に位置するように目標飛行位置（所定位置の一例）及び目標飛行姿勢を算出する。この場合、目標飛行位置は、上述したように、破砕機１４５の先端部周辺に設定され、目標飛行姿勢は、上述したように、当該目標飛行位置に無人飛行機４０が位置するときに撮像装置４１０の画角内に破砕機１４５及び作業対象物（例えば分解対象の物体）が収まるように設定されてよい。

このようにして図６Ｄに示す処理によれば、第１動作モード用の目標飛行位置及び目標飛行姿勢を適切に算出できる。この結果、破砕機１４５による作業を支援可能な前方環境画像として、破砕機１４５の先端部（及び作業対象物）を含む前方環境画像を取得できる。

図６Ｅは、第２動作モード用の目標飛行位置／姿勢算出処理の一例を示す概略フローチャートである。

ステップＳ５０では、飛行制御装置５０は、制御装置１０から作業機械１の位置情報を取得する。作業機械１の位置情報及び上部旋回体１２０の上部旋回体向き情報は、それぞれ、上述したように制御装置１０の位置情報取得部１５０及び向き情報取得部１５２（上部旋回体向き算出部１５２０）により取得され、飛行制御装置５０に送信される。

ステップＳ５２では、飛行制御装置５０は、動作モードが、第１動作モードのうちの、下部追従モードであるか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ５４に進み、それ以外の場合（すなわち動作モードが上部追従モードである場合）は、ステップＳ５８に進む。

ステップＳ５４では、飛行制御装置５０は、制御装置１０から作業機械１の下部走行体向き情報を取得する。作業機械１の下部走行体向き情報は、上述したように制御装置１０の向き情報取得部１５２（下部走行体向き算出部１５２１）により取得され、飛行制御装置５０に送信される。

ステップＳ５６では、飛行制御装置５０は、ステップＳ５０で得た作業機械１の位置情報と、ステップＳ５４で得た下部走行体向き情報とに基づいて、下部追従モード用の目標飛行位置及び目標飛行姿勢を算出する。下部追従モード用の目標飛行位置は、上述したとおりである。例えば、下部追従モード用の目標飛行位置は、上面視で下部走行体１１０の中心軸Ｌ１（図４参照）上の位置であって下部走行体１１０の後方の位置として算出されてもよい。この場合、飛行制御装置５０は、下部追従モード用の目標飛行姿勢として所定の目標飛行姿勢を設定してもよい。

ステップＳ５８では、飛行制御装置５０は、制御装置１０から作業機械１の上部旋回体向き情報を取得する。作業機械１の上部旋回体１２０の上部旋回体向き情報は、上述したように制御装置１０の向き情報取得部１５２（上部旋回体向き算出部１５２０）により取得され、飛行制御装置５０に送信される。

ステップＳ６０では、飛行制御装置５０は、ステップＳ５０で得た作業機械１の位置情報と、ステップＳ５８で得た上部旋回体向き情報とに基づいて、上部追従モード用の目標飛行位置及び目標飛行姿勢を算出する。上部追従モード用の目標飛行位置は、上述したとおりである。例えば、上部追従モード用の目標飛行位置は、上面視で上部追従モードの中心軸Ｌ０（図４参照）上の位置であって上部旋回体１２０の後方の位置（又は旋回機構１３０の旋回軸付近の位置）として算出されてもよい。この場合、飛行制御装置５０は、上部追従モード用の目標飛行姿勢として所定の目標飛行姿勢を設定してもよい。

このようにして図６Ｅに示す処理によれば、第２動作モード用の目標飛行位置及び目標飛行姿勢を適切に算出できる。この結果、作業機械１による作業を支援可能な画像として、作業機械１の先端部と作業対象物とを含む前方環境画像を取得できる。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

１ 作業機械
８ 電装系装置
１０ 制御装置
４０ 無人飛行機
５０ 飛行制御装置
５２ 遠隔操作装置
８０ 画像出力装置
８２ センサ類
８２１ ＧＰＳコンパス
８２２ 回転角センサ
１１０ 下部走行体
１２０ 上部旋回体
１２２ キャブ（運転室）
１３０ 旋回機構
１４０ 作業機構
１４１ ブーム
１４２ ブームシリンダ
１４３ アーム
１４４ アームシリンダ
１４５ 破砕機
１４６ バケットシリンダ
１４７ 破砕機用シリンダ
１５０ 位置情報取得部
１５１ 姿勢情報取得部
１５２ 向き情報取得部
１５２０ 上部旋回体向き算出部
１５２１ 下部走行体向き算出部
１５３ 通信処理部
１５４ 画像出力処理部
４００ 制御装置
４０１ 機体情報取得部
４０２ 目標飛行状態設定部
４０３ 機体制御部
４０４ 通信処理部
４１０ 撮像装置
５１０ 情報取得部
５１１ モード切替部
５１２ 相対位置関係判定部
５１４ 飛行制御部
５１４１ 目標飛行位置算出部
５１４２ 目標飛行姿勢算出部

Claims (5)

1. 解体作業機械と、撮像装置を搭載した飛行体との位置関係を制御する作業支援装置であって、
   前記解体作業機械は、
   下部走行体と、
   前記下部走行体に搭載される上部旋回体と、
   前記上部旋回体に設けられる作業機構と、
   前記撮像装置が撮像した画像を表示する表示装置とを有し、
   前記作業機構が
   前記上部旋回体に起伏可能に装着されるブームと、
   前記ブームの先端に回動可能に連結されるアームと、
   前記アームの先端に取り付けられた破砕機と、を備え、
   当該作業支援装置は、前記飛行体と通信可能であり、前記飛行体に係る動作モードを複数のモード間で切り替えるモード切替部を有し、
   前記複数のモードは、前記解体作業機械の周辺を監視可能な前記画像を取得する第１動作モードと、前記作業機構及び前記上部旋回体を含む旋回部分の側方から前記破砕機による作業を支援可能な破砕機と作業対象物とを含む前記画像を取得する第２動作モードとを含む、作業支援装置。
2. 当該作業支援装置は、前記第１動作モードにおいて、前記飛行体を前記解体作業機械の後方位置でホバリングさせ、前記解体作業機械の周辺を監視可能な前記画像として、前記解体作業機械全体と前記解体作業機械の周辺とを含む前記画像を取得する、請求項１に記載の作業支援装置。
3. 当該作業支援装置は、前記第２動作モードにおいて、前記飛行体を前記作業機構及び前記上部旋回体を含む旋回部分の側方の位置でホバリングさせ、前記破砕機による作業を支援可能な前記画像を取得する、請求項１又は２に記載の作業支援装置。
4. 前記第１動作モードは、前記下部走行体を基準として前記飛行体の目標飛行位置を決定する下部基準モードを含み、
   当該作業支援装置は、前記モード切替部が前記第１動作モードと前記第２動作モードとの間の切替を行う際、前記上部旋回体を基準として前記飛行体の目標飛行位置を決定する遷移処理を実行する、請求項１から３のうちのいずれか１項に記載の作業支援装置。
5. 前記第１動作モードは、前記下部走行体を基準として前記飛行体の目標飛行位置を決定する下部基準モードを含み、
   当該作業支援装置は、前記モード切替部が前記第１動作モードと前記第２動作モードとの間の切替を行う際、前記飛行体を一時的に上昇させる遷移処理を実行する、請求項１から４のうちのいずれか１項に記載の作業支援装置。

Images