JP7521359B2 - 遠隔操作支援装置及び遠隔操作支援システム - Google Patents

Description

本発明は、オペレータが遠隔操作装置を操作することにより作業機械を操作して行う遠隔作業を支援する遠隔操作支援装置及び遠隔操作支援システムに関する。

従来、作業機械を遠隔操作するために、無人飛行機に搭載されたカメラを用いることが知られている（例えば、特許文献１参照）。
また、作業の進捗状況を管理したりするために、無人飛行機に搭載されたカメラを用いることが知られている（例えば、特許文献２参照）。

特開２０１９－１７９２２６号公報 国際公開第２０１７／１７０６５１号

特許文献１のものでは、作業機械を遠隔操作するために、無人飛行機に搭載された撮像装置及び作業現場に設けられている構造物に設置された撮像装置で撮影された作業現場の画像データを表示することができる。

また、特許文献２のものでは、作業の進捗状況を管理するために無人飛行機に搭載されたカメラ等を用いるので、作業の進捗状況を容易に管理することができる

しかし、無人飛行機に搭載されたカメラを用いれば、オペレータが視認したい箇所（例えば、掘削対象）を様々な角度から撮像できるので便利であるが、無人飛行機は、バッテリーを動力源とするため、飛行時間は限られている。すなわち、無人飛行機に搭載されたカメラは、撮像できる時間が限られている。また、オペレータ及び作業管理者等が、作業現場に当該作業現場を撮像する複数のカメラを固設する場合、作業を行う位置、作業の内容、固設カメラの撮像方向によっては、不要となるカメラもある。すなわち、オペレータ及び作業管理者等が使用しないカメラについては、コストが無駄になっている。

そこで、本発明は、かかる背景に鑑みて、長時間の撮像が可能であり、且つ、コストを無駄にしない遠隔操作支援装置及び遠隔操作支援システムを提供することを目的とする。

さらに、本発明は、作業機械を遠隔操作して作業を行うオペレータが、実機撮像装置（例えば、作業機械のキャブ内部に搭載されたカメラ、作業現場に固設されたカメラ等）をメインカメラとして用いる場合に、無人飛行機に搭載されたカメラを補助的に用いるカメラとしても用いることができる技術を提供することを目的とする。

（１）係る目的を達成するため本発明は、
オペレータによる遠隔操作装置を用いた作業機械（例えば、油圧ショベル等）の遠隔操作を支援するための遠隔操作支援装置であって、
前記遠隔操作支援装置は、
第１支援処理要素と、
第２支援処理要素と、を有し、
前記第１支援処理要素は、前記遠隔操作装置に備えられた遠隔入力インターフェースにおける指定操作に応じて、カメラが搭載された無人飛行機（例えば、ドローン等）に対して、前記作業機械における所定位置（例えば、キャブの天頂面における所定位置）及び作業現場における所定位置（例えば、地面における所定位置、作業現場に設置されたポールにおける所定位置、解体作業の対象となっている解体中の建物等）のうち一方に着床させるための着床指令を送信し、
前記第２支援処理要素は、前記無人飛行機が、前記所定位置に着床した状態で
前記無人飛行機に搭載された前記カメラが撮像した当該作業機械の周囲の様子を表す環境画像を取得し、前記遠隔操作装置が有する画像出力装置に当該環境画像を出力させるために当該環境画像を前記遠隔操作装置に送信する、
ことを特徴とする。

（作用効果）
これにより、カメラを搭載した無人飛行機が、前記作業機械における所定位置及び前記作業現場における所定位置のうち一方に着床するので、オペレータは、前記無人飛行機におけるバッテリーの残量を気にせずに作業機械の遠隔操作を続けることができる。

また、カメラを搭載した無人飛行機が、前記作業機械における所定位置及び前記作業現場における所定位置のうち一方に着床するので、作業のコストを管理する者は、作業現場に恒常的に設置される固設カメラの設置台数を節約することができる。すなわち、作業のコストを管理する者は、固設カメラの設置に関するコストを削減することができる。

また、カメラを搭載した無人飛行機が、前記作業機械における所定位置に着床した場合、オペレータは、前記作業機械が固設カメラを設置することが困難な作業現場で用いられる場合あっても、前記作業機械に搭載されたカメラが撮像した環境画像を見ることができる。

また、カメラを搭載した無人飛行機が、前記作業機械における所定位置及び前記作業現場における所定位置のうち一方に着床する。

そして、前記無人飛行機飛行機は自機（オペレータが、遠隔操作の対象としている作業機械）だけではなく作業現場における所定位置にも着床可能なので、オペレータが、メインカメラ（例えば、作業機械のキャブ内部に搭載されたカメラ）の死角になりやすい領域（例えば、キャブ内におけるシートの向きを基準として右前方）を視認したい場合、前記無人飛行機に搭載したカメラを補助カメラとして用いることにより、メインカメラの死角になりやすい領域を視認できるようになる。

（２）また、本発明の前記第１支援処理要素は、前記作業機械の動作速度を認識し、前記作業機械の動作速度が所定値以下である場合、前記作業機械における前記所定位置に前記無人飛行機を着床させるための着床指令を送信することが好ましい。

（作用効果）
本発明によれば、前記第１支援処理要素は、前記作業機械の動作速度を認識し、前記作業機械の動作速度が所定値以下である場合、前記作業機械における前記所定位置に前記無人飛行機を着床させるための着床指令を送信する。
これにより、作業機械が低速で動いている場合に、オペレータは、当該作業機械の所定位置に前記無人飛行機を着床させることができるので、オペレータは、確実に無人飛行機を作業機械に着床させることができる。

（３）また、本発明の前記第１支援処理要素は、前記作業機械の動作が停止しているか否かを認識し、前記指定操作があり、且つ、前記作業機械の動作が停止していると認識した場合に、前記無人飛行機に対して、前記作業機械における前記所定位置に着床させるための着床指令を送信することが好ましい。

（作用効果）

本発明によれば、前記第１支援処理要素は、前記作業機械の動作が停止しているか否かを認識し、前記指定操作があり、且つ、前記作業機械の動作が停止していると認識した場合に、前記無人飛行機に対して、前記作業機械における前記所定位置に着床させるための着床指令を送信する。
これにより、作業機械の動作が停止している場合に、オペレータは、当該作業機械の所定位置に前記無人飛行機を着床させることができるので、オペレータは、無人飛行機を所定位置に確実且つ迅速に着床させることができる。

（４）また、本発明の前記第１支援処理要素は、前記遠隔操作装置との通信に基づき、前記オペレータが前記遠隔入力インターフェースにより前記作業機械における複数の着床位置の中から指定した一の着床位置を指定着床位置として認識し、前記無人飛行機を前記指定着床位置に着床させるための着床指令を前記無人飛行機に対して送信することが好ましい。

（作用効果）
本発明によれば、前記第１支援処理要素は、前記遠隔操作装置との通信に基づき、前記オペレータが前記遠隔入力インターフェースにより前記作業機械における複数の着床位置の中から指定した一の着床位置を指定着床位置として認識し、前記無人飛行機を前記指定着床位置に着床させるための着床指令を前記無人飛行機に対して送信する。
これにより、オペレータは自身が指定した着床位置に無人飛行機を着床させることができるので、オペレータは、作業機械を遠隔操作するにあたり、自身が確認したい任意の方向を視認することができる。

（５）また、前記第１支援処理要素は、前記指定着床位置（例えば、キャブ内部におけるシートの向きを基準として、キャブの天頂面における左端）に応じて定まる所定の撮像方向（例えば、キャブ内部におけるシートの向きを基準として、作業機械の左方向）を撮像する指令を含む着床指令を前記無人飛行機に対して送信することが好ましい。

（作用効果）
これにより、前記無人飛行機は、前記指定着床位置に応じて定まる所定の撮像方向を撮像するように着床するので、オペレータは、前記指定着床位置に応じて定まる所定の撮像方向を視認することができる。

例えば、前記指定着床位置が、キャブ天頂面の右端部分であるのにも関わらず、前記無人飛行機がキャブ内部に設置されたシートの向きを基準として左方向を撮像するように着床してしまうと、その撮像画像の大部分は、キャブ天頂面であり、オペレータは、自身が視認したい環境画像をほとんど視認することができない事態となってしまうことが考えられる。
ところが、本発明によれば、例えば、前記無人飛行機がキャブの天頂面における左端に着床するように、オペレータが、前記遠隔操作装置を操作すると、前記無人飛行機は、前記作業機械の左方向を撮像するように着床する。
そうすると、オペレータは、前記キャブ天頂面の前記左端部分を除く天頂面部分（キャブ天頂面の前方部分、右端部分、後方部分、中央部分等）に視界を遮られることなく視認することができる。
オペレータの視界を遮る部分として、キャブの天頂面を挙げたが、オペレータの視界を遮る部分の例はこの例に限られない。
オペレータの視界を遮る部分の他の例として、アタッチメント（ブーム、アーム、バケット）、上部旋回体の天面部、排気装置等が挙げられる。

（６）また、前記第１支援処理要素は、作業現場に存在する複数の前記作業機械との通信に基づき、当該作業現場における各々の前記作業機械の位置を認識し、前記作業現場に存在する複数の前記作業機械のうち前記オペレータが前記遠隔入力インターフェースにより指定した一の前記作業機械としての指定作業機械における前記所定位置及び前記作業現場における前記所定位置のうち一方に着床させるための着床指令を前記無人飛行機に対して送信することが好ましい。

（作用効果）
これにより、前記カメラを搭載した前記無人飛行機が、前記オペレータが前記遠隔入力インターフェースにより指定した指定作業機械における前記所定位置及び前記作業現場における前記所定位置のうち一方に着床するので、オペレータは、前記作業現場に存在する複数の前記作業機械のうち前記指定作業機械を一の前記作業機械から別の前記作業機械に切り替えた場合でも前記無人飛行機に対して着床指令を送信することができる。

（７）また、前記第１支援処理要素は、前記遠隔操作装置に備えられた前記遠隔入力インターフェースにおける操作に応じて、前記作業機械の位置情報を認識し、前記無人飛行機との通信に基づき、前記無人飛行機の着床位置を認識し、前記無人飛行機の着床位置が、前記作業機械における前記所定位置ではない場合（例えば、無人飛行機の着床位置が、作業現場に設置されたポールである場合）、前記無人飛行機が搭載する前記カメラから見て、前記作業機械が位置する方向を撮像する指令を含む着床指令を前記無人飛行機に対して送信することが好ましい。

（作用効果）
これにより、前記無人飛行機の着床位置が、前記作業機械における前記所定位置ではない場合（例えば、無人飛行機の着床位置が、作業現場に設置されたポールである場合）、前記無人飛行機が搭載する前記カメラは、前記作業機械が存在する方向を撮像し、その撮像画像には前記作業機械とその周囲の環境画像が含まれるようになる。
例えば、前記第１支援処理要素は、前記作業機械の位置情報として、世界座標系における前記作業機械の位置情報と、前記作業機械が存在する標高に関する情報と、を認識する。
また、無人飛行機の着床位置が、作業現場に設置されたポールである場合、前記第１支援処理要素は、前記無人飛行機の着床位置を認識する。
この場合、前記第１支援処理要素は、前記無人飛行機の着床位置に関する情報として、前記無人飛行機の高度に関する情報も取得する。
そして、前記第１支援処理要素は、前記無人飛行機の着床位置を認識すると、前記無人飛行機が搭載する前記カメラから見て、前記作業機械が位置する方向を撮像する指令を含む着床指令を前記無人飛行機に対して送信する。
これにより、前記無人飛行機の着床位置と、前記作業機械の存在位置に、高さの差がある場合であっても、オペレータは、自身が遠隔操作する作業機械のと、その周囲の様子を含む環境画像を視認することができるので、素早く前記作業機械の周囲の様子を認識することができる。
さらに、前記第１支援処理要素は、前記無人飛行機の高度に関する情報を含む着床位置情報を取得するので、前記無人飛行機の着床位置に窪みや傾斜がある場合であっても、これらの地形に関する情報を加味して、オペレータは、素早く前記作業機械の周囲の様子を認識することができる。
また、前記作業機械の位置情報には、前記作業機械が存在する標高に関する情報も含まれているので、前記作業機械の存在位置に窪みや傾斜がある場合であっても、これらの地形に関する情報を加味して、オペレータは、素早く前記作業機械の周囲の様子を認識することができる。
従って、本発明によれば、オペレータは、自身が遠隔操作する作業機械と、その周囲の様子を含む環境画像を視認することができるので、素早く前記作業機械の周囲の様子を認識することができる。

（８）また、本発明の前記第２支援処理要素は、前記無人飛行機との通信に基づき、前記無人飛行機におけるバッテリーの残量が所定値以下であるか否かの判定結果を認識し、前記判定結果が肯定的であると認識した場合、前記作業機械における複数の着床位置の中から前記無人飛行機を着床した場合に当該無人飛行機に搭載されている前記バッテリーを充電可能な充電装置を有する着床位置に関する情報を、前記遠隔操作装置に対して送信することが好ましい。

（作用効果）
これにより、無人飛行機のバッテリー残量が少なくなってきた場合、オペレータは、充電装置を有する着床位置に無人飛行機を着床させることができるので、
オペレータは、無人飛行機を充電しながら、より長時間、無人飛行機が有するカメラが撮像した環境画像を見ながら作業機械を遠隔操作することができる。

（９）また、本発明の前記第２支援処理要素は、前記作業機械との通信に基づき、前記作業機械における着床位置に前記無人飛行機を固定させる位置決め機構があるか否かを認識し、前記作業機械における着床位置に前記無人飛行機を固定させる位置決め機構があるか否かに関する判定が肯定的な場合、前記位置決め機構を有する着床位置及び前記位置決め機構を有しない着床位置もしくはこれらのうち一方に関する位置情報を前記遠隔操作装置に対して送信することが好ましい。

（作用効果）
これにより、オペレータは、無人飛行機を作業機械に着床させる場合に、位置決め機構の有無を認識した上で着床位置に無人飛行機を着床させることが可能となり、必要に応じた無人飛行機の固定具合を選べるようになる。例えば、オペレータが、より素早く無人飛行機を作業機械に着床させたい場合であり、且つ、無人飛行機が位置決め機構にしっかりと固定される必要がない場合、オペレータは、より素早く無人飛行機を作業機械に着床させることができる。

本発明に係る構成の遠隔操作支援装置の一実施形態としての遠隔操作支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 本発明に係る位置決め機構の一実施形態としての構成に関する説明図。 本発明に係る作業機械に設けられた着床位置の一実施形態としての構成に関する説明図。 本発明に係る一実施形態としての作業現場の俯瞰図。 本発明に係る固定構造物の上部に設けられた着床ポートの一実施形態としての構成に関する説明図。 本発明の一実施形態としての遠隔操作をするための処理フロ―の説明図。 本発明の一実施形態としての第一支援処理と第二支援処理とを含む処理フロ―の説明図。 本発明の他の実施形態としての第二支援処理の例を含む処理フロ―の説明図。 本発明における他の実施形態としての第二支援処理の例を含む処理フロ―の説明図。

（遠隔操作支援システムの構成）
図１に示されている本発明に係る構成の遠隔操作支援装置１００の一実施形態としての遠隔操作支援システムは、オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を援するための遠隔操作支援装置１００を有する遠隔操作支援サーバ１０と、オペレータが遠隔操作する作業機械４０を遠隔操作するための遠隔操作装置２０と、作業現場の様子を表す環境画像を撮像するＵＡＶ撮像装置５１２（例えば、カメラ）を有する無人飛行機５０と、により構成されている。遠隔操作支援サーバ１０、遠隔操作装置２０、作業機械４０及び無人飛行機５０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０及び遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０、作業機械４０の相互通信ネットワークと、遠隔操作支援サーバ１０、無人飛行機５０と、の相互通信ネットワークと、は同一であってもよく相違していてもよい。

また、作業機械４０の台数は、１台でもよいし、複数台でもよい。また、作業機械４０が複数台存在する場合、オペレータが、主に遠隔操作の対象とする第１作業機械４０Ａと、当該オペレータが、第１作業機械４０Ａの遠隔操作を中断し、遠隔操作の対象を第１作業機械４０Ａから切り替えることにより、遠隔操作の対象となる第２作業機械４０Ｂと、が存在してもよい。第１作業機械４０Ａと、第２作業機械４０Ｂと、は、同一の作業現場に存在することが想定される。また、作業機械４０の種類は、同型の作業機械でもよいし、異なる種類の作業機械でもよい。

また、遠隔操作とは、オペレータが、作業機械４０に搭乗せずに、作業機械４０と離れた位置から作業機械４０を操作することを意味する概念である。

また、オペレータとは、遠隔操作装置２０を操作して作業機械４０の操縦を行う者を指す概念である。

（遠隔操作支援サーバの構成）
遠隔操作支援サーバ１０は、遠隔操作支援装置１００と、データベース１１０及びサーバ無線通信機器１２２と、を備えている。遠隔操作支援装置１００は、第１支援処理要素１０１と、第２支援処理要素１０２と、を備えている。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

データベース１１０は、作業機械４０の動作状況に関する情報である稼働情報を記憶保持する機能を有する。例えば、作業機械４０が走行している場合、データベース１１０は、その走行速度に関する情報を記憶保持する。また、例えば、作業機械４０の上部旋回体４６０（図３参照）が旋回している場合、データベース１１０は、その旋回速度に関する情報を記憶保持する。

また、データベース１１０は、作業機械４０の大きさに関する情報（例えば、稼働している油圧ショベルは、７ｔショベルであるという情報あるいは稼働している油圧ショベルは、１３ｔショベルであるとう情報等）を記憶保持する機能を有していてもよい。

また、データベース１１０は、オペレータからの要求に応じて、作業機械４０の作動情報、稼働情報等を読み出す機能を有する。また、データベース１１０は、作業機械４０から作動情報、稼働情報等を取得することにより、作動情報、稼働情報等を自動で書き込む機能を有する。

また、データベース１１０は、作業機械４０が作業を行っている位置に関する情報を含む作業位置情報を記憶保持する機能を有する。例えば、データベース１１０は、ＧＮＳＳ受信機（ＧＮＮＳ：Global Navigation Satellite System）により、作業機械４０が作業を行っている座標に関する情報を取得することにより、作業機械４０の作業位置情報を記憶保持する。座標に関する情報は、世界座標に関する情報でもよいし、作業機械４０が作業を行っている作業現場におけるローカル座標に関する情報でもよい。

また、データベース１１０は、作業機械４０が作業を行っている作業現場において、無人飛行機５０が着床できる位置に関する情報を含む着床位置情報を記憶保持する機能を有する。例えば、データベース１１０は、着床位置情報として、作業機械４０の位置に関する情報を記憶保持する。例えば、データベース１１０は、作業機械４０が無人飛行機５０を着床させるための位置決め機構を有するか、否かに関する情報を記憶保持してもよい。また、作業機械４０が無人飛行機５０を着床させるための位置決め機構を有する場合、位置決め機構が、作業機械４０のどの位置に設置されているかに関する情報を記憶保持してもよい。また、作業機械４０が無人飛行機５０を着床させるための位置決め機構を有する場合、位置決め機構が、作業機械４０において、何個設置されているかに関する情報を記憶保持してもよい。

また、データベース１１０は、着床位置情報として、作業現場に設置された着床構造物６０（例えば、ポール）の設置位置に関する情報を記憶保持する。
また、データベース１１０は、着床位置情報として、作業現場に設置された着床構造物６０（例えば、ポール）の高さ（例えば、標高等）に関する情報を記憶保持してもよい。

また、データベース１１０は、作業現場に設置された着床構造物６０が、無人飛行機５０を充電するためのバッテリーを有しているか否かに関する情報を記憶保持してもよい。

また、データベース１１０は、作業現場に設置された着床構造物６０が、無人飛行機５０を固定するための磁石を有しているか否かに関する情報を記憶保持してもよい。

また、データベース１１０は、作業機械４０の属性、作業機械４０の稼働スケジュール、作業現場の名称、位置、規模等に関する情報、作業機械４０が稼働する作業現場の様子を表した環境画像等を記憶保持する。

また、データベース１１０は、作業機械４０の属性として、作業機械４０は、油圧ショベルであるという情報、メーカー名に関する情報、製造番号の情報等を記憶保持してもよい。また、作業機械４０が、同じ作業現場内に複数台存在する場合、データベース１１０は、各作業機械４０を識別するための識別情報（例えば、作業現場の管理者が予め定めた各作業機械４０の管理番号等）を記憶保持する。

また、サーバ無線通信機器１２２は、遠隔操作装置２０、作業機械４０及び無人飛行機５０と、オペレータが、無人飛行機５０が有するＵＡＶ撮像装置５１２が撮像した作業機械４０周辺における作業現場の様子を含む環境画像を見ながら作業機械４０を遠隔操作するために用いられる指令信号を送受信する機能を有する。

（遠隔操作装置の構成）

遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。

遠隔入力インターフェース２１０には、無人飛行機５０を着床させるための着床操作装置が含まれている。例えば、着床操作装置は、プッシュボタンであって、オペレータが、当該プッシュボタンを押すことにより、無人飛行機５０は、着床制御を開始する。

着床操作装置の例として、プッシュボタンを挙げたが、着床操作装置の例は、プッシュボタンに限られない。着床操作装置の他の例として、ダイヤルが挙げられる。オペレータが、ダイヤルを捻ることにより、無人飛行機５０が、着床制御を開始するものとしてもよい。

また、着床操作装置の他の例として、遠隔操作機構２１１に含まれる操作レバーが挙げられる。オペレータが、操作レバーを操作することにより、無人飛行機５０が、着床制御を開始するものとしてもよい。

また、着床操作装置の他の例として、遠隔操作機構２１１に含まれるフットペダルが挙げられる。オペレータが、フットペダルを踏むことにより、無人飛行機５０が、着床制御を開始するものとしてもよい。

また、着床操作装置の他の例として、遠隔出力インターフェース２２０を用いる例が挙げられる。この場合、オペレータが、遠隔出力インターフェース２２０に表示されたアイコンをタップ操作することにより、無人飛行機５０が、着床制御を開始するものとしてもよい。

また、オペレータが、アイコンを操作する例として、タップ操作を挙げたが、オペレータが、アイコンを操作する例は、タップ操作に限られない。オペレータが、アイコンを操作する他の例として、ダブルタップ操作、ロングタップ操作、スワイプ操作、ピンチ操作、ドラッグ操作、フリック操作が挙げられる。

また、遠隔出力インターフェース２２０を着床操作装置として用いる他の例として、遠隔出力インターフェース２２０をシェイクする（振る）例が挙げられる。例えば、遠隔出力インターフェース２２０が、タブレット端末装置である場合、オペレータは、タブレット端末装置をシェイクする（振る）ことにより、無人飛行機５０が、着床制御を開始するものとしてもよい。

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、下部走行体４５０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態である。シートＳｔは、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図３に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

画像出力装置２２１は、例えば、図３に示されているように、シートＳｔの前方、左斜め前方及び右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１及び右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１及び右側画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状及びサイズは同じであってもよく相違していてもよい。

図２に示されているように、中央画像出力装置２２１０の画面及び左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が、中央画像出力装置２２１０の左縁に隣接している。図３に示されているように、中央画像出力装置２２１０の画面及び右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が、中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１及びθ２は同じであっても相違していてもよい。

中央画像出力装置２２１０、左側画像出力装置２２１１及び右側画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１及び右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。画像出力装置２２１（中央画像出力装置２２１０、左側画像出力装置２２１１及び右側画像出力装置２２１２）は、スピーカ（音声出力装置）をさらに備えていてもよい。

遠隔出力インターフェース２２０に含まれる遠隔無線通信機器２２２は、オペレータが、作業機械４０を遠隔操作するために入力した指令信号を送受信する機能を有する。

また、遠隔無線通信機器２２２は、オペレータが、無人飛行機５０を遠隔操作するために入力した指令信号を送信する機能を有する。無人飛行機５０を遠隔操作するために入力した指令信号には、オペレータが、指定した所定位置（例えば、位置決め機構４８０）に無人飛行機５０を着床させるための指令が含まれる。

また、遠隔無線通信機器２２２は、後述する作業機械４０に搭載された実機撮像装置４１２が撮像した撮像画像を、遠隔操作支援サーバ１０を介して受信する機能を有する。

また、遠隔無線通信機器２２２は、後述する無人飛行機５０に搭載されたＵＡＶ撮像装置５１２が撮像した撮像画像を、遠隔操作支援サーバ１０を介して受信する機能を有する。

（作業機械の構成）
作業機械４０とは、作業現場において稼働可能な作業車両をいう。作業機械４０は、例えば、バケットを有する油圧ショベルである。

作業機械４０の例として、油圧ショベルを挙げたが、作業機械４０の例は、この例に限られない。作業機械４０の他の例として、ハイブリッドショベル、クレーン、リフティングマグネット、グラップラーを有する荷役機械、破砕装置を有する解体機、ブレードを有するブルドーザー等が挙げられる。

作業機械４０は、例えば、クローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４５０と、下部走行体４５０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４６０と、を備えている。上部旋回体４６０の前方左側部にはキャブ４７０（運転室）が設けられている。上部旋回体４６０の前方中央部には作動機構４４０が設けられている。

また、作業機械４０は、着床用マーカーを備える。着床用マーカーは、上部旋回体４６０に外縁を固定して水平に展張可能なシート状部材である。着床用マーカーは、例えば、上部旋回体４６０に貼り剥し自在なシールである。

着床用マーカーは、その上面に無人飛行機５０が認識可能な複数のＡＲマーカーを有する。

ＡＲマーカーは、画像認識型ＡＲシステムにおいて、付加情報を表示する位置を指定するための標識であり、例えば単純ではっきりした白黒の図形である。
例えば、複数のＡＲマーカーは、高精度の着床を実現するために、大小のＡＲマーカーを組み合わせて配置されている。

この例によれば、無人飛行機５０に搭載された画像認識装置が、遠方から作業機械４０に近づくにつれて小さいＡＲマーカーを認識することにより、着床用マーカーの中央位置に正確に着床することができる。

実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２と、実機測位装置４１４と、を備えている。実機操作機構４１１は、キャブ４７０の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４７０に設けられている。実機撮像装置４１２は、例えばキャブ４７０の内部に設置され、キャブ４７０の前側にある左右一対のピラー（左右を区別する場合には「Ｌ」及び「Ｒ」を符号に含ませる。）により区画されているフロントウィンドウ及び左右一対のサイドウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウ及びサイドウィンドウのうち一部または全部が省略されていてもよい。実機測位装置４１４は、作業機械４０の位置を検出する装置であり、例えば、ＧＮＳＳ受信機により構成される。

実機測位装置４１４は、作業機械４０が存在する標高に関する情報を取得する機能を有する。例えば、実機測位装置４１４には、公知の気圧センサが含まれ、作業機械４０に係る気圧を計測することにより、作業機械４０が存在する標高に関する情報を取得する。

実機測位装置４１４が、作業機械４０が存在する標高に関する情報を取得する例として、気圧センサを挙げたが、作業機械４０が存在する標高に関する情報を取得する例は、この例に限られない。
実機測位装置４１４が、作業機械４０が存在する標高に関する情報を取得する他の例として、ＧＮＳＳにおける地図データに含まれる標高データから、作業機械４０が存在する位置の標高に関する情報を取得する例が挙げられる。

実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。実機測位装置４１４により検出される作業機械４０の位置に関する情報は、実機無線通信機器４２２を通じて、遠隔操作支援サーバ１０に送信される。

作動機構４４０としての作業アタッチメントは、上部旋回体４６０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作動機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４及びバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４６０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

位置決め機構４８０（例えば、着床ポート）は、後述する着床した無人飛行機５０を固定する機能を有する。

固定とは、無人飛行機５０に対して、所定の方向に所定値以下の力が加わった程度では、無人飛行機５０は、その着床位置から移動しないという意味である。

例えば、位置決め機構４８０は、電磁石としての機能を有し、無人飛行機５０の着床機構５８０と磁着することにより、無人飛行機５０を固定する。

位置決め機構４８０が、無人飛行機５０を固定する機能の例として、磁着の例を示したが、位置決め機構４８０が、無人飛行機５０を固定する機能の例は磁着に限られない。

位置決め機構４８０が、無人飛行機５０を固定する機能の他の例として、例えば、位置決め機構４８０が、凹部を有し、無人飛行機５０の着床機構５８０（例えば、着床用脚）が凸部を有している場合に、当該凸部が、当該凹部に嵌合することにより、位置決め機構４８０が、無人飛行機５０を固定する例が挙げられる。

位置決め機構４８０が、無人飛行機５０を固定する機能の例として、着床機構５８０における凸部が、位置決め機構４８０の凹部に嵌合する例を示したが、位置決め機構４８０が、無人飛行機５０を固定する機能の例は、この例に限られない。

位置決め機構４８０が、無人飛行機５０を固定する機能の他の例として、例えば、位置決め機構４８０が、凹部を有し、無人飛行機５０の着床機構５８０を有している場合に、当該凹部に当該着床機構５８０が嵌合する例が挙げられる。

また、位置決め機構４８０は、無人飛行機５０を充電するためのバッテリー４８１０を有していてもよい（図４参照）。これにより、無人飛行機５０のバッテリー残量が所定値以下である場合、バッテリー４８１０は、無人飛行機５０を充電することができる。無人飛行機５０を充電する方法の例としては、公知のワイヤレス給電を使用する例が挙げられる。

また、位置決め機構４８０は、作業機械４０の１箇所に設置されてもよいし、作業機械４０の複数個所に設置されてもよい。

位置決め機構４８０を作業機械４０の複数個所にする場合、図５に示すように、作業機械４０の前方部分（例えば、キャブ４７０における天頂面の前方部分）に前方位置決め機構４８１を設置し、作業機械４０の左側（例えば、キャブ４７０における天頂面の左側）に左位置決め機構４８２を設置し、作業機械４０の右側（例えば、上部旋回体４６０の右側）に右位置決め機構４８３を設置し、作業機械４０の後方（例えば、上部旋回体４６０の後方）に後方位置決め機構４８４を設置してもよい。

図５における記号Ｆは、作業機械４０の前方（フロント側）を示す。また、記号Ｌは、作業機械４０の左側を示す。また、記号Ｒは、作業機械４０の右側を示す。また、記号Ｂは、作業機械４０の後方（バック側）を示す。

また、位置決め機構４８０を設置する例として、前方位置決め機構４８１、左位置決め機構４８２、右位置決め機構４８３及び後方位置決め機構４８４を用いる例を示したが、位置決め機構４８０を複数設置する例は、この例に限られない。例えば、位置決め機構４８０を設置する他の例として、キャブ４７０の左前方に位置決め機構４８０を設置する例、上部旋回体４６０の左後方に位置決め機構４８０を設置する例、上部旋回体４６０の右前方に位置決め機構４８０を設置する例、上部旋回体４６０の右後方に位置決め機構４８０を設置する例が挙げられる。

（無人飛行機の構成）
無人飛行機５０は、作業機械４０と協働する飛行機である。例えば、無人飛行機５０は、ＵＡＶ撮像装置５１２（例えば、カメラ）を備えた公知のドローンである。無人飛行機５０は、ＵＡＶ制御装置５００、ＵＡＶ入力インターフェース５１０、ＵＡＶ撮像装置５１２、ＵＡＶ出力インターフェース５２０、ＵＡＶ無線通信機器５２２、着床機構５８０（例えば、着床用脚）、高度センサ（不示図）を有する。

また、無人飛行機５０は、ＵＡＶ撮像装置５１２の撮像角度を調整するためのアングル調整機構を有していてもよい。例えば、アングル調整機構の例として、無人飛行機５０の基体に取り付けられたカメラマウントと、カメラを搭載する雲台と、がボールジョイントにより接続されたボール雲台が挙げられる。

また、ボール雲台は、パン動作（約３６０度回転）、チルト動作（約９０度回転）、ロール動作（約１８０度回転）、が電動でボールジョイントを動作させることにより、カメラの撮像角度を調整する機能を有する。

また、アングル調整機構の例として、ボール雲台を挙げたが、アングル調整機構の例は、ボール雲台に限られない。アングル調整機構の他の例として、カメラの撮像方向（ヨー方向、ピッチ方向）を調整する公知の雲台の例が挙げられる。

また、無人飛行機５０は、遠隔操作装置２０により作業機械４０を遠隔操作するオペレータによって、遠隔操作されてもよいし、このオペレータとは、別のオペレータ（例えば、無人飛行機５０専任オペレータ）によって、遠隔操作されてもよい。

また、無人飛行機５０は、予め定められたプログラムによって、自立飛行するものであってもよい。

ＵＡＶ入力インターフェース５１０に含まれるＵＡＶ撮像装置５１２は、少なくとも作業機械４０の一部を含む作業現場の様子を表す画像である環境画像を撮像する機能を有する。

ＵＡＶ出力インターフェース５２０に含まれるＵＡＶ無線通信機器５２２は、遠隔操作支援サーバ１０に無人飛行機５０の位置情報を含む情報を送受信する機能を有する。

着床機構５８０は、無人飛行機５０を着床させる機能を有する。無人飛行機５０を着床させるための機能として、着床機構５８０は、磁石を有していてもよい。
着床機構５８０が磁石を有している場合、無人飛行機５０は、鉄製の着床面に着床可能となる。

例えば、無人飛行機５０が作業機械４０に着床する場合、作業機械４０が位置決め機構４８０を有していない場合であっても、無人飛行機５０は、作業機械４０の鉄製の部分（例えば、上部旋回体４６０の上面）に、磁石を有する着床機構５８０を磁着させて着床することができる。

無人飛行機５０が、作業機械４０に着床する例として、着床機構５８０が上部旋回体４６０の上面に磁着する例を挙げたが、無人飛行機５０が作業機械４０に着床する例は、この例に限られない。例えば、着床機構５８０が上部旋回体４６０の側面に磁着することにより、無人飛行機５０が作業機械４０に着床する例、鉄製の着床構造物６０に磁着する例、作業現場の地面に敷かれた鉄板に磁着する例等が挙げられる。

高度センサは、無人飛行機５０が飛行する高度を計測する機能を有する。また、高度センサは、無人飛行機５０における着床位置の高度を計測する機能を有する。

高度センサは、例えば、気圧センサである。当該気圧センサが、無人飛行機５０に掛かる気圧を計測することにより、ＵＡＶ制御装置５００は、無人飛行機５０が飛行する高度に関する情報及び無人飛行機５０における着床位置の高度に関する情報を取得することができる。

（着床構造物の構成）
着床構造物６０は、無人飛行機５０が着床するために用いられる構造物である。着床構造物６０の例として、作業現場に設置されたポールが挙げられる。

着床構造物６０の例として、作業現場に設置されたポールを挙げたが、着床構造物６０の例は、この例に限られない。着床構造物６０の他の例として、作業現場に設置された事務所の屋根、作業現場に設置されたゲート、建物の解体作業における作業現場において解体作業の対象となっている建物、作業現場を俯瞰できる高さに建てられた建物等が挙げられる。

また、着床構造物６０は、作業現場の１箇所に設置されてもよいし、作業現場複数個所に設置されてもよい（図６参照）。

また、着床構造物６０は、無人飛行機５０が有するＵＡＶ撮像装置５１２を、作業現場を俯瞰して撮像することができる高さに設することができればよい。従って、着床構造物６０は、必ずしも作業現場内部に存在する必要はない。

また、着床構造物６０は、当該着床構造物６０の上面に、無人飛行機５０が着床するために用いられる着床ポート６８０を有していてもよい（図７参照）。

また、着床構造物６０が着床ポート６８０を有する例として、着床構造物６０が当該着床構造物６０の上面に着床ポート６８０を設置する例を挙げたが、着床構造物６０が着床ポート６８０を有する例は、この例に限られない。例えば、作業現場に設置されたポールの上部に、着床ポート６８０の底面が当該ポールの外周面に向くように取り付ける例が挙げられる。この場合、無人飛行機５０は、ポールの延在方向に対して直交する方向に着床することができる。従って、この場合、無人飛行機５０は、ポール上面に着床ポート６８０を設置するスペースが無い場合であっても、ポール上部に設置された着床ポート６８０に着床することができる。すなわち、無人飛行機５０に備えられたＵＡＶ撮像装置５１２は、作業現場を俯瞰して撮像することができる。

作業現場に設置されたポールの上部に着床ポート６８０を取り付ける例として、着床ポート６８０の底面が当該ポールの外周面に向くように取り付ける例を挙げたが、作業現場に設置されたポールの上部に着床ポート６８０を取り付ける例はこの例に限られない。

例えば、作業現場に設置されたポールの上部に着床ポート６８０を取り付ける他の例として、着床ポート６８０の外周面が前記ポールの外周面に向くように取り付ける例が挙げられる。このように着床ポート６８０が当該ポールに取り付けられれば、無人飛行機５０は、ポール上面に着床ポート６８０を設置するスペースが無い場合であっても、ポール上部に設置された着床ポート６８０に着床することができる。

着床ポート６８０は、後述する着床した無人飛行機５０を固定する機能を有してもよい。着床ポート６８０は、電磁石としての機能を有し、無人飛行機５０の着床機構５８０と磁着することにより、無人飛行機５０を固定する。

また、着床ポート６８０は、無人飛行機５０を充電するための充電装置（例えば、作業現場に引かれる電源、持ち運び可能なバッテリー等（不示図））を有していてもよい。これにより、無人飛行機５０のバッテリー残量が所定値以下である場合、当該充電装置は、無人飛行機５０を充電することができる。無人飛行機５０を充電する方法の例としては、公知のワイヤレス給電を使用する例が挙げられる。

（機能）
前記構成の遠隔操作支援システムの機能について図８～図１１に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信及び／または受信を意味し、当該データの送信及び／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

図８に示されているフローチャートを用いて、本実施形態において、オペレータが本発明に係るシステムを起動させてから、作業機械４０の稼働情報、着床位置情報、位置情報及び位置決め機構情報等を格納するための処理について説明する。

遠隔操作装置２０において、遠隔制御装置２００は、システム起動操作の有無を判定する（図８／ＳＴＥＰ２０１）。

「システム起動操作」とは、オペレータが遠隔操作を意図する作業機械４０を指定するために遠隔入力インターフェース２１０をプッシュ操作する概念である。システム起動操作の例として、プッシュ操作を挙げたが、システム起動操作の例は、この例に限られない。システム起動操作の他の例として、タップ操作、ダブルタップ操作、ロングタップ操作、スワイプ操作、ピンチ操作、ドラッグ操作、フリック操作、シェイク操作等の例が挙げられる。

また、遠隔出力インターフェース２２０にタブレット端末装置が用いられる場合、システム起動操作の他の例として、オペレータが遠隔操作を意図する作業機械４０を指定するために、当該タブレット端末装置をプッシュ操作、タップ操作、ダブルタップ操作、ロングタップ操作、スワイプ操作、ピンチ操作、ドラッグ操作、フリック操作、シェイク操作等の例が挙げられる。

当該判定結果が否定的である場合（図８／ＳＴＥＰ２０１‥ＮＯ）、処理が終了する。その一方、当該判定結果が肯定的である場合（図８／ＳＴＥＰ２０１‥ＹＥＳ）、遠隔制御装置２００は、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して当該システム起動操作によりオペレータが指定した作業機械４０周辺における作業現場の環境を確認するための要求である環境確認要求を送信する（図８／ＳＴＥＰ２０２）。

遠隔操作支援サーバ１０において、サーバ無線通信機器１２２を通じて、環境確認要求が受信された場合（図８／Ｃ１０）、遠隔操作支援サーバ１０は、サーバ無線通信機器１２２を通じて、環境確認要求をオペレータが指定した作業機械４０に対して送信する（図８／ＳＴＥＰ１０１）。

作業機械４０において、実機無線通信機器４２２を通じて、環境確認要求が受信された場合（図８／Ｃ４０）、実機制御装置４００は、環境画像データを取得するための処理を実行する（図８／ＳＴＥＰ４０１）。

環境画像データとは、作業機械の周囲の様子を表す画像を含むデータの概念である。環境画像データには、作業機械の周囲の様子を表す画像だけでなく、当該環境画像を撮像した時刻等の情報が含まれてもよい。

また、環境画像は、実機撮像装置４１２により撮像されてもよいし、ＵＡＶ撮像装置５１２により撮像されてもよい。

実機制御装置４００は、環境画像データを取得すると、実機無線通信機器４２２を通じて、当該環境画像データを遠隔操作支援サーバ１０に対して送信する（図８／ＳＴＥＰ４０２）。

遠隔操作支援サーバ１０において、サーバ無線通信機器１２２を通じて、環境画像データが受信された場合（図８／Ｃ１１）、遠隔操作支援サーバ１０は、当該環境画像データをデータベース１１０に記憶保持し、サーバ無線通信機器１２２を通じて、当該環境画像データを遠隔操作装置２０に対して送信する（図８／ＳＴＥＰ１０２）。

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて、環境画像データが受信された場合（図８／Ｃ２１）、遠隔制御装置２００は、当該環境画像データを画像出力装置２２１に出力するための出力態様を制御するための処理を実行する（図８／ＳＴＥＰ２０３）。

例えば、ＳＴＥＰ２０３の例として、遠隔制御装置２００が、環境画像データに含まれる環境画像を、中央画像出力装置２２１０、左側画像出力装置２２１１及び右側画像出力装置２２１２に分割表示するための制御を実行する例が挙げられる。

遠隔操作装置２０において、遠隔制御装置２００は、遠隔操作機構２１１の操作態様を認識し（図８／ＳＴＥＰ２０４）、かつ、遠隔制御装置２００は、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令を遠隔操作支援サーバ１０に対して送信する（図８／ＳＴＥＰ２０５）。

遠隔操作支援サーバ１０において、サーバ無線通信機器１２２を通じて、当該遠隔操作指令を受信した場合（図８／Ｃ１２）、遠隔操作支援サーバ１０は、当該遠隔操作指令を作業機械４０に対して送信する（図８／ＳＴＥＰ１０３）。

作業機械４０において、実機制御装置４００は、実機無線通信機器４２２を通じて、当該遠隔操作指令を受信した場合（図８／Ｃ４２）、実機制御装置４００は、作動機構４４０等の動作を制御するための処理を実行する（図８／ＳＴＥＰ４０３）。例えば、実機制御装置４００は、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４６０を旋回させたうえでバケット４４５から土を落とす作業を実行するための処理を実行する。

作業機械４０において、実機制御装置４００は、作業機械の動作に関する情報である稼働情報を認識し、実機無線通信機器４２２を通じて、遠隔操作支援サーバ１０に対して送信する（図８／ＳＴＥＰ４０４）。

また、この場合、実機制御装置４００は、稼働情報以外にも、実機無線通信機器４２２を通じて、無人飛行機５０が当該作業機械４０に着床できる位置に関する着床位置情報、当該作業機械４０の存在する位置に関する位置情報、当該作業機械４０が位置決め機構４８０を有しているか否かに関する情報である位置決め機構情報について実機無線通信機器４２２を通じて、遠隔操作支援サーバ１０に対して送信してもよい。

また、位置決め機構情報には、当該作業機械４０が位置決め機構４８０を有しているか否かに関する情報だけでなく、当該位置決め機構４８０は、無人飛行機５０を充電するために用いられるバッテリー４８１０を有しているか否かに関する情報が含まれていてもよい。

遠隔操作支援サーバ１０において、遠隔操作支援サーバ１０は、遠隔無線通信機器１２２を通じて、稼働情報等を受信した場合（図８／Ｃ１３）、遠隔操作支援サーバ１０は、データベース１１０に当該稼働情報等を格納する（図８／ＳＴＥＰ１０４）。

図９に示されているフローチャートを用いて、本実施形態における第１支援処理及び第２支援処理について説明する。

遠隔操作装置２０において、遠隔制御装置２００は、オペレータが遠隔入力インターフェース２１０を通じて指定操作をしたか否かについて判定する（図９／ＳＴＥＰ２１１）。「指定操作」とは、オペレータが、無人飛行機５０を着床させるために遠隔入力インターフェース２１０を操作する概念ある。当該判定結果が否定的である場合（図９／ＳＴＥＰ２１１‥ＮＯ）、処理が終了する。その一方、当該判定結果が肯定的である場合（図９／ＳＴＥＰ２１１‥ＹＥＳ）、遠隔制御装置２００は、遠隔無線通信機器２２２を通じて、無人飛行機５０を着床させるための指令信号を含む着床指令を遠隔操作支援サーバ１０に対して送信する（図９／ＳＴＥＰ２１２）。

また、着床指令には、異なる種類の着床用マーカーの種別を認識して、オペレータが指定した種類の着床用マーカーに着床させるための指令信号を含んでもよい。

この場合、無人飛行機５０は、オペレータが指定した種類の着床用マーカーに着床するので、着床位置に関する位置情報が取得できない場合であっても、無人飛行機５０は、オペレータが指定した任意の位置に着床することができる。

また、無人飛行機５０の着床制御が、自立制御又は自立制御と、オペレータの操作と、による半自立制御により制御される場合、無人飛行機５０は、着床用マーカーを検出することにより、着床制御を開始してもよい。

また、無人飛行機５０の着床制御が、自立制御又は自立制御と、オペレータの操作と、による半自立制御により制御される場合、無人飛行機５０は、着床位置で発光する発光装置（例えば、ＬＥＤライト等）発光強度の違いを認識することにより、着床位置を決定する着床制御を開始してもよい。

遠隔操作支援サーバ１０において、遠隔操作支援装置１００に含まれる遠隔操作支援処理要素１０１は、サーバ無線通信機器１２２を通じて、着床指令を受信した場合（図９／Ｃ１４）、作業機械４０の稼働情報等を認識する（図９／ＳＴＥＰ１１１）。稼働情報とは、作業機械４０の動作に関する情報を含む概念である。例えば、遠隔操作支援サーバ１０は、データベース１１０に格納された作業機械４０の動作に関する情報等を参照することにより、稼働情報等を認識する（図９／ＳＴＥＰ１１１）。

遠隔操作支援装置１００は、取得した稼働情報に基づいて、作業機械４０の動作速度が所定値以下であるか否かについて判定する（図９／ＳＴＥＰ１１２）。例えば、作業機械４０の走行速度が時速５キロ以下である場合に、遠隔操作支援装置１００は、作業機械４０の動作速度が所定値以下であると判定してもよい。当該判定が否定的である場合（図９／ＳＴＥＰ１１２‥ＮＯ）、遠隔操作支援装置１００は、当該判定の直前のフロ―に戻る処理を実行する。一方、当該判定が肯定的である場合（図９／ＳＴＥＰ１１２‥ＹＥＳ）、遠隔操作支援装置１００は、サーバ無線通信機器１２２を通じて、無人飛行機５０を着床させるための指令信号を含む着床指令を無人飛行機５０に対して送信する（図９／ＳＴＥＰ１１３）。

ここで、ＳＴＥＰ１１３における遠隔操作支援装置１００が行う演算処理について説明する。遠隔操作支援装置１００が着床指令を送信するための演算処理は、遠隔操作支援装置１００に含まれる第１支援処理要素１０１が当該演算処理行う。

ＳＴＥＰ１１３において、第１支援処理要素１０１は、遠隔操作装置２０に備えられた遠隔入力インターフェース２１０における指定操作に応じて、無人飛行機５０に対して、作業機械４０における所定位置（例えば、キャブ４７０等）又は作業現場における所定位置（例えば、着床構造物６０等）のうち少なくとも一方に着床させるための着床指令を送信する。

また、ＳＴＥＰ１１３において、第１支援処理要素１０１は、作業機械４０の動作が停止しているか否かと、を認識し、指定操作があり、且つ、作業機械４０の動作が停止していると認識した場合に、無人飛行機５０に対して、作業機械４０における所定位置（例えば、キャブ４７０等）に着床させるための着床指令を送信する処理を実行してもよい。

また、ＳＴＥＰ１１３において、第１支援処理要素１０１は、遠隔操作装置２０との通信に基づき、オペレータが遠隔入力インターフェース２１０により作業機械４０における複数の着床位置（例えば、前方位置決め機構４８１、左位置決め機構４８２、右位置決め機構４８３、後方位置決め機構４８４等）の中から指定した一の着床位置（例えば、前方位置決め機構４８１）を指定着床位置として認識し、無人飛行機５０を指定着床位置に着床させるための着床指令を無人飛行機５０に対して送信する処理を実行してもよい。

また、ＳＴＥＰ１１３において、第１支援処理要素１０１は、作業現場に存在する複数の作業機械４０との通信に基づき、当該作業現場における各々の作業機械４０の位置を認識し、前記作業現場に存在する複数の作業機械４０のうちオペレータが遠隔入力インターフェース２１０により指定した一の作業機械４０としての指定作業機械４０に、無人飛行機５０を着床させるための着床指令を無人飛行機５０に対して送信する処理を実行してもよい。

また、ＳＴＥＰ１１３において、第１支援処理要素１０１は、遠隔操作装置２０に備えられた遠隔入力インターフェース２１０における操作に応じて、作業機械４０の位置情報を認識し、無人飛行機５０との通信に基づき、無人飛行機５０の着床位置を認識し、無人飛行機５０の着床位置が、作業機械４０における所定位置ではない場合（例えば、無人飛行機の着床位置が、作業現場に設置された着床構造物６０である場合）、無人飛行機５０が搭載するカメラ（例えば、ＵＡＶ撮像装置５１２）から見て、作業機械４０が位置する方向を撮像する指令を含む着床指令を無人飛行機５０に対して送信するする処理を実行してもよい。

ここで、作業機械４０が位置する方向とは、作業現場における前後左右方向だけを意味しない。作業現場における高さ方向を含む３次元の方向を意味する。例えば、まず、第１支援処理要素１０１は、実機測位装置４１４（例えば、実機測位装置４１４に含まれるＧＮＳＳ）が測位した作業機械４０の位置情報に基づいて、世界座標系における作業機械４０のＸＹ座標に関する情報（すなわち、作業現場において、作業機械４０が位置するＸＹ座標に関する情報）を取得する。また、第１支援処理要素１０１は、作業機械４０のＸＹ座標に関する情報と合わせて、実機測位装置４１４に含まれる気圧センサが検知した気圧に関する情報に基づいて、作業機械４０の位置における標高に関する高さ情報を取得する。

第１支援処理要素１０１が、作業機械４０の位置における標高に関する高さ情報を取得する例として、気圧センサが検知した気圧に関する情報を用いる例を示したが、作業機械４０の位置における標高に関する高さ情報（すなわち、作業現場において、作業機械４０が位置するＺ座標に関する情報）を取得する例はこの例に限られない。作業機械４０の位置における標高に関する高さ情報を取得する他の例として、データベース１１０に予め記憶保持されていた地図情報に基づいて、作業機械４０の位置における標高に関する高さ情報を取得する例が挙げられる。

次に、第１支援処理要素１０１は、無人飛行機５０が搭載するＵＡＶ測位装置（不示図）（例えば、ＵＡＶ測位装置に含まれるＧＮＳＳ）が測位した無人飛行機５０の位置情報に基づいて、世界座標系における無人飛行機５０のＸＹ座標（すなわち、作業現場において、無人飛行機５０が位置するＸＹ座標に関する情報）に関する情報を取得する。また、第１支援処理要素１０１は、無人飛行機５０のＸＹ座標に関する情報と合わせて、ＵＡＶ測位装置に含まれる気圧センサが検知した気圧に関する情報に基づいて、無人飛行機５０の位置における標高に関する高さ情報（すなわち、作業現場において、無人飛行機５０が位置するＺ座標に関する情報）を取得する。
第１支援処理要素１０１が、無人飛行機５０の位置における標高に関する高さ情報を取得する例として、気圧センサが検知した気圧に関する情報を用いる例を示したが、無人飛行機５０の位置における標高に関する高さ情報（すなわち、作業現場において、無人飛行機５０が位置するＺ座標に関する情報）を取得する例はこの例に限られない。無人飛行機５０の位置における標高に関する高さ情報を取得する他の例として、データベース１１０に予め記憶保持されていた地図情報に基づいて、無人飛行機５０が着床した着床構造物６０の位置における標高に関する高さ情報（例えば、作業現場に設置されたポールの高さに関する情報、無人飛行機５０が着床した建物の高さに関する情報、無人飛行機５０が着床した他の作業機械４０の高さに関する情報等）を取得する例が挙げられる。

そして、第１支援処理要素１０１は、取得した無人飛行機５０の位置する標高を含む位置情報に基づいて、無人飛行機５０の着床位置が、作業機械４０における所定位置であるか否かを判定し、無人飛行機５０の着床位置が、作業機械における所定位置ではない場合、第１支援処理要素１０１は、作業機械４０の位置情報と、無人飛行機５０の位置情報と、に基づいて、公知の三角関数に関する演算を実行することにより、作業機械４０を撮像するための撮像角度を算出し、無人飛行機５０が搭載するカメラから見て、作業機械４０が位置する方向を撮像する指令を含む着床指令を無人飛行機５０に対して送信する。

また、第１支援処理要素１０１は、着床後に無人飛行機５０が搭載するカメラをズームイン又はズ―ムアウトさせるための指令信号を含む着床指令を無人飛行機５０に対して送信してもよい。

また、例えば、第１支援処理要素１０１は、撮像対象とする作業機械４０の下部走行体４５０からキャブ４７０までの高さに関する情報を、データベース１１０を参照することにより、取得してもよい。

この場合、第１支援処理要素１０１は、作業機械４０の位置する標高と、作業機械４０における下部走行体４５０からキャブ４７０までの高さを加味することにより、無人飛行機５０が搭載するカメラのピントを撮像対象となる作業機械４０のキャブ４７０付近に合わせることができるので、当該作業機械４０と、その周囲の様子を表す環境画像を鮮明に撮像することができる。

無人飛行機５０において、ＵＡＶ制御装置５００は、ＵＡＶ無線通信機器５２２を通じて、着床指令を受信した場合（図９／Ｃ５０）、無人飛行機５０を着床させるための制御を実行する（図９／ＳＴＥＰ５１１）。

無人飛行機５０が着床すると、ＵＡＶ制御装置５００は、ＵＡＶ撮像装置５１２を用いて作業機械４０の周囲の様子を撮像することにより、作業機械４０の周囲の様子を表す環境画像を取得する（図９／ＳＴＥＰ５１２）。

ＵＡＶ制御装置５００は、環境画像を取得すると、ＵＡＶ無線通信機器５２２を通じて、環境画像を含む環境画像データを遠隔操作支援サーバ１０に対して送信する（図９／ＳＴＥＰ５１３）。

遠隔操作支援サーバ１０において、遠隔操作支援装置１００に含まれる遠隔操作支援要素１０２は、サーバ無線通信機器１２２を通じて、着床指令を受信した場合（図９／Ｃ１５）、環境画像データを遠隔操作装置２０に対して送信する（図９／ＳＴＥＰ１１４）。

ここで、ＳＴＥＰ１１４における遠隔操作支援装置１００が行う演算処理について説明する。遠隔操作支援装置１００が環境画像データを送信するための演算処理は、遠隔操作支援装置１００に含まれる第２支援処理要素１０２が当該演算処理行う。

ＳＴＥＰ１１４において、第２支援処理要素１０２は、所定位置（例えば、キャブ４７０）に着床した無人飛行機５０が有するカメラ（例えば、ＵＡＶ撮像装置５１２）が撮像した当該作業機械４０の周囲の様子を表す環境画像を取得し、遠隔操作装置２０が有する画像出力装置２２１に当該環境画像を出力させるために当該環境画像を遠隔操作装置２０に送信する処理を実行する。

また、第２支援処理要素１０２は、作業機械４０との通信に基づき、作業機械４０における着床位置（例えば、キャブ４７０）に無人飛行機５０を固定させる位置決め機構（例えば、前方位置決め機構４８１）があるか否かを認識し、前記判定が肯定的な場合、位置決め機構（例えば、前方位置決め機構４８１）を有する着床位置（例えば、キャブ４７０における天井の前方部分）及び位置決め機構（例えば、位置決め機構４８０）を有しない着床位置（例えば、キャブ４７０の搭乗ドア部分）もしくはこれらのうち一方に関する位置情報を遠隔操作装置２０に対して送信する処理を実行してもよい。

また、第２支援処理要素１０２は、所定位置（例えば、左位置決め機構４８２）に着床した無人飛行機５０が有するカメラ（例えば、ＵＡＶ撮像装置５１２）が撮像した当該作業機械４０の周囲の様子を表し、且つ作業機械４０における所定位置（例えば、左位置決め機構４８２）に応じた方向（作業機械４０の左方向）の様子を表し、且つ作業機械４０の一部（例えば、キャブ４７０における天井の左縁部分）を含む環境画像を取得し、遠隔操作装置２０が有する画像出力装置２２１に当該環境画像を出力させるために当該環境画像を遠隔操作装置２０に送信する処理を実行してもよい。この場合、例えば、着床位置が前方位置決め機構４８１である場合に無人飛行機５０は作業機械４０の前方向を撮像するように着床し、着床位置が左位置決め機構４８２である場合に無人飛行機５０は作業機械４０の左方向を撮像するように着床し、着床位置が後方位置決め機構４８４である場合に無人飛行機５０は作業機械４０の後方向を撮像するように着床する。これによって、オペレータは、キャブ４７０や作動機構４４０、上部旋回体４６０の天面部、排気装置等に視界を遮られることなく作業機械４０の周囲の様子を視認することができる。

また、第２支援処理要素１０２は、無人飛行機５０の着床位置と、無人飛行機５０が有するカメラ（例えば、ＵＡＶ撮像装置５１２）が撮像した撮像画像と、を認識し、無人飛行機５０が作業機械４０に着床していない場合であり、且つ前記撮像画像が作業機械４０の周囲の様子を表し、且つ作業機械４０の一部又は全部を含む画像である環境画像を取得できていない場合、無人飛行機５０に対して、カメラ（例えば、ＵＡＶ撮像装置５１２）の動作を制御して環境画像を取得するための指令信号を含む信号であるカメラ制御指令を送信する処理を実行してもよい。

遠隔操作装置２０において、遠隔操作装置２０に含まれる遠隔制御装置２００は、遠隔無線通信機器２２２を通じて、環境画像データを受信した場合（図９／Ｃ２２）、環境画像データを遠隔出力インターフェース２２０における画像出力装置２２１に出力するための制御を実行する（図９／ＳＴＥＰ２１３）。

また、第２支援処理要素１０２は、無人飛行機５０のバッテリー残量に関する情報を取得し、サーバ無線通信機器１２２を通じて、当該バッテリー残量に関する情報を遠隔操作装置２０に対して送信する処理を実行してもよい。

例えば、図１０に示すように、遠隔操作装置２０において、遠隔制御装置２００は、無人飛行機５０を飛行させるための操作である飛行操作がされたか否かについて判定を行う（図１０／ＳＴＥＰ２２１）。当該判定が否定的な結果である場合（図１０／ＳＴＥＰ２２１‥ＮＯ）、遠隔制御装置２００は、演算処理を終了する。一方、当該判定が肯定的な結果である場合（図１０／ＳＴＥＰ２２１‥ＹＥＳ）、遠隔制御装置２００は、遠隔無線通信機器２２２を通じて、無人飛行機５０を飛行させるための指令信号を含む飛行指令を遠隔操作支援サーバ１０に対して送信する（図１０／ＳＴＥＰ２２２）。

遠隔操作支援サーバ１０において、遠隔操作支援装置１００は、サーバ無線通信機器１２２を通じて、飛行指令を受信した場合（図１０／Ｃ１６）、遠隔操作支援装置１００は、サーバ無線通信機器１２２を通じて、飛行指令を無人飛行機５０に対して送信する（図１０／ＳＴＥＰ１２１）。

無人飛行機５０において、ＵＡＶ制御装置５００は、ＵＡＶ無線通信機器５２２を通じて、飛行指令を受信した場合（図１０／Ｃ５１）、無人飛行機５０の操作装置の操作態様に応じた飛行態様となるように無人飛行機５０を飛行させる飛行制御を実行する（図１０／ＳＴＥＰ５２１）。

なお、無人飛行機５０の操作装置として、遠隔操作装置２０を用いてもよいし、無人飛行機５０の操作専用装置（例えば、リモコン）を用いてもよい。また、無人飛行機５０の飛行制御は、操作装置によらず、予めプログラムされた指令信号に基づく指令態様で飛行するための制御を実行するにより自立飛行するものであってもよい。

また、ＵＡＶ制御装置５００は、無人飛行機５０の動力源であるバッテリーの残量に関する情報を含む情報であるバッテリー残量データを取得する（図１０／ＳＴＥＰ５２２）。

また、ＵＡＶ制御装置５００は、バッテリー残量データを取得すると、ＵＡＶ無線通信機器５２２を通じて、バッテリー残量データを遠隔操作支援サーバ１０に対して送信する。（図１０／ＳＴＥＰ５２３）。

遠隔操作支援サーバ１０において、遠隔操作支援装置１００に含まれる遠隔操作支援要素１０２は、サーバ無線通信機器１２２を通じて、バッテリー残量データを受信した場合（図１０／Ｃ１７）、受信したバッテリー残量データに基づいて、当該バッテリー残量又は当該バッテリー残量に基づく無人飛行機５０の飛行可能時間が所定値以下であるか否かについて判定を行う（図１０／ＳＴＥＰ１２２）。当該判定が否定的な結果である場合（図１０／ＳＴＥＰ１２２‥ＮＯ）、遠隔操作支援要素１０２は、遠隔操作支援処理を終了する。一方、当該判定が肯定的な結果である場合（図１０／ＳＴＥＰ１２２‥ＹＥＳ）、遠隔操作支援要素１０２は、サーバ無線通信機器１２２を通じて、充電装置（例えば、バッテリー４８１０）を有する着床位置（例えば、バッテリー４８１０を有する前方位置決め機構４８１、バッテリー４８１０を有する着床構造物６０）に関する情報を遠隔操作装置２０に対して送信する（図１０／ＳＴＥＰ１２３）。

遠隔操作装置２０において、遠隔制御装置２００は、遠隔無線通信機器２２２を通じて、バッテリー残量データを受信した場合（図１０／Ｃ２２）、遠隔制御装置２００は、当該充電装置（例えば、バッテリー４８１０）を有する着床位置（例えば、バッテリー４８１０を有する前方位置決め機構４８１、バッテリー４８１０を有する着床構造物６０）に関する情報を画像出力装置２２１に出力するための出力態様を制御するための処理を実行する（図８／ＳＴＥＰ２２３）。

また、例えば、図１１に示すように、遠隔操作支援要素１０２は、無人飛行機５０が作業機械に着床しする前であっても、カメラ制御指令を無人飛行機５０に対して送信することにより環境画像を取得するための制御を実行してもよい。

遠隔操作装置２０において、ＳＴＥＰ２１１と同様に、遠隔制御装置２００は、オペレータが遠隔入力インターフェース２１０を通じて指定操作をしたか否かについて判定する（図１１／ＳＴＥＰ２３１）。当該判定結果が否定的である場合（図１１／ＳＴＥＰ２３１‥ＮＯ）、処理が終了する。その一方、当該判定結果が肯定的である場合（図１１／ＳＴＥＰ２３１‥ＹＥＳ）、遠隔制御装置２００は、遠隔無線通信機器２２２を通じて、無人飛行機５０を着床させるための指令信号を含む着床指令を遠隔操作支援サーバ１０に対して送信する（図１１／ＳＴＥＰ２３２）。

遠隔操作支援サーバ１０において、サーバ無線通信機器１２２を通じて、着床指令を受信した場合（図１０／Ｃ１８）、第１支援処理要素１０１は、遠隔操作装置２０に備えられた遠隔入力インターフェース２１０における指定操作に応じて、無人飛行機５０に対して、作業現場における所定位置（例えば、着床構造物６０）に着床させるための着床指令を送信する（図１１／ＳＴＥＰ１３１）。

無人飛行機５０において、ＵＡＶ制御装置５００が、ＵＡＶ無線通信機器５２２を通じて、当該着床指令を受信した場合（図１１／Ｃ５２）、ＵＡＶ制御装置５００は、無人飛行機５０を作業現場における所定位置（例えば、着床構造物６０）に着床させるための制御処理を実行する（図１１／ＳＴＥＰ５３１）。

ＵＡＶ制御装置５００は、当該無人飛行機５０が着床した位置を含む情報を取得するためにも用いられる着床位置情報取得手段（例えば、ＧＮＳＳ等）により、当該無人飛行機５０が着床した位置に関する情報である着床位置データを取得する（図１１／ＳＴＥＰ５３２）。

ＵＡＶ制御装置５００は、無人飛行機５０が着床すると、ＵＡＶ撮像装置５１２を作動させることにより、その着床位置付近の様子を撮像し、その着床位置の周囲の様子を表す画像を含む情報である撮像画像データを取得する（図１１／ＳＴＥＰ５３３）。

ＵＡＶ制御装置５００は、着床位置データと、撮像画像データと、を取得すると、ＵＡＶ無線通信機器５２２を通じて、遠隔操作支援サーバ１０に対して着床位置データと、撮像画像データと、を送信する（図１１／ＳＴＥＰ５３４）。

遠隔操作支援サーバ１０において、第２支援処理要素１０２は、遠隔無線通信機器１２２を通じて、着床位置データと、撮像画像データと、を受信した場合（図１１／Ｃ１９）、無人飛行機５０は、作業機械４０に着床したか否かに関する判定を実行する（図１１／ＳＴＥＰ１３２）。

当該判定結果が肯定的である場合（図１１／ＳＴＥＰ１３２‥ＹＥＳ）、第２支援処理要素１０２は、演算処理を終了する。その一方、当該判定結果が否定的である場合（図１１／ＳＴＥＰ１３２‥ＮＯ）、遠隔制御装置２００は、前記撮像画像が作業機械４０の周囲の様子を表し、且つ作業機械４０の一部又は全部を含む画像である環境画像を取得できているか否かに関す判定を実行する（図１１／ＳＴＥＰ１３３）。

当該判定結果が肯定的である場合（図１１／ＳＴＥＰ１３３‥ＹＥＳ）、第２支援処理要素１０２は、演算処理を終了する。その一方、当該判定結果が否定的である場合（図１１／ＳＴＥＰ１３２‥ＮＯ）、第２支援処理要素１０２は、サーバ無線通信機器１２２を通じて、無人飛行機５０が有するカメラ（例えば、ＵＡＶ撮像装置５１２）の動作を制御するための指令信号を含むカメラ制御指令を無人飛行機５０に対して送信する（図１１／ＳＴＥＰ１３４）。

カメラ制御指令の例としては、無人飛行機５０が有するカメラ（例えば、ＵＡＶ撮像装置５１２）が撮像した撮像画像にオペレータによる遠隔制御の対象となる作業機械４０が含まれていない場合（すなわち、環境画像を取得できていない場合）当該作業機械４０が存在する方向へ無人飛行機５０が有するカメラ（例えば、ＵＡＶ撮像装置５１２）の向きを変える指令信号を含む例が挙げられる。
例えば、カメラの向きを変える動作としては、パン、チルト、ロールの例が挙げられる。

カメラ制御指令の例として、無人飛行機５０が有するカメラ（例えば、ＵＡＶ撮像装置５１２）の向きを変える例を挙げたが、カメラ制御指令の例は、この例に限られない。例えば、無人飛行機５０が有するカメラ（例えば、ＵＡＶ撮像装置５１２）が撮像した撮像画像にオペレータによる遠隔制御の対象となる作業機械４０は含まれているが、ピントが合っておらず、オペレータが、自身が遠隔操作する作業機械４０を認識することができない場合（すなわち、環境画像を取得できていない場合）、無人飛行機５０が搭載するカメラ（例えば、ＵＡＶ撮像装置５１２）をズームインしたり、ズームアウトしたりすることにより、ピントを合わせて環境画像を取得するための指令信号を含む例が挙げられる。例えば、撮像対象となる作業機械４０が１３ｔ型の大型ショベルであり、ショベルの高さが比較的高い場合、無人飛行機５０が搭載するカメラをズームアウトしてピントを合わせる例が挙げられる。例えば、撮像対象となる作業機械４０が７ｔ型の小型ショベルであり、ショベルの高さが比較的低い場合、無人飛行機５０が搭載するカメラをズームインしてピントを合わせる例が挙げられる。

すなわち、第２支援処理要素１０２は、無人飛行機５０の着床位置と、無人飛行機５０が有するカメラ（例えば、ＵＡＶ撮像装置５１２）が撮像した撮像画像と、を認識し、無人飛行機５０が、作業機械４０に着床していない場合であり、且つ前記撮像画像が作業機械４０の周囲の様子を表し、且つ作業機械４０の一部又は全部を含む画像である環境画像を取得できていない場合、無人飛行機５０に対して、カメラの動作を制御して前記環境画像を取得するための指令信号を含む信号であるカメラ制御指令を送信する処理を実行する。

第２支援処理要素１０２が実行する第２支援処理の例としては、ＳＴＥＰ１３２～ＳＴＥＰ１３４の例が挙げられる。

無人飛行機５０において、ＵＡＶ制御装置５００は、ＵＡＶ無線通信機器５２２を通じて、カメラ制御指令を受信した場合（図１１／Ｃ５３）、カメラの動作を制御する（図１１／ＳＴＥＰ５３５）。

ＵＡＶ制御装置５００は、無人飛行機５０が有するカメラ（例えば、ＵＡＶ撮像装置５１２）の動作を制御すると、前記撮像画像が作業機械４０の周囲の様子を表し、且つ作業機械４０の一部又は全部を含む画像である環境画像を含む情報である環境画像データを取得する（図１１／ＳＴＥＰ５３６）。

ＵＡＶ制御装置５００は、環境画像データを取得すると、ＵＡＶ無線通信機器５２２を通じて、環境画像データを遠隔操作支援サーバ１０に対して送信する（図１１／ＳＴＥＰ５３７）。

遠隔操作支援サーバ１０において、遠隔操作支援装置１００は、サーバ無線通信機器１２２を通じて、環境画像データを受信した場合（図１１／Ｃ１００）、
サーバ無線通信機器１２２を通じて、環境画像データを遠隔操作装置２０に対して送信する（図１１／ＳＴＥＰ１３５）。

遠隔操作装置２０において、遠隔制御装置２００は、遠隔無線通信機器２２２を通じて、環境画像データを受信した場合（図１１／Ｃ２３）、遠隔制御装置２００は、環境画像データを画像出力装置２２１に出力するための出力態様を制御するための処理を実行する（図１１／ＳＴＥＰ２３３）。

（他の実施形態）
本発明の第２支援処理要素は、位置決め機構４８０に固定した無人飛行機５０に搭載されたＵＡＶ撮像装置５１２の撮像方向を、オペレータが操作した遠隔入力インターフェース２１０の操作態様に応じた方向に向けるための処理を実行することが好ましい。

（作用効果）
本発明によれば、第２支援処理要素１０２は、無人飛行機５０が、位置決め機構４８０に固定された後、オペレータが操作した遠隔入力インターフェース２１０の操作態様に応じた方向にＵＡＶ撮像装置５１２を向けるための処理を実行する。
これにより、無人飛行機５０が位置決め機構４８０に固定された場合において、ＵＡＶ撮像装置５１２の撮像方向が、オペレータの所望しない方向であったとしても、無人飛行機５０が位置決め機構４８０に固定された時点よりも後からＵＡＶ撮像装置５１２の撮像方向を調整することができる。
よって、オペレータは、無人飛行機５０を位置決め機構４８０に固定した後、自身が見たい方向にＵＡＶ撮像装置５１２の撮像方向を向けることができる。

また、無人飛行機５０と、作業機械４０と、が複数存在する場合、遠隔操作支援装置１００は、各無人飛行機５０と、各作業機械４０と、のそれぞれを識別するためのＩＤ（識別子）を取得してもよい。

第１支援処理要素が実行する演算処理について、無人飛行機５０の着床位置が、作業機械４０における所定位置ではない場合、無人飛行機５０が搭載するカメラから見て、作業機械４０が位置する方向を撮像する指令を含む着床指令を無人飛行機５０に対して送信する例として、公知の三角関数を使う例を示したが、第１支援処理要素が、無人飛行機５０に搭載されるカメラから見て、作業機械４０が位置する方向を撮像する指令を含む着床指令を無人飛行機５０に対して送信する例はこの例に限られない。

例えば、第１支援処理要素は、公知の画像認識機能を使って、撮像対象となる作業機械４０が見つかるまで、ＵＡＶ撮像装置５１２の撮像角度を調整するためのアングル調整機構を駆動させるための制御指令を含む着床指令を無人飛行機５０に対して送信してもよい。

１０…遠隔操作支援サーバ、２０…遠隔操作装置、４０…作業機械、５０…無人飛行機、１００…遠隔操作支援装置、１０１…第１支援処理要素、１０２…第２支援処理要素、２１０…遠隔出力インターフェース、２１１…遠隔操作機構、２２０…遠隔出力インターフェース、２２１画像出力装置。

Claims (10)

1. オペレータによる遠隔操作装置を用いた作業機械の操作を支援するための遠隔操作支援システムであって、
   カメラが搭載された無人飛行機を前記作業機械に着床させる位置である前記作業機械における指定着床位置を指定する指定操作が行われた場合に、前記指定操作において指定された前記指定着床位置に着床させるための着床指令を前記無人飛行機に対して送信する処理要素と、
   前記着床指令に応じて前記指定着床位置に着床した前記無人飛行機に搭載された前記カメラが撮像した環境画像を出力する画像出力装置と、を備え、
   前記着床指令は、前記指定着床位置に応じて定まる所定の撮像方向を撮像する指令を含み、
   前記所定の撮像方向は、前記指定着床位置に着床した前記無人飛行機に搭載された前記カメラが前記作業機械の周囲の様子を表す前記環境画像を撮像するための方向であり、
   前記撮像方向を撮像する前記指令に応じて前記無人飛行機に搭載された前記カメラが前記撮像方向を撮像するように、前記着床指令に応じて前記無人飛行機を前記指定着床位置に着床させるための処理が実行される、
   遠隔操作支援システム。
2. 請求項１に記載の遠隔操作支援システムであって、
   前記指定着床位置に着床した前記無人飛行機に搭載された前記カメラが、前記作業機械の周囲の様子を表し、かつ前記作業機械の一部を含む前記環境画像を取得するための処理が実行される、
   遠隔操作支援システム。
3. 請求項１又は２に記載の遠隔操作支援システムであって、
   前記指定着床位置として前記作業機械の前側の着床位置が指定された場合に、前記カメラが前記作業機械の前方向を撮像するように前記着床指令に応じて前記無人飛行機を指定された前記指定着床位置に着床させるための処理が実行される、
   遠隔操作支援システム。
4. 請求項１又は２に記載の遠隔操作支援システムであって、
   前記指定着床位置として前記作業機械の左側の着床位置が指定された場合に、前記カメラが前記作業機械の左方向を撮像するように前記着床指令に応じて前記無人飛行機を指定された前記指定着床位置に着床させるための処理が実行される、
   遠隔操作支援システム。
5. 請求項１又は２に記載の遠隔操作支援システムであって、
   前記指定着床位置として前記作業機械の後側の着床位置が指定された場合に、前記カメラが前記作業機械の後方向を撮像するように前記着床指令に応じて前記無人飛行機を指定された前記指定着床位置に着床させるための処理が実行される、
   遠隔操作支援システム。
6. 請求項１～５いずれか１項に記載の遠隔操作支援システムであって、
   前記作業機械は、下部走行体と、前記下部走行体に旋回可能に搭載されている上部旋回体と、を備えており、
   前記指定操作に応じて指定可能な前記指定着床位置は、前記上部旋回体の天面部における着床位置である、
   遠隔操作支援システム。
7. 請求項１又は２に記載の遠隔操作支援システムであって、
   前記作業機械は、前方左側部に搭載されたキャブを備えており、
   前記指定着床位置として前記キャブの天頂面における前方部分の着床位置が指定された場合に、前記カメラが前記作業機械の前方向を撮像するように前記着床指令に応じて前記無人飛行機を指定された前記指定着床位置に着床させるための処理が実行される、
   遠隔操作支援システム。
8. 請求項１又は２に記載の遠隔操作支援システムであって、
   前記作業機械は、前方左側部に搭載されたキャブを備えており、
   前記指定着床位置として前記キャブの天頂面における左側の着床位置が指定された場合に、前記カメラが前記作業機械の左方向を撮像するように前記着床指令に応じて前記無人飛行機を指定された前記指定着床位置に着床させるための処理が実行される、
   遠隔操作支援システム。
9. 請求項１～３のいずれか１項に記載の遠隔操作支援システムであって、
   前記オペレータが前記作業機械における複数の着床位置の中から指定した一の着床位置を指定着床位置として認識し、
   前記複数の着床位置は、前記作業機械の前側の着床位置、前記作業機械の左側の着床位置、前記作業機械の右側の着床位置、および前記作業機械の後側の着床位置である、
   遠隔操作支援システム。
10. オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を支援するための遠隔操作支援システムであって、
    前記遠隔操作装置は、
    前記オペレータの指定操作に応じて前記作業機械における所定位置に着床させるための着床指令をカメラが搭載された無人飛行機に対して送信する通信機器と、
    前記作業機械における前記所定位置に着床した前記無人飛行機に搭載された前記カメラが撮像した環境画像を出力する画像出力装置と、
    前記作業機械における着床位置に前記無人飛行機を固定させる位置決め機構があるか否かを認識し、前記作業機械における着床位置に前記無人飛行機を固定させる位置決め機構があるか否かに関する判定が肯定的な場合、前記位置決め機構を有する着床位置及び前記位置決め機構を有しない着床位置もしくはこれらのうち一方に関する位置情報を前記遠隔操作装置に対して送信する処理要素と、を備えている、
    遠隔操作支援システム。

Images