JP6460294B2 - 遠隔操作端末及び遠隔操作システム - Google Patents

Description

本発明は、移動式クレーンや高所作業車などの作業機の遠隔操作端末及び遠隔操作システムに関する。

従来から、移動式クレーンや高所作業車などの作業機においては、アクチュエータを遠隔操作するための遠隔操作端末が提案されている。

近年、上記作業機を用いた作業のオートメーション化が望まれている。例えば、特許文献１には、ストック位置と部材据付位置との間の移動を自動運転で行い、玉掛け作業、着荷、据付作業などの微細な操作を必要とする作業を、作業員による無線操縦で行う技術が開示されている。

特開平８−１４３２７４号公報

今後は、全作業を、制御室などの作業機から離れた遠隔地で制御するシステムが実用化されると考えられる。

しかしながら、遠隔地で作業機を遠隔操作する場合、操作命令を送信してから作業機がその操作命令を受信するまでの間に、通信による遅延が発生する。また、遠隔地で作業機の周囲画像を見ながら操作を行う場合、その周囲画像が制御室に届くまでの間にも、通信による遅延が発生する。このため、ユーザは、予め自分自身で遅延時間を予測して、遠隔操作端末を操作する必要があった。

本発明の目的は、遅延を意識せずに操作可能な遠隔操作端末及び遠隔操作システムを提供することである。

本発明に係る遠隔操作端末は、作業機を遠隔操作するための遠隔操作端末であって、表示部と、作業機の周囲の状況に関する周囲画像に、作業機の一部または移動対象物を示す仮想オブジェクトを合成して、表示部に表示させる表示処理部と、表示部において仮想オブジェクトを模擬操作するための操作部と、模擬操作において操作部から入力された操作情報を作業機に送り出す制御部と、を備える。

また、本発明に係る遠隔操作システムは、上述の遠隔操作端末と、遠隔操作端末から受け取った操作情報に基づいて動作する作業機と、を備える。

本発明によれば、遅延を意識せずに操作可能な遠隔操作端末及び作業機を提供できる。

図１は、実施形態１に係るクレーンの側面図の一例である。 図２は、実施形態１に係る遠隔操作端末の斜視図の一例である。 図３は、実施形態１に係る遠隔操作端末のハードウェア構成図の一例である。 図４は、実施形態１に係るクレーンの制御系の機能ブロック図の一例である。 図５は、実施形態１に係る遠隔操作端末の制御系の機能ブロック図の一例である。 図６は、作業時のタイミングチャートの一例である 図７は、作業現場の斜視図の一例である。 図８は、遠隔操作端末の表示部に表示された画像の一例である。 図９は、実施形態１に係る遠隔操作端末における制御フローチャートの一例である。 図１０は、作業現場の斜視図の他の例である。 図１１は、遠隔操作端末の表示部に表示された画像の他の例である。 図１２は、実施形態２に係る作業時のタイミングチャートである。 図１３は、実施形態２に係る作業時のタイミングチャートである。 図１４は、実施形態２に係る遠隔操作端末における制御フローチャートの一例である。 図１５は、実施形態２に係る遠隔操作端末における制御フローチャートの他の例である。

以下、本発明に係る実施形態について図面を参照して説明する。ただし、以下の実施形態に記載されている構成要素は例示であり、本発明の技術的範囲をそれらのみに限定する趣旨のものではない。

［実施形態１について］
図１〜図９を参照して、本発明に係る実施形態１について説明する。本実施形態に係る作業機としては、移動式クレーン、高所作業車等が挙げられる。移動式クレーンとしては、例えば、ラフテレーンクレーン、オールテレーンクレーン、トラッククレーン、及び積載形トラッククレーンが挙げられる。以下、本実施形態に係る作業機としてラフテレーンクレーンを例に説明するが、本発明に係る遠隔操作端末は、他の作業機にも適用可能である。

また、本実施形態に係る遠隔操作端末としては、ラジコン送信機タイプのものを例に説明するが、スマートフォンなどの携帯端末、タブレット端末などの無線操作端末のほか、有線操作端末、パソコンなどのコンピュータにも適用できる。

さらに、本実施形態に係る遠隔操作端末としては、携帯型のものに限定されず、設置型であってもよい。例えば、作業機がある部屋とは別の部屋、例えば制御室（オペレーションルーム）に設置された遠隔操作端末であってもよい。

［クレーンの構成］
本実施形態に係るラフテレーンクレーン１（以後、クレーン１と称する）は、図１に示すように、車体１０、複数のアウトリガ１１、旋回台１２、及びブーム１４、を備える。車体１０は、走行機能を有する車両の本体部分となる。アウトリガ１１はそれぞれ、車体１０の四隅に設けられる。旋回台１２は、車体１０に水平旋回可能に取り付けられる。ブーム１４は、旋回台１２に立設されたブラケット１３に取り付けられる。

アウトリガ１１は、スライドシリンダの伸縮にともない、車体１０の幅方向にスライドして格納状態と張出状態とを状態遷移する。また、アウトリガ１１は、ジャッキシリンダの伸縮にともない、車体１０の上下方向に伸長してジャッキ格納状態とジャッキ張出状態とを状態遷移する。なお、以下の説明において、特に断ることなく幅方向、前後方向、及び上下方向といった場合には、車体１０における各方向を意味する。

旋回台１２は、旋回用モータの動力が伝達されるピニオンギヤを有する。このような旋回台１２は、このピニオンギヤと車体１０に設けられた円形状のギヤとが噛み合うことで旋回軸を中心に回動する。また、旋回台１２は、前方右側に配置された操縦席１８、後方中央に配置されたブラケット１３、及び後方下部に配置されたカウンタウェイト１９、を有する。

ブーム１４は、入れ子状に組み合わされた基端ブーム１４１、中間ブーム１４２、及び先端ブーム１４３を有する。このようなブーム１４は、内部に配置された伸縮シリンダにより伸縮する。また、先端ブーム１４３の最先端に設けられたブームヘッド１４４には、シーブ（図１では外装部分のみ示す）が回転自在に設けられる。このようなシーブには、ワイヤロープ１６（以後、ワイヤ１６と呼ぶ）が掛け回される。ワイヤ１６の先端には、フックブロック１７（以後、フック１７と呼ぶ）が固定される。

ワイヤ１６の基端は、ウインチ（不図示）に固定される。ワイヤ１６及びフック１７は、ウインチの回転により巻上げ又は巻下げられる。

最も外側の基端ブーム１４１は、基端部がブラケット１３に水平に設置された支持軸に回動自在に取り付けられる。このような基端ブーム１４１は、この支持軸を回転中心として上下に起伏する。さらに、ブラケット１３と基端ブーム１４１の下面との間には、起伏シリンダ１５が架け渡される。起伏シリンダ１５は、自身の伸縮によりブーム１４全体を起伏させる。

また、クレーン１では、基端ブーム１４１の側面に、ジブ３０及びテンションロッド２０が、横抱姿勢にて格納される。ジブ３０及びテンションロッド２０は、複数のピン（不図示）とサイドアップシリンダ３１とを用いて、装着／格納される。

さらに、クレーン１のブームヘッド１４４には、１乃至複数のカメラ、レーダー等の検知装置１４５が設けられる。検知装置１４５は、作業機であるクレーン１の周囲の状況に関する情報を取得する。また、検知装置１４５は、検知した情報に基づいて周囲画像（例えば、カメラによる撮影画像や、レーダーによる周辺検知に基づくレーダー画像）を生成する。

検知装置１４５により生成された周囲画像は、クレーン１の制御装置７０（図４参照）により通信部７５を介して遠隔操作端末４０に送り出される。遠隔操作端末４０は、受け取った周囲画像を表示部４４（図２参照）に表示する。なお、周囲画像は、所定の時間間隔でクレーン１から遠隔操作端末４０に送り出されてもよい。この場合には、表示部４４に表示された周囲画像は、所定の時間間隔で更新される。

検知装置１４５としてカメラを使用する場合、検知装置１４５は、複数台（例えば３台）のカメラにより構成されると好ましい。３台のカメラはそれぞれ、鉛直方向上方、鉛直方向と垂直な第１の水平方向、及び第１の水平方向と垂直な第２の水平方向の３方向から、クレーン１の周囲を撮影すると好ましい。

表示部４４には、３方向から撮影された画像が個別に表示されてもよい。あるいは、表示部４４には、２個以上のカメラにより、３方向から撮影された画像に基づいて生成された３次元画像が、表示されてもよい。また、検知装置１４５としてレーダーを使用する場合、検知装置１４５は、例えば、レーダーによる周辺検知に基づく仮想三次元画像を生成する。この場合、検知装置１４５により生成された仮想三次元画像が、周囲画像であり、遠隔操作端末４０の表示部４４に表示される。

なお、図１には、カメラにより構成された検知装置１４５が示される。図１において、検知装置１４５は、フック１７の鉛直方向上方の位置（例えば、シーブの位置）に取り付けられる。ただし、検知装置の構成は、図１に示される構成に限定されない。

［遠隔操作端末の構成］
次に、図２、図７、および図８を参照して本実施形態に係る遠隔操作端末４０の概略構成例について説明する。本実施形態に係る遠隔操作端末４０は、作業機の一例であるクレーン１を遠隔操作するための遠隔操作端末であって、表示部４４と、クレーン１の周囲の状況に関する周囲画像に、クレーン１の一部（具体的には、フック１７）または移動対象物（具体的には、荷物Ｐ）を示す仮想オブジェクト８０を合成して、表示部４４に表示させる表示処理部（具体的には、制御部４６）と、クレーン１を遠隔操作するとともに、表示部４４において仮想オブジェクト８０を模擬操作するための操作部４２と、模擬操作において操作部４２から入力された操作情報をクレーン１に送り出す制御部４６と、を備える。

［外観構成］
本実施形態に係る遠隔操作端末４０は、操作面４１を有する。操作面４１には、操作部４２、表示部４４、及び停止操作部４５が設けられる。また、遠隔操作端末４０は、クレーン１と通信接続するための通信部４３を有する。

操作部４２は、クレーン１の具体的な動作を遠隔操作するインタフェースである。また、操作部４２は、表示部４４に表示された後述する仮想オブジェクト８０（図８参照）を、表示部４４上で移動させる（換言すれば、模擬操作する）ためのインタフェースでもある。操作部４２から入力された操作情報を含む制御情報は、遠隔操作端末４０からクレーン１へと送り出される。クレーン1は、遠隔操作端末４０から受け取った制御情報に基づいて、動作する。本実施形態の場合、遠隔操作端末４０は、後述する模擬操作だけでなく、操作部４２または他のインタフェースを用いて、クレーン１を実際に（直接的に）操作することもできる。なお、遠隔操作端末４０は、後述する模擬操作に基づくクレーン１の遠隔操作のみができる構成でもよい。

具体的には、操作部４２は、操作スティック４２ａ、操作ボタン４２ｂを有する。なお、操作部４２は、図示の場合に限定されず、他のインタフェースを有してもよい。

また、１つの遠隔操作端末４０に設けられる操作部４２の数は、１つ（例えば、操作スティック４２ａのみ）であってもよいし、２つ以上であってもよい。

操作スティック４２ａは、図２に示す例では操作面４１の例えば左側に配置される。ユーザは、操作スティック４２ａを所定方向に倒すことで、例えば、フック１７などの遠隔操作により動かす部材（以下、「移動対象」という。）を、上記所定方向に対応した方向に、操作量に応じた速度で駆動できる。すなわち、操作スティック４２ａを大きく倒すほどフック１７の移動速度が速くなり、操作スティック４２ａを起こすほどフック１７の移動速度が遅くなる。

ユーザは、上述のような操作スティック４２ａを所定方向に倒すことで、表示部４４に表示された仮想オブジェクト８０を、当該所定方向に対応した方向に、操作量に応じた速度で移動できる。すなわち、操作スティック４２ａを大きく倒すほど仮想オブジェクト８０の移動速度が速くなり、操作スティック４２ａを起こすほど仮想オブジェクト８０の移動速度が遅くなる。

操作ボタン４２ｂは、図２に示す例では操作面４１の例えば右側に配置される。操作ボタン４２ｂとしては、例えば、フック１７および仮想オブジェクト８０を上昇させる上昇ボタン４２ｂｕｐ、フック１７および仮想オブジェクト８０を下降させる下降ボタン４２ｂｄｏｗｎが挙げられる。

操作面４１の例えば中心部には、表示部４４が配置される。表示部４４には、検知装置１４５の検知情報に基づき生成された周囲画像が表示される。遠隔操作端末４０に設けられる表示部４４の数は、１つであってもよいし、複数であってもよい。例えば、表示部４４は、３つの表示部が並べて配置される構成でもよい。

例えば、検知装置１４５としてカメラを使用して、上述の３方向からの撮影画像を表示部４４に表示する場合、３つの表示部のそれぞれに、異なる方向から撮影された画像が表示されてもよい。また、表示部４４が３つの表示部要素に分割されている場合には、３つの表示部要素のそれぞれに、異なる方向から撮影された画像が表示されてもよい。また、カメラが複数（例えば、２個以上）ある場合には、各カメラの画像は、表示部４４に個別に表示されもよい。あるいは、表示部４４に表示される画像は、複数（例えば、２個以上）のカメラ映像から生成された新たな１つの３次元画像でもよい。

また、検知装置１４５としてレーダーを使用する場合、仮想三次元画像が、表示部４４に表示される構成であってもよい。あるいは、仮想三次元空間を予め定めた視点位置から視認した二次元画像に変換した画像が、表示部４４に表示される構成であってもよい。

表示部４４は、例えば液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ、および無機ＥＬディスプレイの少なくとも一つのディスプレイを含む。また、表示部４４は、タッチセンサ（非図示）を具備してもよい。

表示部４４は、操作部４２等の他のインタフェースと一体になっている必要はない。表示部４４は、例えば頭部装着型のヘッドマウントディスプレイ(Head-Mounted Display, HMD)であってもよい。ＨＭＤは、装着者の左及び／又は右の眼に対応した光学ユニットを有し、少なくとも視覚（他にも例えば聴覚も制御する構成を有していてもよい）を制御できる。

装着者は、ＨＭＤを通じて提示される操作画像（映像）を視認できる。よって、装着者は、入力操作面を確認することなく、ＨＭＤによる操作画像を見ながら直感的に操作できる。なお、装着者に提示される操作画像は、検知装置１４５の検知情報に基づいて生成された仮想現実画像（映像）であってもよい。

また、ＨＭＤは、装着者の左右の眼に異なる映像を映し出すことも可能である。ＨＭＤは、左右の眼に視差のある画像を表示することにより、装着者に３Ｄ画像を提示できる。以上のように、表示部がＨＭＤの場合にも、ＨＭＤには、上述の表示部４４の場合と同様に、クレーン１から受け取った周囲画像および仮想オブジェクトが表示される。

また、本実施形態に係る遠隔操作端末４０は、後述する仮想オブジェクトが障害物等に衝突した際に、クレーン１のアクチュエータ５０の動作を停止させるための、停止操作部４５を有すると好ましい。図２には、停止操作部４５の操作インタフェースとして、ボタンタイプのものを操作スティック４２ａの上方に配置した例が示される。ただし、停止操作部４５の操作インタフェースは、スイッチタイプなどの他のインタフェースであってもよい。また、操作停止部４５の操作インタフェースは、図２と別の位置に設けられてもよい。

［ハードウェア構成］
次に、図３を参照して、本実施形態に係る遠隔操作端末４０のハードウェア構成を説明する。遠隔操作端末４０の制御部４６は、例えば、ＣＰＵ（Central Processing Unit）８１、ＲＯＭ（Read Only Memory）８２、及びＲＡＭ（Random Access Memory）８３を備える。各々の構成要素は、互いにバス８４を介して接続される。

ＣＰＵ８１は、必要に応じてＲＡＭ８３等に適宜アクセスして各種演算処理を行いながら遠隔操作端末４０を統括的に制御する。ＲＯＭ８２は、ＣＰＵ８１に実行させるＯＳ（Operating System）、プログラム、及び各種パラメータなどのファームウェアが記憶されている不揮発性のメモリである。ＲＡＭ８３は、ＣＰＵ８１の作業用領域等として用いられ、ＯＳ、実行中のアプリケーション、及び処理中のデータ等を一時的に保持する。

また、遠隔操作端末４０は、入出力インタフェースとして、通信部４３、表示部４４、操作部４２、及び停止操作部４５（図２参照）を有する。

通信部４３は、クレーン１と通信接続するためのモジュールである。

表示部４４は、表示デバイスである。表示部４４についてはすでに説明しているので、ここでは詳細な説明は省略する。

操作部４２は、操作スティックや操作ボタン等の入力装置である。ユーザは、操作部４２を用いて、クレーン１の具体的な動作を遠隔操作する。具体的には、操作部４２は、操作インタフェース８５、操作センサ８６、及び操作入力処理部８７、を有する。

操作インタフェース８５は、フック１７の移動操作を入力するためのものである。操作センサ８６は、操作インタフェース８５から入力された操作情報（例えば、操作スティック４２ａの操作量に関する情報、操作方向に関する情報など）を検出する。

操作センサ８６は、検出した操作情報を、操作入力処理部８７に送り出す。操作入力処理部８７は、例えば、操作センサ８６から受け取った操作情報に基づいて操作指令信号を算出する。そして、操作入力処理部８７は、算出した操作指令信号を制御部４６へと送り出す。

制御部４６は、受け取った操作指令信号を含む制御情報を生成し、制御情報をクレーン１へと送り出す。クレーン１の制御装置７０は、受け取った制御信号に基づいてアクチュエータ５０を駆動し、移動対象（例えば、フック１７）を移動させる。

停止操作部４５は、操作ボタン等の入力装置であり、クレーン１の動作を停止させるインタフェースである。

［制御系の構成］
つぎに、クレーン１および遠隔操作端末４０の制御系について説明する。

［クレーンの制御系］
まず、図４を用いて、本実施形態に係るクレーン１の制御系について説明する。

本実施形態に係るクレーン１は、少なくともアクチュエータ５０、制御装置７０、通信部７５、及び検知装置１４５を有する。

アクチュエータ５０は、作業装置に該当するものであって、１乃至複数のシリンダやモータを有する。また、アクチュエータ５０は、制御装置７０からの制御情報を受信可能に構成される。

制御装置７０は、少なくともバス、演算装置、及び記憶装置などを有する。制御装置７０は、通信部７５との間で制御情報を送受信可能に構成され、検知装置１４５との間で検知情報を受信可能に構成される。

また、制御装置７０は、アクチュエータ５０に制御情報を送信可能に構成される。なお、図４では、コントロールバルブ６０がアクチュエータ５０に制御情報を送信可能な構成を示している。この場合、コントロールバルブ６０及び制御装置７０が、制御装置に該当すると言える。

通信部７５は、遠隔操作端末４０との間で制御情報及び／又は画像を送受信可能に構成される。また、通信部７５は、制御装置７０との間で制御情報及び／又は画像を送受信可能に構成される。すなわち、遠隔操作端末４０とクレーン１（具体的には、制御装置７０）とは、制御情報及び／又は画像を送受信可能である。

検知装置１４５は、検知情報を制御装置７０に送信可能に構成される。また、検知装置１４５は、検知情報に基づき画像を生成する画像生成部（非図示）を有してもよい。この場合、検知装置１４５は、画像生成部で生成された画像（例えば、周囲画像）を制御装置７０に送信する。

また、クレーン１は、通常、操作部７１を有する。クレーン1は、操作部７１の操作情報に基づき動作する。この場合、操作部７１は、操作に基づく操作情報を制御装置７０へと送信する。なお、操作部７１としては、例えば、旋回レバー７１ａ、起伏レバー７１ｂ、伸縮レバー７１ｃ、及びメインウインチレバー７１ｄが挙げられる。

［遠隔操作端末の制御系］
次に、図５を参照して、本実施形態に係る遠隔操作端末４０の制御系について説明する。

本実施形態に係る遠隔操作端末４０は、制御部４６、通信部４３、表示部４４、操作部４２、及び停止操作部４５を有する。

制御部４６は、遠隔操作端末４０を構成する各部との間で、情報の送受信を適宜行う。具体的には、制御部４６は、操作部４２や停止操作部４５からの操作情報を受信可能に構成される。また、制御部４６は、通信部４３との間で制御情報及び／又は画像を送受信可能に構成される。さらに、制御部４６は、表示部４４との間で画像を送受信可能に構成される。

制御部４６は、クレーン１から受け取った周囲画像を、表示部４４に表示させる。また、制御部４６は、表示部４４に表示された周囲画像に対して、所定の仮想オブジェクトの画像（以下、単に「仮想オブジェクト」という。）を重畳して（合成して）表示させる。仮想オブジェクトは、クレーン１の一部または移動対象を示す画像である。このような制御部４６は、表示処理部でもある。

また、表示部４４が複数の表示部要素に分割されている場合には、制御部４６は、表示部要素毎に、異なる視点の周囲画像（例えば、上述した３方向からの撮影画像）を表示する。この場合には、制御部４６は、表示部要素毎に、仮想オブジェクトを表示する。

制御部４６は、操作部４２が操作された場合に、操作部４２から入力された操作情報に基づいてクレーン１が動作したと仮定した場合の移動対象の位置（以下、「移動対象の推定位置」という。）を算出する。この際、移動対象は、実際には移動していない。制御部４６は、表示部４４に表示された周囲画像において、移動対象の推定位置に対応する位置（以下、「移動後の位置」という。）に、仮想オブジェクトを表示する。表示部４４が複数の表示部要素に分割されている場合には、制御部４６は、各表示部要素における移動後の位置に、仮想オブジェクトを表示する。

通信部４３は、クレーン１の通信部７５との間で制御情報及び／又は画像を送受信可能に構成される。また、通信部４３は、制御部４６との間で制御情報及び／又は画像を送受信可能に構成される。

表示部４４は、制御部４６との間で画像を送受信可能に構成される。表示部４４についてはすでに説明しているので、ここでは詳細な説明は省略する。

操作部４２及び停止操作部４５はそれぞれ、制御部４６に操作情報を送信可能に構成される。操作部４２及び停止操作部４５についてはすでに説明しているので、ここでは詳細な説明は省略する。

［画像表示方法について］
本実施形態に係る遠隔操作端末４０の画像表示方法について、図６〜図８を参照して説明する。なお、図７及び図８においては、説明のために一部の構成要素は、簡略化して示される。

図６の上図において、縦軸は、操作部４２の操作入力があったか否かを（ＯＮ：操作入力アリ；ＯＦＦ：操作入力ナシ）示す。また、横軸は時間（ｔ）を示す。

図６の中図において、縦軸は、操作入力に基づき、フック１７が実際に移動しているか否かを（ＯＮ：移動している：ＯＦＦ：移動していない）示す。また、横軸は時間（ｔ）を示す。

図６の下図において、縦軸は、フック１７の実際の移動に対応して、表示部４４に表示されている画像内でフック１７が移動しているか否かを（ＯＮ：移動している；ＯＦＦ：移動していない）示す。また、横軸は時間（ｔ）を示す。

一般的に、遠隔地から遠隔操作する場合、通信に時間を要する。このため、遠隔操作端末４０の操作部４２から入力された操作情報を含む制御情報が、クレーン１に送信されてからフック１７が実際に移動するまでには時間がかかる（つまり、遅延する）。

図６に示す例では、この遅延の時間を、５秒と仮定する（下りの遅延：５秒）。また同様に、検知装置１４５の検知情報に基づくクレーン１の周囲画像が、遠隔操作端末４０に送信されてから表示部４４に表示されるまでには時間がかかる（つまり、遅延する）。図６に示す例では、この遅延の時間を、６秒と仮定する（上りの遅延：６秒）。

上述したような２種類の遅延が存在するため、図６に示すように、０秒〜３０秒まで操作部４２で操作入力すると、下りの遅延により５秒遅延するため、クレーン１のフック１７は５秒〜３５秒まで移動する。そして、このクレーン１のフック１７の移動は、上りの遅延により６秒遅延するため、ユーザは、表示部４４において１１秒〜４１秒でフック１７の移動を確認できる。

すなわち、遠隔地で遠隔操作端末４０を操作するユーザは、０秒〜１１秒の間、実際のフック１７の移動を表示部４４上で確認できないため、フック１７の移動を予想しながらフックを移動させる必要がある。また、実際には、３０秒で操作を終了させる場合においても、表示部４４上でのフック１７は移動途中（フック１７は、１９秒移動した位置にある）であるため、ユーザは、フック１７の移動を予想しながら操作を終了する必要がある。

そこで、本実施形態に係る遠隔操作端末４０は、表示部４４に表示される周囲画像に対して、移動対象に対応する仮想オブジェクトを重畳して表示する。ユーザが、操作部４２を操作する以前の状態で、仮想オブジェクトは、表示部４４に表示された周囲画像における移動対象の画像の位置（以下、「移動前の位置」という。）に重畳して表示される。

そして、ユーザが遠隔操作端末４０の操作部４２を操作すると、操作部４２から入力された操作情報に応じて、表示部４４に表示された周囲画像に対して仮想オブジェクトが移動する。この際、仮想オブジェクトは、操作情報に基づいてクレーン１が動作したと仮定した場合の移動対象の移動と同じ条件で、表示部４４内を移動する。つまり、ユーザは、周囲画像に対して仮想オブジェクトを移動させることにより、移動対象の実際の移動を模擬操作（シミュレーション）することができる。

以下、移動対象が、クレーン１のフック１７の場合について説明する。ユーザが操作部４２を操作する以前の状態で、仮想オブジェクトは、表示部４４に表示された周囲画像におけるフック１７の位置に重畳して表示される。この状態から、ユーザが、操作部４２を操作すると、制御部４６は、操作情報に基づいて移動対象の推定位置を算出する。

このような演算は、遠隔操作端末４０の制御部４６で行われるため、上述した２種類の遅延は、演算結果に影響しない。そして、制御部４６は、表示部４４に表示された周囲画像において、移動対象の推定位置に対応する位置（つまり、上述した移動後の位置）に、仮想オブジェクトを表示する。つまり、仮想オブジェクトは、表示部４４内において、移動前の位置から移動後の位置に移動する。

具体的には、操作部４２の操作入力処理部８７は、操作部４２の操作情報（例えば、操作スティック４２ａの操作方向に関する情報および操作量に関する情報）を制御部４６へと送り出す。そして、制御部４６は、操作情報に基づく、上記２種類の遅延がない場合のフック１７の位置（つまり、上述した移動対象の推定位置）を算出する。制御部４６は、周囲画像において、算出した移動対象の推定位置に対応する位置に、予め決められた所定の仮想オブジェクトを重畳処理する。そして、制御部４６は、重畳後の重畳画像を表示部４４へ表示する制御を行う。

例えば、図７に示すような作業現場で、フック１７に吊下げられた荷物Ｐを障害物Ａの方向に（すなわち、Ｘ１方向に）移動させる場合について、説明する。図７は、実際の作業現場の斜視図である。図８は、遠隔操作端末４０の表示部４４に表示された画像を示す。なお、図８には、複数の表示部要素に分割された表示部４４が示される。表示部要素それぞれには、異なる視点の周囲画像（例えば、上述の３方向からの撮影画像）および仮想オブジェクト８０が表示されている。

図８には、図７に示されるクレーン１の周囲画像が示される。周囲画像には、図７に示されるフック１７及び荷物Ｐの実際の画像（以下、「移動対象画像」という。）が含まれる。図８には、図７に示されるフック１７及び荷物Ｐに対応する仮想オブジェクト８０が、周囲画像内のフック１７及び荷物Ｐの位置からずれた位置に表示されている。

すなわち、図８は、ユーザが操作部４２を操作して、表示部４４上の仮想オブジェクト８０を移動前の位置から図８に示される移動後の位置に移動した状態を示す。移動前の位置は、図８に示されるフック１７および荷物Ｐの位置である。ユーザが操作部４２を操作する以前の状態で、仮想オブジェクト８０は移動前の位置に位置する。ユーザは、操作部４２を操作することにより、図８に示される周囲画像に対して、仮想オブジェクト８０をさらに移動できる。

この場合、ユーザは、図８に示す表示部４４の画面において、フック１７や荷物Ｐを見ながら作業するのではなく、仮想オブジェクト８０を見ながら作業する。そして、表示部４４に表示される画像におけるフック１７及び荷物Ｐは、前述の例では１１秒後に、その仮想オブジェクト８０の移動軌跡に沿って移動する。

図８において、仮想オブジェクト８０は、仮想三次元空間に配置された仮想オブジェクト８０を、二次元空間に射影したデータである。換言すれば、仮想オブジェクト８０は、仮想三次元空間に配置された仮想オブジェクト８０を、図８に示すように、予め定めた視点位置から視認した二次元画像に変換（視点変換）した画像である。なお、仮想オブジェクト８０は、実空間には含まれない仮想のオブジェクトである。なお、表示部４４の表示態様は、図８の場合に限定されず、仮想オブジェクト８０を配置した仮想三次元画像が表示部４４に表示される構成であってもよい。

仮想オブジェクト８０は、例えば、表示部４４で扱う事の可能な画像データである。仮想オブジェクト８０の画像データは、実空間画像の撮影とは異なるタイミングで撮影されたフック１７及び荷物Ｐの撮影画像の画像データとすることが好ましいが、本発明はこの点において限定されない。仮想オブジェクト８０は、他にも例えば、外部装置などで別途作成された画像や印刷物の画像データでもいい。また、仮想オブジェクト８０は、移動対象（例えば、フック１７および荷物Ｐ）を模式的に表現した画像であってもよい。

また、本実施形態においては、作業機として、フック１７を用いて荷物Ｐを移動させる移動式クレーンについて説明したが、本発明はこの点において限定されず、例えば把持装置を有し、荷物Ｐを把持して移動させる移動式クレーンであってもよい。また、作業機として、高所作業車のようにバケット、バスケット、プラットホーム等の作業床を有する場合であっても、本発明を適用可能である。これらの場合、仮想オブジェクト８０は、把持装置又は作業床に関する画像であると好ましい。

次に、上述した画像表示方法を実施するための、遠隔操作端末４０の動作について、図９のフローチャートを参照して説明する。

先ず、ステップＳ１において、遠隔操作端末４０の電源を入れると、制御部４６は、クレーン１の周囲画像を取得する。この時、制御部４６は、次のように周囲画像を取得する。周囲画像は、検知装置１４５の検知情報に基づき生成される。検知装置１４５で生成された周囲画像は、通信部７５を介して、クレーン１から遠隔操作端末４０へと送信される。そして、遠隔操作端末４０は、通信部４３を介して周囲画像を受け取る。通信部４３は、受け取った周囲画像を制御部４６へと送り出す。このようにして、制御部４６は、クレーン１の周囲画像を取得する。制御部４６は、所定の時間間隔で周囲画像を取得してもよい。

次に、ステップＳ２において、制御部４６は、取得した周囲画像を表示部４４に表示する。制御部４６が所定の時間間隔で周囲画像を取得する場合には、制御部４６は、表示部４４の周囲画像を所定の時間間隔で更新してもよい。

次に、ステップＳ３において、制御部４６は、操作部４２の操作センサ８６において、入力操作が検知されたか否かを判定する。このとき、制御部４６は、例えば、操作センサ８６から送信された操作情報（入力信号）に基づいて、入力操作の検知判定を行う。

その結果、制御部４６は、入力操作が検知されていないと判定した場合（ステップＳ３：Ｎｏ）、入力操作が検知されるまで検知ルーチンを繰り返す。一方、制御部４６は、入力操作が検知されたと判定した場合（ステップＳ３：Ｙｅｓ）、ステップＳ４において、操作部４２から入力された操作情報に基づいて、上述した移動対象の推定位置を算出する。

そして、ステップＳ５において、制御部４６は、表示部４４に表示された周囲画像に対して、仮想オブジェクト８０を重畳処理する（合成する）。つまり、制御部４６は、周囲画像に対して仮想オブジェクト８０を重畳した画像（以下、「重畳画像」という。）を生成する。仮想オブジェクト８０が重畳される位置は、周囲画像において、ステップＳ４で演算された移動対象の推定位置に対応する位置（つまり、上述した移動後の位置）である。

次に、ステップＳ６において、制御部４６は、重畳処理後の重畳画像を表示部４４に表示する。その後、制御部４６は、制御処理をステップＳ３に戻す。

以上、本実施形態によると、ユーザは、表示部４４の画面において、操作部４２からの入力操作に基づいて計算された位置にある仮想オブジェクト８０を見ながら遠隔操作端末４０を操作できる。そのため、ユーザは、通信による遅延を意識せずに操作を行うことができる。

なお、ユーザにより操作部４２が操作された場合、制御部４６は、操作部４２から入力された操作情報を含む制御情報を生成し、クレーン１に送り出す。クレーン１は、受け取った制御情報に基づいて、動作する。この際、クレーン１は、移動対象（例えば、フック１７または荷物Ｐ）が、表示部４４上での仮想オブジェクト８０の動きを再現するように動作する。この結果、移動対象は、表示部４４における仮想オブジェクト８０の移動と同じように、実際に移動する。

なお、表示部４４における仮想オブジェクト８０の移動と、実際の移動対象の移動との間には、上述の下りの遅延に相当する時間差が存在する。表示部４４における仮想オブジェクト８０の移動と、表示部４４における移動対象の画像（例えば、図８のフック１７および荷物Ｐ）の移動との間には、上述の下りの遅延と上りの遅延との和に相当する時間差が存在する。

［実施形態２］
図１０〜図１５を参照して、本発明に係る実施形態２の遠隔操作端末４０について説明する。なお、図１０及び図１１においては、説明のために一部の構成要素は、簡略化して示されている。図１０は、実際の作業現場の斜視図である。図１１は、遠隔操作端末４０の表示部４４に表示された画像を示す。

例えば、図１０に示すような作業現場で、フック１７に吊下げられた荷物Ｐを障害物Ｂの方向に（すなわち、Ｘ１方向に）移動させる場合について、説明する。この場合、ユーザは、図１１に示す表示部４４の画面において、フック１７や荷物Ｐを見ながら作業するのではなく、仮想オブジェクト８０を見ながら作業する。

図１２の上図において、縦軸は、操作部４２の操作入力があったか否かを（ＯＮ：操作入力アリ；ＯＦＦ：操作入力ナシ）示す。横軸は時間（ｔ）を示す。

図１２の中図において、縦軸は、その操作入力に基づき、フック１７が実際に移動しているか否かを（ＯＮ：移動している：ＯＦＦ：移動していない）示す。横軸は時間（ｔ）を示す。

図１２の下図において、縦軸は、そのフック１７の実際の移動に対応して、表示部４４に表示されている画像内でフック１７が移動しているか否かを（ＯＮ：移動している；ＯＦＦ：移動していない）示す。横軸は時間（ｔ）を示す。

本実施形態では、図１２に示すように、０秒〜３０秒までフック１７を移動させることを想定していたが、１５秒の時点で、図１１に示すように仮想オブジェクト８０が障害物Ｂに衝突したため、１５秒の時点で操作を停止した場合について、説明する。なお、ここで言う操作の停止とは、遠隔操作端末４０の操作部４２の入力を止めること、又は、停止操作部４５により停止入力を行うこと、のいずれの場合であってもよい。

上述の操作の場合、遠隔操作端末４０からクレーン１へと送り出された制御情報（換言すれば、操作命令）は、下りの遅延により５秒遅延するため、クレーン１のフック１７及び荷物Ｐは、５秒〜２０秒まで移動する。

一方、操作の停止命令を含む制御情報についても、下りの遅延により５秒遅延するため、クレーン１は、２０秒の時点で停止命令を含む制御情報を受信し、フック１７の移動を停止する。

しかしながら、フック１７及び荷物Ｐは、５秒〜２０秒までの間、移動しているため、結局、フック１７及び荷物Ｐは、２０秒の時点で障害物Ｂに衝突する。

ユーザは、６秒の上りの遅延により、２６秒の時点で、フック１７及び荷物Ｐが障害物Ｂに衝突することを、表示部４４の画面において実際に確認する。

そこで、本実施形態では、遠隔操作端末４０で操作入力がされてから、クレーン１が実際にその操作を作動するまでの時間に対して、上述の２種類の遅延以外の更なる遅延を設ける構成を有する。

更なる遅延は、通信に起因する遅延ではなく、意図的に設定される遅延である。更なる遅延は、ユーザにより設定されてもよい。あるいは、更なる遅延は、遠隔操作端末４０のＲＯＭ８２などの記憶装置に、予め記憶されていてもよい。

具体的な例を、更なる遅延として２０秒の遅延を設けた場合について、図１３を参照して説明する。

図１３の上図において、縦軸は、操作部４２の操作入力があったか否かを（ＯＮ：操作入力アリ；ＯＦＦ：操作入力ナシ）示す。横軸は時間（ｔ）を示す。

図１３の中図において、縦軸は、その操作入力に基づき、フック１７が実際に移動しているか否かを（ＯＮ：移動している：ＯＦＦ：移動していない）示す。横軸は時間（ｔ）を示す。

図１３の下図において、縦軸は、そのフック１７の実際の移動に対応して、表示部４４に表示されている画像内でフック１７が移動しているか否かを（ＯＮ：移動している；ＯＦＦ：移動していない）示す。横軸は時間（ｔ）を示す。

図１３に示すように、０秒〜３０秒までフック１７を移動させることを想定していたが、図１１に示すように、仮想オブジェクト８０が障害物Ｂに衝突したため、１５秒で操作を停止した場合について、説明する。なお、ここで言う操作の停止とは、停止操作部４５により停止入力を行うことを意味する。停止入力に基づく停止命令は、更なる遅延を設けることなく、遠隔操作端末４０からクレーン１に送り出される。

上記説明したように、０秒〜１５秒まで操作入力した場合、操作命令は、下りの遅延により５秒遅延するが、本実施形態では、更なる遅延として２０秒の遅延を設けているため、フック１７及び荷物Ｐは、２５秒〜４０秒の間、移動する予定となる。しかしながら、１５秒の時点で、停止操作部４５により停止入力が行われている。

停止入力に基づく停止命令は、更なる遅延を設けることなく遠隔操作端末４０からクレーン１に送り出される。このため、クレーン１は、遠隔操作端末４０が停止命令を送り出した１５秒から下りの遅延により５秒遅れた２０秒の時点で、停止命令を受け取る。

クレーン１は、停止命令を受け取った２０秒の時点で、フック１７及び荷物Ｐの移動予定を停止する。結果として、フック１７及び荷物Ｐは、移動しないため、障害物Ｂとの衝突も回避される。本実施形態によれば、フック１７と障害物Ｂとの衝突の回避、およびユーザの操作ミスによる操作のやり直しなどが、容易となる。

更なる遅延の時間としては、０秒より大きい時間であれば限定されない。ユーザが仮想オブジェクト８０と障害物Ｂとの衝突を確認してから、停止操作部４５により停止入力を行う時間的猶予を考慮すれば、更なる遅延の時間は、５秒以上が好ましい。

より好ましくは、更なる遅延の時間は、想定する一連の作業時間以上の時間であると好ましい。具体的には、例えば３０秒間のクレーン１の移動作業の場合、更なる遅延は、３０秒以上であると好ましい。あるいは、３００秒間のクレーン１の移動作業の場合、更なる遅延は、３００秒以上であると好ましい。

これにより、ユーザは、表示部４４の画面において、仮想オブジェクト８０が全ての作業を無事に達成していることを確認してから、実際のフック１７及び荷物Ｐの移動を開始させることができる。

さらに、荷物Ｐの積み下ろし作業などの、類似の動作を繰り返し実行する場合、仮想オブジェクト８０を移動した際に操作部４２から入力された操作情報を記憶させることで、同じ動作を同じ条件で何度も繰り返し実行させることができる。そのため、繰り返し作業を自動操作で実行できるため、作業人員の削減、作業効率の向上などの効果も期待できる。

次に、上記説明した更なる遅延を設ける実施形態における、遠隔操作端末４０の実際の作動について、図１４及び図１５に示されるフローチャートを参照して説明する。

更なる遅延を遠隔操作端末４０で管理する場合、遠隔操作端末４０の制御部４６が、クレーン１に制御情報を送り出す方法として、次の二つの方法がある。制御情報には、遠隔操作端末４０の操作部４２から入力された操作情報が含まれる。

第一の方法は、制御部４６が、操作部４２の操作に基づくクレーン１の動作に関する制御情報を、所定の時間（更なる遅延の時間）が経過した後にクレーン１へと送信する方法である。第一の方法の場合、制御情報を受け取ったクレーン１は、直ちに制御情報に含まれる操作情報に基づく動作を開始する。

一方、第二の方法は、制御部４６が、所定の時間が経過した後に動作を開始する指示を含んだ制御情報を、クレーン１へと送信する方法である。第二の方法の場合、制御情報を受け取ったクレーン１は、制御情報を受け取ってから所定の時間が経過した後、制御情報に含まれる操作情報に基づく動作を開始する。第一の方法および第二の方法について、図１４及び図１５を参照して説明する。

第一の方法の場合、先ず、図１４のステップＳ１１において、制御部４６は、操作部４２における入力操作の有無を判定する。具体的には、制御部４６は、操作部４２（具体的には、操作センサ８６）における操作情報の検出結果に基づいて、操作部４２における入力操作の有無を判定する。

その結果、制御部４６は、操作部４２において入力操作が無いと判定した場合（ステップＳ１１：Ｎｏ）、操作部４２における入力操作が有りと判定されるまで判定ルーチンを繰り返す。

一方、制御部４６は、操作部４２における入力操作が有りと判定した場合（ステップＳ１１：Ｙｅｓ）、図１４のステップＳ１２において、操作部４２から、操作指令信号を取得する。

操作指令信号は、前述したように操作部４２の操作入力処理部８７で生成される。そして、制御部４６は、受け取った操作指令信号を含む制御情報を生成する。

次に、図１４のステップＳ１３において、制御部４６は、予め設定された所定の時間（更なる遅延の時間）が経過したか否かを判定する。制御部４６は、所定の時間が経過していないと判定した場合（ステップＳ１３：Ｎｏ）、所定の時間が経過するまで、待機ルーチンを繰り返す。

一方、制御部４６は、所定の時間が経過したと判定した場合（ステップＳ１３：Ｙｅｓ）、図１４のステップＳ１４において、制御情報（操作命令）をクレーン１へと送信する。そして、制御部４６は、制御処理をステップＳ１１に戻す。

一方、第二の方法の場合、先ず、図１５のステップＳ２１において、制御部４６は、操作部４２における入力操作の有無を判定する。具体的には、制御部４６は、操作部４２（具体的には、操作センサ８６）における操作情報の検出結果に基づいて、操作部４２における入力操作の有無を判定する。

その結果、制御部４６は、操作部４２において入力操作が無いと判定した場合（ステップＳ２１：Ｎｏ）、操作部４２における入力操作が有りと判定されるまで判定ルーチンを繰り返す。

一方、制御部４６は、操作部４２における入力操作が有りと判定した場合（ステップＳ２１：Ｙｅｓ）、図１５のステップＳ２２において、操作部４２から、操作指令信号を取得する。そして、制御部４６は、受け取った操作指令信号を含む制御情報を生成する。

次に、図１５のステップＳ２３において、制御部４６は、制御情報（操作命令）をクレーン１へと送信する。この場合の制御情報は、フック１７の移動方向、移動速度などに操作に関する操作情報と、所定の時間にフック１７の移動を開始するように制御する遅延制御情報と、を含む。遅延制御情報は、上述の更なる遅延に関する情報である。次に、制御部４６は、制御処理をステップＳ２１に戻す。

なお、本実施形態では、更なる遅延の管理を遠隔操作端末４０側で管理する構成について説明したが、本発明はこの点において限定されず、クレーン１側で更なる遅延を管理する構成であってもよい。この場合、遠隔操作端末４０からの制御情報を受信したクレーン１の制御装置７０は、所定の時間経過した後に、アクチュエータ５０へと制御情報を送信する、又は、所定時間後に作業を実施するような制御情報をアクチュエータ５０へと送信する、等の方法により、クレーン１側で更なる遅延を管理できる。

以上、本実施形態によると、クレーン１は、操作部４２の入力操作後、所定の時間（つまり、下りの遅延時間と更なる遅延時間との和に相当する時間）が経過した後に、実際の動作を開始する。そのため、クレーン１が障害物Ｂと衝突すると予想される場合であっても、その所定の時間の間にクレーン１を停止させることで、クレーン１と障害物Ｂとの衝突を回避することができる。

また、所定の時間を経過させる（更なる遅延を設ける）ことで、一連の作業による仮想オブジェクト８０の移動軌跡を確認後に、問題なければクレーン１の操作を開始させることができる。

［実施形態３］
以下、本発明に係る実施形態３について説明する。例えば、操作部４２の操作スティック４２ａにおいて、ユーザは、操作スティック４２ａを所定の方向に倒すことで、フック１７は、その方向に対応した方向に、操作量に応じた速度で移動する。

この場合、例えば、ユーザが操作スティック４２ａの操作量を短時間で変更した場合、フック１７の加速度が大きくなり、フック１７に吊下げられた荷物が荷振れする場合がある。

この荷振れは、例えば、操作スティック４２ａをニュートラルの状態からある方向に倒した場合や、ある方向に倒した操作スティック４２ａを別の方向に倒す、ある方向に倒した操作スティック４２ａをニュートラルに倒す、等の状況で起こりやすい傾向にある。また、この荷ぶれは、一度発生してしまうと、遠隔操作端末４０の操作では止めにくい傾向にある。

そこで、本実施形態では、制御部４６がクレーン１に制御情報を送信する際に、操作部４２の操作に基づいて計算されたフック１７の加速度が、所定の加速度以下となるように制御情報を送信すると好ましい。

以上、本実施形態によると、制御部４６は、操作部４２の操作に基づいて計算されたフック１７の加速度が、所定の加速度以下となるように制御情報をクレーン１へと送信する。そのため、仮想オブジェクト８０の操作において、荷振れが発生した場合においても、クレーン１による再現の際に、荷振れを発生させずに作業を実施できる。

［実施形態４］
以下、本発明に係る実施形態４について説明する。操作部４２の操作に基づく仮想オブジェクト８０の移動について、遠隔操作端末４０を操作するユーザが問題ないと判断した場合であっても、新たな障害物の発生などにより、突発的に作業を停止する必要がある場合も考えられる。なお、ここで言う新たな障害物の発生とは、例えば、作業現場にトラックが到着した、他の作業員が作業現場に立ち入った等の状況により起こり得る。

しかしながら、上記説明した上りの遅延により、ユーザは作業現場の状況をすぐには確認できない。また、仮に作業現場の状況を把握できた場合であっても、ユーザによる作業停止命令がクレーン１に到達するまでには、下りの遅延により時間を要する。

そこで、本実施形態では、検知装置１４５が、遠隔操作端末４０から受け取った制御情報に基づいて算出した移動対象の移動軌跡上に、移動対象と衝突し得るような物体を検知した場合に、（遠隔操作端末４０の制御部４６ではなく）クレーン１の制御装置７０が、操作部４２の操作情報に基づくクレーン１の動作を停止するように、アクチュエータ５０に制御情報を送信する。

つまり、本実施形態の場合、クレーン１は、例えば、受け取った制御情報（例えば、フック１７の移動軌跡）及びその時点におけるクレーン１の周囲状況の少なくとも一方に基づいて、作業を安全に行えるか否かを判定する。作業を安全に行えないと判定した場合には、クレーン1は、制御情報に基づく動作を停止する。

本実施形態によると、遠隔地での操作ではなく、実機（すなわち、クレーン１）側で危険を検知して、この検知に基づいてクレーン１の動作を停止することで、突発的な危険も回避することができる。

［付記］
上述した各実施形態において、遠隔操作端末４０（具体的には、制御部４６）は、以下に説明する二種類の方法で制御情報をクレーン１に送り出す。第一の方法は、上述した実施形態１の構成において採用され得る。

具体的には、第一の方法の場合、遠隔操作端末４０（具体的には、制御部４６）は、操作部４２において操作情報が入力されると、順次、操作情報に基づいて制御情報を生成し、クレーン１に送り出す。第一の方法は、上述した実施形態２において、更なる遅延の管理をクレーン１側で行う構成にも採用され得る。

一方、第二の方法は、上述の実施形態２の構成において、更なる遅延の管理を遠隔操作端末４０側で行う構成に採用され得る。

具体的には、第二の方法の場合、遠隔操作端末４０（具体的には、制御部４６）は、操作部４２において操作情報が入力されると、操作情報に基づいて制御情報を生成する。そして、遠隔操作端末４０は、操作部４２において操作情報が入力されてから所定の時間（更なる遅延に相当する時間）が経過した後、順次、制御情報をクレーン１に送り出す。

遠隔操作端末４０が制御情報をクレーン１に送り出す方法は、上述の二種類の方法に限定されない。例えば、遠隔操作端末４０は、次のような第三の方法により、制御情報をクレーン１に送り出してもよい。

第三の方法の場合、遠隔操作端末４０は、一つの作業毎に、制御情報をクレーン１に送り出す。一つの作業とは、例えば、荷物Ｐを、図８においてフック１７および荷物Ｐが示される第一状態から、障害物Ａの上面に載置された第二状態まで移動する作業を意味する。一つの作業には、複数のクレーン１の動作が含まれてもよい。なお、一つの作業は、ユーザが、一つの作業の開始時点（たとえば、フック１７または荷物Ｐの始点）と終了時点（たとえば、フック１７または荷物Ｐの終点）とを指示することにより決定してもよい。

ユーザは、遠隔操作端末４０の操作部４２を操作して、表示部４４に表示された仮想オブジェクト８０を、第一状態から第二状態まで移動させる。この状態で、一つの作業が終了する。この時点において、移動対象は実際には移動していない。

当該作業中、操作部４２から入力された操作情報は、遠隔操作端末４０のＲＡＭなどの記憶装置（記憶部ともいう。）に記憶される。なお、記憶装置に記憶される情報は、当該作業中、操作部４２から入力された操作情報に基づいて制御部４６により生成された制御情報であってもよい。

上述の一つの作業が終了すると、当該作業に対応する制御情報が、遠隔操作端末４０からクレーン１へと送り出される。なお、ユーザは、遠隔操作端末４０からクレーン１に制御情報を送り出すタイミングを指示してもよい。この場合には、遠隔操作端末４０は、制御情報を送り出すタイミングをユーザが指定するための入力部（スイッチなど）を有すると好ましい。

以上のような第三の方法の場合、ユーザは、一つの作業の完了を、遠隔操作端末４０の表示部４４で確認してから、クレーン１を動作させることができる。例えば、遠隔操作端末４０の操作において、表示部４４上で仮想オブジェクト８０が障害物Ｂに衝突した場合（図１１参照）には、ユーザは、操作をやり直すことができる。表示部４４上で仮想オブジェクト８０が障害物Ｂに衝突した時点で、制御情報はクレーン１に送られていないため、ユーザは、停止操作などを行う必要がない。

また、ユーザは、遠隔操作端末４０において、一つの作業に対して複数の模擬操作を行い、複数の模擬操作から一つの模擬操作を選択してもよい。この際、ユーザは、複数の模擬操作から、例えば、時間条件および経路条件が最適な模擬操作を選択してもよい。このような構成は、作業効率の向上に効果的である。

なお、第三の方法において、クレーン１は、一つの作業に対応する制御情報を総て受け取った後、動作を開始してもよい。あるいは、第三の方法において、クレーン１は、一つの作業に対応する制御情報の一部の情報を受け取った時点で、受け取った情報に基づいて順次動作してもよい。

また、第三の方法において、クレーン１は、受け取った制御情報（例えば、フック１７の移動軌跡）及びその時点におけるクレーン１の周囲状況に基づいて、作業を安全に行えるか否かを判定してもよい。作業を安全に行えないと判定した場合には、クレーン１は、制御情報に基づく動作を実行せず、遠隔操作端末４０に判定結果に関する情報を送り出す。一方、作業を安全に行えると判定した場合には、クレーン１は、制御情報に基づいて動作する。また、ユーザは、クレーン１が作業を安全に行えないと判断した場合に、停止スイッチなどの停止手段によりクレーン１の動作を停止してもよい。この場合には、ユーザは、クレーン１の状態を遅延なく確認できる場所にいると好ましい。また、停止スイッチなどの停止手段は、クレーン１の動作を実質的な遅延なく停止できると好ましい。

また、以上本発明の各実施形態について説明したが、本発明は上述の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、移動対象はフックに限定されない。移動対象は、フックまたはブームなどのクレーン１の構成部材だけでなく、クレーン１全体であってもよい。

移動対象がブームの場合には、表示部４４に表示されたクレーン１の周囲画像に対して、ブーム１４に対応する仮想オブジェクトが重畳して表示される。そして、ユーザは、遠隔操作端末４０の操作部４２を操作して、表示部４４上で仮想オブジェクトを伸縮、起仰、または旋回させる。

なお、例えば、遠隔操作端末の参考例１として、作業装置、制御装置及び検知装置を備える作業機の動作を遠隔操作する遠隔操作端末が挙げられる。このような遠隔操作端末は、制御装置と通信可能に構成される制御部と、検知装置の検知情報に基づき生成された画像を表示するための表示部と、作業装置を遠隔操作するための操作部と、を備える。そして、制御部は、上記画像に対して、操作部の操作情報に基づいて計算された位置に所定の仮想オブジェクトを重畳し、表示部に表示させる。

２０１６年１２月２７日出願の特願２０１６−２５２９７８の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明は、移動式クレーンおよび高所作業車などの移動可能な作業機に限らず、固定式クレーンに適用することもできる。従って、その産業上の利用可能性は多大である。

１ ラフテレーンクレーン
１０ 車体
１１ アウトリガ
１２ 旋回台
１４ ブーム
１５ 起伏シリンダ
１７ フック
２０ テンションロッド
３０ ジブ
３１ サイドアップシリンダ
４０ 遠隔操作端末
４１ 操作面
４２ 操作部
４３ 通信部
４４ 表示部
４５ 停止操作部
４６ 制御部
５０ アクチュエータ
６０ コントロールバルブ
７０ 制御装置
７５ 通信部
８０ 仮想オブジェクト
８５ 操作インタフェース
８６ 操作センサ
８７ 操作入力処理部
１４５ 検知装置

Claims (9)

1. 作業機と通信接続され、前記作業機を遠隔操作するための遠隔操作端末であって、
   表示部と、
   前記作業機の周囲の状況に関する周囲画像に、前記作業機の一部または移動対象物を示す仮想オブジェクトを合成して、前記表示部に表示させる表示処理部と、
   前記表示部において前記仮想オブジェクトを模擬操作するための操作部と、
   前記模擬操作において前記操作部から入力された操作情報を前記作業機に送り出す制御部と、を備え、
   前記制御部は、
   前記操作部が操作入力を受け付けてから、前記遠隔操作端末から前記作業機に向かう方向の通信に基づいて生じる下りの遅延時間以上の所定時間が経過した後、前記操作情報を前記作業機に送信する、または、
   前記操作情報とともに、前記作業機が前記操作情報を受け取ってから前記所定時間が経過した後に動作を開始するように前記作業機を制御する情報を、前記作業機に送信する、
   遠隔操作端末。
2. 前記模擬操作において前記操作部から入力された前記操作情報を記憶する記憶部、をさらに備え、
   前記制御部は、前記記憶部から取得した前記操作情報を前記作業機に送り出す、請求項１に記載の遠隔操作端末。
3. 前記制御部は、所定の時間間隔で、前記周囲画像を前記作業機から取得し、前記表示部に表示された周囲画像を更新する、請求項１に記載の遠隔操作端末。
4. 前記表示処理部は、前記表示部に、前記作業機の一部または前記移動対象物の実際の画像と、前記仮想オブジェクトとを同時に表示させる、請求項１に記載の遠隔操作端末。
5. 前記作業機の動作を停止するための停止入力を受け付ける停止入力部を、さらに備え、
   前記制御部は、前記停止入力が入力されると、遅延なく前記停止入力に基づく停止命令を、前記作業機に送信する、請求項１に記載の遠隔操作端末。
6. 前記制御部は、前記操作情報とともに、所定の加速度以下の加速度で動作するように前記作業機を制御する情報を、前記作業機に送る、請求項１に記載の遠隔操作端末。
7. 請求項１〜６の何れか一項に記載の遠隔操作端末と、
   前記遠隔操作端末から受け取った操作情報に基づいて動作する作業機と、を備える、
   遠隔操作システム。
8. 前記作業機は、前記操作情報および前記作業機の周囲の状況に基づいて、前記操作情報に基づく動作を行うか否かを判定する、請求項７に記載の遠隔操作システム。
9. 前記作業機は、前記操作情報に基づいて求めた前記作業機の一部または前記移動対象物の移動軌跡上に、障害物を検知した場合に、前記操作情報に基づく前記作業機の動作を停止する、請求項８に記載の操作システム。

Images