JP7114950B2 - 遠隔操作端末及び作業車両 - Google Patents

Description

本発明は、遠隔操作端末及び作業車両に関する。

従来から、移動式クレーンや高所作業車等の作業装置を備える作業車両において、作業装置の周囲を撮影して表示装置に表示するものが知られている。例えば、特許文献１には、クレーンのブームに設けられたカメラでフックを含む画像を撮影し、その画像にフックの移動方向を重畳して表示する画像表示装置が開示されている。これにより、操縦者はフックの移動方向を認識しやすい。

また近年、作業車両の作業装置を遠隔操作端末を用いて操作可能とする技術が提案されている。遠隔操作端末を用いた作業では、操縦者が作業装置の操作装置から離れた吊り荷近傍又は吊り荷の目標位置において吊り荷の移動状態を確認しながら作業を行うことができる。

ここで、作業装置と遠隔操作端末との相対的な位置関係は、作業状況に応じて変化する。このため、遠隔操作端末によって作業装置を操作する操縦者は、作業装置との相対的な位置関係を常に考慮しながら遠隔操作端末を操作する必要があった。

特開２０１６－１６６０８７号公報

そこで、上記の遠隔操作端末において、特許文献１のようにフックの移動方向を表示すれば、作業装置と作業位置との相対的な位置関係によらず、操縦者は遠隔操作端末上でフックの移動方向を確認しながら操作できると考えられる。しかしながら、フックの移動方向を表示するだけでは遠隔操作端末を快適に操作するために十分な情報量であるとはいえない。一方、様々な情報量を表示すると煩雑になり操縦者の負担が大きくなる。したがって、十分に操作性のよい遠隔操作端末であるとはいえず、さらなる改良の余地がある。

本発明は、操作具の操作方向及び操作量に応じて作業装置の移動方向及び移動速度を有向線分で表示することにより、易視認性と易操作性を両立した遠隔操作端末及び作業車両を提供することを目的とする。

遠隔操作端末は、作業車両の作業装置を遠隔操作する遠隔操作端末であって、前記作業車両の通信機と通信する端末側通信機と、前記作業装置の移動方向及び移動速度を操作方向及び操作量によって入力するための端末側操作具と、前記作業車両のカメラで撮影された画像を表示する端末側表示装置と、前記端末側通信機、前記端末側操作具及び前記端末側表示装置を制御する端末側制御装置と、を備え、前記端末側制御装置は、前記端末側操作具の操作方向及び操作量に応じて前記作業装置の移動方向及び移動速度を示すベクトルを算出し、前記作業装置の移動方向上の障害物の有無に応じて前記ベクトルを示す有向線分の表示態様を決定し、前記端末側表示装置は、前記カメラで撮影された画像に前記有向線分が重畳された画像を表示することを特徴とする。

上記の遠隔操作端末において、前記端末側制御装置は、前記作業装置の性能限界に対する負荷率に応じて前記有向線分の表示態様を決定することができる。

また、上記の遠隔操作端末において、前記表示態様は、前記有向線分の線種、線色、点滅及び長さを一以上組み合わせて異ならせることとしてもよい。

また、上記の遠隔操作端末において、前記端末側制御装置は、前記端末側操作具の操作方向の基準となる基準線を算出し、前記端末側表示装置は、前記カメラで撮影された画像に前記基準線が重畳された画像を表示するようにしてもよい。

また、上記の遠隔操作端末において、前記端末側制御装置は、前記基準線に対して前記作業装置の高さに応じた距離の目盛を算出し、前記端末側表示装置は、前記カメラで撮影された画像に前記基準線及び前記目盛が重畳された画像を表示するようにしてもよい。

また、上記の遠隔操作端末において、前記作業装置の旋回移動を操作する端末側旋回操作具を備え、前記端末側制御装置は、前記端末側旋回操作具の操作に応じて旋回移動可能な軌跡を算出し、前記端末側表示装置は、前記カメラで撮影された画像に前記軌跡が重畳された画像を表示するようにしてもよい。

作業車両は、遠隔操作端末と、前記遠隔操作端末によって遠隔操作される作業装置と、カメラと、前記遠隔操作端末と通信する通信機と、を備える作業車両であって、前記遠隔操作端末は、前記通信機と通信する端末側通信機と、前記作業装置の移動方向及び移動速度を操作方向及び操作量によって入力するための端末側操作具と、前記カメラで撮影された画像を表示する端末側表示装置と、前記端末側通信機、前記端末側操作具及び前記端末側表示装置を制御する端末側制御装置と、を備え、前記端末側制御装置は、前記端末側操作具の操作方向及び操作量に応じて前記作業装置の移動方向及び移動速度を示すベクトルを算出し、前記作業装置の移動方向上の障害物の有無に応じて前記ベクトルを示す有向線分の表示態様を決定し、前記端末側表示装置は、前記カメラで撮影された画像に前記有向線分が重畳された画像を表示することを特徴とする。

作業車両は、作業装置を備える作業車両であって、カメラと、前記カメラで撮影された画像を表示する表示装置と、前記作業装置の移動方向及び移動速度を操作方向及び操作量によって入力するための操作具と、前記カメラ、前記表示装置及び前記操作具を制御する制御装置と、を備え、前記制御装置は、前記操作具の操作方向及び操作量に応じて前記作業装置の移動方向及び移動速度を示すベクトルを算出し、前記作業装置の移動方向上の障害物の有無に応じて前記ベクトルを示す有向線分の表示態様を決定し、前記表示装置は、前記カメラで撮影された画像に前記有向線分が重畳された画像を表示することを特徴とする。

上記の作業車両において、前記作業装置は、ブームと、前記ブームの基端側から先端側に向けて架け渡されるワイヤロープと、前記ブームの先端側から垂下されて前記ワイヤロープの繰り入れ及び繰り出しによって昇降するフックとを有し、前記カメラは、前記ブームの先端近傍に設けられ、前記フックを含む画像を撮影するようにしてもよい。

本発明によれば、操作具の操作方向及び操作量に応じて作業装置の移動方向及び移動速度を有向線分で表示することにより、操縦者は有向線分を見るだけで作業装置の移動方向及び移動速度を直感的に理解することができ、その後の操作を容易に行うことができる。すなわち、易視認性と易操作性を両立することができる。

一実施形態のクレーンの全体構成を示す側面図である。 一実施形態のクレーンの制御構成を示すブロック図である。 一実施形態の遠隔操作端末の概略構成を示す平面図である。 一実施形態の遠隔操作端末の制御構成を示すブロック図である。 第１の表示態様を説明する遠隔操作端末の平面図である。 第２の表示態様の画像を示す図である。 第２の表示形態の他の画像を示す図である。 第３の表示態様の画像を示す図である。 第４の表示態様の画像を示す図である。 第５の表示態様の画像を示す図である。 第６の表示態様の画像を示す図である。 第２の表示態様の他の画像を示す図である。

以下に、図１と図２とを用いて、本発明の一実施形態に係る作業車両として移動式クレーン（ラフテレーンクレーン）であるクレーン１について説明する。なお、本実施形態においては、作業車両としてクレーン（ラフテレーンクレーン）ついて説明を行うが、オールテレーンクレーン、トラッククレーン、積載型トラッククレーン、高所作業車等でもよい。

図１に示すように、クレーン１は、不特定の場所に移動可能な移動式クレーンである。クレーン１は、車両２、作業装置であるクレーン装置６及びクレーン装置６を遠隔操作可能な遠隔操作端末３２（図２参照）を有する。

車両２は、クレーン装置６を搬送するものである。車両２は、複数の車輪３を有し、エンジン４を動力源として走行する。車両２には、アウトリガ５が設けられている。アウトリガ５は、車両２の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとから構成されている。車両２は、アウトリガ５を車両２の幅方向に延伸させるとともにジャッキシリンダを接地させることにより、クレーン１の作業可能範囲を広げることができる。

クレーン装置６は、荷物Ｗをワイヤロープによって吊り上げるものである。クレーン装置６は、旋回台７、ブーム９、ジブ９ａ、メインフックブロック１０、サブフックブロック１１、起伏用油圧シリンダ１２、メインウインチ１３、メインワイヤロープ１４、サブウインチ１５、サブワイヤロープ１６及びキャビン１７等を具備する。

旋回台７は、クレーン装置６を旋回可能に構成するものである。旋回台７は、円環状の軸受を介して車両２のフレーム上に設けられる。旋回台７は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台７には、アクチュエータである油圧式の旋回用油圧モータ８が設けられている。旋回台７は、旋回用油圧モータ８によって一方向と他方向とに旋回可能に構成されている。

旋回用油圧モータ８は、電磁比例切換弁である旋回用バルブ２３（図２参照）によって回転操作される。旋回用バルブ２３は、旋回用油圧モータ８に供給される作動油の流量を任意の流量に制御することができる。つまり、旋回台７は、旋回用バルブ２３によって回転操作される旋回用油圧モータ８を介して任意の旋回速度に制御可能に構成されている。旋回台７には、旋回台７の旋回位置（角度）と旋回速度とを検出する旋回用エンコーダ２７（図２参照）が設けられている。

ブーム９は、荷物Ｗを吊り上げ可能な状態にワイヤロープを支持するものである。ブーム９は、複数のブーム部材から構成されている。ブーム９は、ベースブーム部材の基端が旋回台７の略中央に揺動可能に設けられている。ブーム９は、各ブーム部材をアクチュエータである図示しない伸縮用油圧シリンダで移動させることで軸方向に伸縮自在に構成されている。また、ブーム９には、ジブ９ａが設けられている。ジブ９ａは、ブーム９のベースブーム部材に設けられたジブ支持部によってベースブーム部材に沿った姿勢で保持されている。ジブ９ａの基端は、トップブーム部材のジブ支持部に連結可能に構成されている。

伸縮用油圧シリンダは、電磁比例切換弁である伸縮用バルブ２４（図２参照）によって伸縮操作される。伸縮用バルブ２４は、伸縮用油圧シリンダに供給される作動油の流量を任意の流量に制御することができる。ブーム９には、ブーム９の長さを検出するブーム長検出センサ２８と、荷物Ｗの重量を検出する重量センサ２９と、ブーム９の先端を中心とする方位を検出する方位センサ４６とが設けられている（図２参照）。

カメラ９ｂ（図２参照）は、メインフック１０ａ又はサブフック１１ａと、荷物Ｗと、荷物Ｗ周辺の地物とを撮影するものである。カメラ９ｂは、ブーム９の先端又は先端近傍に設けられている。カメラ９ｂは、荷物Ｗの鉛直上方からメインフック１０ａ又はサブフック１１ａと、荷物Ｗと、クレーン１周辺の地物や地形を撮影可能に構成されている。

メインフックブロック１０とサブフックブロック１１とは、荷物Ｗを吊るものである。メインフックブロック１０には、メインワイヤロープ１４が巻き掛けられる複数のフックシーブと、荷物Ｗを吊るメインフック１０ａとが設けられている。サブフックブロック１１には、荷物Ｗを吊るサブフック１１ａが設けられている。

アクチュエータである起伏用油圧シリンダ１２は、ブーム９を起立及び倒伏させ、ブーム９の姿勢を保持するものである。起伏用油圧シリンダ１２は、シリンダ部の端部が旋回台７に揺動自在に連結され、ロッド部の端部がブーム９のベースブーム部材に揺動自在に連結されている。起伏用油圧シリンダ１２は、電磁比例切換弁である起伏用バルブ２５（図２参照）によって伸縮操作される。起伏用バルブ２５は、起伏用油圧シリンダ１２に供給される作動油の流量を任意の流量に制御することができる。ブーム９には、ブーム９の起伏角度を検出する起伏用エンコーダ３０（図２参照）が設けられている。

メインウインチ１３とサブウインチ１５とは、メインワイヤロープ１４とサブワイヤロープ１６との繰り入れ（巻き上げ）及び繰り出し（巻き下げ）を行うものである。メインウインチ１３は、メインワイヤロープ１４が巻きつけられるメインドラムがアクチュエータである図示しないメイン用油圧モータによって回転され、サブウインチ１５は、サブワイヤロープ１６が巻きつけられるサブドラムがアクチュエータである図示しないサブ用油圧モータによって回転されるように構成されている。

メイン用油圧モータは、電磁比例切換弁であるメイン用バルブ２６ｍ（図２参照）によって回転操作される。メインウインチ１３は、メイン用バルブ２６ｍによってメイン用油圧モータを制御し、任意の繰り入れ及び繰り出し速度に操作可能に構成されている。同様に、サブウインチ１５は、電磁比例切換弁であるサブ用バルブ２６ｓ（図２参照）によってサブ用油圧モータを制御し、任意の繰り入れ及び繰り出し速度に操作可能に構成されている。

キャビン１７は、操縦席を覆うものである。キャビン１７は、旋回台７に搭載されている。キャビン１７内には図示しない操縦席が設けられている。操縦席には、車両２を走行操作するための操作具やクレーン装置６を操作するための旋回操作具１８、起伏操作具１９、伸縮操作具２０、メインドラム操作具２１ｍ、サブドラム操作具２１ｓ等が設けられている（図２参照）。旋回操作具１８は、旋回用油圧モータ８を操作することができる。起伏操作具１９は、起伏用油圧シリンダ１２を操作することができる。伸縮操作具２０は、伸縮用油圧シリンダを操作することができる。メインドラム操作具２１ｍは、メイン用油圧モータを操作することができる。サブドラム操作具２１ｓは、サブ用油圧モータを操作することができる。

通信機２２（図２参照）は、遠隔操作端末３２からの制御信号を受信し、クレーン装置６からの制御情報等を送信するものである。通信機２２は、キャビン１７に設けられている。通信機２２は、遠隔操作端末３２からの制御信号等を受信すると図示しない通信線を介して制御装置３１に転送するように構成されている。また、通信機２２は、制御装置３１からの制御情報やカメラ９ｂからの画像ｉを無線通信によって遠隔操作端末３２に送信するように構成されている。

表示装置４３（図２参照）は、カメラ９ｂで撮影された画像ｉに各種情報が重畳された画像を表示するものである。表示装置４３は、液晶画面等の画像表示装置から構成されている。表示装置４３は、キャビン１７に設けられている。表示装置４３は、制御装置３１からの画像を表示するように構成されている。

方位センサ４６（図２参照）は、クレーン装置６のブーム９の先端を中心とする方位を検出するものである。方位センサ４６は、３軸タイプの方位センサから構成されている。方位センサ４６は、地磁気を検出して絶対方位を算出する。方位センサ４６は、ブーム９の先端部分に設けられている。

図２に示すように、制御装置３１は、各バルブを介してクレーン１のアクチュエータを制御するものである。制御装置３１は、キャビン１７内に設けられている。制御装置３１は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。制御装置３１には、各アクチュエータやバルブ、センサ等の動作を制御するために種々のプログラムやデータが格納されている。

制御装置３１は、カメラ９ｂ、旋回操作具１８、起伏操作具１９、伸縮操作具２０、メインドラム操作具２１ｍ及びサブドラム操作具２１ｓに接続され、カメラ９ｂの画像ｉを取得し、旋回操作具１８、起伏操作具１９、メインドラム操作具２１ｍ及びサブドラム操作具２１ｓのそれぞれの操作量を取得することができる。

制御装置３１は、通信機２２に接続され、遠隔操作端末３２からの制御信号を取得し、クレーン装置６からの制御情報やカメラ９ｂからの画像ｉ等を送信することができる。

制御装置３１は、旋回用バルブ２３、伸縮用バルブ２４、起伏用バルブ２５、メイン用バルブ２６ｍ及びサブ用バルブ２６ｓに接続され、旋回用バルブ２３、起伏用バルブ２５、メイン用バルブ２６ｍ及びサブ用バルブ２６ｓに制御信号を伝達することができる。

制御装置３１は、旋回用エンコーダ２７、ブーム長検出センサ２８、重量センサ２９及び起伏用エンコーダ３０に接続され、旋回台７の旋回位置、ブーム長さ、起伏角度及び荷物Ｗの重量を取得することができる。

制御装置３１は、表示装置４３に接続され、表示装置４３に各種画像を表示させることができる。また、制御装置３１は、方位センサ４６に接続され、ブーム９の先端を中心とする方位を取得することができる。

制御装置３１は、旋回操作具１８、起伏操作具１９、メインドラム操作具２１ｍ及びサブドラム操作具２１ｓの操作量に基づいて各操作具に対応した制御信号を生成する。

このように構成されるクレーン１は、車両２を走行させることで任意の位置にクレーン装置６を移動させることができる。また、クレーン１は、起伏操作具１９の操作によって起伏用油圧シリンダ１２でブーム９を任意の起伏角度に起立させて、伸縮操作具２０の操作によってブーム９を任意のブーム９長さに延伸させたりすることでクレーン装置６の揚程や作業半径を拡大することができる。また、クレーン１は、メインドラム操作具２１ｍ等によって荷物Ｗを吊り上げて、旋回操作具１８の操作によって旋回台７を旋回させることで荷物Ｗを搬送することができる。

次に、図３及び図４を用いて遠隔操作端末３２について説明する。図３に示すように、遠隔操作端末３２は、クレーン１を遠隔操作する際に使用するものである。遠隔操作端末３２は、筐体３３、筐体３３の操作面に設けられる端末側操作具である吊り荷移動操作具３５、端末側旋回操作具３６、端末側伸縮操作具３７、端末側メインドラム操作具３８ｍ、端末側サブドラム操作具３８ｓ、端末側起伏操作具３９、端末側表示装置４０、端末側方位センサ４７（図４参照）、端末側通信機４１及び端末側制御装置４２（図２、図４参照）等を具備する。遠隔操作端末３２は、吊り荷移動操作具３５又は各種端末側操作具の操作により荷物Ｗを移動させる各アクチュエータのバルブの制御信号をクレーン１へ送信する。

筐体３３は、遠隔操作端末３２の主たる構成部材である。筐体３３は、操縦者が手で保持可能な大きさの筐体に構成されている。筐体３３には、操作面に吊り荷移動操作具３５、端末側旋回操作具３６、端末側伸縮操作具３７、端末側メインドラム操作具３８ｍ、端末側サブドラム操作具３８ｓ、端末側起伏操作具３９、端末側表示装置４０及び端末側通信機４１（図２、図４参照）が設けられている。

吊り荷移動操作具３５は、任意の水平面において任意の方向に任意の速度で荷物Ｗを移動させる指示が入力されるものである。吊り荷移動操作具３５は、筐体３３の操作面から略垂直に起立した操作スティック及び操作スティックの傾倒方向及び傾倒量を検出する図示しないセンサから構成されている。吊り荷移動操作具３５は、操作スティックが任意の方向に傾倒操作可能に構成されている。吊り荷移動操作具３５は、センサで検出した操作スティックの傾倒方向及び傾倒量についての信号を端末側制御装置４２に伝達するように構成されている。吊り荷移動操作具３５には、筐体３３の操作面に向かって上方向を示す矢印Ａａ、操作面に向かって右方向を示す矢印Ａｂ、操作面に向かって下方向を示す矢印Ａｃ、操作面に向かって左方向を示す矢印Ａｄが吊り荷移動操作具３５の操作方向の目安として表示されている。

端末側旋回操作具３６は、クレーン装置６を任意の移動方向に任意の移動速度で旋回させる指示が入力されるものである。端末側旋回操作具３６は、筐体３３の操作面から略垂直に起立した操作スティック及び操作スティックの傾倒方向及び傾倒量を検出する図示しないセンサから構成されている。端末側旋回操作具３６は、左旋回を指示する方向及び右旋回を指示する方向にそれぞれ傾倒可能に構成されている。

端末側伸縮操作具３７は、伸縮ブーム９を任意の速度で伸縮させる指示が入力されるものである。端末側伸縮操作具３７は、筐体３３の操作面から起立した操作スティック及びその傾倒方向及び傾倒量を検出する図示しないセンサから構成されている。端末側伸縮操作具３７は、延伸を指示する方向及び収縮を指示する方向にそれぞれ傾倒可能に構成されている。

端末側メインドラム操作具３８ｍは、メインウインチ１３を任意の速度で任意の方向に回転させる指示が入力されるものである。端末側メインドラム操作具３８ｍは、筐体３３の操作面から起立した操作スティック及びその傾倒方向及び傾倒量を検出する図示しないセンサから構成されている。端末側メインドラム操作具３８ｍは、メインワイヤロープ１４の巻き上げを指示する方向及び巻き下げを指示する方向にそれぞれ傾倒可能に構成されている。端末側サブドラム操作具３８ｓについても同様に構成されている。

端末側起伏操作具３９は、伸縮ブーム９を任意の速度で起伏させる指示が入力されるものである。端末側起伏操作具３９は、筐体３３の操作面から起立した操作スティック及びその傾倒方向及び傾倒量を検出する図示しないセンサから構成されている。端末側起伏操作具３９は、起立を指示する方向及び倒伏を指示する方向にそれぞれ傾倒可能に構成されている。

端末側表示装置４０は、カメラ９ｂで撮影された画像ｉに各種情報が重畳された画像を表示するものである。端末側表示装置４０は、液晶画面等の画像表示装置から構成されている。端末側表示装置４０は筐体３３の操作面に設けられている。端末側表示装置４０は、端末側制御装置４２からの画像を表示するように構成されている。

端末側方位センサ４７は、３軸タイプの方位センサから構成されている。端末側方位センサ４７は、地磁気を検出して絶対方位を算出する。端末側方位センサ４７は、遠隔操作端末３２の筐体３３の操作面を上向きとした状態における筐体３３を中心とする方位を算出するように構成されている。

図４に示すように、端末側通信機４１は、クレーン装置６の制御情報等を受信し、遠隔操作端末３２からの制御情報等を送信するものである。端末側通信機４１は、筐体３３の内部に設けられている。端末側通信機４１は、クレーン１からの画像ｉや制御信号等を受信すると端末側制御装置４２に伝達するように構成されている。また、端末側通信機４１は、端末側制御装置４２からの制御情報をクレーン１に送信するように構成されている。

端末側制御装置４２は、遠隔操作端末３２を制御するものである。端末側制御装置４２は、遠隔操作端末３２の筐体３３内に設けられている。端末側制御装置４２は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。端末側制御装置４２は、吊り荷移動操作具３５、端末側旋回操作具３６、端末側伸縮操作具３７、端末側メインドラム操作具３８ｍ、端末側サブドラム操作具３８ｓ、端末側起伏操作具３９、端末側表示装置４０、端末側方位センサ４７、端末側通信機４１等の動作を制御するために種々のプログラムやデータが格納されている。

端末側制御装置４２は、吊り荷移動操作具３５、端末側旋回操作具３６、端末側伸縮操作具３７、端末側メインドラム操作具３８ｍ、端末側サブドラム操作具３８ｓ及び端末側起伏操作具３９に接続され、各端末側操作具の操作スティックの傾倒方向及び傾倒量からなる操作信号を取得することができる。また、端末側制御装置４２は、その操作信号に応じてブーム９の先端の移動方向及び移動速度を示すベクトルを算出する。

端末側制御装置４２は、吊り荷移動操作具３５、端末側旋回操作具３６、端末側伸縮操作具３７、端末側メインドラム操作具３８ｍ、端末側サブドラム操作具３８ｓ及び端末側起伏操作具３９の各センサから取得した各操作スティックの操作信号から、対応する旋回用バルブ２３、伸縮用バルブ２４、起伏用バルブ２５、メイン用バルブ２６ｍ及びサブ用バルブ２６ｓの制御信号を生成することができる。

端末側制御装置４２は、端末側表示装置４０に接続され、端末側表示装置４０にクレーン１からの画像ｉや上記ベクトルを示す有向線分を表示させることができる。端末側制御装置４２は、端末側通信機４１に接続され、端末側通信機４１を介してクレーン１の通信機２２との間で各種情報を送受信することができる。

端末側制御装置４２は、端末側方位センサ４７に接続され、筐体３３の操作面を上向きとした状態における筐体３３を中心とする方位の方位信号を取得することができる。また、端末側制御装置４２は、端末側通信機４１を介してブーム９の先端を中心とする方位の方位信号を取得することができる。

本実施形態では、方位を基準として遠隔操作端末３２に表示される画像ｉの表示方向を決定する場合を例に説明する。例えば、遠隔操作端末３２の筐体３３の操作面に向かって上方向が北を向いている場合、端末側制御装置４２は方位センサ４６で算出された方位に基づいてカメラ９ｂで撮影された画像ｉにおける北方向を求め、端末側表示装置４０には、カメラ９ｂで撮影された画像ｉの北方向が筐体３３の上方向に一致するように、画像ｉが回転配置されて表示される。そして、遠隔操作端末３２が回転操作された場合はそれに追従して方位を維持するように端末側表示装置４０に表示される画像ｉも回転する。このように、遠隔操作端末３２は、方位センサ４６と端末側方位センサ４７によって、自動的に画像ｉの方位を筐体３３の操作面上での方位に一致させて表示するように構成されている。

次に、図５から図１２を用いて端末側表示装置４０の表示態様について説明する。図５は、第１の表示態様を説明する遠隔操作端末３２の平面図である。図５に示すように、遠隔操作端末３２は、カメラ９ｂで撮影された画像ｉに有向線分Ｖ１を重畳した画像５０を端末側表示装置４０に表示させることができる。画像５０の生成過程は以下の通りである。なお、遠隔操作端末３２を用いた作業中においては、特別な操作がない限り、端末側表示装置４０にカメラ９ｂの画像ｉがリアルタイムで表示されているものとする。

操縦者によって吊り荷移動操作具３５が操作されると、端末側制御装置４２は、吊り荷移動操作具３５の方位を基準とする操作スティックの傾倒方向（操作方向）及び傾倒量（操作量）からなる操作信号を取得する。続いて端末側制御装置４２は、その操作信号に応じてブーム９の先端の移動方向及び移動速度を示すベクトルを算出する。続いて端末側制御装置４２は、そのベクトルを示す有向線分Ｖ１を生成する。続いて端末側制御装置４２は、カメラ９ｂで撮影された画像ｉに有向線分Ｖ１を重畳した画像５０を生成して端末側表示装置４０へ出力する。

そして、端末側表示装置４０はその画像５０を表示する。画像５０において、有向線分Ｖ１の方向は吊り荷移動操作具３５の操作方向と一致し、有向線分Ｖ１の長さは吊り荷移動操作具３５の操作量に応じた長さとなっている。例えば、吊り荷移動操作具３５の操作量が最大である場合の有向線分Ｖ１の長さを画像５０の一辺の半分の長さとすることができる。

これにより、操縦者は有向線分Ｖ１を見るだけで荷物Ｗの移動方向及び移動速度を直感的に理解することができ、その後の操作を容易に行うことができる。このように、第１の表示態様を有する遠隔操作端末３２によれば、易視認性と易操作性を両立することができる。

図６は、第２の表示態様の画像５１を示す図である。画像５１は、カメラ９ｂで撮影された画像ｉに、有向線分Ｖ２と、十字に交差する基準線５２と、基準線５２に付与された目盛５３とが重畳されて構成される。基準線５２及び目盛５３は、端末側制御装置４２によって算出される。

基準線５２は、吊り荷移動操作具３５の操作方向の基準となる線である。本実施形態では、基準線５２の縦線が吊り荷移動操作具３５の矢印Ａａ、Ａｃ方向に沿い、基準線５２の横線が吊り荷移動操作具３５の矢印Ａｂ、Ａｄ方向に沿い、縦線と横線とがブーム９の先端の位置で交差するように表示されている。これにより、操縦者は基準線５２の交点にブーム９の先端が位置していること、基準線５２が吊り荷移動操作具３５の矢印Ａａ、Ａｂ、Ａｃ、Ａｄに沿っていることを直感的に理解することができ、基準線５２を参考にして吊り荷移動操作具３５を容易に操作することができる。

本実施形態において基準線５２は破線としているが、基準線５２の線種や線色には特に限定はなく、他の画像と識別可能であればよい。また、基準線５２は縦線及び横線に加えて斜め線を表示するようにしてもよい。

目盛５３は、荷物Ｗ（荷物Ｗが吊り下げられていない場合はメインフック１０ａ）の地面からの高さに応じた水平方向の距離を示すものである。図６では、例えば、荷物Ｗの高さが１ｍ、１目盛が１ｍである。一方、図７に第２の表示形態の他の画像５４を示す。図７では、例えば、荷物Ｗの高さが５０ｍ、１目盛が１ｍである。図７では荷物Ｗの高さが図６よりも高い位置にあるため、カメラ９ｂで撮影した画像ｉ上では同じ距離でも目盛の間隔が広くなっている。これにより、操縦者は目盛５３の間隔から荷物Ｗが高い位置にあるのか低い位置にあるのかを直感的に理解することができるとともに、目盛５３を荷物Ｗの水平方向の移動距離の目安にして吊り荷移動操作具３５を容易に操作することができる。

図８は、第３の表示態様の画像５５を示す図である。画像５５は、カメラ９ｂで撮影された画像ｉに、有向線分Ｖ３と、基準線５２と、目盛５３とが重畳されて構成される。

有向線分Ｖ３は、ブーム９の先端の移動方向及び移動速度を示すとともに、線色によってクレーン装置６の性能限界に対する負荷率を示している。つまり、有向線分Ｖ３の線色は、端末側制御装置４２においてクレーン装置６の性能限界に対する負荷率に応じて決定される。クレーン装置６の性能限界はアウトリガ５の張り出しビームの長さ、ブーム９の長さ及び荷物Ｗの重量等によって決まる。負荷率は性能限界に対する現在のブーム９の先端の位置を割合で示した値である。

例えば、負荷率が９０％未満である場合に線色を緑色、負荷率が９０％以上１００％未満である場合に線色を黄色、負荷率が１００％である場合に線色を赤色とすることができる。図８では負荷率が９０％以上１００％未満である場合を示している。また、図６は負荷率が９０％未満である場合を示している。なお、負荷率９０％及び１００％を示す線は表示してもよいし非表示としてもよい。

これにより、操縦者は現在の操作に対する負荷率を理解することができ、その後の操作を安全に行うことができる。このとき、操縦者は有向線分Ｖ３の線色から負荷率を直感的に理解することができるため、その後の操作を容易に行うことができる。

なお、負荷率を示す有向線分Ｖ３の表示態様は線色以外であってもよく、有向線分Ｖ３の線種、線色、点滅及び長さを一以上組み合わせて異ならせた表示態様とすればよい。例えば、負荷率が１００％を超える場合に有向線分Ｖ３を赤色で点滅させるようにしてもよい。また、負荷率が大きくなるにしたがって、有向線分Ｖ３の長さを移動速度に関わらず短くするようにしてもよい。

図９は、第４の表示態様の画像５６を示す図である。画像５６は、カメラ９ｂで撮影された画像ｉ（障害物５７を含む）に、有向線分Ｖ４と、基準線５２と、目盛５３とが重畳されて構成される。

有向線分Ｖ４は、ブーム９の先端の移動方向及び移動速度を示すとともに、線色によって荷物Ｗ（荷物Ｗが吊り下げられていない場合はメインフック１０ａ）の移動方向上の障害物の有無を示している。つまり、有向線分Ｖ４の線色は、端末側制御装置４２においてクレーン装置６の移動方向上の障害物の有無に応じて決定される。障害物の位置は、例えば画像ｉを解析して求めることができる。また、荷物Ｗの移動方向上に障害物があるか否かは、荷物Ｗの高さと障害物の高さを考慮してもよいし、高さを無視して画像ｉ上の平面内で比較してもよい。

例えば、図６に示すように、荷物Ｗの移動方向上に建物等の障害物がない場合、有向線分Ｖ２の線色を緑色とし、図９に示すように、荷物Ｗの移動方向上に建物等の障害物５７がある場合、有向線分Ｖ４の線色を赤色とすることができる。これにより、操縦者は有向線分Ｖ４の線色から現在の操作方向上に障害物５７があること直感的に理解することができ、その後の操作を容易に行うことができる。

なお、障害物の有無を示す有向線分Ｖ４の表示態様は線色以外であってもよく、有向線分Ｖ４の線種、線色、点滅及び長さを一以上組み合わせて異ならせた表示態様とすればよい。例えば、障害物がある場合に有向線分Ｖ４を赤色で点滅させるようにしてもよい。また、荷物Ｗが障害物に近づくにしたがって、有向線分Ｖ４の長さを移動速度に関わらず短くするようにしてもよい。また、端末側制御装置４２は、荷物Ｗが障害物５７に衝突しそうであると判断した場合、クレーン装置６の稼働を停止させる制御信号を出力するようにしてもよい。

図１０は、第５の表示態様の画像５８を示す図である。画像５８は、カメラ９ｂで撮影された画像ｉに、基準線５２と、目盛５３と、旋回可能軌跡５９とが重畳されて構成される。旋回可能軌跡５９は、端末側制御装置４２によって算出される。

旋回可能軌跡５９は、ブーム９の先端の旋回移動可能な軌跡を示す線である。旋回可能軌跡５９は端末側旋回操作具３６の操作に応じて表示される。これにより、操縦者は旋回可能軌跡５９を見て荷物Ｗの移動可能な位置を確認でき、その後の操作を容易に行うことができる。

図１１は、第６の表示態様の画像６０を示す図である。画像６０は、カメラ９ｂで撮影された画像ｉに、有向線分Ｖ５と、基準線５２と、目盛５３と、配置マーク６１とが重畳されて構成される。配置マーク６１を表示する位置は、端末側制御装置４２によって算出される。

配置マーク６１は、画像６０外に位置する車両２の方向を示すマークである。本実施形態では、配置マーク６１を三角形で表している。これにより、操縦者は車両２に対するカメラ９ｂの向きに関わらず、画像６０上において荷物Ｗからの車両２の配置方向を常に把握することができる。

ところで、ブーム９の先端が移動開始すると、荷物Ｗはブーム９の先端の移動に遅れて移動するため、第１～第６の表示態様においてもブーム９の先端の位置と荷物Ｗの位置とが異なって表示される。例えば、図６の状態からブームの先端が移動開始すると、図１２に示す画像６２が表示される。画像６２において、ブーム９の先端の位置を示す基準線５２の交点５２Ａが画像６２の中央に位置し、有向線分Ｖ２の始点は交点５２Ａに位置し、荷物Ｗは交点５２Ａから有向線分Ｖ２と反対方向に離れて位置している。

これにより、操縦者は基準線５２の交点５２Ａと荷物Ｗとの位置関係から荷物Ｗの振れ幅を把握することができ、その後の操作を容易に行うことができる。例えば、ブーム９が停止した後、操縦者は基準線５２の交点５２Ａから荷物Ｗへ向かう方向に吊り荷移動操作具３５を操作することを繰り返すことによって、移動後の荷物Ｗの振れを早く止めることができる。

また、操作具には操作を入力してもクレーン装置６が実際に動き始めない、いわゆる不感帯域がある。この不感帯域は、例えば以下のような理由で発生する。すなわち、操作具は、入力された操作を検知し、その検知した操作に対応した操作信号を出力する。しかし、操作信号によるバルブの開度に応じて発生する油圧が荷物Ｗの負荷に対して小さい場合は、クレーン装置６は移動し始めない。したがって、不感帯域は操作具の操作量が小さい範囲で主に発生する。

これに対して、制御装置３１及び端末側制御装置４２は不感帯域も含めて操作信号を取得するため、例えば吊り荷移動操作具３５が不感帯域で操作されると、その操作方向及び操作量に応じてベクトル及び有向線分が算出されることになる。しかしながら、不感帯域での操作具の操作では、クレーン装置６が実際に移動し始めないため、ブーム９の先端の移動方向及び移動速度を示す有向線分は表示しないことが好ましい。これにより、操縦者は実際にクレーン装置６が移動し始めるタイミングを把握でき、細かな操作が可能となる。

また、上述した吊り荷移動操作具３５の操作中においては、遠隔操作端末３２の方向を固定することが好ましい。つまり、吊り荷移動操作具３５の操作開始から操作終了までの間は、操作開始時に取得した端末側方位センサ４７の方位を用いて制御する構成である。これにより、操縦者が吊り荷移動操作具３５の操作中に向きを変え、遠隔操作端末３２の方向が変わっても、端末側表示装置４０に表示される画像は操作開始時の方位に基づいて表示され、吊り荷移動操作具３５の傾倒方向も操作開始時の方位に基づいて算出される。その結果、操縦者が吊り荷移動操作具３５をある方向に傾倒させながら向きを変えても荷物Ｗの移動方向（クレーン装置６の作動方向）が変わることがないので、意図しない操作を防止できる。

以下に、上記の実施形態の変形例を列挙する。画像ｉの枠形状は矩形でも円形でもよい。また、画像ｉは３Ｄマッピング等を用いて三次元で表現された画像であってもよい。三次元の画像上ではベクトル及び有向線分も三次元で表現することができる。また、端末側表示装置４０はＨＭＤ（ヘッドマウントディスプレイ）であってもよい。また、荷物Ｗがサブフック１１ａに吊り下げられている場合にも同様の表示態様を適用できる。

また、上記の実施形態では端末側表示装置４０の表示態様について説明したが、クレーン１側の表示装置４３でも同様の表示が可能である。この場合、クレーン１側の操作具の操作方向及び操作量に応じて制御装置３１がブーム９の先端の移動方向及び移動速度を示すベクトルを算出し、表示装置４３がカメラ９ｂで撮影された画像ｉにベクトルを示す有向線分が重畳された画像を表示する。この形態は、遠隔操作端末３２を有さないクレーンにも適用できる。

また、上記の実施形態では端末側表示装置４０に表示される画像ｉを実際の方位と一致する向きに表示させているが、端末側表示装置４０に表示される画像ｉの向きは方位以外を基準として表示するようにしてもよい。例えば、画像ｉを車両２の前方向を基準として表示する形態であってもよい。

１ クレーン（作業車両）
６ クレーン装置（作業装置）
９ ブーム
９ｂ カメラ
１０ａ メインフック（フック）
１１ａ サブフック（フック）
１４ メインワイヤロープ（ワイヤロープ）
１６ サブワイヤロープ（ワイヤロープ）
２２ 通信機
３１ 制御装置
３２ 遠隔操作端末
３５ 吊り荷移動操作具（端末側操作具）
３６ 端末側旋回操作具
４０ 端末側表示装置
４１ 端末側通信機
４２ 端末側制御装置
４３ 表示装置
５２ 基準線
５３ 目盛
５７ 障害物
５９ 旋回可能軌跡（軌跡）
Ｖ１～Ｖ５ 有向線分

Claims (9)

1. 作業車両の作業装置を遠隔操作する遠隔操作端末であって、
   前記作業車両の通信機と通信する端末側通信機と、
   前記作業装置の移動方向及び移動速度を操作方向及び操作量によって入力するための端末側操作具と、
   前記作業車両のカメラで撮影された画像を表示する端末側表示装置と、
   前記端末側通信機、前記端末側操作具及び前記端末側表示装置を制御する端末側制御装置と、を備え、
   前記端末側制御装置は、前記端末側操作具の操作方向及び操作量に応じて前記作業装置の移動方向及び移動速度を示すベクトルを算出し、前記作業装置の移動方向上の障害物の有無に応じて前記ベクトルを示す有向線分の表示態様を決定し、
   前記端末側表示装置は、前記カメラで撮影された画像に前記有向線分が重畳された画像を表示することを特徴とする遠隔操作端末。
2. 前記端末側制御装置は、前記作業装置の性能限界に対する負荷率に応じて前記有向線分の表示態様を決定することを特徴とする請求項１に記載の遠隔操作端末。
3. 前記表示態様は、前記有向線分の線種、線色、点滅及び長さを一以上組み合わせて異ならせることを特徴とする請求項１又は請求項２に記載の遠隔操作端末。
4. 前記端末側制御装置は、前記端末側操作具の操作方向の基準となる基準線を算出し、
   前記端末側表示装置は、前記カメラで撮影された画像に前記基準線が重畳された画像を表示することを特徴とする請求項１から請求項３の何れか一項に記載の遠隔操作端末。
5. 前記端末側制御装置は、前記基準線に対して前記作業装置の高さに応じた距離の目盛を算出し、
   前記端末側表示装置は、前記カメラで撮影された画像に前記基準線及び前記目盛が重畳された画像を表示することを特徴とする請求項４に記載の遠隔操作端末。
6. 前記作業装置の旋回移動を操作する端末側旋回操作具を備え、
   前記端末側制御装置は、前記端末側旋回操作具の操作に応じて旋回移動可能な軌跡を算出し、
   前記端末側表示装置は、前記カメラで撮影された画像に前記軌跡が重畳された画像を表示することを特徴とする請求項１から請求項５の何れか一項に記載の遠隔操作端末。
7. 遠隔操作端末と、
   前記遠隔操作端末によって遠隔操作される作業装置と、
   カメラと、
   前記遠隔操作端末と通信する通信機と、を備える作業車両であって、
   前記遠隔操作端末は、
   前記通信機と通信する端末側通信機と、
   前記作業装置の移動方向及び移動速度を操作方向及び操作量によって入力するための端末側操作具と、
   前記カメラで撮影された画像を表示する端末側表示装置と、
   前記端末側通信機、前記端末側操作具及び前記端末側表示装置を制御する端末側制御装置と、を備え、
   前記端末側制御装置は、前記端末側操作具の操作方向及び操作量に応じて前記作業装置の移動方向及び移動速度を示すベクトルを算出し、前記作業装置の移動方向上の障害物の有無に応じて前記ベクトルを示す有向線分の表示態様を決定し、
   前記端末側表示装置は、前記カメラで撮影された画像に前記有向線分が重畳された画像を表示することを特徴とする作業車両。
8. 作業装置を備える作業車両であって、
   カメラと、
   前記カメラで撮影された画像を表示する表示装置と、
   前記作業装置の移動方向及び移動速度を操作方向及び操作量によって入力するための操作具と、
   前記カメラ、前記表示装置及び前記操作具を制御する制御装置と、を備え、
   前記制御装置は、前記操作具の操作方向及び操作量に応じて前記作業装置の移動方向及び移動速度を示すベクトルを算出し、前記作業装置の移動方向上の障害物の有無に応じて前記ベクトルを示す有向線分の表示態様を決定し、
   前記表示装置は、前記カメラで撮影された画像に前記有向線分が重畳された画像を表示することを特徴とする作業車両。
9. 前記作業装置は、ブームと、前記ブームの基端側から先端側に向けて架け渡されるワイヤロープと、前記ブームの先端側から垂下されて前記ワイヤロープの繰り入れ及び繰り出しによって昇降するフックとを有し、
   前記カメラは、前記ブームの先端近傍に設けられ、前記フックを含む画像を撮影することを特徴とする請求項７又は請求項８に記載の作業車両。

Images