WO2022070707A1

WO2022070707A1 - 表示制御装置及び表示方法

Info

Publication number: WO2022070707A1
Application number: PCT/JP2021/031517
Authority: WO
Inventors: 康洋指宿; 真範皆川
Original assignee: 株式会社小松製作所
Priority date: 2020-09-29
Filing date: 2021-08-27
Publication date: 2022-04-07
Also published as: US20230267895A1; CA3187228A1; JP2022055808A; AU2021352215A1

Abstract

撮像画像取得部は、作業機械に設けられたカメラから、作業機が写る撮像画像を取得する。刃先影生成部は、作業機の刃先を投影面に鉛直方向に向けて投影した刃先影を生成する。表示画像生成部は、撮像画像と、刃先影と、刃先の到達可能な範囲を投影面に鉛直方向に向けて投影した基準範囲図形とを重畳した表示画像を生成する。表示制御部は、表示画像を表示するための表示信号を出力する。

Description

表示制御装置及び表示方法

　本開示は、表示制御装置及び表示方法に関する。
　本願は、２０２０年９月２９日に日本に出願された特願２０２０－１６３４４９号について優先権を主張し、その内容をここに援用する。

　作業機械を遠隔操作する技術が知られている。遠隔操作される作業機械にはカメラが設けられており、稼働する作業現場の画像が撮像される。撮像画像は、遠隔地に送信され、遠隔地に配置されている表示装置に表示される。遠隔地のオペレータは、表示装置に表示された撮像画像を見ながら、作業機械を遠隔操作する。表示装置に表示される撮像画像は二次元であるため、オペレータに遠近感を与えることが困難である。
　特許文献１には、オペレータに遠近感を与えるため、撮像画像に写る作業対象の表面にメッシュ状の線画像を表示する技術が開示されている。

特開２０１８－０３５６４５号公報

　作業機械が備える作業機は、油圧シリンダによって駆動する。油圧シリンダのピストンがストロークエンドに当たると、ロッドの速度及び作業機の重量に応じた衝撃が発生する。ストロークエンドとは、ロッドの可動範囲の端部をいう。すなわち、ストロークエンドとは、油圧シリンダが最も縮んだ状態のロッドの位置、又は油圧シリンダが最も伸びた状態のロッドの位置をいう。オペレータは、作業機の姿勢を認識しながらピストンがストロークエンドに当たらないように作業機を制御している。

　一方で、二次元の撮像画像を見ながら作業機械を操作する場合、オペレータは作業機の姿勢を認識することが困難である。そのため、オペレータが作業機の姿勢の認識を誤り、油圧シリンダのピストンがストロークエンドに当たる可能性がある。
　本開示の目的は、油圧シリンダのピストンがストロークエンドに当たる可能性を低減するための情報をオペレータに提示することができる表示制御装置及び表示方法を提供することにある。

　本発明の一態様によれば、表示制御装置は、作業機を備える作業機械の操作のために用いられる画像を表示させる表示制御装置であって、前記作業機械に設けられたカメラから、前記作業機が写る撮像画像を取得する撮像画像取得部と、前記作業機の刃先を投影面に鉛直方向に向けて投影した刃先影を生成する刃先影生成部と、前記撮像画像と、前記刃先影と、前記刃先の到達可能な範囲を前記投影面に鉛直方向に向けて投影した基準範囲図形とを重畳した表示画像を生成する表示画像生成部と、前記表示画像を表示するための表示信号を出力する表示制御部とを備える。

　上記態様によれば、油圧シリンダのピストンがストロークエンドに当たる可能性を低減するための情報をオペレータに提示することができる。

第１の実施形態に係る作業システムの構成を示す概略図である。第１の実施形態に係る作業機械の外観図である。第１の実施形態に係る遠隔制御装置の構成を示す概略ブロック図である。第１の実施形態に係る表示画像の一例を示す図である。第１の実施形態に係る刃先影画像と刃先到達ゲージ画像の関係を示す側面図である。第１の実施形態に係る遠隔制御装置による表示制御処理を示すフローチャートである。第２の実施形態に係る作業機械の外観図である。第２の実施形態に係る遠隔制御装置の構成を示す概略ブロック図である。第２の実施形態に係る表示画像の一例を示す図である。第２の実施形態に係る刃先影画像と刃先到達ゲージ画像の関係を示す側面図である。第３の実施形態に係る遠隔制御装置の構成を示す概略ブロック図である。第３の実施形態に係る刃先影画像と刃先到達ゲージ画像の関係を示す側面図である。他の実施形態に係る表示画像の一例を示す図である。

〈第１の実施形態〉
《作業システム１》
　図１は、第１の実施形態に係る作業システム１の構成を示す概略図である。
　作業システム１は、作業機械１００と、遠隔運転室５００とを備える。作業機械１００は、作業現場で稼働する。作業現場の例としては、鉱山、採石場などが挙げられる。遠隔運転室５００は、作業現場から離れた遠隔地に設けられる。遠隔地の例としては、市街、作業現場内などが挙げられる。つまり、オペレータは、作業機械１００を視認できない距離から、当該作業機械１００を遠隔操作する。

　作業機械１００は、遠隔運転室５００から送信される操作信号に基づいて遠隔操作される。遠隔運転室５００は、作業現場に設けられたアクセスポイント３００を介して作業機械１００と接続される。遠隔運転室５００において受け付けたオペレータの操作を示す操作信号は、アクセスポイント３００を介して作業機械１００に送信される。作業機械１００は、遠隔運転室５００から受信した操作信号に基づいて動作する。つまり、作業システム１は、作業機械１００と遠隔運転室５００とから構成される遠隔運転システムを備える。また、作業機械１００は、作業対象の画像を撮像し、当該画像は遠隔運転室５００において表示される。つまり、作業システム１は、表示制御システムの一例である。

《作業機械１００》
　図２は、第１の実施形態に係る作業機械１００の外観図である。
　第１の実施形態に係る作業機械１００は、ローディングショベル（フェイスショベル）である。なお、他の実施形態に係る作業機械１００は、バックホウ、ホイールローダやブルドーザなどの他の作業機械であってもよい。
　作業機械１００は、走行体１１０と、走行体１１０に支持される旋回体１２０と、油圧により作動し旋回体１２０に支持される作業機１３０とを備える。旋回体１２０は旋回中心軸Ｏを中心として旋回自在に支持される。作業機１３０は、旋回体１２０の前部に設けられる。

　作業機１３０は、ブーム１３０Ａと、アーム１３０Ｂと、バケット１３０Ｃとを備える。
　ブーム１３０Ａの基端部は、旋回体１２０にピンを介して取り付けられる。
　アーム１３０Ｂは、ブーム１３０Ａとバケット１３０Ｃとを連結する。アーム１３０Ｂの基端部は、ブーム１３０Ａの先端部にピンを介して取り付けられる。
　バケット１３０Ｃは、土砂などを掘削するための刃先１３０Ｄと掘削した土砂を収容するための容器とを備える。バケット１３０Ｃの基端部は、アーム１３０Ｂの先端部にピンを介して取り付けられる。

　作業機１３０は、ブームシリンダ１３１Ａ、アームシリンダ１３１Ｂ、及びバケットシリンダ１３１Ｃの運動によって駆動する。以下、ブームシリンダ１３１Ａ、アームシリンダ１３１Ｂ、及びバケットシリンダ１３１Ｃを総称して油圧シリンダ１３１ともいう。
　ブームシリンダ１３１Ａは、ブーム１３０Ａを作動させるための油圧シリンダである。ブームシリンダ１３１Ａの基端部は、旋回体１２０に取り付けられる。ブームシリンダ１３１Ａの先端部は、ブーム１３０Ａに取り付けられる。
　アームシリンダ１３１Ｂは、アーム１３０Ｂを駆動するための油圧シリンダである。アームシリンダ１３１Ｂの基端部は、ブーム１３０Ａに取り付けられる。アームシリンダ１３１Ｂの先端部は、アーム１３０Ｂに取り付けられる。
　バケットシリンダ１３１Ｃは、バケット１３０Ｃを駆動するための油圧シリンダである。バケットシリンダ１３１Ｃの基端部は、ブーム１３０Ａに取り付けられる。バケットシリンダ１３１Ｃの先端部は、バケット１３０Ｃに取り付けられる。

　作業機１３０には、ブーム１３０Ａ、アーム１３０Ｂ及びバケット１３０Ｃの姿勢を検出するブーム姿勢センサ１３２Ａ、アーム姿勢センサ１３２Ｂ及びバケット姿勢センサ１３２Ｃが取り付けられる。以下、ブーム姿勢センサ１３２Ａ、アーム姿勢センサ１３２Ｂ及びバケット姿勢センサ１３２Ｃを総称して姿勢センサ１３２ともいう。第１の実施形態に係る姿勢センサ１３２は、油圧シリンダ１３１に取り付けられたストロークセンサである。すなわち、姿勢センサ１３２は、油圧シリンダ１３１のストローク長を検出する。ストローク長とは、油圧シリンダ１３１のストロークエンドからのロッドの移動距離である。ストロークエンドとは、ロッドの可動範囲の端部をいう。すなわち、ストロークエンドとは、油圧シリンダ１３１が最も縮んだ状態のロッドの位置、又は油圧シリンダ１３１が最も伸びた状態のロッドの位置をいう。

　ブーム姿勢センサ１３２Ａは、ブームシリンダ１３１Ａに設けられ、ブームシリンダ１３１Ａのストローク長を検出する。
　アーム姿勢センサ１３２Ｂは、アームシリンダ１３１Ｂに設けられ、アームシリンダ１３１Ｂのストローク長を検出する。
　バケット姿勢センサ１３２Ｃは、バケットシリンダ１３１Ｃに設けられ、バケットシリンダ１３１Ｃのストローク長を検出する。

　なお、他の実施形態に係る姿勢センサ１３２はこれに限られない。例えば、他の実施形態においては、姿勢センサ１３２は、ブーム１３０Ａ、アーム１３０Ｂ及びバケット１３０Ｃの基端部に設けられたポテンショメータによって相対回転角を検出してもよいし、ＩＭＵによって鉛直方向に対する回転角を検出するものであってもよいし、傾斜計によって鉛直方向に対する回転角を検出するものであってもよい。

　旋回体１２０には、運転室１２１が備えられる。運転室１２１には、カメラ１２２が設けられる。カメラ１２２は、運転室１２１内の前部かつ上部に設置される。カメラ１２２は、運転室１２１前部のフロントガラスを通して、運転室１２１の前方を撮像する。ここで、「前方」とは、旋回体１２０において作業機１３０が装着された方向をいい、「後方」は「前方」の逆方向をいう。「側方」とは、前後方向に対して交差する方向（左右方向）をいう。カメラ１２２の例としては、例えばＣＣＤ（Charge Coupled Device）センサ、及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いた撮像装置が挙げられる。なお、他の実施形態においては、カメラ１２２は、必ずしも運転室１２１内に設けられなくてもよく、少なくとも施工対象と作業機１３０とを撮像可能な位置に設けられていればよい。つまり、カメラ１２２の撮像範囲には、少なくとも作業機１３０の一部が含まれる。

　作業機械１００は、カメラ１２２、位置方位演算器１２３、傾斜計測器１２４、油圧装置１２５、車両制御装置１２６を備える。

　位置方位演算器１２３は、旋回体１２０の位置及び旋回体１２０が向く方位を演算する。位置方位演算器１２３は、ＧＮＳＳを構成する人工衛星から測位信号を受信する２つの受信器を備える。２つの受信器は、それぞれ旋回体１２０の異なる位置に設置される。位置方位演算器１２３は、受信器が受信した測位信号に基づいて、現場座標系における旋回体１２０の代表点（車体座標系の原点）の位置を検出する。位置方位演算器１２３は、２つの受信器が受信した各測位信号を用いて、一方の受信器の設置位置に対する他方の受信器の設置位置の関係として、旋回体１２０の向く方位を演算する。なお、他の実施形態においては、位置方位演算器１２３は、ロータリーエンコーダやＩＭＵの計測値に基づいて旋回体１２０が向く方位を検出してもよい。

　傾斜計測器１２４は、旋回体１２０の加速度及び角速度を計測し、計測結果に基づいて旋回体１２０の姿勢（例えば、ロール角、ピッチ角）を検出する。傾斜計測器１２４は、例えば旋回体１２０の下面に設置される。傾斜計測器１２４は、例えば、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を用いることができる。

　油圧装置１２５は、油圧シリンダ１３１に作動油を供給する。油圧シリンダ１３１に供給する作動油の流量は、車両制御装置１２６から受信する制御指令に基づいて制御される。

　車両制御装置１２６は、カメラ１２２が撮像した画像、旋回体１２０の旋回速度、位置、方位及び傾斜角、作業機１３０の姿勢、ならびに走行体１１０の走行速度を、遠隔運転室５００に送信する。また、車両制御装置１２６は、遠隔運転室５００から操作信号を受信し、受信した操作信号に基づいて、作業機１３０、旋回体１２０及び走行体１１０を駆動させる。

《遠隔運転室５００》
　遠隔運転室５００は、運転席５１０、表示装置５２０、操作装置５３０、遠隔制御装置５４０を備える。
　表示装置５２０は、運転席５１０の前方に配置される。表示装置５２０は、オペレータが運転席５１０に座ったときにオペレータの眼前に位置する。表示装置５２０は、並べられた複数のディスプレイによって構成されてもよいし、図１に示すように、１つの大きなディスプレイによって構成されてもよい。また、表示装置５２０は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。

　操作装置５３０は、遠隔運転システム用の操作装置である。操作装置５３０は、オペレータの操作に応じて、ブームシリンダ１３１Ａの操作信号、アームシリンダ１３１Ｂの操作信号、バケットシリンダ１３１Ｃの操作信号、旋回体１２０の左右への旋回操作信号、走行体１１０の前後進のための走行操作信号を生成し遠隔制御装置５４０に出力する。操作装置５３０は、例えばレバー、ノブスイッチ及びペダル（図示略）により構成される。
　操作装置５３０は、運転席５１０の近傍に配置される。操作装置５３０は、オペレータが運転席５１０に座ったときにオペレータの操作可能な範囲内に位置する。

　遠隔制御装置５４０は、作業機械１００から受信したデータに基づいて表示画像を生成し、表示画像を表示装置５２０に表示させる。また遠隔制御装置５４０は、操作装置５３０の操作を表す操作信号を作業機械１００に送信する。遠隔制御装置５４０は、表示制御装置の一例である。

　図３は、第１の実施形態に係る遠隔制御装置５４０の構成を示す概略ブロック図である。
　遠隔制御装置５４０は、プロセッサ６１０、メインメモリ６３０、ストレージ６５０、インタフェース６７０を備えるコンピュータである。ストレージ６５０は、プログラムを記憶する。プロセッサ６１０は、プログラムをストレージ６５０から読み出してメインメモリ６３０に展開し、プログラムに従った処理を実行する。遠隔制御装置５４０は、インタフェース６７０を介してネットワークに接続される。

　ストレージ６５０の例としては、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が挙げられる。ストレージ６５０は、遠隔制御装置５４０の共通通信線に直接接続された内部メディアであってもよいし、インタフェース６７０を介して遠隔制御装置５４０に接続される外部メディアであってもよい。ストレージ６５０は、一時的でない有形の記憶媒体である。

　プロセッサ６１０は、プログラムの実行により、データ取得部６１１、姿勢特定部６１２、刃先影生成部６１３、表示画像生成部６１４、表示制御部６１５、操作信号入力部６１６、操作信号出力部６１７を備える。
　なお、他の実施形態においては、遠隔制御装置５４０は、上記構成に加えて、又は上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ６１０によって実現される機能の一部又は全部が当該集積回路によって実現されてよい。このような集積回路も、プロセッサの一例に含まれる。

　データ取得部６１１は、カメラ１２２による撮像画像、旋回体１２０の旋回速度、位置、方位及び傾斜角、作業機１３０の姿勢、ならびに走行体１１０の走行速度を示すデータを作業機械１００から取得する。

　姿勢特定部６１２は、データ取得部６１１が取得したデータに基づいて、作業機械１００の車体座標系における姿勢及び現場座標系における姿勢を特定する。車体座標系とは、旋回体１２０の旋回中心軸Ｏと走行体１１０の底面との交点を原点とし、旋回体１２０の前後軸、左右軸及び上下軸の３軸で規定されるローカル座標系である。現場座標系とは、作業現場の所定地点（基準局など）を原点とし、緯度軸、経度軸及び鉛直軸の３軸で規定されるグローバル座標系である。姿勢特定部６１２は、ブーム１３０Ａの先端、アーム１３０Ｂの先端及び刃先１３０Ｄの左右両端の車体座標系における位置及び現場座標系における位置を特定する。データ取得部６１１による具体的な各部分の位置の特定方法は、後述する。

　刃先影生成部６１３は、姿勢特定部６１２が特定した現場座標系における刃先１３０Ｄの両端の位置に基づいて、刃先１３０Ｄを投影面に鉛直方向に向けて投影した刃先影を表す刃先影画像を生成する。第１の実施形態に係る投影面は、走行体１１０の底面を通る平面である。具体的には、刃先影生成部６１３は、以下の手順で刃先影画像を生成する。刃先影生成部６１３は、刃先１３０Ｄの両端の位置のうち上下軸成分の値をゼロに書き換えることで、投影面に投影された投影した刃先影の現場座標系における位置を特定する。刃先影生成部６１３は、カメラ１２２の撮像画像に係る２次元直交座標系である画像座標系と現場座標系との関係を示す既知のカメラパラメータに基づいて、刃先影の現場座標系における位置を画像座標系における位置に変換する。刃先影生成部６１３は、変換した位置に刃先１３０Ｄを表す線分を描画することで、刃先影画像を生成する。

　表示画像生成部６１４は、データ取得部６１１が取得した撮像画像に、刃先影画像Ｇ１と刃先到達ゲージ画像Ｇ２を重畳することで、表示画像を生成する。図４は、第１の実施形態に係る表示画像の一例を示す図である。刃先到達ゲージ画像Ｇ２は、左ラインＧ２１、右ラインＧ２２、最大到達ラインＧ２３、目盛りラインＧ２４、目盛り値Ｇ２５、基準範囲図形Ｇ２６を含む。

　左ラインＧ２１は、刃先１３０Ｄの左端の到達可能範囲を示す線である。図４に示すように、左ラインＧ２１は刃先影画像Ｇ１の左端を通る。
　右ラインＧ２２は、刃先１３０Ｄの右端の到達可能範囲を示す線である。図４に示すように、右ラインＧ２２は刃先影画像Ｇ１の右端を通る。

　最大到達ラインＧ２３は、刃先１３０Ｄの到達可能範囲の前縁を示す線である。最大到達ラインＧ２３は、左ラインＧ２１の前端と右ラインＧ２２の前端とを接続する。目盛りラインＧ２４は、旋回体１２０の旋回中心軸Ｏからの距離を表す線である。
　目盛りラインＧ２４は、等間隔に設けられる。図４に示す例では、目盛りラインＧ２４は２メートル間隔で設けられる。各目盛りラインＧ２４は、左ラインＧ２１と右ラインＧ２２とを接続するように設けられる。
　最大到達ラインＧ２３及び目盛りラインＧ２４は、刃先影画像Ｇ１と平行な線である。
　目盛り値Ｇ２５は、目盛りラインＧ２４に対応して設けられ、当該目盛りラインＧ２４が示す距離を数値で表す。図４に示す例では、目盛り値Ｇ２５は、目盛りラインＧ２４の右端の近傍に設けられる。

　基準範囲図形Ｇ２６は、投影面上における刃先１３０Ｄの到達可能範囲を示す図形である。第１の実施形態に係る基準範囲図形Ｇ２６は、左ラインＧ２１と右ラインＧ２２と、投影面上の到達可能範囲の前縁と、投影面上の到達可能範囲の後縁とで囲まれる四角形である。投影面上における刃先１３０Ｄの到達可能範囲は、投影面と刃先１３０Ｄとが接触する条件下における刃先１３０Ｄの到達可能範囲である。基準範囲図形Ｇ２６は、ハッチングや色付け等によって強調表示される。

　なお、最大到達ラインＧ２３、並びに左ラインＧ２１及び右ラインＧ２２の前端は、投影面と刃先１３０Ｄとが接触する条件を課さないときの刃先１３０Ｄの到達可能範囲の前縁を表す。最大到達ラインＧ２３、左ラインＧ２１及び右ラインＧ２２は、条件を課さないときの前記刃先の到達可能な範囲を投影した到達可能範囲図形の一例である。

　図５は、第１の実施形態に係る刃先影画像Ｇ１と刃先到達ゲージ画像Ｇ２の関係を示す側面図である。第１の実施形態に係る刃先影画像Ｇ１及び刃先到達ゲージ画像Ｇ２は、走行体１１０の底面を通る平面である投影面Ｆ１上に描画される。そのため、刃先影画像Ｇ１及び刃先到達ゲージ画像Ｇ２を撮像画像に重畳すると、地表面Ｆ２のうち投影面Ｆ１より高い部分については刃先影画像Ｇ１及び刃先到達ゲージ画像Ｇ２が地表面Ｆ２に対して沈み込んでいるように写る。地表面Ｆ２のうち投影面Ｆ１より低い部分については刃先影画像Ｇ１及び刃先到達ゲージ画像Ｇ２が地表面Ｆ２に対して浮いているように写る。

　図５に示すように、刃先到達ゲージ画像Ｇ２の前縁すなわち最大到達ラインＧ２３は、刃先１３０Ｄの到達可能範囲Ｒのうち旋回中心軸Ｏから最も離れた位置を投影面Ｆ１上に投影した位置に写る。そのため、刃先１３０Ｄがどのような姿勢であったとしても、刃先影画像Ｇ１は常に最大到達ラインＧ２３より手前側に位置する。
　図５に示すように、基準範囲図形Ｇ２６は、刃先１３０Ｄの到達可能範囲と投影面とが重なる範囲を示す。

　なお、カメラ１２２は、旋回体１２０に固定されるため、旋回体１２０の旋回や走行体１１０の走行によらず、画像座標系上において投影面における刃先１３０Ｄの到達可能範囲は変化しない。つまり、刃先到達ゲージ画像Ｇ２は、作業機械１００の位置及び姿勢によらず一定である。したがって、第１の実施形態に係る表示画像生成部６１４は、予め用意された刃先到達ゲージ画像Ｇ２を撮像画像に重畳することで表示画像を生成する。

　表示制御部６１５は、表示画像生成部６１４が生成した表示画像を表示する表示信号を表示装置５２０に出力する。
　操作信号入力部６１６は、操作装置５３０による操作信号を受け付ける。
　操作信号出力部６１７は、操作信号入力部６１６が受け付けた操作信号を、作業機械１００に送信する。

《姿勢の特定方法》
　ここで、姿勢特定部６１２による姿勢の特定方法について説明する。姿勢特定部６１２は、以下の手順で、ブーム１３０Ａの先端（先端部のピン）、アーム１３０Ｂの先端（先端部のピン）及び刃先１３０Ｄの両端の車体座標系における位置及び現場座標系における位置を特定する。

　姿勢特定部６１２は、ブームシリンダ１３１Ａのストローク長に基づいて旋回体１２０に対するブーム１３０Ａの角度すなわち車体座標系の前後軸に対する角度を特定する。姿勢特定部６１２は、ブーム１３０Ａの角度と既知のブーム１３０Ａの長さとに基づいて、車体座標系においてブーム１３０Ａの基端（基端部のピン）からブーム１３０Ａの先端（先端部のピン）へ伸びるブームベクトルを特定する。姿勢特定部６１２は、車体座標系におけるブーム１３０Ａの基端（基端部のピン）の既知の位置ベクトルとブームベクトルを加算することで、車体座標系におけるブーム１３０Ａの先端（先端部のピン）の位置ベクトルを特定する。

　姿勢特定部６１２は、アームシリンダ１３１Ｂのストローク長に基づいてブーム１３０Ａに対するアーム１３０Ｂの角度を特定する。姿勢特定部６１２は、特定したアーム１３０Ｂの角度と車体座標系の前後軸に対するブーム１３０Ａの角度を加算することで、前後軸に対するアーム１３０Ｂの角度を特定する。姿勢特定部６１２は、アーム１３０Ｂの角度と既知のアーム１３０Ｂの長さとに基づいて、車体座標系においてアーム１３０Ｂの基端（基端部のピン）からアーム１３０Ｂの先端（先端部のピン）へ伸びるアームベクトルを特定する。姿勢特定部６１２は、車体座標系におけるブーム１３０Ａの先端（先端部のピン）の位置ベクトルとアームベクトルを加算することで、車体座標系におけるアーム１３０Ｂの先端（先端部のピン）の位置ベクトルを特定する。

　姿勢特定部６１２は、バケットシリンダ１３１Ｃのストローク長に基づいてアーム１３０Ｂに対するバケット１３０Ｃの角度を特定する。姿勢特定部６１２は、特定したバケット１３０Ｃの角度と車体座標系の前後軸に対するアーム１３０Ｂの角度を加算することで、前後軸に対するバケット１３０Ｃの角度を特定する。姿勢特定部６１２は、バケット１３０Ｃの角度と、バケット１３０Ｃの基端（基端部のピン）から刃先１３０Ｄまでの既知の長さと、刃先１３０Ｄの既知の幅とに基づいて、右バケットベクトル及び左バケットベクトルを特定する。右バケットベクトルは、車体座標系においてバケット１３０Ｃの基端（基端部のピン）から刃先１３０Ｄの右端へ伸びるベクトルである。左バケットベクトルは、バケット１３０Ｃの基端から刃先１３０Ｄの左端へ伸びるベクトルである。姿勢特定部６１２は、車体座標系におけるアーム１３０Ｂの先端（先端部のピン）の位置ベクトルと左バケットベクトルを加算することで、車体座標系における刃先１３０Ｄの左端の位置ベクトルを特定する。また、姿勢特定部６１２は、車体座標系におけるアーム１３０Ｂの先端（先端部のピン）の位置ベクトルと右バケットベクトルを加算することで、車体座標系における刃先１３０Ｄの右端の位置ベクトルを特定する。

　姿勢特定部６１２は、車体座標系における各部分の位置を、作業機械１００の現場座標系における位置に基づいて平行移動させ、かつ旋回体１２０の方位（ヨー角）、作業機１３０のロール角及びピッチ角に基づいて回転させることで、現場座標系における各部分の位置を特定することができる。

《表示制御方法》
　図６は、第１の実施形態に係る遠隔制御装置５４０による表示制御処理を示すフローチャートである。オペレータが遠隔運転室５００による作業機械１００の遠隔運転を開始すると、遠隔制御装置５４０は、一定時間ごとに、図６に示す表示制御処理を実行する。

　データ取得部６１１は、作業機械１００の車両制御装置１２６から、カメラ１２２による撮像画像、旋回体１２０の旋回速度、位置、方位及び傾斜角、作業機１３０の姿勢、ならびに走行体１１０の走行速度を示すデータを取得する（ステップＳ１）。次に、姿勢特定部６１２は、ステップＳ１で取得したデータに基づいて刃先１３０Ｄの両端の車体座標系における位置を特定する（ステップＳ２）。

　刃先影生成部６１３は、ステップＳ２で特定した車体座標系における刃先１３０Ｄの両端の位置のうち上下軸成分の値をゼロに書き換えることで、投影面に投影された投影した刃先影の車体座標系における位置を特定する（ステップＳ３）。刃先影生成部６１３は、カメラパラメータに基づいて、刃先影の車体座標系における位置を画像座標系における位置に変換する（ステップＳ４）。刃先影生成部６１３は、変換した位置に線分を描画することで、刃先影画像Ｇ１を生成する（ステップＳ５）。

　表示画像生成部６１４は、ステップＳ１で取得した撮像画像に、ステップＳ５で生成した刃先影画像Ｇ１と、予め用意された刃先到達ゲージ画像Ｇ２とを重畳することで、表示画像を生成する（ステップＳ６）。表示制御部６１５は、ステップＳ６で生成した表示画像を表示する表示信号を表示装置５２０に出力する（ステップＳ７）。
　これにより、表示装置５２０には、図４に示すような表示画像が表示される。

　《作用・効果》
　このように、第１の実施形態によれば、遠隔制御装置５４０は、作業機１３０が写る撮像画像と、刃先１３０Ｄを投影面に鉛直方向に向けて投影した刃先影画像Ｇ１と、刃先影画像Ｇ１の両端を通り投影面に沿って前後方向に伸びる左ラインＧ２１及び右ラインＧ２２とを重畳した表示画像を、表示装置５２０に表示させる。これにより、オペレータは、作業対象のうち作業機１３０によって掘削される範囲を容易に認識することができる。すなわち、オペレータは、撮像画像に写る作業対象のうち、左ラインＧ２１と右ラインＧ２２によって挟まれた部分が掘削されることを認識し、掘削される土量を推定することができる。したがって、遠隔制御装置５４０は、作業機械１００を用いて作業する際の作業効率の低下を抑制することができる。

　第１の実施形態に係る表示画像には、投影面Ｆ１に刃先１３０Ｄを接触させる条件下における到達可能範囲を表す基準範囲図形Ｇ２６を含む。これにより、オペレータは、刃先１３０Ｄを投影面Ｆ１上で移動させる場合に油圧シリンダ１３１のピストンがストロークエンドに当たる可能性がある範囲を認識することができる。したがって、オペレータは、刃先影画像Ｇ１と基準範囲図形Ｇ２６との位置関係を認識しながら操作装置５３０を操作することで、油圧シリンダ１３１のピストンがストロークエンドに当たる可能性を低減することができる。

　第１の実施形態に係る表示画像における刃先１３０Ｄの到達可能範囲のうち作業機械１００の旋回中心軸Ｏから最も離れた位置には、最大到達ラインＧ２３が表示される。これにより、オペレータは、表示画像を視認することで、現在位置から前方の掘削目標を掘削することができるか否かを判断することができる。なお、他の実施形態においては、最大到達ラインＧ２３が表示されず、左ラインＧ２１及び右ラインＧ２２が到達可能範囲の前縁まで伸びているだけでも、同様の効果を奏することができる。また、他の実施形態においては、最大到達ラインＧ２３が表示されていれば、左ラインＧ２１及び右ラインＧ２２が無限遠まで伸びていても、同様の効果を奏することができる。

　また、第１の実施形態に係る表示画像に含まれる左ラインＧ２１及び右ラインＧ２２は、刃先１３０Ｄの到達可能範囲のうち作業機械１００の旋回中心軸Ｏから最も離れた位置まで伸びている。また刃先１３０Ｄの到達可能範囲のうち作業機械１００の旋回中心軸Ｏから最も離れた位置には、最大到達ラインＧ２３が表示される。これにより、オペレータは、表示画像を視認することで、現在位置から前方の掘削目標を掘削することができるか否かを判断することができる。なお、他の実施形態においては、最大到達ラインＧ２３が表示されず、左ラインＧ２１及び右ラインＧ２２が到達可能範囲の前縁まで伸びているだけでも、同様の効果を奏することができる。また、他の実施形態においては、最大到達ラインＧ２３が表示されていれば、左ラインＧ２１及び右ラインＧ２２が無限遠まで伸びていても、同様の効果を奏することができる。

　また、第１の実施形態に係る表示画像には、旋回中心軸Ｏから離れた複数の位置それぞれについての旋回中心軸Ｏからの距離を示す目盛りラインＧ２４及び目盛り値Ｇ２５が含まれる。これにより、オペレータは、表示画像を視認することで、刃先１３０Ｄの奥行方向の位置を認識することができる。なお、他の実施形態においては、目盛りラインＧ２４及び目盛り値Ｇ２５の何れか一方が表示されなくても、同様の効果を奏することができる。

〈第２の実施形態〉
　第１の実施形態に係る刃先影画像Ｇ１及び刃先到達ゲージ画像Ｇ２は、走行体１１０の底面を通る平面である投影面Ｆ１に投影された画像である。これに対し、第２の実施形態に係る刃先影画像Ｇ１及び刃先到達ゲージ画像Ｇ２は、地表面Ｆ２に投影される。すなわち、第２の実施形態に係る投影面は、地表面Ｆ２である。

《作業機械１００》
　図７は、第２の実施形態に係る作業機械１００の外観図である。第２の実施形態に係る作業機械１００は、第１の実施形態の構成に加え、さらに深度検出装置１２７を備える。深度検出装置１２７は、カメラ１２２の近傍に設けられ、カメラ１２２の撮像方向と同じ方向の深度を検出する。深度とは、深度検出装置１２７から対象物までの距離である。深度検出装置１２７の例としては、例えば、ＬｉＤＡＲ装置、レーダ装置、ステレオカメラなどが挙げられる。深度検出装置１２７の検出範囲は、カメラ１２２の撮像範囲と略同一である。

《遠隔制御装置５４０》
　図８は、第２の実施形態に係る遠隔制御装置５４０の構成を示す概略ブロック図である。第２の実施形態に係る遠隔制御装置５４０は、第１の実施形態に係る構成に加え、さらに地形更新部６１８及びゲージ生成部６１９を備える。また、第２の実施形態に係る遠隔制御装置５４０は、第１の実施形態と刃先影生成部６１３の処理が異なる。

　地形更新部６１８は、データ取得部６１１が深度検出装置１２７から取得した深度データに基づいて、現場座標系における作業対象の三次元形状を示す地形データを更新する。具体的には、地形更新部６１８は、以下の手順で地形データを更新する。

　地形更新部６１８は、深度データを車体座標系に係る三次元データに変換する。深度検出装置１２７は、旋回体１２０に固定されているため、深度データと車体座標系との変換関数は予め求めておくことができる。地形更新部６１８は、姿勢特定部６１２が特定した車体座標系における作業機１３０の姿勢に基づいて、生成した三次元データから作業機１３０が写る部分を除去する。地形更新部６１８は、データ取得部６１１が取得した車体の位置及び姿勢に基づいて、車体座標系における三次元データを現場座標系における三次元データに変換する。地形更新部６１８は、新たに生成された三次元データを用いてメインメモリ６３０に既に記録されている地形データを更新する。すなわち、既に記録されている地形データのうち、新たな三次元データと重複する部分を新たな三次元データの値に置き換える。これにより、地形更新部６１８は、常に最新の地形データをメインメモリ６３０に記録することができる。

　ゲージ生成部６１９は、地形データに基づいて、地表面Ｆ２に投影された刃先到達ゲージ画像Ｇ２を生成する。例えば、ゲージ生成部６１９は以下の手順で刃先到達ゲージ画像Ｇ２を生成する。ゲージ生成部６１９は、データ取得部６１１が取得した車体の位置及び姿勢に基づいて、地形データのうち撮像範囲に含まれる部分を車体座標系に変換する。ゲージ生成部６１９は、車体座標系における地形データを用いて、既知の刃先１３０Ｄの到達範囲及び当該到達範囲を等間隔に切り分ける複数のラインを地表面Ｆ２に投影する。これにより、ゲージ生成部６１９は、左ラインＧ２１、右ラインＧ２２、最大到達ラインＧ２３及び目盛りラインＧ２４の車体座標系における位置を特定する。

　次に、ゲージ生成部６１９は、既知の刃先１３０Ｄの到達可能範囲Ｒと車体座標系における地形データとが重なる面を、地表面Ｆ２に刃先１３０Ｄを接触させる条件下における到達可能範囲を表す基準範囲図形Ｇ２６として特定する。次に、ゲージ生成部６１９は、カメラ１２２のカメラパラメータに基づいて左ラインＧ２１、右ラインＧ２２、最大到達ラインＧ２３、目盛りラインＧ２４及び基準範囲図形Ｇ２６を画像に変換する。ゲージ生成部６１９は、変換された画像の各目盛りラインＧ２４の近傍に、目盛り値Ｇ２５を付す。これにより、ゲージ生成部６１９は地表面Ｆ２に投影された刃先到達ゲージ画像Ｇ２を生成することができる。
　刃先影生成部６１３は、ゲージ生成部６１９と同様に、地形データに基づいて刃先１３０Ｄを地表面Ｆ２に投影した刃先影画像Ｇ１を生成する。

　表示画像生成部６１４は、データ取得部６１１が取得した撮像画像に、刃先影画像Ｇ１と刃先到達ゲージ画像Ｇ２を重畳することで、表示画像を生成する。図９は、第２の実施形態に係る表示画像の一例を示す図である。刃先到達ゲージ画像Ｇ２は、左ラインＧ２１、右ラインＧ２２、最大到達ラインＧ２３、目盛りラインＧ２４、目盛り値Ｇ２５及び基準範囲図形Ｇ２６を含む。

　図１０は、第２の実施形態に係る刃先影画像Ｇ１と刃先到達ゲージ画像Ｇ２の関係を示す側面図である。第２の実施形態に係る刃先影画像Ｇ１及び刃先到達ゲージ画像Ｇ２は、深度検出装置１２７によって検出される地表面Ｆ２上に沿って描画される。そのため、刃先影画像Ｇ１及び刃先到達ゲージ画像Ｇ２を撮像画像に重畳すると、刃先影画像Ｇ１及び刃先到達ゲージ画像Ｇ２が地表面Ｆ２上に張り付いているように写る。

　第２の実施形態に係る基準範囲図形Ｇ２６は、地表面Ｆ２に刃先１３０Ｄを接触させる条件下における到達可能範囲を表すが、これに限られない。例えば、他の実施形態に係る基準範囲図形Ｇ２６は、第１の実施形態と同様に走行体１１０の底面を通る平面に刃先１３０Ｄを接触させる条件下における到達可能範囲を表すものであってもよい。この場合、ゲージ生成部６１９は、走行体１１０の底面を通る平面に刃先１３０Ｄを接触させる条件下における到達可能範囲を地表面Ｆ２に投影させることで基準範囲図形Ｇ２６を生成する。

〈第３の実施形態〉
　第１、第２の実施形態に係る遠隔制御装置５４０が生成する基準範囲図形Ｇ２６は、投影面（走行体１１０の底面を通る平面又は地表面）に刃先１３０Ｄを接触させる条件下における到達可能範囲を表す。これに対し、第３の実施形態に係る遠隔制御装置５４０は、アーム１３０Ｂのみを駆動させる条件下における刃先１３０Ｄの到達可能範囲を表す。これは、ローディングショベルの使用態様として、作業対象の掘削操作をアーム１３０Ｂの押し操作によって行うことが多く、ブームシリンダ１３１Ａ及びバケットシリンダ１３１Ｃと比較して、アームシリンダ１３１Ｂのピストンがストロークエンドに当たる可能性が高いためである。第３の実施形態に係る作業システム１の構成は、基本的に第１の実施形態と同様である。

《遠隔制御装置５４０》
　図１１は、第３の実施形態に係る遠隔制御装置５４０の構成を示す概略ブロック図である。第３の実施形態に係る遠隔制御装置５４０は、第１の実施形態に係る構成に加え、さらに基準範囲特定部６２０を備える。基準範囲特定部６２０は、姿勢特定部６１２が特定したブーム１３０Ａ及びバケット１３０Ｃの姿勢に基づいて、ブーム１３０Ａ及びバケット１３０Ｃを固定し、アーム１３０Ｂのみを駆動させる場合の刃先１３０Ｄの到達可能範囲を計算する。

　図１２は、第３の実施形態に係る刃先影画像Ｇ１と刃先到達ゲージ画像Ｇ２の関係を示す側面図である。具体的には、基準範囲特定部６２０は、ブーム１３０Ａの姿勢に基づいてアーム１３０Ｂの回転中心Ｐ（ピン中心）を特定し、バケット１３０Ｃの姿勢に基づいて回転中心から刃先１３０Ｄまでの長さＬを特定する。そして、基準範囲特定部６２０は、既知のアーム１３０Ｂの回転範囲に基づいて、アーム１３０Ｂのみを駆動させる場合の刃先１３０Ｄの到達可能範囲Ｒ１を計算する。基準範囲特定部６２０は、計算した到達可能範囲Ｒ１を鉛直方向から投影面Ｆ１に投影することで基準範囲図形Ｇ２６を生成する。基準範囲特定部６２０が生成する基準範囲図形Ｇ２６は、ブーム１３０Ａ及びバケット１３０Ｃの少なくとも一方の姿勢が変わるたびに変化する。

　これにより、オペレータは、刃先影画像Ｇ１が基準範囲図形Ｇ２６の端に当たらないように作業機１３０を制御することで、アームシリンダ１３１Ｂのピストンがストロークエンドに当たらないように作業機械１００を遠隔操作することができる。

《変形例》
　第３の実施形態に係る刃先到達ゲージ画像Ｇ２は、投影面Ｆ１に投影された形状であるが、これに限られない。例えば、他の実施形態に係る刃先到達ゲージ画像Ｇ２は、第２の実施形態のように地表面Ｆ２に投影された形状であってもよい。

〈他の実施形態〉
　以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。

　上述した実施形態に係る遠隔制御装置５４０は、単独のコンピュータによって構成されるものであってもよいし、遠隔制御装置５４０の構成を複数のコンピュータに分けて配置し、複数のコンピュータが互いに協働することで遠隔制御装置５４０として機能するものであってもよい。このとき、遠隔制御装置５４０を構成する一部のコンピュータが遠隔運転室５００内に設けられ、他のコンピュータが遠隔運転室５００の外に設けられてもよい。例えば、遠隔制御装置５４０を構成する一部のコンピュータが作業機械１００に設けられてもよい。

　図１３は、他の実施形態に係る表示画像の一例を示す図である。上述した実施形態に係る刃先到達ゲージ画像Ｇ２は、左ラインＧ２１及び右ラインＧ２２を含むことで、オペレータに作業機１３０によって掘削される範囲を認識させることができる。一方で、他の実施形態に係る刃先到達ゲージ画像Ｇ２は、図１３に示すように、表示画像において左ラインＧ２１及び右ラインＧ２２に代えて、中心ラインＧ２７を含むものであってもよい。中心ラインＧ２７は、刃先１３０Ｄの中心点を通り投影面に沿って前後方向に伸びる。この場合にも、オペレータは、中心ラインＧ２７の端点、最大到達ラインＧ２３、目盛りラインＧ２４、目盛り値Ｇ２５及び基準範囲図形Ｇ２６の少なくとも１つによって、刃先１３０Ｄの奥行方向の位置を認識することができる。

　上述した実施形態に係る基準範囲図形Ｇ２６は、所定条件下における刃先１３０Ｄの到達可能範囲の前縁及び後縁を示すが、他の実施形態においては、これに限られない。例えば、作業機械１００がローディングショベルである場合、バケット１３０Ｃの刃先１３０Ｄが前方を向くため、通常、アーム１３０Ｂの押し動作によって掘削作業がなされる。そのため、到達可能範囲の後縁と比較して前縁の方がストロークエンドに当たる可能性が高い。したがって、他の実施形態に係る基準範囲図形Ｇ２６は、所定条件下における刃先１３０Ｄの到達可能範囲の前縁のみを表すものであってもよい。他方、作業機械１００がバックホウである場合、バケット１３０Ｃの刃先１３０Ｄが後方を向くため、通常、アーム１３０Ｂの引き動作によって掘削作業がなされる。そのため、到達可能範囲の前縁と比較して後縁の方がストロークエンドに当たる可能性が高い。したがって、他の実施形態に係る基準範囲図形Ｇ２６は、所定条件下における刃先１３０Ｄの到達可能範囲の後縁のみを表すものであってもよい。

　１…作業システム　１００…作業機械　１１０…走行体　１２０…旋回体　１２１…運転室　１２２…カメラ　１３０…作業機　１３０Ａ…ブーム　１３０Ｂ…アーム　１３０Ｃ…バケット　１３０Ｄ…刃先　５００…遠隔運転室　５１０…運転席　５２０…表示装置　５３０…操作装置　５４０…遠隔制御装置　６１１…データ取得部　６１２…姿勢特定部　６１３…刃先影生成部　６１４…表示画像生成部　６１５…表示制御部　６１６…操作信号入力部　６１７…操作信号出力部　６１８…地形更新部　６１９…ゲージ生成部　６２０…基準範囲特定部　Ｇ１…刃先影画像　Ｇ２…刃先到達ゲージ画像　Ｇ２１…左ライン　Ｇ２２…右ライン　Ｇ２３…最大到達ライン　Ｇ２４…目盛りライン　Ｇ２５…目盛り値　Ｇ２６…基準範囲図形

Claims

　作業機を備える作業機械の操作のために用いられる画像を表示させる表示制御装置であって、
　前記作業機械に設けられたカメラから、前記作業機が写る撮像画像を取得する撮像画像取得部と、
　前記作業機の刃先を投影面に鉛直方向に向けて投影した刃先影を生成する刃先影生成部と、
　前記撮像画像と、前記刃先影と、前記刃先の到達可能な範囲を前記投影面に鉛直方向に向けて投影した基準範囲図形とを重畳した表示画像を生成する表示画像生成部と、
　前記表示画像を表示するための表示信号を出力する表示制御部と
　を備える表示制御装置。
　前記基準範囲図形は、前記刃先の到達可能な範囲の前縁及び後縁の少なくとも一方を投影した図形である
　請求項１に記載の表示制御装置。
　前記基準範囲図形は、所定条件下における前記刃先の到達可能な範囲を投影した図形である
　請求項１又は請求項２に記載の表示制御装置。
　前記基準範囲図形は、前記刃先を前記投影面に接触させる条件下における前記刃先の到達可能な範囲を投影した図形である
　請求項３に記載の表示制御装置。
　前記作業機はブーム、アーム及びバケットを備え、
　前記基準範囲図形は、前記ブーム及び前記バケットを動かさず、前記アームを動かす条件下における前記刃先の到達可能な範囲を投影した図形である
　請求項３に記載の表示制御装置。
　前記表示画像には、前記条件を課さないときの前記刃先の到達可能な範囲を投影した到達可能範囲図形を含む
　請求項３から請求項５の何れか１項に記載の表示制御装置。
　前記投影面は、前記作業機械の接地面を通る平面である
　請求項１から請求項６の何れか１項に記載の表示制御装置。
　作業機を備える作業機械の操作のために用いられる画像を表示させる表示制御方法であって、
　前記作業機械に設けられたカメラから、前記作業機が写る撮像画像を取得するステップと、
　前記作業機の刃先を投影面に鉛直方向に向けて投影した刃先影を生成するステップと、
　前記撮像画像と、前記刃先影と、前記刃先の到達可能な範囲を前記投影面に鉛直方向に向けて投影した基準範囲図形とを重畳した表示画像を生成するステップと、
　前記表示画像を表示するステップと
　を備える表示制御方法。