JP7128497B2 - 作業機械の画像表示システム - Google Patents

Description

本発明は、作業機械の画像表示システムに関する。

特許文献１に記載されているように、油圧ショベル等の作業機械を遠隔操作する技術が知られている。

特開２００４－２９４０６７号公報

作業機械を遠隔操作する場合、作業機械のオペレータ視点の画像を用いた操作では、表示される画像が２次元のため、遠近感に乏しくなる。そのため、作業対象と作業機械との距離の把握が難しくなり、作業効率が低下する可能性がある。また、作業機械に搭乗したオペレータが作業機を操作する場合も、オペレータの熟練度によっては作業機と作業対象との距離を把握することが難しい場合があり、作業効率が低下する可能性もある。

本発明の態様は、作業具を有する作業機を備えた作業機械を用いて作業する際の作業効率の低下を抑制することを目的とする。

第１の態様によれば、作業具を有する作業機及び前記作業機が取り付けられた旋回体を備えた作業機械に適用される作業機械の画像表示システムであり、前記作業機の位置を検出する位置検出部と、前記作業機械から作業対象までの距離の情報を求める距離検出装置と、前記位置検出部によって得られた前記作業具の位置の情報と、前記距離検出装置が求めた前記距離の情報から得られた前記作業対象の位置の情報とを用いて第１画像を生成して、表示装置に表示させる処理装置と、を含み、前記第１画像は、前記作業具と対向する前記作業対象の表面で前記作業具に対応する第１位置の情報、及び前記第１位置から前記旋回体が旋回する方向に沿って延びる部分の位置の情報に基づいて生成される作業機械の画像表示システムが提供される。

第２の態様によれば、第１の態様において、前記第１画像は、前記旋回体の旋回中心軸と前記作業具の一部との距離を半径とし、かつ前記旋回中心軸に対応する位置を中心とする円弧の画像である作業機械の画像表示システムが提供される。

第３の態様によれば、第２の態様において、前記作業具はバケットであり、前記作業具の一部は、前記バケットの幅方向の中央に存在する前記バケットの刃先である作業機械の画像表示システムが提供される。

第４の態様によれば、第１の態様から第３の態様のいずれか１つにおいて、前記処理装置は、前記作業対象の位置の情報を用いて前記作業対象の表面に沿った線画像を生成して、前記作業対象の画像と合成して前記表示装置に表示させる作業機械の画像表示システムが提供される。

第５の態様によれば、第４の態様において、前記線画像は、前記旋回体の旋回中心軸に対応する位置から放射状に延びた複数の第１の線画像と、前記旋回中心軸を中心として前記旋回体の旋回方向に沿って延びる複数の第２の線画像とを備える作業機械の画像表示システムが提供される。

第６の態様によれば、第１の態様から第５の態様のいずれか１つにおいて、前記旋回体に取り付けられる撮像装置を有し、前記処理装置は、前記第１画像と、前記撮像装置によって撮像された前記作業対象の画像である第２画像とを合成して、前記表示装置に表示させる作業機械の画像表示システムが提供される。

第７の態様によれば、第６の態様において、前記処理装置は、前記作業機の姿勢を用いて前記作業機が前記第２画像に占める領域を求め、得られた前記領域を前記作業対象の形状の情報から除去する作業機械の画像表示システムが提供される。

第８の態様によれば、第６の態様又は第７の態様において、前記撮像装置、前記位置検出部及び前記距離検出装置は前記作業機械に備えられ、前記処理装置及び前記表示装置は、前記作業機械を遠隔操作する操作装置を備えた施設に設けられる作業機械の画像表示システムが提供される。

第９の態様によれば、作業具を有する作業機、前記作業機が取り付けられた旋回体、前記作業機の位置を検出する位置検出部、距離検出装置及び撮像装置を備えた作業機械に適用される作業機械の画像表示システムであり、表示装置と、前記位置検出部によって得られた前記作業具の位置の情報と、前記距離検出装置が求めた前記作業機械から作業対象までの距離の情報から得られた前記作業対象の位置の情報とを用いて第１画像を生成し、前記撮像装置によって撮像された前記作業対象の画像である第２画像と合成して、表示装置に表示させる処理装置と、を含み、前記第１画像は、前記作業具と対向する前記作業対象の表面で前記作業具に対応する第１位置の情報、及び前記第１位置から前記旋回体が旋回する方向に沿って延びる部分の位置の情報に基づいて生成される、作業機械の画像表示システムが提供される。

第１０の態様によれば、第９の態様に係る作業機械の画像表示システムと、前記作業機械が備える前記作業機を操作する操作装置と、を含む作業機械の遠隔操作システムが提供される。

第１１の態様によれば、第１の態様から第９の態様のいずれか１つに係る作業機械の画像表示システムを備えた作業機械が提供される。

第１２の態様によれば、作業具と、前記作業具を有する作業機と、前記作業機が取り付けられた旋回体と、前記旋回体に取り付けられた撮像装置と、を備えた作業機械に適用される作業機械の画像表示方法であり、前記作業機の姿勢を用いて得られた前記作業具の位置の情報と、前記作業機械から作業対象までの距離の情報から得られた前記作業対象の位置の情報とを用い、前記作業具の一部に、前記作業具と対向する前記作業対象の表面で対応する第１位置の情報、及び前記第１位置から前記旋回体が旋回する方向に沿って延びる部分の位置の情報に基づいて第１画像を生成する工程と、生成した前記第１画像を表示装置に表示させる工程と、を含み、前記第１画像は、前記作業具と対向する前記作業対象の表面で前記作業具に対応する第１位置の情報、及び前記第１位置から前記旋回体が旋回する方向に沿って延びる部分の位置の情報に基づいて生成される作業機械の画像表示方法が提供される。

本発明は、作業具を有する作業機を備えた作業機械を用いて作業する際の作業効率の低下を抑制することができる。

図１は、実施形態に係る作業機械の画像表示システム及び作業機械の遠隔操作システムを示す図である。 図２は、実施形態に係る作業機械である油圧ショベルの制御系を示す図である。 図３は、実施形態に係る画像表示システム及び遠隔操作システムの座標系を説明するための図である。 図４は、油圧ショベルの背面図である。 図５は、撮像装置及び距離検出装置の座標系を説明する図である。 図６は、実施形態に係る画像表示システム及び遠隔操作システムが実行する制御例のフローチャートである。 図７は、撮像装置及び距離検出装置と作業対象とを示す図である。 図８は、占有領域を説明する図である。 図９は、占有領域を除去した作業対象の形状の情報を示す図である。 図１０は、第１画像の一例を示す図である。 図１１は、処理装置が第１画像を生成する処理を説明するための図である。 図１２は、処理装置が第１画像を生成する処理を説明するための図である。 図１３は、撮像装置の原点と、第１画像、第１直線画像及び第２直線画像との位置関係を示す図である。 図１４は、図１に示された基準画像と第１画像とを示す図である。 図１５は、作業用の画像を示す図である。 図１６は、変形例に係る基準画像を示す図である。 図１７は、第１画像及び第３画像の一例を示す図である。 図１８は、変形例に係る油圧ショベルの制御系を示す図である。

本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。

＜作業機械の画像表示システム及び作業機械の遠隔操作システムの概要＞
図１は、実施形態に係る作業機械の画像表示システム１００及び作業機械の遠隔操作システム１０１を示す図である。作業機械の画像表示システム１００（以下においては適宜、画像表示システム１００と称する）は、オペレータが作業機械である油圧ショベル１を遠隔操作する際に、油圧ショベル１の作業対象ＷＡと作業具であるバケット８とを撮像装置１９で撮像し、得られた画像を表示装置５２に表示させる。このとき、画像表示システム１００は、作業対象ＷＡ上においてバケット８の位置を示すための画像６０と、撮像装置１９によって撮像された作業対象ＷＡの画像６８とを含む作業用の画像６９を、表示装置５２に表示させる。画像６８は、バケット８の画像も含む。実施形態において、作業用の画像６９は、さらに基準画像６５を含む。基準画像６５は、作業対象ＷＡの表面に沿って表示される画像である。基準画像６５は、作業対象ＷＡの位置を表す指標となる。油圧ショベル１の作業対象は、油圧ショベル１が備える作業機２による作業の対象である地形面、すなわち作業対象ＷＡである。

画像表示システム１００は、撮像装置１９と、姿勢検出装置３２と、距離検出装置２０と、処理装置５１とを含む。作業機械の遠隔操作システム１０１（以下においては適宜、遠隔操作システム１０１と称する）は、撮像装置１９と、姿勢検出装置３２と、距離検出装置２０と、作業機制御装置２７と、表示装置５２と、処理装置５１と、操作装置５３とを含む。実施形態において、画像表示システム１００の撮像装置１９、姿勢検出装置３２及び距離検出装置２０は油圧ショベル１に備えられ、処理装置５１は施設５０に備えられる。施設５０は、油圧ショベル１を遠隔操作したり、油圧ショベル１を管理したりするために用いられる。実施形態において、遠隔操作システム１０１の撮像装置１９、姿勢検出装置３２、距離検出装置２０及び作業機制御装置２７は油圧ショベル１に備えられ、表示装置５２、処理装置５１及び操作装置５３は施設５０に備えられる。

画像表示システム１００の処理装置５１は、処理部５１Ｐと、記憶部５１Ｍと、入出力部５１ＩＯとを含む。処理部５１Ｐは、例えばＣＰＵ（Central Processing Unit）のようなプロセッサが例示される。記憶部５１Ｍは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスクドライブ、ストレージデバイス又はこれらの組合せが例示される。入出力部５１ＩＯは、処理装置５１と外部機器とを接続するためのインターフェース回路である。実施形態において、入出力部５１ＩＯには、外部機器として、表示装置５２、操作装置５３及び通信装置５４が接続されている。入出力部５１ＩＯに接続される外部機器はこれらに限定されるものではない。

処理装置５１は、作業機２の姿勢を用いて得られたバケット８の位置の情報と、距離検出装置２０が求めた距離の情報から得られた作業対象ＷＡの位置の情報とを用いて、バケット８と対向する作業対象ＷＡ上でバケット８に対応する第１位置の情報、及び第１位置から旋回体である上部旋回体３が旋回する方向に沿って延びる部分の位置の情報に基づいて生成される第１画像を、撮像装置１９を基準として生成する。第１位置は、バケット８と対向する作業対象ＷＡ上でバケット８の一部に対応する位置であってもよい。処理装置５１は、第１画像を、撮像装置１９によって撮像された作業対象ＷＡの画像６８と合成して、表示装置５２に表示させる。作業対象ＷＡは、油圧ショベル１の作業機２が掘削又は地ならし等の作業をする対象となる面である。第１画像は、作業対象ＷＡ上においてバケット８の位置を示すための画像６０に含まれる。以下において、画像６８を適宜、第２画像６８と称する。

表示装置５２は、液晶ディスプレイ又はプロジェクタが例示されるがこれらに限定されるものではない。通信装置５４は、アンテナ５４Ａを備えている。通信装置５４は、油圧ショベル１に備えられた通信装置２５と通信して、油圧ショベル１の情報を取得したり、油圧ショベル１に情報を送信したりする。

操作装置５３は、オペレータの左側に設置される左操作レバー５３Ｌと、オペレータの右側に配置される右操作レバー５３Ｒと、を有する。左操作レバー５３Ｌ及び右操作レバー５３Ｒは、前後左右の操作が２軸の動作に対応されている。例えば、右操作レバー５３Ｒの前後方向の操作は、油圧ショベル１が備える作業機２のブーム６の動作に対応している。右操作レバー５３Ｒの左右方向の操作は、作業機２のバケット８の動作に対応している。左操作レバー５３Ｌの前後方向の操作は、作業機２のアーム７の動作に対応している。左操作レバー５３Ｌの左右方向の操作は、油圧ショベル１の上部旋回体３の旋回に対応している。

左操作レバー５３Ｌ及び右操作レバー５３Ｒの操作量は、例えば、ポテンショメータ及びホールＩＣ等によって検出され、処理装置５１は、これらの検出値に基づいて電磁制御弁を制御するための制御信号を生成する。この信号は、施設５０の通信装置５４及び油圧ショベル１の通信装置２５を介して作業機制御装置２７に送られる。作業機制御装置２７は、制御信号に基づいて電磁制御弁を制御することによって作業機２を制御する。電磁制御弁については後述する。

処理装置５１は、左操作レバー５３Ｌ及び右操作レバー５３Ｒの少なくとも一方に対する入力を取得し、作業機２及び上部旋回体３の少なくとも一方を動作させるための命令を生成する。処理装置５１は、生成した命令を、通信装置５４を介して油圧ショベル１の通信装置２５に送信する。油圧ショベル１が備える作業機制御装置２７は、通信装置２５を介して処理装置５１からの命令を取得し、命令にしたがって作業機２及び上部旋回体３の少なくとも一方を動作させる。

油圧ショベル１は、通信装置２５と、作業機制御装置２７と、姿勢検出装置３２と、撮像装置１９と、距離検出装置２０と、アンテナ２１，２２と、位置演算装置２３とを備える。作業機制御装置２７は、作業機２を制御する。通信装置２５は、アンテナ２４に接続されており、施設５０に備えられた通信装置５４と通信する。作業機制御装置２７は、作業機２及び上部旋回体３を制御する。姿勢検出装置３２は、作業機２及び油圧ショベル１の少なくとも一方の姿勢を検出する。撮像装置１９は、油圧ショベル１に取り付けられて、作業対象ＷＡを撮像する。距離検出装置２０は、油圧ショベル１の所定の位置から作業対象ＷＡまでの距離の情報を求める。アンテナ２１，２２は、測位衛星２００からの電波を受信する。位置演算装置２３は、アンテナ２１，２２が受信した電波を用いて、アンテナ２１，２２のグローバル位置、すなわちグローバル座標系における位置を求める。

＜油圧ショベル１の全体構成＞
油圧ショベル１は、本体部としての車両本体１Ｂと作業機２とを有する。車両本体１Ｂは、上部旋回体３と走行体である走行装置５とを有する。上部旋回体３は、運転室４を有する。走行装置５は、上部旋回体３を搭載する。走行装置５は履帯を有している。走行装置５は、履帯が回転することにより、油圧ショベル１を走行させる。作業機２は、上部旋回体３の運転室４の側方側に取り付けられている。

上部旋回体３は、作業機２及び運転室４が配置されている側が前であり、カウンタウェイト９が配置されている側が後である。前に向かって左側が上部旋回体３の左であり、前に向かって右側が上部旋回体３の右である。油圧ショベル１又は車両本体１Ｂは、上部旋回体３を基準として走行装置５側が下であり、走行装置５を基準として上部旋回体３側が上である。油圧ショベル１が水平面に設置されている場合、下は鉛直方向、すなわち重力の作用方向側であり、上は鉛直方向とは反対側である。

作業機２は、ブーム６とアーム７と作業具であるバケット８とブームシリンダ１０とアームシリンダ１１とバケットシリンダ１２とを有する。バケット８は、複数の刃８Ｂを有する。刃先８Ｔは、刃８Ｂの先端である。バケット８は、複数の刃８Ｂを有するものには限定されない。バケット８は、チルトバケットであってもよい。この他にも、作業機２は、バケット８の代わりに、法面バケット又は削岩用のチップを備えた削岩用のアタッチメント等を作業具として備えていてもよい。

ブームシリンダ１０とアームシリンダ１１とバケットシリンダ１２とは、それぞれ油圧ポンプから吐出される作動油の圧力によって駆動される油圧シリンダである。ブームシリンダ１０はブーム６を駆動する。アームシリンダ１１は、アーム７を駆動する。バケットシリンダ１２は、バケット８を駆動する。

上部旋回体３の上部には、アンテナ２１，２２及びアンテナ２４が取り付けられている。アンテナ２１，２２は、油圧ショベル１の位置を検出するために用いられる。アンテナ２１，２２は、位置演算装置２３と電気的に接続されている。

アンテナ２１，２２は、ＧＮＳＳ（Kinematic-Global Navigation Satellite Systems，ＧＮＳＳは全地球航法衛星システムをいう）用のアンテナである。アンテナ２１，２２は、上部旋回体３の幅方向と平行な方向に沿って、一定距離だけ離れて配置されている。アンテナ２１，２２は、測位衛星２００からＧＮＳＳ電波を受信し、受信したＧＮＳＳ電波に応じた信号を出力する。アンテナ２１，２２は、ＧＰＳ（Global Positioning System）用のアンテナであってもよい。以下の説明において、アンテナ２１，２２を、適宜ＧＮＳＳアンテナ２１，２２と称する。位置演算装置２３は、例えばＧＮＳＳを利用して油圧ショベル１の位置を検出する。

撮像装置１９は、図１に示される作業対象ＷＡを撮像し、距離検出装置２０は、自身（油圧ショベル１の所定の位置）から作業対象ＷＡまでの距離を求めるので、できる限り広い作業対象ＷＡからの情報を取得することが好ましい。このため、実施形態において、アンテナ２４、撮像装置１９及び距離検出装置２０は、上部旋回体３の運転室４の上方に設置される。撮像装置１９及び距離検出装置２０が設置される場所は運転室４の上方に限定されるものではない。例えば、撮像装置１９及び距離検出装置２０は、運転室４の内部かつ上方に設置されてもよい。

撮像装置１９は、入射面１９Ｌが上部旋回体３の前方を向いている。距離検出装置２０は、入射面２０Ｌが上部旋回体３の前方を向いている。実施形態において、撮像装置１９は、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサのようなイメージセンサを備えた単眼カメラである。実施形態において、距離検出装置２０は、３次元レーザーレンジファインダ又は距離センサである。撮像装置１９及び距離検出装置２０はこれらに限定されるものではない。例えば、撮像装置１９及び距離検出装置２０の代わりに、作業対象ＷＡの画像を取得する機能と、作業対象ＷＡまでの距離を求める機能との両方を有する装置が用いられてもよい。このような装置としては、例えば、ステレオカメラが例示される。

＜油圧ショベル１の制御系＞
図２は、実施形態に係る作業機械である油圧ショベル１の制御系１Ｓを示す図である。制御系１Ｓは、通信装置２５と、センサコントローラ２６と、作業機制御装置２７と、撮像装置１９と、距離検出装置２０と、位置演算装置２３と、姿勢検出装置３２と、ＩＭＵ（Inertial Measurement Unit：慣性計測装置）３３と、油圧システム３６と、を備える。通信装置２５と、センサコントローラ２６と、作業機制御装置２７とは、信号線３５によって接続されている。このような構造により、通信装置２５と、センサコントローラ２６と、作業機制御装置２７とは、信号線３５を介して相互に情報をやり取りすることができる。制御系１Ｓ内で情報を伝達する信号線は、ＣＡＮ（Controller Area Network）のような車内信号線が例示される。

センサコントローラ２６は、ＣＰＵ等のプロセッサと、ＲＡＭ及びＲＯＭ等の記憶装置とを有する。センサコントローラ２６には、位置演算装置２３の検出値、撮像装置１９によって撮像された画像の情報、距離検出装置２０の検出値、姿勢検出装置３２の検出値及びＩＭＵ３３の検出値が入力される。センサコントローラ２６は、入力された検出値及び画像の情報を、信号線３５及び通信装置２５を介して、図１に示される施設５０の処理装置５１に送信する。

作業機制御装置２７は、ＣＰＵ等のプロセッサと、ＲＡＭ及びＲＯＭ等の記憶装置とを有する。作業機制御装置２７は、施設５０の処理装置５１によって生成された、作業機２及び上部旋回体３の少なくとも一方を動作させるための命令を、通信装置２５を介して取得する。作業機制御装置２７は、取得した命令に基づいて、油圧システム３６の電磁制御弁２８を制御する。

油圧システム３６は、電磁制御弁２８と、油圧ポンプ２９と、ブームシリンダ１０、アームシリンダ１１、バケットシリンダ１２及び旋回モータ３０等の油圧アクチュエータとを備える。油圧ポンプ２９は、エンジン３１によって駆動されて、油圧アクチュエータを動作させるための作動油を吐出する。作業機制御装置２７は、電磁制御弁２８を制御することにより、ブームシリンダ１０、アームシリンダ１１、バケットシリンダ１２及び旋回モータ３０に供給される作動油の流量を制御する。このようにして、作業機制御装置２７は、ブームシリンダ１０、アームシリンダ１１、バケットシリンダ１２及び旋回モータ３０の動作を制御する。

センサコントローラ２６は、第１ストロークセンサ１６、第２ストロークセンサ１７及び第３ストロークセンサ１８の検出値を取得する。第１ストロークセンサ１６はブームシリンダ１０に、第２ストロークセンサ１７はアームシリンダ１１に、第３ストロークセンサ１８はバケットシリンダ１２に、それぞれ設けられる。

第１ストロークセンサ１６は、ブームシリンダ１０の長さであるブームシリンダ長を検出してセンサコントローラ２６に出力する。第２ストロークセンサ１７は、アームシリンダ１１の長さであるアームシリンダ長を検出してセンサコントローラ２６に出力する。第３ストロークセンサ１８は、バケットシリンダ１２の長さであるバケットシリンダ長を検出してセンサコントローラ２６に出力する。

ブームシリンダ長、アームシリンダ長及びバケットシリンダ長が決定されれば、作業機２の姿勢が決定される。したがって、これらを検出する第１ストロークセンサ１６、第２ストロークセンサ１７及び第３ストロークセンサ１８は、作業機２の姿勢を検出する姿勢検出装置３２に相当する。姿勢検出装置３２は、第１ストロークセンサ１６、第２ストロークセンサ１７及び第３ストロークセンサ１８に限定されるものではなく、角度検出器であってもよい。

センサコントローラ２６は、第１ストロークセンサ１６が検出したブームシリンダ長から、油圧ショベル１の座標系である車体座標系における水平面と直交する方向に対するブーム６の傾斜角を算出する。センサコントローラ２６は、第２ストロークセンサ１７が検出したアームシリンダ長から、ブーム６に対するアーム７の傾斜角を算出する。センサコントローラ２６は、第３ストロークセンサ１８が検出したバケットシリンダ長から、アーム７に対するバケット８の傾斜角を算出する。ブーム６、アーム７及びバケット８の傾斜角は、作業機２の姿勢を示す情報である。すなわち、センサコントローラ２６は、作業機２の姿勢を示す情報を求める。センサコントローラ２６は、算出した傾斜角を、信号線３５及び通信装置２５を介して、図１に示される施設５０の処理装置５１に送信する。

位置演算装置２３は、ＣＰＵ等のプロセッサと、ＲＡＭ及びＲＯＭ等の記憶装置とを有する。位置演算装置２３は、油圧ショベル１の位置を求める。詳細には、位置演算装置２３は、アンテナ２１，２２から取得した信号を用いて、グローバル座標系におけるアンテナ２１，２２の位置及び上部旋回体３の方位を検出して、出力する。上部旋回体３の方位は、グローバル座標系における上部旋回体３の向きを表す。上部旋回体３の向きは、例えば、グローバル座標系の鉛直軸周りにおける上部旋回体３の前後方向の向きで表すことができる。方位角は、上部旋回体３の前後方向における基準軸の、グローバル座標系の鉛直軸周りにおける回転角である。方位角によって上部旋回体３の方位が表される。

ＩＭＵ３３は、油圧ショベル１の動作及び姿勢を検出する。油圧ショベル１の動作は、上部旋回体３の動作及び走行装置５の動作の少なくとも一方を含む。油圧ショベル１の姿勢は、油圧ショベル１のロール角、ピッチ角及びヨー角によって表される。実施形態において、ＩＭＵ３３は、油圧ショベル１の角度又は角速度、及び加速度を検出して出力する。ＩＭＵ３３によって検出される油圧ショベル１の角度は、油圧ショベル１のロール角、ピッチ角及びヨー角である。

＜座標系について＞
図３は、実施形態に係る画像表示システム１００及び遠隔操作システム１０１の座標系を説明するための図である。図４は、油圧ショベル１の背面図である。図５は、撮像装置１９及び距離検出装置２０の座標系を説明する図である。

画像表示システム１００及び遠隔操作システム１０１においては、グローバル座標系と、車体座標系と、撮像装置１９の座標系と、距離検出装置２０の座標系とが存在する。グローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）は、地球に固定された原点ＰＧを基準とした３次元の座標系である。実施形態において、グローバル座標系は、例えば、ＧＮＳＳ又はＧＰＳにおける座標系である。

車体座標系とは、油圧ショベル１を基準とした、（Ｘｍ，Ｙｍ，Ｚｍ）で示される３次元の座標系である。実施形態において、車体座標系の原点位置ＰＬは、上部旋回体３の回転中心軸であるＺｍ軸と、上部旋回体３のスイングサークル内においてＺｍ軸と直交する平面との交点であるがこれに限定されるものではない。Ｘｍ軸は、上部旋回体３の前後方向に延び、かつＺｍ軸と直交する軸である。Ｘｍ軸は、上部旋回体３の前後方向における基準軸である。Ｙｍ軸は、Ｚｍ軸及びＸｍ軸と直交する、上部旋回体３の幅方向に延びる軸である。スイングサークル内においてＺｍ軸と直交する平面は、スイングサークルのＺｍ軸方向における中心を通る平面とすることができる。

実施形態において、撮像装置１９の座標系（以下においては適宜、撮像装置座標系と称する）は、図５に示されるように、撮像素子１９ＲＣの撮像面１９Ｐの中心を原点ＰＣとした、（Ｘｃ，Ｙｃ，Ｚｃ）で示される３次元の座標系である。撮像装置座標系（Ｘｃ，Ｙｃ，Ｚｃ）のＸｃ軸は、撮像装置１９の光学中心を通り、かつ撮像面１９Ｐと直交する方向に延びる軸である。Ｙｃ軸は、Ｘｃ軸と直交する軸である。Ｚｃ軸は、Ｘｃ軸及びＹｃ軸の両方と直交する軸である。

実施形態において、距離検出装置２０の座標系は、図５に示されるように、距離検出素子２０ＲＣの検出面２０Ｐの中心を原点ＰＤとした、（Ｘｄ，Ｙｄ，Ｚｄ）で示される３次元座標系である。

＜油圧ショベル１の姿勢＞
図４に示されるように、上部旋回体３の左右方向、すなわち幅方向に対する傾斜角θ４は油圧ショベル１のロール角であり、上部旋回体３の前後方向に対する傾斜角θ５は油圧ショベル１のピッチ角であり、鉛直軸周りにおける上部旋回体３の角度は油圧ショベル１のヨー角である。ロール角、ピッチ角及びヨー角は、ＩＭＵ３３によって検出された角速度を時間で積分することにより求められる。

ＩＭＵ３３が検出した加速度及び角速度は、動作情報としてセンサコントローラ２６に出力される。センサコントローラ２６は、ＩＭＵ３３から取得した動作情報にフィルタ処理及び積分といった処理を施して、ロール角である傾斜角θ４と、ピッチ角である傾斜角θ５と、ヨー角とを求める。センサコントローラ２６は、求めた傾斜角θ４、傾斜角θ５及びヨー角を、油圧ショベル１の姿勢に関連する情報として、図２に示される信号線３５及び通信装置２５を介して、図１に示される施設５０の処理装置５１に送信する。

センサコントローラ２６は、前述したように、作業機２の姿勢を示す情報を求める。作業機２の姿勢を示す情報は、具体的には、車体座標系における水平面と直交する方向（Ｚｍ軸方向）に対するブーム６の傾斜角θ１、ブーム６に対するアーム７の傾斜角θ２及びアーム７に対するバケット８の傾斜角θ３である。図１に示される施設５０の処理装置５１は、油圧ショベル１のセンサコントローラ２６から取得した作業機２の姿勢を示す情報、すなわち傾斜角θ１，θ２，θ３からバケット８の刃先８Ｔの位置（以下においては適宜、刃先位置と称する）Ｐ４を算出する。

処理装置５１の記憶部５１Ｍは、作業機２のデータ（以下においては適宜、作業機データと称する）を記憶している。作業機データは、ブーム６の長さＬ１、アーム７の長さＬ２及びバケット８の長さＬ３を含む。図３に示されるように、ブーム６の長さＬ１は、ブームピン１３からアームピン１４までの長さに相当する。アーム７の長さＬ２は、アームピン１４からバケットピン１５までの長さに相当する。バケット８の長さＬ３は、バケットピン１５からバケット８の刃先８Ｔまでの長さに相当する。刃先８Ｔは、図１に示される刃８Ｂの先端である。作業機データは、車体座標系の原点位置ＰＬに対するブームピン１３までの位置の情報を含む。処理装置５１は、長さＬ１，Ｌ２，Ｌ３，傾斜角θ１，θ２，θ３及び原点位置ＰＬを用いて、原点位置ＰＬに対する刃先位置Ｐ４を求めることができる。実施形態において、施設５０の処理装置５１が刃先位置Ｐ４を求めたが、油圧ショベル１のセンサコントローラ２６が刃先位置Ｐ４を求めて施設５０の処理装置５１に送信してもよい。刃先位置Ｐ４は、作業機２の一部であるバケット８の刃先８Ｔの位置なので、作業機２の位置である。前者の場合、姿勢検出装置３２、センサコントローラ２６及び処理装置５１が、作業機の位置を検出する位置検出部に相当する。後者の場合、姿勢検出装置３２及びセンサコントローラ２６が、作業機の位置を検出する位置検出部に相当する。

位置検出部は、前述した姿勢検出装置３２、センサコントローラ２６及び処理装置５１，又は姿勢検出装置３２及びセンサコントローラ２６に限定されない。例えば、ステレオカメラ又はレーザスキャナ等の距離計測装置で作業機の位置を検出してもよい。この場合、距離計測装置が、作業機の位置を検出する位置検出部に相当する。

＜画像表示システム１００及び遠隔操作システム１０１が実行する制御例＞
図６は、実施形態に係る画像表示システム１００及び遠隔操作システム１０１が実行する制御例のフローチャートである。図７は、撮像装置１９及び距離検出装置２０と作業対象ＷＡとを示す図である。

ステップＳ１０１において、図２に示されるセンサコントローラ２６は、油圧ショベル１の情報を取得する。油圧ショベル１の情報は、撮像装置１９、距離検出装置２０、位置演算装置２３、姿勢検出装置３２及びＩＭＵ３３から得られる情報である。撮像装置１９は、図７に示されるように、撮像範囲ＴＡ内で作業対象ＷＡを撮像し、作業対象ＷＡの画像を得る。距離検出装置２０は、検出範囲ＭＡ内に存在する作業対象ＷＡ及びその他の物体までの、距離検出装置２０からの距離Ｌｄを検出する。位置演算装置２３は、グローバル座標系におけるＧＮＳＳアンテナ２１，２２の位置Ｐ１，Ｐ２に対応する基準位置情報Ｐｇａ１，Ｐｇａ２を求める。姿勢検出装置３２は、ブームシリンダ長、アームシリンダ長及びバケットシリンダ長を検出する。ＩＭＵ３３は、油圧ショベル１の姿勢、より詳細には、上部旋回体３のロール角θ４、ピッチ角θ５及びヨー角を検出する。

ステップＳ１０２において、画像表示システム１００及び遠隔操作システム１０１の処理装置５１は、油圧ショベル１の通信装置２５及び処理装置５１に接続された通信装置５４を介して、油圧ショベル１のセンサコントローラ２６から油圧ショベル１の情報を取得する。

処理装置５１がセンサコントローラ２６から取得する油圧ショベル１の情報は、撮像装置１９によって撮像された作業対象ＷＡの画像と、距離検出装置２０によって検出された、距離検出装置２０から作業対象ＷＡまでの距離の情報と、姿勢検出装置３２によって検出された油圧ショベル１が備える作業機２の姿勢の情報と、基準位置情報Ｐｇａ１，Ｐｇａ２と、油圧ショベル１の姿勢の情報と、を含む。

距離検出装置２０から作業対象ＷＡまでの距離の情報は、検出範囲ＭＡ内に存在する作業対象ＷＡ又は物体ＯＢまでの距離Ｌｄと、距離Ｌｄに対応する位置Ｐｄの方位の情報とを含む。図７に示される例では、作業対象ＷＡまでの距離として距離Ｌｄが示される。位置Ｐｄの方位の情報は、距離検出装置２０を基準としたときの位置Ｐｄの方位であり、距離検出装置２０の座標系の各軸Ｘｄ、Ｙｄ、Ｚｄに対する角度である。処理装置５１が取得する作業機２の姿勢の情報は、ブームシリンダ長、アームシリンダ長及びバケットシリンダ長を用いてセンサコントローラ２６が求めた、作業機２の傾斜角θ１、θ２、θ３である。油圧ショベル１の姿勢の情報は、油圧ショベル１、より具体的には上部旋回体３のロール角θ４、ピッチ角θ５及びヨー角である。

処理装置５１は、センサコントローラ２６から取得した作業機２の傾斜角θ１、θ２、θ３と、記憶部５１Ｍに記憶されているブーム６の長さＬ１、アーム７の長さＬ２及びバケット８の長さＬ３とを用いて、バケット８の刃先位置Ｐ４を求める。バケット８の刃先位置Ｐ４は、油圧ショベル１の車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）における座標の集合である。

ステップＳ１０３において、処理装置５１は、作業対象ＷＡまでの距離の情報を用いて、作業対象ＷＡまでの距離Ｌｄを位置の情報に変換する。位置の情報は、距離検出装置２０の座標系（Ｘｄ，Ｙｄ，Ｚｄ）における位置Ｐｄの座標である。ステップＳ１０３においては、検出範囲ＭＡ内で距離検出装置２０によって検出されたすべての距離Ｌｄが、位置の情報に変換される。処理装置５１は、距離Ｌｄと、距離Ｌｄに対応する位置Ｐｄの方位の情報とを用いて、距離Ｌｄを位置の情報に変換する。ステップＳ１０３においては、検出範囲ＭＡ内に存在する物体ＯＢまでの距離も、作業対象ＷＡの距離Ｌｄと同様に、位置の情報に変換される。ステップＳ１０３の処理によって、検出範囲ＭＡ内における作業対象ＷＡの位置の情報が得られる。作業対象ＷＡの位置の情報から、作業対象ＷＡの形状の情報を得ることができる。

作業対象ＷＡの位置の情報及び形状の情報は、距離検出装置２０の座標系（Ｘｄ，Ｙｄ，Ｚｄ）における位置Ｐｄの座標の集合である。処理装置５１は、作業対象ＷＡの形状の情報を撮像装置座標系（Ｘｃ，Ｙｃ，Ｚｃ）の値に変換した後、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）の値に変換する。次に、ステップＳ１０４において、処理装置５１は、占有領域ＳＡを求める。

図８は、占有領域ＳＡを説明する図である。占有領域ＳＡは、作業対象ＷＡの形状の情報内において、作業機２が占める領域である。図８に示される例では、作業機２のバケット８が距離検出装置２０の検出範囲ＭＡ内、かつ距離検出装置２０と作業対象ＷＡとの間に入っている。このため、占有領域ＳＡの部分は、距離検出装置２０によって、作業対象ＷＡまでの距離ではなくバケット８までの距離が検出される。ステップＳ１０５において、処理装置５１は、ステップＳ１０３で得られた作業対象ＷＡの形状の情報から、占有領域ＳＡの部分を除去する。

占有領域ＳＡの部分を除去するにあたって、処理装置５１は、バケット８の位置及び姿勢の少なくとも一方に応じて距離検出装置２０が検出する位置及び姿勢の少なくとも一方の情報を、例えば記憶部５１Ｍに記憶させておく。このような情報は、本実施形態において油圧ショベル１の作業機２の姿勢に含まれる。作業機２の姿勢は、作業機２の傾斜角θ１、θ２、θ３、ブーム６の長さＬ１、アーム７の長さＬ２及びバケット８の長さＬ３を用い、必要に応じて油圧ショベル１の姿勢を用いて求めることができる。そして、処理装置５１は、距離検出装置２０によって検出された情報と記憶部５１Ｍに記憶されている情報とを比較し、両者がマッチングしたなら、バケット８が検出されたものとすることができる。両者がマッチングした部分が占有領域ＳＡに対応するので、処理装置５１は、作業対象ＷＡの形状の情報から、占有領域ＳＡの部分を除去する。

作業機２の姿勢を用いて占有領域ＳＡを除去する処理により、処理装置５１は、図１に示される、作業対象ＷＡの位置を表す指標となる基準画像６５を生成する際に、占有領域ＳＡのバケット８の情報を使わないので、基準画像６５を正確に生成できる。

作業機２の姿勢を用いて占有領域ＳＡの部分を除去する処理は、次のような方法によって行われてもよい。作業機２の姿勢に含まれる、バケット８の車体座標系における位置及び姿勢の少なくとも一方に関する情報は、作業機２の傾斜角θ１、θ２、θ３、ブーム６の長さＬ１、アーム７の長さＬ２及びバケット８の長さＬ３から求められる。ステップＳ１０３で、車体座標系における作業対象ＷＡの形状の情報が得られている。ステップＳ１０５において、処理装置５１は、バケット８の位置を作業対象ＷＡの形状の情報に投影した領域を占有領域ＳＡとして、作業対象ＷＡの形状から除去する。

図９は、占有領域を除去した作業対象ＷＡの形状の情報を示す図である。作業対象ＷＡの形状の情報ＩＭＷＡは、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）における座標Ｐｍｄ（Ｘｍｄ、Ｙｍｄ、Ｚｍｄ）の集合である。占有領域ＳＡは、ステップＳ１０５の処理により、座標の情報が存在しない。次に、ステップＳ１０６に進み、処理装置５１は第１画像を生成する。第１画像は、作業対象ＷＡ上において、バケット８に対応する部分又はバケット８の一部に対応する部分を含み、かつ油圧ショベル１の上部旋回体３が旋回する方向に沿って延びる画像である。

＜第１画像＞
図１０は、第１画像ＩＭＣの一例を示す図である。図１１及び図１２は、処理装置５１が第１画像ＩＭＣを生成する処理を説明するための図である。実施形態において、図１０に示される第１画像ＩＭＣは、作業対象ＷＡ上でのバケット８の刃先８Ｔの位置を示すとともに、作業機２が現在の姿勢を維持したまま上部旋回体３が旋回した場合の作業対象ＷＡの表面における刃先８Ｔの位置を示す。次に、処理装置５１が第１画像ＩＭＣを生成する処理を説明する。

第１画像ＩＭＣは、図１０及び図１２に示されるように、上部旋回体３の旋回中心軸である車体座標系のＺｍ軸から見て、Ｚｍ軸とバケット８との距離Ｒｂｔを半径とし、かつＺｍ軸に対応する位置を中心とする円弧の画像である。実施形態において、距離Ｒｂｔを求める際に用いられるバケット８の位置は、図１２に示されるように、バケット８の幅方向Ｗｂの中央に存在するバケット８の刃先８Ｔの位置である。距離Ｒｂｔを求める際に用いられるバケット８の位置は、バケット８の幅方向Ｗｂの中央における刃先８Ｔには限定されない。距離Ｒｂｔは、車体座標系のＸｍ－Ｙｍ平面と平行な方向に沿った、車体座標系のＺｍ軸と、バケット８の幅方向Ｗｂの中央における刃先８Ｔの位置Ｐｂｔ（Ｘｍｂｔ，Ｙｍｂｔ，Ｚｍｂｔ）との距離である。位置Ｐｂｔ（Ｘｍｂｔ，Ｙｍｂｔ，Ｚｍｂｔ）は、車体座標系における位置である。

図１２の線ＬＣは、バケット８の幅方向Ｗｂの中央を示す。バケット８の幅方向Ｗｂは、バケット８とアーム７とを連結するバケットピン１５が延びる方向と平行な方向であり、車体座標系のＹｍ軸と平行な方向である。距離Ｒｂｔは、車体座標系において、Ｘｍ軸と平行な方向に沿った、Ｚｍ軸とバケット８の刃先８Ｔとの距離である。

第１画像ＩＭＣが示す位置は、作業対象ＷＡの表面ＷＡＳの位置である。処理装置５１は、車体座標系のＺｍ軸を中心とした距離Ｒｂｔを半径とする円弧を、軸作業対象ＷＡの表面ＷＡＳへ車体座標系のＺｍ軸と平行な方向に投影した部分（以下においては適宜、交差部分と称する）の位置Ｐｔ（Ｘｍｔ，Ｙｍｔ，Ｚｍｔ）を求める。交差部分の画像が第１画像ＩＭＣとなる。

交差部分の位置Ｐｔ（Ｘｍｔ，Ｙｍｔ，Ｚｍｔ）は、例えば、車体座標系のＺｍ軸を中心とした距離Ｒｂｔを半径とする曲面と、作業対象ＷＡの表面ＷＡＳとが交差する部分の位置となる。バケット８の幅方向Ｗｂの中央に存在するバケット８の刃先８Ｔを通り、かつ車体座標系のＺｍ軸と平行な方向に延びる直線ＶＬが作業対象ＷＡの表面ＷＡＳと交差する部分は、交差部分の一部の位置である。処理装置５１は、交差部分の位置Ｐｔ（Ｘｍｔ，Ｙｍｔ，Ｚｍｔ）の情報を用いて、第１画像ＩＭＣを生成する。第１画像ＩＭＣは、交差部分の位置Ｐｔ（Ｘｍｔ，Ｙｍｔ，Ｚｍｔ）の情報に対応している。

交差部分の位置Ｐｔ（Ｘｍｔ，Ｙｍｔ，Ｚｍｔ）の中の第１位置Ｐｔｃは、バケット８と対向する作業対象ＷＡの表面ＷＡＳでバケット８の位置、実施形態においてはバケット８の幅方向Ｗｂの中央に存在するバケット８の刃先８Ｔの位置に対応する。第１位置Ｐｔｃは、幅方向Ｗｂ中央における刃先８Ｔの位置には限定されず、例えば幅方向Ｗｐの一端部における位置であってもよい。

第１位置Ｐｔｃから上部旋回体３の旋回方向Ｒｔｄに沿って延びる部分の位置は、交差部分の位置Ｐｔ（Ｘｍｔ，Ｙｍｔ，Ｚｍｔ）のうち、第１位置Ｐｔｃから旋回方向Ｒｔｄに沿って延びる部分の位置である。第１画像ＩＭＣは、第１位置Ｐｔｃの情報、及び第１位置Ｐｔｃから旋回方向Ｒｔｄに沿って延びる部分の位置の情報に対応する。すなわち、第１画像ＩＭＣは、第１位置Ｐｔｃの情報、及び第１位置Ｐｔｃから旋回方向Ｒｔｄに沿って延びる部分の位置の情報に基づいて生成される。

実施形態において、処理装置５１は、直線ＬＶ１の画像である第１直線画像６２、及び直線ＬＶ２の画像である第２直線画像６３も図１に示される表示装置５２に表示させる。直線ＬＶ１は、バケット８の幅方向Ｗｂの一方の端部８Ｗｔ１側における刃８Ｂの外側の位置Ｐｂ１から、車体座標系のＺｍ軸と平行な方向に沿って作業対象ＷＡの表面ＷＡＳまで延ばした直線である。直線ＬＶ２は、バケット８の幅方向Ｗｂの他方の端部８Ｗｔ２側における刃８Ｂの外側の位置Ｐｂ２から、車体座標系のＺｍ軸と平行な方向に沿って作業対象ＷＡの表面ＷＡＳまで延ばした直線である。直線ＬＶ１と作業対象ＷＡの表面ＷＡＳとが交差する部分の位置をＰｔ１、直線ＬＶ２と作業対象ＷＡの表面ＷＡＳとが交差する部分の位置をＰｔ２とする。車体座標系におけるバケット８の各部の位置及び車体座標系における作業対象ＷＡの表面ＷＡＳの位置が分かっているので、処理装置５１は、これらの位置から位置Ｐｂ１，Ｐｂ２，Ｐｔ１，Ｐｔ２を求めることができる。位置Ｐｂ１，Ｐｂ２，Ｐｔ１，Ｐｔ２が得られれば、直線ＬＶ１及び直線ＬＶ２も得られるので、処理装置５１は、第１直線画像６２及び第２直線画像６３を生成することができる。

第１画像ＩＭＣ、第１直線画像６２及び第２直線画像６３が得られたら、処理装置５１は、これらを撮像装置１９の視点の画像に変換する。撮像装置１９の視点の画像は、撮像装置１９を基準とした画像である。次に、第１画像ＩＭＣ、第１直線画像６２及び第２直線画像６３を撮像装置１９の視点の画像に変換するための処理について説明する。

図１３は、撮像装置１９の原点ＰＣと、第１画像ＩＭＣ、第１直線画像６２及び第２直線画像６３との位置関係を示す図である。撮像装置１９の視点の画像は、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）における撮像装置の原点ＰＣから第１画像ＩＭＣ、第１直線画像６２及び第２直線画像６３を見たときの画像である。

第１画像ＩＭＣ、第１直線画像６２及び第２直線画像６３は、３次元空間内の画像であるが、撮像装置１９の視点の画像は２次元の画像である。したがって、処理装置５１は、３次元空間、すなわち車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）内に定義された第１画像ＩＭＣ、第１直線画像６２及び第２直線画像６３を、２次元面上に投影する透視投影変換を実行する。撮像装置１９の視点の画像に変換された第１画像ＩＭＣ、第１直線画像６２及び第２直線画像６３を、以下においては適宜、案内画像６０と称する。

図１４は、図１に示された基準画像６５と第１画像ＩＭＣとを示す図である。案内画像６０が生成されたら、ステップＳ１０７に進み、処理装置５１は、基準画像６５を生成する。基準画像６５は、作業対象ＷＡの表面ＷＡＳに沿った線画像である。処理装置５１は、作業対象ＷＡの位置の情報、詳細には作業対象ＷＡの表面ＷＡＳにおける位置の情報を用いて、基準画像６５を生成する。

基準画像６５は、上部旋回体３の旋回中心軸であるＺｍ軸に対応する位置から放射状に延びた複数の第１の線画像ＲＬと、Ｚｍ軸を中心として上部旋回体３の旋回方向Ｒｔｄに沿って延びる複数の第２の線画像ＣＬとを備える。実施形態において、複数の第１の線画像ＲＬは、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）のＺｍ軸方向から見て、Ｚｍ軸から放射状に延び、かつＺｍ軸を中心とした円の周方向に沿って配置される線画像である。複数の第２の線画像ＣＬは、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）のＺｍ軸方向から見て、Ｚｍ軸を中心とした円の周方向に沿って延びる円弧又は円の画像であり、Ｚｍ軸を中心とした円の径方向に沿って配置される。

第１の線画像ＲＬ及び第２の線画像ＣＬは、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）で定義されるので、３次元の情報を含んでいる。実施形態において、複数の第１の線画像ＲＬは、Ｚｍを中心とした円の周方向に沿って、角度α毎に等間隔に配置される。複数の第２の線画像ＣＬは、Ｚｍを中心とした円の径方向に沿って、距離ΔＲ毎に等間隔に配置される。

処理装置５１は、第１の線画像ＲＬ及び第２の線画像ＣＬを生成したら、これらを撮像装置１９の視点の画像に変換して、基準画像６５を生成する。第１の線画像ＲＬ及び第２の線画像ＣＬが撮像装置１９の視点の画像に変換されることで、表示装置５２は、基準画像６５を作業対象ＷＡの形状に合わせて変形させて表示させることができる。

次に、ステップＳ１０８において、処理装置５１は、生成された案内画像６０及び基準画像６５から、前述した占有領域ＳＡを除去する。案内画像６０及び基準画像６５は、作業対象ＷＡの形状の情報から生成されるので、案内画像６０及び基準画像６５から占有領域ＳＡを除去することは、占有領域ＳＡを作業対象ＷＡの形状の情報から除去することを意味する。処理装置５１は、占有領域ＳＡを除去した作業対象ＷＡの形状の情報を用いて、案内画像６０及び基準画像６５を生成してもよい。

ステップＳ１０８において、処理装置５１は、占有領域ＳＡを撮像装置１９の視点の画像に変換して、案内画像６０及び基準画像６５から除去する。処理装置５１は、撮像装置１９の視点の画像に変換される前の第１画像ＩＭＣ、第１直線画像６２及び第２直線画像６３と、撮像装置１９の視点の画像に変換される前の第１の線画像ＲＬ及び第２の線画像ＣＬとから、それぞれ撮像装置１９の視点の画像に変換される前の占有領域ＳＡを除去してもよい。

図１５は、作業用の画像６９を示す図である。ステップＳ１０９において、処理装置５１は、占有領域ＳＡが除去された案内画像６０と、基準画像６５と、撮像装置１９によって撮像された作業対象ＷＡの第２画像６８とを合成して、作業用の画像６９を生成する。ステップＳ１１０において、処理装置５１は、生成された作業用の画像６９を表示装置５２に表示させる。作業用の画像６９は、作業対象ＷＡの画像６８と、基準画像６５と、案内画像６０とが合成された画像である。

基準画像６５は、上部旋回体３の旋回中心軸を中心とした円の周方向及び径方向に沿って、作業対象ＷＡの表面ＷＡＳに延びる複数の線画像なので、油圧ショベル１のオペレータは、基準画像６５を参照することにより、作業対象ＷＡの位置を把握することができる。例えば、オペレータは、第２の線画像ＣＬにより奥行き、すなわち油圧ショベル１が備える上部旋回体３の前後方向の位置を把握でき、第１の線画像ＲＬにより上部旋回体３の旋回方向Ｒｔｄにおける位置を把握できる。

距離Ｒｂｔは、バケット８とＺｍ軸との距離に応じて変化するので、第１画像ＩＭＣもバケット８とＺｍ軸との距離に応じて、油圧ショベル１から遠ざかったり油圧ショベル１に近づいたりする。第１画像ＩＭＣは、バケット８の現在の位置に応じて移動するので、オペレータは、第１画像ＩＭＣを参照しながら作業機２を操作することで、作業対象ＷＡとバケット８との位置を把握できる。その結果、作業効率の低下が抑制される。また、作業の精度の低下が抑制される。

オペレータは、第１画像ＩＭＣと第２の線画像ＣＬとを参照することで、現在の作業機２の姿勢のまま上部旋回体３が旋回した場合に、掘削対象の位置がバケット８よりも遠い側にあるのか又は近い側にあるのかを容易に把握できる。その結果、作業効率の低下が抑制される。また、作業の精度の低下が抑制される。

第１直線画像６２及び第２直線画像６３は、作業対象ＷＡの表面ＷＡＳにおけるバケット８の刃先８Ｔの位置を示す。すなわち、作業対象ＷＡの表面ＷＡＳにおいて第１直線画像６２と第２直線画像６３とで挟まれる部分がバケット８の刃先８Ｔの位置になる。このため、オペレータは、第１直線画像６２及び第２直線画像６３により、バケット８と作業対象ＷＡとの位置関係をより容易に把握できる。その結果、作業効率の低下が抑制される。また、作業の精度の低下が抑制される。

基準画像６５及び第１画像ＩＭＣは、作業対象ＷＡ、例えば油圧ショベル１が作業する対象の地形の形状に沿って表示されるため、表示装置５２に２次元で表示された地形面上において、基準画像６５と第１画像ＩＭＣとの相対位置関係が容易に把握できる。さらに、基準画像６５を構成する、第１の線画像ＲＬ及び第２の線画像ＣＬは、車体座標系において等間隔に配置されているため、オペレータは地形面上での距離感をつかみやすく、遠近感の把握が容易になる。

実施形態において、作業用の画像６９は、バケット８の刃先８Ｔと作業対象ＷＡとの距離を示す情報６４を含んでもよい。情報６４により、オペレータは、バケット８の刃先８Ｔと作業対象ＷＡとの実際の距離を把握できるという利点がある。バケット８の刃先８Ｔと作業対象ＷＡとの距離は、バケット８の幅方向Ｗｂの中央における刃先８Ｔから作業対象ＷＡの表面ＷＡＳまでの距離とすることができる。

情報６４は、作業具又は作業対象ＷＡに関する空間位置情報であればよい。空間位置情報は、バケット８の刃先８Ｔと作業対象ＷＡとの距離に代え、又はその距離に加えて、バケット８の角度といった姿勢に関する情報、バケット８と作業対象ＷＡとの相対距離を示す情報、バケット８の例えば刃先８Ｔの向きと作業対象ＷＡの面の向きとの関係を示す情報、バケット８の位置を座標で示した情報、作業対象ＷＡの面の向きを示す情報及び撮像装置１９からバケット８の刃先８Ｔまでの車体座標系におけるＸｍ方向の距離を示す情報といった情報を含む。

すなわち、処理装置５１は、作業具であるバケット８の位置、バケット８の姿勢、作業対象ＷＡの位置、作業対象ＷＡの相対的な姿勢、バケット８と作業対象ＷＡとの相対的な距離、バケット８と作業対象ＷＡとの相対的な姿勢の少なくとも１つを求めて、表示装置５２に表示させてもよい。

＜変形例に係る基準画像＞
図１６は、変形例に係る基準画像６５ａを示す図である。基準画像６５ａは、車体座標系を極座標系とした基準画像６５とは異なり、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）におけるＺｍ軸の方向から見て、複数の第１の直線画像６６と、これらに直交する複数の第２の直線画像６７とで形成される格子の画像である。複数の第１の直線画像６６は、車体座標系のＸｍ軸に平行であり、複数の第２の直線画像６７は、車体座標系のＹｍ軸に平行である。複数の第１の直線画像６６が配列される間隔は等しい。また複数の第２の直線画像６７が配列される間隔は等しい。そして、複数の第１の直線画像６６が配列される間隔と、複数の第２の直線画像６７が配列される間隔とは等しい。

処理装置５１は、占有領域ＳＡが除去された案内画像６０と、基準画像６５ａと、撮像装置１９によって撮像された作業対象ＷＡの第２画像６８とを合成して、作業用の画像６９を生成する。処理装置５１がこのような格子画像を案内画像６０とともに表示装置５２に表示させることによっても、オペレータは、旋回時及び掘削時にバケット８の位置と作業対象ＷＡとの位置関係を容易に把握することができる。

＜第３画像＞
図１７は、第１画像ＩＭＣ及び第３画像６１の一例を示す図である。第３画像６１は、位置Ｐｔ１と、位置Ｐｔ２とを結び、かつ作業対象ＷＡの表面ＷＡＳに沿った線画像である。位置Ｐｔ１は、第１直線画像６２に対応する直線ＬＶ１と作業対象ＷＡの表面ＷＡＳとが交差する部分の位置である。位置Ｐｔ２は、第２直線画像６３に対応する直線ＬＶ２と作業対象ＷＡの表面ＷＡＳとが交差する部分の位置である。処理装置５１は、第１位置Ｐｔ１と第２位置Ｐｔ２とを結ぶ直線を作業対象ＷＡの表面ＷＡＳに投影したときの表面ＷＡＳの位置の集合を第３画像６１とする。バケット８の幅方向Ｗｂにおける中央の位置の刃先８Ｔから延びる、車体座標系のＺｍ軸と平行な直線が、作業対象ＷＡの表面ＷＡＳと交差する位置Ｐｔは、第３画像６１の一部である。また、位置Ｐｔは、第１画像ＩＭＣの一部でもある。

処理装置５１は、第１画像ＩＭＣに加えて第３画像６１を表示装置５２に表示させてもよい。第３画像６１により、オペレータは、作業対象ＷＡの表面ＷＡＳにおけるバケット８の現在の位置を把握できる。その結果、オペレータは、バケット８と作業位置との位置関係を容易かつ確実に把握できる。処理装置５１は、第１画像ＩＭＣ及び第３画像６１を表示装置５２に表示させる場合、両者の表示形態を異ならせてもよい。表示形態を異ならせることには、例えば、第１画像ＩＭＣの色と第３画像６１の色とを異ならせること、第１画像ＩＭＣの線の太さと第３画像６１の線の太さとを異ならせること、第１画像ＩＭＣの線の種類と第３画像６１の線の種類とを異ならせること、及びこれらの２以上を組み合わせることが含まれる。第１画像ＩＭＣと第３画像６１との表示形態を異ならせることにより、オペレータは、第３画像６１を第１画像ＩＭＣと区別しやすくなる。

＜変形例に係る油圧ショベル１の制御系＞
図１８は、変形例に係る油圧ショベル１の制御系１Ｓａを示す図である。前述した画像表示システム１００及び遠隔操作システム１０１は、図１に示される施設５０の操作装置５３を用いて油圧ショベル１を遠隔操作した。本変形例は、図２に示される運転室４内に表示装置５２ａが設けられている。本変形例は、油圧ショベル１にオペレータの作業を補助させるために、作業用の画像６９が表示装置５２ａに表示される。

制御系１Ｓａは、前述した制御系１Ｓの信号線３５に、処理装置５１及び操作装置５３ａが接続されている。処理装置５１には、表示装置５２ａが接続されている。制御系１Ｓａが備える処理装置５１は、前述した画像表示システム１００及び遠隔操作システム１０１において図１に示される施設５０に備えられる処理装置５１と同様の機能を有している。処理装置５１及び表示装置５２ａによって、変形例に係る画像表示システム１００ａが構成される。

変形例において、処理装置５１が姿勢検出装置３２及びセンサコントローラ２６の検出値を用いて刃先位置Ｐ４を求めてもよいし、センサコントローラ２６が姿勢検出装置３２の検出値を用いて刃先位置Ｐ４を求めてもよい。前者の場合、位置検出装置３２、センサコントローラ２６及び処理装置５１が、作業具の位置を検出する位置検出部に相当する。後者の場合、位置検出装置３２及びセンサコントローラ２６が、作業具の位置を検出する位置検出部に相当する。位置検出部は、前述した、ステレオカメラ又はレーザスキャナ等の距離計測装置であってもよい。

制御系１Ｓａの表示装置５２ａは、運転席のフロントウィンドウＦＧに画像を投影するヘッドアップディスプレイである。表示装置５２ａは、ヘッドマウントディスプレイであってもよい。表示装置５２ａは、フロントウィンドウＦＧ越しに見えるバケット８に合わせた位置に、作業用の画像６９を表示する。この場合、作業対象ＷＡ及びバケット８はフロントウィンドウＦＧ越しに見えるので、表示装置５２ａが表示する作業用の画像６９は、少なくとも第１画像ＩＭＣを含んでいればよい。すなわち、表示装置５２ａがヘッドアップディスプレイ又はヘッドマウントディスプレイである場合、処理装置５１は、第１画像ＩＭＣを表示装置５２ａに表示させる。変形例では、第１画像ＩＭＣに加えて、基準画像６５も表示装置５２ａに表示される。

表示装置５２ａはヘッドアップディスプレイには限定されず、通常のディスプレイであってもよい。表示装置５２ａが通常のディスプレイである場合、処理装置５１は、少なくとも第１画像ＩＭＣと撮像装置１９によって撮像された第２画像６８とが合成された作業用の画像６９を、表示装置５２ａに表示させる。

操作装置５３ａは、油圧ショベル１を操作するための装置であり、左操作レバー５３Ｌａ及び右操作レバー５３Ｒａを備えている。操作装置５３ａは、パイロット油圧方式であってもよいし、電気方式であってもよい。

制御系１Ｓａを備える油圧ショベル１は、画像表示システム１００ａによって、所定の位置、例えば運転席に着座したオペレータの視点に対応する位置から作業対象ＷＡを見た場合に、第１画像ＩＭＣを少なくとも含む作業用の画像６９が、フロントウィンドウＦＧに表示される。このような処理により、オペレータは、フロントウィンドウＦＧに画像に表示された第１画像ＩＭＣによって、バケット８と作業位置との位置関係を容易かつ確実に把握できる。その結果、画像表示システム１００ａは、作業効率の低下及び作業の精度の低下を抑制させることができる。バケット８が油圧ショベルの車両本体１Ｂから離れるほど、オペレータは遠近感を把握し難くなるため、このような場合において、画像表示システム１００ａは作業効率及び作業の精度の低下を抑制するができる。

また、経験の浅いオペレータも、画像表示システム１００ａを備える油圧ショベル１を用いることにより、バケット８の遠近感を把握しやすくなる。その結果、作業効率の低下が抑制される。また、作業の精度の低下が抑制される。さらに、夜間作業のように、オペレータが実際の作業対象ＷＡを目視し難い状況であっても、オペレータは表示装置５２ａに表示された作業用の画像６９を見ながら作業することができるので、作業効率及び作業の精度の低下が抑制される。

画像表示システム１００，１００ａ及び遠隔操作システム１０１は、撮像装置１９の視点で生成された案内画像６０及び基準画像６５又は６５ａを、撮像装置１９によって撮像された実際の作業対象ＷＡの画像６８と重ね合わせて、表示装置５２に表示する。このような処理により、画像表示システム１００及び遠隔操作システム１０１は、表示装置５２に表示された作業対象ＷＡの画像を用いて油圧ショベル１を遠隔操作するオペレータに、バケット８の位置と作業対象ＷＡとの位置関係を把握させやすくすることができる。その結果、作業効率の低下が抑制される。また、作業の精度の低下が抑制される。

案内画像６０に含まれる第１画像ＩＭＣは、上部旋回体３の旋回方向に沿って延びるので、オペレータは、案内画像６０を参照することで、上部旋回体３が旋回した場合におけるバケット８と作業対象ＷＡにおける作業地点との相対的な位置関係を容易に把握できる。その結果、画像表示システム１００及び遠隔操作システム１０１は、旋回体を有する作業機械において、作業効率の低下を抑制させることができ、また作業の精度の低下を抑制させることができる。

経験の浅いオペレータも、画像表示システム１００，１００ａ及び遠隔操作システム１０１を用いることにより、バケット８の位置と作業対象ＷＡにおける作業地点との位置関係を容易に把握できる。その結果、作業効率及び作業の精度の低下が抑制される。また、画像表示システム１００及び遠隔操作システム１０１は、案内画像６０と、基準画像６５又は６５ａと、実際の作業対象ＷＡの画像６８とを重ね合わせて表示装置５２に表示することにより、作業中にオペレータが注目する画面を単一として、作業効率の低下を抑制できる。

基準画像６５又は６５ａは、隣接する第１の線画像ＲＬ同士の間隔が等しく、隣接する第２の線画像ＣＬ同士の間隔が等しい。このため、基準画像６５又は６５ａと、撮像装置１９によって撮像された実際の作業対象ＷＡの画像６８とを重ね合わせて表示することにより、作業対象ＷＡでの作業地点を把握しやすくなる。また、案内画像６０の第１画像ＩＭＣと基準画像６５とを重ね合わせることにより、オペレータは、バケット８が移動した距離を把握することが容易になるので、作業効率の低下が抑制される。

案内画像６０及び基準画像６５又は６５ａは、作業機２の領域である占有領域ＳＡが除去されるので、案内画像６０及び基準画像６５又は６５ａは、占有領域ＳＡによる歪み及び作業機２に案内画像６０及び基準画像６５が重畳して表示されることを回避できる。その結果、画像表示システム１００及び遠隔操作システム１０１は、オペレータにとって見やすい形態で作業用の画像６９を表示装置５２に表示できる。

実施形態及び変形例において、案内画像６０は、少なくとも第１画像ＩＭＣを含んでいればよい。すなわち、案内画像６０は、第１直線画像６２及び第２直線画像６３を含まなくてもよい。また、処理装置５１は、バケット８の刃先８Ｔと作業対象ＷＡとの距離に応じて、案内画像６０のうち、例えば第１画像ＩＭＣの表示形態を変更してもよい。このようにすることで、オペレータは、バケット８の位置と作業対象ＷＡとの距離を把握しやすくなる。

実施形態において、処理装置５１は、少なくとも第１画像ＩＭＣ及び第２画像６８を表示装置５２に表示させればよい。この場合でも、オペレータは、上部旋回体３の旋回方向Ｒｔｄに沿って延びる第１画像ＩＭＣを参照することで、上部旋回体３が旋回した場合におけるバケット８と作業対象ＷＡにおける作業地点との相対的な位置関係を容易に把握できる。その結果、少なくとも第１画像ＩＭＣ及び第２画像６８が表示装置５２に表示されることにより、旋回体を有する作業機械において、作業効率の低下が抑制され、また作業の精度の低下が抑制される。

実施形態において、処理装置５１は、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）で作業用の画像６９を生成したが、グローバル座標系（Ｘｇ、Ｙｇ、Ｚｇ）、撮像装置座標系（Ｘｃ，Ｙｃ，Ｚｃ）又は距離検出装置２０の座標系（Ｘｄ、Ｙｄ、Ｚｄ）のいずれで作業用の画像６９を生成してもよい。グローバル座標系（Ｘｇ、Ｙｇ、Ｚｇ）で作業用の画像６９が生成される場合は、ＧＮＳＳアンテナ２１，２２及び位置演算装置２３が必要になる。車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）、撮像装置座標系（Ｘｃ，Ｙｃ，Ｚｃ）及び距離検出装置２０の座標系（Ｘｄ、Ｙｄ、Ｚｄ）で作業用の画像６９が生成される場合は、ＧＮＳＳアンテナ２１，２２及び位置演算装置２３は不要である。

実施形態において、作業機２の領域である占有領域ＳＡが案内画像６０及び基準画像６５から除去されなくてもよい。この場合でも、表示装置５２に表示された第１画像ＩＭＣ及び第２画像６８によって、オペレータは、上部旋回体３が旋回した場合におけるバケット８と作業対象ＷＡにおける作業地点との相対的な位置関係を容易に把握できる。このため、旋回体を有する作業機械において、作業効率の低下が抑制される。また、旋回体を有する作業機械において、作業の精度が抑制される。

前述の実施形態では、距離検出装置２０により検出された油圧ショベル１の一部、例えば、前述のようにバケット８を除去し、作業対象ＷＡの形状の情報（３次元地形データ）とした。しかし、過去、例えば数秒前に取得した３次元地形データを処理装置５１の記憶部５１Ｍに記憶しておき、処理装置５１の処理部５１Ｐが、現在の作業対象ＷＡと、その記憶されている３次元地形データとが同じ位置であるのか判断し、同じ位置であるのであれば、過去の３次元地形データを用いて、基準画像６５又は６５ａを表示させてもよい。つまり、処理装置５１は、撮像装置１９から見て、油圧ショベル１の一部によって隠れている地形があっても、過去の３次元地形データがあれば、基準画像６５又は６５ａを表示させることができる。

＜荷積み作業における画像表示の例＞
実施形態及び変形例において、油圧ショベル１がダンプトラックのベッセルに岩石及び土砂等の積荷を積み込む荷積み作業において、画像表示システム１００，１００ａによる画像表示の例を説明する。画像表示システム１００，１００ａの処理装置５１は、距離検出装置２０によって検出された、荷積み作業の対象であるダンプトラックの位置を取得する。作業用の画像６９に含まれる第１画像ＩＭＣ及び基準画像６５又は６５ａは、ダンプトラックの位置で立ち上がるので、オペレータは作業機２とダンプトラックの高さ及び位置との関係を把握できる。作業用の画像６９にダンプトラックの位置を加えることで、オペレータは、上部旋回体３を旋回させて作業機２のバケット８をダンプトラックに接近させる場合に、バケット８がどの位置でダンプトラックに到達するかを把握できる。このため、作業機２とダンプトラックとの干渉が抑制される。

処理装置５１は、距離検出装置２０によって検出されたダンプトラックの位置を作業対象ＷＡの一部として取り扱ってもよいし、図２に示される通信装置２５を介して管理サーバ等からダンプトラックの位置を取得してもよい。後者の場合、処理装置５１は、取得したダンプトラックの位置に、ダンプトラックのモデルの情報を当てはめて、ダンプトラックの位置としてもよい。

処理装置５１は、ダンプトラックの高さと、作業機２の高さ、詳細にはバケット８の刃先８Ｔの高さとを比較し、比較結果に応じて第１画像ＩＭＣの表示形態を変更してもよい。このような処理により、オペレータは、作業機２の高さとダンプトラックの高さとの関係を把握できるので、作業機２とダンプトラックとの干渉が抑制される。第１画像の表示形態を変更する場合、処理装置５１は、例えば、ダンプトラックの高さよりも作業機２の高さが低ければ第１画像ＩＭＣを赤色で表示し、ダンプトラックの高さと作業機２の高さとが同等であれば第１画像ＩＭＣを橙色で表示し、ダンプトラックの高さよりも作業機２の高さが高ければ第１画像ＩＭＣを緑色で表示することができる。

第１画像ＩＭＣとともに第３画像６１と第１直線画像６１及び第２直線画像６２との少なくとも一方が表示される場合、処理装置５１は、ダンプトラックの高さに応じて、第１画像ＩＭＣとともに第３画像６１と第１直線画像６１及び第２直線画像６２との少なくとも一方の表示形態を変更してもよい。このような処理により、オペレータは、作業機２の高さとダンプトラックの高さとの関係を把握しやすくなる。

実施形態及び変形例において、作業機械は、作業機２を有する旋回体を備えていれば、作業機２の種類及び作業機械の種類は限定されない。

以上、実施形態及び変形例を説明したが、前述した内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、実施形態及び変形例の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも１つを行うことができる。

１ 油圧ショベル
１Ｂ 車両本体
１Ｓ，１Ｓａ 制御系
２ 作業機
３ 上部旋回体
８ バケット
８Ｂ 刃
８Ｔ 刃先
１９ 撮像装置
２０ 距離検出装置
２３ 位置演算装置
５０ 施設
５１ 処理装置
５１ＩＯ 入出力部
５１Ｍ 記憶部
５１Ｐ 処理部
５２，５２ａ 表示装置
６０ 案内画像
６１ 第３画像
６２ 第１直線画像
６３ 第２直線画像
６５，６５ａ 基準画像
６８ 第２画像
６９ 作業用の画像
１００，１００ａ 作業機械の画像表示システム（画像表示システム）
１０１ 作業機械の遠隔操作システム（遠隔操作システム）
ＣＬ 第２の線画像
ＲＬ 第１の線画像
ＦＧ フロントウィンドウ
ＩＭＣ 第１画像
Ｒｔｄ 旋回方向
ＷＡ 作業対象
ＷＡＳ 表面
Ｗｂ 幅方向

Claims (7)

1. 作業具を有する作業機及び前記作業機が取り付けられた旋回体を備えた作業機械に適用される作業機械の画像表示システムであり、
   前記作業機械の作業対象の画像及び前記作業具の画像を取得する撮像装置と、
   前記作業対象の形状を取得する計測装置と、
   前記作業具の位置の情報と、前記作業対象の情報とに基づいて、前記作業具の幅方向の一方の端部から前記作業対象まで延ばし前記作業対象と交差する第１交点と、前記作業具の幅方向の他方の端部から前記作業対象まで延ばし前記作業対象と交差する第２交点との間の外側に延びる第１画像を前記作業対象に生成して、表示装置に表示させる処理装置と、を含む、
   作業機械の画像表示システム。
2. 前記第１画像の少なくとも一部は、前記作業具の左右方向に延びる、
   請求項１に記載の作業機械の画像表示システム。
3. 前記作業対象の形状の情報は、３次元地形データである、
   請求項１に記載の作業機械の画像表示システム。
4. 前記処理装置は、
   前記作業対象の位置の情報を用いて前記作業対象に沿った線画像を生成して、前記作業対象の画像と合成して前記表示装置に表示させる、
   請求項１から請求項３のいずれか１項に記載の作業機械の画像表示システム。
5. 前記処理装置は、
   前記第１画像と、前記撮像装置によって撮像された前記作業対象の画像とを合成して、前記表示装置に表示させる、
   請求項１から請求項４のいずれか１項に記載の作業機械の画像表示システム。
6. 前記撮像装置は前記作業機械に備えられ、
   前記処理装置及び前記表示装置は、前記作業機械を遠隔操作する操作装置を備えた施設に設けられる、
   請求項５に記載の作業機械の画像表示システム。
7. 作業具を有する作業機、前記作業機が取り付けられた旋回体、作業機械の作業対象の画像及び前記作業具の画像を取得する撮像装置、前記作業対象の形状を取得する計測装置を備えた作業機械に適用される作業機械の画像表示システムであり、
   前記作業具の位置の情報と、前記作業対象の情報とに基づいて、前記作業具の幅方向の一方の端部から前記作業対象まで延ばし前記作業対象と交差する第１交点と、前記作業具の幅方向の他方の端部から前記作業対象まで延ばし前記作業対象と交差する第２交点との間の外側に延びる第１画像を前記作業対象に生成して、表示装置に表示させる処理装置と、を含む、表示装置に表示させる処理装置と、を含む、
   作業機械の画像表示システム。
   

Images