JP6923144B2 - 作業機械の画像表示システム - Google Patents

作業機械の画像表示システム Download PDF

Info

Publication number
JP6923144B2
JP6923144B2 JP2020163375A JP2020163375A JP6923144B2 JP 6923144 B2 JP6923144 B2 JP 6923144B2 JP 2020163375 A JP2020163375 A JP 2020163375A JP 2020163375 A JP2020163375 A JP 2020163375A JP 6923144 B2 JP6923144 B2 JP 6923144B2
Authority
JP
Japan
Prior art keywords
image
work
information
work machine
bucket
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020163375A
Other languages
English (en)
Other versions
JP2021011814A (ja
Inventor
貴頌 谷本
貴頌 谷本
優 南里
優 南里
幸紀 松村
幸紀 松村
和久 高濱
和久 高濱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Osaka University NUC
Original Assignee
Komatsu Ltd
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016172229A external-priority patent/JP6794193B2/ja
Application filed by Komatsu Ltd, Osaka University NUC filed Critical Komatsu Ltd
Priority to JP2020163375A priority Critical patent/JP6923144B2/ja
Publication of JP2021011814A publication Critical patent/JP2021011814A/ja
Priority to JP2021117334A priority patent/JP7128497B2/ja
Application granted granted Critical
Publication of JP6923144B2 publication Critical patent/JP6923144B2/ja
Priority to JP2022128502A priority patent/JP7333551B2/ja
Priority to JP2023127017A priority patent/JP2023143985A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、作業機械の画像表示システムに関する。
特許文献1に記載されているように、油圧ショベル等の作業機械を遠隔操作する技術が知られている。
特開2004−294067号公報
作業機械を遠隔操作する場合、作業機械のオペレータ視点の画像を用いた操作では、表示される画像が2次元のため、遠近感に乏しくなる。そのため、作業対象と作業機械との距離の把握が難しくなり、作業効率が低下する可能性がある。また、作業機械に搭乗したオペレータが作業機を操作する場合も、オペレータの熟練度によっては作業機と作業対象との距離を把握することが難しい場合があり、作業効率が低下する可能性もある。
本発明の態様は、作業具を有する作業機を備えた作業機械を用いて作業する際の作業効率の低下を抑制することを目的とする。
第1の態様によれば、作業具を有する作業機及び前記作業機が取り付けられた旋回体を備えた作業機械に適用される作業機械の画像表示システムであり、前記作業機の位置を検出する位置検出部と、前記作業機械から作業対象までの距離の情報を求める距離検出装置と、前記位置検出部によって得られた前記作業具の位置の情報と、前記距離検出装置が求めた前記距離の情報から得られた前記作業対象の位置の情報とを用いて第1画像を生成して、表示装置に表示させる処理装置と、を含み、前記第1画像は、前記作業具と対向する前記作業対象の表面で前記作業具に対応する第1位置の情報、及び前記第1位置から前記旋回体が旋回する方向に沿って延びる部分の位置の情報に基づいて生成される作業機械の画像表示システムが提供される。
第2の態様によれば、第1の態様において、前記第1画像は、前記旋回体の旋回中心軸と前記作業具の一部との距離を半径とし、かつ前記旋回中心軸に対応する位置を中心とする円弧の画像である作業機械の画像表示システムが提供される。
第3の態様によれば、第2の態様において、前記作業具はバケットであり、前記作業具の一部は、前記バケットの幅方向の中央に存在する前記バケットの刃先である作業機械の画像表示システムが提供される。
第4の態様によれば、第1の態様から第3の態様のいずれか1つにおいて、前記処理装置は、前記作業対象の位置の情報を用いて前記作業対象の表面に沿った線画像を生成して、前記作業対象の画像と合成して前記表示装置に表示させる作業機械の画像表示システムが提供される。
第5の態様によれば、第4の態様において、前記線画像は、前記旋回体の旋回中心軸に対応する位置から放射状に延びた複数の第1の線画像と、前記旋回中心軸を中心として前記旋回体の旋回方向に沿って延びる複数の第2の線画像とを備える作業機械の画像表示システムが提供される。
第6の態様によれば、第1の態様から第5の態様のいずれか1つにおいて、前記旋回体に取り付けられる撮像装置を有し、前記処理装置は、前記第1画像と、前記撮像装置によって撮像された前記作業対象の画像である第2画像とを合成して、前記表示装置に表示させる作業機械の画像表示システムが提供される。
第7の態様によれば、第6の態様において、前記処理装置は、前記作業機の姿勢を用いて前記作業機が前記第2画像に占める領域を求め、得られた前記領域を前記作業対象の形状の情報から除去する作業機械の画像表示システムが提供される。
第8の態様によれば、第6の態様又は第7の態様において、前記撮像装置、前記位置検出部及び前記距離検出装置は前記作業機械に備えられ、前記処理装置及び前記表示装置は、前記作業機械を遠隔操作する操作装置を備えた施設に設けられる作業機械の画像表示システムが提供される。
第9の態様によれば、作業具を有する作業機、前記作業機が取り付けられた旋回体、前記作業機の位置を検出する位置検出部、距離検出装置及び撮像装置を備えた作業機械に適用される作業機械の画像表示システムであり、表示装置と、前記位置検出部によって得られた前記作業具の位置の情報と、前記距離検出装置が求めた前記作業機械から作業対象までの距離の情報から得られた前記作業対象の位置の情報とを用いて第1画像を生成し、前記撮像装置によって撮像された前記作業対象の画像である第2画像と合成して、表示装置に表示させる処理装置と、を含み、前記第1画像は、前記作業具と対向する前記作業対象の表面で前記作業具に対応する第1位置の情報、及び前記第1位置から前記旋回体が旋回する方向に沿って延びる部分の位置の情報に基づいて生成される、作業機械の画像表示システムが提供される。
第10の態様によれば、第9の態様に係る作業機械の画像表示システムと、前記作業機械が備える前記作業機を操作する操作装置と、を含む作業機械の遠隔操作システムが提供される。
第11の態様によれば、第1の態様から第9の態様のいずれか1つに係る作業機械の画像表示システムを備えた作業機械が提供される。
第12の態様によれば、作業具と、前記作業具を有する作業機と、前記作業機が取り付けられた旋回体と、前記旋回体に取り付けられた撮像装置と、を備えた作業機械に適用される作業機械の画像表示方法であり、前記作業機の姿勢を用いて得られた前記作業具の位置の情報と、前記作業機械から作業対象までの距離の情報から得られた前記作業対象の位置の情報とを用い、前記作業具の一部に、前記作業具と対向する前記作業対象の表面で対応する第1位置の情報、及び前記第1位置から前記旋回体が旋回する方向に沿って延びる部分の位置の情報に基づいて第1画像を生成する工程と、生成した前記第1画像を表示装置に表示させる工程と、を含み、前記第1画像は、前記作業具と対向する前記作業対象の表面で前記作業具に対応する第1位置の情報、及び前記第1位置から前記旋回体が旋回する方向に沿って延びる部分の位置の情報に基づいて生成される作業機械の画像表示方法が提供される。
本発明は、作業具を有する作業機を備えた作業機械を用いて作業する際の作業効率の低下を抑制することができる。
図1は、実施形態に係る作業機械の画像表示システム及び作業機械の遠隔操作システムを示す図である。 図2は、実施形態に係る作業機械である油圧ショベルの制御系を示す図である。 図3は、実施形態に係る画像表示システム及び遠隔操作システムの座標系を説明するための図である。 図4は、油圧ショベルの背面図である。 図5は、撮像装置及び距離検出装置の座標系を説明する図である。 図6は、実施形態に係る画像表示システム及び遠隔操作システムが実行する制御例のフローチャートである。 図7は、撮像装置及び距離検出装置と作業対象とを示す図である。 図8は、占有領域を説明する図である。 図9は、占有領域を除去した作業対象の形状の情報を示す図である。 図10は、第1画像の一例を示す図である。 図11は、処理装置が第1画像を生成する処理を説明するための図である。 図12は、処理装置が第1画像を生成する処理を説明するための図である。 図13は、撮像装置の原点と、第1画像、第1直線画像及び第2直線画像との位置関係を示す図である。 図14は、図1に示された基準画像と第1画像とを示す図である。 図15は、作業用の画像を示す図である。 図16は、変形例に係る基準画像を示す図である。 図17は、第1画像及び第3画像の一例を示す図である。 図18は、変形例に係る油圧ショベルの制御系を示す図である。
本発明を実施するための形態(実施形態)につき、図面を参照しつつ詳細に説明する。
<作業機械の画像表示システム及び作業機械の遠隔操作システムの概要>
図1は、実施形態に係る作業機械の画像表示システム100及び作業機械の遠隔操作システム101を示す図である。作業機械の画像表示システム100(以下においては適宜、画像表示システム100と称する)は、オペレータが作業機械である油圧ショベル1を遠隔操作する際に、油圧ショベル1の作業対象WAと作業具であるバケット8とを撮像装置19で撮像し、得られた画像を表示装置52に表示させる。このとき、画像表示システム100は、作業対象WA上においてバケット8の位置を示すための画像60と、撮像装置19によって撮像された作業対象WAの画像68とを含む作業用の画像69を、表示装置52に表示させる。画像68は、バケット8の画像も含む。実施形態において、作業用の画像69は、さらに基準画像65を含む。基準画像65は、作業対象WAの表面に沿って表示される画像である。基準画像65は、作業対象WAの位置を表す指標となる。油圧ショベル1の作業対象は、油圧ショベル1が備える作業機2による作業の対象である地形面、すなわち作業対象WAである。
画像表示システム100は、撮像装置19と、姿勢検出装置32と、距離検出装置20と、処理装置51とを含む。作業機械の遠隔操作システム101(以下においては適宜、遠隔操作システム101と称する)は、撮像装置19と、姿勢検出装置32と、距離検出装置20と、作業機制御装置27と、表示装置52と、処理装置51と、操作装置53とを含む。実施形態において、画像表示システム100の撮像装置19、姿勢検出装置32及び距離検出装置20は油圧ショベル1に備えられ、処理装置51は施設50に備えられる。施設50は、油圧ショベル1を遠隔操作したり、油圧ショベル1を管理したりするために用いられる。実施形態において、遠隔操作システム101の撮像装置19、姿勢検出装置32、距離検出装置20及び作業機制御装置27は油圧ショベル1に備えられ、表示装置52、処理装置51及び操作装置53は施設50に備えられる。
画像表示システム100の処理装置51は、処理部51Pと、記憶部51Mと、入出力部51IOとを含む。処理部51Pは、例えばCPU(Central Processing Unit)のようなプロセッサが例示される。記憶部51Mは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスクドライブ、ストレージデバイス又はこれらの組合せが例示される。入出力部51IOは、処理装置51と外部機器とを接続するためのインターフェース回路である。実施形態において、入出力部51IOには、外部機器として、表示装置52、操作装置53及び通信装置54が接続されている。入出力部51IOに接続される外部機器はこれらに限定されるものではない。
処理装置51は、作業機2の姿勢を用いて得られたバケット8の位置の情報と、距離検出装置20が求めた距離の情報から得られた作業対象WAの位置の情報とを用いて、バケット8と対向する作業対象WA上でバケット8に対応する第1位置の情報、及び第1位置から旋回体である上部旋回体3が旋回する方向に沿って延びる部分の位置の情報に基づいて生成される第1画像を、撮像装置19を基準として生成する。第1位置は、バケット8と対向する作業対象WA上でバケット8の一部に対応する位置であってもよい。処理装置51は、第1画像を、撮像装置19によって撮像された作業対象WAの画像68と合成して、表示装置52に表示させる。作業対象WAは、油圧ショベル1の作業機2が掘削又は地ならし等の作業をする対象となる面である。第1画像は、作業対象WA上においてバケット8の位置を示すための画像60に含まれる。以下において、画像68を適宜、第2画像68と称する。
表示装置52は、液晶ディスプレイ又はプロジェクタが例示されるがこれらに限定されるものではない。通信装置54は、アンテナ54Aを備えている。通信装置54は、油圧ショベル1に備えられた通信装置25と通信して、油圧ショベル1の情報を取得したり、油圧ショベル1に情報を送信したりする。
操作装置53は、オペレータの左側に設置される左操作レバー53Lと、オペレータの右側に配置される右操作レバー53Rと、を有する。左操作レバー53L及び右操作レバー53Rは、前後左右の操作が2軸の動作に対応されている。例えば、右操作レバー53Rの前後方向の操作は、油圧ショベル1が備える作業機2のブーム6の動作に対応している。右操作レバー53Rの左右方向の操作は、作業機2のバケット8の動作に対応している。左操作レバー53Lの前後方向の操作は、作業機2のアーム7の動作に対応している。左操作レバー53Lの左右方向の操作は、油圧ショベル1の上部旋回体3の旋回に対応している。
左操作レバー53L及び右操作レバー53Rの操作量は、例えば、ポテンショメータ及びホールIC等によって検出され、処理装置51は、これらの検出値に基づいて電磁制御弁を制御するための制御信号を生成する。この信号は、施設50の通信装置54及び油圧ショベル1の通信装置25を介して作業機制御装置27に送られる。作業機制御装置27は、制御信号に基づいて電磁制御弁を制御することによって作業機2を制御する。電磁制御弁については後述する。
処理装置51は、左操作レバー53L及び右操作レバー53Rの少なくとも一方に対する入力を取得し、作業機2及び上部旋回体3の少なくとも一方を動作させるための命令を生成する。処理装置51は、生成した命令を、通信装置54を介して油圧ショベル1の通信装置25に送信する。油圧ショベル1が備える作業機制御装置27は、通信装置25を介して処理装置51からの命令を取得し、命令にしたがって作業機2及び上部旋回体3の少なくとも一方を動作させる。
油圧ショベル1は、通信装置25と、作業機制御装置27と、姿勢検出装置32と、撮像装置19と、距離検出装置20と、アンテナ21,22と、位置演算装置23とを備える。作業機制御装置27は、作業機2を制御する。通信装置25は、アンテナ24に接続されており、施設50に備えられた通信装置54と通信する。作業機制御装置27は、作業機2及び上部旋回体3を制御する。姿勢検出装置32は、作業機2及び油圧ショベル1の少なくとも一方の姿勢を検出する。撮像装置19は、油圧ショベル1に取り付けられて、作業対象WAを撮像する。距離検出装置20は、油圧ショベル1の所定の位置から作業対象WAまでの距離の情報を求める。アンテナ21,22は、測位衛星200からの電波を受信する。位置演算装置23は、アンテナ21,22が受信した電波を用いて、アンテナ21,22のグローバル位置、すなわちグローバル座標系における位置を求める。
<油圧ショベル1の全体構成>
油圧ショベル1は、本体部としての車両本体1Bと作業機2とを有する。車両本体1Bは、上部旋回体3と走行体である走行装置5とを有する。上部旋回体3は、運転室4を有する。走行装置5は、上部旋回体3を搭載する。走行装置5は履帯を有している。走行装置5は、履帯が回転することにより、油圧ショベル1を走行させる。作業機2は、上部旋回体3の運転室4の側方側に取り付けられている。
上部旋回体3は、作業機2及び運転室4が配置されている側が前であり、カウンタウェイト9が配置されている側が後である。前に向かって左側が上部旋回体3の左であり、前に向かって右側が上部旋回体3の右である。油圧ショベル1又は車両本体1Bは、上部旋回体3を基準として走行装置5側が下であり、走行装置5を基準として上部旋回体3側が上である。油圧ショベル1が水平面に設置されている場合、下は鉛直方向、すなわち重力の作用方向側であり、上は鉛直方向とは反対側である。
作業機2は、ブーム6とアーム7と作業具であるバケット8とブームシリンダ10とアームシリンダ11とバケットシリンダ12とを有する。バケット8は、複数の刃8Bを有する。刃先8Tは、刃8Bの先端である。バケット8は、複数の刃8Bを有するものには限定されない。バケット8は、チルトバケットであってもよい。この他にも、作業機2は、バケット8の代わりに、法面バケット又は削岩用のチップを備えた削岩用のアタッチメント等を作業具として備えていてもよい。
ブームシリンダ10とアームシリンダ11とバケットシリンダ12とは、それぞれ油圧ポンプから吐出される作動油の圧力によって駆動される油圧シリンダである。ブームシリンダ10はブーム6を駆動する。アームシリンダ11は、アーム7を駆動する。バケットシリンダ12は、バケット8を駆動する。
上部旋回体3の上部には、アンテナ21,22及びアンテナ24が取り付けられている。アンテナ21,22は、油圧ショベル1の位置を検出するために用いられる。アンテナ21,22は、位置演算装置23と電気的に接続されている。
アンテナ21,22は、GNSS(Kinematic-Global Navigation Satellite Systems,GNSSは全地球航法衛星システムをいう)用のアンテナである。アンテナ21,22は、上部旋回体3の幅方向と平行な方向に沿って、一定距離だけ離れて配置されている。アンテナ21,22は、測位衛星200からGNSS電波を受信し、受信したGNSS電波に応じた信号を出力する。アンテナ21,22は、GPS(Global Positioning System)用のアンテナであってもよい。以下の説明において、アンテナ21,22を、適宜GNSSアンテナ21,22と称する。位置演算装置23は、例えばGNSSを利用して油圧ショベル1の位置を検出する。
撮像装置19は、図1に示される作業対象WAを撮像し、距離検出装置20は、自身(油圧ショベル1の所定の位置)から作業対象WAまでの距離を求めるので、できる限り広い作業対象WAからの情報を取得することが好ましい。このため、実施形態において、アンテナ24、撮像装置19及び距離検出装置20は、上部旋回体3の運転室4の上方に設置される。撮像装置19及び距離検出装置20が設置される場所は運転室4の上方に限定されるものではない。例えば、撮像装置19及び距離検出装置20は、運転室4の内部かつ上方に設置されてもよい。
撮像装置19は、入射面19Lが上部旋回体3の前方を向いている。距離検出装置20は、入射面20Lが上部旋回体3の前方を向いている。実施形態において、撮像装置19は、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサのようなイメージセンサを備えた単眼カメラである。実施形態において、距離検出装置20は、3次元レーザーレンジファインダ又は距離センサである。撮像装置19及び距離検出装置20はこれらに限定されるものではない。例えば、撮像装置19及び距離検出装置20の代わりに、作業対象WAの画像を取得する機能と、作業対象WAまでの距離を求める機能との両方を有する装置が用いられてもよい。このような装置としては、例えば、ステレオカメラが例示される。
<油圧ショベル1の制御系>
図2は、実施形態に係る作業機械である油圧ショベル1の制御系1Sを示す図である。制御系1Sは、通信装置25と、センサコントローラ26と、作業機制御装置27と、撮像装置19と、距離検出装置20と、位置演算装置23と、姿勢検出装置32と、IMU(Inertial Measurement Unit:慣性計測装置)33と、油圧システム36と、を備える。通信装置25と、センサコントローラ26と、作業機制御装置27とは、信号線35によって接続されている。このような構造により、通信装置25と、センサコントローラ26と、作業機制御装置27とは、信号線35を介して相互に情報をやり取りすることができる。制御系1S内で情報を伝達する信号線は、CAN(Controller Area Network)のような車内信号線が例示される。
センサコントローラ26は、CPU等のプロセッサと、RAM及びROM等の記憶装置とを有する。センサコントローラ26には、位置演算装置23の検出値、撮像装置19によって撮像された画像の情報、距離検出装置20の検出値、姿勢検出装置32の検出値及びIMU33の検出値が入力される。センサコントローラ26は、入力された検出値及び画像の情報を、信号線35及び通信装置25を介して、図1に示される施設50の処理装置51に送信する。
作業機制御装置27は、CPU等のプロセッサと、RAM及びROM等の記憶装置とを有する。作業機制御装置27は、施設50の処理装置51によって生成された、作業機2及び上部旋回体3の少なくとも一方を動作させるための命令を、通信装置25を介して取得する。作業機制御装置27は、取得した命令に基づいて、油圧システム36の電磁制御弁28を制御する。
油圧システム36は、電磁制御弁28と、油圧ポンプ29と、ブームシリンダ10、アームシリンダ11、バケットシリンダ12及び旋回モータ30等の油圧アクチュエータとを備える。油圧ポンプ29は、エンジン31によって駆動されて、油圧アクチュエータを動作させるための作動油を吐出する。作業機制御装置27は、電磁制御弁28を制御することにより、ブームシリンダ10、アームシリンダ11、バケットシリンダ12及び旋回モータ30に供給される作動油の流量を制御する。このようにして、作業機制御装置27は、ブームシリンダ10、アームシリンダ11、バケットシリンダ12及び旋回モータ30の動作を制御する。
センサコントローラ26は、第1ストロークセンサ16、第2ストロークセンサ17及び第3ストロークセンサ18の検出値を取得する。第1ストロークセンサ16はブームシリンダ10に、第2ストロークセンサ17はアームシリンダ11に、第3ストロークセンサ18はバケットシリンダ12に、それぞれ設けられる。
第1ストロークセンサ16は、ブームシリンダ10の長さであるブームシリンダ長を検出してセンサコントローラ26に出力する。第2ストロークセンサ17は、アームシリンダ11の長さであるアームシリンダ長を検出してセンサコントローラ26に出力する。第3ストロークセンサ18は、バケットシリンダ12の長さであるバケットシリンダ長を検出してセンサコントローラ26に出力する。
ブームシリンダ長、アームシリンダ長及びバケットシリンダ長が決定されれば、作業機2の姿勢が決定される。したがって、これらを検出する第1ストロークセンサ16、第2ストロークセンサ17及び第3ストロークセンサ18は、作業機2の姿勢を検出する姿勢検出装置32に相当する。姿勢検出装置32は、第1ストロークセンサ16、第2ストロークセンサ17及び第3ストロークセンサ18に限定されるものではなく、角度検出器であってもよい。
センサコントローラ26は、第1ストロークセンサ16が検出したブームシリンダ長から、油圧ショベル1の座標系である車体座標系における水平面と直交する方向に対するブーム6の傾斜角を算出する。センサコントローラ26は、第2ストロークセンサ17が検出したアームシリンダ長から、ブーム6に対するアーム7の傾斜角を算出する。センサコントローラ26は、第3ストロークセンサ18が検出したバケットシリンダ長から、アーム7に対するバケット8の傾斜角を算出する。ブーム6、アーム7及びバケット8の傾斜角は、作業機2の姿勢を示す情報である。すなわち、センサコントローラ26は、作業機2の姿勢を示す情報を求める。センサコントローラ26は、算出した傾斜角を、信号線35及び通信装置25を介して、図1に示される施設50の処理装置51に送信する。
位置演算装置23は、CPU等のプロセッサと、RAM及びROM等の記憶装置とを有する。位置演算装置23は、油圧ショベル1の位置を求める。詳細には、位置演算装置23は、アンテナ21,22から取得した信号を用いて、グローバル座標系におけるアンテナ21,22の位置及び上部旋回体3の方位を検出して、出力する。上部旋回体3の方位は、グローバル座標系における上部旋回体3の向きを表す。上部旋回体3の向きは、例えば、グローバル座標系の鉛直軸周りにおける上部旋回体3の前後方向の向きで表すことができる。方位角は、上部旋回体3の前後方向における基準軸の、グローバル座標系の鉛直軸周りにおける回転角である。方位角によって上部旋回体3の方位が表される。
IMU33は、油圧ショベル1の動作及び姿勢を検出する。油圧ショベル1の動作は、上部旋回体3の動作及び走行装置5の動作の少なくとも一方を含む。油圧ショベル1の姿勢は、油圧ショベル1のロール角、ピッチ角及びヨー角によって表される。実施形態において、IMU33は、油圧ショベル1の角度又は角速度、及び加速度を検出して出力する。IMU33によって検出される油圧ショベル1の角度は、油圧ショベル1のロール角、ピッチ角及びヨー角である。
<座標系について>
図3は、実施形態に係る画像表示システム100及び遠隔操作システム101の座標系を説明するための図である。図4は、油圧ショベル1の背面図である。図5は、撮像装置19及び距離検出装置20の座標系を説明する図である。
画像表示システム100及び遠隔操作システム101においては、グローバル座標系と、車体座標系と、撮像装置19の座標系と、距離検出装置20の座標系とが存在する。グローバル座標系(Xg,Yg,Zg)は、地球に固定された原点PGを基準とした3次元の座標系である。実施形態において、グローバル座標系は、例えば、GNSS又はGPSにおける座標系である。
車体座標系とは、油圧ショベル1を基準とした、(Xm,Ym,Zm)で示される3次元の座標系である。実施形態において、車体座標系の原点位置PLは、上部旋回体3の回転中心軸であるZm軸と、上部旋回体3のスイングサークル内においてZm軸と直交する平面との交点であるがこれに限定されるものではない。Xm軸は、上部旋回体3の前後方向に延び、かつZm軸と直交する軸である。Xm軸は、上部旋回体3の前後方向における基準軸である。Ym軸は、Zm軸及びXm軸と直交する、上部旋回体3の幅方向に延びる軸である。スイングサークル内においてZm軸と直交する平面は、スイングサークルのZm軸方向における中心を通る平面とすることができる。
実施形態において、撮像装置19の座標系(以下においては適宜、撮像装置座標系と称する)は、図5に示されるように、撮像素子19RCの撮像面19Pの中心を原点PCとした、(Xc,Yc,Zc)で示される3次元の座標系である。撮像装置座標系(Xc,Yc,Zc)のXc軸は、撮像装置19の光学中心を通り、かつ撮像面19Pと直交する方向に延びる軸である。Yc軸は、Xc軸と直交する軸である。Zc軸は、Xc軸及びYc軸の両方と直交する軸である。
実施形態において、距離検出装置20の座標系は、図5に示されるように、距離検出素子20RCの検出面20Pの中心を原点PDとした、(Xd,Yd,Zd)で示される3次元座標系である。
<油圧ショベル1の姿勢>
図4に示されるように、上部旋回体3の左右方向、すなわち幅方向に対する傾斜角θ4は油圧ショベル1のロール角であり、上部旋回体3の前後方向に対する傾斜角θ5は油圧ショベル1のピッチ角であり、鉛直軸周りにおける上部旋回体3の角度は油圧ショベル1のヨー角である。ロール角、ピッチ角及びヨー角は、IMU33によって検出された角速度を時間で積分することにより求められる。
IMU33が検出した加速度及び角速度は、動作情報としてセンサコントローラ26に出力される。センサコントローラ26は、IMU33から取得した動作情報にフィルタ処理及び積分といった処理を施して、ロール角である傾斜角θ4と、ピッチ角である傾斜角θ5と、ヨー角とを求める。センサコントローラ26は、求めた傾斜角θ4、傾斜角θ5及びヨー角を、油圧ショベル1の姿勢に関連する情報として、図2に示される信号線35及び通信装置25を介して、図1に示される施設50の処理装置51に送信する。
センサコントローラ26は、前述したように、作業機2の姿勢を示す情報を求める。作業機2の姿勢を示す情報は、具体的には、車体座標系における水平面と直交する方向(Zm軸方向)に対するブーム6の傾斜角θ1、ブーム6に対するアーム7の傾斜角θ2及びアーム7に対するバケット8の傾斜角θ3である。図1に示される施設50の処理装置51は、油圧ショベル1のセンサコントローラ26から取得した作業機2の姿勢を示す情報、すなわち傾斜角θ1,θ2,θ3からバケット8の刃先8Tの位置(以下においては適宜、刃先位置と称する)P4を算出する。
処理装置51の記憶部51Mは、作業機2のデータ(以下においては適宜、作業機データと称する)を記憶している。作業機データは、ブーム6の長さL1、アーム7の長さL2及びバケット8の長さL3を含む。図3に示されるように、ブーム6の長さL1は、ブームピン13からアームピン14までの長さに相当する。アーム7の長さL2は、アームピン14からバケットピン15までの長さに相当する。バケット8の長さL3は、バケットピン15からバケット8の刃先8Tまでの長さに相当する。刃先8Tは、図1に示される刃8Bの先端である。作業機データは、車体座標系の原点位置PLに対するブームピン13までの位置の情報を含む。処理装置51は、長さL1,L2,L3,傾斜角θ1,θ2,θ3及び原点位置PLを用いて、原点位置PLに対する刃先位置P4を求めることができる。実施形態において、施設50の処理装置51が刃先位置P4を求めたが、油圧ショベル1のセンサコントローラ26が刃先位置P4を求めて施設50の処理装置51に送信してもよい。刃先位置P4は、作業機2の一部であるバケット8の刃先8Tの位置なので、作業機2の位置である。前者の場合、姿勢検出装置32、センサコントローラ26及び処理装置51が、作業機の位置を検出する位置検出部に相当する。後者の場合、姿勢検出装置32及びセンサコントローラ26が、作業機の位置を検出する位置検出部に相当する。
位置検出部は、前述した姿勢検出装置32、センサコントローラ26及び処理装置51,又は姿勢検出装置32及びセンサコントローラ26に限定されない。例えば、ステレオカメラ又はレーザスキャナ等の距離計測装置で作業機の位置を検出してもよい。この場合、距離計測装置が、作業機の位置を検出する位置検出部に相当する。
<画像表示システム100及び遠隔操作システム101が実行する制御例>
図6は、実施形態に係る画像表示システム100及び遠隔操作システム101が実行する制御例のフローチャートである。図7は、撮像装置19及び距離検出装置20と作業対象WAとを示す図である。
ステップS101において、図2に示されるセンサコントローラ26は、油圧ショベル1の情報を取得する。油圧ショベル1の情報は、撮像装置19、距離検出装置20、位置演算装置23、姿勢検出装置32及びIMU33から得られる情報である。撮像装置19は、図7に示されるように、撮像範囲TA内で作業対象WAを撮像し、作業対象WAの画像を得る。距離検出装置20は、検出範囲MA内に存在する作業対象WA及びその他の物体までの、距離検出装置20からの距離Ldを検出する。位置演算装置23は、グローバル座標系におけるGNSSアンテナ21,22の位置P1,P2に対応する基準位置情報Pga1,Pga2を求める。姿勢検出装置32は、ブームシリンダ長、アームシリンダ長及びバケットシリンダ長を検出する。IMU33は、油圧ショベル1の姿勢、より詳細には、上部旋回体3のロール角θ4、ピッチ角θ5及びヨー角を検出する。
ステップS102において、画像表示システム100及び遠隔操作システム101の処理装置51は、油圧ショベル1の通信装置25及び処理装置51に接続された通信装置54を介して、油圧ショベル1のセンサコントローラ26から油圧ショベル1の情報を取得する。
処理装置51がセンサコントローラ26から取得する油圧ショベル1の情報は、撮像装置19によって撮像された作業対象WAの画像と、距離検出装置20によって検出された、距離検出装置20から作業対象WAまでの距離の情報と、姿勢検出装置32によって検出された油圧ショベル1が備える作業機2の姿勢の情報と、基準位置情報Pga1,Pga2と、油圧ショベル1の姿勢の情報と、を含む。
距離検出装置20から作業対象WAまでの距離の情報は、検出範囲MA内に存在する作業対象WA又は物体OBまでの距離Ldと、距離Ldに対応する位置Pdの方位の情報とを含む。図7に示される例では、作業対象WAまでの距離として距離Ldが示される。位置Pdの方位の情報は、距離検出装置20を基準としたときの位置Pdの方位であり、距離検出装置20の座標系の各軸Xd、Yd、Zdに対する角度である。処理装置51が取得する作業機2の姿勢の情報は、ブームシリンダ長、アームシリンダ長及びバケットシリンダ長を用いてセンサコントローラ26が求めた、作業機2の傾斜角θ1、θ2、θ3である。油圧ショベル1の姿勢の情報は、油圧ショベル1、より具体的には上部旋回体3のロール角θ4、ピッチ角θ5及びヨー角である。
処理装置51は、センサコントローラ26から取得した作業機2の傾斜角θ1、θ2、θ3と、記憶部51Mに記憶されているブーム6の長さL1、アーム7の長さL2及びバケット8の長さL3とを用いて、バケット8の刃先位置P4を求める。バケット8の刃先位置P4は、油圧ショベル1の車体座標系(Xm,Ym,Zm)における座標の集合である。
ステップS103において、処理装置51は、作業対象WAまでの距離の情報を用いて、作業対象WAまでの距離Ldを位置の情報に変換する。位置の情報は、距離検出装置20の座標系(Xd,Yd,Zd)における位置Pdの座標である。ステップS103においては、検出範囲MA内で距離検出装置20によって検出されたすべての距離Ldが、位置の情報に変換される。処理装置51は、距離Ldと、距離Ldに対応する位置Pdの方位の情報とを用いて、距離Ldを位置の情報に変換する。ステップS103においては、検出範囲MA内に存在する物体OBまでの距離も、作業対象WAの距離Ldと同様に、位置の情報に変換される。ステップS103の処理によって、検出範囲MA内における作業対象WAの位置の情報が得られる。作業対象WAの位置の情報から、作業対象WAの形状の情報を得ることができる。
作業対象WAの位置の情報及び形状の情報は、距離検出装置20の座標系(Xd,Yd,Zd)における位置Pdの座標の集合である。処理装置51は、作業対象WAの形状の情報を撮像装置座標系(Xc,Yc,Zc)の値に変換した後、車体座標系(Xm,Ym,Zm)の値に変換する。次に、ステップS104において、処理装置51は、占有領域SAを求める。
図8は、占有領域SAを説明する図である。占有領域SAは、作業対象WAの形状の情報内において、作業機2が占める領域である。図8に示される例では、作業機2のバケット8が距離検出装置20の検出範囲MA内、かつ距離検出装置20と作業対象WAとの間に入っている。このため、占有領域SAの部分は、距離検出装置20によって、作業対象WAまでの距離ではなくバケット8までの距離が検出される。ステップS105において、処理装置51は、ステップS103で得られた作業対象WAの形状の情報から、占有領域SAの部分を除去する。
占有領域SAの部分を除去するにあたって、処理装置51は、バケット8の位置及び姿勢の少なくとも一方に応じて距離検出装置20が検出する位置及び姿勢の少なくとも一方の情報を、例えば記憶部51Mに記憶させておく。このような情報は、本実施形態において油圧ショベル1の作業機2の姿勢に含まれる。作業機2の姿勢は、作業機2の傾斜角θ1、θ2、θ3、ブーム6の長さL1、アーム7の長さL2及びバケット8の長さL3を用い、必要に応じて油圧ショベル1の姿勢を用いて求めることができる。そして、処理装置51は、距離検出装置20によって検出された情報と記憶部51Mに記憶されている情報とを比較し、両者がマッチングしたなら、バケット8が検出されたものとすることができる。両者がマッチングした部分が占有領域SAに対応するので、処理装置51は、作業対象WAの形状の情報から、占有領域SAの部分を除去する。
作業機2の姿勢を用いて占有領域SAを除去する処理により、処理装置51は、図1に示される、作業対象WAの位置を表す指標となる基準画像65を生成する際に、占有領域SAのバケット8の情報を使わないので、基準画像65を正確に生成できる。
作業機2の姿勢を用いて占有領域SAの部分を除去する処理は、次のような方法によって行われてもよい。作業機2の姿勢に含まれる、バケット8の車体座標系における位置及び姿勢の少なくとも一方に関する情報は、作業機2の傾斜角θ1、θ2、θ3、ブーム6の長さL1、アーム7の長さL2及びバケット8の長さL3から求められる。ステップS103で、車体座標系における作業対象WAの形状の情報が得られている。ステップS105において、処理装置51は、バケット8の位置を作業対象WAの形状の情報に投影した領域を占有領域SAとして、作業対象WAの形状から除去する。
図9は、占有領域を除去した作業対象WAの形状の情報を示す図である。作業対象WAの形状の情報IMWAは、車体座標系(Xm,Ym,Zm)における座標Pmd(Xmd、Ymd、Zmd)の集合である。占有領域SAは、ステップS105の処理により、座標の情報が存在しない。次に、ステップS106に進み、処理装置51は第1画像を生成する。第1画像は、作業対象WA上において、バケット8に対応する部分又はバケット8の一部に対応する部分を含み、かつ油圧ショベル1の上部旋回体3が旋回する方向に沿って延びる画像である。
<第1画像>
図10は、第1画像IMCの一例を示す図である。図11及び図12は、処理装置51が第1画像IMCを生成する処理を説明するための図である。実施形態において、図10に示される第1画像IMCは、作業対象WA上でのバケット8の刃先8Tの位置を示すとともに、作業機2が現在の姿勢を維持したまま上部旋回体3が旋回した場合の作業対象WAの表面における刃先8Tの位置を示す。次に、処理装置51が第1画像IMCを生成する処理を説明する。
第1画像IMCは、図10及び図12に示されるように、上部旋回体3の旋回中心軸である車体座標系のZm軸から見て、Zm軸とバケット8との距離Rbtを半径とし、かつZm軸に対応する位置を中心とする円弧の画像である。実施形態において、距離Rbtを求める際に用いられるバケット8の位置は、図12に示されるように、バケット8の幅方向Wbの中央に存在するバケット8の刃先8Tの位置である。距離Rbtを求める際に用いられるバケット8の位置は、バケット8の幅方向Wbの中央における刃先8Tには限定されない。距離Rbtは、車体座標系のXm−Ym平面と平行な方向に沿った、車体座標系のZm軸と、バケット8の幅方向Wbの中央における刃先8Tの位置Pbt(Xmbt,Ymbt,Zmbt)との距離である。位置Pbt(Xmbt,Ymbt,Zmbt)は、車体座標系における位置である。
図12の線LCは、バケット8の幅方向Wbの中央を示す。バケット8の幅方向Wbは、バケット8とアーム7とを連結するバケットピン15が延びる方向と平行な方向であり、車体座標系のYm軸と平行な方向である。距離Rbtは、車体座標系において、Xm軸と平行な方向に沿った、Zm軸とバケット8の刃先8Tとの距離である。
第1画像IMCが示す位置は、作業対象WAの表面WASの位置である。処理装置51は、車体座標系のZm軸を中心とした距離Rbtを半径とする円弧を、軸作業対象WAの表面WASへ車体座標系のZm軸と平行な方向に投影した部分(以下においては適宜、交差部分と称する)の位置Pt(Xmt,Ymt,Zmt)を求める。交差部分の画像が第1画像IMCとなる。
交差部分の位置Pt(Xmt,Ymt,Zmt)は、例えば、車体座標系のZm軸を中心とした距離Rbtを半径とする曲面と、作業対象WAの表面WASとが交差する部分の位置となる。バケット8の幅方向Wbの中央に存在するバケット8の刃先8Tを通り、かつ車体座標系のZm軸と平行な方向に延びる直線VLが作業対象WAの表面WASと交差する部分は、交差部分の一部の位置である。処理装置51は、交差部分の位置Pt(Xmt,Ymt,Zmt)の情報を用いて、第1画像IMCを生成する。第1画像IMCは、交差部分の位置Pt(Xmt,Ymt,Zmt)の情報に対応している。
交差部分の位置Pt(Xmt,Ymt,Zmt)の中の第1位置Ptcは、バケット8と対向する作業対象WAの表面WASでバケット8の位置、実施形態においてはバケット8の幅方向Wbの中央に存在するバケット8の刃先8Tの位置に対応する。第1位置Ptcは、幅方向Wb中央における刃先8Tの位置には限定されず、例えば幅方向Wpの一端部における位置であってもよい。
第1位置Ptcから上部旋回体3の旋回方向Rtdに沿って延びる部分の位置は、交差部分の位置Pt(Xmt,Ymt,Zmt)のうち、第1位置Ptcから旋回方向Rtdに沿って延びる部分の位置である。第1画像IMCは、第1位置Ptcの情報、及び第1位置Ptcから旋回方向Rtdに沿って延びる部分の位置の情報に対応する。すなわち、第1画像IMCは、第1位置Ptcの情報、及び第1位置Ptcから旋回方向Rtdに沿って延びる部分の位置の情報に基づいて生成される。
実施形態において、処理装置51は、直線LV1の画像である第1直線画像62、及び直線LV2の画像である第2直線画像63も図1に示される表示装置52に表示させる。直線LV1は、バケット8の幅方向Wbの一方の端部8Wt1側における刃8Bの外側の位置Pb1から、車体座標系のZm軸と平行な方向に沿って作業対象WAの表面WASまで延ばした直線である。直線LV2は、バケット8の幅方向Wbの他方の端部8Wt2側における刃8Bの外側の位置Pb2から、車体座標系のZm軸と平行な方向に沿って作業対象WAの表面WASまで延ばした直線である。直線LV1と作業対象WAの表面WASとが交差する部分の位置をPt1、直線LV2と作業対象WAの表面WASとが交差する部分の位置をPt2とする。車体座標系におけるバケット8の各部の位置及び車体座標系における作業対象WAの表面WASの位置が分かっているので、処理装置51は、これらの位置から位置Pb1,Pb2,Pt1,Pt2を求めることができる。位置Pb1,Pb2,Pt1,Pt2が得られれば、直線LV1及び直線LV2も得られるので、処理装置51は、第1直線画像62及び第2直線画像63を生成することができる。
第1画像IMC、第1直線画像62及び第2直線画像63が得られたら、処理装置51は、これらを撮像装置19の視点の画像に変換する。撮像装置19の視点の画像は、撮像装置19を基準とした画像である。次に、第1画像IMC、第1直線画像62及び第2直線画像63を撮像装置19の視点の画像に変換するための処理について説明する。
図13は、撮像装置19の原点PCと、第1画像IMC、第1直線画像62及び第2直線画像63との位置関係を示す図である。撮像装置19の視点の画像は、車体座標系(Xm,Ym,Zm)における撮像装置の原点PCから第1画像IMC、第1直線画像62及び第2直線画像63を見たときの画像である。
第1画像IMC、第1直線画像62及び第2直線画像63は、3次元空間内の画像であるが、撮像装置19の視点の画像は2次元の画像である。したがって、処理装置51は、3次元空間、すなわち車体座標系(Xm,Ym,Zm)内に定義された第1画像IMC、第1直線画像62及び第2直線画像63を、2次元面上に投影する透視投影変換を実行する。撮像装置19の視点の画像に変換された第1画像IMC、第1直線画像62及び第2直線画像63を、以下においては適宜、案内画像60と称する。
図14は、図1に示された基準画像65と第1画像IMCとを示す図である。案内画像60が生成されたら、ステップS107に進み、処理装置51は、基準画像65を生成する。基準画像65は、作業対象WAの表面WASに沿った線画像である。処理装置51は、作業対象WAの位置の情報、詳細には作業対象WAの表面WASにおける位置の情報を用いて、基準画像65を生成する。
基準画像65は、上部旋回体3の旋回中心軸であるZm軸に対応する位置から放射状に延びた複数の第1の線画像RLと、Zm軸を中心として上部旋回体3の旋回方向Rtdに沿って延びる複数の第2の線画像CLとを備える。実施形態において、複数の第1の線画像RLは、車体座標系(Xm,Ym,Zm)のZm軸方向から見て、Zm軸から放射状に延び、かつZm軸を中心とした円の周方向に沿って配置される線画像である。複数の第2の線画像CLは、車体座標系(Xm,Ym,Zm)のZm軸方向から見て、Zm軸を中心とした円の周方向に沿って延びる円弧又は円の画像であり、Zm軸を中心とした円の径方向に沿って配置される。
第1の線画像RL及び第2の線画像CLは、車体座標系(Xm,Ym,Zm)で定義されるので、3次元の情報を含んでいる。実施形態において、複数の第1の線画像RLは、Zmを中心とした円の周方向に沿って、角度α毎に等間隔に配置される。複数の第2の線画像CLは、Zmを中心とした円の径方向に沿って、距離ΔR毎に等間隔に配置される。
処理装置51は、第1の線画像RL及び第2の線画像CLを生成したら、これらを撮像装置19の視点の画像に変換して、基準画像65を生成する。第1の線画像RL及び第2の線画像CLが撮像装置19の視点の画像に変換されることで、表示装置52は、基準画像65を作業対象WAの形状に合わせて変形させて表示させることができる。
次に、ステップS108において、処理装置51は、生成された案内画像60及び基準画像65から、前述した占有領域SAを除去する。案内画像60及び基準画像65は、作業対象WAの形状の情報から生成されるので、案内画像60及び基準画像65から占有領域SAを除去することは、占有領域SAを作業対象WAの形状の情報から除去することを意味する。処理装置51は、占有領域SAを除去した作業対象WAの形状の情報を用いて、案内画像60及び基準画像65を生成してもよい。
ステップS108において、処理装置51は、占有領域SAを撮像装置19の視点の画像に変換して、案内画像60及び基準画像65から除去する。処理装置51は、撮像装置19の視点の画像に変換される前の第1画像IMC、第1直線画像62及び第2直線画像63と、撮像装置19の視点の画像に変換される前の第1の線画像RL及び第2の線画像CLとから、それぞれ撮像装置19の視点の画像に変換される前の占有領域SAを除去してもよい。
図15は、作業用の画像69を示す図である。ステップS109において、処理装置51は、占有領域SAが除去された案内画像60と、基準画像65と、撮像装置19によって撮像された作業対象WAの第2画像68とを合成して、作業用の画像69を生成する。ステップS110において、処理装置51は、生成された作業用の画像69を表示装置52に表示させる。作業用の画像69は、作業対象WAの画像68と、基準画像65と、案内画像60とが合成された画像である。
基準画像65は、上部旋回体3の旋回中心軸を中心とした円の周方向及び径方向に沿って、作業対象WAの表面WASに延びる複数の線画像なので、油圧ショベル1のオペレータは、基準画像65を参照することにより、作業対象WAの位置を把握することができる。例えば、オペレータは、第2の線画像CLにより奥行き、すなわち油圧ショベル1が備える上部旋回体3の前後方向の位置を把握でき、第1の線画像RLにより上部旋回体3の旋回方向Rtdにおける位置を把握できる。
距離Rbtは、バケット8とZm軸との距離に応じて変化するので、第1画像IMCもバケット8とZm軸との距離に応じて、油圧ショベル1から遠ざかったり油圧ショベル1に近づいたりする。第1画像IMCは、バケット8の現在の位置に応じて移動するので、オペレータは、第1画像IMCを参照しながら作業機2を操作することで、作業対象WAとバケット8との位置を把握できる。その結果、作業効率の低下が抑制される。また、作業の精度の低下が抑制される。
オペレータは、第1画像IMCと第2の線画像CLとを参照することで、現在の作業機2の姿勢のまま上部旋回体3が旋回した場合に、掘削対象の位置がバケット8よりも遠い側にあるのか又は近い側にあるのかを容易に把握できる。その結果、作業効率の低下が抑制される。また、作業の精度の低下が抑制される。
第1直線画像62及び第2直線画像63は、作業対象WAの表面WASにおけるバケット8の刃先8Tの位置を示す。すなわち、作業対象WAの表面WASにおいて第1直線画像62と第2直線画像63とで挟まれる部分がバケット8の刃先8Tの位置になる。このため、オペレータは、第1直線画像62及び第2直線画像63により、バケット8と作業対象WAとの位置関係をより容易に把握できる。その結果、作業効率の低下が抑制される。また、作業の精度の低下が抑制される。
基準画像65及び第1画像IMCは、作業対象WA、例えば油圧ショベル1が作業する対象の地形の形状に沿って表示されるため、表示装置52に2次元で表示された地形面上において、基準画像65と第1画像IMCとの相対位置関係が容易に把握できる。さらに、基準画像65を構成する、第1の線画像RL及び第2の線画像CLは、車体座標系において等間隔に配置されているため、オペレータは地形面上での距離感をつかみやすく、遠近感の把握が容易になる。
実施形態において、作業用の画像69は、バケット8の刃先8Tと作業対象WAとの距離を示す情報64を含んでもよい。情報64により、オペレータは、バケット8の刃先8Tと作業対象WAとの実際の距離を把握できるという利点がある。バケット8の刃先8Tと作業対象WAとの距離は、バケット8の幅方向Wbの中央における刃先8Tから作業対象WAの表面WASまでの距離とすることができる。
情報64は、作業具又は作業対象WAに関する空間位置情報であればよい。空間位置情報は、バケット8の刃先8Tと作業対象WAとの距離に代え、又はその距離に加えて、バケット8の角度といった姿勢に関する情報、バケット8と作業対象WAとの相対距離を示す情報、バケット8の例えば刃先8Tの向きと作業対象WAの面の向きとの関係を示す情報、バケット8の位置を座標で示した情報、作業対象WAの面の向きを示す情報及び撮像装置19からバケット8の刃先8Tまでの車体座標系におけるXm方向の距離を示す情報といった情報を含む。
すなわち、処理装置51は、作業具であるバケット8の位置、バケット8の姿勢、作業対象WAの位置、作業対象WAの相対的な姿勢、バケット8と作業対象WAとの相対的な距離、バケット8と作業対象WAとの相対的な姿勢の少なくとも1つを求めて、表示装置52に表示させてもよい。
<変形例に係る基準画像>
図16は、変形例に係る基準画像65aを示す図である。基準画像65aは、車体座標系を極座標系とした基準画像65とは異なり、車体座標系(Xm,Ym,Zm)におけるZm軸の方向から見て、複数の第1の直線画像66と、これらに直交する複数の第2の直線画像67とで形成される格子の画像である。複数の第1の直線画像66は、車体座標系のXm軸に平行であり、複数の第2の直線画像67は、車体座標系のYm軸に平行である。複数の第1の直線画像66が配列される間隔は等しい。また複数の第2の直線画像67が配列される間隔は等しい。そして、複数の第1の直線画像66が配列される間隔と、複数の第2の直線画像67が配列される間隔とは等しい。
処理装置51は、占有領域SAが除去された案内画像60と、基準画像65aと、撮像装置19によって撮像された作業対象WAの第2画像68とを合成して、作業用の画像69を生成する。処理装置51がこのような格子画像を案内画像60とともに表示装置52に表示させることによっても、オペレータは、旋回時及び掘削時にバケット8の位置と作業対象WAとの位置関係を容易に把握することができる。
<第3画像>
図17は、第1画像IMC及び第3画像61の一例を示す図である。第3画像61は、位置Pt1と、位置Pt2とを結び、かつ作業対象WAの表面WASに沿った線画像である。位置Pt1は、第1直線画像62に対応する直線LV1と作業対象WAの表面WASとが交差する部分の位置である。位置Pt2は、第2直線画像63に対応する直線LV2と作業対象WAの表面WASとが交差する部分の位置である。処理装置51は、第1位置Pt1と第2位置Pt2とを結ぶ直線を作業対象WAの表面WASに投影したときの表面WASの位置の集合を第3画像61とする。バケット8の幅方向Wbにおける中央の位置の刃先8Tから延びる、車体座標系のZm軸と平行な直線が、作業対象WAの表面WASと交差する位置Ptは、第3画像61の一部である。また、位置Ptは、第1画像IMCの一部でもある。
処理装置51は、第1画像IMCに加えて第3画像61を表示装置52に表示させてもよい。第3画像61により、オペレータは、作業対象WAの表面WASにおけるバケット8の現在の位置を把握できる。その結果、オペレータは、バケット8と作業位置との位置関係を容易かつ確実に把握できる。処理装置51は、第1画像IMC及び第3画像61を表示装置52に表示させる場合、両者の表示形態を異ならせてもよい。表示形態を異ならせることには、例えば、第1画像IMCの色と第3画像61の色とを異ならせること、第1画像IMCの線の太さと第3画像61の線の太さとを異ならせること、第1画像IMCの線の種類と第3画像61の線の種類とを異ならせること、及びこれらの2以上を組み合わせることが含まれる。第1画像IMCと第3画像61との表示形態を異ならせることにより、オペレータは、第3画像61を第1画像IMCと区別しやすくなる。
<変形例に係る油圧ショベル1の制御系>
図18は、変形例に係る油圧ショベル1の制御系1Saを示す図である。前述した画像表示システム100及び遠隔操作システム101は、図1に示される施設50の操作装置53を用いて油圧ショベル1を遠隔操作した。本変形例は、図2に示される運転室4内に表示装置52aが設けられている。本変形例は、油圧ショベル1にオペレータの作業を補助させるために、作業用の画像69が表示装置52aに表示される。
制御系1Saは、前述した制御系1Sの信号線35に、処理装置51及び操作装置53aが接続されている。処理装置51には、表示装置52aが接続されている。制御系1Saが備える処理装置51は、前述した画像表示システム100及び遠隔操作システム101において図1に示される施設50に備えられる処理装置51と同様の機能を有している。処理装置51及び表示装置52aによって、変形例に係る画像表示システム100aが構成される。
変形例において、処理装置51が姿勢検出装置32及びセンサコントローラ26の検出値を用いて刃先位置P4を求めてもよいし、センサコントローラ26が姿勢検出装置32の検出値を用いて刃先位置P4を求めてもよい。前者の場合、位置検出装置32、センサコントローラ26及び処理装置51が、作業具の位置を検出する位置検出部に相当する。後者の場合、位置検出装置32及びセンサコントローラ26が、作業具の位置を検出する位置検出部に相当する。位置検出部は、前述した、ステレオカメラ又はレーザスキャナ等の距離計測装置であってもよい。
制御系1Saの表示装置52aは、運転席のフロントウィンドウFGに画像を投影するヘッドアップディスプレイである。表示装置52aは、ヘッドマウントディスプレイであってもよい。表示装置52aは、フロントウィンドウFG越しに見えるバケット8に合わせた位置に、作業用の画像69を表示する。この場合、作業対象WA及びバケット8はフロントウィンドウFG越しに見えるので、表示装置52aが表示する作業用の画像69は、少なくとも第1画像IMCを含んでいればよい。すなわち、表示装置52aがヘッドアップディスプレイ又はヘッドマウントディスプレイである場合、処理装置51は、第1画像IMCを表示装置52aに表示させる。変形例では、第1画像IMCに加えて、基準画像65も表示装置52aに表示される。
表示装置52aはヘッドアップディスプレイには限定されず、通常のディスプレイであってもよい。表示装置52aが通常のディスプレイである場合、処理装置51は、少なくとも第1画像IMCと撮像装置19によって撮像された第2画像68とが合成された作業用の画像69を、表示装置52aに表示させる。
操作装置53aは、油圧ショベル1を操作するための装置であり、左操作レバー53La及び右操作レバー53Raを備えている。操作装置53aは、パイロット油圧方式であってもよいし、電気方式であってもよい。
制御系1Saを備える油圧ショベル1は、画像表示システム100aによって、所定の位置、例えば運転席に着座したオペレータの視点に対応する位置から作業対象WAを見た場合に、第1画像IMCを少なくとも含む作業用の画像69が、フロントウィンドウFGに表示される。このような処理により、オペレータは、フロントウィンドウFGに画像に表示された第1画像IMCによって、バケット8と作業位置との位置関係を容易かつ確実に把握できる。その結果、画像表示システム100aは、作業効率の低下及び作業の精度の低下を抑制させることができる。バケット8が油圧ショベルの車両本体1Bから離れるほど、オペレータは遠近感を把握し難くなるため、このような場合において、画像表示システム100aは作業効率及び作業の精度の低下を抑制するができる。
また、経験の浅いオペレータも、画像表示システム100aを備える油圧ショベル1を用いることにより、バケット8の遠近感を把握しやすくなる。その結果、作業効率の低下が抑制される。また、作業の精度の低下が抑制される。さらに、夜間作業のように、オペレータが実際の作業対象WAを目視し難い状況であっても、オペレータは表示装置52aに表示された作業用の画像69を見ながら作業することができるので、作業効率及び作業の精度の低下が抑制される。
画像表示システム100,100a及び遠隔操作システム101は、撮像装置19の視点で生成された案内画像60及び基準画像65又は65aを、撮像装置19によって撮像された実際の作業対象WAの画像68と重ね合わせて、表示装置52に表示する。このような処理により、画像表示システム100及び遠隔操作システム101は、表示装置52に表示された作業対象WAの画像を用いて油圧ショベル1を遠隔操作するオペレータに、バケット8の位置と作業対象WAとの位置関係を把握させやすくすることができる。その結果、作業効率の低下が抑制される。また、作業の精度の低下が抑制される。
案内画像60に含まれる第1画像IMCは、上部旋回体3の旋回方向に沿って延びるので、オペレータは、案内画像60を参照することで、上部旋回体3が旋回した場合におけるバケット8と作業対象WAにおける作業地点との相対的な位置関係を容易に把握できる。その結果、画像表示システム100及び遠隔操作システム101は、旋回体を有する作業機械において、作業効率の低下を抑制させることができ、また作業の精度の低下を抑制させることができる。
経験の浅いオペレータも、画像表示システム100,100a及び遠隔操作システム101を用いることにより、バケット8の位置と作業対象WAにおける作業地点との位置関係を容易に把握できる。その結果、作業効率及び作業の精度の低下が抑制される。また、画像表示システム100及び遠隔操作システム101は、案内画像60と、基準画像65又は65aと、実際の作業対象WAの画像68とを重ね合わせて表示装置52に表示することにより、作業中にオペレータが注目する画面を単一として、作業効率の低下を抑制できる。
基準画像65又は65aは、隣接する第1の線画像RL同士の間隔が等しく、隣接する第2の線画像CL同士の間隔が等しい。このため、基準画像65又は65aと、撮像装置19によって撮像された実際の作業対象WAの画像68とを重ね合わせて表示することにより、作業対象WAでの作業地点を把握しやすくなる。また、案内画像60の第1画像IMCと基準画像65とを重ね合わせることにより、オペレータは、バケット8が移動した距離を把握することが容易になるので、作業効率の低下が抑制される。
案内画像60及び基準画像65又は65aは、作業機2の領域である占有領域SAが除去されるので、案内画像60及び基準画像65又は65aは、占有領域SAによる歪み及び作業機2に案内画像60及び基準画像65が重畳して表示されることを回避できる。その結果、画像表示システム100及び遠隔操作システム101は、オペレータにとって見やすい形態で作業用の画像69を表示装置52に表示できる。
実施形態及び変形例において、案内画像60は、少なくとも第1画像IMCを含んでいればよい。すなわち、案内画像60は、第1直線画像62及び第2直線画像63を含まなくてもよい。また、処理装置51は、バケット8の刃先8Tと作業対象WAとの距離に応じて、案内画像60のうち、例えば第1画像IMCの表示形態を変更してもよい。このようにすることで、オペレータは、バケット8の位置と作業対象WAとの距離を把握しやすくなる。
実施形態において、処理装置51は、少なくとも第1画像IMC及び第2画像68を表示装置52に表示させればよい。この場合でも、オペレータは、上部旋回体3の旋回方向Rtdに沿って延びる第1画像IMCを参照することで、上部旋回体3が旋回した場合におけるバケット8と作業対象WAにおける作業地点との相対的な位置関係を容易に把握できる。その結果、少なくとも第1画像IMC及び第2画像68が表示装置52に表示されることにより、旋回体を有する作業機械において、作業効率の低下が抑制され、また作業の精度の低下が抑制される。
実施形態において、処理装置51は、車体座標系(Xm,Ym,Zm)で作業用の画像69を生成したが、グローバル座標系(Xg、Yg、Zg)、撮像装置座標系(Xc,Yc,Zc)又は距離検出装置20の座標系(Xd、Yd、Zd)のいずれで作業用の画像69を生成してもよい。グローバル座標系(Xg、Yg、Zg)で作業用の画像69が生成される場合は、GNSSアンテナ21,22及び位置演算装置23が必要になる。車体座標系(Xm,Ym,Zm)、撮像装置座標系(Xc,Yc,Zc)及び距離検出装置20の座標系(Xd、Yd、Zd)で作業用の画像69が生成される場合は、GNSSアンテナ21,22及び位置演算装置23は不要である。
実施形態において、作業機2の領域である占有領域SAが案内画像60及び基準画像65から除去されなくてもよい。この場合でも、表示装置52に表示された第1画像IMC及び第2画像68によって、オペレータは、上部旋回体3が旋回した場合におけるバケット8と作業対象WAにおける作業地点との相対的な位置関係を容易に把握できる。このため、旋回体を有する作業機械において、作業効率の低下が抑制される。また、旋回体を有する作業機械において、作業の精度が抑制される。
前述の実施形態では、距離検出装置20により検出された油圧ショベル1の一部、例えば、前述のようにバケット8を除去し、作業対象WAの形状の情報(3次元地形データ)とした。しかし、過去、例えば数秒前に取得した3次元地形データを処理装置51の記憶部51Mに記憶しておき、処理装置51の処理部51Pが、現在の作業対象WAと、その記憶されている3次元地形データとが同じ位置であるのか判断し、同じ位置であるのであれば、過去の3次元地形データを用いて、基準画像65又は65aを表示させてもよい。つまり、処理装置51は、撮像装置19から見て、油圧ショベル1の一部によって隠れている地形があっても、過去の3次元地形データがあれば、基準画像65又は65aを表示させることができる。
<荷積み作業における画像表示の例>
実施形態及び変形例において、油圧ショベル1がダンプトラックのベッセルに岩石及び土砂等の積荷を積み込む荷積み作業において、画像表示システム100,100aによる画像表示の例を説明する。画像表示システム100,100aの処理装置51は、距離検出装置20によって検出された、荷積み作業の対象であるダンプトラックの位置を取得する。作業用の画像69に含まれる第1画像IMC及び基準画像65又は65aは、ダンプトラックの位置で立ち上がるので、オペレータは作業機2とダンプトラックの高さ及び位置との関係を把握できる。作業用の画像69にダンプトラックの位置を加えることで、オペレータは、上部旋回体3を旋回させて作業機2のバケット8をダンプトラックに接近させる場合に、バケット8がどの位置でダンプトラックに到達するかを把握できる。このため、作業機2とダンプトラックとの干渉が抑制される。
処理装置51は、距離検出装置20によって検出されたダンプトラックの位置を作業対象WAの一部として取り扱ってもよいし、図2に示される通信装置25を介して管理サーバ等からダンプトラックの位置を取得してもよい。後者の場合、処理装置51は、取得したダンプトラックの位置に、ダンプトラックのモデルの情報を当てはめて、ダンプトラックの位置としてもよい。
処理装置51は、ダンプトラックの高さと、作業機2の高さ、詳細にはバケット8の刃先8Tの高さとを比較し、比較結果に応じて第1画像IMCの表示形態を変更してもよい。このような処理により、オペレータは、作業機2の高さとダンプトラックの高さとの関係を把握できるので、作業機2とダンプトラックとの干渉が抑制される。第1画像の表示形態を変更する場合、処理装置51は、例えば、ダンプトラックの高さよりも作業機2の高さが低ければ第1画像IMCを赤色で表示し、ダンプトラックの高さと作業機2の高さとが同等であれば第1画像IMCを橙色で表示し、ダンプトラックの高さよりも作業機2の高さが高ければ第1画像IMCを緑色で表示することができる。
第1画像IMCとともに第3画像61と第1直線画像61及び第2直線画像62との少なくとも一方が表示される場合、処理装置51は、ダンプトラックの高さに応じて、第1画像IMCとともに第3画像61と第1直線画像61及び第2直線画像62との少なくとも一方の表示形態を変更してもよい。このような処理により、オペレータは、作業機2の高さとダンプトラックの高さとの関係を把握しやすくなる。
実施形態及び変形例において、作業機械は、作業機2を有する旋回体を備えていれば、作業機2の種類及び作業機械の種類は限定されない。
以上、実施形態及び変形例を説明したが、前述した内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、実施形態及び変形例の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも1つを行うことができる。
1 油圧ショベル
1B 車両本体
1S,1Sa 制御系
2 作業機
3 上部旋回体
8 バケット
8B 刃
8T 刃先
19 撮像装置
20 距離検出装置
23 位置演算装置
50 施設
51 処理装置
51IO 入出力部
51M 記憶部
51P 処理部
52,52a 表示装置
60 案内画像
61 第3画像
62 第1直線画像
63 第2直線画像
65,65a 基準画像
68 第2画像
69 作業用の画像
100,100a 作業機械の画像表示システム(画像表示システム)
101 作業機械の遠隔操作システム(遠隔操作システム)
CL 第2の線画像
RL 第1の線画像
FG フロントウィンドウ
IMC 第1画像
Rtd 旋回方向
WA 作業対象
WAS 表面
Wb 幅方向

Claims (8)

  1. 作業具を有する作業機及び前記作業機が取り付けられた旋回体を備えた作業機械に適用される作業機械の画像表示システムであり、
    前記作業機の位置を検出する位置検出部と、
    検出範囲内の作業対象の形状の情報を非接触で求める距離検出装置と、
    前記位置検出部によって得られた前記作業具の位置の情報と、前記距離検出装置が求めた前記作業対象の形状の情報とを用いて前記作業対象の地形の形状に沿った第1画像を生成して、表示装置に表示させる処理装置と、を含み、
    前記第1画像は、前記作業具と対向する前記作業対象の表面で前記作業具に対応する第1位置の情報、及び前記第1位置から前記旋回体が旋回する方向に沿って延びる部分の位置の情報に基づいて前記作業対象の地形の形状に沿って生成される、
    作業機械の画像表示システム。
  2. 前記作業対象の形状の情報は、3次元地形データである、
    請求項1に記載の作業機械の画像表示システム。
  3. 前記第1画像は、
    前記旋回体の旋回中心軸の方向から見て、前記旋回中心軸と前記作業具との距離を半径とし、かつ前記旋回中心軸に対応する位置を中心とする円弧の画像である、
    請求項1又は請求項2に記載の作業機械の画像表示システム。
  4. 前記処理装置は、
    前記作業具と前記作業対象とを結ぶ直線画像を生成し、前記表示装置に表示させる、
    請求項1から請求項3のいずれか1項に記載の作業機械の画像表示システム。
  5. 前記処理装置は、
    前記作業対象の位置の情報を用いて前記作業対象の表面に沿った線画像を生成して、前記作業対象の画像と合成して前記表示装置に表示させる、
    請求項1から請求項4のいずれか1項に記載の作業機械の画像表示システム。
  6. 前記旋回体に取り付けられる撮像装置を有し、
    前記処理装置は、
    前記第1画像と、前記撮像装置によって撮像された前記作業対象の画像である第2画像とを合成して、前記表示装置に表示させる、
    請求項1から請求項5のいずれか1項に記載の作業機械の画像表示システム。
  7. 前記撮像装置、前記位置検出部及び前記距離検出装置は前記作業機械に備えられ、
    前記処理装置及び前記表示装置は、前記作業機械を遠隔操作する操作装置を備えた施設に設けられる、
    請求項6に記載の作業機械の画像表示システム。
  8. 作業具を有する作業機、前記作業機が取り付けられた旋回体、前記作業機の位置を検出する位置検出部、距離検出装置及び撮像装置を備えた作業機械に適用される作業機械の画像表示システムであり、
    表示装置と、
    前記位置検出部によって得られた前記作業具の位置の情報と、前記距離検出装置が非接触で求めた検出範囲内の作業対象の形状の情報とを用いて前記作業対象の地形の形状に沿った第1画像を生成し、前記撮像装置によって撮像された前記作業対象の画像である第2画像と合成して、表示装置に表示させる処理装置と、を含み、
    前記第1画像は、前記作業具と対向する前記作業対象の表面で前記作業具に対応する第1位置の情報、及び前記第1位置から前記旋回体が旋回する方向に沿って延びる部分の位置の情報に基づいて生成される、
    作業機械の画像表示システム。
JP2020163375A 2016-09-02 2020-09-29 作業機械の画像表示システム Active JP6923144B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020163375A JP6923144B2 (ja) 2016-09-02 2020-09-29 作業機械の画像表示システム
JP2021117334A JP7128497B2 (ja) 2020-09-29 2021-07-15 作業機械の画像表示システム
JP2022128502A JP7333551B2 (ja) 2020-09-29 2022-08-10 作業機械の画像表示システム
JP2023127017A JP2023143985A (ja) 2020-09-29 2023-08-03 作業機械の画像表示システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016172229A JP6794193B2 (ja) 2016-09-02 2016-09-02 作業機械の画像表示システム
JP2020163375A JP6923144B2 (ja) 2016-09-02 2020-09-29 作業機械の画像表示システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016172229A Division JP6794193B2 (ja) 2016-09-02 2016-09-02 作業機械の画像表示システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021117334A Division JP7128497B2 (ja) 2020-09-29 2021-07-15 作業機械の画像表示システム

Publications (2)

Publication Number Publication Date
JP2021011814A JP2021011814A (ja) 2021-02-04
JP6923144B2 true JP6923144B2 (ja) 2021-08-18

Family

ID=74227229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020163375A Active JP6923144B2 (ja) 2016-09-02 2020-09-29 作業機械の画像表示システム

Country Status (1)

Country Link
JP (1) JP6923144B2 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008312004A (ja) * 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
WO2012053105A1 (ja) * 2010-10-22 2012-04-26 日立建機株式会社 作業機械の周辺監視装置
JP5426742B1 (ja) * 2012-10-05 2014-02-26 株式会社小松製作所 掘削機械の表示システム及び掘削機械
JP5789279B2 (ja) * 2013-04-10 2015-10-07 株式会社小松製作所 掘削機械の施工管理装置、油圧ショベルの施工管理装置、掘削機械及び施工管理システム
KR101871562B1 (ko) * 2014-05-15 2018-06-26 가부시키가이샤 고마쓰 세이사쿠쇼 굴삭 기계의 표시 시스템, 굴삭 기계 및 굴삭 기계의 표시 방법
JP6392097B2 (ja) * 2014-11-27 2018-09-19 住友建機株式会社 ショベルの支援装置及びショベルの支援方法
JP6096980B2 (ja) * 2015-12-18 2017-03-15 株式会社小松製作所 施工情報表示装置および施工情報の表示方法

Also Published As

Publication number Publication date
JP2021011814A (ja) 2021-02-04

Similar Documents

Publication Publication Date Title
JP6794193B2 (ja) 作業機械の画像表示システム
JP6777375B2 (ja) 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
WO2020241618A1 (ja) マップ生成システム及びマップ生成方法
WO2017061518A1 (ja) 施工管理システム、施工管理方法、及び管理装置
JP6832548B2 (ja) 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械及び作業機械の画像表示方法
JP6585697B2 (ja) 施工管理システム
JP7462710B2 (ja) 作業機械の画像表示システム及び作業機械の画像表示方法
JP7128497B2 (ja) 作業機械の画像表示システム
JP6923144B2 (ja) 作業機械の画像表示システム
JP7333551B2 (ja) 作業機械の画像表示システム
WO2020241640A1 (ja) 表示システムおよび表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200929

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20201012

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20201012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210715

R150 Certificate of patent or registration of utility model

Ref document number: 6923144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150