JP5941663B2 - 建設機械用モニタシステム - Google Patents

建設機械用モニタシステム Download PDF

Info

Publication number
JP5941663B2
JP5941663B2 JP2011262287A JP2011262287A JP5941663B2 JP 5941663 B2 JP5941663 B2 JP 5941663B2 JP 2011262287 A JP2011262287 A JP 2011262287A JP 2011262287 A JP2011262287 A JP 2011262287A JP 5941663 B2 JP5941663 B2 JP 5941663B2
Authority
JP
Japan
Prior art keywords
attachment
construction machine
bucket
display
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011262287A
Other languages
English (en)
Other versions
JP2013113044A (ja
Inventor
泉川 岳哉
岳哉 泉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo SHI Construction Machinery Co Ltd
Original Assignee
Sumitomo SHI Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo SHI Construction Machinery Co Ltd filed Critical Sumitomo SHI Construction Machinery Co Ltd
Priority to JP2011262287A priority Critical patent/JP5941663B2/ja
Publication of JP2013113044A publication Critical patent/JP2013113044A/ja
Application granted granted Critical
Publication of JP5941663B2 publication Critical patent/JP5941663B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、建設機械に搭載されるモニタシステムに関し、特に、建設機械に搭載されるカメラが撮像するその建設機械のアタッチメントの実写画像を含むカメラ画像を表示するモニタシステムに関する。
従来、油圧ショベルに搭載される掘削状況表示パネルが知られている(例えば、特許文献1参照。)。
この掘削状況表示パネルは、油圧ショベルのキャビン上部に取り付けられたカメラであり、掘削作業対象点近傍の状態を撮像するカメラの撮像画像を表示する表示モニタを備える。そのカメラの撮像画像には、X−Y座標を重畳表示するための画像処理が施され、さらに、油圧ショベルの要部平面形状(図形画像)が重畳表示される。また、掘削状況表示パネルは、油圧ショベル本体と掘削作業対象点との間の距離、及び、掘削作業領域を規定する掘削境界線と掘削作業対象点との間の距離を数値表示する掘削距離表示部を備える。なお、表示モニタと掘削距離表示部とは互いに隣接して配置されている。
上述の構成により、掘削状況表示パネルは、現在のバケット位置と所要の掘削可能範囲とをオペレータが読み取れるようにして掘削作業を効率的に実行させるようにする。
特開2008−121280号公報
しかしながら、特許文献1に記載の掘削状況表示パネルは、カメラ画像に油圧ショベルの要部平面形状(上面視のCG画像)を重畳表示させる。そのため、掘削状況表示パネルの表示は、キャビンのフロントウィンドウを通じてオペレータが実際に視認するショベル外部の状況とはかけ離れた表示となり、オペレータが表示内容を直感的に理解できないおそれがある。
上述の点に鑑み、本発明は、建設機械のアタッチメントの状態をオペレータがより直感的に理解できるようにする画像を提示する建設機械用モニタシステムを提供することを目的とする。
上述の目的を達成するために、本発明の実施例に係る建設機械用モニタシステムは、アタッチメントを備える建設機械に搭載され、アタッチメント画像を含む前方画像を取得する撮像装置と、前記アタッチメントの状態を検出するアタッチメント状態検出装置と、前記アタッチメント状態検出装置が検出した前記アタッチメントの状態に基づいてアタッチメント関連情報を生成するアタッチメント関連情報生成部と、前記前方画像上に前記アタッチメント関連情報を重畳させ、且つ、前記前方画像における前記アタッチメント画像の表示位置と前記アタッチメント関連情報の表示位置とを連動させて表示装置に表示する表示制御部と、を有する制御装置と、を備えることを特徴とする。
上述の手段により、本発明は、建設機械のアタッチメントの状態をオペレータがより直感的に理解できるようにする画像を提示する建設機械用モニタシステムを提供することができる。
本発明が適用されるショベルの構成例を示す概略側面図である。 図1のショベルにおけるキャビンの内部を示す概略図である。 図1のショベルに搭載されるモニタシステムの構成例を示す概略図である。 掘削角度の例を示す概略図である。 表示装置の画面に重畳表示されるアタッチメント関連情報の例を示す図(その1)である。 表示装置の画面に重畳表示されるアタッチメント関連情報の例を示す図(その2)である。 表示画像生成処理の流れを示すフローチャートである。
以下、図面を参照しつつ、本発明の実施例について説明する。
図1は、本発明が適用される建設機械としてのショベル50の構成例を示す概略側面図である。ショベル50の下部走行体1には、旋回機構2を介して上部旋回体3が搭載される。上部旋回体3には、ブーム4が取り付けられ、ブーム4の先端には、アーム5が取り付けられ、アーム5の先端には、バケット6が取り付けられる。ブーム4、アーム5、及びバケット6は、掘削アタッチメントを構成し、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。また、上部旋回体3には、キャビン10が設けられ、且つエンジン等の動力源が搭載される。さらに、上部旋回体3には、ショベル50の水平面に対する傾きを検出する傾き検出装置32が搭載される。掘削アタッチメントには、掘削アタッチメントの状態を検出するアタッチメント状態検出装置33が搭載される。
図2は、ショベル50におけるキャビン10の内部を示す概略図である。キャビン10の内部には、制御装置30、入力装置34、及び表示装置35が設置される。また、キャビン10の天井部には、ショベル50の前方を撮像する撮像装置31が搭載される。表示装置35は、例えば、キャビン10の右前方のピラーに取り付けられ、オペレータがキャビン10のフロントウィンドウ11を通して視認する外部の光景とほぼ同じ光景を映し出す。この取り付け位置により、オペレータは、視線を大きく動かすことなく、フロントウィンドウ11を通じて視認する外部の光景と、表示装置35に表示される光景とを見比べることができ、表示装置35に表示される光景を直感的に理解することができる。
図3は、ショベル50に搭載されるモニタシステム100の構成例を示す概略図である。モニタシステム100は、主に、制御装置30、撮像装置31、傾き検出装置32、アタッチメント状態検出装置33、入力装置34、及び表示装置35で構成される。
制御装置30は、モニタシステム100の動作を制御する装置であり、例えば、CPU、RAM、ROM等を備えるコンピュータである。具体的には、制御装置30は、アタッチメント関連情報生成部300、作業量推定部301、及び表示制御部302の各機能要素に対応するプログラムをROMから読み出してRAMにロードし、各機能要素に対応する処理をCPUに実行させる。
撮像装置31は、建設機械の前方を撮像する装置である。本実施例では、撮像装置31は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えたカメラである。具体的には、撮像装置31は、ショベル50の前方を撮像して掘削アタッチメントの画像(以下、「アタッチメント画像」とする。)を含む前方画像を取得し、取得した前方画像を制御装置30に対して出力する。
傾き検出装置32は、建設機械の傾きを検出する装置である。本実施例では、傾き検出装置32は、ショベル50の水平面に対する2軸方向(前後方向及び左右方向)の傾斜角を検出する傾斜センサであり、検出した傾斜角を制御装置30に対して出力する。
アタッチメント状態検出装置33は、建設機械のアタッチメントの状態を検出する装置である。アタッチメント状態検出装置33は、例えば、ショベル50の掘削アタッチメントの状態に関する情報を取得するためのセンサである。本実施例では、掘削アタッチメント状態検出装置33は、上部旋回体3に対するブーム4の傾きを検出するブーム角度センサ33a、ブーム4に対するアーム5の傾きを検出するアーム角度センサ33b、及び、アーム5に対するバケット6の傾きを検出するバケット角度センサ33cを含む。また、アタッチメント状態検出装置33は、取得した情報を制御装置30に対して出力する。これらの掘削アタッチメント状態検出装置33の出力により、制御装置30は、バケット6の先端位置、ショベル50が位置する平面(以下、「設置面」とする。)とバケット6の基準面とが形成する掘削角度等を導き出すことができる。なお、バケット6の基準面は、バケット6の構成要素が形成する面の何れかであり、例えば、バケット6の背面である。
図4は、掘削角度の例を示す概略図であり、図4(A)は、ショベル50に接近する方向に高くなる45度の角度の法面を形成する際の掘削角度を示し、図4(B)は、ショベル50から遠ざかる方向に高くなる30度の法面を形成する際の掘削角度を示す。ここでは、ショベル50に接近する方向に高くなる法面を形成する際の掘削角度を正値で示し、ショベル50から遠ざかる方向に高くなる法面を形成する際の掘削角度を負値で示す。
また、掘削アタッチメント状態検出装置33は、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9のそれぞれにおける作動油の圧力を検出する圧力センサを含み得る。
また、掘削アタッチメント状態検出装置33は、ブーム4、アーム5、バケット6のそれぞれに対応する操作レバー(図示せず。)の操作量を検出するレバー操作量センサを含み得る。
また、掘削アタッチメント状態検出装置33は、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9のそれぞれに作動油を供給する油圧ポンプ(図示せず。)の吐出圧を検出する吐出圧センサ、油圧ポンプの吐出流量を検出する流量センサ等を含み得る。
入力装置34は、制御装置30に対して各種情報を入力する装置である。具体的には、キャビン10内に配置されるボタン、スイッチ、ダイヤル、タッチパネル等である。
表示装置35は、各種情報を表示する装置である。本実施例では、表示装置35は、例えば、液晶ディスプレイである。
次に、制御装置30における各種機能要素について説明する。
アタッチメント関連情報生成部300は、アタッチメント関連情報を生成するための機能要素である。
「アタッチメント関連情報」とは、建設機械のアタッチメントに関連する情報であり、テキスト、図形、写真等、前方画像上に重畳表示できるものであれば何れの形態であってもよい。本実施例において、アタッチメント関連情報は、掘削アタッチメントの先端とショベル50の基準位置との間の水平距離に関する情報、設置面から掘削アタッチメントの先端までの垂直距離に関する情報、設置面とバケット6の基準面とが形成する掘削角度に関する情報、掘削アタッチメントの先端と予め設定された目標掘削深さとの間の差に関する情報、掘削アタッチメントの輪郭に関する情報等を含む。なお、ショベル50の基準位置は、例えば、ショベル50の旋回中心上の一点、キャビン10の前端面上の一点等である。
本実施例では、アタッチメント関連情報生成部300は、例えば、アタッチメント状態検出装置33の出力に基づいてアタッチメント関連情報を生成する。
作業量推定部301は、建設機械の作業量を推定するための機能要素である。本実施例では、作業量推定部301は、アタッチメント状態検出装置33の出力に基づいてショベル50の掘削アタッチメントによる作業量を推定する。
掘削アタッチメントによる作業量は、例えば、バケット6によって持ち上げられる土砂の体積や重量である。具体的には、作業量推定部301は、ブーム角度センサ33a、アーム角度センサ33b、及びバケット角度センサ33cのそれぞれの検出値に基づいて掘削アタッチメントの姿勢を導き出す。そして、作業量推定部301は、ブームシリンダ7の作動油の圧力を検出する圧力センサの検出値に基づいて、バケット6によって持ち上げられた土砂の重量を掘削アタッチメントの作業量として推定する。掘削アタッチメントの姿勢を考慮するのは、バケット6が同じ重量の土砂を持ち上げる場合であっても、ショベル50とバケット6との間の水平距離が大きくなるにつれて、ブームシリンダ7の作動油の圧力が増大するためである。
表示制御部302は、表示装置35に表示される画面の内容を制御するための機能要素である。本実施例では、表示制御部302は、撮像装置31が撮像した前方画像上にアタッチメント関連情報生成部300が生成したアタッチメント関連情報を重畳表示させる。また、表示制御部302は、前方画像におけるアタッチメント画像の表示位置とアタッチメント関連情報の表示位置とを連動させる。具体的には、表示制御部302は、アタッチメント状態検出装置33の出力に基づいてアタッチメント画像の表示位置を導き出し、導き出したアタッチメント画像の表示位置に基づいて、アタッチメント関連情報の表示位置を決定する。そして、表示制御部302は、前方画面上の、決定した表示位置にアタッチメント関連情報を重畳表示させる。なお、表示制御部302は、掘削アタッチメントの姿勢が決まれば、アタッチメント画像の表示位置を一意に決定することができる。撮像装置31がキャビン10に固定的に取り付けられているためである。
図5及び図6は、表示装置35の画面Gに重畳表示されるアタッチメント関連情報の例を示す。図5及び図6のそれぞれにおいて、実線は、前方画像に含まれる実写画像を示し、破線は、前方画像に重畳表示される情報を示す。
図5において、情報(線分)G1は、ショベル50が位置する平面(設置面)を表す線分であり、線分G1a及び線分G1bで構成される。線分G1aは、例えば、下部走行体1の左側のクローラの前方への延長線を示し、線分G1bは、例えば、設置面へ投影された掘削アタッチメントの投影線及びその延長線を示す。
情報(線分)G2は、情報G1と同様、設置面を表す線分であり、例えば、線分G1a及び線分G1bに垂直な線分である。また、線分G2は、バケット6の先端の鉛直下方の点を通過する。
情報G3は、バケット6の先端位置を表す情報であり、先端中心点G3a、垂直補助線G3b、及び水平補助線G3cで構成される。先端中心点G3aは、例えば、バケット6の先端にある爪部の幅方向の中点に相当する。また、垂直補助線G3bは、先端中心点G3aから画面Gの鉛直下方に延びる垂直線である。したがって、垂直補助線G3bは、線分G1b及び線分G2の双方と直交する。水平補助線G3cは、先端中心点G3aから画面Gの左右に延びる水平線である。したがって、水平補助線G3cは、線分G2に平行に延びる。
情報G4は、目標掘削深さを表す情報であり、水平補助線G4a及び矢印G4bで構成される。目標掘削深さは、入力装置34を通じて設定される値である。水平補助線G4aは、目標掘削深さにおいて、垂直補助線G3bとの交点から画面Gの左右に延びる水平線である。したがって、水平補助線G4aは、線分G2及び水平補助線G3cのそれぞれに平行に延びる。矢印G4bは、目標掘削深さのレベルを強調して提示するための画像であり、矢印の先端が水平補助線G4aと一致する。
情報G5は、バケット6の先端から目標掘削深さまでの垂直距離を表す情報であり、双方向矢印G5a及び数値表示G5bで構成される。双方向矢印G5aは、水平補助線G3cと水平補助線G4aとの間に、垂直補助線G3bに平行に配置される。数値表示G5bは、バケット6の先端から目標掘削深さまでの垂直距離を表す数値表示であり、双方矢印G5aに隣接して配置される。図5は、バケット6の先端から目標掘削深さまでの垂直距離が1.3メートルであることを示す。
情報G6は、バケット6の先端から設置面までの垂直距離を表す情報であり、双方向矢印G6a及び数値表示G6bで構成される。双方矢印G6aは、線分G2と水平補助線G3cと間に、垂直補助線G3bに平行に配置される。数値表示G6bは、バケット6の先端から設置面までの垂直距離を表す数値表示であり、双方矢印G6aに隣接して配置される。図5は、バケット6の先端から設置面までの垂直距離が0.5メートルであることを示す。
情報G7は、バケット6の先端とショベル50の基準位置との間の水平距離を表す情報であり、片方向矢印G7a及び数値表示G7bで構成される。片方向矢印G7aは、線分G1bに平行に配置される。数値表示G7bは、バケット6の先端とショベル50の基準位置との間の水平距離を表す数値表示であり、片方矢印G7aに隣接して配置される。図5は、バケット6の先端とショベル50の基準位置との間の水平距離が2.3メートルであることを示す。
情報G8は、バケット6によって掘削された土砂の重量を表す情報であり、片方向矢印G8a及び数値表示G8bで構成される。片方向矢印G8aは、バケット6によって掘削された土砂に関する情報であることを強調して提示するためにバケット6の実画像から側方に引き出される水平線である。数値表示G8bは、バケット6によって掘削された土砂の重量を表す数値表示であり、片方向矢印G8aに隣接して配置される。図5は、バケット6によって掘削された土砂の重量が0kgであることを示す。
情報G9は、設置面とバケット6の基準面とが形成する掘削角度を表す情報であり、補助線G9a、補助線G9b、及び数値表示G9cで構成される。補助線G9aは、バケット6の基準面である背面に沿って延びる線分である。補助線G9bは、設置面と補助線G9aとの間に形成される角度であることを強調して提示するために設置面と補助線G9aとの間に配置される曲線である。数値表示G9cは、掘削角度を表す数値表示であり、補助線G9bに隣接して配置される。図5は、掘削角度が−18度であることを示す。
情報G10は、ショベル50の前後方向及び左右方向の傾きを表す情報であり、中心点G10a、左右傾斜度目盛りG10b、左右傾斜度指示矢印G10c、前後傾斜度目盛りG10d、前後傾斜度指示矢印G10eで構成される。中心点G10aは、ショベル50の中心を表す点である。左右傾斜度目盛りG10bは、ショベル50の左右方向の傾き(ロール角)に対応する目盛りであり、図5において0°より下に位置する目盛りが右方向への傾きに対応し、0°より上に位置する目盛りが左方向への傾きに対応する。左右傾斜度指示矢印G10cは、傾き検出装置32の出力に基づいて左右傾斜度目盛りG10bにおけるロール角の値を指示する矢印である。図5は、ショベル50が右方向に約5°傾斜している状態を示す。前後傾斜度目盛りG10dは、ショベル50の前後方向の傾き(ピッチ角)に対応する目盛りであり、図5において0°より下に位置する目盛りが後方への傾きに対応し、0°より上に位置する目盛りが前方への傾きに対応する。前後傾斜度指示矢印G10eは、傾き検出装置32の出力に基づいて前後傾斜度目盛りG10dにおけるピッチ角の値を指示する矢印である。図5は、ショベル50が後方に約10°傾斜している状態を示す。
また、図6の情報G11は、バケット6の存在位置を表す情報であり、バケット6の輪郭画像である。輪郭画像G11は、前方画像における実際のバケット6の画像が可視であるか不可視であるかにかかわらず、画面Gにおける実際のバケット6と同じ位置に、実際のバケット6と同じ姿勢で重畳表示される。図6は、実際のバケット6が土砂に埋没して不可視となっているが、バケット6の輪郭画像により土砂内のバケット6の位置及び姿勢が認識可能となっている状態を示す。
上述の情報G1〜情報G11のそれぞれは、赤色、緑色、黄色等の視認し易い色で前方画像上に重畳表示され、任意の組み合わせで表示・非表示が設定される。
また、情報G3〜情報G9、及び情報G11のそれぞれは、表示制御部302により、前方画像における実際の掘削アタッチメントの画像(アタッチメント画像)の表示位置の変化に連動してその表示位置が変更される。
次に、図7を参照しながら、モニタシステム100が表示装置35に表示させる表示画像を生成する処理(以下、「表示画像生成処理」とする。)について説明する。なお、図7は、表示画像生成処理の流れを示すフローチャートであり、モニタシステム100は、所定周期で繰り返しこの表示画像生成処理を実行する。
最初に、モニタシステム100は、撮像装置31を用いてショベル50の前方を撮像して前方画像を取得する(ステップS1)。
その後、モニタシステム100は、アタッチメント状態検出装置33を用いてショベル50の掘削アタッチメントの状態を検出する(ステップS2)。具体的には、モニタシステム100は、ブーム角度センサ33a、アーム角度センサ33b、バケット角度センサ33c、並びに、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9のそれぞれにおける圧力を検出する圧力センサの出力を取得する。
その後、モニタシステム100は、制御装置30におけるアタッチメント関連情報生成部300により、検出した掘削アタッチメントの状態に基づいて、アタッチメント関連情報を生成する(ステップS3)。具体的には、モニタシステム100は、掘削アタッチメントの先端とショベル50の基準位置との間の水平距離に関する情報、設置面から掘削アタッチメントの先端までの距離に関する情報、設置面とバケット6の基準面とが形成する掘削角度に関する情報、掘削アタッチメントの先端と予め設定された目標掘削深さとの間の差に関する情報、バケット6の輪郭に関する情報等を作成する。
また、モニタシステム100は、制御装置30における作業量推定部301により、検出した掘削アタッチメントの状態に基づいて、バケット6によって掘削された土砂の重量をアタッチメント関連情報として推定する。
その後、モニタシステム100は、制御装置30における表示制御部302により、検出した掘削アタッチメントの状態に基づいて、前方画像における実際のバケット6の先端の表示位置を導き出し、アタッチメント関連情報のそれぞれの表示位置を決定する(ステップS4)。なお、アタッチメント関連情報のそれぞれの表示位置は、前方画像における実際のバケット6の先端の表示位置に予め関連付けられている。但し、アタッチメント関連情報のそれぞれの表示位置は、前方画像における実際のバケット6の先端の表示位置以外の位置に関連付けられていてもよい。また、ステップS3とステップS4とは順不同であり、アタッチメント関連情報の表示位置を決定した後でアタッチメント関連情報の内容(例えば掘削角度の値である。)を生成してもよい。
その後、モニタシステム100は、表示制御部302により、前方画像上の決定した表示位置にアタッチメント関連情報を重畳表示させる(ステップS5)。
また、モニタシステム100は、表示制御部302により、設置面を表す線分G1a、G1b、G2(図5参照。)を前方画像上に重畳表示させる(ステップS6)。
さらに、モニタシステム100は、表示制御部302により、ショベル50の前後方向及び左右方向の傾きを表す傾斜情報を前方画像上に重畳表示させる(ステップS7)。
なお、ステップS5、ステップS6、及びステップS7は順不同である。また、設置面を表す線分、アタッチメント関連情報、傾斜情報は同じ色で表示されてもよく、異なる色で表示されてもよい。同様に、複数のアタッチメント関連情報のそれぞれは、同じ色で表示されてもよく、異なる色で表示されてもよい。
以上の構成により、モニタシステム100は、前方画像におけるアタッチメント画像の表示位置とアタッチメント関連情報の表示位置とを連動させて表示することで、ショベル50の掘削アタッチメントの状態をオペレータに直感的に理解させることができる。
また、モニタシステム100は、バケット6の先端と設置面との間の垂直距離、及び、バケット6の先端とショベル50との間の水平距離を同時に表示することで、掘削アタッチメントの状態をオペレータに直感的に理解させることができる。
また、モニタシステム100は、バケット6の実写画像の周辺の所定位置にそのバケット6の掘削角度を表示するので、掘削アタッチメントの状態をオペレータに直感的に理解させることができ、作業性を向上させることができる。
また、モニタシステム100は、バケット6の実写画像の周辺の所定位置にそのバケット6により掘削された土砂の重量を表示するので、掘削アタッチメントの状態をオペレータに直感的に理解させることができ、作業性を向上させることができる。
また、モニタシステム100は、バケット6の実写画像上にバケット6の輪郭画像を重畳表示するので、バケット6が土砂に埋没したり、水中に潜没したり、或いは、物陰に隠れたりして不可視となる場合であっても、バケット6の位置及び姿勢をオペレータに提示することができる。その結果、モニタシステム100は、掘削アタッチメントの状態をオペレータに直感的に理解させることができ、作業性を向上させることができる。
また、モニタシステム100は、バケット6の実写画像の周辺の所定位置に、バケット6の先端と目標掘削深さとの間の距離を重畳表示するので、掘削アタッチメントの状態をオペレータに直感的に理解させることができる。
また、モニタシステム100は、ショベル50の前後方向及び左右方向の傾きに関する情報等、掘削アタッチメントの状態に直接的には関係しない情報をも前方画像上に重畳表示させることができる。その結果、モニタシステム100は、掘削アタッチメントの状態をオペレータに直感的に理解させると同時に、ショベル50の周囲の状況をオペレータに分かり易く提示することができ、作業性を向上させることができる。
また、モニタシステム100は、フロントウィンドウの横に表示装置35を取り付けたことにより、フロントウィンドウを通じた実際のショベル外部の状況と表示装置35に表示される画像とをほぼ同時にオペレータに視認させることができる。その結果、掘削アタッチメントの状態をオペレータに直感的に理解させることができる。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
例えば、上述の実施例では、本発明がショベル50に適用された場合を説明する。しかしながら、本発明は、これに限定されることはない。本発明は、例えば、リフティングマグネット、グラップル、破砕機等を備えた他の建設機械にも適用可能である。
具体的には、リフティングマグネットを備える建設機械に適用される場合、アタッチメント関連情報は、リフティングマグネットの持ち上げ重量に関する情報を含む。
また、グラップル、破砕機等を備える建設機械に適用される場合、アタッチメント関連情報は、グラップル、破砕機等の輪郭画像を含む。これにより、オペレータは、実際のグラップル、破砕機等が物陰に隠れて不可視となっていても、その位置や開閉具合を認識することができる。
また、上述の実施例では、バケット6は、前後方向に回動(開閉)可能な構成を採用するが、チルトバケットのように左右方向にも回動可能な構成を採用してもよい。この場合、アタッチメント関連情報は、設置面とバケット6の背面とが形成する前後方向掘削角度に関する情報に加え、或いはその前後方向掘削角度に関する情報に代えて、設置面とバケット6の左右の側面とが形成する左右方向掘削角度に関する情報を含む。
1・・・下部走行体 2・・・旋回機構 3・・・上部旋回体 4・・・ブーム 5・・・アーム 6・・・バケット 7・・・ブームシリンダ 8・・・アームシリンダ 9・・・バケットシリンダ 10・・・キャビン 11・・・フロントウィンドウ 30・・・制御装置 31・・・撮像装置 32・・・傾き検出装置 33・・・アタッチメント状態検出装置 33a・・・ブーム角度センサ 33b・・・アーム角度センサ 33c・・・バケット角度センサ 34・・・入力装置 35・・・表示装置 50・・・ショベル 100・・・モニタシステム 300・・・アタッチメント関連画像生成部 301・・・作業量推定部 302・・・表示制御部

Claims (5)

  1. 下部走行体、上部旋回体、及びアタッチメントを備える建設機械に搭載され、アタッチメント画像を含む前方画像を取得する撮像装置と、
    前記アタッチメントの状態を検出するアタッチメント状態検出装置と、
    前記アタッチメント状態検出装置が検出した前記アタッチメントの状態に基づいてアタッチメント関連情報を生成するアタッチメント関連情報生成部と、前記前方画像上に前記アタッチメント関連情報を重畳させ、且つ、前記前方画像における前記アタッチメント画像の表示位置と前記アタッチメント関連情報の表示位置とを連動させて建設機械に搭載された表示装置に表示する表示制御部と、を有する制御装置とを備え、
    前記アタッチメント関連情報は、前記建設機械が位置する平面から前記アタッチメントの先端までの垂直距離に関する情報、前記アタッチメントの先端と予め設定された目標位置との間の差に関する情報、及び、前記アタッチメントが不可視な場合に前記アタッチメントの位置が認識可能できるように前記アタッチメントの輪郭に関する情報のうちの少なくとも1つを含む、
    ことを特徴とする建設機械用モニタシステム。
  2. 前記アタッチメント関連情報は、前記アタッチメントの先端と前記建設機械の基準位置との間の水平距離に関する情報を含む、
    ことを特徴とする請求項1に記載の建設機械用モニタシステム。
  3. 前記建設機械の水平面に対する傾きを検出する傾き検出装置を更に備え、
    前記表示制御部は、前記傾き検出装置が検出した前記建設機械の水平面に対する傾きに関する情報を前記前方画像上に重畳表示する、
    ことを特徴とする請求項1又は2に記載の建設機械用モニタシステム。
  4. 前記制御装置は、前記アタッチメント状態検出装置が検出した前記アタッチメントの状態に基づいて前記アタッチメントの作業量を推定する作業量推定部を更に備え、
    前記表示制御部は、前記作業量推定部が推定した前記アタッチメントの作業量を前記前方画像上に重畳表示する、
    ことを特徴とする請求項1乃至に記載の建設機械用モニタシステム。
  5. 前記建設機械は、バケットを含む掘削アタッチメントを備えたショベルであり、
    前記アタッチメント関連情報は、前記ショベルが位置する平面と前記バケットの基準面とが形成する掘削角度に関する画像を含む、
    ことを特徴とする請求項1乃至の何れか一項に記載の建設機械用モニタシステム。

JP2011262287A 2011-11-30 2011-11-30 建設機械用モニタシステム Active JP5941663B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011262287A JP5941663B2 (ja) 2011-11-30 2011-11-30 建設機械用モニタシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011262287A JP5941663B2 (ja) 2011-11-30 2011-11-30 建設機械用モニタシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016043277A Division JP6639960B2 (ja) 2016-03-07 2016-03-07 ショベル

Publications (2)

Publication Number Publication Date
JP2013113044A JP2013113044A (ja) 2013-06-10
JP5941663B2 true JP5941663B2 (ja) 2016-06-29

Family

ID=48708844

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011262287A Active JP5941663B2 (ja) 2011-11-30 2011-11-30 建設機械用モニタシステム

Country Status (1)

Country Link
JP (1) JP5941663B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10668854B2 (en) 2017-02-09 2020-06-02 Komatsu Ltd. Work vehicle and display device
EP3754122A4 (en) * 2018-03-28 2021-03-31 Kobelco Construction Machinery Co., Ltd. CONSTRUCTION MACHINE
US11739504B2 (en) 2013-10-21 2023-08-29 Esco Group Llc Wear assembly removal and installation

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6883813B2 (ja) * 2014-10-27 2021-06-09 ヤンマーパワーテクノロジー株式会社 トラクタ
JP6392097B2 (ja) * 2014-11-27 2018-09-19 住友建機株式会社 ショベルの支援装置及びショベルの支援方法
JP6777375B2 (ja) 2015-03-05 2020-10-28 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
JP6520508B2 (ja) * 2015-07-14 2019-05-29 株式会社豊田自動織機 産業車両の表示システム
JP6614838B2 (ja) * 2015-07-22 2019-12-04 日立建機株式会社 油圧ショベル
WO2017026469A1 (ja) * 2015-08-10 2017-02-16 住友建機株式会社 ショベル
JP6589468B2 (ja) 2015-09-01 2019-10-16 株式会社タダノ 移動式クレーンの周囲表示装置
EP3351692A4 (en) * 2015-09-15 2018-09-05 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel
JP2017089139A (ja) * 2015-11-04 2017-05-25 住友建機株式会社 ショベル
JP6620011B2 (ja) * 2015-12-25 2019-12-11 株式会社小松製作所 作業車両および表示制御方法
JP6666142B2 (ja) * 2015-12-25 2020-03-13 株式会社小松製作所 作業車両および作業車両の制御方法
KR20170113001A (ko) * 2016-03-28 2017-10-12 가부시키가이샤 고마쓰 세이사쿠쇼 평가 장치 및 평가 방법
JP6639990B2 (ja) * 2016-03-29 2020-02-05 住友建機株式会社 ショベル
EP3438356B1 (en) * 2016-03-31 2022-05-11 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel
JP6794193B2 (ja) * 2016-09-02 2020-12-02 株式会社小松製作所 作業機械の画像表示システム
JP6697361B2 (ja) * 2016-09-21 2020-05-20 川崎重工業株式会社 油圧ショベル駆動システム
JP6868938B2 (ja) 2017-08-24 2021-05-12 日立建機株式会社 建設機械の荷重計測システム
EP3687937B1 (en) * 2017-09-26 2021-10-06 Hiab AB Operator assistance system and a method in relation to the system
DE102018102047A1 (de) 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
CN110799708B (zh) * 2018-03-12 2021-12-31 日立建机株式会社 作业机械
JP6947101B2 (ja) 2018-03-28 2021-10-13 コベルコ建機株式会社 遠隔操作システム及び主操作装置
JP7000957B2 (ja) * 2018-03-29 2022-01-19 コベルコ建機株式会社 作業機械操縦装置
EP3812517A4 (en) 2018-06-19 2021-09-15 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. EXCAVATOR AND INFORMATION PROCESSING DEVICE
JP7372029B2 (ja) * 2018-06-29 2023-10-31 株式会社小松製作所 表示制御装置、表示制御システムおよび表示制御方法
JP7285051B2 (ja) 2018-06-29 2023-06-01 株式会社小松製作所 表示制御装置、および表示制御方法
JP7175680B2 (ja) * 2018-08-31 2022-11-21 株式会社小松製作所 表示制御装置、表示制御システム、および表示制御方法
CN113491110A (zh) * 2019-02-28 2021-10-08 住友重机械工业株式会社 显示装置、挖土机、信息处理装置
JP7333551B2 (ja) * 2020-09-29 2023-08-25 株式会社小松製作所 作業機械の画像表示システム
JP7128497B2 (ja) * 2020-09-29 2022-08-31 株式会社小松製作所 作業機械の画像表示システム
JP2020204265A (ja) * 2020-10-02 2020-12-24 日立建機株式会社 油圧ショベル
JP7131779B2 (ja) * 2020-10-08 2022-09-06 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械、及び作業機械の画像表示方法
KR102562294B1 (ko) * 2021-04-07 2023-07-31 디엘이앤씨 주식회사 토공사 생산성 제고를 위한 중장비 모니터링 시스템
WO2023100889A1 (ja) * 2021-11-30 2023-06-08 株式会社タダノ 操縦支援システム及び作業車両

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62185932A (ja) * 1986-02-13 1987-08-14 Komatsu Ltd 掘削機械の作業状態監視装置
JP2844040B2 (ja) * 1993-05-07 1999-01-06 東急建設株式会社 3次元表示装置
JP4447734B2 (ja) * 2000-05-18 2010-04-07 カーネギー メロン ユニバーシテイ 掘削機械のバケット内に取り込まれた材料の容積を推測するためのシステムならびに方法
JP4025140B2 (ja) * 2002-08-07 2007-12-19 日立建機株式会社 掘削機械の表示システム及びそのプログラム
JP4012448B2 (ja) * 2002-09-17 2007-11-21 日立建機株式会社 建設機械の掘削作業教示装置
JP4115236B2 (ja) * 2002-10-15 2008-07-09 日立建機株式会社 高所解体作業機の表示装置
JP2008179940A (ja) * 2005-03-31 2008-08-07 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP5802476B2 (ja) * 2011-08-09 2015-10-28 株式会社トプコン 建設機械制御システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11739504B2 (en) 2013-10-21 2023-08-29 Esco Group Llc Wear assembly removal and installation
US10668854B2 (en) 2017-02-09 2020-06-02 Komatsu Ltd. Work vehicle and display device
EP3754122A4 (en) * 2018-03-28 2021-03-31 Kobelco Construction Machinery Co., Ltd. CONSTRUCTION MACHINE
US11421404B2 (en) 2018-03-28 2022-08-23 Kobelco Construction Machinery Co., Ltd. Construction machine

Also Published As

Publication number Publication date
JP2013113044A (ja) 2013-06-10

Similar Documents

Publication Publication Date Title
JP5941663B2 (ja) 建設機械用モニタシステム
JP6639960B2 (ja) ショベル
JP5908500B2 (ja) ショベルの画像表示装置
KR102476122B1 (ko) 쇼벨
WO2016158265A1 (ja) 作業機械
JP2022059042A (ja) ショベル及びショベルの計測システム
JP5473870B2 (ja) 建設機械のモニター装置
US11732439B2 (en) Remote control system and main control device
WO2018179596A1 (ja) 建設機械
CN103890282A (zh) 作业机械的周围监视装置
JPWO2012157438A1 (ja) 油圧ショベルの後方視野表示装置
US10721397B2 (en) Image processing system using predefined stitching configurations
JP2010018141A (ja) 建設機械におけるディスプレイ装置
JP6651607B2 (ja) ショベル
JP2008121280A (ja) 掘削状況表示装置付き掘削機械
JP6689763B2 (ja) ショベル
JP6689945B2 (ja) ショベル及びショベルの表示装置
JP7063036B2 (ja) 建設機械
JP6626710B2 (ja) 作業車両および作業車両の制御方法
JP6918867B2 (ja) ショベル、ショベルの表示方法及びショベルの表示装置
JP6567736B2 (ja) ショベル、ショベルの表示方法及びショベルの表示装置
KR102505529B1 (ko) 작업 기계
JP6644832B2 (ja) ショベル、ショベルの表示方法及びショベルの表示装置
JP2021152331A (ja) ショベル、ショベルの表示方法及びショベルの表示装置
JP2021079762A (ja) 合成距離画像の作成方法、土砂採取モニター用画像の作成方法、及び、合成距離画像の作成装置

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20140217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150414

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150611

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160307

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160523

R150 Certificate of patent or registration of utility model

Ref document number: 5941663

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150