JP4012448B2 - Construction machine excavation work teaching device - Google Patents

Construction machine excavation work teaching device Download PDF

Info

Publication number
JP4012448B2
JP4012448B2 JP2002269476A JP2002269476A JP4012448B2 JP 4012448 B2 JP4012448 B2 JP 4012448B2 JP 2002269476 A JP2002269476 A JP 2002269476A JP 2002269476 A JP2002269476 A JP 2002269476A JP 4012448 B2 JP4012448 B2 JP 4012448B2
Authority
JP
Japan
Prior art keywords
construction machine
bucket
dimensional
work
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002269476A
Other languages
Japanese (ja)
Other versions
JP2004107926A (en
Inventor
一雄 藤島
英人 石橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Priority to JP2002269476A priority Critical patent/JP4012448B2/en
Priority to EP03797561.2A priority patent/EP1541772B1/en
Priority to PCT/JP2003/011484 priority patent/WO2004027164A1/en
Priority to US10/498,266 priority patent/US7532967B2/en
Publication of JP2004107926A publication Critical patent/JP2004107926A/en
Application granted granted Critical
Publication of JP4012448B2 publication Critical patent/JP4012448B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は油圧ショベル等の建設機械の掘削作業教示装置に係り、特に、バケットなどの掘削用作業機を動作させて3次元の目標地形に関する掘削作業を行う際に目標とする掘削作業位置を教示するに好適な建設機械の掘削作業教示装置に関する。
【0002】
【従来の技術】
山間部などの傾斜地に道路を構築する際、まず油圧ショベルやブルドーザなどの建設機械を用いて最初に切土または盛土などの作業を行って必要な地盤を形成し、その周囲には地面の崩壊を防ぐため油圧ショベルなどを用いて法面を形成する。この法面形成作業は高精度な掘削成形作業であり、熟練を要する。特に、目標の掘削面の下まで過剰に掘削を行うと、単なる埋め戻しでは足りず、コンパクタなどの機械を用いて地山と同等の強度となるよう締め固めを行う必要となり、作業効率が大幅に低下する。そこで、オペレータは目標の掘削面を掘りすぎないよう、丁寧に法面の形成作業を行っている。
【0003】
一方、目標掘削面をオペレータに教示する手段としては、現在原地形の測量を行った結果から、多数の代表位置に掘削の目標となる数値、たとえぱ法面勾配及びその深さに関する数値を記した杭や板を設置する(丁張り作業)。オペレータはこの丁張りを見て、目標の法面を形成するよう油圧ショベルの作業機を動作させる。しかし、山間部などの傾斜地など複雑な地形に法面を形成する場合、複雑な3次元地形に沿って目標となる杭や板を多数設置する必要があり、そのための測量作業や設置作業に多大な時間を必要としていた。
【0004】
そこで、例えば、特開2001−98585号公報に記載されているように、油圧ショベルなどの建設機械の3次元位置及び作業機の方向と3次元の目標地形とを比較し、作業機の向いている方向を通過する縦断面の平面と3次元の目標地形との3次元上の交線を演算し、その交線を車体と作業機のイラストとともに運転室内に設置した表示装置に同一画面上に表示することにより、目標の掘削面をガイダンスする装置が知られている。
【0005】
また、例えば、(株)トプコンの3D−MC GPSショベルでは、3次元の地形を構成する三角形ポリゴンを運転室内に設置したタッチパネル式の表示装置に表示し、表示された三角形ポリゴンのうち目標の掘削面に相当するポリゴンを表示装置上で直接タッチして教示することにより目標の掘削面の色を変えて表示する装置が知られている。
【0006】
【特許文献1】
特開2001−98585号公報
【0007】
【発明が解決しようとする課題】
しかしながら、特開2001−98585号公報に記載された装置では、作業機の向いている方向を通過する縦断面の平面と3次元の目標地形との3次元上の交線を演算し、その交線を運転室内に設置した表示装置に車体と作業機のイラストとともに同一画面上に表示することにより、確かにその油圧ショベルが現在いる位置において掘削すべき面はわかるが、作業機の動作する方向が目標の法面の垂線方向に向いていないと、バケットの幅の分が目標面に対して食い込んでしまうことになる。そこで、実際に法面形成作業を行う際は、作業機の幅を考慮して作業機の動作する方向を目標の法面の垂線方向に向けるという合わせ作業が必要であり、作業が複雑となるという問題があった。
【0008】
また、(株)トプコンの3D−MC GPSショベルでは、作業機の動作する方向と目標の法面の垂線方向との角度を車体と3次元目標地形との同一画面上に別枠で表示しており、オペレータはこの角度が0となるように車体を旋回または走行させるのであるが、実際にどちらの方向に車体を動作させればよいかの具体的な案内はなく、車体の動作方向はオペレータが自身で判断して動作する必要があり、不慣れなオペレータは車体の位置決めを容易に行えないという問題があった。
【0009】
本発明の目的は、複雑な3次元地形における法面形成作業においても、目標とする適切な掘削面の把握が容易であり、かつ掘削時の車体の位置決めが容易で、作業効率の向上した建設機械の掘削作業教示装置を提供することにある。
【0010】
なお、本願明細書中において、「3次元空間の絶対位置」とは、走行式建設機械の外部に設定された座標系により表現した位置のことであり、例えば3次元位置計測装置としてGPSを用いる場合は、GPSで高さの基準として用いる準拠楕円体に固定した座標系により表現した位置のことである。また、本願明細書では、この準拠楕円体に設定した座標系をグローバル座標系と呼ぶ。
【0011】
また、ローカル平面直角座標系とは、測量法に定められたものであり、日本全土を20地域に区分し、それぞれの地域内を平面とみなした直角座標系であり、それぞれの分割領域の特定の場所に原点を持つ3次元直角座標系である。本明細書中における3次元の目標地形の画像データはローカル平面直角座標系の値として作成されたものである。
【0012】
【課題を解決するための手段】
(1)上記目的を達成するために、本発明は、掘削用の作業機を作動させて3次元の地形を3次元の目標地形にする掘削作業を行う建設機械の掘削作業教示装置において、前記建設機械は、下部走行体と、前記下部走行体に対して旋回可能である上部旋回体と、ブーム及びアーム及びバケットから構成され、それぞれ上下方向に回転可能である作業機とから構成され、前記建設機械の作業機の3次元位置を計測する位置計測手段と、この位置計測手段の計測結果に応じて前記3次元目標地形と前記作業機の位置関係を表示する表示手段とを備え、前記表示手段は、前記3次元目標地形を構成する多数の小平面と、少なくとも前記作業機の先端部を含む前記建設機械の全体または一部分のイラストを第1画面として表示し、かつその第1画面において、前記3次元目標地形を構成する複数の小平面の内の目標掘削面の法線の水平面への投影線と現在向いている前記建設機械の作業機の上下方向への回転動作に伴い動作する前記バケットの動作方向を真上から見たときの直線とを表示するようにしたものである。
このように建設機械が移動するに応じて掘削すべき地形の形状が変化する複雑な三次元地形であっても、目標掘削面の法線の投影線と現在向いている前記建設機械の作業機の動作する方向とを同一の画面に表示するため、目標掘削面を掘削するに好適な建設機械の設置位置を直感的に容易に把握でき、掘削時の作業効率を向上することができる。
【0013】
(2)上記(1)において、好ましくは、前記表示手段は、前記第1画面に、前記建設機械の車体の中心位置を同時に表示するようにしたものである。
【0014】
(3)上記(1)において、好ましくは、前記表示手段は、前記作業機の上下方向への回転動作に伴い動作する前記バケットの動作方向を真上から見たときの直線と前記小平面との交線、及び前記建設機械の全体または一部分であるバケットのイラストを断面図で表示する第2画面、前記第1画面と同時に表示するようにしたものである。
【0015】
(4)上記(1)において、好ましくは、前記表示手段は、前記第1画面に、前記建設機械の走行体の移動する方向線を同時に表示するようにしたものである。
【0016】
【発明の実施の形態】
以下、図1〜図11を用いて本発明の一実施の形態による建設機械の掘削作業教示装置を油圧ショベルに適用した場合の例について説明する。
【0017】
図1は、本発明の一実施の形態による建設機械の掘削作業教示装置を用いた作業位置計測システムの構成を示すブロック図である。
【0018】
作業位置計測システムは、基準局からの補正データ(後述)をアンテナ33,34を介して受信する無線機41,42と、この無線機41,42で受信した補正データとGPSアンテナ31,32により受信されるGPS衛星からの信号とに基づいてGPSアンテナ31,32の3次元位置をリアルタイムに計測するGPS受信機43,44と、このGPS受信機43,44からの位置データと角度センサ21,22,23や傾斜センサ24や旋回角センサ25などの各種センサからの角度データとに基づき、油圧ショベル1のバケット7の先端(モニタポイント)の位置を演算し、さらに後述する3次元目標地形を示すデータが所定のメモリに記憶されているパネルコンピュータ45と、このパネルコンピュータ45により演算された位置データや3次元目標地形をイラスト等を交えて表示する表示装置46と、パネルコンピュータ45により演算された位置データをアンテナ35を介して送信するための無線機47と、予め掘削作業を行う目標となる掘削面を設定指示する設定器48とを備えている。GPSアンテナ31とGPS受信機43,GPSアンテナ32とGPS受信機44はそれぞれ1セットのGPS(Groba1 Positioning System)を構成している。
【0019】
図2は、本発明の実施の形態による建設機械の掘削作業教示装置を用いた油圧ショベルの外観を示す図である。
【0020】
油圧ショベル1は下部走行体2と、下部走行体2上に旋回可能に設けられ、下部走行体2と共に車体を構成する上部旋回体3と、上部旋回体3に設けられたフロント作業機4とからなる。フロント作業機4は上部旋回体3に上下方向に回転可能に設けられたブーム5と、ブーム5の先端に上下方向に回転可能に設けられたアーム6と、アーム6の先端に上下方向に回転可能に設けられた先端掘削部であるバケット7とで構成され、それぞれ、ブームシリンダ8、アームシリンダ9、バケットシリンダ10を伸縮することにより駆動される。上部旋回体3には運転室11が設けられている。
【0021】
また、油圧ショベル1には、上部旋回体3とブーム5との回転角(ブーム角度)を検出する角度センサ21と、ブーム5とアーム6との回転角(アーム角度)を検出する角度センサ22と、アーム6とバケット7との回転角(バケット角度)を検出する角度センサ23と、上部旋回体3の前後方向の傾斜角(ピッチ角度)を検出する傾斜センサ24、下部走行体2と上部旋回体3との回転角(旋回角)を検出する旋回角センサ25とが設けられている。
【0022】
更に、油圧ショベル1には、GPS衛星からの信号を受信する2個のGPSアンテナ31,32と、基準局からの補正データ(後述)を受信するための無線アンテナ33,34と、位置データを送信する無線アンテナ35が設けられている。2個のGPSアンテナ31,32は上部旋回体3の旋回中心から外れた旋回体後部の左右に設置されている。
【0023】
図3は、GPS基準局としての役割を持つ事務所側システムの構成を示すブロック図である。
【0024】
油圧ショベル1やバケット7等の位置や作業管理を行う事務所51には、GPS衛星からの信号を受信するGPSアンテナ52と、補正データを油圧ショベル1に送信する無線アンテナ53と、油圧ショベル1から上述した油圧ショベル1やバケット7等の位置データを受信する無線アンテナ54と、予め計測された3次元位置データとGPSアンテナ52により受信されるGPS衛星からの信号とに基づき、上述した油圧ショベル1のGPS受信機43,44でRTK(リアルタイムキネマティック)計測を行うための補正データを生成するGPS基準局としてのGPS受信機55,GPS受信機55で生成された補正データをアンテナ53を介して送信するための無線機56と、アンテナ54を介して位置データを受信する無線機57と、無線機57により受信した位置データに基づき油圧ショベル1やバケット7の位置を表示・管理したり3次元目標地形を示すデータを表示するための演算を行うコンピュータ58と、このコンピュータ58により演算した位置データと管理データ、3次元目標地形をイラスト等を交えて表示する表示装置59が設置されている。GPSアンテナ52とGPS受信機55は1セットのGPSを構成する。
【0025】
次に、本実施の形態に係わる作業位置計測システムの動作の概要を説明する。本実施の形態では高精度での位置計測を行うため、図1に示したGPS受信機43,44でそれぞれRTK計測を行う。このためには先ず、図3に示した補正データを生成するGPS基準局55が必要となる。GPS基準局55は、上記のように予め3次元計測されたアンテナ52の位置データとアンテナ52により受信されるGPS衛星からの信号とに基づいて、RTK計測のための補正データを生成し、生成された補正データは、無線機56によりアンテナ53を介して一定周期で送信される。
【0026】
一方、図1に示した車載側のGPS受信機43,44は、アンテナ33,34を介して無線機41,42により受信される補正データと、アンテナ31,32により受信されるGPS衛星からの信号に基づき、アンテナ31,32の3次元位置をRTK計測する、このRTK計測によって、アンテナ31,32の3次元位置が約±1〜2cmの精度で計測される。そして、計測された3次元位置データはパネルコンピュータ45に入力される。
【0027】
また、傾斜センサ24によって油圧ショベル1のピッチ角度、角度センサ21〜23によってそれぞれブーム5、アーム6及びバケット7の各角度が計測され、同様にパネルコンピュータ45に入力される。
【0028】
パネルコンピュータ25はGPS受信機43,44からの位置データと、各種センサ21〜24からの各角度データに基づき、一般的なベクトル演算と座標変換を行って、バケット7の先端の3次元位置を演算する。
【0029】
次に、図4〜図6を用いてパネルコンピュータ45における3次元位置演算処理について説明する。図4は、バケット7の先端の3次元空間での絶対位置を演算するために使用する座標系を示す図である。図4において、Σ0はGPSの準拠楕円体の中心に原点O0を持つグローバル座標系、Σ3は油圧ショベル1の上部旋回体3に固定され、旋回べースフレームと旋回中心との交点に原点O0を持つショベルベース座標系、Σ0はバケット7に固定され、バケット7の先端に中心O7を持つバケット先端座標系である。
【0030】
ショベルベース座標系Σ3の原点(旋回べースフレームと旋回中心との交点)O3に対するGPSアンテナ31,32の位置関係L1,L2,L3は既知であるので、グローバル座標系Σ0でのGPSアンテナ31,32の3次元位置と油圧ショベル1のピッチ角度θ2が分かれば、グローバル座標系Σ0でのショベルベース座標系Σ3の位置及び姿勢(上部旋回体3の方向)を求めることができる。また、ショベルベース座標系Σ3の原点(旋回べースフレームと旋回中心との交点)O3とブーム5の基端との位置関係α3、α4及びアーム5、アーム6、バケツト7の寸法α5,α6,α7が既知であるので、ブーム角度θ5、アーム脅度θ6、バケット角度θ7が分かれば、ショベルベース座標系Σ3でのバケット先端座標系Σ7の位置及び姿勢を求めることができる。従って、車載側のGPS受信機43,44で求めたGPSアンテナ31,32の3次元位置をグローバル座標系Σ0での値として求め、角度センサ24で油圧ショベル1のピッチ角度θ2を求め、角度センサ21〜23でブーム角度θ5、アーム角度θ6、バケット偶度θ7を求め、座標変換演算を行うことにより、バケット7の先端位置をグローバル座標系Σ0の値で求めることができる。
【0031】
図5はグローバル座標系の概念を説明する図である。図5において、GはGPSで用いる準拠楕円体であり、グローバル座標系Σ0の原点O0は準拠楕円体Gの中心に設定されている。また、グローバル座標系Σ0のx0軸方向は赤道Aと子午線Bの交点Cと準拠楕円体Gの中心とを通る線上に位置し、z0軸方向は準拠楕円体Gの中心から南北に延ばした線上に位置し、y0軸方向はx0軸とz0軸に直交する線上に位置している。GPSでは、地球上の位置を緯度及び経度と、準拠楕円体Gに対する高さ(深さ)で表現するので、このようにグローバル座標系Σ0を設定することで、GPSの位置情報をグローバル座標系Σ0の値に容易に変換することができる。
【0032】
図6は3次元位置演算処理手順を示すフローチャートである。図6において、まず、車載側のGPS受信機43で求めたGPSアンテナ31の3次元位置(緯度、経度、高さ)を上記の考えに基づきグローバル座標系Σ0の値GP1に変換する(ステップS10)、このための演算式は一般的によく知られているものなので、ここでは省略する。同様に、車載側のGPS受信機44で求めたGPSアンテナ32の3次元位置をグローバル座標系Σ0の値GP2に変換する(ステップS20)。次いで、傾斜センサ24で計測したピッチ角度θ2を入力し(ステップS30)、ステップS10,20で求めたGPSアンテナ31,32のグローバル座標系Σ0での3次元位置GP1,GP2と、そのピッチ角度θ2と、記憶装置に記憶したショベルベース座標系Σ3の原点(旋回べースフレームと旋回中心との交点)O3に対するGPSアンテナ31,32の位置関係L1,L2,L3とからショベルベース座標系Σ3の位置及び姿勢(上部旋回体3の方向)をグローバル座標系Σ0の値GPBで求める(ステップS40)。この演算は座標変換であり、一般的な数学的手法により行うことができる。次いで、角度センサ21〜23で検出したブーム角度θ5,アーム角度θ6,バケット角度θ7を入力し、これらの値と記憶装置に記憶したショベルベース座標系Σ3の原点(旋回べースフレームと旋回中心との交点)O3とブーム5の基端との位置関係α3,α4及びアーム5,アーム6,バケット7の寸法α5,α6,α7とからショベルベース座標系Σ3でバケット先端位置BPBKを求める(ステップS50)。この演算も座標変換であり、一般的な数学的手法により行うことができる。次いで、ステップS40で求めたグローバル座標系Σ0でのショベルベース座標系Σ3の値GPBとステップS50で求めたショベルベース座標系Σ3でのバケット先端位置BPBKとからグローバル座標系Σ0でのバケット先端位置GPBKを求める(ステップS60)。そして、このグローバル座標系Σ0でのバケット先端位置GPBKをローカル平面直角座標系に変換する。このための演算式は一般的によく知られているものなので、ここでは省略する。
【0033】
以上のような演算を行うことによって、バケット7の先端位置の3次元空間での絶対位置を求めることができる。
【0034】
なお、求めたバケット先端の3次元位置は無線機47によりアンテナ35を介して送信する。送信されたバケット7の先端の位置データは、アンテナ54を介して無線機57により受信され、コンピュータ58に入力される。コンピュータ58は入力されたバケット7の先端の位置データを保存すると共に、パネルコンピュータ25と同様に表示装置59のモニタ上に油圧ショベルの本体及びバケットのイラストを予め所定のメモリーに記憶された3次元目標地形上の3次元位置に表示する。これにより事務所51において油圧ショベル1の作業状態を管理することができる。
【0035】
次に図7及び図8に表示装置46の表示部に表示される画面の表示例を示す。
【0036】
図7は、表示装置46の表示部に表示される第1の位置表示例を示している。表示装置46には、第1画面46aと、第2画面46bが表示される。第1画面46aには、パネルコンピュータ45における3次元位置演算処理により求められた3次元位置を用いて、図7に示すように油圧ショベルの車体S及びバケットBのイラストを予め所定のメモリーに記憶された3次元目標地形G上の3次元位置に表示する。また、本実施の形態の掘削作業教示装置によって教示される目標掘削面TG(図中、斜線を施した面)は、他の掘削面に対して色を変えて表示する。表示装置48に表示される表示画面は、設定器48を操作して視点を任意に変えることが可能である。
【0037】
また、パネルコンピュータ45は、バケットの向いている方向を通過する縦断面の平面(バケット動作面すなわちフロント作業機の動作に伴いバケットが動作する上部旋回体に固定された平面)と3次元の前記目標掘削面との3次元上の交線を演算し、第2画面46bに、その交線と車体SとバケットBとを表示してオペレータに作業状況を知らせる。
【0038】
このように3次元位置表示と断面表示を同時に表示することにより、目標掘削面TGに対する車体SやバケットBの位置関係を直感的に表示することができる。
【0039】
図8は、表示装置46の表示部に表示される第2の位置表示例を示している。第1画面46aには、視点を上面としたときの2次元画像が表示される。オペレータが設定器48を用いて、3次元の地形を構成する小平面の内目標の一面を設定すると、パネルコンピュータ25は、現在向いている油圧ショベルのバケットの動作する方向PL(バケット動作面を真上から見た直線)と、設定された目標小平面の法線の水平面への投影線GLと、油圧ショベルの車体Sの旋回中心Oも表示する。
【0040】
図9は本実施の形態に用いる設定器48の外観斜視図である。設定器48は、表示装置46への表示開始をON/OFFするスイッチ48aと、手動で目標掘削面を設定するための手動設定スイッチ48dと、3次元表示の視点を移動するためのジョイスティック48cと、図8に示した上から見た2次元表示に表示装置の画面を切り替えるための2次元表示スイッチ48fと、図7に示した3次元表示に表示装置の画面を切り替えるための3次元表示スイッチ48gとを備えている。
【0041】
次に、図10に示すフローチャートを用いて、本実施の形態による掘削面教示装置としてのパネルコンピュータ45の処理機能について説明する。
【0042】
パネルコンピュータ45は、図8に示した油圧ショベルの車体及びバケットのイラストを予め所定のメモリーに記憶された3次元目標地形上の3次元位置に表示する際に、掘削作業のガイダンスとなる油圧ショベルのバケットの動作する方向線及び車体中心位置及び目標掘削面の垂線の水平面への投影線を同一画面上に表示する。
【0043】
設定された目標掘削面をバケットを操作して掘削する際、バケットの横幅があるためバケットの動作する方向線と目標掘削面の垂線の水平面への投影線がほぼ平行の状態でなければバケットのエッジが目標掘削面に食い込んだり、目標掘削面から浮くことになる。そこで、オペレータは表示装置の画面に表示されたバケットの動作する方向線及び車体中心位置及び目標掘削面の垂線の水平面への投影線を見ることにより、車体をどちらの方向にどれだけ移動させれば最も掘削作業に適しているか判断して車体を旋回動作したり、下部走行体を操作してバケットの動作する方向線と目標掘削面の垂線がほぼ平行の状態にすることができる。バケットの動作する方向線と目標掘削面の垂線がほぼ平行となったら、図7若しくは図8のサブ画面46bに示すバケットの向いている方向を通過する縦断面の平面と3次元の目標掘削面との3次元上の交線と車体及びバケットとを表示した画面を確認しながら、目標掘削面を掘削作業することにより、複雑な3次元地形であっても精度よく掘削することができる。
【0044】
バケットの動作する方向線と目標掘削面の垂線の水平面への投影線と平行でない場合、次のような手順で両者をほぼ平行にすることができる。第1は、図8に示した表示装置46の画像を見ながら、オペレータは、車体Sの中心Oを目標掘削面の垂線の水平面への投影線GLに近づくように下部走行体を走行し、次に、バケットの動作する方向線PLと目標掘削面の垂線の水平面への投影線GLがほぼ一致するように上部旋回体を旋回させることにより達成できる。第2には、バケットの動作する方向線PLと目標掘削面の垂線の水平面への投影線GLが平行になるように上部旋回体を旋回させることにより達成できる。
【0045】
ある目標掘削面をバケットを操作して掘削する際、バケットの横幅があるためバケットの動作する面と目標掘削面の垂線がほぼ平行の状態でなければバケットのエッジが目標掘削面に食い込んだり、目標掘削面から浮いてしまうことになる。それに対して、本実施の形態では油圧ショベルのバケットの動作する方向線及び車体中心位置及び目標掘削面の垂線の水平面への投影線を同一画面上に表示することにより、上部旋回体の旋回方向や下部走行体の移動方向を直感的に把握でき、車体の移動を容易にして、作業効率を向上できるものである。
【0046】
図10において、パネルコンピュータ45は、3次元表示における視点を初期値に設定する(ステップS105)。次に設定器48の3次元表示開始スイッチ48aがオンか否かを判定し(ステップS110)、オンであればステップS115に進む。パネルコンピュータ45は、GPS受信機43,44からアンテナ31,32の位置データを取得し、図4〜図6にて説明した方法によりバケット7の先端位置の3次元座標を演算する(ステップS115)。ステップS105,S100の詳細は、図6のステップS10〜S70にて説明したとおりである。
【0047】
次に設定器48のジョイスティック48eが操作されて視点が変更されたか否かを判断し(ステップS120)、変更された場合には変更された視点位置に対して3次元表示における視点の演算を行う(ステップS125)。そして図7に示したように3次元目標地形Gと車体SとバケットBを表示装置48の表示部に3元表示する(ステップS130)。次にバケットの動作方向の演算を行う(ステップS135)。
【0048】
次に設定器により構成面が選択されたか否かを判定し(ステップS140)、選択されるとステップS145に進む。オペレータが図9に示した設定器48の目標面設定スイッチ48dを用いて、3次元の地形を構成する小平面の内目標の一面を設定すると、ステップS145に進むことになる。
【0049】
構成面が選択されると、画面表示モードとして2次元表示モードが選択されているか否かを判定する(ステップS145)。図12に示した操作器48の2次元表示スイッチ48fが押されると、ステップS150に進み、そうでないときはステップS165に進む。
【0050】
2次元表示スイッチ48fが押されると、図8に示したように、表示装置46の第1画面46aには、視点を上面としたときの2次元画像が表示される。すなわち、オペレータが設定器48を用いて、3次元の地形を構成する小平面の内目標の一面を設定すると、パネルコンピュータ25は、現在向いている油圧ショベルのバケットの動作する方向PL(バケット動作面を真上から見た直線)と、3次元目標地形を構成する各小平面の垂線の水平面への投影線GLを表示する。また、油圧ショベルの車体Sの旋回中心Oも表示される。
【0051】
次にステップS140において選択された構成面の表示色を変更する(ステップS155)。すなわち、3次元表示の場合には、図7に示したように目標掘削面TGの表示色を他の構成面の表示色と変えて表示する。また、真上から見た2次元表示の場合には、図8に示したように目標掘削面TGの表示色を他の構成面の表示色と変えて表示する。
【0052】
そして、バケット動作方向と選択された構成面の3次元上の交線を演算し(ステップS160)、図10に示したように表示装置46のサブ画面46bに車体側面から見た3次元上の交線,車体S及びバケットBを表示する(ステップS165)。
【0053】
目標掘削面を設定したらオペレータは、図7に示したバケットの向いている方向を通過する縦断面の平面と3次元の目標掘削面との3次元上の交線と車体及びバケットとを表示した画面を確認しながら、目標掘削面を掘削作業することにより、複雑な3次元地形であっても精度よく掘削することができる。
【0054】
また、図11に示すように横方向にほぼ同じ方角で長い法面Gを形成する作業の場合、走行体Sを法面が走る方向に向けて順次移動しながら法面形成を行う。この場合、走行体Sの移動する方向線TLを同一画面上に表示することにより、法面Gのはしる方向と走行体Sの移動方向がほぼ平行であるかをオペレータは確認することができ、走行方向の微妙なずれにより逐一油圧ショベルの位置を修正する手間が削減でき、作業効率が向上する。
【0055】
なお、上記実施の形態はその詳細が上述の例に限定されず、種々の変形が可能である。一例として、上記実施の形態ではバケットと車体を表示したが、少なくともバケット先端の掘削部を表示すれば油圧ショベルの全体またはその一部分を表示してもよい。また、表示装置46,59に表示される目標掘削面の垂線方向線及び油圧ショベルなどの建設機械の作業機の動作する方向線及び車体中心位置、走行体の方向線は各々表示色を変えて表示してもよい。また、目標掘削面付近の複数の三角形ポリゴンの垂線方向線を同時に表示してもよい。また、目標掘削面を他の三角形ポリゴンとは異なる表示色で表示または点滅してもよい。一例として、目標掘削面の教示方法としてタッチパネルを採用し、指で直接画面上に表示される三角ポリゴンを指定してもよい。また、フロント装置の各部材間の相対角度を検出する手段として回動角を検出する角度計を用いたが、シリンダのストロークを検出してもよい。また、検出したバケット先端の3次元位置を事務所のコンビュータ58に送信しているが、特に事務所側での管理が必要なければ3次元位置データを送信しなくてもよい。
【0056】
以上説明したように、本実施の形態によれば、油圧ショベルが移動するに応じてまたバケットが移動するに応じて、そのバケットの下方の掘削すべき地形形状が変化する複雑な3次元地形であっても、現在の建設機械の位置に応じて目標掘削面を教示することにより作業機の向いている方向を通過する縦断面の平面とこの目標掘削面との三次元上の交線を演算し、その交線を前記表示装置に車体と作業機とを同一画面上に表示するため、オペレータは現在の建設機械の位置に応じた目標掘削面を把握でき、表示器に表示される目標掘削面と作業機を見ながら目標掘削面に沿って作業機を動作させれば三次元の目標地形を掘削できる。また、目標掘削面の垂線方向線と建設機械の作業機の向く方向線及び建設機械の中心位置を上面から見下ろした画面を同一の画面に表示するため、目標掘削面を掘削するに好適な建設機械の設置位置を直感的に容易に把握できる。さらに、建設機械の走行体の方向を示す方向線を同一画面上に表示する表示手段を有するため、走行動作により車体がどちらの方向に動作するかが直感的に把握でき、走行動作が無駄なく行え作業効率が向上する。
【0057】
【発明の効果】
本発明によれば、複雑な3次元地形における法面形成作業においても、目標とする適切な掘削面の把握が容易であり、かつ掘削時の車体の位置決めが容易で、作業効率を向上することができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態による建設機械の掘削作業教示装置を用いた作業位置計測システムの構成を示すブロック図である。
【図2】本発明の一実施の形態に係わる作業位置計測システムを搭載した油圧ショベルの外観を示す図である。
【図3】GPS基準局としての役割を持つ事務所側システムの構成を示すブロック図である。
【図4】バケットの先端の3次元空間での絶対位置を演算するために使用する座標系を示す図である。
【図5】グローバル座標系の概要を説明する図である。
【図6】3次元位置演算処理手順を示すフローチャートである。
【図7】表示装置の表示部に表示される第1の表示例を示している。
【図8】表示装置の表示部に表示される第2の表示例を示している。
【図9】本実施の形態に用いる設定器の外観斜視図である。
【図10】本実施の形態による掘削面教示装置としてのパネルコンピュータの処理機能を示すフローチャートである。
【図11】表示装置の表示部に表示される第3の表示例を示している。
【符号の説明】
1 油圧ショベル
2 下部走行体
3 上部旋回体
4 フロント作業機
5 ブーム
6 アーム
7 バケット
21〜23 角度センサ
24 傾斜センサ
25 旋回角センサ
31,32 GPSアンテナ
33,34 無線アンテナ
35 無線アンテナ
41,42 無線機
43,44 GPS受信機
45 パネルコンピュータ
46 表示装置
47 無線機
48 設定器
51 事務所
52 GPSアンテナ
53 無線アンテナ
54 無線アンテナ
55 GPS受信機
56 無線機
57 無線機
58 コンピュータ
59 表示装置
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an excavation work teaching device for a construction machine such as a hydraulic excavator, and in particular, teaches a target excavation work position when a excavation work machine such as a bucket is operated to perform excavation work on a three-dimensional target landform. The present invention relates to an excavation work teaching apparatus suitable for a construction machine.
[0002]
[Prior art]
When constructing roads on slopes such as mountainous areas, first of all, using a construction machine such as a hydraulic excavator or bulldozer, work such as cutting or embankment is performed to form the necessary ground, and the ground collapses around it. In order to prevent this, a slope is formed using a hydraulic excavator or the like. This slope forming operation is a highly accurate excavation molding operation and requires skill. In particular, when excavating excessively below the target excavation surface, mere backfilling is not enough, and compaction using a machine such as a compactor is necessary to achieve the same strength as the natural ground, greatly improving work efficiency. To drop. Therefore, the operator carefully performs the slope forming operation so as not to dig too much the target excavation surface.
[0003]
On the other hand, as means for teaching the target excavation surface to the operator, numerical values related to the excavation target, such as slope gradient and depth, are recorded at a number of representative positions from the results of surveying the current original topography. Installed piles and plates (tightening work). The operator looks at this tightness and operates the excavator working machine to form the target slope. However, when slopes are formed on complex terrain such as slopes in mountainous areas, it is necessary to install many target piles and plates along complicated 3D terrain. Needed a lot of time.
[0004]
Therefore, for example, as described in Japanese Patent Application Laid-Open No. 2001-98585, the three-dimensional position and the direction of the work machine of a construction machine such as a hydraulic excavator are compared with the three-dimensional target landform, and the work machine is directed. The 3D intersection line between the plane of the longitudinal section passing through the direction and the 3D target landform is calculated, and the intersection line is displayed on the same screen on the display device installed in the cab together with the illustration of the car body and the work implement. Devices for guiding a target excavation surface by displaying are known.
[0005]
For example, in the 3D-MC GPS excavator manufactured by Topcon Corporation, the triangle polygons constituting the three-dimensional terrain are displayed on a touch panel display device installed in the cab, and the target excavation among the displayed triangle polygons is displayed. There is known an apparatus that displays a target excavation surface in a different color by directly touching and teaching a polygon corresponding to the surface on a display device.
[0006]
[Patent Document 1]
Japanese Patent Laid-Open No. 2001-98585
[Problems to be solved by the invention]
However, in the apparatus described in Japanese Patent Laid-Open No. 2001-98585, a three-dimensional intersection line between a plane of a longitudinal section passing through a direction in which the work machine is facing and a three-dimensional target landform is calculated, and the intersection is calculated. By displaying the line on the same screen together with the illustration of the car body and work implement on the display device installed in the cab, you can surely know the surface to be excavated at the current position of the excavator, but the direction in which the work implement operates Is not directed in the normal direction of the target slope, the bucket width will bite into the target plane. Therefore, when actually performing the slope forming work, it is necessary to perform a work of aligning the direction of operation of the work machine in the direction perpendicular to the target slope in consideration of the width of the work machine, which complicates the work. There was a problem.
[0008]
In addition, the Topcon 3D-MC GPS excavator displays the angle between the direction in which the work equipment operates and the normal direction of the target slope in a separate frame on the same screen of the vehicle body and the three-dimensional target landform. The operator turns or runs the vehicle so that the angle becomes 0, but there is no specific guidance in which direction the vehicle should actually be operated. There is a problem that it is necessary for the operator to operate by himself / herself, and an inexperienced operator cannot easily position the vehicle body.
[0009]
The object of the present invention is to make it easy to grasp an appropriate excavation surface as a target even in a slope forming operation on complicated three-dimensional terrain, and to easily position a vehicle body during excavation, thereby improving work efficiency. An object of the present invention is to provide a machine excavation work teaching device.
[0010]
In the present specification, the “absolute position in the three-dimensional space” is a position expressed by a coordinate system set outside the traveling construction machine. For example, GPS is used as a three-dimensional position measuring device. The case is a position expressed by a coordinate system fixed to a reference ellipsoid used as a height reference in GPS. In the present specification, the coordinate system set to the reference ellipsoid is referred to as a global coordinate system.
[0011]
The local plane Cartesian coordinate system is defined by the survey method, and is a Cartesian coordinate system that divides the whole of Japan into 20 regions and regards each region as a plane. It is a three-dimensional rectangular coordinate system with the origin at the location. The image data of the three-dimensional target landform in this specification is created as values in the local plane rectangular coordinate system.
[0012]
[Means for Solving the Problems]
(1) To achieve the above object, the present invention provides a drilling operation teaching device for a construction machine for performing excavating operations that a three-dimensional target landform 3D terrain by operating the working machine for drilling, the The construction machine is composed of a lower traveling body, an upper swinging body that is pivotable with respect to the lower traveling body, a boom, an arm, and a bucket, each of which is configured to be rotatable up and down. A position measuring means for measuring the three-dimensional position of the work machine of the construction machine, and a display means for displaying the positional relationship between the three-dimensional target landform and the work machine according to the measurement result of the position measuring means, The means displays a large number of small planes constituting the three-dimensional target terrain and an illustration of the whole or a part of the construction machine including at least the tip of the work machine as a first screen, and the first screen displays the first screen. There are, operating with the rotation operation of the vertical direction of a plurality of small projection line to the normal of the horizontal surface of the target excavation plane of the plane of the construction machine which is facing currently working machine constituting the three-dimensional target landform A straight line when the operation direction of the bucket is viewed from directly above is displayed.
In this way, even in the case of complex three-dimensional terrain where the shape of the terrain to be excavated changes as the construction machine moves, the working machine of the construction machine that is currently facing the projection line of the normal of the target excavation surface Therefore, the installation position of the construction machine suitable for excavating the target excavation surface can be intuitively and easily grasped, and the work efficiency during excavation can be improved.
[0013]
(2) In the above (1), preferably, the display means simultaneously displays the center position of the vehicle body of the construction machine on the first screen.
[0014]
(3) In the above (1), preferably, the display means includes a straight line and the small plane when the operation direction of the bucket that operates in accordance with the rotation operation of the work implement in the vertical direction is viewed from directly above. the intersection line, and a second screen displayed by the cross sectional view of the bucket illustration of a whole or a portion of the construction machine is obtained by the so displayed simultaneously with the first screen.
[0015]
(4) In the above (1), preferably, the display means simultaneously displays a direction line in which the traveling body of the construction machine moves on the first screen.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an example in which a construction machine excavation work teaching apparatus according to an embodiment of the present invention is applied to a hydraulic excavator will be described with reference to FIGS.
[0017]
FIG. 1 is a block diagram showing a configuration of a work position measuring system using a construction machine excavation work teaching apparatus according to an embodiment of the present invention.
[0018]
The work position measurement system receives correction data (described later) from the reference station via the antennas 33 and 34, and the correction data received by the radios 41 and 42 and the GPS antennas 31 and 32. GPS receivers 43 and 44 that measure the three-dimensional positions of the GPS antennas 31 and 32 in real time based on the signals from the GPS satellites, and position data and angle sensors 21 and 22 from the GPS receivers 43 and 44. , 23, the inclination sensor 24, and the angle data from various sensors such as the turning angle sensor 25, the position of the tip (monitor point) of the bucket 7 of the excavator 1 is calculated, and a three-dimensional target landform to be described later is shown. Panel computer 45 in which data is stored in a predetermined memory, and a position calculated by the panel computer 45 A display device 46 for displaying data and a three-dimensional target landform with illustrations and the like, a radio 47 for transmitting position data calculated by the panel computer 45 via the antenna 35, and a target for performing excavation work in advance And a setting device 48 for setting and instructing an excavation surface. The GPS antenna 31 and the GPS receiver 43, and the GPS antenna 32 and the GPS receiver 44 each constitute one set of GPS (Groba1 Positioning System).
[0019]
FIG. 2 is a diagram showing the external appearance of a hydraulic excavator using the excavation work teaching apparatus for construction machines according to the embodiment of the present invention.
[0020]
The excavator 1 is provided with a lower traveling body 2, a lower traveling body 2 that is turnable on the lower traveling body 2, an upper revolving body 3 that forms a vehicle body together with the lower traveling body 2, and a front work machine 4 that is provided on the upper revolving body 3. Consists of. The front work machine 4 is provided with a boom 5 provided on the upper swing body 3 so as to be rotatable in the vertical direction, an arm 6 provided at the tip of the boom 5 so as to be rotatable in the vertical direction, and rotated at the tip of the arm 6 in the vertical direction. It is comprised with the bucket 7 which is the tip excavation part provided possible, and it drives by expanding / contracting the boom cylinder 8, the arm cylinder 9, and the bucket cylinder 10, respectively. The upper swing body 3 is provided with a cab 11.
[0021]
The hydraulic excavator 1 includes an angle sensor 21 that detects a rotation angle (boom angle) between the upper swing body 3 and the boom 5, and an angle sensor 22 that detects a rotation angle (arm angle) between the boom 5 and the arm 6. An angle sensor 23 that detects a rotation angle (bucket angle) between the arm 6 and the bucket 7, an inclination sensor 24 that detects an inclination angle (pitch angle) in the front-rear direction of the upper swing body 3, the lower traveling body 2 and the upper part A turning angle sensor 25 that detects a rotation angle (turning angle) with respect to the turning body 3 is provided.
[0022]
Further, the excavator 1 transmits two GPS antennas 31 and 32 for receiving signals from GPS satellites, radio antennas 33 and 34 for receiving correction data (described later) from a reference station, and position data. A wireless antenna 35 is provided. The two GPS antennas 31 and 32 are installed on the left and right of the rear part of the revolving unit that is off the turning center of the upper revolving unit 3.
[0023]
FIG. 3 is a block diagram showing a configuration of an office side system having a role as a GPS reference station.
[0024]
The office 51 that manages the position and work of the excavator 1 and the bucket 7 includes a GPS antenna 52 that receives signals from GPS satellites, a radio antenna 53 that transmits correction data to the excavator 1, and the excavator 1. The above-described hydraulic excavator is based on the wireless antenna 54 that receives the position data of the hydraulic excavator 1 and the bucket 7 described above, the three-dimensional position data measured in advance, and the signal from the GPS satellite received by the GPS antenna 52. The GPS receiver 55 as a GPS reference station that generates correction data for performing RTK (real-time kinematic) measurement by one GPS receiver 43, 44, and the correction data generated by the GPS receiver 55 via the antenna 53 A radio 56 for transmitting, and a radio 57 for receiving position data via an antenna 54; A computer 58 that performs calculations for displaying and managing the positions of the hydraulic excavator 1 and the bucket 7 based on the position data received by the wireless device 57 and displaying data indicating the three-dimensional target landform, and the positions calculated by the computer 58 A display device 59 for displaying data, management data, and three-dimensional target terrain with illustrations is installed. The GPS antenna 52 and the GPS receiver 55 constitute one set of GPS.
[0025]
Next, an outline of the operation of the work position measurement system according to the present embodiment will be described. In the present embodiment, in order to perform position measurement with high accuracy, RTK measurement is performed by the GPS receivers 43 and 44 shown in FIG. For this purpose, first, the GPS reference station 55 for generating the correction data shown in FIG. 3 is required. The GPS reference station 55 generates and generates correction data for RTK measurement based on the position data of the antenna 52 measured in advance three-dimensionally as described above and the signal from the GPS satellite received by the antenna 52. The correction data is transmitted by the wireless device 56 through the antenna 53 at a constant cycle.
[0026]
On the other hand, the on-vehicle side GPS receivers 43 and 44 shown in FIG. 1 receive correction data received by the radios 41 and 42 via the antennas 33 and 34 and GPS satellites received by the antennas 31 and 32, respectively. Based on the signal, the three-dimensional positions of the antennas 31 and 32 are measured by RTK. By this RTK measurement, the three-dimensional positions of the antennas 31 and 32 are measured with an accuracy of about ± 1 to 2 cm. The measured three-dimensional position data is input to the panel computer 45.
[0027]
Further, the pitch angle of the hydraulic excavator 1 is measured by the tilt sensor 24, and the angles of the boom 5, the arm 6, and the bucket 7 are respectively measured by the angle sensors 21 to 23, and are similarly input to the panel computer 45.
[0028]
The panel computer 25 performs general vector calculation and coordinate conversion based on the position data from the GPS receivers 43 and 44 and the angle data from the various sensors 21 to 24, and determines the three-dimensional position of the tip of the bucket 7. Calculate.
[0029]
Next, the three-dimensional position calculation process in the panel computer 45 will be described with reference to FIGS. FIG. 4 is a diagram showing a coordinate system used for calculating the absolute position of the tip of the bucket 7 in the three-dimensional space. In FIG. 4, Σ0 is a global coordinate system having an origin O0 at the center of a GPS-compliant ellipsoid, Σ3 is fixed to the upper swing body 3 of the excavator 1, and has an origin O0 at the intersection of the swing base frame and the swing center. The shovel base coordinate system, Σ0, is a bucket tip coordinate system fixed to the bucket 7 and having a center O7 at the tip of the bucket 7.
[0030]
Since the positional relationships L1, L2, and L3 of the GPS antennas 31 and 32 with respect to the origin (intersection of the turning base frame and the turning center) O3 of the excavator base coordinate system Σ3 are known, the GPS antennas 31 and 32 in the global coordinate system Σ0 are known. If the three-dimensional position and the pitch angle θ2 of the hydraulic shovel 1 are known, the position and orientation of the shovel base coordinate system Σ3 in the global coordinate system Σ0 (the direction of the upper swing body 3) can be obtained. Further, the positional relationship α3, α4 between the origin (the intersection of the turning base frame and the turning center) O3 of the shovel base coordinate system Σ3 and the base end of the boom 5, and the dimensions α5, α6, α7 of the arm 5, arm 6, and bucket 7. Since the boom angle θ5, the arm threatness θ6, and the bucket angle θ7 are known, the position and orientation of the bucket tip coordinate system Σ7 in the shovel base coordinate system Σ3 can be obtained. Accordingly, the three-dimensional positions of the GPS antennas 31 and 32 obtained by the GPS receivers 43 and 44 on the vehicle side are obtained as values in the global coordinate system Σ0, the pitch angle θ2 of the hydraulic excavator 1 is obtained by the angle sensor 24, and the angle sensor By calculating the boom angle θ5, the arm angle θ6, and the bucket couple θ7 from 21 to 23 and performing coordinate conversion calculation, the tip position of the bucket 7 can be obtained by the value of the global coordinate system Σ0.
[0031]
FIG. 5 is a diagram for explaining the concept of the global coordinate system. In FIG. 5, G is a compliant ellipsoid used in GPS, and the origin O0 of the global coordinate system Σ0 is set at the center of the compliant ellipsoid G. Further, the x0 axis direction of the global coordinate system Σ0 is located on a line passing through the intersection C of the equator A and the meridian B and the center of the reference ellipsoid G, and the z0 axis direction is a line extending from the center of the reference ellipsoid G to the north and south. The y0 axis direction is located on a line orthogonal to the x0 axis and the z0 axis. In GPS, the position on the earth is expressed by latitude and longitude, and the height (depth) with respect to the reference ellipsoid G. By setting the global coordinate system Σ0 in this way, the GPS position information is expressed in the global coordinate system. It can be easily converted to a value of Σ0.
[0032]
FIG. 6 is a flowchart showing a three-dimensional position calculation processing procedure. In FIG. 6, first, the three-dimensional position (latitude, longitude, height) of the GPS antenna 31 obtained by the GPS receiver 43 on the vehicle-mounted side is converted into a value GP1 of the global coordinate system Σ0 based on the above idea (step S10). ), The arithmetic expression for this is generally well known, and is omitted here. Similarly, the three-dimensional position of the GPS antenna 32 obtained by the in-vehicle side GPS receiver 44 is converted into a value GP2 of the global coordinate system Σ0 (step S20). Next, the pitch angle θ2 measured by the tilt sensor 24 is input (step S30), and the three-dimensional positions GP1 and GP2 in the global coordinate system Σ0 of the GPS antennas 31 and 32 obtained in steps S10 and 20 and the pitch angle θ2 thereof. And the position of the shovel base coordinate system Σ3 from the positional relationship L1, L2, L3 of the GPS antennas 31 and 32 with respect to the origin (intersection of the turning base frame and the turning center) O3 of the shovel base coordinate system Σ3 stored in the storage device The attitude (the direction of the upper swing body 3) is obtained by the value GPB of the global coordinate system Σ0 (step S40). This calculation is coordinate transformation and can be performed by a general mathematical method. Next, the boom angle θ5, the arm angle θ6, and the bucket angle θ7 detected by the angle sensors 21 to 23 are input, and these values and the origin of the shovel base coordinate system Σ3 stored in the storage device (the rotation base frame and the rotation center) (Intersection) The bucket tip position BPBK is obtained by the shovel base coordinate system Σ3 from the positional relationship α3, α4 between O3 and the base end of the boom 5 and the dimensions α5, α6, α7 of the arm 5, arm 6, and bucket 7 (step S50). . This calculation is also coordinate transformation and can be performed by a general mathematical method. Next, the bucket tip position GPBK in the global coordinate system Σ0 from the value GPB of the shovel base coordinate system Σ3 in the global coordinate system Σ0 obtained in step S40 and the bucket tip position BPBK in the shovel base coordinate system Σ3 obtained in step S50. Is obtained (step S60). Then, the bucket tip position GPBK in the global coordinate system Σ0 is converted into a local plane rectangular coordinate system. An arithmetic expression for this is generally well known and is omitted here.
[0033]
By performing the above calculation, the absolute position of the tip position of the bucket 7 in the three-dimensional space can be obtained.
[0034]
Note that the obtained three-dimensional position of the bucket tip is transmitted via the antenna 35 by the wireless device 47. The transmitted position data of the tip of the bucket 7 is received by the wireless device 57 via the antenna 54 and input to the computer 58. The computer 58 stores the input position data of the tip of the bucket 7 and, similarly to the panel computer 25, a three-dimensional image in which the main body of the hydraulic excavator and the illustration of the bucket are stored in advance in a predetermined memory on the monitor of the display device 59. Display in the 3D position on the target terrain. Thereby, the working state of the excavator 1 can be managed in the office 51.
[0035]
Next, FIG. 7 and FIG. 8 show display examples of screens displayed on the display unit of the display device 46.
[0036]
FIG. 7 shows a first position display example displayed on the display unit of the display device 46. The display device 46 displays a first screen 46a and a second screen 46b. In the first screen 46a, the illustrations of the vehicle body S and bucket B of the excavator are stored in a predetermined memory in advance as shown in FIG. 7, using the three-dimensional position obtained by the three-dimensional position calculation process in the panel computer 45. It is displayed at a three-dimensional position on the three-dimensional target landform G. In addition, the target excavation surface TG (the hatched surface in the figure) taught by the excavation work teaching apparatus of the present embodiment is displayed in a different color from the other excavation surfaces. The display screen displayed on the display device 48 can change the viewpoint arbitrarily by operating the setting device 48.
[0037]
Further, the panel computer 45 includes a plane having a vertical cross section that passes in the direction in which the bucket is facing (a bucket operating surface, that is, a plane that is fixed to the upper rotating body on which the bucket operates in accordance with the operation of the front work machine) and the three-dimensional A three-dimensional intersection line with the target excavation surface is calculated, and the intersection line, the vehicle body S, and the bucket B are displayed on the second screen 46b to notify the operator of the work status.
[0038]
By simultaneously displaying the three-dimensional position display and the cross-section display in this manner, the positional relationship of the vehicle body S and the bucket B with respect to the target excavation surface TG can be intuitively displayed.
[0039]
FIG. 8 shows a second position display example displayed on the display unit of the display device 46. On the first screen 46a, a two-dimensional image with the viewpoint as the top surface is displayed. When the operator uses the setting device 48 to set one target of the small planes constituting the three-dimensional terrain, the panel computer 25 selects the direction PL (bucket operation plane) in which the bucket of the hydraulic excavator currently facing is operating. (Straight line seen from directly above), the projection line GL of the normal line of the set target small plane onto the horizontal plane, and the turning center O of the vehicle body S of the excavator are also displayed.
[0040]
FIG. 9 is an external perspective view of the setting device 48 used in the present embodiment. The setting device 48 includes a switch 48a for turning on / off the display start on the display device 46, a manual setting switch 48d for manually setting a target excavation surface, and a joystick 48c for moving the viewpoint of three-dimensional display. 8, a two-dimensional display switch 48f for switching the screen of the display device to the two-dimensional display seen from above, and a three-dimensional display switch for switching the screen of the display device to the three-dimensional display shown in FIG. 48g.
[0041]
Next, processing functions of the panel computer 45 as the excavation surface teaching apparatus according to the present embodiment will be described using the flowchart shown in FIG.
[0042]
The panel computer 45 is a hydraulic excavator that serves as a guidance for excavation work when displaying the illustration of the body and bucket of the hydraulic excavator shown in FIG. 8 at a three-dimensional position on a three-dimensional target terrain previously stored in a predetermined memory. The direction lines in which the buckets operate, the center position of the vehicle body, and the projection lines on the horizontal plane of the target excavation surface are displayed on the same screen.
[0043]
When excavating the set target excavation surface by operating the bucket, the bucket has a lateral width, so the bucket operating direction and the vertical line of the target excavation surface perpendicular to the horizontal plane are not almost parallel to each other. The edge bites into the target excavation surface or floats from the target excavation surface. Therefore, the operator can move the vehicle body in which direction and how much by looking at the direction line of the bucket that is displayed on the screen of the display device and the projection line of the vertical position of the target excavation surface onto the horizontal plane. For example, it is possible to turn the vehicle body by judging whether it is most suitable for excavation work, or to operate the lower traveling body so that the direction line in which the bucket operates and the perpendicular line of the target excavation surface are substantially parallel. When the direction line in which the bucket operates and the perpendicular line of the target excavation surface are substantially parallel, the plane of the longitudinal section passing through the direction in which the bucket faces and the three-dimensional target excavation surface shown in the sub-screen 46b of FIG. By excavating the target excavation surface while checking the screen displaying the three-dimensional intersection line with the vehicle body and the bucket, it is possible to excavate even in complicated three-dimensional landform with high accuracy.
[0044]
When the direction line in which the bucket operates and the projection line of the perpendicular of the target excavation surface onto the horizontal plane are not parallel, both can be made substantially parallel by the following procedure. First, while viewing the image of the display device 46 shown in FIG. 8, the operator travels the lower traveling body so that the center O of the vehicle body S approaches the projection line GL of the perpendicular to the horizontal plane of the target excavation surface, Next, this can be achieved by turning the upper turning body so that the direction line PL in which the bucket operates and the projection line GL of the perpendicular of the target excavation surface onto the horizontal plane substantially coincide. Second, it can be achieved by turning the upper turning body so that the direction line PL in which the bucket operates and the projection line GL of the perpendicular of the target excavation surface onto the horizontal plane are parallel.
[0045]
When excavating a target excavation surface by operating the bucket, the edge of the bucket bites into the target excavation surface unless the vertical plane of the target excavation surface and the surface where the bucket moves are almost parallel because of the lateral width of the bucket, It will float from the target excavation surface. On the other hand, in the present embodiment, the direction line in which the bucket of the hydraulic excavator operates, the center line of the vehicle body, and the projection line on the horizontal plane of the perpendicular of the target excavation surface are displayed on the same screen, so that the turning direction of the upper swing body In addition, the moving direction of the lower traveling body can be intuitively grasped, the movement of the vehicle body can be facilitated, and the working efficiency can be improved.
[0046]
In FIG. 10, the panel computer 45 sets the viewpoint in the three-dimensional display to an initial value (step S105). Next, it is determined whether or not the three-dimensional display start switch 48a of the setting device 48 is on (step S110). If it is on, the process proceeds to step S115. The panel computer 45 acquires the position data of the antennas 31 and 32 from the GPS receivers 43 and 44, and calculates the three-dimensional coordinates of the tip position of the bucket 7 by the method described in FIGS. 4 to 6 (step S115). . Details of steps S105 and S100 are as described in steps S10 to S70 of FIG.
[0047]
Next, it is determined whether or not the viewpoint has been changed by operating the joystick 48e of the setting device 48 (step S120). When the viewpoint has been changed, the viewpoint in the three-dimensional display is calculated for the changed viewpoint position. (Step S125). Then, as shown in FIG. 7, the three-dimensional target land G, the vehicle body S, and the bucket B are three-way displayed on the display unit of the display device 48 (step S130). Next, the operation direction of the bucket is calculated (step S135).
[0048]
Next, it is determined whether or not a configuration surface has been selected by the setting device (step S140), and if selected, the process proceeds to step S145. If the operator uses the target plane setting switch 48d of the setting device 48 shown in FIG. 9 to set one target of the small planes constituting the three-dimensional landform, the process proceeds to step S145.
[0049]
When the component plane is selected, it is determined whether or not the two-dimensional display mode is selected as the screen display mode (step S145). If the two-dimensional display switch 48f of the operation device 48 shown in FIG. 12 is pressed, the process proceeds to step S150, and if not, the process proceeds to step S165.
[0050]
When the two-dimensional display switch 48f is pressed, as shown in FIG. 8, a two-dimensional image when the viewpoint is the upper surface is displayed on the first screen 46a of the display device 46. That is, when the operator uses the setting device 48 to set one target of the small planes constituting the three-dimensional terrain, the panel computer 25 moves the direction PL (bucket operation) of the hydraulic shovel bucket that is currently facing. A straight line when the surface is viewed from directly above) and a projection line GL onto the horizontal plane of the perpendicular of each small plane constituting the three-dimensional target landform. Further, the turning center O of the vehicle body S of the excavator is also displayed.
[0051]
Next, the display color of the component surface selected in step S140 is changed (step S155). That is, in the case of three-dimensional display, as shown in FIG. 7, the display color of the target excavation surface TG is changed from the display color of the other component surfaces. Further, in the case of the two-dimensional display viewed from directly above, the display color of the target excavation surface TG is changed from the display color of the other component surfaces as shown in FIG.
[0052]
Then, a three-dimensional intersection line between the bucket movement direction and the selected component surface is calculated (step S160), and the three-dimensional line viewed from the side of the vehicle body is displayed on the sub-screen 46b of the display device 46 as shown in FIG. The intersection line, the vehicle body S and the bucket B are displayed (step S165).
[0053]
When the target excavation plane is set, the operator displays the three-dimensional intersection line between the plane of the longitudinal section passing through the direction of the bucket shown in FIG. 7 and the three-dimensional target excavation plane, and the vehicle body and the bucket. By excavating the target excavation surface while checking the screen, it is possible to excavate accurately even in complicated three-dimensional terrain.
[0054]
Further, as shown in FIG. 11, in the operation of forming a long slope G in substantially the same direction in the lateral direction, the slope is formed while sequentially moving the traveling body S in the direction in which the slope runs. In this case, by displaying the direction line TL in which the traveling body S moves on the same screen, the operator can check whether the direction in which the slope G extends and the traveling direction of the traveling body S are substantially parallel, Subtle shifts in the direction of travel can reduce the trouble of correcting the position of the hydraulic excavator one by one, improving work efficiency.
[0055]
The details of the above embodiment are not limited to the above examples, and various modifications are possible. As an example, in the above embodiment, the bucket and the vehicle body are displayed. However, as long as at least the excavation part at the tip of the bucket is displayed, the entire hydraulic excavator or a part thereof may be displayed. In addition, the direction line of the target excavation surface displayed on the display devices 46 and 59, the direction line of the working machine of the construction machine such as a hydraulic excavator, the center position of the vehicle body, and the direction line of the traveling body are displayed in different colors. It may be displayed. Further, the perpendicular direction lines of a plurality of triangular polygons near the target excavation surface may be displayed simultaneously. Further, the target excavation surface may be displayed or blinked in a display color different from other triangular polygons. As an example, a touch panel may be adopted as a method for teaching a target excavation surface, and a triangular polygon displayed directly on the screen with a finger may be designated. Further, although an angle meter that detects a rotation angle is used as a means for detecting a relative angle between each member of the front device, a stroke of a cylinder may be detected. Further, the detected three-dimensional position of the bucket tip is transmitted to the office computer 58, but it is not necessary to transmit the three-dimensional position data unless management on the office side is particularly necessary.
[0056]
As described above, according to the present embodiment, in the complicated three-dimensional terrain where the terrain shape to be excavated under the bucket changes as the excavator moves and as the bucket moves. Even if there is, the target excavation surface is taught according to the current position of the construction machine to calculate the three-dimensional intersection line between the plane of the longitudinal section passing through the direction in which the work equipment is facing and the target excavation surface. Then, since the intersection line is displayed on the same screen on the display device, the operator can grasp the target excavation surface according to the current position of the construction machine and can display the target excavation displayed on the display unit. If the work machine is operated along the target excavation surface while looking at the surface and the work machine, the three-dimensional target landform can be excavated. In addition, the screen with the perpendicular direction line of the target excavation surface and the direction line of the construction machine facing the construction machine and the center position of the construction machine viewed from the top surface is displayed on the same screen, so construction suitable for excavating the target excavation surface The installation position of the machine can be grasped intuitively and easily. In addition, since it has a display means that displays the direction line indicating the direction of the traveling body of the construction machine on the same screen, it is possible to intuitively know which direction the vehicle body is moving by the traveling operation, and the traveling operation is not wasteful. Work efficiency is improved.
[0057]
【The invention's effect】
According to the present invention, it is easy to grasp a target appropriate excavation surface even in slope forming work on complicated three-dimensional terrain, and it is easy to position a vehicle body during excavation, thereby improving work efficiency. Can do.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a work position measurement system using a construction machine excavation work teaching apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing the external appearance of a hydraulic excavator equipped with a work position measurement system according to an embodiment of the present invention.
FIG. 3 is a block diagram showing a configuration of an office system having a role as a GPS reference station.
FIG. 4 is a diagram showing a coordinate system used for calculating an absolute position in a three-dimensional space of a tip of a bucket.
FIG. 5 is a diagram illustrating an outline of a global coordinate system.
FIG. 6 is a flowchart showing a three-dimensional position calculation processing procedure.
FIG. 7 shows a first display example displayed on the display unit of the display device.
FIG. 8 shows a second display example displayed on the display unit of the display device.
FIG. 9 is an external perspective view of a setting device used in the present embodiment.
FIG. 10 is a flowchart showing processing functions of a panel computer as an excavation surface teaching apparatus according to the present embodiment.
FIG. 11 illustrates a third display example displayed on the display unit of the display device.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Hydraulic excavator 2 Lower traveling body 3 Upper turning body 4 Front work machine 5 Boom 6 Arm 7 Bucket 21-23 Angle sensor 24 Inclination sensor 25 Turning angle sensor 31, 32 GPS antenna 33, 34 Wireless antenna 35 Wireless antenna 41, 42 Wireless 43, 44 GPS receiver 45 Panel computer 46 Display device 47 Wireless device 48 Setter 51 Office 52 GPS antenna 53 Wireless antenna 54 Wireless antenna 55 GPS receiver 56 Wireless device 57 Wireless device 58 Computer 59 Display device

Claims (4)

掘削用の作業機を作動させて3次元の地形を3次元の目標地形にする掘削作業を行う建設機械の掘削作業教示装置において、
前記建設機械は、下部走行体と、前記下部走行体に対して旋回可能である上部旋回体と、ブーム及びアーム及びバケットから構成され、それぞれ上下方向に回転可能である作業機とから構成され、
前記建設機械の作業機の3次元位置を計測する位置計測手段と、
この位置計測手段の計測結果に応じて前記3次元目標地形と前記作業機の位置関係を表示する表示手段とを備え、
前記表示手段は、前記3次元目標地形を構成する多数の小平面と、少なくとも前記作業機の先端部を含む前記建設機械の全体または一部分のイラストを第1画面として表示し、かつその第1画面において、前記3次元目標地形を構成する複数の小平面の内の目標掘削面の法線の水平面への投影線と現在向いている前記建設機械の作業機の上下方向への回転動作に伴い動作する前記バケットの動作方向を真上から見たときの直線とを表示することを特徴とする建設機械の掘削作業教示装置。
In an excavation work teaching apparatus for a construction machine that performs excavation work by operating a work machine for excavation to change a 3D terrain into a 3D target terrain,
The construction machine is composed of a lower traveling body, an upper revolving body that can swivel with respect to the lower traveling body, a boom, an arm, and a bucket, and a work machine that can rotate in the vertical direction.
Position measuring means for measuring the three-dimensional position of the work machine of the construction machine;
Display means for displaying the positional relationship between the three-dimensional target landform and the work implement according to the measurement result of the position measuring means;
The display means displays a large number of small planes constituting the three-dimensional target landform and an illustration of the whole or a part of the construction machine including at least a tip portion of the work machine as a first screen, and the first screen. in the operation with the rotation of the vertical direction of the construction machine of the working machine that is currently facing a projection line to the normal of the horizontal surface of the target excavation plane of the plurality of facets constituting the three-dimensional target landform A construction machine excavation work teaching device, characterized by displaying a straight line when the operation direction of the bucket is viewed from directly above .
請求項1記載の建設機械の掘削作業教示装置において、
前記表示手段は、前記第1画面に、前記建設機械の車体の中心位置を同時に表示することを特徴とする建設機械の掘削作業教示装置。
The construction machine excavation work teaching device according to claim 1,
The construction machine excavation work teaching apparatus according to claim 1, wherein the display means simultaneously displays a center position of a vehicle body of the construction machine on the first screen.
請求項1記載の建設機械の掘削作業教示装置において、
前記表示手段は、前記作業機の上下方向への回転動作に伴い動作する前記バケットの動作方向を真上から見たときの直線と前記小平面との交線、及び前記建設機械の全体または一部分であるバケットのイラストを断面図で表示する第2画面、前記第1画面と同時に表示することを特徴とする建設機械の掘削作業教示装置。
The construction machine excavation work teaching device according to claim 1,
The display means includes a line of intersection between a straight line and the small plane when the operation direction of the bucket that is operated in accordance with the rotation operation of the work machine in the vertical direction is seen from directly above , and the whole or a part of the construction machine. the second screen displaying a bucket illustration is the cross-sectional view, excavation work teaching device for a construction machine wherein the simultaneously displaying the first screen.
請求項1記載の建設機械の掘削作業教示装置において、
前記表示手段は、前記第1画面に、前記建設機械の走行体の移動する方向線を同時に表示することを特徴とする建設機械の掘削作業教示装置。
The construction machine excavation work teaching device according to claim 1,
The apparatus for teaching excavation work of a construction machine, wherein the display means simultaneously displays a direction line in which the traveling body of the construction machine moves on the first screen.
JP2002269476A 2002-09-17 2002-09-17 Construction machine excavation work teaching device Expired - Fee Related JP4012448B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2002269476A JP4012448B2 (en) 2002-09-17 2002-09-17 Construction machine excavation work teaching device
EP03797561.2A EP1541772B1 (en) 2002-09-17 2003-09-09 Excavation teaching apparatus for construction machine
PCT/JP2003/011484 WO2004027164A1 (en) 2002-09-17 2003-09-09 Excavation teaching apparatus for construction machine
US10/498,266 US7532967B2 (en) 2002-09-17 2003-09-09 Excavation teaching apparatus for construction machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002269476A JP4012448B2 (en) 2002-09-17 2002-09-17 Construction machine excavation work teaching device

Publications (2)

Publication Number Publication Date
JP2004107926A JP2004107926A (en) 2004-04-08
JP4012448B2 true JP4012448B2 (en) 2007-11-21

Family

ID=32267393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002269476A Expired - Fee Related JP4012448B2 (en) 2002-09-17 2002-09-17 Construction machine excavation work teaching device

Country Status (1)

Country Link
JP (1) JP4012448B2 (en)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006214236A (en) * 2005-02-07 2006-08-17 Hitachi Constr Mach Co Ltd Measurement display mechanism of construction machine
JP5202667B2 (en) * 2011-02-22 2013-06-05 株式会社小松製作所 Hydraulic excavator position guidance system and control method thereof
JP5941663B2 (en) * 2011-11-30 2016-06-29 住友建機株式会社 Construction machine monitoring system
JP5924961B2 (en) * 2012-02-02 2016-05-25 住友建機株式会社 Construction machine, construction machine management system, portable communication terminal, and method for displaying work status of construction machine
JP5603520B1 (en) * 2012-10-19 2014-10-08 株式会社小松製作所 Excavator drilling control system
JP5296945B1 (en) * 2012-11-13 2013-09-25 株式会社小松製作所 Excavator
JP5624108B2 (en) 2012-11-14 2014-11-12 株式会社小松製作所 Excavator display system and excavator
JP5952244B2 (en) * 2013-09-12 2016-07-13 日立建機株式会社 Basic information calculation device for excavation area restriction control and construction machine
US10794047B2 (en) * 2015-07-15 2020-10-06 Komatsu Ltd. Display system and construction machine
CN107923154B (en) * 2015-08-10 2024-02-20 住友建机株式会社 Excavator
JP6639960B2 (en) * 2016-03-07 2020-02-05 住友建機株式会社 Excavator
CN108884669A (en) 2016-03-31 2018-11-23 住友建机株式会社 excavator
JP6689763B2 (en) * 2017-02-06 2020-04-28 住友建機株式会社 Excavator
JP6745839B2 (en) * 2018-06-07 2020-08-26 株式会社小松製作所 Excavator control system for hydraulic excavator
JP6567736B2 (en) * 2018-06-20 2019-08-28 住友建機株式会社 Shovel, shovel display method, and shovel display device
JP6918867B2 (en) * 2018-06-20 2021-08-11 住友建機株式会社 Excavator, excavator display method and excavator display device
CN113167051A (en) 2018-11-14 2021-07-23 住友重机械工业株式会社 Shovel, control device for shovel
JP7040810B2 (en) * 2020-01-08 2022-03-23 株式会社ワイビーエム Construction position guidance system for ground improvement machines
JP6968923B2 (en) * 2020-02-28 2021-11-17 五洋建設株式会社 A system for identifying the shape of an embankment structure with high accuracy and a method for constructing an embankment structure with high accuracy
WO2022210667A1 (en) 2021-03-31 2022-10-06 住友重機械工業株式会社 Excavator and excavator control device
JP2023059397A (en) * 2021-10-15 2023-04-27 株式会社小松製作所 Display system and display method for work machine

Also Published As

Publication number Publication date
JP2004107926A (en) 2004-04-08

Similar Documents

Publication Publication Date Title
JP4012448B2 (en) Construction machine excavation work teaching device
EP1541772B1 (en) Excavation teaching apparatus for construction machine
JP4205676B2 (en) Construction information processing equipment for construction machinery
JP7133562B2 (en) Augmented reality display for material moving machines
JP3662587B2 (en) Method and apparatus for determining the position and orientation of a work machine
US5996702A (en) System for monitoring movement of a vehicle tool
US6711838B2 (en) Method and apparatus for determining machine location
US7513070B2 (en) Work support and management system for working machine
US10584466B2 (en) Shovel and method of controlling shovel
JP3987777B2 (en) Construction machine excavation work teaching device
JP2004125580A (en) Position measuring system of working machine
JP2007147588A (en) Position measuring system for working machine
KR102500969B1 (en) work machine
JP6918716B2 (en) Construction machinery
JP2002310652A (en) Position measuring system for traveling construction machine
JP7215742B2 (en) Construction Machinery Management System, Construction Machinery Management Program, Construction Machinery Management Method, Construction Machinery and External Management Device for Construction Machinery
JP2024052764A (en) Display control device and display method
JP6529058B1 (en) Construction machine management system, construction machine management program, construction machine management method, construction machine and external management device for construction machine
JP6910995B2 (en) Work machine
JP4202209B2 (en) Work machine position measurement and display system
JP2002340556A (en) Position-measuring system for travelling construction machine, position-measuring computer and position- measuring program
Vladimirovich et al. Improving of positioning for measurements to control the operation and management of earth-moving and construction machinery
WO2022070707A1 (en) Display control device and display control method
JP2020094469A (en) Construction machine management system, construction machine management program, construction machine management method, construction machine and external management device of construction machine
WO2021256528A1 (en) Calibration device and calibration method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070410

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070703

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070907

R150 Certificate of patent or registration of utility model

Ref document number: 4012448

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100914

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100914

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110914

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110914

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120914

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120914

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130914

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees