JP3827480B2

JP3827480B2 - Calibration method for automatic operation construction machine and its position measuring means

Info

Publication number: JP3827480B2
Application number: JP22936999A
Authority: JP
Inventors: 義紀江口; 榑沼　　透
Original assignee: Hitachi Construction Machinery Co Ltd
Current assignee: Hitachi Construction Machinery Co Ltd
Priority date: 1999-08-13
Filing date: 1999-08-13
Publication date: 2006-09-27
Anticipated expiration: 2019-08-13
Also published as: JP2001055762A

Description

【０００１】
【発明の属する技術分野】
本発明は、自動運転を行う建設機械に係わり、特に、ダンプトラックやクラッシャ等の作業機械へ自動積み込み作業を行う自動運転建設機械およびその位置計測装置の校正方法に関する。
【０００２】
【従来の技術】
通常、砕石現場等において、油圧ショベル等の建設機械によるダンプトラックやクラッシャ等への積み込み作業は、ある決まった場所から土石を掘削し、ダンプトラックのベッセルやクラッシャのホッパ等の決まった場所へ放土するという単調な繰り返し作業である。このような単調な繰り返し作業は、オペレータにとって苦痛であり、人手を介在せずに自動的に行わせるという欲求が高まっている。
【０００３】
従来、このような積み込み作業の自動化の一つの方法としては、掘削位置と放土位置とを教示して、これらの位置間で、油圧ショベルを走行させずに旋回作業を主とする繰り返し作業を行わせている。例えば、特開平９−１９５３２１号公報には、教示された動作を繰り返して、油圧ショベルの掘削から放土までの一連の作業を自動的に行わせる技術が開示されている。
【０００４】
しかし、この従来技術では、掘削によるジャッキアップや旋回の慣性力等の原因により、自動運転ショベル自体が位置ずれしてしまうという可能性がある。また、ダンプトラックが毎回、同じ場所に停車するとは限らず、ダンプトラック上の放土すべき適切な位置に積み込むことが出来ない可能性がある。そこで、この問題を解決するために、自動運転ショベルにビデオカメラ等の撮像手段を設置し、撮像データからダンプトラック等の目標物としての作業機械の所定の放土位置を算出して放土することが考えられる。例えば、特開平１０−８８６２５号公報には、ホイールローダーにステレオビジョンシステムを塔載して、掘削目標場所までの距離を測定して掘削を行い、また、放土目標場所までの位置を測定して放土を行わせる技術が開示されている。
【０００５】
【発明が解決しようとする課題】
ところで、このような作業目標までの距離を測定して作業を行わせる場合、距離センサをどこに設置してもその測定結果を自動運転建設機械の制御系に反映させるためには、自動運転建設機械上における距離センサの位置を校正しておく必要がある。通常、この校正は建設機械の寸法からその位置を求めたり、外部に設けた校正装置によって校正を行ったりする必要がある。
【０００６】
しかし、距離センサの位置を動かしたり、付け替えた時には校正を行わなければならない。この校正に手間がかかると建設機械の稼働率の低下につながるので、作業現場ではこの校正を平易にかつ迅速に行う必要がある。
【０００７】
また、建設機械の寸法から校正を行う場合は、取り付ける建設機械の大きさが変わるとその校正値も変わるので、そのたびにシステムの変更を行う必要があり、この場合も稼働率の低下をきたすので、どのような建設機械の機種にも迅速に対応できる校正方法が必要となる。
【０００８】
本発明の目的は、上記の間題点を鑑みてなされたものであり、自動運転建設機械本体上に校正のための基準点を設けることにより稼働現場での校正と建設機械の機種が変わることによる影響を受けない校正方法を可能にした自動運転建設機械およびその位置計測装置の校正方法を提供することにある。
【０００９】
【課題を解決するための手段】
本発明では上記の課題を解決するために次のような手段を採用した。
【００１０】
第１の手段は、教示して記憶された教示データを順次読み出して、油圧ショベルの掘削から放土までの一巡する作業を繰り返し行う自動運転建設機械において、前記自動運転建設機械本体上に設置される位置を計測する位置計測手段と、該位置計測手段によって掘削位置を計測し、計測された掘削位置によって教示された掘削位置を補正するとともに、前記位置計測手段によって放土位置を計測し、計測された放土位置によって教示された放土位置を補正する手段と、前記自動運転建設機械本体上または前記自動運転建設機械本体に取り付け可能に設けられ、前記自動運転建設機械本体上での互いの位置が既知である複数の基準点を備える手段とを備え、前記位置計測手段により前記基準点の位置を計測することにより、前記位置計測手段の前記自動運転建設機械に対する位置を校正可能にしたことを特徴とする。
【００１１】
第２の手段は、第１の手段において、前記基準点を備える手段は、前記油圧ショベルのフロント部に設けられることを特徴とする。
【００１２】
第３の手段は、第２の手段において、前記基準点を備える手段は、前記フロント部に取り付けられる校正用治具であることを特徴とする。
【００１３】
第４の手段は、第１の手段ないし第３の手段のいずれか１つの手段おいて、前記位置計測手段は、少なくとも１台のカメラにより構成される視覚センサを備えることを特徴とする。
【００１４】
第５の手段は、前記自動運転建設機械本体上に設置される位置を計測する位置計測手段と、該位置計測手段によって掘削位置を計測し、計測された掘削位置によって教示された掘削位置を補正するとともに、前記位置計測手段によって放土位置を計測し、計測された放土位置によって教示された放土位置を補正する手段と、前記自動運転建設機械本体上に設けられ、前記自動運転建設機械本体上での互いの位置が既知である複数の基準点とを備え、教示して記憶された教示データを順次読み出して、油圧ショベルの掘削から放土までの一巡する作業を繰り返し行う自動運転建設機械に設けられる位置計測手段の校正方法において、前記位置計測手段により前記基準点の位置を計測することにより、前記位置計測手段の前記自動運転建設機械に対する位置を校正することを特徴とする。
【００１５】
第６の手段は、教示して記憶された教示データを順次読み出して、油圧ショベルの掘削から放土までの一巡する作業を繰り返し行う自動運転建設機械に設けられる位置計測手段の校正方法において、前記油圧ショベルを校正のための所定の姿勢にするステップと、前記油圧ショベルのフロントの各関節における角度を検出して自動運転建設機械本体の制御座標系から前記自動運転建設機械本体上での互いの位置が既知である複数の基準点を備える基準点座標系への第１の変換行列を求めるステップと、前記自動運転建設機械本体に設けられる撮影手段により前記基準点を撮像して前記基準点座標系から撮像座標系への第２の変換行列を求めるステップと、前記第１の変換行列と前記第２の変換行列から前記制御座標系から前記撮像座標系への第３の変換行列を求めるステップと、前記第３の変換行列の逆変換行列を求めるステップとからなることを特徴とする。
【００１６】
第７の手段は、第５の手段または第６の手段のいずれか１つの手段において、前記位置計測手段の校正は、前記油圧ショベルのフロント部の姿勢を複数回変更して実施することを特徴とする。
【００１７】
【発明の実施の形態】
以下に、本発明の一実施形態を図１から図９を用いて説明する。
【００１８】
図２は、本実施形態に係わる自動運転建設機械およびその作業形態の一例を示す図である。
【００１９】
同図において、１は後述する土石貯留所４に貯留された土石４１を掘削して後述するダンプトラック３に放土する自動運転建設機械の一例としての自動運転ショベル、２は自動運転ショベル１から遠隔の位置に配置され自動運転ショベル１を遠隔操作する遠隔操作装置、３は土石４１が積み込まれるベッセル３１を備え、自動運転ショベル１から放土された土石を積み込み運搬するダンプトラック、４は土石貯留所、４２は土石貯留所４の範囲を示すために設けた目印である。
ここで、自動運転ショベル１は、さらに走行体１１と、走行体１１上に旋回可能に設けた旋回体１２と、旋回体１２に俯仰動可能に設けたブーム１４と、ブーム１４の先端に回動可能に設けたアーム１５と、アーム１５の先端に回動可能に設けたバケット１６と、旋回体１２とブーム１４との俯仰角を検出する角度センサ１７と、ブーム１４とアーム１５との回動角を検出する角度センサ１８と、アーム１５とバケット１６との回動角を検出する角度センサ１９と、旋回体１２の旋回角を検出する角度センサ６０と、旋回体１２に設けた運転台１３と、運転台１３の屋上に設けたダンプトラック３の積み込み場所と土石貯留所４を撮像するために設けたビデオカメラ６１と、ビデオカメラ６１を水平方向及び垂直方向に旋回可能にする雲台６２と、自動運転ショベル１と遠隔操作装置２との間で各種のデータの送受信を行う無線機６３とから構成されている。
【００２０】
なお、本実施形態では、ビデオカメラ６１を運転台１３の屋上に設置したが、撮像に適した場所であるならば自動運転ショベル１のどこに設置してもよい。
【００２１】
図１は、本実施形態に係る自動運転建設機械の主として再生動作時の制御機構を示すブロック図である。
【００２２】
なお、同図において図２に示す同一符号の箇所は同一箇所を示す。
【００２３】
同図において、１０は自動運転ショベル１に搭載される装置の範囲を示し、１００は主としてコンピュータで構成される自動運転を行うための各種の制御を行う自動運転コントローラ、１０１は後述するサーボ制御部１００６から出力する駆動信号によって駆動される補助制御弁、１０２は補助制御弁１０１から出力される油圧信号によって制御され、後述するアクチュエータ１０３に流入する油量を制御する主制御弁、１０３は自動運転ショベル１の旋回体１２、ブーム１４、アーム１５およびバケット１６の各シリンダおよび旋回モータを作動するためのアクチュエータ、１０４は後述するサーボ前処理部１００５へ補正値を出力する補正値計算部、１０４４は後述する位置計測部１０４１で取り込まれる画像等を確認するモニタ、６４は雲台６２の俯仰角度と旋回角度を検出して、これらを制御する雲台制御部、６５は雲台制御部６４を介してオペレーターが雲台の俯仰角度と旋回角度を操作する雲台操作部、６６は再生動作時の作業位置の教示時に、後述する教示位置格納部１００１に教示位置データおよび教示コマンド格納部１００２に教示コマンドをそれぞれ格納させる教示操作部である。
【００２４】
さらに、自動運転コントローラ１００は、教示時に教示操作部６６による教示操作に従って作成された教示位置データと各教示位置での雲台６２の教示位置データを記憶する教示位置格納部１００１と、教示時に作成された教示コマンドを記憶する教示コマンド格納部１００２と、教示コマンド格納部１００２からの教示コマンドをシーケンシャルに読み出し、教示位置出力部１００４に教示位置データを出力させるための指令信号を出力すると共に、教示位置データ間の移動速度等の指令信号を出力するコマンドインタプリタ部１００３と、コマンドインタプリタ部１００３からの指令に従って教示位置格納部１００１に格納されている教示位置データを出力する教示位置出力部１００４と、教示位置出力部１００４から出力される教示位置データを補間処理して補間された位置データに後述する補正値算出部１０４３から出力される補正値を加算して目標位置データを出力するサーボ前処理部１００５と、サーボ前処理部１００５からの入力値と現在位置演算部１００７からの帰還値とを比較してその偏差を補正する駆動信号を補助制御弁１０１に出力するサーボ制御部１００６と、角度センサ１７〜１９，６０からの検出信号に基づいて自動運転ショベル１の現在位置を演算する現在位置演算部１００７と、から構成される。
【００２５】
また、補正位置計算部１０４は、ビデオカメラ６１により撮像した画像信号を取り込み、コマンドインタプリタ部１００３や教示操作部６６からの指令により目標位置を計測する位置計測部１０４１と、自動運転ショベル１とダンプトラック３との教示時の位置関係および自動運転ショベル１と土石貯留所４との教示時の位置関係を記憶する基準教示位置格納部１０４２と、コマンドインタプリタ部１００３からの指令による位置計測部１０４１の計算結果と基準教示位置格納部１０４２に格納されているの基準位置とにより目標位置の補正値を算出する補正値算出部１０４３と、から構成される。
【００２６】
また、遠隔操作装置２は、再生動作時に、後述するコマンドインタプリタ部１００３に自動運転ショベル１の再生動作の起動指令または停止指令を出力する再生操作部２１と、前記指令を車載装置１０に送信する無線機２２とから構成される。
【００２７】
ここで、教示時は、オペレーターは、教示操作部６６によって自動運転ショベル１の姿勢を教示すると共に、自動運転ショベルが掘削動作に入る前には放土位置がモニタ１０４４に映し出されるように、また、放土動作に入る前には掘削位置がモニタ１０４４に映し出されるように、雲台操作部６５により雲台６２の姿勢を操作する。この時の姿勢は雲台の教示位置として教示位置格納部１００１に記憶される。
【００２８】
次に、図１に示す位置計測部１０４１における位置計測の処理手順を図３に示すフローチャートを用いて説明する。
【００２９】
再生動作時、ビデオカメラ６１によって撮像された画像信号は、位置計測部１０４１に入力される。位置計測部１０４１に取り込まれた画像信号は、ステップ３０１において、フィルタでノイズ除去され、ステップ３０２でエッジ抽出のオペレータを用いてエッジの抽出が行われる。次に、ステップ３０３では抽出したエッジからハフ変換等の手法を用いて直線の抽出を行う。ステップ３０４においてはステップ３０３で抽出した直線とステップ３０２で抽出したエッジとから、画像内の線分の端点と交点を検出する。次に、ステップ３０５において、あらかじめ登録してある対象物のモデルとステップ３０４で得られた線分の情報とから対象物の形状の認識を行う。形状の認識が出来ると、ステップ３０６において、ベッセル４１上の特徴点の位置を算出する。
【００３０】
ここで、位置計測部１０４１が認識したベッセル４１の形状および特徴点Ｓ１，Ｓ２，Ｓ３，Ｓ４の例を図４に示す。
【００３１】
また、特徴点抽出を簡略化するためにダンプトラック３のベッセル３１に特徴点を明確にするための目印として光源等を取り付けて、明るさの違いによって特徴点を抽出するようにしてもよい。
【００３２】
ここで、上記の特徴点の算出は、図５に示すように、一般に、少なくともベッセル３１等の対象物の３点の特徴点間の距離が既知であって、ビデオカメラ６１で撮像した画面内でのこれらの点の位置ｓ１〜ｓ４が解れば、後述する公知の計算方法によって各点の空間での位置を求めることが出来る。
【００３３】
同図において、７０に示すＸｏ，Ｙｏ，Ｚｏはベッセル４１の目標物に設定した目標物座標系であり、この座標系７０は特徴点の座標を表わすことが出来れば空間中のどこにとってもよいが、ここでは特徴点Ｓ１〜Ｓ４のうちの１つである点ｓ１を目標物座標系の原点としている。７１に示すＸｃ，Ｙｃ，Ｚｃはカメラ６１のレンズ中心を原点としたカメラ座標系である。７２に示すＸｗ，Ｙｗ，Ｚｗは自動運転ショベル１を自動制御するための基準となる制御座標系である。
【００３４】
なお、前述の公知の計算方法としては、大村等によって発表された電子情報通信学会論文誌Ｄ−ＩＩＶｏ１．Ｊ７２−Ｄ−ＩＩＮｏ．９ｐｐ１４４１−１４４７が知られている。
【００３５】
一般的に、座標系同士の位置関係は４行４列の同次変換行列で表すことができる。以下に、本実施形態に係る座標系同士の位置関係を表わす４行４列の同次変換行列について説明する。
【００３６】
図５において、目標物座標系７０からカメラ座標系７１への変換行列をｃＨｏ、カメラ座標系７１から制御座標系７２への変換行列をｗＨｃ、目標物座標系７０から制御座標系７２への変換行列をｗＨｏとすると、各変換行列間の関係は、
ｗＨｏ＝ｗＨｃ×ｃＨｏ …（１）
で表わすことが出来る。
【００３７】
この変換行列は、例えば、目標物座標系７０での任意の点の座標を（ｘｏ，ｙｏ，ｚｏ）とし、同じ点が制御座標系７２で（ｘｗ，ｙｗ，ｚｗ）という座標で表わせる時、
【数１】

という関係が成り立つ。
【００３８】
前述した公知の計算方法を用いれば、目標物座標系７０上の配置が既知である基準点とカメラで撮像した基準点の画像から３次元空間上での基準点の座標が求まるので、（１）式における目標物座標系７０からカメラ座標系７１への変換行列ｃＨｏを求めることが出来る。また、カメラ座標系７１から制御座標系７２への変換行列ｗＨｃは、カメラの車体上の設置場所によって求まるが後述する方法によって校正を行う。このようにして変換行列ｃＨｏと変換行列ｗＨｃが求まると、（１）式により、目標物座標系７０から制御座標系７２への変換行列ｗＨｏが求まり、その結果、目標物と制御座標系の位置関係を求めることが出来る。
【００３９】
次いで、ステップ３０７において、算出された特徴点の位置情報からカメラ座標系７１における目標位置を算出する。次いで、ステップ３０８において前述した方法で算出した校正値を基にカメラ座標系７１から制御座標系７２への変換を行って制御座標系７２における目標位置を算出する。
【００４０】
掘削位置の抽出については、図６に示すように、土石貯留所４の左右にその範囲を示すための４つの特徴点Ｓ１’，Ｓ２’，Ｓ３’，Ｓ４’をもった目印４２を設置する。ここでも目印４２の位置関係は既知とすることが出来るので、目印４２をビデオカメラ６１により撮像し、前記と同様の方法により土石貯留所４の位置を算出することができる。
【００４１】
自動運転を行う際には、以上のようにして計測した目標位置と基準教示位置格納部１０４２に格納している基準位置とを補正値算出部１０４３で比較して補正値を算出する。算出した補正値をサーボ前処理部１００５に補正値として与えることにより位置補正をしながら作業を行う。
【００４２】
次に、（１）式における変換行列ｗＨｏを求める方法、即ち、ビデオカメラ６１の位置を校正する方法について図７から図９を用いて説明する。
【００４３】
図７はバケット１６に校正用治具を取り付けた自動運転ショベルを示す図であり、図８は図７に示すバケット１６付近の拡大図である。
【００４４】
これらの図において、１６１は校正時にバケット１６に取り付けられる校正用の治具、１６１３は治具１６１上に原点を持つ治具座標系（Ｘｓ，Ｙｓ，Ｚｓ）、１６１１，１６１２は両者が交差する点を治具座標系の原点として示すための線、１６１４は治具１６１の表面に施され、それぞれの配置が既知であるマークである。
【００４５】
なお、図７の各座標系は座標軸が２本しか記載されていないが、残りの軸は右手系でとると考える。
【００４６】
また、マーク１６１４には十字の図形が用いられているが、このマーク１６１４は画像処理により検出することができ、また、各マーク１６１４の配置が分かるようなものであればどのような形状でもよい。治具座標系（Ｘｓ，Ｙｓ，Ｚｓ）が設定されると、各マーク１６１４の原点からの配置を確定することができる。
【００４７】
治具１６１はバケット１６に固定してあり、バケット１６に対する取り付け位置は既知であり、また、この治具１６１は校正の時にだけ取り付け、通常の作業を行っている時は外ずしておく。
【００４８】
この治具１６１上のマーク１６１４の位置は、バケット１６への取り付け位置が既知であるので、フロント部の各関節に取り付けてある角度計１７〜１９の出力から、ショベル本体に対するそれぞれの位置、即ち、制御座標系７２における治具１６１上のマーク１６１４の位置が既知となる。即ち、制御座標系７２から治具座標系１６１３への変換行列ｓＨｗは治具１６１の取り付け位置とフロントの角度より求まる。
【００４９】
一方、治具１６１を本実施形態に係る位置計測装置のカメラ６１で撮影し、前述の方法にて位置計測を行うと治具座標系１６１３からカメラ座標系７１への変換行列ｃＨｓを求めることが出来る。
【００５０】
従って、上記の２つの変換行列ｓＨｗ，ｃＨｓから以下の式により制御座標系７２からカメラ座標系７１への変換行列ｃＨｗを求めることができる。
【００５１】
ｃＨｗ＝ｃＨｓ×ｓＨｗ …（３）
ここで、ｗＨｃ＝ｃＨｗ^−１ …（４）
であるので、（３）式と（４）式により変換行列ｗＨｃが求まり、（１）式において、変換行列ｗＨｃおよび変換行列ｃＨｏが求まることにより、制御座標系７２とカメラ座標系７１の位置関係を表わす変換行列ｗＨｏを求めることができる。
【００５２】
ここで、上記の変換行列ｗＨｃを求める、即ち、制御座標系７２に対するカメラ座標系７１の校正に係わる処理手順を図９に示すフローチャートを用いて説明する。
【００５３】
まず、ステップ９０１において、フロントを校正の姿勢に移動させる。校正の姿勢は治具１６１上のマークがカメラ６１で撮影した画面内に入っていればどのような姿勢でも良いが、出来るだけ光軸と治具１６１が垂直になるように、即ち、画面と治具１６１の面が平行となるような姿勢が望ましい。次に、ステップ９０２において、校正の姿勢の状態のフロントの姿勢を、各関節に取り付けてある角度計から検出する。次に、ステップ９０３において、ステップ９０２で検出したフロントの姿勢より制御座標系７２から治具座標系１６１３への変換行列であるｓＨｗを算出する。次にステップ９０４において、治具１６１の画像を取り込む。次にステップ９０５において撮像した治具１６１の画像から線分を抽出し交差する線分であるマーク１６１４の画面上の座標を抽出する。次にステップ９０６において、既知である治具座標系１６１３上のマーク１６１４の座標とステップ９０５で抽出した画面上のマークの座標から前述の公知の計算方法によって空間上のマーク１６１４の座標を求め、その結果から治具座標系１６１３からカメラ座標系７１への変換行列ｃＨｓを算出する。次にステップ９０７において、ステップ９０３で算出した制御座標系７２から治具座標系１６１３への変換行列ｓＨｗとステップ９０６で算出した治具座標系１６１３からカメラ座標系７１への変換行列ｃＨｓを（３）式へ代入して制御座標系７２からカメラ座標系７１への変換行列ｃＨｗを算出する。次にステップ９０８において、ステップ９０７で算出した制御座標系７２からカメラ座標系７１への変換行列ｃＨｗを（４）式へ代入して、カメラ座標系７１から制御座標系７２への変換行列ｗＨｃを算出する。
【００５４】
次にステップ９０９においてその計算結果を保存する。保存した変換行列ｗＨｃは、図３に示す再生動作時のフローチャートのステップ３０８における（１）式による演算に使用する。
【００５５】
以上のような手順により、実際の取り付け位置から校正した位置関係を求めることが出来る。
【００５６】
本実施形態では、校正のために取る姿勢を一つにしているが、図９に示すフローチャートのステップ９０５の抽出が終わったところでフロントの姿勢を変更し、処理を繰り返しサンプルする点数を増やすことにより結果の冗長性を増すことが出来る。
【００５７】
また、本実施形態では、校正用の治具１６１をバケット１６に取り付けているが、油圧ショベル１上のその他の部位に治具を取り付けて校正を行うことも出来る。
【００５８】
さらに、本実施形態では、バケット１６に治具１６１を取り付けて校正を行っているが、治具を取り付けずにバケット１６そのものの特徴点、例えば、爪の先やバケットの縁を抽出して算出することにより、校正を行うこともできる。
【００５９】
【発明の効果】
本発明によれば、位置計測手段により自動運転建設機械本体に設けた基準点の位置を計測することにより、位置計測手段の自動運転建設機械に対する位置を校正することができるので、平易な手段で位置計測手段の校正を行うことができ、自動運転建設機械の稼働率を低下させずにメンテナンスを行うことができる。
【００６０】
また、制御対象となるフロント部に基準点を設けたので、制御座標系に対する基準点の位置を校正するために別途計測する必要がなく、建設機械の機種によって計測方法を変更する必要がなくなり、機種や取り付け位置を変更しても迅速に校正を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る自動運転建設機械の主として再生動作時の制御機構を示すブロック図である。
【図２】本実施形態に係わる自動運転建設機械およびその作業形態の一例を示す図である。
【図３】図１に示す位置計測部１０４１における位置計測の処理手順を示すフローチャートである。
【図４】図１に示す位置計測部１０４１が認識したベッセル４１の形状および特徴点Ｓ１，Ｓ２，Ｓ３，Ｓ４を示す図である。
【図５】図２に示すベッセル３１等の目標物に設定した目標物座標系７０、テレビカメラ６１のレンズ中心を原点にしたカメラ座標系７１、および自動運転ショベルを自動運転するための基準となる制御座標系７２を示す図である。
【図６】図１に示す位置計測部１０４１が土石貯留所４の特徴点Ｓ１’，Ｓ２’，Ｓ３’，Ｓ４’として認識する目印４２を示す図である。
【図７】本実施形態に係る治具１６１がバケット１６に取り付けられた自動運転ショベル１を示す図である。
【図８】図７に示す治具１６１が取り付けられたバケット１６付近の拡大図である。
【図９】本実施形態に係る位置計測装置の制御座標系７２に対するカメラ座標系７１の校正に係る処理手順を示すフローチャートである。
【符号の説明】
１自動運転建設機械本体
１０車載装置
１００１教示位置格納部
１００２教示コマンド格納部
１００３コマンドインタプリタ部
１００４教示位置出力処理部
１００５サーボ前処理部
１００６サーボ制御部
１００７現在位置演算部
１０１補助制御弁
１０２主制御弁
１０３アクチュエータ
１０４補正位置計算部
１０４１位置計測部
１０４２基準位置格納部
１０４３補正値算出部
１０４４モニタ
１６バケット
１６１校正用治具
２遠隔操作装置
２１再生操作部
２２，６３無線機
３ダンプトラック
３１ベッセル
４土石貯留所
４１土石
４２土石貯留範囲目印
６１ビデオカメラ
６２雲台
６４雲台制御部
６５雲台操作部
６６教示操作部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a construction machine that performs automatic operation, and more particularly, to an automatic operation construction machine that performs automatic loading work on a work machine such as a dump truck and a crusher, and a calibration method for the position measuring device thereof.
[0002]
[Prior art]
Normally, loading work on a dump truck or crusher by a construction machine such as a hydraulic excavator is performed at a crushed stone site by excavating debris from a certain place and releasing it to a fixed place such as a dump truck vessel or crusher hopper. It is a monotonous repetitive task of soiling. Such a monotonous repetitive operation is painful for the operator, and there is an increasing desire to be automatically performed without human intervention.
[0003]
Conventionally, one method for automating such loading work is to teach the excavation position and the earthing position, and repeat the main work of turning without moving the excavator between these positions. It is done. For example, Japanese Patent Laid-Open No. 9-195321 discloses a technique for automatically performing a series of operations from excavation to earth release of a hydraulic excavator by repeating the taught operation.
[0004]
However, in this conventional technique, there is a possibility that the automatic driving excavator itself is displaced due to jack-up due to excavation, inertial force of turning, and the like. In addition, the dump truck does not always stop at the same place, and there is a possibility that the dump truck cannot be loaded at an appropriate position on the dump truck to be dumped. Therefore, in order to solve this problem, an imaging means such as a video camera is installed in the automatic driving excavator, and a predetermined earthing position of the work machine as a target such as a dump truck is calculated from the imaging data and released. It is possible. For example, in Japanese Patent Laid-Open No. 10-88625, a stereo vision system is mounted on a wheel loader, the distance to the excavation target location is measured and excavation is performed, and the position to the discharge target location is measured. A technique for releasing earth is disclosed.
[0005]
[Problems to be solved by the invention]
By the way, when measuring the distance to such a work target and performing the work, in order to reflect the measurement result in the control system of the automatic driving construction machine regardless of where the distance sensor is installed, the automatic driving construction machine It is necessary to calibrate the position of the distance sensor above. Usually, this calibration requires the position to be determined from the dimensions of the construction machine or the calibration by an external calibration device.
[0006]
However, calibration must be performed when the position of the distance sensor is moved or replaced. If this calibration takes time, it will lead to a decrease in the operating rate of the construction machine. Therefore, it is necessary to carry out this calibration easily and quickly at the work site.
[0007]
In addition, when calibrating from the size of the construction machine, the calibration value changes as the size of the installed construction machine changes, so it is necessary to change the system each time, which also reduces the operating rate. Therefore, a calibration method that can respond quickly to any construction machine model is required.
[0008]
The object of the present invention has been made in view of the above-mentioned problems, and the calibration at the operation site and the model of the construction machine are changed by providing a reference point for calibration on the automatic operation construction machine body. It is an object of the present invention to provide a self-driving construction machine and a position measuring device calibration method that enable a calibration method that is not affected by the above.
[0009]
[Means for Solving the Problems]
In the present invention, the following means are adopted in order to solve the above problems.
[0010]
The first means is an automatic operation construction machine that sequentially reads out the teaching data stored by teaching and repeats a round of excavation to excavation of the excavator, and is installed on the automatic operation construction machine main body. A position measuring means for measuring the position to be measured, a digging position is measured by the position measuring means, the digging position taught by the measured digging position is corrected, and the earthing position is measured by the position measuring means to measure Means for correcting the earthing position taught by the released earthing position, and provided on the automatic driving construction machine main body or the automatic driving construction machine main body so as to be attachable to each other on the automatic driving construction machine main body. Means for providing a plurality of reference points whose positions are known, and by measuring the position of the reference point by the position measurement means, Characterized in that allowed calibrated position relative serial automatic operation of construction machines.
[0011]
The second means is characterized in that in the first means, the means having the reference point is provided in a front portion of the excavator.
[0012]
The third means is characterized in that, in the second means, the means having the reference point is a calibration jig attached to the front portion.
[0013]
According to a fourth means, in any one of the first means to the third means, the position measuring means includes a visual sensor constituted by at least one camera.
[0014]
The fifth means is a position measuring means for measuring a position installed on the main body of the automatic operation construction machine, a digging position is measured by the position measuring means, and a digging position taught by the measured digging position is corrected. And means for measuring the earthing position by the position measuring means and correcting the earthing position taught by the measured earthing position, and the automatic driving construction machine provided on the automatic driving construction machine main body. Automatic operation construction that includes a plurality of reference points whose positions on the main body are known, sequentially reads the teaching data stored by teaching, and repeats the work from excavation of the excavator to earth release In the calibration method of the position measuring means provided in the machine, by measuring the position of the reference point by the position measuring means, the automatic measuring construction machine of the position measuring means And wherein the calibrating the position.
[0015]
The sixth means is a calibration method of a position measuring means provided in an automatic operation construction machine that sequentially reads teaching data stored by teaching and repeats one round from excavation to earthing of a hydraulic excavator. A step of bringing the excavator into a predetermined posture for calibration, and detecting an angle at each joint of the front of the excavator to control each other on the automatic operation construction machine main body from the control coordinate system of the automatic operation construction machine main body. Obtaining a first transformation matrix into a reference point coordinate system having a plurality of reference points whose positions are known; and imaging the reference point by an imaging means provided in the automatic operation construction machine body, and the reference point coordinates Obtaining a second transformation matrix from the system to the imaging coordinate system; from the first transformation matrix and the second transformation matrix to the imaging coordinate system from the control coordinate system; Determining a third transformation matrix, characterized by comprising the step of obtaining the inverse transform matrix of the third transformation matrix.
[0016]
The seventh means is any one of the fifth means and the sixth means, wherein the calibration of the position measuring means is performed by changing the posture of the front portion of the excavator a plurality of times. And
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to FIGS.
[0018]
FIG. 2 is a diagram illustrating an example of an automatic operation construction machine and its working mode according to the present embodiment.
[0019]
In the figure, reference numeral 1 denotes an automatic driving excavator as an example of an automatic driving construction machine that excavates debris 41 stored in a debris reservoir 4 described later and releases it to a dump truck 3 described later. A remote control device that is remotely located and remotely controls the

automatic excavator

1, 3 includes a vessel 31 on which the debris 41 is loaded, a dump truck that loads and transports the debris released from the

automatic excavator

1, and 4 is a debris A reservoir 42 is a mark provided to indicate the range of the debris reservoir 4.
Here, the automatic driving excavator 1 further includes a traveling body 11, a revolving body 12 provided on the traveling body 11 so as to be capable of turning, a boom 14 provided on the revolving body 12 so as to be able to be lifted and lowered, and a rotation at the tip of the boom 14. The arm 15 provided so as to be movable, the bucket 16 provided rotatably at the tip of the arm 15, the angle sensor 17 that detects the elevation angle between the swing body 12 and the boom 14, and the rotation of the boom 14 and the arm 15. An angle sensor 18 for detecting a moving angle, an angle sensor 19 for detecting a turning angle between the arm 15 and the bucket 16, an angle sensor 60 for detecting a turning angle of the turning body 12, and a cab provided on the turning body 12. 13, a video camera 61 provided to take an image of the dump truck 3 loading place and the debris storage place 4 provided on the roof of the cab 13, and a pan head that allows the video camera 61 to turn in the horizontal and vertical directions 6 When, a wireless device 63 that transmits and receives various data to and from the automatic operation excavator 1 and the remote operation device 2.
[0020]
In the present embodiment, the video camera 61 is installed on the roof of the cab 13, but may be installed anywhere on the automatic driving excavator 1 as long as it is a place suitable for imaging.
[0021]
FIG. 1 is a block diagram showing a control mechanism mainly during a regenerating operation of the automatic operation construction machine according to the present embodiment.
[0022]
In addition, in the figure, the location of the same code | symbol shown in FIG. 2 shows the same location.
[0023]
In the figure, 10 indicates a range of devices mounted on the automatic driving excavator 1, 100 is an automatic driving controller that performs various types of control for automatic driving mainly composed of a computer, and 101 is a servo control unit described later. An auxiliary control valve driven by a drive signal output from 1006, 102 is controlled by a hydraulic signal output from the auxiliary control valve 101, and is a main control valve for controlling the amount of oil flowing into an actuator 103, which will be described later, 103 is an automatic operation An actuator for operating the revolving body 12, the boom 14, the arm 15 and the bucket 16 of the excavator 1 and the swing motor 104, a correction value calculation unit 1044 for outputting a correction value to a servo preprocessing unit 1005 described later, A monitor for confirming an image or the like captured by a position measuring unit 1041 described later; 64 A pan head control unit for detecting the elevation angle and the turning angle of the pan head 62 and controlling them. 65 is a pan head operation unit for an operator to operate the head elevation angle and the turning angle of the pan head via the pan head control unit 64. , 66 are teaching operation units for storing teaching position data in a teaching position storage unit 1001 (to be described later) and teaching commands in a teaching command storage unit 1002 at the time of teaching the work position during the reproduction operation.
[0024]
Further, the automatic operation controller 100 includes a teaching position storage unit 1001 that stores teaching position data created in accordance with the teaching operation by the teaching operation unit 66 during teaching, and teaching position data of the pan head 62 at each teaching position, and is created during teaching. The teaching command storage unit 1002 for storing the teaching commands that are stored, the teaching commands from the teaching command storage unit 1002 are sequentially read out, and a command signal for causing the teaching position output unit 1004 to output teaching position data is output and teaching is performed. A command interpreter unit 1003 that outputs a command signal such as a moving speed between position data; a teaching position output unit 1004 that outputs teaching position data stored in the teaching position storage unit 1001 according to a command from the command interpreter unit 1003; Teaching position output from teaching position output unit 1004 A servo pre-processing unit 1005 that outputs a target position data by adding a correction value output from a correction value calculating unit 1043 described later to the interpolated position data after interpolating the data, and an input from the servo pre-processing unit 1005 The servo control unit 1006 outputs a drive signal for comparing the value and the feedback value from the current position calculation unit 1007 and corrects the deviation to the auxiliary control valve 101, and the detection signals from the angle sensors 17 to 19, 60. And a current position calculation unit 1007 for calculating the current position of the automatic driving excavator 1.
[0025]
In addition, the correction position calculation unit 104 takes in an image signal captured by the video camera 61 and measures a target position according to a command from the command interpreter unit 1003 or the teaching operation unit 66, the automatic driving excavator 1 and the dumper. The reference teaching position storage unit 1042 that stores the positional relationship at the time of teaching with the truck 3 and the positional relationship at the time of teaching between the automatic driving excavator 1 and the debris reservoir 4, and the position measuring unit 1041 by a command from the command interpreter unit 1003 The correction value calculation unit 1043 calculates a correction value of the target position based on the calculation result and the reference position stored in the reference teaching position storage unit 1042.
[0026]
Further, the remote operation device 2 transmits the start command or the stop command for the regenerating operation of the automatic driving shovel 1 to the command interpreter unit 1003 described later during the regenerating operation, and transmits the command to the in-vehicle device 10. And a radio 22.
[0027]
Here, at the time of teaching, the operator teaches the posture of the automatic driving shovel 1 by the teaching operation unit 66, and the earthing position is displayed on the monitor 1044 before the automatic driving shovel enters the excavation operation. The head of the pan head 62 is manipulated by the pan head operating unit 65 so that the excavation position is displayed on the monitor 1044 before the earth release operation is started. The posture at this time is stored in the teaching position storage unit 1001 as the teaching position of the pan head.
[0028]
Next, the position measurement processing procedure in the position measurement unit 1041 shown in FIG. 1 will be described with reference to the flowchart shown in FIG.
[0029]
During the reproduction operation, an image signal captured by the video camera 61 is input to the position measurement unit 1041. The image signal captured by the position measuring unit 1041 is subjected to noise removal by a filter in step 301, and edge extraction is performed in step 302 using an edge extraction operator. Next, in step 303, a straight line is extracted from the extracted edge using a method such as Hough transform. In step 304, end points and intersections of line segments in the image are detected from the straight line extracted in step 303 and the edge extracted in step 302. Next, in step 305, the shape of the object is recognized from the object model registered in advance and the line segment information obtained in step 304. If the shape can be recognized, the position of the feature point on the vessel 41 is calculated in step 306.
[0030]
Here, FIG. 4 shows an example of the shape of the vessel 41 recognized by the position measurement unit 1041 and the feature points S1, S2, S3, and S4.
[0031]
Further, in order to simplify the feature point extraction, a light source or the like may be attached to the vessel 31 of the dump truck 3 as a mark for clarifying the feature points, and the feature points may be extracted based on differences in brightness.
[0032]
Here, as shown in FIG. 5, the calculation of the above feature points is generally performed within the screen imaged by the video camera 61 when at least the distance between the three feature points of the object such as the vessel 31 is known. If the positions s1 to s4 of these points are known, the position of each point in the space can be obtained by a known calculation method described later.
[0033]
In the same figure, Xo, Yo, and Zo shown in 70 are target coordinate systems set for the target of the vessel 41, and this coordinate system 70 may be anywhere in the space as long as it can represent the coordinates of feature points. Here, the point s1, which is one of the feature points S1 to S4, is set as the origin of the target coordinate system. Xc, Yc, Zc shown in 71 is a camera coordinate system with the lens center of the camera 61 as the origin. Xw, Yw, and Zw shown in 72 are control coordinate systems that serve as a reference for automatically controlling the automatic driving excavator 1.
[0034]
As the above-mentioned known calculation method, the IEICE Transactions D-IIVo1. J72-D-IINo. 9pp 1441-1447 is known.
[0035]
In general, the positional relationship between coordinate systems can be expressed by a 4 × 4 homogeneous transformation matrix. Hereinafter, a 4 × 4 homogeneous transformation matrix representing the positional relationship between coordinate systems according to the present embodiment will be described.
[0036]
In FIG. 5, the conversion matrix from the target coordinate system 70 to the camera coordinate system 71 is cHo, the conversion matrix from the camera coordinate system 71 to the control coordinate system 72 is wHc, and the conversion from the target coordinate system 70 to the control coordinate system 72 is performed. If the matrix is wHo, the relationship between each transformation matrix is
wHo = wHc × cHo (1)
It can be expressed as
[0037]
For example, when the coordinates of an arbitrary point in the target coordinate system 70 are (xo, yo, zo) and the same point can be represented by the coordinates (xw, yw, zw) in the control coordinate system 72, this transformation matrix is used. ,
[Expression 1]

This relationship holds.
[0038]
If the known calculation method described above is used, the coordinates of the reference point in the three-dimensional space can be obtained from the reference point whose arrangement on the target coordinate system 70 is known and the image of the reference point captured by the camera. The transformation matrix cHo from the target object coordinate system 70 to the camera coordinate system 71 in equation (1) can be obtained. Further, the conversion matrix wHc from the camera coordinate system 71 to the control coordinate system 72 is obtained by the installation location on the vehicle body of the camera, but is calibrated by a method described later. When the transformation matrix cHo and the transformation matrix wHc are obtained in this way, the transformation matrix wHo from the target coordinate system 70 to the control coordinate system 72 is obtained from the equation (1), and as a result, the position of the target and the control coordinate system You can ask for a relationship.
[0039]
Next, in step 307, a target position in the camera coordinate system 71 is calculated from the calculated position information of the feature points. Next, in step 308, conversion from the camera coordinate system 71 to the control coordinate system 72 is performed based on the calibration value calculated by the method described above, and the target position in the control coordinate system 72 is calculated.
[0040]
As for the extraction of the excavation position, as shown in FIG. 6, a mark 42 having four feature points S1 ′, S2 ′, S3 ′, S4 ′ for indicating the range is provided on the left and right of the debris reservoir 4. . Here, since the positional relationship of the mark 42 can be known, the mark 42 is imaged by the video camera 61, and the position of the debris reservoir 4 can be calculated by the same method as described above.
[0041]
When performing automatic operation, the correction value calculation unit 1043 compares the target position measured as described above and the reference position stored in the reference teaching position storage unit 1042 to calculate a correction value. The calculated correction value is given to the servo preprocessing unit 1005 as a correction value, and the operation is performed while correcting the position.
[0042]
Next, a method for obtaining the transformation matrix wHo in the equation (1), that is, a method for calibrating the position of the video camera 61 will be described with reference to FIGS.
[0043]
FIG. 7 is a view showing an automatic driving excavator in which a calibration jig is attached to the bucket 16, and FIG. 8 is an enlarged view of the vicinity of the bucket 16 shown in FIG.
[0044]
In these drawings, 161 is a calibration jig attached to the bucket 16 during calibration, 1613 is a jig coordinate system (Xs, Ys, Zs) having an origin on the

jig

161, and 1611 and 1612 intersect each other. A line 1614 for indicating the point as the origin of the jig coordinate system is a mark which is provided on the surface of the jig 161 and whose arrangement is known.
[0045]
Note that each coordinate system in FIG. 7 has only two coordinate axes, but the remaining axes are assumed to be a right-handed system.
[0046]
Further, although a cross shape is used for the mark 1614, the mark 1614 can be detected by image processing, and can have any shape as long as the arrangement of each mark 1614 can be understood. . When the jig coordinate system (Xs, Ys, Zs) is set, the arrangement of the marks 1614 from the origin can be determined.
[0047]
The jig 161 is fixed to the bucket 16, and the attachment position with respect to the bucket 16 is known. The jig 161 is attached only at the time of calibration, and is removed during normal work.
[0048]
Since the position of the mark 1614 on the jig 161 is known to be attached to the bucket 16, each position relative to the excavator body, that is, from the outputs of the angle meters 17 to 19 attached to the joints of the front portion, that is, The position of the mark 1614 on the jig 161 in the control coordinate system 72 is known. That is, the transformation matrix sHw from the control coordinate system 72 to the jig coordinate system 1613 is obtained from the mounting position of the jig 161 and the front angle.
[0049]
On the other hand, when the jig 161 is photographed by the camera 61 of the position measuring apparatus according to the present embodiment and the position is measured by the above-described method, a conversion matrix cHs from the jig coordinate system 1613 to the camera coordinate system 71 can be obtained. I can do it.
[0050]
Therefore, the conversion matrix cHw from the control coordinate system 72 to the camera coordinate system 71 can be obtained from the above two conversion matrices sHw and cHs by the following formula.
[0051]
cHw = cHs × sHw (3)
Where wHc = cHw ^-1 (4)
Therefore, the transformation matrix wHc is obtained from the expressions (3) and (4), and the positional relationship between the control coordinate system 72 and the camera coordinate system 71 is obtained by obtaining the transformation matrix wHc and the transformation matrix cHo in the expression (1). A transformation matrix wHo representing can be obtained.
[0052]
Here, a processing procedure for obtaining the transformation matrix wHc, that is, the calibration of the camera coordinate system 71 with respect to the control coordinate system 72 will be described with reference to the flowchart shown in FIG.
[0053]
First, in step 901, the front is moved to a calibration posture. The calibration posture may be any posture as long as the mark on the jig 161 is within the screen imaged by the camera 61, but the optical axis and the jig 161 are as vertical as possible, that is, the screen A posture in which the surface of the jig 161 is parallel is desirable. Next, in step 902, the posture of the front in the calibration posture state is detected from an angle meter attached to each joint. Next, in step 903, sHw, which is a transformation matrix from the control coordinate system 72 to the jig coordinate system 1613, is calculated from the front posture detected in step 902. Next, in step 904, the image of the jig 161 is captured. Next, in step 905, a line segment is extracted from the image of the jig 161 imaged, and the coordinates on the screen of the mark 1614 that is a crossing line segment are extracted. Next, in step 906, the coordinates of the mark 1614 in space are obtained from the coordinates of the mark 1614 on the known jig coordinate system 1613 and the coordinates of the mark on the screen extracted in step 905 by the aforementioned known calculation method. From the result, a transformation matrix cHs from the jig coordinate system 1613 to the camera coordinate system 71 is calculated. Next, in step 907, the conversion matrix sHw from the control coordinate system 72 calculated in step 903 to the jig coordinate system 1613 and the conversion matrix cHs converted from the jig coordinate system 1613 to the camera coordinate system 71 calculated in step 906 are (3 Substitution matrix cHw from the control coordinate system 72 to the camera coordinate system 71 is calculated by substituting it into the formula. Next, at step 908, the transformation matrix cHw from the control coordinate system 72 to the camera coordinate system 71 calculated at step 907 is substituted into the equation (4), and the transformation matrix wHc from the camera coordinate system 71 to the control coordinate system 72 is obtained. calculate.
[0054]
In step 909, the calculation result is stored. The stored transformation matrix wHc is used for the calculation by the expression (1) in step 308 of the flowchart at the time of the reproduction operation shown in FIG.
[0055]
The positional relationship calibrated from the actual attachment position can be obtained by the above procedure.
[0056]
In this embodiment, one posture is taken for calibration, but when the extraction of step 905 in the flowchart shown in FIG. 9 is completed, the front posture is changed, and the number of points to be repeatedly sampled is increased. The resulting redundancy can be increased.
[0057]
In the present embodiment, the calibration jig 161 is attached to the bucket 16, but calibration can also be performed by attaching the jig to other parts on the excavator 1.
[0058]
Furthermore, in this embodiment, the jig 161 is attached to the bucket 16 for calibration, but the feature points of the bucket 16 itself, for example, the tip of the nail and the edge of the bucket are extracted without attaching the jig. By doing so, calibration can also be performed.
[0059]
【The invention's effect】
According to the present invention, by measuring the position of the reference point provided on the automatic driving construction machine main body by the position measuring means, the position of the position measuring means with respect to the automatic driving construction machine can be calibrated. Calibration of the position measuring means can be performed, and maintenance can be performed without reducing the operating rate of the automatic operation construction machine.
[0060]
In addition, since a reference point is provided on the front part to be controlled, there is no need to separately measure to calibrate the position of the reference point with respect to the control coordinate system, and there is no need to change the measurement method depending on the type of construction machine, Calibration can be performed quickly even if the model or mounting position is changed.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a control mechanism mainly during a regenerating operation of an autonomous driving construction machine according to an embodiment of the present invention.
FIG. 2 is a diagram showing an example of an autonomous driving construction machine and its working mode according to the present embodiment.
FIG. 3 is a flowchart showing a position measurement processing procedure in the position measurement unit 1041 shown in FIG. 1;
4 is a diagram showing the shape of a vessel 41 and feature points S1, S2, S3, and S4 recognized by the position measurement unit 1041 shown in FIG.
5 is a target coordinate system 70 set for a target such as the vessel 31 shown in FIG. 2, a camera coordinate system 71 with the lens center of the TV camera 61 as an origin, and a reference for automatically operating an automatic driving shovel. It is a figure which shows the control coordinate system 72 which becomes.
6 is a diagram showing a mark 42 that the position measurement unit 1041 shown in FIG. 1 recognizes as feature points S1 ′, S2 ′, S3 ′, and S4 ′ of the debris reservoir 4. FIG.
FIG. 7 is a diagram showing an automatic driving excavator 1 in which a jig 161 according to the present embodiment is attached to a bucket 16;
8 is an enlarged view of the vicinity of the bucket 16 to which the jig 161 shown in FIG. 7 is attached.
FIG. 9 is a flowchart showing a processing procedure related to calibration of the camera coordinate system 71 with respect to the control coordinate system 72 of the position measuring apparatus according to the present embodiment.
[Explanation of symbols]
1 Autonomous construction machinery
10 In-vehicle device
1001 Teaching position storage
1002 Teaching command storage
1003 Command interpreter section
1004 Teaching position output processing unit
1005 Servo pre-processing unit
1006 Servo controller
1007 Current position calculator
101 Auxiliary control valve
102 Main control valve
103 Actuator
104 Correction position calculator
1041 Position measurement unit
1042 Reference position storage unit
1043 Correction value calculation unit
1044 monitor
16 buckets
161 Calibration jig
2 Remote control device
21 Playback operation section
22,63 radio
3 Dump truck
31 Vessel
4 Debris Reservoir
41 earth and stone
42 Debris storage range landmark
61 video camera
62 pan head
64 pan head controller
65 pan head control unit
66 Teaching operation unit

Claims

In the automatic operation construction machine that reads out the taught data stored in order and repeats the work from excavation of the excavator to the earthing,
Position measuring means for measuring the position installed on the automatic operation construction machine main body, the excavation position is measured by the position measuring means, the excavation position taught by the measured excavation position is corrected, and the position measurement means Means for measuring the earthing position and correcting the earthing position taught by the measured earthing position, and is provided on the automatic driving construction machine body or attachable to the automatic driving construction machine body. Means for providing a plurality of reference points whose positions are known on the main body of the driving construction machine, and measuring the position of the reference point by the position measuring means, whereby the automatic driving construction machine of the position measuring means A self-driving construction machine characterized in that the position relative to can be calibrated.

In claim 1,
The automatic operation construction machine, wherein the means having the reference point is provided in a front portion of the hydraulic excavator.

In claim 2,
The automatic operation construction machine, wherein the means having the reference point is a calibration jig attached to the front portion.

In any one of claims 1 to 3,
The automatic operation construction machine, wherein the position measuring means includes a visual sensor constituted by at least one camera.

Position measuring means for measuring the position installed on the automatic operation construction machine main body, the excavation position is measured by the position measuring means, the excavation position taught by the measured excavation position is corrected, and the position measurement means Means for measuring the earthing position by means of, and correcting the earthing position taught by the measured earthing position, and the mutual positions on the automatic driving construction machine main body provided on the automatic driving construction machine main body Position measuring means provided in an automatic operation construction machine comprising a plurality of reference points known to each other, sequentially reading teaching data stored by teaching, and repeatedly performing a round of work from excavation to earth release of a hydraulic excavator In the calibration method of
A position measuring means calibration method provided in an automatic driving construction machine, wherein the position measuring means measures the position of the reference point to calibrate the position of the position measuring means with respect to the automatic driving construction machine.

In the calibration method of the position measuring means provided in the automatic operation construction machine that sequentially reads the teaching data stored by teaching and repeats the work from excavation of the excavator to the earthing,
The hydraulic excavator is placed in a predetermined posture for calibration, and the angle at each joint of the front of the hydraulic excavator is detected to detect each other on the automatic driving construction machine main body from the control coordinate system of the automatic driving construction machine main body. Obtaining a first transformation matrix into a reference point coordinate system having a plurality of reference points whose positions are known, and imaging the reference point by an imaging means provided in the automatic operation construction machine body, the reference point Obtaining a second transformation matrix from the coordinate system to the imaging coordinate system; and obtaining a third transformation matrix from the control coordinate system to the imaging coordinate system from the first transformation matrix and the second transformation matrix. And a step of obtaining an inverse transformation matrix of the third transformation matrix, wherein the position measuring means is calibrated in a self-driving construction machine.

The automatic operation construction machine according to any one of claims 5 and 6, wherein the calibration of the position measuring means is performed by changing the posture of the front portion of the hydraulic excavator a plurality of times. A calibration method for the position measuring means provided.