JP6995687B2 - 積込機械の制御装置及び積込機械の制御方法 - Google Patents

積込機械の制御装置及び積込機械の制御方法 Download PDF

Info

Publication number
JP6995687B2
JP6995687B2 JP2018087774A JP2018087774A JP6995687B2 JP 6995687 B2 JP6995687 B2 JP 6995687B2 JP 2018087774 A JP2018087774 A JP 2018087774A JP 2018087774 A JP2018087774 A JP 2018087774A JP 6995687 B2 JP6995687 B2 JP 6995687B2
Authority
JP
Japan
Prior art keywords
data
loading
target
bucket
transport vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018087774A
Other languages
English (en)
Other versions
JP2019190237A (ja
Inventor
洋平 関
将崇 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to JP2018087774A priority Critical patent/JP6995687B2/ja
Priority to CN201980018677.9A priority patent/CN111836934A/zh
Priority to PCT/JP2019/009790 priority patent/WO2019207981A1/ja
Priority to US16/979,618 priority patent/US11821168B2/en
Priority to EP19792771.8A priority patent/EP3751058A4/en
Publication of JP2019190237A publication Critical patent/JP2019190237A/ja
Application granted granted Critical
Publication of JP6995687B2 publication Critical patent/JP6995687B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2029Controlling the position of implements in function of its load, e.g. modifying the attitude of implements in accordance to vehicle speed
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/431Control of dipper or bucket position; Control of sequence of drive operations for bucket-arms, front-end loaders, dumpers or the like
    • E02F3/434Control of dipper or bucket position; Control of sequence of drive operations for bucket-arms, front-end loaders, dumpers or the like providing automatic sequences of movements, e.g. automatic dumping or loading, automatic return-to-dig
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2041Automatic repositioning of implements, i.e. memorising determined positions of the implement
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • E02F9/262Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • E02F9/265Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Operation Control Of Excavators (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、積込機械の制御装置及び積込機械の制御方法に関する。
作業現場において積込機械が使用される。掘削対象物及び積込対象までの距離を求めるための計測器を備える自動掘削機の一例が特許文献1に開示されている。
特開平10-088625号公報
積込機械による積込作業の自動化を実現する場合、積込機械と積込対象との距離を良好に計測できる技術が要望される。
本発明の態様は、積込機械と積込対象との距離を良好に計測することを目的とする。
本発明の態様に従えば、作業機を有する積込機械に搭載された計測装置の計測データを取得する計測データ取得部と、前記計測データから前記作業機により掘削された掘削物が積み込まれる積込対象に関する計測データである積込対象データを抽出し、前記積込対象データに基づいて、前記積込対象の上端部の高さデータ及び前記積込機械から積込対象までの距離データを算出する対象算出部と、前記高さデータ及び前記距離データに基づいて、前記作業機を制御する作業機制御部と、を備える積込機械の制御装置が提供される。
本発明の態様によれば、積込機械と積込対象との相対位置を良好に計測することができる。
図1は、本実施形態に係る作業機械の一例を示す側面図である。 図2は、本実施形態に係る作業機械の動作を示す模式図である。 図3は、本実施形態に係る作業機械の積込作業モードを示す模式図である。 図4は、本実施形態に係る作業機械の制御装置を示す機能ブロック図である。 図5は、本実施形態に係る作業機械の制御方法を示すフローチャートであって、ステレオカメラの計測データに基づく積込作業を示す。 図6は、本実施形態に係るステレオカメラにより取得された画像データに基づいて算出された画像データの一例を示す図である。 図7は、本実施形態に係る画像データから抽出された1つの分割データの一例を示す図である。 図8は、本実施形態に係る分割データにおける作業機械からの距離と同一の距離を示す画素のデータ数との関係を示すヒストグラムである。 図9は、本実施形態に係る1つの分割データにおいて抽出されたベッセルの一例を示す図である。 図10は、本実施形態に係る分割データにおけるj座標とそのj座標に存在する運搬車両を示す画素のデータ数との関係を示す図である。 図11は、本実施形態に係るレーザレーダの動作を示す図である。 図12は、本実施形態に係るグループ分割を説明するための模式図である。 図13は、本実施形態に係る作業機械の制御方法を示すフローチャートであって、レーザレーダによる運搬車両の計測データを処理する方法を示す。 図14は、本実施形態に係るレーザレーダによる計測方法を模式的に示す図である。 図15は、コンピュータシステムの一例を示すブロック図である。
以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
第1実施形態.
[ホイールローダ]
図1は、本実施形態に係る作業機械1の一例を示す側面図である。作業機械1は、作業現場において作業対象に対して所定の作業を実施する。本実施形態においては、作業機械1がアーティキュレート作業機械の一種であるホイールローダ1であることとする。所定の作業は、掘削作業及び積込作業を含む。作業対象は、掘削対象及び積込対象を含む。ホイールローダ1は、掘削対象を掘削する掘削作業、及び掘削作業により掘削した掘削物を積込対象に積み込む積込作業を実施する。積込作業は、掘削物を排出対象に排出する排出作業を含む概念である。掘削対象として、地山、岩山、石炭、及び壁面の少なくとも一つが例示される。地山は、土砂により構成される山であり、岩山は、岩又は石により構成される山である。積込対象として、運搬車両、作業現場の所定エリア、ホッパ、ベルトコンベヤ、及びクラッシャの少なくとも一つが例示される。
図1に示すように、ホイールローダ1は、車体2と、運転席が設けられる運転台3と、車体2を支持する走行装置4と、車体2に支持される作業機10と、作業機10の角度を検出する角度センサ50と、トランスミッション装置30と、車体2よりも前方の計測対象を計測する三次元計測装置20と、制御装置80とを備える。
車体2は、車体前部2Fと車体後部2Rとを含む。車体前部2Fと車体後部2Rとは、関節機構9を介して屈曲可能に連結される。
運転台3は、車体2に支持される。ホイールローダ1の少なくとも一部は、運転台3に搭乗した運転者によって操作される。
走行装置4は、車体2を支持する。走行装置4は、車輪5を有する。車輪5は、車体2に搭載されているエンジンが発生する駆動力により回転する。タイヤ6が車輪5に装着される。車輪5は、車体前部2Fに装着される2つの前輪5Fと、車体後部2Rに装着される2つの後輪5Rとを含む。タイヤ6は、前輪5Fに装着される前タイヤ6Fと、後輪5Rに装着される後タイヤ6Rとを含む。走行装置4は、地面RSを走行可能である。
前輪5F及び前タイヤ6Fは、回転軸FXを中心に回転可能である。後輪5R及び後タイヤ6Rは、回転軸RXを中心に回転可能である。
以下の説明においては、前輪5Fの回転軸FXと平行な方向を適宜、車幅方向、と称し、地面RSと接触する前タイヤ6Fの接地面と直交する方向を適宜、上下方向、と称し、車幅方向及び上下方向の両方と直交する方向を適宜、前後方向、と称する。ホイールローダ1の車体2が直進状態で走行するとき、回転軸FXと回転軸RXとは平行である。
走行装置4は、駆動装置4Aと、ブレーキ装置4Bと、操舵装置4Cとを有する。駆動装置4Aは、ホイールローダ1を加速させるための駆動力を発生する。駆動装置4Aは、ディーゼルエンジンのような内燃機関を含む。駆動装置4Aで発生した駆動力がトランスミッション装置30を介して車輪5に伝達され、車輪5が回転する。ブレーキ装置4Bは、ホイールローダ1を減速又は停止させるための制動力を発生する。操舵装置4Cは、ホイールローダ1の走行方向を調整可能である。ホイールローダ1の走行方向は、車体前部2Fの向きを含む。操舵装置4Cは、油圧シリンダによって車体前部2Fを屈曲させることによって、ホイールローダ1の走行方向を調整する。
本実施形態において、走行装置4は、運転台3に搭乗した運転者によって操作される。作業機10は、制御装置80に制御される。走行装置4を操作する走行操作装置40が運転台3に配置される。運転者は、走行操作装置40を操作して、走行装置4を作動させる。走行操作装置40は、アクセルペダル、ブレーキペダル、ステアリングレバー、及び前後進を切り換えるためのシフトレバー41を含む。アクセルペダルが操作されることにより、ホイールローダ1の走行速度が増大する。ブレーキペダルが操作されることにより、ホイールローダ1の走行速度が減少したり走行が停止したりする。ステアリングレバーが操作されることにより、ホイールローダ1が旋回する。シフトレバー41が操作されることにより、ホイールローダ1の前進又は後進が切り換えられる。
トランスミッション装置30は、駆動装置4Aで発生した駆動力を車輪5に伝達する。
作業機10は、車体前部2Fに回動可能に連結されるブーム11と、ブーム11に回動可能に連結されるバケット12と、ベルクランク15と、リンク16とを有する。
ブーム11は、ブームシリンダ13が発生する動力によって作動する。ブームシリンダ13が伸縮することにより、ブーム11は上げ動作又は下げ動作する。
バケット12は、刃先を含む先端部12Bを有する作業部材である。バケット12は、前輪5Fよりも前方に配置される。バケット12は、ブーム11の先端部に連結される。バケット12は、バケットシリンダ14が発生する動力によって作動する。バケットシリンダ14が伸縮することにより、バケット12はダンプ動作又はチルト動作する。
バケット12のダンプ動作が実施されることにより、バケット12ですくい上げられた掘削物がバケット12から排出される。バケット12のチルト動作が実施されることにより、バケット12は掘削物をすくい取る。
角度センサ50は、作業機10の角度を検出する。角度センサ50は、ブーム11の角度を検出するブーム角度センサ51と、バケット12の角度を検出するバケット角度センサ52とを含む。ブーム角度センサ51は、例えば車体前部2Fに規定された車体座標系の基準軸に対するブーム11の角度を検出する。バケット角度センサ52は、ブーム11に対するバケット12の角度を検出する。角度センサ50は、ポテンショメータでもよいし、油圧シリンダのストロークを検出するストロークセンサでもよい。
[三次元計測装置]
三次元計測装置20は、ホイールローダ1に搭載される。三次元計測装置20は、車体前部2Fよりも前方の作業対象を計測する。作業対象は、作業機10により掘削された掘削物が積み込まれる積込対象を含む。三次元計測装置20は、三次元計測装置20から作業対象の表面の複数の各計測点までの相対位置を計測して、作業対象の三次元形状を計測する。制御装置80は、計測された積込対象の三次元形状に基づいて、積込対象に関するパラメータを算出する。後述するように、積込対象に関するパラメータは、積込対象までの距離、積込対象の上端部の位置、及び積込対象の高さの少なくとも一つを含む。
三次元計測装置20は、レーザ計測装置の一種であるレーザレーダ21と、写真計測装置の一種であるステレオカメラ22とを含む。
[動作]
図2は、本実施形態に係るホイールローダ1の動作を示す模式図である。ホイールローダ1は、複数の作業モードで作業する。作業モードは、作業機10のバケット12で掘削対象を掘削する掘削作業モードと、掘削作業モードによりバケット12ですくい取った掘削物を積込対象に積み込む積込作業モードとを含む。掘削対象として、地面RSに置かれた地山DSが例示される。積込対象として、地面を走行可能な運搬車両LSのベッセルBEが例示される。運搬車両LSとして、ダンプトラックが例示される。
掘削作業モードにおいて、ホイールローダ1は、作業機10のバケット12に掘削物が保持されていない状態で、作業機10のバケット12で地山DSを掘削するために地山DSに向かって前進する。ホイールローダ1の運転者は、走行操作装置40を操作して、図2の矢印M1で示すように、ホイールローダ1を前進させて地山DSに接近させる。制御装置80は、バケット12で地山DSが掘削されるように、作業機10を制御する。
地山DSがバケット12により掘削され、掘削物がバケット12にすくい取られた後、ホイールローダ1は、作業機10のバケット12に掘削物が保持されている状態で、地山DSから離れるように後進する。ホイールローダ1の運転者は、走行操作装置40を操作して、図2の矢印M2で示すように、ホイールローダ1を後進させて地山DSから離間させる。
次に、積込作業モードが実施される。積込作業モードにおいて、ホイールローダ1は、作業機10のバケット12に掘削物が保持されている状態で、作業機10のバケット12により掘削された掘削物を積み込むために運搬車両LSに向かって前進する。ホイールローダ1の運転者は、走行操作装置40を操作して、図2の矢印M3で示すように、ホイールローダ1を旋回させながら前進させて運搬車両LSに接近させる。ホイールローダ1に搭載されている三次元計測装置20は、運搬車両LSを計測する。制御装置80は、三次元計測装置20の計測データに基づいて、バケット12に保持されている掘削物が運搬車両LSのベッセルBEに積み込まれるように、作業機10を制御する。すなわち、制御装置80は、ホイールローダ1が運搬車両LSに接近するように前進している状態で、ブーム11が上げ動作するように、作業機10を制御する。ブーム11が上げ動作し、バケット12がベッセルBEの上方に配置された後、制御装置80は、バケット12がチルト動作するように、作業機10を制御する。これにより、バケット12から掘削物が排出され、ベッセルBEに積み込まれる。
バケット12から掘削物が排出され、ベッセルBEに積み込まれた後、ホイールローダ1は、作業機10のバケット12に掘削物が保持されていない状態で、運搬車両LSから離れるように後進する。運転者は、走行操作装置40を操作して、図2の矢印M4で示すように、ホイールローダ1を後進させて運搬車両LSから離間させる。
運転者及び制御装置80は、ベッセルBEに掘削物が満載されるまで、上述の動作を繰り返す。
図3は、本実施形態に係るホイールローダ1の積込作業モードを示す模式図である。ホイールローダ1の運転者は、走行操作装置40を操作して、ホイールローダ1を前進させて運搬車両LSに接近させる。図3(A)に示すように、ホイールローダ1に搭載されている三次元計測装置20は、運搬車両LSの三次元形状及び運搬車両LSとの相対位置を計測する。制御装置80は、三次元計測装置20の計測データに基づいて、ホイールローダ1と運搬車両LSとの距離Db及びベッセルBEの上端部BEtの高さHbを検出する。ホイールローダ1から運搬車両LSまでの距離Dbは、バケット12の先端部12Bから運搬車両LSまでの距離、バケット12の任意の点から運搬車両LSまでの距離、ホイールローダ1本体の任意の点から運搬車両LSまでの距離、及び三次元計測装置20から運搬車両LSまでの距離を含む。バケット12の先端部12Bからの距離は、先端部12Bの中央部からの距離、及び先端部12Bの両端部のいずれかの端部からの距離を含む。ホイールローダ1から運搬車両LSまでの距離Dbは、バケット12の先端部12Bから車体前部2Fの進行方向に延ばして運搬車両LSと交差した点までの距離、及びバケット12の先端部12Bから運搬車両LSまでの最短距離を含む。ホイールローダ1から運搬車両LSまでの距離Dbは、水平距離、及び地面RSと平行な方向の距離を含む。また、運搬車両LSまでの距離Dbは、運搬車両LSの最近接点、すなわち運搬車両LSにおけるホイールローダ1側で最も近接した点までの距離を含む。
図3(B)に示すように、制御装置80は、ホイールローダ1が運搬車両LSに接近するように前進している状態で、三次元計測装置20の計測データに基づいて、バケット12がベッセルBEの上端部よりも上方に配置されるように、且つ、バケット12に保持されている掘削物がバケット12からこぼれないように、バケット12の角度を制御しながら、ブーム11を上げ動作させる。
図3(C)に示すように、ブーム11が上げ動作し、バケット12がベッセルBEの上方に配置された後、制御装置80は、バケット12がチルト動作するように、作業機10を制御する。これにより、バケット12から掘削物が排出され、ベッセルBEに積み込まれる。
[制御装置]
図4は、本実施形態に係るホイールローダ1の制御装置80を示す機能ブロック図である。制御装置80は、コンピュータシステムを含む。
制御装置80に、作業機10、トランスミッション装置30、走行装置4、三次元計測装置20、角度センサ50、及び走行操作装置40が接続される。
制御装置80は、計測データ取得部81と、記憶部82と、位置データ算出部83と、対象算出部86と、作業機制御部87とを有する。
計測データ取得部81は、三次元計測装置20の計測データを取得する。
記憶部82は、作業機データを記憶する。作業機データは、作業機10の設計データ又は諸元データを含む。作業機10の設計データは、例えば作業機10のCAD(Computer Aided Design)データを含む。作業機データは、作業機10の外形データを含む。作業機10の外形データは、作業機10の寸法データを含む。本実施形態において、作業機データは、ブーム長さ、バケット長さ、及びバケット外形を含む。ブーム長さとは、ブーム回転軸とバケット回転軸との距離をいう。バケット長さとは、バケット回転軸とバケット12の先端部12Bとの距離をいう。ブーム回転軸とは、車体前部2Fに対するブーム11の回転軸をいい、車体前部2Fとブーム11とを連結する連結ピンを含む。バケット回転軸とは、ブーム11に対するバケット12の回転軸をいい、ブーム11とバケット12とを連結する連結ピンを含む。バケット外形は、バケット12の形状及び寸法を含む。バケット12の寸法は、バケット12の左端と右端との距離を示すバケット幅、バケット12の開口部の高さ、及びバケット底面長さなどを含む。
位置データ算出部83は、角度センサ50により検出された作業機10の角度データと、記憶部82に記憶されている作業機10の作業機データとに基づいて、作業機10の位置データを算出する。位置データ算出部83は、例えば車体座標系におけるバケット12の位置データを算出する。
対象算出部86は、計測データ取得部81により取得された計測データに基づいて、三次元計測装置20により計測されたベッセルBEを含む運搬車両LSの三次元データを算出する。運搬車両LSの三次元データは、運搬車両LSの三次元形状を示す。
対象算出部86は、運搬車両LSの三次元データに基づいて、運搬車両LSに関するパラメータを算出する。運搬車両LSに関するパラメータは、地面RSを基準とした運搬車両LS(ベッセルBE)の上端部BEtの位置(高さ)、及びホイールローダ1から運搬車両LSまでの距離Dbを含む。ホイールローダ1から運搬車両LSまでの距離Dbは、例えばバケット先端部12Bと、水平方向においてバケット先端部12Bに最も近い運搬車両LSの部位を示す最近接点との距離である。
作業機制御部87は、対象算出部86により算出された運搬車両LSの三次元データに基づいて、ベッセルBEに掘削物を積み込む作業機10の動作を制御する。作業機制御部87は、ベッセルBEの上端部BEtの高さデータ及びホイールローダ1から運搬車両LSまでの距離データに基づいて、ベッセルBEに掘削物を積み込む作業機10の動作を制御する。
作業機10の動作の制御は、ブームシリンダ13及びバケットシリンダ14の少なくとも一方の動作の制御を含む。ホイールローダ1は、油圧ポンプと、油圧ポンプからブームシリンダ13に供給される作動油の流量及び方向を制御するブーム制御弁と、油圧ポンプからバケットシリンダ14に供給される作動油の流量及び方向を制御するバケット制御弁とを有する。作業機制御部87は、ブーム制御弁及びバケット制御弁に制御信号を出力して、ブームシリンダ13及びバケットシリンダ14に供給される作動油の流量及び方向を制御して、ブーム11の上げ下げ動作及びバケット12の上げ下げ動作を制御することができる。
本実施形態において、対象算出部86は、位置データ算出部83により算出された作業機10の位置データに基づいて、計測データから作業機10の少なくとも一部を示す部分データを除去し、部分データが除去された計測データに基づいて、ベッセルBEの高さデータ及びホイールローダ1から運搬車両LSまでの距離データを算出する。
本実施形態において、ホイールローダ1は、トランスミッション制御部88と、走行制御部89とを有する。
走行制御部89は、ホイールローダ1の運転者による走行操作装置40の操作に基づいて、走行装置4の動作を制御する。走行制御部89は、駆動装置4Aを作動するためのアクセル指令、ブレーキ装置4Bを作動するためのブレーキ指令、及び操舵装置4Cを作動するためのステアリング指令を含む運転指令を出力する。
[ステレオカメラの計測データに基づく積込作業]
図5は、本実施形態に係るホイールローダ1の制御方法を示すフローチャートであって、ステレオカメラ22の計測データに基づく積込作業を示す。
ホイールローダ1が作業機10により掘削された掘削物を積み込むために運搬車両LSに向かって前進する積込作業モードにおいて、ステレオカメラ22は、少なくとも運搬車両LSを含む計測対象を計測する。ステレオカメラ22の撮像範囲(ステレオカメラ22の光学系の視野領域)には、計測対象として、運搬車両LSのみならず、例えば地面RS又は運搬車両LSの周囲の物体も配置される。ステレオカメラ22の計測データは、制御装置80に出力される。計測データ取得部81は、ステレオカメラ22から計測データを取得する(ステップS10)。
ステレオカメラ22の計測データは、計測対象の画像データを含む。画像データは、複数の画素により構成される。計測データ取得部81により取得された計測対象の画像データは、対象算出部86に出力される。
本実施形態において、計測データ取得部81は、ステレオカメラ22の第1カメラ22Aから第1画像データを取得し、第2カメラ22Bから第2画像データを取得する。第1画像データ及び第2画像データは、二次元の画像データである。
また、積込作業モードにおいて、角度センサ50は、作業機10の角度を検出する。作業機10の角度は、ブーム角度センサ51によって検出されるブーム11の角度と、バケット角度センサ52によって検出されるバケット12の角度とを含む。作業機10の角度を示す角度データは、位置データ算出部83に出力される。
位置データ算出部83は、作業機10の角度データと、記憶部82に記憶されている作業機10の作業機データとに基づいて、作業機10の位置データを算出する(ステップS20)。
位置データ算出部83により算出された作業機10の位置データは、対象算出部86に出力される。作業機10の位置データは、例えば車体座標系におけるバケット12の各部位の位置データを含む。
対象算出部86は、画像データ(第1画像データ及び第2画像データ)をステレオ処理して、ステレオカメラ22から各画素に写る運搬車両LSの表面における複数の計測点PIまでの距離を算出する。対象算出部86は、各計測点PIまでの距離に基づいて、例えば車体座標系における三次元データを算出する(ステップS30)。
対象算出部86は、三次元データから作業機10の少なくとも一部を示す部分データの領域における三次元データを除去する(ステップS40)。車体座標系におけるバケット12の位置(部分データの位置)が分かるので、ステレオ処理してできた三次元データから単純に部分データを除去するだけで、除去後の三次元データが得られる。対象算出部86は、三次元データから部分データを除去する際に、作業機10の位置データを取得して、車体座標系における作業機10の位置を特定した上で当該位置における部分データを除去する。
対象算出部86は、ステレオカメラ22により取得された三次元データを複数の領域DAに分割する(ステップS50)。
図6は、ステレオカメラ22により取得された画像データの一例を示す図である。以後は、三次元データの処理について説明をするが、説明の便宜上、ステレオカメラ22により取得された画像データを用いて説明する。図6に示すように、画像データは、運搬車両LSの画像のみならず、例えば地面RS及び運搬車両LSの周囲の物体の画像も含む。画像データにおいて、ステレオ処理を経て三次元データとなった後にバケット12を示す部分データが除去される。対象算出部86は、バケット12を示す部分データが除去された三次元データを複数の領域DAに分割する。本実施形態において、対象算出部86は、三次元データを左右方向に分割して複数の領域DAを生成する。以下の説明においては、三次元データを分割することによって生成された領域DAのそれぞれを適宜、分割データDA、と称する。
分割データDAは、上下方向に長い。複数の分割データDAのそれぞれは、ステレオカメラ22から計測対象までの距離を示す複数の点群データを含む。
次に、対象算出部86は、複数の分割データDAのそれぞれにおいて、ホイールローダ1からの距離と、各距離に位置する点群データのデータ数との関係を示すヒストグラムを作成する。対象算出部86は、ヒストグラムに基づいて、画像データに映り込んでいる複数の計測対象から、運搬車両LSを計測した三次元データを特定する。
カウンタnに初期値1が設定される(ステップS60)。対象算出部86は、第1の分割データDA1から第Nの分割データDANのそれぞれについて、ヒストグラムを作成する(ステップS70)。
図7は、三次元データから抽出された1つの分割データDAの一例を示す図である。図7に示す例において、分割データDAは、ベッセルBEを示す画素の三次元データと、後タイヤ6Rを示す画素の三次元データと、地面RSを示す画素の三次元データと、ダンプ構造物を示す画素の三次元データを含む。その他の構成として、地平線HL、空SKがある。空SKの領域は無限遠に存在することになるため、データとしてカウントしない。
図8は、分割データDAにおける、ホイールローダ1からの距離と、各距離の範囲内に含まれる三次元データのデータ数との関係を示すヒストグラムである。
積込作業モードが実施されるとき、ホイールローダ1は、運搬車両LSの側方から運搬車両LSに接近するように走行する。分割データDAにおいて運搬車両LSが占める割合は大きい。また、運搬車両LSの側面は、実質的に平坦でかつほぼ垂直に立っており、ステレオカメラ22から運搬車両LSの側面の各計測点PIまでの距離はほぼ一定である。そのため、ヒストグラムにおいて、ステレオカメラ22から運搬車両LSの計測点PIまでの距離において多くのデータがカウントされる。一方、分割データDAにおいて地面RSが占める割合は大きい可能性があるものの、ホイールローダ1から地面RSまでの距離は、地面RSの各部位によって異なる。そのため、分割データDAにおいてヒストグラムを作成し、データ数が多い所定距離の範囲内に含まれる三次元データは、運搬車両LSを計測した三次元データであると推測できる。
図8に示すように、対象算出部86は、作成したヒストグラムに閾値SHを示すラインを設定し、閾値SH以上のデータ数の画素によって示される距離を抽出する。対象算出部86は、閾値SH以上のデータ数の画素によって示される距離に存在する計測対象を、運搬車両LSであると判定する(ステップS80)。
なお、ヒストグラムにおける横軸の各距離は所定の距離の幅を有する。図6に示す画像データにおいては、例えば地面RSのような運搬車両LS以外の計測対象が含まれているため、図8に示すように、幅広い距離においてヒストグラムのデータが存在する。一方、図6に示す画像データにおいては、運搬車両LSの側面領域が占める割合が大きい。また、運搬車両LSの側面は地面RSからほぼ垂直に立っており、ステレオカメラ22から運搬車両LSの側面の各計測点PIまでの距離はほぼ一定である。そのため、ヒストグラムにおいて、ステレオカメラ22から運搬車両LSの計測点PIまでの距離において多くのデータがカウントされる。対象算出部86は、多くのデータがカウントされた距離幅に入っている三次元データを運搬車両LSの計測データと判断する。図8のヒストグラムから、距離D11の範囲内に含まれる三次元データが運搬車両LSの計測データであると推測される。対象算出部86は、距離D11の範囲内に含まれる三次元データを運搬車両LSの計測データであると特定し、後述するように、距離D11に含まれる三次元データ及びバケット12の位置データに基づいて、ホイールローダ1から運搬車両LSまでの距離Dbおよびバケット上端部BEtの高さを算出する。
図8に示す例では、ステレオカメラ22からの距離が距離D11である画素のデータ数が最も多く、閾値SH以上である。そのため、対象算出部86は、閾値SH以上のデータ数の画素によって示される距離D11に存在する計測対象を、運搬車両LSであると判定する。
なお、図8に示すように、閾値SHは、ホイールローダ1からの距離が長いほど小さい値に設定される。画像データにおいて、ホイールローダ1に近い位置に存在する計測対象が示す割合は大きくなり、ホイールローダ1から遠い位置に存在する計測対象が示す割合は小さくなる。ホイールローダ1から近い位置の地面の方が、遠い位置の地面よりも画像(計測範囲)における広い領域を占めるため、閾値も遠ざかるほど低くすることで適切にノイズを除去して確実に運搬車両が存在する距離の幅を選定できる。そのため、ホイールローダ1からの距離が変化しても計測対象に対する閾値SHの機能が一定になるように、ホイールローダ1からの距離が長いほど閾値SHは小さい値に設定される。
次に、対象算出部86は、分割データDAにおいて特定されたベッセルBEを示す三次元データに基づいて、ベッセルBEの高さを算出する(ステップS90)。
図9は、1つの分割データDAにおいて抽出されたベッセルBEの一例を示す図である。図9に示すように、対象算出部86は、分割データDAにおいて運搬車両LSを示す三次元データを抽出した後、抽出した三次元データに基づいて、運搬車両LSの高さデータを算出する。
図9に示すように、分割データDAにおいて、上下方向にj座標が規定される。分割データDAの上下方向は、分割データDAの長手方向である。対象算出部86は、分割データDAにおいて上下方向に配置される複数の三次元データのそれぞれによって示される距離を抽出する。すなわち、対象算出部86は、複数のj座標のそれぞれに存在する三次元データによって示される距離を、j座標毎に抽出する。
図10は、分割データDAにおける、j座標とそのj座標に存在する運搬車両LSを示す三次元データのデータ数との関係を示す図である。
図9に示したように、分割データDAには、運搬車両LSまでの距離D11を示す三次元データと、距離D11とは異なる距離を示す三次元データとが存在する。距離D11は、ある程度の幅がある。分割データDAにおいて、ベッセルBEの上端部を示す画素よりも上方には、空を表示する画素しか存在しておらず、運搬車両と同等の距離(本実施形態における距離D11)にある対象物の画素が存在しない。すなわち、図10に示すように、ベッセルBEの上端部よりも上方のj座標においては、ベッセルBEを示す三次元データのデータ数はほぼゼロである。
ベッセルBEの上端部に一致するj座標Joにおいて、ベッセルBEを示す三次元データのデータ数は急激に増大する。対象算出部86は、ベッセルBEを示す三次元データのデータ数が急激に変化する変化点を示すj座標を、ベッセルBEの上端部の高さであると判定する。すなわち、対象算出部86は、分割データDAにおいて上下方向に配置される複数の画素のそれぞれによって示される距離が急激に変化する変化点をベッセルBEの上端部の高さであると判定する。
以上により、1つの分割データDAについて、ベッセルBEの上端部の高さが算出される。対象算出部86は、複数の分割データDAのそれぞれについて、上述のステップS70からステップS90までの処理を実施する。すなわち、対象算出部86は、全ての分割データDAについて、ベッセルBEの上端部の高さを算出する処理が終了したか否かを判定する(ステップS100)。全ての分割データDAについて高さを算出する処理が終了していないと判定した場合(ステップS100:No)、カウンタnがインクリメントされ(ステップS110)、ステップS70の処理に戻る。
全ての分割データDAについて高さを算出する処理が終了したと判定した場合(ステップS100:Yes)、対象算出部86は、複数の分割データDAにおけるベッセルBEの上端部の高さの算出結果を統合し、最終的な地面RSからベッセルBEの上端部の高さを算出する(ステップS120)。最終的な地面RSからベッセルBEの上端部の高さを算出する際には、例えば、複数の分割データDAでのベッセルBEの上端部の高さにおいて、最も高いデータを最終的なベッセルBEの上端部の高さとしてもよいし、複数の分割データDAでのベッセルBEの上端部の高さの平均値を最終的なベッセルBEの上端部の高さとしてもよい。
また、対象算出部86は、ヒストグラムにより特定した運搬車両LSの計測データである三次元データ及びバケット12の位置データに基づいて、ホイールローダ1から運搬車両LSまでの距離Dbを算出する(ステップS120)。運搬車両LSの計測データ、運搬車両LSに対応する三次元データ、及び運搬車両LSに対応する画像データは、積込対象データの一例である。
作業機制御部87は、対象算出部86により算出されたベッセルBEの高さ及び運搬車両LSまでの距離に基づいて、作業機10を制御する(ステップS130)。
すなわち、図3を参照して説明したように、作業機制御部87は、ホイールローダ1が運搬車両LSに接近するように前進している状態で、対象算出部86により算出された運搬車両LSまでの距離及びベッセルBEの上端部の高さに基づいて、バケット12がベッセルBEの上端部よりも上方に配置されるように、且つ、バケット12に保持されている掘削物がバケット12からこぼれないように、バケット12の角度を制御しながら、ブーム11を上げ動作させる。ブーム11が上げ動作し、バケット12がベッセルBEの上方に配置された後、作業機制御部87は、バケット12がチルト動作するように、作業機10を制御する。これにより、バケット12から掘削物が排出され、ベッセルBEに積み込まれる。また,ホイールローダ1の走行速度及び現時点でのバケット12の高さも考慮してもよい。これにより、バケット12の先端部12Bが運搬車両LSの最近接点に到達する直前に先端部12Bの位置がベッセルBEの上端部BEtよりも高い位置になるよう作業機10を最適な上昇速度で制御することができる。
[効果]
以上説明したように、本実施形態によれば、ベッセルBEの上端部BEtの高さデータに基づいて作業機10が制御されることにより、例えば運搬車両LSの種類が変更され、ベッセルBEの高さが変化しても、作業機制御部87は、適切な高さに配置されるように、作業機10を制御することができる。すなわち、例えばベッセルBEの上端部BEtの高さが高い場合、作業機制御部87は、例えば作業機10の可動範囲において作業機10を最も高い位置まで上昇させて、バケット12の掘削物をベッセルBEに排出することができる。また、ベッセルBEの上端部BEtの高さが低い場合、作業機制御部87は、作業機10をベッセルBEの上端部BEtよりも若干高い位置に配置した状態で、バケット12に保持されている掘削物をベッセルBEに排出することができる。これにより、作業機10が不必要に高い位置まで上げられることが抑制されるため、積込作業を効率的に行うことができる。また、不必要に高いところから掘削物が排出されないため、ベッセルBEに大きな衝撃が作用することが抑制される。
また、ベッセルBEの高さデータのみならず、ホイールローダ1から運搬車両LSまでの距離データに基づいて、作業機10が制御されることにより、例えば作業機10がベッセルBEに接触したり、バケット12に保持されている掘削物がバケット12からこぼれたりすることを抑制しつつ、バケット12に保持されている掘削物をベッセルBEに積み込むことができる。また、現時点のバケット12の高さ、運搬車両LSまでの距離データ、ホイールローダ1の走行速度に基づいて、バケット12の上昇速度を最適な速度に制御することができ、余計な負荷を軽減することができる。
また、画像データからバケット12を示す部分データが除去されることにより、ノイズ成分が除去された状態で、画像データをステレオ処理することができる。これにより、運搬車両LSの三次元データを良好に取得することができる。
第2実施形態.
第2実施形態について説明する。以下の説明において、上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。
[レーザレーダの計測データに基づく積込作業]
上述の実施形態においては、ステレオカメラ22の計測データに基づく積込作業について説明した。本実施形態においては、レーザレーダ21の計測データに基づく積込作業について説明する。
図11は、レーザレーダ21の動作を示す図である。図11に示すように、レーザレーダ21は、計測対象の表面の複数の照射点PJのそれぞれにレーザ光を照射して、複数の照射点PJのそれぞれとの距離を計測する。
本実施形態において、対象算出部86は、ホイールローダ1(レーザレーダ21)から複数の照射点PJのそれぞれまでの距離に基づいて、照射点PJを複数のグループに分類し、レーザ光の照射方向におけるグループの長さL、グループにおける重心高さ、及び地面RSに対するグループの傾斜角度Kの少なくとも一方に基づいて、計測対象を特定する。
例えば、積込作業モードにおいて、計測対象は、地面RS、運搬車両LS、及び運搬車両LSの周囲の物体の少なくとも一つを含む。対象算出部86は、グループの長さL、グループにおける重心高さ、及びグループの傾斜角度Kの少なくとも一方に基づいて、計測対象が、地面RS、地山DS、及び運搬車両LSのどれであるのかを特定する。
対象算出部86は、複数の照射点PJをグルーピングする。グルーピングとは、例えば隣り合う照射点PJの距離の差が予め定められている閾値以下の複数の照射点PJを1つのグループとしてグループ分けすることをいう。図11に示す例では、例えば、計測対象の表面に照射されることによって規定された照射点PJaと、作業機10の一部に照射されることによって規定された照射点PJbとの距離の差は大きい。したがって、計測対象の表面に規定された照射点PJaは、1つのグループとなり、作業機10の表面に規定された照射点PJbは、別のグループとなる。
対象算出部86は、作業機10における部分データを示す照射点PJbのグループを除去し、計測対象を示す照射点PJaのグループをグループ分割して、複数の照射点PJを第1グループと第2グループとに分類する。
図12は、グループ分割を説明するための模式図である。グループ分割とは、図12(A)に示すように、複数の照射点PJのうち、最も端の照射点PJを仮想的な直線IMで結び、直線IMからの垂直距離が最も長い照射点PJを分割点PJKとして規定し、その分割点PJKを基準として2つのグループに分ける処理をいう。グループ分割は、図11における照射点PJaをさらに小グループに分割する方法である。
分割点PJKは、1つのグループを構成する複数の照射点PJを結ぶ仮想線において変曲点となる照射点PJである。そのため、その分割点PJKを基準として、図12(B)に示すように、それぞれ直線状に並ぶ2つのグループに分割することができる。図12(B)に示すように、レーザレーダ21に近い照射点PJのグループは、計測対象の第1面F1を表わす照射点PJのグループであるとみなすことができ、レーザレーダ21から遠い照射点PJのグループは、計測対象の第2面F2を表わす照射点PJのグループであるとみなすことができる。このように、対象算出部86は、グループ分割して、複数の照射点PJを第1グループと第2グループとに分類することができる。
対象算出部86は、第1グループ及び第2グループそれぞれの複数の照射点PJについて直線フィッティング処理を実施する。対象算出部86は、フィッティング処理を実施した後、レーザ光の照射方向におけるグループの長さL、地面RSに対するグループの傾斜角度K、及びグループの重心高さHの少なくとも一つを算出する。図12に示す例において、対象算出部86は、第1グループに係る傾きK1及び重心高さH1と、第2グループに係る傾きK2及び重心高さH2と、グループ長さL1,L2を算出する。
対象算出部86は、グループの長さL、グループの傾斜角度K、及びグループの重心高さHの少なくとも一つに基づいて、計測対象が地面RS及び運搬車両LSのいずれであるのかを特定する。
対象算出部86は、グループの傾斜角度Kが角度閾値未満であるとき、計測対象は地面RSであると判定する。対象算出部86は、グループの傾斜角度Kが角度閾値以上であるとき、計測対象は運搬車両LSであると判定する。
一般に、地面RSは、水平面とほぼ平行であるため、グループの傾斜角度Kが小さく角度閾値未満である場合、そのグループは地面RSであると判定することができる。運搬車両LS(ベッセルBE)の側面は、地面RSに対してほぼ垂直であるため、グループの傾斜角度Kが角度閾値以上である場合、そのグループは運搬車両LSであると判定することができる。
なお、対象算出部86は、グループの長さLが寸法閾値以上であるとき、計測対象は地面RSであると判定してもよい。なお、対象算出部86は、グループの長さLが寸法閾値未満であるとき、計測対象は運搬車両LSであると判定してもよい。
地山DSの表面は、地面RSに対して傾斜しているため、グループの長さLが寸法閾値以上である場合、そのグループは地面RSであると判定することができる。運搬車両LS(ベッセルBE)の側面は、地面RSに対してほぼ垂直であるため、グループの長さLが寸法閾値未満である場合、そのグループは運搬車両LSであると判定することができる。
なお、対象算出部86は、グループの重心高さHが高さ閾値未満である場合、そのグループは地面RSであると判定してもよい。対象算出部86は、グループの重心高さHが高さ閾値以上である場合、そのグループは運搬車両LSであると判定してもよい。
図13は、本実施形態に係るホイールローダ1の制御方法を示すフローチャートであって、レーザレーダ21による運搬車両LSの計測データを処理する方法を示す。
ホイールローダ1が作業機10により掘削された掘削物を積み込むために運搬車両LSに向かって前進する積込作業モードにおいて、レーザレーダ21は、運搬車両LSを計測する。レーザレーダ21は、運搬車両LSを計測するとき、運搬車両LSにレーザ光を照射する。
レーザレーダ21による運搬車両LSの計測データは、レーザレーダ21からレーザ光が照射される運搬車両LSの表面の複数の照射点PJのそれぞれまでの距離を含む。レーザレーダ21による運搬車両LSの計測データは、制御装置80に出力される。計測データ取得部81は、レーザレーダ21から運搬車両LSの計測データを取得する(ステップS421)。
図14は、レーザレーダ21による計測方法を模式的に示す。図14に示すように、レーザレーダ21は、運搬車両LSの表面の複数の照射点PJのそれぞれとの距離を計測する。
対象算出部86は、複数の照射点PJをグルーピングする(ステップS422)。
図11を参照して説明したように、対象算出部86は、作業機10を示す照射点PJのグループを除去する。また、作業機部分のグループを除去する。また、図12(A)を参照して説明したように、対象算出部86は、計測対象を示す照射点PJのグループをグループ分割する。作業機部分のデータを部分データとして定義する。
また、図12(B)を参照して説明したように、対象算出部86は、レーザ光の照射方向におけるグループの長さL、及び地面RSに対するグループの傾斜角度Kの少なくとも一方に基づいて、運搬車両LSと地面RSとを特定する。
すなわち、対象算出部86は、グループ分割して、複数の照射点PJを運搬車両グループと地面グループとに分類する(ステップS423)。
対象算出部86は、運搬車両グループの複数の照射点PJからレーザレーダ21に最も近い照射点PJを抽出する(ステップS424)。
図14に示すように、運搬車両グループは、ベッセルBEの側面を示すベッセルグループと、ベッセルBEに積み込まれた積荷を示す積荷グループとを含む。対象算出部86は、最も近い照射点PJから一定距離の範囲内に存在する複数の照射点PJをベッセルグループとして抽出する(ステップS425)。一定距離範囲外の照射点PJを積荷グループとする。
対象算出部86は、最も近い照射点PK(最近接点)に基づいて、ホイールローダ1から運搬車両LSまでの距離を算出する(ステップS426)。
対象算出部86は、ベッセルグループの複数の照射点PJのうち最も高い位置に存在する照射点PJを抽出する(ステップS427)。
対象算出部86は、ベッセルグループにおける最も高い位置に存在する照射点PJに基づいて、ベッセルBEの上端部の高さを算出する(ステップS428)。
作業機制御部87は、対象算出部86により算出された運搬車両LSまでの距離及びベッセルBEの高さに基づいて、作業機10を制御する(ステップS429)。
[効果]
以上説明したように、本実施形態においても、ベッセルBEの上端部の高さに基づいて作業機10が制御されることにより、例えば運搬車両LSの種類が変更され、ベッセルBEの高さが変化しても、作業機制御部87は、適切な作業機の上昇速度により、バケット12を適切な高さに配置されるように、作業機10を制御することができる。
[コンピュータシステム]
図15は、コンピュータシステム1000の一例を示すブロック図である。上述の制御装置80は、コンピュータシステム1000によって構成される。コンピュータシステム1000は、CPU(Central Processing Unit)のようなプロセッサ1001と、ROM(Read Only Memory)のような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含むメインメモリ1002と、ストレージ1003と、入出力回路を含むインターフェース1004とを有する。上述の制御装置80の機能は、プログラムとしてストレージ1003に記憶されている。プロセッサ1001は、プログラムをストレージ1003から読み出してメインメモリ1002に展開し、プログラムに従って上述の処理を実行する。なお、プログラムは、ネットワークを介してコンピュータシステム1000に配信されてもよい。
[その他の実施形態]
なお、上述の実施形態においては、三次元計測装置20としてレーザレーダ21及びステレオカメラ22の両方がホイールローダ1に設けられることとした。レーザレーダ21及びステレオカメラ22の一方がホイールローダ1に設けられてもよい。また、三次元計測装置20は、作業対象の三次元形状及び作業対象との相対位置を計測できればよく、レーザレーダ21及びステレオカメラ22に限定されない。
上述の実施形態では、作業機の部分データを除去する点について、ステレオカメラ22やレーザレーダ21における三次元データにおいてバケット12の部分の三次元データを除去する説明であったが、それに限らず、例えば計測データとして画像データを用いる場合は、画像データ上において作業機10の部分に該当する部分データを除去するようにしてもよい。その場合、三次元計測装置20に代えて、計測装置としての撮像装置を用いることができる。
上述の実施形態において、画像を取得して、人工知能(AI:Artificial Intelligence)などを用いた画像認識によりベッセルBEの上端部BEtの画素部分を特定し、その画素における位置をステレオカメラ等の手段によりベッセル上端部BEtの高さHbを計測してもよい。
また、AIなどの画像認識により運搬車両の画像部分を特定した上でベッセル上端部BEtの画素部分を特定し、さらに画像情報からベッセル上端部BEtや地面RSまでの距離を推定して、ベッセル上端部BEtまでの高さHbを算出してもよい。
また、三次元計測装置20に代えて、位置計測装置を用いてもよい。2つの位置計測装置があればホイールローダ1の位置・方位が算出できるので、運搬車両LSにも位置計測装置を設けて運搬車両LSの位置・方位データを受け取れば、ホイールローダ1から運搬車両LSまでの距離Dbを算出することができる。
また、ホイールローダ1と運搬車両LS間でビーコンやRFIDといった無線通信装置を設置して、その電波強度に基づいて、ホイールローダ1と運搬車両との距離を求めてもよい。
つまり、計測装置は、三次元計測装置、撮像装置、位置計測装置、無線通信装置などであってもよい。
なお、上述の各実施形態において、ホイールローダ1が作業を実施する作業現場は、鉱山の採掘現場でもよいし、施工現場又は建設現場でもよい。
なお、ホイールローダ1は、除雪作業に使用されてもよいし、農畜産業における作業に使用されてもよいし、林業における作業に使用されてもよい。
なお、上述の実施形態において、バケット12は、複数の刃を有してもよいし、ストレート状の刃先を有してもよい。
レーザレーダ21を用いる実施形態において、三次元データをグループに分類するようにしたが、それに限らず、ステレオカメラ22の実施形態においても、三次元データを算出した後に、レーザレーダ21の実施形態と同様の手法でグループ分類をした上で運搬車両LSを計測した三次元データを抽出するようにしてもよい。
また画像データによる画像認識の形態の場合でも、画像データにて写っている計測対象をグループ分類して、その中から運搬車両LSの画像データを抽出してもよい。
上述の実施形態において、ホイールローダ1に慣性計測装置(IMU:Inertial Measurement Unit)を取り付け、慣性計測装置の検出結果に基づいて地面RSを規定してもよい。
上述の実施形態では、ステレオカメラ22又はレーザレーダ21によりベッセル上端部BEtの高さHbを算出したが、それに限らず、運搬車両LSとの車々間通信によりベッセル上端部BEtの高さHbの情報を受け取ってもよい。
予め運搬車両LSの識別データとベッセル上端部BEtの高さHbとを対応させたテーブルを有しておき、車々間通信等何らかの手段で積込対象である運搬車両LSの識別コードを特定してベッセル上端部BEtの高さHbを求めてもよい。
なお、上述の実施形態において、ステレオカメラ22により計測した三次元データを分割することは必須の要件ではない。
なお、ブーム11の先端部に連結される作業部材は、バケット12でなくてもよく、除雪作業に使用されるスノープラウ又はスノーバケットでもよいし、農畜産業の作業において使用されるベールグラブ又はフォークでもよいし、林業の作業において使用されるフォーク又はバケットでもよい。
なお、作業機械1は、ホイールローダに限定されず、例えば油圧ショベル又はブルドーザのような作業機を有する作業機械に上述の実施形態で説明した制御装置80及び制御方法を適用することができる。
1…ホイールローダ(積込機械)、2…車体、2F…車体前部、2R…車体後部、3…運転台、4…走行装置、4A…駆動装置、4B…ブレーキ装置、4C…操舵装置、5…車輪、5F…前輪、5R…後輪、6…タイヤ、6F…前タイヤ、6R…後タイヤ、7…フロントフェンダ、7A…第1部材、7B…第2部材、8…前照灯、9…関節機構、10…作業機、11…ブーム、12…バケット、12B…先端部、12E…端部、13…ブームシリンダ、14…バケットシリンダ、15…ベルクランク、16…リンク、17…ハウジング、18…支持部材、19…ウインカーランプ、20…三次元計測装置、21…レーザレーダ、22…ステレオカメラ、22A…第1カメラ、22B…第2カメラ、30…トランスミッション装置、40…走行操作装置、50…角度センサ、51…ブーム角度センサ、52…バケット角度センサ、80…制御装置、81…計測データ取得部、82…記憶部、83…位置データ算出部、86…対象算出部、87…作業機制御部、88…トランスミッション制御部、89…走行制御部、BE…ベッセル(積込対象)、DA…分割データ、DS…地山(掘削対象)、FX…回転軸、LS…運搬車両、PJ…照射点、RX…回転軸、RS…地面、SH…閾値。

Claims (4)

  1. 作業機を有する積込機械が前記作業機のバケットにより掘削された掘削物を積み込むために積込対象に向かって前進する積込作業モードにおいて、前記積込機械に搭載された計測装置の計測データを取得する計測データ取得部と、
    前記計測データから前記積込対象に関する計測データである積込対象データを抽出し、前記積込対象データに基づいて、前記積込対象の上端部の高さデータ及び前記積込機械から積込対象までの距離データを算出する対象算出部と、
    前記高さデータ及び前記距離データに基づいて、前記作業機を制御する作業機制御部と、
    前記バケットの位置データを算出する位置データ算出部と、を備え
    前記対象算出部は、前記バケットの位置データに基づいて、前記計測データから前記バケットを示す部分データを除去し、前記部分データが除去された前記計測データに基づいて、前記積込対象データを抽出する、
    積込機械の制御装置。
  2. 前記対象算出部は、前記計測データの中から前記積込機械からの距離が所定範囲内に存在する計測データを前記積込対象データとして抽出する、
    請求項に記載の積込機械の制御装置。
  3. 前記対象算出部は、前記計測データを複数のグループに分類し、前記複数のグループから積込対象グループの積込対象データを抽出する、
    請求項1又は請求項に記載の積込機械の制御装置。
  4. 作業機を有する積込機械が前記作業機のバケットにより掘削された掘削物を積み込むために積込対象に向かって前進する積込作業モードにおいて、前記積込機械に搭載された計測装置の計測データを取得することと、
    前記計測データから前記積込対象に関する計測データである積込対象データを抽出し、前記積込対象データに基づいて、前記積込対象の上端部の高さデータ及び前記積込機械から積込対象までの距離データを算出することと、
    前記高さデータ及び前記距離データに基づいて、前記作業機を制御することと、
    前記バケットの位置データを算出することと、を含み、
    前記バケットの位置データに基づいて、前記計測データから前記バケットを示す部分データを除去し、前記部分データが除去された前記計測データに基づいて、前記積込対象データを抽出する、
    積込機械の制御方法。
JP2018087774A 2018-04-27 2018-04-27 積込機械の制御装置及び積込機械の制御方法 Active JP6995687B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018087774A JP6995687B2 (ja) 2018-04-27 2018-04-27 積込機械の制御装置及び積込機械の制御方法
CN201980018677.9A CN111836934A (zh) 2018-04-27 2019-03-11 装载机械的控制装置及装载机械的控制方法
PCT/JP2019/009790 WO2019207981A1 (ja) 2018-04-27 2019-03-11 積込機械の制御装置及び積込機械の制御方法
US16/979,618 US11821168B2 (en) 2018-04-27 2019-03-11 Control device for loading machine and control method for loading machine
EP19792771.8A EP3751058A4 (en) 2018-04-27 2019-03-11 LOADING MACHINE CONTROL DEVICE AND METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018087774A JP6995687B2 (ja) 2018-04-27 2018-04-27 積込機械の制御装置及び積込機械の制御方法

Publications (2)

Publication Number Publication Date
JP2019190237A JP2019190237A (ja) 2019-10-31
JP6995687B2 true JP6995687B2 (ja) 2022-01-17

Family

ID=68293851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018087774A Active JP6995687B2 (ja) 2018-04-27 2018-04-27 積込機械の制御装置及び積込機械の制御方法

Country Status (5)

Country Link
US (1) US11821168B2 (ja)
EP (1) EP3751058A4 (ja)
JP (1) JP6995687B2 (ja)
CN (1) CN111836934A (ja)
WO (1) WO2019207981A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4214398A1 (en) * 2020-09-15 2023-07-26 Sandvik Mining and Construction Oy Mining machine with a support structure for measurement sensors
US11946230B2 (en) 2020-10-28 2024-04-02 Deere & Company Container load assist system and method for a work vehicle
JP7374142B2 (ja) * 2021-03-01 2023-11-06 日立建機株式会社 ホイールローダ
JP2022145209A (ja) * 2021-03-19 2022-10-03 株式会社小松製作所 作業機械の制御システム及び作業機械の制御方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000136549A (ja) 1998-10-09 2000-05-16 Carnegie Mellon Univ 自律掘削及びトラック載荷システム
JP2008248523A (ja) 2007-03-29 2008-10-16 Komatsu Ltd 作業車両
WO2010104138A1 (ja) 2009-03-12 2010-09-16 株式会社小松製作所 作業機を備えた建設車両
WO2011074583A1 (ja) 2009-12-14 2011-06-23 日立建機株式会社 作業車両の変速制御装置
JP2017155491A (ja) 2016-03-02 2017-09-07 株式会社神戸製鋼所 建設機械の干渉防止装置
JP2017227454A (ja) 2016-06-20 2017-12-28 三菱電機株式会社 監視装置
WO2018043091A1 (ja) 2016-08-31 2018-03-08 株式会社小松製作所 ホイールローダおよびホイールローダの制御方法
WO2018043104A1 (ja) 2016-08-31 2018-03-08 株式会社小松製作所 ホイールローダおよびホイールローダの制御方法
US20180080193A1 (en) 2016-09-21 2018-03-22 Deere & Company System and method for automatic dump control

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2125375C (en) * 1994-06-07 1999-04-20 Andrew Dasys Tactile control for automated bucket loading
JPH1088625A (ja) 1996-09-13 1998-04-07 Komatsu Ltd 自動掘削機、自動掘削方法および自動積み込み方法
AU9702798A (en) * 1997-12-19 1999-07-08 Carnegie Wave Energy Limited Method and apparatus for receiving, storing, and distributing three- dimensional range data in an earthmoving environment
JPH11350534A (ja) * 1997-12-19 1999-12-21 Carnegie Mellon Univ 土工機械のための走査センサ設備
GB2332415B (en) 1997-12-19 2001-11-21 Univ Carnegie Mellon Sensor configuration for an earthmoving machine
CN101936018A (zh) * 2010-07-26 2011-01-05 徐工集团工程机械股份有限公司江苏徐州工程机械研究院 装载机电液比例控制系统
US20160035149A1 (en) * 2014-07-30 2016-02-04 Caterpillar Inc. Truck spotting system using position detection and perception
WO2017033769A1 (ja) * 2015-08-24 2017-03-02 株式会社小松製作所 ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
US20170073925A1 (en) * 2015-09-11 2017-03-16 Caterpillar Inc. Control System for a Rotating Machine
US20160196749A1 (en) * 2016-03-14 2016-07-07 Caterpillar Inc. Method for assisting hauling trucks at worksite
JP6807293B2 (ja) * 2017-09-26 2021-01-06 日立建機株式会社 作業機械
EP3779070A4 (en) * 2018-03-26 2021-11-17 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. EXCAVATOR
JP7141843B2 (ja) * 2018-03-30 2022-09-26 株式会社小松製作所 作業機械の制御装置及び作業機械の制御方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000136549A (ja) 1998-10-09 2000-05-16 Carnegie Mellon Univ 自律掘削及びトラック載荷システム
JP2008248523A (ja) 2007-03-29 2008-10-16 Komatsu Ltd 作業車両
WO2010104138A1 (ja) 2009-03-12 2010-09-16 株式会社小松製作所 作業機を備えた建設車両
WO2011074583A1 (ja) 2009-12-14 2011-06-23 日立建機株式会社 作業車両の変速制御装置
JP2017155491A (ja) 2016-03-02 2017-09-07 株式会社神戸製鋼所 建設機械の干渉防止装置
JP2017227454A (ja) 2016-06-20 2017-12-28 三菱電機株式会社 監視装置
WO2018043091A1 (ja) 2016-08-31 2018-03-08 株式会社小松製作所 ホイールローダおよびホイールローダの制御方法
WO2018043104A1 (ja) 2016-08-31 2018-03-08 株式会社小松製作所 ホイールローダおよびホイールローダの制御方法
US20180080193A1 (en) 2016-09-21 2018-03-22 Deere & Company System and method for automatic dump control

Also Published As

Publication number Publication date
CN111836934A (zh) 2020-10-27
WO2019207981A1 (ja) 2019-10-31
EP3751058A4 (en) 2021-11-10
EP3751058A1 (en) 2020-12-16
JP2019190237A (ja) 2019-10-31
US11821168B2 (en) 2023-11-21
US20210040711A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
JP6995687B2 (ja) 積込機械の制御装置及び積込機械の制御方法
JP7154026B2 (ja) 作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法
JP7121532B2 (ja) 積込機械の制御装置及び積込機械の制御方法
JP7368536B2 (ja) 作業機械
JP7141843B2 (ja) 作業機械の制御装置及び作業機械の制御方法
CN112639915A (zh) 作业车辆的周边监视系统及作业车辆的周边监视方法
WO2022196641A1 (ja) 作業機械の制御システム及び作業機械の制御方法
WO2022196639A1 (ja) 作業機械の異常判定システム及び作業機械の異常判定方法
JP2024043780A (ja) 作業機械を含むシステム、および作業機械の制御方法
JP2024036922A (ja) 作業機械、作業機械を含むシステム、および作業機械の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211215

R150 Certificate of patent or registration of utility model

Ref document number: 6995687

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150