JP7843579B2 - 作業機械 - Google Patents

Description

本発明は、作業機械に関する。

油圧アクチュエータにより駆動されるフロント作業装置（例えばブーム、アーム、及び、バケット等のアタッチメント）等を有する多関節型の作業機械（例えば油圧ショベル）が知られている。この種の作業機械は、掘削した土砂等の対象物を、被積込機械である運搬機械（例えばダンプトラック）に積み込む積込作業を行う。

積込作業を行う際、フロント作業装置の高さ（例えば、バケットの高さ）が運搬機械より低い位置で旋回させると、フロント作業装置が運搬機械と衝突する可能性がある。そこで、積込作業を行う作業機械のオペレータの操作を支援する機能や、作業機械が自動で積込作業を行う技術が求められている。作業機械の積込作業を半自動又は全自動（以下「自動」と総称する）で行う際には、作業機械が運搬機械の位置及び姿勢を正確に認識する必要がある。

運搬機械を認識する従来技術としては、例えば、特許文献１に記載の技術がある。特許文献１には、作業機械の運搬物の積み下ろし対象が写る撮像画像を取得するデータ取得部と、前記撮像画像から前記積み下ろし対象を含む領域を特定する領域特定部と、前記積み下ろし対象を含む領域から前記積み下ろし対象の少なくとも一つの所定の面を特定する積み下ろし対象特定部と、を備える画像処理システムが開示されている。

特開２０２０－１２６３６３号公報

特許文献１に開示の技術は、運搬機械を特定するために、機械学習を用いた画像認識システムによって、作業機械に取り付けられたカメラの撮像画像から運搬機械の位置及び姿勢を検出している。しかしながら、機械学習を用いた認識システムでは、学習データを収集していない現場又は運搬機械に対して認識結果の妥当性及び認識精度を保証することが困難である。

また、運搬機械の認識システムとして他社システムを組み込んだ場合、作業機械の開発会社に対して、認識システムのアルゴリズムの細部まで公開されない可能性がある。作業機械の開発会社は、認識システムの認識結果を検証することが容易ではない。作業機械の開発会社は、認識システムの認識結果を用いて運搬機械に衝突することなく適切に積込作業を制御することが可能であるか、事前に判断することが困難である。

本発明は、上記に鑑みてなされたものであり、種々の状況においても運搬機械の位置及び姿勢を正確に認識することで、運搬機械への積込作業を適切に制御することが可能な作業機械を提供することを目的とする。

上記課題を解決するために、本発明の作業機械は、対象物を運搬機械に積み込む作業機械であって、前記作業機械の車体の周辺環境を計測する外界計測装置と、前記外界計測装置の計測結果に基づいて前記車体の周辺に存在する前記運搬機械を認識する情報処理装置と、前記情報処理装置の認識結果に基づいて前記車体の動作を制御する制御装置と、外部から前記運搬機械の位置及び車格情報を取得する運搬機械情報取得装置と、を備え、前記情報処理装置は、前記運搬機械情報取得装置により取得された前記運搬機械の位置及び車格情報に基づいて前記運搬機械の認識結果を補正し、前記制御装置は、補正された前記運搬機械の認識結果に基づいて前記車体の動作を制御することを特徴とする。

本発明によれば、種々の状況においても運搬機械の位置及び姿勢を正確に認識することで、運搬機械への積込作業を適切に制御することが可能な作業機械を提供することができる。
上記以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

実施形態１の作業機械の一例である油圧ショベルの外観構成を模式的に示す側面図。 図１に示す油圧ショベルに搭載された油圧システム及び制御システムの構成を示すブロック図。 図２に示す油圧ショベルの動作の一例を説明する図。 図２に示す油圧ショベルの動作の一例を示すフローチャート。 図２に示す情報処理装置の機能的構成を説明するブロック図。 油圧ショベルに設定される各座標系を側方から視た図。 図６に示す各座標系を上方から視た図。 ダンプトラックの車体座標系を側方から視た図。 図８に示す車体座標系を上方から視た図。 認識結果検証処理の一例を示すフローチャート。 認識領域及び推定領域の重合度を説明する図。 油圧ショベルのタスク毎に、認識結果の妥当性の判定基準と認識領域の補正方法とを定めたテーブルを示す図。 積込タスク取得時の認識領域の補正方法を説明する図。 リーチングタスク取得時の認識領域の補正方法を説明する図。 認識結果の確度が閾値以下である場合の表示装置の表示例を示す図。 実施形態２の情報処理装置の機能的構成を説明するブロック図。 図１６に示すトラック姿勢推定部の処理を説明する図。 実施形態３の情報処理装置の機能的構成を説明するブロック図。

以下、本発明の実施形態について図面を用いて説明する。なお、各実施形態において同一の符号を付された構成については、特に言及しない限り、各実施形態において同様の機能を有し、その説明を省略する。

本実施形態の作業機械は、掘削した土砂等の対象物を、被積込機械である運搬機械に積み込む積込作業を行う作業機械である。以下では、作業機械としてバケットを備える油圧ショベル、運搬機械としてダンプトラックを例に挙げて説明する。しかし、本実施形態の作業機械は、バケット以外のアタッチメントを備える油圧ショベルであってもよいし、油圧ショベル以外の作業機械であってもよい。本実施形態の運搬機械は、ダンプトラック以外の運搬機械であってもよい。

［実施形態１］
図１～図１５を用いて、実施形態１の油圧ショベル１について説明する。

＜油圧ショベルの外観構成＞
図１は、実施形態１の作業機械の一例である油圧ショベル１の外観構成を模式的に示す側面図である。

油圧ショベル１は、対象物を保持して上下方向又は前後方向に回動する多関節型のフロント作業装置２と、フロント作業装置２を搭載する機械本体３とを備える。

機械本体３は、下部走行体５の右部及び左部に設けられた走行右油圧モータ４ａ及び走行左油圧モータ４ｂにより走行する下部走行体５と、下部走行体５の上部に旋回装置を介して取り付けられ、旋回装置の旋回油圧モータ６により旋回する上部旋回体７とを備える。なお、本実施形態では、走行右油圧モータ４ａ及び走行左油圧モータ４ｂを総称して、「走行油圧モータ４ａ，４ｂ」ともいう。

フロント作業装置２は、上部旋回体７の前部に取り付けられた複数のフロント部材によって構成された多関節型の作業装置である。上部旋回体７は、フロント作業装置２を搭載して旋回する。フロント作業装置２は、上部旋回体７の前部に上下方向に回動可能に連結されたブーム８と、ブーム８の先端部に上下方向に回動可能に連結されたアーム９と、アーム９の先端部に上下方向に回動可能に連結されたバケット１０とを含む。

ブーム８は、ブームピン８ａによって上部旋回体７に連結され、ブームシリンダ１１の伸縮によって回動する。アーム９は、アームピン９ａによってブーム８の先端部に連結され、アームシリンダ１２の伸縮によって回動する。バケット１０は、バケットピン１０ａ及びバケットリンク１６によってアーム９の先端部に連結され、バケットシリンダ１３の伸縮によって回動する。

ブームピン８ａには、ブーム８の回動角度を検出するブーム角度センサ１４が取り付けられている。アームピン９ａには、アーム９の回動角度を検出するアーム角度センサ１５が取り付けられている。バケットリンク１６には、バケット１０の回動角度を検出するバケット角度センサ１７が取り付けられている。

なお、ブーム８、アーム９及びバケット１０の各回動角度は、水平面等の基準面に対するブーム８、アーム９及びバケット１０の各角度を慣性計測装置により検出し、各回動角度に換算することによって取得されてもよい。また、ブーム８、アーム９及びバケット１０の各回動角度は、ブームシリンダ１１、アームシリンダ１２及びバケットシリンダ１３の各ストロークをストロークセンサにより検出し、各回動角度に換算することによって取得されてもよい。

上部旋回体７には、水平面等の基準面に対する機械本体３の傾斜角度を検出する傾斜角度センサ１８が取り付けられている。下部走行体５と上部旋回体７との間の旋回装置には、下部走行体５に対する上部旋回体７の相対的な角度である旋回角度を検出する旋回角度センサ１９が取り付けられている。上部旋回体７には、上部旋回体７の角速度を検出する角速度センサ（不図示）が取り付けられている。なお、本実施形態では、ブーム角度センサ１４、アーム角度センサ１５、バケット角度センサ１７、傾斜角度センサ１８及び旋回角度センサ１９を総称して、「姿勢検出装置５３」ともいう。姿勢検出装置５３は、フロント作業装置２の各回動角度及び上部旋回体７の旋回角度等を検出する。

上部旋回体７に設けられた運転室内には、オペレータの入力を受け付け可能なタッチスクリーン等によって構成された表示装置５５が設置されている。また、上部旋回体７に設けられた運転室内には、複数の油圧アクチュエータ４ａ，４ｂ，６，１１，１２，１３を操作する操作装置が設置されている。具体的には、操作装置は、走行右油圧モータ４ａを操作するための走行右レバー２３ａと、走行左油圧モータ４ｂを操作するための走行左レバー２３ｂと、ブームシリンダ１１及びバケットシリンダ１３を操作するための操作右レバー２２ａと、アームシリンダ１２及び旋回油圧モータ６を操作するための操作左レバー２２ｂとを備える。なお、本実施形態では、走行右レバー２３ａ、走行左レバー２３ｂ、操作右レバー２２ａ及び操作左レバー２２ｂを総称して、「操作レバー２２，２３」ともいう。

また、上部旋回体７には、油圧ショベル１の車体の周辺環境を計測する外界計測装置７０が取り付けられている。外界計測装置７０は、油圧ショベル１の周辺に存在する物体の深度（物体までの距離）を計測する。外界計測装置７０は、計測結果として、当該物体の深度情報を取得する。外界計測装置７０は、例えば、ＬｉＤＡＲ（Light Detection And Ranging）であってもよいし、ステレオカメラであってもよい。外界計測装置７０は、油圧ショベル１に複数取り付けられていてもよい。

また、上部旋回体７には、油圧ショベル１の現場における位置及び方位を計測する測位装置６０が取り付けられている。測位装置６０は、計測結果として、油圧ショベル１の現場における位置及び方位を含む測位情報を取得する。測位装置６０は、例えば、ＧＮＳＳ受信機や、ＴＳ（Total Station）等の測量機器であってもよい。測位装置６０は、これらに限らず、例えば、現場に固定されたカメラであってもよい。この場合、測位装置６０は、検出された油圧ショベル１の画像から演算された情報に基づいて、油圧ショベル１の現場における位置及び方位を計測してもよい。この場合、油圧ショベル１の方位を正確に計測するために、測位装置６０は、少なくとも２つ設けられていることが望ましい。

また、上部旋回体７には、ダンプトラック２００の位置、姿勢及び車格情報を含むトラック情報を外部から取得するトラック情報取得装置５６が取り付けられている。車格情報は、ダンプトラック２００の車種及び寸法の情報を含む。トラック情報取得装置５６は、例えば、ＦＭＳ（Fleet Management System）のようなダンプトラック２００の位置・配車管理システムとの無線通信を行う通信端末であってもよい。トラック情報取得装置５６は、ダンプトラック２００の位置・配車管理システムから送信されたダンプトラック２００のトラック情報を受信することによって、トラック情報を取得することができる。トラック情報取得装置５６は、トラック情報取得装置５６の機能を実装したソフトウェアとして構成され、情報処理装置５４に組み込まれていてもよい。

ＦＭＳのようなダンプトラック２００の位置・配車管理システムの多くは、ダンプトラック２００のＧＮＳＳ受信機から取得したダンプトラック２００の位置情報を、地図上の経路に合致させる調整機能を備えている。トラック情報取得装置５６は、ダンプトラック２００のトラック情報と同時に、当該調整機能に基づくダンプトラック２００の位置調整量に関する情報を、位置・配車管理システムから取得することができる。

また、上部旋回体７には、油圧ショベル１が次に行う動作内容（又は作業内容）を示すタスクを取得するタスク取得装置５８が取り付けられている。タスク取得装置５８は、例えば、作業現場を管理する管理装置との無線通信を行う通信端末であってもよい。タスク取得装置５８は、管理装置から送信された油圧ショベル１のタスクを受信することによって、タスクを取得することができる。タスク取得装置５８は、トラック情報取得装置５６と共有する通信端末によって構成されていてもよい。タスク取得装置５８は、タスク取得装置５８の機能を実装したソフトウェアとして構成され、情報処理装置５４に組み込まれていてもよい。また、タスク取得装置５８は、オペレータによる操作レバー２２，２３の操作から自動的にタスクを判別することによってタスクを取得してもよい。タスク取得装置５８は、オペレータが操作可能な入力端末であり、オペレータの入力を受け付けることによってタスクを取得してもよい。本実施形態では、タスクの取得方法については特に限定されない。

＜油圧ショベルの内部構成＞
図２は、図１に示す油圧ショベル１に搭載された油圧システム及び制御システムの構成を示すブロック図である。

上部旋回体７に搭載された原動機であるエンジン１０３は、油圧ポンプ１０２とパイロットポンプ１０４とを駆動する。制御装置４０は、オペレータによる操作レバー２２，２３の操作情報（操作量及び操作方向）に応じて、フロント作業装置２の回動動作、下部走行体５の走行動作、及び、上部旋回体７の旋回動作（すなわちこれらによって構成される油圧ショベル１の車体の動作）を制御する。具体的には、制御装置４０は、オペレータによる操作レバー２２，２３の操作情報（操作量及び操作方向）をロータリエンコーダ又はポテンショメータ等のセンサ５２ａ～５２ｆにより検出し、検出された操作情報に応じた制御指令を電磁比例弁４７ａ～４７ｌに出力する。電磁比例弁４７ａ～４７ｌは、パイロットライン１００に設けられており、制御装置４０からの制御指令が入力されると作動し、流量制御弁１０１にパイロット圧を出力して、流量制御弁１０１を作動させる。

流量制御弁１０１は、旋回油圧モータ６、アームシリンダ１２、ブームシリンダ１１、バケットシリンダ１３、走行右油圧モータ４ａ及び走行左油圧モータ４ｂのそれぞれに対して油圧ポンプ１０２から供給される圧油を、電磁比例弁４７ａ～４７ｌからのパイロット圧に応じて制御する。なお、電磁比例弁４７ａ，４７ｂは、旋回油圧モータ６に供給される圧油を制御するためのパイロット圧を流量制御弁１０１に出力する。電磁比例弁４７ｃ，４７ｄは、アームシリンダ１２に供給される圧油を制御するためのパイロット圧を流量制御弁１０１に出力する。電磁比例弁４７ｅ，４７ｆは、ブームシリンダ１１に供給される圧油を制御するためのパイロット圧を流量制御弁１０１に出力する。電磁比例弁４７ｇ，４７ｈは、バケットシリンダ１３に供給される圧油を制御するためのパイロット圧を流量制御弁１０１に出力する。電磁比例弁４７ｉ，４７ｊは、走行右油圧モータ４ａに供給される圧油を制御するためのパイロット圧を流量制御弁１０１に出力する。電磁比例弁４７ｋ，４７ｌは、走行左油圧モータ４ｂに供給される圧油を制御するためのパイロット圧を流量制御弁１０１に出力する。

ブームシリンダ１１、アームシリンダ１２及びバケットシリンダ１３は、それぞれ、供給された圧油によって伸縮し、ブーム８、アーム９及びバケット１０を回動させる。これにより、バケット１０の位置及び姿勢が変化する。旋回油圧モータ６は、供給された圧油によって回転し、上部旋回体７を旋回させる。走行右油圧モータ４ａ及び走行左油圧モータ４ｂは、供給された圧油によって回転し、下部走行体５を走行させる。

また、制御装置４０は、情報処理装置５４の認識結果に基づいて、油圧ショベル１の車体の動作（フロント作業装置２の回動動作、下部走行体５の走行動作、及び、上部旋回体７の旋回動作）を自動（半自動又は全自動）で制御することが可能である。情報処理装置５４は、外界計測装置７０の計測結果に基づいて油圧ショベル１の周辺に存在するダンプトラック２００を認識する。情報処理装置５４は、ＣＰＵ（Central Processing Unit）７３、ＲＡＭ（Random Access Memory）７２、ＲＯＭ（Read Only Memory）７１、及び、外部Ｉ／Ｆ（Interface）７４等が、バス７５により互いに接続されたコンピュータによって構成されている。外部Ｉ／Ｆ７４には、制御装置４０、表示装置５５、外界計測装置７０、測位装置６０、姿勢検出装置５３、タスク取得装置５８、トラック情報取得装置５６及び記憶装置５７（例えば、ハードディスクドライブ又は大容量フラッシュメモリ等）が接続されている。

＜油圧ショベルの動作概要＞
図３は、図２に示す油圧ショベル１の動作の一例を説明する図である。

ダンプトラック２００は、油圧ショベル１が対象物を積み込み可能な所定位置に停車する。油圧ショベル１のタスク取得装置５８は、次のタスクとして、掘削された土砂等の対象物をダンプトラック２００に積み込む積込タスクを取得する。積込タスクが取得された場合、まず、油圧ショベル１の外界計測装置７０は、ダンプトラック２００のベッセルを計測する。続いて、油圧ショベル１の情報処理装置５４は、ダンプトラック２００の存在領域２１０について後述の認識領域及び推定領域を演算する。油圧ショベル１の情報処理装置５４は、バケット１０からダンプトラック２００のベッセルに対象物を積み込む時のバケット１０の位置（以下「積込位置」とも称する）を演算する。そして、油圧ショベル１の制御装置４０は、演算されたダンプトラック２００の認識領域及び推定領域並びに積込位置に基づいて、フロント作業装置２がダンプトラック２００に衝突しないように、バケット１０を積込位置に移動させる制御指令を出力する。これにより、油圧ショベル１は、ダンプトラック２００に衝突することなく適切に積込作業を自動制御することができる。

本実施形態では、図３に示すように、ダンプトラック２００は、油圧ショベル１が対象物を積み込み可能な所定位置に停車することを想定している。具体的には、本実施形態のダンプトラック２００は、ＦＭＳのようなダンプトラック２００の位置・配車管理システムによって、作業現場におけるダンプトラック２００の位置が管理されているものとする。しかしながら、ダンプトラック２００が所定位置に停車するまでのダンプトラック２００の制御方法については、特に限定されない。例えば、ダンプトラック２００は、ダンプトラック２００のオペレータの操縦によって所定位置に停車してもよい。また、本実施形態では、ダンプトラック２００が所定位置に停車したことを、油圧ショベル１のオペレータが目視で確認してもよいし、外界計測装置７０の計測結果に基づいて情報処理装置５４が認識してもよい。

なお、図３の外界計測装置７０は、油圧ショベル１の左側方を向くように取り付けられているが、油圧ショベル１の前方を向くように取り付けられていてもよい。更に、油圧ショベル１は、油圧ショベル１の右側方又は後方を向くように取り付けられた外界計測装置７０を更に備えていてもよい。

図４は、図２に示す油圧ショベル１の動作の一例を示すフローチャートである。

ステップＳ１１１において、油圧ショベル１のタスク取得装置５８は、掘削対象の地面を掘削する掘削タスクを取得する。

ステップＳ１１２において、油圧ショベル１の制御装置４０は、取得された掘削タスクに応じて、フロント作業装置２の回動動作を制御して油圧ショベル１に掘削動作を行わせる。

ステップＳ１１３において、油圧ショベル１のタスク取得装置５８は、掘削された土砂等の対象物をダンプトラック２００に積み込む積込タスクを取得する。

ステップＳ１１４は、油圧ショベル１の制御装置４０は、取得された積込タスクに応じて、フロント作業装置２の回動動作及び上部旋回体７の旋回動作を制御して油圧ショベル１に積込動作を行わせる。

ステップＳ１１５において、油圧ショベル１の制御装置４０は、ダンプトラック２００への積込を終了するか否かを判定する。油圧ショベル１のオペレータは、目視による確認を行った上で、特定の操作レバー２２，２３を操作したり、表示装置５５に情報を入力したりして、ダンプトラック２００への積込を終了することを制御装置４０に通知してもよい。制御装置４０は、これらのオペレータからの操作が通知されたことによって、ダンプトラック２００への積込を終了すると判定してもよい。或いは、制御装置４０は、ダンプトラック２００に積み込まれた対象物の荷重を計測して当該荷重が適正であることを判定する荷重判定装置の判定結果から、ダンプトラック２００への積込を終了することを判定してもよい。ダンプトラック２００への積込を終了すると判定した場合、制御装置４０は、ステップＳ１１８に移行する。ダンプトラック２００への積込を終了しないと判定した場合、制御装置４０は、ステップＳ１１６に移行する。

ステップＳ１１６において、油圧ショベル１のタスク取得装置５８は、次の掘削対象の地面にフロント作業装置２を移動させるリーチングタスクを取得する。

ステップＳ１１７において、油圧ショベル１の制御装置４０は、取得されたリーチングタスクに応じて、フロント作業装置２の回動動作、下部走行体５の走行動作、及び、上部旋回体７の旋回動作を制御して油圧ショベル１にリーチング動作を行わせる。その後、制御装置４０は、ステップＳ１１１に移行する。

ステップＳ１１８において、油圧ショベル１の制御装置４０は、作業を終了するか否かを判定する。制御装置４０は、タスク取得装置５８が作業終了通知を取得したことによって、作業を終了すると判定してもよい。或いは、制御装置４０は、オペレータ又は管理者が油圧ショベル１のエンジン１０３を停止したことによって、作業を終了すると判定してもよい。作業を終了すると判定した場合、制御装置４０は、油圧ショベル１の動作を中断して作業を終了する。作業を終了しないと判定した場合、制御装置４０は、ステップＳ１１６に移行する。油圧ショベル１は、リーチング動作、掘削動作及び積込動作を継続する。

油圧ショベル１のタスク及び動作は、図４に示したタスク及び動作に限定されず、例えば移動又は整地等の、図４に示されていないタスク及び動作を含んでいてもよい。

油圧ショベル１の動作において、タスク取得装置５８が各タスクを取得した際に、ダンプトラック２００の位置、姿勢及び形状等の情報が必要となる場合がある。この場合、情報処理装置５４は、タスク取得装置５８が各タスクを取得する度に、都度、外界計測装置７０の計測結果に基づいてダンプトラック２００を認識する。そして、情報処理装置５４は、ダンプトラック２００の認識結果が補正不能な程度に妥当でないか、又は、ダンプトラック２００の認識結果が補正可能な程度に妥当であるかを検証（以下「妥当性を検証」と称する）する。そして、情報処理装置５４は、ダンプトラック２００の認識結果が妥当であれば、当該認識結果を補正する。

本実施形態では、ダンプトラック２００の認識結果の妥当性を検証し、当該認識結果を補正する処理を「認識結果検証処理」とも称する。以下では、認識結果検証処理を行う情報処理装置５４の機能について説明する。

＜情報処理装置の機能的構成＞
図５は、図２に示す情報処理装置５４の機能的構成を説明するブロック図である。図６は、油圧ショベル１に設定される各座標系３００～５００を側方から視た図である。図７は、図６に示す各座標系３００～５００を上方から視た図である。

情報処理装置５４は、姿勢演算部８１と、座標変換部８２と、測位情報演算部８３と、タスク取得部８０と、認識部８４と、領域推定部８５と、検証部８６と、補正部８７と、を備える。

情報処理装置５４には、油圧ショベル１の構成要素の位置及び姿勢を特定する基準座標系として、図６及び図７に示す車体座標系４００が予め設定される。本実施形態の油圧ショベル１の車体座標系４００は、上部旋回体７の旋回中心線１２０のうち、下部走行体５と地面Ｇとが接する点を原点とする右手座標系として定義されている。油圧ショベル１の車体座標系４００は、下部走行体５の前進方向をＸ軸の正方向として定義されている。油圧ショベル１の車体座標系４００は、旋回中心線１２０が上方に延びる方向をＺ軸の正方向として定義されている。油圧ショベル１の車体座標系４００は、Ｘ軸及びＺ軸のそれぞれに直交し、左方をＹ軸の正方向として定義されている。また、油圧ショベル１の車体座標系４００において、上部旋回体７の旋回角度θｓｗは、フロント作業装置２がＸ軸と平行となる状態を０度として定義されている。

また、本実施形態では、外界計測装置７０の基準座標系として、図６及び図７に示すようなセンサ座標系３００を定義する。本実施形態では、現場の基準座標系として、図６及び図７に示すような現場座標系５００を定義する。

＜姿勢演算部＞
姿勢演算部８１は、姿勢検出装置５３の検出信号から、油圧ショベル１の車体座標系４００における油圧ショベル１の構成要素の姿勢等を演算する。具体的には、姿勢演算部８１は、ブーム角度センサ１４から出力されたブーム８の回動角度の検出信号から、Ｘ軸に対するブーム８の回動角度θｂｍを演算する。姿勢演算部８１は、アーム角度センサ１５から出力されたアーム９の回動角度の検出信号から、ブーム８に対するアーム９の回動角度θａｍを演算する。姿勢演算部８１は、バケット角度センサ１７から出力されたバケット１０の回動角度の検出信号から、アーム９に対するバケット１０の回動角度θｂｋを演算する。姿勢演算部８１は、旋回角度センサ１９から出力された上部旋回体７の旋回角度の検出信号から、Ｘ軸（下部走行体５）に対する上部旋回体７の旋回角度θｓｗを演算する。更に、姿勢演算部８１は、上部旋回体７の旋回角度θｓｗから、上部旋回体７の旋回角速度ωｓｗを演算する。

更に、姿勢演算部８１は、傾斜角度センサ１８から出力された機械本体３の傾斜角度の検出信号から、基準面ＤＰに対する機械本体３（下部走行体５）の傾斜角度を演算する。基準面ＤＰは、例えば、重力方向に直交する水平面である。傾斜角度は、Ｙ軸周りの回転角度θｐと、Ｘ軸周りの回転角度θｒとを含む。

＜座標変換部＞
座標変換部８２は、姿勢演算部８１から出力された油圧ショベル１の姿勢情報を用いて、外界計測装置７０により取得された深度情報を表現する座標系を、センサ座標系３００から油圧ショベル１の車体座標系４００に変換する。外界計測装置７０により取得された深度情報は、センサ座標系３００で表現された３次元の点データの集合（すなわち点群データ）として与えられる。

センサ座標系３００における点データＰｓ（Ｘs，Ｙｓ，Ｚｓ）から、油圧ショベル１の車体座標系４００における点データＰｖ（Ｘｖ，Ｙｖ，Ｚｖ）への変換には、例えば、下記の（式１）～（式３）が用いられる。

上記の（式１）～（式３）において、Ｒｓｖは、センサ座標系３００から車体座標系４００への回転行列である。αｓ、βｓ、γｓは、車体座標系４００における外界計測装置７０の各軸（センサ座標系３００の各軸）が成す角度である。外界計測装置７０が油圧ショベル１に固定されている場合、これらの成す角度は、例えば、予め車体座標系４００における外界計測装置７０の姿勢を測定しておき、記憶装置５７に予め保存しておけばよい。また、外界計測装置７０が油圧ショベル１に対して姿勢を変化させながら計測を行う場合、外界計測装置７０に姿勢計測センサを取り付ける等して、姿勢計測センサが検出した角度を用いて座標変換行列を算出してもよい。θｓｗは、上部旋回体７の旋回角度であり、姿勢演算部８１から出力される。

上記の（式１）～（式３）において、Ｔｓｖは車体座標系４００の原点からセンサ座標系３００の原点への並進ベクトルである。Ｌｓｘ，Ｌｓｙ，Ｌｓｚは、車体座標系４００から視たセンサ座標系３００の原点座標に等しい。外界計測装置７０の取り付け位置は、油圧ショベル１に対して固定されている場合が多い。したがってその場合は、予め外界計測装置７０の油圧ショベル１への取り付け位置を計測しておき、記憶装置５７に予め保存しておけばよい。

＜測位情報演算部＞
測位情報演算部８３は、測位装置６０により取得された測位情報から、油圧ショベル１の現場座標系５００における車体座標系４００の原点の位置と、フロント作業装置２の現場座標系５００における方位θｄｉｒを演算する。

＜タスク取得部＞
タスク取得部８０は、油圧ショベル１が次に行うタスクをタスク取得装置５８から取得する。本実施形態において、油圧ショベル１が行うタスクは、掘削タスク、積込タスク、リーチングタスクを含む。掘削タスクは、油圧ショベル１が掘削対象の地面を掘削し、バケット１０に土砂等の対象物を保持するまでの掘削動作を指定するタスクである。積込タスクは、油圧ショベル１が掘削動作を終了した状態からバケット１０をダンプトラック２００のベッセル上方まで移動させ、バケット１０からベッセルに対象物を放出するまでの積込動作を指定するタスクである。リーチングタスクは、油圧ショベル１が積込動作を終了した状態から次の掘削対象の地面がある位置までバケット１０を移動させるリーチング動作を指定するタスクである。なお、油圧ショベル１が行うタスクは、これらに限定されず、例えば、ダンプトラック２００が現場の所定位置に停車するまでの間に油圧ショベル１が周囲の地面を均す整地動作を指定する整地タスクや、油圧ショベル１が掘削対象の地面を変更する際の移動動作を指定する整地タスクを含んでもよい。

＜認識部＞
認識部８４は、外界計測装置７０の計測結果からダンプトラック２００を認識する。具体的には、認識部８４は、外界計測装置７０の計測結果として取得されて座標変換部８２により車体座標系４００に変換された点群データを用いて、ダンプトラック２００の位置、姿勢及び形状を認識する。そして、認識部８４は、認識されたダンプトラック２００が存在する領域である認識領域を演算する。すなわち、認識領域は、ダンプトラック２００の存在領域２１０についての認識部８４の認識結果である。

認識部８４によるダンプトラック２００の認識領域の演算方法は、例えば、予めダンプトラック２００を計測した３次元メッシュモデルを記憶装置５７に保持しておく。そして、座標変換部８２から取得した車体座標系４００に変換された点群データと３次元メッシュモデルとの間において位置、姿勢及び形状を照合する。これにより、認識部８４は、対象とするダンプトラック２００の位置、姿勢及び形状を演算することができるので、ダンプトラック２００の認識領域を演算することができる。なお、ダンプトラック２００の認識領域の演算方法は、これに限定されず、例えば、外界計測装置７０から得られた点群データからダンプトラック２００の特定の平面を抽出する処理によってダンプトラック２００の認識領域を演算する方法であってもよい。或いは、ダンプトラック２００を含む点群データからダンプトラック２００の認識領域を演算するニューラルネットワーク（Neural Network）を予め構築しておき、認識対象のダンプトラック２００の特徴量を機械学習させておいた識別器を用いて演算する方法であってもよい。

本実施形態では、ダンプトラック２００の位置、姿勢及び存在領域２１０を、次のように定義する。

図８は、ダンプトラック２００の車体座標系６００を側方から視た図である。図９は、図８に示す車体座標系６００を上方から視た図である。

本実施形態では、ダンプトラック２００の車体座標系６００は、ダンプトラック２００の後輪軸の中心を原点とし、後輪から前輪に向かう方向をＸ軸、後輪軸が延びる方向をＹ軸、ダンプトラック２００の高さ方向をＺ軸とする。ダンプトラック２００の位置は、車体座標系６００の原点Ｐｄ（Ｘｄ，Ｙｄ，Ｚｄ）を指すものとする。ダンプトラック２００の姿勢は、現場座標系５００の各軸と、ダンプトラック２００の車体座標系６００の各軸とが成す角度θｄ（θｒｏｌｌ，θｐｉｔｃｈ，θｙａｗ）を指すものとする。ダンプトラック２００の存在領域２１０は、ダンプトラック２００のベッセルの四隅の点Ｐｄ１～Ｐｄ４を頂点とする矩形の領域Ｓｄ（Ｐｄ１～Ｐｄ４）を指すものとする。なお、ダンプトラック２００の存在領域２１０は、これに限定されず、例えば、ダンプトラック２００全体を包含する六面体（例えば直方体又は立方体）であってもよい。また、本実施形態では、ダンプトラック２００の存在領域２１０についての認識部８４の認識結果であるダンプトラック２００の認識領域をＳｄｒ（Ｐｄｒ１～Ｐｄｒ４）とする。

＜領域推定部＞
領域推定部８５は、トラック情報取得装置５６により取得されたダンプトラック２００の位置及び車格情報（トラック情報）から、ダンプトラック２００が存在すると推定される領域である推定領域を演算する。すなわち、推定領域は、ダンプトラック２００の存在領域２１０についての領域推定部８５の推定結果である。推定領域は、ダンプトラック２００の認識結果の妥当性を検証するべく、認識部８４により演算されたダンプトラック２００の認識領域と比較するために演算される。

領域推定部８５によるダンプトラック２００の推定領域の演算方法は、例えば、トラック情報からダンプトラック２００の推定領域を演算する方法を車種毎に予め記憶装置５７に保持しておく。そして、トラック情報取得装置５６により取得されたトラック情報と、当該トラック情報に対応する演算方法とを用いて、対象とするダンプトラック２００の現場座標系５００における推定領域を演算し、油圧ショベル１の車体座標系４００に変換する。これにより、領域推定部８５は、認識部８４により演算されたダンプトラック２００の認識領域と比較可能な、ダンプトラック２００の推定領域を演算することができる。なお、本実施形態では、ダンプトラック２００の存在領域２１０についての領域推定部８５の推定結果であるダンプトラック２００の推定領域をＳｄｅ（Ｐｄｅ１～Ｐｄｅ４）とする。

現場座標系５００から油圧ショベル１の車体座標系４００への変換は、下記の式を用いて行うことができる。油圧ショベル１の車体座標系４００における点データＰｖ（Ｘｖ，Ｙｖ，Ｚｖ）から、現場座標系５００における点データＰｇ（Ｘｇ，Ｙｇ，Ｚｇ）への変換には、例えば、下記の（式４）～（式６）が用いられる。

上記の（式４）～（式６）において、Ｒｖｇは、車体座標系４００から現場座標系５００への回転行列である。θｒ、θｐ、θｙは、現場座標系５００における車体座標系４００の各軸が成す角度である。これらの成す角度は、姿勢演算部８１によって演算された値、旋回角度、機械本体３の傾斜角度、及び、測位情報演算部８３によって演算された方位を用いて算出することができる。

上記の（式４）～（式６）において、Ｔｖｇは、現場座標系５００の原点から車体座標系４００の原点への並進ベクトルである。ｘ０，ｙ０，ｚ０は、現場座標系５００から視た車体座標系４００の原点座標に等しい。Ｔｖｇは、測位情報演算部８３の演算結果を用いることができる。

また、領域推定部８５は、トラック情報取得装置５６によってトラック情報と同時に取得されたダンプトラック２００の位置調整量を用いてトラック情報に含まれるダンプトラック２００の位置を調整することができる。そして、領域推定部８５は、調整されたダンプトラック２００の位置から、ダンプトラック２００の推定領域を演算することができる。

＜検証部＞
検証部８６は、認識部８４により演算された認識領域と、領域推定部８５により演算された推定領域とに基づいて、ダンプトラック２００の認識結果の妥当性を検証する。具体的には、検証部８６は、認識領域を推定領域と比較することによって、ダンプトラック２００の認識結果の確度を演算し、演算された確度に応じてダンプトラック２００の認識結果の妥当性を検証する。詳細には、検証部８６は、認識領域と推定領域との重なり具合を示す重合度を、ダンプトラック２００の認識結果の確度として演算する。そして、検証部８６は、演算された重合度が閾値より高い場合、ダンプトラック２００の認識結果が妥当である（補正可能である）と判定する。この際、検証部８６は、タスク取得部８０により取得されたタスクに応じて、認識結果の妥当性の判定基準となる重合度の閾値を変更することができる。

＜補正部＞
補正部８７は、領域推定部８５により演算された推定領域に基づいて、認識部８４により演算された認識領域を補正する。具体的には、補正部８７は、認識部８４により演算された認識領域を領域推定部８５により演算された推定領域と比較し、認識部８４により演算された認識領域を補正する。これによって、補正部８７は、ダンプトラック２００の認識結果を補正する。この際、補正部８７は、タスク取得部８０により取得されたタスクに応じて、認識部８４により演算された認識領域（認識結果）の補正方法を変更することができる。

情報処理装置５４は、検証部８６及び補正部８７を用いて、ダンプトラック２００の認識結果の妥当性を検証し、当該認識結果を補正する認識結果検証処理を行う。以下では、認識結果検証処理について詳細に説明する。

＜認識結果検証処理＞
図１０は、認識結果検証処理の一例を示すフローチャートである。図１１は、認識領域及び推定領域の重合度を説明する図である。図１２は、油圧ショベル１のタスク毎に、認識結果の妥当性の判定基準と認識領域の補正方法とを定めたテーブルを示す図である。図１３は、積込タスク取得時の認識領域の補正方法を説明する図である。図１４は、リーチングタスク取得時の認識領域の補正方法を説明する図である。図１５は、認識結果の確度が閾値以下である場合の表示装置５５の表示例を示す図である。

ステップＳ１２１において、情報処理装置５４の検証部８６は、タスク取得部８０により取得されたタスクを取得する。

ステップＳ１２２において、情報処理装置５４の検証部８６は、認識部８４により演算された認識領域を取得する。

ステップＳ１２３において、情報処理装置５４の検証部８６は、領域推定部８５により演算された推定領域を取得する。

ステップＳ１２４において、情報処理装置５４の検証部８６は、ダンプトラック２００の認識結果の確度を演算する。図１１に示すように、本実施形態では、検証部８６は、ダンプトラック２００の認識結果の確度として、認識部８４により演算された認識領域と、領域推定部８５により演算された推定領域との重なり具合を示す重合度Ａｃｏｖｅｒを演算する。重合度Ａｃｏｖｅｒは、下記の（式７）によって与えられる。

上記の（式７）において、Ｓｄｅは、領域推定部８５により演算された推定領域の面積を示す。Ｓｃｏｖｅｒは、認識部８４により演算された認識領域（Ｓｄｒ）と、領域推定部８５により演算された推定領域（Ｓｄｅ）とが重なる領域の面積を示す。Ｓｃｏｖｅｒは、例えば、２つの凸多角形同士の交差領域の面積を求める問題に帰着することができるので、数値計算問題として解くことができる。

ステップＳ１２５において、情報処理装置５４の検証部８６は、演算された重合度Ａｃｏｖｅｒが、閾値Ａｔｈより高いか否かを判定する。これにより、検証部８６は、ダンプトラック２００の認識結果の妥当性を検証する。演算された重合度Ａｃｏｖｅｒが閾値Ａｔｈより高い場合、検証部８６は、ダンプトラック２００の認識結果は妥当である（補正可能である）と判定し、ステップＳ１２６に移行する。演算された重合度Ａｃｏｖｅｒが閾値Ａｔｈ以下である場合、検証部８６は、ダンプトラック２００の認識結果は妥当でない（補正不能である）と判定し、ステップＳ１２７に移行する。

ここで、検証部８６は、図１２に示すように、タスク取得部８０により取得されたタスクに応じて、認識結果の妥当性の判定基準である重合度Ａｃｏｖｅｒの閾値Ａｔｈを変更することができる。図１２に示すテーブルは、予め記憶装置５７に保存されている。図１２に示すテーブルの欄１２０１に示すように、タスク取得部８０により取得されたタスクが積込タスクである場合、検証部８６は、閾値ＡｔｈとしてＡｔｈ１を設定する。タスク取得部８０により取得されたタスクがリーチングタスクである場合、検証部８６は、閾値ＡｔｈとしてＡｔｈ２を設定する。Ａｔｈ１及びＡｔｈ２は、予め行われた機能検証時における領域推定部８５及び認識部８４の各領域の演算精度、タスク取得時のバケット１０内の対象物の有無、フロント作業装置２及びダンプトラック２００の距離等を加味して決定されることが望ましい。

積込タスクが指定する積込動作では、油圧ショベル１は、バケット１０内に対象物を有し、フロント作業装置２及びダンプトラック２００の距離が大きい状態で始動する。これにより、フロント作業装置２がダンプトラック２００に衝突した時の損害は、リーチング動作時よりも積込動作時の方が大きいと考えられる。したがって、積込タスクが取得された場合に設定される閾値Ａｔｈ１は、リーチングタスクが取得された場合に設定される閾値Ａｔｈ２と同じ値かそれ以上であることが望ましい。

ステップＳ１２６において、情報処理装置５４の補正部８７は、ダンプトラック２００の認識結果を補正する。具体的には、補正部８７は、認識部８４により演算された認識領域を補正する。そして、補正部８７は、ダンプトラック２００の認識結果は妥当である（補正可能である）との判定結果、認識結果の確度（重合度）、及び、補正後の認識領域を、制御装置４０に出力する。更に、補正部８７は、制御装置４０に出力されたこれらの情報を、表示装置５５に表示してオペレータに通知したり、作業現場を管理する管理装置に送信して管理者に通知したりしてもよい。その後、情報処理装置５４は、図１０に示す認識結果検証処理を終了する。

ここで、補正部８７は、図１２に示すように、タスク取得部８０により取得されたタスクに応じて、認識部８４により演算された認識領域の補正方法を変更することができる。図１２に示すテーブルの欄１２０２に示すように、タスク取得部８０により取得されたタスクが積込タスクである場合、補正部８７は、認識部８４により演算された認識領域を、図１３に示すような認識領域（Ｓｄｒ）と推定領域（Ｓｄｅ）とを包含する領域（Ｓｄｃ）となるように補正する。認識領域（Ｓｄｒ）と推定領域（Ｓｄｅ）とを包含する領域は、認識領域（Ｓｄｒ）又は推定領域（Ｓｄｅ）が占めるＯＲ領域を包含する領域（Ｓｄｃ）である。図１３の例では、補正部８７は、認識部８４により演算された認識領域（Ｓｄｒ）を、認識領域（Ｓｄｒ）と推定領域（Ｓｄｅ）とを包含する矩形の領域であって、その面積が最小となる領域（Ｓｄｃ）に補正している。

積込タスクが指定する積込動作では、油圧ショベル１は、バケット１０をダンプトラック２００の外側の地面からダンプトラック２００の内側のベッセル上方に向かって積込位置まで移動させる。したがって、認識部８４により演算された認識領域が、認識領域と推定領域とを包含する領域に補正されると、積込動作時にダンプトラック２００の外側から内側に向かって移動するフロント作業装置２がダンプトラック２００に衝突するリスクが低減する。よって、タスク取得部８０により取得されたタスクが積込タスクである場合、補正部８７は、認識部８４により演算された認識領域を、認識領域と推定領域とを包含する領域となるように補正する。

補正部８７は、補正後の認識領域の高さ方向（Ｚ軸方向）の位置を、次のように演算することができる。すなわち、補正部８７は、フロント作業装置２とダンプトラック２００の衝突を回避するべく、認識領域及び推定領域の各頂点座標のＺ軸成分の最大値を、補正後の認識領域の高さ方向の位置として用いることができる。

また、補正部８７は、補正後の認識領域の方位ｖｄｃを、認識領域の方位ベクトルｖｄｒと、推定領域の方位ベクトルｖｄｅとを用いて、例えば、下記の（式８）～（式９）から演算することができる。

上記の（式９）のゲインＧｋの演算に用いられるΔｄｒ（Δｘｄｒ，Δｙｄｒ，Δｚｄｒ）は、認識部８４における認識領域の演算精度に関する情報である。Δｄｒとしては、例えば、予め外界計測装置７０の計測精度及び認識部８４の演算精度を計測しておいたものを用いることができる。また、認識部８４の認識アルゴリズムに機械学習を用いた識別器を用いている場合、Δｄｒとしては、その識別器が出力する認識確度の情報を用いてもよい。

上記の（式９）のゲインＧｋの演算に用いられるΔｄｅ（Δｘｄｅ，Δｙｄｅ，Δｚｄｅ）は、領域推定部８５における推定領域の演算精度に関する情報である。Δｄｅとしては、トラック情報取得装置５６がトラック情報と同時に取得可能なダンプトラック２００の位置調整量を用いることができる。すなわち、補正部８７は、トラック情報取得装置５６により取得されたダンプトラック２００の位置調整量を用いて、認識部８４により演算された認識領域を補正することができる。トラック情報取得装置５６が当該位置調整量を取得できない場合、Δｄｅとしては、油圧ショベル１の現場において測位装置６０により取得される測位情報の誤差を予め調査した結果を用いることができる。

また、補正部８７は、バケット１０の積込位置Ｐｄｃ（Ｘｄｃ，Ｙｄｃ，Ｚｄｃ）を演算する。具体的には、補正部８７は、例えば、認識部８４により演算された認識領域におけるベッセルの中央位置Ｐｄｒ０と、領域推定部８５により演算された推定領域におけるベッセルの中央位置Ｐｄｅ０とを演算する。そして、補正部８７は、認識領域におけるベッセルの中央位置Ｐｄｒ０と、推定領域におけるベッセルの中央位置Ｐｄｅ０とを用いて、例えば、下記の（式１０）から演算することができる。

上記の（式１０）において、ゲインＧｋは、Δｄｅを含む上記の式（９）によって与えられる。すなわち、補正部８７は、トラック情報取得装置５６により取得されたダンプトラック２００の位置調整量と、認識領域及び推定領域とに基づいて、バケット１０の積込位置を演算することができる。補正部８７は、演算されたバケット１０の積込位置を制御装置４０に出力する。

一方、タスク取得部８０により取得されたタスクがリーチングタスクである場合、補正部８７は、認識部８４により演算された認識領域（Ｓｄｒ）を、図１４に示すような認識領域（Ｓｄｒ）と推定領域（Ｓｄｅ）とが重なる領域に包含される領域（Ｓｄｃ）となるように補正する。認識領域（Ｓｄｒ）と推定領域（Ｓｄｅ）とが重なる領域に包含される領域（Ｓｄｃ）は、認識領域（Ｓｄｒ）及び推定領域（Ｓｄｅ）の両方が占めるＡＮＤ領域に包含される領域（Ｓｄｃ）である。図１４の例では、補正部８７は、認識部８４により演算された認識領域（Ｓｄｒ）を、認識領域（Ｓｄｒ）と推定領域（Ｓｄｅ）とを包含する矩形の領域であって、その面積が最大となる領域（Ｓｄｃ）に補正している。

リーチングタスクが指定するリーチング動作では、油圧ショベル１は、バケット１０をダンプトラック２００の内側のベッセル上方にある積込位置から、ダンプトラック２００の外側の地面まで移動させる。したがって、認識部８４により演算された認識領域が、認識領域と推定領域とが重なる領域に包含される領域に補正されると、リーチング動作時にダンプトラック２００の内側から外側に向かって移動するフロント作業装置２がダンプトラック２００に衝突するリスクが低減する。よって、タスク取得部８０により取得されたタスクがリーチングタスクである場合、補正部８７は、認識部８４により演算された認識領域を、認識領域と推定領域とが重なる領域に包含される領域となるように補正する。

なお、補正部８７は、積込タスクが取得された場合と同様に、補正後の認識領域の高さ方向（Ｚ軸方向）の位置として、認識領域及び推定領域の各頂点座標のＺ軸成分の最大値を用いることができる。また、補正部８７は、積込タスクが取得された場合と同様に、補正後の認識領域の方位を、上記の（式８）～（式９）から演算することができる。

ステップＳ１２７において、情報処理装置５４の検証部８６は、ダンプトラック２００の認識結果は妥当でない（補正不能である）との判定結果、認識結果の確度（重合度）、認識領域及び推定領域を、制御装置４０に出力する。更に、検証部８６は、制御装置４０に出力されたこれらの情報を、表示装置５５に表示してオペレータに通知したり、作業現場を管理する管理装置に送信して管理者に通知したりする。この際、検証部８６は、油圧ショベル１の動作を継続してよいか否かを、オペレータ又は管理者等のユーザに確認する。

例えば、検証部８６は、図１５に示すように、ダンプトラック２００の認識結果が妥当でない（補正不能である）との判定結果をユーザに通知すると共に油圧ショベル１の動作の継続可否をユーザに確認する画面５５１を、表示装置５５に表示させる。画面５５１は、ダンプトラック２００の認識結果が妥当でない（補正不能である）との判定結果をユーザに通知すると共に油圧ショベル１の動作の継続可否をユーザに確認するためのメッセージ５５２を含む。画面５５１は、油圧ショベル１の動作を継続するとの確認結果をユーザが入力するためのボタン５５３を含む。画面５５１は、油圧ショベル１の動作を継続しないとの確認結果をユーザが入力するためのボタン５５４を含む。画面５５１は、油圧ショベル１を自動制御からオペレータの手動操作に切り替えることをユーザが入力するためのボタン５５５を含む。また、画面５５１は、ダンプトラック２００の認識領域（Ｓｄｒ）及び推定領域（Ｓｄｅ）の演算結果を示して、ダンプトラック２００と油圧ショベル１との位置関係をユーザに通知する。

検証部８６は、継続可否の確認結果をユーザから受け付けると、当該確認結果を制御装置４０に出力する。その後、情報処理装置５４は、図１０に示す認識結果検証処理を終了する。

＜制御装置の動作制御＞
制御装置４０は、情報処理装置５４によるダンプトラック２００の認識結果の妥当性を検証した結果に基づいて、油圧ショベル１の車体の動作（例えば、フロント作業装置２の回動動作、下部走行体５の走行動作、及び、上部旋回体７の旋回動作）を制御する。

制御装置４０は、認識結果が妥当であった（補正可能であった）場合、タスク取得装置５８により取得されたタスクと、情報処理装置５４から出力された補正後の認識領域とに基づいて、油圧ショベル１の動作を制御する。具体的には、制御装置４０は、積込タスクが取得された場合には、バケット１０が地面から積込位置に到達するまでにフロント作業装置２がダンプトラック２００に衝突しないような軌跡で移動するよう、油圧ショベル１の積込動作を制御する。制御装置４０は、リーチングタスクが取得された場合には、バケット１０が積込位置から次の掘削対象の地面に到達するまでにフロント作業装置２がダンプトラック２００に衝突しないような軌跡で移動するよう、油圧ショベル１のリーチング動作を制御する。

また、制御装置４０は、認識結果が妥当でなかった（補正不能であった）場合、油圧ショベル１の動作の継続可否の確認結果が情報処理装置５４から出力されると、当該確認結果に応じて油圧ショベル１の動作を制御する。

＜作用効果＞
以上のように、実施形態１の油圧ショベル１は、対象物をダンプトラック２００に積み込む作業機械である。油圧ショベル１は、油圧ショベル１の車体の周辺環境を計測する外界計測装置７０を備える。油圧ショベル１は、外界計測装置７０の計測結果に基づいて油圧ショベル１の車体の周辺に存在するダンプトラック２００を認識する情報処理装置５４を備える。油圧ショベル１は、情報処理装置５４の認識結果に基づいて油圧ショベル１の車体の動作を制御する制御装置４０を備える。油圧ショベル１は、外部からダンプトラック２００の位置及び車格情報を取得するトラック情報取得装置５６を備える。情報処理装置５４は、トラック情報取得装置５６により取得されたダンプトラック２００の位置及び車格情報に基づいてダンプトラック２００の認識結果を補正する。制御装置４０は、補正されたダンプトラック２００の認識結果に基づいて油圧ショベル１の車体の動作を制御する。

これにより、実施形態１の油圧ショベル１は、種々の状況においてもダンプトラック２００の正確な認識結果を用いてダンプトラック２００に対する積込動作等を制御することができる。よって、実施形態１によれば、種々の状況においても運搬機械の位置及び姿勢を正確に認識することで、運搬機械への積込作業を適切に制御することが可能な作業機械を提供することができる。

従来、油圧ショベル１がダンプトラック２００に対する積込動作を行う場合、外界計測装置７０の計測結果からダンプトラック２００の認識結果を検証することが困難であった。特に、機械学習を用いた認識システムでは、学習データを収集していない現場又はダンプトラック２００に対して、認識結果の不確定性の評価を適切に行うことが困難である。更に、油圧ショベル１の開発会社と認識システムの開発会社とが異なる場合、油圧ショベル１の開発会社には、認識システムのアルゴリズムの細部まで公開されない可能性がある。油圧ショベル１の開発会社は、認識システムの認識結果を用いてダンプトラック２００に衝突することなく適切に積込作業を制御することが可能であるか、事前に十分なリスク評価を行うことが困難である。

これに対し、実施形態１の油圧ショベル１は、トラック情報取得装置５６により取得された第三者からの情報に基づいてダンプトラック２００の認識結果の妥当性を検証し、当該認識結果を補正することができる。そして、実施形態１の油圧ショベル１は、補正された認識結果に基づいて、積込動作等を適切に制御することができる。すなわち、実施形態１の油圧ショベル１は、ダンプトラック２００の位置及び姿勢等の正確な認識結果に基づいて油圧ショベル１の車体の動作を制御することができる。したがって、実施形態１の油圧ショベル１は、ダンプトラック２００との衝突リスクを低減させて、積込動作やリーチング動作を制御できるので、積込作業の安全性及び生産性を向上させることができる。よって、実施形態１によれば、種々の状況においてもダンプトラック２００の位置及び姿勢を正確に認識することで、ダンプトラック２００への積込作業を適切に制御することが可能な油圧ショベル１を提供することができる。

更に、情報処理装置５４は、外界計測装置７０の計測結果からダンプトラック２００を認識し、認識されたダンプトラック２００が存在する領域である認識領域を演算する認識部８４を備える。情報処理装置５４は、トラック情報取得装置５６により取得されたダンプトラック２００の位置及び車格情報からダンプトラック２００が存在すると推定される領域である推定領域を演算する領域推定部８５を備える。情報処理装置５４は、推定領域に基づいて認識領域を補正する補正部８７を備える。

これにより、実施形態１の油圧ショベル１は、ダンプトラック２００の存在領域という比較的簡易な指標に基づいて認識結果を補正することができる。したがって、実施形態１の油圧ショベル１は、ダンプトラック２００の位置及び姿勢を正確且つ容易に認識することができる。実施形態１の油圧ショベル１は、積込作業の安全性及び生産性を更に向上させることができる。よって、実施形態１によれば、種々の状況においてもダンプトラック２００の位置及び姿勢を正確に認識することで、ダンプトラック２００への積込作業を適切に制御することが可能な油圧ショベル１を容易に提供することができる。

更に、情報処理装置５４（検証部８６）は、認識領域を推定領域と比較することによって、ダンプトラック２００の認識結果の確度を演算する。補正部８７は、演算された確度に応じて認識領域を補正する。

これにより、実施形態１の油圧ショベル１は、ダンプトラック２００の認識結果の妥当性を定量的に検証することができ、認識領域を正確且つ精細に補正することができる。実施形態１の油圧ショベル１は、積込作業の安全性及び生産性を更に向上させることができる。よって、実施形態１によれば、種々の状況においてもダンプトラック２００の位置及び姿勢を正確且つ精細に認識することで、ダンプトラック２００への積込作業を更に適切に制御することが可能な油圧ショベル１を提供することができる。

更に、情報処理装置５４（検証部８６）は、認識領域と推定領域との重なり具合を示す重合度を、認識結果の確度として演算する。補正部８７は、演算された重合度に応じて認識領域を補正する。

これにより、実施形態１の油圧ショベル１は、認識結果の確度を明確な基準で演算することができ、認識領域を更に正確且つ精細に補正することができる。実施形態１の油圧ショベル１は、積込作業の安全性及び生産性を更に向上させることができる。よって、実施形態１によれば、種々の状況においてもダンプトラック２００の位置及び姿勢を更に正確且つ精細に認識することで、ダンプトラック２００への積込作業を更に適切に制御することが可能な油圧ショベル１を提供することができる。

更に、トラック情報取得装置５６は、ダンプトラック２００の位置調整量に関する情報を更に取得する。領域推定部８５は、トラック情報取得装置５６により取得された位置調整量を用いて推定領域を演算する。

これにより、実施形態１の油圧ショベル１は、事前検証等により得られたダンプトラック２００の位置情報の誤差よりも現実に即した値を用いて、推定領域を演算することができる。したがって、実施形態１の油圧ショベル１は、認識領域を更に正確に補正することができる。実施形態１の油圧ショベル１は、積込作業の安全性及び生産性を更に向上させることができる。よって、実施形態１によれば、種々の状況においてもダンプトラック２００の位置及び姿勢を更に正確に認識することで、ダンプトラック２００への積込作業を更に適切に制御することが可能な油圧ショベル１を提供することができる。

更に、情報処理装置５４は、油圧ショベル１が次に行うタスクを取得するタスク取得部８０を更に備える。補正部８７は、取得されたタスクに応じて、認識領域の補正方法を変更する。

これにより、実施形態１の油圧ショベル１は、取得されたタスク毎に最適な認識領域に補正することができるので、油圧ショベル１にタスク毎に最適な動作を行わせることができる。実施形態１の油圧ショベル１は、積込作業の安全性及び生産性を更に向上させることができる。よって、実施形態１によれば、種々の状況においてもダンプトラック２００の位置及び姿勢を更に正確に認識することで、ダンプトラック２００への積込作業を更に適切に制御することが可能な油圧ショベル１を提供することができる。

更に、補正部８７は、対象物をダンプトラック２００に積み込む積込タスクが取得された場合、認識領域と推定領域とを包含する領域となるように認識領域を補正する。

これにより、実施形態１の油圧ショベル１では、積込動作時にダンプトラック２００の外側から内側に向かって移動するフロント作業装置２がダンプトラック２００に衝突するリスクを更に低減することができる。実施形態１の油圧ショベル１は、積込作業の安全性及び生産性を更に向上させることができる。よって、実施形態１によれば、種々の状況においてもダンプトラック２００の位置及び姿勢を正確に認識することで、ダンプトラック２００への積込作業を更に適切に制御することが可能な油圧ショベル１を提供することができる。

更に、油圧ショベル１は、対象物を保持するバケット１０を更に備える。トラック情報取得装置５６は、ダンプトラック２００の位置調整量を更に取得する。補正部８７は、対象物をダンプトラック２００に積み込む積込タスクが取得された場合、トラック情報取得装置５６により取得された位置調整量と、認識領域及び推定領域とに基づいて、バケット１０からダンプトラック２００に対象物を積み込む時のバケット１０の位置を演算する。制御装置４０は、補正部８７により演算されたバケット１０の位置に基づいて、油圧ショベル１の積込動作を制御する。

これにより、実施形態１の油圧ショベル１は、バケット１０の積込位置という制御装置４０の制御目標値をより妥当性の高い値にすることができる。したがって、実施形態１の油圧ショベル１は、積込作業の安全性及び生産性を更に向上させることができる。よって、実施形態１によれば、種々の状況においてもダンプトラック２００の位置及び姿勢を正確に認識することで、ダンプトラック２００への積込作業を更に適切に制御することが可能な油圧ショベル１を提供することができる。

更に、補正部８７は、対象物をダンプトラック２００に積み込む積込タスクの終了後に行われるリーチングタスクが取得された場合、認識領域と推定領域とが重なる領域に包含される領域となるように認識領域を補正する。

これにより、実施形態１の油圧ショベル１は、リーチング動作時にダンプトラック２００の内側から外側に向かって移動するフロント作業装置２がダンプトラック２００に衝突するリスクを更に低減することができる。したがって、実施形態１の油圧ショベル１は、積込作業の安全性及び生産性を更に向上させることができる。よって、実施形態１によれば、種々の状況においてもダンプトラック２００の位置及び姿勢を正確に認識することで、ダンプトラック２００への積込作業を更に適切に制御することが可能な油圧ショベル１を提供することができる。

更に、情報処理装置５４（検証部８６）は、ダンプトラック２００の認識結果が補正不能と判定した場合、当該認識結果が補正不能との判定結果をユーザに通知すると共に油圧ショベル１の車体の動作の継続可否をユーザに確認する画面５５１を表示装置５５に表示させる。情報処理装置５４（検証部８６）は、継続可否の確認結果をユーザから受け付けると、当該確認結果を制御装置４０に出力する。制御装置４０は、当該確認結果に応じて油圧ショベル１の車体の動作を制御する。

油圧ショベル１には、周辺に存在する砂埃のような現場環境の影響やセンサの異常等によって、ダンプトラック２００の認識結果が補正不能である判定される可能性がある。このような場合であっても、実施形態１の油圧ショベル１は、オペレータ又は管理者の指示を仰ぐことにより、適切な判断の下で油圧ショベル１の運用を継続することができる。よって、実施形態１によれば、ダンプトラック２００の認識結果を補正不能な場合であっても、ダンプトラック２００への積込作業を適切に制御することが可能な油圧ショベル１を提供することができる。

［実施形態２］
図１６及び図１７を用いて、実施形態２の作業機械について説明する。実施形態２の作業機械において、実施形態１と同様の構成及び動作については、説明を省略する。

図１６は、実施形態２の情報処理装置５４の機能的構成を説明するブロック図である。図１７は、図１６に示すトラック姿勢推定部８８の処理を説明する図である。

実施形態１のトラック情報取得装置５６は、ダンプトラック２００の位置、姿勢及び車格情報を含むトラック情報を取得する。但し、ダンプトラック２００の位置・配車管理システムによっては、ダンプトラック２００の地図上の２次元的な位置と方位とを管理しているものの、ダンプトラック２００の姿勢を管理していない場合がある。

そこで、実施形態２の油圧ショベル１は、油圧ショベル１の周辺の地形情報からダンプトラック２００の姿勢を推定する。具体的には、実施形態２の油圧ショベル１は、図１６に示すように、油圧ショベル１の周辺の地形情報を取得する地形情報取得装置５９を備える。実施形態２の情報処理装置５４は、地形情報取得装置５９により取得された地形情報に基づいてダンプトラック２００の姿勢を推定するトラック姿勢推定部８８を備える。実施形態２の領域推定部８５は、トラック姿勢推定部８８により推定されたダンプトラック２００の姿勢を用いて、推定領域を演算する。

地形情報取得装置５９は、油圧ショベル１の上部旋回体７に取り付けられていてもよい。地形情報取得装置５９は、例えば、外界計測装置７０とセンサを共有して油圧ショベル１の周辺の地形を計測し、その計測結果から情報処理装置５４において地形情報を取得してもよい。或いは、地形情報取得装置５９は、無線通信機能を有し、現場の地形を計測する外部システムから送信された地形情報を受信することによって、地形情報を取得してもよい。本実施形態では、地形情報の取得方法については特に限定されない。

本実施形態の地形情報は、点群データとして与えられものとする。しかしながら、地形情報は、点群データに限定されず、例えば、油圧ショベル１の周辺を格子状に分割し、格子毎に高さ情報を保持したグリッド形式のデータであってもよい。

トラック姿勢推定部８８は、トラック情報取得装置５６により取得されたトラック情報に含まれるダンプトラック２００の位置、方位及び車格情報と、地形情報取得装置５９により取得された地形情報とを取得する。トラック姿勢推定部８８は、取得されたこれらの情報に基づいて、ダンプトラック２００の存在領域２１０内の地形情報を抽出する。トラック姿勢推定部８８は、抽出された地形情報から、存在領域２１０内の地形の平面推定を行う。平面推定としては、例えば、最小二乗近似を用いることができる。そして、トラック姿勢推定部８８は、平面推定により得られた平面の傾斜角度を演算することによって、ダンプトラック２００の姿勢を推定する。具体的には、トラック姿勢推定部８８は、平面推定により得られた平面の法線ベクトルｎｔと、現場座標系５００のＹ軸及びＺ軸のそれぞれが成す角度から、ダンプトラック２００の姿勢を示す角度θｒｏｌｌ及びθｐｉｔｃｈを演算する。

実施形態２の領域推定部８５は、トラック情報取得装置５６により取得されたダンプトラック２００の位置、方位及び車格情報と、トラック姿勢推定部８８により推定されたダンプトラック２００の姿勢とに基づいて、ダンプトラック２００の推定領域を演算する。推定領域の演算方法は、実施形態１と同様である。

以上のように、実施形態２の油圧ショベル１は、地形情報取得装置５９を更に備える。実施形態２の情報処理装置５４は、地形情報取得装置５９により取得された地形情報に基づいてダンプトラック２００の姿勢を推定するトラック姿勢推定部８８を備える。実施形態２の領域推定部８５は、トラック姿勢推定部８８により推定されたダンプトラック２００の姿勢を用いて、推定領域を演算する。

これにより、実施形態２の油圧ショベル１は、ダンプトラック２００の位置・配車管理システムがダンプトラック２００の姿勢を管理していない場合であっても、認識領域を正確に補正することができる。よって、実施形態２によれば、種々の状況においてもダンプトラック２００の位置及び姿勢を正確に認識することで、ダンプトラック２００への積込作業を適切に制御することが可能な油圧ショベル１を提供することができる。

［実施形態３］
図１８を用いて、実施形態３の油圧ショベル１について説明する。実施形態３の油圧ショベル１において、実施形態１と同様の構成及び動作については、説明を省略する。

図１８は、実施形態３の情報処理装置５４の機能的構成を説明するブロック図である。

実施形態３の情報処理装置５４は、外界計測装置７０により取得された点群データのうち、ダンプトラック２００及びその周辺の点群データだけを用いて、ダンプトラック２００の認識を行う。

具体的には、実施形態３の情報処理装置５４は、外界計測装置７０により取得された点群データから、領域推定部８５により演算された推定領域を含む所定領域内の点群データを抽出するフィルタ部８９を更に備える。実施形態３の認識部８４は、フィルタ部８９により抽出された点群データからダンプトラック２００を認識し、ダンプトラック２００の認識領域を演算する。認識領域の演算方法は、実施形態１と同様である。

外界計測装置７０により取得された点群データがダンプトラック２００以外（他の作業機械や地面）のデータを含む場合、一般的には、認識処理の精度低下や処理時間の長時間化を引き起こす可能性がある。実施形態３の油圧ショベル１は、領域推定部８５により演算された推定領域を用いて外乱となる点群データを取り除くことができる。これにより、実施形態３の油圧ショベル１は、認識処理の精度向上及び処理時間の短縮化を図ることができる。よって、実施形態３によれば、種々の状況においてもダンプトラック２００の位置及び姿勢を正確且つ迅速に認識することで、ダンプトラック２００への積込作業を適切且つ迅速に制御することが可能な油圧ショベル１を提供することができる。

［その他］
なお、本発明は上記の実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、或る実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、或る実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路にて設計する等によりハードウェアによって実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアによって実現してもよい。各機能を実現するプログラム、テープ、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（solid state drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１…油圧ショベル（作業機械）、５４…情報処理装置、５５…表示装置、５６…トラック情報取得装置（運搬機械情報取得装置）、５９…地形情報取得装置、７０…外界計測装置、８０…タスク取得部、８４…認識部、８５…領域推定部、８６…検証部、８７…補正部、８８…トラック姿勢推定部、８９…フィルタ部、２００…ダンプトラック（運搬機械）、Ｓｄｅ…推定領域、Ｓｄｒ…認識領域

Claims (12)

1. 対象物を運搬機械に積み込む作業機械であって、
   前記作業機械の車体の周辺環境を計測する外界計測装置と、
   前記外界計測装置の計測結果に基づいて前記車体の周辺に存在する前記運搬機械を認識し、認識された前記運搬機械が存在する領域である認識領域を演算する情報処理装置と、
   前記情報処理装置の認識結果に基づいて前記車体の動作を制御する制御装置と、
   外部から前記運搬機械の位置及び車格情報を取得する運搬機械情報取得装置と、を備え、
   前記情報処理装置は、前記運搬機械情報取得装置により取得された前記運搬機械の位置及び車格情報に基づいて前記運搬機械の認識結果である前記認識領域を補正し、
   前記制御装置は、補正された前記運搬機械の前記認識領域に基づいて前記車体の動作を制御する
   ことを特徴とする作業機械。
2. 前記情報処理装置は、
   前記外界計測装置の計測結果から前記運搬機械を認識し、認識された前記運搬機械が存在する領域である前記認識領域を演算する認識部と、
   前記運搬機械情報取得装置により取得された前記運搬機械の位置及び車格情報から前記運搬機械が存在すると推定される領域である推定領域を演算する領域推定部と、
   前記推定領域に基づいて前記認識領域を補正する補正部と、を備える
   ことを特徴とする請求項１に記載の作業機械。
3. 前記情報処理装置は、前記認識領域を前記推定領域と比較することによって前記認識結果の確度を演算し、
   前記補正部は、演算された前記確度に応じて前記認識領域を補正する
   ことを特徴とする請求項２に記載の作業機械。
4. 前記情報処理装置は、前記認識領域と前記推定領域との重なり具合を示す重合度を前記確度として演算し、
   前記補正部は、演算された前記重合度に応じて前記認識領域を補正する
   ことを特徴とする請求項３に記載の作業機械。
5. 前記運搬機械情報取得装置は、前記運搬機械の位置情報を地図上の経路に合致させる際の調整量である位置調整量に関する情報を更に取得し、
   前記領域推定部は、前記運搬機械情報取得装置により取得された前記位置調整量を用いて前記推定領域を演算する
   ことを特徴とする請求項２に記載の作業機械。
6. 前記情報処理装置は、前記作業機械が次に行うタスクを取得するタスク取得部を更に備え、
   前記補正部は、取得された前記タスクに応じて、前記認識領域の補正方法を変更する
   ことを特徴とする請求項２に記載の作業機械。
7. 前記補正部は、前記対象物を前記運搬機械に積み込む積込タスクが取得された場合、前記認識領域と前記推定領域とを包含する領域となるように前記認識領域を補正する
   ことを特徴とする請求項６に記載の作業機械。
8. 前記対象物を保持するバケットを更に備え、
   前記運搬機械情報取得装置は、前記運搬機械の位置情報を地図上の経路に合致させる際の調整量である位置調整量に関する情報を更に取得し、
   前記補正部は、前記対象物を前記運搬機械に積み込む積込タスクが取得された場合、前記運搬機械情報取得装置により取得された前記位置調整量と、前記認識領域及び前記推定領域と、に基づいて、前記バケットから前記運搬機械に前記対象物を積み込む時の前記バケットの位置を演算し、
   前記制御装置は、前記補正部により演算された前記バケットの前記位置に基づいて、前記対象物の前記運搬機械への積込動作を制御する
   ことを特徴とする請求項６に記載の作業機械。
9. 前記補正部は、前記対象物を前記運搬機械に積み込む積込タスクの終了後に行われるリーチングタスクが取得された場合、前記認識領域と前記推定領域とが重なる領域に包含される領域となるように前記認識領域を補正する
   ことを特徴とする請求項６に記載の作業機械。
10. 前記情報処理装置は、
    前記運搬機械の前記認識結果が補正不能と判定した場合、前記認識結果が補正不能との判定結果をユーザに通知すると共に前記車体の動作の継続可否をユーザに確認する画面を表示装置に表示させ、
    前記継続可否の確認結果をユーザから受け付けると、前記確認結果を前記制御装置に出力し、
    前記制御装置は、前記確認結果に応じて前記車体の動作を制御する
    ことを特徴とする請求項２に記載の作業機械。
11. 前記作業機械の周辺の地形情報を取得する地形情報取得装置を更に備え、
    前記情報処理装置は、前記地形情報取得装置により取得された前記地形情報に基づいて前記運搬機械の姿勢を推定する姿勢推定部を更に備え、
    前記領域推定部は、前記姿勢推定部により推定された前記運搬機械の姿勢を用いて前記推定領域を演算する
    ことを特徴とする請求項２に記載の作業機械。
12. 前記外界計測装置は、前記計測結果として前記周辺環境の点群データを取得し、
    前記情報処理装置は、前記外界計測装置により取得された前記点群データから、前記推定領域を含む所定領域内の前記点群データを抽出するフィルタ部を更に備え、
    前記認識部は、前記フィルタ部により抽出された前記点群データから前記運搬機械を認識し、前記認識領域を演算する
    ことを特徴とする請求項２に記載の作業機械。