JP2024005910A - 作業車両の経路計画生成システム、作業車両の経路計画生成方法 - Google Patents

Abstract

【課題】作業車両の経路計画を、効率良く生成することができる作業車両の経路計画生成システム、作業車両の経路計画生成方法を提供する。【解決手段】本開示の一態様は、経路計画生成システムであって、作業車両の位置を検出する位置検出部と、施工対象エリア内の地形の形状を示す地形形状情報、作業車両の位置、及び、施工対象エリア内の地面を掘削すべき形状を示す設計面情報を記憶する情報記憶部と、地形形状情報、作業車両の位置、及び設計面情報に基づいて、複数の作業機経路計画を含む作業車両の走行経路を示す走行経路計画を生成する経路計画生成部と、を備える作業車両の経路計画生成装置である。【選択図】図３

Description

本開示は、作業車両の経路計画生成システム、作業車両の経路計画生成方法に関する。

特許文献１に記載されている掘削計画作成装置では、地形情報を入力し、掘削軌跡と旋回方向の計画値を出力する機械学習モデルを用いる。この掘削計画作成装置では、掘削効率を評価値として土質に係るパラメータをそれぞれ異ならせて機械学習された複数の計画モデルを生成する。さらに、この掘削計画作成装置では、土質を推定し、推定した土質に基づいて計画モデルを選択し、選択した計画モデルに、地形情報を入力し、計画モデルの出力として計画値を算出する。また、この掘削計画作成装置では、バケットの刃先位置とバケットを支持する作業機の負荷の時系列データと、推定した土質とに基づき、地形情報を推定する。

特開２０２１－１８８３６２号公報

特許文献１に記載されている掘削計画作成装置では、掘削計画を作成する際に土質の影響を適切に考慮し、精度の高い掘削計画を作成することができる。その一方で、例えば、バケットの刃先位置とバケットを支持する作業機の負荷の時系列データと、土質とに基づいた推定演算等を行う必要がある。特に、土質について、土砂を粒子モデルとして取り扱った場合、演算処理の負荷が大きくなる可能性があった。

本開示は、上記事情に鑑みてなされたものであり、作業車両の経路計画を、効率良く生成することができる作業車両の経路計画生成システム、作業車両の経路計画生成方法を提供することを目的とする。

上記課題を解決するため、本開示の一態様は、作業機を有した作業車両で、施工対象エリアの地面に対して掘削作業を行うための経路計画を生成する作業車両の経路計画生成システムであって、前記作業車両の位置を検出する位置検出部と、前記施工対象エリア内の地形の形状を示す地形形状情報、前記作業車両の位置、及び前記施工対象エリア内の目標形状を示す設計面情報を記憶する情報記憶部と、前記地形形状情報、前記作業車両の位置、及び前記設計面情報に基づいて、前記作業機の移動経路を示す作業機経路計画、及び前記作業車両の走行経路を示す走行経路計画を生成する経路計画生成部と、を備える作業車両の経路計画生成システムである。

本開示の各態様によれば、作業車両の経路計画を、効率良く生成することができる。

実施形態に係る作業車両で掘削作業を行う施工対象エリアを示す平面図である。 実施形態に係る作業車両で掘削作業を行う施工対象エリアの側断面図である。 実施形態に係る経路計画生成装置の構成例を示す概略ブロック図である。 実施形態に係る作業車両の走行経路における、作業機の移動経路の一例を示す図である。 実施形態に係る経路計画生成部で、移動経路の候補についてのシミュレーションに用いるシミュレーションモデルの例を示す図である。 実施形態に係る作業車両の走行経路における、作業機の移動経路の他の一例を示す図である。 実施形態に係る作業車両の走行経路における、作業機の移動経路のさらに他の一例を示す図である。 実施形態に係る作業機で掘削を行った際に、ブレードの前方で抱え込む土砂、及びブレードの両側にあふれ出して形成されるウィンドローの土砂を示す側面図である。 実施形態に係る作業機で掘削を行った際に、ブレードの前方で抱え込む土砂、及びブレードの両側にあふれ出して形成されるウィンドローの土砂を示す平面図である。 実施形態に係る作業機で掘削を行った際に、ブレードの前方で抱え込む土砂、及びブレードの両側にあふれ出して形成されるウィンドローの土砂を、多角柱状の立体モデルに模した図である。 実施形態に係る経路計画生成装置の動作を示すフローチャートである。 実施形態に係る強化学習による学習を行うことで、経路計画を生成する流れの概略を示す図である。 実施形態に係る作業車両の経路計画生成システムの構成例を示す概略ブロック図である。

以下、図面を参照して本開示の実施形態について説明する。なお、各図において同一または対応する構成には同一の符号を用いて説明を適宜省略する。

（作業車両１００の構成例）
図１は、実施形態に係る作業車両１００（作業機械）で掘削作業を行う施工対象エリアＡを示す平面図である。図２は、実施形態に係る作業車両１００で掘削作業を行う施工対象エリアＡの側断面図である。
図１、図２に示すように、本実施形態において、作業車両１００は、予め定められた施工対象エリアＡの地面Ｇに対して掘削作業を行う。作業車両１００は、地面Ｇを掘削することによって、予め設計された設計面Ｓに沿った掘削地表面Ｋを形成する。なお、図１、図２に示した施工対象エリアＡは一例に過ぎず、その平面形状等は適宜変更可能である。また、地面Ｇの地表面の地形形状、設計面Ｓ（掘削地表面Ｋ）の形状も一例に過ぎず、適宜変更可能である。

作業車両１００は、施工対象エリアＡを含む施工現場にて、遠隔操作により自動的に稼働し、地面Ｇを掘削する。実施形態に係る作業車両１００は、一例としてブルドーザである。作業車両１００は、下部走行体１１０、上部車体１２０、および作業機１３０を備える。

下部走行体１１０は、作業車両１００を走行可能に支持する。下部走行体１１０は、例えば左右一対の履帯１１０ａ（左履帯１１０ａとも称する）および履帯１１０ｂ（右履帯１１０ｂとも称する）を備える。左右それぞれの履帯１１０ａおよび１１０ｂは、駆動輪を独立して駆動して前進および後進させることができる。左履帯１１０ａと右履帯１１０ｂを同時に前進させれば下部走行体１１０は前進し、左履帯１１０ａと右履帯１１０ｂを同時に後進させれば下部走行体１１０は後進する。また、一方の履帯の駆動輪と、他方の履帯の駆動輪を互いに逆向きに駆動、例えば右履帯１１０ｂを前進させると同時に左履帯１１０ａを後進させると、下部走行体１１０は、旋回中心を中心に回転することができる。

上部車体１２０は、下部走行体１１０上に支持される。上部車体１２０は、運転室１２１を備えている。運転室１２１は、オペレータ（運転者）が搭乗し、作業車両１００の操作を行うためのスペースである。

作業機１３０は、リフトフレーム１３１、及びブレード１３３を少なくとも備えている。リフトフレーム１３１は、下部走行体１１０に、動作可能に取り付けられる。ブレード１３３は、土砂などを掘削する。ブレード１３３は、リフトフレーム１３１に動作可能に取り付けられる。

図１に示すように、作業車両１００は、施工対象エリアＡ内を、複数の走行経路Ｒに沿って移動しながら、ブレード１３３で地面Ｇを掘削する。図１において、複数の走行経路Ｒの各々は、平面視で直線状としたが、走行経路Ｒは、直線状に限らず、地形や障害物等に応じて、適宜湾曲、あるいは屈曲していてもよい。また、図１において、複数の走行経路Ｒは、平面視で互いに平行に設定されているが、例えば放射状に延びる等していてもよい。

（経路計画生成装置２０の構成例）
図３は、実施形態に係る経路計画生成装置２０の構成例を示す概略ブロック図である。
図３に示すように、経路計画生成装置２０は、マイクロコンピュータ、ＣＰＵ（Central Processing Unit）等のコンピュータと、コンピュータの周辺回路や周辺装置等のハードウェアを用いて構成することができる。経路計画生成装置２０は、ハードウェアと、コンピュータが実行するプログラム等のソフトウェアとの組み合わせから構成される機能的構成として、情報入力部２１と、情報記憶部２２と、経路計画生成部２３と、情報出力部２４と、を備える。

情報入力部２１は、外部から、施工対象エリアＡ内の地面Ｇの地表面等の地形の形状を示す地形形状情報と、作業車両１００の位置と、施工対象エリアＡ内の目標形状を示す設計面情報と、の入力を受け付ける。設計面情報は、例えば、施工対象エリアＡを含む施工現場の設計を行う、外部のＣＡＤ(Computer Aided Design)システムから取得される。地形形状情報は、作業車両１００に備えられたレーダ等の検出装置により取得される。検出装置は、他の作業車両に備えられても良いし、施工エリアＡ内の構造物に取り付けられても良い。また、検出装置は、施工現場の上方を飛行する飛行体に搭載されてもよい。飛行体として、ドローンのような無人航空機（ＵＡＶ：Unmanned Aerial Vehicle）が例示される。

情報記憶部２２は、情報入力部２１で入力を受け付けた、地形形状情報、及び設計面情報を記憶する。また、情報記憶部２２には、作業車両１００に関する各種の車両情報、例えば、ブレード１３３の大きさ、履帯１１０ａ、１１０ｂによる走行駆動力、走行最大速度等が記憶されている。

経路計画生成部２３は、後に詳述するように、施工対象エリアＡ内を作業車両１００で掘削施工するための、経路計画を生成する。
情報出力部２４は、経路計画生成部２３によって生成された経路計画の情報を、外部に出力する。

（経路計画生成部２３の構成例）
図４は、実施形態に係る作業車両１００の走行経路Ｒにおける、作業機１３０の移動経路Ｌの一例を示す図である。
経路計画生成部２３は、施工対象エリアＡ内を作業車両１００で掘削施工するための経路計画として、作業車両１００の作業機経路計画、及び走行経路計画を生成する。作業機１３０の移動経路Ｌは、作業車両１００が走行経路Ｒに沿って走行する際に、走行経路Ｒ上の複数の位置における、ブレード１３３の上下方向の位置、角度を示すものである。

経路計画生成部２３は、最適な作業機１３０の移動経路Ｌである作業機経路計画、及び最適な作業車両１００の走行経路Ｒである走行経路計画を生成する。経路計画生成部２３は、作業車両１００の履帯１１０ａ、１１０ｂのスリップが生じず、かつブレード１３３による掘削効率が高くなる作業機経路計画、及び走行経路計画を生成する。経路計画生成部２３は、複数の移動経路Ｌ、及び走行経路Ｒの候補について、最適な作業機１３０の移動経路Ｌである作業機経路計画、及び最適な作業車両１００の走行経路Ｒである走行経路計画を生成するように強化学習される。本実施形態では、作業機１３０の動作に関するパラメータを様々に異ならせた複数の移動経路Ｌ、及び走行経路Ｒの候補についてのシミュレーションを、強化学習による学習を行いながら、複数回行う。

図５は、実施形態に係る経路計画生成部２３で、移動経路Ｌ、及び走行経路Ｒの候補についてのシミュレーションに用いるシミュレーションモデルの例を示す図である。
経路計画生成部２３は、移動経路Ｌ、及び走行経路Ｒの候補についてのシミュレーションを行うため、作業車両１００による掘削時に生じる現象を、要素毎のモデルに分解する。例えば、図５に示すように、経路計画生成部２３は、作業車両１００による掘削時に生じる現象を、車体モデルＭ１０と、制御モデルＭ２０と、土砂モデルＭ３０と、に分解してシミュレーションにより強化学習される。コンピュータ上で動作する、シミュレーションを実行するシミュレータにより、シミュレーションは実行される。

車体モデルＭ１０では、走行経路Ｒ上における作業車両１００の動作に関するパラメータ、走行経路Ｒ上における作業機１３０の動作に関するパラメータに関する。車体モデルＭ１０では、より具体的には、例えば、作業機１３０のリフトシリンダ、チルトシリンダ等の油圧機器に関する油圧モデルＭ１１、リフトフレーム１３１、ブレード１３３等の可動部の機構に関する機構モデルＭ１２、下部走行体１１０に関する足回りモデルＭ１３、を含む。

油圧モデルＭ１１では、例えば、作業機１３０のリフトシリンダ、チルトシリンダ等の油圧機器に関するリリーフ圧等をシミュレーションする。このような油圧機器には、リフトフレーム１３１、ブレード１３３の動作による反力の最大値が、最大反力制限として設定されている。油圧モデルＭ１１では、最大反力制限を超えない範囲で、作業機１３０の動作にともなう、油圧機器のリリーフ圧等についてシミュレーションする。

機構モデルＭ１２では、移動経路Ｌに基づいてリフトフレーム１３１、ブレード１３３等の可動部を動作させた場合の、ブレード１３３により掘削可能な掘削範囲についてシミュレーションする。ブレード１３３には、先端ブレードの位置制限が設定されている。機構モデルＭ１２では、先端ブレードの位置制限を超えない範囲で、ブレード１３３による掘削動作のシミュレーションを行う。

足回りモデルＭ１３では、下部走行体１１０の駆動による車速、履帯１１０ａ、１１０ｂのスリップの発生度合い等について、シミュレーションを行う。下部走行体１１０の駆動によって走行経路Ｒに沿って作業車両１００が走行移動するときの車速は、履帯１１０ａ、１１０ｂによる走行駆動力（牽引力）と、ブレード１３３で地面Ｇの土砂を押すことによって受ける反力とに基づけて算出される。履帯１１０ａ、１１０ｂのスリップの発生度合いは、例えば、リフトフレーム１３１、ブレード１３３で掘削動作を行う場合に土砂から受ける反力に基づいてシミュレーションを行うことができる。この反力は、ブレード１３３で地面Ｇを掘削する際の掘削抵抗（せん断抵抗）と、ブレード１３３の前方に抱え込んだ土砂を前方に押す際の摩擦による運土抵抗との和である。足回りモデルＭ１３では、反力が最大反力制限に到達した場合に、履帯１１０ａ、１１０ｂのシュースリップ限界を超え、スリップが発生する、と判断することができる。

制御モデルＭ２０では、移動経路Ｌ、及び走行経路Ｒの候補に基づいてシミュレーションを行う際の、制御条件に関するものである。制御モデルＭ２０は、例えば、経路追従モデルＭ２１と、経路計画モデルＭ２２と、を有している。
経路追従モデルＭ２１では、シミュレーションを行う際に、作業車両１００の走行経路Ｒに対する軌跡追従性、作業機１３０の移動経路Ｌに対する軌跡追従性について、例えば、それぞれ、１００％の追従性を有する、と仮定する。

また、経路計画モデルＭ２２では、複数回のシミュレーションを行うことでの学習対象となる、複数の移動経路Ｌ、及び走行経路Ｒについての経路計画モデルＭ２２を設定する。経路計画モデルＭ２２では、移動経路Ｌ、及び走行経路Ｒの候補について行ったシミュレーションの結果に基づいて、掘削効率が、より向上するように、新たな移動経路Ｌ、及び走行経路Ｒを生成する。図４に示すように、経路計画モデルＭ２２では、例えば、走行経路Ｒに沿って仮に設定される、移動経路Ｌの始点Ｐ１、ブレード１３３を下降させて地面Ｇの掘削を開始する掘削開始位置Ｐ２、１回の掘削で地面Ｇを掘削する掘削深さＰ３、地面Ｇに対するブレード１３３の侵入角度Ｐ４、移動経路Ｌの終点Ｐ５、作業車両１００の車速等の条件を様々に異ならせて、シミュレーション対象となる複数の移動経路Ｌの候補を順次生成する。経路計画モデルＭ２２では、一つの移動経路Ｌの候補について、シミュレーションを行った後、条件が異なる他の移動経路Ｌを生成し、シミュレーションを順次実行させる。

土砂モデルＭ３０は、移動経路Ｌ、及び走行経路Ｒの各候補に基づいて作業車両１００を走行させて作業機１３０を移動させた場合に、作業機１３０で掘削する地面Ｇの土砂に関するパラメータをシミュレーションするためのものである。土砂モデルＭ３０では、ブレード１３３で地面Ｇを掘削することで生じる地形変化に関する地形モデルＭ３１と、地面Ｇを掘削する際にブレード１３３が受ける反力に関する反力モデルＭ３２と、に分類される。

地形モデルＭ３１では、ブレード１３３で地面Ｇを掘削することで、掘削される掘削土量についてシミュレーションを行う。掘削土量は、走行経路Ｒに沿った領域における、掘削前の地面Ｇの地形形状情報と、設計面Ｓについての設計面情報との差に基づいて算出される。地形モデルＭ３１では、地面Ｇから設計面Ｓまでの掘削を、複数回に分けて行う場合、各回の掘削時における掘削土量は、掘削前の地形形状と、移動経路Ｌに沿った１回の掘削によって形成される掘削面との差に基づいて算出することができる。

図６は、実施形態に係る作業車両１００の走行経路Ｒにおける、作業機１３０の移動経路Ｌの他の一例を示す図である。
また、図６に示すように、移動経路Ｌに基づいてブレード１３３で地面Ｇを掘削し、ブレード１３３の前方に土砂Ｄ１を抱え込んでいる場合、地形モデルＭ３１では、抱え込んでいる土砂Ｄ１の量である抱え込み土量について、シミュレーションを行う。

図７は、実施形態に係る作業車両１００の走行経路Ｒにおける、作業機１３０の移動経路Ｌのさらに他の一例を示す図である。
図７に示すように、ブレード１３３で走行経路Ｒ上の地面Ｇの一部を掘削した土砂Ｄ２により、走行経路Ｒ上の地面Ｇの他の部分を埋め戻す場合、地形モデルＭ３１では、掘削土量と、埋め戻した土砂Ｄ２の量である埋め戻し土量と、の差に基づき、実質的な掘削土量について、シミュレーションを行うようにしてもよい。

図８は、実施形態に係る作業機１３０で掘削を行った際に、ブレード１３３の前方で抱え込む土砂Ｄ１、及びブレード１３３の両側にあふれ出して形成されるウィンドローの土砂Ｄ５を示す側面図である。図９は、実施形態に係る作業機１３０で掘削を行った際に、ブレード１３３の前方で抱え込む土砂Ｄ１、及びブレード１３３の両側にあふれ出して形成されるウィンドローの土砂Ｄ５を示す平面図である。
地形モデルＭ３１では、図８、図９に示すように、移動経路Ｌ、及び走行経路Ｒに基づいてブレード１３３で地面Ｇを掘削した際に、ブレード１３３の幅方向両側にあふれ出す、いわゆるウィンドローの土砂Ｄ５の量について、シミュレーションを行う。地形モデルＭ３１では、一つの走行経路Ｒに沿って、移動経路Ｌに基づいてブレード１３３で地面Ｇを掘削することによって、地面Ｇ上にウィンドローが形成された場合、形成されたウィンドローの土砂Ｄ５の量を、他の走行経路Ｒにおいて、移動経路Ｌの候補についてシミュレーションを行う際に、地形情報に含めるものとする。

上記抱え込む土砂Ｄ１の土量、ウィンドローの土砂Ｄ５の土量は、例えば、模型を用いた事前実験等に基づいて算出するようにしてもよい。
これ以外に、地形モデルＭ３１では、例えば、走行経路Ｒ上で掘削した土砂の一部を、走行経路Ｒ上の他の位置で埋め戻す場合、埋め戻した土砂を、履帯１１０ａ、１１０ｂで転圧して締め固める、として、シミュレーションを行う。
地形モデルＭ３１では、走行経路Ｒ上で掘削した土砂についての土崩れについてもシミュレーションを行う。

反力モデルＭ３２では、移動経路Ｌに基づいて、作業車両１００を走行経路Ｒに沿って移動させながらブレード１３３を動作させて地面Ｇを掘削した際に、ブレード１３３の前方に抱え込んだ土砂Ｄ１を、前方に押していくことによって地面Ｇとの間に生じる運土抵抗についてシミュレートする。作業車両１００が、走行経路Ｒに沿って前進していくと、ブレード１３３の前方で抱え込む土砂Ｄ１の量は、漸次増大する。つまり、運土抵抗は、時々刻々と変化する。

反力モデルＭ３２では、移動経路Ｌに沿ってブレード１３３を動作させたときに、地面Ｇの土砂からブレード１３３が受ける掘削抵抗についてシミュレートする。掘削抵抗は、地面Ｇに対するブレード１３３０による掘削深さに応じて大きくなる。図７に示すように、移動経路Ｌの終点Ｐ５よりも前方で、土砂Ｄ２を埋め戻す場合、反力モデルＭ３２は、埋め戻す土砂Ｄ２からブレード１３３が受ける掘削抵抗についてもシミュレートする。

シミュレータは、複数の移動経路Ｌ、及び走行経路Ｒの候補について行った、複数回のシミュレーションの結果に基づいて、経路計画生成部２３を強化学習する。シミュレータは、各回のシミュレーションについて、作業車両１００を走行経路Ｒに沿って移動させながら、移動経路Ｌに沿って作業機１３０を動作させた場合の掘削土量と、移動経路Ｌの始点から終点まで作業機１３０で掘削を行うのに要する作業時間とに基づいて、強化学習による報酬を、例えば下式（１）に基づいて算出する。
報酬＝掘削土量／作業時間 ・・・（１）

また、シミュレータは、各回のシミュレーションについて、作業車両１００を走行経路Ｒに沿って移動させながら、移動経路Ｌに沿って作業機１３０を動作させた場合に、ブレード１３３が土砂から受ける反力が、下部走行体１１０のシュースリップ限界を超えた場合、強化学習におけるペナルティ値（例えば、－０．０５）を付与する。

シミュレータは、強化学習により、算出される報酬とペナルティ値とに基づいて、最適な移動経路Ｌ、及び走行経路Ｒを探索し、作業機経路計画、及び走行経路計画を生成するように経路計画生成部２３を学習する。
経路計画生成部２３は、最適な移動経路Ｌである作業機経路計画、及び最適な走行経路Ｒである走行経路計画に基づき、施工対象エリアＡの全体を対象とした作業機経路計画、及び走行経路計画を生成するように学習される。

図１０は、実施形態に係る作業機１３０で掘削を行った際に、ブレード１３３の前方で抱え込む土砂Ｄ１、及びブレード１３３の両側にあふれ出して形成されるウィンドローの土砂Ｄ５を、多角形状の立体モデルＤｍ１、Ｄｍ５に模した図である。
ところで、図８～図１０に示すように、上記のような経路計画生成部２３の地形モデルＭ３１では、ブレード１３３の前方に抱え込んでいる土砂Ｄ１を、多角柱状（例えば三角柱状）の立体モデルＤｍ１に模して単純化し、抱え込み土量を算出する。これにより、移動経路Ｌに基づいて地面Ｇを掘削するにともなって時々刻々と変化する抱え込み土量を、効率的に算出することができる。

また、地形モデルＭ３１では、ブレード１３３の両側にはみ出すウィンドローの土砂Ｄ５の土量については、前方に抱え込んでいる土砂Ｄ１の比率に応じて、多角柱状（例えば四角柱状（直方体状）の立体モデルＤｍ５に模して単純化して算出する。これにより、移動経路Ｌに基づいて地面Ｇを掘削するにともなって時々刻々と変化するウィンドローの土砂Ｄ５の土量を、効率的に算出することができる。

（経路計画生成装置２０の動作例）
図１１は、実施形態に係る経路計画生成装置２０の動作を示すフローチャートである。
強化学習により学習された経路計画生成装置２０は、例えば作業車両１００に備えられる。経路計画生成装置２０は、施工対象エリアＡの地面Ｇに対して作業車両１００で掘削作業を行うための経路計画を生成する。
これには、図１１に示すように、まず、情報入力部２１が、施工対象エリアＡ内の地面Ｇの形状を示す地形形状情報、作業車両１００の位置、及び、施工対象エリアＡ内の地面Ｇを掘削すべき形状を示す設計面情報を、外部から取得する（Ｓ１）。次に、取得した地形形状情報、作業車両１００の位置、及び設計面情報を、情報記憶部２２に記憶する（Ｓ２）。次に、経路計画生成部２３で、地形形状情報、作業車両１００の位置、及び設計面情報に基づいて、作業機１３０の移動経路Ｌを示す作業機経路計画作業車両１００の走行経路Ｒを示す走行経路計画を生成する（Ｓ３）。その後、情報出力部２４が、生成された作業機経路計画、及び走行経路計画を、外部に出力する（Ｓ４）。

図１２は、実施形態に係る強化学習により、経路計画生成部２３が学習される流れの概略を示す図である。強化学習は、例えば、車体１００の外部にあるコンピュータ上で動作する、シミュレーションを実行するシミュレータを用いて学習することができる。
これには、まず、シミュレータが、作業機１３０の移動経路Ｌの候補と作業車両１００の走行経路Ｒの候補を設定する（Ｓ３１）。

シミュレータは、設定した移動経路Ｌの候補と作業車両１００の走行経路Ｒの候補に基づいて、シミュレーションを行う。具体的には、車体モデルＭ１０、及び制御モデルＭ２０を用い、作業車両１００、及び作業機１３０の動作についてのシミュレーションを行う（Ｓ３２）。作業車両１００の動作のシミュレーションでは、設定された移動経路Ｌの候補と作業車両１００の走行経路Ｒの候補に基づいて、作業機１３０を動作させるときの走行経路Ｒに沿った作業車両１００の走行軌跡をシミュレーションする。また、作業機１３０の動作のシミュレーションでは、移動経路Ｌに基づいて作業機１３０を動作させた場合における、作業機１３０の移動軌跡を、シミュレーションする。
また、シミュレータは、算出された作業車両１００の走行軌跡、及び作業機１３０の移動軌跡のデータに基づいて、移動経路Ｌ、及び走行経路Ｒに基づいて掘削を行った際の作業時間を算出する。

さらに、シミュレータは、作業車両１００の走行軌跡、及び作業機１３０の移動軌跡のデータに基づいて、地面Ｇの土砂を掘削する際の、土砂についてのシミュレーションを、土砂モデルＭ３０を用いて実行する（Ｓ３３）。土砂モデルＭ３０では、例えば、地面Ｇの土砂を掘削する際の掘削抵抗を算出する。算出された掘削抵抗のデータは、車体モデルＭ１０にフィードバックされ、作業車両１００の車速等の算出に反映される。

また、シミュレータは、土砂モデルＭ３０を用い、作業機１３０による掘削後の地面Ｇの形状を示す掘削後地形を算出する。さらに、経路計画生成部２３では、土砂モデルＭ３０を用い、作業機１３０による掘削土量、抱え込み土量、ウィンドローの土量等を算出する。

シミュレータは、上記のようにして算出された作業時間と、掘削土量とに基づいて、強化学習により経路計画生成部２３を学習する（Ｓ３４）。強化学習では、報酬、及びペナルティを算出し、移動経路Ｌ、及び走行経路Ｒの候補についての評価を行う。このとき、シミュレータは、作業車両１００を走行経路Ｒに沿って移動させながら、移動経路Ｌに基づいて作業機１３０による掘削を行った際に、掘削抵抗が、履帯１１０ａ、１１０ｂのシュースリップ限界を超えたか否かを判定する。その結果、掘削抵抗が、シュースリップ限界を超えていた場合、作業車両１００のスリップが生じていた、と判定する。

シミュレータは、一つの移動経路Ｌ、及び走行経路Ｒの候補についてシミュレーションを行った後、その移動経路Ｌ、及び走行経路Ｒの候補についての評価結果に基づいた学習が行われ、次にシミュレーションを行うべき移動経路Ｌ、又は走行経路Ｒの候補を設定する。次にシミュレーションを行うべき移動経路Ｌ、又は走行経路Ｒの候補は、作業車両１００のスリップが生じず、かつ上式（１）で表される報酬がなるべく大きくなるように、設定される。

このような移動経路Ｌ、及び走行経路Ｒの候補についてのシミュレーションを、強化学習による学習を行いながら複数回繰り返す。これにより、作業車両１００のスリップが生じず、かつ掘削効率の高い作業機経路計画、及び走行経路計画が生成できるように経路計画生成部２３が学習される。

（作業車両の経路計画生成システムの構成）
図１３は、実施形態に係る作業車両の経路計画生成システム５０の構成例を示す概略ブロック図である。
図１３に示すように、作業車両の経路計画生成システム５０は、遠隔制御装置６０と、作業車両１００と、を備えている。

遠隔制御装置６０は、通信部６１と、情報出力部６２と、管制部６３と、を備えている。
通信部６１は、公衆無線通信網、無線通信手段により、作業車両１００と通信可能である。

情報出力部６２は、作業車両１００を自動運転するために必要な情報を出力する。情報出力部６２は、例えば、施工対象エリアＡの設計面情報等を、外部のＣＡＤシステムなどから取得し、通信部６１を介して作業車両１００に送信する。
管制部６３は、作業車両１００に備えられた各種のセンサにより検出された情報に基づき、作業車両１００の各部の動作状態を監視する。

作業車両１００は、経路計画生成装置２０によって生成された経路計画に基づいて、自動的に動作する。
このため、作業車両１００は、通信部７１と、上記経路計画生成装置２０と、位置検出部７２と、経路計画記憶部７３と、車両制御部７４と、を備えている。

通信部７１は、公衆無線通信網、無線通信手段により、遠隔制御装置６０の通信部６１と通信可能である。
なお、作業車両１００の一部または全部の構成は、遠隔制御装置６０に備えられても良い。例えば、上記で示した経路計画生成装置２０は、本実施形態において、作業車両１００側に備えられている。経路計画生成装置２０は、遠隔制御装置６０側に備えられていてもよい。また、遠隔制御装置６０の一部または全部の構成は、作業車両１００に備えられても良い。

位置検出部７２は、作業車両１００に備えられている。位置検出部７２は、例えばＧＰＳ等が用いられ、作業車両１００の位置が検出可能とされている。

経路計画記憶部７３は、経路計画生成装置２０によって生成され、外部に出力された、作業車両１００の作業機経路計画、及び走行経路計画を記憶する。
車両制御部７４は、経路計画記憶部７３に記憶された作業機経路計画、及び走行経路計画に基づいて、作業機１３０、及び作業車両１００の各部動作を制御する。作業車両１００は、作業機１３０の最適な移動経路Ｌである作業機経路計画と、作業車両１００の最適な走行経路Ｒである走行経路計画とに基づいて、作業車両１００を移動させながら、作業機１３０を動作させる。これにより、地面Ｇの掘削が効率良く行われる。

（作用・効果）
本実施形態によれば、作業車両１０の経路計画を、効率良く生成することができる。

以上、本開示の実施形態について図面を参照して説明してきたが、具体的な構成は上記実施形態に限られるものではなく、本開示の要旨を逸脱しない範囲の設計変更等も含まれる。

例えば、上述した実施形態に係る作業車両１００は、ブルドーザであるが、これに限られない。例えば、作業車両１００は、油圧ショベル、ホイールローダ、モータグレーダ等の作業機及び走行体を有する作業機械であってもよい。

また、上記実施形態でコンピュータが実行するプログラムの一部または全部は、コンピュータが読取可能な記録媒体や通信回線を介して頒布することができる。

１０…作業車両 ２０…経路計画生成装置 ２２…情報記憶部 ２３…経路計画生成部 ５０…作業車両の経路計画生成システム ７２…位置検出部 ７３…経路計画記憶部 ７４…車両制御部 １００…作業車両 １３０…作業機 Ａ…施工対象エリア Ｄ１…土砂 Ｄ５…土砂 Ｄｍ１、Ｄｍ５…立体モデル Ｇ…地面 Ｌ…移動経路 Ｒ…走行経路 Ｓ…設計面

Claims (9)

1. 作業機を有した作業車両で、施工対象エリアの地面に対して掘削作業を行うための経路計画を生成する作業車両の経路計画生成システムであって、
   前記作業車両の位置を検出する位置検出部と、
   前記施工対象エリア内の地形の形状を示す地形形状情報、前記作業車両の位置、及び前記施工対象エリア内の目標形状を示す設計面情報を記憶する情報記憶部と、
   前記地形形状情報、前記作業車両の位置、及び前記設計面情報に基づいて、前記作業機の移動経路を示す作業機経路計画、及び前記作業車両の走行経路を示す走行経路計画を生成する経路計画生成部と、
   を備える作業車両の経路計画生成システム。
2. 前記経路計画生成部は、最適な前記走行経路、及び最適な前記移動経路を生成するように強化学習される、
   請求項１に記載の作業車両の経路計画生成システム。
3. 前記経路計画生成部は、少なくとも、前記作業機により掘削される土砂、及び、前記走行経路上における前記作業車両に関するパラメータを用いたシミュレーションを複数回行うことで、前記強化学習される、
   請求項２に記載の作業車両の経路計画生成システム。
4. 前記経路計画生成部は、前記走行経路に沿って前記作業車両を移動させたときの、掘削土量、及び作業時間の少なくとも一方を用いた報酬に基づいて、前記強化学習される、
   請求項２又は３に記載の作業車両の経路計画生成システム。
5. 前記経路計画生成部は、前記走行経路に沿って前記作業車両を移動させ、前記作業機で前記地面を掘削する前と後における地形の差に基づく、前記作業機での抱え込み土量に基づいて、算出された前記掘削土量を用いて前記強化学習される、
   請求項４に記載の作業車両の経路計画生成システム。
6. 前記経路計画生成部は、前記走行経路に沿って前記作業車両を移動させた後、前記作業機の前方に抱え込まれた土砂を、多角柱状の立体モデルに模すことで、算出された前記抱え込み土量を用いて前記強化学習される、
   請求項５に記載の作業車両の経路計画生成システム。
7. 前記経路計画生成部は、前記走行経路に沿って前記作業車両を移動させた場合に、前記作業機の両側にはみ出すうね状のウィンドローの土量に基づいて、算出された前記掘削土量を用いて前記強化学習される、
   請求項５に記載の作業車両の経路計画生成システム。
8. 前記経路計画生成部は、前記ウィンドローを、多角柱状の立体モデルに模すことで、算出された前記ウィンドローの土量を用いて前記強化学習される、
   請求項７に記載の作業車両の経路計画生成システム。
9. 作業機を有した作業車両で、施工対象エリアの地面に対して掘削作業を行うための経路計画を生成する作業車両の経路計画生成方法であって、
   前記作業車両の位置を検出するステップと、
   前記施工対象エリア内の地形の形状を示す地形形状情報、前記作業車両の位置、及び前記施工対象エリア内の前記地面を掘削すべき形状を示す設計面情報を記憶するステップと、
   前記地形形状情報、前記作業車両の位置、及び前記設計面情報に基づいて、前記作業機の移動経路を示す作業機経路計画、及び前記作業車両の走行経路を示す走行経路計画を生成するステップと、
   を含む、作業車両の経路計画生成方法。

Images