JP6360583B1 - 建設機械用機械学習装置、建設機械および建設機械用機械学習方法 - Google Patents

Abstract

【課題】建設機械の柔軟な制御を実現できる。【解決手段】建設機械による転圧エリアの転圧走行作業において、転圧路の重複長の目標値を学習する建設機械用機械学習装置としての機械学習器２０である。この機械学習器２０は、前記転圧走行作業による実際の重複長を観測する状態観測部２１と、状態観測部２１により観測された前記重複長から前記目標値を判定する重複長判定部２２と、を備える。重複長判定部２２は、観測される前記重複長が予め決められた第１閾値よりも多い場合に前記目標値を小さくし、観測される前記重複長が予め決められた第１閾値よりも少ない場合に前記目標値を大きくする。【選択図】図５

Description

本発明は、建設機械用機械学習装置、建設機械および建設機械用機械学習方法に関する。

災害復旧工事等では、作業員の安全性を確保することを目的として、無人化施工が採用される場合がある。
無人化施工は、現場から送られてくる映像を、複数のモニタ画面で確認しながらオペレータが建設機械を遠隔操作するのが一般的であるが、この方法では、オペレータの技量によって作業の品質が異なる場合がある。また、複数の画像取得のための装置と通信環境が必要となる。

そのため、建設機械にセンサ類を搭載させて、予め設定された計画線に沿って建設機械を走行させることにより施工を行う自律制御式の無人化施工方法が開発されている（例えば、特許文献１参照）。
この無人化施工方法では、走行エリアを複数の走行エリアに区分している。そして、建設機械が走行している位置を判定し、区分された走行エリアに基づいて制御を行うことで、現地に応じた自律走行を可能としている。

また、転圧路の基準線からの位置ずれ量に基づいてステアリング角度を修正する無人化施工方法が開発されている（例えば、特許文献２参照）。
この無人化施工方法によれば、走行精度が高く、一定区画を踏残なく均一に転圧走行する時間を短縮できる。

特開２００１−０６７１２６号公報 特開２０１６−１２６６２５号公報

しかし、特許文献１，２に記載される技術は、人間が考えた自律制御アルゴリズムによって建設機械を自律制御するものであった。その為、想定外な事項が起こらないように、予め全ての事項を予測して完全なアルゴリズムを作成することは困難であった。

このような観点から、本発明は、建設機械の柔軟な制御を実現できる建設機械用機械学習装置、建設機械および建設機械用機械学習方法を提供する。

前記課題を解決するため、本発明に係る建設機械用機械学習装置は、転圧路の幅方向の重複長の目標値に基づいて転圧エリアの転圧走行作業を開始する建設機械における前記目標値を学習する建設機械用機械学習装置である。
この建設機械用機械学習装置は、前記転圧走行作業による実際の重複長を観測する状態観測部と、前記状態観測部により観測された前記重複長から前記目標値を判定する重複長判定部とを備える。
前記重複長判定部は、観測される前記重複長が予め決められた第１閾値よりも多い場合に前記目標値を小さくし、観測される前記重複長が予め決められた第１閾値よりも少ない場合に前記目標値を大きくする。

また、本発明に係る建設機械は、前記建設機械用機械学習装置を備える建設機械である。

また、本発明に係る建設機械用機械学習方法は、転圧路の幅方向の重複長の目標値に基づいて転圧エリアの転圧走行作業を開始する建設機械における前記目標値を学習する建設機械用機械学習方法である。
この建設機械用機械学習方法は、前記転圧走行作業による実際の重複長を観測する状態観測工程と、前記状態観測工程により観測された前記重複長から前記目標値を判定する重複長判定工程とを有する。
前記重複長判定工程では、観測される前記重複長が予め決められた第１閾値よりも多い場合に前記目標値を小さくし、観測される前記重複長が予め決められた第１閾値よりも少ない場合に前記目標値を大きくする。

本発明に係る建設機械用機械学習装置、建設機械および建設機械用機械学習方法においては、観測した実際の重複長に基づいて重複長の目標値を逐次変更する。その為、建設機械の柔軟な制御を実現できる。

前記状態観測部は、前記転圧走行作業による未転圧量をさらに観測するのがよい。前記重複長判定部は、観測される前記未転圧量が予め決められた第２閾値よりも多い場合に、観測される前記重複長が予め決められた第１閾値よりも少ない場合に比べて前記目標値を大きくするのがよい。

このようにすると、未転圧量を考慮した重複長を設定することができる。その為、建設機械のより柔軟な制御を実現できる。

本発明によれば、建設機械の柔軟な制御を実現できる。

本発明の実施形態に係る建設機械を用いた無人化施工方法を説明するための図であり、（ａ）は重複長が大きい場合を示す、（ｂ）は重複長が小さい場合を示す。 本発明の実施形態に係る建設機械を用いた無人化施工システムを説明するための図であり、（ａ）は無人化施工システムの全体図であり、（ｂ）は無人化施工を行う転圧エリアの例示である。 本発明の実施形態に係る建設機械の外観図である。 本発明の実施形態に係る建設機械が備える自律制御システムを説明するためのブロック図である。 本発明の実施形態に係る建設機械が備える制御装置のブロック図である。 本発明の実施形態に係る建設機械用機械学習方法の基本的な考え方を示す図である。 本発明の実施形態に係る建設機械用機械学習方法における強化学習の処理の一例を説明するフローチャートである。

以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面において、本発明を構成する部材の寸法は、説明を明確にするために誇張して表現されている場合がある。
なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

≪実施形態に係る無人化施工方法の概要≫
振動ローラによる転圧走行作業は、事前の試験施工において、規定の締固め度を達成する施工仕様（例えば、まき出し厚や締固め回数）を確定し、実施工ではその施工仕様に基づき、まき出し厚の適切な管理や締固め回数の面的管理が行われる（工法規定方式）。これにより、品質の均一化や過転圧の防止などに加え、締固め状況の早期把握による工程短縮が図られる。本発明は、締固め回数の面的管理の効率化を実現するための技術である。

図１に示すように、締固め回数の面的管理の効率化を考えた場合、端から順に「重複長」を極力小さくしながら転圧走行作業を行うのが最も効率的な方法である。図１（ａ）に示す例においては、重複長が大きいために、転圧を行うエリアの全てを締め固めるためには「７レーン」の走行が必要である。一方、図１（ｂ）に示す例においては、重複長が小さいために、転圧を行うエリアの全てを締め固めるためには「５レーン」の走行で作業を完了できる。

これは、図１（ｂ）に示す例が、図１（ａ）に示す例に比べて短走行距離（例えば、短時間、少燃料、小労力を含む）で作業を完了したことになり、短走行距離での作業完了は、作業現場において望まれている。このように、振動ローラの締固め作業を面的管理する場合、重複長を小さくする事が作業効率を上げる大きな要素である。一方、重複長を小さくし過ぎると未転圧部を残す可能性が出てくるため、品質の面で問題がある。その為、無人化施工においては、「50cm」程度の重複長を確保するのが一般的である。

本発明では、人工知能（ＡＩ）によって適切な重複長を逐次決定しながら転圧走行作業を行う。これにより、作業効率と品質の両面を考慮した転圧作業が可能になる。
また、本発明では、様々な条件で行った転圧走行作業の実績データを集めておき、人工知能（ＡＩ）によって今回の転圧走行作業において最適と考えられる重複長を実績データから作業開始前に予測（推薦）する。これにより、何もない状態から重複長を決定するよりも短時間で適切な重複長が決定される。

≪実施形態に係る無人化施工方法の構成≫
実施形態に係る無人化施工方法を用いた無人化施工システムＭを図２（ａ）に示す。
無人化施工システムＭは、建設機械を自律走行させて施工現場の地面を締め固めるものである。無人化施工システムＭは、施工現場を走行しながら地面を転圧する建設機械としての振動ローラ１と、施工現場に立設されるトータルステーション２と、施工現場から離れた位置にある操作室内に設置されたホストＰＣ（Personal Computer）３と、転圧走行作業の実績データが蓄積されるデータ蓄積部４とを備えて構成されている。振動ローラ１、トータルステーション２およびホストＰＣ３は、無線通信を用いて通信可能である。また、ホストＰＣ３と、データ蓄積部４とは、インターネットなどのネットワークを介して通信可能である。なお、ホストＰＣ３は、振動ローラ１に搭載することも可能な構造である。また、振動ローラ１は、ＧＰＳ（Global Positioning System）衛星５から発信される電波を受信可能であってもよい。

＜データ蓄積部＞
データ蓄積部４は、転圧走行作業の実績データが蓄積されるものである。実績データは、転圧走行作業における最適な重複長の予測（推薦）に使用される。
ここで、転圧走行作業における最適な重複長は、様々な事象の影響により決定されるものであり予測が非常に困難である。最適な重複長の決定には、例えば、転圧を行うエリアの環境（例えば、土質、気象条件、エリアの大きさ、傾斜）や振動ローラの性能（例えば、旋回を実現する機構や最小旋回半径、自律走行や位置検出の精度、通信状況、走行速度、機械応答性）などを考慮する必要がある。

しかし、過去の転圧走行作業におけるこれらの項目の全てを収集することは現実的ではなく、これらの項目の関連性を事前に特定するのも難しい。また、振動ローラの性能（特に、自律走行の精度）などのように評価が難しい項目も存在する。さらに、ユーザＡによって蓄積された実績データとユーザＢによって蓄積された実績データとでは、実績データの形式や構成が異なることも想定される。

これらを考慮して、本実施形態において実績データは完璧な内容である必要がなく、蓄積される実績データの範囲の中から重複長を決定するための特徴を抽出することができる程度の数および項目であればよい。実績データは、例えば転圧を行うエリアの環境や振動ローラの性能に関する情報の一部と、自律走行制御における重複長の目標値や実測値とが対応したものである。実績データの形式や構成は特に限定されずに、画像（動画も含む）であってもよい。実績データとしての画像は、例えば振動ローラの全体像や走行ルートを示した軌跡であってよい。
本実施形態では、後記するホストＰＣ３内の人工知能を用いて、蓄積される実績データの範囲の中から重複長を決定するための特徴を抽出する。そして、今回の施工条件の特徴と実績データから抽出された特徴とを比較することで、今回の転圧走行作業における最適な重複長を予測（推薦）する。

＜トータルステーション＞
トータルステーション２は、走行する振動ローラ１を自動追尾して、振動ローラ１の位置情報を周期的（例えば、３００ミリ秒）にホストＰＣ３に対して送信する。トータルステーション２は、例えば、振動ローラ１の走行を妨害しない場所であると共に、振動ローラ１の自動追尾が常に可能な位置に設置されている。

＜ＧＰＳ衛星＞
ＧＰＳ衛星５は、自身の位置情報（軌道位置情報）や時刻情報を、走行する振動ローラ１に対して周期的に送信する。ＧＰＳ衛星５から送信される情報は、振動ローラ１において、位置（緯度、経度、高度）の計算に使用される。なお、振動ローラ１は、例えばトータルステーション２から送信される位置情報の代用としてＧＰＳ衛星５から送信される情報に基づいて計算した位置情報を使用する。

＜ホストＰＣ＞
ホストＰＣ３は、施工管理者により操作されるものである。施工管理者は、ホストＰＣ３に施工条件を予め登録し、その後に施工開始の指示を入力する。これらの情報は、振動ローラ１に送信され、振動ローラ１による無人化施工が開始される。
また、無人化施工が行われている期間、ホストＰＣ３は、トータルステーション２から受信した振動ローラ１の位置情報を振動ローラ１に対して送信する。

一方、ホストＰＣ３は、振動ローラ１の機体情報を振動ローラ１から周期的に受信し、この機体情報を表示画面に表示する。機体情報は、振動ローラ１の状態が確認できるものであればよく、例えば、振動ローラ１の進行方向、速度、ステアリング角度等であってよい。施工管理者は、ホストＰＣ３に表示される振動ローラ１の機体情報を確認することで、施工の進行状況を把握することが可能である。なお、施工管理者は、施工開始の指示を行った後は、原則として振動ローラ１に対して指示を行わない。

施工条件には、例えば、（１）転圧を行うエリア（以下、「転圧エリア」と呼ぶ）に関する転圧エリア情報、（２）転圧路を振動ローラ１が転圧する転圧条件に関する転圧条件情報などが含まれる。なお、転圧路は振動ローラ１が走行することで転圧する領域を意味している。その為、転圧路は所定の幅を持つことになり、隣接する転圧路が重なる領域は「重複部」であり、その幅は「重複長」である。一方、隣接する転圧路が重ならない領域は「未転圧部」である。
転圧路の基準線は、転圧路の延在方向に沿う仮想線であり、振動ローラ１の自律走行の目標となる走行ルートである。本実施形態では、転圧路の基準線を適宜設定することにより重複長を調整する。また、本実施形態では、基準線として転圧路の中心線を採用することにし、振動ローラ１の基準点（後記するセンターピン）が転圧路の中心線を含む鉛直面を通過するように制御する。

転圧エリア情報には、転圧エリア数および各転圧エリアを特定するための座標（ｘ，ｙ）などが含まれる。図２（ｂ）に示すように、矩形の転圧エリアの場合には、各転圧エリアを特定するための座標として転圧エリアの四隅の座標（ｘ，ｙ）が与えられる。
転圧条件情報には、各転圧路における転圧回数、転圧エリアへの進入点の座標および転圧エリアからの退出点の座標などが含まれる。図２（ｂ）に示すように、矩形の転圧エリアの左側に設定される転圧路から右側に向かって順次転圧する場合には、例えば、転圧エリアへの進入点として最左端の転圧路の中心線の一方の端点の座標（ｘ，ｙ）が与えられ、転圧エリアからの退出点として最右端の転圧路の中心線の一方の（ｘ，ｙ）が与えられる。

また、ホストＰＣ３は、人工知能（最適重複長予測機能）を有しており、この機能を用いて今回の転圧走行作業における最適な重複長を予測する。この人工知能（最適重複長予測機能）は、データ蓄積部４に蓄積される複数の実績データを学習（例えば深層学習）することで生成される。その為、ホストＰＣ３は、重複長設定支援装置の役割を担う。

施工管理者が施工条件（施工条件の一部でも可能）をホストＰＣ３に入力すると、人工知能（最適重複長予測機能）は学習した内容から今回の転圧走行作業における最適な重複長を予測する。施工管理者は、例えば施工条件として「建設機械の種類」、「土質」、「未転圧率」などの入力を行う。未転圧率は、振動ローラ１を所定距離だけ走行させたときに未転圧部が発生する割合や確率であってよい。未転圧部の発生を許容しない場合には、未転圧率として「０」が入力される。

人工知能（最適重複長予測機能）は、入力された施工条件に基づく最適な重複長を計算し、計算した重複長を施工条件に含める。つまり、振動ローラ１は、予測された重複長を初期値として転圧走行作業を開始する。
なお、施工管理者は、例えば施工条件として「建設機械の全体像」や「過去の走行ルートを示した軌跡」の画像を入力してもよい。

＜振動ローラ＞
図３を参照して、振動ローラ１の構成について説明する。振動ローラ１は、車体１０と、車体１０の前後に取り付けられた二つの鉄輪１１，１１と、車体１０の下部に配置されたアーティキュレート機構１２と、車体１０の上部に設置された全周プリズム１３および通信アンテナ１４と、制御装置１５と、ＧＰＳアンテナ１６と、機体情報取得手段Ｓ（図４参照）とで構成されている。振動ローラ１は、鉄輪１１，１１の回転方向を変更することで、前進および後進が可能である。

車体１０は、振動ローラ１の本体となるものである。車体１０は、内部に図示しない駆動手段を収容する。以下では、「ローラの方位角Ｇ」といった場合には、車体１０の方向を意味する。
鉄輪１１は、図示しない振動を発生する装置を備え、振動しながら回転することで地面を転圧する。以下では、前側の鉄輪１１を前輪１１ａと呼び、後側の鉄輪１１を後輪１１ｂと呼ぶ場合がある。

アーティキュレート機構１２は、振動ローラ１を旋回させるための機構であり、車体１０の下部に設置される。アーティキュレート機構１２は、前輪１１ａを回転自在に保持する前輪保持部１２ａと、後輪１１ｂを回転自在に保持する後輪保持部１２ｂと、前輪保持部１２ａおよび後輪保持部１２ｂを連結するセンターピン１２ｃと、前輪保持部１２ａと後輪保持部１２ｂとの間に介設されるステアリングシリンダ（図示せず）とを備えている。制御装置１５（特に、自律走行用制御部３０）から進行方向を修正する制御指令（ステアリング角度θを制御指令角度とする制御指令）を受信すると、ステアリング角度θに応じてステアリングシリンダが伸縮する。そして、ステアリングシリンダが伸縮すると、センターピン１２ｃを中心に前輪保持部１２ａおよび後輪保持部１２ｂが屈折し、それに伴い前輪１１ａおよび後輪１１ｂの方向が変化する。

全周プリズム１３は、トータルステーション２の追尾対象となるものである。ここで、アーティキュレート機構１２のステアリング角度θは、センターピン１２ｃの位置を基準とするので、振動ローラ１の自立走行制御を行う基準点をセンターピン１２ｃの位置またはセンターピン１２ｃを通る鉛直線上に設けることが好ましい。その為、振動ローラ１のようにアーティキュレート機構１２が採用されている建設機械の場合、全周プリズム１３の位置をセンターピン１２ｃの真上になるように演算により補正を行うのがよい。この補正を行うことにより、トータルステーション２を介して取得する座標が振動ローラ１の基準点（センターピン１２ｃの位置）となるので、角度修正を行う際に誤差が生じない。この補正を行うのは、振動ローラ１、トータルステーション２およびホストＰＣ３の何れであってもよく、何れかの装置で演算により行われる。

通信アンテナ１４は、ホストＰＣ３との通信を行うものである。具体的には、振動ローラ１の制御装置１５（特に、自律走行用制御部３０）は、通信アンテナ１４を介してホストＰＣ３から施工条件（転圧エリア情報、転圧条件情報など）、位置情報などを受信する。また、制御装置１５（特に、自律走行用制御部３０）は、通信アンテナ１４を介してホストＰＣ３に対して振動ローラ１の機体情報を送信する。

ＧＰＳアンテナ１６は、ＧＰＳ衛星５（図２参照）から発信される電波を受信するものである。具体的には、振動ローラ１の制御装置１５（特に、自律走行用制御部３０）は、ＧＰＳアンテナ１６を介してＧＰＳ衛星５から軌道位置情報や時刻情報などを受信する。自律走行用制御部３０は、ＧＰＳ衛星５から軌道位置情報や時刻情報を用いて振動ローラ１の位置を計算する。

図４を参照して、機体情報取得手段Ｓの構成について説明する。図４は、振動ローラ１の自律制御を実現する自律制御システムＭ１の概略図である。機体情報取得手段Ｓは、姿勢検出センサＳ１と、速度検出センサＳ２と、ステア角度検出センサＳ３と、前方探査センサＳ４とで構成されている。
姿勢検出センサＳ１は、振動ローラ１の方位角Ｇ（deg）を検出するものである。姿勢検出センサＳ１は、例えば、ジャイロであって、車体１０の内部に設置される。方位角Ｇ（deg）は、制御装置１５（特に、自律走行用制御部３０）に受け渡され、慣性航法（ＩＮＳ）を用いた現在位置の算出などに用いられる。なお、トータルステーション２により取得された振動ローラ１の位置情報やＧＰＳ衛星５から送信された情報に基づいて計算した位置情報は、姿勢検出センサＳ１のドリフトの補正に用いられる。

速度検出センサＳ２は、振動ローラ１が前進および後進する速度Ｖ（ｋｍ／ｈ）を検出するものである。速度検出センサＳ２は、例えば、ロータリーエンコーダであって、後輪１１ｂに設置される。速度Ｖ（ｋｍ／ｈ）は、制御装置１５（特に、自律走行用制御部３０）に受け渡され、慣性航法（ＩＮＳ）を用いた現在位置の算出などに用いられる。

ステア角度検出センサＳ３は、アーティキュレート機構１２のステアリング角度θ（deg）を検出するものである。ステア角度検出センサＳ３は、例えば、ポテンショメータであって、アーティキュレート機構１２のセンターピン１２ｃに設置される。ステアリング角度θ（deg）は、制御装置１５（特に、自律走行用制御部３０）に受け渡され、振動ローラ１の走行方向の修正などに用いられる。なお、ステアリングシリンダのロッドの進退量を検出するセンサをステア角度検出センサＳ３としてもよい。

前方探査センサＳ４は、振動ローラ１の前方方向の物体情報Ｑ（座標）を検出するものである。前方探査センサＳ４は、例えば、２Ｄスキャナであって、車体１０の前方上部に設置される。前方探査センサＳ４は、制御装置１５（特に、自律走行用制御部３０）に受け渡され、障害物の検知及び停止制御に用いられる。

図４に示す制御装置１５は、転圧路の重複長を調整し、機体情報取得手段Ｓが取得した情報やホストＰＣ３から受信した情報を用いて自律走行の制御を行うものである。制御装置１５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。以下、制御装置１５の詳細に説明する。

図５に示すように、振動ローラ１の制御装置１５は、後述する機械学習を行う機械学習器（建設機械用機械学習装置）２０と、基準線変更部２３と、自律走行用制御部３０とを備えて構成されている。また、機械学習器２０は、状態観測部２１と、重複長判定部２２と、を備える。なお、機械学習器２０は、図示例のように制御装置１５内に組み込まれてもよいし、制御装置１５とは別の構成要素（例えば、図２に示すホストＰＣ３）として構成されてもよい。

状態観測部２１は、振動ローラ１が転圧した転圧路の実際の重複長、及び転圧走行作業による未転圧部の発生量（以降、「未転圧量」と称する）を観測する。
ここで、振動ローラ１の自律走行では、転圧路の中心線に対して左右に蛇行しながら走行するのが一般的である。その為、振動ローラ１の軌跡は厳密には直線にはならず、観測される実際の重複長についても一定値にならない。状態観測部２１は、例えば、第ｎレーンを走行した振動ローラ１のセンターピン１２ｃの位置と、第（ｎ＋１）レーンを走行した振動ローラ１のセンターピン１２ｃの位置との関係（距離）から重複長を観測する。未転圧量とは、例えば、未転圧部の面積や未転圧部が発生した回数などで表される。

重複長判定部２２は、状態観測部２１により観測された重複長と未転圧量との関係から、自律走行制御における重複長の目標値（以降、「目標重複長」と称する）を判定（算出）する。重複長判定部２２は、例えば強化学習を行うことにより目標重複長を判定する。
ここで、目標重複長は、振動ローラ１が転圧路の中心線に対して左右に蛇行しないで走行させた場合の仮想的な重複長（一定値）である。重複長判定部２２は、例えば、第ｎレーンを振動ローラ１が走行した際に自律走行の制御で用いた転圧路の中心線と、第（ｎ＋１）レーンを振動ローラ１が走行する際に自律走行の制御で用いる転圧路の中心線との関係（距離）として目標重複長を算出する。

基準線変更部２３は、重複長判定部２２から出力された目標重複長に基づいて自律走行制御の基準線（ここでは、転圧路の中心線）を変更（調整）する。基準線を変更するタイミングは、例えば、レーンの片道施工や所定距離の施工が終了したとき、未転圧量が一定量を超えたときなどである。

自律走行用制御部３０は、機体情報取得手段Ｓが取得した情報やホストＰＣ３から受信した情報を用いて、基準線変更部２３により変更（調整）された重複長に従って自律走行の制御を行う。なお、施工開始時の重複長は、ホストＰＣ３の人工知能（最適重複長予測機能）により予測された重複長とする。

以下、機械学習器２０による機械学習（強化学習）について説明する。図６は、本実施形態における機械学習の基本的な考え方を説明する図である。一般に、図６におけるグラフ４１に示すように、転圧走行作業による未転圧量は、転圧路の重複長が大きいほど少なくなり、一方、グラフ４２に示すように、転圧走行作業の作業効率は、転圧路の重複長が大きいほど低くなる。

図６から分かるように、転圧路の重複長を変数とした場合、転圧走行作業の未転圧量と作業効率とはいわゆるトレードオフの関係にあるので、本実施形態では、最適な転圧路の目標重複長を機械学習により求める。具体的には、重複長と未転圧量との関係から重複長（自律走行制御の基準線）の調整を行い、最終的に最適な目標重複長を算出する。

次に、振動ローラ１における機械学習（強化学習）の一例を説明する。図７は、振動ローラ１における強化学習方法の一例を説明するフローチャートである。最初に、ステップＳ１０において、ホストＰＣ３の人工知能（最適重複長予測機能）により予測された値を転圧路の目標重複長とする。

次に、状態観測部２１は、ステップＳ１０で決定された転圧路の目標重複長における転圧走行作業の実際の重複長及び未転圧量を観測する（ステップＳ２０）。そして、重複長判定部２２は、観測した実際の重複長及び未転圧量から現在の目標重複長を評価する（ステップＳ３０）。ステップＳ３０において、重複長判定部２２は、例えばレーンの片道施工や所定距離における重複長や未転圧量の平均値を用いて目標重複長の評価を行ってもよい。

ここでは一例として、観測された実際の重複長を適当な閾値（第１閾値）に基づいて分類し、この閾値より多い重複長を観測した場合に目標重複長を狭め（ステップＳ４０）、閾値より少ない重複長を観測した場合に目標重複長を広げる（ステップＳ５０）。また、施工条件として入力された未転圧率（第２閾値）との関係で観測された未転圧量が多い場合には、重複長の観測結果によらず目標重複長を大きく広げる（ステップＳ６０）。ステップＳ６０で設定する目標重複長は、例えばステップＳ５０で設定する目標重複長よりも大きくする。

また、観測された未転圧量を、適当な閾値に基づいて分類し、この閾値より少ない未転圧量を観測した場合に重複長を広げ、閾値より多い未転圧量を観測した場合に重複長を狭めるようにしてもよい。また、未転圧量がない場合に重複長を広げ、未転圧量がある場合に重複長を狭めるようにしてもよい。
ステップＳ２０〜Ｓ６０の処理は、例えば、レーンの片道施工や所定距離の施工が終了する度に反復して行われる。

なお、最適な目標重複長に近づくことにより、目標重複長を広げる工程と狭める工程とが交互に行われることも想定される。それを防止するために、目標重複長を広げる工程と狭める工程とが交互に連続した場合に、目標重複長を広げる又は狭める量を小さく調整してもよい。そして、重複長の変更量が所定以下になった場合に、最適な重複長であるとして重複長の調整を終了する。

以上のように、本実施形態に係る建設機械としての振動ローラ１は、転圧路の最適な目標重複長を算出する。その為、振動ローラ１の柔軟な制御を実現できる。

［変形例］
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。実施形態の変形例を以下に示す。

本実施形態では、ホストＰＣ３は、人工知能（最適重複長予測機能）として深層学習を行うものとして説明した。しかしながら、教師あり学習、教師なし学習、半教師あり学習、トランスダクション、マルチタスク学習等の種々の機械学習を行うことができる。また、強化学習の１つであるＱ学習を用いることもできる。

１ 振動ローラ（建設機械）
２ トータルステーション
３ ホストＰＣ
４ データ蓄積部
１５ 制御装置
２０ 機械学習器（建設機械用機械学習装置）
２１ 状態観測部
２２ 重複長判定部
２３ 基準線変更部
３０ 自律走行制御部
Ｍ 無人化施工システム
Ｍ１ 自律制御システム

Claims (4)

1. 転圧路の幅方向の重複長の目標値に基づいて転圧エリアの転圧走行作業を開始する建設機械における前記目標値を学習する建設機械用機械学習装置であって、
   前記転圧走行作業による実際の重複長を観測する状態観測部と、
   前記状態観測部により観測された前記重複長から前記目標値を判定する重複長判定部と、を備え、
   前記重複長判定部は、観測される前記重複長が予め決められた第１閾値よりも多い場合に前記目標値を小さくし、観測される前記重複長が予め決められた第１閾値よりも少ない場合に前記目標値を大きくする、
   ことを特徴とする建設機械用機械学習装置。
2. 前記状態観測部は、前記転圧走行作業による未転圧量をさらに観測し、
   前記重複長判定部は、観測される前記未転圧量が予め決められた第２閾値よりも多い場合に、観測される前記重複長が予め決められた第１閾値よりも少ない場合に比べて前記目標値を大きくする、
   ことを特徴とする請求項１に記載の建設機械用機械学習装置。
3. 請求項１又は請求項２に記載の建設機械用機械学習装置を備える建設機械。
4. 転圧路の幅方向の重複長の目標値に基づいて転圧エリアの転圧走行作業を開始する建設機械における前記目標値を学習する建設機械用機械学習方法であって、
   前記転圧走行作業による実際の重複長を観測する状態観測工程と、
   前記状態観測工程により観測された前記重複長から前記目標値を判定する重複長判定工程と、を有し、
   前記重複長判定工程では、観測される前記重複長が予め決められた第１閾値よりも多い場合に前記目標値を小さくし、観測される前記重複長が予め決められた第１閾値よりも少ない場合に前記目標値を大きくする、
   ことを特徴とする建設機械用機械学習方法。

Images