JP7079896B2 - 学習機能付き建設機械 - Google Patents

Description

本発明は、学習機能付き建設機械に関する。

学習機能を有する建設機械として、例えば、特許文献１に記載された建設機械が知られている。この建設機械では、転圧路の幅方向の重複長の目標値が学習される。

特許第６３６０５８３号特許公報

上記建設機械では、人が操作して建設機械が行う作業を学習し、学習した作業を自動的に行うことができない。

また、人が操作して建設機械が行う作業を学習する場合、単純に一般の学習方法を適用すると、建設機械による作業の品質を熟練の操作者による作業と同レベルに維持するために、学習の達成度を極限に高める必要がある。また、作業の態様に応じて建設機械の動作を変える必要があるが、作業の態様は無限に存在するため、実際の作業の態様に応じて建設機械の動作を適切に制御するためには、学習に対する膨大な学習用データ及び立ち上げ期間が必要とされる。そのため、建設機械による作業の自動化を短期間で達成することが困難である。

さらに、建設業界においては、少子高齢化により労働者が高齢化するとともに不足しており、熟練操作者の技能を伝承することが急務であるが、その技能の伝承者も同様に減少していくという問題があった。

本発明は上記のような課題を解決するためになされたもので、少なくとも、人が操作して建設機械が行う作業を学習し、学習した作業を自動的に行うことが可能な建設機械を提供することを第１の目的としている。

そして、第１の目的に加えて、建設業界における熟練操作者の技能を伝承することが可能であり、且つ、所定の作業の自動化を短期間で達成することが可能な技能伝承建設機械を提供することを第２の目的とする。

本発明者等は、上記課題を解決するために鋭意検討した。その結果、以下の知見を得た。

建設機械では、作業部を含む動作部を、複数の油圧アクチュエータが駆動する。例えば、油圧ショベルを例に取ると、ブーム、アーム、バケット、及び運転席が動作部に相当し、ブーム、アーム、及びバケットを回動させる油圧シリンダと運転席を回動させる油圧モータとが油圧アクチュエータに相当する。

このため、操作部は、複数の油圧アクチュエータの数に応じた複数の操作レバーで構成され、操作者は、これらの複数の操作レバーを操作しながら作業を行う。また、建設機械が行う作業は、多様である。このため、従来、建設機械の作業を学習させることは難しいと考えられていた。

しかしながら、本発明者等は、建設作業においては、比較的簡単な定型作業が存在することに着目した。比較的簡単な定型作業であれば、学習することが比較的容易である。

一方、ある装置において、操作者の操作による作業を学習させるには、操作者の操作に重要な影響を及ぼす情報を特定し、それを学習時の入力データとして用いることが重要である。

そこで、本発明者等は、熟練した操作者の操作を分析した。その結果、以下のことが判明した。

操作者は、端的に言うと、目視で作業状況を確認し、建設機械の現在の動作状態を目視及び操作レバーの操作で感知するとともに作業対象からの反作用（リアクション）を体感することによって、次の操作を決定することを見出した。

油圧ショベルによる穴掘り作業を例に取ると、操作者は、目視で穴掘りの状況を確認し、バケット及びブームの姿勢を目視で認識するとともに操作レバーの現在の操作位置によって、バケット、ブーム及び運転席が現在どのように動作しようとしているかを直観する。また、バケットが地面に作用する（地面を掘る、土砂を掻き込む等する）と、その反作用を体感することによって、意図した作業（アクション）の当否を判断する。そして、これらを瞬時に勘案して次の操作を決定する。ここで、反作用とは、例えば、運転席の傾き、加速度、角加速度等である。また、操作者が次の操作を決定する際に駆動源であるエンジンの回転量、音等を重視することも判明した。

ここで、穴掘りの状況は作業状況を表す情報の一例である。操作位置は油圧ショベルの動作状態を表す情報の一例である。運転席の傾き等は、地面からの反作用の例である。エンジンの音等は、駆動源の状態を表す情報であり、ひいては油圧ショベルの動作状態を表す情報である。

そこで、本発明者等は、少なくとも、作業状況を表すデータと、動作部の動作状態を表すデータと、作業部の作業により動作部が作業対象から受ける反作用を表すデータとを、学習時の入力データ（予測基礎データ）として用いることを想到した。本発明はこのような知見に基づいてなされたものである。

上記目的を達成するために、本発明のある形態（aspect）に係る学習機能付き建設機械は、作業部を有し、前記作業部を、作業を行うよう動かす動作部と、操作者の操作に応じた指令を出力する操作部と、前記作業部による前記作業の状況を検知し、検知した作業状況を作業状況データとして出力する作業状況検知部と、前記動作部の動作状態を検知し、検知した動作状態を動作状態データとして出力する動作状態検知部と、前記作業部の作業により前記動作部が作業対象から受ける反作用を検知し、検知した反作用を反作用データとして出力する反作用検知部と、前記指令を時系列で指令データとして記憶するとともに、前記作業状況データ、前記動作状態データ、及び前記反作用データを含む予測基礎データを時系列で記憶する学習データ記憶部と、前記学習データ記憶部に記憶された前記予測基礎データを用いて前記学習データ記憶部に記憶された前記指令データを機械学習し、機械学習を終えた後、前記動作部の動作時に前記予測基礎データが入力され、前記指令の予測指令を出力する学習部と、前記指令、前記予測指令、又は前記指令及び前記予測指令に基づいて前記動作部を駆動する油圧駆動システムと、を備える。ここで、「指令データ」とは、「教師あり学習」の場合に、教師データとして用いられるデータを意味する。「予測基礎データ」は、機械学習の際に、学習部に動作指令を予測させるために学習部に入力されるデータを意味する。「作業部を・・・動かす」とは、「作業部を動作及び移動させる」ことを意味する。

この構成によれば、学習時において、熟練した操作者が建設機械を操作して、所定の作業を行う。すると、操作に応じた指令に対応する指令データと、作業部による作業状況のデータ、動作部の動作状態のデータ及び作業部の作業により動作部が作業対象から受ける反作用のデータを含む予測基礎データとが、学習データ記憶部に記憶される。そして、学習部が、学習データ記憶部に記憶された予測基礎データを入力することによって、予測指令を出力するよう学習データを機械学習する。これにより、熟練した操作者の操作が学習され、予測指令として出力することが可能になる。そして、機械学習を終えた後において、学習部に予測基礎データが入力されると、学習部が予測作指令を出力する。すると、油圧駆動システムが予測指令に基づいて動作部を駆動する。その結果、熟練した操作者の操作が学習され、その学習の結果として学習部から出力される予測指令に基づいて、当該作業が自動的に行われる。

従って、人が操作して建設機械が行う作業を学習し、学習した作業を自動的に行うことが可能な建設機械を提供することできる。

前記操作部が、前記指令として、前記操作者の操作に応じた動作指令を出力するよう構成され、学習データ記憶部が、前記動作指令を時系列で指令データとして記憶するとともに、前記作業状況データ、前記動作状態データ、及び前記反作用データを含む予測基礎データを時系列で記憶するよう構成され、前記学習部が、学習時において、前記学習データ記憶部に記憶された前記予測基礎データを用いて前記学習データ記憶部に記憶された前記指令データを機械学習し、前記機械学習を終えた後の自動制御時において、前記予測基礎データが入力され、前記予測指令である予測動作指令を出力するよう構成され、且つ、油圧駆動システムが、前記動作指令又は前記予測動作指令に従って前記動作部を駆動するよう構成されていてもよい。

この構成によれば、油圧駆動システムが、動作指令の予測指令である予測動作指令に従って動作部を駆動するよう構成されているので、熟練した操作者の操作の学習結果に従って、当該作業が自動的に行われる。

前記動作部が設けられた本体部を備え、前記反作用検知部が、前記動作部又は前記本体部の傾き、加速度、及び角加速度の少なくともいずれかを含む前記反作用を検知し、検知した反作用を前記反作用データとして出力してもよい。

この構成によれば、熟練した操作者が次の操作を決定する際に重視する、動作部又は本体部の傾き、加速度、又は角加速度が、予測基礎データに含まれるので、学習の精度が向上する。なお、動作部は本体部に設けられるので、動作部が作業対象から反作用を受けると、この反作用の影響が本体部に及ぶ。

前記動作状態検知部が、前記油圧駆動システムの作動油を加圧するポンプを駆動する駆動源の出力及び動作音の少なくともいずれかを含む駆動源の状態を検知し、検知した駆動源の状態を駆動源状態データとして出力する駆動源状態検知部を含み、前記動作状態データが、前記駆動源状態データを含んでいてもよい。

この構成によれば、熟練した操作者が次の操作を決定する際に重視する、駆動源の出力又は音が、予測基礎データに含まれるので、学習の精度が向上する。

前記動作状態データが、前記指令データを含んでいてもよい。ここで、「動作状態データが指令データを含む」とは、「教師あり学習」の場合に、学習データ記憶部に時系列で記憶された指令データが、逐次、教師データとして用いられ、当該教師データとして用いられる指令データより「時系列における以前」の時刻の指令データが動作状態データとして用いられることを意味する。

この構成によれば、熟練した操作者が次の操作を決定する際に重視する、現在の操作レバー（操作部）の位置に対応する動作指令が予測基礎データに含まれるので、学習の精度が向上する。

動作状態検知部が、前記動作部の姿勢を検知し、検知した姿勢を姿勢データとして出力する姿勢検知部をさらに備え、前記動作状態データが、前記姿勢データを含んでいてもよい。

この構成によれば、熟練した操作者が次の操作を決定する際に重視する、動作部の姿勢のデータが予測基礎データに含まれるので、学習の精度が向上する。

前記学習機能付き建設機械が、制御部を備える技能伝承建設機械であり、前記操作部が、前記指令として、前記操作者の操作に応じた手動動作修正指令を出力するよう構成され、前記油圧駆動システムが、基本動作指令と自動動作修正指令と前記手動動作修正指令とに従って前記動作部を駆動するよう構成され、且つ、前記制御部が、前記動作部によって前記作業部に基本的な動きをさせる前記基本動作指令を出力する基本動作指令部と、前記自動動作修正指令に前記手動動作修正指令を加えて動作修正指令を生成する動作修正指令生成部と、前記動作修正指令を前記指令データとして時系列で記憶する動作修正指令記憶部と前記予測基礎データを時系列で記憶する予測基礎データ記憶部とを含む前記学習データ記憶部と、前記学習部と、を備え、前記学習部が、前記予測基礎データ記憶部に記憶された前記予測基礎データを用いて前記動作修正指令記憶部に記憶された前記動作修正指令を機械学習し、機械学習を終えた後、前記動作部の動作時に前記予測基礎データが入力され、前記予測指令である前記自動動作修正指令を出力するよう構成されていてもよい。

この構成によれば、動作部は、油圧駆動システムを介して、基本動作指令と自動動作修正指令と手動動作修正指令とに従って作業部を動かすので、動作部の動作を、操作者が修正せず且つ学習部が自動動作修正しない場合、動作部は基本動作指令部が出力する基本動作指令に従って作業部に基本的な動きをさせる。操作者は、目視によって作業部による作業を確認しながら作業部の動きを監視し、基本的な動きによって所定作業が熟練した動きで行われないときには、所定作業を、熟練した動きで遂行するよう手動で修正する。すると、この手動修正に応じた手動動作修正指令が操作部から出力されることによって基本的な動きが修正され、それにより、所定作業が熟練した動きで遂行される。

一方、この所定作業に関する手動動作修正指令が、学習部が出力する自動動作修正指令に加えられて動作修正指令が生成され、この動作修正指令が学習部によって機械学習される。

上述のように学習部が自動修正をしない場合、学習部は操作者の手動の動作修正に基づく手動動作修正指令のみを学習する。学習部には、動作部の動作時において、作業部の動きに対応する予測基礎データが入力されるので、上記と類似の所定作業が熟練した動きで遂行されない動作状態が生じた場合には、学習部から上述の学習により予測される動作修正指令が自動動作修正指令として出力される。これにより、基本動作指令が、所定作業が熟練した動きで遂行される方向に自動修正され、当該自動修正が適切であれば、所定の作業が熟練した動きで遂行される。

しかし、学習が不十分である場合や、所定作業が熟練した動きで遂行されない場合における動作部の動作状態が、学習により予測されたものとかなり異なる場合等には、当該修正が行われたにも関わらず所定作業が熟練した動きで遂行されない。すると、操作者が所定の作業を、熟練した動きで遂行するよう手動で動作修正を行い、それにより、動作部によって所定の作業が熟練した動きで遂行される。そして、このさらなる手動の動作修正に対応する手動動作修正指令が、前回の手動の動作修正に対応する自動動作修正指令に加えられて、学習部によって学習される。

これにより、作業部の基本的な動きに対する学習部の修正能力が向上する。以降、これらの動作が繰り返され、作業部の基本的な動きに対する学習部の修正能力が操作者と同等のレベルまで向上すると、操作者による作業部の基本的な動きに対する修正が不要になる。この状態においては、学習部が、操作者に代わって、作業部の基本的な動きを適切に修正し、作業部に所定作業を適切に遂行させる。

このようにして、操作者が熟練者である場合、操作者の手動の動作修正が熟練者の「技能」を構成し、この「技能」が学習部に蓄積されて当該学習部に伝承され、学習部が熟練者の「技能」の「伝承者」になる。その結果、当該学習部を備える建設機械が「技能伝承建設機械」になる。

また、上記構成によれば、動作部が、油圧駆動システムを介して、基本動作指令と自動動作修正指令と手動動作修正指令とに従って動作するよう構成されているので、学習部から不十分な自動動作修正指令が出力されても、操作者が作業部の動きを見ながら手動の動作修正を行って動作部に適切な動作をさせることができる。このため、現場の実務で適切な動作の試行及び修正を行うことができる。換言すると、現場の実務を通して学習部に学習をさせることができるので、学習部に対する膨大な学習用データ及び立ち上げ期間が不要である。その結果、所定作業の自動化を短期間で達成することができる。

また、上記構成によれば、所定作業に関する作業部の基本的な動きのうち修正が不要である部分は、基本動作指令部によって自動的に遂行されるので、操作者は、必要な修正のみを行えばよい。よって、操作者の負担が軽減される。また、熟練者であっても作業がばらつくので、このように一部の作業のみを操作者の操作によって行うと、全ての作業を操作者の操作によって行う場合に比べて作業の精度が向上する。

また、操作者の手動の動作修正に対応する手動動作修正指令を記憶部に記憶することによって、熟練者の技能を伝承することが考えられるが、作業部の基本的な動きを修正しなければならない態様は無限に存在するので、そのような手法によって、熟練者の技能を伝承することは現実には困難である。一方、上記構成のように学習部を用いると、作業部の基本的な動きを修正しなければならない事象が発生する度にその態様に応じた手動の動作修正（正確には手動動作修正指令）を学習部に学習させることによって、熟練者の技能の伝承を容易に実現することができる。

さらに、上記構成によれば、動作部の動作時において、熟練した操作者が建設機械を操作し、基本動作指令及び自動動作修正指令に従った作業部の動きを必要に応じて修正しながら所定の作業を行う。すると、作業部による作業状況のデータ、動作部の動作状態のデータ、及び作業部の作業により動作部が作業対象から受ける反作用のデータを含む予測基礎データが予測基礎データ記憶部に記憶されるとともに、自動動作修正指令に手動動作修正指令が加えられた動作修正指令が動作修正指令記憶部に記憶される。そして、その後の学習時に、学習部が、予測基礎データ記憶部に記憶された予測基礎データを用いて動作修正指令記憶部に記憶された動作修正指令を機械学習する。これにより、熟練した操作者の修正操作が学習され、自動動作修正指令として出力することが可能になる。そして、その後の動作部の動作時において、学習部に予測基礎データが入力されると、学習部が自動動作修正指令を出力する。すると、油圧駆動システムが、基本動作指令とこの自動動作修正指令とを反映しながら動作部を駆動する。その結果、熟練した操作者の修正操作が学習された結果としての自動動作修正指令が反映された作業が行われる。従って、基本動作指令部による作業部の基本的な動作を操作者が修正操作するようにして、建設機械が行う作業を学習し、学習した作業を自動的に行うことが可能な建設機械を提供することできる。

これにより、建設業界における熟練操作者の技能を伝承することが可能であり、且つ、所定の作業の自動化を短期間で達成することが可能な技能伝承建設機械を提供することができる。

前記手動動作修正指令が電気指令信号であり、前記動作部が、前記作業部を駆動する油圧アクチュエータと、前記基本動作指令、前記自動動作修正指令、及び前記手動動作修正指令に従って前記油圧アクチュエータの動作を油圧制御する制御弁と、を備え、前記制御弁が、電磁弁であってもよい。

この構成によれば、手動動作修正指令が電気指令信号であるので、手動動作修正指令を直接数値データ化することできる。このため、基本動作指令、自動動作修正指令、及び手動動作修正指令の加算、自動動作修正指令及び手動動作修正指令の加算、及び、動作修正指令の記憶部への記憶処理を容易に行うことができるので、手動動作修正指令が油圧信号で且つ制御弁が油圧制御弁である場合に比べて、これらの処理に関する構成を簡素化することができる。

本発明は、人が操作して建設機械が行う作業を学習し、学習した作業を自動的に行うことが可能な建設機械を提供することができるという効果を奏する。

また、本発明の特定の態様は、建設業界における熟練操作者の技能を伝承することが可能であり、且つ、所定の作業の自動化を短期間で達成することが可能な技能伝承建設機械を提供できるという効果を奏する。

図１は、本発明の実施形態に係る学習機能付き建設機械の概念を示す機能ブロック図である。 図２は、本発明の実施形態１に係る学習機能付き建設機械の制御系統の構成を示す機能ブロック図である。 図３は、学習機能付き建設機械の一例である学習機能付き油圧ショベルのハードウエアの構成を示す側面図である。 図４は、図３の学習機能付き油圧ショベルの油圧駆動システムの主油圧回路を示す油圧回路図である。 図５は、図３の学習機能付き油圧ショベルの油圧駆動システムの操作系油圧回路を示す油圧回路図である。 図６は、図３の学習機能付き油圧ショベルの制御系統の構成を示す機能ブロック図である。 図７は、図３の学習機能付き油圧ショベルにおける予測動作指令、学習用指令データ、予測基礎データ、及び学習用予測基礎データのそれぞれの時系列データを示す模式図である。 図８は、図６の学習部の構成を示す機能ブロック図である。 図９は、図３の学習機能付き油圧ショベルによる建設作業の状況を示す模式図である。 図１０は、本発明の実施形態２に係る学習機能付き建設機械の一例である学習機能付き油圧ショベルのハードウエアの構成を示す側面図である。 図１１は、図１０の学習機能付き油圧ショベルの制御系統の構成を示す機能ブロック図である。 図１２は、本発明の実施形態３に係る学習機能付き建設機械の一例である学習機能付き油圧ショベルのハードウエアの構成を示す側面図である。 図１３は、図１２の学習機能付き油圧ショベルの制御系統の構成を示す機能ブロック図である。 図１４は、本発明の実施形態４に係る技能伝承建設機械の制御系統の構成を示す機能ブロック図である。 図１５は、技能伝承建設機械の一例である技能伝承油圧ショベルのハードウエアの構成を示す側面図である。 図１６は、図１５の技能伝承油圧ショベルの油圧駆動システムの主油圧回路を示す油圧回路図である。 図１７は、図１５の技能伝承油圧ショベルの油圧駆動システムの操作系油圧回路を示す油圧回路図である。 図１８は、図１５の技能伝承油圧ショベルの制御系統の構成を示す機能ブロック図である。 図１９は、図１５の技能伝承油圧ショベルの動作におけるサイクルタイムを例示する模式図である。 図２０は、図１５の技能伝承油圧ショベルにおける動作修正指令、学習用動作修正指令、予測基礎データ、及び学習用予測基礎データのそれぞれの時系列データを示す模式図である。 図２１は、図２０の学習部の構成を示す機能ブロック図である。 図２２は、図１５の技能伝承油圧ショベルによる建設作業の状況を示す模式図である。 図２３（ａ）～（ｃ）は、油圧ショベル２０による穴掘り作業が隅部の掘り下げ作業における修正操作によって改善される過程を模式的に示す断面図である。 図２４（ａ）～（ｃ）は、油圧ショベル２０による穴掘り作業が穴掘り予定地の地質に応じた修正操作によって改善される過程を模式的に示す断面図である。 図２５は、本発明の実施形態５に係る技能伝承建設機械の一例である技能伝承油圧ショベルのハードウエアの構成を示す側面図である。 図２６は、図２５の技能伝承油圧ショベルの制御系統の構成を示す機能ブロック図である。 図２７は、本発明の実施形態６に係る技能伝承建設機械の一例である技能伝承油圧ショベルのハードウエアの構成を示す側面図である。 図２８は、図２７の技能伝承油圧ショベルの制御系統の構成を示す機能ブロック図である。 図２９は、本発明の実施形態７に係る技能伝承建設機械の一例である技能伝承油圧ショベルの動作指令生成部の構成を示す機能ブロック図である。

以下、本発明の実施の形態を、図面を参照しながら説明する。なお、以下では全ての図面を通じて同一又は相当する要素には同一の参照符号を付して、その重複する説明を省略する。また、本発明は、以下の実施形態に限定されない。

（概念）
図１は、本発明の実施形態に係る学習機能付き建設機械の概念を示す機能ブロック図である。

図１を参照すると、本発明の実施形態に係る学習機能付き建設機械１０００は、作業部１０４を有し、作業部１０４を、作業を行うよう動かす動作部１０３と、操作者の操作に応じた指令２０１を出力する操作部１０１と、作業部１０４による作業の状況を検知し、検知した作業状況を作業状況データ２１２として出力する作業状況検知部１１２と、動作部１０３の動作状態を検知し、検知した動作状態を動作状態データ２１３として出力する動作状態検知部１１３と、作業部１０４の作業により動作部１０３が作業対象から受ける反作用を検知し、検知した反作用を反作用データ２１４として出力する反作用検知部１１４と、指令２０１を時系列で指令データ２１１として記憶するとともに、作業状況データ２１２、動作状態データ２１３、及び反作用データ２１４を含む予測基礎データＰｄを時系列で記憶する学習データ記憶部１１５と、学習データ記憶部１１５に記憶された予測基礎データＰｄを用いて学習データ記憶部１１５に記憶された指令データ２１１を機械学習し、機械学習を終えた後、動作部１０３の動作時に予測基礎データＰｄが入力され、指令２０１の予測指令１１０３を出力する学習部１１８と、指令２０１、予測指令１１０３、又は指令２０１及び予測指令１１０３に基づいて動作部１０３を駆動する油圧駆動システム１０５と、を備える。

参照符号１０２は、学習機能付き建設機械１０００の本体部を示す。動作部１０３及び油圧駆動システム１０５は、本体部１０２に設けられる。

指令データ生成部１１０１は、指令２０１に基づいて指令データ２１１を生成する。指令データ２１１の生成には、例えば、操作部１０１から出力される油圧の指令を指令データに変換する形態（実施形態１乃至３）、及び、操作部１０１から出力される指令に学習部１１８から出力される予測指令を加算する形態（実施形態４乃至７）がある。

学習データ記憶部１１５は、指令データ記憶部１１０２及び予測基礎データ記憶部１１７を備える。指令データ記憶部１１０２は、学習時又は動作時に指令データ２１１を記憶し、これを学習時に学習用の指令データ２１１’として学習部１１８出力する。予測基礎データ記憶部１１７は、学習時又は動作時に予測基礎データＰｄ（２１２～２１４）を記憶し、これを学習時に学習用の予測基礎データＰｄ’として学習部１１８に出力する。

このような学習機能付き建設機械１０００によれば、学習時（実施形態４乃至７では前回動作時）において、熟練した操作者が建設機械を操作して、所定の作業を行う。すると、操作に応じた指令に対応する指令データ２１１と、作業部１０４による作業状況のデータ２１２、動作部１０３の動作状態のデータ２１３及び作業部１０４の作業により動作部１０３が作業対象から受ける反作用のデータ２１４を含む予測基礎データＰｄとが、学習データ記憶部１１５に記憶される。そして、学習部１１８が、学習データ記憶部１１５に記憶された予測基礎データＰｄ’を入力することによって、予測指令１１０３を出力するよう学習データ２１１’，Ｐｄ’を機械学習する。これにより、熟練した操作者の操作が学習され、予測指令１１０３として出力することが可能になる。そして、機械学習を終えた後において、学習部１１８に予測基礎データＰｄが入力されると、学習部１１８が予測指令１１０３を出力する。すると、油圧駆動システム１０５が予測指令１１０３に基づいて動作部１０３を駆動する。その結果、熟練した操作者の操作が学習され、その学習の結果として学習部１１８から出力される予測指令１１０３に基づいて、当該作業が自動的に行われる。

従って、人が操作して建設機械が行う作業を学習し、学習した作業を自動的に行うことが可能な建設機械１０００を提供することできる。

以下、この学習機能付き建設機械１０００の概念を具体化した実施形態を順に説明する。以下の実施形態は、学習機能付き建設機械に関する実施形態１乃至３と、学習機能付き建設機械であって、建設業界における熟練操作者の技能を伝承することが可能であり、且つ、所定の作業の自動化を短期間で達成することが可能な技能伝承建設機械に関する実施形態４乃至７とに大別される。

（実施形態１）
｛概要｝
まず、実施形態１の学習機能付き建設機械の概要を説明する。

［構成］
図２は、本発明の実施形態１に係る学習機能付き建設機械の制御系統の構成を示す機能ブロック図である。図２において矢印は、指令、動力、情報、データの流れを示す。実線の矢印は、自動制御時における指令又はデータの流れを示し、破線は学習時における指令又はデータの流れを示す。なお、後述するように過去の予測基礎データが学習に用いられる場合には、自動制御時においても破線で示されるデータの流れが生じる。このことは、図６、１１、１３においても同様である。

図２を参照すると、実施形態１の学習機能付き建設機械１００は、操作部１０１と、本体部１０２と、動作部１０３と、油圧駆動システム１０５と、動作指令検知部１１０と、作業状況検知部１１２と、動作状態検知部１１３と、反作用検知部１１４と、学習データ記憶部１１５と、学習部１１８と、操作部駆動部１１９と、を備える。また、学習機能付き建設機械１００は、図示されない全体制御部及び動作モード切替操作部を有し、操作者による動作モード切替操作部の操作に応じて、全体制御部が学習機能付き建設機械１００の動作モードを学習モード又は自動制御モードに切り替える。以下では、学習機能付き建設機械１００が学習モードで動作する時を「学習時」といい、学習機能付き建設機械１００が自動制御モードで動作する時を「自動制御時」という。

実施形態１では、操作部１０１が、指令として、操作者の操作に応じた動作指令２０１を出力するよう構成され、学習データ記憶部１１５が、動作指令２０１を時系列で指令データ２１１として記憶するとともに、作業状況データ２１２、動作状態データ２１３、及び反作用データ２１４を含む予測基礎データＰｄを時系列で記憶するよう構成され、学習部１１８が、学習時において、学習データ記憶部１１５に記憶された予測基礎データＰｄ’を用いて学習データ記憶部１１５に記憶された指令データ２１１’を機械学習し、機械学習を終えた後の自動制御時において、予測基礎データＰｄが入力され、予測指令１１０３である予測動作指令Ｐｆを出力するよう構成され、且つ、油圧駆動システム１０５が、動作指令２０１又は予測動作指令Ｐｆに従って動作部１０３を駆動するよう構成されている。なお、動作指令２０１は、指令データ生成部１１０１としての動作指令検知部１１０によって、指令データ２１１に変換される。

以下、この学習機能付き建設機械１００の構成を詳しく説明する。

操作部１０１は、操作者の操作に応じた動作指令２０１を出力する。

本体部１０２には、動作部１０３が連結されている。

動作部１０３は、作業を行う作業部１０４を有し、作業部１０４を、作業を行うよう動かす。ここで、「作業部１０４を・・・動かす」とは、「作業部１０４を動作及び移動させる」ことを意味する。

「建設機械」は、操作者の操作に従って動作部が作業部を動かすことによって、建設作業を行うことができる作業機械であればよい。「建設機械」として、油圧ショベル、ブルドーザー、トラクタショベル、ホイールローダー、トレンチャー、掘削機、クレーン、リフト車等が例示される。

油圧駆動システム１０５は、本体部１０２と動作部１０３とに跨って設けられる。油圧駆動システム１０５は、操作部１０１から出力される動作指令２０１又は学習部１１８から出力される予測動作指令Ｐｆに従って駆動力２０２を出力し、それにより動作部１０３を駆動する。

動作指令検知部１１０は、操作部１０１から出力される動作指令２０１を検知し、これを指令データ２１１として出力する。具体的には、動作指令２０１が油圧指令（パイロット圧指令）である場合に、これを電気データである指令データ２１１に変換して出力する。従って、動作指令検知部１１０は、必須の要素ではない。動作指令２０１が電気指令である場合には、動作指令検知部１１０を省略し、動作指令２０１を、直接、後述する指令データ記憶部１１６及び学習部１１８に入力してもよい。後述する学習機能付き油圧ショベル１０では、アクセル装置５０が出力するアクセル指令（電気指令）である動作指令２０１が指令データ２１１として、直接、指令データ記憶部１１６及び学習部１１８に入力される。

作業状況検知部１１２は、作業部１０４による作業の状況を検知し、検知した作業状況を作業状況データ２１２として出力する。

動作状態検知部１１３は、動作部１０３の動作状態を検知し、検知した動作状態を動作状態データ２１３として出力する。

予測基礎データは、作業状況データ２１２、動作状態データ２１３、及び反作用データ２１４を含む。便宜上、学習時に用いられる予測基礎データに参照符号Ｐｄ’を付与し、自動制御時に用いられる予測基礎データに参照符号Ｐｄを付与する。また、予測基礎データは、指令データ２１１を含んでもよい。

反作用検知部１１４は、作業部１０４の作業により動作部１０３又は本体部１０２が作業対象から受ける反作用を検知し、検知した反作用を反作用データ２１４として出力する。

学習データ記憶部１１５は、指令データ記憶部１１６と予測基礎データ記憶部１１７とを備える。

指令データ記憶部１１６は、指令記憶部１１０２として、指令データ２１１を時系列で記憶する。予測基礎データ記憶部１１７は、指令データ２１１、作業状況データ２１２、動作状態データ２１３、及び反作用データ２１４を含む予測基礎データＰｄをそれぞれ時系列で記憶する。

学習部１１８は、機械学習する学習モデルであり、そのような学習モデルとして、ニューラルネットワーク、回帰モデル、木モデル、ベイズモデル、時系列モデル、クラスタリングモデル、アンサンブル学習モデル等が例示される。本実施形態では、学習モデルは、ニューラルネットワークである。学習の形態は、教師あり学習でも教師なし学習でも構わない。また、ディープラーニングであってもよい。

学習部１１８は、例えば教師あり学習の場合、学習時において、指令データ記憶部１１６に記憶された指令データを学習用指令データＰｆ’として読み出すとともに、予測基礎データ記憶部１１７に記憶された予測基礎データを学習用予測基礎データＰｄ’として読み出す。そして、学習用指令データＰｆ’を教師データとし、学習用予測基礎データＰｄ’を入力データとして、学習データを作成する。そして、入力データである予測基礎データＰｄ’を機械学習モデル（例えばニューラルネットワーク）に入力し、出力と教師データＰｆ’との差異を評価し、その評価を機械学習モデルにフィードバックする。これにより、機械学習モデルが学習データを機械学習する。機械学習が終了すると、学習部１１８は、機械学習モデルの出力を予測動作指令Ｐｆとして、外部に出力する。具体的には、自動制御時において、学習部１１８では、機械学習モデルが、予測基礎データＰｄが入力されると、予測動作指令Ｐｆを出力する。

操作部駆動部１１９は、自動制御時において、学習部１１８から出力される予測動作指令Ｐｆに従って操作部１０１を操作する。これにより、操作部１０１から動作指令２０１が出力され、この動作指令２０１に従って、油圧駆動システム１０５が動作部１０３を駆動する。つまり、操作部駆動部１１９及び操作部１０１は、予測動作指令Ｐｆを動作指令２０１に変換する予測動作指令変換部１２０として機能する。操作部駆動部１１９は、例えば、モータ、マニピュレータ（ロボット）等で構成される。

従って、操作部駆動部１１９は、必須の要素ではない。例えば、操作部駆動部１１９に代えて、電気指令信号である予測動作指令Ｐｆを油圧指令（パイロット圧指令）に変換する予測動作指令変換部を設け、自動制御時には、操作部１０１からの動作指令に代えて、この予測動作指令変換部の出力を油圧駆動システム１０５に入力するように構成してもよい。予測動作指令変換部は、例えば、電磁弁からなるパイロット弁（電磁比例弁）で構成することができる。なお、学習機能付き建設機械１００が、操作部１０１から電気指令の動作指令２０１が出力されるように構成されている場合には、予測動作指令変換部１２０は不要であり、学習部１１８から出力される予測動作指令Ｐｆが直接油圧駆動システム１０５に入力される。

油圧駆動システム１０５は、このように、操作部駆動部１１９及び操作部１０１により動作指令に変換された予測動作指令Ｐｆに従って動作部１０３を駆動する。

［動作］
学習時において、熟練した操作者が学習機能付き建設機械１００を操作して、所定の作業を行う。すると、操作に応じた動作指令２０１に対応する指令データ２１１と、作業部１０４による作業の状況を表す作業状況データ２１２、動作部の動作状態を表す動作状態データ２１３、及び作業部１０４の作業により動作部１０３又は本体部１０２が作業対象から受ける反作用を表す反作用データ２１４を含む予測基礎データとが、学習データ記憶部１１５に記憶される。上記所定作業は、例えば、比較的簡単な定型作業である。このような定型作業として、穴掘り作業、整地作業、転圧作業等が例示される。

そして、学習時において、学習部１１８が、指令データ記憶部１１６に記憶された指令データを学習用指令データＰｆ’として読み出すとともに、予測基礎データ記憶部１１７に記憶された予測基礎データを学習用予測基礎データＰｄ’として読み出す。そして、学習用指令データＰｆ’を教師データとし、学習用予測基礎データＰｄ’を入力データとして、学習データを作成する。そして、学習部１１８が、この学習データを機械学習する。機械学習が終了した学習部１１８は、自動制御時において、予測基礎データＰｄが入力されると、予測動作指令Ｐｆを出力する。すると、油圧駆動システム１０５が、操作部駆動部１１９及び操作部１０１により動作指令２０１に変換された予測動作指令Ｐｆに従って動作部１０３を駆動する。その結果、熟練した操作者の操作が学習され、その学習の結果として学習部１１８から出力される予測動作指令Ｐｆに従って、当該作業が自動的に行われる。

このように、実施形態１によれば、油圧駆動システム１０５が、動作指令２０１の予測指令である予測動作指令Ｐｆに従って動作部１０３を駆動するよう構成されているので、熟練した操作者の操作の学習結果に従って、当該作業が自動的に行われる。

｛具体的構成｝
次に、学習機能付き建設機械１００の具体的な構成を、建設機械の一例である油圧ショベル１０を例に取って説明する。

［ハードウエアの構成］
＜全体構成＞
まず、学習機能付き油圧ショベル１０の全体構成を説明する。

図３は、学習機能付き建設機械の一例である学習機能付き油圧ショベル１０のハードウエアの構成を示す側面図である。

学習機能付き油圧ショベル（以下、単に油圧ショベルという場合がある）１０は、本体部１０２を備える。本体部１０２には、走行体１９が設けられている。走行体１９は、例えば、無限軌道（キャタピラ）を備えた車両走行装置で構成される。

本体部１０２の上には、旋回体１５が、鉛直な第１回転軸線Ａ１の周りに旋回可能に設けられている。旋回体１５には、運転席（不図示）が設けられ、運転席に操作部１０１（図６参照）が設けられている。なお、図６の操作部１０１には示されていないが、運転席には、走行体１９を操作する走行操作装置が設けられている。旋回体１５には、さらに、旋回体１５を旋回させる旋回モータ１４が設けられている。旋回モータ１４は、油圧モータで構成されている。また、旋回体１５には、走行用のエンジン２６（図６参照）が設けられている。エンジン２６は、作業時には、油圧駆動システム１のポンプ部１０７（図６参照）を駆動する。

旋回体１５には、ブーム１６の基端部が、水平な第２回動軸線Ａ２の周りに回動自在に連結されている。ブーム１６の基端部及び旋回体１５には、それぞれ、ブームシリンダ１１の先端部及び基端部が回動自在に連結されており、ブームシリンダ１１が伸縮することによって、ブーム１６が第２回動軸線Ａ２を中心に揺動する。

ブーム１６の先端部には、アーム１７の基端部が、水平な第３回動軸線Ａ３の周りに回動自在に連結されている。アーム１７の基端部及びブーム１６の中央部にはそれぞれアームシリンダ１２の先端部及び基端部が回動自在に連結されており、アームシリンダ１２が伸縮することによって、アーム１７が第３回動軸線Ａ３を中心に揺動する。

アーム１７の先端部には、バケット１８の基端部が、水平な第４回動軸線Ａ４の周りに回動自在に連結されている。バケット１８の基端部及びアーム１７の中央部にはそれぞれバケットシリンダ１３の先端部及び基端部が回動自在に連結されており、バケットシリンダ１３が伸縮することによって、バケット１８が第４回動軸線Ａ４を中心に回動する。バケット１８はアタッチメントの一例であり、他のアタッチメントを取り付けてもよい。

ブーム１６、アーム１７、及びバケット１８がフロント作業機を構成する。また、バケット１８が作業部１０４を構成し、旋回体１５及びフロント作業機（ブーム１６、アーム１７、及びバケット１８）が動作部１０３を構成する。

油圧ショベル１０は、これらの他に、左右一対の油圧走行モータ（不図示）を備える。

操作者は、操作部１０１（不図示の走行操作装置を含む）を操作することによって、油圧ショベルを所望の場所に位置させ、旋回体１５を旋回させ、ブーム１６，１７の姿勢を変化させ、且つ、バケット１８を回動させることによって所望の作業を行う。

学習機能付き油圧ショベル１０は、さらに、第１撮像器３１１を備える。第１撮像器３１１はバケット１８による作業の状況を撮像する。第１撮像器３１１によって撮像された撮像画像は、後述する画像処理部３１２（図６参照）において、作業状況を表すデータが得られるように画像処理され、画像処理部３１２から作業状況データ２１２として出力される。第１撮像器３１１の光軸３２１は、作業対象に向けられる。

第１撮像器３１１は、例えば、３次元カメラ、深度センサ付きカメラ等によって構成される。第１撮像器３１１は、例えば、適宜な支持部材を介して本体部１０２に固定され、あるいは、適宜な支持部材を介して油圧ショベル１０の車両とは別個の固定物体（地面等）に固定され、あるいは、ドローンに搭載される。

＜油圧駆動システム１＞
次に、油圧ショベル１０を動作させる油圧駆動システム１を説明する。

図４は、学習機能付き油圧ショベル１０の油圧駆動システム１の主油圧回路を示す油圧回路図である。図５は、学習機能付き油圧ショベル１０の駆動システムの操作系油圧回路を示す油圧回路図である。主油圧回路及び操作系油圧回路は、旋回体１５に設けられている。

油圧駆動システム１は、上述のように、油圧アクチュエータとしてブームシリンダ１１、アームシリンダ１２、及びバケットシリンダ１３を含むとともに、旋回モータ１４及び左右一対の油圧走行モータ（不図示）を含む。

図４を参照すると、油圧駆動システム１は、上述のアクチュエータへ作動油を供給するための第１主ポンプ２１及び第２主ポンプ２３を含む。なお、図４では、図面の簡略化のために、旋回モータ１４以外のアクチュエータを省略している。

第１主ポンプ２１及び第２主ポンプ２３は、エンジン２６により駆動される。また、エンジン２６は、副ポンプ２５も駆動する。第１主ポンプ２１、第２主ポンプ２３及び副ポンプ２５がポンプ部１０７（図６参照）を構成する。エンジン２６は、アクセル装置５０（図６参照）により出力を調整される。アクセル装置５０は、例えば、アクセルペダルを備え、その踏み込み量に応じた電気指令であるアクセル指令をエンジン制御装置（不図示）に出力する。エンジン制御装置は、アクセル指令に従ってエンジン２６の出力（回転速度）を制御する。

第１主ポンプ２１及び第２主ポンプ２３は、例えば、傾転角に応じた流量の作動油を吐出する可変容量型のポンプである。ここでは、第１主ポンプ２１及び第２主ポンプ２３が、斜板の角度により傾転角が規定される斜板ポンプである。但し、第１主ポンプ２１及び第２主ポンプ２３は、駆動軸とシリンダブロックのなす角により傾転角が規定される斜軸ポンプであってもよい。

第１主ポンプ２１の吐出流量Ｑ１及び第２主ポンプ２３の吐出流量Ｑ２は、電気ポジティブコントロール方式により制御される。具体的には、第１主ポンプ２１の傾転角が第１流量調整装置２２により調整され、第２主ポンプ２３の傾転角が第２流量調整装置２４により調整される。副ポンプ２５は、サブブリードライン３７を通じて第１流量調整装置２２及び第２流量調整装置２４に接続されている。副ポンプ２５は、第１流量調整装置２２及び第２流量調整装置２４の駆動源として機能する。第１流量調整装置２２及び第２流量調整装置２４については、詳細に後述する。

第１主ポンプ２１からは、第１センターブリードライン３１がタンクまで延びている。第１センターブリードライン３１上には、アーム第１制御弁４１及び旋回制御弁４３を含む複数の制御弁（アーム第１制御弁４１及び旋回制御弁４３以外は図示せず）が配置されている。各制御弁は、ポンプライン３２により第１主ポンプ２１と接続されている。つまり、第１センターブリードライン３１上の制御弁は、第１主ポンプ２１に対してパラレルに接続されている。また、各制御弁は、タンクライン３３によりタンクと接続されている。

同様に、第２主ポンプ２３からは、第２センターブリードライン３４がタンクまで延びている。第２センターブリードライン３４上には、アーム第２制御弁４２及びバケット制御弁４４を含む複数の制御弁（アーム第２制御弁４２及びバケット制御弁４４以外は図示せず）が配置されている。各制御弁は、ポンプライン３５により第２主ポンプ２３と接続されている。つまり、第２センターブリードライン３４上の制御弁は、第２主ポンプ２３に対してパラレルに接続されている。また、各制御弁は、タンクライン３６によりタンクと接続されている。

アーム第１制御弁４１は、アーム第２制御弁４２と共にアームシリンダ１２に対する作動油の供給及び排出を制御する。つまり、アームシリンダ１２へは、アーム第１制御弁４１を介して第１主ポンプ２１から作動油が供給されるとともに、アーム第２制御弁４２を介して第２主ポンプ２３から作動油が供給される。アーム第１制御弁４1及びアーム第２制御弁４２がアーム制御弁４０（図５参照）を構成する。

旋回制御弁４３は、旋回モータ１４に対する作動油の供給及び排出を制御する。つまり、旋回モータ１４へは、旋回制御弁４３を介して第１主ポンプ２１から作動油が供給される。具体的には、旋回モータ１４は、一対の給排ライン６１，６２により旋回制御弁４３と接続されている。給排ライン６１，６２のそれぞれからは逃しライン６３が分岐しており、逃しライン６３はタンクにつながっている。各逃しライン６３には、リリーフ弁６４が設けられている。また、給排ライン６１，６２は、一対のメイクアップライン６５によりタンクとそれぞれ接続されている。各メイクアップライン６５には、タンクから給排ライン（６１または６２）に向かう流れは許容するがその逆の流れは禁止する逆止弁６６が設けられている。

バケット制御弁４４は、バケットシリンダ１３に対する作動油の供給及び排出を制御する。つまり、バケットシリンダ１３へは、バケット制御弁４４を介して第２主ポンプ２３から作動油が供給される。

図４に示されていないが、第２センターブリードライン３４上の制御弁はブーム第１制御弁４５（図５参照）を含み、第１センターブリードライン３１上の制御弁はブーム第２制御弁４６（図５参照）を含む。ブーム第２制御弁４６は、ブーム上げ操作に専用の弁である。つまり、ブームシリンダ１１へは、ブーム上げ操作時にはブーム第１制御弁４５及びブーム第２制御弁を介して作動油が供給され、ブーム下げ操作時にはブーム第１制御弁４５のみを介して作動油が供給される。

図５に示すように、ブーム制御弁４７（ブーム第１制御弁４５及びブーム第２制御弁）はブーム操作装置７１により操作される。アーム制御弁４０（アーム第１制御弁４１及びアーム第２制御弁４２）はアーム操作装置５１により操作される。旋回制御弁４３は旋回操作装置５４により操作される。バケット制御弁４４はバケット操作装置５７により操作される。ブーム操作装置７１、アーム操作装置５１、旋回操作装置５４、及びバケット操作装置５７のそれぞれは、操作レバーを含み、操作レバーの傾倒角に応じた操作信号（指令）を出力する。

本実施形態では、ブーム操作装置７１、アーム操作装置５１、旋回操作装置５４、及びバケット操作装置５７のそれぞれが、操作レバーの傾倒角に応じたパイロット圧指令を出力するパイロット操作弁である。このため、アーム操作装置５１は一対のパイロットライン５２，５３によりアーム第１制御弁４１の一対のパイロットポートと接続され、旋回操作装置５４は一対のパイロットライン５５，５６により旋回制御弁４３の一対のパイロットポートと接続され、バケット操作装置５７は一対のパイロットライン５８，５９によりバケット制御弁４４の一対のパイロットポートと接続され、ブーム操作装置７１は一対のパイロットライン７２，７３によりブーム第１制御弁４５の一対のパイロットポートと接続されている。また、アーム第２制御弁４２の一対のパイロットポートは、一対のパイロットライン５２ａ，５３ａによりパイロットライン５２，５３と接続されている。また、ブーム第２制御弁４６では、ブーム上げ操作用のパイロットポートのみが、パイロットライン７３aによりパイロットライン７３と接続されており、他方のパイロットポートは、パイロットライン７２と接続されていない。従って、ブーム第２制御弁４６は、ブーム操作装置７１がブーム下げ操作された場合には動作しない。

但し、各操作装置が操作レバーの傾倒角に応じた電気信号（指令）を出力する電気ジョイスティックであり、各制御弁のパイロットポートに一対の電磁比例弁が接続されてもよい。

パイロットライン５２，５３，５５，５６，５８，５９，７２，７３には、パイロット圧指令の圧力を検出する圧力センサ８１～８６，９１，９２がそれぞれ設けられている。なお、アーム操作装置５１から出力されるパイロット圧指令の圧力を検出する圧力センサ８１，８２は、パイロットライン５２ａ，５３ａに設けられてもよい。これらの圧力センサ８１～８６，９１，９２が動作指令検知部１１０（図６参照）を構成する。

上述した第１流量調整装置２２及び第２流量調整装置２４は、流量制御装置８により電気的に制御される。例えば、流量制御装置８は、ＲＯＭやＲＡＭなどのメモリとＣＰＵを有し、ＲＯＭに格納されたプログラムがＣＰＵにより実行される。流量制御装置８は、圧力センサ８１～８６，９１，９２で検出されるパイロット圧指令（操作信号）が大きくなるほど、第１主ポンプ２１及び／または第２主ポンプ２３の傾倒角が大きくなるように第１流量調整装置２２及び第２流量調整装置２４を制御する。例えば、旋回操作が単独で行われたときには、流量制御装置８は、旋回操作装置５４から出力されるパイロット圧指令が大きくなるほど第１主ポンプ２１の傾倒角が大きくなるように、第１流量調整装置２２を制御する。

［制御系統の構成］
次に、学習機能付き油圧ショベル１０の制御系統の構成を説明する。

＜全体構成＞
図６は、学習機能付き油圧ショベル１０の制御系統の構成を示す機能ブロック図である。図６には、本実施形態における学習機能と関連する油圧ショベル１０の制御系統が示されている。従って、本実施形態における学習機能と関連しない走行体１９の制御系統は省略されている。また、学習機能付き油圧ショベル１０は、図示されない全体制御部及び動作モード切替操作部を有し、操作者による動作モード切替操作部の操作に応じて、全体制御部が学習機能付き油圧ショベル１０の動作モードを学習モード又は自動制御モードに切り替える。

図６を参照すると、アクセル装置５０、アーム操作装置５１、旋回操作装置５４、バケット操作装置５７、及びブーム操作装置７１が操作部１０１を構成する。操作部１０１は、旋回体１５の運転席に設けられる。

操作者がアクセル装置５０のアクセルペダルを踏み込むと、アクセル装置５０がアクセルペダルの踏み込み量に応じたアクセル指令である動作指令２０１を出力する。すると、エンジン２６が動作指令２０１に応じた出力でポンプ部１０７を駆動する。すると、ポンプ部１０７が、油圧回路１０６に、ポンプ部１０７の出力に応じた吐出量で作動油を吐出する。

操作者が旋回操作装置５４の操作レバーを操作すると、旋回操作装置５４が操作レバーの傾倒角に応じたパイロット圧指令（旋回指令）である動作指令２０１を出力する。すると、旋回制御弁４３が動作指令２０１に応じて作動油を旋回モータ１４に対し給排する。すると、旋回モータ１４が作動油の給排に応じて旋回体１５を旋回する。

操作者がブーム操作装置７１の操作レバーを操作すると、ブーム操作装置７１が操作レバーの傾倒角に応じたパイロット圧指令（ブーム動作指令）である動作指令２０１を出力する。すると、ブーム制御弁４７が動作指令２０１に応じて作動油をブームシリンダ１１に対し給排する。すると、ブームシリンダ１１が作動油の給排に応じてブーム１６、ひいてはブーム１６及びアーム１７を上げ下げする。

操作者がアーム操作装置５１の操作レバーを操作すると、アーム操作装置５１が操作レバーの傾倒角に応じたパイロット圧指令（アーム動作指令）である動作指令２０１を出力する。すると、アーム制御弁４４が動作指令２０１に応じて作動油をアームシリンダ１２に対し給排する。すると、アームシリンダ１２が作動油の給排に応じてアーム１７を揺動させる。

操作者がバケット操作装置５７の操作レバーを操作すると、バケット操作装置５７が操作レバーの傾倒角に応じたパイロット圧指令（バケット動作指令）である動作指令２０１を出力する。すると、バケット制御弁４４が動作指令２０１に応じて作動油をバケット１８に対し給排する。すると、バケットシリンダ１３が作動油の給排に応じてバケット１８を回動させる。

これらの操作により、操作者が意図する作業が行われる。

一方、圧力センサ８１～８６，９１，９２が、アーム操作装置５１、旋回操作装置５４、バケット操作装置５７、及びブーム操作装置７１からそれぞれ出力されるパイロット圧指令である動作指令２０１をそれぞれ検知し、これらを、それぞれ、指令データ２１１として出力する。圧力センサ８１～８６，９１，９２が、動作指令検知部１１０を構成する。

学習データ記憶部１１５の指令データ記憶部１１６が、これらの指令データ２１１を、それぞれ、時系列で記憶する。また、指令データ記憶部１１６は、アクセル装置５０から出力されるアクセル指令である動作指令２０１を時系列で指令データ２１１として記憶する。指令データ２１１は、アクセル指令、アーム動作指令、旋回指令、バケット動作指令、及びブーム動作指令を含む。

上述のように、第１撮像器３１１がバケット１８による作業の状況を撮像する。すると、画像処理部３１２が、第１撮像器３１１によって撮像された撮像画像を画像処理することによって、所定の作業状況を表すデータを生成し、これを作業状況データ２１２として出力する。従って、第１撮像器３１１及び画像処理部３１２が作業状況検知部１１２を構成する。

油圧ショベル１０には、マイク３１３が設けられている。マイク３１３は、例えば、旋回体１５に設けられたエンジン２６の近傍に設置され、エンジン２６の動作音を受音してこれを動作音データに変換し、この動作音データを動作状態データ２１３として出力する。エンジン２６の動作音は、エンジン２６の出力が大きくなるほど大きくなり、エンジン２６の出力が小さくなるほど小さくなる。それ故、動作音データは、ポンプ部１０７の駆動源の状態を表す駆動源状態であり、ひいては油圧ショベル１０の動作状態を表す動作状態データである。従って、マイク３１３が、駆動源状態検知部、ひいては動作状態検知部１１３を構成する。

油圧ショベル１０の旋回体１５又は本体部１０２には、ジャイロセンサ３１４が設けられている。ジャイロセンサ３１４は、旋回体１５又は本体部１０２の傾き及び振動（加振力、加速度、角加速度等を含む）を検知してこれを傾き及び振動データに変換し、この傾き及び振動データを反作用データ２１４として出力する。例えば、ブームがバケット１８を地面に突き立てると、地面からの反力で旋回体１５及び本体部１０２が傾くとともに旋回体１５及び本体部１０２がブーム（動作部１０３）を介して加振力を受けて振動する。それ故、ジャイロセンサ３１４が出力する傾き及び振動データは、動作部１０３及び本体部１０２が受ける反作用を表す。従って、ジャイロセンサ３１４が反作用検知部１１４を構成する。

学習データ記憶部１１５の予測基礎データ記憶部１１７が、画像処理部３１２が出力する作業状況データ２１２、マイク３１３が出力する動作状態データ２１３、ジャイロセンサ３１４が出力する反作用データ２１４、動作指令検知部１１０が出力する指令データ２１１、及びアクセル装置５０が出力する動作指令である指令データ２１１を、それぞれ、時系列で予測基礎データとして記憶する。

学習部１１８は、上述のように、学習時において、学習データを機械学習し、機械学習を終えた後、自動制御時において、予測基礎データＰｄが入力されると、予測動作指令Ｐｆを出力する。

学習データ記憶部１１５、学習部１１８、画像処理部３１２、及び上述の図示されない全体制御部は、例えば、プロセッサとメモリとを有する演算器で構成される。学習部１１８、全体制御部、及び画像処理部３１２は、この演算器のメモリに格納された所定のプログラムをプロセッサが実行することによって実現される機能ブロックである。学習データ記憶部１１５は、このメモリによって構成される。この演算器は、具体的には、例えば、マイクロコントローラ、ＭＰＵ、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）等で構成される。学習データ記憶部１１５、学習部１１８、画像処理部３１２、及び上述の図示されない全体制御部は、集中制御を行う単独の演算器で構成されてもよく、分散制御を行う複数の演算器で構成されてもよい。これらの単独の演算器又は複数の演算器は、例えば、油圧ショベル１０の旋回体１５に設けられる。

操作部駆動部１１９は、ここでは、第１乃至５サーボモータＭ１～Ｍ５によって構成される。第１乃至５サーボモータＭ１～Ｍ５は、学習部１１８が出力する予測動作指令Ｐｆに従って、それぞれ、ブーム操作装置７１の操作レバー、バケット操作装置５７の操作レバー、旋回操作装置５４の操作レバー、アーム操作装置５１の操作レバー、及びアクセル装置５０のアクセルペダルを回動させる。これにより、自動制御時において、油圧駆動システム１のブーム制御弁４７、バケット制御弁４４、旋回制御弁４３、及びアーム制御弁４０が、予測動作指令Ｐｆに従って、動作部１０３のブーム１６、バケット１８、旋回体１５、及びアーム１７を駆動するとともに、エンジン２６が、予測動作指令Ｐｆに従って、油圧駆動システム１のポンプ部１０７を駆動する。

次に、学習部１１８の構成を詳しく説明する。図７は、学習機能付き油圧ショベル１０における予測動作指令Ｐｆ、学習用指令データＰｆ’、予測基礎データＰｄ、及び学習用予測基礎データＰｄ’のそれぞれの時系列データを示す模式図である。図８は、学習部１１８の構成を示す機能ブロック図である。

＜各時系列データの時間的関係＞
最初に各時系列データの時間的関係を説明する。

図７を参照すると、油圧ショベル１０は、自動制御によって所定作業を遂行する。この所定作業を油圧ショベル１０に学習させるために、油圧ショベル１０が、熟練した操作者によって、学習用動作としてこの所定作業をさせられる。時刻ｔ０’は、この学習用動作の開始時刻を示す。この学習用動作は時刻ｔｕ’に終了する。この学習用動作においては、指令データ２１１及び予測基礎データ２１２～２１４が、それぞれ、所定のサンプリング間隔で取得され、それぞれ、指令データ記憶部１１６及び予測基礎データ記憶部１１７に時系列で記憶される。

学習用動作が終了すると、指令データ記憶部１１６及び予測基礎データ記憶部１１７から、指令データ及び予測基礎データが、それぞれ、学習用指令データＰｆ’及び学習用予測基礎データＰｄ’として読み出される。学習用指令データＰｆ’は、時系列データＰｆ０’、Ｐｆ１’、Ｐｆ３’・・・Ｐｆｕ’（以下、Ｐｆ０’～Ｐｆｕ’と略記する）である。以下、各時系列データにおける添え字の数字は、サンプリング時刻（間欠的な時刻）の順序を表す。従って、この添え字の数字が同じである時系列データは、同じサンプリング時刻に取得されたデータであることを意味する。学習用予測基礎データＰｄ’も同様にして時系列データＰｄ０’～Ｐｄｕ’である。

これらの学習用指令データＰｆ’及び学習用予測基礎データＰｄ’を用いて機械学習が行われる。機械学習が終了すると、油圧ショベル１０が自動制御されて所定作業が行われる。現在時刻ｔ０は、自動制御時におけるこの所定作業の開始時刻を示す。自動制御時には、指令データ２１１及び予測基礎データ２１２～２１４が、それぞれ、所定のサンプリング間隔で取得され、予測基礎データＰｄとして、逐次、学習部１１８に入力される。予測基礎データＰｄは、時系列データＰｄ０～Ｐｄｕである。

学習部１１８は、この予測基礎データＰｄに応じて、予測動作指令Ｐｆを出力する。予測動作指令Ｐｆは、時系列データＰｆ０～Ｐｆｕである。

この予測動作指令Ｐｆに従って油圧ショベル１０が動作し、それにより、油圧ショベル１０が自動制御される。

＜学習部１１８の構成＞
図８を参照すると、学習部１１８は、例えば、ニューラルネットワーク１４００と、学習データ及び教師データ生成部１４０１と、データ入力部１４０２と、学習評価部１４０３と、を備える。

ニューラルネットワーク４００は、入力層と、中間層と、出力層とを備える。各層のニューロンの数は、適宜設定される。ニューラルネットワーク４００の学習には、周知の学習方法を適用することができる。従って、ここでは簡単に説明する。ここでは、ニューラルネットワーク４００は、例えば、リカレント型ニューラルネットワークである。学習の形態は、例えば、教師あり学習である。

学習データ及び教師データ生成部１４０１は、学習用指令データＰｆ’の時系列データＰｆ０’～Ｐｆｕ’から教師データｐｎの時系列データｐｎ１～ｐｎｕを生成する。また、学習用予測基礎データＰｄ’の時系列データＰｄ０’～Ｐｄｕ’から学習データの時系列データＰｄ０’～Ｐｄｕ－１’を生成する。

データ入力部１４０２は、入力層の各ニューロンに学習データの時系列データＰｄ０’～Ｐｄｕ－１’を順次入力する。この際、データ入力部１４０２が、あるサンプリング時刻ｔｉにおける学習データの時系列データＰｄiを入力すると、ニューラルネットワーク１４００が、前向き演算によって、次のサンプリング時刻ｔｉ＋１における予測動作指令Ｐｎｉ＋１を計算する。すると、学習評価部１４０３が、教師データｐｎの時系列データｐｎ１～ｐｎｕから次のサンプリング時刻ｔｉ＋１における時系列データｐｎi＋１を取り込んで、予測動作指令Ｐｎｉ＋１と教師データｐｎの時系列データｐｎi＋１とについて、例えば、アクセル指令、アーム動作指令、旋回指令、バケット動作指令、及びブーム動作指令のそれぞれの二乗誤差の総和値ｅ^２を計算する。次いで、学習評価部１４０３は、後ろ向き演算によって、ニューラルネットワーク１４００の重みを更新する。データ入力部１４０２及び学習評価部４０３は、この処理を、学習データの時系列データＰｄ０’～Ｐｄｕ－１’の全てについて行い、例えば、全ての処理において、二乗誤差の総和値ｅ^２が所定の閾値以下になると学習を終了する。

この学習が終了した後、自動制御時において、データ入力部１４０２が、例えば、現在のサンプリング時刻ｔ０における予測基礎データＰｄ０を入力する。するとニューラルネットワーク１４００が、次のサンプリング時刻ｔ１における予測動作指令Ｐｎ１を、予測動作指令Ｐｆ１として出力する。なお、予測動作指令Ｐｆ０として、適宜な初期動作指令が出力される。

これにより、油圧ショベル１０が、ニューラルネットワーク１４００（学習部１１８）の学習結果に基づく予測動作指令Ｐｆによって自動制御される。

なお、学習時において、データ入力部１４０２は、各サンプリング時刻ｔｉにおける学習データの時系列データＰｄiを入力する際に、それ以前の時系列データＰｄi－１～Ｐｄi－ｎ（ｎは所定の正数）を入力してもよい。但し、この場合には、自動制御時において、データ入力部１４０２が、これと同様に、各サンプリング時刻ｔｊにおいて、現在の予測基礎データＰｄｊとともに過去の予測基礎データＰｄｊ－１～Ｐｄｊ－ｎを入力する必要がある。自動制御時には、各サンプリング時刻ｔｊにおいて、予測基礎データ記憶部１１７に時系列で予測基礎データＰｄ０～Ｐｄｊ－１が記憶されているので、データ入力部１４０２は、これを予測基礎データ記憶部１１７から読み出して、過去の予測基礎データＰｄｊ－１～Ｐｄｊ－ｎを生成する。このようにすると、ニューラルネットワーク１４００の学習効率が向上する。その理由は、操作者は、バケット１８の動きを予測する際に現時点の瞬時における、作業状況、油圧ショベル１０の動作状態、及び作業対象からの反作用だけではなく、それ以前からの一連の作業状況、油圧ショベル１０の動作状態、及び作業対象からの反作用を考慮して、次のバケット１８の動きを予測し、それによって、バケット１８の動きを正確に予測するからである。

なお、作業状況、油圧ショベル１０の動作状態、及び作業対象からの反作用以外の情報を学習データ及び油圧ショベル１０の自動制御時の入力データとして用いてもよい。

［動作］
次に、以上のように構成された学習機能付き油圧ショベル１０の動作を説明する。以下では、油圧ショベル１０が、所定作業として穴掘り作業を行う場合を例に挙げて、油圧ショベル１０の動作を説明する。

図９は、学習機能付き油圧ショベル１０による建設作業の状況を示す模式図である。

図９を参照すると、まず、穴１３１を掘る予定地の上方に第１撮像器３１１が設置される。第１撮像器３１１は、例えば、地上に設置された適宜な支持部材に取り付けられる。第１撮像器３１１は、例えば、無線によって、油圧ショベル１０の旋回体１５に設けられた上記演算器（学習部１１８）にデータ通信可能に接続される。第１撮像器３１１は、例えば、穴１３１の中央部の上方に位置し、且つ光軸３２１が穴１３１の中央部を向くように設置される。

次に、油圧ショベル１０が学習モードに切り替えられる。そして、まず、油圧ショベル１０が、初期状態に設定される。この初期状態として、例えば、油圧ショベル１０が穴１３１を掘るのに適した設置場所に位置し、且つ、初期姿勢（例えば、図９に示す姿勢）を取る。設置位置は、例えば、油圧ショベル１０が移動しないで、バケット１８で土砂を掬って穴１３１を掘り、且つ、バケット１８内の掬った土砂を土砂置場に廃棄することが可能な場所に設定される。ここでは、設定位置が、穴１３１の予定地と土砂置き場との中間位置に設定されていると仮定する。また、第１撮像器３１１が３次元カメラで構成されていると仮定する。

＜穴掘り作業＞
次いで、熟練の操作者が油圧ショベル１０を操作して穴掘り作業を行う。操作者は、例えば、この穴掘り作業を、概略、以下のようにして行う。

まず、バケット１８を穴１３１の上方の降下位置から降下させて穴１３１の予定地の地面（穴１３１内の地面を含む）に突き立てる（突き立て動作）。この突き立て動作では、操作者は、バケット１８を降下させる前に先端の爪が下方を向くようにバケット１８を操作する。次いで、突き立てたバケット１８を地面に押し付けながらバケット１８を手前に回動させて土砂を掬い取る（掬い取り動作）。次いで、バケット１８を上記降下位置まで移動させて穴１３１から引き上げる（引き上げ動作）。次いで、ブーム１６，１７が土砂置き場を向くまで旋回体１５を旋回させる（順方向旋回動作）。次いで、バケット１８を向こう側に回動させてバケット１８内の土砂を土砂置き場に排出する（土砂排出動作）。次いで、バケット１８が上記降下位置に位置するように旋回体１５を逆方向に旋回させる（逆方向旋回動作）。以降、この一連の動作を繰り返し、所定の穴１３１が、所定の平面形状を有し、且つ所定の深さを有するように出来上がると、穴掘り作業を終了する。

＜次の操作の判断情報＞
この一連の動作において、操作者は、目視で穴掘りの状況を確認し、バケット１８及びブーム１６，１７の姿勢を目視で認識するとともに各操作装置５１,５４，５７，７１の操作レバーの現在の操作位置によって、バケット１８、ブーム及び運転席（旋回体１５）が現在どのように動作しようとしているかを直観する。また、バケット１８が地面に作用する（地面を掘る、土を掻き込む等する）と、その反作用を体感することによって、意図した作業（アクション）の当否を判断する。そして、これらを瞬時に勘案して次の操作を決定する。ここで、反作用とは、例えば、運転席の傾き及び振動（加振力、加速度、角加速度等を含む）である。また、操作者は、次の操作を決定する際に駆動源であるエンジン２６の状態（回転量、音等）を重視する。

ここで、穴掘りの状況は作業状況を表す情報の一例である。操作位置は油圧ショベル１０の動作状態を表す情報の一例である。運転席（旋回体１５）の傾き及び振動は、地面からの反作用の例である。エンジン２６の状態（回転量、音等）は、駆動源の状態を表す情報であり、ひいては油圧ショベル１０の動作状態を表す情報である。

＜学習用のデータ取得＞
一方、これらの一連の動作において、以下のように学習用のデータが取得される。

第１撮像器３１１は、バケット１８による穴掘り作業の状況を撮像し、画像処理部３１２が、この撮像画像を画像処理して、穴掘り作業の状況を表すデータを作業状況データ２１２として生成し、これを学習データ記憶部１１５（正確には予測基礎データ記憶部１１７）が記憶する。

具体的には、第１撮像器３１１は、突き立て動作から引き上げ動作までの動作において、主に、アーム１７及びバケット１８並びに穴１３１を撮像し、順方向旋回動作から逆方向旋回動作までの動作において、主に穴１３１を撮像する。画像処理部３１２は、例えば、この撮像画像にエッジ処理等の周知の画像処理を施して、アーム１７及びバケット１８の領域と穴１３１の領域とを判別し、穴１３１の平面形状及び中央部の深さのデータを生成する。特に、土砂排出動作時における撮像画像にはアーム１７及びバケット１８の領域が存在せず、穴１３１の領域のみが存在するので、土砂排出動作時における作業状況データ２１２においては、穴１３１の平面形状及び中央部の深さのデータが正確に特定される。

操作者がアクセル装置５０、アーム操作装置５１、旋回操作装置５４、バケット操作装置５７、及びブーム操作装置７１を操作すると、学習データ記憶部１１５（指令データ記憶部１１６及び予測基礎データ記憶部１１７）が、各操作に対応する動作指令２０１の指令データ２１１を記憶する。上記一連の動作において、アクセル装置５０、アーム操作装置５１、旋回操作装置５４、バケット操作装置５７、及びブーム操作装置７１の操作にそれぞれ対応する指令データ２１１の組み合わせによって、バケット１８、ブーム及び運転席（旋回体１５）が各時点に０いてどのように動作しようとしているかが特定される。

マイク３１３は、上記一連の動作において、エンジン２６の音を受音する。この受音データ（動作状態データ２１３）を、学習データ記憶部１１５（正確には予測基礎データ記憶部１１７）が記憶する。

特に、掬い取り動作では、例えば、操作者はエンジンの出力を増大させてバケット１８を回動させる。これにより、穴１３１の地面の土砂を好適に掬い取ることができる。従って、掬い取り動作において、受音データの大きさによって、増大されたエンジンの出力の大きさが特定される。

ジャイロセンサ３１４は、上記一連の動作において、旋回体１５（運転席）又は本体部１０２の傾き及び振動（加振力、加速度、角加速度等を含む）を、穴１３１の地面からの反作用として検知する。この反作用データ２１４を学習データ記憶部１１５（正確には予測基礎データ記憶部１１７）が記憶する。

特に、突き立て動作において、バケット１８を地面に突き立てた際の地面からの反作用は、地面の硬さを表している。従って、突き立て動作において、反作用データの大きさによって、バケット１８が突き立てられた地面の硬さが特定される。

このように、本実施形態では、次の操作の判断に適した情報を特定することが可能なデータが、学習データとして取得される。

＜機械学習＞
学習用動作が終了した後、学習データ記憶部に記憶された学習データを用いて、ニューラルネットワークが機械学習させられる。この際、上述のように、各サンプリング時刻ｔｉにおける学習データの時系列データＰｄiを入力する際に、それ以前の時系列データＰｄi－１～Ｐｄi－ｎ（ｎは所定の正数）が入力される。

＜自動制御＞
機械学習を終えた油圧ショベル１０が、上述の初期状態に設定される。次いで、油圧ショベル１０が、自動制御モードに切り替えられる。そして、油圧ショベル１０の自動制御が開始される。この自動制御時には、予測基礎データＰｄ（作業状況データ２１２、指令データ２１１、動作状態データ（受音データ）２１３、及び反作用データ２１４が学習部１１８（正確にはニューラルネットワークのデータ入力部４０２）に入力されるとともに予測基礎データ記憶部１１７に記憶される。そして、データ入力部４０２が、各サンプリング時刻ｔｊにおいて、現在の予測基礎データＰｄｊとともに、予測基礎データ記憶部１１７に記憶された時系列データＰｄ０～Ｐｄｊ－１のうちの過去の予測基礎データＰｄｊ－１～Ｐｄｊ－ｎを入力する。これにより、学習部１１８が予測動作指令Ｐｆを出力する。

このようにして、油圧ショベル１０が自動制御され、熟練の操作者に操作された場合と同様に穴掘り作業が行われる。

以上に説明したように、実施形態１によれば、学習時において、熟練した操作者が建設機械１００を操作して、所定の作業を行うと、操作に応じた動作指令２０１に対応する指令データ２１１と、作業部１０４による作業状況のデータ２１２、動作部１０３の動作状態のデータ２１３及び作業部１０４の作業により動作部１０３又は本体部１０２が作業対象から受ける反作用のデータ２１４を含む予測基礎データとが、学習データ記憶部１１５に記憶される。そして、学習部１１８が、学習データ記憶部１１５に記憶された予測基礎データを入力することによって、予測動作指令を出力するよう学習データを機械学習する。これにより、熟練した操作者の操作が学習され、予測動作指令Ｐｆとして出力することが可能になる。そして、自動制御時において、学習部１１８に予測基礎データＰｄが入力されると、学習部１１８が予測動作指令Ｐｆを出力する。すると、油圧駆動システム１が予測動作指令Ｐｆに従って動作部１０３を駆動する。その結果、熟練した操作者の操作が学習され、その学習の結果として学習部１１８から出力される予測動作指令Ｐｆに従って、当該作業が自動的に行われる。従って、人が操作して建設機械１００が行う作業を学習し、学習した作業を自動的に行うことが可能な建設機械１００を提供することできる。

（実施形態２）
本発明の実施形態２は、実施形態１の油圧ショベル１０において、動作状態検知部１１３が、さらに、第２撮像器３３１及び画像処理部３３３を備える形態を例示する。

図１０は、実施形態２に係る学習機能付き油圧ショベル１０のハードウエアの構成を示す側面図である。図１１は、図１０の学習機能付き油圧ショベル１０の制御系統の構成を示す機能ブロック図である。

図１０及び図１１を参照すると、本実施形態の油圧ショベル１０は、動作状態検知部１１３が、さらに、第２撮像器３３１及び画像処理部３３３を備える。これ以外の構成は、実施形態１の油圧ショベル１０と同じである。

第２撮像器３３１は、油圧ショベル１０の全体を撮像する。第２撮像器３３１によって撮像された撮像画像は、画像処理部３３３において、油圧ショベル１０の姿勢表すデータが得られるように画像処理され、画像処理部３３３から動作状態データ２１３として出力される。第２撮像器３３１の光軸３３２は、油圧ショベル１０に向けられる。

第２撮像器３３１は、例えば、通常のデジタルカメラによって構成される。第２撮像器３３１は、例えば、適宜な支持部材を介して油圧ショベル１０の車両とは別個の固定物体（地面等）に固定され、あるいは、ドローンに搭載される。

画像処理部３３３は、例えば、第２撮像器３３１が撮像した撮像画像を画像処理して、油圧ショベル１０の外形を抽出し、この外形データを動作状態データ２１３として出力する。この外形データは、油圧ショベル１０の動作部１０３の姿勢を特定できる姿勢データである。

実施形態２によれば、実施形態１で述べた一連の動作において、動作状態データ２１３の中の油圧ショベル１０の外形によって油圧ショベル１０の姿勢が特定されるので、学習部１１８の機械学習の効率が向上し、且つ、自動制御時において学習部１１８が出力する予測動作指令Ｐｆがより適切なものになる。

（実施形態３）
本発明の実施形態３は、実施形態１の油圧ショベル１０において、動作状態検知部１１３が、さらに、センサ部３４１を備える形態を例示する。

図１２は、実施形態３に係る学習機能付き油圧ショベル１０のハードウエアの構成を示す側面図である。図１３は、図１２の学習機能付き油圧ショベル１０の制御系統の構成を示す機能ブロック図である。

図１３を参照すると、本実施形態の油圧ショベル１０は、動作状態検知部１１３が、さらに、センサ部３４１を備える。これ以外の構成は、実施形態１の油圧ショベル１０と同じである。センサ部３４１は、センサＳ１～Ｓ４で構成される。

図１２を参照すると、油圧ショベル１０にセンサＳ１～Ｓ４が設けられている。具体的には、旋回体１５に、当該旋回体１５の回転軸線Ａ１周りの回転角を検知するセンサＳ１が設けられている。ブーム１６の基端部に、当該ブーム１６の回転軸線Ａ２周りの回転角を検知するセンサＳ２が設けられている。アーム１７の基端部に、当該アーム１７の回転軸線Ａ３周りの回転角を検知するセンサＳ３が設けられている。アーム１７の先端部に、バケット１８の回転軸線Ａ４周りの回転角を検知するセンサＳ４が設けられている。

センサ部３４１は、センサＳ１～Ｓ４がそれぞれ検知した回転角のデータを、動作状態データ２１３として出力する。センサＳ１～Ｓ４がそれぞれ検知した回転角のデータの組み合わせは、油圧ショベル１０の動作部１０３の姿勢を特定できる姿勢データである。

実施形態３によれば、実施形態１で述べた一連の動作において、動作状態データ２１３の中のセンサＳ１～Ｓ４によりそれぞれ検知された回転角の組み合わせによって油圧ショベル１０の姿勢が特定されるので、学習部１１８の機械学習の効率が向上し、且つ、自動制御時において学習部１１８が出力する予測動作指令Ｐｆがより適切なものになる。

（実施形態４）
｛概要｝
まず、実施形態４の技能伝承建設機械の概要を説明する。

［構成］
図１４は、本発明の実施形態４に係る技能伝承建設機械の制御系統の構成を示す機能ブロック図である。図１４において矢印は、指令、動力、情報、データの流れを示す。実線の矢印は、動作部１０３の動作時における指令又はデータの流れを示し、破線は学習時における指令又はデータの流れを示す。なお、後述するように過去の予測基礎データが学習に用いられる場合には、動作部の動作時においても破線で示されるデータの流れが生じる。このことは、図１８、２６、２８においても同様である。

図１４を参照すると、実施形態４の技能伝承建設機械２００は、操作部１０１と、本体部１０２と、動作部１０３と、油圧駆動システム１０５と、作業状況検知部１１２と、動作状態検知部１１３と、反作用検知部１１４と、制御部４０１と、備える。

制御部４０１は、基本動作指令部２１１９と、動作指令生成部２１２０と、動作修正指令生成部２１１０と、学習データ記憶部１１５と、学習部１１８と、を備える。学習データ記憶部１１５は、動作修正指令記憶部２１１６と、予測基礎データ記憶部１１７と、を備える。

実施形態４では、学習機能付き建設機械が制御部４０１を備える技能伝承建設機械２００であり、操作部１０１が、指令２０１として、操作者の操作に応じた手動動作修正指令４０３を出力するよう構成され、油圧駆動システム１０５が、基本動作指令４０２と自動動作修正指令４０４と手動動作修正指令４０３とに従って動作部１０３を駆動するよう構成され、且つ、制御部４０１が、動作部１０３によって作業部に基本的な動きをさせる基本動作指令４０２を出力する基本動作指令部２１１９と、指令データ生成部１１０１として自動動作修正指令４０４に手動動作修正指令４０３を加えて動作修正指令Ｐｍを生成する動作修正指令生成部２１１０と、指令データ記憶部１１０２であって、動作修正指令Ｐｍを指令データとして時系列で記憶する動作修正指令記憶部２１１６と、予測基礎データ記憶部１１７と、学習部１１８と、を備える。そして、学習部１１８が、予測基礎データ記憶部１１７に記憶された予測基礎データＰｄ’を用いて動作修正指令記憶部２１１６に記憶された動作修正指令Ｐｍ’を機械学習し、機械学習を終えた後、動作部１０３の動作時に予測基礎データＰｄが入力され、予測指令１１０３である自動動作修正指令４０４を出力するよう構成されている。

以下、この技能伝承建設機械２００の構成を詳しく説明する。

「建設機械」は、操作者の操作に従って動作部が作業部を動かすことによって、建設作業を行うことができる作業機械であればよい。「建設機械」として、油圧ショベル、ブルドーザー、トラクタショベル、ホイールローダー、トレンチャー、掘削機、クレーン、リフト車等が例示される。

操作部１０１は、操作者の操作に応じた手動動作修正指令４０３を出力する。

本体部１０２には、動作部１０３が連結されている。

動作部１０３は、作業を行う作業部１０４を有し、作業部１０４を、作業を行うよう動かす。ここで、「作業部１０４を・・・動かす」とは、「作業部１０４を動作及び移動させる」ことを意味する。

油圧駆動システム１０５は、本体部１０２と動作部１０３とに跨って設けられる。油圧駆動システム１０５は、動作指令生成部２１２０から出力される動作指令２０１に従って駆動力２０２を出力し、それにより動作部１０３を駆動する。

作業状況検知部１１２は、作業部１０４による作業の状況を検知し、検知した作業状況を作業状況データ２１２として出力する。

動作状態検知部１１３は、動作部１０３の動作状態を検知し、検知した動作状態を動作状態データ２１３として出力する。

ここで、学習部１１８の後述する機械学習において、学習対象である動作修正指令を予測するために用いられるデータを予測基礎データと呼ぶ。予測基礎データは、作業状況データ２１２、動作状態データ２１３、及び反作用データ２１４を含む。便宜上、学習に用いられる予測基礎データに参照符号Ｐｄ’を付与し、動作部１０３の動作時に用いられる予測基礎データに参照符号Ｐｄを付与する。なお、予測基礎データＰｄ，Ｐｄ’が、作業状況データ２１２、動作状態データ２１３、及び反作用データ２１４以外のデータを含んでもよい。

反作用検知部１１４は、作業部１０４の作業により動作部１０３又は本体部１０２が作業対象から受ける反作用を検知し、検知した反作用を反作用データ２１４として出力する。

基本動作指令部２１１９は、動作部１０３によって作業部１０４に基本的な動きをさせる基本動作指令４０２を出力する。

動作修正指令生成部２１１０は、自動動作修正指令４０４に手動動作修正指令４０３を加えて動作修正指令Ｐｍを生成する。

動作修正指令記憶部２１１６は、動作修正指令Ｐｍを時系列で記憶する。予測基礎データ記憶部１１７は、作業状況データ２１２、動作状態データ２１３、及び反作用データ２１４を含む予測基礎データを時系列で記憶する。

学習部１１８は、機械学習する学習モデルであり、そのような学習モデルとして、ニューラルネットワーク、回帰モデル、木モデル、ベイズモデル、時系列モデル、クラスタリングモデル、アンサンブル学習モデル等が例示される。本実施形態では、学習モデルは、ニューラルネットワークである。学習の形態は、教師あり学習でも教師なし学習でも構わない。

学習部１１８は、例えば教師あり学習の場合、学習時において、動作修正指令記憶部２１１６に記憶された動作修正指令Ｐｍを学習用の動作修正指令Ｐｍ’として読み出すとともに、予測基礎データ記憶部１１７に記憶された予測基礎データＰｄを学習用予測基礎データＰｄ’として読み出す。そして、学習用の動作修正指令Ｐｍ’を教師データｐｎとし、学習用の予測基礎データＰｄ’を入力データとして、学習データを作成する。そして、入力データである予測基礎データＰｄ’を機械学習モデル（例えばニューラルネットワーク）に入力し、その出力Ｐｎと教師データｐｎとの差異を評価し、その評価を機械学習モデルにフィードバックする。これにより、機械学習モデルが学習データを機械学習する。換言すると、機械学習モデルが、予測基礎データＰｄ’を用いて動作修正指令Ｐｍ’を学習する。

機械学習が終了すると、学習部１１８は、機械学習モデルの出力を自動動作修正指令４０４として、外部に出力する。具体的には、動作部１０３の動作時において、学習部１１８では、機械学習モデルが、予測基礎データＰｄが入力されると、学習対象であった動作修正指令Ｐｍ’の予測指令である自動動作修正指令４０４を出力する。

動作指令生成部２１２０は、基本動作指令４０２に、この自動動作修正指令４０４及び操作部１０１から出力される手動動作修正指令４０３を加えて、動作指令２０１を生成する。ここで、基本動作指令、自動動作修正指令、及び手動動作修正指令は、油圧駆動システム１０５が備える油圧制御弁の開度を表す数値データであり、それ故、相互に加算及び減算することが可能である。

油圧駆動システム１０５は、この動作指令２０１に従って動作部１０３を駆動する。

［動作］
上記所定作業は、例えば、比較的簡単な定型作業である。このような定型作業として、穴掘り作業、整地作業、転圧作業等が例示される。このような所定作業が、技能伝承建設機械２００によって、作業場所を変えながら、複数回、繰り返し行われると仮定する。この場合、互いに前後する２回の所定作業の合間に、前の回の所定作業における動作修正指令Ｐｍ’が学習部１１８によって学習され、後の回の所定作業において、学習部１１８に予測基礎データＰｄが入力されると、前記の学習結果を反映した自動動作修正指令４０４を学習部１１８が出力する。

具体的には、前の回の所定作業において、熟練した操作者が技能伝承建設機械２００を操作し、基本動作指令４０２及び自動動作修正指令４０４に従った作業部１０４の動きを必要に応じて修正しながら所定の作業を行う。

すると、作業部１０４による作業状況を表す作業状況データ２１２、動作部１０３の動作状態を表す動作状態データ２１３、及び作業部の作業により動作部が作業対象から受ける反作用を表す反作用データ２１４を含む予測基礎データＰｄが時系列で予測基礎データ記憶部１１７に記憶されるとともに、自動動作修正指令４０４に手動動作修正指令４０３が加えられた動作修正指令Ｐｍが時系列で動作修正指令記憶部２１１６に記憶される。そして、その後の学習時に、学習部１１８が、予測基礎データ記憶部１１７から予測基礎データＰｄ’を読み出し、これを用いて、動作修正指令記憶部２１１６から読み出した動作修正指令Ｐｍ’を機械学習する。これにより、熟練した操作者の修正操作が学習され、自動動作修正指令４０４として出力することが可能になる。そして、後の回の所定作業において、学習部１１８に予測基礎データＰｄが入力されると、学習部１１８が自動動作修正指令４０４を出力する。すると、油圧駆動システム１０５が、基本動作指令４０２とこの自動動作修正指令４０４とを反映しながら動作部１０３を駆動する。その結果、熟練した操作者の修正操作が学習された結果としての自動動作修正指令４０４が反映された作業が行われる。従って、基本動作指令部２１１９による作業部１０４の基本的な動きを操作者が修正操作するようにして、技能伝承建設機械２００が行う作業を学習し、学習した作業を自動的に行うことが可能な建設機械２００を提供することできる。

これにより、建設業界における熟練操作者の技能を伝承することが可能であり、且つ、所定の作業の自動化を短期間で達成することが可能な技能伝承建設機械２００を提供することができる。

｛具体的構成｝
次に、技能伝承建設機械２００の具体的な構成を、建設機械の一例である油圧ショベル２０を例に取って説明する。

［ハードウエアの構成］
＜全体構成＞
まず、技能伝承油圧ショベル２０の全体構成を説明する。この技能伝承油圧ショベル２０の全体構成は、基本的に実施形態１の学習機能付き油圧ショベル１０と同じであるが、一部において異なる。

図１５は、技能伝承建設機械の一例である技能伝承油圧ショベル２０のハードウエアの構成を示す側面図である。

技能伝承油圧ショベル（以下、単に油圧ショベルという場合がある）２０は、本体部１０２を備える。本体部１０２には、走行体１９が設けられている。走行体１９は、例えば、無限軌道（キャタピラ）を備えた車両走行装置で構成される。

本体部１０２の上には、旋回体１５が、鉛直な第１回動軸線Ａ１の周りに旋回可能に設けられている。旋回体１５には、運転席（不図示）が設けられ、運転席に操作部１０１（図１８参照）が設けられている。なお、図１８の操作部１０１には示されていないが、運転席には、走行体１９を操作する走行操作装置が設けられている。旋回体１５には、さらに、旋回体１５を旋回させる旋回モータ１４が設けられている。旋回モータ１４は、油圧モータで構成されている。また、旋回体１５には、走行用のエンジン２６（図１８参照）が設けられている。エンジン２６は、作業時には、油圧駆動システム１のポンプ部１０７（図１８参照）を駆動する。

旋回体１５には、ブーム１６の基端部が、水平な第２回動軸線Ａ２の周りに回動自在に連結されている。ブーム１６の基端部及び旋回体１５には、それぞれ、ブームシリンダ１１の先端部及び基端部が回動自在に連結されており、ブームシリンダ１１が伸縮することによって、ブーム１６が第２回動軸線Ａ２を中心に揺動する。

ブーム１６の先端部には、アーム１７の基端部が、水平な第３回動軸線Ａ３の周りに回動自在に連結されている。アーム１７の基端部及びブーム１６の中央部にはそれぞれアームシリンダ１２の先端部及び基端部が回動自在に連結されており、アームシリンダ１２が伸縮することによって、アーム１７が第３回動軸線Ａ３を中心に揺動する。

アーム１７の先端部には、バケット１８の基端部が、水平な第４回動軸線Ａ４の周りに回動自在に連結されている。バケット１８の基端部及びアーム１７の基端部にはそれぞれバケットシリンダ１３の先端部及び基端部が回動自在に連結されており、バケットシリンダ１３が伸縮することによって、バケット１８が第４回動軸線Ａ４を中心に回動する。バケット１８はアタッチメントの一例であり、他のアタッチメントを取り付けてもよい。

ブーム１６、アーム１７、及びバケット１８がフロント作業機を構成する。また、バケット１８が作業部１０４を構成し、旋回体１５及びフロント作業機（ブーム１６、アーム１７、及びバケット１８）が動作部１０３を構成する。

油圧ショベル２０は、これらの他に、左右一対の油圧走行モータ（不図示）を備える。

後述するように、技能伝承油圧ショベル２０の運転席には、油圧ショベル２０の動作モードを、手動モードと半自動モードとを相互に切り替える動作モード切替操作部（不図示）が設けられている。操作者は、動作モード切替操作部を操作して動作モードを手動モードに設定し、その後、操作部１０１（不図示の走行操作装置を含む）を操作することによって、油圧ショベルを上記所定作業の作業場所に位置させ、その後、動作モード切替操作部を操作して動作モードを半自動モードに切り替え、その後、旋回体１５を旋回させ、ブーム１６，１７の姿勢を変化させ、且つ、バケット１８を回動させることによって当該所定作業を行う。

技能伝承油圧ショベル２０は、さらに、第１撮像器３１１を備える。第１撮像器３１１はバケット１８による作業の状況を撮像する。第１撮像器３１１によって撮像された撮像画像は、後述する画像処理部３１２（図１８参照）において、作業状況を表すデータが得られるように画像処理され、画像処理部３１２から作業状況データ２１２として出力される。第１撮像器３１１の光軸３２１は、作業対象に向けられる。

第１撮像器３１１は、例えば、３次元カメラ、深度センサ付きカメラ等によって構成される。第１撮像器３１１は、例えば、適宜な支持部材を介して本体部１０２に固定され、あるいは、適宜な支持部材を介して油圧ショベル２０の車両とは別個の固定物体（地面等）に固定され、あるいは、ドローンに搭載される。

＜油圧駆動システム１＞
次に、油圧ショベル２０を動作させる油圧駆動システム１を説明する。

図１６は、技能伝承油圧ショベル２０の油圧駆動システム１の主油圧回路を示す油圧回路図である。図１７は、技能伝承油圧ショベル２０の駆動システムの操作系油圧回路を示す油圧回路図である。主油圧回路及び操作系油圧回路は、旋回体１５に設けられている。

油圧駆動システム１は、上述のように、油圧アクチュエータとしてブームシリンダ１１、アームシリンダ１２、及びバケットシリンダ１３を含むとともに、旋回モータ１４及び左右一対の油圧走行モータ（不図示）を含む。

図１６を参照すると、油圧駆動システム１は、上述のアクチュエータへ作動油を供給するための第１主ポンプ２１及び第２主ポンプ２３を含む。なお、図１６では、図面の簡略化のために、旋回モータ１４以外のアクチュエータを省略している。

第１主ポンプ２１及び第２主ポンプ２３は、エンジン２６により駆動される。また、エンジン２６は、副ポンプ２５も駆動する。第１主ポンプ２１、第２主ポンプ２３及び副ポンプ２５がポンプ部１０７（図１８参照）を構成する。エンジン２６は、アクセル装置５０（図１８参照）により出力を調整される。アクセル装置５０は、例えば、アクセルペダルを備え、その踏み込み量に応じた電気指令であるアクセル修正指令７５を出力する。すると、エンジン制御装置（不図示）がアクセル修正指令７５に対応する個別動作指令７５’に従ってエンジン２６の出力（回転速度）を制御する。

第１主ポンプ２１及び第２主ポンプ２３は、例えば、傾転角に応じた流量の作動油を吐出する可変容量型のポンプである。ここでは、第１主ポンプ２１及び第２主ポンプ２３が、斜板の角度により傾転角が規定される斜板ポンプである。但し、第１主ポンプ２１及び第２主ポンプ２３は、駆動軸とシリンダブロックのなす角により傾転角が規定される斜軸ポンプであってもよい。

第１主ポンプ２１の吐出流量Ｑ１及び第２主ポンプ２３の吐出流量Ｑ２は、電気ポジティブコントロール方式により制御される。具体的には、第１主ポンプ２１の傾転角が第１流量調整装置２２により調整され、第２主ポンプ２３の傾転角が第２流量調整装置２４により調整される。副ポンプ２５は、サブブリードライン３７を通じて第１流量調整装置２２及び第２流量調整装置２４に接続されている。副ポンプ２５は、第１流量調整装置２２及び第２流量調整装置２４の駆動源として機能する。第１流量調整装置２２及び第２流量調整装置２４については、詳細に後述する。

第１主ポンプ２１からは、第１センターブリードライン３１がタンクまで延びている。第１センターブリードライン３１上には、アーム第１制御弁４１及び旋回制御弁４３を含む複数の制御弁（アーム第１制御弁４１及び旋回制御弁４３以外は図示せず）が配置されている。各制御弁は、ポンプライン３２により第１主ポンプ２１と接続されている。つまり、第１センターブリードライン３１上の制御弁は、第１主ポンプ２１に対してパラレルに接続されている。また、各制御弁は、タンクライン３３によりタンクと接続されている。

同様に、第２主ポンプ２３からは、第２センターブリードライン３４がタンクまで延びている。第２センターブリードライン３４上には、アーム第２制御弁４２及びバケット制御弁４４を含む複数の制御弁（アーム第２制御弁４２及びバケット制御弁４４以外は図示せず）が配置されている。各制御弁は、ポンプライン３５により第２主ポンプ２３と接続されている。つまり、第２センターブリードライン３４上の制御弁は、第２主ポンプ２３に対してパラレルに接続されている。また、各制御弁は、タンクライン３６によりタンクと接続されている。

アーム第１制御弁４１は、アーム第２制御弁４２と共にアームシリンダ１２に対する作動油の供給及び排出を制御する。つまり、アームシリンダ１２へは、アーム第１制御弁４１を介して第１主ポンプ２１から作動油が供給されるとともに、アーム第２制御弁４２を介して第２主ポンプ２３から作動油が供給される。アーム第１制御弁４1及びアーム第２制御弁４２がアーム制御弁４０（図１７参照）を構成する。

旋回制御弁４３は、旋回モータ１４に対する作動油の供給及び排出を制御する。つまり、旋回モータ１４へは、旋回制御弁４３を介して第１主ポンプ２１から作動油が供給される。具体的には、旋回モータ１４は、一対の給排ライン６１，６２により旋回制御弁４３と接続されている。給排ライン６１，６２のそれぞれからは逃しライン６３が分岐しており、逃しライン６３はタンクにつながっている。各逃しライン６３には、リリーフ弁６４が設けられている。また、給排ライン６１，６２は、一対のメイクアップライン６５によりタンクとそれぞれ接続されている。各メイクアップライン６５には、タンクから給排ライン（６１または６２）に向かう流れは許容するがその逆の流れは禁止する逆止弁６６が設けられている。

バケット制御弁４４は、バケットシリンダ１３に対する作動油の供給及び排出を制御する。つまり、バケットシリンダ１３へは、バケット制御弁４４を介して第２主ポンプ２３から作動油が供給される。

図１６に示されていないが、第２センターブリードライン３４上の制御弁はブーム第１制御弁４５（図１７参照）を含み、第１センターブリードライン３１上の制御弁はブーム第２制御弁４６（図１７参照）を含む。ブーム第２制御弁４６は、ブーム上げ操作に専用の弁である。つまり、ブームシリンダ１１へは、ブーム上げ操作時にはブーム第１制御弁４５及びブーム第２制御弁を介して作動油が供給され、ブーム下げ操作時にはブーム第１制御弁４５のみを介して作動油が供給される。

また、本実施形態では、各制御弁４１－４６は、電磁制御弁で構成されている。

図１７を参照すると、ブーム制御弁４７（ブーム第１制御弁４５及びブーム第２制御弁）はブーム操作装置７１により操作される。アーム制御弁４０（アーム第１制御弁４１及びアーム第２制御弁４２）はアーム操作装置５１により操作される。旋回制御弁４３は旋回操作装置５４により操作される。バケット制御弁４４はバケット操作装置５７により操作される。

詳しく説明すると、アーム操作装置５１、旋回操作装置５４、バケット操作装置５７、及びブーム操作装置７１のそれぞれは、操作レバーを含み、操作レバーの傾倒角に応じた電気指令作信号である一対の個別手動動作修正指令（５２，５３），（５５，５６），（５８，５９），（７２，７３）を出力する。これらの個別手動動作修正指令（５２，５３），（５５，５６），（５８，５９），（７２，７３）と、後述するアクセル装置５０が出力するアクセル修正指令７５とが手動動作修正指令４０３を構成する。

アーム操作装置５１から出力される一対の個別手動動作修正指令５２，５３は、動作指令生成部２１２０において、基本動作指令４０２のうちのアーム操作装置５１に対応する一対の個別基本動作指令（不図示）及び自動動作修正指令４０４のうちのアーム操作装置５１に対応する一対の個別自動動作修正指令（不図示）と合算されてアーム操作装置５１に対応する一対の個別動作指令５２’，５３’となり、それぞれ、アーム第１制御弁４１の一対の電磁部（ソレノイド）及びアーム第２制御弁４２の一対の電磁部に入力される。

旋回操作装置５４から出力される一対の個別手動動作修正指令５５，５６は、動作指令生成部２１２０において、基本動作指令４０２のうちの旋回操作装置５４に対応する一対の個別基本動作指令（不図示）及び自動動作修正指令４０４のうちの旋回操作装置５４に対応する一対の個別自動動作修正指令（不図示）と合算されて旋回操作装置５４に対応する一対の個別動作指令５５’，５６’となり、旋回制御弁４３の一対の電磁部に入力される。

バケット操作装置５７から出力される一対の個別手動動作修正指令５８，５９は、動作指令生成部２１２０において、基本動作指令４０２のうちのバケット操作装置５７に対応する一対の個別基本動作指令（不図示）及び自動動作修正指令４０４のうちのバケット操作装置５７に対応する一対の個別自動動作修正指令（不図示）と合算されてバケット操作装置５７に対応する一対の個別動作指令５８’，５９’となり、バケット制御弁４４の一対の電磁部に入力される。

ブーム操作装置７１から出力される一対の個別手動動作修正指令７２，７３は、動作指令生成部２１２０において、基本動作指令４０２のうちのブーム操作装置７１に対応する一対の個別基本動作指令（不図示）及び自動動作修正指令４０４のうちのブーム操作装置７１に対応する一対の個別自動動作修正指令（不図示）と合算されてブーム操作装置７１に対応する一対の個別動作指令７２’，７３’となり、ブーム第１制御弁４５の一対の電磁部に入力される。また、個別動作指令７３’が、ブーム第２制御弁４６のブーム上げ用の電磁部に入力され、ブーム第２制御弁４６のブーム下げの電磁部には個別動作指令が入力されない。従って、ブーム第２制御弁４６は、ブーム操作装置７１がブーム下げ操作された場合には動作しない。

なお、アクセル装置５０から出力されるアクセル修正指令７５は、動作指令生成部２１２０において、基本動作指令４０２のうちのアクセル装置５０に対応する個別基本動作指令（不図示）及び自動動作修正指令４０４のうちのアクセル装置５０に対応する個別自動動作修正指令（不図示）と合算されてアクセル装置５０に対応する個別動作指令７５’となり、エンジン２６に入力される。

一対の個別動作指令（５２’，５３’），（５５’，５６’），（５８’，５９’），（７２’，７３’）及び個別動作指令７５’が動作指令２０１を構成する。

上述した第１流量調整装置２２及び第２流量調整装置２４は、流量制御装置８により電気的に制御される。例えば、流量制御装置８は、ＲＯＭやＲＡＭなどのメモリとＣＰＵを有し、ＲＯＭに格納されたプログラムがＣＰＵにより実行される。流量制御装置８は、各操作装置５１，５４，５７，７１に対応する一対の個別動作指令（５２’，５３’），（５５’，５６’），（５８’，５９’），（７２’，７３’）が大きくなるほど、第１主ポンプ２１及び／または第２主ポンプ２３の傾倒角が大きくなるように第１流量調整装置２２及び第２流量調整装置２４を制御する。例えば、旋回操作が単独で行われたときには、流量制御装置８は、旋回操作装置５４に対応する一対の個別動作指令（５５’，５６’）が大きくなるほど第１主ポンプ２１の傾倒角が大きくなるように、第１流量調整装置２２を制御する。

［制御系統の構成］
次に、技能伝承油圧ショベル２０の制御系統の構成を説明する。

＜全体構成＞
図１８は、技能伝承油圧ショベル２０の制御系統の構成を示す機能ブロック図である。図１８には、本実施形態における学習機能と関連する油圧ショベル２０の制御系統が示されている。従って、本実施形態における学習機能と関連しない走行体１９の制御系統は省略されている。また、技能伝承油圧ショベル２０は、図示されない全体制御部及び動作モード切替操作部を有し、操作者による動作モード切替操作部の操作に応じて、全体制御部が技能伝承油圧ショベル２０の動作モードを手動モード又は半自動モードに切り替える。

＜操作部＞
図１８を参照すると、アクセル装置５０、アーム操作装置５１、旋回操作装置５４、バケット操作装置５７、及びブーム操作装置７１が操作部１０１を構成する。操作部１０１は、旋回体１５の運転席に設けられる。

＜油圧制御＞
＊手動モード＊
手動モードでは、操作者がアクセル装置５０のアクセルペダルを踏み込むと、アクセル装置５０がアクセルペダルの踏み込み量に応じたアクセル修正指令７５を出力する。すると、エンジン２６が、このアクセル修正指令７５に対応する個別動作指令７５’に応じた出力でポンプ部１０７を駆動する。すると、ポンプ部１０７が、油圧回路１０６に、ポンプ部１０７の出力に応じた吐出量で作動油を吐出する。

操作者が旋回操作装置５４の操作レバーを操作すると、旋回操作装置５４が操作レバーの傾倒角に応じた一対の個別手動動作修正指令５５，５６（旋回手動動作修正指令）を出力する。すると、旋回制御弁４３が、この一対の個別手動動作修正指令５５，５６に対応する一対の個別動作指令５５’，５６’に応じて作動油を旋回モータ１４に対し給排する。すると、旋回モータ１４が作動油の給排に応じて旋回体１５を旋回する。

操作者がブーム操作装置７１の操作レバーを操作すると、ブーム操作装置７１が操作レバーの傾倒角に応じた一対の個別手動動作修正指令７２，７３’（ブーム手動動作修正指令）を出力する。すると、ブーム制御弁４７が、この一対の個別手動動作修正指令７２，７３に対応する一対の個別動作指令７２’，７３’に応じて作動油をブームシリンダ１１に対し給排する。すると、ブームシリンダ１１が作動油の給排に応じてブーム１６を上げ下げする。

操作者がアーム操作装置５１の操作レバーを操作すると、アーム操作装置５１が操作レバーの傾倒角に応じた一対の個別手動動作修正指令５２，５３（アーム手動動作修正指令）を出力する。すると、アーム制御弁４０が、この一対の個別手動動作修正指令５２，５３に対応する一対の個別動作指令５２’，５３’に応じて作動油をアームシリンダ１２に対し給排する。すると、アームシリンダ１２が作動油の給排に応じてアーム１７を揺動させる。

操作者がバケット操作装置５７の操作レバーを操作すると、バケット操作装置５７が操作レバーの傾倒角に応じた一対の個別手動動作修正指令５８，５９（バケット手動動作修正指令）を出力する。すると、バケット制御弁４４が、この一対の個別手動動作修正指令５８，５９の対応する一対の個別動作指令５８’，５９’に応じて作動油をバケットシリンダ１３に対し給排する。すると、バケットシリンダ１３が作動油の給排に応じてバケット１８を回動させる。

これらの操作により、操作者が意図する作業が行われる。

＊半自動モード＊
半自動モードでは、基本動作指令部２１１９から出力される基本動作指令４０２及び学習部１１８から出力される自動動作修正指令４０４に従って、動作部１０３（１５－１８）が動作し、操作者が、操作部１０１（５０，５１，５４，５７，７１）を操作すると、その操作に応じて動作部１０３の動作が修正される。

＜予測基礎データ検知部＞
上述のように、第１撮像器３１１がバケット１８による作業の状況を撮像する。すると、画像処理部３１２が、第１撮像器３１１によって撮像された撮像画像を画像処理することによって、所定の作業状況を表すデータを生成し、これを作業状況データ２１２として出力する。従って、第１撮像器３１１及び画像処理部３１２が作業状況検知部１１２を構成する。

油圧ショベル２０には、マイク３１３が設けられている。マイク３１３は、例えば、旋回体１５に設けられたエンジン２６の近傍に設置され、エンジン２６の動作音を受音してこれを動作音データに変換し、この動作音データを動作状態データ２１３として出力する。エンジン２６の動作音は、エンジン２６の出力が大きくなるほど大きくなり、エンジン２６の出力が小さくなるほど小さくなる。それ故、動作音データは、ポンプ部１０７の駆動源の状態を表す駆動源状態であり、ひいては油圧ショベル２０の動作状態を表す動作状態データである。従って、マイク３１３が、駆動源状態検知部、ひいては動作状態検知部１１３を構成する。

油圧ショベル２０の旋回体１５又は本体部１０２には、ジャイロセンサ３１４が設けられている。ジャイロセンサ３１４は、旋回体１５又は本体部１０２の傾き及び振動（加振力、加速度、角加速度等を含む）を検知してこれを傾き及び振動データに変換し、この傾き及び振動データを反作用データ２１４として出力する。例えば、ブーム１６及びアーム７がバケット１８を地面に突き立てると、地面からの反力で旋回体１５及び本体部１０２が傾くとともに旋回体１５及び本体部１０２がアーム１７及びブーム１６（動作部１０３）を介して加振力を受けて振動する。それ故、ジャイロセンサ３１４が出力する傾き及び振動データは、動作部１０３及び本体部１０２が受ける反作用を表す。従って、ジャイロセンサ３１４が反作用検知部１１４を構成する。

＜制御部＞
制御部４０１、画像処理部３１２、及び上述の図示されない全体制御部は、例えば、プロセッサとメモリとを有する演算器で構成される。動作修正指令生成部２１１０、学習部１１８、基本動作指令部２１１９、動作指令生成部２１２０、全体制御部、及び画像処理部３１２は、この演算器のメモリに格納された所定のプログラムをプロセッサが実行することによって実現される機能ブロックである。学習データ記憶部１１５は、このメモリによって構成される。この演算器は、具体的には、例えば、マイクロコントローラ、ＭＰＵ、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）等で構成される。制御部４０１、画像処理部３１２、及び上述の図示されない全体制御部は、集中制御を行う単独の演算器で構成されてもよく、分散制御を行う複数の演算器で構成されてもよい。これらの単独の演算器又は複数の演算器は、例えば、油圧ショベル２０の旋回体１５に設けられる。

＜基本動作指令部２１１９＞
基本動作指令部２１１９は、上述の演算器のメモリに格納された所定作業用の制御プログラムに従って、基本動作指令４０２を出力する。

＜動作指令生成部２１２０＞
動作指令生成部２１２０は、ここでは、上述のように、アーム操作装置５１から出力される一対の個別手動動作修正指令５２，５３と、基本動作指令部２１１９から出力される基本動作指令４０２のうちのアーム操作装置５１に対応する一対の個別基本動作指令（不図示）と、学習部１１８から出力される自動動作修正指令４０４のうちのアーム操作装置５１に対応する一対の個別自動動作修正指令（不図示）とを合算して、アーム操作装置５１に対応する一対の個別動作指令５２’，５３’を生成する。

また、旋回操作装置５４から出力される一対の個別手動動作修正指令５５，５６と、基本動作指令４０２のうちの旋回操作装置５４に対応する一対の個別基本動作指令（不図示）と、自動動作修正指令４０４のうちの旋回操作装置５４に対応する一対の個別自動動作修正指令（不図示）とを合算して、旋回操作装置５４に対応する一対の個別動作指令５５’，５６’を生成する。

また、バケット操作装置５７から出力される一対の個別手動動作修正指令５８，５９と、基本動作指令４０２のうちのバケット操作装置５７に対応する一対の個別基本動作指令（不図示）と、自動動作修正指令４０４のうちのバケット操作装置５７に対応する一対の個別自動動作修正指令（不図示）とを合算して、バケット操作装置５７に対応する一対の個別動作指令５８’，５９’を生成する。

また、ブーム操作装置７１から出力される一対の個別手動動作修正指令７２，７３と、基本動作指令４０２のうちのブーム操作装置７１に対応する一対の個別基本動作指令（不図示）と、自動動作修正指令４０４のうちのブーム操作装置７１に対応する一対の個別自動動作修正指令（不図示）とを合算して、ブーム操作装置７１に対応する一対の個別動作指令７２’，７３’を生成する。

また、アクセル装置５０から出力されるアクセル修正指令７５と、基本動作指令４０２のうちのアクセル装置５０に対応する個別基本動作指令（不図示）と、自動動作修正指令４０４のうちのアクセル装置５０に対応する個別自動動作修正指令（不図示）とを合算して、アクセル装置５０に対応する個別動作指令７５’を生成する。

＜動作修正指令生成部２１１０＞
動作修正指令生成部２１１０は、ここでは、アーム操作装置５１から出力される一対の個別手動動作修正指令５２，５３と、学習部１１８から出力される自動動作修正指令４０４のうちのアーム操作装置５１に対応する一対の個別自動動作修正指令（不図示）とを合算して、アーム操作装置５１に対応する一対の個別動作修正指令（不図示。以下、アーム動作修正指令という）を生成する。

また、旋回操作装置５４から出力される一対の個別手動動作修正指令５５，５６と、自動動作修正指令４０４のうちの旋回操作装置５４に対応する一対の個別自動動作修正指令（不図示）とを合算して、旋回操作装置５４に対応する一対の個別動作修正指令（不図示。以下、旋回動作修正指令という）を生成する。

また、バケット操作装置５７から出力される一対の個別手動動作修正指令５８，５９と、自動動作修正指令４０４のうちのバケット操作装置５７に対応する一対の個別自動動作修正指令（不図示）とを合算して、バケット操作装置５７に対応する一対の個別動作修正指令（不図示。以下、バケット動作修正指令という）を生成する。

また、ブーム操作装置７１から出力される一対の個別手動動作修正指令７２，７３と、自動動作修正指令４０４のうちのブーム操作装置７１に対応する一対の個別自動動作修正指令（不図示）とを合算して、ブーム操作装置７１に対応する一対の個別動作修正指令（不図示。以下、ブーム動作修正指令という）を生成する。

また、アクセル装置５０から出力されるアクセル修正指令７５と、自動動作修正指令４０４のうちのアクセル装置５０に対応する個別自動動作修正指令（不図示）とを合算して、アクセル装置５０に対応する個別動作修正指令（不図示。以下、アクセル動作修正指令という）を生成する。

これらの個別動作修正指令が、動作修正指令Ｐｍを構成する。

＜学習データ記憶部１１５＞
学習データ記憶部１１５の動作修正指令記憶部２１１６が、この動作修正指令Ｐｍを時系列で記憶する。

学習データ記憶部１１５の予測基礎データ記憶部１１７が、画像処理部３１２が出力する作業状況データ２１２、マイク３１３が出力する動作状態データ２１３、及びジャイロセンサ３１４が出力する反作用データ２１４を含む予測基礎データＰｄを時系列で記憶する。

＜学習部１１８＞
学習部１１８は、上述のように、学習時において、動作修正記憶部２１１６から読み出した動作修正指令（以下、学習用動作修正指令と呼ぶ）Ｐｍ’及び予測基礎データ記憶部１７から読み出した予測基礎データ（以下、学習用予測基礎データと呼ぶ）Ｐｄ’からなる学習データを機械学習し、当該機械学習を終えた後、動作部１０３の動作時において、予測基礎データＰｄが入力されると、自動動作修正指令４０４を出力する。

次に、学習部１１８の構成を詳しく説明する。図１９は、図１５の技能伝承油圧ショベル２０の動作におけるサイクルタイムを例示する模式図である。図２０は、技能伝承油圧ショベル２０における動作修正指令Ｐｍ、学習用動作修正指令Ｐｍ’、予測基礎データＰｄ、及び学習用予測基礎データＰｄ’のそれぞれの時系列データを示す模式図である。図２１は、学習部１１８の構成を示す機能ブロック図である。

＜各時系列データの時間的関係＞
最初に各時系列データの時間的関係を説明する。

図１９を参照すると、油圧ショベル２０は、所定作業を複数回繰り返し遂行する。相前後する所定作業の時間間隔は一定ではないが、本実施形態では、便宜上、相前後する所定作業における前の所定作業の開始時刻から後の所定作業が開始される直前までの時間を「サイクルタイム」と呼ぶ。また、前の所定作業と後の所定作業との間の時間が、学習部１１８が「前の所定作業」における学習データ（学習用動作修正指令Ｐｍ’及び学習用予測基礎データＰｄ’）を用いて学習する時間に充当される。以下、この「間の時間」を「学習時間」と呼び、油圧ショベル２０が所定作業を行う時間を「動作時間」と呼ぶ。また、各サイクルタイムの「動作時間」における油圧ショベル２０の動作を「～回動作」と呼ぶ。

図２０においては、現在進行中の「動作」が「今回動作」であり、その前の「動作」が「前回動作」である。現在進行中の動作において、動作修正指令Ｐｍの時系列データＰｍ０、Ｐｍ１、Ｐｍ２、Ｐｍ３・・・Ｐｍｕ（以下、Ｐｍ０～Ｐｍｕと略記する）が所定のサンプリング間隔で取得される。また、予測基礎データＰｄの時系列データＰｄ０～Ｐｄｕが同様に取得される。そして、前回動作において取得された動作修正指令Ｐｍの時系列データＰｍ０～Ｐｍｕが、今回動作における学習用動作修正指令Ｐｍ’の時系列データＰｍ０’～Ｐｍｕ’になる。また、前回動作において取得された予測基礎データＰｄの時系列データＰｄ０～Ｐｄｕが、今回動作における学習用予測基礎データＰｄ’の時系列データＰｄ０’～Ｐｄｕ’になる。以下、各時系列データにおける添え字の数字は、サンプリング時刻（間欠的な時刻）の順序を表す。従って、この添え字の数字が同じである時系列データは、同じサンプリング時刻に取得されたデータであることを意味する。

＜学習部１１８の構成＞
図２１を参照すると、学習部１１８は、例えば、ニューラルネットワーク５００と、学習データ及び教師データ生成部５０１と、データ入力部５０２と、学習評価部５０３と、を備える。

ニューラルネットワーク５００は、入力層と、中間層と、出力層とを備える。各層のニューロンの数は、適宜設定される。ニューラルネットワーク５００の学習には、周知の学習方法を適用することができる。従って、ここでは簡単に説明する。ここでは、ニューラルネットワーク５００は、例えば、リカレント型ニューラルネットワークである。学習の形態は、例えば、教師あり学習である。

学習データ及び教師データ生成部５０１は、学習用動作修正指令Ｐｍ’の時系列データＰｍ０’～Ｐｍｕ’から教師データｐｎの時系列データｐｎ１～ｐｎｕを生成する。また、学習用予測基礎データＰｄ’の時系列データＰｄ０’～Ｐｄｕ’から学習データの時系列データＰｄ０’～Ｐｄｕ－１’を生成する。

データ入力部５０２は、入力層の各ニューロンに学習データの時系列データＰｄ０’～Ｐｄｕ－１’を順次入力する。この際、データ入力部５０２が、あるサンプリング時刻ｔｉにおける学習データの時系列データＰｄiを入力すると、ニューラルネットワーク５００が、前向き演算によって、次のサンプリング時刻ｔｉ＋１における予測動作修正指令Ｐｎｉ＋１を計算する。すると、学習評価部５０３が、教師データｐｎの時系列データｐｎ１～ｐｎｕから次のサンプリング時刻ｔｉ＋１における時系列データｐｎi＋１を取り込んで、予測動作修正指令Ｐｎｉ＋１と教師データｐｎの時系列データｐｎi＋１とについて、例えば、アクセル動作修正指令、アーム動作修正指令、旋回動作修正指令、バケット動作修正指令、及びブーム動作修正指令のそれぞれの二乗誤差の総和値ｅ^２を計算する。次いで、学習評価部５０３は、後ろ向き演算によって、ニューラルネットワーク５００の重みを更新する。データ入力部５０２及び学習評価部５０３は、この処理を、学習データの時系列データＰｄ０’～Ｐｄｕ－１’の全てについて行い、例えば、全ての処理において、二乗誤差の総和値ｅ^２が所定の閾値以下になると学習を終了する。

この学習が終了すると、油圧ショベル２０の次回動作において、データ入力部５０２は、現在のサンプリング時刻ｔ０における予測基礎データＰｄ０を入力する。すると、ニューラルネットワーク５００が、次のサンプリング時刻ｔ１における予測動作修正指令Ｐｎ１を、自動動作修正指令４０４として出力する。なお、自動動作修正指令４０４の初期値として、適宜な初期動作指令が出力される。

これにより、油圧ショベル２０の動作にニューラルネットワーク５００（学習部１１８）の学習結果が反映される。

なお、入力部５０２は、あるサンプリング時刻ｔｉにおける学習用予測基礎データＰｄ’の時系列データＰｄiを入力する際に、それ以前の時系列データＰｄi－１～Ｐｄi－ｎ（ｎは所定の正数）を入力してもよい。但し、この場合には、動作時間において、データ入力部５０２が、これと同様に、各サンプリング時刻ｔｊにおいて、現在の予測基礎データＰｄｊとともに過去の予測基礎データＰｄｊ－１～Ｐｄｊ－ｎを入力する必要がある。動作時間においては、各サンプリング時刻ｔｊにおいて、予測基礎データ記憶部１１７に時系列で予測基礎データＰｄ０～Ｐｄｊ－１が記憶されているので、データ入力部５０２は、これを予測基礎データ記憶部１１７から読み出して、過去の予測基礎データＰｄｊ－１～Ｐｄｊ－ｎを生成する。このようにすると、ニューラルネットワーク５００の学習効率が向上する。その理由は、操作者は、バケット１８の動きを予測する際に現時点の瞬時における、作業状況、油圧ショベル２０の動作状態、及び作業対象からの反作用だけではなく、それ以前からの一連の作業状況、油圧ショベル２０の動作状態、及び作業対象からの反作用を考慮して、次のバケット１８の動きを予測し、それによって、バケット１８の動きを正確に予測するからである。

なお、作業状況、油圧ショベル２０の動作状態、及び作業対象からの反作用以外の情報を学習データ及び油圧ショベル２０の動作時間における入力データとして用いてもよい。

［動作］
次に、以上のように構成された技能伝承油圧ショベル２０の動作を説明する。以下では、油圧ショベル２０が、所定作業として穴掘り作業を行う場合を例に挙げて、油圧ショベル２０の動作を説明する。

図２２は、技能伝承油圧ショベル２０による建設作業の状況を示す模式図である。

図２２を参照すると、まず、穴１３１を掘る予定地の上方に第１撮像器３１１が設置される。第１撮像器３１１は、例えば、地上に設置された適宜な支持部材に取り付けられる。第１撮像器３１１は、例えば、無線によって、油圧ショベル２０の旋回体１５に設けられた上記演算器（学習部１１８）にデータ通信可能に接続される。第１撮像器３１１は、例えば、穴１３１の中央部の上方に位置し、且つ光軸３２１が穴１３１の中央部を向くように設置される。

次に、油圧ショベル２０が、初期状態に設定される。この初期状態として、例えば、油圧ショベル２０が穴１３１を掘るのに適した設置場所に位置し、且つ、初期姿勢（例えば、図２２に示す姿勢）を取る。設置位置は、例えば、油圧ショベル２０が移動しないで、バケット１８で土砂を掬って穴１３１を掘り、且つ、バケット１８内の掬った土砂を土砂置場に廃棄することが可能な場所に設定される。ここでは、設定位置が、穴１３１の予定地と土砂置き場との中間位置に設定されていると仮定する。また、第１撮像器３１１が３次元カメラで構成されていると仮定する。

そして、油圧ショベル２０が半自動モードに切り替えられる。

＜穴掘り作業＞
＊修正操作なしの場合＊
次いで、熟練の操作者が油圧ショベル２０を修正操作しながら穴掘り作業を行う。ここでは、まず、操作者が油圧ショベル２０の基本動作を確認するために、修正操作をしない。この動作を、以下、初回動作と呼ぶ。この初回動作では、穴掘り作業は、基本動作指令部２１１９が、基本動作指令４０２を出力して動作部１０３を操作することによって行われる。ここでは、基本動作指令部２１１９を規定する（実現する）所定作業用の制御プログラムでは、穴掘り予定地の地質（地盤の組成、硬さ等）が所定の地質であると想定されている。この穴掘り作業は、例えば、概略以下のようにして行われる。

まず、基本動作指令部２１１９は、バケット１８を、穴１３１の上方の降下位置から降下させて穴１３１の予定地の地面（穴１３１内の地面を含む）に突き立てる（突き立て動作）。この突き立て動作では、バケット１８が降下させられる前に先端の爪が下方を向くようにバケット１８が操作される。次いで、突き立てたバケット１８を地面に押し付けながらバケット１８を手前に回動させて土砂を掬い取る（掬い取り動作）。次いで、バケット１８を上記降下位置まで移動させて穴１３１から引き上げる（引き上げ動作）。次いで、ブーム１６が土砂置き場を向くまで旋回体１５を旋回させる（順方向旋回動作）。次いで、バケット１８を向こう側に回動させてバケット１８内の土砂を土砂置き場に排出する（土砂排出動作）。次いで、バケット１８が上記降下位置に位置するように旋回体１５を逆方向に旋回させる（逆方向旋回動作）。以降、この一連の動作を所定回数繰り返すと、穴掘り作業を終了する。

一方、この間に学習用のデータが取得され、所定作業の終了後、学習部１１８による機械学習が行われるが、これらは後で詳しく説明する。

＊第１の態様の修正操作有りの場合＊
次に、操作者は、修正操作の一例としての第１の態様の修正操作を行う。図２３（ａ）～（ｃ）は、油圧ショベル２０による穴掘り作業が隅部の掘り下げ作業における修正操作によって改善される過程を模式的に示す断面図である。図２３（ａ）～（ｃ）において、実線は、実際に形成された穴１３１の断面形状を示し、二点鎖線は、所定作業用の制御プログラムにおいて想定されている穴１３１の所定の断面形状を示す。

初回動作における修正操作なしの作業によって、図２３（ａ）に示すような隅部が掘り残された断面形状の穴が形成される。隅部の堀り下げ作業は難しいため、所定作業用の制御プログラムでは十分に対応できなかったからである。

この場合、操作者は、動作モード切替操作部を操作して動作モードを手動モードに切り替え、手動で油圧ショベル２０を操作することによって、穴１３１を所定の断面形状に形成する。そして、次の穴掘り予定地に油圧ショベル２０を移動させる。ここからの動作を、以下、第２回動作と呼ぶ。

図１８を参照すると、操作者は、油圧ショベル２０を半自動モードに切り替える。すると、油圧ショベル２０が上述の基本動作を開始する。操作者は、必要に応じて、操作部１０１を操作することによって、油圧ショベル２０の動作部１０３の動作を修正する。特に穴１３１の隅部を掘り下げる際には、基本動作をほぼ全面的に修正する。

このように、操作者が操作部１０１、すなわち、アクセル装置５０、アーム操作装置５１、旋回操作装置５４、バケット操作装置５７、及びブーム操作装置７１を操作すると、手動動作修正指令４０３が出力され、この手動動作修正指令４０３によって、基本動作指令４０２が修正される。その結果、この修正に応じて、動作部１０３の基本動作が修正される。一方、学習部１１８が出力する自動動作修正指令４０４に、この手動動作修正指令４０３が加算されて動作修正指令Ｐｍが生成される。

＜次の操作の判断情報＞
この修正の際、操作者は、目視で穴掘りの状況を確認し、バケット１８、アーム１７、及びブーム１６の姿勢を目視で認識することによって、バケット１８、アーム１７、ブーム１６及び運転席（旋回体１５）が現在どのように動作しようとしているかを直観する。また、バケット１８が地面に作用する（地面を掘る、土を掻き込む等する）と、その反作用を体感することによって、現在の作業（アクション）の当否を判断する。そして、これらを瞬時に勘案して次の操作を決定する。ここで、反作用とは、例えば、運転席の傾き及び振動（加振力、加速度、角加速度等を含む）である。また、操作者は、次の操作を決定する際に駆動源であるエンジン２６の状態（回転量、音等）を重視する。

ここで、穴掘りの状況は作業状況を表す情報の一例である。バケット１８、アーム１７、及びブーム１６の姿勢は油圧ショベル２０の動作状態を表す情報の一例である。運転席（旋回体１５）の傾き及び振動は、地面からの反作用の例である。エンジン２６の状態（回転量、音等）は、駆動源の状態を表す情報であり、ひいては油圧ショベル２０の動作状態を表す情報である。従って、これらの情報を、学習部１１８による機械学習の予測基礎データＰｄ’として用いることが好ましい。

＜学習用のデータ取得＞
学習データ記憶部１１５の動作修正指令記憶部２１１６が、上述の各操作に対応する動作修正指令Ｐｍを記憶する。

一方、上記所定作業の一連の動作において、以下のように予測基礎データＰｄが取得される。

第１撮像器３１１は、バケット１８による穴掘り作業の状況を撮像し、画像処理部３１２が、この撮像画像を画像処理して、穴掘り作業の状況を表すデータを作業状況データ２１２として生成し、これを学習データ記憶部１１５の予測基礎データ記憶部１１７が記憶する。

具体的には、第１撮像器３１１は、突き立て動作から引き上げ動作までの動作において、主に、アーム１７及びバケット１８並びに穴１３１を撮像し、順方向旋回動作から逆方向旋回動作までの動作において、主に穴１３１を撮像する。画像処理部３１２は、例えば、この撮像画像にエッジ処理等の周知の画像処理を施して、アーム１７及びバケット１８の領域と穴１３１の領域とを判別し、穴１３１の平面形状及び中央部の深さのデータを生成する。特に、土砂排出動作時における撮像画像にはアーム１７及びバケット１８の領域が存在せず、穴１３１の領域のみが存在するので、土砂排出動作時における作業状況データ２１２においては、穴１３１の平面形状及び中央部の深さのデータが正確に特定される。

マイク３１３は、上記所定作業の一連の動作において、エンジン２６の音を受音する。この受音データ（動作状態データ２１３）を、予測基礎データ記憶部１１７が記憶する。

特に、掬い取り動作では、例えば、操作者はエンジンの出力を増大させてバケット１８を回動させる。これにより、穴１３１の地面の土砂を好適に掬い取ることができる。従って、掬い取り動作において、受音データの大きさによって、増大されたエンジンの出力の大きさが特定される。

ジャイロセンサ３１４は、上記所定作業の一連の動作において、旋回体１５（運転席）又は本体部１０２の傾き及び振動（加振力、加速度、角加速度等を含む）を、穴１３１の地面からの反作用として検知する。この反作用データ２１４を学習データ記憶部１１５（正確には予測基礎データ記憶部１１７）が記憶する。

特に、突き立て動作において、バケット１８を地面に突き立てた際の地面からの反作用は、地面の硬さを表している。従って、突き立て動作において、反作用データの大きさによって、バケット１８が突き立てられた地面の硬さが特定される。

このように、本実施形態では、次の操作の判断に適した情報を特定することが可能なデータが、学習データとして取得される。

＜機械学習＞
油圧ショベル２０による所定作業が完了すると、制御部４０１は、学習データ記憶部１１５に記憶された学習データを用いて、ニューラルネットワーク５００が機械学習させられる。この際、上述のように、各サンプリング時刻ｔｉにおける学習データの時系列データＰｄiを入力する際に、それ以前の時系列データＰｄi－１～Ｐｄi－ｎ（ｎは所定の正数）が入力される。

この第２回動作における所定作業では、図２３（ｂ）に示すように、初回動作と比べると改善されたものの、隅部の掘り下げが依然として不十分である。操作者は、動作モード切替操作部を操作して動作モードを手動モードに切り替え、手動で油圧ショベル２０を操作することによって、穴１３１を所定の断面形状に形成する。そして、次の穴掘り予定地に油圧ショベル２０を移動させ、上述の初期状態に設定する。ここからの動作を、以下、第３回動作と呼ぶ。

図１８を参照すると、操作者は、油圧ショベル２０を半自動モードに切り替える。すると、油圧ショベル２０が、上述の学習結果を反映した自動動作修正指令４０４を出力し、基本動作指令４０２が自動動作修正指令４０４によって修正される。これにより、動作部１０３の動作が第２回動作における修正操作を反映するように修正される。

操作者は、この第２回動作における修正操作を反映した動作部１０３の動作を、穴１３１の形状が所定の断面形状になるように、さらに修正操作する。これにより、このさらなる修正操作に対応する動動作修正指令４０３が出力され、この手動動作修正指令４０３によって、自動動作修正指令４０４により修正された基本動作指令４０２がさらに修正される。その結果、この第３回動作における所定作業では、図２３（ｃ）に示すように、隅部が十分掘り下げられた所定の断面形状を有する穴１３１が形成される。

一方、第２回動作における修正操作の学習結果を反映した自動動作修正指令４０４に、このさらなる追加修正操作に対応する手動動作修正指令４０３が加算されて動作修正指令Ｐｍが生成される。

この動作修正指令Ｐｍを、この後の学習時に学習部１１８が機械学習し、当該動作修正指令Ｐｍを反映した自動動作修正指令４０４を学習部１１８が出力する。これにより、基本動作指令部２１１９から出力される基本動作指令４０２が、第２回動作及び第３回動作において累積してなされた修正操作が反映された自動動作修正指令４０４によって修正される。これにより、動作部１０３の動作が第２回動作及び第３回動作における修正操作を反映するように修正される。従って、それ以降は、操作者が操作部１０１を操作することによる改善が不要になる。

このように、本実施形態の油圧ショベル２０によれば、操作者による手動動作修正指令４０３が学習部１１８に蓄積されるので、最終的には、操作者の技能（ここでは穴掘り作業）が学習部１１８に伝承される。また、学習部１１８が実務を通じて学習するので、学習期間が短くて済む。

＊第２の態様の修正操作有りの場合＊
次に、操作者が第２の態様の修正操作を行う場合を例示する。

図２４（ａ）～（ｃ）は、油圧ショベル２０による穴掘り作業が穴掘り予定地の地質に応じた修正操作によって改善される過程を模式的に示す断面図である。図２４（ａ）において、破線は、操作者が修正操作をしなかったと仮定した場合の穴１３１の断面形状を示す。

図２４（ａ）を参照すると、穴１３１を掘る予定地の地質が、所定作業用の制御プログラムによって想定されている所定の地質より柔らかい（穴を掘り易い）場合、油圧ショベル２０の動作部１０３が基本動作を行うと、破線で示すように、所定の断面形状より深い形状の穴１３１が形成されてしまう。しかし、ここでは、熟練の操作者が、半自動モードで油圧ショベル２０を修正操作しながら穴掘りを行う。その結果、所定の断面形状を有する穴１３１が形成される。そして、この修正操作が学習部１１８によって機械学習される。従って、これ以降、穴１３１を掘る予定地の地質が今回動作と同様である場合には、操作者が修正操作をすることなく、制御部４０１の制御によって、油圧ショベル２０が所定の断面形状の穴を掘る。

しかし、例えば、穴１３１を掘る予定地の地質が所定作業用の制御プログラムによって想定されている所定の地質より硬い（穴を掘り難い）場合、学習部１１８は、作業中に取得される予測基礎データ（例えば、バケット１８を地面に突き立てたときの運転席の傾き、振動等、及び穴掘りの途中に第１撮像器３１１が撮像した穴１３１の形状等）が、穴１３１を掘る予定地の地質が所定の地質より柔らかい場合と異なるので、学習部１１８は、例えば、修正量がゼロの自動動作修正指令４０４を出力する。このため、操作者が、何ら修正操作をしない場合、動作部１０３は基本動作指令に従って基本的な動作を行い、図２４（ｂ）に示すように、例えば、所定の断面形状より浅い断面形状の穴１３１が形成されてしまう。

しかし、実際には、熟練の操作者が、この硬い地質に適切に対処して、動作部１０３の動作を修正操作しながら穴掘りを行う。その結果、図２４（ｃ）に示すように、所定の断面形状を有する穴１３１が形成される。そして、この修正操作が学習部１１８によって機械学習される。従って、これ以降、穴１３１を掘る予定地の地質がこの動作におけるものと同様の硬さである場合には、操作者が修正操作をすることなく、制御部４０１の制御によって、油圧ショベル２０が所定の断面形状の穴を掘る。従って、これ以降、穴１３１を掘る予定地の地質がこの動作におけるものと同様の硬さである場合には、操作者が修正操作をすることなく、制御部４０１の制御によって、油圧ショベル２０が所定の断面形状の穴を掘る。

このように、動作部１０３の基本的な動作を修正しなければならない態様は多数存在するが、油圧ショベル２０のように機械学習する学習部１１８を用いると、動作部１０３の基本的な動作を修正しなければならない事象が発生する度に、その態様に応じた手動動作修正指令４０３（正確には動作修正指令Ｐｍ）を学習部１１８に学習させることによって、操作者の技能の伝承を容易に実現することができる。

また、油圧ショベル２０によれば、所定作業に関する動作部１０３の基本的な動作のうち修正が不要である部分は、基本動作指令部２１１９によって自動的に遂行されるので、操作者は、必要な修正のみを行えばよい。よって、操作者の負担が軽減される。また、熟練者であっても作業がばらつくので、このように一部の作業のみを操作者の操作によって行うと、全ての作業を操作者の操作によって行う場合に比べて作業の精度が向上する。

＜まとめ＞
以上に説明したように、実施形態４によれば、基本動作指令部２１１９による作業部１０４の基本的な動作を操作者が修正操作するようにして、建設機械２００が行う作業を学習し、学習した作業を自動的に行うことが可能な建設機械２００を提供することできる。

これにより、建設業界における熟練操作者の技能を伝承することが可能であり、且つ、所定の作業の自動化を短期間で達成することが可能な技能伝承建設機械２００を提供することができる。

また、実施形態４によれば、既存の油圧ショベルに、制御部４０１を構成する演算器と、予測基礎データを取得する検知器とを付加することによって、既存の油圧ショベルを本発明の技能伝承油圧ショベル２０に改造することができる。

また、この実施形態４の記載を参照することによって、本発明を、油圧ショベル２０以外の建設機械に容易に適用することができる。

（実施形態５）
本発明の実施形態５は、実施形態４の油圧ショベル２０において、動作状態検知部１１３が、さらに、第２撮像器３３１及び画像処理部３３３を備える形態を例示する。

図２５は、実施形態５に係る技能伝承油圧ショベル２０のハードウエアの構成を示す側面図である。図２６は、図２５の技能伝承油圧ショベル２０の制御系統の構成を示す機能ブロック図である。

図２５及び図２６を参照すると、本実施形態の油圧ショベル２０は、動作状態検知部１１３が、さらに、第２撮像器３３１及び画像処理部３３３を備える。これ以外の構成は、実施形態４の油圧ショベル２０と同じである。

第２撮像器３３１は、油圧ショベル２０の全体を撮像する。第２撮像器３３１によって撮像された撮像画像は、画像処理部３３３において、油圧ショベル２０の姿勢表すデータが得られるように画像処理され、画像処理部３３３から動作状態データ２１３として出力される。第２撮像器３３１の光軸３３２は、油圧ショベル２０に向けられる。

第２撮像器３３１は、例えば、通常のデジタルカメラによって構成される。第２撮像器３３１は、例えば、適宜な支持部材を介して油圧ショベル２０の車両とは別個の固定物体（地面等）に固定され、あるいは、ドローンに搭載される。

画像処理部３３３は、例えば、第２撮像器３３１が撮像した撮像画像を画像処理して、油圧ショベル２０の外形を抽出し、この外形データを動作状態データ２１３として出力する。この外形データは、油圧ショベル２０の動作部１０３の姿勢を特定できる姿勢データである。

実施形態５によれば、実施形態４で述べた一連の動作において、動作状態データ２１３の中の油圧ショベル２０の外形によって油圧ショベル２０の姿勢が特定されるので、学習部１１８の機械学習の効率が向上し、且つ、動作部１０３の動作時において学習部１１８が出力する自動動作修正指令４０４がより適切なものになる。

（実施形態６）
本発明の実施形態６は、実施形態４の油圧ショベル２０において、動作状態検知部１１３が、さらに、センサ部３４１を備える形態を例示する。

図２７は、実施形態６に係る技能伝承油圧ショベル２０のハードウエアの構成を示す側面図である。図２８は、図２７の技能伝承油圧ショベル２０の制御系統の構成を示す機能ブロック図である。

図２８を参照すると、本実施形態の油圧ショベル２０は、動作状態検知部１１３が、さらに、センサ部３４１を備える。これ以外の構成は、実施形態４の油圧ショベル２０と同じである。センサ部３４１は、センサＳ１～Ｓ４で構成される。

図２７を参照すると、油圧ショベル２０にセンサＳ１～Ｓ４が設けられている。具体的には、旋回体１５に、当該旋回体１５の回動軸線Ａ１周りの回転角を検知するセンサＳ１が設けられている。ブーム１６の基端部に、当該ブーム１６の回動軸線Ａ２周りの回転角を検知するセンサＳ２が設けられている。アーム１７の基端部に、当該アーム１７の回動軸線Ａ３周りの回転角を検知するセンサＳ３が設けられている。アーム１７の先端部に、バケット１８の回動軸線Ａ４周りの回転角を検知するセンサＳ４が設けられている。

センサ部３４１は、センサＳ１～Ｓ４がそれぞれ検知した回転角のデータを、動作状態データ２１３として出力する。センサＳ１～Ｓ４がそれぞれ検知した回転角のデータの組み合わせは、油圧ショベル２０の動作部１０３の姿勢を特定できる姿勢データである。

実施形態６によれば、実施形態４で述べた一連の動作において、動作状態データ２１３の中のセンサＳ１～Ｓ４によりそれぞれ検知された回転角の組み合わせによって油圧ショベル２０の姿勢が特定されるので、学習部１１８の機械学習の効率が向上し、且つ、動作部１０３の動作時において学習部１１８が出力する自動動作修正指令４０４がより適切なものになる。

（実施形態７）
本発明の実施形態は、実施形態４乃至６のいずれかの油圧ショベル２０において、操作装置がパイロット圧を発生し、制御弁がパイロット圧によって制御される構成である形態を例示する。

図２９は、本発明の実施形態７に係る技能伝承建設機械の一例である技能伝承油圧ショベルの動作指令生成部の構成を示す機能ブロック図である。

図１８及び図２９を参照すると、実施形態７では、操作部１０１のアーム操作装置５１、旋回操作装置５４、バケット操作装置５７、及びブーム操作装置７１が、それぞれ、パイロット圧の一対の個別手動動作修正指令（５２，５３），（５５，５６），（５８，５９），（７２，７３）を、それぞれ出力する。また、アーム制御弁４０、旋回制御弁４３、バケット制御弁４４、及びブーム制御弁４７がパイロット圧で制御される制御弁で構成されている。

一方、動作指令生成部２１２０が、加算器２１２０ａと、圧力／電気変換器２１２０ｂと、電気／圧力変換器２１２０ｃとを備える。

圧力／電気変換器２１２０ｂは、例えば、４対の圧電素子で構成され、操作部１０１のアーム操作装置５１、旋回操作装置５４、バケット操作装置５７、及びブーム操作装置７１から出力される、パイロット圧信号の４対の個別手動動作修正指令（５２，５３），（５５，５６），（５８），（７２，７３）を、それぞれ、電気信号の４対の個別手動動作修正指令（５２，５３），（５５，５６），（５８，５９），（７２，７３）に変換して、これらを加算器２１２０ａに出力する。

加算器２１２０ａは、実施形態４の動作指令生成部２１２０と同様に動作する。すなわち、これらの４対の個別手動動作修正指令（５２，５３），（５５，５６），（５８，５９），（７２，７３）に、それぞれに対応する４対の個別基本動作指令と、それぞれに対応する４対の個別自動動作修正指令とを加算し、４対の個別動作指令を生成する。そして、これらの４対の個別動作指令を電気／圧力変換器２１２０ｃに出力する。

電気／圧力変換器２１２０ｃは、４対の電磁比例弁を含むマルチコントロールバルブで構成され、４対の個別動作指令を、それぞれ、パイロット圧信号の４対の個別動作指令（５２’，５３’），（５５’，５６’），（５８’，５９’），（７２’，７３’）に変換し、これらを、それぞれ、アーム制御弁４０、旋回制御弁４３、バケット制御弁４４、及びブーム制御弁４７に出力する。

なお、４対の個別手動動作修正指令（５２，５３），（５５，５６），（５８ ，５９），（７２，７３）が手動動作修正指令４０３の一部を構成し、４対の個別動作指令（５２’，５３’），（５５’，５６’），（５８’，５９’），（７２’，７３’）が動作指令２０１の一部を構成する。

このような実施形態７によれば、操作装置がパイロット圧の手動動作修正指令を発生し、制御弁がパイロット圧の動作指令によって制御される油圧ショベル２０に本発明を適用することができる。

また、実施形態７によれば、既存の油圧ショベルに、制御部４０１を構成する演算器と、予測基礎データを取得する検知器と、圧力／電気変換器２１２０ｂを構成する圧電素子と、電気／圧力変換器２１２０ｃを構成するマルチコントロールバルブとを付加することによって、既存の油圧ショベルを本発明の技能伝承油圧ショベル２０に改造することができる。

（その他の実施形態）
実施形態２の油圧ショベル１０が、動作状態検知部１１３において、さらに、実施形態３のセンサ部３４１を備えてもよい。

また、実施形態１乃至３において、動作状態検知部１１３が、マイク３１３に代えて又はマイク３１３に加えて、各制御弁４０，４３，４４，４７の動作を検知する作動センサを備えてもよい。作動センサとして、各制御弁４０，４３，４４，４７が接続された油路に設けられた圧力センサ、各制御弁４０，４３，４４，４７の弁体の位置を検知する位置センサ等が例示される。

また、実施形態１乃至３において、動作状態検知部１１３が、マイク３１３に代えて又はマイク３１３に加えて、エンジン２６の回転速度を検知し、検知した回転速度のデータ（駆動源状態データ）を出力する回転速度センサを備えてもよい。回転速度センサとして、ロータリーエンコーダ、回転計、タコメータ等が例示される。

また、実施形態１乃至３において、学習部１１８における学習の形態が教師なし学習であってもよい。

また、実施形態１乃至３において、油圧ショベル１０の駆動源が、エンジン２６以外のものであってあってもよい。そのような駆動源として、電気モータが例示される。

実施形態５の油圧ショベル２０が、動作状態検知部１１３において、さらに、実施形態６のセンサ部３４１を備えてもよい。また、この油圧ショベル２０が実施形態７のように修正されてもよい。

また、実施形態４乃至７のいずれかにおいて、動作状態検知部１１３が、マイク３１３に代えて又はマイク３１３に加えて、各制御弁４０，４３，４４，４７の動作を検知する作動センサを備えてもよい。

また、実施形態４乃至７のいずれかにおいて、動作状態検知部１１３が、マイク３１３に代えて又はマイク３１３に加えて、エンジン２６の回転速度を検知し、検知した回転速度のデータ（駆動源状態データ）を出力する回転速度センサを備えてもよい。回転速度センサとして、ロータリーエンコーダ、回転計、タコメータ等が例示される。

また、実施形態４乃至７のいずれかにおいて、学習部１１８における学習の形態が教師なし学習であってもよい。

また、実施形態４乃至７のずれかにおいて、油圧ショベル２０の駆動源が、エンジン２６以外のものであってあってもよい。そのような駆動源として、電気モータが例示される。

実施形態４乃至６のいずれかにおいて、動作指令生成部２１２０を、油圧パイロット圧信号同志を加えるように構成してもよい。

上記説明から、当業者にとっては、多くの改良や他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきである。

本発明の学習機能付き建設機械は、人が操作して建設機械が行う作業を学習し、学習した作業を自動的に行うことが可能な建設機械として有用である。

また、本発明の技能伝承建設機械は、建設業界における熟練操作者の技能を伝承することが可能であり、且つ、所定の作業の自動化を短期間で達成することが可能な技能伝承建設機械として有用である。

１ 油圧駆動システム
８ 流量制御装置
１０ 学習機能付き油圧ショベル（油圧ショベル）
１１ ブームシリンダ
１２ アームシリンダ
１３ バケットシリンダ
１４ 旋回モータ
１５ 旋回体
１６ ブーム
１７ アーム
１８ バケット
１９ 走行体
２０ 油圧ショベル
２１ 第１主ポンプ
２２ 第１流量調整装置
２３ 第２主ポンプ
２４ 第２流量調整装置
２５ 副ポンプ
４０ アーム制御弁
４３ 旋回制御弁
４４ バケット制御弁
４７ ブーム制御弁
５０ アクセル装置
５１ アーム操作装置
５４ 旋回操作装置
５７ バケット操作装置
７１ ブーム操作装置
８１～８６,９１,９２ 圧力センサ
１００ 学習機能付き建設機械（建設機械）
１０１ 操作部
１０２ 本体部
１０３ 動作部
１０４ 作業部
１０５ 油圧駆動システム
１０６ 油圧回路
１０７ ポンプ部
１１０ 動作指令検知部
１１２ 作業状況検知部
１１３ 動作状態検知部
１１４ 反作用検知部
１１５ 学習データ記憶部
１１６ 指令データ記憶部
１１７ 予測基礎データ記憶部
１１８ 学習部
１１９ 操作部駆動部
１２０ 予測動作指令変換部
１３１ 穴
２００ 技能伝承建設機械
２０１ 動作指令
２０２ 駆動力
２１１，２１１’ 指令データ
２１２ 作業状況データ
２１３ 動作状態データ
２１４ 反作用データ
３１１ 第１撮像器
３１２ 画像処理部
３１３ マイク
３１４ ジャイロセンサ
３２１ 光軸
３３１ 第２撮像器
３３２ 光軸
３３３ 画像処理部
３４１ センサ部
１４００ ニューラルネットワーク
１４０１ 学習データ及び教師データ生成部
１４０２ データ入力部
１４０３ 学習評価部
５００ ニューラルネットワーク
５０１ 学習データ及び教師データ生成部
５０２ データ入力部
５０３ 学習評価部
１０００ 学習機能付き建設機械
１１０１ 指令データ生成部
１１０２ 指令記憶部
１１０３ 予測指令
２１１０ 動作修正指令生成部
２１１６ 動作修正指令記憶部
２１１９ 基本動作指令部
２１２０ 動作指令生成部
Ａ１～Ａ４ 第１乃至第４回動軸線
Ｍ１～Ｍ５ サーボモータ
Ｐｄ 予測基礎データ
Ｐｄ’ 学習用予測基礎データ
Ｐｆ 予測動作指令
Ｐｆ’ 学習用指令データ
Ｓ１～Ｓ４ センサ

Claims (11)

1. 作業部を有し、前記作業部を、作業を行うよう動かす動作部と、
   操作者の操作に応じた指令を出力する操作部と、
   前記作業部による前記作業の状況を検知し、検知した作業状況を作業状況データとして出力する作業状況検知部と、
   前記動作部の動作状態を検知し、検知した動作状態を動作状態データとして出力する動作状態検知部と、
   前記作業部の作業により前記動作部が作業対象から受ける反作用を検知し、検知した反作用を反作用データとして出力する反作用検知部と、
   前記指令を時系列で指令データとして記憶するとともに、前記作業状況データ、前記動作状態データ、及び前記反作用データを含む予測基礎データを時系列で記憶する学習データ記憶部と、
   前記学習データ記憶部に記憶された前記予測基礎データを用いて前記学習データ記憶部に記憶された前記指令データを機械学習し、機械学習を終えた後、前記動作部の動作時に前記予測基礎データが入力され、前記指令の予測指令を出力する学習部と、
   前記指令、前記予測指令、又は前記指令及び前記予測指令に基づいて前記動作部を駆動する油圧駆動システムと、を備える、学習機能付き建設機械。
2. 前記操作部が、前記指令として、前記操作者の操作に応じた動作指令を出力するよう構成され、
   学習データ記憶部が、前記動作指令を時系列で指令データとして記憶するとともに、前記作業状況データ、前記動作状態データ、及び前記反作用データを含む予測基礎データを時系列で記憶するよう構成され、
   前記学習部が、学習時において、前記学習データ記憶部に記憶された前記予測基礎データを用いて前記学習データ記憶部に記憶された前記指令データを機械学習し、前記機械学習を終えた後の自動制御時において、前記予測基礎データが入力され、前記予測指令である予測動作指令を出力するよう構成され、且つ、
   油圧駆動システムが、前記動作指令又は前記予測動作指令に従って前記動作部を駆動するよう構成されている、請求項１に記載の学習機能付き建設機械。
3. 前記動作部が設けられた本体部を備え、
   前記反作用検知部が、前記動作部又は前記本体部の傾き、加速度、及び角加速度の少なくともいずれかを含む前記反作用を検知し、検知した反作用を前記反作用データとして出力する、請求項２に記載の学習機能付き建設機械。
4. 前記動作状態検知部が、前記油圧駆動システムの作動油を加圧するポンプを駆動する駆動源の出力及び動作音の少なくともいずれかを含む駆動源の状態を検知し、検知した駆動源の状態を駆動源状態データとして出力する駆動源状態検知部を含み、
   前記動作状態データが、前記駆動源状態データを含む、請求項２又は３に記載の学習機能付き建設機械。
5. 前記動作状態データが、前記指令データを含む、請求項２乃至４のいずれかに記載の学習機能付き建設機械。
6. 動作状態検知部が、前記動作部の姿勢を検知し、検知した姿勢を姿勢データとして出力する姿勢検知部をさらに備え、
   前記動作状態データが、前記姿勢データを含む、請求項２乃至５のいずれかに記載の学習機能付き建設機械。
7. 前記学習機能付き建設機械が、制御部を備える技能伝承建設機械であり、
   前記操作部が、前記指令として、前記操作者の操作に応じた手動動作修正指令を出力するよう構成され、
   前記油圧駆動システムが、基本動作指令と自動動作修正指令と前記手動動作修正指令とに従って前記動作部を駆動するよう構成され、且つ、
   前記制御部が、
   前記動作部によって前記作業部に基本的な動きをさせる前記基本動作指令を出力する基本動作指令部と、
   前記自動動作修正指令に前記手動動作修正指令を加えて動作修正指令を生成する動作修正指令生成部と、
   前記動作修正指令を前記指令データとして時系列で記憶する動作修正指令記憶部と前記予測基礎データを時系列で記憶する予測基礎データ記憶部とを含む前記学習データ記憶部と、
   前記学習部と、を備え、
   前記学習部が、前記予測基礎データ記憶部に記憶された前記予測基礎データを用いて前記動作修正指令記憶部に記憶された前記動作修正指令を機械学習し、機械学習を終えた後、前記動作部の動作時に前記予測基礎データが入力され、前記予測指令である前記自動動作修正指令を出力するよう構成されている、請求項１に記載の学習機能付き建設機械。
8. 前記動作部が設けられた本体部を備え、
   前記反作用検知部が、前記動作部又は前記本体部の傾き、加速度、及び角加速度の少なくともいずれかを含む前記反作用を検知し、検知した反作用を前記反作用データとして出力する、請求項７に記載の学習機能付き建設機械。
9. 前記動作状態検知部が、前記油圧駆動システムの作動油を加圧するポンプを駆動する駆動源の出力及び動作音の少なくともいずれかを含む駆動源の状態を検知し、検知した駆動源の状態を駆動源状態データとして出力する駆動源状態検知部を含み、
   前記動作状態データが、前記駆動源状態データを含む、請求項７又は８に記載の学習機能付き建設機械。
10. 前記動作状態検知部が、前記動作部の姿勢を検知し、検知した姿勢を姿勢データとして出力する姿勢検知部をさらに備え、
    前記動作状態データが、前記姿勢データを含む、請求項７乃至９のいずれかに記載の学習機能付き建設機械。
11. 前記手動動作修正指令が電気指令信号であり、
    前記動作部が、前記作業部を駆動する油圧アクチュエータと、前記基本動作指令、前記自動動作修正指令、及び前記手動動作修正指令に従って前記油圧アクチュエータの動作を油圧制御する制御弁と、を備え、
    前記制御弁が、電磁弁である、請求項７乃至１０のいずれかに記載の学習機能付き建設機械。

Images