JP7377391B1 - 推定装置、推定方法及びプログラム - Google Patents

Abstract

【課題】作業者によらず一定の質で、迅速に土の土質を推定することができる推定装置を提供する。【解決手段】推定装置１００は、建機２００が有する１以上のセンサ２３１～２３３が検知した時系列データを取得する時系列取得部１１０と、取得された時系列データを所定時間長の波形データに分割する分割部１３０と、分割された波形データが検知された時間における建機２００による作業を第１分類器により推定する第１推定部１４０と、分割された波形データから、推定された作業が掘削である波形データを抽出する掘削抽出部１５０と、掘削抽出部１５０により抽出された波形データが検知された時間において掘削された土の土質を第２分類器により推定する第２推定部１６０と、を備える。【選択図】図４

Description

本発明は、推定装置、推定方法及びプログラムに関する。

地山に対して新たに道路、ダム、トンネル等を建設するための工事を行う際には、建設作業を開始する前に、その地盤の地質調査を行う必要がある。地質調査においては、例えば、その地盤を構成するものが硬岩であるか、中硬岩であるか、軟岩であるか、あるいは土砂であるか等、土の土質を調査する。

現行では、シュミットハンマー（例えば、特許文献１）で調査対象の地盤上の複数箇所に打撃を与え、それぞれの箇所でのシュミットハンマーが受ける荷重の測定結果や、目視により確認した岩盤の特徴等を総合的に判断し、地質調査を行っている。

特開２０２３－１３４８８号公報

このような方法では、作業者の手によってシュミットハンマーで岩盤の複数箇所を測定するため工期がかかるし、作業者が目視によって岩盤の特徴を確認し判断する必要があるため、作業者の熟練度によって判断が異なる場合がある。また、作業者が訓練をするのにも時間を要する。そこで、迅速かつ一定の正確さで地質調査を行うためのシステムが望まれている。ここで、一定の正確さとは、同じ地盤で地質調査を繰り返した場合に、調査結果の変動幅が定めた範囲に収まることである。

本発明は、上述の実情に鑑みてなされたものであり、短い工期で、作業者によらず一定の正確さで地質調査を行うことを可能とする土の土質の推定装置、推定方法、及びプログラムを提供することを目的とする。

本発明の第１の観点に係る推定装置は、建機が有する１以上のセンサが検知した時系列データを取得する時系列取得部と、取得された時系列データを所定時間長の波形データに分割する分割部と、分割された波形データが検知された時間における建機による作業を第１分類器により推定する第１推定部と、分割された波形データから、推定された作業が掘削である波形データを抽出する掘削抽出部と、掘削抽出部により抽出された波形データが検知された時間において掘削された土の土質を第２分類器により推定する第２推定部と、を備える。

また、本発明の第２の観点に係る推定方法は、コンピュータが、建機が有する１以上のセンサが検知した時系列データを取得し、取得された時系列データを所定時間長の波形データに分割し、分割された波形データが検知された時間における建機による作業を第１分類器により推定し、分割された波形データから、推定された作業が掘削である波形データを抽出し、掘削抽出部により抽出された波形データが検知された時間において掘削された土の土質を第２分類器により推定する、ことを特徴とする。

また、本発明の第３の観点に係るプログラムは、コンピュータを、建機が有する１以上のセンサが検知した時系列データを取得する時系列取得部、取得された時系列データを所定時間長の波形データに分割する分割部、分割された波形データが検知された時間における建機による作業を第１分類器により推定する第１推定部、分割された波形データから、推定された作業が掘削である波形データを抽出する掘削抽出部、掘削抽出部により抽出された波形データが検知された時間において掘削された土の土質を第２分類器により推定する第２推定部、として機能させることを特徴とする。

本発明によれば、作業者によらず一定の質で、迅速に土の土質を推定することができる。

本実施形態に係る建機である油圧ショベルの構成を説明するための図である。 （ａ）車体座標系及びグローバル座標系とピッチ角を説明するための図である。（ｂ）車体座標系及びグローバル座標系とロール角を説明するための図である。 本実施形態に係る推定装置のハードウェア構成を説明するための図である。 本実施形態に係る推定装置と建機の構成及び関係を説明するための図である。 本実施形態に係る推定処理を示すフローチャートである。 （ａ）時系列データの例を示す図である。（ｂ）波形データの例を示す図である。 本実施形態に係る判定処理の一態様を示すフローチャートである。 本実施形態に係る判定処理の他の態様を示すフローチャートである。

以下、本発明の実施の形態に係る推定装置について、図面を参照して詳細に説明する。なお、本実施形態は説明のためのものであり、本発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

本実施形態では、地質調査の対象である地盤に対して、油圧ショベル等の建機を使用して作業を行い、作業時の振動等に係るデータや画像に基づき、その土の土質を推定する。土の土質の推定には機械学習により学習した推論モデルを利用する。この推論モデルは、地質調査に先立ち、予め取得した作業時の振動等に係るデータ又は画像を入力データとし、その作業時の土の土質を正解データとする訓練データにより、学習することで用意される。

本実施形態では、建機として油圧ショベルを使用して調査対象である地盤を掘削し、掘削時の振動等に係るデータ及び排土の画像に基づいて土の土質を推定する。図１に示すように、本実施形態に係る建機２００である油圧ショベルは、図１に示すように、走行体１０と、走行体１０に支持される旋回体２０とを備える車両本体と、旋回体２０に支持される作業機３０と、走行体１０に支持されるブレード４０と、を備える。

走行体１０は、左右にそれぞれ履帯を備え、履帯の回転により走行する。旋回体２０は、旋回軸を中心に走行体１０上を旋回可能に支持される。

作業機３０は、ブーム３１と、アーム３２と、バケット３３と、を備える。ブーム３１は、旋回体２０に回動可能に連結されており、ブームシリンダ３４が油圧により伸縮することにより、角度αの方向に回動する。ブーム３１は、ブームシリンダ３４のヘッド側のポートに作業油が流れることにより上がり、ボトム側のポートに作業油が流れることにより下がる。また、ブームシリンダ３４には不図示の油圧センサが備えられており、ヘッド側の油圧であるブームヘッド圧と、ボトム側の油圧であるブームボトム圧を測定できるようになっている。

アーム３２は、ブーム３１に回動可能に連結されており、アームシリンダ３５が油圧により伸縮することにより、角度βの方向に回動する。また、アームシリンダ３５には不図示の油圧センサが備えられており、ブームシリンダ３４と同様に油圧が測定できるようになっている。

バケット３３は、アーム３２に回動可能に連結されており、バケットシリンダ３６が油圧により伸縮することにより、角度γの方向に回動する。バケット３３は、掘削の対象物を刮ぐ刃先と刮いだ対象物を収容する収容部とを有する。また、バケットシリンダ３６には不図示の油圧センサが備えられており、ブームシリンダ３４と同様に油圧が測定できるようになっている。

本実施形態では、ブームシリンダ３４に備えられた油圧センサからのデータを利用しているが、これにかえて、もしくは、これに加えて、アームシリンダ３５又はバケットシリンダ３６に備えられた油圧センサ等からのデータを適宜利用することもできる。

ブレード４０は、不図示のリフトシリンダが伸縮することによって矢印に示すように、上下に回動する。リフトシリンダにも不図示の油圧センサが備えられており、ブームシリンダ３４と同様に油圧が測定できるようになっている。

作業者は、建機２００の車両本体に配置される運転席２２１に座り、操作レバー２２２等の操作装置２２０を操作することによって、作業機３０とブレード４０とを操作する。

作業者は、作業機３０を操作することによって、バケット３３の刃先で地質調査対象の地盤を掘削し、掘削した土をバケット３３に収容した後、作業機３０を旋回させ、排土する。この一連の作業におけるデータや画像を取得するために、建機２００の操作装置２２０には、車体角度センサ２３２と、カメラ２３３とが備えられている。

車体角度センサ２３２は、建機２００の姿勢を検知する。図２に示すように、旋回体２０の中心部を通る平面と旋回軸との交点を原点とするローカル座標（ｘ，ｙ，ｚ）を設定する。車体角度センサ２３２は、傾きセンサと地磁気センサとを有する。傾きセンサは、例えばＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）であり、３軸のジャイロと３方向の加速度計とによって車体の加速度及び角速度を計測する。傾きセンサは、計測結果に基づいて車体の傾きを検出し、即ち、図２（ａ）に示すようなグローバル座標（Ｘ，Ｙ，Ｚ）のＸ軸に対する回転を表すロール角θ２、図２（ｂ）に示すようなグローバル座標のＹ軸に対する回転を表すピッチ角θ１を計測する。ピッチ角θ１は、作業機による掘削作業に伴い車体が持ち上がる方向である。

地磁気センサは、南北を検出し、車体のグローバル座標のＺ軸に対する回転を表すヨー角θ３（不図示）の角度変位を計測する。

カメラ２３３は、二次元配列された複数の受光素子により、撮像面を含む受光面が構成されるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを備えたカメラである。カメラ２３３は、建機２００による作業中の映像又は画像を撮影する。この映像又は画像には、建機２００による作業で排土された土の画像が含まれる。

続いて、上述した建機２００による作業時の各種データ及び排土の画像を取得して、その土の土質を推定する推定装置１００の構成を説明する。

図３は、推定装置１００のハードウェア構成を示す図である。推定装置１００は、入力部７１０と、表示部７２０と、制御部７３０と、主記憶部７４０と、補助記憶部７５０と、通信部７６０と、を備え、これらは、バス７７０を介して互いに接続されている。

入力部７１０は、マウス、キーボード等を含む。表示部７２０は、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を含む。

制御部７３０は、例えば集積回路であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含む。制御部７３０は、補助記憶部７５０に記憶されるプログラムを実行することにより、推定装置１００の種々に機能を実現して、後述する推定処理を実行する。

主記憶部７４０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。主記憶部７４０には、補助記憶部７５０からプログラムがロードされる。そして、主記憶部７４０は、制御部７３０の作業領域として用いられる。

補助記憶部７５０は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）に代表される不揮発性メモリを含む。補助記憶部７５０は、プログラムの他に、制御部７３０の処理に用いられる種々のデータを記憶する。補助記憶部７５０は、制御部７３０の指示に従って、制御部７３０によって利用されるデータを制御部７３０に供給し、制御部７３０から供給されたデータを記憶する。

通信部７６０は、外部の装置のＥｔｈｅｒｎｅｔフレームを送受するためのネットワークインタフェース回路を含む。通信部７６０は、外部から信号を受信して、この信号により示されるデータを制御部７３０へ出力する。また、通信部７６０は、制御部７３０から出力されたデータを示す信号を外部の装置へ送信する。

なお、入力部７１０と表示部７２０は、推定装置１００と別体として構成されていてもよい。例えば、推定装置１００の制御ボックスから入力部７１０と表示部７２０とが延長ケーブル等で推定装置１００に接続されていてもよい。

また、推定装置１００の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。

また、制御部７３０によって実行されるプログラムを、コンピュータ読み取り可能な非一時的な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、本実施形態に係る推定装置１００を構成することができる。このような記録媒体としては、例えばフレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＭＯ（Ｍａｇｎｅｔｒｏ－Ｏｐｔｉｃａｌ Ｄｉｓｃ）が考えられる。

また、プログラムをインターネットに代表される通信ネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロードするようにしてもよい。

また、通信ネットワークを介してプログラムを転送しながら起動実行することによっても、本実施形態に係る推定装置１００を達成することができる。

さらに、プログラムの全部又は一部をサーバ装置上で実行させ、その処理に関する情報をコンピュータが通信ネットワークを介して送受信しながらプログラムを実行することによっても、本実施形態に係る推定装置１００を達成することができる。

なお、推定装置１００の機能を、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロードしてもよい。

また、推定装置１００の機能を実現する手段は、ソフトウェアに限られず、その一部又は全部を、回路を含む専用のハードウェアによって実現してもよい。

図４は、推定装置１００と建機２００の構成を示す図である。まず、推定装置１００は、時系列取得部１１０と、画像取得部１２０と、分割部１３０と、第１推定部１４０と、掘削抽出部１５０と、第２推定部１６０と、排土抽出部１７０と、第３推定部１８０と、判定部１９０と、を備える。

時系列取得部１１０は、建機２００が有する１以上のセンサが検知した時系列データを取得する。時系列取得部１１０は、有線又は無線ネットワークを通じて、建機２００から
後述するペイロード計算値、ブームヘッド圧、ブームボトム圧、旋回角速度、ピッチ角θ１、ロール角θ２、ヨー角θ３等の一連の作業に係る時系列データを取得する。例えば、上記の数値を検知する場合には、７次元ベクトルを時間順に並べたものが、ここで取得される時系列データとなる。

画像取得部１２０は、有線又は無線ネットワークを通じて、建機２００から、建機２００が有するカメラ２３３により撮影された画像を取得する。分割部１３０は、時系列取得部１１０により取得された時系列データを所定時間長の波形データに分割する。

第１推定部１４０は、分割部１３０により分割された波形データが検知された時間における建機２００による作業を第１分類器により推定する。第１分類器は、機械学習により学習された推論モデルであり、予め取得した波形データを入力データとし、その波形データが得られた際の建機２００による作業のラベリングを出力データとする訓練データによって予め学習されている。第１分類器には、例えばＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、決定木（ＣＡＲＴ、Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ）を適用できるほか、各種のニューラルネットワークを採用することとしても良い。

第１推定部１４０は、分割部１３０により分割された波形データを第１分類器に入力として与えることにより、その波形データが示す作業が掘削、旋回、又は排土のいずれであるかを推定する。また、第１推定部１４０は、第１分類器による推定がどの程度確実であるのかを示す第１確信度Ｃ１を併せて出力する。第1分類器には、各種の機械学習技術や深層学習技術、ニューラルネットワーク技術等を適用することができる。

掘削抽出部１５０は、分割部１３０により分割された波形データから、第１推定部１４０により推定された作業が掘削である波形データを抽出する。

第２推定部１６０は、掘削抽出部１５０により抽出された波形データが検知された時間において掘削された土の土質を第２分類器により推定する。第２分類器は、機械学習により学習された推論モデルであり、予め取得した波形データを入力データとし、その波形データが得られた際の土の土質をラベリングしたものを出力データとする訓練データによって予め学習されている。

第２分類器には、例えばＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、決定木（ＣＡＲＴ、Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ）を適用できるほか、各種のニューラルネットワークを採用することとしても良い。

第２推定部１６０は、掘削抽出部１５０により抽出された波形データを第２分類器に入力として与えることにより、その波形データが示す土の土質が、例えば軟岩であるか、又は土砂であるかを推定する。また、第２推定部１６０は、第２分類器による推定がどの程度確実であるのかを示す第２確信度Ｃ２を併せて出力する。

排土抽出部１７０は、分割部１３０により分割された波形データから、第１推定部１４０により推定された作業が排土である波形データを抽出する。

第３推定部１８０は、画像取得部１２０により取得された画像に撮影されている土の土質を第３分類器により推定する。第３分類器は、機械学習により学習された推論モデルであり、予め取得した排土の画像を入力データとし、その排土の画像をラベリングしたものを出力データとする訓練データによって予め学習されている。第３分類器には、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、決定木を適用できるほか、各種のニューラルネットワークを採用することとしても良い。
なお、第1分類器、第2分類器、第3分類器に適用可能な技術は、適宜変更が可能である。また、上記の説明で各分類器について掲げられた技術を、他の分類器に適用してもよい。

第３推定部１８０は、排土抽出部１７０により抽出された波形データが検知された時間における画像を第３分類器に入力として与えることにより、その画像に含まれる土の土質が、例えば軟岩であるか、又は土砂であるかを推定する。また、第３推定部１８０は、第３分類器による推定がどの程度確実であるのかを示す第３確信度Ｃ３を併せて出力する。

判定部１９０は、第２推定部１６０が推定した土の土質と、第３推定部１８０が推定した土の土質から、時系列データが検知された時間帯において作業された土の土質を判定する。

続いて、建機２００は、建機制御装置２１０と、操作装置２２０と、油圧センサ２３１、車体角度センサ２３２、カメラ２３３等の各種センサと、を備える。建機制御装置２１０は、コントローラ、所定の記憶装置等を含み、記憶装置に記憶されたプログラム及びデータを読み出して実行することにより、操作装置２２０からの指示に従って建機２００を制御したり、各種センサからデータを取得したりする。

建機制御装置２１０は、ペイロード計算部２１１を備える。ペイロード計算部２１１は、各油圧センサ２３１からの時系列データと、車体角度センサ２３２から計算したバケット３３の位置の時系列データとに基づいて、バケット３３に収容されている内容物の重量を計算する。また、建機制御装置２１０は、旋回体２０を旋回させる旋回軸の駆動に基づいて、旋回作業中の旋回角速度を計算する。

さらに、建機制御装置２１０は、例えば、油圧センサ２３１からブームヘッド圧及びブームボトム圧の時系列データを取得し、車体角度センサ２３２から上述したピッチ角θ１、ロール角θ２、ヨー角θ３の時系列データを取得し、カメラから映像又は画像を取得する。そして、建機制御装置２１０は、推定装置１００からの要求に従って、有線又は無線ネットワークを通じて、推定装置１００にペイロード計算値、旋回角速度、ブームヘッド圧、ブームボトム圧、ピッチ角θ１、ロール角θ２、ヨー角θ３等の時系列データを送信する。

図５は、推定装置１００によって実行される推定処理を説明するフローチャートである。推定処理では、建機２００から地盤に対する作業における各種時系列データと画像を取得し、その地盤に含まれる土の土質を推定する。以下、図５を参照して、推定処理を説明する。

推定処理は、例えば、推定処理のアプリ、プログラムが起動された際にスタートする。推定処理がスタートすると、まず、時系列取得部１１０は、建機２００に一連の作業における時系列データを要求し、取得する（ステップＳ５０１）。時系列データは、一連の作業における上述した各種時系列データの集合である。時系列データは、リアルタイムに得られるデータであってもよいし、一連の作業が終了した後にまとめて取得するデータであってもよい。

続いて、分割部１３０は、時系列データを所定時間長の波形データに分割する（ステップＳ５０２）。ここでは、分割部１３０は、５秒間隔で、図６（ａ）の例に示す時系列データＤを、図６（ｂ）の例に示すような波形データｄ１～ｄ１２に分割したとする。図６（ａ）（ｂ）では、理解を容易にするために、時系列データは、７つのセンサが検知した７つの数値の時系列を図示している。一般には、上記のように、時系列データは、多次元ベクトルが時間順に並んだデータである。時系列データが７次元ベクトルを０．１秒間隔で検知したものであり、５秒間隔で分割した場合には、波形データは、７次元のベクトルを５０個並べたものになる。

図５に戻り、ステップＳ５０３～ステップＳ５０５はループ処理である。第１推定部１４０は、分割された波形データｄ１を第１分類器に入力として与え、波形データｄ１における作業を推定する（ステップＳ５０４）。ここでは、第１推定部１４０は、図６（ｂ）に示すように、波形データｄ１における作業が旋回であると推定したとする。

全ての波形データｄ１～ｄ１２における作業が推定されるまでループ処理は繰り返される（ステップＳ５０５）。第１推定部１４０は、波形データｄ１、ｄ２における作業を旋回と、波形データｄ３～ｄ６における作業を掘削と、波形データｄ７、ｄ８における作業を旋回と、波形データｄ９～ｄ１１における作業を排土と、波形データｄ１２における作業を停止と推定したとする。

図５に戻り、第１推定部１４０が全ての波形データｄ１～ｄ１２における作業を推定すると、掘削抽出部１５０は、推定された作業が掘削である波形データを抽出する（ステップＳ５０６）。図６に示す例では、波形データｄ３～ｄ６が抽出される。

図５に戻り、続いて、ステップＳ５０７～ステップＳ５０９はループ処理である。第２推定部１６０は、まず、抽出された波形データｄ３～ｄ６のうち、波形データｄ３を第２分類器に入力として与え、波形データｄ３が示す土の土質を推定する（ステップＳ５０８）。抽出された全て波形データｄ３～ｄ６が示す土の土質が推定されるまでループ処理は繰り返される（ステップＳ５０９）。

第２推定部１６０は、抽出された全ての波形データｄ３～ｄ６が示す土の土質を推定すると、一連の作業における土の土質の推定結果を決定する（ステップＳ５１０）。例えば、第２推定部１６０は、４つの波形データｄ３～ｄ６の推定結果のうち、最も多く推定されたものを、その土の土質であると決定する。

その後、排土抽出部１７０は、第１推定部１４０により推定された作業が排土である波形データを抽出する（ステップＳ５１１）。図６に示す例では、波形データｄ９～ｄ１１が抽出される。

図５に戻り、ステップＳ５１２～ステップＳ５１５はループ処理である。画像取得部１２０は、排土抽出部１７０により抽出された波形データｄ９～ｄ１１のうち、波形データｄ９について、波形データｄ９が検知された時間を特定し、特定した時間における画像を建機２００に要求し、取得する（ステップＳ５１３）。

第３推定部１８０は、画像取得部１２０が取得した画像を第３分類器に入力として与え、その画像に含まれる土の土質を推定する（ステップＳ５１４）。排土抽出部１７０により抽出された全ての波形データｄ９～ｄ１１が検知された時間が特定され、特定されたそれぞれの時間における画像に含まれる土の土質が推定されるまでループ処理は繰り返される（ステップＳ５１５）。

第３推定部１８０は、全ての排土の画像について土の土質を推定すると、その推定結果を決定する（ステップＳ５１６）。例えば、第３推定部１８０は、３つの波形データｄ９～ｄ１１に係る画像の推定結果のうち、最も多く推定されたものを、その土の土質であると決定する。

その後、判定部１９０は、後述する判定処理を実行し、第２推定部１６０による推定結果（ステップＳ５１０）及び第３推定部１８０による推定結果（ステップＳ５１６）に基づいて、一連の作業における土の土質を最終的に判定する（ステップＳ６００）。判定部１９０による判定処理が終了すると、推定処理は終了する。

図７は、判定部１９０による判定処理の一態様を説明するフローチャートである。判定処理がスタートすると、まず、判定部１９０は、第２推定部１６０が推定した土の土質と、第３推定部１８０が推定した土の土質が同一であるか否かを判定する（ステップＳ６０１）。

判定部１９０は、第２推定部１６０により推定された土質と第３推定部１８０により推定された土質が同一であると判定した場合（ステップＳ６０１でＹｅｓ）、その土質を採用し、時系列データＤが検知された時間帯において作業された土の土質であると判定する（ステップＳ６０２）。

一方で、判定部１９０は、第２推定部１６０により推定された土質と第３推定部１８０により推定された土質が異なると判定した場合（ステップＳ６０１でＮｏ）、第２推定部１６０及び第３推定部１８０から、第２確信度Ｃ２及び第３確信度Ｃ３を取得する（ステップＳ６０３）。そして、判定部１９０は、第２確信度Ｃ２と第３確信度Ｃ３を比較する（ステップＳ６０４）。

判定部１９０は、第２確信度Ｃ２が第３確信度Ｃ３よりも大きいと判定した場合（ステップＳ６０４でＹｅｓ）、第２推定部１６０により推定された土質を採用し、時系列データＤが検知された時間帯において作業された土の土質であると判定する（ステップＳ６０５）。

一方で、判定部１９０は、第２確信度Ｃ２が第３確信度Ｃ３よりも小さいと判定した場合（ステップＳ６０４でＮｏ）、第３推定部１８０により推定された土質を採用し、時系列データＤが検知された時間帯において作業された土の土質であると判定する（ステップＳ６０６）。

判定部１９０により、最終的な土の土質が判定されると、処理は「Ａ」に進み、図５で説明される推定処理が終了する。

また、判定部１９０による判定処理には、機械学習により学習された推論モデルが用いられてもよい。図８は、判定部１９０による判定処理の他の態様を説明するフローチャートである。

図８で説明される判定処理で用いられる推論モデルは、判定処理に先立ち、予め取得された訓練データにより学習することで用意される。この推論モデルは、判定部１９０により予め用意されてもよい。即ち、推論モデルを、第２推定部１６０による推定結果と第２確信度Ｃ２及び第３推定部１８０による推定結果と第３確信度Ｃ３を入力とし、時系列データＤが検知された時間帯において作業された土質を出力とする、訓練データにより学習することで用意される。

判定処理がスタートすると、判定部１９０は、第２推定部１６０による推定結果と第２確信度Ｃ２及び第３推定部１８０による推定結果と第３確信度Ｃ３を予め用意された推論モデルに入力として与える（ステップＳ６２１）。そして、判定部１９０は、推論モデルから出力された結果を、時系列データＤが検知された時間帯において作業された土の土質として判定する（ステップＳ６２２）。

判定部１９０により、最終的な土の土質が判定されると、処理は「Ａ」に進み、図５で説明される推定処理が終了する。

以上のように本実施形態によれば、一連の作業において建機が有する複数のセンサにより検知された時系列データを取得し、掘削作業時のデータを抽出した後、機械学習で学習された推論モデルを用いて土の土質を推定する。これにより、作業者が建機により調査対象の地盤に対して作業をすると、その地盤の土の土質を推定することができるため、地質調査に要する時間を短縮することができる。また、機械学習により学習された推論モデルを用いるため、作業者によらず一定の質を有する地質調査を行うことができる。

また、本実施形態によれば、上述した推定に加えて、建機から排土作業時の画像を取得し、機械学習で学習された他の推論モデルを用いて土の土質を推定し、最終的な判定に利用する。これにより、より精度よく土の土質を推定することができる。

本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この開示を説明するためのものであり、本開示の範囲を限定するものではない。すなわち、本開示の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、この開示の範囲内とみなされる。

本発明は、地質調査のための推定装置に広く適用することができる。

１０ 走行体
２０ 旋回体
３０ 作業機
３１ ブーム
３２ アーム
３３ バケット
３４ ブームシリンダ
３５ アームシリンダ
３６ バケットシリンダ
４０ ブレード
１００ 推定装置
１１０ 時系列取得部
１２０ 画像取得部
１３０ 分割部
１４０ 第１推定部
１５０ 掘削抽出部
１６０ 第２推定部
１７０ 排土抽出部
１８０ 第３推定部
１９０ 判定部
２００ 建機
２１０ 建機制御装置
２１１ ペイロード計算部
２２０ 操作装置
２２１ 運転席
２２２ 操作レバー
２３１ 油圧センサ
２３２ 車体角度センサ
２３３ カメラ
７１０ 入力部
７２０ 表示部
７３０ 制御部
７４０ 主記憶部
７５０ 補助記憶部
７６０ 通信部
７７０ バス
ｄ１～ｄ１２ 波形データ
Ｄ 時系列データ
α、β、γ 角度
θ１ ピッチ角
θ２ ロール角

Claims (13)

1. 建機が有する１以上のセンサが第１時間帯において検知した時系列データを取得する時系列取得部と、
   前記取得された時系列データを所定時間長の波形データに分割する分割部と、
   前記分割された波形データのそれぞれから、前記建機による作業を、学習済みの第１分類器により推定する第１推定部と、
   前記分割された波形データから、前記推定された作業が掘削である波形データを抽出する掘削抽出部と、
   前記掘削抽出部により抽出された波形データのそれぞれから、掘削された土の土質が第１の土質か、第２の土質かを、学習済みの第２分類器により推定する第２推定部と、
   前記推定された土質から、前記第１時間帯において作業された土の土質が第１の土質か、第２の土質かを判定する判定部と、
   を備え、
   前記１以上のセンサは、油圧センサを含み、
   前記時系列データは、前記油圧センサが検知した前記建機のブームボトム圧の時系列データを含む、
   ことを特徴とする推定装置。
2. 建機が有する１以上のセンサが第１時間帯において検知した時系列データを取得する時系列取得部と、
   前記取得された時系列データを所定時間長の波形データに分割する分割部と、
   前記分割された波形データのそれぞれから、前記建機による作業を、学習済みの第１分類器により推定する第１推定部と、
   前記分割された波形データから、前記推定された作業が掘削である波形データを抽出する掘削抽出部と、
   前記掘削抽出部により抽出された波形データのそれぞれから、掘削された土の土質が第１の土質か、第２の土質かを、学習済みの第２分類器により推定する第２推定部と、
   前記分割された波形データから、前記推定された作業が排土である波形データを抽出する排土抽出部と、
   前記排土抽出部により抽出された波形データが前記建機において検知されていた第２時間帯において、前記建機が有するカメラにより撮影された画像を取得する画像取得部と、
   前記取得された画像から、当該画像に撮影されている土の土質が第１の土質か、第２の土質かを、学習済みの第３分類器により推定する第３推定部と、
   前記推定された土質から、前記第１時間帯において作業された土の土質が第１の土質か、第２の土質かを判定する判定部と、
   を備え、
   前記１以上のセンサは、油圧センサを含み、
   前記時系列データは、前記油圧センサが検知した前記建機のブームボトム圧の時系列データを含む、
   ことを特徴とする推定装置。
3. 前記第２推定部は、前記第２推定部により推定された土質に対する確信度をさらに出力し、
   前記第３推定部は、前記第３推定部により推定された土質に対する確信度をさらに出力し、
   前記判定部は、前記第２推定部により推定された土質及び前記第３推定部により推定された土質が
   同一である場合には、当該土質を前記時系列データが検知された前記第１時間帯において作業された土の土質であると判定し、
   異なる場合には、確信度が高い方の推定部が推定した土質を、前記時系列データが検知された前記第１時間帯において作業された土の土質であると判定する、
   ことを特徴とする請求項２に記載の推定装置。
4. 前記第２推定部は、前記第２推定部により推定された土質に対する確信度をさらに出力し、
   前記第３推定部は、前記第３推定部により推定された土質に対する確信度をさらに出力し、
   前記判定部は、
   推論モデルに、前記第２推定部による推定結果とその確信度及び前記第３推定部による推定結果とその確信度を入力とし、前記時系列データが検知された時間帯において作業された土質を出力とする、訓練データを学習させ、
   前記第２推定部による新たな推定結果とその確信度及び前記第３推定部による新たな推定結果とその確信度を、前記学習させた推論モデルに入力として与えることにより、前記時系列データが新たに検知された時間帯において作業された土の土質を判定する、
   ことを特徴とする請求項２に記載の推定装置。
5. 前記第１分類器及び前記第２分類器は、ＲＮＮ、ＬＳＴＭ又は決定木である、
   ことを特徴とする請求項２に記載の推定装置。
6. 前記第３分類器は、ＣＮＮ又は決定木である、
   ことを特徴とする請求項２に記載の推定装置。
7. 前記第１の土質は軟岩であり、前記第２の土質は土砂である、
   ことを特徴とする請求項１から６の何れか一項に記載の推定装置。
8. 前記時系列データは、前記油圧センサが検知した前記建機のブームヘッド圧の時系列データをさらに含む、
   ことを特徴とする請求項１又は２に記載の推定装置。
9. 前記１以上のセンサは、車体角度センサをさらに含み、
   前記時系列データは、前記車体角度センサが検知した前記建機のピッチ角、前記車体角度センサが検知した前記建機のロール角、前記車体角度センサが検知した前記建機のヨー角、前記時系列データに基づいて計算したバケットに収容される内容物の重量を示すペイロード計算値、前記建機が有する旋回体の旋回角速度、のいずれか少なくとも１つの時系列データをさらに含む、
   ことを特徴とする請求項１又は２に記載の推定装置。
10. コンピュータが、
    建機が有する１以上のセンサが第１時間帯において検知した時系列データを取得し、
    前記取得された時系列データを所定時間長の波形データに分割し、
    前記分割された波形データのそれぞれから、前記建機による作業を、学習済みの第１分類器により推定し、
    前記分割された波形データから、前記推定された作業が掘削である波形データを抽出し、
    前記抽出された波形データのそれぞれから、掘削された土の土質が第１の土質か、第２の土質かを、学習済みの第２分類器により推定し、
    前記推定された土質から、前記第１時間帯において作業された土の土質が第１の土質か、第２の土質かを判定し、
    前記１以上のセンサは、油圧センサを含み、
    前記時系列データは、前記油圧センサが検知した前記建機のブームボトム圧の時系列データを含む、
    ことを特徴とする推定方法。
11. コンピュータが、
    建機が有する１以上のセンサが第１時間帯において検知した時系列データを取得し、
    前記取得された時系列データを所定時間長の波形データに分割し、
    前記分割された波形データのそれぞれから、前記建機による作業を、学習済みの第１分類器により推定し、
    前記分割された波形データから、前記推定された作業が掘削である波形データを抽出し、
    前記抽出された波形データのそれぞれから、掘削された土の土質が第１の土質か、第２の土質かを、学習済みの第２分類器により推定し、
    前記分割された波形データから、前記推定された作業が排土である波形データを抽出し、
    前記抽出された波形データであって前記推定された作業が排土である波形データが前記建機において検知されていた第２時間帯において、前記建機が有するカメラにより撮影された画像を取得し、
    前記取得された画像から、当該画像に撮影されている土の土質が第１の土質か、第２の土質かを、学習済みの第３分類器により推定し、
    前記推定された土質から、前記第１時間帯において作業された土の土質が第１の土質か、第２の土質かを判定し、
    前記１以上のセンサは、油圧センサを含み、
    前記時系列データは、前記油圧センサが検知した前記建機のブームボトム圧の時系列データを含む、
    ことを特徴とする推定方法。
12. コンピュータを、
    建機が有する１以上のセンサが第１時間帯において検知した時系列データを取得する時系列取得部、
    前記取得された時系列データを所定時間長の波形データに分割する分割部、
    前記分割された波形データのそれぞれから、前記建機による作業を、学習済みの第１分類器により推定する第１推定部、
    前記分割された波形データから、前記推定された作業が掘削である波形データを抽出する掘削抽出部、
    前記掘削抽出部により抽出された波形データのそれぞれから、掘削された土の土質が第１の土質か、第２の土質かを、学習済みの第２分類器により推定する第２推定部、
    前記推定された土質から、前記第１時間帯において作業された土の土質が第１の土質か、第２の土質かを判定する判定部、として機能させ、
    前記１以上のセンサは、油圧センサを含み、
    前記時系列データは、前記油圧センサが検知した前記建機のブームボトム圧の時系列データを含む、
    ことを特徴とするプログラム。
13. コンピュータを、
    建機が有する１以上のセンサが第１時間帯において検知した時系列データを取得する時系列取得部、
    前記取得された時系列データを所定時間長の波形データに分割する分割部、
    前記分割された波形データのそれぞれから、前記建機による作業を、学習済みの第１分類器により推定する第１推定部、
    前記分割された波形データから、前記推定された作業が掘削である波形データを抽出する掘削抽出部、
    前記掘削抽出部により抽出された波形データのそれぞれから、掘削された土の土質が第１の土質か、第２の土質かを、学習済みの第２分類器により推定する第２推定部、
    前記分割された波形データから、前記推定された作業が排土である波形データを抽出する排土抽出部、
    前記排土抽出部により抽出された波形データが前記建機において検知されていた第２時間帯において、前記建機が有するカメラにより撮影された画像を取得する画像取得部、
    前記取得された画像から、当該画像に撮影されている土の土質が第１の土質か、第２の土質かを、学習済みの第３分類器により推定する第３推定部、
    前記推定された土質から、前記第１時間帯において作業された土の土質が第１の土質か、第２の土質かを判定する判定部、として機能させ、
    前記１以上のセンサは、油圧センサを含み、
    前記時系列データは前記油圧センサが検知した前記建機のブームボトム圧の時系列データを含む、
    ことを特徴とするプログラム。

Images