JP7137328B2 - 作業分析装置および作業分析方法 - Google Patents

Description

本発明は、作業機械の作業分析装置および作業分析方法に係る。

作業機械の動作に関する動作情報を収集し、作業機械の作業を推定する技術が知られている。特許文献１には、作業機械の稼働状態に依存する複数の運転変数の時間変化に基づいて、作業機械の作業内容を推定する技術が開示されている。

特開２０１４－２１４５６６号公報

ところで、オペレータの技量判定および評価、ならびに作業の解析を行う場合、作業機械の作業について、多角的に解析を行うことが好ましい。例えば、掘削積込作業に対して評価を行う際に、掘削積込作業に関係する作業を特定することで、改善のための情報を取得できるようになる。
本発明の目的は、作業機械の作業の多角的な解析を可能にする作業分析装置および作業分析方法を提供することにある。

本発明の第１の態様によれば、作業分析装置は、作業機械の状態を示す状態データの時系列を取得する状態データ取得部と、前記作業機械の一の作業目的を遂行する作業を示す単位作業の区分を示すラベルデータの時系列と、前記単位作業を構成する要素であって目的別に区分される一連の動作または作業を示す要素作業の区分を示すラベルデータの時系列とを取得するラベルデータ取得部と、前記取得した状態データの時系列と前記ラベルデータの時系列とに基づいて、前記単位作業の区分と、前記要素作業の区分とを特定する作業特定部と、を備える。

上記態様によれば、作業分析装置が特定した単位作業および要素作業に係る情報に基づいて、管理者は作業機械の作業について多角的な解析を行うことができる。

一実施形態に係る作業分析システムの構成を示す概略図である。 第１の実施形態に係る油圧ショベルの構成を示す斜視図である。 第１の実施形態に係るラベリング装置の構成を示す概略ブロック図である。 第１の実施形態に係る作業分析装置の構成を示す概略ブロック図である。 作業の区分を表すヒートマップの例を示す図である。 作業の区分の内訳を表す内訳グラフの例を示す図である。 掘削積込ごとの要素作業の内訳を表すグラフの例を示す図である。 掘削積込ごとの積込回数を表すグラフの例を示す図である。 第１の実施形態に係る作業分析装置の学習処理を示すフローチャートである。 第１の実施形態に係る作業分析装置による作業分析方法を示すフローチャートである。

《全体構成》
図１は、一実施形態に係る作業分析システムの構成を示す概略図である。
状態分析システム１は、作業機械１００と作業分析装置３００とラベリング装置２００を備える。

作業機械１００は、作業分析装置３００による作業分析の対象である。作業機械１００の例としては、油圧ショベルやホイルローダなどが挙げられる。なお、第１の実施形態においては、作業機械１００の例として油圧ショベルを挙げて説明する。作業機械１００には、複数のセンサおよび撮像装置が設けられ、各センサの計測値に係る情報および動画像が作業分析装置３００に送信される。
ラベリング装置２００は、作業分析装置３００に記憶された動画像に、そのときの作業機械１００の作業の区分を示すラベルを付したラベルデータを生成する。つまり、ラベルデータは、作業の区分を示すラベルの時系列である。

作業分析装置３００は、作業機械１００から受信する情報とラベリング装置２００から受信するラベルデータとに基づいて学習されたモデルに基づいて、作業機械１００の作業の区分を表す画面を出力する。利用者は、作業分析装置３００が出力する画面を視認することで、作業機械１００の作業を認識することができる。

《油圧ショベル》
図２は、第１の実施形態に係る油圧ショベルの構成を示す斜視図である。
作業機械１００は、走行体１１０と、走行体１１０に支持される旋回体１２０と、油圧により作動し旋回体１２０に支持される作業機１３０とを備える。旋回体１２０は、旋回中心を中心として走行体１１０に旋回自在に支持される。

走行体１１０は、左右に設けられた無限軌道１１１と、各無限軌道１１１を駆動するための２つの走行モータ１１２を備える。

作業機１３０は、ブーム１３１と、アーム１３２と、バケット１３３と、ブームシリンダ１３４と、アームシリンダ１３５と、バケットシリンダ１３６とを備える。

ブーム１３１の基端部は、旋回体１２０にブームピンＰ１を介して取り付けられる。
アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にアームピンＰ２を介して取り付けられる。
バケット１３３は、土砂などを掘削するための刃先と掘削した土砂を収容するための収容部とを備える。バケット１３３の基端部は、アーム１３２の先端部にバケットピンＰ３を介して取り付けられる。なお、バケット１３３は、例えば法面バケットのように整地を目的としたバケットでもよいし、収容部を備えないバケットでもよい。また、作業機１３０は、バケット１３３に代えて、打突によって粉砕力を与えるためのブレーカや、対象物を把持するグラップルなどの他のアタッチメントを備えてもよい。

ブームシリンダ１３４は、ブーム１３１を作動させるための油圧シリンダである。ブームシリンダ１３４の基端部は、旋回体１２０に取り付けられる。ブームシリンダ１３４の先端部は、ブーム１３１に取り付けられる。
アームシリンダ１３５は、アーム１３２を駆動するための油圧シリンダである。アームシリンダ１３５の基端部は、ブーム１３１に取り付けられる。アームシリンダ１３５の先端部は、アーム１３２に取り付けられる。
バケットシリンダ１３６は、バケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３６の基端部は、アーム１３２に取り付けられる。バケットシリンダ１３６の先端部は、バケット１３３に取り付けられる。

旋回体１２０には、オペレータが搭乗する運転室１２１が備えられる。運転室１２１は、旋回体１２０の前方かつ作業機１３０の左側に備えられる。
旋回体１２０は、エンジン１２２、油圧ポンプ１２３、コントロールバルブ１２４、旋回モータ１２５、操作装置１２６、撮像装置１２７、データ集約装置１２８を備える。なお、他の実施形態においては、作業機械１００がネットワークを介した遠隔操作によって動作してもよいし、自動運転によって動作してもよい。この場合、作業機械１００は、運転室１２１および操作装置１２６を備えなくてもよい。

エンジン１２２は、油圧ポンプ１２３を駆動する原動機である。
油圧ポンプ１２３は、エンジン１２２により駆動され、コントロールバルブ１２４を介して各アクチュエータ（ブームシリンダ１３４、アームシリンダ１３５、バケットシリンダ１３６、走行モータ１１２、および旋回モータ１２５）に作動油を供給する。
コントロールバルブ１２４は、油圧ポンプ１２３から供給される作動油の流量を制御する。
旋回モータ１２５は、コントロールバルブ１２４を介して油圧ポンプ１２３から供給される作動油によって駆動し、旋回体１２０を旋回させる。

操作装置１２６は、運転室１２１の内部に設けられる２つのレバーである。操作装置１２６は、ブーム１３１の上げ操作および下げ操作、アーム１３２の押し操作および引き操作、バケット１３３の掘削操作およびダンプ操作、旋回体１２０の右旋回操作および左旋回操作、ならびに走行体１１０の前進操作および後退操作の指令を受け付ける。具体的には、右側操作レバーの前方向の操作は、ブーム１３１の下げ操作の指令に対応する。右側操作レバーの後方向の操作は、ブーム１３１の上げ操作の指令に対応する。右側操作レバーの右方向の操作は、バケット１３３のダンプ操作の指令に対応する。右側操作レバーの左方向の操作は、バケット１３３の掘削操作の指令に対応する。左側操作レバーの前方向の操作は、アーム１３２の引き操作の指令に対応する。左側操作レバーの後方向の操作は、アーム１３２の押し操作の指令に対応する。左側操作レバーの右方向の操作は、旋回体１２０の右旋回操作の指令に対応する。左側操作レバーの左方向の操作は、旋回体１２０の左旋回操作の指令に対応する。
操作装置１２６の傾きに応じて、コントロールバルブ１２４の各アクチュエータへつながる流路の開度が制御される。操作装置１２６は、例えば傾きに応じてパイロット作動油の流量を変化させるバルブを有し、パイロット作動油がコントロールバルブ１２４のスプールを作動させることで、コントロールバルブ１２４の開度を制御する。

撮像装置１２７は、運転室１２１の上部に設けられる。撮像装置１２７は、運転室１２１の前方の画像であって作業機１３０が写る動画像を撮像する。撮像装置１２７が撮像した動画像は、タイムスタンプと共にデータ集約装置１２８に記憶される。

データ集約装置１２８は、作業機械１００が備える複数のセンサから検出値を収集し、タイムスタンプに関連付けて記憶する。またデータ集約装置１２８は、複数のセンサから収集した検出値の時系列、および撮像装置１２７が撮像した動画像を作業分析装置３００に送信する。センサの検出値および動画像は、作業機械１００の状態を示す状態データの一例である。データ集約装置１２８は、図示しないプロセッサ、メインメモリ、ストレージ、インタフェースを備えるコンピュータである。データ集約装置１２８のストレージは、データ集約プログラムを記憶する。データ集約装置１２８のプロセッサは、データ集約プログラムをストレージから読み出してメインメモリに展開し、データ集約プログラムに従った検出値および動画像の収集処理、ならびに送信処理を実行する。なお、データ集約装置１２８は、作業機械１００の内部に設けられてもよいし外部に設けられてもよい。

作業機械１００は、複数のセンサを備える。各センサは、計測値をデータ集約装置１２８に出力する。具体的には、作業機械１００は、回転数センサ１４１、トルクセンサ１４２、燃料センサ１４３、パイロット圧センサ１４４、ブームシリンダヘッド圧センサ１４５、ブームシリンダボトム圧センサ１４６、ブームストロークセンサ１４７、アームストロークセンサ１４８、バケットストロークセンサ１４９を備える。

回転数センサ１４１は、エンジン１２２に設けられ、エンジン１２２の回転数を計測する。
トルクセンサ１４２は、エンジン１２２に設けられ、エンジン１２２のトルクを計測する。
燃料センサ１４３は、エンジン１２２に設けられ、エンジンの消費燃料量（瞬時燃費）を計測する。

パイロット圧センサ１４４は、コントロールバルブ１２４に設けられ、操作装置１２６からの各パイロット作動油の圧力（ＰＰＣ圧）を計測する。具体的には、パイロット圧センサ１４４は、ブーム１３１の上げ操作に係るＰＰＣ圧（ブーム上げＰＰＣ圧）、ブーム１３１の下げ操作に係るＰＰＣ圧（ブーム下げＰＰＣ圧）、アーム１３２の押し操作に係るＰＰＣ圧（アーム押しＰＰＣ圧）、アーム１３２の引き操作に係るＰＰＣ圧（アーム引きＰＰＣ圧）、バケット１３３の掘削操作に係るＰＰＣ圧（バケット掘削ＰＰＣ圧）、バケット１３３のダンプ操作に係るＰＰＣ圧（バケットダンプＰＰＣ圧力）、旋回体１２０の右旋回操作に係るＰＰＣ圧（右旋回ＰＰＣ圧）、旋回体１２０の左旋回操作に係るＰＰＣ圧（左旋回ＰＰＣ圧）、左側の無限軌道１１１の前進操作に係るＰＰＣ圧（左前進ＰＰＣ圧）、左側の無限軌道１１１の後退操作に係るＰＰＣ圧（左後退ＰＰＣ圧）、右側の無限軌道１１１の前進操作に係るＰＰＣ圧（右前進ＰＰＣ圧）、および右側の無限軌道１１１の後退操作に係るＰＰＣ圧（右後退ＰＰＣ圧）を計測する。なお、他の実施形態においては、パイロット圧センサ１４４に代えて、操作装置１２６が出力する操作信号を検出する検出器を備えてもよい。

ブームシリンダヘッド圧センサ１４５は、ブームシリンダ１３４のヘッド側の油室の圧力を計測する。
ブームシリンダボトム圧センサ１４６は、ブームシリンダ１３４のボトム側の油室の圧力を計測する。

ブームストロークセンサ１４７は、ブームシリンダ１３４のストローク量を計測する。
アームストロークセンサ１４８は、アームシリンダ１３５のストローク量を計測する。
バケットストロークセンサ１４９は、バケットシリンダ１３６のストローク量を計測する。なお、他の実施形態においては、各ストロークセンサに代えて、作業機１３０の角度を直接測る角度計を備えてもよいし、ブーム１３１、アーム１３２、およびバケット１３３のそれぞれに傾斜計またはＩＭＵを備えてもよい。また他の実施形態においては、撮像装置１２７が撮像した作業機１３０が写る画像から作業機１３０の角度を算出してもよい。

データ集約装置１２８は、各センサの計測値に基づいて、作業機械１００の他の状態データを特定してもよい。例えば、データ集約装置１２８は、ブームシリンダボトム圧センサ１４６の計測値に基づいて、作業機１３０の実加重を算出してもよい。また例えばデータ集約装置１２８は、ブームストロークセンサ１４７、アームストロークセンサ１４８およびバケットストロークセンサ１４９に基づいて、作業機１３０の揚程を算出してもよい。

《ラベリング装置の構成》
図３は、第１の実施形態に係るラベリング装置の構成を示す概略ブロック図である。
ラベリング装置２００は、プロセッサ２１、メインメモリ２２、ストレージ２３、インタフェース２４を備えるコンピュータである。ラベリング装置２００の例としては、ＰＣ、スマートフォン、およびタブレット端末などが挙げられる。ラベリング装置２００は、どこに設置されてもよい。つまり、ラベリング装置２００は、作業機械１００に搭載されてもよいし、作業分析装置３００に搭載されてもよいし、作業機械１００および作業分析装置３００と別個に設けられてもよい。ストレージ２３は、ラベリングプログラムを記憶する。プロセッサ２１は、ラベリングプログラムをストレージ２３から読み出してメインメモリ３３に展開し、ラベリングプログラムに従った処理を実行する。

ストレージ２３の例としては、半導体メモリ、ディスクメディアおよびテープメディア等が挙げられる。ストレージ２３は、ラベリング装置２００の共通通信線に直接接続された内部メディアであってもよいし、インタフェース２４を介してラベリング装置２００に接続される外部メディアであってもよい。ストレージ２３は、一時的でない有形の記憶媒体である。

プロセッサ２１は、ラベリングプログラムの実行により、動画像取得部２１１、動画像表示部２１２、ラベル入力部２１３、ラベルデータ生成部２１４、ラベルデータ送信部２１５を備える。

動画像取得部２１１は、作業分析装置３００から動画像を受信する。動画像の各フレーム画像には、撮像時刻を示すタイムスタンプが関連付けられている。
動画像表示部２１２は、動画像取得部２１１が取得した動画像をディスプレイに表示させる。
ラベル入力部２１３は、動画像の再生中に、利用者から、再生タイミングにおいて作業機械１００が実行している作業の区分を示すラベル値の入力を受け付ける。
ラベルデータ生成部２１４は、ラベル入力部２１３に入力されたラベル値を、入力された再生タイミングを示すタイムスタンプに関連付けたラベルデータを生成する。ラベルデータは、例えば、作業の区分を行とし、時刻を列とする行列であって、その時刻にその区分に係る作業がなされたか否かを表す値を要素に持つ行列であってよい。つまり、ラベルデータは、ｉ列ｊ行目の要素の値ｗ_ｉｊを、時刻ｔ_ｉに区分ａ_ｊに係る作業がなされているときに１とし、時刻ｔ_ｉに区分ａ_ｊに係る作業がなされていないときに０とする行列であってよい。
ラベルデータ送信部２１５は、ラベルデータを作業分析装置３００に送信する。

《作業の区分の例》
ラベル入力部２１３に入力される作業の区分の例について説明する。
ラベル入力部２１３は、利用者から、単位作業に係るラベル値と要素作業に係るラベル値の入力を受け付ける。単位作業とは、一の作業目的を遂行する作業である。要素作業とは、単位作業を構成する要素であって目的別に区分される一連の動作または作業を示す作業である。

要素作業の区分の例としては、「掘削」、「積荷旋回」、「排土」、「空荷旋回」、「排土待ち」、「荷台抑え」、「転圧」、「押し均し」、「ホウキ」が挙げられる。
掘削は、バケット１３３によって土砂または岩石を掘り、削り取る作業である。
積荷旋回は、削り取った土砂または岩石をバケット１３３に抱えたまま、旋回体１２０を旋回させる作業である。
排土は、削り取った土砂または岩石を、バケット１３３から運搬車両または所定の場所に下ろす作業である。
空荷旋回は、バケット１３３に土砂および岩石が無い状態で、旋回体１２０を旋回させる作業である。
排土待ちは、削り取った土砂または岩石をバケット１３３に抱えたまま、積み込むための運搬車両を待機している作業である。
荷台押えは、運搬車両の荷台に積み込んだ土砂を上からバケット１３３で押えて平らにする作業である。
転圧は、乱れた地盤に対してバケット１３３で土砂を押し込み、地盤を成形し、また強化する作業である。
押し均しは、バケット１３３の底面で土砂を払い均す作業である。
ホウキは、バケット１３３の側面で土砂を払い均す作業である。

単位作業の区分の例としては、「掘削積込」、「溝掘削」、「埋戻し」、「鋤取り」、「法面（上から）」、「法面（下から）」、「積荷集め」、「走行」、「停車」が挙げられる。
掘削積込は、土砂または岩石を掘り、削り取り、削り取った土砂または岩石を運搬車両の荷台に積み込む作業である。掘削積込は、掘削、積荷旋回、排土、空荷旋回、排土待ちおよび荷台押えで構成される単位作業である。
溝掘削は、地盤を溝状に細長く掘り、削り取る作業である。溝掘削は、掘削、積荷旋回、排土、および空荷旋回で構成され、押し均しを含み得る単位作業である。
埋戻しは、地盤に既に空いている溝または穴に土砂を入れて平らに埋め戻す作業である。埋戻しは、掘削、積荷旋回、排土、転圧、および空荷旋回で構成され、押し均しおよびホウキを含み得る単位作業である。
鋤取りは、地面の余分な起伏を所定の高さにするため平らに削り取る作業である。鋤取りは、掘削および排土、または掘削、積荷旋回、排土、および空荷旋回で構成され、押し均しおよびホウキを含み得る単位作業である。
法面（上から）は、対象箇所の上方に位置する作業機械１００によって斜面を作る作業である。法面（上から）は、転圧、掘削、積荷旋回、排土、空荷旋回で構成され、押し均しを含み得る単位作業である。
法面（下から）は、対象箇所の下方に位置する作業機械１００によって斜面を作る作業である。法面（下から）は、転圧、掘削、積荷旋回、排土、空荷旋回で構成され、押し均しを含み得る単位作業である。
積荷集めは、掘削等によって出た土砂を、運搬車両に積む前に集めておく作業である。積荷集めは、掘削、積荷旋回、排土、空荷旋回で構成され、押し均しを含み得る単位作業である。
走行は、作業機械１００を移動させる作業である。単位作業としての走行は、要素作業としての走行から構成される単位作業である。
停車は、バケット１３３に土砂および岩石が無く、かつ所定時間以上停止している状態である。単位作業としての停車は、要素作業としての停車から構成される単位作業である。

なお、「掘削積込」、「溝掘削」、「埋戻し」、「鋤取り」、「法面（上から）」、および「法面（下から）」、は、仕事の直接的な目的に寄与する作業である主体作業の一例である。「積荷集め」、「走行」は、主体作業を行うための付帯作業の一例である。

《作業分析装置の構成》
図４は、第１の実施形態に係る作業分析装置の構成を示す概略ブロック図である。
作業分析装置３００は、プロセッサ３１、メインメモリ３３、ストレージ３５、インタフェース３７を備えるコンピュータである。ストレージ３５は、作業分析プログラムを記憶する。プロセッサ３１は、作業分析プログラムをストレージ３５から読み出してメインメモリ３３に展開し、作業分析プログラムに従った処理を実行する。なお、第１の実施形態に係る作業分析装置３００は、作業機械１００の外部に設けられるが、他の実施形態においては作業分析装置３００は、その機能の一部または全部が作業機械１００の内部に設けられてもよい。

ストレージ３５の例としては、半導体メモリ、ディスクメディアおよびテープメディア等が挙げられる。ストレージ３５は、作業分析装置３００の共通通信線に直接接続された内部メディアであってもよいし、インタフェース３７を介して作業分析装置３００に接続される外部メディアであってもよい。ストレージ３５は、一時的でない有形の記憶媒体である。

プロセッサ３１は、作業分析プログラムの実行により、状態データ取得部３１１、動画像取得部３１２、ラベルデータ取得部３１３、学習部３１４、作業特定部３１５、平滑化部３１６、ヒートマップ生成部３１７、内訳グラフ生成部３１８、掘削積込グラフ生成部３１９、出力部３２０を備える。またプロセッサ３１は、作業分析プログラムの実行により、メインメモリ３３に状態データ記憶部３３１、動画像記憶部３３２、ラベルデータ記憶部３３３、モデル記憶部３３４の記憶領域を確保する。

状態データ取得部３１１は、作業機械１００のデータ集約装置１２８から作業機械１００の状態を示す状態データの時系列を取得する。つまり、状態データ取得部３１１は、タイムスタンプと状態データの複数の組み合わせを取得する。状態データは、作業機械１００の各センサの計測値および計測値に基づいてデータ集約装置１２８が求めた値を含んでよい。状態データ取得部３１１は、取得した状態データの時系列を、作業機械１００のＩＤに関連付けて状態データ記憶部３３１に記憶させる。

動画像取得部３１２は、作業機械１００のデータ集約装置１２８から撮像装置１２７が撮像した動画像を取得する。動画像取得部３１２は、取得した動画像を作業機械１００のＩＤに関連付けて動画像記憶部３３２に記憶させる。

ラベルデータ取得部３１３は、ラベリング装置２００から単位作業のラベルデータと要素作業のラベルデータとを取得する。ラベルデータ取得部３１３は、撮像装置１２７のフレーム周期と各センサの検出周期とが異なる場合、ラベルデータのタイムスタンプと状態データのタイムスタンプとを一致させる。例えば、ラベルデータ取得部３１３は、ラベルデータのタイムスタンプが、状態データのタイムスタンプに一致するように、ラベルデータの時系列を再構成する。ラベルデータ取得部３１３は、取得したラベルデータの時系列を作業機械１００のＩＤに関連付けてラベルデータ記憶部３３３に記憶させる。つまり、ラベルデータ取得部３１３は、タイムスタンプとラベルデータの複数の組み合わせを、それぞれ作業機械１００のＩＤに関連付けてラベルデータ記憶部３３３に記憶させる。

学習部３１４は、状態データ記憶部３３１が記憶する状態データの時系列と、ラベルデータ記憶部３３３が記憶するラベルデータの時系列との組み合わせを教師データとして、状態データの時系列を入力して、作業の区分の時系列を出力するように予測モデルを学習させる。予測モデルの例としては、ニューラルネットワークモデル、決定木モデル、サポートベクターマシンモデルなどが挙げられる。学習部３１４は、学習済みの予測モデルをモデル記憶部３３４に記憶させる。

作業特定部３１５は、状態データ取得部３１１が取得した新たな状態データの時系列と、モデル記憶部３３４が記憶する予測モデルとに基づいて、作業の区分に係る尤度の時系列を得る。例えば、作業特定部３１５は、以下の手順で作業の区分に係る尤度の時系列を得る。作業特定部３１５は、状態データの時系列から、作業を特定する時点の状態データを取得する。次に作業特定部３１５は、取得した状態データに基づいて各作業の区分の尤度を特定し結果を取得する。作業特定部３１５は、各時点について特定した作業の区分の尤度を時系列として集計する。
具体的には、作業特定部３１５は、作業の区分を行とし、時刻を列とする行列であって、その時刻にその区分に係る作業の尤度を要素に持つ行列を得る。つまり、尤度の時系列は、ｉ列ｊ行目の要素の値ｗ_ｉｊを、時刻ｔ_ｉにおける作業が区分ａ_ｊに係る作業である尤度とする行列であってよい。作業特定部３１５は、単位作業に係る尤度の時系列を得ることで、作業機械１００による単位作業の区分を特定する。作業特定部３１５は、要素作業に係る尤度の時系列を得ることで、作業機械１００による要素作業の区分を特定する。

平滑化部３１６は、作業特定部３１５が得た作業の区分ごとの尤度の時系列の平滑化処理を行う。例えば、平滑化部３１６は、尤度の時系列を時間平均フィルタに掛けることで、尤度の時系列を平滑化する。つまり、平滑化部３１６は、単位作業の尤度の時系列および要素作業の尤度の時系列のそれぞれについて、単位時間当たりの代表値を特定する。
このとき、要素作業に係る時間平均フィルタの窓関数の大きさ（単位時間の長さ）は、単位作業に係る時間平均フィルタの窓関数の大きさより小さい。なお、平滑化の方法は時間平均に限られないが、要素作業に係る窓関数の大きさは単位作業に係る窓関数の大きさより小さいことが好ましい。これは、単位作業が要素作業によって構成されているように、一の要素作業が継続する時間は一の単位作業が継続する時間より短いためである。

図５は、作業の区分を表すヒートマップの例を示す図である。
ヒートマップ生成部３１７は、平滑化部３１６によって平滑化された尤度の時系列に基づいて、縦軸に作業の区分をとり横軸に時刻をとる平面に、作業の区分の尤度を表す色を付したヒートマップを生成する。ヒートマップに係る色は、例えば作業の区分の尤度が低いほど青色に近づき、作業の区分の尤度が高いほど赤色に近づいてよい。またヒートマップに係る色は、例えば作業の区分の尤度が低いほど明度が低く、作業の区分の尤度が高いほど明度が高くなってよい。ヒートマップの色の態様は、尤度の値を表示するものであればどのような態様であってもよい。つまり、ヒートマップは、尤度の値を色相、明度、濃度、彩度、輝度、またはその他の色の態様で表してよい。
具体的には、ヒートマップ生成部３１７は、単位作業に係る尤度の時系列に基づいて、時刻ごとの単位作業の尤度を表す単位作業ヒートマップＨ１を生成する。ヒートマップ生成部３１７は、要素作業に係る尤度の時系列に基づいて、時刻ごとの要素作業の尤度を表す要素作業ヒートマップＨ２を生成する。このとき、要素作業ヒートマップＨ２の横軸のスケールは、単位作業ヒートマップＨ１の横軸のスケールより大きい（より短い時間を表す）。

図６は、作業の区分の内訳を表す内訳グラフの例を示す図である。
内訳グラフ生成部３１８は、平滑化部３１６によって平滑化された尤度の時系列に基づいて、所定の時間帯における作業の区分の内訳を表す円グラフを生成する。具体的には、内訳グラフ生成部３１８は、単位作業に係る尤度の時系列に基づいて、各単位作業について、他の単位作業と比較して尤度が最も大きくなる時間を積算する。内訳グラフ生成部３１８は、積算した単位作業別の時間を円グラフに描くことで、単位作業内訳グラフＧ１を生成する。内訳グラフ生成部３１８は、単位作業ごとに、要素作業に係る尤度の時系列に基づいて、その単位作業に係る時間において、各要素作業の尤度が相対的に最も大きくなる時間を積算する。内訳グラフ生成部３１８は、単位作業ごとに、積算した要素作業別の時間を円グラフに描くことで、単位作業ごとの要素作業内訳グラフＧ２を生成する。

図７は、掘削積込ごとの要素作業の内訳を表すグラフの例を示す図である。
図８は、掘削積込ごとの積込回数を表すグラフの例を示す図である。
掘削積込グラフ生成部３１９は、単位作業に係る尤度の時系列および要素作業に係る尤度の時系列に基づいて、掘削積込ごとの情報を示すグラフを生成する。例えば、掘削積込グラフ生成部３１９は、図７に示すような掘削積込ごとの要素作業の内訳を表すグラフ、および図８に示すような掘削積込ごとの積込回数を表すグラフなどを生成する。

具体的には、掘削積込グラフ生成部３１９は、単位作業に係る尤度の時系列および要素作業に係る尤度の時系列に基づいて、掘削積込の開始時刻と終了時刻とを特定する。例えば、掘削積込グラフ生成部３１９は、掘削積込に係る時間帯における「排土待ち」の終了時刻を掘削積込の開始時刻として特定する。また例えば、掘削積込グラフ生成部３１９は、掘削積込に係る時間帯における「荷台押え」の開始時刻を掘削積込の終了時刻として特定する。つまり、排土待ちは、積込開始タイミングを特定可能な要素作業の一例であり、荷台押えは、積込終了タイミングを特定可能な要素作業の一例である。
掘削積込グラフ生成部３１９は、特定された掘削積込ごとに、状態データまたは要素作業に関する集約値を求め、運搬車両ごとの掘削積込について、当該集約値を表すグラフを生成する。集約値の例としては、各要素作業の時間の積算値、積込回数、平均燃費などが挙げられる。なお、単位作業の「掘削積込」は、複数の積込作業によって構成されており、「積込回数」とは、１回の「掘削積込」における積込作業の回数である。１回の「掘削積込」は、例えば「排土」または「荷台押え」に基づいて判定される。例えば、掘削積込グラフ生成部３１９は、掘削積込に係る時間帯において「積荷旋回」が支配的な時間帯の出現回数を、積込回数として特定する。つまり、積荷旋回は、積込サイクルに係る要素作業の一例である。

出力部３２０は、ヒートマップ生成部３１７が生成したヒートマップ、内訳グラフ生成部３１８が生成した内訳グラフ、および掘削積込グラフ生成部３１９が生成した掘削積込ごとの情報を示すグラフを出力する。出力部３２０による出力は、例えば、ディスプレイへの表示、プリンタによる紙等のシートへの印刷、ネットワークを介して接続される外部サーバへの送信、インタフェース３７に接続された外部記憶媒体への書き込みなどが挙げられる。これにより、解析者等は、作業された時刻と異なる時刻に、別の場所で、俯瞰的に作業内容の解析を行うことができる。

《学習方法》
作業分析装置３００は、一の作業機械１００の作業分析を実行する前に、予め、予測モデルを生成しておく。
図９は、第１の実施形態に係る作業分析装置の学習処理を示すフローチャートである。

作業分析装置３００の状態データ取得部３１１は、複数の作業機械１００のそれぞれから、当該作業機械１００の状態データの時系列を受信する（ステップＳ１）。状態データ取得部３１１は、受信した状態データの時系列を、作業機械１００のＩＤに関連付けて状態データ記憶部３３１に記憶させる（ステップＳ２）。また動画像取得部３１２は、複数の作業機械１００のそれぞれから、当該作業機械１００の撮像装置１２７が撮像した動画像を受信する（ステップＳ３）。動画像取得部３１２は、受信した動画像を、作業機械１００のＩＤに関連付けて動画像記憶部３３２に記憶させる（ステップＳ４）。

ラベリング装置２００は、動画像記憶部３３２に記憶された動画像を取得し、利用者の操作によってラベルデータを生成する。ラベリング装置２００は、生成したラベルデータを作業機械１００のＩＤに関連付けて作業分析装置３００に送信する。ラベリング装置２００は、上記処理により複数の動画像それぞれについて、単位作業のラベルデータおよび要素作業のラベルデータを生成する。

作業分析装置３００のラベルデータ取得部３１３は、ラベリング装置２００から複数のラベルデータを受信する（ステップＳ５）。ラベルデータ取得部３１３は、複数のラベルデータを、それぞれ作業機械１００のＩＤに関連付けてラベルデータ記憶部３３３に記憶させる（ステップＳ６）。

次に、学習部３１４は、状態データ記憶部３３１が記憶する複数の状態データの時系列と、ラベルデータ記憶部３３３が記憶する複数の単位作業のラベルデータとを教師データとして単位作業予測モデルを学習させ（ステップＳ７）、学習された単位作業予測モデルをモデル記憶部３３４に記憶させる（ステップＳ８）。また、学習部３１４は、状態データ記憶部３３１が記憶する複数の状態データの時系列と、ラベルデータ記憶部３３３が記憶する複数の要素作業のラベルデータとを教師データとして要素作業予測モデルを学習させ（ステップＳ９）、学習された要素作業予測モデルをモデル記憶部３３４に記憶させる（ステップＳ１０）。
このとき、学習部３１４は、状態データの時系列を入力とし、ラベルデータ（作業の区分ごとの時系列を示す行列）を出力とするように予測モデルを学習させる。

《作業分析方法》
作業分析装置３００は、上記の準備が完了すると、任意の作業機械１００の作業を分析することができる。
図１０は、第１の実施形態に係る作業分析装置による作業分析方法を示すフローチャートである。

作業分析装置３００の状態データ取得部３１１は、一の作業機械１００から状態データの時系列を受信する（ステップＳ５１）。次に、作業特定部３１５は、受信した状態データの時系列を、モデル記憶部３３４が記憶する単位作業予測モデルに入力することで、単位作業に係る尤度の時系列を得る（ステップＳ５２）。これにより作業特定部３１５は、時系列に係る各時刻における単位作業を特定する。また作業特定部３１５は、受信した状態データの時系列を、モデル記憶部３３４が記憶する要素作業予測モデルに入力することで、要素作業に係る尤度の時系列を得る（ステップＳ５３）。平滑化部３１６は、単位作業に係る尤度の時系列および要素作業に係る尤度の時系列を、それぞれ時間平均フィルタに掛けることで、尤度の時系列を平滑化する（ステップＳ５４）。

ヒートマップ生成部３１７は、図５に示すように、平滑化された単位作業に係る尤度の時系列を表す単位作業ヒートマップＨ１および平滑化された要素作業に係る尤度の時系列を表す要素作業ヒートマップＨ２を生成する（ステップＳ５５）。

内訳グラフ生成部３１８は、平滑化された単位作業に係る尤度の時系列の各時刻について、最も尤度が高い単位作業を特定する（ステップＳ５６）。つまり、内訳グラフ生成部３１８は、各時刻について尤度が支配的な単位作業を特定する。次に、内訳グラフ生成部３１８は、各単位作業について尤度が支配的になる時間の積算値を求める（ステップＳ５７）。内訳グラフ生成部３１８は、積算した単位作業別の時間を円グラフに描くことで、図６に示すような単位作業内訳グラフＧ１を生成する（ステップＳ５８）。

次に、内訳グラフ生成部３１８は、単位作業の区分を１つずつ選択し、以下のステップＳ６０からステップＳ６３の処理を実行する（ステップＳ５９）。
内訳グラフ生成部３１８は、ステップＳ５９で選択した単位作業の尤度が支配的な複数の時刻を特定する（ステップＳ６０）。内訳グラフ生成部３１８は、平滑化された要素作業に係る尤度の時系列に基づいて、特定した各時刻について尤度が支配的な単位作業を特定する（ステップＳ６１）。次に、内訳グラフ生成部３１８は、各要素作業について尤度が支配的になる時間の積算値を求める（ステップＳ６２）。内訳グラフ生成部３１８は、積算した要素作業別の時間を円グラフに描くことで、図６に示すような要素作業内訳グラフＧ２を生成する（ステップＳ６３）。

次に、掘削積込グラフ生成部３１９は、平滑化された単位作業に係る尤度の時系列に基づいて、「掘削積込」の尤度が支配的な時間帯を特定する（ステップＳ６４）。次に、掘削積込グラフ生成部３１９は、特定した時間帯において、「排土待ち」の尤度が支配的な複数の時間帯および「荷台押え」の尤度が支配的な複数の時間帯を特定する（ステップＳ６５）。掘削積込グラフ生成部３１９は、「排土待ち」の尤度が支配的な時間帯の終了時刻から、「荷台押え」の尤度が支配的な時間帯の開始時刻までの期間を、それぞれ一の運搬車両について掘削積込を行っている時間帯と特定する（ステップＳ６６）。

掘削積込グラフ生成部３１９は、特定された掘削積込ごとに、各要素作業の時間の積算値を特定し、図７に示すような掘削積込ごとの要素作業の内訳を表すグラフを生成する（ステップＳ６７）。また掘削積込グラフ生成部３１９は、ステップＳ６６で特定された掘削積込ごとに、「積荷旋回」が支配的な時間帯の出現回数を特定し、図８に示すような掘削積込ごとの積込回数を表すグラフを生成する（ステップＳ６８）。

出力部３２０は、ヒートマップ生成部３１７が生成したヒートマップ、内訳グラフ生成部３１８が生成した内訳グラフ、および掘削積込グラフ生成部３１９が生成した掘削積込ごとの情報を示すグラフを出力する（ステップＳ６９）。

《作用・効果》
このように、第１の実施形態によれば、作業分析装置３００は、作業機械１００の状態を示す状態データに基づいて作業機械が実行した単位作業の区分および要素作業の区分を特定し、これらを出力する。これにより、利用者は、オペレータの技量判定および評価、ならびに作業の解析を行うに際し、作業機械１００の単位作業の作業状態および要素作業の作業状態、ならびに一の単位作業を構成する要素作業の割合などを認識することができる。これにより、利用者は、作業機械１００の作業について、多角的に解析を行うことができる。

また、第１の実施形態によれば、作業分析装置３００は、作業機械１００の状態を示す状態データに基づいて作業機械が実行した作業の区分を特定し、特定した作業の区分を時系列で出力する。これにより、利用者は、作業機械１００の作業を俯瞰的に認識し、オペレータの作業から個々の技量の良否を判定することができる。

また、第１の実施形態に係る単位作業には、主体作業と付帯作業とが含まれる。具体的には、作業分析装置３００は、図５に示すように、掘削積込などの主体作業と、積荷集めや走行などの付帯作業とを含む単位作業ヒートマップＨ１を出力する。これにより、利用者は、作業機械１００が掘削積込などの主体作業以外にどのような作業を行っていたかを認識することができる。これにより、利用者は、掘削積込を効率よく行うために必要な付帯作業を特定することができる。

また、第１の実施形態によれば、作業分析装置３００は、一の単位作業を構成する各要素作業の時間および割合を示す要素作業内訳グラフＧ２を出力する。これにより、利用者は、作業機械１００の単位作業の評価を行うに当たり、その単位作業を構成する要素作業の区分を特定することができる。
具体的には、作業分析装置３００が図６に示すような要素作業内訳グラフＧ２を出力することで、利用者は、「掘削積込」の評価を行うにあたり、当該「掘削積込」における「掘削」、「積荷旋回」、「排土」、「空荷旋回」、「排土待ち」および「荷台押え」の割合を認識することができる。これにより、利用者は、適切に掘削積込について評価することができる。

特に、作業分析装置３００は、「排土待ち」を特定することで、積込開始タイミングを特定し、「荷台押え」を特定することで、積込終了タイミングを特定することができる。また、作業分析装置３００は、「掘削」、「積荷旋回」、「排土」、および「空荷旋回」を特定することで、作業状態を統計的に集計した場合にオペレータの作業評価や計画に対する実績の比較が出来るようになる。

第１の実施形態に係る作業分析装置３００は、図７に示すような掘削積込ごとの要素作業の内訳を表すグラフを出力する。これにより、利用者は、運搬車両への積込に掛かる時間を認識することができ、さらに積込に掛かる時間が長い場合にその原因を認識することができる。図７に示す例において、１４：４４の掘削積込の時間が他の掘削積込と比較して長いことが分かる。１４：４４の掘削積込を構成する要素作業の内訳をみると、他の掘削積込と比較して排土待ちの時間が長いことが分かる。このことから、１４：４４の掘削積込においては、運搬車両の到着間隔が長いために、掘削積込の時間が長くなったことが分かる。

第１の実施形態に係る作業分析装置３００は、図８に示すような掘削積込ごとの積込回数を表すグラフを出力する。これにより、利用者は、運搬車両への積込回数を認識することで、オペレータによる操作の巧拙を認識することができる。図８に示す例において、１５：００の積込回数が他の掘削積込と比較して多いことが分かる。このことから、１５：００の掘削積込において、バケット１３３に積み込む土砂が少なかったり、積込時に運搬車両から土砂がこぼれたりするといった事象が生じたことが推測できる。

〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。

上述した実施形態においては、作業機械１００のデータ集約装置１２８が、各センサの計測値を作業分析装置３００に送信し、作業分析装置３００がこれに基づいて作業の区分を特定するが、これに限られない。例えば、他の実施形態においては、データ集約装置１２８が各センサの計測値に基づいて作業の区分を特定してもよい。例えば、他の実施形態においては、作業分析装置３００によって生成された予測モデルをデータ集約装置１２８に記憶させ、データ集約装置１２８が当該予測モデルを用いて作業の区分を特定してもよい。つまり、他の実施形態においては、作業分析装置３００がデータ集約装置１２８に実装されてもよい。この場合、データ集約装置１２８は、作業機械１００に搭載されるディスプレイに、リアルタイムに現在の作業の区分の分析結果を表示させてもよい。これにより、オペレータは、作業の区分を認識しながら作業を行うことができる。

上述した実施形態に係る作業分析装置３００は、各作業の区分の尤度の時系列を特定するが、他の実施形態においてはこれに限られず、各作業の区分の真偽値の時系列を特定してもよい。この場合においても、作業分析装置３００は、特定された時系列を平滑化することにより、作業の区分の尤度の時系列を得ることができる。

また、上述した実施形態に係るラベリング装置２００は、利用者の操作に基づいてラベルデータを生成するが、これに限られない。例えば、他の実施形態に係るラベリング装置２００は、画像処理等によって自動的にラベルデータを生成してもよい。

また、上述した実施形態に係る作業分析装置３００は、学習済みの予測モデルに基づいて作業機械１００の作業の区分を特定するがこれに限られない。例えば、他の実施形態に係る作業分析装置３００は、機械学習によらないプログラムに基づいて作業機械１００の作業の区分を特定してもよい。機械学習によらないプログラムとは、状態データの入力に基づき予め規定する操作の組み合わせから作業区分を特定するプログラムである。この場合、状態分析システム１は、撮像装置１２７、ラベリング装置２００、動画像取得部３１２、ラベルデータ取得部３１３、学習部３１４、動画像記憶部３３２、およびラベルデータ記憶部３３３を備えなくてもよい。

また、上述した実施形態に係る作業分析装置３００は、複数のセンサの検出値、または検出値に基づいて計算された値に基づいて作業の区分を推定するが、これに限られない。例えば、他の実施形態に係る作業分析装置３００は、撮像装置１２７が撮像した動画像に基づいて、作業の区分を推定してもよい。つまり、撮像装置１２７が撮像した画像は、作業機械１００の状態を表す状態データの一例となりうる。

また、上述した実施形態に係るデータ集約装置１２８は、状態データをタイムスタンプに関連付けて記憶部に記憶しておき、状態データの時系列として作業分析装置３００に送信するが、これに限られない。例えば、他の実施形態に係るデータ集約装置１２８は、収集した状態データを、逐次タイムスタンプに関連付けて作業分析装置３００に送信してもよい。この場合、作業分析装置３００は、状態データとタイムスタンプの組み合わせを逐次取得し、時系列として集計する。

１…状態分析システム １００…作業機械 ２００…ラベリング装置 ２１１…動画像取得部 ２１２…動画像表示部 ２１３…ラベル入力部 ２１４…ラベルデータ生成部 ２１５…ラベルデータ送信部 ３００…作業分析装置 ３１１…状態データ取得部 ３１２…動画像取得部 ３１３…ラベルデータ取得部 ３１４…学習部 ３１５…作業特定部 ３１６…平滑化部 ３１７…ヒートマップ生成部 ３１８…内訳グラフ生成部 ３１９…掘削積込グラフ生成部 ３２０…出力部 ３３１…状態データ記憶部 ３３２…動画像記憶部 ３３３…ラベルデータ記憶部 ３３４…モデル記憶部

Claims (8)

1. 作業機械の状態を示す状態データの時系列を取得する状態データ取得部と、
   前記作業機械の一の作業目的を遂行する作業を示す単位作業の区分を示すラベルデータの時系列と、前記単位作業を構成する要素であって目的別に区分される一連の動作または作業を示す要素作業の区分を示すラベルデータの時系列とを取得するラベルデータ取得部と、
   前記取得した状態データの時系列と前記ラベルデータの時系列とに基づいて、前記単位作業の区分と、前記要素作業の区分とを特定する作業特定部と、
   を備える作業分析装置。
2. 前記単位作業は、掘削積込を含み、
   前記掘削積込に係る前記要素作業は、積込開始タイミングを特定可能な要素作業、積込サイクルに係る要素作業、および積込終了タイミングを特定可能な要素作業を含み、
   前記掘削積込のサイクルに係る情報を出力する出力部を備える
   請求項１に記載の作業分析装置。
3. 一の単位作業を構成する各要素作業の量を示す情報を出力する出力部を備える
   請求項１または請求項２に記載の作業分析装置。
4. 前記単位作業は、掘削積込を含む主体作業と、前記主体作業を行うための付帯作業とを含む
   請求項１から請求項３の何れか１項に記載の作業分析装置。
5. 前記作業機械の一の時間帯における前記単位作業および前記要素作業の内訳を出力する出力部を備える
   請求項１から請求項４の何れか１項に記載の作業分析装置。
6. 前記作業機械が備える作業機が写る動画像を取得する動画像取得部を備え、
   前記ラベルデータは、前記動画像の再生タイミングにおける前記作業機械の作業の区分を示すラベルを付したラベルデータである、
   請求項１から請求項５の何れか１項に記載の作業分析装置。
7. 前記状態データの時系列と前記単位作業の区分を示すラベルデータの時系列と前記要素作業の区分を示すラベルデータの時系列とに基づいて、前記状態データの時系列が入力されたときに前記単位作業の区分の時系列と前記要素作業の区分の時系列を示す情報を出力するように予測モデルを学習する学習部を備え、
   前記作業特定部は、前記状態データの時系列と前記予測モデルに基づいて、前記単位作業の区分と前記要素作業の区分とを特定する、
   請求項１から請求項６の何れか１項に記載の作業分析装置。
8. 作業機械の状態を示す状態データの時系列を取得するステップと、
   前記作業機械の一の作業目的を遂行する作業を示す単位作業の区分を示すラベルデータの時系列と、前記単位作業を構成する要素であって目的別に区分される一連の動作または作業を示す要素作業の区分を示すラベルデータの時系列とを取得するステップと、
   前記取得した状態データの時系列と前記ラベルデータの時系列とに基づいて、前記単位作業の区分と、前記要素作業の区分とを特定するステップと
   を備える作業分析方法。

Images