WO2020054412A1 - 作業機械の表示システムおよびその制御方法 - Google Patents

Abstract

作業機械の表示システムは、作業機械の動作情報および操作情報を取得する取得部と、取得部で取得した動作情報および操作情報に基づいて、作業機械の動作画像および作業機械の動作画像に対応する操作画像を生成する動作画像生成部と、作業機械の動作画像および操作画像を表示する表示部とを備える。

Description

作業機械の表示システムおよびその制御方法

　本発明は、作業機械に関する。

　ホイールローダ等の作業機械は、上下方向に回動可能なブームの先端に、ダンプ方向に回動可能なバケットを備えている。オペレータは、操作装置を操作することにより、バケットをダンプ方向に回動させて略水平にさせた後、作業機械を走行させてバケットを土砂等の山に貫入させる掘削作業が行なわれる。これによりバケット内に積荷を積み込む。オペレータは、ブームまたは車体を旋回させて、作業機械をダンプトラック等の運搬機械に対面させ、ブームを荷台の上方まで上げる。オペレータが、バケットをダンプ方向に回動させると、バケット内の積荷が荷台に落下し、運搬機械に積荷が移される。このようなサイクルを複数回繰り返すことにより、積込作業が行われる。

　ホイールローダ等の作業機械の動作においては、作業機械を走行させるアクセル操作とともに、ブームとバケットの操作レバーをそれぞれ動かしてバケットの動きを操作する必要があるため効率的な動作を実行することは簡単ではなく熟練が必要である。したがって、作業機械の動作状態を確認して運転指導が可能な機能が求められる。

　この点で、例えば、特開２０１６－８９３８８号公報においては、遠隔地の設備側に情報を送信して、遠隔地の設備側において、オペレータの作業を支援するための支援画像を提供する技術が開示されている。当該支援画像は、作業機械と運搬車両との相対的な位置関係を考慮した画像が生成される。しかしながら、上記公報においては、作業中の作業機械の姿勢に関する支援画像が提供されるに過ぎず、どのような操作指令に基づく作業機械の姿勢であるかを容易に認識することはできない。

特開２０１６－８９３８８号公報

　この点で、本発明は、上記の課題を解決するためになされたものであって、作業機械の動作状態とともに操作状態も容易に認識することが可能な作業機械の表示システムおよびその制御方法を提供することを目的とする。

　本発明の作業機械の表示システムは、作業機械の動作情報および操作情報を取得する取得部と、取得部で取得した動作情報および操作情報に基づいて、作業機械の動作画像および作業機械の動作画像に対応する操作画像を生成する動作画像生成部と、作業機械の動作画像および操作画像を表示する表示部とを備える。

　本発明の作業機械の表示システムの制御方法は、作業機械の動作情報および操作情報を取得するステップと、取得した動作情報および操作情報に基づいて、作業機械の動作画像および作業機械の動作画像に対応する操作画像を生成するステップと、作業機械の動作画像および操作画像を表示するステップとを備える。

　本発明の作業機械の表示システムおよびその制御方法は、作業機械の動作状態とともに操作状態も容易に認識することが可能である。

実施形態に従う作業機械の一例としてのホイールローダ１の側面図である。 実施形態に従うホイールローダ１を含む全体システムの構成を示す概略ブロック図である。 実施形態に基づくホイールローダ１の作業工程を説明する模式図である。 実施形態に基づくホイールローダ１の作業工程の判別方法を示すテーブルである。 実施形態に従う第２処理装置７０の機能ブロックについて説明する図である。 実施形態に従うメモリ７３に格納されている作業機械テーブルを説明する図である。 実施形態に従う第２処理装置７０のイベント登録処理について説明するフロー図である。 実施形態に従う動作画像生成部８２の詳細機能ブロックについて説明する図である。 実施形態に従う表示部７２の作業画面２００について説明する図である。 実施形態に従う第２処理装置７０における再生位置選択処理について説明するフロー図である。

　以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する各実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

　［全体構成］
　実施形態においては、作業機械の一例としてホイールローダ１について説明する。図１は、実施形態に従う作業機械の一例としてのホイールローダ１の側面図である。図１に示すように、ホイールローダ１は、車体フレーム２と、作業機３と、走行装置４と、キャブ５とを備えている。車体フレーム２、キャブ５などからホイールローダ１の車体が構成されている。ホイールローダ１の車体には、作業機３および走行装置４が取り付けられている。

　走行装置４は、ホイールローダ１の車体を走行させるものであり、走行輪４ａ、４ｂを含んでいる。ホイールローダ１は、走行輪４ａ、４ｂが回転駆動されることにより自走可能であり、作業機３を用いて所望の作業を行うことができる。

　車体フレーム２は、前フレーム１１と後フレーム１２とを含んでいる。前フレーム１１と後フレーム１２とは、互いに左右方向に揺動可能に取り付けられている。前フレーム１１と後フレーム１２とには、ステアリングシリンダ１３が取り付けられている。ステアリングシリンダ１３は、油圧シリンダである。ステアリングシリンダ１３がステアリングポンプ（図示せず）からの作動油によって伸縮することによって、ホイールローダ１の進行方向が左右に変更される。

　本明細書中において、ホイールローダ１が直進走行する方向を、ホイールローダ１の前後方向という。ホイールローダ１の前後方向において、車体フレーム２に対して作業機３が配置されている側を前方向とし、前方向と反対側を後方向とする。ホイールローダ１の左右方向とは、平面視において前後方向と直交する方向である。前方向を見て左右方向の右側、左側が、それぞれ右方向、左方向である。ホイールローダ１の上下方向とは、前後方向および左右方向によって定められる平面に直交する方向である。上下方向において地面のある側が下側、空のある側が上側である。

　前後方向とは、キャブ５内の運転席に着座した作業者の前後方向である。左右方向とは、運転席に着座した作業者の左右方向である。左右方向とは、ホイールローダ１の車幅方向である。上下方向とは、運転席に着座した作業者の上下方向である。運転席に着座した作業者に正対する方向が前方向であり、運転席に着座した作業者の背後方向が後方向である。運転席に着座した作業者が正面に正対したときの右側、左側がそれぞれ右方向、左方向である。運転席に着座した作業者の足元側が下側、頭上側が上側である。

　前フレーム１１には、作業機３および走行輪（前輪）４ａが取り付けられている。作業機３は、ブーム１４と、バケット６とを含んでいる。ブーム１４の基端部は、ブームピン１０によって前フレーム１１に回転自在に取付けられている。バケット６は、ブーム１４の先端に位置するバケットピン１７によって、回転自在にブーム１４に取付けられている。前フレーム１１とブーム１４とは、ブームシリンダ１６により連結されている。ブームシリンダ１６は、油圧シリンダである。ブームシリンダ１６が作業機ポンプ２５（図２参照）からの作動油によって伸縮することによって、ブーム１４が昇降する。ブームシリンダ１６は、ブーム１４を駆動する。

　作業機３は、ベルクランク１８と、チルトシリンダ１９と、チルトロッド１５とをさらに含んでいる。ベルクランク１８は、ブーム１４のほぼ中央に位置する支持ピン１８ａによって、ブーム１４に回転自在に支持されている。チルトシリンダ１９は、ベルクランク１８の基端部と前フレーム１１とを連結している。チルトロッド１５は、ベルクランク１８の先端部とバケット６とを連結している。チルトシリンダ１９は、油圧シリンダである。チルトシリンダ１９が作業機ポンプ２５（図２参照）からの作動油によって伸縮することによって、バケット６が上下に回動する。チルトシリンダ１９は、バケット６を駆動する。

　後フレーム１２には、キャブ５および走行輪（後輪）４ｂが取り付けられている。キャブ５は、ブーム１４の後方に配置されている。キャブ５は、車体フレーム２上に載置されている。キャブ５内には、オペレータが着座するシートおよび操作装置などが配置されている。

　キャブ５の上天井側には、位置検出センサ６４が配置されている。位置検出センサ６４は、ＧＮＳＳアンテナと、グローバル座標演算器とを含む。ＧＮＳＳアンテナは、全地球航法衛星システム（ＲＴＫ－ＧＮＳＳ（Real　Time　Kinematic　-　Global　Navigation　Satellite　Systems）用のアンテナである。キャブ５内には、ＩＭＵ（Inertial　Measurement　Unit）６６が配置されている。ＩＭＵ６６は、車体フレーム２の傾きを検出する。ＩＭＵ６６は、車体フレーム２の前後方向および左右方向に対する傾斜角を検出する。

　図２は、実施形態に従うホイールローダ１を含む全体システムの構成を示す概略ブロック図である。図２を参照して、実施形態に従う全体システムは、ホイールローダ１と、ホイールローダ１と無線通信あるいは有線通信により通信可能に設けられた第２処理装置とを含む。

　ホイールローダ１は、エンジン２０、動力取り出し部２２、動力伝達機構２３、シリンダ駆動部２４、第１角度検出器２９、第２角度検出器４８、回動機構６０および第１処理装置３０（コントローラ）を備えている。

　エンジン２０は、たとえばディーゼルエンジンである。エンジン２０の出力は、エンジン２０のシリンダ内に噴射する燃料量を調整することにより制御される。エンジン２０には、温度センサ３１が設けられている。温度センサ３１は、温度を示す検出信号を第１処理装置３０に出力する。

　動力取り出し部２２は、エンジン２０の出力を、動力伝達機構２３とシリンダ駆動部２４とに振り分ける装置である。動力伝達機構２３は、エンジン２０からの駆動力を前輪４ａおよび後輪４ｂに伝達する機構であり、たとえばトランスミッションである。動力伝達機構２３は、入力軸２１の回転を変速して出力軸２３ａに出力する。動力伝達機構２３の出力軸２３ａには、ホイールローダ１の車速を検出するための車速検出部２７が取り付けられている。ホイールローダ１は、車速検出部２７を含んでいる。

　車速検出部２７はたとえば車速センサである。車速検出部２７は、出力軸２３ａの回転速度を検出することにより、走行装置４（図１）によるホイールローダ１の移動速度を検出する。車速検出部２７は、出力軸２３ａの回転速度を検出するための回転センサとして機能する。車速検出部２７は、走行装置４による移動を検出する移動検出器として機能する。車速検出部２７は、ホイールローダ１の車速を示す検出信号を第１処理装置３０に出力する。

　シリンダ駆動部２４は、作業機ポンプ２５および制御弁２６を有している。エンジン２０の出力は、動力取り出し部２２を介して、作業機ポンプ２５に伝達される。作業機ポンプ２５から吐出された作動油は、制御弁２６を介して、ブームシリンダ１６およびチルトシリンダ１９に供給される。

　ブームシリンダ１６には、ブームシリンダ１６の油室内の油圧を検出するための第１油圧検出器２８ａ、２８ｂが取り付けられている。ホイールローダ１は、第１油圧検出器２８ａ、２８ｂを含んでいる。第１油圧検出器２８ａ、２８ｂは、たとえばヘッド圧検出用の圧力センサ２８ａと、ボトム圧検出用の圧力センサ２８ｂとを有している。

　圧力センサ２８ａは、ブームシリンダ１６のヘッド側に取り付けられている。圧力センサ２８ａは、ブームシリンダ１６のシリンダヘッド側油室内の作動油の圧力（ヘッド圧）を検出することができる。圧力センサ２８ａは、ブームシリンダ１６のヘッド圧を示す検出信号を第１処理装置３０に出力する。圧力センサ２８ｂは、ブームシリンダ１６のボトム側に取り付けられている。圧力センサ２８ｂは、ブームシリンダ１６のシリンダボトム側油室内の作動油の圧力（ボトム圧）を検出することができる。圧力センサ２８ｂは、ブームシリンダ１６のボトム圧を示す検出信号を第１処理装置３０に出力する。

　第１角度検出器２９は、たとえば、ブームピン１０に取り付けられたポテンショメータである。第１角度検出器２９は、ブーム１４の持ち上がり角度（チルト角度）を表すブーム角度を検出する。第１角度検出器２９は、ブーム角度を示す検出信号を第１処理装置３０に出力する。具体的には、図１に示すように、ブーム角度θは、ブームピン１０の中心から前方に延びる水平線に対する、ブームピン１０の中心からバケットピン１７の中心に向かう方向に延びる直線ＬＢの角度である。直線ＬＢが水平である場合をブーム角度θ＝０°と定義する。直線ＬＢが水平線よりも上方にある場合にブーム角度θを正とする。直線ＬＢが水平線よりも下方にある場合にブーム角度θを負とする。なお、第１角度検出器２９は、ブームシリンダ１６に配置されたストロークセンサであってもよい。

　第２角度検出器４８は、たとえば、支持ピン１８ａに取り付けられたポテンショメータである。第２角度検出器４８は、ブーム１４に対するベルクランク１８の角度（ベルクランク角度）を検出することにより、ブーム１４に対するバケット６のチルト角度を表すバケット角度を検出する。第２角度検出器４８は、バケット角度を示す検出信号を第１処理装置３０に出力する。バケット角度はたとえば、バケットピン１７の中心とバケット６の刃先６ａとを結ぶ直線と、直線ＬＢとの成す角度である。なお、第２角度検出器４８は、チルトシリンダ１９に配置されたストロークセンサであってもよい。

　回動機構６０は、前フレーム１１と後フレーム１２とを回動可能に連結している。後フレーム１２に対する前フレーム１１の回動は、前フレーム１１と後フレーム１２との間に連結されたアーティキュレートシリンダを伸縮させることで行われる。そして、前フレーム１１を後フレーム１２に対して屈曲させる（アーティキュレートさせる）ことで、ホイールローダの旋回時の旋回半径をより小さくすること、および、オフセット走行による溝掘や法切作業が可能である。回動機構６０には、アーティキュレート角度センサ６１が設けられている。アーティキュレート角度センサ６１は、アーティキュレート角度を検出する。アーティキュレート角度センサ６１は、アーティキュレート角度を示す検出信号を第１処理装置３０に出力する。

　位置検出センサ６４は、ホイールローダ１の位置を示す検出信号を第１処理装置３０に出力する。ＩＭＵ６６は、ホイールローダ１の傾斜角を示す検出信号を第１処理装置３０に出力する。

　図２に示されるように、ホイールローダ１は、キャブ５内に、オペレータによって操作される操作装置を備えている。操作装置は、前後進切換装置４９、アクセル操作装置５１、ブーム操作装置５２、変速操作装置５３、バケット操作装置５４、およびブレーキ操作装置５８を含んでいる。

　前後進切換装置４９は、前後進切換操作部材４９ａと、前後進切換検出センサ４９ｂとを含んでいる。前後進切換操作部材４９ａは、車両の前進および後進の切り換えを指示するためにオペレータによって操作される。前後進切換操作部材４９ａは、前進（Ｆ）、中立（Ｎ）、および後進（Ｒ）の各位置に切り換えられることができる。前後進切換検出センサ４９ｂは、前後進切換操作部材４９ａの位置を検出する。前後進切換検出センサ４９ｂは、前後進切換操作部材４９ａの位置によって表される前後進指令の検出信号（前進、中立、後進）を第１処理装置３０に出力する。前後進切換装置４９は、前進（Ｆ）、中立（Ｎ）および後進（Ｒ）を切り換え可能なＦＮＲ切換レバーを含む。

　アクセル操作装置５１は、アクセル操作部材５１ａと、アクセル操作検出部５１ｂとを含んでいる。アクセル操作部材５１ａは、エンジン２０の目標回転速度を設定するためにオペレータによって操作される。アクセル操作検出部５１ｂは、アクセル操作部材５１ａの操作量（アクセル操作量）を検出する。アクセル操作検出部５１ｂは、アクセル操作量を示す検出信号を第１処理装置３０に出力する。

　ブレーキ操作装置５８は、ブレーキ操作部材５８ａと、ブレーキ操作検出部５８ｂとを含んでいる。ブレーキ操作部材５８ａは、ホイールローダ１の減速力を操作するために、オペレータによって操作される。ブレーキ操作検出部５８ｂは、ブレーキ操作部材５８ａの操作量（ブレーキ操作量）を検出する。ブレーキ操作検出部５８ｂは、ブレーキ操作量を示す検出信号を第１処理装置３０に出力する。ブレーキ操作量としてブレーキオイルの圧力が用いられてもよい。

　ブーム操作装置５２は、ブーム操作部材５２ａと、ブーム操作検出部５２ｂとを含んでいる。ブーム操作部材５２ａは、ブーム１４を上げ動作または下げ動作させるためにオペレータによって操作される。ブーム操作検出部５２ｂは、ブーム操作部材５２ａの位置を検出する。ブーム操作検出部５２ｂは、ブーム操作部材５２ａの位置によって表されるブーム１４の上げ指令または下げ指令の検出信号を、第１処理装置３０に出力する。

　変速操作装置５３は、変速操作部材５３ａと、変速操作検出部５３ｂとを含んでいる。変速操作部材５３ａは、動力伝達機構２３における入力軸２１から出力軸２３ａへの変速を制御するためにオペレータによって操作される。変速操作検出部５３ｂは、変速操作部材５３ａの位置を検出する。変速操作検出部５３ｂは、変速操作部材５３ａの位置によって表される変速の検出指令を、第１処理装置３０に出力する。

　バケット操作装置５４は、バケット操作部材５４ａと、バケット操作検出部５４ｂとを含んでいる。バケット操作部材５４ａは、バケット６を掘削動作またはダンプ動作させるためにオペレータによって操作される。バケット操作検出部５４ｂは、バケット操作部材５４ａの位置を検出する。バケット操作検出部５４ｂは、バケット操作部材５４ａの位置によって表されるバケット６のチルトバック方向またはダンプ方向への操作指令の検出信号を、第１処理装置３０に出力する。

　アーティキュレート操作装置５５は、アーティキュレート操作部材５５ａと、アーティキュレート操作検出部５５ｂとを含んでいる。アーティキュレート操作部材５５ａは、回動機構６０を介して前フレーム１１を後フレーム１２に対して屈曲させる（アーティキュレートさせる）ためにオペレータによって操作される。アーティキュレート操作検出部５５ｂは、アーティキュレート操作部材５５ａの位置を検出する。アーティキュレート操作検出部５５ｂは、アーティキュレート操作部材５５ａの位置によって表される左方向に対する屈曲指令または右方向に対する屈曲指令の検出信号を、第１処理装置３０に出力する。

　第１処理装置３０は、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）などの記憶装置と、ＣＰＵ（Central　Processing　Unit）などの演算装置を含むマイクロコンピュータで構成されている。第１処理装置３０は、エンジン２０、作業機３（ブームシリンダ１６、チルトシリンダ１９など）、動力伝達機構２３などの動作を制御する、ホイールローダ１のコントローラの機能の一部として実現されてもよい。第１処理装置３０には、前後進切換装置４９によって検出される前後進指令の信号と、車速検出部２７によって検出されるホイールローダ１の車速の信号と、第１角度検出器２９によって検出されるブーム角度の信号と、圧力センサ２８ａによって検出されるブームシリンダ１６のヘッド圧の信号と、圧力センサ２８ｂによって検出されるブームシリンダ１６のボトム圧の信号とが主に入力される。

　ホイールローダ１は、表示部４０および出力部４５をさらに有している。表示部４０は、キャブ５に配置された、オペレータが視認するモニタである。

　出力部４５は、ホイールローダ１の外部に設置されたサーバ（第２処理装置７０）に、ホイールローダ１の動作情報を含む作業機械動作情報を出力する。出力部４５は、所定期間毎にホイールローダ１の動作情報を含む作業機械動作情報を出力しても良いし、あるいは、複数の期間における作業機械動作情報を一括して出力してもよい。出力部４５は、たとえば、無線通信などの通信機能を有し、第２処理装置７０と通信してもよい。または、出力部４５は、たとえば、第２処理装置７０がアクセス可能な携帯記憶装置（メモリカードなど）のインタフェースであってもよい。第２処理装置７０は、モニタ機能にあたる表示部を有しており、出力部４５から出力された作業機械動作情報に基づく動作画像を表示することができる。第２処理装置７０は、ホイールローダ１と異なる位置に設けられており、一例として遠隔地において表示部によりホイールローダ１の作業中の動作画像を認識することが可能である。

　［ホイールローダ１の作業工程とその判別］
　本実施形態のホイールローダ１は、土砂などの掘削対象物をバケット６に掬い取る掘削動作と、バケット６内の荷（掘削対象物１００）をダンプトラック１１０などの運搬機械に積み込む積込動作とを実行する。

　図３は、実施形態に基づくホイールローダ１の作業工程を説明する模式図である。ホイールローダ１は、次のような複数の工程を順次に行うことを繰り返して、掘削対象物１００を掘削し、ダンプトラック１１０などの運搬機械に掘削対象物１００を積み込んでいる。

　図３（Ａ）に示されるように、ホイールローダ１は、掘削対象物１００に向かって前進する。この空荷前進工程において、オペレータは、ブームシリンダ１６およびチルトシリンダ１９を操作して、作業機３をブーム１４の先端が低い位置にありバケット６が水平を向いた掘削姿勢にして、ホイールローダ１を掘削対象物１００に向けて前進させる。

　図３（Ｂ）に示されるように、バケット６の刃先６ａが掘削対象物１００に食い込むまで、オペレータはホイールローダ１を前進させる。この掘削（突込み）工程において、バケット６の刃先６ａが掘削対象物１００に食い込む。

　図３（Ｃ）に示されるように、その後オペレータは、ブームシリンダ１６を操作してバケット６を上昇させるとともに、チルトシリンダ１９を操作してバケット６をチルトバックさせる。この掘削（掬込み）工程により、図中の曲線矢印のようにバケット軌跡Ｌに沿ってバケット６が上昇し、バケット６内に掘削対象物１００が掬い込まれる。これにより、掘削対象物１００を掬い取る掘削作業が実行される。

　掘削対象物１００の種類によって、バケット６を１回チルトバックさせるだけで掬込み工程が完了する場合がある。または、掬込み工程において、バケット６をチルトバックさせ、中立にし、再びチルトバックさせるという動作を繰り返す場合もある。

　図３（Ｄ）に示されるように、バケット６に掘削対象物１００が掬い込まれた後、オペレータは、積荷後進工程にて、ホイールローダ１を後進させる。オペレータは、後退しながらブーム上げをしてもよく、図３（Ｅ）にて前進しながらブーム上げをしてもよい。

　図３（Ｅ）に示されるように、オペレータは、バケット６を上昇させた状態を維持しながら、またはバケット６を上昇させながら、ホイールローダ１を前進させてダンプトラック１１０に接近させる。この積荷前進工程により、バケット６はダンプトラック１１０の荷台のほぼ真上に位置する。

　図３（Ｆ）に示されるように、オペレータは、所定位置でバケット６をダンプして、バケット６内の荷（掘削対象物）をダンプトラック１１０の荷台上に積み込む。この工程は、いわゆる排土工程である。この後、オペレータは、ホイールローダ１を後進させながらブーム１４を下げ、バケット６を掘削姿勢に戻す。以上が、掘削積込作業の１サイクルをなす典型的な工程である。

　図４は、実施形態に基づくホイールローダ１の作業工程の判別方法を示すテーブルである。図４に示したテーブルにおいて、一番上の「作業工程」の行には、図３（Ａ）～図３（Ｆ）に示した作業工程の名称が示されている。その下の「前後進切換レバー」、「作業機操作」および「作業機シリンダ圧力」の行には、現在の作業工程がどの工程であるかを判定するために第１処理装置３０（図２、図３）が使用する、各種の判断条件が示されている。より詳細には、「前後進切換レバー」の行には、前後進切換レバーについての判定条件が丸印で示されている。

　「作業機操作」の行には、作業機３に対するオペレータの操作についての判定条件が丸印で示されている。より詳細には、「ブーム」の行にはブーム１４に対する操作に関する判定条件が示されており、「バケット」の行にはバケット６に対する操作に関する判定条件が示されている。

　「作業機シリンダ圧力」の行には、作業機３のシリンダの現在の油圧、たとえばブームシリンダ１６のシリンダボトム室の油圧、についての判定条件が示されている。ここで、油圧に関して、４つの基準値Ａ、Ｂ、Ｃ、Ｐが予め設定され、これら基準値Ａ、Ｂ、Ｃ、Ｐにより複数の圧力範囲（基準値Ｐ未満の範囲、基準値ＡからＣの範囲、基準値ＢからＰの範囲、基準値Ｃ未満の範囲）が定義され、これらの圧力範囲が上記判断条件として設定されている。４つの基準値Ａ、Ｂ、Ｃ、Ｐの大きさは、Ａ＞Ｂ＞Ｃ＞Ｐとなっている。

　以上のような作業工程ごとの「前後進切換レバー」、「ブーム」、「バケット」「作業機シリンダ圧力」の判定条件の組み合わせを用いることにより、第１処理装置３０は、現在行われている工程がどの工程なのかが判別可能である。

　図４に示した制御を行う場合の第１処理装置３０の具体的動作を以下に説明する。図４に示した各作業工程に対応する「前後進切換レバー」、「ブーム」、「バケット」および「作業機シリンダ圧力」の判定条件の組み合わせが、記憶部３０ｊ（図２）に予め格納されている。第１処理装置３０は、前後進切換装置４９からの信号に基づいて、現在選択されている前後進切換レバー（Ｆ、Ｎ、Ｒ）を把握する。第１処理装置３０は、ブーム操作検出部５２ｂからの信号に基づいて、ブーム１４に対する現在の操作の種類（下げ、中立または上げ）を把握する。第１処理装置３０は、バケット操作検出部５４ｂからの信号に基づいて、バケット６に対する現在の操作の種類（ダンプ、中立またはチルトバック）を把握する。さらに、第１処理装置３０は、図２に示した圧力センサ２８ｂからの信号に基づいて、ブームシリンダ１６のシリンダボトム室の現在の油圧を把握する。

　第１処理装置３０は、把握された現在の前後進切換レバー、ブーム操作種類、バケット操作種類およびリフトシリンダ油圧の組み合わせ（つまり現在の作業状態）を、予め記憶してある各作業工程に対応する「前後進切換レバー」、「ブーム」、「バケット」および「作業機シリンダ圧力」の判定条件の組み合わせと対照する。この対照する処理の結果として、第１処理装置３０は、現在の作業状態に最も良く一致する判定条件の組み合わせがどの作業工程に対応するのかを判定する。ここで、図４に示す掘削積込動作に対応する判定条件の組み合わせは、一例として次のとおりである。

　空荷前進工程においては、前後進切換レバーがＦであり、ブーム操作とバケット操作とがともに中立であり、作業機シリンダ圧力が基準値Ｐ未満である。掘削（突込み）工程においては、前後進切換レバーがＦ、ブーム操作とバケット操作とが共に中立、作業機シリンダ圧力が基準値ＡからＣの範囲である。掘削（掬込み）工程においては、前後進切換レバーがＦまたはＲ、ブーム操作が上げまたは中立、バケット操作がチルトバック、作業機シリンダ圧力が基準値ＡからＣの範囲である。バケット操作については、チルトバックと中立とが交互に繰り返される判定条件をさらに追加してもよい。掘削対象物の状態によっては、バケット６をチルトバックさせ、中立にし、再びチルトバックさせるという動作を繰り返す場合があるからである。積荷後進工程においては、前後進切換レバーがＲ、ブーム操作が中立または上げ、バケット操作が中立、作業機シリンダ圧力が基準値ＢからＰの範囲である。積荷前進工程においては、前後進切換レバーがＦ、ブーム操作が上げまたは中立、バケット操作が中立、作業機シリンダ圧力が基準値ＢからＰの範囲である。排土工程においては、前後進切換レバーがＦ、ブーム操作が上げまたは中立、バケット操作がダンプ、作業機シリンダ圧力が基準値ＢからＰの範囲である。後進・ブーム下げ工程においては、前後進切換レバーがＲ、ブーム操作が下げ、バケット操作がチルトバック、作業機シリンダ圧力が基準値Ｐ未満である。

　第１処理装置３０で判定された作業工程に関する情報は、作業機械動作情報の一部として出力部４５を介して第２処理装置７０に出力される。なお、本例においては、第１処理装置３０で作業工程を判定する方式について説明するが、特にこれに限られず第２処理装置７０で作業工程を判定するようにしてもよい。

　［第２処理装置７０の機能構成］
　図５は、実施形態に従う第２処理装置７０の機能ブロックについて説明する図である。図５を参照して、第２処理装置７０は、入力部７１と、表示部７２と、メモリ７３と、通信部７４と、ＣＰＵ７５とを含む。

　入力部７１は、マウス、キーボード、コントローラ、タッチパネル等を含む。入力部７１を操作することにより入力指令が生成される。例えば、マウス操作、キーボード操作、コントローラのボタン操作あるいは、タッチパネルのタッチ操作により入力指令が生成される。

　表示部７２は、液晶等のディスプレイを含む。メモリ７３は、ＲＡＭ、ＲＯＭ等の記憶装置を含む。メモリ７３は、ＣＰＵ７５が読み出すことにより各種の処理を実行する機能ブロックを実現するためのプログラムを格納している。また、メモリ７３は、ホイールローダ１から送信された作業機械動作情報を作業機械動作データとして格納する。

　実施形態に従う第２処理装置７０は、メモリ７３に格納されている作業機械動作データを用いてホイールローダ１の作業中の動作状態を示す動作画像を生成して表示する。作業機械動作データについては後述する。本例において、第２処理装置７０は、作業機機械動作データを用いて、ホイールローダ１の作業中の動作状態を示す動作画像をリアルタイムで表示する場合について説明するが、ホイールローダ１の作業後にメモリ７３に格納されている作業機械動作データを用いて再生処理することも可能である。なお、再生処理は、ある一時点における静止画像および時間とともに連続的に変化する動画像の両方を含む。

　ＣＰＵ７５は、メモリ７３に格納されているプログラムに基づいて、各種の機能ブロックを実現する。具体的には、ＣＰＵ７５は、選択部８０と、動作画像生成部８２と、表示制御部８４と、イベント判定部８６と、イベント登録部８８とを含む。

　選択部８０は、再生処理する際にメモリ７３に格納されている作業機械動作データの時刻を再生時刻として選択する。動作画像生成部８２は、作業機械動作データに基づいて、ホイールローダ１の動作画像データを生成する。表示制御部８４は、動作画像生成部８２で生成したホイールローダ１の動作画像データに基づいて、動作画像を含む作業画面を表示部７２に出力して表示する。イベント判定部８６は、メモリ７３に格納されている作業機械動作情報に基づいてイベントが発生したか否かを判断する。イベント登録部８８は、イベント判定部８６で発生したと判断したイベントに関するイベント情報を作業機械動作情報と関連付けてメモリ７３に格納する。なお、第２処理装置７０は、本発明の「作業機械の表示システム」の一例である。また、選択部８０、動作画像生成部８２、イベント判定部８６、イベント登録部８８、表示部７２およびメモリ７３は、それぞれ本発明の「選択部」、「動作画像生成部」、「イベント判定部」、「イベント登録部」、「表示部」および「記憶部」の一例である。

　図６は、実施形態に従うメモリ７３に格納されている作業機械テーブルを説明する図である。図６を参照して、作業機械テーブルは、時系列に配列された作業機械動作データを含む。

　一例として、作業機械テーブルに複数の作業機械動作データが格納されている場合が示されている。具体的には、時系列の作業時刻「１２：０１：０１」、「１２：０１：０５」、「１２：０１：１０」、「１２：０２：００」、「１２：０２：０４」、にそれぞれ対応付けられた作業機械動作データが示されている。当該作業時刻は、一例として、第２処理装置７０の通信部７４が第１処理装置３０の出力部４５から送信されたデータ（作業機械動作情報）を受信した時刻に対応する。なお、当該時刻は、第２処理装置７０の通信部７４が当該情報を受信した時刻に限られず、第１処理装置３０の出力部４５が送信した時刻としても良く、他の基準となる時刻を用いるようにしても良い。

　作業機械動作データは、作業機械動作情報と、当該作業機械動作情報と関連付けられたイベント情報とを含む。

　イベント情報は、発生しているイベントに関する情報である。当該イベント情報は、後述するがイベント登録部８８により設定される。したがって、イベント登録部８８により設定される前は、作業機械動作データのイベント情報は空白状態である。

　作業機械動作情報は、作業時刻と対応付けられた車両情報ＣＮと、操作情報Ｔと、位置情報Ｐと、作業者ＩＤと、車体ＩＤとを含む。車両情報ＣＮは、ホイールローダ１の情報である。具体的には、車両情報ＣＮは、作業機３と、作業機３以外の走行装置４等を含む車両に関する情報とを含む。なお、本例においては、車両情報ＣＮは、作業機３と、車両（機械本体）に関する情報の両方を含む場合について説明するが、いずれか一方としても良い。作業機３の情報は、第１角度検出器２９、第２角度検出器４８、第１油圧検出器２８ａ、２８ｂの検出信号および作業工程に関する作業機データを含む。当該作業機データにより作業機３の姿勢状態等を検知することが可能である。

　車両に関する情報は、温度センサ３１、車速検出部２７、アーティキュレート角度センサ６１の検出信号に関する車両データを含む。当該車両データにより走行装置４の状態等を検知することが可能である。操作情報Ｔは、作業機３に対する作業機操作情報と、車両操作情報とを含む。作業機操作情報は、ブーム操作検出部５２ｂ、バケット操作検出部５４ｂの検出信号に関する作業機操作データを含む。当該作業機操作データにより作業機３に対する操作状態を検知することが可能である。車両操作情報は、前後進切換操作部材４９ａ、アクセル操作検出部５１ｂ、変速操作検出部５３ｂ、アーティキュレート操作検出部５５ｂ、ブレーキ操作検出部５８ｂの検出信号に関する車両操作データを含む。当該車両操作データにより車両に対する操作状態を検知することが可能である。なお、本例においては、操作情報Ｔは、作業機操作情報と、車両操作情報の両方を含む場合について説明するが、いずれか一方としても良い。

　位置情報Ｐは、ホイールローダ１の位置に関する情報である。具体的には、位置情報Ｐは、位置検出センサ６４の検出信号に関する位置データと、ＩＭＵ６６の検出信号に関する傾斜データとを含む。

　作業者ＩＤは、ホイールローダ１のオペレータを識別する情報である。一例として、作業者が作業機械のエンジンの起動の際に使用する鍵に作業者ＩＤが予め格納されているものとする。第１処理装置３０は、作業機械のエンジンの起動の際に当該鍵から作業者ＩＤを取得する。

　車体ＩＤは、ホイールローダ１の車体を識別する情報である。一例として第１処理装置３０の記憶部３０ｊに車体ＩＤは予め格納されているものとする。なお、本例においては、第１処理装置３０の記憶部３０ｊに格納されている場合について説明するが、これに限られず第２処理装置７０のメモリ７３に予め格納されていてもよい。

　［イベント登録処理］
　図７は、実施形態に従う第２処理装置７０のイベント登録処理について説明するフロー図である。当該イベント登録処理は、ホイールローダ１の作業中の動作状態を示す動作画像を生成する動作画像生成処理と並列してバックグラウンド処理として実行することが可能である。図７を参照して、イベント判定部８６は、メモリ７３の作業機械テーブルに格納されている作業機械動作データを取得する（ステップＳＴ０）。

　次に、イベント判定部８６は、取得した作業機械動作データに基づいてイベントが発生しているか否かを判断する（ステップＳＴ４）。イベント判定部８６は、取得した作業機械動作データが所定のイベント条件を満たすか否かを判断する。

　一例として、イベント条件として、本例においては、温度が所定温度以上である場合にオーバヒートのイベントが発生したと判定する。例えば、車両情報ＣＮに含まれる車両に関する情報は、温度センサ３１の検出信号に関する車両データを含む。イベント判定部８６は、当該温度センサ３１の検出信号のデータに基づいて温度が所定温度以上か否かを判断する。

　別のイベント条件として、本例においては、作業工程の情報からイベントが発生したと判定する。例えば、車両情報ＣＮは、作業工程を含む作業機データを含む。イベント判定部８６は、作業機データに基づいてイベントが発生したか否かを判断する。作業機データに掘削の作業工程の情報が含まれている場合には、掘削のイベントが発生したと判断する。

　なお、これに限られず種々のイベント条件を設けることが可能であり、取得した作業機械動作情報の１つのデータを用いて所定のイベントが発生したと判定してもよいし、複数のデータの組み合わせに基づいて所定のイベントが発生したと判定してもよい。

　ステップＳＴ４において、イベント判定部８６は、イベントが発生していると判断した場合（ステップＳＴ４においてＹＥＳ）には、イベント登録部８８に登録指示する。

　次に、イベント登録部８８は、イベント判定部８６の登録指示に従って、イベント情報を登録する（ステップＳＴ６）。

　そして、次に、イベント登録部８８は、作業機械テーブルに含まれる全ての作業機械動作データの確認が終了したか否かを判断する（ステップＳＴ８）。

　ステップＳＴ８において、イベント登録部８８は、全ての作業機械動作データの確認が終了したと判断した場合（ステップＳＴ８においてＹＥＳ）には、イベント登録処理を終了する（エンド）。一方、ステップＳＴ８において、イベント登録部８８は、全ての作業機械動作データの確認が終了していないと判断した場合（ステップＳＴ８においてＮＯ）には、ステップＳＴ０に戻り、確認が終わっていない作業機械テーブルの作業機械動作データを取得して、上記処理を繰り返す。

　イベント登録部８８は、一例としてオーバヒートのイベントが発生している場合には、作業機械動作データの中に、作業機械動作情報と関連付けたイベント情報として登録する。また、イベント登録部８８は、一例として掘削のイベントが発生している場合には、作業機械動作データの中に、作業機械動作情報と関連付けたイベント情報として登録する。他の作業機械動作データについても同様である。これにより図６に示されるイベント情報が設定される。

　［動作画像生成処理］
　図８は、実施形態に従う動作画像生成部８２の詳細機能ブロックについて説明する図である。図８を参照して、動作画像生成部８２は、動作状態画像生成部８２０と、位置状態画像生成部８２２と、車両状態画像生成部８２４と、管理情報画像生成部８２６と、イベント情報画像生成部８２８とを含む。動作画像生成部８２の各機能ブロックは、メモリ７３に予め格納されているプログラムにより実現される。

　動作状態画像生成部８２０は、作業機械動作データに基づいて動作状態画像データを生成する。位置状態画像生成部８２２は、作業機械動作データに基づいて位置状態画像データを生成する。車両状態画像生成部８２４は、作業機械動作データに基づいて車両状態画像データを生成する。管理情報画像生成部８２６は、作業機械動作データに基づいて管理情報画像データを生成する。イベント情報画像生成部８２８は、作業機械動作データに基づいてイベント情報画像データを生成する。

　図９は、実施形態に従う表示部７２の作業画面２００について説明する図である。図９を参照して、作業画面２００には、ホイールローダ１の作業時刻「２０１８／１／１／１２：０２：００」に対応するホイールローダ１の種々の情報を表示する複数の画面が設けられている。複数の画面は、作業時刻に同期した画面である。本例においては、動作画像生成部８２は、作業機械テーブルに格納された作業時刻に対応する作業機械動作データに基づいて、ホイールローダ１の動作画像データを生成する。なお、再生時刻は、時刻のみの情報であってもよいし、日付に関する情報が含まれていてもよい。

　表示制御部８４は、動作画像生成部８２で生成した動作画像データに基づいて、作業画面２００を表示部７２に表示する。本例においては、動作画像データは、動作状態画像データと、位置状態画像データと、車両状態画像データと、管理情報画像データと、イベント情報画像データとを含む。

　具体的には、表示制御部８４は、動作状態画像データに基づいて、ホイールローダ１の動きを表す動作画面２１０を表示部７２に表示する。表示制御部８４は、位置状態画像データに基づいて、ホイールローダ１を表す位置画面２３０を表示部７２に表示する。表示制御部８４は、車両状態画像データに基づいて、ホイールローダ１の状態の情報を表す状態画面２２０を表示部７２に表示する。表示制御部８４は、イベント情報画像データに基づいて、ホイールローダ１に発生したイベントのリストを表示するイベント表示画面２４０を表示部７２に表示する。表示制御部８４は、管理情報画像データに基づいて、ホイールローダ１の管理情報を表す管理画面２６０を表示部７２に表示する。

　なお、表示制御部８４は、作業画面２００に対して再生処理に関する種々のコマンドを指示するためのコマンドバーを設けるようにしてもよい。コマンドバーは、再生ボタン、停止ボタン、一時停止ボタン、早送りボタン、早戻しボタン等を含む。管理者が当該ボタンを操作することにより再生処理に関する種々の処理を実行することが可能である。管理者が再生ボタンを操作することにより、ある再生時刻からの時間的変化に従うホイールローダ１の動作画像の連続的な再生処理（動画再生処理）が実行される。管理者が一時停止ボタンを操作することにより、ある再生時刻に従うホイールローダ１の動作画像の再生処理（静止画再生処理）が実行される。

　［動作画面２１０］
　動作画面２１０は、動作状態画像データに基づいて表示される。動作画面２１０は、傾斜状態画像２１２と、アーティキュレート状態画像２１４と、作業状態画像２１６とを含む。

　動作状態画像生成部８２０は、ホイールローダ１の３Ｄモデル形状の基準画像を生成する３Ｄモデル形状データと、車両情報ＣＮに含まれる作業機データとに基づいて第１動作状態画像データを生成する。なお、３Ｄモデル形状データは、メモリ７３に予め格納されているものとする。３Ｄモデル形状データには、３Ｄモデル形状の基準画像を構成する作業機、車体、車輪等の各モデル形状のデータが含まれる。また、第１動作状態画像データは、車両の傾斜やアーティキュレート角度を表わす画像データとしてもよい。

　表示制御部８４は、第１動作状態画像データに基づいてホイールローダ１の作業中の状態を示す作業状態画像２１６を表示する。作業状態画像２１６は、ホイールローダ１の３Ｄモデルを示す作業機モデル画像２１７と、ホイールローダ１が走行する路面モデルを示す路面画像２１８とを含む。

　表示制御部８４は、作業機モデル画像２１７の走行状態と路面画像２１８とを組み合わせることにより表現することが可能である。具体的には、一例として路面画像２１８を左方向から右方向にスライドさせることにより作業機モデル画像２１７の位置を変化させることなく作業機モデル画像２１７の前進を表現することが可能である。また、表示制御部８４は、路面画像２１８の移動速度を調整することにより作業機モデル画像２１７の走行状態の程度を表現してもよい。例えば、表示制御部８４は、路面画像２１８のスライド速度を速くすることにより、作業機モデル画像２１７が高速で前進しているように表現してもよい。また、反対に、表示制御部８４は、路面画像２１８のスライド速度を遅くすることにより、作業機モデル画像２１７が低速で前進しているように表現してもよい。表示制御部８４は、車両情報ＣＮに含まれる車速データに基づいて路面画像２１８のスライド速度を調整するようにしても良い。表示制御部８４は、第１動作状態画像データに基づいて、作業機モデル画像２１７を表示する。これにより、ホイールローダ１の作業中の作業の状態を可視化することが可能である。なお、作業中の状態を可視化する際に仮想カメラの視野方向の設定を受け付けることにより視野を変更することも可能である。仮想空間上に作業機モデル画像２１７を配置し、所定の撮像位置から仮想カメラにより作業機モデル画像２１７を撮像した場合が表示されている。当該仮想カメラの撮像位置は任意の位置に設定することが可能であり、当該位置を調整することにより、作業機モデル画像２１７を任意のアングルから撮像した表示が可能である。

　動作状態画像生成部８２０は、ホイールローダ１の側面モデルの形状の基準画像を生成する側面形状モデルデータと、位置情報Ｐに含まれる傾斜データとに基づいて第２動作状態画像データを生成する。表示制御部８４は、第２動作状態画像データに基づいて傾斜状態画像２１２を表示する。傾斜状態画像２１２は、ホイールローダ１の車体の傾斜状態を示す。本例においては、２５°傾斜した状態である場合が示されている。表示制御部８４は、第２動作状態画像データに基づいて、傾斜状態画像２１２を表示する。これにより、ホイールローダ１の作業中の車体の傾斜状態を可視化することが可能である。

　動作状態画像生成部８２０は、ホイールローダ１の上面視モデルの形状の基準画像を生成する上面視形状モデルデータと、車両情報ＣＮに含まれるアーティキュレート角度データとに基づいて第３動作状態画像データを生成する。表示制御部８４は、第３動作状態画像データに基づいてアーティキュレート状態画像２１４を表示する。アーティキュレート状態画像２１４は、ホイールローダ１のアーティキュレートの状態を示す。本例においては、１５°右方向に屈曲している状態である場合が示されている。表示制御部８４は、第３動作状態画像データに基づいて、アーティキュレート状態画像２１４を表示する。これにより、ホイールローダ１の作業中のアーティキュレート状態を可視化することが可能である。

　［状態画面２２０］
　状態画面２２０は、車両状態画像データに基づいて表示される。状態画面２２０は、作業中の作業時刻を示すタイムバー２２４と、操作状態画像２２１と、車両状態画像２２２と、作業工程状態画像２２３とを含む。ここで、タイムバー２２４は、作業中の作業時刻を示している。本例におけるタイムバー２２４は、任意の作業時刻に対応する位置に移動可能に設けられている。

　車両状態画像生成部８２４は、現在の作業時刻から所定期間前までの作業機械動作データの操作情報Ｔに基づいて第１車両状態画像データを生成する。表示制御部８４は、第１車両状態画像データに基づいて所定期間のオペレータが操作した操作部材の状態を示す操作状態画像２２１を表示する。操作状態画像２２１は、現在の作業時刻に対応する操作指定状態画像２２１Ａと、現在の作業時刻から所定期間前までの操作の遷移状態を示す操作遷移状態画像２２１Ｂとを含む。操作指定状態画像２２１Ａは、アクセル操作装置５１（アクセルペダル）、ブーム操作装置５２（ブームレバー）、バケット操作装置５４（バケットレバー）、ブレーキ操作装置５８（ブレーキ）の状態を示す。本例においては、アクセルペダルが９５％、ブームレバーが２５％、バケットレバーが１４％、ブレーキがＯＦＦの状態である場合が示されている。操作遷移状態画像２２１Ｂは、所定期間（本例においては２６ｓ）におけるアクセル操作装置５１（アクセルペダル）、ブーム操作装置５２（ブームレバー）、バケット操作装置５４（バケットレバー）、ブレーキ操作装置５８（ブレーキ）の操作の遷移状態を示す。

　アクセル操作装置５１（アクセルペダル）、ブーム操作装置５２（ブームレバー）、バケット操作装置５４（バケットレバー）に関しては、操作状態をグレースケールで示している。具体的には、操作部材の操作割合の値が大きくなるほど濃く（黒色）なり、数値が低くなるほど薄く（白色）なるように表示されている。なお、本例においては、操作状態をグレースケールで表示する場合について説明しているが、操作状態をヒートマップで表示するようにしても良い。例えば、ブーム操作装置５２（ブームレバー）が上げ動作または下げ動作の場合に色を変えることにより視覚的にどの操作であるかを直観的に把握することが可能である。バケット操作装置５４（バケットレバー）についても同様である。また、操作部材の操作量の値をグラフ化して表示しても良い。ブレーキ操作装置５８（ブレーキ）に関しては、ブレーキがオンあるいはオフした状態が表示されている。これにより、所定期間において操作部材に対してどのような操作がされたかを容易に把握することが可能である。

　車両状態画像生成部８２４は、現在の作業時刻から所定期間前までの作業機械動作データの車両情報ＣＮに基づいて第２車両状態画像データを生成する。表示制御部８４は、第２車両状態画像データに基づいて所定期間のホイールローダ１の状態を示す車両状態画像２２２および作業工程状態画像２２３を表示する。車両状態画像２２２は、現在の作業時刻に対応する車両指定状態画像２２２Ａと、現在の作業時刻から所定期間前までの車両の遷移状態を示す車両遷移状態画像２２２Ｂとを含む。本例においては、車両指定状態画像２２２Ａは、ホイールローダ１の車速が１５ｋｍ／ｈである場合を示す。

　車両遷移状態画像２２２Ｂは、所定期間（本例においては２６ｓ）におけるホイールローダ１の車速の遷移状態を示す。これにより、所定期間においてホイールローダ１の車速がどのように変化したかを容易に把握することが可能である。

　作業工程状態画像２２３は、現在の作業時刻に対応する作業工程を示す作業工程指定状態画像２２３Ａと、現在の作業時刻から所定期間前までの作業工程の遷移状態を示す作業工程遷移状態画像２２３Ｂとを含む。作業工程指定状態画像２２３Ａは、本例においては掘削である場合が示されている。作業工程遷移状態画像２２３Ｂは、所定期間中の作業工程の遷移として空荷前進、掘削、積荷前進に変化している場合が示されている。これにより、所定期間においてホイールローダ１の作業工程がどのように変化したかを容易に把握することが可能である。

　表示制御部８４は、一例としてタイムバー２２４に対応する作業時刻に合わせて、操作遷移状態画像２２１Ｂ、車両遷移状態画像２２２Ｂおよび作業工程遷移状態画像２２３Ｂが右側から左側に移動するように制御する。タイムバー２２４は、入力部７１からの入力に基づき所定期間における任意の作業時刻の位置に変更することが可能である。

　［位置画面２３０］
　位置画面２３０は、位置状態画像データに基づいて表示される。位置画面２３０は、作業位置画像２３２と、移動軌跡画像２３４とを含む。

　位置状態画像生成部８２２は、作業マップを示す地図データと、位置情報Ｐに含まれる位置データとに基づいて位置状態画像データを生成する。表示制御部８４は、位置状態画像データに基づいて作業マップ上におけるホイールローダ１の作業の位置を示す作業位置画像２３２と、ホイールローダ１の移動の軌跡を示す移動軌跡画像２３４とを表示する。作業位置画像２３２は、ホイールローダ１の移動の軌跡を示す移動軌跡画像２３４に従って移動させることが可能に設けられている。表示制御部８４は、位置状態画像データに基づいて、作業位置画像２３２および移動軌跡画像２３４を作業マップ上に表示する。これにより、ホイールローダ１の作業中の移動状態を可視化することが可能である。また、移動軌跡画像２３４は、速度変化領域２３３を含む。速度変化領域２３３は、ホイールローダ１の移動の速度が変化した領域を示す。移動軌跡画像２３４に速度変化領域２３３を設けることによりホイールローダ１の速度変化を視覚的に判断することが可能である。本例においては、速度変化領域２３３は、１つの領域が示されているが特にこれに限られず複数の領域が設けられていても良い。ここでは、一例としてハッチングパターンの変化により速度が変化した状態であることが示されている。なお、当該表示に限られず、色や他の強調表示によりホイールローダ１の速度変化を視覚的に判断するようにしてもよい。作業位置画像２３４は、入力部７１からの入力に基づき移動軌跡画像２３４に沿って任意の作業の位置に変更することが可能である。

　［イベント表示画面２４０］
　イベント表示画面２４０は、イベント情報画像データに基づいて表示される。イベント表示画面２４０は、イベントリストを含む。イベント情報画像生成部８２８は、作業機械動作データのイベント情報に基づいてイベント情報画像データを生成する。表示制御部８４は、イベント情報画像データに基づいてイベントリストを表示する。本例においては、イベントとしてオーバヒートと、作業工程とがそれぞれ示されている。そして、作業工程は、さらに細分化されて掘削、空荷前進等の工程が列挙されている。また、各イベントの時間がツリー形式で表示されている。

　本例においては、ツリー形式で表示されたイベントが生じた時刻の項目について選択可能に設けられている。例えば、オーバーヒートした時刻「２０１８／１／１／１２：２０：００」の項目を指定することにより、当該時刻に対応付けられた作業機械テーブルの作業機械動作データが選択される。そして、選択された作業機械動作データに基づいて、ホイールローダ１の動作画像データが生成される。これにより、ホイールローダ１の作業中のイベントの発生状態を容易に可視化することが可能である。

　［管理画面２６０］
　管理画面２６０は、管理情報画像データに基づいて表示される。管理画面２６０は、作業時刻を示す時刻画像２０２と、車体ＩＤ画像２０４と、作業者ＩＤ画像２０６とを含む。管理情報画像生成部８２６は、作業機械動作データの時刻情報に基づいて第１管理情報画像データを生成する。表示制御部８４は、第１管理情報画像データに基づいて作業時刻に対応する時刻画像２０２を表示する。本例においては、時刻画像２０２として「２０１８／１／１：１２：０２：００」が表示されている。

　管理情報画像生成部８２６は、作業機械動作データの車体ＩＤに基づいて第２管理情報画像データを生成する。表示制御部８４は、第２管理情報画像データに基づいて車体ＩＤ画像２０４を表示する。本例においては、車体ＩＤ画像２０４として「Ｘ」が表示されている。

　管理情報画像生成部８２６は、作業機械動作データの作業者ＩＤに基づいて第３管理情報画像データを生成する。表示制御部８４は、第３管理情報画像データに基づいて作業者ＩＤ画像２０６を表示する。本例においては、作業者ＩＤ画像として「Ａ」が表示されている。表示制御部８４は、第１～第３管理情報画像データに基づいて、時刻、車体ＩＤ、作業者ＩＤを表示する。これにより、ホイールローダ１に関する作業中の管理情報を容易に可視化することが可能である。

　［再生位置選択処理］
　実施形態においては、管理者は、ホイールローダ１の動作画像の再生位置を選択することが可能である。図１０は、実施形態に従う第２処理装置７０における再生位置選択処理について説明するフロー図である。図１０を参照して、選択部８０は、入力部７１からの入力を受け付けたか否かを判断する（ステップＳ２）。選択部８０は、入力部７１からの入力を受け付けない場合には、ステップＳ２の状態を維持する。

　次に、選択部８０は、入力部７１からの入力を受け付けたと判断した場合（ステップＳ２においてＹＥＳ）には、タイムバー２２４の操作入力か否かを判断する（ステップＳ４）。選択部８０は、タイムバー２２４の操作入力でないと判断した場合（ステップＳ４においてＮＯ）には、ステップＳ２０に進む。

　一方、選択部８０は、タイムバー２２４の操作入力である判断した場合（ステップＳ４においてＹＥＳ）には、タイムバー２２４の位置の選択指令を受け付ける（ステップＳ６）。例えば、入力部７１による操作を終了した位置がタイムバー２２４の位置の選択指令として受け付ける。

　次に、選択部８０は、タイムバー２２４の位置に対応する作業時刻を再生時刻として選択する（ステップＳ９）。次に、動作画像生成部８２は、選択部８０で選択した再生時刻に従う作業機械動作データに基づいて、ホイールローダ１の動作画像データを生成する（ステップＳ１０）。

　次に、表示制御部８４は、動作画像生成部８２で生成したホイールローダ１の動作画像データに基づいて、再生処理を実行する（ステップＳ１２）。具体的には、図８で説明したように表示制御部８４は、動作画像を含む作業画面を表示部７２に出力して表示する。管理者は、タイムバー２２４の位置を選択することにより任意のタイムバー２２４の位置に対応する再生位置で動作画像の再生処理を実行することが可能である。

　次に、表示制御部８４は、再生処理が終了したかどうかを判断する（ステップＳ１４）。表示制御部８４は、再生終了していないと判断した場合（ステップＳ１４においてＮＯ）には、ステップＳ２に戻り、上記処理を繰り返す。

　一方、表示制御部８４は、再生処理が終了したと判断した場合（ステップＳ１４においてＹＥＳ）には、処理を終了する。一方、ステップＳ２０において、選択部８０は、タイムバー２２４が操作されていないと判断した場合には、作業位置画像２３２が操作されたか否かを判断する。選択部８０は、作業位置画像２３２が操作されていないと判断した場合（ステップＳ２０においてＮＯ）には、ステップＳ２４に進む。

　一方、選択部８０は、作業位置画像２３２が操作されたと判断した場合（ステップＳ２０においてＹＥＳ）には、作業位置の選択指令を受け付ける（ステップＳ２２）。例えば、入力部７１による操作を終了した位置に作業位置画像２３２の位置の選択指令として受け付ける。作業位置画像２３２は、移動軌跡画像２３４の軌跡に従って位置を移動させることが可能に設けられている。

　次に、選択部８０は、作業位置画像２３２の位置に対応する作業時刻を再生時刻として選択する（ステップＳ９）。以降の処理については上記と同様であるのでその詳細な説明については繰り返さない。

　管理者は、作業位置画像２３２の位置を選択することにより任意の作業位置画像２３２の位置に対応する再生位置で動作画像の再生処理を実行することが可能である。一方、選択部８０は、作業位置画像２３２が操作されていないと判断した場合には、イベントリストが操作されたか否かを判断する。

　選択部８０は、イベントリストが操作されていないと判断した場合（ステップＳ２４においてＮＯ）には、ステップＳ２に戻る。選択部８０は、イベントリストが操作されたと判断した場合（ステップＳ２４においてＹＥＳ）には、イベント情報の選択指令を受け付ける（ステップＳ２６）。例えば、入力部７１による操作により指定されたイベント情報の選択指令として受け付ける。例えば、掘削あるいはオーバヒート等に対応する時刻の選択入力を受け付ける。

　次に、選択部８０は、選択入力を受け付けた時刻を再生時刻として選択する（ステップＳ９）。以降の処理については上記と同様であるのでその詳細な説明については繰り返さない。管理者は、イベントリストを操作することにより任意のイベントの位置に対応する再生位置で動作画像の再生処理を実行することが可能である。

　［利用形態］
　実施形態に従う第２処理装置７０の動作画像処理により、作業画面２００が表示される。作業画面２００は、一例としてホイールローダ１の作業中の作業時刻に対応する作業機械動作データに基づいて生成される動作画面２１０、状態画面２２０および位置画面２３０を表示する。

　動作画面２１０において、一例としてホイールローダ１の作業の状態を示す作業状態画像２１６が表示される。状態画面２２０において、一例として操作状態画像２２１が表示される。位置画面２３０において、作業マップ上におけるホイールローダ１の作業の位置を示す作業位置画像２３２が表示される。管理者は、上記画面により、ホイールローダ１のオペレータがいつ、どこで、どのような作業をしたかを容易に把握することが可能となる。

　管理者は、ホイールローダ１の動作状態とともに操作状態も容易に認識することが可能であるため例えば、オペレータの運転指導の際に有用に活用することが可能である。管理者は、例えば動作画面２１０とともに状態画面２２０の操作状態画像２２１を確認することにより、作業機械の動作状態に対応するオペレータの操作状態に対して適切な指導を行うことが可能となる。管理者は、例えば位置画面２３０とともに状態画面２２０の操作状態画像２２１を確認することにより、作業機械の位置状態に対応するオペレータの操作状態に対して適切な指導を行うことが可能となる。

　管理者は、ホイールローダ１の動作画像の再生位置を任意に選択することが可能であるため例えば、オペレータの運転指導の際に有用に活用することが可能である。また、イベントリストを確認することによりトラブルシューティング、コンプレーンの調査等にも活用することが可能である。

　［その他の実施形態］
　上記の実施形態においては、作業機械テーブルは、第２処理装置７０のメモリ７３に格納されている場合について説明したが、特にこれに限られず、例えば、第１処理装置３０の記憶部３０ｊに格納していても良い。第１処理装置３０の記憶部３０ｊに格納されている作業機械テーブルに基づいて、上記の動作画像処理を実行しても良い。

　上記の実施形態においては、第２処理装置７０のＣＰＵ７５に各種の機能ブロックを実現する構成について説明したが、これに限られず一部または全部の機能ブロックを第１処理装置３０で実現するようにしても良い。

　上記の実施形態においては、第２処理装置７０の表示部７２で作業画面２００が表示される場合について説明したがホイールローダ１の表示部４０で作業画面２００を表示させるようにしても良い。また、ホイールローダ１の表示部４０と第１処理装置３０とを１つの装置とした場合でもよい。また、ホイールローダ１に限られず、例えば、第２処理装置７０と通信可能に設けられた携帯端末の表示部で作業画面２００を表示させるようにしても良い。

　上記の実施形態においては、作業画面２００において、作業時刻に同期した複数の画面が表示される場合について説明した。具体的には、作業画面２００は、複数の画面として、動作画面２１０、状態画面２２０、位置画面２３０、イベント表示画面２４０、管理画面２６０を含む場合について説明したが、特にこれら全ての画面が表示される必要はなく、例えば２つ以上の画面が表示されるようにしても良い。例えば、作業画面２００において、動作画面２１０および状態画面２２０が表示されるようにしても良い。他の画面の組み合わせとすることも当然に可能である。

　［作用効果］
　次に、実施形態の作用効果について説明する。実施形態の作業機械の表示システムには、図５に示すように、第２処理装置７０には、ホイールローダ１から送信された作業機械動作情報を受信する通信部７４と、通信部７４で受信した作業機械動作情報に基づいて、ホイールローダ１の動作画像および動作画像に対応する操作画像を生成する動作画像生成部８２と、動作画像および操作画像を表示する表示部７２とが設けられる。作業機械動作情報は、図６に示すように車両情報および位置情報を含む動作情報および操作情報を含む。動作情報および操作情報に基づいてホイールローダ１の動作画像と動作画像に対応する操作画像が生成され、当該動作画像および操作画像が表示部７２に表示される。したがって、ホイールローダ１の動作状態とともに操作状態も容易に認識することが可能である。

　動作情報および操作情報をホイールローダ１内の第１処理装置３０あるいは第２処理装置７０で取得してもよい。ホイールローダ１内の第１処理装置に限られず、他の外部機器である第２処理装置にも配置可能であるため表示システムの自由度を向上させることが可能である。

　動作画像生成部８２は、ホイールローダ１内の第１処理装置３０あるいは第２処理装置７０に設けられる。ホイールローダ１内に限られず、他の外部機器にも配置可能であるため作業機械の表示システムの自由度を向上させることが可能である。

　表示部７２は、ホイールローダ１内の第１処理装置３０あるいは第２処理装置７０に設けられる。ホイールローダ１内に限られず、他の外部機器にも配置可能であるため作業機械の表示システムの自由度を向上させることが可能である。

　実施形態の作業機械の表示システムには、通信部７４で受した作業機械動作情報を格納するメモリ７３が設けられる。動作画像生成部８２は、図６に示すようにメモリ７３に記憶された作業機械動作情報に基づいて、作業機械の動作画像を生成し、メモリ７３に記憶された作業機械動作情報に基づいて、作業機械の動作画像に対応する操作画像を生成する。メモリ７３に格納することにより、ホイールローダ１の動作状態を示す動作画像および操作状態を示す操作画像を再生処理することが可能である。オペレータの運転指導の際に有用に活用することが可能である。

　ホイールローダ１は、作業機３と、走行装置４とを含む。図６に示される作業機械動作情報は、車両情報ＣＮを含み、車両情報ＣＮは、作業機３および走行装置４の少なくとも一方の動作情報を含む。ホイールローダ１の作業機３および走行装置４の少なくとも一方の動作状態およびそれに対応する操作状態を容易に認識することが可能である。

　図６に示される作業機械動作情報は、オペレータあるいは車体を識別する識別情報をさらに含む。複数のオペレータあるいは複数の車体が設けられている場合に当該識別情報により容易に判別することが可能である。

　ホイールローダ１には、作業機械動作情報の時刻を再生時刻として選択する選択部８０がさらに設けられる。選択部８０は、図９に示す作業画面２００に対する入力部７１の入力指令に従い作業機械動作情報の再生時刻を設定する。作業画面２００の入力インタフェースを用いて簡易にホイールローダ１の動作状態を再生確認することが可能である。

　ホイールローダ１は、ブーム１４と、バケット６とを含む。図６に示される作業機械動作情報は、車両情報ＣＮを含み、車両情報ＣＮは、ブーム１４に対するバケット６のチルト角度を検出する第２角度検出部４８の検出信号を含む。ホイールローダ１のブーム１４に対するバケット６の角度の状態を容易に認識することが可能である。

　図６に示される作業機械動作情報は、操作情報Ｔを含み、操作情報Ｔは、バケット操作検出部５４ｂの検出信号を含む。ホイールローダ１のバケット６に対する操作状態を容易に認識することが可能である。

　実施形態の作業機械の表示システムの一例は、ホイールローダ１の表示システムであり、ホイールローダ１の動作状態とともに操作状態も容易に認識することが可能である。

　実施形態の作業機械の表示システムの制御方法は、少なくとも作業機械の動作情報および操作情報を取得するステップと、取得した動作情報および操作情報に基づいて、作業機械の動作画像および作業機械の動作画像に対応する操作画像を生成するステップと、作業機械の動作画像および操作画像を表示するステップとを備える。動作情報および操作情報に基づいてホイールローダ１の動作画像と動作画像に対応する操作画像が生成され、当該動作画像および操作画像が表示部７２に表示される。したがって、ホイールローダ１の動作状態とともに操作状態も容易に認識することが可能である。

　作業機械として、ホイールローダを例に挙げて説明したが、油圧ショベル、ダンプトラック、ブルドーザ等の作業機械にも適用可能である。

　以上、本発明の実施形態について説明したが、今回開示された実施形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

　１　ホイールローダ、２　車体フレーム、３　作業機、４　走行装置、５　キャブ、６　バケット、６ａ　刃先、１０　ブームピン、１３　ステアリングシリンダ、１４　ブーム、１５　チルトロッド、１６　ブームシリンダ、１７　バケットピン、１８　ベルクランク、１８ａ　支持ピン、１９　チルトシリンダ、２０　エンジン、２１　入力軸、２２　動力取り出し部、２３　動力伝達機構、２３ａ　出力軸、２４　シリンダ駆動部、２５　作業機ポンプ、２６　制御弁、２７　車速検出部、２８ａ　第１油圧検出器、２９　第１角度検出器、３０　第１処理装置、３０ｊ　記憶部、３１　温度センサ、４０，７２　表示部、４５　出力部、４８　第２角度検出器、４９　前後進切換装置、４９ａ　前後進切換操作部材、４９ｂ　前後進切換検出センサ、５１　アクセル操作装置、５１ａ　アクセル操作部材、５１ｂ　アクセル操作検出部、５２　ブーム操作装置、５２ａ　ブーム操作部材、５２ｂ　ブーム操作検出部、５３　変速操作装置、５３ａ　変速操作部材、５３ｂ　変速操作検出部、５４　バケット操作装置、５４ａ　バケット操作部材、５４ｂ　バケット操作検出部、５５　アーティキュレート操作装置、５５ａ　アーティキュレート操作部材、５５ｂ　アーティキュレート操作検出部、５８　ブレーキ操作装置、５８ａ　ブレーキ操作部材、５８ｂ　ブレーキ操作検出部、６０　回動機構、６１　アーティキュレート角度センサ、６４　位置検出センサ、７０　第２処理装置、７１　入力部、７３　メモリ、７４　通信部、８０　選択部、８２　動作画像生成部、８４　表示制御部、８６　イベント生成部、８８　イベント登録部。

Claims (12)

1. 　作業機械の動作情報および操作情報を取得する取得部と、
   　前記取得部で取得した動作情報および操作情報に基づいて、前記作業機械の動作画像および前記作業機械の動作画像に対応する操作画像を生成する動作画像生成部と、
   　前記作業機械の動作画像および操作画像を表示する表示部とを備える、作業機械の表示システム。
2. 　前記取得部は、前記作業機械あるいは前記作業機械と独立した外部機器のいずれか一方に設けられる、請求項１記載の作業機械の表示システム。
3. 　前記動作画像生成部は、前記作業機械あるいは前記作業機械と独立した外部機器のいずれか一方に設けられる、請求項１または２記載の作業機械の表示システム。
4. 　前記表示部は、前記作業機械あるいは前記作業機械と独立した外部機器のいずれか一方に設けられる、請求項１に記載の作業機械の表示システム。
5. 　前記取得部で取得した前記作業機械の動作情報および操作情報を含む作業機械動作情報を記憶する記憶部をさらに備え、
   　前記動作画像生成部は、
   　前記記憶部に記憶された前記作業機械動作情報に基づいて、前記作業機械の動作画像を生成し、
   　前記記憶部に記憶された前記作業機械動作情報に基づいて、前記作業機械の動作画像に対応する操作画像を生成する、請求項１に記載の作業機械の表示システム。
6. 　前記作業機械は、作業機と、機械本体とを含み、
   　前記作業機械の動作情報は、前記作業機および前記機械本体の少なくとも一方の動作情報を含む、請求項１に記載の作業機械の表示システム。
7. 　前記作業機械動作情報は、識別情報をさらに含む、請求項５記載の作業機械の表示システム。
8. 　前記作業機械動作情報の時刻を再生時刻として選択する選択部をさらに備える、請求項５記載の作業機械の表示システム。
9. 　前記作業機械は、ブームと、バケットとを含み、
   　前記作業機械の動作情報は、前記ブームに対するバケットの角度を含む、請求項１に記載の作業機械の表示システム。
10. 　前記作業機械の操作情報は、前記バケットに対する操作指令の検出信号を含む、請求項９に記載の作業機械の表示システム。
11. 　前記作業機械は、ホイールローダである、請求項１に記載の作業機械の表示システム。
12. 　作業機械の動作情報および操作情報を取得するステップと、
    　取得した動作情報および操作情報に基づいて、前記作業機械の動作画像および前記作業機械の動作画像に対応する操作画像を生成するステップと、
    　前記作業機械の動作画像および操作画像を表示するステップとを備える、作業機械の表示システムの制御方法。

Images