JP5709986B2 - ショベル、その監視装置及びショベルの出力装置 - Google Patents

ショベル、その監視装置及びショベルの出力装置 Download PDF

Info

Publication number
JP5709986B2
JP5709986B2 JP2013515147A JP2013515147A JP5709986B2 JP 5709986 B2 JP5709986 B2 JP 5709986B2 JP 2013515147 A JP2013515147 A JP 2013515147A JP 2013515147 A JP2013515147 A JP 2013515147A JP 5709986 B2 JP5709986 B2 JP 5709986B2
Authority
JP
Japan
Prior art keywords
time
image data
excavator
abnormal
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013515147A
Other languages
English (en)
Other versions
JPWO2012157603A1 (ja
Inventor
薫子 塚根
薫子 塚根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Priority to JP2013515147A priority Critical patent/JP5709986B2/ja
Publication of JPWO2012157603A1 publication Critical patent/JPWO2012157603A1/ja
Application granted granted Critical
Publication of JP5709986B2 publication Critical patent/JP5709986B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/267Diagnosing or detecting failure of vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0264Control of logging system, e.g. decision on which data to store; time-stamping measurements
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816Indicating performance data, e.g. occurrence of a malfunction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2209/00Arrangements in telecontrol or telemetry systems
    • H04Q2209/80Arrangements in the sub-station, i.e. sensing device
    • H04Q2209/82Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data
    • H04Q2209/823Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data where the data is sent when the measured values exceed a threshold, e.g. sending an alarm

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Component Parts Of Construction Machinery (AREA)

Description

本発明は、動作の異常を判定するショベル、ショベルの監視装置、及び動作の異常を判定するショベルに搭載される出力装置に関する。
建設機械に搭載されたセンサで検出された検出値に基づいて、建設機械の故障判定を行う方法が知られている(特許文献1)。故障情報がセンタに送られ、センタでは、異常値を検出したセンサに基づいて、故障診断手順が抽出される。建設機械のオペレータは、この故障診断手順に従って故障診断を行う。
特開2002−332664号公報
故障診断手順が示されても、センサの検出値及び故障診断手順に従った診断のみでは、故障の原因を特定することが困難である場合がある。特に、ショベルでは、ブーム等のアタッチメントやキャビンが旋回体に搭載されているため、前後方向だけではなく左右方向にも移動する。このように、作業領域が広範囲に及ぶため、故障に結び付いてしまう状況が発生しやすい。本発明の目的は、故障時の状況を確認することで、故障の原因の特定を容易にするショベル、及びその監視装置を提供することである。
本発明の一観点によると、
撮像装置と、
前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置と、
ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサと、
異常情報記憶装置と、
前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定すると、異常と判定された時刻よりも前の第1の時刻から、少なくとも異常と判定された時刻までの前記画像データを、前記一時記憶装置から前記異常情報記憶装置に転送する制御装置とを有するショベルが提供される。
本発明の他の観点によると、
撮像装置と、
前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置と、
ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサと、
前記データを送信する送信装置と、
前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定されると、異常と判定された時刻よりも前の第1の時刻から、少なくとも異常と判定された時刻までの、前記一時記憶装置に記憶されている画像データを、前記送信装置から送信する制御装置と
を有するショベルが提供される。
本発明のさらに他の観点によると、
ショベルの動作状態に関わる複数の物理量を検出するセンサで検出された複数の検出値、及び前記ショベルに設置された撮像装置で取得された画像データが入力されるとともに、前記ショベルにコマンドを送出する送受信装置と、
異常情報記憶装置と、
制御装置とを有し、
前記制御装置は、前記送受信装置から入力された前記センサの検出値に基づいて動作の異常判定を行い、異常と判定されると、異常と判定された時刻よりも前の第1の時刻から、少なくとも異常と判定された時刻までの画像データの送信を指令するコマンドを、前記送受信装置を介して前記ショベルに送信し、
前記コマンドに応答して、前記ショベルから前記送受信装置に送信された画像データを、前記異常情報記憶装置に格納するショベルの監視装置が提供される。
動作状態が異常であると判定された時点の画像データを利用して、異常の原因を究明することができる。
図1A及び図1Bは、それぞれ実施例1によるショベルの側面図及び平面図である。 図2は、実施例1によるショベルのブロック図である。 図3は、実施例1によるショベルの画像取込制御装置の処理を示すフローチャートである。 図4は、実施例1によるショベルの制御装置の処理を示すフローチャートである。 図5は、実施例1によるショベルの出力装置に表示される画像の一例を示す図である。 図6は、実施例2によるショベルの制御装置の処理を示すフローチャートである。 図7は、センサで検出された検出値の一例を示す図表である。 図8は、実施例2によるショベルの出力装置に表示される画像の一例を示す図である。 図9は、実施例3によるショベル及び監視装置のブロック図である。 図10は、実施例3によるショベルの制御装置の処理を示すフローチャートである。 図11は、実施例4によるショベル及び監視装置のブロック図である。 図12は、実施例4による監視装置の制御装置の処理を示すフローチャートである。
[実施例1]
図1A及び図1Bに、それぞれ実施例1によるショベルの側面図及び平面図を示す。実施例1では、ショベルの例として、油圧ショベルが示されているが、実施例1は、その他のショベル、例えばハイブリッド型ショベルや電動ショベル等にも適用することが可能である。
下部走行体10に、旋回軸受け11を介して上部旋回体12が搭載されている。上部旋回体12は、下部走行体10に対して、時計回り、または反時計周りに旋回する。上部旋回体12に、ブーム13が取り付けられ、その先端にアーム15が連結され、その先端にバケット17が取り付けられている。ブーム13は、油圧シリンダ14により駆動され、アームは、油圧シリンダ16により駆動され、バケット17は、油圧シリンダ18により駆動される。さらに、上部旋回体12にキャビン19が搭載されている。運転者がキャビン19に乗り込んで、油圧ショベルを操作する。
上部旋回体12に、撮像装置20が搭載されている。撮像装置20は、前方撮像装置20F、右方撮像装置20R、左方撮像装置20L、及び後方撮像装置20Bで構成される。前方撮像装置20F、右方撮像装置20R、左方撮像装置20L、及び後方撮像装置20Bは、それぞれ上部旋回体12の前方、右方、左方、及び後方を撮像する。前方撮像装置20Fは、例えばキャビン19とブーム13との間に搭載されている。これらの撮像装置で得られた画像を合成することにより、全方位の画像を得ることができる。
図2に、ショベルの異常判定機能のブロックを示す。画像取込制御装置24が、撮像装置20で撮像された画像データを、一定の周期で一時記憶装置25に格納する。一時記憶装置25は、例えばリングバッファ構造を有する。すなわち、空きの記憶領域がなくなると、最も古い画像データに、新しい画像データが上書きされる。
画像取込モード記憶部26に、画像データの取込方法を指定する情報、例えば、解像度、及び取込周期が記憶されている。解像度を指定する変数は、例えば、「高解像度」、「通常解像度」、「低解像度」のいずれかの値をとる。取込周期を指定する変数は、例えば、「長周期」、「通常周期」、「短周期」のいずれかの値をとる。解像度と取込周期とにより、画像取込モードが決定される。画像取込モードは、オペレータが入力装置33を操作することにより、制御装置30に入力され、画像取込モード記憶部26に設定される。画像取込周期は、例えば数百ms〜1s程度とする。
画像取込制御装置24は、画像取込モード記憶部26に設定されている画像取込モードに基づいて、撮像装置20で撮像された画像データを一時記憶装置25に格納する。画像の解像度を低下させることにより、または取込周期を長くすることにより、長時間の画像データを一時記憶装置25に格納することができる。逆に、画像の解像度を高くし、取込周期を短くすれば、所定時間内の画像データの情報量を多くすることができる。
ショベルに、複数のセンサ34が搭載されている。センサ34は、ショベルの動作状態に関わる物理量を検出する。動作状態に関わる物理量として、例えば、エンジン回転数、ラジエター冷却水温度、燃料温度、大気圧力、エンジンオイル圧力、ブースト温度、吸気温度、作動油温度、ブースト圧力、バッテリ電圧、各部位の油圧、機械操作時間、走行操作時間、旋回操作時間、アイドル時間等が挙げられる。
制御装置30が、一時記憶装置25、画像取込モード記憶部26、出力装置31、異常情報記憶装置32等を制御する。入力装置33を介して、オペレータの指示が制御装置30に入力される。センサ34で検出された検出値が制御装置30に入力される。出力装置31には、例えば液晶表示装置等が用いられる。出力装置31と入力装置33とを兼ねる装置として、タッチパネル式の液晶表示装置を用いてもよい。
図3に、画像取込制御装置24の動作のフローチャートを示す。ショベルのエンジンスタートキーがオンになると、ステップSA1において、撮像装置20から画像データを取得する。画像取込モードで指定されている解像度になるように、画像データの解像度を変換した後、一時記憶装置25に格納する。画像データを格納する空き領域がない場合には、最も古い画像データを、新しい画像データで上書きする。
ステップSA2において、画像取込モードで指定される取込周期の経過を待つ。その後、ステップSA3において、ショベルのスタートキーが停止状態にされているか否かを判定する。停止状態の場合には、処理を終了する。停止状態でない場合には、ステップSA1に戻る。
図4に、制御装置30の動作のフローチャートを示す。ショベルのエンジンスタートキーがオンになると、ステップSB1において、センサ34で検出された検出値を取得する。ステップSB2において、取得された検出値が、その許容範囲に収まっているか否かを判定する。許容範囲は、動作状態に関わる物理量ごとに、予め設定されている。
ステップSB3において、動作状態が異常か否かの判定を行う。例えば、少なくとも1つの検出値が許容範囲を外れると、ショベルの動作状態が異常であると判定する。すべての検出値が許容範囲に収まっている場合には、動作状態は正常である判定する。動作状態が正常であると判定された場合には、ステップSB5において、ショベルが停止状態か否かを判定する。動作状態が異常であると判定された場合には、ステップSB4を実行した後に、ステップSB5において、停止状態か否かを判定する。
以下、ステップSB4の処理について説明する。一時記憶装置25に記憶されている画像データのうち、異常と判定された時点よりも前の第1の時刻から、現在までの画像データを読み出し、異常情報記憶装置32に格納する。さらに、異常と判定された時点の各センサ34の検出値を、異常情報記憶装置32に格納する。格納された画像データと、センサ34の検出値とは、相互に関連付けられている。例えば、画像データとセンサ34の検出値とにインデックスを付して、両者を関連付けてもよいし、データ取得時点の時刻に基づいて、両者を関連付けてもよい。
異常と判定された時点よりも過去の画像データに加えて、その時点以降の画像データを異常情報記憶装置32に格納するようにしてもよい。例えば、異常と判定された時点よりも後の第2の時刻まで待機し、第2の時刻になった時点で、第1の時刻から第2の時刻までの画像データを、一時記憶装置25から異常情報記憶装置32に転送してもよい。第1の時刻から異常と判定された時点までの時間は、例えば30秒〜5分程度とし、異常と判定された時点から第2の時刻までの時間は、例えば10秒〜1分程度とする。
さらに、動作状態が異常であることをオペレータに知らせるために、出力装置31を通して警報を発出するようにしてもよい。
ステップSB5において、ショベルが停止状態であると判定された場合には、処理を終了する。停止状態ではないと判定された場合には、ステップSB6において所定の時間待機した後、ステップSB1に戻る。ステップSB6の待機時間は、例えば数百msから1sとする。
実施例1においては、動作が異常と判定された時点よりも前の、または前後の画像データが、異常情報記憶装置32に格納されている。この画像データは、異常が発生した原因を特定する際に、有益な情報になる。ショベルに何らかの異常が発生すると、保守者が入力装置33(図2)を操作することにより、異常の原因探索を行うことができる。
図5に、異常の原因探索を行うときに、出力装置31に表示される画像の一例を示す。表示画面に、画像表示窓35、進行状況バー36、操作子37、及び文字情報表示窓38が表示される。図5には、一例として、2012年4月26日の10時35分20秒の時点で、異常が発生したと判定されたときの表示画面を示している。
進行状況バー36は、異常情報記憶装置32(図2)に記憶されている画像データのデータ収集開始時刻から終了時刻までの時間を表している。進行状況バー36内に表示されているスライダ36Aをスライドさせると、スライダ36Aの位置に対応する時刻の画像が、画像表示窓35に表示される。進行状況バー36の、異常発生時刻に対応する位置に、異常発生時刻表示マーク36Bが表示される。進行状況バー36及びスライダ36Aは、画像表示窓35に表示すべき画像の時刻を指示する時刻指示器として機能する。進行状況バー36の長さは、スライダ36Aで時刻を指示可能な時間幅に相当する。時刻指示器として、スライダ36Aに代えて、時刻を数値で入力するための数値入力窓を表示してもよい。
操作子37を操作することにより、動画の再生、コマ送り、一時停止等を行うことができる。また、操作子37に、異常発生時へジャンプするための指示ボタンが準備されている。この指示ボタンを操作すると、図4に示したステップSB2で異常と判定された時点の画像が、画像表示窓35に表示される。異常発生時へジャンプするための指示ボタンを準備することにより、異常時の直前の画像を迅速に表示することができる。
図5には、油圧の異常が検出された時点の画像の一例を示す。図5に示した画像から、上部旋回体12とバケット17(図1A、図1B)との間に、トラックが侵入していることがわかる。トラックが油圧配管に接触したことにより、油圧配管が破損し、油圧の異常が検出されたと推定できる。このように、異常発生時の前後の画像データを調査することにより、異常が発生した原因を特定することが可能になる。
[実施例2]
実施例2によるショベルの機能ブロック図は、図2に示した実施例1によるショベルの機能ブロック図と同一である。
図6に実施例2によるショベルの制御装置30(図2)の動作のフローチャートを示す。実施例2によるショベルの制御装置30には、単位空間定義済みフラグ、及び相関行列の逆行列記憶領域が準備されている。
ステップSC1において、センサ34(図2)から検出値を取得する。ステップSC2において、単位空間が定義済みか否かを判定する。具体的には、単位空間定義済みフラグに、「定義済み」が設定されているか、「未定義」が設定されているかを判定する。単位空間は、後のステップで、マハラノビスタグチ法を用いた異常判定を行う際に、判定の基準として用いられる。単位空間が未定義である場合には、ステップSC3において、センサ34の検出値をサンプルとして蓄積する。ステップSC4において、蓄積されているサンプル数が十分か否かを判定する。サンプル数が十分である場合には、ステップSC5において、単位空間を定義する。具体的には、単位空間を構成するサンプルの物理量の相関行列及びその逆行列を求める。
以下、単位空間を定義する方法について説明する。
図7に、センサ34で検出された検出値の一例を示す。検出対象の物理量の数をKとし、蓄積されたサンプルの数をNとする。N個のサンプルの検出値によって単位空間が構成される。サンプル番号nのサンプルにおける物理量kの検出値をx(n,k)と表す。各物理量の検出値の平均値及び標準偏差を求める。物理量kの平均値をm(k)、標準偏差をσ(k)と表す。
各サンプルの検出値を基準化し、基準化検出値を求める。サンプル番号nのサンプルにおける物理量kの検出値x(n,k)の基準化検出値X(n,k)は、以下の式で表される。
Figure 0005709986
基準化検出値X(n,k)に基づいて、物理量の間の相関係数を求める。物理量iと物理量jとの相関係数r(i,j)は、以下の式で求められる。
Figure 0005709986
物理量1〜物理量Kの相関行列Rは、以下の式で表される。
Figure 0005709986
相関行列Rの逆行列Aを求める。逆行列Aは、後のステップで利用できるように、制御装置30内に記憶しておく。
ステップSC6において、単位空間定義済みフラグに、「定義済み」を設定する。ステップSC4で、サンプル数が十分ではないと判定された場合、及びステップSC6で、単位空間定義済みフラグに「定義済み」を設定した後、ステップSC11において、所定時間待機する。待機時間は、例えば、数百ms〜1s程度とする。待機後、ステップSC1に戻る。
なお、単位空間定義済みフラグは、オペレータの操作によってリセットすることができる。すなわち、単位空間定義済みフラグに、「未定義」を設定することができる。
ステップSC2で、単位空間定義済みと判定された場合には、ステップSC7において、各センサ34で検出された検出値(検証データ)のマハラノビス距離(MD)を計算する。以下、マハラノビス距離の計算方法について説明する。
センサ34で検出されたK個の検出値(検証データ)のうち物理量kの値をy(k)とする。検出値y(k)を基準化して、基準化検出値Y(k)を求める。基準化検出値Y(k)は、以下の式で算出することができる。
Figure 0005709986
検証データのマハラノビス距離の2乗(D)は、相関行列Rの逆行列Aを用いて、以下の式で算出することができる。
Figure 0005709986
マハラノビス距離MD(またはマハラノビス距離の2乗D)が求められたら、ステップSC8において、マハラノビス距離MDと、閾値とを比較する。閾値は、予め設定されている。例えば、閾値として2が採用される。上述の式で定義されたマハラノビス距離の2乗Dのまま閾値と比較する場合には、閾値として2=4が採用される。マハラノビス距離MDが閾値より大きい場合、ステップSC9の処理を行う。ステップSC9の処理は、実施例1のステップSB4(図4)の処理と同一である。
ステップSC9の処理が終了すると、またはステップSC8でマハラノビス距離MDが閾値以下であると判定された場合には、ステップSC10において、ショベルが停止状態か否かを判定する。停止状態である場合には、処理を終了する。停止状態でない場合には、ステップSC11において、所定時間待機した後、ステップSC1に戻る。
実施例2では、運転状態が異常であるか否かの判定を行う方法として、マハラノビスタグチ法が適用される。このため、センサ34の検出値ごとに許容範囲を設定しておく必要はない。
上述の実施例1においては、検出値の許容範囲は、例えば、過去の異常発生の事例等に基づいて設定される。従って、過去に発生していない新規な異常を検出できない場合もある。マハラノビスタグチ法を適用すると、検出値の許容範囲を、過去の事例に基づいて設定する必要がない。このため、過去に発生していないような新規な異常を検出することも可能である。
また、実施例2では、複数の検出値の、許容値からのずれ量が、マハラノビス距離(MD)に統合されているため、容易に、異常か否かを判定することができる。
図8に、実施例2によるショベルで異常原因の探索を行うときに、出力装置31(図2)に表示される画像の一例を示す。以下、図5に示した実施例1との相違点について説明する。実施例2では、画像表示窓35、進行状況バー36、操作子37、及び文字情報表示窓38の他に、警報レベル変動表示窓39が表示される。警報レベル変動表示窓39には、スライダ36Aで時刻指定できる時間幅に対応して、警報レベルの経時変動グラフが表示される。警報レベル変動表示窓39には、スライダ36Aで指示されている時刻(表示されている画像の時刻)に対応する位置に表示画像時刻線39Aが表示されている。さらに、異常発生時刻表示マーク36Bに対応する位置に、異常発生時刻線39Bが表示されている。警報レベルは、ショベルに異常が発生している可能性の高さを表している。警報レベルとして、例えばステップSC7(図6)で算出されたマハラノビス距離が採用される。警報レベルが急激に増大した直前に、異常が発生する何らかの原因が生じていたと考えられる。
[実施例3]
図9に、実施例3によるショベル及び監視装置の機能ブロック図を示す。以下、実施例1によるショベルとの相違点に着目して説明し、同一の構成については説明を省略する。
実施例1では、異常判定処理、及び異常時のデータの蓄積が、ショベルに閉じて行われた。実施例2では、異常判定処理は、ショベル50に搭載されたローカル制御装置30で行われる。異常と判定されたときの画像データ等は、監視装置60に蓄積される。ショベル50に、画像データ等の各種データを通信回線45を通して監視装置60に送信するための送受信装置40が搭載されている。
監視装置60に、送受信装置41、制御装置61、出力装置62、入力装置63、及び異常情報記憶装置32が設置されている。送受信装置41は、ショベル50から通信回線45を通して送信されたデータを受信する。制御装置61は、出力装置62、入力装置63、及び異常情報記憶装置32を制御する。
図10に、ショベル50に搭載されたローカル制御装置30で行われる処理のフローチャートを示す。ステップSB1、SB2、SB3、SB5、SB6は、それぞれ図4に示した実施例1のステップSB1、SB2、SB3、SB5、SB6と同一である。実施例1のステップSB4に代えて、ステップSD4の処理が実行される。以下、ステップSD4について説明する。
ローカル制御装置30は、ステップSB3で異常と判定すると、判定時刻よりも後の第2の時刻まで、一時記憶装置25に画像データが蓄積されるまで待機する。一時記憶装置25に格納されている画像データのうち、異常と判定された時点より前の第1の時刻から、第2の時刻までの画像データ、及び異常と判定されたときのセンサ34の検出値を、送受信装置40から、監視装置60に送信する。なお、一時記憶装置25に格納されている画像データのうち、異常と判定された時点より前の第1の時刻から、異常と判定された時刻までの画像データを送信するようにしてもよい。さらに、出力装置31から警報を発出し、オペレータに異常を通知する。
次に、監視装置60の制御装置61の処理について説明する。ショベル50から、異常と判定された前後の画像データ及びセンサの検出値を受信すると、異常情報記憶装置32に、これらのデータを格納する。同時に、出力装置62から警報を発出する。
監視装置60の監視者が、入力装置63から、データ表示を指令すると、制御装置61は、異常情報記憶装置32に蓄積されているセンサの検出値及び画像データを、出力装置62に出力する。監視者が、異常発生原因を特定する際に、異常検出時の前後の画像データが有益な情報となる。出力装置62に表示される画像は、図5に示した実施例1による出力装置31に出力される画像、または図8に示した実施例2による出力装置31に出力される画像と同一である。
[実施例4]
図11に、実施例4によるショベル及び監視装置の機能ブロック図を示す。以下、実施例3によるショベル及び監視装置との相違点に着目して説明し、同一の構成については説明を省略する。
実施例3では、ショベル50に搭載されたローカル制御装置30が異常判定処理を行ったが、実施例4では、監視装置60に設置された制御装置61が異常判定処理を行う。ショベル50は、一定の周期で、監視装置60に対して、異常判定要求を、センサ34の検出値と共に送信する。
図12に、監視装置60の制御装置61が行う処理のフローチャートを示す。ステップSE1において、ショベル50から異常判定要求を受信したか否かを判定する。異常判定要求が受信されていない場合には、異常判定要求を受信するまでステップSE1を繰り返す。
異常判定要求があった場合には、ステップSE2において、ショベル50から受信したセンサの検出値に基づいて、異常判定を行う。異常判定処理は、実施例1のステップSB2、SB3(図4)、または実施例2のステップSC7、SC8(図6)の異常判定処理と同一である。
ステップSE3において、異常と判定された場合には、ステップSE4において、ショベル50に対して、画像データの送信を指令する。この指令には、送信すべき画像データの開始時刻(第1の時刻)と終了時刻(第2の時刻)とが含まれている。ショベル50は、画像データの送信指令を受信すると、その応答として、一時記憶装置25に蓄積されている画像データのうち、第1の時刻から第2の時刻までの画像データを、監視装置60に送信する。なお、画像データは、送信前にデータ圧縮を行うことが好ましい。
ステップSE5において、ショベル50から受信した画像データ、及び異常と判定された時点のセンサの検出値を、両者を関連付けて、異常情報記憶装置32に格納する。ステップSE5の処理が終了すると、ステップSE6において、監視装置60の運用が停止状態であるか否かを判定する。ステップSE3で異常ではないと判定された場合にも、ステップSE6において、監視装置60の運用が停止状態であるか否かを判定する。
ステップSE6において、停止状態ではないと判定された場合には、ステップSE1に戻る。停止状態と判定された場合には、処理を終了する。
実施例4においても、監視装置60の監視者は、異常発生原因を特定するために、出力装置62に表示される異常検出時の前後の画像を利用することができる。出力装置62に表示される画像は、図5に示した実施例1による出力装置31に出力される画像、または図8に示した実施例2による出力装置31に出力される画像と同一である。
以上実施例に沿って本発明を説明したが、本発明はこれらに制限されるものではない。例えば、種々の変更、改良、組み合わせ等が可能なことは当業者に自明であろう。
10 下部走行体
11 旋回機構
12 上部旋回体
13 ブーム
14 油圧シリンダ
15 アーム
16 油圧シリンダ
17 バケット
18 油圧シリンダ
19 キャビン
20F 前方撮像装置
20R 右方撮像装置
20L 左方撮像装置
20B 後方撮像装置
24 画像制御装置
25 一時記憶装置
26 動作モード記憶部
27 センサ
30 制御装置
31 出力装置
32 異常情報記憶装置
33 入力装置
34 センサ
35 画像表示窓
36 進行状況バー
36A スライダ
36B 異常発生時刻表示マーク
37 操作子
38 文字情報表示窓
39 警報レベル変動表示窓
39A 表示画像時刻線
39B 異常発生時刻線
40、41 送受信装置
45 通信回線
50 ショベル
60 監視装置
61 制御装置62 出力装置
63 入力装置

Claims (20)

  1. 撮像装置と、
    前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置と、
    ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサと、
    異常情報記憶装置と、
    前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定すると、異常と判定された時刻よりも前の第1の時刻から、少なくとも異常と判定された時刻までの前記画像データを、前記一時記憶装置から前記異常情報記憶装置に転送する制御装置とを有するショベル。
  2. 前記制御装置は、前記画像データとともに、異常と判定された時刻における前記センサの検出値を前記異常情報記憶装置に格納する請求項1に記載のショベル。
  3. 前記制御装置は、
    動作が異常と判定されると、さらに、動作が異常と判定された時刻よりも後の第2の時刻までの前記画像データを、前記一時記憶装置から前記異常情報記憶装置に転送する請求項1または2に記載のショベル。
  4. 前記制御装置は、
    正常動作時に、前記複数のセンサで検出された検出値を取得し、取得された検出値に基づいてマハラノビスタグチ法で利用される単位空間を決定し、
    前記単位空間の中心から、前記複数のセンサで検出された評価対象の検出値までのマハラノビス距離を算出し、
    算出されたマハラノビス距離に基づいて、動作の異常判定を行う請求項1乃至3のいずれか1項に記載のショベル。
  5. 前記一時記憶装置は、空きの記憶領域がなくなると、最も古い画像データを新しい画像データで上書きするリングバッファ構造を有し、
    前記制御装置は、前記一時記憶装置に記憶される画像データの解像度を指定する画像取込モードを記憶する画像取込モード記憶部を有し、
    前記画像取込モード記憶部に記憶されている画像取込モードで指定された解像度で、前記撮像装置で取得された画像データを前記一時記憶装置に格納する請求項1乃至4のいずれか1項に記載のショベル。
  6. さらに、画像を表示する出力装置を有し、
    前記制御装置は、
    前記出力装置に、オペレータが時刻を指示するための時刻指示器を表示し、
    前記異常情報記憶装置に記憶されている画像データのうち、前記時刻指示器で指示された時刻の画像データを、前記出力装置に画像として表示する請求項1乃至5のいずれか1項に記載のショベル。
  7. 前記制御装置は、時刻を指示可能な時間幅の情報を前記時刻指示器に表示し、前記出力装置に、前記時刻指示器に表示されている時間幅に対応して、警報レベルの時間変動を表示する請求項6に記載のショベル。
  8. 撮像装置と、
    前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置と、
    ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサと、
    前記データを送信する送信装置と、
    前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定されると、異常と判定された時刻よりも前の第1の時刻から、少なくとも異常と判定された時刻までの、前記一時記憶装置に記憶されている画像データを、前記送信装置から送信する制御装置と
    を有するショベル。
  9. 前記制御装置は、前記画像データとともに、異常と判定された時刻における前記センサの検出値を、前記送信装置から送信する請求項8に記載のショベル。
  10. 前記制御装置は、
    異常と判定すると、さらに、動作が異常と判定された時刻よりも後の第2の時刻までの前記画像データを、前記送信装置から送信する請求項8または9に記載のショベル。
  11. 前記制御装置は、
    正常動作時に、前記複数のセンサで検出された検出値を取得し、取得された検出値に基づいてマハラノビスタグチ法で利用される単位空間を決定し、
    前記単位空間の中心から、前記複数のセンサで取得された評価対象の検出値までのマハラノビス距離を算出し、
    算出されたマハラノビス距離に基づいて、動作の異常判定を行う請求項8乃至10のいずれか1項に記載のショベル。
  12. ショベルの動作状態に関わる複数の物理量を検出するセンサで検出された複数の検出値、及び前記ショベルに設置された撮像装置で取得された画像データが入力されるとともに、前記ショベルにコマンドを送出する送受信装置と、
    異常情報記憶装置と、
    制御装置と
    を有し、
    前記制御装置は、前記送受信装置から入力された前記センサの検出値に基づいて動作の異常判定を行い、異常と判定されると、異常と判定された時刻よりも前の第1の時刻から、少なくとも異常と判定された時刻までの画像データの送信を指令するコマンドを、前記送受信装置を介して前記ショベルに送信し、
    前記コマンドに応答して、前記ショベルから前記送受信装置に送信された画像データを、前記異常情報記憶装置に格納するショベルの監視装置。
  13. さらに、
    画像を表示する出力装置を有し、
    前記制御装置は、
    前記出力装置に、オペレータが時刻を指示するための時刻指示器を表示し、
    前記異常情報記憶装置に記憶されている画像データのうち、前記時刻指示器で指示された時刻の画像データを、前記出力装置に画像として表示する請求項12に記載のショベルの監視装置。
  14. 前記制御装置は、時刻を指示可能な時間幅の情報を前記時刻指示器に表示し、前記出力装置に、前記時刻指示器に表示されている時間幅に対応して、警報レベルの時間変動を表示する請求項13に記載のショベルの監視装置。
  15. 撮像装置、前記撮像装置で取得された画像データを一時的に記憶する一時記憶装置、ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサ、及び前記センサで検出された検出値に基づいて動作の異常判定を行い、異常と判定すると、前記画像データを、前記一時記憶装置から取り出して前記ショベルの監視装置に送信するローカル制御装置を有するショベルから画像データを受信する受信装置と、
    画像データを記憶する異常情報記憶装置と、
    画像を表示する出力装置と、
    制御装置と
    を有するショベルの監視装置であって、
    前記制御装置は、前記受信装置で受信した画像データを前記異常情報記憶装置に格納し、前記異常情報記憶装置に格納されている画像データを、前記出力装置に画像として表示するショベルの監視装置。
  16. 前記制御装置は、
    前記出力装置に、オペレータが時刻を指示するための時刻指示器を表示し、
    前記異常情報記憶装置に記憶されている画像データのうち、前記時刻指示器で指示された時刻の画像データを、前記出力装置に画像として表示する請求項15に記載のショベルの監視装置。
  17. ショベルに搭載された撮像装置で取得された画像データを表示するショベルの出力装置であって、
    前記ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサで検出された検出値に基づいて行われた動作の異常判定で異常と判定された時刻よりも前の第1の時刻から、少なくとも異常判定された時刻までの前記画像データを表示するショベルの出力装置。
  18. ショベルに搭載されている撮像装置で取得された画像データを、一時記憶装置に一時的に記憶する工程と、
    前記ショベルに搭載された複数のセンサで、それぞれ前記ショベルの動作状態に関わる複数の物理量を検出し、検出された検出値に基づいて動作の異常判定を行う工程と、
    前記異常判定を行う工程で、異常と判定されると、前記画像データを、前記一時記憶装置から取り出して前記ショベルの監視装置に送信する工程と、
    前記監視装置で受信された前記画像データを、前記監視装置の異常情報記憶装置に記憶する工程と、
    前記異常情報記憶装置に記憶されている前記画像データを、前記監視装置の出力装置に画像として表示する工程と
    を有するショベルの監視方法。
  19. さらに、
    前記出力装置に、オペレータが時刻を指示するための時刻指示器を表示する工程と、
    オペレータが、前記時刻指示器を通して、時刻を指示する工程と、
    を有し、
    前記出力装置に画像として表示する工程において、前記異常情報記憶装置に記憶されている画像データのうち、オペレータによって指示された時刻の画像データを、前記出力装置に画像として表示する請求項18に記載のショベルの監視方法。
  20. ショベルに搭載された撮像装置で取得された画像データを取得する工程と、
    前記画像データを取得する工程で取得された前記画像データのうち、前記ショベルの動作状態に関わる複数の物理量をそれぞれ検出する複数のセンサで検出された検出値に基づいて行われた動作の異常判定で異常と判定された時刻よりも前の第1の時刻から、少なくとも異常判定された時刻までの前記画像データを、出力装置に表示する工程と
    を有するショベルの監視方法。
JP2013515147A 2011-05-16 2012-05-14 ショベル、その監視装置及びショベルの出力装置 Active JP5709986B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013515147A JP5709986B2 (ja) 2011-05-16 2012-05-14 ショベル、その監視装置及びショベルの出力装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011109437 2011-05-16
JP2011109437 2011-05-16
JP2013515147A JP5709986B2 (ja) 2011-05-16 2012-05-14 ショベル、その監視装置及びショベルの出力装置
PCT/JP2012/062288 WO2012157603A1 (ja) 2011-05-16 2012-05-14 ショベル、その監視装置及びショベルの出力装置

Publications (2)

Publication Number Publication Date
JPWO2012157603A1 JPWO2012157603A1 (ja) 2014-07-31
JP5709986B2 true JP5709986B2 (ja) 2015-04-30

Family

ID=47176920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013515147A Active JP5709986B2 (ja) 2011-05-16 2012-05-14 ショベル、その監視装置及びショベルの出力装置

Country Status (6)

Country Link
US (1) US20140052349A1 (ja)
EP (2) EP3599314A1 (ja)
JP (1) JP5709986B2 (ja)
KR (1) KR101614013B1 (ja)
CN (2) CN110056021A (ja)
WO (1) WO2012157603A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8768583B2 (en) * 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
EP2752724B1 (de) * 2013-01-08 2016-06-01 VEGA Grieshaber KG Verfahren zur Kontrolle von Feldgeräten, Steuergerät, Programmelement und computerlesbares Medium
JP6169473B2 (ja) * 2013-10-25 2017-07-26 住友重機械工業株式会社 作業機械の管理装置及び作業機械の異常判定方法
US10409926B2 (en) 2013-11-27 2019-09-10 Falkonry Inc. Learning expected operational behavior of machines from generic definitions and past behavior
US10037128B2 (en) * 2014-02-04 2018-07-31 Falkonry, Inc. Operating behavior classification interface
JP6320185B2 (ja) * 2014-06-16 2018-05-09 住友重機械工業株式会社 ショベル支援装置
GB2535456A (en) 2015-02-12 2016-08-24 Edwards Ltd Processing tool monitoring
EP3272947B1 (en) * 2015-03-19 2022-01-26 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Excavator
JP6543533B2 (ja) * 2015-08-26 2019-07-10 Kyb株式会社 データ処理装置
US10308157B2 (en) * 2016-08-31 2019-06-04 Caterpillar Inc. Truck cycle segmentation monitoring system and method
JP6608345B2 (ja) * 2016-09-28 2019-11-20 日立建機株式会社 作業機械
WO2018167904A1 (ja) * 2017-03-16 2018-09-20 三菱電機ビルテクノサービス株式会社 監視システム
JP7197315B2 (ja) * 2018-09-14 2022-12-27 株式会社小松製作所 ホイールローダの表示システムおよびその制御方法
JP7286287B2 (ja) * 2018-09-14 2023-06-05 株式会社小松製作所 作業機械の表示システムおよびその制御方法
CN109577395B (zh) * 2018-11-30 2020-12-01 中船重工中南装备有限责任公司 具备轨迹纠正功能的履带底盘绞吸式清淤机器人
KR20220050090A (ko) * 2019-08-29 2022-04-22 스미토모 겐키 가부시키가이샤 쇼벨, 쇼벨진단시스템
WO2021054415A1 (ja) * 2019-09-18 2021-03-25 住友重機械工業株式会社 ショベル
JPWO2021085608A1 (ja) * 2019-10-31 2021-05-06
JP7257430B2 (ja) * 2021-02-10 2023-04-13 住友重機械工業株式会社 ショベル及びショベル用システム
WO2023218653A1 (ja) * 2022-05-13 2023-11-16 ファナック株式会社 映像管理装置、及びコンピュータが読み取り可能な記憶媒体
CN117216728B (zh) * 2023-11-09 2024-02-02 金成技术股份有限公司 挖掘机动臂稳定性检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07119183A (ja) * 1993-10-21 1995-05-09 Hitachi Constr Mach Co Ltd 油圧作業機のモニタ装置
JP2001133295A (ja) * 1999-11-02 2001-05-18 Iseki & Co Ltd 作業車両の異常情報記憶装置
WO2009020229A1 (ja) * 2007-08-09 2009-02-12 Hitachi Construction Machinery Co., Ltd. 作業機械の機器診断装置及び機器診断システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3935626B2 (ja) * 1998-09-17 2007-06-27 日立建機株式会社 自動運転建設機械の始業点検装置
EP1617391A3 (en) * 1999-03-17 2012-02-22 Komatsu Ltd. Apparatus for presenting information on mobile bodies
JP4897152B2 (ja) * 2001-05-08 2012-03-14 日立建機株式会社 建設機械の故障診断方法および建設機械の故障診断システム
AU2003284970A1 (en) * 2002-10-25 2004-05-13 J. Bruce Cantrell Jr. Digital diagnosti video system for manufacturing and industrial process
CN1291602C (zh) * 2003-07-25 2006-12-20 株式会社日立制作所 监视信息提供装置及监视信息提供方法
JP3902168B2 (ja) * 2003-09-04 2007-04-04 日立建機株式会社 建設機械の診断情報表示システム
JP2005113397A (ja) * 2003-10-03 2005-04-28 Hitachi Constr Mach Co Ltd 建設機械の表示装置
JP4310632B2 (ja) * 2003-11-07 2009-08-12 日立建機株式会社 建設機械の表示装置
JP2005163370A (ja) * 2003-12-02 2005-06-23 Hitachi Constr Mach Co Ltd 建設機械の画像表示装置
US7499842B2 (en) * 2005-11-18 2009-03-03 Caterpillar Inc. Process model based virtual sensor and method
JP5345625B2 (ja) * 2008-08-21 2013-11-20 日本ネットワークサービス株式会社 データ通信システム
US20100123779A1 (en) * 2008-11-18 2010-05-20 Dennis Michael Snyder Video recording system for a vehicle
JP5313099B2 (ja) * 2009-09-25 2013-10-09 日立建機株式会社 機械の異常監視装置
WO2011092830A1 (ja) * 2010-01-28 2011-08-04 日立建機株式会社 作業機械の監視診断装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07119183A (ja) * 1993-10-21 1995-05-09 Hitachi Constr Mach Co Ltd 油圧作業機のモニタ装置
JP2001133295A (ja) * 1999-11-02 2001-05-18 Iseki & Co Ltd 作業車両の異常情報記憶装置
WO2009020229A1 (ja) * 2007-08-09 2009-02-12 Hitachi Construction Machinery Co., Ltd. 作業機械の機器診断装置及び機器診断システム

Also Published As

Publication number Publication date
EP2711471A1 (en) 2014-03-26
CN110056021A (zh) 2019-07-26
KR20130138821A (ko) 2013-12-19
EP2711471A4 (en) 2016-02-17
EP2711471B1 (en) 2019-09-04
JPWO2012157603A1 (ja) 2014-07-31
KR101614013B1 (ko) 2016-04-29
CN103459728A (zh) 2013-12-18
WO2012157603A1 (ja) 2012-11-22
EP3599314A1 (en) 2020-01-29
US20140052349A1 (en) 2014-02-20

Similar Documents

Publication Publication Date Title
JP5709986B2 (ja) ショベル、その監視装置及びショベルの出力装置
US8850000B2 (en) Trigger-based data collection system
JP6112488B2 (ja) ショベル、ショベル管理装置、及びショベル管理方法
JP4306349B2 (ja) 車両情報端末装置
US10000911B2 (en) Abnormality diagnostic system for work system of construction machinery and method using the same
EP2249314B1 (en) System for monitoring the state and driving of a vehicle
US20220205221A1 (en) Shovel, shovel management device, shovel management system, shovel supporting device
US20160217398A1 (en) Analysis Method for Time Series Data and Device Therefor
JP7467752B2 (ja) 作業車両の故障診断システムおよびコンピュータプログラム
JP2001341956A (ja) エレベータの遠隔保守方法及び遠隔保守システム
KR101371312B1 (ko) 자동차 고장 진단 시스템
KR101065485B1 (ko) 엔진 무선 모니터링 시스템
KR101311112B1 (ko) 차량 사고 판단 장치 및 그 방법
JP4146270B2 (ja) 地震計
JP5303435B2 (ja) 車両の故障情報管理
KR20200075943A (ko) 이동수단의 자율주행시스템
WO2024034040A1 (ja) 情報処理装置、サーバ、検査システム、センサデータ送信方法及びプログラム記録媒体
KR20150110862A (ko) 차량 정비 시스템
US20220205222A1 (en) Shovel
JPH08166328A (ja) 車両用故障診断装置
KR101292208B1 (ko) 엔진 회전수 측정 장치
WO2022162855A1 (ja) 車載装置、路面画像の送信方法及びプログラム記録媒体
KR20160130892A (ko) 건설기계의 원격 진단시스템
JP3674343B2 (ja) 車両診断用ハンディテスタ
JP2023027898A (ja) 特装車制御装置および特装車制御装置管理システム

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20150107

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150303

R150 Certificate of patent or registration of utility model

Ref document number: 5709986

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S802 Written request for registration of partial abandonment of right

Free format text: JAPANESE INTERMEDIATE CODE: R311802

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250