JP7372031B2 - 再生装置、分析支援システム及び再生方法 - Google Patents

再生装置、分析支援システム及び再生方法 Download PDF

Info

Publication number
JP7372031B2
JP7372031B2 JP2018172845A JP2018172845A JP7372031B2 JP 7372031 B2 JP7372031 B2 JP 7372031B2 JP 2018172845 A JP2018172845 A JP 2018172845A JP 2018172845 A JP2018172845 A JP 2018172845A JP 7372031 B2 JP7372031 B2 JP 7372031B2
Authority
JP
Japan
Prior art keywords
working machine
reproduction
model
work machine
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018172845A
Other languages
English (en)
Other versions
JP2020046757A (ja
Inventor
真太郎 ▲濱▼田
喜之 大西
充広 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to JP2018172845A priority Critical patent/JP7372031B2/ja
Priority to US17/264,443 priority patent/US20220112681A1/en
Priority to CN201980053341.6A priority patent/CN112602120A/zh
Priority to DE112019003592.4T priority patent/DE112019003592T5/de
Priority to PCT/JP2019/032099 priority patent/WO2020054313A1/ja
Publication of JP2020046757A publication Critical patent/JP2020046757A/ja
Priority to JP2023102861A priority patent/JP2023130383A/ja
Application granted granted Critical
Publication of JP7372031B2 publication Critical patent/JP7372031B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E02F3/438Memorising movements for repetition, e.g. play-back capability
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/267Diagnosing or detecting failure of vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E02F3/437Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like providing automatic sequences of movements, e.g. linear excavation, keeping dipper angle constant
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • E02F9/265Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40Data acquisition and logging

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Paleontology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Debugging And Monitoring (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、再生装置、分析支援システム及び再生方法に関する。
特許文献1には、専用のカメラ搭載車を現場に配置することなく、操作者の作業を支援し、かつ作業機械と運搬車両との相対位置情報を含む支援画像を生成することのできる作業支援画像生成装置、及びそれを備えた作業機械の遠隔操縦システムが開示されている。
特開2016―089388号公報
作業機械の運転、操作に関する分野において、自分の操作を振り返りたい、熟練の操作者の動きを知りたい、作業機械の故障時、作業機械の異常時の動きを知りたい、等のニーズがある。そこで、操作者の操作に基づく作業機械の動きを忠実に再現することで、作業機械の動きを詳細に分析できるツールの開発が求められている。
上述の課題に鑑みて、本発明は、作業機械の操作者の操作に基づく当該作業機械の一連の動作を画面上で再生し、事後的に分析できる再生装置、分析支援システム及び再生方法を提供することを目的とする。
本発明の一態様によれば、再生装置は、時刻に対応付けられる作業機械の可動部の角度情報を含むログ情報を取得する取得部と、前記作業機械の動作の再生指示を受け付ける受付部と、前記再生指示を受付けた場合、前記角度情報を、作業機械モデルに順次適用することで、前記作業機械の動作を再生する再生部と、を備える。
上記態様によれば、操作者の操作に基づく作業機械の動きを画面上で再生し、分析できる。
第1の実施形態に係る分析支援システムの全体構成を示す図である。 第1の実施形態に係る作業機械の構造を示す図である。 第1の実施形態に係る作業機械の運転室の構成を示す図である。 第1の実施形態に係る再生装置の機能構成を示す図である。 第1の実施形態に係る再生装置の処理フローを示す図である。 第1の実施形態に係るログ情報の例を示す第1の図である。 第1の実施形態に係るログ情報の例を示す第2の図である。 第1の実施形態に係るログ情報の例を示す第3の図である。 第1の実施形態に係る作業機械モデルの例を示す図である。 第1の実施形態に係る表示画像の例を示す図である。 他の実施形態に係る再生装置の処理フローを示す図である。
<第1の実施形態>
以下、第1の実施形態に係る再生装置、及び、これを備える分析支援システムについて、図1~図10を参照しながら詳細に説明する。
(分析支援システムの全体構成)
図1は、第1の実施形態に係る分析支援システムの全体構成を示す図である。
分析支援システム1は、再生装置10と、複数の作業機械3のそれぞれに搭載されたデータロガー20とを有している。
作業機械3は、再生装置10による作業分析の対象である。作業機械3の例としては、油圧ショベルやホイールローダなどが挙げられる。なお、以下の説明においては、作業機械3の例として油圧ショベルを挙げて説明する。各作業機械3には複数のセンサが設けられている。データロガー20は、当該センサによって取得された、作業機械3の状態を示す情報を時系列に記録、蓄積する。以下、データロガー20が記録した、各時刻における作業機械3の状態を示す情報をログ情報とも記載する。また、データロガー20は、記録したログ情報を一定時間間隔で、広域通信網を介して再生装置10に送信する。なお、一定時間間隔とは、例えば、5分間隔である。再生装置10は、データロガー20から受信したログ情報を記録媒体に記録する。
再生装置10の機能については後述する。
(作業機械の構造)
図2は、第1の実施形態に係る作業機械の構造を示す図である。
油圧ショベルである作業機械3は、作業現場等において土砂などを掘削、整地する。
図2に示すように、油圧ショベルである作業機械3は、走行するための下部走行体31と、下部走行体31の上部に設置され旋回可能な上部旋回体32とを有してなる。また、上部旋回体32には、運転室32A、作業機32B、及び、2つのGPSアンテナG1、G2が設けられている。
下部走行体31は、左側履帯CLと、右側履帯CRとを有する。作業機械3は、左側履帯CL及び右側履帯CRの回転により前進、旋回、後進する。
運転室32Aは、作業機械3の操作者が搭乗し、操作を行う場所である。運転室32Aは、例えば、上部旋回体32の前端部左側部分に設置される。運転室32A内部の構成については後述する。
作業機32Bは、ブームBM、アームAR及びバケットBKからなる。ブームBMは、上部旋回体32の前端部に装着される。また、ブームBMにはアームARが取り付けられる。また、アームARにはバケットBKが取り付けられる。また、上部旋回体32とブームBMとの間にはブームシリンダSL1が取り付けられる。ブームシリンダSL1を駆動することで上部旋回体32に対しブームBMを動作することができる。ブームBMとアームARとの間にはアームシリンダSL2が取り付けられる。アームシリンダSL2を駆動することで、ブームBMに対しアームARを動作することができる。アームARとバケットBKとの間にはバケットシリンダSL3が取り付けられる。バケットシリンダSL3を駆動することでアームARに対しバケットBKが動作することができる。
油圧ショベルである作業機械3が具備する上述の上部旋回体32、ブームBM、アームAR及びバケットBKは、作業機械3の可動部の一態様である。
(運転室の構成)
図3は、第1の実施形態に係る作業機械の運転室の構成を示す図である。
図3に示すように、運転室32Aには、操作レバーL1、L2と、フットペダルF1、F2と、走行レバーR1、R2とが設けられている。
操作レバーL1及び操作レバーL2は、運転室32A内のシートSTの左右に配置される。また、フットペダルF1及びフットペダルF2は、運転室32A内、シートSTの前方、床面に配置される。
操作レバーL1、L2、走行レバーR1,R2に対する入力操作と、油圧ショベルである作業機械3の動作との対応関係を示す操作パターンの一例は、以下のとおりである。
運転室前方に向かって左側に配置される操作レバーL1は、上部旋回体32の旋回動作、及び、アームARの掘削/ダンプ動作を行うための操作機構である。具体的には、作業機械3の操作者が操作レバーL1を前方に倒すと、アームARがダンプ動作する。また、作業機械3の操作者が操作レバーL1を後方に倒すと、アームARが掘削動作する。また、作業機械3の操作者が操作レバーL1を右方向に倒すと、上部旋回体32が右旋回する。また、作業機械3の操作者が操作レバーL1を左方向に倒すと、上部旋回体32が左旋回する。操作レバーL1を前後方向に倒した場合に上部旋回体32が右旋回または左旋回し、操作レバーL1が左右方向に倒した場合にアームARがダンプ動作または掘削動作してもよい。
運転室前方に向かって右側に配置される操作レバーL2は、バケットBKの掘削/ダンプ動作、及び、ブームBMの上げ/下げ動作を行うための操作機構である。具体的には、作業機械3の操作者が操作レバーL2を前方に倒すと、ブームBMの下げ動作が実行される。また、作業機械3の操作者が操作レバーL2を後方に倒すと、ブームBMの上げ動作が実行される。また、作業機械3の操作者が操作レバーL2を右方向に倒すと、バケットBKのダンプ動作が行われる。また、作業機械3の操作者が操作レバーL2を左方向に倒すと、バケットBKの掘削動作が行われる。
また、走行レバーR1,R2は、下部走行体31の動作制御、すなわち作業機械3の走行制御を行うための操作機構である。 運転室前方に向かって左側に配置される走行レバーR1は、下部走行体31の左側履帯CLの回転駆動に対応する。具体的には、作業機械3の操作者が走行レバーR1を前方に倒すと、左側履帯CLは前進方向に回転する。また、作業機械3の操作者が走行レバーR1を後方に倒すと、左側履帯CLは後進方向に回転する。
運転室前方に向かって右側に配置される走行レバーR2は、下部走行体31の右側履帯CRの回転駆動に対応する。具体的には、作業機械3の操作者が走行レバーR2を前方に倒すと、右側履帯CRは前進方向に回転する。また、作業機械3の操作者が走行レバーR2を後方に倒すと、右側履帯CRは後進方向に回転する。なお、フットペダルF1、F2は、それぞれ、走行レバーR,R2と連動しており、フットペダルF1、F2によって、走行制御することもできる。
なお、上述した操作パターンは一例にすぎず、油圧ショベルの機種等によっては上記の態様に限定されない。
なお、実施形態によっては、図2を用いて説明した作業機械3は、GPSアンテナG1、G2を備えないものであってもよい。
(再生装置の機能構成)
図4は、第1の実施形態に係る再生装置の機能構成を示す図である。
以下、図4を参照しながら、第1の実施形態に係る再生装置10の機能について説明する。
図4に示すように、再生装置10は、CPU100と、メモリ101と、表示部102と、操作受付部103と、通信インタフェース104と、ストレージ105とを備えている。なお、CPU100は、CPUではなく、FPGA、GPU等のプロセッサであってもよい。
CPU100は、再生装置10の動作全体の制御を司るプロセッサである。CPU100が有する各種機能については後述する。
メモリ101は、いわゆる主記憶装置である。メモリ101には、CPU100がプログラムに基づいて動作するために必要な命令及びデータが展開される。
表示部102は、情報を視認可能に表示可能な表示デバイスであって、例えば、液晶ディスプレイや有機ELディスプレイなどである。
操作受付部103は、入力デバイスであって、例えば、一般的なマウス、キーボード、タッチセンサなどである。
通信インタフェース104は、データロガー20との間で通信するための通信インタフェースである。
ストレージ105は、いわゆる補助記憶装置であって、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)等である。ストレージ105には、データロガー20から受信したログ情報TL、作業機械3の車両種類、機種ごとに事前に用意された作業機械モデルTMなどが記録される。なお、作業機械モデルTMについては、後述する。
第1の実施形態に係る再生装置10のCPU100が有する機能について詳しく説明する。CPU100は、所定のプログラムに基づいて動作することで、取得部1000、受付部1001、抽出部1002及び再生部1003としての機能を発揮する。
なお、上記所定のプログラムは、再生装置10に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ105に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、再生装置10は、上記構成に加えて、または上記構成に代えてPLD(Programmable Logic Device)などのカスタムLSI(Large Scale Integrated Circuit)を備えてもよい。PLDの例としては、PAL(Programmable Array Logic)、GAL(Generic Array Logic)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。
取得部1000は、ストレージ105に記録、蓄積された複数のログ情報TLの中から、再生の対象とするログ情報TLを取得する。ここで、複数のログ情報TLは、ストレージ105内において、異なるファイル名で記録されたファイル別に記録されているものとする。
受付部1001は、再生装置10のオペレータから、所定の再生指示を受け付ける。例えば、受付部1001は、再生装置10のオペレータから、作業機械3の再生指示を受け付ける。
抽出部1002は、取得したログ情報TLから、作業機械3の再生に用いる情報を抽出する。
再生部1003は、抽出された作業機械3の角度情報を、作業機械3に対応する作業機械モデルTMに適用して再生する。
(再生装置の処理フロー)
図5は、第1の実施形態に係る再生装置の処理フローを示す図である。
図6~図8は、第1の実施形態に係るログ情報の例を示す第1~第3の図である。
図9は、第1の実施形態に係る作業機械モデルの例を示す図である。
以下、図5~図9を参照しながら、再生装置10が行う具体的な処理の流れについて詳細に説明する。
図5に示す処理フローは、再生装置10のオペレータによって専用のアプリケーションが起動された時点から開始される。
オペレータの操作により専用のアプリケーションが起動すると、CPU100の受付部1001は、再生の対象とするログ情報TLの指定を受け付ける(ステップS00)。再生装置10のオペレータは、例えば、ログ情報TLのファイル名等を入力することで再生の対象とするログ情報TLを指定する。なお、再生の対象とするログ情報TLを固定とし、ログ情報TLの指定をしなくてもよい。
ここで、ログ情報TLについて図6~図8を参照しながら説明する。
図6~図8に示すように、ログ情報TLには、作業機械識別情報が含まれる。作業機械識別情報は、具体的には、作業機械3を個々に識別するための個体識別番号である。作業機械識別情報は、油圧ショベル、ホイールローダ等を示す作業機械3の車両種類、機種、型式、機番などと対応するように割り振られているものとする。
図6に示すように、ログ情報TLには、各時刻における作業機械3の位置、姿勢を示す情報、及び、作業機械3の可動部の角度情報が含まれる。具体的には、ログ情報TLには、作業機械の3の位置、機体の左右方向の傾きである作業機械3のロール角度、機体の前後方向の傾きであるピッチ角度、旋回角度、ブーム角度、アーム角度、バケット角度が各時刻毎に記録される。ここで、作業機械3に搭載されるデータロガー20は、例えば、GPSアンテナG1、G2を受信して得られる情報であって、緯度・経度を示す測位情報に基づいて、作業機械3の位置を特定して記録する。また、データロガー20は、作業機械3に搭載されたIMU(Inertial Measurement Unit)の計測結果に基づいて作業機械3のロール角度、ピッチ角度を計算して記録する。また、データロガー20は、上部旋回体32に設けられたGPSアンテナG1、G2のそれぞれから得られる測位情報に基づいて、上部旋回体32の旋回角度を計算して記録する。更に、データロガー20は、ブームシリンダSL1、アームシリンダSL2及びバケットシリンダSL3のそれぞれの伸縮度に基づいてブーム角度、アーム角度、バケット角度を計算して記録する。
なお、位置、ロール角度及びピッチ角度は、作業機械3そのものの位置、姿勢を特定するために必要な情報である。そのため、例えば、作業機械3の可動部、即ち、上部旋回体32、ブームBM、アームAR及びバケットBKの動きのみをアニメーション再生し、作業機械3そのものの位置や姿勢までは再現しない実施形態においては、位置、ロール角度及びピッチ角度の情報がログ情報に含まれている必要はない。
また、図7に示すように、ログ情報TLには、各時刻における操作者の操作レバーL1、L2等に対する入力の度合い、即ち、レバーの傾倒度合い、ペダルの踏込度合いを示すパイロット油圧(PPC圧)が含まれる。具体的には、ログ情報TLには、操作者による左/右旋回、アーム掘削/ダンプ、ブーム上げ/下げ、バケット掘削/ダンプ、右履帯前進/後進、左履帯前進/後進の各動作種類に対応する操作レバーL1、L2、走行レバーR1,R2,またはフットペダルF1、F2のPPC圧が、各時刻毎に記録される。なお、図7に示す各時刻は、図6の各時刻に対応している。
また、図8に示すように、ログ情報TLには、各時刻における作業機械3のエンジン、油圧ポンプ等の主要な駆動機構のステータスを示す情報が含まれる。具体的には、ログ情報TLには、エンジン冷却水温度、エンジン出力、瞬時燃料消費量、油圧ポンプの油温度が各時刻毎に記録される。なお、図8に示す各時刻は、図6及び図7の各時刻に対応している。
図5に戻り、ステップS00で再生装置10のオペレータからログ情報TLの指定を受け付けると、CPU100の取得部1000は、指定されたログ情報TLをメモリ101に展開して取得する(ステップS01)。次いで、取得部1000は、ログ情報TLに含まれる作業機械識別情報を参照する。取得部1000は、参照した作業機械識別情報に対応する作業機械モデルTMをストレージ105から選択して読み出す(ステップS02)。なお、作業機械モデルTMを選択せずに、作業機械モデルTMの指定を固定にしてもよい。
ここで、作業機械モデルTMについて図9を参照しながら説明する。
図9に示すように、作業機械モデルTMは、作業機械識別情報と、当該作業機械識別情報に示される作業機械3の外形3DモデルM0、操作パネルモデルM1等を含む情報である。外形3DモデルM0とは、作業機械3を表した3Dモデルであって、下部走行体、上部旋回体等の作業機械3のパーツごとに構築される。例えば、外形3DモデルM0は、作業機械3の形状を表す。例えば、外形3DモデルM0は、作業機械3の下部走行体31を表した下部走行体外形モデルM01、上部旋回体32を表した上部旋回体外形モデルM02、ブームBMを表したブーム外形モデルM03、アームARを表したアーム外形モデルM04、及び、バケットBKを表したバケット外形モデルM05によって構成される。
操作パネルモデルM1とは、作業機械識別情報で特定される作業機械3の操作パネルを表したモデルであって、作業機械3の操作者による、操作レバーL1、L2、走行レバーR1、R2に対応する入力方向及び入力度合いを再現する。操作パネルモデルM1には、作業機械3の動作種類(右/左旋回、アーム掘削/ダンプ、ブーム上げ/下げ、バケット掘削/ダンプ、右履帯前進/後進、左履帯前進/後進(図7参照))と作業機械3の操作者の入力操作種類(操作レバーL1前方、操作レバーL2右方向、・・)との対応付けを示す情報が含まれている。
図5に戻り、続いて、受付部1001は、再生指示を受け付ける(ステップS03)。再生指示の一態様としては、再生ボタンの押下などの操作であってもよい。また、時刻や、作業機械3の位置、作業機械3で異常が発生した等の各種イベントなど再生の始点となる情報を含めて再生指示をしてもよい。再生指示を受け付けると、CPU100の抽出部1002は、ログ情報TLから、再生に用いる情報を抽出する(ステップS04)。例えば、再生に用いる情報として、ブーム角度、アーム角度、バケット角度等である各種角度情報を抽出する。なお、再生に用いる情報として、図7に示すパイロット油圧を抽出してもよい。また、ステップS01において、再生に用いる情報のみを取得するようにしてもよい。
続いて、CPU100は、ログ情報TLに示される各時刻における作業機械3の位置を参照して、作業現場の俯瞰画像である2Dマップ上に、作業機械3の移動軌跡を描画する。例えば、ログ情報TLに示される各時刻における作業機械3の位置を、タイムスタンプが古いものから、順次、作業現場の俯瞰画像である2Dマップ上に適用しながら、作業機械3の移動軌跡を描画する。
なお、ステップS03において、時刻を含めて再生指示を受け取っていた場合は、その時刻に対応するログ情報TLに示される作業機械3の位置を、タイムスタンプが古いものから、順次、作業現場の俯瞰画像である2Dマップ上に適用しながら、作業機械3の移動軌跡を描画してもよい。また、その時刻から所定時間前の時刻に対応するログ情報TLに示される作業機械3の位置を、タイムスタンプが古いものから、順次、作業現場の俯瞰画像である2Dマップ上に適用しながら、作業機械3の移動軌跡を描画してもよい。
また、ステップS03において、位置を含めて再生指示を受け取っていた場合は、その位置に対応するログ情報TLに示される作業機械3の位置を、タイムスタンプが古いものから、順次、作業現場の俯瞰画像である2Dマップ上に適用しながら、作業機械3の移動軌跡を描画してもよい。
また、抽出部1002は、ログ情報TLに示される各時刻における作業機械3のエンジン、油圧ポンプ等の駆動機構に関するステータス(図8)を参照して、作業機械3の移動軌跡上において、駆動機構に異常が発生した区間(以下、異常発生区間とも表記する。)を抽出する。CPU100は、異常発生区間を、移動軌跡に重ねて表示部102に描画する(ステップS05)。なお、他の実施形態において、ステップS05における描画処理は、後述するステップS06のタイミング、又は、その更に後のステップで行ってもよい。
次に、再生部1003は、作業機械モデルTMのアニメーション再生処理を実行する(ステップS06)。ここで、再生部1003は、ログ情報TLに記録された各種情報を、タイムスタンプが古いものから、順次、作業機械モデルTMに適用しながら、作業機械3をアニメーション再生する。なお、ステップS03において、時刻を含めて再生指示を受け取っていた場合は、その時刻に対応する各種情報を、順次、作業機械モデルTMに適用しながら、作業機械3をアニメーション再生する。同様に、ステップS03において、位置や各種イベントを含めて再生指示を受け取っていた場合は、その位置にいた時刻、各種イベントが起きた時刻に対応する各種情報を、順次、作業機械モデルTMに適用しながら、作業機械3をアニメーション再生する。
具体的には、再生部1003は、ログ情報TLに示される、旋回角度、ブーム角度等の各種角度情報に基づいて、外形3DモデルM0の対応する部分の角度を変更する。例えば、再生部1003は、バケット外形モデルM05を、アーム外形モデルM04との接続位置に規定される回転軸周りに、ログ情報TLに示されるバケット角度になるように傾けることで、作業機械3のバケットBKの位置、姿勢を再現する。
同様に、再生部1003は、アーム外形モデルM04を、ブーム外形モデルM03との接続位置に規定される回転軸周りに、ログ情報TLに示されるアーム角度になるように傾けることで、作業機械3のアームARの位置、姿勢を再現する。
同様に、再生部1003は、上部旋回体外形モデルM02を、下部走行体外形モデルM01との接続位置に規定される回転軸周りに、ログ情報TLに示される旋回角度になるように傾けることで、作業機械3の上部旋回体32の位置、姿勢を再現する。
同様に、再生部1003は、下部走行体外形モデルM01を、下部走行体外形モデルM01に規定されるロール回転軸周りに、ログ情報TLに示されるロール角度になるように傾け、かつ、下部走行体外形モデルM01に規定されるピッチ回転軸周りに、ログ情報TLに示されるピッチ角度になるように傾けることで、作業機械3の上部旋回体32の姿勢を再現する。
また、第1の実施形態に係る再生装置10は、ログ情報TLに含まれる、各時刻における右履帯前進/後進、左履帯前進/後進のPPC圧に基づいて、作業機械3の走行のアニメーション再生をすることができる。
具体的には、右履帯前進/後進、左履帯前進/後進のPPC圧に基づいて、外形3DモデルM0を、前進、後退、左右前進、左右後退する。例えば、右履帯前進および、左履帯前進のPPC圧の数値に基づいて、外形3DモデルM0を前方方向に移動させる。PPC圧の数値に基づいて、移動させる速度を変えてもよい。
また、右履帯後退および、左履帯後退のPPC圧の数値に基づいて、外形3DモデルM0を後方方向に移動させる。また、右履帯前進と左履帯前進のPPC圧の数値の差に基づいて、外形3DモデルM0を前方左右方向にカーブするように移動させる。例えば、右履帯前進のPPC圧の数値のほうが、左履帯前進のPPC圧の数値より大きい場合、前方左方向にカーブするように移動させる。移動の速度、カーブの大きさは、それぞれのPPC圧の数値、およびPPC圧の数値の差によって変更してもよい。
同様に、右履帯後退と左履帯後退のPPC圧の数値の差に基づいて、外形3DモデルM0を後方左右方向にカーブするように移動させる。例えば、右履帯後退のPPC圧の数値のほうが、左履帯後退のPPC圧の数値より大きい場合、後方左方向にカーブするように移動させる。移動の速度、カーブの大きさは、それぞれのPPC圧の数値、およびPPC圧の数値の差によって変更してもよい。
なお、右履帯前進/後進、左履帯前進/後進のPPC圧に加えて、位置情報を用いて再生することで、より正確に、作業機械3の走行をアニメーションすることができる。この場合、位置情報を用いることで、作業機械3の移動の速度、位置をより正確に表現することができる。また、右履帯前進/後進、左履帯前進/後進のPPC圧に加えて、ロール角度、または、ピッチ角度、またはロール角度とピット角度の両方に基づいて、作業機械3をアニメーション再生することで、走行時の作業機械3の左右方向の傾き、または作業機械3の前後方向の傾きを再生することができる。
更に、再生部1003は、ログ情報TLに示される、動作種類ごとの操作レバーL1、L2、走行レバーR1、R2のPPC圧を、タイムスタンプが古いものから、順次、作業機械モデルTMの操作パネルモデルM1に適用して、作業機械3の操作者による各種操作レバー、走行レバーに対する入力操作をアニメーション再生する。再生部1003は、外形3DモデルM0及び操作パネルモデルM1の再生時刻を揃えながら、同一画面上で、同時にアニメーション再生する。
再生部1003は、作業機械3のアニメーション再生処理中、アニメーション再生を終了するか否かを判定する(ステップS07)。例えば、停止ボタンの押下等に基づく、再生終了の指示を受け取った場合に、アニメーション再生を終了すると判定する。アニメーション再生開始後、所定の期間経過後に、アニメーション再生を終了すると判定してもよい。アニメーション再生が終了しない場合(ステップS07;NO)、再生部1003は、作業機械モデルTMのアニメーション再生を継続する。他方、アニメーション再生を終了する場合(ステップS07;YES)、再生部1003はアニメーション再生処理を終了する。
図5を用いて説明した各処理フローのうちステップS00,S02,S04,S05,S07は、再生装置10の必須の構成ではなく、他の実施形態においてはこのようなステップを具備しないものであってもよい。
以上、受付部1001が、再生指示を受付、作業機械3のアニメーション再生する例を説明したが、他の実施形態としては、再生指示として、再生期間を受け付けるようにしてもよい。
図11に、再生指示として、再生期間を受け付けた場合の、再生装置の処理フローを示す。
オペレータの操作により専用のアプリケーションが起動すると、CPU100の受付部1001は、再生の対象とするログ情報TLの指定を受け付ける(ステップS20)。再生装置10のオペレータは、例えば、ログ情報TLのファイル名等を入力することで再生の対象とするログ情報TLを指定する。なお、再生の対象とするログ情報TLを固定とし、ログ情報TLの指定をしなくてもよい。
続いて、ステップS20で再生装置10のオペレータからログ情報TLの指定を受け付けると、CPU100の取得部1000は、指定されたログ情報TLをメモリ101に展開して取得する(ステップS21)。次いで、取得部1000は、ログ情報TLに含まれる作業機械識別情報を参照する。取得部1000は、参照した作業機械識別情報に対応する作業機械モデルTMをストレージ105から選択して読み出す(ステップS22)。なお、作業機械モデルTMを選択せずに、作業機械モデルTMの指定を固定にしてもよい。
続いて、受付部1001は、再生装置10のオペレータから再生指示として再生期間(再生開始時刻及び再生終了時刻)を受け付ける(ステップS23)。再生指示を受け付けると、CPU100の抽出部1002は、ログ情報TLから、再生開始時刻から再生終了時刻における作業機械3の状態の情報を抽出する(ステップS24)。
続いて、CPU100は、ログ情報TLに示される各時刻における作業機械3の位置(図6)を参照して、作業現場の俯瞰画像である2Dマップ上に、作業機械3の移動軌跡を描画する。また、抽出部1002は、ログ情報TLに示される各時刻における作業機械3のエンジン、油圧ポンプ等の駆動機構に関するステータス(図8)を参照して、作業機械3の移動軌跡上において、駆動機構に異常が発生した区間(以下、異常発生区間とも表記する。)を抽出する。CPU100は、異常発生区間を、移動軌跡に重ねて表示部102に描画する(ステップS25)。なお、他の実施形態において、ステップS25における異常発生区間の描画処理は、後述するステップS27のタイミング、又は、その更に後のステップで行ってもよい。
続いて、CPU100の再生部1003は、再生装置10のオペレータから再生開始の指示を受け付けたか否かを判定する(ステップS26)。再生開始の指示を受け付けていない場合(ステップS26;NO)、再生開始の指示を受け付けるまで待機する。再生開始の指示を受け付けた場合(ステップS26;YES)、再生部1003は、作業機械モデルTMのアニメーション再生処理を実行する(ステップS27)。ここで、再生部1003は、S24において抽出した情報をタイムスタンプが古いものから、順次、作業機械モデルTMに適用しながら、作業機械3をアニメーション再生する。
次に、再生部1003は、作業機械3のアニメーション再生処理中、アニメーション再生が終了したか否かを判定する(ステップS28)。アニメーション再生が終了していない場合(ステップS28;NO)、再生部1003は、作業機械モデルTMのアニメーション再生を継続する。他方、アニメーション再生が終了した場合(ステップS28;YES)、再生部1003はアニメーション再生処理を終了する。再生部1003は、例えば、再生装置10のオペレータによるアニメーション停止操作を受け付けた場合、又は、再生時刻が再生終了時刻に達した場合に、アニメーション再生処理を終了する。
図11を用いて説明した各処理フローのうちステップS20,S22,S25、S26、S28は、再生装置10の必須の構成ではなく、他の実施形態においてはこのようなステップを具備しないものであってもよい。
(再生装置の表示画面)
図10は、第1の実施形態に係る再生装置の表示画面の例を示す図である。
第1の実施形態に係る再生装置10のCPU100は、表示部102に、例えば図10に示すような表示画像Dを表示させる。
表示画像Dは、入力フォームD0と、外形3Dモデル表示画像D1と、情報一覧画像D2と、2Dマップ画像D3と、時間スクロールバーD4と、操作パターン画像D5とを含んで構成される。
入力フォームD0は、再生装置10のオペレータからログ情報TL及び再生期間(開始時刻、終了時刻)の指定を受け付けるための画像が描画される領域である。再生装置10のオペレータは、入力フォームD0に所望の情報を入力する。例えば、ログ情報TLを指定する場合は、ログ情報TLのファイル名を入力する。また、再生の開始時刻、終了時刻を指定する場合は、開始時刻、終了時刻を入力する。
外形3Dモデル表示画像D1は、外形3DモデルM0がアニメーション再生される領域である。外形3Dモデル表示画像D1には、外形3DモデルM0(図9)に作業機械3の状態を示すブーム角度、アーム角度、バケット角度等の各種情報が適用された作業機械画像D10が描画される。また、外形3Dモデル表示画像D1には、再生装置10のオペレータがアニメーション再生、一時停止等を指示するためのボタン画像D11が描画される。
情報一覧画像D2は、再生に関する各種情報を、再生装置10のオペレータに向けて提示する領域である。情報一覧画像D2には、再生時刻、再生している作業機械モデルTMの車両種類及び機種、再生時刻における異常の有無などが含まれる。
2Dマップ画像D3は、作業機械3の俯瞰画像が描画される領域である。2Dマップ画像D3には、作業現場の俯瞰画像である2Dマップ画像に加え、作業機械アイコンD30、移動軌跡D31及び異常発生区間D32が描画される。
作業機械アイコンD30は、再生中の作業機械3の2Dマップ上の位置や向きを示す画像である。
移動軌跡D31は、2Dマップにおける作業機械3の移動の軌跡を示している。作業機械アイコンD30及び移動軌跡D31は、ログ情報TLに含まれる、各時刻における作業機械3の位置に基づいて描画される。
また、異常発生区間D32は、移動軌跡D31のうち作業機械3のエンジン、油圧ポンプ等の駆動機構に異常が発生した区間を示している。異常発生区間D32は、作業機械3の駆動機構のステータス(図8)に基づいて描画される。例えば、CPU100は、作業機械3の移動軌跡D31のうち、エンジン冷却水温度が予め規定された異常判定閾値を上回った区間を抽出し、当該区間を異常発生区間D32として描画する。
再生装置10のオペレータは、例えばマウス等の操作受付部103を用いて、移動軌跡D31上の所定位置を指定する、クリック等の操作を行うことで、再生時刻を所望に変更できるものとしてもよい。
時間スクロールバーD4は、アニメーション再生を制御するためのスクロールバーである。時間スクロールバーD4には、開始時刻から終了時刻までの時間軸を表すバー画像D40と、バー画像D40で示される時間軸のうち再生中の時刻に対応する再生時刻アイコンD41と、異常発生時間帯D42とが描画される。再生時刻アイコンD41は、バー画像D40のうち、再生時刻に対応する位置に表示される。オペレータは、再生時刻アイコンD41をバー画像D40上でスライドさせる操作を行うことで、再生時刻を所望に変更することができる。
異常発生時間帯D42は、2Dマップ画像D3の異常発生区間D32に対応する時間帯であって、開始時刻から終了時刻のうち、作業機械3の駆動機構に異常が発生した時間帯を示している。
再生装置10のオペレータは、操作受付部103を用いて、バー画像D40上における再生時刻アイコンD41をスライドさせる操作を行うことで、再生時刻を所望に変更することができるものとしてもよい。
操作パターンD5は、作業機械3の操作者による操作レバー、走行レバーへの入力操作がアニメーション再生される領域である。操作パターンD5は、操作画像D50、D51、D52、D53及び操作アイコンD501、D511、D521、D531で構成される。
具体的には、操作画像D50は、左側の操作レバーである操作レバーL1への入力操作がアニメーション再生される領域である。操作画像D50上における操作アイコンD501の位置が、操作レバーL1への入力方向を示している。また、操作画像D50上に表示される操作アイコンD501の色が、操作レバーL1への入力度合いを示している。例えば、操作レバーL1に対する入力が無い場合、アイコンD501は完全な“白色”で表示され、入力度合いが大きくなるにつれて“白色”から“赤色”に変化するように表示される。なお、入力度合いに応じて変化する色の組み合わせはこの例に限られない。後述するアイコンD511、D521、D531についても同様である。
操作画像D51は、右側の操作レバーである操作レバーL2への入力操作がアニメーション再生される領域である。操作画像D51上における操作アイコンD511の位置が、操作レバーL2への入力方向を示している。また、操作画像D51上に表示される操作アイコンD511の色が、操作レバーL2への入力度合いを示している。
操作画像D52は、左側の走行レバーである走行レバーR1への入力操作がアニメーション再生される領域である。操作画像D52上における操作アイコンD521の位置が、走行レバーR1への入力方向を示している。また、操作画像D52上に表示される操作アイコンD521の色が、走行レバーR1への入力度合いを示している。
操作画像D53は、右側の走行レバーである走行レバーR2への入力操作がアニメーション再生される領域である。操作画像D53上における操作アイコンD531の位置が、走行レバーR2への入力方向を示している。また、操作画像D53上に表示される操作アイコンD531の色が、走行レバーR2への入力度合いを示している。
(作用、効果)
以上の通り、第1の実施形態に係る再生装置10は、時刻に対応付けられる作業機械3の可動部の角度情報を含むログ情報TLを取得する取得部1000と、作業機械3の動作の再生指示を受け付ける受付部1001と、再生指示を受付けた場合、作業機械3の可動部の角度情報を、作業機械モデルTMに順次適用することで、作業機械3の動作を再生する再生部1003とを備える。
このようにすることで、作業機械3が実際の作業現場で行った一連の動作のうち指定された時間帯の動作が、ログ情報TLに基づいて作業機械モデルTMで再現される。したがって、作業機械3の操作者による作業の分析を詳細に行うことができる。
特に、第1の実施形態に係る再生装置10は、ログ情報TLに含まれる、作業機械3のパーツごとの位置、姿勢を特定可能な情報に基づいて、作業機械3の外形を示す外形3DモデルM0のアニメーション再生を行う。これにより、実際の作業現場における作業機械3の外観上の動きが、作業機械3を表した3Dモデルによって再現されるので、作業機械3が作業現場で行った作業を詳細に分析することができる。
また、第1の実施形態に係る再生装置10は、ログ情報TLに含まれる、操作レバーL1、L2、走行レバーR1、R2等の操作機構に対する入力の度合いを示すPPC圧に基づいて、作業機械3の操作機構を示す操作パネルモデルM1のアニメーション再生を行う。これにより、実際の作業現場における作業機械3の操作者の操作の態様が、作業機械3の操作機構を表した操作パネルモデルM1によって再現されるので、作業機械3の操作者が作業現場で行った操縦の態様を事後的に詳細に分析することができる。
更に、再生装置10は、外形3Dモデルと操作パネルモデルM1とを、再生時刻を揃えながら同時に再生する。このようにすることで、操作者による入力操作と、これに基づく作業機械3の外観上の動きとの対応関係を分析することができる。
また、第1の実施形態に係る再生装置10は、ログ情報TLから作業機械3の状態が異常となった時間帯を示す異常発生時間帯を抽出し、例えば、時間スクロールバーD4上などに表示する。これにより、再生装置10のオペレータは、作業機械3で異常が発生した時間帯を容易に把握することができる。オペレータは、表示された異常発生時間帯を再生期間に含めるように指定して再生することで、異常が発生した原因を分析することができる。
また、第1の実施形態に係る再生装置10は、ログ情報TLに含まれる、各時刻における作業機械3の位置に基づいて、二次元マップ上における作業機械3の位置の変化を再生する。このようにすることで、作業現場における作業機械3の位置の変化を詳細に把握することができる。
また、再生装置10は、作業機械3で異常が発生した区間を移動軌跡D31上に表示する。このようにすることで、作業現場におけるどのような位置で異常が発生したのかを分析することができる。
以上、第1の実施形態に係る再生装置10及びこれを備える分析支援システム1について詳細に説明したが、他の実施形態においては上記態様に限定されない。
第1の実施形態に係るログ情報TLの内容(図6~図8)は、他の実施形態においてはこれに限定されない。例えば、作業機械3が油圧ショベルではなく他の車両種類であった場合には、当該車両種類に応じたログ情報TLが記録される。他の車両種類とは、例えば、ホイールローダ等である。
同様に、第1の実施形態に係る作業機械モデルTMも、作業機械3の車両種類、機種ごとに、当該作業機械3の外形及び操作パネルを表したものが用意される。
また、第1の実施形態に係るログ情報TLには、各時刻における作業機械3の位置、各種可動部の角度(図6)、操作機構におけるPPC圧(図7)、及び、作業機械3の駆動機構のステータス(図8)が含まれるものとして説明したが、他の実施形態においてはこれに限定されない。
他の実施形態に係る再生装置10は、ログ情報TLとして、図6に係る情報のみを取得するものであってもよい。この場合、再生装置10は、このログ情報TLに基づいて、作業機械3の動作のみをアニメーション再生する。また、再生装置10は、ログ情報TLとして、図7に係る情報のみを取得するものであってもよい。この場合、再生装置10は、このログ情報TLに基づいて、作業機械3の走行、作業機械3の各種操作レバー、走行レバーに対する入力操作をアニメーション再生することができる。
また、第1の実施形態に係る再生装置10は、作業機械モデルTMとして、外形3DモデルM0及び操作パネルモデルM1の両方を含み、両方を再生するものとして説明したが、他の実施形態においてはこの態様に限定されない。他の実施形態に係る再生装置10は、外形3DモデルM0、操作パネルモデルM1のうちいずれか一方を含む作業機械モデルTMにおいて、外形3DモデルM0、操作パネルモデルM1のうちいずれか一方のみを再生するものであってよい。また、再生装置10は、外形3DモデルM0、操作パネルモデルM1のいずれを再生するかを、設定によって変更できる態様であってもよい。
また、第1の実施形態に係る再生装置10は、2Dマップ上における作業機械3の位置の変化を再生するものとして説明したが、他の実施形態においてはこの態様に限定されない。他の実施形態に係る再生装置10は、2Dマップ上における作業機械3の位置の変化を再生しない態様であってもよい。
また、第1の実施形態に係る再生装置10は、2Dマップ上における異常発生区間、及び、時間スクロールバー上における異常発生時間帯を表示するものとして説明したが、他の実施形態においてはこの態様に限定されない。他の実施形態に係る再生装置10は、2Dマップ上における異常発生区間、又は、時間スクロールバー上における異常発生時間帯を表示しない態様であってもよい。
また、他の実施形態に係る再生装置10は、通常速度の再生のみならず、更に、早送り、スロー再生、リピート、巻き戻し機能を有していてもよい。
例えば、通常再生において毎秒15個の角度情報等を用いて再生していた場合、再生部1003は、毎秒30個の角度情報等を用いて再生する、あるいは、毎秒15個の角度情報等を1つ飛ばしで用いることで2倍速の早送り機能を実現する。3倍速等の早送り機能も同様の仕組みで実現可能である。
同様に、通常再生において毎秒15個の角度情報等を用いて再生していた場合、再生部1003は、15個の角度情報等を2秒かけて再生することで1/2倍速のスロー再生機能を実現する。特に、操作パターン画像D5(図10)をスロー再生可能とすることで、訓練者は、熟練者のレバー操作技術をより詳細に把握することができる。
同様に、通常再生において、タイムスタンプが古いものから、順次、適用して再生していた場合、タイムスタンプが新しいものから、順次、適用して再生することで巻き戻し再生を実現する。
また、第1の実施形態に係る操作レバーL1、L2、走行レバーR1、R2等の操作機構は、各操作機構に対する入力の度合いがPPC圧によって表されるものとして説明したが、他の実施形態においてはこの態様に限定されない。
例えば、他の実施形態に係る操作機構は、電気方式の操作機構でもよい。この場合、各種操作機構が、電気レバーのような操作部材と、操作部材の傾倒量を電気的に検出するポテンショメータ傾斜計のような作動量センサとを有してもよい。この実施形態においては、作動量センサの検出データがデータロガー20に記録される。
また、第1の実施形態に係る再生装置10は、作業機械3を外形3DモデルM0で表するものとして説明したが、他の実施形態においてはこの態様に限定されない。他の実施形態に係る再生装置10は、例えば、作業機械3を2Dモデルで表するものとしてもよい。
また、第1の実施形態に係る再生装置10は、操作者の操作機構による入力の度合いを、操作パターンD5内に示されるアイコンD501等の色の変化で表すものとして説明したが、他の実施形態によってはこの態様に限定されない。例えば、他の実施形態に係る再生装置は、アイコンD501等が描画される位置で、入力の度合いを表すものとしてもよい。例えば、再生装置10は、操作レバーL1に対する入力の度合いが小さい場合は、操作画像D50の中心に近い位置に描画され、操作レバーL1に対する入力の度合いが大きいほど、操作画像D50のうち、その中心から離れた位置に描画される。
また、他の実施形態においては、操作画像D50内に描かれる色のグラデーションの強さによって、入力度合いを示しても良い。
また、第1の実施形態に係る再生装置10は、作業機械3から離れた場所に設置されるとともに、作業機械3に搭載されたデータロガー20とは広域通信網を介して接続されるものとして説明したが、他の実施形態においてはこの態様に限定されない。
例えば、他の実施形態に係る再生装置10は、再生装置10の一部、または全部の構成が作業機械3の内部に設置されていてもよい。この場合、データロガー20は、広域通信網を介さず、作業機械3内部のネットワーク等を介して再生装置10にログ情報TLを送信してもよい。このようにすることで、作業機械3に搭乗する操作者が、その場で、操作者自身が操作する作業機械3の動きをアニメーション再生して確認することができる。また、作業機械3の操作者に向けて、手本となる作業機械3の動きを再生することで、ガイダンスとして使用することができる。
なお、作業機械3の内部に設置された再生装置10は、他の作業機械3のログ情報TLを、広域通信網等を介して取得してもよい。このようにすることで、再生装置10を搭載する作業機械3以外の作業機械3の状態をアニメーション再生することができる。
また、他の実施形態に係る再生装置10は、作業機械3から離れた場所に設置されながら、アニメーション再生処理によって生成された映像情報を、作業機械3が搭載するモニタに送信して表示する態様であってもよい。
また、他の実施形態においては、オペレータから受け付ける再生指示の一態様としては、2Dマップ上の画面に示される作業機械3の位置を指定するものであってもよい。この場合、再生装置10は、作業機械3がオペレータによって指定された位置に存在した時刻を再生開始時刻として作業機械3の再生を行う。
また、再生期間(再生開始時刻及び再生終了時刻)の指定を受け付けた場合の処理フローを説明したが、他の実施形態においては、再生終了時刻の指定は必須でない。例えば、他の実施形態では、オペレータからの再生指示として、再生開始時刻のみを受け付けて、当該再生開始時刻から一定時間再生する態様であってもよいし、ログ情報が存在する限り再生し続ける態様であってもよいし、その他の各種イベントの発生に伴って再生停止するようにしてもよい。
なお、取得するログ情報TL(図6~図8)は、時系列順に並んでいる必要はない。この場合、再生部1003は、ログ情報TLのうち、再生に用いる情報を、時系列に作業機械モデルTMに適用すればよい。
なお、上述した再生装置10の各種処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって上記各種処理が行われる。また、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
上記プログラムは、上述した機能の一部を実現するためのものであってもよい。更に、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル、又は差分プログラム等であってもよい。
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 分析支援システム、10 再生装置、100 CPU、1000 取得部、1001 受付部、1002 抽出部、1003 再生部、101 メモリ、102 表示部、103 操作受付部、104 通信インタフェース、105 ストレージ、20 データロガー、3 作業機械、TL ログ情報、TM 作業機械モデル

Claims (12)

  1. 時刻に対応付けられる作業機械の可動部の角度情報と前記作業機械の位置とを含むログ情報を取得する取得部と、
    前記作業機械の動作の再生指示を受け付ける受付部と、
    前記再生指示を受付けた場合、前記角度情報を、作業機械モデルに順次適用することで、前記作業機械の動作を再生する再生部と、
    前記ログ情報に含まれる、各時刻における前記作業機械の位置に基づいて、俯瞰画像上に前記作業機械の移動軌跡を描画する移動軌跡手段と、
    を備え、
    前記再生部は、前記作業機械の動作の再生に合わせて、さらに、前記移動軌跡が描画された俯瞰画像上における作業機械の位置の推移を再生し、
    前記移動軌跡手段は、前記作業機械に異常が発生した区間である異常発生区間を、前記移動軌跡に重ねて描画する、
    再生装置。
  2. 前記再生部は、再生終了の指示を受け取った場合に、前記作業機械の動作の再生を停止する
    請求項1に記載の再生装置。
  3. 前記再生指示は、再生期間を含み、
    前記ログ情報から、前記再生期間に対応する前記角度情報を抽出する抽出部と、を備え、
    前記再生部は、抽出された前記角度情報を、前記作業機械モデルに順次適用する
    請求項1又は請求項2に記載の再生装置。
  4. 前記作業機械モデルは、前記作業機械を示す3Dモデルを含む
    請求項1から請求項3のいずれか一項に記載の再生装置。
  5. 前記作業機械モデルは、更に、前記作業機械の操作機構を示す操作パネルモデルを含む
    請求項4に記載の再生装置。
  6. 前記再生部は、前記3Dモデルと前記操作パネルモデルとを、再生時刻を揃えながら同時に再生する
    請求項5に記載の再生装置。
  7. 前記再生部は、前記3Dモデル、及び前記操作パネルモデルをスロー再生可能とする
    請求項5又は請求項6のいずれか一項に記載の再生装置。
  8. 前記抽出部は、更に、
    前記ログ情報から前記作業機械の状態が異常となった期間に対応する前記角度情報を抽出する
    請求項3に記載の再生装置。
  9. 前記再生部は、前記角度情報に基づいて、二次元マップ上における前記作業機械の位置の変化を再生する
    請求項1から請求項8のいずれか一項に記載の再生装置。
  10. 前記取得部は、ブーム、アーム及びバケットを具備する前記作業機械のブーム角度、アーム角度及びバケット角度を含むログ情報を取得し、
    前記再生部は、前記ブーム角度、前記アーム角度及び前記バケット角度を前記作業機械モデルに順次適用することで、前記作業機械の動作を再生する
    請求項1から請求項9のいずれか一項に記載の再生装置。
  11. 時刻に対応付けられる作業機械の可動部の角度情報と前記作業機械の位置とを含むログ情報を取得する取得部と、
    前記作業機械の動作の再生指示を受け付ける受付部と、
    前記再生指示を受付けた場合、前記角度情報を、作業機械モデルに順次適用することで、前記作業機械の動作を再生する再生部と、
    前記ログ情報に含まれる、各時刻における前記作業機械の位置に基づいて、俯瞰画像上に前記作業機械の移動軌跡を描画する移動軌跡手段と、
    を備え、
    前記再生部は、前記作業機械の動作の再生に合わせて、さらに、前記移動軌跡が描画された俯瞰画像上における作業機械の位置の推移を再生し、
    前記移動軌跡手段は、前記作業機械に異常が発生した区間である異常発生区間を、前記移動軌跡に重ねて描画する、
    分析支援システム。
  12. 時刻に対応付けられる作業機械の可動部の角度情報と前記作業機械の位置とを含むログ情報を取得するステップと、
    前記作業機械の動作の再生指示を受け付けるステップと、
    前記再生指示を受付けた場合、前記角度情報を、作業機械モデルに順次適用することで、前記作業機械の動作を再生するステップと、
    前記ログ情報に含まれる、各時刻における前記作業機械の位置に基づいて、俯瞰画像上に前記作業機械の移動軌跡を描画するステップと、
    を備え、
    前記再生するステップでは、前記作業機械の動作の再生に合わせて、さらに、前記移動軌跡が描画された俯瞰画像上における作業機械の位置の推移を再生する、
    前記移動軌跡を描画するステップでは、前記作業機械に異常が発生した区間である異常発生区間を、前記移動軌跡に重ねて描画する、
    再生方法。
JP2018172845A 2018-09-14 2018-09-14 再生装置、分析支援システム及び再生方法 Active JP7372031B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018172845A JP7372031B2 (ja) 2018-09-14 2018-09-14 再生装置、分析支援システム及び再生方法
US17/264,443 US20220112681A1 (en) 2018-09-14 2019-08-16 Reproduction device, analysis assistance system, and reproduction method
CN201980053341.6A CN112602120A (zh) 2018-09-14 2019-08-16 再现装置、分析支援系统及再现方法
DE112019003592.4T DE112019003592T5 (de) 2018-09-14 2019-08-16 Wiedergabevorrichtung, analyse-assistenzsystem und wiedergabeverfahren
PCT/JP2019/032099 WO2020054313A1 (ja) 2018-09-14 2019-08-16 再生装置、分析支援システム及び再生方法
JP2023102861A JP2023130383A (ja) 2018-09-14 2023-06-22 再生装置、分析支援システム及び再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018172845A JP7372031B2 (ja) 2018-09-14 2018-09-14 再生装置、分析支援システム及び再生方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023102861A Division JP2023130383A (ja) 2018-09-14 2023-06-22 再生装置、分析支援システム及び再生方法

Publications (2)

Publication Number Publication Date
JP2020046757A JP2020046757A (ja) 2020-03-26
JP7372031B2 true JP7372031B2 (ja) 2023-10-31

Family

ID=69777761

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018172845A Active JP7372031B2 (ja) 2018-09-14 2018-09-14 再生装置、分析支援システム及び再生方法
JP2023102861A Pending JP2023130383A (ja) 2018-09-14 2023-06-22 再生装置、分析支援システム及び再生方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023102861A Pending JP2023130383A (ja) 2018-09-14 2023-06-22 再生装置、分析支援システム及び再生方法

Country Status (5)

Country Link
US (1) US20220112681A1 (ja)
JP (2) JP7372031B2 (ja)
CN (1) CN112602120A (ja)
DE (1) DE112019003592T5 (ja)
WO (1) WO2020054313A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7116833B1 (ja) 2021-09-28 2022-08-10 Kddi株式会社 移動体管理装置及び移動体管理方法
JP7100924B1 (ja) 2021-12-10 2022-07-14 学校法人 関西大学 建設機械用検出装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070282577A1 (en) 2006-05-31 2007-12-06 Caterpillar Inc. Simulation system implementing historical machine data
JP2011053103A (ja) 2009-09-02 2011-03-17 Denso Corp 地図および動画を送信するデータサーバおよび動画・地図連動表示システム
JP2013183218A (ja) 2012-02-29 2013-09-12 Nikon Corp 動画再生装置および動画再生プログラム
JP2014048831A (ja) 2012-08-30 2014-03-17 Toyota Motor Corp 携帯端末装置、車載装置、及び情報処理システム
US20150178288A1 (en) 2013-12-20 2015-06-25 Lsis Co., Ltd. Method of playing operation records of energy management system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5688165A (en) * 1979-12-20 1981-07-17 Mitsubishi Electric Corp Simulator
JPS61148483A (ja) * 1984-12-24 1986-07-07 株式会社東芝 プラント運転訓練模擬装置
JP3839782B2 (ja) * 2003-02-19 2006-11-01 小松フォークリフト株式会社 作業車両の運転操作シミュレーション装置
CN100465843C (zh) * 2004-04-19 2009-03-04 西门子能量及自动化公司 查询机器情况的系统和方法
WO2015137527A1 (ja) * 2015-03-27 2015-09-17 株式会社小松製作所 作業機械の較正装置、及び作業機械の作業機パラメータの較正方法
WO2016203527A1 (ja) * 2015-06-15 2016-12-22 東芝三菱電機産業システム株式会社 表示システム、データ処理装置及び表示用データ生成装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070282577A1 (en) 2006-05-31 2007-12-06 Caterpillar Inc. Simulation system implementing historical machine data
JP2011053103A (ja) 2009-09-02 2011-03-17 Denso Corp 地図および動画を送信するデータサーバおよび動画・地図連動表示システム
JP2013183218A (ja) 2012-02-29 2013-09-12 Nikon Corp 動画再生装置および動画再生プログラム
JP2014048831A (ja) 2012-08-30 2014-03-17 Toyota Motor Corp 携帯端末装置、車載装置、及び情報処理システム
US20150178288A1 (en) 2013-12-20 2015-06-25 Lsis Co., Ltd. Method of playing operation records of energy management system

Also Published As

Publication number Publication date
WO2020054313A1 (ja) 2020-03-19
DE112019003592T5 (de) 2021-04-15
JP2020046757A (ja) 2020-03-26
US20220112681A1 (en) 2022-04-14
CN112602120A (zh) 2021-04-02
JP2023130383A (ja) 2023-09-20

Similar Documents

Publication Publication Date Title
JP2023130383A (ja) 再生装置、分析支援システム及び再生方法
WO2018155202A1 (ja) 作業機械
CN104662232A (zh) 用于施工机械的自动整平系统及其控制方法
WO2021066023A1 (ja) 制御装置、作業機械および制御方法
WO2020090954A1 (ja) 再生装置、分析支援システム及び再生方法
JP7271597B2 (ja) 作業機械の制御装置及び作業機械の制御方法
JP7286287B2 (ja) 作業機械の表示システムおよびその制御方法
KR102592220B1 (ko) 재생 장치, 분석 지원 시스템 및 재생 방법
JP7197315B2 (ja) ホイールローダの表示システムおよびその制御方法
JP7197314B2 (ja) 作業機械の表示システムおよびその制御方法
JP7324100B2 (ja) 作業機械
WO2024048576A1 (ja) 表示制御装置、作業機械、表示制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230622

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231019

R151 Written notification of patent or utility model registration

Ref document number: 7372031

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151