JP7215959B2 - 再生装置、分析支援システム及び再生方法 - Google Patents

再生装置、分析支援システム及び再生方法 Download PDF

Info

Publication number
JP7215959B2
JP7215959B2 JP2019086576A JP2019086576A JP7215959B2 JP 7215959 B2 JP7215959 B2 JP 7215959B2 JP 2019086576 A JP2019086576 A JP 2019086576A JP 2019086576 A JP2019086576 A JP 2019086576A JP 7215959 B2 JP7215959 B2 JP 7215959B2
Authority
JP
Japan
Prior art keywords
log information
construction machine
reproduction
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019086576A
Other languages
English (en)
Other versions
JP2020183615A (ja
Inventor
真太郎 ▲濱▼田
喜之 大西
充広 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to JP2019086576A priority Critical patent/JP7215959B2/ja
Priority to US17/434,640 priority patent/US11893694B2/en
Priority to KR1020217027170A priority patent/KR102592220B1/ko
Priority to DE112020000512.7T priority patent/DE112020000512T5/de
Priority to CN202080016176.XA priority patent/CN113474521B/zh
Priority to PCT/JP2020/016412 priority patent/WO2020218087A1/ja
Publication of JP2020183615A publication Critical patent/JP2020183615A/ja
Application granted granted Critical
Publication of JP7215959B2 publication Critical patent/JP7215959B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2054Fleet management
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C3/00Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
    • G07C3/02Registering or indicating working or idle time only
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/267Diagnosing or detecting failure of vehicles

Description

本発明は、再生装置、分析支援システム及び再生方法に関する。
特許文献1には、専用のカメラ搭載車を現場に配置することなく、操作者の作業を支援し、かつ建設機械と運搬車両との相対位置情報を含む支援画像を生成することのできる作業支援画像生成装置、及びそれを備えた建設機械の遠隔操縦システムが開示されている。
特開2016―089388号公報
建設機械の運転、操作に関する分野において、自分の操作を振り返りたい、熟練の操作者の動きを知りたい、建設機械の故障時、建設機械の異常時の動きを知りたい、等のニーズがある。そこで、操作者の操作に基づく建設機械の動きを忠実に再現することで、建設機械の動きを詳細に分析できるツールの開発が求められている。
上記ツールにおいて、異なる2つの建設機械の動きの違いを把握できる機能が求められている。
上述の課題に鑑みて、本発明は、異なる2つの建設機械の動きの違いを把握できる機能を有する再生装置、分析支援システム及び再生方法を提供することを目的とする。
本発明の一態様によれば、再生装置は、建設機械のログ情報を取得する取得部と、前記ログ情報に含まれる前記建設機械の角度情報を、建設機械モデルに順次適用することで、前記建設機械の動作を再生する再生部と、前記ログ情報である第1のログ情報に基づく前記建設機械モデルの再生と、前記ログ情報である第2のログ情報に基づく前記建設機械モデルの再生とを同期させる同期部と、を備える。
上記態様によれば、異なる2つの建設機械の動きの違いを把握できる。
第1の実施形態に係る分析支援システムの全体構成を示す図である。 第1の実施形態に係る建設機械の構造を示す図である。 第1の実施形態に係る建設機械の運転室の構成を示す図である。 第1の実施形態に係る再生装置の機能構成を示す図である。 第1の実施形態に係る再生装置の処理フローを示す図である。 第1の実施形態に係るログ情報の例を示す第1の図である。 第1の実施形態に係るログ情報の例を示す第2の図である。 第1の実施形態に係るログ情報の例を示す第3の図である。 第1の実施形態に係る作業内容の推定に用いるヒートマップを示す図である。 第1の実施形態に係る再生装置の判定部による処理フローを示す図である。 第1の実施形態に係る建設機械モデルの例を示す図である。 第1の実施形態に係る表示画像の例を示す図である。 第1の実施形態の変形例に係る表示画像の例を示す図である。
<第1の実施形態>
以下、第1の実施形態に係る再生装置、及び、これを備える分析支援システムについて、図1~図10を参照しながら詳細に説明する。
(分析支援システムの全体構成)
図1は、第1の実施形態に係る分析支援システムの全体構成を示す図である。
分析支援システム1は、再生装置10と、複数の建設機械3のそれぞれに搭載されたデータロガー20とを有している。
建設機械3は、再生装置10による作業分析の対象である。建設機械3の例としては、油圧ショベルやホイールローダなどが挙げられる。なお、以下の説明においては、建設機械3の例として油圧ショベルを挙げて説明する。各建設機械3には複数のセンサが設けられている。データロガー20は、当該センサによって取得された、建設機械3の状態を示す情報を時系列に記録、蓄積する。以下、データロガー20が記録した、各時刻における建設機械3の状態を示す情報をログ情報とも記載する。なお、建設機械3を操作する操作機構が電気的な操作信号を用いて建設機械3を操作する構成になっている場合には、建設機械3の操作信号の情報を時系列に記録、蓄積し、ログ情報に含んでもよい。また、データロガー20は、記録したログ情報を一定時間間隔で、広域通信網を介して再生装置10に送信する。なお、一定時間間隔とは、例えば、5分間隔である。再生装置10は、データロガー20から受信したログ情報を記録媒体に記録する。
再生装置10の機能については後述する。
(建設機械の構造)
図2は、第1の実施形態に係る建設機械の構造を示す図である。
油圧ショベルである建設機械3は、作業現場等において土砂などを掘削、整地する。
図2に示すように、油圧ショベルである建設機械3は、走行するための下部走行体31と、下部走行体31の上部に設置され旋回可能な上部旋回体32とを有してなる。また、上部旋回体32には、運転室32A、作業機32B、及び、2つのGPSアンテナG1、G2が設けられている。
下部走行体31は、左側履帯CLと、右側履帯CRとを有する。建設機械3は、左側履帯CL及び右側履帯CRの回転により前進、旋回、後進する。
運転室32Aは、建設機械3の操作者が搭乗し、操作を行う場所である。運転室32Aは、例えば、上部旋回体32の前端部左側部分に設置される。運転室32A内部の構成については後述する。
作業機32Bは、ブームBM、アームAR及びバケットBKからなる。ブームBMは、上部旋回体32の前端部に装着される。また、ブームBMにはアームARが取り付けられる。また、アームARにはバケットBKが取り付けられる。また、上部旋回体32とブームBMとの間にはブームシリンダSL1が取り付けられる。ブームシリンダSL1を駆動することで上部旋回体32に対しブームBMを動作することができる。ブームBMとアームARとの間にはアームシリンダSL2が取り付けられる。アームシリンダSL2を駆動することで、ブームBMに対しアームARを動作することができる。アームARとバケットBKとの間にはバケットシリンダSL3が取り付けられる。バケットシリンダSL3を駆動することでアームARに対しバケットBKが動作することができる。
油圧ショベルである建設機械3が具備する上述の上部旋回体32、ブームBM、アームAR及びバケットBKは、建設機械3の可動部の一態様である。
(運転室の構成)
図3は、第1の実施形態に係る建設機械の運転室の構成を示す図である。
図3に示すように、運転室32Aには、操作レバーL1、L2と、フットペダルF1、F2と、走行レバーR1、R2と、が設けられている。
操作レバーL1及び操作レバーL2は、運転室32A内のシートSTの左右に配置される。また、フットペダルF1及びフットペダルF2は、運転室32A内、シートSTの前方、床面に配置される。
操作レバーL1、L2、走行レバーR1,R2に対する入力操作と、油圧ショベルである建設機械3の動作との対応関係を示す操作パターンの一例は、以下のとおりである。
運転室前方に向かって左側に配置される操作レバーL1は、上部旋回体32の旋回動作、及び、アームARの掘削/ダンプ動作を行うための操作機構である。具体的には、建設機械3の操作者が操作レバーL1を前方に倒すと、アームARがダンプ動作する。また、建設機械3の操作者が操作レバーL1を後方に倒すと、アームARが掘削動作する。また、建設機械3の操作者が操作レバーL1を右方向に倒すと、上部旋回体32が右旋回する。また、建設機械3の操作者が操作レバーL1を左方向に倒すと、上部旋回体32が左旋回する。操作レバーL1を前後方向に倒した場合に上部旋回体32が右旋回または左旋回し、操作レバーL1が左右方向に倒した場合にアームARがダンプ動作または掘削動作してもよい。
運転室前方に向かって右側に配置される操作レバーL2は、バケットBKの掘削/ダンプ動作、及び、ブームBMの上げ/下げ動作を行うための操作機構である。具体的には、建設機械3の操作者が操作レバーL2を前方に倒すと、ブームBMの下げ動作が実行される。また、建設機械3の操作者が操作レバーL2を後方に倒すと、ブームBMの上げ動作が実行される。また、建設機械3の操作者が操作レバーL2を右方向に倒すと、バケットBKのダンプ動作が行われる。また、建設機械3の操作者が操作レバーL2を左方向に倒すと、バケットBKの掘削動作が行われる。
また、走行レバーR1,R2は、下部走行体31の動作制御、すなわち建設機械3の走行制御を行うための操作機構である。運転室前方に向かって左側に配置される走行レバーR1は、下部走行体31の左側履帯CLの回転駆動に対応する。具体的には、建設機械3の操作者が走行レバーR1を前方に倒すと、左側履帯CLは前進方向に回転する。また、建設機械3の操作者が走行レバーR1を後方に倒すと、左側履帯CLは後進方向に回転する。
運転室前方に向かって右側に配置される走行レバーR2は、下部走行体31の右側履帯CRの回転駆動に対応する。具体的には、建設機械3の操作者が走行レバーR2を前方に倒すと、右側履帯CRは前進方向に回転する。また、建設機械3の操作者が走行レバーR2を後方に倒すと、右側履帯CRは後進方向に回転する。なお、フットペダルF1、F2は、それぞれ、走行レバーR1、R2と連動しており、フットペダルF1、F2によって、走行制御することもできる。
なお、上述した操作パターンは一例にすぎず、油圧ショベルの機種等によっては上記の態様に限定されない。
なお、実施形態によっては、図2を用いて説明した建設機械3は、GPSアンテナG1、G2を備えないものであってもよい。
(再生装置の機能構成)
図4は、第1の実施形態に係る再生装置の機能構成を示す図である。
以下、図4を参照しながら、第1の実施形態に係る再生装置10の機能について説明する。
図4に示すように、再生装置10は、CPU100と、メモリ101と、表示部102と、操作受付部103と、通信インタフェース104と、ストレージ105とを備えている。なお、CPU100は、CPUではなく、FPGA、GPU等のプロセッサであってもよい。
CPU100は、再生装置10の動作全体の制御を司るプロセッサである。CPU100が有する各種機能については後述する。
メモリ101は、いわゆる主記憶装置である。メモリ101には、CPU100がプログラムに基づいて動作するために必要な命令及びデータが展開される。
表示部102は、情報を視認可能に表示可能な表示デバイスであって、例えば、液晶ディスプレイや有機ELディスプレイなどである。
操作受付部103は、入力デバイスであって、例えば、一般的なマウス、キーボード、タッチセンサなどである。
通信インタフェース104は、データロガー20との間で通信するための通信インタフェースである。
ストレージ105は、いわゆる補助記憶装置であって、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)等である。ストレージ105には、データロガー20から受信したログ情報TL、建設機械3の車両種類、機種ごとに事前に用意された建設機械モデルTM、などが記録される。なお、建設機械モデルTMについては、後述する。
また、ストレージ105には、建設機械3の作業内容を推定する際に用いる単位作業予測モデルPM1、要素作業予測モデルPM2、推定する過程で生成されるヒートマップ(H1、H2)、推定された建設機械3の作業内容Rなども記録される。なお、単位作業予測モデルPM1、要素作業予測モデルPM2、ヒートマップ(H1、H2)については、後述する。
第1の実施形態に係る再生装置10のCPU100が有する機能について詳しく説明する。CPU100は、所定のプログラムに基づいて動作することで、取得部1000、受付部1001、抽出部1002、再生部1003、推定部1004、判定部1005及び同期部1006としての機能を発揮する。
なお、上記所定のプログラムは、再生装置10に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ105に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、再生装置10は、上記構成に加えて、または上記構成に代えてPLD(Programmable Logic Device)などのカスタムLSI(Large Scale Integrated Circuit)を備えてもよい。
PLDの例としては、PAL(Programmable Array Logic)、GAL(Generic Array Logic)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。
取得部1000は、ストレージ105に記録、蓄積された複数のログ情報TLの中から、再生の対象とするログ情報TLを取得する。ここで、複数のログ情報TLは、ストレージ105内において、異なるファイル名で記録されたファイル別に記録されているものとする。
取得部1000は、比較対象とする2つのログ情報TLを取得する。取得部1000が取得する2つのログ情報のうちの1つは、オペレータが、ファイル名などで、再生の対象として指定するログ情報である。以下、このログ情報を指定ログ情報TL1(第1のログ情報)と表記する。2つのログ情報のうちの他の1つは、指定ログ情報TL1を基とする再生と同時に再生されるログ情報である。以下、このログ情報を比較用ログ情報TL2(第2のログ情報)と表記する。比較用ログ情報TL2は、例えば、燃費が良い、作業時間が短い、熟練者による運転である、等の観点から、様々な作業内容や条件ごとに、当該作業内容の“お手本”として事前に選ばれたログ情報であってよい。
本実施形態に係る取得部1000は、後述の判定部1005による判定結果に基づいて、指定ログ情報TL1の比較対象として適切な比較用ログ情報TL2を自動的に検索して取得する。しかし、他の実施形態に係る取得部1000は、上記態様に限られず、例えば、取得部1000は、オペレータからファイル名などで指定されたログ情報を比較用ログ情報TL2として取得する態様であってもよい。また、記録されている比較用ログ情報TL2が1つのみである場合には、取得部1000は、当該1つの比較用ログ情報TL2を取得する態様であってもよい。
受付部1001は、再生装置10のオペレータから、所定の再生指示を受け付ける。例えば、受付部1001は、再生装置10のオペレータから、建設機械3の再生指示を受け付ける。
抽出部1002は、取得したログ情報TLから、建設機械3の再生に用いる角度情報を抽出する。
再生部1003は、抽出された建設機械3の角度情報を、建設機械3に対応する建設機械モデルTMに適用して再生する。
推定部1004は、取得したログ情報TLから、建設機械3の各時刻における作業内容を推定する。
判定部1005は、指定ログ情報TL1に含まれる情報に基づき、比較用ログ情報TL2が、当該指定ログ情報TL1の比較対象として適切か否かを判定する。
同期部1006は、指定ログ情報TL1に基づく建設機械モデルTMの再生と、比較用ログ情報TL2に基づく建設機械モデルTMの再生とを同期させる処理を行う。具体的には、同期部1006は、推定部1004によって推定された作業内容に基づいて、建設機械モデルTMのアニメーションの時系列上における再生開始時刻を特定する。
(再生装置の処理フロー)
図5は、第1の実施形態に係る再生装置の処理フローを示す図である。
図6~図8は、第1の実施形態に係るログ情報の例を示す第1~第3の図である。
図9は、第1の実施形態に係る作業内容の推定に用いるヒートマップを示す図である。
図10は、第1の実施形態に係る再生装置の判定部による処理フローを示す図である。
図11は、第1の実施形態に係る建設機械モデルの例を示す図である。
以下、図5~図11を参照しながら、再生装置10が行う具体的な処理の流れについて詳細に説明する。
図5に示す処理フローは、再生装置10のオペレータによって専用のアプリケーションが起動された時点から開始される。
オペレータの操作により専用のアプリケーションが起動すると、CPU100の取得部1000は、再生の対象として指定された指定ログ情報TL1をメモリ101に展開して取得する(ステップS00)。
ここで、ログ情報TL(指定ログ情報TL1、比較用ログ情報TL2)について図6~図8を参照しながら説明する。
図6~図8に示すように、ログ情報TLには、建設機械識別情報が含まれる。建設機械識別情報は、具体的には、建設機械3を個々に識別するための個体識別番号である。図6~図8では、建設機械識別情報は、油圧ショベル、ホイールローダ等を示す建設機械3の車両種類、機種、型式、機番などと対応するように割り振られているものとする。なお、建設機械識別情報は、番号以外に数字、英字、記号、又はこれらの組合せ等であってもよい。
図6に示すように、ログ情報TLには、各時刻における建設機械3の位置、姿勢を示す情報、及び、建設機械3の可動部の角度情報が含まれる。具体的には、ログ情報TLには、建設機械3の位置、機体の左右方向の傾きである建設機械3のロール角度、機体の前後方向の傾きであるピッチ角度、旋回角度、ブーム角度、アーム角度、バケット角度が各時刻毎に記録される。ここで、建設機械3に搭載されるデータロガー20は、例えば、GPSアンテナG1、G2を受信して得られる情報であって、緯度・経度を示す測位情報に基づいて、建設機械3の位置を特定して記録する。また、データロガー20は、建設機械3に搭載されたIMU(Inertial Measurement Unit)の計測結果に基づいて建設機械3のロール角度、ピッチ角度を計算して記録する。また、データロガー20は、上部旋回体32に設けられたGPSアンテナG1、G2のそれぞれから得られる測位情報に基づいて、上部旋回体32の旋回角度を計算して記録する。更に、データロガー20は、ブームシリンダSL1、アームシリンダSL2及びバケットシリンダSL3のそれぞれの伸縮度に基づいてブーム角度、アーム角度、バケット角度を計算して記録する。
なお、位置、ロール角度及びピッチ角度は、建設機械3そのものの位置、姿勢を特定するために必要な情報である。そのため、例えば、建設機械3の可動部、即ち、上部旋回体32、ブームBM、アームAR及びバケットBKの動きのみをアニメーション再生し、建設機械3そのものの位置や姿勢までは再現しない実施形態においては、位置、ロール角度及びピッチ角度の情報がログ情報に含まれている必要はない。
また、図7に示すように、ログ情報TLには、各時刻における操作者の操作レバーL1、L2等に対する入力の度合い、即ち、レバーの傾倒度合い、ペダルの踏込度合いを示すパイロット油圧(PPC圧)が含まれる。具体的には、ログ情報TLには、操作者による左/右旋回、アーム掘削/ダンプ、ブーム上げ/下げ、バケット掘削/ダンプ、右履帯前進/後進、左履帯前進/後進の各動作種類に対応する操作レバーL1、L2、走行レバーR1,R2,またはフットペダルF1、F2のPPC圧が、時刻毎に記録される。なお、図7に示す各時刻は、図6の各時刻に対応している。
また、図8に示すように、ログ情報TLには、各時刻における建設機械3のエンジン、油圧ポンプ等の主要な駆動機構のステータスを示す情報が含まれる。具体的には、ログ情報TLには、エンジン冷却水温度、エンジン出力、瞬時燃料消費量、油圧ポンプの油温度が時刻毎に記録される。なお、図8に示す各時刻は、図6及び図7の各時刻に対応している。
また、図8に示すように、ログ情報TLには、運転モードと、積み込み先の運搬車両を特定する運搬車両IDとが記録されている。
運転モードは、例えば、燃費優先モードと馬力優先モードとがある。燃費優先モードでは、燃費を一定以下に抑えるべく建設機械3の出力(馬力)に自動的に制限がかかる。馬力優先モードではこのような制限がないため、建設機械3の本来の馬力性能を発揮させて作業を行うことができる。運転モードは、建設機械3の操作者によって自由に切り替えられるだけでなく、建設機械3の現在の状態に応じて自動的に切り替わる場合もある。例えば、作業中に燃料が所定位置以下となった場合には、建設機械3は、自動的に馬力優先モードから燃費優先モードに切り替わる。
運搬車両IDは、建設機械3が現在行っている積み込み作業において、積み込み先の運搬車両を識別するための情報である。運搬車両IDは、例えば、建設機械3と運搬車両との間で行われる無線通信などを通じて取得される態様でもよいし、建設機械3の操作者が、目視確認などで端末装置に手入力する態様であってもよい。
図5に戻り、CPU100の推定部1004は、ステップS00で取得した指定ログ情報TL1に基づいて、建設機械3の各時刻における作業内容を推定する(ステップS01)。
ここで、推定部1004がログ情報TLから建設機械3の作業内容を推定する手順について図9を参照しながら説明する。推定部1004は、建設機械3の作業内容を単位作業及び要素作業の両方に関して推定する。単位作業とは、一の作業目的を遂行する作業である。要素作業とは、単位作業を構成する要素であって目的別に区分される一連の動作または作業を示す作業である。
単位作業の区分の例としては、例えば、図9に示す「掘削積込」、「鋤取り」、「法面(下から)」、「積荷集め」、「走行」、「停車・休車」の他、「溝掘削」、「埋戻し」、「法面(上から)」などが挙げられる。
掘削積込は、土砂または岩石を掘り、削り取り、削り取った土砂または岩石を運搬車両の荷台に積み込む作業である。掘削積込は、掘削、積荷旋回、排土、空荷旋回、排土待ちおよび荷台押えで構成される単位作業である。
鋤取りは、地面の余分な起伏を所定の高さにするため平らに削り取る作業である。鋤取りは、掘削および排土、または掘削、積荷旋回、排土、および空荷旋回で構成され、押し均しおよびホウキを含み得る単位作業である。
法面(下から)は、対象箇所の下方に位置する建設機械3によって斜面を作る作業である。法面(下から)は、転圧、掘削、積荷旋回、排土、空荷旋回で構成され、押し均しを含み得る単位作業である。
積荷集めは、掘削等によって出た土砂を、運搬車両に積む前に集めておく作業である。
積荷集めは、掘削、積荷旋回、排土、空荷旋回で構成され、押し均しを含み得る単位作業である。
走行は、建設機械3を移動させる作業である。単位作業としての走行は、要素作業としての走行から構成される単位作業である。
停車・休車は、バケットBKに土砂および岩石が無く、かつ所定時間以上停止している状態である。単位作業としての停車・休車は、要素作業としての停車から構成される単位作業である。
溝掘削は、地盤を溝状に細長く掘り、削り取る作業である。溝掘削は、掘削、積荷旋回、排土、および空荷旋回で構成され、押し均しを含み得る単位作業である。
埋戻しは、地盤に既に空いている溝または穴に土砂を入れて平らに埋め戻す作業である。埋戻しは、掘削、積荷旋回、排土、転圧、および空荷旋回で構成され、押し均しおよびホウキを含み得る単位作業である。
法面(上から)は、対象箇所の上方に位置する建設機械3によって斜面を作る作業である。法面(上から)は、転圧、掘削、積荷旋回、排土、空荷旋回で構成され、押し均しを含み得る単位作業である。
要素作業の区分の例としては、図9に示す「掘削」、「積荷旋回」、「排土待ち」、「排土」、「空荷旋回」、「荷台抑え」の他、「転圧」、「押し均し」、「ホウキ」などが挙げられる。
掘削は、バケットBKによって土砂または岩石を掘り、削り取る作業である。
積荷旋回は、削り取った土砂または岩石をバケットBKに抱えたまま、上部旋回体32を旋回させる作業である。
排土待ちは、削り取った土砂または岩石をバケットBKに抱えたまま、積み込むための運搬車両を待機している作業である。
排土は、削り取った土砂または岩石を、バケットBKから運搬車両または所定の場所に下ろす作業である。
空荷旋回は、バケットBKに土砂および岩石が無い状態で、上部旋回体32を旋回させる作業である。
荷台押えは、運搬車両の荷台に積み込んだ土砂を上からバケットBKで押えて平らにする作業である。
転圧は、乱れた地盤に対してバケットBKで土砂を押し込み、地盤を成形し、また強化する作業である。
押し均しは、バケットBKの底面で土砂を払い均す作業である。
ホウキは、バケットBKの側面で土砂を払い均す作業である。
推定部1004はログ情報TLを時系列順に単位作業予測モデルPM1に入力することで単位作業に係る尤度の時系列を得る。単位作業予測モデルPM1とは、教師データを用いた学習により、ログ情報TLが入力されると単位作業に係る尤度を出力するモデルであり、例えば、ストレージ105に記憶されていてよい。
また、推定部1004はログ情報TLを時系列順に要素作業予測モデルPM2に入力することで要素作業に係る尤度の時系列を得る。要素作業予測モデルPM2とは、教師データを用いた学習により、ログ情報TLが入力されると要素作業に係る尤度を出力するモデルであり、例えば、ストレージ105に記憶されていてよい。
推定部1004は、単位作業に係る尤度の時系列および要素作業に係る尤度の時系列を、それぞれ時間平均フィルタに掛けることで、尤度の時系列を平滑化し、図9に示すように、平滑化された単位作業に係る尤度の時系列を表す単位作業ヒートマップH1および平滑化された要素作業に係る尤度の時系列を表す要素作業ヒートマップH2を生成する。ヒートマップH1及びH2は、平滑化された尤度の時系列に基づいて、縦軸に作業の区分をとり横軸に時刻をとる平面に、作業の区分の尤度を表す色を付したマップである。ヒートマップに係る色は、例えば作業の区分の尤度が低いほど青色に近づき、作業の区分の尤度が高いほど赤色に近づいてよい。推定部1004は、ヒートマップH1及びH2をストレージ105に記憶する。
推定部1004は、平滑化された尤度の時系列に基づいて、単位作業の尤度が支配的な時間帯を特定し、当該時間帯の建設機械3の作業内容を推定する。例えば、単位作業である「掘削積込」の尤度が支配的な時間帯は、建設機械3の作業内容を「掘削積込」と推定する。同様に、推定部1004は、平滑化された尤度の時系列に基づいて、要素作業の尤度が支配的な時間帯を特定し、当該時間帯の建設機械3の作業内容を推定する。例えば、要素作業である「掘削」の尤度が支配的な時間帯は、建設機械3の作業内容を「掘削」と推定する。推定部1004は、建設機械3について推定された作業内容Rの情報をストレージ105に記憶する。
図5に戻り、続いて、取得部1000は、ステップS00で取得した指定ログ情報TL1の比較対象として適切な比較用ログ情報TL2を取得する(ステップS02)。
このとき、判定部1005は、ストレージ105に記録されている複数の比較用ログ情報TL2に対し、ステップS00で取得した指定ログ情報TL1の比較対象として適切か否かを判定するための判定処理フローを行う。この処理フローについては、図10を参照しながら説明する。
まず、判定部1005は、予めストレージ105に記録された複数の比較用ログ情報TL2の中から1つを選択する(ステップS20)。
次に、判定部1005は、ステップS00(図5)で取得された指定ログ情報TL1と、ステップS20で選択された比較用ログ情報TL2とが、同程度の車格の建設機械3から取得されたか否かを判定する(ステップS21)。具体的には、判定部1005は、指定ログ情報TL1に含まれる建設機械識別情報に基づいて、指定ログ情報TL1が作成された建設機械3の車格を特定する。続いて、判定部1005は、比較用ログ情報TL2に含まれる建設機械識別情報に基づいて、比較用ログ情報TL2が作成された建設機械3の車格を特定する。判定部1005は、それぞれについて特定した車格が同程度か否かを判定する。
車格が同程度であった場合(ステップS21;YES)、判定部1005は、次の判定処理(ステップS22)に移行する。車格が同程度ではなかった場合(ステップS21;NO)、判定部1005は、ステップS20で選択した比較用ログ情報TL2を再生の候補に加えずに、ステップS27に移行する。
次に、判定部1005は、ステップS00(図5)で取得された指定ログ情報TL1と、ステップS20で選択された比較用ログ情報TL2とのそれぞれに示される、建設機械3の旋回角度の変化量(スイングの大きさ)が同程度となっているか否かを判定する(ステップS22)。具体的には、判定部1005は、指定ログ情報TL1に含まれる旋回角度に基づいて、指定ログ情報TL1が作成された建設機械3の、集荷旋回時及び空荷旋回時における旋回角度の変化量を特定する。続いて、判定部1005は、比較用ログ情報TL2に含まれる旋回角度に基づいて、比較用ログ情報TL2が作成された建設機械3の、集荷旋回時及び空荷旋回時における旋回角度の変化量を特定する。判定部1005は、それぞれについて特定した旋回角度の変化量が同程度か否かを判定する。
旋回角度の変化量が同程度であった場合(ステップS22;YES)、判定部1005は、次の判定処理(ステップS23)に移行する。旋回角度の変化量が同程度ではなかった場合(ステップS22;NO)、判定部1005は、ステップS20で選択した比較用ログ情報TL2を再生の候補に加えずに、ステップS27に移行する。
次に、判定部1005は、ステップS00(図5)で取得された指定ログ情報TL1と、ステップS20で選択された比較用ログ情報TL2とのそれぞれに示される建設機械3の、排土待ち時におけるバケット高さが同程度となっているか否かを判定する(ステップS23)。具体的には、判定部1005は、指定ログ情報TL1に含まれるブーム角度、アーム角度及びバケット角度に基づいて、指定ログ情報TL1が作成された建設機械3の、排土待ち時におけるバケット高さを特定する。続いて、判定部1005は、比較用ログ情報TL2に含まれるブーム角度、アーム角度及びバケット角度に基づいて、比較用ログ情報TL2が作成された建設機械3の、排土待ち時におけるバケット高さを特定する。判定部1005は、それぞれについて特定した、排土待ち時におけるバケット高さが同程度か否かを判定する。
排土待ち時におけるバケット高さが同程度であった場合(ステップS23;YES)、判定部1005は、次の判定処理(ステップS24)に移行する。排土待ち時におけるバケット高さが同程度ではなかった場合(ステップS23;NO)、判定部1005は、ステップS20で選択した比較用ログ情報TL2を再生の候補に加えずに、ステップS27に移行する。
次に、判定部1005は、ステップS00(図5)で取得された指定ログ情報TL1と、ステップS20で選択された比較用ログ情報TL2とのそれぞれに示される建設機械3の運転モードが同一となっているか否かを判定する(ステップS24)。具体的には、判定部1005は、指定ログ情報TL1に示される運転モードを参照して、指定ログ情報TL1が作成された建設機械3の運転モードを特定する。続いて、判定部1005は、比較用ログ情報TL2に示される運転モードを参照して、比較用ログ情報TL2が作成された建設機械3の運転モードを特定する。判定部1005は、それぞれについて特定した運転モードが同一か否かを判定する。
運転モードが同一であった場合(ステップS24;YES)、判定部1005は、次の判定処理(ステップS25)に移行する。運転モードが同一ではなかった場合(ステップS24;NO)、判定部1005は、ステップS20で選択した比較用ログ情報TL2を再生の候補に加えずに、ステップS27に移行する。
次に、判定部1005は、ステップS00(図5)で取得された指定ログ情報TL1と、ステップS20で選択された比較用ログ情報TL2とのそれぞれに示される建設機械3の、積み込み対象とする運搬車両のサイズが同程度となっているか否かを判定する(ステップS25)。具体的には、判定部1005は、指定ログ情報TL1に示される運搬車両IDを参照して、指定ログ情報TL1が作成された建設機械3が積み込み対象とする運搬車両のサイズを特定する。続いて、判定部1005は、比較用ログ情報TL2に示される運搬車両IDを参照して、比較用ログ情報TL2が作成された建設機械3が積み込み対象とする運搬車両のサイズを特定する。判定部1005は、それぞれについて特定した運搬車両のサイズが同程度か否かを判定する。
積み込み対象とする運搬車両のサイズが同程度であった場合(ステップS25;YES)、判定部1005は、ステップS20で選択した比較用ログ情報TL2を再生の候補に加える(ステップS26)。積み込み対象とする運搬車両のサイズが同程度ではなかった場合(ステップS25;NO)、判定部1005は、ステップS20で選択した比較用ログ情報TL2を再生の候補に加えずに、ステップS27に移行する。
判定部1005は、ストレージ105に記録されている全ての比較用ログ情報を選択したか否かを判定する(ステップS27)。全ての比較用ログ情報を選択していない場合(ステップS27;NO)、判定部1005は、ステップS20に戻り、新たな比較用ログ情報TL2を1つ選択し、上記と同様の判定処理を行う。
全ての比較用ログ情報を選択した場合(ステップS27;YES)、判定部1005は、オペレータから、再生の候補の中から1つの比較用ログ情報TL2の指定を受け付ける(ステップS28)。取得部1000は、ステップS28で指定された比較用ログ情報TL2を取得する。
なお、ステップS20からステップS27の処理の結果、再生の候補として加えられた比較用ログ情報TL2が1つのみであった場合には、判定部1005は、オペレータからの指定を受け付ける処理を省略してもよい。また、ステップS20からステップS27の処理の結果、再生の候補として加えられた比較用ログ情報TL2が1つもなかった場合には、判定部1005は、その旨をオペレータに通知してもよい。
また、上述したステップS21~ステップS25の判定処理の順番は適宜入れ替え可能であり、他の実施形態においては図10に示す順番に限定されない。また、他の実施形態においては、ステップS21~ステップS25の全てを行う必要はなく、ステップS21~ステップS25の少なくともいずれか一つを実施する態様であってもよい。
また、他の実施形態に係る判定部1005は、上記ステップS21~ステップS25の判定処理の他、作業位置、作業時間、作業の区分等に基づいて再生の候補を絞り込んでもよい。
図5に戻り、次に、同期部1006は、指定ログ情報TL1に基づく建設機械モデルTMのアニメーション再生と、比較用ログ情報TL2に基づく建設機械モデルTMのアニメーション再生とを同期させる処理を行う。具体的には、同期部1006は、指定ログ情報TL1による建設機械モデルTMのアニメーションにおける時系列上の再生開始時刻と、比較用ログ情報TL2による建設機械モデルTMのアニメーションにおける時系列上の再生開始時刻とを特定する。
両者を同期させるための再生開始時刻の特定方法は、以下のとおりである。即ち、同期部1006は、推定部1004によって生成された、指定ログ情報TL1についての要素作業ヒートマップH2に基づいて、指定ログ情報TL1における排土待ちから排土への切り替わりのタイミングを抽出する。次に、同期部1006は、推定部1004によって生成された、比較用ログ情報TL2についての要素作業ヒートマップH2に基づいて、比較用ログ情報TL2における排土待ちから排土への切り替わりのタイミングを抽出する。同期部1006は、それぞれ抽出したタイミングの一つを選び、それぞれのアニメーションの再生開始時刻として特定する。
なお、他の実施形態に係る再生装置10は上記態様に限定されない。他の実施形態に係る再生装置10(同期部1006)は、例えば、比較用ログ情報TL2におけるブーム、アーム、バケット等の角度情報の組み合わせと、指定ログ情報TL1におけるブーム、アーム、バケット等の角度情報の組み合わせとを比較し、両者が近い角度となっているタイミングを抽出し、これをそれぞれのアニメーションの再生開始時刻として特定してもよい。
次に、受付部1001は、オペレータから再生指示を受け付ける(ステップS04)。
再生指示の一態様としては、再生ボタンの押下などの操作であってもよい。また、時刻や、建設機械3の位置、建設機械3で異常が発生した等の各種イベントなど再生の始点となる情報を含めて再生指示をしてもよい。
次に、取得部1000は、受付部1001が受け付けた建設機械3の種別としての建設機械識別情報に基づき、参照した建設機械識別情報に対応する建設機械モデルTMをストレージ105から選択して読み出す(ステップS05)。
ここで、建設機械モデルTMについて図11を参照しながら説明する。
図11に示すように、建設機械モデルTMは、建設機械識別情報と、当該建設機械識別情報に示される建設機械3の外形3DモデルM0、操作パネルモデルM1等を含む情報である。外形3DモデルM0とは、建設機械3を表した3Dモデルであって、下部走行体、上部旋回体等の建設機械3のパーツごとに構築される。例えば、外形3DモデルM0は、建設機械3の形状を表す。例えば、外形3DモデルM0は、建設機械3の下部走行体31を表した下部走行体外形モデルM01、上部旋回体32を表した上部旋回体外形モデルM02、ブームBMを表したブーム外形モデルM03、アームARを表したアーム外形モデルM04、及び、バケットBKを表したバケット外形モデルM05によって構成される。
操作パネルモデルM1とは、建設機械識別情報で特定される建設機械3の操作パネルを表したモデルであって、建設機械3の操作者による、操作レバーL1、L2、走行レバーR1、R2に対応する入力方向及び入力度合いを再現する。操作パネルモデルM1には、建設機械3の動作種類(右/左旋回、アーム掘削/ダンプ、ブーム上げ/下げ、バケット掘削/ダンプ、右履帯前進/後進、左履帯前進/後進(図7参照))と建設機械3の操作者の入力操作種類(操作レバーL1前方、操作レバーL2右方向、・・)との対応付けを示す情報が含まれている。
図5に戻り、抽出部1002は、指定ログ情報TL1及び比較用ログ情報TL2の各々から、再生に用いる情報を抽出する(ステップS06)。例えば、抽出部1002は、再生に用いる情報として、ブーム角度、アーム角度、バケット角度等である各種角度情報を抽出する。なお、再生に用いる情報として、図7に示すパイロット油圧を抽出してもよい。また、ステップS00、ステップS02において、再生に用いる情報のみ取得するようにしてもよい。
次に、再生部1003は、指定ログ情報TL1に基づく建設機械モデルTMのアニメーションと、比較用ログ情報TL2に基づく建設機械モデルTMのアニメーション再生との同時再生を実行する(ステップS07)。ここで、再生部1003は、指定ログ情報TL1に記録された各種情報を、ステップS03の同期処理で特定された再生開始時刻からタイムスタンプが古い順に、建設機械モデルTMに適用しながら、建設機械3の動作をアニメーション再生する。再生部1003は、このアニメーション再生と同時に、比較用ログ情報TL2に記録された各種情報を、ステップS03の同期処理で特定された再生開始時刻からタイムスタンプが古い順に、建設機械モデルTMに適用しながら、建設機械3の動作をアニメーション再生する。
以下、再生部1003の処理内容について詳細に説明する。再生部1003は、ログ情報TL(指定ログ情報TL1、比較用ログ情報TL2)に示される、旋回角度、ブーム角度等の各種角度情報に基づいて、外形3DモデルM0の対応する部分の角度を変更する。例えば、再生部1003は、バケット外形モデルM05を、アーム外形モデルM04との接続位置に規定される回転軸周りに、ログ情報TLに示されるバケット角度になるように傾けることで、建設機械3のバケットBKの位置、姿勢を再現する。
同様に、再生部1003は、アーム外形モデルM04を、ブーム外形モデルM03との接続位置に規定される回転軸周りに、ログ情報TLに示されるアーム角度になるように傾けることで、建設機械3のアームARの位置、姿勢を再現する。
同様に、再生部1003は、上部旋回体外形モデルM02を、下部走行体外形モデルM01との接続位置に規定される回転軸周りに、ログ情報TLに示される旋回角度になるように傾けることで、建設機械3の上部旋回体32の位置、姿勢を再現する。
同様に、再生部1003は、下部走行体外形モデルM01を、下部走行体外形モデルM01に規定されるロール回転軸周りに、ログ情報TLに示されるロール角度になるように傾け、かつ、下部走行体外形モデルM01に規定されるピッチ回転軸周りに、ログ情報TLに示されるピッチ角度になるように傾けることで、建設機械3の上部旋回体32の姿勢を再現する。
また、第1の実施形態に係る再生装置10は、ログ情報TLに含まれる、各時刻における右履帯前進/後進、左履帯前進/後進のPPC圧に基づいて、建設機械3の走行のアニメーション再生をすることができる。
具体的には、右履帯前進/後進、左履帯前進/後進のPPC圧に基づいて、外形3DモデルM0を、前進、後退、左右前進、左右後退する。例えば、右履帯前進および、左履帯前進のPPC圧の数値に基づいて、外形3DモデルM0を前方方向に移動させる。PPC圧の数値に基づいて、移動させる速度を変えてもよい。
また、右履帯後退および、左履帯後退のPPC圧の数値に基づいて、外形3DモデルM0を後方方向に移動させる。また、右履帯前進と左履帯前進のPPC圧の数値の差に基づいて、外形3DモデルM0を前方左右方向にカーブするように移動させる。例えば、右履帯前進のPPC圧の数値のほうが、左履帯前進のPPC圧の数値より大きい場合、前方左方向にカーブするように移動させる。移動の速度、カーブの大きさは、それぞれのPPC圧の数値、およびPPC圧の数値の差によって変更してもよい。
同様に、右履帯後退と左履帯後退のPPC圧の数値の差に基づいて、外形3DモデルM0を後方左右方向にカーブするように移動させる。例えば、右履帯後退のPPC圧の数値のほうが、左履帯後退のPPC圧の数値より大きい場合、後方左方向にカーブするように移動させる。移動の速度、カーブの大きさは、それぞれのPPC圧の数値、およびPPC圧の数値の差によって変更してもよい。
なお、右履帯前進/後進、左履帯前進/後進のPPC圧に加えて、位置情報を用いて再生することで、より正確に、建設機械3の走行をアニメーションすることができる。この場合、位置情報を用いることで、建設機械3の移動の速度、位置をより正確に表現することができる。また、右履帯前進/後進、左履帯前進/後進のPPC圧に加えて、ロール角度、または、ピッチ角度、またはロール角度とピット角度の両方に基づいて、建設機械3をアニメーション再生することで、走行時の建設機械3の左右方向の傾き、または建設機械3の前後方向の傾きを再生することができる。
更に、再生部1003は、ログ情報TLに示される、動作種類ごとの操作レバーL1、L2、走行レバーR1、R2のPPC圧を、タイムスタンプが古いものから、順次、建設機械モデルTMの操作パネルモデルM1に適用して、建設機械3の操作者による各種操作レバー、走行レバーに対する入力操作をアニメーション再生する。再生部1003は、外形3DモデルM0及び操作パネルモデルM1の再生時刻を揃えながら、同一画面上で、同時にアニメーション再生する。
再生部1003は、2つの建設機械3の動作のアニメーション再生中に、アニメーション再生を終了するか否かを判定する(ステップS08)。例えば、停止ボタンの押下等に基づく、再生終了の指示を受け取った場合に、アニメーション再生を終了すると判定する。アニメーション再生開始後、所定の期間経過後に、アニメーション再生を終了すると判定してもよい。アニメーション再生が終了しない場合(ステップS08;NO)、再生部1003は、2つの建設機械モデルTMのアニメーション同時再生を継続する。他方、アニメーション再生を終了する場合(ステップS08;YES)、再生部1003はアニメーション再生処理を終了する。
図5を用いて説明した各処理フローのうちステップS00、ステップS01、S03、S04、S05、S06、S08は、再生装置10の必須の構成ではなく、他の実施形態においてはこのようなステップを具備しないものであってもよい。
(再生装置の表示画面)
図12は、第1の実施形態に係る再生装置の表示画面の例を示す図である。
第1の実施形態に係る再生装置10のCPU100は、表示部102に、例えば図12に示すような表示画像Dを表示させる。
表示画像Dは、外形3Dモデル表示画像D1と、時間スクロールバーD4a、D4bと、ヒートマップ画像D6a、D6bと、を含んで構成される。
外形3Dモデル表示画像D1は、2つの外形3DモデルM0が重畳するように描画されて同時アニメーション再生される領域である。外形3Dモデル表示画像D1には、外形3DモデルM0(図11)に、指定ログ情報TL1に含まれるブーム角度、アーム角度、バケット角度等の各種情報が適用された建設機械モデル画像D10aが描画される。更に、外形3Dモデル表示画像D1には、外形3DモデルM0に、比較用ログ情報TL2に含まれるブーム角度、アーム角度、バケット角度等の各種情報が適用された建設機械モデル画像D10bが、建設機械モデル画像D10aと重畳するように描画される。
なお、他の実施形態に係る再生装置10は、2つの外形3DモデルM0を重ねて(重畳させて)表示するのではなく、2つの外形3DモデルM0を並べて表示する態様であってもよい。この場合、並べて配置された2つのディスプレイにそれぞれを表示する態様であってもよい。
また、外形3Dモデル表示画像D1には、再生装置10のオペレータが同時アニメーション再生、一時停止等を指示するためのボタン画像D11が描画される。
時間スクロールバーD4a、D4bは、アニメーション再生を制御するためのスクロールバーであって、それぞれ、指定ログ情報TL1に基づくアニメーション再生、及び、比較用ログ情報TL2に基づくアニメーション再生に対応するスクロールバーである。
時間スクロールバーD4a、D4bには、開始時刻から終了時刻までの時間軸を表すバー画像D40a、D40bと、バー画像D40a、D40bで示される時間軸のうち再生中の時刻に対応する再生時刻アイコンD41a、D41bとが描画される。再生時刻アイコンD41a、D41bは、バー画像D40a、D40bのそれぞれにおいて、再生時刻に対応する位置に描画される。オペレータは、再生時刻アイコンD41aをバー画像D40a上でスライドさせる操作を行うことで、指定ログ情報TL1に基づくアニメーション再生の再生時刻を所望に変更することができる。また、オペレータは、再生時刻アイコンD41bをバー画像D40b上でスライドさせる操作を行うことで、比較用ログ情報TL2に基づくアニメーション再生の再生時刻を所望に変更することができる。
例えば、図12に示すように、指定ログ情報TL1に基づくアニメーション再生の再生開始時刻は、ヒートマップ画像D6aにおける「排土待ち」から「排土」へと切り替わるタイミングと一致するように設定されている。同様に、比較用ログ情報TL2に基づくアニメーション再生の再生開始時刻は、ヒートマップ画像D6bにおける「排土待ち」から「排土」へと切り替わるタイミングと一致するように設定されている。
または、再生装置10は、再生時刻アイコンD41aをバー画像D40a上でスライドさせた位置を指定ログ情報TL1に基づくアニメーション再生の再生開始時刻とする。比較用ログ情報TL2に基づくアニメーション再生の再生開始時刻は、指定ログ情報TL1に基づくアニメーション再生の再生開始時刻の作業の区分と同一の区分であり、比較用ログ情報TL1におけるブーム、アーム、バケット等の角度情報の組み合わせと近い角度情報となっている再生開始時刻としてもよい。
オペレータから同時再生指示を受け付けた場合、再生装置10は、各時間スクロールバーD4a、D4b上において設定された再生開始時刻から同時アニメーション再生を行う。この場合、アニメーション再生が進むにつれて、再生時刻アイコンD41aは、バー画像D40a上を画面右方向にスライド移動し、同時に、再生時刻アイコンD41bは、バー画像D40b上を画面右方向にスライド移動する。
ヒートマップ画像D6a、D6bは、縦軸に作業の区分をとり横軸に時刻をとる平面に、作業の区分の尤度を表す色を付したマップであり、推定部1004が生成した要素作業ヒートマップH2を表示画面に表示したものである。ヒートマップ画像D6a、D6bの横軸の時刻は、それぞれ、時間スクロールバーD4a、D4bに表示される時間と対応して表示される。図12に示すように、ヒートマップ画像D6の左横には、各行の要素作業の区分を示す「掘削」、「集荷旋回」、「排土待ち」、「排土」、「空荷旋回」及び「荷台押え」が示されている。ヒートマップ画像D6a、D6bの右横には尤度と色との関係が表示される。
なお、図12では、ヒートマップ画像D6a、D6bとして要素作業ヒートマップH2を表示しているが、ヒートマップ画像D6a、D6bとして単位作業ヒートマップH1が表示されてもよい。また、図12では、ヒートマップ画像D6a、D6bが6行構成となっているが、表示される単位作業又は要素作業に応じて任意の行構成であってよい。
なお、図12では、表示画像Dは、アニメーションが表示される外形3Dモデル表示画像D1と、2つの時間スクロールバーD4a、D4bと、2つのヒートマップ画像D6a、D6bと、を含んで構成されている場合について説明したが、他の実施形態においてはこれに限定されない。例えば、表示画像Dは、2つの建設機械モデル画像D10a、D10bの同時アニメーションが表示される外形3Dモデル表示画像D1のみで構成される態様であってもよい。
また、図12のうち、比較用ログ情報TL2に基づくアニメーション再生に対応するスクロールバーD4b及びヒートマップ画像D6bを表示しない態様であってもよい。
(作用、効果)
以上の通り、第1の実施形態に係る再生装置10は、時刻に対応付けられる建設機械3のログ情報TL(指定ログ情報TL1、比較用ログ情報TL2)を取得する取得部1000と、建設機械3の動作の再生指示を受け付ける受付部1001と、再生指示を受付けた場合、ログ情報TLに含まれる建設機械3の角度情報を、建設機械モデルTMに順次適用することで、建設機械3の動作を再生する再生部1003と、指定ログ情報TL1に基づく建設機械モデルTMの再生、及び、比較用ログ情報TL2に基づく建設機械モデルTMの再生を同期させる同期部1006と、を備える。
このようにすることで、2つの建設機械モデルTMが同期してアニメーション再生されるので、オペレータは、2つの建設機械の動作の相違点を明確に把握することができる。
即ち、異なる2つの建設機械の動きの違いを容易に把握できる。
また、第1の実施形態に係る再生装置10は、建設機械3の動作が、所定の作業(例えば、排土待ち)から他の所定の作業(例えば、排土)へと切り替わるタイミングを再生開始時刻として設定する。
このようにすることで、2つの異なる建設機械モデルの同じ作業から同時再生されるので、2つのログ情報TLに基づくアニメーション再生の同期をとることができる。
特に、排土待ちから排土へと切り替わるタイミングで同期を図ることで、2つの建設機械3のそれぞれの運搬車両への積み込み開始時点を基準に同期させることができるので、2つの建設機械3の積み込み作業の相違点(良し悪しなど)を明確に把握することができる。
また、第1の実施形態に係る再生装置10は、指定ログ情報TL1に含まれる情報と所定の関係にある情報を含む比較用ログ情報TL2を取得することを特徴とする。
このようにすることで、指定ログ情報TL1との同時アニメーション再生において、比較に適した比較用ログ情報TL2が選択される。
特に、第1の実施形態に係る再生装置10は、指定ログ情報TL1で示される旋回角度の変化量(スイングの大きさ)と、比較用ログ情報TL2で示される旋回角度の変化量とが同程度である、即ち、両者の差異が所定の範囲内にある比較用ログ情報TL2を取得する。
ここで、旋回角度の変化量が大きく異なる2つの建設機械3の動きを同時に再生したとしても、その比較によって多くの知見が得られる可能性は低い。そこで、上記のようにすることで、同時アニメーション再生によって、旋回角度の変化量が同程度の2つの建設機械3の動きを比較することができる。
更に、第1の実施形態に係る再生装置10は、指定ログ情報TL1で示される、排土待ちにおけるバケット高さと、比較用ログ情報TL2で示される排土待ちにおけるバケット高さとが同程度である、即ち、両者の差異が所定の範囲内にある比較用ログ情報TL2を取得する。
ここで、排土待ちにおけるバケット高さが大きく異なる2つの建設機械3は、運搬車両との高さ方向における位置関係が大きく異なっている可能性がある。このような2つの動きを同時に再生したとしても、その比較によって多くの知見が得られる可能性は低い。そこで、上記のようにすることで、同時アニメーション再生によって、排土待ちにおけるバケット高さが同程度の2つの建設機械3の動きを比較することができる。
更に、第1の実施形態に係る再生装置10は、指定ログ情報TL1で示される建設機械3の車格と比較用ログ情報TL2で示される建設機械3の車格とが同程度の車格となるように比較用ログ情報TL2を取得する。
ここで、車格が大きく異なる2つの建設機械の動きを同時に再生したとしても、その比較によって多くの知見が得られる可能性は低い。そこで、上記のようにすることで、同程度の車格である2つの建設機械3の動きを比較することができる。
更に、第1の実施形態に係る再生装置10は、指定ログ情報TL1で示される建設機械3の運転モードと比較用ログ情報TL2で示される建設機械3の運転モードとが同一となるように比較用ログ情報TL2を取得する。
ここで、運転モードの違いにより出力可能な馬力が大きく異なる2つの建設機械の動きを同時に再生したとしても、その比較によって多くの知見が得られる可能性は低い。そこで、上記のようにすることで、同じ運転モードである2つの建設機械3の動きを比較することができる。
更に、第1の実施形態に係る再生装置10は、指定ログ情報TL1に示される、積み込み対象とする運搬車両のサイズと、比較用ログ情報TL2に示される、積み込み対象とする運搬車両のサイズとが同程度となるように比較長ログ情報TL2を取得する。
ここで、積み込み対象とする運搬車両のサイズが大きく異なれば、それに応じて、積み込み作業の動きは大きく変わってくる。したがって、このような2つの建設機械の動きを同時に再生したとしても、その比較によって多くの知見が得られる可能性は低い。そこで、上記のようにすることで、積み込み対象とする運搬車両のサイズが同程度の2つの建設機械3の動きを比較することができる。
(第1の実施形態の変形例)
以上、第1の実施形態に係る再生装置10及びこれを備える分析支援システム1について詳細に説明したが、他の実施形態においては上記態様に限定されない。
図13は、第1の実施形態の変形例に係る再生装置の表示画面の例を示す図である。
第1の実施形態の変形例に係る再生装置10のCPU100は、表示部102に、例えば図13に示すような表示画像Dを表示させる。
表示画像Dは、操作パターン画像D5a、D5bと、時間スクロールバーD4a、D4bと、ヒートマップ画像D6a、D6bと、を含んで構成される。
操作パターン画像D5a、D5bは、建設機械3の操作者による操作レバー、走行レバーへの入力操作がアニメーション再生される領域である。操作パターン画像D5aは、操作パネルモデルM1(図11)に、指定ログ情報TL1に含まれるPPC圧の情報が適用された画像である。また、操作パターン画像D5bは、操作パネルモデルM1(図11)に、比較用ログ情報TL2に含まれるPPC圧の情報が適用された画像である。
操作パターン画像D5a、D5bは、それぞれ、操作画像D50、D51、D52、D53及び操作アイコンD501、D511、D521、D531で構成される。
具体的には、操作画像D50は、左側の操作レバーである操作レバーL1への入力操作がアニメーション再生される領域である。操作画像D50上における操作アイコンD501の位置が、操作レバーL1への入力方向を示している。また、操作画像D50上に表示される操作アイコンD501の色が、操作レバーL1への入力度合いを示している。例えば、操作レバーL1に対する入力が無い場合、アイコンD501は完全な“白色”で表示され、入力度合いが大きくなるにつれて“白色”から“赤色”に変化するように表示される。なお、入力度合いに応じて変化する色の組み合わせはこの例に限られない。後述するアイコンD511、D521、D531についても同様である。
操作画像D51は、右側の操作レバーである操作レバーL2への入力操作がアニメーション再生される領域である。操作画像D51上における操作アイコンD511の位置が、操作レバーL2への入力方向を示している。また、操作画像D51上に表示される操作アイコンD511の色が、操作レバーL2への入力度合いを示している。
操作画像D52は、左側の走行レバーである走行レバーR1への入力操作がアニメーション再生される領域である。操作画像D52上における操作アイコンD521の位置が、走行レバーR1への入力方向を示している。また、操作画像D52上に表示される操作アイコンD521の色が、走行レバーR1への入力度合いを示している。
操作画像D53は、右側の走行レバーである走行レバーR2への入力操作がアニメーション再生される領域である。操作画像D53上における操作アイコンD531の位置が、走行レバーR2への入力方向を示している。また、操作画像D53上に表示される操作アイコンD531の色が、走行レバーR2への入力度合いを示している。
第1の実施形態の変形例に係る再生装置10によれば、建設機械3の操作者による操作レバー、走行レバーへの入力操作が同時再生されるので、2つの入力操作の比較を容易に行うことができる。
(その他の変形例)
また、第1の実施形態に係るログ情報TLは、再生の対象としてオペレータに指定された指定ログ情報TL1と、お手本として事前に用意された比較用ログ情報TL2との2つに区別されている態様で説明したが、他の実施形態においてはこの態様に限定されない。
例えば、他の実施形態に係る再生装置10では、ログ情報TLは、上記のような区別のない2つのログ情報TLを用いて、同時アニメーション再生を行う態様であってもよい。
また、第1の実施形態に係るログ情報は、図6~図8で示したように、角度情報等が取得時刻(タイムスタンプ)に対応付けられて記録されている態様で説明したが、他の実施形態においてはこの態様に限定されない。
例えば、他の実施形態に係るログ情報は、角度情報等を、順番が識別できる記号(数字やアルファベット)と対応づけて記録されている態様であってもよい。また、他の実施形態においては、ログ情報には角度情報のみが記録されており、再生装置10は、角度情報を上から順(記録された順)に読み出す態様としてもよい。
また、第1の実施形態に係る再生装置10は、指定ログ情報TL1に含まれる角度情報が適用された建設機械モデル画像D10aと、比較用ログ情報TL2に含まれる角度情報が適用された建設機械モデル画像D10bとを、要素作業ヒートマップH2に基づいて両者の再生開始時刻を特定することで、同期させて再生するものとして説明したが、他の実施形態に係る再生装置10においてはこの態様に限られない。
他の実施形態に係る再生装置10は、指定ログ情報TL1に記録された最初の時刻を建設機械モデル画像D10aの再生開始時刻とし、比較用ログ情報TL2に記録された最初の時刻を建設機械モデル画像D10bの再生開始時刻としてもよい。また、他の実施形態に係る再生装置10は、建設機械モデル画像D10aについて特定した再生開始時刻と同一の時刻を、建設機械モデル画像D10bの再生開始時刻としてもよい。
また、第1の実施形態に係る再生装置10は、指定ログ情報TL1に含まれる角度情報が適用された建設機械モデル画像D10aと、比較用ログ情報TL2に含まれる角度情報が適用された建設機械モデル画像D10bとを重畳して描画するものとして説明したが、他の実施形態においてはこの態様に限定されない。
例えば、他の実施形態に係る再生装置10では、建設機械モデル画像D10aと建設機械モデル画像D10bとを並べて別々に表示するものであってもよい。
第1の実施形態に係るログ情報TLの内容(図6~図8)は、他の実施形態においてはこれに限定されない。例えば、建設機械3が油圧ショベルではなく他の車両種類であった場合には、当該車両種類に応じたログ情報TLが記録される。他の車両種類とは、例えば、ホイールローダ等である。
同様に、第1の実施形態に係る建設機械モデルTMも、建設機械3の車両種類、機種ごとに、当該建設機械3の外形及び操作パネルを表したものが用意される。
また、第1の実施形態に係るログ情報TLには、各時刻における建設機械3の位置、各種可動部の角度(図6)、操作機構におけるPPC圧(図7)、及び、建設機械3の駆動機構のステータス(図8)が含まれるものとして説明したが、他の実施形態においてはこれに限定されない。
他の実施形態に係る再生装置10は、ログ情報TLとして、図6に係る情報のみを取得するものであってもよい。ただし、この場合、再生装置10は、運転モード及び運搬車両のサイズに基づいて比較用ログ情報TL2を選択することができない。
また、第1の実施形態に係る再生装置10は、建設機械モデルTMとして、外形3DモデルM0及び操作パネルモデルM1の両方を含み、両方を再生するものとして説明したが、他の実施形態においてはこの態様に限定されない。他の実施形態に係る再生装置10は、外形3DモデルM0、操作パネルモデルM1のうちいずれか一方を含む建設機械モデルTMにおいて、外形3DモデルM0、操作パネルモデルM1のうちいずれか一方のみを再生するものであってよい。また、再生装置10は、外形3DモデルM0、操作パネルモデルM1のいずれを再生するかを、設定によって変更できる態様であってもよい。
また、他の実施形態に係る再生装置10は、通常速度の再生のみならず、更に、早送り、スロー再生、リピート、巻き戻し機能を有していてもよい。
例えば、通常再生において毎秒15個の角度情報等を用いて再生していた場合、再生部1003は、毎秒30個の角度情報等を用いて再生する、あるいは、毎秒15個の角度情報等を1つ飛ばしで用いることで2倍速の早送り機能を実現する。3倍速等の早送り機能も同様の仕組みで実現可能である。
同様に、通常再生において毎秒15個の角度情報等を用いて再生していた場合、再生部1003は、15個の角度情報等を2秒かけて再生することで1/2倍速のスロー再生機能を実現する。特に、操作パターン画像D5a、D5b(図13)をスロー再生可能とすることで、訓練者は、熟練者のレバー操作技術をより詳細に把握することができる。
同様に、通常再生において、タイムスタンプが古いものから、順次、適用して再生していた場合、タイムスタンプが新しいものから、順次、適用して再生することで巻き戻し再生を実現する。
また、第1の実施形態に係る操作レバーL1、L2、走行レバーR1、R2等の操作機構は、各操作機構に対する入力の度合いがPPC圧によって表されるものとして説明したが、他の実施形態においてはこの態様に限定されない。
例えば、他の実施形態に係る操作機構は、電気方式の操作機構でもよい。この場合、各種操作機構が、電気レバーのような操作部材と、操作部材の傾倒量を電気的に検出するポテンショメータ傾斜計のような作動量センサとを有してもよい。この実施形態においては、作動量センサの検出データがデータロガー20に記録される。
また、第1の実施形態に係る再生装置10は、建設機械3を外形3DモデルM0で表するものとして説明したが、他の実施形態においてはこの態様に限定されない。他の実施形態に係る再生装置10は、例えば、建設機械3を2Dモデルで表するものとしてもよい。
また、第1の実施形態に係る再生装置10は、操作者の操作機構による入力の度合いを、操作パターン画像D5a、D5b内に示されるアイコンD501等の色の変化で表すものとして説明したが、他の実施形態によってはこの態様に限定されない。例えば、他の実施形態に係る再生装置は、アイコンD501等が描画される位置で、入力の度合いを表すものとしてもよい。例えば、再生装置10は、操作レバーL1に対する入力の度合いが小さい場合は、操作画像D50の中心に近い位置に描画され、操作レバーL1に対する入力の度合いが大きいほど、操作画像D50のうち、その中心から離れた位置に描画される。
また、他の実施形態においては、操作画像D50内に描かれる色のグラデーションの強さによって、入力度合いを示しても良い。
また、第1の実施形態に係る再生装置10は、建設機械3から離れた場所に設置されるとともに、建設機械3に搭載されたデータロガー20とは広域通信網を介して接続されるものとして説明したが、他の実施形態においてはこの態様に限定されない。
例えば、他の実施形態に係る再生装置10は、再生装置10の一部、または全部の構成が建設機械3の内部に設置されていてもよい。この場合、データロガー20は、広域通信網を介さず、建設機械3内部のネットワーク等を介して再生装置10にログ情報TLを送信してもよい。このようにすることで、建設機械3に搭乗する操作者が、その場で、操作者自身が操作する建設機械3の動きをアニメーション再生して確認することができる。また、建設機械3の操作者に向けて、手本となる建設機械3の動きを再生することで、ガイダンスとして使用することができる。
なお、建設機械3の内部に設置された再生装置10は、他の建設機械3のログ情報TLを、広域通信網等を介して取得してもよい。このようにすることで、再生装置10を搭載する建設機械3以外の建設機械3の状態をアニメーション再生することができる。
また、他の実施形態に係る再生装置10は、建設機械3から離れた場所に設置されながら、アニメーション再生処理によって生成された映像情報を、建設機械3が搭載するモニタに送信して表示する態様であってもよい。
また、他の実施形態においては、オペレータから受け付ける再生指示の一態様としては、例えば、再生期間を指定するものであってもよい。例えば、再生期間は、再生開始時刻及び再生終了時刻であってよい。この場合、再生装置10は、受け付けた再生期間の建設機械3の再生を行う。また、他の実施形態においては、再生終了時刻の指定は必須でない。例えば、他の実施形態では、オペレータからの再生指示として、再生開始時刻のみを受け付けて、当該再生開始時刻から一定時間再生する態様であってもよいし、ログ情報が存在する限り再生し続ける態様であってもよいし、その他の各種イベントの発生に伴って再生停止するようにしてもよい。
なお、取得するログ情報TL(図6~図8)は、時系列順に並んでいる必要はない。この場合、再生部1003は、ログ情報TLのうち、再生に用いる情報を、時系列に建設機械モデルTMに適用すればよい。
第1の実施形態に係る表示部102は、推定部1004で推定された作業内容をヒートマップ画像D6a、D6bとして表示しているが、他の実施形態においてはこれに限定されない。例えば、推定部1004で推定された作業内容を文字情報だけで表示してよい。具体的には、推定部1004で推定された作業内容を、再生中の時刻と対応させて「掘削積込:掘削」等と文字情報だけで表示してよい。
なお、上述した再生装置10の各種処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって上記各種処理が行われる。また、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
上記プログラムは、上述した機能の一部を実現するためのものであってもよい。更に、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル、又は差分プログラム等であってもよい。
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 分析支援システム、10 再生装置、100 CPU、1000 取得部、1001 受付部、1002 抽出部、1003 再生部、1004 推定部、1005 判定部、1006 同期部、101 メモリ、102 表示部、103 操作受付部、104 通信インタフェース、105 ストレージ、20 データロガー、3 建設機械、H1~H2 ヒートマップ、TM 建設機械モデル、TL ログ情報、PM1 単位作業予測モデル、PM2 要素作業予測モデル、R 推定された作業内容

Claims (11)

  1. 建設機械のログ情報を取得する取得部と、
    前記ログ情報に含まれる前記建設機械の角度情報を、建設機械モデルに順次適用することで、前記建設機械の動作を再生する再生部と、
    前記ログ情報である第1のログ情報に基づく前記建設機械モデルの再生と、前記ログ情報である第2のログ情報に基づく前記建設機械モデルの再生とを同期させる同期部と、
    を備える再生装置。
  2. 前記同期部は、前記建設機械の動作が、所定の作業から他の所定の作業へと切り替わるタイミングを再生開始時刻として設定する
    請求項1に記載の再生装置。
  3. 前記同期部は、前記建設機械の動作が、排土待ちから排土へと切り替わるタイミングを再生開始時刻として設定する
    請求項2に記載の再生装置。
  4. 前記取得部は、前記第1のログ情報に含まれる情報と所定の関係にある情報を含む前記第2のログ情報を取得する
    請求項1から請求項3のいずれか一項に記載の再生装置。
  5. 前記取得部は、前記第1のログ情報で示される旋回角度の変化量と、前記第2のログ情報で示される旋回角度の変化量との差異が所定の範囲内にある前記第2のログ情報を取得する
    請求項4に記載の再生装置。
  6. 前記取得部は、前記第1のログ情報で示される排土待ちにおけるバケット高さと、前記第2のログ情報で示される排土待ちにおけるバケット高さとの差異が所定の範囲内にある前記第2のログ情報を取得する
    請求項4又は請求項5に記載の再生装置。
  7. 前記取得部は、前記第1のログ情報で示される建設機械の車格と、前記第2のログ情報で示される建設機械の車格との差異が所定の範囲内となるように前記第2のログ情報を取得する
    請求項4から請求項6のいずれか一項に記載の再生装置。
  8. 前記取得部は、前記第1のログ情報に含まれる運転モードと、前記第2のログ情報に含まれる運転モードとが同一となるように前記第2のログ情報を取得する
    請求項4から請求項7のいずれか一項に記載の再生装置。
  9. 前記取得部は、前記第1のログ情報に示される、積み込み対象とする運搬車両のサイズと、前記第2のログ情報に示される、積み込み対象とする運搬車両のサイズとの差異が所定の範囲内となるように比較長ログ情報TL2を取得する
    請求項4から請求項8のいずれか一項に記載の再生装置。
  10. 建設機械のログ情報を取得する取得部と、
    前記ログ情報に含まれる前記建設機械の角度情報を、建設機械モデルに順次適用することで、前記建設機械の動作を再生する再生部と、
    前記ログ情報である第1のログ情報に基づく前記建設機械モデルの再生と、前記ログ情報である第2のログ情報に基づく前記建設機械モデルの再生とを同期させる同期部と、 を備える分析支援システム。
  11. 建設機械のログ情報を取得するステップと、
    前記ログ情報に含まれる前記建設機械の角度情報を、建設機械モデルに順次適用することで、前記建設機械の動作を再生するステップと、
    前記ログ情報である第1のログ情報に基づく前記建設機械モデルの再生と、前記ログ情報である第2のログ情報に基づく前記建設機械モデルの再生とを同期させるステップと、 を有する再生方法。
JP2019086576A 2019-04-26 2019-04-26 再生装置、分析支援システム及び再生方法 Active JP7215959B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019086576A JP7215959B2 (ja) 2019-04-26 2019-04-26 再生装置、分析支援システム及び再生方法
US17/434,640 US11893694B2 (en) 2019-04-26 2020-04-14 Reproduction apparatus, analysis assistance system, and reproduction method for synchronizing reproduction of a construction machine model
KR1020217027170A KR102592220B1 (ko) 2019-04-26 2020-04-14 재생 장치, 분석 지원 시스템 및 재생 방법
DE112020000512.7T DE112020000512T5 (de) 2019-04-26 2020-04-14 Reproduktionsgerät, Analyseunterstützungssystem und Reproduktionsverfahren
CN202080016176.XA CN113474521B (zh) 2019-04-26 2020-04-14 再生装置、分析支援系统以及再生方法
PCT/JP2020/016412 WO2020218087A1 (ja) 2019-04-26 2020-04-14 再生装置、分析支援システム及び再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019086576A JP7215959B2 (ja) 2019-04-26 2019-04-26 再生装置、分析支援システム及び再生方法

Publications (2)

Publication Number Publication Date
JP2020183615A JP2020183615A (ja) 2020-11-12
JP7215959B2 true JP7215959B2 (ja) 2023-01-31

Family

ID=72942691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019086576A Active JP7215959B2 (ja) 2019-04-26 2019-04-26 再生装置、分析支援システム及び再生方法

Country Status (6)

Country Link
US (1) US11893694B2 (ja)
JP (1) JP7215959B2 (ja)
KR (1) KR102592220B1 (ja)
CN (1) CN113474521B (ja)
DE (1) DE112020000512T5 (ja)
WO (1) WO2020218087A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001090120A (ja) 1999-09-17 2001-04-03 Hitachi Constr Mach Co Ltd 自動運転ショベル
JP2004162846A (ja) 2002-11-14 2004-06-10 Komatsu Ltd 再生情報表示機能を備える作業機の位置エネルギ回収・再生装置
US20070282577A1 (en) 2006-05-31 2007-12-06 Caterpillar Inc. Simulation system implementing historical machine data
JP2016045674A (ja) 2014-08-22 2016-04-04 株式会社Ihiエアロスペース 作業用車両

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101826993B1 (ko) 2011-10-24 2018-02-08 두산인프라코어 주식회사 건설기계의 플리트 제어 시스템 및 그 방법
KR102088067B1 (ko) * 2013-12-24 2020-03-11 두산인프라코어 주식회사 건설기계의 테일 제어 시스템 및 그 방법
JP6407663B2 (ja) 2014-10-30 2018-10-17 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の操縦システム
KR102333772B1 (ko) * 2016-04-21 2021-11-30 스미토모 겐키 가부시키가이샤 쇼벨의 표시장치
CN110446817B (zh) * 2017-08-08 2023-06-13 住友建机株式会社 挖土机及挖土机的支援装置
CN107882103B (zh) 2017-10-26 2019-09-10 南京工业大学 一种挖掘机三维姿态显示及远程自动控制系统
JP6483786B1 (ja) 2017-11-02 2019-03-13 株式会社フジクラ 把持部材
JPWO2020095945A1 (ja) * 2018-11-08 2021-09-24 住友建機株式会社 ショベル、情報処理装置、情報処理方法、情報処理プログラム、端末装置、表示方法、表示プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001090120A (ja) 1999-09-17 2001-04-03 Hitachi Constr Mach Co Ltd 自動運転ショベル
JP2004162846A (ja) 2002-11-14 2004-06-10 Komatsu Ltd 再生情報表示機能を備える作業機の位置エネルギ回収・再生装置
US20070282577A1 (en) 2006-05-31 2007-12-06 Caterpillar Inc. Simulation system implementing historical machine data
JP2016045674A (ja) 2014-08-22 2016-04-04 株式会社Ihiエアロスペース 作業用車両

Also Published As

Publication number Publication date
DE112020000512T5 (de) 2021-10-14
CN113474521A (zh) 2021-10-01
US20220172434A1 (en) 2022-06-02
WO2020218087A1 (ja) 2020-10-29
KR20210120056A (ko) 2021-10-06
CN113474521B (zh) 2022-12-02
US11893694B2 (en) 2024-02-06
KR102592220B1 (ko) 2023-10-19
JP2020183615A (ja) 2020-11-12

Similar Documents

Publication Publication Date Title
JP2023130383A (ja) 再生装置、分析支援システム及び再生方法
JP2018135681A (ja) 作業機械
JP7424784B2 (ja) 制御装置、作業機械および制御方法
WO2020090954A1 (ja) 再生装置、分析支援システム及び再生方法
WO2021002245A1 (ja) 作業機械を含むシステム、および作業機械
US11905685B2 (en) Index-value determination device and index-value determination method
JP7215959B2 (ja) 再生装置、分析支援システム及び再生方法
JP7286287B2 (ja) 作業機械の表示システムおよびその制御方法
JP7201875B2 (ja) 作業機械
JP7197315B2 (ja) ホイールローダの表示システムおよびその制御方法
JP7197314B2 (ja) 作業機械の表示システムおよびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230119

R150 Certificate of patent or registration of utility model

Ref document number: 7215959

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150