JP7235631B2 - 建設機械向け稼働記録分析システム - Google Patents

Description

本発明は、鉱山等で作業を行うショベルなどの建設機械において、建設機械の作業状況を効率的に把握するために、建設機械の稼働記録を分析するシステムに関するものである。

本技術分野の背景技術として、特許文献１がある。特許文献１には、「作業現場におけるショベルのより詳細な管理を可能にするショベル、ショベル管理システム、及び携帯通信端末を提供することができる」と記載されている。

従来の稼働記録分析システムでは、動作状態情報取得部が出力する動作状態情報をもとに、作業内容推定部が作業内容を推定する。作業内容とは、ショベルにおける掘削中、排土中、走行中といった作業の種類を示す。これら作業内容と、ショベルの位置を示す作業位置情報やショベルが掘削している高さを示す作業高さ情報を関連付け、一定時間間隔で記録装置に記録したり、通信装置を通じて外部のサーバに記録したり、表示装置に表示したりする。これにより、どの時刻においてショベルがどのような内容の作業を行っていたかを把握し、作業現場におけるショベルのより詳細な管理を可能としている。

特許第６１４４３７３号公報

ショベルを用いた作業では、ショベルのアームの稼働範囲や、上部旋回体の旋回範囲付近に他の作業員が立ち入ることで、ショベルの一部が他の作業員に接触する可能性がある。仮にそのような事象が発生した場合、他の建設機械による作業も含めた施工全体を停止させて、原因の解明や対策の立案、適用、確認などを行わなければならないため、ショベルの稼働率が低下することとなる。従って、作業の管理者は、稼働率低下につながる事象が発生しないように、作業全体を管理する必要がある。従来の稼動記録分析システムを用いる場合、記録装置や外部のサーバなどに、作業内容を記録することが可能である。しかしながら、記録されるデータには、稼働率低下の要因となり得る作業内容とそれ以外の作業内容とが含まれていて、一般的に前者の発生確率は極めて低い。さらに、作業全体における稼働時間の長さや使用する建設機械の台数などに応じて、記録されるデータの量は膨大になる。このような膨大な量のデータの中から、稼働率低下の要因となり得る作業内容のみをシステム利用者が検出し抽出するには、多くの時間を要し、また見落としが発生する場合がある。

本発明は、上記課題に鑑みてなされたものであり、その目的は、建設機械の稼働時に記録された稼働情報の中から、稼働率低下の要因となり得る作業内容を効率的に抽出することが可能な建設機械向け稼働記録分析システムを提供することにある。

上記目的を達成するために、本発明は、車体の位置を検出する車体位置検出装置と、前記車体の姿勢を検出する車体姿勢検出装置と、前記車体の動作状態を検出する動作状態検出装置と、前記車体位置検出装置および前記車体姿勢検出装置からの情報に基づいて前記車体の作業位置を算出し、前記作業位置および前記動作状態に基づいて前記車体の作業内容を推定し、前記作業位置および前記作業内容を含む稼働情報を出力するコントローラとを備えた建設機械向け稼働記録分析システムにおいて、前記車体の周囲に存在する物体を検出する物体検出装置を備え、前記コントローラは、前記物体検出装置からの情報に基づいて前記物体の位置を算出し、前記車体位置検出装置および前記車体姿勢検出装置からの情報と前記物体の位置とに基づいて前記車体と前記物体とが近接しているか否かを判定し、その判定結果を前記稼働情報に含めて出力するものとする。

以上のように構成した本発明によれば、車体と周囲に存在する物体とが近接しているか否かの判定結果が稼働情報に含まれるため、システム利用者は、膨大な量の稼働情報の中から、車体と周囲に存在する物体とが近接したときの作業内容を速やかに抽出することができる。これにより、建設機械の作業状況の検証効率を向上させることが可能となる。

本発明に係る建設機械向け稼働記録分析システムによれば、稼働時に記録された稼働情報の中から、稼働率低下の要因となり得る作業内容を効率的に抽出することが可能となる。

建設機械向け稼働記録分析システムの構成図である。 建設機械向け稼働記録分析システムにおける処理の流れを説明する図である。 ショベルの状態を示す図である。 ショベルの作業位置と動作状態の例を示す図である。 ショベルにおけるカメラの搭載状態とカメラ映像を示す図である。 カメラ映像を用いて差分領域を算出する処理を説明する図である。 カメラ映像内の差分領域を射影変換する処理を説明する図である。 重複領域を算出する処理を説明する図である。 稼働情報の例を示す図である。 本発明の第１の実施例における表示装置の表示内容を示す図である。 本発明の第２の実施例における表示装置の表示内容を示す図である。 本発明の第３の実施例における表示装置の表示内容を示す図である。 本発明の第４の実施例におけるＬｉＤＡＲによる検知処理を説明する図である。 本発明の第５の実施例におけるＬｉＤＡＲによる検知処理を説明する図である。 本発明の第５の実施例における表示装置の表示内容を示す図である。

以下、本発明の実施の形態を図面を参照して説明する。なお、各図中、同等の部材には同一の符号を付し、重複した説明は適宜省略する。

本実施例では、稼働記録の中から条件に適合する内容を抽出して優先的に表示させる建設機械向け稼働記録分析システムの例を説明する。

図１は、本実施例の建設機械向け稼働記録分析システムの構成図である。ここではショベルを対象建設機械として説明する。

車体位置検出装置１０１は、例えばＧＰＳまたはＧＮＳＳで構成され、ショベルの位置を検出し、結果を送出する。

車体姿勢検出装置１０２は、ブーム、アーム、バケットの角度を検出する角度センサ、上部旋回体の旋回角度を検出する角度センサ等で構成され、ショベルの下部走行体と上部旋回体の位置関係や、ブーム、アーム、バケット等の位置関係を検出し、結果を送出する。

動作状態検出装置１０３は、エンジン回転数を検出する回転数センサ、アクチュエータの負荷圧を検出する圧力センサ等で構成され、エンジンの出力や可動部油圧などショベルの動作に関わる状態を取得し、結果を送出する。

作業位置取得部１０４は、車体位置検出装置１０１や車体姿勢検出装置１０２から受信した情報をもとに、ショベルが作業を行っている場所及びショベルの各可動部の位置関係や状態を取得し、結果を送出する。

動作状態取得部１０５は、動作状態検出装置１０３から受信した情報をもとに、エンジンの状態、油圧系統の状態を取得し、結果を送出する。

作業内容推定部１０６は、作業位置取得部１０４と動作状態取得部１０５から受信した情報をもとに、現在ショベルが行っている作業が、例えば掘削中、排土中、走行中のいずれであるかといった推定を行い、結果として推定した作業内容を送出する。

稼働情報算出部１０７は、作業内容推定部１０６が出力する作業内容と、ショベル周囲に存在する物体とショベルが近接しているか否かを表す情報とを統合し、近接していると判定している場合は優先的に表示を行うような設定を追加して稼働情報とし、結果を送出する。

通信装置１０８は、例えば携帯通信機で無線ＬＡＮ端末で構成され、稼働情報算出部１０７が作成した稼働情報を、通信回線を通じてシステム外部の機器に送出する。

記録装置１０９は、例えばメモリやディスクで構成され、稼働情報算出部１０７が出力した稼働情報を記録しておき、稼働情報算出部１０７や通信装置１０８の要求にもとづいてこの情報を出力する。

表示装置１１０は、例えばコンソールおよびディスプレイで構成され、コンソールの操作に応じて稼働情報算出部１０７が出力する稼働情報をディスプレイに表示する。

物体検出装置１１１は、車体に取り付けられたカメラ５０１，５０２（図３に示す）であり、ショベル周囲の状態を撮影し、結果のカメラ映像を出力する。

物体検出部１１３は、物体検出装置１１１が出力した映像を入力し、この中からショベルの周囲に存在する物体を検出し、検出結果を送出する。

形状情報保持部１１４は、ショベルの３次元形状を保持し、配置算出部１１２の要求に応じてこの３次元形状を出力する。

配置状態判定部１１５は、配置算出部１１２が出力するショベルの各部品の現在における３次元配置と、物体検出部１１３が出力するカメラ映像内での物体検出結果を２次元から３次元へ射影させた結果とを比較し、物体検出部１１３により検出された物体が、現在のショベルの車体が存在する位置の近傍に存在するか否かを判定し、判定結果を稼働情報算出部１０７に送出する。

上述の建設機械向け稼働記録分析システムにおいて、稼働率低下の要因となり得る事象が発生した時点における稼働情報を表示する例を図２～図１０を用いて示す。

図２には、本発明における稼働記録分析システムの処理の流れを示す。処理の流れは大きく二つに分けている。稼働情報記録時の処理は、ショベルが稼働している際に実行するものである。稼働情報検証時の処理は、記録装置１０９が記録するショベルの稼働情報を、表示装置１１０を用いて検証する際に実行するものである。

本発明における建設機械向け稼働記録分析システムにおいて、稼働情報記録時の動作を開始すると、最初にステップ２０１の処理を行う。

ステップ２０１では、作業位置取得部１０４が、車体位置検出装置１０１及び車体姿勢検出装置１０２から入力した情報をもとに、作業位置を取得する。この例におけるショベルの状態を図３に示す。ショベル３０１は、下部走行体３０２と、下部走行体３０２上に旋回可能に設けられた上部旋回体３０３と、上部旋回体３０３上に設けられたブーム３０４、アーム３０５、バケット３０６から成るフロント作業機とを少なくとも備えている。ショベル３０１は、斜面を備えた地表面上に存在している。車体にはカメラ５０１，５０２が取り付けられていて、車体の周囲を撮影している。車体位置検出装置１０１は、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を用いて地球上での緯度経度を取得するといった手法が考えられる。また他には、トータルステーションなどを利用して、施工計画の対象領域内での相対的な位置を取得するといった手法も考えられる。車体姿勢検出装置１０２では、ショベル３０１に搭載した角度センサ等を用いて、車体の姿勢を検出する。この場合の姿勢とは、下部走行体３０２の方向、下部走行体３０２と上部旋回体３０３との旋回角度の差、並びに、上部旋回体３０３、ブーム３０４、アーム３０５、バケット３０６の各部分間の配置角度の差をまとめた情報である。この後、処理をステップ２０２に移す。

ステップ２０２では、動作状態取得部１０５において、動作状態検出装置１０３から出力した情報をもとに動作状態を取得する。動作状態検出装置１０３では、例えばエンジン出力センサや油圧センサ、速度計、異常検出センサなどのセンサ類から得られる情報を、動作状態取得部１０５に出力している。この後、処理をステップ２０３に移す。

ステップ２０３では、作業位置取得部１０４及び動作状態取得部１０５の出力する情報にもとづいて、作業内容推定部１０６にてショベルの現在の作業内容を推定する。作業位置取得部１０４の出力する作業位置及び動作状態取得部１０５の出力する動作状態の例を図４に示す。ここでの作業位置とは、ショベル旋回中心の底面が存在している位置の３次元座標である。また動作状態とは、ショベルの各部が相対的に形成する角度θ１，θ２，θ３，θ４である。作業内容の推定では、例えば車体姿勢検出装置１０２の出力する車体の姿勢の情報をもとに、バケット３０６の位置が地表面よりも高く、かつ速度計の値が一定値以上である場合に、作業内容が走行中であると推定する。またはバケット３０６の角度が変化を継続していて、かつ油圧ポンプの吐出圧が一定値以上である場合に、作業内容が掘削中であると推定する。作業内容推定部１０６は、このようにして推定した作業内容を、稼働情報算出部１０７に出力する。この後、処理をステップ２０４に移す。

ステップ２０４では、稼働情報算出部１０７において、作業内容推定部１０６から入力した作業内容と、作業内容に関連する位置や速度、角度といった数値情報を統合する。例えば、作業内容として走行中と推定した場合、走行速度を作業内容に統合する。または作業内容として掘削中と推定した場合、姿勢として示される角度情報を統合する。この結果を稼働情報算出部１０７の内部に保持しておく。この後、処理をステップ２０５に移す。

ステップ２０５では、配置算出部１１２において、ショベル３０１の現在の姿勢にもとづく３次元形状を構築する。形状情報保持部１１４が保持するショベル３０１の３次元の基本形状を入力し、これに対して作業位置取得部１０４から入力した作業位置及び動作状態取得部１０５から入力した動作状態を適用する。例えば、姿勢の情報をもとに、下部走行体３０２の方向、下部走行体３０２と上部旋回体３０３との旋回角度の差、並びに、上部旋回体３０３、ブーム３０４、アーム３０５、バケット３０６の各部分間の配置角度の差に合わせて、３次元形状における下部走行体３０２や上部旋回体３０３、ブーム３０４、アーム３０５、バケット３０６といった各部品間の角度の差が同等になるように形状を更新する。この結果を配置状態判定部１１５に出力する。この後、処理をステップ２０６に移す。

ステップ２０６では、カメラ５０１，５０２が撮影しているショベル周囲の映像を用いて、物体検出部１１３において物体検出処理を行う。物体検出処理の例を図５に示す。この例では、上部旋回体３０３に前方カメラ５０１と後方カメラ５０２を搭載している。カメラ５０１，５０２が撮影している映像は、前方カメラ映像５０３、後方カメラ映像５０４のようになっている。ショベル３０１の後方には物体が存在していないため、後方カメラ映像５０４には地表面と空のみが映っている。ショベル３０１の前方には人物５０５が存在しているため、この人物５０５が前方カメラ映像５０３に映っている。また車体の姿勢の状態により、前方カメラ映像５０３にはアーム３０５とバケット３０６が映っている。

前方カメラ映像５０３における周囲物体検出の例を図６に示す。前方カメラ映像５０３において、時刻ｔｉ－１での様子を図の左上に示し、そのあとの時刻ｔｉでの様子を図の左下に示す。ここでは、人物５０５がショベルに接近していて、人物５０５の映像が時間経過に伴って前方カメラ映像５０３内を下方向に向かって移動している。これら時刻ｔｉ－１，ｔｉにおける前方カメラ映像５０３の差分を取得すると、図の右側に示したような結果となる。映像内では人物５０５が移動している箇所のみに映像の差分が発生している。これを映像上の差分領域６０１とする。このように、差分が発生した場合は、映像上の差分領域６０１を配置状態判定部１１５に出力する。この後、処理をステップ２０７に移す。

ステップ２０７では、配置状態判定部１１５において、カメラ映像の座標系と、ショベル３０１の形状を表す座標系との間で射影変換を行う。カメラ映像は２次元の座標系で表現されていて、ショベル３０１の形状は３次元の座標系で表現されている。これらの間で射影変換を行い。カメラ映像内で検出した差分領域６０１が、ショベルとの間でどのような相対位置にいるかを算出する。ショベル３０１の形状は、ステップ２０５での処理により、ショベル３０１の現在の姿勢と同等になるように形状を更新している。ショベル３０１の形状は、前方カメラ５０１の設置位置と撮影方向も同時に保持している。さらに、作業位置の情報をもとに、地表面と前方カメラ５０１との間の相対的位置関係も判明している。人物５０５は地表面上に存在していることから、前方カメラ映像５０３内において検出した差分領域６０１が、３次元空間内の地表面上でどの位置に存在しているかを、射影変換により求めることが可能となる。この模様を図７に示す。射影変換により、時刻ｔｉにおける人物７０１が３次元空間内で存在する位置を取得する。この後、処理をステップ２０８に移す。

ステップ２０８では、ショベル３０１の構成要素と、時刻ｔｉにおける人物７０１との重複領域を算出する。例えば、図７の状態からさらに時間が経過し、人物７０１がさらに移動している状態を想定する。この模様を図８に示す。時刻ｔｉにおける人物７０１は移動により位置を変え、時刻ｔｉ＋１における人物８０１に示すようにバケット３０６の近辺へ移動している。この場合における重複領域は、次のように求める。時刻ｔｉ＋１における人物８０１が、この後移動する可能性のある範囲を人物移動範囲８０３として３次元領域の形式で算出する。人物移動範囲８０３は、人物がとり得る移動速度で、ｔｉ＋２の時間までに移動する可能性のある範囲を示す。同様に、時刻ｔｉ＋１におけるショベル３０１のアーム３０５とバケット３０６が、この後移動する可能性のある範囲をショベル移動範囲８０４として３次元領域の形式で算出する。ショベル移動範囲８０４は、時刻ｔｉ＋１におけるアーム３０５及びバケット３０６の移動速度から、最大限の加速を行いながら移動した場合に、時刻ｔｉ＋２の時間までに移動する可能性のある範囲を示す。重複領域８０２は、人物移動範囲８０３とショベル移動範囲８０４とが重なった領域（図中斜線で示す）として算出する。この後、処理をステップ２０９に移す。

ステップ２０９では、ステップ２０８での処理によって重複領域８０２が発生したか否かを判定する。発生した場合は、処理をステップ２１０に移し、それ以外の場合は処理をステップ２１１に移す。

ステップ２１０では、稼働情報算出部１０７により、発生した重複領域８０２をステップ２０４で算出した稼働情報に追加して新たな稼働情報とする。この後、処理をステップ２１１に移す。

ステップ２１１では、稼働情報算出部１０７により、稼働情報を記録装置１０９に記録する。または、通信装置１０８を通じて外部の記録装置に記録する。この後、処理をステップ２１２に移す。

ステップ２１２では、稼働情報の記録が終了したか否かを判定する。ショベル３０１の停止などにより稼働情報の記録が終了した場合は、図２の左側に示した稼働情報記録時の処理を終了し、それ以外の場合は処理をステップ２０１に移す。稼働情報記録時には、上述のような処理を行う。

続いて、記録装置１０９に記録した稼働情報を検証する際の処理について述べる。この処理の流れは、図２の右側にある稼働情報検証時の部分に記載している。

本実施例における建設機械向け稼働記録分析システムにおいて、稼働情報検証時の動作を開始すると、最初にステップ２１３の処理を行う。

ステップ２１３では、稼働情報算出部１０７により、記録装置１０９に記録しておいて稼働情報を取得する。どの時点の稼働情報を取得するかは表示装置１１０を用いたシステム利用者からの入力により設定する。なお、取得する稼働情報はある一時点の稼働情報である場合や、複数の連続する時点の稼働情報を範囲として指定する場合などがある。範囲として指定した場合は、稼働情報検証時の処理を範囲の中で連続して実行する。この後、処理をステップ２１４に移す。

ステップ２１４では、取得した稼働情報に付加されている追加情報を検出する。追加情報が付加されていない場合は何も検出しない。この後、処理をステップ２１５に移す。

ステップ２１５では、取得した稼働情報に追加情報が付加されているか否かを判定する。付加されている場合は処理をステップ２１６に移し、それ以外の場合は処理をステップ２１７に移す。

ステップ２１６では、取得した稼働情報を抽出候補に追加する。この後、処理をステップ２１７に移す。

ステップ２１７では、表示装置１１０より指定した稼働情報の内、まだ上述の処理を適用していない稼働情報が残っているか否かを判定する。残っている場合は処理をステップ２１３に移し、それ以外の場合は処理をステップ２１８に移す。

ステップ２１８では、取得した稼働情報を表示装置１１０に表示する。この後、処理をステップ２１９に移す。

ステップ２１９では、抽出候補に追加された稼働情報を強調表示する。その後処理を終了する。

ここで、稼働情報の例を図９に示す。ここでは、時刻ｔｉにおける稼働情報と、時刻ｔｉ＋１における稼働情報を示している。時刻ｔｉにおいてショベル３０１の作業内容は“掘削中”であり、ショベル３０１の位置と姿勢を稼働情報に記録している。この時点では重複領域８０２は発生していないため、追加情報は“無”としている。時刻ｔｉ＋１においてショベル３０１の作業内容は“掘削中”であり、ショベル３０１の位置と姿勢を稼働情報として記録している。この時点で、人物７０１が移動して、時刻ｔｉ＋１における人物８０１に示すような位置に存在し、重複領域算出処理の結果、重複領域８０２が算出されている。この結果にもとづき、追加情報は“有”とし、重複領域８０２を追加情報として稼働情報に追加している。

次に、ステップ２１８における強調表示の例を図１０に示す。この例では、表示装置１１０の表示画面において、図に示すようなグラフを表示する。グラフは、時刻の推移を横軸に示している。作業内容の行には時刻の推移に伴う作業内容の変化を示す。作業位置の行には、同様に作業位置の変化を示す。ここで、この図では便宜的に１本の線によるグラフ表示をしているが、実際には、３次元座標の変化や、緯度経度の変化などを示すグラフを表示するものとする。姿勢の行には、ショベル３０１の姿勢の変化を示す。ここでも、便宜的に１本の線によるグラフ表示をしているが、実際には、θ１，θ２，θ３，θ４といった角度の変化をグラフ表示するものとする。稼働情報に付加された重複領域８０２が存在する時刻においては、重複領域８０２が存在することを、帯の表示（図中斜線で示す）と“重複領域発生”の文字で示している。これにより、ショベル３０１の稼働率低下の要因となり得るショベル３０１と人物８０１との接近状態を、複数の時刻における稼働情報の表示の中において明示している。

本実施例では、少なくともアーム３０５、バケット３０６を有するフロント作業機を備えた車体３０１と、車体３０１の位置を検出する車体位置検出装置１０１と、車体３０１の姿勢を検出する車体姿勢検出装置１０２と、車体３０１の動作状態を検出する動作状態検出装置１０３と、車体位置検出装置１０１および車体姿勢検出装置１０２からの情報に基づいて車体３０１の作業位置を算出し、前記作業位置および前記動作状態に基づいて車体３０１の作業内容を推定し、前記作業位置および前記作業内容を含む稼働情報を出力するコントローラ１００とを備えた建設機械向け稼働記録分析システムにおいて、車体３０１の周囲に存在する物体５０５，７０１，８０１を検出する物体検出装置１１１を備え、コントローラ１００は、物体検出装置１１１からの情報に基づいて物体５０５，７０１，８０１の位置を算出し、車体位置検出装置１０１および車体姿勢検出装置１０２からの情報と物体５０５，７０１，８０１の位置とに基づいて車体３０１と物体５０５，７０１，８０１とが近接しているか否かを判定し、その判定結果を前記稼働情報に含めて出力する。

以上のように構成した本実施例によれば、車体３０１と周囲に存在する物体５０５，７０１，８０１とが近接しているか否かの判定結果が稼働情報に含まれるため、システム利用者は、膨大な量の稼働情報の中から、車体と周囲に存在する物体とが近接したときの作業内容を速やかに抽出することができる。これにより、ショベル３０１の作業状況の検証効率を向上させることが可能となる。

また、物体検出装置１１１は、車体３０１の周囲を撮影するカメラ５０１，５０２であり、コントローラ１００は、車体３０１がカメラ５０１，５０２の撮像間隔内に移動する可能性のある車体移動範囲８０４の少なくとも一部と物体８０１が前記撮像間隔内に移動する可能性のある物体移動範囲８０３の少なくとも一部とが重複した場合に、車体３０１と物体８０１とが近接していると判定する。これにより、車体３０１および物体８０１の移動速度に基づいて、車体３０１と物体８０１とが近接するか否かを判定することが可能となる。

また、本実施例における建設機械向け稼働記録分析システムは、稼働情報を送信する通信装置１０８、前記稼働情報を記録する記録装置１０９、および稼働情報を表示する表示装置１１０を更に備える。これにより、稼働情報を確認する場所の自由度が向上する。

本実施例では、重複領域８０２が発生した場合に、重複領域８０２を発生させた要因を表示する例を説明する。

本実施例における時刻ｔｉ＋１での前方カメラ映像５０３の例を図１１の左上に示す。ここでは、時刻ｔｉ＋１における人物８０１の動きにより、時刻ｔｉ＋１における差分領域１１０１が発生している。この後の処理にて、重複領域８０２が発生したと判定された場合、この時刻ｔｉ＋１における差分領域１１０１を記録装置１０９に記録する。重複領域８０２が発生する場合は必ず差分領域１１０１も存在するため、このような状況では記録装置１０９に必ず差分領域１１０１が記録される。

この例における表示装置１１０の画面への表示の例を図１１の右側に示す。重複領域８０２が存在する時刻において、記録装置１０９に記録した差分領域１１０１を、重複領域発生の強調表示と併せて表示する。

本実施例では、コントローラ１００は、車体３０１と物体８０１とが近接していると判定した場合に、カメラ５０１，５０２がその判定時に撮影した映像のうち、物体８０１がカメラ５０１，５０２の撮像間隔内に移動した範囲を示す差分領域１１０１を稼働情報に含めて出力する。

以上のように構成した本実施例によれば、重複領域８０２が発生した際に、発生の判定基準となった差分領域１１０１を映像として表示することが可能となり、システム利用者は、どのような物体が重複領域８０２を発生させたかを視認することが可能となる。システム利用者は、視認した内容をもとに、重複領域８０２の分析の重要度を把握し、以後の対応を迅速に実行することが可能となる。

本実施例では、重複領域８０２が発生した場合に、重複領域８０２を発生させた要因を、その他の状態も含めて表示する例を説明する。

本実施例における時刻ｔｉ＋１での前方カメラ映像５０３の例を図１２の左上に示す。ここでは、時刻ｔｉ＋１における人物８０１の動きにより、時刻ｔｉ＋１における差分領域１１０１が発生している。この後の処理にて、重複領域８０２が発生したと判定された場合、この時刻ｔｉ＋１における差分領域１１０１と、時刻ｔｉ＋１におけるカメラ映像１２０１とを記録装置１０９に記録する。重複領域８０２や差分領域１１０１の算出にはカメラ映像を用いるため、このような状況では記録装置１０９に必ずカメラ映像１２０１並びに差分領域１１０１が記録される。

この例における表示装置１１０の画面への表示の例を図１２の右側に示す。重複領域８０２が存在する時刻において、記録装置１０９に記録したカメラ映像１２０１と差分領域１１０１を、重複領域発生の強調表示と併せて表示する。

本実施例では、コントローラ１００は、車体３０１と物体８０１とが近接していると判定した場合に、カメラ５０１，５０２がその判定時に撮影した映像において物体８０１がカメラ５０１，５０２の撮像間隔内に移動した範囲を示す差分領域１１０１の情報と、カメラ５０１，５０２がその判定時に撮影した映像とを稼働情報に含めて出力する。

以上のように構成した本実施例によれば、重複領域８０２が発生した際に、発生の判定基準となった差分領域１１０１とともに、その周囲の状況を映像として表示することが可能となり、システム利用者は、どのような状況下で重複領域８０２が発生しているかを視認することが可能となる。システム利用者は、視認した内容をもとに、重複領域８０２の分析の重要度を把握し、以後の対応を迅速に実行することが可能となる。

本実施例では、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）を用いて物体検出を行う例を説明する。

本実施例におけるショベル３０１の構成を図１３に示す。この構成では、第１の実施例におけるカメラ５０１，５０２がＬｉＤＡＲに置き換えられる。この例では、ショベル３０１の前方を検出対象とする前方ＬｉＤＡＲ１３０１と、ショベル３０１の後方を検出対象とする後方ＬｉＤＡＲ１３０２を搭載している。

前方ＬｉＤＡＲ出力１３０３及び後方ＬｉＤＡＲ出力１３０４を図１３の右側に示す。前方ＬｉＤＡＲ１３０１の検出範囲内には、人物５０５とアーム３０５及びバケット３０６が存在していて、これらにより前方ＬｉＤＡＲ出力１３０３のグラフに波形が生じている。左側の波形が人物５０５によって発生したもので、右側の波形はアーム３０５及びバケット３０６によって発生したものである。なお、後方ＬｉＤＡＲ１３０２の検出範囲には地表面以外の対象が存在せず、これを除いて後方ＬｉＤＡＲ出力１３０４には特徴的な波形は存在しない。

物体検出部１１３は、これらのＬｉＤＡＲ出力を利用して、物体検出を行う。その結果、人物５０５とアーム３０５及びバケット３０６を検出する。この結果をもとに、配置状態判定部１１５では、配置算出部１１２の出力するショベル３０１の３次元形状との比較から、アーム３０５及びバケット３０６によって生じる波形を除外し、人物５０５によって生じる波形を取得する。この結果を用いて、重複領域８０２の算出を行う。

本実施例では、物体検出装置１１１は、対象物との距離情報を取得するＬｉＤＡＲ１３０１，１３０２であり、コントローラ１００は、ＬｉＤＡＲ１３０１，１３０２で取得した前記対象物の距離情報から車体３０１の距離情報を除外することにより物体５０５の距離情報を取得する。

以上のように構成した本実施例によれば、物体検出装置１１１をＬｉＤＡＲ１３０１，１３０２で構成した場合でも、第１の実施例と同様に、車体３０１と周囲に存在する物体５０５とが近接しているか否かの判定結果が稼働情報とともに記録されるため、システム利用者は、膨大な量の稼働情報の中から、車体３０１と周囲に存在する物体５０５とが近接したときの作業内容を速やかに抽出することができる。これにより、ショベル３０１の作業状況の検証効率を向上させることが可能となる。

本実施例では、ＬｉＤＡＲを用いて物体検出を行い、物体検出時のカメラ映像を表示する例を説明する。

本実施例におけるショベル３０１の構成を図１４に示す。この構成では、カメラ５０１，５０２に加えて、ＬｉＤＡＲを設置し、その出力を物体検出部１１３への入力とする。前方ＬｉＤＡＲ１３０１及び後方ＬｉＤＡＲ１３０２を用いた検知処理は第４の実施例と同等である。本実施例ではさらに、前方カメラ５０１及び後方カメラ５０２にてショベル３０１の周囲を撮影している。この撮影内容に、ＬｉＤＡＲ出力を利用した物体検出結果を重ね、結果を記録装置１０９に記録する。この場合における表示装置１１０の表示は、図１５のようになる。重複領域８０２の発生を検出した時刻において、記録装置１０９に記録した映像を併せて表示する。

本実施例では、物体検出装置１１１は、対象物との距離情報を取得するＬｉＤＡＲ１３０１，１３０２であり、コントローラ１００は、ＬｉＤＡＲ１３０１，１３０２で取得した前記対象物の距離情報から車体３０１の距離情報を除外することにより物体５０５の距離情報を取得する。また、本実施例に係る建設機械向け稼働記録分析システムは、車体３０１の周囲を撮影するカメラ５０１，５０２を更に備え、コントローラ１００は、車体３０１と物体５０５とが近接していると判定した場合に、カメラ５０１，５０２がその判定時に撮影した映像を稼働情報に含めて出力する。

以上のように構成した本実施例によれば、重複領域８０２が発生した際に、発生の判定基準となった物体検出結果とともに、その周囲の状況を映像として表示することが可能となり、システム利用者は、どのような状況下で重複領域８０２が発生しているかを視認することが可能となる。システム利用者は、視認した内容をもとに、重複領域８０２の分析の重要度を把握し、以後の対応を迅速に実行することが可能となる。

以上、本発明の実施例について詳述したが、本発明は、上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成に他の実施例の構成の一部を加えることも可能であり、ある実施例の構成の一部を削除し、あるいは、他の実施例の一部と置き換えることも可能である。

１００…コントローラ、１０１…車体位置検出装置、１０２…車体姿勢検出装置、１０３…動作状態検出装置、１０４…作業位置取得部、１０５…動作状態取得部、１０６…作業内容推定部、１０７…稼働情報算出部、１０８…通信装置、１０９…記録装置、１１０…表示装置、１１１…物体検出装置、１１２…配置算出部、１１３…物体検出部、１１４…形状情報保持部、１１５…配置状態判定部、２０１～２１９…ステップ、３０１…ショベル（車体）、３０２…下部走行体、３０３…上部旋回体、３０４…ブーム、３０５…アーム、３０６…バケット、５０１…前方カメラ（物体検出装置）、５０２…後方カメラ（物体検出装置）、５０３…前方カメラ映像、５０４…後方カメラ映像、５０５…人物（物体）、６０１…差分領域、７０１…時刻ｔｉにおける人物（物体）、８０１…時刻ｔｉ＋１における人物（物体）、８０２…重複領域、８０３…人物移動範囲（物体移動範囲）、８０４…ショベル移動範囲（車体移動範囲）、１１０１…時刻ｔｉ＋１における差分領域、１２０１…時刻ｔｉ＋１におけるカメラ映像、１３０１…前方ＬｉＤＡＲ（物体検出装置）、１３０２…後方ＬｉＤＡＲ（物体検出装置）、１３０３…前方ＬｉＤＡＲ出力、１３０４…後方ＬｉＤＡＲ出力。

Claims (7)

1. 少なくともアーム、バケットを有するフロント作業機を備えた車体と、
   前記車体の位置を検出する車体位置検出装置と、
   前記車体の姿勢を検出する車体姿勢検出装置と、
   前記車体の動作状態を検出する動作状態検出装置と、
   前記車体位置検出装置および前記車体姿勢検出装置からの情報に基づいて前記車体の作業位置を算出し、前記作業位置および前記動作状態に基づいて前記車体の作業内容を推定し、前記作業位置および前記作業内容を含む稼働情報を算出するコントローラとを備えた建設機械向け稼働記録分析システムにおいて、
   前記車体の周囲に存在する物体を検出する物体検出装置を備え、
   前記コントローラは、
   前記物体検出装置からの情報に基づいて前記物体の位置を算出し、
   前記車体位置検出装置および前記車体姿勢検出装置からの情報と前記物体の位置とに基づいて前記車体と前記物体とが近接しているか否かを判定し、その判定結果を前記稼働情報に追加する
   ことを特徴とする建設機械向け稼働記録分析システム。
2. 請求項１に記載の建設機械向け稼働記録分析システムにおいて、
   前記物体検出装置は、前記車体の周囲を撮影するカメラであり、
   前記コントローラは、前記車体が前記カメラの撮像間隔内に移動する可能性のある車体移動範囲の少なくとも一部と前記物体が前記撮像間隔内に移動する可能性のある物体移動範囲の少なくとも一部とが重複した場合に、前記車体と前記物体とが近接していると判定する
   ことを特徴とする建設機械向け稼働記録分析システム。
3. 請求項２に記載の建設機械向け稼働記録分析システムにおいて、
   前記コントローラは、前記車体と前記物体とが近接していると判定した場合に、前記カメラがその判定時に撮影した映像において前記物体が前記撮像間隔内に移動した範囲を示す差分領域の情報を前記稼働情報に含めて出力する
   ことを特徴とする建設機械向け稼働記録分析システム。
4. 請求項２に記載の建設機械向け稼働記録分析システムにおいて、
   前記コントローラは、前記車体と前記物体とが近接していると判定した場合に、前記カメラがその判定時に撮影した映像を前記稼働情報に含めて出力する
   ことを特徴とする建設機械向け稼働記録分析システム。
5. 請求項１に記載の建設機械向け稼働記録分析システムにおいて、
   前記物体検出装置は、対象物との距離情報を取得するＬｉＤＡＲであり、
   前記コントローラは、前記ＬｉＤＡＲで取得した前記対象物の距離情報から前記車体の距離情報を除外することにより前記物体の距離情報を取得する
   ことを特徴とする建設機械向け稼働記録分析システム。
6. 請求項５に記載の建設機械向け稼働記録分析システムにおいて、
   前記車体の周囲を撮影するカメラを更に備え、
   前記コントローラは、前記車体と前記物体とが近接していると判定した場合に、前記カメラがその判定時に撮影した映像を前記稼働情報に含めて算出する
   ことを特徴とする建設機械向け稼働記録分析システム。
7. 請求項１に記載の建設機械向け稼働記録分析システムにおいて、
   前記稼働情報を送信する通信装置、前記稼働情報を記録する記録装置、および前記稼働情報を表示する表示装置を更に備えた
   ことを特徴とする建設機械向け稼働記録分析システム。

Images