JP2024005842A - 作業現場監視システム - Google Patents

Abstract

【課題】作業現場内の監視の精度を向上させることが可能な作業現場監視システムを提供することである。【解決手段】カメラ２の撮像結果に基づいて、侵入物を検出する処理を行う物体検出部５２と、ＬｉＤＡＲ３の撮像結果に基づいて、侵入物を検出する処理を、物体検出部５２よりも速い処理時間で行うクラスタリング部５４と、クラスタリング部５４の処理結果を所定時間遅延させる遅延処理部５７と、遅延されたクラスタリング部５４の処理結果に、物体検出部５２の処理結果を紐付ける紐付け部５８と、を有する。クラスタリング部５４は、侵入物の位置を検出する位置検出処理を行う位置検出手段である。クラスタリング部５４は、紐付け部５８による紐付けの後に、新たな撮像結果に基づいて位置検出処理を行う。紐付けの後のクラスタリング部５４の処理結果に基づいて、紐付けられた処理結果に含まれる侵入物の位置を更新する点群追跡部６０を有する。【選択図】図３

Description

本発明は、作業現場内を監視する作業現場監視システムに関する。

特許文献１には、ショベルが備える、互いの検出周期が異なる撮像装置および距離センサの各々の検出結果を合成する方法が開示されている。その方法では、撮像装置および距離センサのうち検出周期の長い撮像装置の検出結果に基づいて、その検出結果の検出タイミング以外のタイミングにおける撮像装置の検出結果を推定する。そして、撮像装置および距離センサの検出結果と、推定された結果とに基づいて、撮像装置の検出周期よりも短い周期で、撮像装置および距離センサの出力に基づく検出結果を合成している。

特開２０２１－１９７６６８号公報

しかしながら、特許文献１の合成方法では、推定された検出結果を用いているため、推定が誤っていたり、誤検出が発生したりすると、正確な情報を得ることができなくなる。特許文献１のように、検出結果を表示する場合には、推定された検出結果に誤りがあっても、それほど問題にはならないが、作業現場内を監視する場合には、推定された検出結果に誤りがあると、監視精度が低下し、作業機械に侵入物が衝突する危険性が高まるので、重大な問題となる。

本発明の目的は、作業現場内の監視の精度を向上させることが可能な作業現場監視システムを提供することである。

本発明は、侵入物を撮像する第１撮像装置および第２撮像装置と、前記第１撮像装置の撮像結果に基づいて、前記侵入物を検出する処理を行う低速処理手段と、前記第２撮像装置の撮像結果に基づいて、前記侵入物を検出する処理を、前記低速処理手段よりも速い処理時間で行う高速処理手段と、前記高速処理手段の処理結果を所定時間遅延させる遅延手段と、遅延された前記高速処理手段の処理結果に、前記低速処理手段の処理結果を紐付ける紐付け手段と、を有し、前記低速処理手段および前記高速処理手段の少なくとも一方は、前記侵入物の位置を検出する処理を行う位置検出手段であり、前記位置検出手段は、前記紐付け手段による紐付けの後に、新たな前記撮像結果に基づいて前記処理を行い、紐付けの後の前記位置検出手段の処理結果に基づいて、紐付けられた処理結果に含まれる前記侵入物の位置を更新する更新手段を有することを特徴とする。

本発明によると、高速処理手段の処理結果が所定時間だけ遅延される。その後、高速処理手段の処理結果に、低速処理手段の処理結果が紐付けされる。高速処理手段の処理結果を所定時間だけ遅延させることで、高速処理手段の処理結果に、低速処理手段の処理結果を好適に紐付けることができる。例えば、高速処理手段の処理結果が侵入物の位置を含み、低速処理手段の処理結果が侵入物の種類の情報を含む場合には、紐付けによって、侵入物の位置に侵入物の種類の情報を付加することができる。そして、紐付けの後に行われた位置検出手段の処理結果に基づいて、紐付けられた処理結果に含まれる侵入物の位置が更新される。紐付けの後に行われた位置検出手段の処理結果である侵入物の位置に基づいて、紐付けられた処理結果に含まれる侵入物の位置を更新していくことで、侵入物を好適に追跡することができる。例えば、紐付けによって、侵入物の位置に侵入物の種類の情報が付加されている場合には、侵入物の種類の情報はそのままで、侵入物の位置のみを更新することで、同一の侵入物を好適に追跡することができる。特許文献１のように、推定した検出結果を用いた場合、侵入物を誤検出したり、追跡の途中で侵入物の種類が入れ替わったりする恐れがある。これに対して、推定した検出結果を用いないので、侵入物を誤検出しにくいとともに、同一の侵入物を追跡することができる。よって、作業現場内の監視の精度を向上させることができる。

作業現場監視システムの構成図である。 作業機械の側面図である。 作業現場監視システムおよび作業機械の回路構成を示す図である。 携帯端末のディスプレイの表示画面を示す図である。 監視制御処理のフローチャートである。

以下、本発明の好適な実施の形態について、図面を参照しつつ説明する。

（作業現場監視システムの構成）
本発明の実施形態による作業現場監視システムは、作業現場内を監視するものである。作業現場監視システム１の構成図である図１に示すように、作業現場監視システム１は、カメラ２と、ＬｉＤＡＲ３と、携帯端末４と、警報装置７と、を有している。

カメラ（第１撮像装置）２は、作業現場を撮像する。カメラ２は、作業現場内の作業機械２０および侵入物（ダンプカー９１、作業者９２など）を撮像する。カメラ２は、作業現場に複数台設けられていてよい。作業現場内では、作業機械２０が作業を行っている。この作業機械２０は、オペレータが搭乗した作業機械２０であってもよいし、遠隔操縦される作業機械２０であってもよいし、自動運転される作業機械２０であってもよい。侵入物には、作業機械２０とは別の作業機械が含まれる。なお、第１撮像装置はカメラ２に限定されない。

ＬｉＤＡＲ（Light Detection and RangingまたはLaser Imaging Detection and Ranging）（第２撮像装置）３もまた、作業現場を撮像する。ＬｉＤＡＲ３は、作業現場内の作業機械２０および侵入物（ダンプカー９１、作業者９２など）を撮像する。ＬｉＤＡＲ３が撮像する侵入物は、カメラ２が撮像する侵入物と同一である。ＬｉＤＡＲ３は、ＬｉＤＡＲ３が取り付けられている位置から作業現場内の物体（作業機械２０や侵入物）までの距離を示す点群データを取得する。ＬｉＤＡＲ３は、作業現場に複数台設けられていてよい。なお、第２撮像装置はＬｉＤＡＲ３に限定されない。ＬｉＤＡＲ３の代わりに、ステレオカメラやＴＯＦ（Time Of Flight）センサなどを用いてもよい。

携帯端末４は、作業現場にいる作業者により操作される端末であり、例えばタブレット端末である。なお、携帯端末４は、スマートフォン等であってもよい。

警報装置７は、警報を発することが可能である。具体的には、警報装置７は、ランプおよびスピーカを備え、ランプの点灯や、スピーカからの警告音の発生によって、作業現場内にいる作業者などに警告を行う。

（作業機械の構成）
作業機械２０の側面図である図２に示すように、作業機械２０は、アタッチメント３０で作業を行う機械であり、例えば油圧ショベルである。作業機械２０は、下部走行体２１と上部旋回体２２とを備えた機械本体２４と、アタッチメント３０と、シリンダ４０と、を有している。

下部走行体２１は、作業機械２０を走行させる部分であり、例えばクローラを備える。上部旋回体２２は、下部走行体２１の上部に旋回装置２５を介して旋回可能に取り付けられる。上部旋回体２２の前部には、キャブ（運転室）２３が設けられている。

アタッチメント３０は、上下方向に回動可能に上部旋回体２２に取り付けられる。アタッチメント３０は、ブーム３１と、アーム３２と、バケット３３と、を備える。ブーム３１は、上下方向に回動可能（起伏可能）に上部旋回体２２に取り付けられる。アーム３２は、上下方向に回動可能にブーム３１に取り付けられる。バケット３３は、前後方向に回動可能にアーム３２に取り付けられる。バケット３３は、土砂（運搬物）の、掘削、均し、すくい、などの作業を行う部分である。なお、バケット３３が保持する運搬物は、土砂に限定されず、石でもよく、廃棄物（産業廃棄物など）でもよい。

シリンダ４０は、アタッチメント３０を油圧で回動させることが可能である。シリンダ４０は、油圧式の伸縮シリンダである。シリンダ４０は、ブームシリンダ４１と、アームシリンダ４２と、バケットシリンダ４３と、を備える。

ブームシリンダ４１は、上部旋回体２２に対してブーム３１を回動させる。ブームシリンダ４１の基端部は、上部旋回体２２に回動可能に取り付けられる。ブームシリンダ４１の先端部は、ブーム３１に回動可能に取り付けられる。

アームシリンダ４２は、ブーム３１に対してアーム３２を回動させる。アームシリンダ４２の基端部は、ブーム３１に回動可能に取り付けられる。アームシリンダ４２の先端部は、アーム３２に回動可能に取り付けられる。

バケットシリンダ４３は、アーム３２に対してバケット３３を回動させる。バケットシリンダ４３の基端部は、アーム３２に回動可能に取り付けられる。バケットシリンダ４３の先端部は、バケット３３に回動可能に取り付けられたリンク部材３４に、回動可能に取り付けられる。

（作業現場監視システムおよび作業機械の回路構成）
作業現場監視システム１および作業機械２０の回路構成を示す図である図３に示すように、作業機械２０は、作業機械側コントローラ８１と、作業機械側通信装置８３と、を有している。

作業機械側コントローラ８１は、アタッチメント３０および旋回装置２５の動作を制御することが可能である。具体的には、作業機械側コントローラ８１は、アタッチメント３０および旋回装置２５の動作を制限したり停止させたりすることが可能である。

作業機械側通信装置８３は、作業現場監視システム１の後述する通信装置８と通信可能である。

作業現場監視システム１は、携帯端末４と、コントローラ５と、記憶装置６と、警報装置７と、通信装置８と、を備える。通信装置８は、作業機械２０の作業機械側通信装置８３と通信可能である。

携帯端末４は、通信装置８と通信を行う。携帯端末４は、ディスプレイを有している。

コントローラ５は、画像前処理部５１と、物体検出部５２と、点群前処理部５３と、クラスタリング部５４と、領域設定部５５と、計測部５６と、遅延処理部５７と、紐付け部５８と、点群追跡部６０と、侵入判定部６１と、記憶制御部６２と、対策部６３と、を有している。

画像前処理部５１は、カメラ２が撮像した画像（カメラ２の撮像結果）を前処理する。この前処理は、物体検出部５２において作業機械２０および侵入物の検出精度を向上させるための処理であり、例えば、ノイズの除去やコントラスト調整などである。

物体検出部（低速処理手段）５２は、画像前処理部５１で前処理された画像に基づいて、作業現場内の作業機械２０および侵入物（ダンプカー９１、作業者９２など）を検出する処理を行う。作業機械２０および侵入物の検出には、ディープラーニング技術などを用いてよい。物体検出部５２により、侵入物の種類（ダンプカー９１、作業者９２など）が特定される。

点群前処理部５３は、ＬｉＤＡＲ３が撮像した点群データ（ＬｉＤＡＲ３の撮像結果）を前処理する。この前処理は、クラスタリング部５４において点群データをクラスタリングしやすくするための処理であり、例えば、ノイズの除去である。

クラスタリング部（高速処理手段、位置検出手段）５４は、前処理された点群データに基づいて、作業現場内の作業機械２０および侵入物（ダンプカー９１、作業者９２など）を検出する処理を行う。本実施形態において、クラスタリング部５４が行う処理は、作業機械２０および侵入物の位置を検出する位置検出処理である。

具体的には、クラスタリング部５４は、作業現場内の点群データをクラスタリングする。クラスタリングされた点群データの塊を、クラスタ点群という。クラスタ点群には、作業機械２０に対応するものや、侵入物に対応するものがある。クラスタリング部５４は、ＬｉＤＡＲ３が取り付けられているグローバル座標系の位置（座標）と、ＬｉＤＡＲ３から点群データの各点までの距離とを用いて、グローバル座標系におけるクラスタ点群の位置（三次元座標）を算出する。

ここで、カメラ２やＬｉＤＡＲ３が取り付けられているグローバル座標系の位置は、ＧＮＳＳセンサなどの測位センサや、トータルステーションなどの測距センサにより取得される。

領域設定部（内側領域設定手段）５５は、作業現場内の作業機械２０の周囲に作業領域（内側領域）を設定する。図１に示すように、作業領域７１は、作業機械２０の位置を中心とする円形の領域である。なお、作業領域７１の形状は、楕円形や矩形であってもよい。この作業領域７１は、作業機械２０が作業を行う領域であるが、後述するように、作業領域７１においても侵入物の監視が行われる。

また、領域設定部（外側領域設定手段）５５は、作業領域７１の周囲に監視領域（外側領域）を設定する。図１に示すように、監視領域７２は、作業機械２０の位置を中心とする円形の領域である。なお、監視領域７２の形状は、楕円形や矩形であってもよい。この監視領域７２は、侵入物の監視が行われる領域であるが、監視領域７２において作業機械２０による作業が行われてもよい。

なお、領域設定部５５による作業領域７１および監視領域７２の設定は、紐付け部５８によって特定された作業機械２０の位置に基づいて行われる。紐付け部５８については後述する。

ここで、クラスタリング部５４での処理時間は、物体検出部５２での処理時間と異なる。本実施形態において、クラスタリング部５４での処理時間は、物体検出部５２での処理時間よりも速い（短い）。なお、クラスタリング部５４での処理時間は、物体検出部５２での処理時間よりも遅く（長く）てもよい。つまり、クラスタリング部５４が低速処理手段であり、物体検出部５２が高速処理手段であってもよい。

そこで、計測部（計測手段）５６は、物体検出部（低速処理手段）５２の処理時間を計測する。遅延処理部（遅延手段）５７は、クラスタリング部（高速処理手段）５４の処理結果を所定時間だけ遅延させる。ここで、遅延処理部（算出手段）５７は、クラスタリング部５４の処理時間に所定時間を追加した時間が、計測部５６が計測した処理時間となるように、所定時間を算出し、この所定時間だけクラスタリング部５４の処理結果を遅延させる。

紐付け部（紐付け手段）５８は、遅延処理部５７による処理の後に、クラスタリング部５４の処理結果に、物体検出部５２の処理結果を紐付ける。遅延処理部５７によって上記のように算出された所定時間だけ、クラスタリング部５４の処理結果を遅延させることで、クラスタリング部５４の処理結果に、物体検出部５２の処理結果を好適に紐付けすることができる。

上記のように、物体検出部５２では、作業機械２０および侵入物を検出でき、侵入物の種類も特定できるが、これらの位置がわからない。一方、上記のように、クラスタリング部５４では、作業機械２０および侵入物をクラスタ点群として検出でき、クラスタ点群の位置も特定できるが、クラスタ点群が具体的に何であるのかがわからない。

そこで、紐付け部５８は、クラスタ点群の三次元座標を透視投影変換して、クラスタ点群の二次元座標を取得する。そして、紐付け部５８は、カメラ２が撮像した二次元の画像に、クラスタ点群の二次元座標を重畳させる。そして、紐付け部５８は、物体検出部５２が検出した作業機械２０および侵入物に重なるクラスタ点群の三次元座標から、作業機械２０および侵入物の各々の位置を三次元で取得する。その結果、紐付け部５８により紐付けられた処理結果は、侵入物の種類および侵入物の位置の情報を有している。紐付け部５８により紐付けられた処理結果は、具体的には、ダンプカー９１や作業者９２というラベルが貼られたクラスタ点群である。

クラスタリング部（位置検出手段）５４は、紐付け部５８による紐付けの後に、新たな撮像結果に基づいて位置検出処理を行う。点群追跡部（更新手段）６０は、紐付け部５８による紐付けの後のクラスタリング部５４の処理結果に基づいて、紐付け部５８により紐付けられた処理結果に含まれる侵入物の位置を更新する。上述のように、紐付けられた処理結果は、侵入物の位置の情報を含んでいる。紐付け部５８による紐付けの後に行われたクラスタリング部５４での位置検出処理の処理結果もまた、侵入物の位置の情報を含んでいる。２つの位置情報の差分を取ることで、侵入物を好適に追跡（トラッキング）することができる。つまり、ダンプカー９１や作業者９２というラベルはそのままで、そのラベルが貼られたクラスタ点群の位置のみを更新することで、同一の侵入物を好適に追跡することができる。

特許文献１のように、推定した検出結果を用いた場合、侵入物を誤検出したり、追跡の途中で侵入物の種類が入れ替わったりする恐れがある。これに対して、本実施形態では、推定した検出結果を用いないので、侵入物を誤検出しにくいとともに、同一の侵入物を追跡することができる。よって、作業現場内の監視の精度を向上させることができる。

ここで、本実施形態において、クラスタリング部５４での処理時間は、物体検出部５２での処理時間よりも速い（短い）。紐付けの後に行われたクラスタリング部５４の処理結果に基づいて、紐付けられた処理結果に含まれる侵入物の位置が更新される。よって、クラスタリング部５４での処理時間が、物体検出部５２での処理時間よりも遅い場合に比べて、侵入物を高速で追跡することができる。

なお、追跡していた侵入物が途中で不明になった場合には、再度、クラスタリング部５４の処理結果に、物体検出部５２の処理結果が紐付けられて、追跡が再開される。

ここで、遅延処理部５７による所定時間の遅延と、紐付け部５８による紐付けとは、監視領域７２内に侵入物が位置しているときに行われる。作業領域７１よりも外側の監視領域７２において、２つの処理結果を紐付けることで、侵入物が作業領域７１内に侵入する前に、侵入物の追跡を開始することができる。よって、侵入物が作業領域７１内に侵入する前に、侵入物に対する対策を行い易くできる。これにより、作業機械２０に侵入物が衝突するのを回避しやすくできる。

侵入判定部６１は、侵入物がどの領域内に位置しているかを判定する。具体的には、侵入判定部６１は、ダンプカー９１や作業者９２というラベルが貼られたクラスタ点群が、作業領域７１内や監視領域７２内に位置しているのかを判定する。

ここで、侵入物の中には、作業機械２０によって土砂が積み込まれるダンプカー９１や、このダンプカー９１を作業機械２０の側まで誘導する作業者９２のように、作業機械２０の側まで近寄る必要があるものが存在する。このようなダンプカー９１や作業者９２は、物体検出部５２により特定されて、作業領域７１内への侵入が許容される。一方、作業領域７１の側を通りかかるだけのダンプカー９１や作業者９２などは、基本的に、監視対象とされる。

記憶制御部６２は、作業領域７１内への侵入が許容されない侵入物（クラスタ点群）が監視領域７２内に侵入したときに、記憶装置６への記憶を開始させる。記憶制御部６２は、このような侵入物が監視領域７２外に去った場合に、記憶装置６への記憶を停止させる。記憶装置６に記憶される内容は、例えば、クラスタ点群や画像の情報、クラスタ点群の軌跡などの情報、タイムスタンプなどである。記憶装置６に記憶された内容は、後の分析に使用される。

対策部（対策手段）６３は、警告および作業機械２０の動作制限を行うことが可能である。対策部６３は、点群追跡部６０により更新される処理結果に含まれる侵入物の位置が監視領域７２内である場合に、警告を行う。具体的には、警報装置７のランプが例えば黄色で点灯され、警報装置７のスピーカから警告音が発生される。また、対策部６３は、点群追跡部６０により更新される処理結果に含まれる侵入物の位置が作業領域７１内である場合に、警告および作業機械２０の動作制限を行う。具体的には、警報装置７のランプが例えば赤色で点灯され、警報装置７のスピーカから警告音が発生される。また、通信装置８を介して作業機械２０に動作制限指示が送信される。作業機械２０の作業機械側コントローラ８１は、動作制限指示を受け取ると、アタッチメント３０および旋回装置２５の動作を制限したり停止させたりする。

このように、監視領域７２内に侵入物が位置している場合に、警告が行われる。これにより、作業機械２０に接近する侵入物があることを、作業現場にいる作業者などに認識させることができる。また、作業領域７１内に侵入物が位置している場合に、作業機械２０の動作制限が行われる。これにより、作業機械２０に侵入物が衝突する可能性を低減させることができる。

また、対策部６３は、作業現場内の作業機械２０の画像および位置を、携帯端末４に送信する。また、対策部６３は、侵入物の画像および位置、侵入物の種類に関する情報、侵入物の軌跡などを、携帯端末４に送信する。携帯端末４のディスプレイ（表示装置）は、作業領域７１、監視領域７２、作業機械２０（作業機械２０の位置および画像）、および、侵入物９０（侵入物９０の位置）を表示する。また、携帯端末４のディスプレイは、侵入物の種類や侵入物の軌跡、作業機械２０と侵入物との距離などを表示する。携帯端末４のディスプレイの表示画面を図４に示す。図４では、作業機械２０と侵入物９０とが三次元で表示されているが、二次元で表示されてもよい。

作業現場にいる作業者などは、携帯端末４のディスプレイを見ることで、侵入物９０がどの辺にいるのかを把握することができる。

なお、携帯端末４のディスプレイだけでなく、作業機械２０のキャブ２３内に設けられた表示器や、作業機械２０を遠隔操縦するコクピットの画面などに、同様の内容が表示されてもよい。

（作業現場監視システムの動作）
次に、監視制御処理のフローチャートである図５を参照して、作業現場監視システム１の動作を説明する。

まず、作業現場監視システム１のコントローラ５の領域設定部５５は、作業機械２０の周囲に作業領域７１を設定するとともに、作業領域７１の周囲に監視領域７２を設定する（ステップＳ１）。なお、これらの設定は、後述するステップＳ２よりも前のタイミングで取り込まれた点群データ、および、後述するステップＳ８よりも前のタイミングで取り込まれた画像に基づいて行われる。

次に、コントローラ５の点群前処理部５３は、ＬｉＤＡＲ３が撮像した点群データを取り込み（ステップＳ２）、点群データを前処理する（ステップＳ３）。次に、コントローラ５のクラスタリング部５４は、作業現場内の点群データをクラスタリングし、クラスタ点群の位置を取得する（ステップＳ４）。

次に、コントローラ５の記憶制御部６２は、クラスタ点群が監視領域７２内にあるか否かを判定する（ステップＳ５）。ステップＳ５において、クラスタ点群が監視領域７２内にないと判定した場合には（Ｓ５：ＮＯ）、コントローラ５の記憶制御部６２は、ステップＳ２に戻る。一方、ステップＳ５において、クラスタ点群が監視領域７２内にあると判定した場合には（Ｓ５：ＹＥＳ）、コントローラ５の記憶制御部６２は、クラスタ点群の記憶装置６への記憶を開始させる（ステップＳ６）。次に、コントローラ５の遅延処理部５７は、クラスタリング部５４の処理結果を所定時間だけ遅延させる（ステップＳ７）。

コントローラ５は、上記のステップＳ２～Ｓ７と並行して、ステップＳ８～Ｓ１０を行う。コントローラ５の画像前処理部５１は、カメラ２が撮像した画像を取り込み（ステップＳ８）、画像を前処理する（ステップＳ９）。次に、コントローラ５の物体検出部５２は、作業現場内の作業機械２０および侵入物を検出する（ステップＳ１０）。

ステップＳ７およびステップＳ１０の後に、コントローラ５の紐付け部５８は、クラスタリング部５４の処理結果に、物体検出部５２の処理結果を紐付けることが可能か否かを判定する（ステップＳ１１）。例えば、ステップＳ５において、クラスタ点群が監視領域７２内にない場合には（Ｓ５：ＮＯ）、物体検出部５２の処理結果を紐付ける対象である、クラスタリング部５４の処理結果が存在しない。このような場合（Ｓ１１：ＮＯ）、コントローラ５の紐付け部５８は、ステップＳ２に戻る。一方、ステップＳ１１において、クラスタリング部５４の処理結果に、物体検出部５２の処理結果を紐付けることが可能である場合には（Ｓ１１：ＹＥＳ）、コントローラ５の紐付け部５８は、クラスタリング部５４の処理結果に、物体検出部５２の処理結果を紐付ける（ステップＳ１２）。紐付け部５８により紐付けられた処理結果は、具体的には、ダンプカー９１や作業者９２というラベルが貼られたクラスタ点群である。この処理結果には、侵入物の位置が含まれる。

次に、コントローラ５の点群前処理部５３は、ＬｉＤＡＲ３が撮像した点群データを取り込み（ステップＳ１３）、点群データを前処理する（ステップＳ１４）。次に、コントローラ５のクラスタリング部５４は、作業現場内の点群データをクラスタリングし、クラスタ点群の位置を取得する（ステップＳ１５）。

次に、コントローラ５の点群追跡部６０は、ステップＳ１５で取得されたクラスタ点群の位置に基づいて、紐付けられた処理結果に含まれる侵入物の位置を更新することで、侵入物をトラッキングする（ステップＳ１６）。

次に、コントローラ５の侵入判定部６１は、更新された処理結果に含まれる侵入物の位置が監視領域７２内であるか否かを判定する（ステップＳ１７）。ステップＳ１７において、更新された処理結果に含まれる侵入物の位置が監視領域７２内であると判定した場合には（Ｓ１７：ＹＥＳ）、コントローラ５の対策部６３は、警告を行う（ステップＳ１８）。具体的には、警報装置７のランプを黄色で点灯させ、警報装置７のスピーカから警告音を発生させる。そして、コントローラ５の対策部６３は、携帯端末４のディスプレイに、作業機械２０と侵入物９０とを表示させ（ステップＳ１９）、ステップＳ１３に戻る。

一方、ステップＳ１７において、更新された処理結果に含まれる侵入物の位置が監視領域７２内でないと判定した場合には（Ｓ１７：ＮＯ）、コントローラ５の侵入判定部６１は、更新された処理結果に含まれる侵入物の位置が作業領域７１内であるか否かを判定する（ステップＳ２０）。ステップＳ２０において、更新された処理結果に含まれる侵入物の位置が作業領域７１内であると判定した場合には（Ｓ２０：ＹＥＳ）、コントローラ５の対策部６３は、警告を行う（ステップＳ２１）。具体的には、警報装置７のランプを赤色で点灯させ、警報装置７のスピーカから警告音を発生させる。また、コントローラ５の対策部６３は、作業機械２０の動作制限を行う（ステップＳ２２）。具体的には、通信装置８を介して作業機械２０に動作制限指示を送信する。そして、コントローラ５の対策部６３は、携帯端末４のディスプレイに、作業機械２０と侵入物９０とを表示させ（ステップＳ１９）、ステップＳ１３に戻る。

一方、ステップＳ２０において、更新された処理結果に含まれる侵入物の位置が作業領域７１内でないと判定した場合には（Ｓ２０：ＮＯ）、コントローラ５の記憶制御部６２は、クラスタ点群の記憶装置６への記憶を停止する（ステップＳ２３）。そして、本フローを終了する。

（効果）
以上に述べたように、本実施形態に係る作業現場監視システム１によれば、クラスタリング部（高速処理手段）５４の処理結果が所定時間だけ遅延される。その後、クラスタリング部５４の処理結果に、物体検出部（低速処理手段）５２の処理結果が紐付けされる。クラスタリング部５４の処理結果を所定時間だけ遅延させることで、クラスタリング部５４の処理結果に、物体検出部５２の処理結果を好適に紐付けることができる。例えば、クラスタリング部５４の処理結果が侵入物の位置を含み、物体検出部５２の処理結果が侵入物の種類の情報を含む場合には、紐付けによって、侵入物の位置に侵入物の種類の情報を付加することができる。そして、紐付けの後に行われたクラスタリング部（位置検出手段）５４の処理結果に基づいて、紐付けられた処理結果に含まれる侵入物の位置が更新される。紐付けの後に行われたクラスタリング部５４の処理結果である侵入物の位置に基づいて、紐付けられた処理結果に含まれる侵入物の位置を更新していくことで、侵入物を好適に追跡することができる。例えば、紐付けによって、侵入物の位置に侵入物の種類の情報が付加されている場合には、侵入物の種類の情報はそのままで、侵入物の位置のみを更新することで、同一の侵入物を好適に追跡することができる。特許文献１のように、推定した検出結果を用いた場合、侵入物を誤検出したり、追跡の途中で侵入物の種類が入れ替わったりする恐れがある。これに対して、推定した検出結果を用いないので、侵入物を誤検出しにくいとともに、同一の侵入物を追跡することができる。よって、作業現場内の監視の精度を向上させることができる。

また、クラスタリング部（高速処理手段、位置検出手段）５４での処理時間は、物体検出部（低速処理手段）５２での処理時間よりも速い（短い）。紐付けの後に行われたクラスタリング部５４の処理結果に基づいて、紐付けられた処理結果に含まれる侵入物の位置が更新される。よって、クラスタリング部５４での処理時間が、物体検出部５２での処理時間よりも遅い場合に比べて、侵入物を高速で追跡することができる。

また、物体検出部（低速処理手段）５２の処理時間が計測され、クラスタリング部（高速処理手段）５４の処理時間に所定時間を追加した時間が、計測された物体検出部５２の処理時間となるように、所定時間が算出される。このようにして算出された所定時間を、クラスタリング部５４の処理時間に追加することで、クラスタリング部５４の処理結果に、物体検出部５２の処理結果を好適に紐付けることができる。

また、監視領域７２内に侵入物が位置しているときに、遅延処理部（遅延手段）５７による所定時間の遅延と、紐付け部（紐付け手段）５８による紐付けと、が行われる。作業領域７１よりも外側の監視領域７２において、２つの処理結果を紐付けることで、侵入物が作業領域７１内に侵入する前に、侵入物の追跡を開始することができる。よって、侵入物が作業領域７１内に侵入する前に、侵入物に対する対策を行い易くできる。これにより、作業機械２０に侵入物が衝突するのを回避しやすくできる。

また、監視領域７２内に侵入物が位置している場合に、警告が行われる。これにより、作業機械２０に接近する侵入物があることを、作業現場にいる作業者などに認識させることができる。また、作業領域７１内に侵入物が位置している場合に、作業機械２０の動作制限が行われる。これにより、作業機械２０に侵入物が衝突する可能性を低減させることができる。

また、点群追跡部（更新手段）６０により更新される処理結果に含まれる侵入物の位置が携帯端末４のディスプレイに表示される。作業現場にいる作業者などは、携帯端末４のディスプレイを見ることで、侵入物がどの辺にいるのかを把握することができる。

以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、具体的構成などは、適宜設計変更可能である。また、発明の実施の形態に記載された、作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明による作用及び効果は、本発明の実施の形態に記載されたものに限定されるものではない。

１ 作業現場監視システム
２ カメラ（第１撮像装置）
３ ＬｉＤＡＲ（第２撮像装置）
４ 携帯端末
５ コントローラ
６ 記憶装置
７ 警報装置
８ 通信装置
２０ 作業機械
２１ 下部走行体
２２ 上部旋回体
２３ キャブ
２４ 機械本体
２５ 旋回装置
３０ アタッチメント
３１ ブーム
３２ アーム
３３ バケット
３４ リンク部材
４０ シリンダ
４１ ブームシリンダ
４２ アームシリンダ
４３ バケットシリンダ
５１ 画像前処理部
５２ 物体検出部（低速処理手段）
５３ 点群前処理部
５４ クラスタリング部（高速処理手段、位置検出手段）
５５ 領域設定部（内側領域設定手段、外側領域設定手段）
５６ 計測部（計測手段）
５７ 遅延処理部（遅延手段、算出手段）
５８ 紐付け部（紐付け手段）
６０ 点群追跡部（更新手段）
６１ 侵入判定部
６２ 記憶制御部
６３ 対策部（対策手段）
７１ 作業領域（内側領域）
７２ 監視領域（外側領域）
８１ 作業機械側コントローラ
８３ 作業機械側通信装置
９０ 侵入物
９１ ダンプカー
９２ 作業者

Claims (6)

1. 侵入物を撮像する第１撮像装置および第２撮像装置と、
   前記第１撮像装置の撮像結果に基づいて、前記侵入物を検出する処理を行う低速処理手段と、
   前記第２撮像装置の撮像結果に基づいて、前記侵入物を検出する処理を、前記低速処理手段よりも速い処理時間で行う高速処理手段と、
   前記高速処理手段の処理結果を所定時間遅延させる遅延手段と、
   遅延された前記高速処理手段の処理結果に、前記低速処理手段の処理結果を紐付ける紐付け手段と、
   を有し、
   前記低速処理手段および前記高速処理手段の少なくとも一方は、前記侵入物の位置を検出する処理を行う位置検出手段であり、
   前記位置検出手段は、前記紐付け手段による紐付けの後に、新たな前記撮像結果に基づいて前記処理を行い、
   紐付けの後の前記位置検出手段の処理結果に基づいて、紐付けられた処理結果に含まれる前記侵入物の位置を更新する更新手段を有することを特徴とする作業現場監視システム。
2. 前記位置検出手段は、前記高速処理手段であることを特徴とする請求項１に記載の作業現場監視システム。
3. 前記低速処理手段の前記処理時間を計測する計測手段と、
   前記高速処理手段の前記処理時間に前記所定時間を追加した時間が、前記計測手段が計測した前記低速処理手段の前記処理時間となるように、前記所定時間を算出する算出手段と、
   を有することを特徴とする請求項１又は２に記載の作業現場監視システム。
4. 前記作業現場内の作業機械の周囲に内側領域を設定する内側領域設定手段と、
   前記内側領域の周囲に外側領域を設定する外側領域設定手段と、
   を有し、
   前記外側領域内に前記侵入物が位置しているときに、前記遅延手段による前記所定時間の遅延と、前記紐付け手段による紐付けと、が行われることを特徴とする請求項１又は２に記載の作業現場監視システム。
5. 警告および前記作業機械の動作制限を行うことが可能な対策手段を有し、
   前記対策手段は、前記更新手段により更新される前記処理結果に含まれる前記侵入物の位置が前記外側領域内である場合に、警告を行い、前記更新手段により更新される前記処理結果に含まれる前記侵入物の位置が前記内側領域内である場合に、前記作業機械の動作制限を行うことを特徴とする請求項４に記載の作業現場監視システム。
6. 前記更新手段により更新される前記処理結果に含まれる前記侵入物の位置を表示する表示装置を有することを特徴とする請求項１又は２に記載の作業現場監視システム。

Images