JP7598516B2 - 物体検知システム - Google Patents

Description

本発明は、建設機械の稼働現場に適用される物体検知システムに関する。

建設機械において、例えば特許文献１に開示されているように、車体周囲の物体や人を検知するセンサを搭載して、センサが車体の至近距離に人や物体を検知した際にオペレータに警告を出したり、それによって車体の動きを制限したりする機能が搭載されている。

さらに、人や物体を検知した方向、場所、時刻、その時の操作等の情報を蓄積することで、現場管理者向けにヒヤリハットの傾向をレポート形式で出力することも可能となっている。

特許第６８０５８８３号公報

しかしながら、車体が周囲の物体を検知したという単独の情報では、その現場で起こっていたヒヤリハット事象を想像しづらく、改善方法の具体的な提案が困難である。本発明は、建設機械の稼働現場のどこでどのような状況でヒヤリハットが発生したかを容易に把握することが可能な建設機械の物体検知システムを提供することを目的とする。

上記課題を解決するために、本発明に係る物体検知システムは、複数の建設機械の車体に取り付けられた物体検知センサが物体を検知したことを示す検知データ、及び車体の位置情報を受信する通信部と、複数の建設機械の少なくとも位置情報を記録する記録部と、検知データ及び位置情報に基づいて、集計期間内に複数の建設機械の物体検知センサが物体を検知したときの車体位置を統合し、物体が検知された位置の頻度である検知場所の密度を所定の範囲の分布密度として外部モニタに出力する検知結果出力部と、を有する。

上記構成によって、車体が周囲の物体等を検知したという単独の情報と比べ、物体等を検知した位置及びその頻度を外部モニタ上に模式的かつ視覚的に表示させることが可能になる。ゆえに、現場のどこでどのような状況でヒヤリハットが発生したかを容易に把握することが可能になり、現場管理者が安全面の改善を提案することが容易になる。

本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

カメラ及び物体検知センサを有する建設機械の構造を示す図。 建設機械が有するカメラ及び物体検知センサの機能構成を示すブロック図。 サーバに実装された、物体検知システムの機能ブロック図。 建設機械のカメラが撮影した動画データを記録装置に保存する処理を示すフローチャート。 建設機械から物体検知システムにデータを送信する処理を示すフローチャート。 外部モニタに表示されるレポート画面の一例。 分布密度ウィンドウ上の物体検知位置と関連付けられた動画リスト画面の一例。 図７の動画一覧中の１つの動画を再生した画面の一例。

以下、本発明の実施例を図面に基づいて説明する。

図１に、本発明が適用される、カメラ及び物体検知センサを有する建設機械１００を示す。

建設機械１００には、原動機としてのエンジン１と、エンジン１によって駆動されるメインポンプ２が搭載されており、メインポンプ２によって送られた作動油によって下部走行体３と上部旋回体４とフロント装置５とがそれぞれ独立して動作する。

下部走行体３は一対の履帯６（図１では片側のみを示す）を走行油圧モータ７で駆動制御する。

上部旋回体４は下部走行体３に対して旋回可能に設けられ、旋回油圧モータ８を回転させることで上部旋回体４を駆動制御する。

フロント装置５は上部旋回体４上に搭載されており、ブーム９、ブーム９を駆動するためのブームシリンダ１０、アーム１１、アーム１１を駆動させるためのアームシリンダ１２、バケット１３、及びバケット１３を駆動させるためのバケットシリンダ１４から構成されている。各シリンダはメインポンプ２から送られる作動油によって伸縮し、上部旋回体４、ブーム９の回転軸１５、ブーム９、アーム１１の回転軸１６、アーム１１、及びバケット１３の回転軸１７をそれぞれ駆動させることで掘削や整地等の作業を行う。

図２は、建設機械１００に搭載されたカメラ及び物体検知センサの機能構成を示すブロック図である。

建設機械１００の運転席外部には、周囲監視用のカメラ１８及び物体検知センサ１９が複数搭載されており、運転席内部には、モニタ制御コントローラ２０、車体制御コントローラ２１、モニタ２２、及び記録装置２３が搭載されている。

各コントローラと記録装置２３とはＣＡＮ等の車載ネットワーク２４で相互に通信を行うことができる。カメラ１８はモニタ制御コントローラ２０に、物体検知センサ１９は車体制御コントローラ２１に接続されている。モニタ制御コントローラ２０はカメラ１８から入力された周囲映像を合成し、各カメラ１８の映像が分割された映像もしくは隣りあったカメラ１８の境界をブレンドしたサラウンドビューとしてモニタ２２に出力する。モニタ２２は入力された合成映像を表示し、さらにモニタ２２が表示している映像を記録装置２３に出力する。

記録装置２３には通信端末２５が接続されており、入力されたモニタ２２の映像と車載ネットワーク２４に流れる車体情報を保存し、通信端末２５でインターネットへ接続し、サーバ２６へのアップロードとサーバ２６から記録装置２３へのアクセスの双方を可能にする。また、通信端末２５は不図示のＧＰＳから位置情報を取得する。

車体制御コントローラ２１は、車載ネットワーク２４を介して記録装置２３へ録画の物体検知センサ１９の検知信号を送信する。記録装置２３は、検知信号を受け取ると、予め設定された期間分だけ検知前後の映像と車体データを保存する。さらに、通信端末２５が取得した物体検知時の車体位置も同時に保存し、映像、車体データと紐付ける。なお、ここでいう車体データとは、エンジン回転数、各種レバーの入力値、位置情報、時刻等、建設機械に設けられるセンサなどから得られる稼働情報を含むものである。

車体制御コントローラ２１はまた、機械の油圧制御を行うコントローラで、オペレータが操作する旋回レバー２７の操作量と走行レバー２８の操作量を取得している。また、車体の操作を許可または禁止するゲートロック装置２９のロックおよびロック解除の状態も取得している。

図３は、サーバ２６に実装される、物体検知システムの機能構成を示すブロック図である。なお、以下では、物体検知システムを単に「システム」と呼称する。

システムは、通信部３０、動画処理部３１、検知結果出力部３２、カメラ制御部３３、及び記録部３４を有する。通信部３０は、ネットワーク３９を介して建設機械１００側の通信端末２５との間のデータ送受信を行う。

動画処理部３１は、通信部３０が受信した、建設機械１００のカメラ１８が撮影した動画を処理し、必要に応じて保存し、検知結果出力部３２へと送信する。

検知結果出力部３２は、通信部３０が検知データを受信したことに応じて、該検知データに対応する物体の検知位置を記録し、その蓄積によって、物体を検知した位置及び頻度を示す分布密度を演算する。また、ネットワーク３９を介して接続されている外部モニタ４０に上記位置及び頻度を示す分布密度情報を出力し、表示させる。この位置及び頻度を示す分布密度の表示については後に詳述する。

カメラ制御部３３は、建設機械１００のカメラ１８の起動を制御する。具体的には、建設機械１００のゲートロック装置２９が解除されたことをトリガとしてカメラ１８を起動する。

記録部３４は、建設機械１００の通信端末２５を介して通信部３０に送信されたデータ３５を保存している。受信したデータ３５は機種ごとに保存されている（３５Ａ、３５Ｂ、・・・）。各データ３５の中には時系列データ３７と定数データ３８とが存在する。時系列データ３７には、物体検知センサ１９が物体等を検知した時点を起点とした前後所定時間内の録画映像、操作情報、検知センサ情報等に関するデータが含まれる。ここでいう前後所定時間内とは、例えば前後３０秒に設定できるが、予め決定しておかなくても、例えば物体検知センサ１９が物体の検知を開始してから終了するまでの間等、任意の時間を設定できる。定数データ３８には、物体検知センサ１９が物体等を検知した時点における時刻、車体位置等のデータが含まれる。

図４は、サーバ２６が映像データ及び車体データを保存する際のフローチャートを示す。

まず車体の電源が入ると記録装置２３の電源がＯＮされ、記録の準備が完了する（ステップＡ１、Ａ２）。

カメラ制御部３３は、車体のゲートロック装置２９が解除されているか否かを判断する（ステップＡ３）。ゲートロック装置２９が解除されている場合にはカメラ１８を起動させ、撮影・録画を開始させる（ステップＡ４）。

続いて、通信部３０は、車体制御コントローラ２１から車体の物体検知センサ１９から物体等の検知信号を受信しているか否かを判定する（ステップＡ５）。

物体検知センサ１９から検知信号を受信した場合、通信部３０はさらに、記録装置２３から、モニタ制御コントローラ２０が生成した、あらかじめ設定されている時間Ｔ１秒前からの映像データを抜き出した映像データを受信する（ステップＡ６）。また、物体検知センサ１９が物体等を検知した時点における車体データも保存する。

そして通信部３０は、物体検知センサ１９が物体等を検知した時点から所定時間Ｔ２秒だけ経過するまで待機する。そして、Ｔ２秒経過後にそれまでの映像データを記録部３４が記録する（ステップＡ７、Ａ８）。

ステップＡ８で映像データを記録後、車体の電源がＯＦＦされているかを判定する（ステップＡ９）。電源がＯＦＦされていない場合にはステップＡ３へ戻り、検知信号の受信判定とデータの生成・保存を繰り返す。ステップＡ３でゲートロック装置２９がロックされていた場合とステップＡ５で検知信号を受信しなかった場合もステップＡ９の判定を行う。

ステップＡ９で車体電源がＯＦＦされていると判定されると、記録装置２３の電源をＯＦＦし（ステップＡ１０）、制御フローを終了する。この時、車体の電源はＯＦＦになっているが、記録装置２３は別系統のバッテリ電源（不図示）で駆動しており、記録装置２３は、最後のデータ保存が完了するまで自身の電源をＯＦＦにしない。

図５は、通信端末２５が、記録装置２３に記録された映像データ及び車体データをサーバ２６に送信する際のフローチャートを示す。この制御は図４のデータ生成フローと並行して実行される。

まず車体の電源が入ると通信端末２５の電源がＯＮされる（ステップＢ１）。

続いて通信端末２５は、自身がサーバ２６と通信可能であるか否かの判定を行う（ステップＢ２）。通信できていなければリトライし、通信ができるまで以降の制御は行わない。

通信端末２５とサーバ２６とが通信可能である場合、通信端末２５は記録装置２３を参照し、記録装置２３に未送信のデータが存在するか否かを判定する（ステップＢ３）。未送信データがない場合はステップＢ２へと戻る。

記録装置２３に未送信データが保存されている場合、さらに未送信データが１つか複数かを判定する（ステップＢ４）。保存されているデータが１つのみであればそのデータをサーバ２６に送信する（ステップＢ５）。未送信データが２つ以上保存されていたら、その中で最も古いデータをサーバ２６に送信する（ステップＢ６）。これは、後述するように保存された映像データは時系列に沿って動画リスト内に表示されるが、最も古いデータから送信しないと、動画リスト内で動画の順序が入れ替わってしまい、取り扱いが煩雑になるおそれがあるからである。

ステップＢ５、Ｂ６の送信処理後は、いずれの場合も、それぞれのステップで行った送信処理が確実に完了したか否かを判定する（ステップＢ７）。

データ送信が完了していない場合は、通信端末２５がサーバ２６と通信可能であるか否かを判定する（ステップＢ８）。通信可能である場合にはステップＢ７へ戻り、データの送信完了まで待機する。通信可能でない場合には、ステップＢ２へと戻り、通信可能になるまで待機する。

ステップＢ７でデータ送信が完了したと判定された場合に、車体の電源がＯＦＦされているかを判定する（ステップＢ９）。電源がＯＦＦされていなければステップＢ２へ戻り、未送信データのチェックと送信を繰り返す。

車体電源がＯＦＦされていると判定された場合には、通信端末２５の電源をＯＦＦし（ステップＢ１０）、制御フローを終了する。この時、車体の電源はＯＦＦになっているが、通信端末２５は別系統のバッテリ電源（不図示）で駆動しており、通信端末２５は、最後のデータ送信が完了するまで自身の電源をＯＦＦにしない。

図６は、システムが外部モニタに表示するレポート画面の一例である。

図６に示すレポート画面は、通信部３０が建設機械１００の通信端末２５から受信した車体データに基づいてシステムの検知結果出力部３２が外部モニタ４０に出力し、外部モニタ４０の画面上に表示される。レポート画面上には、稼働機リストウィンドウ４１、分布密度ウィンドウ４３、検出時刻ウィンドウ４５、検出日ウィンドウ４６、及び検出方向ウィンドウ４７が表示されている。

稼働機リストウィンドウ４１には図３で説明した機種情報３６のリストが表示されている。各機体に対して切替スイッチ４２が割り当てられていて、切替スイッチ４２が有効になっている車体を集計対象として、当該車体に対応する受信データ３５を記録部３４から参照する。

検知結果出力部３２は集計対象期間内の受信データ３５から、集計対象期間内に物体検知センサ１９が物体等を検知した時の車体位置を統合し、検知場所の密度に比例して色が濃くなる分布密度４４を分布密度ウィンドウ４３のマップ上に描画する。その際、分布密度４４を示す所定の範囲で撮影された動画データとの連携情報（リンク）をこの分布密度４４に付加する。これによって、分布密度４４とその範囲における動画とがリンクされ、後述のように分布密度４４の任意の箇所をクリックすることで、分布密度４４を示す範囲（領域）での動画を参照することができる。ここでいう検知場所の密度とは、集計対象期間内において物体が検知された場所（位置）における物体等が検知された頻度（位置の頻度）を示す。また、分布密度は、例えば物体等が検知された位置を中心として所定の半径内に対して何等かの値を与え、全データを集計後に各位置に与えられた値の合計によって色の濃淡を決定する、といった方法で生成することが可能である。

なお、分布密度４４は、色彩の濃淡、図形の大きさ、またはそれらの組み合わせにより感覚的に分布密度の大小を把握できる表示方法を取り得る。

検出時刻ウィンドウ４５では、集計対象期間中に物体等が検知された時の時刻が参照され、時間帯毎の割合を表示する。検出日ウィンドウ４６では、集計対象期間中に物体等が検知された時の時刻が参照され、日毎の検出回数と検出時に行われていた操作の内訳が表示される。検出方向ウィンドウ４７では、集計対象期間中に記録装置２３に検知信号を送信した物体検知センサ１９の方向が参照され、方向毎の割合を表示する。なお、上記において、記録装置２３が検知信号を受け取った時の時刻を基準としてもよい。

図７は、分布密度４４からリンクされた動画リスト画面の構成図である。

図６の分布密度４４上の任意の点をクリックすると、クリックした点を中心とした一定範囲内で録画された動画のリストへ移動することができる。このリストは、システムの動画処理部３１によって生成される。サムネイル欄４８には物体等が検知された時点の映像の静止図が表示される。発生日時欄４９にはその時の日時が表示される。事象欄５０にはその時に検知信号を送信した物体検知センサ１９の種類及び事象の内容が表示される。操作欄５１にはその時に行われていた操作が表示される。機種欄５２には記録装置２３が搭載された機種が表示される。動画リストの任意の行をクリックすると、動画再生画面へ移動することができる。

図８は、図７の動画リスト画面からリンクされた動画再生画面の構成図である。

動画再生画面の上部には、動画リストに記載の情報が動画タイトル５３として表示される。マップウィンドウ５４には分布密度ウィンドウ４３と同様の現場マップが表示され、車体の位置データから参照した地点に機体アイコン５５が表示される。動画ウィンドウ５６には録画映像が表示される。動画は再生ボタン５７と停止ボタン５８で再生／停止を操作できるほか、シークバー５９で再生位置を調整できる。操作ウィンドウ６２では、例えばエンジンの回転数、走行操作（走行レバー操作）、旋回操作（旋回レバー操作）、及びゲートロック装置の解除およびロック等の操作情報がグラフで表示される。グラフは動画データと同期しており、シークバー５９の位置に合わせてグラフ上の再生位置６３がスライドする。

図８は、図７中「後方接近警告」を示す動画が再生されている状態であり、検知対象として樹木６０が、検知対象認識枠６１で囲われている。

本実施形態により、物体検知システムを搭載した建設機械が稼働する現場におけるヒヤリハット事象を高い精度で抽出、集計することができ、現場の状況を正確に振り返ることが可能なレポートを提供することが可能になる。

以上で説明した本発明の実施例によれば、以下の作用効果を奏する。

（１）本発明に係る物体検知システムは、建設機械の車体に取り付けられたカメラが撮影した動画データ、前記車体に取り付けられた物体検知センサが物体を検知したことを示す検知データ、車体の位置情報を受信する通信部と、少なくとも動画データ及び位置情報を記録する記録部と、前記検知データ及び前記位置情報に基づいて、前記物体検知センサが前記物体を検知した位置及び頻度の分布密度を外部モニタに出力する検知結果出力部と、を有する。

上記構成により、車体が周囲の物体等を検知したという単独の情報と比べ、物体等を検知した位置及びその頻度の分布密度を模式的かつ視覚的に表示させることが可能になる。ゆえに、現場のどこでどのような状況でヒヤリハットが発生したかを容易に把握することが可能になり、現場管理者が安全面の改善を提案することが容易になる。

（２）検知結果出力部は、外部モニタ上に、位置及び頻度の分布密度とともに物体検知センサが物体を検知した際の時間帯の分布、物体検知センサが物体を検知した際の日付及び車体の動作の種類、並びに物体検知センサが物体を検知した方向の内訳を表示する。これにより、より多様な情報が外部モニタ上に表示されることになり、現場管理者が種々の観点から安全面の対策を講じることができる。

（３）検知結果出力部は、複数の車体のそれぞれについて位置及び頻度の分布密度を生成し、外部モニタ上に複数の車体のリストを表示し、外部モニタ上に位置及び頻度の分布密度を表示する車体を選択可能とする。これにより、複数の稼働機からデータを収集することが可能になり、演算する位置及び頻度の分布密度の精度が向上する。

（４）検知結果出力部は、任意の期間に対して位置及び頻度の分布密度を演算する。これにより、例えばヒヤリハットが多く生じていた期間に対しては集計期間を短くして短期的な情報を得、ヒヤリハットがあまり生じていなかった期間については集計期間を長くして長期的な情報を得る、等、柔軟な対応が可能になる。

（５）動画データを処理する動画処理部をさらに有し、動画処理部は、物体検知センサが物体を検知した時点の前後所定時間以内に通信部が受信した動画データを、位置及び頻度の分布密度の表示上の、物体検知センサが物体を検知した地点と関連付けて保存する。これにより、位置及び頻度の分布密度の表示上の任意の地点をクリックすることでその地点で撮影された動画を視聴することができるため、容易に現場の環境を認識できる。

（６）建設機械のゲートロックが解除された際にカメラを起動させるカメラ制御部をさらに有する。これにより、建設機械が稼働中は確実にカメラを稼働させることが可能になる。

なお、本発明は、上記の実施例に限定されるものではなく、様々な変形が可能である。例えば、上記の実施例は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明は、必ずしも説明した全ての構成を備える態様に限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能である。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、削除したり、他の構成を追加・置換したりすることが可能である。

本発明は、物体検知システムを搭載した建設機械の稼働現場で利用される。

１８ カメラ、１９ 物体検知センサ、２６ サーバ（物体検知システム）、２９ ゲートロック装置、３０ 通信部、３１ 動画処理部、３２ 検知結果出力部、３３ カメラ制御部、３４ 記録部、４０ 外部モニタ

Claims (9)

1. 複数の建設機械の車体に取り付けられた物体検知センサが物体を検知したことを示す検知データ、及び前記車体の位置情報を受信する通信部と、
   前記複数の建設機械の少なくとも前記位置情報を記録する記録部と、
   前記検知データ及び前記位置情報に基づいて、集計期間内に前記複数の建設機械の前記物体検知センサが前記物体を検知したときの車体位置を統合し、物体が検知された位置の頻度である検知場所の密度を所定の範囲の分布密度として外部モニタに出力する検知結果出力部と、を有することを特徴とする物体検知システム。
2. 請求項１に記載の物体検知システムであって、
   前記通信部は、前記建設機械の車体に取り付けられたカメラが撮影した動画データを受信し、
   前記記録部は、前記動画データを記録し、
   前記検知結果出力部は、前記分布密度に前記動画データをリンクさせて前記外部モニタに出力することを特徴とする物体検知システム。
3. 請求項１に記載の物体検知システムであって、
   前記検知結果出力部は、前記外部モニタ上に、前記分布密度とともに前記物体検知センサが物体を検知した際の時間帯の分布を表示することを特徴とする物体検知システム。
4. 請求項１に記載の物体検知システムであって、
   前記検知結果出力部は、前記外部モニタ上に、前記物体検知センサが物体を検知した際の日付及び前記車体の動作の種類をさらに表示することを特徴とする物体検知システム。
5. 請求項１に記載の物体検知システムであって、
   前記検知結果出力部は、前記外部モニタ上に、前記物体検知センサが物体を検知した方向の内訳をさらに表示することを特徴とする物体検知システム。
6. 請求項１に記載の物体検知システムであって、
   前記検知結果出力部は、複数の前記車体のそれぞれについて前記分布密度を生成し、前記外部モニタ上に前記複数の車体のリストを表示し、前記外部モニタ上に前記分布密度を表示する前記車体を選択可能とすることを特徴とする物体検知システム。
7. 請求項１に記載の物体検知システムであって、
   前記検知結果出力部は、任意の期間に対して前記分布密度を生成することを特徴とする物体検知システム。
8. 請求項１に記載の物体検知システムであって、
   前記通信部は、前記建設機械の車体に取り付けられたカメラが撮影した動画データを受信し、
   前記記録部は、前記動画データを記録し、
   前記動画データを処理する動画処理部をさらに有し、
   前記動画処理部は、前記物体検知センサが前記物体を検知した時点の前後所定時間以内に前記通信部が受信した前記動画データを、前記分布密度の表示上の、前記物体検知センサが前記物体を検知した地点と関連付けて保存することを特徴とする物体検知システム。
9. 請求項１に記載の物体検知システムであって、
   前記通信部は、前記建設機械の車体に取り付けられたカメラが撮影した動画データを受信し、
   前記記録部は、前記動画データを記録し、
   前記建設機械のゲートロックが解除された際に前記カメラを起動させるカメラ制御部をさらに有することを特徴とする物体検知システム。

Images