JP7119442B2 - 監視システム、監視方法及び監視プログラム - Google Patents

Description

本発明は、建設機械を制御する監視システム、監視方法及び監視プログラムに関する。

バックホウ等の建設機械の周囲に人が存在する場合、建設機械との接触を回避するために、建設機械の動作中に警告を行なう（例えば、非特許文献１参照。）。この非特許文献１に記載の歩行者検知警戒システムは、ステレオカメラによって建設機械の後方を撮影する。撮影した画像を用いて、歩行者や作業者が建設機械からの近傍（検知範囲内）にいる場合には、モニターにおいて画像の枠を色付き表示にする。また、歩行者や作業者が警報エリアに入った場合には、警報が出力される。

ＡＫＴＩＯ エンジニアリング事業部 商品ラインナップ、「歩行者検知警戒システム ブラクステールＭＲ９０」、［online］、［平成３０年２月２２日検索］、インターネット<http://www.eg.aktio.co.jp/05tsushin/e10-anzen/%E6%AD%A9%E8%A1%8C%E8%80%85%E6%A4%9C%E7%9F%A5%E8%AD%A6%E6%88%92%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%80%80%E3%83%96%E3%83%A9%E3%82%AF%E3%82%B9%E3%83%86%E3%83%BC%E3%83%ABmr90/>

しかしながら、非特許文献１に示すように、画像による注意喚起では、画像を確認する必要がある。この場合、本来の建設機械の操作作業と周囲の確認作業とを並行して行なうため、手間がかかる場合がある。
また、この文献に記載の技術では、例えば背を低くするような姿勢の場合や、物陰で人物画像の大部分が隠れている場合には、人物を認識することができない。

上記課題を解決する監視システムは、建設機械に取り付けられて周囲を撮影する撮像装置に接続された制御部を備えた監視システムにおいて、前記制御部は、前記撮像装置から、順次、取得した撮像画像において人物及び装着保護具の画像認識を行ない、前記画像認識により特定された前記人物又は装着保護具までの接近距離を算出し、前記接近距離に基づいて、前記建設機械との接触を回避するための対応処理を実行する。

本発明によれば、建設機械と人との接触を、的確かつ効率的に回避することができる。

実施形態における監視システムを備えた建設機械の上面図。 実施形態における監視システムの構成図。 実施形態における監視システムの監視処理の処理手順の流れ図。 実施形態における警報処理を説明する説明図であって、（ａ）は画像認識において警報を出力した状態、（ｂ）は警報出力後、一定時間内に警報を出力しなかった状態、（ｃ）は警報出力後、一定時間内に、再度、警報を出力した状態を示す。

以下、図１～図４を用いて、監視システム、監視方法及び監視プログラムを具体化した一実施形態を説明する。本実施形態では、建設機械としてのバックホウを制御する場合を説明する。

図１に示すように、バックホウ１０は、下部フレームと、旋回部としての上部フレーム１０ａとを備える。下部フレームは、１対のクローラ１１を備える。上部フレーム１０ａは、旋回軸ｃ１を中心として旋回する。上部フレーム１０ａには、バケット１２を先端に取り付けたアームに連結するブーム１３と、運転室１４とが取り付けられている。更に、上部フレーム１０ａの後方中央には、取付台を介して、撮像装置１５が、垂直方向の向き（仰俯角）を変更可能に取り付けられる。

撮像装置１５は、９０度範囲のステレオカメラを２対備える。撮像装置１５は、バックホウ１０の後方１８０度範囲を撮影し、撮像画像において、ステレオカメラの視差により被写体の距離を算出する。本実施形態では、撮像装置１５は、所定の時間（例えば０．１秒）間隔で撮影を行ない、撮像画像を、後述する制御部２０に送信する。

更に、図２に示すように、バックホウ１０は、制御部２０、スピーカ３１及び緊急停止装置３２を備えている。この制御部２０は、バックホウ１０と人との接触を回避するための対応処理を行なう。スピーカ３１は、制御部２０からの指示により警告音を発生する。緊急停止装置３２は、本実施形態では、バックホウ１０のヒューズを電気的に切断して、バックホウ１０を停止させる。

一方、制御部２０は、画像認識部２１、判定部２２、警報部２３、停止部２４及び学習結果記憶部２５を備える。
画像認識部２１は、撮像装置１５から撮像画像（静止画像）を取得し、学習結果記憶部２５に記憶された学習結果（画像認識モデル）を用いて、画像内の人物及びヘルメット（頭部を保護するための装着保護具）についての画像認識を実行する。

判定部２２は、画像認識された人物又はヘルメットまでの接近距離に応じて対応処理を決定する処理を実行する。本実施形態では、対応処理として、警報や停止を決定する。
この場合、図１に示すように、警報エリアＡ１と停止エリアＡ２とを用いる。警報エリアＡ１及び停止エリアＡ２は、バックホウ１０の上部フレーム１０ａの後方（撮像装置１５の正面）に対して左右９０度（合計１８０度）の範囲である。更に、警報エリアＡ１は、停止エリアＡ２より外側に配置され、バックホウ１０から第１距離（例えば１０ｍ）以下の領域である。また、停止エリアＡ２は、第２距離（例えば５ｍ）以下の領域である。そして、判定部２２は、人との接近距離に基づいて、警報エリアＡ１内と判定した場合には、対応処理として、警報部２３に指示を出力する。また、人との接近距離が短く、停止エリアＡ２内と判定した場合には、対応処理として、停止部２４に指示を出力する。

図２に示す警報部２３は、スピーカ３１から警告音を発生させる。本実施形態では、警報部２３は、後述する警告処理において、所定期間（警報出力期間）で、連続して警告音を発する。この警告音を連続して発する期間は、画像認識を行なう時間間隔よりも長い時間を用いる。

停止部２４は、後述する停止・警報処理において、緊急停止装置３２を作動させて、バックホウ１０を緊急停止させる。更に、停止部２４は、バックホウ１０が再始動されるまで、スピーカ３１から警告音を発生させる。

学習結果記憶部２５には、画像内において人物及びヘルメットを認識するための画像認識モデルが記録される。
図３に示すように、この画像認識モデルは、教師データ記憶部４０に記録された教師データを用いた学習処理（ステップＳ０）によって生成される。本実施形態では、教師データとして、人物画像、ヘルメット画像、ヘルメットを装着した人物画像を用いる。そして、これらの画像を用いて、人物を認識するための深層学習を行なう。この場合、人物画像により人物を認識するだけではなく、人物画像が明瞭でない場合にも、ヘルメット画像により、ヘルメットを装着した人物を認識できるように学習する。

次に、図３を用いて、バックホウ１０に取り付けた制御部２０が実行する監視処理について説明する。
まず、制御部２０は、画像の取得処理を実行する（ステップＳ１）。具体的には、制御部２０の画像認識部２１は、撮像装置１５から撮像画像（静止画像）を取得する。この場合、２対のステレオカメラを用いることにより、１８０度の視野で撮影された画像を取得する。

次に、制御部２０は、画像認識処理を実行する（ステップＳ２）。具体的には、制御部２０の画像認識部２１は、学習結果記憶部２５の画像認識モデルを用いて、取得した静止画像内に、目的画像（人物画像又はヘルメット画像）を認識する。

次に、制御部２０は、目的画像が含まれるかどうかについての判定処理を実行する（ステップＳ３）。具体的には、静止画像内に、人物画像又はヘルメット画像を認識した場合には、目的画像が含まれると判定する。

ここで、目的画像が含まれないと判定した場合（ステップＳ３において「ＮＯ」の場合）、制御部２０は、次の静止画像を取得するまで待機する。
一方、目的画像が含まれると判定した場合（ステップＳ３において「ＹＥＳ」の場合）、制御部２０は、接近距離の算出処理を実行する（ステップＳ４）。具体的には、制御部２０の判定部２２は、ステレオカメラの視差を用いて、目的画像に含まれる被写体（人又はヘルメット）までの距離（接近距離）を算出する。

次に、制御部２０は、停止エリア内か否かの判定処理を実行する（ステップＳ５）。具体的には、制御部２０の判定部２２は、算出した接近距離と第２距離とを比較し、接近距離が第２距離以下の場合、停止エリアＡ２内に人がいると判定する。

ここで、停止エリア内と判定した場合（ステップＳ５において「ＹＥＳ」の場合）、制御部２０は、停止・警報処理を実行する（ステップＳ６）。具体的には、制御部２０の停止部２４は、緊急停止装置３２を作動させて、バックホウ１０を緊急停止させ、スピーカ３１から警告音を発生させる。

一方、停止エリア内ではないと判定した場合（ステップＳ５において「ＮＯ」の場合）、制御部２０は、警報エリア内か否かの判定処理を実行する（ステップＳ７）。具体的には、制御部２０の判定部２２は、算出した接近距離と第１距離とを比較し、接近距離が第１距離以下の場合、警報エリアＡ１内に人がいると判定する。

ここで、警報エリア内と判定した場合（ステップＳ７において「ＹＥＳ」の場合）、制御部２０は、警報処理を実行する（ステップＳ８）。具体的には、制御部２０の判定部２２は、警報部２３を介して、スピーカから警報音を出力する。この場合、図４（ａ）に示すように、警報部２３は、継続時間ｔ１の警報音を出力する。本実施形態では、この継続時間ｔ１としては、後続する２回の画像認識を実行する時間を用いる。

そして、図４（ｂ）に示すように、継続時間ｔ１内に、新たに目的画像を認識しなかった場合には、警報部２３は、継続時間ｔ１後、警報音を停止する。
一方、図４（ｃ）に示すように、警報音の継続時間ｔ１内に、後続の画像認識処理において新たに目的画像を認識した場合には、制御部２０の警報部２３は、新たに継続時間ｔ１の警報音を、その前に出力された警告音と継続するように、出力する。

本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態では、制御部２０は、画像認識処理（ステップＳ２）、接近距離の算出処理（ステップＳ４）を実行する。この場合、バックホウ１０に取り付けた撮像装置１５の撮像画像を用いて、人の接近距離を算出する。これにより、人とバックホウ１０との距離関係に応じた対応処理により、バックホウ１０との接触を回避することができる。

（２）本実施形態では、学習処理（ステップＳ０）において、教師データとして、人物画像、ヘルメット画像、ヘルメットを被った人物画像を用いる。これにより、姿勢によって人物と認識し難い画像であっても、ヘルメット画像により人の存在を検知することができる。

（３）本実施形態では、接近距離が第１距離以下（警報エリアＡ１内）の場合（ステップＳ７において「ＹＥＳ」の場合）には、制御部２０は、警報処理を実行する（ステップＳ８）。これにより、バックホウ１０に接近した人及びバックホウ１０のオペレータに対する注意喚起を行なうことができる。

（４）本実施形態では、警報処理において、制御部２０は、一定時間（継続時間ｔ１）の警報音を出力する。この継続時間ｔ１を、少なくとも次の画像認識のタイミングまでは継続される時間に設定する。これにより、画像認識により目的画像を一時的に見失った場合にも、継続して警報を出力することができる。

（５）本実施形態では、接近距離が第２距離以下（停止エリアＡ２内）の場合（ステップＳ５において「ＹＥＳ」の場合）には、制御部２０は、停止・警報処理を実行する（ステップＳ６）。これにより、バックホウ１０の上部フレーム１０ａの旋回範囲に存在する人との接触を回避することができる。

（６）本実施形態では、撮像装置１５を、バックホウ１０の上部フレーム１０ａに固定された取付台の上に、垂直方向の向き（仰俯角）を変更可能に固定する。これにより、バックホウ１０の視野範囲を変更することができる。

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、ステレオカメラで撮影された画像の視差を用いて目的画像までの接近距離を算出する。接近距離の算出方法は、ステレオカメラを用いる場合に限定されない。例えば、撮像画像に含まれるヘルメット画像の画素数に基づいて、接近距離を算出するようにしてもよい。この場合、制御部２０に、ほぼ半球形状のヘルメット画像の画素数と、接近距離とを関連付けた画素数情報を記憶させておく。そして、ヘルメット画像の画素数をカウントし、画素数情報を用いて、画素数から接近距離を算出する。ヘルメットは種類に関係なく、ほぼ同じ大きさであるため、画素数により効率的に接近距離を算出することができる。

・上記実施形態では、警報を継続する継続時間ｔ１として、後続の２つの画像認識を行なう時間に設定した。継続時間ｔ１は、少なくとも次の画像認識が行なわれるまでの時間以上であればよい。また、制御部２０に撮像画像を取得する周期や、画像認識の認識率に応じて、継続時間ｔ１の長さを変更してもよい。例えば、降雨時等には、画像ノイズの発生により、画像認識率が落ちるため、継続時間を長く変更する。この場合、画像認識部２１が、撮像画像に基づいて、撮影環境状態（例えば、降雨や夕方、逆光等）を判定し、この撮影環境状態に対応した継続時間を変更する。

・上記実施形態では、警報エリアＡ１と停止エリアＡ２を用いて、人の接近時の対応処理を決定する。この警報エリアＡ１及び停止エリアＡ２の大きさを固定しておく必要はなく、状況に応じて、エリアの大きさを変更するようにしてもよい。例えば、建設機械が旋回中や傾斜地に位置している場合には、通常時に比べてエリアを広く設定する。この場合には、判定部２２が、建設機械の動作状況を特定し、この動作状況に応じて、警報エリアＡ１、停止エリアＡ２を決定する。

また、画像認識した人の状況に基づいて、エリアを変更してもよい。例えば、画像認識部２１が、画像認識により、人の向きや動きを特定し、人が建設機械に向いていると判定した場合には、警報エリアＡ１、停止エリアＡ２を広くしたりしてもよい。

・上記実施形態では、撮像装置１５を、建設機械の後部に取り付けた。撮像装置１５の取り付け位置は、これに限定されず、人との接触の可能性がある方向を撮影できる位置であればよい。

・上記実施形態では、撮像装置１５の垂直方向の向き（仰俯角）を変更可能に固定した。撮像装置１５の仰俯角が、自動的に建設機械の設置面と並行となるように、撮像装置１５を取り付けてもよい。具体的には、撮像装置１５に水平器を取り付ける。更に、水平器からの傾斜度に応じて、撮像装置１５の仰俯角を変更する調整器を取り付ける。これにより、建設機械の設置面が傾斜していても、この傾斜に応じて撮像装置１５の向きを水平に維持することができる。

・上記実施形態では、制御部２０は、人物及びヘルメットの画像認識処理を実行した。画像認識の対象は、ヘルメットに限定されず、サイズが規格で決められており、人が装着して、画像上目立つものであれば利用することができる。例えば、反射材が貼付けられた上衣（いわゆる「反射チョッキ」）や帽子等、作業時に人体に装着する保護具（装着保護具）の画像を用いて、画像認識してもよい。

・上記実施形態の制御部２０は、建設機械としてバックホウ１０を監視した。制御部２０が監視する建設機械は、これに限定されない。例えば、旋回する油圧ショベルや、フォークリフト等に用いてもよい。建設機械の場合には、作業に応じて多様で想定外の動作があるとともに、建設機械のオペレータが周囲を見渡せない可能性がある。このため、本願発明を用いることにより、各建設機械と人との接触を回避することができる。

Ａ１…警報エリア、Ａ２…停止エリア、ｃ１…旋回軸、ｔ１…継続時間、１０…建設機械としてのバックホウ、１０ａ…旋回部としての上部フレーム、１１…クローラ、１２…バケット、１３…ブーム、１４…運転室、１５…撮像装置、２０…制御部、２１…画像認識部、２２…判定部、２３…警報部、２４…停止部、２５…学習結果記憶部、３１…スピーカ、３２…緊急停止装置、４０…教師データ記憶部。

Claims (7)

1. 建設機械に取り付けられて周囲を撮影しステレオカメラを備えた撮像装置に接続された制御部を備えた監視システムにおいて、
   前記制御部は、
   前記撮像装置から、前記ステレオカメラにより所定の時間間隔で撮影された静止画像を、順次、取得して、前記静止画像において人物及び装着保護具の画像認識を行ない、
   前記ステレオカメラの視差により、前記画像認識により特定された前記人物又は装着保護具までの接近距離を算出し、
   前記接近距離に基づいて、前記建設機械との接触を回避するための対応処理を実行し、
   前記対応処理として、前記接近距離が第１距離以下と判定した場合、後続する少なくとも前記時間間隔の２回分を含むことにより２回分の画像認識を実行可能な継続時間で警報音を出力することを特徴とする監視システム。
2. 前記制御部は、前記ステレオカメラによる撮影環境状態を判定し、前記撮影環境状態に応じて前記継続時間を調整することを特徴とする請求項１に記載の監視システム。
3. 前記制御部は、前記接近距離が前記第１距離より短い第２距離以下と判定した場合、前記対応処理として、前記建設機械の動作を停止させることを特徴とする請求項２に記載の監視システム。
4. 前記建設機械は、旋回部を備え、
   前記旋回部には、前記撮像装置が設けられており、
   前記制御部は、前記旋回部の旋回に応じて前記撮像装置が撮像する前記静止画像を用いて、前記画像認識を行なうことを特徴とする請求項１～３の何れか１項に記載の監視システム。
5. 前記制御部は、前記装着保護具を装着しない人物画像、前記装着保護具を装着した人物画像、及び前記装着保護具の画像を含む教師データを用いて学習処理を行ない、
   前記学習処理の結果を用いて、前記人物及び前記装着保護具の画像認識を行なうことを特徴とする請求項１～４の何れか１項に記載の監視システム。
6. 建設機械に取り付けられて周囲を撮影しステレオカメラを備えた撮像装置に接続された制御部を備えた監視システムを用いて、建設機械を監視する方法において、
   前記制御部が、
   前記撮像装置から、前記ステレオカメラにより所定の時間間隔で撮影された静止画像を、順次、取得して、前記静止画像において人物及び装着保護具の画像認識を行ない、
   前記ステレオカメラの視差により、前記画像認識により特定された前記人物又は装着保護具までの接近距離を算出し、
   前記接近距離に基づいて、前記建設機械との接触を回避するための対応処理を実行し、
   前記対応処理として、前記接近距離が第１距離以下と判定した場合、後続する少なくとも前記時間間隔の２回分を含むことにより２回分の画像認識を実行可能な継続時間で警報音を出力することを特徴とする監視方法。
7. 建設機械に取り付けられて周囲を撮影しステレオカメラを備えた撮像装置に接続された制御部を備えた監視システムを用いて、建設機械を監視するプログラムであって、
   前記制御部を、
   前記撮像装置から、前記ステレオカメラにより所定の時間間隔で撮影された静止画像を、順次、取得して、前記静止画像において人物及び装着保護具の画像認識を行ない、
   前記ステレオカメラの視差により、前記画像認識により特定された前記人物又は装着保護具までの接近距離を算出し、
   前記接近距離に基づいて、前記建設機械との接触を回避するための対応処理を実行し、
   前記対応処理として、前記接近距離が第１距離以下と判定した場合、後続する少なくとも前記時間間隔の２回分を含むことにより２回分の画像認識を実行可能な継続時間で警報音を出力する手段として機能させることを特徴とする監視プログラム。

Images