JP7009063B2 - 作業機械用周辺監視システム - Google Patents

Description

本発明は、作業機械用周辺監視システムに関する。

作業機械の周辺の所定範囲で監視対象である所定の物体（例えば、作業機械の作業の妨げになる障害物や人等）を検知する物体検知手段と、物体検知手段により所定の物体が検知されると音による警報を出力する警報出力手段を備える作業機械用周辺監視システムが知られている（例えば、特許文献１参照）。

特開２０１４－１８１５０８号公報

しかしながら、作業機械の周辺に監視対象である所定の物体が存在していることを認識しているような状況で警報音が出力され続けると、オペレータは煩わしさを感じる可能性がある。一方、音以外による警報（例えば、視覚的な警報）を採用することも考えられるが、オペレータが操縦席から離れている状況等では、警報に気付かない可能性があり、監視対象である所定の物体の検知に基づく警報の実効性が低下する可能性がある。

そこで、上記課題に鑑み、監視対象である所定の物体の検知に基づく警報の実効性を確保しつつ、オペレータの煩わしさを抑制することが可能な作業機械用周辺監視システムを提供することを目的とする。

上記目的を達成するため、本発明の一実施形態では、
作業機械の周辺の所定範囲内に存在する、前記作業機械とは別の所定の物体を検知する物体検知部と、
前記物体検知部により前記物体が検知された場合、音による警報を行う警報部と、を備え、
前記警報部は、前記物体検知部により前記作業機械とは別の前記物体が検知された状態が継続している場合、所定の条件が成立したときに、前記音による警報を停止すると共に、前記音による警報の停止後、光による警報を行う、
作業機械用周辺監視システムが提供される。

上述の実施形態によれば、監視対象である所定の物体の検知に基づく警報の実効性を確保しつつ、オペレータの煩わしさを抑制することが可能な作業機械用周辺監視システムを提供することができる。

本実施形態に係る周辺監視システムが搭載される作業機械の一例を示す図である。 本実施形態に係る周辺監視システムの構成の一例を示す図である。 表示装置に表示される監視用画像の一例を示す図である。 本実施形態に係る周辺監視システム（警報出力部）による警報出力処理の第１例を概略的に示すフローチャートである。 本実施形態に係る周辺監視システム（警報出力部）による警報出力処理の第２例を概略的に示すフローチャートである。 本実施形態に係る周辺監視システム（警報出力部）による警報出力処理の第３例を概略的に示すフローチャートである。 本実施形態に係る周辺監視システム（警報出力部）による警報出力処理の第４例を概略的に示すフローチャートである。

以下、図面を参照して発明を実施するための形態について説明する。

まず、図１を参照して、本実施形態に係る周辺監視システム１００（図２参照）が搭載される作業機械について説明をする。

図１は、本実施形態に係る周辺監視システム１００が搭載される作業機械の一例を示す図であり、具体的には、ショベルの側面図である。

尚、本実施形態に係る周辺監視システム１００は、ショベル以外の作業機械、例えば、ホイールローダ、アスファルトフィニッシャ等に搭載されてもよい。

本実施形態に係るショベルは、下部走行体１と、旋回機構２を介して旋回可能に下部走行体１に搭載される上部旋回体３と、作業装置としてのブーム４、アーム５、及びバケット６と、オペレータが搭乗するキャビン１０を備える。

下部走行体１は、例えば、左右１対のクローラを含み、それぞれのクローラが走行油圧モータ（不図示）で油圧駆動されることにより、自走する。

上部旋回体３は、旋回油圧モータ、或いは、電動機（共に不図示）等で駆動されることにより、下部走行体１に対して旋回する。

ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５、及びバケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。

キャビン１０は、オペレータが搭乗する操縦室であり、上部旋回体３の前部左側に搭載される。

また、本実施形態に係るショベルは、周辺監視システム１００に関連する構成要素として、コントローラ３０、撮像装置４０、表示装置５０、音声出力装置５２を備える。

コントローラ３０は、ショベルの駆動制御を行う制御装置である。コントローラ３０は、キャビン１０内に搭載される。

撮像装置４０は、上部旋回体３の上部に取り付けられ、ショベルの周辺を撮像する。撮像装置４０は、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒを含む。

後方カメラ４０Ｂは、上部旋回体３の後端上部に取り付けられ、上部旋回体３の後方を撮像する。

左側方カメラ４０Ｌは、上部旋回体３の左端上部に取り付けられ、上部旋回体３の左側方を撮像する。

右側方カメラ４０Ｒは、上部旋回体３の右端上部に取り付けられ、上部旋回体３の右側方を撮像する。

表示装置５０は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０（後述する表示制御部３０２）による制御の下、オペレータに通知する各種画像情報を表示する。表示装置５０は、例えば、液晶ディスプレイである。

音声出力装置５２は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置５２は、例えば、スピーカやブザー等である。

次に、図２を参照して、本実施形態に係る周辺監視システム１００の具体的な構成について説明をする。

図２は、本実施形態に係る周辺監視システム１００の構成の一例を示すブロック図である。

周辺監視システム１００は、ショベルの周辺の所定範囲内への人の侵入を監視し、人を検知した場合、警報を出力する。周辺監視システム１００は、コントローラ３０、撮像装置４０、表示装置５０、音声出力装置５２を含む。

コントローラ３０は、周辺監視システム１００における各種制御処理を行う。コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、ＣＰＵ，ＲＡＭ，ＲＯＭ，Ｉ／Ｏ等を含むマイクロコンピュータを中心に構成される。コントローラ３０は、例えば、ＲＯＭに格納される各種プログラムをＣＰＵ上で実行することにより実現される機能部として、監視対象検知部３０１、表示制御部３０２、警報出力部３０３を含む。

撮像装置４０は、上述の如く、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒを含む。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、上部旋回体３の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む上下方向の撮像範囲（画角）を有する。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、ショベルの運転中、所定周期（例えば、１／３０秒）毎に、撮像画像を出力し、コントローラ３０に送信する。

表示装置５０は、撮像装置４０の撮像画像（スルー画像）や、コントローラ３０（表示制御部３０２）が撮像装置４０の撮像画像に基づき生成する周辺画像（例えば、後述する視点変換画像）等を表示する。

音声出力装置５２は、コントローラ３０（警報出力部３０３）による制御の下、警報音を出力する。

監視対象検知部３０１（物体検知部の一例）は、撮像装置４０により撮像された撮像画像に基づき、ショベルの周辺の所定領域内、例えば、ショベルから所定距離Ｄ１（例えば、５メートル）以内の監視対象の所定の物体としての人を検知する。例えば、監視対象検知部３０１は、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像画像内の人を認識すると共に、認識した人の実在位置（ショベルから認識した人までの距離Ｄ等）を特定することができる。

尚、監視対象検知部３０１は、監視対象として人以外の所定の物体（例えば、ショベルの作業を妨げる岩等の障害物や車両等）を検出してもよい。また、監視対象検知部３０１は、撮像装置４０の撮像画像に代えて、或いは、加えて、他のセンサ、例えば、ミリ波レーダ、ＬＩＤＡＲ（LIght Detection And Ranging）、ステレオカメラ等の検出結果（距離画像等）に基づきショベルの周辺の監視対象の所定の物体を検知してもよい。この場合、これらの他のセンサがショベルに設けられる。

表示制御部３０２は、オペレータの各種操作に応じて、表示装置５０に各種情報画像を表示させる。例えば、表示制御部３０２は、オペレータによる所定操作に応じて、撮像装置４０の撮像画像に基づき周辺画像を生成し、表示装置５０に表示させる。具体的には、表示制御部３０２は、周辺画像として、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒの撮像画像に基づき、既知の視点変換処理を行うことにより、視点変換画像（仮想視点から見た画像）を生成し、表示装置５０に表示させる。また、表示制御部３０２は、周辺画像を表示装置５０に表示させる際、周辺画像に写る撮像装置４０の撮像範囲のショベルに対する相対位置関係を明示するため、ショベルを模式的に表すショベル画像を併せて表示装置５０に表示させる。即ち、表示制御部３０２は、ショベル画像と、ショベルと撮像装置４０の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視用画像を生成し、表示装置５０に表示させる。以下、図４を参照して、表示装置５０に表示される監視用画像について説明をする。

図３は、表示装置５０に表示される監視用画像の一例を示す図である。

図３に示すように、表示装置５０における横長の長方形の画面（例えば、アスペクト比４：３の画面）には、上述の如く、ショベル画像ＣＧと、ショベル画像ＣＧの周囲に配置される周辺画像ＥＰとを含む監視用画像が表示されている。これにより、オペレータは、周辺画像ＥＰに写っている人を含む物体と、ショベルとの位置関係を適切に把握することができる。

本例における周辺画像ＥＰは、ショベル周辺を真上から見た路面画像と、その路面画像の周りに配置される、ショベル周辺を水平方向に見た水平画像とを組み合わせた視点変換画像である。周辺画像（視点変換画像）は、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面若しくは曲面を含む一又は複数の平面若しくは曲面で構成される。以下、本実施形態における周辺画像は、上記路面画像と上記水平画像とを組み合わせた視点変換画像である前提で説明を続ける。

また、監視用画像には、線分ＬＮが重畳表示される。線分ＬＮは、ショベルからの距離が所定距離Ｄ２（＜Ｄ１）の位置を表す。これにより、周辺画像に人を含む物体が写っている場合、オペレータは、ショベルからどの程度離れた位置にいるかを把握することができる。

図２に戻り、警報出力部３０３は、監視対象検知部３０１によりショベルから所定距離Ｄ１以内で検知対象（本実施形態では、人）が検知された場合、オペレータ等への警報を行う。例えば、警報出力部３０３は、音による警報を出力する。具体的には、警報出力部３０３は、音声出力装置５２を通じて警告音を出力させる。また、例えば、警報出力部３０３は、光による警報を出力する。具体的には、警報出力部３０３は、表示制御部３０２を介して、表示装置５０（液晶ディスプレイ）のバックライトを利用し、例えば、バックライトを点滅させる。また、キャビン１０の内部のオペレータが視認し易い場所（例えば、表示装置５０の近傍）に、表示装置５０とは別の光源を設け、当該光源を点滅させる等してもよい。また、例えば、警報出力部３０３は、ショベル周辺の所定範囲内（ショベルから所定距離Ｄ１以内）で距離が近いほど、危険度を表す警報レベルが高い警報を行ってもよい。具体的には、警報出力部３０３は、監視対象検知部３０１により検知された人のショベルからの距離Ｄが、所定距離Ｄ１より小さい所定距離Ｄ２（例えば、２．５メートル）以下であるか否かにより警報レベル（警報の仕様）を変更してもよい。より具体的には、警報出力部３０３は、検知された人のショベルからの距離Ｄが所定距離Ｄ１以下且つ所定距離Ｄ２より大きい場合、比較的危険度が低い注意状態（警報レベル１）であるとして、予備的な警報（例えば、比較的小音量の警告音をスピーカに出力させる）を出力する。また、警報出力部３０３は、検知された人のショベルからの距離が所定距離Ｄ２以下である場合、比較的危険度が高い警戒状態（警報レベル２）であるとして、正式な警報（例えば、比較的大音量の警告音をスピーカ等に出力させる）を出力する。

尚、警報出力部３０３は、表示制御部３０２に表示要求を送ることにより、表示装置５０にショベル周辺に人が存在する旨の警報表示を行ってもよい。

次に、図４～図７を参照して、本実施形態に係る周辺監視システム１００（警報出力部３０３）による特徴的な処理について説明をする。

以下に示す実施例では、警報出力部３０３は、監視対象検知部３０１により監視対象である人が検知された場合、音による警報を出力する。そして、警報出力部３０３は、監視対象検知部３０１により人が検知された状態が継続している場合、所定の条件が成立したときに、音による警報を停止すると共に、音による警報の停止後、光による警報を出力する。これにより、音による警報が出力されるため、例えば、オペレータが操縦席から離席している場合でもオペレータに監視対象の物体（人）の存在を気付かせることができる。また、監視対象の物体（人）が検知されている状態が継続している場合、所定の条件が成立した場合、音による警報が停止されると共に、音による警報の停止後、光による警報が出力されるため、音による警報が継続することによりオペレータが感じる煩わしさを抑制できると共に、音による警報の停止後、光による警報が出力されるため、監視対象の物体（人）が検知されている状態が継続していることをオペレータに通知することができる。即ち、監視対象である所定の物体の検知に基づく警報の実効性を確保しつつ、オペレータの煩わしさを抑制することができる。

まず、図４は、本実施形態に係る周辺監視システム１００（警報出力部３０３）による警報出力処理の第１例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、ショベルの運転中に繰り返し実行されてよい。

ステップＳ１０２にて、警報出力部３０３は、監視対象検知部３０１により所定領域内（ショベルからの距離Ｄが所定距離Ｄ１以下の範囲）に人が検知されたか否かを判定する。警報出力部３０３は、監視対象検知部３０１により人が検知された場合、ステップＳ１０４に進み、監視対象検知部３０１により人が検知されていない場合、今回の処理を終了する。

ステップＳ１０４にて、警報出力部３０３は、音声出力装置５２を通じて、音による警報（警報音）を出力する。

ステップＳ１０６にて、警報出力部３０３は、音による警報の開始から所定時間Ｔ１以上が経過したか否かを判定する。警報出力部３０３は、音による警報の開始から所定時間Ｔ１以上が経過していない場合、ステップＳ１０８に進み、所定時間Ｔ１以上経過している場合、ステップＳ１１２に進む。

ステップＳ１０８にて、警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続しているか否かを判定する。警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続している場合、ステップＳ１０６に戻り、監視対象検知部３０１により人が検知されている状態が継続していない場合、ステップＳ１１０に進む。

ステップＳ１１０にて、警報出力部３０３は、音声出力装置５２からの警報音の出力を停止させて、音による警報を解除し、今回の処理を終了する。

一方、ステップＳ１１２にて、警報出力部３０３は、音声出力装置５２からの警報音の出力を停止させて、音による警報を解除すると共に、ステップＳ１１４にて、撮像装置４０の撮像画像或いは該撮像画像に基づき生成される周辺画像が表示されている表示装置５０（液晶ディスプレイ）のバックライトを、例えば、点滅させて、光による警報を開始する。

尚、ステップＳ１１４の処理の開始時点で、表示装置５０に撮像装置４０の撮像画像或いは該撮像画像に基づき生成される周辺画像と異なる内容が表示されている場合、例えば、検知された人が写っている撮像画像或いは周辺画像に表示を切り替えた上で、ステップＳ１１４の処理が行われてよい。以下、図５～図７の対応する処理においても同様である。

ステップＳ１１６にて、警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続しているか否かを判定する。警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続している場合、本ステップの判定を繰り返し、監視対象検知部３０１により人が検知されている状態が継続していない場合、ステップＳ１１８に進む。

ステップＳ１１８にて、警報出力部３０３は、表示装置５０のバックライトの点滅を停止させて、光による警報を解除し、今回の処理を終了する。

このように、本実施例では、警報出力部３０３は、監視対象検知部３０１により監視対象である人が検知された状態が継続している場合、音による警報の開始から所定時間Ｔ１経過したときに、音による警報を停止させると共に、音による警報の停止後、光による警報を行う。具体的には、警報出力部３０３は、音による警報の停止後、光による警報を開始させる。これにより、監視対象検知部３０１による監視対象である人の検知が継続している場合でも、所定時間Ｔ１が経過すると、音による警報が停止されるため、オペレータが感じる煩わしさを抑制できると共に、音による警報の停止後、光による警報が出力されるため、オペレータに人が検知され続けていることを認知させることができる。

続いて、図５は、本実施形態に係る周辺監視システム１００（警報出力部３０３）による警報出力処理の第２例を概略的に示すフローチャートである。本フローチャートによる処理は、図４の場合と同様、例えば、ショベルの運転中に繰り返し実行されてよい。

ステップＳ２０２にて、警報出力部３０３は、監視対象検知部３０１により所定領域内（ショベルからの距離Ｄが所定距離Ｄ１以下の範囲）に人が検知されたか否かを判定する。警報出力部３０３は、監視対象検知部３０１により人が検知された場合、ステップＳ２０４に進み、監視対象検知部３０１により人が検知されていない場合、今回の処理を終了する。

ステップＳ２０４にて、警報出力部３０３は、音声出力装置５２及び表示装置５０を通じて、音による警報（警報音）及び光による警報（バックライトの点滅）を出力する。

ステップＳ２０６にて、警報出力部３０３は、音及び光による警報の開始から所定時間Ｔ１以上が経過したか否かを判定する。警報出力部３０３は、音及び光による警報の開始から所定時間Ｔ１以上が経過していない場合、ステップＳ２０８に進み、所定時間Ｔ１以上経過している場合、ステップＳ２１２に進む。

ステップＳ２０８にて、警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続しているか否かを判定する。警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続している場合、ステップＳ２０６に戻り、監視対象検知部３０１により人が検知されている状態が継続していない場合、ステップＳ２１０に進む。

ステップＳ２１０にて、警報出力部３０３は、音声出力装置５２及び表示装置５０からの警報音及びバックライトの点滅の出力を停止させて、音による警報及び光による警報を解除し、今回の処理を終了する。

一方、ステップＳ２１２にて、警報出力部３０３は、音声出力装置５２からの警報音の出力を停止させて、音による警報を解除する。これにより、表示装置５０のバックライトの点滅、即ち、光による警報だけが継続される。

ステップＳ２１４にて、警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続しているか否かを判定する。警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続している場合、本ステップの判定を繰り返し、監視対象検知部３０１により人が検知されている状態が継続していない場合、ステップＳ２１６に進む。

ステップＳ２１６にて、警報出力部３０３は、表示装置５０のバックライトの点滅を停止させて、光による警報を解除し、今回の処理を終了する。

このように、本実施例では、警報出力部３０３は、監視対象検知部３０１により監視対象である人が検知された状態が継続している場合、音による警報の開始から所定時間Ｔ１経過したときに、音による警報を停止させると共に、音による警報の停止後、光による警報を行う。具体的には、監視対象検知部３０１により人が検知されると、音による警報と光による警報の双方の出力を開始させ、監視対象検知部３０１により人が検知された状態が継続している状態で、所定時間Ｔ１経過したときに、音による警報だけを停止させて、光による警報を継続させる。これにより、監視対象検知部３０１による監視対象である人の検知が継続している場合でも、所定時間Ｔ１が経過すると、音による警報が停止されると共に、音による警報の停止後、光による警報が出力されるため、図４に示す実施例と同様の効果を奏する。

続いて、図６は、本実施形態に係る周辺監視システム１００（警報出力部３０３）による警報出力処理の第３例を概略的に示すフローチャートである。本フローチャートによる処理は、図４、図５の場合と同様、例えば、ショベルの運転中に繰り返し実行されてよい。

ステップＳ３０２にて、警報出力部３０３は、監視対象検知部３０１により所定領域内（ショベルからの距離Ｄが所定距離Ｄ１以下の範囲）に人が検知されたか否かを判定する。警報出力部３０３は、監視対象検知部３０１により人が検知された場合、ステップＳ３０４に進み、監視対象検知部３０１により人が検知されていない場合、今回の処理を終了する。

ステップＳ３０４にて、警報出力部３０３は、音声出力装置５２を通じて、音による警報（警報音）を出力する。

ステップＳ３０６にて、警報出力部３０３は、音による警報の開始から所定時間Ｔ２（＜Ｔ１）以上が経過したか否かを判定する。警報出力部３０３は、音による警報の開始から所定時間Ｔ２以上が経過していない場合、ステップＳ３０８に進み、所定時間Ｔ２以上経過している場合、ステップＳ３１２に進む。

ステップＳ３０８にて、警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続しているか否かを判定する。警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続している場合、ステップＳ３０６に戻り、監視対象検知部３０１により人が検知されている状態が継続していない場合、ステップＳ３１０に進む。

ステップＳ３１０にて、警報出力部３０３は、音声出力装置５２からの警報音の出力を停止させて、音による警報を解除し、今回の処理を終了する。

一方、ステップＳ３１２にて、警報出力部３０３は、撮像装置４０の撮像画像或いは該撮像画像に基づき生成される周辺画像が表示されている表示装置５０（液晶ディスプレイ）のバックライトを、例えば、点滅させて、光による警報を開始する。

ステップＳ３１４にて、警報出力部３０３は、音による警報の開始から所定時間Ｔ１以上が経過したか否かを判定する。警報出力部３０３は、音による警報の開始から所定時間Ｔ１以上が経過していない場合、ステップＳ３１６に進み、所定時間Ｔ１以上経過している場合、ステップＳ３２０に進む。

ステップＳ３１６にて、警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続しているか否かを判定する。警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続している場合、ステップＳ３１４に戻り、監視対象検知部３０１により人が検知されている状態が継続していない場合、ステップＳ３１８に進む。

ステップＳ３１８にて、警報出力部３０３は、音声出力装置５２及び表示装置５０からの警報音及びバックライトの点滅の出力を停止させて、音による警報及び光による警報を解除し、今回の処理を終了する。

一方、ステップＳ３２０にて、警報出力部３０３は、警報出力部３０３は、音声出力装置５２からの警報音の出力を停止させて、音による警報を解除する。

ステップＳ３２２にて、警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続しているか否かを判定する。警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続している場合、本ステップの判定を繰り返し、監視対象検知部３０１により人が検知されている状態が継続していない場合、ステップＳ３２４に進む。

ステップＳ３２４にて、警報出力部３０３は、表示装置５０のバックライトの点滅を停止させて、光による警報を解除し、今回の処理を終了する。

このように、本実施例では、警報出力部３０３は、監視対象検知部３０１により監視対象である人が検知された状態が継続している場合、音による警報の開始から所定時間Ｔ１経過したときに、音による警報を停止させると共に、音による警報の停止後、光による警報を行う。具体的には、監視対象検知部３０１により人が検知されると、音による警報の出力を開始させた後、光による警報を段階的に開始させ、監視対象検知部３０１により人が検知された状態が継続している状態で、所定時間Ｔ１経過すると、音による警報だけを停止させて、光による警報を継続させる。これにより、監視対象検知部３０１による監視対象である人の検知が継続している場合でも、所定時間Ｔ１が経過すると、音による警報が停止されると共に、音による警報の停止後、光による警報が出力されるため、図４、図５に示す実施例と同様の効果を奏する。

続いて、図７は、本実施形態に係る周辺監視システム１００（警報出力部３０３）による警報出力処理の第４例を概略的に示すフローチャートである。本フローチャートによる処理は、図４～図６の場合と同様、例えば、ショベルの運転中に繰り返し実行されてよい。

ステップＳ４０２にて、警報出力部３０３は、監視対象検知部３０１により所定領域内（ショベルからの距離Ｄが所定距離Ｄ１以下の範囲）に人が検知されたか否かを判定する。警報出力部３０３は、監視対象検知部３０１により人が検知された場合、ステップＳ４０４に進み、監視対象検知部３０１により人が検知されていない場合、今回の処理を終了する。

ステップＳ４０４にて、警報出力部３０３は、音声出力装置５２を通じて、音による警報（警報音）を出力する。

ステップＳ４０６にて、警報出力部３０３は、音による警報の開始後、ショベルの動作要素（例えば、上部旋回体３、ブーム４、アーム５、バケット６等）を操作する操作装置（不図示）が操作されていない状態から操作されたか否かを判定する。当該操作装置が操作されていない状態とは、例えば、操作レバーが中立状態に数秒以上維持された状態であってよい。警報出力部３０３は、操作装置が操作されていない状態から操作されていない場合、ステップＳ４０８に進み、操作装置が操作されていない状態から操作された場合、ステップＳ４１２に進む。

ステップＳ４０８にて、警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続しているか否かを判定する。警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続している場合、ステップＳ４０６に戻り、監視対象検知部３０１により人が検知されている状態が継続していない場合、ステップＳ４１０に進む。

ステップＳ４１０にて、警報出力部３０３は、音声出力装置５２からの警報音の出力を停止させて、音による警報を解除し、今回の処理を終了する。

一方、ステップＳ４１２にて、警報出力部３０３は、音声出力装置５２からの警報音の出力を停止させて、音による警報を解除すると共に、ステップＳ４１４にて、撮像装置４０の撮像画像或いは該撮像画像に基づき生成される周辺画像が表示されている表示装置５０（液晶ディスプレイ）のバックライトを、例えば、点滅させて、光による警報を開始する。

ステップＳ４１６にて、警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続しているか否かを判定する。警報出力部３０３は、監視対象検知部３０１により人が検知されている状態が継続している場合、本ステップの判定を繰り返し、監視対象検知部３０１により人が検知されている状態が継続していない場合、ステップＳ４１８に進む。

ステップＳ４１８にて、警報出力部３０３は、表示装置５０のバックライトの点滅を停止させて、光による警報を解除し、今回の処理を終了する。

このように、本実施例では、警報出力部３０３は、監視対象検知部３０１により監視対象である人が検知された状態が継続している場合、音による警報の開始後、ショベルの動作要素を操作する操作装置が操作されていない状態から操作されたときに、音による警報を停止させると共に、音による警報の停止後、光による警報を行う。具体的には、警報出力部３０３は、音による警報の停止後、光による警報を開始させる。これにより、監視対象検知部３０１による監視対象である人の検知が継続している場合でも、ショベルの動作要素に対する操作がされていない状態から操作されると、音による警報が停止されるため、オペレータが感じる煩わしさを抑制できると共に、音による警報の停止後、光による警報が出力されるため、オペレータに監視対象である人が検知され続けていることを認知させることができる。また、本実施例では、オペレータによるショベルの動作要素に対する操作をトリガにして、音による警報を停止させるため、例えば、オペレータが離席時に、オペレータが戻るまで音による警報が継続されるため、音による警報の実効性を更に高めることができる。また、例えば、オペレータが安全確認を行った後、ショベルの動作要素に対する操作を行う際には、必ず、音による警報が解除されることになるため、監視対象検知部３０１による監視対象である人の検知が継続している状況におけるオペレータがショベルの操作時に感じる煩わしさを更に抑制できる。

尚、本実施例では、ショベルの動作要素に対する操作をトリガにして、光による警報を開始するが、図５と同様、監視対象検知部３０１による監視対象である人の検知に際して、音による警報と光による警報を同時に開始させてもよいし、図６と同様、音による警報の開始後、段階的に光による警報を開始させてもよい。

以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

３０ コントローラ
４０ 撮像装置
５０ 表示装置
５２ 音声出力装置
１００ 周辺監視システム（作業機械用周辺監視システム）
３０１ 監視対象検知部（物体検知部）
３０２ 表示制御部
３０３ 警報出力部（警報部）

Claims (7)

1. 作業機械の周辺の所定範囲内に存在する、前記作業機械とは別の所定の物体を検知する物体検知部と、
   前記物体検知部により前記物体が検知された場合、音による警報を行う警報部と、を備え、
   前記警報部は、前記物体検知部により前記作業機械とは別の前記物体が検知された状態が継続している場合、所定の条件が成立したときに、前記音による警報を停止すると共に、前記音による警報の停止後、光による警報を行う、
   作業機械用周辺監視システム。
2. 前記警報部は、前記物体検知部により前記物体が検知された状態が継続している場合、前記音による警報の開始から所定時間経過したときに、前記音による警報を停止させると共に、前記音による警報の停止後、光による警報を行う、
   請求項１に記載の作業機械用周辺監視システム。
3. 前記警報部は、前記物体検知部により前記物体が検知された状態が継続している場合、前記音による警報の開始後、前記作業機械の動作要素を操作する操作装置が操作されない状態から操作されたときに、前記音による警報を停止させると共に、前記音による警報の停止後、光による警報を行う、
   請求項１又は２に記載の作業機械用周辺監視システム。
4. 前記警報部は、前記音による警報の停止前から、前記光による警報を開始する、
   請求項１乃至３の何れか一項に記載の作業機械用周辺監視システム。
5. 前記警報部は、前記音による警報の停止以後に、前記光による警報を開始する、
   請求項１乃至３の何れか一項に記載の作業機械用周辺監視システム。
6. 前記作業機械の周辺を撮像する撮像装置と、
   前記作業機械のキャビン内に設けられ、前記撮像装置の撮像画像、又は該撮像画像に基づき生成される周辺画像を表示する表示装置と、を備え、
   前記警報部は、前記表示装置のバックライトを用いて、前記光による警報を行う、
   請求項１乃至５の何れか一項に記載の作業機械用周辺監視システム。
7. 前記作業機械の周辺を撮像する撮像装置と、
   前記作業機械のキャビン内に設けられ、前記撮像装置の撮像画像、又は該撮像画像に基づき生成される周辺画像を表示する表示装置と、
   前記表示装置の近傍に配置される光源と、を備え、
   前記警報部は、前記光源を用いて、前記光による警報を行う、
   請求項１乃至５の何れか一項に記載の作業機械用周辺監視システム。

Images