以下、図面を参照して発明を実施するための形態について説明する。
[作業機械の概要]
まず、図1を参照して、本実施形態に係る周辺監視システム100(図2参照)が搭載される作業機械について説明をする。
図1は、本実施形態に係る周辺監視システム100が搭載される作業機械の一例を示す図であり、具体的には、ショベルの側面図である。
尚、本実施形態に係る周辺監視システム100は、ショベル以外の任意の作業機械、例えば、ホイールローダ、アスファルトフィニッシャ等に搭載されてもよい。
本実施形態に係るショベルは、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、作業装置としてのブーム4、アーム5、及びバケット6と、オペレータが搭乗するキャビン10を備える。
下部走行体1は、例えば、左右1対のクローラを含み、それぞれのクローラが走行油圧モータ(不図示)で油圧駆動されることにより、自走する。
上部旋回体3は、旋回油圧モータ、或いは、電動機(共に不図示)等で駆動されることにより、下部走行体1に対して旋回する。
ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、バケット6が上下回動可能に枢着される。ブーム4、アーム5、及びバケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。
キャビン10は、オペレータが搭乗する操縦室であり、上部旋回体3の前部左側に搭載される。
また、本実施形態に係るショベルは、周辺監視システム100に関連する構成要素として、コントローラ30と、撮像装置40と、表示装置50を備える。
コントローラ30は、ショベルの全体或いは後述する特定の機能に関する制御を行う制御装置である。例えば、コントローラ30は、キャビン10内に搭載される。
撮像装置40は、上部旋回体3の上部に取り付けられ、ショベルの周辺を撮像する。撮像装置40は、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。
後方カメラ40Bは、上部旋回体3の後端上部に取り付けられ、上部旋回体3の後方を撮像する。
左側方カメラ40Lは、上部旋回体3の左端上部に取り付けられ、上部旋回体3の左側方を撮像する。
右側方カメラ40Rは、上部旋回体3の右端上部に取り付けられ、上部旋回体3の右側方を撮像する。
表示装置50は、キャビン10内の操縦席の周辺、具体的には、操縦席に着座するオペレータやショベルのメンテナンスを行うサービスマン等(以下、「オペレータ等」と称する)から視認し易い位置に設けられ、コントローラ30による制御の下、オペレータに通知する各種画像情報を表示する。表示装置50は、例えば、液晶ディスプレイである。
音声出力装置52は、キャビン10内の操縦席の周辺に設けられ、コントローラ30による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置52は、例えば、スピーカやブザー等である。
ゲートロック弁54は、パイロットポンプからショベルの動作要素(例えば、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等)を操作する操作装置(不図示)に対してパイロット圧を供給するパイロットラインの最上流に設けられ、パイロットラインの連通/非連通を切り替える。例えば、ゲートロック弁54は、通常、キャビン10内の操縦席の入口に相当する部分に設けられるゲートロックレバーの操作状態と連動する、ゲートロックスイッチの出力信号(ON信号/OFF信号)に応じて、パイロットラインの連通/非連通を切り替える。具体的には、ゲートロック弁54は、ゲートロックスイッチの出力信号が、ゲートロックレバーが引き上げられた状態(即ち、操縦席にオペレータが着座した状態)に対応するON信号である場合、パイロットラインを連通状態にする。一方、ゲートロック弁54は、ゲートロックスイッチの出力信号が、ゲートロックレバーが引き下げられた状態(即ち、操縦席からオペレータが離脱した状態)に対応するOFF信号である場合、パイロットラインを非連通状態にする。また、例えば、ゲートロック弁54は、コントローラ30から入力される指令信号も受付可能に構成され、コントローラ30からの指令信号(ON信号/OFF信号)に応じて、パイロットラインの連通/非連通を切り替える。
尚、ゲートロック弁54において、ゲートロックスイッチの出力信号とコントローラ30からの指令信号の双方を受付可能な構成としては、例えば、ゲートロックスイッチの出力信号とコントローラ30からの指令信号の双方が入力される論理和回路(少なくとも一方からON信号が入力されると、ON信号を出力する論理回路)が採用されてよい。
外部用表示装置60(通知手段の一例)は、コントローラ30による制御の下、ショベルの周辺(例えば、ショベルの周辺で作業する作業者やショベルが作業する作業現場の現場監督等の監視者等)に通知する各種情報を表示する。外部用表示装置60は、ショベルの周辺から各種情報を視認可能であれば、上部旋回体3の任意の位置に搭載されてよく、例えば、上部旋回体3の後端部の側面に搭載される。外部用表示装置60は、文字情報だけを表示可能なデバイス、例えば、電光掲示板や磁気反転式掲示板等であってもよいし、画像情報も表示可能なデバイス、例えば、液晶ディスプレイ等であってもよい。
外部用音声出力装置62(通知手段の一例)は、コントローラ30による制御の下、ショベルの周辺に通知する各種音声情報を出力する。外部用音声出力装置62は、ショベルの周辺における所定範囲に音声情報を到達させることが可能であれば、上部旋回体3の任意の位置に搭載されてよい。外部用音声出力装置62は、例えば、スピーカ、ブザー等である。
[周辺監視システムの概要]
次に、図2を参照して、周辺監視システム100の概要を説明する。
図2は、本実施形態に係る周辺監視システムの構成の一例を示す概要図である。
周辺監視システム100は、ショベルの周辺の所定範囲内への監視対象である所定の物体(以下、単に「監視対象」と称する場合がある)の侵入を監視する。そして、周辺監視システム100は、監視対象を検知した場合、警報等によりオペレータ等への通知を行ったり、場合によっては、ショベルの動作を制限したりする。監視対象は、人や人以外の障害物や車両等の任意の物体であってよい。
周辺監視システム100は、コントローラ30と、撮像装置40と、表示装置50と、音声出力装置52と、ゲートロック弁54と、外部用表示装置60と、外部用音声出力装置62を含む。
コントローラ30は、周辺監視システム100における各種制御処理を行う。コントローラ30は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、CPU(Central Processing Unit)と、RAM(Random Access Memory)と、ROM(Read Only Memory)と、補助記憶装置と、I/O(Input-Output interface)等を含むマイクロコンピュータを中心に構成される。コントローラ30は、例えば、ROMや補助記憶装置等に格納される各種プログラムをCPU上で実行することにより各種機能を実現する。
撮像装置40は、上述の如く、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む上下方向の撮像範囲(画角)を有する。後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rは、それぞれ、ショベルの運転中、所定周期(例えば、1/30秒)毎に、撮像画像を出力し、コントローラ30に送信する。
尚、撮像装置40は、後述の如く、監視対象を検知するための検出情報を出力するセンサとして機能するが、ショベルの周辺の物体を検出し、当該物体までの距離情報を出力することが可能なセンサであれば、他のセンサがショベルに搭載されてもよい。この場合、監視対象を検知するための検出情報を出力するセンサには、撮像装置40の他、例えば、後述するLIDAR(LIght Detection And Ranging)、ミリ波レーダ、ステレオカメラ等が含まれてよい。
表示装置50は、コントローラ30による制御の下、撮像装置40の撮像画像(以下、スルー画像と称する場合がある)や、コントローラ30により撮像装置40の撮像画像に基づき生成(合成)される周辺画像(例えば、視点変換画像等の合成画像)等を表示することができる。
音声出力装置52は、コントローラ30による制御の下、警報音を出力することができる。
ゲートロック弁54は、コントローラ30による制御の下、上述したゲートロックレバー(不図示)が引き上げられた状態であっても、パイロットライン(不図示)を非連通状態にすることができる。これにより、ショベルの動作が制限(停止)されうる。
外部用表示装置60は、コントローラ30による制御の下、ショベルの周辺に向けて、所定の文字情報や画像情報を表示し、ショベルの周辺の警戒エリアへの監視対象の侵入に対する警報等を行うことができる。
外部用音声出力装置62は、コントローラ30による制御の下、ショベルの周辺に向けて、所定の音声情報を出力し、監視対象のショベルの周辺の警戒エリアへの侵入に対する警報を行うことができる。
以下、上述した周辺監視システム100の構成を前提とする特徴的な機能(以下、便宜的に「特徴機能」と称する)について説明する。本実施形態に係る周辺監視システム100は、後述する第1の特徴機能~第4の特徴機能のそれぞれに係る構成の一部又は全部を含むことができる。つまり、後述する第1の特徴機能~第4の特徴機能は、当然の如く、それぞれが単体で実行されうると共に、適宜、その特徴機能に関する構成が他の特徴機能に関する構成と組み合わせられる、或いは、共用される態様であってもよい。
例えば、後述する監視対象検知部301A、監視対象検知部301B、物体検知部301C、及び、検知部301Dは、それぞれの機能構成の一部或いは全部が共通であってよい。また、監視画像表示処理部302A,302Bは、それぞれの機能の一部或いは全部が共通であってよい。また、監視画像表示処理部302A,302Bは、それぞれの機能の一部或いは全部が共通であってよい。また、目印画像表示処理部303A及び目印表示処理部303Bは、それぞれの機能の一部或いは全部が共通であってよい。また、監視画像表示処理部302A及び目印画像表示処理部303A、監視画像表示処理部302B及び目印表示処理部303B、表示制御部302C、並びに、表示制御部302Dは、それぞれの機能の一部或いは全部が共通であってよい。また、音声制御部303C及び警報出力部303Dは、それぞれの機能の一部或いは全部が共通であってよい。また、音声制御部303C及び警報出力部303Dのうちの少なくとも一つは、第1の特徴機能或いは第2の特徴機能に関する周辺監視システム100に含まれていてよい(つまり、組み合わせられてもよい)。また、動作制限部304及び判定部305のうちの少なくとも一つは、第1~第3の特徴機能の何れか一つに関する周辺監視システム100に含まれていてよい。
[周辺監視システムの第1の特徴機能]
まず、本実施形態に係る周辺監視システム100に関する第1の特徴機能、具体的には、表示装置50に表示されるスルー画像や周辺画像内の監視対象に目印(マーカとも言う)を重畳して表示させる機能(目印表示機能)の一例(以下、「第1の目印表示機能」とも称する場合がある)について説明する。
<周辺監視システムの構成>
図3は、第1の特徴機能(第1の目印表示機能)に関する本実施形態に係る周辺監視システム100の構成の一例を示すブロック図である。
尚、図3では、第1の特徴機能に関する構成を中心に示され、図1、図2に示される他の構成は、省略される。
周辺監視システム100は、上述の如く、ショベルの周辺の所定範囲内への所定の物体(本実施形態では、車両及び人)の侵入を監視し、所定の物体を検知した場合、オペレータ等への通知を行う。周辺監視システム100は、コントローラ30、撮像装置40、表示装置50を含む。
コントローラ30(制御装置の一例)は、上述の如く、周辺監視システム100における各種制御処理を行う。コントローラ30は、例えば、ROMや不揮発性の補助記憶装置に格納される各種プログラムをCPU上で実行することにより実現される機能部として、監視対象検知部301A、監視画像表示処理部302A、目印画像表示処理部303Aを含む。
撮像装置40は、上述の如く、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む比較的広い上下方向の撮像範囲(画角)を有する。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、ショベルの運転中、所定周期(例えば、1/30秒)毎に、撮像画像を出力し、コントローラ30に送信する。
表示装置50は、コントローラ30(具体的には、監視画像表示処理部302A)による制御の下、撮像装置40により撮像されるショベルの周辺の様子を表す監視画像を表示する。監視画像には、撮像装置40の撮像画像(スルー画像)、及びコントローラ30(具体的には、監視画像表示処理部302A)により撮像装置40の撮像画像に基づき生成される周辺画像(例えば、視点変換画像)等が含まれる。詳細は、後述する(図4、図5参照)。
監視対象検知部301Aは、ショベル周辺の所定の監視対象を検知する。監視対象は、上述の如く、例えば、人、作業車両(トラック)、その他の障害物等である。以下、第1の特徴機能に関する説明では、監視対象が人である場合を中心に説明を行う。具体的には、監視対象検知部301Aは、撮像装置40により撮像された撮像画像に基づき、ショベルの周辺における所定領域(以下、「監視エリア」と称する)内、例えば、ショベルから所定距離D1(例えば、5メートル)以内の監視対象(即ち、人)を検知する。例えば、監視対象検知部301Aは、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像装置40の撮像画像内の人を認識すると共に、認識した人の実在位置(ショベルから認識した人までの距離D等)を特定することができる。
また、監視対象検知部301Aは、撮像装置40の撮像画像に基づく画像処理により人を検知する過程で生成される、撮像画像内における検知された人の位置を代表的に示す点(代表点)に関する情報(代表点情報)を目印画像表示処理部303Aに送る。代表点は、例えば、撮像画像上における検知された人の足元位置に対応する点、頭の位置に対応する点等、任意の点であってよい。以下、代表点は、撮像画像上の検知された人の足元位置に対応する点である前提で説明を進める。
尚、監視対象検知部301Aは、撮像装置40の撮像画像に代えて、或いは、加えて、他のセンサ、例えば、ミリ波レーダ、LIDAR、ステレオカメラ等の検出結果(距離画像等)に基づき、監視対象を検知してもよい。
監視画像表示処理部302Aは、オペレータによる各種操作等に応じて、撮像装置40により撮像されるショベルの周辺の様子を表す監視画像を表示装置50に表示させる。例えば、監視画像表示処理部302Aは、オペレータによる所定操作に応じて、撮像装置40、即ち、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの撮像画像(スルー画像)を監視画像として表示装置50にそのまま表示させる。この際、監視画像表示処理部302Aは、オペレータによる操作の内容や設定内容等に応じて、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのうちの1つのカメラの撮像画像を表示装置50に表示させてもよいし、複数(2つ或いは3つ)のカメラの撮像画像を同時に表示装置50に表示させてもよい。また、例えば、監視画像表示処理部302Aは、オペレータによる所定操作に応じて、撮像装置40の撮像画像に基づき周辺画像(例えば、視点変換画像)を生成し、表示装置50に表示させる。具体的には、監視画像表示処理部302Aは、周辺画像として、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの撮像画像に基づき、既知の視点変換処理を行うことにより、視点変換画像(仮想視点から見た画像)を生成し、表示装置50に表示させる。また、監視画像表示処理部302Aは、周辺画像を表示装置50に表示させる際、周辺画像に写っている撮像装置40の撮像範囲のショベルに対する相対位置関係を明示するため、ショベルを模式的に表すショベル画像を併せて表示装置50に表示させる。即ち、監視画像表示処理部302Aは、ショベル画像と、ショベルと撮像装置40の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視画像を生成し、表示装置50に表示させる。以下、図4、図5を参照して、表示装置50に表示される監視画像について説明をする。
図4は、表示装置50に表示される監視画像の一例(監視画像MP1)を示す図であり、具体的には、表示装置50に監視画像MP1として表示されるスルー画像を示す図である。図5は、表示装置50に表示される監視画像の他の例(監視画像MP2)を示す図であり、具体的には、表示装置50に表示される周辺画像EP(視点変換画像)及びショベル画像CGを含む監視画像MP2を示す図である。
図4に示すように、表示装置50における横長の長方形の画面(例えば、アスペクト比4:3の画面)には、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのうちの何れか1つのカメラの撮像画像が表示されている。
また、本例では、表示装置50に表示されるスルー画像に人(作業者W1A)が含まれている。また、スルー画像上の作業者W1Aには、その位置(本実施形態では、監視対象検知部301Aによる検知位置)を表す目印画像FR1A、即ち、目印画像FR1Aとしての作業者W1Aを取り囲む枠が重畳して表示されている。これにより、オペレータは、表示装置50に映っている監視対象(即ち、人)に気付きやすくなると共に、表示装置50に表示される監視画像、具体的には、スルー画像或いは周辺画像(視点変換画像)上において、監視対象(即ち、人)の状況等を視認し易くなる。目印画像の詳細については、後述する。
また、図5に示すように、表示装置50における横長の長方形の画面(例えば、アスペクト比4:3の画面)には、上述の如く、ショベル画像CGと、ショベル画像CGの周囲に配置される周辺画像EPとを含む監視画像MP2が表示されている。これにより、オペレータは、周辺画像EPに写っている監視対象(即ち、人)と、ショベルとの位置関係を適切に把握することができる。
本例では、周辺画像EPは、ショベルに隣接する周辺領域を真上から見た俯瞰画像BVPと、当該俯瞰画像BVPの周りに配置される、ショベルから当該周辺領域の周囲を水平方向に見た水平画像HVPとを組み合わせた視点変換画像である。視点変換画像である周辺画像EPは、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面若しくは曲面を含む一又は複数の平面若しくは曲面で構成される。以下、本実施形態における周辺画像は、ショベルに隣接する周辺領域を真上から見た俯瞰画像と、該周辺領域の周囲を水平方向に見た水平画像とを組み合わせた視点変換画像である前提で説明を続ける。
また、監視画像MP2(周辺画像EP)には、ガイドラインGL1が重畳表示される。ガイドラインGL1は、ショベルからの距離Dが所定距離D2(<D1)の位置を表す。これにより、監視画像内の周辺画像に監視対象(即ち、人)が映っている場合、オペレータは、ショベルからどの程度離れた位置にいるかを把握することができる。
また、本例では、図4と同様、表示装置50に表示される監視画像MP2内の周辺画像EPに人(作業者W2A)が含まれている。また、周辺画像上の作業者W2Aには、その位置(本実施形態では、監視対象検知部301Aによる検知位置)を表す目印画像FR1A、即ち、作業者W2Aを取り囲む枠が重畳して表示されている。上述の如く、目印画像の詳細については、後述する。
図3に戻り、目印画像表示処理部303Aは、監視対象検知部301Aにより監視対象が検知された場合、表示装置50に表示されている監視画像上に、監視画像に含まれる監視対象(即ち、人)の位置を表す上述の目印画像を重畳して表示させる。目印画像は、監視画像に含まれる人の位置を強調することが可能であれば、任意の態様であってよく、例えば、図形、色、模様、或いはそれらの組み合わせ等により構成されてよい。以下、本実施形態では、目印画像が図形(以下、「目印図形」と称する)である前提で説明を進める。目印画像表示処理部303Aは、更に細分化された機能部として、候補点生成部3031A、目印画像選択部3032A、構成点選択部3033A、エンコード部3034A、送信部3035Aを含む。
候補点生成部3031Aは、表示装置50に表示されている監視画像に含まれる、監視対象検知部301Aにより検知された監視対象(即ち、人)の検出位置を表す目印図形の頂点の候補となる複数の候補点(以下、候補点群と称する)を生成する。例えば、候補点生成部3031Aは、監視対象検知部301Aから取得する、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rの何れか1つの撮像画像上における検知された人の代表点情報に基づき、当該撮像画像上における人が存在する領域を認識すると共に、所定の規則に従い、予め規定される個数の候補点を生成する。以下、候補点群として生成される候補点の個数がM(3以上の整数)である前提で説明を進める。また、候補点生成部3031Aは、表示装置50に表示されている監視画像が視点変換画像等の周辺画像である場合、撮像画像上の候補点群の位置データ(座標)を、撮像画像から周辺画像を生成する場合と同様の変換方法に基づき、周辺画像上の候補点群の位置データ(座標)に変換する。これにより、周辺画像上に含まれる検知された人の検知位置を表す目印図形の頂点の候補点群を生成することができる。
例えば、図6は、撮像装置40の撮像画像上に含まれる、監視対象検知部301Aにより検知された人に対応する候補点群の一例を示す図である。図6に示すように、撮像装置40、即ち、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの何れか1つの撮像画像の中央付近に、背中を向けた作業者W1Aが写っており、作業者W1Aの足元付近には、監視対象検知部301Aにより生成される代表点RPが示されている。本例では、候補点群CPは、当該撮像画像に含まれる作業者W1Aを取り囲む態様で、合計16個(M=16)の候補点(白抜きの丸)の集まりとして生成されている。
図3に戻り、目印画像選択部3032A(選択部の一例)は、予め規定される複数の種類の目印画像(目印図形)の中から、実際に表示装置50の監視画像上に重畳して表示させる目印画像(目印図形)を選択する。本実施形態では、候補となる複数の種類の目印図形は、候補点群の中から選択される2以上の候補点を構成点とする複数の種類の図形、即ち、線分、三角形、四角形、...、M角形のうちの2種類以上の図形を含む。構成点とは、線分の端点、或いは多角形の頂点等を意味する。即ち、目印画像選択部3032Aは、候補点群の中から選択される2以上の候補点(以下、「選択点」と称する)を構成点とする2種類以上の図形の中から1つを選択する。具体的には、目印画像選択部3032Aは、候補点群の中から図形の構成点として選択する候補点の数(以下、「選択数」と称する)を決定する。以下、目印画像選択部3032Aは、M角形(選択数M)、四角形(選択数4)、線分(選択数2)の3種類の目印図形の中から、監視画像上に重畳して表示させる目印図形を選択する、即ち、目印画像選択部3032Aは、目印図形を構成する構成点をM、4、及び2の何れかに決定する前提で、説明を進める。この場合、候補点群に含まれる候補点数Mは、5以上である。詳細は、後述する。
構成点選択部3033Aは、候補点生成部3031Aにより生成された候補点群の中から、目印画像選択部3032Aにより決定された選択数だけ、目印図形の構成点を選択する。目印画像選択部3032AによりM角形が選択された場合、構成点選択部3033Aは、当然の如く、候補点群に含まれる全て(M個)の候補点を目印図形の構成点として選択する。また、目印画像選択部3032Aにより四角形或いは線分が選択された場合、構成点選択部3033Aは、予め規定される規則に従い、候補点群(即ち、M個の候補点)の中から4個或いは2個の構成点を選択する。
例えば、図7(図7A、図7B)、図8(図8A、図8B)、図9(図9A、図9B)は、構成点選択部3033Aにより候補点群から選択される目印画像の構成点の一例(選択数Mの場合)、他の例(選択数4の場合)、及び更に他の例(選択数2の場合)を示す図である。具体的には、図7A、図8A、及び図9Aは、図6に示す候補点が生成された場合に、目印画像選択部3032Aにより選択された目印図形の種類、即ち、決定された選択数に応じて、候補点群の中から選択される目印画像の構成点の態様を示す。また、図7B、図8B、及び図9Bは、それぞれ、図7A、図8A、及び図9Aに示す構成点が選択された場合に、表示装置50に表示される目印図形を示す図である。
尚、図7A、図8A、及び図9Aにおいて、構成点選択部3033Aにより選択された構成点は、黒丸で示され、候補点群の中の選択されない候補点は、白抜きの丸で示される。
目印画像選択部3032Aにより選択された目印図形の種類がM角形、即ち、決定された選択数がMである場合、図7Aに示すように、当然の如く、撮像画像上において、監視対象検知部301Aにより検知された作業者W1Aの周囲を取り囲む態様で配置される候補点群のM(=16)個の候補点が全て目印図形の構成点として選択される。そして、図7Bに示すように、表示装置50には、撮像画像上において、監視対象検知部301Aにより検知された作業者W1Aの周囲を取り囲む態様の目印画像FR1AとしてのM角形、即ち、十六角形が重畳して表示される。
また、目印画像選択部3032Aにより選択された目印画像の種類が四角形、即ち、決定された頂点数が4である場合、図8Aに示すように、撮像画像上において、監視対象検知部301Aにより検知された作業者W1Aの身体の上下軸を足元より下側及び頭より上側の双方に延長した方向に存在する2つの候補点と、作業者W1Aの略両肩を結ぶ軸を両肩の外側に延長した方向に存在する2つの候補点とが目印図形の構成点として選択されている。そして、図8Bに示すように、表示装置50には、撮像画像上において、監視対象検知部301Aにより検知された作業者W1Aを取り囲む態様の目印画像FR1Aとしての四角形が重畳して表示される。
このように、目印図形が3以上の構成点で構成される場合、監視対象を取り囲む態様で表示できるため、表示装置50に表示される監視画像内の監視対象の目印として機能させつつ、監視画像内の監視対象の様子をオペレータ等に把握させることができる。
また、目印画像選択部3032Aにより選択された目印画像の種類が線分、即ち、決定された頂点数が2である場合、図9Aに示すように、撮像画像上において、監視対象検知部301Aにより検知された作業者W1Aの身体の上下軸を足元より下側及び頭より上側の双方に延長した方向に存在する2つの候補点が目印図形の構成点として選択されている。そして、図9Bに示すように、表示装置50には、撮像画像上において、監視対象検知部301Aにより検知された作業者W1Aの上下軸を略示す態様の目印画像FR1Aとしての線分が重畳して表示される。
図3に戻り、エンコード部3034Aは、構成点選択部3033Aにより候補点群の中から選択された目印図形の構成点の位置情報、具体的には、表示装置50に表示されている監視画像上における位置情報(座標情報)を予め規定された規則に従い、エンコードし、表示装置50に送信するデータ(以下、送信用データと称する)を生成する。
送信部3035Aは、エンコード部3034Aにより生成された送信用データを表示装置50に送信する。これにより、表示装置50は、送信用データに含まれる目印図形の頂点の位置情報(座標情報)に基づき、目印画像選択部3032Aにより複数の種類の目印図形の中から選択された種類の目印画像を監視画像上に重畳して表示することができる。
<周辺監視システムの動作の詳細>
次に、図10~図14を参照して、本実施形態に係る周辺監視システム100による特徴的な処理、即ち、目印画像表示処理部303Aによる目印画像を表示装置50に表示させる処理(目印画像表示処理)の詳細について説明をする。
まず、図10は、コントローラ30(目印画像表示処理部303A)による目印画像表示処理の第1例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、ショベルの運転中、表示装置50に監視画像が表示されている場合に、所定時間ごと(例えば、監視対象検知部301Aによる監視対象の検知周期ごと)に繰り返し実行される。
ステップS101Aにて、候補点生成部3031Aは、監視対象検知部301Aにより監視対象が検知されているか否かを判定する。候補点生成部3031Aは、監視対象検知部301Aにより監視対象が検知されている場合、ステップS102Aに進み、検知されていない場合、今回の処理を終了する。
ステップS102Aにて、候補点生成部3031Aは、監視対象検知部301Aから検知された監視対象(即ち、人)の撮像画像上における代表点を取得する。
ステップS104Aにて、候補点生成部3031Aは、取得した代表点に基づき、表示装置50に表示されている監視画像(撮像画像或いは周辺画像)上における目印図形の頂点の候補となる候補点群を生成する。
ステップS106Aにて、目印画像選択部3032Aは、監視対象検知部301Aにより現に検知されている監視対象の数(以下、「検知数」と称する)Nが所定数N11以下であるか否かを判定する。所定数N11は、監視対象検知部301Aにより検知されている全ての監視対象(即ち、人)について、M個の頂点(即ち、候補点生成部3031Aにより生成される全ての候補点)の位置情報を含む送信用データを所定の送信周期内に確実に送信可能な検知数Nの上限として設定される。目印画像選択部3032Aは、検知数Nが所定数N11以下である場合、ステップS108Aに進み、検知数Nが所定数N11以下でない場合、ステップS110Aに進む。
ステップS108Aにて、目印画像選択部3032Aは、目印図形の種類としてM角形を選択する。即ち、目印画像選択部3032Aは、候補点生成部3031Aにより生成された候補点群の中から選択する目印図形の構成点の数(選択数)をM(5以上の整数)に決定する。
一方、ステップS110Aにて、目印画像選択部3032Aは、検知数Nが所定数N11より大きい所定数N12以下であるか否かを判定する。所定数N12は、監視対象検知部301Aにより検知された全ての監視対象(即ち、人)について、4個の頂点の位置情報を含む送信用データを所定の送信周期内に確実に送信可能な検知数Nの上限として設定される。目印画像選択部3032Aは、検知数Nが所定数N12以下である場合、ステップS112Aに進み、検知数が所定数N12以下でない場合、ステップS114Aに進む。
ステップS112Aにて、目印画像選択部3032Aは、目印図形の種類として四角形を選択する。即ち、目印画像選択部3032Aは、候補点生成部3031Aにより生成された候補点群の中から選択する目印画像の構成点の数(選択数)を4に決定する。
一方、ステップS114Aにて、目印画像選択部3032Aは、目印図形の種類として線分を選択する。即ち、目印画像選択部3032Aは、候補点生成部3031Aにより生成された候補点群の中から選択する目印画像の構成点の数(選択数)を2に決定する。
ステップS115Aにて、構成点選択部3033Aは、候補点生成部3031Aにより生成された候補点群の中から、ステップS108A,S112A,S114Aの何れかの処理において、目印画像選択部3032Aにより決定された選択数だけ目印図形の構成点を選択する。
ステップS116Aにて、エンコード部3034Aは、構成点選択部3033Aにより選択された構成点の位置情報をエンコードし、送信用データを生成する。
ステップS118Aにて、送信部3035Aは、エンコード部3034Aにより生成される送信用データを表示装置50に送信し、今回の処理を終了する。
このように、本例では、目印画像表示処理部303Aは、表示装置50に表示されている監視画像上の監視対象の位置を表す目印を2種類以上の異なる表示態様で表示する。具体的には、目印画像選択部3032Aは、監視対象検知部301Aにより検知されている監視対象の検知数Nに応じて、表示装置50に表示されている監視画像上における監視対象の位置を表す目印画像の種類を変更する。より具体的には、目印画像選択部3032Aは、検知数Nが多くなるほど、目印図形の構成点の数を少なくする、即ち、表示装置50に目印画像を表示させるための仕様情報(以下、単に「目印画像の仕様情報」と称する)としての構成点の位置情報のデータ量を小さくする。これにより、監視対象検知部301Aにより検知されている監視対象の検知数Nが比較的多くなり、コントローラ30から表示装置50に送信すべき目印画像の仕様情報としての構成点の位置情報のデータ量が多くなる等、通信帯域が不足しうる状況であっても、検知数Nに応じて、目印画像の仕様情報のデータ量を調整することができる。具体的には、構成点数を減らして、送信用データに含まれる構成点の位置情報のデータ量を減らすことができる。そのため、表示装置50に表示されている監視画像上で、監視対象の位置を表す目印画像の仕様情報を含む送信用データを、コントローラ30から表示装置50に所定の送信周期内で確実に送信することができる。また、検知数Nが多くなると、監視画像に含まれる監視対象の数に比例して、目印画像の数も増え、情報過多により監視画像が見にくくなる可能性があるところ、検知数Nが多くなるほど、目印図形の構成点を減らし、目印画像が簡素化されるため、このような事態を抑制できる。
尚、目印画像の仕様情報には、図形の構成点の位置情報の他、目印画像の大きさ、模様、色等の種別を示す情報や、大きさ、模様、色の変化や点滅の有無を示す情報等が含まれうる。例えば、コントローラ30(送信部3035A)は、通信帯域が不足する状況でない場合(即ち、本例における検知数Nが比較的少ない場合)、比較的多くの属性(形状、色、模様、点滅の有無等)を含む目印画像を表示させるための仕様情報を含む比較的データ量の大きい送信用データを表示装置50に送信してよい。これにより、目印画像の情報量が増え、監視対象をより強調することができる。一方、コントローラ30(送信部3035A)は、通信帯域が不足する状況の場合(即ち、本例における検知数Nが比較的多い場合)、比較的少ない属性(例えば、形状だけ)を含む目印画像を表示させるための仕様情報を含む比較的データ量の小さい送信用データを表示装置50に送信してよい。これにより、上述の如く、通信帯域が不足し得る状況であっても、目印画像の仕様情報を含むデータを所定の送信周期内で確実に送信することができる。以下、図11、図12の場合も同様である。
続いて、図11は、コントローラ30(目印画像表示処理部303A)による目印画像表示処理の第2例を概略的に示すフローチャートである。本フローチャートによる処理は、上述した第1例(図10)と同様、例えば、ショベルの運転中、表示装置50に監視画像が表示されている場合に、所定時間ごと(例えば、監視対象検知部301Aによる監視対象の検知周期ごと)に繰り返し実行される。
尚、本フローチャートによる処理では、監視対象検知部301Aにより検知される監視対象の検知数Nの上限、即ち、所定の処理周期内で検知可能な監視対象の検知数Nの上限として最大検知数Nmaxが予め設定される前提で説明を進める。また、最大検知数Nmaxは、処理周期、コントローラ30の処理性能等によりその最大値が予め規定されると共に、オペレータによる所定操作に応じて、当該最大値以下の範囲で設定可能であってよい。
本フローチャートのステップS201A~S204A,S215A~S218Aは、上述した第1例と同じであるため、異なる部分を中心に説明する。
ステップS206Aにて、目印画像選択部3032Aは、最大検知数Nmaxが所定数N21以下であるか否かを判定する。所定数N21は、仮に、監視対象検知部301Aにより最大検知数Nmaxに相当する監視対象(即ち、人)が検知された場合であっても、検知された全ての監視対象について、M個の頂点(即ち、候補点生成部3031Aにより生成される全ての候補点)の位置情報を含む送信用データを所定の送信周期内に確実に送信可能な最大検知数Nmaxの上限として設定される。目印画像選択部3032Aは、最大検知数Nmaxが所定数N21以下である場合、ステップS208Aに進み、最大検知数Nmaxが所定数N21以下でない場合、ステップS210Aに進む。
ステップS208Aにて、目印画像選択部3032Aは、目印図形の種類としてM角形を選択する。即ち、目印画像選択部3032Aは、候補点生成部3031Aにより生成された候補点群の中から選択する目印図形の構成点の数(選択数)をM(5以上の整数)に決定する。
一方、ステップS210Aにて、目印画像選択部3032Aは、検知数Nが所定数N21より大きい所定数N22以下であるか否かを判定する。所定数N22は、仮に、監視対象検知部301Aにより最大検知数Nmaxに相当する監視対象(即ち、人)が検知された場合であっても、検知された全ての監視対象について、4個の頂点の位置情報を含む送信用データを所定の送信周期内に確実に送信可能な最大検知数Nmaxの上限として設定される。目印画像選択部3032Aは、最大検知数Nmaxが所定数N22以下である場合、ステップS212Aに進み、検知数が所定数N22以下でない場合、ステップS214Aに進む。
ステップS212Aにて、目印画像選択部3032Aは、目印図形の種類として四角形を選択する。即ち、目印画像選択部3032Aは、候補点生成部3031Aにより生成された候補点群の中から選択する目印画像の構成点の数(選択数)を4に決定する。
一方、ステップS214Aにて、目印画像選択部3032Aは、目印図形の種類として線分を選択する。即ち、目印画像選択部3032Aは、候補点生成部3031Aにより生成された候補点群の中から選択する目印画像の構成点の数(選択数)を2に決定する。
このように、本例では、上述した図10と同様、目印画像表示処理部303Aは、表示装置50に表示されている監視画像上の監視対象の位置を表す目印を2種類以上の異なる表示態様で表示する。具体的には、目印画像選択部3032Aは、監視対象検知部301Aにより検知される監視対象の検知数Nの上限として予め設定される最大検知数Nmaxに応じて、表示装置50に表示されている監視画像上における監視対象の位置を表す目印画像の種類を変更する。具体的には、目印画像選択部3032Aは、最大検知数Nmaxが多くなるほど、目印図形の構成点の数を少なくする、即ち、目印画像の仕様情報としての構成点の位置情報のデータ量を小さくする。これにより、最大検知数Nmaxが比較的大きい値に設定されている状況で、仮に、監視対象検知部301Aにより最大検知数Nmaxに相当する監視対象が検知され、コントローラ30から表示装置50に送信すべき目印画像の仕様情報を含む送信用データのデータ量が多くなる等、通信帯域が不足しうる状況が生じても、最大検知数Nmaxに応じて、目印画像のデータ量を調整することができる。そのため、上述した第1例の場合と同様、表示装置50に表示されている監視画像上で、監視対象の位置を表す目印画像の仕様情報を含む送信用データを、コントローラ30から表示装置50に所定の送信周期内で確実に送信することができる。また、上述した第1例の場合戸同様、最大検知数Nmaxが多くなると、監視画像に含まれる監視対象の数に比例して、目印画像の数も増え、情報過多により監視画像が見にくくなる可能性があるところ、最大検知数Nmaxが多くなるほど、目印図形の構成点を減らし、目印画像が簡素化されるため、このような事態を抑制できる。
続いて、図12は、コントローラ30(目印画像表示処理部303A)による目印画像表示処理の第3例を概略的に示すフローチャートである。本フローチャートによる処理は、上述した第1例(図10)等と同様、例えば、ショベルの運転中、表示装置50に監視画像が表示されている場合に、所定時間ごと(例えば、監視対象検知部301Aによる監視対象の検知周期ごと)に繰り返し実行される。
本フローチャートのステップS301A~S304A,S315A~S318Aは、上述した第1例と同じであるため、異なる部分を中心に説明する。
ステップS306Aにて、目印画像選択部3032Aは、表示装置50に現に表示されている監視画像(スルー画像或いは周辺画像)に対応する撮像装置40の撮像範囲内で、監視対象検知部301Aにより現に検知されている監視対象の数(以下、監視画像内検知数と称する)Npが所定数N31以下であるか否かを判定する。所定数N31は、上述した第1例(図10)の所定数N11と同様、表示装置50に現に表示されている監視画像に対応する撮像装置40の撮像範囲内で、監視対象検知部301Aにより検知されている全ての監視対象(即ち、人)について、M個の頂点(即ち、候補点生成部3031Aにより生成される全ての候補点)の位置情報を含む送信用データを所定の送信周期内に確実に送信可能な監視画像内検知数Npの上限として設定される。
ステップS308Aにて、目印画像選択部3032Aは、目印図形の種類としてM角形を選択する。即ち、目印画像選択部3032Aは、候補点生成部3031Aにより生成された候補点群の中から選択する目印図形の構成点の数(選択数)をM(5以上の整数)に決定する。
一方、ステップS310Aにて、目印画像選択部3032Aは、監視画像内検知数Npが所定数N31より大きい所定数N32以下であるか否かを判定する。所定数N32は、上述した第1例(図10)の所定数N12と同様、表示装置50に現に表示されている監視画像に対応する撮像装置40の撮像範囲内で、監視対象検知部301Aにより検知された全ての監視対象(即ち、人)について、4個の頂点の位置情報を含む送信用データを所定の送信周期内に確実に送信可能な監視画像内検知数Npの上限として設定される。目印画像選択部3032Aは、監視画像内検知数Npが所定数N32以下である場合、ステップS312Aに進み、監視画像内検知数Npが所定数N32以下でない場合、ステップS314Aに進む。
ステップS312Aにて、目印画像選択部3032Aは、目印図形の種類として四角形を選択する。即ち、目印画像選択部3032Aは、候補点生成部3031Aにより生成された候補点群の中から選択する目印画像の構成点の数(選択数)を4に決定する。
一方、ステップS314Aにて、目印画像選択部3032Aは、目印図形の種類として線分を選択する。即ち、目印画像選択部3032Aは、候補点生成部3031Aにより生成された候補点群の中から選択する目印画像の構成点の数(選択数)を2に決定する。
このように、本例では、上述した図10等の場合と同様、目印画像表示処理部303Aは、表示装置50に表示されている監視画像上の監視対象の位置を表す目印を2種類以上の異なる表示態様で表示する。具体的には、目印画像選択部3032Aは、表示装置50に表示されている監視画像(撮像画像或いは周辺画像)に対応する撮像装置40の撮像範囲内で、監視対象検知部301Aにより検知されている監視対象の検知数(監視画像内検知数Np)に応じて、表示装置50に表示されている監視画像上における監視対象の位置を表す目印画像の種類を変更する。即ち、目印画像選択部3032Aは、表示装置50に表示されている監視画像に含まれる監視対象の数に応じて、当該監視画像上における監視対象の位置を表す目印画像の種類を変更する。より具体的には、目印画像選択部3032Aは、監視画像内検知数Npが多くなるほど、目印図形の構成点の数を少なくし、送信用データに含まれる目印画像の仕様情報としての構成点の位置情報のデータ量を少なくする。即ち、目印画像選択部3032Aは、表示装置50に表示されている監視画像に含まれる監視対象の数が多くなるほど、目印図形の構成点の数を少なくし、送信用データのデータ量を小さくする。これにより、監視画像内検知数Np、即ち、表示装置50に表示されている監視画像に含まれる監視対象が比較的多くなり、コントローラ30から表示装置50に送信すべき目印画像の仕様情報としての構成点の位置情報のデータ量が多くなる等、通信帯域が不足しうる状況であっても、監視画像内検知数Npに応じて、目印画像の仕様情報のデータ量を調整することができる。また、監視画像内検知数Npが多くなると、監視画像に含まれる監視対象の数に比例して、目印画像の数も増え、情報過多により監視画像が見にくくなる可能性があるところ、監視画像内検知数Npが多くなるほど、目印図形の構成点を減らし、目印画像が簡素化されるため、このような事態を抑制できる。また、例えば、監視画像として1つのカメラの撮像画像が表示装置50に表示されている場合、監視画像内検知数Npは、複数のカメラ、即ち、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの撮像画像に基づき、監視対象検知部301Aにより検知されている監視対象の全体の検知数Nより少ない場合もあり得る。そのため、このような状況では、仕様情報のデータ量が比較的多い目印画像、即ち、監視対象をより強調し易い目印画像を採用し、オペレータに監視対象を視認し易くすることができる。即ち、本例では、目印画像選択部3032Aは、表示装置50に表示されている監視画像に対応するショベルの周辺領域の大小を考慮して、目印画像の仕様情報のデータ量を調整することができる。
続いて、図13は、コントローラ30(目印画像表示処理部303A)による目印画像表示処理の第4例を概略的に示すフローチャートである。本フローチャートによる処理は、上述した第1例(図10)と同様、例えば、ショベルの運転中、表示装置50に監視画像が表示されている場合に、所定時間ごと(例えば、監視対象検知部301Aによる監視対象の検知周期ごと)に繰り返し実行される。
尚、本例では、表示装置50には、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのうちの最大二台のカメラのスルー画像が同時に表示されうる前提で説明を行う。
本フローチャートのステップS401A~S404A,S415A~S418Aは、上述した第1例と同じであるため、異なる部分を中心に説明する。
ステップS406Aにて、目印画像選択部3032Aは、表示装置50に表示されている監視画像がスルー画像であるか否かを判定する。目印画像選択部3032Aは、表示装置50に表示されている監視画像がスルー画像である場合、ステップS407Aに進み、スルー画像でない(つまり、周辺画像である)場合、ステップS414Aに進む。
ステップS407Aにて、目印画像選択部3032Aは、表示装置50に表示されているスルー画像が、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのうちの一台だけのカメラの撮像画像であるかを判定する。目印画像選択部3032Aは、表示装置50に表示されているスルー画像が、一台だけのカメラの撮像画像である場合、ステップS408Aに進み、それ以外の場合(つまり、二台のカメラの撮像画像である場合)、ステップS412Aに進む。
ステップS408Aにて、目印画像選択部3032Aは、目印図形の種類としてM角形を選択する。即ち、目印画像選択部3032Aは、候補点生成部3031Aにより生成された候補点群の中から選択する目印図形の構成点の数(選択数)をM(5以上の整数)に決定する。
一方、ステップS412Aにて、目印画像選択部3032Aは、目印図形の種類として四角形を選択する。即ち、目印画像選択部3032Aは、候補点生成部3031Aにより生成された候補点群の中から選択する目印画像の構成点の数(選択数)を4に決定する。
また、ステップS414Aにて、目印画像選択部3032Aは、目印図形の種類として線分を選択する。即ち、目印画像選択部3032Aは、候補点生成部3031Aにより生成された候補点群の中から選択する目印画像の構成点の数(選択数)を2に決定する。
このように、本例では、上述した図10等の場合と同様、目印画像表示処理部303Aは、表示装置50に表示されている監視画像上の監視対象の位置を表す目印を2種類以上の異なる表示態様で表示する。具体的には、目印画像選択部3032Aは、表示装置50に表示されている監視画像の種類(つまり、スルー画像であるか、周辺画像であるか)に応じて、表示装置50に表示されている監視画像上における監視対象の位置を表す目印画像の種類を変更する。即ち、目印画像選択部3032Aは、表示装置50に表示されている監視画像に対応するカメラの台数に応じて、当該監視画像上における監視対象の位置を表す目印画像の種類を変更する。より具体的には、目印画像選択部3032Aは、表示装置50に周辺画像が表示されている場合、スルー画像の場合よりも、目印図形の構成点の数を少なくし、送信用データに含まれる目印画像の仕様情報としての構成点の位置情報のデータ量を少なくする。即ち、目印画像選択部3032Aは、表示装置50に表示されている監視画像に対応するカメラの台数が多くなるほど、目印図形の構成点の数を少なくし、送信用データのデータ量を小さくする。監視画像に対応するカメラが多くなり、監視画像として表示されるショベルの周囲の領域が増えると、検知されうる監視対象の数が多くなる傾向にあり、コントローラ30から表示装置50に送信すべき目印画像の仕様情報としての構成点の位置情報のデータ量が多くなる等、通信帯域が不足しうる状況であっても、監視画像に対応するカメラの台数に応じて、目印画像の仕様情報のデータ量を調整することができる。一方、監視画像に対応するカメラの台数が少ない場合には、構成点が多く、監視対象を強調し易い目印画像を表示させることができ、オペレータ等による監視対象の把握を促し易くなる。また、監視画像に対応するカメラが多くなると、監視画像に含まれる監視対象の数に比例して、目印画像の数も増え、情報過多により監視画像が見にくくなる可能性があるところ、監視画像に対応するカメラの台数が多くなるほど、目印図形の構成点を減らし、目印画像が簡素化されるため、このような事態を抑制できる。
続いて、図14は、コントローラ30(目印画像表示処理部303A)による目印画像表示処理の第5例を概略的に示すフローチャートである。本フローチャートによる処理は、上述した第1例(図10)と同様、例えば、ショベルの運転中、表示装置50に監視画像が表示されている場合に、所定時間ごと(例えば、監視対象検知部301Aによる監視対象の検知周期ごと)に繰り返し実行される。
本フローチャートのステップS501A~S504A,S515A~S518Aは、上述した第1例と同じであるため、異なる部分を中心に説明する。
以下、ステップS506A~S514Aの処理は、監視対象検知部301Aにより検知されている監視対象ごとに行われる。
ステップS506Aにて、目印画像選択部3032Aは、監視対象検知部301Aにより検知されている監視対象のショベルからの距離Dが所定距離D3(<D2<D1)以下であるか否かを判定する。目印画像選択部3032Aは、監視対象検知部301Aにより検知されている監視対象のショベルからの距離Dが所定距離D3以下である場合、ステップS508Aに進み、それ以外の場合、ステップS510Aに進む。
ステップS508Aにて、目印画像選択部3032Aは、目印図形の種類としてM角形を選択する。即ち、目印画像選択部3032Aは、候補点生成部3031Aにより生成された候補点群の中から選択する目印図形の構成点の数(選択数)をM(5以上の整数)に決定する。
一方、ステップS510Aにて、目印画像選択部3032Aは、監視対象検知部301Aにより検知されている監視対象のショベルからの距離Dが所定距離D2(<D1)以下であるか否かを判定する。目印画像選択部3032Aは、監視対象検知部301により検知されている監視対象のショベルからの距離Dが所定距離D2以下である場合、ステップS512Aに進み、それ以外の場合、ステップS514Aに進む。
ステップS412Aにて、目印画像選択部3032Aは、目印図形の種類として四角形を選択する。即ち、目印画像選択部3032Aは、候補点生成部3031Aにより生成された候補点群の中から選択する目印画像の構成点の数(選択数)を4に決定する。
また、ステップS414Aにて、目印画像選択部3032Aは、目印図形の種類として線分を選択する。即ち、目印画像選択部3032Aは、候補点生成部3031Aにより生成された候補点群の中から選択する目印画像の構成点の数(選択数)を2に決定する。
このように、本例では、上述した図10等の場合と同様、目印画像表示処理部303Aは、表示装置50に表示されている監視画像上の監視対象の位置を表す目印を2種類以上の異なる表示態様で表示する。具体的には、目印画像選択部3032Aは、表示装置50に表示されている監視画像のショベルからの距離に応じて、表示装置50に表示されている監視画像上における監視対象の位置を表す目印画像の種類を変更する。より具体的には、目印画像選択部3032Aは、監視対象のショベルからの距離が遠くなるほど、目印図形の構成点の数を少なくし、送信用データに含まれる印画像の仕様情報としての構成点の位置情報のデータ量を少なくする。一方、目印画像選択部3032Aは、監視画像のショベルからの距離が近くなるほど、目印図形の構成点を多くし、監視対象を目立たせ易くする。これにより、安全確保のために優先度の高い監視対象、つまり、ショベルに近接する領域にいる監視対象のオペレータ等による把握を促すことができる。一方、相対的に優先度が低い監視対象、つまり、ショベルから比較的離れている監視対象については、簡素な目印画像による通知とすることで、上述した通信帯域の不足等を抑制することができる。
尚、図10~図14で示す例示では、表示装置50に表示される監視画像に表示される目印画像は、所定の条件に応じて、自動的に規定されるが、オペレータ等が手動で設定可能な態様であってもよい(図15、図16参照)。
<目印画像の表示設定>
次に、図15、図16を参照して、オペレータ等による目印画像の表示設定について説明する。
まず、図15は、表示装置50に表示される、オペレータ等が目印画像の表示設定を行うための操作画面(以下、「目印画像設定画面」と称する)の一例(目印画像設定画面1500)を示す図である。
目印画像設定画面1500では、予め規定された3つの表示モード(通常モード、シンプルモード、強調優先モード)の中から1つの表示モードを選択する態様で、オペレータ等が目印画像の表示設定を行うことができる。
目印画像設定画面1500は、キャビン10内に設けられるボタン、トグル、ジョイスティック等のハードウェアによる操作部や、表示装置50に実装されるタッチパネル等により操作可能なボタンアイコン1501~1504を含む。
ボタンアイコン1501は、"通常モード"の文字画像が付記されており、オペレータ等は、当該ボタンアイコン1501を選択し、決定する操作を行うことにより、目印画像の表示モードとして、通常モードを設定することができる。
通常モードは、上述した図10~図14の少なくとも一つの処理に基づき、自動的に、監視画像に表示される目印画像が決定される表示モードである。
ボタンアイコン1502は、"シンプルモード"の文字画像が付記されており、オペレータ等は、当該ボタンアイコン1502を選択し、決定する操作を行うことにより、目印画像の表示モードとして、シンプルモードを設定することができる。
シンプルモードは、監視画像に表示される目印画像が比較的簡素な態様(例えば、上述した四角形や線分等)に固定される表示モードである。シンプルモードでは、監視画像に含まれる監視対象の数が比較的多い場合であっても、目印画像のせいで監視画像が煩雑なり、反って、監視対象の把握がし難くなるような状況が抑制されうる。
ボタンアイコン1503は、"強調優先モード"の文字画像が付記されており、オペレータ等は、当該ボタンアイコン1503を選択し、決定する操作を行うことにより、目印画像の表示モードとして、強調優先モードを設定することができる。
強調優先モードは、監視画像に表示されるが目印画像が比較的目につきやすい態様(例えば、上述したM角形等の比較的データ量の多い目印図形)に固定される表示モードである。強調優先モードでは、例えば、オペレータが、表示装置50を注視できないような非常に操作難易度が高い作業等を行っているような状況であっても、表示装置50に表示されている監視対象を認識し易くなる。
ボタンアイコン1504は、"カスタマイズ版"の文字情報が付記されており、オペレータ等は、当該ボタンアイコン1504を選択し、決定する操作を行うことにより、より詳細な目印画像の設定が可能な操作画面(後述の目印画像設定画面1600)に遷移できる。
このように、本例では、オペレータ等は、予め規定されたシンプルモードと強調優先モードの中から表示モードを設定することができる。これにより、周辺監視システム100は、オペレータの好みに合わせた目印画像の表示を行うことができる。
続いて、図16は、表示装置50に表示される目印画像設定画面の他の例(目印画像設定画面1600)を示す図である。
目印画像設定画面1600では、オペレータ等が目印画像の仕様を具体的に設定することができる。
目印画像設定画面1600は、キャビン10内に設けられるボタン、トグル、ジョイスティック等のハードウェアによる操作部や、表示装置50に実装されるタッチパネル等により操作可能なボタンアイコン1601~1604を含む。
ボタンアイコン1601は、"目印の一律選択"の文字情報が付されており、オペレータ等は、当該ボタンアイコン1601を選択し、決定する操作を行うことにより、監視画像に表示させる目印画像の種類を固定させるための設定画面に遷移することができる。よって、オペレータ等は、遷移後の設定画面で、複数の種類の目印画像(例えば、上述したM角形、四角形、及び、線分)の中から自分の好みの目印画像を設定することができる。
ボタンアイコン1602は、"監視対象の種類"の文字情報が付されている。オペレータ等は、当該ボタンアイコン1602を選択し、決定する操作を行うことにより、監視対象の種類ごとに、監視画像に表示させる目印画像の種類を設定する設定画面に遷移することができる。遷移後の設定画面では、オペレータ等は、例えば、監視対象が人であるのか、車両であるのかや、監視対象が移動物であるのか、静止物であるのか等、予め規定される複数の種類ごとに、複数の目印画像の中から自分の好みの目印画像を設定することができる。
ボタンアイコン1603は、"監視対象の相対位置"の文字情報が付されている。オペレータ等は、当該ボタンアイコン1603を選択し、決定する操作を行うことにより、監視対象の相対位置に応じて目印画像を設定するための設定画面に遷移することができる。当該設定画面では、オペレータ等は、例えば、監視対象検知部301による監視エリアをショベルに近い側から複数の領域に区分したときの領域ごとに、複数の目印画像の中から自分の好みの目印画像を設定することができる。これにより、オペレータ等は、ショベルから比較的遠い監視対象を簡素な目印画像(例えば、線分)とし、比較的近い監視対象を目につきやすい目印画像(例えば、四角形やM角形等)として、比較的近い監視対象を把握し易いようにカスタマイズできるし、また、逆に、比較的遠い監視対象を把握し易いようにカスタマイズすることもできる。
このように、本例では、オペレータ等は、監視画像に表示される目印画像の種類を固定させる設定をしたり、監視対象の種類やショベルからの相対位置等に応じた目印画像の種類を手動で設定することができる。これにより、周辺監視システム100は、よりオペレータの好みに合わせた目印画像の表示させることができる。
以上、本発明の一実施形態に係る周辺監視システムの第1の特徴機能(第1の目印表示機能)について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、上述した実施形態において、目印画像選択部3032Aは、監視対象検知部301Aにより検知される監視対象の検知数に起因する通信帯域が不足する状況を判断することに代えて、或いは、加えて、他の通信帯域が不足する状況を判断して、表示装置50に表示されている監視画像上における監視対象の位置を表す目印の表示態様、即ち、目印画像の種類を変更してもよい。例えば、目印画像選択部3032Aは、コントローラ30と表示装置50との間の通信回線の静的或いは動的な帯域幅や空き状況を判断して、表示装置50に表示されている監視画像上における監視対象の検知位置を表す目印画像の種類を変更してもよい。また、目印画像選択部3032Aは、監視対象検知部301Aによる監視対象を検知する検知周期が動的に変化する場合やオペレータ等による設定で変更されうる場合に、設定されている検知周期に応じて、表示装置50に表示されている監視画像上における監視対象の位置を表す目印画像の種類を変更してもよい。
また、上述した実施形態において、目印画像選択部3032Aにより選択される目印画像の種類がオペレータ等により手動で設定可能であってもよい。この場合、目印画像の仕様情報のデータ量が小さくなる方向(例えば、目印図形の構成点の数が少なくなる方向)の設定変更だけが可能であることが望ましい。
また、上述した実施形態及び変形例において、目印画像の種類を変更するのに加えて、或いは、代えて、コントローラ30から表示装置50に送信される送信用データに含まれる目印画像の位置情報(例えば、目印図形の各構成点の位置情報)の分解能を調整してもよい。即ち、エンコード部3034A(分解能調整部の一例)は、例えば、図10~図12と同様、検知数N、最大検知数Nmax、監視画像内検知数Np等に応じて、目印画像の位置情報の分解能を調整する態様で、エンコードを行う。具体的には、エンコード部3034Aは、検知数N、最大検知数Nmax、監視画像内検知数Npが多くなるほど、目印画像の位置情報の分解能が低くなるように(即ち、桁数が少なくなるように)送信用データを生成してよい。これにより、何等かの理由で、通信帯域が不足する状況が生じても、目印画像の仕様情報のデータ量を調整する場合と同様、送信用データのデータ量を調整することができる。
また、上述した実施形態では、目印画像として二次元の目印図形(四角形やM角形等)が表示されるが、例えば、監視画像に写っている三次元空間上で監視対象を取り囲むような仮想的な立体図形(例えば、円柱や四角柱等)を監視画像上に表示させてもよい。これにより、例えば、複数の種類の監視対象が設定されている場合において、特に、注意が必要と考えられる種類の監視対象に対して、当該立体図形が設定されることで、オペレータ等は、他の種類の監視対象との区別を更につけやすくなため、オペレータ等の利便性を向上させることができる。
尚、上述した本実施形態に係る周辺監視システムの第1の特徴機能(第1の目印表示機能)に関して、以下を更に開示する。
(1)
作業機械の周辺を撮像する撮像装置と、
前記撮像装置により撮像される、前記作業機械の周辺の画像と、監視対象の位置を表す目印とを表示する表示装置と、を備え、
前記表示装置は、前記目印を2種類以上の異なる表示態様で表示する、
作業機械用周辺監視システム。
(2)
前記作業機械の周辺で前記監視対象を検知する監視対象検知部を更に備え、
前記表示装置は、前記監視対象検知部による前記監視対象の検知数に応じて、前記目印の表示態様を変更する、
(1)に記載の作業機械用周辺監視システム。
(3)
前記表示装置は、前記監視対象検知部により現に検知されている前記監視対象の検知数に応じて、前記目印の表示態様を変更する、
(2)に記載の作業機械用周辺監視システム。
(4)
前記撮像装置は、相互に撮像範囲が異なる複数のカメラを含み、
前記表示装置は、前記複数のカメラのうちの一部又は全部により撮像される、前記作業機械の周辺の前記画像を表示し、現に表示している前記画像に対応する前記作業機械の周辺領域内で、前記監視対象検知部により現に検知されている前記監視対象の検知数に応じて、前記目印の表示態様を変更する、
(3)に記載の作業機械用周辺監視システム。
(5)
前記表示装置は、前記監視対象検知部により現に検知されている前記監視対象の検知数が多くなるほど、前記目印を表示するために必要な仕様情報のデータ量が小さくなるように、前記目印の表示態様を変更する、
(3)又は(4)に記載の作業機械用周辺監視システム。
(6)
前記監視対象検知部により検知される前記監視対象の検知数の上限である最大検知数が予め規定され、
前記表示装置は、前記最大検知数に応じて、前記目印の表示態様を変更する、
(2)に記載の作業機械用周辺監視システム。
(7)
前記表示装置は、前記最大検知数が多くなるほど、前記目印を表示するために必要な仕様情報のデータ量が小さくなるように、前記目印の表示態様を変更する、
(6)に記載の作業機械用周辺監視システム。
(8)
前記表示装置は、前記画像に含まれる前記監視対象の数に応じて、前記目印の表示態様を変更する、
(1)に記載の作業機械用周辺監視システム。
(9)
前記表示装置は、前記画像に含まれる前記監視対象の数が多くなるほど、前記目印を表示するために必要な仕様情報のデータ量が小さくなるように、前記目印の表示態様を変更する、
(8)に記載の作業機械用周辺監視システム。
(10)
前記表示装置と別に設けられ、2種類以上の目印画像の中から前記目印として表示させる一の目印画像を選択する選択部と、前記選択部により選択された前記一の目印画像を前記表示装置に表示させるために必要な仕様情報のデータを前記表示装置に送信する送信部と、を含む制御装置を更に備え、
前記表示装置は、前記制御装置から受信する前記一の目印画像を前記目印として表示する、
(1)乃至(9)の何れか一項に記載の作業機械用周辺監視システム。
(11)
前記データの前記仕様情報に含まれる前記一の目印画像の前記画像上における位置情報の分解能を調整する分解能調整部を更に備え、
前記送信部は、前記分解能調整部により前記位置情報の分解能が調整された前記データを前記表示装置に送信する、
(10)に記載の作業機械用周辺監視システム。
[周辺監視システムの第2の特徴機能]
次いで、本実施形態に係る周辺監視システム100に関する第2の特徴機能、具体的には、目印表示機能の他の例(以下、「第2の目印表示機能」とも称する場合がある)について説明する。
尚、第1の目印表示機能及び第2の目印表示機能は、それぞれが単体で実行されてもよいし、組み合わせられて実行されてもよい。つまり、第1の目印表示機能及び第2の目印表示機能のそれぞれに関する構成は、組み合わせられてもよいし、共用されてもよい。
<第2の特徴機能による作用に関する概要>
まず、第2の特徴機能(第2の目印表示機能)による作用に関する概要を説明する。
作業機械の周辺をカメラで撮像し、その撮像画像や該撮像画像に基づき生成される加工画像(例えば、視点変換画像)等の作業機械の周辺の様子を表す監視画像を操縦席付近の表示装置に表示する周辺監視システムが知られている(例えば、特開2012-221437号公報等参照)。
しかしながら、作業現場の状況や監視対象の動作状態等に依っては、表示装置に表示される監視画像に映る監視対象(例えば、人や車両等の人以外の障害物等)が見えづらくなり、オペレータが監視対象の存在を把握しにくくなる可能性がある。
そこで、本実施形態では、第2の特徴機能によって、オペレータ等が表示装置に表示される監視画像に映る監視対象の存在をより容易に把握することが可能な作業機械用周辺監視システムを提供する。
<周辺監視システムの構成>
次に、図17を参照して、第2の特徴機能に関する周辺監視システム100の具体的な構成について説明する。
図17は、第2の特徴機能に関する周辺監視システム100の構成の一例を示すブロック図である。
尚、図17では、第2の特徴機能に関する構成を中心に示され、図1、図2に示される他の構成は、省略される。
周辺監視システム100は、ショベルの周辺の所定範囲内への所定の物体(本実施形態では、車両及び人)の侵入を監視し、所定の物体を検知した場合、オペレータ等への通知を行う。周辺監視システム100は、コントローラ30、撮像装置40、表示装置50を含む。
コントローラ30は、上述の如く、周辺監視システム100における各種制御処理を行う。コントローラ30は、例えば、ROMに格納される各種プログラムをCPU上で実行することにより実現される機能部として、監視対象検知部301B、監視画像表示処理部302B、目印表示処理部303Bを含む。
撮像装置40は、上述の如く、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む比較的広い上下方向の撮像範囲(画角)を有する。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、ショベルの運転中、所定周期(例えば、1/30秒)毎に、撮像画像を出力し、コントローラ30に送信する。
表示装置50は、コントローラ30(具体的には、監視画像表示処理部302B)による制御の下、ショベルの周辺の様子を表す監視画像を表示する。監視画像には、撮像装置40の撮像画像(スルー画像)、及びコントローラ30(具体的には、監視画像表示処理部302B)により撮像装置40の撮像画像に基づき生成される周辺画像(例えば、視点変換画像)等が含まれる。詳細は、後述する(図18、図19参照)。
監視対象検知部301Bは、ショベル周辺の所定の監視対象を検知する。監視対象は、例えば、人、作業車両(トラック)、その他の障害物等である。以下、本実施形態では、監視対象が人である前提で説明を行う。具体的には、監視対象検知部301Bは、撮像装置40により撮像された撮像画像に基づき、ショベルの周辺における所定領域(以下、「監視エリア」と称する)内、例えば、ショベルから所定距離D1(例えば、5メートル)以内の監視対象(即ち、人)を検知する。例えば、監視対象検知部301Bは、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像装置40の撮像画像内の人を認識すると共に、認識した人の実在位置(ショベルから認識した人までの距離Dやショベルから見た方向等)を特定することができる。
尚、監視対象検知部301Bは、撮像装置40の撮像画像に代えて、或いは、加えて、他のセンサ、例えば、ミリ波レーダ、LIDAR、ステレオカメラ等の検出結果(距離画像等)に基づき、監視対象を検知してもよい。
監視画像表示処理部302Bは、オペレータによる各種操作等に応じて、表示装置50に撮像装置40により撮像されるショベルの周辺の様子を表す画像(以下、監視画像と称する)を表示させる。
例えば、監視画像表示処理部302Bは、オペレータによる所定操作に応じて、撮像装置40、即ち、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの撮像画像(スルー画像)を監視画像として表示装置50にそのまま表示させる(図18参照)。この際、監視画像表示処理部302Bは、オペレータによる操作の内容や設定内容等に応じて、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのうちの1つのカメラの撮像画像を表示装置50に表示させてもよいし、複数(2つ或いは3つ)のカメラの撮像画像を同時に表示装置50に表示させてもよい。
また、例えば、監視画像表示処理部302Bは、オペレータによる所定操作に応じて、撮像装置40の撮像画像に基づく所定の処理を施すことにより、周辺画像(例えば、視点変換画像)を生成し、表示装置50に表示させる(図19参照)。具体的には、監視画像表示処理部302Bは、周辺画像として、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの撮像画像に基づき、既知の視点変換処理を行うことにより、視点変換画像(仮想視点から見た画像)を生成し、表示装置50に表示させる。この際、監視画像表示処理部302Bは、後方カメラ40B,左側方カメラ40L、及び右側方カメラ40Rの1つのカメラの撮像画像から周辺画像を生成し、表示装置50に表示させてもよいし、複数(2つ主は3つ)のカメラの撮像画像から周辺画像を生成し、表示装置50に表示させてもよい。
目印表示処理部303Bは、監視対象検知部301Bにより監視対象が検知された場合、表示装置50に表示されている監視画像上に、監視画像に含まれる監視対象(即ち、人)の位置(具体的には、監視対象検知部301Bにより検知された位置)を表す目印であるマーカを重畳して表示させる。マーカは、監視画像に含まれる人の位置を強調することが可能であれば、任意の態様であってよく、例えば、図形、色、模様等、或いはそれらの組み合わせ等により構成されてよい。例えば、目印表示処理部303Bは、後述の如く、監視対象検知部301Bにより検知されている監視対象(即ち、人)が移動しているか否かに応じて、目印の表示態様を変化させる(図20~図23、図27、図28参照)。また、例えば、目印表示処理部303Bは、後述の如く、ショベルと監視対象検知部301Bにより検知された監視対象との間の衝突に関するリスクポテンシャルに応じて、目印の表示態様を変化させる(図23~図28参照)。
<監視画像上のマーカの概要>
次に、図18(図18A、図18B)、図19(図19A、図19B)を参照して、監視画像表示処理部302Bにより表示装置50に表示される監視画像、及び目印表示処理部303Bにより表示装置50の監視画像上に重畳して表示されるマーカの概要について説明する。
図18A、図18Bは、共に、表示装置50に表示される監視画像の一例(監視画像MP1)を示す図であり、具体的には、表示装置50に監視画像MP1として表示されるスルー画像を示す図である。図19A,図19Bは、共に、表示装置50に表示される監視画像の他の例(監視画像MP2)を示す図であり、具体的には、表示装置50に表示される周辺画像EP(視点変換画像)を中心とする監視画像MP2を示す図である。
図18A、図18Bに示すように、表示装置50における横長の長方形の画面(例えば、アスペクト比4:3の画面)には、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのうちの何れか1つのカメラの撮像画像が表示されている。
また、図19A、図19Bに示すように、表示装置50における横長の長方形の画面には、上述の如く、ショベル画像CGと、ショベルと撮像装置40の撮像領域との相対位置関係に合わせて、ショベル画像CGの周囲に配置される周辺画像EPとを含む監視画像MP2が表示されている。これにより、オペレータは、周辺画像EPに写っている監視対象(即ち、人)と、ショベルとの位置関係を適切に把握することができる。
本例では、周辺画像EPは、ショベルに隣接する周辺領域を真上から見た俯瞰画像BVPと、当該俯瞰画像BVPの周りに配置される、ショベルから当該周辺領域の周囲を水平方向に見た水平画像HVPとを組み合わせた視点変換画像である。視点変換画像である周辺画像EPは、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面若しくは曲面を含む一又は複数の平面若しくは曲面で構成される。以下、本実施形態における周辺画像は、ショベルに隣接する周辺領域を真上から見た俯瞰画像と、該周辺領域の周囲を水平方向に見た水平画像とを組み合わせた視点変換画像である前提で説明を続ける。
また、監視画像MP2(周辺画像EP)には、ガイドラインGL1が重畳表示される。ガイドラインGL1は、ショベルからの距離Dが所定距離D2(<D1)の位置を表す。これにより、監視画像内の周辺画像に監視対象(即ち、人)が写っている場合、オペレータは、ショベルからどの程度離れた位置にいるかを把握しやすくなる。
また、図18、図19に示すように、表示装置50に表示される監視画像MP1,MP2には、監視対象である人(作業者W1B,W2B)が含まれている。また、監視画像MP1,MP2上の作業者W1B,W2Bには、監視対象検知部301Bにより検知されていること及びその検知位置を表す目印であるマーカMK1~MK4が重畳して表示されている。これにより、オペレータは、監視対象検知部301Bにより監視対象(即ち、人)が検知されたことを気付きやすくなると共に、表示装置50に表示される監視画像、具体的には、スルー画像或いは周辺画像(視点変換画像)上において、監視対象検知部301Bにより検知された監視対象(即ち、人)の状況等を視認し易くなる。
図18A、図19Aに示すように、マーカMK1,MK3は、監視画像MP1,MP2上の作業者W1B,W2Bを取り囲むように設けられるボックス枠である。目印表示処理部303Bは、ボックス枠のように、監視画像上の占有領域が大きく、また、監視画像に含まれる監視対象全体を強調する態様のマーカを表示させることにより、オペレータは、監視対象の存在を把握し易くなる。また、図18B,図19Bに示すように、マーカMK2,MK4は、監視画像MP1,MP2上の作業者W1B,W2Bのショベル周辺における移動軌跡を示す軌跡線である。目印表示処理部303Bは、軌跡線をマーカとして表示させることにより、監視画像上の監視対象の存在だけでなく、ショベルの周辺領域(即ち、後方領域、左側方領域、及び右側方領域)における監視対象の移動状況を把握することができる。このように、目印表示処理部303Bは、ボックス枠や軌跡線等の予め規定される種類の異なる目印を表示してよい。詳細は、後述する。
尚、目印表示処理部303Bは、監視対象検知部301Bから出力される、検知された監視対象の位置の履歴を、コントローラ30の内部メモリ(バッファ)等に保持することにより、軌跡線の監視画像上における座標情報を生成する。また、目印表示処理部303Bは、ショベルが移動したり、旋回したりした場合、ショベルの移動状態や旋回状態に基づき、監視画像上における座標情報を補正することにより、表示装置50の監視画像上に表示させる軌跡線の表示位置を補正する。この場合、目印表示処理部303Bは、ショベルの走行状態や旋回状態を検出するセンサ(不図示)の検出信号に基づき、ショベルの移動量や旋回量を取得してよい。
また、図18B、図19Bに示すように、マーカMK2,MK4は、実線で示される、比較的新しい(即ち、相対的に時間経過の進んでいない)移動軌跡部分MK21,MK41と、点線で示される、比較的古い(即ち、相対的に時間経過の進んでいる)移動軌跡部分MK22,MK42を含む。目印表示処理部303Bは、表示装置50の監視画像上にマーカとして軌跡線を表示させる場合、軌跡線のうちの相対的に時間経過が進んだ部分が、相対的に時間経過が進んでいない部分よりも見えにくくなる態様、例えば、点線で示される他、時間経過と共に、徐々に薄くなっていく等の態様で表示させてよい。これにより、表示装置50の監視画像上に対応するショベルの周辺領域での監視対象の移動軌跡が比較的長くなっても、監視画像上に実際に表示される軌跡線のうちの時系列的に比較的古い部分が見えにくくなるため、監視画像上の軌跡線の表示が煩雑になる事態を抑制できる。
また、図19Bに示すように、監視画像MP2、即ち、周辺画像EP上の作業者W2Bの軌跡線であるマーカMK4は、左側方カメラ40Lの撮像領域に対応する画像部分から後方カメラ40Bの撮像領域に対応する画像部分に含まれる作業者W2Bの位置まで連続的に描画されている。このように、目印表示処理部303Bは、複数のカメラ(後方カメラ40B、左側方カメラ40L、及び右側方カメラ40R)の撮像領域が含まれる監視画像(即ち、複数のカメラのスルー画像を含む監視画像、或いは、複数のカメラの撮像画像に基づき生成される周辺画像を含む監視画像)上にマーカとして軌跡線を表示させる場合、複数のカメラの撮像領域に対応する画像部分を跨ぐ態様で、軌跡線を連続的に表示させてよい。即ち、目印表示処理部303Bは、複数のカメラのうちのあるカメラの撮像領域に対応する画像部分に監視対象(即ち、人)が含まれなくなっても、監視画像から監視対象がいなくなるまで、軌跡線の表示を維持させる態様であってよい。
尚、目印表示処理部303Bは、監視対象検知部301Bにより監視対象が現に検知されている場合だけ、監視画像上に、マーカとしての軌跡線を表示させてよい。即ち、例えば、目印表示処理部303Bは、監視画像に含まれていた監視対象が監視画像上に含まれなくなった場合、軌跡線としてのマーカを監視画像上から消去してよい。また、目印表示処理部303Bは、監視対象検知部301Bにより検知されていた監視対象が検知されなくなった場合であっても、当該監視対象の軌跡線を一定時間残しておいてもよい。この場合、目印表示処理部303Bは、一定時間が経過するまでの間、軌跡線を徐々に見えにくくする態様、例えば、徐々に軌跡線を薄くしたり、線種を点線等の見えにくい線種に変更する等の態様であってもよい。
<周辺監視装置による目印表示処理の詳細>
次に、引き続き、図18、図19を参照しつつ、更に、図20~図28を参照して、目印表示処理部303Bによる表示装置50の監視画像上にマーカ(目印)を重畳して表示させる処理(目印表示処理)について、具体的に説明をする。
まず、図20は、目印表示処理部303Bによる目印表示処理の第1例を説明する図である。具体的には、目印の表示態様(即ち、マーカの属性)を変化させる際の監視対象に関する条件と、マーカの属性のうちの何れを変化させるかの対応関係の第1例を示す図である。
本例では、目印表示処理部303Bは、監視対象検知部301Bにより検知されている監視対象(即ち、人)が移動している場合と、停止している場合とで、マーカの表示態様を変化させる。
具体的には、図20に示すように、監視対象検知部301Bにより検知されている監視対象が移動していない、即ち、停止している場合、表示装置50の監視画像上に重畳して表示されるマーカは、その種類が上述したボックス枠であり、その色が赤であり、点滅する。例えば、目印表示処理部303Bは、作業者W1B,W2Bが停止している場合、図18A、図19Aに示すように、監視画像MP1,MP2上に、マーカMK1,MK3としてのボックス枠を重畳して表示させる。この際、目印表示処理部303Bは、マーカMK1,MK3としてのボックス枠を、赤色、且つ、点滅する状態で表示させる。
一方、監視対象検知部301Bにより検知されている監視対象が移動している場合、表示装置50の監視画像上に重畳して表示されるマーカは、その種類が上述したボックス枠であり、その色が赤であり、点滅しない。例えば、目印表示処理部303Bは、作業者W1B,W2Bが移動している場合、図18A、図19Aに示すように、監視画像MP1,MP2上に、マーカMK1,MK3としてのボックス枠を重畳して表示させる。この際、目印表示処理部303Bは、マーカMK1,MK3としてのボックス枠を、赤色、且つ、点滅なし(即ち、常時点灯)の状態で表示させる。
このように、本例では、目印表示処理部303Bは、表示装置50の監視画像上に、監視対象検知部301Bにより検知されている監視対象の検知位置を表すマーカとしてボックス枠を表示させる。そのため、上述の如く、監視画像上の占有領域が大きく、また、監視画像に含まれる監視対象全体を強調する態様のマーカとしてボックス枠を表示させることにより、オペレータは、監視対象の存在を把握し易くなる。また、本例では、目印表示処理部303Bは、監視対象検知部301Bにより検知されている監視対象が移動している場合と、停止している場合とで、表示装置50における監視画像上のマーカを異なる表示態様で表示させる。即ち、目印表示処理部303Bは、監視対象が移動している場合と、停止している場合とで、マーカの属性の一部(本例では、点滅の有無)を変化させる。これにより、オペレータは、監視対象が移動しているのか、停止しているのかを容易に判別できる。また、停止している監視対象は、背景と同化し易く、移動している監視対象よりも視認しにくい場合があるところ、移動している監視対象の場合と異なる表示態様でマーカが表示されるため、停止している監視対象を移動している監視対象よりも相対的に強調させる、即ち、マーカを点滅させて強調させることができる。そのため、オペレータは、表示装置50の監視画像上の停止している監視対象を把握し易くなる。
尚、マーカの属性には、予め規定される種類(例えば、形状の違い等)、色、点滅の有無等の他、模様、大きさ、輝度等、任意の項目が含まれうる。
続いて、図21は、目印表示処理部303Bによる目印表示処理の第2例を説明する図である。具体的には、図21は、目印の表示態様(即ち、マーカの属性)を変化させる際の監視対象に関する条件と、マーカの属性のうちの何れを変化させるかの対応関係の第2例を示す図である。
本例では、上述した第1例と同様、目印表示処理部303Bは、監視対象検知部301Bにより検知されている監視対象(即ち、人)が移動している場合と、停止している場合とで、マーカの表示態様を変化させる。
具体的には、図21に示すように、監視対象検知部301Bにより検知されている監視対象が移動していない、即ち、停止している場合、表示装置50の監視画像上に重畳して表示されるマーカは、その種類が上述した軌跡線であり、その色が赤であり、点滅する。例えば、目印表示処理部303Bは、作業者W1B,W2Bが停止している場合、図18B、図19Bに示すように、監視画像MP1,MP2上に、マーカMK2,MK4としての軌跡線を重畳して表示させる。この際、目印表示処理部303Bは、マーカMK2,MK4としての軌跡線を、赤色、且つ、点滅する状態で表示させる。
一方、監視対象検知部301Bにより検知されている監視対象が移動している場合、表示装置50の監視画像上に重畳して表示されるマーカは、その種類が上述した軌跡線であり、その色が赤であり、点滅しない。例えば、目印表示処理部303Bは、作業者W1B,W2Bが移動している場合、図18B、図19Bに示すように、監視画像MP1,MP2上に、マーカMK2,MK4としての軌跡線を重畳して表示させる。この際、目印表示処理部303Bは、マーカMK2,MK4としての軌跡線を、赤色、且つ、点滅なし(即ち、常時点灯)の状態で表示させる。
このように、本例では、目印表示処理部303Bは、表示装置50の監視画像上に、監視対象検知部301Bにより検知されている監視対象の検知位置を表すマーカとして軌跡線を表示させる。これにより、上述の如く、監視画像上の監視対象の存在だけでなく、ショベルの周辺領域における監視対象の移動状況を把握することができる。また、目印表示処理部303Bは、上述した第1例と同様、監視対象が移動している場合と、これにより、上述した第1例と同様、オペレータは、表示装置50の監視画像上の停止している監視対象を把握し易くなる。
続いて、図22は、目印表示処理部303Bによる目印表示処理の第3例を説明する図である。具体的には、図22は、目印の表示態様(即ち、マーカの属性)を変化させる際の監視対象に関する条件と、マーカの属性のうちの何れを変化させるかの対応関係の第3例を示す図である。
本例では、上述した第1例等と同様、目印表示処理部303Bは、監視対象検知部301Bにより検知されている監視対象(即ち、人)が移動している場合と、停止している場合とで、マーカの表示態様を変化させる。
具体的には、図22に示すように、監視対象検知部301Bにより検知されている監視対象が移動していない、即ち、停止している場合、表示装置50の監視画像上に重畳して表示されるマーカは、その種類が上述したボックス枠であり、その色が赤であり、点滅する。例えば、目印表示処理部303Bは、作業者W1B,W2Bが停止している場合、図18A、図19Aに示すように、監視画像MP1,MP2上に、マーカMK1,MK3としてのボックス枠を重畳して表示させる。この際、目印表示処理部303Bは、ボックス枠としてのマーカMK1,MK3を、赤色、且つ、点滅する状態で表示させる。
一方、監視対象検知部301Bにより検知されている監視対象が移動している場合、表示装置50の監視画像上に重畳して表示されるマーカは、その種類が上述した軌跡線であり、その色が赤であり、点滅しない。例えば、目印表示処理部303Bは、作業者W1B,W2Bが移動している場合、図18B、図19Bに示すように、監視画像MP1,MP2上に、マーカMK2,MK4としての軌跡線を重畳して表示させる。この際、目印表示処理部303Bは、軌跡線としてのマーカMK2,MK4を、赤色、且つ、点滅なし(即ち、常時点灯)の状態で表示させる。
このように、本例では、目印表示処理部303Bは、監視対象検知部301Bにより検知されている監視対象が移動している場合と、停止している場合とで、表示装置50における監視画像上のマーカを異なる表示態様で表示させる。即ち、目印表示処理部303Bは、監視対象が移動している場合と、停止している場合とで、マーカの属性の一部、即ち、マーカの種類(ボックス枠或いは軌跡線)、及び点滅の有無を変化させる。これにより、第1例等と同様、オペレータは、監視対象が移動しているのか、停止しているのかを容易に判別できると共に、表示装置50の監視画像上の停止している監視対象を把握し易くなる。特に、本例では、マーカの複数(3つ)の属性のうち、2つの属性を変化させるため、この点において、表示装置50の監視画像上の停止している監視対象を更に把握し易くなる。また、目印表示処理部303Bは、監視対象検知部301Bにより検知されている監視対象が移動している場合に、表示装置50の監視画像上にマーカとして軌跡線を表示させるため、オペレータは、直感的に、軌跡線とボックス枠に違いにより監視対象が移動しているか停止しているかを理解でき、監視対象が移動しているのか、停止しているのかを更に判別し易くなる。
尚、上述した第1例(図20)~第3例(図22)において、目印表示処理部303Bは、監視対象検知部301Bにより検知されている監視対象が移動している場合と停止している場合とで、予め規定されるマーカの属性(本例の場合、予め規定される種類、色、点滅の有無の3つ)の全てを変化させてもよい。
続いて、図23は、目印表示処理部303Bによる目印表示処理の第4例を説明する図である。具体的には、図23は、目印の表示態様(即ち、マーカの属性)を変化させる際の監視対象に関する条件と、マーカの属性のうちの何れを変化させるかの対応関係の第4例を示す図である。
本例では、上述した第1例等と同様、目印表示処理部303Bは、監視対象検知部301Bにより検知されている監視対象(即ち、人)が移動している場合と、停止している場合とで、マーカの表示態様を変化させる。
具体的には、図23に示すように、表示装置50の監視画像上に表示されるマーカは、上述した第3例と同様、監視対象検知部301Bにより検知されている監視対象が移動している場合、点滅なし(即ち、常時点灯)の軌跡線であり、停止している場合、点滅するボックス枠である。即ち、目印表示処理部303Bは、監視対象が移動している場合と移動していない場合とで、マーカの複数の属性のうちの2つの属性(マーカの種類、点滅の有無)を変化させる。
また、本例では、目印表示処理部303Bは、監視対象検知部301Bにより検知されている監視対象(即ち、人)とショベルとの間の衝突に関するリスクポテンシャルに応じて、目印の表示態様、即ち、マーカの複数の属性のうちの1つの属性(色)を変化させる。本例では、リスクポテンシャルの指標として、ショベルと監視対象との位置関係、具体的には、監視対象とショベルと距離を採用する。
具体的には、図23に示すように、監視対象検知部301Bにより検知されている監視対象のリスクポテンシャルが比較的低い、即ち、ショベルとの距離が比較的遠い場合、表示装置50の監視画像上に表示されるマーカの色は、青である。一方、監視対象検知部301Bにより検知されている監視対象のリスクポテンシャルが比較的高い、即ち、ショベルとの距離が比較的近い場合、表示装置50の監視画像上に表示されるマーカの色は、赤である。即ち、目印表示処理部303Bは、監視対象検知部301Bにより検知されている監視対象とショベルとの距離が比較的近い(例えば、所定閾値以下である)場合、表示装置50の監視画像上に赤色のマーカを表示させ、監視対象とショベルとの距離が比較的遠い(例えば、所定閾値より遠い)場合、表示装置50の監視画像上に青色のマーカを表示させる。
例えば、図24(図24A、図24B)、図25(図25A、図25B)は、目印表示処理部303Bによる目印表示処理により表示装置50のスルー画像に重畳して表示されるマーカの表示態様の一例を示す図である。具体的には、図24は、監視対象検知部301Bにより検知されている監視対象が停止している場合に、目印表示処理部303Bの目印表示処理により表示装置50のスルー画像に重畳して表示されるマーカの表示態様の一例を示す図である。また、図25は、監視対象検知部301Bにより検知されている監視対象が移動している場合に、目印表示処理部303Bの本例に係る目印表示処理により表示装置50のスルー画像に重畳して表示されるマーカの表示態様の一例を示す図である。
本例では、図24Aに示すように、停止している作業者W5Bがショベルから比較的遠い位置にいる場合、目印表示処理部303Bは、表示装置50のスルー画像上に、マーカMK5として、青の点滅するボックス枠を重畳して表示させる。一方、図24Bに示すように、停止している作業者W6Bがショベルから比較的近い位置にいる場合、目印表示処理部303Bは、表示装置50のスルー画像上に、マーカMK6として、赤の点滅するボックス枠を表示させる。
また、本例では、図24Bに示すように、移動している作業者W7Bがショベルから比較的遠い位置にいる場合、目印表示処理部303Bは、表示装置50のスルー画像上に、マーカMK7として、青の軌跡線(点滅なし)を重畳して表示させる。一方、図25Bに示すように、移動している作業者W8Bがショベルから比較的近い位置にいる場合、目印表示処理部303Bは、表示装置50のスルー画像上に、マーカMK8として、赤の軌跡線(点滅なし)を重畳して表示させる。
また、例えば、図26(図26A、図26B)は、目印表示処理部303Bによる目印表示処理により表示装置50の周辺画像に重畳して表示されるマーカの一例を示す図である。具体的には、図26Aは監視対象検知部301Bにより検知されている監視対象が停止している場合に、目印表示処理部303Bの目印表示処理により表示装置50の周辺画像に重畳して表示されるマーカの表示態様の一例を示す図である。また、図26Bは、監視対象検知部301Bにより検知されている監視対象が移動している場合に、目印表示処理部303Bの目印表示処理により表示装置50の周辺画像に重畳して表示されるマーカの表示態様の一例を示す図である。
本例では、図26Aに示すように、停止している作業者W9Bがショベルから比較的遠い位置にいる、例えば、ガイドラインGL1より外側にいる場合、目印表示処理部303Bは、表示装置50の周辺画像EP上に、マーカMK9として、青の点滅するボックス枠を表示させる。一方、停止している作業者W10Bがショベルから比較的近い位置にいる、例えば、ガイドラインGL1以内にいる場合、目印表示処理部303Bは、表示装置50の周辺画像EP上に、マーカMK10として、赤の点滅するボックス枠を表示させる。
また、本例では、図26Bに示すように、移動している作業者W11Bがショベルから比較的遠い位置にいる場合、目印表示処理部303Bは、表示装置50の周辺画像EP上に、マーカMK11として、青の軌跡線(点滅なし)を表示させる。また、移動している作業者W12Bがショベルから比較的近い位置にいる場合、目印表示処理部303Bは、表示装置50の周辺画像EP上に、マーカMK12として、赤の軌跡線(点滅なし)を表示させる。
このように、本例では、目印表示処理部303Bは、上述した第1例(図20)等と同様、監視対象検知部301Bにより検知されている監視対象(即ち、人)が移動している場合と停止している場合とで、マーカの表示態様を変化させる。これにより、上述した第1例等と同様の作用・効果を得ることができる。また、本例では、併せて、目印表示処理部303Bは、ショベルと監視対象との位置関係、即ち、監視対象とショベルと距離に応じて、監視対象とショベルとの距離が比較的近い場合と比較的遠い場合とで、マーカの表示態様、即ち、マーカの色を変化させる。そのため、オペレータは、マーカの表示態様の変化に基づき、監視対象とショベルとの衝突に関するリスクポテンシャルの高低、即ち、監視対象がショベルから比較的遠いのか近いのかを把握することができる。特に、本例では、ショベルと監視対象との距離が比較的近い、即ち、リスクポテンシャルが高い場合に、リスクを想起させる"赤"のマーカが表示されるため、この点において、リスクポテンシャルを更に把握し易くなる。
尚、目印表示処理部303Bは、監視対象検知部301Bにより検知されている監視対象が移動しており、且つ、監視対象とショベルとの距離が比較的近い場合だけ、マーカとして軌跡線を表示させ、それ以外の場合、即ち、監視対象が移動していない、或いは、監視対象とショベルとの距離が比較的遠い場合、マーカとしてボックス枠を表示させてもよい。比較的遠い監視対象の移動軌跡は、必要性が比較的低い場合も有り得るからである。
続いて、図27は、目印表示処理部303Bによる目印表示処理の第5例を説明する図である。具体的には、図27は、目印の表示態様(即ち、マーカの属性)を変化させる際の監視対象に関する条件と、マーカの属性のうちの何れを変化させるかの対応関係の第5例を示す図である。
本例では、上述した第1例等と同様、目印表示処理部303Bは、監視対象検知部301Bにより検知されている監視対象(即ち、人)が移動している場合と、停止している場合とで、マーカの表示態様を変化させる。
具体的には、図27に示すように、表示装置50の監視画像上に表示されるマーカは、上述した第3例等と同様、監視対象検知部301Bにより検知されている監視対象が移動している場合、点滅なし(即ち、常時点灯)の軌跡線であり、停止している場合、点滅するボックス枠である。即ち、目印表示処理部303Bは、監視対象が移動している場合と移動していない場合とで、マーカの複数の属性のうちの2つの属性(マーカの種類、点滅の有無)を変化させる。
また、本例では、目印表示処理部303Bは、上述した第4例と同様、監視対象検知部301Bにより検知されている監視対象(即ち、人)とショベルとの間の衝突に関するリスクポテンシャルに応じて、マーカの表示態様、即ち、マーカの複数の属性のうちの1つの属性(色)を変化させる。本例では、リスクポテンシャルの指標として、ショベルと監視対象との位置関係、具体的には、監視対象とショベルとの距離の時系列的な変化の状況、即ち、経時変化の状況を採用する。
具体的には、図27に示すように、監視対象検知部301Bにより検知されている監視対象のリスクポテンシャルが比較的低い、即ち、時系列的に監視対象がショベルに近づいてきていない(即ち、ショベルと監視対象との距離に変化がない、或いは、監視対象がショベルから遠ざかっている)場合、表示装置50の監視画像上に表示されるマーカの色は、青である。一方、監視対象検知部301Bにより検知されている監視対象のリスクポテンシャルが比較的高い、即ち、時系列的に監視対象がショベルに近づいてきている場合、表示装置50の監視画像上に表示されるマーカの色は、赤である。即ち、目印表示処理部303Bは、監視対象検知部301Bにより検知されている監視対象とショベルとの距離の経時変化が監視対象のショベルへの接近を表している場合、表示装置50の監視画像上に赤色のマーカを表示させ、監視対象とショベルとの距離の経時変化がショベルへの接近を表していない場合、表示装置50の監視画像上に青色のマーカを表示させる。
尚、目印表示処理部303Bは、過去の一定時間におけるショベルと監視対象との距離の変化をモニタリングすることにより、監視対象がショベルに近づいてきているか否かを判定してよい。
例えば、本例では、上述した図24Aに示すように、停止している作業者W5Bがショベルから比較的遠い位置にいる場合でも、作業者W5Bが時系列的にショベルに近づいてきている場合、目印表示処理部303Bは、表示装置50のスルー画像上に、マーカMK5として、赤の点滅するボックス枠を表示させる。一方、上述した図24Bに示すように、停止している作業者W6Bがショベルから比較的近い位置にいる場合でも、作業者W6Bが時系列的にショベルから遠ざかっている場合、目印表示処理部303Bは、表示装置50のスルー画像上に、マーカMK6として、青の点滅するボックス枠を表示させる。
また、本例では、例えば、上述した図25Aに示すように、移動している作業者W7Bは、ショベルから比較的遠い位置にいるものの、ショベルに近づいてきているため、目印表示処理部303Bは、表示装置50のスルー画像上に、マーカMK7として、赤の軌跡線(点滅なし)を表示させる。一方、上述した図25Bに示すように、移動している作業者W8Bは、ショベルから比較的近い位置にいるものの、ショベルから遠ざかっているため、目印表示処理部303Bは、表示装置50のスルー画像上に、マーカMK8として、青の軌跡線(点滅なし)を表示させる。
また、本例では、例えば、上述した図26Aに示すように、停止している作業者W9Bがショベルから比較的遠い位置にいる、例えば、ガイドラインGL1より外側にいる場合でも、作業者W9Bが時系列的にショベルに近づいてきている場合、目印表示処理部303Bは、表示装置50の周辺画像EP上に、マーカMK9として、赤の点滅するボックス枠を表示させる。一方、停止している作業者W10Bがショベルから比較的近い位置にいる、例えば、ガイドラインGL1以内にいる場合でも、作業者W10Bが時系列的にショベルから遠ざかっている場合、目印表示処理部303Bは、表示装置50の周辺画像EP上に、マーカMK10として、青の点滅するボックス枠を表示させる。
また、本例では、図26Bに示すように、移動している作業者W11Bは、ショベルから比較的遠い位置にいるものの、ショベルに近づいてきているため、目印表示処理部303Bは、表示装置50の周辺画像EP上に、マーカMK11として、赤の軌跡線(点滅なし)を表示させる。また、移動している作業者W12Bは、ショベルから比較的近い位置にいるものの、ショベルに近づいた後、ショベルから遠ざかっているため、目印表示処理部303Bは、表示装置50の周辺画像EP上に、マーカMK12として、青の軌跡線(点滅なし)を表示させる。
尚、図26Bに示すように、周辺画像EPに含まれる作業者W12Bは、ショベルに近づいた後、ショベルから遠ざかっているため、目印表示処理部303Bは、作業者W12BのマーカMK12(軌跡線)のうちのショベルに近づいてきている軌跡部分を赤とすると共に、ショベルから遠ざかる軌跡部分を青としてもよい。以下、後述する第6例(図28)についても同様である。
このように、本例では、目印表示処理部303Bは、上述した第1例(図20)等と同様、監視対象検知部301Bにより検知されている監視対象(即ち、人)が移動している場合と停止している場合とで、マーカの表示態様を変化させる。これにより、上述した第1例等と同様の作用・効果を得ることができる。また、本例では、併せて、目印表示処理部303Bは、ショベルと監視対象との位置関係、即ち、監視対象とショベルとの距離の経時変化の状況に応じて、監視対象がショベルに近づいてきている場合とそれ以外の場合(ショベルから遠ざかっている場合、或いは、ショベルとの距離に変化がない場合)とで、マーカの表示態様、即ち、マーカの色を変化させる。そのため、オペレータは、上述した第4例と同様、マーカの表示態様の変化に基づき、監視対象とショベルとの衝突に関するリスクポテンシャルの高低、即ち、監視対象がショベルに近づいてきているのか否かを把握することができる。特に、本例では、第4例と同様、監視対象がショベルに近づいてきている、即ち、リスクポテンシャルが高い場合に、リスクを想起させる"赤"のマーカが表示されるため、この点において、リスクポテンシャルを更に把握し易くなる。
続いて、図28は、目印表示処理部303Bによる目印表示処理の第6例を説明する図である。具体的には、図28は、目印の表示態様(即ち、マーカの属性)を変化させる際の監視対象に関する条件と、マーカの属性のうちの何れを変化させるかの対応関係の第6例を示す図である。
本例では、目印表示処理部303Bは、上述した第1例等と同様、監視対象検知部301Bにより検知されている監視対象(即ち、人)が移動している場合と、停止している場合とで、マーカの表示態様を変化させる。
具体的には、図28に示すように、表示装置50の監視画像上に表示されるマーカは、監視対象検知部301Bにより検知されている監視対象が移動している場合、軌跡線であり、停止している場合、ボックス枠である。即ち、目印表示処理部303Bは、監視対象が移動している場合と移動していない場合とで、マーカの属性のうちの1つの属性(マーカの種類)を変化させる。
また、本例では、目印表示処理部303Bは、上述した第4例等と同様、監視対象検知部301Bにより検知されている監視対象(即ち、人)とショベルとの間の衝突に関するリスクポテンシャルに応じて、マーカの表示態様、即ち、マーカの属性を変化させる。本例では、リスクポテンシャルの指標として、上述したショベルと監視対象との位置関係、具体的には、上述した第4例における監視対象とショベルとの距離、及び上述した第5例における監視対象とショベルとの距離の時系列的な変化の状況、即ち、経時変化の状況の双方を採用する。
具体的には、図28に示すように、監視対象検知部301Bにより検知されている監視対象とショベルとの距離が比較的遠い場合、表示装置50の監視画像上に表示されるマーカは、点滅なしの状態、即ち、常時点灯状態である。一方、監視対象検知部301Bにより検知されている監視対象のリスクポテンシャルが比較的高い、即ち、ショベルとの距離が比較的近い場合、表示装置50の監視画像上に表示されるマーカは、点滅状態である。即ち、目印表示処理部303Bは、監視対象検知部301Bにより検知されている監視対象とショベルとの距離が比較的近い場合と、比較的遠い場合とで、表示装置50の監視画像上に表示させるマーカの複数の属性のうちの1つの属性(点滅の有無)を変化させる。
また、監視対象検知部301Bにより検知されている監視対象が時系列的にショベルに近づいてきていない場合、表示装置50の監視画像上に表示されるマーカの色は、青である。一方、監視対象検知部301Bにより検知されている監視対象が時系列的にショベルに近づいてきている場合、表示装置50の監視画像上に表示されるマーカの色は、赤である。即ち、目印表示処理部303Bは、監視対象検知部301Bにより検知されている監視対象とショベルとの距離の経時変化が監視対象のショベルへの接近を表している場合とショベルへの接近を表していない場合とで、表示装置50の監視画像上に表示させるマーカの複数の属性のうちの1つの属性(色)を変化させる。
例えば、上述した図24Aに示すように、停止している作業者W5Bがショベルから比較的遠い位置にいるため、目印表示処理部303Bは、作業者W5Bがショベルに近づいてきている場合、表示装置50のスルー画像上に、マーカMK5として、点滅しない、即ち、常時点灯の赤のボックス枠を表示させ、作業者W5Bがショベルに近づいてきていない場合、表示装置50のスルー画像上に、マーカMK5として、点滅しない、即ち、常時点灯の青のボックス枠を表示させる。一方、上述した図24Bに示すように、停止している作業者W6Bは、ショベルから比較的近い位置にいるため、目印表示処理部303Bは、作業者W6Bがショベルに近づいてきている場合、表示装置50のスルー画像上に、マーカMK6として、点滅する赤のボックス枠を表示させ、作業者W5Bがショベルに近づいてきていないときに、表示装置50のスルー画像上に、マーカMK6として、点滅する青のボックス枠を表示させる。
また、例えば、上述した図25Aに示すように、移動している作業者W7Bは、ショベルから比較的遠い位置で、ショベルに近づいてきているため、目印表示処理部303Bは、表示装置50のスルー画像上に、マーカMK7として、点滅しない、即ち、常時点灯の赤の軌跡線を表示させる。一方、上述した図25Bに示すように、移動している作業者W8Bは、ショベルに比較的近い位置で、ショベルから遠ざかっているため、目印表示処理部303Bは、表示装置50のスルー画像上に、マーカMK8として、点滅する青の軌跡線を表示させる。
また、例えば、上述した図26Aに示すように、停止している作業者W9Bは、ショベルから比較的遠い位置にいるため、目印表示処理部303Bは、作業者W9Bがショベルに近づいてきている場合、表示装置50の周辺画像EPに、マーカMK9として、点滅しない、即ち、常時点灯の赤のボックス枠を表示させ、作業者W9Bがショベルに近づいてきていない場合、表示装置50の周辺画像EPに、マーカMK9として、点滅しない、即ち、常時点灯の青のボックス枠を表示させる。一方、停止している作業者W10Bは、ショベルに比較的近い位置にいるため、目印表示処理部303Bは、作業者W10Bがショベルに近づいてきている場合、表示装置50の周辺画像EP上に、マーカMK10として、点滅する赤のボックス枠を表示させ、作業者W10Bがショベルに近づいてきていない場合、表示装置50の周辺画像EP上に、マーカMK10として、点滅する青のボックス枠を表示させる。
また、例えば、上述した図26Bに示すように、移動している作業者W11Bは、ショベルから比較的遠い位置で、ショベルに近づいてきているため、目印表示処理部303Bは、表示装置50の周辺画像EP上に、マーカMK11として、点滅しない、即ち、常時点灯の赤の軌跡線を表示させる。一方、移動している作業者W12Bは、ショベルに比較的近い位置で、ショベルから遠ざかっているため、目印表示処理部303Bは、表示装置50のスルー画像上に、マーカMK12として、点滅する青の軌跡線を表示させる。
このように、本例では、目印表示処理部303Bは、上述した第1例(図20)等と同様、監視対象検知部301Bにより検知されている監視対象(即ち、人)が移動している場合と停止している場合とで、マーカの表示態様を変化させる。これにより、上述した第1例等と同様の作用・効果を得ることができる。また、本例では、併せて、目印表示処理部303Bは、ショベルと監視対象との位置関係に応じて、マーカの表示態様、即ち、マーカの属性を変化させる。そのため、オペレータは、上述した第4例(図23)等と同様、マーカの表示態様の変化に基づき、監視対象とショベルとの衝突に関するリスクポテンシャルの高低を把握することができる。また、本例では、リスクポテンシャルに関する指標として、監視対象とショベルとの距離(第1の指標)と、当該距離の経時変化の状況(第2の指標)の双方を採用すると共に、第1の指標及び第2の指標の各々に基づくリスクポテンシャルを、マーカの異なる属性(点滅の有無、及び色)の変化で表現している。そのため、オペレータは、2つの指標に基づくリスクポテンシャルの高低を把握することができる。
尚、図20~図28に示す例示では、監視対象に関する条件ごとのマーカの属性は予め規定されているが、オペレータ等により監視対象に関する条件ごとのマーカの属性の設定が可能な構成であってもよい(図29参照)。
<マーカ属性の設定>
次に、図29を参照して、オペレータ等によるマーカの表示設定(マーカ属性の設定)について説明する。
図29は、表示装置50に表示される、オペレータ等がマーカの表示設定を行うための操作画面(以下、(「マーカ設定画面」と称する)の一例(マーカ設定画面2900)を示す図である。
マーカ設定画面2900では、オペレータ等がマーカの属性を具体的に設定することができる。
マーカ設定画面2900は、キャビン10内に設けられるボタン、トグル、ジョイスティック等のハードウェアによる操作部や、表示装置50に実装されるタッチパネル等により操作可能なボタンアイコン2901~2904を含む。
ボタンアイコン2901は、"一律選択"の文字情報が付記されており、オペレータ等は、当該ボタンアイコン2901を選択し、決定する操作を行うことにより、監視画像に表示させるマーカの属性を固定させるための設定画面に遷移することができる。よって、オペレータ等は、遷移後の設定画面で、マーカの属性を個別に設定することで、自分の好みの目印画像を設定することができる。
ボタンアイコン2902は、"監視対象の位置"の文字情報が付されている。オペレータ等は、当該ボタンアイコン2902を選択し、決定する操作を行うことにより、監視対象に関する条件のうちの監視対象の位置に関する条件ごとのマーカの属性を具体的に設定することができる。よって、オペレータ等は、遷移後の設定画面で、例えば、監視対象がショベルに対して相対的に近い位置にいる場合と、遠い位置にいる場合とで、異なる属性のマーカを自分の好みで設定することができる。
ボタンアイコン2903は、"監視対象の移動状況"の文字情報が付されている。オペレータ等は、当該ボタンアイコン2903を選択し、決定する操作を行うことにより、監視対象に関する条件のうちの監視対象の移動状況(例えば、移動の有無やショベルへの接近の有無等)に関する条件ごとのマーカの属性を具体的に設定することができる。よって、オペレータ等は、遷移後の設定画面で、例えば、監視対象がショベルから近づいているか否かや、監視対象が移動しているか否か等の単体の条件や複数の条件の組み合わせごとに、異なるマーカを自分の好みで設定することができる。
尚、当然の如く、監視対象の位置に関する条件と監視対象の移動状況に関する条件を組み合わせた条件ごとのマーカ属性を設定可能な設定画面が準備されてもよい。
ボタンアイコン2904は、"戻る"の文字情報が付記されており、オペレータ等は、等がボタンアイコン2904を選択し、決定する操作を行うことにより、マーカ設定画面2900に遷移する前の階層的に上位の情報画面を表示装置50に表示させることができる。
このように、本例では、オペレータ等は、監視対象に関する条件ごとのマーカの属性を手動で設定することができる。これにより、周辺監視システム100は、オペレータ等の好みに合わせて監視画像上のマーカを表示させることができる。
以上、本発明の一実施形態に係る周辺監視システムの第2の特徴機能について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、上述した実施形態では、リスクポテンシャルの指標として、ショベルと監視対象との距離(第1の指標)と、当該距離の経時変化の状況(第2の指標)を用いたが、当該指標以外の任意の指標が採用されてもよい。
尚、上述した実施形態に係る周辺監視システムの第2の特徴機能に関して、以下を更に開示する。
(1)
作業機械の周辺を撮像する撮像装置と、
前記撮像装置により撮像される前記作業機械の周辺の画像と、監視対象の位置を表す目印とを表示する表示装置と、を備え、
前記表示装置は、前記監視対象が停止している場合と移動している場合とで、前記目印の表示を変化させる、
作業機械用周辺監視システム。
(2)
前記目印は、前記監視対象の移動軌跡を表す軌跡線を含む、
(1)に記載の作業機械用周辺監視システム。
(3)
前記撮像装置は、相互に撮像範囲が異なる複数のカメラを含み、
前記表示装置は、前記複数のカメラのうちの一のカメラの撮像領域と他のカメラの撮像領域との間に跨るで監視対象が移動する場合であっても、前記画像における前記一のカメラの撮像領域に対応する一の画像領域と前記他のカメラに対応する他の画像領域との間で連続的に繋がる前記軌跡線を表示する、
(2)に記載の作業機械用周辺監視システム。
(4)
前記撮像装置は、相互に撮像範囲が異なる複数のカメラを含み、
前記表示装置は、前記画像が前記複数のカメラのうちの一のカメラの撮像領域及び他のカメラの撮像領域の各々に対応する一の画像領域及び他の画像領域を含む場合、前記監視対象が前記一のカメラの撮像領域に含まれなくなったときであっても、前記他のカメラの撮像領域に含まれているときには、前記軌跡線の表示を維持する、
(2)に記載の作業機械用周辺監視システム。
(5)
前記軌跡線は、相対的に時間経過の進んだ部分が相対的に時間経過の進んでいない部分よりも見えにくくなる態様で表示される、
(2)乃至(4)の何れか一項に記載の作業機械用周辺監視システム。
(6)
前記表示装置は、前記監視対象と前記作業機械との位置関係に応じて、前記目印の表示を変化させる、
(1)乃至(5)の何れか一項に記載の作業機械用周辺監視システム。
(7)
前記表示装置は、前記作業機械と前記監視対象との距離に応じて、前記目印の表示を変化させる、
(6)に記載の作業機械用周辺監視システム。
(8)
前記表示装置は、前記作業機械と前記監視対象との距離の経時変化の状況に応じて、前記目印の表示を変化させる、
(6)又は(7)に記載の作業機械用周辺監視システム。
(9)
前記表示装置は、前記作業機械と前記監視対象との衝突に関するリスクポテンシャルに応じて、前記目印の表示を変化させる、
(1)乃至(5)の何れか一項に記載の作業機械用周辺監視システム。
(10)
前記表示装置は、前記目印の形状、色、模様、大きさ、輝度、及び点滅の有無を含む属性の少なくとも1つを変化させることにより、前記目印の表示を変化させる、
(1)乃至(9)の何れか一項に記載の作業機械用周辺監視システム。
[周辺監視システムの第3の特徴機能]
次いで、本実施形態に係る周辺監視システム100に関する第3の機能、具体的には、ショベルから見て相対的に遠方の領域から当該ショベルに接近してくる車両(トラック等)の存在をオペレータ等に通知する機能(以下、「遠方接近車両通知機能」とも称する)について説明する。
<第3の特徴機能による作用に関する概要>
まず、第3の特徴機能(遠方接近車両通知機能)による作用に関する概要を説明する。
作業機械に近接する所定の近接領域の対象となる物体(例えば、人)を検知する物体検知手段と、物体検知手段により当該物体が検知されるとオペレータ等に報知する報知手段とを備える作業機械用周辺監視システムが知られている(例えば、特開2014-181508号公報等参照)。
かかる構成によれば、オペレータ等は、作業機械に近接する近接領域の監視対象の物体の存在を容易に認知することができる。
しかしながら、作業効率の観点から、オペレータ等には、遠方から作業機械に近づいてくる車両(特に、トラック)をより早く認知したいというニーズがある。例えば、近づいてくるトラックの到着に合わせて、トラックへの排土の準備を進めておく等、作業効率を向上させることができるからである。そのため、近接領域より遠方の遠方領域の車両等の物体についても、オペレータ等が容易に認知できることが望ましい。
そこで、本実施形態では、第3の特徴機能によって、オペレータ等に作業機械の遠方領域の車両を容易に認知させることが可能な作業機械用周辺監視システムを提供する。
<周辺監視システムの構成>
次に、図30を参照して、第3の特徴機能に関する周辺監視システム100の具体的な構成について説明をする。
図30は、本実施形態に係る周辺監視システム100の構成の一例を示すブロック図である。
尚、図30では、第3の特徴機能に関する構成を中心に示され、図1、図2に示される他の構成は、省略される。
周辺監視システム100は、ショベルの周辺の所定範囲内への所定の物体(本実施形態では、車両及び人)の侵入を監視し、所定の物体を検知した場合、オペレータ等への通知を行う。周辺監視システム100は、コントローラ30、撮像装置40、表示装置50、音声出力装置52を含む。
コントローラ30は、上述の如く、周辺監視システム100における各種制御処理を行う。コントローラ30は、例えば、ROMや補助記憶装置等に格納される各種プログラムをCPU上で実行することにより実現される機能部として、物体検知部301C、表示制御部302C、音声制御部303Cを含む。
撮像装置40は、上述の如く、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む上下方向の撮像範囲(画角)を有する。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、ショベルの運転中、所定周期(例えば、1/30秒)毎に、撮像画像を出力し、コントローラ30に送信する。
表示装置50は、撮像装置40の撮像画像(スルー画像)や、コントローラ30(表示制御部302C)により撮像装置40の撮像画像に基づき生成される周辺画像(例えば、後述する視点変換画像)等を表示する。
音声出力装置52は、コントローラ30(音声制御部303C)による制御の下、所定の音を出力する。
物体検知部301Cは、撮像装置40により撮像された撮像画像に基づき、ショベルの周辺の所定領域における所定の対象となる物体を検知する。物体検知部301Cは、検知対象としてのトラックを含む車両を検知する車両検知部3011Cと、検知対象としての人を検知する人検知部3012Cとを含む。
車両検知部3011Cは、ショベルの周辺における所定の検知領域(以下、車両検知領域)を対象として、車両を検知する。具体的には、車両検知部3011Cは、ショベルに近接する近接領域(例えば、ショベルからの距離Dが所定距離D1以下の領域)の外側に隣接する遠方領域(例えば、ショベルからの距離Dが所定距離D1を超える領域)を車両検知領域として、車両を検知する。例えば、車両検知部3011Cは、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像画像内の車両を認識すると共に、認識した車両の実在位置(例えば、ショベルから認識した車両までの距離等)を特定することができる。
人検知部3012Cは、ショベルの周辺における所定の検知領域(以下、人検知領域)を対象として、人を検知する。具体的には、人検知部3012Cは、ショベルに近接する近接領域(例えば、上述の如く、ショベルからの距離Dが所定距離D1以下の領域)を人検知領域として、人を検知する。例えば、人検知部3012Cは、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像画像内の人を認識すると共に、認識した人の実在位置(例えば、ショベルから認識した人までの距離等)を特定することができる。
表示制御部302Cは、オペレータによる各種操作等に応じて、表示装置50に各種情報画像を表示させる。例えば、表示制御部302Cは、オペレータによる所定操作に応じて、撮像装置40(後方カメラ40B、左側方カメラ40L、右側方カメラ40R)の撮像画像(スルー画像)を表示装置50に表示させる。また、例えば、表示制御部302Cは、オペレータによる所定操作に応じて、撮像装置40の撮像画像に基づき周辺画像を生成し、表示装置50に表示させる。具体的には、表示制御部302Cは、周辺画像として、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rの撮像画像に基づき、既知の視点変換処理を行うことにより、視点変換画像(仮想視点から見た画像)を生成し、表示装置50に表示させる。また、表示制御部302Cは、周辺画像を表示装置50に表示させる際、周辺画像に写っている撮像装置40の撮像範囲のショベルに対する相対位置関係を明示するため、ショベルを模式的に表すショベル画像を併せて表示装置50に表示させる。即ち、表示制御部302Cは、ショベル画像と、ショベルと撮像装置40の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視画像を生成し、表示装置50に表示させる。以下、図31を参照して、表示装置50に表示される監視画像について説明をする。
図31は、表示装置50に表示される監視画像MP2の一例を示す図である。図31に示すように、表示装置50における横長の長方形の画面(例えば、アスペクト比4:3の画面)には、上述の如く、ショベル画像CGと、ショベル画像CGの周囲に配置される周辺画像EPとを含む監視画像MP2が表示されている。これにより、オペレータは、周辺画像EPに写っている物体(例えば、人、車両等)と、ショベルとの位置関係を適切に把握することができる。
本例における周辺画像EPは、ショベルに隣接する周辺領域を真上から見た俯瞰画像BVPと、当該俯瞰画像の周りに配置される、ショベルから当該周辺領域の周囲を水平方向に見た水平画像HVPとを組み合わせた視点変換画像である。視点変換画像である周辺画像EPは、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面若しくは曲面を含む一又は複数の平面若しくは曲面で構成される。以下、本実施形態における周辺画像は、ショベルに隣接する周辺領域を真上から見た俯瞰画像と、該周辺領域の周囲を水平方向に見た水平画像とを組み合わせた視点変換画像である前提で説明を続ける。
また、監視画像MP2(周辺画像EP)には、ガイドラインGL1が重畳表示される。ガイドラインGL1は、ショベルからの距離Dが所定距離D2(<D1)の位置を表す。これにより、周辺画像に車両、人等の物体が写っている場合、オペレータは、ショベルからどの程度離れた位置にいるかを把握することができる。
図30に戻り、また、表示制御部302Cは、車両検知領域において、車両検知部3011Cにより車両が検知された場合、車両が検知された旨を示す表示、例えば、表示装置50に表示されるスルー画像或いは周辺画像の一部を強調させる表示を行う。また、表示制御部302Cは、後述の如く(図39参照)、人検知領域において、人検知部3012Cにより人が検知された場合、人が検知された旨を示す表示、例えば、表示装置50に表示されるスルー画像或いは周辺画像の中の検知された人が含まれる領域(人領域)を強調させる表示を行ってもよい。表示制御部302Cによる当該処理の詳細については、後述する。
尚、表示制御部302Cの機能は、コントローラ30の外部に設けられてもよく、例えば、表示装置50に内蔵されてもよい。この場合、撮像装置40(後方カメラ40B、左側方カメラ40L、右側方カメラ40R)の撮像画像、及び車両検知部3011C、人検知部3012Cによる検知結果等の情報は、それぞれ、撮像装置40及びコントローラ30から表示装置50に入力される。
音声制御部303Cは、車両検知領域において、車両検知部3011Cにより車両が検知された場合、音声出力装置52を制御し、車両が検知された旨をオペレータ等に通知する所定の音(以下、車両検知音)を出力させる。また、音声制御部303Cは、後述の如く(図39参照)、人検知部3012Cにより人が検知された場合、人が検知された旨を通知する所定の音(以下、人検知音)を出力させてもよい。
尚、音声制御部303Cの機能は、コントローラ30の外部に設けられてもよく、例えば、音声出力装置52に内蔵されてもよい。
<周辺監視システムの動作の詳細>
次に、図32~図41を参照して、本実施形態に係る周辺監視システム100による特徴的な動作について説明をする。
図32は、本実施形態に係る周辺監視システム100による処理の第1例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、ショベルの運転中において、所定時間ごとに繰り返し実行される。
ステップS102Cにて、車両検知部3011Cは、車両検知領域、即ち、ショベル周辺の遠方領域(ショベルからの距離Dが所定距離D1を超える領域)で車両を検知したか否かを判定する。車両検知部3011Cは、遠方領域で車両を検知した場合、ステップS104Cに進み、それ以外の場合、今回の処理を終了する。
ステップS104Cにて、表示制御部302Cは、表示装置50に車両検知部3011Cにより検知された車両(検知車両)が映っているスルー画像(後述する監視画像MP1)或いは周辺画像(監視画像MP2)が表示されているか否かを判定する。表示制御部302Cは、表示装置50に検知車両が映っているスルー画像及び周辺画像が表示されていない場合、ステップS106Cに進み、何れか一方が表示されている場合、ステップS108Cに進む。
ステップS106Cにて、表示制御部302Cは、検知車両が映っているスルー画像或いは周辺画像を表示させる。何れの画像を表示させるかについては、予め規定される。
ステップS108Cにて、表示制御部302Cは、上述の如く、表示装置50の画面の一部、即ち、表示されるスルー画像(監視画像MP1)或いは周辺画像(監視画像MP2)の一部を強調させることにより、遠方領域で車両が検知された旨をオペレータ等に通知する。併せて、音声制御部303Cは、上述の如く、音声出力装置52から車両検知音を出力させることにより、遠方領域で車両が検知された旨をオペレータ等に通知する。
ステップS110Cにて、車両検知部3011Cは、遠方領域で当該車両を検知している状態が継続しているか否かを判定する。車両検知部3011Cは、遠方領域で当該車両を検知している状態が継続している場合、本ステップの判定を繰り返し、遠方領域で当該車両を検知している状態が継続していない場合、即ち、遠方領域で当該車両を検知しなくなった場合、ステップS112Cに進む。
ステップS112Cにて、表示制御部302Cは、スルー画像(監視画像MP1)或いは周辺画像(監視画像MP2)の一部を強調させる表示を停止させると共に、併せて、音声制御部303Cは、車両検知音を停止させて、今回の処理を終了する。
このように、本例では、表示装置50及び音声出力装置52(共に通知部の一例)は、物体検知部301C(車両検知部3011C)により遠方領域で車両が検知された場合、オペレータ等に車両が検知された旨の通知を行う。具体的には、表示装置50は、表示制御部302Cによる制御の下、スルー画像(監視画像MP1)或いは周辺画像(監視画像MP2)の一部を強調させる表示を行い、音声出力装置52は、音声制御部303Cによる制御の下、車両検知音を出力する。これにより、オペレータ等は、遠方からショベルに近づいてくる可能性がある車両を容易に認知することができる。そのため、例えば、遠方から近づいてくるトラックの到着に合わせて、トラックへの排土の準備を進めておく等、作業効率を向上させることができる。
また、表示装置50及び音声出力装置52は、物体検知部301C(車両検知部3011C)により遠方領域で車両が検知されたことにより、その旨の通知を行っている状態で、当該車両が遠方領域で検知されなくなった場合、通知を停止する。例えば、表示装置50及び音声出力装置52は、当該車両が遠方領域から更に近接領域に移動することにより(即ち、ショベルに更に近づいてきたことにより)、車両が遠方領域で検知されなくなると、通知を停止する。これにより、オペレータが遠方からショベルに近づいてくる車両を既に認知できている状態において、通知が継続し続けることによりオペレータが感じる煩わしさや不快感を抑制することができる。
例えば、図33(図33A、図33B)は、表示装置50に表示される監視画像MP1としてのスルー画像の一例を示す図である。具体的には、図33Aは、車両検知部3011Cにより遠方領域で車両が検知された場合におけるスルー画像を示す図であり、図33Bは、検知車両が近接領域に移動したことによって、車両検知部3011Cにより遠方領域で車両が検知されなくなった場合におけるスルー画像を示す図である。
図33Aに示すように、表示装置50に表示されるスルー画像には、近接領域と遠方領域の境界(即ち、ショベルからの距離Dが所定距離D1の位置)を示すガイドラインGL2が重畳して表示される。そして、スルー画像の中の遠方領域に相当するガイドラインGL2よりも上側の領域には、車両検知部3011Cにより検知されたトラックV1が映っており、トラックV1が含まれる領域(車両領域)は、太線枠FR1Cで囲まれる態様で強調して表示される。これにより、表示装置50の画面(スルー画像)の一部であるトラックV1が含まれる領域(車両領域)が強調されるため、表示装置50は、オペレータ等にトラックV1が検知された旨を通知することができる。
一方、図33Bに示すように、車両検知部3011Cにより検知されたトラックV1は、更にショベルに近づいてくることにより、スルー画像の中の近接領域に相当するガイドラインGL2よりも下側の領域に含まれる状態に変化している。そのため、トラックV1は、車両検知部3011Cにより遠方領域で検知されなくなるため、トラックV1が含まれる領域を強調させる表示(太線枠FR1Cの表示)は停止される。これにより、上述の如く、通知が継続し続けることにより感じるオペレータの煩わしさや不快感を抑制することができる。
また、例えば、図34(図34A、図34B)は、表示装置50に表示される周辺画像EP(監視画像MP2)の一例を示す図である。具体的には、図34Aは、車両検知部3011Cにより遠方領域で車両が検知された場合の周辺画像EP(監視画像MP2)における検知車両の強調表示の一例を示す図であり、図34Bは、検知車両が近接領域に移動したことによって、車両検知部3011Cにより遠方領域で車両が検知されなくなった場合における周辺画像EP(監視画像MP2)を示す図である。
図34Aに示すように、表示装置50に表示される周辺画像EPには、近接領域と遠方領域の境界(即ち、ショベルからの距離Dが所定距離D1の位置)を示すガイドラインGL3が重畳して表示される。そして、周辺画像EPの中の遠方領域に相当するガイドラインGL3よりも外側の領域には、車両検知部3011Cにより検知されたトラックV2が映っており、周辺画像EPの中のトラックV2が含まれる領域(車両領域)は、図33Aに示すスルー画像の一例と同様、太線枠FR2Cで囲まれる態様で強調して表示される。これにより、表示装置50の画面(監視画像MP2)の一部であるトラックV2が含まれる領域(車両領域)が強調されるため、表示装置50は、オペレータ等にトラックV1が検知された旨を通知することができる。
また、図34Bに示すように、車両検知部3011Cにより検知されたトラックV2は、更にショベルに近づいてくることにより、周辺画像EPの中の近接領域に相当するガイドラインGL3よりも外側の領域に含まれる状態に変化している。そのため、トラックV2は、車両検知部3011Cにより遠方領域で検知されなくなるため、トラックV2が含まれる領域を強調させる表示(太線枠FR2Cの表示)は停止される。これにより、上述の如く、通知が継続し続けることにより感じるオペレータの煩わしさや不快感を抑制することができる。
また、例えば、図35は、車両検知部3011Cにより遠方領域で車両が検知された場合の周辺画像EP(監視画像MP2)における検知車両の強調表示の他の例を示す図である。
図35に示すように、本例では、表示装置50は、表示制御部302Cによる制御の下、車両検知部3011CによりトラックV2が検知された場合に、アイコンIC1を周辺画像EPに重畳して表示することにより周辺画像EPの一部を強調して表示させる。具体的には、周辺画像EPの中の遠方領域に相当するガイドラインGL3よりも外側の領域には、車両検知部3011Cにより検知されたトラックV2が映っており、周辺画像EPの中のトラックV2が含まれる領域に隣接してトラックV2が接近してくる方向を示す矢印のアイコンIC1が重畳して表示される。これにより、表示装置50の画面(監視画像MP2)の中の一部であるトラックV2が含まれる領域(車両領域)がアイコンIC1により強調されるため、表示装置50は、オペレータ等にトラックV2が検知された旨を通知することができる。
尚、アイコンIC1の形状は、矢印形状に限らず、任意の形状であってよい。また、スルー画像及び周辺画像の中の検知車両が含まれる領域(車両領域)を強調させる表示態様として、車両領域を太線枠で囲む及びアイコンを重畳表示させる以外の任意の方法が用いられてよく、例えば、表示装置50は、車両領域の輝度を他の領域より高くしたり、車両領域の輝度を周期的に変化させて点滅状態にしたり、車両領域の色を他の領域と異ならせたり等してもよい。
また、例えば、図36は、車両検知部3011Cにより遠方領域で車両が検知された場合の周辺画像EP(監視画像MP2)における検知車両の強調表示の更に他の例を示す図である。
図36に示すように、本例では、表示装置50は、表示制御部302Cによる制御の下、車両検知部3011CによりトラックV2が検知された場合に、画面(即ち、監視画像MP2)の中において、周辺画像EPの外縁よりも外側の領域AR1、即ち、周辺画像EPにおける遠方領域に相当するガイドラインGL3より外側領域の更に外側に隣接する領域AR1を強調して表示する。例えば、表示装置50は、領域AR1を通常状態と異なる色や模様に変化させたり、輝度を画面中の他の領域より高くしたり、周期的に輝度を変化されて点滅状態にしたり等することにより、領域AR1を強調してよい。これにより、周辺画像EPの遠方領域に相当するガイドラインGL3より外側の領域に隣接する、表示装置50の画面(監視画像MP2)の一部である領域AR1が強調して表示されるため、表示装置50は、オペレータ等にトラックV2が検知された旨を通知することができる。
続いて、図37は、本実施形態に係る周辺監視システム100による処理の第2例を概略的に示すフローチャートである。本フローチャートによる処理は、上述の第1例と同様、例えば、ショベルの運転中において、所定時間ごとに繰り返し実行される。
ステップS202Cにて、車両検知部3011Cは、図32のステップS102Cと同様、車両検知領域、即ち、ショベル周辺の遠方領域(ショベルからの距離Dが所定距離D1を超える領域)で車両を検知したか否かを判定する。車両検知部3011Cは、遠方領域で車両を検知した場合、ステップS204Cに進み、それ以外の場合、今回の処理を終了する。
ステップS204Cにて、車両検知部3011Cは、検知車両がショベルに接近しているか否かを判定する。車両検知部3011Cは、例えば、検知車両を検知する過程における位置の履歴(移動履歴)等に基づき、検知車両がショベルに接近しているか否かを検知してよい。車両検知部3011Cは、検知車両がショベルに接近している場合、ステップS206Cに進み、検知車両がショベルに接近していない場合、今回の処理を終了する。
ステップS206C~S214Cの処理は、上述の第1例(図32)におけるステップS104C~S112Cと同様であるため、説明を省略する。
このように、本例では、表示装置50及び音声出力装置52は、物体検知部301C(車両検知部3011C)により遠方領域でショベルに接近する、即ち、近づく方向に移動する車両が検知された場合、車両が検知された旨の通知を行う。これにより、遠方領域に存在する車両のうち、ショベルに接近してくる車両が検知された場合だけその旨が通知されるため、不要な通知を抑制することができる。
続いて、図38は、本実施形態に係る周辺監視システム100による処理の第3例を概略的に示すフローチャートである。本フローチャートによる処理は、上述の第1例等と同様、例えば、ショベルの運転中において、所定時間ごとに繰り返し実行される。
ステップS302Cにて、車両検知部3011Cは、図32のステップS102C等と同様、車両検知領域、即ち、ショベル周辺の遠方領域(ショベルからの距離Dが所定距離D1を超える領域)で車両を検知したか否かを判定する。車両検知部3011Cは、遠方領域で車両を検知した場合、ステップS204Cに進み、それ以外の場合、今回の処理を終了する。
ステップS304Cにて、表示制御部302Cは、表示装置50に検知車両が映っているスルー画像が表示されているか否かを判定する。表示制御部302Cは、表示装置50に検知車両が映っているスルー画像が表示されていない場合、ステップS306Cに進み、検知車両が映っているスルー画像が表示されている場合、ステップS308Cに進む。
ステップS306Cにて、表示制御部302Cは、表示装置50に検知車両が映っているスルー画像を表示させる。
ステップS308C~S312Cは、表示装置50に表示される対象が検知車両を含むスルー画像に限定される以外、上述の第1例(図32)のステップS108C~S112Cと同様であるため、説明を省略する。
尚、本例のフローチャートは、上述の第1例をベースにして、ステップS104C,S106Cの処理をステップS304C,S306Cの処理に置換することにより構成されるが、上述の第2例をベースにして、ステップS206C,S208Cの処理をステップS304C、S306Cの処理に置換してもよい(第3例の変形例)。
このように、本例では、表示装置50は、表示制御部302Cの制御の下、車両検知部3011Cにより遠方領域で車両が検知された場合、自動的に、検知車両が含まれるスルー画像を表示する。これにより、スルー画像に含まれる遠方領域の車両は、周辺画像の場合よりも比較的大きく表示されるため、オペレータ等は、遠方領域の車両の存在だけでなく、車両の詳細まで確認し易くなる。
続いて、図39は、本実施形態に係る周辺監視システム100による処理の第4例を概略的に示すフローチャートである。本フローチャートによる処理は、上述の第1例~第3例、及び第3例の変形例に係る処理の何れか1つと並列して実行される。
ステップS402Cにて、人検知部3012Cは、人検知領域、即ち、ショベル周辺の近接領域(ショベルからの距離Dが所定距離D1以下の領域)で人を検知したか否かを判定する。人検知部3012Cは、近接領域で人を検知した場合、ステップS404Cに進み、それ以外の場合、今回の処理を終了する。
ステップS404Cにて、表示制御部302Cは、表示装置50に人検知部3012Cにより検知された人が映っている監視画像としてのスルー画像或いは周辺画像(監視画像MP2)が表示されているか否かを判定する。表示制御部302Cは、表示装置50に検知された人が映っているスルー画像及び周辺画像(監視画像MP2)が表示されていない場合、ステップS406Cに進み、何れか一方が表示されている場合、ステップS408Cに進む。
ステップS406Cにて、表示制御部302Cは、検知された人が映っているスルー画像或いは周辺画像(監視画像MP2)を表示させる。何れの画像を表示させるかについては、予め規定される。
尚、上述の第1例~第3例、及び第3例の変形例の処理により選択されるスルー画像(検知車両が映っているスルー画像)と本例の処理により選択されるスルー画像(検知された人が写っているスルー画像)が異なる場合、表示制御部302Cは、表示装置50に周辺画像を表示させる、或いは、2つのスルー画像を左右に並べて表示させる。
ステップS408Cにて、表示制御部302Cは、上述の如く、表示装置50に含まれる人を強調させることにより、近接領域で人が検知された旨をオペレータ等に通知する。併せて、音声制御部303Cは、上述の如く、音声出力装置52から人検知音を出力させることにより、近接領域で人が検知された旨をオペレータ等に通知する。
ステップS410Cにて、人検知部3012Cは、近接領域で当該人を検知している状態が継続しているか否かを判定する。人検知部3012Cは、近接領域で当該人を検知している状態が継続している場合、本ステップの判定を繰り返し、近接領域で当該人を検知している状態が継続していない場合、即ち、近接領域で当該人を検知しなくなった場合、ステップS412Cに進む。
ステップS412Cにて、表示制御部302Cは、スルー画像(監視画像MP1)或いは周辺画像(監視画像MP2)に含まれる人を強調させる表示を停止させると共に、併せて、音声制御部303Cは、人検知音を停止させて、今回の処理を終了する。
このように、本例では、表示装置50及び音声出力装置52は、物体検知部301C(車両検知部3011C)により遠方領域で車両が検知された場合、オペレータ等に車両が検知された旨の通知を行うと共に、物体検知部301C(人検知部3012C)により近接領域で車両が検知された場合、オペレータ等に人が検知された旨の通知を行う。これにより、オペレータは、遠方領域の車両を早期に認識し、作業効率を高めることができると共に、近接領域の人を早期に認識し、安全性を確保することができる。
また、表示装置50及び音声出力装置52は、物体検知部301C(人検知部3012C)により近接領域で人が検知されたことにより、その旨の通知を行っている状態で、当該人が近接領域で検知されなくなった場合、通知を停止する。例えば、表示装置50及び音声出力装置52は、当該人が近接領域から遠方領域に移動することにより(即ち、ショベルから離れたにより)、当該人が近接領域で検知されなくなると、通知を停止する。これにより、安全性が比較的確保された状態では、通知が停止される(実行されない)ため、オペレータが感じる煩わしさや不快感を抑制することができる。
例えば、図40(図40A、図40B)は、表示装置50に表示される監視画像MP1としてのスルー画像の他の例を示す図である。具体的には、図40Aは、人(作業者H1)が遠方領域に存在する場合におけるスルー画像を示す図であり、図40Bは、近接領域に移動したことによって、人検知部3012Cにより人(作業者H1)が検知された場合におけるスルー画像を示す図である。
図40Aに示すように、表示装置50に表示されるスルー画像の中の遠方領域に相当するガイドラインGL2よりも上側の領域には、作業者H1が映っている。この場合、遠方領域の作業者H1は、人検知部3012Cにより検知されてないため、人が検知された旨の通知(後述する人が含まれる領域の強調表示)は行われない。
一方、図40Bに示すように、作業者H1は、ショベルに近づいてくることにより、スルー画像の中の近接領域に相当するガイドラインGL2よりも下側の領域に含まれる状態に変化している。そのため、作業者H1は、人検知部3012Cにより近接領域で検知され、作業者H1が含まれる領域(人領域)は、太線枠FR3Cで囲まれる態様で強調して表示される。これにより、上述の如く、オペレータは、近接領域の人を早期に認識し、安全性を確保することができる。
また、例えば、図41(図41A、図41B)は、表示装置50に表示される周辺画像EP(監視画像MP2)の他の例を示す図である。具体的には、図41Aは、人(作業者H2)が遠方領域に存在する場合における周辺画像EP(監視画像MP2)を示す図であり、図41Bは、近接領域に移動したことによって、人検知部3012Cにより近接領域で人(作業者H2)が検知された場合における周辺画像EP(監視画像MP2)を示す図である。
図41Aに示すように、表示装置50に表示される周辺画像EPの中の遠方領域に相当するガイドラインGL3よりも外側の領域には、作業者H2が映っている。この場合、遠方領域の作業者H2は、人検知部3012Cにより検知されてないため、人が検知された旨の通知(後述する人が含まれる領域の強調表示)は行われない。
一方、図41Bに示すように、作業者H2は、ショベルに近づいてくることにより、周辺画像EPの中の近接領域に相当するガイドラインGL3よりも内側の領域に含まれる状態に変化している。そのため、作業者H2は、人検知部3012Cにより近接領域で検知され、作業者H2が含まれる領域(人領域)は、太線枠FR4Cで囲まれる態様で強調して表示される。これにより、上述の如く、オペレータは、近接領域の人を早期に認識し、安全性を確保することができる。
尚、スルー画像及び周辺画像の中の検知された人が含まれる領域(人領域)を強調させる表示態様として、人領域を太線枠で囲む以外の任意の方法が用いられてよく、例えば、表示装置50は、人領域或いは人領域に隣接してアイコンを重畳表示させたり、人領域の輝度を他の領域より高くしたり、人領域の輝度を周期的に変化させて点滅状態にしたり、人領域の色を他の領域と異ならせたり等してもよい。
以上、本発明の一実施形態に係る周辺監視システムの第3の機能について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、上述した実施形態では、表示制御部302C及び音声制御部303Cによる制御の下、表示装置50及び音声出力装置52の双方により、オペレータ等に対する車両及び人が検知された旨の通知が行われるが、何れか一方だけが当該通知を行う態様であってもよい。
また、上述した実施形態及び変形例では、物体検知部301C、即ち、車両検知部3011C及び人検知部3012Cは、それぞれ、撮像装置40(後方カメラ40B、左側方カメラ40L、右側方カメラ40R)の撮像画像に基づき、車両及び人を検知するが、撮像装置40の撮像画像に代えて、或いは、加えて、他のセンサ、例えば、ミリ波レーダ、LIDAR、ステレオカメラ等の検出結果(距離画像等)に基づき、車両及び人を検知してもよい。
また、上述した実施形態及び変形例では、物体検知部301Cは、ショベルに搭載されるセンサによって、車両を検知するが、当該態様には限定されない。例えば、物体検知部301Cは、直接、或いは、間接的に、同じ作業現場で作業する、或いは、当該作業現場に移動してくる可能性がある車両(以下、「対象車両」と称する)の位置情報と、ショベルの位置情報とを取得し、ショベルと対象車両との相対位置関係に基づき、相対的に遠方からショベルに接近する対象車両を検知する。具体的には、対象車両及びショベルの位置情報は、それぞれ、対象車両及びショベルに搭載されるGNSS(Global Navigation Satellite System:全地球測位衛星システム)装置により取得されてよい。そして、対象車両及びショベルは、例えば、それぞれに搭載される所定の通信機器を利用し、所定の通信ネットワークを通じて、所定の管理サーバ等と通信可能に接続され、ショベルは、当該通信ネットワークを介して、対象車両から管理サーバにアップロードされた車両の位置情報を管理サーバから取得し、ショベルの位置情報と比較することにより、ショベルに近づいてくる対象車両を検知してよい。これにより、ショベル(物体検知部301C)は、より早い段階で、ショベルに近づいてくる車両を検知できる。また、ショベルは、例えば、車両の位置情報に加えて、車両に関する付属情報(どのような作業目的でどこに向かっているか)等を取得することにより、更に早い段階で、ショベルに近づいてくる車両を検知できる。
尚、上述した実施形態に係る周辺監視システムの第3の機能に関して、以下を更に開示する。
(1)
作業機械に近接する所定の近接領域よりも遠方の遠方領域で車両を検知する物体検知部と、
前記物体検知部により前記遠方領域で車両が検知された場合、車両が検知された旨の通知を行う通知部と、を備える、
作業機械用周辺監視システム。
(2)
前記通知部は、前記物体検知部により前記遠方領域で前記作業機械に近づく方向に移動する車両が検知された場合、車両が検知された旨の通知を行う、
(1)に記載の作業機械用周辺監視システム。
(3)
前記通知部は、前記物体検知部により車両が前記遠方領域で検知されたことにより、前記通知を行っている状態で、当該車両が前記近接領域に移動することによって、前記物体検知部により当該車両が前記遠方領域で検知されなくなった場合、前記通知を停止する、
(1)又は(2)に記載の作業機械用周辺監視システム。
(4)
前記物体検知部は、前記近接領域で人を検知し、
前記通知部は、前記物体検知部により前記近接領域で人が検知された場合、人が検知された旨の通知を行う、
(3)に記載の作業機械用周辺監視システム。
(5)
前記物体検知部は、車両を検知するための車両検知部と、人を検知するための人検知部とを有すると共に、前記遠方領域を対象として前記車両検知部を利用し、前記近接領域を対象として前記人検知部を利用する、
(4)に記載の作業機械用周辺監視システム。
(6)
作業機械の周辺を撮像する撮像装置を更に備え、
前記通知部は、前記作業機械の操縦席の周辺に設けられ、前記撮像装置の撮像画像、又は、前記撮像画像に基づき生成される視点変換画像を表示する表示装置を含み、
前記表示装置は、前記物体検知部により車両が検知された場合、前記撮像画像又は前記視点変換画像を含む前記表示装置の画面の一部を強調させることにより、車両が検知された旨の通知を行う、
(1)乃至(5)の何れか一項に記載の作業機械用周辺監視システム。
(7)
前記表示装置は、前記物体検知部により車両が検知された場合、前記撮像画像又は前記視点変換画像の中の前記物体検知部により検知された車両が含まれる領域を強調させる、
(6)に記載の作業機械用周辺監視システム。
(8)
前記表示装置は、前記物体検知部により車両が検知された場合、画面の中の前記視点変換画像の外縁より外側の領域を強調させる表示を行う、
(6)に記載の作業機械用周辺監視システム。
(9)
作業機械から見て相対的に遠方から前記作業機械に接近してくる車両が存在する場合、当該車両の存在を通知する通知部を備える、
作業機械用周辺監視システム。
(10)
作業機械の周辺を撮像する撮像装置を更に備え、
前記通知部は、前記作業機械の操縦席の周辺に設けられ、前記撮像装置の撮像画像、又は、前記撮像画像に基づき生成される視点変換画像を表示する表示装置を含み、
前記表示装置は、前記撮像画像又は前記視点変換画像に前記車両が含まれる場合、前記撮像画像又は前記視点変換画像を含む前記表示装置の画面の一部を強調させることにより、前記車両の存在を通知する、
(9)に記載の作業機械用周辺監視システム。
(11)
前記表示装置は、前記撮像画像又は前記視点変換画像に前記車両が含まれる場合、前記撮像画像又は前記視点変換画像の中の前記車両が含まれる領域を強調させる、
(10)に記載の作業機械用周辺監視システム。
(12)
前記表示装置は、前記物体検知部により車両が検知された場合、画面の中の前記視点変換画像の外縁より外側の領域を強調させる表示を行う、
(10)に記載の作業機械用周辺監視システム。
[周辺監視システムの第4の特徴機能]
次いで、本実施形態に係る周辺監視システム100に関する第4の特徴機能、具体的には、周辺監視システム100の安全機能が制限されている状況をショベル周辺に通知する機能の一例(以下、「安全機能制限通知機能」とも称する場合がある)について説明する。
<第4の特徴機能による作用に関する概要>
まず、第4の特徴機能(安全機能制限通知機能)の作用に関する概要を説明する。
作業機械周辺の所定の監視対象(例えば、人)を検知する監視対象検知手段と、監視対象が検知されると、例えば、当該監視対象が検知された旨をオペレータに通知したり、作業機械の動作を制限したり等することにより、作業機械周辺の安全性の維持を図る安全確保手段と、を備える作業機械用周辺監視システムが知られている(例えば、特開2014-181508号公報等参照)。
しかしながら、監視対象検知手段及び安全確保手段の少なくとも一方が動作していない場合或いは動作していても動作状態が正常でない場合、監視対象検知手段及び安全確保手段による作業機械周辺の安全性の確保が制限される。そのため、このような状況を考慮して、作業機械が使用される作業現場における更なる安全性の確保が図られることが望ましい。
そこで、本実施形態では、第4の特徴機能によって、作業機械が使用される作業現場における安全性を更に向上させることが可能な作業機械用周辺監視システムを提供する。
<周辺監視システムの構成>
次に、図42を参照して、本実施形態に係る周辺監視システム100の具体的な構成について説明をする。
図42は、本実施形態に係る周辺監視システム100の構成の一例を示すブロック図である。
周辺監視システム100は、ショベルの周辺の所定範囲内への監視対象である所定の物体(以下、単に「監視対象」と称する)の侵入を監視し、監視対象を検知した場合、警報を出力したり、ショベルの動作を制限したりする。監視対象は、人や人以外の障害物や車両等の任意の物体であってよい。以下、監視対象は、人である前提で説明を続ける。
周辺監視システム100は、コントローラ30と、撮像装置40と、表示装置50と、音声出力装置52と、ゲートロック弁54と、外部用表示装置60と、外部用音声出力装置62を含む。
コントローラ30は、上述の如く、周辺監視システム100における各種制御処理を行う。コントローラ30は、例えば、ROMや補助記憶装置等に格納される各種プログラムをCPU上で実行することにより実現される機能部として、検知部301Dと、表示制御部302Dと、警報出力部303Dと、制限制御部304Dと、判定部305Dを含む。
撮像装置40は、上述の如く、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む上下方向の撮像範囲(画角)を有する。後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rは、それぞれ、ショベルの運転中、所定周期(例えば、1/30秒)毎に、撮像画像を出力し、コントローラ30に送信する。
表示装置50は、撮像装置40の撮像画像(スルー画像)や、コントローラ30(表示制御部302D)により撮像装置40の撮像画像に基づき生成される周辺画像(例えば、後述する視点変換画像)等を表示する。
音声出力装置52は、コントローラ30(具体的には、警報出力部303D)による制御の下、警報音を出力する。
ゲートロック弁54は、コントローラ30(具体的には、制限制御部304D)による制御の下、上述したゲートロックレバー(不図示)が引き上げられた状態であっても、パイロットライン(不図示)を非連通状態にする。
外部用表示装置60は、コントローラ30(具体的には、警報出力部303D)による制御の下、ショベルの周辺に向けて、所定の文字情報や画像情報を表示し、ショベルの周辺の警戒エリアへの監視対象の侵入に対する警報を行う。また、外部用表示装置60は、コントローラ30(具体的には、判定部305D)による制御の下、ショベルの周辺に向けて、ショベルの監視機能(ショベルの周辺で監視対象を検知する機能)或いは監視機能に基づき動作する、後述する安全機能が制限されている旨を示す文字情報や画像情報を表示する。
外部用音声出力装置62は、コントローラ30(具体的には、警報出力部303D)による制御の下、ショベルの周辺に向けて、所定の音声情報を出力し、監視対象のショベルの周辺の警戒エリアへの侵入に対する警報を行う。また、外部用音声出力装置62は、コントローラ30(具体的には、判定部305D)による制御の下、ショベルの周辺に向けて、ショベルの監視機能(ショベルの周辺で監視対象を検知する機能)或いは後述する安全機能が制限されている旨を示す音声情報を出力する。
検知部301Dは、撮像装置40により撮像された撮像画像に基づき、ショベルの周辺の所定領域(監視エリア)内、例えば、ショベルからの距離Dが所定距離D1(例えば、5メートル)以内における人(監視対象)を検知する。例えば、検知部301Dは、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像画像内の人を認識すると共に、認識した人の実在位置(ショベルから認識した人までの距離D等)を特定することができる。検知部301Dは、後方検知部301DBと、左側方検知部301DLと、右側方検知部301DRを含む。
後方検知部301DBは、後方カメラ40Bから入力される撮像画像に基づき、後方カメラ40Bの撮像領域(即ち、後方領域)における監視エリア内の監視対象(即ち、人)を検知する。
左側方検知部301DLは、左側方カメラ40Lから入力される撮像画像に基づき、左側方カメラ40Lの撮像領域(即ち、左側方領域)における監視エリア内の監視対象(即ち、人)を検知する。
右側方検知部301DRは、右側方カメラ40Rから入力される撮像画像に基づき、右側方カメラ40Rの撮像領域(即ち、右側方領域)における監視エリア内の監視対象(即ち、人)を検知する。
尚、検知部301D(後方検知部301DB、左側方検知部301DL、右側方検知部301DR)は、撮像装置40の撮像画像に代えて、或いは、加えて、他のセンサ、例えば、ミリ波レーダ、LIDAR、ステレオカメラ等の検出結果(距離画像等)に基づき、ショベルの周辺の監視対象を検知してもよい。この場合、これらの他のセンサがショベルに設けられる。
このように、本実施形態に係る周辺監視システム100において、監視対象(即ち、人)を検知する機能(以下、「監視機能」と称する)を有する監視対象検知手段110は、上述した説明から分かるように、監視エリアを含むショベルの周辺を撮像する撮像装置40と、撮像装置40の撮像画像から、画像処理等を用いて、監視対象を検知する検知部301Dとを含んで構成される。
また、監視対象検知手段110は、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのそれぞれの撮像領域内において、監視対象を検知する後方用監視対象検知手段110B、左側方用監視対象検知手段110L、及び右側方用監視対象検知手段110R(複数の領域別監視対象検知手段の一例)を含む。具体的には、後方用監視対象検知手段110B(領域別監視対象検知手段の一例)は、後方カメラ40Bと、後方検知部301DBを含み、左側方用監視対象検知手段110L(領域別監視対象検知手段の他の例)は、左側方カメラ40Lと、左側方検知部301DLを含み、右側方用監視対象検知手段110R(領域別監視対象検知手段の更に他の例)は、右側方カメラ40Rと、右側方検知部301DRを含む。
表示制御部302Dは、オペレータの各種操作に応じて、表示装置50に各種情報画像を表示させる。例えば、表示制御部302Dは、オペレータによる所定操作に応じて、撮像装置40の撮像画像に基づき、周辺画像を生成し、表示装置50に表示させる。具体的には、表示制御部302Dは、周辺画像として、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの撮像画像に基づき、既知の視点変換処理を行うことにより、視点変換画像(仮想視点から見た画像)を生成し、表示装置50に表示させる。また、表示制御部302Dは、周辺画像を表示装置50に表示させる際、周辺画像に写る撮像装置40の撮像範囲のショベルに対する相対位置関係を明示するため、ショベルを模式的に表すショベル画像を併せて表示装置50に表示させる。即ち、表示制御部302Dは、ショベル画像と、ショベルと撮像装置40の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視画像を生成し、表示装置50に表示させる。以下、図43を参照して、表示装置50に表示される監視画像について説明をする。
尚、表示制御部302Dの機能は、表示装置50に内蔵されてもよい。この場合、撮像装置40(後方カメラ40B、左側方カメラ40L、右側方カメラ40R)の撮像画像、及び検知部301Dの検知結果等の情報は、それぞれ、撮像装置40及びコントローラ30から表示装置50に入力される。
図43は、表示装置50に表示される監視画像MP2の一例を示す図である。
図43に示すように、表示装置50における横長の長方形の画面(例えば、アスペクト比4:3の画面)には、上述の如く、ショベル画像CGと、ショベル画像CGの周囲に配置される周辺画像EPとを含む監視画像MP2が表示されている。これにより、オペレータ等は、周辺画像EPに写っている監視対象(即ち、人)と、ショベルとの位置関係を適切に把握することができる。
本例における周辺画像EPは、ショベルに隣接する周辺領域を真上から見た俯瞰画像BVPと、当該俯瞰画像BVPの周りに配置される、ショベルから当該周辺領域を水平方向に見た水平画像HVPとを組み合わせた視点変換画像である。視点変換画像である周辺画像EPは、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面若しくは曲面を含む一又は複数の平面若しくは曲面で構成される。以下、本実施形態における周辺画像は、ショベルに隣接する周辺領域を真上から見た俯瞰画像と、該周辺領域の周囲をショベルから水平方向に見た水平画像とを組み合わせた視点変換画像である前提で説明を続ける。
また、監視画像MP2には、ガイドラインGL1が重畳表示される。ガイドラインGL1は、ショベルからの距離Dが所定距離D2(<D1)の位置、即ち、監視エリアに含まれる後述する警戒エリアの外縁位置を表す。これにより、周辺画像に監視対象(即ち、人)が写っている場合、オペレータ等は、ショベルからどの程度離れた位置にいるかを把握することができる。
また、本例では、監視画像MP2の周辺画像EPは、警戒エリア(ショベルからの距離Dが所定距離D2以下のエリア)内に監視対象である人(作業者W1D)を含む。周辺画像EPに含まれる、警戒エリア内の作業者W1Dは、太線枠FR1Dで囲まれる態様で強調される。これにより、オペレータに向けて、警戒エリアに監視対象が侵入している旨を警報(通知)することができる。
図42に戻り、警報出力部303Dは、検知部301Dにより警戒エリア、即ち、ショベルからの距離Dが所定距離D2以内で人が検知された場合、キャビン10の内部、即ち、オペレータ、及びショベルの周辺、即ち、作業者や作業現場の現場監督等の監視者等に向けて警報を行う。例えば、警報出力部303Dは、音による警報を出力させる。具体的には、警報出力部303Dは、音声出力装置52及び外部用音声出力装置62を通じて警告音を出力させる。例えば、図44(図44A、図44B)は、ショベルの周辺に向けて出力される警報の一例を模式的に説明する図である。図44に示すように、ショベルの周辺における警戒エリア外にいる作業者(図44A)が、警戒エリア内に侵入した場合、キャビン10の内部のオペレータ及びショベルの周辺の侵入した作業者、他の作業者及び作業現場の現場監督等の監視者等に向けて、音声出力装置52及び外部用音声出力装置62から、例えば、"危険エリアに進入しています"等の警告音(音声)が出力される(図44B)。
また、例えば、警報出力部303Dは、視覚的な表示による警報を出力させる。具体的には、警報出力部303Dは、表示制御部302Dに警報要求を送信する。これにより、表示制御部302Dは、警報要求に応じて、表示装置50に表示される監視画像MP2の周辺画像EPに含まれる監視対象である人を太線枠で囲む等の強調させる処理を施し(図43参照)、表示装置50は、オペレータに対する警報を行うことができる。また、警報出力部303Dは、外部用表示装置60に警報要求を送信する。これにより、表示装置50は、上述した図44の警告音(音声)と同じ文字情報を表示させる等により、ショベルの周辺への警報を行うことができる。
このように、警報出力部303Dは、音声出力装置52を用いて、オペレータに向けて警報を行うことにより、オペレータによるショベルの操作の中断等を促すことができ、結果として、ショベルの周辺における安全性の維持を図ることができる。また、警報出力部303Dは、外部用音声出力装置62を用いて、ショベルの周辺に向けて警報を行うことにより、警戒エリアからの人の退避を促したり、警戒エリア外の人(他の作業者や作業現場の現場監督等の監視者)に対して、作業者の配置位置の見直しを促したり等することができ、結果として、ショベルの周辺における安全性の維持を図ることができる。
尚、警報出力部303Dは、警戒エリアよりも外側の監視エリア(D2<D≦D1)で監視対象(即ち、人)を検知した場合、警戒エリアで監視対象が検知した場合よりも危険度を表す警報レベルが比較的低い警報、即ち、予備的な警報を行ってもよい。例えば、警報出力部303Dは、検知された人のショベルからの距離Dが所定距離D1以下且つ所定距離D2より大きい場合(即ち、検知された人が警戒エリアよりも外側の監視エリアにいる場合)、比較的危険度が低い注意状態(警報レベル1)であるとして、予備的な警報(例えば、比較的小音量の警告音をスピーカに出力させる)を出力する。一方、警報出力部303Dは、検知された人のショベルからの距離Dが所定距離D2以下である場合(即ち、検知された人が警戒エリア内にいる場合)、比較的危険度が高い警戒状態(警報レベル2)であるとして、正式な警報(例えば、比較的大音量の警告音)を出力する。
図42に戻り、制限制御部304Dは、検知部301Dにより警戒エリアで人が検知された場合、ショベルの動作要素(下部走行体1、上部旋回体3、ブーム4、アーム5、バケット6等)の動作を制限させる。例えば、制限制御部304Dは、ゲートロック弁54に指令信号としてのON信号を送信することにより、ゲートロック弁54にパイロットラインを非連通状態にさせる。これにより、パイロットポンプ(不図示)からショベルの動作要素を操作する操作装置(不図示)に作動油(パイロット圧)が供給されないため、オペレータが操作装置に操作入力を行っても、ショベルの動作要素が動作しないように制限することができる。そのため、ショベルに近接する警戒エリアに人が侵入してしまった場合であっても、ショベルの動作が制限され、ショベルと人の衝突を抑制することができ、結果として、ショベルの周辺における安全性の維持を図ることができる。
尚、例えば、操作装置から出力される二次側のパイロット圧を減圧する減圧弁を設け、制限制御部304Dは、ゲートロック弁54の代わりに、当該減圧弁を制御してもよい。この場合、当該減圧弁は、操作装置から出力される二次側のパイロット圧を操作量ゼロに相当する圧力値以下まで減圧させることにより、オペレータによる操作装置に対する操作を無効化することができ、結果として、ショベルの動作要素の動作を制限することができる。
このように、監視対象検知手段110により警戒エリア内で監視対象(即ち、人)が検知された場合に、ショベルの周辺における安全性の確保を図る安全機能、例えば、上述の如く、オペレータに向けて警報を出力する機能(以下、内部警報機能と称する)、ショベルの周辺に向けて警報を出力する機能(以下、外部警報機能と称する)、及びショベルの動作要素の動作を制限させる機能(以下、動作制限機能と称する)等を有する安全確保手段120は、表示制御部302D、警報出力部303D、制限制御部304D、表示装置50、音声出力装置52、ゲートロック弁54、外部用表示装置60、外部用音声出力装置62等を含んで構成される。
判定部305D(判定手段の一例)は、周辺監視システム100における監視対象を検知する機能(以下、監視機能と称する)、即ち、監視対象検知手段110が動作しているか否か、及び動作している場合の動作状態が正常であるか否かを判定する(以下、動作しているか否かの判定を「第1の当否判定」と称し、動作状態が正常であるかの判定を「第2の当否判定」と称する)。監視対象検知手段110が"動作していない"状態とは、例えば、監視対象検知手段110の少なくとも一部が電源供給或いは油圧供給により動作する場合に、電源OFFされている或いは油圧が遮断されている状態や、監視対象検知手段110の監視機能をON/OFF切替可能である場合に、当該監視機能がOFFに設定されている状態等、意図的に監視対象検知手段110(即ち、監視機能)が働かないようにされている状態を含む。
そして、判定部305Dは、監視対象検知手段110が動作していない、或いは、動作しているが、その動作状態が正常でない(即ち、異常である)と判定された場合、外部用表示装置60及び外部用音声出力装置62に通知指令を送信し、ショベルの周辺に向けて、監視対象検知手段110(即ち、監視機能)の動作が制限されていることを示す通知(制限通知)を行う。
判定部305Dは、任意の方法で、監視対象検知手段110が動作しているか否かを判定してよい。例えば、判定部305Dは、監視対象検知手段110に含まれる各構成要素、即ち、撮像装置40(後方カメラ40B、左側方カメラ40L、右側方カメラ40R)及び検知部301D(後方検知部301DB、左側方検知部301DL、右側方検知部301DR)のそれぞれに対して、当否判定を行ってよい。この場合、判定部305Dは、構成要素の少なくとも1つが動作していない場合、監視対象検知手段110が動作していないと判定する。また、例えば、判定部305Dは、撮像装置40からコントローラ30に定期的に撮像画像が入力されている状態であるか否かにより、撮像装置40が動作しているか否かを判定してよい。また、判定部305Dは、コントローラ30のメモリ等に保持される、監視機能のON/OFFに関する情報(フラグ)等を確認することにより、検知部301Dが動作しているか否かを判定してよい。
また、判定部305Dは、任意の方法で、監視対象検知手段110の動作状態が正常であるか否かを判定してよい。例えば、判定部305Dは、監視対象検知手段110に含まれる各構成要素、即ち、撮像装置40及び検知部301Dのそれぞれに対して、当否判定を行ってよい。この場合、判定部305Dは、構成要素の少なくとも1つの動作状態が正常でない場合、監視対象検知手段110の動作状態が正常でないと判定する。また、例えば、判定部305Dは、コントローラ30のROM等に予め格納されるヘルスチェックプログラム(ダイアグプログラム)に基づき、撮像装置40及び検知部301Dのヘルスチェックを行い、ヘルスチェック結果に基づき、撮像装置40及び検知部301Dの動作状態が正常であるか否かを判定してよい。
また、判定部305Dは、画像処理によって監視対象を正常に検知できる程度の撮像画像を撮像装置40から取得できているか否かを判定することにより、監視対象検知手段110の動作状態が正常であるか否かを判定してもよい。撮像装置40から出力される撮像画像にフリーズ、白飛び、黒つぶれが発生したり、撮像装置40のレンズの付着物に起因して撮像装置40から出力される撮像画像の大部分を付着物が占めていたり等すると、画像処理ベースの場合、監視対象を正常に検知できない可能性が高いからである。また、ある程度の速度で、ショベルが移動したり、旋回したりしている状況では、撮像装置40の撮像領域が時々刻々と変化するため、監視対象を正常に検知できる程度、即ち、同一の監視対象の候補を追跡し、正式な監視対象として検知するために必要な枚数の同一の監視対象が含まれる撮像画像を取得できず、画像処理ベースの場合、監視対象を正常に検知できない可能性が高いからである。
具体的には、判定部305Dは、撮像装置40の撮像画像の平均情報量、例えば、平均輝度情報量等に基づき、撮像装置40の撮像画像が監視対象を正常に検知できる状態にあるか否か、即ち、撮像画像が、白飛び、黒潰れ、フリーズ等に該当しない状態であるか否かを判定してよい。例えば、撮像装置40による撮像画像の平均輝度情報量が比較的小さい、即ち、適宜予め規定される閾値より小さい場合、撮像画像における輝度値のヒストグラム分散が狭い状態を表しているため、白飛び、黒潰れ、或いは、それに類するような状態(撮像装置40のレンズを付着物が覆っている状態等)であると判定することができる。この場合、時系列的に連続する複数の撮像画像における平均輝度情報量の平均値を用いて、当該判定を行ってもよい。また、時系列的に連続する2つの撮像画像の平均輝度情報量の変化量(平均輝度情報量変化量)が略ゼロである(即ち、略ゼロであると判定可能な非常に小さい閾値より小さい)場合、2つの撮像画像における輝度のヒストグラムに変化がない状態を表しているため、撮像画像のフリーズ、或いは、それに類するような状態であると判定することができる。この場合、時系列的に連続する2以上の平均輝度情報量変化量のそれぞれに対して、略ゼロであるか否かを判定し、当該条件を満足する割合が所定以上の場合に、撮像画像のフリーズ、或いは、それに類するような状態であると判定してもよい。
また、判定部305Dは、撮像装置40の撮像画像の所定の画像特徴量、例えば、LBP(Local Binary Pattern)特徴量の時系列変化に基づき、ショベルの移動状態又は旋回状態が、撮像画像から監視対象を正常に検知できる程度であるか否かを判定してもよい。撮像装置40による撮像画像における画像特徴量の時系列変化(差分)が比較的大きい場合は、背景が移動している、即ち、ショベルが移動している、或いは、旋回していると判断できるからである。例えば、まず、判定部305Dは、撮像装置40の時系列的に連続する2つの撮像画像のそれぞれを予め規定される複数のブロック、例えば、N(2以上の整数)個のブロックに区分し、ブロックごとにLBP特徴量を算出する。次に、判定部305Dは、ブロックごとに、2つの撮像画像の間のLBP特徴量の変化量に相当するハミング距離hdi(i=1,...,N)を算出すると共に、区分されるN個のブロックの全てのハミング距離hdiの和を、2つの撮像画像間のハミング距離HD(=hd1+...+hdN)として算出する。そして、算出したハミング距離HDが、適宜予め規定される閾値より大きい場合、背景がある程度の速度で移動している、即ち、ショベルがある程度の速度で移動或いは旋回していると判定することができる。この場合、時系列的に連続する3以上の撮像画像を対象として、2以上のハミング距離HDを算出し、それらの平均値を用いて、当該判定を行ってもよい。
また、判定部305Dは、監視対象検知手段110に含まれる後方用監視対象検知手段110B、左側方用監視対象検知手段110L、右側方用監視対象検知手段110Rのそれぞれに対して、動作しているか否か、及び動作している場合の動作状態が正常であるか否かを判定してもよい。
そして、判定部305Dは、後方用監視対象検知手段110B、左側方用監視対象検知手段110L、右側方用監視対象検知手段110Rのうちの一部が動作していない、或いは、動作しているが、その動作状態が正常でない(即ち、異常である)と判定された場合、外部用表示装置60及び外部用音声出力装置62を用いて、ショベルの周辺に向けて、後方用監視対象検知手段110B、左側方用監視対象検知手段110L、右側方用監視対象検知手段110Rのうちの一部に対応する撮像装置40の撮像領域(後方領域、左側方領域、及び右側方領域のうちの何れか1つ或いは2つの領域)における監視機能が制限されている旨の通知(以下、「制限通知」と称する)を行ってもよい(後述する図48参照)。
また、判定部305Dは、監視対象検知手段110により警戒エリアで監視対象(即ち、人)が検知された場合にショベルの周辺における安全性の確保を図る安全確保手段120に対して、動作しているか否か、及び動作している場合の動作状態が正常であるか否かを判定してもよい。安全確保手段120が"動作していない"状態とは、監視対象検知手段110の場合と同様、例えば、安全確保手段120の少なくとも一部が電源供給或いは油圧供給により動作する場合に、電源がOFFされている或いは油圧が遮断されている状態や、安全確保手段120(即ち、安全機能)をON/OFF切替可能である場合に、安全機能がOFFに設定されている状態等、意図的に安全確保手段120の機能が働かないようにされている状態を含む。
そして、判定部305Dは、安全確保手段120が動作していない、或いは、動作しているが、その動作状態が正常でない(即ち、異常である)と判定された場合、外部用表示装置60及び外部用音声出力装置62に通知指令を送信し、ショベルの周辺に向けて、安全確保手段120(即ち、安全機能)の動作が制限されていることを示す通知(制限通知)を行ってもよい(図49参照)。
判定部305Dは、監視対象検知手段110の場合と同様、任意の方法で、安全確保手段120が動作しているか否かを判定してよい。例えば、判定部305Dは、安全確保手段120に含まれる各構成要素、即ち、表示制御部302D、警報出力部303D、制限制御部304D、表示装置50、音声出力装置52、ゲートロック弁54、外部用表示装置60、外部用音声出力装置62のそれぞれに対して、当否判定を行ってよい。この場合、判定部305Dは、構成要素の少なくとも1つが動作していない場合、安全確保手段120が動作していないと判定する。また、例えば、判定部305Dは、撮像装置40からコントローラ30に定期的に撮像画像が入力されている状態であるか否かにより、撮像装置40が動作しているか否かを判定してよい。また、判定部305Dは、コントローラ30のメモリ等に保持される、安全機能のON/OFFに関する情報(フラグ)等を確認することにより、検知部301Dが動作しているか否かを判定してよい。
また、判定部305Dは、監視対象検知手段110の場合と同様、任意の方法で、安全確保手段120の動作状態が正常であるか否かを判定してよい。例えば、判定部305Dは、安全確保手段120に含まれる各構成要素、即ち、表示制御部302D、警報出力部303D、制限制御部304D、表示装置50、音声出力装置52、ゲートロック弁54、外部用表示装置60、外部用音声出力装置62のそれぞれに対して、当否判定を行ってよい。この場合、判定部305Dは、構成要素の少なくとも1つの動作状態が正常でない場合、安全確保手段120の動作状態が正常でないと判定する。また、例えば、判定部305Dは、コントローラ30のROM等に予め格納されるヘルスチェックプログラム(ダイアグプログラム)に基づき、表示制御部302D、警報出力部303D、制限制御部304D、表示装置50、音声出力装置52、ゲートロック弁54、外部用表示装置60、外部用音声出力装置62のヘルスチェックを行い、ヘルスチェック結果に基づき、表示制御部302D、警報出力部303D、制限制御部304D、表示装置50、音声出力装置52、ゲートロック弁54、外部用表示装置60、外部用音声出力装置62の動作状態が正常であるか否かを判定してよい。
<制限通知の具体例>
次に、図45、図46を参照して、外部用表示装置60及び外部用音声出力装置62により行われる監視対象検知手段110の動作(監視機能)が制限されていることを示す通知(制限通知)の具体例を説明する。
尚、安全確保手段120の動作(安全機能)が制限されていることを示す通知についても、同様に行われるため、説明を省略する。
図45、図46(図46A、図46B)は、ショベルの周辺に向けて通知される制限通知の一例及び他の例を模式的に説明する図である。
図45に示すように、本例では、上部旋回体3の後端の側面上部において、左右方向に亘って配置される外部用表示装置60には、"監視機能制限中"と表示されている。これにより、ショベルの周辺で作業をしている作業者や作業現場の監督者等は、ショベルの監視機能が制限されていることを把握することができる。
また、図46に示すように、監視対象検知手段110の動作が正常でない状況になった場合(図46A)、外部用音声出力装置62から、例えば、"ショベルの監視機能が制限されています"等の音声が出力される(図46B)。
これにより、作業者や作業現場の現場監督等の監視者等は、ショベルの監視機能や当該監視機能に基づく安全機能が制限されていることをショベルの外部から把握することができる。そのため、通常、ショベルの周辺の安全性の確保については、ショベル側での監視機能や安全機能に頼る部分が大きいところ、これらの機能が制限された場合であっても、作業者や作業現場の現場監督等の監視者等に対して、ショベルの周辺における安全性の確保を考慮した行動(例えば、ショベルとの距離を通常よりも確保して作業を行う等)を促すことができる。よって、ショベルの周辺の安全性を更に向上させることができる。
<周辺監視システムの動作の詳細>
次に、図47~図49を参照して、本実施形態に係る周辺監視システム100による特徴的な処理、即ち、判定部305Dによる制限通知を行うための処理(通知処理)のフローについて説明をする。
図47は、周辺監視システム100の判定部305Dによる通知処理の第1例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、ショベルの運転中、制限通知が行われていない状況で、定期的に繰り返し実行されてよい。
ステップS102Dにて、判定部305Dは、監視機能に対する第1の当否判定、即ち、監視対象検知手段110が動作しているか否かの判定を行う。
ステップS104Dにて、判定部305Dは、監視機能に対する第2の当否判定、即ち、監視対象検知手段110が動作している場合の動作状態が正常であるか否かの判定を行う。
尚、ステップS102D,S104Dの処理の順序は、逆であってもよい。
ステップS106Dにて、判定部305Dは、ステップS102D,S104Dにおける第1の当否判定及び第2の当否判定で否判定が1つでもあるか否かを判定する。判定部305Dは、否判定がある場合、ステップS108Dに進み、否判定がない場合、今回の処理を終了する。
ステップS108Dにて、判定部305Dは、外部用表示装置60及び外部用音声出力装置62に通知指令を送信し、ショベルの周辺に向けて、監視機能(即ち、監視対象検知手段110の動作)が制限されていることを示す通知を行わせて、今回の処理を終了する。
このように、本例では、外部用表示装置60及び外部用音声出力装置62は、ショベルの監視機能が動作していない場合や動作していても動作状態が正常でない(例えば、故障している)場合に、ショベルの周辺に向けて、その旨を通知する。これにより、ショベルの周辺にいる作業者や作業現場の現場監督等の監視者等は、ショベルの監視機能が正常に動作していることを前提として、ショベルの周辺で作業したり、作業をさせたりしている場合も多いところ、上述の如く、作業者や監督者等は、ショベルの監視機能が制限されていることをショベルの外部から把握することができる。そのため、通常、ショベルの周辺の安全性の確保については、ショベル側での監視機能に頼る部分が大きいところ、これらの機能が制限された場合であっても、作業者や監督者等に対して、ショベルの周辺における安全性の確保を考慮した行動を促すことができる。よって、ショベルの周辺の安全性を更に向上させることができる。
尚、ショベルに設けられる図示しない通信デバイス等を用いて、ショベルの監視機能が動作していない場合や動作していても動作状態が正常でない場合(ステップS106DのYes)に、作業現場の管理端末や作業現場の現場監督等の監視者の端末(スマートフォン、タブレット端末)等に、ショベルの監視機能が制限されている旨の通知が送信されてもよい。例えば、通信デバイスは、所定の管理サーバに当該通知を送信することによって、管理サーバを経由して、予め登録される作業現場の管理端末や現場監督等の管理者の端末に当該通知がリアルタイムに転送される態様であってよい。これにより、例えば、作業現場が広い場合等、作業現場の現場監督等の監視者は、ショベルから直接出力される通知に気付かない可能性があるところ、作業現場の事務所に設けられる管理端末や監視者自身が携帯する端末に当該通知が送信されるため、ショベルの監視機能が制限されていることを把握することができる。以下、後述する図48のステップS206DのYesの場合や図49のステップS310DのYesの場合についても、同様の対応が行われてよい。
また、例えば、コントローラ30は、ショベルの監視機能が動作していない場合や動作していても動作状態が正常でない場合(ステップS106DのYes)に、ショベルの各種状態(例えば、ショベルに搭載される各種センサの検出信号、操作装置に対する操作状態を示す信号、コントローラ30を含む各種制御装置の制御状態を示す信号等)を内部メモリ等に記録してもよい。また、記録されたデータは、図示しない通信デバイスにより、管理サーバに送信され、蓄積されてもよい。このように、監視機能が制限されたときの各種状態を記録することによって、不具合の証拠記録としたり、蓄積される各種状態を解析することによって、不具合の原因究明や今後の改良等を行ったりすることができる。以下、後述する図48のステップS206DのYesの場合や図49のステップS310DのYesの場合についても、同様の対応が行われてよい。
また、例えば、コントローラ30は、ショベルの監視機能が動作していない場合や動作していても動作状態が正常でない場合(ステップS106DのYes)であって、撮像装置40から撮像画像が入力されている場合に、撮像装置40の撮像画像を一定期間分、内部メモリ等に記録してもよい。また、記録された撮像画像のデータは、図示しない通信デバイスにより、管理サーバに送信され、蓄積されてもよい。これにより、ショベルの各種状態に関するデータの場合と同様、撮像装置40の動作状態が正常でないときの具体的な状況を把握でき、不具合の原因究明や今後の改良等に生かすことができると共に、撮像装置40に問題がないときには、監視機能が制限されたときの周辺状況等を不具合の証拠記録として蓄積することができる。以下、後述する図48のステップS206DのYesの場合や図49のステップS310DのYesの場合についても、同様の対応が行われてよい。
続いて、図48は、周辺監視システム100の判定部305Dによる通知処理の第2例を概略的に示すフローチャートである。本フローチャートによる処理は、上述した第1例(図47)の場合と同様、例えば、ショベルの運転中、制限通知が行われていない状況で、定期的に繰り返し実行されてよい。
ステップS202Dにて、判定部305Dは、後方領域、左側方領域、及び右側方領域のそれぞれにおける監視機能に対する第1の当否判定、即ち、後方用監視対象検知手段110B、左側方用監視対象検知手段110L、及び右側方用監視対象検知手段110Rのそれぞれが、動作しているか否かの判定を行う。
ステップS204Dにて、判定部305Dは、後方領域、左側方領域、及び右側方領域のそれぞれにおける監視機能に対する第2の当否判定、即ち、後方用監視対象検知手段110B、左側方用監視対象検知手段110L、及び右側方用監視対象検知手段110Rのそれぞれが動作している場合の動作状態が正常であるか否かの判定を行う。
ステップS206Dにて、判定部305Dは、ステップS202D,S204Dにおける第1の当否判定及び第2の当否判定で否判定があるか否かを判定する。判定部305Dは、否判定がある場合、ステップS208Dに進み、否判定がない場合、今回の処理を終了する。
ステップS208Dにて、判定部305Dは、ステップS202D,204における第1の当否判定及び第2の当否判定で、後方領域、左側方領域、及び右側方領域の全領域における監視機能に対する否判定があるか否かを判定する。判定部305Dは、後方領域、左側方領域、及び右側方領域の全領域における監視機能に対する否判定がある場合、ステップS210Dに進み、後方領域、左側方領域、及び右側方領域のうちの一部領域の監視機能に対する否判定がある場合、ステップS212Dに進む。
ステップS210Dにて、判定部305Dは、外部用表示装置60及び外部用音声出力装置62に通知指令を送信し、ショベルの周辺に向けて、全領域(後方領域、左側方領域、及び右側方領域)で監視機能が制限されていることを示す通知を行わせて、今回の処理を終了する。
一方、ステップS212Dにて、判定部305Dは、外部用表示装置60及び外部用音声出力装置62に通知指令を送信し、ショベルの周辺に向けて、全領域のうち、否判定がある一部の領域別監視対象検知手段(後方用監視対象検知手段110B、左側方用監視対象検知手段110L、及び右側方用監視対象検知手段110Rのうちの何れか1つ或いは2つ)に対応する領域(後方領域、左側方領域、及び右側方領域のうちの何れか1つ或いは2つ)で監視機能が制限されていることを示す通知を行わせて、今回の処理を終了する。
このように、本例では、外部用表示装置60及び外部用音声出力装置62は、後方用監視対象検知手段110B、左側方用監視対象検知手段110L、及び右側方用監視対象検知手段110Rのうちの一部が動作していない、或いは、動作状態が正常でない場合、当該一部に対応する領域に対する監視機能が制限されていることを示す通知を行う。これにより、ショベルの周辺にいる作業者や作業現場の現場監督等の監視者等は、監視機能によるショベル周辺の監視対象領域のうちの何れの領域に対する監視機能が制限されているかをショベルの外部から把握することができる。
続いて、図49は、周辺監視システム100の判定部305Dによる通知処理の第2例を概略的に示すフローチャートである。本フローチャートによる処理は、上述した第1例(図47)の場合と同様、例えば、ショベルの運転中における制限通知が行われていない状況で、定期的に繰り返し実行されてよい。
本フローチャートのステップS302D,S304Dは、上述した第1例(図47)のステップS102D,S104Dと同じであるため、異なる部分を中心に説明する。
ステップS306Dにて、判定部305Dは、安全機能に対する第1の当否判定、即ち、安全確保手段120が動作しているか否かの判定を行う。
ステップS308Dにて、判定部305Dは、安全機能に対する第2の当否判定、即ち、安全確保手段120が動作している場合の動作状態が正常であるか否かを判定する。
尚、ステップS302D~S308Dの判定処理の順序は、任意であってよい。
ステップS310Dにて、判定部305Dは、ステップS302D~S308Dにおける第1の当否判定及び第2の当否判定で否判定が1つでもあるか否かを判定する。判定部305Dは、否判定がある場合、ステップS312Dに進み、否判定がない場合、今回の処理を終了する。
ステップS312Dにて、判定部305Dは、外部用表示装置60及び外部用音声出力装置62に通知指令を送信し、ショベルの外部に向けて、監視機能(即ち、監視対象検知手段110の動作)或いは安全機能(即ち、安全確保手段120の動作)が制限されていることを示す通知を行わせて、今回の処理を終了する。
尚、ステップS312Dにて、判定部305Dは、外部用表示装置60、外部用音声出力装置62を介して、監視機能だけが制限されているのか安全機能だけが制限されているのか、或いは、監視機能及び安全機能の双方が制限されているのかの別を、ショベルの周辺に通知してもよい。また、判定部305Dは、監視機能に対する第1の当否判定及び第2の当否判定(ステップS302D,S304D)を省略し、監視機能に基づく安全機能だけに対する第1の当否判定及び第2の当否判定(ステップS306D,S308D)を行ってもよい。この場合、ステップS312Dにて、判定部305Dは、外部用表示装置60、外部用音声出力装置62を介して、ショベルの周辺に向けて、安全機能が制限されていることを示す通知を行う。また、判定部305Dは、複数の安全機能、即ち、上述した内部警報機能、外部警報機能、動作制限機能等のそれぞれに対して、第1の当否判定及び第2の当否判定を行ってもよい。この場合、ステップS312Dにて、判定部305Dは、外部用表示装置60、外部用音声出力装置62を介して、複数の安全機能のうちの全てが制限されているのか、或いは、一部の安全機能が制限されているのかを通知してもよい。
このように、本例では、外部用表示装置60及び外部用音声出力装置62は、ショベルの監視機能、及び該監視機能に基づき動作する安全機能の少なくとも一方が動作していない或いは動作状態が正常でない場合、ショベルの周辺に向けて、監視機能或いは安全機能が制限されていることを示す通知を行う。これにより、ショベルの周辺にいる作業者や作業現場の現場監督等の監視者等は、監視機能が制限されていることだけでなく、監視機能に基づき動作する安全機能が制限されていることをショベルの外部から把握することができる。そのため、監視機能が制限されていない場合であっても、監視機能に基づき動作する安全機能が制限されている場合、安全機能が正常に動作しない可能性があるところ、作業者や作業現場の現場監督等の監視者等に対して、ショベルの周辺における安全性の確保を考慮した行動を促すことができる。よって、ショベルの周辺の安全性を更に向上させることができる。
以上、本発明の一実施形態に係る周辺監視システムの第4の機能について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、上述した実施形態では、監視対象検知手段110及び安全確保手段120の少なくとも一方に対して、第1の当否判定及び第2の当否判定の双方が行われるが、何れか一方の当否判定だけに基づき、制限通知が行われてもよい。
また、上述した実施形態及び変形例では、外部用表示装置60及び外部用音声出力装置62の双方により通知を行うが、何れか一方で行ってもよい。
また、上述した実施形態及び変形例では、ショベルの周辺に向けて、監視機能或いは安全機能が制限されていることを示す通知を行われるが、併せて、表示装置50や音声出力装置52(共に、通知手段の一例)を通じて、キャビン10の内部、即ち、オペレータに向けて、同様の通知が行われてもよい。これにより、オペレータは、ショベルの監視機能や安全機能が正常に動作していることを前提として、ショベルの操縦を行っている場合も多いところ、例えば、監視機能や安全機能の異常等のインジケータに気付けなかった場合や意図的でなく監視機能等がOFFにされていた場合であっても、ショベルの周辺への通知に併せて、同様の通知がなされることにより、ショベルの監視機能や安全機能が制限されていることを確実に把握することができる。そのため、通常、ショベルの周辺の安全性の確保については、監視機能や安全機能に頼る部分が大きいところ、これらの機能が制限された場合であっても、オペレータ等に対して、ショベルの周辺における安全性の確保を考慮したショベルの操縦を促すことができる。よって、ショベルの周辺の安全性を更に向上させることができる。
尚、上述した本実施形態に係る周辺監視システムの第4の機能(安全機能制限通知機能)に関して、以下を更に開示する。
(1)
作業機械の周辺で所定の監視対象を検知する監視対象検知手段と、
前記監視対象検知手段により前記監視対象が検知された場合に、前記作業機械の周辺における安全性の確保を図る所定の安全機能を有する安全確保手段と、
前記監視対象検知手段及び前記安全確保手段の少なくとも一方に対して、動作しているか否か、及び動作状態が正常であるか否かの少なくとも一方を判定する判定手段と、
前記判定手段により、前記監視対象検知手段又は前記安全確保手段が、動作していない又は動作状態が正常でないと判定された場合、前記監視対象検知手段又は前記安全確保手段の動作が制限されていることを示す通知を行う通知手段と、を備える、
作業機械用周辺監視システム。
(2)
前記通知手段は、前記作業機械の周辺に向けて前記通知を行う、
(1)に記載の作業機械用周辺監視システム。
(3)
前記通知手段は、前記作業機械の操縦席が設けられるキャビンの内部に向けて前記通知を行う、
(2)に記載の作業機械用周辺監視システム。
(4)
前記監視対象検知手段は、前記作業機械の周辺の複数の領域のそれぞれで前記監視対象を検知する複数の領域別監視対象検知手段を備え、
前記判定手段は、前記複数の領域別監視対象検知手段のそれぞれが動作しているか否か、及び動作状態が正常であるか否かの少なくとも一方を判定し、
前記通知は、前記判定手段により前記複数の領域別監視対象検知手段のうちの一部の領域監視対象検知手段が動作していない又は動作状態が正常でないと判定された場合、前記複数の領域のうち、前記一部の監視対象検知手段に対応する領域における前記安全機能が制限されている旨の通知を行う、
(1)乃至(3)の何れか一項に記載の作業機械用周辺監視システム。
(5)
作業機械の周辺を撮像する撮像装置と、前記撮像装置の撮像画像に対する画像処理に基づき、前記作業機械の周辺で所定の監視対象を検知する検知部と、を含む監視対象検知手段と、
前記撮像画像の平均情報量及び画像特徴量の少なくとも一方に基づき、前記監視対象検知手段による前記監視対象の検知機能が正常であるか否かの当否判定を行う判定手段と、
前記判定手段による判定結果が否である場合、前記監視対象検知手段の動作が制限されていることを示す通知を行う通知手段と、を備える、
作業機械用周辺監視システム。
(6)
前記判定手段は、前記平均情報量に基づき、前記撮像画像が前記監視対象を正常に検知できる状態であるか否かを判定する、
(5)に記載の作業機械用周辺監視システム。
(7)
前記判定手段は、前記画像特徴量の時系列での変化に基づき、前記作業機械の移動状態又は旋回状態が、前記撮像画像から前記監視対象を正常に検知できる程度であるか否かを判定する、
(5)又は(6)に記載の作業機械用周辺監視システム。
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
尚、本願は、2017年2月17日に出願した日本国特許出願2017-027860号、2017年3月27日に出願した日本国特許出願2017-061958号、2017年3月30日に出願した日本国特許出願2017-069313号、及び、2017年3月31日に出願した日本国特許出願2017-073017号に基づく優先権を主張するものであり、これらの日本国特許出願の全内容を本願に参照により援用する。