以下、図面を参照して発明を実施するための形態について説明する。
まず、図1を参照して、本実施形態に係る周辺監視システム100(図2参照)が搭載される作業機械について説明をする。
図1は、本実施形態に係る周辺監視システム100が搭載される作業機械の一例を示す図であり、具体的には、ショベルの側面図である。
尚、本実施形態に係る周辺監視システム100は、ショベル以外の作業機械、例えば、ホイールローダ、アスファルトフィニッシャ等に搭載されてもよい。
本実施形態に係るショベルは、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、作業装置としてのブーム4、アーム5、及びバケット6と、オペレータが搭乗するキャビン10を備える。
下部走行体1は、例えば、左右1対のクローラを含み、それぞれのクローラが走行油圧モータ(不図示)で油圧駆動されることにより、自走する。
上部旋回体3は、旋回油圧モータ、或いは、電動機(共に不図示)等で駆動されることにより、下部走行体1に対して旋回する。
ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、バケット6が上下回動可能に枢着される。ブーム4、アーム5、及びバケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。
キャビン10は、オペレータが搭乗する操縦室であり、上部旋回体3の前部左側に搭載される。
また、本実施形態に係るショベルは、周辺監視システム100に関連する構成要素として、コントローラ30、撮像装置40、画面操作部44、表示装置50、音声出力装置52を備える。
コントローラ30は、ショベルの駆動制御を行う制御装置である。コントローラ30は、キャビン10内に搭載される。
撮像装置40は、上部旋回体3の上部に取り付けられ、ショベルの周辺を撮像する。撮像装置40は、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。
後方カメラ40Bは、上部旋回体3の後端上部に取り付けられ、上部旋回体3の後方を撮像する。
左側方カメラ40Lは、上部旋回体3の左端上部に取り付けられ、上部旋回体3の左側方を撮像する。
右側方カメラ40Rは、上部旋回体3の右端上部に取り付けられ、上部旋回体3の右側方を撮像する。
画面操作部44(第1操作部、第2操作部の一例)は、キャビン10内の操縦席の周辺、具体的には、操縦席に着座するオペレータから操作し易い位置に設けられ、オペレータにより表示装置50に表示される画面上における各種操作が行われる。画面操作部44は、表示装置50に表示される画面上の各種操作が可能であれば、任意の構成であってよい。例えば、画面操作部44は、表示装置50としての液晶ディスプレイの表示領域に一体として実装されるタッチパネルであってもよいし、表示装置50とは別体として設けられるタッチパッド、クリックホイール、ジョイスティック等の操作デバイスであってもよい。
表示装置50は、キャビン10内の操縦席の周辺、具体的には、操縦席に着座するオペレータから視認し易い位置に設けられ、コントローラ30(具体的には、後述する表示制御部302)による制御の下、オペレータに通知する各種画像情報を表示する。表示装置50は、例えば、液晶ディスプレイである。
音声出力装置52は、キャビン10内の操縦席の周辺に設けられ、コントローラ30による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置52は、例えば、スピーカやブザー等である。
次に、図2を参照して、本実施形態に係る周辺監視システム100の具体的な構成について説明をする。
図2は、本実施形態に係る周辺監視システム100の構成の一例を示すブロック図である。
周辺監視システム100は、ショベルの周辺の所定範囲内への所定の物体(本実施形態では、人)の侵入を監視し、所定の物体を検知した場合、警報を出力する。周辺監視システム100は、コントローラ30、撮像装置40、表示装置50、音声出力装置52を含む。
コントローラ30は、周辺監視システム100における各種制御処理を行う。コントローラ30は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、CPU,RAM,ROM,I/O等を含むマイクロコンピュータを中心に構成される。コントローラ30は、例えば、ROMに格納される各種プログラムをCPU上で実行することにより実現される機能部として、人検知部301、表示制御部302、警報出力部303を含む。
撮像装置40は、上述の如く、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む上下方向の撮像範囲(画角)を有する。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、ショベルの運転中、所定周期(例えば、1/30秒)毎に、撮像画像を出力し、コントローラ30に送信する。
画面操作部44は、オペレータによる表示装置50の画面の操作状態に関する信号をコントローラ30に送信する。
表示装置50は、撮像装置40の撮像画像(スルー画像)や、コントローラ30(表示制御部302)が撮像装置40の撮像画像に基づき生成する周辺画像(例えば、後述する視点変換画像)等を表示する。
音声出力装置52は、コントローラ30(警報出力部303)による制御の下、警報音を出力する。
人検知部301(物体検知部の一例)は、撮像装置40により撮像された撮像画像に基づき、ショベルの周辺の所定領域内、例えば、ショベルから所定距離D1(例えば、5メートル)以内の人を検知する。例えば、人検知部301は、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像画像内の人を認識すると共に、認識した人の実在位置(ショベルから認識した人までの距離D等)を特定することができる。
尚、人検知部301は、監視対象である所定の物体として人を検知するが、他の所定の物体、例えば、車両等を検知してもよい。また、人検知部301は、撮像装置40の撮像画像に代えて、或いは、加えて、他のセンサ、例えば、ミリ波レーダ、LIDAR(LIght Detection And Ranging)、ステレオカメラ等の検出結果(距離画像等)に基づきショベルの周辺の所定の物体を検知してもよい。この場合、これらの他のセンサがショベルに設けられる。
表示制御部302は、オペレータの各種操作に応じて、表示装置50に各種情報画像を表示させる。例えば、表示制御部302は、オペレータによる所定操作に応じて、撮像装置40の撮像画像に基づき周辺画像を生成し、表示装置50に表示させる。具体的には、表示制御部302は、周辺画像として、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rの撮像画像に基づき、既知の視点変換処理を行うことにより、視点変換画像(仮想視点から見た画像)を生成し、表示装置50に表示させる。また、表示制御部302は、周辺画像を表示装置50に表示させる際、周辺画像に写る撮像装置40の撮像範囲のショベルに対する相対位置関係を明示するため、ショベルを模式的に表すショベル画像を併せて表示装置50に表示させる。即ち、表示制御部302は、ショベル画像と、ショベルと撮像装置40の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視用画像を生成し、表示装置50に表示させる。以下、図3を参照して、表示装置50に表示される監視用画像について説明をする。
尚、表示制御部302の機能は、表示装置50に内蔵されてもよい。この場合、撮像装置40(後方カメラ40B、左側方カメラ40L、右側方カメラ40R)の撮像画像、及び人検知部301の検知結果等の情報は、それぞれ、撮像装置40及びコントローラ30から表示装置50に入力される。
図3は、表示装置50に表示される監視用画像の一例を示す図である。
図3に示すように、表示装置50における横長の長方形の画面(例えば、アスペクト比4:3の画面)には、上述の如く、ショベル画像CGと、ショベル画像CGの周囲に配置される周辺画像EPとを含む監視用画像が表示されている。これにより、オペレータ等は、周辺画像EPに写っている人を含む物体と、ショベルとの位置関係を適切に把握することができる。
本例における周辺画像EPは、ショベル周辺を真上から見た路面画像(俯瞰画像)と、その路面画像の周りに配置される、ショベル周辺を水平方向に見た水平画像とを組み合わせた視点変換画像である。周辺画像(視点変換画像)は、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面若しくは曲面を含む一又は複数の平面若しくは曲面で構成される。以下、本実施形態における周辺画像は、上記路面画像と上記水平画像とを組み合わせた視点変換画像である前提で説明を続ける。
また、監視用画像には、ガイドラインLN1が重畳表示される。ガイドラインLN1は、ショベルからの距離が所定距離D2(<D1)の位置を表す。これにより、周辺画像に人を含む物体が写っている場合、オペレータ等は、ショベルからどの程度離れた位置にいるかを把握することができる。
図2に戻り、警報出力部303は、人検知部301によりショベルから所定距離D1以内で人を検知した場合、オペレータ等への警報を行う。例えば、警報出力部303は、音による警報を出力する。具体的には、警報出力部303は、音声出力装置52を通じて警告音を出力させる。また、例えば、警報出力部303は、ショベル周辺の所定範囲内(ショベルから所定距離D1以内)で距離が近いほど、危険度を表す警報レベルが高い警報を行ってもよい。具体的には、警報出力部303は、人検知部301により検知された人のショベルからの距離Dが、所定距離D1より小さい所定距離D2(例えば、2.5メートル)以下であるか否かにより警報レベル(警報の仕様)を変更してもよい。より具体的には、警報出力部303は、検知された人のショベルからの距離Dが所定距離D1以下且つ所定距離D2より大きい場合、比較的危険度が低い注意状態(警報レベル1)であるとして、予備的な警報(例えば、比較的小音量の警告音をスピーカに出力させる)を出力する。また、警報出力部303は、検知された人のショベルからの距離が所定距離D2以下である場合、比較的危険度が高い警戒状態(警報レベル2)であるとして、正式な警報(例えば、比較的大音量の警告音をスピーカ等に出力させる)を出力する。
尚、警報出力部303は、表示制御部302に表示要求を送ることにより、表示装置50にショベル周辺に人が存在する旨の警報表示を行ってもよい。
次に、図4〜図13を参照して、本実施形態に係る周辺監視システム100(表示制御部302)による特徴的な処理について説明をする。
まず、図4は、本実施形態に係る周辺監視システム100(表示制御部302)による処理の第1例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、表示装置50に監視用画像(周辺画像)が表示されている場合に繰り返し実行されてよい。
ステップS102にて、表示制御部302は、画面操作部44に対して、表示装置50に表示される監視用画像における周辺画像の一部領域を選択して拡大させる操作(拡大操作)が行われたか否かを判定する。拡大操作は、例えば、画面操作部44が、表示装置50の表示領域の表面に実装されるタッチパネルである場合、表示装置50に表示される監視用画像における周辺画像の一部領域に対応するタッチパネル上で行われるピンチアウト操作(タッチパネル上に接触させた2本の指を広げるように動作させる操作)である。表示制御部302は、画面操作部44に対して拡大操作が行われた場合、ステップS106に進み、拡大操作が行われていない場合、今回の処理を終了する。
尚、ピンチアウト操作では、2本の指を広げる動作量が大きくなる程、選択される監視用画像における周辺画像の一部領域が小さくなり、拡大率が大きくなる。
ステップS104にて、表示制御部302は、画面操作部44に対する拡大操作で選択された、監視用画像における周辺画像の一部領域を拡大して、表示装置50に表示させる。以下、周辺画像の一部領域を拡大する前の監視用画像を「通常監視用画像」と称し、周辺画像の一部領域を拡大した画像を「拡大監視用画像」と称する。
例えば、図5は、表示装置50に表示される拡大監視用画像の一例を示す図であり、具体的には、拡大操作により選択された周辺画像EPの一部領域A1を表す通常監視用画像(図5(a))と、一部領域A1が拡大された拡大監視用画像(図5(b))を示す図である。このように、画面操作部44に対する拡大操作により通常監視用画像の周辺画像EPの一部領域A1が選択されると、その一部領域A1をそのまま拡大した周辺画像EPを含む拡大監視用画像が表示装置50に表示されてよい。これにより、オペレータ等は、画面操作部44に対する拡大操作により周辺画像EPの一部領域A1に対応するショベルの周辺領域(即ち、周辺画像EPの一部領域A1に映っているショベルの周辺領域)の様子を拡大させて、当該周辺領域の詳細な様子を確認することができる。
また、図5(b)に示すように、表示制御部302は、画面操作部44に対する拡大操作が行われた場合、周辺画像EPの一部領域A1をそのまま拡大して表示装置50に表示させる。即ち、周辺画像EPの一部領域A1に対応するショベルの周辺領域の様子を拡大して表示させる際、視点変換画像(路面画像及び水平画像)の視点は、変更されることなく、例えば、周辺画像EPに含まれる路面画像(俯瞰画像)は、ショベルの周辺を真上から見た平面視が維持される態様で拡大され、周辺画像EPに含まれる水平画像は、ショベルの周辺を水平方向に見た水平方向視が維持される態様で拡大される。これにより、例えば、周辺画像EPの一部領域A1に対応するショベルの周辺領域の様子を拡大して表示させる際に、拡大される前の視点と異なる視点から見た視点変換画像に変換される態様で拡大される等により、当該周辺領域の様子が把握しにくくなるような事態を抑制することができる。
また、図5(b)に示すように、表示制御部302は、オペレータによる拡大操作が行われた場合、周辺画像EPのショベル画像CGが含まれる一部領域A1を表示装置50に表示させてよい。即ち、表示制御部302は、周辺画像の一部領域を選択する操作が行われた場合、選択された一部領域とショベル画像とを含む拡大監視用画像を表示装置50に表示させる。これにより、オペレータ等は、周辺画像EPの一部領域A1が拡大表示された場合に、周辺画像EPの一部領域A1に対応するショベルの周辺領域とショベルとの相対位置関係を容易に把握することができる。例えば、表示制御部302は、拡大操作として上述のピンチアウト操作が行われたタッチパネル上の座標に対応する通常監視用画像上の座標を中心とする拡大監視用画像を生成する際、拡大監視用画像にショベル画像CGが含まれうる上限の拡大率を設定する。これにより、表示装置50に表示される拡大監視用画像には、ショベル画像CGが含まれるようになる。
尚、本例では、一部領域A1に含まれるショベル画像CGも同様に拡大して表示されるが、ショベル画像CGは、拡大されなくてもよい。
また、例えば、図6は、表示装置50に表示される拡大監視用画像の他の例を示す図である。本例では、画面操作部44に対する拡大操作により選択された周辺画像EPの一部領域A1を拡大した画像に加えて、当該一部領域のショベルに対する位置関係を示す情報が表示される。具体的には、ショベル画像CGから一部領域A1の中央部に相当する位置(中央位置)に向けた矢印AWと、ショベルから中央位置までの距離を示す距離情報DST("4.2m")と、ショベルからの距離が中央位置と同じ位置を示すガイドラインLN2とが重畳表示される。これにより、拡大表示されている周辺画像EPの一部領域A1が、ショベルとどのような位置関係にあるかを容易に把握することができる。また、矢印AW、距離情報DST、ガイドラインLN2は、ショベルから中央位置までの距離に応じて、異なる色で表示してもよい。例えば、ショベルに人等が近づくほど危険度が高まるため、ショベルから中央位置までの距離が小さくなるにつれて、矢印AW、距離情報DST、ガイドラインLN2等の色が青(危険度小)、黄色(危険度中)、赤(危険度大)と順に変化する態様であってもよい。このように、選択された一部領域のショベルに対する位置関係を示す情報として危険度に関する情報を重畳表示させてもよい。
尚、選択された一部領域のショベルに対する位置関係を示す情報として危険度に関する情報を重畳表示させる場合、色情報ではなく文字情報(例えば、危険度"大"、"中"、"小"等)で、危険度を示してもよい。
図4に戻り、ステップS106にて、表示制御部302は、画面操作部44に対して、拡大された周辺画像(即ち、拡大監視用画像)を縮小する操作(縮小操作)が行われたか否かを判定する。縮小操作は、例えば、画面操作部44が、表示装置50の表示領域の表面に実装されるタッチパネルである場合、タッチパネル上で行われるピンチイン操作(タッチパネル上に開いた状態で接触させた2本の指を狭めるように動作させる操作)である表示制御部302は、画面操作部44に対して縮小操作が行われた場合、ステップS108に進み、画面操作部44に対して縮小操作が行われていない場合、ステップS110に進む。
尚、ピンチイン操作では、2本の指を狭める動作量が大きくなる程、縮小率が大きくなる。
ステップS108にて、表示制御部302は、ステップS106における縮小操作により周辺画像が全体表示の状態(即ち、通常監視用画像における周辺画像の情報)に戻るか否かを判定する。表示制御部302は、周辺画像が全体表示の状態に戻らない場合、ステップS112に進み、周辺画像が全体表示に戻る場合、ステップS114に進む。
一方、ステップS110にて、表示制御部302は、画面操作部44に対して、拡大された周辺画像(即ち、拡大監視用画像)を更に拡大する操作(拡大操作)が行われたか否かを判定する。表示制御部302は、画面操作部44に対して拡大操作が行われた場合、ステップS112に進み、画面操作部44に対して拡大操作が行われていない場合、ステップS106に戻る。
ステップS112にて、表示制御部302は、ステップS110における拡大操作、或いは、ステップS106における縮小操作に応じて、拡大監視用画像における周辺画像を拡大、或いは、縮小させて、ステップS106に戻る。
一方、ステップS114にて、表示制御部302は、表示装置50に通常監視用画像を表示させることにより、周辺画像の全体を表示装置50に表示させ、今回の処理を終了する。
このように、本実施例では、表示装置50は、表示制御部302による制御の下、画面操作部44により選択された周辺画像の一部領域に対応するショベルの周辺領域の様子を拡大して表示する。具体的には、表示装置50は、画面操作部44により周辺画像の一部領域が選択された場合、当該一部領域をそのまま拡大した画像を表示する。これにより、オペレータ等は、基本的に、周辺画像の全体を表示させて、ショベルの周辺全般の様子を確認しつつ、必要に応じて、周辺画像の一部領域を拡大表示させて、当該一部領域に対応するショベルの周辺領域の詳細な様子を確認することができる。
続いて、図7は、本実施形態に係る周辺監視システム100(表示制御部302)による処理の第2例を概略的に示すフローチャートである。本フローチャートによる処理は、図4の場合と同様、例えば、表示装置50に通常監視用画像(周辺画像の全体)が表示されている場合に繰り返し実行されてよい。
ステップS202にて、表示制御部302は、画面操作部44に対して、表示装置50に表示される周辺画像の一部領域を選択する操作(領域選択操作)が行われたか否かを判定する。領域選択操作は、例えば、画面操作部44が、表示装置50の表示領域の表面に実装されるタッチパネルである場合、表示装置50に表示される通常監視用画像における周辺画像に予め区分される一部領域に対応するタッチパネル上をタッチする操作である。表示制御部302は、画面操作部44に対して、領域選択操作が行われた場合、ステップS204に進み、領域選択操作が行われていない場合、今回の処理を終了する。
ステップS204にて、表示制御部302は、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのうちの領域選択操作で選択された周辺画像の一部領域に対応するショベルの周辺領域を撮像するカメラのスルー画像を表示装置50に表示させる。
例えば、図8は、領域選択操作により表示装置50に表示されるスルー画像を示す図であり、具体的には、周辺画像EPに予め区分される一部領域AB,AL,ARを示す通常監視用画像(図8(a))と、一部領域AB,AL,ARのうちの何れかを選択することにより表示装置50に表示されるスルー画像TP(図8(b))を示す図である。本例では、通常監視用画像の周辺画像EPに予め区分される一部領域AB,AL,ARは、それぞれ、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rの撮像範囲に対応しており、画面操作部44に対して、一部領域AB,AL,ARの何れかを選択する領域選択操作が行なわれると、対応するカメラのスルー画像TPが表示装置50に表示されてよい。これにより、オペレータ等は、周辺画像EPの一部領域の様子を、スルー画像として拡大させることができるため、当該一部領域の詳細な様子を確認することができる。
図7に戻り、ステップS206にて、表示制御部302は、画面操作部44に対して、表示装置50の表示内容をスルー画像から通常監視用画像に復帰させる操作(復帰操作)が行われたか否かを判定する。復帰操作は、例えば、画面操作部44が、表示装置50の表示領域の表面に実装されるタッチパネルである場合、タッチパネル上での所定の操作(例えば、ダブルタップ操作等)であってよく、スルー画像に重畳表示される所定のアイコンをタッチパネル上でタッチする操作等であってもよい。表示制御部302は、画面操作部44に対して復帰操作が行われていない場合、ステップS208に進み、復帰操作が行われた場合、ステップS212に進む。
ステップS208にて、表示制御部302は、画面操作部44に対して、スルー画像の一部領域を選択して拡大させる操作(拡大操作)、或いは、縮小させる操作(縮小操作)が行われたか否かを判定する。拡大操作及び縮小操作は、例えば、画面操作部44が、表示装置50の表示領域の表面に実装されるタッチパネルである場合、タッチパネル上でのピンチアウト操作及びピンチイン操作であってよい。表示制御部302は、画面操作部44に対して、拡大操作或いは縮小操作が行われた場合、ステップS210に進み、拡大操作及び縮小操作が行われていない場合、ステップS206に戻る。
ステップS210にて、表示制御部302は、拡大操作或いは縮小操作に応じて、スルー画像を拡大或いは縮小させて表示装置50に表示させて、ステップS206に戻る。
例えば、図9は、拡大操作により表示装置50に表示される、拡大されたスルー画像(拡大スルー画像)の一例であり、具体的には、拡大操作により拡大される一部領域A2を表すスルー画像TP(図9(a))と、一部領域A2が拡大された拡大スルー画像ETP(図9(b))を示す図である。このように、画面操作部44に対する拡大操作が行われると、スルー画像の一部領域が拡大されて表示装置50に表示されてよい。これにより、オペレータ等は、画面操作部44に対する拡大操作によりスルー画像を拡大させて、領域選択操作により選択された一部領域の更に詳細な様子を確認することができる。
尚、縮小操作は、拡大スルー画像を縮小させて表示させるための操作であり、拡大されていない通常のスルー画像を縮小させて表示装置50に表示させることはできない。
図7に戻り、一方、ステップS212にて、表示制御部302は、表示装置50の表示内容をスルー画像から周辺画像を含む通常監視用画像に復帰させて、今回の処理を終了する。
このように、本実施例では、表示装置50は、図4の実施例と同様、表示制御部302による制御の下、画面操作部44により選択された周辺画像の一部領域に対応するショベルの周辺領域の様子を拡大して表示する。具体的には、表示装置50は、画面操作部44により周辺画像の一部領域が選択された場合、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのうちの画面操作部44により選択された一部領域に対応するショベルの周辺領域を撮像するカメラの撮像画像(スルー画像)を表示する。これにより、オペレータ等は、基本的に、周辺画像の全体を表示させて、ショベルの周辺全般の様子を確認しつつ、必要に応じて、周辺画像の一部領域をスルー画像として拡大表示させて、当該一部領域に対応するショベルの周辺領域の詳細な様子を確認することができる。
続いて、図10は、本実施形態に係る周辺監視システム100(表示制御部302)による処理の第3例を概略的に示すフローチャートである。本フローチャートによる処理は、図4、図7の場合と同様、例えば、表示装置50に通常監視用画像(周辺画像の全体)が表示されている場合に繰り返し実行されてよい。
ステップS302にて、表示制御部302は、図7のステップS202と同様、画面操作部44に対して、表示装置50に表示される周辺画像の一部領域を選択する操作(領域選択操作)が行われたか否かを判定する。表示制御部302は、画面操作部44に対して、領域選択操作が行われた場合、ステップS304に進み、領域選択操作が行われていない場合、今回の処理を終了する。
ステップS304にて、表示制御部302は、周辺画像を含む通常監視用画像と、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのうちの領域選択操作で選択された周辺画像の一部領域に対応するショベルの周辺領域を撮像するカメラのスルー画像とを表示装置50に同時に表示させる。また、表示制御部302は、通常監視用画像とスルー画像を同時に表示させる際、通常監視用画像に含まれる周辺画像上において、スルー画像に対応する領域を強調させる。以下、表示装置50に同時に表示される通常監視用画像及びスルー画像(後述する拡大スルー画像を含む)を合わせて複合監視用画像と称する場合がある。
例えば、図11は、領域選択操作により表示装置50に同時に表示される通常監視用画像及びスルー画像(複合監視用画像)の一例を示す図であり、具体的には、周辺画像EPに予め区分される一部領域AB,AL,ARを示す通常監視用画像(図11(a))と、一部領域AB,AL,ARのうちの一部領域ARが選択されることにより表示装置50に同時に表示される通常監視用画像及びスルー画像TP(図11(b))を示す図である。本例では、通常監視用画像の周辺画像EPに予め区分される一部領域AB,AL,ARは、図8の場合と同様、それぞれ、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rの撮像範囲に対応しており、画面操作部44に対して、一部領域AB,AL,ARの何れかを選択する領域選択操作が行なわれると、通常監視用画像と、対応するカメラのスルー画像TPとが表示装置50に同時に表示されてよい。これにより、オペレータ等は、周辺画像EPの一部領域の様子を、スルー画像として拡大させることができるため、当該一部領域の詳細な様子を確認することができると共に、同時に表示される通常監視用画像により周辺画像EPの全体に対応するショベル周辺の広範囲の様子も確認することができる。また、本例では、通常監視用画像の周辺画像EP上において、スルー画像TPに対応する領域(一部領域AR)を太枠FR1で囲むことにより、当該領域が強調表示される。これにより、オペレータ等は、スルー画像として表示される領域が、同時に表示される周辺画像のどの領域に対応しているかを容易に把握することができる。
図10に戻り、ステップS306にて、表示制御部302は、画面操作部44に対して、表示装置50の表示内容を通常監視用画像及びスルー画像の同時表示から通常監視用画像の単独表示に復帰させる操作(復帰操作)が行われたか否かを判定する。復帰操作は、図7のステップS206の場合と同様、例えば、画面操作部44が、表示装置50の表示領域の表面に実装されるタッチパネルである場合、タッチパネル上での所定の操作(例えば、ダブルタップ操作等)であってよく、スルー画像に重畳表示される所定のアイコンをタッチパネル上でタッチする操作等であってもよい。表示制御部302は、画面操作部44に対して復帰操作が行われていない場合、ステップS308に進み、復帰操作が行われた場合、ステップS312に進む。
ステップS308にて、表示制御部302は、画面操作部44に対して、スルー画像の一部領域を選択して拡大させる操作(拡大操作)、或いは、縮小させる操作(縮小操作)が行われたか否かを判定する。拡大操作及び縮小操作は、図7のステップS208の場合と同様、例えば、画面操作部44が、表示装置50の表示領域の表面に実装されるタッチパネルである場合、スルー画像が表示される表示装置50の表示領域に対応するタッチパネル上でのピンチアウト操作及びピンチイン操作であってよい。表示制御部302は、画面操作部44に対して、拡大操作或いは縮小操作が行われた場合、ステップS310に進み、拡大操作及び縮小操作が行われていない場合、ステップS306に戻る。
ステップS310にて、表示制御部302は、拡大操作或いは縮小操作に応じて、スルー画像を拡大或いは縮小させて表示装置50に表示させて、ステップS306に戻る。この際、表示制御部302は、スルー画像と同時に表示される通常監視用画像に含まれる周辺画像上において、スルー画像に対応する強調される領域を変化させる。
例えば、図12は、拡大操作により表示装置50に同時に表示される複合監視用画像(通常監視用画像及び拡大スルー画像)の一例であり、具体的には、拡大操作により拡大される一部領域A3を表すスルー画像TPを含む複合監視用画像(図12(a))と、一部領域A2が拡大された拡大スルー画像ETPを含む複合監視用画像(図12(b))を示す図である。このように、画面操作部44に対する拡大操作が行われると、図9の場合と同様、スルー画像の一部領域が拡大されて表示装置50に表示されてよい。これにより、オペレータ等は、画面操作部44に対する拡大操作によりスルー画像を拡大させて、領域選択操作により選択された一部領域の更に詳細な様子を確認することができる。また、本例では、スルー画像が拡大されるのに応じて、周辺画像EP上におけるスルー画像に対応する領域が変化するため、当該変化に合わせて、周辺画像EP上における強調表示される領域は、太枠FR1(図12(a))で囲まれる領域から、更に狭い太枠FR2(図12(b))で囲まれる領域に変化する。これにより、スルー画像が更に拡大表示される場合についても、拡大スルー画像に対応する領域が、同時に表示される周辺画像のどの領域に対応しているかを容易に把握することができる。
尚、縮小操作は、図7の場合と同様、拡大スルー画像を縮小させて表示させるための操作であり、拡大されていない通常のスルー画像を縮小させて表示装置50に表示させることはできない。
図10に戻り、一方、ステップS312にて、表示制御部302は、表示装置50の表示内容を通常監視用画像及びスルー画像の同時表示から周辺画像を含む通常監視用画像の単独表示に復帰させて、今回の処理を終了する。
このように、本実施例では、表示装置50は、図4、図7の実施例と同様、表示制御部302による制御の下、画面操作部44により選択された周辺画像の一部領域に対応するショベルの領域の様子を拡大して表示する。具体的には、表示装置50は、画面操作部44により周辺画像の一部領域が選択された場合、周辺画像と、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのうちの画面操作部44により選択された一部領域に対応するショベルの周辺領域を撮像するカメラの撮像画像(スルー画像)とを同時に表示する。これにより、オペレータ等は、基本的に、周辺画像の全体を表示させて、ショベルの周辺全般の様子を確認しつつ、必要に応じて、周辺画像の一部領域をスルー画像として拡大表示させて、当該一部領域に対応するショベルの周辺領域の詳細な様子を確認することができる。また、オペレータ等は、スルー画像と同時に表示される周辺画像により、ショベルの周辺全般の様子も継続して確認することができる。
続いて、図13は、本実施形態に係る周辺監視システム100(表示制御部302)による処理の第4例を概略的に示すフローチャートである。本フローチャートによる処理は、図4、図7、図10の場合と同様、例えば、表示装置50に通常監視用画像(周辺画像の全体)が表示されている場合に繰り返し実行されてよい。
本フローチャートのステップS402、S404、及びステップS406〜S414の処理は、図4のフローチャートのステップS102、S104、及びステップS106〜ステップS114と同じである。以下、図4のフローチャートと異なる部分を中心に説明をする。
ステップS401にて、表示制御部302は、人検知部301により所定領域内(ショベルからの距離Dが所定距離D1以下の範囲)に人が検知されているか否かを判定する。表示制御部302は、人検知部301により人が検知されていない場合、ステップS402に進み、人検知部301により人が検知されている場合、今回の処理を終了する。
表示制御部302は、画面操作部44に対する拡大操作で選択された、監視用画像における周辺画像の一部領域を拡大して、表示装置50に表示させる処理(ステップS404)を行った後、ステップS405にて、人検知部301により所定領域内に人が検知されているか否かを判定する。表示制御部302は、人検知部301により人が検知されていない場合、ステップS406に進み、ステップS406〜S412の処理を行う。一方、表示制御部302は、人検知部301により人が検知されている場合、ステップS414に進み、表示装置50の表示内容を拡大監視用画像から通常監視用画像に復帰させることにより、周辺画像の全体を表示装置50に表示させ、今回の処理を終了する。
尚、表示制御部302は、ステップS408の処理或いはステップS410の処理の後、ステップS405に戻る。
このように、本実施例では、表示装置50は、表示制御部302による制御の下、画面操作部44により選択された周辺画像の一部領域に対応するショベルの周辺領域の様子が拡大されて表示されている状態で、人検知部301により所定領域内で人が検知された場合、通常監視用画像を表示する状態、即ち、周辺画像の全体を表示する状態に戻る。これにより、オペレータ等は、周辺画像の一部領域に対応するショベルの周辺領域の様子を拡大表示させている状態でも、人検知部301により人が検知されると、自動的に、周辺画像の全体が表示される状態に戻るため、周辺画像全体を見て、検知された人がどこにいるかをすぐに把握することができる。そのため、周辺画像の一部領域に対応するショベルの周辺領域の様子を拡大表示させることによるユーザの利便性を向上させつつ、更に高い安全性を確保することできる。
尚、本実施例では、表示制御部302は、人検知部301により人が検知された場合、通常監視用画像を表示装置50に表示させるが、通常監視用画像の代わりに、後方カメラ40B、左側方カメラ40L,及び右側方カメラ40Rのうちの検知された人が存在する領域を撮像するカメラのスルー画像を表示させてもよい。これにより、オペレータ等は、周辺画像の一部領域を拡大表示させている状態でも、人検知部301により人が検知されると、自動的に、検知された人が存在する領域を撮像するカメラのスルー画像に切り替わるため、当該スルー画像を見て、検知された人がどこにいるかをすぐに把握することができる。
また、本実施例では、図4の処理をベースにして、ステップS401、S405の処理を追加したが、図7の処理をベースにして、ステップS401、S405に相当する処理を追加してもよい。この場合、ステップS201の前にステップS401に相当する処理を追加すると共に、ステップS204とステップS206の間に、ステップS405に相当する処理を追加し、ステップS208の処理或いはステップS210の処理の後には、ステップS405に相当する処理に戻る構成を採用するとよい。これにより、本実施例と同様の作用・効果を得ることができる。また、この場合についても、表示制御部302は、人検知部301により人が検知された場合、通常監視用画像を表示装置50に表示させる代わりに、後方カメラ40B、左側方カメラ40L,及び右側方カメラ40Rのうちの検知された人が存在する領域を撮像するカメラのスルー画像を表示装置50に表示させてもよい。
また、図10の処理をベースにして、ステップS401、S405に相当する処理を追加してもよい。ステップS401、S405に相当する処理を追加してもよい。この場合、ステップS301の前にステップS401に相当する処理を追加すると共に、ステップS304とステップS306の間に、ステップS405に相当する処理を追加し、ステップS308の処理或いはステップS310の処理の後には、ステップS405に相当する処理に戻る構成を採用するとよい。これにより、表示装置50は、人検知部301によりショベルの周辺の所定領域内で人が検知された場合、周辺画像、及び後方カメラ40B、左側方カメラ40L,並びに右側方カメラ40Rの何れかのスルー画像の双方を表示する状態から、周辺画像及びスルー画像のうちの周辺画像だけを表示する状態に切り替わる。よって、表示装置50に表示される周辺画像は、スルー画像と並列に表示されて比較的小さい状態から、単独で表示されて比較的大きい状態に戻るため、オペレータ等は、周辺画像上において、検知された人がどこにいるかを更に把握し易くなる。そのため、周辺画像の一部領域を拡大させて表示させることによるユーザの利便性を向上させつつ、更に高い安全性を確保することできる。また、この場合についても、表示制御部302は、人検知部301により人が検知された場合、通常監視用画像を表示装置50に表示させる代わりに、後方カメラ40B、左側方カメラ40L,及び右側方カメラ40Rのうちの検知された人が存在する領域を撮像するカメラのスルー画像を表示装置50に表示させてもよい。また、表示制御部302は、人検知部301により人が検知された場合、表示装置50に通常監視用画像及びスルー画像を同時に表示させる状態を継続し、後方カメラ40B、左側方カメラ40L,及び右側方カメラ40Rのうちの検知された人が存在する領域を撮像するカメラのスルー画像を、通常監視用画像と同時に表示させてもよい。
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。