JP6980391B2 - 作業機械用周辺監視システム - Google Patents

Description

本発明は、作業機械用周辺監視システムに関する。

作業機械の周辺を撮像する撮像装置の撮像画像に基づき、作業機械周辺の周辺画像（例えば、作業機械周辺を真上から見た路面画像と、その路面画像の周りに配置される、作業機械周辺を水平方向に見た水平画像とを組み合わせた視点変換画像）を生成し、キャビン内の表示装置に表示させるシステムが知られている（例えば、特許文献１参照）。

特開２０１４−１８１５０８号公報

しかしながら、表示装置に表示される周辺画像は、作業機械周辺の比較的広い領域に亘るため、周辺画像に含まれる一部領域に対応する作業機械の周辺領域の詳細な様子が把握しにくい可能性がある。

そこで、上記課題に鑑み、必要に応じて、オペレータが周辺画像の一部領域に対応する作業機械の周辺領域の詳細な様子を確認することが可能な作業機械用周辺監視システムを提供することを目的とする。

上記目的を達成するため、本発明の一実施形態では、
作業機械の周辺を撮像する撮像装置と、
前記作業機械の操縦席の周辺に設けられ、前記撮像装置の撮像画像に基づき生成される周辺画像を表示する表示装置と、
前記表示装置に表示される前記周辺画像の一部領域を選択する操作が行われる第１操作部と、を備え、
前記表示装置は、前記第１操作部により選択された前記周辺画像の一部領域に対応する前記作業機械の周辺領域の様子を拡大して表示すると共に、拡大して表示した周辺領域の前記作業機械に対する位置関係を示す情報を付加的に表示する、
作業機械用周辺監視システムが提供される。

上述の実施形態によれば、必要に応じて、オペレータが周辺画像の一部領域に対応する作業機械の周辺領域の詳細な様子を確認することが可能な作業機械用周辺監視システムを提供することができる。

本実施形態に係る周辺監視システムが搭載される作業機械の一例を示す図である。 本実施形態に係る周辺監視システムの構成の一例を示す図である。 表示装置に表示される監視用画像の一例を示す図である。 周辺監視システム（表示制御部）による処理の第１例を概略的に示すフローチャートである。 図４の処理により表示装置に表示される拡大監視用画像（拡大周辺画像）の一例を示す図である。 図４の処理により表示装置に表示される拡大監視用画像（拡大周辺画像）の他の例を示す図である。 周辺監視システム（表示制御部）による処理の第２例を概略的に示すフローチャートである。 図７の処理により表示装置に表示されるスルー画像の一例を示す図である。 図７の処理により表示装置に表示される拡大スルー画像の一例を示す図である。 周辺監視システム（表示制御部）による処理の第３例を概略的に示すフローチャートである。 図１０の処理により表示装置に同時に表示される監視用画像及びスルー画像の一例を示す図である。 図１０の処理により表示装置に同時に表示される監視用画像及び拡大スルー画像の一例を示す図である。 周辺監視システム（表示制御部）による処理の第４例を概略的に示すフローチャートである。

以下、図面を参照して発明を実施するための形態について説明する。

まず、図１を参照して、本実施形態に係る周辺監視システム１００（図２参照）が搭載される作業機械について説明をする。

図１は、本実施形態に係る周辺監視システム１００が搭載される作業機械の一例を示す図であり、具体的には、ショベルの側面図である。

尚、本実施形態に係る周辺監視システム１００は、ショベル以外の作業機械、例えば、ホイールローダ、アスファルトフィニッシャ等に搭載されてもよい。

本実施形態に係るショベルは、下部走行体１と、旋回機構２を介して旋回可能に下部走行体１に搭載される上部旋回体３と、作業装置としてのブーム４、アーム５、及びバケット６と、オペレータが搭乗するキャビン１０を備える。

下部走行体１は、例えば、左右１対のクローラを含み、それぞれのクローラが走行油圧モータ（不図示）で油圧駆動されることにより、自走する。

上部旋回体３は、旋回油圧モータ、或いは、電動機（共に不図示）等で駆動されることにより、下部走行体１に対して旋回する。

ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５、及びバケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。

キャビン１０は、オペレータが搭乗する操縦室であり、上部旋回体３の前部左側に搭載される。

また、本実施形態に係るショベルは、周辺監視システム１００に関連する構成要素として、コントローラ３０、撮像装置４０、画面操作部４４、表示装置５０、音声出力装置５２を備える。

コントローラ３０は、ショベルの駆動制御を行う制御装置である。コントローラ３０は、キャビン１０内に搭載される。

撮像装置４０は、上部旋回体３の上部に取り付けられ、ショベルの周辺を撮像する。撮像装置４０は、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒを含む。

後方カメラ４０Ｂは、上部旋回体３の後端上部に取り付けられ、上部旋回体３の後方を撮像する。

左側方カメラ４０Ｌは、上部旋回体３の左端上部に取り付けられ、上部旋回体３の左側方を撮像する。

右側方カメラ４０Ｒは、上部旋回体３の右端上部に取り付けられ、上部旋回体３の右側方を撮像する。

画面操作部４４（第１操作部、第２操作部の一例）は、キャビン１０内の操縦席の周辺、具体的には、操縦席に着座するオペレータから操作し易い位置に設けられ、オペレータにより表示装置５０に表示される画面上における各種操作が行われる。画面操作部４４は、表示装置５０に表示される画面上の各種操作が可能であれば、任意の構成であってよい。例えば、画面操作部４４は、表示装置５０としての液晶ディスプレイの表示領域に一体として実装されるタッチパネルであってもよいし、表示装置５０とは別体として設けられるタッチパッド、クリックホイール、ジョイスティック等の操作デバイスであってもよい。

表示装置５０は、キャビン１０内の操縦席の周辺、具体的には、操縦席に着座するオペレータから視認し易い位置に設けられ、コントローラ３０（具体的には、後述する表示制御部３０２）による制御の下、オペレータに通知する各種画像情報を表示する。表示装置５０は、例えば、液晶ディスプレイである。

音声出力装置５２は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置５２は、例えば、スピーカやブザー等である。

次に、図２を参照して、本実施形態に係る周辺監視システム１００の具体的な構成について説明をする。

図２は、本実施形態に係る周辺監視システム１００の構成の一例を示すブロック図である。

周辺監視システム１００は、ショベルの周辺の所定範囲内への所定の物体（本実施形態では、人）の侵入を監視し、所定の物体を検知した場合、警報を出力する。周辺監視システム１００は、コントローラ３０、撮像装置４０、表示装置５０、音声出力装置５２を含む。

コントローラ３０は、周辺監視システム１００における各種制御処理を行う。コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、ＣＰＵ，ＲＡＭ，ＲＯＭ，Ｉ／Ｏ等を含むマイクロコンピュータを中心に構成される。コントローラ３０は、例えば、ＲＯＭに格納される各種プログラムをＣＰＵ上で実行することにより実現される機能部として、人検知部３０１、表示制御部３０２、警報出力部３０３を含む。

撮像装置４０は、上述の如く、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒを含む。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、上部旋回体３の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む上下方向の撮像範囲（画角）を有する。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、ショベルの運転中、所定周期（例えば、１／３０秒）毎に、撮像画像を出力し、コントローラ３０に送信する。

画面操作部４４は、オペレータによる表示装置５０の画面の操作状態に関する信号をコントローラ３０に送信する。

表示装置５０は、撮像装置４０の撮像画像（スルー画像）や、コントローラ３０（表示制御部３０２）が撮像装置４０の撮像画像に基づき生成する周辺画像（例えば、後述する視点変換画像）等を表示する。

音声出力装置５２は、コントローラ３０（警報出力部３０３）による制御の下、警報音を出力する。

人検知部３０１（物体検知部の一例）は、撮像装置４０により撮像された撮像画像に基づき、ショベルの周辺の所定領域内、例えば、ショベルから所定距離Ｄ１（例えば、５メートル）以内の人を検知する。例えば、人検知部３０１は、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像画像内の人を認識すると共に、認識した人の実在位置（ショベルから認識した人までの距離Ｄ等）を特定することができる。

尚、人検知部３０１は、監視対象である所定の物体として人を検知するが、他の所定の物体、例えば、車両等を検知してもよい。また、人検知部３０１は、撮像装置４０の撮像画像に代えて、或いは、加えて、他のセンサ、例えば、ミリ波レーダ、ＬＩＤＡＲ（LIght Detection And Ranging）、ステレオカメラ等の検出結果（距離画像等）に基づきショベルの周辺の所定の物体を検知してもよい。この場合、これらの他のセンサがショベルに設けられる。

表示制御部３０２は、オペレータの各種操作に応じて、表示装置５０に各種情報画像を表示させる。例えば、表示制御部３０２は、オペレータによる所定操作に応じて、撮像装置４０の撮像画像に基づき周辺画像を生成し、表示装置５０に表示させる。具体的には、表示制御部３０２は、周辺画像として、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒの撮像画像に基づき、既知の視点変換処理を行うことにより、視点変換画像（仮想視点から見た画像）を生成し、表示装置５０に表示させる。また、表示制御部３０２は、周辺画像を表示装置５０に表示させる際、周辺画像に写る撮像装置４０の撮像範囲のショベルに対する相対位置関係を明示するため、ショベルを模式的に表すショベル画像を併せて表示装置５０に表示させる。即ち、表示制御部３０２は、ショベル画像と、ショベルと撮像装置４０の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視用画像を生成し、表示装置５０に表示させる。以下、図３を参照して、表示装置５０に表示される監視用画像について説明をする。

尚、表示制御部３０２の機能は、表示装置５０に内蔵されてもよい。この場合、撮像装置４０（後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒ）の撮像画像、及び人検知部３０１の検知結果等の情報は、それぞれ、撮像装置４０及びコントローラ３０から表示装置５０に入力される。

図３は、表示装置５０に表示される監視用画像の一例を示す図である。

図３に示すように、表示装置５０における横長の長方形の画面（例えば、アスペクト比４：３の画面）には、上述の如く、ショベル画像ＣＧと、ショベル画像ＣＧの周囲に配置される周辺画像ＥＰとを含む監視用画像が表示されている。これにより、オペレータ等は、周辺画像ＥＰに写っている人を含む物体と、ショベルとの位置関係を適切に把握することができる。

本例における周辺画像ＥＰは、ショベル周辺を真上から見た路面画像（俯瞰画像）と、その路面画像の周りに配置される、ショベル周辺を水平方向に見た水平画像とを組み合わせた視点変換画像である。周辺画像（視点変換画像）は、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面若しくは曲面を含む一又は複数の平面若しくは曲面で構成される。以下、本実施形態における周辺画像は、上記路面画像と上記水平画像とを組み合わせた視点変換画像である前提で説明を続ける。

また、監視用画像には、ガイドラインＬＮ１が重畳表示される。ガイドラインＬＮ１は、ショベルからの距離が所定距離Ｄ２（＜Ｄ１）の位置を表す。これにより、周辺画像に人を含む物体が写っている場合、オペレータ等は、ショベルからどの程度離れた位置にいるかを把握することができる。

図２に戻り、警報出力部３０３は、人検知部３０１によりショベルから所定距離Ｄ１以内で人を検知した場合、オペレータ等への警報を行う。例えば、警報出力部３０３は、音による警報を出力する。具体的には、警報出力部３０３は、音声出力装置５２を通じて警告音を出力させる。また、例えば、警報出力部３０３は、ショベル周辺の所定範囲内（ショベルから所定距離Ｄ１以内）で距離が近いほど、危険度を表す警報レベルが高い警報を行ってもよい。具体的には、警報出力部３０３は、人検知部３０１により検知された人のショベルからの距離Ｄが、所定距離Ｄ１より小さい所定距離Ｄ２（例えば、２．５メートル）以下であるか否かにより警報レベル（警報の仕様）を変更してもよい。より具体的には、警報出力部３０３は、検知された人のショベルからの距離Ｄが所定距離Ｄ１以下且つ所定距離Ｄ２より大きい場合、比較的危険度が低い注意状態（警報レベル１）であるとして、予備的な警報（例えば、比較的小音量の警告音をスピーカに出力させる）を出力する。また、警報出力部３０３は、検知された人のショベルからの距離が所定距離Ｄ２以下である場合、比較的危険度が高い警戒状態（警報レベル２）であるとして、正式な警報（例えば、比較的大音量の警告音をスピーカ等に出力させる）を出力する。

尚、警報出力部３０３は、表示制御部３０２に表示要求を送ることにより、表示装置５０にショベル周辺に人が存在する旨の警報表示を行ってもよい。

次に、図４〜図１３を参照して、本実施形態に係る周辺監視システム１００（表示制御部３０２）による特徴的な処理について説明をする。

まず、図４は、本実施形態に係る周辺監視システム１００（表示制御部３０２）による処理の第１例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、表示装置５０に監視用画像（周辺画像）が表示されている場合に繰り返し実行されてよい。

ステップＳ１０２にて、表示制御部３０２は、画面操作部４４に対して、表示装置５０に表示される監視用画像における周辺画像の一部領域を選択して拡大させる操作（拡大操作）が行われたか否かを判定する。拡大操作は、例えば、画面操作部４４が、表示装置５０の表示領域の表面に実装されるタッチパネルである場合、表示装置５０に表示される監視用画像における周辺画像の一部領域に対応するタッチパネル上で行われるピンチアウト操作（タッチパネル上に接触させた２本の指を広げるように動作させる操作）である。表示制御部３０２は、画面操作部４４に対して拡大操作が行われた場合、ステップＳ１０６に進み、拡大操作が行われていない場合、今回の処理を終了する。

尚、ピンチアウト操作では、２本の指を広げる動作量が大きくなる程、選択される監視用画像における周辺画像の一部領域が小さくなり、拡大率が大きくなる。

ステップＳ１０４にて、表示制御部３０２は、画面操作部４４に対する拡大操作で選択された、監視用画像における周辺画像の一部領域を拡大して、表示装置５０に表示させる。以下、周辺画像の一部領域を拡大する前の監視用画像を「通常監視用画像」と称し、周辺画像の一部領域を拡大した画像を「拡大監視用画像」と称する。

例えば、図５は、表示装置５０に表示される拡大監視用画像の一例を示す図であり、具体的には、拡大操作により選択された周辺画像ＥＰの一部領域Ａ１を表す通常監視用画像（図５（ａ））と、一部領域Ａ１が拡大された拡大監視用画像（図５（ｂ））を示す図である。このように、画面操作部４４に対する拡大操作により通常監視用画像の周辺画像ＥＰの一部領域Ａ１が選択されると、その一部領域Ａ１をそのまま拡大した周辺画像ＥＰを含む拡大監視用画像が表示装置５０に表示されてよい。これにより、オペレータ等は、画面操作部４４に対する拡大操作により周辺画像ＥＰの一部領域Ａ１に対応するショベルの周辺領域（即ち、周辺画像ＥＰの一部領域Ａ１に映っているショベルの周辺領域）の様子を拡大させて、当該周辺領域の詳細な様子を確認することができる。

また、図５（ｂ）に示すように、表示制御部３０２は、画面操作部４４に対する拡大操作が行われた場合、周辺画像ＥＰの一部領域Ａ１をそのまま拡大して表示装置５０に表示させる。即ち、周辺画像ＥＰの一部領域Ａ１に対応するショベルの周辺領域の様子を拡大して表示させる際、視点変換画像（路面画像及び水平画像）の視点は、変更されることなく、例えば、周辺画像ＥＰに含まれる路面画像（俯瞰画像）は、ショベルの周辺を真上から見た平面視が維持される態様で拡大され、周辺画像ＥＰに含まれる水平画像は、ショベルの周辺を水平方向に見た水平方向視が維持される態様で拡大される。これにより、例えば、周辺画像ＥＰの一部領域Ａ１に対応するショベルの周辺領域の様子を拡大して表示させる際に、拡大される前の視点と異なる視点から見た視点変換画像に変換される態様で拡大される等により、当該周辺領域の様子が把握しにくくなるような事態を抑制することができる。

また、図５（ｂ）に示すように、表示制御部３０２は、オペレータによる拡大操作が行われた場合、周辺画像ＥＰのショベル画像ＣＧが含まれる一部領域Ａ１を表示装置５０に表示させてよい。即ち、表示制御部３０２は、周辺画像の一部領域を選択する操作が行われた場合、選択された一部領域とショベル画像とを含む拡大監視用画像を表示装置５０に表示させる。これにより、オペレータ等は、周辺画像ＥＰの一部領域Ａ１が拡大表示された場合に、周辺画像ＥＰの一部領域Ａ１に対応するショベルの周辺領域とショベルとの相対位置関係を容易に把握することができる。例えば、表示制御部３０２は、拡大操作として上述のピンチアウト操作が行われたタッチパネル上の座標に対応する通常監視用画像上の座標を中心とする拡大監視用画像を生成する際、拡大監視用画像にショベル画像ＣＧが含まれうる上限の拡大率を設定する。これにより、表示装置５０に表示される拡大監視用画像には、ショベル画像ＣＧが含まれるようになる。

尚、本例では、一部領域Ａ１に含まれるショベル画像ＣＧも同様に拡大して表示されるが、ショベル画像ＣＧは、拡大されなくてもよい。

また、例えば、図６は、表示装置５０に表示される拡大監視用画像の他の例を示す図である。本例では、画面操作部４４に対する拡大操作により選択された周辺画像ＥＰの一部領域Ａ１を拡大した画像に加えて、当該一部領域のショベルに対する位置関係を示す情報が表示される。具体的には、ショベル画像ＣＧから一部領域Ａ１の中央部に相当する位置（中央位置）に向けた矢印ＡＷと、ショベルから中央位置までの距離を示す距離情報ＤＳＴ（"４．２ｍ"）と、ショベルからの距離が中央位置と同じ位置を示すガイドラインＬＮ２とが重畳表示される。これにより、拡大表示されている周辺画像ＥＰの一部領域Ａ１が、ショベルとどのような位置関係にあるかを容易に把握することができる。また、矢印ＡＷ、距離情報ＤＳＴ、ガイドラインＬＮ２は、ショベルから中央位置までの距離に応じて、異なる色で表示してもよい。例えば、ショベルに人等が近づくほど危険度が高まるため、ショベルから中央位置までの距離が小さくなるにつれて、矢印ＡＷ、距離情報ＤＳＴ、ガイドラインＬＮ２等の色が青（危険度小）、黄色（危険度中）、赤（危険度大）と順に変化する態様であってもよい。このように、選択された一部領域のショベルに対する位置関係を示す情報として危険度に関する情報を重畳表示させてもよい。

尚、選択された一部領域のショベルに対する位置関係を示す情報として危険度に関する情報を重畳表示させる場合、色情報ではなく文字情報（例えば、危険度"大"、"中"、"小"等）で、危険度を示してもよい。

図４に戻り、ステップＳ１０６にて、表示制御部３０２は、画面操作部４４に対して、拡大された周辺画像（即ち、拡大監視用画像）を縮小する操作（縮小操作）が行われたか否かを判定する。縮小操作は、例えば、画面操作部４４が、表示装置５０の表示領域の表面に実装されるタッチパネルである場合、タッチパネル上で行われるピンチイン操作（タッチパネル上に開いた状態で接触させた２本の指を狭めるように動作させる操作）である表示制御部３０２は、画面操作部４４に対して縮小操作が行われた場合、ステップＳ１０８に進み、画面操作部４４に対して縮小操作が行われていない場合、ステップＳ１１０に進む。

尚、ピンチイン操作では、２本の指を狭める動作量が大きくなる程、縮小率が大きくなる。

ステップＳ１０８にて、表示制御部３０２は、ステップＳ１０６における縮小操作により周辺画像が全体表示の状態（即ち、通常監視用画像における周辺画像の情報）に戻るか否かを判定する。表示制御部３０２は、周辺画像が全体表示の状態に戻らない場合、ステップＳ１１２に進み、周辺画像が全体表示に戻る場合、ステップＳ１１４に進む。

一方、ステップＳ１１０にて、表示制御部３０２は、画面操作部４４に対して、拡大された周辺画像（即ち、拡大監視用画像）を更に拡大する操作（拡大操作）が行われたか否かを判定する。表示制御部３０２は、画面操作部４４に対して拡大操作が行われた場合、ステップＳ１１２に進み、画面操作部４４に対して拡大操作が行われていない場合、ステップＳ１０６に戻る。

ステップＳ１１２にて、表示制御部３０２は、ステップＳ１１０における拡大操作、或いは、ステップＳ１０６における縮小操作に応じて、拡大監視用画像における周辺画像を拡大、或いは、縮小させて、ステップＳ１０６に戻る。

一方、ステップＳ１１４にて、表示制御部３０２は、表示装置５０に通常監視用画像を表示させることにより、周辺画像の全体を表示装置５０に表示させ、今回の処理を終了する。

このように、本実施例では、表示装置５０は、表示制御部３０２による制御の下、画面操作部４４により選択された周辺画像の一部領域に対応するショベルの周辺領域の様子を拡大して表示する。具体的には、表示装置５０は、画面操作部４４により周辺画像の一部領域が選択された場合、当該一部領域をそのまま拡大した画像を表示する。これにより、オペレータ等は、基本的に、周辺画像の全体を表示させて、ショベルの周辺全般の様子を確認しつつ、必要に応じて、周辺画像の一部領域を拡大表示させて、当該一部領域に対応するショベルの周辺領域の詳細な様子を確認することができる。

続いて、図７は、本実施形態に係る周辺監視システム１００（表示制御部３０２）による処理の第２例を概略的に示すフローチャートである。本フローチャートによる処理は、図４の場合と同様、例えば、表示装置５０に通常監視用画像（周辺画像の全体）が表示されている場合に繰り返し実行されてよい。

ステップＳ２０２にて、表示制御部３０２は、画面操作部４４に対して、表示装置５０に表示される周辺画像の一部領域を選択する操作（領域選択操作）が行われたか否かを判定する。領域選択操作は、例えば、画面操作部４４が、表示装置５０の表示領域の表面に実装されるタッチパネルである場合、表示装置５０に表示される通常監視用画像における周辺画像に予め区分される一部領域に対応するタッチパネル上をタッチする操作である。表示制御部３０２は、画面操作部４４に対して、領域選択操作が行われた場合、ステップＳ２０４に進み、領域選択操作が行われていない場合、今回の処理を終了する。

ステップＳ２０４にて、表示制御部３０２は、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのうちの領域選択操作で選択された周辺画像の一部領域に対応するショベルの周辺領域を撮像するカメラのスルー画像を表示装置５０に表示させる。

例えば、図８は、領域選択操作により表示装置５０に表示されるスルー画像を示す図であり、具体的には、周辺画像ＥＰに予め区分される一部領域ＡＢ，ＡＬ，ＡＲを示す通常監視用画像（図８（ａ））と、一部領域ＡＢ，ＡＬ，ＡＲのうちの何れかを選択することにより表示装置５０に表示されるスルー画像ＴＰ（図８（ｂ））を示す図である。本例では、通常監視用画像の周辺画像ＥＰに予め区分される一部領域ＡＢ，ＡＬ，ＡＲは、それぞれ、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒの撮像範囲に対応しており、画面操作部４４に対して、一部領域ＡＢ，ＡＬ，ＡＲの何れかを選択する領域選択操作が行なわれると、対応するカメラのスルー画像ＴＰが表示装置５０に表示されてよい。これにより、オペレータ等は、周辺画像ＥＰの一部領域の様子を、スルー画像として拡大させることができるため、当該一部領域の詳細な様子を確認することができる。

図７に戻り、ステップＳ２０６にて、表示制御部３０２は、画面操作部４４に対して、表示装置５０の表示内容をスルー画像から通常監視用画像に復帰させる操作（復帰操作）が行われたか否かを判定する。復帰操作は、例えば、画面操作部４４が、表示装置５０の表示領域の表面に実装されるタッチパネルである場合、タッチパネル上での所定の操作（例えば、ダブルタップ操作等）であってよく、スルー画像に重畳表示される所定のアイコンをタッチパネル上でタッチする操作等であってもよい。表示制御部３０２は、画面操作部４４に対して復帰操作が行われていない場合、ステップＳ２０８に進み、復帰操作が行われた場合、ステップＳ２１２に進む。

ステップＳ２０８にて、表示制御部３０２は、画面操作部４４に対して、スルー画像の一部領域を選択して拡大させる操作（拡大操作）、或いは、縮小させる操作（縮小操作）が行われたか否かを判定する。拡大操作及び縮小操作は、例えば、画面操作部４４が、表示装置５０の表示領域の表面に実装されるタッチパネルである場合、タッチパネル上でのピンチアウト操作及びピンチイン操作であってよい。表示制御部３０２は、画面操作部４４に対して、拡大操作或いは縮小操作が行われた場合、ステップＳ２１０に進み、拡大操作及び縮小操作が行われていない場合、ステップＳ２０６に戻る。

ステップＳ２１０にて、表示制御部３０２は、拡大操作或いは縮小操作に応じて、スルー画像を拡大或いは縮小させて表示装置５０に表示させて、ステップＳ２０６に戻る。

例えば、図９は、拡大操作により表示装置５０に表示される、拡大されたスルー画像（拡大スルー画像）の一例であり、具体的には、拡大操作により拡大される一部領域Ａ２を表すスルー画像ＴＰ（図９（ａ））と、一部領域Ａ２が拡大された拡大スルー画像ＥＴＰ（図９（ｂ））を示す図である。このように、画面操作部４４に対する拡大操作が行われると、スルー画像の一部領域が拡大されて表示装置５０に表示されてよい。これにより、オペレータ等は、画面操作部４４に対する拡大操作によりスルー画像を拡大させて、領域選択操作により選択された一部領域の更に詳細な様子を確認することができる。

尚、縮小操作は、拡大スルー画像を縮小させて表示させるための操作であり、拡大されていない通常のスルー画像を縮小させて表示装置５０に表示させることはできない。

図７に戻り、一方、ステップＳ２１２にて、表示制御部３０２は、表示装置５０の表示内容をスルー画像から周辺画像を含む通常監視用画像に復帰させて、今回の処理を終了する。

このように、本実施例では、表示装置５０は、図４の実施例と同様、表示制御部３０２による制御の下、画面操作部４４により選択された周辺画像の一部領域に対応するショベルの周辺領域の様子を拡大して表示する。具体的には、表示装置５０は、画面操作部４４により周辺画像の一部領域が選択された場合、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのうちの画面操作部４４により選択された一部領域に対応するショベルの周辺領域を撮像するカメラの撮像画像（スルー画像）を表示する。これにより、オペレータ等は、基本的に、周辺画像の全体を表示させて、ショベルの周辺全般の様子を確認しつつ、必要に応じて、周辺画像の一部領域をスルー画像として拡大表示させて、当該一部領域に対応するショベルの周辺領域の詳細な様子を確認することができる。

続いて、図１０は、本実施形態に係る周辺監視システム１００（表示制御部３０２）による処理の第３例を概略的に示すフローチャートである。本フローチャートによる処理は、図４、図７の場合と同様、例えば、表示装置５０に通常監視用画像（周辺画像の全体）が表示されている場合に繰り返し実行されてよい。

ステップＳ３０２にて、表示制御部３０２は、図７のステップＳ２０２と同様、画面操作部４４に対して、表示装置５０に表示される周辺画像の一部領域を選択する操作（領域選択操作）が行われたか否かを判定する。表示制御部３０２は、画面操作部４４に対して、領域選択操作が行われた場合、ステップＳ３０４に進み、領域選択操作が行われていない場合、今回の処理を終了する。

ステップＳ３０４にて、表示制御部３０２は、周辺画像を含む通常監視用画像と、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのうちの領域選択操作で選択された周辺画像の一部領域に対応するショベルの周辺領域を撮像するカメラのスルー画像とを表示装置５０に同時に表示させる。また、表示制御部３０２は、通常監視用画像とスルー画像を同時に表示させる際、通常監視用画像に含まれる周辺画像上において、スルー画像に対応する領域を強調させる。以下、表示装置５０に同時に表示される通常監視用画像及びスルー画像（後述する拡大スルー画像を含む）を合わせて複合監視用画像と称する場合がある。

例えば、図１１は、領域選択操作により表示装置５０に同時に表示される通常監視用画像及びスルー画像（複合監視用画像）の一例を示す図であり、具体的には、周辺画像ＥＰに予め区分される一部領域ＡＢ，ＡＬ，ＡＲを示す通常監視用画像（図１１（ａ））と、一部領域ＡＢ，ＡＬ，ＡＲのうちの一部領域ＡＲが選択されることにより表示装置５０に同時に表示される通常監視用画像及びスルー画像ＴＰ（図１１（ｂ））を示す図である。本例では、通常監視用画像の周辺画像ＥＰに予め区分される一部領域ＡＢ，ＡＬ，ＡＲは、図８の場合と同様、それぞれ、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒの撮像範囲に対応しており、画面操作部４４に対して、一部領域ＡＢ，ＡＬ，ＡＲの何れかを選択する領域選択操作が行なわれると、通常監視用画像と、対応するカメラのスルー画像ＴＰとが表示装置５０に同時に表示されてよい。これにより、オペレータ等は、周辺画像ＥＰの一部領域の様子を、スルー画像として拡大させることができるため、当該一部領域の詳細な様子を確認することができると共に、同時に表示される通常監視用画像により周辺画像ＥＰの全体に対応するショベル周辺の広範囲の様子も確認することができる。また、本例では、通常監視用画像の周辺画像ＥＰ上において、スルー画像ＴＰに対応する領域（一部領域ＡＲ）を太枠ＦＲ１で囲むことにより、当該領域が強調表示される。これにより、オペレータ等は、スルー画像として表示される領域が、同時に表示される周辺画像のどの領域に対応しているかを容易に把握することができる。

図１０に戻り、ステップＳ３０６にて、表示制御部３０２は、画面操作部４４に対して、表示装置５０の表示内容を通常監視用画像及びスルー画像の同時表示から通常監視用画像の単独表示に復帰させる操作（復帰操作）が行われたか否かを判定する。復帰操作は、図７のステップＳ２０６の場合と同様、例えば、画面操作部４４が、表示装置５０の表示領域の表面に実装されるタッチパネルである場合、タッチパネル上での所定の操作（例えば、ダブルタップ操作等）であってよく、スルー画像に重畳表示される所定のアイコンをタッチパネル上でタッチする操作等であってもよい。表示制御部３０２は、画面操作部４４に対して復帰操作が行われていない場合、ステップＳ３０８に進み、復帰操作が行われた場合、ステップＳ３１２に進む。

ステップＳ３０８にて、表示制御部３０２は、画面操作部４４に対して、スルー画像の一部領域を選択して拡大させる操作（拡大操作）、或いは、縮小させる操作（縮小操作）が行われたか否かを判定する。拡大操作及び縮小操作は、図７のステップＳ２０８の場合と同様、例えば、画面操作部４４が、表示装置５０の表示領域の表面に実装されるタッチパネルである場合、スルー画像が表示される表示装置５０の表示領域に対応するタッチパネル上でのピンチアウト操作及びピンチイン操作であってよい。表示制御部３０２は、画面操作部４４に対して、拡大操作或いは縮小操作が行われた場合、ステップＳ３１０に進み、拡大操作及び縮小操作が行われていない場合、ステップＳ３０６に戻る。

ステップＳ３１０にて、表示制御部３０２は、拡大操作或いは縮小操作に応じて、スルー画像を拡大或いは縮小させて表示装置５０に表示させて、ステップＳ３０６に戻る。この際、表示制御部３０２は、スルー画像と同時に表示される通常監視用画像に含まれる周辺画像上において、スルー画像に対応する強調される領域を変化させる。

例えば、図１２は、拡大操作により表示装置５０に同時に表示される複合監視用画像（通常監視用画像及び拡大スルー画像）の一例であり、具体的には、拡大操作により拡大される一部領域Ａ３を表すスルー画像ＴＰを含む複合監視用画像（図１２（ａ））と、一部領域Ａ２が拡大された拡大スルー画像ＥＴＰを含む複合監視用画像（図１２（ｂ））を示す図である。このように、画面操作部４４に対する拡大操作が行われると、図９の場合と同様、スルー画像の一部領域が拡大されて表示装置５０に表示されてよい。これにより、オペレータ等は、画面操作部４４に対する拡大操作によりスルー画像を拡大させて、領域選択操作により選択された一部領域の更に詳細な様子を確認することができる。また、本例では、スルー画像が拡大されるのに応じて、周辺画像ＥＰ上におけるスルー画像に対応する領域が変化するため、当該変化に合わせて、周辺画像ＥＰ上における強調表示される領域は、太枠ＦＲ１（図１２（ａ））で囲まれる領域から、更に狭い太枠ＦＲ２（図１２（ｂ））で囲まれる領域に変化する。これにより、スルー画像が更に拡大表示される場合についても、拡大スルー画像に対応する領域が、同時に表示される周辺画像のどの領域に対応しているかを容易に把握することができる。

尚、縮小操作は、図７の場合と同様、拡大スルー画像を縮小させて表示させるための操作であり、拡大されていない通常のスルー画像を縮小させて表示装置５０に表示させることはできない。

図１０に戻り、一方、ステップＳ３１２にて、表示制御部３０２は、表示装置５０の表示内容を通常監視用画像及びスルー画像の同時表示から周辺画像を含む通常監視用画像の単独表示に復帰させて、今回の処理を終了する。

このように、本実施例では、表示装置５０は、図４、図７の実施例と同様、表示制御部３０２による制御の下、画面操作部４４により選択された周辺画像の一部領域に対応するショベルの領域の様子を拡大して表示する。具体的には、表示装置５０は、画面操作部４４により周辺画像の一部領域が選択された場合、周辺画像と、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのうちの画面操作部４４により選択された一部領域に対応するショベルの周辺領域を撮像するカメラの撮像画像（スルー画像）とを同時に表示する。これにより、オペレータ等は、基本的に、周辺画像の全体を表示させて、ショベルの周辺全般の様子を確認しつつ、必要に応じて、周辺画像の一部領域をスルー画像として拡大表示させて、当該一部領域に対応するショベルの周辺領域の詳細な様子を確認することができる。また、オペレータ等は、スルー画像と同時に表示される周辺画像により、ショベルの周辺全般の様子も継続して確認することができる。

続いて、図１３は、本実施形態に係る周辺監視システム１００（表示制御部３０２）による処理の第４例を概略的に示すフローチャートである。本フローチャートによる処理は、図４、図７、図１０の場合と同様、例えば、表示装置５０に通常監視用画像（周辺画像の全体）が表示されている場合に繰り返し実行されてよい。

本フローチャートのステップＳ４０２、Ｓ４０４、及びステップＳ４０６〜Ｓ４１４の処理は、図４のフローチャートのステップＳ１０２、Ｓ１０４、及びステップＳ１０６〜ステップＳ１１４と同じである。以下、図４のフローチャートと異なる部分を中心に説明をする。

ステップＳ４０１にて、表示制御部３０２は、人検知部３０１により所定領域内（ショベルからの距離Ｄが所定距離Ｄ１以下の範囲）に人が検知されているか否かを判定する。表示制御部３０２は、人検知部３０１により人が検知されていない場合、ステップＳ４０２に進み、人検知部３０１により人が検知されている場合、今回の処理を終了する。

表示制御部３０２は、画面操作部４４に対する拡大操作で選択された、監視用画像における周辺画像の一部領域を拡大して、表示装置５０に表示させる処理（ステップＳ４０４）を行った後、ステップＳ４０５にて、人検知部３０１により所定領域内に人が検知されているか否かを判定する。表示制御部３０２は、人検知部３０１により人が検知されていない場合、ステップＳ４０６に進み、ステップＳ４０６〜Ｓ４１２の処理を行う。一方、表示制御部３０２は、人検知部３０１により人が検知されている場合、ステップＳ４１４に進み、表示装置５０の表示内容を拡大監視用画像から通常監視用画像に復帰させることにより、周辺画像の全体を表示装置５０に表示させ、今回の処理を終了する。

尚、表示制御部３０２は、ステップＳ４０８の処理或いはステップＳ４１０の処理の後、ステップＳ４０５に戻る。

このように、本実施例では、表示装置５０は、表示制御部３０２による制御の下、画面操作部４４により選択された周辺画像の一部領域に対応するショベルの周辺領域の様子が拡大されて表示されている状態で、人検知部３０１により所定領域内で人が検知された場合、通常監視用画像を表示する状態、即ち、周辺画像の全体を表示する状態に戻る。これにより、オペレータ等は、周辺画像の一部領域に対応するショベルの周辺領域の様子を拡大表示させている状態でも、人検知部３０１により人が検知されると、自動的に、周辺画像の全体が表示される状態に戻るため、周辺画像全体を見て、検知された人がどこにいるかをすぐに把握することができる。そのため、周辺画像の一部領域に対応するショベルの周辺領域の様子を拡大表示させることによるユーザの利便性を向上させつつ、更に高い安全性を確保することできる。

尚、本実施例では、表示制御部３０２は、人検知部３０１により人が検知された場合、通常監視用画像を表示装置５０に表示させるが、通常監視用画像の代わりに、後方カメラ４０Ｂ、左側方カメラ４０Ｌ，及び右側方カメラ４０Ｒのうちの検知された人が存在する領域を撮像するカメラのスルー画像を表示させてもよい。これにより、オペレータ等は、周辺画像の一部領域を拡大表示させている状態でも、人検知部３０１により人が検知されると、自動的に、検知された人が存在する領域を撮像するカメラのスルー画像に切り替わるため、当該スルー画像を見て、検知された人がどこにいるかをすぐに把握することができる。

また、本実施例では、図４の処理をベースにして、ステップＳ４０１、Ｓ４０５の処理を追加したが、図７の処理をベースにして、ステップＳ４０１、Ｓ４０５に相当する処理を追加してもよい。この場合、ステップＳ２０１の前にステップＳ４０１に相当する処理を追加すると共に、ステップＳ２０４とステップＳ２０６の間に、ステップＳ４０５に相当する処理を追加し、ステップＳ２０８の処理或いはステップＳ２１０の処理の後には、ステップＳ４０５に相当する処理に戻る構成を採用するとよい。これにより、本実施例と同様の作用・効果を得ることができる。また、この場合についても、表示制御部３０２は、人検知部３０１により人が検知された場合、通常監視用画像を表示装置５０に表示させる代わりに、後方カメラ４０Ｂ、左側方カメラ４０Ｌ，及び右側方カメラ４０Ｒのうちの検知された人が存在する領域を撮像するカメラのスルー画像を表示装置５０に表示させてもよい。

また、図１０の処理をベースにして、ステップＳ４０１、Ｓ４０５に相当する処理を追加してもよい。ステップＳ４０１、Ｓ４０５に相当する処理を追加してもよい。この場合、ステップＳ３０１の前にステップＳ４０１に相当する処理を追加すると共に、ステップＳ３０４とステップＳ３０６の間に、ステップＳ４０５に相当する処理を追加し、ステップＳ３０８の処理或いはステップＳ３１０の処理の後には、ステップＳ４０５に相当する処理に戻る構成を採用するとよい。これにより、表示装置５０は、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合、周辺画像、及び後方カメラ４０Ｂ、左側方カメラ４０Ｌ，並びに右側方カメラ４０Ｒの何れかのスルー画像の双方を表示する状態から、周辺画像及びスルー画像のうちの周辺画像だけを表示する状態に切り替わる。よって、表示装置５０に表示される周辺画像は、スルー画像と並列に表示されて比較的小さい状態から、単独で表示されて比較的大きい状態に戻るため、オペレータ等は、周辺画像上において、検知された人がどこにいるかを更に把握し易くなる。そのため、周辺画像の一部領域を拡大させて表示させることによるユーザの利便性を向上させつつ、更に高い安全性を確保することできる。また、この場合についても、表示制御部３０２は、人検知部３０１により人が検知された場合、通常監視用画像を表示装置５０に表示させる代わりに、後方カメラ４０Ｂ、左側方カメラ４０Ｌ，及び右側方カメラ４０Ｒのうちの検知された人が存在する領域を撮像するカメラのスルー画像を表示装置５０に表示させてもよい。また、表示制御部３０２は、人検知部３０１により人が検知された場合、表示装置５０に通常監視用画像及びスルー画像を同時に表示させる状態を継続し、後方カメラ４０Ｂ、左側方カメラ４０Ｌ，及び右側方カメラ４０Ｒのうちの検知された人が存在する領域を撮像するカメラのスルー画像を、通常監視用画像と同時に表示させてもよい。

以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

３０ コントローラ
４０ 撮像装置
４４ 画面操作部（第１操作部、第２操作部）
４０Ｂ 後方カメラ
４０Ｌ 左側方カメラ
４０Ｒ 右側方カメラ
５０ 表示装置
１００ 周辺監視システム（作業機械用周辺監視システム）
３０１ 人検知部（物体検知部）
３０２ 表示制御部

Claims (11)

1. 作業機械の周辺を撮像する撮像装置と、
   前記作業機械の操縦席の周辺に設けられ、前記撮像装置の撮像画像に基づき生成される周辺画像を表示する表示装置と、
   前記表示装置に表示される前記周辺画像の一部領域を選択する操作が行われる第１操作部と、を備え、
   前記表示装置は、前記第１操作部により選択された前記周辺画像の一部領域に対応する前記作業機械の周辺領域の様子を拡大して表示すると共に、拡大して表示した周辺領域の前記作業機械に対する位置関係を示す情報を付加的に表示する、
   作業機械用周辺監視システム。
2. 前記作業機械に対する位置関係を示す情報は、拡大して表示された周辺領域の前記作業機械からの方向を表す情報、拡大して表示された周辺領域の前記作業機械からの距離を表す情報、又は、拡大して表示された周辺領域に物体が存在する場合の危険度を表す情報である、
   請求項１に記載の作業機械用周辺監視システム。
3. 前記表示装置は、前記第１操作部により前記周辺画像の一部領域が選択された場合、前記第１操作部により選択された前記周辺画像の一部領域を拡大した画像を表示する、
   請求項１又は２に記載の作業機械用周辺監視システム。
4. 前記撮像装置は、前記作業機械から見た複数の方向の各々を撮像する複数のカメラを含み、
   前記表示装置は、前記第１操作部により前記周辺画像の一部領域が選択された場合、前記複数のカメラのうち、前記第１操作部により選択された前記周辺画像の一部領域に対応する前記作業機械の周辺領域を撮像する前記カメラの撮像画像を表示する、
   請求項１又は２に記載の作業機械用周辺監視システム。
5. 前記表示装置は、前記第１操作部により前記周辺画像の一部領域が選択された場合、前記周辺画像と、前記複数のカメラのうちの前記第１操作部により選択された前記周辺画像の一部領域に対応する前記作業機械の周辺領域を撮像する前記カメラの撮像画像とを同時に表示する、
   請求項４に記載の作業機械用周辺監視システム。
6. 前記表示装置は、前記周辺画像と、前記複数のカメラのうちの前記第１操作部により選択された前記周辺画像の一部領域に対応する前記作業機械の周辺領域を撮像する前記カメラの撮像画像とを同時に表示する際、当該周辺画像上において、同時に表示されている当該撮像画像に対応する領域を強調する、
   請求項５に記載の作業機械用周辺監視システム。
7. 前記表示装置に表示される前記カメラの撮像画像の一部領域を選択する操作が行われる第２操作部を更に備え、
   前記表示装置は、前記複数のカメラのうちの前記第１操作部により選択された前記周辺画像の一部領域に対応する前記作業機械の周辺領域を撮像する前記カメラの撮像画像を表示している状態で、前記第２操作部により当該撮像画像の一部領域が選択された場合、前記第２操作部により選択された当該撮像画像の一部領域を拡大した画像を表示する、
   請求項４乃至６の何れか一項に記載の作業機械用周辺監視システム。
8. 前記作業機械の周辺の所定領域内で所定の物体を検知する物体検知部を備え、
   前記表示装置は、前記第１操作部により選択された前記周辺画像の一部領域を拡大した画像を表示する状態で、前記物体検知部により前記物体が検知された場合、前記周辺画像の全体を表示する状態に戻す、
   請求項３に記載の作業機械用周辺監視システム。
9. 前記作業機械の周辺の所定領域内で所定の物体を検知する物体検知部を備え、
   前記撮像装置は、前記作業機械から見た複数の方向の各々を撮像する複数のカメラを含み、
   前記表示装置は、前記第１操作部により選択された前記周辺画像の一部領域を拡大した画像を表示する状態で、前記物体検知部により前記物体が検知された場合、前記複数のカメラのうちの当該物体が存在する領域を撮像する前記カメラの撮像画像を表示する、
   請求項３に記載の作業機械用周辺監視システム。
10. 前記作業機械の周辺の所定領域内で所定の物体を検知する物体検知部を備え、
    前記表示装置は、前記複数のカメラのうちの前記第１操作部により選択された前記周辺画像の一部領域に対応する前記作業機械の周辺領域を撮像する前記カメラの撮像画像を表示している状態で、前記物体検知部により前記物体が検知された場合、前記周辺画像及び前記カメラの撮像画像のうちの前記周辺画像だけを表示する、
    請求項４乃至７の何れか一項に記載の作業機械用周辺監視システム。
11. 前記作業機械の周辺の所定領域内で所定の物体を検知する物体検知部を備え、
    前記表示装置は、前記複数のカメラのうちの前記第１操作部により選択された前記周辺画像の一部領域に対応する前記作業機械の周辺領域を撮像するカメラの撮像画像を表示している状態で、前記物体検知部により前記物体が検知された場合、前記複数のカメラのうちの当該物体が存在する領域を撮像する前記カメラの撮像画像を表示する、
    請求項４乃至７の何れか一項に記載の作業機械用周辺監視システム。

Images