WO2012043522A1

WO2012043522A1 - 作業機械の周囲監視装置

Info

Publication number: WO2012043522A1
Application number: PCT/JP2011/071979
Authority: WO
Inventors: 石本　英史
Original assignee: 日立建機株式会社
Priority date: 2010-09-29
Filing date: 2011-09-27
Publication date: 2012-04-05
Also published as: EP2624552A1; US20130182066A1; CN103141090A; JP5269026B2; JP2012074929A; EP2624552A4; KR20130138227A

Abstract

　上部旋回体３には、後方カメラ１３Ｂと、左右の側方カメラ１３Ｌ，１３Ｒと、前方カメラ１３Ｆとが設けられ、カメラ１３Ｂ，１３Ｌ，１３Ｒのカメラ画像を視点変換して個別俯瞰画像を生成して、表示キャラクタ２１を中心とした監視用パノラマ画像として合成されて、前方カメラ１３Ｆの画像であるカメラ画像と共にモニタ２０の画像表示部２０ａに表示され、操作パネル部２０ｂに設けたスイッチＳＷ１～ＳＷ５を適宜操作することによって、いずれかの個別俯瞰画像を生成する前のカメラ画像が拡大された状態で表示される。

Description

作業機械の周囲監視装置

　本発明は、油圧ショベル等からなる作業機械において、機械による作業の安全確保等のために設けられる作業機械の周囲監視装置に関するものである。

　作業機械の一例として、例えば油圧ショベルは、自走式の作業機械であって、クローラ式またはホイール式の走行手段を備えた下部走行体を有するもので、この下部走行体には旋回装置を介して上部旋回体が設置されている。上部旋回体には土砂の掘削等の作業を行う作業手段が設けられている。作業手段は、上部旋回体に俯仰動作可能に連結したブームと、このブームの先端に上下方向に回動可能に連結したアームとを備え、土砂の掘削等の作業を行うバケットはフロントアタッチメントとして、アームの先端にリンク機構を介して連結されており、これらにより多関節作業機構を構成している。

　油圧ショベル等の自走式作業機械において、作業の安全を確保し、また作業機械の操作性の向上を図るために、上部旋回体の周囲を監視する周囲監視装置を設けたものは、従来から知られている。この周囲監視装置は、上部旋回体にカメラを装着すると共に、運転室において、オペレータが着座する運転席の前方位置にモニタを設置することにより構成され、カメラで撮影した画像は動画状態の映像としてモニタに表示される。

　ところで、カメラは上部旋回体に固定的に保持されており、その視野範囲は限られている。作業対象となる前方位置の視野が必要なのは当然のことながら、走行の安全性の確保等のためには、上部旋回体の後方及び左右の両側方における視野も必要である、作業機械の周囲において、できるだけ広い範囲の視野を得るために、上部旋回体には複数のカメラを装着する構成としたものが従来から用いられている。これによって、上部旋回体のほぼ全周にわたって死角をなくすことができ、もって作業の安全確保及び作業機械の操作性の向上が図られる。

　複数のカメラで取得した作業機械の周囲の画像、つまりカメラ画像は、通常、モニタに一括表示されるのではなく、いずれか必要なカメラ画像が選択的に表示される。このモニタへの表示の選択はオペレータの操作によることになる。各カメラからの画像のうち、所望とするものを表示させるために、切換スイッチをモニタに付設するか、リモートコントロール装置等に設けて、その切換スイッチをオペレータが手動で操作して目的とする画像を表示する構成とするのが一般的である。

　ただし、複数のカメラが設置されていることから、目的とする画像が表示されるまでに、切換スイッチを複数回切り換えなければならないこともあり、オペレータは画像切換操作に手間取ることがある。しかも、作業機械を操作している間にもモニタを切り換える必要があり、この画像切換操作の操作性に難点がある。

　以上の点を考慮して、カメラ画像が順次切り換わるように設定することにより、画像毎の切換操作の必要性をなくしたものが特許文献１に開示されている。この特許文献１では、全てのカメラ画像を順次表示させるだけでなく、切り換わり手順の変更や一部のカメラ画像を表示しないようにするスキップ設定をも可能にしている。

　ところで、カメラ画像では距離感を正確に把握するのが困難な場合がある。例えば、上部旋回体を旋回させる操作時に、周囲の安全を確認するが、作業機械の近傍に作業者等が立ち入っていたり、構築物等の障害物が作業機械の近傍に存在していたりしている状態で、上部旋回体の旋回させたときにそれらと接触するか否かをカメラ画像だけからでは正確に判断できないことがある。また、下部走行体を後進させる際にも、作業機械が作業者や障害物等にどの程度まで接近しているかについて、さらには溝等の凹所の存在や位置を正確に把握できないこともある。作業機械の旋回時や後進時には、周囲に衝突を回避し、また進入停止を行うべき要回避対象となるものがあっても、カメラ画像を周囲の監視のための唯一の手掛かりとしたのでは、この種の要回避対象の存在の有無及び形状や大きさは確認できるものの、作業機械から要回避対象までの正確な距離を認識することはできないことがある。

　ところで、カメラをある高さから斜め下方向に視野を向けて撮影し、このカメラ画像を画像変換処理すると、仮想視点からの画像に変換することができる。仮想視点画像として、視点を上方位置とした上方視点画像は俯瞰状態の画像となり、この俯瞰画像をモニタに表示すると、要回避対象までの距離を正確に把握することができる。作業機械において、俯瞰画像を表示することにより周囲の監視を行う装置が、例えば特許文献２に開示されている。この特許文献２では、作業機械としての油圧ショベルの後方と、左側方との所定の位置にカメラを装着して、これらのカメラの光軸を斜め下方に向け、後方及び側方に広い視野を持った画像を取得して上方視点となるように視点変換した俯瞰画像をモニタに表示することによって、周辺監視画面を取得するようにしている。

　このように俯瞰画像をモニタに表示すると、上部旋回体から要回避対象までの距離を正確に把握できることになる。従って、作業機械を後進させたり、旋回させたりする際に、このモニタの映像によって周囲の安全を確認することができる。また、作業機械としての油圧ショベルには、上部旋回体における運転室の右側に土砂の掘削等を行う作業手段が設置されている。従って、運転室内でのオペレータの肉眼による視野は、この作業手段により妨げられるので、この方向にも視野が必要となる。特許文献２において、カメラを上部旋回体の後方の位置だけではなく、右方の側部にも設けているのはこのためである。

特開２００８－１１４８１４号公報国際公開ＷＯ２００６/１０６６８５号パンフレット

　上方視点による俯瞰画像は画像処理して生成した画像であり、実体像ではない。従って、俯瞰画像は距離測定のためには有益な情報ではあるものの、この俯瞰画像に表示されている像の実際の形や大きさ等を正確に把握するのは必ずしも容易ではない。例えば、要回避対象が可動なものであるか、固定的なものであるかによっては、対処の仕方が変わってくる。要回避対象が可動な場合には、警報を発したり、所定時間だけ作業機械を待機させたりすることによって、相手側を危険な領域から退避させることができる。一方、要回避対象が固定的なものであれば、作業機械を迂回させるように走行させる必要がある。また、障害物であったとしても、その高さ等の関係から乗り越えることができるものもあれば、迂回しなければ通過できないこともある。俯瞰画像からこの種の判定を行うのは適切ではない。さらに、地面に凹凸があったり、傾斜していたりする場合には、それが俯瞰画像に反映されないこともある。

　カメラにより撮影して、このカメラ画像から俯瞰画像を生成している。このカメラ画像からは、被写体の形や大きさ、高さ等、様々な情報を取得できる。従って、このカメラ画像としてモニタに表示すれば、要回避対象の実体像を認識でき、周囲監視という目的の観点から望ましいものとなる。ただし、モニタは作業機械の運転室という限られた空間に設置されるものであり、しかもオペレータは前窓から肉眼による前方を視認する際に、前方にモニタが存在し、このモニタのサイズがあまり大きくなっていると、前方視野が制限されてしまう。従って、俯瞰画像とカメラ画像とを同時に並列的に表示することは望ましくはない。

　本発明は以上の点に鑑みてなされたものであって、その目的とするところは、作業機械の周囲を監視するに当って、周囲監視装置を操作する者の簡単な操作により監視に必要な情報を的確に取得できるようにすることにある。

　前述した目的を達成するために、本発明は、作業機械に複数のカメラを設置して、これら各カメラで取得したカメラ画像に基づく信号処理を行って、上方視点となるように視点変換し、俯瞰画像としてモニタに表示する作業機械の周囲監視装置であって、前記各カメラにより撮影した各個別俯瞰画像を合成した合成俯瞰画像を前記モニタに表示する画像合成手段と、前記合成俯瞰画像に対して、この合成俯瞰画像を構成する前記各個別俯瞰画像の少なくとも１つの画像を視点変換する前のカメラ画像に変換して表示するための切換手段とから構成したことをその特徴とするものである。

　作業機械の周囲監視のためには、少なくとも後方の視野が必要であり、また作業機械が油圧ショベルや油圧クレーン等である場合には、作業手段は運転室の右側に配置されるのが一般的であるから、右側方向の視野についても、周囲監視の対象とする。さらに運転室の左側も、少なくとも斜め後方はオペレータの肉眼による視野が得にくいものである。従って、例えば、作業機械の後方視野を撮影する後方カメラと、左右両側の側方視野を撮影する２個の側方カメラとから構成することができる。そして、これら後方カメラ及び側方カメラによりそれぞれの箇所で取得したカメラ画像を各領域の俯瞰画像に変換する。なお、運転室と作業手段との位置関係等によっては、運転室内で着座しているオペレータにとってさらに別の死角となる部位が異なる場合もある。従って、設置されるカメラの数及びそれらの設置位置については、前述以外にも設けることができ、その配置はオペレータにとって死角となる部位であって、安全確保のために、視野が必要となる部位を基準として適宜設定される。

　運転室の前方はオペレータの肉眼による視野が得られるので、必ずしも前方の俯瞰画像を取得することは必要ではないが、前方側にも俯瞰画像を取得することも可能である。また、オペレータは前方視野は直接取得できるといっても、死角となる方向がない訳ではない。例えば、前方が窪んでいる場合には、その窪みの底部はオペレータの肉眼による確認が困難なことがある。また、作業機械の上方の状況を確認するのが困難な場合もある。そこで、運転室の前方にもカメラを設けて、このカメラで補助的な視野を確保することができる。なお、この場合には、前方カメラの画像は視点変換することなく、カメラ画像をそのまま表示することになる。

　各カメラで取得したカメラ画像を個別俯瞰画像として、これら個別俯瞰画像を合成して合成俯瞰画像を生成することから、全てのカメラの高さ位置及び光軸の水平面に対する角度を一致させるようにする。また、左右の両側の側方の個別俯瞰画像と、後方の個別俯瞰画像との間の移行部には多少の欠落箇所があっても、その欠落箇所が僅かなものであれば差し支えないが、端部を合わせて連続的な画像とするのが望ましい。このためには、例えば後方俯瞰像の両端を各側方俯瞰画像の端部を部分的に重ね合わせて、画像のブレンディング結合処理を行うようにすれば良い。

　モニタには、合成俯瞰画像が表示されるが、モニタの中央前方の部位に余白領域ができることになる。そこで、作業機械の前方にもカメラを設置して、このカメラからの画像をこの余白部分に表示することもできる。このように構成すると、建設機械の後方乃至側方に対する作業を行うために、モニタを視認したときに、前方の視野を含む作業機械の全周の安全確認を行うことができる。

　作業機械の平面図をキャラクタ化し、これを表示キャラクタとしてモニタに表示し、また画像合成手段により合成される合成俯瞰画像としては、表示キャラクタを中心とし、後方位置に後方カメラからのカメラ画像に基づく後方俯瞰画像と、左右の両側位置にそれぞれ左右の側方カメラからのカメラ画像に基づく左右の側方俯瞰画像とを合成して表示することによって、作業機械を中心とした監視用パノラマ画像をモニタに表示することができる。また、このパノラマ画像に危険ゾーン、注意ゾーン等、適宜のゾーンを設定することもできる。

　切換手段によって、一部の俯瞰画像がカメラ画像に変換されるが、どの領域のカメラ画像が表示されているかを認識させるために、カメラ画像と、それを視点変換させた俯瞰画像との大半の部位が重畳するように表示すると、オペレータにとって混乱するのを防止できる。この場合、俯瞰画像がカメラ画像に切り換わるようにして表示することになるが、例えばカメラ画像を透視して、俯瞰画像が視認できるように表示することもできる。

　個別俯瞰画像をカメラ画像に変換して表示させるための切換手段としては、通常はオペレータの手動による切換手段によることになるが、自動切換手段も可能であり、またこれらを併用するようにしても良い。手動による切換手段としては、主に切換用のスイッチとなるが、モニタには画像表示部と操作パネル部とから構成し、スイッチは操作パネル部に設けることができる。また、操作パネル部を独立のリモートコントロール装置として構成することができる。さらに、モニタをタッチパネル式のものとすることも可能である。そして、俯瞰画像からカメラ画像への切り換え、及びカメラ画像から俯瞰画像への切り換えは共に手動で切り換わるようにすることもでき、また俯瞰画像からカメラ画像への切り換えはスイッチ操作で行われ、所定の時間が経過すると、カメラ画像から俯瞰画像に復帰するように構成しても良い。

　画像の切り換えは操作レバー等の操作手段に連動させることもできる。例えば、上部旋回体が左右のいずれかの方向に旋回する際には、旋回時の前方側に位置する側方カメラからの画像を切り換え、作業機械が後進する際には、後方カメラからの画像を切り換えるようにすることもできる。そして、操作が終了した後、所定の時間が経過すると、元の不満画像に戻るように設定することができる。なお、このように操作レバー等と連動して自動的に切り換わる構成とした場合、より好ましくは手動による切り換えも可能な構成とするのが望ましい。

　作業機械の周囲を監視するに当って、カメラ画像と、このカメラ画像から視点変換を行った俯瞰画像とを切り換え表示可能にすることによって、作業機械を操作する操作者は、簡単な操作により周囲監視に必要な情報を的確に取得できる等の効果を奏する。

作業機械の一例としての油圧ショベルの正面図である。図１の平面図である。本発明の第１の実施の形態を示すモニタの構成説明図である。画像処理装置の回路構成図である。図３のモニタの他の表示態様を示す構成説明図である。図３のモニタの第３の表示態様を示す構成説明図である。図３のモニタの第４の表示態様を示す構成説明図である。本発明の第２の実施の形態を示すモニタの構成説明図である。本発明の第３の実施の形態を示すモニタの構成説明図である。図９の切換スイッチの作動状態を示す説明図である。本発明の第４の実施の形態を示すモニタの構成説明図である。本発明の第５の実施の形態を示す画像処理装置の回路構成図である。本発明の第５の実施の形態におけるモニタの設定画面を示す構成説明図である。

　以下、図面に基づいて本発明の実施の形態について説明する。まず、図１及び図２に作業機械の一例としての油圧ショベルの構成を示す。図中において、１はクローラ式走行体からなる下部走行体であって、下部走行体１には旋回装置２を介して上部旋回体３が設けられている。

　上部旋回体３には、オペレータが搭乗して機械を操作するための運転室４が設置されており、また土砂の掘削等の作業を行う作業手段５が設けられている。作業手段５は運転室４の右手において、ほぼ並ぶような位置に設けられている。さらに、上部旋回体３には、運転室４及び作業手段５の後方位置に建屋６等が設けられており、最後端部にはカウンタウエイト７が設置されている。

　作業手段５は、ブーム１０，アーム１１及びフロントアタッチメントとしてのバケット１２から構成される土砂の掘削作業手段である。ブーム１０は、その基端部が上部旋回体３のフレーム３ａに連結ピンにより軸支されて俯仰動作可能となっている。ブーム１０の先端にはアーム１１が上下方向に回動可能に連結されており、さらにアーム１１の先端にはバケット１２が回動可能に連結されている。ブーム１０の俯仰動作はブームシリンダ１０ａを駆動することにより行われる。アーム１１はアームシリンダ１１ａにより、さらにバケット１２はバケットシリンダ１２ａにより駆動される。

　前述した構成を有する油圧ショベルにおいて、この油圧ショベルの操作者であるオペレータは運転室４内で、前方を向いた状態で操作を行うものであって、上部旋回体３の前方には十分広い視野が確保されている。また、運転室４の左側における斜め前方の視野も確保されている。ただし、左側であっても、斜め後方については、オペレータは振り返るようにしなければ直接視認をすることができない。また、運転室４の右側においては、作業手段５が設置されており、視野のかなりの部分がブーム１０により妨げられることになり、実質的に肉眼による確認を行うことができない。さらに、上部旋回体３の後方については、建屋６及びカウンタウエイト７が位置しており、オペレータは運転室４の内部で振り返るようにしなければ視野が得られず、しかも建屋６及びカウンタウエイト７の上面は高い位置となっており、従ってオペレータは運転室４内で振り返る姿勢を取ったとしても、視野が得られるのは遠い位置であり、上部旋回体３に近い位置を視認することはできない。

　以上のことから、上部旋回体３の後方及び左右の側方の監視を可能にするために、カメラ１３Ｂ，１３Ｒ，１３Ｌをそれぞれ設置して補助的に視野を確保するようにしている。即ち、カウンタウエイト７の上面において、その左右のほぼ中間位置に後方カメラ１３Ｂが設置されている。また、建屋６の左方向の上面には左側カメラ１３Ｌが、さらに上部旋回体３の右側の位置には、建屋６またはタンクの上面には右側カメラ１３Ｒが設けられている。ここで、後方カメラ１３Ｂは上部旋回体３の後方の広い範囲の画像を取得するようになっており、この後方カメラ１３Ｂと、左右の両側カメラ１３Ｒ，１３Ｌとによって、上部旋回体３の運転室４内で、オペレータが無理のない姿勢で得られる前方視野を除くほぼ全周にわたって視野が得られるようにしている。

　このために、前述した各カメラ１３Ｂ，１３Ｒ，１３Ｌのレンズの視野角と、それらの配設位置とによって、少なくとも各レンズの水平視野角はその一部がオーバーラップするように設定する。これによって、上部旋回体３の周囲において、ブラインドとなる箇所がなくなるようにしている。上部旋回体３の前方については、オペレータの肉眼による視野が得られているが、図１に示したように、上部旋回体３のフレームには前方カメラ１３Ｆが設けられており、この前方カメラ１３Ｆによって、上部旋回体３の前方の視野が得られるようにもなっている。

　運転室４内には、図３に示したように、モニタ２０が設置されており、前述した各カメラ１３Ｒ～１３Ｆから取得した画像がこのモニタ２０に動画状態にして表示されるようになっている。ここで、前方カメラ１３Ｆではカメラ画像をそのまま表示されるが、後方カメラ１３Ｂと、左右の両側カメラ１３Ｒ，１３Ｌで取得したカメラ画像はそのまま表示されるのではなく、上方視点となるように視点変換される。

　即ち、図１に示したように、後方カメラ１３Ｂは上部旋回体３の後方に対して角度θをもった斜め下方に対物レンズの光軸を向けている。このときに、油圧ショベルの下部走行体１の接地面をＬとしたときに、この接地面Ｌに対して角度θを持ったカメラ画像から、同図に示したように、仮想視点ＶＦから接地面Ｌに対して光軸が垂直になるように座標変換した画像を作成する。これによって、角度θをもった斜め上方からのカメラ画像を俯瞰画像に変換することができる。この俯瞰画像はモニタ２０に表示可能となっている。また、左右の両側カメラ１３Ｒ，１３Ｌも後方カメラ１３Ｂと同様、接地面Ｌに対する光軸の傾斜角は角度θとする。ただし、運転室４内のオペレータからは見にくい部位に対して補助的視野を取得するためのものであって、本実施の形態では、前方カメラ１３Ｆの光軸は斜め上方に向けられている。

　以上のことから、カメラ１３Ｂ，１３Ｒ，１３Ｌは、周囲監視のための画像を取得するためのカメラであり、前方カメラ１３Ｆは、機械を操作するオペレータにとって補助視野を取得するためのカメラである。そして、これらカメラ１３Ｂ，１３Ｒ，１３Ｌからの画像を座標変換して得られる俯瞰画像からなる周囲監視用の画像と、補助視野として機能する前方カメラ１３Ｆからのカメラ画像がモニタ２０に表示される。

　図３に示したモニタ２０は、画像が表示される画像表示部２０ａと操作ボタン等を設けた操作パネル部２０ｂとから構成されている。画像表示部２０ａには、その中央の位置に油圧ショベルの平面図がキャラクタ表示されており、この表示キャラクタ２１の周囲にカメラ１３Ｂ，１３Ｒ，１３Ｌで取得した画像からそれぞれ個別俯瞰画像として画像化の処理を行った後方俯瞰画像２２Ｂと、左右の側方俯瞰画像２２Ｌ，２２Ｒとがそれぞれ対応する位置に表示されて、合成俯瞰画像となっている。これによって、表示キャラクタ２１を中心としたパノラマ画像が表示されることになる。また、表示キャラクタ２１の前方位置には、カメラ１３Ｆで取得した前方視野の画像が表示されるようになっている。この前方画像は俯瞰画像化処理が行われていない前方カメラ画像２２Ｆである。

　図４に画像処理装置３０の回路構成を示す。図中において、カメラ１３Ｂ，１３Ｒ，１３Ｌで撮影したカメラ画像、またカメラ１３Ｆで撮影したカメラ画像は、画像補正部３１に取り込まれる。この画像補正部３１では、取り込まれたカメラ画像を、カメラ光学系パラメータ等に基づいて、収差補正や、コントラスト補正、色調補正等の画像補正を行うことによって、取得した画像の画質を向上させる。

　画像補正部３１の出力側には、画像変換部３２と、障害物検出部３３とが並列に接続して設けられており、画像変換部３２では、各々のカメラ画像から上方視点となるように視点変換がなされる。その結果、後方及び左右の側方における個別俯瞰画像２２Ｂ，２２Ｌ，２２Ｒが生成される。そして、これらの個別俯瞰画像２２Ｂ，２２Ｌ，２２Ｒはカメラ画像である前方カメラ画像２２Ｆと共に画像合成部３３によってモニタ２０の画像表示部２０ａのそれぞれ所定の領域に貼り付けるように処置される。ここで、俯瞰画像２２Ｂと左右の側方俯瞰画像２２Ｌ，２２Ｒとの境界部は部分的にオーバーラップさせるようにして画像が取得されるようになっている。そして、画像合成部３４では、このオーバーラップした部位はブレンディング結合させることにより合成されて、合成俯瞰画像に変換される。これによって、合成俯瞰画像は、表示キャラクタ２１を中心として周囲囲繞するように表示され、全体が切れ目のないパノラマ画像となる。

　前方カメラ画像２２Ｆはカメラ画像がそのまま表示される。俯瞰画像２２Ｂ，２２Ｌ，２２Ｒでは、信号処理され、実体像ではないために、画像に物体が表示されていることが認識可能できるが、変形した物体像となり、その実際の姿を正確に把握することができない場合がある。画像補正部３１には、画像変換部３２と並列に障害物検出部３３が接続されている。そこで、画像補正部３１から出力される各カメラ１３Ｂ，１３Ｒ，１３Ｌからのカメラ画像に基づいて障害物（人，車両，構築物等）の有無を検出し、障害物が存在する場合には、この障害物が何であるか、その形状や大きさ等の情報を取得するようにしている。この処理を行うのが障害物検出部３３である。

　画像処理装置３０の出力側には表示画像生成部３５が設けられている。この表示画像生成部３５にはキャラクタ発生部３６が接続されており、このキャラクタ発生部３６から表示キャラクタ２１が出力される。この場合の表示キャラクタ２１は作業機械としての油圧ショベルであり、平面図としてグラフィック化したものが表示される。また、画像合成部３４で処理した合成俯瞰画像からなるパノラマ画像が表示キャラクタ２１に合成される。ここで、表示キャラクタ２１とパノラマ画像とは同一の縮尺寸法とする。一方、前方カメラ画像２２Ｆは表示キャラクタ２１の前方位置に表示されることになる。そして、この合成画像には、さらに障害物検出部３３により検出された障害物の画像、つまり障害物画像Ｓが合成表示される。ここで、障害物画像Ｓは表示キャラクタ２１と実質的に同じ縮尺寸法となし、またその位置は合成俯瞰画像から判定され、この判定位置に障害物画像Ｓが表示される。

　以上の画像データは画像処理装置３０からモニタ２０に伝送されて、このモニタ２０を構成する画像表示部２０ａには、作業機械が稼働している場所において、この作業機械の周囲監視用のパノラマ画像として表示される。従って、モニタ２０を目視すれば、周囲に要回避対象となる作業者が立ち入っている場合や、構築物等が存在している場合には、オペレータはその位置や大きさと共に的確に把握することができ、安全確保のために必要な操作を行うことができる。

　作業機械は、その上部旋回体３は旋回中心を有し、この旋回中心を中心とした旋回半径を有するものであり、一般的には、３６０度にわたって旋回できるようになっている。そこで、モニタ２０の画像表示部２０ａには、監視用パノラマ画像に合成して旋回半径を基準とした円を描くことにようになし、例えばその内部を上部旋回体３の旋回時において、衝突を回避すべき対象である要回避対象と接触するおそれのある領域を危険ゾーンＺ１として設定し、また安全確保のために必要な範囲として、この円の外側に所定半径の円を描くようになし、これら２つの円の間の領域を注意ゾーンＺ２として設定する。この注意ゾーンＺ２の外側については、格別監視の必要がないものであり、モニタ２０には注意ゾーンＺ２までは完全に画像の範囲となるように、カメラ１３Ｒ～１３Ｌのレンズの視野角及び光軸の接地面Ｌに対する傾斜角θが決定される。これに対して、オペレータの前方は肉眼で確認できるものであり、前方カメラ１３Ｆは補助的な視野を確保するために設けられているために、他のカメラとは別個に視野を向けるようにする。本実施の形態では、前方カメラ１３Ｆは、作業手段５を構成するバケット１２が高所にあるときにも、このバケット１２の状態を確認できるようにするために、斜め上方を視野とするように設定されている。

　障害物画像Ｓが監視用パノラマ画像に合成されてモニタ２０に表示されており、オペレータは運転室４内でモニタ２０を注視することによって、この障害物画像Ｓが注意ゾーンＺ２に入り込んでいるのを確認したときには、要回避対象に配慮した慎重な操作を行うことによって、安全で、しかも円滑な作業が可能となる。また、モニタ２０上で障害物画像Ｓが危険ゾーンＺ１の範囲内に位置していることが検出されると、作業機械の作動を停止させるなり、要回避対象が可動なものである場合には、警告を発してその位置から移動させたりする等の衝突回避に有効な対応策を取ることができる。

　作業機械の前方はオペレータの肉眼による視野が確保され、また側方から後方にかけての視野はモニタ２０により得られるようになっており、しかもモニタ２０から要回避対象との間の距離をほぼ正確に認識できるので、作業機械を稼働させている間であっても、オペレータが直接視認できない領域を含めて作業領域のほぼ全体を監視することができ、安全確認はもとより、作業手段５を作動させて土砂の掘削等の作業を行う際に、バケット１２が届く範囲を認識するため等にも便利であり、作業手段５を用いた作業の作業性も向上する。

　ところで、前述した個別俯瞰画像２２Ｂ，２２Ｌ，２２Ｒを合成した合成俯瞰画像からなる監視用パノラマ画像は、カメラ画像から座標変換して合成した画像であり、必ずしも正確に周囲の状況の実体を表しているものではない。モニタ２０には障害物画像Ｓが表示されているものの、この障害物画像Ｓは物体像ではなく、信号処理を行って得た図形である。従って、要回避対象の実像を知ることは、オペレータにとって、安全確認上また作業の効率性等の点で有利である。

　個別俯瞰画像２２Ｂ，２２Ｌ，２２Ｒはカメラ１３Ｂ，１３Ｒ，１３Ｌによるカメラ画像に基づいて生成されたものであり、カメラ画像により要回避対象の実体像が得られている。そこで、カメラ１３Ｂ，１３Ｒ，１３Ｌのいずれかのカメラ画像をモニタ２０に表示されている監視用パノラマ画像に重畳させて表示できるように構成している。

　このために、モニタ２０には、画像表示部２０ａの周囲、つまり額縁となる部位に操作パネル部２０ｂが設けられている。この操作パネル部２０ｂには、選択スイッチＳＷ１～ＳＷ５が設けられている。スイッチＳＷ１は画像表示部２０ａにおける前方カメラ１３Ｆからの前方カメラ画像２２Ｆを拡大表示するためのものである。スイッチＳＷ２は、図５に示したように、右側方俯瞰画像２２Ｒが表示されている部位及びその近傍の部位に重畳させて右側カメラ１３Ｌの右側カメラ画像２３Ｒを拡大表示するためのものであり、スイッチＳＷ３は、図６に示したように、後方俯瞰画像２２Ｂが拡大表示されている部位及びその近傍の部位に重畳させて後方カメラ１３Ｂの後方カメラ画像２３Ｂを拡大表示するため、スイッチＳＷ４は図７に示したように、左方俯瞰画像２２Ｌが表示されている部位及びその近傍の位置に重畳させて左方カメラ１３Ｒの左側カメラ画像２３Ｌを表示するためのものである。さらに、スイッチＳＷ１～ＳＷ４の中央に位置するスイッチＳＷ５はいずれかのカメラ画像表示態様から図３の監視用パノラマ画像が表示される状態に復帰させるための復帰スイッチである。

　従って、例えば作業機械を後方に向けて走行するために、運転室４内に設けた走行レバー（図示せず）を操作するに当って、まず監視用パノラマ画像をモニタ２０に表示させた状態で後方の安全確認を行う。後方に障害物画像Ｓが表示されている場合には、その回避措置を取ることになる。次いで、後方の状況、即ち平坦地であるか、地面に凹凸があるか、上り下りの坂道となっているか、左右に傾斜があるか等の確認をする必要があれば、モニタ２０における操作パネル部２０ｂのスイッチＳＷ３を操作する。

　これによって、図６に示したように、後方のカメラ画像が大きく表示されるので、オペレータは車両の後方における安全確認と状況把握とを行うことができる。そして、後方の状況確認を行った後には、スイッチＳＷ５を操作することによって、元の監視用パノラマ画像がモニタ２０における画像表示部２０ａに表示されることになる。また、作業機械の走行中に、作業者や他の車両等が進路を横切るようなことがあれば、オペレータはそれを認識して、走行を停止したり、警報を発生させたりすることにより対処できる。

　ここで、前述した実施の形態では、画像の切り換えはスイッチ操作により行う構成としたが、モニタ２０をタッチパネル式のものとすることができる。これによって、監視用パノラマ画像における表示キャラクタ２１の周囲のいずれかに作業者がタッチすることによって、当該の部位のカメラ画像が表示されることになる。ここで、作業機械を操作するオペレータは、通常、手袋を着用しているので、モニタとしては、手袋を着用したままの手でも操作が可能なものを選択して用いる必要がある。

　また、図８に示したように、モニタ１２０の画像表示部１２０ａの周囲にほぼ均等な幅の額縁１２０ｂが形成されているものもある。この場合には、この額縁１２０ｂの各辺の中間位置にスイッチＳＷ１～ＳＷ４を配置することもできる。そして、いずれかのスイッチを操作することによりカメラ画像が表示される。スイッチを一度押動操作すると、各部位のカメラ画像が表示され、２度目に押動操作すると、元の監視用パノラマ画像が表示される状態に復元するように設定することもできる。なお、画像表示部１２０ａ内の表示については、図３に示したものと同じであるので、それと同一の符号を付して、その説明は省略する。

　さらに、図９及び図１０に示したように、モニタ２２０の操作パネル部２２０ｂに手指により押動できるレバーＬＶを設ける構成となし、このレバーＬＶを図９のように直立させた状態では、監視用パノラマ画像が表示されるように構成することもできる。なお、画像表示部２２０ａ内の表示については、図３に示したものと同じであるので、それと同一の符号を付して、その説明は省略する。

　そして、レバーＬＶを図１０（ａ）に示したように、上方に傾動させると、モニタ２２０の画像表示部２２０ａには、前方カメラ画像が拡大して表示されるようになり、またレバーＬＶを図１０（ｂ）に示したように右方に傾動すると、図５と同様の右側カメラ画像が大きく表示され、図１０（ｃ）で示したよう下側に傾動すると、図６と同様の後方カメラ画像が大きく表示され、図１０（ｄ）に示したように左方に傾動すると、図７と同様の左側カメラ画像が大きく表示されることになる。これらの画像表示部２２０ａの表示内容の切り換え態様は、図３の切り換え表示態様である図５～図７等と同じである。

　監視用パノラマ画像が表示されている状態から、カメラ１３Ｂ，１３Ｒ，１３Ｌのいずれかのカメラ画像を表示するに当って、カメラ画像はできるだけ大きく表示することが望ましい。そこで、監視用パノラマ画像に代えて、モニタの画面全体にカメラ画像を表示することもできる。この場合、どの方向のカメラ画像を表示しているのかをオペレータに容易に認識させるためには、図８に示したモニタ１２０を用いるようにすれば良い。ここで、額縁１２０ｂの各辺に設けたスイッチＳＷ１～ＳＷ４を操作して、後方若しくは左右いずれかの側方のカメラ画像の表示を選択したときに、操作したスイッチの部分を発光させるようにすれば、現に表示されているカメラ画像はどの方向のものであるかをオペレータに認識させることができるようになる。

　また、監視用パノラマ画像にカメラ画像を重ね合わせて表示するに当って、重畳表示の部位は、カメラ画像のみが表示されるようにするが、カメラ画像を透視して監視用パノラマ画像が表示されるようにしても良い。

　さらに、前方カメラ１３Ｆは、作業機械の前方で斜め上方に光軸を向けるようにして設置する構成としたものを示したが、これ以外にも、例えばバケット１２による掘削状態を視野に入れるようにする等、補助視野が必要な適宜の位置に設置すれば良い。また、前方カメラは１箇所に限定されるものではなく、複数箇所、例えば前方に向けて、しかも斜め上方に視野を持ち、ブーム１０を上げたときに、バケット１２を視野に入れる前方カメラと、アーム１１とを撮影する２台の前方カメラを設けるようにすることもできる。この場合には、図１１に示したように、モニタ３２０の画像表示部３２０ａには、前方カメラ画像３２２Ｆ１と、３２２Ｆ２というように並べて配置するのが望ましい。この場合、前方カメラは２台設けられるので、前方カメラ画像３２２Ｆ１，３２２Ｆ２のいずれの画像を拡大表示できるようにするためには、操作パネル部３２０ｂにはスイッチＳＷ１ａ，ＳＷ１bと、スイッチＳＷ２～ＳＷ５というように６個設けるようにしている。

　前述した各実施の形態では、画像の切り換えを手動操作により行うものとしたが、操作レバーの操作に連動して画像の切り換えが行われるようにしても良い。このためには、図１２に示したように、図４に示した画像処理装置３０に車体コントローラ４０を接続して設け、この車体コントローラ４０から各種のセンサ等から得られる情報のうち、自動切換に必要な情報を画像処理装置３０に取り込むようになし、この画像処置装置３０における表示画像生成部３５等の動作制御を行うようにする。

　車体コントローラ４０は周知のように、操作レバーからの操作信号が入力されるようになっている。例えば、図１２に示したように、運転室４内には、オペレータが操作する複数の操作レバーが設けられている。図中においては、これらの操作レバーを総称して符号４１とする。操作レバー４１のいずれかが操作されると、油圧シリンダなり油圧モータからなり、符号４２で示したアクチュエータのいずれかが作動することになる。そして、ブーム１０，アーム１１及びバケット１２の角度、また旋回装置２による旋回角は符号４３で示した各角度検出器で検出され、さらに走行速度及び旋回速度は符号４４で示した速度検出器で検出されるように構成する。なお、これらの構成及び作用については、従来から周知であるので、詳細な図示及び説明は省略する。

　自動切換が行われるのは、どのような状況下で、どの部位の俯瞰画像をカメラ画像に変換するかについては、モニタ２０の画面上で設定できるように構成している。この設定画面は、例えば図１３に示したものとすることができる。即ち、モニタ２０の画像表示部２０ａにメニュー画面を読み出して、どの操作レバーを操作したときに画面が自動的に切り換わるかという条件と、監視用パノラマ画像のうちのどの部位の画像が切り換わるのか、つまり切り換わる画面とが表示されるようになっている。

　今、図１３に示したように設定されていたとする。この状態で、右旋回レバーを操作したときには、監視用パノラマ画像から右側カメラ１３Ｒのカメラ画像が表示されるようになり、左旋回レバーを操作したときには、監視用パノラマ画像から左側カメラ１３Ｌのカメラ画像が表示されるように切り換わるようにしている。さらに、走行レバーが操作されたときには、たとえ自動的であれ、手動操作であれ、どのような画像が表示されていたとしても、監視用パノラマ画像が表示されるように切り換わることになる。また、カメラ画像が表示された後において、操作レバーを中立位置に復帰させると、カメラ画像から元の監視用パノラマ画像に切り換わることになる。

１　下部走行体　　　　　　　　　　　３　上部旋回体
４　運転室　　　　　　　　　　　　　５　作業手段
６　建屋　　　　　　　　　　　　　　７　カウンタウエイト
１０　ブーム　　　　　　　　　　　　１１　アーム
１２　バケット　　　　　　　　　　　１３Ｂ　後方カメラ
１３Ｌ　左方カメラ　　　　　　　　　１３Ｒ　右方カメラ
１３Ｆ　前方カメラ　　　　　　　　　２０，１２０，２２０，３２０　モニタ
２０ａ，１２０ａ，２２０ａ，３２０ａ　画像表示部
２０ｂ，２２０ｂ，３２０ｂ　操作パネル部
２１　表示キャラクタ　　　　　　　　２２Ｂ　後方俯瞰画像
２２Ｌ，２２Ｒ　側方俯瞰画像　　　　２２Ｆ　前方カメラ画像
２３Ｂ，２３Ｌ，２３Ｒ　カメラ画像
３０　画像処理装置　　　　　　　　　３１　画像補正部
３２　画像変換部　　　　　　　　　　３３　障害物検出部
３４　画像合成部　　　　　　　　　　３５　表示画像生成部
３６　キャラクタ発生部　　　　　　　４０　車体コントローラ

Claims

　作業機械に複数のカメラを設置して、これら各カメラで取得したカメラ画像に基づく信号処理を行って、上方視点となるように視点変換し、俯瞰画像としてモニタに表示する作業機械の周囲監視装置であって、
　前記各カメラにより撮影した各個別俯瞰画像を合成した合成俯瞰画像を前記モニタに表示する画像合成手段と、
　前記合成俯瞰画像に対して、この合成俯瞰画像を構成する前記各個別俯瞰画像の少なくとも１つの画像を視点変換する前のカメラ画像に変換して表示するための切換手段と、
　を備えたことを特徴とする作業機械の周囲監視装置。
　前記複数のカメラは、前記作業機械の後方視野を撮影する後方カメラと、左右両側の側方視野を撮影する２個の側方カメラとから構成し、前記モニタには、作業機械の平面図をグラフィック化した表示キャラクタとして表示し、前記画像合成手段により合成される合成俯瞰画像は、前記表示キャラクタを中心として、後方位置に前記後方カメラからのカメラ画像に基づく後方俯瞰画像と、左右の両側位置にそれぞれ左右の側方カメラからのカメラ画像に基づく左右の側方俯瞰画像とから構成される監視用パノラマ画像が表示されることを特徴とする請求項１記載の作業機械の周囲監視装置。
　前記作業機械の前方を視野範囲とする前方カメラをさらに設け、この前方カメラは前記画像合成手段により合成されず、カメラ画像として前記モニタに表示する構成としたことを特徴とする請求項２記載の作業機械の周囲監視装置。
　前記切換手段により変換を指定されたいずれかの個別俯瞰画像からカメラ画像への変換時には、当該個別俯瞰画像に少なくとも部分的に重畳させて表示する構成としたことを特徴とする請求項１記載の作業機械の周囲監視装置。
　前記モニタには画像表示部と操作パネル部とを備える構成となし、前記切換手段は前記操作パネル部に設けたスイッチで構成したことを特徴とする請求項１乃至請求項４のいずれかに記載の作業機械の周囲監視装置。
　前記モニタをタッチパネル式モニタとなし、前記切換手段は、前記モニタの表示画面の表示部に設けられるものであることを特徴とする請求項１乃至請求項４のいずれかに記載の作業機械の周囲監視装置。
　前記切換手段は、前記作業機械の操作手段に連動して切り換わる構成としたことを特徴とする請求項１乃至請求項４のいずれかに記載の作業機械の周囲監視装置。