JP6106754B2 - 作業機械の周囲監視装置 - Google Patents

Description

本発明は、油圧ショベル等からなる作業機械において、この作業機械による作業の安全確保等のために設けられる作業機械の周囲監視装置に関するものである。

作業機械の一例として、例えば油圧ショベルは下部側に走行体を有し、この走行体には、旋回装置を介して上部側の旋回体が設けられる。旋回体には土砂の掘削等の作業を行う作業手段が設けられており、作業手段は旋回体に俯仰動作可能に連結したブームと、このブームの先端に上下方向に回動可能に連結したアームとを備え、土砂の掘削等の作業を行うバケットはアタッチメントとして、アームの先端にリンク機構を介して連結されている。これらにより多関節を有するフロント作業機を構成している。

自走式の作業機械、例えば油圧ショベルにおいて、作業の安全を確保し、また操作性の向上を図るために、旋回体の周囲の状況を監視する周囲監視装置を設けたものは従来から知られている。この周囲監視装置は、旋回体にカメラを装着すると共に、運転室において、オペレータが着座する運転席の前方位置にモニタを設置することにより構成される。カメラで撮影した画像は動画状態の映像にしてモニタ画面に表示される。

ところで、カメラは旋回体に固定的に保持されており、その視野範囲は限られている。作業対象となる前方位置の視野が必要なのは当然のことながら、走行時や作業時の安全性の確保等のためには、旋回体の後方及び左右の両側方における視野も必要である、作業機械の周囲において、広い範囲の視野を得るために、旋回体に複数のカメラを装着する構成としたものは従来から用いられている。これによって、旋回体のほぼ全周にわたって死角をなくし、作業の安全確保及び作業機械の操作性の向上が図られる。

複数のカメラで取得した作業機械の周囲のカメラ画像を上方視点となるように視点変換して、モニタ画面には平面的に投影した平面視監視画像として表示するように構成したものは、特許文献１等に開示されている。この周囲監視画像を取得するために、作業機械としての油圧ショベルの周囲に複数のカメラを設置して、これら各カメラからの画像をモニタ画面に合成して表示する構成としている。カメラは油圧ショベルの後部位置と左右の両側部位置との３箇所に設置されており、これら各カメラの撮像レンズの光軸は斜め下方に向けられている。監視画像とするために、カメラにより撮影され、画像処理を行う前のカメラ画像であるスルー画像について視点変換処理される。この変換される視点は上方視点であって、これによって上方から投影した３枚の上方視点画像が得られる。

上方視点画像はモニタ画面に表示されるが、このときにモニタ画面には油圧ショベルをシンボル化したイラスト画像（具体的には油圧ショベルの平面イラスト画像）を表示し、各々のカメラで取得した上方視点画像はこのイラスト画像の周囲に配置する構成としている。より具体的には、イラスト画像をモニタ画面の中心位置に表示し、このイラスト画像の後方領域及び左右の側方領域に各上方視点画像を並べて、周囲監視用の俯瞰画像が表示されることになる。

特開２００８−１１４８１４号公報

前述した俯瞰画像をモニタ画面に表示することによって、油圧ショベルを操作するオペレータは作業機械における周囲の状況を的確に把握でき、土砂を掘削して、掘削物を運搬手段としてのダンプトラックに積載する作業や、油圧ショベルの走行といった動作を行う際に、モニタ画面を視認することによって、周囲の監視を行い、作業の安全が確保される。従って、モニタ画面に表示される俯瞰画像は、作業の安全確保のために、極めて有益なものとなる。少ない数のカメラで広い監視領域を確保するために、カメラは広角レンズを装着して、各カメラは広い視野範囲を持たせる。ただし、広角レンズを用いたカメラで撮影したスルー画像は、カメラの位置に近い場所は大きく表示され、カメラの前方に向けて、また左右側方に向けて連続的に小さくなるように、概略球面状に歪んだ画像となってしまう。このために、そのまま視点変換が行われると、得られる画像は全体的に球形乃至球形に近い形状のものとなる。

以上のことから、俯瞰画像として表示すると、表示画像は距離方向及び角度方向において歪みが生じることになり、正確な像が表示されない。周囲監視は、作業機械の動作時に衝突を回避しなければならない固定及び可動の障害物体（車両や作業者等を含む）の存在を確認するためのものであるから、多少像が歪んでも、周囲監視する上で格別支障を来すものではない。

作業機械として、例えば油圧ショベルは、鉱山等の作業現場における土砂や鉱石を掘削してバケットに掘削物を収容して、旋回体を旋回させ、油圧ショベルの近傍位置に配置されているダンプトラックのベッセルに掘削物を積載する作業を繰り返し行うことになる。また、掘削箇所を変えるために、油圧ショベルを自走させて、次に掘削すべき位置に移行させることもある。

以上の作業を行うに当たっては、バケットを掘削すべき箇所に位置させるように動作制御を行い、またバケットをベッセルの上部位置に正確に位置決めすることは、作業の正確さ及び作業効率の点から極めて重要なことである。モニタ画面には油圧ショベルとその周囲の画像が表示されているので、このモニタ画面を安全確認のためだけでなく、作業効率の向上のためにも使用できることは望ましい。しかしながら、前述したように、モニタ画面には作業現場の画像が歪んだ状態に表示されていると、作業を行うオペレータにとって動作制御のうえで違和感が生じることから、作業の正確さを図る上では十分ではないという問題点がある。

本発明は以上の点に鑑みてなされたものであって、その目的とするところは、周囲の安全確認のために表示されるモニタ画面によって、作業効率を向上させるために正確かつ有効に利用できるようにすることにある。

前述した目的を達成するために、本発明は、走行体に旋回可能に設置した旋回体に作業手段が装着され、前記旋回体に設けた操作手段を操作することにより作業を行う作業機械に設けられ、前記作業機械の周囲を監視するための作業機械の周囲監視装置であって、前記旋回体に複数台設けられ、相隣接する２台が相互に視野範囲が一部重なり合うように配置した複数台のカメラと、前記各カメラで取得したカメラ画像を上方視点画像に変換する視点変換手段と、前記視点変換手段により生成した複数の上方視点画像から、前記作業機械の周囲を監視するための俯瞰画像を生成する表示画像生成手段と、前記表示画像生成手段によって生成された前記俯瞰画像を、前記作業機械を平面的に表示したイラスト画像の周囲の表示領域に、当該イラスト画像とともに表示する画像表示手段と、を備え、前記画像表示手段は、前記表示領域のうち、前記作業機械の前記作業手段の最大リーチ範囲内に対応する表示領域には、第一の上方視点画像である平面視画像から構成される画像を表示し、前記最大リーチ範囲より外側に対応する表示領域には、前記第一の上方視点画像とは異なる視点で作成した第二の上方視点画像から構成される画像を表示することをその特徴とするものである。
また、前記第一の上方視点画像である平面視画像は、仮想水平面上に投影され、投影線がほぼ平行である画像であり、前記第二の上方視点画像は、前記第一の上方視点画像を生成するために設定した第一の仮想視点より視点を前記作業機械により近い位置に設定して変換した画像であることを特徴とする。そして、前記第二の上方視点画像は、周囲の状況を前記平面視画像より広い範囲にわたって表示する曲面視画像（例えば、球面化画像等）であることを特徴とする。

画像表示手段は作業機械を平面的に表示したイラスト画像が表示され、このイラスト画像の周囲に各々のカメラで取得した上方視点となるようにした平面視画像を並べて表示させることにより俯瞰画像となし、この俯瞰画像により作業機械の周囲監視が行われる。ここで、作業機械の周囲監視は、作業機械の稼働時に作業機械を構成する各部が周囲の物体と接触乃至衝突したり、作動不能状態になったりするのを防止する安全確認の観点からのものである。

この俯瞰画像は作業手段の作動の確実性や円滑性を確保し、正確で効率的な作動を確保するという作業性の観点からも利用される。作業性の観点からは、作業手段の作業対象に対する位置関係を正確に把握する必要がある。作業機械として、油圧ショベルは、フロント作業機を構成するバケットにより掘削を行い、掘削物をダンプトラック等に積載する作業を円滑かつ確実に操作するために、掘削位置とバケットとの位置関係、またバケットとダンプトラックとの位置関係を正確に認識できるように表示する。

俯瞰画像は作業機械の周囲に設けた複数台のカメラから取得した画像を視点変換して表示するものである。カメラは、好ましくは作業機械の前部と、後部及び左右の両側部の４箇所に設ける。これら各カメラの配設位置はそれぞれ作業機械の前部，後部及び左右の両側部のほぼ中間位置であって、できるだけ高所とする。また、各カメラの高さ位置はできるだけ等しいか、近い高さ位置とする。ただし、作業機械には各種の部材が様々な位置に配置されている関係から、全てを同じ高さ位置できない場合もあるが、できるだけ高さを揃えるのが望ましい。そして、各カメラの視野の方向は斜め下方向とする。

作業機械の周囲に配置した各カメラによりスルー画像を取得する。これらスルー画像は斜め下方に光軸を向けた画像である。視点変換手段は、スルー画像の視点を上方視点となるように視点変換することによって、仮想水平面上に投影され、投影線がほぼ平行となった平面視画像とする。平面視画像は画像の全体ではなく、作業手段による作業範囲に限定する。つまり、作業手段の最小リーチ位置から最大リーチ位置までの範囲とする。最大リーチより遠位置は、平面視画像ではなく、曲面視画像としても良い。曲面視画像とすることによって、有限のモニタ画面に広範な監視画像が得られる。ただし、この曲面視画像であっても、画像により障害物等の存在が認識できる程度のものとする。

このように、作業手段のリーチが及ぶ範囲を作業・監視範囲とし、その外側の監視範囲とで視点を異ならせることによって、作業効率が向上すると共に、監視範囲を広くすることができる。ここで、外側の監視範囲は作業手段による作業範囲ではないので、画像に多少の歪みがあっても、物体等の存在の有無が確認できれば良いものである。むしろ、多くの範囲を表示するのが望ましい。そこで、最大リーチ範囲の外側の画像は、作業・監視範囲とは異なる第２の視点位置を持たせるように設定する。つまり、平面視画像を生成するために設定した仮想視点を主仮想視点位置としたときに、最大リーチ範囲の外側の画像については、主視点位置より近位置側に変位させ、斜め方向から見た画像とする。

俯瞰画像は作業機械のイラスト画像の周辺に並べるようにして表示される。ここで、モニタ画面においては、イラスト画像はその中央位置に配置し、各平面視画像はその周囲にほぼ均等に割り付けることもできるが、場合によっては、イラスト画像をモニタ画面の中央より前後若しくは左右に偏った位置に配置することもできる。前部側の平面視画像の表示エリアを大きくし、後方の画像の表示範囲を狭くすることができ、また逆に後部側の平面視画像の表示エリアを広くすることもできる。フロント作業機による作業範囲をできるだけ広く表示すると、掘削作業の効率性がより高くなる。一方、後部側の平面視画像を広く表示すると、後方監視の精度が高くなる。さらに、作業の性質によっては、イラスト画像を左右いずれかに偏寄させて表示することもできる。

画像表示手段の表示により、作業機械の周囲の安全確認を可能とするだけでなく、作業効率の向上が図られる。

作業機械の一例としての油圧ショベルの外観斜視図である。 図１の側面図である。 油圧ショベルに設けられた４台のカメラによる撮影範囲を示す説明図である。 俯瞰画像の概念説明図である。 俯瞰画像をモニタ画面に表示するための各平面視画像の切り出しを示す説明図である。 俯瞰画像を生成して画像表示するためのシステムを示すブロック図である。 画像処理を行うに当っての画像の歪み補正について、補正前の画像と補正後の画像とを示す説明図である。 側方カメラのスルー画像から平面視画像に変換して切り出す範囲を示す説明図である。 カメラによる画像取得からモニタ画面に表示するための処理手順を示すフローチャート図である。 最大リーチ範囲とリーチ範囲外監視領域とで視点位置を変えるようにした時の画像の説明図である。 図４とは異なる俯瞰画像の概念説明図である。

以下、図面に基づいて本発明の実施の形態について説明する。まず、図１及び図２に作業機械の一例としての油圧ショベル１の構成を示す。図中において、２はクローラ式走行手段を有する走行体であって、走行体２には旋回体３が旋回可能に連結されている。走行手段２は履帯２ａを有し、履帯２ａは駆動輪２ｂにより駆動されるものである。

旋回体３には運転室４が設けられており、オペレータは運転室４に搭乗して機械を操作することになる。土砂の掘削等の作業を行う作業手段として、フロント作業機５が設けられている。フロント作業機５は運転室４の右手において、ほぼ並ぶような位置に設けられる。さらに、旋回体３には、運転室４及びフロント作業機５の後方位置に建屋６等が設けられており、最後端部にはカウンタウエイト７が設置されている。

フロント作業機５は、図示したものにあっては、ブーム１０，アーム１１及びアタッチメントとしてのバケット１２から構成される掘削作業手段である。ブーム１０は、その基端部が旋回体３に連結ピンにより軸支されて俯仰動作可能となっている。ブーム１０の先端にはアーム１１が上下方向に回動可能に連結されており、アーム１１の先端にはバケット１２が回動可能に連結されている。ブーム１０の俯仰動作はブームシリンダ１０ａを駆動することにより行われる。アーム１１はアームシリンダ１１ａにより、さらにバケット１２はバケットシリンダ１２ａにより駆動される。

油圧ショベル１には、その旋回体２の周囲を監視するために、動画撮影が可能なビデオカメラが装着されている。図１において、１３Ｆは前方カメラ、１３Ｂは後方カメラ，１３Ｌ，１３Ｒは左右の側方カメラである。これらのカメラ１３Ｆ，１３Ｂ，１３Ｌ，１３Ｒにより油圧ショベル１の周囲が監視される。各カメラ１３Ｆ，１３Ｂ，１３Ｌ，１３Ｒによる撮影範囲を図３に示す。これらカメラの映像は、左右の側方カメラ１３Ｌ及び１３Ｒの映像Ｅ１，Ｅ２と前方カメラ１３Ｆの映像Ｅ３が、また左右の側方カメラ１３Ｌ及び１３Ｒの映像Ｅ１，Ｅ２と後方カメラ１３Ｂの映像Ｅ４がそれぞれ部分的に重なり合っている。

ここで、運転室４の内部には、後述するように、モニタ装置２０が設置されており、前述した各カメラ１３Ｂ，１３Ｌ，１３Ｒから取得した画像はこのモニタ装置２０のモニタ画面２０ａに動画状態にして表示されることになる。ただし、これら各カメラ１３Ｂ，１３Ｒ，１３Ｌで取得したカメラ画像はスルー画像としてそのまま表示されるのではなく、上方視点となるように視点変換された仮想視点画像として表示される。

例えば、後方カメラ１３Ｂを例に取ると、図２に示したように、旋回体３の後方に対して角度θをもった斜め下方に対物レンズの光軸を向けている。このときに、油圧ショベルの走行体２の接地面をＬとしたときに、この接地面Ｌに対して角度θを持ったカメラ画像が得られている。この接地面Ｌを仮想水平面とした仮想視点ＶＰの光軸が垂直になるように投影した概略水平面上に投影され、投影線ＶＡが図２に矢印で示したように、ほぼ平行にシフトした平面視画像となる。従って、各カメラ１３Ｆ，１３Ｂ，１３Ｌ，１３Ｒにより取得したスルー画像を仮想視点ＶＦとなるように視点変換される。

これらカメラ１３Ｆ，１３Ｂ，１３Ｌ，１３Ｒで撮影することにより生成した平面視画像ＦＶ，ＢＶ，ＬＶ及びＶＲは、図４にあるように、点線に沿って必要分が切り出されて、切り出し画像ｅ１，ｅ２，ｅ３，ｅ４となし、これらの切り出し画像がモニタ装置２０を構成するモニタ画面２０ａに表示される。ここで、図５にあるように、モニタ画面２１の中央に作業の対象となる作業機械としての油圧ショベル１が平面状態にしてシンボル化したイラスト画像Ｇが表示されており、その周囲の平面視画像ＦＶ，ＢＶ，ＬＶ及びＲＶは、イラスト画像Ｇの周囲に並べて配置されて、油圧ショベル１を中心とした周囲の俯瞰画像が表示される。ここで、モニタ画面２０ａに実際に表示されるのは、平面視画像ＦＶ，ＢＶ，ＬＶ，ＲＶのうちの切り出し画像ｅ１，ｅ２，ｅ３，ｅ４である。また、図５には作業員Ｐが存在していることが示されている。ここで、俯瞰画像は４箇所で撮影したスルー画像から視点変換したものであることから、油圧ショベル１の周辺に作業者が立った状態に位置していても、地面上に押し潰されたように見えることになる。

モニタ画面２０ａに表示されているのは、高所から見下ろすようにして表示されている油圧ショベル１と、その周囲における平面視画像であるから、このモニタ画面２０ａを見ることによって、油圧ショベル１を取り巻く周囲状況を的確に把握できる。ここで、図５の作業員Ｐといった高さ寸法を有する像は押し潰された形となるものの、殆ど凹凸が存在しない平面状となった掘削現場の地面についてはほぼ正確な平面画像となる。

油圧ショベル１による代表的な作業としては、作業手段で地面を掘削して、バケット１２に掘削物を収容させて、ダンプトラック等の運搬機械に積載させる操作があり、この操作は繰り返し行われる。このために、フロント作業機５を構成する各部の作動と、旋回体３の旋回動作が行われる。また、油圧ショベル１による作業位置を変える等のために、走行体２を駆動して、この油圧ショベル１を走行させることもある。

以上の操作時には、オペレータによる操作でバケット１２の動作等が制御されるが、油圧ショベル１とその周囲を平面状態にしてモニタ画面２０ａに表示することは、掘削して、ダンプトラックに掘削物を積載するという操作を安全に、迅速かつ正確に行うのに有利である。

図６にモニタ装置２０とその制御装置を構成する監表示コントローラ２１のブロック構成を示す。表示コントローラ２１は、上方視点画像作成部２２，俯瞰画像生成部２３及びパラメータ記憶部２４を有するものであって、カメラ１３Ｆ，１３Ｂ，１３Ｌ，１３Ｒは上方視点画像作成部２２に接続されている。各カメラ１３Ｆ，１３Ｂ，１３Ｌ，１３Ｒでの撮影により取得した複数のスルー画像は、上方視点画像作成部２２により上方視点となるように視点変換された上方視点画像、つまり平面視画像ＦＶ，ＢＶ，ＬＶ，ＲＶが生成される。

この画像処理のために、表示コントローラ２１は、ＣＰＵ，ＲＡＭ，ＲＯＭ，入出力インターフェイス等の画像処理に必要な画像処理ＬＳＩを備えており、カメラ１３Ｆ，１３Ｂ，１３Ｌ，１３Ｒから入力された各スルー画像が画像メモリに取り込まれて、レンズの歪み補正等を行ったうえで、ホモグラフィ行列による平面射影変換処理や三次元空間での投影処理等といった公知の画像変換処理が行われる。

以上の処理により生成した画像信号は、例えば３０フレーム／秒のフレーム画像とした４つの画像からなる平面視画像であって、これら平面視画像からなるフレーム画像はＮＴＳＣ等のコンポジット信号としてフレームメモリに記憶される。ここで生成した画像は図４に示した４枚のフレーム画像であり、地面を仮想平面とした平面視画像である。俯瞰画像作成部２３では、これらの平面視画像は油圧ショベル１のイラスト画像Ｇを中心として、その周囲に配置されることになる。しかも、各平面視画像は相互に重なり合わないように切り出して、境界線を境とした図４の切り出し画像ｅ１，ｅ２，ｅ３，ｅ４として表示される。

カメラ１３Ｆ，１３Ｂ，１３Ｌ，１３Ｒは広角レンズを使用しているので、撮影されたときのスルー画像ｒｐを模式的に示すと、図７（ａ）に示したようになる。同図において、格子線で座標軸ｈ，ｖを示すと、球形に膨らんだ状態に歪んだ状態となる。レンズの歪み補正は、図７（ａ）の画像を補正して、同図（ｂ）に示した画像ＲＰというように、直線的な格子状の座標軸Ｈ，Ｖとなるように補正するものである。このレンズ補正処理は、例えば画像メモリに保存されている画像データにおける各画素のアドレスを変換前と変換後とで対応関係を持たせるようにした画素変換テーブルを用いる等、一般的な座標変換により行われる。

さらに、パラメータ記憶部２４は、油圧ショベル１の各部に関するデータやカメラ１３Ｆ，１３Ｂ，１３Ｌ，１３Ｒの位置や視野範囲のデータ等が記憶されており、モニタ画面２０ａにおける各平面視画像ＦＶ，ＢＶ，ＬＶ，ＲＶ及びイラスト画像Ｇの表示位置に関するデータ等についても、このパラメータ記憶部２４に設定されている。従って、俯瞰画像作成部２３により作成された平面視画像ＦＶ，ＢＶ，ＬＶ，ＲＶからなる画像データはパラメータ記憶部２３からの出力によって、モニタ画面２０ａの各所定位置に表示されることになる。そして、パラメータ記憶部２４に記憶されている各種パラメータは設定端末２５により設定及び変更することができるようになっている。

モニタ画面２０ａに表示する平面視画像ＦＶ，ＢＶ，ＬＶ，ＲＶは、図８に示したようにして生成する。同図においては、右側における平面視画像ＲＶを例にとって説明するが、４つの平面視画像ＦＶ，ＢＶ，ＬＶ，ＲＶは全て同じ手法で作成される。作業機械としての油圧ショベル１は、旋回体３が３６０度旋回可能となっている。そして、各カメラで撮影したスルー画像は、それぞれほぼ１８０度の視野角を持っている。

図８においては、モニタ画面２０ａに表示される平面視画像ＲＶは、点線で示したように、９０度の角度範囲に設定したとする。モニタ画面２０ａは、監視画面として使用されるので、フロント作業機５の最大リーチ範囲Ｍmax（同図に点線で示した円の内側）になっても、バケット１２の先端が画像に表示されなければならない。最大リーチ範囲Ｍmaxは、フロント作業機５を最も伸ばした状態でのバケット１２が届く位置であり、上部旋回体３が旋回するこから、旋回時における移動軌跡範囲はＷＡとなる。

監視画像としては、最大リーチ範囲Ｍmaxより広い範囲の画像を表示するのが望ましい。油圧ショベル１の作業時には、フロント作業機５は最大リーチ範囲Ｍmaxを越えた位置まで突出することはないが、作業を行っている現場には、作業員やダンプトラックやサービスカー等の車両からなる可動体が立ち入ることがある。これらの可動体が最大リーチ範囲Ｍmaxの外から内部に入り込むように移動する可能性がある。このために、最大リーチ範囲Ｍmaxの外側であっても、近い位置に可動物が位置していると、オペレータは予めそれを認識しておくことが必要となる。そこで、リーチ範囲外監視領域exＢＵを設定し、このリーチ範囲外監視領域exＢＵも画像に含めるようにする。

最大リーチ範囲Ｍmaxは周囲の安全監視という点から設定されるが、さらにフロント作業機５による作業の作業性を向上させるものとしても利用される。即ち、フロント作業機５による掘削作業時に、バケット１２をどの位置まで伸ばすことが必要か、掘削物をダンプトラックに積載する作業を正確に行うには、旋回体３をどの程度まで旋回させるか、この旋回角位置でバケット１２をどの位置に位置させるかをオペレータに認識させる上で、モニタ画面２０ａの表示は極めて重要な役割を発揮する。

平面射影変換処理を含めた画像処理は、前述した作業性のために必要な画像を生成するためのものである。図８の平面視画像ＲＶにおいては、少なくとも移動軌跡範囲ＷＡ内では、均等な桝目（Ｈ，Ｖ）で示したように、上方視点において、水平面上に投影された投影線がほぼ平行となるように画像処理がなされている。従って、油圧ショベル１を操作するオペレータは、バケット１２の動き制御をモニタ画面２０ａ上において違和感なく円滑に操作することができるようになる。

次に、モニタ装置２０におけるモニタ画面２０ａに油圧ショベル１の監視画面の表示のための手順を図９に基づいて説明する。モニタ装置２０は運転室４内で、運転席に着座するオペレータが操作する間に見易い位置に配置されている。油圧ショベル１が起動すると、モニタ画面２０ａに俯瞰画像が表示される。ここで、モニタ画面２０ａの画像表示は、油圧ショベル１の起動時に自動的に行われるように設定することができ、またスイッチ操作で表示が開始するようにしても良い。

監視装置の作動が開始すると、４台設けられているカメラ１３Ｆ，１３Ｂ，１３Ｌ，１３Ｒによる撮影が開始される（ステップＳ１００）。これら各カメラ１３Ｆ，１３Ｂ，１３Ｌ，１３Ｒの画像は画像処理装置を構成する表示コントローラ２１に取り込まれて、この表示コントローラ２１の上方視点画像作成部２２で平面視画像ＦＶ，ＢＶ，ＬＶ，ＲＶが生成され（ステップＳ１０２）、パラメータ記憶部２３からの出力によって（ステップ１０４）、モニタ画面２０ａに表示するのに適した範囲の切り出し画像が調整される（ステップＳ１０１０８）。次いで、俯瞰画像作成部２３で平面視画像ＦＶ，ＢＶ，ＬＶ，ＲＶの切り出し画像ｅ１，ｅ２，ｅ３，ｅ４とイラスト画像Ｇとにより俯瞰画像の作成が行われる（ステップＳ１１０）。このようにして作成された俯瞰画像はモニタ２０ａに動画状態で表示され、油圧ショベル１が旋回し、またフロント作業機５が駆動されると、その状況がモニタ画面２０ａに反映される（ステップＳ１１２）。この表示は油圧ショベル１のエンジンが停止するまで継続し、エンジンが停止すると、モニタ画面２０ａの表示も停止する（ステップＳ１１４）。なお、このモニタ画面２０ａへの画像の表示は、オペレータによるモニタ装置２０へのスイッチ操作によっても停止できるようにしても良い。

ところで、油圧ショベル１の走行体２の位置を固定して、フロント作業機５が最大リーチ状態として旋回体３を旋回させたときの移動軌跡範囲ＷＡが図８に示されている。オペレータによる作業のためには、平面視画像ＦＶ，ＢＶ，ＬＶ，ＲＶはできるだけ大きく表示するのが望ましい。ただし、モニタ画面２０ａにおける画像表示範囲は限定されたものである。そして、前述した移動軌跡範囲ＷＡは３６０度にわたって表示されていなければならないが、安全確認のためには、ある程度の範囲においてリーチ範囲外監視領域exＢＵも表示する必要がある。

以上のことから、図１０に示したように、最大リーチ範囲Ｍmaxの内部では平面投影領域とした平面視画像として表示するようにしている。これによって、フロント作業機５を操作して行う掘削及び掘削物のダンプトラックへの積載等といった作業を円滑かつ正確に行うことができる。しかも、リーチ範囲外監視領域exＢＵの範囲では、多少画像に歪みがあるにしろ、周囲の状況を広い範囲にわたって表示できるように、凹状の曲面投影領域としている。

これによって、図１１に示したように、モニタ画面２０ａには、フロント作業機５の最大リーチ範囲Ｍmax内の移動軌跡範囲ＷＡを周囲の安全確認を行うことを可能とし、かつ正確かつ効率的な作業を可能にするための作業・監視範囲とし、その外側において、リーチ範囲外監視領域exＢＵの広い領域を圧縮して表示する監視範囲とが表示される。

さらに、モニタ画面２０ａに表示される監視画像は、イラスト画像Ｇの周囲に平面視画像ＦＶ，ＢＶ，ＬＶ，ＲＶを配置するように表示されるが、このイラスト画像Ｇは必ずしもモニタ画面２０ａの中心に配置しなければならないものではない。作業によっては、前方の画像の画像を広く表示し、後方の画像は狭い表示領域とする方が望ましい場合もある。このような場合には、設定端末２５を操作して、イラスト画像Ｇの表示位置を変えることができる。

１ 走行体 ３ 旋回体
４ 運転室 ５ フロント作業機
１０ ブーム １１ アーム
１２ バケット １３Ｂ 後方カメラ
１３Ｌ 左方カメラ １３Ｒ 右方カメラ
１３Ｆ 前方カメラ ２０ モニタ装置
２０ａ モニタ画面 ２１ 表示コントローラ
２２ 上方視点画像作成部 ２３ 俯瞰画像作成部
２４ パラメータ記憶部 ２５ 設定端末
ＦＶ，ＢＶ，ＬＶ，ＲＶ 平面視画像
Ｇ イラスト画像
Ｍmax 最大リーチ範囲
exＢＵ リーチ範囲外監視領域
ＷＡ 移動軌跡範囲

Claims (3)

1. 走行体に旋回可能に設置した旋回体に作業手段が装着され、前記旋回体に設けた操作手段を操作することにより作業を行う作業機械に設けられ、前記作業機械の周囲を監視するための作業機械の周囲監視装置であって、
   前記旋回体に複数台設けられ、相隣接する２台が相互に視野範囲が一部重なり合うように配置した複数台のカメラと、
   前記各カメラで取得したカメラ画像を上方視点画像に変換する視点変換手段と、
   前記視点変換手段により生成した複数の上方視点画像から、前記作業機械の周囲を監視するための俯瞰画像を生成する表示画像生成手段と、
   前記表示画像生成手段によって生成された前記俯瞰画像を、前記作業機械を平面的に表示したイラスト画像の周囲の表示領域に、当該イラスト画像とともに表示する画像表示手段と、を備え、
   前記画像表示手段は、前記表示領域のうち、前記作業機械の前記作業手段の最大リーチ範囲内に対応する表示領域には、第一の上方視点画像である平面視画像から構成される画像を表示し、前記最大リーチ範囲より外側に対応する表示領域には、前記第一の上方視点画像とは異なる視点で作成した第二の上方視点画像から構成される画像を表示すること
   を特徴とする作業機械の周囲監視装置。
2. 前記第一の上方視点画像である平面視画像は、仮想水平面上に投影され、投影線がほぼ平行である画像であり、
   前記第二の上方視点画像は、前記第一の上方視点画像を生成するために設定した第一の仮想視点より視点を前記作業機械により近い位置に設定して変換した画像であること
   を特徴とする請求項１記載の作業機械の周囲監視装置。
3. 前記第二の上方視点画像は、周囲の状況を前記平面視画像より広い範囲にわたって表示する曲面視画像であること
   を特徴とする請求項１または２記載の作業機械の周囲監視装置。

Images