JP5988683B2 - 自走式産業機械の表示装置 - Google Patents

Description

本発明は、土砂等を運搬する運搬車両や油圧ショベル等の自走式産業機械の走行操作を行うときにその支援を行う自走式産業機械の表示装置に関するものである。

自走式産業機械が多様な作業現場で利用されている。自走式産業機械の１つにダンプトラックがある。ダンプトラックは、車体のフレーム上に起伏可能とした荷台（ベッセル）を備えており、このベッセルに砕石物や土砂等の運搬対象物を積載する。そして、ダンプトラックは所定の集積場に土砂等を運搬して排土する。ベッセルに積載された土砂等を排土するときには、ダンプトラックを排土位置まで後進させて、停止させる。この状態でベッセルを傾斜させて土砂等を排土する。そして、排土を終えるとベッセルを元の位置に戻して、ダンプトラックを前進させる。

一方、自走式産業機械の１つに油圧ショベルがある。油圧ショベルは、クローラ式またはホイール式の走行手段を有する下部走行体と下部旋回体に対して旋回可能な上部旋回体とを有している。上部旋回体には運転室（キャブ）が設けられており、上部旋回体に対して俯抑動作可能に連結したブームと、ブームの先端に上下方向に回動可能に連結したアームと、土砂の掘削等の作業を行うバケットとが作業手段として上部旋回体に設けられている。

ダンプトラックや油圧ショベル等の自走式産業機械の運転室に搭乗するオペレータにとって、前方の視野は確保されているものの、後方や左右側方には死角を生じる。このため、オペレータが肉眼で視認することが困難な方向が生じる。そこで、自走式産業機械の周辺の状況をオペレータに補助的に認識させるために、自走式産業機械に複数台のカメラを設けて、その周辺を撮影する。カメラが撮影した映像は運転室に備え付けられるモニタに表示される。これにより、オペレータが肉眼で視認することが困難な方向の視野についてもオペレータに認識をさせることができ、オペレータの走行操作の支援（アシスト）をすることができる。

この種の技術が特許文献１に開示されている。特許文献１の技術では、建設機械の側方および後方にカメラを設置し、これらのカメラが撮影した画像が連続するように画像処理を行った後にディスプレイに表示している。これにより、オペレータに物体の移動を直感的に理解させている。また、建設機械の後方の視野をモニタに表示する技術が特許文献２に開示されている。

特開２００９−００７８６０号公報 特開２００５−１６３３７０号公報

自走式産業機械において、その周辺の映像を運転室のモニタに表示して、オペレータに周辺の状況を認識させることは重要である。ただし、オペレータの死角となる部分は、自走式産業機械の周辺だけでなく、その下部についても死角となる。自走式産業機械の下部に何らかの障害物が存在するときには、自走式産業機械の走行は規制される。例えば、ダンプトラックの場合、ダンプトラックの下部に障害物が存在する場合には、土砂の積載作業が終了したにもかかわらず、ダンプトラックの走行が規制される。

ダンプトラックとしては普通ダンプトラックや重ダンプトラックがあるが、いずれにしろ大型であり、ダンプトラックの下部に広範な空間が形成される。特に、積載重量が１００トンを超えるような重ダンプトラックにおいては、下部の空間は広大になる。従って、ダンプトラックの下部に障害物が入り込む可能性が十分にある。この場合には、安全性の観点から、ダンプトラックの走行は規制される。これは、下部走行体を有する油圧ショベル等の自走式建設機械においても同様である。従って、自走式産業機械において、その周辺の状況をオペレータが認識することは重要であるが、下部の状況についてもオペレータに認識させることも重要になる。

そこで、本発明は、自走式産業機械の運転室に設けられる表示装置に自走式産業機械の下部を表示させて、自走式産業機械の走行操作の支援を行なうことを目的とする。

以上の課題を解決するため、本発明は、フレームと、前記フレームに設けられた左前輪、右前輪、左後輪及び右後輪と、前記フレームに設けた荷台としてのベッセルと、を有するダンプトラックの表示装置において、前記ダンプトラックの下部を視野に含む周辺撮像部と、前記ダンプトラックの形状をシンボル化し、前記左前輪、右前輪、左後輪及び右後輪が表示されたシンボル画像を保持するシンボル画像保持部と、前記周辺撮像部は、前記ベッセルの下部を視野に含むように設けられた後方カメラ、前記ダンプトラックの下部である前記左前輪及び左後輪の間の領域を視野に含むように設けられた左方カメラ、及び前記ダンプトラックの下部である前記右前輪及び右後輪の間の領域を視野に含むように設けられた右方カメラから構成され、前記後方カメラが撮像した後方画像、前記左方カメラが撮像した左方画像、及び前記右方カメラが撮像した右方画像の其々に対して上方視点となるように視点変換した俯瞰画像を生成する視点変換部と、前記俯瞰画像のうち前記ベッセルの下部に対応する画像領域を取得して後方下部画像を生成するとともに、前記俯瞰画像のうち前記左前輪及び左後輪の間に対応する画像領域を取得して左方下部画像を生成し、前記俯瞰画像のうち前記右前輪及び右後輪の間に対応する画像領域を取得して右方下部画像を生成する下部画像生成部と、前記シンボル画像のうち前記後方下部画像に対応する領域を後方透過領域とするとともに、前記シンボル画像のうち前記左方下部画像に対応する領域を左方透過領域とし、前記シンボル画像のうち前記右方下部画像に対応する領域を右方透過領域とし、前記後方透過領域に前記後方下部画像を重畳するとともに、前記左方透過領域に左方下部画像を重畳し、前記右方透過領域に右方下部画像を重畳し、前記後方透過領域の外郭線を描画するとともに、前記左方透過領域及び右方透過領域の外郭線を描画する重畳処理部と、前記重畳処理部が処理を行ったシンボル画像を中央にしてその周辺に前記俯瞰画像を配置して合成を行う画像合成部と、前記画像合成部が合成した画像を１つの表示画像として生成する表示画像生成部と、前記ダンプトラックの運転室に備えられ、前記表示画像生成部が生成した表示画像を表示する画面部と、を有することを特徴とする。

この発明によれば、自走式産業機械をシンボル化したシンボル画像を運転室の表示装置に表示している。このときに、シンボル画像のうち、撮影部が撮影した自走式産業機械の下部領域に対応する領域を透過させて透過領域として、この透過領域に下部領域の画像を重畳させることで、オペレータに自走式産業機械の下部の状況を認識させることができる。

また、前記撮影部を少なくとも１つ含み、斜め下方を光軸として前記自走式産業機械の周辺の画像を撮影する複数の周辺撮影部と、前記周辺撮影部が撮影した画像に対して上方視点となるように視点変換した俯瞰画像を生成する視点変換部と、前記重畳処理部が重畳した前記シンボル画像を中心として前記俯瞰画像を合成する画像合成部と、前記画像合成部が合成した画像を前記表示装置に表示させる表示画像として生成して前記表示装置に出力する表示画像生成部と、を備えるようにしてもよい。

自走式産業機械の周辺の状況をオペレータに認識させるために、俯瞰画像を生成する。俯瞰画像を生成するための周辺撮影部には前述した撮影部が含まれるため、シンボル画像を中心として周辺の俯瞰画像を表示することができると共に、自走式産業機械の下部の画像をシンボル画像に表示することができる。これにより、自走式産業機械の下部と周辺との両方をオペレータに認識させることができる。

ここで、前記重畳処理部は、前記透過率を全透過とするが、前記透過領域には前記シンボル画像を構成する外郭線を前記透過領域の部位に描画する。

シンボル画像の透過領域を全透過することで、下部画像を鮮明に表示することができる。これにより、オペレータは自走式産業機械の下部の状況を明確に認識することができる。このとき、透過領域のアウトラインを描画することで、シンボル画像により自走式産業機械の形状を認識することができる。

また、前記重畳処理部は、前記シンボル画像と同じ態様で前記外郭線を描画するようにしてもよい。

シンボル画像と外郭線との表示態様を同じにすることで、全透過をしたときのシンボル画像の外形を良好に視認することができる。

また、前記重畳処理部は、前記自走式産業機械の走行を操作する走行操作部に応じて、複数の前記透過領域のそれぞれについて透過させるか否かの制御を行うようにしてもよい。

複数の透過領域が存在する場合、自走式産業機械の走行方向によって、表示が必要な透過領域と不要な透過領域とが存在することがある。この場合には、走行操作部の状態によって、不要な透過領域を非透過とすることで、シンプルにシンボル画像を表示でき、シンボル画像の外形を明確に認識することができる。

本発明は、自走式産業機械をシンボル化したシンボル画像を運転室の表示装置に表示している。このときに、シンボル画像のうち、撮影部が撮影した自走式産業機械の下部領域に対応する領域を透過させて透過領域として、この透過領域に下部領域の画像を重畳させることで、オペレータに自走式産業機械の下部の状況を認識させることができる。

ダンプトラックの左側面図である。 ダンプトラックの平面図である。 運転室に取り付けられるモニタの一例を示した図である。 表示コントローラのブロック図である。 視点変換処理の原理を説明した図である。 画面部に表示される表示画像の一例を示す図である。 図６において、下部画像を重畳した例を説明した図である。 透過領域を全透過したときに、透過領域が消失した状態を示す図である。 透過領域を全透過したときに、外郭線を描画した例を示す図である。 シフトレバーに応じて、透過領域の表示または非表示を分けている状態を説明する図である。 ダンプトラックの下部を視野とする下部カメラを配置したときのダンプトラックの平面図である。 下部カメラの画像を用いたときの、シンボル画像の一例を示す図である。 油圧ショベルの左側面図である。

以下、図面を参照して、本発明の実施形態について説明する。以下において、自走式産業機械としてダンプトラックを適用しているが、ダンプトラックには限定されない。自走式産業機械としては油圧ショベルもあるが、油圧ショベルについては後述する。ダンプトラックとしてはリジットダンプとアーティキュレートダンプとがあるが、何れを適用してもよい。なお、以下において、「左」とは運転室から見た左側であり、「右」とは運転室から見た右側になる。

図１はダンプトラック１の左側面図を示しており、図２は平面図を示している。これらの図に示すように、ダンプトラック１は、運転室２とフレーム３とベッセル４と前輪５と後輪６と駆動用シリンダ７とリンク機構８とを備えて構成している。また、ダンプトラック１の前後左右に周辺撮影部としてのカメラ１０（前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌ）が設けられている。

前方カメラ１０Ｆは前方、後方カメラ１０Ｂは後方、右方カメラ１０Ｒは右側方、左方カメラ１０Ｌは左側方を視野とするカメラであり、斜め下方を撮影している。つまり、光軸方向が斜め下方になっている。なお、ダンプトラック１に備えられるカメラ１０の個数は任意の数とすることができる。ただし、オペレータの視野の死角を生じる方向を撮影する後方カメラ１０Ｂと右方カメラ１０Ｒと左方カメラ１０Ｌとを備えることが望ましい。また、アーティキュレートダンプの場合には、さらに多くのカメラを設けてもよい。

運転室２はオペレータが搭乗してダンプトラック１を操作するために設けられており、ダンプトラック１の左側に配置されているものが多い。また、各種の操作手段が運転室２に設けられている。フレーム３はダンプトラック１の枠組みを構成するものであり、フレーム３の前方には前輪５が設けられ、後方には後輪６が設けられている。ベッセル４は荷台であり、土砂や鉱物等を積載する。ベッセル４には駆動用シリンダ７およびリンク機構８が取り付けられており、傾動可能になっている。これにより、ベッセル４に積載された土砂等を排土することが可能になっている。

図３は、運転室２の一例を示している。運転室２には、走行方向を操作するハンドル１１とダンプトラック１の計器類等を表示するコンソール１２とピラー１３とが設けられている。そして、ピラー１３にモニタ１４が取り付けられている。モニタ１４は画面部１５と入力部１６とを備えて構成している。画面部１５は所定の情報を表示する画面であり、入力部１６は画面部１５の表示内容を適宜に操作するために設けている。なお、モニタ１４の位置は運転室２の内部であれば任意の位置に設けてもよい。また、入力部１６を省略して、画面部１５をタッチセンサパネルとしてもよい。

図４は、モニタ１４に接続される表示コントローラ１７および表示コントローラ１７に接続される車体コントローラ１８を示している。同図に示すように、表示コントローラ１７は画像補正部２１と視点変換部２２と下部画像生成部２３とシンボル画像保持部２４と重畳処理部２５と画像合成部２６と表示画像生成部２７とを備えている。表示コントローラ１７の各部はソフトウェアで実現することが可能であり、ＣＰＵにより各部の機能が行われるようにすることもできる。

画像補正部２１は、前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌが撮影している画像を入力している。そして、入力した画像に対して、カメラ光学系パラメータ等に基づいて、収差補正やコントラスト補正、色調補正等の各種の画像補正を行う。これにより、入力した画像の画質を向上させる。画像補正部２１が入力した補正した画像は画像データとして視点変換部２２に出力される。

視点変換部２２は、画像補正部２１から入力した画像データに対して視点変換処理を行って、俯瞰画像（仮想視点画像）を生成する。前述したように、各カメラ１０は斜め下方を光軸方向としており、これを上方からの仮想的な視点に変換する。図５に示すように、カメラ１０（前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌ）の対物レンズの光軸Ａは、地表Ｌに対して所定角度θを有しており、これにより、カメラ１０の光軸は斜め下方になっている。視点変換部２２では、光軸方向が垂直方向となるような仮想カメラ１０Ｖを高さＨに仮想的に設定し、この仮想カメラ１０Ｖが地表Ｌを見下ろした画像データに座標変換する。このように上方からの視点に変換した画像は仮想的な平面画像（俯瞰画像）となる。

図４に示すように、視点変換部２２が視点変換処理を行った俯瞰画像は、下部画像生成部２３および画像合成部２６に出力される。下部画像生成部２３は、カメラ１０にダンプトラック１の下部が視野に含まれている場合には、俯瞰画像のうちダンプトラック１の下部の部分を取得して、これを下部画像とする。画像データが俯瞰画像であるため、下部画像も俯瞰画像になっている。なお、全てのカメラ１０にダンプトラック１の下部が視野に含まれているとは限らない。従って、ダンプトラック１の下部が視野に含まれていないカメラ１０についての下部画像は生成されない。本実施形態では、前方カメラ１０Ｆの視野にはダンプトラック１の下部は含まれていないものとし、従って前方カメラ１０Ｆによる下部画像は生成されない。

シンボル画像保持部２４は、シンボル画像を保持する。シンボル画像はダンプトラック１をシンボル（キャラクタ）として画面部１５で表示するときの画像である。従って、シンボル画像はダンプトラック１の形状を再現した画像になる。このときの再現性が高ければ、オペレータはダンプトラック１の形状を正確に認識することができる。ただし、忠実にダンプトラック１の形状を再現した画像でなくてもよい。

重畳処理部２５は、下部画像生成部２３から下部画像を入力し、シンボル画像保持部２４からシンボル画像を入力する。そして、重畳処理部２５は、シンボル画像のうち下部画像に対応する領域を透過領域として、この透過領域に下部画像を重畳する画像処理を行う。透過率が１００％であって全透過となる。

画像合成部２６は、視点変換部２２が視点変換した俯瞰画像を入力し、重畳処理部２５が処理を行ったシンボル画像を入力する。そして、シンボル画像を中央にして、その周辺に俯瞰画像を配置して合成を行う。つまり、前方カメラ１０Ｆからは前方俯瞰画像が生成され、後方カメラ１０Ｂからは後方俯瞰画像が生成され、右方カメラ１０Ｒからは右方俯瞰画像が生成され、左方カメラ１０Ｌからは左方俯瞰画像が生成される。そして、シンボル画像を中心にして、前側に前方俯瞰画像を、後側に後方俯瞰画像を、右側に右方俯瞰画像を、左側に左方俯瞰画像を配置する合成を行う。

表示画像生成部２７は、画像合成部２６が合成した画像を１つの表示画像として生成する。この表示画像はモニタ１４に出力される。モニタ１４の画面部１５には表示画像が表示される。運転室２に搭乗したオペレータは、画面部１５に表示された表示画像を視認することができる。

図４に示すように、表示コントローラ１７は車体コントローラ１８と接続されている。車体コントローラ１８にはダンプトラック１をコントロールするための各種の操作手段が接続されている。そのうちの１つがシフトレバー２８である。シフトレバー２８はオペレータがダンプトラック１の走行を操作する走行操作部であり、前進位置、中立位置、後進位置の３つの位置に変位する。シフトレバー２８が前進位置に位置しているときには、ダンプトラック１は前進し、後進位置に位置しているときにはダンプトラック１は後進する。また、中立位置に位置しているときにはダンプトラック１は停止する。シフトレバー２８からは何れの位置（前進位置、中立位置、後進位置）にあるかのシフトレバー位置情報が車体コントローラ１８に入力される。そして、シフトレバー位置情報は車体情報として表示コントローラ１７に出力される。

以上の構成を用いて、モニタ１４の画面部１５に表示される表示画像を表示コントローラ１７が作成する。図６は表示画像を説明するための一例を示している。同図に示すように、画面部１５は複数の領域に分割されており、ここでは５つの領域に分割されている。画面部１５の中央の領域にはシンボル画像３１が表示される。このシンボル画像３１は、前述したように、ダンプトラック１の形状を再現したシンボル（キャラクタ）である。

また、シンボル画像３１を中心として放射状に前後左右に分割した領域が設けられる。シンボル画像３１の前方の領域には前方俯瞰画像３２Ｆが表示され、後方の領域には後方俯瞰画像３２Ｂが表示され、右方の領域には右方俯瞰画像３２Ｒが表示され、左方の領域には左方俯瞰画像３２Ｌが表示される。俯瞰画像３２Ｆと後方俯瞰画像３２Ｂと右方俯瞰画像３２Ｒと左方俯瞰画像３２Ｌとを総称して俯瞰画像３２とする。

従って、少なくとも各俯瞰画像３２を表示するために、各カメラ１０が撮影を行っていなければならない。このために、オペレータはエンジンを始動させる等して、これにより各カメラ１０が撮影を開始する。前述したように、各カメラ１０は斜め下方を撮影しており、前方カメラ１０Ｆは前方の斜め下方、後方カメラ１０Ｂは後方の斜め下方、右方カメラ１０Ｒは右側方の斜め下方、左方カメラ１０Ｌは左側方の斜め下方の映像を撮影している。

そして、各カメラ１０は撮影した映像を画像データとして表示コントローラ１７に出力（転送）する。各カメラ１０は所定の撮影周期で撮影を行っており、撮影周期ごとに画像データが転送される。これにより、画面部１５には動画を表示することができる。なお、静止画を表示するようにしてもよい。

図４に示したように、画像補正部２１は各カメラ１０から出力される画像データに対して所定の補正処理を行う。これにより、画像データの画質が向上する。補正処理が行われた画像データは視点変換部２２で視点変換される。前方カメラ１０Ｆが撮影した画像データにより前方俯瞰画像３２Ｆが生成され、後方カメラ１０Ｂが撮影した画像データにより後方俯瞰画像３２Ｂが生成され、右方カメラ１０Ｒが撮影した画像データにより右方俯瞰画像３２Ｒが生成され、左方カメラ１０Ｌが撮影した画像データにより左方俯瞰画像３２Ｌが生成される。生成された各俯瞰画像３２は画像合成部２６に出力される。

ところで、シンボル画像３１を中心に各俯瞰画像３２を表示することで、図６のように、ダンプトラック１を上方から見下ろした画像を画面部１５に表示することができる。これは、所謂、俯瞰画像表示である。このような俯瞰画像表示を行うことで、ダンプトラック１の周辺の状況を良好にオペレータが認識することができる。例えば、図６に示すように、サービスカーが障害物Ｓ１として接近している場合には、俯瞰画像表示を行うことで、オペレータはダンプトラック１と障害物Ｓ１との間の距離感を直感的に認識することができる。

例えば、俯瞰画像表示は、ダンプトラック１を発進させるときに、周辺に何かしらの障害物が存在しているか否かを確認するときに有効である。特に、オペレータから死角となる方向についても、障害物が近接しているか否かを確認することができるため、有効である。従って、各俯瞰画像３２は比較的ダンプトラック１の近距離を表示範囲としている。つまり、図５で説明した各カメラ１０の光軸と地表Ｌとの間の角度θは比較的大きく設定している。これにより、図６のような俯瞰画像表示を行うことにより、ダンプトラック１に近接した周辺の状況を良好に表示することができる。

ここで、図１に示したように、後方カメラ１０Ｂはベッセル４の下部位置に取り付けられている。そして、後方カメラ１０Ｂは、斜め下方を光軸としているため、ダンプトラック１の後方を撮影しているが、ダンプトラック１（ベッセル４）の下部も視野に含まれる。特に、前述したように、後方カメラ１０の光軸と地表Ｌとの角度θが比較的大きい場合や、後方カメラ１０の画角が広角の場合には、ダンプトラック１の下部の広範な領域が視野に含まれる。下部領域は視点変換処理を行った俯瞰画像であり、下部画像生成部２３において広範な下部画像が生成される。

同様に、右方カメラ１０Ｒおよび左方カメラ１０Ｌは運転室２の後方位置に取り付けられており、前輪５の上部位置から後方に偏在した位置となっている。右方カメラ１０Ｒおよび左方カメラ１０Ｌは、左右の側方の視野を撮影しているが、後方カメラ１０Ｂの場合と同様に、ダンプトラック１の下部が視野に含まれることがある。特に、前述した角度θが大きく、右方カメラ１０Ｒおよび左方カメラ１０Ｌの画角が広角の場合には、右方カメラ１０Ｒおよび左方カメラ１０Ｌの視野にダンプトラック１の下部が含まれる。特に、前輪５と後輪６の間の領域が視野に含まれる。

従って、後方カメラ１０Ｂ、右方カメラ１０Ｒおよび左方カメラ１０Ｌの視野に含まれるダンプトラック１の下部画像をモニタ１４の画面部１５に表示することは可能である。 そこで、本実施形態では、下部画像生成部２３は視点変換部２２から各俯瞰画像３２を取得する。ただし、図６の例では、前方俯瞰画像３２Ｆは取得されない。

下部画像生成部２３は、後方俯瞰画像３２Ｂ、右方俯瞰画像３２Ｒ、左方俯瞰画像３２Ｌのうち、ダンプトラック１の下部を表示する部分を下部画像として生成する。従って、後方の下部画像（後方下部画像）と右方の下部画像（右方下部画像）と左方の下部画像（左方下部画像）とが生成される。

シンボル画像保持部２４は、図６に示すように、ダンプトラック１の形状を再現したシンボル画像３１を保持している。同図の例では、シンボル画像３１は前輪５や後輪６等が表示されており、また各カメラ１０の取り付け位置も表示されている。シンボル画像保持部２４は保持しているシンボル画像３１を重畳処理部２５に出力する。

重畳処理部２５はシンボル画像３１のうち、下部画像に対応する領域を透過領域とする。ここでは、後方下部画像に対応する領域を後方透過領域３３Ｂ、右方下部画像に対応する領域を右方透過領域３３Ｒ、左方下部画像に対応する領域を左方透過領域３３Ｌとする。図６において、各透過領域をハッチングで示している。なお、後方透過領域３３Ｂと右方透過領域３３Ｒと左方透過領域３３Ｌとを総称して透過領域３３とする。

各カメラ１０の取り付け位置や画角、光軸方向等は予め設定されているものであり、シンボル画像３１のうち下部画像に対応する各透過領域３３は予め認識されている。従って、シンボル画像３１の中で各透過領域の位置は定まっている。そして、前述した後方下部画像（３４Ｂとする）と後方透過領域３３Ｂとは一致しており、右方下部画像（３４Ｒとする）と右方透過領域３３Ｒとは一致しており、左方下部画像（３４Ｌとする）と左方透過領域３３Ｌとは一致している。なお、後方下部画像３４Ｂと右方下部画像３４Ｒと左方下部画像３４Ｌとを総称して下部画像３４とする。

従って、重畳処理部２５は、後方透過領域３３Ｂ、右方透過領域３３Ｒ、左方透過領域３３Ｌを所定の透過率で透過させて、後方下部画像３４Ｂ、右方下部画像３４Ｒ、左方下部画像３４Ｌを重畳（スーパーインポーズ）する。図７は、その一例を示している。同図では、後方下部画像３４Ｂに障害物Ｓ２が映し出されている。オペレータは、画面部１５の後方下部画像３４Ｂを視認することで、ダンプトラック１の下部、この場合はベッセル４の下部に障害物Ｓ２が存在することを認識することができる。これにより、オペレータは、シフトレバー２８を操作して、ダンプトラック１を後進すると、後輪６と障害物Ｓ２とが干渉することを認識することができる。これにより、シフトレバー２８を後進位置に変位させることが規制されることをオペレータは認識できる。

前述したように、各カメラ１０（後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌ）が撮影した映像を用いて視点変換処理をすることで、俯瞰画像表示を行う。これにより、ダンプトラック１の周辺の状況を一見して認識することができる。俯瞰画像表示は、仮想的に視点を上方に設定したときに、地表Ｌを見下ろす画像になっている。従って、本来であればベッセル４や運転室２等の構造物により、俯瞰画像表示では、ダンプトラック１の下部の画像は表示されない。

しかし、前述した各カメラ１０の視野にはダンプトラック１の下部が含まれていることがある。その場合には、下部画像生成部２３が下部画像を生成して、重畳処理部２５がシンボル画像３１を透過させて下部画像を合成することで、シンボル画像３１の中にダンプトラック１の下部の画像の情報を持たせることができる。これにより、オペレータはダンプトラック１の周辺の状況だけでなく、シンボル画像３１の下部画像に基づいて、ダンプトラック１の下部の状況についても認識することができる。しかも、これは、もともと俯瞰画像表示をするための各カメラ１０を利用しているため、格別に下部を撮影するための専用のカメラを設ける必要がない。

なお、図６や図７に示すように、シンボル画像３１の運転室２を再現した位置に方向アイコン３５を配置している。方向アイコン３５はオペレータの向きを示している。ここでは、方向を三角形の矢印で示している。この方向アイコン３５はダンプトラック１の進行方向によって変化させるようにしてもよい。表示コントローラ１７には車体コントローラ１８から進行方向の情報が車体情報として入力されているため、進行方向に応じて三角形を回転させるようにしてもよい。例えば、ダンプトラック１を後進させる場合には、図６の三角形の向きとは逆向きになる。

以上において、重畳処理部２５は所定の透過率でシンボル画像３１の各透過領域３３を透過させているが、図７の例では、全透過でも非透過でもない透過率に設定していた（例えば、５０％の透過率）。これにより、重畳処理部２５が透過領域に下部画像を合成することで、ダンプトラック１の下部の状況を認識することができる。このとき、図７に示すように、シンボル画像３１の透過領域に下部画像が重ね合わせられて表示されているため、シンボル画像３１の外形も表示されている。

前述の透過率は予め設定されていてもよいし、適宜にコントロールしてもよい。例えば、モニタ１４の入力部１６を用いて透過率を任意の値に設定してもよい。透過率を低くすると、つまり０％（非透過）に近づけると、下部画像が不鮮明になる。従って、ダンプトラック１の下部の状況の視認性が低下する。これにより、ダンプトラック１の下部の障害物Ｓ２が明瞭に表示されなくなる。ただし、シンボル画像３１の外形は鮮明に表示されている。

俯瞰画像表示においては、シンボル画像３１を中心として各俯瞰画像を表示することで、ダンプトラック１とその周囲との間の距離感をオペレータに認識させることが重要である。例えば、図７では、ダンプトラック１と障害物Ｓ１（サービスカー）との距離感を正確に認識することができる。従って、シンボル画像３１の外形を鮮明に表示することは重要である。前述の透過率を高くすると、シンボル画像３１の透過領域の外形を認識することが難しくなり、オペレータはダンプトラック１と周囲との距離感を明瞭に把握することができなくなる。

一方、透過率を高くすると、つまり１００％（全透過）に近づけると、下部画像が鮮明になる。これにより、ダンプトラック１の下部の状況の視認性が向上する。最も視認性が良好になるのは、透過率を１００％に設定したとき、つまり全透過に設定したときである。図８は全透過の状態を示している。

図８の表示態様では、シンボル画像３１のうち透過領域は完全に消失している（なお、説明のために、消失した透過領域の外形を仮想線で示しているが、実際にはこの仮想線は表示されていない）。これにより、ダンプトラック１とその周囲との間の距離感を認識することができなくなる。図８では、ダンプトラック１の透過領域に相当する部位と接触する程度に障害物Ｓ３が近接している。オペレータは障害物Ｓ３を認識することができるが、透過領域が消失しているため、接触する程度にまで障害物３が近接しているとは認識することができない。このため、俯瞰画像表示の本来的な目的が達成されない。

そこで、透過率を１００％（全透過）と設定しているときには、画像合成部２６は、図９に示すように、透過領域の外周に外郭線（アウトライン）２６を描画する。これにより、シンボル画像３１の外形が明確に画面部１５に表示される。従って、外郭線３６によりダンプトラック１とその周囲との距離感を認識することができる。図９の例では、ダンプトラック１に障害物Ｓ３が接触する程度にまで近接していることが認識される。そして、透過領域は全透過になっているため、ベッセル４の下部に存在する障害物Ｓ２が画面上に鮮明に表示される。これにより、オペレータはダンプトラック１（ベッセル４）の下部に障害物Ｓ２が存在していることを一見して把握することができる。且つ、障害物Ｓ３がダンプトラック１に接触する程度にまで接近していることを認識することができる。

このとき、シンボル画像３１の表示態様と同じ態様で外郭線３６を描画することが望ましい。例えば、重畳処理部２５は、シンボル画像３１と同じ色や同じ線種等で外郭線３６を描画する。これにより、外郭線３６はシンボル画像３１の一部、すなわちダンプトラック１の一部を示していることをオペレータに明瞭に認識させることができる。

次に、ダンプトラック１の走行操作による画像合成部２６の処理について説明する。運転室２に搭乗したオペレータはシフトレバー２８を操作して、ダンプトラック１を走行させる。前述したように、シフトレバー２８は前進位置と中立位置と後進位置とがあり、シフトレバー２８の位置によって、ダンプトラック１を走行させるか否か、および走行させる場合には走行方向が決定される。シフトレバー２８がどの位置に入っているかの情報（シフトレバー位置情報）は車体コントローラ１８に入力され、車体コントローラ１８は車体情報としてシフトレバー位置情報を表示コントローラ１７に出力する。

重畳処理部２５はシフトレバー位置情報を入力する。これにより、重畳処理部２５はダンプトラック１の走行方向を認識する。重畳処理部２５はシフトレバー位置情報、つまりシフトレバー２８の位置に応じて、各透過領域３３を透過させるか否かの制御を行う。

つまり、シフトレバー２８が前進位置に入ったときには、ダンプトラック１は前進する。このときには、後方透過領域３３Ｂに障害物Ｓ２が存在していたとしても、つまりベッセル４の下部に障害物Ｓ２が存在してたとしても、ダンプトラック１と障害物Ｓ２とが干渉することはない。従って、ダンプトラック１を前進させるときには、後方透過領域３３Ｂの状況を格別に画面部１５に表示させる必要はない。このときには、図１０に示すように、重畳処理部２５は後方透過領域３３Ｂを非透過（透過率が０％）とする。これにより、シンボル画像３１の外形が明瞭に表示されるため、オペレータの視認性が向上する。また、重畳処理部２５が後方透過領域３３Ｂを透過させて、後方下部画像３４Ｂを合成させる画像処理を行う必要もなくなる。

一方、シフトレバー２８が後進位置に入ったときには、ダンプトラック１は後進する。この場合には、後方透過領域３３Ｂに障害物Ｓ２が存在しているときには、ダンプトラック１と干渉する。従って、この場合は、重畳処理部２５は、ダンプトラック１が後進することを認識することにより、後方透過領域３３Ｂを透過させて、後方下部画像３４Ｂを合成させる画像処理を行う。従って、図７のような画面が表示される。これにより、オペレータは、後進時に後方下部画像３４Ｂを視認することにより、ダンプトラック１の下部後方の状況を認識することができる。

なお、ダンプトラック１が前進および後進するときには、重畳処理部２５は、右方透過領域３３Ｒを透過させて右方下部画像３４Ｒを合成し、且つ左方透過領域３３Ｌを透過させて左方下部画像３４Ｌを合成する。図６乃至図１０に示したように、ダンプトラック１が前進するとき、および後進するときの何れの場合でも、右方透過領域３３Ｒおよび左方透過領域３３Ｌは、前輪５または後輪６の何れかに干渉する。よって、シフトレバー２８が前進位置または後進位置に入っているときには、右方下部画像３４Ｒおよび左方下部画像３４Ｌをシンボル画像３１に表示する。

シフトレバー２８は中立位置に入ることもある。この場合には、ダンプトラック１は停止している。従って、後方透過領域３３Ｂ、右方透過領域３３Ｒ、左方透過領域３３Ｌの全てを非透過にする。これにより、重畳処理部２５は透過処理を行うことなく、シンボル画像保持部２４が保持しているシンボル画像３１をそのまま画像合成部２６に出力する。ダンプトラック１が停止しているときには、ダンプトラック１の下部に障害物Ｓ２が存在しているとしても、格別の問題はない。従って、この場合は、下部画像３４を表示しなくても、安全性は確保される。ただし、オペレータにより、シフトレバー２８は中立位置から前進位置または後進位置に操作されたときに、ダンプトラック１は前進または後進する。従って、ダンプトラック１が停止している状態でも、各透過領域３３にそれぞれの下部画像３４を表示するようにしてもよい。

従って、シフトレバー２８の位置に応じて、重畳処理部２５は、必要な下部画像３４は表示するが、表示する必要のない下部画像３４を表示させない。重畳処理部２５は下部画像３４を表示させるために透過処理を行う。これにより、シンボル画像３１の外形の視認性が低下する。そこで、シフトレバー２８の位置に応じて不要な下部画像３４を表示させないことで、シンボル画像３１をシンプルに表示することができ、オペレータの視認性を向上させることができる。

次に、ダンプトラック１の下部を撮影する専用のカメラを設けた場合について説明する。図１１に示す下部カメラ１０Ｕは周辺撮影部ではなく、ダンプトラック１の下部を撮影するための撮影部である。従って、下部カメラ１０Ｕはダンプトラック１の下部の内側を視野としている。

ダンプトラック１の周辺の状況を俯瞰画像として表示するために、前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌを設けている。従って、これらのカメラ１０はダンプトラック１の外側を視野としている。このときに、各カメラ１０にダンプトラック１の下部が視野の一部となるため、それを利用して、シンボル画像３１を透過させて下部画像を表示していた。この点においては、後方カメラ１０Ｂ、右方カメラ１０Ｒおよび左方カメラ１０Ｌは、周辺撮影部であると同時に、前述の撮影部としても機能する。

ダンプトラック１の下部の状況をシンボル画像３１に表示するという点においては、シンボル画像３１の周辺に俯瞰画像を表示しないことも可能である。つまり、図１２に示すように、シンボル画像３１のみを画面部１５に表示することも可能である。前述したように、ダンプトラック１には下部カメラ１０Ｕを設けており、ダンプトラック１の下部の内側を撮影している。下部カメラ１０Ｕも斜め下方に光軸を向けており、画像補正部２１で補正処理を行った後に、視点変換部２２において俯瞰画像に変換する。

図１２に示すように、下部カメラ１０Ｕはダンプトラック１の下部を映すために設けた撮影部であり、ダンプトラック１の下部の広範な領域を視野としている。従って、同図に示すように、シンボル画像３１の広範な領域が内側透過領域３３Ｕとなり、重畳処理部２５は、広範な内側透過領域３３Ｕに対応した内側下部画像３４Ｕを重畳する。図１２の例では、ダンプトラック１の周囲の俯瞰画像表示を行うために、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌを設けており、これにより、前述したように後方下部画像３４Ｂ、右方下部画像３４Ｒ、左方下部画像３４Ｌが表示されている。これにより、同図に示すように、ダンプトラック１の下部の殆どがシンボル画像３１に表示される。

従って、ダンプトラック１の下部を視野とする下部カメラ１０Ｕを設けて、シンボル画像３１に内側下部画像３４Ｕを表示することで、ダンプトラック１の広範な領域の状況をオペレータに認識させることができる。図１２の例では、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌにより、後方下部画像３４Ｂ、右方下部画像３４Ｒ、左方下部画像３４Ｌを表示するようにしているが、下部カメラ１０Ｕのみを用いて、ダンプトラック１の下部画像をシンボル画像３１に表示させるようにしてもよい。また、下部カメラは１台だけでなく、複数台を設けるようにしてもよい。

以上は、自走式産業機械としてダンプトラック１を適用した例について説明したが、自走式産業機械としては、図１３に示す油圧ショベル４０を適用することもできる。油圧ショベル４０はクローラ式走行体を有する下部走行体４１と、下部走行体４１に対して旋回可能に連結した上部旋回体４２とを有して構成している。上部旋回体４２は、運転室４３と作業手段４４と建屋４５とカウンタウェイト４６とを有している。作業手段４４はブーム４７とアーム４８とバケット４９とにより構成される。以上は一般的な油圧ショベル４０の構成である。

油圧ショベル４０には、前方カメラ５０Ｆ、後方カメラ５０Ｂ、右方カメラ５０Ｒ、左方カメラ５０Ｌ（図示せず）が取り付けられている。これらのカメラは、前述した前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌと同じ目的で取り付けており、油圧ショベル４０の周辺の状況を俯瞰表示するために設けている。また、前方カメラ５０Ｆは運転室４３の近傍に取り付けられており、後方カメラ５０Ｂはカウンタウェイト４６の下部に取り付けられている。右方カメラ５０Ｒおよび左方カメラ５０Ｌは建屋４５に取り付けられている。

カウンタウェイト４６の下部に広範な空間が形成される。このとき、後方カメラ５０Ｂは後方を撮影しているが、光軸が斜め下方であるため、カウンタウェイト４６の下部が視野に含まれる。そこで、カウンタウェイト４６の下部画像をシンボル画像に表示することで、前述したダンプトラック１の場合と同じ効果を得ることができる。

１ ダンプトラック
２ 運転室
１０ カメラ
１４ モニタ
１５ 画面部
１７ 表示コントローラ
２１ 画像補正部
２２ 視点変換部
２３ 下部画像生成部
２４ シンボル画像保持部
２５ 重畳処理部
２６ 画像合成部
２７ 表示画像生成部
２８ シフトレバー
３１ シンボル画像
３２ 俯瞰画像
３３ 透過領域
３４ 下部画像
３３Ｕ 内側透過領域
３４Ｕ 内側下部画像

Claims (3)

1. フレームと、
   前記フレームに設けられた左前輪、右前輪、左後輪及び右後輪と、
   前記フレームに設けた荷台としてのベッセルと、を有するダンプトラックの表示装置において、
   前記ダンプトラックの下部を視野に含む周辺撮像部と、
   前記ダンプトラックの形状をシンボル化し、前記左前輪、右前輪、左後輪及び右後輪が表示されたシンボル画像を保持するシンボル画像保持部と、
   前記周辺撮像部は、前記ベッセルの下部を視野に含むように設けられた後方カメラ、前記ダンプトラックの下部である前記左前輪及び左後輪の間の領域を視野に含むように設けられた左方カメラ、及び前記ダンプトラックの下部である前記右前輪及び右後輪の間の領域を視野に含むように設けられた右方カメラから構成され、前記後方カメラが撮像した後方画像、前記左方カメラが撮像した左方画像、及び前記右方カメラが撮像した右方画像の其々に対して上方視点となるように視点変換した俯瞰画像を生成する視点変換部と、
   前記俯瞰画像のうち前記ベッセルの下部に対応する画像領域を取得して後方下部画像を生成するとともに、前記俯瞰画像のうち前記左前輪及び左後輪の間に対応する画像領域を取得して左方下部画像を生成し、前記俯瞰画像のうち前記右前輪及び右後輪の間に対応する画像領域を取得して右方下部画像を生成する下部画像生成部と、
   前記シンボル画像のうち前記後方下部画像に対応する領域を後方透過領域とするとともに、前記シンボル画像のうち前記左方下部画像に対応する領域を左方透過領域とし、前記シンボル画像のうち前記右方下部画像に対応する領域を右方透過領域とし、前記後方透過領域に前記後方下部画像を重畳するとともに、前記左方透過領域に左方下部画像を重畳し、前記右方透過領域に右方下部画像を重畳し、前記後方透過領域の外郭線を描画するとともに、前記左方透過領域及び右方透過領域の外郭線を描画する重畳処理部と、
   前記重畳処理部が処理を行ったシンボル画像を中央にしてその周辺に前記俯瞰画像を配置して合成を行う画像合成部と、
   前記画像合成部が合成した画像を１つの表示画像として生成する表示画像生成部と、
   前記ダンプトラックの運転室に備えられ、前記表示画像生成部が生成した表示画像を表示する画面部と、
   を有するダンプトラックの表示装置。
2. 前記重畳処理部は、前記シンボル画像と同じ態様で前記外郭線を描画する請求項１に記載のダンプトラックの表示装置。
3. 前記重畳処理部は、前記ダンプトラックの走行を操作する走行操作部に応じて、前記後方透過領域、前記右方透過領域及び前記左方透過領域のそれぞれについて透過させるか否かの制御を行う請求項１又は２のいずれかに記載のダンプトラックの表示装置。
   

Images