JP5814187B2 - 自走式産業機械の表示装置 - Google Patents

Description

本発明は、ダンプトラックや油圧ショベル等の自走式産業機械の走行操作を行うときにその支援を行う自走式産業機械の表示装置に関するものである。

自走式産業機械が多様な作業現場で利用されている。自走式産業機械の１つにダンプトラックがある。ダンプトラックは、車体のフレーム上に起伏可能とした荷台（ベッセル）を備えており、このベッセルに砕石物や土砂等の運搬対象物を積載する。そして、ダンプトラックは所定の集積場に土砂等を運搬して排土する。ベッセルに積載された土砂等を排土するときには、ダンプトラックを排土位置まで後進させて、停止させる。この状態でベッセルを傾斜させて土砂等を排土する。そして、排土を終えるとベッセルを元の位置に戻して、ダンプトラックを前進させる。

一方、自走式産業機械の１つに油圧ショベルがある。油圧ショベルは、クローラ式またはホイール式の走行手段を有する下部走行体と下部旋回体に対して旋回可能な上部旋回体とを有している。上部旋回体には運転室（キャブ）が設けられており、上部旋回体に対して俯抑動作可能に連結したブームと、ブームの先端に上下方向に回動可能に連結したアームと、土砂の掘削等の作業を行うバケットとが作業手段として上部旋回体に設けられている。

ダンプトラックや油圧ショベル等の自走式産業機械の運転室に搭乗するオペレータにとって、前方の視野は確保されているものの、後方や左右側方には死角を生じる。このため、オペレータが肉眼で視認することが困難な方向が生じる。そこで、運転室に設けられるモニタに上方に仮想視点を置いた俯瞰画像を表示することで、自走式産業機械の周囲の状況をオペレータに補助的に認識させることができる。俯瞰画像を表示する技術の一例が特許文献１に開示されている。この特許文献１の技術は自走式産業機械ではなく、自動車の周囲を俯瞰画像として表示する技術であるが、自動車のＣＧを中心として、前後左右に俯瞰画像を合成して表示する画面を作成している。

特開２０１０−２５１９３９号公報

前述した特許文献１の俯瞰画像は、自動車のＣＧを中心として、前後左右に俯瞰画像を合成している。これを合成俯瞰画像とする。この合成俯瞰画像は、オペレータが視認し易いようにモニタに表示することが自然である。このために、合成俯瞰画像の中心の自動車のＣＧの前方はモニタの上方に向くように表示される。つまり、合成俯瞰画像は縦方向に表示される。これにより、オペレータは、合成俯瞰画像に基づいて、自車両の周辺の状況を直感的に認識することができる。

ただし、俯瞰画像を表示する方向が常に一定であるとは限らない。オペレータの嗜好や表示態様によっては合成俯瞰画像が横方向に表示されることもある。この場合に、特許文献１のように車両の前方の方向が明確に識別できる自動車のＣＧを用いれば、合成俯瞰画像が横方向に表示されたとしても、車両の前方を認識することはできる。

自走式産業機械の場合も同様に、自走式産業機械を再現したシンボル画像を中心として、前後左右に俯瞰画像を合成して合成俯瞰画像とする。このとき、合成俯瞰画像の中央のシンボル画像が自走式産業機械の前方を明確に示している場合はともかく、そうでない場合は、合成俯瞰画像を横方向に表示すると、自走式産業機械の前方を一見して把握することは難しくなる。この場合、オペレータが合成俯瞰画像に基づいて、自走式産業機械の方向性を誤認したまま走行操作を行うと、オペレータの意図しない方向に走行することになる。

そこで、本発明は、俯瞰画像を表示する方向が何れの方向であっても、オペレータに俯瞰画像の方向性を直感的且つ正確に認識させることを目的とする。

以上の課題を解決するために、本発明の自走式産業機械の表示装置は、自走式産業機械の周辺を撮影する斜め下方を光軸とした複数のカメラと、各カメラが撮影したカメラ画像に対してそれぞれ上方視点となるように視点変換した俯瞰画像を生成する視点変換部と、前記自走式産業機械をシンボル化したシンボル画像の周囲に前記俯瞰画像を合成して合成俯瞰画像を生成する画像合成部と、前記自走式産業機械の運転室に備えられ、前記合成俯瞰画像を任意の方向で表示する表示装置とを有し、前記表示装置には、前記自走式産業機械の走行を操作する走行操作部からの情報に基づいて、前記走行操作部により走行させるときには前記シンボル画像の中に走行方向を示す走行方向表示部を重畳させるようにしている。

この発明によれば、走行操作部の操作に連動して走行方向表示部の表示方向が表示されるようになっているので、合成俯瞰画像がどのような方向で表示されたとしても、オペレータは自走式産業機械の走行方向を直感的且つ正確に認識することができる。

また、前記表示装置の画面部は横長であり、且つ前記合成俯瞰画像は縦長であり、前記合成俯瞰画像を前記画面部に表示するときに横方向にして表示するようにしてもよい。

合成俯瞰画像が縦長であり、画面部が横長のときに、合成俯瞰画像を縦方向で表示すると、画面部の表示領域に大きく表示することができないため、画面部の有効利用を図ることができない。そこで、合成俯瞰画像を横方向で表示することで、画面部の有効利用を図ることができ、合成俯瞰画像を大きく表示できる。このとき、前方表示部が表示されているため、オペレータは自走式産業機械の前方の方向を直感的且つ正確に認識することができる。

また、前記俯瞰画像を横方向にして前記画面部に表示する第１の表示モードと、前記画面部を横方向に分割したときの１つの領域に前記合成俯瞰画像を縦方向で表示し、他の領域に視点変換していない前記カメラ画像を表示する第２の表示モードと、を切り替え可能にしてもよい。

第１の表示モードでは、合成俯瞰画像を大きく表示することができるため、良好な視認性で合成俯瞰画像を認識することができる。一方、第２の表示モードでは、合成俯瞰画像とカメラ画像との両者を表示できることから、合成俯瞰画像の視認性は低下するものの、カメラ画像を直接的に視認することができることから、走行操作時に十分な情報を得ることができる。

前記自走式産業機械の走行を操作する走行操作部からの情報に基づいて、前記走行操作部により走行させるときには前記シンボル画像の中に走行方向を示す走行方向表示部を重畳して表示装置に表示する。一方、前記走行操作部により走行が停止されているときには前記走行方向表示部を重畳させないようにしてもよい。そして、前記走行操作部からの情報は、少なくともシフトレバー情報を含む。

前方表示部により自走式産業機械の前方の方向を直感的且つ正確に認識できるが、走行方向表示部を表示することで、前方および走行方向の両者について直感的且つ正確に認識することができる。

また、前記方向重畳部は、前記前方表示部を前記シンボル画像の中の運転室の位置に重畳するようにしてもよい。

オペレータは運転室に搭乗して、自走式産業機械の操作を行う。従って、運転室から見た前方が自走式産業機械の前方になるため、運転室の位置に前方表示部を重畳することで、より直感的に自走式産業機械の前方の方向を認識することができる。

また、前記方向重畳部は、前記前方表示部を前記シンボル画像の色とは異なる色で重畳するようにしてもよい。

シンボル画像と前方表示部とが同じ色であると前方表示部を明瞭に視認することができない。そこで、両者を異なる色で表示することで、オペレータに前方の方向を明瞭に認識させることができる。

本発明は、シンボル画像に走行方向表示部を設けて、この走行方向表示部の表示を走行操作部の操作に連動するように制御することから、自走式産業機械が走行する方向を正確に表示させることができて、オペレータは自走式産業機械の走行時には確実に、しかも迅速かつ正確に走行方向を認識できる。

ダンプトラックの左側面図である。 ダンプトラックの平面図である。 運転室に取り付けられるモニタの一例を示した図である。 運転室に取り付けられるモニタの他の例を示した図である。 表示コントローラのブロック図である。 視点変換処理の原理を説明した図である。 画面部に表示される合成俯瞰画像の一例を示す図である。 第２の表示モードの画面例を示す図である。 図７の他の例を示す図である。 境界線を異ならせた場合を示す図である。 走行方向アイコンを表示した例を示す図である。 走行方向アイコンを表示した他の例を示す図である。

以下、図面を参照して、本発明の実施形態について説明する。自走式産業機械としては、運搬車両や建設機械、道路工事機械等があり、運搬車両としては主にダンプトラック、建設機械としては主に油圧ショベルがある。ここでは、自走式産業機械としてダンプトラックを適用しているが、ダンプトラック以外の自走式産業機械を適用してもよい。ダンプトラックとしてはリジットダンプとアーティキュレートダンプとがあるが、何れを適用してもよい。なお、以下において、「左」とは運転室から見た左側であり、「右」とは運転室から見た右側になる。

図１はダンプトラック１の左側面図を示しており、図２は平面図を示している。これらの図に示すように、ダンプトラック１は、運転室２とフレーム３とベッセル４と前輪５と後輪６と駆動用シリンダ７とを備えて構成している。また、ダンプトラック１の前後左右にカメラ１０（前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌ）が設けられており、各カメラ１０が撮影した映像をカメラ画像として出力している。

前方カメラ１０Ｆは前方、後方カメラ１０Ｂは後方、右方カメラ１０Ｒは右側方、左方カメラ１０Ｌは左側方を視野とするカメラである。図２では、前方カメラ１０Ｆの視野範囲を前方視野範囲ＶＦ、後方カメラ１０Ｂの視野範囲を後方視野範囲ＶＢ、右方カメラ１０Ｒの視野範囲を右方視野範囲ＶＲ、左方カメラ１０Ｌの視野範囲を左方視野範囲ＶＬとして、仮想線で示している。図中では、各視野範囲は矩形として例示しているが、視野範囲は矩形に限定されない。

各カメラ１０はダンプトラック１の周辺を撮影しているが、その撮影方向は斜め下方になっている。つまり、光軸方向が斜め下方になっている。なお、ダンプトラック１に備えられるカメラ１０の個数は任意の数とすることができる。ただし、オペレータの肉眼による視野の死角を生じる方向を撮影する後方カメラ１０Ｂと右方カメラ１０Ｒと左方カメラ１０Ｌとを備えることが望ましい。また、アーティキュレートダンプの場合には、さらに多くのカメラを設けてもよい。

運転室２はオペレータが搭乗してダンプトラック１を操作するために設けられており、ダンプトラック１の左側に配置されているものが多い。また、各種の操作手段が運転室２に設けられている。フレーム３はダンプトラック１の枠組みを構成するものであり、フレーム３の前方には前輪５が設けられ、後方には後輪６が設けられている。ベッセル４は荷台であり、土砂や鉱物等を積載する。ベッセル４には駆動用シリンダ７が取り付けられており、傾動可能になっている。これにより、ベッセル４に積載された土砂等を排土することが可能になっている。

図３は、運転室２の一例を示している。運転室２には、走行方向を操作するハンドル１１とダンプトラック１の計器類等を表示するコンソール１２とピラー１３とが設けられている。そして、ピラー１３には回転可能な取付部１４が設けられており、取付部１４にモニタ１５が取り付けられている。取付部１４としては、例えばフレキシブルジョイントやヒンジ機構等を用いることができ、モニタ１５を回転させることができる。

モニタ１５は画面部１６と入力部１７とを備えて構成した表示装置である。画面部１６は所定の情報を表示する画面であり、そのアスペクト比は縦より横の方が大きい（縦方向の画素数より横方向の画素数の方が多い）。つまり、画面部１６は横長となっている。入力部１７は画面部１６の表示内容を適宜に操作するために設けている。なお、モニタ１５の位置は運転室２の内部であれば任意の位置に設けてもよい。また、入力部１７を省略して、画面部１６をタッチセンサパネルとしてもよい。

モニタ１５は取付部１４により取り付けられており、回転可能になっている。図４は、図３の状態からモニタ１５を９０度回転した状態を示している。この場合は、画面部１６のアスペクト比に変化はないが、オペレータは画面部１６を縦長にして視認することができる。オペレータは自身の嗜好により、取付部１４を回転させることで、モニタ１５を図３のような状態にすることもでき、図４のような状態にすることもできる。なお、取付部１４を回転不能にして、予めモニタ１５の方向性を決めて固定するようにしてもよい。

図５は、モニタ１５に接続される表示コントローラ１８および表示コントローラ１８に接続される車体コントローラ１９を示している。同図に示すように、表示コントローラ１８は画像補正部２１と視点変換部２２とシンボル画像保持部２３と前方アイコン重畳部２４と画像合成部２５と表示態様制御部２６と表示画像生成部２７とを備えている。表示コントローラ１８の各部はソフトウェアで実現することが可能であり、ＣＰＵにより各部の機能が行われるようにすることもできる。

画像補正部２１は、前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌが撮影しているカメラ画像（スルー画像）を入力している。そして、入力したカメラ画像に対して、カメラ光学系パラメータ等に基づいて、レンズ歪み補正や収差補正、コントラスト補正、色調補正等の各種の画像補正を行う。これにより、入力した画像の画質を向上させる。画像補正部２１が入力した補正したカメラ画像は視点変換部２２に出力される。

視点変換部２２は、画像補正部２１から入力したカメラ画像に対して視点変換処理を行って、俯瞰画像（仮想視点画像）を生成する。前述したように、各カメラ１０は斜め下方を光軸方向としており、これを上方からの仮想的な視点に変換する。図６に示すように、カメラ１０（前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌ）の対物レンズの光軸Ａは、地表Ｇに対して所定角度θを有しており、これにより、カメラ１０の光軸は斜め下方になっている。視点変換部２２では、光軸方向が垂直方向となるような仮想カメラ１０Ｖを高さＨに仮想的に設定し、この仮想カメラ１０Ｖが地表Ｇを見下ろした画像データに座標変換する。このように上方からの視点に変換した画像は仮想的な平面画像（俯瞰画像）となる。

従って、前方カメラ１０Ｆのカメラ画像からは前方俯瞰画像が生成され、後方カメラ１０Ｂのカメラ画像からは後方俯瞰画像が生成され、右方カメラ１０Ｒのカメラ画像からは右方俯瞰画像が生成され、左方カメラ１０Ｌのカメラ画像からは左方俯瞰画像が生成される。なお、前述したように、カメラ１０の個数は任意に設定できるため、生成する俯瞰画像の個数もカメラ１０の個数に応じて変化する。ただし、前述したように、オペレータの死角となる前方俯瞰画像と左方俯瞰画像と右方俯瞰画像との３つの俯瞰画像を生成することが望ましい。

シンボル画像保持部２３は、シンボル画像を保持する。シンボル画像はダンプトラック１をシンボル（キャラクタ）として画面部１６で表示するときの画像である。従って、シンボル画像はダンプトラック１の形状を再現した画像になる。このときの再現性が高ければ、オペレータはダンプトラック１の形状を正確に認識することができる。ただし、忠実にダンプトラック１の形状を再現した画像でなくてもよい。ダンプトラック１と認識できるものであれば、図形等をシンボル画像としてもよい。

前方アイコン重畳部２４は前方表示重畳部であり、シンボル画像の前方、つまりダンプトラック１の前方の方向を示す前方アイコンを保持している。前方アイコンは前方表示部であり、保持している前方アイコンをシンボル画像に重畳する処理を行う。シンボル画像はダンプトラック１の形状を再現した画像であるため、シンボル画像のうち運転室の位置に前方アイコンを重畳する。ここでは前方アイコンを運転室の位置に重畳するが、前方アイコンはシンボル画像の中の任意に位置に重畳するようにしてもよい。

画像合成部２５は、視点変換部２２が視点変換した各俯瞰画像を入力し、シンボル画像保持部２３が保持するシンボル画像を入力する。そして、シンボル画像を中央にして、その周辺に各俯瞰画像を配置して合成を行う。そして、シンボル画像を中心にして、前側に前方俯瞰画像を、後側に後方俯瞰画像を、右側に右方俯瞰画像を、左側に左方俯瞰画像を配置する合成を行う。

シンボル画像を表示する領域は長方形の領域を採用しており、その四隅から各俯瞰画像を表示する領域を区分けする４つの境界線が形成される。４つの境界線はシンボル領域の領域から放射状に形成される。当該境界線およびシンボル画像の領域により各俯瞰画像を表示する領域が区画形成される。そして、画像合成部２５は、４つに区画形成された領域に各俯瞰画像を合成する処理を行う。この処理により生成される画像が合成俯瞰画像であり、シンボル画像を中心にして、前側に前方俯瞰画像を、後側に後方俯瞰画像を、右側に右方俯瞰画像を、左側に左方俯瞰画像を配置した画像になる。

表示態様制御部２６は、画面部１６に表示させる画像の態様を制御する。画面部１６には合成俯瞰画像を任意の方向で表示することができ、また画面部１６の領域を２つに分割して、１つの領域に合成俯瞰画像、他の領域にカメラ画像を表示することもできる。従って、表示態様を変化させることができ、その制御を表示態様制御部２６が行う。

表示画像生成部２７は、画像合成部２５が生成した合成俯瞰画像や画像補正部２１が補正処理したカメラ画像を入力して、画面部１６に表示する表示画像を生成する。このとき、表示態様制御部２６により、どのような表示態様で表示させるかが制御される。本実施形態では、第１の表示モードと第２の表示モードとを切り替えて表示する。表示画像生成部２７が生成した表示画像が画面部１６に出力されて、画面部１６に表示される。

図５に示すように、表示コントローラ１８は車体コントローラ１９と接続されている。車体コントローラ１９にはダンプトラック１をコントロールするための各種の操作手段が接続されている。そのうちの１つがシフトレバー２８である。シフトレバー２８はオペレータがダンプトラック１の走行を操作する走行操作部であり、前進位置、中立位置、後進位置の３つの位置に変位する。シフトレバー２８が前進位置に位置しているときには、ダンプトラック１は前進し、後進位置に位置しているときにはダンプトラック１は後進する。また、中立位置に位置しているときにはダンプトラック１は停止する。シフトレバー２８からは何れの位置（前進位置、中立位置、後進位置）にあるかのシフトレバー位置情報が車体コントローラ１９に入力される。そして、シフトレバー位置情報は車体情報として表示コントローラ１８に出力される。

また、車体コントローラ１９にはハンドル１１からステアリング情報が入力される。ハンドル１１の操作によりダンプトラック１は左右何れかに方向を変化させるが、このとき、ハンドル１１の操作情報がステアリング情報として車体コントローラ１９に入力される。これにより、車体コントローラ１９は走行方向の角度を認識することができる。

以上の構成を用いて、モニタ１５の画面部１６に表示される表示画像を表示コントローラ１８が作成する。図７は、モニタ１５が図３の状態で設置されたときの画面例を示している。モニタ１５として、一般的な液晶ディスプレイ等を用いた場合には、画面部１６のアスペクト比は縦よりも横の方が大きい。つまり、横方向をＸ方向、縦方向をＹ方向としたときに、Ｘ：Ｙが４：３や１６：９等といったアスクペクト比の画面が用いられる。つまり、モニタ１５を図３のように設置した場合と図４のように設置した場合とで、オペレータの見た目としては横長と縦長とで変化するが、画面部１６そのもののアスペクト比に変化を生じることはない。ここでは、モニタ１５を図３の状態で設置した場合を説明する。

モニタ１５の画面部１６に画像を表示するためには、各カメラ１０が撮影を行っていなければならない。このために、オペレータはエンジンを始動させる等して、各カメラ１０が撮影を開始する。前述したように、各カメラ１０は斜め下方を撮影しており、前方カメラ１０Ｆは前方の斜め下方、後方カメラ１０Ｂは後方の斜め下方、右方カメラ１０Ｒは右側方の斜め下方、左方カメラ１０Ｌは左側方の斜め下方の映像を撮影している。

そして、各カメラ１０は、撮影した映像をカメラ画像として表示コントローラ１８に出力（転送）する。各カメラ１０は所定の撮影周期で撮影を行っており、撮影周期ごとにカメラ画像が転送される。これにより、画面部１６には動画を表示することができる。なお、静止画を表示するようにしてもよい。

図５に示したように、画像補正部２１は各カメラ１０から出力されるカメラ画像に対して所定の補正処理を行う。これにより、カメラ画像の画質が向上する。補正処理が行われたカメラ画像は視点変換部２２で視点変換される。前方カメラ１０Ｆが撮影したカメラ画像により前方俯瞰画像３２Ｆが生成され、後方カメラ１０Ｂが撮影したカメラ画像により後方俯瞰画像３２Ｂが生成され、右方カメラ１０Ｒが撮影したカメラ画像により右方俯瞰画像３２Ｒが生成され、左方カメラ１０Ｌが撮影したカメラ画像により左方俯瞰画像３２Ｌが生成される（前後左右の各俯瞰画像を総称して俯瞰画像３２とする）。そして、生成された各俯瞰画像３２は画像合成部２５に出力される。

画像合成部２５は、シンボル画像保持部２３から図７に示すようなシンボル画像３１を取得する。そして、シンボル画像３１を画面部１６の中央の領域に配置する。ところで、ダンプトラック１の形状は上方から見ると概略長方形をしており、ダンプトラック１の形状を再現したシンボル画像３１からは前方を把握しにくい。また、ダンプトラック１は左右方向の長さよりも前後方向の長さの方が長くなる。従って、ダンプトラック１の形状を再現したシンボル画像３１も左右方向よりも前後方向の方が長くなる。

前述したように、画面部１６のアスペクト比は縦よりも横の方が大きい。従って、シンボル画像３１も前後方向をＸ方向に合わせ、左右方向をＹ方向に合わせるようにする。これにより、画面部１６におけるシンボル画像３１のアスペクト比も縦よりも横の方が大きくなる。つまり、画面部１６のアスペクト比に応じてシンボル画像３１の方向を決定している。従って、シンボル画像３１の前後方向がＸ方向になるため、シンボル画像３１の前方、つまりダンプトラック１の前方もＸ方向となる。

画像合成部２５は、シンボル画像保持部２３からシンボル画像３１を取得して、以上のようにして画面部１６の中央に配置する。このとき、図７の境界線Ｌ３およびＬ４に挟まれた領域に前方俯瞰画像３２Ｆが合成され、境界線Ｌ１およびＬ３に挟まれた領域に右方俯瞰画像３２Ｒが合成され、境界線Ｌ２およびＬ４に挟まれた領域に左方俯瞰画像３２Ｌが合成され、境界線Ｌ１およびＬ２に挟まれた領域に後方俯瞰画像３２Ｂが合成される。これにより、図７に示すような合成俯瞰画像が生成される。この合成俯瞰画像は、所謂俯瞰画像表示である。

合成俯瞰画像は画面部１６の全領域を使用して表示することもできる。このため、合成俯瞰画像を大きく表示することができる。これは、画面部１６のアスペクト比がＹ方向よりもＸ方向の方が大きいときに、シンボル画像３１の前後方向をＸ方向とし、左右方向をＹ方向としているためである。これにより、画面部１６に合成俯瞰画像を大きく表示することができるため、オペレータはダンプトラック１の周辺の状況を良好に視認することができる。

ところで、前述したように、シンボル画像３１の前後方向をＸ方向としている。従って、オペレータが画面部１６を視認するときには、シンボル画像３１の前方はＸ方向、つまり横方向となっている。オペレータの感覚としては、シンボル画像３１の前方がＹ方向、つまりモニタ１５の上方向を向いていると、シンボル画像３１の前方を認識し易い。しかし、シンボル画像３１の前方がＸ方向、つまり横方向を向いていると、シンボル画像３１の前方を識別することが難しくなる。これにより、ダンプトラック１の前方が何れの方向であるかについて、オペレータの思考に混乱を生じさせ、ダンプトラック１の前方を誤認させる要因となる可能性がある。

そこで、前方アイコン重畳部２４は前方アイコン３３をシンボル画像３１に重畳する。前方アイコン３３はシンボル画像３１の前方を示す指標であり、図７では三角形を用いて前方を示している。つまり、三角形の頂点の方向が前方であることを示している。オペレータは前方アイコン３３を視認することにより、シンボル画像３１の前方がＸ方向となっている場合であっても、一見してシンボル画像３１の前方を認識することができる。これにより、オペレータは合成俯瞰画像の方向性を正確且つ直感的に認識することができる。

画像合成部２５は、前方アイコン重畳部２４が前方アイコン３３をシンボル画像３１に重畳した合成俯瞰画像を表示画像生成部２７に出力する。表示態様制御部２６は、図７に示すように、画面部１６の表示領域に大きく合成俯瞰画像を表示させる第１の表示モードを選択している。表示画像生成部２７は、表示態様制御部２６から第１の表示モードが制御されていることを認識して、合成俯瞰画像を表示画像として画面部１６に出力する。そして、画面部１６が表示画像（合成俯瞰画像）を表示することで、図７のような俯瞰画像表示を行うことができる。

この俯瞰画像表示を行うことで、図７に示すように、サービスカーが障害物Ｓ１として接近していることをオペレータに認識させることができる。画面部１６に表示されている俯瞰画像を視認することで、オペレータはダンプトラック１と障害物Ｓ１との位置関係を明瞭に認識することができる。図７のように障害物Ｓ１が接近しているため、オペレータは左斜め前方にダンプトラック１を走行すると、障害物Ｓ１とダンプトラック１とが干渉することを認識することができる。

このときに、オペレータがシンボル画像３１の前方の方向性を誤認したまま走行操作を行うと、ダンプトラック１を障害物Ｓ１の方向に走行させるおそれがある。しかし、シンボル画像３１には前方アイコン３３が重畳されているため、前方アイコン３３を視認することで、ダンプトラック１の前方が何れの方向であるかを正確に且つ直感的に認識することができ、ダンプトラック１を障害物Ｓ１の方向に向けて走行させるおそれはない。

以上の第１の表示モードでは、画面部１６の表示領域を大きく有効活用することができ、全領域或いはほぼ全ての領域に合成俯瞰画像を表示することができる。これにより、合成俯瞰画像を大きく表示することができ、オペレータにダンプトラック１の周囲の状況を詳細に認識させることができる。このために、シンボル画像３１の前方はＸ方向を向いているが、前方アイコン３３を重畳していることで、オペレータに方向性を正確且つ直感的に認識させることができる。

次に、第２の表示モードについて説明する。図８は、第２の表示モードの一例を示している。表示態様制御部２６は第２の表示モードを選択する。第１の表示モードと第２の表示モードとの何れを選択するかは適宜に設定することができる。例えば、入力部１７を用いてオペレータが入力操作を行ってもよいし、所定時間ごとに第１の表示モードと第２の表示モードとが切り替わるようにしてもよい。勿論、第１の表示モードおよび第２の表示モード以外の任意の表示態様を表示させるように制御させてもよい。

図８に示すように、第２の表示モードでは、画面部１６を横方向（Ｘ方向）に領域を均等に分割して、第１の表示領域１６Ａと第２の表示領域１６Ｂとを形成する。第１の表示領域１６Ａには合成俯瞰画像を表示し、第２の表示領域１６Ｂにはカメラ画像を表示する。第２の表示領域１６Ｂに表示するカメラ画像は視点変換部２２により視点変換処理がされていない画像であり、カメラ１０が撮影した映像である。カメラ画像は４つのカメラ１０のうち何れのカメラ１０であってもよいが、オペレータにとって殆ど死角となる後方の画像、つまり後方カメラ１０Ｂが撮影したカメラ画像であることが望ましい。なお、当該カメラ画像は画像補正部２１により補正処理をして画質を向上させたものを用いることができる。

表示画像生成部２７は、画像補正部２１から後方のカメラ画像を取得し、画像合成部２５から合成俯瞰画像を取得する。そして、第１の表示領域１６Ａに合成俯瞰画像を表示し、第２の表示領域１６Ｂにカメラ画像を表示する。勿論、合成俯瞰画像を第２の表示領域１６Ｂに表示し、カメラ画像を第１の表示領域１６Ａに表示するようにしてもよい。

ここで、第１の表示領域１６Ａには合成俯瞰画像が表示されるが、この合成俯瞰画像は図７の状態から９０度回転されている。つまり、シンボル画像３１の前後方向がＹ方向になり、左右方向がＸ方向になる。画面部１６のアスペクト比は縦より横の方が大きいが、画面部１６を分割した第１の表示領域１６Ａに関しては、アスペクト比は横より縦の方が大きい。従って、シンボル画像３１の前後方向がＹ方向、左右方向がＸ方向となるように、合成俯瞰画像を回転させる。

そして、第１の表示領域１６Ａは、図７の画面部１６の全領域の大きさの半分の大きさとなるため、合成俯瞰画像の縮小処理を行って、第１の表示領域１６Ａに縮小した合成俯瞰画像を表示する。また、第２の表示領域１６Ｂには後方のカメラ画像が表示される。これにより、図８のような表示態様になる。

合成俯瞰画像は縮小処理を行っているため、図７のように画面部１６の全領域に合成俯瞰画像を表示する場合と比較すると、視認性は低下する。ただし、ダンプトラック１の後方はオペレータにとって殆ど死角となっており、後方の状況を認識することができなくなる。このときに、合成俯瞰画像の視認性がある程度低下したとしても、後方のカメラ画像を表示することで、ダンプトラック１の後方の状況を詳細に認識することができる。また、合成俯瞰画像の視認性が第１の表示モードよりも低下するとしても、合成俯瞰画像は表示がされているため、ダンプトラック１の周辺の状況を認識することもできる。このように、合成俯瞰画像と後方のカメラ画像とを並列して表示することで、ダンプトラック１の周辺の状況を認識でき、且つ後方の状況を詳細に認識することができる。

ところで、第２の表示モードにおいて、シンボル画像３１の前方はＹ方向を向いている。これは、オペレータにとって自然な見え方であり、ダンプトラック１の前方の方向性を誤認する可能性は少ない。従って、シンボル画像３１に前方アイコン３３を重畳しないことも考えられる。

ただし、第１の表示モードと第２の表示モードとは切り替え可能に構成しているため、第２の表示モードではシンボル画像３１の前方はＸ方向であったものが、第１の表示モードではシンボル画像３１の前方はＹ方向になる。つまり、シンボル画像３１の前方の方向は表示態様によって切り替わる。このため、第２の表示モードにおいても、つまりオペレータにとって自然な見え方で合成俯瞰画像が表示されている場合であっても、前方アイコン３３を重畳する。これにより、より確実にオペレータにシンボル画像３１の前方を認識させることができる。

なお、図８では、画面部１６を２つに均等に分割して第１の表示領域１６Ａと第２の表示領域１６Ｂとしたが、領域の分割は均等でなくてもよい。また、画面部１６を２つに分割した例を示したが、３つ以上に分割してもよい。これにより、多くの情報を表示することができる。ただし、ダンプトラック１の運転室２に取り付けるモニタ１５は、オペレータの前方の視界を妨げないように小型サイズが用いられる。従って、画面部１６のサイズも大きくはなく、画面部１６を多くの領域に分割すると、各領域に表示される画像が非常に小さくなり、視認性が低下する。そこで、画面部１６の領域は２つ程度に分割することが望ましく、その分割数は多くとも４つ程度までにすることが望ましい。

従って、第１の表示モードでは、俯瞰画像表示を画面部１６の多くの領域を有効的に活用して、合成俯瞰画像を大きく表示することができることから、ダンプトラック１の周辺の状況をオペレータに詳細に認識させることができる。シンボル画像３１の前方はＸ方向を向くことになるが、前方アイコン３３に基づいて、オペレータは正確且つ直感的に方向性を認識することができる。

そして、第２の表示モードでは、合成俯瞰画像とカメラ画像とを同時に表示することで、合成俯瞰画像の視認性は第１の表示モードよりも低下するものの、後方のカメラ画像を表示することで、オペレータにとって最も死角となる後方の状況を詳細に認識することができる。従って、第１の表示モードと第２の表示モードとを切り替え可能に構成することで、それぞれのメリットを活かした表示態様で画面部１６に表示することができる。

以上において、前方アイコン重畳部２４はシンボル画像３１の中の運転室２の位置に前方アイコン３３を重畳することが望ましい。オペレータは運転室２に搭乗して、ダンプトラック１の操作を行うため、運転室の位置に前方アイコン３３を重畳することで、オペレータにとって、さらに直感的にダンプトラック１の前方の方向を認識することが可能になる。ただし、前方アイコン３３は運転室２の位置に重畳することが望ましいが、シンボル画像３１の中であれば任意の位置に重畳することもできる。要は、オペレータにシンボル画像３１の前方を直感的且つ正確に認識させることができれば、任意の位置に重畳することができる。

この点、シンボル画像３１の前方をより明確に表示するためには、図９に示すように、前方アイコン３３のサイズを大きくして表示することもできる。ただし、シンボル画像３１の外形はダンプトラック１の形状を再現しており、俯瞰画像表示ではシンボル画像３１に基づいて、ダンプトラック１とその周辺の障害物との位置関係を認識する。従って、前方アイコン３３のサイズを大きくするとしても、シンボル画像３１の外形よりも内側の範囲内で大きくすることが望ましい。

また、シンボル画像３１は所定の色で予め作成されたキャラクタであり、シンボル画像３１と同色の前方アイコン３３を重畳すると、オペレータの前方アイコン３３の視認性が低下する。そこで、前方アイコン３３の色はシンボル画像３１とは異なる色に設定する。これにより、オペレータは明瞭に前方アイコン３３を認識することが可能になる。

前方アイコン３３としては、三角形のアイコンを用い、その頂点がシンボル画像３１の前方を示していたが、三角形のアイコン以外を用いてもよい。例えば、矢印を用いてもよい。また、シンボル画像３１の中の運転室２の位置にハンドルのキャラクタを重畳することによっても、オペレータは前方を認識することができる。何れにしても、前方を明確に表示することができれば、アイコン形式でなくても、任意の手段を用いることができる。

また、図７に示した例では、境界線Ｌ１乃至Ｌ４は、シンボル画像３１を表示する長方形の領域の角隅部（四隅）から画面部１６の角隅部（四隅）まで形成していたが、図１０に示すように、画面部１６の角隅部以外の箇所まで形成するようにしてもよい。同図に示すように、境界線Ｌ１およびＬ２は、画面部１６の角隅部から離間した位置まで形成している。後方カメラ１０Ｂが高画素且つ広角の場合には、後方カメラ１０Ｂが撮影した後方俯瞰画像３２Ｂを優先的に表示するようにしてもよい。この場合には、後方カメラ１０Ｂの画角に応じて境界線Ｌ１およびＬ２を図１０のように形成してもよい。

次に、ダンプトラック１の走行操作による画像合成部２５の処理について説明する。運転室２に搭乗したオペレータはシフトレバー２８を操作して、ダンプトラック１を走行させる。前述したように、シフトレバー２８は前進位置と中立位置と後進位置とがあり、シフトレバー２８の位置によって、ダンプトラック１を走行させるか否か、および走行させる場合には走行方向が決定される。シフトレバー２８がどの位置に入っているかの情報（シフトレバー位置情報）は車体コントローラ１９に入力され、車体コントローラ１９は車体情報としてシフトレバー位置情報を表示コントローラ１８に出力する。

画像合成部２５はシフトレバー位置情報を取得する。これにより、画像合成部２５はダンプトラック１の走行方向を認識する。そこで、図１１（ａ）に示すように、画像合成部２５は合成俯瞰画像内、特にシンボル画像３１の中、さらには前方アイコン３３に近接した位置に走行方向表示部としての走行方向アイコン３４を重畳する。

つまり、オペレータがシフトレバー２８を前進位置に操作したときには、ダンプトラック１は前進する。このとき、画像合成部２５はシフトレバー位置情報に基づいて、走行方向アイコン３４を表示する。つまり、前方アイコン３３と一致する方向を示す走行方向アイコン３４を表示する。これにより、オペレータは、シンボル画像３１の前方を前方アイコン３３により認識できると共に、自身が操作したシフトレバー２８によりダンプトラック１が前進することを認識することができる。

同図（ｂ）は、シフトレバー２８を中立位置に操作した場合の画面例を示している。シフトレバー２８が中立位置に操作されたときには、ダンプトラック１は走行を行わない（つまり、停止している）。従って、画像合成部２５は走行方向アイコン３４を重畳しない。これにより、走行方向アイコン３４が表示されていないため、画面部１６からもダンプトラック１が停止状態であることを認識することができる。

同図（ｃ）は、オペレータがシフトレバー２８を後進位置に操作したときの画面例を示している。この場合には、ダンプトラック１は後進を行う。画像合成部２５はシフトレバー位置情報に基づいて、走行方向アイコン３４を表示する。つまり、前方アイコン３３と逆方向を示す走行方向アイコン３４を表示する。これにより、オペレータは、シンボル画像３１の前方を前方アイコン３３により認識できると共に、自身が操作したシフトレバー２８によりダンプトラック１が後進することを認識することができる。

また、図５に示すように、ハンドル１１からステアリング情報が車体コントローラ１９に入力され、ステアリング情報は画像合成部２５に入力される。このときに、シフトレバー位置情報とステアリング情報とに基づいて、前進または後進を行うときに左右の何れの方向に走行するかが認識される。このときに、図１２に示すように、シフトレバー位置情報とステアリング情報とに基づいて、走行方向アイコン３４の方向を変化させる。これにより、実際にダンプトラック１が走行する方向に応じた走行方向アイコン３４を表示することができる。

以上は、自走式産業機械としてダンプトラック１を適用した場合を説明したが、ダンプトラック１以外の自走式作業機械であってもよい。シンボル画像３１に基づいて、前方の方向が明確に認識できない場合には、前方アイコン３３を重畳して表示することで、俯瞰画像表示のときに自走式産業機械の前方の方向を直感的且つ正確に認識することができる。

１ ダンプトラック
２ 運転室
１０ カメラ
１５ モニタ
１５ 画面部
１６ 画面部
１６Ａ 第１の表示領域
１６Ｂ 第２の表示領域
１８ 表示コントローラ
１９ 車体コントローラ
２１ 画像補正部
２２ 視点変換部
２３ シンボル画像保持部
２４ 前方アイコン重畳部
２５ 画像合成部
２６ 表示態様制御部
２７ 表示画像生成部
２８ シフトレバー
３１ シンボル画像
３２ 俯瞰画像
３３ 前方アイコン
３４ 走行方向アイコン

Claims (4)

1. 自走式産業機械の周辺を撮影する斜め下方を光軸とした複数のカメラと、
   各カメラが撮影したカメラ画像に対してそれぞれ上方視点となるように視点変換した俯瞰画像を生成する視点変換部と、
   前記自走式産業機械をシンボル化したシンボル画像の周囲に前記俯瞰画像を合成して合成俯瞰画像を生成する画像合成部と、
   前記自走式産業機械の運転室に備えられ、前記合成俯瞰画像を任意の方向で表示する表示装置とを有し、
   前記表示装置には、前記自走式産業機械の走行を操作する走行操作部からの情報に基づいて、前記走行操作部により走行させるときには前記シンボル画像の中に走行方向を示す走行方向表示部を重畳させるようにした
   自走式産業機械の表示装置。
2. 前記表示装置は、前記走行操作部により走行が停止されているときには、前記合成俯瞰画像に前記走行方向表示部を重畳させないようにした
   請求項１記載の自走式産業機械の表示装置。
3. 前記自走式産業機械の走行を操作する走行操作部からの情報は、少なくともシフトレバー情報を含むものである
   請求項１記載の自走式産業機械の表示装置。
4. 前記自走式産業機械の走行を操作する走行操作部からの情報は、シフトレバー情報及びステアリング情報を含むものである
   請求項１記載の自走式産業機械の表示装置。

Images