JP6715205B2

JP6715205B2 - 作業機械の周囲画像表示装置

Info

Publication number: JP6715205B2
Application number: JP2017064718A
Authority: JP
Inventors: 拓久哉中; 啓範石井
Original assignee: Hitachi Construction Machinery Co Ltd
Current assignee: Hitachi Construction Machinery Co Ltd
Priority date: 2017-03-29
Filing date: 2017-03-29
Publication date: 2020-07-01
Anticipated expiration: 2037-03-29
Also published as: JP2018170557A

Description

本発明は作業機械の周囲画像表示技術に係り、特に、露天掘り鉱山等の広域現場において稼動する作業機械の周囲画像表示技術に関する。

作業機械の周囲画像表示の先行技術として、例えば、特許文献１に、「表示手段と、自車両の周囲の画像を取得する撮像手段と、撮像手段により取得された画像のデータを格納する記憶手段と、自車両の周囲の画像及び自車両の画像から、自車両を上方の仮想視点から見た俯瞰画像を生成する画像変換手段と、障害物を検出する障害物検出手段と、障害物が移動体と判定したとき、移動体が俯瞰画像の端に表示されるように縮尺を変更する制御手段とを備える（要約抜粋）」車両周囲画像提供装置が開示されている。

特開２００９−１１１９４６号公報

特許文献１に開示の技術では、多数のカメラを車体に設置し、カメラ映像を車体上方などの視点から撮影したような俯瞰画像に変換してドライバに障害物の存在を提示する。このとき、自車両を中心として、障害物が俯瞰画像の端になるよう、縮尺を変更して俯瞰画像を拡大して表示する。このため、障害物が存在する領域までの範囲は、拡大して表示される。しかしながら、当該領域外は表示されない。

一般道は、コンクリートやアスファルトで舗装され、その上に白線やマーカ等がひかれて整備されている。一方、鉱山の走行路面は、土や砂利などを敷き固めた未舗装に近い状態である。従って、鉱山の走行路面は、特徴が少ない。このため、鉱山のような環境で作業する作業機械では、路面や車両などの障害物だけではなく、まわりの状況、すなわち、遠景を含めて提示する方がドライバは、状況が把握しやすく、視認性も高くなる。ところが、特許文献１の技術では、障害物より遠方の映像が画面上に表示されないため、鉱山等の広大で変化の少ない環境では、距離感も得にくく、視認性が低下する能性が高い。

また、特許文献１に開示の技術では、障害物が遠方に存在する場合、俯瞰画像の視野範囲が広くなり、それに伴い、俯瞰画像中の障害物が小さくなる。鉱山のような広域現場においては、障害物までの距離が数十メートル以上になる場合がある。このため、特許文献１に開示の技術のような変換は、さらに、視認性を低下させる可能性がある。よって、特許文献１に開示の技術は、鉱山等の広大で変化の少ない環境において、障害物をドライバに視認させるには、適切とは言えない。

本発明は上記事情に鑑みてなされたもので、鉱山等の、広大で変化の少ない環境で用いられる作業機械において、作業機械から離れた障害物を、ドライバに適切に提示する技術を提供することを目的とする。

本発明は、作業機械の周囲の障害物までの距離を含む障害物データを検出する障害物検出装置、前記作業機械の周囲を撮像する撮像装置および表示装置に接続される、前記作業機械の周囲画像表示装置であって、前記障害物検出装置に接続され、当該障害物検出装置が検出した障害物データを取得する障害物データ取得部と、前記撮像装置に接続され、当該撮像装置が撮像した前記作業機械の周囲の画像を取得する画像取得部と、前記画像取得部に接続され、前記画像取得部が取得した前記画像のうち、前記作業機械から所定の距離内の画像を、路面に平行な第一投影面に投影して第一俯瞰画像を生成する第一俯瞰画像生成部と、前記画像取得部に接続され、当該画像取得部が取得した前記画像のうち、前記所定の距離外の画像を、前記第一投影面に対して傾きを有する第二投影面に投影して第二俯瞰画像を生成する第二俯瞰画像生成部と、前記第一投影面上の位置と前記第一俯瞰画像上の位置との対応関係、および、前記第二投影面上の位置と前記第二俯瞰画像上の位置との対応関係を、それぞれ、保持するパラメータ保持部と、前記障害物データ取得部に接続され、前記障害物データ取得部が取得した前記障害物データに含まれる前記障害物までの距離と前記所定の距離とを比較し、前記障害物までの距離が前記所定の距離より大きいか判別する判別部と、前記障害物データ取得部と前記パラメータ保持部と前記第二俯瞰画像生成部とに接続され、前記障害物データ取得部が取得した前記障害物データと前記パラメータ保持部に保持された前記第二投影面上の位置と前記第二俯瞰画像上の位置との対応関係とにより、前記第二俯瞰画像中の、前記障害物より前記作業機械に近い領域の画像の表示領域である近景領域を決定する領域決定部と、前記判別部と前記領域決定部とに接続され、前記判別部によって前記障害物までの距離が前記所定の距離より大きいと判別された場合、前記領域決定部によって決定された前記第二俯瞰画像中の前記近景領域以外の領域の前記第二俯瞰画像中の各頂点の座標を変換することにより、当該近景領域以外の領域の表示比率を拡大する縮尺変更を行う縮尺変更部と、前記第一俯瞰画像生成部と前記縮尺変更部と前記パラメータ保持部とに接続され、前記第一俯瞰画像生成部で生成された前記第一俯瞰画像と前記縮尺変更部から出力された第二俯瞰画像とを合成して合成画像を生成する画像合成部と、前記画像合成部に接続され、前記表示装置に前記合成画像を伝送する画像伝送部と、を備え、所定の領域の前記表示比率は、予め定めた第一の方向の、前記第二俯瞰画像内の当該所定の領域の長さの、前記第二俯瞰画像全体の長さに対する比率であり、前記第一の方向は、前記合成画像における前記作業機械に相当する位置から前記障害物に相当する位置に向かう方向であることを特徴とする作業機械の周囲画像表示装置を提供する。

本発明によれば、鉱山等の、広大で変化の少ない環境で用いられる作業機械において、作業機械から離れた障害物を、ドライバに適切に提示できる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第一の実施形態のダンプトラックの右側面図である。第一の実施形態の周囲画像表示装置の機能ブロック図である。第一の実施形態の俯瞰投影面を説明するための説明図である。第一の実施形態の周囲画像例を説明するための説明図である。第一の実施形態の周囲画像生成処理のフローチャートである。第一の実施形態の障害物表示領域特定処理を説明するための説明図である。第一の実施形態の障害物表示領域特定処理を説明するための説明図である。（ａ）および（ｂ）は、第一の実施形態の第一の縮尺変更処理を説明するための説明図である。（ａ）および（ｂ）は、第一の実施形態の第二の縮尺変更処理を説明するための説明図である。（ａ）から（ｃ）は、第一の実施形態の第三の縮尺変更処理を説明するための説明図である。（ａ）および（ｂ）は、第一の実施形態の第三の縮尺変更処理の変形例を説明するための説明図である。第二の実施形態および変形例の周囲画像表示装置の機能ブロック図である。

以下、本発明に係る作業機械の周囲画像表示装置の実施形態について、図１から図１３の図面を参照しながら説明する。以下、本明細書において、同一機能を有するものは、特に断らない限り同一の符号を付し、繰り返しの説明は省略する。

＜＜第一の実施形態＞＞
まず、本発明の第一の実施形態を説明する。本実施形態では、作業機械として、鉱山等で用いられるダンプトラックを例にあげて説明する。図１は、本実施形態のダンプトラック１００の右側面図である。また、図２は、後述する周囲画像表示装置の機能ブロックと周囲画像表示装置に関連する構成の構成図である。

図１に示すように、本実施形態のダンプトラック１００は、本体を形成するフレーム１１１と、車輪１１２と、ホイストシリンダ１１９によって上下方向の回動可能にフレーム１１１上に設けられる荷台１１３と、フレーム１１１上に配置される運転室１１４と、を備える。

また、本実施形態のダンプトラック１００は、カメラ（撮像装置）１３０と、例えば、ディスプレイ等の表示装置１４０（図２参照）と、ミリ波レーダ（障害物検出装置）１５０と、周囲画像表示装置２００（図２参照）と、をさらに備える。

カメラ１３０は、ダンプトラック１００の車体周囲の状況を撮影する。カメラ１３０は、例えば、４台のカメラ１３１、１３２、１３３、１３４を備える。以下、特に区別する必要が無い場合は、カメラ１３０で代表する。これらのカメラ１３０は、それぞれ、それぞれ車体の前方、後方、右側方、左側方を撮像するように設置される。

これらのカメラ１３０の設置位置と、各カメラ１３０に搭載されたレンズの視野角とは、各カメラ１３０の視野範囲にその他のカメラの視野が重なるように設定される。このように設定することにより、車体周囲に死角となる領域がなくなる。なお、設置するカメラ１３０の台数は４台に限定されない。車体周囲に死角となる領域がないよう撮影可能であれば、台数は問わない。

カメラ１３０は、周囲画像表示装置２００にケーブルを介して接続される。カメラ１３０で得た画像データ（以下、単に画像とも呼ぶ。）は、一定周期で周囲画像表示装置２００の画像取得部２８０（図２参照）に伝送され、入力用フレームバッファに格納される。

ミリ波レーダ１５０（測距センサ）は、ダンプトラック１００の前方の物体を検出する。このため、ミリ波レーダ１５０は、ダンプトラック１００の車体のバンパ付近に設置される。ミリ波レーダ１５０では、信号を反復的に走査発信し、反射信号を得ることにより、送信方向にある物体までの距離（相対距離）、物体の方向、物体の相対速度を検出することができる。得られたこれらのデータを、一定周期で周囲画像表示装置２００の障害物データ取得部２６０（図２参照）に伝送する。

表示装置１４０は、画像を表示するモニタを備える。モニタには、周囲画像表示装置２００が処理した画像が表示される。表示装置１４０は、運転室１１４内に設置される。周囲画像表示装置２００と表示装置１４０とは、例えば、ケーブルで接続される。このケーブルを介して、周囲画像表示装置２００の画像伝送部２５０（図２参照）から表示装置１４０に表示する画像が伝送される。表示装置１４０は、モニタ以外に、警報音を出力するスピーカを備えてもよい。また、画像の表示範囲を調整するためのボタンやトグルスイッチなどのインタフェースを備えてもよい。

周囲画像表示装置２００は、カメラ１３０で得た画像データと、ミリ波レーダ１５０で得た物体（以下、障害物と呼ぶ。）の相対距離、方向、相対速度および反射信号の受信強度の少なくとも１つと、を用いて、表示装置１４０に表示する表示画像を生成して出力する。本実施形態では、生成される表示画像は、ダンプトラック１００の近景と遠景とで投影面の異なる２種類の俯瞰画像を含む周囲画像である。この周囲画像は、遠景内において、障害物より遠方の画像を残しつつ、障害物より近傍の画像を縮小し、障害物の画像を拡大するよう縮尺変更されて生成される。

これを実現するため、本実施形態の周囲画像表示装置２００は、図２に示すように、画像取得部２８０と、第一俯瞰画像生成部２１０と、第二俯瞰画像生成部２２０と、第二俯瞰画像変更部２３０と、画像合成部２４０と、画像伝送部２５０と、障害物データ取得部２６０と、を備える。また、処理に用いる座標変換パラメータ１２１を保存するパラメータ保持部２２１を有する。

画像取得部２８０は、ダンプトラック１００に設置された複数のカメラ１３０に接続され、当該複数のカメラ１３０が撮像した画像を取得する。画像取得部２８０は、第一俯瞰画像生成部２１０および第二俯瞰画像生成部２２０に対して、取得した画像を受け渡す処理を行う。例えば、画像取得部２８０がカメラ１３０から画像を取得した際、周囲画像表示装置２００に搭載した入力用フレームバッファの所定メモリ領域に画像を格納し、そのフレームバッファの先頭アドレスを受け渡す等の手法により、画像は受け渡される。

第一俯瞰画像生成部２１０および第二俯瞰画像生成部２２０は、画像取得部２８０に接続され、画像取得部２８０から得られる画像に対して俯瞰変換処理を施す事で俯瞰画像を生成する。俯瞰画像は、予め設定された投影面に車体上方の視点から投影して得られる画像である。俯瞰変換に用いる座標変換パラメータ１２１は、パラメータ保持部２２１に格納されている。第一俯瞰画像生成部２１０が生成した第一俯瞰画像は、画像合成部２４０に、第二俯瞰画像生成部２２０が生成した第二俯瞰画像は、第二俯瞰画像変更部２３０に、それぞれ出力される。

本実施形態では、図３に示すように、投影する投影面４００は、第一投影面４１０と第二投影面４２０とを備える。

第一投影面４１０は、ダンプトラック１００から予め定めた距離（境界距離）Ｄｓｕｒを含むＤｓｕｒより内側（以後、単にＤｓｕｒ内と呼ぶ）の画像を投影する面である。第一投影面４１０は、例えば、車両近傍の路面６００と平行となるように設定された平面である。

第二投影面４２０は、境界距離Ｄｓｕｒより外側の画像を投影する面であり、第一投影面４１０とは異なる面である。例えば、第一投影面４１０に対して傾きを有する平面、路面６００から上空に向かって徐々に面がせり上がるような曲面であってもよい。例えば、第二投影面４２０は、円柱の側面の一部の形状を有していてもよい。例えば、曲面に撮像した画像データを投影することで、平面に遠景を投影した場合に生じる画像の歪みを防ぐことが出来る。

第一俯瞰画像生成部２１０は、カメラ１３０が取得した画像のうち、境界距離Ｄｓｕｒ内の画像を第一投影面４１０に投影した俯瞰画像（第一俯瞰画像）を生成する。ここでは、例えば、入力用フレームバッファに格納された画像データから、Ｄｓｕｒより内側の画像データを抽出し、パラメータ保持部２２１に格納されている第一俯瞰画像生成のための座標変換パラメータ１２１に基づき第一俯瞰画像を生成する。第一俯瞰画像生成部２１０は、生成した第一俯瞰画像を周囲画像表示装置２００に搭載したフレームバッファの所定メモリ領域に格納し、そのメモリ領域のアドレスを画像合成部２４０に出力する。

第二俯瞰画像生成部２２０は、カメラ１３０が取得した画像のうち、境界距離Ｄｓｕｒより外側の画像を第二投影面４２０に投影した俯瞰画像（第二俯瞰画像）を生成する。ここでは、例えば、入力用フレームバッファに格納された画像データからＤｓｕｒより外側の画像データを抽出し、パラメータ保持部２２１に格納されている第二俯瞰画像生成のための座標変換パラメータ１２１に基づき第二俯瞰画像を生成する。第二俯瞰画像生成部２２０は、生成した第二俯瞰画像を周囲画像表示装置２００に搭載したフレームバッファの所定メモリ領域に格納し、そのメモリ領域のアドレスを画像合成部２４０に出力する。

第一投影面４１０と第二投影面４２０とは、ダンプトラック１００の全周囲に設定される。第一俯瞰画像生成部２１０および第二俯瞰画像生成部２２０は、ダンプトラック１００に設置されたカメラ１３０で撮影された画像を、撮影方向と撮影場所に応じて、それぞれの投影面に投影することで車両周囲の俯瞰画像を生成する。

障害物データ取得部２６０は、ミリ波レーダ１５０に接続され、ミリ波レーダ１５０の出力を用い、その測距領域内に、衝突する危険性の高い物体である障害物が存在するか否かを判別する。そして、存在すると判別された場合、ダンプトラック１００の周囲の障害物の情報である障害物データを取得して第二俯瞰画像変更部２３０に出力する。障害物データとして、ここでは、例えば、障害物までの相対距離、方向、高さ、長さ、幅、反射波の受信強度等を取得する。

まず、障害物データ取得部２６０は、ミリ波レーダ１５０の出力のうち、反射波の受信強度を用い、検出対象が路面凹凸か車両であるかを判別する。

一般に、反射波の受信強度は、反射対象が金属の場合、高い値となる。従って、非金属である路面の凹凸は、受信強度が低く、金属を有する車両は受信強度が高くなる傾向がある。この特性を利用し、障害物データ取得部２６０は、ミリ波レーダ１５０が検出した対象の中から、非障害物である路面の凹凸と、障害物である車両とを判別する。

そして、測距領域内に、障害物である車両が存在すると判別した場合、当該車両の車種を識別し、当該車両の高さや幅を取得する。

鉱山環境においては、大きさの異なる作業機械が混在している。ミリ波レーダ１５０の測距範囲内の金属部の面積が広くなるほど、反射波の受信強度が高くなる。障害物データ取得部２６０は、この特性を利用し、受信強度の大きさの違いに応じて車両の種類を識別する。そして、予め保持する、車両の種類ごとのサイズデータを参照し、識別した車両の高さ、長さ、幅等のデータを得る。

第二俯瞰画像変更部２３０は、障害物データ取得部２６０と第二俯瞰画像生成部２２０とに接続され、障害物データを用いて、第二俯瞰画像内の障害物が表示される領域（障害物表示領域）の表示倍率（縮尺）を変更する縮尺変更処理を行う。そして、縮尺変更処理後の第二俯瞰画像を画像合成部２４０に出力する。

第二俯瞰画像変更部２３０は、ミリ波レーダ１５０で検出した障害物が第二俯瞰画像の表示範囲に存在するか否かを判別する判別部２３１と、第二俯瞰画像の表示範囲に存在する場合、障害物の表示領域を特定する領域決定部２３２と、縮尺変更部２３３と、を備える。

判別部２３１は、障害物データ取得部２６０に接続され、ミリ波レーダで検出した障害物が第二俯瞰画像の表示範囲に存在するかを判別する。本実施形態では、判別部２３１は、障害物データとして取得した相対距離と境界距離Ｄｓｕｒとを比較し、相対距離が境界距離Ｄｓｕｒ以上の場合、障害物が第二俯瞰画像の表示範囲に存在すると判別する。判別結果は、領域決定部２３２および縮尺変更部２３３に出力される。

領域決定部２３２は、障害物データ取得部２６０とパラメータ保持部２２１と第二俯瞰画像生成部とに接続され、障害物データとパラメータ保持部２２１に保持される座標変換パラメータ１２１とを用いて、第二俯瞰画像内の各領域を決定する。決定する領域は、例えば、第二俯瞰画像内で障害物が存在する領域である障害物表示領域等であり、領域決定部２３２による領域決定処理の詳細は、後述する。

なお、パラメータ保持部２２１には、座標変換パラメータ１２１として、次式（１）で表されるミリ波レーダ１５０の検出位置とカメラ１３１で撮像した画像中の位置との座標変換に必要なパラメータが保持されている。

ここで、ｕ，ｖはカメラ１３１で撮影した画像中の座標、Ｘ，Ｙ，Ｚは図１に示す車両座標系における座標を表す。領域決定部２３２は、障害物データ取得部２６０より得られた障害物までの相対距離や障害物の高さ、長さ、幅の障害物データに基づき、Ｘ，Ｙ，Ｚの値を設定することで、画像中の障害物の表示領域を求める事が可能である。また、λ及びＡ_１１〜Ａ_３４は座標変換パラメータである。パラメータＡ_１１〜Ａ_３４の値は、ミリ波レーダ１５０やカメラ１３１の車両座標系における設置位置や姿勢、カメラレンズの焦点距離や歪みを表す特性値、俯瞰平面を表すパラメータに基づき算出される値である。なお、λは、式（１）よりｕとｖを算出するための数式表現上のパラメータである。

縮尺変更部２３３は、判別部２３１と領域決定部２３２と第二俯瞰画像生成部２２０とパラメータ保持部２２１とに接続され、第二俯瞰画像中の所定の領域の各頂点の座標を変換することにより、当該所定の領域の表示比率を変更する縮尺変更を行う。縮尺変更後の第二俯瞰画像は、画像合成部２４０に出力される。

なお、判別部２３１が、障害物が第二俯瞰画像の表示範囲に存在しないと判別した場合、すなわち、相対距離が境界距離Ｄｓｕｒより小さい場合、縮尺変更部２３３は、第二俯瞰画像を、そのまま、画像合成部２４０に出力する。

また、第二俯瞰画像変更部２３０は、測距領域に障害物が存在しない場合、すなわち、障害物データ取得部２６０から障害物データを受信しない場合、第二俯瞰画像を、そのまま、画像合成部２４０に出力する。

縮尺の変更は、障害物と当該障害物より遠方の画像とが周囲画像に、高い視認性を持って表示されるように行われる。本処理の詳細は、後述する。

画像合成部２４０は、第一俯瞰画像生成部２１０と第二俯瞰画像変更部２３０とパラメータ保持部２２１とに接続され、第一俯瞰画像と第二俯瞰画像変更部２３０から出力された第二俯瞰画像とを合成し合成画像を生成する。ここでは、第一俯瞰画像生成部２１０から出力された第一俯瞰画像を、出力用フレームバッファの第一エリアに格納し、第二俯瞰画像変更部２３０から出力された第二俯瞰画像を、出力用フレームバッファの第二エリアに格納する。出力用フレームバッファの第一エリアおよび第二エリアは、それぞれ、入力用フレームバッファの第一エリアおよび第二エリアに対応する領域である。

画像伝送部２５０は、画像合成部２４０に接続され、画像合成部２４０によって生成された合成画像を表示装置１４０に伝送し、周囲画像５００として表示させる。

パラメータ保持部２２１には、座標変換パラメータ１２１として主に２種類のパラメータが保持される。

一方は、カメラ１３０の撮像画像上の位置と、ミリ波レーダ１５０による測距領域内の位置との対応関係を表す座標変換パラメータである。第二俯瞰画像変更部２３０は、この座標変換パラメータを用いる事で、ミリ波レーダ１５０で検出された障害物の画像中の位置を知る事が出来る。式（１）に示す変換式におけるパラメータＡ_１１〜Ａ_３４に相当する。

他は、第一投影面及び第二投影面に対する俯瞰変換に必要な座標変換パラメータである。第一俯瞰画像生成部２１０および第二俯瞰画像生成部２２０は、このパラメータを用いる事で俯瞰画像を生成することができる。

これらのパラメータは、ダンプトラック１００に搭載されたカメラ１３０やミリ波レーダ１５０の設置位置や姿勢角、カメラ１３０の画素数や画素サイズ、レンズ歪み度合いを表すパラメータ、第一投影面及び第二投影面を表すパラメータに基づいて、周囲画像表示装置２００に関わる作業員によって、予め算出される。算出されたパラメータは、後述するメモリおよび／または記憶装置上に記録される。

図４に、周囲画像５００の例を示す。周囲画像５００は、出力用フレームバッファの第一エリアに対応する第一俯瞰画像領域５１０と、出力用フレームバッファの第二エリアに対応する第二俯瞰画像領域５２０と、アイコン画像領域５５０とを備える。アイコン画像領域５５０は、周囲画像５００の中央部に設けられる。

アイコン画像領域５５０には、アイコン画像が表示される。アイコン画像は、例えば、ダンプトラック１００を模した画像である。また、第一俯瞰画像領域５１０は、点線５１０ｂの内側の領域であり、本領域には、第一俯瞰画像が表示される。第二俯瞰画像領域５２０は、点線５１０ｂと実線５２０ｂとの間の領域であり、本領域には、第二俯瞰画像変更部２３０から出力された第二俯瞰画像が表示される。

なお、周囲画像表示装置２００は、例えば、運転室１１４内等に設けられる。そして、周囲画像表示装置２００は、ＣＰＵとメモリと記憶装置とを備える電子制御ユニット（ＥＣＵ：ＥｎｇｉｎｅＣｏｎｔｒｏｌＵｎｉｔ）である。周囲画像表示装置２００では、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）が記憶装置に格納されたプログラムをメモリに展開して実行することにより、上記各機能を実現する。

ＣＰＵが実現する全部または一部の機能は、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ）などのハードウェアによって実現されてもよい。また、判別部２３１内における比較処理等は、比較器等を用いた回路で実現してもよい。また、各機能の処理に用いる各種のデータ、処理中に生成される各種のデータは、記憶装置等に格納される。例えば、パラメータ保持部２２１は、記憶装置に格納される。

さらに、入力用フレームバッファおよび出力用フレームバッファは、それぞれ、メモリ上に設けられる。ただし、画像データの受け取り、合成等の処理は、フレームバッファによるものに限定されない。

次に、本実施形態の周囲画像表示装置２００による、周囲画像生成処理の流れを説明する。図５は、本実施形態の周囲画像生成処理の処理フローである。

まず、第一俯瞰画像生成部２１０および第二俯瞰画像生成部２２０は、それぞれ、カメラ１３０から伝送された画像データ（カメラ画像）を、画像取得部２８０を介して取得する（ステップＳ１１０１）。

次に、第一俯瞰画像生成部２１０および第二俯瞰画像生成部２２０は、それぞれ、取得した画像データから、第一俯瞰画像および第二俯瞰画像を生成する（ステップＳ１１０２）。

障害物データ取得部２６０は、上記ステップＳ１１０１、１１０２に平行して、測距範囲に障害物９００である他車両が存在するか否かを判別し（ステップＳ１１０３）、存在する、すなわち、検出された場合、障害物データを取得し、第二俯瞰画像変更部２３０に送信する。

第二俯瞰画像変更部２３０は、障害物９００が存在しないと判別された場合、すなわち、障害物データを受信しない場合、第二俯瞰画像をそのまま出力する（ステップＳ１１０４）。

一方、障害物９００が存在すると判別された場合、すなわち、障害物データを受信した場合、判別部２３１は、障害物が第二俯瞰画像の表示領域に存在するか否かを判別する（ステップＳ１１０５）。障害物が第二俯瞰画像の表示領域内に存在しない場合、ステップＳ１１０４へ移行する。

一方、第二俯瞰画像内に存在する場合、領域決定部２３２は、第二俯瞰画像内の予め定めた各領域を決定する領域決定処理を行う（ステップＳ１１０６）。そして、縮尺変更部２３３は、決定した障害物表示領域の表示比率を変更する縮尺変更処理を行い（ステップＳ１１０７）、縮尺変更後の第二俯瞰画像を出力する。なお、領域決定処理および縮尺変更処理の詳細は、後述する。

画像合成部２４０は、第一俯瞰画像と出力された第二俯瞰画像とを合成し、合成画像を生成する（ステップＳ１１０７）。

画像伝送部２５０は、合成画像を表示装置１４０に周囲画像５００として表示させ（ステップＳ１１０８）、処理を終了する。

次に、ステップＳ１１０６の、領域決定部２３２による領域決定処理と縮尺変更部２３３による縮尺変更処理との詳細を、図６〜図１１（ｂ）を用いて説明する。ここでは、障害物９００が、ダンプトラック１００の前方に位置し、ダンプトラック１００に向かって走行する場合を例にあげて説明する。

障害物９００が、第二俯瞰画像内に表示される場合、ダンプトラック１００と、第二投影面４２０と、障害物９００との位置関係は、図６に示す通りである。障害物９００までの相対距離９１１は、境界距離Ｄｓｕｒ以上である。なお、障害物９００の高さ方向を図６に示す座標系のｚ軸方向、同幅方向をｘ軸方向とする。

また、ダンプトラック１００と障害物９００とが、図６に示す位置関係にある場合に縮尺変更をせずに合成した合成画像５４０を、図７に示す。以下、本実施形態では、前方を撮影したカメラ画像から得た第二俯瞰画像、すなわち、第二俯瞰画像のうち、頂点５０７ａ、５０２ａ、５０４ａ、５０８ａで規定される台形領域内の画像に縮尺変更を施す場合を例にあげて説明する。

まず、領域決定部２３２による領域特定処理について説明する。

第二投影面４２０における、障害物９００が投影される領域の、ｚ軸方向の最下端４２１は、障害物９００の相対距離９１１と、上記座標変換パラメータ１２１とを用いて算出される。これは、合成画像５４０の、第二俯瞰画像領域５２０に表示される画像の境界線５２１に対応する。

また、第二投影面４２０における障害物９００が投影される領域の、ｚ軸方向の最上端４２２は、障害物９００の相対距離９１１および高さ９１２と、上記座標変換パラメータ１２１とを用いて算出される。これは、合成画像５４０の第二俯瞰画像領域５２０に表示される画像における境界線５２２に対応する。

同様に、第二投影面４２０における、障害物９００が投影される領域の、ｘ軸方向の両端部は、障害物９００の相対距離９１１および幅と、上記座標変換パラメータ１２１とを用い、第二投影面４２０における、障害物９００が投影される領域の両端を算出する。これらは、合成画像５４０の、第二俯瞰画像領域５２０に表示される画像における、境界線５２３、５２４にそれぞれ対応する。

なお、領域決定部２３２は、その後に行う縮尺変更処理に応じて、必要十分な領域を決定する。

次に、縮尺変更部２３３による縮尺変更処理について説明する。なお、本明細書では、第二俯瞰画像の予め定めた方向の、特定の領域の長さの、第二俯瞰画像領域全体の長さに対する比率を表示比率と呼ぶ。予め定めた方向は、例えば、合成画像上のダンプトラック１００に相当する位置から、障害物に向かう方向とする。例えば、図７の例では、予め定めた方向は、Ｙ軸方向である。以下、第一の縮尺変更処理、第二の縮尺変更処理、および、第三の縮尺変更処理の３種の縮尺変更処理を例にあげて説明する。

第一の縮尺変更処理を図８（ａ）および図８（ｂ）を用いて説明する。図８（ａ）は、縮尺変更処理前の第二俯瞰画像と第一俯瞰画像とを合成した合成画像５４０である。また、図８（ｂ）は、第二俯瞰画像を第一の縮尺変更処理に従って変更し、縮尺変更後の第二俯瞰画像を第一俯瞰画像と合成した合成画像５４１である。合成画像５４１が、最終的に表示装置１４０に表示される周囲画像５００である。

第一の縮尺変更処理は、図８（ａ）および図８（ｂ）に示すように、第二俯瞰画像内の、障害物表示領域よりもダンプトラック１００に近い領域（以下、第二近景領域と呼ぶ。）を縮小し、第二近景領域以外の表示領域を拡大する縮尺変更を行う処理である。

第二近景領域は、図６では、第二投影面４２０の、領域４３１に投影される領域であり、図８（ａ）では、領域５３１ａに対応する。また、障害物表示領域は、第二俯瞰画像領域５２０の残りの領域５３２ａである。この場合、第二俯瞰画像内で、第二近景領域５３１ａと障害物表示領域５３２ａとの間の境界線５２１を特定できれば、縮尺変更処理を行うことができる。従って、第一の縮尺変更処理を行う場合、障害物表示領域特定処理では、境界線５２１を特定すればよい。

縮尺変更部２３３は、境界線５２１で特定された障害物表示領域５３２ａが拡大され、第二俯瞰画像領域中で予め定めた表示比率で表示されるよう障害物表示領域５３２ａのサイズを変更する。サイズ変更は、アフィン変換により行われる。

アフィン変換のパラメータは、図８（ａ）の変更前の障害物表示領域５３２ａの４つの頂点５０１ａ、５０２ａ、５０３ａ、５０４ａの座標と、変更後の障害物表示領域５３２ｂの４つの頂点５０１ｂ、５０２ａ、５０３ｂ、５０４ａの座標とを用いて算出する。また、変更後の障害物表示領域５３２ｂの頂点５０１ｂ、５０３ｂの座標は、縮尺変更後の障害物表示領域５３２ｂあるいは第二近景領域５３１ｂの表示比率により定まる。

次に、第二の縮尺変更処理について、図９（ａ）および図９（ｂ）を用いて説明する。図９（ａ）は、縮尺変更処理前の第二俯瞰画像と第一俯瞰画像とを合成した合成画像５４０である。また、図９（ｂ）は、第二俯瞰画像を、第二の縮尺変更処理に従って変更し、縮尺変更後の第二俯瞰画像を第一俯瞰画像に合成した合成画像５４２である。

第二の縮尺変更処理は、第二俯瞰画像内の、第二近景領域５３１ａの表示領域を縮小し、第二俯瞰画像内の障害物表示領域５３２ａよりもダンプトラック１００から遠い領域（第二遠景領域と呼ぶ。）の表示領域が、縮尺変更処理によって縮小しないようにしながら、障害物表示領域５３２ａを拡大する縮尺変更を行う処理である。すなわち、この縮尺変更処理により、第二遠景領域は、少なくとも当初の表示比率を維持する。

第二遠景領域は、図６では、第二投影面４２０の、領域４３３に投影される領域であり、図９（ａ）では、領域５３３ａに対応する。この場合、障害物表示領域５３２ａは、第二俯瞰画像内の、第二近景領域５３１ａと第二遠景領域５３３ａとを除いた領域である。従って、第二の縮尺変更処理を行う場合、相対距離９１１と高さ９１２とを用い、第二俯瞰画像内で、第二近景領域５３１ａと障害物表示領域５３２ａとの間の境界線５２１と、第二遠景領域５３３ａと障害物表示領域５３２ａとの間の境界線５２２とを特定する。

第二近景領域５３１ａの表示比率を当初よりも縮小する処理は、第一の縮小変更処理と同じである。

障害物表示領域５３２ａの表示比率を、第二遠景領域５３３ａの表示比率よりも拡大する処理は、図９（ａ）および図９（ｂ）に示すように、変更前の障害物表示領域５３２ａのＹ軸方向の長さをａ２、同第二遠景領域５３３ａのＹ軸方向の長さをａ３、縮尺変更後の障害物表示領域５３２ｂのＹ軸方向の長さをｂ２、同第二遠景領域のＹ軸方向の長さをｂ３とすると、ａ２＜ａ３のとき、ｂ２＞ｂ３となるよう縮尺変更する処理である。なお、変更前から、ａ２≧ａ３の場合は、以下の拡大処理は行わなくてもよい。また、第二遠景領域の視認性が損なわれないようにｂ３≧ａ３となるように縮尺変更処理を行う。

縮尺変更部２３３は、境界線５２１と境界線５２２とで特定された障害物表示領域５３２ａが、当初の表示比率より拡大され、かつ、第二遠景領域５３３ａの表示領域を縮小せず、障害物表示領域５３２ａの縮尺を変更する。この場合、第二遠景領域５３３ｂは、第二遠景領域５３３ａ以上に拡大表示される。

サイズ変更は、第一の縮尺変更処理同様、アフィン変換により行われる。アフィン変換は、障害物表示領域５３２ａおよび第二遠景領域５３３ａそれぞれについて、それぞれの変更前の４つの頂点および変更後の４つの頂点の座標を上記手法で算出し、変換パラメータを得ることにより、行う。なお、図９（ａ）において、頂点５０１ａ、５０５ａ、５０３ａ、５０６ａは、障害物表示領域５３２ａを、頂点５０５ａ、５０２ａ、５０６ａ、５０４ａは、第二遠景領域５３３ａを、それぞれ規定する４つの頂点である。また、図９（ｂ）において、頂点５０１ｂ、５０５ｂ、５０３ｂ、５０６ｂは、障害物表示領域５３２ｂを、頂点５０５ｂ、５０２ａ、５０６ｂ、５０４ａは、第二遠景領域５３３ｂを、それぞれ規定する４つの頂点である。

次に、第三の縮尺変更処理について、図１０（ａ）、図１０（ｂ）および図１０（ｃ）を用いて説明する。第三の縮尺変更処理は、第二俯瞰画像内の、第二近景領域５３１ａの表示比率を、当初の表示比率より縮小するとともに、障害物表示領域５３２ａの表示面積を、当初の表示面積よりも拡大する処理である。ここでは、ダンプトラック１００の前方の領域の一部のみを示す。

本変更処理では、障害物表示領域５３２ａの、Ｘ軸方向の表示領域も特定する必要がある。従って、図６に示す相対距離９１１と、高さ９１２と、幅とを用い、図７を用いて説明した手法で、図１０（ａ）に示すように、第二俯瞰画像内で、境界線５２１、５２２、５２３、および５２４を特定する。そして、これらの境界線で囲まれた内部を、障害物表示領域５３２ａとする。

本変更処理では、まず、第二の縮尺変更処理と同様の手法で、第二近景領域５３１ａの表示比率を、当初の表示比率より縮小するとともに、障害物表示領域５３２ａの、Ｙ軸方向の表示比率を、第二遠景領域５３３ａの表示比率よりも拡大する。そして、その後、障害物表示領域５３２ｂを、図中、Ｘ軸方向にも拡大する。Ｘ軸方向への拡大は、例えば、以下の手法で行う。

図１０（ａ）は、縮尺変更前の合成画像５４０であり、図１０（ｂ）は、第二の縮尺変更処理後の合成画像５４３である。また、図１０（ｃ）は、その後、Ｘ軸方向にも拡大した後の合成画像５４４である。ここでは、説明を簡単にするため、変更処理後の第二近景領域５３１ｂの表示比率を０とした場合を例示する。

本変更処理では、図１０（ｂ）に示すＹ軸方向の表示比率拡大後の、障害物表示領域５３２ｂの４つの頂点５５１ｂ、５５２ｂ、５５３ｂ，５５４ｂの座標を、図１０（ａ）に示す元の合成画像５４０の４つの頂点の座標から、アフィン変換により算出する。得られた４つの座標から、Ｙ軸方向の表示比率拡大後の障害物表示領域５３２ｂの、Ｘ軸方向の中心を通るＹ軸に平行な線５５５を特定する。そして、図１０（ｃ）に示すように、当該線５５５を中心として、予め定めた比率でＸ軸方向に拡大する。この場合も、例えば、上記４頂点の変換前後の座標値からアフィン変換の変換パラメータを算出し、それを用いて変換する。

障害物表示領域５３２ｂのＸ軸方向の拡大手法はこれに限定されない。例えば、１１（ａ）に示すように、合成画像５４５の中心を通るＹ軸を中心として、予め定めた比率で、Ｘ軸方向に拡大してもよい。

拡大する比率は、Ｙ軸方向に拡大した比率と同じであっても異なってもよい。また、Ｘ軸方向に拡大する際の中心とする線は、上記に限定されない。例えば、障害物表示領域５３２ｂのＸ軸方向の両端部のいずれかであってもよい。

さらに、図１１（ｂ）に示すように、縮尺変更部２３３は、第一の縮尺変更処理後の障害物表示領域５３２ｂをさらにＸ軸方向に拡大してもよい。なお、図１１（ｂ）は、この結果得られた合成画像５４６の例である。

なお、各縮尺変更処理において、縮尺変更後の各領域の表示比率は、予め定めておく。ドライバが所望の値を入力可能なように構成してもよい。また、第二近景領域５３１ｂの表示比率は、例えば、第三の縮尺変更処理の際に例示したように、０としてもよい。この場合、第二近景領域５３１ｂは、表示されない。

以上説明したように、本実施形態の作業機械（ダンプトラック）１００の周囲画像表示装置２００は、ダンプトラック１００の周囲の障害物までの距離を含む障害物データを検出するミリ波レーダ１５０、前記ダンプトラック１００の周囲を撮像するカメラ１３０および表示装置１４０に接続される。そして、障害物データ取得部２６０と、画像取得部２８０と、第一俯瞰画像生成部２１０と、第二俯瞰画像生成部２２０と、パラメータ保持部２２１と、判別部２３１と、領域決定部２３２と、縮尺変更部２３３と、画像合成部２４０と、画像伝送部２５０とを備える。

障害物データ取得部２６０は、ミリ波レーダ１５０に接続され、当該ミリ波レーダ１５０が検出した障害物データを取得する。画像取得部２８０は、カメラ１３０に接続され、当該カメラ１３０が撮像したダンプトラック１００の周囲の画像を取得する。第一俯瞰画像生成部２１０は、画像取得部２８０に接続され、画像取得部２８０が取得した画像のうち、ダンプトラック１００から所定の距離内の画像を、路面に平行な第一投影面に投影して第一俯瞰画像を生成する。第二俯瞰画像生成部２２０は、画像取得部２８０に接続され、当該画像取得部２８０が取得した画像のうち、所定の距離外の画像を、前記第一投影面に対して傾きを有する第二投影面に投影して第二俯瞰画像を生成する。パラメータ保持部２２１は、第一投影面上の位置と第一俯瞰画像上の位置との対応関係、および、第二投影面上の位置と前記第二俯瞰画像上の位置との対応関係を、それぞれ、保持する。判別部２３１は、障害物データ取得部２６０に接続され、障害物データ取得部２６０が取得した障害物データに含まれる障害物までの距離と前記所定の距離とを比較し、障害物までの距離が前記所定の距離より大きいか判別する。領域決定部２３２は、障害物データ取得部２６０とパラメータ保持部２２１と第二俯瞰画像生成部２２０とに接続され、障害物データ取得部２６０が取得した障害物データとパラメータ保持部２２１に保持された第二投影面上の位置と第二俯瞰画像上の位置との対応関係とにより、第二俯瞰画像中の、障害物よりダンプトラック１００に近い領域の画像の表示領域である近景領域を決定する。縮尺変更部２３３は、判別部２３１と領域決定部２３２とに接続され、判別部２３１によって障害物までの距離が前記所定の距離より大きいと判別された場合、領域決定部２３２によって決定された第二俯瞰画像中の近景領域以外の領域の、第二俯瞰画像中の各頂点の座標を変換することにより、近景領域以外の領域の表示比率を拡大する縮尺変更を行う。画像合成部２４０は、第一俯瞰画像生成部２１０と縮尺変更部２３３とパラメータ保持部２２１とに接続され、第一俯瞰画像生成部２１０で生成された第一俯瞰画像と縮尺変更部２３３から出力された第二俯瞰画像とを合成して合成画像を生成する。画像伝送部２５０は、画像合成部２４０に接続され、表示装置１４０に合成画像を伝送する。所定の領域の表示比率は、予め定めた第一の方向の、第二俯瞰画像内の当該所定の領域の長さの、第二俯瞰画像全体の長さに対する比率である。第一の方向は、合成画像におけるダンプトラック１００に相当する位置から障害物に相当する位置に向かう方向である。

まず、本実施形態によれば、最終的に表示装置１４０に表示される周囲画像５００のうち、ダンプトラック１００の近傍領域の画像から生成される第一俯瞰画像は、路面に平行な第一投影面４１０に投影して得た画像である。このため、ダンプトラック１００の近傍領域については、領域内の物体とダンプトラック１００との位置関係を、正確にドライバに提示できる。

また、本実施形態によれば、周囲画像５００のうち、前述の近傍領域以遠の領域（遠方領域）の画像から生成される第二俯瞰画像は、路面に対して角度を有する第二投影面４２０に投影して得た画像である。このため、広範な領域の画像を表示することができる。このような２種類の俯瞰画像を合成して表示することで、ダンプトラック１００の車体近傍から遠方の状況を、ドライバが視認しやすくなる。

一般に、画像への表示領域を広げると、画像中の障害物が小さくなり、視認性が悪くなる。しかし、本実施形態によれば、第二俯瞰画像において、さらに、衝突する危険性の高い障害物９００がある場合、当該障害物を当初の表示サイズより拡大して表示させる。これにより、本実施形態によれば、広範な領域を表示しつつも、遠方領域の障害物の視認性が高まる。

さらに、本実施形態によれば、遠方領域の障害物を拡大する際、障害物よりさらに遠方の背景も周囲画像５００に残るよう処理を行う。例えば、鉱山等の広大で変化の少ない環境において、遠方の障害物を拡大しつつも、ドライバにダンプトラック１００周囲の遠景を含めた画像を提示できる。ドライバが状況を把握し易い、視認性の高い画像を提示できる。

従って、本実施形態によれば、鉱山等の、広大で変化の少ない環境であっても、ダンプトラック１００から離れた障害物を、ドライバが状況を把握し易い態様で、適切に提示できる。そして、ドライバは、それを見て、作業を行うことができる。従って、安全性が向上する。

＜＜第二の実施形態＞＞
次に、本発明の第二の実施形態を説明する。本実施形態では、検出された障害物が複数ある場合、その中の特定の障害物に着目し、上記縮尺変更処理を行う。なお、本実施形態において着目する特定の障害物は、例えば、最も衝突する可能性の高い障害物とする。

本実施形態のダンプトラック１００は、基本的に第一の実施形態と同様の構成を有する。しかし、上記機能を実現するため、本実施形態のダンプトラック１００は、図１２に示すように、さらに、自車位置検出装置（運動データ取得装置）１６０を備える。また、周囲画像表示装置２００の構成および処理内容が異なる。以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。

自車位置検出装置１６０は、ダンプトラック１００の運動データを取得する。運動データは、例えば、ダンプトラック１００の現在位置、姿勢、進行方向、速度等である。

自車位置検出装置１６０は、例えば、複数のＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）衛星から送信される電波をアンテナで受信することで、自車両の位置や姿勢を検出するＧＰＳ受信機である。検出した自車両の位置や姿勢データから、進行方向、速度等の他の運動データを算出する。

なお、自車位置検出装置１６０は、これに限定されない。例えば、慣性計測装置（ＩＭＵ：ＩｎｅｒｔｉａｌＭｅａｓｕｒｅｍｅｎｔＵｎｉｔ）や、地上に設置された基地局からの電波を用いて位置を特定するシステムであってもよい。その場合、ダンプトラック１００は、ＧＰＳ受信機に代わり、そのシステム用のアンテナ、ジャイロセンサ、車輪１１２の回転数を検出するセンサ等を備える。

図１２は、本実施形態の周囲画像表示装置２００の機能ブロック図である。本図に示すように、本実施形態の周囲画像表示装置２００は、第一の実施形態同様、第一俯瞰画像生成部２１０と、第二俯瞰画像生成部２２０と、第二俯瞰画像変更部２３０と、画像合成部２４０と、画像伝送部２５０と、障害物データ取得部２６０と、を備える。また、処理に用いる座標変換パラメータ１２１を保存するパラメータ保持部２２１を有する。

さらに、本実施形態の周囲画像表示装置２００は、対象決定部２７０をさらに備える。

対象決定部２７０は、自車位置検出装置１６０と障害物データ取得部２６０とに接続され、障害物データ取得部２６０によって障害物データとして取得された障害物の相対距離と相対速度とを用い、対象障害物として１つ処理対象の障害物を決定する。対象障害物は、ダンプトラック１００と衝突する可能性のある障害物である。このとき、自車位置検出装置１６０で得たダンプトラック１００の運動情報を用いる。

対象障害物は、例えば、各障害物の相対距離と衝突時間ＴＴＣ（ＴｉｍｅＴｏＣｏｌｌｉｓｉｏｎ）とにより決定する。

対象決定部２７０は、まず、検出された全ての障害物の中から、それぞれの相対距離を用いて、第二俯瞰画像領域に表示される障害物であるか否かを判別する。そして、第二俯瞰画像領域に表示されると判別された全障害物に対し、ＴＴＣを算出する。ＴＴＣは、ダンプトラック１００と障害物との相対距離を相対速度で除算することで算出される。そして、ＴＴＣを算出した障害物の中で、最もＴＴＣが短い障害物を、対象障害物とする。そして、対象障害物の障害物データを、第二俯瞰画像変更部２３０に通知する。

以下、第二俯瞰画像変更部２３０は、通知を受けた対象障害物の障害物データを用い、第一の実施形態と同様の処理を行う。

なお、対象障害物を決定する際、さらに、ＴＴＣの値に上限を設けてもよい。すなわち、ＴＴＣを算出した障害物の中で、ＴＴＣが所定の値より小さい障害物の中で、最もＴＴＣが短い障害物を、対象障害物とする。これにより、遠方に存在し、かつ、相対速度差が小さい障害物が、対象障害物とされることを避けることができる。

例えば、相対距離が１００ｍ、相対速度差が１ｍ／ｓである障害物のＴＴＣは、１００／１＝１００［ｓ］となる。この障害物は、１００［ｓ］先の将来に衝突する可能のある障害物である。他に障害物が存在しない場合であっても、上限値として５［ｓ］を設定しておけば、この障害物が対象障害物に決定されることはなく、表示装置１４０上に拡大表示されることはない。これにより、使い勝手のよい、実用的な装置を得ることができる。

なお、本実施形態の周囲画像生成処理の流れも、基本的に第一の実施形態と同様である。ただし、ステップＳ１１０３において、障害物データ取得部２６０は、障害物を検出した際、各障害物の障害物データを、対象決定部２７０に送信する。そして、対象決定部２７０が、複数の障害物の中から、対象障害物を上記手法で決定し、決定した対象障害物の障害物データを第二俯瞰画像変更部２３０に送信する。その後の処理は、第一の実施形態と同様である。

また、本実施形態においても、第一の実施形態同様、周囲画像表示装置２００の各機能は、ＣＰＵ等により実現される。

以上説明したように、本実施形態の周囲画像表示装置２００は、第一の実施形態の構成を備える。このため、第一の実施形態と同様の効果を奏する。

また、本実施形態によれば、さらに、検出された複数の障害物の中から第二俯瞰画像表示領域内で拡大表示する対象障害物を決定する対象決定部２７０を備える。このため、本実施形態によれば、検出された障害物が複数ある場合であっても、その時点で最も危険性の高い障害物を特定し、当該障害物が拡大表示される。これにより、本実施形態によれば、さらに、鉱山等の、広大で変化の少ない環境において、ダンプトラック１００から離れた領域に複数の障害物が存在しても、その中の最も衝突する可能性の高い障害物を、ドライバが状況を把握し易い態様で、効率的かつ適切に提示できる。そして、ドライバは、それを見て、作業を行うことができる。従って、安全性が向上する。

なお、上記各実施形態では、進行方向前方に障害物がある場合を例にあげて説明したが、障害物の存在箇所は、これに限定されない。ダンプトラック１００の周囲の、どの方向に障害物があってもよい。

また、ダンプトラック１００の周囲の各方向の、障害物表示領域の拡大率は、同じであってもよいし、それぞれ、異なってもよい。すなわち、各方向について、それぞれ、障害物表示領域の縮尺変更処理を独立に行うよう構成してもよい。

例えば、図１２に示すように、障害物までの相対距離等の情報を得るミリ波レーダ１５１、１５２、１５３、１５４を方向毎に備えるよう構成してもよい。この場合、方向毎に障害物までの相対距離を得ることができる。相対距離に応じて、最適な拡大率を適用してもよい。

なお、障害物を検出するためのセンサとして、ミリ波レーダは備えなくてもよい。例えば、障害物データ取得部２６０は、カメラ１３０が取得した画像（カメラ画像）を用いてもよい。この場合、障害物データ取得部２６０は、カメラ画像に画像処理を施し、障害物データを取得する。

また、本実施形態の周囲画像表示装置２００を搭載する鉱山用の作業機械はダンプトラック１００に限定されない。例えば、ドーザや散水車、鉱山内の稼働状況を監視するサービスカーなどダンプトラックとは異なる種類の作業機械に搭載されてもよい。

１００：ダンプトラック、１１１：フレーム、１１２：車輪、１１３：荷台、１１４：運転室、１１９：ホイストシリンダ、１２１：座標変換パラメータ、１３０：カメラ、１３１：カメラ、１３２：カメラ、１３３：カメラ、１３４：カメラ、１４０：表示装置、１５０：ミリ波レーダ、１５１：ミリ波レーダ、１５２：ミリ波レーダ、１５３：ミリ波レーダ、１５４：ミリ波レーダ、１６０：自車位置検出装置、
２００：周囲画像表示装置、２１０：第一俯瞰画像生成部、２２０：第二俯瞰画像生成部、２２１：パラメータ保持部、２３０：第二俯瞰画像変更部、２３１：判別部、２３２：障害物領域特定部、２３３：縮尺変更部、２４０：画像合成部、２５０：画像伝送部、２６０：障害物データ取得部、２７０：対象決定部、２８０：画像取得部、
４００：投影面、４１０：第一投影面、４２０：第二投影面、４２１：最下端、４２２：最上端、４３１：領域、４３３：領域、
５００：周囲画像、５０１ａ：頂点、５０１ｂ：頂点、５０２ａ：頂点、５０３ａ：頂点、５０３ｂ：頂点、５０４ａ：頂点、５０５ａ：頂点、５０５ｂ：頂点、５０６ａ：頂点、５０６ｂ：頂点、５０７ａ：頂点、５０８ａ：頂点、５１０：第一俯瞰画像領域、５１０ｂ：点線、５２０：第二俯瞰画像領域、５２０ｂ：実線、５２１：境界線、５２２：境界線、５２３：境界線、５２４：境界線、５３１ａ：第二近景領域、５３１ｂ：第二近景領域、５３２：障害物表示領域、５３２ａ：障害物表示領域、５３２ｂ：障害物表示領域、５３３ａ：第二遠景領域、５３３ｂ：第二遠景領域、５４０：合成画像、５４１：合成画像、５４２：合成画像、５４３：合成画像、５４４：合成画像、５４５：合成画像、５４６：合成画像、５５０：アイコン画像領域、５５１ｂ：頂点、５５２ｂ：頂点、５５３ｂ：頂点、５５４ｂ：頂点、
６００：路面、９００：障害物、９１１：相対距離、９１２：高さ、Ｄｓｕｒ：境界距離

Claims

作業機械の周囲の障害物までの距離を含む障害物データを検出する障害物検出装置、前記作業機械の周囲を撮像する撮像装置および表示装置に接続される、前記作業機械の周囲画像表示装置であって、
前記障害物検出装置に接続され、当該障害物検出装置が検出した障害物データを取得する障害物データ取得部と、
前記撮像装置に接続され、当該撮像装置が撮像した前記作業機械の周囲の画像を取得する画像取得部と、
前記画像取得部に接続され、前記画像取得部が取得した前記画像のうち、前記作業機械から所定の距離内の画像を、路面に平行な第一投影面に投影して第一俯瞰画像を生成する第一俯瞰画像生成部と、
前記画像取得部に接続され、当該画像取得部が取得した前記画像のうち、前記所定の距離外の画像を、前記第一投影面に対して傾きを有する第二投影面に投影して第二俯瞰画像を生成する第二俯瞰画像生成部と、
前記第一投影面上の位置と前記第一俯瞰画像上の位置との対応関係、および、前記第二投影面上の位置と前記第二俯瞰画像上の位置との対応関係を、それぞれ、保持するパラメータ保持部と、
前記障害物データ取得部に接続され、前記障害物データ取得部が取得した前記障害物データに含まれる前記障害物までの距離と前記所定の距離とを比較し、前記障害物までの距離が前記所定の距離より大きいか判別する判別部と、
前記障害物データ取得部と前記パラメータ保持部と前記第二俯瞰画像生成部とに接続され、前記障害物データ取得部が取得した前記障害物データと前記パラメータ保持部に保持された前記第二投影面上の位置と前記第二俯瞰画像上の位置との対応関係とにより、前記第二俯瞰画像中の、前記障害物より前記作業機械に近い領域の画像の表示領域である近景領域を決定する領域決定部と、
前記判別部と前記領域決定部とに接続され、前記判別部によって前記障害物までの距離が前記所定の距離より大きいと判別された場合、前記領域決定部によって決定された前記第二俯瞰画像中の前記近景領域以外の領域の前記第二俯瞰画像中の各頂点の座標を変換することにより、当該近景領域以外の領域の表示比率を拡大する縮尺変更を行う縮尺変更部と、
前記第一俯瞰画像生成部と前記縮尺変更部と前記パラメータ保持部とに接続され、前記第一俯瞰画像生成部で生成された前記第一俯瞰画像と前記縮尺変更部から出力された第二俯瞰画像とを合成して合成画像を生成する画像合成部と、
前記画像合成部に接続され、前記表示装置に前記合成画像を伝送する画像伝送部と、を備え、
所定の領域の前記表示比率は、予め定めた第一の方向の、前記第二俯瞰画像内の当該所定の領域の長さの、前記第二俯瞰画像全体の長さに対する比率であり、
前記第一の方向は、前記合成画像における前記作業機械に相当する位置から前記障害物に相当する位置に向かう方向であること
を特徴とする作業機械の周囲画像表示装置。
請求項１記載の作業機械の周囲画像表示装置において、
前記障害物データは、前記障害物の高さをさらに含み、
前記領域決定部は、前記障害物データ取得部が取得した前記障害物の高さと前記パラメータ保持部に保持された前記第二投影面上の位置と前記第二俯瞰画像上の位置との対応関係とにより、前記第二俯瞰画像中の前記近景領域以外の領域内において、前記障害物の表示領域である障害物表示領域と、前記障害物より前記作業機械から遠い領域の画像の表示領域である遠景領域とをさらに決定し、
前記縮尺変更では、前記第二俯瞰画像中の前記障害物表示領域の表示比率は拡大され、かつ、前記遠景領域の表示比率は、前記縮尺変更前の表示比率以上とされること
を特徴とする作業機械の周囲画像表示装置。
請求項２記載の作業機械の周囲画像表示装置において、
前記障害物データは、前記障害物の幅をさらに含み、
前記領域決定部は、前記障害物の幅をさらに用いて、前記第一の方向に交差する第二の方向の前記第二俯瞰画像中の前記障害物表示領域を決定し、
前記縮尺変更では、前記縮尺変更後の前記障害物表示領域の表示面積は前記縮尺変更前の当該障害物表示領域の表示面積よりも拡大されること
を特徴とする作業機械の周囲画像表示装置。
請求項１記載の作業機械の周囲画像表示装置において、
前記作業機械の運動データを取得する運動データ取得装置にさらに接続され、前記運動データ取得装置が取得した前記作業機械の運動データと前記障害物データ取得部が取得した前記障害物データとに基づき、前記障害物検出装置において前記障害物データが検出された前記障害物各々の衝突時間を算出し、当該衝突時間が最も短い障害物を、対象障害物と決定する対象決定部をさらに備え、
前記判別部と前記領域決定部とは、前記対象決定部が対象障害物と決定した障害物の前記障害物データを用いること
を特徴とする作業機械の周囲画像表示装置。