JP5271186B2 - 車両用画像表示装置 - Google Patents

Description

本発明は、車両に複数のカメラを搭載し、複数のカメラで撮影された画像を合成して表示する車両用画像表示装置に係り、車両が障害物に接近したときに障害物の画像を飛び出し表示する車両用画像表示装置に関する。

従来、車両に複数のカメラを搭載し車両の周囲の映像を撮影し、撮影した画像を車両に設けたディスプレイ等に表示するようにした車両用画像表示装置がある。このような車両用画像表示装置では、ディスプレイに表示された画像を確認することにより、車両が障害物に衝突或いは追突するのを避けることができる。

また最近では、複数のカメラで撮影した画像を合成して表示する際に車両の俯瞰画像を生成し、トップビュー画像のように、生成した俯瞰画像を合成して表示するようにしたものもある。自車両の俯瞰画像を表示することで周囲の状況を把握しやすくなり、運転者の運転を支援することができる。尚、俯瞰画像は、自車両の上方などに設定した仮想視点から見た画像であり、仮想視点の位置を変えることで俯瞰画像や合成画像の見え方を変えることができる。

特許文献１には、複数のカメラで撮影した画像を入力し、仮想視点から見た合成画像を生成するとともに、自車両を示すイラスト画像を表示するようにした画像処理装置が開示されている。

ところで、複数のカメラを搭載した従来の車両用画像表示装置では、カメラで撮影した車両の周辺映像を合成して俯瞰表示することにより、車両の周辺に存在する障害物を検知して表示することができる。しかしながら、カメラで撮影した画像は歪むため障害物があっても認識しづらいという欠点があった。このため車両が道路或いは車庫等にある障害物に接近した場合に、運転者に障害物の存在を的確に知らせることができなかった。

特許文献２には、俯瞰画像を表示する映像表示装置が開示されている。この例は、俯瞰画像における障害物との相対位置と、実際の障害物との相対位置との相違を同一画面に表示するものである。しかしながら、従来及び特許文献１，２に記載された例では、障害物の存在を運転者に的確に知らせることができず、更なる改善が要求されている。

特許第３３００３３４号公報 特開２００６−３４１６４１号公報

従来の車両用画像表示装置では、カメラで撮影した車両の周辺映像を合成して俯瞰表示することにより、車両の周辺に存在する障害物を検知して表示することができるが、カメラで撮影した画像は歪むため障害物があっても認識しづらいという欠点があった。このため、画像車両が障害物に接近したときに運転者に的確に知らせることができなかった。

本発明はこのような事情に鑑み、車両が障害物に対して予め設定した距離以内に接近したときに、障害物を示す立体画像を飛び出し表示する車両用画像表示装置を提供することを目的とする。

請求項１記載の車両用画像表示装置は、車両に分散して配置され、前記車両の周辺の映像を夫々撮影する複数のカメラを含む撮像部と、前記撮影部で撮影した画像を用いて、前記車両の俯瞰画像、及び地面を水平面とし前記俯瞰画像の周辺部を垂直面としてパノラマ表示する前記車両の背景画像を生成し、前記背景画像に前記俯瞰画像を合成する第１の画像生成部と、前記車両と車両周辺の障害物との相対距離が予め設定した距離以内に近付いたことを検出する障害物検出部と、前記障害物が前記予め設定した距離以内に近付いたとき、前記撮影部で撮影した障害物の画像をもとに前記障害物を示す立体物画像と前記カメラから前記障害物を見たときの影に相当する影画像を生成し、前記立体物画像と前記影画像を含む立体画像を前記水平面及び前記垂直面よりも前記俯瞰画像側に近付く位置に生成し、前記立体画像が前記俯瞰画像側に飛び出すように表示するための第２の画像生成部と、前記第１の画像生成部と前記第２の画像生成部で生成した画像を合成して表示する表示部と、を具備したことを特徴とする。

本発明の車両用画像表示装置によれば、車両が障害物に接近したときに障害物の立体画像を飛び出し表示することができ、運転者に障害物の存在を的確に知らせることができ、衝突事故などを低減することができる。

本発明の一実施形態に係る車両用画像表示装置の全体構成を示すブロック図。 複数のカメラ画像を利用して生成される車両の背景画像の一例を概略的に示す説明図。 パノラマ表示による背景画像の表示例を示す説明図。 車両へのカメラの取付け配置の一例を示す説明図。 障害物を検出したときの立体物画像と影画像の表示例を示す説明図。 障害物を検出したときの影画像の生成の一例を示す説明図。 障害物を検出したときの影画像の生成の他の例を示す説明図。 影画像の生成を説明するフローチャート。 立体物画像と影画像の他の表示形態を示す説明図。 複数のカメラを利用した立体物画像と影画像の表示形態を示す説明図。 死角に障害物が入ったときの立体物画像の表示例を示す説明図。 影画像の表示例を示す説明図。 影画像の他の表示例を示す説明図。 影画像のさらに他の表示例を示す説明図。

以下、この発明の一実施形態について図面を参照して説明する。

図１は、本発明の一実施形態に係る車両用画像表示装置の全体構成を示すブロック図である。図１の車両用画像表示装置は、撮像部１０、車両情報生成部２０、表示パターン記憶部３０、表示パターン決定部４０、障害物検出部５０、立体画像生成部６０、画像合成部７０、及び表示部８０を備えている。

撮像部１０は、自車両の周囲の映像を撮影する例えば４つのカメラ１１，１２，１３，１４を有している。４つのカメラ１１，１２，１３，１４は、車両の前方、後方、左側、右側をそれぞれ撮影するものであり、車両の同じ高さ位置に取付けるのが望ましい。また各カメラ１１〜１４は、魚眼カメラを使用するとよい。各カメラ１１〜１４の位置については後述する。

車両情報生成部２０は、ナビゲーション装置２１を含む。ナビゲーション装置２１は、自車両の現在位置を検出するＧＰＳ受信部、地図データを格納した記録媒体、目的地までの経路を探索する探索部等を有する。また自車両の車速や傾きを検出する車速度センサやジャイロセンサ等を有し、これらＧＰＳ受信部、記録媒体、探索部、車速センサやジャイロセンサ等がＣＡＮ（Controller Area Network）等の車内ＬＡＮを介して接続されている。したがって、車両情報生成部２０からは、自車両の現在位置や進行方向（前進、バック、右・左折）等の情報を得ることができる。

表示パターン記憶部３０は、画像記憶部３１とマッピングテーブル３２を含む。画像記憶部３１は、自車両を真上からみたトップビュー画像や、斜め後方からみた画像などの俯瞰画像を記憶するものである。即ち、カメラ１１〜１４は自車両の周囲をそれぞれ撮影し、撮影した画像に基づいて自車両の背景画像を生成するが、背景画像に表示されるのは実景のみである。したがって、背景画像の所定の位置に自車両の俯瞰画像を合成するため、予め自車両を真上から撮影した画像や斜め後方からみた画像を俯瞰画像として画像記憶部３１に記憶している。或いは、自車両を示すイラスト画像を生成し、このイラスト画像を俯瞰画像として記憶している。撮影した画像やイラスト画像は１つに限らず、複数種記憶しておき、任意のものを選択できるようにしている。

マッピングテーブル３２は、カメラ１１〜１４で撮影した画像の画素データと、自車両の周辺を上方の仮想視点から見た背景画像の画素データとの対応関係を記載したテーブルであり、撮影された画像の画素が背景画像のどの画素に対応するかを示す変換情報を記憶している。表示パターン決定部４０は、画像記憶部３１に記憶した画像データから合成画像の生成に必要な自車両の俯瞰画像を決定する。

障害物検出部５０は、レーダー５１と画像処理部５２を含む。レーダー５１は、各カメラ１１〜１４付近に取り付けられ、車両と障害物間の距離や、障害物の位置や高さを検出する。画像処理部５２は、障害物と車両との距離が所定距離以内に近づいたときにカメラで撮影した障害物の画像を処理して立体画像生成部６０に出力する。

立体画像生成部６０は、車両が障害物に所定距離以内に接近したときに、カメラ１１〜１４で撮影した障害物を立体的に表示するための立体画像を生成する。立体画像生成部６０は、カメラで撮影した立体物画像を生成するとともに、立体物の影となる部分を算出して影画像を生成する。以下、立体物画像と影画像を総称して立体画像と称する。

画像合成部７０は、カメラ１１〜１４で撮影した車両の前方画像と、後方画像と、左側方画像と、右側方画像とをマッピングテーブル３２を参照して合成処理し、背景画像を生成する。また、この背景画像に表示パターン決定部４０で決定した自車両の俯瞰画像を合成する。マッピングテーブル３２を参照することで、仮想視点の位置が変わると視点に合わせて表示された背景画像が変化する。こうして、画像記憶部３１と表示パターン決定部４０は画像合成部７０とともに第１の画像生成部を構成する。尚、マッピングテーブルを用いた背景画像の生成方法の詳細は、例えば特許文献１に記載されている。

また画像合成部７０は、車両情報生成部２０から車両の位置や進行方向及び角度情報を得て、車両の移動方向（前進、バック）と曲がる方向（右折・左折）を判断し、カメラ１１〜１４の撮影画像を選択して合成処理を行う。合成処理された背景画像は、例えば車両の前後左右を取り囲むようなパノラマ状に表示され、中心部に自車両の俯瞰画像が表示される。

また画像合成部７０は、立体画像生成部６０で生成した立体画像を背景画像に合成する。尚、立体画像生成部６０は第２の画像生成部を構成する。また表示部８０は、背景画像と自車両の俯瞰画像、及び立体画像とを合成して表示するものであり、液晶ディスプレイ等で構成される。

図２は、カメラ１１〜１４によって車両の全周囲を撮影したときに得られる合成画像を概略的に示している。図２では、車両１の前方部ａと後方部ｂ、及び左側方部ｃと右側方部ｄを撮影して得た背景画像Ｐのパノラマ表示を概念的に示している。

図３は、表示部８０に表示された背景画像と俯瞰画像との合成画像の他の例を示す。図３では、車両の前方画像及び後方画像と左側方画像と右側方画像とを合成して車両の周辺部を垂直の壁で囲むように背景画像Ｐ０を表示し、背景画像Ｐ０に車両の俯瞰画像Ｐ１を合成して表示した例を示している。図３では仮想視点の位置を車両の真上に設定しているが、仮想視点の位置を変えると背景画像Ｐ０の表示も変わる。

尚、図３では、車両（俯瞰画像Ｐ１）の底面（地面）を水平面Ａ０とし、水平面Ａ０の左右にできる垂直の壁を右垂直面Ａ１及び左垂直面Ａ２と呼び、水平面Ａ０の前後にできる垂直の壁を前方垂直面Ｂ１及び後方垂直部Ｂ２と呼ぶことにする。

次にカメラ１１〜１４の配置の一例を説明する。即ち車両に複数のカメラを配置する際、車両の俯瞰画像を作り出すには４つのカメラで撮影した画像が必要になる。また安全に運転できる情報を提供するには、極力、死角になる部分をなくす必要がある。このような点を考慮して、本実施形態では、図４に示すように４つのカメラ１１〜１４を配置している。

図４は車両１を真上から見た図であり、例えば車両１の前方部にカメラ１１を配置し、後方部にカメラ１２を配置する。また車両１の左側のサイドミラーにカメラ１３を配置し、右側のサイドミラーにカメラ１４を配置する。こうして各カメラ１１〜１４は、車両１の４辺に配置される。各カメラ１１〜１４は、車両１の全周囲を撮影するため、各カメラ１１〜１４の描写範囲を１８０度よりも広くすると良い。尚、以下の説明では、カメラ１１を前方カメラ、カメラ１２を後方カメラ、カメラ１３を左カメラ、カメラ１４を右カメラと呼ぶこともある。またカメラ１１〜１４を備えた車両１を自車１と呼ぶこともある。

本発明では、障害物検出部５０の検出結果をもとに、車両が障害物に所定距離以内に接近したときに、障害物の画像を立体的に飛び出し表示し、運転者に障害物の存在を認知させるようにした点に特徴がある。つまり、障害物がない場合はカメラで撮影した背景画像を垂直の各壁に平面画像として表示し、車両が障害物に近付いた場合は、障害物が壁から俯瞰画像Ｐ１側に飛び出したように立体画像を表示する。以下、具体的に説明する。

図５は、表示部８０にパノラマ表示された背景画像Ｐ０に車両の俯瞰画像Ｐ１を合成して表示した例を示している。そして、例えば車両の右側に障害物があり、障害物と車両の相対距離が予め設定した距離以内に近づいたときに、カメラ１４で撮影した障害物の画像をもとにして立体物画像Ｑ１を右垂直面Ａ１から車両寄りの位置に表示する。また立体物画像Ｑ１と右垂直面Ａ１との間にカメラ１４から見たときに影となる部分に影画像Ｒ１，Ｒ２を表示する。

即ち、カメラ１４付近にはレーダー５１が取り付けられ、道路等の周辺部に障害物がないか否かを検出しており、障害物がある場合は車両の現位置に対してどの位置（方向、高さ）に障害物があるかを検出することができる。図５の水平面Ａ０内に障害物が入った場合、例えば水平面Ａ０と右垂直面Ａ１とのつなぎ目部分から車両までの距離をＷ１とすると、レーダー５１で距離Ｗ１以内に障害物を検出したときは、画像処理部５２はレーダー５１が示す位置を撮影したカメラ画像を立体画像生成部６０に送る。

立体画像生成部６０は、障害物を示す立体物画像Ｑ１を右垂直面Ａ１から車両側に近付いた位置に表示し、立体物画像Ｑ１と右垂直面Ａ１との間に影画像Ｒ１，Ｒ２を表示するように立体画像Ｚ１を生成する。したがって、表示部８０には立体画像Ｚ１が右垂直面Ａ１から飛び出したように表示することができる。

図６、図７は、立体物画像Ｑ１に対する影画像Ｒ１，Ｒ２の生成を説明する図である。図６は、カメラ１４の視点Ｘ０が水平面Ａ０よりも高い位置にあり、障害物の位置がカメラ１４の視点Ｘ０よりも高い位置にある場合を示し、図７は、障害物の位置が図６よりも低い位置にある場合を示している。

図６では、右垂直面Ａ１に障害物を示す立体物画像Ｑ１が表示され、例えばカメラ１４の視点Ｘ０から立体物画像Ｑ１の頂点ａ，ｂ，ｃを見たとき右垂直面Ａ１にそれぞれ交点ｄ，ｅ，ｆができる。したがって、頂点ａ，ｃと交点ｄ，ｆで決まる領域が影画像Ｒ１となる。同様に頂点ａ，ｂと交点ｄ，ｅで決まる領域が影画像Ｒ２となる。

一方、図７では、右垂直面Ａ１に障害物を示す立体物画像Ｑ２が表示され、カメラ１４の視点Ｘ０から立体物画像Ｑ２の頂点ａを見たとき右垂直面Ａ１に交点ｄができ、視点Ｘ０から頂点ｂを見たときは、水平面Ａ０に交点ｅができ、視点Ｘ０から頂点ｃを見たときは、右垂直面Ａ１に交点ｆができる。

また右垂直面Ａ１と水平面Ａ０をつなぐ線分をｈ１とすると、線分ｈ１上に交点ｇ１が設定される。交点ｇ１は、視点Ｘ０と立体物画像Ｑ２の枠の線分（ａ−ｂ）の位置に応じて変化する。したがって頂点ａ，ｃと交点ｄ，ｆで決まる領域が影画像Ｒ１となり、同様に頂点ａ，ｂと交点ｄ，ｅ，ｇ１で決まる領域が影画像Ｒ２となる。

立体物画像Ｑ１，Ｑ２に対する影画像Ｒ１，Ｒ２は、図８のフローチャートによって形成することができる。図８は、立体画像生成部６０が影画像Ｒ２を生成する場合のフローチャートを示したもので、図６，図７を参照して説明する。

図８において、ステップＳ１では、障害物検出部５０によって障害物の検出を行い、車両と障害物との相対的な距離が予め設定した距離以内に近付いたとき、ステップＳ２では、カメラ１１〜１４から見える障害物を示す多面体（Ｑ１…）を地面（水平面Ａ０）や背景画像（垂直面Ａ１）の面から飛び出すようにカメラ寄りの位置に設定する。多面体Ｑ１…は、立体物画像に相当するものであるため、Ｑの符号を付す。

障害物が複数ある場合は、多面体Ｑ１…を複数表示することになる。ステップＳ３は、多面体Ｑ１…の枠の線分に対する処理ステップであり、ステップＳ４では枠の線分が違う面の枠と同じか否かを判断する。違う面の線分と同じ場合（ＹＥＳ）は、ステップＳ５で面を新たに作らずステップＳ１０のループからステップＳ３に戻る。

ステップＳ４の判断がＮＯ場合は、ステップＳ６において、カメラ視点Ｘ０から線分の頂点（ａ，ｂ）を通る直線と面（Ａ１…）との交点（ｄ，ｅ）を算出する。ステップＳ７では、交点（ｄ，ｅ）が同じ面内にあるか否かを判断する。交点（ｄ，ｅ）が同じ面内にある場合は、ステップＳ８において交点（ｄ，ｅ）と頂点（ａ，ｂ）で決まる面を影の部分Ｒ２と決定する。つまり、図６で示すように影画像Ｒ２が垂直面Ａ１のみにできる。

一方、ステップＳ７で交点（ｄ，ｅ）が同じ面内にないと判断した場合、例えば交点（ｄ）と（ｅ）が垂直面Ａ１と水平面Ａ０の２つの面にある場合は、ステップＳ９において、それぞれの面（Ａ１…）をつなぐ線分ｈ１上に交点ｇ１を設定し、交点（ｄ，ｅ，ｇ１）と頂点（ａ，ｂ）で決まる領域を影の部分Ｒ２と決定する。尚、面Ａ０とＡ１とＢ１が交わる部分に障害物があるような場合、面の数が増えることで線分ｈ１の数も増えるし、交点ｇ１の数も増える。

ステップＳ１１では、多面体Ｑ１…にカメラで撮影した障害物の画像をそれぞれの座標で描写する。ステップＳ１２では、多面体Ｑ１…に表示した領域の色をなくして（例えば黒くして）、地面（水平面Ａ０）や背景画像（垂直面Ａ１）の面に描写する。これにより、立体物画像と背景画像の重複表示を防ぐ。次のステップＳ１３では、ステップＳ８，Ｓ９で決定した影の部分Ｒ２に色をつけ、背景画像に影画像Ｒ２をアルファブレンドし、奥（背景画像）が透けて見えるように描写する。こうして影画像Ｒ２を形成することができる。

尚、図６，７では立体物画像Ｑ１，Ｑ２及び影画像Ｒ１，Ｒ２が垂直面Ａ１又は水平面Ａ０に描写される例について説明したが、障害物が異なる面に発生する場合もあり、その場合は、図８のフローチャートにしたがってそれぞれの面に表示される。

また立体物画像Ｑ１…や影画像Ｒ１，Ｒ２の大きさの計算は、ある程度大まかな計算でもよい。つまり障害物が接近したことを知らせることが重要であるため、正確な大きさを算出する必要はない。したがって障害物の大きさや自車との距離や角度に応じて、立体物画像を貼り付ける領域や、影ができる位置、大きさ・形状、影の色等をルックアップテーブルとして備えておき、立体物画像と影画像を背景画像に重ね合わせるようにしてもよい。

影の部分を計算する際の計算能力や、立体物画像の三次元的な位置をリアルタイムに計算する能力が不足していたり、表示能力が不足する場合には、予め場面を想定して計算しておくか、上述したルックアップテーブルを用いて対応するのが有効である。

また自車の立体画像データを記憶部に記憶しておき、障害物に衝突しそうな場合に仮想視点の位置を自車から少しずらした位置に設定し、立体画像を違う視点から見た形態で表示するようにしてもよい。車体は部分的に出っ張っている部分や凹んでいる部分もあるため、立体的に表示することで衝突の可能性をより正確に表示することができる。特に狭い駐車場や車庫に駐車するような場合に、周囲に障害物があるときは、有効になる。

図９は、仮想視点を車両１の真後ろに設定し、車両１の右側が障害物に接近したときの立体画像の表示形態を示す説明図である。この例では、車両１に設置した右カメラ１４よりも低い位置に２つの障害物があり、右カメラ１２によって障害物を撮影し、立体物画像Ｑ３，Ｑ４を水平面Ａ０から飛び出すように表示した例を示している。

立体物画像Ｑ３，Ｑ４の影画像Ｒ３，Ｒ４は、立体物画像Ｑ３，Ｑ４の背後に形成されるが、立体物画像Ｑ３，Ｑ４の高さが異なる場合、影画像Ｒ３，Ｒ４の高さが変わる。即ち、カメラ１４の視点と立体物画像Ｑ３，Ｑ４の頂部とを結ぶ線が水平面Ａ０又は右垂直面Ａ１にぶつかる交点をｊ，ｋとすると、立体物画像Ｑ３の影画像Ｒ３は交点ｊに向かって低くなり、立体物画像Ｑ４の影画像Ｒ４は交点ｋの位置まで高くなる。

また、視点Ｘ０よりも高い障害物があるときは、立体物画像の影画像は立体物画像よりも高くなり垂直面より高くなる。その場合は、垂直面Ａ１の表示高さに天井面を設けて、そこを上限として影画像を形成させるようにしてもよい。その場合は、天井面にも影画像が形成されることになる。

図１０は、死角を減らすために、視点の異なる２つのカメラ（例えば前方カメラ１１と右カメラ１４）を用いて同時に撮影したときの立体画像の表示例を示す説明図である。図１０では仮想視点を車両の真上に設定し、背景画像を前方垂直部Ｂ１と右垂直部Ａ１に表示した状態を拡大して示している。

図１０（ａ）は、車両の前方が障害物に接近した状態を示しており、前方カメラ１１で障害物を撮影し、立体物画像Ｑ５を表示した例を示している。立体物画像Ｑ５は水平面Ａ０から垂直に飛び出すように表示され、立体物画像Ｑ５の背後（カメラ１１と反対側）に影画像Ｒ５１が表示される。図１０（ｂ）は、右カメラ１４で障害物を撮影し、立体物画像Ｑ５を表示した例を示している。このとき立体物画像Ｑ５の背後（カメラ１４と反対側）に影画像Ｒ５２が表示される。

前方カメラ１１と右カメラ１４の両方で撮影した画像を利用して立体画像を表示する場合は、図１０（ｃ）で示すように影画像Ｒ５１とＲ５２が重なり合って表示され、重なった部分のみを影画像Ｒ５３として表示する。そのとき、立体物に奥行きが少ない場合には、影画像が狭い領域となってしまい立体画像として認識しにくくなってしまう。それを防ぐために、実際の立体物より影画像の奥行きを広く持たせてもよい。

また立体物画像Ｑ５については、前方カメラ１１と右カメラ１４でそれぞれ撮影した画像をアルファブレンドで表示し、例えば立体物画像Ｑ５の左側は前方カメラ１１で撮影した画像を濃く表示し、右側は右カメラ１４で撮影した画像を濃く表示してもよい。或いは前方カメラ１１と右カメラ１４で撮影した画像を用いて立体的に表示してもよい。また前方カメラ１１と右カメラ１４で撮影した画像のいずれか一方（例えば、障害物の近い方のカメラで撮影した画像）を処理して表示するようにしてもよい。

尚、複数のカメラ（例えば１１，１４）を用いて障害物を検出するとき、一方のカメラ付近のレーダーで障害物の接近を検出しても他方のカメラ付近のレーダーでは接近を検出しない場合がある。この場合、安全度を高めるために少なくとも一方が障害物の接近を検出した場合は、立体画像を表示するように設定する。或いは、接近距離が所定距離よりも遠い場合は、障害物の接近なしと判断してもよい。

また障害物を検出するとき、自車によって死角を生じる場合があり、障害物を撮影できない場合が考えられる。図１１は、前方カメラ１１と右カメラ１４を用いて障害物を撮影し、車両の右前方が障害物に接近した状態を示しており、前方カメラ１１及び右カメラ１４で障害物を撮影し、立体物画像Ｑ６を表示した例を示している。立体物画像Ｑ６は水平面Ａ０から垂直に飛び出すように表示される。このとき前方カメラ１１及び右カメラ１４の死角を斜線Ｓで示している。

自車１が進行して、図１１（ｂ）で示すように障害物が死角に入ると、障害物が撮影できなくなるため、立体物画像Ｑ６が表示できなくなる。このような場合は、自車１の動きに応じて過去に撮影した障害物の画像を利用して立体物画像Ｑ６’を表示すれば良い。即ち、障害物の接近を検出したとき、ナビゲーション装置２１から得た自車の移動方向、移動速度に関する情報をもとに、自車が進行することで死角に障害物が入ると判断したときは、直前に撮影した画像をもとに立体物画像Ｑ６’を表示する。

また死角に障害物が入ってきたとき、或いは障害物が近すぎる場合には、立体物画像Ｑ６をズームアップ表示して。衝突する危険性を強調して報知するようにしてもよい。また障害物が静止しているものであれば、過去画像を使用して死角内に立体物画像を表示し、障害物が動いている場合には死角は死角として表示すると良い。障害物が静止しているか動いているかは、自車の移動速度と、障害物と自車との相対速度から判断することができる。

尚、カメラの向きや設置位置が初期設定した位置からずれた場合は、死角の位置が初期設定時と異なるため、予め自車映像を取得しておき、最初に確認していた死角位置にずれが生じた場合は、過去の画像を使用した立体物画像の表示は行わないようにすると良い。また死角に障害物が入ったときの各種の表示方法は、自動設定によって決めることもできるが、運転者がオンオフ設定して決めるようにしてもよい。

図１２は、立体画像のうち、影画像の他の表示例を示す説明図である。図１２では、影画像Ｒ１の領域に矢印Ｔ１を表示し、障害物の近付いている方向を示したものである。また自車と障害物間の相対速度や相対加速度、障害物の絶対速度や絶対加速度に応じて矢印Ｔ１の大きさや、矢印Ｔ１の数を変化させてもよい。矢印Ｔ１に限らず、影となる部分に縞、格子、水玉などの模様を表示し、それらの模様を自車と障害物の動いている方向や加速度に応じて動くようにしてもよい。自車と障害物との相対速度や相対加速度、障害物の絶対速度や絶対加速度は、自車の速度や加速度情報をナビゲーション装置２１に設けたセンサから受信して判断することができる。

図１３は、影画像Ｒ１，Ｒ２の他の表示例を示す説明図である。図１３は、影の領域を複数に区分して、区分した領域の濃淡模様を変え、（ａ），（ｂ），（ｃ）で示すように時間的に模様が変化するようにし、模様の変化速度を自車と障害物との相対速度や相対加速度、障害物の絶対速度や絶対加速度に応答して変えるようにしたものである。

図１４は、影画像Ｒ１，Ｒ２のさらに他の表示例を示す説明図である。図１４は、影の領域を複数に区分し、区分した領域内をさらに細かく分けて濃淡模様を変え、（ａ），（ｂ），（ｃ）で示すように時間的に模様が二重に変化するようにし、模様の変化速度を自車と障害物との相対速度や相対加速度、障害物の絶対速度や絶対加速度に応じて変えるようにしている。また影画像Ｒ１，Ｒ２の表示形態については、影の部分の色及び明るさを変えて表示し、障害物との相対距離が短くなるに連れ、又は相対速度が高くなるに連れて淡い色から濃い色に変化させたり、青色から赤色に変化させてもよい。

以上説明したように本発明の実施形態によれば、自車の周辺にある障害物を立体画像として飛び出し表示することにより、例えば駐車場や車庫等にバックしながら進入するような場合は、障害物を的確に把握することができ、安全運転を支援することができる。また立体画像は、歪みの少ない画像として表示することができる。

尚、以上説明した実施形態については各種の変形例が考えられる。例えば、レーダーの代わりに、カメラの映像により障害物検出を行うようにしてもよい。また、車両１の前方や、後方の遠くの背景は２つのカメラで捉えることができるため、ステレオ視による画像処理を行い、障害物検出を行うようにしてもよい。ステレオ視することにより障害物を検出しやすくなる。また、地面や背景画像の分割を細かくし、地面と背景画像がなだらかに表示されるようにしてもよい。

また、カメラ１１〜１４は、特定の取付具を用いて取付けられるが、サイドミラーや、フェンダーミラーまたはサイドアンダーミラー(フェンダーミラーの左前だけにある地面を見るための小さなミラー)、リアアンダーミラーなどの突起物に取り付けてもよい。またカメラの取付位置や設置台数は任意に設定することができる。また特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。

１０…撮像部
１１，１２，１３，１４…カメラ
２０…車両情報生成部
２１…ナビゲーション装置
３０…表示パターン記憶部
３１…画像記憶部
３２…マッピングテーブル
４０…表示パターン決定部
５０…障害物検出部
５１…レーダー
５２…画像処理部
６０…立体画像生成部
７０…画像合成部
８０…表示部

Claims (5)

1. 車両に分散して配置され、前記車両の周辺の映像を夫々撮影する複数のカメラを含む撮像部と、
   前記撮影部で撮影した画像を用いて、前記車両の俯瞰画像、及び地面を水平面とし前記俯瞰画像の周辺部を垂直面としてパノラマ表示する前記車両の背景画像を生成し、前記背景画像に前記俯瞰画像を合成する第１の画像生成部と、
   前記車両と車両周辺の障害物との相対距離が予め設定した距離以内に近付いたことを検出する障害物検出部と、
   前記障害物が前記予め設定した距離以内に近付いたとき、前記撮影部で撮影した障害物の画像をもとに前記障害物を示す立体物画像と前記カメラから前記障害物を見たときの影に相当する影画像を生成し、前記立体物画像と前記影画像を含む立体画像を前記水平面及び前記垂直面よりも前記俯瞰画像側に近付く位置に生成し、前記立体画像が前記俯瞰画像側に飛び出すように表示するための第２の画像生成部と、
   前記第１の画像生成部と前記第２の画像生成部で生成した画像を合成して表示する表示部と、を具備したことを特徴とする車両用画像表示装置。
2. 前記第２の画像生成部は、前記背景画像に対してアルファブレンドした前記影画像を生成し、前記影画像内の前記背景画像を透けて表示することを特徴とする請求項１記載の車両用画像表示装置。
3. 前記第２の画像生成部は、前記車両と前記障害物間の相対距離、相対速度、相対加速度、前記障害物の絶対速度、絶対加速度のいずれかの変化に応じて前記影画像の色及び模様の少なくとも一方を変えることを特徴とする請求項１記載の車両用画像表示装置。
4. 前記第２の画像生成部は、前記撮影部の複数のカメラで前記障害物を撮影したときは、前記複数のカメラから前記障害物を見たときの影部分を重ね合わせ、前記重なった部分を影画像として生成することを特徴とする請求項１記載の車両用画像表示装置。
5. 前記第２の画像生成部は、前記複数のカメラの死角に前記障害物が入る場合は、前記死角に入る前に撮影した前記障害物の画像を利用して前記立体物画像を生成することを特徴とする請求項１記載の車両用画像表示装置。