JP5035643B2 - 画像表示装置 - Google Patents

Description

本発明は、画像表示装置に関し、詳しくは、自動車等の自走型の車体に備えたカメラで車体の周辺を撮影し、このように撮影した画像を運転座席の近傍のモニタに表示することで運転を支援する画像表示装置に関する。

上記のように構成された画像表示装置として特許文献１には、カメラで撮影された実画像に対して、奥行き感がある格子状のグリッド画像を重畳してモニタに表示することにより、ドライバーから見て前方で左右に拡がる視覚領域を監視できる装置が記載されている。

この特許文献１では、グリッド画像を、移動体や標識等の道路上の重要な物体がグリッドに重ならないような高さに設定する点が記載されている。また、実画像内から移動体を検出した場合には、その移動体の位置、移動速度等を取得しモニタに矢印等の情報を表示することが記載されている。更に、他車輌が存在する領域のグリッドの色をより目立つ色にすることや、車外が暗い夕方や夜の場合には、グリッドの輝度を押さえながら白色に設定することも記載されている。

特開２００９‐２２６９７８号公報

特許文献１に記載されるグリッドはモニタの決まった位置に表示されることになるので、車体が停車した状態で交差点や横断歩道までの距離をグリッドに基づいて判断することが可能となる。つまり、グリッドをメジャーのように用いて距離を測ることが可能となる。

しかしながら、このようにグリッドが表示されるものでは、自車両が進路を変更した場合には実画像に対してグリッドが移動することになるので、例えば、操舵操作を行った場合に、カメラで撮影される背景（実画像）に対してグリッドが左右に移動することになり、グリッドと背景との位置関係を把握し難くなるものであった。特に、操舵操作に加速や減速が加わった場合には背景とグリッドとの関係に違和感を感ずることも想像された。

画面に表示されるグリッドは、自車両と、駐車位置や障害物との位置関係を把握するために有効であるが、グリッドから自車両の位置を把握するためには自車両を停車させる、あるいは、低速で走行させる必要がある。特に、特許文献１では、他車輌が存在する領域のグリッドの色を目立つ色に変更することで注意を喚起するものであるが、自車両の移動に伴い目立つ色の領域がグリッド上において移動することになり、表示形態に違和感を感ずることも考えられた。

駐車位置を示すように路面に形成された白線や、路面の障害物等までの距離や位置関係を明らかにするためにグリッド等の補助的な画像を画面に表示する有効性は活用したい面がある。そして、このグリッド等の補助的な画像は路面の障害物等と車体との距離を運転者が容易に誤りなく把握できる形態で表示することが望まれる。

本発明の目的は、モニタにカメラの撮影画像を表示すると共に、障害物等に対する車体の位置を容易に把握できるように補助的な画像を撮影画像に重畳表示する画像表示装置を合理的に構成する点にある。

本発明の特徴は、車体に、この車体の周辺を撮影するカメラを備え、このカメラの撮影画像を前記車体に備えたモニタに表示する画像処理部を備えており、
この画像処理部が、前記カメラの撮影画像の遠近感を反映する遠近感イメージを生成すると共に、この遠近感イメージを前記車体の移動に伴い路面に固定した形態でスクロールさせ、このスクロールする遠近感イメージを前記撮影画像に重畳して前記モニタに表示する路面固定モードでの処理を行う点にある。

この構成によると、モニタにはカメラの撮影画像が表示され、路面固定モードで遠近感イメージが重畳表示されため、モニタで移動する撮影画像の路面と一体的に移動（スクロール）する形態で遠近感イメージが表示される。このような表示から、ステアリング操作を行いながら車体を移動させても路面と遠近感イメージとの相対的な位置関係に変化せず、遠近感イメージの表示に違和感がなく、陰影のない路面上を移動する際にも移動量や移動速度の把握も容易になる。
従って、モニタにカメラの撮影画像を表示すると共に、障害物等に対する車体の位置を容易に把握できるように補助的な画像を撮影画像に重畳表示する画像表示装置が構成された。

本発明は、前記遠近感イメージを前記モニタの表示域に固定する形態で前記撮影画像に重畳し前記モニタに表示する視野固定モードでの処理が設定されると共に、前記画像処理部は、前記路面固定モードと、前記視野固定モードとの何れか一方の処理を実行しても良い。

これによると、視野固定モードでの処理が行われた場合には、遠近感イメージをモニタの表示域に固定する形態で撮影画像に重畳して表示される。このことは、例えば、車体の停車時には遠近感イメージから車体と路面の白線や障害物までの距離を容易に把握でき、走行時においても、遠近感イメージから撮影画像に含まれる対象物までの距離を測ることも可能となる。

本発明は、操作により前記路面固定モードの処理と、前記視野固定モードの処理との一方を選択する選択ボタンを備えても良い。

これによると、選択ボタンの操作により路面固定モードの処理と、視野固定モードの処理との選択が可能となる。このような選択により、例えば、停車状態で車体位置から障害物等までの距離を把握したい場合いは視野固定モードを選択し、車体の移動時に障害物等との相対距離の変化を把握したい場合には路面固定モードを選択する等、必要に応じた表示形態の選択が可能となる。

本発明は、路面に対応した仮想平面を縦方向と横方向との方向において設定間隔で区画する区画イメージを具備する平面メジャーイメージを生成すると共に、この平面メジャーイメージを前記カメラの撮影画像の遠近感を反映する前記遠近感イメージに変換する変換処理手段を備えても良い。

これによると、区画イメージを具備する平面メジャーイメージに基づいて遠近感イメージが生成され、遠近感イメージの区画イメージは、車体を基準にしたメジャーとしての機能を有する。そして、この区画イメージからカメラの撮影画像に含まれる白線や目標等との距離感を把握できる。

本発明は、前記車体に路面の地上物の位置を検出する障害物センサユニットが備えられ、前記路面固定モードの実行時に前記障害物センサユニットで地上物を検出した場合には、前記遠近感イメージのうち前記地上物が存在する領域の表示形態を、地上物が検出されない領域と異なるものにする領域指定手段を備えても良い。

これによると、障害物検出センサで地上物が検出された場合には、遠近感イメージのうち地上物が存在する領域の表示形態が、地上物が検出されない領域と異なる表示形態となり、この表示から地上物の存在を把握できる。しかも、遠近感イメージが路面固定モードで表示されるので、車体を移動させた場合には、地上物の位置を示す領域が、モニタに表示される撮影画像の移動と一体的に移動することになり地上物の位置の把握が容易になる。

本発明は、前記画像処理部が、夜間にのみ前記遠近感イメージを前記モニタに表示しても良い。

これによると、夜間において路面が暗い状態にあり、遠近感イメージの視認が困難なばあいでも、視認性を向上させることが可能となる。

本発明は、前記画像処理部が、前記車体の停車時より前記車体の移動時における前記遠近感イメージの透明感を高く設定しても良い。

これによると、車体の停車時には遠近感イメージから路面と車体との位置関係の把握を可能にし、車体の移動時には遠近感イメージの視認性が低下することで、モニタに表示されている撮影画像の把握を阻害しないものにできる。

本発明は、前記画像処理部が、昼間と比較して夜間時には、前記遠近感イメージを高輝度に設定する表示しても良い。

これによると、夜間に車体を後進させる場合のように運転者の位置から後方の確認が困難な状況でも、モニタに表示される遠近感イメージが高輝度で表示されるので、この遠近感イメージから車体の移動量やステアリング量等を容易に把握できる。

本発明は、前記画像処理部が、前記遠近感イメージのうち前記車体から離間する領域のものほど視認性を低下させても良い。

これによると、遠近感イメージのうち、車体から離間した位置のものほど視認性を低下させているので、車体近傍の遠近感イメージを明瞭にして、車体近傍の障害物等との相対距離の把握を容易にすると共に、遠方位置の遠近感イメージが目障りになることもない。

乗用車の構成の概要を示す平面図である。 乗用車の一部切り欠き斜視図である。 制御系のブロック回路図である。 表示処理における情報の流れを示すブロック図である。 後方表示処理のフローチャートである。 後方表示処理で表示されたモニタを示す図である。 路面固定モードで表示される遠近感イメージを示す図である。 レチクルパターンの遠近感イメージを示す図である。 ドットパターンの遠近感イメージを示す図である。 別実施の形態（ａ）のモニタの表示形態を示す図である。 別実施の形態（ｂ）のモニタの表示形態を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。
本実施の形態では、車体１を後進させる際に車体１の後端に備えた後部カメラ２８の撮影画像をモニタ２１に表示すると共に、この撮影画像に車体１と路面の白線や障害物等との位置関係の把握を容易にする遠近感イメージＭｐを重畳表示する画像表示装置を備えており、この画像表示装置の制御形態と制御構成とを以下に説明する。

〔基本構成〕
図１及び図２に示すように、乗用車の車体１には左右の前車輪２と、左右の後車輪３とを備えている。車体１の前部位置にはヒンジにより開閉自在な左前部ドア４と右前部ドア５とを備え、車体１の後部位置にスライド式に開閉自在な左後部ドア６と右後部ドア７とを備え、車体１の後端にはハッチバック式のバックドア８を備え、車体１の前端にはヘッドライト９（前照灯）を備えている。

車体１のルーム内には運転座席１３と、助手座席１４と、複数の後部座席１５とが備えられている。運転座席１３の前方位置にはステアリングホイール１６が備えられ、その前部にメータ類を有したパネルが配置されている。運転座席１３の足許にはアクセルペダル１７とブレーキペダル１８とが配置され、運転座席１３の側部には変速を実現するシフトレバー１９が配置されている。

運転座席１３の近傍で、コンソールの上部位置には、表示面にタッチパネル２１Ｔが形成されたモニタ２１が備えられている。モニタ２１は、バックライトを備えた液晶式のものである。もちろん、プラズマ表示型のものやＣＲＴ型のものであっても良い。また、タッチパネル２１Ｔは、指などによる接触位置をロケーションデータとして出力する感圧式や静電式の指示入力装置として構成される。モニタ２１のケース２１Ｃにはスピーカ２２も備えられているが、スピーカ２２はドアの内側など、他の場所に備えられても良い。

左前部ドア４には左サイドミラー２３を備え、右前部ドア５には右サイドミラー２４を備えている。左サイドミラー２３に左サイドカメラ２５が備えられ、右サイドミラー２４に右サイドカメラ２６が備えられている。車体１の前端に前部カメラ２７が備えられ、車体１の後端には後部カメラ２８が備えられている。

特に、左サイドカメラ２５と右サイドカメラ２６とは撮影方向が下方にセットされ、車体１の一部と路面とが撮影領域に含まれる。前部カメラ２７と後部カメラ２８とは、撮影方向が斜め下方にセットされ、車体１の一部と路面とが撮影領域に含まれる。

これら撮影装置してのカメラはＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵するデジタルカメラであり、撮影した情報を動画情報としてリアルタイムに出力する。これらのカメラには、広角レンズを備えることで広い視野角が確保されている。

モニタ２１は、ナビゲーションモードの制御においてナビゲーション情報の表示に用いられるものであるが、シフトレバー１９をリバース（後進）位置に操作した際には、後部カメラ２８の撮影画像が表示される。また、本発明では、モニタ２１に表示される後部カメラ２８の撮影画像に対して路面の距離感を示す補助的な画像として遠近感イメージＭｐが重畳して表示される。この表示の処理形態は後述する。特に、後部カメラ２８の撮影画像は左右を鏡面反転させることにより左右が入れ換った画像にしており、ルームミラーで後方を確認した際の像と同じ感覚で視認できるようにしている。

車体前部には、ステアリングホイール１６の回転操作力を前車輪２に伝えて駆動操向（操舵）を行うパワーステアリングユニットＰＳを備えている。また、車体前部にはエンジンＥと、このエンジンＥからの動力を変速して前車輪２に伝えるトルクコンバータやＣＶＴ等で成る変速機構Ｔとを備えている。変速機構Ｔはシフトレバー１９の操作によって前後進の切り換えと、走行速度の変速とが行われる。

車体１には運転操作や、車体１の移動状態を検出するための各種センサが備えられている。具体的に説明すると、ステアリングホイール１６の操作系にはステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサＳ１６が備えられている。また、シフトレバー１９の操作系にはシフト位置を判別するシフト位置センサＳ１９が備えられている。アクセルペダル１７の操作系には操作量を計測するアクセルセンサＳ１７が備えられ、前記ブレーキペダル１８の操作系には操作の有無を検出するブレーキセンサＳ１８が備えられている。

後車輪３の近傍には後車輪３の回転量から車体１の移動量を計測するようにフォトインタラプタ型やピックアップ型の移動距離センサＳ３が備えられている。尚、移動距離センサＳ３として、変速機構Ｔの内部の伝動系の回転量から移動量を取得するものを用いても良い。また、移動距離センサＳ３は、前車輪２の回転量を計測するものでも良い。更に、前部カメラ２７あるいは後部カメラ２８の撮影画像の画像処理から車体１の移動量とステアリング量とを検出するように構成しても良い。

車体１の複数箇所には、車体１の近傍位置の人や障害物等の地上物Ｘ（図７を参照）を検出し、地上物Ｘの位置情報を出力する超音波式やレーザ光式の障害物センサユニットＳＢを備えている。この障害物センサユニットＳＢとしてカメラの撮影画像の複数の撮影画像の差分（フレーム間差分）から地上物Ｘを検出するものや、複数の撮影画像の背景とのから地上物Ｘを抽出するものでも良い。

〔制御構成〕
車体１の中央部には、本発明の画像表示装置としてのＥＣＵ３０を配置している。このＥＣＵ３０は、図３及び図４に示すように、センサ入力インターフェース３１と、通信インターフェース３２とで成るインターフェースを備えると共に、画像出力モジュール３３と音声出力モジュール３４とを備えている。

このＥＣＵ３０では、インターフェースを介して得られる情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）等の処理系を備え、処理結果は画像出力モジュール３３からモニタ２１に出力され、また、音声情報は音声出力モジュール３４からスピーカ２２に出力される。

このＥＣＵ３０には、ナビゲーションモードの制御を実現するナビゲーション制御部３５と、ナビゲーション制御部３５に地図情報を与える地図データ保存部３６と、駐車支援モードの制御を実現する駐車支援制御部３７と、後方表示処理を実現する画像処理部３８とを備えている。

ナビゲーション制御部３５は、走行時にＧＰＳユニット４１から経度情報と緯度情報とで示される自車位置を取得し、この自車位置に対応した地図データを取得してモニタ２１に表示する。そして、目的地へ誘導するナビゲーション情報をモニタ２１に表示すると共に、誘導情報をスピーカ２２から音声で出力する。地図データ保存部３６は、自車位置に対応した地図データをナビゲーション制御部３５に与える処理を行う。

駐車支援制御部３７は、駐車を行う際に、カメラビューモードと、アラウンドビューモードとの少なくとも一方の画像をモニタ２１に表示すると共に、この撮影画像に対して車体１を駐車位置に導く支援情報等が重畳表示される。また、支援情報としてスピーカ２２からステアリング方向等の支援情報が音声で出力される。このような情報に基づいてステアリング操作等を行うことにより車体１を駐車位置に容易に導入できることになる。

つまり、カメラビューモードでは、後部カメラ２８あるいは前部カメラ２７の撮影画像をモニタ２１に表示すると共に、撮影画面において駐車位置を指定することにより、この撮影画面に対して車体１の走行方向を示すイメージ等の支援情報が表示され、車体１を駐車位置に導く支援情報が音声でスピーカ２２から出力されるのである。

また、アラウンドビューモードでは、左サイドカメラ２５と、右サイドカメラ２６と、前部カメラ２７と、後部カメラ２８との撮影画像から路面を上から見下ろした画像を生成する。そして、この画像を車体アイコンの周囲にマッピングすることで車体１を上方から見下ろした俯瞰画像が生成してモニタ２１に表示されると共に、必要な場合には、車体１を駐車位置に導く支援情報が音声でスピーカ２２から出力される。

画像処理部３８は、表示モード設定手段３８Ａと、イメージ生成手段３８Ｂと、セル状領域指定手段３８Ｃ（領域指定手段の一例）と、スクロール処理手段３８Ｄと、変換処理手段３８Ｅと、合成処理手段３８Ｆとを備えている。

表示モード設定手段３８Ａは、路面固定モードでの処理と、視野固定モードでの処理との一方を設定する。つまり、路面固定モードの処理は、遠近感イメージＭｐを車体１の移動に伴い路面に固定した形態でスクロールさせ、このスクロールする遠近感イメージＭｐを撮影画像に重畳しモニタ２１に表示する。また、視野固定モードの処理は、遠近感イメージＭｐをモニタ２１の表示域に固定する形態で撮影画像に重畳しモニタ２１に表示する。この表示モード設定手段３８Ａは、図６に示す如く、２つのモードの一方の選択を実現する選択ボタン４５をモニタ２１に表示する。

イメージ生成手段３８Ｂは、複数の平面メジャーイメージＭｆのうち指定されパターンを、指定された輝度（濃度）で、指定された色相で生成する。この平面メジャーイメージＭｆとして、複数の縦ラインと複数の横ラインとを等間隔で格子状に配置したグリッドパターン（図４を参照）、図８に示すように複数のレチクルイメージを縦方向と横方向とで等間隔で配置したレチクルパターン、図９に示すように複数のドットを縦方向と横方向とで等間隔で配置したドットパターン等がセットされている。

また、平面メジャーイメージＭｆではグリッドやレチクルやドットが、濃度を持った区画イメージであり、これらの区画イメージで区画されるセル状領域Ｃが透明に形成されている。そして、イメージ生成手段３８Ｂは、これらの平面メジャーイメージＭｆのうち指定されたものを生成する。

セル状領域指定手段３８Ｃは、障害物センサユニットＳＢからの情報に基づいて平面メジャーイメージＭｆのうち地上物Ｘが存在するセル状領域Ｃを指定し、このセル状領域Ｃに対して他のセル状領域Ｃ（地上物Ｘが検出されない領域）と異なる特徴的な（高輝度や、高い明度や、高い彩度）着色を行う。スクロール処理手段３８Ｄは、車体１の移動方向と単位時間の移動量とに基づき、平面メジャーイメージＭｆを仮想平面上でスクロールさせる処理を行う。

変換処理手段３８Ｅは、後部カメラ２８の撮像光学系（レンズや光電変換素子）の画角や、この撮像光学系の歪曲情報や撮影方向等の情報（カメラ・レンズ情報）に基づき、平面メジャーイメージＭｆを、路面と一致する仮想平面上に投射変換した遠近感イメージＭｐを生成する。

合成処理手段３８Ｆは後部カメラ２８の撮影画像に遠近感イメージＭｐを重畳させる形態での合成を実現する。具体的には、撮影画像が展開される背景レイヤと、これに重ねるイメージレイヤとを用いる処理形態が想定されている。そして、路面固定モードでは、背景レイヤに対して後部カメラ２８の撮影画像が設定インターバルで展開され、これと同期するタイミングでイメージレイヤに対して遠近感イメージＭｐが展開される。また、視野固定モードでは、背景レイヤに対して後部カメラ２８の撮影画像が設定インターバルで展開されるが、イメージレイヤに展開された遠近感イメージＭｐは維持される。尚、設定インターバルとは、後部カメラ２８が１秒あたり撮影画像を出力する際の時間間隔である。

表示モード設定手段３８Ａと、イメージ生成手段３８Ｂと、セル状領域指定手段３８Ｃと、スクロール処理手段３８Ｄと、変換処理手段３８Ｅと、合成処理手段３８Ｆとはソフトウエアで構成されるものであるが、これらをハードウエアで構成して良く、これらをソフトウエアとハードウエアとで構成しても良い。

特に、変換処理手段３８Ｅをソフトウエアで構成した場合には演算により投射変換を実現することになるが、例えば、平面メジャーイメージＭｆを構成する画素の座標（アドレスと考えても良い）と、投射変換により生成される遠近感イメージＭｐの画素との関係をテーブルデータ化することで変換処理の高速化を図っても良い。

ＥＣＵ３０は、電子回路により構成され、インターフェースや出力系の一部又は、全てがこのような電子回路に含まれていても良い。尚、ＥＣＵ３０には、処理系を構成する電子回路、あるいは、別部品としてメモリやレジスタなどによって構成される記憶部を有し、データバス、アドレスバス、コントロールバス等により情報の入出力が行われる。

センサ入力インターフェース３１には、ステアリングセンサＳ１６と、シフト位置センサＳ１９と、アクセルセンサＳ１７と、ブレーキセンサＳ１８と、移動距離センサＳ３とから運転操作情報や移動状態を検出する情報が入力する。

通信インターフェース３２は、通信回線を介してパワーステアリングユニットＰＳと、変速機構Ｔと、ブレーキ装置ＢＫと、ＧＰＳユニット４１と間で通信を行う。更に、この通信インターフェース３２は、タッチパネル２１Ｔと、左サイドカメラ２５と、右サイドカメラ２６と、前部カメラ２７と、後部カメラ２８と、障害物センサユニットＳＢからの情報を取得する。

画像出力モジュール３３は、モニタ２１に対して画像を出力し、音声出力モジュール３４は、スピーカ２２に対して音声を出力する。

〔制御形態〕
このＥＣＵ３０は、ナビゲーション情報をモニタ２１に表示するナビゲーション表示処理、あるいは、駐車支援情報をモニタ２１に表示する駐車支援表示処理を実現するものであるが、本発明の制御として車体１の後方の画像をモニタ２１に表示する後方表示処理を以下に説明する。

後方表示処理は、シフトレバー１９がリバースにセットされた際に自動的に実行され、後部カメラ２８の撮影画像がモニタ２１に表示され、この表示とともに遠近感イメージＭｐがモニタ２１に重畳表示される。この表示により、例えば、車体１を駐車位置に導入する際に路面の特定部位と車体１との位置関係を容易に把握できるものとなり、この制御形態を図５のフローチャート及び図４の情報の流れに基づいて説明する。

シフト位置センサＳ１９からの信号からシフトレバー１９がリバース（後進）位置にセットされたことが検出された場合には、図６に示すように、初期表示として後部カメラ２８の撮影画像がモニタ２１に表示されると共に、この撮影画像に遠近感イメージＭｐが路面固定モードで重畳表示され、この遠近感イメージＭｐの路面に対する表示位置（スクロール処理手段３８Ｄにおいて、平面メジャーイメージＭｆの路面に対する表示位置）が基準位置として記憶される。また、モニタ２１は選択ボタン４５と非表示ボタン４６とが表示される（＃１０１ステップ）。

この処理では、イメージ生成手段３８Ｂが生成した平面メジャーイメージＭｆを、変換処理手段３８Ｅで変換することで、後部カメラ２８の撮影画像の遠近感と、後部カメラ２８の撮像光学系に起因する撮影画像の歪曲とを反映した遠近感イメージＭｐが生成される。また、フローチャートには示していないが、非表示ボタン４６が操作された場合には平面メジャーイメージＭｆが生成されず、モニタ２１にも遠近感イメージＭｐは表示されない。セル状領域指定手段３８Ｃの処理とスクロール処理手段３８Ｄによる処理は後述する。

平面メジャーイメージＭｆとしては、前述したグリッドパターン、レチクルパターン、ドットパターン等のうちユーザによって指定されたものをイメージ生成手段３８Ｂが生成する。また、ユーザの任意の操作により平面メジャーイメージＭｆの色相や輝度（濃度）を任意に設定でき、パターンの縦方向と横方向との間隔も任意に設定できる。尚、この制御に関連する図面にはグリッドパターンを示している。

変換処理手段３８Ｅは、撮影画像の路面レベルに仮想平面を設定し、この仮想平面上に、平面メジャーイメージＭｆに所定の遠近感と、後部カメラ２８のレンズの歪曲とを反映した遠近感イメージＭｐを射影変換等により生成する。この変換処理時には、平面メジャーイメージＭｆの縦ラインを車体１の前後方向と平行する姿勢に設定する。このような変換を行うことにより遠近感イメージＭｐが図６に示す形態となる。尚、遠近感イメージＭｐは、透視図法で描いた図形と共通する形態であり、この透視図法における消失点の位置が、車体１の幅方向の中央の後方に位置するように遠近感イメージＭｐが生成されるのである。

このように遠近感イメージＭｐが表示されることで、例えば、グリッドパターンの前後方向での間隔が１Ｍ（メートル）に設定されている場合には、車体１に最も近いグリッドパターンの横ラインが表示される路面位置が、車体１から１Ｍ（メートル）の位置に存在することが把握できる。

次に、ヘッドライト９を点灯する操作が行われている場合には遠近感イメージＭｐの輝度を高めるために平面メジャーイメージＭｆの輝度を高め、ヘッドライト９が消灯状態にある場合には遠近感イメージＭｐの輝度を標準値にセットするために平面メジャーイメージＭｆの輝度を標準値にセットする。この処理により、平面メジャーイメージＭｆにセットされた輝度は、変換処理手段３８Ｅで変換された遠近感イメージＭｐの輝度に反映され、この遠近感イメージＭｐがモニタ２１に表示される（＃１０２〜＃１０４ステップ）。

この処理は、夜間において路面が暗い状態にあり、遠近感イメージＭｐの視認が困難な場合に、視認性を向上させるための処理である。この輝度の設定（輝度指定）はイメージ生成手段３８Ｂにおいて行われる。この処理で輝度の設定は、ヘッドライト９の点灯の有無に基づいて行われるものであるが、例えば、ＥＣＵ３０に備えたカレンダーと、ＧＰＳユニット４１で取得した緯度情報と、ＥＣＵ３０の時計の時刻情報とから日没時間を取得し、日没後であることを判定した場合に輝度を高めるように切換を行うように処理形態を設定しても良い。この遠近感イメージＭｐは昼間に表示を必要としないことも多く、昼間の時間帯であることを判定した場合にはＥＣＵ３０が遠近感イメージＭｐを非表示とし、夜間にのみ表示するように処理形態を設定しても良い。換言すると、遠近感イメージＭｐは画像が明るいときには必要としないことも多く、従って、モニタ２１の画面の輝度が高いときには遠近感イメージＭｐを表示せず、画面の輝度が低いときに遠近感イメージＭｐを表示しても良い。

次に、モニタ２１に表示されている選択ボタン４５で路面固定モードの処理が選択されない場合（視野固定モードが選択された場合）には、遠近感イメージＭｐをモニタ２１の視野に固定する形態で撮影画像に重畳表示する（＃１０５、＃１０６ステップ）。

尚、＃１０６ステップでは、背景レイヤに対して後部カメラ２８の撮影画像が設定インターバルで展開されるが、イメージレイヤに展開された遠近感イメージＭｐは維持される処理が行われる。

これとは逆に、＃１０５ステップで路面固定モードの処理が選択されていることが判別された場合（既に選択されている場合を含む）には、障害物センサユニットＳＢで地上物Ｘ（図７を参照）を検出した場合に、地上物Ｘが存在する位置のセル状領域Ｃｘの表示色を比較的高い輝度の有彩色に設定して表示する（＃１０５、＃１０７、＃１０８ステップ）。

つまり、障害物センサユニットＳＢで地上物Ｘを検出した場合には、セル状領域指定手段３８Ｃが、地上物Ｘの位置情報を取得し、この位置情報に対応する位置のセル状領域Ｃｘの表示色を設定する。尚、地上物Ｘが複数のセル状領域Ｃに亘って存在する場合や、複数の地上物Ｘが存在する場合には対応する複数のセル状領域Ｃｘが着色された状態で表示されることになる。

このような表示形態に代えて、例えば、遠近感イメージＭｐのうち地上物Ｘが存在する部位（横ラインや縦ライン）の輝度を高めることや、色相を変更することや、その部位（横ラインや縦ライン）をブリンクさせるように表示形態を設定しても良い。

次に、車体１が走行していることを判定した場合には、記憶されている基準位置を基にして平面メジャーイメージＭｆを車体１の走行方向とステアリング方向とを反映する方向に（車体の移動方向と逆方向に）スクロールする（＃１０９、＃１１０ステップ）。

この処理では、スクロール処理手段３８Ｄが、ステアリングセンサＳ１６と、移動距離センサＳ３とからの信号を取得し、車体１の移動方向と、単位時間内の移動量とを取得して、この移動と逆方向に平面メジャーイメージＭｆをスクロールする。

つまり、スクロール処理手段３８Ｄは、平面メジャーイメージＭｆをスクロールすると共に、このスクロールの際には、後部カメラ２８が１秒あたり撮影画像を出力する際のインターバルで平面メジャーイメージＭｆから遠近感イメージＭｐが生成される。そして、この遠近感イメージＭｐを撮影画像に重畳して表示した場合には、この遠近感イメージＭｐが路面に固定された状態で路面と一体的に移動する形態で表示されることになる。

具体的に説明すると、平面メジャーイメージＭｆはメモリ上の所定エリアにビットマップ形式で形成される。スクロールする場合には、この所定エリアにおいて平面メジャーイメージＭｆをアフィン変換等により平行移動させる（アドレス値の加減が行われることになる）。このようにスクロールされる際には平面メジャーイメージＭｆの設定領域Ｆ（図４を参照）が前述したインターバルで抽出され、後述するように、変換処理手段３８Ｅが遠近感イメージＭｐに変換する結果、この遠近感イメージＭｐはモニタ２１に路面と一体的にスクロールする形態で表示される。

この処理では、車体１が停車した際に、遠近感イメージＭｐの輝度を高めるために平面メジャーイメージＭｆの輝度を高めることや、遠近感イメージＭｐの透明感（透明度）を低減する（明瞭にする）ために平面メジャーイメージＭｆの透明感を低減する処理を行っても良い。また、車体１が移動したことを検出した場合に、遠近感イメージＭｐの輝度を低減するために平面メジャーイメージＭｆの輝度を低減することや、遠近感イメージＭｐの透明感を高める（不明瞭にする）ために平面メジャーイメージＭｆの透明感を高める処理を行っても良い。この処理により平面メジャーイメージＭｆにセットされた輝度や透明感は、変換処理手段３８Ｅで変換された遠近感イメージＭｐの輝度や透明感に反映され、この遠近感イメージＭｐがモニタ２１に表示されることになる。このような処理を行うことで停車時には遠近感イメージＭｐを明瞭に視認して路面と車体との位置関係の把握を可能にし、車体１の移動時には遠近感イメージＭｐの視認性を低減してモニタ２１に表示されている撮影画像の把握を阻害しないものにできる。ここで、「透明感を高める」の表現に代えて「より透明度の高い半透明にする」と言い換えても良い。

これとは逆に、車体１が停車した際に、遠近感イメージＭｐの輝度を低減し、遠近感イメージＭｐの透明感を増す（不明瞭にする）ために、前述と同様の処理を行っても良い。このような処理を行うことで停車時には遠近感イメージＭｐが目障りにならず、車体１の移動時に視認性を高めることになる。

次に、変換処理手段３８Ｅにおいて、平面メジャーイメージＭｆが、後部カメラ２８が撮影画像を出力するインターバル毎に遠近感イメージＭｐに変換される。この変換処理手段３８Ｅでは、平面メジャーイメージＭｆのうち、前述した設定領域Ｆの情報が、路面と一致する仮想平面上に投射変換により遠近感を持ったイメージに変換され、この後に、後部カメラ２８の撮像光学系の画角や、歪曲情報等を反映されたイメージに変換される。このように遠近感を持ち、撮像光学系の歪曲が範囲する遠近感イメージＭｐが生成されるのである。尚、前述したテーブルデータを用いて変換を行うことで、高速での変換も可能である。

そして、合成処理手段３８Ｆにおいて撮影画像に重畳する形態で遠近感イメージＭｐが合成され画像出力モジュール３３に与えられ、この合成された画像はモニタ２１に表示される。この処理はシフトレバー１９をリバース位置以外の位置にセットされるまで継続して行われる（＃１１１〜＃１１３ステップ）。

特に、＃１１２ステップ（路面固定モード）では、合成処理手段３８Ｆが、前述したように、背景レイヤに対して後部カメラ２８の撮影画像が設定インターバルで展開し、これと同期するタイミングでイメージレイヤに対して遠近感イメージを展開することになる。

このように、本発明によると、シフトレバー１９をリバース位置にセットした場合には、モニタ２１に後部カメラ２８で撮影された撮影画像が表示され、この撮影画像に対して、遠近感イメージＭｐが重畳して表示されこの遠近感イメージＭｐの路面に対する表示位置（スクロール処理手段３８Ｄにおいて、平面メジャーイメージＭｆの路面に対する表示位置）が基準位置として記憶される。遠近感イメージＭｐは、後部カメラ２８の撮影画像の遠近感と、後部カメラ２８の歪曲とが反映されており、遠近感イメージＭｐを基準にして駐車位置を示すラインや路面の障害物等までの距離を把握できることになる。

シフトレバー１９をリバース位置にセットした初期状態では、路面固定モードでの処理が選択されており、車体１の移動に伴い、記憶されている遠近感イメージＭｐの路面に対する表示位置を基準にしてスクロールが行われるため、ステアリング操作を行っても遠近感イメージＭｐが撮影画像の路面と一体的に移動（スクロール）する形態で表示される。これにより路面と遠近感イメージＭｐとの相対的な位置関係に変化がなく、遠近感イメージＭｐの表示に違和感がなく、陰影の少ない路面上を移動する際にも移動量や移動速度の把握も容易になるのである。

また、視野固定モードを選択した場合には、車体１が移動する際にも遠近感イメージＭｐはモニタ２１の表示領域では移動しない表示形態となり、遠近感イメージＭｐに基づいて車体１から、駐車位置を示すラインや路面の障害物等までの距離を把握できる。

〔別実施の形態〕
本発明は、上記した実施の形態以外に以下のように構成しても良い。

（ａ）図１０に示すように、モニタ２１に対して後部カメラ２８の撮影画像に遠近感イメージＭｐを重畳して表示する第１ウインドウＷ１と、車体１を上方から見下ろした俯瞰画像を表示する第２ウインドウＷ２とを形成しても良い。このように第２ウインドウＷ２に俯瞰画像を表示する際に、車体１の後方の画像に平面メジャーイメージＭｆを表示しても良い。このように俯瞰画像に平面メジャーイメージＭｆを表示することにより車体１の後方の状態を一層良好に把握できる。

（ｂ）例えば、遠近感イメージＭｐとしてグリッドパターンを表示する場合には、図１１に示すように、グリッドパターンを路面から少し高い位置に表示し、路面に陰Ｍｓを表示しても良い。また、グリッドパターンに高さ方向に厚みを持たせて立体的に表示しても良い。このように立体的な表示を行うことにより、遠近感イメージＭｐの位置が明瞭となり、遠近感イメージＭｐから路面の特定の位置と車体との距離の把握を容易に行える。

（ｃ）車体１を後進させて駐車位置に導くための駐車支援モードにおいても遠近感イメージＭｐをモニタ２１に表示するように処理形態を構成する。この駐車支援モードでは、駐車位置に対して車体１を誘導するために、例えば、駐車位置を特定する画像情報や、車体１を後進させた場合の予想進路等の画像情報がモニタ２１に表示されるものであるが、これらの情報と併せて遠近感イメージＭｐをモニタ２１に表示することで、駐車時における車体１の移動を一層容易にする。

（ｄ）車体１を前進させる際にも、モニタ２１に前部カメラ２７の撮影画像と、これに重畳するように遠近感イメージＭｐを表示する。このように処理形態を設定することにより、車体１と交差点との位置や前方の車両との車間距離を容易に把握できることになる。

（ｅ）カメラの撮影画像に遠近感イメージＭｐを重畳して合成する場合に、障害物センサユニットＳＢで地上物を検出している場合には、その地上物が存在する領域の遠近感イメージＭｐを陰線処理等により表示しないように処理形態を設定しても良い。このように処理形態を設定することにより、遠近感イメージＭｐに妨げられることなく地上物の形状等を明瞭に把握できる。

（ｆ）視野固定モードで車体１を移動させている際に所定の条件が成立したタイミングや、所定の人為操作が行われた際には、それらをトリガーにして路面固定モードに切り換わると共に、切り換わったタイミングにおける遠近感イメージＭｐと路面との表示位置との関係を基準位置として記憶するように処理形態を設定しても良い。前述したように、この記憶はスクロール処理手段３８Ｄにおいて、平面メジャーイメージＭｆの路面に対する表示位置を基準位置として保存する処理として行われる。

その具体例として、（１）視野固定モードで車体１を移動させ障害物（地上物Ｘ）を検出した時点、又は、（２）白線認識等の処理で駐車枠を認識できた時点、あるいは、（３）運転者が所定のスイッチ（選択ボタン４５以外のスイッチ類）を操作した時点でトリガーを発生させることが考えられる。また、この（１）〜（３）の変形例として、シフトレバー１９がリバース（後進）位置にセットされていることを条件にして（１）〜（３）のトリガーを発生させるように処理形態を設定しても良い。

このように視野固定モードから路面固定モードに切り換えるトリガーを所定の条件や人為操作によって発生させるようにするように構成することで、例えば、視野固定モードで車体１を移動させ、所定の条件で路面固定モードに自動的に移行することや、運転者が遠近感イメージＭｐの所定のグリッドを路面のマーク等に意識的に一致させることを可能にする。

また、路面固定モードのときに、（１）障害物（地上物Ｘ）を検出した時点、又は、（２）白線認識等の処理で駐車枠を認識できた時点、あるいは、（３）運転者が所定のスイッチ（選択ボタン４５以外のスイッチ類）を操作した時点で、遠近感イメージＭｐを初期の状態に戻すことも考えられる。
具体的には、シフトレバー１９がリバース（後進）位置にセットされたときに、そのときの撮影画像に対して遠近感イメージＭｐが重畳して表示され、この遠近感イメージＭｐの路面に対する表示位置が基準位置として記憶されて表示される。その後、路面固定モードで車体１が移動すると共に撮影画像とともに遠近感イメージＭｐも移動する。このような状況において、例えば、運転者が所定のスイッチ（選択ボタン４５以外のスイッチ類）を操作した時点で、路面固定モードのときのシフトレバー１９がリバース（後進）位置にセットされたときと同様の処理を行ってから遠近感イメージＭｐを表示することで、運転者が認識し易いように遠近感イメージＭｐを表示し直す（遠近感イメージＭｐをリセットする）処理形態を採用しても良い。

本発明は、車体に車体近傍を撮影するカメラを備えている車輌全般に利用することができる。

１ 車体
２１ モニタ
２８ カメラ（後部カメラ）
３８ 画像処理部
３８Ａ 表示モード設定手段
３８Ｅ 変換処理手段
３８Ｃ 領域指定手段（セル状領域指定手段）
４５ 選択ボタン
Ｃ 領域（セル状領域）
ＳＢ 障害物センサユニット
Ｘ 地上物

Claims (9)

1. 車体に、この車体の周辺を撮影するカメラを備え、このカメラの撮影画像を前記車体に備えたモニタに表示する画像処理部を備えており、
   この画像処理部が、前記カメラの撮影画像の遠近感を反映する遠近感イメージを生成すると共に、この遠近感イメージを前記車体の移動に伴い路面に固定した形態でスクロールさせ、このスクロールする遠近感イメージを前記撮影画像に重畳して前記モニタに表示する路面固定モードでの処理を行う画像表示装置。
2. 前記遠近感イメージを前記モニタの表示域に固定する形態で前記撮影画像に重畳し前記モニタに表示する視野固定モードでの処理が設定されると共に、前記画像処理部は、前記路面固定モードと、前記視野固定モードとの何れか一方の処理を実行する請求項１記載の画像表示装置。
3. 操作により前記路面固定モードの処理と、前記視野固定モードの処理との一方を選択する選択ボタンを備えている請求項２記載の画像表示装置。
4. 前記画像処理部が、路面に対応した仮想平面を縦方向と横方向との方向において設定間隔で区画する区画イメージを具備する平面メジャーイメージを生成すると共に、この平面メジャーイメージを前記カメラの撮影画像の遠近感を反映する前記遠近感イメージに変換する変換処理手段を備えている請求項１〜３のいずれか一項に記載の画像表示装置。
5. 前記車体に、路面の地上物の位置を検出する障害物センサユニットが備えられ、前記路面固定モードの実行時に前記障害物センサユニットで地上物を検出した場合には、前記遠近感イメージのうち前記地上物が存在する領域の表示形態を、地上物が検出されない領域と異なるものにする領域指定手段を備えている請求項１〜４のいずれか一項に記載の画像表示装置。
6. 前記画像処理部が、夜間にのみ前記遠近感イメージを前記モニタに表示する請求項１〜５のいずれか一項に記載の画像表示装置。
7. 前記画像処理部が、前記車体の停車時より前記車体の移動時における前記遠近感イメージの透明感を高く設定する請求項１〜６のいずれか一項に記載の画像表示装置。
8. 前記画像処理部が、昼間と比較して夜間時には、前記遠近感イメージを高輝度に設定する表示する請求項１〜５のいずれか一項に記載の画像表示装置。
9. 前記画像処理部が、前記遠近感イメージのうち前記車体から離間する領域のものほど視認性を低下させる請求項１〜８のいずれか一項に記載の画像表示装置。

Images