JP4914458B2 - 車両周辺表示装置 - Google Patents

Description

本発明は、車両の周辺状況を表示する車両周辺表示装置に関する。

従来、特許文献１および特許文献２に記載のように、車両後部の周辺状況をリアルタイムに撮影した画像に、後方走行に伴って視野外となった画像および自車両を合成して表示する技術が知られている。

特許文献１に記載の第１の従来技術では、カメラで撮影した画像を、例えばカメラを視点として投影した地上面座標系のデータに変換して鳥瞰図画像の画像データを順次作成する。このため、表示される画像は生画像特有の歪んだ画像ではない。そして、車両の移動状態に対応して第１鳥瞰図画像（前回得られた画像）を移動させて移動後鳥瞰図画像の画像データを作成し、この移動後鳥瞰図画像の画像データと、第１鳥瞰図画像よりも新しい第２鳥瞰図画像の画像データとを合成して合成鳥瞰図画像を作成する。さらに、合成鳥瞰図画像をカメラで撮影したような投影画像に変換することにより、カメラで撮影したような画像をモニタ等に表示する。

特許文献２に記載の第２の従来技術では、描画処理部は、撮影された現在の画像データと過去の画像データの両方について歪みのない画像となるように広角レンズによる歪曲収差を補正する。そして、補正した過去の画像データについては、車両側に位置する一部のデータだけを抽出し、合成用過去データを作成する。さらに、この合成用過去データを後輪軸の中心よりも上方に位置する仮想視点から見た画像に視点変換する。

一方、補正した現在の画像データについては、車両から遠い側に位置する一部のデータだけを抽出し、合成用現在データを作成する。さらに、この合成用現在データを所定の縮小率に縮小した縮小データを作成する縮小変換を行う。そして、この縮小データを視点変換された合成用過去データの合成領域に合成した合成画面を作成し、ディスプレイの画面に出力する。さらに描画処理部は、車幅延長線と、後輪描画線を仮想視点に応じて変換して描画し、ディスプレイの画面に出力する。

特開２００３−１８９２９１号公報 特開２００６−３２７４９８号公報

このように上記いずれの従来技術においても、撮影した画像に対して種々の画像処理（歪みの補正、視点変換、縮小変換）を施すため、画像処理に要する処理量が大きくなり、マイクロコンピュータ等に高い処理能力を要するという問題があった。また、従来技術では撮影した画像を補正して歪みのない画像として表示するため、画面上では歪みのない見やすい画像となるが、画面に映し出される後方画像の範囲が狭くなるという問題があった。

そこで本発明は、上記問題点を鑑みてなされたものであり、その目的は、車両周辺の視界の確保を図り、車両周辺画像作成のための処理能力を低減できる車両周辺表示装置を提供することにある。

本発明は、上記目的を達成するために以下の技術的手段を採用する。すなわち、請求項１に記載の発明は、車両周辺の画像を表示する車両周辺表示装置に係る発明であって、車両周辺の画像を撮像する撮像手段と、撮像手段によって撮影された画像、撮像された画像から抽出された路面表示物や路上物体、およびセンサにより検出された路面表示物や路上物体の少なくとも一つを履歴データとして記憶するとともに、コンピュータグラフィックスにより作成された車両の画像を予め記憶する記憶手段と、撮像手段によって撮像される現在の車両周辺の画像が画像の歪みを補正されることなく表示される周辺画像表示領域と、周辺画像表示領域に隣接し履歴データを用いて作成された画像が表示される履歴表示領域と、を含んで構成される表示画面と、予め記憶された車両の画像と履歴データに基づく画像とを所定の視点からみるように履歴表示領域に重畳して描画する描画手段と、を備え、
描画手段は、周辺画像表示領域の車両周辺の画像の歪みを履歴表示領域の画像に与え、コンピュータグラフィックスで作成された車両の画像および履歴データから抽出された路上物体または路面表示物のみを、周辺画像表示領域に表示される路上物体または路面表示物に対して連続して表示するように前記履歴表示領域に描画することを特徴とする。

この発明によれば、周辺画像表示領域には歪みのある実際の車両の周辺画像が表示されることにより、歪み補正を施した画像に比べて車両周辺の映る範囲が大きくなり、運転者に対してより多くの車両周辺情報を提供することができる。履歴表示領域には、周辺画像の歪みが与えられ、周辺画像表示領域の路上物体または路面表示物に対して連続して表示されるように履歴データからの路上物体または路面表示物が描画されることにより、周辺画像表示領域の現在の生画像と、撮像手段の視野外にある履歴表示領域の画像とを視覚的に結びつけた表示画面を提供でき、画像処理量を抑制しつつも、運転者は自車の位置を正確に認識できるようになる。さらに履歴表示領域には、履歴データから抽出された路上物体または路面表示物とコンピュータグラフィックスによる車両とが描画され、その他の情報は描画されないため、運転者は路上物体または路面表示物と車両との位置関係を明瞭に把握することができ、さらにこのように描画情報を絞り込んでいるため、画像処理量を抑制して画像作成のための処理能力を低減できる。したがって、周辺画像範囲の確保が図れ、履歴データを用いた画像作成のための処理能力の低減が図れる。ここで、周辺画像表示領域または履歴表示領域の路上物体または路面表示物とは、車両が移動しようとするスペースに形成されている溝、段差、縁石、人、他車両、白線等の駐車スペースを示す駐車枠等といった車両周辺の目印となり得るものである。

請求項２に記載の発明によれば、請求項１に記載の記憶手段は、撮像された画像から抽出された路面表示物や路上物体、およびセンサにより検出された路面表示物や路上物体の少なくとも一つを履歴データとして記憶することを特徴とする。
請求項３に記載の発明によれば、請求項１または請求項２に記載の描画手段は、履歴表示領域に描画される路上物体または路面表示物を、周辺画像表示領域との境界位置から離れた部位では直線状に補正して描画することを特徴とする。

この発明によれば、履歴表示領域の路上物体または路面表示物を、周辺画像表示領域との境界位置では連続するように描画し、境界位置から離れた部位では、履歴表示領域の画像に与えた車両後方画像の歪に関係なく、直線状に描画する。これにより、履歴表示領域に描画される車両に接近する位置では、履歴表示領域の路上物体または路面表示物は車両に対して平行に描画され、撮像手段のレンズの歪みによる画像の見にくさを軽減することができる。

請求項４に記載の発明によれば、上記各請求項に記載の描画手段は、履歴表示領域に表示する路面表示物を、周辺画像表示領域の路面表示物と同程度の色で描画することを特徴とする。この発明によれば、路上物体または路面表示物が周辺画像表示領域から履歴表示領域に亘ってさらに連続的一体的に表示され、運転者の視認性を向上させることができる。

請求項５に記載の発明によれば、上記各請求項に記載の描画手段は、履歴データから抽出された路面表示物が不明瞭であっても、一定の色の濃さで履歴表示領域に路面表示物を描画することを特徴とする。

この発明によれば、路面表示物に部分的に色のかすれ、欠け等があって撮像されない部分がある場合でも、周辺画像表示領域から履歴表示領域に亘って連続的な目印として確実に表示することができる。したがって、路面表示物の状態がよくない場合でも、運転者に駐車支援を提供できる。

請求項６に記載の発明によれば、上記各請求項の発明において、描画手段は、周辺画像表示領域の車両周辺画像に重畳して予想進路線を描画するように構成され、
車両の移動中に所定の条件が成立したときには、周辺画像表示領域および履歴表示領域の画像は拡大表示され、描画手段は予想進路線を描画しないことを特徴とする。

この発明によれば、車両の移動中に拡大画像を表示する所定の条件が成立したときには、拡大画像を表示するとともに予想進路線は表示しない。例えば駐車動作の後半以降の車両移動は小さく、予想進路線を表示する必要性は乏しく、進行方向の詳細な状況把握が必要になるため、運転者に対して詳細情報を与えつつ視認性を妨げることのない表示画面を提供できる。

請求項７に記載の発明によれば、上記各請求項に記載の描画手段は、車両の計器表示盤の動作を制御する制御装置によって制御されることを特徴とする。この発明によれば、描画手段を制御する制御装置は比較的メモリ、処理能力が大きくない計器表示盤の制御装置であることにより、周辺画像表示領域の現在の生画像と、撮像手段の視野外にある履歴表示領域の画像とを視覚的に結びつけた表示画面の提供による画像処理能力およびメモリの低減の効果を一層享受することができる。

請求項８に記載の発明によれば、請求項７に記載の発明において、表示画面は計器表示盤の一部に設けられることを特徴とする。この発明によれば、画像処理能力およびメモリの低減効果とともに、車両周辺の画像を車両の計器に重ねるように配置するため、運転者は計器を見る感覚で車両周辺の情報を取得することができる。

請求項９に記載の発明は、請求項１から請求項８のいずれか一項に記載の発明において、撮像手段は、車両後方の画像を撮像し、周辺画像表示領域には、撮像手段によって撮像される現在の車両後方の画像が画像の歪みを補正されることなく表示されることを特徴とする。

この発明によれば、周辺画像表示領域には歪みのある実際の後方画像が表示されることにより、歪み補正を施した画像に比べて車両後方の映る範囲が大きくなり、運転者に対してより多くの車両周辺情報を提供することができる。履歴表示領域には、後方画像の歪みが与えられ、周辺画像表示領域の路上物体または路面表示物に対して連続して表示されるように履歴データからの路上物体または路面表示物が描画されることにより、周辺画像表示領域の現在の車両後方の生画像と、撮像手段の視野外にある履歴表示領域の画像とを視覚的に結びつけた表示画面を提供でき、画像処理量を抑制しつつも、運転者は自車の位置を正確に認識できるようになる。したがって、後方画像範囲の確保が図れ、履歴データを用いた画像作成のための処理能力の低減が図れる。

本発明の一実施形態である第１実施形態の車両後方表示装置の構成を概略的に示す構成図である。 車両とカメラの位置関係を説明する図である。 後方駐車時の車両後方表示装置の動作を示すメインフローチャートである。 第１実施形態のメインフローチャートにおける画像処理のサブルーチンである。 カメラで撮像された生画像を画面全体に示した図である。 第１実施形態において後方駐車時に表示される画面を説明する図である。 図６の表示画面の履歴表示領域において、補正した白線を説明する図である。 第２実施形態のメインフローチャートにおける画像処理のサブルーチンである。 第２実施形態における後方駐車時に表示される画面を説明する図である。 第２実施形態における後方駐車時に表示される拡大画像を説明する図である。

以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組合せに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。

（第１実施形態）
本発明の車両周辺表示装置は車両の周辺状況を表示し、運転者がこの画面表示を視認することにより、運転操作を支援することができる。車両周辺表示装置の一実施形態である車両後方表示装置について図１〜図７を参照して説明する。

車両後方表示装置は車両後部の周辺状況を表示し、運転者がこの画面表示を視認することにより、駐車時の後方移動を支援することができる。この車両後方表示装置は、その画面表示が、現在の車両後方の実際の画像と、過去の画像データに基づいて実際の画像と連続するように作成された車両および車両周囲の画像と、による合成画像で構成されるため、運転者に対して、自車の正確な位置を知らせることができる効率的な後方駐車支援を提供する。

図１は車両後方表示装置の構成を概略的に示す構成図である。図２は、車両１０とカメラ６の位置関係を説明する図である。車両後方表示装置は、車両後方の画像を撮像するカメラ６と、カメラ６によって撮像された画像が表示されるディスプレイ８と、ディスプレイ８に表示する画像を描画する描画回路４と、カメラ６からのアナログ信号をデジタル信号に変換した画像信号として描画回路４に送るＮＴＳＣデコーダ７と、カメラ６で撮像された画像データを記憶するメモリ５と、ディスプレイ８の画像表示を制御するマイクロコンピュータ１（以下、マイコン１ともいう）と、車両移動量検出部２と、車両状態検出部３と、を備える。

カメラ６は、図２に示すように、車両１０の後部バンパー１０ａよりも上方に設けられ、車両後方に所定の視野範囲（例えば車両後方の１８０°の範囲）および所定の距離である撮像可能範囲を有し、後方画像を広範囲に亘って撮像する広角の撮像手段である。メモリ５は、ＮＴＳＣデコーダ７から送られる画像信号を画像データとして保存する記憶手段であり、カメラ６によって撮影された過去の画像データを履歴データとして記憶するとともに、予め車両１０の後部画像を記憶している。車両１０の後部画像は、撮影画像に対して正確な位置関係となるように描画された画像である。メモリ５に予め記憶されている車両１０の後部画像は、車両１０の後部バンパー１０ａ等を含む画像であり、ここでは一例として、車両上方の所定位置に設定された所定の視点から見たときの予めコンピュータグラフィックスによって作成された画像（以下、車両のＣＧともいう）を用いる。メモリ５は、マイコン１および描画回路４のそれぞれとデータの通信を行うようになっている。

ディスプレイ８は、車両１０のトランスミッションのシフト位置がリバースポジションであるときに車両後方の画像が映る表示画面である。ディスプレイ８には、車両１０の後方移動時に、カメラ６によって撮像される現在の車両後方画像がその画像の歪みを補正されることなく表示される後方画像表示領域２０（周辺画像表示領域の一例）と、この後方画像表示領域２０に隣接し過去の履歴データを用いて作成された画像が表示される履歴表示領域３０と、が表示される。

ディスプレイ８は、例えば、液晶ディスプレイで構成され、ハンドルの前方、またはダッシュボードの中央部に配置された車両の計器表示盤の一部に配置される。また、ディスプレイ８は、ダッシュボードのフロントガラスに近い側に配置してもよい。この構成によれば、運転者は、視線をハンドル寄りの手前に向けることなく、車両前方を見るような楽な状態で、後方画像を視認することができる。また、ディスプレイ８は、ダッシュボード上であって車幅方向中央部に起立した姿勢で配置してもよく、カーナビゲーション装置の液晶ディスプレイ上に配置するようにしてもよい。

車両移動量検出部２は、車両１０がある状態から移動した距離を車輪の回転数等から検出し、そのときの車両の回転方向をステアリング回転角等から検出し、検出した移動量を示す信号をマイコン１に送信する。これらの移動量、回転量は、画像を俯瞰変換し、その過去の画像と現在の画像をマッチングして演算することから求めてもよい。車両状態検出部３は、車両１０の様々な状態を示す検出信号を受信するが、ここでは少なくとも、トランスミッションのシフト位置を示す信号を受信し、マイコン１に送信する機能を有する。

描画回路４は、ディスプレイ８に対して描画した画像を出力する描画手段であり、マイコン１と通信するようになっている。描画回路４は、カメラ６によって撮像された車両後方の生画像を後方画像表示領域２０に配置するように出力し、さらに履歴データから抽出された車両後部周辺の路上物体または路面表示物とＣＧの車両画像とを前述の所定の視点からみるように履歴表示領域３０に重畳して描画してディスプレイ８に出力する。ここで、路上物体は、超音波ソナー等で検出した他車両、壁、歩行者であり、路面表示物とは、車両１０が後方移動しようとするスペースに形成されている溝、段差、縁石等の障害物、白線等の駐車スペースを示す駐車枠等であって、車両後方周辺の目印となり得るものである。また、履歴表示領域３０には、車両１０の車軸部分１１の位置および車輪１２の少なくとも一方が表示されていることが好ましい。

描画回路４は、後方画像表示領域２０の車両後方画像の歪みを履歴表示領域３０の画像に与え、抽出された路上物体または路面表示物を、後方画像表示領域２０に表示されている路上物体または路面表示物に対して連続して表示されるように履歴表示領域３０に描画する。

マイコン１は、車両移動量検出部２や車両状態検出部３からの信号、メモリ５や描画回路４からの信号等を受信して所定の演算を実行し、その演算結果に基づく画像データを描画回路４に出力する制御装置である。マイコン１は、演算プログラム等が記憶されるＲＯＭと、演算の作業領域として機能するＲＡＭと、を備えている。

履歴データ用いた路上物体または路面表示物の検出方法は、様々な方法を採用することができる。ここでは、路面表示物の一例である駐車枠としての白線を検出する場合を以下に説明する。マイコン１は、車両の移動とともにメモリ５に保存された過去画像の履歴データから、画面に設定した仮想の２次元座標上に画像の明度の変化を読み取ってプロットし、２次元座標における明度分布を作成することにより、画面上の白線の存在を検出する。

まず、２次元座標上のあるＹ座標値を固定して、Ｘ軸だけを変位させて画像の明度変化を抽出し、Ｘ座標の変位に伴う明度分布を作成する。このＸ座標の変位に伴う明度分布において、白線が表示されている部位のＸ座標の明度は他のＸ座標の明度よりも高くなる。これは画像において路面が路面表示物である白線よりも濃い色（例えばアスファルトの黒色）で表示されるからである。この周囲よりも明度の高い部分は、白線がＸ軸方向に延びる幅分、継続するように抽出されるようになる。

さらに、このように作成したＸ座標の変位に伴う明度分布を、Ｙ座標の値を変化させて複数抽出し作成する。そして、作成されたＸ座標の変位に伴う明度分布における明度の高い部分は、Ｙ座標値の個数を増やすほど、画像上の実際の白線の軌跡に近づいていくようになるが、マイコン１では、図６に示すように、履歴表示領域３０に、後方画像表示領域２０の白線２１に対して連続的な白線３１を描画できれば目的を果たせるため、白線の軌跡を線として形成するよりも非常に少ない数量のプロット数を抽出すればよい。

このようにマイコン１で実行される白線検出は、画像上の白線を「線」として検出するのではなく、複数個の点のプロットとして検出するため、そのデータ処理量およびデータ処理の作業領域および時間を大幅に省力化することができる。車両後方表示装置は、このような白線検出方法を採用することにより処理能力およびメモリの低減が図れるため、例えば、カーナビゲーション装置等を制御する大容量の制御装置を必要としなくても、計器表示盤を制御する制御装置によって十分に制御可能である。

また、白線検出は、上記２次元座標上の明度分布うち、白線２１のエッジ部分のみを抽出してその座標を記憶するようにしてもよい。これによれば、さらにそのデータ処理量およびデータ処理の作業領域および時間を低減することができる。

次に、後方駐車時の車両後方表示装置の動作について図３および図４に示すフローチャートにしたがって説明する。図３および図４のフローチャートは、車両後方表示装置の作動を制御する制御装置であるマイコン１によって実行される。

図３のメインフローチャートは、マイコン１に電源が投入されるとスタートし、ディスプレイ８にはまず車両後方画像以外の通常時の画像が表示される（ステップ１０）。そして、マイコン１は、車両状態検出部でトランスミッションのシフト位置がリバースポジションである信号を受信したか否かを判定し（ステップ２０）、リバースポジションを示す信号を受信するまでステップ２０を繰り返す。ステップ２０でリバースポジションを示す信号を受信すれば、ステップ３０に進み、マイコン１は、ディスプレイ８に出力する画像を作成するための画像処理のサブルーチンを実行する。そして、画像処理に係るサブルーチンの各処理（ステップ３０１〜ステップ３０６）によって描画回路４で描画された画像が描画回路４を通じてディスプレイ８に出力されると、後方画像表示領域２０と履歴表示領域３０とを備えた画面が表示される（ステップ４０）。

そして、ステップ４０でディスプレイ８に表示された画像は、ステップ２０で車両が後方移動する信号を認識してから継続して撮像および描画され、リバースポジションのシフト位置が解除されたと判定されるまでディスプレイ８にはリアルタイムの後方画像表示領域２０の画像とこの画像と連続的に描画された履歴表示領域３０の画像とが継続して表示される（ステップ５０）。ステップ５０でＮＯと判定されると、ステップ３０に飛び、引き続き画像処理のサブルーチンを実行することにより、車両１０の移動量に応じて、リアルタイムの後方画像表示領域２０の画像に対して連続的につながって表示される履歴表示領域３０の画像を描画し、描画した画像をディスプレイ８上の履歴表示領域３０に出力し続ける。そして、ステップ５０でＹＥＳと判定されると、ステップ１０に戻り、ディスプレイ８の後方画像表示は解除される。また、駐車が完了するとイグニッションスイッチがＯＦＦされるので、制御装置への電源ＯＦＦとともに本フローチャートは終了する。

次に、画像処理のサブルーチン（ステップ３０１〜ステップ３０６）を図４にしたがって説明する。まず、カメラ６が車両１０の所定の範囲を含むように撮像した車両後方の画像データを取得する。そして、カメラ６によって撮像された画像の信号は、ＮＴＳＣデコーダ７、描画回路４を介して、画像データとしてメモリ５およびマイコン１に入力される（以上、ステップ３０１）。このときメモリ５には、車両１０の移動とともに画面上の仮想座標に落とし込まれた画像データが保存され、蓄積される。そして、取得された画像データは、実際にディスプレイ８には表示されないが、仮に描画したとすると、図５に示すように画面上方の上半分に後方画像が映し出され、画面下方の下半分に車両１０の後部が映し出されるようになる。図５は、カメラ６で撮像された生画像を画面全体に示した図である。

次にステップ３０２で、描画回路４は、履歴表示領域３０および後方画像表示領域２０を生成する処理を実行し、各領域を画面に割り付ける。図６に示すように、後方画像表示領域２０は画面上方に配置され、履歴表示領域３０は後方画像表示領域２０に隣接して画面下方に配置される。図６は後方駐車時に表示される画面を説明する図である。次に、ステップ３０３で、マイコン１は、メモリ５に送られた画像データを読み込み、前述の白線検出方法等によって路面表示物等（ここでは駐車枠としての白線２１）の存在を検出する。白線２１は、画面の仮想座標上に複数のプロットによって落とし込まれる形式で検出される。そして、マイコン１は、仮想座標上に落とし込まれた白線２１を履歴データとしてメモリ５に移動し保存する（ステップ３０４）。

次に、描画回路４は、予めメモリ５に記憶された車両のＣＧを読み出し、ステップ３０２で生成した履歴表示領域３０に前述の所定の視点からみたＣＧの車両を描画する。この描画の際には、車両のＣＧに対して、後方画像表示領域２０の生画像の歪みと同様の歪みを与え、敢えて車両のＣＧを歪ませて描画する（ステップ３０５）。

次に、描画回路４は、メモリ５に保存した白線２１（路面表示物等）を読み出し、ステップ３０２で生成した履歴表示領域３０に、所定の視点からみた白線３１を描画する。この描画では、車両のＣＧと同じ位置の所定の視点で公知の視点変換を行い、さらに、白線に対して後方画像表示領域２０の生画像の歪みと同様の歪みを与え、車両のＣＧと同様に敢えて歪ませた白線３１を描画する（ステップ３０６）。

ステップ３０５およびステップ３０６のように画像に歪みを与えるための具体的処理としては、例えば、以下のようにする。まず、カメラ６によって撮像された過去の画像データに対して、画像の歪みを取る補正処理を行う。さらにこれを３次元の座標空間に画像データを変換する。そして、車両の走行に合わせ、車両の移動に関わる信号（移動量、回転量）を用いて３次元空間を変換移動（回転、平行移動等）させ、自車両に対する正確な位置を保持する。そして、３次元座標に変換された画像データを画面上の仮想座標に落とし込むことにより２次元化する。この２次元化した画像に対して生画像の歪みを与える処理を実行すると、履歴表示領域３０に生画像の歪みと同様の歪みをもつＣＧの車両や白線３１を描画することができる。

そして、ステップ４０では、ステップ３０５およびステップ３０６で描画された履歴表示領域３０の画像と、後方画像表示領域２０の画像とを合成する処理を経て、隣接する２つの領域の画像を一体にしてディスプレイ８に出力し表示する。

以上の画像処理サブルーチンを実行することにより、図６に示すように、後方画像表示領域２０の白線２１を含む生画像と、履歴表示領域３０の白線３１とが２つの領域の境界部において連続して表示されるようになる。このとき白線３１は、白線２１に対して後方画像表示領域２０との境界位置でほぼ同じ太さ、同じ色彩で描画され、一致するように表示される。換言すれば、カメラ６の視野外に消えている車体周囲の白線３１と、現在撮影されている車両後方の白線２１とが、ディスプレイ８上に一体的に表示されるようになる。このように、運転者に対して、自車の正確な位置確認にとって有効な目印（白線３１）を表した過去の画像と、現在の画像とをその境界部を明確に表示しつつ、一つの画像として違和感なく見せることができる。したがって、運転者は、車体、車体周囲に描画した路面表示物、および現在の後方画像の位置関係を明確かつ正確に把握することができる。

また、描画回路４は、後方画像表示領域２０の画像に重畳して車両１０の予想進路線、車幅延長線等を描画するようにしてもよい。予想進路線は、車幅およびハンドルの舵角に基づき、後退する車両の走行軌跡を予想した指標である。予想進路線と車幅延長線は、異なる色で描画されており、運転者は容易に判別可能である。

さらに、図７に示すように、描画回路４は、履歴表示領域に描画される白線３１Ａおよび目盛り線３２Ａの少なくとも一方に対して、後方画像表示領域２０との境界位置から離れた部位では歪みの影響を小さくし、直線状に補正する処理を施してもよい。これにより、白線３１Ａは後方画像表示領域２０との境界位置では生画像の白線２１と連続する同一の線として表示され、白線３１Ａや目盛り線３２Ａは後方画像表示領域２０との境界位置から離れた部位ではあまり湾曲しない線で表示されるようになる。

本実施形態の車両後方表示装置がもたらす作用効果について述べる。車両後方表示装置は、車両が後方移動する信号を受信すると、車両周辺の画像を表示する。車両後方表示装置は、車両後方の画像を撮像するカメラ６と、カメラ６によって撮影された過去の画像データを履歴データとして記憶し、撮像された画像に対して正確な位置関係となるように予め描画された車両後部の画像を記憶するメモリ５と、カメラ６によって撮像される現在の車両後方画像が画像の歪みを補正されることなく表示される後方画像表示領域２０と、後方画像表示領域２０に隣接し履歴データを用いて作成された画像が表示される履歴表示領域３０と、を含んで構成されるディスプレイ８と、描画回路４と、を備える。描画回路４は、予め記憶された車両後部の画像と、履歴データから抽出された車両後部周辺の白線３１（路上物体または路面表示物）の画像と、を所定の視点からみるように履歴表示領域３０に重畳して描画する。描画回路４は、後方画像表示領域２０の車両後方画像の歪みを履歴表示領域３０の画像に与え、抽出された白線３１（路上物体または路面表示物）を、後方画像表示領域２０に表示されている白線２１（路上物体または路面表示物）に対して連続して表示されるように履歴表示領域３０に描画する。

この構成によれば、以下の作用効果が得られる。後方画像表示領域２０には歪みのある自車１０の後方画像が表示されるため、例えば１８０°の範囲が写り、歪み補正を施した画像に比べて車両後方の映る範囲が大きくなり、運転者は多くの車両周辺情報を得ることができる。履歴表示領域３０には、敢えて後方画像の歪みが与えられ、後方画像表示領域２０の白線２１に対して連続して表示されるように履歴データからの白線３１が描画されるため、後方画像表示領域２０の現在の生画像と、カメラ６の視野外にある履歴表示領域３０の画像とが視覚的に一体に結びついた表示画面を提供できる。したがって、制御装置の画像処理量を抑制する装置が得られるとともに、運転者は自車１０の位置を正確に認識でき、駐車支援を向上することができる。

また、車両後方表示装置は、路面表示物であり駐車スペースを示す白線２１（駐車枠）等を検出対象とし、この検出対象を、現在の画像（後方画像表示領域２０の画像）と過去のデータから作成した画像（履歴表示領域３０の画像）とに亘って連続的に表示する。これによれば、撮像した画像から立体物でない路面表示物を検出するため、立体物の存在を検出する場合に比べて画像処理装置や検出装置に必要な処理能力や処理時間を低減でき、安価な装置の提供を実現できる。

また、描画回路４は、履歴表示領域３０に描画される路上物体または白線３１Ａ（路面表示物）を、後方画像表示領域２０との境界位置から離れた部位では直線状に補正して描画するようにする。

これによれば、白線３１Ａ等を、後方画像表示領域２０との境界部位では連続するように描画し、当該境界部位から離れた部位では、履歴表示領域３０の画像に与えた後方画像の歪みを取り除いた直線状に描画する。これにより、履歴表示領域３０に描画される車両１０により近い位置では、履歴表示領域３０における白線３１Ａ等が車両１０に対して略平行に描画されるようになり、後方画像表示領域２０の画像と履歴表示領域３０の画像との境界部における一体感を確保しつつ、さらに履歴表示領域３０の画像から歪みによって生じる見にくさを取り除くことができる。

また、描画回路４は、履歴表示領域３０に車両からの所定の距離を示す目盛り線３２を描画する。これによれば、履歴表示領域３０の車両１０の周囲には白線３１（路上物体または路面表示物）と目盛り線３２が描画されるため、運転者は車両１０とその周辺の路上物体または路面表示物との位置関係を詳細に把握することができる。

また、描画回路４は、ＣＧで作成された車両後部の画像および白線３１（路上物体または路面表示物）のみを、履歴表示領域３０に後方画像表示領域２０の生画像の歪みを与えて描画する。

これによれば、履歴表示領域３０には、ＣＧの車両および白線３１（路上物体または路面表示物）のみが描画され、その他の情報は描画されないため、運転者は車両と白線３１等の目印との位置関係を直接的且つ明瞭に把握することができる。さらに、このように描画される情報を絞り込んでいるため、画像処理量を抑制することができる。

また、履歴表示領域３０に描画する画像は、ＣＧの車両と路上物体または路面表示物と目盛り線とを除く部分において、その地色を後方画像表示領域２０の路面色とは異なる色にして描画してもよい。このような地色にすることにより、後方画像表示領域２０の画像と履歴表示領域３０の画像はその境界部が明確になるとともに、一体化された合成画像であるものの、運転者は、画面上方の画像が現在の生画像であり、画面下方の画像が視野外になった過去の画像であることを容易に認識できるようになる。例えば、履歴表示領域３０の前述の地色は、実際の路面色とは異なる黒色、青色等（ただし、ＣＧの車両の色とは異なる色であること）で描画するようにしてもよい。これによれば、画面上の２つの画像が別々の領域の画像であることがより明確になるとともに、履歴表示領域３０に描画されるＣＧの車両、路上物体、路面表示物、目盛り線等をより際立って見せることができる。

また、描画回路４は、履歴表示領域３０に表示する白線３１等の路面表示物を、後方画像表示領域２０の白線２１等の路面表示物と同程度の色で描画するようにする。これによれば、路面表示物を後方画像表示領域２０から履歴表示領域３０に亘って確実に連続的かつ一体的に表示することができる。

また、描画回路４は、履歴データから抽出された白線２１等の路面表示物が不明瞭な線であっても、履歴表示領域３０に一定の色の濃さで白線３１等の路面表示物を描画するようにする。これによれば、路面表示物に部分的に色のかすれ、欠け等があって撮像されない部分がある場合でも、後方画像表示領域２０から履歴表示領域３０に亘って確実に連続的かつ一体的に表示することができる。

また、描画回路４は、計器表示盤の動作を制御する制御装置によって制御される。描画回路４を制御する制御装置は比較的メモリ、処理能力が大きくない計器表示盤の制御装置である。そこで、この構成によれば、過去の簡単化処理した画像と、現在の画像とを連続的に結びつけた画面表示によって得られた画像処理能力およびメモリの低減の効果が一層有用なものとなる。

また、ディスプレイ８は、計器表示盤の一部に設けられる。この構成によれば、車両後方の画像を車両のメーターに重ねるように配置することにより、運転者はメーターを見る感覚で視線を大きく動かすことなく、後方画像を確認できる。

また、広域画像と狭域画像は、１つのカメラ６によって撮像された広域画像を用いてディスプレイ８に表示される。この構成によれば、１つのカメラで撮像された広域表示画像から狭域表示画像を抽出して両方の画像の表示を可能にするため、システムの部品点数およびシステムのコストの低減が図れる。

また、描画回路４は、計器表示盤の動作を制御する制御装置によって制御されるとともに、ディスプレイ８は車室内のダッシュボード上に設けられる。この構成によれば、車両後方の画像を運転者の目の高さに近い位置に配置することにより、運転者は視線を大きく動かすことなく、後方画像を確認できる。

また、履歴表示領域３０に描画される車両１０は、その車軸部分１１の位置と車輪１２が表示されている。これによれば、履歴表示領域３０に車軸部分１１の位置と車輪１２が表示されるため、運転者に、車両周辺の状況に対する車軸位置や車輪位置を明確に知らせることができ、運転操作の指標となる画像を提供できる。

（第２実施形態）
第２実施形態は、駐車時にディスプレイ８に表示される画像を、常に車両後方の広い範囲（例えば視野範囲１８０°）を撮像した広域画像から駐車動作の途中で広域画像よりも狭い範囲（例えば視野範囲１２０°）の車両後方を写す狭域画像に切り替える動作を説明する。本実施形態では、第１実施形態の説明に対して、異なる部分のみ図８〜図１０にしたがって説明する。図８は第２実施形態のメインフローチャートにおける画像処理のサブルーチンである。図９は後方駐車時に表示される画面（広域画像の画面）を説明する図である。図１０は後方駐車時に表示される拡大画像（狭域画像）を説明する図である。

図８のメインフローチャートにおいて、ステップ１０からステップ４０までは、前述の図３のメインフローチャートの各処理と同一である。図８に示すように、マイコン１は、ステップ４０で、第１実施形態で説明したようにディスプレイ８の後方画像表示領域２０と履歴表示領域３０のそれぞれに広域画像を表示する。さらに本実施形態では、図９に示すように、描画回路４は後方画像表示領域２０の画像に重畳して車両１０の予想進路線２３を描画する。予想進路線２３は、車幅およびハンドルの舵角に基づき、後退する車両の走行軌跡を予想した指標である。予想進路線２３は、画像の路面色とは異なる色で描画されており、運転者は容易に判別可能である。

マイコン１は、ステップ４０の次に、表示画像拡大の所定の条件が成立したか否かを判定する（ステップ４１）。表示画像拡大の所定の条件とは、車両の後方移動中に画面表示を広域画像から狭域画像に切り替えるタイミングを規定した条件である。

以下、ステップ４１表示画像拡大の所定の条件について説明する。車両は駐車時にリバースポジションにギアが入り後方に移動していくと、駐車スペース近傍に設置されているタイヤ止め２２、縁石、柵、壁等の障害物に接近するようになる。本実施形態では、車両と障害物との距離が所定の距離以下であるときに、表示画像拡大の所定の条件が成立したものと判定する。このため、車両にはソナーが備えられている。ソナーは、車両周辺に存在する立体物等と自車との距離を検出する検出手段であり、例えば超音波センサにより構成され、検出された距離を示す信号はマイコン１に入力されるようになっている。ソナーは、所定個数が所定間隔をあけて車両後部の外面部に配置されており、例えば、後部バンパーにその検知部が露出するように埋め込まれている。ソナーの検出範囲４０は図１０において破線で仮想的に示した車両周辺の所定の範囲である。なお、図１０のソナーの検出範囲４０は説明の便宜上示したものであり、実際のディスプレイ８の画面には表示されない。

マイコン１は、ステップ４２で、ソナーによって検出される障害物との距離が所定距離以下になったと判定すると、車両が駐車スペースに接近したと判断し、描画回路４を介してディスプレイ８の画面を広域画像から狭域画像に切り替える（例えば、図９の広域画像から図１０の狭域画像への画面表示の切り替え）ようにする。さらに、描画回路４は、狭域画像への切り替えとともに予想進路線２３を描画せず、ディスプレイ８の後方画像表示領域２０には、予想進路線２３がない狭域画像が表示される。また、本実施形態では、描画回路４は、カメラ６による撮像画像の一部を切り出し、切り出した画像を拡大表示することによって図１０に示す狭域画像（拡大画像）を作成している。

このように、ステップ４１で、表示画像拡大の所定の条件が成立していないと判定した場合はステップ５０に進み、引き続き図９に示す画面を表示する。逆に、表示画像拡大の所定の条件が成立していると判定した場合はステップ４２に進み、図１０に示すように表示画面を拡大表示する処理を実行する。そして、ステップ５０でＹＥＳと判定されると、ステップ１０に戻り、ディスプレイ８の後方画像表示は解除される。駐車が完了してイグニッションスイッチがＯＦＦされた場合でも、制御装置への電源ＯＦＦとともに本フローチャートは終了する。

本実施形態の車両後方表示装置がもたらす作用効果について述べる。車両後方表示装置の描画回路４は、後方画像表示領域２０の後方画像に重畳して予想進路線を描画する。そして、車両の後方移動中に所定の条件が成立したときには、後方画像表示領域２０および履歴表示領域３０の画像は拡大表示され、描画回路４は予想進路線２３を描画しない。

これによれば、車両の後方移動中に車両後方の詳細画像を確認することが必要なときはディスプレイ８に拡大画像を表示するとともに予想進路線は表示されない。例えば、このような状況の駐車動作の後半以降の車両移動は小さく、予想進路線２３を表示する必要性は乏しく、予想進路線２３の確認よりも後方の詳細な状況把握が必要になるため、運転者に対して後方の詳細情報を与えつつも後方の視認性を妨げることのない表示画面を与え、より有用な駐車支援を提供することができる。

（他の実施形態）
上述の実施形態では、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に何ら制限されることなく、本発明の主旨を逸脱しない範囲において種々変形して実施することが可能である。

上記実施形態では、車両周辺表示装置の一例として車両後方表示装置を説明しているが、表示画面には、車両の周辺を表示する周辺画像表示領域と、カメラの視野外となった車両周辺が表示される履歴表示領域と、が表示される形態であればよい。例えば、車両周辺として、車両前方を表示するようにしてもよい。

上記実施形態では、履歴表示領域３０の画像において描画する目印として白線（駐車枠）を抽出する例を説明しているが、いうまでもなく他の路面表示物や溝、段差、縁石等の路上物体を抽出するようにしてもよく、その検出方法も白線の場合と同様に行うことが可能である。

上記実施形態において駐車時にディスプレイ８に表示される画像は、１つのカメラ６によって撮像される画像であるが、複数のカメラによって撮像した画像を組み合わせて表示するようにしてもよい。

第２実施形態において撮像される車両後方の画像は、１つのカメラ６によって撮像される画像であるが、広域画像（例えば１８０°の範囲）を撮影する第１のカメラと、広域画像よりも狭い範囲（例えば１２０°の範囲）の狭域画像を撮影する第２のカメラとを有し、表示画面に表示される画像として、それぞれのカメラで撮影した画像を用いるようにしてもよい。この構成によれば、２台のカメラで広域と狭域を撮像するため、画像処理等の演算処理や演算処理時間がなく、画像を記憶するメモリの低減が図れる。

また、第２実施形態において表示画像拡大の所定の条件は、車両と障害物との距離を基準として設定しているが、車両の後方への移動距離を基準にして設定してもよい。

１…マイクロコンピュータ（制御装置）
４…描画回路（描画手段）
５…メモリ（記憶手段）
６…カメラ（撮像手段）
８…ディスプレイ（表示画面）
１０…自車（車両）
２０…後方画像表示領域（周辺画像表示領域）
２１…白線（路面表示物）
３０…履歴表示領域
３１…白線（路面表示物）

Claims (9)

1. 車両周辺の画像を表示する車両周辺表示装置であって、
   前記車両周辺の画像を撮像する撮像手段と、
   前記撮像手段によって撮影された画像、前記撮像された画像から抽出された路面表示物や路上物体、およびセンサにより検出された路面表示物や路上物体の少なくとも一つを履歴データとして記憶するとともに、コンピュータグラフィックスにより作成された前記車両の画像を予め記憶する記憶手段と、
   前記撮像手段によって撮像される現在の車両周辺の画像が画像の歪みを補正されることなく表示される周辺画像表示領域と、前記周辺画像表示領域に隣接し前記履歴データを用いて作成された画像が表示される履歴表示領域と、を含んで構成される表示画面と、
   前記予め記憶された前記車両の画像と前記履歴データに基づく画像とを所定の視点からみるように前記履歴表示領域に重畳して描画する描画手段と、を備え、
   前記描画手段は、前記周辺画像表示領域の前記車両周辺の画像の歪みを前記履歴表示領域の前記画像に与え、前記コンピュータグラフィックスで作成された前記車両の画像および前記履歴データから抽出された前記路上物体または前記路面表示物のみを、前記周辺画像表示領域に表示される路上物体または路面表示物に対して連続して表示するように前記履歴表示領域に描画することを特徴とする車両周辺表示装置。
2. 前記記憶手段は、前記撮像された画像から抽出された路面表示物や路上物体、およびセンサにより検出された路面表示物や路上物体の少なくとも一つを履歴データとして記憶することを特徴とする請求項１に記載の車両周辺表示装置。
3. 前記描画手段は、前記履歴表示領域に描画される前記路上物体または前記路面表示物を、前記周辺画像表示領域との境界位置から離れた部位では直線状に補正して描画することを特徴とする請求項１または請求項２に記載の車両周辺表示装置。
4. 前記描画手段は、前記履歴表示領域に表示する前記路面表示物を、前記周辺画像表示領域の前記路面表示物と同程度の色で描画することを特徴とする請求項１から請求項３のいずれか一項に記載の車両周辺表示装置。
5. 前記描画手段は、前記履歴データから抽出された前記路面表示物が不明瞭であっても、一定の色の濃さで前記履歴表示領域に描画することを特徴とする請求項１から請求項４のいずれか一項に記載の車両周辺表示装置。
6. 前記描画手段は、前記周辺画像表示領域の前記車両周辺画像に重畳して予想進路線を描画するように構成され、
   前記車両の移動中に所定の条件が成立したときには、
   前記周辺画像表示領域および前記履歴表示領域の画像は拡大表示され、前記描画手段は前記予想進路線を描画しないことを特徴とする請求項１から請求項５のいずれか一項に記載の車両周辺表示装置。
7. 前記描画手段は、前記車両の計器表示盤の動作を制御する制御装置によって制御されることを特徴とする請求項１から請求項６のいずれか一項に記載の車両周辺表示装置。
8. 前記表示画面は、前記計器表示盤の一部に設けられることを特徴とする請求項７に記載の車両周辺表示装置
9. 前記撮像手段は、車両後方の画像を撮像し、
   前記周辺画像表示領域には、前記撮像手段によって撮像される現在の車両後方の画像が画像の歪みを補正されることなく表示されることを特徴とする請求項１から請求項８のいずれか一項に記載の車両周辺表示装置。

Images