WO2003107273A1

WO2003107273A1 - 運転支援装置

Info

Publication number: WO2003107273A1
Application number: PCT/JP2003/006482
Authority: WO
Inventors: 水澤　和史
Original assignee: 松下電器産業株式会社
Priority date: 2002-06-12
Filing date: 2003-05-23
Publication date: 2003-12-24
Also published as: JP2004021307A; EP1513101A1; US20040260469A1; EP1513101A4; JP3871614B2; KR20040111329A; KR100937750B1; US7554573B2

Abstract

本発明の課題は、車両近傍の撮像画像を歪みの少ない画像としてモニタ表示可能とすることができる運転支援装置を提供することである。本発明に係る運転支援装置は、路面上の車両(1)の周囲を撮像する撮像手段(2)と、撮像手段(2)による撮像画像を仮想カメラ(2a)から見た画像に変換するに際し路面側に凸形状で且つ車両(1)の進行方向端部から所定範囲内では路面からの高さが無変化な三次元投影モデル(300)を用いて画像変換を行う画像変換手段(3)と、画像変換手段(3)により変換された画像を表示する表示手段(4)とを設ける。三次元投影モデル(300)は、路面側に凸形状の円筒面モデル(301)と、この円筒面モデル(301)の端部に連続する球面モデル(302)とで構成する。これにより、円筒面モデル(301)の中心軸に平行な路面上の直線が変換画像で直線となり、見やすく歪みの少ない画面を運転者に提示可能となる。

Description

明細

<技術分野 >

本発明は車載カメラで撮像した車両後方画像を車載モニタに表示し車両後退時の運転を支援する運転支援装置に係り、特に、車載モニタに歪みの少ない画像を表示して運転者に違和感を与えない様にした運転支援装置に関する。ぐ背景技術 >

車載カメラを車両のリアトランク部等に後ろ向きに設置し、この車載カメラから得られた車両後方の撮像画像を運転者に提示する運転支援装置が普及し始めている。この運転支援装置には、車載カメラの実写映像をあたかも仮想的に設定した視点から撮影したかのような映像に変換、合成して、モニタに表示するものもあり、主として、車両後退時の安全確認と駐車支援を目的として使用される。画像を合成、変換する際に使用する三次元投影モデルとして、例えば、図 1 0 に示す様に、円筒面モデル 1 0 1と、平面モデル 1 0 2とで構成された三次元投影モデル 1 0 0が使用される。そして、実力メラ 1 0 3による実写映像を、仮想カメラ 1 0 4から見た画像に変換、合成し、三次元投影モデル 1 0 0に投影した画像として車載モニタに表示する。

図 1 1は、図 1 0に示す直線 1 0 5の撮像画像を三次元投影モデル 1 0 0に投影した画像の説明図である。モニタ画面 1 0 6上の直線画像 1 0 5 aは、円筒面モデル 1 0 1と平面モデル 1 0 2とのモデル境界 1 0 7において折れ曲がって表示されてしまう。このように、遠方画像を投影する円筒面と、近傍画像を投影する平面とを組み合わせた三次元投影モデル 1 0 0を使用した場合、本来は真つ直ぐな直線 1 0 5が折れ曲がった画像 1 0 5 aとして変換されてしまうのは、 2つの三次元投影モデル 1 0 1、 1 0 2のモデル境界 1 0 7に表示の歪みが集中するためであり、この画像 1 0 5 aを見た運転者は、違和感を感じてしまう。

そこで、 2つの三次元投影モデルを曲面（第 3の三次元投影モデル）により滑らかに接続すれば、図 1 2に示す様に、直線画像 1 0 5 aが滑らかに曲がり、違和感を和らげることは可能である。しかし、第 3の三次元モデルへの投影面 1 0 8に歪みが集中するため、依然として違和感は残る。

このため、例えば特開 2 0 0 2— 8 3 2 8 5号公報記載の従来技術では、図 1 3に示す三次元投影モデルを提案している。この三次元投影モデル 2 0 0は、遠景画像を投影する円筒面モデル 1 0 1と、これに滑らかに連続し近傍画像を投影する球面モデル 2 0 1とで構成される。このように、車両近傍の撮像画像を投影するモデルとして球面モデル 2 0 1を用いることで、球面モデル 2 0 1への投影画像全体が滑らかに変化し、運転者への違和感はかなり緩和する。

しかしながら、上述した図 1 3に示す三次元投影モデル 2 0 0を用いた場合、車両近傍の撮像画像が特定場所で集中して歪んでしまうことはないが、画像全体に歪みが生じるという問題がある。例えば、地面 2 0 2上の格子模様を実力メラ 1 0 3によって撮像し、この撮像画像を球面モデル 2 0 1に投影した画像は、図 1 4に示す様に、全体的に歪んでしまう。即ち、本来、地面 2 0 2上で格子を構成する直線群が、画面 1 0 6上で曲線群として表示され、自車両と周辺との位置関係を把握しがたい画像になってしまうという問題がある。

本発明の目的は、車両より遠方の撮像画像の違和感を抑えながら車両近傍の撮像画像を歪みの少ない画像としてモニタ表示可能な三次元投影モデルを搭載した運転支援装置を提供することにある。

<発明の開示 >

上記目的を達成する運転支援装置は、路面上の車両の周囲を撮像する撮像手段と、前記撮像手段による撮像画像を仮想視点から見た画像に変換するに際し前記路面側に凸形状で且つ前記車両の進行方向先端部から所定範囲内では前記路面からの高さが無変化な三次元投影モデルを用いて画像変換を行う画像変換手段と、前記画像変換手段により変換された画像を表示する表示手段とを備えたことを特徴とする。

この構成により、本発明の運転支援装置では、車両近傍の路面に描かれた駐車枠等の様な車両進行方向に平行な直線が、表示手段の画面上でも直線として表示され、自車両と周りとの相対位置関係の把握が容易となる。

好適には、前記三次元投影モデルには、前記車両の幅の方向の予め決められた範囲を超えた領域で前記路面から徐々に立ち上がる投影面が連続して設けられることを特徴とする。この構成により、車幅方向の広い範囲の撮像画像を、画像歪みを目立たせることなく、画面に表示可能となる。

好適には、前記三次元投影モデルには、前記所定範囲を超えた前記車両の進行方向の領域で前記路面から徐々に立ち上がる投影面が連続して設けられることを特徴とする。この構成により、車両進行方向の広い範囲の撮像画像を、画像歪みを目立たせることなく、画面に表示可能となる。

更に好適には、前記三次元投影モデルは、端点以外の全領域で微分可能な連続する曲面で形成されていることを特徴とする。この構成により、画面に不連続な特異点が存在せず、複数の三次元モデル（円筒面や球面）を接続したことによる違和感は生じない。また、凸な面の傾きを調整することで、画面上での拡大率や歪み方を変更でき、これを利用して、画面上での距離感や方向感も調整可能となる。さらに、いずれの三次元モデルも下に凸な滑らかな曲面であるため、画像歪みが特定個所に集中することはなく、画面全体に分散され、見やすい画面となる。これにより、距離感の把握が容易で違和感のない映像を運転者に提供することが可能となる。

更に好適には、前記三次元投影モデルは、前記路面側に凸形状の円筒面と、前記円筒面の端部に滑らかに連続する球面とを有することを特徴とする。この構成により、三次元投影モデルを方程式で表現でき、画像変換処理あるいは後述のマヅピングテーブルの作成が容易となる。

更に好適には、前記所定範囲は、前記車両の進行方向の長さを一般的や駐車枠の長さ 5 mの 1 2 0 %以内の大きさとし、幅を一般的な駐車枠の幅 3 mの 8 0 % から 1 2 0 %の範囲の任意の大きさとし、前記円筒面に投影されることを特徴とする。この構成により、駐車運転に適した画面を運転者に提供可能となる。更に好適には、前記円筒面は楕円の円筒面であり、前記円筒面に投影した前記路面上の前記円筒面の中心軸に平行な等間隔の格子線間の最大幅と最小幅の比が少なくとも前記所定範囲において 8 0 %となる楕円を前記≡次元投影モデルとしたことを特徴とする。この構成により、より歪みの少ない画面を運転者に提示することができる。

更に好適には、前記表示手段の画面に表示される前記車両の後端画像の左右両端が、前記画面の両端位置から画面幅の少なくとも 1 5 %の範囲内に入る様に前記三次元投影モデルと前記仮想視点の位置とが設定されることを特徴とする。この構成により、運転者から直接視認することのできない死角位置の画像が画面上で大きく表示され、運転者は安心感をもって運転することが可能となる。

更に好適には、前記所定範囲内における車両後端の直線形状が前記表示手段の画面上で直線画像として表示される様に前記三次元投影モデルと前記仮想視点の位置を設定したことを特徴とする。この構成により、自車両のバンパー等の形状を容易に確認でき、且つ、路面と自車両との位置関係を正確に把握することが可能となる。更に、前記表示手段の画面に表示される前記車両の後端画像の左右両端が、前記画面の両端位置から画面幅の少なくとも 1 5 %の範囲内に入る様に前記三次元投影モデルと前記仮想視点の位置とが設定されることにより、視点変換による画面上では、路面上の車両の幅よりも大きく表示されるバンパー等の車両後部画像が、画面幅により適当な幅に切り取られて表示されるため、路面上の車幅とバンパーの幅とが大きく異なって表示されるという違和感の要因を低減することが可能となる。

更に好適には、前記三次元投影モデルを用いて変換した画像に、前記車両の進行方向に平行で且つ車両幅よりも所定値だけ外側を示す路面上の直線を示すガイド線を重畳して前記表示手段の画面に表示することを特徴とする。この構成により、ガイド線と路面上の直線との相対位置関係を画面上から直感的に把握可能となり、駐車時に駐車枠ゃ路側等の目印との位置合わせ操作が容易になる。

更に好適には、前記画像変換手段は、前記三次元投影モデルに基づく変換アドレスを格納したマッピングテーブルを用いて前記撮像画像を変換することを特徴とする。この構成により、いちいち三次元投影モデルを用いて演算処理する必要がなくなり、高速に画像変換処理を行うことが可能となる。

<図面の簡単な説明 > 図 1は、本発明の一実施の形態に係る運転支援装置の車両への取り付け構成図であり、

図 2は、本発明の一実施の形態に係る運転支援装置の詳細構成図であり、図 3は、本発明の一実施の形態に係る運転支援装置の撮像装置によって撮像された広角カメラの撮像画像を示す模式図であり、

図 4は、本発明の一実施の形態に係る運転支援装置の撮像装置によって撮像された広角カメラの撮像画像からレンズ歪みを除去した画像の模式図であり、図 5は、本発明の一実施の形態に係る運転支援装置によるモニタ表示画面を示す模式図であり、

図 6は、本発明の一実施の形態に係る運転支援装置によるモニタ表示画面の変形例を示す模式図であり、

図 7は、本発明の一実施の形態に係る運転支援装置で用いる三次元投影モデルの説明図であり、

図 8は、本発明の一実施の形態に係る三次元投影モデルの説明図であり、図 9は、本発明の一実施の形態に係る三次元投影モデルによる変換画像の変換例を示す模式図であり、

図 1 0は、従来の運転支援装置で用いられる三次元投影モデルの説明図であり、図 1 1は、従来の運転支援装置で用いられる三次元投影モデルによる変換画像の模式図であり、

図 1 2は、従来の運転支援装置による変換画像の変形例を示す模式図であり、図 1 3は、従来の運転支援装置で用いられる別の三次元投影モデルの説明図であり、

図 1 4は、従来の運転支援装置で用いられる図 1 3の三次元投影モデルによる画像歪みを例示する模式図である。

なお、図中の符号、 1は自車両、 l aはパンパ画像、 2は撮像装置、 3は画像合成変換装置、 4は表示装置（モニタ）、 1 0は距離表示ガイド線、 1 1は車幅表示ガイド線、 1 2は路面上の直線ガイド線、 2 1， 2 3はカメラ、 2 2， 2 4 はフレームメモリ、 3 1は画像合成手段、 3 2はマッピングテーブル参照手段、

3 2 aは変換ァドレスメモリ、 3 2 bは必要度メモリ、 3 3は映像信号生成手段、 3 0 0は三次元投影モデル、 3 0 1は円筒面モデル（楕円）、 3 0 2は球面モデル（楕円）、 5 0 6は平面モデル、 5 2 1 , 5 2 2は楕円の円筒面モデルである。

<発明を実施するための最良の形態 >

以下、本発明の実施の形態について、図面を参照して説明する。

図 1は、本発明の一実施の形態に係る運転支援装置の車両への取り付け構成図である。この運転支援装置は、車両 1に設置された撮像装置 2と、撮像装置 2の撮像画像を処理する画像合成変換装置 3と、画像合成変換後の映像を表示するモ二夕 4とを備えて構成される。

撮像装置 2は、車両 1の後方を撮影するように設置され、撮像装置 2で取得された映像は、画像合成変換装置 3によりレンズ歪みが除去されたり、また、あたかも任意の仮想視点から撮影したかのような映像に変換され、モニタ（表示手段） 4に表示される。

図 2は、運転支援装置の詳細構成図である。撮像装置 2は、車両後方の左側領域を撮像する様に設置されたカメラ 2 1及びこのカメラ 2 1の撮像画像デ一夕を一時保持するフレームメモリ 2 2と、車両後方の右側領域を撮像する様に設置されたカメラ 2 3及びこのカメラ 2 3の撮像画像データを一時保持するフレームメモリ 2 4とを備える。尚、この実施の形態では、車両後方の左右を夫々カメラ 2 1、 2 3で撮像し左右の撮像画像を合成する構成としているが、 1台のカメラで車両後方の左右を一度に撮像する構成としてもよい。

画像合成変換装置 3は、撮像装置 2の 2つのフレームメモリ 2 2、 2 4から取り込んだ車両後方の左右の画像を合成する画像合成手段 3 1と、画像合成手段 3 1が合成する画像の各画素のマッピング情報を格納したマヅピングテ一ブル参照手段 3 2と、画像合成手段 3 1が合成した画像を映像信号に変換する映像信号生成手段 3 3とから構成される。

マッピングテ一ブル参照手段 3 2は、出力画像（モニタ 4に表示する画像）の各画素の位置座標と入力画像（カメラ 2 1、 2 3の撮像画像）の各画素の位置座標との対応を示す変換アドレス（マッピングテーブル）を格納した変換アドレスメモリ 3 2 aと、入力画像の各画素の必要度が記憶された必要度メモリ 3 2 bとを備える。

ここで「必要度」とは、例えば左右の入力画像を左右つなぎ合わせて 1枚の出力画像を生成する場合に、左右の入力画像が重複する領域の各画素データの値を決めるとき、右側の入力画素の必要度を「0 . 5」、左側の入力画素の必要度を「0 . 5」などとして加算演算する値である。また、上記変換アドレスは、詳細は後述する三次元投影モデルに基づいて予め生成され、変換アドレスメモリ 3 2 aに格納される。

画像合成手段 3 1は、マッピングテーブル参照手段 3 2に記録されている変換アドレス（マッピングテーブル）に基づき、フレームメモリ 2 2、 2 4内の各画素データを、指定された必要度に応じて混合器 3 1 a、 3 1 bで合成演算し、更に、合成演算された左右の各画素データを加算器 3 1 cで加算することにより出力画素のデ一夕を生成する。

即ち、画像合成手段 3 1は、例えば、入力画像信号等の適切な同期信号に基づいて動作し、マヅビングテ一プル参照手段 3 2に従って 2つの異なるカメラ 2 1、 2 3から入力される画像を合成したり、各画素位置を変更したりして出力画像を生成することで、リアルタイムに、異なる複数のカメラ 2 1、 2 3からの入力画像を滑らかにつなぎ合わしたり、仮想視点からの映像に変換したりする。

映像信号生成手段 3 3は、画像合成手段 3 1から出力される出力画素デ一夕を映像信号に変換し、モニタ 4に出力する。

マッピングテーブル参照手段 3 2内に格納されている変換アドレスは、本実施の形態に係る三次元投影モデルに基づいて生成される。この三次元投影モデルは、カメラ 2 1、 2 3により撮像された映像をあたかも仮想視点位置に設置された仮想カメラによって撮像した映像へと変換する際の対応関係を示すモデルである。カメラ 2 1、 2 3は、実際には広角カメラであり、その撮像画像を左右合成して得ることができる車両後方の画像は、図 3に示す様に、近いほど大きく、遠いほど小さい画像として表示される。図示する例は、車両後方の駐車領域（一般的には、縦がほぼ 5 m、横がほぼ 3 mの矩形領域。分かりやすくするために、この駐車領域を格子模様で示している。）を広角カメラによって撮像した画像であるが、本実施形態では、この図 3の画像を、後述する三次元投影モデルを用いて生成した変換アドレスにより、図 5や図 6に示す様に、見やすく歪みの少ない画像としてモニタ 4に表示するものである。

図 7は、本実施の形態で用いる三次元投影モデルを示す図である。本実施の形態で用いる三次元投影モデル 3 0 0は、遠景の画像を投影する円筒面モデル 3 0 1と、この円筒面モデル 3 0 1に滑らかに連続し近傍画像を投影する球面モデル 3 0 2とで構成される。この三次元投影モデル 3 0 0は、図 1 3で説明した従来の三次元投影モデル 2 0 0とは、その配置方向が異なる。即ち、本実施の形態では、円筒面モデル 3 0 1の軸が、地面（路面）すなわち自車両 1の進行方向と平行に配置され、且つ、円筒面モデル 3 0 1の下凸面が地面側に配置される構成を特徴とする。

自車両 1に搭載された後方撮影用の撮像装置 2は、三次元投影モデル 3 0 0の軸方向に後方画像を撮像し、画像合成変換装置 3は、撮像装置 2による撮像画像を、三次元投影モデル 3 0 0を介し、且つ、あたかも、実際の撮像装置 2より上方位置に設置した仮想カメラ 2 aによって撮影した映像に変換し、モニタ 4に表示する。

三次元投影モデル 3 0 0の円筒面 3 0 1は、円筒面 3 0 1の中心軸が車両 1の進行方向に平行となるように路面上に設置され、円筒面 3 0 1の中心軸を通り路面と平行な平面で半分に切り取った半円筒形状のモデルである。球面モデル 3 0 2は、その半径が円筒面モデル 3 0 1の半径と同じであり、しかもその中心が円筒面モデル 3 0 1の中心軸上にあり、且つ、その中心を通り円筒面 3 0 1の中心軸を垂線とする平面で切り取った時の切り口が円筒面 3 0 1と完全に一致する球面である。即ち、円筒面モデル 3 0 1と球面モデル 3 0 2とは境界上の全ての点 (端点を除く）において微分可能となる。

上述した三次元投影モデル 3 0 0は、説明の都合上、「円筒」「球」として説明したが、完全な「円筒」「球」である必要はなく、夫々楕円、楕円球であってもよい。例えば、路面側に扁平な楕円を三次元投影モデルとする。この楕円で成る三次元投影モデルを車両 1の進行方向に対して垂直な平面で切った図が図 8である。尚、図 8では、モデルを構成する楕円の下半分だけでなく、楕円全体を図示している。図 8には、 3つの三次元投影モデルを示している。一つは、路面と一致する平面モデル 5 0 6であり、他の二つは扁平率の異なる楕円モデル 5 2 1、 5 2 2 (図 7の三次元投影モデル 3 0 1に対応する部分）である。楕円モデル 5 2 1、 5 2 2は、短軸の長さのみが異なる。ここで、路面上に描かれた図示しない等間隔で成る格子模様を図 7に示す撮像装置 2で撮影し、図 8に示す 3つのモデル 5 0 6、 5 2 1、 5 2 2を介して、図 7に示す仮想カメラ 2 aで撮影したかのような画像に変換した図が、夫々、図 9 ( a ) ( b ) ( c ) である。尚、仮想カメラ 2 aが真下を向いているときのものである。

図 8に示す様に、楕円 5 2 1、 5 2 2の円筒面の中心軸に平行で、且つ、路面上にある軸を Y軸とし、 Y軸に直交し路面に対し垂直な軸を Z軸とし、これらの Y軸、 Z軸と直交する軸を X軸としたとき、各モデル 5 0 6、 5 2 1、 5 2 2で Y軸上の値は一致するが、 Y軸から X軸方向に離れるに従って、高さ（Z軸方向の値）が異なってくる。

即ち、路面に描かれた格子模様のうち、 Y軸に平行な線は、各モデル 5 0 6、 5 2 1、 5 2 2を用いて変換された画面上でも平行線として描かれ、扁平率の小さいモデル、即ち、 X軸方向に離れるに従って路面から離れるモデル 5 2 2では、図 9 ( c ) に示される通り、中心付近の格子模様の間隔 X 1に対し、画面端側の格子模様の間隔 X 2は狭くなつてしまう。

そこで、本実施の形態で使用する三次元投影モデル 3 0 0 (実際に使用するモデル 3 0 0の円筒面モデル 3 0 1としては、図 8に示す楕円の円筒面モデル 5 2 1を使用し、球面モデル 3 0 2としては、楕円の円筒面モデル 5 2 1に滑らかに連続する楕円の球面モデルを使用する。）では、どの程度の扁平率の楕円を円筒面モデル 5 2 1とするかを次の様にして決めている。

即ち、図 8に示す X軸方向は、図 7に示す自車両 1の車幅方向であるため、 Y 軸を中心とする一般的な駐車枠の幅である 3 mの 8 0 %から 1 2 0 %のうちの任意の範囲 5 0 3を取り、この範囲 5 0 3内にある三次元投影モデル 5 2 1を介した変換後の画像内で、図 9 ( b ) に示す様に、路面上で等間隔であった格子模様の間隔の最大値 Xmax と最小値 Xmin との比が少なくとも 8 0 %以上となるような楕円の三次元投影モデル 5 2 1を設定する。この様な三次元投影モデル 5 2 1は、楕円の長軸と短軸との長さを調整することで容易に設定可能である。このようにして楕円による図 7の円筒面モデル 3 0 1を決定し、格子模様の変換画像を表示した図が、図 5、図 6である。これらの変換画像では、自車両 1の進行方向と同方向に延びる直線は変換画像中でも直線として表示され、且つ、車幅の方向に対する変換画像中の画像歪みを違和感の無い程度の緩やかな歪みに抑制可能となる。

車両の運転操作においては、路側ゃ駐車枠の側面の線など Y軸に平行な直線を目印とすることが多いため、 Y軸に平行な直線が変換後の画像でも直線として表示されることは運転操作上大きな利点となる。本実施の形態では、路面の撮像画像を投影するモデルとして円筒面モデル 3 0 1を採用していたため、直線が直線に変換され、この利点を享受することが可能となる。

一方、図 8に示す範囲 5 0 3を超えた車幅方向の遠方範囲 5 0 4については、撮像画像を例えば平面に投影すると、立体物が大きく歪み違和感を覚える。従つて、この画像歪みを低減するために、投影面を路面から立ち上がる面とするのが良い。しかし、この投影面を、円筒面 3 0 1から急激に立ち上がる面にすると、境界部分で画像歪みが集中するため、徐々に立ち上がる投影面とするのがよい。楕円のモデル 5 2 1は、範囲 5 0 4において徐々に立ち上がつているため、この楕円のモデル 5 2 1を範囲 5 0 4でも用いることで、画面全体に画像歪みを分散させることが可能となり、違和感の少ない変換画像を提供することができる。

Y軸方向についても同様であり、 Y軸方向の遠方の撮像画像を平面に投影した場合、立体物が大きく歪んでしまい、違和感を覚える。従って、 Y軸方向についても遠方では投影面を立ち上げることが必要となる。 Y軸方向は車両の進行方向すなわち車長方向となるため、車両後端から、所定範囲ではモデル 5 2 1を用いて画像変換を行い、車両後端から所定範囲を越える範囲ではモデル 5 2 1に連続する楕円球（図 7のモデル 3 0 2 ) を用いて画像変換を行う。

この Y軸方向の所定範囲としては、一般的な駐車枠の範囲が縦 5 mであるため、この 5 mの 8 0 %から 1 2 0 %の範囲のうちの任意値とするのが望ましい。また、この所定範囲内では Y軸方向に傾きを持たせないのがよい。本実施の形態に係る三次元投影モデル 3 0 0の円筒面モデル 3 0 1は、最下端の位置の路面からの高さを円筒面モデル 3 0 1の長さに渡ってゼロ（路面と一致）としている。これにより、所定範囲内の撮像画像中の直線は変換画像でも直線として表示されることとなる。

しかし、図 7に示す撮像装置 2による撮像画像の半分程度は、車両後端から 2 m程度の範囲であることが多い。このような画像においては、必ずしも上記の 5 mにかかわる必要は無く、十分な空間解像度の得られる 2 m以内のみにおいて Y 軸方向に傾きを設けず、それ以遠は、 X軸方向と同様に、徐々に傾きを大きくすることでも良い。

本実施の形態に係る図 5、図 6の変換画像では、車両後端から 2 mの範囲を示す距離表示線 1 0より手前側では直線が直線として表示される様にしており、 2 mより遠い範囲では、楕円球モデル 3 0 2を用いて画像変換をしている。この所定範囲をどの範囲にするかは、撮像装置 2の設置位置や解像度、仮想視点の位置等により異なってくるが、運転支援の観点からは、車両 1の後端から駐車枠の範囲を所定範囲として楕円によるモデル 3 0 1を適用し、それ以遠に対して、楕円球のモデル 3 0 2を適用するのが望ましい。

本実施の形態では、三次元投影モデルとして、楕円の円筒面モデル 3 0 1と楕円の球面モデル 3 0 2とにより三次元投影モデルを構成している。これにより、これにより、楕円の球面モデル 3 0 2と楕円の円筒面モデル 3 0 1とは連続的に結合され、その結果、図 5、図 6に示されるように、変換画像は、三次元投影モデル 3 0 0のモデル 3 0 1とモデル 3 0 2との境界面においても滑らかに結合され、その境界を識別することはできず、境界面に違和感を覚えることは無い。上述した様に、図 8に示す範囲 5 0 4の投影モデルの傾きを調整することにより、この範囲 5 0 4の立体物の画像歪みの程度を調整することができる。例えば、図 5に示す様に、この範囲 5 0 4の投影モデルに適度な傾きを設けることで、広角レンズを用いた撮像装置により撮影した画像の歪み具合が調整でき、遠方にある他車両の拡大率を実際のリアウィンドから視いた時の距離感に近くなるように設定することが可能となる。

比較のために示した図 4は、図 3の広角カメラの画像に対して、広角レンズのレンズ歪みをとつた画像を示す図である。このレンズ歪みを除去しただけでは、広角レンズを使用したことによる遠近感の強調の効果が緩和されていないことが確認できる。即ち、遠くの画像がより遠くに見えて、遠近感が強調されたままの画像となっている。これに対し、本実施の形態では、楕円の球面モデル 3 0 2を用いて遠方画像を変換しているため、図 5に示されるように、遠近感が緩和されており、見やすい画像となっている。

図 7の円筒面モデル 3 0 1と球面モデル 3 0 2の楕円の長軸と短軸の長さ、並びに、仮想カメラ 2 aの視点位置を調整することにより、図 5に示す画像を図 6 に示す画像のように変換してモニタ 4に表示することができる。即ち、自車両 1 の路面上の幅 dが、画面上で拡大する様に表示することができる。この図 6では、車両の両端位置が、画面両端位置から画面幅の 1 5 %の範囲内に入るように図 5 の画像を変換して表示している。

このように拡大表示することで、運転者から死角となる自車両 1の後端近傍の画像がモニタ 4の画面いっぱいに表示され、運転者に安心感を与えることが可能となる。その結果、運転者は、安心感を持って運転操作を実施できる。 ' また同様に、円筒面モデル 3 0 1と球面モデル 3 0 2の楕円の長軸と短軸の長さ、並びに仮想カメラ 2 aの位置とを調整することにより、図 5、図 6に示す様に、自車両 1のパンパ画像 1 aが直線となるように表示することができる。バンパー画像 1 aが図 3や図 4に示されるように曲線表示される場合と比べて違和感がなくなり、運転操作がし易くなる。

更に、本実施の形態では、例えば図 6に示す様に、車幅を示すマーク 1 1や、車両進行方向に平行で車両幅 dよりも少し外側を示す路面上の直線をガイド線 1 2として表示する。これらを表示することで、路側ゃ駐車枠と自車両との間の相対位置関係が画面上から直感的に把握でき、的確な運転操作の一助となる。尚、上述した円筒面モデルと球面モデルの組み合わせでなる三次元投影モデルは、必ずしも方程式により定義される曲面で構成される必要はなく、適用範囲と性質によって決められるものである。例えば、楕円の円筒面モデル 3 0 1は必ずしも楕円方程式に従う楕円形状でなければならないものではなく、下に凸な三次元投影モデルであって、変換された画像の歪みが画像全体に分散される形状であればよい。球面モデル 3 0 2においても同様である。本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとつて明らかである。本出願は、 2002年 6月 12日出願の日本特許出願 No.2002-171484に基づくものであり、その内容はここに参照として取り込まれる。

<産業上の利用可能性 >

本発明によれば、車両近傍の撮像画像を歪みの少ない画像としてモニタ表示することができる運転支援装置を提供可能となる。

Claims

請求の範囲

1 . 路面上の車両の周囲を撮像する撮像手段と、前記撮像手段による撮像画像を仮想視点から見た画像に変換するに際し前記路面側に凸形状で且つ前記車両の進行方向先端部から所定範囲内では前記路面からの高さが無変化な三次元投影モデルを用いて画像変換を行う画像変換手段と、前記画像変換手段により変換された画像を表示する表示手段とを備えたことを特徴とする運転支援装置。

2 . 前記三次元投影モデルには、前記車両の幅の方向の予め決められた範囲を超えた領域で前記路面から徐々に立ち上がる投影面が連続して設けられることを特徴とする請求の範囲第 1項に記載の運転支援装置。

3 . 前記三次元投影モデルには、前記所定範囲を超えた前記車両の進行方向の領域で前記路面から徐々に立ち上がる投影面が連続して設けられることを特徴とする請求の範囲第 1項または第 2項に記載の運転支援装置。

4 . 前記三次元投影モデルは、端点以外の全領域で微分可能な連続する曲面で形成されていることを特徴とする請求の範囲第 1項乃至第 3項のいずれかに記載の運転支援装置。

5 . 前記三次元投影モデルは、前記路面側に凸形状の円筒面と、前記円筒面の端部に滑らかに連続する球面とを有することを特徴とする請求の範囲第 4項に記載の運転支援装置。

6 . 前記所定範囲は、前記車両の進行方向の長さを一般的な駐車枠の長さ 5 mの 1 2 0 %以内の大きさとし、幅を一般的な駐車枠の幅 3 mの 8 0 %から 1 2 0 %の範囲の任意の大きさとし、前記円筒面に投影されることを特徴とする請求の範囲第 5項に記載の運転支援装置。

7 . 前記円筒面は楕円の円筒面であり、前記円筒面に投影した前記路面上の前記円筒面の中心軸に平行な等間隔の格子線間の最大幅と最小幅の比が少なくとも前記所定範囲において 8 0 %となる楕円を前記三次元投影モデルとしたことを特徴とする請求の範囲第 5項または第 6項に記載の運転支援装置。

8 . 前記表示手段の画面に表示される前記車両の後端画像の左右両端が、前記画面の両端位置から画面幅の少なくとも 1 5 %の範囲内に入る様に前記三次元投影モデルと前記仮想視点の位置とが設定されることを特徴とする請求の範囲第 5項乃至第 7項のいずれかに記載の運転支援装置。

9 . 前記所定範囲内における車両後端の直線形状が前記表示手段の画面上で直線画像として表示される様に前記三次元投影モデルと前記仮想視点の位置を設定したことを特徴とする請求の範囲第 5項乃至第 8項のいずれかに記載の運転

1 0 . 前記三次元投影モデルを用いて変換した画像に、前記車両の進行方向に平行で且つ車両幅よりも所定値だけ外側を示す路面上の直線を示すガイド線を重畳して前記表示手段の画面に表示することを特徴とする請求の範囲第 1項乃至第 9項のいずれかに記載の運転支援装置。

1 1 . 前記画像変換手段は、前記三次元投影モデルに基づく変換ァドレスを格納したマツピングテ一ブルを用いて前記撮像画像を変換することを特徴とする請求の範囲第 1項乃至第 1 0項のいずれかに記載の運転支援装置。