JP4006272B2

JP4006272B2 - 運転支援装置

Info

Publication number: JP4006272B2
Application number: JP2002169078A
Authority: JP
Inventors: 篤飯阪; 崇吉田; 修作岡本; 雅通中川; 和史水澤
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2002-06-10
Filing date: 2002-06-10
Publication date: 2007-11-14
Anticipated expiration: 2022-06-10
Also published as: JP2004009959A

Description

【０００１】
【発明の属する技術分野】
本発明は、運転支援装置に関し、より特定的は、車両後方の実画像と車両の操舵を支援するための予測進路画像とを同時にモニタに表示させることで、車両を後退させる運転操作を支援する装置に関する。
【０００２】
【従来の技術】
従来、車両の後退時に運転者が後方を振り向かなくても車載されるモニタの画面に車両の後方視界を写し出すようにした運転支援装置が、特公平２−３６４１７号公報、特開平１０−１７５４８２号公報又は特開２０００−２７２４４５号公報等で、様々に提案されている。
これらの公報に記載されている従来の運転支援装置は、概ねテレビカメラを用いて車両の後方を撮影し、またセンサ等の検出部を用いて車両前輪の操舵角を検出してその操舵角に応じた予測進路を算出し、その予測進路を所定のマーカーを用いて表現した画像（以下、マーカー画像という）をテレビカメラで撮影された実画像に重畳して画像表示部（モニタ）の画面に表示させることを行っている。このように、従来の運転支援装置では、カメラで撮影された車両後方の実画像と共に、その時の操舵角に基づく車両の予測進路がマーカーでモニタの画面に重畳表示されるので、現在の操舵角を保持したままの状態で車両を後退させると、車両が目標の場所（例えば駐車枠内）に収まるか否かの判断が可能になる。
【０００３】
【発明が解決しようとする課題】
ところで、このような従来の運転支援装置には、広角カメラが一般に用いられる。この広角カメラで撮影された画像は、図１１のように画像中心から離れるほど歪んで表現される。よって、これら従来の運転支援装置では、この画像の歪みに対応させたマーカー画像を生成して、モニタの画面に表示させる必要がある。
【０００４】
しかし、上述した従来の運転支援装置では、地面上に仮想的に描いた予測進路を示すのみ、すなわち二次元的な車両の進行範囲を示すのみである。このため、地面上に描かれた予測進路だけでは、予測進路の近傍に駐車している他の車両が存在する場面等、地面から高い位置での自車両と他車両との距離感を運転者に正確に把握させることが困難である。
【０００５】
それ故に、本発明の目的は、特徴的なマーカー画像を採用して車両の進行範囲を三次元的に表現することで、車両後退時に近接する他車両と自車両との距離感、特に地面から高い位置での距離感を、運転者に把握させ易くすることができる運転支援装置を提供することである。
【０００６】
【課題を解決するための手段及び発明の効果】
本発明の局面は、車両を後退させる時に運転者が行う車両操作を支援する運転支援装置に向けられている。本発明は、車両の後方を撮影するカメラと、ハンドルの切れ角から車輪の操舵角を算出する操舵角演算部と、算出された操舵角から車両の予測進路を求め、当該予測進路に基づいた所定のマーカー画像を生成して、カメラで撮影された画像に当該マーカー画像を重畳させる画像処理部と、画像処理部で重畳された画像を画面に表示する画像表示部とを備え、画像処理部は、移動する車両の地面上の車幅軌跡として予測進路を求め、当該予測進路上に仮想ポールを立設したマーカー画像を生成し、画像処理部は、予測進路および前記仮想ポールを、カメラ座標系で表示可能なように座標変換して、カメラで撮影された画像の歪みに対応させて、予測進路及び前記仮想ポールを歪ませたマーカー画像を生成することを特徴とする。
【０００７】
予測進路が、車両の後輪外側が移動する軌跡であることが好ましい。また、予測進路が、車両の車体後部端が移動する軌跡であることが好ましい。
【０００８】
仮想ポールが、予測進路上を一定間隔で複数立設されることが好ましい。また、仮想ポールが、車両の転回外側の前記予測進路上だけに立設されることが好ましい。また、仮想ポールは、操舵角が所定の角度以上である場合にだけ、予測進路上に立設されることが好ましい。また、仮想ポールは、車両の車体後部端から所定の距離までの間で、予測進路上に立設されることが好ましい。
【０００９】
画像処理部は、操舵角がゼロの場合とゼロ以外の場合とで、マーカー画像の色彩を異ならせることが好ましい。
【００１０】
画像処理部は、操舵角がゼロの場合の予測進路に基づいた他のマーカー画像を生成して、前記カメラで撮影された画像に当該他のマーカー画像を重畳させた別の画像を新たに生成し、画像表示部は、操舵角に関係なく、別の画像を前記画像と同時に画面表示させることが好ましい。
【００１２】
【発明の実施の形態】
以下、本発明を具体化した実施形態を図１〜図１０を用いて説明する。
図１は、本発明の一実施形態に係る運転支援装置の構成を示すブロック図である。図１において、本実施形態の運転支援装置は、カメラ１０と、ハンドル角度センサ２０と、操舵角演算部３０と、画像処理部４０と、表示制御部５０と、モニタ６０とを備える。
【００１３】
カメラ１０は、所定の範囲の景色をカラーによって撮影可能である。ハンドル角度センサ２０は、車両のハンドルの切れ角を検出する。操舵角演算部３０は、ハンドル角度センサ２０で検出された角度から、車両の車輪の操舵角を演算する。画像処理部４０は、カメラ１０で撮影された実画像と、操舵角演算部３０で演算された車輪の操舵角とから、所定の運転支援用画像を生成する。表示制御部５０は、画像処理部４０で生成された運転支援用画像をモニタ６０の画面に表示させる。モニタ６０は、例えばカラータイプの液晶ディスプレイである。
【００１４】
画像処理部４０は、画像処理全体を司るＣＰＵ（中央処理装置）４１と、ＣＰＵ４１の制御プログラムを記憶するプログラムメモリ４２と、ＣＰＵ４１による画像処理作業に使用される作業メモリ４３とで構成される。作業メモリ４３は、画像記憶部４４、視点変換マップデータ格納部４５、運転支援データ生成部４６、軌跡マップデータ格納部４７及び画像合成部４８の各機能ブロックからなる。
【００１５】
視点変換マップデータ格納部４５は、視点変換に用いられる所定の視点変換マップデータを格納する。視点変換とは、カメラ１０の視点で撮影された画像を所望する他の視点位置から観た画像に変換することをいい、周知の技術である。また、視点変換マップデータは、視点変換とレンズの歪補正を含めた変換マップデータとしてもよい。画像記憶部４４は、カメラ１０で撮影された実画像を取り込み、視点変換マップデータ格納部４５に格納された視点変換マップデータに従って、実画像に所定の視点変換を施して視点変換画像を生成する。軌跡マップデータ格納部４７は、所定のマーカーが付加された軌跡マップデータを車輪の操舵角毎にそれぞれ格納する。運転支援データ生成部４６は、操舵角演算部３０で演算された車輪の操舵角に従って、対応する軌跡マップデータを軌跡マップデータ格納部４７から取得する。そして、運転支援データ生成部４６は、画像記憶部４４で行った処理と同様に、視点変換マップデータ格納部４５に格納された視点変換マップデータに従って、軌跡マップデータに所定の視点変換を施してマーカー画像を生成する。画像合成部４８は、画像記憶部４４で生成された視点変換画像と運転支援データ生成部４６で生成されたマーカー画像とを合成して運転支援用画像を生成し、所定のタイミングで表示制御部５０へ出力する。
【００１６】
典型的には、プログラムメモリ４２、視点変換マップデータ格納部４５及び軌跡マップデータ格納部４７は、読み出し専用メモリ（ＲＯＭ）で構成され、画像記憶部４４、運転支援データ生成部４６及び画像合成部４８は、読み出し／書き替え可能なメモリ（ＲＡＭ）で構成される。
【００１７】
図２は、図１に示す本実施形態の運転支援装置を車両１に搭載させた場合のイメージ図である。
図２に示すように、車両１には、その後方の周囲を撮影するカメラ１０が後方上部に設置されている。また、カメラ１０は、その撮影範囲（視界範囲）内に、車両後部バンパー３等の車両１の一部が写り込むように設置されている。車両１の運転席には、モニタ６０が設けられている。車両１にナビゲーション装置が搭載されている場合、モニタ６０は、ナビゲーション装置の表示部としても機能する。またこの場合、モニタ６０は、通常はナビゲーション装置の表示部として使用され、運転席に設けられたシフトレバー５がバック走行位置に操作されると、カメラ１０で撮影される画像が表示可能な状態に切り換えられるようになっている。同様に、画像処理部４０は、シフトレバー５がバック走行位置に操作された場合だけ、上述した画像処理を所定の周期（例えば、３３ｍｓｅｃ）で行う。なお、シフトレバー５がバック走行位置に操作されたか否かは、シフトレバー５の位置を検知するスイッチを別途設けて判断すれば容易である。
【００１８】
操舵輪である前輪７ａ及び７ｂは、ハンドル８の操作によって操舵される。ハンドル角度センサ２０は、ハンドル８に対して所定の位置に設けられ、運転者によって操作されたハンドル８の切れ角θを検出する。操舵角演算部３０は、ハンドル角度センサ２０で検出された切れ角θから、前輪７ａ及び７ｂの操舵角（タイヤ切れ角）βを演算する。この操舵角βは、切れ角θに所定の係数Ｋを掛けることで求められる（β＝Ｋθ）。
【００１９】
次に、軌跡マップデータ格納部４７に予め格納される軌跡マップデータの作成方法について説明する。
まず、図３に示す世界座標系による地面上の軌跡データが設計される。図３において、車両１の車幅をＷと、ホイールベース長をＬと、後輪７ｃ及び７ｄの中心間距離をＴｒとすると、リヤアクスル中央（後輪７ｃと後輪７ｄとの中点）Ｏｖの転回半径Ｒmid 、リヤアクスル中心線Ａｘと転回中心Ｏに対して車体外側（後輪７ｃの外側）との交点の転回半径Ｒout 、及びリヤアクスル中心線Ａｘと転回中心Ｏに対して車体内側（後輪７ｄの内側）との交点の転回半径Ｒinは、操舵角βを含む次式（１）〜（３）でそれぞれ表される。

【００２０】
そして、世界座標系での軌跡データ、すなわち車両が後退する予測進路Ｇin及びＧout は、中点Ｏｖが転回半径Ｒmid の軌跡Ｇmid 上を０〜３００ｃｍ後退する範囲において、後輪７ｃ及び７ｄの移動位置が２５ｃｍ間隔でそれぞれ１３箇所計算されることで求められる。この予測進路Ｇin及びＧout を、操舵角βが取り得る値の範囲（例えば、０度〜３７度の左右方向）について、１度刻みで求める。なお、計算の範囲及び箇所数については、上記の例以外であってもよい。また、操舵角βを刻む単位は、１度以外であっても構わない。
【００２１】
これにより、図４のような軌跡データが作成される。図４の例では、予測進路Ｇin及びＧout をライン１０１及び１０２（カラー表示では共に青色）で、車両後部バンパー３の後端が１ｍ、２ｍ及び３ｍ後退した時の位置を、それぞれライン１０３（同グレー色）、ライン１０４（同グレー色）及びライン１０５（同青色）で表現している。なお、車両後部バンパー３の後端が後退した時のラインは、任意の間隔及び色彩で設定することができる。また、ハンドルが直進状態の場合を分かり易くするために、直進状態時における軌跡データの色を変化させてもよい。例えば、車両後部バンパー３の後端が１ｍ、２ｍ及び３ｍ後退した時の位置を、ライン１０３（同赤色）、ライン１０４（同緑色）及びライン１０５（同黄色）で表示する。
【００２２】
次に、この作成された軌跡データの予測進路Ｇin及びＧout 上に、図５のように所定の高さ（長さ）、間隔及び色彩のマーカーを描き、仮想ポールを表現する。図５の例では、予測進路Ｇin及びＧout 上、すなわちライン１０１及びライン１０２上を５０ｃｍの一定間隔で、高さ１００ｃｍの複数の仮想ポール１０６（カラー表示では緑色）が表示されている。なお、この仮想ポール１０６は、任意の間隔、高さ及び色彩で設定することができる。また、仮想ポール１０６を、操舵角βが所定の角度（例えば５度）以上になった場合にだけ表示するようにしてもよい。また、仮想ポール１０６を、車両１からの距離が遠くなるほど高くなるように、段階的に表示するようにしてもよい。また、仮想ポール１０６を、転回外側となる予測進路Ｇout 上だけに表示するようにしてもよい。さらに、仮想ポール１０６は、予測進路Ｇin及びＧout 上の全てに亘って表示する必要はなく、車両後部バンパー３の後端から所定の距離までだけについて表示するようにしてもよい。
【００２３】
そして、上記世界座標系で設計された軌跡データ及びそれに付加された仮想ポールデータを、カメラ座標系で表示可能なように座標変換して軌跡マップデータを生成する。図６は、カメラ座標系に座標変換された軌跡マップデータをモニタ表示させた場合の画面例である。この変換のために用いられる視点変換マップデータには、レンズ歪補正が含まれていない。また、この場合の視点変換先である視点は、カメラ１０のレンズ中心であり、光軸方向もカメラ１０の光軸と一致させている。なお、カメラ１０の車両１に取り付けられている位置及び撮影方向（光軸）は、予めキャリブレーションされているので既知である。
【００２４】
最後に、本発明の一実施形態に係る運転支援装置の画像処理部４０で行われる処理を、図７のフローチャートを参照して説明する。
車両１のシフトレバー５がバック走行位置に切り換えられた状態の場合、ハンドル角度センサ２０で検出されたハンドル８の切れ角θに応じた操舵角βが、操舵角演算部３０で演算される（ステップＳ７１）。次に、運転支援データ生成部４６において、操舵角βに対応する軌跡マップデータが、軌跡マップデータ格納部４７から読み出される（ステップＳ７２）。次に、運転支援データ生成部４６において、必要な視点変換が行われてマーカー画像が生成される（ステップＳ７３）。次に、カメラ１０で撮影されかつ必要な視点変換が行われた視点変換画像が、画像記憶部４４から画像合成部４８に書き込まれたか否かが判断される（ステップＳ７４）。この書き込みが完了すると、画像合成部４８において、マーカー画像が視点変換画像に重畳されて表示制御部５０へ出力される（ステップＳ７５，Ｓ７６）。以上の処理は、車両１のシフトレバー５がバック走行位置にある間、繰り返して行われる（ステップＳ７７）。
【００２５】
以上のように、本発明の一実施形態に係る運転支援装置によれば、特徴的なマーカー（仮想ポール１０６）画像を採用して車両の進行範囲を三次元的に表現する。これにより、車両後退時に近接する他車両と自車両との距離感、特に地面から高い位置での距離感を、運転者に把握させ易くすることができる。
【００２６】
なお、上記実施形態では、仮想ポール１０６を、車両１の後輪７ｃ及び７ｄが移動する予測進路Ｇin及びＧout 上に描く場合を説明した。しかし、図８及び図９に示すように、車両後部バンパー３の後端角（車両１の後端角）が移動する最遠予測進路ＧＢout 上に、仮想ポール１０６を描いてもよい。このように描けば、後輪軸から車両後部バンパー３の後端角までの距離（オーバーハング）Ｌｏｈが長く、予測進路Ｒout と最遠予測進路ＲＢout との距離が大きくなるトラック等の車両に対しても、本発明を適用させることができる。
【００２７】
また、上記実施形態では、１台のカメラ１０で撮影された実画像を用いた場合を説明したが、２台以上のカメラで撮影された実画像を合成した画像を用いても構わない。また、カメラは、カラー撮影できるものに限られず、白黒撮影用のカメラでも十分である。この場合、上述した各ラインの色の違いを、コントラストの違いで表現すればよい。
【００２８】
さらに、図１０のように、操舵角βに応じたマーカー画像が重畳された運転支援用画像をモニタ６０の画面全体に表示し、操舵角βに関係なく真っ直ぐ後進する場合のマーカー画像が重畳された運転支援用画像をモニタ６０の画面一部に子画面表示してもよい。このように、複数の画像を同時にモニタ６０に表示することによって、より詳細な情報を運転者に提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る運転支援装置の構成を示すブロック図である。
【図２】図１に示す運転支援装置を車両１に搭載させた場合のイメージ図である。
【図３】世界座標系における軌跡データの算出方法を説明するための図である。
【図４】軌跡データをモニタ表示させた場合の画面例である。
【図５】仮想ポールを加えた軌跡データをモニタ表示させた場合の画面例である。
【図６】カメラ座標系に座標変換された軌跡マップデータをモニタ表示させた場合の画面例である。
【図７】画像処理部４０で行われる処理を示すフローチャートである。
【図８】世界座標系における軌跡データの他の算出方法を説明するための図である。
【図９】カメラ座標系に座標変換された他の軌跡マップデータをモニタに表示させた場合の画面例である。
【図１０】子画面を利用したカメラ座標系に座標変換された軌跡マップデータをモニタ表示させた場合の画面例である。
【図１１】広角カメラで撮影された画像の一例を示す図である。
【符号の説明】
１…車両
３…車両後部バンパー
５…シフトレバー
７ａ〜７ｄ…車輪
８…ハンドル
１０…カメラ
２０…ハンドル角度センサ
３０…操舵角演算部
４０…画像処理部
４１…ＣＰＵ
４２…プログラムメモリ
４３…作業メモリ
４４…画像記憶部
４５…視点変換マップデータ格納部
４６…運転支援データ生成部
４７…軌跡マップデータ格納部
４８…画像合成部
５０…表示制御部
６０…モニタ
１０１〜１０５…ライン
１０６…仮想ポール

Claims

車両を後退させる時に運転者が行う車両操作を支援する運転支援装置であって、
車両の後方を撮影するカメラと、
ハンドルの切れ角から車輪の操舵角を算出する操舵角演算部と、
算出された前記操舵角から車両の予測進路を求め、当該予測進路に基づいた所定のマーカー画像を生成して、前記カメラで撮影された画像に当該マーカー画像を重畳させる画像処理部と、
前記画像処理部で重畳された画像を画面に表示する画像表示部とを備え、
前記画像処理部は、移動する車両の地面上の車幅軌跡として前記予測進路を求め、当該予測進路上に仮想ポールを立設した前記マーカー画像を生成し、前記画像処理部は、前記予測進路および前記仮想ポールを、カメラ座標系で表示可能なように座標変換して、前記カメラで撮影された画像の歪みに対応させて、前記予測進路及び前記仮想ポールを歪ませた前記マーカー画像を生成することを特徴とする、運転支援装置。
前記予測進路が、車両の後輪外側が移動する軌跡であることを特徴とする、請求項１に記載の運転支援装置。
前記予測進路が、車両の車体後部端が移動する軌跡であることを特徴とする、請求項１に記載の運転支援装置。
前記仮想ポールが、前記予測進路上を一定間隔で複数立設されることを特徴とする、請求項１〜３のいずれかに記載の運転支援装置。
前記仮想ポールが、車両の転回外側の前記予測進路上だけに立設されることを特徴とする、請求項１〜４のいずれかに記載の運転支援装置。
前記仮想ポールは、前記操舵角が所定の角度以上である場合にだけ、前記予測進路上に立設されることを特徴とする、請求項１〜５のいずれかに記載の運転支援装置。
前記仮想ポールは、車両の車体後部端から所定の距離までの間で、前記予測進路上に立設されることを特徴とする、請求項１〜６のいずれかに記載の運転支援装置。
前記画像処理部は、前記操舵角がゼロの場合とゼロ以外の場合とで、前記マーカー画像の色彩を異ならせることを特徴とする、請求項１〜７のいずれかに記載の運転支援装置。
前記画像処理部は、前記操舵角がゼロの場合の予測進路に基づいた他のマーカー画像を生成して、前記カメラで撮影された画像に当該他のマーカー画像を重畳させた別の画像を新たに生成し、
前記画像表示部は、前記操舵角に関係なく、前記別の画像を前記画像と同時に画面表示させることを特徴とする、請求項１〜８のいずれかに記載の運転支援装置。