JP3905410B2 - 車両用運転支援装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、車載レーダと車載カメラによる画像とを併用して車外環境を認識し、運転者の運転操作を支援する車両用運転支援装置に関する。
【０００２】
【従来の技術】
最近では、自動車にカメラやレーザレーダ或いはミリ波レーダ等を搭載して前方の車両や障害物を認識し、それらに衝突する危険度を判定して運転者に警報を発したり、自動的にブレーキを作動させて停止させる或いは先行車との車間距離を安全に保つよう自動的に走行速度を増減する等の技術が積極的に開発されている。
【０００３】
この場合、レーザレーダやミリ波レーダによる道路上の物体の検出性能は、放射ビームの上下角度が狭いことから、カメラに比較して車両の姿勢変化の影響を受けやすく、特に、ミリ波レーダでは、電磁波の照射方向が道路面から上下に１°程度ずれただけで、その性能が大きく低下する。一方、車両の姿勢角は、荷物室に搭載した荷物の重さ等により２°〜３°程度変化する。
【０００４】
このため、特開２００１−３１８１４９号公報には、車両の前後に取付けられた車高センサの車高計測値から車両のピッチ角を算出し、このピッチ角に基づいてアクチュエータを介してレーザレーダ機構のレーザ照射方向を調整することで、車両姿勢の変化に影響されることなく正確な前方情報を得ることのできる技術が開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、車高センサは、通常のシステムでは必要とされるものではなく、車両の姿勢角を検出するために専用の車高センサを備えることは、コスト上昇を招くという問題がある。
【０００６】
本発明は上記事情に鑑みてなされたもので、車両の姿勢角を検出するための専用のセンサを使用することなく車載レーダのビームの上下角を適切に制御し、コスト低減とレーダ性能の向上とを同時に達成することのできる車両用運転支援装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の発明は、車載レーダと車載カメラによる画像とを併用して車外環境を認識し、運転者の運転操作を支援する車両用運転支援装置において、上記車載カメラで撮像した車両進行方向の画像から道路上の左右車線を認識し、この左右車線の撮像画像平面における近似直線の交点を画像平面内水平線位置として該画像平面内水平線位置の変化から車両の姿勢角を推定する手段と、上記姿勢角に基づいて、上記車載レーダの上下方向のビーム放射角度を調整するためのアクチュエータを制御する手段とを備えたことを特徴とする。
【０００８】
請求項２記載の発明は、請求項１記載の発明において、上記アクチュエータの制御目標値を、演算周期毎の制御指示値をフィルタリング処理して算出することを特徴とする。
【０００９】
請求項３記載の発明は、請求項１又は２記載の発明において、上記車載レーダをミリ波レーダとして、このミリ波レーダのビーム放射方向が道路面と略平行になるように上記アクチュエータを制御することを特徴とする。
【００１０】
すなわち、請求項１記載の発明は、車載カメラで撮像した車両進行方向の画像から道路上の左右車線を認識し、この左右車線の撮像画像平面における近似直線の交点を画像平面内水平線位置として該画像平面内水平線位置の変化から車両の姿勢角を推定し、この姿勢角に基づいて車載レーダの上下方向のビーム放射角度を調整するためのアクチュエータを制御することで、車両の姿勢角を検出するための専用のセンサを使用することなく、車載レーダのビーム放射方向を適正に維持する。
【００１１】
その際、請求項２記載の発明のように、アクチュエータの制御目標値を演算周期毎の制御指示値をフィルタリング処理して算出することが望ましく、短時間の姿勢角の変動に追従せず、長時間の姿勢角変動のみを補正することで、アクチュエータの故障率低下や消費エネルギーの低減を図ることができる。
【００１２】
また、請求項３記載の発明のように、車載レーダをミリ波レーダとする場合には、ミリ波レーダのビーム放射方向が道路面と略平行になるようにアクチュエータを制御することで、放射ビームの上下角度が特に狭いミリ波レーダの性能を有効に確保することができる。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図８は本発明の実施の一形態に係わり、図１は運転支援装置の全体構成図、図２はピッチ角変動に伴う画像認識装置の水平線位置の変化を示す説明図、図３は各機器間の信号の流れを示す説明図、図４はレーダヘッドの上下角駆動を示す説明図、図５は角度ずれと画像内位置との関係計測を示す説明図、図６はレーダヘッド及びカメラユニットの取付け工程を示す説明図、図７はアクチュエータ位置とアンテナ角度との関係を示す説明図、図８はレーダヘッドの角度制御に係わるシステム動作を示すフローチャートである。
【００１４】
図１において、符号１は自動車等の車両であり、この車両１に、車外環境を認識して運転者の運転操作を支援する運転支援装置１０が搭載されている。この運転支援装置１０は、ミリ波レーダとカメラによる撮像画像とを併用するものであり、ミリ波レーダ及び撮像画像から得られる車両前方情報と、図示しないセンサ類から得られる車両挙動情報とに基づいて、車両の制御情報を図示しない車両制御装置に出力したり、先行車への接近警報等を生成して運転者の注意を喚起する等の運転支援を行う。
【００１５】
具体的には、運転支援装置１０における車外監視用のセンサとして、車両１前部のバンパ等の構造材に、水平方向へのビーム走査機能を有してミリ波長の電磁波を放射し、道路上の立体物で反射された反射波を受信するためのレーダヘッド１１が取付けられると共に、車室内の天井前方に、車両前方の道路や先行車等を含む車外風景を撮像するためのカメラユニット１５が設置されている。
【００１６】
また、レーダヘッド１１には、アンテナの上下角を可変するためのアクチュエータ１２が併設されており、レーダヘッド１１及びアクチュエータ１２が車室内に設置されるコントローラ１３に接続され、レーダヘッド１１から放射されて道路上の立体物で反射された反射波により、道路上の立体物までの距離や相対速度、物体の二次元分布等が計測される。一方、カメラユニット１５は、単眼のカメラ、或いは２台のカメラを所定の基線長で配設したステレオカメラから構成され、このカメラユニット１５で撮像した画像が画像認識装置１６で処理されて道路の車線や先行車両等が認識される。尚、ステレオカメラの場合には、更に道路上の立体物までの距離や相対速度、物体の三次元分布等を認識可能である。
【００１７】
更に、画像認識装置１６は、車線を代表する道路の左右白線について、撮像画像平面上の近似直線を求め、この近似直線の交点から、車両の水平面に対する進行方向の姿勢角（ピッチ角）を推定する。そして、このピッチ角に基づいて、レーダヘッド１１の上下方向のアンテナ角度を制御するための制御情報を生成してコントローラ１３に出力する。
【００１８】
尚、本形態においては、画像認識装置１６からレーダヘッド１１のアクチュエータ１２に対する制御指令値をコントローラ１３に出力し、この制御指令値をコントローラ１３で実際にアクチュエータ１２に出力するデータフォーマットに変換する例について説明するが、画像認識装置１６からコントローラ１３にはピッチ角のデータを出力し、コントローラ１３でピッチ角に基づいてアクチュエータ１２の制御指令値を生成するようにしても良い。また、画像認識装置１６とコントローラ１３とを一体化し、画像認識装置１６にコントローラ１３の機能を持たせるようにしても良い。
【００１９】
すなわち、カメラユニット１５で撮像した画像平面上における左右白線の交点は画像の無限消失点であり、且つ水平線位置を示すことから、図２（ａ）に示すように、車両１が道路面に平行である状態（ピッチ角０°）から、図２（ｂ）に示すように、荷物の積載（或いは車両の加減速）により車両１の姿勢が変化した状態（例えば、ピッチ角３°）への水平線位置の変化を検出することにより、車両のピッチ角を検出することができる。そして、このピッチ角に基づいてアクチュエータ１２を制御し、レーダヘッド１１の電磁波放射方向を道路面と平行に維持する。
【００２０】
図３に示すように、画像認識装置１６からコントローラ１３に出力される制御指令値は、アナログ信号の位置指令値であり、このアナログ信号の位置指令値がコントローラ１３においてアクチュエータ１２を駆動する実際のデータフォーマットに変換される。そして、この実際のデータフォーマットに従った信号によりアクチュエータ１２が駆動され、レーダヘッド１１のアンテナ角度が可変される。アクチュエータ１２は、本形態においては、パルス駆動されるリニアモータからなるアクチュエータであり、図４に示すように、車両１のバンパ２にブラケット３を介してレーダヘッド１１が上下方向に揺動自在に取付けられ、このブラケット３にアクチュエータ１２の可動部１２ａが連設されている。
【００２１】
詳細には、ブラケット３は、バンパ２に固設されるベース３ａと、レーダヘッド１１が固設されるブラケット本体３ｂとを有し、ベース３ａに対してブラケット本体３ｂが回転軸４ａを介して上下方向に揺動自在に取付けられている。また、ブラケット本体３ｂの上端部には長孔（図示せず）が設けられ、この長孔に回転軸４ｂを介してアクチュエータ１２の可動部１２ａが係合されている。尚、アクチュエータ１２本体は、車体部材５に固定されている。
【００２２】
これにより、コントローラ１３からのパルス信号でアクチュエータ１２が駆動され、可動部１２ａが進退動（図４の左右方向に平行移動）すると、両回転軸４ａ，４ｂを介してブラケット本体３ｂが揺動することで、ブラケット本体３ｂに固設されたレーダヘッド１１の車体に対する設置角度が可変され、電磁波の照射方向が上下方向に調整される。
【００２３】
ここで、画像平面上の水平線位置から車両のピッチ角を導出するためには、装置の生産段階において、画像中心から決まった角度だけずれた位置に配置した物体が画面内のどこに表示されるかを予め計測し、その関係を数式化して画像認識装置１６内に記憶しておく。
【００２４】
具体的には、図５（ａ）に示すように、カメラユニット１５に対向して、中心を同じくする大小の複数の矩形状の図柄が描かれた計測用のターゲットボード３０を固定用治具３１に取付ける。ターゲットボード３０の図柄面において中心からの各部の位置は既知であり、ターゲットボード３０の被撮影面（図柄面）とカメラユニット１５の撮像面とは互いに平行で一定の距離に固定し、且つターゲットボード３０の中心とカメラユニット１５のカメラ光軸中心とを一致させておく。そして、ターゲットボード３０を撮像し、図５（ｂ）に示すターゲットボード３０の撮像画像において、予め既知の位置の角度ずれθと画面内表示位置（画面内水平線位置；ライン数）ｙとの関係をデータとして計測し、以下のように記録する。
【００２５】

【００２６】
以上の計測データに最小二乗法を適用し、角度ずれθと画面内表示位置ｙとの関係を、以下の（１）式で示すように数式化する。尚、以下、式中の乗算は記号＊で表現する。
θ＝ａ＊ｙ＋ｂ …（１）
但し、ａ，ｂ：係数
【００２７】
次に、レーダヘッド１１及びカメラユニット１５の実車への取付け工程において、図６（ａ）に示すように、車両のピッチ角が０°の状態で水準器３２を用いてレーダヘッド１１の取付け基準面１１ａが垂直になるように取付けると共に、ターゲットボード３０をカメラユニット１５と同じ高さに設置する。そして、図６（ｂ）に示すように、ターゲットボード３０の中心位置が撮像画像内のどの水平線位置（何ライン目）に表示されるかを計測し、個々の車両毎に、画像認識装置１６内に記憶させる。
【００２８】
このとき、ターゲットボード３０の中心位置が画像内のＹ0ライン目に表示され、実際の車両の運用時に水平線位置がｙライン目に計測されたとすると、このときの車両のピッチ角Θｐは、前述の（１）式を適用した以下の（２）式で算出される。
Θｐ＝−θ＝−｛ａ＊（ｙ−Ｙ0）＋ｂ｝ …（２）
【００２９】
（２）式による車両のピッチ角Θｐに対し、アクチュエータ１２の制御位置は、レーダヘッド１１とアクチュエータ１２と機械的な取付け位置の関係から求めることができる。すなわち、図７に示すように、ブラケット３における２つの回転軸４ａ，４ｂの水平方向の間隔ｄ、回転軸４ａ，４ｂの垂直方向の間隔Ｌ、レーダヘッド１１のアンテナ角度Θａの間には、以下の（３）式で示す関係が成り立ち、回転軸４ａ，４ｂの水平方向の間隔ｄがアクチュエータ１２の制御位置となる。
Θａ＝ｔａｎ^-1（ｄ／Ｌ） …（３）
【００３０】
従って、レーダヘッド１１から放射される電磁波を道路面と平行に保つためには、Θａ＝−Θｐとなるように制御すれば良く、以下の（４）式をアクチュエータ位置（アクチュエータ１２の制御位置）ｄについて解くことで、以下の（５）式を得る。
Θａ＝−Θｐ＝θ＝ｔａｎ^-1（ｄ／Ｌ）＝ａ＊（ｙ−Ｙ0）＋ｂ …（４）
ｄ＝Ｌ＊ｔａｎ｛ａ＊（ｙ−Ｙ0）＋ｂ｝ …（５）
【００３１】
（５）式において、Ｌ，ａ，ｂは定数であるため、これらの定数を記憶させておき、実際の車両の運用時に画面内水平線位置ｙを導出することにより、適正なアクチュエータ位置ｄを算出することができる。このアクチュエータ位置ｄを画像認識装置１６からコントローラ１３に出力し、コントローラ１３を介してアクチュエータ１２を駆動制御することにより、レーダヘッド１１から放射される電磁波を道路面と平行に保つことができる。
【００３２】
この場合、走行中の車両のピッチ角は、路面の凹凸に応じて速い周期で小刻みに変化するため、この速い周期のピッチ角の変化にアクチュエータ１２を追従させた場合、アクチュエータ１２の耐久性が低下し、寿命が短くなることが予想される。また、ミリ波レーダの性能は、放射される電磁波が道路面と平行のときに有効に発揮されるが、道路面の凹凸によりアンテナ角度が極短時間だけ僅かに狂う程度では性能的な影響は無視できる程小さく、一方、荷物の積載によるピッチ角の変化は、長時間継続するため、性能に与える影響が大きい。
【００３３】
従って、短時間のピッチ角変動に追従せず、荷物の積載等に起因する長時間のピッチ角変動のみを補正することが望ましく、以下の（６）式に示すように、演算周期毎の制御指示値であるアクチュエータ位置ｄをフィルタリング処理し、最終的にアクチュエータ１２に出力する制御目標位置Ｄを定める。これにより、アクチュエータ１２の動作が緩やかになり、故障率の低下や消費電力の低減を図ることができる。
Ｄ＝（ｄ0＋ｄ1＋ｄ2＋……＋ｄn-1）／Ｎ …（６）
但し、ｄ0 ：今回のｄの算出値
ｄ1 ：１秒前のｄの算出値
ｄ2 ：２秒前のｄの算出値
…
ｄn-1：Ｎ−１秒前のｄの算出値（例えば、Ｎ＝１００）
尚、ｄ0,ｄ1,ｄ2,……,ｄn-1の初期値は０とする。
【００３４】
次に、車両運行状態におけるレーダヘッド１１の角度制御に係わるシステムの動作について、図８のフローチャートを用いて説明する。
【００３５】
図８のフローチャートにおいて、ステップＳ１〜Ｓ５は画像認識装置１６における処理であり、先ず、ステップＳ１で、カメラユニット１５で撮像した画像から道路上の左右白線を認識する処理を行う。この白線認識処理としては、エッジ抽出や白線テンペレートとのマッチング等の周知の各種の手法を採用することができる。また、カメラユニット１５としてステレオカメラを用いる場合には、ステレオカメラで撮像した一対の画像間の相関関係から得られる距離データに基づいて、平行性のある直線のグループを検索する等して白線を認識するようにしても良い。尚、画像による白線認識については、本出願人による特開平６−２６６８２８号公報や特開２００１−１６０１３７号公報に詳述されている。
【００３６】
次にステップＳ２において、左右白線の撮像画像平面における近似直線を最小二乗法等によって算出すると、ステップＳ３で、左右近似直線の交点を求め、この交点の画面内での高さ（水平線位置）ｙを算出する。続くステップＳ４では、水平線位置ｙから、予め記憶してある各定数Ｌ，ａ，ｂを用い、前述の（５）式に従ってアクチュエータ位置ｄを求め、このアクチュエータ位置ｄをフィルタリングしてアクチュエータ１２の制御目標位置Ｄを算出する。そして、ステップＳ５で、アクチュエータ１２の制御目標位置Ｄをアナログ信号に変換する。
【００３７】
以上のステップＳ５でアナログ信号に変換されたアクチュエータ１２の制御目標位置Ｄが画像認識装置１６からコントローラ１３に出力されると、ステップＳ６において、コントローラ１３でアナログ信号がパルス信号に変換され、このパルス信号がアクチュエータ１２に出力される。
【００３８】
尚、レーダヘッド１１の角度制御以外にピッチ角のデータを利用したい場合には、ステップＳ４で前述の（２）式に従ってピッチ角を求め、ステップＳ５でピッチ角をアナログ信号に変換してコントローラ１３に出力するようにしても良く、その場合には、コントローラ１３において、ピッチ角からアクチュエータ１２の制御目標値Ｄを算出する。
【００３９】
続くステップＳ７は、アクチュエータ１２側の動作を示すものであり、コントローラ１３から入力されたパルス信号に応じて可動部１２ａの位置が目標位置に制御される。その結果、ステップＳ８において、レーダヘッド１１のアンテナ角度が制御され、車両１のピッチ角度に拘わらずミリ波レーダの電磁波の放射が路面と平行に維持される。
【００４０】
このように、本実施の形態においては、運転支援装置１０に車外監視用センサとして備えられているカメラユニット１５で撮像した画像から認識される道路上の左右車線に基づいて車両のピッチ角を推定し、このピッチ角に基づいてミリ波レーダのレーダヘッド１１の上下方向のアンテナ角度を調整するアクチュエータ１２を制御するので、車両のピッチ角を検出するために専用のセンサを用いることなく、ミリ波レーダの電磁波放射方向を道路面と平行に維持することができ、コスト低減とレーダ性能の向上とを同時に達成することができる。
【００４１】
【発明の効果】
以上説明したように本発明によれば、車両のピッチ角を検出するために専用のセンサを用いることなく、運転支援装置に備えた車載カメラで撮像した画像から認識される道路上の左右車線に基づいて車両のピッチ角を推定し、このピッチ角に基づいて車載レーダの上下方向のビーム放射角度を調整するアクチュエータを制御するので、車両姿勢の変化に影響されることなく常に車載レーダのビーム放射方向を適正に維持することができ、コスト低減とレーダ性能の向上とを同時に達成することができる。
【図面の簡単な説明】
【図１】運転支援装置の全体構成図
【図２】ピッチ角変動に伴う画像認識装置の水平線位置の変化を示す説明図
【図３】各機器間の信号の流れを示す説明図
【図４】レーダヘッドの上下角駆動を示す説明図
【図５】角度ずれと画像内位置との関係計測を示す説明図
【図６】レーダヘッド及びカメラユニットの取付け工程を示す説明図
【図７】アクチュエータ位置とアンテナ角度との関係を示す説明図
【図８】レーダヘッドの角度制御に係わるシステム動作を示すフローチャート
【符号の説明】
１ 車両
１０ 運転支援装置
１１ レーダヘッド
１２ アクチュエータ
１３ コントローラ
１５ カメラユニット
１６ 画像認識装置
Θａ アンテナ角度
Θｐ ピッチ角

Claims (3)

1. 車載レーダと車載カメラによる画像とを併用して車外環境を認識し、運転者の運転操作を支援する車両用運転支援装置において、
   上記車載カメラで撮像した車両進行方向の画像から道路上の左右車線を認識し、この左右車線の撮像画像平面における近似直線の交点を画像平面内水平線位置として該画像平面内水平線位置の変化から車両の姿勢角を推定する手段と、
   上記姿勢角に基づいて、上記車載レーダの上下方向のビーム放射角度を調整するためのアクチュエータを制御する手段とを備えたことを特徴とする車両用運転支援装置。
2. 上記アクチュエータの制御目標値を、演算周期毎の制御指示値をフィルタリング処理して算出することを特徴とする請求項１記載の車両用運転支援装置。
3. 上記車載レーダをミリ波レーダとして、このミリ波レーダのビーム放射方向が道路面と略平行になるように上記アクチュエータを制御することを特徴とする請求項１又は２記載の車両用運転支援装置。

Images