JP4374211B2 - レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、路面に設置されたレーンマーカーの位置を検出するレーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置に関する。
【０００２】
【従来の技術】
近年、運転者の居眠り等により発生する事故の予防・防止を図ることを目的として、走行中の車両が道路に設けられるレーンマーカー（車線、白線）から逸脱した場合に警報等を発して運転者に注意を促すシステムが開発されている。走行車両とレーンマーカーとの位置関係を把握する方法として、車両に設置されたカメラによって撮像された路面映像から、ハフ（Ｈｏｕｇｈ）変換法を用いて直線成分を抽出し、レーンマーカーの位置検出を行う方法が多く用いられている（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開昭６３−１４２４７８３号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、ハフ変換法を用いて直線成分の抽出を行うためには、三角関数による演算処理が不可欠であるため計算量が多くなってしまい、演算処理能力の高いシステムが必要とされ、また、リアルタイム処理を行うことが容易ではないという問題があった。
【０００５】
本発明は上記の事情に鑑みて為されたものであり、多量の計算処理を行うことなく路面に設けられたレーンマーカー位置の検出を行うことが可能なレーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
上記の課題を解決するために、請求項１に係る発明は、車両に搭載されたカメラにより路面を撮像し、前記カメラにより撮像された、輝度の分布で表された画像を俯瞰画像に変換し、変換された俯瞰画像に表される前記路面の路幅方向に直交する方向の座標の輝度を画像全体に対して直接積分することにより積分輝度を求めて該積分輝度を前記路幅方向の座標別に検出し、高い積分輝度を示した前記路幅方向の座標に対応する前記路面の位置を求めることにより、前記路面に設置されたレーンマーカー位置の検出を行うレーンマーカー位置検出方法であることを特徴とする。
【０００７】
請求項２に係る発明は、車両に搭載されたカメラにより路面を撮像し、前記カメラにより撮像された画像を俯瞰画像に変換し、変換された俯瞰画像に表される前記路面の路幅方向に直交する方向の座標の輝度を積分することにより積分輝度を求めて該積分輝度を前記路幅方向の座標別に検出し、高い積分輝度を示した前記路幅方向の座標及びその近傍の座標であって他の座標よりも相対的に高い積分輝度を示す一群の座標の座標幅を求め、前記座標幅と前記レーンマーカーの前記路幅方向の規定値とを対比して前記座標幅が前記レーンマーカーの既定値に対応する場合に、前記一群の座標に対応する前記路面の位置を求めて前記路面に設置されたレーンマーカー位置の検出を行うレーンマーカー位置検出方法であることを特徴とする。
【０００８】
請求項３に係る発明は、請求項１又は請求項２に記載のレーンマーカー位置検出方法において、最も高い積分輝度を示す前記路幅方向の座標及びその近傍の座標を除く他の座標において、高い積分輝度を示す前記路幅方向の座標を求めて、再度レーンマーカー位置の検出を行うことを特徴とする。
【０００９】
請求項４に係る発明は、走行車両より撮像された路面の画像を俯瞰画像に変換する俯瞰変換手段と、変換された前記俯瞰画像において、前記路面の路幅方向に直交する方向の座標の輝度を積分することにより積分輝度を求め、該積分輝度を前記路幅方向の座標別に検出することにより輝度プロファイルを作成する輝度プロファイル作成手段と、該輝度プロファイルより高い積分輝度を示した前記路幅方向の座標を求める高輝度座標検出手段と、該高輝度座標検出手段により求められた座標に対応する前記路面の位置を求める路面位置検出手段とを備え、前記路面位置検出手段により求められた前記路面の位置によって前記レーンマーカー位置の検出を行うレーンマーカー位置検出装置であることを特徴とする。
【００１０】
請求項５に係る発明は、走行車両より撮像された路面の画像を俯瞰画像に変換する俯瞰変換手段と、変換された前記俯瞰画像において、前記路面の路幅方向に直交する方向の座標の輝度を積分することにより積分輝度を求め、該積分輝度を前記路幅方向の座標別に検出することによって輝度プロファイルを作成する輝度プロファイル作成手段と、該輝度プロファイルより高い積分輝度を示した前記路幅方向の座標及びその近傍の座標であって他の座標よりも相対的に高い積分輝度を示す一群の座標の座標幅を求める高輝度座標検出手段と、前記座標幅と前記レーンマーカーの路幅方向の規定値とを対比して前記座標幅が前記レーンマーカーの規定値に対応する場合に、前記一群の座標に対応する前記路面の位置を求める路面位置検出手段とを備え、前記路面位置検出手段により求められた前記路面の位置によって前記レーンマーカー位置の検出を行うレーンマーカー位置検出装置であることを特徴とする。
【００１１】
請求項６に係る発明は、請求項４又は請求項５に記載のレーンマーカー位置検出装置において、前記俯瞰変換手段により変換された俯瞰画像を、路面以外の部分を削除した後に前記路幅方向に直行する方向に圧縮する俯瞰画像圧縮手段を備え、前記輝度プロファイル作成手段は、前記俯瞰画像圧縮手段により圧縮された俯瞰画像を用いて前記輝度プロファイルを作成することを特徴とする。
【００１２】
請求項７に係る発明は、請求項４又乃至請求項６のいずれか１項に記載のレーンマーカー位置検出装置において、前記俯瞰変換手段により変換された俯瞰画像から、該俯瞰画像における前記走行車両の車幅であって車両の進行する方向に延びる画像部分を削除した修正俯瞰画像を作成する修正俯瞰画像作成手段を備え、前記輝度プロファイル作成手段は、前記修正俯瞰画像作成手段により生成された修正俯瞰画像を用いて前記輝度プロファイルを作成することを特徴とする。
【００１３】
請求項８に係る発明は、請求項４乃至請求項７のいずれか１項に記載のレーンマーカー位置検出装置において、前記輝度プロファイル作成手段は、前記路面の路幅方向に直交する方向と前記俯瞰画像の走査線方向とが一致するように前記俯瞰画像を回転させて、前記走査線毎に積分輝度を求めて前記輝度プロファイルを作成することを特徴とする。
【００１４】
請求項９に係る発明は、請求項８に記載のレーンマーカー位置検出装置において、前記輝度プロファイル作成手段が、アナログ積分回路を有し、前記アナログ積分回路は、前記俯瞰画像がアナログデータにより形成されている場合に、前記走査線における積分輝度を求めることを特徴とする。
【００１５】
請求項１０に係る発明は、請求項８又は請求項９に記載のレーンマーカー位置検出装置において、前記輝度プロファイル作成手段が、全加算器を有し、前記全加算器は、前記俯瞰画像がデジタルデータにより形成されている場合に、前記走査線における積分輝度を求めることを特徴とする。
【００１６】
請求項１１に係る発明は、請求項４乃至請求項１０のいずれか１項に記載のレーンマーカー位置検出装置において、前記輝度プロファイル作成手段により作成された輝度プロファイルに対してハイパスフィルタを作用させることによって、前記輝度プロファイルにおいて一定値以上の積分輝度だけを抽出する積分輝度抽出手段を備え、前記高輝度座標検出手段は、前記積分輝度抽出手段により抽出された積分輝度の中から高い積分輝度を示した前記座標を求めることを特徴とする。
【００１７】
請求項１２に係る発明は、請求項４乃至請求項１１のいずれか１項に記載のレーンマーカー位置検出装置において、前記高輝度座標検出手段は、前記輝度プロファイル作成手段により作成された輝度プロファイルに微分フィルタを作用させることによって微分プロファイルを作成し、前記微分プロファイルの極大となる位置および極小となる位置の座標に基づいて前記輝度プロファイルにおける変曲点位置の座標を求め、前記微分プロファイルがゼロとなる位置の座標に基づいて前記輝度プロファイルにおけるピーク位置を求め、 前記路面位置検出手段は、前記高輝度座標検出手段により求められた前記変曲点位置の座標に基づいて前記レーンマーカーの車線幅を求め、前記ピーク位置に基づいて前記レーンマーカーの路面位置を求めることを特徴とする。
【００１８】
請求項１３に係る発明は、請求項４乃至請求項１２のいずれか１項に記載のレーンマーカー位置検出装置において、前記高輝度座標検出手段は、前記輝度プロファイル作成手段により作成された輝度プロファイルの積分輝度を、ローパスフィルタを用いて経時的に検出することによって、高い積分輝度を示した座標を求めることを特徴とする。
【００１９】
請求項１４に係る発明は、請求項４乃至請求項１３のいずれか１項に記載のレーンマーカー位置検出手段において、レーンマーカーの車線幅及び隣接するレーンマーカーの間隔が異なる複数の車線モデルを記憶する車線モデル記憶手段を備え、前記路面位置検出手段は、前記高輝度座標検出手段により求められた座標の間隔により前記車線モデル記憶手段に記憶される車線モデルより前記路面における車線状態に該当する車線モデルを抽出し、抽出した車線モデルのレーンマーカーの間隔及び車線幅等を考慮して前記レーンマーカー位置を検出することを特徴とする。
【００２０】
請求項１５に係る発明は、請求項１４に記載のレーンマーカー位置検出装置において、前記路面位置検出手段は、前記高輝度座標検出手段が、前記輝度プロファイルより高い積分輝度を示す座標と該座標の積分輝度よりも低い積分輝度を示す複数の近接した座標とを求めた場合に、前記車線モデル記憶手段より該当する前記車線モデルを抽出し、抽出された車線モデルより高い積分輝度を示す前記座標に該当するレーンマーカーを検出し、該レーンマーカーに基づいて隣接する破線状のレーンマーカーの位置を前記車線モデルと前記低い積分輝度を示す座標との関係より検出することを特徴とする。
【００２１】
請求項１６に係る発明は、請求項４乃至請求項１５のいずれか１項に記載のレーンマーカー位置検出装置と、前記レーンマーカー位置検出装置により検出されたレーンマーカーの位置より、走行車両と該走行車両に最も近いレーンマーカーとの距離を算出する距離算出手段と、前記距離算出手段により算出された距離に応じて異なる警報音を運転者に発する警報発生第１手段とを備える車線逸脱警報装置であることを特徴とする。
【００２２】
請求項１７に係る発明は、請求項４乃至請求項１５のいずれか１項に記載のレーンマーカー位置検出装置と、前記レーンマーカー位置検出装置により検出されたレーンマーカーの位置より、走行車両に最も近いレーンマーカーを求めるレーンマーカー検出手段と、前記走行車両の横移動速度を検出する横移動速度検出手段と、前記走行車両が前記レーンマーカー検出手段により検出されたレーンマーカー側に移動して、かつ前記走行車両の横移動速度が所定速度以上である場合に、運転者に対して警報を発する警報発生第２手段とを備える車線逸脱警報装置であることを特徴とする。
【００２３】
請求項１８に係る発明は、請求項４乃至請求項１５のいずれか１項に記載のレーンマーカー位置検出装置と、前記レーンマーカー位置検出装置により検出されたレーンマーカーの位置より、走行車両に最も近いレーンマーカーと該レーンマーカーまでの距離とを求めるレーン距離検出手段と、前記走行車両の横移動速度を検出する横移動速度検出手段と、前記レーン距離検出手段により求められた距離に応じて異なる警報音を運転者に発する警報発生第１手段と、前記走行車両が前記レーン距離検出手段により検出されたレーンマーカー側に移動して、かつ前記走行車両の横移動速度が所定速度以上である場合に、運転者に対して警報を発する警報発生第２手段とを備え、前記警報発生第１手段は、前記距離が所定距離以下の状態が所定時間又は所定走行距離だけ続いた場合に前記警報を中止し、前記警報発生第２手段は、前記警報発生第１手段の警報が中止された後に前記運転者への警報を行う車線逸脱警報装置であることを特徴とする。
【００２４】
請求項１９に係る発明は、請求項４乃至請求項１５のいずれか１項に記載のレーンマーカー位置検出装置と、前記レーンマーカー位置検出装置により検出されたレーンマーカーの位置より、走行車両と該走行車両に最も近いレーンマーカーとの距離を算出する距離算出手段と、前記走行車両の横移動速度を検出する横移動速度検出手段と、前記距離算出手段により算出された前記距離と、該横移動速度検出手段により検出された前記横移動速度とを用いて前記走行車両が前記レーンマーカーを逸脱するまでの時間を算出し、算出された時間が一定時間以下である場合に運転者に対して警報を発する警報発生第３手段とを備える車線逸脱警報装置であることを特徴とする。
【００２５】
請求項２０に係る発明は、請求項１７乃至請求項１９のいずれか１項に記載の車線逸脱警報装置において、前記走行車両には、車両速度を検出する車速センサとハンドルの操舵角度を検出する操舵角センサが設けられており、前記横移動速度検出手段は、車速センサにより検出された車両速度と、操舵角センサにより検出された操舵角度とに基づいて前記横移動速度を検出することを特徴とする。
【００２６】
請求項２１に係る発明は、請求項１７乃至請求項１９のいずれか１項に記載の車線逸脱警報装置において、前記横移動速度検出手段は、前記距離算出手段により算出された距離の時間変化を測定することによって、前記横移動速度を検出することを特徴とする。
【００２７】
【発明の実施の形態】
［実施例１］
以下、実施例１に係るレーンマーカー位置検出装置について図面を用いて説明する。図１は、本発明に係るレーンマーカー位置検出装置１及びカメラ２を示したブロック図である。
【００２８】
カメラ２は、広角レンズが設けられた広角撮影可能なＣＣＤカメラであり、図２に示すように車両３の後部に設置される。カメラ２は、車両の真後ろの路面４を斜めに見下ろすようにして設置されており、例えば図３に示す撮像画像のように、水平線５とカメラ２の上下のフレーム（６，７）とが略平行となるように（広角レンズを用いている場合には完全に平行とはならない）路面が撮像され、撮像された画像は、中心部に較べて周辺部が湾曲した画像となる。
【００２９】
レーンマーカー位置検出装置１は、俯瞰変換ユニット８と、強度プロファイル作成ユニット９と、メモリユニット１０と、レーンマーカー検出ユニット１１とを備えている。俯瞰変換ユニット８は、カメラ２により撮影された路面画像の歪みを修整して車両３の上方より真下を見下ろした画面へと俯瞰変換し、また必要に応じて画像の拡大／縮小を行う。例えば、俯瞰変換ユニット８は、図３に示した路面画像を、図４に示すように俯瞰表示した画像に変換する。なお、俯瞰画像に変換する技術は、特開平３−９９９５２号公報、特開平９−１７１３４８号公報、特開２００１−１１４０４８号公報、特開２００１−１１６５６７号公報に公開されており、いわゆる当業者に公知の技術であるため、その詳細な説明は省略する。
【００３０】
強度プロファイル作成ユニット９は、俯瞰変換ユニット８により変換された俯瞰画像に対して横軸Ｙを路面の路幅方向とし、この横軸Ｙに直交する方向を縦軸Ｘとして画像を取り込み、縦軸Ｘ方向の明るさ（輝度）を積分して積分輝度を求め、横軸Ｙの座標（画素）別に並べた強度プロファイル（輝度プロファイル）を作成する。カメラ２は車両３の真後ろを撮像するように設置されているので、直線道路を車両３が走行する場合には、路面に形成されたレーンマーカー１３（中央ライン、又は境界ライン等）が延びる方向が縦軸Ｘ方向となる。メモリユニット１０は、強度プロファイル作成ユニット９により作成された強度プロファイルを記憶すると同時に、一般的なレーンマーカー１３の規定幅Ｌ等の情報を記憶する。
【００３１】
図５ｂは、図４（図５ａ）に示した俯瞰画像に対する強度プロファイルを示したグラフであり、レーンマーカー１３は一般に白色、黄色等の輝度の高い明るい色彩で描かれるのに対して、路面４はグレー等輝度の低い色彩が用いられる。このため、俯瞰画像においてレーンマーカー１３が設置される位置と設置されていない位置とを比較すると、レーンマーカー１３の設置されている座標の積分輝度が際立って高い値を示すようになる。例えば、図５ｂに示す強度プロファイルにおいて最も高い積分輝度の値を示した座標は、図４（図５ａ）において画面の縦軸Ｘ方向に延びるようにして表示されるレーンマーカー１３の横軸Ｙ上の座標に対応している。なお、俯瞰変換ユニット８により俯瞰画像を縮小して俯瞰画像が表示することができる範囲を広くすることにより、レーンマーカー１３の表示される縦軸Ｘ方向の長さに対してその他のマーカー１４（路面上に設けられたデザインや制限速度表示等のマーカー：例えば、図４、図５ａの「４０」等）の表示長さが相対的に短くなるので、レーンマーカー１３とその他のマーカー１４との積分輝度差を大きくすることができる。
【００３２】
レーンマーカー検出ユニット１１は、強度プロファイルにおいて高い積分輝度の値を示す横軸Ｙ上の座標を求め、求められた座標よりレーンマーカー１３の位置を判断する。図６に示すフローチャートは、レーンマーカー検出ユニット１１におけるレーンマーカー位置の検出処理を示した第１のフローチャートである。
【００３３】
レーンマーカー検出ユニット１１は、まず、強度プロファイルより最も高い積分輝度の値を示す横軸Ｙの座標（例えば、図５に示す強度プロファイルにおいてはＹ１）を検出し（ステップＳ１）、求めた座標及びその前後の座標の積分輝度の値を読み出す（ステップＳ２）。その後レーンマーカー検出ユニット１１は、求められた積分輝度の値から、この積分輝度がノイズにより生じたものであるか、又は、ノイズ以外のデータ（正しいデータ）であるかの判断を行う（ステップＳ３）。具体的には、レーンマーカー検出ユニット１１が、検出した座標の積分輝度とその座標に隣接する座標の積分輝度とを比較し、検出した座標と隣接する座標との積分輝度がほぼ同様の値を示す場合には、レーンマーカー１３の規定幅Ｌだけほぼ同一の積分輝度を示す座標が連続したものと考えられることから正しいデータであると判断し、検出した座標又は隣接する座標のいずれかのみが突出して高い積分輝度を示している場合にはノイズにより生じたものであると判断する。
【００３４】
レーンマーカー検出ユニット１１が、検出した座標の積分輝度がノイズにより生じたものであると判断した場合には、その座標の積分輝度を検出の対象とする座標から除外（ステップＳ４）して再度最も高い積分輝度の値を示す座標の検出を行う（ステップＳ１）。レーンマーカー検出ユニット１１が、検出した座標の積分輝度が正しいデータである（ノイズではない）と判断した場合には、検出した座標をレーンマーカー位置と判断してメモリユニット１０に記憶する（ステップＳ５）。その後、レーンマーカー検出ユニット１１は、レーンマーカー位置を中心としてレーンマーカー１３の規定幅Ｌに該当する座標幅の座標の積分輝度のデータを強度プロファイルから削除し（ステップＳ６）、レーンマーカー位置の検出処理が１回目である場合には再度同一の処理を繰り返し、１回目ではない場合（２回目以降の場合）には処理を終了する（ステップＳ７）。
【００３５】
処理が１回目の場合には、１回目にレーンマーカーとして検出した座標を除いて最も高い積分輝度の値を示す座標を求め（ステップＳ１、Ｓ２）、求めた座標の積分輝度がノイズにより生じたものであるか否かの判断（ステップＳ３）を行った後に、２本目のレーンマーカー位置を検出してメモリユニット１０に記録する（ステップＳ５）。一般的にレーンマーカー１３は道路の左右に存在するので、このように２度レーンマーカー位置の判断を行うことにより左右のレーンマーカー位置を検出することが可能となる。
【００３６】
このように、俯瞰変換処理を用いて画像の俯瞰変換を行った後に、強度プロファイルを作成し、最も高い積分輝度を示す座標を求めてレーンマーカー位置を検出することにより、三角関数等の多量の計算処理を行うことなくレーンマーカー位置を検出することができ、ハフ変換法を用いた直線成分抽出処理によってレーンマーカー位置を検出する場合よりも簡易なシステムで迅速にレーンマーカー位置の検出を行うことが可能となる。また、多量の計算処理を行う必要がないので、リアルタイム処理を行うことが容易となる。
【００３７】
特に、実施例１に係るレーンマーカー検出装置１は、車両３近辺の路面画像に基づいて俯瞰画像を作成しているので、遠方に位置するレーンマーカーよりも比較的車両３に近い領域でのレーンマーカー位置の検出に適しており、レーン逸脱警報等のシステムに最適な検出装置となる。
【００３８】
図７に示すフローチャートは、レーンマーカー検出ユニット１１におけるレーンマーカー位置の検出処理を示した第２のフローチャートである。第１のフローチャートでは、最も高い積分輝度を示す座標を求めてレーンマーカーの位置検出処理を行っているのに対して、第２のフローチャートでは、積分輝度の値が最も高い座標及びその近傍の座標であって他の座標よりも相対的に高い積分輝度を示す一群の座標の座標幅（画素幅）ｌを求め、この座標幅ｌとレーンマーカーの規定幅Ｌとを対比することによってレーンマーカーの位置検出処理を行う点において相違する。なお、図６に示した第１のフローチャートと同一処理については同一符号を附して説明する。
【００３９】
レーンマーカー検出ユニット１１は、まず、強度プロファイルより最も高い積分輝度を示す座標を検出し（ステップＳ１）、検出した座標及びその近傍の座標の積分輝度の値を求めて、高い積分輝度の値を示す一群の座標幅ｌを求める（ステップＳ２’）。その後、レーンマーカー検出ユニット１１は、求められた座標幅ｌがメモリユニット１０に記憶されているレーンマーカー１３の規格幅Ｌと同程度の幅であるかどうかを、横軸Ｙの座標全体に対する積分輝度の値の変化（ピーク分布等）等を考慮して判断する（ステップＳ３’）。求められた座標幅ｌがレーンマーカー１３の規定幅Ｌに対応するものではないとレーンマーカー検出ユニット１１が判断した場合には、該当する座標の積分輝度を検出の対象から除外して（ステップＳ４’）して再度最も高い積分輝度を示す座標の検出を行う（ステップＳ１）。
【００４０】
レーンマーカー検出ユニット１１が、求められた座標幅ｌとこれに対応するレーンマーカー１３の規定幅Ｌとは同程度の幅であると判断した場合には、座標幅ｌの中心部の座標をレーンマーカー位置と判断してメモリユニット１０に記憶する（ステップＳ５’）。その後、レーンマーカー検出ユニット１１は、一群の座標の積分輝度のデータを強度プロファイルから削除し（ステップＳ６’）、レーンマーカー位置の検出処理が１回目である場合には再度同一の処理を繰り返し、１回目ではない場合（２回目以降の場合）には処理を終了する（ステップＳ７）。
【００４１】
このように、俯瞰変換処理を用いて画像の俯瞰変換を行った後に、強度プロファイルを作成し、積分輝度の高い一群の座標の座標幅を求めてレーンマーカー位置を検出することにより、三角関数等の多量の計算処理を行うことなくレーンマーカー位置を検出することができ、第１のフローチャートに示した処理と同様に、ハフ変換法を用いた直線成分抽出処理によりレーンマーカー位置を検出する場合よりも簡易なシステムで迅速にレーンマーカー位置検出を行うことが可能となる。また、多量の計算処理を行う必要がないので、リアルタイム処理を行うことが容易となる。
【００４２】
さらに、一群の座標の座標幅に基づいてレーンマーカー位置の検出処理を行うため、レーンマーカー以外のマーカー（路面上に設けられたデザインや制限速度表示等のマーカー）との違いを判断し易く、レーンマーカー位置の誤検出を低減させることが容易となる。
【００４３】
［実施例２］
以下、車線逸脱警報装置を、図面を用いて説明する。図８に示すように車線逸脱警報装置２０には、俯瞰変換装置２１と、モニタ２２とが接続されている。俯瞰変換装置２１は、実施例１において説明した俯瞰変換ユニット８に該当する処理を行う。俯瞰変換装置２１は、カメラ２で撮影された図３に示すような画像に対して視点変換を施すことによって図４に示すような俯瞰画像を生成する。
【００４４】
車線逸脱警報装置２０は、フレームメモリ２３と、マイコン２４と、ワークメモリ２５と、エンコーダ２６と、警報装置２７とを備えている。車線逸脱警報装置２０は、俯瞰変換装置で生成された俯瞰画像を用いて強度プロファイルを生成し、生成された強度プロファイルを用いて車両３とレーンマーカー１３との位置関係を検出して必要に応じて運転者に車線逸脱に関する警報を発する。
【００４５】
フレームメモリ２３は、強度プロファイルを生成する際に同期をとるために用いられるメモリではある。フレームメモリ２３には、俯瞰変換装置により生成された俯瞰画像が蓄えられる。マイコン２４の処理速度、コスト、強度プロファイルの作成方法等の観点からフレームメモリ２３に代えてラインメモリが設置されている場合もある。ラインメモリが使用される場合については後述する。
【００４６】
マイコン２４は、フレームメモリ２３に蓄えられた俯瞰画像を用いて強度プロファイルを作成する。また、マイコン２４は、図示を省略した操舵角センサによりハンドルの操舵角を検知し、さらに図示を省略する車速度センサより車速情報を得て、車両３の車幅方向に対する移動速度（横移動速度）を計算する。なお、横移動速度を計算する方法として、操舵角センサや車速センサ等の車載情報機器から車載情報を抽出して求める方法のほか、画像処理によって横移動速度を計算する方法等が知られている。車線逸脱警報装置２０の場合には、操舵角センサを用いることによりレーンマーカー１３に対して車両３が接近中か離反中かを判断することができ、さらに車速度センサを用いることによって、横方向移動速度を定量的に計算することができる。ナビゲーション装置等の車載情報機器が設けられた車両３においては、ヨーレートセンサ（加速度センサ）等を用いることによって車両３の動きを常に監視することが可能なので、車両３の動きに関する情報を取得することによってマイコン２４が横移動速度を検出することもできる。なお、画像処理により横移動速度を計算する方法を行う場合、マイコン２４の処理能力に応じて横移動速度の計算処理速度が変化する。画像処理により横移動速度を計算する方法の一例として、画面上のレーンマーカー位置をフレーム毎に追跡し、フレーム間での移動距離を監視することでフレーム毎に車両３が白線に近づいているか離れているのかの検出を行う。フレーム間時間は約30msecであることから、速度を割り出すことが可能である。
【００４７】
さらにマイコン２４は、車両３の横移動速度の検出結果と、俯瞰画像より求めた強度プロファイルの結果とを用いて車両３が車線を逸脱していないかの判断を行う。車両が車線を逸脱しているものと車両３が判断した場合には、警報装置２７を用いて運転者に警報を発する。より具体的にマイコン２４は、図９に示すように、強度プロファイルを俯瞰画像より生成して（ステップＳ１１）レーンマーカー位置が検出された輝度積分のピーク位置を検出し（ステップＳ１２）、さらに前述した横移動速度を検出して（ステップＳ１３）、車両３が検出されたレーンマーカー位置に対して一定速度以上の速さで横方向に移動していないかを判断する。車線を逸脱する可能性が高いとマイコン２４が判断した場合には、マイコン２４は警報装置２７を用いて運転者に注意を促す（ステップS１４）。
【００４８】
警報装置２７は、一般的にブザー等を発する音響警報装置が用いられるが、必要に応じて警報メッセージを、エンコーダ２６を介してアナログ信号に変換し、モニタ２２に表示させることも可能である。従って、音響警報装置のみにより警報を発する場合には、図８に示したエンコーダ２６やモニタ２２は不要となる。
【００４９】
以下、車線逸脱警報装置２０を用いたレーンマーカー検出において、レーンマーカーの誤認識を減らす方法および、車両３が車線（レーンマーカー）１３を逸脱した場合等に行う警報方法について説明する。
【００５０】
まず、レーンマーカー１３の検知精度を高める画像変換方法について説明する。
【００５１】
本発明に係る車線逸脱警報装置２０では、レーンマーカー１３を検出するのに適した縦横比を備えた俯瞰画像を用いて強度プロファイルの作成を行う。
【００５２】
従来、マイコン２４は俯瞰変換装置２１によって生成された縦横比が等倍の俯瞰画像を用いて強度プロファイルを作成していた。このため、俯瞰画像において車両前方のレーンマーカー１３を見渡せるように、視点変換処理における視点位置を高い位置に設定して表示範囲の広い俯瞰画像を生成しようとすると、道路の延びる方向（縦方向）だけでなく路幅方向（横方向）にも画像の表示範囲が広がってしまう。例えば図１１に示すように、レーンマーカー１３、１３ａだけでなく側壁３１や中央分離帯３２等の映像が俯瞰画像に入り込んでしまう。この俯瞰画像を用いて強度プロファイルを生成すると、レーンマーカー１３、１３ａ以外の側壁３１や中央分離帯部分３２の積分輝度（以下、強度とする）も強度プロファイルに現れてしまうので、このようにして生成された強度プロファイルを用いてレーンマーカー１３の位置判断を行うことは大変困難である。
【００５３】
そこで、マイコン２４は、強度プロファイルを生成する前に、俯瞰変換装置２１において作成される俯瞰画像の段階で俯瞰画像の幅を車両３の約左右１〜１.5ｍ程度の横幅に限定して俯瞰画像を抽出し、さらに抽出された俯瞰画像を車両進行方向（縦方向）に圧縮することによって、図１０に示すように誤認識を招く側壁３１や中央分離帯３２を俯瞰画像に含めずに、レーンマーカー検出に必要なレーンマーカーのみを車両進行方向に広い範囲で取り込むことができる。
【００５４】
マイコン２４により路幅方向の画像に対して車両進行方向の画像を圧縮して俯瞰画像を生成する技術（非等倍俯瞰画像技術）を用いることによって、強度プロファイル作成時に、レーンマーカー１３の車線幅の強度値をより高く検出することができるとともに、誤認識を招く他の強度ピークの検出を抑制することが可能となる。
【００５５】
また、図１２に示すように、車両幅とほぼ同一幅であって車両進行方向（縦方向）に延びる部分１３ｃを俯瞰画像より削除し、左右の分離俯瞰画像を僅かに拡大してつなげ合わせて新たな俯瞰画像を生成してもよい。このようにして生成された俯瞰画像を用いて強度プロファイルを作成することにより（分離俯瞰画像技術）、車線の中央付近に描かれている各種マーカー、例えば、制限速度表示（図１２の「４０」が該当）等が、強度ピークとして強度プロファイル作成時に検出されてしまうことを防止することができる。
【００５６】
また、分割俯瞰画像が拡大されることによってレーンマーカー１３、１３ａも拡大表示されることになるので、さらにレーンマーカー１３、１３ａの位置検出精度を向上させることが容易となる。
【００５７】
さらに、車両幅部分を削除した俯瞰画像においてレーンマーカー部分が表示されていない場合には、車両３が車線から逸脱したものと判断することができるので、生成された俯瞰画像を車両３の逸脱判断における有効な判断材料として用いることができる。
【００５８】
上述説明したように、強度プロファイルの作成に使用される俯瞰画像を、非等倍俯瞰画像技術や分離俯瞰画像技術を用いて加工することによって、レーンマーカーの位置検出精度を向上させることが可能となる。
【００５９】
次に、レーンマーカー１３、１３ａの位置検出処理の処理スピードを向上させる方法について説明する。図１３はレーンマーカー位置検出の処理スピードを向上させた車線逸脱警報装置２０’を示したものである。
【００６０】
まず、マイコン２４は、俯瞰変換装置２１で作成された俯瞰画像をメモリ３３に記憶する。このメモリ３３には、図８において説明したフレームメモリではなくラインメモリあるいは積分回路が使用されている。マイコン２４は、俯瞰画像の縦軸１ライン分の情報をラインメモリ３３に記録し、走査線１本分の画像情報における積分輝度の検出処理を行う。具体的には図１４に示すように、マイコン２４が縦方向の画像データを、９０度回転された俯瞰画像の走査線１本分の画像データとして処理を行う。このように１ラインごとに抽出された俯瞰画像を用いて強度プロファイルを作成することによって、マイコン２４において行われる強度プロファイル作成処理の分散・軽減を図ることができる。
【００６１】
従来の方法を用いて強度プロファイルを作成する場合、マイコン２４は、一度俯瞰画像の全画像データをマイコン２４に取り込み、マイコン２４内のメモリ上で縦方向にすなわち垂直方向に和演算を行っていた。一方、車線逸脱警報装置２０においては、マイコン２４に俯瞰画像の全画像データを取り込まなくとも、ラインメモリ３３により、走査線毎に連続的に流れてくる信号を１ライン毎に足し算するだけで各ラインの強度（積分輝度）を検出することができるので、マイコン２４に全画像データを転送する処理を省略することができる。さらに、走査線一本分の輝度信号を簡単な積分回路（図示省略）で足し算するだけで簡単に強度ファイルを作成することができる。
【００６２】
積分回路は、俯瞰変換装置２１から出力される俯瞰画像がアナログ信号の場合（例えば白黒のNTSC信号等）には、アナログ積分回路で積分して電圧出力し、その電圧をA／Dコンバータによりデジタル化する。さらに最近ではA／Dコンバータが内蔵されているマイコンも存在するため、このようなマイコンを使用することによって、積分結果のアナログ信号を直接読みとることが可能となる。なおアナログ積分回路は、水平同期信号に同期してリセットする。一方、デジタル信号で俯瞰画像が出力されてくる場合には、全加算器などにより加算し、そのままマイコンで読み出す。
【００６３】
上述した方法を用いることによって、強度プロファイル作成処理を一走査線分毎に分割することができるので、この処理を行うコンパクトなハードウェアを設けることによって、マイコン２４の処理を軽減させることがでる。また、マイコン２４の処理を軽減させることができるので、マイコン２４の能力に左右されることなく強度プロファイル作成処理を行うことも可能である。また、マイコン２４による全画像データの読み込み処理が不要となることから、全画像データの読み込み処理の時間（従来の処理方法の場合、全処理時間の半分以上を画像データの読み込み処理で占めることもあった）を短縮させることができる。マイコン２４の読み込みデータ量を1／数百（横軸の解像度）にすることができるので、マイコン２４の計算資源を本来のレーンマーカー検出処理および車線逸脱警報処理により多く割り振ることが可能となる。
【００６４】
次に、レーンマーカー１３の検出処理においてレーンマーカー１３の強度ピークの検出精度を高める方法について説明する。
【００６５】
俯瞰画像より作成された強度プロファイルが理想的なものであった場合、強度プロファイルは図１５（ａ）に示すような強度ピークが検出される。しかしながら実際には、レーンマーカー１３以外の路面部分の背景信号からも強度が検出されてしまうので図１５（ｂ）に示すように、全体的に強度ピークの値がかさ上げされた状態となってしまいピーク形状も不明確になることが多かった。このため、強度プロファイルを作成する際にマイコン２４は、図１５（ｂ）のように検出される強度ピークを図１５（ａ）に示すピーク形状に近づけるための処理としてハイパスフィルタを用いて背景信号の強度を低減させる処理を行う。図１５（ｃ）は、ハイパスフィルタを用いて強度を低減させた強度プロファイルを示したものである。
【００６６】
ハイパスフィルタを用いることによって、強度の低周波成分を減少させて背景信号を取り除くことができるだけではなく、適切なカットオフ周波数を選択することによって、幅広な信号（例えば路上の速度制限マーカー）の強度を低下させてレーンマーカー位置の誤検出を減少させることができる。
【００６７】
また、カメラ２において広角レンズが使用されている場合には、広角レンズのレンズ特性のために図１６に示すように画像周縁部ほど暗くなり、強度プロファイルの強度が画像両端で低下するような状況になり易い。このため、不均一な背景信号を考慮せずに、強度の一定の低周波成分だけを均一に低減させてしまうと、各ピーク間での強度比較を行うことが困難となり誤検出が生じやすくなる。ハイパスフィルタは緩やかな変化の背景信号を除くことができるため、図１６に示すように、カメラ２に広角レンズを用いた場合であっても、背景信号に該当する部分だけを低減させることができる。
【００６８】
また、レーンマーカー１３、１３ａは車線に対して連続的に設けられているので、レーンマーカー位置検出により検出されるレーンマーカー１３の検出位置もその時間の前後と較べて大きく変化するものではない。そのため、強度プロファイル作成時に、検出される強度の時間的な変化を考慮して強度プロファイルを作成することによって、レーンマーカー１３の検出精度を向上させることが可能となる。
【００６９】
例えば、破線で描かれたレーンマーカー１３ａの強度を検出する場合、車両に設置されているカメラの取り付け角度が深くてあまり遠方を写すことができないときには、撮影タイミングによって破線のレーンマーカー１３ａが俯瞰画像に全く表示されない場合があり、図１０に示すように縦方向に俯瞰画像を圧縮させた場合であっても破線のレーンマーカー１３ａを検出することができないおそれがある。このような場合には、その俯瞰画像の前後画像を用いて、俯瞰画像における時間的な変化を考慮した強度プロファイルを作成することが望ましい。
【００７０】
しかしながら、時間的な変化を考慮して強度プロファイルを作成した場合であっても、破線のレーンマーカー１３ａにおける強度の値は相対的に低くなってしまうので、十分なピーク強度を取得することが困難となり、破線のレーンマーカー１３ａのピーク強度がノイズ等として誤検出されるおそれがある。
【００７１】
このため、マイコン２４は、ピーク強度の時間的な変化に対してローパスフィルタを用いて強度プロファイルを作成することによって、破線のレーンマーカー１３ａにおける輝度信号の補強を行う。図１７（ａ）は、破線のレーンマーカー１３ａが検出された位置における強度変化を、ローパスフィルタを用いないで時間変化させたものであり、図１７（ｂ）はローパスフィルタを用いて時間変化させたものである。ローパスフィルタを通すことで、ピーク強度が必ず検出されるようになり常時ピーク強度が信号として現れている。このように破線のレーンマーカー位置に対してローパスフィルタを用いることによって、どの瞬間においても破線のレーンマーカー１３ａの位置検出を行うことが出来るようになる。なお、信号の強度が低いところは、過去のピーク強度の比率が高いため、急激な車線変更等を行った際に、正しい位置に破線のピーク強度が現れない場合がある（以下、この現象をマルチピーク現象という）が、このような場合には後述する「マルチピーク対応処理」を用いて強度の検出を行っている。
【００７２】
さらに、俯瞰画像に基づいて強度プロファイルを作成してレーンマーカー１３の位置を判断するだけでなく予め数種類の車線モデル（レーンマーカーのモデル）を記憶しておき、強度プロファイルにより検出されたレーンマーカー１３に関する情報との比較を行ってレーンマーカー位置を総合的に判断するようにしてもよい。
【００７３】
なお、車線モデルとはレーンマーカー１３、１３ａの車線幅及び隣接するレーンマーカー１３、１３ａの間隔を主とした車線の特徴的な情報を数値化したデータモデルであり、レーンマーカー１３、１３ａの車線幅やレーンマーカー１３、１３ａの間隔等を法規、一般的なレーンマーカー寸法等に基づいて規定したものである。図１８は、車線逸脱警報装置２０を用いてレーンマーカー位置を検出し、車両３が車線を逸脱しているものとマイコン２４が判断した場合に運転者に警報を行う処理を示したフローチャートである。
【００７４】
まず、マイコン２４は、車線モデルをロードしてワークメモリ２５内に記録し（ステップＳ２０）、その後に、俯瞰変換装置２１により作成された俯瞰画像の強度プロファイルを作成してレーンマーカー１３、１３ａと推定されるピーク強度を決定し、ロードされた車線モデルとの比較を行う（白線候補ピーク検出処理：ステップＳ２１）。同様の処理を所定回数、例えば、３０回繰り返して（ステップＳ２２）、所定回数以上ピーク強度と車線モデルとの比較を行った後に、まず比較により求められた値が安定（常に一定）しているか否かの判断を行う（ステップＳ２３）。具体的にマイコン２４は、ステップＳ２１において繰り返された所定回数におけるピーク強度と車線モデルとの比較値の分散が一定範囲以内であるか否かに基づいて安定性を判断する（ステップＳ２３）。不安定であると判断した場合には、ロードされた車線モデルに基づいて不安定であると判断した回数が何回目であるかを求める（ステップＳ２４）。ステップＳ２３において不安定であると判断された回数が所定回数、例えば１０回以上である場合には、車線モデルを変更し（ステップＳ２５）、所定回数以下の場合には、再度同一車線モデルを用いて白線候補ピーク検出処理（ステップS２１）を繰り返す。車線モデルを変更する場合（ステップＳ２５）には、予め記録されている車線モデルのうち、まだロードされていない他の車線モデルが有るか否かの判断を行い（ステップＳ２６）、ロードされていない車線モデルが存在する場合には、次の車線モデルをロードし（ステップＳ２０）、他の車線モデルが残っていない場合には、記憶されていた車線モデルに該当するものが無いものと判断してエラー処理、具体的には、該当する車線モデルが存在しない旨を運転者に通知して（ステップＳ２７）処理を終了する。
【００７５】
マイコン２４は、ステップＳ２３において安定であると判断した場合、車線モデルを決定して（ステップＳ２８）ピーク強度と車線モデルとの比較値の平均より決定された車線モデルが妥当なものであるか否かの判断を行う（ステップＳ２９）。具体的にマイコン２４は、強度プロファイルにより検出されたレーンマーカーの車線幅と隣り合うレーンマーカーとの間隔とのズレ幅が許容範囲以内のものであるかを基準として妥当であるか否かの判断を行う。例えば、レーンマーカー１３の車線幅のズレが２０〜３０％以内であり、隣接するレーンマーカー１３、１３ａの間隔が１０〜１５％以内の場合には、マイコン２４は妥当であると判断する。この判断によりマイコン２４が車線モデルは妥当ではないと判断した場合には、マイコン２４は次の車線モデルをロードして（ステップＳ２０）、白線候補ピーク検出処理を行う（ステップＳ２１）。妥当である場合には、白線追跡処理を行う。
【００７６】
白線追跡処理においてマイコン２４は、ステップＳ２１において行った白線候補ピーク検出処理を実行して、俯瞰画像より強度プロファイルを求めてレーンマーカー位置の検出を行う（ステップＳ３０）。その後、検出されたレーンマーカー位置がその直前に検出されたレーンマーカー位置と比較して急激に変化していないかどうか、つまりレーン位置の変化が連続的であるか否かの判断を行う（ステップＳ３１）。連続的でない場合、マイコン２４は、車両３が車線変更を行ったか、又は道路状況が変化したもの（例えば、車線数が変化した、車線幅が変化した、交差点を曲がって別の道路に入った等）と判断して、変化した車線又は路面に対応する車線モデルを検出するためにステップＳ２０の処理を行う。連続的に変化する場合には、変化したレーンマーカー１３、１３ａの位置を決定された車線モデルに基づいて判断して車両が車線を逸脱していないか、または逸脱するおそれがないかの判断を行う（ステップＳ３２）。逸脱するおそれがある場合には、運転者に警報を発し、逸脱するおそれがない場合には再度白線候補ピーク検出処理（ステップＳ３０）を行って白線追跡処理を繰り返す。
【００７７】
このように検出したピーク強度と車線モデルとを比較して車線の逸脱判断を行うことによって、車線モデルを使用しないでレーンマーカー位置を判断する場合よりも簡単に且つ迅速に判断を行うことが可能となる。また、検出されたレーンマーカーの連続性によって車両の走行状況変化および道路環境変化を判断するので、変化があった時にはその変化の有無を素早く検出することができ、さらに新たな道路状況に素早く対応することが可能となる。
【００７８】
また、上述した車線モデルを用いた車線逸脱判断を行うことにより前述したマルチピーク現象が生じても、正確な破線のレーンマーカー１３ａの位置を検出することが可能となる（マルチピーク対応処理）。
【００７９】
マルチピーク現象は、破線のレーンマーカー１３ａの検出を行うために、ローパスフィルタを用いて過去の情報を利用した強度プロファイルを作成する場合等に生じやすく、例えば、強度プロファイルを作成するときに車両が車線変更動作等を行って左右に大きく動いてしまった場合等に生じる。図１９はマルチピーク現象が生じた強度プロファイルを示したものであり、進行方向に連続するレーンマーカー１３のピーク強度は、符号３０に示すように、ピーク幅が少し広くなるだけであるが、破線のレーンマーカー１３ａの場合には小さなピークが複数現れてしまう。小さなピークが複数現れた強度プロファイルにおいて各ピークの間隔が狭い場合は、どれが正しいピークなのか判断することが困難である。
【００８０】
マイコン２４は、図１９に示すようなマルチピーク現象が現れた場合に、ピーク強度が最も高い値を示している部分（図１９においては、符号３０で示されるピーク）が、連続するレーンマーカー１３のピーク強度を示しているものと判断する。次にマイコン２４は、車線モデルより連続するレーンマーカーを求めて、ピーク強度が最も高い値を示す部分が連続するレーンマーカーに該当するものして車線モデルのレーンマーカー位置と強度プロファイルの強度ピーク位置との具体的な対応付けを行って、車線モデルの破線のレーンマーカー位置情報より破線のレーンマーカーを示すピーク強度を推定する。このように車線モデルを用いることによってマルチピーク現象が生じる場合であっても正確なレーンマーカー１３ａの位置を求めることが可能となる。
【００８１】
なお、このマルチピーク対応処理は、必ずしもマルチピーク現象が生じる場合にのみ限定されるものではない。例えば、特定のレーンマーカーの位置が明確である場合、そのレーンマーカー位置を基準として車両モデルより他のレーンマーカー位置を求めることが可能となる。また、通常よりこのマルチピーク対応処理を利用してレーンマーカー位置を求めることによって、マルチピーク現象の有無に拘わらずに、他のレーンマーカー位置をより精度良く求めることが可能となる。
【００８２】
次に、微分フィルタを用いてレーンマーカーの位置及び車線幅を精度良く検出する方法を説明する。
【００８３】
図１５において、背景信号が強度プロファイルとして検出されないようハイパスフィルタを用いて背景信号の強度を低減させる処理を説明したが、ハイパスフィルタを用いた技術はその処理が比較的軽いという利点を有する反面、ハイパスフィルタの影響によりピーク形状が変化してしまうために車線モデルを用いてレーンマーク位置を正確に評価することが困難であるという問題がある。そこで、マイコン２４に対して、ハイパスフィルタを用いる場合に較べていくらか処理負荷をかけることにはなるが、微分フィルタを用いて強度プロファイルの強度を変化させてからレーンマーカーの位置検出を行うことによってレーンマーカーの位置検出精度を向上させることが可能である。図２０（ａ）は、微分フィルタをかける前の強度プロファイルを示したものであり、図２０（ｂ）は、図２０（ａ）に対して微分フィルタをかけた微分プロファイルを示したものである。図２０（ｂ）の場合、プロファイルのピークが図２０（ａ）に示すレーンマーカーのピーク強度における変曲点位置となるので、マイコン２４がピークを検出する回数（処理）が２倍となってしまう。しかしながらこのピークはレーンマーカーの車線幅の両端位置を示すことになるので、ピークの現れる位置からレーンマーカーの車線幅の長さとレーンマーカーの間隔とを求めることが容易となる。実験結果からも、この手法で得られるレーンマーカーの車線幅は、ハイパスフィルタを用いて車線幅を求める場合に比べ精度が良くなる。
【００８４】
次に、上述の処理方法を用いることによって、車両がレーンマーカーを逸脱し又は逸脱するおそれがあるとマイコン２４が判断した場合の警報方法を説明する。以下、３つの警報方法を説明するが、どの警告方法を使用するかは場合に応じて選択することが可能であり、また併用することも可能である。
【００８５】
まず１つ目の方法として、距離に依存した警報を行う方法（距離警報モード）を説明する。警告を発する場合、運転者に対して警報を出すタイミングが重要である。逸脱警報は逸脱した時に警報を出すのが基本的な動作であるが、逸脱する前にレーンマーカーに車両が近接したときに事前に警報を出す方が、運転者が未然に車線逸脱を防ぐことができるのでより好ましい。そのため、マイコン２４は、図２１に示すようにレーンマーカー１３、１３ａから車両３までの距離（図２０（ｂ）に示す距離例１又は距離例２）に応じて異なる警報音を発生し、運転者に対して正確に危険情報を知らせる。例えば、図２０（ａ）に示すように、車両３がレーンマーカー１３、１３ａに近づくに従って音量を大きくしたり周波数を高くしたりすることにより、車線逸脱の危険度に応じた警報を行うことが可能となる。なお、警報を行う方法として、警報音の音量と周波数とのどちらか一方を使用して警報を行うだけでなく、両方を併用して警報を行っても良い。人間の音声を用いて警報する場合には、この図２０（ａ）に示す音量特性で警報することが望ましい。また、距離に応じて警報を変化させる場合、その変化の割合は図２０（ａ）の符号３４に示すように直線的に変化させても良く、また符号３５に示すようにニ次関数的に変化させてもよい。なお、レーンマーカー１３、１３ａとの距離に比例して警報音を出す場合、車両の車線変更を行うときも警報音が発生してしまうおそれがあるので、レーンマーカー１３と車両３との距離が一定の距離以下になった場合、マイコン２４は車両３が車線変更をするものと判断して警報を停止する。
【００８６】
２つ目の方法として距離だけでなく車両の横移動速度を考慮して警報行う方法（距離・速度警報モード）を説明する。上述ように、単純にレーンマーカー１３、１３ａと車両３との距離に応じて警報を行う方法では、レーンマーカー１３に接近して安定走行する癖のある運転者が運転する車両３において、比較的安全な走行状態であるにも関わらず警報が出てしまうおそれがある。そこで、２つ目の警報方法では、単純にレーンマーカー１３と車両３との距離に応じて警報を発するのではなく、車両３がレーンマーカー１３に近づく速度（横移動速度）をマイコン２４が判断して、一定の速度以上の速さで車両３が横移動した場合に、レーンマーカー１３と車両３との距離に応じた警報を行い、一定の速度以下で横移動する場合には警報を行わない。なお、この「一定値」は運転者が設定してもよいし、マイコン２４が学習して運転者毎に設定するようにしても良い。運転者の操作により、あるいはマイコン２４の自動学習により警報を行うタイミングを切り替えることによって、車両３を運転する運転者に応じて最適な警報を行うことが可能となる。
【００８７】
図２２は、横移動速度に応じて警報方法を切り替えるマイコン２４の処理を示したフローチャートである。マイコン２４は、最初に車両が左右どちらのレーンマーカー１３、１３ａに近いかを強度プロファイル等を用いて判定し（ステップＳ４０）、近い方のレーンマーカー１３を注視白線と認定する（ステップＳ４１）。次にマイコン２４は、注視白線と車両３との距離を求めるとともに注視白線への接近速度（横移動速度）を検出し（ステップＳ４２）、注視白線に一定速度以上の速さで接近しているか否かの判断を行う（ステップＳ４３）。マイコン２４が、一定速度以上で車両３が注視白線に接近しているものと判断した場合には、注視白線との距離に応じて警報音の決定を行い（警報強度決定処理、ステップＳ４４）、決定された警報音で警報を行う（ステップＳ４５）。接近速度が一定速度以下である場合には、警報を行わない。
【００８８】
なお、１つ目の警報方法として説明した警報方法（「距離警報モード」）と２つ目の警報方法として説明した警報方法（「距離・速度警報モード」）とを、マイコン２４による自動学習により切り替えるようにしても良い。マイコン２４による自動学習で警報方法を切り替える場合には、「距離警報モード」で動作中にマイコン２４が警報時間を監視し、連続して警報が出る状態が一定時間あるいは一定走行距離以上になったときに、警報方法（動作モード）を変更する処理が行わせてもよい。また、警報方法をマイコン２４が自動的に変更するのではなく、運転者に知らせることによって運転者が変更する構成としても良い。
【００８９】
３つ目の警報方法として、横移動速度を利用することによって車両が車線を逸脱するまでの時間を求めて、求められた時間に応じて警報を行うか否かの判断をする方法を、図２３を用いて説明する（時間警報モード）。
【００９０】
まず、マイコン２４は上述した「距離・速度警報モード」の警報方法と同様に、最初に車両が左右どちらのレーンマーカーに近いかを強度プロファイル等を用いて判定し（ステップＳ５０）、近い方のレーンマーカーを注視白線と認定する（ステップＳ５１）とする。次にマイコン２４は、注視白線と車両との距離を求めるとともに注視白線への接近速度（横移動速度）を検出し（ステップＳ５２）、注視白線までの距離を接近速度で割ることによって何秒で車両が注視白線を逸脱するか（車線逸脱予想時間）を検出する（ステップＳ５３）。マイコン２４は、車両３が逸脱するまでの時間が一定時間以上時間がかかると判断した場合には警報を出さず、一定時間以内に逸脱すると判断した場合には警報（ステップＳ５４）を発する。このため、例えば、車両３が車線の中央を走行している最中であっても、急激なハンドル操作を行った場合には短時間で車線を逸脱するものとマイコン２４が判断するので警報が行われ、車線のすぐ近くを走行している場合であっても、車両３が横方向にほとんど移動していない場合に、車線を逸脱するまでの時間が一定時間以上かかるものと判断されて警報が行われない。このように、車両３の挙動に応じて警報が行われるので、より適切に警報を出すことができる。
【００９１】
以上、本発明に係るレーンマーカー位置検出装置を実施例１において説明し、車線逸脱警報装置を実施例２において説明したが、本発明に係るレーンマーカー位置検出装置及び車線逸脱警報装置は上記のものに限定されるものではない。例えば、第１のフローチャートを用いて説明した「最も高い積分輝度を示す横軸Ｙの座標を求めることによってレーンマーカー位置を検出する処理」と、第２のフローチャートを用いて説明した「積分輝度の高い一群の横軸Ｙの座標における座標幅を求めることによってレーンマーカー位置を検出する処理」とを併用することによって、より精度良くレーンマーカー位置の検出を行うことが可能である。
【００９２】
また、上述した発明の実施の形態では、図２に示すように１台のカメラ２しか車両３に設置されていないが１台に限定されるものではなく、複数台設置されていても良い。カメラ２を複数台設置することにより１台しかカメラ２を設置しない場合に較べて多角度から路面を撮像することが可能となるので、死角が減り広いエリアを撮像することが可能となる。
【００９３】
さらに、発明の実施の形態では、図２に示すように車両３の後方にカメラ２を設置して、車両３の後方の路面を撮像する場合について説明を行ったが、カメラ２を設置する位置及び撮像する方向は上記の位置及び方向に限定されるものではなく、カメラ２を車両前方又は側方等どの位置に設置し、どの方向の路面を撮像するように設定しても、撮像した画像に路面及びレーンマーカーが撮影されているならば、レーンマーカーの位置検出を行うことが可能である。
【００９４】
また、発明の実施の形態において、レーンマーカー位置検出装置は、図１に示すように、俯瞰変換ユニット８と、強度プロファイル作成ユニット９と、メモリユニット１０と、レーンマーカー検出ユニット１１とを備えているが、これらのユニットは、全てが異なる半導体デバイスにより構成されていても良く、また全てのユニットを１つの半導体デバイスにまとめた構成でも良い。例えば、上記デバイスの機能を一般的に用いられているＣＰＵにより処理させることとし、ＣＰＵが行う処理に対応するプログラムを実行させることによってレーンマーカーの位置検出を行う場合であっても本発明と同様の効果を奏することができる。車線逸脱警報装置においても同様である。
【００９５】
【発明の効果】
以上説明したように、本発明に係るレーンマーカー位置検出装置及び車線逸脱警報装置は、上述した構成とすることにより多量の計算処理を行うことなく路面に設けられたレーンマーカー位置の検出を行うことができるので、簡易なシステムで迅速にレーンマーカー位置検出を行うことが可能となる。また、多量の計算処理を行う必要がないので、リアルタイムに処理を行うことが容易となる。
【図面の簡単な説明】
【図１】実施例１に係るカメラ及びレーンマーカー位置検出装置を示したブロックである。
【図２】車両に設置されたカメラの概略位置を示した斜視図である。
【図３】広角レンズを用いて撮像された路面画像を示した図である。
【図４】図４に示した路面画像を俯瞰変換した画像である。
【図５】図４に示した画像における強度プロファイルを示したものであり、（ａ）は図４に示した画像であり、（ｂ）は図４の横軸座標に対応する積分輝度の値を示した強度プロファイルのグラフである。
【図６】レーンマーカー検出ユニットにおける処理を示した第１のフローチャートである。
【図７】レーンマーカー検出ユニットにおける処理を示した第２のフローチャートである。
【図８】実施例２にかかるカメラと俯瞰変換装置と車両逸脱警報装置とモニタとを示したブロック図である。
【図９】車両逸脱警報装置のマイコンが行う処理を示したフローチャートである。
【図１０】縦方向に画像を圧縮した俯瞰画像を示した図である。
【図１１】俯瞰変換装置により形成された広範囲を映した俯瞰画像を示す図である。
【図１２】分離した俯瞰画像を拡大してつなぎ合わせた俯瞰画像を示す図である。
【図１３】図８に示した車両逸脱警報装置においてフレームメモリを積分回路又はラインメモリに変更した車両逸脱警報装置を示したブロック図である。
【図１４】俯瞰画像データを９０度回転させた俯瞰画像と、回転された俯瞰画像を用いて作成された強度プロファイルを示した図である。
【図１５】俯瞰画像の強度プロファイルを示した図であり、（ａ）は理想的な強度プロファイルを示したものであり、（ｂ）は実際に生成される強度プロファイルを示した図であり、（ｃ）はハイパスフィルタを通した俯瞰画像を用いて作成された強度プロファイルを示した図である。
【図１６】広角レンズで撮像された俯瞰画像を用いて作成された強度プロファイルを示した図である。
【図１７】破線のレーンマーカー強度の時間的な変化を示したプロファイルであって、（ａ）はローパスフィルタを用いない俯瞰画像における強度の時間変化を示したものであり、（ｂ）はローパスフィルタを用いた俯瞰画像における強度の時間変化を示したものである。
【図１８】レーンマーカー位置を検出して運転者に警報を行う処理を示したフローチャートである。
【図１９】マルチピーク現象が生じた強度プロファイルを示した図である。
【図２０】（ａ）は、強度プロファイルを示した図であり、（ｂ）は（ａ）に示した強度プロファイルに微分フィルタを使用して強度変換を行った微分プロファイルを示した図である。
【図２１】（ａ）警報音として発生される音量・周波数と、レーンマーカーから車両までの距離との対応関係を示した図であり、（ｂ）は車両とレーンマーカーまでの距離の一例を示したものである。
【図２２】マイコンが警報を行うための処理を示した第１のフローチャートである。
【図２３】マイコンが警報を行うための処理を示した第２のフローチャートである。
【符号の説明】
１ レーンマーカー位置検出装置
２ カメラ
８ 俯瞰変換ユニット（俯瞰変換手段）
９ 強度プロファイル作成ユニット（輝度プロファイル作成手段）
１０ メモリユニット
１１ レーンマーカー検出ユニット（高輝度座標検出手段、路面位置検出手段）
２０、２０’ 車線逸脱警報装置
２１ 俯瞰変換装置（俯瞰変換手段）
２２ モニタ
２３ フレームメモリ
２４ マイコン（輝度プロファイル作成手段）
２５ ワークメモリ
２６ エンコーダ
２７ 警報装置
３３ 積分回路／ラインメモリ

Claims (21)

1. 車両に搭載されたカメラにより路面を撮像し、前記カメラにより撮像された、輝度の分布で表された画像を俯瞰画像に変換し、変換された俯瞰画像に表される前記路面の路幅方向に直交する方向の座標の輝度を画像全体に対して直接積分することにより積分輝度を求めて該積分輝度を前記路幅方向の座標別に検出し、高い積分輝度を示した前記路幅方向の座標に対応する前記路面の位置を求めることにより、前記路面に設置されたレーンマーカー位置の検出を行うことを特徴とするレーンマーカー位置検出方法。
2. 車両に搭載されたカメラにより路面を撮像し、前記カメラにより撮像された画像を俯瞰画像に変換し、変換された俯瞰画像に表される前記路面の路幅方向に直交する方向の座標の輝度を積分することにより積分輝度を求めて該積分輝度を前記路幅方向の座標別に検出し、高い積分輝度を示した前記路幅方向の座標及びその近傍の座標であって他の座標よりも相対的に高い積分輝度を示す一群の座標の座標幅を求め、前記座標幅と前記レーンマーカーの前記路幅方向の規定値とを対比して前記座標幅が前記レーンマーカーの既定値に対応する場合に、前記一群の座標に対応する前記路面の位置を求めて前記路面に設置されたレーンマーカー位置の検出を行うことを特徴とするレーンマーカー位置検出方法。
3. 最も高い積分輝度を示す前記路幅方向の座標及びその近傍の座標を除く他の座標において、高い積分輝度を示す前記路幅方向の座標を求めて、再度レーンマーカー位置の検出を行うことを特徴とする請求項１又は請求項２に記載のレーンマーカー位置検出方法。
4. 走行車両より撮像された路面の画像を俯瞰画像に変換する俯瞰変換手段と、
   変換された前記俯瞰画像において、前記路面の路幅方向に直交する方向の座標の輝度を積分することにより積分輝度を求め、該積分輝度を前記路幅方向の座標別に検出することにより輝度プロファイルを作成する輝度プロファイル作成手段と、
   該輝度プロファイルより高い積分輝度を示した前記路幅方向の座標を求める高輝度座標検出手段と、
   該高輝度座標検出手段により求められた座標に対応する前記路面の位置を求める路面位置検出手段と
   を備え、前記路面位置検出手段により求められた前記路面の位置によって前記レーンマーカー位置の検出を行うことを特徴とするレーンマーカー位置検出装置。
5. 走行車両より撮像された路面の画像を俯瞰画像に変換する俯瞰変換手段と、
   変換された前記俯瞰画像において、前記路面の路幅方向に直交する方向の座標の輝度を積分することにより積分輝度を求め、該積分輝度を前記路幅方向の座標別に検出することによって輝度プロファイルを作成する輝度プロファイル作成手段と、
   該輝度プロファイルより高い積分輝度を示した前記路幅方向の座標及びその近傍の座標であって他の座標よりも相対的に高い積分輝度を示す一群の座標の座標幅を求める高輝度座標検出手段と、
   前記座標幅と前記レーンマーカーの路幅方向の規定値とを対比して前記座標幅が前記レーンマーカーの規定値に対応する場合に、前記一群の座標に対応する前記路面の位置を求める路面位置検出手段と
   を備え、前記路面位置検出手段により求められた前記路面の位置によって前記レーンマーカー位置の検出を行うことを特徴とするレーンマーカー位置検出装置。
6. 前記俯瞰変換手段により変換された俯瞰画像を、路面以外の部分を削除した後に前記路幅方向に直行する方向に圧縮する俯瞰画像圧縮手段を備え、
   前記輝度プロファイル作成手段は、前記俯瞰画像圧縮手段により圧縮された俯瞰画像を用いて前記輝度プロファイルを作成することを特徴とする請求項４又は請求項５に記載のレーンマーカー位置検出装置。
7. 前記俯瞰変換手段により変換された俯瞰画像から、該俯瞰画像における前記走行車両の車幅であって車両の進行する方向に延びる画像部分を削除した修正俯瞰画像を作成する修正俯瞰画像作成手段を備え、
   前記輝度プロファイル作成手段は、前記修正俯瞰画像作成手段により生成された修正俯瞰画像を用いて前記輝度プロファイルを作成することを特徴とする請求項４又乃至請求項６のいずれか１項に記載のレーンマーカー位置検出装置。
8. 前記輝度プロファイル作成手段は、前記路面の路幅方向に直交する方向と前記俯瞰画像の走査線方向とが一致するように前記俯瞰画像を回転させて、前記走査線毎に積分輝度を求めて前記輝度プロファイルを作成することを特徴とする請求項４乃至請求項７のいずれか１項に記載のレーンマーカー位置検出装置。
9. 前記輝度プロファイル作成手段は、アナログ積分回路を有し、
   前記アナログ積分回路は、前記俯瞰画像がアナログデータにより形成されている場合に、前記走査線における積分輝度を求める
   ことを特徴とする請求項８に記載のレーンマーカー位置検出装置。
10. 前記輝度プロファイル作成手段は、全加算器を有し、
    前記全加算器は、前記俯瞰画像がデジタルデータにより形成されている場合に、前記走査線における積分輝度を求める
    ことを特徴とする請求項８又は請求項９に記載のレーンマーカー位置検出装置。
11. 前記輝度プロファイル作成手段により作成された輝度プロファイルに対してハイパスフィルタを作用させることによって、前記輝度プロファイルにおいて一定値以上の積分輝度だけを抽出する積分輝度抽出手段を備え、
    前記高輝度座標検出手段は、前記積分輝度抽出手段により抽出された積分輝度の中から高い積分輝度を示した前記座標を求める
    ことを特徴とする請求項４乃至請求項１０のいずれか１項に記載のレーンマーカー位置検出装置。
12. 前記高輝度座標検出手段は、前記輝度プロファイル作成手段により作成された輝度プロファイルに微分フィルタを作用させることによって微分プロファイルを作成し、前記微分プロファイルの極大となる位置および極小となる位置の座標に基づいて前記輝度プロファイルにおける変曲点位置の座標を求め、前記微分プロファイルがゼロとなる位置の座標に基づいて前記輝度プロファイルにおけるピーク位置を求め、
    前記路面位置検出手段は、前記高輝度座標検出手段により求められた前記変曲点位置の座標に基づいて前記レーンマーカーの車線幅を求め、前記ピーク位置に基づいて前記レーンマーカーの路面位置を求めることを特徴とする請求項４乃至請求項１１のいずれか１項に記載のレーンマーカー位置検出装置。
13. 前記高輝度座標検出手段は、前記輝度プロファイル作成手段により作成された輝度プロファイルの積分輝度をローパスフィルタを用いて経時的に検出することによって、高い積分輝度を示した座標を求めることを特徴とする請求項４乃至請求項１２のいずれか１項に記載のレーンマーカー位置検出装置。
14. レーンマーカーの車線幅及び隣接するレーンマーカーの間隔が異なる複数の車線モデルを記憶する車線モデル記憶手段を備え、
    前記路面位置検出手段は、前記高輝度座標検出手段により求められた座標の間隔により前記車線モデル記憶手段に記憶される車線モデルより前記路面における車線状態に該当する車線モデルを抽出し、抽出した車線モデルのレーンマーカーの間隔及び車線幅等を考慮して前記レーンマーカー位置を検出することを特徴とする請求項４乃至請求項１３のいずれか１項に記載のレーンマーカー位置検出装置。
15. 前記路面位置検出手段は、前記高輝度座標検出手段が、前記輝度プロファイルより高い積分輝度を示す座標と該座標の積分輝度よりも低い積分輝度を示す複数の近接した座標とを求めた場合に、前記車線モデル記憶手段より該当する前記車線モデルを抽出し、抽出された車線モデルより高い積分輝度を示す前記座標に該当するレーンマーカーを検出し、該レーンマーカーに基づいて隣接する破線状のレーンマーカーの位置を前記車線モデルと前記低い積分輝度を示す座標との関係より検出することを特徴とする請求項１４に記載のレーンマーカー位置検出装置。
16. 請求項４乃至請求項１５のいずれか１項に記載のレーンマーカー位置検出装置と、
    前記レーンマーカー位置検出装置により検出されたレーンマーカーの位置より、走行車両と該走行車両に最も近いレーンマーカーとの距離を算出する距離算出手段と、
    前記距離算出手段により算出された距離に応じて異なる警報音を運転者に発する警報発生第１手段と
    を備えることを特徴とする車線逸脱警報装置。
17. 請求項４乃至請求項１５のいずれか１項に記載のレーンマーカー位置検出装置と、
    前記レーンマーカー位置検出装置により検出されたレーンマーカーの位置より、走行車両に最も近いレーンマーカーを求めるレーンマーカー検出手段と、
    前記走行車両の横移動速度を検出する横移動速度検出手段と、
    前記走行車両が前記レーンマーカー検出手段により検出されたレーンマーカー側に移動して、かつ前記走行車両の横移動速度が所定速度以上である場合に、運転者に対して警報を発する警報発生第２手段と
    を備えることを特徴とする車線逸脱警報装置。
18. 請求項４乃至請求項１５のいずれか１項に記載のレーンマーカー位置検出装置と、
    前記レーンマーカー位置検出装置により検出されたレーンマーカーの位置より、走行車両に最も近いレーンマーカーと該レーンマーカーまでの距離とを求めるレーン距離検出手段と、
    前記走行車両の横移動速度を検出する横移動速度検出手段と、
    前記レーン距離検出手段により求められた距離に応じて異なる警報音を運転者に発する警報発生第１手段と、
    前記走行車両が前記レーン距離検出手段により検出されたレーンマーカー側に移動して、かつ前記走行車両の横移動速度が所定速度以上である場合に、運転者に対して警報を発する警報発生第２手段とを備え、
    前記警報発生第１手段は、前記距離が所定距離以下の状態が所定時間又は所定走行距離だけ続いた場合に前記警報を中止し、
    前記警報発生第２手段は、前記警報発生第１手段の警報が中止された後に前記運転者への警報を行う
    ことを特徴とする車線逸脱警報装置。
19. 請求項４乃至請求項１５のいずれか１項に記載のレーンマーカー位置検出装置と、
    前記レーンマーカー位置検出装置により検出されたレーンマーカーの位置より、走行車両と該走行車両に最も近いレーンマーカーとの距離を算出する距離算出手段と、
    前記走行車両の横移動速度を検出する横移動速度検出手段と、
    前記距離算出手段により算出された前記距離と、該横移動速度検出手段により検出された前記横移動速度とを用いて前記走行車両が前記レーンマーカーを逸脱するまでの時間を算出し、算出された時間が一定時間以下である場合に運転者に対して警報を発する警報発生第３手段と
    を備えることを特徴とする車線逸脱警報装置。
20. 前記走行車両には、車両速度を検出する車速センサとハンドルの操舵角度を検出する操舵角センサが設けられており、
    前記横移動速度検出手段は、車速センサにより検出された車両速度と、操舵角センサにより検出された操舵角度とに基づいて前記横移動速度を検出することを特徴とする請求項１７乃至請求項１９のいずれか１項に記載の車線逸脱警報装置。
21. 前記横移動速度検出手段は、前記距離算出手段により算出された距離の時間変化を測定することによって、前記横移動速度を検出することを特徴とする請求項１７乃至請求項１９のいずれか１項に記載の車線逸脱警報装置。

Images