JP5444130B2 - 車両用白線認識装置 - Google Patents

Description

本発明は、車載カメラで撮像した画像に基づいて白線を認識する車両用白線認識装置に関する。

近年、車両の安全性の向上を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この運転支援装置では、一般に、車線逸脱防止機能等を実現するため、自車前方の撮像画像等に基づいて白線の認識が行われ、この白線に基づいて自車走行レーンの推定等が行われる。

ところで、実際の道路上の白線には、単一の車線区画線で構成される白線の他に、車線区画線の内側に破線等からなる視線誘導線（補助線）が併設された二重白線等の各種バリエーションが存在する。

そこで、この種の白線認識では、車線区画線のみならず補助線等の存在を十分に考慮する必要がある。このような白線認識についての技術として、例えば、特許文献１には、撮像画像上に設定された検索領域に対し、水平方向に延在する複数の検索ライン毎に、車幅方向内側から外側に向けて輝度変化を調べ、輝度が暗から明へと所定以上変化する最初のエッジ点を検出し、検出した点群に対してハフ変換等を用いたノイズ除去を行うことにより、白線開始点の検出精度を向上する技術が開示されている。

このような技術によれば、白線が車線区画線のみからなる単線である場合には当該車線区画線に基づいて白線が認識され、白線が二重白線等である場合には主として内側に位置する補助線等に基づいて白線が認識される。

特開２００７−２６４９５５号公報

しかしながら、上述の特許文献１に開示された技術のように二重白線等に対して内側の補助線に基づく白線認識が行われると、例えば、車線逸脱防止機能において、自車が補助線を逸脱しただけで警報が発せられる等、実際のドライバの感覚とは若干かけ離れたタイミングで制御が行われる虞がある。

また、上述の特許文献１に開示された技術は、白線の内側に路面補修跡や、水溜まり、雪等のノイズが存在する場合において、これらのノイズが所定以下である場合には、ハフ変換等を用いたノイズ除去によって白線に対応するエッジ点のみを好適に抽出することが可能であるものの、これらのノイズが所定の区間以上に渡って広く存在する場合等のように、実際の白線に対応するエッジ点よりもノイズに起因するエッジ点が優位になった場合には、車線区画線を精度良く検出することが困難となる虞がある。

本発明は上記事情に鑑みてなされたもので、車線区画線の内側に補助線が存在する場合や路面上に多くのノイズが存在する場合等においても精度良く車線区画線を検出することができる車両用白線認識装置を提供することを目的とする。

本発明は、自車走行路を撮像した画像上の白線検出領域内で水平方向に延在する探索ライン毎に車幅方向内側から外側に向けて輝度変化を調べ、輝度が暗から明に所定以上変化する最初のエッジ点を第１候補点として検出するとともに、最後のエッジ点を最終候補点として検出する候補点検出手段と、前記第１候補点からなる点群と前記最終候補点からなる点群との一致率に基づいて、前記第１候補点からなる点群を白線候補点として抽出する第１のモードと、前記最終候補点からなる点群を白線候補点として抽出する第２のモードとを選択的に切り換えるモード切換手段と、を備え、前記モード切換手段は、前記第１のモードを選択中に前記一致率が閾値未満となったとき前記第２のモードに移行し、前記第２のモードを選択中に前記一致率が閾値以上となったときに前記第１のモードに移行することを特徴とする。

本発明の車両用白線認識装置によれば、車線区画線の内側に補助線が存在する場合や路面上に多くのノイズが存在する場合等においても精度良く車線区画線を検出することができる。

車両用運転支援装置の概略構成図 白線認識ルーチンを示すフローチャート 車外環境の撮像画像の一例を模式的に示す説明図 図３の画像から検出される第１候補点及び最終候補点を示す説明図 検索ライン上における輝度の変化の一例を示す説明図 モード選択サブルーチンを示すフローチャート 各モードで抽出される白線候補点を例示する説明図 ハフ変換の演算方法を示す説明図 ハフ空間を示す説明図 白線候補点に基づく実線判定処理についての説明図 認識した白線に基づいて設定される白線検出領域を示す説明図

以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１は車両用運転支援装置の概略構成図、図２は白線認識ルーチンを示すフローチャート、図３は車外環境の撮像画像の一例を模式的に示す説明図、図４は図３の画像から検出される第１候補点及び最終候補点を示す説明図、図５は検索ライン上における輝度の変化の一例を示す説明図、図６はモード選択サブルーチンを示すフローチャート、図７は各モードで抽出される白線候補点を例示する説明図、図８はハフ変換の演算方法を示す説明図、図９はハフ空間を示す説明図、図１０は白線候補点に基づく実線判定処理についての説明図、図１１は認識した白線に基づいて設定される白線検出領域を示す説明図である。

図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援装置２が搭載されている。この運転支援装置２は、例えば、ステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して要部が構成されている。

また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５等が設けられている。

ステレオカメラ３は、ステレオ光学系として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。

ステレオ画像認識装置４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジ点として抽出するとともに、抽出した画素（エッジ点）に距離情報を付与することで、距離画像（距離情報を備えたエッジ点の分布画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に対して周知のグルーピング処理を行い、予め記憶しておいた３次元的な枠（ウインドウ）と比較することで、自車前方の白線、側壁、立体物等を認識する。

ここで、本実施形態において認識対象となる白線とは、例えば、単一の車線区画線や車線区画線の内側に視線誘導線等が併設された多重線（二重線等）のように、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、更に、黄色線等をも含む。また、本実施形態の白線認識においては、道路上に実在する白線が二重白線等であっても、左右それぞれ単一の直線或いは曲線等で近似して認識するものとする。

ところで、実際の道路上に敷設された白線には上述のように各種バリエーションが存在する他、白線の形態は走行路の分岐や合流等に伴って変化する。加えて、道路上には路面補修跡や、水溜まり、雪等の各種ノイズが存在する。従って、画一的な処理によって、全ての場面で精度良く白線を認識することは困難となる。そこで、ステレオ画像認識装置４は、上述の距離画像に基づく白線認識のみに頼ることなく、各種方式を用いた白線認識を補完的に行い、これらの認識結果を複合的に判断して最終的な白線を認識する。

このような白線認識の一つとして、ステレオ画像認識装置４は、自車前方を撮像した一方の画像（例えば、図３に示す基準画像）上の水平方向の輝度変化に基づいて白線認識を行う。

具体的に説明すると、例えば、図４に示すように、ステレオ画像認識装置４は、画像上に左右の白線検出領域Ａｌ，Ａｒを設定し、各白線検出領域Ａｌ，Ａｒ内で水平方向に延在する複数の検索ラインＬに対し、検索ラインＬ毎に車幅方向内側から外側に向けて輝度変化を調べる。そして、ステレオ画像認識装置４は、各白線検出領域Ａｌ，Ａｒ内の各検索ラインＬ上において、輝度が暗から明に所定以上変化する最初のエッジ点を第１候補点として検出するとともに、最後のエッジ点を最終候補点として検出する。ここで、各白線検出領域Ａｌ，Ａｒ内において、検索ラインＬ上に輝度が暗から明に所定以上変化するエッジ点が１つしか存在しない場合は、当該エッジ点が、第１候補点且つ最終候補点となる。

また、ステレオ画像認識装置４は、検出された第１候補点及び最終候補点の点群から白線候補点を抽出するためのモードとして２つのモードを備え、これらのモードを選択的に用いて適切な白線候補点を抽出する。すなわち、ステレオ画像認識装置４は、第１候補点からなる点群を白線候補点として抽出する第０モード（ｍｏｄｅ０）と、最終候補点からなる点群を白線候補点として抽出する第１モード（ｍｏｄｅ１）と、を予め設定された条件に基づいて選択的に切り換え、選択中のモードにおいて抽出した白線候補点の点群に基づいて白線を認識する（白線の近似線を演算する）。

この場合において、ステレオ画像認識装置４は、基本的には、第１候補点からなる点群と最終候補点からなる点群との一致率に基づいてモードの切り換えを行うようになっており、例えば、第０モードを選択中に一致率が閾値未満となったとき第１モードに移行し、第１モードを選択中に一致率が閾値以上となったとき第０モードに移行する。

但し、ステレオ画像認識装置４は、最終候補点からなる点群が実線を示す点群であるか否かを調べ、最終候補点からなる点群が実線を示す点群ではないと判定したとき、上述の一致率によらず、第０モードを選択する。

また、ステレオ画像認識装置４は、各白線検出領域Ａｌ，Ａｒを随時好適な状況に更新するため、抽出した白線候補点の近似線（すなわち、白線の近似線）に基づいて、次フレームの新たな画像上の白線検出領域Ａｌ，Ａｒを設定（再設定）する。この場合において、ステレオ画像認識装置４は、路外のノイズが最終候補点として誤検出されることを防止するため、第１モードが選択されているときの白線検出領域の終了点を、近似線に対して白線の幅分だけ外側にオフセットさせた位置に設定することが望ましい。

このように、本実施形態において、ステレオ画像認識装置４は、候補点検出手段、モード切換手段、実線判定手段、及び、領域設定手段としての各機能を有する。

なお、ステレオ画像認識装置４は、その他の種々の方法によって白線認識を行うことが可能となっている。そして、ステレオ画像認識装置４は、例えば、各白線認識において認識した白線の近似線と当該認識に用いられたエッジ点等の白線候補点との関係（例えば、近似線に対する白線候補点の分散等）に基づき、認識した各近似線の中から最も適切な近似線を選択し、当該近似線を最終的な白線の近似線として制御ユニット５に出力する。

制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。

そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が支持されると、制御ユニット５は、ステレオ画像認識装置４で認識した先行車方向を読み込み、自車走行路上に追従対象の先行車が走行しているか否かを識別する。

その結果、追従対象の先行車が検出されていない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。

一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。

また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線（ステレオ画像認識装置４で認識した白線の近似線）に基づいて警報判定用ラインを設定するとともに、自車両１の車速Ｖとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。

次に、ステレオ画像認識装置４において実行される、基準画像上の輝度変化に基づく白線認識について、図２に示す白線認識ルーチンのフローチャートに従って説明する。なお、本ルーチンによる処理は、左右の白線検出領域Ａｌ，Ａｒそれぞれに対して同様の処理が個別に行われるものであるが、説明を簡略化するため、以下の説明において特に必要な場合を除き、例えば白線検出領域Ａｌ，Ａｒを総称して白線検出領域Ａと標記する等、左右の属性を示す添字”ｌ”及び”ｒ”を適宜省略して説明する。

このルーチンは、ステレオカメラ３によって新たな画像が撮像される毎に実行されるもので、ルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、前回までに安定した白線認識が行われているか否かを調べる。ここで、安定した白線認識が行われている場合とは、基本的には、例えば、本ルーチンによる前回の処理によって、設定数以上の白線候補点が検出されていおり、且つ、認識した白線（近似線）に対し各白線候補点の誤差（分散）が小さい場合をいう。また、本ルーチンによる前回の処理によって安定した白線認識がされていない場合であっても、例えば、他の白線認識によって単一の車線区画線からなる白線が複数フレーム（例えば、３フレーム）以上継続して認識されている場合には、安定した白線認識がなされていると判断される。

そして、ステップＳ１０１において、安定した白線認識がされていないと判定した場合、ステレオ画像認識装置４は、そのままルーチンを抜ける。一方、ステップＳ１０１において、安定した白線認識がされていると判定した場合、ステレオ画像認識装置４は、ステップＳ１０２に進む。

ステップＳ１０１からステップＳ１０２に進むと、ステレオ画像認識装置４は、例えば、前フレームの画像に対するステップＳ１０８の処理で設定された白線検出領域Ａ内の各検索ラインＬ毎に、第１候補点及び最終候補点の検出を行う。具体的には、例えば、図５に示すように、ステレオ画像認識装置４は、車幅方向内側から外側に向けて、各検索ラインＬ上でのエッジ検出を行い、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる点（エッジ点）を検出する。そして、ステレオ画像認識装置４は、白線検出領域Ａ内の各検索ラインＬ上において、最初に検出されたエッジ点を第１候補点として抽出するとともに、最後に検出されたエッジ点を最終候補点として抽出する。例えば、図３に示す画像からは、図４に示す第１候補点及び最終候補点が検出される。なお、図４等においては、説明を簡略化するため、検索ラインＬ及び各候補点等が所定に間引かれて表示されている。

続くステップＳ１０３において、ステレオ画像認識装置４は、ステップＳ１０２で検出した第１候補点及び最終候補点からなる各点群に基づいて白線候補点を抽出する際のモード選択を行う。

このモード選択は、例えば、図６に示すモード選択サブルーチンを示すフローチャートに従って実行されるもので、サブルーチンがスタートすると、ステレオ画像認識装置４は、ステップＳ２０１において、現在選択されているモードが第０モード（ｍｏｄｅ０）であるか否かを調べる。

そして、ステレオ画像認識装置４は、ステップＳ２０１において、第０モードが選択されていると判定した場合にはステップＳ２０２に進み、第１モードが選択されていると判定した場合にはステップＳ２０８に進む。

ステップＳ２０１からステップＳ２０２に進むと、ステレオ画像認識装置４は、前フレームで検出された最終候補点からなる点群が所定の連続性を有する実線を示すものであるか否かを調べる。この判定は、例えば、前フレームの画像に対するステップＳ１０７（後述する）の処理で設定されたフラグＦｓｏｌｉｄを参照して行われるもので、ステレオ画像認識装置４は、フラグＦｓｏｌｉｄが「１」にセットされており、最終候補点の点群が実線を示すものであると判定した場合、ステップＳ２０３に進む。

ステップＳ２０３において、ステレオ画像認識装置４は、第１候補点からなる点群と最終候補点からなる点群との一致率ｍ＿ｒａｔｅが設定閾値ｔｈ１（例えば、ｔｈ１＝３０〜４０％）よりも大きいか否かを調べる。

ここで、一致率ｍ＿ｒａｔｅは、例えば、以下の（１）式によって算出される。
ｍ＿ｒａｔｅ＝（ｍ＿ｓａｍｅ／ｍ＿ｔｏｔａｌ）×１００ …（１）
なお、（１）式において、ｍ＿ｓａｍｅとは第１候補点と最終候補点とが一致した数を示し、ｍ＿ｔｏｔａｌとは第１候補点の数を示す。

そして、ステップＳ２０３において、一致率ｍ＿ｒａｔｅが設定閾値ｔｈ１よりも大きいと判断すると、ステレオ画像認識装置４は、ステップＳ２０４に進み、現在選択中の第０モードから第１モード（ｍｏｄｅ１）への移行を、次フレーム以降において許容するためのフラグＦｓｅｔを「１」にセットした後、サブルーチンを抜ける。

一方、ステップＳ２０３において、一致率ｍ＿ｒａｔｅが設定閾値ｔｈ１以下であると判定すると、ステレオ画像認識装置４は、ステップＳ２０５に進み、フラグＦｓｅｔは「１」であるか否かを調べる。

そして、ステップＳ２０５において、フラグＦｓｅｔが「１」であると判定した場合、ステレオ画像認識装置４は、ステップＳ２０６に進み、白線候補点抽出のためのモードを第０モードから第１モードに変更した後、サブルーチンを抜ける。すなわち、本実施形態において、ステレオ画像認識装置４は、第０モードが選択されている場合には、前フレームを含む連続する２フレーム以上のフレームで最終候補点の点群が所定の連続性を有しており、且つ、一致率ｍ＿ｒａｔｅが閾値ｔｈ１以下となったことを条件として、第０モードから第１モードへの切り換えを行う。

一方、ステップＳ２０５において、フラグＦｓｅｔが「０」であると判定した場合、ステレオ画像認識装置４は、そのままサブルーチンを抜ける。

また、ステップＳ２０２において、フラグＦｓｏｌｉｄが「０」であり、最終候補点からなる点群が所定の連続性を有していないと判定すると、ステレオ画像認識装置４は、ステップＳ２０７に進み、フラグＦｓｅｔを「０」にリセットした後、サブルーチンを抜ける。すなわち、白線が多重線で構成される場合、その最外位置には実線からなる車線区画線が配置されることが一般的である。従って、最終候補点が白線を構成するものである場合、最終候補点からなる点群は所定の連続性を有することが考えられ、当該点群が不連続である場合、路外のノイズ（草むら等）が最終候補点として誤検出されている可能性が高い。そこで、フラグＦｓｏｌｉｄが「０」である場合、ステレオ画像認識装置４は、フラグＦｓｅｔを「０」にリセットして、第１モードへの移行を強制的に禁止する。

また、ステップＳ２０１からステップＳ２０８に進むと、ステレオ画像認識装置４は、フラグＦｓｏｌｉｄが「１」であるか否かを調べる。

そして、ステップＳ２０８において、フラグＦｓｏｌｉｄが「０」であり、最終候補点からなる点群が所定の連続性を有していないと判定すると、ステレオ画像認識装置４は、ステップＳ２１０に進む。

一方、ステップＳ２０８において、フラグＦｓｏｌｉｄが「１」であり、最終候補点からなる点群が所定の連続性を有していると判定すると、ステレオ画像認識装置４は、ステップＳ２０９に進み、一致率ｍ＿ｒａｔｅが設定閾値ｔｈ２（例えば、ｔｈ２＝８０〜９０％）よりも大きいか否かを調べる。なお、制御のハンチング等を防止するため、閾値ｔｈ２は、閾値ｔｈ１に対して十分に大きな値に設定されている。

そして、ステップＳ２０９において、一致率ｍ＿ｒａｔｅが設定閾値ｔｈ２以下であると判定すると、ステレオ画像認識装置４は、そのままサブルーチンを抜ける。

一方、ステップＳ２０９において、一致率ｍ＿ｒａｔｅが設定閾値ｔｈ２よりも大きいと判定すると、ステレオ画像認識装置４は、ステップＳ２１０に進む。

ステップＳ２０８或いはステップＳ２０９からステップＳ２１０に進むと、ステレオ画像認識装置４は、白線候補点抽出のためのモードを第１モードから第０モードに変更した後、サブルーチンを抜ける。

図２に示すメインルーチンにおいて、ステップＳ１０３からステップＳ１０４に進むと、ステレオ画像認識装置４は、ステップＳ１０３で選択したモードに従って白線候補点の抽出を行う。

すなわち、例えば、図７（ａ）の左側部に示すように、一致率ｍ＿ｒａｔｅが十分に高い場合には、第０モードが選択され、白線候補点として第１候補点が抽出される。また、図７（ａ）の右側部に示すように、一致率ｍ＿ｒａｔｅが低い場合であっても最終候補点からなる点群が所定の連続性を有していない場合には、第０モードが選択され、白線候補点として第１候補点が抽出される。一方、例えば、図７（ｂ）の左右側部に示すように、一致率ｍ＿ｒａｔｅが高い場合であっても、最終候補点からなる点群が所定の連続性を有している場合には、第１モードが選択され、白線候補点として最終候補点が抽出される。また、例えば、図７（ｃ）の左右側部に示すように、一致率ｍ＿ｒａｔｅが低く、且つ、最終候補点からなる点群が所定の連続性を有している場合には、第１モードが選択され、白線候補点として最終候補点が抽出される。

ステップＳ１０４からステップＳ１０５に進むと、ステレオ画像認識装置４は、抽出した白線候補点に基づいて白線の近似線を演算する。この近似線の演算に際し、ステレオ画像認識装置４は、先ず、白線候補点中のノイズ除去を行う。具体的に説明すると、ステレオ画像認識装置４は、例えば、白線候補点をハフ直線で近似し、当該ハフ直線に対して誤差が所定以上の点をノイズとして除去することにより、最終的な白線候補点を選定する。

すなわち、ステレオ画像認識装置４は、例えば、図８に示すように、点群を構成する各点Ｐそれぞれに対し、点Ｐ（ｘ，ｚ）を通る直線ｈの傾きθを０°から１８０°まで所定の角度Δθ毎変化させ、以下の（２）式に基づいて、各θにおける原点Ｏから直線ｈまでの距離（垂線の長さ）ρを求める。

ρ＝ｘ・ｃｏｓθ＋ｚ・ｓｉｎθ … （２）
そして、ステレオ画像認識装置４は、各点Ｐについて求めた各θとρの関係を、例えば、図９に示すハフ平面（θ，ρ）上の該当箇所に度数として投票（投影）する。さらに、ステレオ画像認識装置４は、ハフ平面（θ，ρ）上の度数が最も大きくなるθとρの組み合わせを抽出し、当該θとρを用いて（２）式で規定される直線（ハフ直線Ｈ）を点群の近似式として設定する。

そして、ステレオ画像認識装置４は、例えば、近似式（ハフ直線Ｈ）に対して誤差が設定値以上大きい点をノイズとして除去することによって最終的な白線候補点の点群を取得する。さらに、ステレオ画像認識装置４は、取得した白線候補点の点群に基づいて、（３）式に示す、最小自乗法を用いた白線の近似線を求める。
Ｘ＝ａ・Ｚ^２＋ｂ・Ｚ＋ｃ … （３）
ここで、（３）式中において、ａ，ｂ，ｃは、最小自乗法によって求められるパラメータを示す。

ステップＳ１０５からステップＳ１０６に進むと、ステレオ画像認識装置４は、ステップＳ１０６で求めた白線の近似線に対する評価値として、当該近似線に対しステップＳ１０４で抽出した各白線候補点の誤差（分散）の度合いを示す分散値を算出する。

ステップＳ１０６からステップＳ１０７に進むと、ステレオ画像認識装置４は、最終候補点からなる点群の連続性（実線であるか否か）の判定を行う。すなわち、ステレオ画像認識装置４は、例えば、図１０に示すように、画像上の最終候補点を下段から順次検索し、現行の最終候補点と１つ前（下段）の候補点との画素単位における関係から、水平方向誤差Δｉ、及び、垂直方向誤差Δｊを求めるとともに、これら水平方向誤差Δｉ及び垂直方向誤差Δｊを用いて（４）式に基づく水平方向誤差変化量Δｓを求める。
Δｓ＝（Δｉ／Δｊ）−（Δｉ＿ｏｌｄ／Δｊ＿ｏｌｄ） … （４）
更に、ステレオ画像認識装置４は、各最終候補点を距離画像と対応付けることにより、自車進行路前方向をＺ軸とする実空間上での距離誤差Δｚを求める。そして、ステレオ画像認識装置４は、これら各パラメータ（Δｉ、Δｊ、Δｓ、Δｚ）が、それぞれについて予め設定された閾値内であるとき、現行の最終候補点を１つ前の最終候補点と同一の線分グループに登録し、逆に閾値を超える条件が存在するとき、現行の最終候補点を新たな線分グループに登録する。そして、これらの処理で登録された線分グループ群のうち、自車両１に対し、線分の最も近傍の点（線分の開始点）と遠方の点（線分の終了点）との距離が閾値を超えるものが存在した場合、現フレームおける白線候補点は実線を示すものとしてフラグＦｓｏｌｉｄを「１」にセットする。一方、閾値を満たす線分が存在しなかった場合、現フレームにおける白線候補点は実線状態にないと判定してフラグＦｓｏｌｉｄを「０」にリセットする。なお、この実線判定には、ステップＳ１０２で検出した最終候補点をそのまま使用することも可能であるが、ノイズの影響を除去して精度の良い実線判定を実現するため、例えば、第１モードが選択されている場合には、ステップＳ１０５でノイズを除去した後の最終候補点（白線候補点）を用いることが望ましい。

そして、ステップＳ１０７からステップＳ１０８に進むと、ステレオ画像認識装置４は、ステップＳ１０５で演算した白線の近似線に基づき、次フレームで使用する白線検索領域Ａを設定した後、ルーチンを抜ける。すなわち、ステップＳ１０８において、ステレオ画像認識装置４は、例えば、図１１に示すように、ステップＳ１０５で演算した左右の白線近似線Ｘｌ，Ｘｒに対し、（５）〜（８）式に示すように、それぞれ実空間上で、ｌｉｎ＿ｗｓ［ｍ］だけ車幅方向内側にオフセットした線Ｘｓｌ，Ｘｓｒと、ｌｉｎ＿ｗｒ［ｍ］だけ車幅方向外側にオフセットした線Ｘｅｌ，Ｘｅｒを設定する。

すなわち、ステレオ画像認識装置４は、左側の白線近似線Ｘｌに対し、
Ｘｓｌ＝ａｌ・Ｚｌ^２＋ｂｌ・Ｚｌ＋ｃｌ＋ｌｉｎ＿Ｗｓｌ … （５）
を設定すると共に、右側の白線近似線Ｘｒに対し、
Ｘｓｒ＝ａｒ・Ｚｒ^２＋ｂｒ・Ｚｒ＋ｃｒ−ｌｉｎ＿Ｗｓｒ … （６）
を設定する。
また、ステレオ画像認識装置４は、左側の白線近似線Ｘｌに対し、
Ｘｅｌ＝ａｌ・Ｚｌ^２＋ｂｌ・Ｚｌ＋ｃｌ−ｌｉｎ＿Ｗｅｌ … （７）
を設定すると共に、右側の白線近似線Ｘｒに対し、
Ｘｅｒ＝ａｒ・Ｚｒ^２＋ｂｒ・Ｚｒ＋ｃｒ＋ｌｉｎ＿Ｗｅｒ … （８）
を設定する。そして、ステレオ画像認識装置４は、実空間上において（５）式と（７）式とで囲まれた領域を画像上の座標系へ座標変換することで、左側の白線検出領域Ａｌとして設定し、（６）式と（８）式とで囲まれた領域を同様に画像上の座標系へ座標変換することで、右側の白線検出領域Ａｒとして設定する。

なお、路外のノイズを好適に除外するため、車幅方向外側に対するオフセット量はモードに応じて可変設定されることが望ましく、例えば、第１モードが選択されているときのオフセット量は、第０モードが選択されているときのオフセット量よりも小さい値であって、且つ、一般的な白線幅と略同等のオフセット量に設定されていることが望ましい。

このような実施形態によれば、画像上の白線検出領域Ａ内で水平方向に延在する検索ラインＬ毎に車幅方向内側から外側に向けて輝度変化を調べ、輝度が暗から明に所定以上変化する最初のエッジ点を第１候補点として検出すると共に、最後のエッジ点を最終候補点として検出し、これら第１候補点からなる点群と最終候補点からなる点群との一致率ｍ＿ｒａｔｅが高い場合には第１候補点に基づく白線認識を行い、一致率ｍ＿ｒａｔｅが低い場合には最終候補点に基づく白線認識を行うことにより、車線区画線の内側に補助線が存在する場合や路面上に多くのノイズが存在する場合等においても、精度良く車線区画線を検出することができる。

その際、最終候補点からなる点群が実線を示す点群であるか否かを判定し、最終候補点からなる点群が実線を示す点群ではないと判定した場合には、一致率ｍ＿ｒａｔｅによらず、白線候補点として第１候補点を抽出することにより、路外のノイズを白線候補点として誤って抽出することを防止できる。すなわち、白線が二重白線等である場合、通常、車幅方向の最も外側に位置する車線区画線は連続性を有することに着目し、最終候補点からなる点群が所定の連続性を有しない場合には、強制的に第１候補点を白線候補点として抽出することにより、白線認識精度を向上することができる。

なお、上述の実施形態においては、最終候補点からなる点群が所定の連続性を有しない場合には強制的に第１候補点を白線候補点として抽出する要件を不可した一例について説明したが、本発明はこれに限定されるものではなく、この要件を除外することも可能である。

１ … 車両（自車両）
２ … 運転支援装置
３ … ステレオカメラ
４ … ステレオ画像認識装置（候補点検出手段、モード切換手段、実線判定手段、領域設定手段）
５ … 制御ユニット
１１ … 車速センサ
１２ … ヨーレートセンサ
１３ … メインスイッチ
１４ … 舵角センサ
１５ … アクセル開度センサ
１６ … スロットル弁
１７ … アクティブブースタ

Claims (3)

1. 自車走行路を撮像した画像上の白線検出領域内で水平方向に延在する探索ライン毎に車幅方向内側から外側に向けて輝度変化を調べ、輝度が暗から明に所定以上変化する最初のエッジ点を第１候補点として検出するとともに、最後のエッジ点を最終候補点として検出する候補点検出手段と、
   前記第１候補点からなる点群と前記最終候補点からなる点群との一致率に基づいて、前記第１候補点からなる点群を白線候補点として抽出する第０モードと、前記最終候補点からなる点群を白線候補点として抽出する第１モードとを選択的に切り換えるモード切換手段と、を備え、
   前記モード切換手段は、前記第０モードを選択中に前記一致率が閾値未満となったとき前記第１モードに移行し、前記第１モードを選択中に前記一致率が閾値以上となったときに前記第０モードに移行することを特徴とする車両用白線認識装置。
2. 前記最終候補点からなる点群が実線を示す点群であるか否かを判定する実線判定手段を有し、
   前記モード切換手段は、前記最終候補点からなる点群が実線を示す点群ではないと判定したとき、前記一致率によらず前記第０モードを選択することを特徴とする請求項１記載の車両用白線認識装置。
3. 抽出した前記白線候補点の近似線に基づいて、新たな画像上の前記白線検出領域を設定する領域設定手段を有し、
   前記領域設定手段は、前記第１モードが選択されているときの前記白線検出領域の終了点を、前記近似線に対し白線の幅分だけ外側にオフセットさせた位置に設定することを特徴とする請求項１または請求項２に記載の車両用白線認識装置。

Images