JP5577608B2 - 車線認識装置及び方法 - Google Patents

Description

本発明は、車両が走行する走行路における車線を認識する車線認識装置及び方法に関する。

従来、車両が走行するレーンを検出する技術としては、下記の特許文献１に記載された走行路上の多重区分線の種類を正確に認識する技術が知られている。

この特許文献１には、多重区分線を構成する各標示線の組み合わせ（本数・太さ）の情報であるテンプレートと、各標示線の線種（実線・破線）の情報である線種情報とを含む照合用パターンを、予め複数種類用意しておく。

車両走行時には、多重区分線を撮像した撮像画像を用いて多重区分線を抽出する。そして、当該抽出した多重区分線に基づいて、多重区分線を構成する各標示線の線種を判別すると共に多重区分線区間であるかどうかを判定し、それらの判定結果と照合用パターンとの照合を行う。これにより、多重区分線の種類を識別し、当該多重区分線によって形成される車線区分線を識別することにより車線境界（レーン）を識別している。

特開２００７−５２７３０号公報

従来の技術では、多重区分線を構成する標示線の組み合わせ情報と線種情報を予め照合用パターンとして記憶しておき、当該照合用パターンと実際に検出された情報とを照合して実際の多重区分線を識別して、車線境界を設定していた。このため、多重区分線の本数、太さ、実線又は破線の検出情報が、道路上に形成された補修痕、タイヤ痕などの誤検知要因、かすれなどの不検知要因によって誤って認識されてしまうことがある。この場合、多重区分線から判定される車線区分線は、誤検知される可能性があるという問題があった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、道路上に不検知要素がある場合であっても、安定して車線境界を認識し続けることを目的とする。

本発明は、車両が走行する走行路を撮像した撮像画像に基づいて、前記走行路上に設けられた複数の標示線からなる多重区分線を認識して、走行路のうち車両が走行する車線を示す車線区分線を抽出する車線認識装置である。本発明は、車両が走行する走行路を撮像した撮像画像に基づいて、前記走行路上に設けられた複数の標示線からなる多重区分線を認識して、走行路のうち車両が走行する車線を示す車線区分線を抽出する車線認識装置であって、前記撮像画像の左右の分離した所定領域に多重区分線検出領域を設定し、該多重区分線検出領域内の標示線を検出し、当該標示線のうち車線区分線の候補となる車線区分線候補を抽出する車線区分線候補抽出手段と、前記車線区分線候補抽出手段により抽出した車線区分線候補に基づいて、前記多重区分線を構成する各車線区分線候補の種類を判定する車線区分線判定手段と、前記車線区分線候補抽出手段により抽出し、前記車線区分線判定手段により種類が判定された車線区分線候補の組み合わせ及び前記相対関係決定手段により決定された各車線区分線候補の相対関係と、に基づいて車両が多重線区間に進入する前に車線境界として検出していた車線区分線と最も連続性の高い車線区分線候補を選択し、車両が走行する車線境界を判断する車線境界判断手段と、前記車線境界判断手段が選択した、車両が多重線区間に進入する前に車線境界として検出していた車線区分線と最も連続性の高い車線区分線候補と他の車線区分線候補との前記相対関係を記憶する相対関係記憶手段と、を備え、前記車線境界判断手段は、前記車線区分線候補抽出手段により抽出した走行路における左右に分離した前記多重区分線検出領域における車線区分線候補の組み合わせを用いて、当該車線区分線候補の平行性、当該車線区分線候補間の車線幅、当該車線区分線候補の横位置、複数の車線区分線候補の相対関係を評価し、走行路における車線境界として最適な一対の車線区分線候補を選択することを特徴とする。

本発明によれば、車線区分線候補の組み合わせ及び相対関係決定手段により決定された各車線区分線候補の相対関係と、相対関係記憶手段に記憶された相対関係とに基づいて、車両が走行する車線境界を判断する。これにより、本発明によれば、車両が多重線区間に進入する前に車線境界として検出していた車線区分線と最も連続性の高い車線区分線候補と他の車線区分線候補との相対関係を記憶することができ、道路上に不検知要素がある場合であっても、安定して車線境界を認識し続けることができる。

本発明の実施形態として示す運転操作支援装置の機能的な構成を示すブロック図である。 運転操作支援装置における車線認識装置の機能的な構成を示すブロック図である。 運転操作支援装置により撮像する撮像画像を示す図である。 撮像画像から抽出した車線区分線候補の説明図である。 車線区分線判定部により判定された車線区分線候補を説明する図である。 車線境界判断部により車線区分線候補を評価する説明図である。 運転操作支援装置により車線境界を判断する動作を示すフローチャートである。 第２実施形態としての運転操作支援装置による相対関係の決定処理の手順を示すフローチャートである。 第２実施形態としての運転操作支援装置による車線境界の判断処理の手順を示すフローチャートである。 走行路にかすれがあった場合の動作を説明する図である。 走行路にタイヤ痕があった場合の動作を説明する図である。

以下、本発明の実施の形態について図面を参照して説明する。

［第１実施形態］
［運転操作支援装置の構成］
本発明の第１実施形態として示す運転操作支援装置は、車線認識装置１と、操舵支援ＥＣＵ２と、ステアリング装置３とを有する。この運転操作支援装置は、運転操作を支援するために、車線認識装置１により走行路における車線を認識して、操舵支援ＥＣＵ２によりステアリング装置３を制御して、運転者が操作するステアリングに対して操作反力を発生させる。

車線認識装置１は、自車両が走行する走行路上の白線等の標示線を認識して、隣接する車線と区分する車線区分線を認識する。ここで、走行路には、車線を区別するために複数の車線区分線からなる多重区分線が設けられることがある。したがって、車線認識装置１は、多重区分線が設けられている走行路に対して車両を制御するための車線境界を認識する処理を行う。

車線認識装置１は、車両の前方を撮像する前方カメラ１１と、この前方カメラ１１により撮像した撮像画像に基づいて操作支援に用いる車線区分線を検出する車線検出ＥＣＵ１２とを有している。

前方カメラ１１は、例えば車室内における天井の前方中央部に、車両前方を撮像するように取り付けられる。これにより、前方カメラ１１は、車両のフロントガラスを介して車両前方の走行路のうち少なくとも左右の車線境界を含む領域を撮像する。

操舵支援ＥＣＵ２は、車線認識装置１により認識された車線区分線と、車両通信により各種自車両の状態を検出する不図示のセンサで取得した自車両状態の検出値（車速、ヨーレート）を用いて、操舵支援を行うようにステアリング装置３を制御する。すなわち、現在の自車両状態に応じて操舵反力を発生させて、車両を車線境界内に走行させる。

車線認識装置１は、図２に示すように、前方カメラ１１に接続された車線区分線候補抽出部２１と、車線区分線判定部２２と、相対関係決定部２３と、車線境界判断部２４と、相対関係記憶部２５とを有している。なお、車線認識装置１は、実際にはＲＯＭ、ＲＡＭ、ＣＰＵ等にて構成されているが、当該ＣＰＵがＲＯＭに格納された運転操作支援用のプログラムに従って処理をすることによって実現できる機能をブロックとして説明する。

車線区分線候補抽出部２１は、前方カメラ１１から自車走行路を撮像した撮像画像を取得する。車線区分線候補抽出部２１は、取得した撮像画像に対して所定の画像処理を行うことにより、撮像画像に含まれる車線区分線候補を抽出する。

車線区分線候補抽出部２１は、例えば以下のような処理を行って、車線区分線候補を抽出する。先ず、車線区分線候補抽出部２１は、撮像画像の左右端付近に位置する車線区分線に対し、過去に認識した車線区分線により推定した、撮像画像上の車線区分線が存在すると推定される位置に画像処理枠（多重区分線検出領域）を設定する。次に、車線区分線候補抽出部２１は、設定された多重区分線検出領域に対して、例えばＳｏｂｅｌフィルタによる一次空間微分を施す。これにより、車線区分線と路面との境界（エッジ）を強調したエッジ画像を作成する。この車線区分線は、所定の幅を有している。その後、車線区分線の内側（画像内中心側）のエッジのみを抽出する。そして、抽出したエッジの強度が所定値以上のエッジ画素を対象とし、多重区分線検出領域の上辺の１点と下辺の１点を結ぶエッジ画素からなる直線を、ハフ変換によりを抽出する。これにより、車線区分線候補抽出部２１は、撮像画像のうち直線状に現れる車線区分線候補を取得する。

加えて、車線区分線候補抽出部２１は、エッジ画像に基づいて車線区分線候補ごとの幅を算出する。また、この車線区分線候補ごとに、幅のばらつき程度を表す分散値を算出する。これらの車線区分線候補の幅及び幅のばらつき程度は、各車線区分線候補の添付情報として記憶される。車線区分線の幅のばらつき程度は、遠方から近傍まで一定幅で設けられているかを表す。

車線区分線判定部２２は、車線区分線候補抽出部２１により抽出した車線区分線候補に基づいて、多重区分線を構成する車線区分線の本数と各車線区分線の線種を判定する。なお、車線区分線判定部２２は、少なくとも車線区分線候補の種類が判定できればよい。

この車線区分線判定部２２は、走行路における左右の多重区分線検出領域に対して別々に、車線区分線候補の種類を判定する。車線区分線候補の種類を判定する具体的な処理としては、車線区分線候補抽出部２１により抽出した車線区分線候補である直線に沿って、エッジを含んでいる画素を１画素ずつ集計していく。そして、車線区分線候補である直線を構成する全画素における集計値の割合が所定値以上であった場合に、当該車線区分線の種類を「実線」と判断する。一方、車線区分線候補である直線を構成する全画素における集計値の割合が所定値より少ない場合、当該車線区分線候補の種類を「破線」と判断する。

具体的には、図３に示す撮像画像１００を前方カメラ１１により撮像した場合、車線区分線候補抽出部２１は、当該撮像画像１００の所定領域に多重区分線検出領域１０３Ｒ，１０３Ｌを設けて、車線区分線候補を抽出する。そして、上述の処理を行うことにより、車線区分線候補抽出部２１及び車線区分線判定部２２は、左側の車線区分線候補としての太破線１０１Ｌ及び細実線１０２Ｌ、右側の車線区分線候補としての太破線１０１Ｒ及び細破線１０２Ｒを検出することができる。

相対関係決定部２３は、車線区分線候補抽出部２１により抽出し、車線区分線判定部２２により種類が判定された各車線区分線候補が、多重区分線を構成するために位置的にどのような相対関係で並んでいるかを決定する。このとき、相対関係決定部２３は、抽出した各車線区分線候補に対して、他の車線区分線候補に対する相対関係を決定する。すなわち、相対関係決定部２３は、車線区分線候補の本数だけ相対関係情報を作成する。

相対関係決定部２３は、相対関係の決定処理を、走行路における左右の多重区分線検出領域に対して別々に行う。本実施形態では、図４に示すように、車線境界としての判別対象の車線区分線候補が多重区分線検出領域において内側から何番目に位置するかを識別して、相対関係を決定する。相対関係決定部２３により決定する相対関係は、自車両が走行している走行路の内側から数えた順番だけに限定されず、走行路の外側から数えた順番又は車線境界として検知すべき車線区分線との左右に位置する車線区分線との相対関係であっても良い。

相対関係記憶部２５には、相対関係決定部２３及び車線境界判断部２４により確定された車線区分線候補に対する相対関係が記憶される。相対関係記憶部２５には、特に、多重区分線が設けられた区間に自車両が進入する前に車線境界として検出していた車線区分線と最も連続性の高い車線区分線候補を判別し、当該判別した車線区分線候補に対する多重区分線での位置的な相対関係が記憶される。この確定した相対関係は、走行路における左右の多重区分線検出領域ごとに、相対関係記憶部２５に記憶される。

車線境界判断部２４は、車線区分線判定部２２により種類が判定された車線区分線候補の組み合わせ及び相対関係決定部２３により決定された各車線区分線候補の相対関係と、相対関係記憶部２５に記憶された相対関係とに基づいて、車両が走行する車線境界を判断する。車線境界判断部２４は、車線区分線候補の組み合わせごとに相対関係決定部２３により決定した車線区分線候補の相対関係と、車線区分線判定部２２により抽出した左右の車線区分線候補の組合せから得られる平行性、車線幅、横位置と、を用いて左右の車線区分線候補の組み合わせごとに平行性、車線幅、横位置を評価し、車線区分線候補の組合せ毎に評価の集計を行う。具体的には、これら平行性、車線幅、横位置が最も好ましい車線区分線候補の組み合わせのカウンタ値をカウントアップし、逆に、平行性、車線幅、横位置が最も好ましいとは判断されなかった車線区分線候補の組み合わせのカウンタ値はカウントダウンする。そして、車線境界判断部２４は、集計結果を用いて複数の車線区分線候補の中から車線境界として最も相応しい車線区分候補の組合せを選択し、選択した車線区分線候補の組合せを構成する左右一対の車線区分線候補の相対関係を車線境界の相対関係として確定し、車線境界を更新する。

例えば車線区分線が１本の区間から多重区分線が設けられた区間に自車両が進入した当初では、車線区分線の相対関係が確定してなく、相対関係記憶部２５に確定した相対関係が記憶されていない。この場合、車線境界判断部２４は、車線区分線候補抽出部２１により抽出した左右の車線区分線候補の組み合わせを用いて当該車線区分線候補の平行性、当該車線区分線候補間の車線幅、当該車線区分線候補の横位置を評価する。この評価の結果、車線境界判断部２４は、車線区分線候補抽出部２１により抽出した車線区分線候補の組み合わせのうちで最適な車線区分線候補の組合せを、車線境界として認識する。このとき、車線境界判断部２４は、車線区分線候補の組合せのうちで評価が高い車線区分線候補の組合せを所定期間（１フレーム）ごとに集計して、車線区分線候補の相対関係を確定する。

具体的には、相対関係が確定していない場合、相対関係決定部２３により決定された車線区分線候補の相対関係を用いて、左右の車線区分線候補の組み合わせごとに、平行性、車線幅、横位置を判断する。そして、これら平行性、車線幅、横位置が最も好ましい車線区分線候補の組み合わせのカウンタ値をカウントアップする。逆に、平行性、車線幅、横位置が最も好ましいとは判断されなかった車線区分線候補の組み合わせのカウンタ値はカウントダウンする。このカウンタ値の更新は、撮像画像１００の１フレームごとに行う。そして、カウンタ値が所定値以上となった車線区分線候補の組み合わせを、自車両が走行している多重区分線区間における車線境界の位置として確定する。なお、カウンタ値は上限値と下限値が設定されているものとする。

このように車線境界判断部２４は、左右の車線区分線候補ごとに車線境界を確定させる。また、車線境界判断部２４は、車線区分線の相対関係を確定させて相対関係記憶部２５に記憶することができる。

車線境界及び相対関係が確定して相対関係記憶部２５に記憶されている場合は、車線境界判断部２４は、相対関係記憶部２５に記憶されている車線区分線候補の相対関係と、上記車線区分線候補の組合せ毎に行った評価の集計により得られる車線境界として最も相応しい車線区分候補の相対関係と、に相違がないかを監視する。そして、双方の相対関係に相違が発生し、確定している車線境界とは異なる車線境界の集計値が、確定している車線境界の集計値より多くなった場合、車線境界を更新する。また、車線境界判断部２４は、相対関係記憶部２５に記憶している相対関係を更新する。

例えば図３に示す走行路を走行している場合には、図５に示すように、左側の多重区分線検出領域１０３Ｌにおける車線区分線候補の本数、右側の多重区分線検出領域１０３Ｒにおける車線区分線候補の本数、左側の車線区分線候補の種類、右側の車線区分線候補の種類を検出する。ここで、図３に示す撮像画像１００の場合、右側の多重区分線検出領域１０３Ｒには、内側から車線区分線候補［１］：太破線と車線区分線候補［２］：細実線、左側の多重区分線検出領域１０３Ｌには、内側から車線区分線候補［１］：太破線と車線区分線候補［２］：細破線、が検出される。

これにより、相対関係決定部２３は、多重区分線検出領域１０３Ｒ，１０３Ｌごとに、どのような種類の車線区分線候補からなる多重区分線が検出されているかを判定して、多重区分線検出領域１０３Ｒ，１０３Ｌごとに車線区分線候補の相対関係を決定できる。

また、図６に示すように、多重区分線検出領域１０３Ｒの車線区分線候補の［１］太破線、［２］細実線と、多重区分線検出領域１０３Ｌの車線区分線候補の［１］太破線、［２］細破線との間での平行性、車線幅、横位置を評価して、最も評価が高い車線区分線候補の組合せをカウントアップする。すなわち、車線境界判断部２４は、車線区分線判定部２２により抽出した左右の車線区分線候補の組み合わせから、平行性、車線幅、横位置、相対関係により総合的に評価することで、走行路において最適な一対の車線区分線候補を選択してカウントアップする。

具体的には、平行性、車線幅、横位置の評価項目については、各評価項目ごとに基準値を設定しておく。そして、左右の車線区分線候補から算出された各評価項目の値（適／否）と評価項目別に設定された基準値との差分が無い場合を満点（適）、差分が許容範囲以上の場合は０（否）、差分が許容範囲内の場合は０〜１の値で設定される評価指数を算出する。

例えば、左右の多重区分線検出領域における車線区分線候補の平行性の場合、瞬間値のピッチ角が０［ｄｅｇ］のときを基準値としておき、左右の車線区分線候補の交点から算出した瞬間値のピッチ角と基準値とを比較して、左右の車線区分線候補の平行性の評価指数を算出する。車線幅の場合は、過去に認識した車線区分線候補同士の幅である車線幅を基準値として、左右の車線区分線候補の交点から算出した車線幅と基準値と比較して、０〜１の値で設定される評価指数を算出する。車線区分線候補の横位置の場合は、過去に認識した車線境界の中央点を基準値として、左右の車線区分線候補の中央点と基準値とを比較して、０〜１の値で設定される評価指数を算出する。相対関係の評価については、相対関係決定部２３により決定された相対関係と、車線境界判断部２４に記憶された相対関係とから、検知すべき相対関係にある車線区分線候補を選択するような重み付けを行う。

そして、車線境界判断部２４は、平行性、車線幅、横位置に対して所定の評価指数を乗算し、当該乗算して得た評価に対して複数の車線区分線候補の相対関係の評価を加えて、走行路における車線境界として最適な一対の車線区分線候補を、自車走行路における最適な車線境界であると総合的に判断する。

［運転操作支援装置による車線境界の判断処理］
つぎに、上述したように構成された運転操作支援装置による車線境界の判断処理について説明する。

運転操作支援装置は、図７に示すような処理を所定時間ごとに実行する。運転操作支援装置は、車両が起動している時において、前方カメラ１１の撮像画像１００の取得周期（フレーム）に同期して、図７におけるステップＳ１〜ステップＳ７の処理を繰り返す。

先ずステップＳ１において、車線認識装置１は、前方カメラ１１にて撮像された自車走行路の撮像画像１００を取得してステップＳ２に処理を進める。

ステップＳ２において、車線検出ＥＣＵ１２は、ステップＳ１にて取得した撮像画像１００を用いて、車線区分線候補抽出部２１により、撮像画像１００における左側の多重区分線検出領域１０３Ｌから車線区分線候補を抽出する。

次のステップＳ３において、車線検出ＥＣＵ１２は、ステップＳ１にて取得した撮像画像１００を用いて、車線区分線候補抽出部２１により、撮像画像１００における右側の多重区分線検出領域１０３Ｒから車線区分線候補を抽出する。

次のステップＳ４において、車線検出ＥＣＵ１２は、車線区分線判定部２２により、ステップＳ２にて抽出された左側の車線区分線候補とステップＳ３にて抽出された右側の車線区分線候補とから、多重区分線を構成する車線区分線候補の本数と、各車線区分線候補の種類を判別する。車線区分線候補の本数を求める処理は、多重区分線検出領域１０３Ｒ，１０３Ｌごとに行う。

次のステップＳ５において、相対関係決定部２３は、ステップＳ２，ステップＳ３にて車線区分線候補抽出部２１により抽出された車線区分線候補に対して、多重区分線における各車線区分線候補の相対関係を決定する。このとき、相対関係決定部２３は、各車線区分線候補について、走行路の内側から数えて何番目の車線区分線候補かを判定する。この処理は、多重区分線検出領域１０３Ｒ，１０３Ｌごとに行う。

次のステップＳ６において、車線境界判断部２４は、車両が走行する車線境界を判断する。このとき、車線境界判断部２４は、車線区分線判定部２２により種類が判定された車線区分線候補の組み合わせ及び相対関係決定部２３により決定された各車線区分線候補の相対関係と、相対関係記憶部２５に記憶された相対関係とに基づいて、車両が走行する車線境界を判断する。

ここで、ステップＳ５にて車線境界の相対関係である確定した車線区分線候補の相対関係が相対関係記憶部２５に記憶されている場合には、相対関係決定部２３が決定した相対関係を用いて上述した相対関係の集計を行い、相対関係記憶部２５に記憶されている相対関係と、集計結果を総合的に評価して、走行路において最適な一対の車線区分線候補を選択する。具体的には、相対関係記憶部２５に記憶された確定済みの相対関係（車線境界の相対関係）と、相対関係決定部２３により決定した相対関係を集計して得られた車線境界として最も相応しい車線区分候補の相対関係との相違を判断して、相違がない場合にはそのままの相対関係を維持し、相違がある場合には相対関係を更新する。

一方、車線区分線候補の相対関係が確定していなく相対関係記憶部２５に記憶されていない場合は、車線境界判断部２４は、車線区分線候補抽出部２１により抽出した左右の車線区分線候補の組み合わせから求められる車線区分線候補の平行性、車線幅、横位置及び相対関係決定部２３により決定した相対関係により、最適な一対の車線区分線候補を選択する。そして、車線境界判断部２４は、最適な一対の車線区分線候補を、車線境界として判断する。具体的には、上述したように図６に示すような左右の車線区分線候補の組み合わせごとに平行性、車線幅、横位置を評価してカウントアップし、適切な車線区分線候補の組合せを車線境界とする。

ここで、車線境界判断部２４は、車線区分線候補の平行性、当該車線区分線候補間の車線幅、当該車線区分線候補の横位置の評価値が所定値以下である場合に、車線境界が検知できないと判断する。これにより、車線区分線候補が車線境界として不適切である場合には強制的に車線境界が検知できないとする。

次のステップＳ７において、相対関係記憶部２５は、車両が多重線区間に進入する前に車線境界として検出していた車線区分線と最も連続性の高い車線区分線候補と他の車線区分線候補との相対関係を記憶する。

［第１実施形態の効果］
以上詳細に説明したように、本発明の第１実施形態として示す運転操作支援装置によれば、車線区分線判定部２２により種類が判定された車線区分線候補の組み合わせ及び相対関係決定部２３により決定された各車線区分線候補の相対関係と、相対関係記憶部２５に記憶された相対関係とに基づいて、車両が走行する車線境界を判断する。これにより、運転操作支援装置によれば、車両が多重線区間に進入する前に車線境界として検出していた車線区分線と最も連続性の高い車線区分線候補と他の車線区分線候補との相対関係を記憶することができ、道路上に不検知要素がある場合であっても、安定して車線境界を認識し続けることができる。

したがって、この運転操作支援装置によれば、多重区分線区間において、ピッチングやバウンスなどの車両挙動、白線以外のタールなどの誤検知要素、車線区分線のかすれなどの不検知要素が発生しても、安定して車線境界を認識し続けることができる。これにより、多重線区間の路面状況や、多重線を構成する車線区分線の状態に関わらず、走行路における走行位置をキープするように操舵支援ＥＣＵ２及びステアリング装置３を制御して、運転者に違和感を与えることがない運転操作の支援を行うことができる。

また、この運転操作支援装置によれば、多重区分線のテンプレートを記憶しておく必要がない。ここで、従来において用いられていた多重区分線の各テンプレートは、誤差を考慮して幅を持たせて規定されている。このため、実際に検出された多重区分線によっては複数のテンプレートに該当してしまうことがあり、正確に多重区分線を認識し車線境界を設定するには、検出された多重区分線と全てのテンプレートとを照合しなければならず、処理負荷が高かった。したがって、上述の運転操作支援装置は、このような問題を招来することを回避できる。

更に、この運転操作支援装置によれば、テンプレートとして保持している全ての多重区分線のパターンについて、車線区分線の本数、太さの情報を検出しようとすると、検出画面を大きくとらなければならないため、処理負荷が高く、誤検知（補修痕、タイヤ痕、路面の継ぎ目など）をしやすくなるが、このような問題も回避できる。

また、この運転操作支援装置によれば、車線区分線判定部２２により多重区分線を構成する車線区分線候補の種類に加えて多重区分線を構成している車線区分線の本数を識別し、相対関係決定部２３により、車線区分線判定部２２により判定された車線区分線候補の種類及び本数を用いて車線区分線候補同士の相対関係を決定すると共に、車線境界判断部２４により、車線区分線判定部２２により判定された車線区分線候補の種類及び本数を用いて車線区分線を判断して車線境界を判断する。これにより、運転操作支援装置によれば、多重区分線を構成している車線区分線の本数と線種を用いて相対関係を記憶することで、誤検知もしくは不検知により相対関係が崩れた場合においても、正しく車線境界を認識することができる。

更に、この運転操作支援装置によれば、車線区分線候補抽出部２１により、自車両の進行方向に対して走行路における左右に分離した領域における車線区分線候補を、それぞれ独立に抽出するので、走行路の左右で多重区分線の構成が異なる場合であっても左右別々に多重区分線の構成を識別し相対関係を記憶することができ、どのようなシーンにおいても正しく車線境界を認識することができる。

更にまた、この運転操作支援装置によれば、車線区分線候補の相対関係が確定していない場合、車線境界判断部２４が車線区分線候補抽出部２１により抽出した車線区分線候補の組み合わせから認識した車線境界が、相対関係決定部２３により相対関係が決定された車線区分線候補のうちどの車線区分線候補かを所定期間（１フレーム）ごとに集計して、車線区分線候補の相対関係を確定する。これにより、この運転操作支援装置によれば、多重区分線区間に進入した際に、車線区分線の誤検知、不検知による間違った相対関係を記憶することを防止することができる。

更にまた、この運転操作支援装置によれば、車線境界判断部２４が、車線区分線候補抽出部２１により抽出した走行路における左右に分離した領域における車線区分線候補の組み合わせを用いて、当該車線区分線候補の平行性、当該車線区分線候補間の車線幅、当該車線区分線候補の横位置、複数の車線区分線候補の相対関係を評価し、走行路における車線境界として最適な一対の車線区分線候補を選択する。これにより、この運転操作支援装置によれば、総合的に車線境界を評価することで、安定かつ正確に車線境界を認識することができる。

更にまた、この運転操作支援装置によれば、車線区分線判定部２２は、車線区分線候補の平行性、当該車線区分線候補間の車線幅、当該車線区分線候補の横位置に対して所定の評価指数を乗算し、当該乗算して得た評価に対して複数の車線区分線候補の相対関係の評価を加えて、走行路における車線境界として最適な一対の車線区分線候補を選択する。この運転操作支援装置によれば、大きな車両挙動が生じて平行性、車線幅、横位置の評価に誤差が生じてしまった場合でも、確実に検出すべき相対位置にある車線区分線候補を選択して車線境界を認識できる。

更にまた、この運転操作支援装置によれば、車線境界判断部２４が、車線区分線候補の平行性、当該車線区分線候補間の車線幅、当該車線区分線候補の横位置の評価値が所定値以下である場合に、車線境界が検知できないと判断する。これにより、運転操作支援装置によれば、車線区分線判定部２２により左右の多重区分線検出領域１０３Ｒ，１０３Ｌから検出した車線区分線候補の全てが、車線区分線の候補として正しくなかった場合、強制的に不検知にすることで誤検知を防ぐことができる。

［第２実施形態］
つぎに、第２実施形態に係る運転操作支援装置について説明する。なお、上述の第１実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。

第２実施形態として示す運転操作支援装置は、走行路に、多重区分線と誤認させるノイズやかすれがあっても、正確に車線境界を検出するものである。

ところで、実際の走行路には、車線区分線以外に、補修痕、タイヤ痕、路面の継ぎ目、深い轍などの誤抽出となり得る対象が存在することや、車線境界である車線区分線自体がかすれによって消えている場合がある。加えて、車線区分線以外の対象は、誤認識を防止するためにそもそも多重区分線検出領域１０３Ｒ，１０３Ｌに入れないという点と、処理負荷を考慮して多重区分線検出領域１０３Ｒ，１０３Ｌを小さくせざるを得ないという点から、基本的に多重区分線検出領域１０３Ｒ，１０３Ｌは車線区分線付近にのみ最小限に設定されている。このため、道路構造や車両挙動などの要因により多重区分線検出領域１０３Ｒ，１０３Ｌ内に多重区分線を構成する全ての車線区分線が入らない場合がある。

車線区分線候補抽出部２１では、車線区分線の外側と内側のエッジを組み合わせて車線区分線候補を認識し、車線区分線の幅を考慮した上で内側のエッジのみを抽出している。しかし、実際の車線区分線は路面によって幅がまちまちであったり、車両に踏まれて一部がかすれてしまっている場合がある。

このため、車線区分線の幅を、誤差を考慮して設定する必要性がある。すると、走行路上の誤検知対象を撮像した場合、それらを車線区分線候補として誤抽出してしまう可能性がある。このように本来であれば車線区分線ではない対象を車線区分線候補であると誤抽出をすると、多重区分線における相対関係が崩れてしまい、誤って車線境界を認識する場合がある。また、多重区分線を構成する車線区分線がかすれにより不抽出となったり、多重区分線検出領域１０３Ｒ，１０３Ｌ内に多重区分線を構成する全ての車線区分線が入らない場合についても同様に、相対関係が崩れてしまい誤って車線境界を認識してしまう可能性がある。

以下に説明する第２実施形態として示す運転操作支援装置は、上述した問題を回避して正確に車線境界を検出するものである。第２実施形態として示す運転操作支援装置は、図７に示すステップＳ１乃至ステップＳ４、及びステップＳ７の処理を行う。また、この運転操作支援装置男は、図７に示した相対関係の決定処理において、８に示す処理を実行し、図７に示した車線境界の判断処理において図９に示す処理を実行する。

「相対関係の決定処理」
相対関係の決定処理は、走行路における左右の多重区分線検出領域１０３Ｒ，１０３Ｌに対して別個に処理を行う。相対関係の決定処理は、図８に示すように、先ずステップＳ１１において、相対関係決定部２３により、撮像画像１００内における車線区分線候補の傾きを求める。そして、相対関係決定部２３は、過去に認識した車線区分線の撮像画像１００内における傾きに対して、車線区分線候補抽出部２１により抽出した車線区分線候補のうち、所定値以上に傾きが異なる車線区分線候補を、相対関係を決定する車線区分線候補から除外する。

次のステップＳ１２においては、相対関係決定部２３は、車線区分線候補抽出部２１にて算出した車線区分線候補の幅のばらつき程度を示す値（分散値）を求める。そして、相対関係決定部２３は、車線区分線候補抽出部２１にて算出した車線区分線候補の幅のばらつき程度を示す値（分散値）を用いて、当該ばらつき程度を示す値が所定値以上である車線区分線候補を、相対関係を決定する車線区分線候補から除外する。

次のステップＳ１３において、相対関係決定部２３は、相対関係が確定していて、相対関係記憶部２５に相対関係が記憶されている場合は、ステップＳ１４へ移行する。一方、相対位置が確定していなく相対関係記憶部２５に相対関係が記憶されていない場合には、ステップＳ２１へ移行する。

ステップＳ２１において、相対関係決定部２３は、車線区分線候補の相対関係が確定していないため、内側検知モードの処理として、当該相対関係決定部２３で決定する相対関係を内側からの順番で検知し、それら相対関係の情報を各車線区分線候補に付加して処理を終了する。

ステップＳ１４において、相対関係決定部２３は、現在の車線境界が、多重区分線における相対関係のうちで最も外側に位置しているか否かを判断する。現在の車線境界が多重区分線における最も外側の車線区分線候補である場合には、外側順検知モードへ遷移させるためにステップＳ１５に処理を進める。一方、車線境界が多重区分線における最も外側の車線区分線候補ではない場合は、内側順検知モードへ遷移させるためにステップＳ１６に処理を進める。

ステップＳ１５において、相対関係決定部２３は、外側検知モードの処理として、当該相対関係決定部２３で決定する相対関係を外側からの順番で検知し、それら相対関係の情報を各車線区分線候補に付加して、ステップＳ１７へ移行する。

このように、相対関係決定部２３は、車線区分線候補の相対関係が確定しており（ステップＳ１３）、車線境界判断部２４により判断された車線境界が多重区分線を構成する車線区分線のうち最も外側である場合には（ステップＳ１４）、車線区分線候補の相対関係を、車線区分線候補を外側から内側に向けた順序により決定する（ステップＳ１５）。

ステップＳ１６において、相対関係決定部２３は、内側検知モードの処理として、当該相対関係決定部２３で決定する相対関係を内側からの順番で検知し、それら相対関係の情報を各車線区分線候補に付加して、ステップＳ１７へ移行する。

ステップＳ１７において、相対関係決定部２３は、車線区分線候補抽出部２１により抽出した車線区分線候補の数が、現在に検出されている多重区分線を構成する車線区分線の本数より少ないか否かを判定する。車線区分線候補の数が多重区分線を構成する車線区分線の本数よりも少ない場合、ステップＳ１８へ移行し、そうではない場合は、ステップＳ１９へ移行する。

ステップＳ１８において、相対関係決定部２３は、不抽出となっている車線区分線を検知し、決定した相対関係を修正して、仮想的に相対関係を維持する。すなわち、相対関係決定部２３は、過去に抽出した車線区分線候補の相対関係に基づいて、車線区分線候補抽出部２１により抽出されなかった車線区分線候補を仮想的に検出し、車線区分線候補の相対関係を維持する。

例えば図１０（ａ）に示すような周囲状況２００において、車両から見て左側の車線区分線２０１Ｌ、２０２Ｋの内側にかすれ２０６が存在しているとする。この場合、かすれ２０６が存在しない領域２０５から車線区分線を検出して相対関係を決定した場合、図１０（ｂ）のように車線区分線２０１Ｌ、２０２Ｌに対して内側から［１］破線、［２］実線の順番に配列する車線区分線候補の相対関係を確定させることができる。これに対し、かすれ２０６が存在する領域２０４から車線区分線を検出して相対関係を決定した場合、図１０（ｃ）のように車線区分線２０１Ｌ、２０２Ｌに対して単一の［１］実線のみしか検出できない。これに対し、相対関係決定部２３は、一時的に車線区分線候補抽出部２１により抽出できなかった車線区分線２０１Ｌを、現在の車線区分線候補の相対関係に基づいて仮想的に検出できるものとする。これにより、図１０（ｄ）のように仮想的な車線区分線２０１Ｌ’を設定して、車線区分線候補の相対関係を維持できる。なお、外側順検出モードとなっている場合には、車線区分線候補の順番は逆となる。

ステップＳ１９において、相対関係決定部２３は、車線区分線候補抽出部２１により抽出した車線区分線候補の数が、現在に検出されている多重区分線を構成する車線区分線の本数より多いか否かを判定する。車線区分線候補の数が多重区分線を構成する車線区分線の本数よりも多い場合、ステップＳ２０へ移行し、そうではない場合は相対関係の決定処理を終了して、図９の車線境界の判断処理に移行する。

ステップＳ２０において、内側に誤抽出である対象を検知した場合に、決定している車線区分線候補の相対位置をずらして修正する。このとき、相対関係決定部２３は、過去に決定した車線区分線候補の相対関係に基づいて、過去に決定された車線区分線候補よりも所定値以上に亘り走行路における内側に車線区分線候補が存在する場合には、相対関係を決定する車線区分線候補から当該内側の車線区分線候補を除外して、他の車線区分線候補を用いて車線区分線候補の相対関係を修正する。

例えば図１１（ａ）に示すような周囲状況２００において、車両から見て左側の車線区分線２０１Ｌ、２０２Ｋの内側にタイヤ痕２０３が存在しているとする。この場合、タイヤ痕２０３が存在しない領域２０５から車線区分線を検出して相対関係を決定した場合、図１１（ｂ）のように車線区分線２０１Ｌ、２０２Ｌに対して内側から［１］破線、［２］実線の順番に配列する車線区分線候補の相対関係を確定させることができる。これに対し、タイヤ痕２０３が存在する領域２０４から車線区分線を検出して相対関係を決定した場合、図１１（ｃ）のように車線区分線２０１Ｌ、２０２Ｌに対して最も内側から［１］タイヤ痕２０３が検出されてしまう。これに対して、相対関係決定部２３は、タイヤ痕２０３を車線区分線候補から除外して、他の車線区分線候補を用いて車線区分線２０１Ｌ、２０２Ｌを［１］破線、［２］実線の順番で検出できる。なお、外側順検出モードとなっている場合には、車線区分線候補の順番は逆となる。

「車線境界の判断処理」
つぎに、第２実施形態として示す運転操作支援装置による車線境界の判断処理について図９を参照して説明する。

ステップＳ３１において、車線境界判断部２４は、走行路における左右の何れか一方又は両側において車線区分線候補の相対関係が確定しているか否かを判定する。車線境界判断部２４にて車線区分線候補の相対関係が確定している場合にはステップＳ３２へ移行し、相対関係が確定していない場合はステップＳ４２へ移行する。

ステップＳ４２において、車線境界判断部２４は、走行路における左右の車線区分線候補を検知できたか否かを判定し、検知できた場合にはステップＳ４３に処理を進め、検知できなかった場合には処理を終了する。

ステップＳ４３において、車線境界判断部２４は、走行路における左右の車線区分線候補の平行性、車線幅、横位置の評価に加えて、ステップＳ３７及びステップＳ４０にて車線区分線候補に対して行った重み付けを加味した総合判断を行い、最適な車線境界の一対を選択する。

ステップＳ３２において、車線境界判断部２４は、車線境界として検出すべき相対関係にある車線区分線候補が走行路における左右の両側で検知されているか否かを判定し、検知されている場合にはステップＳ３５へ移行し、検知されていない場合にはステップＳ３３へ移行する。

ステップＳ３３において、車線境界判断部２４は、車線境界として検出すべき相対関係にある車線区分線候補が左右の何れか片側で検知されているか否かを判定し、検知されている場合には、ステップＳ３４へ移行する。一方、車線区分線候補が片側のみでも検知されていない場合は、車線区分線候補の両側が不検知であり、車線境界が検出できないロスト扱いにして処理を終了する。

ステップＳ３４において、車線境界判断部２４は、ステップＳ３３にて判定された不検知となっている車線区分線候補を、当該車線区分線候補とは反対側の車線区分線と、走行路の車線幅と、自車両状態（車速、ヨーレート）とから推定する。そして、車線境界判断部２４は、撮像画像１００上の車線区分線候補の位置情報と当該車線区分線候補の相対関係情報を、車線境界として検出すべき相対関係にある車線区分線候補の情報として修正する。

このように、車線境界判断部２４は、過去に車線境界であることが判断されていた車線区分線候補が抽出されなかった場合に（ステップＳ３３）、走行路における左右の一方の車線区分線、走行路の車線幅及び自車両状態に基づいて、過去に車線境界であることが判断されていた車線区分線候補の位置を推定する。これにより、車線境界判断部２４は、車線境界の不検知状態を回避する。そして、処理を、ステップＳ３５に進める。

ステップＳ３５において、車線境界判断部２４は、左側の多重区分線検出領域から抽出した車線区分線候補のうち、車線境界として検出すべき相対関係に位置している車線区分線候補が、過去の車線境界に対して現在の車線境界として最適がどうかを示す確からしさを算出する。この車線境界としての確からしさを評価するために、車線境界判断部２４は、過去に認識した車線境界に相当する車線区分線候補の位置及び種類を用いて、過去に車線境界として検出された車線区分線候補の同一性があるか否かが評価される。

次のステップＳ３６において、車線境界判断部２４は、ステップＳ３５で算出した車線境界の確からしさが所定値以上であるか否かを判定し、所定値以上である場合にはステップＳ３７へ移行し、所定値に満たない場合にはステップＳ３８へ移行する。ここで所定値とは、車線境界の確からしさを求める演算内容に応じて、予め設定された値である。

ステップＳ３７において、車線境界判断部２４は、走行路の左側において車線境界として検知すべき相対関係に位置している車線区分線候補に対して、重み付けを行う。

ステップＳ３８において、車線境界判断部２４は、右側の多重区分線検出領域から抽出した車線区分線候補のうち、車線境界として検出すべき相対関係に位置している車線区分線候補が、過去の車線境界に対して現在の車線境界として最適がどうかを示す確からしさを算出する。この車線境界としての確からしさを評価するために、車線境界判断部２４は、過去に認識した車線境界に相当する車線区分線候補の位置及び種類を用いて、過去に車線境界として検出された車線区分線候補の同一性があるか否かが評価される。

次のステップＳ３９において、車線境界判断部２４は、ステップＳ３８で算出した車線境界の確からしさが所定値以上であるか否かを判定し、所定値以上である場合にはステップＳ４０へ移行し、所定値に満たない場合にはステップＳ４１へ移行する。ここで所定値とは、車線境界の確からしさを求める演算内容に応じて、予め設定された値である。

ステップＳ４０において、車線境界判断部２４は、走行路の右側において車線境界として検知すべき相対関係に位置している車線区分線候補に対して、重み付けを行う。

ステップＳ４１において、車線境界判断部２４は、走行路における左右の車線区分線候補の平行性、車線幅、横位置の評価に加えて、ステップＳ３７及びステップＳ４０にて車線区分線候補に対して行った重み付けを加味した総合判断を行い、最適な車線境界の一対を選択する。このとき、車線境界判断部２４は、走行路における左右の車線区分線候補を用いた評価において、車線区分線候補の平行性、車線幅、横位置の何れか一つでも、その評価値が「０」であった場合には、車線境界が検知できないと判断する。

［第２実施形態の効果］
以上詳細に説明したように、本発明を適用した第２実施形態に係る運転操作支援装置によれば、相対関係の決定処理において、車線区分線候補抽出部２１により、車線区分線候補の幅及び当該幅のばらつき程度を算出し、当該幅のばらつき程度に応じて車線区分線候補を抽出する。これにより、運転操作支援装置によれば、車線区分線候補の位置のみならず、白線幅と幅のばらつき程度を用いて、車線区分線以外の白線等を車線区分線候補から除去でき、車線境界の誤認識を回避することができる。

また、この運転操作支援装置によれば、相対関係の決定処理において、過去に認識した車線区分線の傾きに対して、車線区分線判定部２２により種類が判定された車線区分線候補のうちで所定値以上に傾きが異なる車線区分線候補を、相対関係を決定する車線区分線候補から除外する。これにより、運転操作支援装置によれば、走行路の補修痕、タイヤ痕、路面の継ぎ目など誤検知要素が撮像画像１００内に含まれる場合であっても、当該誤検知要素を、白線ではない車線区分線候補として検出することを回避できる。

更に、この運転操作支援装置によれば、相対関係の決定処理において、車線区分線候補抽出部２１で算出した車線区分線候補幅のばらつき程度を示す値が所定値より大きい車線区分線候補を、相対関係を決定する車線区分線候補から除外する。これにより、運転操作支援装置によれば、幅が一定ではない車線区分線を効果的に車線区分線候補から除去することができる。

更にまた、この運転操作支援装置によれば、相対関係の決定処理において、過去に抽出した車線区分線候補の相対関係に基づいて、車線区分線候補抽出部２１により抽出されなかった車線区分線候補を仮想的に検出し、車線区分線候補の相対関係を維持する。これにより、運転操作支援装置によれば、車線区分線のかすれ等によって車線区分線が消えてしまっている場合でも、過去に抽出した車線区分線候補を用いて相対関係を維持でき、正確に車線境界の認識を継続できる。

更にまた、この運転操作支援装置によれば、相対関係の決定処理において、過去に決定した車線区分線候補の相対関係に基づいて、過去に決定された車線区分線候補よりも所定値以上に亘り走行路における内側に車線区分線候補が存在する場合には、相対関係を決定する車線区分線候補から当該内側の車線区分線候補を除外して、他の車線区分線候補を用いて車線区分線候補の相対関係を修正する。これにより、運転操作支援装置によれば、車線区分線とよく似たエッジが撮像画像１００に存在し、且つ当該エッジが車線区分線と平行になっているような紛らわしい補修痕、タイヤ痕を車線区分線候補として検知してしまっても、誤った相対関係を用いずに、正確な車線境界を認識することができる。

更にまた、この運転操作支援装置によれば、相対関係の決定処理において、車線区分線候補の相対関係が確定しており、車線境界判断部２４により判断された車線境界が多重区分線を構成する車線区分線のうち最も外側である場合には、車線区分線候補の相対関係を、車線区分線候補を外側から内側に向けた順序により決定する。これにより、運転操作支援装置によれば、車線区分線候補抽出部２１により車線区分線以外の対象を誤って抽出してしまった場合や、内側の車線区分線候補が抽出されない場合に、車線境界の誤認識を防止することができる。

更にまた、この運転操作支援装置によれば、車線区分線候補抽出部２１によって、過去に車線境界判断部２４により車線境界であることが判断されていた車線区分線候補が抽出されなかった場合に、走行路における左右の一方の車線区分線、走行路の車線幅及び自車両状態に基づいて、過去に車線境界判断部２４により車線境界であることが判断されていた車線区分線候補の位置を推定する。これにより、運転操作支援装置によれば、かすれ等により検出すべき車線区分線そのものが消えてしまっている場合でも、反対側の車線区分線により車線区分線を推定でき、車線境界の不検知状態（ロスト）を回避できる。

更にまた、この運転操作支援装置によれば、車線境界の判断処理において、走行路における左右に分離した各領域から抽出した車線区分線候補のうち、車線境界として検出すべき相対関係に位置している車線区分線候補が、過去の車線境界に対して現在の車線境界として最適かを示す確からしさを算出して、当該車線境界に位置する車線区分線候補に対して重み付けをする。これにより、運転操作支援装置によれば、車線区分線候補の誤認識や不認識により相対関係が崩れてしまった場合においても、誤って車線区分線候補に対する重み付けを行わずに、誤認識を防ぐことができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

１ 車線認識装置
２ 操舵支援ＥＣＵ
３ ステアリング装置
１１ 前方カメラ
１２ 車線検出ＥＣＵ
２１ 車線区分線候補抽出部
２２ 車線区分線判定部
２３ 相対関係決定部
２４ 車線境界判断部
２５ 相対関係記憶部

Claims (15)

1. 車両が走行する走行路を撮像した撮像画像に基づいて、前記走行路上に設けられた複数の標示線からなる多重区分線を認識して、走行路のうち車両が走行する車線を示す車線区分線を抽出する車線認識装置であって、
   前記撮像画像の左右の分離した所定領域に多重区分線検出領域を設定し、該多重区分線検出領域内の標示線を検出し、当該標示線のうち車線区分線の候補となる車線区分線候補を抽出する車線区分線候補抽出手段と、
   前記車線区分線候補抽出手段により抽出した車線区分線候補に基づいて、前記多重区分線を構成する各車線区分線候補の種類を判定する車線区分線判定手段と、
   前記車線区分線候補抽出手段により抽出し、前記車線区分線判定手段により種類が判定された各車線区分線候補の他の車線区分線候補に対する相対的な位置関係である相対関係を決定する相対関係決定手段と、
   前記車線区分線判定手段により種類が判定された車線区分線候補の組み合わせ及び前記相対関係決定手段により決定された各車線区分線候補の相対関係と、に基づいて車両が多重線区間に進入する前に車線境界として検出していた車線区分線と最も連続性の高い車線区分線候補を選択し、車両が走行する車線境界を判断する車線境界判断手段と、
   前記相対関係決定手段が決定した相対関係、及び、前記車線境界判断手段が判断した車線境界である車線区分線候補と他の車線区分線候補との前記相対関係を記憶する相対関係記憶手段と、
   を備え、
   前記相対関係決定手段は、過去に決定した車線区分線候補の相対関係に基づいて、過去に決定された車線区分線候補よりも所定値以上に亘り走行路における内側に車線区分線候補が存在する場合には、相対関係を決定する前記車線区分線候補から当該内側の車線区分線候補を除外して、他の車線区分線候補を用いて車線区分線候補の相対関係を修正することを特徴とする車線認識装置。
2. 車両が走行する走行路を撮像した撮像画像に基づいて、前記走行路上に設けられた複数の標示線からなる多重区分線を認識して、走行路のうち車両が走行する車線を示す車線区分線を抽出する車線認識装置であって、
   前記撮像画像の左右の分離した所定領域に多重区分線検出領域を設定し、該多重区分線検出領域内の標示線を検出し、当該標示線のうち車線区分線の候補となる車線区分線候補を抽出する車線区分線候補抽出手段と、
   前記車線区分線候補抽出手段により抽出した車線区分線候補に基づいて、前記多重区分線を構成する各車線区分線候補の種類を判定する車線区分線判定手段と、
   前記車線区分線候補抽出手段により抽出し、前記車線区分線判定手段により種類が判定された各車線区分線候補の他の車線区分線候補に対する相対的な位置関係である相対関係を決定する相対関係決定手段と、
   前記車線区分線判定手段により種類が判定された車線区分線候補の組み合わせ及び前記相対関係決定手段により決定された各車線区分線候補の相対関係と、に基づいて車両が多重線区間に進入する前に車線境界として検出していた車線区分線と最も連続性の高い車線区分線候補を選択し、車両が走行する車線境界を判断する車線境界判断手段と、
   前記相対関係決定手段が決定した相対関係、及び、前記車線境界判断手段が判断した車線境界である車線区分線候補と他の車線区分線候補との前記相対関係を記憶する相対関係記憶手段と、
   を備え、
   前記相対関係決定手段は、前記車線区分線候補の相対関係が確定しており、前記車線境界判断手段により判断された車線境界が多重区分線を構成する車線区分線のうち最も外側である場合には、車線区分線候補の相対関係を、前記車線区分線候補を外側から内側に向けた順序により決定することを特徴とする車線認識装置。
3. 車両が走行する走行路を撮像した撮像画像に基づいて、前記走行路上に設けられた複数の標示線からなる多重区分線を認識して、走行路のうち車両が走行する車線を示す車線区分線を抽出する車線認識装置であって、
   前記撮像画像の左右の分離した所定領域に多重区分線検出領域を設定し、該多重区分線検出領域内の標示線を検出し、当該標示線のうち車線区分線の候補となる車線区分線候補を抽出する車線区分線候補抽出手段と、
   前記車線区分線候補抽出手段により抽出した車線区分線候補に基づいて、前記多重区分線を構成する各車線区分線候補の種類を判定する車線区分線判定手段と、
   前記車線区分線候補抽出手段により抽出し、前記車線区分線判定手段により種類が判定された各車線区分線候補の他の車線区分線候補に対する相対的な位置関係である相対関係を決定する相対関係決定手段と、
   前記車線区分線判定手段により種類が判定された車線区分線候補の組み合わせ及び前記相対関係決定手段により決定された各車線区分線候補の相対関係と、に基づいて車両が多重線区間に進入する前に車線境界として検出していた車線区分線と最も連続性の高い車線区分線候補を選択し、車両が走行する車線境界を判断する車線境界判断手段と、
   前記車線境界判断手段が選択した、車両が多重線区間に進入する前に車線境界として検出していた車線区分線と最も連続性の高い車線区分線候補と他の車線区分線候補との前記相対関係を記憶する相対関係記憶手段と、
   を備え、
   前記車線境界判断手段は、前記車線区分線候補抽出手段により抽出した走行路における左右に分離した前記多重区分線検出領域における車線区分線候補の組み合わせを用いて、当該車線区分線候補の平行性、当該車線区分線候補間の車線幅、当該車線区分線候補の横位置、複数の車線区分線候補の相対関係を評価し、走行路における車線境界として最適な一対の車線区分線候補を選択する
   ことを特徴とする車線認識装置。
4. 前記車線区分線候補抽出手段は、自車両の進行方向に対して走行路における左右に分離した前記多重区分線検出領域における車線区分線候補を、それぞれ独立に抽出することを特徴とする請求項３に記載の車線認識装置。
5. 前記車線区分線判定手段は、多重区分線を構成する車線区分線候補の種類に加えて多重区分線を構成している車線区分線の本数を識別し、
   前記相対関係決定手段は前記車線区分線判定手段により判定された車線区分線候補の種類及び本数を用いて車線区分線候補同士の相対関係を決定すること
   を特徴とする請求項３に記載の車線認識装置。
6. 前記車線境界判断手段は、前記車線区分線候補の相対関係が確定していない場合、前記車線区分線候補抽出手段により抽出した車線区分線候補の組み合わせから認識した車線境界が、前記相対関係決定手段により相対関係が決定された車線区分線候補のうちどの車線区分線候補かを所定期間ごとに集計して、前記車線区分線候補の相対関係を確定し、
   前記相対関係記憶手段は、確定した前記車線区分線候補の相対関係を記憶することを特徴とする請求項３に記載の車線認識装置。
7. 前記相対関係決定手段は、過去に認識した車線区分線の傾きに対して、前記車線区分線判定手段により種類が判定された車線区分線候補のうちで所定値以上に傾きが異なる車線区分線候補を、相対関係を決定する車線区分線候補から除外することを特徴とする請求項３に記載の車線認識装置。
8. 前記車線区分線候補抽出手段は、前記車線区分線候補の幅及び当該幅のばらつき程度を算出し、当該幅のばらつき程度に応じて車線区分線候補を抽出することを特徴とする請求項３に記載の車線認識装置。
9. 前記相対関係決定手段は、前記車線区分線候補抽出手段で算出した車線区分線候補幅のばらつき程度を示す値が所定値より大きい車線区分線候補を、相対関係を決定する前記車線区分線候補から除外することを特徴とする請求項３に記載の車線認識装置。
10. 前記相対関係決定手段は、過去に抽出した車線区分線候補の相対関係に基づいて、前記車線区分線候補抽出手段により抽出されなかった車線区分線候補を仮想的に検出し、車線区分線候補の相対関係を維持することを特徴とする請求項３に記載の車線認識装置。
11. 前記車線境界判断手段は、過去に前記車線境界判断手段により車線境界であることが判断されていた車線区分線候補が抽出されなかった場合に、走行路における左右の一方の車線区分線、走行路の車線幅及び自車両状態に基づいて、過去に前記車線境界判断手段により車線境界であることが判断されていた車線区分線候補の位置を推定することを特徴とする請求項３に記載の車線認識装置。
12. 前記車線境界判断手段は、車線区分線候補の平行性、当該車線区分線候補間の車線幅、当該車線区分線候補の横位置に対して所定の評価指数を乗算し、当該乗算して得た評価に対して複数の車線区分線候補の相対関係の評価を加えて、走行路における車線境界として最適な一対の車線区分線候補を選択することを特徴とする請求項３に記載の車線認識装置。
13. 前記車線境界判断手段は、走行路における左右に分離した各領域から抽出した車線区分線候補のうち、車線境界として検出すべき相対関係に位置している車線区分線候補が、過去の車線境界に対して現在の車線境界として最適かを示す確からしさを算出して、当該車線境界に位置する車線区分線候補に対して重み付けをすることを特徴とする請求項３に記載の車線認識装置。
14. 前記車線境界判断手段は、前記車線区分線候補の平行性、当該車線区分線候補間の車線幅、当該車線区分線候補の横位置の評価値が所定値以下である場合に、車線境界が検知できないと判断することを特徴とする請求項３に記載の車線認識装置。
15. 車両が走行する走行路を撮像した撮像画像に基づいて、前記走行路上に設けられた複数の標示線からなる多重区分線を認識して、走行路のうち車両が走行する車線を示す車線区分線を抽出する、前記撮像画像を用いて車線区分線候補を抽出する車線区分線候補抽出手段と、前記各車線区分線候補の種類を判定する車線区分線判定手段と、前記各車線区分線候補の他の車線区分線候補に対する相対的な位置関係である相対関係を決定する相対関係決定手段と、前記相対関係を記憶する相対関係記憶手段と、複数の車線区分線候補の中から走行路における車線境界として最適な一対の車線区分線候補を選択する車線境界判断手段と、を備えた車両における車線認識方法であって、
    前記車線区分線候補抽出手段が、前記撮像画像の左右の分離した所定領域に多重区分線検出領域を設定し、該多重区分線検出領域内の標示線を検出し、当該標示線のうち車線区分線の候補となる車線区分線候補を抽出する処理と、
    前記車線区分線判定手段が、前記車線区分線候補に基づいて、前記多重区分線を構成する各車線区分線候補の種類を判定する処理と、
    前記相対関係決定手段が、前記種類が判定された各車線区分線候補の他の車線区分線候補に対する相対的な位置関係である相対関係を決定する処理と、
    前記車線境界判断手段が、車線境界を判断する場合に、前記車線区分線候補抽出手段により抽出した走行路における左右に分離した前記多重区分線検出領域における車線区分線候補の組み合わせを用いて、当該車線区分線候補の平行性、当該車線区分線候補間の車線幅、当該車線区分線候補の横位置、複数の車線区分線候補の相対関係を評価し、走行路における車線境界として最適な一対の車線区分線候補を選択する処理と、
    前記相対関係記憶手段が、前記車線境界判断手段が判断した、車両が多重線区間に進入する前に車線境界として検出していた車線区分線と最も連続性の高い車線区分線候補と他の車線区分線候補との前記相対関係を記憶する処理と、
    を行うことを特徴とする車線認識方法。
    

Images