JP4733545B2 - 車線認識装置 - Google Patents

Description

本発明は、車線認識装置に係り、特に、撮像された画像において自車両の左右に車線位置を検出可能な車線認識装置に関する。

近年、自動車等の走行安全性の向上や車両の自動制御等に向けて、車載のステレオカメラやビデオカメラ等で撮像した画像に画像処理を施して安全性向上や自動制御等の前提となる走行レーンの形状の認識を行う道路認識装置の開発が進められている。走行レーンの形状を的確に認識し、特に車両のキープレーン制御等を精度よく行うためには、走行レーンを含む自車両前方を撮像した画像中から自車両の左右に標示されている車線の位置を確実に検出することが必要となる（例えば、特許文献１等参照）。

車線位置の検出では、通常、撮像画像の下側すなわち自車両に近い側で画像を水平方向に探索して画素の輝度値が大きく変わるエッジ部分を検出することで車線位置を検出し、それを基準にエッジ部分を画像上側に追跡していくことで自車両から遠方の車線位置が検出される（特許文献２参照）。また、車線位置を精度良く正確に検出するために、位置補正等がなされた過去の画像と現在の画像とを合成して破線状に標示された車線の標示部分を見かけ上延長させて車線認識を行わせる車線認識装置が提案されている（特許文献３参照）。

なお、本発明では、追い越し禁止線等の道路中央線や車両通行帯境界線、路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線を車線という。また、左右の車線に挟まれた車両の走行帯を走行レーンという。
特開２００１−９２９７０号公報 特開平７−２８９７５号公報 特開２００５−３３２１０５号公報

しかしながら、例えば、図１７に示すように先行車両との距離が接近していて撮像画像中に先行車両が大きく撮像されているような場合、図中左側の車線は図に示すように撮像されている場合もあれば画像中から見えなくなってしまうこともある。このような場合、従来の車線認識装置では左側の車線位置は検出されなくなるか、或いは特許文献３のように過去の画像と合成して車線位置を検出したとしても不確実さが残る。

また、図１７のような場合には、車線位置を上方に追跡しても車線が先行車両で隠れてしまっているので、自車両から遠方の車線位置を検出することができず、走行レーンの形状を特定することができない。

さらに、車線位置の検出では、処理速度の向上や誤検出の低減等を目的として、前回の検出タイミングで検出された撮像画像上の車線位置に基づいて今回の車線位置検出の探索範囲を設定する場合がある。しかし、このように車線位置が不安定にしか検出できないと今回の検出で探索範囲を必ずしも適切な範囲に設定できない場合がある。

本発明は、このような事情に鑑みてなされたものであり、車線が撮像画像上に撮像されていなくても車線位置を的確に推定し安定して車線認識を行うことが可能な車線認識装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、
車線認識装置において、
自車両前方の道路を含む風景を撮像して画素ごとに輝度値を有する一対の画像を出力する撮像手段と、
前記撮像された一対の画像に基づいて少なくとも一方の画像の各画素について実空間における距離を算出する画像処理手段と、
前記輝度値および前記距離の情報に基づいて前記一方の画像から車線候補点を検出して前記車線候補点に基づいて車線位置を検出する検出手段とを備え、
前記検出手段は、前記距離の情報に基づいて前記車線候補点を実空間上の座標に変換し、自車両の挙動により前記画像中に見出されなくなった過去の車線候補点の実空間上の座標を前記自車両の挙動に基づいて更新して記録し、少なくとも前記過去の車線候補点の前記座標に基づいて車線位置を検出することを特徴とする。

第２の発明は、第１の発明の車線認識装置において、前記検出手段は、少なくとも前記過去の車線候補点に対して曲線近似することを特徴とする。

第３の発明は、第２の発明の車線認識装置において、前記検出手段は、道路面上にペイントされた標示部分と標示部分の間に挟まれたペイントされていない非標示部分とからなる破線状の車線の異なる２つの標示部分にそれぞれ属する車線候補点を用いて曲線近似することを特徴とする。

第４の発明は、第３の発明の車線認識装置において、前記検出手段は、前記画像から検出される現在の車線候補点と前記過去の車線候補点とに対して曲線近似することを特徴とする。

第５の発明は、第４の発明の車線認識装置において、前記検出手段は、前記過去の車線候補点のうち、道路面上にペイントされた標示部分と標示部分の間に挟まれたペイントされていない非標示部分とからなる破線状の車線における非標示部分の長さを少なくとも超える距離に相当する分だけ過去の車線候補点を更新し記録することを特徴とする。

第６の発明は、第２の発明の車線認識装置において、前記画像から車線候補点が検出されない場合、前記過去の車線候補点に対して曲線近似を行い、該近似された曲線に基づいて車線候補点が検出されない領域の車線位置を検出することを特徴とする。

第７の発明は、第６の発明の車線認識装置において、前記検出手段は、前記過去の車線候補点のうち、少なくとも、道路面上にペイントされた標示部分とペイントされていない非標示部分とからなる破線状の車線における１つの標示部分と２つの非標示部分を足した長さを少なくとも超える距離に相当する分だけ過去の車線候補点を更新し記録することを特徴とする。

第８の発明は、第２の発明の車線認識装置において、前記検出手段は、自車両から後方の車線候補点と自車両から前方の車線候補点とに対して曲線近似することを特徴とする。

第９の発明は、第２の発明の車線認識装置において、前記検出手段は、前記近似された曲線が、道路面上にペイントされた標示部分とペイントされていない非標示部分とからなる破線状の車線における非標示部分の長さを超えた範囲で近似されていない場合は前記曲線近似を無効とすることを特徴とする。

第１０の発明は、第２の発明の車線認識装置において、前記検出手段は、前記近似された曲線に基づいて現在走行中の走行レーンの曲率を計算することを特徴とする。

第１１の発明は、第２の発明の車線認識装置において、前記検出手段は、前記近似された曲線に基づいて３個の代表点を選択し、最も後方の第１代表点とその前方の第２代表点とを結ぶ直線および第２代表点とその前方の第３代表点とを結ぶ直線の実空間上における傾きをそれぞれ求めて変化分を算出し、第２代表点と第３代表点とを結ぶ直線の傾きからさらに算出した変化分だけ変化した傾きを有する直線を第３代表点から前方の車線位置として推定することを特徴とする。

第１２の発明は、第１の発明の車線認識装置において、前記検出手段は、前記画像中に検出される現在の車線候補点の位置と前記過去の車線候補点の位置とが実空間上で設定された所定量以上乖離している場合には、記録済みの前記過去の車線候補点を消去することを特徴とする。

第１３の発明は、第１の発明の車線認装置において、前記検出手段は、自車両が右折または左折している場合には、前記過去の車線候補点を消去することを特徴とする。

第１４の発明は、第１の発明の車線認装置において、前記検出手段は、自車両が左右の車線のうちの一方の車線を跨ぐ場合には、前記一方の車線に対応する過去の車線候補点を他方の車線に対応する過去の車線候補点として更新して記録することを特徴とする。

第１の発明によれば、車線候補点を自車両の挙動により撮像画像中に見出されなくなった後も追跡し、その実空間上の座標を自車両の車速やヨーレート等で表される挙動に基づいて更新して記録していく。そして、少なくともこのようにして更新された過去の車線候補点の座標に基づいて左右の車線位置を検出する。

そのため、図１７に示したように先行車両と自車両との距離が接近していて、先行車両の左側や右側に破線状の車線が検出されたり検出されなかったりするような状態においても、過去の車線候補点の実空間上の座標を前記自車両の挙動に基づいて更新して記録しているから、その過去の車線候補点に基づいて撮像画像上に左右の車線位置を的確に推定して位置を特定することが可能となる。

また、左右の車線位置を的確に推定することが可能であるため、前回の検出タイミングで的確に推定された車線位置に基づいて今回の車線位置検出の探索範囲を適切に設定することが可能となる。また、このようにして確定された左右の車線位置に基づいてより遠方の左右の車線位置を的確にかつ精度良く推定することが可能となる。

このように、第１の発明によれば、自車両の左右に車線位置を正確に検出し或いは的確に推定することが可能となり、安全性向上や自動制御等の前提となる走行レーンの形状の認識を正確にかつ安定して行うことが可能となる。

第２の発明によれば、前記発明の効果に加え、過去や現在の車線候補点のばらつきに依存することなく本来のスムーズな直線や曲線状の車線に近い状態で左右の車線位置を特定することが可能となり、より正確に車線位置を検出することが可能となる。

第３の発明によれば、車線が破線状に標示されている場合、過去の車線候補点に基づいて曲線近似を行うとしても破線状に標示された車線の１つの標示部分に属する車線候補点だけに基づいて曲線近似を行ったのでは、近似された曲線の信頼性は必ずしも高くない。そのため、２つの標示部分にそれぞれ属する車線候補点を用いて曲線近似することで精度の高い車線位置の検出が可能となる。

第４の発明によれば、過去の車線候補点を加えて曲線近似することで、たとえ現在の車線候補点の数が少なくても、現在の車線候補点が実際の車線位置に近づけられた曲線を算出することができ、より正確に車線位置を検出することが可能となる。また、現在の車線候補点によって過去の車線候補点も実際の車線位置に近づけられるため、過去の車線位置についても精度良く検出することができる。

第５の発明によれば、第４の発明において、車線候補点の更新及び記憶が効率良く行え、システムの負荷を低減することが可能になる。

第６の発明によれば、車線が検出されたり検出されなかったりするような状態においても、過去の車線候補点に基づいて車線位置を的確に推定することができる。

第７の発明によれば、前記第６の発明において、車線候補点の更新及び記憶が効率良く行え、システムの負荷を低減することが可能になる。

第８の発明によれば、自車両後方の過去の車線候補点と車両前方の車線候補点とに対して曲線近似するため、車両側近の車線位置を精度良く検出することができる。

第９の発明によれば、１つの標示部分に属する車線候補点だけに基づいて曲線近似が行われた場合、近似された曲線を無効とするため、装置の信頼性を向上させることができる。

第１０の発明によれば、近似された曲線に基づいて現在走行中の走行レーンの曲率を計算することが可能となり、レーンキープ等の制御をより正確に行うことが可能となる。そのため、前記各発明の効果をより的確に発揮させることが可能となる。

第１１の発明によれば、曲線近似を行った車線候補点の範囲外において、近似された曲線上に３つの代表点を取り、第１代表点と第２代表点とを結ぶ直線と、第２代表点と第３代表点とを結ぶ直線との傾きの変化分だけ変化させて車線位置を推定することで、確実に検出されている車線位置すなわち曲線に基づいて遠方の車線位置を推定することが可能となり、遠方の車線位置が精度高く推定される。そのため、前記各発明の効果がより効果的に発揮される。

第１２の発明によれば、撮像画像中に検出される現在の車線候補点の位置と過去の車線候補点の位置とが乖離している場合に、両者に基づいて無理に曲線近似を行うと近似された曲線は必ずしも車線位置を正確に検出したものとはいえなくなる。そのため、前記各発明の効果に加え、そのような場合には、過去の車線候補点を消去して、撮像画像上に検出された車線候補点のみに基づいて車線位置を検出した方が車線位置検出の精度を向上させることが可能となる。

第１３の発明によれば、自車両が右折または左折している場合に、無理に過去の車線候補点を加味して曲線近似を行うと、近似された曲線は必ずしも車線位置を正確に検出したものとはいえなくなる。そのため、そのような場合には、過去の車線候補点を消去して、撮像画像上に検出された車線候補点のみに基づいて車線位置を検出した方が車線位置検出の精度を向上させることが可能となる。

第１４の発明によれば、車線変更の場合は、自車両が跨ぐ車線とは反対側の車線に対応する過去の車線候補点を消去することで、前記各発明と同様に、曲線近似が過去の車線候補点によって歪められることを防止することが可能となる。また、例えば、自車両が右車線を跨いで車線変更を行う場合には、それまで右車線に対応させていた過去の車線候補点を車線を跨いだ時点から左車線に対応する過去の車線候補点として更新し直して記録することで、右車線に対応していた過去の車線候補点を有効に活用して車線変更後の左車線の車線位置をより正確に検出し推定することが可能となる。

以下、本発明に係る車線認識装置の実施の形態について、図面を参照して説明する。

本実施形態に係る車線認識装置１は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたマイクロコンピュータで構成されている。また、車線認識装置１は、図１に示すように、主に撮像手段２と、画像処理手段６と、検出手段９とで構成されている。

撮像手段２は、ステレオカメラが用いられており、自車両前方の道路を含む風景を撮像して一対の画像を出力するように構成されている。本実施形態では、メインカメラ２ａおよびサブカメラ２ｂにはＣＣＤカメラが用いられている。メインカメラ２ａとサブカメラ２ｂは、例えばルームミラーに車幅方向に所定の間隔をあけて取り付けられている。運転者に近い方のカメラが図２に示すような基準画像Ｔを撮像するメインカメラ２ａ、遠い方のカメラが図示しない比較画像を撮像するサブカメラ２ｂとされている。

メインカメラ２ａとサブカメラ２ｂから出力されてきた一対のアナログ画像は、変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでそれぞれ画素ごとに２５６階調のグレースケールの輝度階調の輝度値を有するデジタル画像に変換されて画像補正部４に出力される。画像補正部４では、基準画像Ｔと比較画像に対してメインカメラ２ａとサブカメラ２ｂの取付位置の誤差に起因するずれやノイズの除去等を含む輝度値の補正等の画像補正が行われるようになっている。基準画像Ｔと比較画像は、画像データメモリ５に格納され、同時に画像処理手段６に送信されるようになっている。

画像処理手段６のイメージプロセッサ７では、ステレオマッチング処理とフィルタリング処理により画像補正部４から出力された基準画像Ｔおよび比較画像のデジタルデータに基づいて基準画像Ｔの各画素または複数画素から構成するブロックからなる各設定領域について実空間における距離を算出するための視差ｄｐを算出するようになっている。この視差ｄｐの算出については、本願出願人により先に提出された特開平５−１１４０９９号公報に詳述されている。以下、その要点を簡単に述べる。

イメージプロセッサ７は、基準画像Ｔについて４×４画素の画素ブロックごとにその１６画素の輝度特性に基づいて１つの視差ｄｐを算出するようになっている。具体的には、比較画像を水平方向に延在する４画素幅の水平ラインに分割し、基準画像Ｔの１つの画素ブロックを取り出してそれに対応する比較画像の水平ライン上を１画素ずつ水平方向、すなわちｉ方向にシフトさせながら下記（１）式で求められるシティブロック距離ＣＢが最小となる水平ライン上の画素ブロック、すなわち基準画像Ｔの画素ブロックと似た輝度値特性を有する比較画像上の画素ブロックを探索するようになっている。
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜ …（１）

なお、ｐ１ijは基準画像Ｔ上の、ｐ２ijは比較画像上の座標（ｉ，ｊ）の画素の輝度値を表す。座標は、基準画像Ｔの画像平面の左下隅を原点とし、水平方向をｉ座標軸、垂直方向をｊ座標軸とした場合の画素ブロックの左下隅の画素のｉ座標およびｊ座標を表す。また、比較画像については基準画像Ｔの原点に予め対応付けられた画素を原点として同様にｉ座標、ｊ座標を取る。

イメージプロセッサ７は、このようにして特定した比較画像上の画素ブロックともとの基準画像Ｔ上の画素ブロックとのずれ量を算出し、そのずれ量を視差ｄｐとして基準画像Ｔ上の画素ブロックに割り付けるようになっている。

この視差ｄｐは、前記メインカメラ２ａおよびサブカメラ２ｂの一定距離の離間に由来する基準画像Ｔおよび比較画像における同一物体の写像位置に関する水平方向の相対的なずれ量であり、メインカメラ２ａおよびサブカメラ２ｂの中央位置から物体までの距離Ｌと視差ｄｐとを三角測量の原理に基づいて下記（２）式に従って一義的に対応付けることができる。
Ｌ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（２）

ここで、ＣＤはメインカメラ２ａとサブカメラ２ｂとの間隔、ＰＷは１画素当たりの視野角、ＤＰは消失点視差を表す。

イメージプロセッサ７で算出された基準画像Ｔの各画素ブロックの視差ｄｐに基づく距離Ｌは画像処理手段６の距離データメモリ８に格納されるようになっている。なお、以下の検出手段９における処理では、もともと１つの画素ブロックであった１６個の画素が独立のものとして扱われ、各画素はそれぞれ距離Ｌの情報を有するものとして処理されるようになっている。また、距離データメモリ７に保存されている各画素（ｉ，ｊ）に距離Ｌijが割り付けられた画像を距離画像という。

検出手段９は、車線候補点検出部９１と、曲線近似処理部９２と、車線位置検出部９３と、過去候補点更新部９４とを備えている。なお、前記撮像手段２から画像データメモリ５や画像処理手段６まで、および検出手段９の車線候補点検出部９１は、本出願人の出願に係る特開２００１−９２９７０号公報に記載の車線認識装置をベースに構成されており、詳細な構成の説明は同公報に委ねる。

また、検出手段９には、図示しないＩ／Ｏインターフェースを介して車速センサやヨーレートセンサ、操舵角センサ、操舵トルクセンサ、ターンシグナルスイッチ等のセンサ類Ａが接続されており、センサ類Ａから車速Ｖやヨーレートγ、ステアリングホイールの操舵角δ、ステアリングホイールに加えられる操舵トルクＴ_Ｈ、ターンシグナル信号ＴＳ等が入力されるようになっている。なお、ヨーレートセンサを用いる代わりに、例えば、特開２００４−２４９８１２号公報に記載の車両運動モデル生成装置等のヨーレート推定装置を接続することも可能であり、その場合、検出手段９にはヨーレートγの推定値が入力される。

車線候補点検出部９１は、画像データメモリ５から基準画像Ｔの各画素の輝度値ｐ１ijの情報を読み出し、また、距離データメモリ８から距離画像の各画素の距離Ｌijの情報を読み出してそれらに基づいて基準画像Ｔ上に車線候補点を検出するようになっている。

具体的には、車線候補点検出部９１は、基準画像Ｔ上の１画素幅の水平ライン上を１画素ずつオフセットしながら探索し、基準画像Ｔの各画素の輝度値ｐ１ijに基づいて各画素の輝度微分値すなわちエッジ強度が閾値以上に大きく変化する等の条件を満たす画素を検出する。その際、基準画像Ｔに対応する距離画像に割り付けられた各画素の距離Ｌijの情報に基づいて検出された画素が道路面上にない場合は除外するようになっている。

車線候補点検出部９１は、探索を行う水平ラインを基準画像Ｔの下側から上向きに１画素幅ずつオフセットさせながら順次画素の検出を行う。このようにして、車線候補点検出部９１は、図３に示すように、基準画像Ｔ上で自車両の左右に車線候補点Ｓをそれぞれ検出するようになっている。

車線候補点検出部９１は、さらに、前記距離Ｌijの情報に基づいて車線候補点Ｓを実空間上の座標に変換するようになっている。具体的には、図４に示すように、仮想的な実空間上に自車両ＭＣを配置し、メインカメラ２ａおよびサブカメラ２ｂの中央真下の道路面上の点を原点として自車両の車幅方向にＸ軸、車高方向にＹ軸、車長方向すなわち距離方向にＺ軸を取り、距離Ｌijの情報に基づいて各車線候補点Ｓを下記（３）式から（５）式に従って実空間上の座標に変換するようになっている。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（３）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（４）
Ｚ＝Ｌij …（５）

ここで、ｉおよびｊは車線候補点Ｓの基準画像Ｔ上の座標のｉ成分およびｊ成分、ＣＨはメインカメラ２ａとサブカメラ２ｂの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像上のｉ座標およびｊ座標であり、ＣＤ、ＰＷおよびＤＰは前記（２）式で述べたとおりである。

なお、車線候補点検出部９１における画素の探索は、基準画像Ｔ上に探索エリアを設定して行われるようになっている。すなわち、今回の検出処理では、前回の検出処理で検出された車線位置に基づいてその車線位置を含む基準画像Ｔ上の一定の範囲に探索エリアを設定する。また、今回の検出で基準画像Ｔの下側から上向きに水平ラインを１画素幅ずつオフセットさせながら順次画素の検出を行う際に、ある水平ラインで前記条件を満たす画素が検出されなかった場合には、次の水平ラインでは探索エリアを拡大して探索を行うようになっている。

また、図３や図４では、車線候補点Ｓが基準画像Ｔ上や実空間上でいわば疎らに検出されるように示されているが、実際にはより細かく多数検出される。

曲線近似処理部９２は、前記車線候補点検出部９１により検出された車線候補点Ｓと、後述する過去候補点更新部９３により記録された過去の車線候補点に対して曲線近似を行って、近似された曲線に基づいて現在走行中の走行レーンの曲率を計算するようになっている。

本実施形態では、曲線近似処理部９２は、図５に示すように、車線候補点検出部９１により検出された車線候補点Ｓのうち、車線候補点が基準画像Ｔ上に見出され得る自車両ＭＣに最も近い位置Ｐ以遠約８ｍの範囲内にある車線候補点Ｓと、過去に車線候補点として検出されたが自車両ＭＣの挙動により前記位置Ｐより自車両ＭＣに近い側に移動して基準画像Ｔ中に見出されなくなった過去の車線候補点Ｓａとに対して、最小自乗法を施して２次曲線ｘ＝ａｚ^２＋ｂｚ＋ｃで曲線近似するようになっている。算出された定数ａ、ｂ、ｃは、図示しないメモリに保存される。

そして、曲線近似処理部９２は｜１／２ａ｜の値を自車両の位置における走行レーンの曲率として算出するようになっている。この値は、車線認識装置１から出力されてキープレーン制御等のパラメータとして用いられる。

なお、曲線近似処理部９２は、図５に示したように、道路面上にペイントされた標示部分と標示部分の間に挟まれたペイントされていない非標示部分とからなる破線状の車線の異なる２つの標示部分にそれぞれ属する車線候補点を用いて曲線近似するようになっている。そして、近似された曲線Ｃが、破線状の車線における非標示部分の長さを超えた範囲で近似されていない場合、前記曲線近似を無効とするようになっている。

例えば、図６に示すように何らかの原因で基準画像Ｔ上に車線候補点が検出できずに、破線状の車線を構成する１つの標示部分上の過去の車線候補点Ｓａのみで曲線近似を行ったような場合には、その曲線近似は無効となる。しかし、基準画像Ｔ上に車線候補点が検出できなかった場合でも、図７に示すように過去の車線候補点Ｓａが２つの標示部分に跨って存在していれば曲線近似は無効とはされない。

基準画像Ｔ上に車線候補点が検出できず、過去の車線候補点Ｓａで曲線近似を行った場合には、近似された曲線を自車両ＭＣの前方側に延長し、延長した曲線Ｃを車線候補点が検出されない領域の車線位置として検出する。

車線位置検出部９３は、図８に示すように、曲線近似を行った車線候補点Ｓの範囲、すなわち本実施形態では前記位置Ｐ以遠約８ｍの範囲までは、近似された曲線Ｃを左右の車線位置ＬＲ、ＬＬとして検出するようになっている。なお、図８では過去の車線候補点Ｓａの図示が省略されているが、過去の車線候補点Ｓａは破棄されない。

また、本実施形態では、車線位置検出部９３は、前記位置Ｐ以遠約８ｍから前記位置Ｐの後方側約２８ｍまでの範囲で、図中黒丸で示されるように曲線Ｃ上に約４ｍ間隔に代表点Ｒseg(2)、Ｒseg(1)、Ｒseg(0)、…、Ｒseg(-7)、Ｌseg(2)、Ｌseg(1)、Ｌseg(0)、…、Ｌseg(-7)を取り、各点の実空間上の座標をそれぞれ算出するようになっている。

さらに、本実施形態では、車線位置検出部９３は、左右の車線位置ＬＲ、ＬＬ上の前記位置Ｐ以遠約８ｍの地点の代表点Ｒseg(2)、Ｌseg(2)から遠方の車線位置について、図９に示すように、代表点Ｒseg(2)、Ｌseg(2)から車線候補点検出部９１で検出された左右の各車線候補点Ｓをそれぞれ直線で結んで左右の車線位置ＬＲ、ＬＬを検出するようになっている。

また、車線位置検出部９３は、車線候補点Ｓが検出されなかったさらに遠方の左右の車線について、以下の手法によりその位置を推定するようになっている。

図９に示したように、代表点Ｒseg(2)、Ｌseg(2)以遠の各車線候補点Ｓを直線で結んで車線位置ＬＲ、ＬＬが得られる。その車線位置ＬＲ、ＬＬ上に、図１０に示すように、前記と同様に約４ｍ間隔に代表点Ｒseg(3)、Ｒseg(4)、…、Ｌseg(3)、Ｌseg(4)、…を取っていくと、図１０の場合は、代表点Ｒseg(11)、Ｌseg(11)まで取ることができる。

本実施形態では、このように代表点Ｒseg(6)、Ｌseg(6)以遠まで代表点が取れる場合には、カッコ内の数字で表されるセグメント番号を２で割って得られる整数部分、すなわち図１０の例であれば、１１÷２＝５．５の整数部分５を求める。そして、先頭の第３代表点である代表点Ｒseg(11)、Ｌseg(11)から前記整数部分５ずつ後方にそれぞれ第２代表点および第１代表点として代表点Ｒseg(6)、Ｒseg(1)および代表点Ｌseg(6)、Ｌseg(1)を選ぶ。

例えば、代表点がＲseg(8)、Ｌseg(8)まで得られた場合には、代表点Ｒseg(8)、Ｌseg(8)が第３代表点とされ、第２代表点および第１代表点として代表点Ｒseg(4)、Ｒseg(0)および代表点Ｌseg(4)、Ｌseg(0)がそれぞれ選ばれる。

そして、図１０の場合、第１代表点Ｒseg(1)と第２代表点Ｒseg(6)とを結ぶ第１直線ｌ１および第２代表点Ｒseg(6)と第３代表点Ｒseg(11)とを結ぶ第２直線ｌ２の実空間上すなわちＺ−Ｘ平面における傾きをそれぞれ求めて変化分を算出し、第３代表点Ｒseg(11)を起点として第２代表点Ｒseg(6)と第３代表点Ｒseg(11)とを結ぶ第２直線ｌ２の傾きからさらに算出した変化分だけ変化した傾きを有する直線を算出する。これが、第３代表点Ｒseg(11)以遠の右車線位置ＬＲとして推定されるようになっている。

左車線側も同様に、第１代表点Ｌseg(1)と第２代表点Ｌseg(6)とを結ぶ第１直線ｌ１および第２代表点Ｌseg(6)と第３代表点Ｌseg(11)とを結ぶ第２直線ｌ２の実空間上における傾きをそれぞれ求めて変化分を算出し、代表点Ｌseg(11)を起点として代表点Ｌseg(6)とＬseg(11)とを結ぶ第２直線ｌ２の傾きからさらに算出した変化分だけ変化した傾きを有する直線を算出する。車線位置検出部９３は、この直線を代表点Ｌseg(11)以遠の左車線位置ＬＬとして推定するようになっている。

本実施形態では、車線位置検出部９３は、この遠方車線位置推定処理において、第１代表点と第２代表点との間隔および第２代表点と第３代表点との間隔を最低セグメント番号が３以上、距離にすれば約１２ｍ以上あくように設定されている。

従って、例えば、検出された車線候補点Ｓや近似された曲線Ｃに基づいて取られた先頭の代表点が例えばＲseg(4)、Ｌseg(4)であった場合には、第３代表点を代表点Ｒseg(4)、Ｌseg(4)とし、第２代表点および第１代表点をそれぞれ代表点Ｒseg(1)、Ｒseg(-2)および代表点Ｌseg(1)、Ｌseg(-2)として上記処理を行って第３代表点Ｒseg(4)、Ｌseg(4)以遠の左右の車線位置ＬＲ、ＬＬをそれぞれ推定するようになっている。

また、今回の検出で車線候補点Ｓが基準画像Ｔ上に検出されなかった場合は、図６に示したように近似された曲線Ｃ上に代表点Ｒseg(2)、Ｒseg(1)、Ｒseg(0)、…、Ｒseg(-7)、Ｌseg(2)、Ｌseg(1)、Ｌseg(0)、…、Ｌseg(-7)を取り、最も先頭の第３代表点を代表点Ｒseg(0)、Ｌseg(0)として第２代表点および第１代表点をそれぞれ代表点Ｒseg(-3)、Ｒseg(-6)および代表点Ｌseg(-3)、Ｌseg(-6)として上記処理を行って、第３代表点Ｒseg(0)、Ｌseg(0)以遠の左右の車線位置ＬＲ、ＬＬをそれぞれ推定するようになっている。

車線位置検出部９３は、以上のようにして検出した左右の車線位置ＬＲ、ＬＬの情報をメモリに保存するとともに、それらの情報と曲線Ｃの情報とを車線認識装置１から出力するようになっている。これらの情報は、キープレーン制御等のパラメータとして用いられる。

なお、本実施形態では、車線位置検出部９３は、基準画像Ｔ中に検出された現在の車線候補点Ｓの位置とメモリから読み出した過去の車線候補点Ｓａの位置とが実空間上で設定された所定量以上自車両の幅方向に乖離している場合には、メモリに記録されている過去の車線候補点Ｓａをすべて消去するようになっている。このように乖離している状態で曲線近似を行っても正確な車線位置ＬＲ、ＬＬが算出されず、近似精度が低下することが多いからである。本実施形態では、このような場合には基準画像Ｔ上に検出されている車線候補点Ｓに基づいて車線位置ＬＲ、ＬＬを検出するようになっている。

過去候補点更新部９４は、自車両の挙動により基準画像Ｔ中に見出されなくなった過去の車線候補点Ｓａを追跡して記録し、それらの実空間上の座標を自車両の挙動に基づいて次回の撮像タイミングにおける座標に更新するようになっている。

図１１に示す連続線の車線の場合のように、撮像手段２で撮像される基準画像Ｔには自車両の直近の車線部分は撮像されず、自車両ＭＣから所定距離Ｒ前方の位置Ｐ以遠の車線部分しか撮像されない。そして、基準画像Ｔの中で自車両に最も近い位置に検出された車線候補点Ｓ１は、次回の撮像タイミングでは図中点線で示すように自車両が前進したり転回したりするため基準画像Ｔ中には見出されなくなる。

このように自車両の挙動により基準画像Ｔ中に見出されなくなる過去の車線候補点をすべて記録して追跡することも可能である。しかし、本実施形態では、過去候補点更新部９４は、自車両の挙動により基準画像Ｔ中に見出されなくなる車線候補点の一部のみを記録して追跡するようになっている。これは、更新を行う過去の車線候補点の数を減らして処理の負荷を軽減するための処理である。

過去候補点更新部９４は、まず、車速センサおよびヨーレートセンサから送信されてくる車速Ｖおよびヨーレートγに基づいて、次回の撮像タイミングにおける自車両ＭＣから所定距離Ｒ前方の位置Ｐnextすなわち車線候補点が基準画像Ｔ上に見出され得る自車両ＭＣに最も近い位置Ｐnextを算出する。そして、自車両ＭＣに最も近い位置に検出された車線候補点Ｓ１が基準画像Ｔ中に見出されなくなるか否かを判断する。

そして、車線候補点Ｓ１が基準画像Ｔ中に見出されなくなる場合には、車線候補点Ｓ１と既に記録されている過去の車線候補点Ｓａのうち車線候補点Ｓ１に最も近い過去の車線候補点Ｓａ１と車線候補点Ｓ１との実空間上の距離を算出する。そして、その距離が例えば１ｍ以上であれば車線候補点Ｓ１を過去の車線候補点Ｓａとして記録し、距離が１ｍ未満であれば記録しないようになっている。自車両ＭＣの挙動により基準画像Ｔ中に見出されなくなる他の車線候補点については処理の負荷を軽減するために計算を行わない。

過去候補点更新部９４は、続いて、今回車線候補点Ｓ１を過去の車線候補点Ｓａとして記録した場合にはそれを含め、記録された過去の各車線候補点Ｓａの次回の撮像タイミングにおける実空間上の座標を、今回の撮像タイミングと同期して送信されてくる自車両の車速Ｖおよびヨーレートγに基づいて算出して更新し、記録するようになっている。

また、過去候補点更新部９４は、記録した過去の各車線候補点Ｓａのうち基準を満たさなくなった車線候補点Ｓａの記録を抹消するようになっている。本実施形態では、図１２に示すように、過去の車線候補点Ｓａのうち、破線状の車線における非標示部分の長さを少なくとも超える距離に相当する分だけ過去の車線候補点Ｓａを更新し記録するようになっている。上記基準は、基準画像Ｔから検出される車線候補点Ｓを含む標示部分から１つの非標示部分を間に挟んだ標示部分に含まれる車線候補点を過去の車線候補点Ｓａとして記憶させるための基準である。この基準によれば、２つの標示部分に属する車線候補点を用いた曲線近似が行えるようになる。

破線状の車線の非標示部分の長さが通常１０ｍ程度であり、自車両ＭＣから基準画像Ｔ上に見出され得る自車両に最も近い位置Ｐまでの距離Ｒが約１０ｍであることから、本実施形態では、車線が図１１に示すように連続線であるか図１２に示すように破線状であるかによらず、図中０ｍで示される自車両ＭＣの位置の後方に３個残るように過去の車線候補点Ｓａを更新し記録し続けるようになっている。このように構成すれば上記基準は満たされる。

従って、図１１や図１２のような場合、次回の撮像タイミングで過去の車線候補点Ｓａ３は抹消される。また、車線が破線状である場合、図１３に示す過去の車線候補点Ｓａ２等のように自車両ＭＣから比較的遠く離れても、図中０ｍで示される自車両ＭＣの位置の後方に過去の車線候補点が３個しか残っていない場合にはその３個の過去の車線候補点Ｓａは更新されて記録され続けるようになっている。

図中０ｍで示される自車両ＭＣの位置から後方に過去の車線候補点Ｓａを残すように車線候補点Ｓａを更新し記憶することで、自車両から後方の過去の車線候補点Ｓａと自車両から前方の車線候補点Ｓ１とに対して曲線近似することが可能となり、自車両ＭＣの側近の車線位置が正確に求められる。

また、過去の車線候補点ＳＣを更新及び記憶する基準として、破線状の車線における１つの標示部分と２つの非標示部分を足した長さを少なくとも超える距離に相当する分だけ過去の車線候補点Ｓａを更新し記憶するようにしても良い。この基準によれば、記憶した過去の車線候補点Ｓａ中に、２つの標示部分にそれぞれ属する過去の車線候補点Ｓａを残すことができる。その結果、基準画像Ｔ上に車線候補点が検出できない場合でも、２つの標示部分にそれぞれ属する過去の車線候補点Ｓａを用いて曲線Ｃを算出することができる。

なお、過去候補点更新部９４は、自車両ＭＣが右折または左折している場合には、メモリに記録されている過去の車線候補点をすべて消去するようになっている。自車両の右左折時に過去の車線候補点を消去するのは、前記と同様に、右左折時に過去の車線候補点を考慮して無理に曲線近似を行って車線位置ＬＲ、ＬＬを算出するよりも、基準画像Ｔ上に検出されている車線候補点Ｓだけに基づいて車線位置ＬＲ、ＬＬを検出する方が検出精度が向上するからである。

自車両が右左折中であるか否かは、例えば、ターンシグナル信号ＴＳの入力により判断することができる。また、ターンシグナル信号ＴＳが入力されない場合でも、例えば、操舵角センサから入力されるステアリングホイールの操舵角δが９０°以上である状態が１秒以上継続され、かつその間の車速Ｖが時速４０ｋｍ以下である場合に自車両が右折または左折中であると判断することができる。

また、過去候補点更新部９４は、自車両ＭＣが車線変更により左右の車線のうちの一方の車線を跨ぐ場合には、メモリに記録されている過去の車線候補点Ｓａのうち、跨ぐ方の車線とは反対側の車線に対応する過去の車線候補点Ｓａを消去し、跨ぐ方の車線に対応する過去の車線候補点Ｓａを前記反対側の車線に対応する過去の車線候補点Ｓａとして更新して記録するようになっている。

すなわち、例えば、自車両ＭＣが右車線ＬＲを跨いで車線変更を行う場合には、メモリ内の左車線ＬＬに対応する過去の車線候補点Ｓａを消去する。そして、それまで右車線ＬＲに対応させていた過去の車線候補点Ｓａを車線変更により車線を跨いだ時点から左車線ＬＬに対応する過去の車線候補点Ｓａとして更新し直して記録する。このように構成すれば、過去の車線候補点Ｓａを有効に活用することができる。

自車両の移動が車線変更であるか否かは、例えば、ターンシグナル信号ＴＳの入力により判断することができる。また、ターンシグナル信号ＴＳが入力されない場合でも、例えば、操舵トルクセンサからのステアリングホイールに加えられる操舵トルクＴ_Ｈの測定値により運転者による操舵行為の介入を検出している状態で自車両が車線位置を超えた場合すなわち車線位置と自車両との距離が０になった場合には、車線変更と判断することができる。

次に、本実施形態に係る車線認識装置１の作用について述べる。

図２に示したような走行レーンを含む自車両前方を遠くまで見渡せる走行環境においては、本実施形態に係る車線認識装置１は、図３、図４に示したように、撮像装置２が撮像した基準画像Ｔとそれに基づいて作成された距離画像に基づいて検出手段９の車線候補点検出部９１で車線候補点Ｓを検出する。

そして、図５に示したように、曲線近似処理部９２で検出した車線候補点Ｓと過去の車線候補点Ｓａに基づいて曲線近似を行って曲線Ｃを算出する。

さらに、車線位置検出部９３では、図９に示したように代表点Ｒseg(2)、Ｌseg(2)までの区間については近似された曲線Ｃを左右の車線位置ＬＲ、ＬＬとして検出し、それ以遠の車線位置検出の基準とする。そして、車線位置検出部９３は、代表点Ｒseg(2)、Ｌseg(2)から遠方については代表点Ｒseg(2)、Ｌseg(2)と検出された左右の各車線候補点Ｓを次々に直線で結んで左右の車線位置ＬＲ、ＬＬを検出する。

また、左右の各車線候補点Ｓを検出できないさらに遠方の区間については、代表点Ｒseg(2)、Ｌseg(2)からさらに遠方に約４ｍ間隔に取った代表点のうち最も遠い代表点Ｒseg(n)、Ｌseg(n)を第３代表点とし、代表点Ｒseg(0)、Ｌseg(0) または代表点Ｒseg(1)、Ｌseg(1)を第１代表点とし、それらの中間の位置の代表点を第２代表点として前記手法で第３代表点Ｒseg(n)、Ｌseg(n)の遠方の車線位置ＬＲ、ＬＬを推定する。

これらの遠方の車線位置ＬＲ、ＬＬを推定することは、将来的な安全性向上やキープレーン等の自動制御に向けての基準を与えるものとして高い有効性を有するが、一方で、図１７に示した左車線のように、先行車両との距離が接近していて基準画像Ｔ中に破線状の車線が見え隠れするような場合にも、正確に車線位置ＬＲ、ＬＬを推定することを可能とする。

この場合、図５に示した車線候補点Ｓのうち、車線候補点が基準画像Ｔ上に見出され得る自車両ＭＣに最も近い位置Ｐ近傍の車線候補点Ｓが検出されるか、或いは基準画像Ｔ上にはまったく車線候補点Ｓが検出されない。

しかし、そのような場合でも、本実施形態では、図７に示したように過去の車線候補点Ｓａが破線状の車線の２つの標示部分に跨って存在していれば曲線近似により曲線Ｃを算出することができる。

そして、車線位置検出部９３は、図８に示したようにこの曲線Ｃに基づいて約４ｍ間隔に代表点Ｒseg(2)、Ｒseg(1)、Ｒseg(0)、…、Ｒseg(-7)、Ｌseg(2)、Ｌseg(1)、Ｌseg(0)、…、Ｌseg(-7)を取り、各点の実空間上の座標をそれぞれ算出し、上記と同様にして、図１４に示すように、代表点Ｒseg(0)、Ｌseg(0)を第３代表点とし、代表点Ｒseg(-3)、Ｌseg(-3)を第２代表点、代表点Ｒseg(-6)、Ｌseg(-6)を第１代表点として、前記手法で第３代表点Ｒseg(0)、Ｌseg(0)以遠の区間にも車線位置ＬＲ、ＬＬを推定することができる。つまり、図１５の左車線のように基準画像Ｔ上では車線が見えない位置にも車線位置ＬＲ、ＬＬを推定することが可能となる。

以上のように、本実施形態に係る車線認識装置１によれば、車線候補点を自車両ＭＣの挙動により基準画像Ｔ中に見出されなくなった後も追跡し、その実空間上の座標を前記自車両の車速やヨーレート等で表される挙動に基づいて更新して記録していく。そして、このようにして正確に更新された過去の車線候補点Ｓａの座標と基準画像Ｔ中に検出された現在の車線候補点Ｓの実空間上の座標とに基づいて左右の車線位置ＬＲ、ＬＬを検出する。

そのため、車線位置検出の基準となる自車両に最も近い側の左右の車線位置ＬＲ、ＬＬを的確にかつ正確に確定することが可能となる。また、それにより、前回の検出タイミングで正確に検出された車線位置ＬＲ、ＬＬに基づいて今回の車線位置検出の探索範囲を適切に設定することが可能となる。

また、このようにして確定された自車両に最も近い側の左右の車線位置ＬＲ、ＬＬに基づいてより遠方の左右の車線位置ＬＲ、ＬＬを的確にかつ精度良く推定することが可能となる。

さらに、例えば、図１７に示したように先行車両と自車両との距離が接近していて、先行車両の左側や右側に破線状の車線が検出されたり検出されなかったりするような状態においても、本実施形態に係る車線認識装置１によれば、過去の車線候補点Ｓａの実空間上の座標を前記自車両の挙動に基づいて的確に更新して記録しているから、その過去の車線候補点Ｓａに基づいて基準画像Ｔ上に的確に左右の車線位置ＬＲ、ＬＬを的確に推定して位置を特定することが可能となる。

このように、本実施形態に係る車線認識装置１によれば、自車両の左右に車線位置ＬＲ、ＬＬを正確に検出し或いは的確に推定することが可能となり、安全性向上や自動制御等の前提となる走行レーンの形状の認識を正確にかつ安定して行うことが可能となる。

なお、本実施形態に係る車線認識装置１の効果をさらに精度良く発揮させるために、過去の車線候補点Ｓａのデータをさらに多く記録しておくように構成することも可能である。

例えば、図１６に示すように、車線候補点が基準画像Ｔ上に見出され得る自車両ＭＣに最も近い位置Ｐから後方に、破線状に標示された車線の標示部分３つ分に跨る範囲で過去の車線候補点Ｓａの座標を更新し記録するように構成することも可能である。また、さらに後方まで過去の車線候補点Ｓａの座標を更新し記録するように構成することも可能である。

このように構成すれば、近似される曲線Ｃの精度をさらに向上させることが可能となるとともに、走行レーンの自車両ＭＣの位置における曲率をより正確に算出することが可能となり、キープレーン制御等をより精度良く行うことが可能となる。

本実施形態に係る車線認識装置の構成を示すブロック図である。 基準画像の例を示す図である。 図２の基準画像上で検出された車線候補点を表す図である。 実空間上に変換された図３の車線候補点を表す図である。 近似された曲線を表す図である。 無効とされる曲線近似の例を示す図である。 有効とされる曲線近似の例を示す図である。 左右の車線位置および曲線上に取られた点を表す図である。 曲線と車線候補点とが結ばれて検出された車線位置を表す図である。 遠方における左右の車線位置の推定手法を説明する図である。 自車両の挙動により基準画像上に見出されなくなる車線候補点を説明する図である。 抹消される過去の車線候補点を表す図である。 自車両から遠く離れても抹消されない過去の車線候補点を表す図である。 基準画像上に車線が検出されない場合の左右の車線位置の推定手法を説明する図である。 図１４の手法により推定され基準画像上に表示された車線位置を表す図である。 より後方まで記録された過去の車線候補点を表す図である。 先行車両が接近して破線状の車線が見え隠れする状態を表す図である。

符号の説明

１ 車線認識装置
２ 撮像手段
６ 画像処理手段
９ 検出手段
Ｔ 基準画像
ｐ１ij 輝度値
Ｌij 距離
Ｓ 車線候補点
ＭＣ 自車両
Ｐ 車線候補点が基準画像上に見出され得る自車両に最も近い位置
Ｓａ 過去の車線候補点
Ｃ 近似された曲線
ＬＲ、ＬＬ 車線位置
Ｒseg(n)、Ｌseg(n) 代表点

Claims (2)

1. 自車両前方の道路を含む風景を撮像して画素ごとに輝度値を有する一対の画像を出力する撮像手段と、
   前記撮像された一対の画像に基づいて少なくとも一方の画像の各画素について実空間における距離を算出する画像処理手段と、
   前記輝度値および前記距離の情報に基づいて前記一方の画像から車線候補点を検出して前記車線候補点に基づいて車線位置を検出する検出手段とを備え、
   前記検出手段は、前記距離の情報に基づいて前記車線候補点を実空間上の座標に変換し、自車両の挙動により前記画像中に見出されなくなった過去の車線候補点の実空間上の座標を前記自車両の挙動に基づいて更新して記録し、
   少なくとも前記過去の車線候補点に対して曲線近似し、
   前記近似された曲線に基づいて３個の代表点を選択し、最も後方の第１代表点とその前方の第２代表点とを結ぶ直線および第２代表点とその前方の第３代表点とを結ぶ直線の実空間上における傾きをそれぞれ求めて変化分を算出し、第２代表点と第３代表点とを結ぶ直線の傾きからさらに算出した変化分だけ変化した傾きを有する直線を第３代表点から前方の車線位置として推定することを特徴とする車線認識装置。
2. 前記検出手段は、自車両が左右の車線のうちの一方の車線を跨ぐ場合には、前記一方の車線に対応する過去の車線候補点を他方の車線に対応する過去の車線候補点として更新して記録することを特徴とする請求項１に記載の車線認識装置。

Images