JP6132359B2 - 走行区画線認識装置 - Google Patents

Description

本発明は、車載カメラにより撮影された画像に基づいて走行区画線を認識する走行区画線認識装置に関する。

近年、走行支援を行うために、車載カメラにより撮影された画像に基づいて車線の左右を区画する走行区画線を認識する装置が提案されている。このような装置では、画像から走行区画線候補を検出し、走行区画線候補の中から過去の車線幅を用いて走行区画線を選択するものがある。

例えば、特許文献１に記載の車載用画像処理装置は、画像から左右の走行区画線の輪郭線候補点として左右の候補点を算出し、候補点のうち左右の候補点の距離が最も車線幅に近いものを走行区画線認識点と決定している。ここで用いる車線幅は、過去に決定された左右の走行区画線認識点の距離に基づいて学習した車線幅である。

特開平９−３５０６５号公報

走行中の車線の幅と隣接する車線の幅とが異なることがある。例えば、片側３車線の道路では、中央の車線の幅が広いことが多い。そのため、車線幅の学習値に基づいて走行区画線の認識を制限した場合、車線幅が変化する車線への車線変更時に、走行区画線の認識が抑制され、再認識が遅くなるおそれがある。

本発明は、上記実情に鑑み、車線幅が変化する車線へ車線変更する場合でも、変更後の車線を区画する走行区画線の認識の遅れを抑制し、車線変更後の走行区画線の認識の安定性を向上させることが可能な走行区画線認識装置を提供することを主たる目的とする。

本発明は、上記課題を解決するため、車両の車載カメラにより撮影された前方画像に基づいて、車線の左右を区画する走行区画線を認識する走行区画線認識装置であって、前記画像に基づいて検知された前記区画線から車線幅を算出し、算出した車線幅を学習する学習手段と、前記学習手段により学習された前記車線幅の学習値に基づいて、前記画像において前記区画線の検知を許容する許容範囲を制限する制限手段と、前記車両による車線変更の有無を判定する変更判定手段と、を備え、前記制限手段は、前記変更判定手段により前記車線変更があると判定された場合に、前記学習値に基づいて制限した前記許容範囲を広げる。

本発明によれば、車載カメラにより撮影された前方画像に基づいて検知された走行区画線から車線幅が算出され、算出された車線幅が学習される。そして、車線幅の学習値に基づいて、前方画像において走行区画線の検知を許容する許容範囲が制限される。さらに、車線変更があると判定された場合には、車線幅の学習値に基づいて制限された許容範囲が広げられる。したがって、車線変更がない場合には、車線幅の学習値に基づいて走行区画線の検出の許容範囲が制限されるため、処理負荷を抑制できる。また、車線変更がある場合には、車線幅の学習値に基づいて制限された許容範囲が広げられるため、車線幅が変化する車線への車線変更の場合でも、車線変更後の車線を区画する走行区画線の認識の遅れを抑制し、車線変更後の走行区画線の認識の安定性を向上させることができる。

車載カメラの搭載位置を示す図。 白線認識装置の構成を示すブロック図。 両側検知中の許容範囲を示す図。 片側検知中の許容範囲を示す図。 両側ロスト中の許容範囲を示す図。 片側破線の車線からの車線変更時の許容範囲を示す図。 両側破線の車線からの車線変更時の許容範囲を示す図。 白線を認識する処理手順を示すフローチャート。

以下、白線認識装置（走行区画線認識装置）及び周辺装置を具現化した実施形態について図面を参照しつつ説明する。

まず、図１及び２を参照して、本実施形態に係る白線認識装置について説明する。本実施形態に係る白線認識装置は、車載カメラ１０により撮影された前方画像に基づいて、車線の左右を区画する白線（走行区画線）を認識する車載装置である。

車載カメラ１０は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の少なくとも１つから構成されている。図１に示すように、車載カメラ１０は、例えば車両４０のフロントガラスの上端付近に設置されており、車両前方へ向けて所定角度範囲で広がる領域を撮影する。すなわち、車載カメラ１０は、車両４０の前方の道路を含む周辺環境を撮影する。

車速センサ１１は、車両４０に搭載されており、車両４０の速度を検出する。ヨーレートセンサ１２は、車両４０に搭載されており、車両４０のヨーレートを検出する。

警報装置３１及び車両制御装置３２は、白線認識装置２０による白線の認識結果に基づいて走行支援を行う。警報装置３１は、認識された白線と車両４０との横方向の距離が第１距離以下となったときや、車両４０が認識された白線を超えたときに、逸脱警報を出力する装置である。車両制御装置３２は、車両４０が認識された白線によって区画される車線内を走行するように、車両４０のステアリングやブレーキを制御する制御装置である。

白線認識装置２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ及び記憶装置等を備えたコンピュータである。ＣＰＵが、ＲＯＭに記憶されている各種プログラムを実行することにより、学習部（学習手段）２１、変更判定部（変更判定手段）２２、制限部（制限手段）２３、線種判定部（線種判定手段）２４等の各機能を実現し、白線を認識する。

白線認識装置２０は、車載カメラ１０により撮影された前方画像から白線の候補である白線候補を抽出し、抽出した白線候補について、白線である尤もらしさを表す尤度Ｌｃを算出する。そして、白線認識装置２０は、尤度Ｌｃが検知閾値よりも大きい白線候補の中から、最も尤度Ｌｃが高い白線候補を白線として検知し、検知した白線から白線パラメータを算出して白線を認識する。尤度Ｌｃは、白線の特徴を備えている度合が高いほど高く算出される値である。白線認識装置２０は、白線の特徴ごとにその特徴を備えている度合に応じて尤度を算出し、白線の特徴ごとに算出した尤度を統合して、白線候補の選択に用いる尤度Ｌｃを算出する。

白線の特徴の一つとして車線幅の一貫性があり、車線幅の一貫性に関する尤度Ｌａが算出される。以下、車線幅の一貫性に関する尤度Ｌａの算出方法について説明する。学習部２１は、前方画像に基づいて検知された左右の白線から車線幅を算出し、算出した車線幅を学習する。詳しくは、学習部２１は、過去の学習値と算出した車線幅とを用いて学習値を更新し、更新した学習値を記憶装置に記憶する。また、制限部２３は、学習部２１により学習された車線幅の学習値に基づいて、前方画像において白線の検知を許容する許容範囲を制限する。

図３は、車線の両側の白線を検知している場合において、道路の横方向における白線候補の位置に対する尤度Ｌａを示す。制限部２３は、図３に示すように、車線幅の学習値に基づいて、車線幅の学習値を中心として多少の余裕を持たせた車線幅を許容するように、画像の水平方向において白線の検知を許容する許容範囲を制限する。そして、制限部２３は、許容範囲内の尤度Ｌａを、左右の白線候補の間隔が車線幅の学習値に近いほど高くなるように算出する。さらに、制限部２３は、許容範囲外の尤度Ｌａを、統合した尤度Ｌｃを検知閾値以下にするような非常に低い値に算出する。なお、制限部２３は、許容範囲内の尤度Ｌａを、低い値と高い値の二値に算出してもよいし、段階的な値に算出してもよい。

ここで、走行中の車線の幅と隣接する車線の幅とが異なることがある。例えば、片側３車線以上の道路では、中央寄りの車線の幅が、左端及び右端の車線の幅よりも広いことが多い。そのため、車線幅の学習値に基づいて許容範囲を制限した場合、車線幅の異なる車線への車線変更時に、車線変更後における車線の両側の白線のうち、車線変更前の車線から遠い側の白線をロストしてしまうことがある。一方で、どのような車線幅にも対応するように許容範囲を制限すると、許容範囲が必要以上に広くなり処理負荷が増加するおそれがある。

そこで、制限部２３は、図４に示すように、車線変更に関係なく、検知できていない白線側の許容範囲を中立の尤度で広げる。具体的には、制限部２３は、学習値に基づいて制限した許容範囲を、学習値よりも広い車線幅を許容する側、及び学習値よりも狭い車線幅を許容する側の両側に広げる。そして、制限部２３は、拡大した許容範囲内の尤度Ｌａの最大値を、拡大する前の許容範囲内の尤度Ｌａの最大値よりも低い中立の尤度に算出する。

また、制限部２３は、図５に示すように、車線の両側の白線を検知できていない場合は、車線の両側において許容範囲を制限しない。この場合、制限部２３は、道路の横方向における白線候補の位置に関わらず、車線幅に関する尤度Ｌａを中立な尤度に算出する。

さらに、制限部２３は、車線変更に応じて、許容範囲を拡大する。具体的には、制限部２３は、後述する変更判定部２２により車線変更があると判定された場合に、車線変更後における車線の両側の白線に対する許容範囲のうち、車線変更前の車線から遠い側に限って、車線幅の学習値に基づいて制限した許容範囲を拡大する。車線変更前の車線と車線変更後の車線との境界線である白線は、車線変更前から検知されているため、車線変更前の車線に近い側の白線に対する許容範囲を広げる必要はない。

そして、制限部２３は、変更判定部２２により車線変更があると判定された場合に許容範囲を広げてから、所定時間内に白線が検知されなかった場合には、許容範囲を更に広げる、具体的には、制限部２３は、許容範囲を徐々に広げてもよいし、段階的に広げてもよい。

また、車線変更後の車線幅が、車線変更前の車線幅よりも広いか狭いか判定できる場合には、制限部２３は、車線変更があると判定された際に、学習値に基づいて制限した許容範囲を両側に広げなくてもよい。車線変更前よりも広い車線幅の車線へ車線変更する場合、すなわち、左端又は右端の車線から中央寄りの車線へ車線変更する場合は、制御部２３は、許容範囲を車線幅の学習値よりも広い車線幅を許容する側に広げればよい。また、車線変更前よりも狭い車線幅の車線へ車線変更する場合、すなわち、中央寄りの車線から左端又は右端の車線へ車線変更する場合は、制御部２３は、許容範囲を車線幅の学習値よりも狭い車線幅を許容する側に広げればよい。

ここで、一般的に、片側２車線以上の道路の片側における左右両端の車線、及び片側１車線の道路の車線は、少なくとも片側は破線以外（例えば実線）の白線で区画されている。そこで、図６に示すように、制限部２３は、線種判定部２４により、車線変更前における車線の両側のうち、少なくとも一方側の白線が破線ではないと判定されており、且つ変更判定部２２により車線の変更があると判定された場合に、許容範囲を学習値よりも広い車線幅を許容する側に広げる。

ただし、一般的に、車線の両側の白線がともに破線ではない場合は、片側一車線の道路であり、車線変更することは考えにくい。そこで、制限部２３は、線種判定部２４により、車線変更前における車線の両側のうち、いずれか一方のみが破線と判定され、もう一方が破線ではないと判定されたことを条件として、許容範囲を学習値よりも広い車線幅を許容する側に広げてもよい。図６において、車線変更後の車線の右側において、破線の尤度Ｌａは拡大前の許容範囲に対するものであり、実線の尤度Ｌａは拡大後の許容範囲に対するものである。後述する図７においても同様である。

そして、制限部２３は、許容範囲を広げてから所定時間内に白線が検知されなかった場合には、許容範囲を学習値よりも広い車線幅を許容する側に更に広げてもよいし、許容範囲を両側へ更に広げてもよい。

なお、片側２車線の道路の場合は、道路の端側の車線から、略同じ車線幅のもう一方の端側の車線へ車線変更することになる。この場合、許容範囲を広げなくても車線変更後における車線の白線を検知できると考えられるが、許容範囲を広げても車線変更後における車線の白線を検知できる。

また、一般的に、片側３車線以上の道路の中央寄りの車線は、両側を破線の白線で区画されている。そこで、制限部２３は、図７に示すように、線種判定部２４により、車線変更前における車線の両側の白線が破線と判定されており、且つ変更判定部２２により車線の変更が有ると判定された場合に、許容範囲を学習値よりも狭い車線幅を許容する側に広げる。そして、制限部２３は、許容範囲を広げてから所定時間内に白線が検知されなかった場合には、許容範囲を学習値よりも狭い車線幅を許容する側に更に広げてもよし、許容範囲を両側に更に広げてもよい。

なお、片側４車線以上の道路の場合は、道路の中央寄りの車線から、略同じ車線幅の他の中央寄りの車線へ車線変更することもある。この場合、許容範囲を広げなくても車線変更後における車線の白線を検知できると考えられるが、許容範囲を広げても車線変更後における車線の白線を検知できる。

変更判定部２２は、車両４０による車線変更の有無を判定する。詳しくは、変更判定部２２は、車両４０による車線変更が将来行われる、又は車両４０が車線変更を現在行っている場合に、車線変更ありと判定する。線種判定部２４は、検知された白線が破線か否かを判定する。

次に、白線を認識する処理手順について、図８のフローチャートを参照して説明する。本処理手順は、車載カメラ１０により前方画像が撮影される度に、白線認識装置２０が実行する。

まず、車載カメラ１０により撮影された前方画像を取得する（Ｓ１０）。続いて、Ｓ１０で抽出した前方画像にsobelフィルタ等を適用してエッジ点を抽出する（Ｓ１１）。続いて、Ｓ１１で抽出したエッジ点をハフ変換する（Ｓ１２）。続いて、ハフ変換投票数が所定数よりも多い直線である白線候補を算出する（Ｓ１３）。

続いて、Ｓ１３で算出した白線候補を絞り込み、最も白線らしい白線候補を白線として検知する（Ｓ１４）。具体的には、車線幅の一貫性を含む複数の白線の特徴に関する尤度をそれぞれ算出し、それぞれの尤度を統合して尤度Ｌｃを算出する。そして、白線候補の中から最も尤度Ｌｃが高い白線候補を選択する。車線幅の一貫性以外の白線の特徴としては、エッジ強度が所定強度よりも大きいこと等が挙げられる。

車線幅の一貫性に関する尤度Ｌａは、前方画像において白線の検知を許容する許容範囲内で、左右の白線候補の間隔が学習値に近いほど高く算出する。許容範囲は、白線の予測位置及び車線幅の学習値から、学習値を中心として多少の余裕を持たせた範囲に設定する。白線の予測位置は、過去の白線の認識結果、検出した車速及びヨーレートから算出する。

このとき、前回の処理周期において、車線変更ありと判定しており、且つ車線変更前における車線の片側のみで白線が破線と判定している場合は、学習値に基づいて制限した許容範囲を、学習値よりも広い車線幅を許容する側に広げる。また、前回の処理周期において、車線変更ありと判定しており、且つ車線変更前における車線の両側の白線が破線と判定している場合は、学習値に基づいて制限した許容範囲を、学習値よりも狭い車線幅を許容する側に広げる。

ただし、前回の処理周期以前で、すでに学習値に基づいて制限した許容範囲を拡大しており、車線変更後における車線の両側の白線を検知できている場合には、車線変更後の車線幅の学習が開始されているため、学習値に基づいて制限した許容範囲を拡大しない。

また、今回の処理周期で許容範囲を広げても、車線変更後における車線の両側の白線を検知できなかった場合は、次の処理周期で許容範囲を更に広げる。車線変更後における車線の両側の白線を検知できるまで、処理周期ごとに許容範囲を広げる。

続いて、Ｓ１４で検知した白線の座標を鳥瞰座標に変換する（Ｓ１５）。続いて、鳥瞰座標に変換した白線から、白線パラメータを推定する（Ｓ１６）。白線パラメータは、車線の曲率、車線内での車両４０の横変位、車両４０に対する車線の傾き、車線幅等である。そして、推定した車線幅を学習する。さらに、検知した白線が破線か否か判定する。例えば、所定長の白線に含まれるエッジ点数が所定数以下の場合に、白線が破線であると判定する。

続いて、車線変更があるか否か判定する（Ｓ１７）。詳しくは、車両４０が将来車線変更を行う場合、及び車両４０が現在車線変更を行っている場合に、車線変更ありと判定する。例えば、車両４０と認識した白線とのなす角度が、所定角度よりも大きくなった場合に、車両４０が将来車線変更を行う、又は車両４０が現在車線変更を行っていると判定し、車線変更ありと判定する。そして、車線変更ありと判定した場合は、左側及び右側のどちら側に車線変更するのか判定する。なお、車両４０と認識した白線とのなす角度は、白線パラメータの車線の傾きから算出できる。以上で本処理を終了する。

以上説明した実施形態によれば以下の効果を奏する。

・車載カメラ１０により撮影された前方画像に基づいて検知された白線から車線幅が算出され、算出された車線幅が学習される。そして、車線幅の学習値に基づいて、前方画像において白線の検知を許容する許容範囲が制限される。さらに、車線変更があると判定された場合には、車線幅の学習値に基づいて制限された許容範囲が広げられる。

したがって、車線変更がない場合には、車線幅の学習値に基づいて白線の検出の許容範囲が制限されるため、処理負荷を抑制できる。また、車線変更がある場合には、車線幅の学習値に基づいて制限された許容範囲が広げられるため、車線幅が変化する車線への車線変更の場合でも、車線変更後の車線を区画する白線の認識の遅れを抑制し、車線変更後の白線の認識の安定性を向上させることができる。

・車線変更後における車線の両側の白線に対する許容範囲のうち、車線変更前の車線から遠い側、すなわち車線変更前に白線が検知されていない側に限って、許容範囲が広げられる。よって、車線変更後の車線の両側の白線に対する許容範囲を広げる場合よりも処理負荷を抑制しつつ、車線変更後の車線を区画する白線の認識の遅れを抑制できる。

・車線変更があると判定された際に許容範囲が広げられてから、所定時間内に白線が検出されなかた場合には、許容範囲が更に広げられる。これにより、車線変更に伴う車線幅の変化量に関わらず、車線変更後の車線を区画する白線を検知することができる。

・車線変更前における車線の両側のうちの片側の白線のみが破線と判定された場合、車線変更前の車線は、片側２車線以上の道路の片側において左端又は右端の車線である。よって、車線変更前における車線の片側の白線のみが破線の場合、車線幅の広い中央車線への車線変更、又は略同じ車線幅の端側車線への車線変更となる。したがって、車線変更前における車線の片側の白線のみが破線である場合には、許容範囲が車線幅の学習値よりも広い車線幅を許容する側に広げられる。これにより、車線幅の広い中央寄りの車線への車線変更、及び車線幅が略同じ端側車線への車線変更のどちらの場合でも、車線変更後の車線を区画する白線の認識の遅れを抑制できる。

・車線変更前における車線の両側の白線が破線と判定された場合、車線変更前の車線は片側３車線以上の道路の片側において中央寄り（両端以外）の車線である。よって、車線変更前における車線の両側の白線が破線の場合、車線幅の狭い端側車線への車線変更、又は略同じ車線幅の別の中央寄り車線への車線変更となる。したがって、車線変更前における車線の両側の白線が破線の場合には、許容範囲が車線幅の学習値よりも狭い車線幅を許容する側に広げられる。これにより、車線幅の狭い端側車線への車線変更、及び車線幅が略同じ中央寄り車線への車線変更のどちらの場合でも、車線変更後の車線を区画する白線の認識の遅れを抑制できる。

・車両４０と認識した白線とのなす角度が所定角度よりも大きくなった場合は、車両が白線を横切ろうとしている場合なので、車両４０が将来車線変更を行う、又は車両４０が現在車線変更を行っていると判定できる。

（他の実施形態）
・車線変更があると判定された場合に、車線変更後における車線の両側の白線に対する許容範囲のうち、車線変更前の車線から遠い側に限らず、両側の許容範囲を広げてもよい。このようにしても、車線変更後における車線の両側を区画する白線の認識の遅れを抑制し、車線変更後の白線の認識の安定性を向上させることができる。

・車線の片側において、車両４０と認識した白線との距離が所定距離よりも短くなった場合に、車線変更ありと判定してもよい。車両４０と認識した白線との距離は、白線パラメータの横変位から算出できる。

・車線の水平方向における車両４０の速度が所定速度よりも大きくなった場合に、車線変更ありと判定してもよい。車線の水平方向における車両４０の速度は、車両の横変位の時間変化から算出できる。

・高速道路走行中に、車両４０の方向指示器が作動された場合には、車線変更ありと判定してもよい。一般的に、ドライバが高速道路走行中に方向指示器を作動するのは、車線変更しようとするときに限られる。よって、高速道路走行中に方向指示器が作動された場合は、車両４０が将来車線変更行う、又は車両４０が現在車線変更を行っていると判定できる。

・車両４０が白線を跨いだ場合に、車両４０が現在車線変更を行っていると判定し、車線変更があると判定してもよい。

１０…車載カメラ、２０…白線認識装置、４０…車両。

Claims (13)

1. 車両（４０）の車載カメラ（１０）により撮影された前方画像に基づいて、車線の左右を区画する走行区画線を認識する走行区画線認識装置（２０）であって、
   前記画像に基づいて検知された前記区画線から車線幅を算出し、算出した車線幅を学習する学習手段と、
   前記学習手段により学習された前記車線幅の学習値に基づいて、前記画像において前記区画線の検知を許容する許容範囲を制限する制限手段と、
   前記車両による車線変更の有無を判定する変更判定手段と、を備え、
   前記制限手段は、前記変更判定手段により前記車線変更があると判定された場合に、前記学習値に基づいて制限した前記許容範囲を広げることを特徴とする走行区画線認識装置。
2. 前記制限手段は、前記車線変更の後における前記車線の両側の前記区画線に対する前記許容範囲のうち、前記車線変更の前の前記車線から遠い側に限って前記許容範囲を広げる請求項１に記載の走行区画線認識装置。
3. 前記制限手段は、前記変更判定手段により前記車線変更があると判定された場合に前記許容範囲を広げてから、所定時間内に前記区画線が検知されなかった場合には、前記許容範囲を更に広げる請求項１又は２に記載の走行区画線認識装置。
4. 検知された前記区画線が破線か否かを判定する線種判定手段を備え、
   前記制限手段は、前記車線変更の前に前記線種判定手段により両側のうちの少なくとも一方の側の前記区画線が破線ではないと判定されており、且つ前記変更判定手段により前記車線の変更があると判定された場合に、前記許容範囲を前記学習値よりも広い前記車線幅を許容する側に広げる請求項１〜３のいずれかに記載の走行区画線認識装置。
5. 前記制限手段は、前記車線変更の前に前記線種判定手段により両側の前記区画線のうちのいずれか一方のみが破線と判定されたことを条件として、前記許容範囲を前記学習値よりも広い前記車線幅を許容する側に広げる請求項４に記載の走行区画線認識装置。
6. 検知された前記区画線が破線か否かを判定する線種判定手段を備え、
   前記制限手段は、前記車線変更の前に前記線種判定手段により両側の前記区画線が破線と判定されており、且つ前記変更判定手段により前記車線の変更があると判定された場合に、前記許容範囲を前記学習値よりも狭い前記車線幅を許容する側に広げる請求項１〜５のいずれかに記載の走行区画線認識装置。
7. 前記変更判定手段は、前記車両が前記区画線を跨いだ場合に、前記車線変更があると判定する請求項１〜６のいずれかに記載の走行区画線認識装置。
8. 前記変更判定手段は、前記車両と前記区画線とのなす角度が所定角度よりも大きくなった場合に、前記車線変更があると判定する請求項１〜６のいずれかに記載の走行区画線認識装置。
9. 前記変更判定手段は、前記車両と前記区画線との距離が所定距離よりも短くなった場合に、前記車線変更があると判定する請求項１〜６のいずれかに記載の走行区画線認識装置。
10. 前記変更判定手段は、前記車線の水平方向における前記車両の速度が所定速度よりも大きくなった場合に、前記車線変更があると判定する請求項１〜６のいずれかに記載の走行区画線認識装置。
11. 前記変更判定手段は、前記車両の方向指示器が作動された場合に、前記車線変更があると判定する請求項１〜６のいずれかに記載の走行区画線認識装置。
12. 前記変更判定手段は、前記車線変更が将来行われると判定する請求項１〜６、８〜１１のいずれかに記載の走行区画線認識装置。
13. 前記変更判定手段は、前記車線変更を現在行っていると判定する請求項１〜１１のいずれかに記載の走行区画線認識装置。

Images