JP5966965B2 - 車線境界線逸脱抑制装置及び車線境界線逸脱抑制方法 - Google Patents

Description

本発明は、車線境界線逸脱抑制装置及び車線境界線逸脱抑制方法に関する。

従来、車載カメラにより撮像される路面画像に画像認識処理を施すことで走行レーンを検出し、この検出した走行レーンと、自車両の速度やヨーレートとに基づいて走行判定処理を行い、自車両が走行レーンから逸脱する可能性が高いと判定したときに、ブザーや画像表示等による警報を行ったり、逸脱を抑制する方向に操舵を行う逸脱抑制処理が知られている（特許文献１参照）。

特開２０１０−９３６１号公報

自車両の周辺の環境によっては、路面のノイズ等の影響を受け、走行レーンを誤認識することがある。誤認識した走行レーンに基づき、上述した逸脱抑制処理を実行すると、不必要な警報出力や、過度の操舵が生じてしまうおそれがある。

本発明は以上の点に鑑みなされたものであり、上述した課題を解決できる車線境界線逸脱抑制装置及び車線境界線逸脱抑制方法を提供することを目的とする。

本発明の車線境界線逸脱抑制装置は、自車両前方の路面を撮影して路面画像を取得する画像取得手段と、画像取得手段により取得した路面画像からエッジ点を抽出するエッジ点抽出手段と、エッジ点抽出手段により抽出したエッジ点に基づいて車線境界線を検出する車線境界線検出手段と、車線境界線のエッジより複数の走行レーンを推定する走行レーン推定手段と、複数の走行レーンの中から予め設定された選択基準により使用する走行レーンを決定する走行レーン決定手段と、走行レーン決定手段により決定した走行レーンに基づき自車両が走行レーンから逸脱するか否かを判定する判定手段と、自車両が走行レーンから逸脱すると判定手段が判定した場合に、警報の出力、又は逸脱を回避する方向への自車両の操舵を制御する逸脱抑制手段と、走行レーン決定手段により決定した走行レーンに沿って自車両が走行するように自車両の操舵を制御する平行制御手段と、予め設定された環境条件を検出する環境条件検出手段とを備える。

この構成により、本発明の車線境界線逸脱抑制装置は、自車両が走行レーンを逸脱することを抑制できる。
また、本発明の車線境界線逸脱抑制装置は、逸脱抑制手段又は平行制御手段の実行状態に応じて定まる予め設定された除外条件に該当しない走行レーンの中から使用する走行レーンを決定する。

この構成により、本発明の車線境界線逸脱抑制装置は、逸脱抑制手段や平行制御手段の無駄な実行、又は平行制御手段による急激な操舵を抑制することができる。

車線境界線逸脱抑制装置１の構成を表すブロック図である。 車線境界線逸脱抑制装置１が実行する処理の全体を表すフローチャートである。 車線境界線逸脱抑制装置１が実行する走行レーン認識処理を表すフローチャートである。 車線境界線逸脱抑制装置１が実行する走行レーン決定処理を表すフローチャートである。 （１）は実際よりも内側に走行レーンを検出した状態を表す説明図であり、（２）は実際よりも外側に走行レーンを検出した状態を表す説明図である。

本発明の実施形態を図面に基づき説明する。
＜第１の実施形態＞
１．車線境界線逸脱抑制装置１の構成
車線境界線逸脱抑制装置１の構成を図１に基づき説明する。車線境界線逸脱抑制装置１は、自動車等の車両（以下、自車両とする）に搭載される装置であって、自車両の走行速度（車速）を検出する車速センサ３と、自車両の旋回方向への角速度（即ち、ヨーレート）を検出するヨーセンサ５と、自車両の例えば中央前方側に装着されて、自車両前方の路面を含む風景を撮像してその路面画像データを出力する車載カメラ７とを備えている。

また、車線境界線逸脱抑制装置１は、自車両のステアリングＳｇに対して操舵トルクを逸脱方向（自車両が逸脱しようとしている走行レーンへ近づく方向）の反対方向に付加する操舵トルク印加部９と、警報ブザーを発生させるためのブザー発生部１１と、警報ランプをメータに点灯表示させるためのメータ表示部１３と、前述した各部３、５、７からの入力に応じて各種処理を実行し、操舵トルク印加部９、ブザー発生部１１、及びメータ表示部１３を制御する制御部１５とを備えている。

制御部１５は、車載カメラ７から入力される路面画像データに後述するステップ１２、１３の画像認識処理を施すことで、エッジ点を抽出し、その抽出したエッジ点に基づいて走行レーンを決定する画像認識部１７と、車速センサ３及びヨーセンサ５による検出結果、及び後述する道路パラメータに基づいて、車速およびヨーレートが現状のまま走行車線を推移した場合の自車両の走行軌跡を算出する走行軌跡算出部１９とを備えている。

また、制御部１５は、画像認識部１７にて決定された走行レーン、及び、走行軌跡算出部１９により算出した走行軌跡（以下、予測走行軌跡という）に基づいて、車線境界線逸脱抑制処理及び平行制御処理を実行するメイン制御部２１を備えている。

なお、画像認識部１７、走行軌跡算出部１９、及びメイン制御部２１は、いずれも、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、ＤＳＰ（デジタルシグナルプロセッサ）等を備えた周知のマイクロコンピュータ上で実行される処理として実現される。

このうち、画像認識部１７では、エッジ抽出やパターン検出などの周知の画像認識処理手法を用いて、走行道路上の走行レーンを決定する走行レーン決定処理を実行する。また、画像認識部１７は、走行レーンの曲率半径Ｒ、車線幅Ｗ、走行レーンの種類等を特定する。

なお、ここでの走行レーンの種類は、白色破線、白色実線、黄色実線、複数の破線又は実線からなる複合線（以下、単に「複合線」という）、車道中央線（いわゆる、センターライン）上で複数の黄色実線の間にセンターポール（小型のポストコーン等）が立てられて形成される暫定式の中央分離帯（以下、暫定供用部という）、縁石などにより分類される。

走行軌跡算出部１９では、例えば以下のようにして予測走行軌跡上の自車両の位置座標を算出する座標算出処理を実行する。すなわち、車速センサ３から入力された車速をＶ［ｍ／ｓｅｃ］、ヨーセンサ５から入力されたヨーレートをω［ｒａｄ／ｓｅｃ］、自車両の現在位置における進行方向をＹ方向、車幅方向をＸ方向とすると、０．１秒間で０．１Ｖ前進し、その間に回転角（走行車線に対する車両の進行方向角度）は０．１ωずつ増加するため、自車両の現在位置を原点とした場合のＴ秒後の車両位置（Ｘ（Ｔ）、Ｙ（Ｔ））は、例えば、
Ｘ（Ｔ）＝０．１Ｖ｛ｓｉｎ０．１ω＋ｓｉｎ０．２ω＋・・・＋ｓｉｎ（Ｔ−０．１）ω｝、 Ｙ（Ｔ）＝０．１Ｖ｛１＋ｃｏｓ０．１ω＋ｃｏｓ０．２ω＋・・・＋ｃｏｓ（Ｔ−０．１）ω｝として求めることができる（詳しくは、特開２００４−３８４８７号公報参照）。

なお、座標算出処理では、上記の算出方法に限らず、０．１秒間よりも時間間隔を短くしてもよいし、ヨーレートωが充分小さい値であると仮定した場合の近似式等を用いて、Ｔ秒後の車両位置（Ｘ（Ｔ）、Ｙ（Ｔ））を算出してもよい。

なお、車載カメラ７及び画像認識部１７は画像取得手段及び環境条件検出手段の一実施形態であり、画像認識部１７はエッジ点抽出手段及び車線境界線検出手段の一実施形態であり、メイン制御部２１は走行レーン推定手段、走行レーン決定手段、判定手段、逸脱抑制手段、及び平行制御手段の一実施形態である。

２．車線境界線逸脱抑制装置１が実行する処理
車線境界線逸脱抑制装置１が、自車両の走行中、所定時間ごとに繰り返し実行する走行レーン逸脱抑制処理を図２〜図４のフローチャートに基づき説明する。

図２のステップ１では、車載カメラ７の露出を、自車両前方の路面を撮影するのに適した値に調整する。露出調整には周知の方法を用いることができる。
ステップ２では、自車両が走行している車線を区画する走行レーンを認識する。その詳細は後述する。

ステップ３では、前記ステップ２で認識した走行レーン（後述するステップ２７で決定した走行レーン）に基づき、自車両がその走行レーンから逸脱するか否かを判定し、逸脱すると判定した場合は逸脱抑制処理を実行する。逸脱抑制処理とは、ブザー発生部１１により音声（車線逸脱警報）を発する処理と、逸脱を回避する方向への操舵処理である。

ここで、自車両がその走行レーンから逸脱するか否かの判定は次のように行う。すなわち、上述したように算出した予測走行軌跡上における自車両の位置座標（詳しくは自車両の前輪の位置）が、前記ステップ２で認識した走行レーンに達するまでの予測時間Ｔ_eを求め、そのＴ_eが所定の閾値Ｘ₁未満であれば、逸脱すると判定し、Ｔ_eがＸ₁以上であれば逸脱しないと判定する。

また、車線境界線逸脱抑制装置１は、走行レーンに沿って（平行に）自車両が走行するように自車両の操舵を行う平行制御処理を行う。この平行制御処理とは、操舵トルク印加部９により、自車両の進行方向が走行レーンと平行となるように操舵し、車線からの逸脱を抑制する処理である。例えば、自車両が走行レーンから次第に離れている場合は、その走行レーンに近づく方向に操舵し、自車両が走行レーンに次第に近づいている場合は、その走行レーンから遠ざかる方向に操舵する。

次に、図３、及び図４に基づき、走行レーン認識処理を説明する。図３のステップ１１では、車載カメラ７を用いて自車両前方の路面を含む風景を撮像して、その路面画像データを取得する。

ステップ１２では、前記ステップ１１で取得した路面画像データに基づいてエッジ点を抽出する。具体的には、まず、路面画像データにおいて水平ライン（縦方向の座標値が全て等しい全ての画素）毎に、微分フィルタを使用して微分値を算出する。つまり、水平ラインを構成する複数の画素において、隣接する画素間における輝度値の変化率を算出する。

なお、車載カメラ７がカラーカメラである場合には、カラーカメラから出力されるＲＧＢ信号や、ＲＧＢ信号を輝度信号と色差信号とに変換した際の色差信号の変化率を算出するようにしてもよい。

次に、算出した微分値が、所定の閾値以上であるか否かを判定し、微分値が閾値以上であれば隣接する画素間で輝度値が大きく変化したものとして、その画素の座標値をエッジ点として抽出し、登録する。画像中の全ての画素について上記の処理を実行する。

ステップ１３では、前記ステップ１２で抽出したエッジ点に基づき、周知の直線抽出ハフ（Hough）変換処理等により白線候補を抽出する。なお、白線候補は、１フレームの画像において複数検出される場合もある。そして、複数の白線候補から、公知のパターンマッチングにより、車線境界線を検出する。さらに車線境界線のエッジから、周知のモデルに基づき、複数の走行レーンを推定する。

ステップ１４では、前記ステップ１３で推定した複数の走行レーンの中から、後述するステップ１５で使用する走行レーンを決定する。
ステップ１５では、前記ステップ１４で決定した走行レーンに基づき、周知のモデルのいずれかを用いて、道路パラメータを推定する。モデルとしては、カルマンフィルタ、円弧回帰、直線回帰、クロソイド回帰等が挙げられる。モデルは、制御の状態に応じて変更してもよい。道路パラメータとは、以下のものである。

オフセット：警報制御の場合は、自車両の前輪から、検出した走行レーンまでの距離。逸脱を回避する方向への操舵処理の場合は、所定時間後における自車両の前輪の予測位置から、検出した走行レーンまでの距離。

ヨー角：警報制御の場合は、自車両の進行方向と、前輪の位置における走行レーンの長手方向とが成す角度。逸脱を回避する方向への操舵処理や平行制御処理の場合は、自車両の進行方向と、所定時間所定時間後における自車両の前輪の予測位置における走行レーンの長手方向とが成す角度。

カーブＲ：警報制御の場合は、自車両の前輪の位置における走行レーンの曲率。逸脱を回避する方向への操舵処理や平行制御処理の場合は、所定時間所定時間後における自車両の前輪の予測位置における走行レーンの曲率。

次に、前記ステップ１４の走行レーン決定処理を図４に基づいて説明する。図４のステップ２１では、環境条件を取得する。この環境条件には、夜間であるか否か、自車両前方に横断歩道、急カーブ、カーブ出口、片側線、かすれている白線等が存在するか否か、自車両がピッチングをしている状態にあるか否か、検出した走行レーンの線種が破線であるか否か等がある。

夜間であるか否か又はかすれている白線は、車載カメラ７で撮影した画像の輝度や路面とのコントラストにより判断できる。横断歩道、片側線は、車載カメラ７で撮影した画像において画像認識処理を行うことで判断できる。また、急カーブ、カーブ出口、かすれている白線等は、過去に検出した走行レーンから判断できる。また、急カーブ、カーブ出口は、ステアリングＳｇの角度からも判断できる。また、検出した走行レーンの線種が破線であるか否かについては、走行レーン上に存在するエッジ点の数が所定値以下であれば破線であると判断できる。

ステップ２２では、前記ステップ２１で取得した環境条件が、予め設定された特定の環境条件であるか否かを判断する。ここで、特定の環境条件とは、以下の(i)〜(iv)のいずれかに該当する条件である。なお、この特定の環境条件は、走行レーンの誤認識が生じ易い条件の一例である。
(i)夜間である。
(ii) 自車両前方に横断歩道、急カーブ、カーブ出口、片側線、かすれている白線等が存在すること。
(iii)自車両がピッチングをしている状態にあること。
(iv)検出した走行レーンの線種が破線であること。

特定の環境条件である場合はステップ２３に進み、特定の環境条件ではない場合はステップ２７に進む。
ステップ２３では、制御処理（逸脱抑制処理、平行制御処理）の実行状態（その時点で実行しているか否か）を取得する。

ステップ２４では、前記ステップ２３で取得した制御処理の実行状態に応じて、除外条件を決定する。除外条件とは、具体的には以下の（Ａ）、（Ｂ）である。ここで、（Ａ）は逸脱抑制処理を実行中の場合の除外条件であり、（Ｂ）は平行制御処理を実行中の場合の除外条件である。
（Ａ）過去に検出した走行レーン又は過去に検出した走行レーンから予測した走行レーンよりも、所定の閾値Ｘ₂以上、内側にずれていること。
（Ｂ）過去に検出した走行レーン又は過去に検出した走行レーンから予測した走行レーンよりも、所定の閾値Ｘ₃以上、外側にずれていること。

なお、いずれの制御処理も実行していない場合は、除外条件を決定しない。
ステップ２５では前記ステップ２４に記載した閾値Ｘ₂、Ｘ₃を設定する。その閾値は前記ステップ２１で取得した環境条件に応じて設定することができる。なお、閾値Ｘ₂、Ｘ₃は距離又は角度に関する閾値である。

ステップ２６では、前記ステップ１３で推定した、複数の走行レーンの中から、前記ステップ２４で決定した除外条件に該当する走行レーンを除外する。例えば、前記ステップ２３で逸脱抑制処理を実行中であると判断した場合、前記ステップ２４で記載した（Ａ）に従い、過去に検出した走行レーン又は過去に検出した走行レーンから予測した走行レーンよりも、所定の閾値Ｘ₂以上、内側にずれている走行レーンを除外する。

また、前記ステップ２３で平行制御処理を実行中であると判断した場合、前記ステップ２４で記載した（Ｂ）に従い、過去に検出した走行レーン又は過去に検出した走行レーンから予測した走行レーンよりも、所定の閾値Ｘ₃以上、外側にずれている走行レーンを除外する。

ステップ２７では、前記ステップ２６における除外の後に残った走行レーンの中から、走行レーンの輝度や走行レーンのパターン等の車線らしさに基づき、走行レーンを決定する。なお、ここで決定された走行レーンが前記ステップ３の処理で使用される。前記ステップ２６における除外により、全ての走行レーンが除外された場合は、前回のステップ１４にて決定した走行レーンを用いる。

３．車線境界線逸脱抑制装置１が奏する効果
（１）車線境界線逸脱抑制装置１は、自車両が走行レーンから逸脱するか否かを判定し、逸脱すると判定した場合はブザー発生部１１により音声（車線逸脱警報）を発し、逸脱抑制処理を実行することができる。そのことにより自車両が走行レーンから逸脱することを抑制できる。また、車線境界線逸脱抑制装置１は、平行制御処理を実行し、自車両を走行レーンに沿って走行させることができる。

（２）前記ステップ１３において、誤認識等により、図５（１）に示すように、自車両１０１の前方に存在する実際の走行レーン１０３よりも内側に走行レーン１０５を検出した場合、仮に、その検出した走行レーン１０５を用いて前記ステップ３の逸脱抑制処理を実行すると、実際には自車両１０１が走行レーン１０３から逸脱する危険がないにも係わらず、逸脱する危険があると判断し、不要な逸脱抑制処理が実行されてしまう。

この点に関し、車線境界線逸脱抑制装置１は、前記ステップ２３〜２６において、逸脱抑制処理又は平行制御処理の実行状態に応じて定まる除外条件に該当する走行レーンは使用しないことで、上述した問題を回避することができる。

（３）前記ステップ１３において、誤認識等により、図５（２）に示すように、自車両１０１の前方に存在する実際の走行レーン１０３よりも外側において走行レーン１０５を検出した場合、仮に、その検出した走行レーン１０５を用いて前記ステップ３の平行制御処理を実行すると、実際よりも外側に検出した走行レーンと自車両の進行方向とが平行になるように平行制御処理を実行する結果、急激な操舵が生じてしまう。

この点に関し、車線境界線逸脱抑制装置１は、前記ステップ２３〜２６において、逸脱抑制処理又は平行制御処理の実行状態に応じて定まる除外条件に該当する走行レーンは使用しないことで、上述した問題を回避することができる。

（４）車線境界線逸脱抑制装置１は、環境条件が特定の環境条件である場合（走行レーンの検出においてノイズが生じやすく、走行レーンの誤検出が生じ易い場合）に、前記ステップ２３〜２６の処理を実行し、環境条件が特定の環境条件でない場合は、前記ステップ２３〜２６の処理を省略して、前記ステップ２７に進む。そのことにより、車線境界線逸脱抑制装置１が実行する処理を簡略化できる。
＜第２の実施形態＞
本実施形態における車線境界線逸脱抑制装置１の構成及び実行する処理は、基本的には前記第１の実施形態と同様である。ただし、本実施形態では前記ステップ２６における除外により、全ての走行レーンが除外された場合は、走行レーンを無しとする（すなわちロストとする）処理を行う。ロストとした場合は、車線逸脱警報の発音、及び平行制御処理（前記ステップ３）は実行されない。

本実施形態の車線境界線逸脱抑制装置１も、前記第１の実施形態と略同様の効果を奏することができる。
尚、本発明は前記実施形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。

例えば、前記第１、第２の実施形態において、前記ステップ２１、２２の処理は無くてもよい。すなわち、環境条件によらず、前記ステップ２３〜２６の処理を実行してもよい。

また、前記第１、第２の実施形態の前記ステップ２４において、走行レーンと比較する対象は、２回以上前の前記ステップ１４で決定した走行レーンであってもよい。
また、前記第１の実施形態の前記ステップ２７では、前記ステップ２６における除外により、全ての走行レーンが除外された場合、２回以上前の前記ステップ１４で検出した走行レーンを決定してもよい。

また、前記第１、第２の実施形態において、左右一対の走行レーンのうち、一方の走行レーンについて前記ステップ１４の走行レーン決定処理を行い、他方の走行レーンについては、前記ステップ１３で検出した走行レーンの中から、上述した除外の処理を行うことなく、所定の基準に従って走行レーンを決定してもよい。

この場合、例えば、左右一対の走行レーンのうち、前回検出した走行レーンに対する走行レーンのずれ量が大きい方を、前記一方の走行レーンとすることができる。
また、左右一対の走行レーンの片方が破線である場合、ノイズが生じ易い破線（例えば破線の走行レーン）の走行レーンを前記一方の走行レーンとすることができる。

１…車線境界線逸脱抑制装置、３…車速センサ、５…ヨーセンサ、
７…車載カメラ、９…操舵トルク印加部、１１…ブザー発生部、
１３…メータ表示部、１５…制御部、１７…画像認識部、
１９…走行軌跡算出部、２１…メイン制御部、１０１…自車両、
１０３、１０５…走行レーン

Claims (2)

1. 自車両前方の路面を撮影して路面画像を取得する画像取得手段（７、１５、１７、Ｓ２、Ｓ１１）と、
   前記画像取得手段により取得した路面画像からエッジ点を抽出するエッジ点抽出手段（１５、１７、Ｓ２、Ｓ１２）と、
   前記エッジ点抽出手段により抽出したエッジ点に基づいて車線境界線を検出する車線境界線検出手段（１５、１７、Ｓ２、Ｓ１３）と、
   前記車線境界線のエッジより複数の走行レーンを推定する走行レーン推定手段（１５、１７、Ｓ２、Ｓ１３）と、
   前記複数の走行レーンの中から予め設定された選択基準により使用する走行レーンを決定する走行レーン決定手段（１５、２１、Ｓ２、Ｓ１４、Ｓ２１−Ｓ２７）と、
   前記走行レーン決定手段により決定した走行レーンに基づき自車両が前記走行レーンから逸脱するか否かを判定する判定手段（１５、２１、Ｓ３）と、
   自車両が前記走行レーンから逸脱すると前記判定手段が判定した場合に、警報の出力、又は当該逸脱を回避する方向への自車両の操舵を制御する逸脱抑制手段（１５、２１、Ｓ３）と、
   前記走行レーン決定手段により決定した走行レーンに沿って自車両が走行するように自車両の操舵を制御する平行制御手段（１５、２１、Ｓ３）と、
   予め設定された環境条件を検出する環境条件検出手段（７、１５、１７、Ｓ２１）と、
   を備え、
   前記選択基準は、前記逸脱抑制手段又は前記平行制御手段の実行状態に応じて予め設定された除外条件に該当しない前記複数の走行レーンの中から前記走行レーンを決定するものであり、
   前記除外条件は、前記環境条件検出手段の検出結果に応じて異なることを特徴とする車線境界線逸脱抑制装置（１）。
2. 画像取得手段（７、１７、Ｓ２、Ｓ１１）が、自車両前方の路面を撮影して路面画像を取得し、
   エッジ点抽出手段（１７、Ｓ２、Ｓ１２）が、前記画像取得手段により取得した路面画像からエッジ点を抽出し、
   車線境界線検出手段（１７、Ｓ２、Ｓ１３）が、前記エッジ点抽出手段により抽出したエッジ点に基づいて車線境界線を検出し、
   走行レーン推定手段（１７、Ｓ２、Ｓ１３）が、前記車線境界線のエッジより複数の走行レーンを推定し、
   走行レーン決定手段（２１、Ｓ２、Ｓ１４、Ｓ２１−Ｓ２７）が、前記複数の走行レーンの中から予め設定された選択基準により使用する走行レーンを決定し、
   判定手段（２１、Ｓ３）が、前記走行レーン決定手段により決定した走行レーンに基づき自車両が前記走行レーンから逸脱するか否かを判定し、
   逸脱抑制手段（２１、Ｓ３）が、自車両が前記走行レーンから逸脱すると前記判定手段が判定した場合に、所定の警報の出力、又は当該逸脱を回避する方向への自車両の操舵を制御し、
   平行制御手段（２１、Ｓ３）が、前記走行レーン決定手段により決定した走行レーンに沿って自車両が走行するように自車両の操舵を制御し、
   環境条件検出手段（７、１７、Ｓ２１）が、予め設定された環境条件を検出し、
   前記選択基準は、前記逸脱抑制手段又は前記平行制御手段の実行状態に応じて予め設定された除外条件に該当しない前記複数の走行レーンの中から前記走行レーンを決定するものであり、
   前記除外条件は、前記環境条件検出手段の検出結果に応じて異なることを特徴とする車線境界線逸脱抑制方法。

Images