JP4721278B2 - 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置 - Google Patents

Description

本発明は、車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置に係り、特に、自車両前方の撮像画像から種々の情報を検出しそれに基づいてドライバの車線逸脱の意思を判定する車線逸脱判定装置およびそれを用いた車線逸脱防止装置および車線追従支援装置に関する。

近年、乗用車等の車両が走行レーンの左右いずれかの車線を逸脱することを予め防止するためのキープレーン技術の開発が進んでいる。このようなキープレーン技術としては、車線逸脱の可能性を判定して逸脱回避制御を行う装置のほか、自車両が現在走行中の走行レーンに沿って走行するように自動的に制御する車線追従支援装置の開発も進められている（例えば、特許文献１等参照）。

なお、本発明で、車線とは、追い越し禁止線等の道路中央線や車両通行帯境界線、路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線をいい、走行レーンとは、車線と車線との間の車両が走行する車両通行帯をいう。

逸脱回避制御や車線追従制御においては、通常、車両が走行レーンを逸脱しないようにすなわち左右の車線を逸脱しないように制御が行われる。しかし、自車両前方に駐車車両や走行レーンを横断する歩行者がある場合、ドライバがそれらを避けようと走行レーンを逸脱するようにステアリングホイールを操作すると、走行レーンに引き戻すように制御が加わるため走行が不安定になり危険性が増す。また、ドライバが意図して車線を逸脱しようとしている場合に逸脱警報が鳴動すると煩わしさを感じてしまう。

そのため、このような問題を解消するために、例えば、特許文献２では、ドライバが方向指示器を操作した場合には逸脱警報の出力を中止する車線逸脱警報装置が提案されている。また、特許文献３では、前方に駐車車両がある場合にはその分だけ自車両の左右の車線位置を仮想的にずらし、その仮想的な車線に基づいて逸脱回避制御を行う車線逸脱防止装置が提案されている。
特開２００３−１６５９３号公報 特開平９−２９５５２５号公報 特開２００５−３２４７８２号公報

しかしながら、特許文献２に記載の車線逸脱警報装置に示されているように方向指示器の操作はドライバの車線逸脱の意思を明確化するものではあるが、駐車車両の横を通過する際などには方向指示器を操作しないドライバも多く、方向指示器の操作のみでドライバの車線逸脱意図を確実に判定することは困難である。

また、特許文献３に記載の車線逸脱防止装置のように、自車両の左右の車線位置を仮想的にずらすことは駐車車両との衝突回避には有効であるが、先行車両や対向車両の有無や横断歩行者の有無、片側１車線である場合や複数車線である場合、道路脇の障害物がドアが開く可能性がある駐車車両ではなく電柱等である場合など、自車両の走行環境や道路状況が種々であり、一律に車線位置を仮想的にずらすことが必ずしも有効であるとは限らない。

逸脱回避制御や車線追従制御においては、走行レーンに障害物がある場合などにドライバが意図的に車線を逸脱して危険を回避する場合に、それを妨害しないように制御を停止するなどの措置が必要である。そのためには意図的な車線逸脱の可能性があるかないかを的確に判定することが重要となる。そして、その判定に基づいて逸脱警報の鳴動を中止したり逸脱回避制御等を中断したりすれば、ドライバの意図に反して逸脱警報が鳴動して煩わしさを感じたり意図に反して制御を行って走行が不安定になったりすることを防止することが可能となる。

本発明は、このような事情に鑑みてなされたものであり、自車両の走行の障害となる走行レーン上の立体物を確実に検出して、ドライバが意図的に車線を逸脱する可能性の有無を的確に判定可能な車線逸脱判定装置を提供することを目的とする。また、このような車線逸脱判定装置を有効に用いた車線逸脱防止装置および車線追従支援装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、
車線逸脱判定装置において、
自車両前方の道路を含む風景を撮像して画素ごとに輝度値を有する一対の画像を出力する撮像手段と、
前記撮像された一対の画像に基づいて少なくとも一方の画像の各画素について実空間における距離を算出する画像処理手段と、
前記輝度値および前記距離の情報に基づいて前記一方の画像から車線候補点を検出して前記車線候補点に基づいて自車両の左右の車線位置を検出する車線検出手段と、
前記輝度値および前記距離の情報に基づいて前記一方の画像から立体物を検出する立体物検出手段と、
前記距離の情報に基づいて算出した前記立体物の左右端とそれぞれ対応する側の車線位置との間隔に基づいてドライバが意図的に車線を逸脱する可能性があるか否かを判定する判定手段と
を備え、
前記判定手段は、自車両と立体物との距離が遠くなるに従って狭くなるように前記立体物の端部と車線位置との間に確保されるべき間隔の閾値を設定し、前記立体物の端部と前記車線位置との間隔を算出し、前記間隔が前記閾値未満であればドライバが意図的に当該側の車線を逸脱する可能性があると判定することを特徴とする。

第２の発明は、第１の発明の車線逸脱判定装置において、前記立体物検出手段は、前記画像処理手段により算出された前記一対の画像の各画素についての距離のうち、道路面より高い位置に存在すると位置付けられる距離に基づいて前記画素に対応する実空間上の点を１つの立体物に属する点としてグループ化し、各グループの左右端を前記立体物の左右端として出力することを特徴とする。

第３の発明は、第１の発明の車線逸脱判定装置において、前記判定手段は、自車両の速度が速くなるほど前記閾値を拡大することを特徴とする。

第４の発明は、第１または第３の発明の車線逸脱判定装置において、
前記一方の画像中から人を検出する人検出手段を備え、
前記判定手段は、前記立体物が前記人検出手段により人であると検出された場合には、その立体物に対する前記閾値を拡大することを特徴とする。

第５の発明は、第１から第４のいずれかの発明の車線逸脱判定装置において、
先行車を検出する先行車検出手段を備え、
前記判定手段は、前記一方の画像のうち、前記先行車が撮像されている領域を除外した領域に存在する前記立体物に対して判定を行うことを特徴とする。

第６の発明は、車線逸脱防止装置において、
第１から第５のいずれかの発明の車線逸脱判定装置と、
検出された車線位置に基づいて自車両が車線を逸脱する可能性があると判断した場合には、警報を発し、または逸脱を回避するように自車両を制御する制御装置と
を備え、
前記制御装置は、前記車線逸脱判定装置によりドライバが意図的に車線を逸脱する可能性があると判定された場合には、警報を停止し、または逸脱する可能性があると判定された車線について逸脱回避制御を停止することを特徴とする。

第７の発明は、車線追従支援装置において、
第１から第５のいずれかの発明の車線逸脱判定装置と、
検出された車線位置に追従するように自車両を制御する制御装置と
を備え、
前記制御装置は、前記車線逸脱判定装置によりドライバが意図的に車線を逸脱する可能性があると判定された場合には、車線追従制御を停止することを特徴とする。

第１の発明によれば、ステレオ撮像により得られた一対の画像に基づいて自車両から一方の画像上に撮像された立体物や車線までの距離を正確に検出することが可能となる。そして、正確に検出された距離の情報に基づいて自車両の左右の車線位置や立体物の検出を行うことでそれらの位置を正確に検出することが可能となる。また、それにより立体物の端部と車線位置との間隔を正確に算出することが可能となる。

そのため、自車両と立体物との距離が遠くなるに従って狭くなるように立体物の端部と車線位置との間に確保されるべき間隔の閾値を適切に設定し、立体物の端部と車線位置との間隔と閾値とを比較して、前記間隔が閾値未満であればドライバが意図的に車線を逸脱する可能性が高いと判定するように構成することでドライバの意図を的確に判定することが可能となる。ステレオ撮像においても自車両から立体物までの距離が遠くなるほど、通常、その立体物に対応する実空間上の点の検出精度が悪くなる。そのため、仮に閾値をいずれの立体物に対しても同じ値に設定した場合、自車両から距離が遠い立体物については実際には閾値が広めに設定されたことと同じ効果をもたらす場合がある。このような場合、自車両から距離が遠い位置に立体物が検出されると容易にドライバによる意図的な逸脱の可能性があると判定されて、例えばその車線に対する逸脱回避制御が停止されてしまうが好ましくない。そのため、第１の発明のように閾値を自車両と立体物との距離が遠くなるに従って狭くなるように設定することで、前記事態の発生を防止することが可能となる。

第２の発明によれば、１つの立体物に属する実空間上の点をグループ化し、各グループの左右端を立体物の左右端とすることで、実空間上の位置や距離が正確に検出された点に基づいて前記間隔を算出することが可能となり、前記発明の効果がより精度良く発揮されるとともに、生データを用いることで処理速度の向上を図ることが可能となる。

第３の発明によれば、自車両の車速が遅い場合には閾値を小さくして逸脱の可能性の判定を行い難くし、車速が速い場合には閾値を拡大して逸脱の可能性の判定を行い易くすることで、車速が速い場合には障害物との間隔をあけてその横を通過したいというドライバの感覚に適合するように判定を行うことが可能となり、前記各発明の効果がより効果的に発揮される。

第４の発明によれば、自車両の走行レーン中に歩行者等の人が検出された場合に、その人に対する閾値を拡大することで、人に対してはより大きく間隔をあけてその横を通過したいというドライバの感覚に適合するように判定を行うことが可能となり、前記各発明の効果がより効果的に発揮される。

第５の発明によれば、自車両と同一の走行レーンを自車両と同一の方向に走行する先行車が存在しても、通常、ドライバはその先行車を避けるために意図的に車線を逸脱することはない。しかし、先行車を判定の対象とすると、先行車がある場合には常に左右の車線を逸脱する可能性があると誤判定してしまう。

そのため、先行車がある場合には先行車を判定の対象から除外することで前記誤判定を防止してより適切に判定処理を行うことが可能となり、前記各発明の効果をより適切に発揮することが可能となる。

第６の発明によれば、車線位置に基づいて自車両が車線を逸脱する可能性があると判断した場合に警報を発しまたは逸脱を回避するように自車両を制御する制御装置を備えた車線逸脱防止装置において、制御装置を、車線逸脱判定装置からドライバが意図的に車線を逸脱する可能性がある旨の信号が送信されてきた場合には、警報を停止し、または逸脱する可能性があると判定された車線について逸脱回避制御を停止するように構成することが可能となる。

前記各発明の車線逸脱判定装置は前記のようにドライバが意図的に車線を逸脱する可能性を的確に判定することができるため、このように構成することで、ドライバが意図的に車線を逸脱しようとしている場合に、警報の鳴動が的確に停止されるから、意図に反して逸脱警報が鳴動してドライバが煩わしさを感じることを防止することが可能となる。また、車線を逸脱しようとしている場合に的確に逸脱回避制御が停止されるから、ドライバの意図に反して自車両が元の走行レーンに引き戻されるように制御され走行が不安定になることを防止することが可能となる。

第７の発明によれば、検出された車線位置に追従するように自車両を制御する制御装置を備えた車線追従支援装置において、制御装置を、車線逸脱判定装置からドライバが意図的に車線を逸脱する可能性がある旨の信号が送信されてきた場合には車線追従制御を停止するように構成することが可能となる。

前記各発明の車線逸脱判定装置は前記のようにドライバが意図的に車線を逸脱する可能性を的確に判定することができるため、このように構成することで、ドライバが意図的に車線を逸脱しようとしている場合には的確に車線追従制御が停止されるから、ドライバの意図に反して自車両が元の走行レーンに引き戻されるように制御され走行が不安定になることを防止することが可能となる。

以下、本発明に係る車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置の実施の形態について、図面を参照して説明する。

まず、車線逸脱判定装置について説明する。本実施形態に係る車線逸脱判定装置１は、図１に示すように、主に撮像手段２と、画像処理手段６と、検出手段９と、判定手段１０とで構成されている。

撮像手段２は、車両周辺を撮像するものであり、所定のサンプリング周期で車両前方の道路を含む風景を撮像して一対の画像を出力するように構成されている。本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵された一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。本実施形態では、メインカメラ２ａおよびサブカメラ２ｂにはＣＣＤカメラが用いられている。

メインカメラ２ａとサブカメラ２ｂは、例えば、ルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられている。前記一対のステレオカメラのうち、運転者に近い方のカメラが後述するように各画素について距離が算出され車線が検出される基となる画像を撮像するメインカメラ２ａ、運転者から遠い方のカメラが前記距離等を求めるために比較される画像を撮像するサブカメラ２ｂとされている。

メインカメラ２ａおよびサブカメラ２ｂには、変換手段３としてのＡ／Ｄコンバータ３ａ、３ｂがそれぞれ接続されている。Ａ／Ｄコンバータ３ａ、３ｂでは、メインカメラ２ａおよびサブカメラ２ｂから出力されてきた一対のアナログ画像がそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度値を有するデジタル画像に変換されるように構成されている。そして、前述した各画素について距離が算出され車線が検出される基となる画像から変換されたデジタル画像が基準画像として、また距離等を求めるために比較される画像から変換されたデジタル画像が比較画像として出力されるようになっている。

Ａ／Ｄコンバータ３ａ、３ｂには、画像補正部４が接続されている。画像補正部４では、Ａ／Ｄコンバータ３ａ、３ｂから出力されてきた基準画像および比較画像に対してメインカメラ２ａおよびサブカメラ２ｂの取付位置の誤差に起因するずれやノイズの除去等を含む輝度値の補正等の画像補正がアフィン変換等を用いて行われるようになっている。

なお、例えば、基準画像Ｔは図２に示されるような水平方向が５１２画素、垂直方向が２００画素分の輝度値からなる画像データとして、比較画像は図示を省略するが水平方向が６４０画素、垂直方向が２００画素分の輝度値からなる画像データとしてそれぞれ画像補正部４から出力されるように構成されている。また、それぞれの画像データは画像補正部４に接続された画像データメモリ５に格納され、同時に検出手段９に送信されるようになっている。

前述したように、本実施形態では、メインカメラ２ａ等にＣＣＤカメラが用いられている。メインカメラ２ａやサブカメラ２ｂは、自車両前方の風景を下側から順に水平方向にライン状に走査して撮像し、各水平ラインごとに撮像されたデータを順次変換手段３に送信する。そして、変換手段３で送信させてきた水平ラインの各画素ごとに撮像データを所定の輝度階調の輝度値に変換され、画像補正部４で画像補正が行われた後、各水平ラインごとの画像データが画像データメモリ５に格納されると同時に検出手段９に順次送信されるようになっている。

また、画像データメモリ５には、メインカメラ２ａとサブカメラ２ｂから一定の時間間隔をおいて送信され、画像補正等を受けた画像のデジタルデータが時系列的に格納されるようになっている。

画像補正部４には、画像処理手段６が接続されており、画像処理手段６は、主に、イメージプロセッサ７と距離データメモリ８とで構成されている。

イメージプロセッサ７では、ステレオマッチング処理とフィルタリング処理により画像補正部４から出力された基準画像Ｔおよび比較画像のデジタルデータに基づいて基準画像Ｔの各画素または複数画素で構成するブロックからなる各設定領域について実空間における距離を算出するための視差ｄを算出するようになっている。この視差ｄの算出については、本願出願人により先に提出された特開平５−１１４０９９号公報に詳述されているが、以下、その要点を簡単に述べる。

イメージプロセッサ７は、５１２×２００画素を有する基準画像Ｔについて４×４画素の画素ブロックごとに１つの視差ｄを算出するようになっている。１つの画素ブロックを構成する１６画素には、前述したようにそれぞれ０〜２５５の輝度値ｐ１ijが割り当てられており、その１６画素の輝度値ｐ１ijがその画素ブロック特有の輝度値特性を形成している。

なお、輝度値ｐ１ijの添字ｉおよびｊは、基準画像Ｔの画像平面の左下隅を原点とし、水平方向をｉ座標軸、垂直方向をｊ座標軸とした場合の画素ブロックの左下隅の画素のｉ座標およびｊ座標を表す。また、比較画像については基準画像Ｔの原点に予め対応付けられた画素を原点として同様にｉ座標、ｊ座標を取る。

イメージプロセッサ７におけるステレオマッチング処理では、前記のように基準画像Ｔを４×４画素ごとに最大１２８×５０個の画素ブロックに分割し、比較画像を水平方向に延在する４画素幅の水平ラインに分割する。そして、基準画像Ｔの１つの画素ブロックを取り出してそれに対応する比較画像の水平ライン上を１画素ずつ水平方向、すなわちｉ方向にシフトさせながら下記（１）式で求められるシティブロック距離ＣＢが最小となる水平ライン上の画素ブロック、すなわち基準画像Ｔの画素ブロックと似た輝度値特性を有する比較画像上の画素ブロックを探索するようになっている。
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜ …（１）

なお、ｐ２ijは比較画像上の座標（ｉ，ｊ）の画素の輝度値を表す。また、本実施形態では、前述したように画像補正部４から水平ラインごとの画像データが出力されるため、イメージプロセッサ７では、水平ライン４本分の画像データが入力されるごとに前記４×４画素の画素ブロックに対するステレオマッチング処理を行うようになっている。

イメージプロセッサ７は、このようにして特定した比較画像上の画素ブロックともとの基準画像Ｔ上の画素ブロックとのずれ量を算出し、そのずれ量を視差ｄとして基準画像Ｔ上の画素ブロックに割り付けるようになっている。

この視差ｄは、前記メインカメラ２ａおよびサブカメラ２ｂの一定距離の離間に由来する基準画像Ｔおよび比較画像における同一物体の写像位置に関する水平方向の相対的なずれ量であり、メインカメラ２ａおよびサブカメラ２ｂの中央位置から物体までの距離と視差ｄとを三角測量の原理に基づいて対応付けることができる。

具体的には、実空間上で、メインカメラ２ａおよびサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にＸ軸、車高方向にＹ軸、車長方向すなわち距離方向にＺ軸を取ると、画像上の点（ｉ，ｊ，ｄ）から実空間上の点（Ｘ，Ｙ，Ｚ）への座標変換は下記の（２）〜（４）式に基づいて行われる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄ−ＤＰ）） …（４）

すなわち、メインカメラ２ａおよびサブカメラ２ｂの中央位置、正確には中央真下の道路面上の点から物体までの距離と視差ｄとは、前記（４）式のＺを距離とすることで一意に対応付けられる。ここで、ＣＤはメインカメラ２ａとサブカメラ２ｂとの間隔、ＰＷは１画素当たりの視野角、ＣＨはメインカメラ２ａとサブカメラ２ｂの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

また、イメージプロセッサ７は、視差ｄの信頼性を向上させる目的から、このようにして求めた視差ｄに対してフィルタリング処理を施し、有効とされた視差ｄのみを出力するようになっている。すなわち、例えば、車道の映像のみからなる特徴に乏しい４×４画素の画素ブロックを比較画像の４画素幅の水平ライン上で走査しても、比較画像の車道が撮像されている部分ではすべて相関が高くなり、対応する画素ブロックが特定されて視差ｄが算出されてもその視差ｄの信頼性は低い。そのため、そのような視差ｄは前記フィルタリング処理で無効とされ、視差ｄの値として０を出力するようになっている。

したがって、イメージプロセッサ７から出力される基準画像Ｔの各画素の距離Ｚ、すなわち基準画像Ｔの各画素ブロックについて実空間における距離を算出するための視差ｄは、通常、基準画像Ｔの左右方向に隣り合う画素間で輝度値ｐ１ijの差が大きいいわゆるエッジ部分についてのみ有効な値を持つデータとなる。

イメージプロセッサ７で算出された基準画像Ｔの各画素ブロックの視差ｄは距離データとして画像処理手段６の距離データメモリ８に格納されるようになっている。また、距離データメモリ８には、イメージプロセッサ７から一定の時間間隔をおいて送信されてくる距離データが時系列的に格納されるようになっている。

なお、検出手段９における処理では、基準画像Ｔの１つの画素ブロックは４×４個の画素として扱われ、１画素ブロックに属する１６個の画素は同一の視差ｄを有する独立した画素として処理されるようになっている。なお、以下、距離データメモリ８に記憶されている各画素に視差ｄが割り付けられた擬似画像を距離画像という。

検出手段９は、図３に示すように、車線検出手段９１と、立体物検出手段９２と、先行車検出手段９３と、人検出手段９４と、メモリ９５とを備えている。

また、検出手段９には、Ｉ／Ｏインターフェース９６を介して車速センサやヨーレートセンサ等のセンサ類Ａが接続されており、センサ類Ａから車速Ｖやヨーレートω等が入力されるようになっている。なお、ヨーレートセンサを用いる代わりに、例えば特開２００４−２４９８１２号公報に記載の車両運動モデル生成装置等のヨーレート推定装置を接続することも可能であり、その場合、検出手段９にはヨーレートωの推定値が入力される。

車線検出手段９１は、基準画像Ｔの各画素の輝度値ｐ１ijと各画素の実空間における距離Ｚijに基づいて基準画像Ｔ上に車線候補点を検出し、検出した車線候補点に基づいて自車両の左右の車線位置を検出するようになっている。

車線検出手段９１は、基準画像Ｔから車線位置を精度良く検出できるものであればよく、車線位置検出の手法は特定の手法に限定されない。本実施形態では、車線検出手段９１は特開２００１−９２９７０号公報に記載の車線認識装置をベースに構成されている。詳細な構成の説明は同公報に委ねるが、以下、簡単にその構成を説明する。

車線検出手段９１は、画像データメモリ５から基準画像Ｔの各画素の輝度値ｐ１ijの情報を読み出し、また、距離データメモリ８から距離画像の各画素の視差ｄの情報を読み出す。そして、基準画像Ｔ上の１画素幅の水平ラインｊ上を左右方向に１画素ずつオフセットしながら探索し、図４に示すように、基準画像Ｔの各画素の輝度値ｐ１ijに基づいて各画素の輝度微分値すなわちエッジ強度が閾値以上に大きく変化する等の条件を満たす画素を車線候補点（Ｉj，Ｊj）としてそれぞれ検出するようになっている。

その際、基準画像Ｔに対応する距離画像に割り付けられた各画素の視差ｄの情報に基づいて各画素の距離Ｚijを算出し、検出された画素が道路面上にない場合は除外し、車線候補点としては検出しないようになっている。

車線検出手段９１は、探索を行う水平ラインｊを基準画像Ｔの下側から上向きに１画素幅ずつオフセットさせながら順次車線候補点の検出を行い、図５に示すように、自車両の右側の領域Ａおよび左側の領域Ｂにそれぞれ車線候補点を検出する。そして、それらの中から整合性を取れない車線候補点を除外して残りの車線候補点を結ぶことで、図６に示すように基準画像Ｔ上で自車両の右側に右車線位置ＬＲを、左側に左車線位置ＬＬをそれぞれ検出するようになっている。左右の車線位置ＬＲ、ＬＬはそれぞれ実空間における車線位置ＬＲ、ＬＬにも変換されるようになっている。

なお、本実施形態では、車線検出手段９１は、検出された各車線候補点の座標を直線または曲線で近似して左右の車線位置ＬＲ、ＬＬを検出するようになっている。また、車線候補点が検出されていない自車両から遠方の領域についても、前記近似された直線や曲線に基づいて、或いは検出された車線候補点同士を結ぶ直線の傾きの変化率等に応じて検出された左右の車線位置ＬＲ、ＬＬを適切に延長して推定するようになっている。

また、車線候補点の探索は、基準画像Ｔ上に探索領域を設定して行われるようになっている。すなわち、今回の検出処理では、前回の検出処理で検出された車線位置に基づいてその車線位置を含む基準画像Ｔ上の一定の範囲に探索領域を設定する。また、今回の検出で基準画像Ｔの下側から上向きに水平ラインｊを１画素幅ずつオフセットさせながら順次画素の検出を行う際に、ある水平ラインｊで前記条件を満たす画素が検出されなかった場合には、次の水平ラインでは探索領域を拡大して車線候補点の探索を行うようになっている。

車線検出手段９１は、このようにして検出した左右の車線位置ＬＲ、ＬＬの情報をメモリ９５に保存するとともに、判定手段１０に送信するようになっている。

立体物検出手段９２は、距離画像の各画素の視差ｄから算出される実空間における距離Ｚijに基づいて基準画像Ｔ上に立体物を検出するようになっている。立体物検出手段９２は、道路面より高い位置に存在する立体物を精度良く検出できるものであればよく、検出の手法は特定の手法に限定されない。本実施形態では、立体物検出手段９２は特開平１０−２８３４７７号公報等に記載の車外監視装置をベースに構成されており、詳細な構成の説明は同公報に委ねる。以下、簡単にその構成を説明する。

立体物検出手段９２は、まず、距離データメモリ８から読み出した距離画像を所定の画素幅で垂直方向に延びる短冊状の区分に分割する。そして、短冊状の各区分に属する各画素の視差ｄから各画素について距離Ｚijを算出し、道路面より高い位置に存在すると位置付けられる距離Ｚijに関するヒストグラムを作成して、度数が最大の区間までの距離をその短冊状の区分に含まれる立体物の距離とする。これを全区分について行う。

例えば、図２に示した基準画像Ｔに対応する距離画像を短冊状の区分に分割して得られた各区分の距離を実空間上の点に変換すると、図７に示すように、立体物の自車両ＭＣに面した部分に対応する部分に多少バラツキを持って各点がプロットされる。

立体物検出手段９２は、図８に示すように、各点の距離や方向性に基づいて各点をグループＧ１〜Ｇ７にグループ化し、図９に示すように、各点が略Ｘ軸方向に並ぶグループには正面Ｏ１〜Ｏ３とラベルし、各点が略Ｚ軸方向に並ぶグループには側壁Ｗ１〜Ｗ４とラベルして、立体物を“正面”および“側壁”として検出するようになっている。

ここで、Ｘ軸方向とは自車両の進行方向に向かって垂直の車幅方向すなわち左右方向、Ｚ軸方向とは車長方向すなわち前後方向をいい、原点はメインカメラ２ａおよびサブカメラ２ｂの中央位置の真下の道路面上の点にとられる。なお、Ｙ軸方向は車高方向すなわち上下方向をいう。

立体物検出手段９２は、図９中の正面Ｏ１と側壁Ｗ１のように、“正面”と“側壁”とがそれぞれ１つの立体物に属する場合には、“正面”と“側壁”との組み合わせを立体物Ｓとして認識し、正面Ｏ１と側壁Ｗ１との境目のような立体物の角部をコーナー点Ｃとして算出するように構成されている。

このようにして検出された正面Ｏ、側壁Ｗおよび立体物Ｓを枠線で囲うようにして基準画像Ｔに重ねて表示させた場合には、図１０に示すような画像として表示される。

立体物検出手段９２は、このようにして検出した立体物Ｓや正面Ｏ、側壁Ｗの情報および正面Ｏとラベルされたグループの左端および右端の位置、側壁Ｗとラベルされたグループの距離方向の中間位置をメモリ９５に保存するとともに、判定手段１０に送信するようになっている。

先行車検出手段９３は、基準画像Ｔ中から先行車を検出するようになっている。本実施形態では、先行車とは自車両と同一の走行レーンを自車両と同一の方向に走行する車両をいい、例えば、自車両と同一の方向に走行する車両であっても自車両とは別の走行レーンを走行する車両は含まれず、また、同一の走行レーン内にあっても停止した先行車以外の停車・駐車車両は含まれない。

なお、先行車検出手段９３は、基準画像Ｔ中から先行車を検出できるものであればよく、検出の手法は特定の手法に限定されない。本実施形態では、先行車検出手段９３は特開２００６−４７０５７号公報等に記載の車外監視装置をベースに構成されており、詳細な構成の説明は同公報に委ねる。以下、簡単にその構成を説明する。

本実施形態の先行車検出手段９３には、レーダ手段Ｂとしてミリ波送受信装置が接続されている。レーダ手段Ｂは自車両の先端に設けられ、例えば３０ＧＨｚから１００ＧＨｚの電波を自車両前方に送信して、反射されて戻ってくる電波を受信して送受信データを先行車検出手段９３に送信するようになっている。

先行車検出手段９３は、レーダ手段Ｂから送信されてくる送受信データに基づいて電波が先行車を含む目標に反射されて戻ってくるまでの時間差を計測し、自車両から目標までの相対距離を算出するようになっている。そして、距離の分布状態から、同一の距離の値が連続する部分を１つの立体物として抽出し、メモリ９５に記録するようになっている。

そして、メモリ９５から前回抽出された立体物のデータを読み出して、今回抽出した立体物と同一である確率を求め、確率が予め設定された閾値以上であれば今回抽出したデータで立体物のデータを更新して立体物として継続登録する。また、対応する過去のデータがない場合には新たな立体物として登録するようになっている。

また、先行車検出手段９３は、立体物検出手段９２が検出した立体物Ｓ等の情報をメモリ９５から読み出して、レーダ手段Ｂからのデータに基づいて登録した立体物のデータと対照し、立体物を、立体物検出手段９２のみにより検出された立体物、レーダ手段Ｂのみにより抽出された立体物、および両者の組み合わせによる立体物に分類する。そして、立体物の確認処理を行い、立体物が虚像か否かを判定するようになっている。

なお、これらの立体物の情報には、当該立体物と自車両との距離すなわちＺ座標、横方向の位置すなわちＸ座標、当該立体物の道路面に対する速度、当該立体物の横方向の幅等の情報が含まれている。

先行車検出手段９３は、これらの情報をメモリ９５に保存するとともに、判定手段１０に送信するようになっている。

人検出手段９４は、基準画像Ｔ中から歩行者等の人を検出するようになっている。なお、人検出手段９４は、歩行者等の人を検出できるものであればよく、検出の手法は特定の手法に限定されない。本実施形態では、人検出手段９４は、本出願人らの出願に係る特願２００４−３２１９２７に記載の移動物体検出装置等をベースに構成されている。以下、簡単にその構成を説明する。

人検出手段９４は、まず、画像データメモリ５から今回撮像された基準画像Ｔtと１フレーム前の基準画像Ｔt-1とを読み出して、イメージプロセッサ７での処理と同様に基準画像Ｔt、Ｔt-1に対してステレオマッチング処理を行い、基準画像Ｔtの例えば図１１に示すような４×４画素の画素ブロックＰＢijについて前記（１）式に示されるシティブロック距離ＣＢが最小となる基準画像Ｔt-1の画素ブロックを探索して、基準画像上の位置的な変化量、すなわちｉ方向およびｊ方向のオプティカルフローΔｉ、Δｊをそれぞれ検出するようになっている。

また、人検出手段９４は、距離データメモリ８から基準画像Ｔt、Ｔt-1に対応する２つの距離画像を読み出し、同様にして、基準画像上の画素ブロックＰＢijに対応する位置の視差ｄtを今回撮像された基準画像Ｔtに対応する距離画像から読み取る。そして、１フレーム前の画素ブロックに対応する位置の視差ｄt-1を１フレーム前の基準画像Ｔt-1に対応する距離画像から読み取って、その差から視差ｄ方向のオプティカルフローΔｄを検出するようになっている。

なお、視差方向は距離方向と同義である。また、１フレーム前の基準画像Ｔt-1やそれに対応する距離画像を用いる代わりに、例えば、数フレーム前の基準画像等を用いることも可能である。

人検出手段９４は、さらに、図１１に示したように、メモリ９５から立体物検出手段９２によって検出された立体物Ｓや正面Ｏのデータを読み出す。そして、各立体物Ｓｎの“正面”の部分Ｏｎの左端のｉ座標ｉｎＬと右端のｉ座標ｉｎＲ、および各立体物Ｓｎのグループ内の視差の平均値や最頻値等で表されるグループを代表する視差ｄｎを各立体物Ｓｎに対応付けるようになっている。

そして、人検出手段９４は、各立体物ＳｎのデータｉｎＬ、ｉｎＲ、ｄｎに基づいて、各立体物Ｓｎに属する基準画像上の画素ブロックＰＢijを特定し、それらの画素ブロックＰＢijのオプティカルフローΔｉ、Δｊ、Δｄに基づいて各立体物Ｓｎの三次元移動成分フローを算出するようになっている。

ここで、オプティカルフローΔｉ、Δｊ、Δｄは、自車両自体の移動の際に静止物体に対して観測される見かけ成分フローＦst_i、Ｆst_j、Ｆst_dと、各立体物Ｓｎの地面に対する実質的な移動成分である三次元移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dとの和で表されるから、各立体物Ｓｎの三次元移動成分フローは、下記（５）式〜（７）式で示される。

また、見かけ成分フローＦst_i、Ｆst_j、Ｆst_dは、それぞれセンサ類Ａの車速センサやヨーレートセンサから入力される自車両の車速Ｖおよびヨーレートωを用いて、下記（８）式〜（１０）式から求められる。

ここで、前記各式において、ｆはメインカメラ２ａおよびサブカメラ２ｂの焦点距離、Ｌはメインカメラ２ａとサブカメラ２ｂとの距離、Ｗｉはｉ方向の撮像素子ピッチを表す。また、前記各式において、ｉおよびｊは、基準画像における無限遠点を原点としたときのｉ座標およびｊ座標に変換された値が用いられる。

人検出手段９４は、立体物Ｓｎに属するすべての画素ブロックＰＢijについて三次元移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dを算出し、三次元移動成分フローの各方向成分フローについてそれぞれ最頻値を求めて、その立体物Ｓｎの三次元代表移動成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄとするようになっている。

人検出手段９４は、このようにして算出した各立体物Ｓｎの三次元代表移動成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄに基づいて、各立体物Ｓｎがそれぞれ移動しているか静止しているかを判定するようになっている。具体的には、人検出手段９４は、各立体物Ｓｎに属する画素ブロック群の三次元代表移動成分フローの各方向成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄについて所定の閾値との比較を行い、３つの方向成分フローのうちの１つでも閾値を超えている場合にはその立体物Ｓｎは移動物体であると判定し、３つの方向成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄのすべてが閾値以下である場合にはその立体物Ｓｎは静止物体であると判定するようになっている。

人検出手段９４は、同時に、図１２に示すような画素ブロックＰＢijが属する立体物Ｓｎの番号ｎの分布を示す立体物番号マップＭｓと、図１３に示すような画素ブロックＰＢijについて算出された三次元移動成分フローの各移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dのそれぞれの分布を示す移動成分フローマップＭｉ、Ｍｊ、Ｍｄとを生成するようになっている。

そして、人検出手段９４は、生成した移動成分フローマップＭｉ、Ｍｊ、Ｍｄに基づいて同一立体物Ｓｎに属する画素ブロック群のうち移動成分フローＦmv_i、Ｆmv_j、Ｆmv_dの差が所定の閾値よりも大きな画素ブロック群を異なる立体物Ｓnewとして分離するようになっている。

具体的には、図１１や図１２、１３の立体物Ｓ２について説明すると、人検出手段９４は、立体物番号マップＭｓにおいて、図１４に示すように、立体物Ｓ２を縦方向に延びる列単位のブロック列Ｒ１〜Ｒ８に分割し、移動成分フローマップＭｉを参照して各ブロック列Ｒ１〜Ｒ８のそれぞれについてブロック列に属するブロックＢijの移動成分フローＦmv_iの平均値Ｆｒ１〜Ｆｒ８を算出する。そして、図１５に示すように、隣接するブロック列の移動成分フローＦmv_iの平均値が近似するブロック列同士をグループＧ１〜Ｇ３にグループ化し、それぞれのグループ毎に移動成分フローＦmv_iの平均値Ｆｇ１〜Ｆｇ３を算出するようになっている。

そして、人検出手段９４は、例えば図１５におけるグループＧ１およびグループＧ３のように、前記移動成分フローＦmv_iの平均値の差が設定された所定の閾値よりも小さいグループ同士を同一の立体物Ｓ２と判定して１つのグループにまとめ、移動成分フローＦmv_iの平均値の差が前記所定の閾値よりも大きなグループＧ２を別の新たな立体物Ｓnewとして立体物Ｓ２から分離し、図１６に示すように立体物Ｓnewに新たな番号を付すようになっている。なお、図１１には立体物Ｓ１〜Ｓ３が示されているので、図１６では、立体物Ｏnewには新たな番号として４が付され、立体物Ｓ４とされている。

人検出手段９４は、他の移動成分フローＦmv_j、Ｆmv_dについても同様に処理し、新たな立体物Ｓnewがある場合には、立体物Ｓｎから分離するようになっている。また、人検出手段９４は、新たな立体物Ｓnewを含むすべての立体物Ｓｎについて、立体物Ｓｎに属するすべての画素ブロックＰＢijの三次元移動成分フローの各方向成分フローについてそれぞれ最頻値を求めて、その立体物Ｓｎの三次元代表移動成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄを算出するようになっている。

人検出手段９４は、このようにして歩行者等の人を検出するようになっている。人検出手段９４は、各立体物Ｓｎについての三次元代表移動成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄ等をメモリ９５に保存するとともに、判定手段１０に送信するようになっている。

判定手段１０は、図１７に示すフローチャートに従って、条件に応じて立体物の左右端と左右の車線位置との間に確保されるべき間隔の閾値を設定し、当該車線の車線位置と立体物の当該端との間隔が閾値未満であればドライバが意図的に該当側の車線を逸脱する可能性があると判定するようになっている。

具体的には、判定手段１０は、自車両から非常に遠方の立体物に対してドライバの車線逸脱の意図を判定する必要はないので、まず、どの範囲の立体物について判定を行うかを区画する立体物位置チェック最大距離Ｚmaxをセットする（ステップＳ１）。最大距離Ｚmaxは、本実施形態では自車両の前方７０ｍの範囲に設定される。

なお、この立体物位置チェック最大距離Ｚmaxを、本実施形態のように例えば７０ｍに区切らずに、車線位置ＬＲ、ＬＬが検出されている距離とし、車線位置ＬＲ、ＬＬが検出されている距離までに存在する立体物Ｓｎに対して判定を行うように構成することも可能である。このように構成すれば、左右の車線位置が検出されている距離までに存在する立体物に対して判定処理を行うことで、位置が正確に検出された車線位置に基づいて立体物との間隔を算出することが可能となる。

続いて、判定手段１０は、先行車検出手段９３から送信されてきた先行車の情報に基づいて自車両の前方の最大距離Ｚmax内に先行車があるか否かを判断するようになっている（ステップＳ２）。そして、例えば図１８に示すように、最大距離Ｚmax内に先行車Ｖaがある場合には（ステップＳ２：ＹＥＳ）、基準画像Ｔのうち先行車Ｖaが撮像されている領域Ｓaを分離するようになっている（ステップＳ３）。

領域Ｓaについては前記立体物位置チェック最大距離Ｚmaxを短くして先行車Ｖaの手前の距離までに存在する立体物のみを対象とするようになっている。本実施形態では、先行車Ｖaが撮像されている領域Ｓaでは、最大距離Ｚmaxは自車両と先行車Ｖaとの距離の３／４までの距離に設定されるようになっている。

自車両と同一の走行レーンを自車両と同一の方向に走行する先行車Ｖaが存在しても、通常、ドライバはその先行車Ｖaを避けるために意図的に車線を逸脱することはない。それにもかかわらず、先行車Ｖaを他の避けるべき立体物と同様に判定の対象として下記のフローを適用すると、先行車Ｖaがある場合には常に左右の車線を逸脱する可能性があると誤判定してしまう。それを回避するためである。また、上記のように、先行車Ｖaが撮像されている領域Ｓaでは最大距離Ｚmaxを自車両と先行車Ｖaとの距離の３／４までの距離に設定したように、先行車が撮像されている領域については先行車の手前の距離までの立体物に対して判定を行うように構成することで、処理の負荷をより低減することが可能となる。

従って、以下の処理では、先行車Ｖaは立体物には含まれない。なお、前記領域Ｓa以外の領域では、立体物位置チェック最大距離Ｚmaxは最初の設定通り、例えば自車両の前方７０ｍである。

なお、基準画像Ｔ中の先行車Ｖaが撮像されている領域すなわち図１８で先行車Ｖaを囲む矩形状の領域以外の領域に存在する立体物Ｓｎに対してはすべて判定を行うように構成することも可能である。

また、本実施形態では、判定手段１０は、先行車Ｖaが右車線位置ＬＲまたは左車線位置ＬＬを跨ぐ際に先行車Ｖaを通常の立体物Ｓｎとみなして他の立体物Ｓｎと同様に判定の対象とするようになっている。しかし、先行車Ｖaが跨いだ車線位置と同じ車線位置を自車両も跨ぐ場合、すなわち自車両のドライバが意図的に逸脱する可能性があるとして判定された車線を先行車Ｖaが跨ぐ場合には、先行車Ｖaを引き続き判定の対象から除外するようになっている。これは、先行車が車線変更等により自車両の走行レーンから退出する場合には、もはや前記のように先行車として判定の対象から除外する必要がなくなるから、先行車だった車両を通常の立体物として判定の対象とするが、例えば、走行レーン中に障害物があり、それを避けるために自車両も先行車も車線を逸脱する場合には、先行車を引き続き判定の対象から除外する方がよいためである。

判定手段１０は、続いて、図１９に示すような立体物検出手段９２により検出された立体物Ｓｎや正面Ｏｎ、側壁Ｗｎのすべてについてチェックを終えていない場合は（ステップＳ４：ＮＯ）、各立体物Ｓｎや正面Ｏｎ、側壁Ｗｎごとに以下の判定処理を行うようになっている。なお、図１９に示すように、以下、立体物Ｓｎ、正面Ｏｎ、側壁Ｗｎをまとめて立体物Ｓｎという。また、立体物Ｓｎの検出には、先行車検出手段９３や人検出手段９４の検出結果も参照される。

判定手段１０は、立体物Ｓｎを選択すると、その立体物Ｓｎが立体物位置チェック最大距離Ｚmax以内にあるか否かを判断し（ステップＳ５）、その立体物Ｓｎが立体物位置チェック最大距離Ｚmax以内になければ（ステップＳ５：ＮＯ）、その立体物Ｓｎについての判定処理を終了し、次の立体物Ｓｎに移行するようになっている。

また、判定手段１０は、選択した立体物Ｓｎが立体物位置チェック最大距離Ｚmax以内にあれば（ステップＳ５：ＹＥＳ）、車線検出手段９１で自車両の左右に車線位置ＬＲ、ＬＬが検出されたか否かを判断し（ステップＳ６）、左右の車線位置ＬＲ、ＬＬが検出されていれば（ステップＳ６：ＹＥＳ）、第１間隔判定処理を行うようになっている（ステップＳ７）。

第１間隔判定処理（ステップＳ７）では、判定手段１０は、図２０に示すように、立体物検出手段９２から送信されたその立体物Ｓｎに属するグループの左右端の位置と左右の車線位置ＬＲ、ＬＬの位置とを比較して（ステップＳ７１）、その立体物Ｓｎが左右の車線位置ＬＲ、ＬＬの間にあるか否かを判断するようになっている（ステップＳ７２）。

前述したように、左右の車線位置ＬＲ、ＬＬは、車線検出手段９１により各車線候補点の座標、近似された直線の傾きと切片、或いは近似された曲線の係数等として与えられている。そのため、本実施形態では、実空間上で例えば図８に示すように算出された立体物Ｓｎに属するグループＧｎの左端の座標と、左車線位置ＬＬの対応する位置の座標すなわち立体物Ｓｎに属するグループＧｎの左端の座標（Ｘ，Ｙ，Ｚ）のＺ座標と同じＺ座標の位置の左車線位置ＬＬの座標を算出し、同様にして立体物Ｓｎに属するグループＧｎの右端の座標のＺ座標と同じＺ座標の位置の右車線位置ＬＲの座標を算出する。また、それぞれグループＧｎの左端と左車線位置ＬＬとの間隔および右端と右車線位置ＬＲとの間隔を算出する。

そして、グループＧｎの左端が左車線位置ＬＬより右側であり右端が右車線位置ＬＲより左側であれば、すなわちグループＧｎの左端のＸ座標が左車線位置ＬＬのＸ座標より大きく右端のＸ座標が右車線位置ＬＲのＸ座標より小さければ、その立体物Ｓｎが左右の車線位置ＬＲ、ＬＬの間にあると判断するようになっている。なお、グループＧｎの左右端を用いる代わりに、例えば人検出手段９４で算出した各立体物Ｓｎの左端のｉ座標ｉｎＬと右端のｉ座標ｉｎＲとを用いることも可能である。

判定手段１０は、その立体物Ｓｎが左右の車線位置ＬＲ、ＬＬの間にあると判断すると（ステップＳ７２：ＹＥＳ）、算出したグループＧｎの右端に対応する右車線位置ＬＲの座標とグループＧｎの左端に対応する左車線位置ＬＬの座標とから立体物Ｓｎの位置における自車両の走行レーンの中央位置の座標を算出するようになっている（ステップＳ７３）。

そして、図２１（Ａ）に示すようにグループＧｎの左右端がともに走行レーンの中央より左側にあれば、すなわちグループＧｎの左右端のＸ座標がともに走行レーンの中央位置のＸ座標より小さければ、その立体物Ｓｎが走行レーンの中央より左寄りすなわち左側に位置すると判断し（ステップＳ７４：ＹＥＳ）、ドライバが意図的に逸脱する可能性がある車線をその反対側の右車線であると判定してフラグ１をたてて、その立体物Ｓｎに属するグループＧｎの右端と右車線位置ＬＲとの間隔を図示しないメモリに保存する（ステップＳ７５）。

また、判定手段１０は、その立体物Ｓｎが左右の車線位置ＬＲ、ＬＬの間にあり（ステップＳ７２：ＹＥＳ）、その立体物Ｓｎが走行レーンの中央より左側に位置しておらず（ステップＳ７４：ＮＯ）、図２１（Ｂ）に示すようにグループＧｎの左右端がともに走行レーンの中央より右側にあり、その立体物Ｓｎが走行レーンの中央より右寄りすなわち右側に位置すると判断すると（ステップＳ７６：ＹＥＳ）、ドライバが意図的に逸脱する可能性がある車線をその反対側の左車線であると判定する。そして、フラグ２をたて、その立体物Ｓｎに属するグループＧｎの左端と左車線位置ＬＬとの間隔をメモリに保存する（ステップＳ７７）。

さらに、判定手段１０は、図２１（Ｃ）に示すようにグループＧｎの左右端の間に自車両の走行レーンの中央が存在し、その立体物Ｓｎが走行レーンの中央より左側にも右側にも位置しないと判断した場合には（ステップＳ７５：ＮＯ）、ドライバが意図的に逸脱する可能性がある車線を左右いずれかの車線であると判定してフラグ３をたて、その立体物Ｓｎに属するグループＧｎの右端と右車線位置ＬＲとの間隔および左端と左車線位置ＬＬとの間隔をそれぞれメモリに保存するようになっている（ステップＳ７８）。本実施形態の車線逸脱判定装置１では、このように、立体物が自車両の走行レーンの右寄りにあるか左寄りにあるか、或いは中央にあるかを精度良く検出できるため、ドライバが、立体物が自車両の走行レーンの右寄りにある場合には左車線を、左寄りにある場合には右車線を、走行レーンの中央にある場合には左右いずれかの車線を逸脱する可能性が高いと適切に判定することが可能となり、逸脱する車線を適切に特定することが可能となる。

判定手段１０は、立体物Ｓｎが左右の車線位置ＬＲ、ＬＬの間にあるか否かの判断（ステップＳ７２）において、その立体物Ｓｎが左右の車線位置ＬＲ、ＬＬの間にないと判断すると（ステップＳ７２：ＮＯ）、立体物Ｓｎに属するグループＧｎの右端が右車線位置ＬＲより左側にあれば（ステップＳ７９：ＹＥＳ）グループＧｎの左端は左車線位置ＬＲより左側にあるから、ドライバが意図的に逸脱する可能性がある車線を右車線であると判定してフラグ１をたて、その立体物Ｓｎに属するグループＧｎの右端と右車線位置ＬＲとの間隔をメモリに保存する（ステップＳ８０）。

また、判定手段１０は、その立体物Ｓｎが左右の車線位置ＬＲ、ＬＬの間になく（ステップＳ７２：ＮＯ）、立体物Ｓｎに属するグループＧｎの右端の座標が右車線位置ＬＲより左側になく（ステップＳ７９：ＮＯ）、左端の座標が左車線位置ＬＬより右側にあれば（ステップＳ８１：ＹＥＳ）、ドライバが意図的に逸脱する可能性がある車線を左車線であると判定してフラグ２をたて、その立体物Ｓｎに属するグループＧｎの左端と左車線位置ＬＬとの間隔をメモリに保存するようになっている（ステップＳ８２）。

なお、前記いずれの場合（ステップＳ７５、Ｓ７７、Ｓ７８、Ｓ８０、Ｓ８２）においても、同一の立体物Ｓｎに属し側壁Ｗｎに分類されるグループＧｎがある場合は、そのグループＧｎについて立体物検出手段９２から送信されてきた距離方向の中間位置と右車線位置ＬＲとの間隔を算出してメモリに保存するようになっている。また、中間位置と右車線位置ＬＲとの間隔の代わりに或いはそれとともに側壁Ｗｎに分類されたグループＧｎ中の自車両に最も近い点や自車両から最も遠い点と右車線位置ＬＲとの間隔を算出して保存してもよい。

一方、判定手段１０は、その立体物Ｓｎが左右の車線位置ＬＲ、ＬＬの間になく（ステップＳ７２：ＮＯ）、立体物Ｓｎに属するグループＧｎの右端の座標が右車線位置ＬＲより左側になく（ステップＳ７８：ＮＯ）、さらに左端の座標が左車線位置ＬＬより右側にもなければ（ステップＳ８０：ＮＯ）、立体物Ｓｎが左右の車線位置ＬＲ、ＬＬに跨っていると判断するようになっている。

この場合、本実施形態では、判定手段１０は、ドライバが意図的に左右いずれかの車線を逸脱する可能性が高いと判定して、メモリに「左」および「右」を表す値を保存し、第１間隔判定処理（ステップＳ７）を終了するようになっている。本実施形態の車線逸脱判定装置１では、このように、立体物が左右の車線位置に跨って存在していることを精度良く検出できるため、そのような場合にはドライバは左右いずれかの車線を逸脱する可能性が高いと適切に判定することが可能となる。

さらに、図１７のフローチャートの後述する閾値セット処理（ステップＳ１２）以下の処理を行わずにその立体物Ｓｎについての処理を終了し、次の立体物Ｓｎがあればその立体物Ｓｎについて処理を行う（ステップＳ４：ＮＯ）。また、すべての立体物Ｓｎについてチェックを終えていれば（ステップＳ４：ＹＥＳ）ドライバが意図的に逸脱する可能性が高いのは左右両方の車線である旨を装置外に出力するようになっている。

なお、判定手段１０がドライバが意図的に左右いずれかの車線を逸脱する可能性が高いと判定した時点で、メモリに「左」および「右」を表す値を保存し、ドライバが意図的に逸脱する可能性が高いのは左右両方の車線である旨を装置外に出力して、すべての処理を終了するように構成することも可能である。

また、判定手段１０は、図１７のフローチャートにおいて、車線検出手段９１で自車両の左側または右側に車線位置ＬＲ、ＬＬが検出されなかった場合には（ステップＳ６：ＮＯ）、自車両の右側に右車線位置ＬＲが検出されていれば（ステップＳ８：ＹＥＳ）、第２間隔判定処理を行うようになっている（ステップＳ９）。

第２間隔判定処理（ステップＳ９）では、判定手段１０は、図２２に示すように、立体物Ｓｎの右端が右車線位置ＬＲより左側に位置するか否かを判断し（ステップＳ９１）、左側に位置する場合には（ステップＳ９１：ＹＥＳ）、その立体物Ｓｎの左端が右車線位置ＬＲから走行レーンの道幅の半分だけ左側に離れた位置、すなわちいわば仮想的な走行レーンの中央より左側に位置するか否かを判断するようになっている（ステップＳ９２）。

この場合、走行レーンの道幅は、それまでに検出された左右の車線位置ＬＲ、ＬＬの間隔の平均値等を用いてもよく、また、走行レーンの一般的な道幅を予め記憶させておいてもよい。

判定手段１０は、その立体物Ｓｎの左端が右車線位置ＬＲから走行レーンの道幅の半分だけ左側に離れた位置より左側に位置すると判断すると（ステップＳ９２：ＹＥＳ）、ドライバが意図的に逸脱する可能性がある車線を右車線であると判定してフラグ１をたて、その立体物Ｓｎに属するグループＧｎの右端と右車線位置ＬＲとの間隔をメモリに保存する（ステップＳ９３）。

ステップＳ９１、Ｓ９２をともに満たす場合は、前記第１間隔判定処理（ステップＳ７）において立体物Ｓｎが左右の車線位置ＬＲ、ＬＬの間にあって図２１（Ａ）に示したように走行レーンの中央より左側に位置する場合や図２１（Ｃ）に示したように中央を跨いでいる場合、或いは立体物Ｓｎが左右の車線位置ＬＲ、ＬＬの間になく右車線位置ＬＲより左にある場合（ステップＳ７９：ＹＥＳ）に相当する。そのため、検出された右車線をドライバが意図的に逸脱する可能性があると判断される。本実施形態の車線逸脱判定装置１では、このように、車線検出手段により片方の車線位置しか検出できていない場合でも、その検出されている車線をドライバが逸脱する可能性があるか否かを判定することが可能となる。

また、前記条件（ステップＳ９１、Ｓ９２）を１つでも満たさない場合は、図１７のフローチャートの後述する閾値セット処理（ステップＳ１２）以下の処理を行わずにその立体物Ｓｎについての処理を終了し、次の立体物Ｓｎがあればその立体物Ｓｎについて処理に移るようになっている（ステップＳ４）。

判定手段１０は、図１７のフローチャートにおいて、車線検出手段９１で自車両の左側または右側に車線位置ＬＲ、ＬＬが検出されておらず（ステップＳ６：ＮＯ）、自車両の右側に右車線位置ＬＲが検出されていなければ（ステップＳ８：ＮＯ）、自車両の左側に左車線位置ＬＬが検出されているか否かを判断する（ステップＳ１０）。

そして、自車両の左側に左車線位置ＬＬが検出されていれば（ステップＳ１０：ＹＥＳ）、第３間隔判定処理を行うようになっている（ステップＳ１１）。

第３間隔判定処理（ステップＳ１１）では、判定手段１０は、図２３に示すように、前記第２間隔判定処理（ステップＳ９）と同様の処理を行うようになっている。すなわち、判定手段１０は、立体物Ｓｎの左端が左車線位置ＬＬより右側に位置するか否かを判断し（ステップＳ１１１）、右側に位置する場合には（ステップＳ１１１：ＹＥＳ）、その立体物Ｓｎの右端が左車線位置ＬＬから走行レーンの道幅の半分だけ右側に離れた位置、すなわちいわば仮想的な走行レーンの中央より右側に位置するか否かを判断するようになっている（ステップＳ１１２）。

そして、その立体物Ｓｎの右端が左車線位置ＬＬから走行レーンの道幅の半分だけ右側に離れた位置より右側に位置すると判断すると（ステップＳ１１２：ＹＥＳ）、ドライバが意図的に逸脱する可能性がある車線を左車線であると判定してフラグ２をたて、その立体物Ｓｎに属するグループＧｎの左端と左車線位置ＬＬとの間隔をメモリに保存するようになっている（ステップＳ１１３）。

また、前記条件（ステップＳ１１１、Ｓ１１２）を１つでも満たさない場合は、図１７のフローチャートの後述する閾値セット処理（ステップＳ１２）以下の処理を行わずにその立体物Ｓｎについての処理を終了し、次の立体物Ｓｎがあればその立体物Ｓｎについて処理に移るようになっている（ステップＳ４）。

判定手段１０は、図１７のフローチャートにおいて、自車両の右側に右車線位置ＬＲが検出されておらず（ステップＳ８：ＮＯ）、自車両の左側に左車線位置ＬＬが検出されていない場合には（ステップＳ１０：ＮＯ）、その立体物Ｓｎについての処理を終了し、次の立体物Ｓｎがあればその立体物Ｓｎについて処理に移るようになっている（ステップＳ４）。

判定手段１０は、第１、第２および第３の間隔判定処理（ステップＳ７、Ｓ９、Ｓ１１）で、ドライバが意図的に逸脱する可能性がある車線が右側や左側或いは両方の車線であると判定してフラグをたてると、続いて、閾値セット処理（ステップＳ１２）を行うようになっている。

この閾値は、自車両が左右の車線を逸脱しないで立体物の横を通過する場合に立体物Ｓｎの左右端と左右の車線位置ＬＲ、ＬＬとの間に最低限確保されるべき間隔であり、車線逸脱の可能性の有無の判定基準となる。そして、立体物の左右端と左右の車線位置ＬＲ、ＬＬとの間に確保されるべき間隔は、種々の条件に応じて異なるため、この閾値セット処理（ステップＳ１２）において種々の条件を想定してセットされるようになっている。

閾値セット処理（ステップＳ１２）では、判定手段１０は、前記第１、第２および第３の間隔判定処理（ステップＳ７、Ｓ９、Ｓ１１）でたてたメモリに基づいて閾値をセットすべき車線位置ＬＲ、ＬＬを決定する。すなわち、フラグが１であれば右車線位置ＬＲ、フラグが２であれば左車線位置ＬＬ、フラグが３であれば両方と決める。

そして、図２４に示すように、まず、基準となる閾値の設定を行うようになっている（ステップＳ１２１）。本実施形態では、基準となる閾値として、自車両の車幅以上の値を設定する。このように、閾値を自車両の車幅以上の値に設定すれば、少なくとも前方の立体物と衝突することなく立体物の横を通過する際に車線を逸脱するか否かを判定することが可能となり、本発明の効果が的確に発揮される。そして、本実施形態では、原則的に自車両の車幅に１ｍを加算した値が設定されるようになっている。これは、立体物の横を通過する際に自車両と立体物との間隔が最低限１ｍは必要であることを意味する。

しかし、自車両から立体物Ｓｎまでの距離が遠くなればなるほど、図８に示した各グループＧｎに属する実空間上の点のＸ座標の精度が悪くなる。また、ドライバによる意図的な逸脱の可能性の判定はレーンキープ制御等の自動制御の解除等につながることから、自車両から立体物Ｓｎまでの距離が遠い場合には、フェールセーフの観点から逸脱の可能性の判定を行い難くなるように構成することが好ましい。

そのため、本実施形態では、自車両に近い立体物Ｓｎに対しては基準となる閾値を広く設定し、自車両と立体物Ｓｎとの距離が遠くなるに従って基準となる閾値が狭くなるように設定するようになっている。具体的には、基準となる閾値を、自車両の１０ｍ程度前方では自車両の車幅に１ｍを加算した値に設定し、自車両と立体物Ｓｎとの距離に比例して基準となる閾値が狭くなるように設定し、前記立体物位置チェック最大距離Ｚmaxで自車両の車幅とほぼ同じ値が設定されるようになっている。

判定手段１０は、続いて、人検出手段９４による検出結果から、現在処理の対象としている立体物Ｓｎが歩行者等の人か否かを判断し（ステップＳ１２２）、立体物Ｓｎが人であれば（ステップＳ１２２：ＹＥＳ）、前記のように設定された閾値をさらに拡大するようになっている（ステップＳ１２３）。本実施形態では、立体物Ｓｎが人である場合には、閾値を前記基準となる閾値からさらに１ｍ拡大するようになっている。

また、判定手段１０は、立体物検出手段９２により経時的に検出された立体物Ｓｎの位置変化からその立体物Ｓｎの移動速度を算出し、算出した移動速度に応じてその立体物に対する閾値を変更するようになっている（ステップＳ１２４）。

具体的には、例えば図２５に示すように、自車両の走行レーンの前方左寄りに歩行者等の立体物Ｓｎが検出されると、ドライバが意図的に逸脱する可能性がある車線を右車線であると判定して、現時点で立体物Ｓｎの右端と右車線位置ＬＲとの間に確保されるべき間隔として基準となる閾値ＴＨ０が設定される。

しかし、立体物Ｓｎが例えば図２５に示すように走行レーンの内側に入り込むように移動する場合、自車両ＭＣが立体物Ｓｎの横を通過する際には、立体物Ｓｎの位置は図中破線で示されるように走行レーンのより中央側に変化している。その際にも立体物Ｓｎからの閾値ＴＨ０が要求される。そのため、現時点での車線逸脱の可能性の判定基準となる閾値をその移動距離分だけ変更しておく必要がある。

本実施形態では、判定手段１０は、自車両ＭＣと立体物Ｓｎとの距離を車速センサから入力される自車両ＭＣの速度Ｖで除して自車両ＭＣが立体物Ｓｎの位置に到達するまでの時間を算出する。また、前記のように立体物Ｓｎの移動速度を算出し、算出した移動速度と時間とを乗算することで立体物Ｓｎの移動距離を算出する。そして、基準となる閾値ＴＨ０にその移動距離を加算して現時点における閾値ＴＨ１に変更するようになっている。

また、判定手段１０は、例えば図２６に示すように、自車両の走行レーンの前方左寄りに歩行者等の立体物Ｓｎが検出され、その立体物Ｓｎが走行レーンの外側に出て行くように移動する場合には、設定された基準となる閾値ＴＨ０に算出した立体物Ｓｎの移動距離を減算して閾値ＴＨ１に変更するようになっている。このように、立体物が走行レーンから出て行く場合には車線逸脱の可能性は低下し、立体物が走行レーンの中央に向かって進入してくる場合にはより車線逸脱の可能性は向上するため、立体物の移動速度に応じて閾値を拡大したり縮小したりして変更することで、よりドライバの感覚に適合するように判定を行うことが可能となる。

なお、この立体物Ｓｎの位置変化の検出および移動距離の算出に、人検出手段９４で算出されたその立体物Ｓｎの三次元代表移動成分フローＦｎｉ、Ｆｎｊ、Ｆｎｄを用いることも可能である。

判定手段１０は、続いて、自車両の車速Ｖに応じて閾値を拡大するようになっている（ステップＳ１２５）。具体的には、本実施形態では、判定手段１０は、設定された値以上の車速Ｖでは、速度Ｖの変化率に比例して閾値を拡大するようになっている。

判定手段１０は、以上のようにして閾値セット処理（図１７のステップＳ１２）を終了すると、メモリに保存したその立体物Ｓｎに属するグループＧｎの右端と右車線位置ＬＲとの間隔や左端と左車線位置ＬＬとの間隔を読み出してセットした閾値と比較し、閾値より小さいか否かを判断するようになっている（ステップＳ１３）。

そして、その立体物Ｓｎに属するグループＧｎの右端と右車線位置ＬＲとの間隔や左端と左車線位置ＬＬとの間隔が閾値未満であると判断すると（ステップＳ１３：ＹＥＳ）、フラグが１であればドライバが意図的に右側の車線を逸脱する可能性が高いと判定して（ステップＳ１４）、メモリに「右」を表す値を保存するようになっている。

同様に、フラグが２であればドライバが意図的に左側の車線を逸脱する可能性が高いと判定してメモリに「右」を表す値を保存し、フラグが３であればドライバが意図的に左右いずれかの車線を逸脱する可能性が高いと判定してメモリに「右」および「左」を表す値を保存するようになっている。

判定手段１０は、以上の処理をすべての立体物Ｓｎについて行い（ステップＳ４：ＹＥＳ）、メモリに保存された「右」や「左」を表す値に基づいてドライバが意図的に逸脱する可能性が高いのは右側、左側、或いは左右両方の車線である旨を装置外に出力して、すべての処理を終了するようになっている。

次に、本実施形態に係る車線逸脱判定装置１の作用について説明する。

車線逸脱判定装置１では、撮像手段２により例えば図２７に示すような自車両前方を撮像した基準画像Ｔおよび図示しない比較画像が得られると、画像処理手段６により図２８に示すような距離画像Ｉｄが得られる。なお、図２８の距離画像Ｉｄでは、視差ｄが０より大きい画素が黒く、視差ｄが０である画素が白く表現されている。

検出手段９の各手段９１〜９４は、これらの基準画像Ｔや距離画像Ｉｄに基づいて基準画像Ｔ中から車線位置や立体物等を検出するようになっている。この場合、立体物Ｓｎとしては電柱やガードレール、生垣等が検出されるが、自車両のドライバが意図的に車線を逸脱する可能性の判定の主な対象となるのは、自車両の最も近くに撮像されている駐車車両Ｓｎである。

判定手段１０は、図１７に示した判定処理のフローチャートに従って処理を行う。この場合、右車線位置は検出されるが左車線位置は検出されないので、右車線位置のみを検出した場合（ステップＳ８：ＹＥＳ）の処理に従い、第２間隔判定処理（ステップＳ９）を行う。

すなわち、判定手段１０は、図２９に示すように、駐車車両である立体物Ｓｎの右端が右車線位置ＬＲより左側に位置し（図２２のステップＳ９１：ＹＥＳ）、その立体物Ｓｎの左端が右車線位置ＬＲから走行レーンの道幅Ｐの半分Ｐ／２だけ左側に離れた位置より左側に位置する（ステップＳ９２：ＹＥＳ）から、ドライバが意図的に逸脱する可能性がある車線を右車線であると判定する（ステップＳ９３）。そして、立体物Ｓｎの右端と右車線位置ＬＲとの間隔Ｑを算出する。

続いて、判定手段１０は、閾値セット処理（図１７のステップＳ１２）で、まず、自車両の車幅プラス１ｍの基準閾値ＴＨ０を設定し（図２４のステップＳ１２１）、立体物Ｓｎは人ではなく（ステップＳ１２２：ＮＯ）、立体物の位置変化はないからステップＳ１２４をスキップして、車速Ｖに応じて基準閾値ＴＨ０を拡大して閾値ＴＨを設定する。

そして、判定手段１０は、立体物Ｓｎの右端と右車線位置ＬＲとの間隔Ｑと閾値ＴＨとを比較して、この場合、間隔Ｑが閾値ＴＨより小さいから（図１７のステップＳ１３：ＹＥＳ）、メモリに「右」を表す値を保存する。

判定手段１０は、すべての立体物Ｓｎについて処理を行い（ステップＳ４：ＹＥＳ）、この場合は、メモリには「右」を表す値が保存されているから、ドライバが意図的に逸脱する可能性が高いのは右側の車線である旨を装置外に出力する。

以上のように、本実施形態に係る車線逸脱判定装置１によれば、一対のメインカメラ２ａおよびサブカメラ２ｂによるステレオ撮像により得られた一対の基準画像Ｔと比較画像とに基づいて基準画像Ｔ上に撮像された立体物や車線までの距離を正確に検出することが可能となる。

そして、正確に検出された距離の情報に基づいて自車両の左右の車線位置ＬＲ、ＬＬや立体物Ｓｎの検出を行うことでそれらの位置を正確に検出することが可能となる。また、それにより立体物Ｓｎの端部と車線位置ＬＲ、ＬＬとの間隔を正確に算出することが可能となる。

そのため、自車両の車幅等を考慮して立体物Ｓｎの端部と車線位置ＬＲ、ＬＬとの間に確保されるべき間隔の閾値を適切に設定し、立体物Ｓｎの端部と車線位置ＬＲ、ＬＬとの間隔と閾値とを比較して、前記間隔が閾値未満であればドライバが意図的に車線を逸脱する可能性が高いと判定するように構成することでドライバの意図を的確に判定することが可能となる。

また、障害となる立体物の走行レーンにおける位置取りに基づいてドライバの意図を判定することで、ドライバが意図的に逸脱する可能性が高い車線が右車線であるか、左車線であるか、或いは左右いずれかであるかを適切に判定することが可能となる。

さらに、立体物Ｓｎの端部と車線位置ＬＲ、ＬＬとの間に確保されるべき間隔の閾値を道路環境や走行状況等に応じて可変とすることで、ドライバの車線逸脱の意図をより的確に把握して判定することが可能となる。

次に、本実施形態に係る車線逸脱判定装置１を用いた車線逸脱防止装置および車線追従支援装置について説明する。本実施形態に係る車線逸脱判定装置１は、以上のようにドライバが意図的に車線を逸脱する可能性を的確に判定することができるものであるから、車線逸脱防止装置や車線追従支援装置に適用することが可能である。

図示を省略するが、例えば、自車両が左右いずれかの車線位置ＬＲ、ＬＬを逸脱する可能性があると判断した場合に接続された警報装置から警報を発するように指示を出す制御装置を有する公知の車線逸脱防止装置において、本実施形態に係る車線逸脱判定装置１を前記制御装置に接続し、制御装置を、車線逸脱判定装置からドライバが意図的に車線を逸脱する可能性がある旨の信号が送信されてきた場合には、警報を発することを停止するように構成することが可能である。

このように構成すれば、ドライバが意図的に車線を逸脱しようとしている場合には警報の鳴動が停止されるから、意図に反して逸脱警報が鳴動してドライバが煩わしさを感じることを防止することが可能となる。

また、例えば、自車両が左右いずれかの車線位置ＬＲ、ＬＬを逸脱する可能性があると判断した場合に自動的に自車両を走行レーンに引き戻して逸脱を回避するように自車両を制御する制御装置を有する公知の車線逸脱防止装置において、本実施形態に係る車線逸脱判定装置１を前記制御装置に接続し、制御装置を、車線逸脱判定装置からドライバが意図的に車線を逸脱する可能性がある旨の信号が送信されてきた場合には、逸脱回避制御を停止するように構成することが可能である。

このように構成すれば、ドライバが意図的に車線を逸脱しようとしている場合には逸脱回避制御が停止されるから、ドライバの意図に反して自車両が元の走行レーンに引き戻されるように制御され、走行が不安定になることを防止することが可能となる。

さらに、例えば、検出された左右の車線位置ＬＲ、ＬＬを追従するように自車両を制御する制御装置を有する公知の車線追従支援装置において、本実施形態に係る車線逸脱判定装置１を前記制御装置に接続し、制御装置を、車線逸脱判定装置からドライバが意図的に車線を逸脱する可能性がある旨の信号が送信されてきた場合には車線追従制御を停止するように構成することが可能である。

このように構成すれば、ドライバが意図的に車線を逸脱しようとしている場合には車線追従制御が停止されるから、ドライバの意図に反して自車両が元の走行レーンに引き戻されるように制御され、走行が不安定になることを防止することが可能となる。

本実施形態に係る車線逸脱判定装置の構成を示すブロック図である。 基準画像の一例を示す図である。 本実施形態に係る検出手段の構成を示すブロック図である。 水平ラインｊ上に検出された車線候補点を説明する図である。 検出された車線候補点を示す図である。 最終的に検出された右車線位置および左車線位置を示す図である。 距離画像の各区分の距離を実空間上の点としてプロットした図である。 図７の各点をグループ化して形成された各グループを示す図である。 図８の各グループをラベルして検出された物体と側壁を示す図である。 物体や側壁を示す枠線を重ね合わせて表示した基準画像を示す図である。 人検出手段で認識された立体物を説明する図である。 立体物番号マップを説明する図である。 移動成分フローマップを説明する図である。 立体物をブロック列に分割した状態を示す図である。 ブロック列毎の移動成分フローの平均値のグラフである。 立体物から分離された新たな立体物を示す図である。 判定手段における判定処理の手順を示すフローチャートである。 先行車が撮像されている場合に分離される領域を説明する図である。 判定手段において判定処理の対象となる立体物等を表す図である。 判定手段における第１間隔判定処理の手順を示すフローチャートである。 （Ａ）はグループが左寄りの場合、（Ｂ）はグループが右寄りの場合、（Ｃ）はグループの左右端の間に走行レーンの中央が存在する場合を説明する図である。 判定手段における第２間隔判定処理の手順を示すフローチャートである。 判定手段における第３間隔判定処理の手順を示すフローチャートである。 判定手段における閾値セット処理の手順を示すフローチャートである。 走行レーンの内側に入り込む歩行者を表す図である。 走行レーンの外側に出て行く歩行者を表す図である。 基準画像の一例を示す図である。 図２７の基準画像に基づく距離画像を示す図である。 図２７の場合の立体物と右車線位置との間の間隔と閾値を表す図である。

符号の説明

１ 車線逸脱判定装置
２ 撮像手段
６ 画像処理手段
９１ 車線検出手段
９２ 立体物検出手段
９３ 先行車検出手段
９４ 人検出手段
１０ 判定手段
Ｔ 基準画像
ｐ１ij 輝度値
Ｖ 車速
Ｚij 距離
ＬＲ、ＬＬ 車線位置
ＭＣ 自車両
Ｇｎ グループ
Ｓｎ 立体物
Ｖa 先行車
Ｓa 先行車が撮像されている領域
Ｑ 立体物の端部と車線位置との間隔
ＴＨ 閾値
Ｐ 道幅

Claims (7)

1. 自車両前方の道路を含む風景を撮像して画素ごとに輝度値を有する一対の画像を出力する撮像手段と、
   前記撮像された一対の画像に基づいて少なくとも一方の画像の各画素について実空間における距離を算出する画像処理手段と、
   前記輝度値および前記距離の情報に基づいて前記一方の画像から車線候補点を検出して前記車線候補点に基づいて自車両の左右の車線位置を検出する車線検出手段と、
   前記輝度値および前記距離の情報に基づいて前記一方の画像から立体物を検出する立体物検出手段と、
   前記距離の情報に基づいて算出した前記立体物の左右端とそれぞれ対応する側の車線位置との間隔に基づいてドライバが意図的に車線を逸脱する可能性があるか否かを判定する判定手段と
   を備え、
   前記判定手段は、自車両と立体物との距離が遠くなるに従って狭くなるように前記立体物の端部と車線位置との間に確保されるべき間隔の閾値を設定し、前記立体物の端部と前記車線位置との間隔を算出し、前記間隔が前記閾値未満であればドライバが意図的に当該側の車線を逸脱する可能性があると判定することを特徴とする車線逸脱判定装置。
2. 前記立体物検出手段は、前記画像処理手段により算出された前記一対の画像の各画素についての距離のうち、道路面より高い位置に存在すると位置付けられる距離に基づいて前記画素に対応する実空間上の点を１つの立体物に属する点としてグループ化し、各グループの左右端を前記立体物の左右端として出力することを特徴とする請求項１に記載の車線逸脱判定装置。
3. 前記判定手段は、自車両の速度が速くなるほど前記閾値を拡大することを特徴とする請求項１に記載の車線逸脱判定装置。
4. 前記一方の画像中から人を検出する人検出手段を備え、
   前記判定手段は、前記立体物が前記人検出手段により人であると検出された場合には、その立体物に対する前記閾値を拡大することを特徴とする請求項１または請求項３に記載の車線逸脱判定装置。
5. 先行車を検出する先行車検出手段を備え、
   前記判定手段は、前記一方の画像のうち、前記先行車が撮像されている領域を除外した領域に存在する前記立体物に対して判定を行うことを特徴とする請求項１から請求項４いずれか一項に記載の車線逸脱判定装置。
6. 請求項１から請求項５のいずれか一項に記載の車線逸脱判定装置と、
   検出された車線位置に基づいて自車両が車線を逸脱する可能性があると判断した場合には、警報を発し、または逸脱を回避するように自車両を制御する制御装置と
   を備え、
   前記制御装置は、前記車線逸脱判定装置によりドライバが意図的に車線を逸脱する可能性があると判定された場合には、警報を停止し、または逸脱する可能性があると判定された車線について逸脱回避制御を停止することを特徴とする車線逸脱防止装置。
7. 請求項１から請求項５のいずれか一項に記載の車線逸脱判定装置と、
   検出された車線位置に追従するように自車両を制御する制御装置と
   を備え、
   前記制御装置は、前記車線逸脱判定装置によりドライバが意図的に車線を逸脱する可能性があると判定された場合には、車線追従制御を停止することを特徴とする車線追従支援装置。

Images