JP5631581B2 - 道路認識装置 - Google Patents

Description

本発明は、道路認識装置に係り、特に、道路面上に標示された車線や横断歩道を検出することが可能な道路認識装置に関する。

近年、自動車等の走行安全性の向上や車両の自動制御等に向けて、車載のカメラやビデオカメラで撮像した画像に画像処理を施して安全性向上や自動制御等の前提となる道路形状や道路標示等の認識を行う道路認識装置の開発が進められている。車両が走行している道路の形状等を認識するためには、自車両前方の道路面上に標示された追い越し禁止線や路側帯と車道とを区画する区画線等（以下、道路面上に標示された追い越し禁止線や区画線等を車線という。）の位置を検出することが重要となる。

車線検出では、撮像画像の画素の輝度に着目し、車道と車線とで画素の輝度が大きく異なることを利用して輝度が大きく変わる画素部分をエッジとして抽出することで車線を検出するように構成されていることが多い（例えば特許文献１参照）。

しかしながら、前記のようなカメラ情報に基づいた車線検出では、車線と似た輝度情報をもつ横断歩道等の道路標示を車線と誤検出してしまう可能性がある。つまり、車線の横幅の規格は１０ｃｍ〜２０ｃｍに設定されているが、実際の道路面上には５０ｃｍ程度の横幅の太い車線が標示されている場合があるため、車線検出において横幅の閾値を５０ｃｍ程度くらいまで拡大して設定すると、太さが５０ｃｍ程度の白線ブロックが繰り返し標示されている横断歩道まで車線として検出してしまう場合があった。また、検出する車線の横幅の閾値を２０ｃｍ程度まで狭めると、５０ｃｍ程度の広い横幅の車線を検出できなくなるという問題があった。

そこで、特許文献２に記載の道路認識装置では、カメラ等の撮像手段で撮像された画像上に設定された所定の１本の水平ライン（エピポーララインともいう。）上の各画素の輝度の繰り返しパターンを検出し、それが道路面上にある場合に横断歩道として検出する技術が開示されている。

特開２００６−３３１３８９号公報 特開２００６−３０９３１３号公報

ところで、特許文献２に記載の道路認識装置では、撮像された画像中に横断歩道が撮像されており、自車両の前方に横断歩道が存在することは高精度に検出できるが、その横断歩道が実際に自車両からどれほど離れた位置にあるかを追跡して検出することができない。そのため、例えば検出した横断歩道の手前で自車両を停止させようとしても、検出した横断歩道までの距離が分からないため、自車両を横断歩道の手前で停止させることができない。

これを回避するために、例えば、特許文献２に記載された横断歩道を検出するための水平ラインの設定を１ライン分ではなく全画面的に行ったり、或いは例えば画像上での無限遠に対応する消失点の下方の全画像領域的に行ったりすると、確かに横断歩道が実際に自車両からどれほど離れた位置にあるか等を検出することは可能となるが、計算処理の負荷が非常に大きくなり、横断歩道のリアルタイムの検出、すなわち例えば１／３０秒ごとに撮像手段から送信されてくる各フレームごとの横断歩道の検出を実現することが困難になる。

本発明は、前記事情に鑑みてなされたものであり、車両前方を撮像した画像中から車線や横断歩道をリアルタイムで検出可能で、かつ、横断歩道までの距離や横断歩道の距離方向の幅を検出可能な道路認識装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、道路認識装置において、
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出する車線検出手段と、
前記車線検出手段が検出した前記車線候補点に対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合には、当該車線候補点が検出された前記水平ラインの探索における探索領域を拡大し、当該水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するパターン探索手段と、
前記繰り返しパターンが存在する前記各水平ラインを、前記各水平ラインの前記画像上の間隔または実空間上の距離方向の幅に基づいてグループ化するグループ化手段と、
を備え、
前記グループ化手段は、前記グループ化した前記水平ラインのグループについて、前記グループの最も手前側の位置までの距離を横断歩道までの距離として算出し、前記グループの実空間上の距離方向の幅を前記横断歩道の幅として算出することを特徴とする。
第２の発明は、道路認識装置において、
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出する車線検出手段と、
前記車線検出手段が検出した前記車線候補点に対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合には、当該車線候補点が検出された前記水平ラインの探索における探索領域を拡大し、当該水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するパターン探索手段と、
を備え、
前記パターン探索手段により存在すると判断された、横断歩道に対応する前記繰り返しパターンに基づいて、前記撮像手段により撮像された前記画像中から横断歩道を検出することを特徴とする。
第３の発明は、道路認識装置において、
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上で水平ラインを前記画像の上方向または下方向にずらしながら、前記各水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するパターン探索手段と、
前記繰り返しパターンが存在する前記各水平ラインを、前記各水平ラインの前記画像上の間隔または実空間上の距離方向の幅に基づいてグループ化するグループ化手段と、
を備え、
前記グループ化手段は、
前記グループ化した前記水平ラインのグループについて、前記グループの最も手前側の位置までの距離を横断歩道までの距離として算出し、前記グループの実空間上の距離方向の幅を前記横断歩道の幅として算出するとともに、
過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、今回のフレームでグループ化した前記水平ラインのグループが、前記画像における最下端の水平ラインを含む場合には、前記グループの最も奥側の位置までの距離を算出し、前記グループの最も奥側の位置までの距離から、過去のフレームで算出した前記横断歩道の幅を減算することで、前記横断歩道までの距離を算出することを特徴とする。
第４の発明は、道路認識装置において、
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上で水平ラインを前記画像の上方向または下方向にずらしながら、前記各水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するパターン探索手段と、
前記繰り返しパターンが存在する前記各水平ラインを、前記各水平ラインの前記画像上の間隔または実空間上の距離方向の幅に基づいてグループ化するグループ化手段と、
を備え、
前記グループ化手段は、
前記グループ化した前記水平ラインのグループについて、前記グループの最も手前側の位置までの距離を横断歩道までの距離として算出し、前記グループの実空間上の距離方向の幅を前記横断歩道の幅として算出するとともに、
過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、対応付けた前記グループを検出したフレームの数、前記パターン探索手段が検出した前記繰り返しパターンにおける前記高輝度の画素部分の数、または前記グループに属する前記水平ラインの数に応じて、当該グループの信頼度を算出することを特徴とする。

第５の発明は、第１または第２の発明の道路認識装置において、
前記車線検出手段は、前回のフレームで検出した前記車線の情報および前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおいて前記水平ライン上で前記車線候補点を探索する探索領域を自車両の左右に設定し、
前記パターン探索手段は、前記車線検出手段が前記水平ライン上の一方の前記探索領域中に検出した前記車線候補点に対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合には、前記水平ライン上の他方の前記探索領域を前記一方の探索領域に隣接する画素まで拡大して、当該水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断することを特徴とする。

第６の発明は、第１、第２または第５の発明の道路認識装置において、前記車線検出手段は、前記パターン探索手段により前記水平ライン上に前記繰り返しパターンが存在すると判断された場合には、当該水平ライン上で検出した前記車線候補点を棄却して、前記車線の検出の対象から除外することを特徴とする。

第７の発明は、第１の発明の道路認識装置において、前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、今回のフレームでグループ化した前記水平ラインのグループが、前記画像における最下端の水平ラインを含む場合には、前記グループの最も奥側の位置までの距離を算出し、前記グループの最も奥側の位置までの距離から、過去のフレームで算出した前記横断歩道の幅を減算することで、前記横断歩道までの距離を算出することを特徴とする。

第８の発明は、第１または第７の発明の道路認識装置において、前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、対応付けた前記グループを検出したフレームの数、前記パターン探索手段が検出した前記繰り返しパターンにおける前記高輝度の画素部分の数、または前記グループに属する前記水平ラインの数に応じて、当該グループの信頼度を算出することを特徴とする。

第９の発明は、第８の発明の道路認識装置において、前記グループ化手段は、算出した前記信頼度に基づいて、今回のフレームでグループ化した前記グループの実空間上の距離方向の幅として算出した前記横断歩道の幅に対する重みを決定し、当該重みを用いて、過去のフレームで算出した前記横断歩道の幅と今回のフレームで算出した前記横断歩道の幅とを重み付け平均して、前記横断歩道の幅の重み付け平均値を算出することを特徴とする。

第１０の発明は、第９の発明の道路認識装置において、前記グループ化手段は、前記グループ化した前記水平ラインのグループが、前記画像における最下端の水平ラインを含む場合には、前記グループの最も奥側の位置までの距離を算出し、前記グループの最も奥側の位置までの距離から、過去のフレームで算出した前記横断歩道の幅の重み付け平均値を減算することで、前記横断歩道までの距離を算出することを特徴とする。

第１１の発明は、第１の発明の道路認識装置において、
前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、
前記車線検出手段は、前回のフレームで検出した前記グループの前記画像中の位置および前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおける当該グループの前記画像上の位置を推測し、推定した前記位置の前記水平ライン上では前記車線候補点の検出を行わないことを特徴とする。

第１の発明によれば、撮像手段から、撮像した画像の１画素幅の水平ラインごとに送信されてくる各画素の輝度のデータに基づいて、車線検出手段が車線候補点を検出し、その処理の中で、パターン探索手段が必要に応じて水平ラインの探索における探索領域を拡大して繰り返しパターンが存在するか否かを探索し、グループ化手段が、繰り返しパターンが存在する各水平ラインをグループ化する。また、パターン探索手段は、車線検出手段が検出した車線候補点に対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合にのみ、水平ラインの探索における探索領域を拡大して繰り返しパターンが存在するか否かを判断する。

そのため、横断歩道を全画面的に探索する必要がなくなり、車両前方を撮像した画像中から車線や横断歩道をリアルタイムで検出することが可能となるため、例えば１／３０秒ごとに撮像手段から送信されてくる各フレームごとに横断歩道を検出することが可能となる。

また、グループ化手段が、グループ化した水平ラインのグループについて、グループの最も手前側の位置までの距離を横断歩道までの距離として算出し、また、グループの実空間上の距離方向の幅を横断歩道の幅として算出することで、横断歩道までの距離や横断歩道の距離方向の幅を的確に検出することが可能となる。そのため、例えば、的確に検出された横断歩道までの距離に基づいて、自車両を横断歩道の手前で的確に停止させることが可能となる。

第５の発明によれば、前記発明の効果に加え、パターン探索手段は、車線検出手段が車線候補点を探索するために設定した自車両の左右の探索領域を利用して、その一方側の探索領域を拡大して繰り返しパターンが存在するか否かを判断することが可能となるため、パターン探索のための探索領域の拡大を非常にスムーズかつ瞬時に行うことが可能となる。そのため、画像中からの横断歩道をリアルタイムで検出することが可能となり、前記発明の効果を的確に発揮することが可能となる。

第６の発明によれば、繰り返しパターンが存在すると判断され、横断歩道が撮像されている可能性が高い水平ライン上で検出した車線候補点を棄却して、車線の検出の対象から除外することで、前記各発明の効果に加え、横断歩道の白線ブロックのエッジ部分を車線のエッジ部分であると誤って判断して車線候補点を誤検出することを防止することが可能となり、車線の検出の精度を向上させることが可能となる。

第７の発明によれば、例えば後述する図２１に示すように、今回のフレームで横断歩道の手前側が画像からはみ出してしまい、画像に撮像されなくなると、横断歩道の手前側までの距離を直接的には算出できなくなるが、そのような場合でも、横断歩道に対応するグループの最も奥側の位置までの距離を算出し、その距離から、過去のフレームで算出した横断歩道の幅を減算することで、横断歩道までの距離を的確に算出することが可能となり、前記各発明の効果を的確に発揮することが可能となる。

第８の発明によれば、前記各発明の効果に加え、グループ化手段が横断歩道に対応するものとしてグループ化したグループに対して、グループを検出したフレームの数等に応じて、グループの信頼度を算出して当該グループに割り当てることで、検出したグループが横断歩道に対応するものである確からしさを明確にして数値化することが可能となる。

第９の発明によれば、上記のグループの信頼度に基づいて、今回のフレームと過去のフレームでの当該グループの実空間上の距離方向の幅を重み付け平均して重み付け平均値を算出することで、前記各発明の効果に加え、検出されるグループの距離方向の幅が各フレームごとにばらついたとしても、安定的に算出される重み付け平均値を横断歩道の距離方向の幅として信頼して用いることが可能となる。

第１０の発明によれば、上記のように、安定的に算出され信頼性が高い状態で算出される重み付け平均値を横断歩道の距離方向の幅とみなすことができる。そして、例えば後述する図２１に示すように、今回のフレームで横断歩道の手前側が画像からはみ出してしまい、画像に撮像されなくなると、横断歩道の手前側までの距離を直接的には算出できなくなるが、そのような場合でも、グループの最も奥側の位置までの距離から減算することで、自車両から横断歩道までの距離を的確にかつ信頼性が高い状態で算出することが可能となり、前記各発明の効果をより的確に発揮することが可能となる。

第１１の発明によれば、前回のフレームで検出したグループの画像中の位置や、前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおける当該グループの画像上の位置を推測し、推定した位置の水平ライン上では車線候補点の検出を行わないように構成することで、前記各発明の効果に加え、横断歩道の白線ブロックのエッジ部分を車線のエッジ部分であると誤って判断して車線候補点を誤検出することを防止することが可能となり、車線の検出の精度を向上させることが可能となる。

本実施形態に係る道路認識装置の構成を示すブロック図である。 基準画像の一例を表す図である。 水平ラインや探索領域、探索開始点、探索終了点等を説明する図である。 水平ライン上を探索して得られる各画素の輝度を表すグラフである。 図２の基準画像上に検出された車線候補点を表す図である。 ハフ変換処理の結果、抽出される直線を表す図である。 図６の各直線の中から車線にふさわしい直線として選択された直線を表す図である。 自車両に近い側に確定された直線を表す図である。 図２の基準画像上に検出された左右の車線を表す図である。 形成された路面モデルの例を示す図であり、（Ａ）は水平形状モデル、（Ｂ）は道路高モデルを表す。 車線候補点の検出処理、パターン探索処理およびグループ化処理の手順を示すフローチャートである。 車線候補点の検出処理、パターン探索処理およびグループ化処理の手順を示すフローチャートである。 グループ化手段におけるグループ化処理の手順を示すフローチャートである。 基準画像の一例を表す図である。 図１４の基準画像上に設定された探索領域を表す図である。 横断歩道の最も手前側の位置の水平ラインを説明する図である。 図１６の拡大図であり、左側の探索領域を右側の探索領域に隣接する画素まで拡大することを説明する図である。 図１６の水平ライン上で検出される各画素の輝度の分布を示す図である。 繰り返しパターンを説明する図であり、（Ａ）は横断歩道が理想的に検出された場合、（Ｂ）は白線ブロックの間隔がその幅の奇数倍になっている場合、（Ｃ）は横断歩道に対応する繰り返しパターンが存在しないと判断される場合を表す。 同一グループにおける最も手前側の水平ラインおよび最も奥側の水平ラインを説明する図である。 横断歩道の手前側が基準画像からはみ出し、基準画像に撮像されなくなった状態を表す図である。

以下、本発明に係る道路認識装置の実施の形態について、図面を参照して説明する。

なお、以下では、ステレオカメラを用いて一対の画像を撮像し、画像上の各画素について距離の情報を算出し、それに基づいて、一方の画像上から車線や横断歩道を検出する場合について説明するが、単眼のカメラを用いるように構成することも可能である。単眼のカメラを用いる場合については後で説明する。

本実施形態に係る道路認識装置１は、図１に示すように、撮像手段２や画像処理手段６、検出手段９等で構成されている。なお、検出手段９より前側、すなわち撮像手段２から画像データメモリ５や画像処理手段６までの構成は本願出願人により先に提出された特開平５−１１４０９９号公報、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。

本実施形態では、撮像手段２は、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され、例えばフロントガラスの内側に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられたメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。

メインカメラ２ａとサブカメラ２ｂは、道路面から同じ高さに取り付けられており、フレームごとに同時に車両の前方を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ２ａは前述した図２に例示される基準画像Ｔの画像データを出力し、運転者から遠い側に配置されたサブカメラ２ｂは図示を省略する比較画像の画像データを出力するようになっている。

なお、その際、撮像手段２のメインカメラ２ａやサブカメラ２ｂからは、撮像した基準画像Ｔや比較画像の各画素の輝度ｐのデータが、１画素幅の水平ラインごとに、かつ、下方の水平ラインから順に変換手段３に送信されるようになっている。

メインカメラ２ａとサブカメラ２ｂから出力された画像データは、変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでアナログ画像からそれぞれ画素ごとに例えば０〜２５５の２５６階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部４でずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ５に順次送信されて格納されるとともに、画像処理手段６にも送信されるようになっている。

画像処理手段６は、イメージプロセッサ７と距離データメモリ８とを備えており、イメージプロセッサ７では、ステレオマッチング処理が行われるようになっている。具体的には、イメージプロセッサ７は、基準画像Ｔ上に例えば３×３画素や４×４画素等の所定の画素数の基準画素ブロックを設定し、基準画素ブロックに対応する比較画像中のエピポーラライン上の基準画素ブロックと同形の各比較画素ブロックについて下記（１）式に従ってＳＡＤ値を算出し、ＳＡＤ値が最小の比較画素ブロックを特定するようになっている。

なお、ｐ１stは基準画素ブロック中の各画素の輝度を表し、ｐ２stは比較画素ブロック中の各画素の輝度を表す。また、上記の総和は、基準画素ブロックや比較画素ブロックが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素について計算される。

イメージプロセッサ７は、このようにして基準画像Ｔの各基準画素ブロックについて、特定した比較画素ブロックの比較画像上の位置と当該基準画素ブロックの基準画像上の位置から視差ｄｐを算出するようになっている。本実施形態では、イメージプロセッサ７は、このようにして算出した視差ｄｐ或いは下記（４）を式に従って算出される距離Ｚを基準画像Ｔの各基準画素ブロックにそれぞれ割り当てて図示を省略する距離画像Ｔｚを形成するようになっている。

なお、視差ｄｐと距離Ｚとの関係は、以下のように１対１に対応付けられる。すなわち、一対のカメラ等の撮像手段を用いた画像解析において、一対の撮像手段の中央真下の地面等の基準面上の点を原点とし、距離方向すなわち撮像手段正面の無限遠点に向かう方向にＺ軸をとり、左右方向および上下方向にそれぞれＸ軸およびＹ軸をとった場合の実空間上の点（Ｘ，Ｙ，Ｚ）と、上記の視差ｄｐおよび基準画像Ｔ（或いは距離画像Ｔｚ）上の画素の座標（ｉ，ｊ）とは、三角測量の原理に基づいて、
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（４）
で表される座標変換により１対１に対応付けることができる。

ここで、上記各式において、ＣＤは一対の撮像手段の間隔、ＰＷは１画素当たりの視野角、ＣＨは一対の撮像手段の取り付け高さ、ＩＶおよびＪＶは正面の無限遠点の距離画像Ｔ_Z上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

また、イメージプロセッサ７ではフィルタリング処理も行われ、基準画像Ｔの基準画素ブロックと比較画像の比較画素ブロックとの輝度パターンの類似性の度合いが低い場合には算出した視差ｄｐを無効と出力するようになっており、イメージプロセッサ７は、有効とされた視差ｄｐのみを距離データメモリ８に順次格納させるとともに、検出手段９に順次送信するようになっている。

検出手段９は、図示しないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータ（ＥＣＵ）で構成されている。また、検出手段９には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されており、自車両の車速Ｖやヨーレートγ、舵角δ等の情報が適宜送信されてくるようになっている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。

検出手段９は、車線検出手段１０と、パターン探索手段１１と、グループ化手段１２とを備えており、さらに図示しないメモリを備えている。

車線検出手段１０は、自車両の前方を撮像した基準画像Ｔ上に車線を検出するようになっている。なお、車線検出手段１０における車線検出処理の構成は、本願出願人により先に提出された前記特許文献１に詳述されており、詳細な説明はそれらの公報に委ねる。また、本実施形態では、車線検出手段１０における車線検出処理の中で、後述する所定の条件が満たされた場合に、処理の主体がパターン探索手段１１に移行するが、以下では、まず、車線検出手段１０における車線検出処理について一通り説明する。

車線検出手段１０は、撮像手段２により撮像された基準画像Ｔおよび比較画像の一対の画像のうち、基準画像Ｔを対象とし、基準画像Ｔ上の水平ラインｊ上を探索して、互いに隣接する画素の輝度ｐの差Δｐが所定の閾値Δｐth１以上である画素であって、道路面の位置にある画素を車線候補点ｃｒ、ｃｌとして検出するようになっている。そして、この車線候補点ｃｒ、ｃｌの検出処理を、探索する水平ラインｊを本実施形態では基準画像Ｔの上方向にシフトさせながら行い、検出した車線候補点ｃｒ、ｃｌをつなぎ合わせて今回のフレームの基準画像Ｔ上に車線ＬＲ、ＬＬを検出するようになっている。

なお、本実施形態では、前述したように、撮像手段２から、撮像した基準画像Ｔの各画素の輝度ｐのデータが、１画素幅の水平ラインｊごとに、かつ、下方の水平ラインｊから順に送信されてくるため、車線検出手段１０は上記のように探索する水平ラインｊを基準画像Ｔの上方向にシフトさせながら車線候補点ｃｒ、ｃｌの検出処理を行うように構成されているが、例えば、撮像手段２から基準画像Ｔの各水平ラインｊの各画素の輝度ｐのデータが上方の水平ラインｊから順に送信されてくる場合には、探索する水平ラインｊを基準画像Ｔの下方向にシフトさせながら車線候補点ｃｒ、ｃｌの検出処理を行うように構成することが可能である。

具体的には、車線検出手段１０は、本実施形態では、まず、前回のフレームで検出した右側の車線ＬＲlastと左側の車線ＬＬlastの基準画像Ｔ上での位置を、センサ類Ｑから送信されてくる自車両の車速Ｖやヨーレートγ等から算出される前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて修正して、今回のフレームにおける基準画像Ｔ上での車線の各位置を推定する。そして、図３に示すように、推定した今回のフレームでの基準画像Ｔ上での車線の各位置を基準として、その左右方向に実空間上でそれぞれ所定距離離れた範囲を、各水平ラインｊ上で車線候補点ｃｒ、ｃｌを探索する探索領域Ｓｒ、Ｓｌとしてそれぞれ自車両の左右に設定するようになっている。

そして、図３に示すように、撮像手段２から、撮像した基準画像Ｔのうち１画素幅の水平ラインｊの各画素の輝度ｐが入力されてくると、本実施形態では、車線検出手段１０は、まず、右側の探索領域Ｓｒにおける水平ラインｊ上を領域Ｓｒの左端の探索開始点isrから右方向に右端の探索終了点ierまで探索する。そして、図４に示すように、ある画素の輝度ｐとそれに隣接する画素の輝度ｐとの差（すなわちエッジ強度）Δｐが予め設定された所定の閾値Δｐth１以上となり輝度ｐが大きく変化する画素を車線候補点ｃｒとして検出するようになっている。

また、本実施形態では、車線検出手段１０は、車線候補点ｃｒを検出した後も水平ラインｊ上をさらに右方向に探索し、ある画素の輝度ｐとそれに隣接する画素の輝度ｐとの差Δｐが予め設定された所定の閾値Δｐth２以下となり輝度ｐが大きく減少する画素がある場合、その画素を車線終了点ｃｒとして検出するようになっている。また、車線検出手段１０は、車線候補点ｃｒと車線終了点creとを検出するごとに、視差ｄｐの情報等に基づいて車線候補点ｃｒと車線終了点creとの間の実空間上の距離すなわち横幅Ｗr-eを算出するようになっている。

そして、車線検出手段１０は、水平ラインｊ上における右側の探索領域Ｓｒでの探索を終了すると、続いて、同じ水平ラインｊ上における左側の探索領域Ｓｌでの探索を領域Ｓｌの右端の探索開始点islから左方向に左端の探索終了点ielまで探索して、上記と同様にして、車線候補点ｃｌや車線終了点cleを検出し、車線候補点ｃｌと車線終了点cleとの間の実空間上の距離すなわち横幅Ｗl-eを算出するようになっている。

車線検出手段１０は、撮像手段２から、撮像した基準画像Ｔの１画素幅の水平ラインｊの各画素の輝度ｐが入力されてくるごとに、上記の処理を繰り返し、探索する水平ラインｊを本実施形態では基準画像Ｔの上方向にシフトさせながら車線候補点ｃｒ、ｃｌや車線終了点cre、cleを検出するようになっている。

このようにして検出された車線候補点ｃｒ、ｃｌを基準画像Ｔ上にプロットすると、図５に示すように、右側の車線付近の領域Ａと左側の車線付近の領域Ｂにそれぞれ車線候補点ｃｒ、ｃｌがプロットされる。なお、図５や以下の各図では、右側と左側の車線候補点ｃｒ、ｃｌがそれぞれ十数点しか検出されないように記載されているが、実際には、通常、さらに多数の車線候補点ｃｒ、ｃｌが検出される。

また、本実施形態では、車線検出手段１０は、例えば右側の車線に対応する車線候補点ｃｒを検出するごとに、検出した車線候補点ｃｒの座標（ｉ，ｊ）を図示しないハフ平面に投票するようになっており、上記のように各水平ラインｊでの車線候補点ｃｒの検出が終了すると、ハフ平面への投票結果に基づいてハフ変換処理を行って、右側の車線にふさわしい直線を抽出するようになっている。

左側の車線に対応する車線候補点ｃｌについても同様にハフ変換処理を行うと、図５に示した結果から、例えば図６に示すように、右側の車線に対応する直線として直線ｒ１、ｒ２が、また、左側の車線に対応する直線として直線ｌ１、ｌ２がそれぞれ抽出される。そこで、車線検出手段１０は、自車両の進行方向との平行度や左右の直線の平行度等の種々の条件を参酌して、図７に示すように、右側および左側の車線にふさわしい直線として直線ｒ１、ｌ１をそれぞれ選択するようになっている。

そして、車線検出手段１０は、自車両に近い側では、図８に示すように、選択した直線ｒ１、ｌ１の手前側の部分を車線にふさわしい直線として確定し、それより遠方の車線については、下側の車線候補点ｃｒ、ｃｌからのｉ軸方向およびｊ軸方向の各変位が所定範囲内にある車線候補点ｃｒ、ｃｌをそれぞれ追跡しながらつなぎ合わせていくことで、図９に示すように、基準画像Ｔ上に車線ＬＲ、ＬＬをそれぞれ検出するようになっている。

車線検出手段１０は、このようにして検出した車線ＬＲ、ＬＬの情報、車線ＬＲ、ＬＬ検出の基となった車線候補点ｃｒ、ｃｌの各座標、およびそれらに対応する車線終了点cre、cleの各座標等をそれぞれメモリに保存するようになっている。

一方、本実施形態では、車線検出手段１０は、このようにして検出した左右の車線ＬＲ、ＬＬの情報に基づいて、実空間上における車線の三次元的な路面モデルを形成するようになっている。本実施形態では、車線検出手段１０は、例えば図１０（Ａ）、（Ｂ）に示すように、検出した車線ＬＬ、ＬＲを所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現して路面モデルを形成するようになっている。

本実施形態では、各所定区間ごとの直線式を、下記（５）、（６）式で表され図１０（Ａ）に示されるＺ−Ｘ平面上の路面モデルである水平形状モデルと、下記（７）、（８）式で表され図１０（Ｂ）に左車線ＬＬが代表して示されるＺ−Ｙ平面上の路面モデルである道路高モデルで表すようになっている。なお、検出された路面モデルの情報はメモリに保存される。

［水平形状モデル］
左車線ＬＬ ｘ＝ａ_Ｌ・ｚ＋ｂ_Ｌ …（５）
右車線ＬＲ ｘ＝ａ_Ｒ・ｚ＋ｂ_Ｒ …（６）
［道路高モデル］
左車線ＬＬ ｙ＝ｃ_Ｌ・ｚ＋ｄ_Ｌ …（７）
右車線ＬＲ ｙ＝ｃ_Ｒ・ｚ＋ｄ_Ｒ …（８）

なお、本実施形態では、上記のように車線検出手段１０で自車両前方等の路面の形状を検出するようになっているが、必ずしも路面の形状を検出する必要はなく、例えば自車両前方等の路面の形状を平面として近似して以下の処理を行うように構成することも可能である。また、上記のモデルは、例えば、次回のフレームにおいて、前述したように、輝度ｐが隣接する画素の輝度ｐとの差Δｐが所定の閾値Δｐth１以上である画素が道路面の位置にあるか否かの判断に用いられる。

パターン探索手段１１（図１参照）は、上記のようにして車線検出手段１０が算出した車線候補点ｃｒ、ｃｌに対応する車線の横幅Ｗr-e、Ｗl-eが横断歩道の横幅に相当する横幅であった場合には、当該車線候補点ｃｒ、ｃｌが検出された水平ラインｊの探索における探索領域Ｓｒや探索領域Ｓｌを拡大して、当該水平ラインｊ上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するようになっている。

また、グループ化手段１２は、上記のようにしてパターン探索手段１１が検出した繰り返しパターンが存在する水平ラインｊが複数存在する場合に、これらの複数の水平ラインｊの基準画像Ｔ上の間隔や実空間上の距離方向（すなわちＺ軸方向）の間隔に基づいて、複数の水平ラインｊが同一の横断歩道が撮像された水平ラインか否かを判断し、同一の横断歩道が撮像されたものと判断した複数の水平ラインｊをグループ化するとともに、グループ化した複数の水平ラインｊの最も手前側の位置までの距離および横断歩道の実空間上の距離方向の幅を算出するようになっている。

以下、パターン探索手段１１におけるパターン探索処理およびグループ化手段１２におけるグループ化処理について、前述した車線検出手段１０における車線候補点ｃｒ、ｃｌの検出処理とあわせて図１１〜図１３に示すフローチャートに従って説明する。また、それとともに、本実施形態に係る道路認識装置１の作用について説明する。

前述したように、車線検出手段１０は、今回のフレームで撮像される基準画像Ｔが図１４に示すような画像である場合、まず、前回のフレームで検出した左右の車線ＬＲlast、ＬＬlastとフレーム間の自車両の挙動に基づいて、図１５に示すように、今回のフレームでの基準画像Ｔ上に、各水平ラインｊ上で車線候補点ｃｒ、ｃｌを探索する探索領域Ｓｒ、Ｓｌをそれぞれ設定する（ステップＳ１）。

そして、撮像手段２から最初に入力される基準画像Ｔの水平ラインｊ0上を右側の領域Ｓｒの左端の探索開始点isrから右方向に探索し（ステップＳ２）、隣接する画素の輝度ｐとの差Δｐが閾値Δｐth１以上となり、道路面の位置にある画素を検出すると、その画素を車線候補点ｃｒとして検出する（ステップＳ３；ＹＥＳ）。

なお、以下では、基準画像Ｔの最下端の水平ラインｊ0から探索を開始することを前提に説明するが、必ずしも基準画像Ｔの最下端の水平ラインｊ0から探索を開始する必要はなく、適宜の水平ラインｊから探索を開始するように構成することが可能である。また、右側の探索領域Ｓｒで車線候補点ｃｒが検出されない場合には（ステップＳ３；ＮＯ）、左側の探索領域Ｓｌでの探索に移行する（ステップＳ８）。

車線検出手段１０は、車線候補点ｃｒを検出した場合に（ステップＳ３；ＹＥＳ）、その水平ラインｊ0のさらに右側に車線終了点ｃｒを検出した場合には（ステップＳ４；ＹＥＳ）、車線候補点ｃｒと車線終了点creとの間の実空間上の横幅Ｗr-eを算出する（ステップＳ５）。そして、算出した車線候補点ｃｒと車線終了点creとの横幅Ｗr-eが、予め設定された所定の横幅閾値Ｗth以上か否かを判断する（ステップＳ６）。

ここで、算出した車線候補点ｃｒと車線終了点creとの横幅Ｗr-eが横幅閾値Ｗth以上である場合には（ステップＳ６；ＹＥＳ）、検出した車線候補点ｃｒは、追い越し禁止線や区画線等の車線ではなく、横断歩道のゼブラパターンを構成する各白線ブロックのうちの１つである可能性があるため、この水平ラインｊ0での処理が、車線検出手段１０による車線候補点ｃｒ、ｃｌの検出処理から、後述するパターン探索手段１１によるパターン探索処理に移行する。なお、この横幅閾値Ｗthは例えば３０ｃｍに設定される。

また、算出した車線候補点ｃｒと車線終了点creとの横幅Ｗr-eが横幅閾値Ｗth未満であれば（ステップＳ６；ＮＯ）、車線検出手段１０は、検出した車線候補点ｃｒの座標をハフ変換のためのハフ平面に投票する（ステップＳ７）。

続いて、車線検出手段１０は、今度は、水平ラインｊ0における左側の探索領域Ｓｌでの探索に移行し、水平ラインｊ0上を左側の領域Ｓｌの右端の探索開始点islから左方向に探索し（ステップＳ８）、隣接する画素の輝度ｐとの差Δｐが閾値Δｐth１以上となり、道路面の位置にある画素を検出すると、その画素を車線候補点ｃｌとして検出する（ステップＳ９；ＹＥＳ）。

そして、検出した車線候補点ｃｌの座標をハフ変換のためのハフ平面に投票する（ステップＳ１０）。車線候補点ｃｌが検出されなければ（ステップＳ９；ＮＯ）、ステップＳ１０の処理はスキップされる。車線検出手段１０は、撮像手段２から送信されてきた基準画像Ｔの最後の水平ラインｊまで処理を行っていなければ（ステップＳ１１；ＮＯ）、探索する水平ラインｊを基準画像Ｔの上方向にシフトさせながらステップＳ２以降の処理を繰り返す。

一方、前述したように、車線検出手段１０により算出された車線候補点ｃｒと車線終了点creとの横幅Ｗr-eが横幅閾値Ｗth以上である場合には（ステップＳ６；ＹＥＳ）、当該水平ラインｊmでの処理が、車線検出手段１０による車線候補点ｃｒ、ｃｌの検出処理から、パターン探索手段１１によるパターン探索処理に移行する。

例えば、図１６に示すように、横断歩道の最も手前側の位置の水平ラインｊｎ上で探索を行う際には、車線検出手段１０により算出された車線候補点ｃｒと車線終了点creとの横幅Ｗr-eは横幅閾値Ｗth以上になる（ステップＳ６；ＹＥＳ。図１７の拡大図参照）。このような場合には、車線検出手段１０による車線候補点ｃｒ、ｃｌの検出処理を一時中断し、図１１のステップＳ１２以降のパターン探索手段１１によるパターン探索処理に移行する。

なお、右側の探索領域Ｓｒで、車線候補点ｃｒと車線終了点creとの横幅Ｗr-eが横幅閾値Ｗth以上（ステップＳ６；ＹＥＳ）であるような車線候補点ｃｒが検出された場合に、車線終了点creのさらに右側に探索領域Ｓｒを拡大して、水平ラインｊｎ上に高輝度の画素部分と低輝度の画素部分とが繰り返される繰り返しパターンが現れるか否かを判断するように構成することも可能である。

また、図１１のステップＳ１２以降のパターン探索手段１１によるパターン探索処理に移行すると、図１１のフローチャートからも分かるように、車線検出手段１０が検出した車線候補点ｃｒの情報は、パターン探索手段１１が当該水平ラインｊｎ上に後述する繰り返しパターンが存在すると判断した場合（ステップＳ１４；ＹＥＳ）には、ハフ平面への投票の対象にならず、車線終了点creの情報とともに棄却される。

このように、本実施形態では、車線検出手段１０は、パターン探索手段１１により水平ラインｊｎ上に繰り返しパターンが存在すると判断された場合には（ステップＳ１４；ＹＥＳ）、当該水平ラインｊｎ上で検出した車線候補点ｃｒを棄却して、車線ＬＲの検出の対象から除外するようになっている。また、繰り返しパターンが存在すると判断された水平ラインｊｎでは、左側の車線候補点ｃｌや車線終了点cleの探索（ステップＳ８〜Ｓ１０）も行われない。

パターン探索処理では、パターン探索手段１１は、まず、当該水平ラインｊｎの探索における探索領域を拡大するようになっている（ステップＳ１２）。その際、この段階では、上記のように右側の探索領域Ｓｒにおける探索は終了しているため、本実施形態では、パターン探索手段１１は、図１７に示すように、左側の探索領域Ｓｌを右側の探索領域Ｓｒに隣接する画素まで拡大する。

すなわち、パターン探索手段１１は、左側の探索領域Ｓｌの右端の探索開始点islを、最初に設定した探索領域Ｓｌの探索開始点isl_oldから右側の探索領域Ｓｒの左端の探索開始点isrの左側に隣接する画素位置まで移動させて探索開始点isl_newとし、その探索開始点isl_newから左方向に探索するように左側の探索領域Ｓｌを拡大するようになっている。

そして、パターン探索手段１１は、水平ラインｊｎ上を探索開始点isl_newから左方向に探索しながら各画素の輝度ｐを読み取り（ステップＳ１３）、当該水平ラインｊｎ上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するようになっている（ステップＳ１４）。

本実施形態では、パターン探索手段１１は、以下の各条件を満たす場合に繰り返しパターンが存在すると判断するようになっている。なお、水平ラインｊｎ上に高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在する場合、各画素の輝度ｐは例えば図１８に示すような分布になる。

条件１：水平ラインｊｎ上の画素中に、左側に隣接する画素との輝度ｐの差分Δｐが正の閾値Δｐth３以上である画素が存在すること。以下、この画素を開始画素といい、開始画素に対応する実空間上の点を開始点という。
条件２：開始点が道路面上にあること。
条件３：水平ラインｊｎ上の画素中に、左側に隣接する画素との輝度ｐの差分Δｐが負の閾値Δｐth４以下である画素が存在すること。以下、この画素を終了画素といい、終了画素に対応する実空間上の点を終了点という。

条件４：開始点と終了点との間隔が所定の範囲内であり、かつ、開始画素から終了画素までの各画素の輝度ｐの平均値ｐaveが白線輝度判定閾値ｐave-th以上である高輝度の画素部分が存在すること。
条件５：隣接する高輝度の画素部分の間隔が高輝度の画素部分の幅と等しいか、または高輝度の画素部分の幅の奇数倍であること。
条件６：高輝度の画素部分が３箇所以上存在すること。

条件１での開始画素における輝度ｐの差分Δｐの制限は、車道のアスファルトと横断歩道の白線ブロックとの境界には、通常、輝度特性に強いエッジ強度が現れることによる。条件２は、条件１をクリアする画素であっても、例えば、その画素がガードレールや電信柱、先行車両のピラーやバンパ等である場合には開始画素から排除することを目的とするものである。

条件３および条件４は、横断歩道の白線ブロックの開始点とは反対側の端部である終了点を見出し、開始点と終了点の間隔および両者間に存する画素の輝度が横断歩道の白線ブロックとして適切であるか否かを判断するためのものである。横断歩道の白線ブロックの幅の規格は４５〜５０ｃｍ程度とされており、車線の規格１０〜２０ｃｍより広い。そのため、例えば、誤差等を含めて開始点と終了点との間隔が実空間上で２５〜７０ｃｍの範囲内であれば、横断歩道の白線ブロックであると判別することができる。

条件５および条件６は、以上のようにして認識された画素ごとの輝度の繰り返しパターンが横断歩道の白線ブロックのように一定の間隔をおいて繰り返し検出されるか否かを判断するためのものである。横断歩道は、図１９（Ａ）に示されるように理想的には白線ブロックが白線ブロックと同じ幅分の間隔を置いて繰り返し標示されるものであるが、図１９（Ｂ）に示されるように自動車のタイヤ痕等で一部の白線ブロックが白線ブロックと認識されない場合もある。しかし、その場合でも、検出された白線ブロック同士の間隔は白線ブロックの幅の奇数倍の間隔になるはずである。

そのため、本実施形態では、パターン探索手段１１は、前記条件４までで検出された高輝度の画素部分の開始点と終了点との実空間上の距離を算出し、高輝度の画素部分の間隔がその距離に等しいか、或いは高輝度の画素部分の幅の奇数倍であり、このような高輝度の画素部分が３回以上繰り返されている場合に、当該水平ラインｊｎ上に、横断歩道に対応する繰り返しパターンが存在すると判断するようになっている（ステップＳ１４；ＹＥＳ）。

そのため、図１９（Ｃ）に示されるように、高輝度の画素部分、すなわち、白線ブロックと見なし得る部分が同じ幅であっても、その間隔が上記条件を満たさない場合には横断歩道とは見なされず、このような場合、パターン探索手段１１は、横断歩道に対応する繰り返しパターンが存在しないと判断するようになっている（ステップＳ１４；ＮＯ）。

パターン探索手段１１は、当該水平ラインｊｎ上に横断歩道に対応する繰り返しパターンが存在すると判断すると（ステップＳ１４；ＹＥＳ）、当該水平ラインｊｎに対してフラグ「１」を付与してフラグを立てるとともに（ステップＳ１５）、高輝度の画素部分の数すなわち横断歩道の白線ブロックの数を、当該水平ラインｊｎに対応付けてメモリに保存するようになっている（ステップＳ１６）。図１８の場合は、高輝度の画素部分の数は、右側の探索領域Ｓｒで検出された１個を含めて５個となる。

そして、パターン探索手段１１により、上記のように当該水平ラインｊｎ上に横断歩道に対応する繰り返しパターンが存在すると判断されて（ステップＳ１４；ＹＥＳ）、ステップＳ１５、Ｓ１６の各処理が行われると、続いて、グループ化手段１２によりグループ化処理が行われるようになっている（ステップＳ１７）。

グループ化処理では、図１３のフローチャートに示されるように、グループ化手段１２は、まず、上記のようにしてパターン探索手段１１が検出した繰り返しパターンが存在する水平ラインｊが複数存在するか否かを判断するようになっている。すなわち、グループ化手段１２は、当該水平ラインｊｎが、繰り返しパターンが存在すると判断された１本目の水平ラインであるか否かを判断する（ステップＳ１７１）。

そして、当該水平ラインｊｎが繰り返しパターンが存在すると判断された１本目の水平ラインである場合には（ステップＳ１７１；ＹＥＳ）、グループ化手段１２は、当該水平ラインｊｎを１つのグループとしてメモリに登録することでグループ化して（ステップＳ１７２）、このグループ化処理ルーチンを終了し、図１１のフローチャートの処理に戻る。

また、当該水平ラインｊｎが、繰り返しパターンが存在すると判断された２本目以降の水平ラインである場合には（ステップＳ１７１；ＮＯ）、グループ化手段１２は、続いて、当該水平ラインｊｎに最も近い位置ｊで見出され、パターン探索手段１１によりフラグ「１」が付与されている水平ラインｊと、当該水平ラインｊｎとの基準画像Ｔ上の間隔Δｊが所定の間隔Δｊthより大きいか否かを判断する（ステップＳ１７３）。その際、所定の間隔Δｊthは、例えば基準画像Ｔの縦方向の４画素幅に設定される。

そして、水平ラインｊと当該水平ラインｊｎとの基準画像Ｔ上の間隔Δｊが所定の間隔Δｊth以下であると判断される場合には（ステップＳ１７３；ＮＯ）、グループ化手段１２は、次のステップＳ１７５の判断処理を行わず、即座に当該水平ラインｊｎを水平ラインｊが属するグループに統合し、メモリに登録してグループ化して（ステップＳ１７４）、このグループ化処理ルーチンを終了し、図１１のフローチャートの処理に戻る。

繰り返しパターンが存在すると判断された２本の水平ラインｊ、ｊｎの基準画像Ｔ上での間隔Δｊが近ければ（本実施形態の場合は基準画像Ｔの縦方向の４画素幅以内であれば）、それらの水平ラインｊ、ｊｎは同一の横断歩道が撮像された水平ラインである可能性が高い。そのため、そのような場合に、上記のように、水平ラインｊ、ｊｎが同一の横断歩道が撮像された水平ラインであると判断してそれらの水平ラインｊ、ｊｎをグループ化するように構成することで、横断歩道を的確に検出することが可能となる。また、それとともに、下記のようにそれらの実空間上の距離方向（すなわちＺ軸方向）の間隔Ｌｚを算出するまでもなくそれらをグループ化することで、処理の高速化を図ることが可能となる。

また、グループ化手段１２は、水平ラインｊと当該水平ラインｊｎとの基準画像Ｔ上の間隔Δｊが所定の間隔Δｊthより大きくても（ステップＳ１７３；ＹＥＳ）、上記（４）式を用いて算出される２本の水平ラインｊ、ｊｎの実空間上の距離方向の間隔Ｌｚが所定の閾値Ｌｚth以下であれば（ステップＳ１７５；ＮＯ）、当該水平ラインｊｎを水平ラインｊが属するグループに統合し、メモリに登録してグループ化して（ステップＳ１７４）、このグループ化処理ルーチンを終了し、図１１のフローチャートの処理に戻る。その際、所定の閾値Ｌｚthは、例えば５ｍに設定される。

繰り返しパターンが存在すると判断された２本の水平ラインｊ、ｊｎの実空間上の距離方向の間隔Ｌｚが近ければ（本実施形態の場合は５ｍ以内であれば）、それらの水平ラインｊ、ｊｎは同一の横断歩道が撮像された水平ラインである可能性が高い。そのため、そのような場合に、上記のように、水平ラインｊ、ｊｎが同一の横断歩道が撮像された水平ラインであると判断してそれらの水平ラインｊ、ｊｎをグループ化するように構成することで、横断歩道を的確に検出することが可能となる。

そして、グループ化手段１２は、これらの２本の水平ラインｊがステップＳ１７３の判断処理とステップＳ１７５の判断処理との両方で条件を満たす場合にのみ（ステップＳ１７３およびステップＳ１７５；ＹＥＳ）、当該水平ラインｊｎを水平ラインｊが属するグループに統合せず、別のグループとしてメモリに登録することでグループ化して（ステップＳ１７６）、このグループ化処理ルーチンを終了し、図１１のフローチャートの処理に戻る。以上のようにして、グループ化手段１２によるグループ化処理が行われる。

前述したように、車線検出手段１０は、パターン探索手段１１が水平ラインｊｎ上に横断歩道に対応する繰り返しパターンが存在すると判断した場合には（ステップＳ１４；ＹＥＳ）、当該水平ラインｊｎ上に検出した車線候補点ｃｒや車線終了点creの情報を棄却し、撮像手段２から送信されてきた基準画像Ｔの最後の水平ラインｊまで処理を行っていなければ（ステップＳ１１；ＮＯ）、探索する水平ラインｊを基準画像Ｔの上方向にシフトさせながらステップＳ２以降の処理を繰り返す。

また、車線検出手段１０は、パターン探索手段１１が水平ラインｊｎ上に繰り返しパターンが存在しないと判断した場合には（ステップＳ１４；ＮＯ）、当該水平ラインｊｎ上に検出した車線候補点ｃｒの情報を棄却せずに、車線候補点ｃｒの座標をハフ変換のためのハフ平面に投票する（ステップＳ７）。

そして、左側の探索領域Ｓｌ（なお、この場合の探索領域Ｓｌの右端の探索開始点islは元の探索開始点isl_old（図１６参照）である。）における車線候補点ｃｌの検出等（ステップＳ８〜Ｓ１０）を実行し、撮像手段２から送信されてきた基準画像Ｔの最後の水平ラインｊまで処理を行っていなければ（ステップＳ１１；ＮＯ）、探索する水平ラインｊを基準画像Ｔの上方向にシフトさせながらステップＳ２以降の処理を繰り返す。

なお、上記のように、当該水平ラインｊｎでパターン探索手段１１が繰り返しパターンの探索（ステップＳ１２、Ｓ１３）を行い、水平ラインｊｎ上に繰り返しパターンが存在しないと判断した場合には（ステップＳ１４；ＮＯ）、車線検出手段１０は、パターン探索手段１１が行った左側の拡大された探索領域Ｓｌでの探索の結果を用いて、左側の探索領域Ｓｌにおける車線候補点ｃｌの検出等の処理（ステップＳ８〜Ｓ１０）を実行するように構成することも可能である。

また、パターン探索手段１１が水平ラインｊｎ上に繰り返しパターンが存在しないと判断した場合には（ステップＳ１４；ＮＯ）、少なくとも左側の探索領域Ｓｌについては、改めて車線候補点ｃｌの検出等の処理（ステップＳ８〜Ｓ１０）をスキップして実行しないように構成することも可能である。

車線検出手段１０は、探索する水平ラインｊを基準画像Ｔの上方向にシフトさせながらステップＳ２以降の処理（必要に応じて行われるパターン探索手段１１でのパターン探索処理を含む。）を繰り返して行い、撮像手段２から送信されてきた基準画像Ｔの最後の水平ラインｊまで処理を行ったと判断した場合には（ステップＳ１１；ＹＥＳ）、上記のようにして（図５〜図９参照）、基準画像Ｔ上に車線ＬＲ、ＬＬを検出する（図１２のステップＳ１８）。

また、車線検出手段１０は、前述したように、車線ＬＲ、ＬＬの検出にあわせて、検出した左右の車線ＬＲ、ＬＬの情報に基づいて実空間上における車線の三次元的な路面モデルすなわち水平形状モデル（図１０（Ａ）参照）および道路高モデル（図１０（Ｂ）参照）を形成する（ステップＳ１９）。

車線検出手段１０は、検出した車線ＬＲ、ＬＬの情報および形成した路面モデルの情報をメモリに保存する。

一方、グループ化手段１２は、上記のようにグループ化した水平ラインｊの各グループについて、各グループの最も手前側の位置までの距離Ｚを横断歩道までの距離Ｚｃとして算出し、また、グループの実空間上の距離方向の幅Ｗｚを横断歩道の幅Ｗczとして算出するようになっている。

グループの最も手前側、すなわちグループの最下端の水平ラインｊが、探索を開始した最初の水平ライン（すなわち本実施形態では基準画像Ｔの最下端の水平ラインｊ0）である場合には（ステップＳ２０；ＹＥＳ）、後述するような特殊な処理が必要となるため、最初に、グループの最下端の水平ラインｊが探索を開始した最初の水平ラインｊ0ではなく（ステップＳ２０；ＮＯ）、図１６に示したように、横断歩道が基準画像Ｔの中ほどに撮像される通常の場合について説明する。

また、以下、図２０に示すように、同一グループの最も手前側すなわちグループの最下端の水平ラインｊを水平ラインｊnearと表し、同一グループの最も奥側すなわちグループの最上端の水平ラインｊを水平ラインｊfarと表す。

グループの最下端の水平ラインｊnearが探索を開始した最初の水平ラインｊ0ではない場合（ステップＳ２０；ＮＯ）、グループ化手段１２は、水平ラインｊnear上の画素であって、前述した視差ｄｐが算出されている画素の視差ｄｐを用い、上記（４）式に従って自車両から水平ラインｊnearまでの実空間上の距離Ｚnearを算出して、算出した距離Ｚnearを横断歩道までの距離Ｚｃとしてメモリに保存するようになっている（ステップＳ２１）。

グループ化手段１２は、続いて、同一のグループの最上端の水平ラインｊfarまでの実空間上の距離Ｚfarを上記と同様にして算出し（ステップＳ２２）、グループの実空間上の距離方向の幅Ｗｚを、
Ｗｚ＝Ｚfar−Ｚｃ …（９）
の演算を行って算出し、算出した幅Ｗｚを、今回のフレームで検出した横断歩道の幅Ｗczとするようになっている（ステップＳ２３）。

また、本実施形態では、グループ化手段１２は、今回のフレームでグループ化したグループの位置（すなわち例えばグループの最下端の水平ラインｊnearまでの距離Ｚnear）が、前回のフレームでグループ化したグループの位置から、センサ類Ｑから送信されてくる自車両の車速Ｖやヨーレートγ等から算出される前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて推測される今回のフレームでの位置と同じ、或いは許容される誤差範囲内で一致する場合には、今回のフレームでグループ化したグループを前回のフレームでグループ化したグループに対応付けて、フレームごとにグループを追跡するようになっている。

また、本実施形態では、グループ化手段１２は、このようにしてフレームごとに追跡したグループを検出したフレーム数をカウントし、カウント数が増加するほど当該グループの信頼度が高くなるように可変させて、当該グループに対する信頼度ｓを算出するようになっている（ステップＳ２４）。

なお、グループの信頼度ｓは、この他にも、例えば、対応付けた今回のフレームと前回のフレームの各グループにおいてパターン探索手段１１が検出した繰り返しパターンにおける高輝度の画素部分の数が大きく変化した場合には信頼度ｓが小さくなるように可変させたり、或いは、対応付けた今回のフレームと前回のフレームの各グループに属する水平ラインｊの数が大きく変化した場合には信頼度ｓが小さくなるように可変させるようにして、当該グループに対する信頼度ｓを算出するように構成することも可能である。

その際、１つのグループ内においても、そのグループに属する各水平ラインｊで検出された繰り返しパターンにおける高輝度の画素部分の数が各水平ラインｊで異なる場合もある。そのような場合には、各水平ラインｊで検出された高輝度の画素部分の数の平均値を当該グループにおける高輝度の画素部分の数としたり、或いは、１つのグループに属する各水平ラインｊごとに高輝度の画素部分の数を例えばヒストグラムに投票してその最頻値や中央値を当該グループにおける高輝度の画素部分の数とすることが可能である。

本実施形態では、グループ化手段１２は、続いて、過去のフレームで算出した横断歩道の幅Ｗcz_oldと、今回のフレームで算出した横断歩道の幅Ｗcz_newとを、下記（１０）式に従って重み付け平均して、横断歩道の幅の重み付け平均値Ｗcz_aveを算出して更新するようになっている（ステップＳ２５）。
Ｗcz_ave＝｛１−Ｐ(s)｝×Ｗcz_old＋Ｐ(s)×Ｗcz_new …（１０）

ここで、Ｐ(s)は、上記のように算出した信頼度ｓに基づいて、今回のフレームで検出した横断歩道の幅Ｗcz_newに対して決定される重み（すなわちｓを変数とする重み関数）を表す。そして、重みＰ(s)は、今回のフレームで検出された当該グループに対する信頼度ｓが高いほど大きな値をとるように設定される。

グループ化手段１２は、上記のようにして算出したグループの信頼度ｓや横断歩道の幅の重み付け平均値Ｗcz_ave等をメモリに保存する。また、グループ化手段１２は、必要に応じて、算出したグループの信頼度ｓや横断歩道の幅の重み付け平均値Ｗcz_ave、横断歩道までの距離Ｚｃ等の情報を、車線検出手段１０が検出した車線ＬＲ、ＬＬの情報や路面モデルの情報等とともに外部装置に出力する。

一方、自車両が横断歩道に接近して、図２１に示すように、横断歩道の手前側が基準画像Ｔからはみ出してしまい、基準画像Ｔに撮像されなくなると、図２０に示したような横断歩道の最も手前側が検出できなくなる。このような場合には、上記のような手法では、横断歩道までの距離Ｚｃが算出できなくなる。

そこで、この場合には、グループ化手段１２は、グループの最も奥側の位置までの距離Ｚすなわちグループの最上端の水平ラインｊfarまでの距離Ｚfarを算出し、その距離Ｚfarから、過去のフレームで算出した横断歩道の幅Ｗcz（本実施形態では、上記のようにして算出した横断歩道の幅の重み付け平均値Ｗcz_ave）を減算することで、横断歩道までの距離Ｚｃを算出するようになっている。

具体的には、グループ化手段１２は、基準画像Ｔが図２１に示したように横断歩道の途中までしか撮像されていない画像であり、グループの最も手前側すなわちグループの最下端の水平ラインｊが、探索を開始した最初の水平ライン（すなわち本実施形態では基準画像Ｔの最下端の水平ラインｊ0）である場合には（ステップＳ２０；ＹＥＳ）、

グループ化手段１２は、続いて、グループの最上端の水平ラインｊfarまでの実空間上の距離Ｚfarを上記と同様にして算出する（ステップＳ２６）。そして、メモリから過去のフレームで算出されて更新されている横断歩道の幅の重み付け平均値Ｗcz_aveを読み出して、下記（１１）式に従って横断歩道までの距離Ｚｃを算出してメモリに保存するようになっている（ステップＳ２７）。
Ｚｃ＝Ｚfar−Ｗcz_ave …（１１）

また、グループ化手段１２は、必要に応じて、上記のようにして算出した横断歩道までの距離Ｚｃの情報を、車線検出手段１０が検出した車線ＬＲ、ＬＬの情報や路面モデルの情報等とともに外部装置に出力する。

以上のように、本実施形態に係る道路認識装置１によれば、撮像手段２から、撮像した基準画像Ｔの１画素幅の水平ラインｊごとに送信されてくる各画素の輝度ｐのデータに基づいて、車線検出手段１０が車線候補点ｃｒ、ｃｌを検出し、その処理の中で、パターン探索手段１１が必要に応じて水平ラインｊの探索における探索領域Ｓｌを拡大して繰り返しパターンが存在するか否かを探索し、また、グループ化手段１２が、繰り返しパターンが存在する各水平ラインｊをグループ化する。

また、パターン探索手段１１は、車線検出手段１０が検出した車線候補点ｃｒに対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合にのみ、水平ラインｊの探索における探索領域Ｓｌを拡大して繰り返しパターンが存在するか否かを判断するため、横断歩道を全画面的に探索する必要がなくなる。

そのため、本実施形態に係る道路認識装置１によれば、車両前方を撮像した画像（基準画像Ｔ）中から車線ＬＲ、ＬＬや横断歩道をリアルタイムで検出することが可能となり、例えば１／３０秒ごとに撮像手段から送信されてくる各フレームごとに横断歩道を検出することが可能となる。

また、グループ化手段１２が、グループ化した水平ラインｊのグループについて、グループの最も手前側の位置までの距離Ｚnearを横断歩道までの距離Ｚｃとして算出し、また、グループの実空間上の距離方向の幅Ｗｚ（＝Ｚfar−Ｚｃ）を横断歩道の幅Ｗczとして算出することで、横断歩道までの距離Ｚｃや横断歩道の距離方向の幅Ｗczを的確に検出することが可能となる。

そのため、例えば、的確に検出された横断歩道までの距離Ｚｃに基づいて、自車両を横断歩道の手前で的確に停止させることが可能となる。

なお、本実施形態では、探索領域を拡大する手法として、左側の探索領域Ｓｌを拡大する場合について説明したが、右側の探索領域Ｓｒを拡大するように構成することも可能であり、左右の探索領域Ｓｒ、Ｓｌをともに拡大するように構成することも可能であり、或いは、拡大した探索領域を新たに設定するように構成することも可能である。

また、本実施形態では、前述したように、横断歩道に対応するグループとして検出した水平ラインｊのグループを、フレームごとに対応付けて追跡するようになっている。そのため、前回のフレームで検出した横断歩道に対応するグループの位置や、センサ類Ｑから送信されてくる自車両の車速Ｖやヨーレートγ等から算出される前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームで当該グループが基準画像Ｔ上のどの位置に検出されるかを推測することができる。

そこで、車線検出手段１０は、前回のフレームで検出したグループの基準画像Ｔ中の位置と、前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおける当該グループの基準画像Ｔ上の位置を推測し、推定した位置の水平ラインｊ上では車線候補点ｃｒ、ｃｌの検出を行わないように構成することが可能である。

このように構成すれば、横断歩道が検出される可能性が高い水平ラインｊ上で、横断歩道の白線ブロックのエッジ部分を車線検出手段１０が車線ＬＲ、ＬＬのエッジ部分であると誤って判断して車線候補点ｃｒ、ｃｌを誤検出することを防止することが可能となり、車線ＬＲ、ＬＬの検出の精度を向上させることが可能となる。

１ 道路認識装置
２ 撮像手段
１０ 車線検出手段
１１ パターン探索手段
１２ グループ化手段
ｃｒ、ｃｌ 車線候補点
isl_new 探索開始点（一方の探索領域に隣接する画素）
ｊ 水平ライン
ＬＲ、ＬＬ 車線
ｐ 輝度
Ｐ(s) 重み
ｓ 信頼度
Ｓｒ、Ｓｌ 探索領域
Ｔ 基準画像（画像）
Ｗcz 横断歩道の幅
Ｗcz_ave 横断歩道の幅の重み付け平均値
Ｗr-e 横幅
Ｗｚ グループの実空間上の距離方向の幅
Ｚｃ 横断歩道までの距離
Ｚfar グループの最も奥側の位置までの距離
Ｚnear グループの最も手前側の位置までの距離
Δｊ 各水平ラインの画像上の間隔
Δｐ 輝度差
Δｐth１ 閾値

Claims (11)

1. 自車両の前方を撮像して画像を取得する撮像手段と、
   前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出する車線検出手段と、
   前記車線検出手段が検出した前記車線候補点に対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合には、当該車線候補点が検出された前記水平ラインの探索における探索領域を拡大し、当該水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するパターン探索手段と、
   前記繰り返しパターンが存在する前記各水平ラインを、前記各水平ラインの前記画像上の間隔または実空間上の距離方向の幅に基づいてグループ化するグループ化手段と、
   を備え、
   前記グループ化手段は、前記グループ化した前記水平ラインのグループについて、前記グループの最も手前側の位置までの距離を横断歩道までの距離として算出し、前記グループの実空間上の距離方向の幅を前記横断歩道の幅として算出することを特徴とする道路認識装置。
2. 自車両の前方を撮像して画像を取得する撮像手段と、
   前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出する車線検出手段と、
   前記車線検出手段が検出した前記車線候補点に対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合には、当該車線候補点が検出された前記水平ラインの探索における探索領域を拡大し、当該水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するパターン探索手段と、
   を備え、
   前記パターン探索手段により存在すると判断された、横断歩道に対応する前記繰り返しパターンに基づいて、前記撮像手段により撮像された前記画像中から横断歩道を検出することを特徴とする道路認識装置。
3. 自車両の前方を撮像して画像を取得する撮像手段と、
   前記画像上で水平ラインを前記画像の上方向または下方向にずらしながら、前記各水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するパターン探索手段と、
   前記繰り返しパターンが存在する前記各水平ラインを、前記各水平ラインの前記画像上の間隔または実空間上の距離方向の幅に基づいてグループ化するグループ化手段と、
   を備え、
   前記グループ化手段は、
   前記グループ化した前記水平ラインのグループについて、前記グループの最も手前側の位置までの距離を横断歩道までの距離として算出し、前記グループの実空間上の距離方向の幅を前記横断歩道の幅として算出するとともに、
   過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、今回のフレームでグループ化した前記水平ラインのグループが、前記画像における最下端の水平ラインを含む場合には、前記グループの最も奥側の位置までの距離を算出し、前記グループの最も奥側の位置までの距離から、過去のフレームで算出した前記横断歩道の幅を減算することで、前記横断歩道までの距離を算出することを特徴とする道路認識装置。
4. 自車両の前方を撮像して画像を取得する撮像手段と、
   前記画像上で水平ラインを前記画像の上方向または下方向にずらしながら、前記各水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するパターン探索手段と、
   前記繰り返しパターンが存在する前記各水平ラインを、前記各水平ラインの前記画像上の間隔または実空間上の距離方向の幅に基づいてグループ化するグループ化手段と、
   を備え、
   前記グループ化手段は、
   前記グループ化した前記水平ラインのグループについて、前記グループの最も手前側の位置までの距離を横断歩道までの距離として算出し、前記グループの実空間上の距離方向の幅を前記横断歩道の幅として算出するとともに、
   過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、対応付けた前記グループを検出したフレームの数、前記パターン探索手段が検出した前記繰り返しパターンにおける前記高輝度の画素部分の数、または前記グループに属する前記水平ラインの数に応じて、当該グループの信頼度を算出することを特徴とする道路認識装置。
5. 前記車線検出手段は、前回のフレームで検出した前記車線の情報および前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおいて前記水平ライン上で前記車線候補点を探索する探索領域を自車両の左右に設定し、
   前記パターン探索手段は、前記車線検出手段が前記水平ライン上の一方の前記探索領域中に検出した前記車線候補点に対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合には、前記水平ライン上の他方の前記探索領域を前記一方の探索領域に隣接する画素まで拡大して、当該水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断することを特徴とする請求項１または請求項２に記載の道路認識装置。
6. 前記車線検出手段は、前記パターン探索手段により前記水平ライン上に前記繰り返しパターンが存在すると判断された場合には、当該水平ライン上で検出した前記車線候補点を棄却して、前記車線の検出の対象から除外することを特徴とする請求項１、請求項２または請求項５に記載の道路認識装置。
7. 前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、今回のフレームでグループ化した前記水平ラインのグループが、前記画像における最下端の水平ラインを含む場合には、前記グループの最も奥側の位置までの距離を算出し、前記グループの最も奥側の位置までの距離から、過去のフレームで算出した前記横断歩道の幅を減算することで、前記横断歩道までの距離を算出することを特徴とする請求項１に記載の道路認識装置。
8. 前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、対応付けた前記グループを検出したフレームの数、前記パターン探索手段が検出した前記繰り返しパターンにおける前記高輝度の画素部分の数、または前記グループに属する前記水平ラインの数に応じて、当該グループの信頼度を算出することを特徴とする請求項１または請求項７に記載の道路認識装置。
9. 前記グループ化手段は、算出した前記信頼度に基づいて、今回のフレームでグループ化した前記グループの実空間上の距離方向の幅として算出した前記横断歩道の幅に対する重みを決定し、当該重みを用いて、過去のフレームで算出した前記横断歩道の幅と今回のフレームで算出した前記横断歩道の幅とを重み付け平均して、前記横断歩道の幅の重み付け平均値を算出することを特徴とする請求項８に記載の道路認識装置。
10. 前記グループ化手段は、前記グループ化した前記水平ラインのグループが、前記画像における最下端の水平ラインを含む場合には、前記グループの最も奥側の位置までの距離を算出し、前記グループの最も奥側の位置までの距離から、過去のフレームで算出した前記横断歩道の幅の重み付け平均値を減算することで、前記横断歩道までの距離を算出することを特徴とする請求項９に記載の道路認識装置。
11. 前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、
    前記車線検出手段は、前回のフレームで検出した前記グループの前記画像中の位置および前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおける当該グループの前記画像上の位置を推測し、推定した前記位置の前記水平ライン上では前記車線候補点の検出を行わないことを特徴とする請求項１に記載の道路認識装置。

Images