JP4992990B2 - 区画線検出装置 - Google Patents

Description

本発明は、車両前方の路面を撮影した路面画像に基づいて区画線を検出する区画線検出装置に関する。

従来、車両前方の路面を撮影した路面画像を画像処理して白線等のペイントや道路鋲などを示すエッジ点を抽出し、そのエッジ点に基づいて区画線を検出する区画線検出装置が提案されている（例えば、特許文献１参照）。ここでいう区画線とは、車両の走行車線などを区切る線であって、走行車線に沿って配置される実線や破線からなる白線等のペイント、または走行車線に沿って間欠的に配置される道路鋲などによって構成される線である。

区画線検出装置によって検出された区画線は、車両の進行方向や速度、操舵角などの挙動情報と組み合わせて、車両が区画線を逸脱するか否かの予測に利用されたり、自動操舵角制御に用いる情報の一つとして利用されたりする。

特開２００７−１４１０５２号公報

路面画像からエッジ点を抽出すると、区画線を構成するペイントや道路鋲（以降、区画線構成物ともいう）が存在する場所以外で、ノイズとなるエッジ点を抽出してしまう場合がある。ノイズが多く検出されると区画線を誤認識してしまう虞があるため、ノイズを除去する処理が必要となる。

従来からノイズの除去には様々な手法が用いられている。例えば、輝度フィルタを用いてペイントや道路鋲でないと判断できる輝度のエッジ点をノイズとして除去したり、検出されたエッジ点から推定される構成物の大きさが所定の範囲でない場合に、そのエッジ点をノイズとして除去したりすることが行われている。ノイズが相対的に少数であれば、ハフ変換などにより区画線を検出する際に誤認識されにくくなる。

しかしながら、上述した手法ではノイズが確実に除去できない場合がある。例えば、隣接する車線を走行する車両における路面付近の構造物（更に言えばホイールなど）のエッジ点を抽出した場合に、その構造物の材質や表面処理状態、または路面画像に映し出される角度によっては区画線構成物と輝度や大きさが近くなり、輝度フィルタや構造体の大きさに基づくノイズ除去が困難となる場合がある。

そして、ハフ変換を行うときに、区画線構成物を示すエッジ点が多数抽出されていれば区画線を誤認識する可能性は小さくなるが、そのようなエッジ点が少ない場合にはノイズによって区画線を誤認識してしまいやすくなる。ボッツドッツやキャッツアイなど、路面の走行レーンの境界において進行方向に点在する区画線構成物を利用して区画線を検出する場合には、区画線として適切なエッジ点が少なくなりやすいため、上述した問題が特に発生しやすくなる。

本発明は、上述した問題に鑑みてなされたものであり、その目的は、区画線を適切に検出する区画線検出装置を提案することである。

上述した問題を解決するためになされた請求項１に記載の発明は、車両前方の路面を撮影した路面画像に基づいて区画線を検出する区画線検出装置に関する。この区画線検出装置は、路面画像を取得し、その取得された路面画像からエッジ点を抽出する。そして、抽出されたエッジ点のうち、所定数以上のエッジ点が路面の鉛直方向に対応する路面画像面上の方向に並んでおり、且つ、その並んでいるエッジ点の間隔が所定値以下である場合に、そのエッジ点をノイズとして判断する。そして、路面画像から抽出されたエッジ点からノイズとして判断されたエッジ点を除去した残りのエッジ点に基づいて区画線を検出することを特徴とする。
なお上述した区画線とは、路面の走行レーンの境界において進行方向に点在する点状標示物により構成されるものである。そして、エッジ点を抽出する際に、路面画像面上において、路面の水平方向に対応する複数のライン上でエッジ点を検出するものであって、上記複数のラインは、各ラインに対応する路面上の位置が実距離で等間隔となるように設定されている。

このように構成された区画線検出装置では、路面画像から抽出されたエッジ点のうち、その路面画像において実際の鉛直方向に対応する方向に並んだエッジ点をノイズとして除去する。よって、路面から鉛直方向に存在する構造体に基づいて抽出されるエッジ点がノイズとして除去されることとなる。

通常、区画線を構成する区画線構成物は、車両がその上方を通過できるように路面から突出する高さを抑えて配置されている。従って、鉛直方向に長く存在する構造体は区画線構成物ではない可能性が高く、即ちこの構造体に基づいて抽出されるエッジ点はノイズである可能性が高いため、このノイズを除去することで適切に区画線を検出できるようになる。

また、上述した所定値とは、エッジ点が連続していると判断するための基準となるしきい値であり、この値以下でエッジ点が抽出された場合に、そのエッジ点同士が連続していると判断される。

なお、エッジ点を抽出する具体的な手法は特に限定されないが、路面画像から例えばキャニー法や微分エッジ検出法などを用いて抽出することができる。
また、区画線を検出する具体的な手法は特に限定されないが、例えばハフ変換によって投票数が最多の直線を区画線として検出することができる。

また上述したように、上述した区画線とは、路面の走行レーンの境界において進行方向に点在する点状標示物により構成されるものである。進行方向に点在する点状標示物は互いに間隔を空けて配置されているため、エッジ点が実際の鉛直方向に対応する方向に長く連続的に並ぶことがない。よって、所定数以上エッジ点が並ぶエッジ点をノイズと判断して除去することで良好に点状標示物に基づくエッジ点を残すことができ、区画線を適切に検出することができる。

また、点状標示物は、実線や破線からなるペイント線などと比較するとエッジ点の抽出数が少なくなりやすい。従って、鉛直方法に連続したエッジ点が（即ちノイズである多数のエッジ点が）路面画像から抽出されると区画線を誤認識しやすくなってしまうが、本発明であればそのような危険を低減することができる。

なお、点在する点状標示物とは、区画線構成物の一部の態様であって、具体的にはボッツドッツ，キャッツアイ，および道路鋲などが該当する。区画線構成物には、点状標示物の他に、路面の走行レーンの境界において配置される進行方向に所定以上の長さを有する線状標示物がある。具体的には、実線，破線の白線やオレンジ線からなるペイント線や、ブロック状の石やコンクリートなどが該当する。

なお、区画線検出装置による上述したノイズ除去は、区画線を検出する場合には常時行うこととしてもよいが、請求項２に記載の区画線検出装置のように、所定の状態においてのみ動作するように構成してもよい。具体的には、区画線検出装置を、上述した点状標示物により構成される区画線を検出する第１の動作モードと、上述した線状標示物により構成される区画線を検出する第２の動作モードと、に切り替え可能に構成し、区画線検出装置が上記第１の動作モードのときにノイズ判断を行うように構成することが考えられる。

このように構成された区画線検出装置では、第１の動作モードのときに上記ノイズ判断を行って、ノイズを除去した区画線検出を行う。線状標示物に基づいてエッジ点が多数抽出される場合のモードである第２の動作モードでは、ノイズが多少増えても安定して区画線の検出を行うことができるので、上記ノイズ判断のための処理を行わないことで処理負荷を低減することができる。

また、第２の動作モードでは線状標示物に基づく連続したエッジ点が抽出されることとなる。従って、仮にペイント線から抽出されたエッジ点に対して上記ノイズ判断を行うと、線状標示物に基づく連続したエッジ点を誤って除去してしまう可能性が、点在する点状標示物を対象として区画線検出を行う場合と比較すれば高くなってしまうが、第２の動作モードでは上記ノイズ判断を行わないので、ノイズでないエッジ点を除去する虞がない。

また上述したように、区画線検出装置は、エッジ点を抽出する際に、路面画像面上において、路面の水平方向に対応する複数のライン上でエッジ点を検出するものであって、上記複数のラインは、各ラインに対応する路面上の位置が実距離で等間隔となるように設定されている。

このように構成された区画線検出装置では、ライン間の距離が実距離で等間隔であるため、エッジ点が並ぶ数が同じであれば、路面画像面上のどこのエッジ点についても、同一の判断基準で鉛直方向の長さをチェックしてノイズと判断することができる。従って、ノイズの判断基準が一定してぶれないので、路面画像に写し出されたある構造体のエッジ点が、路面画像の位置によってノイズと判断されたり判断されなかったりして区画線の認識が適切に行えなくなる危険を低減できる。

車線逸脱警報システムの構成を示すブロック図である。 画像処理ＥＣＵによる逸脱警報処理の処理手順を示すフローチャートである。 路面画像の例（Ａ）と、その路面画像における１つのエッジ抽出ラインにおける濃淡を示すグラフ（Ｂ）である。 路面画像の一部の拡大図（Ａ）と、その拡大部分に対応するエッジ抽出判断結果のデータマトリクスの例を示す図（Ｂ）である。 ノイズ判断の変形例を説明するデータマトリクスを示す図である。

以下に本発明の実施形態を図面と共に説明する。ただし、以下に説明する実施形態は、あくまでも例示にすぎず、本発明が、下記の事例以外にも様々な形態で実施できるのはもちろんである。
［実施例］
（１）車線逸脱警報システム１の構成
車線逸脱警報システム１は、自動車等の車両に搭載されて用いられる装置であって、図１に示すように、ＣＡＮによる車内ネットワーク１０と、画像センサ１２と、ブザー１４と、を有している。

車内ネットワーク１０は、車両の旋回方向への角速度（即ち、ヨーレート）を検出するヨーセンサ２０と、車両の走行速度（車速）を検出する車速センサ２２と、を有している。

画像センサ１２は、カメラ３０と、カメラ３０が撮影した画像を処理し、ブザー１４にブザー要求の制御信号を出力する画像処理ＥＣＵ３２と、からなる。なお、この画像処理ＥＣＵ３２が本発明における区画線検出装置に相当する。

カメラ３０は、車両の例えば中央前方側に装着されて、車両前方の路面を含む風景を所定の時間間隔（本実施例では１／１５ｓ）で撮影して、その路面画像のデータ（以降、当該データを路面画像という場合がある）を画像処理ＥＣＵ３２に出力するものである。カメラ３０としては、例えば可視画像を取得することができるＣＣＤカメラや撮像管を用いたカメラ、または赤外線画像を取得することができる赤外線カメラなどを用いることができる。

画像処理ＥＣＵ３２は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ，入出力インターフェース，およびこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されている。

画像処理ＥＣＵ３２は、ＲＯＭから読み込んだアプリケーションプログラムやＲＡＭに格納された各種データに従って、後述する逸脱警報処理などを実行する。また、カメラ３０から路面画像を受信する毎に、ＲＡＭにそのデータを格納し、その画像データに基づいて後述する逸脱警報処理において区画線の検出を実行する。

また画像処理ＥＣＵ３２は車内ネットワーク１０と接続しており、ヨーセンサ２０および車速センサ２２と通信して各センサの出力値を取得する。
また画像処理ＥＣＵ３２はブザー１４と接続しており、逸脱警報処理において警報を行うべきと判断された際に、ブザー要求の制御信号を出力する。

ブザー１４は、画像処理ＥＣＵ３２より上記制御信号を受信すると、車両内部に警報音を発報させる。
（２）画像処理ＥＣＵ３２による処理
以下に、画像処理ＥＣＵ３２により実行される逸脱警報処理の処理手順を、図２に基づいて説明する。この逸脱警報処理は、車両のアクセサリスイッチがオンにされることで画像センサ１２に電源が投入されると起動され、アクセサリスイッチがオフにされて電源が遮断されるまで繰り返し実行される。

この逸脱警報処理では、まず、路面画像のデータをカメラ３０から取得する（Ｓ１０）。
次に、Ｓ１０にて取得した路面画像に基づいてエッジ点を抽出する（Ｓ１２）。図３（Ａ）に、路面画像４０とエッジ抽出ライン４２の一例を示す。路面画像４０は、車両から前方の路面を撮影した画像であり、ボッツドッツ４４や隣接する車両が写し出されている。エッジ抽出ライン４２は、路面の水平方向に対応するラインである。

このＳ１２では、まず、取得した路面画像に対して、複数のエッジ抽出ライン４２を設定する。このエッジ抽出ライン４２は、図４（Ａ）に示すように、各エッジ抽出ライン４２間の実距離が等間隔となるように路面画像では手前側ほど広く、奥ほど狭くなるように設定される。

図３（Ａ）に示すエッジ抽出ライン４２上の全画素に対して光電変換を行って出力した濃淡値を表すグラフを図３（Ｂ）に示す。隣接車両のホイール部分４６とボッツドッツ４４の存在する部分が周辺よりも高い輝度を示している。このエッジ抽出ライン４２上の各画素に対して微分フィルタを使用して微分値を検出し、微分値が極大極小になる点をエッジ点として抽出する。そして、このエッジ点の抽出を路面画像４０において設定された全てのエッジ抽出ライン４２において繰り返し、路面画像４０におけるエッジ点の抽出が完了する。

次に、縦方向に連続するエッジ点を、ノイズとして除去する（Ｓ１４）。図４（Ａ）に、図３（Ａ）における領域４８を拡大した拡大図を示す。Ｓ１２による処理を行った結果エッジ点として抽出された路面画像面上の位置に「×」マークを示す。なお、この「×」マークは説明のために付したものであって、実際の処理において路面画像面上に付される必要はない。

また、図４（Ｂ）に、図４（Ａ）に対応するデータマトリクスを示す。横に並ぶ行それぞれが、１つのエッジ抽出ラインに対応している。路面画像における上方に位置するエッジ抽出ラインから順にマトリクスの上方から並んでおり、設定されたエッジ抽出ラインの数だけ行数が存在する。また、縦の列は路面画像における各画素の左右方向の並びに対応している。

上記データマトリクスにおいて、「０」はエッジ点が抽出されていないことを示し、「１」はエッジ点が抽出されていることを示す。なお、この図４（Ｂ）は模式的に示したものであって、実際の路面画像の画素数とは異なる場合がある。

図４（Ａ）に示すように、ボッツドッツは走行レーンの境界において進行方向に沿って配置されているため、路面画像面上では抽出されたエッジ点が斜めに並ぶこととなる。一方、車両のホイール部分から抽出されたエッジ点は、ホイールの側面が鉛直に立っているため、路面画像面上にて抽出されたエッジ点が縦方向に並ぶこととなる。

ここで、路面画像から抽出されたエッジ点の中から、路面画像における縦方向（路面の鉛直方向）に所定量（本実施例では３つ）以上、所定の間隔以下（本実施例では０）で並んでいるエッジ点を、ノイズとして判断する。図４（Ｂ）においては、ホイール部分に対応するエッジ点が縦に４つ並んでいるため、それらエッジ点をノイズと判断する。

そして、Ｓ１２にて抽出されたエッジ点から、ノイズとして判断されたエッジ点を除去し（エッジ点として判断されたデータを削除し）、その後処理がＳ１６に移行する。
続くＳ１６では、エッジ線の抽出を行う（Ｓ１６）。ここでは、Ｓ１４にてノイズを除去された残りのエッジ点をハフ変換して、一番多くエッジ点を通るエッジ線を抽出する。

次に、区画線位置の算出を行う（Ｓ１８）。ここでは、Ｓ１６にて抽出したエッジ線を含む、直近に撮影された所定数の路面画像（例えば直近の３コマ分の画像）から抽出した所定数のエッジ線に基づいて、区画線の位置を算出する。また、算出した区画線の位置に基づき車両から区画線までの距離を算出する。

次に、区画線の逸脱判定を行う（Ｓ２０）。ここでは、まず、ヨーセンサ２０から取得したヨーレートおよび車速センサ２２から取得した車両速度に基づいて、車両の走行軌跡を予測する。続いて、Ｓ１８にて算出した区画線の位置、車両から区画線までの距離、および予測した走行軌跡に基づいて、車両が区画線を逸脱するまでに要する時間を算出する。

そして、算出した区画線を逸脱するまでの時間が所定のしきい値（本実施例では１秒）以上であれば、逸脱しないと判定し（Ｓ２０：ＮＯ）、処理がＳ１０に戻る。一方、しきい値未満であれば、逸脱の危険ありと判定し（Ｓ２０：ＹＥＳ）、ブザー１４に対してブザー要求の制御信号を出力する（Ｓ２２）。その後、処理がＳ１０に戻る。
（３）効果
以上説明した車線逸脱警報システム１では、カメラ３０が撮影した路面画像から抽出されたエッジ点のうち、その路面画像において実際の鉛直方向に対応する縦方向に並んだエッジ点をノイズとして除去する。よって、隣接車両のホイール部分４６のように、路面から鉛直方向に存在する構造体に基づいて抽出されるエッジ点をノイズとして除去することができる。

上記実施例では、ボッツドッツ４４に基づいて区画線を検出しているが、ボッツドッツは車両がその上方を通過できるように路面から突出する高さを抑えて配置されており、また走行レーンの進行方向に沿って互いに間隔を空けて配置されている。そのため、ボッツドッツのエッジ点が、路面画像において実際の鉛直方向に相当する縦方向に連続して存在する可能性は低い。よって、縦方向に並ぶエッジ点を除去することで、ボッツドッツのエッジ点は確実に残すことができ、適切に区画線を検出できるようになる。

また、上記実施例では、複数のエッジ抽出ライン４２が路面上の位置が実距離で等間隔となるように設定されている。また、エッジ点がノイズであるか否かの判断は、エッジ点が縦方向に並んだ数を基準として行っている。つまり、エッジ点が縦方向に連続して並んだ数が同じであれば、そのエッジ点が路面画像のどの位置で抽出されたものであっても鉛直方向に同じ高さを有しているといえるので、路面画像のどのエッジ点についても同一の判断基準でノイズと判断することができる。

その結果、ノイズの判断基準が一定してぶれないので、路面画像に写し出されたある構造体のエッジ点が、路面画像における位置によってノイズと判断されたり判断されなかったりして区画線の認識が適切に行えなくなる危険を低減できる。
（４）対応関係
画像処理ＥＣＵ３２により実行されるＳ１０の処理が、本発明の画像取得手段による処理に相当し、Ｓ１２の処理がエッジ抽出手段による処理に相当し、Ｓ１４の処理がノイズ判断手段による処理に相当し、Ｓ１６、Ｓ１８の処理が検出手段による処理に相当する。
［変形例］
以上、本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。

例えば、上記実施例においては、図４（Ｂ）に示すデータマトリクスにおいて縦方向に３つ以上エッジ点が並んだ場合にノイズであると判断する構成を例示したが、２つ以上であればその値は任意に決定することができる。

また、厳密に縦方向に並んでいることを必須の要件としなくともよい。例えば、図５（Ａ）に示すように、エッジ点が縦方向に１つ間隔を空けて抽出されたとしても、そのエッジ点を縦方向に並ぶエッジ点と判断することとしてもよい。この間隔は１つでなくともよい。また、図５（Ｂ）に示すように、横方向に所定の幅を設けてエッジ点の縦並びを判断してもよい。

また、上記実施例においては、エッジ点が並ぶ個数を基準としてノイズの判断を行う構成を例示したが、それ以外の基準によって判断を行ってもよい。
例えば、本実施例ではエッジ抽出ライン４２を実距離が等間隔となるように設定しているが、路面画像面上で等間隔となるように設定した場合など（つまり縦方向に等間隔でエッジ抽出ラインを並べた場合など）は、縦方向に並ぶエッジ点の並びの長さを実距離に変換し、その距離が所定のしきい値を超える場合にノイズと判断してもよいし、実距離に変換せず、路面画像面上の距離で判断することとしてもよい。

また、上述した路面画像面上で等間隔となるように設定したエッジ抽出ラインを用いる場合に、ノイズの判断基準を縦方向に並んだエッジの個数とし、車両に近い領域から抽出されたエッジ点はノイズと判断するしきい値を高く、車両から遠い領域から抽出されたエッジ点はノイズと判断するしきい値を低く設定することも考えられる。

なお、上記実施例の構成では、エッジ点の数に基づいてノイズを判断しており、しきい値の変動などを行う必要がないため、画像処理ＥＣＵ３２の処理負荷を低減することができる。

また、上記実施例においては、データマトリクスを用いる構成を例示したが、エッジ点が縦方向（路面の鉛直方向）に並んだことを判定できれば、データマトリクスを用いずに判定する構成であってもよい。

また、上記実施例においては、ボッツドッツに基づいてエッジ線を抽出し、そのエッジ線から区画線を検出する構成を例示したが、ボッツドッツ以外に基づいて区画線を検出することも当然可能である。ボッツドッツ以外には、実線，破線からなるペイント線や、キャッツアイ，道路鋲などの区画線構成物から区画線を検出することができる。なお、ボッツドッツ，キャッツアイ，および道路鋲などの走行レーンの進行方向にそって点在する区画線構成物（本発明における点状標示物）は、実線や破線からなるペイント線などからなる所定以上の長さを有する区画線構成物（本発明における線状標示物）と比較するとエッジ点の抽出数が少なくなりやすい。従って、鉛直方法に連続したエッジ点が（即ちノイズである多数のエッジ点が）路面画像から抽出されると区画線を誤認識しやすくなってしまうが、本車線逸脱警報システム１であればそのような危険を低減することができる。

なお、画像処理ＥＣＵ３２による上述したノイズ除去は、画像センサ１２の起動中は常時行うこととしてもよいが、所定のモードにおいてのみ動作するように構成してもよい。例えば、上述した点状標示物により構成される区画線を検出する第１の動作モードと、線状標示物により構成される区画線を検出する第２の動作モードと、に切り替え可能に構成し、第１の動作モードのときにノイズ判断を行うように構成することが考えられる。

ペイント線に基づいてエッジ点が多数抽出される場合のモードである第２の動作モードでは、ノイズが多少増えても安定して区画線の検出を行うことができるので、上記ノイズ判断のための処理を行わないことで処理負荷を低減することができる。

また、第２の動作モードではペイント線に基づく連続したエッジ点が抽出されることとなる。そのため、仮に上記ノイズ判断をペイント線から抽出されたエッジ点に対して行うと、そのエッジ点を誤ってノイズとして除去してしまう可能性が、点在する線状標示物を対象として区画線検出を行う場合と比較すれば高くなってしまうが、第２の動作モードでは上記ノイズ判断を行わないので、ノイズでないエッジ点を除去する虞がない。

１…車線逸脱警報システム、１０…車内ネットワーク、１２…画像センサ、１４…ブザー、２０…ヨーセンサ、２２…車速センサ、３０…カメラ、３２…画像処理ＥＣＵ、４０…路面画像、４２…エッジ抽出ライン、４４…ボッツドッツ、４６…ホイール部分、４８…領域、

Claims (2)

1. 車両前方の路面を撮影した路面画像に基づいて区画線を検出する区画線検出装置であって、
   前記路面画像を取得する画像取得手段と、
   前記画像取得手段により取得された前記路面画像からエッジ点を抽出するエッジ抽出手段と、
   前記エッジ抽出手段により抽出されたエッジ点のうち、所定数以上のエッジ点が前記路面の鉛直方向に対応する前記路面画像面上の方向に並んでおり、且つ、当該並んでいるエッジ点の間隔が所定値以下である場合に、当該各エッジ点をノイズとして判断するノイズ判断手段と、
   前記エッジ抽出手段により抽出された前記エッジ点から前記ノイズ判断手段によりノイズとして判断された前記エッジ点を除去した残りのエッジ点に基づいて前記区画線を検出する検出手段と、を備え、
   前記区画線は、路面の走行レーンの境界において進行方向に点在する点状標示物により構成されるものであり、
   前記エッジ抽出手段は、前記路面画像面上において、前記路面の水平方向に対応する複数のライン上でエッジ点を検出するものであって、
   前記複数のラインは、各ラインに対応する前記路面上の位置が実距離で等間隔となるように設定されている
   ことを特徴とする区画線検出装置。
2. 前記区画線検出装置は、前記点状標示物により構成される区画線を検出する第１の動作モードと、前記路面の走行レーンの境界において配置される進行方向に所定以上の長さを有する線状標示物により構成される区画線を検出する第２の動作モードと、に切り替え可能に構成されており、
   前記ノイズ判断手段は、前記区画線検出装置が前記第１の動作モードのときに作動する
   ことを特徴とする請求項１に記載の区画線検出装置。