JP4512044B2 - 道路区間線検出装置 - Google Patents

Description

本発明は、道路区間線を検出する道路区画線検出装置に関する。

従来から、車両に搭載されて車両前方を撮影する撮像手段と、前記撮像手段により撮像された画像の輝度変化に基づいて、レーンマーカ認識処理を行う第１のレーンマーカ認識手段と、前記撮像手段により撮像された画像と所定のテンプレートとのパターンマッチングにより、レーンマーカ認識処理を行う第２のレーンマーカ認識手段と、車両前方に光信号を送出する信号送出手段と、前記信号送出手段から送出された光信号の反射信号を受信する信号受信手段と、前記信号受信手段により受信した反射信号の受信量に基づいて、前記第１のレーンマーカ認識手段および前記第２のレーンマーカ認識手段のうちのいずれか一方を選択する選択手段とを備えることを特徴とするレーンマーカ認識装置が知られている（例えば、特許文献１参照）。
特開２００４−１３９３３８号公報

ところで、一般的に、道路区間線は、上記の従来技術のように、画像中に含まれる道路区画線に関わる画素の信号レベルと、それ以外の領域の画素の信号レベルとの差(例えば輝度差)に基づいて、検出される。しかしながら、単に信号レベルの差のみに着目するだけでは、ノイズの影響を適切に除去することができない虞がある。

そこで、本発明は、ノイズの影響を受け難い態様で、道路区間線を高精度に検出することができる道路区画線検出装置の提供を目的とする。

上記目的を達成するため、第１の発明に係る道路区間線検出装置は、車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段と、
周囲画像の画素列における輝度レベル分布を表す輝度分布信号から、所定の基準輝度レベルを差分し、負となる輝度レベルをゼロ又は極小値に置き換えることで、正輝度分布信号を生成する正輝度分布信号生成手段と、
同輝度分布信号から、所定の基準輝度レベルを差分し、正となる輝度レベルをゼロ又は極小値に置き換えることで、負輝度分布信号を生成する負輝度分布信号生成手段と、
負輝度分布信号を正負反転させて正輝度分布信号に合成する合成輝度分布信号生成手段と、を備え、
合成輝度分布信号生成により生成される合成輝度分布信号に基づいて、道路区間線を検出することを特徴とする。

第２の発明は、第１の発明に係る道路区間線検出装置において、
前記合成輝度分布信号生成手段は、前記負輝度分布信号を正輝度分布信号に対して相対的に所定画素数だけずらして合成することを特徴とする。

第３の発明は、第１又は２の発明に係る道路区間線検出装置において、
前記合成輝度分布信号で表される輝度レベルが所定値以上となる画素の位置に基づいて、道路区間線の位置を検出することを特徴とする。

第４の発明は、第１〜３のいずれかの発明に係る道路区間線検出装置において、
前記道路区間線は、間隔をおいて点状に設けられる類の道路区画線であることを特徴とする。

上記目的を達成するため、第５の発明に係る道路区間線検出方法は、車両から撮像手段が撮像した路面を含む周囲画像を取得するステップと、
周囲画像の画素列における輝度レベル分布を表す輝度分布信号から、所定の基準輝度レベルを差分し、負となる輝度レベルをゼロ又は極小値に置き換えることで、正輝度分布信号を生成するステップと、
同輝度分布信号から、所定の基準輝度レベルを差分し、正となる輝度レベルをゼロ又は極小値に置き換えることで、負輝度分布信号を生成するステップと、
負輝度分布信号を正負反転させて正輝度分布信号に合成する合成輝度分布信号生成ステップと、
合成輝度分布信号生成ステップにより生成される合成輝度分布信号に基づいて、道路区間線を検出するステップと、を含むことを特徴とする。

上記目的を達成するため、第６の発明に係るコンピューター読み取り可能なプログラムは、コンピューターをして、
（１）車両から撮像手段が撮像した路面を含む周囲画像を取得する処理、
（２）周囲画像の画素列における輝度レベル分布を表す輝度分布信号から、所定の基準輝度レベルを差分し、負となる輝度レベルをゼロ又は極小値に置き換えることで、正輝度分布信号を生成する処理、
（３）同輝度分布信号から、所定の基準輝度レベルを差分し、正となる輝度レベルをゼロ又は極小値に置き換えることで、負輝度分布信号を生成する処理、
（４）負輝度分布信号を正負反転させて正輝度分布信号に合成する処理、及び、
（５）合成輝度分布信号生成ステップにより生成される合成輝度分布信号に基づいて、道路区間線を検出する処理を含む道路区間線検出処理を実行させることを特徴とする。

本発明によれば、ノイズの影響を受け難い態様で、道路区間線を高精度に検出することができる道路区画線検出装置が得られる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、本発明による道路区画線検出装置の一実施例を含むシステム構成図である。本実施例の道路区画線検出装置１００には、車両から路面を含む風景を撮像するカメラ１０が接続される。カメラ１０は、ＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、例えば５００万画素を有する路面を含む周囲画像を取得する。カメラ１０は、例えばルームミラーに取り付けられ、車両前方の路面を撮像するものであってもよいし、例えばサイドミラーに取り付けられ、車両側方の路面を撮像するものであってもよいし、例えばバックドアに取り付けられ、車両後方の路面を撮像するものであってもよい。

カメラ１０は、好ましくはリアルタイムに周囲画像を取得し、取得された周囲画像は、道路区画線検出装置１００に供給される。この場合、周囲画像は、適切なフレームレートのストリーム形式で道路区画線検出装置１００に供給されてよい。

道路区画線検出装置１００は、以下詳説する如く、カメラ１０から供給される周囲画像に基づいて、車両周辺の道路区画線を検出する。例えば、車両進行方向前方の路面を撮像するカメラ１０の場合、道路区画線検出装置１００は、車両前方の道路区画線を検出する。道路区画線は、道路上における白線、ボッツドッツ（Botts Dots）、キャッツアイ等を含む。なお、白線には、黄色線等の任意の色の線、実線、破線、点線、二重線等の道路を区画するあらゆる線を含んでよい。

図２は、ボッツドッツ及びキャッツアイの説明図である。ボッツドッツ５１は、主として北米で用いられる区画線であり、例えばセラミックからなる、直径１００mm程度の立体状の円盤を複数並べて、路面に埋め込んだものである（図２（ａ））。一方、キャッツアイ５３は、略矩形状に形成された反射体を複数並べた区画線であり、入射光を同一の方向に反射する特性を有している（図２（ｂ））。キャッツアイ５３のみから構成される区画線は、例えば、日本では、高速道路以外のカーブ道路等で使用されており、北米では、カーブ道路だけでなく、直線道路でも使用されている。ボッツドッツ５１及びキャッツアイ５３は、いずれも路面から僅かに突出した状態で配設されている。

道路区画線検出装置１００による道路区画線の検出結果は、車線に沿った車両走行を支援する各種車載システムに用いられうる。

例えば、図１に示す例では、道路区画線検出装置１００には、車両の走行支援を行う走行支援ECU３０が通信回線を介して接続されている。道路区画線検出装置１００は、道路区画線の検出結果を走行支援ECU３０に通信回線を介して送信する。

走行支援ECU３０は、車両LAN（Local Area Network）等の通信回線３３に接続されている。また、車両LAN３３には、ステアリングに付与されるアシスト力を制御する電動パワーステアリングECU（EMPS−ECU）３５が接続されている。さらに、車両LAN３３には、エンジンを統合的に制御するエンジンECU（EFI−ECU）３７と、メータパネルの表示等を制御するメータECU３９とが接続されている。これら走行支援ECU３０、EMPS−ECU３５、EFI−ECU３７、メータECU３９は、車両LAN３３を介して、CANプロトコル等に基づいた、双方向のデータ通信を行う。

EMPS−ECU３５には、ステアリングにアシスト力を付与する電動モータ等のステアリングアクチュエータ３５ａが接続されている。EMPS−ECU３５は、走行支援ECU３０から送信されたトルク値（電流値）に基づいて、ステアリングアクチュエータ３５ａを駆動、制御する。

EFI−ECU３７には、車速を検出する車速センサ３７ａと、ステアリングの操舵角を検出する操舵角センサ３７ｂが接続されている。車速センサ３７ａにより検出された車速、および操舵角センサ３７ｂにより検出された操舵角は、EFI−ECU３７および車両LAN３３を介して、走行支援ECU３０に送信される。

走行支援ECU３０は、道路区画線検出装置１００から通信回線を介して送信された道路区画線の検出結果と運転者の運転状況と基づいて、その後の車両の位置を予測し、自車両が区画線を逸脱するおそれがあると判断した場合に、警報信号をメータECU３９に送信する（車線逸脱制御）。メータECU３９は、走行支援ECU３０からの警報信号を受信すると、ブザー３９ａに警告音を発生させ、及び／又は警告ランプ３９ｂを点灯させる。

また、走行支援ECU３０は、道路区画線検出装置１００から通信回線を介して送信された道路区画線の検出結果に基づいて、自車両の推定位置を算出する。さらに、走行支援ECU３０は、算出された自車両の推定位置と、車速センサ３７ａにより検出された車速と、操舵角センサ３７ｂにより検出された操舵角と、に基づいて、自車両が区画線の略中央を走行する為に必要とするアシスト操舵力（電流値）を算出し、EMPS−ECU３５に送信する（車線維持制御）。EMPS−ECU３５は、走行支援ECU３０から送信されたアシスト操舵力に基づいて、ステアリングアクチュエータ３５ａを制御する。道路区画線の検出結果は、車線逸脱制御や車線維持制御等に用いることができる。本実施例によれば、後述の如く高い精度で道路区画線を検出することができるので、これら各制御を高精度に行うことが可能となる。

図３は、本実施例による道路区画線検出装置１００の主要部を示す機能ブロック図である。道路区画線検出装置１００のハードウェア構成としては、マイクロコンピュータを中心に構成されている。従って、道路区画線検出装置１００は、所与の実行プログラムに従って各種処理を行うCPU、このCPUの実行プログラムを格納するROM、画像データ、演算結果等を格納する読書き可能なRAM（Random Access Memory）、タイマ、カウンタ、入出力インターフェイス等を有している。これらCPU、ROM、RAM、及び入出力インターフェイスは、データバスにより相互に接続されている。尚、以下で説明する道路区画線検出装置１００の各部は、CPUによって実行されるプログラムによって実現される。

道路区画線検出装置１００は、図３に示すように、処理ライン設定部１０２、正輝度分布信号生成部１０４、負輝度分布信号生成部１０６、合成輝度分布信号生成部１０８、及び、道路区画線検出部１１０を備える。

処理ライン設定部１０２には、上述の如く取得される周囲画像が入力される。この際、周囲画像は、光学系に起因する輝度ムラを除去する為にシェーディング補正された後、グレースケール化されてよい。例えば、２５６階調のグレースケール画像（濃淡画像）とされてよい。以下、かくして入力される周囲画像の濃淡画像を、「入力画像」と称する。

図４は、入力画像の一例を示す。図４に示す入力画像には、ボッツドッツが含まれている。ボッツドッツ自体は、図４に示すように、他の領域（典型的には、路面）に比べて高輝度となる。しかしながら、ボッツドッツのサイズは小さいので、ボッツドッツとノイズとの識別が困難である。

処理ライン設定部１０２は、入力画像に対して所定の認識対象領域を設定し、当該設定した認識対象領域に対して処理ラインを設定する。認識対象領域は、入力画像の全領域であってもよいが、例えば路面領域を認識対象領域として限定してもよい。また、処理ラインは、認識対象領域内の全画素列に対して画素列毎に設定されてよいし、認識対象領域内の幾つかの適切に選択された画素列に対して画素列毎に設定されてよい。また、処理ラインの方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。

正輝度分布信号生成部１０４は、処理ライン毎に、処理ライン上の輝度レベル分布を表す輝度分布信号から、所定の基準輝度レベルを差分し、負となる輝度レベルをゼロに置き換えることで、正輝度分布信号を生成する。即ち、正輝度分布信号生成部１０４は、所定の基準輝度レベル以上の輝度信号のみを抽出する。所定の基準輝度レベルは、例えば道路（路面）に対応した輝度レベルに設定される。所定の基準輝度レベルは、固定値であってもよいが、好ましくは、周囲光の変化に対応して路面の輝度レベルが変化することを考慮して、可変値とされる。この場合、例えば、所定の基準輝度レベルは、後述の如く、前回フレームに対する処理によりノイズやボッツドッツが除かれた画像（道路の画像）の平均輝度値に基づいて決定されてもよい。

図５（A）は、図４の処理ラインLに関する輝度分布信号を表し、図５（B）は、同処理ラインLに係る正輝度分布信号を示す。本例では、図４に示したように、処理ラインL上には、ボッツドッツ、その影による成分、及び、ノイズ成分が含まれているとする。ここで、ボッツドッツの影の成分は、ボッツドッツが上述の如く路面から僅かに突出した状態で配設されていることに起因して、発生する。

正輝度分布信号生成部１０４によるフィルタ処理によれば、図５（B）に示すように、所定の基準輝度レベルよりも輝度の低い成分、例えば、ボッツドッツの影の成分が適切に除去される。

負輝度分布信号生成部１０６は、同輝度分布信号から、所定の基準輝度レベルを差分し、正となる輝度レベルをゼロに置き換えることで、負輝度分布信号を生成する。即ち、負輝度分布信号生成部１０６は、所定の基準輝度レベルより小さい輝度信号のみを抽出する。所定の基準輝度レベルは、同様に、例えば道路（路面）に対応した輝度レベルに設定されてよく、従って、正輝度分布信号生成部１０４で用いられる基準輝度レベルと同一であってよい。

図５（C）は、図４の処理ラインLに係る負輝度分布信号を示す。負輝度分布信号生成部１０６によるフィルタ処理によれば、図５（C）に示すように、所定の基準輝度レベルよりも輝度の高い成分、即ちボッツドッツ及びノイズ成分が適切に除去される。

合成輝度分布信号生成部１０８は、負輝度分布信号の正負を反転させ、正負反転させた負輝度分布信号を正輝度分布信号に合成する。負輝度分布信号を正負反転させると、図５（D）に示すように、ボッツドッツの影の成分が正の輝度レベルを有することになる。従って、負輝度分布信号を正負反転させて正輝度分布信号に合成すると、図５（E）に示すように、正負反転したボッツドッツの影の成分によりボッツドッツの幅が、見かけ上、増大する。しかしながら、図５（E）に示す合成輝度分布信号では、依然として、ボッツドッツの輝度レベルがノイズ成分と有意な差異を有していないため、輝度レベルに対するフィルタ閾値では、ノイズ成分を有効に除去することができない。

そこで、合成輝度分布信号生成部１０８は、図６に示すように、負輝度分布信号を正輝度分布信号に対して相対的に所定画素数（ピクセル数）だけずらして合成する。所定画素数は、ボッツドッツの大きさに対応する画素数以下に設定されてよい。例えば、所定画素数は、２，３画素であってよい。或いは、１０ｃｍ程度であるボッツドッツが約５画素程度で捕捉される場合、所定画素数は５画素に設定されてよい。

正負反転したボッツドッツの影の成分を処理ライン方向で数ピクセルずらしてから、負輝度分布信号と正輝度分布信号とをAND加算すると、図６に示すように、影を持たないノイズ成分が消え（点線）、影を持つボッツドッツのみが残り、しかもその輝度レベルが強調される。尚、以上の説明では、１処理ラインに関する合成輝度分布信号の生成態様を説明したが、実際には、処理ライン設定部１０２により設定された全処理ラインについて、処理ライン毎に、同様に合成輝度分布信号が生成される。

道路区画線検出部１１０は、上述の如く合成輝度分布信号生成部１０８により生成される合成輝度分布信号に基づいて、ボッツドッツに係る特徴点を検出する。この際、上述の如くボッツドッツ成分が強調されているので、道路区画線検出部１１０は、例えば所定のフィルタ閾値により容易にノイズ成分を除去することができる。

道路区画線検出部１０６は、ボッツドッツに係る特徴点として検出した特徴点に基づいて、特徴点リストを生成して出力する。ボッツドッツの画素位置が特定されると、周囲画像上の座標系と実空間の座標系との対応関係により、実空間でのボッツドッツの位置や方向(車線方向)の把握が可能となる。このように特徴点リストは、それに基づいてボッツドッツの位置等の把握が可能であるので、上述の如く道路区画線の検出結果として走行支援ECU３０により利用されることになる。

このように本実施例よれば、ボッツドッツの像が影を有することを利用することで、ノイズ成分との識別が困難な小さなボッツドッツを高精度に検出することができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例では、ノイズとの判別が困難な上述のボッツドッツ及びキャッツアイ等の点状の道路区間線を検出する例として、検出対象物がボッツドッツである場合について説明している。しかしながら、ボッツドッツ及びキャッツアイは、いずれも非常に小さい為、入力画像上では略同一の特性を持った写り方をする。また、ボッツドッツ及びキャッツアイは、いずれも、路面から僅かに突出した状態で配設されていることに起因して、影の成分を有する。したがって、ボッツドッツ以外であっても、キャッツアイのような点状の突出した道路区間線は、同様の態様で検出可能である。

また、上述の実施例では、正輝度分布信号を生成するために、所定の基準輝度レベルよりも輝度の低い成分をゼロにしているが、ゼロに代えて極小値としてもよい。同様に、上述の実施例では、負輝度分布信号を生成するために、所定の基準輝度レベルよりも輝度の低い成分をゼロにしているが、ゼロに代えて極小値としてもよい。これは、極小値であれば、合成輝度分布信号においてボッツドッツの検出の障害とならないからである。

また、上述の実施例では、正負反転したボッツドッツの影の成分を数ピクセルずらしてAND加算することで、ボッツドッツを高精度に検出しているが、図５（E）に示したようにボッツドッツの要素の幅が見かけ上増大することを利用して、ボッツドッツを高精度に検出することも可能である。

また、上述の実施例では、計算負荷の少ない演算態様でボッツドッツを高精度に検出しているが、モルフォロジー演算等の処理を組み合わせて用いることも可能である。例えば、正輝度分布信号生成部１０４は、入力画像の輝度分布信号から、opening処理後の輝度分布信号を差分して、正輝度分布信号を生成してもよい。同様に、負輝度分布信号生成部１０６は、closing処理後の輝度分布信号から、入力画像の輝度分布信号を差分して、負輝度分布信号を生成してもよい。尚closing処理後の輝度分布信号が、ボッツドッツの影の成分を含むことになる。かかる方法によれば、例えば構造要素を、ボッツドッツによりも僅かに大きく設定することで、ボッツドッツより大きい成分を適切に除去しつつ、上述の方法と同様、ノイズとボッツドッツの高精度の識別が可能となる。

また、上述の実施例では、処理ライン設定部１０２は、処理ラインの方向について太陽光の入射方向に依存せずに設定しているが、太陽光の入射方向に応じて処理ラインの方向を可変して設定してもよい。これは、太陽光の入射方向に応じてボッツドッツの影の出来方が変化するためである。例えば、太陽が東から上ってきた朝方において、東方向に車両が進行している場合には、処理ラインの方向は画像の縦方向とされてよい。

また、上述の実施例では、画像上のボッツドッツの画素位置と実空間でのボッツドッツとの位置との対応関係（座標変換）が容易となるように、ボッツドッツの位置を表す正輝度分布信号を基準として、負輝度分布信号の画素をずらしているが、ボッツドッツの影を表す負輝度分布信号を基準としてもよい。

本発明による道路区画線検出装置の一実施例を含むシステム構成図である。 ボッツドッツ及びキャッツアイの説明図である。 本実施例による道路区画線検出装置１００の主要部を示す機能ブロック図である。 入力画像の一例を示す図である。 各種処理後の輝度分布信号の波形を示す図である。 合成輝度分布信号を生成するための２つの輝度信号の合成分布態様を示す図である。

符号の説明

１０ カメラ
３０ 走行支援ECU
１００ 道路区画線検出装置
１０２ 処理ライン設定部
１０４ 正輝度分布信号生成部
１０６ 負輝度分布信号生成部
１０８ 合成輝度分布信号生成部
１１０ 道路区画線検出部

Claims (6)

1. 車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段と、
   周囲画像の画素列における輝度レベル分布を表す輝度分布信号から、所定の基準輝度レベルを差分し、負となる輝度レベルをゼロ又は極小値に置き換えることで、正輝度分布信号を生成する正輝度分布信号生成手段と、
   同輝度分布信号から、所定の基準輝度レベルを差分し、正となる輝度レベルをゼロ又は極小値に置き換えることで、負輝度分布信号を生成する負輝度分布信号生成手段と、
   負輝度分布信号を正負反転させて正輝度分布信号に合成する合成輝度分布信号生成手段と、を備え、
   合成輝度分布信号生成により生成される合成輝度分布信号に基づいて、道路区間線を検出することを特徴とする、道路区間線検出装置。
2. 前記合成輝度分布信号生成手段は、前記負輝度分布信号を正輝度分布信号に対して相対的に所定画素数だけずらして合成する、請求項１に記載の道路区間線検出装置。
3. 前記合成輝度分布信号で表される輝度レベルが所定値以上となる画素の位置に基づいて、道路区間線の位置を検出する、請求項１又は２に記載の道路区間線検出装置。
4. 前記道路区間線は、間隔をおいて点状に設けられる類の道路区画線である、請求項１〜３のいずれかに記載の道路区間線検出装置。
5. 車両から撮像手段が撮像した路面を含む周囲画像を取得するステップと、
   周囲画像の画素列における輝度レベル分布を表す輝度分布信号から、所定の基準輝度レベルを差分し、負となる輝度レベルをゼロ又は極小値に置き換えることで、正輝度分布信号を生成するステップと、
   同輝度分布信号から、所定の基準輝度レベルを差分し、正となる輝度レベルをゼロ又は極小値に置き換えることで、負輝度分布信号を生成するステップと、
   負輝度分布信号を正負反転させて正輝度分布信号に合成する合成輝度分布信号生成ステップと、
   合成輝度分布信号生成ステップにより生成される合成輝度分布信号に基づいて、道路区間線を検出するステップと、を含むことを特徴とする、道路区間線検出方法。
6. コンピューターをして、次の各処理（１）〜（５）を含む道路区間線検出処理を実行させるコンピューター読み取り可能なプログラム。
   （１）車両から撮像手段が撮像した路面を含む周囲画像を取得する処理、
   （２）周囲画像の画素列における輝度レベル分布を表す輝度分布信号から、所定の基準輝度レベルを差分し、負となる輝度レベルをゼロ又は極小値に置き換えることで、正輝度分布信号を生成する処理、
   （３）同輝度分布信号から、所定の基準輝度レベルを差分し、正となる輝度レベルをゼロ又は極小値に置き換えることで、負輝度分布信号を生成する処理、
   （４）負輝度分布信号を正負反転させて正輝度分布信号に合成する処理、及び、
   （５）合成輝度分布信号生成ステップにより生成される合成輝度分布信号に基づいて、道路区間線を検出する処理。

Images