JP4532372B2 - 道路区画線検出装置 - Google Patents

Description

本発明は、道路上に表示される道路区画線の種類の相違に応じて２以上の検出モードを有する道路区画線検出装置に関する。

従来、道路上に描かれた車両の走行する車線を区切る白線などの道路区画線を検出する道路区画線検出装置が知られている（例えば、特許文献１参照）。この装置は、自車両に搭載された車両前方領域を撮影するカメラにより撮像された撮像画像を処理することにより道路区画線を検出する。具体的には、まず、撮像された画像の所定の領域内の画素濃度（あるいは画素値、輝度などという）が所定値以上変化する点をエッジ点として抽出し、この領域内で車両の進行方向に沿った全ての線分上に存在するエッジ点を計数する。そして、これらの線分のうちエッジ点数が最大であるもののエッジ点数が、車両の走行に応じて定常値である場合に実線であると判断し、周期的である場合に破線であると判断している。
特開平８−３２０９９７号公報

しかしながら、道路区画線には、白線や黄線の実線や破線等により道路区画を表したもの以外にも、キャッツアイ（道路に間隔を置いて埋め込まれており、反射体のみから構成され、入射光を同じ方向に反射させる特性を有する）やボッツドッツ（主に北米で使用されている、道路に間隔をおいて埋め込まれた直径１０ｃｍ程度のセラミック製の円盤）等、車両の進行方向に沿った直線部分をほとんど有しないものが存在し、上記従来の道路区画線検出装置では、こうしたものを正確に認識することが困難である。

本発明はこのような課題を解決するためのものであり、実線等（以下、白線や黄線の実線や破線等をいう）と、間欠線（以下、上記キャッツアイやボッツドッツ等をいう）とを問わず、より正確に道路区画線を検出する装置を提供することを主たる目的とする。

上記目的を達成するための本発明の一態様は、道路上に表示される道路区画線の種類の相違に応じて２以上の検出モードを有する道路区画線検出装置において、車両周辺の道路を撮像する撮像手段と、撮像手段により撮像された道路の画像データを処理して、画像中の特徴点を抽出する特徴点抽出手段と、抽出された複数の特徴点の道路長手方向の点在態様に基づいて、検出モードを選択する検出モード選択手段と、を備えることを特徴とするものである。

一般的に、アスファルト舗装等された道路と道路区画線との接点は、撮像された画像上では、その画素値の変化から特徴点として抽出される。従って、実線等が道路上に存在する場合、実線であるか破線であるかによってその長さに違いはあるものの、道路長手方向に特徴点が連続して表れることとなる。一方、間欠線の場合は、道路長手方向に連続して現れる特徴点が存在しないか、存在したとしても実線等と対比可能な程度に短いものとなる。本発明の一態様では、特徴点の道路長手方向の点在態様に基づいて検出モードを選択するから、道路区画線の種類に応じた検出モードを選択することができる。これにより、より正確に道路区画線を検出することができる。

この本発明の一態様において、特徴点抽出手段は、画像中の、道路長手方向に沿った所定領域内の特徴点を抽出する手段であるものとすることもできる。こうすれば、撮像された画像において道路区画線が特徴的に表れた領域で特徴点を抽出し、検出モードをより的確に選択することができる。この場合、検出モード選択手段は、抽出された特徴点の数に基づいて検出モードを選択する手段であるものとすることもできる。こうすれば、平易な処理で検出モードを選択することができる。

また、特徴点抽出手段は道路幅方向の複数の検出ラインで特徴点を抽出する手段であるものとすることもできる。この場合、検出モード選択手段は、特徴点が抽出された検出ラインの数に基づいて検出モードを選択する手段であるものとすることもできる。こうすれば、特徴点が抽出された道路幅方向の検出ラインの数を計数することによって、特徴点が道路長手方向に連続して表れているか否かをより効果的に判断することができる。この場合、複数の検出ラインは、道路上又は画像上における所定間隔で設定された検出ラインであるものとすることもできる。さらにこの場合、所定間隔は検出モードに基づいて変化する間隔であるものとすることもできる。

本発明によれば、実線や破線等と、キャッツアイやボッツドッツ等とを問わず、より正確に道路区画線を検出する装置を提供することができる。

（実施例）
以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。

図１は、本発明の一実施例である、車両に搭載される道路区画線検出装置１０全体の構成図である。本実施例の道路区画線検出装置１０は、カメラ２０と、装置全体をコントロールする検出装置用電子制御ユニット（以下、検出装置用ＥＣＵという）３０とを備える。

カメラ２０は、車体後部のバンパやグリル、ナンバープレート周辺等に配設されており、車両後方の斜め下方に向いた光軸を有し、車両後方領域を鳥瞰図的に撮影する。カメラ２０は、例えば、レンズ２２と、ＣＣＤやＣＭＯＳ等の撮像素子２４と、ＣＰＵ等を有するカメラ用電子制御ユニット（以下カメラＥＣＵという）２６とを備えるものとして構成されている。カメラＥＣＵ２６は、検出装置用ＥＣＵ３０からの指示によりレンズ２２の設置角度等を調整すると共に、撮像素子２４からの撮像画像を画像信号として検出装置用ＥＣＵ３０に送信する。なお、カメラ２０は、車両後方の障害物を撮像し運転補助に用いられるバックモニターカメラと共用されてよい。

検出装置用ＥＣＵ３０は、例えば、道路区画線検出のための処理を実行するためのプログラムを実行するＣＰＵ３２や、プログラム等を記憶するＲＯＭ３４、一時的にデータを記憶するＲＡＭ３６などを備える。検出装置用ＥＣＵ３０には、カメラ２０からの画像信号などが入力されており、この画像信号に基づいて道路区画線の種類を検出する処理を行なう。

図２は、検出装置用ＥＣＵ３０の機能ブロックを模式的に表したものである。検出装置用ＥＣＵ３０は、特徴点抽出部１１０や、検出モード選択部１２０等を備える。特徴点抽出部１１０は、画像の中で処理の対象となる領域を設定する抽出領域設定部１１２と、設定した領域内で検出ラインを設定する検出ライン設定部１１４と、検出ラインで特徴点を抽出する抽出部１１６とを備える。

次に、本発明の一実施例である道路区画線検出装置１０の動作について説明する。図３は、検出装置用ＥＣＵ３０のＣＰＵ３２により実行される道路区画線検出処理フローの一例を示すフローチャートである。本フローは、ＣＰＵ３２がＲＯＭ３４からプログラムを読み込み実行することにより、例えば車両のシフトポジションが前進用のポジションにある間、所定の時間毎に繰り返し実行される。

まず、ＣＰＵ３２は、カメラＥＣＵ２６からの画像データを読み込む処理を実行する（Ｓ２００）。画像データを読み込むと、画像の中で処理の対象となる領域を、車両から比較的近い近領域と、この近領域より奥側の遠領域とに分けて設定する（Ｓ２１０）。図４に領域設定の一例を示す。ここで、道路幅方向をＸ軸、道路長手方向をＹ軸とすれば、例えば、近領域は式（１）で表される領域であり、遠領域は式（２）で表される領域である。式中、Ｘｍは画像中心のＸ座標を、ＸｈはＸｍを中心に道路区画線が十分入るように設定された値を表す。また、図中Ｙｌは消失点のＹ座標を表し、Ｍ１およびＭ２は車両後方左右の道路区画線を表す。道路上の距離を画像上の距離に変換する方法については、予めレンズ２２の俯角と焦点距離ｆとに応じた画像上距離設定マップをＲＯＭ３４に記憶しておき、道路上の距離Ｚとレンズ２２の俯角θと焦点距離ｆとが与えられると画像上のＹ軸方向の距離Ｙｚが得られるものとした（式（３））。図５に、あるθおよびｆが与えられたときの画像上距離設定マップの一例を示す。
（Ｘ，Ｙ）＝（（Ｘｍ−Ｘｈ〜Ｘｍ+Ｘｈ），車両後方の道路上において７〜１７ｍに相当するＹ座標の範囲 （＝Ｙ１〜Ｙ２）） ‥（１）
（Ｘ，Ｙ）＝（（Ｘｍ−Ｘｈ〜Ｘｍ+Ｘｈ），車両後方の道路上において１７〜２７ｍに相当するＹ座標の範囲（＝Ｙ２〜Ｙ３）） ‥（２）
Ｙｚ ＝ Ｆ（Ｚ，θ，ｆ） ‥（３）
なお、近領域や遠領域の道路上の距離は式（１）、（２）で例示した値に限られないが、白線の破線の少なくとも１つが必ず入る程度の距離であることが好ましい。又、任意の画像上の座標を予め設定して用いることも可能である。

続いて、ＲＡＭ３６に記憶されている現在の検出モードが実線等モードであるか間欠線モードであるかを判定する（Ｓ２２０）。検出モードが実線等モードである場合には、例えば、近領域と遠領域のそれぞれについて、領域内のＹ軸上の距離を２０等分するようにＸ軸と平行な検出ラインを２０本設定する（Ｓ２３０）。このように、面積の異なる遠領域と近領域に同じ本数を設定することにより、検出ラインの間隔が道路上においてもより等間隔に近いものとなる。なお、検出モードの初期値は実線等モードに設定されているものとした。

一方、検出モードが間欠線モードである場合には、例えば、近領域について、領域内のＹ軸上の距離を４０等分するようにＸ軸と平行な検出ラインを４０本設定する（Ｓ２４０）。図６に、これらの検出モード設定の一例を示す。これにより間欠線モードである場合には上記実線モードの場合よりも検出ラインを密に設定することとなるが、これは、間欠線の間隔が比較的大きく検出がより困難であることに基づく。なお、この検出ラインは４０本でなくともよく、任意に定めることができる。但し、道路上における間欠線と破線のどちらの間隔（線又はキャッツアイが存在しないアスファルト等の部分）に比しても、検出ラインの間隔に相当する道路上の距離が、十分に短いものである必要がある。間欠線等の周期と一致してしまうこと等を回避するためである。

このように検出ラインを設定すると、各検出ライン上の各画素について、画素の輝度（濃度）をＸ軸方向に微分し、その微分した値の絶対値が閾値Ａを超える点の座標を特徴点として抽出し、ＲＡＭ３６に記憶する（Ｓ２５０）。ここで、閾値Ａは、検出しようとする道路区画線の中で最も輝度の低いものとアスファルト等の道路面との接点における輝度変化の絶対値よりも若干小さい値に設定されている。

そして、特徴点の存在する検出ラインの数を数え、これが閾値Ｂ以上である場合には検出モードに実線等モードを設定する（Ｓ２６０、２７０）。一方、閾値Ｂ未満である場合には、検出モードに間欠線モードを設定する（Ｓ２６０、２８０）。ここで、閾値Ｂは、実線等の場合に現れる、特徴点が存在する検出ラインの数よりも十分に小さく、間欠線の場合に現れる、特徴点が存在する検出ラインの数よりも十分に大きい値に設定されている。

こうして検出モードが設定されると、この検出モードで道路区画線を検出し（Ｓ２９０）。本フローの１ルーチンを終了する。本フローは繰り返し実行されているため、例えば、実線等モードが設定されており、実線等を検出するのに適した方法で道路区画線を検出している最中に、道路区画線がキャッツアイに切り替わったとすると、本フローの条件判別により自動的に間欠線等モードに設定され、間欠線を判別するのに適した方法で道路区画線を検出し始める。従って、道路区画線の切り替え地点で道路区画線の検出処理にエラーを生じたりすることを抑制できる。もとより、間欠線モードから実線等モードへの切り替えも自動的に行なわれる。実際に道路区画線を検出する方法には、パターンマッチングによるものや、改めて画像上の特徴点を抽出してその点在態様を利用するもの、間欠線に対してモルフォルジー演算を施して精度を向上させたもの等種々の方法が考えられる。

本発明では、検出モードに応じて道路区画線の検出方法自体を切り替えたり、検出方法におけるパラメータを変更することにより、より的確に道路区画線を検出することが可能である。また、検出した道路区画線により、周知のレーンキープアシスト（ＬＫＡ；車線維持支援）やレーンデパーチャワーニング（ＬＤＷ；車線逸脱警報）等の制御を行なうこともできる。ただし、この検出自体に関しては、本発明の中核をなさないので詳細な説明は省略する。

なお、以上のフローを図２の機能ブロックに当てはめると、Ｓ２１０の処理が抽出領域設定部１１２によるものであり、Ｓ２２０〜２４０の処理が検出ライン設定部１１４によるものであり、Ｓ２５０の処理が抽出部１１６によるものであり、Ｓ２６０〜２８０の処理が検出モード選択部１２０によるものである。
（変形例）
以上、本発明を実施するための最良の形態について一実施例を用いて説明したが、本発明はこうした一実施例に何等限定されるものではなく、本発明の要旨を逸脱しない領域内において、上述した一実施例に種々の変形及び置換を加えることができる。

例えば、画像の中で処理の対象となる領域は、実施例で例示したものに限られず、任意に定めることができる。例えば、座標が値０から消失点のＹ座標Ｙｌまで及びＸ座標が全範囲である長方形の領域を設定してもよく、車両左右の道路区画線が十分入る程度に設定されるＸ軸方向に分離した領域を設定するものとしてもよい。後者の場合の領域設定の一例を図７に示す。さらに、遠領域と近領域のそれぞれについて画像上において等間隔となるよう検出ラインを設定するものとしたが、道路上における等間隔に相当する間隔で検出ラインを設定するものとしてもよい。

また、各検出ライン上の各画素について、画素の輝度（濃度）をＸ軸方向に微分し、その微分した値の絶対値が閾値Ａを超える点の座標を特徴点として抽出するものとしたが、特徴点を抽出する方法はこれに限られず、例えば、ＳＯＢＥＬフィルターを用いて差分をとる方法等を用いてもよい。

また、設定した領域内で検出ラインを設定し、特徴点の存在する検出ラインの数に基づいて検出モードを設定するものとしたが、例えば設定した領域内で特徴点を走査し、領域内に存在する特徴点の数に基づいて検出モードを設定するものとしてもよい。さらに、特徴点又は特徴点の存在する検出ラインの数により特徴点の点在態様を評価するのみならず、特徴点又は特徴点の存在する検出ライン同士の間隔や連続して表れる特徴点又は特徴点の存在する検出ラインのパターンを評価するなど、種々の方法により特徴点の点在態様を評価して検出モードを設定することが可能である。

また、上述の実施例では、画像データの有する色について特に言及していないが、カラー画像の場合には、カラー画像を輝度成分と色成分とに分解して輝度成分に基づいて特徴点を抽出するものとしてもよく、複数の色成分のそれぞれについて微分等を行なって特徴点の抽出を行なうことも可能である。

さらに、画像を撮像するカメラ等の如何なる態様に対しても適用可能である。例えば、レンズ２２や撮像素子２４を複数備える態様のＣＣＤカメラ等であるものとしてもよく、構成の異なる他の種類のカメラであるものとしてもよい。また、カメラ２０の撮像する画像は、車両後方に限られず、車両前方を撮像するものとしてもよい。この場合、カメラ２０は車体前部のバンパやグリル、車室内前部のアウタービューミラーのステイ等に配設されるものとすればよい。

本発明は、車載用の道路区画線検出装置に利用できる。搭載される車両の外観、重量、サイズ、走行性能等は問わない。

本発明の一実施例に係る道路区画線検出装置１０全体の構成図である。 本発明の一実施例に係る検出装置用ＥＣＵ３０の機能ブロックを模式的に表した模式図である。 本発明の一実施例に係る道路区画線検出処理フローの一例を示すフローチャートである 本発明の一実施例に係る道路区画線検出処理フローにおいて行なわれる領域設定の一例を示す説明図である。 本発明の一実施例に係る道路区画線検出処理フローにおいて用いられる画像上距離設定マップの一例を示す説明図である。 本発明の一実施例に係る道路区画線検出処理フローにおいて検出ラインを設定する様子を表した説明図である。 本発明の変形例に係る道路区画線検出処理フローにおいて行なわれる領域設定の一例を示す説明図である。

符号の説明

１０ 道路区画線検出装置
２０ カメラ
２２ レンズ
２４ 撮像素子
２６ カメラＥＣＵ
３０ 検出装置用ＥＣＵ
３２ ＣＰＵ
３４ ＲＯＭ
３６ ＲＡＭ
１１０ 特徴点抽出部
１１２ 抽出領域設定部
１１４ 検出ライン設定部
１１６ 抽出部
１２０ 検出モード選択部

Claims (2)

1. 道路上に表示される道路区画線の種類の相違に応じて２以上の検出モードを有する道路区画線検出装置において、
   車両周辺の道路を撮像する撮像手段と、
   前記撮像手段により撮像された道路の画像データを処理して、画像中の道路長手方向に沿った所定領域内において、画像横方向の輝度微分値が閾値以上である特徴点を、道路幅方向の複数の検出ライン上で抽出する特徴点抽出手段と、
   前記特徴点抽出手段により特徴点が抽出された検出ラインの数に基づいて、実線及び破線を検出するのに適した実線等モードと、間欠線を検出するのに適した間欠線モードから検出モードを選択する検出モード選択手段と、を備え、
   前記特徴点抽出手段は、前記検出モード選択手段により間欠線等モードが選択されている場合には、前記検出モード選択手段により実線等モードが選択されている場合に比して、車両に近い所定領域内において密に設定された複数の検出ライン上で特徴点を抽出することを特徴とする、
   道路区画線検出装置。
2. 前記複数の検出ラインは、画像上又は道路上における前記検出モードに基づいて変化する所定間隔で設定された検出ラインである、請求項１に記載の道路区画線検出装置。

Images