JP4969628B2 - 走行区分線検出装置 - Google Patents

Description

この発明は、走行区分線検出装置に関する。

従来、例えば車両に搭載された撮像手段により得られた撮像画像に基づき、走行路の走行区分線の線幅を検出し、この線幅に基づき走行区分線の位置を補正する装置が知られている（例えば、特許文献１参照）。

特開２００２−１６３６４２号公報

ところで、上記従来技術に係る装置において、例えば所定のサイズのカーネル内の輝度などを走査する画像フィルタ演算により走行区分線を検出する際に、例えばカーネル内の輝度分散が所定値以上であれば走行区分線であると検出するように設定されていると、検出対象とする走行区分線をカーネルのサイズ（例えば幅）よりも小さい線幅を有する走行区分線に限定している場合であっても、実際にはカーネルのサイズよりも大きい線幅を有する走行区分線を、カーネルのサイズよりも小さい線幅を有する走行区分線であると誤検出してしまう虞がある。
このような問題に対して、例えば検出対象とする走行区分線の線幅をカーネルのサイズによって限定せずに、検出対象となる全ての走行区分線の線幅がカーネルのサイズよりも大きくなることが無いようにして、カーネルのサイズを走行区分線の線幅よりも大きく設定すると、カーネルを用いた走査に要する処理負荷が増大してしまうと共に、走行区分線の検出誤差が増大してしまうという問題が生じる。

本発明は上記事情に鑑みてなされたもので、走行区分線の検出誤差が増大することを防止し、走行区分線を的確に検出することが可能な走行区分線検出装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、本発明の第１態様に係る走行区分線検出装置は、車両の外界を撮像して得た撮像画像を出力する撮像手段（例えば、実施の形態での車載カメラ１１）と、前記撮像手段から出力された前記撮像画像内を順次走査して注目点を設定する注目点設定手段（例えば、実施の形態での注目点設定部２１）と、前記注目点設定手段により設定された前記注目点に応じて、車両からの距離に応じた走行路上の走行区分線の所定寸法に相当する大きさを有するカーネルを用いた画素値の畳み込み演算により前記撮像画像のコントラストを低下させた低コントラスト画像を生成する画像生成手段（例えば、実施の形態でのフィルタ処理部２２）と、前記撮像手段から出力された前記撮像画像と前記画像生成手段により生成された前記低コントラスト画像との差分に基づき、前記走行区分線を検知する走行区分線検知手段（例えば、実施の形態での候補部抽出部２３と、論理積演算部２４と、走行区分線検知部２５）とを備える走行区分線検出装置であって、前記画像生成手段は、前記注目点設定手段により設定された前記注目点の位置から第１方向に所定距離だけ変位した位置を中心位置とする第１の前記カーネルを用いて第１の前記低コントラスト画像を生成する第１フィルタ手段（例えば、実施の形態での第１フィルタ処理部３１）と、前記注目点設定手段により設定された前記注目点の位置から第２方向に所定距離だけ変位した位置を中心位置とする第２の前記カーネルを用いて第２の前記低コントラスト画像を生成する第２フィルタ手段（例えば、実施の形態での第２フィルタ処理部３２）とを備え、前記走行区分線検知手段は、前記撮像画像と前記第１の前記低コントラスト画像との画素毎の画素値の差分値からなる第１差分画像を生成する第１差分画像生成手段（例えば、実施の形態での第１候補部抽出部４１）と、前記撮像画像と前記第２の前記低コントラスト画像との画素毎の画素値の差分値からなる第２差分画像を生成する第２差分画像生成手段（例えば、実施の形態での第２候補部抽出部４２）と、前記第１差分画像生成手段により生成された前記第１差分画像と、前記第２差分画像生成手段により生成された前記第２差分画像との論理積を演算して論理積画像を生成する論理積画像生成手段（例えば、実施の形態での論理積演算部２４）とを備え、前記論理積画像生成手段により生成された前記論理積画像から前記走行区分線を検知する。

さらに、本発明の第２態様に係る走行区分線検出装置では、前記第１方向および前記第２方向は互いに反対方向である。

本発明の第１態様に係る走行区分線検出装置によれば、撮像画像内に設定された注目点に対して複数の方向に変位した複数のカーネル、例えば第１方向に変位したカーネルおよび第２方向に変位したカーネル毎に、画素値（例えば、輝度値または彩度値）の畳み込み演算を行ない、撮像画像のコントラストを低下させた第１および第２の低コントラスト画像を生成する。そして、撮像手段から出力された撮像画像と第１の低コントラスト画像との差分、および、撮像画像と第２の低コントラスト画像との差分を算出する。そして、これらの差分の論理積に基づき走行区分線を検知する。これにより、既定のカーネルのサイズよりも大きな線幅を有する走行区分線を、カーネルのサイズよりも小さい線幅を有する走行区分線であると誤検出してしまうことを防止し、演算負荷および検出誤差が増大することを防止しつつ、走行区分線を的確に検出することができる。
さらに、注目点から複数の方向に変位した複数のカーネルに応じた複数の差分画像（例えば、２つの第１差分画像および第２差分画像）から、容易かつ的確に走行区分線を検出することができる。

さらに、本発明の第２態様に係る走行区分線検出装置によれば、走行区分線の誤検出あるいは検出不可が生じることを抑制することができる。

本発明の実施の形態に係る走行区分線検出装置の構成図である。 本発明の実施の形態に係る走行区分線検出装置の画像データでのカーネルの例を示す図である。 本発明の実施の形態に係る走行区分線検出装置の画像データの一例を示す図である。 本発明の実施の形態に係る走行区分線検出装置の第１低コントラスト画像および第２低コントラスト画像の例を示す図である。 本発明の実施の形態に係る走行区分線検出装置の第１差分画像および第２差分画像の例を示す図である。 本発明の実施の形態に係る走行区分線検出装置の論理積画像の一例を示す図である。 本発明の実施の形態に係る走行区分線検出装置の動作を示すフローチャートである。 図７に示す第１処理を示すフローチャートである。 図７に示す第２処理を示すフローチャートである。

以下、本発明の一実施形態に係る走行区分線検出装置について添付図面を参照しながら説明する。
本実施の形態による走行区分線検出装置１０は、例えば図１に示すように、車載カメラ１１と、処理装置１２とを備えて構成されている。
さらに、処理装置１２は、例えば、注目点設定部２１と、フィルタ処理部２２と、候補部抽出部２３と、論理積演算部２４と、走行区分線検知部２５とを備えて構成されている。

車載カメラ１１は、例えば車両の進行方向前方の所定撮像領域を撮像可能であって、撮像により得られた画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して処理装置１２へ出力する。

注目点設定部２１は、車載カメラ１１から出力された画像データにおいて画像データを構成する画素を順次走査して注目点を設定する。

フィルタ処理部２２は、複数（例えば、２つ）の第１フィルタ処理部３１および第２フィルタ処理部３２を備えて構成されている。
第１フィルタ処理部３１および第２フィルタ処理部３２は、例えば、注目点設定部２１により画像データ内で順次走査されて設定される注目点に基づき、車載カメラ１１から出力された画像データ（原画像）に対して互いに異なるカーネル（例えば、所定の２次元マトリックスからなるカーネル）を用いた画素値（例えば、輝度値または彩度値など）の畳み込み演算（例えば、加重平均平滑化の演算など）を行なう。そして、演算結果の画像として、車載カメラ１１から出力された画像データ（原画像）に比べてコントラストが低下した各低コントラスト画像（第１低コントラスト画像および第２低コントラスト画像）を生成する。

第１フィルタ処理部３１は、例えば図２に示すように、注目点ＰＬの位置から第１方向（例えば、右方向）に所定距離だけずれた位置を中心位置とする所定サイズの第１カーネルＫ１を用いて、注目点設定部２１により画像データ（例えば図３に示す原画像ＯＰ）内で順次走査されて設定される注目点に応じて、畳み込み演算（例えば、加重平均平滑化の演算など）を行ない、この演算結果の第１低コントラスト画像（例えば図４（Ａ）に示す第１低コントラスト画像ＣＰ１）を出力する。

第２フィルタ処理部３２は、例えば図２に示すように、注目点ＰＬの位置から第２方向（例えば、左方向、つまり第１カーネルＫ１の変位方向とは反対方向）に所定距離だけずれた位置を中心位置とする所定サイズの第２カーネルＫ２を用いて、注目点設定部２１により画像データ（原画像）内で順次走査されて設定される注目点に応じて、畳み込み演算（例えば、加重平均平滑化の演算など）を行ない、この演算結果の第２低コントラスト画像（例えば図４（Ｂ）に示す第２低コントラスト画像ＣＰ２）を出力する。

なお、第１カーネルＫ１および第２カーネルＫ２の大きさは互いに等しい所定サイズであって、この所定サイズは、車両からの距離に応じて変化する実際の走行区分線（例えば、図２に示す白線Ｌなど）の所定寸法に相当する大きさとされている。
例えば、車載カメラ１１により撮像された走行路の路面における実距離Ｚは、焦点距離ｆと、車載カメラ１１の高さＹと、画像データの鉛直方向（つまり上下方向）のｙ座標と、画素の上下方向の物理的な間隔σ_ｙとに基づき、下記数式（１）に示すように記述される。

また、実際の走行区分線（例えば、白線、黄線など）の実際の横方向幅（実幅）ΔＸに対応する各カーネルＫ１，Ｋ２の横方向サイズｘは、焦点距離ｆと、実距離Ｚと、実幅ΔＸと、画素の横方向の物理的な間隔σ_ｘとに基づき、下記数式（２）に示すように記述される。

上記数式（１）、（２）により、各カーネルＫ１，Ｋ２の横方向サイズｘは、既知の値である、実幅ΔＸと、車載カメラ１１の高さＹと、ｙ座標とにより、下記数式（３）に示すように記述される。

候補部抽出部２３は、複数（例えば、２つ）の第１候補部抽出部４１および第２候補部抽出部４２を備えて構成されている。
第１候補部抽出部４１および第２候補部抽出部４２は、車載カメラ１１から出力された画像データ（原画像）と、各フィルタ処理部３１，３２により生成された第１低コントラスト画像および第２低コントラスト画像とを比較し、車載カメラ１１により撮像された走行路上の走行区分線の候補となる領域の候補部を検出する。

例えば、第１候補部抽出部４１は、車載カメラ１１から出力された画像データ（原画像）と第１低コントラスト画像との各画素毎の差分値を算出し、差分値が所定値以下の画素の画素値をゼロ、かつ差分値が所定値よりも大きい画素の画素値を画像データ（原画像）での画素値（画像データ値）とした第１差分画像（例えば、図５（Ａ）に示す第１差分画像ＲＰ１）を生成する。この第１差分画像ＲＰ１により、走行区分線の候補部が抽出される。

また、第２候補部抽出部４１は、車載カメラ１１から出力された画像データ（原画像）と第２低コントラスト画像との各画素毎の差分値を算出し、差分値が所定値以下の画素の画素値をゼロ、かつ差分値が所定値よりも大きい画素の画素値を画像データ（原画像）での画素値（画像データ値）とした第２差分画像（例えば、図５（Ｂ）に示す第２差分画像ＲＰ２）を生成する。この第２差分画像ＲＰ２により、走行区分線の候補部が抽出される。

論理積演算部２４は、複数（例えば、２つ）の第１候補部抽出部４１および第２候補部抽出部４２の抽出処理によって得られた各差分画像を用いて論理積を演算し、この演算結果の画像（例えば、図６に示す論理積画像Ｐ）を出力する。

走行区分線検知部２５は、論理積演算部２４から出力された論理積画像に基づき、例えば所定閾値以上の画素値を有する画素を抽出するしきい値処理などにより、走行区分線（例えば、図６に示す白線ＨＬ、黄線ＹＬなど）を検知する。

本実施の形態による走行区分線検出装置１０は上記構成を備えており、次に、この走行区分線検出装置１０の動作について説明する。

先ず、図３に示すステップＳ０１においては、車載カメラ１１から出力される画像データ（原画像）を取得する。
次に、ステップＳ０２においては、後述する第１処理を実行する。
次に、ステップＳ０３においては、後述する第２処理を実行する。

そして、ステップＳ０４においては、第１処理および第２処理によって得られた各差分画像を用いて論理積を演算し、この演算結果の画像（論理積画像）を出力する。
そして、ステップＳ０５においては、論理積画像に基づき、走行区分線（例えば、白線、黄線など）を検知し、エンドに進む。

以下に、上述したステップＳ０２での第１処理について説明する。
先ず、図８に示すステップＳ１１においては、画像データ（原画像）内で順次走査されて設定される注目点に基づき、注目点の位置から第１方向（例えば、右方向）に所定距離だけずれた位置を中心位置とする所定サイズの第１カーネルＫ１を用いて、畳み込み演算を行ない、この演算結果の第１低コントラスト画像を生成する。
次に、ステップＳ１２においては、画像データ（原画像）と第１低コントラスト画像との差分を演算し、この演算結果の第１差分画像を生成して走行区分線の候補部を抽出する。

次に、ステップＳ１３においては、第１差分画像の各画素毎に、差分値が所定値よりも大きいか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ１４に進み、このステップＳ１４においては、差分値が所定値以下の画素の画素値をゼロとし、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１５に進み、このステップＳ１５においては、差分値が所定値よりも大きい画素の画素値を画像データ（原画像）での画素値（画像データ値）とし、リターンに進む。

以下に、上述したステップＳ０３での第２処理について説明する。
先ず、図９に示すステップＳ２１においては、画像データ（原画像）内で順次走査されて設定される注目点に基づき、注目点の位置から第２方向（例えば、左方向）に所定距離だけずれた位置を中心位置とする所定サイズの第２カーネルＫ２を用いて、畳み込み演算を行ない、この演算結果の第２低コントラスト画像を生成する。
次に、ステップＳ２２においては、画像データ（原画像）と第２低コントラスト画像との差分を演算し、この演算結果の第２差分画像を生成して走行区分線の候補部を抽出する。

次に、ステップＳ２３においては、第２差分画像の各画素毎に、差分値が所定値よりも大きいか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ２４に進み、このステップＳ２４においては、差分値が所定値以下の画素の画素値をゼロとし、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２５に進み、このステップＳ２５においては、差分値が所定値よりも大きい画素の画素値を画像データ（原画像）での画素値（画像データ値）とし、リターンに進む。

上述したように、本実施の形態による走行区分線検出装置１０によれば、画像データ（原画像）内に設定された注目点に対して複数の方向に変位した複数のカーネル、例えば互いに反対方向となる右方向および左方向に変位した第１および第２カーネルＫ１、Ｋ２毎に畳み込み演算を行ない、画像データ（原画像）のコントラストを低下させた第１および第２低コントラスト画像を生成する。そして、画像データ（原画像）と第１低コントラスト画像との差分、および、画像データ（原画像）と第２低コントラスト画像との差分を算出する。そして、これらの差分の論理積に基づき走行区分線を検知する。これにより、既定のカーネルのサイズよりも大きな線幅を有する走行区分線を、カーネルのサイズよりも小さい線幅を有する走行区分線であると誤検出してしまうことを防止し、カーネルのサイズを増大させることに伴う演算負荷および検出誤差の増大を防止しつつ、走行区分線を的確に検出することができる。

しかも、第１および第２カーネルＫ１、Ｋ２の変位方向を互いに反対方向とすることにより走行区分線の誤検出あるいは検出不可が生じることを抑制することができる。
しかも、注目点から複数の方向に変位した複数のカーネル（例えば、第１および第２カーネルＫ１、Ｋ２）に応じた複数の差分画像（例えば、２つの第１差分画像および第２差分画像）から論理積画像を生成することにより、容易かつ的確に走行区分線を検出することができる。

なお、上述した実施の形態によれば、既定のカーネルのサイズよりも大きな線幅を有する走行区分線（つまり、検出対象外の走行区分線）を、カーネルのサイズよりも小さい線幅を有する走行区分線（つまり、検出対象の走行区分線）であると誤検出してしまうことを防止することができるとしたが、これに限定されず、走行区分線以外の車両などのように路面とは異なる輝度を有する物体を、検出対象の走行区分線であると誤検出してしまうことを防止することができる。

なお、上述した実施の形態において、第１カーネルＫ１および第２カーネルＫ２を互いに反対方向にずれているとしたが、これに限定されず、互いに異なる方向に変位して（ずれて）いればよい。
また、上述した実施の形態において、フィルタ処理部２２は、２つの第１カーネルＫ１および第２カーネルＫ２を用いるとしたが、これに限定されず、３つ以上の互いに異なる方向にずれたカーネルを用いてもよい。この場合、論理積演算部２４は、３つ以上の異なる差分画像を用いて論理積を演算すればよい。

１０ 走行区分線検出装置
１１ 車載カメラ（撮像手段）
２１ 注目点設定部（注目点設定手段）
２２ フィルタ処理部（画像生成手段）
２３ 候補部抽出部（走行区分線検知手段）
２４ 論理積演算部（走行区分線検知手段、論理積画像生成手段）
２５ 走行区分線検知部（走行区分線検知手段）
３１ 第１フィルタ処理部（第１フィルタ手段）
３２ 第２フィルタ処理部（第２フィルタ手段）
４１ 第１候補部抽出部（第１差分画像生成手段）
４２ 第２候補部抽出部（第２差分画像生成手段）

Claims (2)

1. 車両の外界を撮像して得た撮像画像を出力する撮像手段と、
   前記撮像手段から出力された前記撮像画像内を順次走査して注目点を設定する注目点設定手段と、
   前記注目点設定手段により設定された前記注目点に応じて、車両からの距離に応じた走行路上の走行区分線の所定寸法に相当する大きさを有するカーネルを用いた画素値の畳み込み演算により前記撮像画像のコントラストを低下させた低コントラスト画像を生成する画像生成手段と、
   前記撮像手段から出力された前記撮像画像と前記画像生成手段により生成された前記低コントラスト画像との差分に基づき、前記走行区分線を検知する走行区分線検知手段とを備える走行区分線検出装置であって、
   前記画像生成手段は、
   前記注目点設定手段により設定された前記注目点の位置から第１方向に所定距離だけ変位した位置を中心位置とする第１の前記カーネルを用いて第１の前記低コントラスト画像を生成する第１フィルタ手段と、
   前記注目点設定手段により設定された前記注目点の位置から第２方向に所定距離だけ変位した位置を中心位置とする第２の前記カーネルを用いて第２の前記低コントラスト画像を生成する第２フィルタ手段とを備え、
   前記走行区分線検知手段は、
   前記撮像画像と前記第１の前記低コントラスト画像との画素毎の画素値の差分値からなる第１差分画像を生成する第１差分画像生成手段と、
   前記撮像画像と前記第２の前記低コントラスト画像との画素毎の画素値の差分値からなる第２差分画像を生成する第２差分画像生成手段と、
   前記第１差分画像生成手段により生成された前記第１差分画像と、前記第２差分画像生成手段により生成された前記第２差分画像との論理積を演算して論理積画像を生成する論理積画像生成手段とを備え、
   前記論理積画像生成手段により生成された前記論理積画像から前記走行区分線を検知することを特徴とする走行区分線検出装置。
2. 前記第１方向および前記第２方向は互いに反対方向であることを特徴とする請求項１に記載の走行区分線検出装置。