JP5195377B2 - 車線境界導出装置 - Google Patents

Description

本発明は、車載カメラが撮影した路面画像に各種画像処理を施すことによって自車両が走行する車線の境界を導き出す車線境界導出装置に関し、特に、ボッツドッツやキャッツアイ等の道路に埋め込まれた道路鋲の画像を表す画素群の配置に基づいて車線の境界を導き出す装置に関する。

従来、車載カメラで撮影した車両前方の画像を左から右に水平走査して道路に埋め込まれたボッツドッツの開始点（走査線と交差するボッツドッツ画像の輪郭線上にある左側の境界点）と終了点（走査線と交差するボッツドッツ画像の輪郭線上にある右側の境界点）とを抽出し、その二点間の線分の長さを算出し、その線分を所定比率で内分する点の座標を算出し、且つ、その内分点をレーンマーキング候補点位置として抽出する車線認識画像処理装置を開示する（例えば、特許文献１参照。）。

その後、この車線認識画像処理装置は、この走査を繰り返すことでレーンマーキング候補点位置の抽出を繰り返し、抽出した複数のレーンマーキング候補点位置に基づいて車線認識を行うようにする。

このようにして、この車線認識画像処理装置は、ボッツドッツのその円形形状に起因する車線認識結果におけるズレ（画像処理によって認識する車線境界と認識すべき実際の車線境界との間のズレであり、ボッツドッツの横幅の２分の１に相当する。）が生じるのを防止する。
特開２００５−１８２３０３号公報

しかしながら、特許文献１に記載の車線認識画像処理装置は、レーンマーキング候補点位置を抽出するまでに座標値を用いた多くの計算を実行する必要があるので、プロセッサの処理負荷が大きくなり過ぎるという問題がある。

上述の点に鑑み、本発明は、処理負荷を抑制しながらも車載カメラが撮像したボッツドッツやキャッツアイ等の道路鋲の画像の配置に基づいて車線の境界を高精度に導き出す車線境界導出装置を提供することを目的とする。

上述の目的を達成するために、第一の発明に係る車線境界導出装置は、走行する道路の画像を撮影する撮影手段と、前記撮影手段が撮影した画像から道路鋲を表す画素群を抽出する画素群抽出手段と、前記道路鋲を表す画素群から代表画素を選択する代表画素選択手段と、前記代表画素選択手段が選択した代表画素に基づいて車線の境界を導き出す車線境界導出手段と、を備えることを特徴とする。

また、第二の発明は、第一の発明に係る車線境界導出装置であって、前記代表画素選択手段は、前記道路鋲を表す画素群の中央に位置する画素を代表画素として選択することを特徴とする。

また、第三の発明は、第一又は第二の発明の何れかに係る車線境界導出装置であって、前記代表画素選択手段は、前記道路鋲を表す画素群であって、前記画像の水平方向の一ライン上で連続する画素群の中央に位置する画素を代表画素として選択することを特徴とする。

上述の手段により、本発明は、処理負荷を抑制しながらも車載カメラが撮像したボッツドッツやキャッツアイ等の道路鋲の画像の配置に基づいて車線の境界を高精度に導き出す車線境界導出装置を提供することができる。

以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。

図１は、本発明に係る車線境界導出装置の構成例を示すブロック図であり、車線境界導出装置１００は、車載カメラ２から入力される路面画像データを制御部１で画像処理することによって車線境界を導き出し、運転支援装置３に対してその導出結果を出力する車載装置である。なお、制御部１、車載カメラ２、及び運転支援装置３は、ＣＡＮ等の車載ＬＡＮを介して相互に接続されている。

制御部１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えたコンピュータであって、例えば、画素群抽出手段１０、代表画素選択手段１１、及び車線境界導出手段１２のそれぞれに対応するプログラムをＲＯＭに記憶しながら、各手段に対応する処理をＣＰＵに実行させる。

車載カメラ２は、車両周辺の画像を撮影するための装置であり、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を備えたカメラである。また、車載カメラ２は、例えば、車室内のルームミラー付近やフロントグリル付近に設置され、車両前方の路面を撮影し、撮影した画像を制御部１に対して出力する。尚、車載カメラ２は、夜間でも撮影が可能な赤外線カメラであってもよい。

運転支援装置３は、現在走行中の車線から車両が逸脱しないようにステアリングアクチュエータを用いて車両の進路を修正する車線維持支援機能や現在走行中の車線から車両が逸脱したことを警告する車線逸脱警告機能を実行する車載装置であり、例えば、制御部１が導き出す車線境界に基づいて車線維持支援機能や車線逸脱警告機能を実行する。

次に、制御部１が有する各種手段について説明する。

画素群抽出手段１０は、車載カメラ２が撮影した車両前方の路面画像から道路鋲を表す画素群を抽出するための手段であり、例えば、車載カメラ２が出力する路面画像をグレースケール化して濃淡画像（以下、「入力画像」とする。）を生成し、その入力画像にモルフォロジー演算を適用して道路鋲を表す画素群を抽出する。

なお、画素群抽出手段１０は、車載カメラ２が撮影した画像のうち路面以外の部分を画像処理の対象から除外する。処理負荷の増大を抑制するためである。

ここで、「道路鋲」は、その道路を走行する車両の運転者に車線の境界位置を知らせるために道路上にその表面を露出させて埋め込まれる物であり、例えば、ボッツドッツやキャッツアイ等を含む。

図２は、ボッツドッツの説明図であり、ボッツドッツＢＤは、主に北米で用いられる道路鋲であり、例えばセラミックを用いて形成される直径１００ｍｍ程度の円盤であって、車線の延在方向に所定間隔Ｄを空けて、その表面を露出させながら路面に埋め込まれている。

また、「モルフォロジー演算」は、所定の構造要素を用いた集合論的操作（例えば、収縮処理、膨張処理、及びトップハット変換処理等である。）により、与えられた２値画像又は濃淡画像から特定の幾何学的構造を有する要素のみを抽出するための演算である。

なお、「所定の構造要素」は、画素群で構成される所定のパターンであり、入力画像における閾値以上の輝度を有する一塊の画素群のうちその所定の構造要素よりも小さい画素群のみを抽出するために用いられるパターンである。

図３は、モルフォロジー演算を説明するための概念図であり、図３（Ａ）は、入力画像の水平方向の一ライン上にある画素群の輝度状態を灰色矩形（輝度が閾値以上である画素を表す。）及び白色矩形（輝度が閾値未満である画素を表す。）で示し、図３（Ｂ）は、図３（Ａ）に対応する輝度分布グラフを示す。なお、図３（Ｂ）は、縦軸に輝度分布信号ｆ（ｘ）を配し、横軸に画素位置ｘ（入力画像の一ラインにおける左端の画素を零として右に一つずつ増加する画素のインデックスである。）を配する。以下、図３（Ｄ）、（Ｆ）、（Ｈ）においても同様である。

本実施例では、白線ＷＬを抽出せずにボッツドッツＢＤのみを抽出する場合を説明するために、その入力画像は、白線ＷＬ及びボッツドッツＢＤの双方を含む画像とし、また、その所定の構造要素は、白線ＷＬを表す画素群を抽出せずにボッツドッツＢＤを表す画素群のみを抽出するために、閾値ＴＨ以上の輝度を有し、且つ、白線ＷＬの幅（例えば、七画素である。）より僅かに狭くボッツドッツＢＤの幅（例えば、五画素である。）より僅かに広い幅を有するパターン（横一列に並んだ六画素から成る画素群）とする。

図３（Ａ）は、入力画像の一ラインでその輝度が閾値ＴＨ以上となる画素を灰色の矩形で示し、その輝度が閾値ＴＨ未満となる画素を白色の矩形で示す。すなわち、図３（Ａ）は、白線ＷＬを表す画素（連続する七画素）とボッツドッツＢＤを表す画素（連続する三画素）とを灰色で示す。

図３（Ｂ）は、白線ＷＬを表す画素、及びボッツドッツＢＤを表す画素における輝度ｆ（ｘ）が閾値ＴＨ以上となっている状態を示す。

ここで、画素群抽出手段１０は、一ライン上の画素群中にある構造要素（連続する六画素）よりも小さい画素群を消去し（それらの輝度を閾値ＴＨ未満として扱うことを意味する。）、且つ、構造要素よりも大きい画素群を収縮させて（その画素群に含まれる画素の数を減らしてその画素群のサイズを一回り小さいものとすることを意味する。）、収縮画像を生成する（収縮処理）。

具体的には、画素群抽出手段１０は、ボッツドッツＢＤを表す画素群を消去し、白線ＷＬを表す画素群を収縮させる。

図３（Ｃ）は、収縮画像の一ライン上にある画素群の輝度状態を示し、図３（Ｄ）は、図３（Ｃ）に対応する輝度分布グラフを示す。なお、図３（Ｄ）における破線は、図３（Ｂ）における収縮処理前の輝度分布を比較のために示すためのものである。

その後、画素群抽出手段１０は、その一ライン上の画素群を膨張させて（収縮された画素群のうち消去されていない画素群のサイズを一回り大きいものとすることを意味する。）オープニング画像を生成する（膨張処理）。

具体的には、画素群抽出手段１０は、ボッツドッツＢＤを表していた既に消去された画素群を膨張させることなく、白線ＷＬを表す収縮された画素群を膨張させる。

図３（Ｅ）は、オープニング画像の一ライン上にある画素群の輝度状態を示し、図３（Ｆ）は、図３（Ｅ）に対応する輝度分布グラフを示す。なお、図３（Ｆ）における破線は、図３（Ｄ）における膨張処理前の輝度分布を比較のために示すためのものである。

その後、画素群抽出手段１０は、入力画像からオープニング画像を差し引いた差分画像を生成する（トップハット変換処理）。

具体的には、画素群抽出手段１０は、入力画像及びオープニング画像の双方で閾値ＴＨ以上の輝度を有する画素群を特定し、入力画像におけるそれら画素群の輝度を閾値ＴＨ未満とした差分画像を生成する。

すなわち、画素群抽出手段１０は、入力画像から白線ＷＬを表す画素群を消去し、ボッツドッツＢＤを表す画素群のみを残した差分画像を生成する。

図３（Ｇ）は、差分画像の一ライン上にある画素群の輝度状態を示し、図３（Ｈ）は、図３（Ｇ）に対応する輝度分布グラフを示す。なお、図３（Ｈ）における破線は、図３（Ｆ）におけるトップハット変換処理前の輝度分布を比較のために示すためのものである。

このようにして、画素群抽出手段１０は、車載カメラ２が出力する路面画像から道路鋲を表す画素群を抽出して差分画像を生成する。

代表画素選択手段１１は、差分画像における道路鋲を表す一塊の画素群から代表画素を選択するための手段であり、例えば、差分画像の水平方向の一ライン上で連続する道路鋲を表す画素群の中央に位置する画素をその道路鋲の代表画素として選択する。

図４は、代表画素の選択方法を説明するための図であり、差分画像の水平方向の一ライン上で連続する道路鋲を表す画素の数が二つの場合には左端の画素が代表画素として選択され、差分画像の水平方向の一ライン上で連続する道路鋲を表す画素の数が三つの場合には中央の画素が代表画素として選択される。

同様に、差分画像の水平方向の一ライン上で連続する道路鋲を表す画素の数が四つの場合には中央に位置する二つの画素のうちの左端にある画素が代表画素として選択され、差分画像の水平方向の一ライン上で連続する道路鋲を表す画素の数が五つの場合には中央の画素が代表画素として選択される。

このように、差分画像の水平方向の一ライン上で連続する道路鋲を表す画素の数が偶数の場合には中央に位置する二つの画素のうちの左端にある画素が代表画素として選択され、差分画像の水平方向の一ライン上で連続する道路鋲を表す画素の数が奇数の場合には中央の画素が代表画素として選択される。

なお、代表画素選択手段１１は、差分画像の水平方向の一ライン上で連続する道路鋲を表す画素の数が一つの場合（道路鋲を表す画素が連続せず孤立して存在する場合）にはその画素を代表画素として選択する。

車線境界導出手段１２は、代表画素選択手段１１が選択した複数の代表画素に基づいて車線の境界を導き出すための手段であり、例えば、ハフ変換や最小二乗法等の既存の技術を用いて車線境界線を導き出す。

図５は、差分画像において代表画素選択手段１１が代表画素を選択する前に、ボッツドッツＢＤを表す画素群の配置に基づいて車線境界導出手段１２が導き出し得る車線境界線の候補を示す。

図５に示すように、差分画像において代表画素選択手段１１が代表画素を選択する前の段階では、ボッツドッツＢＤを表す画素の数が比較的多く、また、それら画素が差分画像の水平方向の一ライン上に連続して存在し所定の幅を有しているので、車線境界導出手段１２は、車線境界線となり得る多くの候補を有することとなり、車線の境界を導き出すための処理負荷を増大させることとなる。

これに対し図６は、差分画像において代表画素選択手段１１が代表画素を選択した後に、ボッツドッツＢＤを表す代表画素群の配置に基づいて車線境界導出手段１２が導き出す車線境界線を示す。

図６に示すように、差分画像において代表画素選択手段１１が代表画素を選択した後の段階では、ボッツドッツＢＤを表す画素の数が比較的少なく、また、それら画素が差分画像の水平方向の一ライン上に一つだけ孤立して存在するのみなので、車線境界導出手段１２は、図５の場合と比べて、車線の境界を導き出すための処理負荷を低減させることができる。

次に、図７を参照しながら、車載カメラ２が撮影した路面画像に含まれるボッツドッツＢＤを表す画素群の配置に基づいて車線境界導出装置１００が車線の境界を導き出す処理（以下、「車線境界導出処理」とする。）について説明する。

なお、図７は、車線境界導出処理の流れを示すフローチャートであり、車線境界導出装置１００は、走行支援装置３が車線維持支援機能や車線逸脱警告機能を実行する間、所定間隔で繰り返しこの処理を実行する。

また、車線境界導出装置１００は、車線境界導出手段１２とは別に、車線区分線（白線等の道路標示である。）を認識する処理（以下、「車線区分線認識処理」とする。）を実行する場合には、その車線区分線認識処理で車線区分線を認識できないときに代替的にこの車線境界導出処理を実行するようにしてもよく、或いは、この車線境界導出処理で車線の境界が導出できないときに代替的にその車線区分線認識処理を実行するようにしてもよい。

更に、車線境界導出装置１００は、カーナビゲーションシステム（図示せず。）が出力する情報（例えば、現在地情報及び地図情報である。）に基づいて現在走行中の道路が道路区分線の標示された道路であるか、道路鋲の埋め込まれた道路であるかを判定し、その判定結果に基づいて、車線区分線認識処理を実行するか、或いは、車線境界導出処理を実行するかを決定するようにしてもよい。

最初に、制御部１は、車載カメラ２が出力する路面画像を取得し（ステップＳ１）、その路面画像をグレースケール化して（ステップＳ２）、入力画像を生成する。このとき、制御部１は、入力画像のうち路面が占める領域以外の領域（例えば、空が占める領域である。）の画素群を消去するようにしてもよい（例えば、それらの輝度を零とする。）。

その後、制御部１は、画素群抽出手段１０により、モルフォロジー演算を用いてボッツドッツＢＤを表す画素群のみを抽出した差分画像を生成する（ステップＳ３）。

その後、制御部１は、代表画素選択手段１１により、差分画像の水平方向の一ライン上に連続して存在する一塊のボッツドッツＢＤを表す画素群から一つの代表画素を選択する（ステップＳ４）。

具体的には、代表画素選択手段１１は、連続する画素群の中央に位置する画素を一連の画素群を代表する代表画素として選択する。

その後、制御部１は、車線境界導出手段１２により、ハフ変換や最小二乗法を用い、差分画像上にある複数の代表画素の配置に基づいて車線境界線を導き出す（ステップＳ５）。

その後、制御部１は、導き出した境界線に関する情報を運転支援装置３に対して出力し（ステップＳ６）、運転支援装置３が車線維持支援機能や車線逸脱警告機能を実行できるようにする。

以上の構成により、車線境界導出装置１００は、車線境界導出手段１２の処理負荷を抑制しながらも、路面に埋め込まれたボッツドッツＢＤの配置に基づいて車線の境界を導き出すことができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例では、図４に示すように、ボッツドッツＢＤを表す画素群のうち、一ライン上で連続する画素群から一つの代表画素を選択し、その選択を繰り返すことで得た複数の代表画素の配置に基づいて車線の境界を導き出すようにするが、ボッツドッツＢＤを表す画素群のうち、上下に隣接する複数のラインに跨るボッツドッツＢＤを表す一塊の画素群から一つの代表画素を選択し、その選択を繰り返すことで得た複数の代表画素の配置に基づいて車線の境界を導き出すようにしてもよい。

図８は、代表画素の別の選択方法を説明するための図であり、差分画像の垂直方向に連続する三つのラインを一纏めにした上で、ボッツドッツＢＤを表す上下左右に隣接する一塊の画素群から一つの代表画素を選択する方法を示す。

図８は、例えば、上下左右に隣接する四つの画素を含む五画素から成る画素群が、その中心に位置する画素を代表画素とすることを示す。

図８に示すような、代表画素が選択される前の一塊の画素群の並びとその一塊の画素群で選択される代表画素の位置との間の対応関係は、参照テーブルとして予めＲＯＭに記憶されており、代表画素選択手段１１は、その参照テーブルを用いてパターンマッチングを行うことで各ボッツドッツＢＤの代表画素を選択するようにしてもよい。

これにより、車線境界導出手段１２は、より少ない数の代表画素の配置に基づいて車線境界線を導き出すことができ、処理負荷を更に抑制することができる。

また、上述の実施例では、代表画素選択手段１１は、差分画像の水平方向の一又は複数のライン上で横方向に連続する画素群から一つの代表画素を選択するが、差分画像の垂直方向の一又は複数のライン上で縦方向に連続する画素群から一つの代表画素を選択するようにしてもよく、水平方向及び垂直方向以外の方向に沿ったラインで連続する画素群から一つの代表画素を選択するようにしてもよい。

また、上述の実施例では、制御部１の各種手段がプログラムで実現されているが、それら手段の一部又は全部がハードウェアで実現されていてもよい。

本発明に係る車線境界導出装置の構成例を示すブロック図である。 ボッツドッツの説明図である。 モルフォロジー演算を説明するための概念図である。 代表画素の選択方法を説明するための図（その１）である。 車線境界導出手段が導き出した車線境界線を示す図（その１）である。 車線境界導出手段が導き出した車線境界線を示す図（その２）である。 車線境界導出処理の流れを示すフローチャートである。 代表画素の選択方法を説明するための図（その２）である。 車線境界導出手段が導き出した車線境界線を示す図（その３）である。

符号の説明

１ 制御部
２ 車載カメラ
３ 運転支援装置
１０ 画素群抽出手段
１１ 代表画素選択手段
１２ 車線境界導出手段
１００ 車線境界導出装置
ＢＤ ボッツドッツ
ＷＬ 白線

Claims (3)

1. 走行する道路の画像を撮影する撮影手段と、
   前記撮影手段が撮影した画像の水平方向の一ライン上にある画素群毎に、所定閾値以上の輝度を有する水平方向の一ライン上で連続する道路鋲を表す画素群を抽出する画素群抽出手段と、
   前記道路鋲を表す画素群の中から前記道路鋲を表す画素群の代表画素を選択する代表画素選択手段と、
   前記代表画素選択手段が選択した代表画素に基づいて車線の境界を導き出す車線境界導出手段と、
   を備えることを特徴とする車線境界導出装置。
2. 前記代表画素選択手段は、所定閾値以上の輝度を有する水平方向の一ライン上で連続する道路鋲を表す画素群の中央に位置する画素を、前記道路鋲を表す画素群の代表画素として選択する、
   ことを特徴とする請求項１に記載の車線境界導出装置。
3. 前記画素抽出手段は、前記撮影手段が撮影した画像の水平方向の一ライン上にある画素群毎に、所定閾値以上の輝度を有する水平方向の一ライン上で連続する画素群の中から、連続する画素数に基づいて、前記道路鋲を表す画素群を抽出する、
   ことを特徴とする請求項１又は２に記載の車線境界導出装置。