JP5541099B2 - 道路区画線認識装置 - Google Patents

Description

本発明は、車両に搭載され、道路上に間欠的に配置された物標により構成される道路区画線を認識する道路区画線認識装置に関する。

従来、道路上に描かれた、車両が走行する車線を区切る白線等の道路区画線を認識する道路区画線認識装置が知られている。この装置は、自車両に搭載された、車両前方領域を撮影するカメラによって撮影された撮影画像を処理することで道路区画線を認識する。

ただし、道路区画線が、間欠的な物標（例えば、破線、ボッツドッツ、キャッツアイ等）で構成される場合、カメラで撮影された画像をそのまま処理するだけでは、道路区画線を適切に認識することができない。

そこで、時系列的に連なる複数の画像を重ね合わせて１フレームとし、その重ね合わせた画像に基づいて道路区画線を認識する技術が提案されている（特許文献１参照）。

特開２００６−３５０５７１号公報

車載カメラは一般のカメラとは異なり、高温にさらされることが多いが、カメラが高温になると固定パターンノイズが増えてしまう。特に、特許文献１の技術のように、複数の画像を重ね合わせると、固定パターンノイズが一層強調されてしまう。固定パターンノイズが多い画像からは、道路区画線を正確に認識できない。

本発明は以上の点に鑑みなされたものであり、間欠的な物標から構成される道路区画線を正確に認識できる道路区画線認識装置を提供することを目的とする。

本発明の道路区画線認識装置は、車両に搭載され、道路上に間欠的に配置された物標により構成される道路区画線を認識する。本発明の道路区画線認識装置は、前記間欠的な物標を含む一定の領域を撮像可能な撮像手段と、前記撮像手段により撮像された画像から、前記物標が示す特徴点を抽出した特徴点画像を生成する特徴点画像生成手段と、時系列的に連なる複数の前記特徴点画像を重ね合わせて１フレームの合成画像を作成し、前記合成画像における前記特徴点から道路区画線を認識する道路区画線認識手段とを備える。

この構成により、本発明の道路区画線認識装置は、道路区画線が間欠的に配置された物標により構成されるものであっても、道路区画線の認識が可能になる。
また、本発明の道路区画線認識装置は、時系列的に連なる複数の前記特徴点画像のうち、前記複数に対する比率が所定の比率以上となる数の前記特徴点画像において、同じ位置に表れている特徴点を、前記道路区画線認識手段による道路区画線の認識に使用する特徴点から除外する。このことにより、合成画像から、固定パターンノイズを除去することができる。その結果として、合成画像に基づき、実際の道路区画線に一致する道路区画線候補を正確に抽出することができる。

また、固定パターンノイズを除去するために複雑な画像処理等を行う必要がない。その結果として、道路区画線認識装置のＣＰＵに高性能なものを使用する必要がなくなり、道路区画線認識装置のコストダウンが可能になる。

本発明の道路区画線認識装置において、前記除外手段は、例えば、前記撮像手段の温度が所定の温度以上であることを条件として、前記同じ位置に表れている特徴点を、前記道路区画線認識手段による道路区画線の認識に使用する特徴点から除外するものとすることができる。この場合、撮像手段の温度が所定の温度未満であれば、同じ位置に表れている特徴点（固定パターンノイズに対応する特徴点）を除外する処理を行わなくてもよいので、道路区画線認識装置におけるＣＰＵの処理負担を軽減できる。なお、撮像手段の温度が低温である場合は、固定パターンノイズが発生しにくいので、同じ位置に表れている特徴点を除く処理を行わなくても問題が生じにくい。

前記道路区画線認識手段は、例えば、前記車両の速度が所定値以上であることを条件として、前記合成画像における前記特徴点から道路区画線を認識するものとすることができる。車両の速度が低速である場合は、時系列的に連なる複数の前記特徴点画像を合成しても、道路上に間欠的に配置された物標に対応するエッジ点の間隔が広すぎるので、道路区画線を正確に認識することができない。そのような場合は道路区画線を認識する処理を行わないようにすることで、道路区画線を不正確に認識してしまうことを防止できる。

前記特徴点は、物標の存在に対応しているものであれば特に限定されない。特徴点としては、例えば、エッジ点が挙げられる。このエッジ点は、例えば、前記撮像手段により撮像された画像において、前記道路の進行方向に直交する方向に走査したとき、輝度が急変する点とすることができる。輝度が急変とは、例えば、走査方向における位置の変化に対する輝度の変化の割合（輝度の微分値）が、所定の閾値を超えることとすることができる。

前記道路上に間欠的に配置された物標としては、例えば、破線、ボッツドッツ、キャッツアイ等）等が挙げられる。間欠的に配置とは、例えば、車両の進行方向（道路の長手方向）において、物標が存在する範囲と物標が存在しない範囲とが、混在している状態をいう。

前記時系列的に連なるとは、複数の画像等を取得した時刻が、所定の間隔（一定であっても、変化していてもよい）をおいている状態をいう。
前記所定の比率は、特に限定されず、適宜設定できる。例えば、１００〜５０％の範囲で設定することができる。

道路区画線認識装置１、及び自動操舵制御装置１０１の構成を表すブロック図である。 道路区画線認識装置１が実行する処理を表すフローチャートである。 カメラ３により車両前方の画像を撮影した画像を表す説明図である。 ３フレームの画像を重ね合わせて合成画像を生成する方法を表す説明図である。 ３フレームの画像を重ね合わせて合成画像を生成する方法を表す説明図である。 ３フレームの画像を重ね合わせて合成画像を生成する方法を表す説明図である。

本発明の実施形態を図面に基づいて説明する。
１．道路区画線認識装置１の構成
道路区画線認識装置１の構成を図１に基づいて説明する。図１は、道路区画線認識装置１、及び道路区画線認識装置１の認識結果を利用する自動操舵制御装置１０１の構成を表すブロック図である。

道路区画線認識装置１は車両に搭載され、カメラ（撮像手段）３、画像処理部（特徴点画像生成手段、道路区画線認識手段、除外手段）５、及びサーミスタ７を備える。カメラ３は、周知のＣＣＤカメラであり、車両前部のバンパ、グリル、又は車室内前部のアウタービューミラーのステイのいずれかに配置される。カメラ３は車両の進行方向に向いて固定された光軸を有し、車両前方における一定の広さを有する領域を撮影することができる。撮影できる範囲には、車両前方の道路が含まれる。

画像処理部５には、カメラ３で撮影した画像が、映像信号として供給される。画像処理部５は、周知のコンピュータとして機能する構成を備えており、後述する処理を実行する。

サーミスタ７は、カメラ３の近傍に設置されており、その場所における温度を測定する。そして、その温度を表す信号を、画像処理部５に出力する。
２．自動操舵制御装置１０１の構成
自動操舵制御装置１０１の構成を図１に基づいて説明する。自動操舵制御装置１０１は、操舵ＥＣＵ１０３、車両の向きを検出するヨーレートセンサ１０５、車両の速度を検出する車速センサ１０７、車室内に設置されたスピーカ１０９、及び車両を操舵するためのトルクを発生させる操舵モータ１１１を備えている。

操舵ＥＣＵ１０３には、後述するようにして道路区画線認識装置１が認識した道路区画線の位置情報が入力される。また、操舵ＥＣＵ１０３は、ヨーレートセンサ１０５、及び車速センサ１０７の検出結果から車両の進行方向を算出する。そして、操舵ＥＣＵ１０３は、道路区画線認識装置１から入力した道路区画線の位置情報と、上記のように算出した車両の進行方向とを対比し、車両が道路区画線を逸脱しそうであると判断した場合は、操舵モータ１１１に対し、逸脱を防止する方向に操舵を行うための信号を出力するとともに、スピーカ１０９により警報音を発生させる。

３．道路区画線認識装置１が実行する処理
道路区画線認識装置１（特に画像処理部５）が実行する処理を図２のフローチャートに基づいて説明する。この処理は、車両が走行している期間中、所定時間ごとに繰り返し実行される。

ステップ１０では、車両の速度が所定の基準速度Ｖｓ以上であるか否かを判断する。車両の速度は、車速センサ１０７により取得する。車両の速度が所定の基準速度Ｖｓ以上である場合はステップ２０に進み、基準速度Ｖｓ未満である場合は本処理を終了する。

ステップ２０では、カメラ３により車両前方の画像を撮影し、その撮影画像を画像処理部５に取り込む。その撮影画像は、例えば、図３に示すものである。撮影画像は、車両前方の一定方向において、一定の領域内を撮影したものであり、その中には、ボッツドッツ等が設けられた、車両前方の道路が存在する。

ステップ３０では、前記ステップ２０で取り込んだ画像から、エッジ点を抽出する。ここで、エッジ点とは、カメラ３により撮像された画像において、道路の進行方向に直交する方向に走査したとき、輝度が急変する点である。

このエッジ点は、以下のように抽出することができる。まず、撮影画像の道路対応領域において、水平方向の走査線を設定し、その走査線上に位置する画素の輝度の微分曲線を算出する。そしてさらに、微分値の絶対値をとる。微分値の絶対値を表す曲線に所定のエッジ閾値をあてはめ、それらの交点を定める。走査線上におけるこの交点の位置をエッジ点として抽出する。

道路上の白線、破線、ボッツドット、キャッツアイ等の境界線は、エッジ点となる。そして、抽出したエッジ点を表示したエッジ画像（特徴点画像）を生成する。エッジ画像は、エッジ点を１とし、それ以外の点を０とするデジタル画像である。

ステップ４０では、サーミスタ７で検出した温度（すなわちカメラ３の温度）が所定の基準温度Ｔｓ以上であるか否かを判断する。基準温度Ｔｓ以上である場合はステップ５０に進み、基準温度Ｔｓ未満である場合はステップ６０に進む。

ステップ５０では、図４に示すように、２フレーム前のエッジ画像と、１フレーム前のエッジ画像と、現フレームのエッジ画像とを重ね合わせて、合成画像を作成する。なお、図２に表す処理は所定時間ごとに繰り返し実行されているので、前記ステップ２０、３０の処理も繰り返し実行される。２回前の前記ステップ２０、３０の処理で作成されたエッジ画像が２フレーム前のエッジ画像であり、１回前の前記ステップ２０、３０の処理で作成されたエッジ画像が１フレーム前のエッジ画像であり、直近の前記ステップ２０、３０の処理で作成されたエッジ画像が現フレームのエッジ画像である。エッジ画像の重ね合わせは、それぞれのエッジ画像において対応する画素（エッジ画像における座標が同じ画素）の位置が一致するように行われる。

図４における２フレーム前のエッジ画像、１フレーム前のエッジ画像、及び現フレームのエッジ画像（以下では、３フレームのエッジ画像ともいう）に表示されているものは、それぞれ、エッジ点である。合成画像には、基本的には、３フレームのエッジ画像のいずれかに含まれるエッジ点は含まれている。

上記のように、３フレームのエッジ画像を重ね合わせることにより、個々のフレームではエッジ点が間欠的にしか存在しなくても、合成画像ではエッジ点が線状に連続して配置されるため、後述する道路区画線候補９の抽出が容易になる。

ただし、図４において、３フレームのエッジ画像に表れているエッジ点のうち、Ｎが付されているエッジ点は、３フレームのエッジ画像の全てにおいて、同じ場所に表れている。このように同じ場所に現れているエッジ点は、固定パターンノイズ（ＦＰＮ）である。

本ステップでは、図４に示すように、３フレームのエッジ画像の全てにおいて、同じ場所に表れているエッジ点は、合成画像に含めないようにする。なお、図４の合成画像において、点線の丸は、固定パターンノイズが削除された部分を示す。

合成画像の作成について、図５に基づいて更に説明する。図５の左列には、３フレームのエッジ画像をそれぞれ示す。各エッジ画像は、１画素を単位として碁盤の目状に区切られており、白抜きの画素がエッジ点である。また、エッジ点のうち、Ｎと表記されているものは、３フレームのエッジ画像の全てにおいて、同じ場所に表れているエッジ点であって、固定パターンノイズと考えられるものである。一方、エッジ点のうち、Ｅと表記されているものは、３フレームのエッジ画像のうち、１又は２のエッジ画像にしか、同じ場所に表れていないエッジ点であって、本来のエッジ点（道路上の白線、破線、ポッツドット、キャッツアイ等の境界線に該当するエッジ点）である可能性が高いものである。図５の右側に示す合成画像では、３フレームのエッジ画像に表れたエッジ点のうち、Ｅが付されたエッジ点のみが含まれており、Ｎが付されたエッジ点は含まれていない。

ステップ６０では、図６に示すように、３フレームのエッジ画像を重ね合わせて、合成画像を作成する。
図６における３フレームのエッジ画像に表示されているものは、それぞれ、エッジ点である。合成画像には、３フレームのエッジ画像のいずれかに含まれているエッジ点は全て含まれている。すなわち、本ステップでは、前記ステップ５０とは異なり、３フレームのエッジ画像の全てにおいて、同じ場所に表れているエッジ点（図６においてＮが付されているエッジ点）も合成画像に含める。

ステップ７０では、合成画像内の全てのエッジ点を適宜結ぶことにより、図４、図６の合成画像に示すような、道路区画線候補９を抽出する。道路区画線候補９が複数存在する場合は、それぞれを抽出する。道路区画線候補９は、エッジ点を最も多く通る直線であり、周知のフィッティングにより抽出する。

ステップ８０では、前記ステップ７０で抽出した道路区画線候補９の道路区画線らしさを評価する。この道路区画線らしさの評価は公知の方法で行うことができ、例えば、道路区画線候補９を構成するエッジ点の数、道路区画線候補９の形状、道路区画線候補９の他の物体に対する相対的な位置等により、道路区画線らしさを評価することができる。

ステップ９０では、道路区画線候補９のうち、前記ステップ８０での道路区画線らしさが所定の基準値以上であるものを、道路区画線として認識する。なお、この道路区画線の情報（その位置、向き等）は、前述したように、自動操舵制御装置１０１に出力され、使用される。

４．道路区画線認識装置１が奏する効果
（１）道路区画線認識装置１は、カメラ３の温度が所定の基準温度Ｔｓ以上である場合（カメラ３に起因する固定パターンノイズが発生しやすい場合）、合成画像を生成するとき、３フレームのエッジ画像の全てにおいて、同じ場所に表れているエッジ点を合成画像に含まないようにする。このことにより、合成画像から、固定パターンノイズを除去することができる。その結果として、合成画像に基づき、実際の道路区画線に一致する道路区画線候補を正確に抽出することができる。

また、固定パターンノイズを除去するために複雑な画像処理等を行う必要がない。その結果として、画像処理部５のＣＰＵに高性能なものを使用する必要がなくなり、道路区画線認識装置１のコストダウンが可能になる。
（２）道路区画線認識装置１は、カメラ３の温度が所定の基準温度Ｔｓ未満である場合は、３フレームのエッジ画像を単純に重ね合わせるだけで、合成画像を生成する。そのため、道路区画線認識装置１におけるＣＰＵの処理負担を軽減できる。なお、カメラ３の温度が所定の基準温度Ｔｓ未満である場合は、固定パターンノイズが発生しにくいので、固定パターンノイズに該当するエッジ点を除く処理を行わなくても問題が生じにくい。
（３）道路区画線認識装置１は、車両の速度が所定の基準速度Ｖｓ以上であるである場合のみ、道路上に間欠的に配置された物標により構成される道路区画線を認識する。車両の速度が低速である場合は、３フレームを合成しても、道路上に間欠的に配置された物標に対応するエッジ点の間隔が広すぎ、道路区画線を正確に認識することがでないので、そのような場合は道路区画線を認識する処理を行わないようにする。その結果として、道路区画線を不正確に認識してしまうことを防止できる。

尚、本発明は前記実施形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、重ね合わせるフレームの数は３には限定されず、適宜設定できる。例えば、２、４、５、６、７、８、９、１０・・・の時系列的に連なるフレームを重ね合わせることができる。

また、合成画像においてエッジ点を除去するための条件は、重ね合わせる全てのフレームの同じ位置にエッジ点が表れていることとしなくてもよい。例えば、重ね合わせる全フレームのうち、Ｘ％以上のフレームの同じ位置に現れているエッジ点は除き、Ｘ％未満のフレームにしか、同じ場所に現れていないエッジ点は、合成画像に含めるようにすることができる。このＸの値は１００には限定されず、適宜設定することができる。

１・・・道路区画線認識装置、３・・・カメラ、５・・・画像処理部、
７・・・サーミスタ、９・・・道路区画線候補、
１０１・・・自動操舵制御装置、１０５・・・ヨーレートセンサ、
１０７・・・車速センサ、１０９・・・スピーカ、１１１・・・操舵モータ、
１０３・・・操舵ＥＣＵ

Claims (4)

1. 車両に搭載され、道路上に間欠的に配置された物標により構成される道路区画線を認識する道路区画線認識装置であって、
   前記間欠的な物標を含む一定の領域を撮像可能な撮像手段と、
   前記撮像手段により撮像された画像から、前記物標が示す特徴点を抽出した特徴点画像を生成する特徴点画像生成手段と、
   時系列的に連なる複数の前記特徴点画像を重ね合わせて１フレームの合成画像を作成し、前記合成画像における前記特徴点から道路区画線を認識する道路区画線認識手段と、
   時系列的に連なる複数の前記特徴点画像のうち、前記複数に対する比率が所定の比率以上となる数の前記特徴点画像において、同じ位置に表れている特徴点を、前記道路区画線認識手段による道路区画線の認識に使用する特徴点から除外する除外手段と、
   を備えることを特徴とする道路区画線認識装置。
2. 前記除外手段は、前記撮像手段の温度が所定の温度以上であることを条件として、前記同じ位置に表れている特徴点を、前記道路区画線認識手段による道路区画線の認識に使用する特徴点から除外することを特徴とする請求項１記載の道路区画線認識装置。
3. 前記道路区画線認識手段は、前記車両の速度が所定値以上であることを条件として、前記合成画像における前記特徴点から道路区画線を認識することを特徴とする請求項１又は２に記載の道路区画線認識装置。
4. 前記特徴点は、前記撮像手段により撮像された画像において、前記道路の進行方向に直交する方向に走査したとき、輝度が急変する点であることを特徴とする請求項１〜３のいずれか１項に記載の道路区画線認識装置。