JP5289509B2 - レーンマーク認識装置 - Google Patents

Description

本発明は、車両に搭載されたカメラの撮像画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置に関する。

従来より、車載カメラにより撮像された車両前方の道路の画像から、道路に設けられた走行車線区分用の白線等のレーンマークを認識するレーンマーク認識装置が知られている（例えば、特許文献１参照）。

特許文献１に記載されたレーンマーク認識装置においては、カラーカメラにより撮像された画像から、レーンマークの色（白、黄）の画素を抽出することによって、異なる色のレーンマーク（白線、黄線）を精度良く検出できるようにしている。

特開２００７−１８１５４号公報

雨天での夜間走行時等においては、先行車のテールライト、対向車のヘッドライト、信号機ライト等の照明光が路面に直線状に移り込む場合がある。そして、このような路面への映り込みを、レーンマークであると誤認識すると、レーンマークの検出精度が低下してしまう。

本発明はかかる背景を鑑みてなされたものであり、路面への映り込みの影響により、レーンマークの検出精度が低下することを抑制したレーンマーク認識装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、車両に搭載されたカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置の改良に関する。

そして、前記カメラの撮像画像から、線状のレーンマークの候補画像を抽出するレーンマーク候補画像抽出部と、前記レーンマーク候補画像抽出部により抽出されたレーンマークの候補画像のうち、前記車両の上下方向に相当する第１方向に、所定範囲内の間隔をもって延びる複数の特定の候補画像を、レーンマークの認識対象から除外する特定候補画像除外部と、前記特定候補画像除外部によりレーンマークの認識対象から除外されなかったレーンマークの候補画像に基づいて、レーンマークを認識するレーンマーク認識部とを備えたことを特徴とする（第１発明）。

第１発明において、前記車両の対向車のヘッドライトや前走車のテールライトの照明光の路面への映り込みは、前記車両の上下方向に延びる２本の平行な直線状となる。そのため、前記カメラの撮像画像おいては、これらの映り込みの画像部分は、前記車両の上下方向に相当する前記第１方向に延びる複数の直線状の画像部分となる。

そこで、前記特定候補画像除外部は、前記レーンマーク候補画像抽出部により抽出されたレーンマークの候補画像のうち、前記第１方向に所定範囲内の間隔をもって延びる複数の特定の候補画像を、レーンマークの認識対象から除外する。そして、前記レーンマーク認識部は、前記特定候補画像除外部によりレーンマークの認識対象から除外されなかった候補画像に基づいて、レーンマークを認識する。これにより、他車両のライトの照明光の路面への映り込みが直線状のレーンマークと誤認識されることを防止して、レーンマークの検出精度が低下することを抑制することができる。

また、第１発明において、前記カメラはカラーカメラであり、前記特定候補画像除外部は、前記レーンマーク候補画像抽出部により抽出されたレーンマークの候補画像のうち、色がレーンマークと異なる特定の候補画像をレーンマークの認識対象から除外することを特徴とする（第２発明）。

第２発明によれば、信号機の赤又は緑色のライトの照明光等が路面に映り込んだときに、前記カラーカメラの撮像画像におけるこの映り込みの画像部分が、レーンマークの認識対象とされることが回避される。そのため、信号機の赤又は緑色のライトの照明光等の路面への映り込みが、直線状のレーンマークと誤認識されることを防止して、レーンマークの検出精度が低下することを抑制することができる。

また、前記第１発明又は第２発明において、前記車両の走行速度を検知する車速検知部を備え、前記特定候補画像除外部は、前記カメラによる時系列の撮像画像から、前記第１方向に延びるレーンマークの候補画像の位置変化量を算出し、該位置変化量が、静止物を想定して前記車両の走行速度に基づいて設定された変化量判定範囲から外れた特定の候補画像を、レーンマークの認識対象から除外することを特徴とする（第３発明）。

第３発明において、前記車両の対向車や前走車は移動しているため、対向車や前走車のライトの映り込みの画像部分の位置の変化量は、静止物であるレーンマークの画像部分の位置の変化量と相違する。そこで、前記特定候補画像除外部は、前記第１方向に延びるレーンマークの候補画像の位置の変化量が、静止物を想定して前記車両の走行速度に基づいて設定された前記変化量判定範囲から外れた特定の候補画像を、レーンマークの認識対象から除外する。これにより、二輪車の単灯のヘッドライトやテールライトの照明光の道路への移り込みがレーンマークと誤認識されることを防止して、レーンマークの検出精度が低下することを抑制することができる。

また、前記第１発明から第３発明のいずれかにおいて、雨天を検知する雨天検知部を備え、前記特定候補画像除外部は、前記雨天検知部により雨天であることが検知されているときに限定して、前記特定の候補画像をレーンマークの認識対象から除外する処理を行うことを特徴とする（第４発明）。

第４発明によれば、道路への移り込みが発生する可能性が高い雨天時に限定して、前記特定候補画像除外部による前記特定のレーンマークの候補画像をレーンマークの認識対象から除外する処理を行うことにより、晴天時或いは曇天時におけるレーンマーク認識に要する計算負荷を低減することができる。

レーンマーク認識装置の構成図。 レンマーク認識装置によるレーンマークの認識処理のフローチャート。 濡れた路面に対向車両のヘッドライトの照明光が映り込んだ状況での２値画像の説明図。 時系列画像間での対向車両のヘッドライトの照明光の映り込みの画像部分の位置変化の説明図。

本発明のレーンマーク認識装置の実施形態について、図１〜図４を参照して説明する。

図１を参照して、レーンマーク認識装置１０は、カラーカメラ１１、雨滴センサ１２、及び速度センサ１３が備えられた車両１に搭載されている。

レーンマーク認識装置１０は、カラーカメラ１１からアナログ値で出力される画像データの各画素の輝度レベルをデジタル値に変換し、各画素の輝度のデジタルデータを、水平方向（ｘ軸）及び垂直方向（ｙ軸）の２次元座標（ｘ−ｙ座標）にマッピングして、画像メモリ２１に保持させる画像取得部２０と、画像メモリ２１に保持されたデジタルの画像データ（以下、原画像データという）に基づいて、道路に設けられた線状のレーンマーク（白線、黄線等）を認識する演算部３０とを備えている。

演算部３０は、ＣＰＵ、メモリ等により構成された電子ユニットであり、メモリに保持されたレーンマーク認識用のプログラムをＣＰＵで実行することにより、演算部３０は、原画像データからレーンマークの候補画像（レーンマークの画像部分である可能性のある画像部分）を抽出するレーンマーク候補画像抽出部３１、レーンマークの候補画像のうち、後述する特定条件を満たすもの（特定候補画像）を除外する特定候補画像除外部３２、特定候補画像として除外されなかった候補画像に基づいて、道路のレーンマークを認識するレーンマーク認識部３３、速度センサ１３から入力される速度検出信号から車両１の走行速度を検知する車速検知部３４、及び雨滴センサ１２から入力される雨滴検出信号から雨天を検知する雨天検知部３５として機能する。

以下、図２に示したフローチャートに従って、レーンマーク認識装置１０によるレーンマークの認識処理について説明する。レーンマーク認識装置１０は、所定の制御サイクル毎に図２に示したフローチャートによる処理を繰り返し実行して、道路に設けられた線状のレーンマーク（白線、黄線等）を認識する。

図２のＳＴＥＰ１及びＳＴＥＰ２は画像取得部２０による処理である。画像取得部２０は、ＳＴＥＰ１で、カラーカメラ１１から出力される道路の映像信号を入力し、ＳＴＥＰ２で、この映像信号のカラー成分（Ｒ値，Ｇ値，Ｂ値）をデモザイキングして、各画素のデータとしてＲ値，Ｇ値，Ｂ値を有するカラー画像を取得する。そして、このカラー画像のデータを、原画像データとして画像メモリ２１に保持する。

続くＳＴＥＰ３〜ＳＴＥＰ４はレーンマーク候補画像抽出部３１による処理である。レーンマーク候補画像抽出部３１は、ＳＴＥＰ３で、原画像データの各画素のカラー成分を輝度に変換する処理を行って、多値画像（グレースケール画像）を生成する。そして、レーンマーク候補画像抽出部３１は、多値画像からエッジ点（輝度が暗から明に急激に変化する正のエッジ点、及び輝度が明から暗に急激に変化する負のエッジ点）を抽出する。

次のＳＴＥＰ４で、レーンマーク候補画像抽出部３１は、抽出したエッジ点のそれぞれに対してハフ変換等の直線抽出処理を行って、レーンマークの候補画像となる直線群を抽出する。このレーンマークの候補画像の抽出は、例えば特開平１１−２１９４３５号公報に記載された従来の手法によるので、ここでは詳細な説明を省略する。

続くＳＴＥＰ５〜ＳＴＥＰ９、及びＳＴＥＰ２０，ＳＴＥＰ３０，ＳＴＥＰ４０は、特定候補画像除外部３２による処理である。ＳＴＥＰ５で、特定候補画像除外部３２は、雨天検知部３５により雨天が検知されているか否かを判断する。そして、雨天が検知されているときＳＴＥＰ６に進み、雨天が検知されていないときにはＳＴＥＰ１０に分岐して処理を終了する。

ＳＴＥＰ６で、特定候補画像除外部３２は、カラーカメラ１１により撮像された時系列画像間で、レーンマークの候補画像の同一性判定処理を行って、各候補画像の水平及び垂直方向の位置の変化量を算出する。

次のＳＴＥＰ７で、特定候補画像除外部３２は、垂直方向（ｙ軸方向）に所定範囲内の間隔をもって延びる複数の候補画像（以下、第１特定候補画像という）が存在するか否かを判断する。なお、この所定範囲は、撮像画像における候補画像の位置に応じた車両の画像部分の幅を想定して設定される。

そして、第１特定候補画像が存在するときはＳＴＥＰ２０に分岐し、特定候補画像除外部３２は、第１特定候補画像をレーンマークの認識対象から除外してＳＴＥＰ８に進む。一方、第１特定候補画像が存在しないときにはＳＴＥＰ８に進む。

ここで、図３（ａ）及び図３（ｂ）を参照して、第１特定候補画像をレーンマークの認識対象から除外することによる効果について説明する。図３（ａ）は、カラーカメラ１１のｔ1時点（時刻ｔ＝ｔ1）での撮像画像から得られた多値画像であり、雨で濡れた路面に、対向車４０のヘッドライトの照明光が垂直方向（ｙ軸方向）に延びて映り込んでいる。

図３（ｂ）は、図３（ａ）の多値画像から抽出されたエッジ点を白で表した２値画像であり、ヘッドライトの映り込みの画像部分が、垂直方向（ｙ軸方向）に延びるレーンマークの候補画像Ｖ1(t1)，Ｖ2(t1)として抽出されている。

そして、垂直方向に延びた近接する候補画像Ｖ1(t1)とＶ2(t1)を、第１特定候補画像として、レーンマークの認識対象から除外することによって、図３（ａ）に示したような雨天状況下で、レーンマーク認識部３３により、対向車のヘッドライトの照明光の映り込みの画像部分に基づいて、レーンマークの位置が誤って認識されることを防止することができる。

次のＳＴＥＰ８で、特定候補画像除外部３２は、ＳＴＥＰ４で抽出したレーンマークの候補画像のうち、赤又は緑色（レーンマークと異なる色）の候補画像（以下、第２特定候補画像という）があるか否かを判断する。そして、第２特定候補画像があるときはＳＴＥＰ３０に分岐し、特定候補画像除外部３２は、第２特定候補画像をレーンマークの認識対象から除外してＳＴＥＰ９に進む。一方、第２特定候補画像がないときにはＳＴＥＰ９に進む。

ここで、赤又は緑色の候補画像（第２特定候補画像）は、信号機ライトの照明光の路面への映り込みの画像部分であると想定される。そこで、第２特定候補画像をレーンマークの認識対象から除外することによって、レーンマーク認識部３３により、信号機ライトの路面の映り込みの画像部分に基づいて、レーンマークの位置が誤って認識されることを防止することができる。

ＳＴＥＰ９で、特定候補画像除外部３２は、カラーカメラ１１により撮像された時系列の撮像画像から、上下方向（ｙ軸方向）に延びる候補画像の変化量が、速度センサ１３による速度検出信号から車速検知部３４により検知された車両１の走行速度に基づいて設定された変化量判定範囲から外れたレーンマークの候補画像（以下、第３特定候補画像という）があるか否かを判断する。

そして、第３特定候補画像があるときはＳＴＥＰ４０に分岐し、特定候補画像除外部３２は、第３特定候補画像をレーンマークの認識対象から除外してＳＴＥＰ１０に進む。一方、第３特定候補画像が存在しないときにはＳＴＥＰ１０に進む。

ここで、図４（ａ）及び図４（ｂ）を参照して、第３特定候補画像をレーンマークの認識対象から除外することによる効果について説明する。図４（ａ）は、図３（ａ）のｔ1の次の制御サイクルでの撮像時点であるｔ2（ｔ＝ｔ2）での、カラーカメラ１１の撮像画像から得られた多値画像であり、対向車４０が車両１に接近している。

図４（ｂ）は図４（ａ）の多値画像から抽出されたエッジ点を白で表した２値画像であり、対向車４０のヘッドライトの照明光の映り込みの画像部分が、垂直方向（ｙ軸方向）に延びるレーンマークの候補画像Ｖ1(t2)，Ｖ2(t2)として抽出されている。

そして、図３（ｂ）と図４（ｂ）間（ｔ1〜ｔ2間）における候補画像Ｖ1の位置変化量は、ｘ軸方向がΔｘ1＝ｘ1(t1)−ｘ1(t2)、ｙ軸方向がΔｙ1＝ｙ1(t1)−ｙ1(t2)となっている。同様に、候補画像Ｖ2の位置変化量は、ｘ軸方向がΔｘ2＝ｘ2(t1)−ｘ2(t2)、ｙ軸方向がΔｙ2＝ｙ2(t1)−ｙ2(t2)となっている。

ここで、真のレーンマークは静止物であるので、その画像部分のｔ1〜ｔ2間での位置変化量は、車両１の走行速度に応じた一定値となる。それに対して、対向車や前走車は移動しているので、そのライト類等の道路への映り込みの画像部分のｔ1〜ｔ2間での変化量は、前記一定値を中心として設定された前記変化量判定範囲から外れたものとなる。

そこで、第３特定候補画像をレーンマークの認識対象から除外することによって、二輪車等の単灯のヘッドライトやテールライトの道路への映り込みの画像部分を、レーンマークの画像部分と誤認識して、レーンマークの位置を誤って認識することを防止することができる。

なお、本実施の形態では、図２に示したフローチャートに示したように、特定候補画像除外部３２により、第１特定候補画像〜第３特定候補画像をレーンマークの認識対象から除外したが、少なくとも第１特定候補画像をレーンマークの認識対象から除外することによって、本発明の効果を得ることができる。

また、本実施の形態では、カラーカメラ１１を用いた例を示したが、赤色又は緑色の第２特定候補画像を認識対象から除外する処理を行わない場合には、白黒カメラを用いてもよい。

また、本実施の形態おいて、雨天検知部３５は、雨滴センサ１２の雨滴検出信号に基づいて雨天を検知したが、通信により天候情報を取得して雨天を検知するようにしてもよい。

１…車両（自車両）、１０…レーンマーク認識装置、１１…カラーカメラ、１２…雨滴センサ、１３…速度センサ、３０…画像処理ユニット、３１…レーンマーク候補画像抽出部、３２…特定候補画像除外部、３３…レーンマーク認識部、３４…車速検知部、３５…雨天検知部。

Claims (4)

1. 車両に搭載されたカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置において、
   前記カメラの撮像画像から、線状のレーンマークの候補画像を抽出するレーンマーク候補画像抽出部と、
   前記レーンマーク候補画像抽出部により抽出されたレーンマークの候補画像のうち、前記車両の上下方向に相当する第１方向に、所定範囲内の間隔をもって延びる複数の特定の候補画像を、レーンマークの認識対象から除外する特定候補画像除外部と、
   前記特定候補画像除外部によりレーンマークの認識対象から除外されなかったレーンマークの候補画像に基づいて、レーンマークを認識するレーンマーク認識部と
   を備えたことを特徴とするレーンマーク認識装置。
2. 請求項１記載のレーンマーク認識装置において、
   前記カメラはカラーカメラであり、
   前記特定候補画像除外部は、前記レーンマーク候補画像抽出部により抽出されたレーンマークの候補画像のうち、色がレーンマークと異なる特定の候補画像をレーンマークの認識対象から除外することを特徴とするレーンマーク認識装置。
3. 請求項１又は請求項２記載のレーンマーク認識装置において、
   前記車両の走行速度を検知する車速検知部を備え、
   前記特定候補画像除外部は、前記カメラによる時系列の撮像画像から、前記第１方向に延びるレーンマークの候補画像の位置変化量を算出し、該位置変化量が、静止物を想定して前記車両の走行速度に基づいて設定された変化量判定範囲から外れた特定の候補画像を、レーンマークの認識対象から除外することを特徴とするレーンマーク認識装置。
4. 請求項１から請求項３のうちいずれか１項記載のレーンマーク認識装置において、
   雨天を検知する雨天検知部を備え、
   前記特定候補画像除外部は、前記雨天検知部により雨天であることが検知されているときに限定して、前記特定の候補画像をレーンマークの認識対象から除外する処理を行うことを特徴とするレーンマーク認識装置。