JP5926080B2 - 走行区画線認識装置およびプログラム - Google Patents

Description

本発明は、車両の運転支援等のために、道路の車道中央線や車道外側線などの走行区画線を認識する装置に関する。

従来、道路上の区画線、いわゆる白線を認識する走行区画線認識装置が、運転支援を行うシステムに用いられている。このようなシステムは、車両周囲の画像を取得する車載カメラを備えており、撮影された画像を走行区画線認識装置にて画像処理し、その画像から区画線を検出する。

運転支援を行うシステムとしては、検出した区画線の情報に基づいて、車両が車線内を適切に走行できるようにステアリング動作を補助するレーンキープシステムや、自車と区画線との左右における距離を計算し、所定の閾値よりも自車が区画線に近づいた場合に、車線を逸脱する可能性が高まったとしてドライバに警報を与える車線逸脱警報システムなどが考えられている。

区画線の位置を精度良く検出するための技術として、例えば、拡張カルマンフィルタを用いて、車両の車線内での横変位や道路の曲率などのパラメータを求める手法（特許文献１参照）が提案されている。

特開２００２−１０９６９５号公報

走行区画線認識装置において、区画線を遠方まで精度良く認識することができれば、自車両と先行車との位置関係を適切に把握することができるため、衝突防止のためのブレーキ自動操作を適切に行うことができ、また、車線の逸脱の予測精度を高めて車線のキープを安定して行うことができるようになる。

上記特許文献１のように撮影画像から直接的にパラメータを取得する手法は、区画線の曲率の推定精度が悪化しがちな点に問題がある。なぜならば、車載カメラで撮影された画像において、特に遠方においては、カーブのため傾いて撮影される区画線と、直線路に対し自車両が斜めに傾いて走行することにより傾いて撮影される区画線と、が微少な違いにしかならないためである。

また、遠方まで区画線認識を行うと先行車や逆光などの外乱の影響を受け易く、ロバスト性が落ちやすい。レーンキープシステムには遠方の区画線認識が望まれるが、逸脱警報システムはレーンキープシステムより高い精度での近傍の区画線認識が望まれる。遠方まで対象として区画線認識を行うとロバスト性が落ち、近傍認識であれば達成可能であった逸脱警報システム向けの目標性能の達成が困難であった。

本発明の目的は、遠方の区画線を高精度に認識する走行区画線認識装置およびプログラムを提供することである。

上述した問題を解決するためになされた請求項１の走行区画線認識装置は、車両周囲の路面の画像を取得する車載カメラで取得した画像を画像処理して区画線のエッジ点を抽出する。そして、区画線の位置、車両進行方向に対する傾き、曲率、および複数の区画線の幅方向の間隔、からなる群から選ばれる１種以上である道路パラメータを算出する。

ここで、第１算出手段は、抽出されたエッジ点のうち車両から所定の距離以内の区画線に対応する近傍エッジ点に基づいて、道路パラメータを算出する。この道路パラメータを近傍道路パラメータとする。

また、第２算出手段は、抽出されたエッジ点のうち車両から所定の距離を超えた位置の区画線に対応する遠方エッジ点と、第１算出手段により算出された近傍道路パラメータと、に基づいて、道路パラメータを算出する。この道路パラメータを遠方道路パラメータとする。

このように構成された走行区画線認識装置においては、車両近傍の方が車両遠方の場合と比較して高い精度で道路パラメータを算出することができるため、精度の高い近傍道路パラメータを用いて遠方道路パラメータを算出することにより、精度が低くなり易い遠方道路パラメータの算出精度を高めることができる。

具体的な近傍道路パラメータの利用方法としては、例えば、車両近傍で取得した区画線の曲率を、車両遠方での区画線の道路パラメータにおける曲率の値を掛け合わせることが考えられる。

また、上記以外に、以下のように近傍道路パラメータを利用することができる。即ち、遠方エッジ点に基づいて算出される道路パラメータを実測値とし、第１算出手段により算出された近傍道路パラメータおよび過去に第２算出手段が算出した遠方道路パラメータに基づいて算出される道路パラメータを予測値として、上述した第２算出手段が、予測値と実測値とに基づいて遠方道路パラメータを算出する。

このように構成された走行区画線認識装置では、高い精度で遠方道路パラメータを算出することができる。
また、第２算出手段が、抽出された遠方エッジ点の中から、第１算出手段により算出された近傍道路パラメータに基づいて予測される区画線が存在する位置に対応する遠方エッジ点を選択して用いて遠方道路パラメータを算出するように構成すれば、遠方道路パラメータを算出する際に用いるエッジ点においてノイズとなるエッジ点を除去することができるため、遠方道路パラメータの精度を高めることができる。

また、第２算出手段が、第１算出手段により算出された近傍道路パラメータを基準値として、遠方道路パラメータが異常値であるか否かを判定するように構成すれば、遠方道路パラメータが異常であるか否かを適切に判断することができ、高い精度で遠方道路パラメータを算出することができる。なお、例えば遠方道路パラメータのいずれかの値が、近傍道路パラメータの値からから所定の閾値以上離れた値であるときに異常と判断することが考えられる。

ところで、第１算出手段は、画像から抽出されたエッジ点を、路面を平面とした場合の座標に変換して近傍道路パラメータを算出するように構成してもよい。このように構成された走行区画線認識装置では、過去に撮影した画像や、異なる位置に配置されたカメラにて撮影した画像から抽出されたエッジ点や道路パラメータの情報を、上記平面座標を基準としたパラメータとして有することができるため、それらの利用が容易になる。そして、例えば新たに取得した画像から道路パラメータを算出する際に、過去のエッジ点などの複数の情報を利用することにより高い精度で近傍道路パラメータを算出することができる。

請求項５に記載の発明は、コンピュータを、請求項１から請求項４のいずれか１項に記載の走行区画線認識装置を構成する各手段として機能させるためのプログラムである。
このようなプログラムにより制御されるコンピュータは、請求項１から請求項４のいずれかに記載の走行区画線認識装置の一部を構成することができる。

なお、上述したプログラムは、コンピュータによる処理に適した命令の順番付けられた列からなるものであって、各種記録媒体や通信回線を介して、走行区画線認識装置やこれを利用するユーザに提供されるものである。

運転支援システムの概略構成を示すブロック図である。 車載カメラの搭載位置を表す図であって、（Ａ）が側面図、（Ｂ）が平面図である。 走行区画線認識装置を機能ブロックで示したブロック図である。 道路パラメータ出力処理の処理手順を示すフローチャートである。 近傍白線認識処理の処理手順を示すフローチャートである。 道路パラメータを説明する図である。 道路パラメータの算出方法を説明する図である。 遠方白線認識処理の処理手順を示すフローチャートである。 拡張カルマンフィルタを用いた道路パラメータ算出手法のイメージ図である。 区画線の推定結果のイメージであって、（Ａ）が実施例の推定結果、（Ｂ）が従来法での推定結果である。

以下に本発明の実施形態を図面と共に説明する。
［実施例］
（１）運転支援システム１の構成
運転支援システム１は、図１に示すように、車両周囲の画像を取得する車載カメラ１０と、車載カメラ１０で取得した車両周囲の画像（以降、この画像を単に撮影画像ともいう）を画像処理して区画線を検出する走行区画線認識装置２０と、車両の走行速度を測定する車速センサ３０と、車両の旋回方向への角速度（即ち、ヨーレート）を測定するヨーレートセンサ４０と、警報・車両制御装置５０と、を備えている。

車載カメラ１０は、ＣＣＤカメラや撮像管を用いたカメラ、または赤外線画像を取得することができる赤外線カメラなどのカメラであって、図２（Ａ），（Ｂ）に示すように、車両３の中央前方側に装着されて、車両前方の路面を含む撮影画像を所定の時間間隔（本実施例では１／１０ｓ）で繰り返し撮影する。この車載カメラ１０により撮影された撮影画像の情報は走行区画線認識装置２０に出力される。

走行区画線認識装置２０は、図１に示すように、ＣＰＵ２１，ＲＯＭ２２，ＲＡＭ２３、図示しないＩ／Ｏおよびこれらを接続するバスラインなどからなる周知のマイクロコンピュータであって、ＲＯＭ２２に記憶されているプログラムに基づいて後述する各処理を実行する。なお走行区画線認識装置２０は、ＣＰＵ，ＲＯＭ，ＲＡＭ等を備える回路を複数組み合わせて構成されていてもよい。

この走行区画線認識装置２０は、図３に示すように、近傍白線認識部２５および遠方白線認識部２６として機能する。これらは車載カメラ１０にて撮影された撮影画像情報と、車速センサ３０およびヨーレートセンサ４０から出力されたセンサ信号とに基づいて、道路パラメータを算出し、警報・車両制御装置５０に出力する。

道路パラメータは、区画線の位置、車両進行方向に対する傾き、曲率、および複数の区画線の幅方向の間隔などを用いたパラメータであって、車両の近傍における近傍道路パラメータと、車両の遠方における遠方道路パラメータとを有するものである。これらの詳細については後述する。

なお、近傍白線認識部２５は本発明におけるエッジ点抽出手段および第１算出手段の一例であり、遠方白線認識部２６はエッジ点抽出手段および第２算出手段の一例である。
警報・車両制御装置５０は走行区画線認識装置２０から出力された道路パラメータに基づいて運転支援のための動作を行う。具体的には、近傍道路パラメータに基づいて車線逸脱警報を行う。この車線逸脱警報とは、区画線の車両からの左右における距離を計算し、いずれかが閾値以下の場合、つまり、車両が区画線に対して閾値で設定される距離よりも近づいた場合に、ドライバに警報を与える制御である。

また、遠方道路パラメータに基づいて操舵支援制御と衝突警報を行う。操舵支援制御とは、車両の進行方向の車線に合せてステアリングの動作を補助する制御であり、衝突警報とは、走行中の車線を先行する他車両との距離が近づいたときにドライバに警報を与える制御である。なお、上記以外の運転支援の動作を行う構成であってもよい。

（２）走行区画線認識装置２０の動作
＜道路パラメータ出力処理＞
走行区画線認識装置２０が実行する道路パラメータ出力処理の処理手順を、図４に示すフローチャートに基づいて説明する。

この道路パラメータ出力処理は、走行区画線認識装置２０を含む運転支援システム１全体に電力が供給されたときに（本実施形態では、イグニッションスイッチがオンされたときに）開始される。

本処理では、まず、近傍白線認識処理を実行し、近傍道路パラメータを算出する（Ｓ１）。近傍白線認識処理の詳細については後述する。
次に、遠方白線認識処理を実行し、遠方道路パラメータを算出する（Ｓ２）。遠方白線認識処理の詳細については後述する。

そして、Ｓ１およびＳ２にて算出した各道路パラメータを警報・車両制御装置５０に出力する（Ｓ３）。その後、本処理はＳ１に戻り、運転支援システム１全体に電力が供給されている間、繰り返し実行される。

＜近傍白線認識処理＞
次に、走行区画線認識装置２０（近傍白線認識部２５）が実行する近傍白線認識処理の処理手順を、図５に示すフローチャートに基づいて説明する。

本処理は、図４に示す道路パラメータ出力処理のＳ１において実行される。
本処理では、まず、近傍エッジ抽出を行う（Ｓ１１）。図３に示すように、車載カメラ１０にて撮影された撮影画像６１は走行区画線認識装置２０に送られる。近傍白線認識部２５では、撮影画像６１における近傍領域６２において公知の画像処理であるエッジ抽出処理によりエッジ点を抽出する。近傍領域６２は、本実施例では車両直前から、前方７ｍまでの範囲を設定している。もちろんその距離は適宜変更することができる。

次に、Ｓ１１にて抽出されたエッジ点をハフ変換して直線を検出し（Ｓ１２）、その検出された直線の中から白線候補の直線を算出する（Ｓ１３）。具体的には、検出された直線の中からハフ変換の投票数が多いものを白線候補とする。

次に、白線候補の絞込みを行う（Ｓ１４）。具体的には、例えば撮影画像６１における白線候補の周囲の路面に対する、白線候補のコントラストの比率が所定の閾値よりも高いものや、白線候補部分の輝度とその周囲の輝度との差が所定の閾値以上に大きいものに白線候補を限定する。他にも、線の太さ、総延長距離など、様々な特徴を考慮して絞り込んでもよい。そして、車両の中心から左右方向に最も近い１つの白線候補を選択する。

次に、Ｓ１４にて絞り込まれた白線候補を構成するエッジ点を、平面座標に変換する（Ｓ１５）。平面座標とは、図３の平面画像６３のように路面を平面と仮定したときの座標である。ここでは事前にキャリブレーションで求めたカメラ位置・姿勢の情報を本に撮影画像上のエッジ点を座標変換する。このようにエッジ点を平面座標上の情報とすることで、過去の撮影画像に基づくエッジ点の座標情報との組み合わせを容易に行うことができるようになる。

次に、Ｓ１５にて算出した平面座標から、近傍道路パラメータを算出する（Ｓ１６）。算出される道路パラメータは、車線位置，車線傾き，車線曲率，車線幅のパラメータである。各パラメータを図６（Ａ）に基づいて説明する。

車線幅とは、車載カメラ１０を基準として車両３の中心と直交する方向に関する左右の白線７０Ａ，７０Ｂの間隔の長さである。
車線位置とは、車両３の中心を基準とした車線幅上の中心である中心位置７１の位置であって、車両３の中心から中心位置７１までの距離で表すことができ、例えば車両３の中心が中心位置７１の左側に位置すればマイナスの値、右側に位置すればプラスの値とすることで、車両３に対する白線の位置を特定することができる。

車線傾きとは、左右の白線７０Ａ，７０Ｂの中央を通過する仮想的な車線中心７２の中心位置７１における接線７３の車両進行方向に対する傾きであって、例えば左側に傾斜すればプラスの値、右側に傾斜すればマイナスの値とすることで角度を特定することができる。また車線曲率とは、車線中心７２の曲率である。

上記各パラメータを算出するためには白線７０Ａ，７０Ｂのパラメータを算出する必要がある。このパラメータの具体的な算出方法を図７に基づいて説明する。
まず、車両周囲のエッジ点７５に基づき、円弧式への最小２乗法による回帰式算出によって、曲率半径Ｒ，円中心座標（Ｘｃ，Ｙｃ）を求める。なおこれらのエッジ点７５はＳ１１にて新たに抽出したエッジ点と過去に抽出したエッジ点（履歴エッジ点）とからなる。図３の平面画像６３において近傍領域６２ａのエッジ点が新たに抽出したエッジ点であり、それ以外は履歴エッジ点である。履歴エッジ点の現在の位置は、車速センサ３０により測定される車両の走行速度およびヨーレートセンサにより測定されるヨーレートに基づいて座標を移動させることにより求められる。

そして、車両３の左右それぞれに存在するエッジ点について曲率半径Ｒおよび円中心座標（Ｘｃ，Ｙｃ）を求めることで白線７０Ａ，７０Ｂの位置、傾き、曲率が得られ、それらに基づいて、各近傍道路パラメータを算出する。

そしてＳ１６の後、本処理は終了する。
＜遠方白線認識処理＞
次に、走行区画線認識装置２０（遠方白線認識部２６）が実行する遠方白線認識処理の処理手順を、図８に示すフローチャートに基づいて説明する。

本処理は、図４に示す道路パラメータ出力処理のＳ２において実行される。
本処理では、まず遠方エッジ抽出を行う（Ｓ２１）。図３に示すように、車載カメラ１０にて撮影された撮影画像６１は遠方白線認識部２６に送られる。遠方白線認識部２６では、撮影画像６１における遠方領域６４において公知の画像処理であるエッジ抽出処理によりエッジ点を抽出する。遠方領域６４は、本実施例では車両前方７ｍ程度の位置から前方約５０ｍ程度までの範囲を設定している。もちろんその距離は適宜変更することができる。

次に、Ｓ２１にて抽出されたエッジ点を、近傍白線認識処理にて求めた近傍道路パラメータを用いて絞りこみ（Ｓ２２）、ノイズである可能性が低い領域に存在するエッジ点のみに処理の対象を限定する。具体的には、近傍道路パラメータに含まれる車線位置、車線幅から、白線が存在すると予想される位置（領域）を限定し、その位置に対応する（その領域に存在する）エッジ点を選択する。他にも、近傍の認識結果から既知である、線の太さやコントラストなど、様々な特徴を考慮して絞り込んでもよい。

次に、Ｓ２２にて絞り込んだエッジ点に基づいて遠方道路パラメータを算出する（Ｓ２３）。本実施例では、拡張カルマンフィルタを用いて継続的に遠方道路パラメータを算出する。算出される道路パラメータは、車線位置，車線傾き，車線曲率，車線幅のパラメータであるが、ピッチング量も同時に算出する。ピッチング量は、図６（Ｂ）に示すように、車両が静止している状態を基準とした画像の上下方向の変位から求められる。

拡張カルマンフィルタを用いた道路パラメータの算出手法のイメージ図を図９に示す。本実施例では、予測値として、近傍白線認識処理にて算出した車線パラメータにおける「車線曲率」の情報を合成することを特徴としている。

Ｓ２２にて絞り込んだエッジ点の撮影画像６１上の座標である今回観測値８１は、所定の観測行列８２により変換されて、瞬時測定値８３（本発明における実測値の一例）として出力される。瞬時測定値８３とは、具体的な車線位置，車線傾き，車線曲率，および車線幅のパラメータである。

そしてその瞬時測定値８３と、予測値８４と、カルマンゲインと、を所定の式にて合成する合成処理８５を行い、本処理の最終的な出力値である今回推定値８６として出力される。推定されるパラメータは車線位置，車線傾き，車線曲率，車線幅，およびピッチング量のパラメータである。

予測値８４は通常、今回推定値８６を所定の遷移行列８７にて変換して算出した値であるが、本実施例では予測値における「車線曲率」のデータを、近傍白線認識処理で取得した近傍道路パラメータ８８の「車線曲率」のデータに置き換えている。あるいは、予測値と近傍道路パラメータそれぞれの「車線曲率」を、７：３，８：２などの所定の割合で掛け合わせてもよい。

その後、車線位置、車線傾き、車線曲率，車線幅について、直前の近傍白線認識処理にて算出した近傍道路パラメータと、今回推定値８６とを比較する。そして近傍道路パラメータを基準値として、今回推定値８６が近傍道路パラメータに対して所定の閾値以上乖離する場合には、区画線が検出できなかったものとし、今回推定値８６の値は出力値としない（図４のＳ３にて出力しない）。

このような処理によって、遠方道路パラメータを算出する。そしてＳ２３の後、本処理を終了する。
（３）効果
本実施例の走行区画線認識装置２０にて区画線（白線）を測定することで、図１０（Ａ）に示すように、エッジ点９０に基づき推定される区画線９１が実際の区画線９２と遠方まで良好に一致している。一方、図１０（Ｂ）は拡張カルマンフィルタの処理にて車線曲率を置き換えない場合（従来の手法）による区画線の推定結果であるが、推定される区画線９３と実際の区画線９４とのずれが遠方においては大きくなっていることが分かる。

拡張カルマンフィルタを用いると、推定値の精度を上げることは可能であるが、画像から取得される情報それ自体の精度が高くなければ精度は落ちる。しかしながら、本実施例の走行区画線認識装置２０では、高精度で算出できる車両近傍の道路パラメータを車両遠方の道路パラメータの算出に用いるため、車両遠方の道路パラメータを高い精度で算出することができる。

また、Ｓ２２において、近傍道路パラメータを用いてエッジ点を処理する領域を限定する処理を行っているため、遠方でのノイズとなり易い先行車や逆光などの影響を小さくすることができる。

また、近傍道路パラメータを基準として遠方道路パラメータが異常値であるか否かを判定するため、異常なパラメータを正確な値であると誤認識して誤った運転支援制御を行ってしまうことを抑制できる。

また、警報・車両制御装置５０は近傍道路パラメータと遠方道路パラメータとをそれぞれ異なる制御に用いているため、各パラメータの特性に合う適切な運転支援を行うことができる。つまり、高い精度が必要であり、かつ遠方までの情報が必須でない車線逸脱警報の制御は近傍道路パラメータを用いることで良好に実行でき、遠方までの情報が求められる操舵支援や衝突警報の制御は遠方道路パラメータを用いることで良好に実行できる。

［変形例］
以上、本発明の実施例について説明したが、本発明は上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。

例えば上記実施例においては、拡張カルマンフィルタを用いて遠方道路パラメータを算出する構成を例示したが、近傍道路パラメータを用いて遠方道路パラメータを算出する手法であれば上記実施例の手法に限定されることなく、様々な手法を採用することができる。例えば拡張カルマンフィルタを用いず、近傍道路パラメータとして出力した曲率等の値のいずれか１種以上を、遠方エッジに基づき算出した値に適宜重み付けをして掛け合わせることで遠方道路パラメータを算出する構成であってもよい。

また上記実施例においては、車線位置，車線傾き，および車線曲率として、車両の左右の白線７０Ａ，７０Ｂの中心車線から求められるパラメータを車線パラメータとして用いる構成を例示したが、白線７０Ａ，７０Ｂのいずれか自身を対象とした区画線の位置（即ち車両から白線までの距離）、区画線の傾き、曲率をパラメータとして用いてもよい。

また上記実施例においては、予測値８４に対して近傍道路パラメータの車両曲率を置き換える構成を例示したが、それ以外のパラメータについて、置き変える、あるいは掛け合わせる構成としてもよい。

また近傍道路パラメータを、遠方道路パラメータの算出に際して、Ｓ２２におけるエッジ点の絞込みや、Ｓ２３における異常値の判定のいずれかのみに用いる構成であってもよい。そのような構成であっても、精度の高い近傍道路パラメータを用いることによる遠方道路パラメータの精度向上を図ることができる。

１…運転支援システム、３…車両、１０…車載カメラ、２０…走行区画線認識装置、２５…近傍白線認識部、２６…遠方白線認識部、３０…車速センサ、４０…ヨーレートセンサ、５０…警報・車両制御装置、６１…撮影画像、６２，６２ａ…近傍領域、６３…平面画像、６４…遠方領域、７０Ａ，７０Ｂ…白線、７１…中心位置、７２…車線中心、７３…接線、７５…エッジ点、８１…今回観測値、８２…観測行列、８３…瞬時測定値、８４…予測値、８５…合成処理、８６…今回推定値、８７…遷移行列、９０…エッジ点、９１，９３…推定される区画線、９２，９４…実際の区画線

Claims (5)

1. 車両周囲の路面の画像を取得する車載カメラで取得した画像を画像処理して区画線のエッジ点を抽出するエッジ点抽出手段と、
   区画線の位置、車両進行方向に対する傾き、曲率、および複数の区画線の幅方向の間隔、からなる群から選ばれる１種以上である道路パラメータであって、前記エッジ点抽出手段により抽出された前記エッジ点のうち前記車両から所定の距離以内の区画線に対応する近傍エッジ点に基づいて算出される前記道路パラメータである近傍道路パラメータを算出する第１算出手段と、
   前記エッジ点抽出手段により抽出された前記エッジ点のうち前記車両から所定の距離を超えた位置の区画線に対応する遠方エッジ点と、前記第１算出手段により算出された前記近傍道路パラメータと、に基づいて算出される前記道路パラメータである遠方道路パラメータを算出する第２算出手段と、を有し、
   前記第２算出手段は、予測値と実測値とに基づいて前記遠方道路パラメータを算出するものであり、
   前記実測値とは、前記エッジ点抽出手段が抽出した前記遠方エッジ点に基づいて算出される前記道路パラメータであり、
   前記予測値とは、第１算出手段により算出された前記近傍道路パラメータおよび過去に第２算出手段が算出した前記遠方道路パラメータに基づいて算出される前記道路パラメータである
   ことを特徴とする走行区画線認識装置。
2. 前記第１算出手段は、前記エッジ点抽出手段により抽出された前記エッジ点を、路面を平面とした場合の座標に変換して前記近傍道路パラメータを算出する
   ことを特徴とする請求項１に記載の走行区画線認識装置。
3. 前記第２算出手段は、前記エッジ点抽出手段により抽出された前記遠方エッジ点の中から、前記第１算出手段により算出された前記近傍道路パラメータに基づいて予測される区画線が存在する位置に対応する前記遠方エッジ点を選択して用いて前記遠方道路パラメータを算出する
   ことを特徴とする請求項１又は請求項２のいずれか１項に記載の走行区画線認識装置。
4. 前記第２算出手段は、前記第１算出手段により算出された前記近傍道路パラメータを基準値として、前記遠方道路パラメータが異常値であるか否かを判定する
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の走行区画線認識装置。
5. コンピュータを、請求項１から請求項４のいずれか１項に記載の走行区画線認識装置を構成する各手段として機能させるためのプログラム。

Images