JP4437714B2 - 車線認識画像処理装置 - Google Patents

Description

この発明は、車両に搭載されて路面上のレーンマーキングの撮影画像に基づいて車線を認識する車線認識画像処理装置であって、自動車の予防安全を目的とした車線逸脱警報（ＬＤＷＳ：Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ Ｓｙｓｔｅｍ）や運転者の負担軽減を目的としたレーンキープシステム（ＬＫＳ：Ｌａｎｅ Ｋｅｅｐ Ｓｙｓｔｅｍ）などの車両制御システムに適用される車線認識画像処理装置に関し、特に車線内における車両横位置情報を提供することにより、認識結果の信頼性を向上させた技術に関するものである。

従来の車線認識画像処理装置としては、画像フィルタを用いたものがある（たとえば、特許文献１参照）。
この種の画像フィルタは、濃淡画像を対象として、周辺よりも明るく且つ一定の幅以下の領域を、レーンマーキングとして抽出することにより、比較的簡単な回路で構成されている。

特許文献１による処理内容は、１次元画像フィルタ処理と称されるもので、注目画素の濃淡値ｇ（ｈ）と、探索走査方向の前後にカーネルサイズΔｈだけ離れた画素の濃淡値ｇ（ｈ−Δｈ）、ｇ（ｈ＋Δｈ）とを参照し、｛ｇ（ｈ）−ｇ（ｈ−Δｈ）｝と｛ｇ（ｈ）−ｇ（ｈ＋Δｈ）｝とにより算出される値のうち、小さい方の値をフィルタ出力値としている。

特開平１０−３２０５４９号公報

従来の車線認識画像処理装置では、カメラを車両進行方向に向けて設置して車両前方を撮影する場合、画像上の物体が消失点に向かって線形的に小さく映ることから、１次元画像フィルタの注目画素近傍を参照する幅（カーネルサイズΔｈ）が一定の場合には、遠方になるほど抽出領域の幅は線形的に大きくなる。したがって、物理量として一定幅のレーンマーキングを対象とした場合には、遠方ほどレーンマーキング以外の誤検出対象が含まれる可能性が高くなり、道路形状を把握するために必要となる遠方のレーンマーキング認識結果の信頼性が低下するという課題があった。

また、路面上の領域に高輝度のノイズ成分を含む道路画像に対して、レーンマーキング抽出用の画像フィルタを適用すると、ノイズ部分をレーンマーキングとして誤検出する可能性がある。特に、かすれたレーンマーキングを抽出するために２値化閾値を低減制御している場合や、間欠レーンマーキングの不連続部などで、探索範囲内にレーンマーキングが存在せずに高輝度ノイズ成分のみが存在する場合には、ノイズを誤検出する可能性が非常に高いという課題があった。

また、撮影手段としてＣＭＯＳ撮像素子を用いた場合には、ＣＣＤ撮像素子に比べて、ＣＭＯＳ撮像素子は、周辺回路の小型化および低コスト化に対して優位性があるものの、Ｓ／Ｎ比が低下するので、撮影画像中にノイズが含まれる可能性が高い。したがって、ＣＭＯＳ撮像画像に対して、画像フィルタの２値化閾値を通常通り制御すると、ノイズ成分をフィルタパスさせてしまうことから、レーンマーキングの認識性能を低下させてしまうという課題があった。

また、近年では、ダイナミックレンジの広いＣＭＯＳ撮像素子も開発されつつあり、間欠的な高輝度部分も視認可能になっているが、広ダイナミックレンジ化された画像を複数階調（たとえば、２５６階調）の濃淡画像で表現すると、画像全体が低コントラストになるので、通常の２値化閾値の制御では、レーンマーキング抽出が困難な場合が多いという課題があった。

また、従来の車線認識画像処理装置では、１つの画像に対して１つの２値化閾値を用いることにより、レーンマーキングを抽出していたが、一般に、画像フィルタの出力結果において、近傍ではコントラストが高く、遠方ではコントラストが低いので、１つの２値化閾値でレーンマーキングを抽出しようとすると、遠方のレーンマーキングを抽出することができないという課題があった。

また、単純に、遠方にいくほど２値化閾値を低減制御しても、道路周辺環境によっては、道路構造物の陰などにより、遠方または近傍でコントラストが大きく異なる状況も発生するので、簡単に対応することができないという課題があった。

また、ウィンドウ設定において、レーンマーキングを含むように位置を設定し、ウィンドウサイズを限定するために、前回のレーンマーキング数学的モデル式から算出した位置を基準に今回のウィンドウを設定するのが妥当であるが、抽出された候補点数が少なく、レーンマーキング数学的モデル式が導出できない状態（すなわち、レーンマーキングの見失い状態）においては、設定基準位置が存在しないので、画面全体から探索できるようウィンドウを広く設定する必要がある。このとき、探索範囲が広いことから、処理時間がかかるので、見失い状態になってからレーンマーキング認識状態に復帰するまでに時間がかかり、車線認識画像処理装置としての性能を大きく下げるという課題があった。

さらに、車線認識画像処理において１次元画像フィルタを用い、レーンマーキングの特徴的な（一定幅を有し、且つ路面よりも輝度が高い）トップハット（Ｔｏｐ−Ｈａｔ）形状を抽出することが提案されているが、広いダイナミックレンジの撮像素子による低コントラストの画像や、低Ｓ／Ｎ比の画像に対しては、レーンマーキング以外の対象物を誤検出する可能性があるうえ、一旦、レーンマーキングを見失うと、次に認識復帰するまでに時間がかかるという課題があった。

この発明は、フィルタの近傍輝度参照位置および２値化閾値を前方距離に応じて設定することにより、トップハット１次元画像フィルタの基本原理を変えずに、条件を付加することで誤検出を低減し、レーンマーキング認識性能を向上させた車線認識画像処理装置を得ることを目的とする。

また、画像のＳ／Ｎ比に応じて２値化閾値の下限値を設定し、閾値の下がり過ぎに起因した誤検出を低減するとともに、探索領域設定用のウィンドウを近傍側から遠方側へ順に設定して、１つ手前の抽出結果に基づいて次のウィンドウ位置を設定することにより、ウィンドウ設定位置をレーンマーキング上に確実に設定し、同時に、ウィンドウサイズを限定することにより、レーンマーキング見失い状態からの復帰時間を短縮することのできる車線認識画像処理装置を得ることを目的とする。

この発明による車線認識画像処理装置は、車両に搭載されて路面上のレーンマーキングの撮影画像に基づいて車線を認識する車線認識画像処理装置であって、車両の前方を撮影する撮影手段と、撮影手段により得られた画像を一時記憶する画像記憶手段と、画像記憶手段に記憶された画像に対してレーンマーキングの探索範囲をウィンドウにより設定するウィンドウ設定手段と、ウィンドウ設定手段により設定された探索範囲からレーンマーキングの候補点を抽出する候補点抽出手段と、候補点抽出手段により抽出された候補点の集合を数学的モデル式で近似して、レーンマーキング数学的モデル式を導出する車線認識手段と、を備え、候補点抽出手段は、車両からの前方距離に応じてカーネルサイズΔｈを設定するカーネルサイズ設定手段と、注目画素の濃淡値ｇ（ｈ）と、探索走査方向の前後にカーネルサイズΔｈだけ離れた画素の濃淡値ｇ（ｈ−Δｈ）、ｇ（ｈ＋Δｈ）と、を用いた以下の２つの式、｛ｇ（ｈ）−ｇ（ｈ−Δｈ）｝、｛ｇ（ｈ）−ｇ（ｈ＋Δｈ）｝から得られる値のうち、小さい方の値をフィルタ処理結果として出力する１次元画像フィルタ処理手段と、フィルタ処理結果を閾値により２値化する２値化手段と、を含むものである。

この発明によれば、トップハット１次元画像フィルタの基本原理は変えず、条件を付加することで誤検出を低減し、レーンマーキング認識性能を向上させることができる。

実施の形態１．
図１はこの発明の実施の形態１に係る車線認識画像処理装置を示すブロック図であり、各構成要素を処理手順に対応させて示している。
また、図２はこの発明の実施の形態１に係る車線認識画像処理装置を搭載した車両２を示す外観図である。
図２において、撮影手段を構成するカメラ１は、車両２の前方上部に設置されており、車両２の前方を撮影するようになっている。

図１において、車線認識画像処理装置は、車両２（図２参照）に搭載されて路面上のレーンマーキングの撮影画像に基づいて車線を認識するために、カメラ１を含む撮影手段１０１と、撮影手段１０１により得られた画像を一時記憶する画像記憶手段１０２と、画像記憶手段１０２に記憶された画像に対してレーンマーキングの探索範囲をウィンドウＷにより設定するウィンドウ設定手段１０３と、ウィンドウ設定手段１０３により設定された探索範囲からレーンマーキングの候補点を抽出する候補点抽出手段１０４と、候補点抽出手段１０４により抽出された候補点の集合を数学的モデル式で近似して、レーンマーキング数学的モデル式を導出する車線認識手段１０５と、を備えている。

ウィンドウ設定手段１０３は、モデル式基準手段（図示せず）を有しており、レーンマーキング数学的モデル式からウィンドウＷの基準位置を設定するようになっている。
候補点抽出手段１０４は、カーネルサイズ設定手段１４１ａを含む１次元画像フィルタ処理手段１４１と、１次元画像フィルタ処理手段１４１のフィルタ処理結果Ｅを閾値により２値化する２値化手段１４２と、により構成されている。
カーネルサイズ設定手段１４１ａは、車両２からの前方距離に応じて、カーネルサイズΔｈを設定する。

１次元画像フィルタ処理手段１４１は、トップハットフィルタ（Ｔｏｐ−Ｈａｔ Ｆｉｌｔｅｒ）により構成され、注目画素の濃淡値ｇ（ｈ）と、探索走査方向の前後にカーネルサイズΔｈだけ離れた画素の濃淡値ｇ（ｈ−Δｈ）、ｇ（ｈ＋Δｈ）と、を用いた２つの式、｛ｇ（ｈ）−ｇ（ｈ−Δｈ）｝および｛ｇ（ｈ）−ｇ（ｈ＋Δｈ）｝から得られる値のうち、小さい方の値をフィルタ処理結果Ｅとして出力する。

２値化手段１４２は、１次元画像フィルタ処理手段１４１の探索走査線ごとに閾値（後述する）を設定する閾値複数設定手段１４２ａと、フィルタ処理結果ＥのＳ／Ｎ比Ｒｓを演算するＳ／Ｎ比演算手段１４２ｂと、Ｓ／Ｎ比Ｒｓにより閾値の下限値を設定する閾値下限値設定手段１４２ｃと、により構成されている。

Ｓ／Ｎ比演算手段１４２ｂは、フィルタ処理結果Ｅのうち、規定値未満の領域幅を有するフィルタパス領域の数をノイズ領域数Ｍｎとしてカウントし、フィルタ処理結果Ｅのうち、規定値以上の領域幅を有するフィルタパス領域の数を信号領域数Ｍｓとしてカウントし、ノイズ領域数Ｍｎおよび信号領域数Ｍｓに基づいてＳ／Ｎ比Ｒｓを演算する。

図１に示した車線認識画像処理装置の基本的なハードウェア構成は、従来装置と共通であるが、具体的な処理内容として、カーネルサイズ設定手段１４１ａと、閾値複数設定手段１４２ａと、Ｓ／Ｎ比演算手段１４２ｂと、閾値下限値設定手段１４２ｃと、を備えた点が異なる。

次に、図３〜図６を参照しながら、図１および図２に示したこの発明の実施の形態１による具体的な処理動作について説明する。
図３は車両２の前方道路を撮影したカメラ１から出力される前方画像の一例を示す説明図であり、左右のレーンマーキング３、４が撮影された状態を示している。

図４は前方画像における各レーンマーキング３、４の候補点Ｐ１、Ｐ２を示す説明図であり、レーンマーキング探索ライン（以下、単に「探索ライン」という）Ｖｎ上のフィルタ処理結果Ｅ（トップハットフィルタの出力）と、探索ラインＶｎ上の左右のウィンドウＷ１、Ｗ２と、候補点Ｐ１、Ｐ２とを関連させて示している。

図５は前方画像における複数の候補点Ｐ１、Ｐ２を示す説明図であり、複数の探索ラインＶｎ（ｎ＝０、１、…、Ｎ−１）上の候補点Ｐ１、Ｐ２の集合がレーンマーキング３、４に沿って検出された例を示している。また、図５において、矢印Ｈは水平方向、矢印Ｖは垂直方向を示している。
図６は図５内の候補点Ｐ１、Ｐ２の集合を近似した２次曲線（レーンマーキング数学的モデル式）７、８を示す説明図であり、左右のレーンマーキング３、４に沿って近似された２次曲線７、８を前方画像に重畳して示している。

まず、車両２に搭載されたカメラ１からなる撮影手段１０１は、車両２の前方を撮影し、撮影画像（図３参照）を取得する。このとき、車両２が走行する車線の左右のレーンマーキング３、４は、水平画角内に収まっているものとする。
なお、カメラ１に搭載される撮像素子は、ＣＭＯＳ撮像素子とする。

画像記憶手段１０２は、図３の撮影画像をメモリに取り込む。
続いて、ウィンドウ設定手段１０３は、図４に示すように、探索走査線を構成する探索ラインＶｎ（ｎ＝０、１、…、Ｎ−１）上で、左右の候補点Ｐ１、Ｐ２を探索するための水平方向の走査範囲を、左右のウィンドウＷ１、Ｗ２（破線枠参照）により設定する。

左右のウィンドウＷ１、Ｗ２は、前回の画像処理におけるレーンマーキング数学的モデル式により算出した位置を設定基準位置として設定される。
また、各ウィンドウＷ１、Ｗ２のサイズは、画像処理を行う画像において前回画像と今回画像との時間差で生じるレーンマーキング３、４の最大移動量に合わせて設定される。すなわち、画像処理の周期が長いほど、ウィンドウＷ１、Ｗ２のサイズは大きくなる。

次に、候補点抽出手段１０４は、ウィンドウＷ１、Ｗ２（図４参照）内を水平方向に走査し、画像記憶手段１０２（メモリ）から読み出した原画像輝度分布Ｄに対して、１次元画像フィルタ処理手段１４１によるフィルタ処理を実行し、フィルタ処理結果Ｅを生成して２値化手段１４２に入力する。

このとき、１次元画像フィルタ処理手段（トップハットフィルタ）１４１は、前述のように、注目画素の濃淡値ｇ（ｈ）と、注目画素の探索走査方向の前後にカーネルサイズΔｈだけ離れた画素の濃淡値ｇ（ｈ−Δｈ）、ｇ（ｈ＋Δｈ）とを参照して、注目画素と前後画素との各濃淡値の差分｛ｇ（ｈ）−ｇ（ｈ−Δｈ）｝、｛ｇ（ｈ）−ｇ（ｈ＋Δｈ）｝のうち、小さい方の値をフィルタ処理結果Ｅとして出力する。
また、カーネルサイズ設定手段１４１ａは、車両からの前方距離に応じて、カーネルサイズΔｈを設定する。

２値化手段１４２は、１次元画像フィルタ処理手段１４１で得られたフィルタ処理結果Ｅを閾値により２値化し、候補点Ｐ１、Ｐ２を検出して車線認識手段１０５に入力する。
上記一連の処理は、Ｎ本分設定された探索ラインＶ０〜ＶＮ−１（図５参照）に対して実行され、レーンマーキング３、４に沿った候補点Ｐ１、Ｐ２の集合が取得される。

最後に、車線認識手段１０５は、レーンマーキング３、４の候補点Ｐ１、Ｐ２の集合を数学的モデル式（たとえば、２次式）で近似し、車線を表すレーンマーキング数学的モデル式７、８（図６参照）を取得する。
以上により、図１に示した車線認識画像処理装置による処理動作が終了する。

次に、図７〜図１０を参照しながら、１次元画像フィルタ処理手段１４１による詳細な処理動作について説明する。
ここでは、前述のように、１次元画像フィルタ処理手段１４１として、１次元トップハットフィルタ（以下、「Ｔ−Ｈフィルタ」と略称する）が用いられる。

図７は原画像輝度分布Ｄに対するフィルタ処理結果Ｅ（Ｔ−Ｈフィルタ出力）を示す説明図であり、横軸は水平座標、縦軸は輝度値（０〜２５５）を示している。
図７においては、原画像輝度分布Ｄ上の注目点Ｐｏと、カーネルサイズΔｈだけ離れた前後の参照点Ｐａ、Ｐｂとの各輝度差Δｇ１、Δｇ２が示されている。

ここで、注目点Ｐｏおよび参照点Ｐａ、Ｐｂの各輝度値を、ｇＰｏ、ｇＰａ、ｇＰｂとすれば、各輝度差Δｇ１、Δｇ２は、それぞれ、以下のように表される。

Δｇ１＝ｇＰｏ−ｇＰａ
Δｇ２＝ｇＰｏ−ｇＰｂ

なお、注目点Ｐｏの輝度値ｇＰｏは、注目画素の濃淡値ｇ（ｈ）に対応し、参照点Ｐａ、Ｐｂの輝度値ｇＰａ、ｇＰｂは、探索走査方向の前後にカーネルサイズΔｈだけ離れた画素の濃淡値ｇ（ｈ−Δｈ）、ｇ（ｈ＋Δｈ）に対応する。

図８は１次元画像フィルタ処理手段１４１によるＴ−Ｈフィルタ処理を示すフローチャートである。
図９は候補点Ｐ１、Ｐ２の検出処理を示す説明図であり、フィルタ処理結果Ｅ（Ｔ−Ｈフィルタ出力結果）を閾値により２値化して検出する状態を示している。
図１０はカーネルサイズ設定手段１４１ａの処理を示す説明図であり、Ｔ−Ｈフィルタ処理用のカーネルサイズΔｈを、前方距離に応じて可変設定した状態を示している。

まず、図７に示すように、１次元画像フィルタ処理手段１４１は、２５６階調（輝度値０〜２５５）で明るさが表される原画像輝度分布Ｄに対し、注目点Ｐｏ、参照点Ｐａ、Ｐｂを設定する。
ここで、注目点Ｐｏと参照点Ｐａとの距離、および、注目点Ｐｏと参照点Ｐｂとの距離は、それぞれカーネルサイズΔｈと称され、図１０のように、前方距離に応じてカーネルサイズ設定手段１４１ａにより設定される。フィルタパスさせる領域幅（後述する）は、カーネルサイズΔｈによって設定される。

カーネルサイズ設定手段１４１ａは、具体的には、図１０のように、探索ラインＶｎごとに（すなわち、前方距離に応じて）個別にカーネルサイズΔｈを設定する。
これにより、カーネルサイズΔｈは、上面視で前方距離に関わらず一定となるように設定される。

このようなカーネルサイズΔｈの設定処理は、撮影物体が消失点Ｐｚに向かって線形的に小さくなることを利用している。したがって、最も近傍のカーネルサイズΔｈがレーンマーキング３、４の幅相当に設定されていれば、各探索ラインＶｎ上のカーネルサイズΔｈは、前方距離に応じた線形補間によって順次に算出される。

図８に示す１次元Ｔ−Ｈフィルタ処理において、まず、図７のように設定された注目点Ｐｏと参照点Ｐａとの輝度差Δｇ１と、注目点Ｐｏと参照点Ｐｂとの輝度差Δｇ２とを比較し、Δｇ１＜Δｇ２の関係を満たすか否かを判定する（ステップＳ１０）。

ステップＳ１０において、Δｇ１＜Δｇ２（すなわち、Ｙｅｓ）と判定されれば、続いて、輝度差Δｇ１（＝ｇＰｏ−ｇＰａ）が正の値であるか否かを判定する（ステップＳ１１）。
一方、ステップＳ１０において、Δｇ１≧Δｇ２（すなわち、Ｎｏ）と判定されれば、続いて、輝度差Δｇ２（＝ｇＰｏ−ｇＰｂ）が正の値であるか否かを判定する（ステップＳ１２）。

ステップＳ１１において、Δｇ１＞０（すなわち、Ｙｅｓ）と判定されれば、フィルタ処理結果Ｅ（Ｔ−Ｈフィルタ出力値）として輝度差Δｇ１を出力し（ステップＳ１３）、図８の処理ルーチンを終了する。

また、ステップＳ１２において、Δｇ２＞０（すなわち、Ｙｅｓ）と判定されれば、フィルタ処理結果Ｅとして輝度差Δｇ２を出力し（ステップＳ１４）、図８の処理ルーチンを終了する。

一方、ステップＳ１１において、Δｇ１≦０（すなわち、Ｎｏ）と判定されるか、または、ステップＳ１２において、Δｇ２≦０（すなわち、Ｎｏ）と判定されれば、フィルタ処理結果Ｅを「０」に設定して（ステップＳ１５）、図８の処理ルーチンを終了する。

このように、輝度差Δｇ１、Δｇ２のうちの小さい方の値を選択して、フィルタ処理結果Ｅとして出力する。
たとえば、図７に示した原画像輝度分布Ｄの場合には、Δｇ１＜Δｇ２であるため、ステップＳ１０からステップＳ１１に進み、Δｇ１＞０であれば、ステップＳ１３に進み、輝度差Δｇ１がフィルタ処理結果Ｅ（Ｔ−Ｈフィルタ出力値）となる。

なお、Δｇ１≦０であれば、ステップＳ１５に進み、フィルタ処理結果Ｅ（Ｔ−Ｈフィルタ出力値）は「０」となる。
また、ステップＳ１０からステップＳ１２に進んだ（輝度差Δｇ２が選択された）場合も、輝度差Δｇ２の正負が判定され、ステップＳ１４またはステップＳ１５でフィルタ処理結果Ｅ（Ｔ−Ｈフィルタ出力値）が決定される。

上記一連の処理Ｓ１０〜Ｓ１５は、各探索ラインＶｎごとのウィンドウ内の注目点Ｐｏに対して実行され、これにより、図９に示すように、原画像輝度分布Ｄに対するフィルタ処理結果Ｅ（破線参照）が得られる。
ただし、図９においては、説明を簡略化するため、１ラインのフィルタ処理結果のみが示されている。

以下、２値化手段１４２は、２値化（Ｔ−Ｈフィルタ）閾値（以下、単に「閾値」という）Ｔｈを用いてフィルタ処理結果Ｅを２値化し、候補点Ｐ１、Ｐ２を求める。
閾値Ｔｈは、図９に示すように、フィルタ処理結果Ｅに対して設定され、左右の候補点Ｐ１、Ｐ２の検出に寄与する。

なお、図９においては、閾値Ｔｈによって抽出される領域に対し、左右の候補点Ｐ１、Ｐ２の位置を、いずれも車線領域の内側に設定したが、閾値Ｔｈによって抽出される領域の中点に設定してもよい。

ここで、図１１および図１２を参照しながら、２値化手段１４２内の閾値複数設定手段１４２ａによる閾値Ｔｈの設定処理について説明する。
図１１は近傍および遠方のフィルタ処理結果（Ｔ−Ｈフィルタ出力結果）を示す説明図であり、近傍のフィルタ処理結果Ｅａに比べて遠方のフィルタ処理結果Ｅｂのコントラストが低下する状態を示している。

図１２は近傍および遠方のフィルタ処理結果に対して設定される閾値を示す説明図であり、近傍および遠方のフィルタ処理結果Ｅａ、Ｅｂに対して独立した閾値Ｔｈａ、Ｔｈｂを適用することにより、近傍および遠方の両方の候補点が検出可能となる状態を示している。

カーネルサイズΔｈの設定（図１０参照）と同様に、２値化手段１４２内の閾値複数設定手段１４２ａは、閾値Ｔｈを探索ラインＶｎごとに個別に設定する。
たとえば、図１１に示すように、近傍および遠方の探索ラインＶａ、Ｖｂ上で、それぞれ近傍および遠方のフィルタ処理結果Ｅａ、Ｅｂが得られているものとする。
ここで、近傍の探索ラインＶａに注目すると、閾値Ｔｈａは、近傍のフィルタ処理結果Ｅａから最大値Ｅａ（ｍａｘ）および平均値Ｅａ（ｍｅａｎ）を算出し、以下の式（１）のように設定される。

Ｔｈａ＝Ｅａ（ｍａｘ）−Ｅａ（ｍｅａｎ） ・・・（１）

遠方の探索ラインＶｂにおける閾値Ｔｈｂも同様に設定される。以下、同様にして、各探索ラインＶｎごとに独立した閾値Ｔｈが設定される。
この結果、図１２に示すように、近傍のフィルタ処理結果Ｅａに比べて、コントラストが低下する遠方のフィルタ処理結果Ｅｂに対して、適正な閾値Ｔｈｂ（＜Ｔｈａ）が設定される。

このように、フィルタ処理結果Ｅに対し、探索ラインＶｎごとに（前方距離に応じて）独立して、カーネルサイズΔｈに基づく輝度参照位置（参照点Ｐａ、Ｐｂ）と閾値Ｔｈとを設定することにより、前方距離に関わらず、一定幅以上の領域を信号領域としてフィルタパスさせることができ、一定幅をもつレーンマーキング３、４を抽出するのに有効な画像フィルタ処理を実現することができる。

したがって、１次元画像（トップハット）フィルタ処理手段１４１の基本原理を変えずに、上記条件を付加することのみで、誤検出を低減し、レーンマーキング３、４の認識性能を向上させることができる。
特に、低コントラストとなる遠方のフィルタ処理結果Ｅｂ（図１１、図１２参照）における誤検出を低減することで、道路形状を把握するために必要となる遠方のレーンマーキング認識結果の信頼性を向上させることができる。

すなわち、閾値複数設定手段１４２ｃにおいて、１次元画像フィルタ処理手段１４１の探索ライン（探索走査線）Ｖｎごとに閾値Ｔｈを設定し、図１２に示すように、近傍に比べてコントラストの低下する遠方に対して適正な閾値Ｔｈｂ（＜Ｔｈａ）を設定することにより、遠方のレーンマーキング認識性能を向上させることができる。
また、探索ラインＶｎごとに閾値Ｔｈを設定することにより、道路構造物の陰などにより、逆に近傍のコントラストが低下する状態にも対応できる。

また、レーンマーキング数学的モデル式を用いて、ウィンドウＷを探索ラインＶｎごとに（近傍側から遠方側に向けて）順に設定し、１つ手前の抽出結果に基づいて次のウィンドウ位置を設定することにより、ウィンドウＷの設定位置をレーンマーキング３、４上に確実に設定することができる。また、ウィンドウＷのサイズを限定することにより、レーンマーキング３、４の見失い状態からの復帰時間を短縮することができる。

さらに、１次元画像フィルタ処理手段１４１および２値化手段１４２における処理動作のダイナミックレンジが広いことから、画像全体のコントラストが低下する広ダイナミックレンジのＣＭＯＳ撮像素子を用いた画像に対しても、２値化閾値を適正に設定することができる。

次に、図１３を参照しながら、Ｓ／Ｎ比演算手段１４２ｂによるＳ／Ｎ比Ｒｓの演算処理について説明する。
図１３はフィルタ処理結果Ｅに対する信号領域およびノイズ領域の判定処理を示す説明図であり、横軸は水平座標、縦軸はフィルタ処理結果Ｅの出力レベルを示している。

Ｓ／Ｎ比演算手段１４２ｂは、図１３に示すように、信号領域とともにノイズ領域２０を検出して、各領域数からＳ／Ｎ比Ｒｓを算出し、Ｓ／Ｎ比Ｒｓを閾値Ｔｈの設定条件に用いる。

図１３において、まず、Ｓ／Ｎ比演算手段１４２ｂは、フィルタ処理結果Ｅに対して閾値Ｔｈを用いることにより、フィルタパス領域（斜線部参照）を抽出する。
続いて、各フィルタパス領域の幅ｄを規定値と比較し、規定値以上の領域幅ｄを有するものは信号領域と判定し、規定値未満の領域幅を有するものはノイズ領域２０と判定する。

また、信号領域の数Ｍｓおよびノイズ領域２０の数Ｍｎをそれぞれカウントし、信号領域数Ｍｓおよびノイズ領域数Ｍｎを用いた以下の式（２）による演算値を、Ｓ／Ｎ比Ｒｓとして定義する。

Ｒｓ＝Ｍｓ／（Ｍｓ＋Ｍｎ）×１００［％］ ・・・（２）

次に、閾値下限値設定手段１４２ｃによる閾値Ｔｈの下限値の設定処理について説明する。
閾値下限値設定手段１４２ｃは、Ｓ／Ｎ比演算手段１４２ｂで算出されたＳ／Ｎ比Ｒｓに基づいて、閾値Ｔｈの下限値を設定する。具体的には、Ｓ／Ｎ比Ｒｓを一定に保つように閾値Ｔｈを制御する。
たとえば、Ｓ／Ｎ比Ｒｓの許容下限値を７０％とした場合、Ｓ／Ｎ比Ｒｓが７０％以上を満たしたときの閾値Ｔｈ（７０％）を常に記憶しておき、Ｓ／Ｎ比Ｒｓが７０％未満になったときに、最新の（最後に記憶した）閾値Ｔｈ（７０％）を採用する、といった制御処理が適用される。

このように、閾値下限値設定手段１４２ｃにおいて、画像のＳ／Ｎ比Ｒｓに基づいて閾値Ｔｈの下限値を設定し、閾値Ｔｈの下がり過ぎに起因する誤検出を低減することにより、ノイズの多い画像に対しても、閾値Ｔｈの下げ過ぎに起因する誤検出を大幅に低減することができる。
特に、図１４のように、間欠的なレーンマーキング３の車線走行時において、ウィンドウＷ１内にレーンマーキング３が存在しない状態に対して、有効に誤検出を低減することができる。

また、撮影手段１０１としてＣＭＯＳ撮像素子を用いた場合には、ＣＣＤ撮像素子を用いた場合と比べて撮影画像のＳ／Ｎ比が低下するが、ＣＭＯＳ撮像素子を用いた場合でも、Ｓ／Ｎ比Ｐｓに応じて閾値Ｔｈの下限値を設定することにより、ＣＣＤ撮像素子を用いた場合と同等のレーンマーキング３、４の認識性能を実現することができる。

実施の形態２．
なお、上記実施の形態１では、ウィンドウの設定においてモデル式基準手段のみを用いたが、図１５のように、ウィンドウ設定手段１０３Ａ内の基準位置設定手段１３１に候補点基準手段１３１ｂおよび消失点基準手段１３１ｃを追加するとともに、消失点学習手段１０６を設け、探索ラインＶｎごとにウィンドウＷを最適に設定してもよい。

図１５はこの発明の実施の形態２に係る車線認識画像処理装置を処理手順に対応させて示すブロック図であり、前述（図１参照）と同様のものについては、前述と同一符号を付して詳述を省略する。

図１５において、前述（図１）と異なる点は、ウィンドウ設定手段１０３内の基準位置設定手段１３１に、モデル式基準手段１３１ａのみならず、候補点基準手段１３１ｂおよび消失点基準手段１３１ｃを設けたこととともに、消失点基準手段１３１ｃに関連して、消失点学習手段１０６を設けたことにある。

基準位置設定手段１３１は、モデル式基準手段１３１ａと、候補点基準手段１３１ｂと、消失点基準手段１３１ｃとを含み、レーンマーキング３、４を探索するためのウィンドウＷの基準位置を、モデル式基準手段１３１ａ、候補点基準手段１３１ｂおよび消失点基準手段１３１ｃのいずれかを選択して設定する。
ウィンドウ設定手段１０３Ａ内のモデル式基準手段１３１ａは、前述のレーンマーキング数学的モデル式から、探索ラインＶｎ上のウィンドウＷの基準位置を設定する。

図１６は候補点基準手段１３１ｂの処理を示す説明図であり、便宜的に左側のレーンマーキング３のみに注目して、左側のウィンドウＷ１に対して基準位置を設定する場合を示している。

図１６において、基準位置設定手段１３１内の候補点基準手段１３１ｂは、２点以上の候補点Ｐｑ、Ｐｒが存在する場合に、近傍の２点の候補点Ｐｑ、Ｐｒを結ぶ直線Ｌｑｒに基づいて、次の探索ラインＶｎにおけるウィンドウＷ１を設定する。
すなわち、直線Ｌｑｒと探索ラインＶｎとの交点Ｐｘを基準として、ウィンドウＷ１を設定する。

図１７は消失点基準手段１３１ｃの処理を示す説明図であり、図１６の場合と同様に、左側のレーンマーキング３のみに注目して、左側のウィンドウＷ１に対して基準位置を設定する場合を示している。

図１７において、ウィンドウ設定手段１０３Ａ内の消失点基準手段１３１ｃは、１点のみの候補点Ｐｑが存在する場合に、近傍の候補点Ｐｑと消失点Ｐｚとを結ぶ直線Ｌｑｚに基づいて、次の探索ラインＶｎにおけるウィンドウＶｎを設定する。
すなわち、直線Ｌｑｚと探索ラインＶｎとの交点Ｐｙを基準として、ウィンドウＷ１を設定する。

図１８は消失点学習手段１０６の処理を示す説明図であり、左右のレーンマーキング３、４に基づいて消失点（学習位置）Ｐｚを学習して求める状態を示している。
図１８において、消失点学習手段１０６は、車両の近傍で候補点抽出手段１０４により抽出された左右の候補点Ｐ１、Ｐ２（図４、図５、図９参照）の集合を直線近似し、候補点集合から導出した近似直線Ｌｚ１、Ｌｚ２（左右のレーンマーキング３、４に対応する）の交点を消失点Ｐｚとして学習する。

次に、図１６〜図１８とともに、図１９のフローチャートを参照しながら、図１５に示したこの発明の実施の形態２に係る車線認識画像処理装置によるウィンドウＷの設定処理について説明する。

図１９において、ステップＳ２０〜Ｓ２２は、各基準手段１３１ａ〜１３１ｃを選択するための判定処理であり、ステップＳ２３〜Ｓ２６は、各ステップＳ２０〜Ｓ２２の判定結果に基づいてウィンドウＷの基準位置を設定するための処理である。

ウィンドウ設定手段１０３Ａは、まず、レーンマーキング数学的モデル式が存在するか否かを判定し（ステップＳ２０）、レーンマーキング数学的モデル式が有る（すなわち、Ｙｅｓ）と判定されれば、モデル式基準手段１３１ａを選択する。
すなわち、前述と同様に、レーンマーキング数学的モデル式から探索ラインＶｎ上の位置を算出し、ウィンドウＷの基準位置とする（ステップＳ２３）。

一方、ステップＳ２０において、レーンマーキング数学的モデル式が無い（すなわち、Ｎｏ）と判定されれば、続いて、候補点が２点以上抽出されたか否かを判定する（ステップＳ２１）。

ステップＳ２１において、候補点が２点以上抽出された（すなわち、Ｙｅｓ）と判定されれば、候補点基準手段１３１ｂを選択し、図１６のように、候補点Ｐｑと候補点Ｐｒを結ぶ直線Ｌｑｒと次の探索ラインＶｎとの交点Ｐｘを基準位置とする（ステップＳ２４）。
このとき、近傍から遠方に向かってレーンマーキング３を探索するものとして、最初に検出された候補点Ｐｑと、次に検出された候補点Ｐｒとが存在するものとする。

一方、ステップＳ２１において、候補点が２点以上抽出されていない（すなわち、Ｎｏ）と判定されれば、続いて、候補点が１点のみ抽出されたか否かを判定する（ステップＳ２２）。

ステップＳ２２において、候補点が１点のみ抽出された（すなわち、Ｙｅｓ）と判定されれば、消失点基準手段１３１ｃを選択し、図１７のように、近傍の候補点Ｐｑと消失点Ｐｚとを結ぶ直線Ｌｑｚと次の探索ラインＶｎとの交点Ｐｙを基準位置とする（ステップＳ２５）。
この場合も、近傍から遠方に向かって探索を開始するものとして、最初に検出された候補点Ｐｑが存在するものとする。

一方、ステップＳ２２において、候補点が全く無い（すなわち、Ｎｏ）と判定されれば、撮影画面の全体からレーンマーキング３を探索する（ステップＳ２６）。
以下、基準位置の設定ステップＳ２３〜Ｓ２６に続いて、たとえば左側のレーンマーキング３に対するウィンドウＷ１が設定される（ステップＳ２７）。これら処理は、右側のウィンドウ４についても同様であり、ウィンドウＷ２が設定される。

次に、ステップＳ２７で設定したウィンドウＷ１、Ｗ２により候補点Ｐ１、Ｐ２を抽出し（ステップＳ２８）、現在処理中の探索ラインＶｎが最終ライン（ｎ＝Ｎ−１）か否かを判定する（ステップＳ２９）。

ステップＳ２９において、探索ラインＶｎが最終ラインである（すなわち、Ｙｅｓ）と判定されれば、図１９の処理ルーチンを終了し、探索ラインＶｎが最終ラインでない（すなわち、Ｎｏ）と判定されれば、ステップＳ２０に戻り、最終ラインに達するまで上記処理を繰り返す。

なお、消失点学習手段１０６は、図１８のように、左右のレーンマーキング３、４の近似直線Ｌｚ１、Ｌｚ２から消失点Ｐｚの学習座標を求めて消失点基準手段１３１ｃに入力し、ステップＳ２５の基準位置設定処理に寄与している。

たとえば、候補点Ｐｑが１点のみとなる状態以前に、近似直線Ｌｚ１、Ｌｚ２（図１８参照）が得られるだけの候補点を抽出した状態があったとすると、消失点学習手段１０６は、近似直線Ｌｚ１、Ｌｚ２の交点の座標をローパスフィルタ処理して、最終的な消失点Ｐｚの学習座標とする。

一方、候補点Ｐｑが１点のみとなる状態以前に、近似直線Ｌｚ１、Ｌｚ２が得られる状態がなかった場合には、撮影画面内での消失点デフォルト位置（カメラ１（図２参照）の取り付け高さおよび仰角から算出される）を、消失点Ｐｚとして代用する。

したがって、いずれの場合も確実に消失点Ｐｚの学習座標が得られ、ステップＳ２５においては、消失点Ｐｚと最初に検出された候補点Ｐｑとを結ぶ直線Ｌｑｚと、次の探索ラインＶｎとの交点Ｐｙ（図１７参照）を基準位置として設定することができる。

また、図１９に示した一連の処理のうち、各判定ステップＳ２１およびＳ２２においては、候補点抽出ステップＳ２８の処理結果が反映される。
すなわち、近傍から遠方に向かって探索を進めるにつれて、探索が正常に実行されていれば、ステップＳ２８において抽出される候補点が増えるので、たとえばステップＳ２２に注目すれば、ステップＳ２６に分岐する状態からステップＳ２５に分岐する状態に遷移するはずである。
同様に、ステップＳ２１に注目すれば、ステップＳ２５に分岐する状態からステップＳ２４に分岐する状態に遷移するはずである。

ただし、ステップＳ２５において消失点Ｐｚおよび候補点Ｐｑを用いる際に、道路曲率が比較的大きい場合には、特に遠方になるほど、消失点Ｐｚと候補点Ｐｑとを結ぶ直線Ｌｑｚとレーンマーキング３の形状とが合致しなくなる。

この対策として、たとえば、カメラ１の水平視野角を３３［ｄｅｇ］、取り付け高さを１．２［ｍ］とした場合、カメラ１から前方２０ｍ以内までの範囲を直線とみなせるものとし、ステップＳ２５の処理（消失点Ｐｚと候補点Ｐｑとを結ぶ直線Ｌｑｚと探索ラインＶｎとの交点Ｐｙを探索基準位置とする）の実行条件を、前方２０ｍ以内に限定するということが挙げられる。

このように、候補点が２点以上存在する場合には、２つの候補点Ｐｑ、Ｐｒを結ぶ直線Ｌｑｒと次の探索ラインＶｎとの交点Ｐｘを基準位置に設定することにより、前回のレーンマーキング数学的モデル式（ウィンドウ設定基準）が無い状態（レーンマーキング３、４の見失い状態）においても、ウィンドウＷをレーンマーキング３、４上に設定することができる。

また、このとき、近傍から遠方に向かって順に候補点を抽出する場合、できるだけ最遠方の２つの候補点を対象として順に抽出すれば、直線道路のみでなく、曲率を有する道路に対してもレーンマーキング３、４への追従性を向上させることができる。
さらに、適正なウィンドウ設定処理により、ウィンドウＷが必要以上に広く設定されることが回避されるので、処理時間を短縮することができ、レーンマーキング３、４の見失い状態から認識状態への復帰を短時間で行うことができる。

また、候補点Ｐ１、Ｐ２の集合を直線近似し、左右のレーンマーキング３、４に対する近似直線Ｌｚ１、Ｌｚ２の交点から消失点Ｐｚを学習することにより、レーンマーキング見失い状態にあって、候補点が１点のみである場合でも、候補点Ｐｑと消失点Ｐｚを結ぶ直線Ｐｑｚと次の探索ラインＶｎとの交点Ｐｙを基準として、ウィンドウＷをレーンマーキング３、４上に設定することができる。

特に、車両２（図２参照）が直線道路で横移動しても、道路と平行に走行している限りは、消失点Ｐｚが移動しないので、ウィンドウＷをレーンマーキング３、４上に確実に設定することができる。
さらに、前述と同様に、ウィンドウＷを探索ラインＶｎごとに（近傍側から遠方側に向けて）順に設定し、１つ手前の抽出結果に基づいて次のウィンドウ位置を設定することにより、ウィンドウＷの設定位置をレーンマーキング３、４上に確実に設定することができる。また、ウィンドウＷのサイズを限定することにより、レーンマーキング３、４の見失い状態からの復帰時間を短縮することができる。

この発明の実施の形態１に係る車線認識画像処理装置の概略構成を示すブロック図である。 この発明の実施の形態１に係る車線認識画像処理装置を搭載した車両を示す外観図である。 図２内のカメラから出力される前方画像の一例を示す説明図である。 図３の前方画像における各レーンマーキングの候補点を示す説明図である。 図３の前方画像における複数の候補点を示す説明図である。 図５内の候補点の集合を近似した２次曲線（レーンマーキング数学的モデル式）を示す説明図である。 この発明の実施の形態１に係る原画像輝度分布に対するフィルタ処理結果を示す説明図である。 この発明の実施の形態１に係るフィルタ処理を示すフローチャートである。 この発明の実施の形態１に係る２値化手段による候補点の検出処理を示す説明図である。 この発明の実施の形態１に係るカーネルサイズ設定手段の処理を示す説明図である。 この発明の実施の形態１に係る近傍および遠方のフィルタ処理結果を示す説明図である。 この発明の実施の形態１に係る近傍および遠方のフィルタ処理結果に対して設定される閾値を示す説明図である。 この発明の実施の形態１に係るフィルタ処理結果に対する信号領域およびノイズ領域の判定処理を示す説明図である。 間欠的なレーンマーキングを示す説明図である。 この発明の実施の形態２に係る車線認識画像処理装置の概略構成を示すブロック図である。 この発明の実施の形態２に係る近傍の候補点２点に基づくウィンドウ設定処理を示す説明図である。 この発明の実施の形態２に係る近傍の候補点と消失点とに基づくウィンドウ設定処理を示す説明図である。 この発明の実施の形態２に係る消失点の学習処理を示す説明図である。 この発明の実施の形態２に係るウィンドウ設定処理を示すフローチャートである。

符号の説明

１ カメラ、２ 車両、３、４ レーンマーキング、７、８ レーンマーキング数学的モデル式、２０ ノイズ領域、１０１ 撮影手段、１０２ 画像記憶手段、１０３、１０３Ａ ウィンドウ設定手段、１３１ 基準位置設定手段、１３１ａ モデル式基準手段、１３１ｂ 候補点基準手段、１３１ｃ 消失点基準手段、１０４ 候補点抽出手段、１４１ １次元画像フィルタ処理手段、１４１ａ カーネルサイズ設定手段、１４２ ２値化手段、１４２ａ 閾値複数設定手段、１４２ｂ Ｓ／Ｎ比演算手段、１４２ｃ 閾値下限値設定手段、１０５ 車線認識手段、１０６ 消失点学習手段、ｄ ２値化領域幅、Ｄ 原画像輝度分布、Ｅ フィルタ処理結果（Ｔ−Ｈフィルタ出力）、Ｌｚ１、Ｌｚ２ 近似直線、Ｌｑｒ ２点の候補点Ｐｑ、Ｐｒを結ぶ直線、Ｌｑｚ 候補点Ｐｑと消失点Ｐｚとを結ぶ直線、Ｐ１、Ｐ２、Ｐｑ、Ｐｒ 候補点、Ｐｏ 注目点、Ｐａ、Ｐｂ 参照点、Ｐｚ 消失点、Ｐｘ、Ｐｙ 交点、Ｔｈ、Ｔｈａ、Ｔｈｂ ２値化閾値、Ｖｎ 探索ライン（探索走査線）、Ｗ、Ｗ１、Ｗ２ ウィンドウ、Δｈ カーネルサイズ。

Claims (6)

1. 車両に搭載されて路面上のレーンマーキングの撮影画像に基づいて車線を認識する車線認識画像処理装置であって、
   前記車両の前方を撮影する撮影手段と、
   前記撮影手段により得られた画像を一時記憶する画像記憶手段と、
   前記画像記憶手段に記憶された画像に対して前記レーンマーキングの探索範囲をウィンドウにより設定するウィンドウ設定手段と、
   前記ウィンドウ設定手段により設定された前記探索範囲から前記レーンマーキングの候補点を抽出する候補点抽出手段と、
   前記候補点抽出手段により抽出された候補点の集合を数学的モデル式で近似して、レーンマーキング数学的モデル式を導出する車線認識手段と、を備え、
   前記候補点抽出手段は、
   前記車両からの前方距離に応じてカーネルサイズΔｈを設定するカーネルサイズ設定手段と、
   注目画素の濃淡値ｇ（ｈ）と、探索走査方向の前後に前記カーネルサイズΔｈだけ離れた画素の濃淡値ｇ（ｈ−Δｈ）、ｇ（ｈ＋Δｈ）と、を用いた以下の２つの式、
   ｛ｇ（ｈ）−ｇ（ｈ−Δｈ）｝、｛ｇ（ｈ）−ｇ（ｈ＋Δｈ）｝
   から得られる値のうち、小さい方の値をフィルタ処理結果として出力する１次元画像フィルタ処理手段と、
   前記フィルタ処理結果を閾値により２値化する２値化手段と、
   を含むことを特徴とする車線認識画像処理装置。
2. 前記２値化手段は、
   前記フィルタ処理結果のＳ／Ｎ比を演算するＳ／Ｎ比演算手段と、
   前記Ｓ／Ｎ比により前記閾値の下限値を設定する閾値下限値設定手段と、を含み、
   前記Ｓ／Ｎ比演算手段は、
   前記フィルタ処理結果のうち、規定値未満の領域幅を有するフィルタパス領域の数をノイズ領域数としてカウントし、
   前記フィルタ処理結果のうち、規定値以上の領域幅を有するフィルタパス領域の数を信号領域数としてカウントし、
   前記ノイズ領域数および前記信号領域数に基づいて前記Ｓ／Ｎ比を演算することを特徴とする請求項１に記載の車線認識画像処理装置。
3. 前記撮影手段は、ＣＭＯＳ撮像素子により構成されたことを特徴とする請求項２に記載の車線認識画像処理装置。
4. 前記２値化手段は、前記１次元画像フィルタ処理手段の探索走査線ごとに前記閾値を設定する閾値複数設定手段を含むことを特徴とする請求項１に記載の車線認識画像処理装置。
5. 前記ウィンドウ設定手段は、候補点基準手段を含み、
   前記候補点基準手段は、前記候補点が２点以上存在する場合に、前記候補点のうちの２点を結ぶ直線と次の探索走査線との交点を基準として、前記ウィンドウを設定することを特徴とする請求項１に記載の車線認識画像処理装置。
6. 前記レーンマーキングを構成する左右のレーンマーキングに基づいて消失点学習位置を求める消失点学習手段を備え、
   前記消失点学習手段は、前記候補点抽出手段により抽出された候補点の集合を直線近似し、前記左右のレーンマーキングの各近似直線の交点から消失点学習位置を求め、
   前記ウィンドウ設定手段は、消失点基準手段を含み、
   前記消失点基準手段は、前記候補点と前記消失点学習位置とを結ぶ直線と、次の探索走査線との交点を基準として、前記ウィンドウを設定することを特徴とする請求項１に記載の車線認識画像処理装置。

Images