JP3146807B2 - 道路白線検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、道路白線検出装置に係
り、特に車両前方をカメラによって撮影し、得られた撮
像画像中における道路白線の位置を検出して車両に対す
る道路白線の位置を特定する道路白線検出装置に関す
る。

【０００２】

【従来の技術】従来より、車両の自動操縦等を実現する
ための要素技術として、車両前方を撮影するカメラを用
いた道路白線検出装置が提案されている。例えば本出願
人は、特願平４−２６５６５５号において、車両前方道
路をカメラにより撮影して得られた撮像画像から順次比
較画像を抽出し、予め白線形状に適合するように設定し
ておいたテンプレートに対して最も高い相関の得られた
比較画像の位置を撮像画像内における白線位置として認
識する道路白線検出装置を開示している。

【０００３】この装置は、車両中央に配設したカメラで
白線を撮像した場合、通常は車両左側の白線は右上が
り、車両右側の白線は左上がりに、それぞれアスファル
ト部分より高輝度に撮像されることに鑑み、予め右上が
り、左上がり等に白線が描かれたテンプレートを用意
し、かかるテンプレートと比較画像との相関演算を行う
ことで白線位置の検出を行うものである。

【０００４】ところで、走行路がカーブに差しかかる
と、車両から比較的離間した位置の白線は、車両左側の
白線が左上がりに、又は車両右側の白線が右上がりにな
る場合がある。一方、自動制御等の車両制御に白線検出
の結果を利用するためには、比較的遠方の白線位置を検
出する必要がある。このため、白線検出の際に参照する
テンプレートが固定テンプレートでは実用的な白線検出
を実現することができない。

【０００５】そこで、上記装置においては、白線形状が
比較的安定している車両直前部において固定テンプレー
トによる白線検出を行い、その際に固定テンプレートと
最も適合した画像を、より遠方のテンプレートとして設
定し、順次遠方の白線を検出する手法を採用している。
この場合、白線検出に用いるテンプレートの形状と実際
の白線形状とが道路のカーブ如何によって大きくかけ離
れることがなく、車両から離間した位置において白線位
置を検出することが可能となる。

【０００６】

【発明が解決しようとする課題】しかし、上記従来の装
置の如く車両直前部から順次テンプレートを更新しなが
ら所定距離離間した位置の白線検出を実現する手法で
は、真に監視すべき位置の白線が検出できるまでに多量
の演算処理を行うことが必要となり、迅速処理の要求に
応えることができない。

【０００７】本発明は、上述の点に鑑みてなされたもの
であり、撮像画像中、車両から所定距離離間した位置の
道路白線が撮影されている部分を抽出して比較画像を構
成すると共に、形状の異なる複数のテンプレートを設定
し、比較画像に対して最も高い相関の得られる形状のテ
ンプレートを比較用テンプレートとして白線位置の検出
を行うことにより上記の課題を解決し得る道路白線検出
装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】図１は、上記の目的を達
成する道路白線検出装置の原理構成図を示す。すなわち
上記の目的は、図１（Ａ）に示すように、車両前方を撮
影するカメラＭ１と、該カメラＭ１によって撮影された
画像から、車両から所定距離離間した位置の道路白線が
撮影されている部分の画像を抽出する比較画像抽出手段
Ｍ２と、道路がカーブしている際に、該比較画像抽出手
段Ｍ２によって抽出される画像内に撮影されると推定さ
れる道路白線の幅及び形状を、カーブの度合いに対応し
て近似した複数のテンプレートを記憶するテンプレート
記憶手段Ｍ３と、前記比較画像抽出手段Ｍ２が抽出した
画像を比較画像とし、該比較画像と所定の比較用テンプ
レートとの相関を演算する相関演算手段Ｍ４と、前記テ
ンプレート記憶手段Ｍ４から、道路白線の形状が急なも
のと緩やかなものとを選択し、何れか一方のテンプレー
トを比較用テンプレートとした際に相関が低下した場合
には、他方のテンプレートを比較用テンプレートとする
テンプレート切替え手段Ｍ５と、前記相関演算手段Ｍ４
によって、比較用テンプレートに対して最も高い相関が
演算された比較画像の位置を、車両から所定距離離間し
た位置の道路白線が撮影されている位置として認識する
白線位置検出手段Ｍ６とを備える道路白線検出装置によ
り達成される。

【０００９】また、上記構成の道路白線検出装置におい
て、前記テンプレート切替え手段Ｍ５が、前記テンプレ
ート記憶手段Ｍ３より道路白線の形状の異なる３つのテ
ンプレートを選択し、比較用テンプレートとして中間角
度の形状のテンプレートから、残る２つのテンプレート
のうち一方のテンプレートに切り換えた際に相関の低下
が検出された場合は、残る２つのテンプレートのうち他
方のテンプレートを比較用テンプレートとして選択する
構成も有効である。

【００１０】更に、車両前方を撮影するカメラＭ１と、
該カメラＭ１によって撮影された画像から、車両から所
定距離離間した位置の道路白線が撮影されている部分の
画像を抽出する比較画像抽出手段Ｍ２と、該比較画像抽
出手段Ｍ２が抽出した画像を比較画像とし、該比較画像
と所定の比較用テンプレートとの相関を演算する相関演
算手段Ｍ４と、該相関演算手段Ｍ４の演算結果に基づい
て、より高い相関が得られると推定されるテンプレート
を作成して新たな比較用テンプレートとするテンプレー
ト作成手段Ｍ７と、前記相関演算手段において比較用テ
ンプレートに対して最も高い相関が演算された比較画像
の位置を、車両から所定距離離間した位置の道路白線が
撮影されている位置として認識する白線位置検出手段Ｍ
６とを備える道路白線検出装置は、少ない記憶容量で上
記の目的を達成するのに有効である。

【００１１】また、車両前方を撮影するカメラＭ１と、
該カメラＭ１によって撮影された画像から、車両から所
定距離離間した位置の道路白線が撮影されている部分の
画像を抽出する比較画像抽出手段Ｍ２と、定常状態で、
該比較画像抽出手段Ｍ２によって抽出される画像内に撮
影されると推定される道路白線の幅及び形状を近似した
テンプレートを記憶するテンプレート記憶手段Ｍ８と、
該テンプレート記憶手段Ｍ８の記憶するテンプレート
と、前記比較画像抽出手段Ｍ２が抽出した画像を基に設
定された所定の比較画像との相関を演算する相関演算手
段Ｍ４と、該相関演算手段Ｍ４の演算結果に基づいて、
より高い相関が得られるように前記比較画像抽出手段Ｍ
２の抽出した画像を変換して新たな比較画像とする比較
画像変換手段Ｍ９と、前記相関演算手段Ｍ４において比
較用テンプレートに対して最も高い相関が演算された比
較画像の位置を、車両から所定距離離間した位置の道路
白線が撮影されている位置として認識する白線位置検出
手段Ｍ６とを備える道路白線検出装置は、単一のテンプ
レートで上記の目的を達成するのに有効である。

【００１２】

【作用】本発明に係る道路白線検出装置において、前記
比較画像抽出手段Ｍ２は、前記カメラＭ１の撮影した画
像から、車両の所定距離前方に位置する道路白線が撮影
されている部分を抽出する。従って、当該抽出された画
像の位置が特定できれば、車両から所定距離離間した位
置の道路白線の位置を特定することができる。

【００１３】ところで、前記比較画像抽出手段Ｍ２が抽
出した画像内における道路白線の形状は、道路のカーブ
状況等によって変化し一定ではない。このため、当該画
像と高い相関を得るためには、抽出された画像内におけ
る道路白線と幅及び形状の近似したテンプレートが必要
になる。

【００１４】前記テンプレート記憶手段Ｍ３は、道路の
カーブ時に抽出された画像内の道路白線に整合する複数
のテンプレートを記憶する。また、前記テンプレート切
替え手段Ｍ５は、これら複数のテンプレートから急カー
ブに対応するテンプレートと緩やかなカーブに対応する
テンプレートとを選択し、一方のテンプレートを比較用
テンプレートとした際に前記相関演算手段Ｍ４により相
関の低下が検出された場合には、他方のテンプレートを
比較用テンプレートとする。

【００１５】この結果、前記相関演算手段Ｍ４において
相関演算の基礎とされる比較用テンプレートは、前記比
較画像抽出手段Ｍ２によって抽出された比較画像内にお
ける道路白線に対してより高い相関の得られるものに随
時更新されることとなる。

【００１６】また、前記テンプレート切替え手段Ｍ５
が、前記テンプレート記憶手段Ｍ３から３つのテンプレ
ートを選択して比較用テンプレートの切替えを行う構成
におい、比較用テンプレートを、中間角度の白線形状を
表すテンプレートから残る２つのテンプレートの一方に
切り換えた際に相関が低下するのは、比較用テンプレー
トの切替え時において選択を誤った場合である。従っ
て、前記テンプレート切替え手段Ｍ５が、かかる状況に
おいては比較用テンプレートを残る他方のテンプレート
に切り換える構成によれば、最終的に正しい選択がなさ
れることが保証されることになる。

【００１７】また、前記テンプレート記憶手段Ｍ３、及
びテンプレート切替え手段Ｍ５に代えて、前記相関演算
手段Ｍ４の演算結果に基づいて適切なテンプレートを随
時作成する前記テンプレート作成手段Ｍ７を設けた構成
においては、予め複数のテンプレートを作成・記憶して
おく必要がなく、より少ないメモリ容量で、所望の白線
位置検出を実行できる道路白線検出装置が実現される。

【００１８】更に、前記比較画像抽出手段Ｍ２が抽出し
た画像を、前記比較画像変換手段Ｍ９が適当に変換する
構成においては、前記相関演算手段Ｍ４には、道路のカ
ーブの影響が相殺された比較画像が供給されることとな
る。従って、比較用テンプレートとしては、前記テンプ
レート記憶手段Ｍ８が記憶する基準幅、基準形状のテン
プレートが唯一存在すれば足り、このテンプレートのみ
により所望の白線位置検出が実現されることになる。

【００１９】

【実施例】図２は、本発明の一実施例である道路白線検
出装置の全体構成を表すブロック図を示す。同図におい
てカメラ１０は、前記したカメラＭ１に相当し、Ａ／Ｄ
変換装置１２を介して画像フレームメモリ１４に接続さ
れている。これにより、カメラ１０によって得られた１
画面分の画像は、ディジタルデータとして画像フレーム
メモリ１４に記憶される。

【００２０】画像フレームメモリ１４には、比較画像抽
出手段Ｍ２，テンプレート記憶手段Ｍ３，Ｍ８，テンプ
レート切替え手段Ｍ５，白線位置検出手段Ｍ６，テンプ
レート作成手段Ｍ７，比較画像変換手段Ｍ９を実現する
ＣＰＵ１６が接続されている。このＣＰＵ１６は、画像
フレームメモリ１４の所定の部分の画像データを読みだ
し、各種演算処理を行うことで、これらの機能を実現す
る。

【００２１】このＣＰＵ１６には前記した相関演算手段
Ｍ４に相当する相関演算装置１８が接続されている。相
関演算装置１８には、画像フレームメモリ１４の画像デ
ータに基づいてＣＰＵ１６が設定したテンプレートに係
るデータと、ＣＰＵ１６が設定したサーチウィンドウ内
の比較画像に係るデータとが供給される。そして、相関
演算装置１８は、これらのデータに基づいてテンプレー
トマッチングによる相関演算を行う。

【００２２】以下、図３を参照して、テンプレートマッ
チングによる相関演算の手法について簡単に説明する。

【００２３】図３（Ａ）は、テンプレートマッチングに
用いるｍ×ｎ画素のテンプレートを、図３（Ｂ）は、テ
ンプレート内の画像が一部に撮像された撮像画像を示
す。テンプレートマッチングを行う場合、先ず図３
（Ｂ）に示す撮像画像中に大まかにサーチウィンドウ
（Ｓ）を設定する。そして、このサーチウィンドウの中
からテンプレートを同サイズの画像を比較画像（Ｃ）と
して抜き出し、対応する各画素の輝度の差の絶対値の総
和を相関値Ｄとして求める。

【００２４】この場合、図３（Ａ），（Ｂ）に示すよう
にテンプレート内の画像と比較画像とが一致していない
場合には相関値Ｄが大きく、テンプレート内の画像と比
較画像とが完全に一致した場合には、相関値Ｄ＝“０”
となる。

【００２５】従って、設定されたサーチウィンドウ内で
順番に１画素づつずらして比較画像を設定し、それそれ
テンプレートとの相関値Ｄを求めた場合、相関値Ｄが最
小となる位置が最も相関の高い位置であり、その位置を
テンプレート内の画像の存在する位置として特定するこ
とができる。

【００２６】このように、テンプレートマッチングによ
る相関演算は、サーチウィンドウ内にテンプレート内の
画像に近似する画像を検出するのに有効な手法である。
尚、本実施例の道路白線検出装置は、かかる原理を利用
して道路上に描かれた白線の位置を検出する装置であ
る。

【００２７】すなわち、ＣＰＵ１６は相関演算装置１８
の相関演算結果に基づいて白線位置を検出し、これを白
線位置出力装置２０を介して図示しない所定の車両制御
装置に出力する。つまり、車両には、操舵、アクセル、
ブレーキ等を制御する車両制御装置が搭載されており、
このようにして供給された白線位置についての情報に基
づいて自動操縦が行われる。

【００２８】尚、画像フレームメモリ１４の出力側に
は、Ｄ／Ａ変換装置２２を介してＣＲＴ２４が接続され
ており、画像フレームメモリ１４に記憶されている画像
は、逐次ＣＲＴ２４に表示される。

【００２９】ところで、本実施例において道路白線の位
置を検出するのは、上記したように、検出した道路白線
の位置データを用いて車両の自動操縦を実現するためで
ある。従って、検出した白線位置を操舵制御、加減速制
御等に反映させるための時間を確保する必要があり、か
かる観点からすれば、注視する道路白線の位置は、車両
から所定距離離間した位置が適当である。

【００３０】一方、図４に示すように、車両の近点では
道路がカーブしている場合でも白線の接線の向きが大き
く変化することはないが、比較的離間した位置において
は、直進路の場合（同図（Ａ））とカーブの場合（同図
（Ｂ））とで、道路白線の接線方向が大きく相違する。

【００３１】この場合、例えば車両からａ(m) の点を注
視点とし、図４（Ａ），（Ｂ）に示す如くその注視点に
相当する領域にサーチウィンドウ（探索領域）を設け、
当該領域から比較画像を抽出するとすれば、比較画像内
における白線の形状が道路の曲率によって大幅に変動す
ることになる。

【００３２】これに対して、本実施例において白線位置
の検出に用いる手法であるテンプレートマッチングにお
いては、あくまでも比較画像の各画素とテンプレートの
各画素の輝度差の総和が小さいものを高い相関の得られ
る組み合わせとして検出する手法である。

【００３３】従って、比較画像として抽出した画像内に
ほぼ一杯に道路白線が撮影されており、本来ならその比
較画像を抽出した位置を白線の位置として把握すべき場
合であっても、テンプレート内における白線の形状が比
較画像内の道路白線の形状とかけ離れていれば、結果と
して他により高い相関が計算される位置を発生させる場
合がある。

【００３４】この意味で、テンプレートマッチングによ
る相関演算を用いて道路白線の位置を検出する場合にお
いては、比較画像として抽出する画像内に撮影される道
路白線の形状と、比較用テンプレート内における白線形
状とを適当に整合させることが必須である。

【００３５】この場合、車両の近点では道路白線の形状
が比較的安定していることに着目し、車両の近点でテン
プレートマッチングを行い、その際に比較画像として得
られた画像を次のステップのテンプレートとして徐々に
遠方の道路白線につき相関演算を行う手法が公知である
ことは前記した通りであるが、かかる手法による場合、
真にデータとして検出すべき位置に達するまでに長期を
要し、高密度に白線位置を検出することができない。

【００３６】一方、図５に示すように、道路がカーブす
ることにより生ずる道路白線の形状変化に対応して、複
数のテンプレート（本実施例においては図５中、〜
の９種）から最適なものを選択的に用いる構成を実現で
きれば、道路がカーブする場合においても道路白線を見
失うことなく、その位置を適切に監視し続けることが可
能である。

【００３７】本実施例の道路白線検出装置は、かかる機
能を実現することにより、車両近点から徐々に注視点を
離間させる従来の装置に比べて高密度に白線位置を検出
すべく構成されたものである。以下、かかる機能を実現
すべくＣＰＵ１６が実行する処理の内容について詳細に
説明する。

【００３８】図６は、前記した請求項１及び２記載の発
明を実現すべくＣＰＵ１６が実行する白線位置検出ルー
チンの一例のフローチャートを示す。

【００３９】同図に示すルーチンが起動すると、先ずス
テップ１００において操舵角θの読み込みを行う。この
操舵角θは、ステアリングホイルの回転角を検出すべく
配設された操舵角センサ等により検出することができ、
走行中の道路が直進路であるかカーブであるかを推定す
るために読み込むものである。

【００４０】次に、ステップ１０２では、読み込んだ操
舵角θで予め設定しておいたマップを検索することによ
り初期テンプレートの選定を行う。本実施例において
は、前記したテンプレート記憶手段Ｍ３をＣＰＵ１６に
接続されたメモリ（図示せず）によって実現しており、
このメモリには上記図５に示す９種類のテンプレート
（図５中〜）が記憶されている。上記マップは、こ
れら〜のテンプレートと操舵角θとの関係を設定し
たものであり、例えばθ＝“０”であればＮ＝のテン
プレートが選択される。

【００４１】この様にして初回の相関演算を行う際に中
心とすべきテンプレートの選択を終えたら、ステップ１
０４、１０６、１０８において順次“Ｎ−１”，
“Ｎ”，“Ｎ＋１”のテンプレートについて相関演算を
行う。例えば今回Ｎ＝が選択されていれば、順に，
，のテンプレートについて相関演算を実行すること
になる。

【００４２】これら隣接する３つのテンプレートについ
て相関演算を行い、今回選択したＮが最適なテンプレー
トであるのか、または何れかの側により適切なテンプレ
ートが存在するのかを、３つノテンプレートそれぞれに
ついて得られた相関値に基づいて判断するためである。

【００４３】ここで、上記ステップ１０４〜１０６にお
ける相関演算は、図７に示す相関演算ルーチンによって
実現される。以下、テンプレートとしＴ（Ｎ）を選択し
た場合を例にとって、図７に示す相関演算ルーチンの内
容について説明する。

【００４４】図７に示すルーチンが起動すると、先ずス
テップ２０２において相関演算の実行に用いるべきテン
プレートＴ（Ｎ）の選択を行う。

【００４５】次にステップ２０４では、テンプレートマ
ッチングによる相関演算を開始すべく初期値の設定を行
う。ここでは、テンプレートマッチングを実行するに際
して、撮像画像中Ｙ＝Ｙａ（車両から所定距離ａ(m) 離
間した位置の道路白線が撮影される領域のＹ座標）、Ｘ
＝Ｘｆ／２（撮像画像中央のＸ座標）の点を左上の点と
するｍ×ｎ画素の比較画像を初期比較画像として設定す
ることとしており、かかる設定を実現すべく、比較画像
の座標（ｘ，ｙ）を（Ｘｆ／２，Ｙａ）に設定する処理
を行う。

【００４６】また本ステップでは、サーチウィンドウ内
で比較画像を走査した際に最も低い相関値Ｄｘ，ｙ（最
も高い相関が得られた位置での相関値Ｄに相当）が演算
された際に、その値を記憶するＤｂｕｆに、上限値１０
０００を、Ｄｂｕｆを得た比較画像のＸ座標を記憶する
Ｘｂｕｆに０をそれぞれ代入する処理を行う。

【００４７】かかる処理を終えたら、ステップ２０６へ
進んで（ｘ，ｙ）座標における比較画像とテンプレート
Ｔ（Ｎ）について、対応する各画素の輝度差の総和を求
め、相関値Ｄｘ，ｙとして記憶する。尚、本実施例ステ
ップは、撮像画像から適当な比較画像に関するデータを
取り込む処理を行う意味で、前記した比較画像抽出手段
Ｍ２に相当する。

【００４８】ステップ２０８では、現在Ｄｂｕｆに記憶
されている値と今回計算したＤｘ，ｙの値とを比較し、
Ｄｘ，ｙ＜Ｄｂｕｆが成立しているかを見る。ここで上
記条件が成立するのは、今回のＤｘ，ｙが最低値である
場合、すなわち今回の比較画像が最も高い相関を示した
場合であり、この場合はステップ２１０へ進んで履歴を
更新すべくＤｂｕｆ，Ｘｂｕｆを今回の値Ｄｘ，ｙ、及
びＸ座標値に書き換える処理を行う。一方、上記ステッ
プ２０８において条件不成立とされた場合は、相関値の
履歴を書き換える必要がないためそのままステップ２１
２へと進む。

【００４９】ステップ２１２では、比較画像を新たに１
画素づらして切り出すべく、その左側端部のＸ座標値ｘ
をデクリメントする。ステップ２１４は、このようにし
てデクリメントされたｘが“０”に達しているか、すな
わち撮像画像の中央から開始した比較画像の走査が撮像
画像の左端に達したかを判別する。ここで、ｘ＝“０”
が不成立であれば上記ステップ２０６へ戻り、以後ｘ＝
“０”が成立するまで繰り返し上記ステップ２０６〜２
１４の処理を実行する。

【００５０】この結果、上記ステップ２１４においてｘ
＝“０”が成立すると判別された時点では、必ず撮像画
像中央ｘ＝Ｘｆ／２から左端ｘ＝０までの間で最も高い
相関が得られた位置での相関値Ｄｘ，ｙがＤｂｕｆに、
その際のｘがＸｂｕｆに記憶されていることになる。ス
テップ２１６は、これらＸｂｕｆ，Ｄｂｕｆの値をそれ
ぞれＸ（Ｎ），Ｄ（Ｎ）として出力するステップであ
り、この処理を実行して本ルーチンが終了する。

【００５１】このように図７に示す相関演算ルーチンに
よれば、撮像画像内に設定したサーチウィンドウ内で最
も高い相関の得られる比較画像について相関値Ｄを得る
ことができ、上述の如くステップ１０４〜１０８におい
てテンプレートＴ（Ｎ−１），Ｔ（Ｎ），Ｔ（Ｎ＋１）
について上記処理を実行すれば、各テンプレートについ
て最小相関値Ｄ及びその相関値を実現した比較画像のＸ
座標値が検出されることになる。

【００５２】ステップ１１０は、このようにして求めた
Ｄ（Ｎ−１）とＤ（Ｎ）についてＤ（Ｎ−１）＜Ｄ
（Ｎ）の判別を行うステップである。すなわち、テンプ
レートＴ（Ｎ−１）とＴ（Ｎ）の何れが高い相関を示し
ているかを判別するステップである。ここで上記条件が
成立するのはテンプレートＴ（Ｎ−１）がテンプレート
Ｔ（Ｎ）より高い相関を示す場合であり、この場合、当
然に３つのテンプレートの中でＴ（Ｎ−１）が最も高い
相関を示すと判断することができる。

【００５３】このため、上記ステップ１１０において条
件成立が判別された場合は、以後ステップ１１２へ進ん
でテンプレートＴ（Ｎ−１）についてＤ（Ｎ−１）を得
た比較画像のＸ座標値Ｘ（Ｎ−１）を、白線位置Ｘとし
て出力し、続くステップ１１４においてＮ−１を最適テ
ンプレート番号Ｎに代入する。

【００５４】以後、このようにして設定した白線位置
Ｘ、最適テンプレート番号Ｎに基づいて上記ステップ１
０４移行の処理を繰り返し実行する。

【００５５】一方、上記ステップ１１０においてＤ（Ｎ
−１）＜Ｄ（Ｎ）が不成立であると判別された場合、す
なわちテンプレートＴ（Ｎ−１）よりテンプレートＴ
（Ｎ）の方が比較画像に対して高い相関を示すと判別さ
れた場合は、ステップ１１６へ進んで更にＤ（Ｎ）＜Ｄ
（Ｎ＋１）の判別を行う。この場合、テンプレートＴ
（Ｎ）よりテンプレートＴ（Ｎ＋１）の方が更に高い相
関を示す場合があるからである。

【００５６】そして、Ｄ（Ｎ）＜Ｄ（Ｎ＋１）が成立す
ると判別された場合は、テンプレートＴ（Ｎ）が最適な
テンプレートであると判断し、ステップ１１８へ進んで
テンプレートＴ（Ｎ）についてのＸ（Ｎ）を白線位置Ｘ
として出力し、ステップ１２０でＮを最適テンプレート
番号Ｎに設定して上記ステップ１０４へ帰還する。

【００５７】また、上記ステップ１１６でＤ（Ｎ）＜Ｄ
（Ｎ＋１）が不成立とされた場合は、テンプレートＴ
（Ｎ＋１）が最適なテンプレートであると判断し、ステ
ップ１２２へ進んでテンプレートＴ（Ｎ＋１）について
のＸ（Ｎ＋１）を白線位置Ｘとして出力し、ステップ１
２４でＮを最適テンプレート番号Ｎに設定して上記ステ
ップ１０４へ帰還する。

【００５８】以下、繰り返し上記ステップ１０４〜１２
４の処理が実行されることにより、道路の曲率が変化し
て比較画像内における白線形状が変化すると、その変化
に応じて随時〜のテンプレートから最も高い相関の
得られるものが最適テンプレートとして設定されること
になる。このため、比較画像内における白線形状が変化
しても、その変化に起因して道路白線を見失うことがな
く、適切に白線位置検出を続行することができる。

【００５９】尚、上記ルーチンにおいては、上記ステッ
プ１１０、１１６で有効なテンプレートの選択を行って
いる。この意味で、本実施例においては、これらのステ
ップが前記したテンプレート切替え手段Ｍ４を実現して
いることになる。また、上記ステップ１１４，１２０，
１２４は、このようにして選択されたテンプレートに対
するＸ座標値を白線位置として認識するステップであ
る。この意味で、本実施例においては、これらあのステ
ップが前記した白線位置検出手段Ｍ６を実現しているこ
とになる。

【００６０】ところで、上記実施例の如く予めテンプレ
ートを記憶しておく構成を採用する場合、テンプレート
を記憶しておくだけのメモリ容量を確保する必要があ
る。また、個々のテンプレートが、それぞれ予め設定さ
れた形状で固定されるため、メモリ容量との関係でンプ
レートの枚数が制限される関係上、微小な形状変化には
対応できない事態も生じ得る。

【００６１】一方、本実施例の如くＣＰＵ１６が単一で
ある場合、上記図６に示すようにテンプレートと比較画
像との相関演算は、複数のテンプレートについて並列に
処理されるのではなく、あくまでも直列に処理される。
つまり、比較画像に対して形状の異なる複数のテンプレ
ートを対応させることを必須とする本発明においても、
必ずしも複数のテンプレートが同時に存在することは要
求されず、例えば図８に示すように適当な画素をシフト
して複数のテンプレートを構成することができれば、必
要に応じて必要なテンプレートを演算によって求めるこ
とも可能である。

【００６２】尚、８×８画素のテンプレートを用いる場
合、図８（Ｂ）に示すようにシフト量ｎ＝０のテンプレ
ートを基準とし、Ｋ＝（ｎ＋１）×ｙ／（８＋１）で得
られる整数値分だけｙ行目をシフト（ｎが正の場合左
へ、ｎが負の場合は右へ）させることにより、図８に示
す如くシフト量ｎをバランスよく確保したテンプレート
を実現することができる。

【００６３】図９は、前記した請求項３記載の発明を実
現すべくＣＰＵ１６が実行する白線位置検出ルーチンの
第２の例のフローチャートであり、ＣＰＵ１６が本ルー
チンを実行することにより上記の機能が実現されること
になる。以下、図９に示すルーチンの内容について説明
するが、同図中上記図６に示すルーチンと同一の処理を
実行するステップには、同一の符号を付しその説明を省
略する。

【００６４】すなわち図９に示す処理は、相関演算にお
いて中心とすべきテンプレートの選定を終えたら（ステ
ップ１００，１０２）、ステップ３００，３０２，３０
４においてそれぞれテンプレートＴ（Ｎ−１），Ｔ
（Ｎ），Ｔ（Ｎ＋１）を生成する点に特徴を有するもの
である。

【００６５】ここで、本ルーチンにおいては、ステップ
３００、ステップ３０２、ステップ３０４の間にそれぞ
れステップ１０４、ステップ１０６、ステップ１０８の
相関演算を行う構成としており、生成したメモリを消去
して新たな相関演算を行うこととしている。このため、
テンプレートの格納用のメモリとしては、８×８画素の
データが格納できるものであれば足り、上記図６に示す
ルーチンを実行する場合に比べて画期的にその容量を削
減することができる。

【００６６】尚、本ルーチンにおいてステップ１０８移
行に実行される処理の内容は、上記図６に示すルーチン
と全く同一であり、本ルーチンを実行する場合において
も、カーブ時に道路白線を見失うことなく位置検出を続
行し得る優れた効果を享受することができる。

【００６７】ところで、本ルーチンは、カメラ１０から
得た撮像画像から抽出した比較画像内で白線の形状が変
化する場合に、テンプレートの形状を変化させてその変
化に対処しようとするものである。

【００６８】これに対して、図１０に示すように探索領
域内における白線形状を、基準の形状に変換する構成を
採用すれば、単一のテンプレートのみで全ての場合に対
処することができる。この場合、最も簡単な構成として
は、上記図８（Ｂ）に示す如く極めて単純な形状をテン
プレートとして記憶しておけば足りることから、記憶手
法を工夫すれば必ずしも８×８画素分のデータを格納し
得るメモリも必要でなく、一層のメモリ削減効果を得る
ことができる。

【００６９】図１１は、かかる機能を実現すべくＣＰＵ
１６が実行する白線検出ルーチンのフローチャートを示
す。尚、ＣＰＵ１６が本ルーチンを実行することによ
り、前記請求項３記載の発明が実現されることになる。

【００７０】すなわち、図１１に示すルーチンが起動す
ると、先ずステップ１００において操舵各θの読み込み
が行われる。この処理を終えると、続くステップ４０２
では、比較画像の最適シフト量ｎの設定を行う。ここ
で、シフト量ｎは、上記図８において所望のテンプレー
トを演算する場合に用いた手法と同様の手法で実現する
ことができ、本実施例においては、操舵角θとの関係を
設定しておいたマップを検索することにより初期のｎ設
定を行う。

【００７１】このようにして最適シフト量ｎの設定を終
えたら、次にステップ４０４へ進み、撮像画像から抽出
した画像にｎ−１のシフトを与えてなる比較画像Ｓ（ｎ
−１）を計算によって求め、このＳ（ｎ−１）と基準の
テンプレートＴ（ｄ）との相関演算を上記図７に示す相
関演算ルーチンによって行い得られた最小相関値及びそ
の際のＸ座標をそれぞれＤ（ｎ−１），Ｘ（ｎ−１）と
して記憶する。

【００７２】以下、ステップ４０６、４０８において、
撮像画像から抽出した画像にｎ，ｎ＋１のシフトを与え
てなる比較画像Ｓ（ｎ），Ｓ（ｎ＋１）について同様に
最小相関値Ｄ（ｎ），Ｄ（ｎ＋１），その際のＸ座標Ｘ
（ｎ），Ｘ（ｎ＋１）の演算を行い、それぞれの値を記
憶する。

【００７３】これらの処理を終えたら、以下上記図６、
図９中、ステップ１１０〜１２４の処理と同様に、Ｄ
（ｎ−１），Ｄ（ｎ），Ｄ（ｎ＋１）の大小関係の判別
を行い（ステップ４１０，４１６）、その結果に応じて
最も高い相関の得られた比較画像に対して得られたＸ座
標を白線位置として出力し（ステップ４１２、４１８、
４２２）、また、それらを実現したシフト量ｎを最適シ
フト量ｎとして更新する処理を行う（ステップ４１４、
４２０、４２２）。

【００７４】この結果、上記ステップ４０４〜４０８に
おいては、常に適当なシフト量ｎ−１，ｎ，ｎ＋１が与
えられて基準のテンプレートＴ（ｄ）に近似する比較画
像についての相関演算が行われることになり、撮像画像
内において道路白線の形状が変化しても、その変化に関
わらず適切な形状同士の相関演算が実行されることにな
る。

【００７５】このように、ＣＰＵ１６が本ルーチンを実
行する場合、テンプレートを記憶しておくために要する
メモリ容量を画期的に削減しつつ、上記図６、図９のル
ーチンを実行する場合と同様に、白線の監視を継続的に
実行して高い密度で位置検出を続行できるという効果を
奏する。

【００７６】

【発明の効果】上述の如く、請求項１記載の発明によれ
ば、撮像画像から比較画像として抽出される画像内にお
ける白線の形状が、道路のカーブ等に起因して変化して
も、比較用テンプレートがその変化に追従して適切に変
化するため、車両から所定距離離間した位置の道路白線
の位置検出を続行することができる。

【００７７】このため、従来の装置の如くカーブにおい
て白線位置を見失う度に車両近点へ戻って道路白線の位
置検出を行わざるを得ない場合に比べて、カーブ走行時
における白線位置の検出を高密度に行い得るという特長
を有している。

【００７８】また、請求項２記載の発明によれば、比較
画像内における道路白線の形状が変化し、比較用テンプ
レートを変更する必要が生じた場合に、道路曲率の変化
に対して誤ったテンプレートの選択が行われると、即座
に正しいテンプレートへの切替えが行われることにな
り、道路白線を見失うことなく適切に監視し続けること
ができる。この意味で、上述の請求項１記載の発明に比
べて更に高い密度で道路白線の位置検出を実行すること
ができるという特長を有している。

【００７９】更に、請求項３記載の発明によれば、必要
に応じてより適切なテンプレートが作成されることか
ら、上述の請求項１及び２記載の発明の如く予め複数の
テンプレートを記憶することなく、同様の白線位置検出
を実現することができる。この場合、請求項１及び２記
載の発明において必要とされたメモリ容量を大幅に削減
して道路白線検出装置を実現することが可能となる。

【００８０】また、請求項４記載の発明によれば、比較
画像変換手段によってカーブ等の影響が相殺され、相関
演算手段には、常に基準の形状に変換された比較画像の
データが供給されるため、比較用テンプレートとしては
定常時における道路白線の基準幅、基準形状を写し取っ
たテンプレートが存在すれば足りる。この場合、上記請
求項３記載の道路白線検出装置と同様に少ないメモリ容
量で所望の機能を有する道路白線検出装置を実現するこ
とがかのうである。

【図面の簡単な説明】

【図１】本発明に係る道路白線検出装置の原理構成図で
ある。

【図２】本発明の一実施例である道路白線検出装置のブ
ロック構成図である。

【図３】テンプレートマッチングによる相関演算の原理
を説明するための図である。

【図４】カメラにより車両前方を撮影して得られる撮像
画像の例である。

【図５】テンプレートマッチングに用いるテンプレート
群の例である。

【図６】本実施例の道路白線検出装置が実行する白線検
出ルーチンの第一の例のフローチャートである。

【図７】本実施例の道路白線検出装置が実行する相関演
算ルーチンの一例のフローチャートである。

【図８】演算によりテンプレートを作成する手法を説明
するための図である。

【図９】本実施例の道路白線検出装置が実行する白線検
出ルーチンの第二の例のフローチャートである。

【図１０】撮像画像から抽出した比較画像内の白線形状
を基準形状に変換した例である。

【図１１】本実施例の道路白線検出装置が実行する白線
検出ルーチンの第三の例のフローチャートである。

【符号の説明】

Ｍ１，１０ カメラ Ｍ２ 比較画像抽出手段 Ｍ３，Ｍ８ テンプレート記憶手段 Ｍ４ 相関演算手段 Ｍ５ テンプレート切替え手段 Ｍ６ 白線検出手段 Ｍ７ テンプレート作成手段 Ｍ９ 比較画像変換手段 １４ 画像フレームメモリ １６ ＣＰＵ １８ 相関演算装置

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G08G 1/16 G05D 1/02 G06T 1/00 280 - 340 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 車両前方を撮影するカメラと、 該カメラによって撮影された画像から、車両から所定距
   離離間した位置の道路白線が撮影されている部分の画像
   を抽出する比較画像抽出手段と、 道路がカーブしている際に、該比較画像抽出手段によっ
   て抽出される画像内に撮影されると推定される道路白線
   の幅及び形状を、カーブの度合いに対応して近似した複
   数のテンプレートを記憶するテンプレート記憶手段と、 前記比較画像抽出手段が抽出した画像を比較画像とし、
   該比較画像と所定の比較用テンプレートとの相関を演算
   する相関演算手段と、 前記テンプレート記憶手段から、道路白線の形状が急な
   ものと緩やかなものとを選択し、何れか一方のテンプレ
   ートを比較用テンプレートとした際に相関が低下した場
   合には、他方のテンプレートを比較用テンプレートとす
   るテンプレート切替え手段と、 前記相関演算手段によって、比較用テンプレートに対し
   て最も高い相関が演算された比較画像の位置を、車両か
   ら所定距離離間した位置の道路白線が撮影されている位
   置として認識する白線位置検出手段とを備えることを特
   徴とする道路白線検出装置。
2. 【請求項２】 前記テンプレート切替え手段は、前記テ
   ンプレート記憶手段より道路白線の形状の異なる３つの
   テンプレートを選択し、比較用テンプレートとして中間
   角度の形状のテンプレートから、残る２つのテンプレー
   トのうち一方のテンプレートに切り換えた際に相関の低
   下が検出された場合は、残る２つのテンプレートのうち
   他方のテンプレートを比較用テンプレートとして選択す
   ることを特徴とする請求項１記載の道路白線検出装置。
3. 【請求項３】 車両前方を撮影するカメラと、 該カメラによって撮影された画像から、車両から所定距
   離離間した位置の道路白線が撮影されている部分の画像
   を抽出する比較画像抽出手段と、 該比較画像抽出手段が抽出した画像を比較画像とし、該
   比較画像と所定の比較用テンプレートとの相関を演算す
   る相関演算手段と、 該相関演算手段の演算結果に基づいて、より高い相関が
   得られると推定されるテンプレートを作成して新たな比
   較用テンプレートとするテンプレート作成手段と、 前記相関演算手段において比較用テンプレートに対して
   最も高い相関が演算された比較画像の位置を、車両から
   所定距離離間した位置の道路白線が撮影されている位置
   として認識する白線位置検出手段とを備えることを特徴
   とする道路白線検出装置。
4. 【請求項４】 車両前方を撮影するカメラと、 該カメラによって撮影された画像から、車両から所定距
   離離間した位置の道路白線が撮影されている部分の画像
   を抽出する比較画像抽出手段と、 定常状態で、該比較画像抽出手段によって抽出される画
   像内に撮影されると推定される道路白線の幅及び形状を
   近似したテンプレートを記憶するテンプレート記憶手段
   と、 該テンプレート記憶手段の記憶するテンプレートと、前
   記比較画像抽出手段が抽出した画像を基に設定された所
   定の比較画像との相関を演算する相関演算手段と、 該相関演算手段の演算結果に基づいて、より高い相関が
   得られるように前記比較画像抽出手段の抽出した画像を
   変換して新たな比較画像とする比較画像変換手段と、 前記相関演算手段において比較用テンプレートに対して
   最も高い相関が演算された比較画像の位置を、車両から
   所定距離離間した位置の道路白線が撮影されている位置
   として認識する白線位置検出手段とを備えることを特徴
   とする道路白線検出装置。