JP3288370B2 - 道路方向検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両に対する道路
の方向を検出する道路方向検出装置に関する。これは、
対象物の前景を撮像して得られる画像に基づいて、局地
的地域での対象物の位置、速度、及び、姿勢に関して、
局地的位置把握データを提供し、特に自動車の路上に於
ける静止或いは走行中の状態の検出に特に適した局地的
位置把握システムに用いる局地的位置把握装置などと共
に用いられる。局地的位置把握装置は、路面状態変動或
いは天候、時間帯、固定照明、可動照明の撮像条件の変
動の影響を受けないで、対象物の局地的地域内での位置
を正しく検出できる。

【０００２】

【従来の技術】図２５に、自動車に用いられる従来の局
地的位置把握装置を示す。この従来の局地的位置把握装
置ＬＰＰは、エッジ抽出器１Ｐ、閾値設定器３Ｐ、輪郭
抽出器５Ｐ、マッチング検出器９Ｐ、車線輪郭検出器１
１Ｐ、領域限定器１３Ｐ、現位置検出器１５Ｐ、曲率検
出器１７Ｐ、及びヨー角検出器１９Ｐを有する。エッジ
抽出器１Ｐは、デジタル撮像装置（図１）に接続されて
いる。デジタル撮像器は、自動車ＡＭ（図４）に搭載さ
れて、自動車の進行方向前方の風景の斜視画像Ｖｉをデ
ジタル画像信号Ｓｉとして生成する。この画像Ｖｉに
は、道路及びその上に設けられた現在走行中の車線Ｌ
ｍ、及び同車線Ｌｍの両側を規制する白線Ｌｍ１及びＬ
ｍ２等が写っている（図５）。更に、隣の車線の白線Ｌ
ｍ３も写っている。エッジ抽出機１Ｐは、デジタル画像
信号Ｓｉから、これらの車線Ｌｍ１、Ｌｍ２、及び、Ｌ
ｍ３に対応するエッジ画素を抽出して、抽出エッジ画素
信号Ｓｘ'を生成する。この抽出エッジ画素信号Ｓｘ'は
抽出されたエッジ画素のみを含む、抽出エッジ画像Ｖ
ｘ'を表示する。閾値設定器３Ｐは、公知の方法で、マ
ークする各々の車線Ｌｍの線を抽出するために、信号Ｓ
ｘ’を走査して、エッジ画素データ信号Ｓｘ’から車線
マーキングの輪郭を示す画素を抽出するための、閾値Ｅ
ｔｈ’を決定する。そして、車線マーキングの輪郭線を
表す輪郭画素を抽出した信号Ｓｃ’を生成する。マッチ
ング検出器９Ｐは、このように輪郭を抽出した、輪郭抽
出信号Ｓｃ’に含まれる輪郭線にマッチする直線或いは
円弧を求め、これらの直線或いは円弧のマッチした線の
全てを含むマッチングデータＳｍ’を生成する。更に、
車線輪郭抽出部１１Ｐは、これらのマッチングデータ
を、予め記憶してある車線の寸法的特徴と比較し、この
寸法的特徴を満たすマッチング線を車線の輪郭線として
採用して、車線抽出信号Ｓｍｃ’を生成する。領域限定
器１３Ｐは、車線抽出信号Ｓｍｃ’に基づいて、抽出さ
れた車線の周りに領域を設定すると共に、この領域を規
定する領域信号Ｓｒ’を生成する。エッジ抽出器１は斜
視画像Ｖｉでの領域を、この領域信号Ｓｒ’に規定され
る領域に限定する。現位置検出器１５Ｐは、自動車ＡＭ
が、現在位置している道路上の位置を検出する。曲率検
出器１７Ｐは、走行中の車線の曲率を検出する。ヨー角
検出器１９Ｐは、自動車の車線に対する傾斜角度を検出
する。

【０００３】

【発明が解決しようとする課題】しかしながら、全ての
処理は、撮像装置１００によって得られる車両前方の斜
視画像Ｖｉに基づいて行われる。言うまでもなく、斜視
図では三次元的空間が二次元平面の上に表現されるの
で、斜視画像Ｖｉからは対象物である車線の正しい寸法
情報を得ることが出来ない。斜視画像Ｖｉに於いては、
撮像装置１００より遠ざかるにつれて、形状が変形して
表示される。言い換えれば、遠くに在る対象物は、近く
の対象物より小さく表現される。故に、道路或いは車線
のエッジ部の斜視画像Ｖｉも不鮮明になり、エッジ部の
検出が困難になる。また、路面の状態は常に一定では無
いので、一層エッジ部の検出は困難である。たとえは、
草木や土砂等によって、道路の端部或いは車線の白線が
隠されている場合、エッジ検出による道路或いは車道の
輪郭の認識は実質的に不可能である。更に、車線の白線
自体が汚れや損傷によって、部分的に、或いは全面的に
識別困難で在るような場合にも、エッジ検出は実際上不
可能である。尚、路面上の明るさも、天候の変化、トン
ネルの内外、昼夜の別によって状態が異なる。更に、ト
ンネル内や車道に取り付けられた照明灯が車道を部分的
に照らすので、同じ道路表面であっても、スポット的に
画像の明るさに著しい斑が生じる。さらに、特に夜間走
行中は、自車或いは多車のライトによる逐次変化する照
明の影響が重畳される。このように走行場所、走行時間
帯や天候の違い、更にそのような場所、時間帯、及び天
候が同一であっても固定照明や可動照明により斜視画像
Ｖｉ各部分で照度が動的に変化する環境において、前記
エッジ検出用閾値Ｅｔｈ’を正確に設定する事は不可能
である。つまり、この様な不正確な閾値Ｅｔｈ’に基づ
いて生成された輪郭抽出信号Ｓｃ’から、対象物の正し
い寸法の情報を得ることは不可能である。さらに、この
ような信頼できない、不正確な、歪んだ寸法の情報に基
づいて、車両の局地的位置把握及び、誤って把握した局
地位置情報に基づいて、道路の曲率、車両に働くヨー角
検出等の処理を行うことが非常に危険であることは明白
である。また、道路方向を正確に検出することができる
必要がある。

【０００４】

【課題を解決するための手段】この課題を解決するため
に本発明による道路方向検出装置は、車両前方の道路を
撮影する道路画像撮影手段と、前記道路画像撮影手段に
より得られた画像の画像特性に基づいて、前記画像を複
数の分割領域に分割する画像分割手段と、前記画像分割
手段からの分割領域を併合して道路領域を抽出する道路
領域併合手段と、前記道路領域併合手段により抽出した
道路領域から前記画像の各高さでの道路幅を算出する道
路幅検出手段とを具備し、前記道路領域併合手段は、前
記画像の自車両直下の位置における分割領域とその左右
に隣接する分割領域を、前記道路幅検出手段により前回
の道路方向検出処理で求めた道路幅分だけ併合し、上記
併合処理を画像の上方の所定位置まで繰り返し行なって
今回の道路方向検出処理における道路領域を抽出し、更
に、前記道路幅検出手段からの画像底部における２点の
道路端データ及び所定の消失線上の任意の位置の消失点
から作られる三角形領域と、前記道路領域併合手段によ
り抽出された道路領域との相関を取ることによって、相
関が最大になる消失点を検出する道路領域相関値検出手
段と、前記道路領域相関値検出手段により検出された相
関値が最大になる消失点位置から車両前方の道路の方向
を検出する道路方向検出手段とを具備することを特徴と
する。

【０００５】

【発明の実施の形態】図１に、本発明に係る局地的位置
把握装置ＬＰの構成を示す。この局地的位置把握装置Ｌ
Ｐは、例えば、自動車ＡＭ（不図示）等の自由軌道走行
車両に搭載される。局地的位置把握装置ＬＰは、 デジ
タル撮像装置１００、空間周波数分離器２００、路面検
出器３００、道路輪郭検出器４００、道路検出器５０
０、及びＥＣＵ（電気制御ユニット）７００を含む。Ｅ
ＣＵ７００は、車両の走行速度及び操舵状態に代表され
る車両の状態を検出して、速度信号Ｓｖ及び操舵信号Ｓ
ｓを含む車両状態信号Ｓｃを生成すると共に車両の電気
装置の各種制御を行う自動車産業界に於いて衆知な装置
である。デジタル撮像装置１００は、撮像素子より成
り、Ｐh ｘ ＰＶ画素マトリックスによって対象物の画
像を連続的に得ることができる。ＰhとＰＶは、それぞ
れ水平方向と垂直の方向に配置される画素の数を表して
いる。故に、画素数ＰhとＰＶを増やせば、画像の解像
度を上げることができるので、本発明の位置把握等の動
作の精度を上げることができる。一方、製造コストが増
えるという問題があるので、これらの数ＰhとＰＶは必
要とされる分解能と製造コストに従って決定されるべき
である。一例として、Ｐｈ及びＰｖはそれぞれ、４２８
及び２６８とされているが、これに限定されるものでは
ない。デジタル撮像装置１００は自動車ＡＭの前端部近
くに設置されて、自動車ＡＭの進行方向の風景画像Ｖｉ
を連続的に撮影して、デジタル画像信号Ｓｉを生成す
る。この画像Ｖｉは、自動車ＡＭの中から見た前方の斜
視図である。この画像Ｖｉは、静止画及び動画のいずれ
でも良い。空間周波数分離器２００はデジタル撮像装置
１００に接続されて、デジタル画像信号Ｓｉの入力を得
る。空間周波数分離器２００はデジタル画像信号Ｓｉか
ら、低周波成分を抽出して空間低周波数信号ＳＬを生成
すると共に、高周波成分を抽出して空間高周波信号ＳＨ
を生成する。

【０００６】道路面検出器３００は空間周波数分離器２
００に接続されて、空間低周波数信号ＳＬの入力を得
る。空間低周波数信号ＳＬに基づいて、道路面検出器３
００は前景画像Ｖｉから道路面を検出して路面領域信号
Ｓｒｒを生成する。同様に、道路輪郭検出器４００は空
間周波数分離器２００に接続されて、空間高周波信号Ｓ
Ｈに基づいて、前景画像Ｖｉから道路の輪郭を検出して
路面輪郭信号Ｓｒｅを生成する。斜視画像Ｖｉに於ける
輪郭検出の走査領域を検出された輪郭の周囲に限定して
処理負荷を低減する為に、輪郭検出走査領域を限定する
領域限定信号Ｓｒを生成して空間周波数分離器２００に
入力する。空間周波数分離器２００は、デジタル画像信
号Ｓｉに於いて領域限定信号Ｓｒで指定された部分のみ
から空間高周波信号ＳＨを抽出する。

【０００７】道路検出器５００は、道路面検出器３００
及び道路輪郭検出器４００に接続されて、路面領域信号
Ｓｒｒ及び路面輪郭信号Ｓｒｅの入力を得る。道路検出
器５００は路面領域信号Ｓｒｒに基づいて、路面輪郭信
号Ｓｒｅの示して路面輪郭が正しいかどうかを判定し、
判定結果を示す路面判定信号Ｓｊを生成して、道路輪郭
検出器４００にフィードバックする。更に、道路検出器
５００は、路面輪郭信号Ｓｒｅの示す路面輪郭が正しい
と判定した場合にのみ、路面輪郭信号Ｓｒｅをそのまま
出力する。尚、道路輪郭検出器４００は路面判定信号Ｓ
ｊに基づいて、路面輪郭信号Ｓｒｅを更新して道路検出
器５００に出力する。道路検出器５００は、路面輪郭信
号Ｓｒｅが正しい路面輪郭を示していると判断されるま
で、路面判定信号Ｓｊによって道路輪郭検出器４００に
路面輪郭信号Ｓｒｅの更新を継続させて、正しい路面輪
郭を示していると判断された時点で路面輪郭信号Ｓｒｅ
を外部に出力する。

【０００８】路上位置検出装置６００は、道路検出器５
００に接続されて路面輪郭信号Ｓｒｅの入力を得ると共
に、ＥＣＵ７００に接続されて車両状態信号Ｓｃの入力
を得る。路上位置検出装置６００は、正しい路面輪郭を
示す路面輪郭信号Ｓｒｅと車両の走行状態を示す車両状
態信号Ｓｃに基づいて、自動車ＡＭの移動中或いは静止
位置を検出して、路上位置検出信号Ｓｐを生成する。
尚、この路上位置検出信号Ｓｐに基づいて、車両の運転
状態を制御するＥＣＵ制御信号の生成や、ナビゲーショ
ン装置用のナビゲーション信号等の種々の制御信号を生
成方法及び装置に関しては、本願と同一出願人による日
本出願番号特願平８−１０２８９２（平成８年４月２４
日出願）及び、対応米国出願番号０８／６３７、４１７
（１９９６年４月２５日出願）に詳しく開示されてい
る。

【０００９】図４に、デジタル撮像装置１００を搭載し
た自動車ＡＭの側面を大略示す。デジタル撮像装置１０
０の光軸Ａｘは、自動車ＡＭが道路上を移動する方向Ｚ
と一致しているが、水平面に対して所定の角度θだけ、
下向きになるように設定されている。この場合、自動車
ＡＭの前端部の真下の路面の画像Ｖｉを得るのに、十分
に大きい画角を有したデジタル撮像装置１００が用いら
れる。図５に、デジタル撮像装置１００によって得られ
た、デジタル画像信号Ｓｉに表される自動車ＡＭから進
行方向前方をみた斜視画像Ｖｉを示す。自動車ＡＭは、
二車線道路の左側の車線を走行している。この二車線道
路は、３本の車線分離線Ｌｍ１、Ｌｍ２、及びＬｍ３に
よって、二車線に分けられている。つまり、右側車線
は、分離線Ｌｍ３及びＬｍ２によって、左側車線は分離
線Ｌｍ１及びＬｍ２によって案内されている。通常、こ
れらの車線分離線は路面上に、白色ペイントで、明示さ
れている。同図に於いて、斜視図Ｖｉの底辺部は、自動
車ＡＭの前端部の真下の道路の画像である。更に、作図
上の制限により、前景が線描されていて、あたかも輪郭
のみで表現された画像のように見えるが、通常のビデオ
カメラで撮像された画像のように、対象物をそれぞれ輝
度、濃度、及び色彩の異なる画素で表示された画像であ
ることは言うまでも無い。

【００１０】（実施の形態１）図２に、図１に示した空
間周波数分離器２００、路面検出器３００、道路輪郭検
出器４００、道路検出器５００、及び路上位置検出装置
６００の詳細な構成を示す。空間周波数分離器２００
は、デジタル画像信号Ｓｉに基づいて空間低周波数信号
ＳＬを生成する低周波抽出器２０２と、空間高周波信号
ＳＨを生成する高周波抽出器２０４を有する。低周波抽
出器２０２はデジタル画像信号Ｓｉ中の輝度データを使
用して空間周波数の低い成分のみの画像ＶＬを生成する
ものであり、好ましくは、二次元ローパスフィルタ（Ｌ
ＰＦ）により構成される。一方、高周波抽出器２０４
は、デジタル画像信号Ｓｉ中の輝度データを使用して空
間周波数の高い成分のみの画像ＶＨを生成するものであ
り、好ましくは二次元ハイパスフィルタ（ＨＰＦ）によ
り構成される。つまり、低周波抽出器２０２と高周波抽
出器２０４により、デジタル撮像装置１００によって撮
像された画像Ｖｉを選択する周波数が重ならないよう低
周波画像ＶＬと高周波画像ＶＨとを分離している。路面
検出器３００は、路面輝度設定器３０２、路面画像抽出
器３０４、及び路面領域設定器３０６を有する。路面輝
度設定器３０２は、空間周波数分離器２００の低周波抽
出器２０２に接続されて空間低周波数信号ＳＬの入力を
得ると共に、ＥＣＵ７００に接続されて車両状態信号Ｓ
ｃの入力を得る。路面輝度設定器３０２は、車両状態信
号Ｓｃ中の速度信号Ｓｖに基づいて、空間低周波数信号
ＳＬに於いて道路を示す画素の輝度を示す路面輝度（Ｂ
ｍｉｎ、Ｂｍａｘ）を設定して、その閾値輝度を表す路
面輝度信号ＳＢｒを空間低周波数信号ＳＬと共に出力す
る。路面画像抽出器３０４は路面輝度設定器３０２に接
続されて、空間低周波数信号ＳＬ及び路面輝度信号ＳＢ
ｒ（Ｂｍａｘ）に基づいて空間低周波数信号ＳＬ中に路
面領域を抽出して路面抽出信号Ｓｒｓを生成して、空間
低周波数信号ＳＬ及び路面輝度信号ＳＢｒと共に出力す
る。路面領域設定器３０６は、路面画像抽出器３０４に
接続されて、空間低周波数信号ＳＬ、路面輝度信号ＳＢ
ｒ、及び路面抽出信号Ｓｒｓの入力を得る。路面領域設
定器３０６は、路面抽出信号Ｓｒｓに基づいて空間低周
波数信号ＳＬ中に路面領域を設定して路面領域信号Ｓｒ
ｒを生成する。

【００１１】道路輪郭検出器４００は、閾値設定器４０
２、輪郭抽出器４０４、及び領域限定器４０６を有す
る。閾値設定器４０２は空間周波数分離器２００の高周
波抽出器２０４に接続されて、空間高周波信号ＳＨに於
いて道路を示す画像の輪郭点をエッジ処理で抽出する閾
値Ｅｔｈを設定して、その閾値を表す輪郭閾値信号Ｓｔ
ｈを生成して空間高周波信号ＳＨと共に出力する。輪郭
抽出器４０４は閾値設定器４０２に接続されて、輪郭閾
値信号Ｓｔｈに基づいて空間高周波信号ＳＨに於いて路
面を示す画像の輪郭を抽出して路面輪郭信号Ｓｒｅを生
成して前記の道路検出器５００に出力する。領域限定器
４０６は輪郭抽出器４０４に接続されて、路面輪郭信号
Ｓｒｅに基づいて、空間高周波信号ＳＨ中で路面輪郭を
抽出すべき領域を限定する領域限定信号Ｓｒを生成して
空間周波数分離器２００の高周波抽出器２０４に出力す
る。高周波抽出器２０４は、デジタル画像信号Ｓｉ中の
領域限定信号Ｓｒで限定された領域から高周波成分を抽
出して空間高周波信号ＳＨを生成する。輪郭抽出器４０
４は、更に、道路検出器５００に接続されて路面判定信
号Ｓｊのフィードバックを得て、路面輪郭信号Ｓｒｅが
正しい路面の輪郭を抽出していない場合には、現在路面
輪郭して抽出している輪郭に隣接する輪郭エッジを路面
輪郭として採用するべく路面輪郭信号Ｓｒｅを更新し
て、道路検出器５００に出力する。

【００１２】道路検出器５００は、前述のように、路面
領域信号Ｓｒｒに基づいて、路面輪郭信号Ｓｒｅが正し
い路面輪郭エッジを抽出しているか否かを判断して、路
面判定信号Ｓｊを生成する。路面判定信号Ｓｊは好まし
くは、路面輪郭信号Ｓｒｅが正しい路面輪郭エッジを抽
出している場合はハイに、否の場合はローになる二値信
号である。つまり、路面判定信号Ｓｊがローの場合は、
道路検出器５００は路面輪郭信号Ｓｒｅを遮断して、輪
郭抽出器４０４の路面輪郭信号Ｓｒｅを更新させる。そ
して、路面判定信号Ｓｊがハイの場合にのみ、路面輪郭
信号Ｓｒｅを路上位置検出装置６００に出力する。つま
り、輪郭抽出器４０４は高周波抽出器２０４から出力さ
れる高周波画像データＳＨを使用して、道路の白線に相
当する白線候補となる推定輪郭点（路面輪郭信号Ｓｒ
ｅ）を検出するものである。道路検出器５００は路面画
像抽出器３０４で検出した道路領域データ（路面領域信
号Ｓｒｒ）と、輪郭抽出器４０４で検出した推定輪郭点
（路面輪郭信号Ｓｒｅ）とを使用して、道路白線の輪郭
点を検出するものである。

【００１３】路上位置検出装置６００は、座標変換器６
０２、マッチング検出器６０４、車線輪郭抽出器６０
６、及び車線内位置検出器６０８を有する。座標変換器
６０２は、路面輪郭信号Ｓｒｅに、斜視前景画像Ｖｉを
鳥瞰画像Ｖｃｃに変換する座標変換を施して、鳥瞰輪郭
信号Ｓｃｃを生成する。マッチング検出器６０４は座標
変換器６０２に接続されて、鳥瞰輪郭信号Ｓｃｃに基づ
いて、輪郭を検出した路面が直線路か曲線路であるかを
検出し、マッチした路面形状を示すマッチング信号Ｓｍ
を生成する。車線輪郭抽出器６０６はマッチング検出器
６０４に接続されて、マッチング信号Ｓｍに基づいて、
現在走行中の車線の輪郭を抽出して、車線輪郭信号Ｓｌ
ｃを生成する。車線内位置検出器６０８は車線輪郭抽出
器６０６に接続されて、車線輪郭信号Ｓｌｃに基づい
て、同車線内に於ける自身の位置を検出して位置信号Ｓ
ｐを生成してＥＣＵに出力する。前述のように、路上位
置検出装置６００はＥＣＵ７００に接続されて、車両状
態信号Ｓｃに基づいて位置信号Ｓｐの生成を行うが、本
明細書においては、一例として、車両状態信号Ｓｃ中の
操舵信号ＳｓＴに基づくマッチング検出器６０４による
車線輪郭マッチング処理について、後に図２０、図２
１、及び図２２を参照して詳述する。

【００１４】以下に添付の図５、図６、図７、図８、図
９、図１０、図１１、図１２、図１３、図１４、図１
５、図１６、図１７、図１８、図１９、図２０、図２
１、図２２、図２３、図２４、及び図２５を参照して、
本発明に係る局地的位置把握装置ＬＰの各要部の動作に
ついて説明する。デジタル撮像装置１００については、
図５を参照して既に説明済みであるので、先ず、図５及
び図６を参照してして空間周波数分離器２００の高周波
抽出器２０４によるエッジ抽出について説明する。高周
波抽出器２０４は、デジタル画像信号Ｓｉから高周波成
分を抽出してエッジ画像Ｖｈを表す空間高周波信号ＳＨ
を生成する。高周波抽出器２０４は、一例として、デジ
タル画像信号Ｓｉにソーベルフィルター等のフィルター
処理を施して、画像濃度が急激に変化するエッジ画素を
抽出する。この際、処理負荷を軽減する為に、以下の述
べるように、斜視画像Ｖｉデータ全域にでは無く所定の
領域にのみフィルター処理を行い斜視エッジ画像Ｖｈデ
ータ（空間高周波信号ＳＨ）を生成する。つまり、一本
の水平線Ｌｓによって、斜視画像Ｖｉ（図５）は上部領
域Ｓｔと下部領域Ｓｂの二つの部分に分けられる。尚、
水平線Ｌｓは画像Ｖｉの底部から垂直方向に、上端部に
向かって数えてＡ番目の水平位置に配置された画素に一
致する。上端部領域ＳｔはＰh ｘ（ＰＶ-Ａ）画素面積
を有し、下部領域ＳｂはＰｈｘＡ画素面積を有する。こ
のＡ番目の垂直位置は、自動車ＡＭが平坦路を走行中
に、前景の消滅点が画像Ｖｉに出る垂直画素位置と一致
するように決めることが好ましい。本発明の実施の形態
に於いては、Ａは、デジタル撮像装置１００によって直
接に自動車ＡＭの進行方向を撮像したときに、自動車Ａ
Ｍからおよそ５０メートル離れた場所の像を映す画素の
垂直位置にセットされる。本発明による局地的位置把握
動作の開始直後は、高周波抽出器２０４は下部領域Ｓｂ
にのみ空間高周波成分抽出（フィルタリング）処理を施
して、エッジ画素を抽出して空間高周波信号ＳＨを生成
する。つまり、空間高周波信号ＳＨには、Ｓｂ部（Ｐh
ｘＡ）から抽出されたエッジ画素だけを含んでいる。

【００１５】図６に空間高周波信号ＳＨによって表され
る抽出エッジ画像Ｖｈを示す。画像Ｖｉ（図５）の下部
領域Ｓｂからは、主に車線表示Ｌｍ１、Ｌｍ２、及び、
Ｌｍ３と、その周辺の画素がエッジ画素として抽出され
ている。図示されていないが、これら車線表示に関係な
い部分からもエッジ画素が抽出されていることは言うま
でもない。閾値設定器４０２は低周波抽出器２０２に接
続されて抽出エッジ画素から成る空間高周波信号ＳＨを
受けている。閾値設定器４０２は、空間高周波信号ＳＨ
から、車線表示Ｌｍの輪郭の部分のエッジ画素を効果的
に抽出するための閾値Ｅｔｈを以下の式に基づいて閾値
Ｅｔｈを決定する。Ｅｔｈ＝Ｃ・Ｅｍａｘ ＋（１−
Ｃ）・Ｅｍｅａn （１）第１式において、Ｅｍａ
ｘ及びＥｍｅａnは、斜視画像Ｖｉの下部領域Ｓｂに於
ける所定の水平線上の画素の有する最大濃度と平均濃度
を表す。さらに、Ｃは０より大きく、１より小さい所定
の定数である。

【００１６】次に図７及び図８を参照して、輪郭抽出器
４０４による輪郭抽出について説明する。図７に、輪郭
抽出器４０４が輪郭線を抽出しているエッジ画像Ｖｈ
（ＳＨ）を示す。輪郭抽出器４０４は、空間高周波信号
ＳＨの下部領域Ｓｂの画素を閾値Ｅｔｈに基づいて走査
して、車線表示の輪郭線を抽出する。抽出エッジ画像Ｖ
ｈの下部領域Ｓｂは更に、垂直中心線Ｌｃによって、左
右の下部領域ＳｂＬとＳｂＲに細分化される。この中心
線Ｌｃは、抽出エッジ画像Ｖｈの底部の中心の位置Ｐh/
２に位置する画素から垂直に延びている。しかし、この
垂直線Ｌｃは中心位置Ｐh/２に限定されるものではな
い。輪郭抽出器４０４は、まず水平線Ｌｓに沿って、中
心線Ｌｃから左右の水平方向の水平線ＬｈＬ及びＬｈＲ
に沿って走査し、途中の画素の濃度を閾値Ｅｔｈを比較
し、閾値Ｅｔｈ以上の濃度を有する画素を輪郭画素とし
て抽出する。そして、この中心線Ｌｃに沿って底部に向
かって所定の画素数分移動したのち、その位置からま
た、左右の水平方向に走査して、輪郭画素を求めてい
く。実際には、左右の下部領域の一方を先に、走査して
輪郭画素を求めている。例えば、水平ラインＬｈの左半
分ＬｈＬをこの中心線Ｌｃに沿って、所定の間隔ＰＬｈ
で上部（Ａ位置）から下部に向かって順番に移動させ
て、左下部領域Ｓｂ内の輪郭画素を求める。その後、同
様にして、右下部領域Ｓｂの輪郭画素を求めて路面輪郭
信号Ｓｒｅを生成する。

【００１７】水平走査位置を所定間隔ＰＬｈでスキップ
させていくことによって、Ｐｖ／ＰＬｈの絶対値に相当
する整数Ｋ本の水平線Ｌｈで抽出することになり、計算
負荷の低減を図ると共に、画素抽出処理の迅速化を可能
にしている。言うまでもなく、ＰＬｈを一画素単位でセ
ットできる。。このようにして、左右の下部領域ＳｂＬ
及びＳｂＲの輪郭画素を求めていくが、各垂直位置に於
いて、各左右の線ＬｈＬ及びＬｈＲに関して、最初に所
定濃度を持つ画素が見つかれば、その画素Ｐｅを輪郭画
素と定めて、その水平線に関しては、輪郭画素の走査は
行わないで、次の垂直位置での水平線に移動してその垂
直位置での輪郭画素を求める。つまり、水平線Ｌｓから
数えて、最初の水平線Ｌｈに関して、左右の車線表示Ｌ
ｍ１及びＬｍ２の内側エッジ部で、輪郭画素が検出され
る。しかしながら、３番目、４番目の線に関して言え
ば、この垂直位置では、右側の車線表示Ｌｍ２の分割さ
れているため、水平線は、右側車線表示Ｌｍ２を通り越
し、隣の車線の表示Ｌｍ３の内側エッジを輪郭画素とし
て検出してしまう。更に、図７には示されていないが、
垂直線Ｌｃから各車線表示までの間に、傷とか汚れ等が
あれば、これらのエッジも輪郭点として検出される。こ
れらの輪郭画素は、現在走行中の車線に対応するもので
ないので、本発明に係る位置把握動作に対する一種のノ
イズ成分となる。これらノイズ成分は、後に詳述する道
路検出器５００による路面判定により除去される。

【００１８】図８に、このようにして得られた路面輪郭
信号Ｓｒｅによって表されている抽出輪郭画像Ｖｒｅを
示す。車線表示Ｌｍ１、Ｌｍ２、及びＬｍ３に対応する
検出された輪郭画素がそれぞれ点線で示されているＳｃ
Ｌ、ＳｃＲ、及びＳｃＲ’に対応する。ここで、Ｓｃ
Ｒ’は、先に述べたノイズデータである。更に、車線輪
郭ＳｃＬの近傍に示されていう点線ＳｃＬ’は、路面上
の汚れ、傷等、影等の原因で抽出されたノイズデータで
ある。

【００１９】図９及び図１０を参照して、領域限定器４
０６による領域設定を説明する。図９に示すように、領
域限定器４０６は路面輪郭信号Ｓｒｅに基づいて、抽出
された輪郭ＳｃＬ及びＳｃＲのそれぞれを中心に左右に
所定の水平長さＷｒで規定される限定領域ＲｓＬ及びＲ
ｓＲを設定する。そして、設定された限定領域ＲｓＬ及
びＲｓＲを示す領域限定信号Ｓｒを空間周波数分離器２
００の高周波抽出器２０４に出力する。但し、輪郭抽出
器４０４が車線輪郭を抽出出来なくて、路面輪郭信号Ｓ
ｒｅの代わりにエラー信号Ｓｅｅ（不図示）を出力した
場合には、上述の領域限定を行わない。限定領域の幅Ｗ
Ｒは、自動車ＡＭの横方向移動に伴う画像中の車線表示
（白線）がｘ方向へ移動する量を考慮して予め設定して
おく。ＷＲは、斜視画像ＶｉでＬｍ１をマークする車線
とすれば、本発明装置の１システムサイクルＣＳ、例え
ば３３ｍＳ、の間に移動する可能性のある距離に相当す
る量である。よって、この限定幅は、画像底辺に近づく
につれて大きくなるように設定されている。

【００２０】図１０に示すように、高周波抽出器２０４
は領域信号Ｓｒに基づいて、斜視画像Ｖｉの下部領域Ｓ
ｂ内のエッジ抽出処理の対象部分を、限定領域ＲｓＲ及
びＲｓＬ内に限定する。このように、斜視画像Ｖｉのデ
ータ処理量を少なくして、処理の迅速化を図ると共に、
対象とする車線輪郭以外のノイズ成分の影響を押さえ
て、車線に対する追随性を向上させることができる。ノ
イズ成分が、前述の対向車線Ｌｍ３の輪郭線ＳｃＲ’の
ように限定領域ＲｓＬ（ＲｓＲ）から十分離れている場
合には、領域設定器４０６による領域限定で除去でき
る。しかし、点線ＳｃＬ’のような輪郭ノイズが本来の
車線輪郭ＲｃＲの近傍に場合には、限定領域ＲｓＲ内に
含まれてしまうことがある、この場合、領域設定器４０
６に領域限定では同輪郭ノイズの除去は不可能である。
これらのノイズ成分については、後述の道路検出器５０
０による路面判定により除去される。

【００２１】図１１を参照して、空間周波数分離器２０
０の低周波抽出器２０２による低周波画像生成を簡単に
説明する。低周波抽出器２０２は、デジタル画像信号Ｓ
ｉにローパスフィルタリングを施して空間低周波数信号
ＳＬを生成する。図１１に示すように、空間低周波数信
号ＳＬの表す低周波画像ＶＬに於いては、前景画像Ｖｉ
中の対象物は、それぞれ輝度の異なる画素集合によっ
て、ボケた状態で表現される。つまり、空間低周波数信
号ＳＬの表す低周波画像ＶＬは輝度画像である。空間低
周波数信号ＳＬの生成においても、処理負荷を軽減する
為に、空間高周波信号ＳＨ生成の場合と同様に、斜視画
像Ｖｉデータ全域にでは無く、Ｓｂ部（Ｐh ｘＡ）から
抽出された輝度画素だけを抽出する。このようにして得
られた前景斜視輝度画像ＶＬに於いて、路面を表す画素
の輝度は、自動車ＡＭつまりデジタル撮像装置１００か
ら遠方の路面に対応する画素ほど輝度が高いと言う傾向
がある。路肩、側溝、及び側壁と言う対象部においても
同様に遠方を示す画素ほど輝度が高い。図１１に於いて
は、Ａ位置に於ける画素、つまり水平線Ｌｓ上の画素
が、それぞれ属する対象物を表す画素の中で一番高い輝
度を有し、最下部の画素が一番低い輝度を有する。

【００２２】しかし、同様の遠距離にある異なる対象物
の画素間のそれぞれの輝度は同一と言う訳では無く、材
質の違いによる反射率、また光源から光を受ける角度の
違いによって輝度が異なるからである。しかし、遠方を
示す画素ほど輝度が高いと言う関係は保たれる。前述の
ように、輝度画像ＶＬはデジタル撮像装置１００によっ
て前景路面を重点的に撮像して得た斜視画像Ｖｉの下部
Ｓｂからのみ生成している。それ故に、輝度画像ＶＬの
画素の大半は路面を表しているので、輝度画像ＶＬ中の
全画素に対してもこの傾向が概ね適用できる。そこで、
デジタル撮像装置１００から見て最遠方部に在る水平線
Ｌｓ上の画素の内で路面を表す画素を路面最遠画素Ｐｆ
とし、その輝度値を路面最高輝度Ｂｍａｘとする。そし
て、最下部画素の内で路面を表す画素を路面最近画素Ｐ
ｎとし、その輝度値を路面最低輝度値Ｂｍｉｎとする。
尚、路面最遠画素Ｐｆ及び路面最近画素Ｐｎは、必要に
応じて、任意の位置に設定して良いことは言うまでもな
い。

【００２３】図１２に、輝度画像ＶＬ中の全画素につい
て、横軸に輝度値をとり、縦軸に各輝度値を有する画素
数をとり作成したヒストグラムを示す。同図に示すよう
に、輝度画像ＶＬ中の画素の大半が路面最低輝度値Ｂｍ
ｉｎと路面最高輝度Ｂｍａｘの輝度を有する路面を表す
画素であることが分かる。このことから、路面最低輝度
値Ｂｍｉｎと路面最高輝度Ｂｍａｘ間の輝度を路面輝度
Ｂｒと呼び、更にこれらの画素を路面表示画素Ｐｒと呼
ぶ。尚、図４を参照して説明したように、デジタル撮像
装置１００が自動車ＡＭの前方のほぼ中央に取付けられ
ている場合には、路面最遠画素Ｐｆと路面最近画素Ｐｎ
を図７で示した垂直中心線Ｌｃ上の適当な位置Ｖｐｆ及
びＶｐｎにそれぞれ設定すれば、この二点Ｖｐｆ及びＶ
ｐｎ間の距離に含まれる路面は路面表示画素Ｐｒで表さ
れる。この意味に於いて、位置Ｖｐｆは路面検出最遠距
離であり、位置Ｖｐｎは路面検出最近距離である。デジ
タル撮像装置１００のＡＭに於ける取り付け位置に応じ
て、路面最遠画素Ｐｆは路面検出最遠距離Ｖｐｆ上の任
意の位置に設定し、同様に路面最近画素Ｐｎは路面検出
最近距離Ｖｐｎ上の任意の位置に設定すれば良い。路面
検出最遠距離Ｖｐｆ及び路面検出最近距離Ｖｐｎも車速
や、局地的位置把握装置ＬＰの処理能力に応じて、任意
の位置に設定すれば良いが、これについては後程詳しく
説明する。

【００２４】図１３に、輝度画像ＶＬ中の路面のみを表
示する画素の輝度値と、各画素が対応する路面の撮像距
離との関係の一例を示す。同図は、自動車ＡＭの前部に
デジタル撮像装置１００を搭載して、晴天時に高速道路
の直線車線上を走行中に得られた輝度画像ＶＬ内の路面
表示画素に関して得られた実験値である。同図におい
て、横軸は、輝度画像ＶＬに於ける水平走査位置（Ｐ
ｖ）つまり画素毎の対応距離Ｄを、縦軸に、その距離に
於ける輝度Ｂである。同図より明らかなように、上述の
距離と輝度値の関係が明らかに認められる。距離-輝度
値の関係が直線では無く右肩上がりの波形になっている
のは、同一路面に於いても白線や、汚れ等、更に路面表
面の起伏等による乱反射により部分的に色や輝度に斑が
あるからである。更に、既に述べたように、水平走査遠
位置が高いほど１画素が表す範囲が広いために、輝度値
の変動も大きくなる。しかしながら、この様な撮像距離
と画素輝度値の関係は次式（２）で表すことができる。 Ｂ ＝ Ａ・Ｄ ＋ Ｃ （２） 尚、高速道路の直線車線上では、Ａ＝０．４１２８、Ｄ
＝１０８．５６と言う値が実験結果として得られてい
る。また、この第２式に示す直線の上下に Ｂ ＝ Ａ・Ｄ ＋ Ｃ’ （３） Ｂ ＝ Ａ・Ｄ ＋ Ｃ” （４） 但し、Ｃ’及びＣ”（Ｃ’＞Ｃ＞Ｃ”）を正しく設定す
ることで、第３式及び第４式で表される二本の平行線を
求めることによって、各走査位置を示す画素の輝度値の
範囲を求めることが出来る。

【００２５】図１４を参照して、路面輝度設定器３０２
による路面輝度設定について説明する。図１１、図１
２、及び図１３を用いて説明した撮像距離と画素輝度値
の関係に基づいて、空間低周波数信号ＳＬに対して、位
置把握処理対象とする路面の領域を規定する距離に応じ
た画素位置に路面最遠画素Ｐｆ及び路面最近画素Ｐｎに
それぞれ設定する。そして、路面最遠画素Ｐｆに於ける
画素輝度を路面最高輝度Ｂｍａｘとし、路面最近画素Ｐ
ｎに於ける画素輝度を路面最低輝度値Ｂｍｉｎとして取
り込んで、路面輝度信号ＳＢｒを生成する。尚、必要に
応じて、路面輝度信号ＳＢｒには上述の第３式及び第４
式で表された範囲の輝度値幅を有するように設定され
る。尚、これら路面最遠画素Ｐｆ及び路面最近画素Ｐｎ
の輝度画像ＶＬ上の位置を、図３に示す斜視画像座標に
もとづいて、Ｐｆ（ｘＰｆ、ｙＰｆ）とＰｎ（ｘＰｎ、
ｙＰｎ）とそれぞれ表す。尚、路面最高輝度Ｂｍａｘを
検出する路面最遠画素Ｐｆの位置は、自動車ＡＭの移動
速度及び局地的位置把握装置ＬＰの処理速度Ｔｐに応じ
た適正ない位置に設定する事によって、局地的位置把握
装置ＬＰの設置された自動車ＡＭの走行条件に応じた精
度の高い車線領域検出が実現できる。例えば、自動車Ａ
Ｍの走行速度Ｓｖに応じて、路面最遠画素Ｐｆを輝度画
像ＶＬ中を垂直方向に移動させることによって、自動車
ＡＭが高速走行している場合には自動車ＡＭより遠方地
点における測定精度を確保する。同様に自動車ＡＭが低
速走行している場合は、より近距離地点での車線検出の
精度を向上することができる。自動車ＡＭが高速走行時
には、近距離位置を検出している間に自動車ＡＭはその
地点を通り過ぎてしまうので、局地的位置把握装置の処
理速度と走行速度Ｓｖに応じた適切な距離の地点から路
面最高輝度Ｂｍａｘを検出することが合理的である。

【００２６】更に、自動車ＡＭが直進路を進行中には路
面最遠画素Ｐｆは、輝度画像ＶＬの垂直中心線Ｌｃ上に
設定すれば十分である。しかしながら、自動車ＡＭが曲
進道を走行する場合には、路面最遠画素Ｐｆは輝度画像
ＶＬ中の側壁等の路面以外の画像から路面最高輝度Ｂｍ
ａｘを抽出してしまう恐れがある。この様な場合には、
自動車ＡＭの操舵角度に基づいて、車線の曲率を推定す
ることによって、常に輝度画像ＶＬ中の路面領域の画像
のみを路面最高輝度Ｂｍａｘ抽出対象とする事ができ
る。つまり、操舵信号Ｓｓに応じて、路面最遠画素Ｐｆ
を輝度画像ＶＬ中の水平方向に移動させることによっ
て、路面最遠画素Ｐｆを路面画像中に設定することが出
来る。上述の速度信号Ｓｖ及び操舵信号Ｓｓに基づい
て、路面最遠画素Ｐｆを輝度画像ＶＬ中を水平垂直に自
由に動かすことによって、路面表示画素を路面最遠画素
Ｐｆにする事ができる。尚、速度信号Ｓｖの代わりに運
転者が、任意の対象距離（垂直方向位置）を入力しても
良い。更に、操舵信号Ｓｓの代わりに、ナビゲーション
システム等に用いられている地図データから車線の直進
或いは曲進に関する情報を得ても良いことは言うまでも
ない。要するに、必要に応じて、適当な手段により路面
最遠画素Ｐｆ及び路面最近画素Ｐｎを輝度画像ＶＬ中の
任意の方向に移動或いは固定制御することにより、検出
対象物画像をより確実補足する事ができる。

【００２７】図１５、図１６、及び図１７を参照して路
面画像抽出器３０４による路面画像抽出について説明す
る。路面画像抽出器３０４は、空間低周波数信号ＳＬの
下部領域Ｓｂの画素を図１３に示す走査位置に対する画
素輝度値の関係（第２式、第３式、及び第４式）に基づ
いて走査して、路面画像内の画素を抽出する。路面画像
抽出器３０４に於ける路面画像抽出は、図１２を参照し
て説明した輪郭抽出器４０４の車線表示の輪郭線と類似
している。しかし、輪郭抽出器４０４は輪郭閾値信号Ｓ
ｔｈに基づいて閾値以上の輝度エッジを有する画素から
車線輪郭を抽出するのに対して、路面画像抽出器３０４
では、各水平走査位置（Ｐｖ）に於いて前記第２式、第
３式、或いは第４式を満たす路面最高輝度Ｂｍａｘ以下
且つ路面最低輝度値Ｂｍｉｎ以上の画素を抽出して路面
画像とする。尚、白線部Ｌｍ１、Ｌｍ２、及びＬｍ３の
最内周部に於いて、図８に於ける輪郭画素ＳｃＬ、Ｓｃ
Ｒ、及びＳｃＲ’にそれぞれ相当する領域画素の集合Ｅ
ｌｍ、Ｅｒｍ、及びＥｒｍ’が得られる。尚、必要に応
じて、これら相当する領域画素集合Ｅｌｍ、Ｅｒｍ、及
びＥｒｍ’に基づいて、最小二乗法や、後で図２０、図
２１及び図２２を参照して説明するＨｏｕｇｈ変換等の
適当な手法を用いて、白線部Ｌｍ１、Ｌｍ２、及びＬｍ
３の内端部を表す直線を求めても良い。図１６に画素集
合ＥｌｍのＨｏｕｇｈ変換等の例を示す。更に図１７に
直線近似された路面画像を示す。このように、直線近似
の結果、対抗車線の白線Ｌｍ３の白線内端部Ｅｒｍ’が
除去される。

【００２８】図１８を参照して、路面領域設定器３０６
による路面領域設定について説明する。路面領域設定器
３０６は、路面抽出信号Ｓｒｓに基づいて、抽出された
白線内端部Ｅｌｍ及びＥｒｍのそれぞれを中心に左右に
所定の水平長さＷａで規定される路面端領域ＡｅＬ及び
ＡｅＲを設定する。そして、設定された路面領域ＡｅＬ
及びＡｅＲを示す路面領域信号Ｓｒｒを道路検出器５０
０に出力する。但し、路面領域設定器３０６が路面領域
を抽出出来なくて、路面抽出信号Ｓｒｓの代わりにエラ
ー信号Ｓｅｅ（不図示）を出力した場合には、上述の領
域限定を行わない。路面画像抽出器３０４に於ける路面
領域設定は、領域限定器４０６に於ける輪郭抽出領域限
定に類似しているが、設定領域幅Ｗａは上述の第２式、
第３式、及び第４式で示されたＣ、Ｃ’、及びＣ”に基
づいて適宜定めることができる値である。このように、
路面画像抽出器３０４は低周波抽出器２０２からの低周
波数画像データからなる空間低周波数信号ＳＬを使用し
て、輝度の分布から所定の関係にある画素からなる領域
毎にひとまとめにして輝度画像ＶＬを分割し、更に分割
された領域を道路に関する知識を使用してその領域を併
合して路面領域を検出するものである。ここで道路に関
する知識とは、デジタル撮像装置１００により撮影され
た画像Ｖｉの路面最遠画素Ｐｆ及び路面最近画素Ｐｎを
含む領域は道路であるということである。これに加え
て、左右の白線が交差する消失点が時間的に急激には変
化しないことや、道路の画素に占める大きさがほぼ一定
である等を含めることもできる。従って少なくとも路面
最近画素Ｐｎを含む領域とし、又はこれに加えて隣接す
る領域を加えて道路とする。

【００２９】次に、道路検出器５００の動作について説
明する。道路検出器５００は、道路輪郭検出器４００か
ら供給された路面輪郭信号Ｓｒｅの示す輪郭線ＳｃＲ及
びＳｃＬ（図８）が、路面領域信号Ｓｒｒに示される路
面端領域ＡｅＲ及びＡｅＬにそれぞれ含まれるか否かが
判断される。つまり同一水平走査線位置（距離）に於い
て、ＳｃＲの値がＡｅＲ±Ｗａ内である場合には、路面
輪郭信号Ｓｒｅは正しい路面輪郭を示していると見なし
て、路面判定信号Ｓｊをローにすると共に、路面輪郭信
号Ｓｒｅを路上位置検出装置６００に出力する。一方、
ＳｃＲの値がＡｅＲ±Ｗａ外である場合には、路面輪郭
信号Ｓｒｅは路面輪郭を示していない、つまり路面内の
ノイズ輪郭をしめしていると見なして、路面判定信号Ｓ
ｊをハイにして、路面輪郭信号Ｓｒｅを外部に出力しな
い。以上のように、同じ輝度画像データから空間周波数
的に重なりのない低周波画像と高周波画像を作成し、そ
れぞれの画像から独立に道路領域と道路白線候補輪郭点
を検出することにより、精度の高い道路白線検出を実現
できる。。

【００３０】図３及び図４を参照して、座標変換器６０
２による抽出輪郭画像Ｖｒｅの座標変換の概念を簡単に
説明する。座標変換器６０２は路面輪郭信号Ｓｒｅの座
標系を変換して、その信号の表す斜視画像Ｖｒｅから鳥
瞰図画像Ｖｃｃに変換する。抽出輪郭画像Ｖｒｅに於い
ては、対象が斜視された状態で表現されているので、デ
ジタル撮像装置１００からの距離が遠くなるほど、対象
物の形状はより歪んでしまう。言い換えれば、同じ大き
さの二つの対象物でも、近くに在る対象物より、遠くに
在る物の方が小さく表現される。対象物の形は撮像デバ
イス１００か自動車ＡＭから距離が遠くなるに従って歪
みが大きい。図３に斜視画像Ｖｉ、Ｖｈ、及びＶｒｅの
座標系を示す。図４も自動車ＡＭを基準とした鳥瞰座標
系を示す。画像座標系（ｘ、ｙ）のｘ軸は、鳥瞰図の座
標系のＸ軸に平行で同方向、デジタル撮像装置１００の
光軸Ａｘが水平面に対して角度θ傾いているので、ｙ軸
もＹ軸に対して角度θだけ傾いている。このように、Ｘ
軸とＺ軸で、自動車ＡＭの走行面である路面に対して実
質的に平行な水平面Ｐｄを規定する。Ｙ軸とｙ軸は芯が
合っている。Ｘ軸は図４の面に対して垂直である。原点
Ｏは、抽出輪郭画像Ｖｒｅの座標系原点と同一であると
共に、デジタル撮像装置１００の光軸が通っている。そ
して、次の方程式を利用することにより、斜視画像Ｖｒ
ｅの座標を鳥瞰画像Ｖｃｃの座標に変換できる。。 Ｘ ＝（ｘ/Ｆ）（Ｚｃｏｓθ-Ｙｓｉｎθ） （５） Ｚ ＝ Ｙ（Ｆｃｏｓθ＋Ｙｓｉｎθ） （６） Ｙ ＝ −Ｈ （７） Ｆは、デジタル撮像装置１００の光学レンズの焦点距
離、θはＺ軸（水平方向軸）と光学レンズの光軸Ａｘの
成す角度、Ｈは路面から光軸レンズの原点までの距離。
θもＨも、好ましくは、図５を参照して説明したような
自動車ＡＭの進行方向前方の斜視画像Ｖｉを得られるよ
うに設定される。たとえは、θは６度に、Ｈは１．２メ
ータに設定される。

【００３１】上述の式（５）、（６）、及び（７）に基
づいて、抽出輪郭画像Ｖｒｅ中の距離を変換することに
よって、路面輪郭信号Ｓｒｅを座標変換した鳥瞰画像信
号Ｓｃｃが得られる。この信号Ｓｃｃに於いては、水平
方向の距離は、デジタル撮像装置１００からＺ軸方向に
距離が離れても関係無く、正確に表される。厳密に言え
ば、座標変換された画像Ｖｃｃは鳥瞰図画像ではなく、
常に路面と平行な面に路面を映した、いわば路面の平面
図である。それ故に、例えば、路面が小さい丘のように
盛り上がりや、さらに起伏を有していても、画像Ｖｃｃ
は路面を、常に平坦な表面として示す。しかしながら、
このような誤差は、本発明に係る局地的位置把握の精度
を損なうものではない。なぜなら、局地的位置把握は、
先に述べたように５０メートル先と言った比較的近距離
を、制御対象の再遠方地点としているので、路面の起伏
と言ったような変動を無視できる。しかしながら、路面
の完全な鳥瞰図画像、つまり鉛直線に垂直な水平面に垂
直に投影した路面の平面図画像が必要であれば、デジタ
ル撮像装置１００の光軸Ａｘを自動車ＡＭに固定するこ
となく、ジャイロ等の既知の自動姿勢制御装置を利用す
ることによって、常に水平面に対して一定の姿勢で画像
Ｖｉを得るようにすれば良い。ちなみに、以下の（８）
式及び（９）式に基づいて、鳥瞰座標から斜視座標に逆
変換できる。 ｘ＝ＦＸ/（Ｚｃｏｓθ＋Hｓｉｎθ) （８） ｚ＝Ｆ（Ｈｃｏｓθ＋Ｚｓｉｎθ)/（Ｚｃｏｓθ−Ｈｓｉｎθ) （９）

【００３２】図１９に、座標変換された鳥瞰画像信号Ｓ
ｃｃが表す輪郭画像Ｖｃｃを示す。車線表示Ｌｍ１、Ｌ
ｍ２、及び、Ｌｍ３がそれぞれに対応するエッジ輪郭線
ＳｃＬ、ＳｃＲ、及び、ＳｃＲ’によって表現されて
る。図８に示す抽出輪郭画像Ｖｒｅと比較すれば分かる
ように、図１９に於いては、輪郭線ＳｃＬ、ＳｃＲ、及
び、ＳｃＲが互いに平行に、実際の道路上の車線のよう
に表されている。つまり、座標変換鳥瞰画像信号Ｓｃｃ
は、対象物の正しい平面寸法の情報を含む。図２に示す
ように、マッチング検出器６０４は座標変換器６０２に
接続されて、鳥瞰画像信号Ｓｃｃに基づいて、各輪郭Ｓ
ｃＬ、ＳｃＲ、及び、ＳｃＲ’に適合する直線或いは円
弧の式を以下のようにして求める。まず、鳥瞰画像信号
Ｓｃｃに含まれる各車線表示の内側の輪郭線ＳｃＬ、Ｓ
ｃＲ、及びＳｃＲ’の各画素データを、対応輪郭線毎に
別個に、以下の第１０式に基づいてハフ（Ｈｏｕｇｈ）
変換する。 ρ ＝ Ｘｃｏｓφ ＋ Ｚｓｉｎφ （１０） ρはＺ−Ｘ座標系に於ける、原点Ｏと画素の間の距離；
φは原点Ｏと画素を結ぶ線とＸ軸との間でなす角度であ
る。そして、第１０式から以下の式が得られる。 Ｘ ＝（ρ − Ｚｓｉｎφ）/ｃｏｓφ （１１） 鳥瞰画像信号Ｓｃｃを走査し、輪郭線データをハフ（Ｈ
ｏｕｇｈ）変換に基づいてパラメータ空間上に変換すれ
ば、各輪郭線毎に１群の曲線が得られる。この一群の曲
線に基づいて、輪郭線が直線か、或いは円弧かを判断す
ることを、図２０及び図２１及び図２２を参照しながら
説明する。先ず図２０には、ハフ変換された線データが
直線である場合の典型的なパターンが示されている。つ
まり、一群の曲線が、一点Ｃｐで交差する。しかしなが
ら、現実問題として、車線表示Ｌｍ及び輪郭線自体完全
な直線ではないので、図２０の様に、完全に１点のみで
交差すると言うことは非常に難しい。しかし、概ね１点
で交差しようとするので、パラメータ空間上の各（画
素）点で、各曲線が交差する頻度Ｆｃを調べ、その頻度
が所定の閾値Ｅｔｈより大きい点があれば、その点を唯
一の交点Ｃｐとする。そして、輪郭線は直線とみなし、
適合する直線の式を求める。

【００３３】図２１及び図２２には、ハフ変換された線
データが円弧で在る場合の典型的なパターンが表されて
いる。つまり、この場合、図２１に示されるように、全
く交差しないか、図２２に示されるよう一群の曲線は、
互いに、Ｃｐ１、Ｃｐ２、Ｃｐ３、Ｃｐ４、Ｃｐ５、及
び、Ｃｐ６（Ｃｐｎ）と言う複数の交点で交差する。ｎ
は整数である。同様に、各点での交差頻度Ｆｃを求め
て、新たに設定閾値Ｆｔｈ’より高い頻度を有する点が
無ければ、一群の曲線は交差していないとし、輪郭線は
円弧であると見なし、適合する円弧の式を求める。つま
り、これらの式で、自動車ＡＭが現在走行中或いは静止
中の車線、つまり道路の寸法的特徴を知ることができ
る。図２に示すように、車線輪郭抽出器６０６はマッチ
ング検出器６０４に接続されて、マッチング信号Ｓｍを
受け取る。マッチング信号Ｓｍには、前述のように、ノ
イズ成分である輪郭線データＳｃＲ’も含まれている。
それで、車線輪郭抽出器１１が、マッチング信号Ｓｍに
含まれている寸法の特徴データを、自動車の幅、車線
幅、車線分離線Ｌｍ２の分割パターン等の予め主要点デ
ータと比較されて目的車線に適合しない輪郭データＳｃ
Ｒ’は、除外されて、現在の車線に対応する輪郭線Ｓｃ
Ｒ及びＳｃＬのデータのみがマッチング信号Ｓｍとして
出力される。もし、マッチング信号Ｓｍ信号中に、車線
に該当するデータがない場合にはエラー信号Ｓｅｅ（不
図示）が出力される。

【００３４】図１９を参照して、車線輪郭抽出器６０６
によるフィルター動作を説明する。鳥瞰図画像Ｖｃｃ
に、今三本の輪郭線ＳｃＬ、ＳｃＲ、及びＳｃＲ’が含
まれている。上から数えて２画素目までは、左側の二本
輪郭線ＳｃＬ及びＳｃＲが一本の車線表示Ｌｍを規定す
るペアとなされる。しかしながら、第３〜５番目までの
画素に関しては、右側の車線表は、分割タイプので、鳥
瞰画像信号Ｓｃｃは、右隣の車線の輪郭線ＳｃＲ’を抽
出している。この場合、明らかに、二本の輪郭線ＳｃＬ
とＳｃＲ’の間隔は、車線表示にしては広すぎる。しか
し、この時点ではＳｃＬとＳｃＲ’のどちらの輪郭線が
異常なのか分からない。第６番目から１１番目の画素に
関して、明らかに輪郭線ＳｃＬとＳｃＲはペアである。
また、左輪郭線ＳｃＬは、マッチング検出器６０４によ
って、一本の円弧ＳｃＬｍをマッチングされているの
で、第３〜５番目の画素に付いても、車線表示Ｌｍ１に
対応すると見なされる。その結果、隣の車線のＳｃＲ’
の３画素は、誤りと見なされて無視される。そして、正
しいペアである輪郭線ＳｃＬ及びＳｃＲの二本だけが、
抽出されて、それぞれにマッチングした輪郭線ＳｃＬｍ
及びＳｃＲｍが選択されて、その情報と共に車線輪郭信
号Ｓｌｃとして出力される。上述の道路検出器５００に
よる路面判定に加えて、車線輪郭抽出器６０６による処
理の結果、一本の車線を規定しないようなノイズ成分、
例えば路上の傷や汚れに起因するのも、車線輪郭信号Ｓ
ｌｃから除かれていることは明らかである。図２３に、
上述の車線輪郭抽出器６０６による輪郭線ノイズ除去さ
れた車線抽出信号Ｓｌｅにより表される抽出車線輪郭画
像Ｖｌｅを示す。

【００３５】次に、図２３を参照して、車線内位置検出
器６０８の働きを説明する。車線輪郭抽出器６０６から
の車線輪郭信号Ｓｌｃを受けて、車線内位置検出器６０
８は、左右の車線輪郭に当てはめてた円または、直線の
関係式（ＳｃＬｍ及びＳｃＲｍ）と、Ｚ＝０の直線の交
点ＨＬとＨＲを求める。次に、車線の中央の座標つまり
ＨＬとＨＲの中点の座標（ＨＣ、０）を求める。ここ
で、カメラの位置は（０、０）であるから、デジタル撮
像装置１００を自動車ＡＭの中央に取り付けている場合
には、自動車ＡＭの位置は車線の中央からの横変異量を
−ＨＣとして得ることができる。

【００３６】以下に図２４に示すフローチャートを参照
して、本実施の形態に係る局地的位置把握装置ＬＰの動
作を説明する。ブロック＃１に於いて、デジタル撮像装
置１００から前景を撮像して生成した画像データＳｉを
取り込む。ブロック＃３に於いて、空間周波数分離器２
００がデジタル画像信号Ｓｉから空間低周波数信号ＳＬ
及び空間高周波信号ＳＨを生成する。ブロック＃５於い
て、閾値設定器４０２が空間高周波信号ＳＨ中のエッジ
画素濃度に基づいて閾値Ｅｔｈを決定すると共に輪郭閾
値信号Ｓｔｈを生成する。ブロック＃７に於いて、輪郭
抽出器４０４が輪郭閾値信号Ｓｔｈに基づいて、空間高
周波信号ＳＨから閾値Ｅｔｈに基づいて、車線表示の輪
郭を抽出して、路面輪郭信号Ｓｒｅを生成する。ブロッ
ク＃９に於いて、路面輪郭信号Ｓｒｅ信号の代わりにエ
ラー信号Ｓｅｅが出力されていないかが判断される。エ
ラー信号Ｓｅｅが出力されている場合には、輪郭が抽出
されていないことを意味するので、ＹＥＳと判断されて
ブロック＃１に戻りブロック＃１に戻る。ＮＯの場合
は、次のブロック＃１１に進む。

【００３７】ブロック＃１１に於いて、領域限定器４０
６は路面輪郭信号Ｓｒｅに基づいて、空間高周波信号Ｓ
Ｈ中で輪郭を抽出すべき領域を設定して、領域限定信号
Ｓｒを生成すると共に高周波抽出器２０４に出力する。
これ以降、ブロック＃３に於いて、高周波抽出器２０４
はデジタル画像信号Ｓｉ内で領域限定信号Ｓｒによって
設定された領域内の高周波成分を抽出して空間高周波信
号ＳＨを生成する。ブロック＃１３に於いて、路面輝度
設定器３０２はブロック＃３で生成された空間低周波数
信号ＳＬに対して、路面輝度範囲（Ｂｍａｘ、Ｂｍｉ
ｎ）を設定して、路面輝度信号ＳＢｒを生成する。ブロ
ック＃１５に於いて、路面画像抽出器３０４は、路面輝
度信号ＳＢｒに基づいて、空間低周波数信号ＳＬから道
路面画像を抽出して、路面抽出信号Ｓｒｓを生成する。
ブロック＃１７に於いて、路面領域設定器３０６は、路
面輝度信号ＳＢｒ及び路面抽出信号Ｓｒｓに基づいて、
車線存在可能領域（ＡｅＲ、ＡｅＬ）を示す路面領域信
号Ｓｒｒを生成する。ブロック＃１９に於いて、路面領
域信号Ｓｒｒの代わりにエラー信号Ｓｅｅが出力されて
いないかが判断される。路面領域が検出されていない場
合には、ＹＥＳと判断されてブロック＃１に戻る。ＮＯ
の場合は、次のブロック＃２１に進む。

【００３８】ブロック＃２１に於いて、道路検出器５０
０は路面領域信号Ｓｒｒに基づいて、路面輪郭信号Ｓｒ
ｅが示している抽出輪郭が正しいか判断する。正しくな
い場合には路面判定信号Ｓｊによって輪郭抽出器４０４
を駆動して、路面輪郭信号Ｓｒｅを更新し、正しい場合
にのみ路面輪郭信号Ｓｒｅを路上位置検出装置６００に
出力する。ブロック＃２３に於いて、座標変換器６０２
によって、路面輪郭信号Ｓｒｅの抽出輪郭画像Ｖｒｅを
鳥瞰画像Ｖｃｃに座標変換して鳥瞰画像信号Ｓｃｃを生
成する。ブロック＃２５に於いて、マッチング検出器６
０４により、ハフ変換を利用して、鳥瞰画像信号Ｓｃｃ
中の内側輪郭線を表す式を、直線或いは円弧でマッチン
グする。更にマッチング検出器６０４は、マッチした直
線或いは円弧を表すマッチング信号Ｓｍを生成する。ブ
ロック＃２７に於いて、マッチング信号Ｓｍの代わりに
エラー信号Ｓｅｅが出力されていないかが判断される。
マッチングする直線或いは円弧が無い場合には、ＹＥＳ
と判断されてブロック＃１に戻る。ＮＯの場合は、次の
ブロック＃２９に進む。ブロック＃２９に於いて、車線
輪郭抽出器６０６はマッチング信号Ｓｍに示されるマッ
チした輪郭線の寸法的特徴を、車線の寸法的特徴と比較
する。車線輪郭抽出器６０６は、現在位置している車線
を規定する一組の車線輪郭線を抽出して、車線輪郭信号
Ｓｌｃを生成する。ブロック＃３１に於いて、車線内位
置検出器６０８が車線輪郭信号Ｓｌｃに基づいて現位置
を検出して、位置信号Ｓｐを生成する。尚、ブロック＃
９、＃１９、及び＃２７に於いて、エラー信号Ｓｅｅが
生成されていれば、ブロック＃１に処理を戻しているの
は、同一時刻に抽出された空間高周波信号ＳＨ及び空間
低周波数信号ＳＬに基づいて、各ブロックに於ける処理
を行うことにより、精度の高い車線検出及び位置検出を
行う為である。しかしながら、必要な検出精度によって
は、ブロック＃９、＃１９、及び＃２７を廃止しても、
実用上差し支えない。

【００３９】（実施の形態２）以下、本発明の第二の実
施形態について、図２６から図４５を用いて説明する。
図２６は本実施形態に係る道路領域抽出装置の第一の実
施例を示すブロック図である。この道路領域抽出装置は
道路画像撮影手段１１、輝度ヒストグラム作成手段１
２、道路輝度分離手段１３、道路多角形検出手段１４を
含んで構成されている。まず道路画像撮影手段１１は車
両前方の道路画像を入力するものであって、ＴＶカメラ
が用いられる。このＴＶカメラを車両前方のほぼ中央部
に配置しておくものとすれば、道路画像撮影手段１１よ
り得られる画像の底面中央部Ｒは後述するように道路を
含むものとなる。輝度ヒストグラム作成手段１２はその
入力した道路画像データから図２７に示すように輝度の
ヒストグラムを作成すると共に、画像上での車両位置つ
まり画像底部の中央の位置の輝度を検出するものであ
る。道路輝度分離手段１３はヒストグラムでの画像上で
の車両位置での輝度値を中心に、左右に度数の変化を調
べ、度数の谷を検出することによって道路に相当する輝
度範囲を求め画像上でその範囲内の画素を道路領域候補
として抽出するものである。道路多角形検出手段１４は
道路候補領域として抽出した領域で、画像底部走査線の
中央から左右にその領域の端を検出し、検出した端の位
置から中点を見つけ上方の走査線で同様に端を見つけ、
多角形として道路領域を検出するものである。

【００４０】次に、上述した処理の流れを具体的に図２
８のフローチャートを用いて説明する。まずステップＳ
１において、道路画像撮影手段１１からの輝度データを
使用して輝度のヒストグラムを作成する。ステップＳ２
で、画像底部の中央の位置での輝度ｂ₀を使用して、先
ほどの輝度ヒストグラムにおける車両直下の位置を求め
る。まず、左側の谷を検出する。ステップＳ３におい
て、ｂを輝度値パラメータ、ｂ₁をある一定の輝度値と
し、次の互いに重なる範囲ｂ₀−ｂ₁≦ｂ＜ｂ₀ 及びｂ₀
−３ｂ₁／２≦ｂ＜ｂ₀−ｂ ₁／２での夫々の輝度の平均
ｂ_mean１、ｂ_mean２を求める。ステップＳ４において、
ｂ_meanａ＝ｂ_mean２−ｂ_mean１の演算を行い、ステップ
Ｓ５において、ｂ_meanａの符号判定を行う。符号が負か
ら正に変わったら谷が存在すると判定する。もし、符号
が負から正に変わっていなければ、ステップＳ６で、ｂ
₀＝ｂ₀−ｂ₁／２としステップＳ３に戻る。こうして同
様の処理を繰り返すことにより、輝度ヒストグラム上で
左側の谷を検出できる。。

【００４１】次に、右側の谷を検出する。まずステップ
Ｓ７において同様にｂ₀をステップＳ２の初期値とし、
ｂ₀＜ｂ≦ｂ₀＋ｂ₁ 及びｂ₀＋ｂ₁／２＜ｂ≦ｂ₀＋３ｂ
₁／２の範囲の夫々の輝度の平均ｂ_mean３、ｂ_mean４を
求める。次にステップＳ８でｂ_meanｂ＝ｂ_mean４−ｂ
_mean３を求める。ステップＳ９でｂ_meanｂの符号判定を
行い、符号が負から正に変わったら谷が存在すると判定
する。もし、符号が負から正に変わっていなければ、ス
テップＳ１０で、ｂ₀＝ｂ₀＋ｂ₁／２とし、ステップＳ
７を繰り返す。こうして同様の処理を繰り返すことによ
り、輝度ヒストグラム上で右側の谷を検出できる。。そ
してステップＳ１１で、谷に囲まれている輝度範囲を使
用して、画像上でその輝度範囲に入っている画素を道路
候補領域として抽出する。ステップＳ１２では、図２９
に示すように画像底部走査線の中央から左右にその領域
の端を検出し、検出した端の位置から中点を見つけその
位置から一定幅上方の走査線の左右から同様に端を順次
見つける。こうして得られた周囲の各点を図示のように
結んで多角形として道路領域を検出する。以上のよう
に、輝度ヒストグラムでの車両直下の輝度値が含まれる
領域を検出する。更に、それに対応した画像上での領域
を使用して、車両直下に対応する画像底辺中央から道路
領域の端を検出することによって、入力画像毎に正確な
道路領域の抽出ができる。

【００４２】図３０は、本実施形態に係る道路領域抽出
装置の第二の実施例を示す。この道路領域抽出装置は道
路画像撮影手段２１、自車位置道路輝度パターン計測手
段２２、路面輝度パターン道路領域分割手段２３を含ん
で構成されている。道路画像撮影手段２１は車両前方の
道路画像を入力するものであり、ＴＶカメラが用いられ
る。このＴＶカメラを車両前方のほぼ中央部に配置して
おくものとすれば、道路画像撮影手段２１より得られる
画像の底面中央部Ｒは後述するように道路を含むものと
なる。自車位置道路輝度パターン計測手段２２は、その
入力した道路画像データから図３１に示すように画像底
辺の中央から一定の領域Ｓ₀をとってその範囲内の輝度
分布ａを計測するものである。路面輝度パターン道路領
域分割手段２３は、道路画像を分割して図３２に示すよ
うにその個々の輝度分布ｂと自車位置道路輝度パターン
計測手段２２で求めた輝度分布パターンａとを比較する
ことによって、パターンが類似しておれば道路と判断す
る。

【００４３】以上のように構成された道路領域抽出装置
の動作について、図３３のフローチャートを用いて説明
する。まず、ステップＳ１で道路画像撮影手段２１から
の輝度データを使用して画像底辺中央から一定の範囲の
領域Ｓ₀の輝度の平均μや分散σ2などの輝度分布パター
ンを求め、Ｓ₀内のデータ数をｎとし最大対数尤度を次
のように求める。 １（μ，σ２）＝−（ｎ／２）log2πσ２−ｎ／２ （１２） ステップＳ２において道路画像をＮ×Ｎ（ここの領域の
データ数ｎ）に分割し領域Ｓ₀と異なる領域Ｓｉの輝度
の平均μi や分散σi2などの輝度分布パターンを求め、
最大対数尤度liを計算する。ステップＳ３において最大
対数尤度liが１−α≦li≦１＋α（αは正の定数）であ
ればステップＳ４で道路と判定する。例えば図３２のパ
ターンａ、ｂは輝度値が異なっているが、分布パターン
が類似しているため領域Ｓ１ は道路と判断する。もし
上式を満たさないときはステップＳ５で道路ではないと
判断する。ステップＳ６において、i ≧Ｎ×Ｎならば終
了し、そうでなければ、ステップＳ７でｉ＝ｉ＋１とし
てステップＳ２に戻り、同様の処理を繰り返す。

【００４４】以上のようにこの実施の形態では、車両直
下近傍の領域の輝度パターンと同様のパターンを持つ領
域を検出することによって、正確に道路領域を抽出でき
る。。又、輝度パターンのＳ₀との尤度から画像全体を
分割することもできる。図３４は本実施形態に係る道路
領域抽出装置の第三の実施例を示す。この道路領域抽出
装置は道路画像撮影手段３１、輝度ヒストグラム作成手
段３２、画素数道路領域抽出手段３３を含んで構成され
ている。まず道路画像撮影手段３１は車両前方の道路画
像を入力するものであり、ＴＶカメラが用いられる。こ
のＴＶカメラを車両前方のほぼ中央部に配置しておくも
のとすれば、道路画像撮影手段３１より得られる画像の
底面中央部は道路を含むものとなる。輝度ヒストグラム
作成手段３２は、その入力した道路画像データから図３
５に示すように輝度のヒストグラムを作成し、車両位置
つまり画像底部の中央の位置の輝度を検出する。本実施
例では、輝度ヒストグラムに於いては車両位置での輝度
より輝度値が大きく、且つカメラの高さや画角や伏角に
よって画像上での道路に対応する画素数がほぼ一定値に
決まることを利用しており、この画素数をｇとする。画
素数道路領域抽出手段３３は道路の画素数に対応する度
数を含む輝度範囲までを道路画素による度数と判断する
ものである。輝度ヒストグラムの道路領域と判定した領
域の輝度範囲に入っている道路画像の画素を抽出し、道
路領域とする。以上のように構成された道路領域抽出装
置１の動作について、図３６のフローチャートを用いて
説明する。

【００４５】まずステップＳ１において、道路画像撮影
手段からの輝度データを使用して輝度のヒストグラムを
作成する。図３５はこの輝度ヒストグラムの一例を示し
ている。ステップＳ２で、画像底部の中央の位置での輝
度ｂ₀を使用し、度数の和ｓを０にする。ステップＳ３
でｂ₀より大きい各輝度での度数ａを使用して度数の和
ｓを求める。ステップＳ４で、ｓがあらかじめ求めてい
た道路領域に対応する画素数ｇを越えていたら道路領域
を抽出したと判断する。もし、ｇより小さければステッ
プＳ５、Ｓ３に戻って次の輝度値ｂ₀＋Δｂの輝度の度
数ａ_iを加算する。ｓがｇを越えればステップＳ６に進
み、超えたときの輝度値ｂ₁と車両位置での元の輝度ｂ₀
を使用してｂ₀≦ｂｒ≦ｂ₁の輝度ｂｒの画素を抽出す
る。そしてステップＳ７において、これらの画素を道路
画像上で見つけて、道路領域とする。以上のように、道
路の輝度値は車両直下の輝度値より連続的に明るくなる
性質を使用している。そのために、輝度ヒストグラムで
車両直下の輝度を求め、その値からあらかじめ求めてお
いた画像上での道路の画素数分の度数を含む輝度値を求
めてこの輝度範囲に入る画素を道路と判断することによ
って、正確に道路領域を抽出できる。

【００４６】図３７に本実施形態に係る道路領域抽出装
置の第四の実施例を示す。この道路領域抽出装置は道路
画像撮影手段４１、輝度ヒストグラム作成手段４２、画
像分割手段４３、道路領域併合手段４４、道路幅検出手
段４５を含んで構成されている。まず道路画像撮影手段
４１は車両前方の道路画像を入力するものであり、ＴＶ
カメラが用いられる。このＴＶカメラを車両前方のほぼ
中央部に配置しておくものとすれば、撮影手段１１より
得られる画像の底面中央部Ｒは後述するように道路を含
むものとなる。輝度ヒストグラム作成手段４２は入力さ
れた道路画像データから図３８に示すように輝度ヒスト
グラムを作成すると共に、画像上での車両位置、つまり
画像底部の中央の位置の輝度を検出するものである。次
に画像分割手段４３は輝度の分布からすべての谷を検出
して図３９のように前記道路画像を分割するものであ
る。道路領域併合手段４４は後述する道路幅検出手段４
５からの道路幅情報を基に、車両直下の分割領域を最初
に横方向の領域を併合し、次いで縦方向の分割領域を併
合していくものである。道路幅検出手段４５は道路領域
併合手段４４から求めた道路領域より画面上の各高さか
ら道路の幅を求めるものである。

【００４７】以上のように構成された道路領域抽出装置
の動作について図４０及び図４１のフローチャートを用
いて説明する。まずステップＳ１において、道路画像撮
影手段からの輝度データを使用して、図３８に示すよう
に輝度のヒストグラムを作成する。ステップＳ２で、画
像底部の中央の位置での輝度ｂ₀を使用して、先ほどの
輝度ヒストグラムにおける車両直下の位置を求める。ま
ず、左側の谷を検出する。ステップＳ３において、ｂを
輝度値パラメータ、ｂ₁をある一定の輝度値とし、次の
互いに重なる範囲ｂ₀−ｂ₁≦ｂ＜ｂ₀及びｂ₀−３ｂ₁／
２≦ｂ＜ｂ₀−ｂ ₁／２での夫々の輝度の平均ｂ_mean１、
ｂ_mean２を求める。ステップＳ４において、ｂ_meanａ＝
ｂ_mean２−ｂ_mean１を求める。ステップＳ５において、
ｂ_meanａの符号判定を行う。符号が負から正に変わった
ら谷が存在すると判定する。もし、符号が負から正に変
わっていなければ、ステップＳ６で、ｂ₀＝ｂ₀−ｂ ₁／
２としステップＳ３に戻る。こうして同様の処理を繰り
返すことにより、輝度ヒストグラム上で左側の谷を検出
できる。この処理を輝度ヒストグラムの左端まで実行し
て（ステップＳ７）、ステップ８に進む。次に、右側の
谷を検出する。まずステップＳ８において同様にｂ₀を
ステップＳ２の初期値とし、ｂ₀＜ｂ≦ｂ₀＋ｂ₁及びｂ₀
＋ｂ₁／２＜ｂ≦ｂ₀＋３ｂ₁／２の範囲の夫々の輝度の
平均ｂ_mean３、ｂ_mean４を求める。次にステップＳ９で
ｂ _meanｂ＝ｂ_mean４−ｂ_mean３を求める。

【００４８】次に図４１に示すステップＳ１０で、ｂ
_meanｂの符号判定を行い、符号が負から正に変わったら
谷が存在すると判定する。もし、符号が負から正に変わ
っていなければ、ステップＳ１１で、ｂ₀＝ｂ₀＋ｂ₁／
２とし、ステップＳ７を繰り返す。こうして同様の処理
を繰り返すことにより、輝度ヒストグラム上で右側の谷
を検出できる。ステップＳ１２で、谷の判定がヒストグ
ラム上の右端まで行われたどうか判定する。もし右端ま
で行っていなければステップＳ１１、Ｓ８を繰り返す。
もし右端まで行っていたら、ステップＳ１３で谷に囲ま
れた領域を見つけて、画像上で対応する領域を抽出す
る。図３９はこうして入力画像を谷に囲まれた領域に分
割したものである。次にステップＳ１４で、自車両直下
に対応する領域を検出し、これを注目領域とする。図３
９では領域Ｓ₀が注目領域となる。そしてステップＳ１
５で、注目領域Ｓ₀の横に接する領域Ｓ₁を併合する。ス
テップＳ１６で前回求めた道路幅ｗｆ（ｈ）を参照して
横幅ｗ（ｈ）を計算する。ステップＳ１７でｗｆ（ｈ）
＞ｗ（ｈ）であればステップＳ１５に戻る。もし、ｗｆ
≦ｗであれば、ステップＳ１８で併合領域の高さｈが所
定の高さｈ₀より大きければ処理を終了する。ここで、
ｈ₀は道路消失線の高さであり、道路が水平であれば道
路画像撮影手段４１の取付け位置によって一定の高さと
なる。もし、ｈ＜ｈ₀であればステップＳ１９で併合領
域の上側に接し下の領域の上部の幅より狭い領域、図３
９ではＳ₂及びＳ₃を併合する。そして高さがｈ₀に達す
れば終了する。以上のように、道路幅に基づいて分割領
域を求め、且つ画像上での道路構成の性質を使用して道
路領域を抽出するので正確な道路領域抽出ができる。
尚、画像は輝度パターンの比較によって分割して、上記
方法で併合して道路領域を抽出することもできる。

【００４９】図４２は本実施形態に係る道路方向検出装
置の第五の実施例を示す。この道路方向検出装置は道路
画像撮影手段５１、輝度ヒストグラム作成手段５２、画
像分割手段５３、道路領域併合手段５４、道路幅検出手
段５５、道路領域相関値検出手段５６、道路方向検出手
段５７を含む。まず、道路画像撮影手段５１は車両前方
の道路画像を入力するものであり、ＴＶカメラが用いら
れる。このＴＶカメラを車両前方のほぼ中央部に配置し
ておくものとすれば、撮影手段５１より得られる画像の
底面中央部は後述するように道路を含むものとなる。輝
度ヒストグラム作成手段５２は入力された道路画像デー
タから図３８に示すように輝度ヒストグラムを作成する
と共に、画像上での車両位置、つまり画像底部の中央の
位置の輝度を検出するものである。

【００５０】次に画像分割手段５３は、輝度の分布から
谷を検出して道路画像を分割するものである。道路領域
併合手段５４は後述する道路幅検出手段５５からの道路
幅情報を基に、車両直下の分割領域を最初に横方向の領
域を併合及び縦方向の分割領域を併合するものである。
道路幅検出手段５５は、道路領域併合手段５４から求め
た道路領域から道路の幅を求める。道路領域相関値検出
手段５６において、図４３に示すように道路幅検出手段
５５からの画像底部における２つの道路端位置と所定の
消失線上の任意の点で作る三角形と道路領域併合手段５
４から求めた道路領域との相関値を求める。道路方向検
出手段５７は、相関値の最も大きなときの消失線上の点
の位置から車両に対する道路の方向を検出する。

【００５１】図４４に示すフローチャートを参照して、
以上のように構成された道路方向検出装置の動作につい
て説明する。先ず、ステップＳ１で第四の実施例と同様
の方法で道路領域を抽出する。ステップＳ２において、
所定の消失線上の左端の点ｒ＝０とする。ステップＳ３
で点ｒと道路端とが作る三角形と抽出した道路領域の相
関、即ち一致する画素数を算出する。ステップＳ４でｒ
＝ｒ＋１として消失線上の点を右に１画素動かす。ステ
ップＳ５で、もし右端ｒ_hを越えないならば、ステップ
Ｓ３に戻って同様の処理を繰り返し、もしｒが右端ｒ_h
を越えるならばステップＳ６に進む。ステップＳ６で、
相関値の最も大きな値をとるｒを検出する。そしてこの
値ｒが画像の横の画素数のｒ_h／２よりも大きければ道
路は車両に対して右方向にあると判断する。もし、ｒ＜
ｒ_h／２ならば左方向であると判断する。以上のよう
に、道路端と消失点の作る三角形と抽出道路領域との相
関をとることによって、最大相関値から車両を基準とし
た道路の方向を容易に求めることできる。

【００５２】

【発明の効果】以上詳細に説明したように本発明の第一
の実施形態に於いては、空間周波数的に重なりのない低
周波画像と高周波画像から独立して道路領域と道路白線
候補の輪郭点を検出している。そのため高周波画像のみ
から輪郭点を検出する従来例に比べてノイズの影響を受
け難く、白線を高精度で検出することができるという効
果が得られる。更に、第二の実施形態に於いては、画像
データから道路領域を検出し、そして車両直下に対応す
る画像底辺中央から道路領域の多角形を検出することに
よって、入力画像毎に正確な道路領域の抽出ができる。
更に、輝度ヒストグラムでの車両直下の輝度値が含まれ
る領域を検出し、それに対応した画像上での領域を使用
して、車両直下に対応する画像底辺中央から道路領域の
端を検出することによって、入力画像毎に正確な道路領
域の抽出ができる。又車両直下近傍の領域と同様のパタ
ーンを検出することによって道路領域の抽出を行ってい
るため正確に道路領域を抽出できる。そして、輝度ヒス
トグラムで車両直下の輝度を求め、その値からあらかじ
め求めておいた画像上での道路の画素数分の度数を含む
輝度値を求めてこの輝度範囲に入る画素を道路と判断す
ることによって、正確に道路領域を抽出できる。更に、
道路幅や輝度パターンの比較によって分割領域を求め、
且つ画像上での道路構成の性質を使用して道路領域を抽
出するので正確に道路領域を抽出できる。

【図面の簡単な説明】

【図１】 本発明の第一の実施形態に係る局地的位置把
握装置の構造を示すブロック図である。

【図２】 図１に示す局地的位置把握装置の要部の詳細
な構造を示すブロック図である。

【図３】 本発明に係る斜視画像の座標系を示す説明図
である。

【図４】 本発明に係る鳥瞰画像間の座標系を示す説明
図である。

【図５】 本発明に係る前景斜視画像を示す説明図であ
る。

【図６】 図５に示す前景斜視画像から抽出されたエッ
ジ画像を示す説明図である。

【図７】 図５に示すエッジ画像から輪郭を抽出する方
法を示す説明図である。

【図８】 図５に示すエッジ画像から抽出された輪郭を
示す説明図である。

【図９】 図２に示す領域設定器による斜視画像の領域
を限定する方法を示す説明図である。

【図１０】 図９に示す方法にて領域限定された斜視画
像を示す説明図である。

【図１１】 図５に示す前景斜視画像から抽出された輝
度画像を示す説明図である。

【図１２】 図１１に示す輝度画像中の画素についての
輝度値と該輝度値を有する画素数との関係を示す説明図
である。

【図１３】 輝度画像中の路面のみを表示する画素の輝
度値と、各画素が対応する路面の撮像距離との関係の実
験値を示す図である。

【図１４】 図２に示す路面輝度設定器による路面輝度
設定方法を示す説明図である。

【図１５】 図２に示す路面画像抽出器による路面抽出
方法を示す説明図である。

【図１６】 図１５に示す路面抽出の際に得られる領域
画素に基づいて、路面領域端部を求める方法の一例を示
す説明図である。

【図１７】 図１６に例示する方法にて直線近似された
路面画像を示す説明図である。

【図１８】 図２に示す路面領域設定器による路面領域
設定を示す説明図である。

【図１９】 図２に示す座標変換器により、路面輪郭信
号を座標変換して得られた鳥瞰画像を示す説明図であ
る。

【図２０】 図１９に示す鳥瞰画像データＳｃｃをハフ
変換して得られる曲線のパターンの一例を示す説明図で
ある。

【図２１】 図１９に示す鳥瞰画像データＳｃｃをハフ
変換して得られる曲線のパターンで、図２０に示すのと
異なる例を示す説明図である。

【図２２】 図１９に示す鳥瞰画像データＳｃｃをハフ
変換して得られる曲線のパターンで、更に図２０及び図
２１に示す例と異なる例を示す説明図である。

【図２３】 図２に示す車線内位置検出器による車線内
位置検出を示す説明図である。

【図２４】 図１に示す局地的位置把握装置の動作を示
すフローチャートである。

【図２５】 従来の局地的位置把握装置の構造を示すブ
ロック図である。

【図２６】 本発明の第二の実施形態に於ける第一の実
施例に係る道路領域抽出装置を示すブロック図である。

【図２７】 図２６に示す輝度ヒストグラム作成手段に
よる道路画像の輝度ヒストグラムの一例を示す説明図で
ある。

【図２８】 図２６に示す道路領域抽出装置の動作を示
すフローチャートである。

【図２９】 図２６に示す道路領域抽出装置による抽出
道路領域から道路端を検出する方法を示す説明図であ
る。

【図３０】 本発明の第二の実施形態に於ける第二の実
施例に係る道路領域抽出装置を示すブロック図である。

【図３１】 図３０に示す道路領域抽出装置により得ら
れた輝度ヒストグラムに於いて、道路領域の占める領域
の一例を示す説明図である。

【図３２】 図３０に示す路面輝度パターン道路領域分
割手段により道路画像を分割してた得られた輝度分布と
自車位置道路輝度パターン計測手段にて得られた輝度分
布パターンを示す説明図である。

【図３３】 図３０に示す道路領域抽出装置の動作を示
すフローチャートである。

【図３４】 本発明の第二の実施形態に於ける第三の実
施例に係る道路領域抽出装置を示すブロック図である。

【図３５】 図３４に示す輝度ヒストグラム作成手段に
よる道路画像の輝度ヒストグラムの一例を示す説明図で
ある。

【図３６】 図３４に示す道路領域抽出装置の動作を示
すフローチャートである。

【図３７】 本発明の第二の実施形態に於ける第四の実
施例に係る道路領域抽出装置を示すブロック図である。

【図３８】 図３７に示す輝度ヒストグラム作成手段に
よる道路画像の輝度ヒストグラムの一例を示す説明図で
ある。

【図３９】 図３７に示す画像分割手段４３による道路
画像の分割を示す説明図である。

【図４０】 図３７に示す道路領域抽出装置の動作を示
すフローチャートの前半部である。

【図４１】 図３７に示す道路領域抽出装置の動作を示
すフローチャートの後半部である。

【図４２】 本発明の第二の実施形態に於ける第五の実
施例に係る道路領域抽出装置を示すブロック図である。

【図４３】 図４２に示す道路領域抽出装置により得ら
れた抽出道路領域と、消失線と道路端の作る三角形との
関係の一例を示す説明図である。

【図４４】 図４２に示す道路領域抽出装置の動作を示
すフローチャートである。

【図４５】 従来の道路領域抽出装置を示すブロック図
である。

【符号の説明】

１１、２１、３１、４１、５１ 道路画像撮影手段 １２、３２、４２、５２ 輝度ヒストグラム作成手段 １３ 道路輝度分離手段 １４ 道路多角形検出手段 ２２ 自車位置道路輝度パターン計測手段 ２３ 路面輝度パターン道路領域分割手段 ３３ 画素数道路領域抽出手段 ４３ 画像分割手段 ４４ 道路領域併合手段 ４５、５５ 道路幅検出手段 ５６ 道路領域相関値検出手段 ５７ 道路方向検出手段 １００ デジタル撮像装置 ２００ 空間周波数分離器 ２０２ 低周波抽出器 ２０４ 高周波抽出機 ３００ 道路面検出器 ３０２ 路面輝度設定器 ３０４ 路面画像抽出器 ３０６ 路面領域設定器 ４００ 道路輪郭検出器 ４０２ 閾値設定器 ４０４ 輪郭抽出器 ４０６ 領域限定器 ５００ 道路検出器 ６００ 局地的位置把握装置 ６０２ 座標変換器 ６０４ マッチング検出器 ６０６ 車線輪郭抽出器 ６０８ 車線内位置検出器 ７００ ＥＣＵ

フロントページの続き (56)参考文献 特開 平４−138505（ＪＰ，Ａ) 特開 平８−184417（ＪＰ，Ａ) 特開 平２−90379（ＪＰ，Ａ) 特開 平２−90380（ＪＰ，Ａ) 特開 平２−90381（ＪＰ，Ａ) 特開 平７−146137（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00 G01B 11/00 - 11/30 G08G 1/00 - 1/16 B60R 21/00

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 車両前方の道路を撮影する道路画像撮影
   手段と、 前記道路画像撮影手段により得られた画像の画像特性に
   基づいて、前記画像を複数の分割領域に分割する画像分
   割手段と、 前記画像分割手段からの分割領域を併合して道路領域を
   抽出する道路領域併合手段と、 前記道路領域併合手段により抽出した道路領域から前記
   画像の各高さでの道路幅を算出する道路幅検出手段とを
   具備し、 前記道路領域併合手段は、前記画像の自車両直下の位置
   における分割領域とその左右に隣接する分割領域を、前
   記道路幅検出手段により前回の道路方向検出処理で求め
   た道路幅分だけ併合し、上記併合処理を画像の上方の所
   定位置まで繰り返し行なって今回の道路方向検出処理に
   おける道路領域を抽出し、 更に、 前記道路幅検出手段からの画像底部における２点の道路
   端データ及び所定の消失線上の任意の位置の消失点から
   作られる三角形領域と、前記道路領域併合手段により抽
   出された道路領域との相関を取ることによって、相関が
   最大になる消失点を検出する道路領域相関値検出手段
   と、 前記道路領域相関値検出手段により検出された相関値が
   最大になる消失点位置から車両前方の道路の方向を検出
   する道路方向検出手段とを具備することを特徴とする道
   路方向検出装置。