JP3463397B2 - 走行路検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、自動車や無人搬送車等
における走行道路領域を画像処理によって認識する走行
路検出装置に関する。

【０００２】

【従来の技術】従来の走行路検出装置としては、第７回
「産業における画像センシングシンポジウム（平成４年
７月７日）」において発表された「連続道路画像からの
道路構造と車両姿勢の実時間推定」という論文に記載さ
れているものがある。これは、路面画像から抽出した白
線の画像データから、道路曲率、勾配、さらには車両姿
勢（ピッチ角、ヨー角、ロール角）を同時に推定する手
法について述べている。

【０００３】白線モデルとしては、道路座標系によって
記述される多次曲線を用いる。入力された画像から白線
候補点を抽出し、画像座標からカメラ座標、カメラ座標
からさらに道路座標へという２段階の座標変換を経て、
白線候補を道路座標系上に投影したものと、前回の白線
候補に基づく道路モデル上の点とを比較する。その比較
結果に基づいて多次曲線式のパラメータの各数値が算出
され、これらのパラメータにより道路モデルの多次曲線
式を更新しつつ、上述の走行路と車両姿勢を認識する。

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の走行路検出装置は特殊な演算装置を用いたう
えに、膨大な演算処理を必要とするため車両などに搭載
する実用化は困難であった。また車両に搭載した場合に
は、検出結果に基づき、例えば路面画像上での先行車の
認識、車線変更に対する警報など、他の演算処理を割り
込み処理で行なうことも必要となるが、２段階の座標変
換を伴なう膨大な演算処理はこれら機能の実現のうえで
も障害となるという問題があった。さらに多次曲線式の
多くのパラメータを、白線候補点の比較だけで行なうた
め、概ね道路曲線の形状を記述できるものの、その精度
の面では問題があった。

【０００５】このため、特殊な演算装置を用いず簡単な
演算で走行路を検出できる走行路検出装置として、出願
人は、特願平６−１６３０５２で提案しているものがあ
る。これは、水平面を二次式、垂直面を一次式で近似す
ることで、道路を路面画像座標系において５つのパラメ
ータによるパラメータ記述式で表わすことにより計算負
荷を軽減した走行路検出装置である。。しかし、５つの
パラメータを求めるにあたっては、近似解を得るために
繰り返し演算を行なう必要があるうえ、５つのパラメー
タ全てが推定値となるため精度を完全に確保できず、上
記のような問題が十分に解消し尽くされていない実情が
ある。

【０００６】本発明は、上記の問題に鑑みなされたもの
であり、５つのパラメータのうち、白線候補点から直接
かつ正確に算定できるパラメータを画像上から直接得る
ことにより、少ない演算で高速かつ道路形状を正確に認
識できる走行路検出装置を提供することを目的としてい
る。

【０００７】

【課題を解決するための手段】請求項１の走行路検出装
置は、車両前方の路面画像を入力する画像入力手段を有
し、該路面画像上の白線を検出して、前記白線の二次曲
線近似式を路面画像の座標系に変換したパラメータ記述
式における、走行車線内の車両位置、道路の平面曲率、
車線に対する車両の横方向の傾き、道路平面に対する車
両の縦方向の傾き、道路幅にそれぞれ関連付けた複数の
パラメータを保持する検出パラメータ保持手段と、路面
画像上の前記白線に沿った複数の白線候補点について、
路面画像の座標系における位置情報を求める白線候補点
検出手段と、自車両直前部の路面画像上の最下端左右の
白線候補点の位置情報より走行車線内の車両位置と道路
幅とに関連付けられた最新の道路パラメータを算出する
道路パラメータ算出手段と、前記検出パラメータ保持手
段に保持した過去の複数のパラメータから演算した仮想
的な白線モデル上の点の位置と、前記白線候補点検出手
段により路面画像から求めた最新の白線候補点の位置と
のズレ量を算出する白線候補点位置ズレ量算出手段と、
該白線候補点位置ズレ量算出手段より得られたズレ量に
基づき道路の平面曲率、車線に対する車両の横方向の傾
き、道路平面に対する車両の縦方向の傾きに関連付けら
れたパラメータの変動量を算出するパラメータ変動量算
出手段と、該変動量に基づいて道路の平面曲率、車線に
対する車両の横方向の傾き、道路平面に対する車両の縦
方向の傾きに関連づけられたパラメータを更新する道路
パラメータ更新手段と、前記道路パラメータ算出手段よ
り得られた走行車線内の車両位置と道路幅とに関連付け
られた最新のパラメータと、前記道路パラメータ更新手
段により更新された道路の平面曲率、車線に対する車両
の横方向の傾き、道路平面に対する車両の縦方向の傾き
に関連付けられた最新のパラメータに、前記検出パラメ
ータ保持手段により保持している道路パラメータを補正
するパラメータ補正手段と、を有するものとした。

【０００８】請求項２の走行路検出装置は、請求項１記
載の走行路検出装置において、前記パラメータ変動量算
出手段は、前記白線候補点位置ズレ量算出手段より得ら
れたズレ量に基づき道路パラメータの変動量を最小二乗
法を用いて算出するものとした。

【０００９】請求項３の走行路検出装置は、請求項１ま
たは２記載の走行路検出装置において、前記パラメータ
補正手段は、更新された複数の道路パラメータに基づい
て、道路の平面曲率、車線に対する車輌の横方向の傾
き、道路平面に対する車両の縦方向の傾きを算出して出
力する道路形状出力手段を含むものとした。

【００１０】請求項４の走行路検出装置は、請求項１、
２、または３記載の走行路検出装置において、前記パラ
メータ記述式は、走行車線内の車両位置、道路の平面曲
率、車線に対する車両の横方向の傾き、道路平面に対す
る車両の縦方向の傾き、道路幅に関連付けた複数のパラ
メータをそれぞれａ、ｂ、ｃ、ｄ、ｅとし、路面画像の
座標系をｘ、ｙとし、ｉを整数として、 ｘ＝（ａ＋ｉｅ）（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ であるものとした。

【００１１】

【作用】請求項１記載の走行路検出装置は、自車両の直
前部にある最下端左右の白線候補点の位置情報より直接
得られる走行車線内の車両位置と道路幅とに関連付けら
れた現時刻の道路パラメータと、パラメータ記述式によ
る前時刻の白線モデル上の点の位置と、路面画像から求
めた現時刻の白線候補点の位置とを、路面画像の座標系
で比較する演算操作のみで座標変換の演算を一切行なう
こと無く推定される道路パラメータにより、パラメータ
記述式の複数のパラメータを最新の値に更新する。ここ
で、白線は平面的には平行する複数本の二次曲線、高さ
方向には傾斜一定の坂道として近似式化され、この近似
式を路面座標系に変換してパラメータ記述式としてい
る。従って路面画像の座標系を用いた演算操作だけで複
数のパラメータを直接求めることができ、求めた白線候
補点の数値自体の座標変換は行なわないで済む。

【００１２】請求項２記載の走行路検出装置では、前時
刻のパラメータ記述式による白線モデル上の点の位置
と、現時刻の路面画像から求めた白線候補点の位置のズ
レ量空複数のパラメータの変動量を求める際に最小二乗
法を用いる。請求項３の走行路検出装置では、更新され
た最新の道路パラメータから、車両の進行につれて刻々
と変化する前方道路の平面曲率、車線に対する車両の横
方向の傾き、道路平面に対する車両の縦方向の傾きが算
出されて、直ちに出力される。この出力を用いて種々の
機能、例えば道路曲率に追従した自動操舵やレーダの検
出領域の最適設定、車線逸脱に対する警告などの機能を
構築できる。

【００１３】請求項４記載の走行路検出装置では、走行
車線内の車両位置、道路の平面曲率、車線に対する車両
の横方向の傾き、道路平面に対する車両の縦方向の傾
き、道路幅に関連付けたパラメータをそれぞれａ、ｂ、
ｃ、ｄ、ｅとして、 ｘ＝（ａ＋ｉｅ）（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ なるパラメータ記述式から、道路パラメータの変動量が
算出される。

【００１４】

【実施例】図１〜図９を用いて実施例を説明する。図１
は設定座標系の説明図、図２はカメラ座標系における白
線モデルの説明図、図３は画像座標系における新旧白線
候補点の対応点の説明図、図４は走行路検出装置構成の
説明図、図５は処理全体のフローチャート、図６はウイ
ンドウ更新処理のフローチャート、図７は白線候補点検
出処理のフローチャート、図８は白線候補点検出方法の
説明図とフローチャート、図９はウインドウ設定位置に
関する説明図である。

【００１５】まず、白線モデルについて説明する。白線
モデルは、白線の三次元形状を表現する近似式である。
白線モデルを路面画像の座標系に座標変換して、本実施
例のパラメータ記述式が作成される。パラメータ記述式
は、路面画像上の白線の関数表現である。路面画像の座
標系（ｘ、ｙ）とカメラ座標系（Ｘ、Ｙ、Ｚ）の関係を
図１に示す。図１において、道路２４上を自車両ととも
に原点が移動するカメラ座標系２３によって白線２５の
近似式を設定する。ここでは、車両進行方向とカメラ光
軸のなす角、および車両静止時のカメラ光軸と路面のな
す角がそれぞれ０となるようにカメラが車体に取り付け
られる。

【００１６】本実施例の白線モデルは、主として高速道
路を対象としており、Ｚ軸回りの回転（ロール角）、路
面の勾配、バンク角を無視している。大地に固定された
座標系の代わりに、刻々の車両位置（カメラ位置）を原
点とする道路座標系を用いるため、道路構造を簡単な二
次式で近似しても、必要な計測項目に対応する複数の道
路パラメータについて、実用的に十分な検出精度を確保
できる。

【００１７】白線モデルは、道路の三次元形状、車両位
置、車両姿勢をそれぞれ表す道路パラメータを用いて、
白線２５を、水平面（Ｘ−Ｚ）では二次式、垂直面（Ｚ
−Ｙ）では一次式で近似する。図２のように道路パラメ
ータを定めて、（１）式のように近似式を設定した。図
２中、（ａ）は水平面、（ｂ）は垂直面を示す。

【数１】 図２の（ａ）において、道路の左端の白線から順に白線
を０、１、２、・・ｉ番とする。０〜ｉ番の白線が共通
の（１）式で記述される。カメラ座標系（Ｘ、Ｙ、Ｚ）
の原点は、車両の進行とともに刻々と前方に移動し、
（１）式中のＡ〜Ｅのパラメータをそれぞれ変化させ
る。

【００１８】パラメータＡは車両の左側に位置する白線
と車両中心（撮像装置の取り付け位置）との距離（以下
偏位）、パラメータＢは車両前方の道路曲率、パラメー
タＣはＺ＝０における白線の接線方向に対する車両のヨ
ー角、パラメータＤは道路平面に対する車両のピッチ角
（道路とＺ軸の相対角度）、パラメータＥは白線間距離
（直線路やＺ＝０では車線幅）にそれぞれ相当する。こ
の白線モデルに三次元から二次元への透視変換を行っ
て、路面画像の座標系（ｘ、ｙ）で記述された路面画像
上の白線モデル、すなわち本実施例のパラメータ記述式
を作成する。

【００１９】図１のように、三次元空間であるＸＹＺ座
標系が、焦点距離ｆの光学レンズを通して、ｘｙ座標系
の平面的な画面に投影されるとき、三次元空間のＸＹＺ
座標は、次の（２）式の透視変換を通じてｘ、ｙ座標に
変換される。ＸＹＺ座標系で記述される道路上の構造物
は、路面画像上に射影されて、（２）式によって変換さ
れたｘｙ座標系の画像となる。

【数２】

【００２０】上記の関係を基に、（１）式は、（３）式
のごとく、路面画像上の白線モデルに変換される。ここ
で、定めたパラメータａ〜ｅは、（３）式の記述を簡略
にするために、前述のパラメータＡ〜Ｅにそれぞれ関連
付けて新たに定義したパラメータである。

【数３】 本実施例では、路面画像上の白線をｘｙ座標系で検出し
た後、ＸＹＺ座標系に変換することなく（３）式のパラ
メータａ〜ｅを路面画像より算出したり直接に推定した
りする。パラメータａ〜ｅが確定すれば、道路曲率ρ、
ヨー角ｔａｎβ、ピッチ角ｔａｎαの各道路パラメータ
は（４）式によって求め得る。

【数４】

【００２１】次に、パラメータａ〜ｅの推定方法につい
て説明する。路面画像上の道路構造は時間軸に対して滑
らかに変化すると仮定する。図３は、前時刻の路面画像
と現時刻の路面画像との間の白線部分の移動を示す。こ
こで、添字new は現在のフレーム、添字old は１フレー
ム前を意味する。本実施例では、１／３０秒間隔で路面
画像のフレームを取り込み、路面画像の白線上から複数
の白線部分を取り出してｘｙ座標値を求め、リアルタイ
ムにパラメータを推定する。パラメータの推定は、１フ
レーム前の路面画像から求めた前回の白線位置に対し
て、現在のフレームの白線位置を比較する手法による。
図３に示すように、前回求めたパラメータａ〜ｅからの
変動量をΔａ〜Δｅと仮定すると、路面画像（ｘ、ｙ）
におけるｉ番の白線のｊ個目の点ｘijの微小変動量Δｘ
ijは、２次以上の項を無視すればＴａｙｌｏｒの定理に
よって、次の（５）、（６）式で表される。

【数５】

【００２２】変動量Δａ〜Δｅの推定には最小二乗法を
用いる。そのための評価誤差関数として、次の（７）〜
（９）式を定義する。

【数６】 ここに、（７）式は前回の検出結果ｘoldij と新たに検
出されたｘnewij との差によって定義される評価誤差関
数であり、（７）式中のｐijは白線候補点の確からしさ
を表す。また、（８）式は、パラメータが時間軸方向に
滑らかに移動するという仮定を表現した評価誤差関数で
あって、Ｓは重み係数である。以上に示した評価誤差関
数の和が（９）式の和ｅtotal で示され、和ｅtotal を
最小とならしめるΔａ〜Δｅを求めることにより、（１
０）式のごとくパラメータを更新する。

【数７】 ここで、走行車線内の車両位置と道路幅に関連づけられ
た道路パラメータａ、ｅの更新された値ａnew とｅnew
は、現在のフレームの路面画像上から検出した白線候補
点の位置座標より、推定することなく直接正確な値を算
出することができる。このため、新たな道路パラメータ
を得るには変動量Δｂ、Δｃ、Δｄを算出すればよい。

【００２３】また、ａnew とｅnew が路面画像上から直
接算出できることより、（５）式、（８）式のΔａ、Δ
ｅは定数となり、（９）式を最小とならしめる変動量Δ
ｂ〜Δｄは、次の（１１）式の線形連立方程式を解くこ
とにより求められる。なお、行列中のＰijＱijＲijの形
式の各要素は、２重の総合記号を省略して記述したも
の、すなわち、ΣΣＰijＱijＲij（１番目のΣはｉ、２
番目のΣはｊについて総合記号）を意味する。

【数８】

【００２４】本実施例は、（３）式のパラメータ記述式
を用いて、刻々の白線部分の検出結果から直接ａとｅを
算出するとともに、（１１）式を解いてパラメータｂ〜
ｄを推定する。図４に本実施例の機能構成を示す。撮像
部１１は車両前方の路面を撮像して、入力画像を取り込
む。入力画像に対して、前処理のエッジ検出が実行され
て白線の特徴が際立たせられる。白線候補点検出部１２
は、路面画像の座標系で記述された複数の白線候補点の
位置情報を抽出する。ここでは後述するように路面画像
上の白線が想定される位置に小領域（ウインドウ）を複
数個設定して、ウインドウ内の白線部分を検出している
が、白線上の複数の点の画像座標系における位置座標は
他の手法で求めてもよい。

【００２５】道路パラメータ算出部１９は、路面画像か
ら得られた現時刻の白線候補点のうちで、最下端の左右
の白線候補点の位置情報から、画像座標系での走行車線
内の車両位置に関連付けた最新のパラメータａnew と、
道路幅に関連付けた最新のパラメータｅnew を算出す
る。前回の白線モデル（曲線式）上の点列を計算する算
出部１７は、前回の入力画像から求めたパラメータに基
づいて、前回の路面画像における白線候補点の仮想的な
位置をそれぞれ演算する。白線候補点と白線モデルの点
列とのズレ量算出部１３は、白線候補点検出部１２より
得られた現時刻の白線候補点位置と、前回の白線モデル
上の点列を計算する算出部１７より得られた前回の白線
候補点位置とを比較し、車両の前進に伴なう前回から現
時刻までの白線候補点の移動量、すなわちズレ量を演算
する。

【００２６】パラメータ変動量算出部１４は、白線候補
点と白線モデル点列とのズレ量算出部１３におけるズレ
量に基づいて設定される（１１）式を解いて、（７）〜
（９）式の最小二乗法によるパラメータ変動量Δｂ〜Δ
ｄを推定する。この変動量に基づいて前回のパラメータ
を更新する道路パラメータ更新部１８は、（１０）式に
パラメータ変動量算出部１４で求めたパラメータ変動量
Δｂ〜Δｄを代入して、最新のパラメータｂnew 〜ｄne
w を推定する。

【００２７】前回のパラメータを補正する補正部１５
は、道路パラメータ算出部１９で画像から直接求めたパ
ラメータａnew 、ｅnew と、道路パラメータ更新部１８
で最小二乗法に基づく変動量から求めたｂnew 〜ｄnew
に検出パラメータ保持部１６の前回のパラメータａold
〜ｅold を置き換える。また、最新のパラメータから道
路パラメータ（曲率などの道路構造の定数）を算出して
出力する。検出パラメータ保持部１６は、最新のパラメ
ータを保持して、白線候補点と白線モデル点列とのズレ
量算出部１３における次画面の処理に供する。以上の操
作で１画面の処理を終了する。

【００２８】本実施例の全体処理のフローチャートが図
５に示される。図５のフローチャートにおけるステップ
１２４の詳細なフローチャートが図６に、ステップ１１
５の詳細なフローチャートが図７に示される。また、図
７のフローチャートにおけるステップ１５２の詳細なフ
ローチャートが図８の（ｂ）に示される。図４の構成に
おける１画面の処理は、１個の演算装置を時分割して、
図５のステップ１１５〜１２５のループを通じて順番に
実行される。

【００２９】図５において、ステップ１１０〜１１４で
は、白線候補点の位置情報を検出するための初期値を取
り込む。これらの初期値は運転者のキーボード操作を通
じて設定されるが、例えば、真直ぐな道路の車線中央を
直進している状態に相当する一定のデータとしてＲＯＭ
に保持しておいてもよい。本実施例では、刻々の白線候
補点検出結果に基づいてパラメータを演算する際や、白
線候補点を路面画像上で検出（ウインドウ設定）する際
に、パラメータを代入済みのパラメータ記述式が不可欠
であるから、ステップ１１５〜１２５のループを開始す
る前に、初期値を与えてパラメータ記述式を完成させて
おく。また、路面画像上の白線に対応させて初回のウイ
ンドウ位置と配置を設定する。

【００３０】すなわち、ステップ１１０ではパラメータ
ａ〜ｅ、ステップ１１１では路面画像上で検知すべき白
線の本数ｍ、ステップ１１２では路面画像上のウインド
ウ初期設定位置、ステップ１１３では前述の（８）式の
重み付け定数、ステップ１１４では白線１本当たりのウ
インドウ設定数ｎがそれぞれ初期値として設定される。

【００３１】図５のステップ１１５は、白線候補点検出
部１２に対応する。ステップ１１５では、初回は初期
値、２回目からは前画面の処理結果に基づいて、路面画
像上に複数の小領域（ウインドウ）を設定する。そし
て、複数のウインドウのそれぞれについて、白線候補点
の位置情報を検出する。この位置情報は、それぞれの白
線候補点の位置座標ｘ１ij、ｘ２ijと確からしさＰijと
で構成される。ステップ１１５における処理の詳細を、
図７、図９を参照して説明する。図７はウインドウ設定
処理のフローチャート、図９は画面に白線が撮像されて
いる様子である。図９中、（ａ）は路面画像、（ｂ）は
１個のウインドウにおける白線部分の検出を示す。

【００３２】図９の（ａ）において、路面画像２６に
は、道路２４Ｇ上の白線２５Ｇが捕捉されている。道路
２４Ｇの左端の白線２５Ｇからｉ＝０、１、２・・と番
号が付され、ｉ＝０、１の２本の白線に対して４個づつ
のウインドウ２１が設定されている。ウインドウ２１
は、パラメータ記述式から位置を定めて、路面画像上の
白線に沿って複数個が設定される。パラメータ記述式に
対して初回は初期値、２回目からは前回の入力画像から
求めたパラメータが代入される。

【００３３】ウインドウの設定は、白線候補点の検出に
関与する画素（明るさデータ）数を削減し、また、路面
と白線という明白なコントラストの判別だけで白線部分
の検出を可能にする。路面画像上の所定の高さ位置（ｙ
１、ｙ２）に定めたウインドウで白線部分を取り出す。
ウインドウの上辺と下辺を白線が横切るｘ座標（ｘ１、
ｘ２）を求めて、２つの白線候補点の位置座標（ｘ１、
ｙ１）、（ｘ２、ｙ２）を確定させる。

【００３４】図９の（ｂ）において、１個のウインドウ
２１は、上端の中心点（ｘ１Ｗij、ｙ１ij）、下端の中
心点（ｘ２Ｗij、ｙ２ij）、および幅Ｗ１ij、Ｗ２ijを
定めることにより位置と大きさを定める。ウインドウの
高さ位置（ｙ１、ｙ２）は所定の値として与えられ、水
平位置（ｘ１Ｗij、ｘ２Ｗij）がパラメータ記述式によ
り演算される。ここでは、ウインドウ高さをｄｙ＝一定
としている。１個のウインドウ２１から得られる２つの
白線候補点の確からしさｐ１ij、ｐ２ijは、（１２）式
により定義する。

【数９】 ここに、数値ｐi-max は、ｉ番目の白線上のウインドウ
群によって検出される濃度値の和の最大値である。

【００３５】図５のステップ１１５では、図７に示すフ
ローで白線候補点を検出する。図７において、ステップ
１５１で処理の初期化が行われ、ステップ１５２〜１５
５を通じて、路面画像上の同じ高さ位置ｙのｍ本の白線
に対応するｎ個のウインドウについて、順番に白線候補
点のｘ座標ｘ１ij、ｘ２ijと「ウインドウ内における白
線候補点の確からしさｐij」を検出する。ｎ個のウイン
ドウを処理し終わると、ステップ１５７を通過して、ス
テップ１５８で、ｉを１増し、ステップ１６０でｊを０
として、右隣に位置する白線に対応するウインドウにお
ける白線候補点の検出に移行する。

【００３６】上記のようにして、ステップ１５２〜１６
０の処理をｍ本の白線に対して完了するまで繰り返す。
図９の（ａ）に示すウインドウ設定例で言えば、ｉ＝０
の４個のウインドウ２１でｊ＝０、１、２、３と順番に
処理し、続いてｉ＝１の４個のウインドウ２１でｊ＝
０、１、２、３と順番に処理する。

【００３７】次に、図７のステップ１５２における処理
の詳細を図８を参照して説明する。図８は１個のウイン
ドウ内における白線候補点の検出処理の説明図である。
図８中、（ａ）は１個のウインドウ、（ｂ）は白線候補
点検出処理のフローチャートである。白線候補点の検出
処理では、演算装置に取り込まれた路面画像のメモリデ
ータから、ウインドウの範囲に該当するデータを呼び出
して識別と演算を実行する。このとき、図９の（ａ）の
ように、モニター画面に表示された路面画像２６の上に
重ねてウインドウ２１の範囲が表示される。

【００３８】図８の（ａ）において、ウインドウ２１
は、その上底が［ｘ＝ｘ1i（ｉ＝０〜ｆ）、ｙ＝ｙ1 ］
の座標値を占め、その下底が［ｘ＝ｘ2j（ｊ＝０〜
ｇ）、ｙ＝ｙ2 ＝ｙ1 ＋ｄｙ］の座標値を占める台形ウ
インドウである。ウインドウ２１が切り取る白線部分の
両端が白線候補点である。ウインドウの高さ位置（ｙ
１、ｙ２）は所定の値として与えられているので、水平
位置（ｘ１ij、ｘ２ij）のみを求める。

【００３９】図８の（ｂ）において、ステップ１０１で
各値を初期化後、上辺の１個の画素と下辺の１個の画素
を結ぶ線分の画素群を順番に呼び出して画素の濃度値の
和ｐを算出する。ループ１０５で「上辺の１個の画素と
下辺のｇ個の画素の組み合わせが試され（ｊ＝０〜
ｇ）、ループ１０６で上辺のｆ個の画素が網羅される
（ｉ＝０〜ｆ）。ステップ１０７の条件に達すると１つ
のウインドウの処理が完了する。

【００４０】すなわち、ステップ１０２で点（ｘ1i、ｙ
1 ）と点（ｘ2j、ｙ2 ）を結ぶ直線上の画素の濃度値の
和ｐを算出し、ステップ１０３で濃度和ｐの過去の最大
値ｐmax と比較する。ステップ１０３の条件が成立すれ
ば、ステップ１０４でｐmax、ｘ1 、ｘ2 の各値を更新
する。ステップ１０９では、濃度和ｐmax が最大となる
ときの（ｘ1i、ｘ2j）を白線候補点のｘ座標値として出
力する。このとき得られる濃度和ｐmax が白線候補点の
確からしさである。

【００４１】図５のステップ１１６は、図４の道路パラ
メータ算出部１９に相当する。ステップ１１６では、図
９の（ａ）に示した自車走行車線の左右両側の最下端の
白線候補点２８、２９の位置座標から走行車線内の車両
位置に関連付けたパラメータａnew と、道路幅に関連付
けたパラメータｅnew を算出する。

【００４２】ここで、自車走行車線の左側の最下端の白
線候補点２８のｘ座標値は、前述のようにｘ203 （ｉ＝
０、ｊ＝３）であり、右側の最下端の白線候補点２９の
ｘ座標はｘ213 （ｉ＝１、ｊ＝３）、カメラの光軸Ｚの
画像座標系でのｘ座標値３０はｘｃである。この場合、
走行車線内の車両位置に関連付けた現フレームでの最新
のパラメータａnew ＝ｘｃ−ｘ203 、道路幅に関連付け
た現フレームでの最新のパラメータｅnew ＝ｘ213 −ｘ
203 となり、画像座標系での座標値から直接算出され
る。最下端の白線候補点において、上記の算出が可能で
あるのは一般的に車両近傍では白線は略直線であり、道
路平面が車両姿勢と略平行であるためである。

【００４３】図５のステップ１１７〜１１９は、図４の
白線候補点と白線モデル点列とのズレ量算出部１３に相
当する。ステップ１１７〜１１９では、ステップ１１５
における白線候補点の検出結果から（１１）式が設定さ
れる。ステップ１２０は、図５のパラメータ変動量算出
部１４に対応し、（１１）式を解きパラメータ変動量Δ
ｂ〜Δｄが算出される。ステップ１２１は、図５の道路
パラメータ更新部１８に対応し、パラメータの変動量に
基づいて前回のパラメータを更新する

【００４４】上記の処理では、（１０）式にパラメータ
変動量算出部１４で求めたパラメータ変動量Δｂ〜Δｄ
を代入して、最新のパラメータｂnew 〜ｄnew を推定す
る。ステップ１２２は、前回のパラメータを補正する補
正部１５に対応し、ステップ１１６で画像から直接求め
た最新のパラメータａnew 、ｅnew と、ステップ１２１
で変動量から推定した最新のパラメータｂnew 〜ｄnew
を前回のパラメータに置き換える。

【００４５】ステップ１２３は、前回のパラメータに置
き換えられた最新のパラメータａnew 〜ｅnew とを記憶
し、検出パラメータ保持部１６に対応する。ステップ１
２４は、図４の白線候補点検出部１２に含まれ最新のパ
ラメータに基づいて次の路面画像でウインドウを設定す
べき位置を求める。ステップ１２５は、図４の変動量に
基づいて前回のパラメータを補正する補正部１５に含ま
れ、最新のパラメータから（６）式の道路パラメータの
各値を算出して出力する。

【００４６】ステップ１２４におけるウインドウ更新処
理は、図６のフローチャートに従って実行される。図６
において、ステップ１３１では、図９の（ａ）のｉ＝
０、１の白線における路面画像２６上で最も高い（自車
両から最も遠い）位置の白線候補点を検出するｊ＝０の
ウインドウ２１について、ウインドウ２１を設定すべき
高さ位置ｙが設定される。

【００４７】ステップ１３２で処理の初期化が行われ、
ステップ１３３〜１３６を通じて、図９の（ａ）のウイ
ンドウ２１の高さ位置ｙ１ijを初めに与えて、高さ位置
ｙ１ij、ｙ２ijで白線が通過すべきｘ座標ｘ１ｗij、ｘ
２ｗijが計算される。路面画像上のｘ座標ｘ１ｗij、ｘ
２ｗijを中心とする所定の幅（図９の（ｂ）に置けるｗ
１ij、ｗ２ijの２倍）をウインドウが占める。ステップ
１３３〜１３７を繰り返して、検出すべき白線に対しｎ
個のウインドウの設定位置を定めた後に、路面画像上で
右側の隣接する白線のウインドウを設定する。ステップ
１３３〜１４０を通じて、ｍ本の白線のそれぞれにｎ個
づつのウインドウが設定される。

【００４８】図５のフローチャートにおいて、発明の検
出パラメータ保持手段はステップ１２３に、発明の白線
候補点検出手段はステップ１１５に、発明の道路パラメ
ータ算出手段はステップ１１６に、発明の白線候補点位
置ズレ量算出手段はステップ１１７〜１１９に、発明の
パラメータ変動量算出手段はステップ１２０に、発明の
道路パラメータ更新手段はステップ１２１に、発明のパ
ラメータ補正手段はステップ１２２にそれぞれ対応す
る。

【００４９】以上説明したように、本実施例の走行路検
出装置では、最新のパラメータ記述式でウインドウを更
新しつつ、白線を連続的に追従して必要な道路パラメー
タを出力し続ける。このとき路面画像の座標系における
線形演算処理のみで道路パラメータが直接に求まり、デ
ータの座標変換を必要としないうえ、画像から直接算出
できるパラメータはこの演算処理も必要としないため従
来の走行路検出装置に比較して、演算負荷が軽減され
る。

【００５０】また、画像から直接算出されるパラメータ
は最小二乗法の計算によらず最新のパラメータが求めら
れるため、推定値となるパラメータが少なくなり、最小
二乗法のマトリックス演算を含むにもかかわらず、簡単
な公式によりデータ数を少なくし、必要な演算を多くし
ないで済む。さらに、推定値が少ないことは道路パラメ
ータの精度向上にもつながっている。

【００５１】また自車両とともに原点が移動する座標系
で白線の三次元形状の近似式を記述したので、簡単な二
次曲線式による近似でも、道路パラメータの推定結果に
十分に実用的な精度を確保できる。そしてこの近似式に
よれば、自動運転や種々の警報に関して、特に高い精度
が要求される自車両に近い部分について、道路パラメー
タを精度高く求めることができる。さらに、白線位置の
推定によってウインドウを無駄なく白線に割り当てるた
め、少ないウインドウ数でもデータ不足によって道路パ
ラメータを決定し損なうことがない。

【００５２】本実施例の走行路検出装置では、また、白
線候補点の確からしさを加味してパラメータを決定する
から、ウインドウから白線が外れた場合にはそのウイン
ドウの検出結果が無視され、そのウインドウによる間違
いデータが道路パラメータの推定結果に悪影響を及ぼさ
ない。

【００５３】また、白線候補点の確からしさによって、
自車両に近くて路面画像上で明確な白線部分から求めた
精度の高いデータが重く用いられることになるうえ、一
部パラメータはこの明確な白線候補から直接算出するた
め、求めた道路パラメータの精度が高まる。

【００５４】また、急激な車線変更等で自車両に近い位
置のウインドウから白線が外れた場合でも、遠方の白線
部分はウインドウから外れないから、遠方の白線部分の
検出結果に基づいて道路モデルが次第に修正され、遠い
位置の白線部分から順次ウインドウ内に自動復帰して、
自車両に近い位置のウインドウも白線を再度捕捉でき
る。そして、その復帰の期間中、出力される道路パラメ
ータの精度が向上し続ける。

【００５５】

【発明の効果】以上の説明のように、本発明に関わる走
行路検出装置では、路面画像から白線を検出して道路パ
ラメータを直接算出したり、白線の移動量から道路パラ
メータ推定する処理を通じて、データを座標変換する演
算処理が不必要であるうえ、推定する道路パラメータの
数も少ないため、従来の走行検出装置に比較して演算量
が大幅に削減される。したがって一般的な演算装置を使
用した場合でも、毎秒１０〜１００画面の路面画像を余
裕を持って処理できる。これにより、刻々の白線状態を
細かい時間間隔で補足しても、道路の三次元形状や自車
両の姿勢をリアルタイムに出力できる。

【００５６】さらに推定する道路パラメータを少なくし
たため、道路形状や車両姿勢の検出精度も高く、また、
この走行路検出装置を基に構成された車両用障害物報知
装置、接近回避装置などの予防安全装置は、精度が高く
適切な報知を行なうことができる。

【図面の簡単な説明】

【図１】設定座標系の説明図である。

【図２】カメラ座標系における白線モデルの説明図であ
る。

【図３】画像座標系における新旧白線対応点の説明図で
ある。

【図４】構成の説明図である。

【図５】処理全体のフローチャートである。

【図６】ウインドウ更新のためのフローチャートであ
る。

【図７】白線候補点の検出のフローチャートである。

【図８】白線候補点の検出方法の説明図である。

【図９】ウインドウ設定位置の説明図である。

【符号の説明】

１１ 撮像部 １２ 白線候補点検出部 １３ 白線候補点と白線モデル点列とのズレ量算出部 １４ パラメータ変動量算出部 １５ 前回のパラメータを補正する補正部 １６ 検出パラメータ保持部 １７ 前回の白線モデル（曲線式）上の点列を計算する
算出部 １８ 道路パラメータ更新部 １９ 道路パラメータ算出部 ２１ ウインドウ ２３ 座標系 ２４、２４Ｇ 道路 ２５、２５Ｇ 白線 ２６ 路面画像 ２８ 自車走行車線の左側最下端の白線候補点 ２９ 自車走行車線の右側最下端の白線候補点 ３０ カメラの光軸の画像座標系でのｘ座標

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平８−5388（ＪＰ，Ａ) 特開 平７−198349（ＪＰ，Ａ) 特開 平７−27541（ＪＰ，Ａ) 特開 平５−338487（ＪＰ，Ａ) 特開 平５−151341（ＪＰ，Ａ) 特開 平４−36878（ＪＰ，Ａ) 特開 平３−139706（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01B 11/00 - 11/30 102 G01G 21/00 - 21/36 G06T 1/00 - 9/40 G08G 1/00 - 9/02 B60R 21/00 - 21/00 630

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 車両前方の路面画像を入力する画像入力
   手段を有し、該路面画像上の白線を検出して、路面の三
   次元形状と路面に対する自車両の相対位置関係とを識別
   する走行路検出装置において、 前記白線の二次曲線近似式を路面画像の座標系に変換し
   たパラメータ記述式における、走行車線内の車両位置、
   道路の平面曲率、車線に対する車両の横方向の傾き、道
   路平面に対する車両の縦方向の傾き、道路幅にそれぞれ
   関連付けた複数のパラメータを保持する検出パラメータ
   保持手段と、 路面画像上の前記白線に沿った複数の白線候補点につい
   て、路面画像の座標系における位置情報を求める白線候
   補点検出手段と、 自車両直前部の路面画像上の最下端左右の白線候補点の
   位置情報より走行車線内の車両位置と道路幅とに関連付
   けられた最新の道路パラメータを算出する道路パラメー
   タ算出手段と、 前記検出パラメータ保持手段に保持した過去の複数のパ
   ラメータから演算した仮想的な白線モデル上の点の位置
   と、前記白線候補点検出手段により路面画像から求めた
   最新の白線候補点の位置とのズレ量を算出する白線候補
   点位置ズレ量算出手段と、 該白線候補点位置ズレ量算出手段より得られたズレ量に
   基づき道路の平面曲率、車線に対する車両の横方向の傾
   き、道路平面に対する車両の縦方向の傾きに関連付けら
   れたパラメータの変動量を算出するパラメータ変動量算
   出手段と、 該変動量に基づいて道路の平面曲率、車線に対する車両
   の横方向の傾き、道路平面に対する車両の縦方向の傾き
   に関連付けられたパラメータを更新する道路パラメータ
   更新手段と、 前記道路パラメータ算出手段より得られた走行車線内の
   車両位置と道路幅とに関連付けられた最新のパラメータ
   と、前記道路パラメータ更新手段により更新された道路
   の平面曲率、車線に対する車両の横方向の傾き、道路平
   面に対する車両の縦方向の傾きに関連付けられた最新の
   パラメータに、前記検出パラメータ保持手段により保持
   している道路パラメータを補正するパラメータ補正手段
   と、を有することを特徴とする走行路検出装置。
2. 【請求項２】 前記パラメータ変動量算出手段は、前記
   白線候補点位置ズレ量算出手段より得られたズレ量に基
   づき道路パラメータの変動量を最小二乗法を用いて算出
   することを特徴とする請求項１記載の走行路検出装置。
3. 【請求項３】 前記パラメータ補正手段は、更新された
   複数の道路パラメータに基づいて、道路の平面曲率、車
   線に対する車輌の横方向の傾き、道路平面に対する車両
   の縦方向の傾きを算出して出力する道路形状出力手段を
   含むことを特徴とする請求項１または２記載の走行路検
   出装置。
4. 【請求項４】 前記パラメータ記述式は、走行車線内の
   車両位置、道路の平面曲率、車線に対する車両の横方向
   の傾き、道路平面に対する車両の縦方向の傾き、道路幅
   に関連付けた複数のパラメータをそれぞれａ、ｂ、ｃ、
   ｄ、ｅとし、路面座標系をｘ、ｙとし、ｉを整数とし
   て、 ｘ＝（ａ＋ｉｅ）（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ であることを特徴とする請求項１、２、または３記載の
   走行路検出装置。